CN1996854A - 不同应用系统间数据交换的统一处理系统及方法 - Google Patents
不同应用系统间数据交换的统一处理系统及方法 Download PDFInfo
- Publication number
- CN1996854A CN1996854A CNA2006101706455A CN200610170645A CN1996854A CN 1996854 A CN1996854 A CN 1996854A CN A2006101706455 A CNA2006101706455 A CN A2006101706455A CN 200610170645 A CN200610170645 A CN 200610170645A CN 1996854 A CN1996854 A CN 1996854A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- client
- service end
- configuration information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了不同应用系统间数据交换的统一处理系统及方法,涉及数据的交换处理领域,解决由于各应用系统在数据内容、数据格式、处理方式等方面的差异,造成数据交换处于混乱无序状态的问题。所述系统包括:数据库,用于保存各种配置信息;公共转码装置、数据检核装置、数据处理装置,用于在任务调度器的统一调度下,完成转码、检核、加工等各类数据处理操作;文件传输装置,用于完成统一处理系统与各应用系统间的文件传输;监控管理装置,用于对统一处理系统进行监控、管理。本发明提供的统一处理系统,内部数据标准统一,数据处理效率高,能够及时为目标系统提供数据,还支持各种操作系统平台,便于跨平台的应用系统间的批量数据交换。
Description
技术领域
本发明涉及数据的交换处理领域,特别是涉及具有不同数据格式的应用系统间数据交换的统一处理系统及方法。
背景技术
在各种应用领域,例如在银行内部,由于技术与业务需求的复杂性,部署了很多应用系统,包括营业型应用系统、管理型应用系统、分析型应用系统等。所述各应用系统间的联系非常密切,需要频繁进行数据交换。在多数情况下,每两个应用系统间设置一种数据交换系统,用来处理不同系统间的数据交换。但由于各应用系统的数据内容、数据格式等方面存在差异,所以不同系统间进行数据交换的方式也各异,造成银行内部的数据交换处于混乱无序状态。
一方面,两个应用系统间进行数据交换时,由于既没有相关的规范,又没有可直接使用的产品,因此系统双方需要约定很多内容,涉及到多个技术细节,包括确定系统间的连接方式、数据格式、处理方式等,还要分别组织人员进行开发。特别是涉及到多个应用系统间复杂的数据交换时,各应用系统的设计和开发要求就更高。所述针对不同需求单独进行设计开发的实现过程,开发周期长,耗费大量的人力和物力,而且造成大量的重复工作,如重复开发、重复存储等。
另一方面,很多应用系统的数据格式、数据个数、处理方式等经常随业务的调整而发生变化,当一方系统接口调整时,需要针对所有的相关系统进行相应调整,因此系统的可维护性差,极大地增加了工作的难度和风险,带来许多重复工作,还影响系统的处理效率和运行稳定性。而且,每个系统的操作和维护界面各异,也为日常操作和维护增加了很大的难度。
发明内容
本发明所要解决的技术问题是提供不同应用系统间数据交换的统一处理系统及方法,以解决由于各应用系统在数据内容、数据格式、处理方式等方面的差异,造成数据交换处于混乱无序状态的问题,为不同系统间的数据交换提供了统一的实现方式。
为解决上述技术问题,本发明提供了不同应用系统间数据交换的统一处理系统,用于处理源系统与目标系统间的数据交换,其特征在于,包括:
数据库,用于保存调度配置信息和文件传输配置信息;
文件传输装置,用于循环读取文件传输配置信息,完成源文件从源系统到统一处理系统的传输,或者目标文件从统一处理系统到目标系统的传输;
任务调度器,包括调度器核心服务单元,用于循环读取调度配置信息,逐个判断源文件对应的待执行作业是否满足执行条件,若满足,则触发数据处理装置或公共转码装置执行;
公共转码装置,用于在任务调度器的统一调度下,对应预配置的码制对照表,执行作业完成转码操作;
数据处理装置,用于对应各类基本操作,在任务调度器的统一调度下,调度相应操作执行作业,并生成目标文件。
其中,所述任务调度器还包括:作业列表生成器,用于收集源文件对应的作业,对应调度配置信息,生成待执行作业队列。
优选的,所述调度器核心服务单元采用多进程方式启动满足执行条件的待执行作业。
优选的,所述文件传输装置在统一处理系统部署服务端,在源系统和目标系统部署客户端;所述服务端用于驱动客户端,主动从源系统获取文件,并主动向目标系统发送文件。其中,所述服务端部署文件获取进程,用于获取待传输的文件信息;还部署文件传输进程,用于执行文件传输操作。优选的,所述服务端与客户端间采用安全机制传输文件。
优选的,还包括:数据检核装置,用于在任务调度器的统一调度下,对所述源文件和目标文件进行检核。而且,所述数据检核装置对通过公共转码装置处理的数据进行检核。
优选的,还包括:监控管理装置,用于对所述统一处理系统的运行进行监控、管理,包括监控管理客户端和监控核心服务端,其中,
监控管理客户端,用于向所述监控核心服务端发送操作指令;
监控核心服务端,用于接收所述指令,通过操作任务调度器或文件传输装置执行指令,或者通过访问数据库将统一处理系统的操作日志返回给监控管理客户端,查看系统的运行情况。
其中,所述监控管理客户端通过直接访问数据库,更改调度配置信息或文件传输配置信息。
所述监控管理客户端包括:任务调度监控单元,用于提供作业的操作管理;文件安全传输监控单元,用于提供文件的操作管理。
本发明还提供了不同应用系统间数据交换的统一处理方法,用于处理源系统与目标系统间的数据交换,其特征在于,包括:
预置调度配置信息和文件传输配置信息;
循环读取文件传输配置信息,从源系统获取源文件,或者向目标系统发送目标文件;
循环读取调度配置信息,逐个判断源文件对应的待执行作业是否满足执行条件,若满足,则启动作业执行转码或数据处理操作;
对需要转码的数据,对应预配置的码制对照表,执行作业完成转码操作;对需要进行数据处理的数据,对应数据处理的各类基本操作,调用相应操作执行作业;
生成目标文件。
其中,还包括:收集源文件对应的作业,对应调度配置信息,生成待执行作业队列;所述待执行作业队列中的作业全部调度执行完后,重新收集生成待执行作业队列。
优选的,采用多进程方式启动满足执行条件的待执行作业。而且,所述作业的执行部署在至少一台机器上。
优选的,执行以下步骤从源系统获取源文件,其中,所述文件传输配置信息包括节点配置表和待传输文件配置表:
服务端循环读取节点配置表,向源系统客户端发送查询指令;
客户端将就绪的文件信息记录到文件列表;
服务端获取文件列表,对应匹配规则确定待传输文件,并记录到待传输文件配置表;
对应待传输文件配置表,源文件从客户端传输到服务端。
其中,执行以下步骤从客户端传输源文件到服务端:
服务端循环读取待传输文件配置表,向源系统客户端发送验证指令;
验证通过,服务端生成动态密钥,并发送给客户端;
客户端用所述密钥对待传输文件进行加密;
服务端获取加密的待传输文件,用所述密钥对待传输文件进行解密。
优选的,执行以下步骤向目标系统发送目标文件,其中,所述文件传输配置信息包括节点配置表和待传输文件配置表:
服务端循环读取节点配置表,将就绪的文件信息记录到文件列表;
对应匹配规则确定待传输文件,并记录到待传输文件配置表;
对应待传输文件配置表,服务端向目标系统客户端传输目标文件。
其中,执行以下步骤将目标文件从服务端传输到目标系统客户端:
服务端循环读取待传输文件配置表,向目标系统客户端发送验证指令;
验证通过,服务端生成动态密钥,并发送给客户端;
服务端用所述密钥对待传输文件进行加密,并向客户端发送所述加密的文件;
客户端用所述密钥对文件进行解密。
其中,所述转码操作包括:将源系统数据转换为标准码制数据,或者将标准码制数据转换为目标系统需要的码制数据。
优选的,所述作业的执行还包括检核操作:对源文件及目标文件进行检核,所述检核操作对不同数据采用不同的检核规则。所述检核操作还包括:对转码操作后的数据进行检核。
优选的,还包括:访问监控管理界面,更改所述调度配置信息或文件传输配置信息。
优选的,还包括:访问监控管理界面,发送操作指令,完成作业的调度执行或文件传输。
优选的,还包括:访问监控管理界面,通过操作日志查看作业调度、转码、检核、数据处理、文件传输操作的运行情况。
与现有技术相比,本发明具有以下优点:
首先,本发明采用以处理系统为中心的星型结构设计,统一连接各应用系统,通过数据库配置和任务调度器的作业调度,提供了数据交换的统一处理方式,信息集成度较高,对外提供的接入方式灵活,因此对各应用系统需做出的改动量很少。一方面,针对不同需求调整配置信息,任意两个系统通过所述处理系统即可完成数据交换,不需要进行单独设计,实现简单且开发周期短,极大地减少了开发工作量,避免了数据重复处理、重复存储;尤其对于多个应用系统间的复杂连接,也可以通过处理系统的统一配置来处理解决。另一方面,当应用系统的数据接口调整变化时,也只需调整配置信息,不需要对应的应用系统做任何改动,因此维护起来十分方便;同时,由于采用统一的操作和维护界面,因此简化了相应的管理和监控操作。
本发明提供的统一处理系统,内部数据标准统一,数据处理效率高,实时性好,能够及时为目标系统提供数据。而且,支持各种操作系统平台,便于跨平台的应用系统间的批量数据交换。
其次,本发明提供的文件传输装置,改变了原来由源系统主动发起传输,接受数据端只能查询数据是否到达,而无法监控传输状态的状况。本发明在统一处理系统部署文件传输服务端,在源系统和目标系统部署文件传输客户端,由服务端驱动客户端完成文件的传输。因此,统一处理系统是数据传输的发起端,可控性很高,能够统一监控与自身相关的各类传输操作的情况,能够主动发现传输问题。而且,数据传输过程中还加入安全机制,保证数据传输的安全、完整性,同时还支持跨异构平台的数据传输。
所述文件传输装置是一个独立的功能模块,不受任务调度器的调度和约束,能够与任务调度器同时各自运行,因此极大地提高了统一处理系统的数据处理效率。
再次,基于全局的统一规划,监控管理装置通过设置监控管理客户端和监控核心服务端,实现对统一处理系统运行的整体监控,可以从总体上监控、管理系统的作业调度、公共转码、数据检核、数据处理、文件传输等的执行情况,以及主机资源占用情况等,还可以对异常运行情况进行手工处理等操作。而且,提供了对配置信息进行调整的功能,操作员登录监控管理客户端界面即可更改。
再次,所述统一处理系统通过多台机器处理数据,作业的调度执行部署在多台机器上,而每台机器采用多进程方式同时处理多个作业的执行,提高了系统整体的处理效率。本发明在架构系统框架时,支持可扩展处理,在系统资源不足时,可通过纵向扩展(升级机器资源)或横向扩展(增加机器数目)的方式解决。
最后,由于采用统一的实现方式,公共转码装置通过建立码制对照表,支持多种码制之间的转换;通过配置信息,还支持输出格式的可配置,以及对于指定数据采用安全机制加以保护。
附图说明
图1是本发明所述不同应用系统间数据交换的统一处理系统结构框图;
图2是本发明中文件传输装置的结构示意图;
图3是本发明中任务调度器的结构示意图;
图4是本发明中公共转码装置的结构示意图;
图5是本发明中监控管理装置的结构示意图;
图6是本发明所述不同应用系统间数据交换的统一处理方法流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供的统一处理系统,用于处理金融领域内部的数据交换,主要应用在银行不同应用系统间数据的传递、加工、处理。所述处理系统基于信息集成思想进行设计开发,将各应用系统的关联数据进行统一管理,制定统一的数据标准来处理数据,对外提供灵活的接入方式,基本上不需要改动各应用系统,能够满足金融行业大多数应用系统间的数据交换需求。
所述统一处理系统设计的核心思想是:通过将数据处理各类功能进行分解和归类,形成基本功能模块,当提出新的功能需求时,通过需求分析和功能分解,尽可能用现有的基本功能模块通过任务调度器进行串连来实现,而基本功能模块针对不同数据通过配置来适应新的需求,最终满足新的功能需要。但是,如果通过基本的功能模块实现需求太复杂或效率很低,则一般通过ETL(Extract、Transform、Load的简写,是实现数据抽取、转换、加载功能的一类软件的简称)工具生成相应的作业来满足功能需要。
参照图1,是本发明所述不同应用系统间数据交换的统一处理系统结构框图。如图所示,线框内是所述处理系统的结构,包括:数据库101,文件传输装置102,任务调度器103,公共转码装置104,数据检核装置105,数据处理装置106,监控管理装置107。本发明采用以所述处理系统为中心的星型结构设计,统一连接各应用系统。图中,源系统和目标系统表示各种不同的应用系统,其中源系统数据需要经过统一处理系统的处理,转换为目标系统需要的数据。以下详细说明系统各部分。
数据库101,用于存放统一处理系统运行所需的调度配置信息和文件传输配置信息。当不同应用系统间需要进行数据交换时,预先在数据库101中配置调度配置信息,用于任务调度器103对各类作业进行统一调度执行;还需配置文件传输配置信息,用于源系统文件能够自动传输到统一处理系统,以及经系统处理后生成的目标文件自动传输到目标系统。
所述数据库101中还存放了统一处理系统运行过程中生成的各种操作日志,如任务调度器103生成的作业调度日志,数据检核装置105对数据检核后生成的处理结果标记文件、拒绝文件、警告文件,记录文件传输状态、作业执行状态、系统资源利用情况等信息的日志。所述操作日志用于记录统一处理系统的运行情况,监控管理装置107通过访问数据库101,查看所述操作日志,即可以从总体上监控和管理系统的运行。
文件传输装置102,根据数据库101中的文件传输配置信息,实现文件在统一处理系统与各种不同应用系统间的传输,为各应用系统提供标准的文件传输功能接口。本发明优选的,所述文件传输装置102在统一处理系统部署服务端,在文件传输的源系统和目标系统部署客户端,由所述服务端驱动客户端,主动从源系统获取数据,并主动向目标系统发送经处理的数据。其中,文件传输的所有操作均由服务端控制,客户端只是执行服务端的指令。因此,源系统和目标系统无需对自身的程序进行修改,即可以实现与统一处理系统之间各类文件的传输操作。
参照图2,是本发明中文件传输装置102的结构示意图。其中,文件传输第一客户端201部署在源系统,文件传输第二客户端202部署在目标系统。文件传输服务端设置两个进程同时运行,一个是文件获取进程,主要用于获取待传输的文件信息;另一个是文件传输进程,主要用于执行文件传输操作。
对于文件获取进程的执行,首先需要说明的是,数据库101中存放的文件传输配置信息包括节点配置表和待传输文件配置表。所述节点配置表将每个源系统或目标系统视为一个节点,记录了各个源系统或目标系统的相关信息,例如文件存放的目录、时间戳(记录对应节点上次轮询时间)、匹配规则等。其中,所述匹配规则用于确定所有待传输的文件中,根据不同应用真正需要传输的文件。
文件传输服务端的文件获取进程一直处于启动状态,它会循环读取节点配置表,从而获得需要传输的文件信息。当读取一条文件传输配置时,如果是源系统的配置,将进行如下相应操作:
(1)服务端向源系统发送查询指令,并将所述源系统的相关配置(如文件存放的目录、时间戳、匹配规则等)一起发送过去;
(2)源系统的文件传输第一客户端201获取查询指令后,按照服务端发来的文件存放目录和时间戳,找到对应目录下大于所述时间戳的文件,并将所述文件记录到文件列表中;
(3)以上操作结束后,文件传输第一客户端201向服务端返回操作结束,同时还要将新的时间戳带回服务端;
(4)服务端主动将文件列表从文件传输第一客户端201取回;
(5)服务端用新的时间戳更改对应源系统的配置,同时,使用匹配规则对文件列表中的文件进行筛选,将筛选后的文件记录到待传输文件配置表中;
(6)服务端获取源系统待传输文件信息的过程结束。
如果是目标系统的配置,将进行如下相应操作:
(1)服务端按照目标系统文件存放的目录和时间戳,在本地(即统一处理系统)查找到对应目录下大于所述时间戳的文件,并将所述文件记录到文件列表中;
(2)服务端用新的时间戳更改对应目标系统的配置,同时,使用匹配规则对文件列表中的文件进行筛选,将筛选后的文件记录到待传输文件配置表中;
(3)服务端获取目标系统待传输文件信息的过程结束。
对于文件传输进程的执行,本发明优选的,还设置了安全机制,用于保证文件在传输过程中的安全、完整性。执行过程如下:文件传输服务端的文件传输进程也一直处于启动状态,它会循环读取待传输文件配置表,从而根据所述配置进行相应的文件传输操作。在所述待传输文件配置表中,记录了待传输文件的文件名、传输类型、对应节点等信息。当读取一条文件传输配置时,如果传输类型是从源系统获取数据,将相应地进行如下操作:
(1)服务端向对应的源系统节点发送节点验证指令;
(2)源系统的文件传输第一客户端201进行节点验证,向服务端返回验证通过;
(3)服务端生成动态密钥,并发送所述动态密钥给文件传输第一客户端201;
(4)文件传输第一客户端201用动态密钥对文件进行加密操作;
(5)加密结束后,文件传输第一客户端201向服务端返回成功;
(6)服务端从文件传输第一客户端201获取加密后的文件;
(7)服务端用动态密钥对文件进行解密;
(8)解密成功后,文件传输结束。
如果传输类型是向目标系统传输数据,将相应地进行如下操作:
(1)服务端向对应的目标系统节点发送节点验证指令;
(2)目标系统的文件传输第二客户端202进行节点验证,向服务端返回验证通过;
(3)服务端生成动态密钥,并发送所述动态密钥给文件传输第二客户端202;
(4)服务端用动态密钥对文件进行加密操作;
(5)加密结束后,服务端向文件传输第二客户端202发送加密后的文件;
(6)文件传输第二客户端202用动态密钥对文件进行解密;
(7)解密成功后,文件传输结束。
图2中,优选的,在所述文件传输装置还部署了文件安全传输监控管理器,与统一处理系统的文件传输服务端相连接,用于从整体上监控文件传输装置的运行。而且,通过调整节点配置表和待传输文件配置表的配置信息,所述文件传输装置还支持跨异构平台的数据传输。
综上所述,文件传输装置102是一个独立的功能模块,通过读取数据库101中的文件传输配置信息,轮询本地和源系统的指定文件是否就绪,然后主动获取或发送文件。文件传输装置102不受任务调度器的调度和约束,能够与任务调度器同时各自运行,因此极大地提高了统一处理系统的数据处理效率。
图1中任务调度器103,是本发明所述统一处理系统的核心部分,根据数据库101中的调度配置信息,负责完成各类作业的总体调度指挥。其中,所述作业指能够实现独立功能的一段代码或一个程序,是被调度的基本单位,每个作业都支持很多输入输出参数,支持不同格式、不同内容的不同文件之间的相关功能操作,而所有大的功能需求,都会最终被分解为这些作业的组合。
系统中作业之间存在着很多联系,例如,一个作业的执行依赖于一个或几个作业的执行成功,几个作业的执行依赖于一个作业的执行成功,或者有的作业需要定时或在固定的时间间隔执行等。所述作业之间在执行过程中的依赖关系,完全由任务调度器103根据数据库中的调度配置信息来安排调度,保证作业之间复杂的逻辑关系能够正常、稳定且自动完成,而各个作业在执行结束之后只需更改配置中的执行结果即可。
任务调度器103的调度执行依赖于数据库101中的调度配置信息,针对不同应用系统间的数据交换,需要提前进行配置。所述调度配置信息包括:总体控制信息,作业配置信息,作业执行信息。总体控制信息以节点(每台主机是一个节点)为单位配置,包括:节点号、源系统ID、系统日期、最大可执行进程数等;作业配置信息以作业为单位配置,一个作业有一条配置信息,包括:作业ID、源系统ID、输入文件列表、命令行、依赖作业列表、运行时间区段、优先级、可运行节点号列表等;作业执行信息以作业为单位配置,一个作业有一条执行信息,包括:作业ID、作业执行日期、作业执行状态、作业执行时间等。所述调度配置信息保证所有的作业在任务调度器103的统一调度下按照固定的规则执行,其中输入文件是作业运行的依赖条件,即只有当输入文件存在时,才可以对应基本操作,以作业为单位来调度执行。其中,所述输入文件包括通过文件传输装置102从源系统传输到统一处理系统的文件,以及统一处理系统的作业执行后生成的文件。
参照图3,是本发明中任务调度器103的结构示意图。任务调度器的核心部件是调度器核心服务单元301,用于根据调度配置信息,采用多进程方式分别启动满足执行条件的作业。为充分利用系统资源,优选的,所述任务调度器103还设置作业列表生成器302,用于根据系统的整体运行情况及调度配置信息,合理收集作业生成待执行作业队列,调度器核心服务单元301从所述待执行作业队列读取作业执行。
通常,任务调度器中的作业分为执行作业、异常作业、人工作业,作业列表生成器302定时(一般为每天)或在固定时间,在充分利用系统资源的情况下,收集符合所述情况的作业,并通过读取调度配置信息,生成待执行作业信息,存放在任务调度器的待执行作业队列中。调度器核心服务单元301定时(一般为1-2秒钟)扫描所述待执行作业队列,读取待执行作业信息,并循环读取对应的调度配置信息,逐个判断作业是否满足执行条件。若满足,则触发执行,若不满足则不执行,同时生成作业调度日志存放在数据库101中。调度器核心服务单元301的基本调度流程是:
(1)将作业配置信息和作业执行信息通过“作业ID”进行关联,同时,按“优先级”进行排序;
(2)读取一条记录,如果没有记录被找到,则转到第(9)步;
(3)如果“作业执行状态”是执行成功,则转第(2)步,查找下一条记录;
(4)如果“运行时间区段”与当前系统时间不一致,则转第(2)步,查找下一条记录;
(5)依次判断“依赖作业列表”中的依赖作业是否已执行成功,如果不是执行成功状态,则转第(2)步,查找下一条记录;
(6)依次判断“输入文件列表”中的文件是否存在,如果不存在,则转第(2)步,查找下一条记录;
(7)依次查找“可运行节点号列表”的节点中,哪个节点中的作业进程个数没有超过“最大可执行进程数”,如果没有找到这样的节点,则转第(2)步,查找下一条记录;
(8)触发作业运行,之后转第(2)步,查找下一条记录;
(9)查看是否所有的作业均被执行成功,如果不是,则转第(1)步,重新进行关联操作;
(10)将“系统日期”加一,再将全部作业清理掉,并生成新一天的作业,之后转第(1)步,进行新的关联操作。
上述10个步骤作为一种判断实施例,是针对作业列表生成器302每天收集作业的情况进行的执行条件判断,也可以修改判断条件,从而满足不同的配置。
纵上所述,所有作业在任务调度器103的统一调度下,完成各类基本操作。通过调整调度配置信息,即可实现不同应用系统间的数据交换,开发和维护简单,避免了大量的重复工作。尤其对于多个源系统数据进行复杂处理后传递给多个目标系统的情况,通过任务调度器103实现简单易行。
图1中,公共转码装置104、数据检核装置105、数据处理装置106由任务调度器103统一调度,所述三个装置是针对功能的分类,并不一定是独立的功能模块,而是一类功能模块的集合。因此,图中所示只是作为一种实施例进行说明。公共转码装置104,用于在任务调度器103的统一调度下,通过建立码制对照表,提供标准的码制转换功能。在统一处理系统内部,制定的数据标准是ASCII码(American Standard Code for Information Interchange)和GBK(简体汉字编码的扩展字符编码),而各类基本操作的数据即为所述标准码制数据。因此,由文件传输装置102从源系统传输过来的文件,如果数据不是标准码制数据,则需要调用公共转码装置104转换为标准码制数据,然后再调用数据处理装置106进行相关处理。而对于经系统处理后发送到目标系统的数据文件,如果数据码制不符合目标系统的要求,也需要调用公共转码装置104进行码制转换,然后再通过文件传输装置102传输到目标系统。
本发明优选的,还设置了数据检核装置105,用于在任务调度器103的统一调度下,对系统内部的数据进行质量检核工作,保证数据的合规性和准确性,从而为后续的处理提供质量保证。由于不同数据的检核功能不同,检核点不一样,检核的方式也不一样,因此所述数据检核装置105只是一系列检核功能的统称,并不是一个具体的模块,图示是为了便于说明而将检核功能集成到数据检核装置105。所述数据检核装置105将每个数据检核操作制作成各自独立的处理单元,被任务调度器103调用,而检核操作会根据不同应用系统的数据情况,实际确定是否需要增加检核功能。通常,统一处理系统在接收到数据后,根据系统内部的检核规则,对源系统提供的数据进行检核;在向目标系统发送数据前,根据目标系统提供的检核规则,对要发往目标系统的数据进行检核。检核规则包括:数据类型校验,数据取值范围校验,文件列数校验,记录长度校验,等等。
本发明中,为保证数据转码操作的正确性,被调度作业经公共转码装置104处理后,还需要进行数据检核。因此,针对不同应用系统的数据,每个各自独立的数据检核操作单元常常被集成到公共转码装置104中。参照图4,是本发明中公共转码装置的结构示意图。图中主控程序包括转码单元401和检核单元402,所述转码单元401通过读取预置的表定义和公共参数配置文件,对输入的需要转码的源文件进行相应的转码操作;所述检核单元402对经过转码单元401处理的数据进行检核操作,生成标准文件、处理结果标记文件、拒绝文件和警告文件。如果目标系统需要的文件不是标准码制数据,则还需要将所述标准文件通过转码单元401和检核单元402,转换为目标文件,并检核数据的正确性。需要说明的是,如果源系统提供的数据是标准码制数据,即不需要进行转码操作,但还是需要进行数据的检核操作。
图4中,表定义指对转码操作的文件进行格式定义。针对不同应用系统的文件,需要预先配置文件格式,转码单元401通过读取表定义,才能自动获取对应文件的格式情况,从而识别文件的具体内容。例如,当一个文件格式是:10位姓名,3位年龄,2位性别,20位电话号码;则可以将所述信息定义到表定义中,即:第一个字段:10位长,摘要是姓名;第二个字段:3位长,摘要是年龄;第三个字段:2位长,摘要是性别;第四个字段:20位长,摘要是电话号码。当所述主控程序读取文件时,根据表定义来截取信息,从而知道每个部分对应的是姓名、年龄、性别还是电话号码。
所述公共参数配置文件定义了一些转码操作所需的公共参数,如码制对照表,记录了多种码制之间的转换(如ASCII码(美国信息交换标准码)、BCD(Binary-Coded Decimal)码等),转码单元401根据所述码制对照表进行相应的转码操作。同时,还可以在公共参数配置文件中定义输出格式,如定长、非定长、各类分隔符等,限定转码后的文件输出格式。而且,还可以采用加密等方式对指定数据进行安全保护。
所述处理结果标记文件、拒绝文件和警告文件存放于数据库101中,处理结果标记文件记录了数据处理状态等与检核单元402执行结果相关的信息;拒绝文件记录了异常处理信息;而警告文件记录了一些虽出现异常但不影响整个处理过程的信息。检核单元402生成的上述三种文件,能够将数据转码、检核过程的相关信息记录下来,类似于日志记录的作用。
源系统数据经过公共转码装置104和数据检核装置105的处理,转换为标准数据后,才可以进行相应的数据处理。图1中,数据处理装置106将每个数据处理操作制作成各自独立的处理单元被任务调度器103调用,包括排序、去重、关联、检索、合并、拆分、映射、拷贝、替换等各类操作。所述操作是标准的数据处理操作,是对大量的数据处理需求进行提炼后,抽象出来的基本操作,通过其组合,就可以实现各目标系统提出的不同数据处理需要。当任务调度器103启动可执行作业时,调度相应的数据处理操作单元,完成作业的执行。
在实际应用中,所述统一处理系统拥有很多源系统的数据,为满足不同应用系统需求,保证金融行业范围内的数据共享、作业共享提供了基础,即:如果某些文件已经存放在统一处理系统,同时相应的某些作业也已存在,则相应的操作将会减少。例如,不同目标系统需要的数据来源于相同源系统的情况非常普遍,在作业执行时,两部分需求共享一个作业,如果将共享的作业或数据存放在统一处理系统中,则能够相应提高执行效率,这也是减少工作量的一个显著因素。
本发明优选的,还设置了监控管理单元107,实现对统一处理系统的整体监控,以及对系统配置信息的调整。所述装置是独立的功能模块,不受任务调度器103的调用,可以从总体上监控、管理整个系统的作业调度、公共转码、数据检核、数据处理、文件传输等操作的执行情况,以及主机资源的占用情况等。参照图5,是本发明中监控管理装置107的结构示意图,所述装置包括监控管理客户端501和监控核心服务端502。在运行过程中,操作员通过监控管理客户端501提供的界面输入相应内容,由所述客户端下达指令,通过TCP/IP模式传输到监控核心服务端502,监控核心服务端502解析指令,并通过API(Application Programming Interface,应用编程接口)接口操作任务调度器103或文件传输装置102相应的API接口,来完成整个指令的执行。所述指令主要包括启动、关闭进程等操作,例如对于异常运行情况或人工作业流需要进行手工处理的操作,可以进入监控管理界面,通过触发异常作业列表生成器和人工作业流作业列表生成器,操作相应进程的启动或关闭,人工干预某个作业或文件的执行。若操作员需要查看系统的操作日志,监控核心服务端502还可以根据指令访问数据库101,在监控管理客户端501显示作业调度日志、处理结果标记文件、拒绝文件和警告文件等操作日志,或者显示各个节点的资源利用情况等信息。而对于调度配置信息、文件传输配置信息等系统配置信息的增加、删除、查询、修改等操作,直接由监控管理客户端501访问数据库101即可实现。
图中,所述监控管理客户端501部署了任务调度监控单元503和文件安全传输监控单元504,为操作员提供不同的监控管理界面:任务调度监控单元503在系统前台展现的是作业级的数据显示和操作,而文件安全传输监控单元504在系统前台展现的是文件级的数据显示和操作。若指令由任务调度监控单元503发出,则监控核心服务端502操作任务调度器103;若指令由文件安全传输监控单元504发出,则监控核心服务端502操作文件传输装置102。图2中所示的文件安全传输监控管理器即为文件安全传输监控单元504。
监控管理客户端501还设置了访问权限,操作员需要输入相应的用户名和口令才能登录。而不同级别的用户权限不同,能看到的界面也不相同,指定的操作员才可以查看系统运行情况。同时,当根据业务需要增加或修改数据库101中的配置信息时,也可以进入相应的界面,查询并更改指定的各类配置,除了少量的初始化配置外,系统的其他配置均可以在监控管理界面中进行更改。
本发明提供的监控管理装置107,由于采用统一的操作和维护界面,简化了相应的管理和监控操作。所述装置通过读取后台服务器信息,在前台加以展现;同时通过前台接收外部命令,对后台进行相应的操作,从而实现对统一处理系统各部分的整体监控和管理,极大地方便了用户操作。
综上所述,本发明提供的统一处理系统,内部数据标准统一,数据处理效率高,实时性好,能够及时为目标系统提供数据。而且,支持各种操作系统平台,便于跨平台的应用系统间的批量数据交换。本发明为各应用系统提供了统一的数据交换方式,在应用系统自身接口调整时,通过调整配置信息即可实现数据交换,而无需改动对应系统的接口设置。此外,为提高系统整体的处理效率,所述统一处理系统通过多台机器处理数据,作业的调度执行部署在多台机器上,而每台机器采用多进程方式同时处理多个作业的执行。本发明在架构系统框架时,支持可扩展处理,在系统资源不足时,还可采用增加机器数目的方式解决。
基于上述系统架构思想,本发明还提供了不同应用系统间数据交换的统一处理方法。参照图6,是本发明所述不同应用系统间数据交换的统一处理方法流程图。本实施例中,第一应用系统中的源文件需要处理转换为第二应用系统的目标文件,处理流程如下:
步骤601,预置调度配置信息和文件传输配置信息。如前所述,调度配置信息包括总体控制信息、作业配置信息、作业执行信息,文件传输配置信息包括节点配置表和待传输文件配置表。
步骤602,循环读取文件传输配置信息,当对应第一应用系统的配置时,从第一应用系统获取源文件。所述步骤与整体处理流程相对独立,通过轮询文件传输配置信息,当存在满足传输条件的源文件时,就执行自动传输操作,因此能够提高第一应用系统与第二应用系统间的数据交换效率。
优选步骤603,收集源文件对应的作业,根据调度配置信息生成待执行作业队列。当获取源文件后,将以作业为基本操作单位对文件进行处理。收集的作业包括执行作业、异常作业和人工作业,在充分利用系统资源的情况下,定时(一般为每天)或在固定时间收集作业,并通过读取调度配置信息,生成待执行作业信息,存放在待执行作业队列中。
步骤604,定时读取待执行作业队列,并循环读取作业对应的调度配置信息,逐个判断待执行作业是否满足执行条件,若满足,则采用多进程方式分别触发执行;若不满足,则不执行。同时,生成作业调度日志。当待执行作业队列中的作业全部执行完毕后,再返回步骤603,重新收集生成新的待执行作业队列。其中,所述执行条件即为调度配置信息中定义的作业相关信息。
结合步骤603和604,作业调度的具体流程是:
(1)将作业配置信息和作业执行信息通过“作业ID”进行关联,同时,按“优先级”进行排序;
(2)读取一条记录,如果没有记录被找到,则转到第(9)步;
(3)如果“作业执行状态”是执行成功,则转第(2)步,查找下一条记录;
(4)如果“运行时间区段”与当前系统时间不一致,则转第(2)步,查找下一条记录;
(5)依次判断“依赖作业列表”中的依赖作业是否已执行成功,如果不是执行成功状态,则转第(2)步,查找下一条记录;
(6)依次判断“输入文件列表”中的文件是否存在,如果不存在,则转第(2)步,查找下一条记录;
(7)依次查找“可运行节点号列表”的节点中,哪个节点中的作业进程个数没有超过“最大可执行进程数”,如果没有找到这样的节点,则转第(2)步,查找下一条记录;
(8)触发作业运行,之后转第(2)步,查找下一条记录;
(9)查看是否所有的作业均被执行成功,如果不是,则转第(1)步,重新进行关联操作;
(10)将“系统日期”加一,再将全部作业清理掉,并生成新一天的作业,之后转第(1)步,进行新的关联操作。
上述流程实现对作业的总体调度,当作业的个数非常多,且之间的关联关系非常复杂时,本发明所述方法能够在总体上保证所述复杂的逻辑关系正常、稳定、自动完成,而且能够充分利用系统资源。
步骤605,根据上述步骤的调度,完成相应的作业处理。
本发明将数据处理各类功能进行分解和归类,形成基本的功能操作,当提出新的功能需求时,通过需求分析和功能分解,尽可能用现有的基本功能操作通过总体调度进行串连来实现,而基本功能操作针对不同数据通过配置来适应新的需求,最终满足新的功能需要。如果通过基本的功能操作实现需求太复杂或效率很低,则通过ETL工具生成相应的作业来满足功能需要。所述基本操作包括转码、检核、排序、去重、关联、检索、合并、拆分、映射等各类操作,每个作业对应一个基本操作。
转码操作,根据预先配置的码制对照表,进行码制转换。所述操作支持多种码制之间的转换,还支持输出格式可配置(定长、非定长、各类分隔符等),以及针对指定的重要数据进行保护(如采用加密手段等)。由于除转码操作外的所有基本操作都以统一的码制数据执行,所以从第一应用系统获取的源文件数据若不符合数据标准,则需要调用转码操作;或者要发送的目标文件不符合第二应用系统的数据码制,也需要进行转码。转码操作的步骤是:读取表定义(用于识别文件内容)和公共参数配置信息(如码制对照表),根据码制对照表进行相应的码制转换。
检核操作,根据预先配置的检核规则,进行数据质量检核,保证数据在交换过程中的正确性,从而为后续的处理提供质量保证。通常,检核操作和转码操作绑定在一起,在转码操作完成后立即进行。由于不同数据的检核功能不同,检核点不一样,检核的方式也不一样,所以检核操作会根据不同应用系统的数据情况,实际确定是否需要增加检核功能。一般的检核规则包括:数据类型校验,数据取值范围校验,文件列数校验,记录长度校验,等等。对数据进行检核后,生成转码后的文件、处理结果标记文件、拒绝文件和警告文件。
排序操作,支持按指定内容作为主键,对文本文件内容进行顺序排列,能够提高数据检索效率,以及满足部分第二应用系统对处理效率的要求。
去重操作,在第一应用系统提供的数据中,可能包含部分重复数据,通常指主键重复,因此需要将相同主键的数据只保留一条,将其他重复的数据删除。
连接操作,根据相关的主键,对不同文本文件中互相关联的信息进行匹配,并输出到指定的文本文件中。
检索操作,根据指定的主键,在文本文件中找到匹配的记录,并输出到指定的文本文件中。
合并操作,将相同格式的多个文本文件进行合并,形成一个文本文件。
拆分操作,根据一定输入条件,将文本文件以主键为单位分成多个文件。
映射操作,根据一定条件,将指定的数据段按一定规则替换为相应的其他数据段。
本发明中,作业的调度执行部署在多台机器上,而每台机器采用多进程方式同时处理多个作业的执行,提高了系统整体的处理效率。在系统资源不足时,还可采用增加机器数目的方式解决。
步骤606,作业执行完毕后,生成目标文件。
步骤607,循环读取文件传输配置信息,当对应第二应用系统的配置时,向第二应用系统发送目标文件。本步骤与步骤602均为文件传输操作,与作业调度、处理流程各自独立执行,因此提高了数据交换效率。
本发明优选的,针对不同数据文件的传输,为避免不同应用系统的程序改动,设置传输服务端和客户端来实现传输功能,所有操作均由服务端控制,服务端驱动设置在应用系统的客户端,主动从第一应用系统获取源文件,并主动向第二应用系统发送目标文件。文件的传输分为待传输文件信息的获取和文件传输的实际执行,具体的传输步骤如前所述。
优选的,本发明还提供了对图6执行流程的监控管理功能。操作员进入监控管理界面后,需要输入相应的用户名和口令,不同级别的用户权限不同,能看到的界面也不相同。操作员可以登录不同界面,执行对作业调度和文件传输的手工操作,通过发送指令,可以启动或关闭进程的执行,也可以完成异常信息的处理。而且,还可以通过作业调度日志、处理结果标记文件、拒绝文件和警告文件等操作日志,查看整个处理流程的执行情况。而针对不同应用系统,需要增加、删除、查询或修改配置信息时,也可以进入相应的界面,查询并更改指定的各类配置。因此,所述监控管理界面为用户提供了调整调度配置信息和文件传输配置信息的方式,针对不同应用系统间的数据交换,不需要进行单独设计,而当应用系统的数据接口调整变化时,只需调整配置信息,不需要对应的应用系统做任何改动,因此开发和维护工作简便。
下面将结合实际业务应用,举例说明不同应用系统间的数据交换。实施例为增加新应用系统时,UDI平台(Unified Data Interchange,统一数据交换池)的相关配置、执行流程说明,以ECIF系统(Enterprise CustomerInformation Facility,企业客户信息整合系统)需要CCBS系统(ConsolidatedCore Banking System,核心银行业务处理系统)的个人客户信息(CICIFCIO)为例:
需求情况:
(1)CICIFCIO和VIPLIST为两个不同源系统提供的数据档,而VIP_CICIFCIO为目标系统需要的数据档,其中,CICIFCIO和VIPLIST的主键均为客户编号。
(2)CICIFCIO和VIPLIST文件存放在不同主机,而VIP_CICIFCIO文件还要传输到另外的主机。
(3)目标系统要求按照VIPLIST文件中所有记录的客户编号相应获取CICIFCIO文件中的记录,输出到VIP_CICIFCIO文件中。
背景情况:
(1)CICIFCIO为EBCDIC码(一种8位编码方案)文件,VIPLIST为ASCII码文件,而目标系统要求的VIP_CICIFCIO也是ASCII码文件。
(2)CICIFCIO和VIPLIST文件记录均未排序。
(3)CICIFCIO文件中按主键可能有重复记录。
(4)UDI平台的关联查找功能需要相应的文件必须是排序文件。
首先,分析实现上述需求需要执行哪些操作,每个操作是否可以由现有的功能模块来实现。分析如下:
(1)CICIFCIO是EBCDIC码文件,需要执行转码操作。
(2)CICIFCIO和VIPLIST文件记录均未排序,同时,CICIFCIO文件中按主键可能有重复记录,需要执行排序去重操作。
(3)根据所述需求,需要执行VIPLIST文件按客户编号到CICIFCIO文件查找相应记录的关联查找操作。
经过分析,本例中需要使用转码、排序去重、关联查找操作,而所述操作也是UDI的三个基本功能模块,三个模块都支持参数化,可以满足需求,因此只需要进行配置即可。如果现有功能模块不能完全满足需求,那么需要进行相应开发,但前提是应尽可能使用现有功能模块,从而简化开发工作量。具体配置过程如下:
(1)进行元数据配置,将三个文件(包括输入和输出)的数据字典加工成UDI平台内部标准的文件,供后续的作业调用。
(2)如果CICIFCIO、VIPLIST和VIP_CICIFCIO对应源和目标系统没有进行过文件传输配置,则进行相应配置,基本的文件传输配置信息包括:节点号(由UDI平台统一分配)、IP地址、端口号、本地路径名(绝对路径)、对应对方路径名(绝对路径)、传输方向(发送或获取)等。
(3)进行任务调度器的作业配置:
1)转码:
输入文件:CICIFCIO
输出文件:CICIFCIO_S1
执行模块:公共转码器(输入文件、输出文件作为参数带入)
执行频度:每天
执行方式:自动执行(文件存在就执行)
执行时间区段:00:00:00-24:00:00
优先级:中
失败后的重做次数:3
失败后的重做间隔等:3分钟
2)排序去重:
输入文件:CICIFCIO_S1
输出文件:CICIFCIO_T1
执行模块:排序去重(主键、输入文件、输出文件作为参数带入)
执行频度:每天
执行方式:自动执行(文件存在就执行)
执行时间区段:00:00:00-24:00:00
优先级:中
失败后的重做次数:3
失败后的重做间隔等:3分钟
3)排序去重:
输入文件:VIPLIST
输出文件:VIPLIST_T1
执行模块:排序去重(主键、输入文件、输出文件作为参数带入)
执行频度:每天
执行方式:自动执行(文件存在就执行)
执行时间区段:00:00:00-24:00:00
优先级:中
失败后的重做次数:3
失败后的重做间隔等:3分钟
4)关联查找
输入文件:CICIFCIO_T1 VIPLIST_T1
输出文件:VIP_CICIFCIO
执行模块:关联查找(主键、输入文件、输出文件作为参数带入)
执行频度:每天
执行方式:自动执行(文件存在就执行)
执行时间区段:00:00:00-24:00:00
优先级:中
失败后的重做次数:3
失败后的重做间隔等:3分钟
功能整体实现流程如下:
(1)UDI平台文件传输功能通过读取配置,获得各个与UDI平台相连的传输节点(此处是指源系统)信息,之后触发对各节点的轮询操作,向各节点发送查询指令,查询是否有新的文件就绪。所述指令中包括对方路径名、时间戳(记录该节点上次轮询时间)等。
(2)部署在对方节点的文件传输客户端接收到指令后,收集本地相应目录下是否有新的(大于UDI平台发送的时间戳)文件就绪,如果有,则将满足条件的文件记录到文件列表中。
(3)UDI平台文件传输功能获取文件列表,将文件列表通过指令取回,将相应文件从对应节点获取生成传输任务。
(4)UDI平台文件传输功能对传输任务进行读取后做相应的传输,即可从对方节点取回所述文件。传输前,部署在对方节点的文件传输客户端会进行压缩及加密,传输到本地后,UDI平台会相应进行解密和解压缩。
(5)UDI平台任务调度器轮询所有配置的作业,并根据调度策略触发满足条件的作业。因此,当CICIFCIO和VIPLIST两个文件通过以上传输方式到达UDI平台后,任务调度器可以判断CICIFCIO的转码和VIPLIST的排序去重作业均可以执行,即调起所述两个作业执行。
(6)CICIFCIO的转码作业执行结束后,生成CICIFCIO_S1文件,此时,任务调度器判断CICIFCIO的排序去重作业也可以执行,即调起所述作业。
(7)CICIFCIO和VIPLIST的排序去重作业均执行成功后,分别生成CICIFCIO_T1和VIPLIST_T1文件。因此,关联查找作业也已经满足执行条件,任务调度器判断以后,即调起关联查找作业。
(8)关联查找作业执行结束后,即生成目标系统需要的VIP_CICIFCIO文件。
(9)UDI平台文件传输功能通过读取配置,获得各个与UDI平台相连的传输节点(此处是指目标系统)信息,之后查询本地(即UDI平台)对应该节点配置的目录下是否有新的(大于该节点上次轮询的时间戳)文件生成,如果有,则针对所述文件向对应节点发送生成传输任务。
(10)UDI平台文件传输功能对传输任务进行读取后做相应的传输,即可发送所述文件到对方节点。传输前,UDI平台会进行压缩及加密,传输到对方节点后,部署在对方节点的文件传输客户端会相应进行解密和解压缩。
(11)至此,数据在源系统->UDI平台->目标系统的全部传输、处理过程结束。
以上对本发明所提供的不同应用系统间数据交换的统一处理系统和方法,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (25)
1、不同应用系统间数据交换的统一处理系统,用于处理源系统与目标系统间的数据交换,其特征在于,包括:
数据库,用于保存调度配置信息和文件传输配置信息;
文件传输装置,用于循环读取文件传输配置信息,完成源文件从源系统到统一处理系统的传输,或者目标文件从统一处理系统到目标系统的传输;
任务调度器,包括调度器核心服务单元,用于循环读取调度配置信息,逐个判断源文件对应的待执行作业是否满足执行条件,若满足,则触发数据处理装置或公共转码装置执行;
公共转码装置,用于在任务调度器的统一调度下,对应预配置的码制对照表,执行作业完成转码操作;
数据处理装置,用于对应各类基本操作,在任务调度器的统一调度下,调度相应操作执行作业,并生成目标文件。
2、根据权利要求1所述的系统,其特征在于,所述任务调度器还包括:作业列表生成器,用于收集源文件对应的作业,对应调度配置信息,生成待执行作业队列。
3、根据权利要求1所述的系统,其特征在于:所述调度器核心服务单元采用多进程方式启动满足执行条件的待执行作业。
4、根据权利要求1所述的系统,其特征在于:所述文件传输装置在统一处理系统部署服务端,在源系统和目标系统部署客户端;所述服务端用于驱动客户端,主动从源系统获取文件,并主动向目标系统发送文件。
5、根据权利要求4所述的系统,其特征在于:所述服务端部署文件获取进程,用于获取待传输的文件信息;还部署文件传输进程,用于执行文件传输操作。
6、根据权利要求4所述的系统,其特征在于:所述服务端与客户端间采用安全机制传输文件。
7、根据权利要求1所述的系统,其特征在于,还包括:数据检核装置,用于在任务调度器的统一调度下,对所述源文件和目标文件进行检核。
8、根据权利要求7所述的系统,其特征在于:所述数据检核装置对通过公共转码装置处理的数据进行检核。
9、根据权利要求1或7所述的系统,其特征在于,还包括:监控管理装置,用于对所述统一处理系统的运行进行监控、管理,包括监控管理客户端和监控核心服务端,其中,
监控管理客户端,用于向所述监控核心服务端发送操作指令;
监控核心服务端,用于接收所述指令,通过操作任务调度器或文件传输装置执行指令,或者通过访问数据库将统一处理系统的操作日志返回给监控管理客户端,查看系统的运行情况。
10、根据权利要求9所述的系统,其特征在于:所述监控管理客户端通过直接访问数据库,更改调度配置信息或文件传输配置信息。
11、根据权利要求9所述的系统,其特征在于,所述监控管理客户端包括:任务调度监控单元,用于提供作业的操作管理;文件安全传输监控单元,用于提供文件的操作管理。
12、不同应用系统间数据交换的统一处理方法,用于处理源系统与目标系统间的数据交换,其特征在于,包括:
预置调度配置信息和文件传输配置信息;
循环读取文件传输配置信息,从源系统获取源文件,或者向目标系统发送目标文件;
循环读取调度配置信息,逐个判断源文件对应的待执行作业是否满足执行条件,若满足,则启动作业执行转码或数据处理操作;
对需要转码的数据,对应预配置的码制对照表,执行作业完成转码操作;对需要进行数据处理的数据,对应数据处理的各类基本操作,调用相应操作执行作业;
生成目标文件。
13、根据权利要求12所述的方法,其特征在于,还包括:收集源文件对应的作业,对应调度配置信息,生成待执行作业队列;所述待执行作业队列中的作业全部调度执行完后,重新收集生成待执行作业队列。
14、根据权利要求12所述的方法,其特征在于:采用多进程方式启动满足执行条件的待执行作业。
15、根据权利要求12所述的方法,其特征在于:所述作业的执行部署在至少一台机器上。
16、根据权利要求12所述的方法,其特征在于,执行以下步骤从源系统获取源文件,其中,所述文件传输配置信息包括节点配置表和待传输文件配置表:
服务端循环读取节点配置表,向源系统客户端发送查询指令;
客户端将就绪的文件信息记录到文件列表;
服务端获取文件列表,对应匹配规则确定待传输文件,并记录到待传输文件配置表;
对应待传输文件配置表,源文件从客户端传输到服务端。
17、根据权利要求16所述的方法,其特征在于,执行以下步骤从客户端传输源文件到服务端:
服务端循环读取待传输文件配置表,向源系统客户端发送验证指令;
验证通过,服务端生成动态密钥,并发送给客户端;
客户端用所述密钥对待传输文件进行加密;
服务端获取加密的待传输文件,用所述密钥对待传输文件进行解密。
18、根据权利要求12所述的方法,其特征在于,执行以下步骤向目标系统发送目标文件,其中,所述文件传输配置信息包括节点配置表和待传输文件配置表:
服务端循环读取节点配置表,将就绪的文件信息记录到文件列表;
对应匹配规则确定待传输文件,并记录到待传输文件配置表;
对应待传输文件配置表,服务端向目标系统客户端传输目标文件。
19、根据权利要求18所述的方法,其特征在于,执行以下步骤将目标文件从服务端传输到目标系统客户端:
服务端循环读取待传输文件配置表,向目标系统客户端发送验证指令;
验证通过,服务端生成动态密钥,并发送给客户端;
服务端用所述密钥对待传输文件进行加密,并向客户端发送所述加密的文件;
客户端用所述密钥对文件进行解密。
20、根据权利要求12所述的方法,其特征在于,所述转码操作包括:将源系统数据转换为标准码制数据,或者将标准码制数据转换为目标系统需要的码制数据。
21、根据权利要求12所述的方法,其特征在于,所述作业的执行还包括检核操作:对源文件及目标文件进行检核,所述检核操作对不同数据采用不同的检核规则。
22、根据权利要求21所述的方法,其特征在于,所述检核操作还包括:对转码操作后的数据进行检核。
23、根据权利要求12所述的方法,其特征在于,还包括:访问监控管理界面,更改所述调度配置信息或文件传输配置信息。
24、根据权利要求12所述的方法,其特征在于,还包括:访问监控管理界面,发送操作指令,完成作业的调度执行或文件传输。
25、根据权利要求21或23所述的方法,其特征在于,还包括:访问监控管理界面,通过操作日志查看作业调度、转码、检核、数据处理、文件传输操作的运行情况。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006101706455A CN100499462C (zh) | 2006-12-22 | 2006-12-22 | 不同应用系统间数据交换的统一处理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006101706455A CN100499462C (zh) | 2006-12-22 | 2006-12-22 | 不同应用系统间数据交换的统一处理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1996854A true CN1996854A (zh) | 2007-07-11 |
CN100499462C CN100499462C (zh) | 2009-06-10 |
Family
ID=38251806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006101706455A Active CN100499462C (zh) | 2006-12-22 | 2006-12-22 | 不同应用系统间数据交换的统一处理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100499462C (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853179A (zh) * | 2010-05-10 | 2010-10-06 | 深圳市极限网络科技有限公司 | 基于插件执行任务分解的通用分布式动态运算技术 |
CN101923493A (zh) * | 2010-09-21 | 2010-12-22 | 深圳市华力特电气股份有限公司 | 一种任务调度方法及任务调度设备 |
CN102043836A (zh) * | 2010-12-01 | 2011-05-04 | 北京迅捷英翔网络科技有限公司 | 数据适配装置和方法 |
CN102799608A (zh) * | 2012-05-31 | 2012-11-28 | 新奥特(北京)视频技术有限公司 | 一种快速获取数据的方法 |
CN103188291A (zh) * | 2011-12-28 | 2013-07-03 | 北京大学 | 一种数据传输的方法及装置 |
CN103236959A (zh) * | 2013-05-09 | 2013-08-07 | 中国银行股份有限公司 | 用于测试业务处理模块的测试系统和方法 |
CN104270455A (zh) * | 2014-10-14 | 2015-01-07 | 税友软件集团股份有限公司 | 一种数据传输方法、装置及系统 |
CN104679894A (zh) * | 2015-03-17 | 2015-06-03 | 浪潮集团有限公司 | 一种erp系统中海量运维数据的采集方法 |
CN104717517A (zh) * | 2015-03-31 | 2015-06-17 | 北京奇艺世纪科技有限公司 | 一种视频转码任务调度方法及装置 |
CN105450719A (zh) * | 2014-09-30 | 2016-03-30 | 中国移动通信集团公司 | 一种系统间文件传输方法及装置 |
CN106021415A (zh) * | 2016-05-13 | 2016-10-12 | 中国建设银行股份有限公司 | 一种数据检核方法及系统 |
TWI564805B (zh) * | 2014-07-15 | 2017-01-01 | Can dynamically adjust the task scheduling system and scheduling methods | |
CN106960335A (zh) * | 2017-03-28 | 2017-07-18 | 中国建设银行股份有限公司 | 系统外调用方法、装置和通信系统 |
CN107171892A (zh) * | 2017-06-08 | 2017-09-15 | 中国电子信息产业集团有限公司第六研究所 | 一种基于qt的跨平台数据通信方法及系统 |
CN108920519A (zh) * | 2018-06-04 | 2018-11-30 | 贵州数据宝网络科技有限公司 | 一对多数据供应系统及方法 |
CN109246444A (zh) * | 2018-11-28 | 2019-01-18 | 中电科(德阳广汉)特种飞机系统工程有限公司 | 任务载荷的作业监控系统、方法、装置及可读存储介质 |
CN111124661A (zh) * | 2019-10-11 | 2020-05-08 | 合肥非度信息技术有限公司 | 基于java线程池主动释放资源的短信发送方法及系统 |
CN111161052A (zh) * | 2019-12-31 | 2020-05-15 | 中国银行股份有限公司 | 银行作业数据的处理方法及装置 |
CN111522779A (zh) * | 2020-06-22 | 2020-08-11 | 上海通联金融服务有限公司 | 一种多系统文件交互的配置处理方法 |
CN113067866A (zh) * | 2021-03-18 | 2021-07-02 | 中国工商银行股份有限公司 | 异构系统间的批量文件传输方法及装置 |
CN113114757A (zh) * | 2021-04-09 | 2021-07-13 | 中国工商银行股份有限公司 | 一种文件传输方法、装置和设备 |
CN113364852A (zh) * | 2021-06-02 | 2021-09-07 | 中国工商银行股份有限公司 | 文件的传输方法、装置和服务器 |
CN113704232A (zh) * | 2021-09-23 | 2021-11-26 | 中国银行股份有限公司 | 一种数据库间批量作业调度的方法、装置及电子设备 |
CN115827283A (zh) * | 2023-02-09 | 2023-03-21 | 中国证券登记结算有限责任公司 | 一种跨平台信息传输方法和系统 |
CN117076546A (zh) * | 2023-10-16 | 2023-11-17 | 深圳市小赢信息技术有限责任公司 | 数据处理方法、终端设备及计算机可读存储介质 |
CN117149884A (zh) * | 2023-10-30 | 2023-12-01 | 华兴国创(北京)科技有限公司 | 一种数据处理交易方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632383A (zh) * | 2018-05-15 | 2018-10-09 | 中国电子科技集团公司第二十八研究所 | 一种串口可靠传输文件的方法 |
CN108829767A (zh) * | 2018-05-29 | 2018-11-16 | 吉贝克信息技术(北京)有限公司 | 数据交换系统及其方法、装置和计算机存储介质 |
CN109635016A (zh) * | 2018-10-16 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 数据转换方法、装置、设备及计算机可读存储介质 |
-
2006
- 2006-12-22 CN CNB2006101706455A patent/CN100499462C/zh active Active
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853179B (zh) * | 2010-05-10 | 2012-09-26 | 深圳市极限网络科技有限公司 | 基于插件执行任务分解的通用分布式动态运算技术 |
CN101853179A (zh) * | 2010-05-10 | 2010-10-06 | 深圳市极限网络科技有限公司 | 基于插件执行任务分解的通用分布式动态运算技术 |
CN101923493A (zh) * | 2010-09-21 | 2010-12-22 | 深圳市华力特电气股份有限公司 | 一种任务调度方法及任务调度设备 |
CN102043836A (zh) * | 2010-12-01 | 2011-05-04 | 北京迅捷英翔网络科技有限公司 | 数据适配装置和方法 |
CN103188291A (zh) * | 2011-12-28 | 2013-07-03 | 北京大学 | 一种数据传输的方法及装置 |
CN102799608A (zh) * | 2012-05-31 | 2012-11-28 | 新奥特(北京)视频技术有限公司 | 一种快速获取数据的方法 |
CN103236959A (zh) * | 2013-05-09 | 2013-08-07 | 中国银行股份有限公司 | 用于测试业务处理模块的测试系统和方法 |
TWI564805B (zh) * | 2014-07-15 | 2017-01-01 | Can dynamically adjust the task scheduling system and scheduling methods | |
CN105450719A (zh) * | 2014-09-30 | 2016-03-30 | 中国移动通信集团公司 | 一种系统间文件传输方法及装置 |
CN105450719B (zh) * | 2014-09-30 | 2019-05-24 | 中国移动通信集团公司 | 一种系统间文件传输方法及装置 |
CN104270455A (zh) * | 2014-10-14 | 2015-01-07 | 税友软件集团股份有限公司 | 一种数据传输方法、装置及系统 |
CN104679894A (zh) * | 2015-03-17 | 2015-06-03 | 浪潮集团有限公司 | 一种erp系统中海量运维数据的采集方法 |
CN104717517A (zh) * | 2015-03-31 | 2015-06-17 | 北京奇艺世纪科技有限公司 | 一种视频转码任务调度方法及装置 |
CN104717517B (zh) * | 2015-03-31 | 2018-04-13 | 北京爱奇艺科技有限公司 | 一种视频转码任务调度方法及装置 |
CN106021415A (zh) * | 2016-05-13 | 2016-10-12 | 中国建设银行股份有限公司 | 一种数据检核方法及系统 |
CN106021415B (zh) * | 2016-05-13 | 2019-07-09 | 中国建设银行股份有限公司 | 一种数据检核方法及系统 |
CN106960335A (zh) * | 2017-03-28 | 2017-07-18 | 中国建设银行股份有限公司 | 系统外调用方法、装置和通信系统 |
CN107171892B (zh) * | 2017-06-08 | 2020-05-22 | 中国电子信息产业集团有限公司第六研究所 | 一种基于qt的跨平台数据通信方法及系统 |
CN107171892A (zh) * | 2017-06-08 | 2017-09-15 | 中国电子信息产业集团有限公司第六研究所 | 一种基于qt的跨平台数据通信方法及系统 |
CN108920519A (zh) * | 2018-06-04 | 2018-11-30 | 贵州数据宝网络科技有限公司 | 一对多数据供应系统及方法 |
CN109246444A (zh) * | 2018-11-28 | 2019-01-18 | 中电科(德阳广汉)特种飞机系统工程有限公司 | 任务载荷的作业监控系统、方法、装置及可读存储介质 |
CN111124661A (zh) * | 2019-10-11 | 2020-05-08 | 合肥非度信息技术有限公司 | 基于java线程池主动释放资源的短信发送方法及系统 |
CN111124661B (zh) * | 2019-10-11 | 2024-04-09 | 合肥非度信息技术有限公司 | 基于java线程池主动释放资源的短信发送方法及系统 |
CN111161052A (zh) * | 2019-12-31 | 2020-05-15 | 中国银行股份有限公司 | 银行作业数据的处理方法及装置 |
CN111161052B (zh) * | 2019-12-31 | 2023-11-21 | 中国银行股份有限公司 | 银行作业数据的处理方法及装置 |
CN111522779B (zh) * | 2020-06-22 | 2023-04-14 | 上海通联金融服务有限公司 | 一种多系统文件交互的配置处理方法 |
CN111522779A (zh) * | 2020-06-22 | 2020-08-11 | 上海通联金融服务有限公司 | 一种多系统文件交互的配置处理方法 |
CN113067866A (zh) * | 2021-03-18 | 2021-07-02 | 中国工商银行股份有限公司 | 异构系统间的批量文件传输方法及装置 |
CN113114757A (zh) * | 2021-04-09 | 2021-07-13 | 中国工商银行股份有限公司 | 一种文件传输方法、装置和设备 |
CN113114757B (zh) * | 2021-04-09 | 2022-09-30 | 中国工商银行股份有限公司 | 一种文件传输方法、装置和设备 |
CN113364852A (zh) * | 2021-06-02 | 2021-09-07 | 中国工商银行股份有限公司 | 文件的传输方法、装置和服务器 |
CN113704232A (zh) * | 2021-09-23 | 2021-11-26 | 中国银行股份有限公司 | 一种数据库间批量作业调度的方法、装置及电子设备 |
CN115827283A (zh) * | 2023-02-09 | 2023-03-21 | 中国证券登记结算有限责任公司 | 一种跨平台信息传输方法和系统 |
CN117076546A (zh) * | 2023-10-16 | 2023-11-17 | 深圳市小赢信息技术有限责任公司 | 数据处理方法、终端设备及计算机可读存储介质 |
CN117076546B (zh) * | 2023-10-16 | 2024-04-26 | 深圳市小赢信息技术有限责任公司 | 数据处理方法、终端设备及计算机可读存储介质 |
CN117149884A (zh) * | 2023-10-30 | 2023-12-01 | 华兴国创(北京)科技有限公司 | 一种数据处理交易方法 |
CN117149884B (zh) * | 2023-10-30 | 2024-01-12 | 华兴国创(北京)科技有限公司 | 一种数据处理交易方法 |
Also Published As
Publication number | Publication date |
---|---|
CN100499462C (zh) | 2009-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100499462C (zh) | 不同应用系统间数据交换的统一处理系统及方法 | |
CN109118347B (zh) | 一种自动化协作方法及系统 | |
CN109165248B (zh) | 一种基于api的管理系统及管理方法 | |
CN111680199A (zh) | 档案管理系统及操作流程 | |
US8978032B2 (en) | Host naming application programming interface | |
CN109840144B (zh) | 一种针对跨机构批量服务请求的信息服务调度方法及系统 | |
MXPA05006389A (es) | Sistema y metodo para auditar una red. | |
KR102270896B1 (ko) | 데이터 비식별화에 기반한 데이터 아카이빙 방법 및 시스템 | |
CN101170568B (zh) | 一种Telnet命令自动生成及批量执行方法 | |
CN108614882A (zh) | 一种基于服务器的文件管理方法与系统 | |
CN109271410A (zh) | 银行回单的提取方法、装置及计算机可读存储介质 | |
CN112330299A (zh) | 业务流程管理方法、装置、设备及存储介质 | |
CN112667469A (zh) | 一种多元化大数据统计报告自动生成方法、系统及可读介质 | |
US11816512B2 (en) | Event driven data processing system and method | |
JP2021140430A (ja) | データベースマイグレーション方法、データベースマイグレーションシステム、及びデータベースマイグレーションプログラム | |
JP2002063324A (ja) | 集中業務処理装置および方法 | |
CN101335763A (zh) | 智能网系统中数据导出及数据传输的方法 | |
CN112817799B (zh) | 一种基于Spring框架的访问多数据源的方法及装置 | |
CN112448972B (zh) | 数据交换与共享平台 | |
CN112215705A (zh) | 一种国际信用卡清分清算平台 | |
JP2943661B2 (ja) | 金融端末装置のファイル照会方式 | |
US7822015B2 (en) | Method of operating systems comprising communication services | |
CN101169721B (zh) | 菜单数据维护方法及装置 | |
JP2008015870A (ja) | レイアウト変換機能を有するデータ処理装置およびデータ管理部品プログラムとそのプログラムを記録した記録媒体 | |
CN112416901A (zh) | 数据库迁移的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |