CN101458705A - 一种不同应用系统间的数据核对方法、装置及系统 - Google Patents

Abstract

本发明公开了一种不同应用系统间的数据核对方法、装置及系统，以解决目前的核对方法造成数据核对系统的开发、维护和扩展困难的问题。所述方法包括：提供文件解析规则获取单元，该单元获取预配置的文件解析规则；提供文件获取单元，该单元获取对应该文件解析规则的第一数据文件；提供文件解析单元，该单元按照所述文件解析规则，将所述第一数据文件解析为统一格式的数据记录；提供核对字段获取单元，该单元对应所述第一数据文件，获取预配置的核对字段；提供数据核对单元，该单元按照所述核对字段，将对应所述第一数据文件的数据记录与第二数据文件中的数据进行核对。这种可配置的数据核对方式更加灵活，更加有利于系统的维护和扩展。

Description

一种不同应用系统间的数据核对方法、装置及系统

技术领域

本发明涉及数据处理技术领域，特别是涉及一种不同应用系统间的数据核对方法、装置及系统。

背景技术

在很多业务领域，根据业务的需要，会对业务数据进行核对处理。例如在电子交易领域，交易双方通过第三方支付系统实现网上交易，该第三方支付系统就需要通过对账系统与参与交易的银行系统进行对账处理。对账处理是对前一个清算周期的交易信息进行核对，以确认交易信息的一致性和正确性。所述第三方支付系统与接入的各家银行都要作对账。

具体对账过程是：结算人员从银行获得用来对账的文件，对账文件的格式一般是银行自己定义的，每个银行的对账文件一般来说格式不一样；然后，将该对账文件中的对账字段分别与第三方支付系统中的交易数据进行核对。其中，所述对账字段是指用于对账过程的字段，不同的业务需要对不同的字段，如支付宝卡通提现需要对用户的卡通协议号，正常提现需要对用户的卡号。其中，所述支付宝卡通提现业务是指将银行卡号与支付宝支付系统的账号通过卡通协议进行关联，卡通协议号分别与银行卡号、支付宝支付系统的账号相对应。

目前，对账系统采取的对账方法是，针对每一家银行的系统来作对账。但由于需要与第三方支付系统进行对账的银行系统非常多，而每个银行系统的对账文件格式不一致，多种业务需要对账的字段也不尽相同，因此这种需要针对每家银行实现一套对账流程的处理方式，对开发和测试造成了巨大的负担。一方面，对于系统的开发而言，对账系统实现起来异常复杂，非常不利于维护和扩展；另一方面，对于开发人员而言，当对账字段需要更改的时候，需要重新开发，然后系统重新发布，代价很大。

通过以上电子交易领域的对账处理过程可知，如果一个数据核对系统(如对账系统)需要与多个业务应用系统(如各家银行的系统)进行数据核对处理，采用针对每个业务应用系统实现一套核对流程的方式，而每个业务应用系统的核对文件格式不一致，不同业务需要核对的字段也不相同，这种情况下，数据核对系统的开发、维护和扩展会非常困难，而且还对开发人员造成人力资源的耗费。

发明内容

本发明所要解决的技术问题是提供一种不同应用系统间的数据核对方法、装置及系统，以解决目前的核对方法造成数据核对系统的开发、维护和扩展困难，耗费大量人力的问题。

为解决上述技术问题，根据本发明提供的具体实施例，本发明公开了以下技术方案：

一种不同应用系统间的数据核对装置，用于将至少一个第一应用系统中的第一数据文件与第二应用系统中的第二数据文件进行核对，包括：

文件解析规则获取单元，用于获取预配置的文件解析规则；

文件获取单元，用于获取对应该文件解析规则的第一数据文件；

文件解析单元，用于按照所述文件解析规则，将所述第一数据文件解析为统一格式的数据记录；

核对字段获取单元，用于对应所述第一数据文件，获取预配置的核对字段；

数据核对单元，用于按照所述核对字段，将对应所述第一数据文件的数据记录与第二数据文件中的数据进行核对。

其中，所述数据核对单元具体包括比较子单元和标记子单元；所述比较子单元用于根据核对字段将对应所述第一数据文件的数据记录与第二数据文件的数据进行比较；如果所有的核对字段对应的数据都匹配，则所述标记子单元用于将所述第二数据文件的数据标记为正常数据；否则，所述标记子单元用于标记为差异数据。

优选的，所述装置还包括：第二数据文件获取单元，用于获取第二数据文件。

其中，所述第二数据文件获取单元设置在数据核对单元中。

优选的，所述装置还包括：线程池，用于分配多个线程执行所述数据核对单元；核对引擎，用于管理所述线程池。

本发明还提供了一种不同应用系统间的数据核对方法，用于将至少一个第一应用系统中的第一数据文件与第二应用系统中的第二数据文件进行核对，包括：

提供文件解析规则获取单元，该单元获取预配置的文件解析规则；

提供文件获取单元，该单元获取对应该文件解析规则的第一数据文件；

提供文件解析单元，该单元按照所述文件解析规则，将所述第一数据文件解析为统一格式的数据记录；

提供核对字段获取单元，该单元对应所述第一数据文件，获取预配置的核对字段；

提供数据核对单元，该单元按照所述核对字段，将对应所述第一数据文件的数据记录与第二数据文件中的数据进行核对。

优选的，所述方法还包括：数据核对单元根据核对字段将对应所述第一数据文件的数据记录与第二数据文件的数据进行比较，如果所有的核对字段对应的数据都匹配，则将所述第二数据文件的数据标记为正常数据；否则，标记为差异数据。

优选的，所述方法还包括：通过配置新的文件解析规则和新的核对字段，增加新的第一数据文件与第二数据文件的核对。

其中，所述获取预配置的文件解析规则，并获取对应该文件解析规则的第一数据文件，具体包括：文件解析规则获取单元定时检查预配置的文件解析规则，当有新的文件解析规则时，获取该新的文件解析规则并缓存，然后文件获取单元获取对应该新的文件解析规则的第一数据文件。

其中，所述获取预配置的核对字段具体包括：核对字段获取单元定时检查预配置的核对字段，当有新的核对字段时，获取该新的核对字段并缓存。

优选的，核对引擎从线程池分配多个线程执行所述核对。

优选的，所述预配置文件解析规则和核对字段，具体包括：设置文件解析规则配置表来预配置文件解析规则；设置核对字段配置表来预配置核对字段。

优选的，所述文件解析规则获取单元获取预配置的文件解析规则，具体包括：根据第二数据文件中的每条数据记录对应的应用系统，获取对应该应用系统的文件解析规则。

本发明还提供了一种数据核对系统，包括至少一个应用系统及核对子系统，所述核对子系统包括：

第一数据库，用于存储文件解析规则及核对字段；

第二数据库，用于存储文件解析后的数据记录；

第三数据库，用于存储第二数据文件；

文件解析规则缓存服务器，用于从第一数据库获取预配置的文件解析规则，然后通知文件解析器；

文件解析器，用于触发文件获取器获取第一数据文件，然后按照所述文件解析规则，将所述第一数据文件解析为统一格式的数据记录，并存入第二数据库；

文件获取器，用于从应用系统获取对应该文件解析规则的第一数据文件；

核对字段缓存服务器，用于对应所述第一数据文件，从第一数据库获取预配置的核对字段，并从第二数据库获取文件解析后的数据记录，然后通知核对处理器；

核对处理器，用于从第三数据库获取第二数据文件，然后按照所述核对字段，将对应所述第一数据文件的数据记录与第二数据文件中的数据进行核对。

优选的，所述系统还包括：线程池，用于分配多个线程执行所述核对处理器；核对引擎，用于管理所述线程池。

其中，所述文件解析规则缓存服务器定时检查第一数据库，当有新的文件解析规则时，获取该新的文件解析规则并缓存；所述核对字段缓存服务器定时检查第一数据库，当有新的核对字段时，获取该新的核对字段并缓存。

其中，所述第一数据库和第二数据库为同一个数据库。

根据本发明提供的具体实施例，本发明具有以下技术效果：

首先，本发明提供了一种可配置的数据核对系统及核对方法，该方法通过预先配置文件解析规则和核对字段，然后根据预配置的文件解析规则将第一数据文件解析为统一格式的数据记录，再按照预配置的核对字段，将所述数据记录与第二数据文件的数进行核对。

针对电子交易中第三方支付系统与各银行系统间的对账处理，所述方法将各银行不同的文件解析规则、不同的对账字段进行预先配置，然后根据所述配置信息完成对账处理。当增加新的银行系统时，只需增加新的配置信息即可；或者，当更改对账字段时，只需修改原始配置中的对账字段即可。由此，这种可配置的对账方式更加灵活，更加有利于系统的维护和扩展；而且，极大地减轻了开发人员的工作负担。

其次，在采用配置方式的基础上，本发明还利用线程池来同时处理多个核对，从而大大提高了核对效率。

附图说明

图1是本发明实施例一所述一种不同应用系统间的数据核对装置结构图；

图2是本发明实施例一所述一种不同应用系统间的数据核对方法流程图；

图3是本发明实施例二所述对账系统中文件解析模块的结构图；

图4是本发明实施例二所述对账系统中对账模块的结构图；

图5是本发明实施例二所述一种对账方法的流程图；

图6是本发明实施例中对账文件格式的示意截图；

图7是本发明实施例中将对账文件导入到数据库的表结构示意截图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一：

本发明实施例一提供了一种不同应用系统间的数据核对装置。

参照图1，是本发明实施例所述一种数据核对装置结构图。该装置是将至少一个业务应用系统的数据(称为第一数据文件)与数据核对系统的数据(称为第二数据文件)进行核对，所述数据核对系统可同时连接多个业务应用系统。所述数据核对装置通常设置于所述数据核对系统中，但本实施例不做限定，该装置也可以设置在数据核对系统之外。

所述数据核对装置主要包括：

文件解析规则获取单元U11，用于获取预配置的文件解析规则；

文件获取单元U12，用于获取对应该文件解析规则的第一数据文件；

文件解析单元U13，用于按照所述文件解析规则，将所述第一数据文件解析为统一格式的数据记录；

核对字段获取单元U14，用于对应所述第一数据文件，获取预配置的核对字段；

数据核对单元U15，用于按照所述核对字段，将对应所述第一数据文件的数据记录与第二数据文件中的数据进行核对。

其中，所述第二数据文件可以由设置在数据核对单元U15内的第二数据文件获取单元获取(如果数据核对装置设置于所述数据核对系统中，则数据核对单元U15可以直接从系统数据库中读取)，也可以设置一单独的第二数据文件获取单元从数据核对系统获取第二数据文件。需要说明的是，当数据核对系统同时连接多个应用系统时，上述文件获取单元U12需要从不同的应用系统分别获取第一数据文件，而第二数据文件都从数据核对系统获取。

优选的，所述数据核对单元U15具体包括比较子单元和标记子单元；

所述比较子单元用于根据核对字段将对应所述第一数据文件的数据记录与第二数据文件的数据进行比较；如果所有的核对字段对应的数据都匹配，则所述标记子单元用于将所述第二数据文件的数据标记为正常数据；否则，所述标记子单元用于标记为差异数据。

优选的，所述装置还包括：

线程池，用于分配多个线程执行所述数据核对单元U15；

核对引擎，用于管理所述线程池，包括对线程的获取、分发、运行、回收等整个生命周期的管理。

基于以上说明，也可以对上述装置进行扩展，用于实现多个不同的两两应用系统间的数据核对。例如，可以实现A应用系统与B应用系统的数据核对，也可以实现C应用系统与D应用系统的数据核对。此时，所述装置需要将两个进行核对的系统数据解析为统一格式。假设第一应用系统的数据文件与第二应用系统的数据文件进行核对，则该装置不仅包括用于获取第一应用系统和第二应用系统的文件解析规则的文件解析规则获取单元，用于获取第一应用系统的数据文件的文件获取单元，用于将所述第一应用系统的数据文件解析为统一格式数据的文件解析单元，以及核对字段获取单元和数据核对单元；还可以包括用于获取第二应用系统的数据文件的文件获取单元，用于将所述第二应用系统的数据文件解析为统一格式数据的文件解析单元。

针对上述数据核对装置，本发明实施例提供了一种不同应用系统间的数据核对方法。以至少一个业务应用系统的数据(第一数据文件)与数据核对系统的数据(第二数据文件)进行核对为例。

参照图2，是实施例一所述一种数据核对方法流程图。

以一次核对过程为例，第一数据文件与第二数据文件的数据核对处理过程如下：

S201，文件解析规则获取单元获取预配置的文件解析规则，然后文件获取单元获取对应该文件解析规则的第一数据文件；所述第一数据文件来源于业务应用系统；

本实施例提供的配置信息包括文件解析规则和核对字段。所述文件解析规则用于对第一数据文件进行解析，第一数据文件的格式不同，解析规则也不同。即如果有多个第一数据文件分别来源于不同的业务应用系统，则需要针对每个第一数据文件的格式配置相应的文件解析规则。所述核对字段用于提供需要核对的数据，而业务不同，需要核对的字段也不同。

这些信息都需要预先配置，可以设置文件解析规则配置表和核对字段配置表来分别存放文件解析规则和核对字段，当然也可以采取其他存放方式，本实施例不作限定。当某个业务应用系统需要与数据核对系统核对数据的时候，将该业务应用系统的文件解析规则和需要核对的字段配置到相应的配置表中，然后核对过程中根据这些配置信息完成核对。

针对一次数据核对，首先要读取配置信息中的文件解析规则，然后从相应的业务应用系统中读取对应该文件解析规则的第一数据文件，继续以下流程。优选的，可以将从文件解析规则配置表读取出的文件解析规则进行缓存，下次使用时从该缓存读取即可。

如果数据核对系统同时连接多个应用系统，不同应用系统的文件解析规则也不同，此时文件解析规则获取单元获取不同的文件解析规则的方式是：依次读取第二数据文件中的数据记录，根据记录对应的应用系统，获取对应该应用系统的文件解析规则；然后，文件获取单元从该应用系统中获取第一数据文件。

S202，文件解析单元按照所述文件解析规则，将所述第一数据文件解析为统一格式的数据记录；

文件解析的目的是要把各种不同格式的文件解析成具有统一格式的数据记录，存放到数据库中，以便后续核对时使用。这样，各种业务应用系统的文件都转换成了一种格式，就可以通过同一个核对流程完成数据核对，而不需要像现有技术一样分别实现核对流程。

S203，核对字段获取单元对应所述第一数据文件，获取预配置的核对字段；

当文件解析完成之后，继续从相应的配置信息中获取需要核对的字段，所述字段可能为一个或多个。优选的，可以将从核对字段配置表读取出的核对字段进行缓存，下次使用时从该缓存读取即可。

S204，数据核对单元按照所述核对字段，将对应所述第一数据文件的数据记录与第二数据文件中的数据进行核对。所述第二数据文件来源于数据核对系统。

具体核对过程是：根据核对字段将对应所述第一数据文件的数据记录与第二数据文件的数据进行比较，如果所有的核对字段对应的数据都匹配，则将所述第二数据文件的数据标记为正常数据；否则，标记为差异数据。对于差异数据，可以通知人工处理。

上述流程中，获取文件解析规则的步骤和获取核对字段的步骤并没有先后执行的必然联系，以上流程仅作为实施例，在实际应用中，也可以同时获取。

当一次核对过程结束后，再对下次核对循环执行S101—S104。这些要核对的文件可能来源于不同的业务应用系统，各文件的数据格式也可能不同，但通过统一的核对流程即可完成。

以上数据核对方法充分利用了每种核对流程中公用的部分，通过配置的方式将不同格式的文件转换为统一格式后，就可以根据配置的核对字段进行统一处理，因此一套核对流程就可以实现多个业务应用系统与数据核对系统的数据核对处理。而当增加新的业务应用系统，或更改核对字段的时候，通过增加或修改配置信息即可实现。因此，这种可配置的数据核对方式更加灵活，更加有利于系统的维护和扩展；而且，极大地减轻了开发人员的工作负担。

实施例二：

针对上述数据核对装置和核对方法的说明，结合实际应用，本发明实施例二提供了一种数据核对系统。仍以电子交易领域的对账系统为例，该对账系统是将第三方支付系统的交易数据与银行系统的对账文件进行核对。所述对账系统主要包括文件解析模块和对账模块，下面分别说明。

参照图3，是实施例二所述对账系统中文件解析模块的结构图。

所述文件解析模块主要包括：

第一数据库U31，用于存储文件解析规则及对账字段；

第二数据库U32，用于存储文件解析后的数据记录；

文件解析规则缓存服务器U33，用于从第一数据库U31获取预配置的文件解析规则，然后通知文件解析器U34；

文件解析器U34，用于触发文件获取器U35获取对账文件，然后按照所述文件解析规则，将所述对账文件解析为统一格式的数据记录，并存入第二数据库U32；

文件获取器U35，用于从应用系统获取对应该文件解析规则的对账文件，本例中所述应用系统为银行系统，所述银行系统可以为多家银行的系统。

其中，所述第一数据库U31和第二数据库U32也可以为同一个数据库。

文件解析模块的工作过程如下：

文件解析规则缓存服务器U33根据配置的定时时间，定时检查配置文件解析规则的第一数据库U31，当发现有新的文件解析规则时，获取该新的文件解析规则并缓存，然后通知文件解析器U34；文件解析器U34触发文件获取器U35从银行系统获取对账文件，然后文件解析器U34按照所述新的文件解析规则，将所述对账文件解析为统一格式的数据记录，并存入第二数据库U32。其中，所述新的文件解析规则可以是新添加到第一数据库U31中的记录，也可以是对第一数据库U31中原有记录的更新信息。

参照图4，是实施例二所述对账系统中对账模块的结构图。

所述对账模块主要包括：

第三数据库U41，用于存储需要对账的交易数据，这些交易数据来源于第三方支付系统；

对账字段缓存服务器U42，用于对应所述对账文件，从第一数据库U31获取预配置的对账字段，并从第二数据库U32获取文件解析后的数据记录，然后通知对账处理器U43；

对账处理器U43，用于从第三数据库U41获取交易数据，然后按照所述对账字段，将对应所述对账文件的数据记录与交易数据进行核对。

优选的，所述对账模块还包括：

线程池U44，用于分配多个线程执行所述对账处理器U43；

对账引擎U45，用于管理所述线程池U44，包括对线程的获取、分发、运行、回收等整个生命周期的管理。

对账模块的工作过程如下：

对账字段缓存服务器U42根据配置的定时时间，定时检查配置对账字段的第一数据库U31，当发现有新的对账字段时，获取该新的对账字段并缓存；对账字段缓存服务器U42还需要从第二数据库U32获取文件解析后的数据记录，然后通知对账处理器U43；对账处理器U43从第三数据库U41获取交易数据，然后按照所述对账字段，将对应所述对账文件的数据记录与交易数据进行核对。

针对多线程处理，对账引擎U45控制线程池U44分配多个线程，同时执行对账处理。此时，对账处理器U43以多线程方式并行执行对账处理。

上述对账系统不仅可以用来作对账操作，也可以用来做复核操作。总之，任何需要比对两方的数据的业务场景都可以利用所述系统通过修改来实现。

在实际应用中，很多业务都需要进行数据核对，针对上述对账系统，仍以电子交易领域的对账处理为例。

参照图5，是实施例二所述一种对账方法的流程图。对于每天的交易记录，第三方支付系统需要与多家银行系统进行对账处理。假设目前已有两家银行系统实现了与第三方支付系统的对账，即配置表中已记录了这两家银行的配置信息(包括文件解析规则和核对字段)，当增加第三家银行系统时，后台管理人员通过管理页面在文件解析规则配置表和对账字段配置表中分别录入新的文件解析规则和新的核对字段。对账处理如下：

S501，文件解析规则缓存服务器定时检查第一数据库中的文件解析规则配置表，当有新的文件解析规则时，获取该新的文件解析规则并缓存，然后通知文件解析器；文件解析器触发文件获取器获取对应该新的文件解析规则的对账文件；所述对账文件来源于银行系统；

即通过定时刷新文件解析规则配置表的方式，可以发现是否有新的文件解析规则添加进来，如果第三家银行的文件解析规则已添加进来，则可以检测出并立即进行对账处理。其中，所述新的文件解析规则可以是新添加到文件解析规则配置表中的记录，也可以是对文件解析规则配置表中原有记录的更新信息。总之，所述定时检查的目的是保持缓存与配置表的数据一致。

S502，文件解析器按照所述新的文件解析规则，将所述新获取的对账文件解析为统一格式的数据记录，并存入第二数据库；

S503，核对字段缓存服务器定时检查第一数据库中的对账字段配置表，当有新的对账字段时，对应所述新获取的对账文件，获取新的对账字段并缓存；并从第二数据库获取文件解析后的数据记录，然后通知核对处理器；

即通过定时刷新对账字段配置表可以发现是否有新的对账字段添加进来。所述新的核对字段可以是新添加的核对字段，也可以是原有核对字段的更新信息。所述定时检查也是为了保持缓存与配置表的数据一致。

所述定时刷新文件解析规则配置表和定时刷新对账字段配置表的过程可以并行，但针对同一个对账文件的处理，则需要完成文件解析后，才能利用对账字段进行对账处理。

S504，核对处理器按照所述对账字段，将对应所述对账文件的数据记录与第三方支付系统中的交易数据进行核对。

核对过程中，可能存在如下情况：

如果是银行有、第三方支付系统无的数据，标记为多账数据；

如果是第三方支付系统有、银行无的数据，标记为少账数据；

如果双方都有的数据，则根据配置好的对账字段来比较，如果所有的对账字段都能匹配通过，则标记这条数据为正常数据，然后通知业务应用系统进行后续的处理；如果遇到某个对账字段不能匹配，则标记这条字段为差异数据，统计到差异结果里面，形成一个报表，供结算人员手工干预处理。

本实施例中，上述缓存采用的是Memcached缓存机制。Memcached是个开源的缓存框架，当然也可以用其他的缓存框架(比如OSCache)，本实施例不作限定。

本实施例优选的，在采用配置方式的基础上，还利用线程池来同时处理多个核对，从而大大提高了核对效率。所述线程池是指以一个或多个线程循环执行多个应用逻辑的线程集合。本实施例可采用现有的任何一种线程池技术来实现数据核对。而且，线程池技术对线程的管理具有良好的安全性。本实施例中，对账过程由于数据量很大，需要多个线程同时对账，这样线程之间的安全和并发就很重要，因为对账过程直接关系着资金的安全，如果出现并发问题，将会有资金的损失。而线程池技术是将整个对账过程需要用到的线程部分形成了一个公用的模板，能够在底层保证安全，因此使用线程池技术可以对线程的获取、分发、运行、回收等整个生命周期进行安全管理。

通过以上举例表明，本发明提供的可配置的数据核对方法，可以快速接入新的核对业务。而且，利用线程池技术大大提高了核对效率，保证了数据核对的安全性。

下面举例说明，以农行的提现业务对账为例：

从农行网银下载的提现对账文件格式截图如图6所示。

根据配置好的提现对账文件解析规则，将这个文件解析到数据库里面去，导入到数据库里的表结构截图如图7所示(部分字段可以自行酌情增减)：

图7中，settle_batch_no字段是对银行提现对账文件生成的一个批次号。

然后找到3959这个批次号所有的记录(该例子中只有2条)，开始进入对账过程：

对账线程池首先取出部分数据(可以自行根据情况来定义，本例中定义的是每次取出100条)，分配到各个线程去开始对账，等这100条完成了，对账线程池继续去取数据，直到这个批次的所有数据都取完为止。

线程会读出农行需要配置的对账字段，例如数据库可以配置如下：

 

银行名称	对账字段	对账字段描述
			中国农业银行	AccountNO	提现业务的卡号
中国农业银行	AccountName	提现业务的用户名
			中国农业银行	Amount	提现业务的金额

表1

然后线程可以根据这三个字段开始对账，对账的过程中会根据对账的情况来更新图7中所示的compare_flag字段。例如，正常数据可以标记为R，差异数据可以标记为D，多账数据可以标记为M等等。

等所有的流水都对账完毕之后，统计上述报表，然后形成结果文件，供管理人员参考。至此，整个对账过程结束。

以上对本发明所提供的一种不同应用系统间的数据核对方法、装置及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (17)

1、一种不同应用系统间的数据核对装置，用于将至少一个第一应用系统中的第一数据文件与第二应用系统中的第二数据文件进行核对，其特征在于，包括：

文件解析规则获取单元，用于获取预配置的文件解析规则；

文件获取单元，用于获取对应该文件解析规则的第一数据文件；

文件解析单元，用于按照所述文件解析规则，将所述第一数据文件解析为统一格式的数据记录；

核对字段获取单元，用于对应所述第一数据文件，获取预配置的核对字段；

数据核对单元，用于按照所述核对字段，将对应所述第一数据文件的数据记录与第二数据文件中的数据进行核对。

2、根据权利要求1所述的装置，其特征在于：

所述数据核对单元具体包括比较子单元和标记子单元；

所述比较子单元用于根据核对字段将对应所述第一数据文件的数据记录与第二数据文件的数据进行比较；如果所有的核对字段对应的数据都匹配，则所述标记子单元用于将所述第二数据文件的数据标记为正常数据；否则，所述标记子单元用于标记为差异数据。

3、根据权利要求1所述的装置，其特征在于，还包括：

第二数据文件获取单元，用于获取第二数据文件。

4、根据权利要求3所述的装置，其特征在于：所述第二数据文件获取单元设置在数据核对单元中。

5、根据权利要求1所述的装置，其特征在于，还包括：

线程池，用于分配多个线程执行所述数据核对单元；

核对引擎，用于管理所述线程池。

6、一种不同应用系统间的数据核对方法，用于将至少一个第一应用系统中的第一数据文件与第二应用系统中的第二数据文件进行核对，其特征在于，包括：

提供文件解析规则获取单元，该单元获取预配置的文件解析规则；

提供文件获取单元，该单元获取对应该文件解析规则的第一数据文件；

提供文件解析单元，该单元按照所述文件解析规则，将所述第一数据文件解析为统一格式的数据记录；

提供核对字段获取单元，该单元对应所述第一数据文件，获取预配置的核对字段；

提供数据核对单元，该单元按照所述核对字段，将对应所述第一数据文件的数据记录与第二数据文件中的数据进行核对。

7、根据权利要求6所述的方法，其特征在于，还包括：

数据核对单元根据核对字段将对应所述第一数据文件的数据记录与第二数据文件的数据进行比较，如果所有的核对字段对应的数据都匹配，则将所述第二数据文件的数据标记为正常数据；否则，标记为差异数据。

8、根据权利要求6所述的方法，其特征在于，还包括：

通过配置新的文件解析规则和新的核对字段，增加新的第一数据文件与第二数据文件的核对。

9、根据权利要求8所述的方法，其特征在于，所述获取预配置的文件解析规则，并获取对应该文件解析规则的第一数据文件，具体包括：

文件解析规则获取单元定时检查预配置的文件解析规则，当有新的文件解析规则时，获取该新的文件解析规则并缓存，然后文件获取单元获取对应该新的文件解析规则的第一数据文件。

10、根据权利要求8所述的方法，其特征在于，所述获取预配置的核对字段具体包括：

核对字段获取单元定时检查预配置的核对字段，当有新的核对字段时，获取该新的核对字段并缓存。

11、根据权利要求6—10任一所述的方法，其特征在于：核对引擎从线程池分配多个线程执行所述核对。

12、根据权利要求6所述的方法，其特征在于，所述预配置文件解析规则和核对字段，具体包括：

设置文件解析规则配置表来预配置文件解析规则；

设置核对字段配置表来预配置核对字段。

13、根据权利要求6所述的方法，其特征在于，所述文件解析规则获取单元获取预配置的文件解析规则，具体包括：

根据第二数据文件中的每条数据记录对应的应用系统，获取对应该应用系统的文件解析规则。

14、一种数据核对系统，其特征在于，包括至少一个应用系统及核对子系统，所述核对子系统包括：

第一数据库，用于存储文件解析规则及核对字段；

第二数据库，用于存储文件解析后的数据记录；

第三数据库，用于存储第二数据文件；

文件解析规则缓存服务器，用于从第一数据库获取预配置的文件解析规则，然后通知文件解析器；

文件解析器，用于触发文件获取器获取第一数据文件，然后按照所述文件解析规则，将所述第一数据文件解析为统一格式的数据记录，并存入第二数据库；

文件获取器，用于从应用系统获取对应该文件解析规则的第一数据文件；

核对字段缓存服务器，用于对应所述第一数据文件，从第一数据库获取预配置的核对字段，并从第二数据库获取文件解析后的数据记录，然后通知核对处理器；

核对处理器，用于从第三数据库获取第二数据文件，然后按照所述核对字段，将对应所述第一数据文件的数据记录与第二数据文件中的数据进行核对。

15、根据权利要求14所述的系统，其特征在于，还包括：

线程池，用于分配多个线程执行所述核对处理器；

核对引擎，用于管理所述线程池。

16、根据权利要求14所述的系统，其特征在于：

所述文件解析规则缓存服务器定时检查第一数据库，当有新的文件解析规则时，获取该新的文件解析规则并缓存；

所述核对字段缓存服务器定时检查第一数据库，当有新的核对字段时，获取该新的核对字段并缓存。

17、根据权利要求14—16任一所述的系统，其特征在于：所述第一数据库和第二数据库为同一个数据库。

Images