CN102289340A - 数据稽核平台及方法 - Google Patents

Abstract

本发明涉及一种数据稽核平台，包括：一个以上的ESB接口，与一个以上的外部系统呈总线型连接，用于提供数据稽核平台与外部系统之间的数据交互通道；数据队列处理模块，用于对外部系统之间的数据队列进行数据的持久化和转发；持久化模块，用于对数据进行持久化操作；数据比对模块，用于将外部的源系统和目标系统中的数据与持久化模块中的数据进行比对；数据重投模块，用于在比对结果为目标系统未收到源系统的数据时，从持久化模块中获取源系统的数据，通过数据队列处理模块重投到目标系统。本发明还涉及一种数据稽核方法。本发明克服了系统间采用总线型连接可能出现的数据丢失的情况，有效促进系统间的业务协同，降低了人工维护的工作量。

Description

数据稽核平台及方法

技术领域

本发明涉及企业信息化领域，尤其涉及一种数据稽核平台及方法。

背景技术

伴随着企业信息化程度的不断提高，企业IT系统日趋庞大，孤立不对外交互数据的系统越来越少，而对跨系统流程和数据集成的要求便越来越多，从而导致系统间接口需求也不断增加，但由于系统间互联互通的基础架构考虑不足，如图1所示，很多应用系统之间都是采用直连的方式，整个系统间接口结构呈不规则网状，导致接口需求扩大后接口数据量急剧膨胀，而且数据之间的一致性关系难以保障，给系统带来很大压力。

为了解决上述问题，改变这种点对点的网状结构，提高系统间数据交互效率，现有的方式通常是采用应用集成平台的方式予以解决，使其能够往总线型的接口方式演进。目前基于应用集成平台的Java消息服务(JavaMessage Service，简称JMS)消息通信已成为目前系统间交互的一种标准方式，这种交互模式相比于传统的接口方式具有简单、标准的优点。但是这种接口模式在应用过程中广泛存在一个问题--工单丢失，比如当A系统发单到B系统，若此时B出现系统服务吊死的情况，或者网络瞬断等不可预料的情况，就会出现工单丢失，由此便会引发种种业务问题，进而导致业务不可用，同时也增大了接口的人工维护的工作量。

发明内容

本发明的目的是提出一种数据稽核平台及方法，能够解决系统间的数据丢失问题，有效促进系统间的业务协同。

为实现上述目的，本发明提供了一种数据稽核平台，包括：

一个以上的企业服务总线(Enterprise Service Bus，简称ESB)接口，与一个以上的外部系统呈总线型连接，用于提供所述数据稽核平台与所述外部系统之间的数据交互通道；

数据队列处理模块，用于对外部系统之间的数据队列进行数据的持久化和转发；

持久化模块，用于对数据进行持久化操作；

数据比对模块，用于将外部的源系统和目标系统中的数据与所述持久化模块中的数据进行比对；

数据重投模块，用于在比对结果为所述目标系统未收到所述源系统的数据时，从所述持久化模块中获取所述源系统的数据，通过所述数据队列处理模块重投到所述目标系统。

为实现上述目的，本发明提供了一种基于前述数据稽核平台的数据稽核方法，包括：

从外部的源系统接收数据，并对所述数据进行持久化操作，以及将所述数据转发到外部的目标系统；

将外部的源系统和目标系统中的数据分别与已持久化的数据进行比对，如果比对结果为所述目标系统未收到所述源系统的数据，则将已持久化的所述源系统的数据，重投到所述目标系统。

基于上述技术方案，本发明通过ESB接口与外部系统进行总线型连接，提高了系统间的数据交互效率，并且通过数据比对和数据重投克服了系统间采用总线型连接可能出现的数据丢失的情况，有效促进系统间的业务协同，降低了人工维护的工作量。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有的系统间采用的网状互联互通结构示意图。

图2为本发明数据稽核平台的一实施例的结构示意图。

图3为本发明数据稽核平台实施例在实现场景中的数据处理示意图。

图4为本发明数据稽核平台的另一实施例的结构示意图。

图5为本发明数据稽核方法的一实施例的流程示意图。

图6为本发明数据稽核方法实施例应用在异步JMS信息交互的流程示意图。

图7为本发明数据稽核方法实施例应用在同步WebService交互的流程示意图。

图8为本发明数据稽核方法实施例应用在批量的信息交互的流程示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

考虑到系统间采用总线型连接的接口模式在应用过程中存在的工单丢失的问题，本发明的解决思路是通过ESB提供的API接口实现数据比对和重投，确保系统间数据的统一以及系统间数据交互的贯通。

如图2所示，为本发明数据稽核平台的一实施例的结构示意图。在本实施例中，数据稽核平台包括一个以上的ESB接口(1-1～1-n)、数据队列处理模块2、持久化模块3、数据比对模块4和数据重投模块5。其中，ESB接口可以提供与外部系统之间的数据交互通道，外部系统通过ESB接口与数据稽核平台呈现总线型连接。

数据队列处理模块2负责对外部系统之间的数据队列进行数据的持久化和转发。外部系统在相互间发送数据时，须经过数据稽核平台进行转发，数据稽核平台在接收到外部系统发送的数据后，会通过持久化模块3对数据进行持久化操作。所谓持久化操作即将数据保存到磁盘文件，通常可以保存到数据库中。

数据比对模块4负责将外部的源系统和目标系统中的数据与所述持久化模块中的数据进行比对。数据重投模块5在比对结果为所述目标系统未收到所述源系统的数据时，会从所述持久化模块3中获取所述源系统的数据，通过所述数据队列处理模块2重投到所述目标系统。

通过本实施例的技术方案，保证了数据在系统间交互过程的简单和标准，提高了系统间数据交互的效率，同时通过数据比对和重投消除了数据丢失可能造成的业务问题，进而降低了人工维护的工作量，促进了系统间的业务协同。

如图3所示，为本发明数据稽核平台实施例在实现场景中的数据处理示意图。在本实施例中，由于A系统和B系统进行数据交互，因此在不同过程中，源系统为A系统或B系统，而目标系统为B系统或A系统。A系统和B系统均通过ESB接口与数据稽核平台1相连，当A系统作为源系统向B系统发送数据时，首先对数据进行本地的持久化，完成持久化后，将数据发送到数据稽核平台1中的数据队列中等待处理，数据稽核平台1会对该数据进行持久化处理，在持久化后，将该数据转发到B系统，B系统对该数据进行持久化。同理，B系统作为源系统向A系统发送数据的流程这里就不详述了。

源系统和目标系统如果未实现持久化处理的功能，则可以采用开放数据层的方式，以确保数据比对过程的实现。数据稽核平台1除了完成数据的转发之外，还将自身的持久化模块3的数据与源系统和目标系统中的数据进行比对，以确定是否需要重投。

在另一个实施例中，持久化模块3还可以用于在比对结果为数据稽核平台1未存有所述源系统的数据时，从所述源系统获取所述源系统的数据，并对所述源系统的数据进行持久化。这样来确保数据稽核平台1与源系统和目标系统的数据统一。

如图4所示，为本发明数据稽核平台的另一实施例的结构示意图。与上一实施例相比，本实施例还包括：重投标志设置模块6和重投统计模块7。其中，重投标志设置模块6负责根据数据重投模块5对源系统的数据进行重投时，对持久化模块3中与源系统的数据对应的条目设置相应的重投标志，重投标志可以是在标志位设置的某个数值或字母等，同时在设置重投标志时，还可以对重投次数进行累加。重投统计模块7可以根据数据重投模块的重投情况(例如响应时间、消息计数、错误计数等)进行统计，以计算重投率。通过重投情况的统计，增加了各系统间的数据交互的可监控性，从而快速定位故障系统。

另外，通过数据稽核平台可以直接根据持久化模块中持久化的数据向目的系统进行数据重投，而不需要重新进行源系统到目的系统的数据重发，进一步的提高了数据的发送效率。

除此之外，数据稽核平台还可以包括人机界面模块，该模块负责提供数据稽核和数据重投的处理界面和查询界面，以及报表导出功能。通过人机界面模块，便于操作员进行数据比对和重投的人工处理和检查，同时还可以输出记录数据交互情况的报表。

如图5所示，为本发明数据稽核方法的一实施例的流程示意图。基于前述的数据稽核平台，本实施例包括以下步骤：

步骤101、从外部的源系统接收数据，并对所述数据进行持久化操作，以及将所述数据转发到外部的目标系统；

步骤102、将外部的源系统和目标系统中的数据分别与已持久化的数据进行比对，如果比对结果为所述目标系统未收到所述源系统的数据，则将已持久化的所述源系统的数据，重投到所述目标系统。

在本实施例中，数据稽核平台除了将源系统的数据转发给目标系统，还进行数据比对和重投，确保了系统间的数据的一致性，克服了系统间采用总线型连接的交互方式数据可能丢失数据的问题。

下面通过几个场景来说明本发明数据稽核方法的应用流程。在系统间的数据交互过程中，可能会出现数据丢失的情况。如果在源系统、数据稽核平台和目标系统中均有该数据，那么说明该数据在传递过程中并未丢失，因此不进行处理。如果在源系统和目标系统中有该数据，而在数据稽核平台中没有该数据，则说明该数据已经发送成功，但数据稽核平台没有将该数据进行持久化，此时数据稽核平台可以从源系统获取该数据，并对该数据进行持久化。如果在源系统中有该数据，而在目标系统中没有，则可能有两种情况，一种是数据稽核平台也没有该数据，这可能是数据稽核平台未收到该数据或未成功的对数据进行持久化；一种是数据稽核平台有该数据，这可能是数据稽核平台未成功地将数据转发给目标系统。

在上述情况的判断中，可以由数据稽核平台将外部的源系统和目标系统中的数据分别与自身已持久化的数据进行比对，如果比对结果为目标系统未收到源系统的数据，且数据稽核平台中已经对该数据进行了持久化，则将已持久化的所述源系统的数据，重投到目标系统。如果数据稽核平台也没有该数据，那么数据稽核平台会向源系统请求重发该数据，在接收到该数据后进行持久化操作，然后再重发该数据到目标系统。

在上述情况的判断中，如果比对结果为数据稽核平台未存有源系统的数据时，无论目标系统中是否有该数据，都可以从源系统获取源系统的数据，并对源系统的数据进行持久化。

在比对过程中，由于源系统和目标系统有可能具备持久化层，也可能都不具备，或者只有其中一个系统具备，此时数据稽核平台会对源系统或目标系统是否具备持久化层进行判断，对于具备持久化层的系统，则将该系统的持久化层中的数据与数据稽核平台中已持久化的数据进行比对，对于不具备持久化层的系统，则将该系统的数据层中的数据与所述数据稽核平台中已持久化的数据进行比对。

数据稽核平台在比对时可以通过访问源系统和目标系统中的持久化表获取已持久化的数据，或通过源系统和目标系统提供的WebService进行数据的查询。

对上述处理方式，数据稽核平台在重投数据时，可以对已持久化的所述源系统的数据对应的条目设置相应的重投标志，例如持久化模块中与该数据对应的条目的“是否重投标志位”设为字符“是”或单词“Yes”，并且还可以让该记录‘重投次数’加1，以便当记录重投数达到配置次数时就导出报表，供人工处理。在一次重投完成时，根据重投情况进行统计，以计算重投率。

在数据重投过程中，可以根据需要选择对应的重投策略：

实时重投策略：超时时长(例如毫秒)、重投次数、重投时间间隔(例如毫秒，大于20)，如果发送系统在超时后还没收确认消息根据重投间隔反复重投，直到超过重投次数。

非实时重投策略：根据对账结果，按照配置的重投时间(天+小时)、重投次数，重投时间间隔(分钟)进行重投，超过重投次数，就不再重投。

通过上述实施例，不仅极大地简化了系统间的接口，而且提高了业务监控能力，为处理错单、丢单、异常单和避免各系统之间的推诿扯皮提供了有效的技术手段。效果如下：

1)增加了各系统间数据交互情况的可监控性，包括响应时间、消息计数和错误计数等。通过ESB接口实现了对于对各应用系统间互联的监控，为各类业务的完整流程提供了保障和支撑手段。系统管理员通过人机接口进行消息查询以及对帐，可以快速定位故障系统，主动发现系统吞单、丢单问题。

2)定义消息错误处理机制，对错误进行监控并处理至异常队列，这为防止因错单原因丢单提供了保证；通过数据持久化机制，防止了各种系统故障、网络故障等造成丢单；通过数据重投，为系统管理员处理错单、丢单、异常单提供了简便的手段，提高工作效率。

下面分别给出本发明数据稽核方法在几种场景下的应用流程。

如图6所示，为本发明数据稽核方法实施例应用在异步JMS信息交互的流程示意图。在本实施例中，异步JMS信息交互流程包括：

步骤201、业务系统A向数据稽核平台发送消息；

步骤202、数据稽核平台将该消息持久化，并路由到业务系统B；

步骤203、业务系统B受到消息后，对该消息进行处理；

步骤204、业务系统B向数据稽核平台发出反馈消息；

步骤205、数据稽核平台将该反馈消息持久化，并路由到业务系统A。

在上述流程中，数据稽核平台除了转发消息之外，还负责对业务系统和自身的已持久化的消息进行数据比对，根据比对结果进行消息的重投。

如图7所示，为本发明数据稽核方法实施例应用在同步WebService交互的流程示意图。在本实施例中，实时小批量数据通过同步WebService实现系统间的数据共享。同步WebService交互流程包括：

步骤301、调用者系统调用WebService在数据稽核平台上的代理；

步骤302、数据稽核平台将该调用请求持久化后，转发给实际的WebService，即服务提供者系统；

步骤303、服务提供者系统根据该调用请求对数据进行处理；

步骤304、服务提供者系统将处理结果返回给数据稽核平台；

步骤305、数据稽核平台将该处理结果持久化后，转发给调用者系统。

在上述流程中，数据稽核平台除了转发调用请求和处理结果之外，还负责对业务系统和自身的已持久化的数据进行数据比对，根据比对结果进行请求和处理结果的重投。

如图8所示，为本发明数据稽核方法实施例应用在批量的信息交互的流程示意图。在本实施例中除了业务系统外，还涉及了与FTP文件服务器之间的数据交互。该批量的信息交互的流程包括：

步骤401、业务系统A生成批量任务，形成文件形式；

步骤402、业务系统A发送批量任务文件到FTP文件服务器；

步骤403、业务系统A发送批量任务处理请求到数据稽核平台；

步骤404、数据稽核平台对该请求持久化后，将该请求转发到业务系统B；

步骤405、业务系统B收到该请求后，向数据稽核平台返回确认消息；

步骤406、数据稽核平台对该确认消息持久化后，将该确认消息转发到业务系统A；

步骤407、业务系统B根据业务系统A发出的批量任务处理请求向FTP服务器获取批量处理文件；

步骤408、业务系统B对从业务系统A中接收到的批量任务文件进行解析和处理；

步骤409、业务系统B在处理完成后，向FTP文件服务器返回批量处理后的结果文件，以便FTP文件服务器进行保存；

步骤410、业务系统B向数据稽核平台返回批量处理结果请求消息；

步骤411、数据稽核平台对该消息持久化后，将该消息转发到业务系统A；

步骤412、业务系统A在接收到该请求消息后，向FTP文件服务器获取批量处理后的结果文件；

步骤413、FTP文件服务器将批量处理后的结果文件返回给业务系统A。

在上述流程中，数据稽核平台除了转发消息之外，还负责对业务系统和自身的已持久化的数据进行数据比对，根据比对结果进行消息的重投。

从上述几个应用例子来看，本发明数据稽核平台和方法可以广泛应用在各种业务协作的系统之间，交互方式简单标准，且克服了数据丢失的问题，有效促进系统间的业务协同，降低了人工维护的工作量。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：R0M、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (10)

1.一种数据稽核平台，包括：

一个以上的ESB接口，与一个以上的外部系统呈总线型连接，用于提供所述数据稽核平台与所述外部系统之间的数据交互通道；

数据队列处理模块，用于对外部系统之间的数据队列进行数据的持久化和转发；

持久化模块，用于对数据进行持久化操作；

数据比对模块，用于将外部的源系统和目标系统中的数据与所述持久化模块中的数据进行比对；

数据重投模块，用于在比对结果为所述目标系统未收到所述源系统的数据时，从所述持久化模块中获取所述源系统的数据，通过所述数据队列处理模块重投到所述目标系统。

2.根据权利要求1所述的数据稽核平台，其中所述持久化模块还用于在比对结果为所述数据稽核平台未存有所述源系统的数据时，从所述源系统获取所述源系统的数据，并对所述源系统的数据进行持久化。

3.根据权利要求1所述的数据稽核平台，其中还包括：

重投标志设置模块，用于根据所述数据重投模块对所述源系统的数据进行重投时，对所述持久化模块中与所述源系统的数据对应的条目设置相应的重投标志；

重投统计模块，用于根据所述数据重投模块的重投情况进行统计，以计算重投率。

4.根据权利要求1～3任一所述的数据稽核平台，其中还包括：

人机界面模块，用于提供数据稽核和数据重投的处理界面和查询界面，以及报表导出功能。

5.一种基于权利要求1～4任一所述的数据稽核平台的数据稽核方法，包括：

从外部的源系统接收数据，并对所述数据进行持久化操作，以及将所述数据转发到外部的目标系统；

将外部的源系统和目标系统中的数据分别与已持久化的数据进行比对，如果比对结果为所述目标系统未收到所述源系统的数据，则将已持久化的所述源系统的数据，重投到所述目标系统。

6.根据权利要求5所述的数据稽核方法，其中在比对结果为所述数据稽核平台未存有所述源系统的数据时，从所述源系统获取所述源系统的数据，并对所述源系统的数据进行持久化。

7.根据权利要求5所述的数据稽核方法，其中所述将外部的源系统和目标系统中的数据分别与已持久化的数据进行比对具体为：

判断外部的源系统是否具备持久化层，是则将所述源系统的持久化层中的数据与所述数据稽核平台中已持久化的数据进行比对，否则将所述源系统的数据层中的数据与所述数据稽核平台中已持久化的数据进行比对；以及

判断外部的目标系统是否具备持久化层，是则将所述目标系统的持久化层中的数据与所述数据稽核平台中已持久化的数据进行比对，否则将所述目标系统的数据层中的数据与所述数据稽核平台中已持久化的数据进行比对。

8.根据权利要求5或7所述的数据稽核方法，其中在将外部的源系统和目标系统中的数据分别与已持久化的数据进行比对时，所述数据稽核平台通过访问所述源系统和目标系统中的持久化表获取已持久化的数据，或通过所述源系统和目标系统提供的WebService进行数据的查询。

9.根据权利要求5所述的数据稽核方法，其中在对所述源系统的数据进行重投时，对已持久化的所述源系统的数据对应的条目设置相应的重投标志；在一次重投完成后，根据重投情况进行统计，以计算重投率。

10.根据权利要求5或9所述的数据稽核方法，其中所述将已持久化的所述源系统的数据，重投到所述目标系统的操作具体为：将已持久化的所述源系统的数据，实时或非实时重投到所述目标系统。

Images