CN108345621B - 一种数据对账方法、系统及数据系统 - Google Patents

Abstract

本发明实施例公开了数据对账方法、系统及数据系统，应用于信息处理技术领域。在本实施例的方法中，数据对账系统会获取数据系统中的各个节点获取某一特征属性即第一特征属性的包装消息的日志信息，然后根据日志信息中包装消息的创建时间和消息条数，统计多个节点分别获取的各个对账时间点上第一特征属性的业务消息的消息条数，如果某一对账时间点上多个节点分别对应的消息条数不一致，则进行第一告警提示。简化了数据对账系统对于某一特征属性的业务消息的消息条数的统计，只需统计某一特征属性的包装消息内的业务消息的条数即可，且本实施例中相邻的对账时间点之间的距离可以较小，比如为1分钟，满足了一些具有较强实时性要求的数据。

Description

一种数据对账方法、系统及数据系统

技术领域

本发明涉及信息处理技术领域，特别涉及一种数据对账方法、系统及数据系统。

背景技术

数据对账主要是针对数据系统(比如大数据接入系统等)中数据消息流通时的收发消息进行核对和校验，以验证数据消息流通的正确性和可靠性。

现有技术中一般采用小时数据对账方法，主要是当某个业务的业务数据接入到数据系统时，业务数据在数据系统的各个节点传输过程中，通过数据对账系统监控各个节点接收该业务下的业务消息的信息，将各个节点对应的业务消息的信息进行匹对，从而保障业务数据在数据系统中传输的一致性。

发明内容

本发明实施例提供一种数据对账方法、系统及数据系统，实现了根据数据系统中多个节点获取第一特征属性的包装消息的日志信息，确定某一对账时间点上多个节点分别对应的第一特征属性的业务消息的消息条数的一致性。

本发明实施例提供一种数据对账方法，包括：

获取数据系统中包括的多个节点分别获取第一特征属性的包装消息的日志信息，其中，所述包装消息中包括所述第一特征属性的多条业务消息，所述日志信息包括所述包装消息中多条业务消息的消息条数，第一特征属性和所述包装消息的创建时间；

根据所述日志信息分别统计所述多个节点获取的各个对账时间点上所述第一特征属性的业务消息的消息条数，其中，在某一对账时间点上某一节点对应的消息条数为：所述某一节点获取的，且创建时间在所述某一对账时间点到其下一对账时间点之间的，且具有所述第一特征属性的包装消息中业务消息的条数；

如果在某一对账时间点上所述多个节点分别对应的消息条数不一致，进行第一告警提示，所述第一告警提示用于指示在所述某一对账时间点第一特征属性的业务消息在所述数据系统的传输出现故障。

本发明实施例提供一种数据对账方法，应用于数据系统中，所述数据系统包括多个节点，所述方法包括：

所述多个节点中的第一节点将源端的业务消息按照某一维度特征进行分组；

所述第一节点根据所述分组创建包装消息，所述包装消息中包括所述包装消息的创建时间及某一特征属性的多条业务消息；

所述第一节点记录第一日志信息，发送所述第一日志信息给数据对账系统，所述第一日志信息中包括所述第一节点的地址信息，所述包装消息中业务消息的消息条数，特征属性及所述创建时间，以便所述数据对账系统根据所述第一日志信息，确定所述第一节点获取的与所述创建时间对应的对账时间点上任一特征属性的业务消息的消息条数，并进行对账。

本发明实施例提供一种数据对账系统，包括：

日志获取单元，用于获取数据系统中包括的多个节点分别获取第一特征属性的包装消息的日志信息，其中，所述包装消息中包括所述第一特征属性的多条业务消息，所述日志信息包括所述包装消息中多条业务消息的消息条数，第一特征属性和所述包装消息的创建时间；

统计单元，用于根据所述日志信息分别统计所述多个节点获取的各个对账时间点上所述第一特征属性的业务消息的消息条数，其中，在某一对账时间点上某一节点对应的消息条数为：所述某一节点获取的，且创建时间在所述某一对账时间点到其下一对账时间点之间的，且具有所述第一特征属性的包装消息中业务消息的条数；

告警单元，用于如果某一对账时间点上所述多个节点分别对应的消息条数不一致，进行第一告警提示，所述第一告警提示用于指示在所述某一对账时间点第一特征属性的业务消息在所述数据系统的传输出现故障。

本发明实施例提供一种数据系统，包括多个节点，所述多个节点中包括第一节点和多个第二节点，其中，所述第一节点包括：

分组单元，用于将源端的业务消息按照某一维度特征进行分组；

创建单元，用于根据所述分组创建包装消息，所述包装消息中包括所述包装消息的创建时间及某一特征属性的多条业务消息；

日志发送单元，用于记录第一日志信息，发送所述第一日志信息给数据对账系统，所述第一日志信息中包括所述第一节点的地址信息，所述包装消息中业务消息的消息条数，特征属性及所述创建时间，以便所述数据对账系统根据所述第一日志信息，确定所述第一节点获取的与所述创建时间对应的对账时间点上任一特征属性的业务消息的消息条数，并进行对账。

可见，在本实施例的方法中，数据对账系统会获取数据系统中的各个节点获取某一特征属性即第一特征属性的包装消息的日志信息，然后根据日志信息中包装消息的创建时间和消息条数，统计多个节点分别获取的各个对账时间点上第一特征属性的业务消息的消息条数，如果某一对账时间点上多个节点分别对应的消息条数不一致，则进行第一告警提示。由于本实施例中数据系统在各个节点之间传输业务消息时，是通过将同一特征属性的多条业务消息打包到同一个包装消息中传输，这样简化了数据对账系统对于某一特征属性的业务消息的消息条数的统计，只需统计某一特征属性的包装消息内的业务消息的条数即可；且本实施例中是以包装消息的创建时间为基准将业务消息对齐到各个对账时间点，该创建时间是微秒级的数据，则相邻的对账时间点之间的距离可以较小，比如为1分钟，满足了一些具有较强实时性要求的数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的数据系统与数据对账系统之间的结构示意图；

图2是本发明方法实施例一提供的一种数据对账方法的流程图；

图3是本发明方法实施例二提供的一种数据对账方法的流程图；

图4是本发明方法实施例三中数据系统于数据对账系统之间的结构示意图；

图5是本发明方法实施例三中数据系统传输包装消息的方法流程图；

图6是本发明方法实施例三中包装消息的结构示意图；

图7是本发明方法实施例三中数据对账系统进行数据对账的方法流程图；

图8是本发明方法实施例三中数据对账系统显示的用户查询结果的示意图；

图9是本发明系统实施例一提供的一种数据对账系统的结构示意图；

图10是本发明系统实施例一提供的另一种数据对账系统的结构示意图；

图11是本发明系统实施例二提供的一种数据系统的结构示意图；

图12是本发明设备实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明方法实施例一

提供一种数据对账方法，主要是数据对账系统针对如图1所示的数据系统中流通的业务消息进行的数据对账，以验证业务消息流通的正确性和可靠性。在数据系统中可以包括多个节点，比如图1中所示的节点1到节点n，当节点1采集到业务消息后会对业务消息进行一定处理，然后传输给下一个节点2进行处理后再传输给下一个节点3，依次类推，直到业务消息传输到数据系统中的最后一个节点n，业务消息的传输途径如图1中实线箭头所示；每个节点可以将对业务消息处理的日志发送到数据对账体系以进行数据对账，各个节点传输日志的途径如图1中虚线箭头所示。

本实施例的方法是数据对账系统所执行的方法，流程图如图2所示，包括：

步骤101，获取数据系统中包括的多个节点分别获取第一特征属性的包装消息的日志信息，其中，包装消息中包括该第一特征属性的多条业务消息和该包装消息的创建时间，日志信息包括包装消息中多条业务消息的消息条数，第一特征属性和包装消息的创建时间。这里第一特征属性可以是用来区别各个业务的业务标识信息，具体可以是接口信息，或是业务身份码(identity，ID)等。

在本实施例中，当数据系统中的节点1在采集到业务消息后，会区别各个业务的业务消息，将同一个业务下的多条业务消息进行压缩打包形成多个包装消息，这些包装消息经过数据系统中各个节点的处理后传输到数据系统的最后一个节点。数据系统中任一节点会记录对这些包装消息处理的日志信息，且可以主动发送日志信息给数据对账系统进行储存，或者根据数据对账系统的请求被动地发送日志信息，其中，某一节点发送的日志信息中可以包括该节点的网络协议(Internet Protocol，IP)地址信息，且还可以包括包装消息的创建时间，包装消息中包括的业务消息的信息比如特征属性和消息条数等信息。

数据对账系统可以定时地或根据用户操作请求发起本实施例的数据对账流程，这样数据对账系统会从各个节点获取对应的日志信息。

步骤102，根据上述日志信息分别统计数据体系中包括的多个节点获取的各个对账时间点上第一特征属性的业务消息的消息条数，其中，在某一对账时间点上某一节点对应的消息条数为：该某一节点获取的，且创建时间在某一对账时间点到其下一对账时间点之间的，且具有第一特征属性的包装消息中业务消息的条数。

在具体实施例中，相邻的对账时间点之间的距离可以为1分钟。而包装消息的创建时间是一个微秒(ms)级的数据，因此在1分钟内，数据系统可以生成大量的包装消息。一般情况下，每个包装消息的大小一样，可以设定每个包装消息的大小为4KB。

步骤103，确定在任一对账时间点上多个节点分别对应的消息条数是否一致，如果在某一对账时间点上多个节点对应的消息条数不一致，执行步骤104；如果一致，则结束流程。

步骤104，进行第一告警提示，该第一告警提示用于指示在该某一对账时间点第一特征属性的业务消息在数据系统的传输出现故障。

进一步地，如果某一对账时间点上多个节点分别对应的消息条数不一致，且多个节点中某些节点对应的消息条数与其它节点对应的消息条数不一致，进行第二告警提示，该第二告警提示用于指示在某一对账时间点上第一特征属性的业务消息在某些节点的传输出现故障。

需要说明的是，上述步骤101到104是针对任一特征属性比如第一特征属性的业务消息在数据系统中的传输进行对账的方法。

可见，在本实施例的方法中，数据对账系统会获取数据系统中的各个节点获取某一特征属性即第一特征属性的包装消息的日志信息，然后根据日志信息中包装消息的创建时间和消息条数，统计多个节点分别获取的各个对账时间点上第一特征属性的业务消息的消息条数，如果某一对账时间点上多个节点分别对应的消息条数不一致，则进行第一告警提示。由于本实施例中数据系统在各个节点之间传输业务消息时，是通过将同一特征属性的多条业务消息打包到同一个包装消息中传输，这样简化了数据对账系统对于某一特征属性的业务消息的消息条数的统计，只需统计某一特征属性的包装消息内的业务消息的条数即可；且本实施例中是以包装消息的创建时间为基准将业务消息对齐到各个对账时间点，该创建时间是微秒级的数据，则相邻的对账时间点之间的距离可以较小，比如为1分钟，满足了一些具有较强实时性要求的数据。

在一个具体的实施例中，数据对账系统可以包括用户操作端，这样用户可以通过用户操作端查询数据对账系统中的信息，具体地：当数据对账系统接收用户查询请求，该用户查询请求用于请求查询某一时间段第二特征属性的业务消息在数据系统中多个节点的传输信息，这样数据对账系统会根据用户查询请求显示查询结果，在查询结果中包括该某一时间段内，多个节点获取的各个对账时间点上第二特征属性的业务消息的消息条数。这里第二特征属性可以与上述第一特征属性相同或不同。

本发明方法实施例二

提供一种数据对账方法，主要是数据对账系统针对如图1所示的数据系统中流通的业务消息进行的数据对账，以验证业务消息流通的正确性和可靠性。本实施例的方法主要是数据系统所执行的方法，流程图如图3所示，包括：

步骤201，多个节点中的第一节点(如图1中所示的节点1)将源端的业务消息按照某一维度特征进行分组。这里某一维度特征可以是用来区别各个业务的业务标识信息，具体可以是接口信息，或是业务ID等信息，这样就可以区分不同业务下的业务消息。

步骤202，第一节点根据上述步骤201的分组创建包装消息，在包装消息中包括包装消息的创建时间及某一特征属性的多条业务消息。这样某一特征属性的所有业务消息可以被封装到多个包装消息中，而不同特征属性的业务消息被封装到不同的包装消息中。

第一节点在创建了包装消息后，需要将创建的包装消息的特征属性，包括的业务消息的消息条数和创建时间记录到第一日志信息中。

步骤203，第一节点记录第一日志信息，发送第一日志信息给数据对账系统，在第一日志信息中包括第一节点的地址信息，步骤202中创建的包装消息中业务消息的信息(包括业务消息的消息条数及特征属性)及创建时间，以便数据对账系统根据第一日志信息，确定第一节点获取的与上述创建时间对应的对账时间点上任一特征属性的业务消息的消息条数，并进行对账，其中，在第一日志信息中包括的第一节点的地址信息是为了区分该日志信息属于数据系统中第一节点的日志信息。数据对账系统进行的对账方法见上述方法实施例一种所述，在此不进行赘述。

进一步地，第一节点会发送该包装消息给数据系统中的下一个节点即第二节点，则第二节点在接收到包装消息后，会记录第二日志信息，然后将第二日志信息发送给数据对账系统，该第二日志信息中包括第二节点的地址信息，包装消息中包括的业务消息的消息条数，特征属性及创建时间等信息。

需要说明的是，第一节点在发送第一日志信息，及第二节点在发送第二日志信息时，可以是主动发送给数据对账系统，也可以根据数据对账系统的请求被动发送给数据对账系统的。

可见，在本实施例中，数据系统在各个节点之间传输业务消息时，是通过将同一特征属性的多条业务消息打包到同一个包装消息中传输，这样可以简化数据对账系统对于某一特征属性的业务消息的消息条数的统计，只需统计某一特征属性的包装消息内的业务消息的条数即可。

本发明方法实施例三

提供具体的应用实例来说明本发明实施例的数据对账方法，本实施例中数据系统具体可以为腾讯实时数据采集系统(Tencent Data Bank，TDBank)，参考图4所示，该数据系统包括的多个节点分别为采集代理(agent)节点，数据接口(bus)节点，数据传输(tube)节点，数据分拣(sort)节点和落地终端，其中：

采集代理节点是部署了采集代理功能的各个业务数据端，其中，采集代理功能包括如下操作：采集业务消息，并根据采集的业务消息形成包装消息，将包装消息发送给数据接口节点，且将创建包装消息的日志信息发送给数据对账系统；

数据接口节点是数据接收接口层；

数据传输节点是数据消费中间件，主要用于缓存数据接口节点发送的包装消息，并转发给数据分拣节点；

数据分拣节点是数据分拣组件，主要用于对数据传输节点发送的数据按照一定规则进行分类，将不同类型的业务消息放入不同路径中进行储存；

落地终端是对业务消息进行数据分析处理的存储端，具体可以是分布式文件系统(Hadoop Distributed File System，HDFS)等。

(1)如图5所示，数据系统按照如下步骤进行业务消息的传输：

步骤301，采集代理节点采集业务消息，将同一特征属性的多条业务消息进行压缩打包形成同一个包装消息，然后将同一特征属性的至少一个包装消息封装成流事件(flumeevent)消息，将流事件消息发送给数据接口节点。本实施例中特征属性是业务标识信息，具体地为业务ID。

同时采集代理节点会记录日志信息1，且采集代理节点可以主动发送日志信息1给数据对账系统，或者根据数据对账系统的请求被动地发送日志信息1给数据对账系统，在日志信息1中包括采集代理节点的IP地址，该流事件消息中包括的包装消息的创建时间，包装消息中包括的业务消息的特征属性和消息条数等信息。

可以理解，采集代理节点在采集到业务消息后，可以为按照业务消息的ID为同一ID的业务消息设定一个标题(topic)，然后在区分业务消息时，可以按照该标题进行区分。

在本实施例中，包装消息的大小具体可以4KB，具体结构可以如图6所示，包括特殊标记(magic)，创建时间(create time)，业务消息基于业务身份码的分组个数(packnum)，业务消息的属性(attr)及消息体(body)，其中，通过该消息首尾的特殊标记可以判断该消息是否是包装消息，创建时间是指该包装消息的创建时间，消息体中包括多个业务消息。具体地，某一特征属性的消息体可以包括消息体长度(len)，压缩(compress)标识及多条业务消息。

流事件消息的结构可以包括消息头(header)和至少一个包装消息，在消息头中可以包括采集代理节点的IP地址，该流事件消息的创建时间和业务消息的ID，每个包装消息中的每个业务消息中也包括了业务消息的ID，接收时间和采集代理节点的IP地址等。

步骤302，数据接口节点接收流事件消息，在流事件消息中加入数据接口节点的IP地址，并将处理后的流事件消息发送给数据传输节点。同时数据接口节点会记录日志信息2，且数据接口节点可以主动发送日志信息2给数据对账系统，或者根据数据对账系统的请求被动地发送日志信息2给数据对账系统，日志信息2中包括数据接口节点的IP地址，流事件消息包括的包装消息中业务消息的特征属性和消息条数，及包装消息的创建时间等信息。

处理后的流事件消息可以包括目标属性(metaattr)和至少一个包装消息，其中目标属性中主要包括该数据接口节点的IP地址。

步骤303，数据传输节点缓存并转发数据接口节点处理后的流事件消息给数据分拣节点。

步骤304，数据分拣节点在接收的流事件消息后，将流事件消息中的包装消息进行分类，并在流事件消息中加入数据分拣节点的IP地址，并将处理后的流事件消息传输到对应分类的路径发送给落地终端。同时数据分拣节点会记录日志信息3，且数据分拣节点可以主动发送日志信息3给数据对账系统，或者根据数据对账系统的请求被动地发送日志信息3给数据对账系统，日志信息3中包括数据分拣节点的IP地址，流事件消息中包括的包装消息中业务消息的特征属性，消息条数及创建时间等信息。

步骤305，落地终端接收到数据分拣节点发送的流事件消息后，储存其中包括的业务消息。同时落地终端会记录日志信息4，且落地终端可以主动发送日志信息4给数据对账系统，或者根据数据对账系统的请求被动地发送日志信息4给数据对账系统，日志信息4中包括落地终端的IP地址，落地终端接收的流事件消息包括的包装消息中业务消息的特征属性，消息条数及创建时间等信息。

需要说明的是，落地终端可以有多个，都分别连接数据分拣节点，并接收数据分拣节点发送的流事件消息，且都会发送日志信息4给数据对账系统。

(2)如图7所示，数据对账系统按照如下步骤进行数据对账：

步骤401，数据对账系统从采集代理节点，数据接口节点，数据分拣节点和落地终端分别获取日志信息1，日志信息2，日志信息3和日志信息4进行储存。

步骤402，当数据对账系统定时地或根据用户的设定开启对特征属性1的业务消息的对账流程，则会从本地存储空间获取基于特征属性1(比如业务ID1)的日志信息1到4。

步骤403，数据对账系统根据步骤402获取的日志信息，统计采集代理节点，数据接口节点，数据分拣节点和落地终端分别获取的对账时间点上特征属性1的业务消息的消息条数。

步骤404，数据对账系统确定数据系统各个节点分别获取的任一分钟(对账时间点上)特征属性1的业务消息的消息条数是否一致，如果不一致，进行告警提示。具体如果进行统计消息条数见上述方法实施例一中所述，在此不进行赘述。

需要说明的是，对于有多个落地终端的情况，数据对账系统会将多个落地终端分别获取的对账时间点上特征属性1的业务消息的消息条数之和，与其它节点获取的相应对账时间点上特征属性1的业务消息的消息条数进行匹配，确定是否一致。

进一步地，数据对账系统中还可以包括用户操作端，用户可以通过用户操作端向数据对账系统发送用户查询请求，该用户查询请求用于查询某一时间段某一特征属性的业务消息在数据系统中的传输信息，则数据对账系统会根据该用户查询请求显示查询结果。

例如图8所示，当数据对账系统在用户操作端显示了“业务分钟对账查询”的界面后，用户可以选择“开始时间”，“日期”，“结束时间”和“标题”，并点击查询，这样用户操作端会向数据对账系统发送用户查询请求，在用户查询请求中包括用户选择的信息，具体可以包括开始时间为14:00，结束时间为15:00，日期为2016年12月9日，且标题为“Hy_wefeng”。则数据对账系统会显示在2016年12月9日从14:00到15:00这个时间段内，数据系统中的各个节点获取的在每分钟点上标题为“Hy_wefeng”的业务消息的消息条数，比如采集代理节点获取的在14:01分的业务消息的条数为4812145。

在正常情况下，数据系统中各个节点获取的标题为“Hy_wefeng”的业务消息的消息条数都一致。数据分拣节点获取的在14:59分的业务消息的条数为4528217，与数据系统中其它节点获取的在14:59分的业务消息的条数(具体为4577512)不一致，说明数据分拣节点在14:59分出现异常，数据对账系统则进行告警提示。

本发明系统实施例一

还提供一种数据对账系统，其结构示意图如图9所示，具体可以包括：

日志获取单元10，用于获取数据系统中包括的多个节点分别获取第一特征属性的包装消息的日志信息，其中，所述包装消息中包括所述第一特征属性的多条业务消息，所述日志信息包括所述包装消息中多条业务消息的消息条数，第一特征属性和所述包装消息的创建时间；

统计单元11，用于根据所述日志获取单元10获取的日志信息分别统计所述多个节点获取的各个对账时间点上所述第一特征属性的业务消息的消息条数，其中，在某一对账时间点上某一节点对应的消息条数为：所述某一节点获取的，且创建时间在所述某一对账时间点到其下一对账时间点之间的，且具有所述第一特征属性的包装消息中业务消息的条数；

告警单元12，用于如果所述统计单元11统计的某一对账时间点上所述多个节点分别对应的消息条数不一致，进行第一告警提示，所述第一告警提示用于指示在所述某一对账时间点第一特征属性的业务消息在所述数据系统的传输出现故障。

进一步地，所述告警单元12，还用于如果所述统计单元11统计的某一对账时间点上所述多个节点分别对应的消息条数不一致，且如果所述多个节点中某些节点对应的消息条数与其它节点对应的消息条数不一致，进行第二告警提示，所述第二告警提示用于指示在所述某一对账时间点上第一特征属性的业务消息在所述某些节点的传输出现故障。

在具体的实施例中，第一维度特征为业务标识信息；相邻的所述对账时间点之间的距离为1分钟；所述多个节点包括采集代理节点，数据接口节点，数据分拣节点和落地终端。

可见，在本实施例的系统中，日志获取单元10会获取数据系统中的各个节点获取某一特征属性即第一特征属性的包装消息的日志信息，然后统计单元11根据日志信息中包装消息的创建时间和消息条数，统计多个节点分别获取的各个对账时间点上第一特征属性的业务消息的消息条数，如果某一对账时间点上多个节点分别对应的消息条数不一致，则告警单元12进行第一告警提示。由于本实施例中数据系统在各个节点之间传输业务消息时，是通过将同一特征属性的多条业务消息打包到同一个包装消息中传输，这样简化了数据对账系统对于某一特征属性的业务消息的消息条数的统计，只需统计某一特征属性的包装消息内的业务消息的条数即可；且本实施例中是以包装消息的创建时间为基准将业务消息对齐到各个对账时间点，该创建时间是微秒级的数据，则相邻的对账时间点之间的距离可以较小，比如为1分钟，满足了一些具有较强实时性要求的数据。

参考图10所示，在一个具体的实施例中，数据对账系统除了可以包括如图9所示的结构外，还可以包括请求接收单元13和结果显示单元14，其中：

请求接收单元13，用于接收用户查询请求，所述用户查询请求用于请求查询某一时间段第二特征属性的业务消息在所述多个节点的传输信息；

结果显示单元14，用于根据所述请求接收单元13接收的用户查询请求显示查询结果，所述查询结果包括所述统计单元11统计的某一时间段内，所述多个节点获取的各个对账时间点上所述第二特征属性的业务消息的消息条数。

本发明系统实施例二

提供一种数据系统，其结构示意图如图11所示，包括多个节点，所述多个节点中包括第一节点20和多个第二节点21(图11中以两个第二节点为例说明)，其中，所述第一节点20可以是具有如下逻辑结构的各个业务数据端，具体包括：

分组单元210，用于将源端的业务消息按照某一维度特征进行分组；

创建单元220，用于根据所述分组单元210的分组创建包装消息，所述包装消息中包括所述包装消息的创建时间及某一特征属性的多条业务消息；

日志发送单元230，用于记录第一日志信息，发送第一日志信息给数据对账系统，所述第一日志信息中包括所述第一节点的地址信息，所述创建单元220创建的包装消息中业务消息的消息条数，特征属性及所述创建时间，以便所述数据对账系统根据所述第一日志信息，确定所述第一节点获取的与所述创建时间对应的对账时间点上任一特征属性的业务消息的消息条数，并进行对账。

进一步地，第一节点20还可以包括：消息发送单元240，用于将所述创建单元220创建的包装消息发送给数据系统中的第二节点21；这样所述第二节点21，用于在接收到所述包装消息后，记录第二日志信息，将第二日志信息发送给所述数据对账系统，所述第二日志信息中包括所述第二节点的地址信息，所述包装消息中业务消息的消息条数，特征属性及创建时间。

可见，在本实施例中，数据系统在各个节点之间传输业务消息时，是通过第一节点20将同一特征属性的多条业务消息打包到同一个包装消息中传输，这样可以简化数据对账系统对于某一特征属性的业务消息的消息条数的统计，只需统计某一特征属性的包装消息内的业务消息的条数即可。

本发明设备实施例提供一种服务器，其结构示意图如图12所示，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)30(例如，一个或一个以上处理器)和存储器31，一个或一个以上存储应用程序321或数据322的存储介质32(例如一个或一个以上海量存储设备)。其中，存储器31和存储介质32可以是短暂存储或持久存储。存储在存储介质32的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器30可以设置为与存储介质32通信，在服务器上执行存储介质32中的一系列指令操作。

具体地，在存储介质32中储存的应用程序321包括数据对账的应用程序，且该程序可以包括上述数据对账系统中的日志获取单元10，统计单元11，告警单元12，请求接收单元13和结果显示单元14，在此不进行赘述。更进一步地，中央处理器30可以设置为与存储介质22通信，在服务器上执行存储介质32中储存的数据对账的应用程序对应的一系列操作。

服务器还可以包括一个或一个以上电源33，一个或一个以上有线或无线网络接口34，一个或一个以上输入输出接口35，和/或，一个或一个以上操作系统323，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述方法实施例一中所述的由数据对账系统所执行的步骤可以基于该图12所示的服务器的结构。

本发明设备实施例还提供一种业务数据端，其结构与上述图12所示的服务器的结构类似，不同的是，在业务数据端的存储介质中储存的应用程序包括数据传输的应用程序，且该程序可以包括上述数据系统中第一节点的分组单元210，创建单元220，日志发送单元230和消息发送单元240，在此不进行赘述。更进一步地，业务数据端的中央处理器可以设置为与存储介质通信，在业务数据端执行存储介质中储存的数据传输的应用程序对应的一系列操作。且上述方法实施例二中所述的由数据系统系统所执行的步骤可以基于该业务数据端的结构。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM)、随机存取存储器RAM)、磁盘或光盘等。

以上对本发明实施例所提供的数据对账方法、系统及数据系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种数据对账方法，其特征在于，包括：

获取数据系统中包括的多个节点分别获取第一特征属性的包装消息的日志信息，其中，所述包装消息中包括所述第一特征属性的多条业务消息，所述日志信息包括所述包装消息中多条业务消息的消息条数，第一特征属性和所述包装消息的创建时间；

根据所述日志信息分别统计所述多个节点获取的各个对账时间点上所述第一特征属性的业务消息的消息条数，其中，在某一对账时间点上某一节点对应的消息条数为：所述某一节点获取的，且创建时间在所述某一对账时间点到其下一对账时间点之间的，且具有所述第一特征属性的包装消息中业务消息的条数；

如果在某一对账时间点上所述多个节点分别对应的消息条数不一致，进行第一告警提示，所述第一告警提示用于指示在所述某一对账时间点第一特征属性的业务消息在所述数据系统的传输出现故障。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述某一对账时间点上所述多个节点分别对应的消息条数不一致，且如果所述多个节点中某些节点对应的消息条数与其它节点对应的消息条数不一致，进行第二告警提示，所述第二告警提示用于指示在所述某一对账时间点上第一特征属性的业务消息在所述某些节点的传输出现故障。

3.如权利要求1或2任一项所述的方法，其特征在于，所述方法还包括：

接收用户查询请求，所述用户查询请求用于请求查询某一时间段第二特征属性的业务消息在所述多个节点的传输信息；

根据所述用户查询请求显示查询结果，所述查询结果包括所述某一时间段内，所述多个节点获取的各个对账时间点上所述第二特征属性的业务消息的消息条数。

4.如权利要求1或2任一项所述的方法，其特征在于，

所述第一特征属性为业务标识信息；

相邻的所述对账时间点之间的距离为1分钟；

所述多个节点包括采集代理节点，数据接口节点，数据分拣节点和落地终端。

5.一种数据对账方法，其特征在于，应用于数据系统中，所述数据系统包括多个节点，所述方法包括：

所述多个节点中的第一节点将源端的业务消息按照某一维度特征进行分组；

所述第一节点根据所述分组创建包装消息，所述包装消息中包括所述包装消息的创建时间及某一特征属性的多条业务消息；

所述第一节点记录第一日志信息，发送所述第一日志信息给数据对账系统，所述第一日志信息中包括所述第一节点的地址信息，所述包装消息中业务消息的消息条数，特征属性及所述创建时间，以便所述数据对账系统根据所述第一日志信息，确定所述第一节点获取的与所述创建时间对应的对账时间点上任一特征属性的业务消息的消息条数，且在某一对账时间点上所述多个节点分别对应的消息条数不一致时，进行第一告警提示。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

所述第一节点将所述包装消息发送给数据系统中的第二节点；

所述第二节点在接收到所述包装消息后，记录第二日志信息，将所述第二日志信息发送给所述数据对账系统，所述第二日志信息中包括所述第二节点的地址信息，所述包装消息中业务消息的消息条数，特征属性及创建时间。

7.一种数据对账系统，其特征在于，包括：

日志获取单元，用于获取数据系统中包括的多个节点分别获取第一特征属性的包装消息的日志信息，其中，所述包装消息中包括所述第一特征属性的多条业务消息，所述日志信息包括所述包装消息中多条业务消息的消息条数，第一特征属性和所述包装消息的创建时间；

统计单元，用于根据所述日志信息分别统计所述多个节点获取的各个对账时间点上所述第一特征属性的业务消息的消息条数，其中，在某一对账时间点上某一节点对应的消息条数为：所述某一节点获取的，且创建时间在所述某一对账时间点到其下一对账时间点之间的，且具有所述第一特征属性的包装消息中业务消息的条数；

告警单元，用于如果某一对账时间点上所述多个节点分别对应的消息条数不一致，进行第一告警提示，所述第一告警提示用于指示在所述某一对账时间点第一特征属性的业务消息在所述数据系统的传输出现故障。

8.如权利要求7所述的系统，其特征在于，

所述告警单元，还用于如果所述某一对账时间点上所述多个节点分别对应的消息条数不一致，且如果所述多个节点中某些节点对应的消息条数与其它节点对应的消息条数不一致，进行第二告警提示，所述第二告警提示用于指示在所述某一对账时间点上第一特征属性的业务消息在所述某些节点的传输出现故障。

9.如权利要求7或8任一项所述的系统，其特征在于，还包括：

请求接收单元，用于接收用户查询请求，所述用户查询请求用于请求查询某一时间段第二特征属性的业务消息在所述多个节点的传输信息；

结果显示单元，用于根据所述用户查询请求显示查询结果，所述查询结果包括所述某一时间段内，所述多个节点获取的各个对账时间点上所述第二特征属性的业务消息的消息条数。

10.如权利要求7或8任一项所述的系统，其特征在于，

所述第一特征属性为业务标识信息；

相邻的所述对账时间点之间的距离为1分钟；

所述多个节点包括采集代理节点，数据接口节点，数据分拣节点和落地终端。

11.一种数据系统，其特征在于，包括多个节点，所述多个节点中包括第一节点和多个第二节点，其中，所述第一节点包括：

分组单元，用于将源端的业务消息按照某一维度特征进行分组；

创建单元，用于根据所述分组创建包装消息，所述包装消息中包括所述包装消息的创建时间及某一特征属性的多条业务消息；

日志发送单元，用于记录第一日志信息，发送所述第一日志信息给数据对账系统，所述第一日志信息中包括所述第一节点的地址信息，所述包装消息中业务消息的消息条数，特征属性及所述创建时间，以便所述数据对账系统根据所述第一日志信息，确定所述第一节点获取的与所述创建时间对应的对账时间点上任一特征属性的业务消息的消息条数，且在某一对账时间点上所述多个节点分别对应的消息条数不一致时，进行第一告警提示。

12.如权利要求11所述的系统，其特征在于，所述第一节点还包括：

消息发送单元，用于将所述包装消息发送给数据系统中的第二节点；

所述第二节点，用于在接收到所述包装消息后，记录第二日志信息，将所述第二日志信息发送给所述数据对账系统，所述第二日志信息中包括所述第二节点的地址信息，所述包装消息中业务消息的消息条数，特征属性及创建时间。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质储存多条指令，所述指令适于由处理器加载并执行如权利要求1至6任一项所述的数据对账方法。

14.一种服务器，其特征在于，包括处理器和存储介质，所述处理器，用于实现各个指令；

所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行如权利要求1至6任一项所述的数据对账方法。

Images