CN114070563A - 一种数据处理方法、装置、终端及存储介质 - Google Patents

Abstract

本申请实施例提供一种数据处理方法、装置、终端及存储介质，其中，所述方法包括：对待处理数据进行采集，将采集的数据写入消息缓存队列；如果消息缓存队列中的数据满足第一预设条件，将消息缓存队列中具有第一消息ID的数据发送至数据处理服务器，以使数据处理服务器对所述数据进行处理生成第二消息ID；接收数据处理服务器发送的所述第二消息ID；对所述第一消息ID和所述第二消息ID进行异或操作，确定所述异或操作的值；如果所述异或操作的值满足第二预设条件的数据的数量大于数量阈值，输出告警信息，如此，可以提高数据采集过程中的数据完整性。

Description

一种数据处理方法、装置、终端及存储介质

技术领域

本申请涉及大数据处理技术，涉及但不限于一种数据处理方法、装置、终端及存储介质。

背景技术

在实时数据采集和处理过程中要保证数据的完整性，主要是通过使用断点续传、空点补传和接口运行状态监控等方式，这样，难以对数据采集端采集数据的完整性进行评估。

发明内容

为解决上述技术问题，本申请实施例提供了一种数据处理方法、装置、终端及存储介质，至少解决难以对数据采集端采集数据的完整性进行评估的问题。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种数据处理方法，所述方法包括：

对待处理数据进行采集，将采集的数据写入消息缓存队列；

如果所述消息缓存队列中的数据满足第一预设条件，将所述消息缓存队列中具有第一消息标识(Identity Document，ID)的数据发送至数据处理服务器，以使所述数据处理服务器对所述数据进行处理生成第二消息ID；

接收所述数据处理服务器发送的所述第二消息ID；

对所述第一消息ID和所述第二消息ID进行异或操作，确定所述异或操作的值；

如果所述异或操作的值满足第二预设条件的数据的数量大于数量阈值，输出告警信息。

本申请实施例提供一种数据处理装置，所述装置包括：

采集模块，用于对待处理数据进行采集，将采集的数据写入消息缓存队列；

发送模块，用于如果所述消息缓存队列中的数据满足第一预设条件，将所述消息缓存队列中具有第一消息ID的数据发送至数据处理服务器，以使所述数据处理服务器对所述数据进行处理生成第二消息ID；

接收模块，用于接收所述数据处理服务器发送的所述第二消息ID；

确定模块，用于对所述第一消息ID和所述第二消息ID进行异或操作，确定所述异或操作的值；

输出模块，用于如果所述异或操作的值满足第二预设条件的数据的数量大于数量阈值，输出告警信息。

本申请实施例提供一种终端，所述终端至少包括：控制器和配置为存储可执行指令的存储介质，其中：

控制器配置为执行存储的可执行指令，所述可执行指令配置为执行上述提供的数据处理方法。

本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令配置为执行上述提供的数据处理方法。

本申请实施例提供一种数据处理方法、装置、终端及存储介质，通过将采集数据写入消息缓存队列，提高了数据采集的效率，将具有第一消息ID的数据进行处理，生成所述数据的第二消息ID，并对第一消息ID和第二消息ID进出异或操作，如果数据数量满足异或操作的值的第二条件，则输出告警信息，使得可以根据采集信息的消息ID之间进行异或操作的值，确定数据采集和处理过程中数据的完整性，并使得用户可以根据告警信息对采集的数据进行重新采集等操作，以补偿数据的完整性，提高了数据采集和处理过程中的数据完整度。

附图说明

图1为本申请实施例数据处理方法的流程示意图；

图2为本申请实施例数据处理方法的组成结构和数据流向示意图；

图3为本申请实施例数据处理方法的又一流程示意图；

图4为本申请实施例数据处理方法的总体流程示意图；

图5为本申请实施例数据处理过程中生成消息标识流程示意图；

图6为本申请实施例数据处理的消息标识的示意图；

图7为本申请实施例数据处理过程中告警流程示意图；

图8为本申请实施例数据处理装置的结构示意图；

图9为本申请实施例所述终端的组成结构示意图。

具体实施方式

为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明。

随着大数据需求的普及，各行各业都需要引入大数据技术来提高自身的工作效率，提高生产力。大数据技术，主要是包括如下步骤：1、数据采集；2、数据清洗转换；3、数据存储；4、数据挖掘。数据采集过程主要是用不同的采集器，将每条记录转换为一条条量化的数据，之后将其发送至对应的服务器上，供后续系统使用。

在数据采集和传输中，实时数据的数据质量对后续的实时推荐和实时营销等业务场景有着极其重要的意义。

相关技术中，实时数据采集处理流程为：实时数据主要通过数据生成器以套接字或者文件的方式提供给数据采集服务器。数据采集服务器采集数据，发送至实时数据处理服务器，实时数据处理服务器会将数据进行实时的数据处理，数据清洗，数据过滤，处理完成后发送至后续系统。

相关技术主要研究在实时数据采集和处理过程中保证数据的完整性，通过使用断点续传、空点补传、接口运行状态监控等方式，确保数据采集端采集数据的完整性。

上述方案中存在如下问题：

1、缺少对数据采集端数据质量判定评估。

2、只有通过采集框架或者存储框架的机制保证数据完整性，与框架绑定严重，不利于扩展。

3、若数据采集端发生异常，无法定位异常位置。

4、片面的依靠实时数据处理模块对数据进行排查，严重影响实时数据处理模块的实时性。

5、无法按照所需内容批量补偿数据。

为此，提出了本申请实施例的以下技术方案，为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。

本申请实施例提供一种数据处理方法，图1为本申请实施例数据处理方法的流程示意图，结合图1所示的步骤进行说明：

步骤S101：对待处理数据进行采集，将采集的数据写入消息缓存队列。

这里，待处理数据为大数据库中存储的实时数据，如一个网上店铺的到访顾客流水信息，包括访问时间、访客姓名、访客地理位置、访客网际协议地址(IP)和访客正在访问的页面等数据。消息缓存队列是指数据的传输过程中保存数据的容器。将采集的数据放入消息缓存队列中，可以提高数据传输效率。

步骤S102：如果所述消息缓存队列中的数据满足第一预设条件，将所述消息缓存队列中具有第一消息ID的数据发送至数据处理服务器，以使所述数据处理服务器对所述数据进行处理生成第二消息ID。

这里，在将采集数据写入到消息缓存队列中之后，终端的周期发送器会按照预设的时间间隔检查消息缓存队列中的每一批数据是否满足第一预设条件，如每5秒检查一次消息缓存队列中的某一批数据是否满足第一预设条件。第一预设条件可以为数据的数量达到预定的数量，或者是数据的发送周期等。在一个例子中，数据的发送周期可以为每5秒发送一次数据。如果满足第一预设条件，则生成该批数据的消息ID，以对每批数据进行标识，可以根据每批数据的消息ID进行区分和处理，而且该ID为恒定的30个字节。在一些可实现的实施方式中，对每批数据进行处理后，就会生成该批数据对应的对应于不同数据处理过程的消息ID。然后把具有第一消息ID的数据发送至数据处理服务器。在可实现的实施方式中，根据消息格式要求，设置数据对应的主机号、偏移量起点和数据条数等信息，构建标识数据并生成所述对应的第一消息ID。在一个具体例子中，数据标识为[主机名][编号][唯一标识][时间][发送频率][队列名称][偏移量][数据条数][预留字段1][预留字段2]，第一消息ID可以为011010。数据处理服务器可以对数据进行读取、编辑和转换等操作。数据处理服务器对数据进行处理后，安装在数据处理服务器上的处理端标识器会根据数据的第一消息ID生成对应的第二消息ID。在一个具体例子中，第二消息ID可以为111010。对第一消息ID和第二消息ID进行异或操作，如果操作的值为零，说明数据处理完成，如果操作的值为非零，说明数据未处理完毕。如果后续需要对当前处理后的数据再进行下一步的处理，则将具有第二消息ID的数据发送至下一个数据处理过程，继续对数据进行处理，并生成数据的第三消息ID，依次类推，对该批数据进行处理，并记录在所有的数据处理过程中生成的该批数据的消息ID。

在一些实施例中，也可以是检查每一个数据，并生成每一个数据的第一消息ID，和对每一数据进行处理时处理端标识器会根据数据的第一消息ID生成对应的第二消息ID。

步骤S103：接收所述数据处理服务器发送的所述第二消息ID。

这里，若有多个对该批数据的数据处理过程，则接收数据处理服务器发送的所有数据处理过程中的消息ID。

步骤S104：对所述第一消息ID和所述第二消息ID进行异或操作，确定所述异或操作的值。

这里，终端的消息验证器对数据采集和数据处理过程中的所有消息ID进行异或操作，并确定异或操作的值。

步骤S105：如果所述异或操作的值满足第二预设条件的数据的数量大于数量阈值，输出告警信息。

这里，第二预设条件为异或操作的值为非零。确定数据的所有消息ID进行异或操作的值，并确定异或操作的值为非零的数据的条数，如果数据的条数大于数量阈值，说明在数据采集过程中或数据处理过程中，数据库的数据存在丢失，通过邮件或短信息的方式输出告警信息，以使得用户可以根据告警信息中包含的某一时间段内的数据的采集情况，异或操作的值满足第二预设条件的数据的数量，以及数据对应的消息ID等信息，对此时间段内的数据进行重新采集。在一个具体例子中，数量阈值可以为，消息ID进行异或操作的值为非零的数据的数量为数据总数量的10％。在一些实施例中，数量阈值也可以为一批数据中的所有消息ID进行异或操作的值为非零的数据条数为此批数据总条数的10％。

在本申请实施例中，通过将采集数据写入消息缓存队列，提高了数据采集的效率，将具有第一消息ID的数据进行处理，生成所述数据的第二消息ID，并对第一消息ID和第二消息ID进出异或操作，如果数据数量满足异或操作的值的第二条件，则输出告警信息，使得可以根据采集信息的消息ID之间进行异或操作的值，确定数据采集和处理过程中数据的完整性，并使得用户可以根据告警信息对采集的数据进行重新采集等操作，以补偿数据的完整性，提高了数据采集和处理过程中的数据完整度。

在一些可实现的实施方式中，为了能提高采集数据写入消息缓存队列的效率，所述步骤S101还可以通过以下方式实现：

将所述采集的数据，按照采集的时序写入消息缓存队列。

这里，采集数据相当于生产数据，生产的数据需要被消费掉，将采集的数据写入消息缓存队列是用于进行后期数据处理即消费，消息缓存队列是先进先出的数据结构，而且对数据进行处理即消费数据时也是按照顺序进行消费的，因此要按照采集完成的先后顺序将采集的数据写入消息缓存队列。在一些实施例中，在数据采集器采集数据的过程中，需要根据消息格式要求，设置对应的主机号、偏移量起点、数据条数等信息，标识数据并生成数据的第一消息ID。在一个具体例子中，每个数据标识如下字段：

[主机名][编号][唯一标识][时间][发送频率][队列名称][偏移量][数据条数][预留字段1][预留字段2]

其中，主机名为该机器的IP或者主机名；编号为该机器在客户端ID[不设置默认从0开始]；唯一标识为该消息的唯一标识，通常是通用唯一识别码(Universally UniqueIdentifier，UUID)；时间为该条记录的生成时间；发送频率：该类标识记录发送的频率；队列名称为消息缓存队列的名称；偏移量为消息缓存队列的起始编号；数据条数为本批次数据条数；预留字段1、预留字段2：预留字段。

这样，可以根据采集数据的先后按照顺序将采集数据写入消息缓存队列，提高了数据写入消息缓存队列的效率和后续进行数据处理的效率。

在一些可实现的实施方式中，为了能提高采集数据的效率，所述步骤S101还可以通过以下步骤实现：

首先，根据所述待处理数据的业务类型，对所述待处理数据进行分类。

这里，待处理数据的业务类型可以为个人信息管理类业务类型、位置信息类、聊天信息、消费购物信息和访问网页等不同的业务类型。根据不同的业务类型将所述待处理数据划分为不同的类别，所有类型的数据放在一起组成待处理数据。

其次，基于不同的分类，采用不同的数据采集端分别对待处理数据进行采集，将采集的数据写入消息缓存队列。

这里，采用不同的数据采集器对不同业务类别的数据，分别进行采集，然后根据采集完成的时间的先后顺序将采集的数据写入消息缓存队列中。

这样，可以根据不同的业务类型，采用不同的数据采集端进行数据采集，提高了数据采集的效率。

在一些可实现的实施方式中，为了能准确获取采集数据的数据情况，所述步骤S102还可以通过以下步骤实现：

步骤一：如果所述消息缓存队列中的数据满足第一预设条件，对所述数据进行标识，生成所述数据对应的第一消息ID。

这里，对数据进行标识是根据消息格式要求，设置数据对应的主机号、偏移量起点和数据条数等信息，构建标识数据并生成所述对应的第一消息ID。在一个具体例子中，每个数据标识如下字段：

[主机名][编号][唯一标识][时间][发送频率][队列名称][偏移量][数据条数][预留字段1][预留字段2]

其中，主机名为该机器的网际互连协议地址或者主机名；编号为该机器在客户端ID[不设置默认从0开始]；唯一标识为该消息的唯一标识，通常是通用唯一识别码(Universally Unique Identifier，UUID)；时间为该条记录的生成时间和数据的运行时长；发送频率：该类标识记录发送的频率；队列名称为消息缓存队列的名称；偏移量为消息缓存队列的起始编号，如1-100，2-200等；数据条数为本批次数据条数；预留字段1和预留字段2表示预留字段。

在一些实施例中，终端还设置有偏移量记录器，用于记录当前消息缓存队列中数据处理的位置。

在一些实施例中，所述第一条件可以为以下情况：

如果所述消息缓存队列中的数据的数量达到预设阈值，对所述数据进行标识，生成所述数据对应的第一消息ID。

这里，如果消息缓存队列中的采集数据的数量达到设置的数量时，对消息缓存队列中对应数量的一批采集数据进行标识，并生成采集数据对应的第一消息ID。在一个具体例子中，若消息缓存队列中的采集数据的数量达到1000条，则对将每1000条的数据作为一批数据并进行标识，且生成每一批的采集数据对应的第一消息ID。

在一些实施例中，还可以按照预先设定的时间间隔，对所述数据进行标识，生成所述数据对应的第一消息ID。在一个具体例子中，每隔5秒对消息缓存队列中对应时间段的采集数据进行标识，生成所述数据对应的第一消息ID。

步骤二：将具有所述第一消息ID的数据发送至数据处理服务器。

这里，将每批采集数据的第一消息ID发送至终端的外部存储介质中，终端的外部存储介质主要使用远程字典服务(Remote Dictionary Server，Redis)。每批消息会按照“唯一标识”构建一个顺序表结构，每个处理单元会插入新生成的消息ID。

这样，可以根据消息缓存队列中采集数据的数量是否满足条件，确定对数据进行标识，并发送预设数量的数据至数据处理服务器，可以获取准确的采集数据的数据情况，并提高了数据处理服务器的工作效率。

在一些可实现的实施方式中，在所述步骤S104之前，还需要获取到采集数据的所述第一消息ID和所述第二消息ID，因此，所述方法还包括以下过程：

步骤一：按照预设时间间隔，查询所述第一消息ID和所述第二消息ID对应的数据的运行时长。

这里，每一批数据都有运行时长，如果在运行时长内数据未被处理，则说明数据丢失。采用终端的轮询定时器，按照预设时间间隔查询终端的外部存储介质中的第一消息ID和所述第二消息ID对应的数据的运行时长。在一些实施例中，也可以按照预设时间间隔查询终端的外部存储介质中的每批数据的运行时长。

步骤二：如果所述数据的运行时长超过特定时长，获取所述第一消息ID和所述第二消息ID。

这里，特定时长为数据的有效运行时长，确定当前时刻与该批数据采集完成的时刻之间的时长，并将所述时长作为数据的运行时长，判断所述数据的运行时长与数据的有效运行时长之间的大小关系，如果所述数据的运行时长大于数据的有效时长，则所述数据的运行时长超过特定时长，此时获取该批数据的第一消息ID和所述第二消息ID。在一些实施例中，可以获取该批数据的所有消息ID。

这样，可以根据数据的运行时长是否超过特定时长，确定数据是否被采集完全或已被处理。

在一些可实现的实施方式中，所述步骤S105还可以通过以下过程实现：

首先，确定所述异或操作的值为非零的数据的数量。

这里，数据的消息ID进行异或操作的值有两种情况：1和零。若数据的消息ID进行异或运算之后的值为1即非零值，说明数据没有被处理完毕，存在数据丢失；若数据的消息ID之间进行异或运算之后的值为零，说明该批数据已经完全处理完毕，且没有数据丢失。

然后，如果所述数量大于数量阈值，输出告警信息。

这里，确定异或运算的值为非零值对应的数据的数量，如果所述数据的数量大于数量阈值或数据的数量占该批数据的总数量的比值大于预设比值，则输出告警信息。在一个具体例子中，数量阈值为该批数据的数据总条数的10％，如果异或运算的值为非零值对应的数据的条数，大于该批数据的数据总条数的10％，则输出告警信息。

这样，根据采集数据的第一消息ID和处理采集数据的过程中生成的第二信息ID之间的异或运算的值，并确定异或运算的值为非零的数据的数量，从而可以确定数据采集过程中或数据处理过程中数据的完整性，可以确定数据是否存在丢失并输出告警信息，使得用户可以根据告警信息，获知数据采集和数据处理情况，并依据告警信息进行数据补偿，提高了数据采集过程的数据的完整度。

本申请实施例提供一种数据处理方法，图2为本申请实施例数据处理方法的组成结构和数据流向示意图，如图2所示：本系统包括采集端发送模块21、外部存储模块22、中央处理模块23、处理端标识器24和实时数据质量统计与告警模块25五个部分。

所述采集端发送模块21，用于提供采集端数据标识功能。

这里，采集服务器端201中的采集端发送模块21从数据库中采集数据，得到实时信息数据215。采集端发送模块21包含四部分：消息缓存队列211、实时数据标识器212、偏移量记录器213和周期发送器214。采集端的数据采集器采集的每批消息都有一个对应的消息标识号(ID)，该ID为恒定的30个字节。

消息缓存队列211：将通过数据采集器采集得到的数据写入消息缓存队列。消息缓存队列数据为了保证数据不丢失，将写入至本地磁盘。为保证写入效率，其写入方式为顺序写。

实时数据标识器212：在数据采集器采集数据过程中标识本批数据的情况。每个数据标识如下字段所示：

[主机名][编号][唯一标识][时间][发送频率][队列名称][偏移量][数据条数][预留字段1][预留字段2]

主机名：该机器的网际互连协议地址或者主机名。

编号：该机器在客户端id[不设置默认从0开始]。

唯一标识：该消息的唯一标识，通常是通用唯一识别码(Universally UniqueIdentifier，UUID)。

时间：该条记录的生成时间。

发送频率：该类标识记录发送的频率。

队列名称：消息缓存队列的名称。

偏移量：消息缓存队列的起始编号。

数据条数：本批次数据条数。

预留字段1、预留字段2：预留字段。

偏移量记录器213：用于记录当前消息缓存队列中数据消费的位置。

周期发送器214：主要配置由实时数据标识器212得到的标识数据的生成和发送频率。现有的配置包括以下三种：

1、按照数据条数触发发送标识数据。按照预先设定的数据采集阈值发送标识数据。

2、按照时间间隔发送由实时数据标识器212得到的标识数据。按照预先设定的时间间隔，到达一定的时间触发发送所述标识数据。

3、按照数据条数与时间间隔异或关系触发。即只要满足数据条数与时间间隔两个条件的其中一种条件即可触发发送由实时数据标识器212得到的标识数据的操作。

采集端发送模块21将采集后的数据存入消息缓存队列211，然后周期发送器214的数据发送器按照预设的时间间隔每次取出一批数据进行发送，发送成功后更新对应消费的偏移量。

外部存储模块22，主要使用远程字典服务(Remote Dictionary Server，Redis)内存数据库221作为外部存储介质，将消息ID和采集端信息存储至外部存储介质。每批消息会按照“唯一标识”构建一个顺序表list结构，每个处理单元会插入新生成的消息ID。

中央处理模块23，主要包含消息验证器231和轮询定时器232。

消息验证器231，用于对每批已经处理完成的实时数据进行数据校验，其校验方式为将所有消息ID进行异或操作，若最后结果为0，即证明该批消息已经处理完成。

轮询定时器232，每一批消息都有消息失效时间，即其在规定时间内未能够处理完成则确认其为失败消息。轮询定时器232会周期性的查询外部存储模块22中的每批数据的消息ID集合，以确认消息ID集合中的消息是否失效。

处理端标识器24，这里数据处理服务器202中的处理端标识器24是作为一个插件安装在数据处理服务器上，在不同的数据处理过程1、数据处理过程2和数据处理过程3中，主要采用记录当前处理节点获取的批量数据的第一消息ID，在对数据处理完成后将第一消息ID反馈至消息验证器。若还有下一步操作，通过处理端标识器24生成第二消息ID，并将第二消息ID反馈至消息验证器231，以进行数据校验。其中，第二信息ID是根据第一信息ID生成的。

实时数据质量统计与告警模块25，主要分为五部分：数据采集流程拓扑图构建251、数据质量评估252、告警阈值设定253、告警触发措施接口254和告警信息推送接口255。

(1)数据采集流程拓扑图构建251：由于大数据采集一般为多个采集端采集相同数据，数据采集流程拓扑图主要是通过用户配置业务与采集数据端的拓扑关系，在系统中建立拓扑关系，便于统计整个采集流程的数据质量。

(2)数据质量评估252：数据质量评估包括采集任务数据质量、采集节点数据质量评估、业务采集流程数据质量评估三部分。采集任务数据质量评估主要利用实时标识分析模块的分析结果，统计分析；采集节点数据质量评估主要是将采集节点所有任务统计数据进行汇总，评估该采集节点的数据质量；业务采集流程数据质量评估主要是按照业务统计汇总所有关于该业务的采集节点数据质量评估信息。

(3)告警阈值设定253：按照用户需求，对实时数据质量统计模块中的统计模块中的各类统计结果设置阈值。

(4)告警触发措施接口254：提供接口，当触发告警阈值后所做的操作。

(5)告警信息推送接口255：提供告警信息的推送接口，可以按照用户自己实际需求实现。

在一些可实现的实施方式中，采集服务器端201将实时数据标识器212生成的采集数据的第一消息标识26和数据标识27发送至外部存储模块22；数据处理服务器将处理端标识器24在不同的数据处理过程1、2和3中生成的第二消息标识28发送给外部存储模块22。外部存储模块22将其存储的包括第一消息标识26和第二消息标识28的消息标识集合203发送至中央处理模块23，中央处理模块23的消息验证器231和轮询定时器232对消息标识集合203进行验证后，将获得的消息状态29再发送至外部存储模块22。外部存储模块22再将数据标识27和消息状态29发送至实时数据质量统计与告警模块25，实时数据质量统计与告警模块25根据实时数据的消息状态进行统计与告警。

本申请实施例提供一种数据处理方法，图3为本申请实施例数据处理方法的又一流程示意图，结合图3所示的步骤进行说明：

步骤S301：采集数据。

这里，采集端采集数据，并将数据存入消息缓存队列中。

步骤S302：确定是否满足发送触发条件。

这里，周期发送器检查消息缓存队列中的数据是否满足发送触发条件，若满足触发条件则进行步骤S303，否则继续执行步骤S301。

步骤S303：将所述采集数据发送至数据处理服务器。

这里，实时数据标识器按照消息格式要求，设置对应的主机号、偏移量起点、数据条数等信息，构建标识数据并生成第一消息ID，将标识信息存入外部存储模块中，最后将消息发送至后续数据处理单元。

步骤S304：对所述采集数据进行处理，生成第二消息ID。

这里，数据处理服务器接收到消息后，对实时数据进行处理，并按照要求生成第二消息ID，并存放至外部存储模块。

步骤S305：确定所述采集数据的运行时长。

这里，中央处理模块中的轮询定时器按照轮询时间定时扫描外部存储模块中对应的每批数据的运行时长，若运行时长超过数据的有效运行时长，执行步骤S306。

步骤S306：对所述采集数据的第一消息ID和第二消息ID进行异或操作。

这里，对采集数据的所有信息ID进行异或运算，确定异或运算的值。

步骤S307：基于所述异或操作的值，输出告警信息。

这里，若异或操作的结果为零，则表示该批消息已经完全处理完毕，且无丢失；若异或操作的结果为非零值，证明该批消息数据存在丢失，触发告警模块，向用户输出包括数据的标识和ID等信息的告警信息。

在本申请实施例中，通过将采集数据写入消息缓存队列，提高了数据采集的效率，将具有第一消息ID的数据进行处理，生成所述数据的第二消息ID，并对第一消息ID和第二消息ID进出异或操作，如果数据数量满足异或操作的值的第二条件，则输出告警信息，使得可以根据采集信息的消息ID之间进行异或操作的值，确定数据采集和处理过程中数据的完整性，并使得用户可以根据告警信息对采集的数据进行重新采集等操作，以补偿数据的完整性，提高了数据采集和处理过程中的数据完整度。

本申请实施例提供一种数据处理方法，图4为本申请实施例数据处理方法的总体流程示意图，结合图4所示的步骤进行说明：

步骤S401：开始。

步骤S402：采用采集服务器采集数据。

步骤S403：将采集数据写入消息缓存队列。

步骤S404：确定是否到达发送周期；

这里，确定消息缓存队列中的数据是否到达数据发送周期，若到达数据发送周期，执行步骤S405，若没有到达数据发送周期，继续执行步骤S402。

步骤S405：对数据进行标识。

这里，实时数据标识器按照消息格式要求，设置对应的主机号、偏移量起点或数据条数等信息，以构建数据标识并生成第一消息ID。

步骤S406：发送数据至数据处理服务器。

这里，获取所述到达发送周期的数据，并将数据发送至数据处理服务器。

步骤S407：记录第一消息标识和数据标识。

这里，将所述数据的数据标识信息和第一消息标识存入终端外部存储介质并进行记录。

步骤S408：接收数据处理服务器生成的第二消息标识。

这里，数据处理服务器对数据进行处理后，安装在数据处理服务器上的处理端标识器会根据数据的第一消息标识生成对应的第二消息标识。

步骤S409：确定数据处理过程是否结束。

这里，如果数据处理过程结束，则执行步骤S410；如果数据处理过程未结束，则继续执行步骤S406，一直到数据处理过程结束为止。

步骤S410：进行异或操作，触发告警。

这里，对数据的第一消息ID和第二消息ID进行异或操作，在异或操作的值为非零值的时候，触发告警。

步骤S418：结束。

在一些实施例中，可以对消息缓存队列中的数据的运行时长进行检查，根据数据的运行时长进而确定数据采集和处理的完整性。上述方法可以通过另一流程实现，结合图4中的步骤S411至S418进行说明：

步骤S401：开始。

步骤S411：检查数据的运行时长。

这里，采用轮询定时器轮询检查数据的运行时长。

步骤S412：确定是否超过特定时长。

这里，每批数据或每个数据都有对应的有效运行时长，特定时长为数据的有效运行时长。确定当前时刻与数据采集完成时刻之间的时长，将所述时长作为数据的运行时长，判断所述运行时长是否超过数据的有效时长，如果超过，则说明数据超过特定时长。如果超过特定时长，执行步骤S413；如果未超过特定时长则继续执行步骤S411。

步骤S413：获取数据的所有消息标识。

步骤S414：进行异或操作。

这里，对数据的所有消息标识进行异或操作。

步骤S415：确定异或操作的值是否为零。

这里，若异或运算的结果为零，则表示该批数据已经完全处理完毕，且无丢失；若异或运算的结果为非零值，说明该批数据存在丢失。如果异或操作的值为零，执行步骤S146；如果异或操作的值为非零，则执行步骤S417。

步骤S416：存储数据情况。

这里，将数据经过处理的处理状态，采集状态进行处理和存储。

步骤S417：触发告警。

这里，异或操作的值为非零的时候，说明该批数据存在丢失，则触发告警，向用户输出数据采集不完整的告警信息。

步骤S418：结束。

在本申请实施例中，可以直接根据采集数据的第一消息ID和第二消息ID进行异或操作的结果，和采用轮询定时器在外部存储介质中确定数据的运行时长后，再根据采集数据的第一消息ID和第二消息ID进行异或操作的结果，确定数据采集和处理过程中数据的完整性，并使得用户可以根据告警信息对采集的数据进行重新采集等操作，以补偿数据的完整性，提高了数据采集和处理过程中的数据完整度。

本申请实施例提供一种数据处理方法，图5为本申请实施例数据处理过程中生成消息标识流程示意图，图6为本申请实施例数据处理的消息标识的示意图。结合图5所示的步骤和图6的消息ID示意图进行说明：

步骤S501：采集服务器端发送一批数据，生成第一消息ID。

这里，采集服务器端61发送一批数据，并将该批数据整体命名为采集数据62，且其具有对应的第一消息ID1。

步骤S502：将所述数据发送至第一数据处理过程。

这里，数据处理服务器63中的第一数据处理过程63-1接收到采集数据62后，对采集数据进行分类处理后，发送至两个第二数据处理过程，生成两个第二消息ID：ID2和ID3。

步骤S503：将所述数据分别发送至第二数据处理过程，以对所述数据进行处理，得到第二消息ID。

这里，将所述采集数据62发送至第二数据处理过程：数据处理过程63-2-1和63-2-2，第二数据处理过程63-2-1和63-2-2分别处理采集数据62，并将处理后的数据汇聚至第三数据处理过程63-3中。

步骤S504：将所述数据发送至第三数据处理过程，得到第三消息ID。

这里，在第三数据处理过程63-3中，生成第三消息ID：ID4和ID5。

步骤S505：将所述数据的所有消息ID存储至外部存储介质中。

这里，将所述数据处理过程中生成的ID消息发送至外部存储。在一个具体例子中，处理过程63-1，会将自身接收和发送的ID(ID1、ID2、ID3)按照第一采集数据的唯一编号记录至外部存储中。

步骤S506：对所述数据的所有消息ID进行异或操作。

这里，消息验证器会将对应第一采集数据中所有记录的消息ID进行异或操作。具体操作如下：ID1^(ID1^ID2^ID3)^(ID2^ID4)^(ID3^ID5)^(ID4^ID5)，结果为零，则表示整体数据62处理完成。

在一些可实现的实施方式中，图6中的数据采集过程中的数据和每个处理过程中的数据都是采集数据62，这里采集数据62表征的是在数据采集过程中的数据和数据处理过程中的数据是同一批采集数据。

在本申请实施例中，通过将采集数据在不同的数据处理过程中生成不同的消息ID，根据所有消息ID之间的异或操作，可以确定数据在采集过程和处理过程中的数据完整性。

本申请实施例提供一种数据处理方法，图7为本申请实施例数据处理过程中告警流程示意图，结合图7的步骤进行以下说明：

步骤S701：开始。

步骤S702：设计数据流程拓扑图。

这里，按照用户设计的数据流程，配置数据流程拓扑图。系统按照配置的信息自动构建数据流程拓扑图，并展示。

步骤S703：查看每个采集任务的数据采集情况。

这里，按照数据标识中的主机信息，定时扫描内存数据库，查看对应主机的每个采集任务的数据采集情况。如：根据数据的消息ID的值确定数据的完整性和丢失的数据的量。

步骤S704：统计每个主机的数据采集情况。

这里，汇总每个主机每个任务的数据采集情况，生成每台主机的数据采集质量情况。如：根据数据的消息ID的值确定数据的完整性和丢失的数据的量。

步骤S705：统计整理数据流程的数据情况。

这里，汇总每个主机每个任务的数据采集情况，生成每台主机的数据采集情况。如：根据数据的消息ID的值确定数据的完整性和丢失的数据的量。

步骤S706：统计数据完整性情况。

步骤S707：确定是否触发阈值。

这里，判断整个数据流程中的这些数据丢失的数据条数是否达到告警阈值。若达到触发告警的阈值，执行步骤S708；否则，执行步骤S710。

步骤S708：触动告警措施。

这里，触发告警措施(告警措施可以由用户事先设定)。如，对对应的丢失数据进行重新采集等操作。

步骤S709：输出告警信息。

这里，将告警信息通过告警信息接口发送至对应服务器。

步骤S710：展示数据。

这里，将采集数据的数据情况在数据流程拓扑图上进行展示。

步骤S711：结束。

这里，通过建立数据流程拓扑图，可以根据拓扑图的设置采集对应的节点的数据采集情况，进而得知整体数据的数据采集情况，并将每一节点的数据采集情况展示在数据流程拓扑图中，并根据数据流程中的所有数据的质量情况及数据丢失数量，触发告警提示，使得可以直观查看数据采集过程中的数据采集情况、处理情况和数据丢失数量，可以准确获取数据的完整性，提高了数据采集过程和处理过程的工作效率。

本申请实施例提供一种数据处理装置，图8为本申请实施例数据处理装置的结构示意图，如图8所示，所述数据处理装置800包括：采集模块801、发送模块802、接收模块803、确定模块804和输出模块805，其中：

采集模块801，用于对待处理数据进行采集，将采集的数据写入消息缓存队列；

发送模块802，用于如果所述消息缓存队列中的数据满足第一预设条件，将所述消息缓存队列中具有第一消息ID的数据发送至数据处理服务器，以使所述数据处理服务器对所述数据进行处理生成第二消息ID；

接收模块803，用于接收所述数据处理服务器发送的所述第二消息ID；

确定模块804，用于对所述第一消息ID和所述第二消息ID进行异或操作，确定所述异或操作的值；

输出模块805，用于如果所述异或操作的值满足第二预设条件的数据的数量大于数量阈值，输出告警信息。

在上述装置中，所述采集模块801还用于对待处理数据进行采集，将所述采集的数据，按照采集的时序写入消息缓存队列。

在上述装置中，所述采集模块801，包括：

分类子模块，用于根据所述待处理数据的业务类型，对所述待处理数据进行分类；

采集子模块，用于基于不同的分类，采用不同的数据采集端分别对待处理数据进行采集，将采集的数据写入消息缓存队列。

在上述装置中，所述发送模块802，包括：

标识子模块，用于如果所述消息缓存队列中的数据满足第一预设条件，对所述数据进行标识，生成所述数据对应的第一消息ID；

发送子模块，用于将具有所述第一消息ID的数据发送至数据处理服务器。

在上述装置中，所述标识子模块，还用于如果所述消息缓存队列中的数据的数量达到预设阈值，对所述数据进行标识，生成所述数据对应的第一消息ID。

在上述装置中，所述装置还包括：

查询模块，用于按照预设时间间隔，查询所述第一消息ID和所述第二消息ID对应的数据的运行时长；

获取模块，用于如果所述数据的运行时长超过特定时长，获取所述第一消息ID和所述第二消息ID。

在上述装置中，所述输出模块805，包括：

确定子模块，用于确定所述异或操作的值为非零的数据的数量；

输出子模块，用于如果所述数量大于数量阈值，输出告警信息。

本申请实施例再提供一种数据处理装置，该装置包括所包括的各模块、以及各模块所包括的各子模块和各单元，可以通过终端中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

对应地，本申请实施例提供一种终端，图9为本申请实施例所述终端的组成结构示意图，如图9所示，所述终端900至少包括：控制器901和配置为存储可执行指令的存储介质902，其中：

控制器901配置为执行存储的可执行指令，所述可执行指令用于实现提供的数据处理方法。

需要说明的是，以上终端实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请终端实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行本申请其他实施例提供的数据处理方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

对待处理数据进行采集，将采集的数据写入消息缓存队列；

如果所述消息缓存队列中的数据满足第一预设条件，将所述消息缓存队列中具有第一消息ID的数据发送至数据处理服务器，以使所述数据处理服务器对所述数据进行处理生成第二消息ID；

接收所述数据处理服务器发送的所述第二消息ID；

对所述第一消息ID和所述第二消息ID进行异或操作，确定所述异或操作的值；

如果所述异或操作的值满足第二预设条件的数据的数量大于数量阈值，输出告警信息。

2.根据权利要求1所述的方法，其特征在于，所述将采集的数据写入消息缓存队列，包括：

将所述采集的数据，按照采集的时序写入消息缓存队列。

3.根据权利要求1所述的方法，其特征在于，所述对待处理数据进行采集，将采集的数据写入消息缓存队列，包括：

根据所述待处理数据的业务类型，对所述待处理数据进行分类；

基于不同的分类，采用不同的数据采集端分别对待处理数据进行采集，将采集的数据写入消息缓存队列。

4.根据权利要求1所述的方法，其特征在于，所述如果所述消息缓存队列中的数据满足第一预设条件，将所述消息缓存队列中具有第一消息ID的数据发送至数据处理服务器，包括：

如果所述消息缓存队列中的数据满足第一预设条件，对所述数据进行标识，生成所述数据对应的第一消息ID；

将具有所述第一消息ID的数据发送至数据处理服务器。

5.根据权利要求4所述的方法，其特征在于，所述如果所述消息缓存队列中的数据满足第一预设条件，对所述数据进行标识，生成所述数据对应的第一消息ID，包括：

如果所述消息缓存队列中的数据的数量达到预设阈值，对所述数据进行标识，生成所述数据对应的第一消息ID。

6.根据权利要求1所述的方法，其特征在于，在所述对所述第一消息ID和所述第二消息ID进行异或操作，确定所述异或操作的值之前，所述方法还包括：

按照预设时间间隔，查询所述第一消息ID和所述第二消息ID对应的数据的运行时长；

如果所述数据的运行时长超过特定时长，获取所述第一消息ID和所述第二消息ID。

7.根据权利要求1所述的方法，其特征在于，所述如果所述异或操作的值满足第二预设条件的数据的数量大于数量阈值，输出告警信息，包括：

确定所述异或操作的值为非零的数据的数量；

如果所述数量大于数量阈值，输出告警信息。

8.一种数据处理装置，其特征在于，所述装置包括：

采集模块，用于对待处理数据进行采集，将采集的数据写入消息缓存队列；

发送模块，用于如果所述消息缓存队列中的数据满足第一预设条件，将所述消息缓存队列中具有第一消息ID的数据发送至数据处理服务器，以使所述数据处理服务器对所述数据进行处理生成第二消息ID；

接收模块，用于接收所述数据处理服务器发送的所述第二消息ID；

确定模块，用于对所述第一消息ID和所述第二消息ID进行异或操作，确定所述异或操作的值；

输出模块，用于如果所述异或操作的值满足第二预设条件的数据的数量大于数量阈值，输出告警信息。

9.一种数据处理终端，其特征在于，所述终端至少包括：控制器和配置为存储可执行指令的存储介质，其中：

控制器配置为执行存储的可执行指令，所述可执行指令配置为执行上述权利要求1至7任一项提供的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行上述权利要求1至7任一项提供的数据处理方法。

Images