CN109388671B - 数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置、系统及设备，其中，方法包括：确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据；确定所述增量数据对应的新检查点标识；根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识，可便捷地读取到增量数据。

Description

数据处理方法、装置、设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

读取-转换-加载(Extract-Transform-Load，ETL)是将源数据系统的数据经过读取、清洗转换之后加载到数据仓库的过程，目的是将分散、零乱、标准不统一的源数据整合到一起，以便后续分析和使用。由于读取数据的效率直接关系到ETL作业过程的性能，因此数据读取是ETL作业过程中非常重要的环节，通常通过获取源数据系统中的增量数据来提高读取数据的效率，但是实践中，需要读取当前源数据系统中的全量数据，并将当前读取的全量数据与上次读取的全量数据进行比对，才能获取到增量数据。可见，该读取数据的方法繁琐、效率较低。

发明内容

本发明实施例所要解决的技术问题在于，提供一种数据处理方法、装置、设备及存储介质，可便捷地读取到增量数据。

一方面，本发明实施例提供一种数据处理方法，该方法包括：

确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据；

根据所述增量数据生成与所述增量数据对应的新检查点标识；

根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识。

一方面，本发明实施例提供一种数据处理方法，该方法包括：

当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

根据所述历史检查点标识生成操作指令，将所述操作指令发送至从设备，触发所述从设备根据所述操作指令执行所述本次数据处理操作；

接收所述从设备发送的触发指令，所述触发指令包括所述从设备执行本次数据处理操作所获取的增量数据的新检查点标识；

将所述管理器中的所述历史检查点标识更新为所述新检查点标识。

一方面，本发明实施例提供一种数据处理装置，该装置包括：

确定模块，用于确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围。

查询模块，用于根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据。

确定模块，用于根据所述增量数据生成与所述增量数据对应的新检查点标识。

发送模块，用于根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识。

一方面，本发明实施例提供一种数据处理装置，该装置包括：

获取模块，用于当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围。

发送模块，用于根据所述历史检查点标识生成操作指令，将所述操作指令发送至从设备，触发所述从设备根据所述操作指令执行所述本次数据处理操作。

接收模块，用于接收所述从设备发送的触发指令，所述触发指令包括所述从设备执行本次数据处理操作所获取的增量数据的新检查点标识。

更新模块，用于将所述管理器中的所述历史检查点标识更新为所述新检查点标识。

一方面，本发明实施例提供一种从设备，该从设备包括：处理器和存储装置；所述存储装置存储有计算机程序指令，所述处理器调用所述计算机程序指令，用于执行如下步骤：

确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据；

根据所述增量数据生成与所述增量数据对应的新检查点标识；

根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识。

一方面，本发明实施例提供一种主设备，该主设备包括：处理器和存储装置；所述存储装置存储有计算机程序指令，所述处理器调用所述计算机程序指令，用于执行如下步骤：

当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

根据所述历史检查点标识生成操作指令，将所述操作指令发送至从设备，触发所述从设备根据所述操作指令执行所述本次数据处理操作；

接收所述从设备发送的触发指令，所述触发指令包括所述从设备执行本次数据处理操作所获取的增量数据的新检查点标识；

将所述管理器中的所述历史检查点标识更新为所述新检查点标识。

一方面，本发明实施例提供一种数据处理系统，该系统包括：主设备及从设备；

所述主设备，用于当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；根据所述历史检查点标识生成操作指令，将所述操作指令发送至所述从设备；

所述从设备，用于根据所述操作指令中的历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据；根据所述增量数据生成与所述增量数据对应的新检查点标识；根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备；

所述主设备，还用于根据所述触发指令将所述历史检查点标识更新为所述新检查点标识。

一方面，本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，该计算机程序指令被执行时，实现所述的数据处理方法。

本发明实施例中，通过历史检查点标识可以获取到与本次数据处理操作关联增量数据，不需要获取与本次数据处理操作关联的全量数据，提高数据读取的效率；另外，该历史检查点标识由主设备的管理器存储并管理，不需要从设备管理历史检查点标识，降低从设备数据处理压力；另外，不需要将上次读取的数据额外存储，可以降低设备的存储压力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据处理系统的结构示意图；

图2是本发明实施例提供的一种数据处理方法的时序图；

图3是本发明实施例提供的另一种数据处理方法的流程示意图；

图4是本发明实施例提供的又一种数据处理方法的流程示意图；

图5是本发明实施例提供的一种数据处理装置的结构示意图；

图6是本发明实施例提供的另一种数据处理装置的结构示意图；

图7是本发明实施例提供的一种从设备的结构示意图；

图8是本发明实施例提供的一种主设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有读取数据的方法繁琐、效率较低的问题，本发明实施例提供一种数据处理方法，该方法包括：主设备检测到用户触发的数据操作，或时间到达数据处理操作的操作时间，主设备可以根据本次数据处理操作的类型从管理器中获取历史检查点标识，该管理器中记录了多种类型的数据处理操作，及每种类型的数据处理操作的历史检查点标识，该历史检查点标识用于指示上次数据处理操作所获取的数据的范围，即根据该历史检查点可知哪些数据是上次数据处理操作后所增加、修改或删除的增量数据。为了获取增量数据，主设备可以将该获取增量数据的任务分配给从设备，即主设备可以根据该历史检查点标识生成操作指令，将该操作指令发送至从设备，从设备接收该操作指令，可以根据该操作指令中的历史检查点生成查询条件，该查询条件用于限定查询数据的范围，根据该查询条件获取本次数据处理操作的增量数据，并确定该增量数据对应新检查点标识，该新检查点标识用于指示增量数据的范围，根据新检查点标识生成触发指令，将该触发指令发送至主设备，主设备根据该触发指令将管理器中的历史检查点标识更新为新检查点标识。通过历史检查点标识可以获取到与本次数据处理操作关联增量数据，不需要获取与本次数据处理操作关联的全量数据，提高数据读取的效率；另外，该历史检查点标识由主设备的管理器存储并管理，不需要从设备管理历史检查点标识，降低从设备数据处理压力；另外，不需要将上次读取的数据额外存储，可以降低设备的存储压力。

请参见图1，图1示出了一种数据处理系统的结构示意图，该数据处理系统包括主设备11、至少一个从设备(图1以包括三个从设备为例，分别为从设备12、从设备13及从设备14)及源数据库15和/或源数据接口16。

在一个实施例中，主设备11，用于管理所有的从设备，并为各个从设备分配数据处理操作，该主设备可以包括管理器，该管理器用于记录数据处理操作的类型对应的历史检查点标识。从设备，用于执行主设备分配的数据处理操作，如用于从源数据库15或源数据接口16中读取与数据处理操作关联的数据，并对读取的数据进行清洗，并将清洗后的数据加载到数据仓库中。源数据库15或源数据接口16，用于提供与数据处理操作关联的数据，该关联的数据可以是用户上传到源数据库15或源数据接口16中的，或者该关联的数据是源数据库15或源数据接口16从其他设备中获取的。

其中，数据处理操作可以是指对数据进行读取，对数据进行读取可以是指从源数据库15或源数据接口16中获取增量数据或全量数据，增量数据是指源数据库15或源数据接口16中未被读取的且与本次数据处理操作的类型匹配的数据，例如增量数据是指上次数据处理操作后源数据库15或源数据接口16中所增加、修改或删除的且与本次数据处理操作的类型匹配的数据，全量数据是指源数据库15或源数据接口16中与本次数据处理操作的类型匹配的所有数据，下面以读取增量数据为例进行说明。该数据处理操作还可以包括对数据进行清洗及对数据进行加载，对数据进行清洗是指对读取的数据进行简化处理或规范化处理的过程。对数据进行加载是指将对清洗后的数据加载到数据仓库中，以便于后续使用或分析。该数据可以是指图像数据、音频数据、视频数据及文本数据中的至少一种，数据处理操作的类型包括图像类型的数据处理操作、音频数据类型的数据处理操作、视频数据类型的数据处理操作或文本数据类型的数据处理操作。

对数据进行读取的过程如图2所示，该数据读取过程包括如下步骤S11～S16：

S11、主设备获取历史检查点标识。主设备11检测到用户触发主设备执行某种数据处理操作时，或检测到到达执行某种数据操作的时间时，主设备11根据本次数据操作的类型从管理器中获取历史检查点标识，历史检查点标识用于指示上次数据处理操作所获取的数据的范围。该管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，如表1所示，管理器以表格的形式管理数据处理操作的类型及历史检查点标识，假设本次数数据处理操作的类型为类型1，历史检查点标识为标识a。

表1

数据处理操作的类型	历史检查点标识
		类型1	标识a
......	.....

S12、将历史检查点标识发送至从设备。主设备可以按照预设的数据处理操作分配策略将该历史检查点标识发送至从设备。在一个实施例中，预设的数据处理操作分配策略包括按照从设备的状态的分配策略，从设备的状态包括空闲状态和非空闲状态，上述按照预设的数据处理操作分配策略将该历史检查点标识发送至从设备，包括：主设备检测当前处于空闲状态的从设备，将该历史检查点标识发送至检测出处于空闲状态的从设备，这里空闲状态是指从设备当前未被分配数据处理操作，非空闲状态是指该从设备当前正在执行主设备分配的数据处理操作。在另一个实施例中，预设的数据处理操作分配策略包括按照数据处理操作的类型的分配策略，每个从设备被主设备分配执行至少一种类型的数据处理操作，上述按照预设的数据处理操作分配策略将该历史检查点标识发送至从设备，包括：获取本次数据处理操作的类型，并确定处理该类型的数据处理操作的从设备，将该历史检查点标识发送给确定的从设备。

S13、从设备根据历史检查点生成查询条件，根据该查询条件查询并获取本次数据处理操作的增量数据。为了获取本次数据处理操作的增量数据，从设备可以历史检查点生成查询条件，该查询条件用于限定需要查询的数据范围，根据该查询条件从源数据库或源数据接口查询并获取本次数据处理操作的部分或全部增量数据，其中，执行本次数据处理操作所获取的增量数据的多少可以是根据从设备执行数据处理操作的效率和/或从设备存储数据的存储空间的大小确定的。

S14、从设备确定该增量数据对应的新检查点标识。在获取本次数据处理操作的增量数据后，为了下次可以根据快速地获取增量数据，从设备可以确定该增量数据对应的新检查点标识，新检查点标识用于指示该增量数据的范围。

S15、从设备将该新检查点标识发送至主设备。

S16、主设备将历史检查点标识更新为新检查点标识。

从设备可以将新检查点标识发送至主设备，主设备接收新检查点标识，并将历史检查点标识更新为新检查点标识，如该新检查点标识为标识A，将类型1的数据处理操作的历史检查点标识更新后得到如表2所示的检查点标识。

表2

数据处理操作的类型	历史检查点标识
		类型1	标识A
......	.....

在步骤S11～S16中，通过历史检查点标识可以便捷地获取到与本次数据处理操作关联增量数据，不需要获取与本次数据处理操作关联的全量数据，提高数据读取的效率，且该历史检查点标识由主设备的管理器存储并管理，不需要从设备管理历史检查点标识，降低从设备数据处理压力。

为了使读取的数据更新简化、规范化及统一化，从设备可以对读取的数据进行清洗，对数据进行清洗包括：按照预设的数据格式对增量数据进行处理得有效增量数据，即对增量数据的格式进行归一化处理。预设的数据格式可以是指数据本身的格式，该增量数据为图像数据，该预设的数据格式为JPG格式；该增量数据为文本数据，该预设的数据格式可以为txt格式等等。该预设的数据格式还可以是指数据的显示格式，例如，预设的数据格式是指数据的显示大小、显示位置或显示效果等等，这时该预设的数据格式可以是根据显示增量数据的智能终端的显示格式设置的。对数据进行清洗还包括：对增量数据进行过滤处理，得到有效增量数据，对增量数据进行过滤处理是指过滤掉无效数据，无效数据可以是指不能给内容提供商带来价值的数据，例如，该无效数据是指重复的数据、非法的数据或与内容提供商不具备合作关系的广告数据等等。对数据进行清洗还包括：在增量数据中增加数据，得到有效增量数据，增量的数据可以包括添加与内容提供商具有合作关系的广告数据、增加渲染效果数据、增加关于增量数据的描述数据等等。

进一步，从设备可以将有效增量数据加载到数据仓库中，数据仓库是可以指用于为内容提供商存储数据的数据库，用户可以访问或获取该数据仓库中的数据。

请参见图3，是本发明实施例提供的一种数据处理方法的流程示意图，本发明实施例的所述方法可以由上述提及从设备来执行。本实施例中，该数据处理方法包括以下步骤。

S101、确定在主设备上记录的历史检查点标识，该历史检查点标识用于指示上次数据处理操作所获取的数据的范围。

当主设备检测到数据处理操作时，可以向从设备发送本次数据处理操作对应的历史检查点标识，从设备接收该历史检查点标识，该历史检查点标识用于指示上次数据处理操作所获取的数据的范围，其中上次数据处理操作可以泛指历史数据处理操作，即该历史检查点标识用于标记源数据库或源数据接口中哪些数据已经被读取过。

该历史检查点标识包括上次数据处理操作所获取数据的偏移值、编号、端口号、时间戳中的至少一种；上次数据处理操作所获取数据的偏移值是指相邻两次数据处理操作所获取的数据的存储地址之间的差值，从设备根据该历史检查点标识中的偏移值可确定存储地址小于或等于该差值的数据为被读取过的数据，存储地址大于该差值的数据为未被读取过的数据。上次数据处理操作所获取数据的编号是指上次数据处理操作所获取的数据的编号中的最大编号，从设备根据该历史检查点标识中的编号可确定编号小于或等于该最大编号的数据为被读取过的数据，确定编号大于该最大编号的数据为未被读取过的数据，数据的编号可以是指数据的序号或版本号等。上次数据处理操作所获取数据的端口号是指上次数据处理操作所获取的数据的端口号中的最大端口号，从设备根据该历史检查点标识中的端口号可确定端口号小于或等于该最大端口号的数据为被读取过的数据，确定端口号大于该最大端口号的数据为未被读取过的数据。上次数据处理操作所获取数据的时间戳用于指示上次数据处理操作所获取的数据的时间，从设备根据该历史检查点标识中的时间戳可确定时间早于或等于上次执行数据处理操作的时间的数据为被读取过的数据，时间晚于上次执行数据处理操作的时间的数据为未被读取过的数据，数据的时间是指数据被存储于源数据库或源数据接口中的时间。

S102、根据该历史检查点标识生成查询条件，根据该查询条件查询并获取本次数据处理操作的增量数据。

从设备可以根据该历史检查点标识生成查询条件，该查询条件用于限定查询数据的范围，即该查询条件用于指示查询未被读取的数据的范围，根据该查询条件查询并获取本次数据处理操作的增量数据。此处的增量数据是指源数据库或源数据接口中未被读取的且与本次数据处理操作的类型匹配的数据的。

在一个实例中，根据本次数据处理操作的类型调用查询模板，将历史检查点标识输入到查询模板中，生成查询条件。

根据本次数据处理操作的类型是指本次数据处理操作的数据类型，从设备中存储有不同类型的数据对应的查询模板，如图表3所示，该查询模板包括需要查询的数据的来源、数据的类型、查询规则，数据的类型包括图像类型、视频类型及文本类型，数据的来源包括源数据的标识(如数据库的名称)或源数据接口的标识(如网址、端口号)，查询规则包括查询的数据量、需要查询的字段名称及历史检查点标识等等。通常同种类型的数据的来源、查询规则等相同，因此，在查询数据时，从设备可以根据本次数据处理操作的类型调用相应的查询模板，将历史检查点标识输入到本次数据处理操作类型对应的查询模板中，即将本次数据处理操作类型对应的查询模板中上次查询时的历史检点标识更新为本次的历史检查点标识，生成查询条件，提高生成查询条件的效率。例如，当从设备需要查询图像类型的数据，从设备可以将该图像类型的数据对应的查询模版，将该图像类型的数据的历史检查点输入到查询模版生成的查询条件，该查询条件用查询语句可表示为：select图像from源数据库的标识或源数据接口的标识[whereID>历史检查点or预设ID>ID>历史检查点]，其中，预设ID是根据历史检查点及查询的数据量的确定。

表3

S103、根据增量数据生成与所述增量数据对应的新检查点标识。

在获取到增量数据后，为了便于下次可以快速便捷的获取到增量数据，从设备可以根据该增量数据生成与所述增量数据对应的新检查点标识，根据该新检查点标识用于标识源数据库中或源数据接口中已被读取的数据。

其中，新检查点标识包括所述增量数据的偏移值、增量数据的编号、增量数据的端口号及增量数据的时间戳中的至少一种，增量数据的偏移值是指增量数据的存储地址与上次数据处理操作所获取的数据的存储地址之间的差值，从设备根据该新检查点标识中的偏移值可确定存储地址小于或等于差值(即该增加数据的偏移值)的数据为被读取过的数据，存储地址大于该增加数据的偏移值的数据为未被读取过的数据。增量数据的编号是指所述增量数据的编号中的最大编号，从设备根据该新检查点标识中的编号可确定编号小于或等于最大编号(即增量数据的编号)的数据为被读取过的数据，确定编号大于该最大编号的数据为未被读取过的数据。增量数据的端口号是指所述增量数据的端口号中的最大端口号，从设备根据该新检查点标识中的端口号可确定端口号小于或等于最大端口号(即增量数据的端口号)的数据为被读取过的数据，确定端口号大于该最大端口号的数据为未被读取过的数据。该时间戳用于指示获取该增量数据的时间，从设备根据该新检查点标识中的时间戳可确定时间早于或等于获取增量数据的时间的数据为被读取过的数据，时间晚于获取增量数据的时间的数据为未被读取过的数据。

S104、根据新检查点标识生成触发指令，将触发指令发送至主设备，该触发指令用于触发主设备将历史检查点标识更新为新检查点标识。

在获取增量数据后，为了便于实时更新历史检查点标识，从设备可以根据新检查点标识生成触发指令，将触发指令发送至主设备，以便于主设备将历史检查点标识更新为新检查点标识。

在一个实施例中，按照预设数据处理规则对增量数据进行处理，得到有效增量数据，其中，预设数据处理规则包括过滤无效数据的规则，和/或格式处理规则和/或添加数据的规则，将有效增量数据加载到数据仓库中。

为了使读取的数据更新简化、规范化及统一化，从设备可以按照预设数据处理规则对增量数据进行处理，得到有效增量数据，例如，按照过滤无效数据的规则将增量数据中的无效数据过滤掉，和/或按照预设的数据格式对增量数据进行格式处理，和/或按照添加数据的规则在增量数据中添加数据，处理后得到有效增量数据，将该有效增量数据加载到数据仓库中，以便后续分析和查询。

本发明实施例中，通过历史检查点标识可以便捷地获取到与本次数据处理操作关联增量数据，不需要获取与本次数据处理操作关联的全量数据，提高数据读取的效率，且该历史检查点标识由主设备的管理器存储并管理，不需要从设备管理历史检查点标识，降低从设备数据处理压力。

请参见图4，是本发明实施例提供的另一种数据处理方法的流程示意图，本发明实施例的所述方法可以由上述提及主设备来执行。本实施例中，该数据处理方法包括以下步骤。

S201、当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，该管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，该历史检查点标识用于指示所上次数据处理操作所获取的数据的范围。

当主设备检测到用户触发主设备执行某种数据处理操作时，确定检测到数据处理操作；或者主设备为每种类型的数据处理操作设置执行时间，当检测到时间到达执行某种数据操作的时间时，确定检测到数据处理操作，并根据本次数据处理操作的类型从管理器中获取历史检查点标识。

S202、根据历史检查点标识生成操作指令，将操作指令发送至从设备，触发从设备根据操作指令执行本次数据处理操作。

主设备可以根据历史检查点标识生成操作指令，并按照预设的数据处理操作任务分配规则确定执行本次数据处理操作的从设备，将操作指令发送至确定从设备，以触发从设备根据该操作指令执行本次数据处理操作。

S203、接收从设备发送的触发指令，触发指令包括从设备执行本次数据处理操作所获取的增量数据的新检查点标识。

在从设备执行本次数据处理操作以获取增量数据后，确定增量数据的新检查点标识，并根据该检查点标识生成触发指令，将该触发指令发送至主设备，主设备接收该触发指令。

S204、将管理器中的所述历史检查点标识更新为所述新检查点标识。

为了下次可以快速地获取到增量数据，主设备可以将管理器中的历史检查点标识更新为新检查点标识。

在一个实施例中，该触发指令还包括标志位，该标志位用于指示从设备是否成功执行所述本次数据处理操作，当触发指令包括的标志位指示从设备成功执行本次数据处理操作时，执行将管理器中的所述历史检查点标识更新为所述新检查点标识的步骤；当触发指令包括的标志位指示所述从设备未成功执行本次数据处理操作时，在预设时间间隔后将操作指令发送至从设备。

当触发指令包括的标志位指示从设备成功执行本次数据处理操作时，表明成功读取到增量数据，主设备可以将管理器中的历史检查点标识更新为新检查点标识；当触发指令包括的标志位指示从设备未成功执行本次数据处理操作时，表明存在异常事件导致未成功读取到增量数据，主设备可以在预设时间间隔后将操作指令发送至从设备，或者将该操作指令发送至其他从设备，以便成功获取增量数据。异常事件可以是从设备突然断电、断网等事件。

本发明实施例中，通过历史检查点标识可以便捷地获取到与本次数据处理操作关联增量数据，不需要获取与本次数据处理操作关联的全量数据，提高数据读取的效率，且该历史检查点标识由主设备的管理器存储并管理，不需要从设备管理历史检查点标识，降低从设备数据处理压力。

请参见图5，是本发明实施例提供的另一种数据处理装置的结构示意图，本发明实施例的所述结构可以设置在上述提及从设备中。本实施例中，该数据处理装置包括：

确定模块501，用于确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围。

查询模块502，用于根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据。

所述确定模块501，还用于根据所述增量数据生成与所述增量数据对应的新检查点标识。

发送模块503，用于根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识。

其中，所述历史检查点标识由所述主设备检测到数据处理操作时发送的，所述主设备根据所述本次数据处理操作的类型从所述主设备的管理器中获取的；所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识。

在一个实施例中，查询模块502，具体用于根据所述本次数据处理操作的类型调用查询模板；将所述历史检查点标识输入到查询模板中，得到查询条件。

其中，所述新检查点标识包括所述增量数据的偏移值、所述增量数据的编号、所述增量数据的端口号及所述增量数据的时间戳中的至少一种；所述增量数据的偏移值是指所述增量数据的存储地址与所述上次数据处理操作所获取的数据的存储地址之间的差值；所述增量数据的编号是指所述增量数据的编号中的最大编号；所述增量数据的端口号是指所述增量数据的端口号中的最大端口号；所述时间戳用于指示获取所述增量数据的时间。

在一个实施例中，处理模块504，用于按照预设数据处理规则对所述增量数据进行处理，得到有效增量数据，其中，所述预设数据处理规则包括过滤无效数据的规则，和/或格式处理规则和/或添加数据的规则。

在一个实施例中，加载模块505，用于将所述有效增量数据加载到数据仓库中。

本发明实施例中，通过历史检查点标识可以便捷地获取到与本次数据处理操作关联增量数据，不需要获取与本次数据处理操作关联的全量数据，提高数据读取的效率，且该历史检查点标识由主设备的管理器存储并管理，不需要从设备管理历史检查点标识，降低从设备数据处理压力。

请参见图6，是本发明实施例提供的另一种数据处理装置的结构示意图，本发明实施例的所述结构可以在设置上述提及主设备中。本实施例中，该数据处理装置包括：

获取模块601，用于当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围。

发送模块602，用于根据所述历史检查点标识生成操作指令，将所述操作指令发送至从设备，触发所述从设备根据所述操作指令执行所述本次数据处理操作。

接收模块603，用于接收所述从设备发送的触发指令，所述触发指令包括所述从设备执行本次数据处理操作所获取的增量数据的新检查点标识。

更新模块604，用于将所述管理器中的所述历史检查点标识更新为所述新检查点标识。

其中，所述触发指令还包括标志位，所述标志位用于指示所述从设备是否成功执行所述本次数据处理操作。

在一个实施例中，更新模块604，具体用于当所述触发指令包括的标志位指示所述从设备成功执行本次数据处理操作时，执行所述将所述管理器中的所述历史检查点标识更新为所述新检查点标识的步骤。

在一个实施例中，发送模块602，还用于当所述触发指令包括的标志位指示所述从设备未成功执行本次数据处理操作时，在预设时间间隔后将所述操作指令发送至所述从设备，或者将所述操作指令发送给其他从设备。

本发明实施例中，通过历史检查点标识可以便捷地获取到与本次数据处理操作关联增量数据，不需要获取与本次数据处理操作关联的全量数据，提高数据读取的效率，且该历史检查点标识由主设备的管理器存储并管理，不需要从设备管理历史检查点标识，降低从设备数据处理压力。

请参见图7，是本发明实施例提供一种从设备，该从设备包括：处理器701、输入接口702、输出接口703以及计算机存储介质704。

所述计算机存储介质704可以表示存储装置，包括易失性计算机存储介质(volatile memory)，例如随机存取计算机存储介质(random-access memory，RAM)；计算机存储介质也可以包括非易失性计算机存储介质(non-volatile memory)，例如快闪计算机存储介质(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；计算机存储介质704还可以包括上述种类的计算机存储介质的组合。

所述输入接口702可用于输入等待进行处理的待处理数据至处理器701。在一个实施例中，输入接口702可以包括多个独立的接口，例如以太网接口、LCD(Liquid CrystalDisplay，液晶显示器)接口等，分别负责不同外围设备向处理器701输入数据的通信。

所述输出接口703可用于输出数据至与从设备相连的外围设备，例如，向与从设备连接的主设备发送关于新检查点标识。输出接口703还可以包括多个独立的接口，例如以太网接口、camera接口等，负责处理器701向不同外围设备输出数据的通信。

在一个实施例中，输出接口703以及输入接口702可以是通用输入输出(GeneralPurpose Input Output，GPIO)接口。

所述处理器701可用于读取和执行计算机指令。在一个实施例中，处理器701还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(genericarray logic,GAL)或其任意组合。

所述计算机存储介质704可用于存储查询模板，还可用于存储一条或一条以上的程序指令；所述处理器701可以调用所述一条或一条以上的程序指令时能够执数据处理方法以实现获取增量数据，具体地，所述处理器701调用程序指令执行如下步骤：

确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据；

根据所述增量数据生成与所述增量数据对应的新检查点标识；

根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识。

可选的，所述历史检查点标识由所述主设备检测到数据处理操作时发送的，所述主设备根据所述本次数据处理操作的类型从所述主设备的管理器中获取的；其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识。

可选的，所述处理器701可以调用所述程序指令，执行如下步骤：

根据所述本次数据处理操作的类型调用查询模板；

将所述历史检查点标识输入到查询模板中，生成查询条件。

可选的，所述新检查点标识包括所述增量数据的偏移值、所述增量数据的编号、所述增量数据的端口号及所述增量数据的时间戳中的至少一种；所述增量数据的偏移值是指所述增量数据的存储地址与所述上次数据处理操作所获取的数据的存储地址之间的差值；所述增量数据的编号是指所述增量数据的编号中的最大编号；所述增量数据的端口号是指所述增量数据的端口号中的最大端口号；所述时间戳用于指示获取所述增量数据的时间。

可选的，所述处理器701可以调用所述程序指令，执行如下步骤：

按照预设数据处理规则对所述增量数据进行处理，得到有效增量数据，其中，所述预设数据处理规则包括过滤无效数据的规则，和/或格式处理规则和/或添加数据的规则；

将所述有效增量数据加载到数据仓库中。

本发明实施例中，通过历史检查点标识可以便捷地获取到与本次数据处理操作关联增量数据，不需要获取与本次数据处理操作关联的全量数据，提高数据读取的效率，且该历史检查点标识由主设备的管理器存储并管理，不需要从设备管理历史检查点标识，降低从设备数据处理压力。

请参见图8，是本发明实施例提供一种主设备，该主设备包括：处理器801、输入接口802、输出接口803以及计算机存储介质804。

所述计算机存储介质804可以表示存储装置，包括易失性计算机存储介质(volatile memory)，例如随机存取计算机存储介质(random-access memory，RAM)；计算机存储介质也可以包括非易失性计算机存储介质(non-volatile memory)，例如快闪计算机存储介质(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；计算机存储介质804还可以包括上述种类的计算机存储介质的组合。

所述输入接口802可用于输入等待进行处理的待处理数据至处理器801。在一个实施例中，输入接口802可以包括多个独立的接口，例如以太网接口、LCD(Liquid CrystalDisplay，液晶显示器)接口等，分别负责不同外围设备向处理器801输入数据的通信。

所述输出接口803可用于输出数据至与主设备相连的外围设备，例如，向与主设备连接的从设备发送关于数据处理操作指令。输出接口803还可以包括多个独立的接口，例如以太网接口、camera接口等，负责处理器801向不同外围设备输出数据的通信。

在一个实施例中，输出接口803以及输入接口802可以是通用输入输出(GeneralPurpose Input Output，GPIO)接口。

所述处理器801可用于读取和执行计算机指令。在一个实施例中，处理器801还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(genericarray logic,GAL)或其任意组合。

所述计算机存储介质804可用于历史检查点标识，还可用于存储一条或一条以上的程序指令；所述处理器801可以调用所述一条或一条以上的程序指令时能够执数据处理方法以实现获取增量数据，具体地，所述处理器801调用程序指令执行如下步骤：

当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

根据所述历史检查点标识生成操作指令，将所述操作指令发送至从设备，触发所述从设备根据所述操作指令执行所述本次数据处理操作；

接收所述从设备发送的触发指令，所述触发指令包括所述从设备执行本次数据处理操作所获取的增量数据的新检查点标识；

将所述管理器中的所述历史检查点标识更新为所述新检查点标识。

可选的，所述处理器801可以调用所述程序指令，执行如下步骤：

当所述触发指令包括的标志位指示所述从设备成功执行本次数据处理操作时，执行所述将所述管理器中的所述历史检查点标识更新为所述新检查点标识的步骤；

当所述触发指令包括的标志位指示所述从设备未成功执行本次数据处理操作时，在预设时间间隔后将所述操作指令发送至所述从设备，或者将所述操作指令发送给其他从设备。

本发明实施例中，通过历史检查点标识可以便捷地获取到与本次数据处理操作关联增量数据，不需要获取与本次数据处理操作关联的全量数据，提高数据读取的效率，且该历史检查点标识由主设备的管理器存储并管理，不需要从设备管理历史检查点标识，降低从设备数据处理压力。

以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (11)

1.一种数据处理方法，其特征在于，应用于从设备，包括：

确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据；

根据所述增量数据生成与所述增量数据对应的新检查点标识；

根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识。

2.如权利要求1所述的方法，其特征在于，

所述历史检查点标识由所述主设备检测到数据处理操作时，根据本次数据处理操作的类型从所述主设备的管理器中获取的；

其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识。

3.如权利要求1或2所述的方法，其特征在于，所述根据所述历史检查点标识生成查询条件，包括：

根据所述本次数据处理操作的类型调用查询模板；

将所述历史检查点标识输入到查询模板中，生成查询条件。

4.如权利要求3所述的方法，其特征在于，

所述新检查点标识包括所述增量数据的偏移值、所述增量数据的编号、所述增量数据的端口号及所述增量数据的时间戳中的至少一种；

所述增量数据的偏移值是指所述增量数据的存储地址与所述上次数据处理操作所获取的数据的存储地址之间的差值；

所述增量数据的编号是指所述增量数据的编号中的最大编号；

所述增量数据的端口号是指所述增量数据的端口号中的最大端口号；

所述时间戳用于指示获取所述增量数据的时间。

5.如权利要求1所述的方法，其特征在于，所述根据所述查询条件查询并获取本次数据处理操作的增量数据之后，还包括：

按照预设数据处理规则对所述增量数据进行处理，得到有效增量数据，其中，所述预设数据处理规则包括过滤无效数据的规则，和/或格式处理规则和/或添加数据的规则；

将所述有效增量数据加载到数据仓库中。

6.一种数据处理方法，其特征在于，应用于主设备，包括：

当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

根据所述历史检查点标识生成操作指令，将所述操作指令发送至从设备，触发所述从设备根据所述操作指令执行所述本次数据处理操作；

接收所述从设备发送的触发指令，所述触发指令包括所述从设备执行本次数据处理操作所获取的增量数据的新检查点标识；

将所述管理器中的所述历史检查点标识更新为所述新检查点标识。

7.如权利要求6所述的方法，其特征在于，所述触发指令还包括标志位，所述标志位用于指示所述从设备是否成功执行所述本次数据处理操作，所述方法还包括：

当所述触发指令包括的标志位指示所述从设备成功执行所述本次数据处理操作时，执行所述将所述管理器中的所述历史检查点标识更新为所述新检查点标识的步骤；

当所述触发指令包括的标志位指示所述从设备未成功执行所述本次数据处理操作时，在预设时间间隔后将所述操作指令发送至所述从设备，或者将所述操作指令发送给其他从设备。

8.一种数据处理装置，其特征在于，应用于从设备，包括：

确定模块，用于确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

查询模块，用于根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据；

所述确定模块，还用于根据所述增量数据生成与所述增量数据对应的新检查点标识；

发送模块，用于根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识。

9.一种数据处理装置，其特征在于，应用于主设备，包括：

获取模块，用于当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

发送模块，用于根据所述历史检查点标识生成操作指令，将所述操作指令发送至从设备，触发所述从设备根据所述操作指令执行所述本次数据处理操作；

接收模块，用于接收所述从设备发送的触发指令，所述触发指令包括所述从设备执行本次数据处理操作所获取的增量数据的新检查点标识；

更新模块，用于将所述管理器中的所述历史检查点标识更新为所述新检查点标识。

10.一种数据处理系统，其特征在于，包括：主设备及从设备；

所述主设备，用于当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；根据所述历史检查点标识生成操作指令，将所述操作指令发送至所述从设备；

所述从设备，用于根据所述操作指令中的历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据；根据所述增量数据生成与所述增量数据对应的新检查点标识；根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备；

所述主设备，还用于根据所述触发指令将所述历史检查点标识更新为所述新检查点标识。

11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序指令，该计算机程序指令被执行时，实现如权利要求1-7任一项所述的数据处理方法。

Images