CN116263773A - 数据清分方法及装置 - Google Patents

Abstract

本申请实施例公开了一种数据清分方法及装置。所述方法包括：根据预先建立的时间分片模型及当前时间，确定当前时间对应的目标时间分片单元；时间分片模型包括按照预设时间粒度划分的多个时间分片单元；根据预先建立的清分任务模型，判断目标时间分片单元是否符合预设清分条件；若目标时间分片单元符合预设清分条件，则生成目标时间分片单元对应的清分任务，并将清分任务下发至数据清分设备；数据清分设备用于根据所述清分任务进行数据清分。该技术方案提升了数据清分效率以及数据清分的灵活性，且能够避免数据清分设备压力过大的情况。

Description

数据清分方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据清分方法及装置。

背景技术

数据清分系统是一种常见的业务处理系统，在金融和通信等领域应用广泛。数据清分系统可以根据企业的业务需求，对大批量的企业数据进行扫描、分流和归类，并对分类后的数据进行转换、计算和统计等处理，以获得期望的业务数据。

现有技术中，通常是每天定时(如凌晨某一时刻)对前一天的业务数据进行清分处理，这种定时集中清分的方式清分时效长，导致单次清分压力大、清分效率低，且灵活性差。

发明内容

本申请实施例的目的是提供一种数据清分方法及装置，用以解决现有的数据清分方式不灵活、清分效率低以及单次清分压力大的问题。

为解决上述技术问题，本申请实施例是这样实现的：

一方面，本申请实施例提供一种数据清分方法，包括：

根据预先建立的时间分片模型及当前时间，确定所述当前时间对应的目标时间分片单元；所述时间分片模型包括按照预设时间粒度划分的多个时间分片单元；

根据预先建立的清分任务模型，判断所述目标时间分片单元是否符合预设清分条件；

若所述目标时间分片单元符合所述预设清分条件，则生成所述目标时间分片单元对应的清分任务，并将所述清分任务下发至数据清分设备；所述数据清分设备用于根据所述清分任务进行数据清分。

另一方面，本申请实施例提供一种数据清分装置，用于实现上述一方面中的数据清分方法。

再一方面，本申请实施例提供一种数据清分设备，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现上述一方面中的数据清分方法。

再一方面，本申请实施例提供一种存储介质，用于存储计算机程序，所述计算机程序在被处理器执行时以实现上述一方面中的数据清分方法。

采用本发明实施例的技术方案，通过根据预先建立的时间分片模型及当前时间，确定当前时间对应的目标时间分片单元，由于时间分片模型包括按照预设时间粒度划分的多个时间分片单元，因此能够将当前时间准确定位到对应的时间分片单元，从而按照时间分片单元进行数据清分，提升了数据清分效率以及数据清分的灵活性。并且，通过仅在目标时间分片单元符合预设清分条件的情况下才会将目标时间分片单元对应的清分任务下发至数据清分设备，避免了将所有清分任务全部下发而导致数据清分设备的清分任务过重、压力过大的情况，从而实现对数据清分设备而言更加合理的数据清分方式。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一实施例的一种数据清分方法的示意性流程图；

图2是根据本发明另一实施例的一种数据清分方法的示意性流程图；

图3是根据本发明一实施例的一种数据清分装置的示意性框图；

图4是根据本发明一实施例的一种数据清分设备的示意性框图。

具体实施方式

本申请实施例提供一种数据清分方法及装置，用以解决现有的数据清分方式不灵活、清分效率低以及单次清分压力大的问题。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1是根据本发明一实施例的一种数据清分方法的示意性流程图，如图1所示，该方法包括：

S102，根据预先建立的时间分片模型及当前时间，确定当前时间对应的目标时间分片单元，时间分片模型包括按照预设时间粒度划分的多个时间分片单元。

其中，预设时间粒度可根据数据清分系统的各项清分指标，如清分时效、单次最大清分时长、单次最大清分数据量等灵活设定。例如，预设时间粒度设定为20分钟，则时间分片模型中包括的每个时间分片单元的分片时长均为20分钟。

S104，根据预先建立的清分任务模型，判断目标时间分片单元是否符合预设清分条件。

其中，清分任务模型中可以预先配置判断规则，也可以预先配置衡量预设清分条件的判断标准，比如利用清分任务模型分析出目标时间分片单元对应的清分属性信息，进而基于清分属性信息判断目标时间分片单元是否符合预设清分条件。具体的判断方法将在以下实施例中详细说明。

S106，若目标时间分片单元符合预设清分条件，则生成目标时间分片单元对应的清分任务，并将目标时间分片单元对应的清分任务下发至数据清分设备，数据清分设备用于根据清分任务进行数据清分。

本实施例中，清分任务可包括批次号、清分库表、清分规则、用于筛选待清分数据的时间信息、清分启动时间、最大清分时长、单位时间内的最大清分量等信息中的至少一项。当数据清分设备接收到目标时间分片单元对应的清分任务之后，基于清分任务中携带的信息捞取待清分数据，进而对待清分数据进行清分。

采用本发明实施例的技术方案，通过根据预先建立的时间分片模型及当前时间，确定当前时间对应的目标时间分片单元，由于时间分片模型包括按照预设时间粒度划分的多个时间分片单元，因此能够将当前时间准确定位到对应的时间分片单元，从而按照时间分片单元进行数据清分，提升了数据清分效率以及数据清分的灵活性。并且，通过仅在目标时间分片单元符合预设清分条件的情况下才会将目标时间分片单元对应的清分任务下发至数据清分设备，避免了将所有清分任务全部下发而导致数据清分设备的清分任务过重、压力过大的情况，从而实现对数据清分设备而言更加合理的数据清分方式。

以下详细介绍上述实施例中的各个步骤的执行方式。

在一个实施例中，时间分片模型包括各时间分片单元及其分别对应的分片信息之间的映射关系。其中，分片信息包括分片标识、分片起始时间、分片终止时间、分片时长中的至少一项。基于时间分片模型的内容，时间分片模型可按照以下步骤A1-A3建立：

步骤A1，按照预设时间粒度将总时间段划分为多个时间分片单元。

其中，总时间段可以是一小时、一天、一个月、一年等时间段。以一小时为总时间段为例，假设预设时间粒度为20分钟，则可将总时间段(一小时)划分为00～20、20～40和40～60(分钟)3个时间分片单元，每个时间分片单元的分片时长即为预设时间粒度20分钟。

步骤A2，确定各时间分片单元分别对应的分片信息，即包括分片标识、分片起始时间、分片终止时间、分片时长中的至少一项。

其中，分片标识也可理解为每个时间分片单元的名称，分片标识具有唯一性，用于区分不同的时间分片单元。沿用上述举例，在划分后得到的时间分片单元00～20(分钟)中，00即为该时间分片单元的分片起始时间，20即为该时间分片单元的分片终止时间，分片时长即为预设时间粒度20分钟。

步骤A3，建立各时间分片单元以及对应的分片信息之间的映射关系，以生成时间分片模型。

在一个实施例中，各时间分片单元对应有分片起始时间和/或分片终止时间，那么与上述步骤A1-A3相对应，在建立时间分片模型时，首先按照预设时间粒度将总时间段划分为多个时间分片单元；然后确定各时间分片单元分别对应的分片起始时间和/或分片终止时间；进而建立各时间分片单元以及分片起始时间和/或分片终止时间之间的映射关系，以生成时间分片模型。

基于时间分片单元所具有的分片信息的不同，时间分片单元的表征方式也有所不同。以下列举几种不同的时间分片单元表征方式。

示例一，各时间分片单元对应有分片起始时间和分片标识，时间分片单元的表征方式为：分片起始时间|分片标识，并且各时间分片单元对应的时间段包含分片起始时间。

该示例一中，根据时间分片单元的表征方式，可确定出时间分片单元的分片终止时间，即，下一个时间分片单元的分片起始时间即为相邻的上一个时间分片单元的分片终止时间，且时间分片单元对应的时间段不包含分片终止时间。

假设总时间段为一小时，按照预设时间粒度20分钟划分后得到00～20、20～40和40～60(分钟)3个时间分片单元，则采用示例一的表征方式可将3个时间分片单元表征为：00|1，20|2，40|3。其中，00|1表示该时间分片单元的分片起始时间为00分钟(包含)，分片标识为1；20|2表示该时间分片单元的分片起始时间为20分钟(包含)，分片标识为2；40|3表示该时间分片单元的分片起始时间为40分钟(包含)，分片标识为3。此外，可确定出时间分片单元1的分片终止时间为20分钟(不包含)，时间分片单元2的分片终止时间为40分钟(不包含)，时间分片单元3的分片终止时间为60分钟(不包含)。

示例二，各时间分片单元对应有分片起始时间、分片终止时间和分片标识，时间分片单元的表征方式为：分片标识：[分片起始时间，分片终止时间)。可看出，时间分片单元对应的时间段包含分片起始时间，但不包含分片终止时间，即采用前开后闭的时间分片方式。需要说明的是，本实施例对时间分片方式并不作限定，如还可采用前闭后开的方式。

假设总时间段为一小时，按照预设时间粒度20分钟划分后得到00～20、20～40和40～60(分钟)3个时间分片单元，则采用示例二的表征方式可将3个时间分片单元表征为：1：[00，20)，2：[20，40)，3：[40，60)。其中，1：[00，20)表示该时间分片单元的分片标识为1，分片起始时间为00分钟(包含)，分片终止时间为20分钟(不包含)。2：[20，40)表示该时间分片单元的分片标识为2，分片起始时间为20分钟(包含)，分片终止时间为40分钟(不包含)。3：[40，60)表示该时间分片单元的分片标识为3，分片起始时间为40分钟(包含)，分片终止时间为60分钟(不包含)。

上述示例一和示例二的表征方式中，每一小时的总时间段对应的时间分片单元均相同。也就是说，无论拉取到哪一小时时间段的待清分数据，均可通过查询以一小时为总时间段所划分的时间分片单元，来确定待清分数据对应的第一时间分片单元。

当然，在另一实施例中，可针对不同的总时间段设定不同的预设时间粒度，即针对不同的总时间段采用不同的划分方式。因此，在时间分片模型中，个时间分片单元对应的分片信息中，还可包括时间分片单元所属的总时间段对应的时间段标识信息，该时间段标识信息可包括总时间段对应的起始时间、结束时间、总时间段时长等中的至少一项。以下举例说明。

示例三，各时间分片单元对应有所属总时间段对应的时间段标识信息、分片起始时间和分片标识，时间分片单元的表征方式为：时间段标识信息：分片起始时间|分片标识，并且各时间分片单元对应的时间段包含分片起始时间。

假设总时间段为一小时，不同总时间段对应的预设时间粒度不同，如第一总时间段8:00～9:00对应的预设时间粒度为20分钟，第二总时间段9:00～10:00对应的预设时间粒度为30分钟，等等。总时间段对应的时间段标识信息包括总时间段的起始时间和结束时间(前开后闭)。第一总时间段按照预设时间粒度20分钟划分后得到00～20、20～40和40～60(分钟)3个时间分片单元，第二总时间段按照预设时间粒度30分钟划分后得到00～30和30～60(分钟)2个时间分片单元，则采用示例三的表征方式可将划分后的时间分片单元表征为：

[8:00，9:00)：00|1，20|2，40|3；

[9:00，10:00)：00|1，30|2。

其中，“[8:00，9:00)：00|1，20|2，40|3”表示8:00～9:00时间段对应的时间分片单元为“00|1，20|2，40|3”，“[9:00，10:00)：00|1，30|2”表示9:00～10:00时间段对应的时间分片单元为“00|1，30|2”。各总时间段对应的时间分片单元的含义和上述示例一相同，此处不再赘述。

需要说明的是，示例三中仅是示意性地列举了8:00～9:00和9:00～10:00这两个总时间段的时间分片单元，实际应用中，可针对每个小时分别设置对应的预设时间粒度，从而针对每个小时分别划分对应的时间分片单元。当然，不同小时时段可对应相同的预设时间粒度和/或时间分片单元表征方式。除上述列举的总时间段为小时、预设时间粒度为分钟的情况之外，针对其他类总时间段以及预设时间粒度，时间分片单元的划分方式和上述实施例中类似，不再赘述。

在一个实施例中，可根据时间分片单元的表征方式不同，采取不同的方式确定当前时间对应的目标时间分片单元。例如，若各时间分片单元对应有分片起始时间和/或分片终止时间，则可将当前时间分别与各时间分片单元对应的分片起始时间和/或分片终止时间进行比对，进而根据比对结果，确定所述待清分数据对应的第一时间分片单元。以下基于上述实施例中列举的几种表征方式，分别说明对应的第一时间分片单元的确定方式。

若采用上述示例一的表征方式，即各时间分片单元对应有分片起始时间和分片标识。则可先根据各时间分片单元对应的分片起始时间确定出各时间分片单元的分片终止时间，然后将当前时间分别与各时间分片单元对应的分片起始时间和分片终止时间进行比对，进而根据比对结果，确定当前时间对应的目标时间分片单元。

例如，每个总时间段(一小时)被划分成的各时间分片单元均可表征为：00|1，20|2，40|3。通过该表征方式可确定出时间分片单元1的分片起始时间为00分钟，分片终止时间为20分钟；时间分片单元2的分片起始时间为20分钟，分片终止时间为40分钟；时间分片单元3的分片起始时间为40分钟，分片终止时间为60分钟。假设当前时间为8:30，则通过和各时间分片单元的分片起始时间和分片终止时间进行比对，可确定出当前时间对应的目标时间分片单元为时间分片单元2。

若采用上述示例二的表征方式，即各时间分片单元对应有分片起始时间、分片终止时间和分片标识。则可直接将当前时间分别与各时间分片单元对应的分片起始时间和分片终止时间进行比对，进而根据比对结果，确定当前时间对应的目标时间分片单元。

若采用上述示例三的表征方式，即各时间分片单元对应有所属总时间段对应的时间段标识信息、分片起始时间和分片标识。则首先将当前时间与时间段标识信息进行比对，以确定当前时间所属的总时间段；然后将当前时间和其所属的总时间段对应的各时间分片单元进行比对，根据该比对结果即可确定出当前时间对应的目标时间分片单元。

例如，8:00～10:00之间的每个总时间段(一小时)被划分成的各时间分片单元表征为：[8:00，9:00)：00|1，20|2，40|3；[9:00，10:00)：00|1，30|2。通过该表征方式可确定出，针对[8:00，9:00)时间段，时间分片单元1的分片起始时间为00分钟，分片终止时间为20分钟；时间分片单元2的分片起始时间为20分钟，分片终止时间为40分钟；时间分片单元3的分片起始时间为40分钟，分片终止时间为60分钟。针对[9:00，10:00)时间段，时间分片单元1的分片起始时间为00分钟，分片终止时间为30分钟；时间分片单元2的分片起始时间为30分钟，分片终止时间为60分钟。假设当前时间为8:30，则通过和时间段标识信息进行比对，确定出当前时间所属的总时间段为[8:00，9:00)，因此进一步将当前时间和[8:00，9:00)对应的各时间分片单元进行比对，确定出当前时间对应的目标时间分片单元为[8:00，9:00)对应的时间分片单元2。

由上述实施例可看出，通过按照预设时间粒度划分总时间段来建立时间分片模型，使得当前时间能够基于时间分片模型准确定位到其所属的时间分片单元，进而按照其所属的时间分片单元执行清分任务，从而提升了数据清分效率以及数据清分的灵活性。

在确定当前时间对应的目标时间分片单元之后，根据预先建立的清分任务模型，判断目标时间分片单元是否符合预设清分条件。下面详细说明服务器判断目标时间分片单元是否符合预设清分条件的几种实施方式。

在一个实施例中，清分任务模型包含禁用标识，预设清分条件包括：目标时间分片单元不包含禁用标识。基于此，在判断目标时间分片单元是否符合预设清分条件时，可判断目标时间分片单元是的标识是否为清分任务模型中的禁用标识，或者判断目标时间分片单元是否包含清分任务模型中的禁用标识。若是，则确定目标时间分片单元不符合预设清分条件；若否，则确定目标时间分片单元符合预设清分条件。

其中，禁用标识可用于标识不能执行清分任务的指定时间分片单元，该指定时间分片单元可包括用于执行与数据清分任务不同的其他任务的时间分片单元，例如，时间分片单元9:00～10:00用于执行与数据清分任务不同的其他任务(如汇总某时间段内的清分数据、统计某时间段内的清分数据等)，则该时间分片单元9:00～10:00即为指定时间分片单元，可针对9:00～10:00这一指定时间分片单元添加禁用标识，以确保在添加了禁用标识的指定时间分片单元不会执行清分任务。本实施例仅在目标时间分片单元不包含指定时间分片单元对应的禁用标识(即不属于指定时间分片单元)的情况下，才会下发目标时间分片单元对应的清分任务，以避免在目标时间分片单元执行清分任务时发生和其他任务相冲突的情况。

本实施例对于禁用标识的表征方式不做限定，只需为指定时间分片单元添加的禁用标识和清分任务模型中包括的禁用标识一致即可。例如，清分任务模型中规定(即包括)禁用标识为“*”，则不能执行清分任务的指定时间分片单元也应具有相同的禁用标识“*”。在判断目标时间分片单元是否符合预设清分条件时，可判断目标时间分片单元是否具有该禁用标识“*”，若是，则确定目标时间分片单元不符合预设清分条件；若否，则确定目标时间分片单元符合预设清分条件。

在一个实施例中，各时间分片单元对应有各自的清分属性信息，清分任务模型根据时间分片单元的分片信息(包括分片标识、分片起始时间、分片终止时间、分片时长中的至少一项)，即可确定出各时间分片单元对应清分属性信息。即，将时间分片单元的分片信息输入清分任务模型，使清分任务模型对分片信息进行分析，从而输出时间分片单元对应的清分属性信息。其中，清分属性信息包括批次号、清分库表、清分规则、用于筛选待清分数据的时间信息、清分启动时间、最大清分时长、单位时间内的最大清分量等信息中的至少一项。

在一个实施例中，清分任务模型可预先配置以下信息：各交易时间段对应的批次号、清分库表的分配规则、清分规则、用于筛选待清分数据的时间信息、清分启动时间和时间分片单元之间的关系、各时间分片单元的最大清分时长、各时间分片单元对应的单位时间内的最大清分量等。基于此，清分任务模型可确定出各时间分片单元对应的清分属性信息。

基于确定出的清分属性信息，在判断目标时间分片单元是否符合预设清分条件时，可先根据预先建立的清分任务模型，确定目标时间分片单元对应的清分属性信息，进而根据清分属性信息判断目标时间分片单元是否符合预设清分条件。根据清分属性信息的不同，目标时间分片单元是否符合预设清分条件的属性信息也有所不同，具体的判断方法将在以下实施例详细说明。此外，基于确定出的清分属性信息，还可根据清分属性信息生成清分任务。

在一个实施例中，清分属性信息包括用于筛选待清分数据的时间信息。在待清分数据为交易数据的场景中，可基于该时间信息，确定出交易数据对应的交易事件是否处理完成。可选地，通过为交易数据添加标签信息来标识交易数据对应的交易事件是否处理完成，例如，标签信息可包括交易终态和交易进行中等。如果为交易数据添加了标签信息“交易终态”，则说明该交易数据对应的交易事件已处理完成；如果为交易数据添加了标签信息“交易进行中”，则说明该交易数据对应的交易事件未处理完成。

本实施例中，预设清分条件可包括：用于筛选待清分数据的时间信息对应的交易数据被标记为“交易终态”。基于此，在判断目标时间分片单元是否符合预设清分条件时，可先确定目标时间分片单元对应的清分属性信息中，用于筛选待清分数据的时间信息对应的交易数据是否被标记为“交易终态”，若是，则确定交易数据对应的交易事件已处理完成，并确定目标时间分片单元符合预设清分条件；若否，则确定交易数据对应的交易事件未处理完成，并确定目标时间分片单元不符合预设清分条件。

在另一实施例中，针对交易数据所添加的标签信息并不局限于交易终态、交易进行中，其还可以是其他任意能够表征交易处理状态的信息，比如成功态、失败态和等待态。成功态可用于表明交易数据对应的交易事件已成功处理完成；等待态可用于表明交易数据对应的交易事件正在处理中；失败态可用于表明交易数据对应的交易事件未处理成功。标签信息并非是一成不变，而是可根据事件处理进度进行实时更新，比如，当某一时间分片单元对应的交易事件正在处理中时，该交易事件对应的交易数据的标签信息为等待态；当该时间分片单元的交易事件处理完成时，该交易事件对应的交易数据的标签信息则会更新为成功态。当然，成功态、失败态和等待态也仅是一种可行的标识方式，在实际场景中，还可采用其他状态标识来表明交易事件的当前处理状态。

上述实施例中，仅在交易数据对应的交易事件已处理完成时，如用于筛选待清分数据的时间信息对应的交易数据被标记为交易终态、或者其他用于标识交易时间已处理完成的标签信息时，才会确定目标时间分片单元符合预设清分条件，进而才会生成并下发对应的清分任务，避免在交易事件尚未处理完成时进行清分而导致清分不准确的情况，从而提升了数据清分的准确性。

在一个实施例中，清分属性信息包括清分启动时间和最大清分时长，利用清分启动时间和最大清分时长可计算出目标时间分片单元对应的清分时间区间。预设清分条件包括：目标时间分片单元对应的(即本次计算出的)清分时间区间与任一个已计算出的其他清分时间区间之间不重叠。基于此，在判断目标时间分片单元是否符合预设清分条件，先根据清分启动时间和最大清分时长可计算出目标时间分片单元对应的清分时间区间，进而判断该清分时间区间是否与任一个已计算出的其他清分时间区间重叠，若有重叠，则确定目标时间分片单元不符合预设清分条件；若没有重叠，则确定目标时间分片单元符合预设清分条件。

本实施例中，目标时间分片单元对应的清分时间区间与任一个已计算出的其他清分时间区间之间不重叠，可使不同的时间分片单元不并行执行清分任务。通过将不同时间分片单元的清分任务隔离开，不仅能够减轻数据清分设备的清分压力，还能够避免并行执行清分任务时容易出错的情况，确保了数据清分的准确性。

在一个实施例中，清分属性信息包括单位时间内的最大清分量。预设清分条件包括：单位时间内的最大清分量小于或等于数据清分设备在单位时间内的数据写入阈值。在判断目标时间分片单元是否符合预设清分条件，可先确定目标时间分片单元对应的单位时间内的最大清分量，以及数据清分设备在单位时间内的数据写入阈值，进而将二者进行比对，以判断目标时间分片单元对应的单位时间内的最大清分量是否小于或等于数据清分设备在单位时间内的数据写入阈值，若是，则确定目标时间分片单元符合预设清分条件；若否，则确定目标时间分片单元不符合预设清分条件。本实施例中，仅在目标时间分片单元对应的单位时间内的最大清分量是否小于或等于数据清分设备在单位时间内的数据写入阈值时，才会生成并下发清分任务，从而能够避免数据清分设备的清分压力过大的情况，确保数据清分设备的清分压力维持在适当范围内，进一步确保数据清分的效率。

图2是根据本发明另一实施例的一种数据清分方法的示意性流程图，如图2所示，该方法包括：

S201，服务器根据预先建立的时间分片模型及当前时间，确定当前时间对应的目标时间分片单元。

其中，时间分片模型包括按照预设时间粒度划分的多个时间分片单元及其分别对应的分片信息之间的映射关系。其中，分片信息包括分片标识、分片起始时间、分片终止时间、分片时长中的至少一项。时间分片模型的建立方法、以及如何根据时间分片模型确定当前时间对应的目标时间分片单元均已在上述实施例中详细说明，此处不再赘述。

S202，服务器判断目标时间分片单元的标识是否为清分任务模型中包括的禁用标识。若是，则执行S209；若否，则执行S203。

其中，禁用标识可用于标识不能执行清分任务的指定时间分片单元，该指定时间分片单元可包括用于执行与数据清分任务不同的其他任务的时间分片单元，例如，时间分片单元9:00～10:00用于执行与数据清分任务不同的其他任务(如汇总某时间段内的清分数据、统计某时间段内的清分数据等)，则该时间分片单元9:00～10:00即为指定时间分片单元，可针对9:00～10:00这一指定时间分片单元添加禁用标识，以确保在添加了禁用标识的指定时间分片单元不会执行清分任务。为避免目标时间分片单元和用于执行其他任务的指定时间分片单元发生冲突，因此在下发清分任务之前，需根据目标时间分片单元的标识判断目标时间分片单元是否为指定时间分片单元。

S203，服务器利用清分任务模型，确定目标时间分片单元对应的清分属性信息。

其中，清分属性信息包括批次号、清分库表、清分规则、用于筛选待清分数据的时间信息、清分启动时间、最大清分时长、单位时间内的最大清分量等信息中的至少一项。

在确定清分属性信息之后，可利用清分属性信息中的一项或多项信息判断目标时间分片单元是否符合预设清分条件，一种可行的实施方式如下述步骤S204-S206。

S204，服务器判断用于筛选待清分数据的时间信息对应的交易数据是否被标记为交易终态。若是，则执行S205；若否，则执行S209。

其中，通过为交易数据添加标签信息来标识交易数据对应的交易事件是否处理完成，例如，标签信息可包括交易终态和交易进行中等。如果为交易数据添加了标签信息“交易终态”，则说明该交易数据对应的交易事件已处理完成；如果为交易数据添加了标签信息“交易进行中”，则说明该交易数据对应的交易事件未处理完成。

S205，服务器根据清分启动时间和最大清分时长计算出清分时间区间，并判断该清分时间区间是否与任一个已计算出的其他清分时间区间重叠；若否，则执行S206；若是，则执行S209。

S206，服务器判断单位时间内的最大清分量是否大于数据清分设备在所述单位时间内的数据写入阈值；若否，则执行S207；若是，则执行S209。

S207，服务器确定目标时间分片单元符合预设清分条件，并生成目标时间分片单元对应的清分任务，将清分任务下发至数据清分设备。

S208，数据清分设备接收清分任务，根据清分任务中携带的信息捞取待清分数据，并对待清分数据进行清分。

S209，服务器确定目标时间分片单元不符合预设清分条件，此时不下发目标时间分片单元对应的清分任务。

需要说明的是，本实施例对于判断待清分数据是否符合预设清分条件的各步骤(S202～S206)，并不限定各步骤之间的先后执行顺序，本实施例仅是示意性地列举了其中一种可选方式。

举例而言，假设每5分钟执行一次预清分，时间粒度即为5分钟，时间分片模型包括00|1、05|2、10|3……等多个时间分片单元。服务器可通过定时中间件(如定时器)进行计时，从而实现每5分钟启动一次预清分。

在当前时间为9点05分时，启动预清分，根据时间分片模型可确定当前时间对应的目标时间分片单元为05|2。然后利用清分任务模型判断目标时间分片单元是否符合预设清分条件。一种可选的判断方式如下：首先利用清分任务模型中包括的禁用标识，假设该禁用标识为“*”，判断目标时间分片单元05|2是否被添加了禁用标识“*”，若没有，则进一步利用清分任务模型确定目标时间分片单元05|2的清分属性信息，包括以下信息：

a、批次号；假设批次号基于目标时间分片单元对应的交易时间段确定，假设目标时间分片单元05|2对应的交易时间段为8～9点之间，则对应的批次号可以是09。

b、清分库表；清分任务模型中预先配置有清分库表的分配规则。

c、清分规则；清分任务模型中预先配置有清分规则。

d、用于筛选待清分数据的时间信息；例如，用于筛选待清分数据的时间信息为20分钟之前的时间段，则根据该时间信息可确定，待清分数据即为位于当前时间20分钟之前所产生的交易数据，即8点45分之前所产生的交易数据。

e、清分启动时间；清分任务模型中可预先配置清分启动时间和目标时间分片单元之间的关系，例如，清分启动时间为目标时间分片单元的起始时间之后的10秒，即9点05分10秒。

f、最大清分时长；为避免目标时间分片单元对应的清分时间区间与其他清分时间区间有重叠，最大清分时长应小于或等于时间粒度，如时间粒度为5分钟，则最大清分时长可以是4分钟。

g、单位时间内的最大清分量；假设目标时间分片单元05|2对应的该最大清分量为5200(单位可以是bit等)。

基于上述清分属性信息中的至少一项信息，判断目标时间分片单元是否符合预设清分条件。详细的判断方法已在上述实施例中详细说明，此处不再赘述。假设判断结果为目标时间分片单元符合预设清分条件，则根据上述清分属性信息生成的清分任务示例如下：

生成上述清分任务后，可将清分任务下发至数据清分设备，数据清分设备根据清分任务中携带的信息捞取待清分数据，本实施例中，数据清分设备捞取8点45分之前所产生的交易数据作为待清分数据，进而对待清分数据进行清分。

可见，采用本实施例提供的技术方案，通过根据预先建立的时间分片模型及当前时间，确定当前时间对应的目标时间分片单元，由于时间分片模型包括按照预设时间粒度划分的多个时间分片单元，因此能够将当前时间准确定位到对应的时间分片单元，从而按照时间分片单元对待清分数据进行清分，提升了数据清分效率以及数据清分的灵活性。并且，通过仅在目标时间分片单元符合预设清分条件的情况下才会将目标时间分片单元对应的清分任务下发至数据清分设备，避免了将所有清分任务全部下发而导致数据清分设备的清分任务过重、压力过大的情况，从而实现对数据清分设备而言更加合理的数据清分方式。

进一步的，本实施例中通过合理设定用于判断是否下发目标时间分片单元对应的清分任务的下发规则，使得仅在目标时间分片单元不为执行特殊任务的指定时间分片单元(即目标时间分片单元的标识不为禁用标识)、待清分数据对应的交易事件已全部处理完成、目标时间分片单元的清分时间区间与任一个已计算出的其他清分时间区间不重叠、且单位时间内的最大清分量小于或等于数据清分设备在单位时间内的数据写入阈值时，才会确定目标时间分片单元符合预设清分条件。从而避免目标时间分片单元对应的清分任务和特殊任务相冲突，以及确保数据清分设备的压力控制在合理范围内，进而确保数据清分效率。

综上，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

以上为本申请实施例提供的数据清分方法，基于同样的思路，本申请实施例还提供一种数据清分装置。

图3是根据本发明一实施例的一种数据清分方法的示意性流程图，如图3所示，数据清分装置包括：

第一确定模块310，用于根据预先建立的时间分片模型及当前时间，确定所述当前时间对应的目标时间分片单元；所述时间分片模型包括按照预设时间粒度划分的多个时间分片单元；

判断模块320，用于根据预先建立的清分任务模型，判断所述目标时间分片单元是否符合预设清分条件；

下发模块330，用于若所述目标时间分片单元符合所述预设清分条件，则生成所述目标时间分片单元对应的清分任务，并将所述清分任务下发至数据清分设备；所述数据清分设备用于根据所述清分任务进行数据清分。

在一个实施例中，所述时间分片模型包括各所述时间分片单元及其分别对应的分片标识、分片起始时间、分片终止时间、分片时长中的至少一项之间的映射关系。

在一个实施例中，所述各所述时间分片单元对应有所述分片起始时间和/或所述分片终止时间；

所述装置还包括：

划分模块，用于在所述获取待清分数据对应的第一任务信息之前，按照所述预设时间粒度，将总时间段划分为多个所述时间分片单元；

第二确定模块，用于确定各所述时间分片单元分别对应的所述分片起始时间和/或所述分片终止时间；

模型生成模块，用于建立各所述时间分片单元以及所述分片起始时间和/或所述分片终止时间之间的映射关系，以生成所述时间分片模型。

在一个实施例中，所述第一确定模块310包括：

比对单元，用于将所述当前时间分别与各所述时间分片单元对应的所述分片起始时间和/或所述分片终止时间进行比对；

第一确定单元，用于根据比对结果，确定所述当前时间对应的所述目标时间分片单元。

在一个实施例中，所述清分任务模型包含禁用标识；

所述判断模块320包括：

第二确定单元，用于若所述目标时间分片单元的标识为禁用标识，则确定所述目标时间分片单元不符合所述预设清分条件。

在一个实施例中，所述判断模块320包括：

第三确定单元，用于根据所述清分任务模型，确定所述目标时间分片单元对应的清分属性信息；根据所述清分属性信息，判断所述目标时间分片单元是否符合所述预设清分条件；

所述下发模块330包括：

生成单元，用于根据所述清分属性信息生成所述清分任务。

在一个实施例中，所述清分属性信息包括：清分启动时间和最大清分时长；

所述判断模块320包括：

第四确定单元，用于根据所述清分启动时间和所述清分最大时长计算清分时间区间，若本次计算出的清分时间区间与任一个已计算出的其他清分时间区间重叠，则所述目标时间分片单元不符合所述预设清分条件。

在一个实施例中，所述清分属性信息包括：用于筛选待清分数据的时间信息；

所述判断模块320包括：

第五确定单元，用于若所述时间信息对应的交易数据未标记为交易终态，则所述目标时间分片单元不符合所述预设清分条件。

在一个实施例中，所述清分属性信息包括：

单位时间内的最大清分量；

所述判断模块320包括：

第六确定单元，用于若所述单位时间内的最大清分量大于所述数据清分设备在所述单位时间内的数据写入阈值，则所述目标时间分片单元不符合所述预设清分条件。

采用本实施例提供的装置，通过根据预先建立的时间分片模型及当前时间，确定当前时间对应的目标时间分片单元，由于时间分片模型包括按照预设时间粒度划分的多个时间分片单元，因此能够将当前时间准确定位到对应的时间分片单元，从而按照时间分片单元进行数据清分，提升了数据清分效率以及数据清分的灵活性。并且，通过仅在目标时间分片单元符合预设清分条件的情况下才会将目标时间分片单元对应的清分任务下发至数据清分设备，避免了将所有清分任务全部下发而导致数据清分设备的清分任务过重、压力过大的情况，从而实现对数据清分设备而言更加合理的数据清分方式。

本领域的技术人员应可理解，图3中的数据清分装置能够用来实现前文所述的数据清分方法，其中的细节描述应与前文方法部分描述类似，为避免繁琐，此处不另赘述。

基于同样的思路，本申请实施例还提供一种数据清分设备，如图4所示。数据清分设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器401和存储器402，存储器402中可以存储有一个或一个以上存储应用程序或数据。其中，存储器402可以是短暂存储或持久存储。存储在存储器402的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对数据清分设备中的一系列计算机可执行指令。更进一步地，处理器401可以设置为与存储器402通信，在数据清分设备上执行存储器402中的一系列计算机可执行指令。数据清分设备还可以包括一个或一个以上电源403，一个或一个以上有线或无线网络接口404，一个或一个以上输入输出接口405，一个或一个以上键盘406。

具体在本实施例中，数据清分设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对数据清分设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

根据预先建立的时间分片模型及当前时间，确定所述当前时间对应的目标时间分片单元；所述时间分片模型包括按照预设时间粒度划分的多个时间分片单元；

根据预先建立的清分任务模型，判断所述目标时间分片单元是否符合预设清分条件；

若所述目标时间分片单元符合所述预设清分条件，生成所述目标时间分片单元对应的清分任务，并将所述清分任务下发至数据清分设备；所述数据清分设备用于根据所述清分任务进行数据清分。

本申请实施例还提出了一种存储介质，该存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行上述一种数据清分方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种数据清分方法，其特征在于，包括：

根据预先建立的时间分片模型及当前时间，确定所述当前时间对应的目标时间分片单元；所述时间分片模型包括按照预设时间粒度划分的多个时间分片单元；

根据预先建立的清分任务模型，判断所述目标时间分片单元是否符合预设清分条件；

若所述目标时间分片单元符合所述预设清分条件，则生成所述目标时间分片单元对应的清分任务，并将所述清分任务下发至数据清分设备；所述数据清分设备用于根据所述清分任务进行数据清分。

2.根据权利要求1所述的方法，其特征在于，所述时间分片模型包括各所述时间分片单元及其分别对应的分片标识、分片起始时间、分片终止时间、分片时长中的至少一项之间的映射关系。

3.根据权利要求2所述的方法，其特征在于，各所述时间分片单元对应有所述分片起始时间和/或所述分片终止时间；

所述方法还包括：

按照所述预设时间粒度，将总时间段划分为多个所述时间分片单元；

确定各所述时间分片单元分别对应的所述分片起始时间和/或所述分片终止时间；

建立各所述时间分片单元以及所述分片起始时间和/或所述分片终止时间之间的映射关系，以生成所述时间分片模型。

4.根据权利要求3所述的方法，其特征在于，所述根据预先建立的时间分片模型及当前时间，确定所述当前时间对应的目标时间分片单元，包括：

将所述当前时间分别与各所述时间分片单元对应的所述分片起始时间和/或所述分片终止时间进行比对；

根据比对结果，确定所述当前时间对应的所述目标时间分片单元。

5.根据权利要求1所述的方法，其特征在于，所述清分任务模型包含禁用标识；

所述根据预先建立的清分任务模型，判断所述目标时间分片单元是否符合预设清分条件，包括：

若所述目标时间分片单元的标识为禁用标识，则所述目标时间分片单元不符合所述预设清分条件。

6.根据权利要求1所述的方法，其特征在于，所述根据预先建立的清分任务模型，判断所述目标时间分片单元是否符合预设清分条件，包括：

根据所述清分任务模型，确定所述目标时间分片单元对应的清分属性信息；根据所述清分属性信息，判断所述目标时间分片单元是否符合所述预设清分条件；

所述生成所述目标时间分片单元对应的清分任务，包括：

根据所述清分属性信息生成所述清分任务。

7.根据权利要求6所述的方法，其特征在于，所述清分属性信息包括：清分启动时间和最大清分时长；

所述判断所述目标时间分片单元是否符合所述预设清分条件，包括：

根据所述清分启动时间和所述清分最大时长计算清分时间区间，若本次计算出的清分时间区间与任一个已计算出的其他清分时间区间重叠，则所述目标时间分片单元不符合所述预设清分条件。

8.据权利要求6所述的方法，其特征在于，所述清分属性信息包括：用于筛选待清分数据的时间信息；

所述判断所述目标时间分片单元是否符合所述预设清分条件，包括：

若所述时间信息对应的交易数据未标记为交易终态，则所述目标时间分片单元不符合所述预设清分条件。

9.据权利要求6所述的方法，其特征在于，所述清分属性信息包括：单位时间内的最大清分量；

所述判断所述目标时间分片单元是否符合所述预设清分条件，包括：

若所述单位时间内的最大清分量大于所述数据清分设备在所述单位时间内的数据写入阈值，则所述目标时间分片单元不符合所述预设清分条件。

10.一种数据清分装置，其特征在于，用于实现根据权利要求1～9中任一项所述的方法。

11.一种数据清分设备，其特征在于，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现如权利要求1～9中任一项所述的方法。

12.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，所述计算机程序在被处理器执行时以实现如权利要求1～9中任一项所述的方法。

Images