CN112416562A - 一种分布式任务调度引擎的方法及装置 - Google Patents

Abstract

本发明提供了一种分布式任务调度引擎的方法及装置，用于对原始数据进行处理，方法包括如下步骤：从原始数据中提取至少一份数据集合；其中，所述数据集合包括时间信息；获取并按照第一预设时间间隔，或预设时间点，以应用所述时间信息将所述数据集合分割为多个数据子集合；获取目标任务，根据所述数据子集合，并行处理所述目标任务。在第一步骤中，数据出现故障的可能性较低，装置稳定性较优。在第二步骤中，按照上述策略分割数据，进一步降低数据分割错误的概率，并且有较优地处理效率。通过第三步骤，进一步地保证了本方案的处理效率。由此，整体系统具有较优的稳定性与处理效率，可保证全天候的运行，按照7*24的模式，为用户提供服务。

Description

一种分布式任务调度引擎的方法及装置

技术领域

本发明涉及互联网技术，尤其是指一种分布式任务调度引擎的方法及装置。

背景技术

随着互联网技术的迅速发展，传统的金融业也融入了互联网技术，以实现线上办公。然而，金融业务一般只在交易日的工作时间才能开展，因此，为了给用户带来更好的用户体验，一些企业开始研发全天候服务的网上服务，在非工作日也可以接受用户的任务。

而要实现全天候服务的网上服务，需要对大量数据进行较优地处理。因此，有必要研究一种任务调度方案，以快速地实现业务的受理，从而提高用户体验。

发明内容

本发明所要解决的技术问题是：提供一种分布式任务调度引擎的方法及装置，可以实现快速调度任务，保障用户体验。

为了解决上述技术问题，本发明采用的技术方案为：提供一种分布式任务调度引擎的方法，用于对原始数据进行处理，包括如下步骤：

从原始数据中提取至少一份数据集合；其中，所述数据集合包括时间信息；

获取并按照第一预设时间间隔，和/或，预设时间点，以应用所述时间信息将所述数据集合分割为多个数据子集合；

根据所述数据集合，确定目标任务；

根据所述数据子集合，并行处理所述目标任务。

其中，所述目标任务为至少两个；所述根据所述数据集合，确定目标任务，还包括：

检测所述目标任务之间的依赖关系，制定所述目标任务的执行顺序，具体为，

检测并判断所述目标任务之间为同步数据处理任务或异步数据处理任务；

若所述目标任务之间为同步数据处理任务，则应用多个所述数据子集合，并行处理所述同步数据处理任务；

若所述目标任务之间为异步数据处理任务，则获取所述异步数据处理任务之间的数据依赖关系，并根据所述数据依赖关系确定所述目标任务的处理顺序。

进一步地，所述根据所述数据子集合，并行处理所述目标任务，包括：

分别应用多个所述数据子集合，根据所述目标任务的处理顺序，按照先入先出队列，完成所述目标任务。

其中，所述方法应用于分布式任务调度引擎的装置，所述分布式任务调度引擎的装置设有主节点及备用节点；

所述主节点及备用节点，均可用于根据所述数据子集合，并行处理所述目标任务的步骤，所述步骤具体包括：

所述备用节点通过心跳机制检测所述主节点，判断所述主节点是否正常运行；

若所述主节点正常运行，则应用所述主节点处理所述目标任务；

若所述主节点异常运行，则应用所述备用节点处理所述目标任务。

具体地，所述备用节点通过心跳机制检测所述主节点，判断所述主节点的运行状态，包括：

按照第二预设时间间隔，所述备用节点向所述主节点发送探测数据；

若获取所述探测数据的反馈信息，则所述主节点运行正常；

若多次获取所述探测数据的反馈信息失败，则所述主节点不可用。

进一步地，所述方法还包括：

根据所述目标任务之间的依赖关系，提取并记录所述数据子集合之间传递的数据类目。

其中，将所述数据集合分割为多个数据子集合，还包括：

根据预设方案，分割所述数据集合，具体为，

获取并根据数据集合中的编号信息，应用Hash取模的分片策略，将所述数据集合分割为多个数据子集合；和/或，

获取并按照数据集合中的分类标识，将所述数据集合分割为多个数据子集合。

优选地，所述方法还包括：应用心跳检测机制，监测使用所述方法的运行。

进一步地，所述方法用于对监控开户的视频内容进行质检，所述方法具体包括：

获取并根据数据集合中的客户编号信息，应用Hash取模分片策略，将所述开户的视频内容分割为多个视频片段；其中，所述客户编号信息与所述视频内容子集是相对应的；

根据所述监控开户的视频内容，确定第一目标任务、第二目标任务及第三目标任务；其中，所述第一目标任务，为清晰度检测任务；所述第二目标任务，为多人脸检测任务；所述第三目标任务，为视频质量评价任务；

判断并确定所述第一目标任务与所述第二目标任务为同步数据处理任务；所述第三目标任务对于所述第一目标任务及所述第二目标任务，为异步数据处理任务；

在应用多个视频片段，并行完成所述第一目标任务与所述第二目标任务后，根据所述第一目标任务及第二目标任务的结果，处理所述第三目标任务。

本申请第二方面提供一种分布式任务调度引擎的装置，用于对原始数据进行处理，包括：

数据提取模块，用于从原始数据中提取至少一份数据集合；其中，所述数据集合包括时间信息；

调度模块，用于按照预设时间间隔，和/或，预设时间点，以应用所述时间信息将所述数据集合分割为多个数据子集合；

任务处理模块，用于确定目标任务，根据所述数据子集合，并行处理所述目标任务。

本发明的有益效果在于：首先从数据库提取客户递交的原始数据，经过加载形成数据集合；在第一步骤中，数据出现故障的可能性较低，装置稳定性较优。接着，按照第一预设时间间隔，和/或，预设时间点的方式，将数据集合分割成为多个数据子集合；在第二步骤中，按照上述策略分割数据，进一步降低数据分割错误的概率，并且有较优地处理效率。最后，根据目标任务，使用多线程并行的方式，处理目标任务；通过第三步骤，进一步地保证了本方案的处理效率。由此，整体系统具有较优的稳定性与处理效率，可保证全天候的运行，按照7*24的模式，为用户提供服务。

附图说明

下面结合附图详述本发明的具体结构

图1为本发明第一实施例中的分布式任务调度引擎的方法的流程图；

图2为本发明第二实施例中的检测所述目标任务之间的依赖关系，制定所述目标任务的执行顺序的的流程图；

图3为本发明第三实施例中的备用节点通过心跳机制检测所述主节点，判断所述主节点的运行状态的流程图；

图4为本发明第一实施例中的分布式任务调度引擎的装置的结构框图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

请参阅图1，图1为本发明的分布式任务调度引擎的方法的第一实施例的流程图。本申请第一方面提供一种分布式任务调度引擎的方法，用于对原始数据进行处理，包括如下步骤：

步骤S100、从原始数据中提取至少一份数据集合；其中，所述数据集合包括时间信息；

步骤S200、获取并按照第一预设时间间隔，和/或，预设时间点，以应用所述时间信息将所述数据集合分割为多个数据子集合；

步骤S300、获取目标任务，根据所述数据子集合，并行处理所述目标任务。

本发明的方案中，首先从数据库提取客户递交的原始数据，经过加载形成数据集合；在第一步骤中，数据出现故障的可能性较低，装置稳定性较优。接着，按照第一预设时间间隔，和/或，预设时间点的方式，将数据集合分割成为多个数据子集合；在第二步骤中，按照上述策略分割数据，进一步降低数据分割错误的概率，并且有较优地处理效率。最后，根据目标任务，使用多线程并行的方式，处理目标任务；通过第三步骤，进一步地保证了本方案的处理效率。由此，整体系统具有较优的稳定性与处理效率，可保证全天候的运行，按照7*24的模式，为用户提供服务。

具体的，在一可选地实施例中，客户发起线上业务申请后生成任务受理单，任务受理单存储于本地存储，一般可采用Oracle，Mysql等关系型数据库，或者，在Redis等NoSql数据库中。其中，任务受理单就构成了原始数据。当从数据库中提取待处理的数据，则应用步骤S100、从原始数据中提取至少一份数据集合。其中，生成任务受理单后，会产生对应的所述时间信息。

上述的步骤S200中，含有三个可选地方案，表示为步骤S201、步骤S202步骤S203，具体如下：

步骤S201、按照第一预设时间间隔，将所述数据集合分割为多个数据子集合。在一个可选的实施例中，通过预先估计用户所提交的数据密度，设定多个第一预设时间间隔，按照某种规则，进行数据分割，以保证每个数据集中的数据量是相近的。在1h作为间隔的20份数据被传输之后，会以4h为时间间隔的传输2份数据。

在步骤S201的另一个可选的实施例中，第一预设时间间隔只有一个，以此降低第一预设数据间隔的估计难度。使用步骤S201，可以按照不同的策略，高效地应对大规模的数据，其灵活性较优。本实施例可以应用Timer模块实现。

步骤S202、按照预设时间点，将所述数据集合分割为多个数据子集合。在一个可选的实施例中，可以根据地区的实验数据、调查数据或者经过实践所调整的数据，确定用来分割的时间点。按照时间点进行分割的优势在于，更贴近于当地用户的使用习惯，适用于较为固定的时间段，也适用于数据量较少的情况。可以理解的是；在步骤S202中，在一些业务量较少的地区，可以在固定的日期进行数据提取。

步骤S203、按照第一预设时间间隔，和预设时间点，将所述数据集合分割为多个数据子集合。由此，具有上述步骤S201、步骤S202的优势。在一个具体的实施例中，因为某地在1:00～5:00区间段，办理业务的用户较少，所以，将1小时作为间隔的20份数据被传输之后，再以4小时为时间间隔的传输2份数据。在另一具体的实施例中，因为某地在12:00～14:00时间段，办理业务的用户较多，所以，可能会以0.5小时作为时间间隔。由此，本申请的配置策略具有较优的模式，具有较高的稳定性以及处理效率。

上述步骤S200中，还包括步骤S210、根据预设方案，分割数据集合，具体为：

步骤S211、获取并根据数据集合中的编号信息，应用Hash取模的分片策略，将所述数据集合分割为多个数据子集合；和/或，

步骤S212、获取并按照数据集合中的分类标识，将所述数据集合分割为多个数据子集合。

其中，使用步骤S211时，在Hash取模的分片策略中，可以是通过特定算法，对用户的IP地址或其他可识别的信息进行运算，根据运算的结果选择处理这一数据子集合的服务器。在一实施例中，对用户的IP地址进行除法运算，直到除法运算的结果与现有服务器的编号相对应。可以理解的是，本实施例中，可选择动态获取可用服务器的个数，以此保证整体运算的可行性，避免产生访问偏差。

其中，使用步骤S212时，需要在数据集合中，设定分类标识。该分类标识可以是用户办理业务的营业部设定的号码，也可以是某一范围内的流水号。

需要了解的是，步骤S211与步骤S212是可以相结合的。在一可选的实施例中，将步骤S211为第一个步骤，将步骤S212为第二个步骤，当通过步骤S211分配数据子集合失败后，再通过步骤S212将分配失败的数据再一次分配，以此增强系统的稳定性。

进一步地，所述目标任务为至少两个，基于此，步骤S200还包括，步骤S220、检测所述目标任务之间的依赖关系，制定所述目标任务的执行顺序，具体为，

步骤S221、检测并判断所述目标任务之间为同步数据处理任务或异步数据处理任务；

步骤S222、若所述目标任务之间为同步数据处理任务，则应用多个所述数据子集合，并行处理所述同步数据处理任务；

其中，互为同步数据处理任务，需要同步执行，一般采用线程池技术，同一类型的同步数据处理任务并行于线程池中，以此产生了较优的任务执行效率。

步骤S223、若所述目标任务之间为异步数据处理任务，则获取所述异步数据处理任务之间的数据依赖关系，并根据所述数据依赖关系确定所述目标任务的处理顺序。

其中，互为异步数据处理任务，需要异步执行，一般二者之间存在数据的依赖关系；一般地，完成一个任务后的输出，会构成另一个任务的输入，由此，形成异步数据处理任务。

进一步地，步骤S300、根据所述数据子集合，并行处理所述目标任务，包括：

步骤S310、分别应用多个所述数据子集合，根据所述目标任务的处理顺序，按照先入先出队列，完成所述目标任务。

其中，先入先出队列属于线性结构，会优先处理先输入进去的数据；相对于后入后出的模式，先入先出队列适合处理金融业务。需要了解的是，上述步骤一般运行于分布式任务调度引擎的装置中的一个节点之内，因此在进一步的技术方案中，所述方法应用于分布式任务调度引擎的装置，所述分布式任务调度引擎的装置设有主节点及备用节点，步骤S300还包括：

步骤S320、所述备用节点通过心跳机制检测所述主节点，判断所述主节点是否正常运行；

步骤S330、若所述主节点正常运行，则应用所述主节点处理所述目标任务；

步骤S340、若所述主节点异常运行，则应用所述备用节点处理所述目标任务。

由此，在正常状态下，在主节点之中，使用多个线程，并行处理目标任务，而主节点产生故障后，会通过心跳检测机制反馈到备用节点，由备用节点对这一数据进行处理。由此，进一步地提高整个系统的稳定性和可用性，防止由于主节点异常而导致整个系统任务执行阻塞。

需要了解的是，步骤S310是在节点内运行的，而步骤S320、步骤S330、步骤S340均属于节点之间的信息传输。

请参阅图3，图3为本发明第三实施例中的备用节点通过心跳机制检测所述主节点，判断所述主节点的运行状态的流程图；

其中，步骤S320、所述备用节点通过心跳机制检测所述主节点，判断所述主节点的运行状态，具体包括：

步骤S321、按照第二预设时间间隔，所述备用节点向所述主节点发送探测数据；

步骤S322、若获取所述探测数据的反馈信息，则所述主节点运行正常；

步骤S323、若多次获取所述探测数据的反馈信息失败，则所述主节点不可用。

在一具体实施例中，通过按照第二预设时间间隔，发送健康存活探测TCP请求数据包来进行检测，如果服务器任务主节点正常响应，并返回信息，表示正常运行状态，则代表主节点存活健康；否则代表主节点异常，连续3次异常就代表对应服务器任务节点不可用。

进一步地，所述方法还包括：步骤S400、根据所述目标任务之间的依赖关系，提取并记录数据子集合之间传递的数据类目。

需要了解的是，每个任务都涉及独立的上下文数据，在一实施例中，数据类目是用户数据，上下文数据在任务的驱动的过程中传递，而不同用户任务之间的上下文互不影响，任务完成后，形成的任务上下文数据可以用于任务的留痕保存。由此，可以对数据的传递关系进行把控，方便日后的数据维护。

进一步地，所述方法还包括：步骤S500、应用心跳检测机制，监测使用所述方法的运行。由此，通过心跳检测机制监控各个模块的存活情况，也可以统计各个子流程业务节点执行情况，某个组件异常时可以采用鸣笛，短信，邮件等策略通知给相关运维人员。

在一具体的实施例中，应用上述的部分实施例，所述方法用于对监控开户的视频内容进行质检。

需要了解的是，本实施例中的所述方法中，根据上述步骤S210、步骤S220、步骤S310形成如下方案，包括：

步骤S2100、获取并根据数据集合中的客户编号信息，应用Hash取模分片策略，将所述开户的视频内容分割为多个视频片段；其中，所述客户编号信息与所述视频内容子集是相对应的；

步骤S2201、根据所述监控开户的视频内容，确定第一目标任务、第二目标任务及第三目标任务；其中，所述第一目标任务，为清晰度检测任务；所述第二目标任务，为多人脸检测任务；所述第三目标任务，为视频质量评价任务；

步骤S2202、判断并确定所述第一目标任务与所述第二目标任务为同步数据处理任务；所述第三目标任务对于所述第一目标任务及所述第二目标任务，为异步数据处理任务；

步骤S3100、在应用多个视频片段，并行完成所述第一目标任务与所述第二目标任务后，根据所述第一目标任务及第二目标任务的结果，处理所述第三目标任务。

需要了解的是，证券行业网上开户业务需要进行双向视频见证和录制存档，由于监管要求，对在进行开户业务产生的视频影像文件必需保证其清晰度和视频过程中画面不能出现其他无关人员，因此要针对录制的视频影像进行质检。而使用传统的视频质检方案，其所消耗的人力物力巨大；而使用本申请的技术方案，则可以解决这一问题，以及其他相关问题。

为了说明证券行业网上开户业务的全流程，本申请从整个装置的执行流程进行描述，具体包括如下步骤：

步骤S1、响应于网上开户任务的视频质检指令，生成质检任务受理表单，并将所述质检任务受理表单存储于数据库中；

步骤S2、应用Timer组件，按照以1分钟为间隔，对第一步产生的质检任务受理表单进行提取；

步骤S3、初始化原有任务的上下文数据，并根据用户的客户号，按照Hash取模的策略，进行分布式分片调度执行；

步骤S4、根据客户号，对视频录制影像的画面，实施画面抽帧任务，形成视频帧图片；

步骤S5、根据所述视频帧图片，进行清晰度检测任务，以及多人脸检测任务；

步骤S6、获取评分阈值，并根据所述清晰度检测任务及多人脸检测任务的结果，生成视频质检评分报告。

步骤S7、进入待机状态。

由此，通过步骤S1～步骤S7，使用分布式的技术方案，提高了视频检测的处理效率。由此，整体装置具有较优的稳定性与处理效率，可保证全天候的运行，按照7*24的模式，为用户提供稳定而高效地服务。

请参阅图4，图4为本发明第一实施例中的分布式任务调度引擎的装置的结构框图。本申请第二方面提供一种分布式任务调度引擎的装置，用于对原始数据进行处理，包括：

数据提取模块100，用于从原始数据中提取至少一份数据集合；其中，所述数据集合包括时间信息；

调度模块200，用于按照预设时间间隔，和/或，预设时间点，以应用所述时间信息将所述数据集合分割为多个数据子集合；

任务处理模块300，用于确定目标任务，根据所述数据子集合，并行处理所述目标任务。

需要了解的是，上述模块仅为粗略划分的模块，模块内部的各个功能，是可以依靠多种单元的组合所形成的。从本质上来看，上述装置是作为上述方法的虚拟执行主体，用于承载上述方法。

本申请还提供了一种终端，其包括处理器、存储器和显示器，处理器耦接存储器与显示器，存储器上存储有可在处理器上执行的计算机程序；处理器执行计算机程序，

本发明还提供了一种存储介质，包括计算机程序，计算机程序被处理器加载并执行时，实现上述的方法中的步骤。

所述处理器可以是中央分析单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式任务调度引擎的方法，用于对原始数据进行处理，其特征在于，包括如下步骤：

从原始数据中提取至少一份数据集合；其中，所述数据集合包括时间信息；

获取并按照第一预设时间间隔，和/或，预设时间点，以应用所述时间信息将所述数据集合分割为多个数据子集合；

获取并确定目标任务，根据所述数据子集合，并行处理所述目标任务。

2.如权利要求1所述的分布式任务调度引擎的方法，其特征在于，所述目标任务为至少两个；所述根据所述数据集合，确定目标任务，还包括：

检测所述目标任务之间的依赖关系，制定所述目标任务的执行顺序，具体为，

检测并判断所述目标任务之间为同步数据处理任务或异步数据处理任务；

若所述目标任务之间为同步数据处理任务，则应用多个所述数据子集合，并行处理所述同步数据处理任务；

若所述目标任务之间为异步数据处理任务，则获取所述异步数据处理任务之间的数据依赖关系，并根据所述数据依赖关系确定所述目标任务的处理顺序。

3.如权利要求2所述的分布式任务调度引擎的方法，其特征在于，所述根据所述数据子集合，并行处理所述目标任务，包括：

分别应用多个所述数据子集合，根据所述目标任务的处理顺序，按照先入先出队列，完成所述目标任务。

4.如权利要求1～3任意一项所述的分布式任务调度引擎的方法，其特征在于，所述方法应用于分布式任务调度引擎的装置，所述分布式任务调度引擎的装置设有主节点及备用节点；

所述主节点及备用节点，均可用于根据所述数据子集合，并行处理所述目标任务的步骤，所述步骤具体包括：

所述备用节点通过心跳机制检测所述主节点，判断所述主节点是否正常运行；

若所述主节点正常运行，则应用所述主节点处理所述目标任务；

若所述主节点异常运行，则应用所述备用节点处理所述目标任务。

5.如权利要求4所述的分布式任务调度引擎的方法，其特征在于，所述备用节点通过心跳机制检测所述主节点，判断所述主节点的运行状态，具体包括：

按照第二预设时间间隔，所述备用节点向所述主节点发送探测数据；

若获取所述探测数据的反馈信息，则所述主节点运行正常；

若多次获取所述探测数据的反馈信息失败，则所述主节点不可用。

6.如权利要求2所述的分布式任务调度引擎的方法，其特征在于，所述方法还包括：

根据所述目标任务之间的依赖关系，提取并记录所述数据子集合之间传递的数据类目。

7.如权利要求1～3或6任意一项所述的分布式任务调度引擎的方法，其特征在于，将所述数据集合分割为多个数据子集合，还包括：

根据预设方案，分割所述数据集合，具体为，

获取并根据数据集合中的编号信息，应用Hash取模的分片策略，将所述数据集合分割为多个数据子集合；和/或，

获取并按照数据集合中的分类标识，将所述数据集合分割为多个数据子集合。

8.如权利要求1所述的分布式任务调度引擎的方法，其特征在于，所述方法还包括：应用心跳检测机制，监测使用所述方法的运行。

9.如权利要求2所述的分布式任务调度引擎的方法，其特征在于，所述方法用于对监控开户的视频内容进行质检，所述方法具体包括：

获取并根据数据集合中的客户编号信息，应用Hash取模分片策略，将所述开户的视频内容分割为多个视频片段；其中，所述客户编号信息与所述视频内容子集是相对应的；

根据所述监控开户的视频内容，确定第一目标任务、第二目标任务及第三目标任务；其中，所述第一目标任务，为清晰度检测任务；所述第二目标任务，为多人脸检测任务；所述第三目标任务，为视频质量评价任务；

判断并确定所述第一目标任务与所述第二目标任务为同步数据处理任务；所述第三目标任务对于所述第一目标任务及所述第二目标任务，为异步数据处理任务；

在应用多个视频片段，并行完成所述第一目标任务与所述第二目标任务后，根据所述第一目标任务及第二目标任务的结果，处理所述第三目标任务。

10.一种分布式任务调度引擎的装置，用于对原始数据进行处理，其特征在于，包括：

数据提取模块，用于从原始数据中提取至少一份数据集合；其中，所述数据集合包括时间信息；

调度模块，用于按照预设时间间隔，和/或，预设时间点，以应用所述时间信息将所述数据集合分割为多个数据子集合；

任务处理模块，用于确定目标任务，根据所述数据子集合，并行处理所述目标任务。

Images