CN116719617A - 基于数据库的分布式任务调度方法、装置、电子设备及计算机介质 - Google Patents

Abstract

本公开公开了一种基于数据库的分布式任务调度方法、装置、电子设备及计算机介质，方法包括：获取至少一个客户端的业务任务；基于所述业务任务对应的配置项，对所述业务任务进行任务调度；对所述任务调度进行监控，并基于所述任务调度的执行结果，执行业务报警。本公开实施例通过配置项实现对业务任务进行调度，同时满足业务任务及执行结果对应的报警需求。

Description

基于数据库的分布式任务调度方法、装置、电子设备及计算机 介质

技术领域

本公开属于数据处理技术领域，尤其涉及一种基于数据库的分布式任务调度方法、装置、电子设备及计算机介质。

背景技术

随着科学技术的发展，各种电子设备都会普遍安装各种软件，而当前软件的架构已经开始向分布式架构转变，将单体结构拆分为若干服务，服务之间通过网络交互来完成业务处理。在分布式架构下，一个服务往往会部署多个实例来运行我们的业务，如果在这种分布式系统环境下运行任务调度，我们称之为分布式任务调度。Quartz(开源项目)和elastic-job(分布式调度解决方案)是分布式人物执行的框架代表，均能提供任务在分布式环境下的定时执行能力。

quartz通过悲观锁的方式达到任务只在单一节点执行，在大量短时任务场景下，各节点频繁竞争锁，同一时间仅单一机器执行，无法进行水平拓展，性能浪费严重；elastic-job采用zookeeper(分布式应用程序协调服务软件)实现分布式协调，实现任务高可用以及分片，但引入的zookeeper和mesos(Apache下的开源分布式资源管理框架)增加系统复杂度，同时任务分配的配置能力弱，无法满足真实业务场景需要。

发明内容

本公开实施例提供一种与相关技术不同的实现方案，以解决调度框架任务竞争下调度性能下降、真实业务场景下自定义任务调度能力薄弱的技术问题。

第一方面，本公开提供一种基于数据库的分布式任务调度方法，包括：

获取至少一个客户端的业务任务；

基于所述业务任务对应的配置项，对所述业务任务进行任务调度；

对所述任务调度进行监控，并基于所述任务调度的执行结果，执行业务报警。

第二方面，本公开提供一种基于数据库的分布式任务调度装置，所述装置包括：

获取模块，用于获取至少一个客户端的业务任务；

调度模块，用于基于所述业务任务对应的配置项，对所述业务任务进行任务调度；

报警模块，用于对所述任务调度进行监控，并基于所述任务调度的执行结果，执行业务报警。

第三方面，本公开提供一种电子设备，包括：

处理器；以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面可能的实施方式中的任一方法。

第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面可能的实施方式中的任一方法。

第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面可能的实施方式中的任一方法。

通过本公开的基于数据库的分布式任务调度方法，获取至少一个客户端的业务任务，并基于所述业务任务对应的配置项，对所述业务任务进行任务调度。通过配置项实现对业务任务进行调度，有效提高了调度框架任务竞争下调度的性能，以及提高了真实业务场景下自定义任务调度的能力。然后对所述任务调度进行监控，并基于所述任务调度的执行结果，执行业务报警。通过对任务调度的监控，进而实现执行业务报警，满足了业务对应的报警需求。

附图说明

为了更清楚地说明本公开实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本公开一实施例提供的一种系统的结构示意图；

图2为本公开一实施例提供的一种基于数据库的分布式任务调度方法的流程示意图；

图3为本公开一实施例提供的一种基于数据库的分布式任务调度装置的结构示意图；

图4为本公开一实施例提供的电子设备的示意性框图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。

本公开实施例的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着科学技术的发展，各种电子设备都会普遍安装各种软件，而当前软件的架构已经开始向分布式架构转变，将单体结构拆分为若干服务，服务之间通过网络交互来完成业务处理。在分布式架构下，一个服务往往会部署多个实例来运行我们的业务，如果在这种分布式系统环境下运行任务调度，我们称之为分布式任务调度。Quartz(开源项目)和elastic-job是分布式人物执行的框架代表，均能提供任务在分布式环境下的定时执行能力。

quartz通过悲观锁的方式达到任务只在单一节点执行，在大量短时任务场景下，各节点频繁竞争锁，同一时间仅单一机器执行，无法进行水平拓展，性能浪费严重；elastic-job(分布式调度解决方案)采用zookeeper(分布式应用程序协调服务软件)实现分布式协调，实现任务高可用以及分片，但引入的zookeeper和mesos(Apache下的开源分布式资源管理框架)增加系统复杂度，同时任务分配的配置能力弱，无法满足真实业务场景需要。

本公开的技术方案主要应用在分布式系统等技术领域。

下面以具体的实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。

图1为本公开一示例性实施例提供的一种系统的结构示意图，该结构包括：客户端设备10、服务端设备20和管理端设备30。

其中，服务端设备20可以用于执行本申请中的基于数据库的分布式任务调度方法，具体地，可以用于执行以下步骤：获取至少一个客户端的业务任务；基于所述业务任务对应的配置项，对所述业务任务进行任务调度；对所述任务调度进行监控，并基于所述任务调度的执行结果，执行业务报警。

在一些实施例中，本客户端设备10和服务端设备20可根据业务需要进行分布式部署或非分布式部署。

在一些实施例中，客户端设备10负责业务任务的写入、具体任务业务逻辑的执行，服务端设备20负责任务的调度如按时、按频次调度及异常情况下的重试、机器重新分布调度等，管理端设备30提供任务调度配置的管理、更新能力。

使用本系统时，各业务系统即客户端设备10仅需要将各种业务任务写入到具体的任务表中，系统读取业务任务，根据业务任务对应的配置表配置进行具体任务的调度与执行。

在另一些实施例中，上述系统还可以只包括客户端设备10和服务端设备20，在该种情况下，服务端设备20可直接提供任务调度配置的管理、更新能力。

在一些实施例中，在调度系统中服务端设备20的自我管理能力：

业务线程的监控：守护线程固定间隔查看各任务线程状态，对于异常终止或暂停的调度任务线程进行重启并业务报警。

业务任务执行结果监控：通过双端阻塞队列，守护线程消费本实例的任务执行结果，对于执行失败、业务报错超过阈值的情况，进行业务报警；

实时接收配置更新事件：在配置管理端执行任务配置时，同时发送配置更新事件至服务端实例，各服务端实例守护线程解读新的任务配置，根据更新后的配置进行业务任务调度，如增加/缩减调度线程数量、任务启动/停止等。

本系统实施例中的各组成单元，如客户端设备10、服务端设备20和管理端设备30的执行原理或交互过程可参见如下各方法实施例的描述。

图2为本公开一示例性实施例提供的一种基于数据库的分布式任务调度方法的流程示意图，该方法可适用服务端。该方法包括S101-S103：

S101，获取至少一个客户端的业务任务。

在一些实施例中，客户端的业务任务通过任务调度线程读取，该任务调度线程主要指的是调用业务系统进行任务执行的线程。

S102，基于所述业务任务对应的配置项，对所述业务任务进行任务调度。

在一些实施例中，所述配置项包括服务维度、服务节点和任务项。

具体地，任务调度的具体执行依赖业务任务对应的任务配置，调度系统的配置项及提供的调度能力分为业务线/服务维度、服务节点、任务项。

在一些实施例中，所述基于所述业务任务对应的配置项，对所述业务任务进行任务调度，包括：

将所述业务任务的所述服务维度接入调度系统，并对所述业务任务的所述服务维度执行整体配置。

其中，所述整体配置包括所述业务任务的任务数据读取方式、任务分片数量、调度线程数量以及所有任务启停的控制条件，具体如表1所示：

表1为整体配置示意表。

在一些实施中，调度线程可以为5线程、10线程等。

在一些实施例中，将所述业务任务的所述服务节点与所述调度系统的机器节点进行第一配置。

其中，所述第一配置包括所述机器节点执行的业务任务类型、业务线ID、节点任务启停、节点占用的业务任务分片的配置，具体如表2：

表2为第一配置示意表。

在一些实施例中，按照节点配置IP调度的业务线可以包括业务线A、业务线B等。

在一些实施例中，不同实例执行不同的业务分片，可以分为0-10分片、10-20分片等。

在一些实施例中，所述任务项的所述配置项包括任务的启停策略、重试配置、失败策略、方法配置、灰度配置、任务的串联并联执行策略，具体如

表3：

表3为配置项示意表。

S103，对所述任务调度进行监控，并基于所述任务调度的执行结果，执行业务报警。

在一些实施例中，确定所述任务调度失败，且确定失败次数超过第一阈值时，执行业务报警；或确定所述任务调度的业务报错次数超过第二阈值时，执行业务报警。

具体实现时，在第一阈值为3的情况下，在任务调度失败的次数超过三次时，执行业务报警，在任务调度失败的次数不超过三次时，继续进行任务调度。

具体实现时，在第二阈值为3的情况下，任务调度的业务报错次数超过三次时，执行业务报警，任务调度的业务报错次数不超过三次时，继续进行任务调度。

在一些实施例中，获取更新后的所述配置项，基于更新后的所述配置项，对所述业务任务进行所述任务调度。

在一些实施例中，对所述任务调度进行监控时，确定是否存在异常或暂停的任务调度，若是，则执行重启并业务报警。

通过本公开的基于数据库的分布式任务调度方法，获取至少一个客户端的业务任务，并基于所述业务任务对应的配置项，对所述业务任务进行任务调度。通过配置项实现对业务任务进行调度，有效提高了调度框架任务竞争下调度的性能，以及提高了真实业务场景下自定义任务调度的能力。然后对所述任务调度进行监控，并基于所述任务调度的执行结果，执行业务报警。通过对任务调度的监控，进而实现执行业务报警，满足了业务对应的报警需求。

图3为本公开一示例性实施例提供的一种基于数据库的分布式任务调度装置的结构示意图，该结构包括：获取模块201、计算模块202和执行模块203。

获取模块201用于获取第一模型的输入信息，所述第一模型包括至少两个教师模型和学生模型；

计算模块202用于确定所述第一模型的预测结果，并基于损失函数和所述预测结果，计算所述教师模型和所述学生模型的中间层向量特征差异和所述预测结果差异；

执行模块203用于基于帕累托最优组合算法对所述中间层向量特征差异和所述预测结果差异进行组合优化，并将所述学生模型的所述预测结果作为第二模型的目标预测结果。

在一些实施例中，所述教师模型和所述学生模型的所述输入信息均包括浏览信息，所述浏览信息包括浏览时间、浏览文本内容、浏览频次以及浏览URL。

在一些实施例中，计算模块202还用于：对所述教师模型和所述学生模型的所述输入信息进行切片，得到所述教师模型的第一分块区间和所述学生模型的第二分块区间；分别对所述第一分块区间和所述第二分块区间进行分块信息融合，得到第一标签损失向量和第二标签损失向量。

在一些实施例中，计算模块202还用于：获取所述教师模型的第一中间层向量特征和所述第一标签损失向量，及获取所述学生模型的第二中间层向量特征和所述第二标签损失向量；采用均方误差损失函数，计算所述第一中间层向量特征和所述第二中间层向量特征的第一差异，及计算所述第一标签损失向量和所述第二标签损失向量的第二差异。

在一些实施例中，所述第一中间层向量特征和所述第二中间层向量特征均包括嵌入层向量特征和目标层向量特征。

在一些实施例中，执行模块203还用于：基于所述帕累托最优组合算法对所述中间层向量特征差异和所述预测结果差异进行组合优化，获取目标组合损失，所述目标组合损失包括多个。

本装置实施例中的各组成模块，如获取模块201、计算模块202和执行模块203的执行原理及交互过程可参见如上各方法实施例的描述。

通过本公开的基于数据库的分布式任务调度装置，获取至少两个教师模型和学生模型的输入信息，并确定预测结果，并基于损失函数和所述预测结果，计算所述教师模型和所述学生模型的中间层向量特征差异和所述预测结果差异，然后基于帕累托最优组合算法对所述中间层向量特征差异和所述预测结果差异进行组合优化，并将所述学生模型的所述预测结果作为第二模型的目标预测结果。通过帕累托最优组合算法优化中间层向量特征差异和预测结果差异，减少了学生模型预测结果和教师模型的差异。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，该装置可以执行上述方法实施例，并且该装置中的各个模块的前述和其它操作和/或功能分别为了上述方法实施例中的各个方法中的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本公开实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本公开实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本公开实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图4是本公开实施例提供的一种电子设备的示意性框图，该电子设备可包括：

存储器301和处理器302，该存储器301用于存储计算机程序，并将该程序代码传输给该处理器302。换言之，该处理器302可以从存储器301中调用并运行计算机程序，以实现本公开实施例中的方法。

例如，该处理器302可用于根据该计算机程序中的指令执行上述方法实施例。

在本公开的一些实施例中，该处理器302可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本公开的一些实施例中，该存储器301包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本公开的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器301中，并由该处理器302执行，以完成本公开提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。

如图4所示，该电子设备还可包括：

收发器303，该收发器303可连接至该处理器302或存储器301。

其中，处理器302可以控制该收发器303与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器303可以包括发射机和接收机。收发器303还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本公开实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本公开实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以该权利要求的保护范围为准。

Claims (10)

1.一种基于数据库的分布式任务调度方法，其特征在于，包括：

获取至少一个客户端的业务任务；

基于所述业务任务对应的配置项，对所述业务任务进行任务调度；

对所述任务调度进行监控，并基于所述任务调度的执行结果，执行业务报警。

2.根据权利要求1所述的基于数据库的分布式任务调度方法，其特征在于，所述配置项包括服务维度、服务节点和任务项，其中，所述基于所述业务任务对应的配置项，对所述业务任务进行任务调度，包括：

将所述业务任务的所述服务维度接入调度系统，并对所述业务任务的所述服务维度执行整体配置，其中所述整体配置包括所述业务任务的任务数据读取方式、任务分片数量、调度线程数量以及所有任务启停的控制条件。

3.根据权利要求2所述的基于数据库的分布式任务调度方法，其特征在于，还包括：

将所述业务任务的所述服务节点与所述调度系统的机器节点进行第一配置，其中，所述第一配置包括所述机器节点执行的业务任务类型、业务线ID、节点任务启停、节点占用的业务任务分片的配置。

4.根据权利要求2所述的基于数据库的分布式任务调度方法，其特征在于，所述任务项的所述配置项包括任务的启停策略、重试配置、失败策略、方法配置、灰度配置、任务的串联并联执行策略。

5.根据权利要求1所述的基于数据库的分布式任务调度方法，其特征在于，确定所述任务调度失败，且确定失败次数超过第一阈值时，执行业务报警；或确定所述任务调度的业务报错次数超过第二阈值时，执行业务报警。

6.根据权利要求1所述的基于数据库的分布式任务调度方法，其特征在于，还包括：获取更新后的所述配置项，基于更新后的所述配置项，对所述业务任务进行所述任务调度。

7.根据权利要求1所述的基于数据库的分布式任务调度方法，其特征在于，对所述任务调度进行监控时，确定是否存在异常或暂停的任务调度，若是，则执行重启并业务报警。

8.一种基于数据库的分布式任务调度装置，其特征在于，包括：

获取模块，用于获取至少一个客户端的业务任务；

调度模块，用于基于所述业务任务对应的配置项，对所述业务任务进行任务调度；

报警模块，用于对所述任务调度进行监控，并基于所述任务调度的执行结果，执行业务报警。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的基于数据库的分布式任务调度方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的基于数据库的分布式任务调度方法。