CN111984393A - 分布式大规模实时数据调度引擎系统及其数据调度方法 - Google Patents

Abstract

本申请公开了一种分布式大规模实时数据调度引擎系统及其数据调度方法，该数据调度引擎系统包括：任务管理模块、监控模块以及任务调度引擎；其中，任务管理模块，用于将数据调度任务以及路由规则数据下发到任务调度引擎；任务调度引擎，用于基于路由规则数据开启数据调度任务，并按照数据调度任务实时消费数据调度任务的业务数据；监控模块，用于监控任务调度引擎实时消费的业务数据流量，并上报到任务管理模块；任务管理模块，还用于根据业务数据流量实时调整任务调度引擎中数据接入单元和/或任务执行器的数量。上述方案，数据调度引擎系统配置数据接入单元和任务执行器两个维度的配置调度策略，保证了服务高可用性以及数据调度的实时性。

Description

分布式大规模实时数据调度引擎系统及其数据调度方法

技术领域

本申请涉及数据处理技术领域，特别是涉及一种分布式大规模实时数据调度引擎系统及其数据调度方法。

背景技术

近年来，在网络、大数据、云计算、芯片、算法等基础能力技术的助推下，随着物联网、大数据分析、人工智能等技术和应用的不断成熟，特别是计算机视觉、视频结构化分析、视频图像深度学习等人工智能技术的引入，在平安城市、智能交通、雪亮工程等不断开展和深入过程中，以视频监控为核心代表的行业发展正朝着超高清、智能化和融合应用的方向迈进。系统性工程中现有视频监控系统数据采集量正在呈现线性增长，尤其是物联网建设初露峥嵘。

海量数据的出现对高效、及时的调度和处理的要求不断提升，并冲击着传统的视频数据调度系统，遗憾的是现有的数据调度系统无法满足大数据时代提出的新要求，亟需新的分布式数据调度技术支撑现有复杂多样的业务模式，提高数据处理的实时性，同时为人工智能技术在安防领域施展拳脚拓展新的空间。

发明内容

本申请至少提供一种分布式大规模实时数据调度引擎系统及其数据调度方法。

本申请第一方面提供了一种分布式大规模实时数据调度引擎系统，所述数据调度引擎系统包括：任务管理模块、监控模块以及任务调度引擎；各模块在所述任务管理模块的协调下运作，实现数据流在各模块之间的调度、流转；

其中，所述任务管理模块，用于将数据调度任务以及路由规则数据下发到所述任务调度引擎；

所述任务调度引擎，用于基于所述路由规则数据开启所述数据调度任务，并按照所述数据调度任务实时消费所述数据调度任务的业务数据；

所述监控模块，用于监控所述任务调度引擎实时消费的业务数据流量，并上报到所述任务管理模块；

所述任务管理模块，还用于根据所述业务数据流量实时调整所述任务调度引擎中数据接入单元和/或任务执行器的数量。

其中，所述数据调度引擎系统还包括路由管理模块，所述路由管理模块，用于接收所述任务管理模块下发的所述路由规则数据，并将所述路由规则数据提供给所述任务调度引擎用于实时控制业务数据的调度情况。

其中，所述任务调度引擎上搭载有任务调度模型，所述任务调度模型包括M个数据接入单元以及N个任务执行器，其中，M和N均为大于等于2的整数；

所述数据接入单元，用于所述任务调度引擎开启所述数据调度任务时，执行并实时消费接入的业务数据，还用于将接入的业务数据流量上报到所述监控模块；

所述任务执行器，用于将所述数据接入单元消费的业务数据以及后端算力进行分析，按照后端算力的能力集大小调度对应的业务数据进行处理。

其中，所述数据接入单元，还用于将所述业务数据通过任务队列缓存到分布式数据库做持久化存储。

其中，所述任务执行器，还用于将分析结果发布到任务队列进行实时数据存储，以及在路由规则包括关联的分析规则的情况下，将所述分析结果实时调度给其他任务执行器继续进行分析。

其中，所述任务队列为具有多级缓存的消息队列，用于接收所述任务执行器的分析结果，以及将所述分析结果实时存储到分布式数据库、分布式文件存储系统以及分布式对象存储系统。

其中，所述数据调度引擎系统还包括算力资源管理模块，所述算力资源管理模块，用于存储后端的分析算力，并向所述任务执行器返回实时可用的后端节点，以使所述任务执行器按照所述后端节点的分析算力大小加权随机计算所述分析结果。

其中，所述数据调度引擎系统还包括线程资源管理模块，所述线程资源管理模块，用于调度所述任务调度引擎的线程资源。

其中，所述数据调度引擎系统还包括配置管理模块，所述配置管理模块，用于采用热更新机制管理所述数据调度引擎系统中其他模块的配置元数据。

本申请第二方面提供了一种终端设备，包括相互耦接的存储器和处理器，所述处理器用于搭载上述的分布式大规模实时数据调度引擎系统。

本申请第三方面提供了一种分布式大规模实时数据调度方法，所述数据调度方法应用于上述的分布式大规模实时数据调度引擎系统，所述数据调度方法包括：

通过所述任务管理模块获取用户输入的数据调度任务以及路由规则数据，并下发到所述任务调度引擎；

通过所述任务调度引擎调度数据接入单元实时监听所述数据调度任务指定的任务队列的业务数据，并按照所述路由规则数据将所述业务数据调度到任务执行器进行处理；

通过所述任务调度引擎调度所述任务执行器按照所述路由规则数据对分析算力的能力大小进行负载调度，完成业务数据的分析；

其中，通过所述监控模块监控所述数据接入单元实时消费的业务数据流量，并上报到所述任务管理模块，以使所述任务管理模块根据所述业务数据流量实时调整所述任务调度引擎中数据接入单元和/或任务执行器的数量。

其中，所述分布式大规模实时数据调度引擎系统还包括算力资源管理模块；所述数据调度方法还包括：

通过所述算力资源管理模块完成所述任务执行器下发的所述分析算力的分析请求，并将分析结果反馈给所述任务执行器；

通过所述任务执行器将所述分析结果存储到分布式文件系统或分布式对象存储系统，并按照所述分析结果完成业务数据的调度和分析。

本申请中，提出的分布式大规模实时数据调度引擎系统包括：任务管理模块、监控模块以及任务调度引擎；各模块在任务管理模块的协调下运作，实现数据流在各模块之间的调度、流转；其中，任务管理模块，用于将数据调度任务以及路由规则数据下发到任务调度引擎；任务调度引擎，用于基于路由规则数据开启数据调度任务，并按照数据调度任务实时消费数据调度任务的业务数据；监控模块，用于监控任务调度引擎实时消费的业务数据流量，并上报到任务管理模块；任务管理模块，还用于根据业务数据流量实时调整任务调度引擎中数据接入单元和/或任务执行器的数量。上述方案，数据调度引擎系统配置数据接入单元和任务执行器两个维度的配置调度策略，保证了服务高可用性以及数据调度的实时性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请提供的分布式大规模实时数据调度引擎系统一实施例的框架示意图；

图2是本申请提供的分布式大规模实时数据调度引擎系统另一实施例的框架示意图；

图3是本申请提供的分布式大规模实时数据调度方法一实施例的流程示意图；

图4是本申请提供的终端设备一实施例的框架示意图；

图5是本申请提供的计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

请参阅图1，图1是本申请提供的分布式大规模实时数据调度引擎系统一实施例的框架示意图。

如图1所示，本公开实施例提供的数据调度引擎系统10至少包括任务管理模块11、监控模块12以及任务调度引擎13，数据调度引擎系统10的各模块在任务管理模块11的协调下运作，实现数据流在各模块之间的调度、流转。

其中，任务管理模块11，用于将数据调度任务以及路由规则数据下发到任务调度引擎13；任务调度引擎13，用于基于路由规则数据开启数据调度任务，并按照数据调度任务实时消费数据调度任务的业务数据；监控模块12，用于监控任务调度引擎13实时消费的业务数据流量，并上报到任务管理模块11；任务管理模块11，还用于根据业务数据流量实时调整任务调度引擎13中数据接入单元和/或任务执行器的数量。

在本公开实施例中，数据调度引擎系统10可以通过实时路由规则执行数据调度任务，并支持以数据接入单元和任务执行器两个维度的配置热更新调度策略，即调度任务启停可在指令触发后自动切换而不会影响程序的正常运行，保证了服务的高可用性。同时，数据调度引擎系统10支持系统吞吐量的实时监控，可以根据调度的业务数据量来进行任务的弹性控制，把资源调度给并发量大、实时性高的任务，进一步降低系统处理时延和提升资源利用率，保证了数据调度的实时性。

图2是本申请提供的分布式大规模实时数据调度引擎系统另一实施例的框架示意图。

如图2所示，本公开实施例提供的数据调度引擎系统20至少包括任务管理模块21、监控模块22以及任务调度引擎23，数据调度引擎系统20的各模块在任务管理模块21的协调下运作，实现数据流在各模块之间的调度、流转。

进一步地，数据调度引擎系统20还包括路由管理模块24。

其中，任务管理模块21能够提供一组接口使上层可以方便地下发数据调度任务给任务调度引擎23，并将路由规则数据同步给路由管理模块24。此外，任务管理模块还可以实时接收监控模块22上报的业务数据流量，并根据业务数据流量的大小实时调整任务调整引擎23的的执行策略，即调整执行此次数据调度任务的数据接入单元231和任务执行器232的数量。

理由管理模块24，主要用于管理数据调度的路由规则信息，对上实时接收任务管理模块21下发的路由规则数据，对下提供路由规则数据给任务调度引擎23用于实时控制业务数据流的调度情况。

任务调度引擎23，主要用于控制整个业务数据流的调度和路由，其中，业务数据调度受任务管理模块21下发的数据调度任务控制，数据路由受路由管理模块24的实时路由规则数据控制。同时，任务调度引擎23上搭载有任务调度模型，即内容抽象了M*N的任务调度模型，任务调度模型可配置M个数据接入单元231和N个任务执行器232，其中，M和N均为大于等于2的整数。N个任务执行器232在数据调度过程中拥有多级缓存队列且支持弹性伸缩，降低了业务数据在内部调度的等待时间，如此可以进一步提高数据调度引擎系统20的吞吐量和实时性。

基于 Go 语言原生支持的高并发特性，该任务调度引擎23内部以协程为基本执行单位，抽象了 M * N 的任务调度模型，N 个任务执行器232在数据调度过程中拥有多级缓存队列且支持弹性伸缩，降低了数据在内部调度的等待时间，如此进一步提高了系统的吞吐量和实时性。

具体地，数据接入单元231的功能在于：当任务调度引擎23开启执行某个业务的分析任务时，对应的数据接入单元231则开始执行并实时消费接入的业务数据，按实时路由规则将其调度给对应的任务执行器232，同时也会将消息通过任务队列缓存到分布式数据库做持久化存储。数据接入单元231还支持将系统接入的业务数据量实时计算上报到监控模块22，再由任务管理模块21按数据量实时调度任务执行情况，形成系统闭环。

任务执行器232的功能在于：将数据接入单元231调度过来的实时业务数据调度到后端算力进行分析，即提取业务数据的特征和属性数据，后端算力按能力大小做加权随机负载调度，保证了后端算力资源的使用率最大化，然后将计算结果发布到任务队列进行实时落盘存储。同时，如果下发了关联的分析规则，则会将分析结果实时调度给其他的任务执行器继续做分析，即支持跨级的数据联动调度。

其中，本公开实施例的数据调度引擎系统20支持基于后端算力能力集的加权随机负载均衡调度机制，极大地提升了系统资源的可用性。

其中，上述的任务队列为内部抽象的具有多级缓存的消息队列，主要用于处理业务数据的实时入库，对上接收任务执行器232的结果数据，对下将分析结果实时存储到分布式数据库、分布式文件存储系统以及分布式对象存储系统。

数据调度引擎系统20还包括算力资源管理模块25、线程资源管理模块26以及配置管理模块27。

其中，算力资源管理模块25通过订阅的方式从注册中心获取并存储后端的分析算力，当任务执行器232需要执行分析时，按其分析能力大小加权随机从算力资源管理模块25获取可用的节点发送分析请求。

线程资源管理模块26，用于调度任务调度引擎23以及任务执行器232的线程资源。

配置管理模块27，用于管理数据调度引擎系统20的配置元数据，并支持热更新机制，即业务层可以通过实时调整配置来完成数据调度引擎系统20内部如资源配置、调度模型配比、数据接入单元231等的实时更新而不用重启数据调度引擎系统20。更新的配置数据会实时刷新内存，进而任务执行器232等其他模块可以实时感知到配置变更并调整系统的行为，同时，也支持了定时任务来同步配置数据，保证数据的最终一致性。

请继续参阅图3，图3是本申请提供的分布式大规模实时数据调度方法一实施例的流程示意图。本公开实施例的数据调度方法应用于上述实施例的数据调度引擎系统20，在此不再对数据调度引擎系统20的结构进行赘述。

如图3所示，本公开实施例的数据调度方法具体包括以下步骤：

步骤S31：通过任务管理模块获取用户输入的数据调度任务以及路由规则数据，并下发到任务调度引擎。

其中，用户可以通过数据调度引擎系统的任务管理模块，向任务调度引擎下发需要分析的数据调度任务以及相关处理规则信息，体现为路由规则数据。

任务调度引擎初始化指定的任务队列监听接入集群的实时消息，并将路由规则数据保存在内存中。

步骤S32：通过任务调度引擎调度数据接入单元实时监听数据调度任务指定的任务队列的业务数据，并按照路由规则数据将业务数据调度到任务执行器进行处理。

其中，若干数据接入单元组成的数据接入集群实时接入边、端设备采集的图片流、数据流等业务数据，通过消息队列传递给若干任务执行器组成的后端系统进行实时分析、调度，同时数据接入集群也会向分布式数据库实时存储对应的数据记录。

步骤S33：通过任务调度引擎调度任务执行器按照路由规则数据对分析算力的能力大小进行负载调度，完成业务数据的分析。

其中，任务调度引擎调度数据接入单元实时监听指定任务队列的消息，并按照路由规则调度到任务执行器进行处理。然后，任务调度引擎调度任务执行器按路由规则对分析算力的能力大小进行负载调度，完成业务数据的分析。

具体地，数据调度引擎系统还包括算力资源管理模块。

算力资源管理模块完成任务执行器下发的分析请求，并将分析结果反馈给对应的任务执行器，任务执行器会将结果存储到分布式文件系统或分布式对象存储系统，供后续的系统进行业务处理。同时，任务执行器会继续按照相关的路由规则完成业务数据的调度，如果涉及跨业务的分析场景，则任务执行器可以调度业务数据到另一个业务的任务执行器继续分析。

需要说明的是，数据调度引擎系统还可以通过监控模块监控数据接入单元实时消费的业务数据流量，并上报到任务管理模块，以使任务管理模块根据业务数据流量实时调整任务调度引擎中数据接入单元和/或任务执行器的数量，这个步骤可以发生在数据调度方法的任意时刻，即任务调度引擎可以随时根据业务数据流量调整数据接入单元和/或任务执行器的数量。

具体地，数据接入集群接入的业务数据量会由监控模块实时感知并上报给任务管理模块，任务管理模块对系统的负载情况进行分析、决策，并将决策后的执行策略下发给任务调度引擎，任务调度引擎完成数据接入单元和任务执行器的动态扩缩容调整。

请参阅图4，图4是本申请提供的终端设备一实施例的框架示意图。终端设备40包括相互耦接的存储器41和处理器42，处理器42上搭载有上述实施例的分布式大规模实时数据调度引擎系统，用于执行存储器71中存储的程序指令，以实现上述分布式大规模实时数据调度方法实施例中的步骤。在一个具体的实施场景中，终端设备40可以包括但不限于：微型计算机、服务器，此外，终端设备40还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器42用于控制其自身以及存储器41以实现上述分布式大规模实时数据调度方法方法实施例中的步骤。处理器42还可以称为CPU（Central Processing Unit，中央处理单元）。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（Application Specific Integrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable Gate Array, FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。

请参阅图5，图5是本申请提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令501，程序指令501用于实现上述分布式大规模实时数据调度方法实施例中的步骤。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种分布式大规模实时数据调度引擎系统，其特征在于，所述数据调度引擎系统包括：任务管理模块、监控模块以及任务调度引擎；各模块在所述任务管理模块的协调下运作，实现数据流在各模块之间的调度、流转；

其中，所述任务管理模块，用于将数据调度任务以及路由规则数据下发到所述任务调度引擎；

所述任务调度引擎，用于基于所述路由规则数据开启所述数据调度任务，并按照所述数据调度任务实时消费所述数据调度任务的业务数据；

所述监控模块，用于监控所述任务调度引擎实时消费的业务数据流量，并上报到所述任务管理模块；

所述任务管理模块，还用于根据所述业务数据流量实时调整所述任务调度引擎中数据接入单元和/或任务执行器的数量。

2.根据权利要求1所述的数据调度引擎系统，其特征在于，

所述数据调度引擎系统还包括路由管理模块，所述路由管理模块，用于接收所述任务管理模块下发的所述路由规则数据，并将所述路由规则数据提供给所述任务调度引擎用于实时控制业务数据的调度情况。

3.根据权利要求1所述的数据调度引擎系统，其特征在于，

所述任务调度引擎上搭载有任务调度模型，所述任务调度模型包括M个数据接入单元以及N个任务执行器，其中，M和N均为大于等于2的整数；

所述数据接入单元，用于所述任务调度引擎开启所述数据调度任务时，执行并实时消费接入的业务数据，还用于将接入的业务数据流量上报到所述监控模块；

所述任务执行器，用于将所述数据接入单元消费的业务数据以及后端算力进行分析，按照后端算力的能力集大小调度对应的业务数据进行处理。

4.根据权利要求3所述的数据调度引擎系统，其特征在于，

所述数据接入单元，还用于将所述业务数据通过任务队列缓存到分布式数据库做持久化存储。

5.根据权利要求3所述的数据调度引擎系统，其特征在于，

所述任务执行器，还用于将分析结果发布到任务队列进行实时数据存储，以及在路由规则包括关联的分析规则的情况下，将所述分析结果实时调度给其他任务执行器继续进行分析。

6.根据权利要求5所述的数据调度引擎系统，其特征在于，

所述任务队列为具有多级缓存的消息队列，用于接收所述任务执行器的分析结果，以及将所述分析结果实时存储到分布式数据库、分布式文件存储系统以及分布式对象存储系统。

7.根据权利要求3所述的数据调度引擎系统，其特征在于，

所述数据调度引擎系统还包括算力资源管理模块，所述算力资源管理模块，用于存储后端的分析算力，并向所述任务执行器返回实时可用的后端节点，以使所述任务执行器按照所述后端节点的分析算力大小加权随机计算所述分析结果。

8.根据权利要求7所述的数据调度引擎系统，其特征在于，

所述数据调度引擎系统还包括线程资源管理模块，所述线程资源管理模块，用于调度所述任务调度引擎的线程资源。

9.根据权利要求1所述的数据调度引擎系统，其特征在于，

所述数据调度引擎系统还包括配置管理模块，所述配置管理模块，用于采用热更新机制管理所述数据调度引擎系统中其他模块的配置元数据。

10.一种终端设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于搭载上述权利要求1至9中任一项的分布式大规模实时数据调度引擎系统。

11.一种分布式大规模实时数据调度方法，其特征在于，所述数据调度方法应用于上述权利要求1至9中任一项的分布式大规模实时数据调度引擎系统，所述数据调度方法包括：

通过所述任务管理模块获取用户输入的数据调度任务以及路由规则数据，并下发到所述任务调度引擎；

通过所述任务调度引擎调度数据接入单元实时监听所述数据调度任务指定的任务队列的业务数据，并按照所述路由规则数据将所述业务数据调度到任务执行器进行处理；

通过所述任务调度引擎调度所述任务执行器按照所述路由规则数据对分析算力的能力大小进行负载调度，完成业务数据的分析；

其中，通过所述监控模块监控所述数据接入单元实时消费的业务数据流量，并上报到所述任务管理模块，以使所述任务管理模块根据所述业务数据流量实时调整所述任务调度引擎中数据接入单元和/或任务执行器的数量。

12.根据权利要求11所述的数据调度方法，其特征在于，所述分布式大规模实时数据调度引擎系统还包括算力资源管理模块；所述数据调度方法还包括：

通过所述算力资源管理模块完成所述任务执行器下发的所述分析算力的分析请求，并将分析结果反馈给所述任务执行器；

通过所述任务执行器将所述分析结果存储到分布式文件系统或分布式对象存储系统，并按照所述分析结果完成业务数据的调度和分析。

Images