CN105978960B - 一种基于海量视频结构化处理的云调度系统及方法 - Google Patents

Abstract

本发明提供了一种基于海量视频结构化处理的云调度系统，包括：云调度管理模块以及多个分析模块；所述云调度管理模块，用以在接收到任务后将海量视频进行逻辑切分，并根据每个分析模块的负载能力，将被逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。本发明申请采用一定的云调度机制结合数据智能切分分析技术，有效地提高了对海量视频进行处理的时效性和稳定性。

Description

一种基于海量视频结构化处理的云调度系统及方法

技术领域

本发明涉及视频监控领域，特别地是指一种基于海量视频结构化处理的云调度系统及方法。

背景技术

大数据或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工作业，在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息。当代社会视频监控数据的爆炸式增长，意味着需要投入更多的资源以及人工，才能在体量庞大的数据中寻找出有价值的信息。目前各大厂商也发现单个节点的相关设备无法适应满足海量的视频监控数据的处理需求，亦无法跟上视频监控数据增长的速度。在视频监控领域，视频分析的效率往往决定其价值，更低的延迟、更准确的分析往往是平安城市类客户的普遍需求。随着视频监控数据量的增加，哪怕是对于TB级别视频内容进行数据分析和检索，采用串行计算的模式都可能需要花费数小时的时间计算，串行计算模式已远远不能适应满足用户对数据分析检索的时效性需求。

发明内容

有鉴于此，本申请提供一种基于海量视频的结构化处理云调度系统及方法，采用一定的云调度机制结合数据智能分析切片技术进行资源处理，来提高对海量视频处理时的时效性及稳定性。

为了实现上述目的，现提出如下解决方案：

本发明申请提供一种基于海量视频结构化处理的云调度系统，包括：云调度管理模块以及多个分析模块；所述云调度管理模块，用以在接收到任务后将海量视频进行逻辑切分，根据每个分析模块的负载能力，将被逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。

优选地，还包括数据信息库，所述分析模块启动监控线程，按照预定时长，将当前CPU占用率、内存使用率、硬盘剩余容量、网络利用率、空闲通道数更新到所述数据信息库中；其中，所述数据信息库用以向所述云调度管理模块提供所述分析模块的资源数据，从而支撑所述云调度管理模块依据设定资源阈值与判定策略得出每个分析模块的负载能力。

优选地，所述云调度管理模块包括：节点通信管理子模块、任务监控管理子模块以及作业下载切分子模块；其中，所述节点通信管理子模块，用以处理各所述分析节点的注册，将各所述分析节点放入心跳监控链表进行监控，维护各分析节点的状态信息，并依据设定资源阈值与判定策略得出每个分析模块的负载能力；所述任务监控管理子模块，用以处理任务下发请求、跟踪任务状态，对超时未完成的任务进行回收处理；所述作业下载切分子模块，用以区分任务类型，并将监控平台视频下载到本地，对海量视频任务资源进行逻辑切分。

优选地，所述分析模块包括：状态管理子模块以及任务处理子模块；所述状态管理子模块，用以向所述数据信息库定时上报所述分析模块的硬件资源数据，所述云调度管理模块进行注册、任务状态监控、报告任务请求以及进行异常处理；所述任务处理子模块，用以维护任务链表、跟踪任务完成情况以及线程处理进度并将其上报至所述云调度管理模块。

优选地，所述云调度管理模块还包括：备用管理模块，用以在所述云调度管理模块无法正常工作时代替所述云调度管理模块。

本发明申请还提供了一种基于海量视频结构化处理的云调度方法，包括：云调度管理模块接收任务，将海量视频进行逻辑切分；根据各分析模块的负载情况，遵循空闲资源哈希调度规则，将被逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。

优选地，所述云调度管理模块接收任务，将海量视频进行逻辑切分，包括：云调度管理模块接收任务并将视频等时间间隔进行切分或等份数进行切分

优选地，所述根据各分析模块的负载情况，将被逻辑切分后的海量视频分配到每个所述分析模块的分析节点，包括：所述分析模块启动监控线程，按照设定时长，定时将当前CPU占用率、内存使用率、硬盘剩余容量、网络利用率、空闲通道数更新到所述数据信息库中，所述云调度管理模块通过查找所述数据信息库，依据设定资源阈值与判定策略，得到各分析模块的负载情况与负载能力。

优选地，在所述云调度管理模块接收任务，将海量视频进行逻辑切分之前还包括：判断任务指令类型与任务来源类型，按照任务的不同类型进入不同的预处理流程；其中，所述任务指令类型为视频摘要与视频检索；所述任务来源类型可为本地文件以及监控平台录像文件。

优选地，所述云调度管理模块还包括：备用管理模块，用以在所述云调度管理模块无法正常工作时代替所述云调度管理模块。

本发明的实施例具有以下有益效果：

上述方案中，本发明申请提供的基于海量视频结构化处理的云调度系统及方法，通过云调度管理模块将非结构化的海量视频进行逻辑上的切分，根据每个分析模块不同的负载能力，将被逻辑切分后的海量视频均匀分发到所有分析模块中的分析节点上，合理利用分析服务器的资源，以达到在最短时间内将所有视频资源处理完毕的目的。本发明遵循了标准网络通信协议，具有灵活的扩展性、可靠的稳定性以及高效率性，同时可以移植到其他相关场景之中。

附图说明

图1为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的结构示意图；

图2为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的总体框架流程示意图；

图3为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的本地文件处理流程示意图；

图4为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的监控平台录像文件处理流程示意图；

图5为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的面向事件仿真模型总控流程示意图；

图6为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的任务到达事件例程图；

图7为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的任务结束事件历程图。

图8为本发明实施例提供的一种基于海量视频结构化处理的云调度方法的步骤流程图。

具体实施方式

为进一步阐明本发明的实施例面向的技术问题、使用的技术方案和存在的技术优势，下面将结合附图及具体实施例对此进行详细描述。

本发明的实施例针对现有视频处理技术中单个节点的相关设备无法适应海量视频监控数据的处理需求这一问题，进而提供一种基于海量视频结构化处理的云调度系统来解决如何提高海量视频处理时的时效性和稳定性这一问题。

如图1所示，为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的结构示意图。参照图1，本发明申请提供一种基于海量视频结构化处理的云调度系统，包括：云调度管理模块以及多个分析模块；所述云调度管理模块，用以在接收到任务后将海量视频进行逻辑切分，根据每个分析模块的负载能力，将被逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。

优选地，所述云调度管理模块包括：节点通信管理子模块、任务监控管理子模块以及作业下载切分子模块；其中，所述节点通信管理子模块，用以处理各所述分析节点的注册，将各所述分析节点放入心跳监控链表进行监控，维护各分析节点的状态信息，并依据设定资源阈值与判断策略得出每个分析模块的负载能力；所述任务监控管理子模块，主要负责实现任务调度策略，用以处理任务下发请求、跟踪任务状态，维护任务、作业状态信息链表，并对超时未完成的任务进行回收处理；所述作业下载切分子模块，用以区分任务类型，并将监控平台视频下载到本地，并将海量视频数据进行颗粒化处理，向所述分析节点获取文件信息且封装任务。

优选地，所述分析模块包括：状态管理子模块以及任务处理子模块；所述状态管理子模块，用以负责所述分析模块的启动，向所述数据信息库定时上报分析模块的硬件资源数据，并向所述云调度管理模块进行注册、监控任务状态、报告任务请求以及进行异常处理等；所述任务处理子模块，用以维护任务链表、跟踪任务完成情况以及线程处理进度并将其上报至所述云调度管理模块。当本实施例的云调度系统启动以后，所述分析节点根据自身物理资源情况确定处理并发数，建立阻塞线程等待接收任务处理。当有线程空闲时，通过发送心跳机制向所述云调度管理模块请求任务。

如图2所示，为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的总体框架流程示意图。参照图2，本发明实施例中海量数据任务云调度框架由一个单独的主调度管理模块，一个备用调度管理模块及数个分析模块下的分析节点共同组成。其中，所述云调度管理模块负责调度构成一个任务的所有子任务，并将这些子任务分布在不同的分析节点之上，所述云调度管理模块负责监控各个分析节点上子任务的执行状态，并且重新分配调度已经执行失败的任务。而所述分析节点仅负责执行由所述云调度管理模块指派的任务，并将本节点处子任务执行的状态及相关信息回馈至所述云调度管理模块。优选地，所述云调度管理模块还包括：备用管理模块，用以在所述云调度管理模块无法正常工作时代替所述云调度管理模块。其中，备用云调度管理模块的功能作用与本实施例中的云调度管理模块(同时，可被称之为主云调度管理模块)完全一致，在所述主调度管理模块正常工作时，备用云调度管理模块处于未激活状态。即当所述主调度节点无法正常工作时，备用调度节点将完全替代它进行工作。

优选地，本实施例的云调度系统还包括：数据信息库，所述分析模块启动监控线程，按照预定时长，将当前CPU占用率、内存使用率、硬盘剩余容量、网络利用率、空闲通道数更新到所述数据信息库中；其中，所述云调度管理模块通过查找所述数据信息库，依据设定资源阈值与判定策略，得到各分析模块的负载情况与负载能力。

优选地，本实施例中云调度管理模块接收到任务之后，首选判断任务类型，尤其是所述任务来源类型，按照本地文件和监控平台录像文件任务的来源不同分别进入不同的预处理流程。如图3、4所示，分别为图3为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的本地文件以及监控平台录像文件处理流程示意图。参照图3与图4，本实施例以任务类型为这两种为例，但并不以此为限。其中，如果任务类型为监控平台录像文件的话，由所述云管理调度模块的作业下载切分子模块首先将监控平台视频下载到本地，并将海量视频数据进行颗粒化处理，向所述分析节点获取文件信息且封装任务。然后由所述云管理调度模块的作业下载切分子模块对本地文件进行逻辑切分，并由所述节点通信管理子模块查找相应的所述数据信息库中的各分析模块的负载情况，所述任务监控管理子模块按照空闲情况对切分后的海量视频总量进行分配，并一次性分发到各所述分析模块的分析节点上。

如图5所示，为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的面向事件仿真模型总控流程示意图。优选地，本实施例中，所述云调度管理模块接收到视频分析任务后，由所述作业下载切分子模块将任务资源下载到本地(本地资源则省略该步骤)，将海量视频进行颗粒化处理，向所述分析节点获取文件信息且封装任务，继而对其进行逻辑切分；所述节点通信管理子模块提供每个分析模块当前的负载能力；由所述任务监控管理子模块获取视频信息与任务处理请求类型，并进行任务扫描，编排当前任务表，将任务添加进队列中，处理任务下发请求并跟踪任务状态，将被逻辑切分后的视频切片按策略分配到所述分析模块的分析节点；所述分析模块的分析节点维护本模块任务列表，执行视频分析任务并监控任务状态，并将任务状态及任务请求反馈至所述云调度管理模块的所述任务监控管理子模块处；若用户申请任务完成，则所述云调度管理模块与分析模块结束处理流程；若用户申请任务未完成，则所述云调度系统重新接收任务处理请求。

优选地，如图6、7所示，分别为本发明实施例提供的一种基于海量视频结构化处理的云调度系统的任务到达事件以及任务结束事件例程图。参照图6，当任务到达事件发生时的流程为：任务触发并调用所述云调度管理模块中的任务监控管理子模块，产生任务下一到达时间，并更新任务表，所述节点通信管理子模块判断此时分析模块的分析节点是否空闲，如果此时分析节点空闲，则所述任务监控管理子模块下发任务至所述分析模块的分析节点处，任务结束，所述任务监控管理子模块将事件移入任务表并更新任务表，所述节点通信管理子模块将此时的分析模块的分析节点置忙，返回云调度管理模块；如果此时分析节点并非空闲，则任务等待队列长度加一，并返回云调度管理模块。参照图7，当任务结束事件发生时的流程为：调用所述云调度管理模块中的所述任务监控管理子模块，判断任务队列是否为空，如果任务队列为非空，则任务队列长度减一，所述任务监控管理子模块下发任务并更新任务表，返回云调度管理节点；如果任务队列为空，则所述节点通信管理子模块将此时的分析节点状态置闲，任务结束，所述任务监控管理子模块将事件移入任务表并更新任务表，返回云调度管理模块。

如图8所示，为本发明实施例提供的一种基于海量视频结构化处理的云调度方法的步骤流程图。参照图8，本发明申请还提供了一种基于海量视频结构化处理的云调度方法，包括：云调度管理模块接收任务，将海量视频进行逻辑切分；根据各分析模块的负载情况，遵循空闲资源哈希调度规则，将被逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。

优选地，在对海量视频进行切分时，可以按需设定为按同等时间间隔切分视频片的等时长规则，或，按设定份数平均切分视频的等分规则。即所述云调度管理模块接收任务，将海量视频进行逻辑切分，包括：云调度管理模块接收任务并将视频等时间间隔进行切分或等份数进行切分。但本领域技术人员应该理解或知道，本发明实施例提供的逻辑划分规则并不以这两种为限，其他实现方式也在本发明的保护范围之内。

优选地，根据所述各分析模块的负载情况，将被逻辑切分后的海量视频分配到每个所述分析模块的分析节点，包括：所述分析模块启动监控线程，按照设定时长，定时将当前CPU占用率、内存使用率、硬盘剩余容量、网络利用率、空闲通道数更新到所述数据信息库中，依据设定资源阈值与判定策略，所述云调度管理模块通过查找所述数据信息库得到各分析模块的负载情况与负载能力。

优选地，在所述云调度管理模块接收任务，将海量视频进行逻辑切分之前还包括：判断任务指令类型与任务来源类型，按照任务的不同类型进入不同的预处理流程；其中，所述任务指令类型为视频摘要与视频检索；所述任务来源类型可为本地文件以及监控平台录像文件。

其中，本实施例提供的一种基于海量视频结构化处理的云调度方法与装置实施例相同之处在此不进行赘述。

综上所述，本发明申请提供的基于海量视频结构化处理的云调度系统及方法，通过云调度管理模块将非结构化的海量视频进行逻辑上的切分，根据每个分析模块不同的负载能力，均匀分发到所有分析模块中的分析节点、分析服务器等资源上，以达到在最短时间内将所有监控视频资源按任务需求处理完毕的目的。本发明遵循了标准网络通信协议，具有灵活的扩展性、可靠的稳定性以及高时效性，同时可以移植到其他相关场景之中。

此说明书中所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。

本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同物理上的不同的指令，当这些指令逻辑上地结合在一起时，其构成模块，并且实现该模块的规定目的。

实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。

在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所有可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程逻辑阵列、可编程逻辑设备等实现。

在本发明各方法实施例中，所述各步骤的序号并不能用于限定各步骤的先后顺序，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，对各步骤的先后变化也在本发明的保护范围之内。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视在为本发明的保护范围内。

Claims (9)

1.一种基于海量视频结构化处理的云调度系统，其特征在于，包括：

云调度管理模块以及多个分析模块；

所述云调度管理模块，用以在接收到任务后将海量视频进行逻辑切分，根据每个分析模块的负载能力，遵循空闲资源哈希调度规则，将进行逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点；

所述云调度管理模块包括节点通信管理子模块、任务监控管理子模块以及作业下载切分子模块；其中，所述节点通信管理子模块，用以处理各所述分析节点的注册，将各所述分析节点放入心跳监控链表进行监控，维护各分析节点的状态信息，并依据设定资源阈值与判断策略得出每个分析模块的负载能力；所述任务监控管理子模块，负责实现任务调度策略，用以处理任务下发请求、跟踪任务状态，维护任务、作业状态信息链表，并对超时未完成的任务进行回收处理；所述作业下载切分子模块，用以区分任务类型，并将监控平台视频下载到本地，并将海量视频数据进行颗粒化处理，向所述分析节点获取文件信息且封装任务；

云调度管理模块接收到视频分析任务后，由云调度管理模块的作业下载切分子模块将任务资源下载到本地，将海量视频进行颗粒化处理，向所述分析节点获取文件信息且封装任务，继而对其进行逻辑切分。

2.根据权利要求1所述的云调度系统，其特征在于，还包括：数据信息库：

所述分析模块启动监控线程，按照预定时长将当前CPU占用率、内存使用率、硬盘剩余容量、网络利用率、空闲通道数更新到所述数据信息库中；其中，所述数据信息库用以向所述云调度管理模块提供所述分析模块的资源数据，支撑所述云调度管理模块依据设定资源阈值与判定策略，得出每个分析模块的负载能力。

3.根据权利要求1所述的云调度系统，其特征在于，所述分析模块包括：

状态管理子模块以及任务处理子模块；

所述状态管理子模块，用以向数据信息库定时上报所述分析模块的硬件资源数据，向所述云调度管理模块进行注册、监控任务状态、报告任务请求以及进行异常处理；

所述任务处理子模块，用以维护任务链表、跟踪任务完成情况以及线程处理进度并将其上报至所述云调度管理模块。

4.根据权利要求1-3任一项所述的云调度系统，其特征在于，所述云调度管理模块还包括：

备用管理模块，用以在所述云调度管理模块无法正常工作时代替所述云调度管理模块。

5.一种基于海量视频结构化处理的云调度方法，其特征在于，包括：

云调度管理模块接收任务，将海量视频进行逻辑切分；

根据各分析模块的负载情况，根据空闲资源哈希调度规则，将被逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点；

所述云调度管理模块包括节点通信管理子模块、任务监控管理子模块以及作业下载切分子模块；其中，所述节点通信管理子模块，用以处理各所述分析节点的注册，将各所述分析节点放入心跳监控链表进行监控，维护各分析节点的状态信息，并依据设定资源阈值与判断策略得出每个分析模块的负载能力；所述任务监控管理子模块，负责实现任务调度策略，用以处理任务下发请求、跟踪任务状态，维护任务、作业状态信息链表，并对超时未完成的任务进行回收处理；所述作业下载切分子模块，用以区分任务类型，并将监控平台视频下载到本地，并将海量视频数据进行颗粒化处理，向所述分析节点获取文件信息且封装任务；

云调度管理模块接收到视频分析任务后，由云调度管理模块的作业下载切分子模块将任务资源下载到本地，将海量视频进行颗粒化处理，向所述分析节点获取文件信息且封装任务，继而对其进行逻辑切分。

6.根据权利要求5所述的云调度方法，其特征在于，所述云调度管理模块接收任务，将海量视频进行逻辑切分，包括：云调度管理模块接收任务并将视频等时间间隔进行切分或等份数进行切分。

7.根据权利要求6所述的云调度方法，其特征在于，所述根据各分析模块的负载情况，将被逻辑切分后的海量视频分配到每个所述分析模块的分析节点，包括：

所述分析模块启动监控线程，按照设定时长，定时将当前CPU占用率、内存使用率、硬盘剩余容量、网络利用率、空闲通道数更新到数据信息库中，所述云调度管理模块通过查找所述数据信息库，依据设定资源阈值与判定策略，得到各分析模块的负载情况与负载能力。

8.根据权利要求5所述的云调度方法，其特征在于，在所述云调度管理模块接收任务，将海量视频进行逻辑切分之前，还包括：

判断任务指令类型与任务来源类型，按照任务的不同类型进入不同的预处理流程；其中，所述任务指令类型为视频摘要与视频检索，所述任务来源类型可为本地文件以及监控平台录像文件。

9.根据权利要求5-8任一项所述的云调度方法，其特征在于，所述云调度管理模块还包括：

备用管理模块，用以在所述云调度管理模块无法正常工作时代替所述云调度管理模块。