CN112202932A - 一种基于边缘计算的对视频进行结构化分析的方法及装置 - Google Patents

Abstract

本说明书公开了一种基于边缘计算的对视频进行结构化分析的方法及装置，包括：挂载待处理视频数据的边缘端节点A向中心端发起视频结构化分析任务的分流请求；边缘端节点A接收中心端响应分流请求后发送的处于空闲工作状态的边缘端节点的个数及对应的IP标识信息；边缘端节点A根据对待处理视频数据进行视频结构化分析的工作量将待处理视频数据切割成m段子视频，每段子视频配置有对应的时间戳标识；边缘端节点A将m段子视频和m段子视频中的每段子视频各自对应的时间戳标识发送到处于空闲工作状态的边缘端节点；边缘端节点A将m段子视频中的第i段子视频的时间戳标识信息和处理第i段子视频的边缘端节点的IP标识信息的对应关系发送到中心端。

Description

一种基于边缘计算的对视频进行结构化分析的方法及装置

技术领域

本申请涉及视频结构化分析技术领域，尤其涉及一种基于边缘计算的对视频进行结构化分析的方法及装置。

背景技术

随着万物互联时代的到来，网络边缘设备的数量迅速增加，这会产生海量数据，如果直接将源数据上传到云计算中心进行处理，一方面会占用不必要的带宽，另一方面会给网络带宽资源带来巨大的负担。具体的，如视频监控技术在社会生活的各个场景中都有着广泛应用，视频监控系统的视频结构化处理、数据加密等过程需要进行大量计算。现有的解决办法是通过专用GPU服务器来完成辅助计算，虽然能完成计算任务，但是仍然存在明显的技术缺陷，如：视频分析处理延时高，处理过程集中在中心端，造成网络汇聚压力过大；中心端建设成本高、能耗大，计算节点过于单一，造成系统可靠性和容错率降低等问题；原始视频数据在传输过程中容易被窃取而获得信息，安全性几乎为零。针对此种问题，还有的解决方法主要依靠在中心端部署一台或多台GPU计算服务器，通过在服务器上布置一块或者多块显卡进行并联实现并行计算，以对多路视频进行视频解码、分析运算，最终输出结果。此方法中边缘端只负责对原始数据流进行复制转发，并未对数据进行处理工作，这样当并发的视频数量较多时，边缘端工作负载没有增加，然而中心端负载压力提升较大，这时除了建立任务排队机制之外，只能通过提升网络带宽、增加GPU服务器数量或提升GPU性能等方式实现以保证系统的实时性和可靠性，但是上述办法仍然受到物理设备的性能上限拘束，且每次不饱和运算时，又会造成巨量的能源浪费，不符合环保要求。

因此，有必要提供一种新的功耗低、成本低、算力高的对视频进行结构化分析的处理方法，以在保证视频分析处理实时性和安全性的前提下，降低中心端的建设成本和能源消耗。

发明内容

本说明书实施例提供一种基于边缘计算的对视频进行结构化分析的方法及装置，以提供一种功耗低、成本低、算力高的视频结构化分析处理方法及装置。

为解决上述技术问题，本说明书实施例是这样实现的：

本发明首先提供一种基于边缘计算的对视频进行结构化分析的方法，包括如下内容：

挂载待处理视频数据的边缘端节点向中心端发起视频结构化分析任务的分流请求；

所述挂载待处理视频数据的边缘端节点接收所述中心端响应所述分流请求后发送的处于空闲工作状态的n个边缘端节点对应的IP标识信息；

所述挂载待处理视频数据的边缘端节点根据对所述待处理视频数据进行视频结构化分析的工作量将所述待处理视频数据切割成m段子视频，其中，每段子视频配置有对应的时间戳标识；

所述挂载待处理视频数据的边缘端节点将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到所述处于空闲工作状态的n个边缘端节点；

所述挂载待处理视频数据的边缘端节点将所述m段子视频中的第i段子视频的时间戳标识信息和处理所述第i段子视频的边缘端节点的IP标识信息的对应关系发送到所述中心端，i=1、2、…、m。

优选地，所述挂载待处理视频数据的边缘端节点通过物理形态接口安装一块或者多块计算模组，所述计算模组通过通道与主机的处理器连接，所述主机的处理器将所述待处理视频数据通过所述通道发送到所述一块或者多块计算模组。

优选地，所述挂载待处理视频数据的边缘端节点将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到所述处于空闲工作状态的n个边缘端节点，具体包括：

所述分流请求发生后，

如果对所述待处理视频数据进行视频结构化分析的工作量小于或等于所述处于空闲工作状态的n个边缘端节点总的处理能力，则只有部分所述处于空闲工作状态的n个边缘端节点会接收所述挂载待处理视频数据的边缘端节点发送的子视频；

如果对所述待处理视频数据进行视频结构化分析的工作量大于所述处于空闲工作状态的n个边缘端节点总的处理能力，则所述处于空闲工作状态的n个边缘端节点中的若干个边缘端节点再次处于空闲工作状态时，会继续接收所述挂载待处理视频数据的边缘端节点发送的子视频。

优选地，所述挂载待处理视频数据的边缘端节点不对所述待处理视频数据进行结构化分析。

优选地，所述挂载待处理视频数据的边缘端节点将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到所述处于空闲工作状态的n个边缘端节点，具体包括：

将所述m段子视频的序号分别标记为视频1、视频2、...、视频i、...、视频m，所述视频i对应的时间戳标识信息为Ti；所述挂载待处理视频数据的边缘端节点将加密后的（视频i、Ti）信息发送给所述处于空闲工作状态的n个边缘端节点中的第i个边缘端节点，其中i=1、2、…、m。

优选地，所述挂载待处理视频数据的边缘端节点将所述m段子视频中的第i段子视频的时间戳标识信息和处理所述第i段子视频的边缘端节点的IP标识信息的对应关系发送到所述中心端，具体包括：

所述处于空闲工作状态的n个边缘端节点中的第i个边缘端节点的IP标识信息为IPi，分流到IP标识信息为IPi的边缘端节点的视频段的时间戳标识信息为Ti，i=1、2、…、m；所述挂载待处理视频数据的边缘端节点将{（IP1，T1）、（IP2，T2）、...、（IPi，Ti）、...（IPm，Tm）}信息打包发送到中心端。

优选地，所述挂载待处理视频数据的边缘端节点将所述m段子视频中的第i段子视频的时间戳标识信息和处理所述第i段子视频的边缘端节点的IP标识信息的对应关系发送到所述中心端之后，还包括：所述处于空闲工作状态的n个边缘端节点中的每个边缘端节点i都将接收到的视频片段进行解码，解码后的数据流分成两份，一份进入编码器进行编码产生编码视频流，另一份进行视频结构化分析计算产生计算结果；分别对所述编码视频流和所述计算结果进行加密，将加密后的编码视频流和加密后的计算结果进行数据合并，将数据合并后的数据合并结果和对应的时间戳标识信息Ti发送到所述中心端，所述i=1，2、...、m。

优选地，还包括：所述中心端接收边缘端节点i发送的所述数据合并结果和所述对应的时间戳标识信息Ti，待所述中心端接收完所述m个边缘端节点所发送的所述数据合并结果和所述对应的时间戳标识信息后，根据预先存储的时间戳标识信息进行匹配，对所有的所述数据合并结果进行拼接，得到完整的计算结果。

优选地，所述n个边缘端节点中的边缘端节点i在所述进行数据合并，将数据合并后的数据合并结果和对应的时间戳标识信息Ti发送到所述中心端后，还会向所述中心端报告空闲状态信息。

同时，本发明还提供一种基于边缘计算的对视频进行结构化分析的装置，所述装置应用于前文描述的方法，所述装置包括：

多个边缘端节点；

任务发起边缘端节点，用于向中心端发起视频结构化分析任务的分流请求；

根据对待处理视频数据进行视频结构化分析的工作量将所述待处理视频数据切割成m段子视频，其中，每段子视频配置有对应的时间戳标识；

将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到边缘端节点中处于空闲工作状态的边缘端节点中；

将所述m段子视频中的第i段子视频的时间戳标识信息和处理所述第i段子视频的边缘端节点的IP标识信息的对应关系发送到中心端，i=1、2、…、m；

中心端，用于响应所述分流请求后向所述任务发起边缘端节点发送处于空闲工作状态的边缘端节点的个数及对应的IP标识信息。

本发明的技术方案能够达到以下有益效果：

本发明技术方案将对视频进行结构化分析的任务分布在与中心端通信连接的边缘端节点上，整个系统呈现扁平化分布式架构，中心端只需要完成边缘端节点的调度工作，并且接收边缘端节点传递过来的计算结果，中心端的工作计算量相较于边缘端节点要小很多，因此系统的整体可靠性和容错率有明显提升，不会出现单一节点故障导致影响整个系统的正常功能使用情况，系统可靠性升高；同时利用这种中心和边缘有机结合的分布式架构，可以解决中心或边缘端节点的算力不够、数据处理能力不强的问题，不再受制于单个设备的算力瓶颈，大幅提升计算、分析的能力，加快数据处理速度。

附图说明

为更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例提供的基于边缘计算的对视频进行结构化分析的方法的流程图。

图2为本说明书实施例提供的基于边缘计算的对视频进行结构化分析的方法中中心端和边缘端节点的连接关系示意图。

图3为本说明书实施例提供的基于边缘计算的对视频进行结构化分析的方法中中心端和边缘端节点的信息交互图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

现有视频监控系统的视频结构化处理、数据加密等过程需要进行大量计算。现有的解决办法是通过专用GPU服务器来完成辅助计算，虽然能完成计算任务，但是仍然存在明显的技术缺陷，如：视频分析处理延时高，处理过程集中在中心端，造成网络汇聚压力过大；中心端建设成本高、能耗大，计算节点过于单一，造成系统可靠性和容错率降低等问题；原始视频数据在传输过程中容易被窃取而获得信息，安全性几乎为零。

本发明提供一种新的功耗低、成本低、算力高的对视频进行结构化分析的处理方法，以在保证视频分析处理实时性和安全性的前提下，降低中心端的建设成本和能源消耗。

下面先对本发明技术方案中提到的技术术语边缘计算进行解释，边缘计算（Edgecomputing）是一种在物理上靠近数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的开放平台，就近提供边缘智能服务的计算模式。边缘计算发生的位置称为边缘端节点，它可以是数据产生源头和云中心之间任一具有计算资源和网络资源的节点。比如，手机就是人与云中心之间的边缘端节点，网关是智能家居和云中心之间的边缘端节点。

如图1所示，图1为本说明书实施例提供的基于边缘计算的对视频进行结构化分析的方法的流程示意图，图3为方法中涉及到的中心端和边缘端节点的信息交互图，具体内容如下：

102：挂载待处理视频数据的边缘端节点向中心端发起视频结构化分析任务的分流请求。

在视频监控系统中，有一个挂载有用于对原始视频进行采集的相机的边缘端节点A，通常情况下，对此相机所采集的原始视频进行结构化分析的计算载荷会远超过此边缘端节点A的计算能力。本实施例中，此边缘端节点A可被配置成当计算载荷超过其计算能力时，主动向中心端发起视频结构化分析任务的分流请求，也可由用户向中心端下达进行视频结构化分析任务的分流命令，然后中心端将此视频结构化分析任务的分流命令转发给此边缘端节点A，本实施例不做具体限制。

步骤104：所述挂载待处理视频数据的边缘端节点接收所述中心端响应所述分流请求后发送的处于空闲工作状态的n个边缘端节点对应的IP标识信息。

如图2所示，视频监控系统中，除步骤102中描述的挂载有用于对原始视频进行采集的相机的边缘端节点A外，还有若干个边缘端节点，这些边缘端节点会主动将自身处于空闲和/或忙碌的工作状态的状态信息发送给中心端，中心端配置有动态表用于实时记录各边缘端节点的IP标识信息和各边缘端节点的工作状态信息。本实施例中假定处于空闲工作状态的边缘端节点的数目为n。中心端将处于空闲工作状态的边缘端节点的数量信息n和每个处于空闲工作状态的边缘端节点的IP标识信息打包发送给步骤102中描述的挂载有用于对原始视频进行采集的相机的边缘端节点A。这样边缘端节点A就能获得整个视频监控系统中各个处于空闲工作状态的边缘端节点和其对应的IP标识信息。本实施例技术方案中处于空闲状态的边缘端节点一旦从忙碌工作状态重新恢复为空闲工作状态时，会主动向中心端上报其已再次处于空闲工作状态的消息，中心端会利用动态表对此事件进行记录。

步骤106：所述挂载待处理视频数据的边缘端节点根据对所述待处理视频数据进行视频结构化分析的工作量将所述待处理视频数据切割成m段子视频，其中，每段子视频配置有对应的时间戳标识。

在具体场景中，在视频监控系统中，处于空闲工作状态的节点数量n较多，从而对边缘端节点A处挂载的对原始视频进行采集的相机所采集的原始视频进行结构化分析工作量大概率需要小于n个处于空闲工作状态的边缘端节点来进行处理，小概率需要大于n个处于空闲工作状态的边缘端节点来进行处理，在极小概率下，也可能正好需要n个处于空闲工作状态的边缘端节点来进行处理。本实施例技术方案中，假设需要m个处于空闲工作状态的边缘端节点来对原始视频进行处理，其中m小于n。

通过步骤104的处理，边缘端节点A已经获得整个视频监控系统中各个处于空闲工作状态的边缘端节点和其对应的IP标识信息。本实施例中，为便于说明本实施例技术方案，假设各个处于空闲工作状态的边缘端节点的工作量阈值上限都为K，同时假设边缘端节点A采集的原始视频的结构化分析的工作量不超过m*K。

为便于说明问题，本实施例技术方案中将边缘端节点A处的相机所采集的原始视频按照时间戳进行平均切割，且切割成m份，这样切割后的每份视频的结构化分析的工作量不会超过K，从而不会超过各个处于空闲工作状态的边缘端节点的工作量阈值上限。其中，每份视频对应的时间戳标识信息用于标识对应的切割后的视频片段，以能够和其他视频片段进行区分。对原始视频按照时间戳进行平均切割的结果，可表示为{（视频片段1，时间戳标识1）、（视频片段2，时间戳标识T2）、...、（视频片段Tm，时间戳标识Tm）}。

步骤108：所述挂载待处理视频数据的边缘端节点将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到所述处于空闲工作状态的n个边缘端节点。

在步骤106中，已经将所述m段子视频序号分别标记为视频片段1、视频片段2、...、视频片段i、...、视频片段m，视频片段i对应的时间戳标识信息为Ti。挂载待处理视频数据的边缘端节点A将加密后的（视频片段i、时间戳标识Ti）发送给处于空闲工作状态的第i个边缘端节点，这样处于空闲工作状态的第i个边缘端节点就能收到第i个待视频结构化分析的视频片段及其对应的时间戳标识信息Ti，其中i=1、2、…、m。

需要说明的是，此步骤中由于边缘端节点A已经得到了系统中处于空闲工作状态的n个边缘端节点的标识信息IP（也就是说，边缘端节点A已经获得了这n个边缘端节点中实际需要的m个边缘端节点的标识信息IP），为提高系统运行效率，挂载待处理视频数据的边缘端节点A每进行一次切割得到一段子视频片段，就可立即将此视频片段和此视频片段对应的时间戳标识直接发送给m个边缘端节点中的对应的边缘端节点去进行结构化分析。

需要说明的是，本步骤中所述分流请求发生后，如果所述对所述待处理视频数据进行视频结构化分析的工作量小于或等于所述处于空闲工作状态的n个边缘端节点总的处理能力，则只有部分所述处于空闲工作状态的边缘端节点会接收所述挂载待处理视频数据的边缘端节点发送的子视频；

如果所述对所述待处理视频数据进行视频结构化分析的工作量大于所述处于空闲工作状态的边缘端节点总的处理能力，则所述处于空闲工作状态的边缘端节点中的若干个边缘端节点将接收到的子视频进行结构化分析后再次处于空闲工作状态时，会继续接收所述挂载待处理视频数据的边缘端节点发送的子视频。

步骤110：所述挂载待处理视频数据的边缘端节点将所述m段子视频中的第i段子视频的时间戳标识信息和处理所述第i段子视频的边缘端节点的IP标识信息的对应关系发送到所述中心端，i=1、2、…、m。

在步骤108中，处于空闲工作状态的第i个边缘端节点已经收到第i个待视频结构化分析的视频片段及其对应的时间戳标识信息Ti，为了后续阶段进行将结构化分析后的视频进行合并，本步骤中将处于空闲工作状态的边缘端节点i的IP标识信息标记为IPi，分流到IP标识信息为IPi的边缘端节点的视频片段的时间戳标识信息标记为Ti，所述挂载待处理视频数据的边缘端节点将{（IP1，T1）、（IP2，T2）、...、（IPi，Ti）、...（IPm，Tm）}信息发送到中心端。这样后续阶段，中心端在收到第i个边缘端节点发送的待合并的结构化分析后的视频片段和其对应的时间戳标识信息后，就能将此时间戳标识信息和存储的{（IP1，T1）、（IP2，T2）、...、（IPi，Ti）、...（IPm，Tm）}信息进行匹配，最后在接收到所有的待合并的结构化分析处理后的视频片段后，就能完成对整个计算结果的合并。

需要说明的是，步骤108中，边缘端节点A可以在将切割得到的m个视频片段全部转发给对应的处于空闲工作状态的边缘端节点去处理后，再将{（IP1，T1）、（IP2，T2）、...、（IPi，Ti）、...（IPm，Tm）}信息打包发送到中心端进行存储，也可在当转发一个切割后的视频片段到对应的边缘端节点去处理时，也将此视频片段对应的时间戳标识信息和此对应的边缘端节点的IP标识信息发送到中心端进行存储，本领域技术人员可根据具体情况选择具体的操作方式，本实施例对比并不做具体限定。

前面步骤中，只是完成了对待结构化分析的视频数据的任务分解，在完成了任务分解后，还需：边缘端节点i（i=1、2、…、m）对接收到的视频片段进行结构化分析。具体内容如下：

处于空闲工作状态的每个边缘端节点i都将接收到的视频片段进行解码，解码后的数据流分成两份，一份进入编码器进行编码产生编码视频流，另一份进行视频结构化分析计算产生计算结果；分别对所述编码视频流和所述计算结果进行加密，将加密后的编码视频流和加密后的计算结果进行数据合并，将数据合并后的数据合并结果和对应的时间戳标识信息Ti发送到所述中心端。

同时，在所述将数据合并后的结果发送到所述中心端之后，还包括：所述中心端接收处于空闲工作状态的边缘端节点i发送的所述数据合并结果和所述对应的时间戳标识信息Ti，待所述中心端接收到所有处于空闲工作状态的边缘端节点所发送的所述数据合并结果和所述对应的时间戳标识信息后，根据预先存储的时间戳标识信息进行匹配，对所有的所述数据合并结果进行拼接，得到完整的计算结果。

进一步优化方案，在步骤102中，当对待处理视频数据进行结构化分析的总的工作量超过步骤104处于空闲工作状态的若干个边缘端节点数n的总的工作量上限时，在步骤104中，中心端除了采集处于空闲工作状态的若干个边缘端节点的节点数量信息n和各边缘端节点对应的标识信息外，还采集处于空闲工作状态的各边缘端节点具体的工作量信息。对应的，在步骤104中，所述中心端除了将处于空闲工作状态的若干个边缘端节点的节点数量信息n和各边缘端节点对应的标识信息发送到所述挂载待处理视频数据的边缘端节点A外，还将采集的空闲工作状态的各边缘端节点的工作量信息发送给边缘端节点A，这样边缘端节点A在得到这些具体信息后，可按空闲工作状态的各边缘端节点的具体工作量信息切割待处理视频数据，这样能够最大程度上将待处理视频数据分配到每个处于空闲工作状态的边缘端节点中去，且不超过各个处于空闲工作状态的边缘端节点各自对应的工作量上限，系统运行效率处于最优状态。在这种情况下，待处理视频数据中会有部分视频数据未被分配出去进行处理，此时可通过中心端对视频监控系统中各边缘端节点的工作状态进行监控，实时接收边缘端节点发送的自身处于空闲工作状态的状态信息，中心端一旦发现有边缘端节点处于空闲工作状态，中心端就可将此边缘端节点的IP标识信息和其对应的工作量上限发送给边缘端节点A，边缘端节点A可从剩下的未被分配出去进行处理的视频数据中切割对应的视频片段发送给此处于空闲工作状态的节点，同时向其发送此视频片段对应的时间戳标识信息，同时向中心端发送此处于空闲工作状态的边缘端节点的IP标识信息和时间戳标识信息，以便于后续的计算结果整合。

需要说明的是，本实施例技术方案中视频结构化分析任务可以是指根据所述待处理视频数据的特点（如所述视频数据的采集地点、采集时间），提取所述视频数据中的目标对象及所述目标对象的运动轨迹（提取方法包括目标检测、对象识别、深度学习等），将目标对象进行分类（分类为人、车、人骑车、事件等不同类别），然后进一步提取所述目标对象的高层结构化属性特征（包括目标对象的颜色特征、目标的速度特征、目标对象的具体身份等），从而对所述待处理视频数据进行综合分析。本实施例技术方案中对所述待处理视频数据进行综合分析，可以理解为，因为待处理视频数据是非结构化的流，由一组连续的帧图像组成，对所述待处理视频数据进行综合分析，是从反映真实世界的未经任何抽象处理的原始待处理视频数据中，分析出所述待处理视频数据中包含的高层次的语义信息，从而便于人们根据这些语义信息做出决策、判断等。比如，对动作对象进行综合分析，所述动作对象可以包括：人脸动作、物体动作、人的行为，以及可能出现的大规模人员、车辆或其他动物或物体的移动（比如人流、车流）。还比如，可以对场景进行综合分析，所述场景可以包括：移动物体或固定物体的形态、体积、光线的明暗等；以及对静态对象的分析（比如对街道以及街道设施的数据分析）。同时，所述挂载待处理视频数据的边缘端节点不对所述待处理视频数据进行结构化分析，只是完成对原始视频的分割和分配任务工作。

需要说明的是，应当理解，本发明技术方案中，部分步骤的顺序可以根据实际需要调整，步骤102-110中描述的处理过程可以是顺序发生的，也可以是并行发生的，比如在步骤108中记载有“所述挂载待处理视频数据的边缘端节点将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到所述处于空闲工作状态的边缘端节点”，此时，应当理解为，步骤102中分流任务发起后，此时如果系统中处于空闲工作状态的边缘端节点数量较多，则只需要部分边缘端节点去参与对步骤102中描述的待处理视频数据进行结构化分析即可，而如果分流任务发起后，如果系统中处于空闲工作状态的边缘端节点数量较少，则步骤108中所述m段子视频就需要更多的处于空闲工作状态的边缘端节点来对其进行处理，而此时系统中处于空闲工作状态的边缘端节点较少，则此m段子视频只经过一次任务分流不足以将全部的m段子视频全部分流出去以进行视频结构化分析，因为本发明技术方案中处于空闲工作状态的边缘端节点一旦从忙碌工作状态重新恢复为空闲工作状态时，会主动向中心端上报其已再次处于空闲工作状态的消息，中心端会利用动态表对此事件进行记录，则可以将未分流出去的子视频分流到重新恢复空闲工作状态的子节点中进行处理，按照这种理解，前文描述的{（IP1，T1）、（IP2，T2）、...、（IPi，Ti）、...（IPm，Tm）}中会出现IPi=IPj，i≠j的情况，这是因为再次恢复空闲工作状态的边缘端节点IPi会再次接收对子视频进行结构化分析的任务，但此种边缘端节点先后接收到的子视频的时间戳标识信息Ti和Tj是不一样的。

更具体地，如果挂载待处理视频数据的边缘端节点A根据对所述待处理视频数据进行视频结构化分析的工作量将所述待处理视频数据切割成100段子视频，而此时系统中只有60个边缘端节点处理空闲工作状态，则在步骤108中，边缘端节点A对这60个处理空闲工作状态的边缘端节点按顺序进行标号，分别标号为第一边缘端节点、第二边缘端节点、…、第六十边缘端节点，从零时刻开始计时，边缘端节点A按序对所述待处理视频数据进行切割，切割得到第一子视频后，就将第一子视频及此第一子视频的时间戳标识T1发送到第一边缘端节点，同时将第一子视频的时间戳标识及第一边缘端节点的IP标识信息发送到中心端进行报备，然后，第一边缘端节点开始对分配的第一子视频进行视频结构化分析；边缘端节点A继续对所述待处理视频数据进行切割，切割得到第二子视频后，就将第二子视频及此第二子视频的时间戳标识T2发送到第二边缘端节点，同时将第二子视频的时间戳标识及第二边缘端节点的IP标识信息发送到中心端进行报备，此过程继续进行。当边缘端节点A切割得到第60段子视频并将其分流到第六十边缘子节点后，也将此第六十子视频的时间戳标识及第六十边缘端节点的IP标识信息发送到中心端进行报备。此时，第一边缘端节点已经将分配到的第一子视频进行了视频结构化分析，重新恢复为空闲工作状态，并将其重新恢复为空闲工作状态的消息发送给中心端进行记录。此时边缘端节点A继续对所述待处理视频数据进行切割，得到第六十一子视频，边缘端节点A将第六十一子视频及此第六十一子视频的时间戳标识T61发送到第六十一边缘端节点，同时将第六十一子视频的时间戳标识及第六十一边缘端节点的IP标识信息发送到中心端进行报备。剩下过程，不再进行赘述，边缘端节点A继续对所述待处理视频数据进行切割，将切割得到的字视频分流到重新恢复空闲工作状态的边缘端节点中去进行处理，同时将相关信息发送到中心端进行报备，直到将所述待处理视频数据切割完毕。这种情况下，步骤108和110是交叉进行的。

同时，本发明还提供一种基于边缘计算的对视频进行结构化分析的装置，所述装置包括：

多个边缘端节点；

任务发起边缘端节点，用于向中心端发起视频结构化分析任务的分流请求；

根据对待处理视频数据进行视频结构化分析的工作量将所述待处理视频数据切割成m段子视频，其中，每段子视频配置有对应的时间戳标识；

将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到边缘端节点中处于空闲工作状态的边缘端节点中；

将所述m段子视频中的第i段子视频的时间戳标识信息和处理所述第i段子视频的边缘端节点的IP标识信息的对应关系发送到中心端，i=1、2、…、m；

中心端，用于响应所述分流请求后向所述任务发起边缘端节点发送处于空闲工作状态的边缘端节点的个数及对应的IP标识信息。

具体地，所述挂载待处理视频数据的边缘端节点通过物理形态接口安装一块或者多块计算模组，所述计算模组通过通道与主机的处理器连接，所述主机的处理器将所述待处理视频数据通过所述通道发送到所述一块或者多块计算模组。所述物理形态接口包括PCIe、M.2、mSATA接口中的一种。

具体地，在中心端系统服务器上安装对应的计算模组或计算加速卡（物理接口形态包括PCIe、M.2、mSATA，），中心端的主机CPU只负责接收空闲边缘端节点的状态信息及将处于空闲工作状态的边缘端节点的相关信息发送到边缘端节点A，中心端的主机CPU不进行具体的计算分析工作，完全由计算模组或计算加速卡上的芯片完成，降低中心端服务器的能耗。

本发明技术方案将对视频进行结构化分析的任务分布在与中心端通信连接的边缘端节点上，整个系统呈现扁平化分布式架构，中心端只需要完成边缘端节点的调度工作，向边缘端节点传递指令，并且接收边节点传递过来的计算结果，中心端的工作计算量相较于边缘端节点要小很多，因此系统的整体可靠性和容错率有明显提升，不会出现单一节点故障导致影响整个系统的正常功能使用情况，系统可靠性高。

上述对本说明书特定实施例进行了描述，其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本说明书实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于边缘计算的对视频进行结构化分析的方法，其特征在于，包括：

挂载待处理视频数据的边缘端节点向中心端发起视频结构化分析任务的分流请求；

所述挂载待处理视频数据的边缘端节点接收所述中心端响应所述分流请求后发送的处于空闲工作状态的n个边缘端节点对应的IP标识信息；

所述挂载待处理视频数据的边缘端节点根据对所述待处理视频数据进行视频结构化分析的工作量将所述待处理视频数据切割成m段子视频，其中，每段子视频配置有对应的时间戳标识；

所述挂载待处理视频数据的边缘端节点将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到所述处于空闲工作状态的n个边缘端节点；

所述挂载待处理视频数据的边缘端节点将所述m段子视频中的第i段子视频的时间戳标识信息和处理所述第i段子视频的边缘端节点的IP标识信息的对应关系发送到所述中心端，i=1、2、…、m。

2.根据权利要求1所述的方法，其特征在于，所述挂载待处理视频数据的边缘端节点通过物理形态接口安装一块或者多块计算模组，所述计算模组通过通道与主机的处理器连接，所述主机的处理器将所述待处理视频数据通过所述通道发送到所述一块或者多块计算模组。

3.根据权利要求1所述的方法，其特征在于，所述挂载待处理视频数据的边缘端节点将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到所述处于空闲工作状态的n个边缘端节点，具体包括：

所述分流请求发生后，

如果对所述待处理视频数据进行视频结构化分析的工作量小于或等于所述处于空闲工作状态的n个边缘端节点总的处理能力，则只有部分所述处于空闲工作状态的n个边缘端节点会接收所述挂载待处理视频数据的边缘端节点发送的子视频；

如果对所述待处理视频数据进行视频结构化分析的工作量大于所述处于空闲工作状态的n个边缘端节点总的处理能力，则所述处于空闲工作状态的n个边缘端节点中的若干个边缘端节点再次处于空闲工作状态时，会继续接收所述挂载待处理视频数据的边缘端节点发送的子视频。

4.根据权利要求1所述的方法，其特征在于，所述挂载待处理视频数据的边缘端节点不对所述待处理视频数据进行结构化分析。

5.根据权利要求1所述的方法，其特征在于，所述挂载待处理视频数据的边缘端节点将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到所述处于空闲工作状态的n个边缘端节点，具体包括：

将所述m段子视频的序号分别标记为视频1、视频2、...、视频i、...、视频m，所述视频i对应的时间戳标识信息为Ti；所述挂载待处理视频数据的边缘端节点将加密后的（视频i、Ti）信息发送给所述处于空闲工作状态的n个边缘端节点中的第i个边缘端节点，其中i=1、2、…、m。

6.根据权利要求1所述的方法，其特征在于，所述挂载待处理视频数据的边缘端节点将所述m段子视频中的第i段子视频的时间戳标识信息和处理所述第i段子视频的边缘端节点的IP标识信息的对应关系发送到所述中心端，具体包括：

所述处于空闲工作状态的n个边缘端节点中的第i个边缘端节点的IP标识信息为IPi，分流到IP标识信息为IPi的边缘端节点的视频段的时间戳标识信息为Ti，i=1、2、…、m；所述挂载待处理视频数据的边缘端节点将{（IP1，T1）、（IP2，T2）、...、（IPi，Ti）、...（IPm，Tm）}信息打包发送到中心端。

7.根据权利要求1所述的方法，其特征在于，所述挂载待处理视频数据的边缘端节点将所述m段子视频中的第i段子视频的时间戳标识信息和处理所述第i段子视频的边缘端节点的IP标识信息的对应关系发送到所述中心端之后，还包括：所述处于空闲工作状态的n个边缘端节点中的每个边缘端节点i都将接收到的视频片段进行解码，解码后的数据流分成两份，一份进入编码器进行编码产生编码视频流，另一份进行视频结构化分析计算产生计算结果；分别对所述编码视频流和所述计算结果进行加密，将加密后的编码视频流和加密后的计算结果进行数据合并，将数据合并后的数据合并结果和对应的时间戳标识信息Ti发送到所述中心端，所述i=1，2、...、m。

8.根据权利要求7所述的方法，其特征在于，所述将数据合并后的数据合并结果和对应的时间戳标识信息Ti发送到所述中心端之后，还包括：所述中心端接收边缘端节点i发送的所述数据合并结果和所述对应的时间戳标识信息Ti，待所述中心端接收完所述m个边缘端节点所发送的所述数据合并结果和所述对应的时间戳标识信息后，根据预先存储的时间戳标识信息进行匹配，对所有的所述数据合并结果进行拼接，得到完整的计算结果。

9.根据权利要求7所述的方法，其特征在于，所述n个边缘端节点中的边缘端节点i在所述进行数据合并，将数据合并后的数据合并结果和对应的时间戳标识信息Ti发送到所述中心端后，还会向所述中心端报告空闲状态信息。

10.一种基于边缘计算的对视频进行结构化分析的装置，所述装置用于实现权利要求1所述的方法，所述装置包括：

多个边缘端节点；

任务发起边缘端节点，用于向中心端发起视频结构化分析任务的分流请求；

根据对待处理视频数据进行视频结构化分析的工作量将所述待处理视频数据切割成m段子视频，其中，每段子视频配置有对应的时间戳标识；

将所述m段子视频和所述m段子视频中的每段子视频各自对应的时间戳标识发送到边缘端节点中处于空闲工作状态的边缘端节点中；

将所述m段子视频中的第i段子视频的时间戳标识信息和处理所述第i段子视频的边缘端节点的IP标识信息的对应关系发送到中心端，i=1、2、…、m；

中心端，用于响应所述分流请求后向所述任务发起边缘端节点发送处于空闲工作状态的边缘端节点的个数及对应的IP标识信息。

Images