CN102868874B - 一种智能分析业务迁移方法及装置 - Google Patents

Abstract

一种智能分析业务迁移方法及装置。本发明提供一种视频管理服务器，应用于监控系统中，该视频管理服务器包括：配置接收单元，用于通过管理通道接收用户下发的前端编码设备的智能分析业务的迁移配置；业务控制单元，用于在前端编码设备向后端解码设备发送实况流时根据所述迁移配置通知后端解码设备接管至少一项前端编码设备的智能分析业务；结果汇总单元，用于接收后端解码设备上报的智能分析结果，并将智能分析结果发送给用户。本发明通过视频管理服务器的协调对智能分析这样的控制业务进行调度，充分利用后端解码设备上限制的计算资源。

Description

一种智能分析业务迁移方法及装置

技术领域

本发明涉及视频监控技术，尤其涉及一种监控网络中智能分析业务的迁移方法及装置。

背景技术

视频监控系统已经广泛在各个行业中得到了大量部署，其带来的便利性以及安全性是不言而喻的。请参考图1，典型的视频监控系统包括摄像机、编码前端设备（比如编码器EC）、解码后端设备（比如解码器DC）、视频管理服务器VM、媒体转发服务器MS、数据管理服务器DM以及中间的网络设备（如交换机）。摄像机采集的图像经由EC编码后形成业务数据，在各种服务器的协助下将业务数据发送到DC，然后解码经过视频分割器处理后呈现到TV墙（包括多个显示屏幕）上。

在现有的视频监控系统中，当操作人员盯着屏幕电视墙超过10分钟后将漏掉大量的视频信息而使这项工作失去意义。在伦敦地铁案中，安保人员花了大约70个工时才在大量磁带中找到需要的信息。因此基于上述两点，视频分析系统将正在成为监控系统的标准特性配置。

智能分析的种类很多，包括越界分析、入侵分析、丢失分析、方向分析、滞留分析、智能跟踪、人数统计等。如果用户对智能分析的实时性要求较高，则一般会选择在编码前端设备（比如编码器EC）上进行智能分析，如果用户对智能分析的实时性要求不高的可部署在后端服务器上按计划执行等。请参考图1，对于实时性要求较高的场景，EC可以实时执行预先部署好各种智能分析业务，然后将图像的分析结论上报给视频管理服务器VM，由VM下发给操作人员所在的客户端上。

现有视频监控系统中的智能分析业务多为告警类业务，实时性要求较高，一般由前端编码器进行分析触发智能分析业务的告警，通过告警信令发送给VM服务器进行汇总，VM根据各用户的订阅情况，将告警分发给对应的用户。然而，当EC上配置多种智能分析业务的时候，前端性能不足，可能影响EC正常的实况视频流（也就是业务数据）的分发任务。

发明内容

有鉴于此，本发明提供一种视频管理服务器，应用于监控系统中，其中该监控系统还包括前端编码设备以及后端解码设备，该视频管理服务器包括：配置接收单元、业务控制单元以及结果汇总单元，其中：

业务控制单元，用于在前端编码设备向后端解码设备发送实况流时通知后端解码设备接管至少一项前端编码设备的智能分析业务；

结果汇总单元，用于接收后端解码设备上报的智能分析结果，并将智能分析结果发送给用户。

本发明还提供一种前端编码设备，应用于监控系统中，其中该监控系统还包括视频管理服务器以及后端解码设备，该前端编码设备包括：前端业务单元、前端分析单元、前端控制单元；其特征在于：

前端业务单元，用于对采集到的图像进行编码形成实况流，并将实况流发送给请求该实况流的后端解码设备；

前端分析单元，用于执行智能分析业务，对实况流进行智能分析并输出智能分析结果；

前端控制单元，用于通过信令通道接受视频管理服务器的管理与调度，并根据视频管理服务器的通知，在自身智能分析业务被后端解码设备接管时通知前端控制单元停止该项智能分析业务；或者根据视频管理服务器的通知，在后端解码设备退出接管自身的智能分析业务时通知前端分析单元继续执行该项智能分析业务。

本发明还提供一种后端解码设备，应用于监控系统中，其中该监控系统还包括视频管理服务器以及前端编码设备，该后端解码设备包括：后端业务单元、后端分析单元、后端控制单元；其特征在于：

后端业务单元，用于将接收到的来自前端编码设备的实况流解码并输出；

后端分析单元，用于执行智能分析业务，对实况流进行智能分析并输出分析结果；

后端控制单元，用于根据视频管理服务器的通知后端分析单元接管前端编码设备上的至少一项智能分析业务或者智能分析业务的子业务。

本发明通过视频管理服务器的协调在实况传输这样的数据业务过程中，对智能分析这样的控制业务进行调度，充分利用后端解码设备上限制的计算资源，避免了现有技术中针对智能分析业务需要投入的大量服务器这样的计算资源的问题。

附图说明

图1是现有技术中一种典型的视频监控系统的组网图。

图2是本发明一种实施方式中智能分析业务迁移的流程图。

图3是本发明一种实施方式中视频管理服务器的逻辑结构图。

图4是本发明一种实施方式中前端编码设备的逻辑结构图。

图5是本发明一种实施方式中后端解码设备的逻辑结构图。

图6是本发明一种实施方式中视频监控系统的组网图。

具体实施方式

请参考图6，本发明一种优选的实施方式中提供一种视频监控系统，该系统包括摄像机、编码前端设备（比如编码器EC或网络摄像机IPC）、解码后端设备（比如解码器DC）、视频管理服务器VM、媒体转发服务器MS、数据管理服务器DM以及中间的网络设备（如交换机）。摄像机采集的图像经由EC编码后形成业务数据，在各种服务器的协助下将业务数据发送到DC上，然后解码呈现到显示终端（比如TV墙）上。与现有组网方案不同的是，图1所示的方案中通常使用DC与视频分割器进行配合，以将一副清晰度较高的图像呈现在由多个显示屏构成的TV墙上。在本发明中，部署成本很高的视频分割器是可以省略掉的，相较于现有技术成本可以大幅度降低。

请参考图2至图5所示，其中VM包括：配置接收单元、业务控制单元以及结果汇总单元；所述EC包括前端业务单元、前端分析单元、前端控制单元；所述DC包括后端业务单元，后端分析单元以及后端控制单元。以下以计算机程序实现或可编程器件实现为例来介绍EC、DC、VM是如何进行智能业务配合的。在一种实施方式中，智能分析业务的处理以及处理迁移过程包括以下步骤：

步骤101，VM服务器的配置接收单元通过管理通道接收用户下发的EC智能分析业务的迁移配置；

步骤102，VM服务器的业务控制单元接收DC的后端控制单元定期上报的DC性能参数；

步骤103，DC的后端控制单元向VM发起实况引流请求；

步骤104，VM的业务控制单元通知EC的前端业务单元将编码过的实况流发送给DC的后端业务单元；

步骤105，DC的后端控制单元通知后端分析单元根据VM的业务控制单元下发的接管指令对接收到的实况流进行智能分析以接管至少一项EC上的智能分析业务；

步骤106，DC的后端控制单元通知VM的业务控制单元自身已经完成对智能分析业务的接管；

步骤107，VM的业务控制单元通知EC的前端控制单元停止EC上被DC接管的智能分析业务；

步骤108，DC的后端分析单元将智能分析结果上报给VM的结果汇总单元；

步骤109，DC的后端控制单元向VM的业务控制单元发送离开请求；

步骤110，VM的业务控制单元通知EC的前端控制单元停止发送实况流；

步骤111，EC的前端控制单元通知前端业务单元停止发送视频流，并通知前端分析单元重新启动被接管的智能分析业务；

步骤112，VM的结果汇总单元将智能分析结果分发到至少一个用户的客户端。

EC在上电启动之后，其前端业务单元就可以开始对摄像机采集到的模拟图像进行编码以形成数字化格式的实况流，并同时展开智能分析业务，把对实况流的智能分析结果上报给VM或者其他服务器。而DC的前端控制单元可以通过信令通道向VM来请求EC上的实况流，DC的业务处理单元收到实况流后对实况流进行解码然后呈现在后端与DC相连的显示屏上。如果用户不再想观看EC上的实况时，或者用户希望切换到其他EC上时，DC可以根据用户的需要发送离开请求，VM通知EC停止发送实况流。以上描述一次典型的实况流的业务传输的大概过程（简称为实况引流），在这个过程中可能会有MS来协助进行实况流的转发，而实况流的传输方式可能是单播传输方式也可能会使用组播传输方式，这取决于实际业务需要；更多实况流的传输与处理技术可以参考本申请人曾经提出的相关专利申请或其他相关现有技术。

本发明在进行实况流传输的开始阶段以及结束阶段分别对EC上的智能分析业务进行迁移和回迁。在以上实施方式中，迁移配置过程其实并不是必须的，其完全可以是固定迁移模式，并不需要经过复杂的判断或者分解处理，比如说EC上只有一种智能分析业务，比如入侵检测，此时不考虑其他因素，DC在接收实况流时来接管EC上的入侵检测这项智能分析业务，即实现智能分析业务的迁移；DC停止接收实况流时再把入侵检测“交还”给EC，退出接管以实现智能分析业务的回迁。假设EC上部署了滞留分析、智能跟踪以及人数统计三种智能分析业务；假设VM上配置的迁移配置限定迁移智能跟踪，此时步骤107中VM仅仅会针对智能跟踪这项智能分析业务进行迁移调度，在调度之前VM的业务控制单元还可以检查接管DC的性能是否满足预设要求，如果不满足则放弃选择当前DC，如果满足则继续。假设迁移配置对被迁移的智能分析业务不做任何限定，此时VM则可能根据DC的性能来确定迁移哪些智能分析业务，以尽可能地多利用DC上的计算资源，同时确保智能分析业务不会因为DC的性能限制而受到影响。

事实上，实际的实况业务的传输与分析是比较复杂的，比如说EC上的智能分析业务可能不止一种，而接收EC上的实况流的DC也可能不止一个。在优选的实施方式中，考虑到与EC建立实况流传输业务的DC可能有很多个，此时VM的业务控制单元可以根据DC的后端控制单元定期上报的DC性能参数（比如CPU占用率以及内存使用率等）确定到一个或者多个空闲资源最为丰富的DC来接管EC上的一项或者多项智能分析业务。

为了进一步优化本发明的在迁移和回迁的实现效果，在优选的实施方式中，需要进行相关的迁移配置，迁移配置主要包括DC接管表，即如何安排DC来接管EC上的智能分析业务。对于EC上有多项智能业务，迁移配置需要明确哪些项业务由DC来接管，如果DC有多个，由哪个DC来接管。对于EC上的单项智能分析业务，如果可以将其拆分为多个子业务，则同样需要明确哪些子业务由哪个DC来接管。在优选的实施方式中，不同子业务之间是不同的图像区域来进行区分的，即不同的子业务表示对相同实况流图像的不同图像区域的进行相同的智能分析。迁移配置本身可以由用户手工生成，比如说用户从管理客户端向VM下发智能分析业务的迁移配置，迁移配置还可以由VM自动生成，VM根据DC上报的性能参数，根据预定的算法规则来生成迁移配置。以下通过更为具体的实现来对迁移配置以及对应的迁移过程进行说明。

请参考图6，假设EC上配置有运动检测和方向分析两种智能分析业务，当EC的实况流传输到DC1、DC2、DC3、DC4经过解码在TV墙上展示时（可以简称为EC上墙，模式为4屏），此时迁移配置的具体内容可以包括：运动检测业务由DC1和DC2共同接管，方向分析子业务由DC3和DC4完成。其中DC1负责接管的子业务为EC实况流的图像中区域1的运动检测，而DC2负责接管的子业务为EC实况流的图像中区域2的运动检测；DC3负责接管的子业务为EC实况流的图像中区域a的方向分析，而DC4负责接管的子业务为EC实况流的图像中区域b的方向分析。此时迁移配置的DC接管表的具体数据可以参考表1所示。

EC前端的摄像机	TV墙模式	DC编号	智能分析业务	子业务
					Camera1	4屏	DC1	运动检测	图像区域1
Camera1	4屏	DC2	运动检测	图像区域2
					Camera1	4屏	DC3	方向分析	图像区域a
Camera1	4屏	DC4	方向分析	图像区域b

表1

在优选的方式中，如果涉及到TV墙对应的一个DC组，此时迁移配置还可以包括主DC的指定，比如说指定表1中的DC1作为主DC，由主DC负责与VM进行信令交互，比如请求实况流，发送离开请求等等，这样使得信令交互变得更加简洁；相应地，VM通知EC发送实况流时，可以指示EC通过组播的方式将实况流发送到DC1、DC2、DC3、DC4。

使用组播传输的好处除了可以节约带宽之外，更重要的是：由于DC1、DC2、DC3、DC4通常会通过同一个交换机接入，而交换机分发组播流是复制分发的方式，因此DC1、DC2、DC3、DC4得到的四个实况流之间在时间上是基本同步，各个DC可以轻松得到相同的完整图像。此时DC1、DC2、DC3、DC4的各个后端业务单元实际上可以根据解码区域配置分别将图像的一部分区域进行解码，然后解码后的实况流对应输出到TV墙上的各个屏幕上，这样一来TV墙上就可以呈现出完整的图像，因此本实施方式下不再需要部署视频分割器。其次，由于DC1、DC2、DC3、DC4得到的四个实况流在时间上是基本同步的，各个DC的智能分析结果也基本同步了，无需引入复杂的同步设计。在DC结束实况引流之后，各个DC可以将自身的智能分析结果上报给VM的结果汇总单元，或者通过主DC上报给VM的结果汇总单元。

本发明可以借助VM的协调将EC上的智能分析业务迁移到与EC有实况业务关系的DC上，这样可以有效减轻EC的处理负担，尤其是可以在EC承担较多实况传输业务时来减轻EC的负担，这样的减负非常及时，并且充分利用了视频监控系统中大量DC上的闲置可以被利用的计算资源，而且如果后端使用TV墙时，本发明巧妙利用组播传输的特点使得用户无需再部署成本较高的画面拼接器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种视频管理服务器，应用于监控系统中，其中该监控系统还包括前端编码设备以及后端解码设备，该视频管理服务器包括：配置接收单元、业务控制单元以及结果汇总单元，其特征在于：

业务控制单元，用于在前端编码设备向后端解码设备发送实况流时通知后端解码设备接管至少一项前端编码设备的智能分析业务；并在接收到后端解码设备发送的离开请求时通知前端编码设备停止发送实况流，以使得所述前端编码设备重新启动所述智能分析业务；

结果汇总单元，用于接收后端解码设备上报的智能分析结果，并将智能分析结果发送给用户。

2.如权利要求1所述的服务器，其特征在于，还包括配置接收单元，用于通过管理通道接收用户下发的前端编码设备的智能分析业务的迁移配置；所述业务控制单元进一步用于在前端编码设备向后端解码设备发送实况流时根据所述迁移配置通知后端解码设备接管至少一项前端编码设备的智能分析业务。

3.如权利要求1所述的服务器，其中所述业务控制单元进一步用于在收到后端解码设备的完成接管通知后，通知所述前端编码设备停止被接管的智能分析业务。

4.如权利要求1所述的服务器，其中所述业务控制单元进一步用于根据迁移配置通知不同的后端解码设备接管同一个前端编码设备上不同的智能分析业务或者用于根据迁移配置通知不同的后端解码设备接管同一个前端编码设备上不同的智能分析子业务，其中所述不同的智能分析子业务隶属于同一个智能分析业务。

5.如权利要求4所述的服务器，其中所述业务控制单元进一步用于在不同后端解码设备接管同一智能分析业务下的不同子业务时，通知前端编码设备发送组播实况流以利于通过相同接入设备接入的所述不同后端解码设备得到同步的实况流。

6.如权利要求5所述的服务器，其特征在于，其中所述不同的子业务表示对相同实况流图像的不同图像区域进行相同的智能分析。

7.一种前端编码设备，应用于监控系统中，其中该监控系统还包括视频管理服务器以及后端解码设备，该前端编码设备包括：前端业务单元、前端分析单元、前端控制单元；其特征在于：

前端业务单元，用于对采集到的图像进行编码形成实况流，并将实况流发送给请求该实况流的后端解码设备；

前端分析单元，用于执行智能分析业务，对实况流进行智能分析并输出智能分析结果；

前端控制单元，用于通过信令通道接受视频管理服务器的管理与调度，并根据视频管理服务器的通知，在自身智能分析业务被后端解码设备接管时通知前端控制单元停止该项智能分析业务；或者根据视频管理服务器的通知，在后端解码设备退出接管自身的智能分析业务时通知前端分析单元继续执行该项智能分析业务。

8.如权利要求7所述的设备，其特征在于，所述前端控制单元进一步用于在不同的后端解码设备接管自身的智能分析业务时，根据视频服务器的通知通过组播的方式将实况流发送给后端解码设备。

9.一种后端解码设备，应用于监控系统中，其中该监控系统还包括视频管理服务器以及前端编码设备，该后端解码设备包括：后端业务单元、后端分析单元、后端控制单元；其特征在于：

后端业务单元，用于将接收到的来自前端编码设备的实况流解码并输出；

后端分析单元，用于执行智能分析业务，对实况流进行智能分析并输出分析结果；

后端控制单元，用于根据视频管理服务器的通知后端分析单元接管前端编码设备上的至少一项智能分析业务或者智能分析业务的子业务；

所述后端控制单元进一步用于在退出接管所述智能分析业务或者智能分析业务的子业务时，通知所述视频管理服务器，以便于视频管理服务器将智能分析业务调度回前端编码设备上。

10.如权利要求9所述的设备，其特征在于，所述后端分析单元进一步用于将分析结果发送给视频管理服务器，或者用于将智能分析业务的子业务的分析结果发送给预定的主后端解码设备或所述视频管理服务器。

11.如权利要求9所述的设备，其特征在于，其中不同的所述智能分析业务的子业务表示对相同实况流图像的不同图像区域进行相同的智能分析。