CN107071342B - 一种异常事件自动推送及基于历史操作的监控方法及系统 - Google Patents

Abstract

本发明提出一种异常事件自动推送及基于历史操作的监控方法及系统，涉及监控室内视频墙智能显示领域，该方法包括获取多路视频流，对所述多路视频流进行编解码操作，生成与每路所述视频流相对应的图像帧，通过识别算法对所述图像帧进行异常事件识别，获取与具有异常事件的图像帧相对应的某路视频流，显示所述某路视频流，并进行报警，其中按照设定的瞬时异常事件/长时间异常事件的区别时间阈值对异常事件进行异常类型的区分；以时间为坐标，记录用户对所述监控视频墙的历史操作，根据所述历史操作，播放所述历史操作中被操作频率大于等于一阈值的一路视频流。

Description

一种异常事件自动推送及基于历史操作的监控方法及系统

技术领域

本发明涉及监控室内视频墙智能显示领域，特别涉及一种异常事件自动推送及基于历史操作的监控方法及系统。

背景技术

随着摄像头安装数量的日益增多,以及智慧城市和公共安全需求的日益增长,视频监控成为安防、管理、远程信息获取的重要手段，摄像头获取的实时视频资源通过网络传输至监控中心，经过视频编解码实时投送至视频墙，监控人员通过观察视频墙上的多块视频画面来监控场所、对象等内容，随着对监控精度和范围的需求逐步增强，视频摄像头的数量和传输至监控中心的视频资源急剧增长，国内的摄像头数量正在以每年20％的数量逐渐增加，截止2015年10月，北京摄像头数量已超过30万个，相关设备管理和监控人员达到4300余人，庞大的摄像头数量和采集的实时视频信息给监控人员带来了巨大的挑战，在监控中心，例如上海地铁指挥中心，液晶屏幕全长约15米，高3.7米，显示面积约53平方米，投放的独立视频画面几十上百个，这对屏幕监控人员来说负担非常重，而且对于安全性要求非常高的区域监控，监控人员24小时观察视频，非常容易造成漏看的问题，例如对于瞬间闯入和离开的异物，通过观察很容易产生漏看的问题。

在已报道和所能查阅到的国内外相关研究中，关于监控视频墙的构建和智能化处理的研究情况总结如下：

对于视频采集、网络传输、视频墙的搭建和数据传输的结构设计已经有众多的成熟产业研究方案，在此不列举，且本发明不注重与设备相关的拓扑和物理硬件的搭建。

对于视频资源智能处理系统，目前已存在很多的图形图像识别算法和软件系统，能够识别视频中出现的异常信息，并对于出现异常信息的视频画面在视频墙上主动投送和报警，且存在智能报警信息主动投送至监控人员的手持设备中。

随着摄像头数量的不断增加，监控中心面临的压力会越来越大，如何有效降低监控中心的监控压力，同时提高监控的准确度，是视频监控发展所必须面对的主要问题之一。

发明内容

本发明旨在进一步提高视频监控中心的视频墙智能处理程度，有效减轻监控人员的压力，提高监控的准确度和效率，本发明提出一种异常事件自动推送及基于历史操作的监控方法及系统。

本发明提出一种异常事件自动推送及基于历史操作的监控方法，用于监控视频墙，包括：

步骤1，获取多路视频流，对所述多路视频流进行编解码操作，生成与每路所述视频流相对应的图像帧，通过识别算法对所述图像帧进行异常事件识别，获取与具有异常事件的图像帧相对应的某路视频流，显示所述某路视频流，并进行报警，其中按照设定的瞬时异常事件/长时间异常事件的区别时间阈值对异常事件进行异常类型的区分，对不同类型的异常事件，采取不同的报警措施与显示措施；

步骤2，以时间为坐标，记录用户对所述监控视频墙的历史操作，根据所述历史操作，播放所述历史操作中被操作频率大于等于一阈值的一路视频流。

报警的方式包括声音报警或视频突出的方式进行报警。

若异常事件为瞬时异常事件，则将具有瞬时异常事件的图像帧相对应的某路视频流发送到异常视频播放显示设备，并进行循环播放。

若异常事件为长时间异常事件，所述视频墙发出报警警示声音，并将所述长时间异常事件的视频播放画面填加警示颜色框，或将播放所述长时间异常事件的视频播放画面的屏幕放大，或将所述长时间异常事件的视频播放画面投送至已设置的专用显示器上进行显示。

视频突出的方式包括对监控视频墙异常画面屏幕边框标识警示颜色。

本发明还提出一种异常事件自动推送及基于历史操作的监控系统，用于监控视频墙，包括：

异常报警模块，用于获取多路视频流，对所述多路视频流进行编解码操作，生成与每路所述视频流相对应的图像帧，通过识别算法对所述图像帧进行异常事件识别，获取与具有异常事件的图像帧相对应的某路视频流，显示所述某路视频流，并进行报警，其中按照设定的瞬时异常事件/长时间异常事件的区别时间阈值对异常事件进行异常类型的区分，对不同类型的异常事件，采取不同的报警措施与显示措施；

智能控制模块，用于以时间为坐标，记录用户对所述监控视频墙的历史操作，根据所述历史操作，播放所述历史操作中被操作频率大于等于一阈值的一路视频流。

报警的方式包括声音报警或视频突出的方式进行报警。

若异常事件为瞬时异常事件，则将具有瞬时异常事件的图像帧相对应的某路视频流发送到异常视频播放显示设备，并进行循环播放。

若异常事件为长时间异常事件，所述视频墙发出报警警示声音，并将所述长时间异常事件的视频播放画面填加警示颜色框，或将播放所述长时间异常事件的视频播放画面的屏幕放大，或将所述长时间异常事件的视频播放画面投送至已设置的专用显示器上进行显示。

视频突出的方式包括对监控视频墙异常画面屏幕边框标识警示颜色。

由以上方案可知，本发明的优点在于：

本发明在检测到某一路视频出现异常事件时，通过异常报警模块的控制，夺取其它几路视频的播放屏幕的使用权，通过几块相邻屏幕共同播放出现异常事件的视频路，方便监控人员观察；

本发明还能够基于历史记录决定当前视频墙播放哪些路视频流，实现智能控制，减轻监控人员的负担。

附图说明

图1为视频监控整体框架结构示意图；

图2为视频智能分析设备结构及功能示意图

图3为长时间异常事件主动报警及醒目播放功能示意图；

图4为瞬时异常事件主动报警及循环播放功能示意图；

图5为智能学习设备结构及功能示意图；

图6为监控人员习惯操作智能学习功能示意图。

具体实施方式

本发明的目的在于提出一种异常事件自动推送及基于历史操作的监控方法及系统，如图1所示，本发明的总体思路是：在现有的视频墙构造基础上，添加支持异常事件智能推送显示功能106、瞬时异常信息自动推送及循环播放功能107以及监控人员操作习惯智能学习功能108的系统。

以下为本发明的背景知识及概念定义，如下所示：

视频编解码：摄像头拍摄的视频通常每秒几十帧(根据需求变化)，一帧视频画面通常几M大小(根据清晰度需求变化)，因此每秒视频有可能几十M上百M大小，这对于用网络传输来说，数据量太大，因此需要对视频数据进行编码，压缩视频大小，经过网络传输之后，再经过解码才能变成视频摄像头拍摄的视频进行播放。

图形图像识别算法：视频经过网络传输之后，进行解码，解码后的视频流恢复一帧帧的视频画面，对于这些画面可以用一些图形图像算法进行模式识别，识别出想要的结果，例如识别出街道上的汽车等。这些识别算法通常需要提前训练，即通过大量的汽车的图片来训练算法，让算法能够知道汽车的样子，之后会根据训练的结果去识别图片中的相应的物体。

异常事件：在视频监控中，异常事件是指监控人员关心的与常态不同的人、物、事件等在监控视频中出现或发生，例如，禁止人员进入的区域出现非法人员的闯入，高速公路出现非法人行走或物体(石头、树枝)或其它异常事件(交通事故、堵塞)。

瞬时异常事件：在监控视频中极短时间内出现的异常事件，对于时间长短的界定，可由监控人员进行设定，例如可以设定持续1秒以内的事件为瞬时异常事件。

长时间事件：在监控视频中长时间时间内发生的异常事件，对于时间长短的界定，可由监控人员进行设定，例如可以设定持续1秒以上持续出现的事件为长时间异常事件。

如图2所示为长时间异常事件主动报警及主动醒目播放功能106示意图，视频画面由众多摄像头采集201，经过网络传输至监控室的多路视频编解码模块202，编解码后通过异常视频智能识别模块203进行多路视频的异常画面识别，对于正常的视频按照设定，将相应的视频画面投送至视频墙上205，对于异常的长时间事件发送视频，进行主动报警及醒目播放206，即当发现有异常事件发生时，视频墙发出报警警示声音，并将异常事件的视频播放画面加警示颜色框207，或者主动将此屏幕放大208，或者将异常视频投送至其它专用显示器上显示209，以方便监控人员的迅速观察。

如图3所示为瞬时异常事件主动报警及主动循环播放功能107示意图。视频画面由众多摄像头采集301，经过网络传输至监控室的多路视频编解码模块302，编解码后通过异常视频智能识别系统303进行多路视频的异常画面识别。对于正常的视频按照设定，将相应的视频画面投送至视频墙上305，对于瞬时异常事件，将会主动报警并对相应的视频画面进行循环播放306，所谓瞬时异常画面是指在监控视频中短时间出现的异常事件，例如在禁止人通过的区域，有个人在画面中奔跑通过，出现在视频画面中的时间可能短短几秒甚至不到一秒。这样的异常事件对于监控人员来说非常容易漏掉，因为监控室的视频墙上可能有几十个甚至上百个不同的视频画面在同时播放，因此，本功能即为主动识别瞬时异常事件并将异常事件视频段投放到专用的瞬时事件播放装置上进行循环播放，方便监控人员进行下一步行动的判断，因为，对于瞬时出现的异常画面，有可能并不是真正关心的异常事件，例如在禁止出现人的区域，突然有个塑料袋被风吹起在摄像头前飞过，这样的瞬时事件即为非关心事件，所以需要设置专门的瞬时事件循环播放装置，进行循环播放，方便监控人员进行识别判断。

如图4所示为监控人员操作习惯智能学习功能示意图。通过在监控人员和视频墙之间添加智能学习设备108，对监控人员的操作习惯(什么时间段看哪部分视频画面)以时间为坐标进行历史记录和智能学习，首先是监控人员按照自己的意愿对需要查看的摄像头视频画面投送到视频墙上进行播放，在监控人员进行视频墙播放视频控制的时候，控制信号会被智能学习设备所捕获并存储，通过对历史操作习惯进行分析，可以得到用户的操作行为模式，以此实现智能控制模式。

下面结合附图，对本发明做进一步的详细描述。

为了实现，或者说是具体实施本项发明，我们给出以下关于发明实施的描述，如图1所示，整个发明基于传统的视频摄像头采集101、视频数据传输102、视频编解码103并最终呈现在视频墙105，供监控人员109观察。在此基础之上，本发明实现了智能视频异常事件识别及推送设备106、瞬时异常事件循环播放设备107以及用户操作历史智能学习设备108。

以下为各功能模块具体操作步骤：

长时间异常事件识别、报警及醒目推送(106)：

如图3所示，监控视频首先经过多路采集摄像头进行全面的采集301，之后将采集的视频经过网络传输至视频编解码设备302，经过编解码的视频才能投放在视频墙105显示装置中。视频墙105由多块显示器组成，每一块显示器显示一路视频流。所谓一路视频流的“路”是指，从一个摄像头采集到的连续视频数据称为一路数据，N个摄像头采集到的视频流即为N路数据流(N路视频流)。

在视频编解码之后，视频墙105显示之前，本发明添加了智能识别设备303，对编解码之后的视频进行异常事件智能识别，具体实现如图2所示，视频编解码设备103处理后的视频流变成可供视频智能分析设备104分析的图像帧，视频智能分析设备104包括服务器201软硬件系统、图像识别软件202、异常报警软件203，其中，图像识别软件202中的识别算法采用通用的智能识别算法，例如卷积神经网络学习算法(CNN)、Faster-CNN算法、HOG算法等，识别的过程是首先建立异常事件图像图库，用于训练识别算法，之后识别算法对视频编解码之后的图像帧进行识别，从而发现异常事件的发生，此为非本发明重点，在此不详述。与传统不同的是，本发明在识别算法识别到异常事件之后，引发异常报警软件203，报警软件203首先识别是哪路视频流发生异常，之后按照监控人员设定的瞬时异常事件/长时间异常事件区别时间阈值进行异常类型的区分，例如时间阈值设定为3秒钟，则发生的异常事件持续时间高于3秒时，标记此视频路发生长时间异常事件。

对于正常视频，按照普通处理方法，投送至视频墙105，对于识别的长时间异常事件视频流(例如，堵车、交通事故、游行、禁区闯入等长时间异常事件)，异常报警软件会对相应的视频流进行报警处理，对于报警，可采用声音报警(软件引发服务器201喇叭，发出报警声音)，也可以采用视频突出的方式进行报警，例如视频墙异常画面屏幕边框出现警示颜色307、异常视频屏幕主动放大播放308以及将异常视频投送至专用的显示器中309等方式通知监控人员并方便监控人员及时观察和识别。

对于视频墙异常画面屏幕边框出现警示颜色307，可以采取两种方法进行实现：1)在每块屏幕的周围安装物理显示灯，当发生异常事件时，异常报警软件203控制相应的视频路播放显示器进行物理显示灯点亮操作，提醒监控人员；2)在图像识别软件202进行图形图像识别时，对图像进行边界处理，添加醒目的颜色，跟随视频同时播放在相应的显示器上。

对于常视频屏幕主动放大播放208，如图2所示，在检测到某一路视频出现异常事件时，通过异常报警软件的控制，夺取其它几路视频的播放屏幕的使用权，通过几块相邻屏幕共同播放出现异常事件的视频路，方便监控人员观察。

对于异常视频投送至专用的显示器中309，在视频墙之外，单独配置专用显示器，当某路视频发生异常事件时，主动将异常视频投送至单独配置的专用显示器进行显示，方便监控人员观察。

值得注意的是，虽然目前的识别算法精度已经非常高，但是仍会存在一定的误报，对于误报，需要监控人员控制智能识别设备进行误报解除310，视频墙恢复正常状态311，对于异常事件解除之后，智能识别设备能够控制视频墙，恢复到正常播放状态，实现警报解除。

瞬时异常事件识别、报警及循环播放(107)：

如图4所示,和发明点1类似，经过视频摄像头采集、传输、编码之后，异常视频智能识别软件对视频进行异常识别，当识别出瞬时异常事件发生时，异常事件报警软件会主动报警并将瞬时异常视频投送到专门的异常视频播放显示设备107，对于瞬时的异常视频，因为在视频墙上瞬间消失，所以对于监控人员来说，非常难于观察，因此，当识别出瞬时异常事件时404，瞬时异常画面将会被投送至专用显示器装置中107，进行循环播放，以便于监控人员进行二次判断是否为关注的异常事件，并采取进一步行动。

当监控人员对瞬时异常事件进行识别和处理后，视频墙和专用瞬时异常事件显示设备恢复正常408。

用户操作历史智能学习(108)：

如图5所示，本发明点通过分析监控人员的操作历史来智能学习并形成智能操作模式，由于采集的视频画面路数会远远大于视频墙所能同时播放的视频数量，因此监控人员会选择比较关心的一部分视频画面进行播放，例如对于交通指挥中心来说，对于一天的不同时段，监控人员会播放不同路段的视频画面，因为不同时段，所关注的拥堵点会不同，例如，对于工作日，上班高峰期，监控人员可能关注重点办公圈的路况信息，而对于节假日来说，旅游景点和各种消费商圈的路况信息则更受监控人员或者行驶在路上的人的关注。

在监控人员对视频墙的播放画面进行选择时，其历史操作将会以时间为坐标进行记录，经过一段时间的记录，智能控制模块会根据历史记录执行自动控制画面功能，对于基于历史记录的智能操作模式的计算可以采用多种算法实现，例如概率加权法、最近最常使用等等，对历史操作记录进行读取和计算，形成控制模式，所形成的控制模式，播放所述历史操作中被操作频率大于等于一阈值的一路视频流，实现智能控制，减轻监控人员的负担。

如图5所示，监控人员109会在不同的时段对关心的视频流进行播放，由于显示器资源有限，无法将摄像头采集到的视频流全部播放，因此只能选择关心的视频流进行播放，在监控人员109进行选择播放的时候，用户的操作信号会同时发送到用户操作习惯智能学习设备108中，对用户的操作存储至用户历史操作记录数据库501中，存储的内容包括：时间，显示器编号，视频路编号等，表示用户在某个时刻，选择某路视频，投放到某块显示器上，对于决策计算，基于历史数据进行计算预测监控人员在未来的时刻将会关心哪些视频路的情况，例如可以查询每周的今天或者每年的今天用户的操作习惯，也可以根据最近几天(假设N天)的历史记录，进行加权计算，所谓加权计算即对N天的用户操作进行统计，在这N天中，离现在越近的操作影响的概率越大，离现在越远的影响的概率越小。

如图6所示，对于是否启动视频播放智能控制模式，可由监控人员进行选择，当监控人员选择手动控制模式时，视频墙的画面会按照监控人员的选择进行播放605，此时智能控制模块会收集用户的操作过程，存储进历史操作库中；当监控人员选择智能控制模式时，智能控制设备会根据收集到的历史操作607，按照算法计算出此时监控人员的历史操作习惯，来控制视频墙的视频的播放606。

Claims (10)

1.一种异常事件自动推送及基于历史操作的监控方法，用于监控视频墙，其特征在于，包括：

获取多路视频流，对所述多路视频流进行编解码操作，生成与每路所述视频流相对应的图像帧，通过识别算法对所述图像帧进行异常事件识别，获取与具有异常事件的图像帧相对应的某路视频流，显示所述某路视频流，并进行报警，其中按照设定的瞬时异常事件/长时间异常事件的区别时间阈值对异常事件进行异常类型的区分，对不同类型的异常事件，采取不同的报警措施与显示措施；

并且以时间为坐标，记录用户对所述监控视频墙的历史操作，根据所述历史操作，播放所述历史操作对应的时间段中被操作频率大于等于一阈值的一路视频流。

2.如权利要求1所述的异常事件自动推送及基于历史操作的监控方法，其特征在于，报警的方式包括声音报警或视频突出的方式进行报警。

3.如权利要求1所述的异常事件自动推送及基于历史操作的监控方法，其特征在于，若异常事件为瞬时异常事件，则将具有瞬时异常事件的图像帧相对应的某路视频流发送到异常视频播放显示设备，并进行循环播放。

4.如权利要求1所述的异常事件自动推送及基于历史操作的监控方法，其特征在于，若异常事件为长时间异常事件，所述视频墙发出报警警示声音，并将所述长时间异常事件的视频播放画面填加警示颜色框，或将播放所述长时间异常事件的视频播放画面的屏幕放大，或将所述长时间异常事件的视频播放画面投送至已设置的专用显示器上进行显示。

5.如权利要求2所述的异常事件自动推送及基于历史操作的监控方法，其特征在于，视频突出的方式包括对监控视频墙异常画面屏幕边框标识警示颜色。

6.一种异常事件自动推送及基于历史操作的监控系统，用于监控视频墙，其特征在于，包括：

异常报警模块，用于获取多路视频流，对所述多路视频流进行编解码操作，生成与每路所述视频流相对应的图像帧，通过识别算法对所述图像帧进行异常事件识别，获取与具有异常事件的图像帧相对应的某路视频流，显示所述某路视频流，并进行报警，其中按照设定的瞬时异常事件/长时间异常事件的区别时间阈值对异常事件进行异常类型的区分，对不同类型的异常事件，采取不同的报警措施与显示措施；

智能控制模块，用于以时间为坐标，记录用户对所述监控视频墙的历史操作，根据所述历史操作，播放所述历史操作对应的时间段中被操作频率大于等于一阈值的一路视频流。

7.如权利要求6所述的异常事件自动推送及基于历史操作的监控系统，其特征在于，报警的方式包括声音报警或视频突出的方式进行报警。

8.如权利要求6所述的异常事件自动推送及基于历史操作的监控系统，其特征在于，若异常事件为瞬时异常事件，则将具有瞬时异常事件的图像帧相对应的某路视频流发送到异常视频播放显示设备，并进行循环播放。

9.如权利要求6所述的异常事件自动推送及基于历史操作的监控系统，其特征在于，若异常事件为长时间异常事件，所述视频墙发出报警警示声音，并将所述长时间异常事件的视频播放画面填加警示颜色框，或将播放所述长时间异常事件的视频播放画面的屏幕放大，或将所述长时间异常事件的视频播放画面投送至已设置的专用显示器上进行显示。

10.如权利要求7所述的异常事件自动推送及基于历史操作的监控系统，其特征在于，视频突出的方式包括对监控视频墙异常画面屏幕边框标识警示颜色。