CN104980707A - 一种智能视频巡逻系统 - Google Patents

Abstract

本发明提供了一种智能视频巡逻系统，包括：前端监控摄像机、关键帧抽取单元、存储服务器、视频巡逻组织服务器以及监控显示终端。本发明的智能视频巡逻系统以视频关键帧抽取、组合、展示为技术核心，实现任务场景式的自动巡逻功能，从而达到占用较少通信带宽，提升视频监控效率，能够对常见的事故多发地段实现常态化的自动巡逻。

Description

一种智能视频巡逻系统

技术领域

本发明涉及与视频相关的信息技术领域，尤其涉及一种智能视频巡逻系统。

背景技术

视频巡逻一般是由监控中心值机人员利用视频监控系统对辖区内视频监控覆盖区域进行远程实时查看，发现可疑情况后及时与地面巡逻力量联系处置。这种工作方式可以在不被注意的情况下进行巡逻，能够发现地面巡逻力量发现不了的一些情况。

现在多数城市都已经建设了支持视频巡逻的网络化监控系统。这些系统以布设在户外及室内公共区域的大量数字视频摄像机作为监控前端，每个监控前端提供其所负责的监控区域的实时视频监控画面，以通信网络作为数字视频信号的传输媒介，并且通过监控中心进行视频监控画面的集中处理、存储、分析以及显示，以便值机人员能够通过大量监控画面实现视频巡逻。

但支持视频巡逻方式的现有系统也存在一定的问题。首先，为了实现广域无死角高密度的视频巡逻，当监控前端的数量达到一定程度时，大量监控视频画面会实时地传送到监控中心，而值机人员受限于个人注意力，一般难以对过多区域同时进行视频巡逻，所以采用这种应用模式的监控中心值机人员数量都会比较多，相应地工作效率偏低。第二，对从监控前端到监控中心的数据传输带宽的要求比较高，一般各值机人员都需要同时打开所负责巡逻区域的视频，导致数据传输量始终较大，因而网络带宽要求也就比较高。以接入100路高清监控视频摄像机为例，如果监控中心要对监控网络内全部的高清摄像机实现远程查看和访问的话，以每台摄像机占用512Kbps的带宽来计算的话，100路监控加在一起就需要监控中心至少能够满足50Mbps的带宽需求。第三，视频监控已成为提升公安交警战斗力新的增长点，除了继续强化视频监控系统在交通违法等方面的作用外，还要使应用工作的着力点向事前防范与震慑、事中处置与控制等前端环节进行延伸拓展，运用视频监控系统实时掌控道路、交通动态，在案事件发生之前预知预感苗头动向，及时调动、指挥警力进行预防和实时应对，真正发挥视频监控的防控效能。目前的系统通过常规的点选摄像机，来调取各监控前端的画面实现视频图像浏览，在遇到突发性堵车、领导出巡跟踪、急救送医等场景进行交通道路的实时监控时，完全依靠人工通过鼠标的点击去浏览对应的视频图像显得比较麻烦，且被点选的视频图像按照点选次序呈现，相互之间缺少联系，图像的展示上比较杂乱，视频画面的随意组合，也增加了工作人员的甄别难度。当出现紧急事件时，也难免出现人工疏漏且难以满足现场的快速响应要求。

发明内容

为了克服上述现有技术存在的缺陷，本发明提供了一种智能视频巡逻系统。本发明的智能视频巡逻系统基于上述现有技术的不足以及交通部门新的需求点，以视频关键帧抽取、组合、展示为技术核心，实现任务场景式的自动巡逻功能，从而达到占用较少通信带宽，提升视频监控效率，能够对常见的事故多发地段实现常态化的自动巡逻。

本发明提供了一种智能视频巡逻系统，其特征在于，包括：前端监控摄像机、关键帧抽取单元、存储服务器、视频巡逻组织服务器以及监控显示终端；其中，

所述前端监控摄像机布设在各监控区域，负责拍摄该区域的实时视频，通过编码生成相应的码流，并且将原始的码流远程上传给关键帧抽取单元；

所述关键帧抽取单元可以对应一台或者若干台前端监控摄像机，接收各前端监控摄像机生成的实时视频码流的连续视频帧序列，从实时视频码流中提取一组视频帧作为关键帧，将各实时视频码流对应的各组关键帧序列通过网络进行上传；

存储服务器，用于接收抽取的关键帧序列并进行存储；

视频巡逻组织服务器，用于实现对关键帧抽取单元的抽取任务的管理，根据视频巡逻工作的需要，实现对相应监控视频的关键帧抽取任务的设置、启动、停止、删除等管理；并且通过不同场景设定，将提供的场景设定自动关联到与当前场景相关的前端监控摄像机，并按照巡逻时间设定以特定顺序和画面排列方式有序组合当前的场景设定下各个相应前端监控摄像机的关键帧；

监控显示终端，用于从视频巡逻组织服务器获得并显示经组合的关键帧。

优选的是，所述关键帧抽取单元包括：区域加权模块、帧差别计算模块、抽取率决定模块以及帧抽取模块；

其中，区域加权模块针对连续视频帧序列中的每一幅视频帧，将其分割为若干子块，获得该视频帧的各个子块像素亮度平均值序列；进而，调取区域加权模板中的权重值对各个子块的像素亮度平均值进行权重赋值计算，获得该视频帧的像素亮度平均值加权序列；

帧差别计算模块获得连续视频帧序列中的各个视频帧的像素亮度平均值加权序列，并且从视频帧的序列当中按照固定的帧间隔提取出一定数量的视频帧作为基准帧，基于像素亮度平均值加权序列计算位于基准帧之前和之后的连续视频帧与基准帧之间的差别值，获得属于基准帧的连续视频帧序列段，该连续视频帧序列段中的视频帧与基准帧的差别值均小于预定的差别阈值；

抽取率决定模块计算任何一个连续视频帧序列段中的相邻视频帧之间的差别值，进而求得该序列段的相邻视频帧平均差别值；进而，抽取率决定模块根据监控视频的各个连续视频帧序列段的序列长度L以及各个连续视频帧序列段的相邻视频帧平均差别值′，计算针对各连续视频帧序列段的关键帧抽取率；

帧抽取模块按照抽取率决定模块为各个连续视频帧序列段确定的抽取率，对各序列段抽取相应的若干关键帧，并且将全部关键帧按帧顺序排列在一起，形成该监控视频的关键帧序列。

进一步优选的是，区域加权模块对于处在监控视频画面有效区域的子块赋予更高的权重值。

优选的是，帧差别计算模块按照如下方法计算两个视频帧之间的所述差别值：视频帧F的像素亮度平均值加权序列为α1*f1，α2*f2，α3*f3……αk*fk，而视频帧F’的像素亮度平均值加权序列为α1*f1’，α2*f2’，α3*f3’……αk*fk’，则可按照如下公式计算视频帧F与F’之间的差别值：

|F-F′|＝|a1*f1-a1*f1′|+|a2*f2-a2*f2′|+|a3*f3-a3*f3′|+......+|ak*fk-ak*fk′|。

优选的是，抽取率决定模块根据监控视频的各个连续视频帧序列段的序列长度L以及各个连续视频帧序列段的相邻视频帧平均差别值Δ，计算针对各连续视频帧序列段的关键帧抽取率β＝α·Δ/L·β′，其中β′是基准抽取率，α是计算系数。

优选的是，视频巡逻组织服务器提供的场景设定包括常见堵点监控，并且视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：堵点前方入口以及后方出口的视频图像关键帧同步展现；堵点最近视频图像关键帧的同步展现，根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像；多堵点各自关键帧的纵向并行展现。

优选的是，视频巡逻组织服务器提供的场景设定包括突发性堵车，并且视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：堵车路段前方入口以及后方出口视频图像关键帧的从左到右的同步展现；堵车路段内的视频图像关键帧的同步展现，根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像；多个堵车路段关键帧的纵向并行展现。

优选的是，视频巡逻组织服务器提供的场景设定包括易肇事路段或隧道，并且视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：易肇事路段/隧道内的视频图像关键帧的同步展现，根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像关键帧；多个路段/隧道关键帧的纵向并行展现。

优选的是，视频巡逻组织服务器提供的场景设定包括特殊出行引导，并且视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：默认根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像的关键帧；根据车辆进入各个监控摄像机的时间顺序，实现动态实时的视频图像关键帧排序和展示；根据目标车辆的行进轨迹，提供视频图像关键帧浏览过程中左右切换功能，实时锁定目标车辆；调整关键帧方向，保持目标车辆在每个视频图像关键帧中车头、车尾朝向的一致性。

优选的是，视频巡逻组织服务器提供的场景设定包括常规巡逻，并且视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括：通过选择单个/多个摄像机进行相应关键帧的同步展示。

本发明的关键点在于通过视频关键帧的智能提取、识别以及组合能够降低对网络带宽的依赖。同时，基于不同场景下的多种视频图像的智能展现方式颠覆了传统视频监控的浏览模式，很好的满足了用户在不同场景下多元化的符合业务需要的视频监控浏览模式，提高了工作效率。

附图说明

图1为本发明智能视频巡逻系统的整体结构示意图；

图2为本发明关键帧抽取单元结构示意图；

图3为本发明的基准值和连续视频帧序列段示意图；

图4A和图4B为监控视频划分的实际示例示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案做进一步具体的说明。

图1是本发明智能视频巡逻系统的整体结构示意图。该系统包括前端监控摄像机、关键帧抽取单元、存储服务器、视频巡逻组织服务器以及监控显示终端。

前端监控摄像机布设在各监控区域，负责拍摄该区域的实时视频，通过编码生成相应的码流，并且将原始的码流远程上传给关键帧抽取单元。

关键帧抽取单元是位于前端监控摄像机和远程的监控中心之间的中间平台。关键帧抽取单元可以对应一台或者若干台前端监控摄像机，接收各前端监控摄像机生成的实时视频码流，从实时视频码流中提取具有代表意义的一组视频帧作为关键帧，从而通过一组关键帧，以较少的数据量来简洁表述该实时视频的内容。进而，关键帧抽取单元将各实时视频码流对应的各组关键帧通过网络上传给位于监控中心的后台。基于关键帧抽取所带来的数据量下降，在满足监控实时性的前提之下，可以降低对从前端监控摄像机到监控中心后台的网络传输的带宽需求，并使监控中心的数据带宽要求显著下降。例如，经过关键帧提取并以帧画面图片序列的形式进行传输对于100台前端监控摄像机每台前端监控摄像机只具有100KBPS的带宽要求，这样同时浏览100路视频监控仅需要10MBps以下的带宽流量。因而，关键帧技术的应用相比传统的视频监控在很大程度上实现了对网络带宽较小的依赖，换言之，相同带宽条件下，允许接入的监控视频点更多。

下面就关键帧抽取单元从视频流中提取关键帧的方法进行具体介绍。

作为示例，假定布设在高速道路上的某台前端监控摄像机提供了一段实时视频流，作为关键帧提取的对象，关键帧抽取单元获得该段视频流之后负责进行关键帧的提取。在视频巡逻中应用该视频流的目标包括：监测该路段的通行路况信息，获得堵车程度等情况；识别和取证夜间超速等交通违法行为；以及发现和处置交通意外事故。

视频流中的关键帧指的是能够代表连续视频帧序列中的主要内容的至少一幅视频帧，因此又称为代表帧，是针对视频流内容进行识别和检索的基础数据。在一段连续的视频帧序列中，相邻帧之间通常都存在着相似性，因此用若干关键帧标识一段视频，能在很大程度上实现视频内容的数据量压缩。在传输带宽、存储空间、分析运算能力等系统资源一定的情况下，对含有大量冗余的视频信息，通过至少一幅关键帧的形式对一段时间长度上的视频进行表征，既可节约传输、存储和运算资源，又能更加集中地体现视频的主要内容和关键信息，从而为高效的视频巡逻建立基础。

对于关键帧的提取，现有技术中一般的做法是将视频按照场景的突变或者渐变分割为若干镜头，对于不同镜头来说，由于场景(包括前景画面和背景画面)的显著变化，会造成从属于不同镜头的视频帧之间具有非常明显的图像特征差异，因而易于实现镜头的划分。然后，再从各镜头包含的视频帧序列当中分别发现和抽取出关键帧，关键帧能够代表性地反映出镜头的主要内容。现有技术中对镜头中关键帧的提取也有很多不同的算法，例如有的系统直接将码流中的I帧作为关键帧；有的系统按固定时间间隔从视频流当中抽取关键帧，或者将视频流中固定位置上的视频帧作为关键帧；也有一些系统在镜头分割的基础上继续基于视频帧中前景目标的运动信息来提取关键帧。

然而，当运用到监控视频的关键帧提取时，上述现有方法会遇到这一应用中特殊性的问题。首先，一般情况下，高速道路上实施监控的摄像机是静止不动的，因而视频帧均具有静止和固定的单一背景，不存在镜头突变等现象，共同的背景明显降低了各帧图像特征相互之间的差异性，这一点并不利于关键帧的有效定位和提取。其次，现有的关键帧提取算法能够比较好地解决由于一个或多个运动目标进入或离开场景造成视频帧画面突变时的识别和提取，例如在夜间空旷的公路上有一车辆突然驶过时，能够将含有该车辆的视频帧作为关键帧有效提取出来。但是在很多情况下，各视频帧之间的图像特征变化经常呈缓慢渐变，例如，在交通拥挤时段所拍摄的路况画面，各视频帧之间的变化差异不大，而且从渐变视频画面当中也不易识别出特别显著的运动目标。由于相邻两帧或者多帧之间不存在特别明显的突变，现有算法不能很好地从渐变的视频画面当中抽取出具有代表性意义的关键帧。最后，现有技术以固定的频率抽取关键帧，在各视频帧画面渐变时，容易存在不必要地抽取过多关键帧的现象，不能基于视频帧的变化情况，适应性地调整抽取率。

针对现有技术的局限，本发明提供的关键帧抽取单元充分适应监控视频的图像特点，能够主要针对监控画面当中的有效监控区域执行识别，并且可以针对处在画面渐变阶段的监控视频也实现有代表性和数量合适的关键帧提取。如图2所示，关键帧抽取单元包括：区域加权模块、帧差别计算模块、抽取率决定模块以及帧抽取模块。

区域加权模块针对连续视频帧序列中的每一幅视频帧F，将其分割为N×N像素大小的若干子块，例如k个子块，计算每个子块的像素亮度平均值f，从而获得该幅视频帧的各个子块像素亮度平均值序列f1，f2，f3……fk；进而，区域加权模块调取区域加权模板，区域加权模板具有对应于各个子块的权重值α1，α2，α3……αk；区域加权模块利用区域加权模板中的权重值对各个子块的像素亮度平均值进行权重赋值计算，获得视频帧F的像素亮度平均值加权序列α1*f1，α2*f2，α3*f3……αk*fk。其中，对于处在监控视频画面有效区域的子块，可以通过区域加权模块的上述计算为这些子块赋予更高的权重值，从而提高了在后续的帧差别计算和抽取率计算当中这些子块对计算结果的影响力。相反，对于处在监控视频画面有效区域之外子块，则在上述计算中赋予相对较低的权重值，从而降低这些子块对后续帧差别计算和抽取率计算产生的影响，甚至可以使这些子块被赋予的权重值为0，即完全不考虑这些子块。监控画面的有效区域是指能够反映监控目标内容的画面局部区域，例如对于本发明中以公路路面的交通和路况作为目标内容的监控画面来说，公路所在画面区域的子块属于有效区域，而路边建筑、绿化带等画面区域的子块则不属于有效区域。由于监控摄像机是静止不动的，因此对于同一台摄像机所拍摄的监控视频来说，有效区域在其中每幅视频帧当中所在位置均是固定的，故可以针对该台摄像机采用固定不变的区域加权模板，使在每幅视频帧中均是处在特定位置上的某几个子块被赋予较高的权重值。当然，对于不同的前端监控摄像机，监控画面中有效区域所在的位置自然会有所不同，因而区域加权模块会首先判定当前处理的监控视频是由哪台前端监控摄像机拍摄的，进而调取与该台摄像机唯一对应的区域加权模板。

帧差别计算模块获得监控视频当中各个视频帧的像素亮度平均值加权序列，基于该序列，帧差别计算模块可以计算任意两幅视频帧之间的差别值，例如，视频帧F的像素亮度平均值加权序列为α1*f1，α2*f2，α3*f3……αk*fk，而视频帧F’的像素亮度平均值加权序列为α1*f1’，α2*f2’，α3*f3’……αk*fk’，则可按照如下公式计算视频帧F与F’之间的差别值：

|F-F′|＝|a1*f1-a1*f1′|+|a2*f2-a2*f2′|+|a3*f3-a3*f3′|+......+|ak*fk-ak*fk′|

如图3所示，帧差别计算模块从视频帧的序列当中按照固定的帧间隔提取出一定数量的视频帧作为基准帧，如图3中的FB1、FB2、FB3等。帧差别计算模块进而从第一个基准帧FB1出发，按照上述公式的计算方法，算出位于该基准帧之前和之后的连续视频帧FB1-2、FB1-1、FB1+1、FB1+2……与该基准帧FB1之间的差别值，首先可计算FB1与相邻视频帧，FB1-1和FB1+1之间的差别值，若该差别值小于预定的差别阈值，则继续向前和向后选择一幅视频帧与FB1进行差别值计算，直至向前和先后所选择的视频帧与基准帧FB1之间的差别值大于该预定的差别阈值为止。这样，通过帧差别计算可以获得属于基准帧FB1的一组连续视频帧序列段，该组连续视频帧序列段中的视频帧与基准帧FB1的差别值均小于预定的差别阈值。在完成针对基准帧FB1的计算之后，继续选择下一个基准帧FB2进行帧差别计算。当然，如果视频帧序列中连续的相似帧比较多，也完全有可能存在基准帧FB2已经属于基准帧FB1的连续视频帧序列段的情况，这时选择下一个不属于任何基准帧的连续视频帧序列段的基准帧——例如基准帧FB3——继续执行帧差别计算。这样，在全部帧差别计算均执行完成之后，监控视频被划分为属于各个基准帧的若干个连续视频帧序列段。

图4A和图4B是监控视频划分的实际示例。图4A所示的监控视频帧序列中，当车辆进入到监控视频中时，视频帧出现画面突变，导致含有车辆画面的视频帧与无车画面的视频帧之间的差别值超过阈值，按照上述计算，帧差别计算模块将连续视频帧序列段划分为由公路路面无车画面组成的第一连续视频帧序列段和由车辆画面组成的第二连续视频帧序列段。如图4B所示的监控视频帧序列当中，监控画面由以小轿车为主逐步变化为以卡车为主，画面存在渐变，当渐变程度达到超过阈值，按照上面的计算，帧差别计算模块将连续视频帧序列段划分为由小轿车画面组成的第一连续视频帧序列段和由卡车画面组成的第二连续视频帧序列段。可见，本发明的帧差别计算可以适用于具有明确运动目标的画面突变视频以及无明确运动目标的画面渐变视频，对以上两种类型的视频均能够成功划分相应的连续视频帧序列段。

在划分了若干连续视频帧序列段的基础上，抽取率决定模块按照上面公式所示的差别值计算方法，计算任何一个连续视频帧序列段中的相邻视频帧之间的差别值，进而求得该序列段的相邻视频帧平均差别值。进而，抽取率决定模块根据监控视频的各个连续视频帧序列段的序列长度L以及各个连续视频帧序列段的相邻视频帧平均差别值Δ，计算针对各连续视频帧序列段的关键帧抽取率β＝α·Δ/L·β′，其中β′是基准抽取率，α是计算系数。显然，连续视频帧序列段的序列长度L与关键帧抽取率成反比，该序列段越长，则抽取率需相应降低；连续视频帧序列段的相邻视频帧平均差别值Δ与关键帧抽取率成正比，序列段中各帧之间的差别值越大，则抽取率需相应增加。

最后，帧抽取模块按照抽取率决定模块为各个连续视频帧序列段确定的抽取率，对各序列段抽取相应的若干关键帧，并且将全部关键帧按帧顺序排列在一起，形成该监控视频的关键帧序列。

关键帧抽取单元将抽取的关键帧序列实时上传到位于监控中心的存储服务器进行存储，同时将关键帧序列实时上传到视频巡逻组织服务器；在视频巡逻工作需要查看前端监控摄像机的监控画面时，视频巡逻组织服务器调取相应的关键帧序列，以特定方式将关键帧进行组合展示处理，进而传输给监控显示终端供监控人员查看。

视频巡逻组织服务器实现对关键帧抽取单元的抽取任务的管理，根据视频巡逻工作的需要，实现对相应监控视频的关键帧抽取任务的设置、启动、停止、删除等管理。

传统的视频监控没有建立监控画面之间的内在联系，完全依靠人工根据现场需要选择摄像机来显示相应画面，人工选择过于依赖操作者，在视频图像的展现上也是比较杂乱。针对这一状况，本发明的视频巡逻组织服务器通过不同场景设定，根据摄像机部署地点的展示优先级，并遵循道路的方向性和线性原则，自动关联到与当前场景相关的摄像机，按照巡逻时间设定，以特定顺序和画面排列方式，有序展示当前的场景设定下各个相应摄像机的关键帧，让用户在浏览视频图像时能够模拟当前道路，清晰掌握重点路口以及道路前后方的交通情况，在浏览方式上颠覆了传统模式。本发明以应用场景为基础的视频图像智能组织呈现的方式不是一成不变的，而是通过灵活关联和调配不同的监控点满足多种场景的现场需要。

具体来说，本发明通过视频巡逻组织服务器提供各种应用场景，可以形成5种与应用场景相匹配的视频巡逻组织模式，即：常见堵点监控、突发性堵车监控、易肇事路段监控、特殊出行引导以及传统视频巡逻。

对应于5类视频巡逻的应用场景，视频巡逻组织服务器结合预设的应用场景模型，组织所抽取的视频图像关键帧，并且形成5种对应的关键帧展现模式。具体如下：

1、常见堵点监控

鉴于现实场景中堵点不规则的分布以及空间的多样性，无法单纯根据单个场景单条线路进行有效的展示。为了让工作人员能够第一时间快速锁定当前堵点，视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面实现基于多堵点的视频图像展现方式，包括以下展现方式的任何一种：堵点前方入口以及后方出口的视频图像关键帧同步展现；堵点最近视频图像关键帧的同步展现，根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像；多堵点各自关键帧的纵向并行展现。

2、突发性堵车

突发性堵车往往具有不可预测性，在发现堵车情况后，往往需要优先确认堵车路段以及堵点道路前后方的通行状况。因此，在遇到突发性堵车时，对于堵车的路段以及前后方的监控是非常关键的。视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：堵车路段前方入口以及后方出口视频图像关键帧的从左到右的同步展现；堵车路段内的视频图像关键帧的同步展现，根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像；多个堵车路段关键帧的纵向并行展现。

3、易肇事路段或隧道

监控固定路段/隧道等线性空间时，根据视频图像中车流的时间、车头、车尾以及过车顺序以时间为轴依次展现当前的视频图像。视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：易肇事路段/隧道前端入口以及后端出口视频图像关键帧的从左到右的同步展现；易肇事路段/隧道内的视频图像关键帧的同步展现，根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像关键帧；多个路段/隧道关键帧的纵向并行展现。

4、特殊出行引导

特殊出行具有非常清晰的方向以及行程规划，因此，通过对目标车辆的车头、车尾以及过车顺序以时间为轴依次展现车辆行驶过程中沿途的视频图像，实现对目标车辆以及前方道路的实时监控。视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：默认根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像的关键帧；根据车辆进入各个监控摄像机的时间顺序，实现动态实时的视频图像关键帧排序和展示；根据目标车辆的行进轨迹，提供视频图像关键帧浏览过程中左右切换功能，实时锁定目标车辆；调整关键帧方向，保持目标车辆在每个视频图像关键帧中车头、车尾朝向的一致性。

5、常规巡逻

考虑到多年的用户使用习惯和用户使用场景的千差万别，对于传统的通过行政区域指定摄像机的方式进行巡逻依然提供支持。这样一是为了考虑用户使用习惯过渡，二是临时性的随机视频查看或者巡逻任务的执行。视频巡逻组织服务器针对此种应用场景，在多画面浏览的过程，可以通过选择单个/多个摄像机进行相应关键帧的同步展示。

可见，通过预先设定的系统自动巡逻任务，本发明的系统根据提前设定的场景进行不同的智能组织呈现，通过实现对任务的巡逻时间、周期以及所涉及的摄像机的关联等因素，定时定点在当前场景下进行巡逻。

本发明的关键点在于通过视频关键帧的智能提取、识别以及组合能够降低对网络带宽的依赖。同时，基于不同场景下的多种视频图像的智能展现方式颠覆了传统视频监控的浏览模式，很好的满足了用户在不同场景下多元化的符合业务需要的视频监控浏览模式，提高了工作效率。

以上实施例仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种智能视频巡逻系统，其特征在于，包括：前端监控摄像机、关键帧抽取单元、存储服务器、视频巡逻组织服务器以及监控显示终端；其中，

所述前端监控摄像机布设在各监控区域，负责拍摄该区域的实时视频，通过编码生成相应的码流，并且将原始的码流远程上传给关键帧抽取单元；

所述关键帧抽取单元可以对应一台或者若干台前端监控摄像机，接收各前端监控摄像机生成的实时视频码流的连续视频帧序列，从实时视频码流中提取一组视频帧作为关键帧，将各实时视频码流对应的各组关键帧序列通过网络进行上传；

存储服务器，用于接收抽取的关键帧序列并进行存储；

视频巡逻组织服务器，用于实现对关键帧抽取单元的抽取任务的管理，根据视频巡逻工作的需要，实现对相应监控视频的关键帧抽取任务的设置、启动、停止、删除等管理；并且通过不同场景设定，将提供的场景设定自动关联到与当前场景相关的前端监控摄像机，并按照巡逻时间设定以特定顺序和画面排列方式有序组合当前的场景设定下各个相应前端监控摄像机的关键帧；

监控显示终端，用于从视频巡逻组织服务器获得并显示经组合的关键帧。

2.根据权利要求1所述的智能视频巡逻系统，其特征在于，所述关键帧抽取单元包括：区域加权模块、帧差别计算模块、抽取率决定模块以及帧抽取模块；

其中，区域加权模块针对连续视频帧序列中的每一幅视频帧，将其分割为若干子块，获得该视频帧的各个子块像素亮度平均值序列；进而，调取区域加权模板中的权重值对各个子块的像素亮度平均值进行权重赋值计算，获得该视频帧的像素亮度平均值加权序列；

帧差别计算模块获得连续视频帧序列中的各个视频帧的像素亮度平均值加权序列，并且从视频帧的序列当中按照固定的帧间隔提取出一定数量的视频帧作为基准帧，基于像素亮度平均值加权序列计算位于基准帧之前和之后的连续视频帧与基准帧之间的差别值，获得属于基准帧的连续视频帧序列段，该连续视频帧序列段中的视频帧与基准帧的差别值均小于预定的差别阈值；

抽取率决定模块计算任何一个连续视频帧序列段中的相邻视频帧之间的差别值，进而求得该序列段的相邻视频帧平均差别值；进而，抽取率决定模块根据监控视频的各个连续视频帧序列段的序列长度L以及各个连续视频帧序列段的相邻视频帧平均差别值I，计算针对各连续视频帧序列段的关键帧抽取率；

帧抽取模块按照抽取率决定模块为各个连续视频帧序列段确定的抽取率，对各序列段抽取相应的若干关键帧，并且将全部关键帧按帧顺序排列在一起，形成该监控视频的关键帧序列。

3.根据权利要求2所述的智能视频巡逻系统，其特征在于，区域加权模块对于处在监控视频画面有效区域的子块赋予更高的权重值。

4.根据权利要求3所述的智能视频巡逻系统，其特征在于，帧差别计算模块按照如下方法计算两个视频帧之间的所述差别值：视频帧F的像素亮度平均值加权序列为a1*f1，a2*f2，a3*f3……ak*fk，而视频帧F’的像素亮度平均值加权序列为a1*f1’，a2*f2’，a3*f3’……ak*fk’，则可按照如下公式计算视频帧F与F’之间的差别值：

|F-F′|＝|a1*f1-a1*f1′|+|a2*f2-a2*f2′|+|a3*f3-a3*f3′|+......+|ak*fk-ak*fk′|。

5.根据权利要求4所述的智能视频巡逻系统，其特征在于，抽取率决定模块根据监控视频的各个连续视频帧序列段的序列长度L以及各个连续视频帧序列段的相邻视频帧平均差别值Δ，计算针对各连续视频帧序列段的关键帧抽取率β＝α·Δ/L·β′，其中β′是基准抽取率，α是计算系数。

6.根据权利要求5所述的智能视频巡逻系统，其特征在于，视频巡逻组织服务器提供的场景设定包括常见堵点监控，并且视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：堵点前方入口以及后方出口的视频图像关键帧同步展现；堵点最近视频图像关键帧的同步展现，根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像；多堵点各自关键帧的纵向并行展现。

7.根据权利要求5所述的智能视频巡逻系统，其特征在于，视频巡逻组织服务器提供的场景设定包括突发性堵车，并且视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：堵车路段前方入口以及后方出口视频图像关键帧的从左到右的同步展现；堵车路段内的视频图像关键帧的同步展现，根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像；多个堵车路段关键帧的纵向并行展现。

8.根据权利要求5所述的智能视频巡逻系统，其特征在于，视频巡逻组织服务器提供的场景设定包括易肇事路段或隧道，并且视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：易肇事路段/隧道内的视频图像关键帧的同步展现，根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像关键帧；多个路段/隧道关键帧的纵向并行展现。

9.根据权利要求5所述的智能视频巡逻系统，其特征在于，视频巡逻组织服务器提供的场景设定包括特殊出行引导，并且视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括以下展现方式的任何一种：默认根据预先设置的摄像机排列顺序，依次从左到右进行排序并展现当前视频图像的关键帧；根据车辆进入各个监控摄像机的时间顺序，实现动态实时的视频图像关键帧排序和展示；根据目标车辆的行进轨迹，提供视频图像关键帧浏览过程中左右切换功能，实时锁定目标车辆；调整关键帧方向，保持目标车辆在每个视频图像关键帧中车头、车尾朝向的一致性。

10.根据权利要求9所述的智能视频巡逻系统，其特征在于，视频巡逻组织服务器提供的场景设定包括常规巡逻，并且视频巡逻组织服务器针对此种应用场景，决定了在视频图像关键帧的展现方面包括：通过选择单个/多个摄像机进行相应关键帧的同步展示。