CN114363585A - 基于网格化管控的智能视频安全监控方法及系统 - Google Patents

Abstract

本发明涉及视频监控技术领域，具体涉及基于网格化管控的智能视频安全监控方法，获取各相机对应的同一网络区域的视图；对各视图进行两两视图匹配，得到两两视图的匹配结果，根据匹配结果计算两两视图的尺度等级；获取两视图对应的相机的倍率以及两相机之间的光轴夹角，计算所述光轴夹角以及标准光轴夹角的比值，得到对应匹配对的光轴夹角的偏差程度；基于所述尺度等级、倍率以及偏差程度，计算各匹配对的匹配系数；基于匹配系数，确定最优匹配对，调取最优匹配对对应的视图进行安全监控。即本发明的方案能够实现精选视图而非过量呈现以及避免视觉上重复的观测角度，即保证多个视角观测可以尽可能地提高查看的信息上下文匹配。

Description

基于网格化管控的智能视频安全监控方法及系统

技术领域

本发明涉及视频监控技术领域，具体涉及基于网格化管控的智能视频安全监控方法及系统。

背景技术

目前，对于视频监控系统，由于不断增加库区视频监控数量，现在库区重点管控点位已经实现视频监控的全覆盖。

但是，现阶段库区的视频监控系统的使用全部是基于基础管理应用，停留在基础的图像和视频调阅查看上，只是被动有需要的时候查看图像和视频，视频监控系统现在处于最原始的利用状态，在视频监控系统的建设上投入不菲，但是系统利用率低，整体系统的利用率不到40%。

同时，由于库区众多相机以及对应的大量不断增加库区视频监控数量，其还存在以下问题：

1）使得监控的视图数量过大，在查阅时视图过量呈现，占用资源且无法精选视图；

2）由于库区众多相机的众多预置位对应的焦段不同，会产生不同的透视视觉效果，使得透视关系不明显，难以确定关键区域的相对位置；

3）存在多个联动图像的点位可能存在重复观测同一位置的问题；

4）查阅时，调用的画面质量不高。

发明内容

为了解决上述技术问题，本发明的目的在于提供基于网格化管控的智能视频安全监控方法及系统，所采用的技术方案具体如下：

本发明提供的基于网格化管控的智能视频安全监控方法，包括以下步骤：

获取各相机的对应的同一网络区域的视图；

对各视图进行两两视图匹配，得到两两视图的匹配结果，根据匹配结果计算两两视图的尺度等级；

获取两视图对应的相机的倍率以及两相机之间的光轴夹角，计算所述光轴夹角以及标准光轴夹角的比值，得到对应的光轴夹角的偏差程度；

基于所述尺度等级、倍率以及偏差程度，计算各两视图的匹配系数；基于匹配系数，确定最优匹配对，调取最优匹配对对应的视图进行安全监控。

优选地，所述尺度等级的获取方法为：

1）对各视图进行角点检测，并计算各角点的特征描述子，所述特征描述子为BRIEF描述子，为二进制向量；

2）基于BF算法，对所述特征描述子进行匹配，得到两两视图的匹配结果；

3）根据匹配结果对应的相机的特征描述子计算尺度等级：

其中，M为两视图特征点对应特征描述子的匹配对，

为相机Z1对应视图的特征描述子，

为相机Z2对应视图的特征描述子，Median()函数为中值函数。

优选地，还包括对匹配结果进行过滤的步骤：基于GMS算法通过网格划分、运动统计特性的方法剔除错误匹配结果，得到正确的匹配结果。

优选地，根据过滤后的匹配结果以及未过滤之前的匹配数量的比值，得到两视图的质量指标。

优选地，还包括对角点所在图像区域进行缩放L次，得到多尺度的特征描述子。

优选地，所述匹配系数为：

*

其中，T为两视图对应的两相机之间的光轴夹角，A为标准光轴夹角，L为缩放次数，

为相机Z1与相机Z2的倍率较大的倍率，

为相机Z1与相机Z2的倍率较小的倍率，

为尺度等级，Q为两视图的质量指标，

其中，所述质量指标为：

其中，

为GMS算法过滤错误匹配结果后的

匹配数量，

为暴力搜索算法的结果输入GMS算法之前的匹配对数量。

优选地，根据所述匹配系数，利用k-m最大匹配算法，确定最优匹配对。

本发明还提供了基于网格化管控的智能视频安全监控系统，包括处理器和存储器，其特征在于，所述处理器执行存储于存储器的上述的基于网格化管控的智能视频安全监控方法的步骤。

本发明的有益效果：

本发明的方案能够实现精选视图而非过量呈现，即当险情发生时，相关人员需要以最快速度明白何地、何罐、何具体区域出现了何可见异常，因此需要在尽可能少的画面中呈现更多的信息上下文匹配，信息上下文匹配体现在观看角度的差异较大，足够的透视关系上下文；足够的透视关系上下文，即由于以罐体为主，库区众多相机的众多预置位对应的焦段不同，会产生不同的透视视觉效果；避免视觉上重复的观测角度，即保证多个视角观测可以尽可能地提高查看的信息上下文匹配；多个联动图像的点位可能存在重复观测同一位置的问题，即每个视图都是网格中罐体的局部画面；需要在多个预置位中自动分析最佳的比照观测图像，避免视觉上重复的观测角度；调用的画面高可用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明的基于网格化管控的智能视频安全监控方法的方法示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的方案，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明针对的是监控库区存储的泄露物体主要以罐体为主，进行视频监控。

具体地，请参阅图1所示，本发明提供的基于网格化管控的智能视频安全监控方法，包括以下步骤：

步骤1，获取各相机对应的同一网络区域的视图。

本实施例中是基于足量相机建立足量的预置位，基于库区位置对应查找到多个视图。

其中考虑到视频监控安装是按照库区功能位置布点的，库区平面图的网格化划分按照库区功能划分（例如1号库区西北部网格、2号库区东南部网格等等），实施者根据业务需求进行区域划分，每个区域作为孤立的对象（库区），区域内再做网格的编排。

本实施例中，基于网格化的管理，每个相机不同预置位对应每个相机不同光轴参数：由于相机位置固定，在网格化管理时，相机的预置位是对应旋转角度（Pan）、俯仰角度（Tilt）和焦段变倍（Zoom）三个参数的。

由于相机安装位置通过网格化管理，将预置位的参数进行记录，后期分析时以预置位的(Pan,Tilt,Zoom)进行计算。

至此，可以将每个相机的每个预置位抽象为视图，从而基于网格化对海量的视图进行管理。

其中，相机是采用红外摄像头，库区多相机的众多预置位难以管理和按照光照情况进行分配，基于本发明方法进行视图智能匹配和分配后，当VOC热成像算法触发异常区域时，保证观测泄露问题的时间足够短且能够有足够的透视关系上下文。

在已经建立的库区平面网格基础上，对网格进行具体编号建立模型，并对具体的网格进行数据关联。所述的网格为一种基于库区顶视图划分的局部区域，每个局部区域经过各相机预置位的登记后，得到联动观看的位置：每个关键位置对应多个相机的预置位视图。

每个具体的网格被登记后，会对应若干相机的对应预置位，即一个关键区域可以有多个相机通过旋转云台、缩放到指定大小来观测关键位置。

通过前期的预置位标定和网格信息的登记，建立库区网格化数据库，实现基于网格的相机联动调用模型。

由于罐储区的相机数量较多，且一个相机的预置位可能多达256个，因此一个网格可能会对应过多的相机画面。

步骤2，对各视图进行两两视图匹配，得到两两视图的匹配结果，根据匹配结果计算两两视图的尺度等级。

其中，尺度等级的获取方法为：

1）对各视图进行角点检测，并计算各角点的特征描述子；

本实施例中首先对ROI内罐体图像进行角点检测并计算BRIEF描述子，得到此时视图的特征点

，具体地，基于FAST角点检测，检测罐体的局部纹理梯度较大的特征，作为角预置位置；这是由于罐体的制造工艺原因，会产生较为相似的规律性拼接纹理或其它结构纹理，因此FAST角点检测结果

的位置会主要分布在拼接结构或其它结构纹理较强的地方。

对每个角点计算BRIEF描述子，其中BRIEF描述子是一种不具备方向不变性的，基于固定模式计算的采用二进制码串，即一种二进制向量。

其中，进一步地，本实施例中还包括对角点所在图像区域进行缩放L次，得到多尺度的特征描述子，即对角点所在图像区域进行缩放倍数为

的

次缩小，（其中L=8次，为经验值，可以适当调大以适应更大的

）从而得到多尺度的BRIEF描述子。

的取值由实施者定义，

越大，后续匹配时长焦端相对于短焦端的倍率差异越大，即相对于短焦进一步放大的程度更大。一般

在特征的多尺度描述和观看舒适度上是一个比较合适的取值。

上述实施例中，采用BRIEF描述子的原因是，相机都以水平方式放置，所观测的罐体的结构纹理主要以钣金拼接为主，会逐层出现规律性的纹理，而纹理的方向一致。因此不具备方向不变性的特征描述子可以在后期更准确评估各预置位的视觉相似度和尺度，而非产生过多误匹配。

至此，当一个相机运行到预置位后，即可计算罐体的若干个BRIEF描述子。

需要说明的是，相机在不同的预置位中，计算每个预置位ROI内的若干个BRIEF描述子。基于上述方法，对每个相机，每个预置位进行若干个BRIEF描述子的计算处理。

每个预置位所观测到的若干个BRIEF描述子能够代表大型罐储区内不同罐体的表面特征，基于表面特征的比配程度能够衡量观测到的罐体的尺度、纹理类型相似度。

每个视图基于时间段确定最新的BRIEF描述子，并存储在数据库中。本实施例中，时间段为20分钟，每20分钟，所有相机都会对所有预置位下的图像计算BRIEF描述子，至此，得到一个相机不同预置位下的BRIEF描述子集合:

。

其中：

为一个时间段后确定的一个预置位的画面中所得到的描述子集合；

为集合中的第i个描述子，其中描述子的个数由FAST角点检测结果而定，由于罐体的纹理特性，不同相机的不同预置位的

中描述子数量差异对匹配效果影响不大。

2）基于BF算法，对所述特征描述子进行匹配，得到两两视图的匹配对。

不同相机观测罐体的一个区域时，特征描述子匹配结果应是一种单应匹配关系，基于简单的BF算法对特征描述子匹配后，会有一定的错误匹配关系，但整体的匹配结果应当属于单应的，因此通过GMS去除错误匹配的特征点

后，能够得到正确的匹配对

。

其中，基于描述子得到图像匹配关系是公知技术，此处不再过多赘述。

本实施例中基于GMS计算特征描述子的单应匹配程度。由于相机的放置方式是水平的、且罐体表面较大，可以近似作为一种平面，因此单应关系可以近似为一种缩放和平移运动的叠加。

其中，GMS（Grid-based Motion Statistics）算法通过网格划分、运动统计特性的方法可以迅速剔除错误匹配，以此来提高匹配的稳定性。GMS核心思想在于：根据运动平滑性，在正确匹配的特征点

附加的正确匹配点对数应该大于错误匹配点的特征点

附近的正确匹配点对数。

需要说明的是，由于罐体的柱面纹理经历一段时间使用后会呈现随机的脏污、锈蚀纹理，因此特征点

是难以错误匹配的。

进一步地，由于罐体的柱面是一种非Lambert表面，因此在一些预置位的视图中会因夜间、日落等情况出现反光，从而导致BF算法产生更多错误匹配，该程度能够体现当前时刻观测罐体的匹配的质量指标Q：

其中，

为GMS算法过滤错误匹配结果后的

匹配数量，

为暴力搜索（BF）算法的结果输入GMS之前的匹配对数量。

3）根据匹配结果对应的相机的特征描述子计算尺度等级：

其中，M为两视图特征点对应特征描述子的匹配对，

为相机Z1对应视图的特征描述子，

为相机Z2对应视图的特征描述子，Median()函数为中值函数。

上述中Median为计算M匹配对中匹配结果的特征描述子的中值。

需要说明的是，当两视图的尺度相似时，意味着画面的匹配程度较高，但Zoom倍率大的一方应进一步相对于Zoom小的一方放大一定程度，即：

Zoom倍率大的一方提供清晰的纹理特征，方便使用者佐证异常发生时的纹理细节，Zoom倍率小的一方提供透视关系上下文的特征，方便使用者确定相机大致观看位置。

因此，首先比较两个预设点位的Zoom参数，Zoom倍率大的一方

向Zoom倍率小的一方

做特征点匹配时，最佳匹配的特征点尺度等级；因此，意味着Zoom倍率大的一方

和Zoom倍率小的一方

之间的特征描述子尺度等级差异，差异越大，意味着两个画面的尺度差异过大，越不适合同时呈现在使用者面前。

上述中的尺度等级是基于由于每个视图观测到的罐体尺度不同，因此统计尺度等级可以体现两个视图之间的尺度差异，进而结合Zoom参数计算两相机视图之间的透视上下文是否充分匹配，为后续步骤中的最优匹配对的获取提供依据。

步骤3，获取两视图对应的相机的倍率以及两相机之间的光轴夹角，计算所述光轴夹角以及标准光轴夹角的比值，得到对应匹配对的光轴夹角的偏差程度。

本实施例中的标准光轴夹角为60度，这是因为过大的夹角会导致匹配结果过差，过小的夹角会导致夹角质量高的画面过于统一，因此实施者应基于实际的相机布置位置估算合适的A值。

需要说明的是，由于在多相机的环境中会出现多个相机向一个网格观测的光轴夹角过小，从而导致两个画面信息相似（仅为变倍差异）的情况，因此为了尽可能在最少的画面中观测最明确的柱面信息，需要基于网格化安全系统计算两个相机在看向一个网格区域时的预置位光轴夹角。

步骤4，基于所述尺度等级、倍率以及偏差程度，计算各匹配对的匹配系数；基于取匹配系数，确定最优匹配对，调取最优匹配对对应的视图进行安全监控。

本实施例中，基于网格化的管理，每个相机不同预置位对应每个相机不同光轴参数：由于相机位置固定，在网格化管理时，相机的预置位是对应旋转角度（Pan）、俯仰角度（Tilt）和焦段变倍（Zoom）三个参数的。

由于相机安装位置通过网格化管理，将预置位的参数进行记录，后期分析时以预置位的(Pan,Tilt,Zoom)进行计算。

至此，可以将每个相机的每个预置位抽象为视图，从而基于网格化对海量的视图进行管理。

其中的匹配系数为：

*

*Q

其中，T为匹配对内的两视图对应的两相机之间的光轴夹角，A为标准光轴夹角，L为缩放次数，

为匹配对内的相机Z1与相机Z2的倍率较大的倍率，

为匹配对内的相机Z1与相机Z2的倍率较小的倍率，

为尺度等级，Q为两视图的质量指标。

上述当两个相机的预置位画面之间的光轴夹角贴近目标夹角A、且尺度相似时，

趋于1，意味着两个相机的匹配结果较佳，信息上下文不会因光轴夹角导致过少或过于不匹配。

当两个相机画面之间的描述子匹配尺度差异

较低时，意味着两个画面的构图情况相符，尺度不会出现过大的变化。

当两个相机画面之间的倍率差异

足够大时，意味着透视上下文匹配情况较佳，更能从近景短焦和远景长焦分别观测，避免两个画面都是长焦而导致使用着难以猜测相机位置的问题。

基于上述步骤，对网格所含的所有相机的预置位计算信息上下文匹配系数C；至此得到信息上下文匹配系数C，当C越接近于0则意味着相机视图之间无信息上下文，反之，C越大，越符合匹配预期。

本实施例中，获取最优匹配对的过程为：

构建邻接矩阵，基于每个网格的当前信息计算匹配系数C，基于K-M算法对不同相机进行最大分配，得到匹配对，从而尽可能将信息上下文最匹配的相机关联到一起。

需要说明的是，一个网格区域对应多个相机，经过最大匹配得到多个成对的两视图，若相机总数为奇数，K-M最大匹配会将不适合构成匹配对的相机做孤立处理。

具体地，以多日的采样图像进行视图稳定性计算为例，进行具体说明：

基于一日的时间情况进行匹配对的稳定性评估，确定最稳定的匹配对。

其中，越稳定的匹配对在后期遇到突发险情时更能对应到用户的印象，方便快速推算位置和情况，从而进一步提高险情下的视频观察和决策体验。

首先对网格的一日匹配结果进行匹配次数统计，以30日中同一时段某个网格对应X个相机为例：

30日可得到

个匹配结果。

30日为实施者设置的经验值，时间跨度越大，越能得到稳定的匹配对视角，在查看过程中最优的视图匹配对不会让用户产生陌生感。

当发生季节变化等因素时跨度过大可能会影响匹配结果，适当调小跨度即可。

对每个匹配结果进行键值存储，对于互为对称的匹配结果进行合并，即1-2和2-1视为同键。对每20分钟的匹配结果进行计数。可基于计数排序得到30日中该时段最稳定、次稳定的匹配对。

进一步地，本实施例中，每当20分钟后先采集和计算最新的特征描述子，然后执行上述匹配过程，从而实现每日动态巡检记录来动态优化网格的最优视图匹配对。

进一步地，本发明还可以基于网格匹配结果和视图稳定性，确定候选视图：

当出现一次网格中最优视图的调用时，安全监控系统会率先控制相机运行到预置位、率先缓冲并呈现。后续的候选视图根据如下规则进行排序：

最优的匹配对是基于最高信息上下文匹配系数确的定的。后续的候选视图根据30日中该时段最稳定、次稳定的匹配对按顺序缓冲、呈现。

至此，基于网格化管理可以动态分析最优的观测视图，当需要调用某网格的视频时，安全监控系统能够以最快速度确定最合适的观测视图，并遵循用户印象和信息上下文匹配情况呈现候选视图。

基于上述方案，本发明能够为了进一步提高监控质量的体现，但在后期的预置位不断增添、修改后，如何便捷、智能地动态管理联动调用模型对应的视图合理性，是本发明解决的问题。解决该问题，则意味着安全监控系统能够有效承载更多相机、更多预置位，否则过多视图会造成险情发生时使用效率低下，维护过程中难以管理的问题。

本发明的方案能够实现精选视图而非过量呈现，即当险情发生时，相关人员需要以最快速度明白何地、何罐、何具体区域出现了何可见异常，因此需要在尽可能少的画面中呈现更多的信息上下文匹配，信息上下文匹配体现在观看角度的差异较大，足够的透视关系上下文；足够的透视关系上下文，即由于以罐体为主，库区众多相机的众多预置位对应的焦段不同，会产生不同的透视视觉效果，这是因为：a)焦段越远，透视关系越不明显，更难确定相对位置；b)联动的图像不应以过多的长焦为主，否则会导致观测时没有足够的透视关系上下文，观看者难以将图像内容与实际区域对应；避免视觉上重复的观测角度，即保证多个视角观测可以尽可能地提高查看的信息上下文匹配；多个联动图像的点位可能存在重复观测同一位置的问题，即每个视图都是网格中罐体的局部画面；需要在多个预置位中自动分析最佳的比照观测图像，避免视觉上重复的观测角度；调用的画面高可用即基于上述条件选取的画面都是基于预置位来确定的，在不同时段各个预置位画面可能因为照明、逆光、脏污、飞虫等因素无法观看，因此在若干相机的预置位视图中需要避免优先调用画面不稳定的相机。

本发明还提供了基于网格化管控的智能视频安全监控系统，包括处理器和存储器，所述处理器执行存储于存储器的上述的基于网格化管控的智能视频安全监控系统的步骤。由于上述已对基于网格化管控的智能视频安全监控方法进行了详细的介绍，此处不再进行过多赘述。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.基于网格化管控的智能视频安全监控方法，其特征在于，包括以下步骤：

获取各相机对应的同一网络区域的视图；

对各视图进行两两视图匹配，得到两两视图的匹配结果，根据匹配结果计算两两视图的尺度等级；

获取两视图对应的相机的预置位处的倍率以及两相机之间的光轴夹角，计算所述光轴夹角以及标准光轴夹角的比值，得到对应的光轴夹角的偏差程度；

基于所述尺度等级、倍率以及偏差程度，计算各两视图的匹配系数；基于匹配系数，确定最优匹配对，调取最优匹配对对应的视图进行安全监控；

所述尺度等级的获取方法为：

1）对各视图进行角点检测，并计算各角点的特征描述子，所述特征描述子为BRIEF描述子，为二进制向量；

2）基于BF算法，对所述特征描述子进行匹配，得到两两视图的匹配结果；

3）根据匹配结果对应的相机的特征描述子计算尺度等级：

其中，M为两视图特征点对应特征描述子的匹配对，

为相机Z1对应视图的特征描述子，

为相机Z2对应视图的特征描述子，Median()函数为中值函数。

2.根据权利要求1所述的基于网格化管控的智能视频安全监控方法，其特征在于，

还包括对匹配结果进行过滤的步骤：基于GMS算法通过网格划分、运动统计特性的方法剔除错误匹配结果，得到正确的匹配结果。

3.根据权利要求2所述的基于网格化管控的智能视频安全监控方法，其特征在于，根据过滤后的匹配结果以及未过滤之前的匹配数量的比值，得到两视图的质量指标。

4.根据权利要求1所述的基于网格化管控的智能视频安全监控方法，其特征在于，

还包括对角点所在图像区域进行缩放L次，得到多尺度的特征描述子。

5.根据权利要求3所述的基于网格化管控的智能视频安全监控方法，其特征在于，

所述匹配系数为：

*

其中，T为两视图对应的两相机之间的光轴夹角，A为标准光轴夹角，L为缩放次数，

为相机Z1与相机Z2的倍率较大的倍率，

为相机Z1与相机Z2的倍率较小的倍率，

为尺度等级，Q为两视图的质量指标，

其中，所述质量指标为：

其中，

为GMS算法过滤错误匹配结果后的

匹配数量，

为暴力搜索算法的结果输入GMS算法之前的匹配对数量。

6.根据权利要求3所述的基于网格化管控的智能视频安全监控方法，其特征在于，根据所述匹配系数，利用k-m最大匹配算法，确定最优匹配对。

7.基于网格化管控的智能视频安全监控系统，包括处理器和存储器，其特征在于，所述处理器执行存储于存储器的如权利要求1-6中任一项所述的基于网格化管控的智能视频安全监控方法的步骤。

Images