CN102111532B - 相机镜头遮挡检测系统及方法 - Google Patents

Abstract

本发明揭示了一种相机镜头遮挡检测系统及方法，所述系统包括图像采集模块、图像预处理模块、背景建立模块、高频分量提取模块、广义图像建立模块、疑似遮挡区域检测模块、遮挡区域确定模块。背景建立模块用以获得平滑的背景图像；高频分量提取模块对原始图像与背景图像差分获得高频分量分布图；广义图像建立模块联合增强图像、经预处理后的原始图像建立广义图像，对广义图像进行边缘提取并卷积；疑似遮挡区域检测模块将卷积结果及设定阈值做比较，卷积结果小于设定阈值的判断为候选遮挡区域；遮挡区域确定模块将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终判断为遮挡区域。本发明可更加有效地判断镜头是否被遮挡。

Description

相机镜头遮挡检测系统及方法

技术领域

本发明属于视频监控技术领域，涉及一种监控系统，尤其涉及一种相机镜头遮挡检测系统；同时，本发明还涉及一种相机镜头遮挡检测方法。

背景技术

随着监控系统网络的不断增大，网络中部署的相机不断增多，如城市交通监控系统，监控点多到数上万个，直至数数十万个以上。系统中越来越多的相机，无法安排足够的安防人员进行对每个相机的工作状态进行检查。很多相机由于长时间无人维护而无法正常工作，包括掉电、虚焦、遮挡等，从而导致监控无法进行。实时检查相机的工作状态，需要相机本身的智能化，使得相机的检测自动化，对于现代的大型分布式监控系统，如城市安防，无论相机安装在多远的距离，或者什么地方，都可以在中心机房进行检测，且这种检测可同时进行，速度快，效率高。这种智能检测的内容包括：相机镜头的丢焦，镜头的缓慢移动造成场景渐变，镜头上积累了大量的灰尘，安装不稳、大风或震动造成的图像抖动，接触不良造成的信号不稳或信号干扰等。

户外相机的镜头暴露在外，长期无法有人进行维护，镜头可能因多种原因遭到遮挡，因此，镜头遮挡是其中一项最重要也最常见的检测之一。相机是整个监控系统的眼睛，相机镜头被遮挡，采集到的画面完全失效，从而使后续的所有设备都做无用功，镜头一旦被遮挡，不仅影响了视频录像的效果，更影响后期的智能视频分析。另外，有些罪犯为了不被相机录像，有意将相机的镜头用遮挡物挡住，使得监控画面无法监视犯罪事实。本发明就是针对相机镜头的遮挡，这种遮挡是镜头的近距离遮挡，包括在镜头上的遮挡物，如墨水、污渍、泥巴、口香糖、纸片、布条等，也包括离镜头很近距离的遮挡，大约小于20cm距离的物体，也能检测，并且能检测任意大小的遮挡物。该项功能采用数字图像处理技术，算法不受画面光线变化的干扰，同时，能忽略原画面中设置的遮挡区域，如银行ATM机监控相机中设置的密码输入区域设置为遮挡，本遮挡发明算法不对这种遮挡产生误报警。

现有的相机遮挡检测方法包括：专利CN96190796(专利名称为：检测遮挡的方法和装置)、CN200710141861(专利名称为：检测遮挡区域的装置和方法)；上述两个方案都是利用视频编解码中的运动矢量信息，以运动场为判断依据，其原理基本跟上面的方案基本一样，都是基于运动来判断遮挡，此两项发明的目标是为了提高编解码效率。

此外，中国专利CN200710145468.X(专利名称为：一种用于网络视频监控中的检测视频遮挡的方法，申请人为：中兴通讯股份有限公司)公开了一种遮挡检测方法，该方案进行遮挡检测时，必须先获得第一参考帧，判断当前帧是否为I帧的信息，如果是连续的I帧表示为大运动而非遮挡；从第一个非I帧开始与第一参考帧相比获得变化区域，且将当前帧作为第二参考帧，记下一参考值；如果后续帧均为非I帧，则用所述变化区域的对应区域与第二参考帧作比较，获得其运动信息，记下另一参考值，将两个参考值累加后超过设定的阈值则报警；如果后续帧又有I帧，则累加的参考值清零再重复。从上述可以看出，该发明中检测遮挡使用的方法基于两点：1，需要参考帧，2，从运动区域检测出遮挡。该发明的缺点是，需要I帧作参考帧。绝大部分视频压缩算法的参考帧间隔固定，并非随着运动量的增加而缩小，因此，该检测算法不能及时反应遮挡事件。3，从运动物体检测遮挡，本身就似是而非，如果场景中的运动物体较大，也会把该运动物体而误当作遮挡物。同时，由于这种方法的算法基础是像素强度值是否变化，对光线变化即为敏感，当环境光变化过快，比如雷电、太阳光变化、车灯照射、路灯等都会影响其算法性能，造成误判。

以上几项专利都是基于运动区域的大小，或是像素比例来判断遮挡，其基本原理相似，都需要参考帧才能计算当前帧与参考帧间的运动。而目前很多监控系统已经运行多年，系统中的有些镜头已经被遮挡很长时间，被遮挡的画面区域一直处于静止状态，这些算法无法发挥作用。

鉴于此，本发明从另外一个角度，不需要参考帧，不需要计算运动区域，而是根据遮挡物的景物特征，直接对画面进行检测，对出现在镜头前较近范围内的非法遮挡物，都能有效地检测出来，从而避免并解决了前述基于运动遮挡检测的三个问题。

发明内容

本发明所要解决的技术问题是：提供一种相机镜头遮挡检测系统，可更加有效地判断镜头是否被遮挡。

此外，本发明进一步提供一种相机镜头遮挡检测方法，可更加有效地判断镜头是否被遮挡。

为解决上述技术问题，本发明采用如下技术方案：

一种相机镜头遮挡检测系统，所述系统包括：

图像采集模块，用以获得监控相机的数字图像；

图像预处理模块，用以采用中值滤波消除图像中的大噪声，对采集到的图像进行背景平滑；

背景建立模块，用以根据获取的图像对图像进行开运算，对开运算后的图像进行低通滤波，消除图像中的空洞，获得平滑的背景图像；

高频分量提取模块，用以对原始图像与背景图像差分获得高频分量分布图；

高频分量增强模块，用以增强图像的高频分量；

广义图像建立模块，用以联合增强图像、经预处理后的原始图像建立广义图像，然后对广义图像进行边缘提取并卷积；所述广义图像建立模块将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起；设预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像；

疑似遮挡区域检测模块，用以将卷积结果及设定阈值做比较，卷积结果小于设定阈值的，判断为候选遮挡区域；所述疑似遮挡区域检测模块将图像分区，分成若干子区域，进行连通性判定，检测多个连通子区域是否被遮挡；统计广义图像在该连通子区域的矢量强度总和与方差，总和或者方差小于对应的设定阈值的，初步确定该区域为疑似遮挡区域；

遮挡区域确定模块，用以将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终判断为遮挡区域。

一种相机镜头遮挡检测系统，所述系统包括：

图像采集模块，用以获得监控相机的数字图像；

图像预处理模块，用以对采集到的图像进行背景平滑；

背景建立模块，用以根据获取的图像对图像进行处理，获得平滑的背景图像；

高频分量提取模块，用以对原始图像与背景图像差分获得高频分量分布图；

广义图像建立模块，用以联合增强图像、经预处理后的原始图像建立广义图像，然后对广义图像进行边缘提取并卷积；

疑似遮挡区域检测模块，用以将卷积结果及设定阈值做比较，卷积结果小于设定阈值的，判断为候选遮挡区域；

遮挡区域确定模块，用以将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终判断为遮挡区域。

作为本发明的一种优选方案，所述疑似遮挡区域检测模块将图像分区，分成若干子区域，进行连通性判定，检测多个连通子区域是否被遮挡；统计广义图像在该连通子区域的矢量强度总和与方差，总和或者方差小于对应的设定阈值的，初步确定该区域为疑似遮挡区域。

作为本发明的一种优选方案，所述广义图像建立模块将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起，设预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像。

一种相机镜头遮挡检测方法，所述检测方法包括如下步骤：

步骤1，获取图像，检测模块从前端设备获取当前帧数字图像；

步骤2，图像预处理，采用中值滤波，消除图像中的大噪声；

步骤3，对图像进行开运算，消除图像中的空洞，降低图像中的突出物体和亮度突出部分；

步骤4，建立图像的亮度背景，采用均值滤波法，将图像平滑成光滑的亮度分布图；

步骤5，将步骤4中建立的光滑背景图与步骤2中预处理后的图像相减，得到图像中的高频分布图，遮挡部分由于亮度均匀，因此遮挡物覆盖的区域没有任何能量分布；

步骤6，对高频图像进行进一步的边缘提取；

步骤7，将高频分量进一步增强；

步骤8，将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起；设预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像；

步骤9，计算广义图像的边缘，梯度为矢量距离，计算相邻像素的矢量距离作为梯度来检测图像中的边缘；

步骤10，检测疑似遮挡区域；将图像分区，分成大小相等的8x8的小区域，检测若干个小区域是否被遮挡；统计广义图像在该小区域的矢量强度总和与方差，总和或者方差小于对应设定阈值的，初步确定该区域为疑似遮挡区域；

步骤11，最终确定该区域是否为遮挡；将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，即可最终判断为遮挡区域。

一种相机镜头遮挡检测方法，所述检测方法包括如下步骤：

图像采集步骤，获得监控相机的数字图像；

图像预处理步骤，对采集到的图像进行背景平滑；

背景步骤，根据获取的图像对图像进行处理，获得平滑的背景图像；

高频分量提取步骤，对原始图像与背景图像差分获得高频分量分布图；

广义图像建立步骤，联合增强图像、经预处理后的原始图像建立广义图像，然后对广义图像进行边缘提取并卷积；

疑似遮挡区域检测步骤，将卷积结果及设定阈值做比较，卷积结果小于设定阈值的，判断为候选遮挡区域；

遮挡区域确定步骤，将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终判断为遮挡区域。

作为本发明的一种优选方案，所述疑似遮挡区域检测步骤中，将图像分区，分成若干子区域，进行连通性判定，检测多个连通子区域是否被遮挡；统计广义图像在该连通子区域的矢量强度总和与方差，总和或者方差小于对应的设定阈值的，初步确定该区域为疑似遮挡区域。

作为本发明的一种优选方案，所述广义图像建立步骤中，将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起，设预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像。

一种相机镜头遮挡检测方法，所述检测方法包括如下步骤：

步骤S100：获取图像，检测模块从前端设备获取当前帧数字图像；

步骤S200：图像预处理；采用中值滤波，消除图像中的大噪声；

步骤S300：对图像进行开运算，消除图像中的空洞，降低图像中的突出物体和亮度突出部分；

步骤S400：建立图像的亮度背景，采用均值滤波法，将图像平滑成光滑的亮度分布图；

步骤S500：将步骤S400建立的光滑背景图与步骤S200预处理后的图像相减，得到图像中的高频分布图；

步骤S600：消除遮挡物中的高频干扰；提取完高频分量后的图像，为进一步消除了遮挡区域中的小的亮度突出点，进一步将遮挡区域变得光滑，减低误判，采用模糊检测法，移植高频分布图中最小的强奇点；

步骤S700：消除将非遮挡区判断为遮挡区；本步骤在上一步的基础上，也采用模糊增强检测法，将高频分量进一步增强，以提高检测的成功概率；

步骤S600、S700采用模糊处理，处理前，先将图像所有像素值都归一化到[0，1]之间的值：

$f_{x,y}=\frac{I_{x,y}}{I_{\max }}$

其中，I_x，y为(x，y)处的像素值，I_max为255。

然后用下式进行拉伸：

上面的R在[0，1]之间，R₁与R₂之间出现中断，即对图像中重要的画面信息区域不变化，而只是将其中比较平滑的区域进行抑制，同时对比较强的边缘区域进行拉伸以增强器对比度；经过增强后的像素值f_x，y在[-1，2]之间，即对应的原始像素值I_x，y会出现负值，同时超过255的值，再用Min、Max算子进行截断处理：

I′_x，y为截断后(x，y)处的像素值。

上述两步不仅能够抑制遮挡画面中出现的噪声等干扰，同时增强了非遮挡区域的画面边缘；根据每个区域内部纹理的散布特征，当这些特征为非连续和近似均匀散布时，高频增强可以将这些区域的边缘亮度信号增强；

步骤S800：单独对上述强度分布进行判断会有误报警，在本步骤中，将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起，如预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像；

步骤S900：计算广义图像的边缘，梯度为矢量距离，对高频图像进行进一步的进行边缘提取；

用高斯随机场模型，当H在(0，1)范围内，像素值变量I_x，y与ΔI_x，y满足：

$P_r(\frac{B_H(x+\mathrm{\&Delta;x})-B_H\left(x\right)}{{\left|\right|\mathrm{\&Delta;x}\left|\right|}^H}<y)=F\left(y\right)$

上述模型B_H为分布布朗随机场FBRF，其中的F(y)为零均值的高斯随即变量分布函数，P_r(·)为概率测度，H为分形参数，‖·‖为x参数变化量的范数；该模型反应了图像表面的不规则程度，当H参数越大，图像表面纹理越粗糙，反之，H越小时，图像的表面纹理越细；H参数可有最小二乘拟合图像的邻域小区域表面强度值来估计；当H＞1时，认为该点为可信的边缘点；这种方法在求取分形参数时，在统计平均和拟合运算时都包含了对图像的平滑操作；计算的时候，以点(x，y)为中心，取M×M的小窗口，对于不同的Δr，计算ΔI_Δr时，利用最小二乘法：

E(ΔI_Δr)＝cΔr^H；

计算的时候为了加快运算速度，可使用线性最小二乘来拟合，由拟合的直线斜率得到H参数，当计算到H＞1时，判断为可行的边缘点，做上标记；

由于在上述模型中计算H时仍然存在漏检，将非遮挡区当作遮挡区，因此在不同的图像尺度上进行计算；先提取前将图像缩小2倍、4倍后，分别在原图和缩小的所有的尺度图像上进行提取，只有在三个尺度上都能提取到边缘的才判断为边远图像；

步骤S1000：检测疑似遮挡区域，有分为两步，第一步将图像分区，分成大小相等的8x8的小区域，第二步检测该区域是否被遮挡；经过上面的边缘提取后，遮挡区域里的能量分布几乎为零，或者分布即为平滑，统计广义图像该区域的矢量强度总和与方差，总和或者方差小于某一阈值的，就可检测初步确定该区域为遮挡区域；

步骤S1100：最终确定该区域是否为遮挡；设定一个阈值C_H，将初步检测出来的遮挡区域进行纵向、横向投影，投影值跟C_H比较，大于C_H的当作最终的遮挡区域，小于C_H的，标记为疑似区域。由于遮挡物本身大多数为静止，因此遮挡区域的亮度变化很小，因此，对疑似区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终也判断为遮挡区域。

本发明的有益效果在于：本发明提出的相机镜头遮挡检测系统及方法，可解决现有技术由于场景亮度变化导致错误检测结果问题，不是从像素变化的角度，而是直接分析遮挡物的图像特征来判断镜头是否被遮挡。

本发明方法不需要参考帧，可以更快地检测遮挡，因此本方法可随时进行，即使遮挡发生后，也能有效检测镜头是否被遮挡。

本发明不对运动物体检测，因此，即使运动物体很大，也不会误判为遮挡，但是，无论是运动还是静止，只要遮挡物出现在镜头上，或者离镜头很近的距离，就可立即判断为遮挡。

附图说明

图1为本发明检测系统的整个工作流程图。

图2为遮挡检测系统的组成示意图。

图3为本发明中广义卷积高频区域检测模块的组成示意图。

图4为背景建立模块的组成示意图。

图5为高频分量提取模块的组成示意图。

图6为遮挡区域确定模块的组成示意图。

图7为实例用原始图像。

图8为广义高频结果图的二维矢量分布图。

图9为图7最后的检测结果图，标记B的为疑似遮挡区域，标记C的为最后确定的遮挡区域。

图10为镜头前近距离遮挡的检测结果。

图11为未被检测成遮挡的检测结果。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

本发明揭示一种相机镜头遮挡检测系统及检测方法，可解决由于场景亮度变化导致错误检测结果问题，不是从像素变化的角度，而是直接分析遮挡物的图像特征来判断镜头是否被遮挡。本发明系统及方法不需要参考帧，可以更快地检测遮挡，因此本发明可随时进行，即使遮挡发生后，也能有效检测镜头是否被遮挡。

本发明不对运动物体检测，因此，即使运动物体很大，也不会误判为遮挡，但是，无论是运动还是静止，只要遮挡物出现在镜头上，或者离镜头很近的距离，就可立即判断为遮挡。

请参阅图2，本发明揭示的相机镜头遮挡检测系统包括依次连接的图像获取与预处理模块100、画面遮挡检测模块200、遮挡区域输出模块300。本发明的主要改进点在于画面遮挡检测模块200。以下对各模块分别介绍。

【图像获取与预处理模块】

图像获取与预处理模块100用以获得监控相机的数字图像，并对采集到的图像进行背景平滑。

图像获取与预处理模块100可包括图像采集模块、图像预处理模块。图像采集模块用以获得监控相机的数字图像；图像预处理模块用以采用中值滤波消除图像中的大噪声，对采集到的图像进行背景平滑。

【画面遮挡检测模块】

请参阅图3，画面遮挡检测模块200包括依次连接的背景建立模块210、高频提取模块220、遮挡区域确定模块230。

背景建立模块210用以根据获取的图像对图像进行开运算，消除图像中的空洞，获得平滑的背景图像。请参阅图4，背景建立模块210包括图像滤噪单元211、图像开运算单元212、背景亮度重建单元213，通过对开运算后的图像进行低通滤波，消除图像中的空洞，将图像平滑成光滑的亮度分布。

请参阅图5，高频提取模块220包括图像相减单元221、高频边缘提取单元222、边缘图像增强单元223。图像相减单元221将预处理后的图像与背景图像相减，然后通过高频边缘提取单元222进行边缘提取，获得边缘分量，边缘图像增强单元223对得到的边缘进一步增强。

请参阅图6，遮挡区域确定模块230包括高维图像联合单元231、边缘提取单元232、疑似遮挡区域检测单元233、遮挡区域确定单元234。首先通过高维图像联合单元231将增强后的高频分量与预处理后的图像联合，形成广义联合图像；然后通过边缘提取单元232进行矢量边缘提取，得到广义边缘矢量图；再通过疑似遮挡区域检测单元233检测疑似遮挡区域，利用遮挡区域的能量分布为零或者均匀分布的特点，检测所有的疑似遮挡区域；遮挡区域确定单元234通过像素强度的时间变化方差情况，最终确定该区域为遮挡区域。

高维图像联合单元231用以联合增强图像、经预处理后的原始图像建立广义图像，然后对广义图像进行边缘提取并卷积；所述广义图像建立模块将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起。设预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像。

疑似遮挡区域检测单元233用以将卷积结果及设定阈值做比较，卷积结果小于设定阈值的，判断为候选遮挡区域；所述疑似遮挡区域检测模块将图像分区，分成若干子区域，进行连通性判定，检测多个连通子区域是否被遮挡；统计广义图像在该连通子区域的矢量强度总和与方差，总和或者方差小于对应的设定阈值的，初步确定该区域为疑似遮挡区域。

遮挡区域确定单元234用以将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终判断为遮挡区域。遮挡区域确定单元234还可通过连通性滤波单元确定，连通性滤波单元滤除小空洞区域，然后对所有遮挡区域进行连通性判定，根据预设的预值判断多连通区域为真正的遮挡区，消除单个候选区域造成的误报警。

以上介绍了本发明相机镜头遮挡检测系统，本发明在揭示上述相机镜头遮挡检测系统的同时，还揭示上述相机镜头遮挡检测系统的检测方法；请参阅图1，本发明相机镜头遮挡检测方法包括如下步骤：

【步骤S100】获取图像，检测模块从前端设备获取当前帧数字图像。

【步骤S200】图像预处理。采用中值滤波，消除图像中的大噪声。

【步骤S300】对图像进行开运算，消除图像中的空洞，降低图像中的突出物体和亮度突出部分。

【步骤S400】建立图像的亮度背景，消除空洞后的图像亮度分布虽然在大尺度上均匀，但在小尺度上仍然有很多突出点。采用均值滤波法，将图像平滑成光滑的亮度分布图。

【步骤S500】将步骤S400建立的光滑背景图与步骤S200预处理后的图像相减，得到图像中的高频分布图，如图8所示的那样，遮挡部分由于亮度均匀，因此遮挡物覆盖的区域几乎没有任何能量分布。

【步骤S600】消除遮挡物中的高频干扰。经过步骤S600提取完高频分量后的图像，为进一步消除了遮挡区域中的小的亮度突出点，进一步将遮挡区域变得光滑，减低误判，采用模糊检测法，移植高频分布图中比较小的强奇点。

【步骤S700】消除将非遮挡区判断为遮挡区。本步骤在上一步的基础上，也采用模糊增强检测法，将高频分量进一步增强，以提高检测的成功概率。

步骤S600、S700采用模糊处理，处理前，先将图像所有像素值都归一化到[0，1]之间的值：

$f_{x,y}=\frac{I_{x,y}}{I_{\max }}$

其中I_x，y为(x，y)处的像素值，I_max为255。

然后用下式进行拉伸：

上面的R在[0，1]之间，R₁与R₂之间出现中断，即对图像中重要的画面信息区域不变化，而只是将其中比较平滑的区域进行抑制，同时对比较强的边缘区域进行拉伸以增强器对比度。经过增强后的像素值f_x，y在[-1，2]之间，即对应的原始像素值I_x，y会出现负值，同时也有超过255的值，再用Min、Max算子进行截断处理：

I′_x，y为截断后(x，y)处的像素值。

上述两步不仅能够抑制遮挡画面中出现的噪声等干扰，同时增强了非遮挡区域的画面边缘。由于画面中有的区域本身比较平缓，比如路面、墙面等，但是这些画面本身包含一些细小的纹理，根据每个区域内部纹理的散布特征，当这些特征为非连续和近似均匀散布时，高频增强可以将这些区域的边缘亮度信号增强，可认为是非遮挡区，减低误判。

【步骤S800】单独对上述强度分布进行判断会有误报警，在本步骤中，将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起，如预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值。所有像素经过联合后形成矢量图，即广义上的图像。

【步骤S900】计算广义图像的边缘，梯度为矢量距离，虽然可用Robert、Sobel、Prewitt算子计算相邻像素的矢量距离作为梯度来检测图像中的边缘，但是由于遮挡物本身有一定的特征，遮挡区域里也会有一些小的突出的亮度分布，比如报纸，遮挡在镜头前，文字边缘会造成遮挡区域画面的强度变化明显，因此必须对高频图像进行进一步的进行边缘提取。

由于画面中的自然景物也是一种随机场，用高斯随机场模型，当H在(0，1)范围内，像素值变量I_x，y与ΔI_x，y满足：

$P_r(\frac{B_H(x+\mathrm{\&Delta;x})-B_H\left(x\right)}{{\left|\right|\mathrm{\&Delta;x}\left|\right|}^H}<y)=F\left(y\right)$

上述模型B_H为分布布朗随机场(FBRF)，其中的F(y)为零均值的高斯随即变量分布函数，P_r(·)为概率测度，H为分形参数，‖·‖为x参数变化量的范数。该模型反应了图像表面的不规则程度，当H参数越大，图像表面纹理越粗糙，反之，H越小时，图像的表面纹理越细。H参数可有最小二乘拟合图像的邻域小区域表面强度值来估计。当H＞1时，可认为该点为可信的边缘点。这种方法在求取分形参数时，在统计平均和拟合运算时都包含了对图像的平滑操作，因此，比Robert等算法具有更强的抗噪声性能。计算的时候，以点(x，y)为中心，取M×M的小窗口，对于不同的Δr，计算ΔI_Δr时，利用最小二乘法：

E(ΔI_Δr)＝cΔr^H

计算的时候为了加快运算速度，可使用线性最小二乘来拟合，由拟合的直线斜率得到H参数，当计算到H＞1时，判断为可行的边缘点，做上标记。

由于在上述模型中计算H时仍然存在漏检，将非遮挡区当作遮挡区，因此在不同的图像尺度上进行计算。先提取前将图像缩小2倍、4倍后，分别在原图和缩小的所有的尺度图像上进行提取，只有在三个尺度上都能提取到边缘的才判断为边远图像。

【步骤S1000】检测疑似遮挡区域，有分为两步，第一步将图像分区，分成大小相等的8x8的小区域，第二步检测该区域是否被遮挡。经过上面的边缘提取后，遮挡区域里的能量分布几乎为零，或者分布即为平滑，统计广义图像该区域的矢量强度总和与方差，总和或者方差小于某一阈值的，就可检测初步确定该区域为遮挡区域。

【步骤S1100】最终确定该区域是否为遮挡；设定一个阈值C_H，将初步检测出来的遮挡区域进行纵向、横向投影，投影值跟C_H比较，大于C_H的当作最终的遮挡区域，小于C_H的，标记为疑似区域。由于遮挡物本身大多数为静止，因此遮挡区域的亮度变化很小，因此，对疑似区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终也判断为遮挡区域。

图7为一实例镜头遮挡图像，图像中间被白色纸片遮挡。本实例中采用白色纸片，说明本发明的检测方法不依赖遮挡区域的亮度情况。有些遮挡检测算法将暗区域认为是遮挡，是不正确的。有些情况，遮挡区域的能量分布极小，但是该区域还是有细小的能量变化，因此，还需要进一步处理，才能进一步将遮挡区域与其他区域分开。

图8是联合广义图像的矢量强度分布立体二维图，从该图可以看到，遮挡区域的海平面高度极低，应该与海平面相等，而图像左下角区域，虽然强度分布也很低，但是却不等于海平面。

图9至图11为疑似遮挡区域与最终确定的遮挡区域。其中标记字母B的区域为初步检测到的遮挡区域，进行纵向、横向投影后跟C_H比较，最终检测到的遮挡区域，标记字母C。图9中，贴在镜头上的白纸虽然有一定的亮度，但是最终还是有4个区域被标记为遮挡物区域。图10中，距离镜头较近的遮挡物，也能有效检测出其遮挡范围。图11中，画面中的公路图像虽然比较平滑，但是仅仅被判断为疑似遮挡，并没有判断为可信的遮挡区域。上述结果图证明了本发明的遮挡检测方法的有效性。

综上所述，本发明提出的相机镜头遮挡检测系统及方法，可解决现有技术由于场景亮度变化导致错误检测结果问题，不是从像素变化的角度，而是直接分析遮挡物的图像特征来判断镜头是否被遮挡。

本发明方法不需要参考帧，可以更快地检测遮挡，因此本方法可随时进行，即使遮挡发生后，也能有效检测镜头是否被遮挡。

本发明不对运动物体检测，因此，即使运动物体很大，也不会误判为遮挡，但是，无论是运动还是静止，只要遮挡物出现在镜头上，或者离镜头很近的距离，就可立即判断为遮挡。

整个移动检测采用采用C语言编写所有的软件模块，因此，本发明可以驻留在智能相机的内部电路中运行，如IPcamera，也可以安装在监控系统的智能服务器中，作为一个独立的功能模块运行，不影响其他功能。同时，算法所依托的硬件实体不限，即便是FPGA等，也可以通过简单的改写就能运行。

本发明中的算法关键为图像相减和联合图像两步，图像相减滤除背景亮度，获得图像完全的高频分量，而联合图像则增加了图像信息量，提高了准确率，最后利用遮挡区域和非遮挡区域交界处的特征，剔除疑似遮挡区域。

实施例二

本实施例中，本发明相机镜头遮挡检测系统包括：

图像采集模块，用以获得监控相机的数字图像；

图像预处理模块，用以采用中值滤波消除图像中的大噪声，对采集到的图像进行背景平滑；

背景建立模块，用以根据获取的图像对图像进行开运算，对开运算后的图像进行低通滤波，消除图像中的空洞，获得平滑的背景图像；

高频分量提取模块，用以对原始图像与背景图像差分获得高频分量分布图；

高频分量增强模块，用以增强图像的高频分量；

广义图像建立模块，用以联合增强图像、经预处理后的原始图像建立广义图像，然后对广义图像进行边缘提取并卷积；所述广义图像建立模块将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起；设预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像；

疑似遮挡区域检测模块，用以将卷积结果及设定阈值做比较，卷积结果小于设定阈值的，判断为候选遮挡区域；所述疑似遮挡区域检测模块将图像分区，分成若干子区域，进行连通性判定，检测多个连通子区域是否被遮挡；统计广义图像在该连通子区域的矢量强度总和与方差，总和或者方差小于对应的设定阈值的，初步确定该区域为疑似遮挡区域；

遮挡区域确定模块，用以将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终判断为遮挡区域。

本实施例中，本发明相机镜头遮挡检测方法包括如下步骤：

图像采集步骤，获得监控相机的数字图像。

图像预处理步骤，对采集到的图像进行背景平滑。

背景步骤，根据获取的图像对图像进行处理，获得平滑的背景图像。

高频分量提取步骤，对原始图像与背景图像差分获得高频分量分布图。

广义图像建立步骤，联合增强图像、经预处理后的原始图像建立广义图像，然后对广义图像进行边缘提取并卷积。

疑似遮挡区域检测步骤，将卷积结果及设定阈值做比较，卷积结果小于设定阈值的，判断为候选遮挡区域。优选地，首先将图像分区，分成若干子区域，进行连通性判定，检测多个连通子区域是否被遮挡；而后统计广义图像在该连通子区域的矢量强度总和与方差，总和或者方差小于对应的设定阈值的，初步确定该区域为疑似遮挡区域。

遮挡区域确定步骤，将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终判断为遮挡区域。

实施例三

本实施例中，本发明相机镜头遮挡检测方法包括如下步骤：

【步骤S100】获取图像，检测模块从前端设备获取当前帧数字图像。

【步骤S200】图像预处理。采用中值滤波，消除图像中的大噪声。

【步骤S300】对图像进行开运算，消除图像中的空洞，降低图像中的突出物体和亮度突出部分。

【步骤S400】建立图像的亮度背景，消除空洞后的图像亮度分布虽然在大尺度上均匀，但在小尺度上仍然有很多突出点。采用均值滤波法，将图像平滑成光滑的亮度分布图。

【步骤S500】将步骤S400建立的光滑背景图与步骤S200预处理后的图像相减，得到图像中的高频分布图，遮挡部分由于亮度均匀，因此遮挡物覆盖的区域没有任何能量分布。

【步骤S600】步骤S500虽然得到了图像中的目标亮度特征分布图，但是由于遮挡物本身有一定的特征，遮挡区域里也会有一些小的突出的亮度分布。必须对高频图像进行进一步的边缘提取。本步骤提取完高频分量后的图像，进一步消除了遮挡区域中的小的亮度突出点，进一步将遮挡区域变得光滑，减低误判。

【步骤S700】将高频分量进一步增强，以提高检测的成功概率。由于画面中有的区域本身比较平缓，比如路面、墙面等，高频增强可以将这些区域的边缘亮度信号增强，减低误判。

【步骤S800】将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起，如预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值。所有像素经过联合后形成矢量图，即广义上的图像。

【步骤S900】利用计算广义图像的边缘，梯度为矢量距离，计算相邻像素的矢量距离作为梯度来检测图像中的边缘。

【步骤S1000】检测疑似遮挡区域，有分为两步，第一步将图像分区，分成大小相等的8x8的小区域(当然分区方法可以为其他)，第二步检测该区域是否被遮挡。经过上面的边缘提取后，遮挡区域里的能量分布几乎为零，或者分布即为平滑，统计广义图像该区域的矢量强度总和与方差，总和或者方差小于某一阈值的，就可检测初步确定该区域为遮挡区域。本发明可对画面中的区域设置特定的兴趣区ROI，最小记忆区域为整个画面的1/64；因此，只要1/64的画面被遮挡就能被检测，并根据报警阈值进行报警触发。

【步骤S1100】最终确定该区域是否为遮挡。设定一个阈值C_H，将初步检测出来的遮挡区域进行纵向、横向投影，投影值跟C_H比较，大于C_H的当作最终的遮挡区域，小于C_H的，标记为疑似区域。由于遮挡物本身大多数为静止，因此遮挡区域的亮度变化很小，因此，将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化都几乎不变，即可最终判断为遮挡区域。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (5)

1.一种相机镜头遮挡检测系统，其特征在于，所述系统包括：

图像采集模块，用以获得监控相机的数字图像；

图像预处理模块，用以采用中值滤波消除图像中的大噪声，对采集到的图像进行背景平滑；

背景建立模块，用以根据获取的图像对图像进行开运算，对开运算后的图像进行低通滤波，消除图像中的空洞，获得平滑的背景图像；

高频分量提取模块，用以对原始图像与背景图像差分获得高频分量分布图；

高频分量增强模块，用以增强图像的高频分量；

广义图像建立模块，用以联合增强图像、经预处理后的原始图像建立广义图像，然后对广义图像进行边缘提取并卷积；所述广义图像建立模块将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起；设预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像；

疑似遮挡区域检测模块，用以将卷积结果及设定阈值做比较，卷积结果小于设定阈值的，判断为候选遮挡区域；所述疑似遮挡区域检测模块将图像分区，分成若干子区域，进行连通性判定，检测多个连通子区域是否被遮挡；统计广义图像在该连通子区域的矢量强度总和与方差，总和或者方差小于对应的设定阈值的，初步确定该区域为疑似遮挡区域；

遮挡区域确定模块，用以将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终判断为遮挡区域。

2.一种相机镜头遮挡检测系统，其特征在于，所述系统包括：

图像采集模块，用以获得监控相机的数字图像；

图像预处理模块，用以对采集到的图像进行背景平滑；

背景建立模块，用以根据获取的图像对图像进行处理，获得平滑的背景图像；

高频分量提取模块，用以对原始图像与背景图像差分获得高频分量分布图；

广义图像建立模块，用以联合增强图像、经预处理后的原始图像建立广义图像，然后对广义图像进行边缘提取并卷积；

疑似遮挡区域检测模块，用以将卷积结果及设定阈值做比较，卷积结果小于设定阈值的，判断为候选遮挡区域；

遮挡区域确定模块，用以将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终判断为遮挡区域，

其中，所述疑似遮挡区域检测模块将图像分区，分成若干子区域，进行连通性判定，检测多个连通子区域是否被遮挡；统计广义图像在该连通子区域的矢量强度总和与方差，总和或者方差小于对应的设定阈值的，初步确定该区域为疑似遮挡区域，

所述广义图像建立模块将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起，设预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像。

3.一种相机镜头遮挡检测方法，其特征在于，所述检测方法包括如下步骤：

步骤1，获取图像，检测模块从前端设备获取当前帧数字图像；

步骤2，图像预处理，采用中值滤波，消除图像中的大噪声；

步骤3，对图像进行开运算，消除图像中的空洞，降低图像中的突出物体和亮度突出部分；

步骤4，建立图像的亮度背景，采用均值滤波法，将图像平滑成光滑的亮度分布图；

步骤5，将步骤4中建立的光滑背景图与步骤2中预处理后的图像相减，得到图像中的高频分布图，遮挡部分由于亮度均匀，因此遮挡物覆盖的区域没有任何能量分布；

步骤6，对高频图像进行进一步的边缘提取；

步骤7，将高频分量进一步增强；

步骤8，将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起；设预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像；

步骤9，计算广义图像的边缘，梯度为矢量距离，计算相邻像素的矢量距离作为梯度来检测图像中的边缘；

步骤10，检测疑似遮挡区域；将图像分区，分成大小相等的8x8的小区域，检测若干个小区域是否被遮挡；统计广义图像在该小区域的矢量强度总和与方差，总和或者方差小于对应设定阈值的，初步确定该区域为疑似遮挡区域；

步骤11，最终确定该区域是否为遮挡；将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，即可最终判断为遮挡区域。

4.一种相机镜头遮挡检测方法，其特征在于，所述检测方法包括如下步骤：

图像采集步骤，获得监控相机的数字图像；

图像预处理步骤，对采集到的图像进行背景平滑；

背景步骤，根据获取的图像对图像进行处理，获得平滑的背景图像；

高频分量提取步骤，对原始图像与背景图像差分获得高频分量分布图；

广义图像建立步骤，联合增强图像、经预处理后的原始图像建立广义图像，然后对广义图像进行边缘提取并卷积；

疑似遮挡区域检测步骤，将卷积结果及设定阈值做比较，卷积结果小于设定阈值的，判断为候选遮挡区域；

遮挡区域确定步骤，将疑似遮挡区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终判断为遮挡区域，

其中，所述疑似遮挡区域检测步骤中，将图像分区，分成若干子区域，进行连通性判定，检测多个连通子区域是否被遮挡；统计广义图像在该连通子区域的矢量强度总和与方差，总和或者方差小于对应的设定阈值的，初步确定该区域为疑似遮挡区域，

所述广义图像建立步骤中，将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起，设预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像。

5.一种相机镜头遮挡检测方法，其特征在于，所述检测方法包括如下步骤：

步骤S100：获取图像，检测模块从前端设备获取当前帧数字图像；

步骤S200：图像预处理；采用中值滤波，消除图像中的大噪声；

步骤S300：对图像进行开运算，消除图像中的空洞，降低图像中的突出物体和亮度突出部分；

步骤S400：建立图像的亮度背景，采用均值滤波法，将图像平滑成光滑的亮度分布图；

步骤S500：将步骤S400建立的光滑背景图与步骤S200预处理后的图像相减，得到图像中的高频分布图；

步骤S600：消除遮挡物中的高频干扰；提取完高频分量后的图像，为进一步消除了遮挡区域中的小的亮度突出点，进一步将遮挡区域变得光滑，减低误判，采用模糊检测法，移植高频分布图中最小的强奇点；

步骤S700：消除将非遮挡区判断为遮挡区；本步骤在上一步的基础上，也采用模糊增强检测法，将高频分量进一步增强，以提高检测的成功概率；

步骤S600、S700采用模糊处理，处理前，先将图像所有像素值都归一化到[0，1]之间的值：

$f_{x,y}=\frac{I_{x,y}}{I_{\max }}$

其中，I_x，y为(x，y)处的像素值，I_max为255；

然后用下式进行拉伸：

上述R₁、R₂在[0，1]之间，R₁与R₂之间出现中断，即对图像中重要的画面信息区域不变化，而只是将其中比较平滑的区域进行抑制，同时对比较强的边缘区域进行拉伸以增强对比度；经过增强后的像素值f_x，y在[-1，2]之间，即对应的原始像素值I_x，y会出现负值，同时超过255的值，再用Min、Max算子进行截断处理：

I′_x，y为截断后(x，y)处的像素值；

根据每个区域内部纹理的散布特征，当这些特征为非连续和近似均匀散布时，高频增强可将这些区域的边缘亮度信号增强；

步骤S800：单独对上述强度分布进行判断会有误报警，在本步骤中，将增强后的边缘图像与预处理后的图像进行联合，即将对应处的两个像素亮度结合在一起，如预处理后的图像像素亮度为i(x，y)，边缘图像亮度像素值j(x，y)，两个像素值联合后的像素强度为p(i(x，y)，j(x，y))，即形成亮度的矢量值；所有像素经过联合后形成矢量图，即广义上的图像；

步骤S900：计算广义图像的边缘，梯度为矢量距离，对高频图像进行进一步的进行边缘提取；

用高斯随机场模型，当H在(0，1)范围内，像素值变量I_x，y与ΔI_x，y满足：

$P_r(\frac{B_H(x+\mathrm{\&Delta;x})-B_H\left(x\right)}{{\left|\right|\mathrm{\&Delta;x}\left|\right|}^H}<y)=F\left(y\right)$

上述模型B_H为分布布朗随机场FBRF，其中的F(y)为零均值的高斯随即变量分布函数，P_r(·)为概率测度，H为分形参数，‖·‖为x参数变化量的范数；该模型反应了图像表面的不规则程度，当H参数越大，图像表面纹理越粗糙，反之，H越小时，图像的表面纹理越细；H参数由最小二乘拟合图像的邻域小区域表面强度值来估计；当H＞1时，认为该点为可信的边缘点；这种方法在求取分形参数时，在统计平均和拟合运算时都包含了对图像的平滑操作；计算的时候，以点(x，y)为中心，取M×M的小窗口，对于不同的Δr，计算ΔI_Δr时，利用最小二乘法：

E(ΔI_Δr)＝cΔr^H；

计算时使用线性最小二乘来拟合以加快运算速度，由拟合的直线斜率得到H参数，当计算到H＞1时，判断为可行的边缘点，做上标记；

在不同的图像尺度上进行计算；先提取前将图像缩小2倍、4倍后，分别在原图和缩小的所有的尺度图像上进行提取，只有在三个尺度上都能提取到边缘的才判断为边缘图像；

步骤S1000：检测疑似遮挡区域，分为两步，第一步将图像分区，分成大小相等的8x8的小区域，第二步检测该区域是否被遮挡；经过上面的边缘提取后，遮挡区域里的能量分布几乎为零，或者分布即为平滑，统计广义图像该区域的矢量强度总和与方差，总和或者方差小于某一阈值的，就可检测初步确定该区域为遮挡区域；

步骤S1100：最终确定该区域是否为遮挡；设定一个阈值C_H，将初步检测出来的遮挡区域进行纵向、横向投影，投影值跟C_H比较，大于C_H的当作最终的遮挡区域，小于C_H的，标记为疑似区域；对疑似区域的后续图像像素值进行追踪，如果该区域的所有像素的亮度变化小于设定阈值，最终也判断为遮挡区域。

Images