CN107423737A - 异物遮挡的视频质量诊断方法 - Google Patents

Abstract

本发明涉及一种异物遮挡的视频质量诊断方法。首先将RGB图像进行双边滤波，并将滤波后的图像转换到HSV空间，再在HSV空间计算图像的梯度值和梯度方向，并利用梯度值和梯度方向实现图像直线的提取。然后对提取到的直线进行合并，选取相邻且不相交的两条直线，获取两条直线之间的最大矩形区域。通过计算矩形区域在H、S分量的标准差，及矩形区域的结构相似性值，来确定候选区域。最后通过合并候选区域完成异物检测。本发明不需要使用参考图像，避免因参考图像自身的多态性而必须引入多样化的场景匹配管理机制，也不会因为参考图像的匹配机制中的主观判定标准而造成准确率的损失，检测结果客观、准确。

Description

异物遮挡的视频质量诊断方法

技术领域

本发明属于计算机视觉领域，可用于监控视频画面被异物(二维成像下的较大带状、面状物体)遮挡的异常检测系统。尤其涉及一种异物遮挡的视频质量诊断方法。

背景技术

随着球型监控摄像机设备在各类监控场所的普及应用，在改善操作体验和提高监控效率的同时，一些不规范的操作行为也给日常的监控业务带来负面影响，比如：球机在进行镜头拉近操作后没有复位到预置点，使得原本在场景中属于较小、次要目标的物体(树干、围栏、广告牌、电线杆、墙面等)此刻的成像占据了摄像机ROI(region of interest)的大部分面积；再比如，当球机被转动角度后，摄像机的ROI中出现了上述物体较大的成像，干扰了正常取景；或者上述物体新出现在某些区域时，恰好处于现存摄像机ROI的近景范围，发生以上几种情况我们都称之为异物遮挡。异物遮挡导致视频信息的严重缺失，对公共安全监控信息管理带来隐患，甚至造成不可挽回的损失。因此，对异物遮挡检测的研究具有重要的学术价值和现实意义。

目前国内外关于视频遮挡的研究主要分为两类：一类是采用参考图像与待检测图像之间的对比方法来完成遮挡检测，另一类采用提取参考图像中一系列局部特征信息与待检测图像进行匹配来进行遮挡检测，然而在监控视频遮挡检测的实际应用中，由于监控场景复杂多变，多数情况下很难界定原始视频的参考图像，因此上述两种方法都不适用于监控视频遮挡检测。

发明内容

本发明所要解决的技术问题是提出一种基于直线检测的异物遮挡的视频质量诊断方法，不需要使用参考图像，直接计算图像的某些特性来对图像进行判断。

本发明的基本技术构思是，首先将RGB图像进行双边滤波，并将滤波后的图像转换到HSV空间，再在HSV空间计算图像的梯度值和梯度方向，并利用梯度值和梯度方向实现图像直线的提取。然后对提取到的直线进行合并，选取相邻且不相交的两条直线，获取两条直线之间的最大矩形区域。通过计算矩形区域在H、S分量的标准差，及矩形区域的结构相似性值，来确定候选区域。最后通过合并候选区域完成异物检测。

为解决上述技术问题，本发明提出的异物遮挡的视频质量诊断方法，包括以下步骤：

步骤i、将RGB原图进行双边滤波后转换到HSV空间，并对HSV图像求梯度；

步骤ii、根据梯度值和梯度方向，提取HSV图像中的直线段；

步骤iii、对提取的线段进行合并操作，使得断裂的短线段连接成一条长线段；

步骤iv、对合并后的线段进行预处理，并根据直线段提取矩形区域；

步骤v、计算矩形区域的H、S分量的标准差，以及矩形区域上下轴对称两部分的结构相似度，并通过标准差和结构相似度确定候选区域；

步骤vi、合并候选区域，得到异物区域；完成异物遮挡检测。

可优选的，所述将RGB原图进行双边滤波后转换到HSV空间，并对HSV图像求梯度的具体步骤，包括：

步骤1，对RGB原图像进行双边滤波操作，分项步骤为：

1-1)计算像素点与邻域的空间距离的高斯权值；

1-2)计算当前点与邻域的像素相似程度高斯权值；

1-3)融合1)、2)的计算结果完成双边滤波的处理过程。

步骤2，把RGB图像转换成HSV图像；

步骤3，计算HSV图像的梯度，即计算每一个像素点在直角坐标系中的梯度值和梯度方向。

按上述方案，根据梯度值和梯度方向，提取HSV图像中的直线段的具体步骤，包括：

2-1)将图像梯度值均匀划分成n个等级，将梯度值小于阈值的像素点标记为已使用，梯度值大于阈值的像素点标记为未使用；

2-2)从标记为未使用的点中选择梯度值最大的点作为种子点，进行直线支撑区域生长。直线支撑区域的初始状态为该种子点，直线支撑区域的方向为该种子点梯度方向，并标记该种子点为已使用。搜索种子点八连通域内的未使用的点，将梯度方向与直线支撑区域方向的夹角小于阈值的像素点加入到直线支撑域内，标记该像素点为已使用。直至没有像素点加入该直线支撑区域为止。则重新选择为使用的最大种子点重新进行新的直线支撑区域生长。

2-3)直线支撑区域生长结束后，计算该区域的最小外接矩形，并计算矩形的中心点、方向角、长度和宽度。该区域的初始直线即为通过矩形中心点且方向为最小外接矩形方向角的直线。然后通过计算直线支撑区域的错误报警数NFA对初始直线进行判断，若NFA小于阈值，则初始直线即为检测到的直线，否则继续判断下一个直线支撑区域。

可优选的，所述对提取的线段进行合并操作，使得断裂的短线段连接成一条长线段的具体步骤，包括：

3-1)将所有直线段按照长度进行降序排列，从最长的直线段开始，依次搜索后面所有直线段。

3-2)从直线段中找出与基准直线段夹角小于阈值、直线段上所有点到基准直线的平均距离小于阈值的直线段进行合并。基准直线段是指每次比较中最长的直线段。

按上述方案，对合并后的线段进行预处理，并根据直线段提取矩形区域的具体步骤，包括：

4-1)将直线段延长至图像边缘，删除与图像左右边缘相交的直线段。

4-2)选取满足以下条件的两条直线段：

两条直线相邻且不相交、两条直线上端点距离小于阈值、下端点距离小于阈值、两条直线夹角小于阈值；

4-3)从满足要求的两条直线段中间选取最大矩形区域。

按上述方案，计算矩形区域的H、S分量的标准差，以及矩形区域上下轴对称两部分的结构相似度，并通过标准差和结构相似度确定候选区域的具体步骤，包括：

5-1)并计算矩形区域内h分量和s分量的标准差之乘积，若小于阈值则进行下一步骤，否则选取另一个矩形进行判断。

5-2)计算矩形区域上下轴对称部分的结构相似度，若大于阈值则进行下一步骤，否则选取另一个矩形进行判断。

按上述方案，所述合并候选区域，得到异物区域，即计算所有候选区域的并集，此并集即为异物区域。

有益效果：本发明采用了不需要使用参考图像的检测方法，这种技术相较于其它检测方案的突出意义在于：

(1)避免了将采集被检测视频‘参考图像’的工作，作为方案执行的必备前提条件，降低了本发明所述检测技术的应用门槛。

(2)即使其它检测方案获得了被检测视频的‘参考图像’，仍然无法避免参考图像自身的多态性，比如：因为气候变迁、街景物体运动或临时变更、甚至是一天内的天气突变等。如果要最大限度保证检测的准确性，则需要针对性地为参考图像建立多样化的场景匹配管理机制，加大了方案的实施难度。

(3)最后，基于参考图像的多态性设计的检测方案，由于过度依赖于被检测视频的实时场景，且与参考图像的匹配机制掺入了主观判定标准，其整体准确率在参考图像匹配选择的平滑性上有一定损失。而本发明所述检测技术，所依赖的判定标准完全来源于图像自身的某些特性，客观性更有保障。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1为本发明方法的基本流程图。

图2为根据直线段提取矩形区域(a)的实施例示意图。

图3为根据直线段提取矩形区域(b)的实施例示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

由于异物在视频监控画面中处于静止状态，其颜色具有相对单一性，边缘呈近似直线状，且在整个画面中延伸达到一定范围。因此利用这些特性，本发明采用了不需要使用参考图像，直接计算图像的某些特性来对图像进行判断的检测方法。

如图1所示，本发明的一种基于直线检测的异物遮挡视频质量诊断方法的实施例，主要步骤如下：

步骤i，将RGB原图进行双边滤波后转换到HSV空间，并对HSV图像求梯度；

步骤ii，根据梯度值和梯度方向，提取HSV图像中的直线段；

步骤iii，对提取的线段进行合并操作，使得断裂的短线段连接成一条长线段；

步骤iv，对合并后的线段进行预处理，并根据直线段提取矩形区域；

步骤v，计算矩形区域的H、S分量的标准差，以及矩形区域上下轴对称两部分的结构相似度，并通过标准差和结构相似度确定候选区域；

步骤vi，合并候选区域，得到异物区域；

完成异物检测。

所述步骤i中，将RGB原图进行双边滤波后转换到HSV空间，并对HSV图像求梯度包括如下具体步骤：

步骤1、对RGB原图进行双边滤波，具体包括为：

1-1)计算当前点与邻域的空间距离高斯权值：

其中，X是当前点，ξ是邻域内的点，e是自然对数，σ_d是标准差，d(ξ,X)表示两点之间的欧氏距离。

1-2)计算当前点与邻域的像素相似程度高斯权值：

其中，f(ξ)为点ξ的像素值，σ(f(ξ),f(X))表示像素值之间的欧式距离，σ_r是标准差。

1-3)计算双边滤波后的图像：

其中，Ω表示点X的邻域，F(X)是滤波后的RGB图像。

步骤2，把RGB图像转换成HSV图像；

步骤3，计算HSV图像的梯度，即计算每一个像素点在直角坐标系中的梯度值和梯度方向。求HSV图像梯度的具体步骤为：

梯度值计算公式如下：

其中，x表示行索引，y表示列索引，θ表示梯度方向，计算公式为：

公式(4)和(5)中f_xx、f_yy、f_xy的计算公式如下：

其中，H、S、V表示HSV图像的三分量，α_H、α_S、α_V表示权值，可根据直方图计算，具体计算方法如下：

首先计算三分量的直方图h_c(i)，c∈{H,S,V}，i表示直方图每一组的索引。然后计算直方图均方误差：

其中，ω＝M*N/256，M和N分别表示直方图的长和宽。

则，α_H、α_S、α_V计算公式为：

α_c＝min{MSE_c}/MSE_c (10)

其中，min{MSE_c}表示求MSE_H、MSE_S、MSE_V的最小值。

双边滤波的具体参数为：邻域为7×7，σ_d为0.75，σ_r为125。

步骤ii，根据梯度值和梯度方向，提取HSV图像中的直线段的具体步骤包括：

2-1)将图像梯度值均匀划分为n个等级，梯度值高的点，其等级也高。并将梯度值小于阈值T_g的像素点标记为已使用，否则标记为未使用。

2-2)选择标记为未使用点中梯度值最大的点为种子点，进行直线生长。直线支撑区域的初始状态为该种子点，且直线支撑区域方向为种子点梯度方向，并标记该种子点为已使用。搜索种子点八连通域内的未使用的点，将梯度方向与直线支撑区域方向的夹角小于T_θ的像素点加入到直线支撑域内，标记该像素点为已使用。若夹角大于T_θ，则跳过该点。并按照下面公式更新直线支撑区域的方向：

θ_r＝arctan(∑_isin(θ_i)/∑_icos(θ_i)) (11)

其中，θ_r为直线支撑区域的方向，i为当前直线支撑区域内所有像素点的索引，θ_i为第i点的梯度方向。

若没有点被加入到当前直线支撑区域，则当前直线支撑区域生长结束。然后从未使用的点中选取最大梯度的点为新的种子点，并按照步骤2)的方法继续生成新的直线支撑区域。直到所有的点被标记为已使用。

2-3)生成直线支撑区域后，计算该区域的最小外接矩形，并计算出矩形的中心、方向角、长度和宽度。则该区域的初始直线即为通过矩形中心点且方向为最小外接矩形方向角的直线。然后通过计算直线支撑区域的错误报警数NFA对初始直线进行判断，若NFA小于ε，则初始直线即为检测到的直线，否则继续判断下一个直线支撑区域。

NFA的计算公式为：

其中，M_r、N_r为最小外接矩形的长和宽，n为直线支撑区域r内像素点总数，k为梯度方向与最小外接矩形方向角一致的像素点个数，且p＝T_θ/π。

检测直线的具体参数为：n＝1024，T_g＝5.22，T_θ＝22.5°，ε＝1。

步骤iii，对提取的线段进行合并操作，使得断裂的短线段连接成一条长线段的具体方法包括：

将所有直线段按照长度进行降序排列，从最长的直线段开始，依次搜索后面所有直线段，若符合合并原则，则进行合并，否则搜索下一条直线。合并条件以及合并方法如下：

设当前搜索的直线段为l_i和l_j，l_i的端点为p_i1(x_i1,y_i1)和p_i2(x_i2,y_i2)，l_j的端点为p_j1(x_j1，y_j1)和p_j2(x_j2，y_j2)，且设l_i的直线方程为

A_ix+B_iy+C_i＝0 (13)

则l_i两端点满足关系式:

其中，N_i＝[A_i,B_i,C_i]^T，是矩阵D_i对应的零子空间。所以l_i的方向向量同法可计算l_j的方向向量

计算和的夹角θ_α：

设点p_j1到l_i中心点的距离为d₁，p_j2到l_i中心点的距离为d₂，则l_j的端点到l_i中心点的最小距离d_min＝min{d₁,d₂}，以及l_j上所有点到l_i的平均距离

其中，h(s)表示l_j上的点s到l_i的距离，h₁＝h(p_j1)，h₂＝h(p_j2)，

d_j表示l_j的长度。

如果直线段夹角θ_α≤T_α、且(d_min-d_i/2)＜T_dmin，则将l_j合并到l_i，其中，d_i表示l_i的长度。

合并方法为：过l_j的两个端点作l_i的垂线，并延长l_i至垂足，更新l_i的端点后，删除直线l_j。

重复以上步骤，直到所有直线比较结束后终止进行合并。

合并直线段的具体参数为；T_α＝10°，T_dmin＝5。

如图2、图3所示，计算矩形区域的具体参数为：T_d＝50，T_θij＝20°。

步骤iv，对合并后的线段进行预处理，并根据直线段提取矩形区域的具体步骤为：

iv-1)将直线段延长至图像边缘，删除与图像左右边缘相交的直线段；

iv-2)选取两条直线段l_i和l_j，并计算l_i与l_j的上边缘端点距离d_t、下边缘端点距离d_b，以及夹角θ_ij；

iv-3)若d₁、d₂同时大于阈值T_d，且θ_ij小于阈值T_θij，则根据步骤iv-4)计算l_i和l_j间的最大矩形区域；否则转到步骤iv-2)。

iv-4)比较d_t和d_b，若d_t＜d_b，则过l_i的上端点作l_j的平行线l₁，否则过l_i的下端点作l_j的平行线l₁。然后以l_j的上端点作l₁的垂线，l₁的下端点作l_j的垂线，可得到矩形区域r₁。同法，过l_j的上端点作l_j的平行线l₂，则可得到矩形区域r₂。因此由直线l_i和l_j可得到矩形区域r₁和r₂。

步骤v，根据矩形区域获取异物候选区的具体步骤为：

v-1)选取一个矩形区域，并计算矩形区域内h分量和s分量的标准差之乘积σ_h*s，若σ_h*s＜T_h*s，则进行下个步骤，否则选取另一个矩形区域进行判断；

v-2)计算当前矩形区域的结构相似度，计算方法如下：

首先矩形区域由RGB空间转为灰度空间，再沿着矩形长边中心线，将矩形分成上下对称的两部分，分别记为R₁和R₂。

然后根据下式(17)、(18)、(19)分别计算两个区域在亮度、对比度、结构上的相似度。

其中，分别是R₁和R₂的均值，为标准差，是两个区域的协方差，C₁、C₂、C₃是为了防止分母接近零时产生不稳定现象所添加的常数。

最后，根据下式(20)计算结构相似度。

SSIM(R₁,R₂)＝[l(R₁,R₂)]^α×[c(R₁,R₂)]^β×[s(R₁,R₂)]^γ (20)

其中，α、β、γ是权重，均大于零。

若SSIM(R₁,R₂)＞T_SSIM，则保留当前矩形区域；否则删除该矩形区域，并选取另一个矩形区域进行判断。

对全部矩形区域判断完毕后，若矩形区域满足公式(S_max-S_i)＜T_r(0＜i≤N)，则将此区域作为候选区域，否则删除该区域。公式中，N表示矩形区域个数，S_max表示矩形区域中结构相似度最大的值，S_i表示第i个矩形区域的结构相似度值，T_r为阈值。

计算候选区的具体参数为：T_h*s是0.012，C₁、C₂、C₃分别为6.5，58.52，29.26，α、β、γ均为1，T_SSIM是0.7，T_r是0.09。

步骤vi，根据候选区得到异物区域的具体方法为：计算所有候选区域的并集，此并集即为异物区域。至此，实现异物遮挡检测。

最后需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管按照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种异物遮挡的视频质量诊断方法，其特征在于，包括以下步骤：

步骤i、将RGB原图进行双边滤波后转换到HSV空间，并对HSV图像求梯度；

步骤ii、根据梯度值和梯度方向，提取HSV图像中的直线段；

步骤iii、对提取的线段进行合并操作，使得断裂的短线段连接成一条长线段；

步骤iv、对合并后的线段进行预处理，并根据直线段提取矩形区域；

步骤v、计算矩形区域的H、S分量的标准差，以及矩形区域上下轴对称两部分的结构相似度，并通过标准差和结构相似度确定候选区域；

步骤vi、合并候选区域，得到异物区域；完成异物遮挡检测。

2.根据权利要求1所述的异物遮挡的视频质量诊断方法，其特征在于，所述将RGB原图进行双边滤波后转换到HSV空间，并对HSV图像求梯度的具体步骤，包括：

步骤1，对RGB原图像进行双边滤波操作，分项步骤为：

1-1)计算像素点与邻域的空间距离的高斯权值；

1-2)计算当前点与邻域的像素相似程度高斯权值；

1-3)融合1)、2)的计算结果完成双边滤波的处理过程；

步骤2，把RGB图像转换成HSV图像；

步骤3，计算HSV图像的梯度，即计算每一个像素点在直角坐标系中的梯度值和梯度方向。

3.根据权利要求1所述的异物遮挡的视频质量诊断方法，其特征在于，根据梯度值和梯度方向，提取HSV图像中的直线段的具体步骤，包括：

2-1)将图像梯度值均匀划分成n个等级，将梯度值小于阈值的像素点标记为已使用，梯度值大于阈值的像素点标记为未使用；

2-2)从标记为未使用的点中选择梯度值最大的点作为种子点，进行直线支撑区域生长；直线支撑区域的初始状态为该种子点，直线支撑区域的方向为该种子点梯度方向，并标记该种子点为已使用；搜索种子点八连通域内的未使用的点，将梯度方向与直线支撑区域方向的夹角小于阈值的像素点加入到直线支撑域内，标记该像素点为已使用；直至没有像素点加入该直线支撑区域为止；则重新选择为使用的最大种子点重新进行新的直线支撑区域生长；

2-3)直线支撑区域生长结束后，计算该区域的最小外接矩形，并计算矩形的中心点、方向角、长度和宽度；该区域的初始直线即为通过矩形中心点且方向为最小外接矩形方向角的直线；然后通过计算直线支撑区域的错误报警数NFA对初始直线进行判断，若NFA小于阈值，则初始直线即为检测到的直线，否则继续判断下一个直线支撑区域。

4.根据权利要求1所述的异物遮挡的视频质量诊断方法，其特征在于，所述对提取的线段进行合并操作，使得断裂的短线段连接成一条长线段的具体步骤，包括：

3-1)将所有直线段按照长度进行降序排列，从最长的直线段开始，依次搜索后面所有直线段；

3-2)从直线段中找出与基准直线段夹角小于阈值、直线段上所有点到基准直线的平均距离小于阈值的直线段进行合并；基准直线段是指每次比较中最长的直线段。

5.根据权利要求1所述的异物遮挡的视频质量诊断方法，其特征在于，对合并后的线段进行预处理，并根据直线段提取矩形区域的具体步骤，包括：

4-1)将直线段延长至图像边缘，删除与图像左右边缘相交的直线段；

4-2)选取满足以下条件的两条直线段：

两条直线相邻且不相交、两条直线上端点距离小于阈值、下端点距离小于阈值、两条直线夹角小于阈值；

4-3)从满足要求的两条直线段中间选取最大矩形区域。

6.根据权利要求1所述的异物遮挡的视频质量诊断方法，其特征在于，所述计算矩形区域的H、S分量的标准差，以及矩形区域上下轴对称两部分的结构相似度，并通过标准差和结构相似度确定候选区域的具体步骤，包括：

5-1)并计算矩形区域内h分量和s分量的标准差之乘积，若小于阈值则进行下一步骤，否则选取另一个矩形进行判断；

5-2)计算矩形区域上下轴对称部分的结构相似度，若大于阈值则进行下一步骤，否则选取另一个矩形进行判断。

7.根据权利要求1所述的异物遮挡的视频质量诊断方法，其特征在于，所述合并候选区域，得到异物区域，即计算所有候选区域的并集，此并集即为异物区域。