CN106780529A - 基于外接矩形的会议视频马赛克检测方法 - Google Patents

Abstract

本发明公开了一种基于外接矩形的会议视频马赛克检测方法，包括以下步骤：(1)将待检测会议视频帧转换为灰度图，进行边缘检测，获取只具有轮廓信息的边缘图像；(2)提取轮廓，确定出每个轮廓的最小外接正矩形和最小外接矩形，并提取出最小外接正矩形和最小外接矩形的特征；(3)进行最小外接正矩形和最小外接矩形几何特征的相似度检测，统计符合相似度检测的矩形个数N；(4)设置阈值T，若N<T，则判定结果为正常，否则为马赛克视频帧。本发明公开的会议视频马赛克检测算法旨在正确检测出会议视频中所存在的马赛克，其检测精度高，准确性好，具备良好的推广应用价值。

Description

基于外接矩形的会议视频马赛克检测方法

技术领域

本发明属于视频质量诊断领域，具体涉及一种会议视频马赛克检测方法。

背景技术

视频、图像中的马赛克具体表现为整体或局部色彩、灰度单一的多个块状区域。由于前端设备不良、线路接触不好等原因导致阻抗不匹配、系统输出电平过低等硬件原因产生的马赛克是易于消除的故障，而由于信号受到干扰或解码器停止解码等原因造成的图像马赛克则是难于消除的。不论马赛克产生的原因是什么，它都会影响视频内容的理解和分析。本发明提供了一种基于外接矩形的会议视频马赛克检测方法，可以给视频会议系统的维护人员提供有效技术参考与支持。

目前主流的马赛克检测方法有两类：基于边缘检测的方法和基于区域分析的检测方法。现有的马赛克检测方法原理有以下几种：

1、利用块边界的周期性，根据全局像素的一阶或二阶差分统计分析，来检测块边界的准确位置；

2、基于图像空域的二阶差分算法，利用快边界像素的二阶差分的过零性来检测块边界；

3、利用正常帧和异常帧图像的区别，做有参考图像的块效应检测算法；

4、模板匹配算法，制作块效应模板，对全局图像进行遍历匹配。

上述这些方法所存在的问题有：

1、故障发生时，块效应的大小不能确定，造成模板方法漏检，且过多的模板，时间复杂度高；

2、视频内容的复杂性，实边缘和纹理丰富的区域，二阶差分算法响应丰富，造成误检；

3、有参考图像的块效应检测算法对参考图像质量高，且在会议过程中，人员走动等场景的变换影响大。

发明内容

针对现有马赛克检测方法存在的问题，本发明提供了一种应用于会议视频的马赛克检测方法。采用本发明所述的方法能够有效检测会议视频帧中是否存在马赛克。

为了实现上述目的，本发明采用的技术方案是：基于外接矩形的会议视频马赛克检测方法，算法流程如图1所示，包括以下步骤：

(1)将待检测会议视频帧转换为灰度图，进行边缘检测，获取只具有轮廓信息的边缘图像；

(2)对边缘图像进行轮廓描述，确定出每个轮廓的最小外接正矩形和最小外接矩形，并提取出最小外接正矩形和最小外接矩形的特征；

(3)进行最小外接正矩形和最小外接矩形几何特征的相似度检测，统计符合相似度检测的矩形个数N；

(4)设置阈值T，若N<T，则判定结果为正常，否则为马赛克视频帧。

步骤(1)中的边缘检测采用改进的分数阶Canny边缘检测方法。Canny算子是目前最流行的边缘检测方法，其对图像细节保留较为完整，且在抑制噪声方面具有较好的效果。Canny边缘检测算法包含了一些可以调整的参数，因此可以通过设置不同参数来适应各种不同的场景图像。Canny边缘检测算法步骤包括：①用高斯滤波器平滑图像；②用一阶偏导有限差分计算梯度幅值和方向；③对梯度幅值进行非极大值抑制；④用双阈值算法检测和连接边缘。Canny算法为了抑制噪声使用了高斯滤波器平滑图像，这必然会导致一些细小的图像边缘细节丢失。在选取图像掩模时，掩模的宽度越大，其抗噪性越好，但检测精度会越低。

为了平衡Canny算法的抗噪性与检测精度，本发明利用分数阶对Canny边缘检测算法进行改进。目前主流的一阶边缘检测算子有：Roberts Cross算子，Prewitt算子，Sobel算子等。二阶边缘检测算子有：LoG算子、Laplacian算子等。信号的分数阶微分的物理意义可以理解为广义的调幅调相，其振幅随频率呈分数阶幂指数变化，如图2所示。通过信号微分的幅频特性曲线发现，分数阶微分可以大幅提升信号高频成分，增强信号的中频成分、非线性保留信号的甚低频，据此得出分数阶微分应用于图像边缘检测将使图像边缘信息更加明显、纹理更加清晰和平滑区域信息更加完整，从而得到较传统整数阶微分更加完整、连续、清晰的图像边缘。因此，利用分数阶对Canny边缘算法进行改进能在一定程度上提高检测算法的效率。

边缘图像是图像轮廓的矩阵形式，进行轮廓描述是为了更清晰地表达轮廓的空间信息。在对轮廓进行描述时，首先需要确定像素点之间的邻接关系。常见的邻接关系有两种：四邻接和八邻接。四邻接有四个点，即位于像素上、下、左、右四个方向的四个点，如图3a所示。八邻接有八个点，在四邻接的基础上还包括了对角线位置的点，即像素周围的八个点，如图3b所示。为考虑马赛克区域的边缘检测结果不一定为严格的方块，所以本发明采用八邻接的方式描述边缘检测图像的所有轮廓，并记录所描述轮廓的相关信息。轮廓信息包括：轮廓总数，每个轮廓包含的像素点数以及每个轮廓像素对应的图像坐标。轮廓描述步骤包括：①首先采用行扫描方式确定轮廓的起始点(值为1的像素点)，记录当前点的位置信息；②扫描与当前轮廓点相邻接的8个像素点，若扫描到周围存在轮廓点则跳转到这一轮廓点并记录相关信息后重复步骤②，若周围不存在轮廓点则执行步骤③；③标记当前点为轮廓结束点，终止本次描述。

由轮廓描述确定出每个轮廓的最小外接正矩形与最小外接矩形，然后提取两种外接矩形的特征，特征包括：角度、面积、边长。最小外接矩形即包含所有点集最小面积的矩形，这个矩形允许有偏转角度。最小外接正矩形即角偏为零并包含点集的最小面积的矩形。图4中，图a为一曲线，图b为图a曲线的最小外接正矩形，图c为图a曲线的最小外接矩形。图5中，a为马赛克边缘，图b为图a曲线的最小外接正矩形，图c为图a曲线的最小外接矩形。由图4可知，马赛克边缘的最小外接正矩形和最小外接矩形相等，由此可以区别出轮廓是否为马赛克。

步骤(3)进行最小外接正矩形和最小外接矩形几何特征的相似度检测，检测依据

为步骤(2)中提取的角度、面积、边长等特征。相似度检测包括以下内容：

①最小外接矩形的旋转角度；

②最小外接正矩形面积与最小外接矩形面积之比；

③最小外接正矩形与最小外接矩形的边宽之比；

④最小外接正矩形与最小外接矩形的边高之比。

马赛克区域在经过边缘检测后呈现出的特征为完整方块或缺边方块，其最小外接正矩形应等于最小外接矩形。因此，马赛克区域的最小外接矩形的角偏应为0或360°，其最小外接正矩形面积与最小外接矩形面积之比、边宽之比、边高之比原则上都应为1:1。通过设置限制条件即可识别当前轮廓是否为马赛克，并统计出属于马赛克轮廓的数量N。

步骤(4)中，通过设置合适的阈值T来判定待测视频帧是否存在马赛克，若N<T，则判定结果为正常，否则为马赛克视频帧。

本发明的马赛克检测方法针对现有方法存在的弊端，采用了具有创新性的检测方式，通过与现有检测方法对比可知，本发明的方法检测精度高，准确性良好，实施较为方便，具备良好的推广应用价值。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1是本发明所述的方法流程图；

图2为信号微分的幅频特性曲线图；

图3为四连通和八连通示意图；

图4为一曲线的最小外接矩形与最小外接正矩形示意图；

图5为马赛克边缘的最小外接矩形与最小外接正矩形示意图；

图6为采用空域二阶差分算法进行马赛克检测的实例照片；

图7为采用模板匹配算法进行马赛克检测的实例照片；

图8为采用本发明的方法进行马赛克检测的实例照片。

具体实施方式

以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

如图1所示，本发明的方法包括以下步骤：

(1)获得待检测图像，即从会议视频中获取视频帧图像，将该图像简称为原始图像；

(2)将原始图像转换为对应的灰度图像，将该图像简称为灰度图像；

(3)对灰度图像进行分数阶Canny边缘检测，获得对应的轮廓图像，将该图像简称为轮廓图像；Canny算子是目前最流行的边缘检测方法，其对图像细节保留较为完整，且在抑制噪声方面具有较好的效果。Canny边缘检测算法包含了一些可以调整的参数，因此可以通过设置不同参数来适应各种不同的场景图像。Canny算法为了抑制噪声使用了高斯滤波器平滑图像，这必然会导致一些细小的图像边缘细节丢失。在选取图像掩模时，掩模的宽度越大，其抗噪性越好，但检测精度会越低。因此，本发明利用分数阶对Canny边缘算法进行改进以提高检测算法的效率。

本例实施中，轮廓图像为二值图像。

(4)提取图像的轮廓，得到图像的轮廓集合；

本例实施中，轮廓集合包含所有的轮廓，每个轮廓包含构成该轮廓的所有像素点的位置。

(5)提取轮廓集合中的每个轮廓的最小外接正矩形；

本例实施中，提取轮廓的最小外接正矩形具有宽、高特征。

(6)提取轮廓集合中的每个轮廓的最小外接矩形；

本例实施中，提取到轮廓的最小外接矩形具有旋转角度，宽、高特征；

(7)利用(5)(6)中的最小外接正矩形和最小外接矩形特征，进行相似度检测；

本例实施中，对相似度的定义为：

①最小外接矩形的旋转角度为0°或360°；

②最小外接正矩形面积与最小外接矩形面积之比应在设定阈值范围内；

③最小外接正矩形与最小外接矩形的边宽之比应在设定阈值范围内；

④最小外接正矩形与最小外接矩形的边高之比应在设定阈值范围内；

通过以上相似度的定义，将符合定义的最小外接正矩形与最小外接矩形判定为相似；否则，判定为不相似。将判定结果为不相似轮廓从轮廓集合中剔除，保留判定结果为相似的轮廓。

(8)剔除轮廓集合中存在的噪点；

根据(7)，由于噪点形成的轮廓，其最小外接正矩形与最小外接矩形相似度形成的误判，因此本例实施中，将最小外接正矩形面积小于设定阈值的轮廓从轮廓集合中剔除，到达提纯的目的。

(9)判定视频帧图像是否存在马赛克；

根据(7)(8)，本例实施中，统计符合相似度检测的矩形个数，将矩形数小于设定阈值的判定该帧图像不存在马赛克，否则判定该帧图像存在马赛克。

具体实施例

如图6-图8所示，通过采用不同的方法对6段存在马赛克的会议视频进行实验，采用的方法包括对比算法1(空域二阶差分算法)、对比算法2(模板匹配算法)以及本申请的算法。

首先，手动标记出存在马赛克及不存在马赛克的帧图像；其次，验证对比算法及本专利算法，各算法将检测到的马赛克帧做标记；最后，通过手动标记的先验数据及算法各算法的检测结果数据进行对比。

定义：标记的马赛克帧记做P，标记的非马赛克帧记做N，检测到的马赛克帧记做T，检测到的非马赛克帧记做F，测试结果：

手动标记的先验数据：

P+N	P	N
			9068	980	8088

算法实验结果数据：

TP

FP

TN

PDR

MDR

FDR

对比算法1

767

213

153

78.2653％

21.7347％

1.89169％

对比算法2

805

175

126

82.1428％

17.8572％

1.55786％

提出的算法

923

57

70

94.1837％

5.81633％

0.86548％

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.基于外接矩形的会议视频马赛克检测方法，包括以下步骤：

(1)将待检测会议视频帧转换为灰度图，进行边缘检测，获取只具有轮廓信息的边缘图像；

(2)提取轮廓，确定出每个轮廓的最小外接正矩形和最小外接矩形，并提取出最小外接正矩形和最小外接矩形的特征；

(3)进行最小外接正矩形和最小外接矩形几何特征的相似度检测，统计符合相似度检测的矩形个数N；

(4)设置阈值T，若N<T，则判定结果为正常，否则为马赛克视频帧。

2.如权利要求1所述的基于外接矩形的会议视频马赛克检测方法，其特征在于：步骤(1)中的边缘检测采用改进的分数阶Canny边缘检测方法。

3.如权利要求1所述的基于外接矩形的会议视频马赛克检测方法，其特征在于：步骤(2)中，采用八邻接的方式提取边缘检测图像的所有轮廓，并记录所提取轮廓的信息，轮廓信息包括：轮廓总数，每个轮廓包含的像素点数以及每个轮廓像素对应的图像坐标。

4.如权利要求1所述的基于外接矩形的会议视频马赛克检测方法，其特征在于：步骤(2)根据轮廓信息确定出每个轮廓的最小外接正矩形与最小外接矩形后提取两种外接矩形的特征，特征包括：角度、面积、边长。

5.如权利要求1所述的基于外接矩形的会议视频马赛克检测方法，其特征在于：步骤(3)进行相似度检测的依据为步骤(2)中提取的角度、面积、边长特征，相似度检测包括以下内容：①最小外接矩形的旋转角度；②最小外接正矩形面积与最小外接矩形面积之比；③最小外接正矩形与最小外接矩形的边宽之比；④最小外接正矩形与最小外接矩形的边高之比。

6.如权利要求1所述的基于外接矩形的会议视频马赛克检测方法，其特征在于：步骤(4)统计符合相似度检测的矩形数，将矩形数小于设定阈值T的判定该帧图像不存在马赛克，否则判定该帧图像存在马赛克。