CN115063399A - 一种基于双重矩形特性分析的图像马赛克检测方法 - Google Patents

Abstract

本发明公开了一种基于双重矩形特性分析的图像马赛克检测方法，包括：1)对获取的待检测图像进行锐化处理边缘检测，获得待检测图像的锐化图像和边缘图像；2)对所述边缘图像进行矩形特征检测，基于图像马赛克时矩形边框属性特征筛选可能马赛克区域，同时利用图像纹理特征进行马赛克区域甄别，最终获得待检测图像潜在马赛克区域图像；3)基于滑动窗口进行矩形直角坐标匹配，得到待检测图像所有马赛克特征的矩形区域图像；4)对所述的马赛克特征矩形区域图像，基于矩形特征统计分析，判断待检测图像中马赛克严重程度和图像马赛克的数量；5)依据上述分析结果，判断待检测图像马赛克情况，返回是否具有马赛克，以及马赛克所在区域及马赛克块数目。

Description

一种基于双重矩形特性分析的图像马赛克检测方法

技术领域

本发明涉及一种基于双重矩形特性分析的图像马赛克检测方法，应用在视频转码质量检测及评价系统中，旨在用简单的原理解决实际的问题。

背景技术

在观看数字电视、网络视频等数字信号源类的节目时，当遇到网络丢包、设备异常等情况，就会导致视频传输数据异常，导致在播放端直接看到马赛克等现象，大大降低视频播放质量，影响用户的感官体验。为了保证用户观看电视或网络视频节目的质量，需要计算机辅助来完成自动化且快速有效的马赛克检测方法。已经有多种马赛克异常检测的方法提出。

专利申请号为“201410270356.7”的《一种马赛克检测方法及装置》的专利中，提出基于色彩特征值判断的马赛克检测方法，获取正常视频中图像的色彩特征值，将待检测视频图像与该特征值匹配，如果匹配则说明待检测图像为正常图像；否则判断为马赛克图像。

专利申请号为“201310132689.9”的《一种马赛克帧的检测方法及装置》的专利中，提出基于色彩特征与宏块划分相结合的马赛克检测方法，该检测方法将视频图像划分为宏块序列，计算每一宏块颜色特征值，并与可疑宏块组门限进行比较，以判断视频含马赛克。

现有的视频马赛克检测方法大多数采用基于颜色特征值的检测方法，尽管方法较为简单，但适用场景和检测准确率不够，比如在黑白场景的视频画面中，该检测方法就具有较大的局限性。另外，由于视频检测要求实时性较高，上述方法由于对每个宏块都进行检测因此时效性存在问题，无法满足视频马赛克检测实时性的要求。

发明内容

本发明的目的在于提供一种基于双重矩形特性分析的图像马赛克检测方法，该方法是在马赛克图像本质特征后提出的，理论基础简单易行，应用范围广，受外界条件影响较小，很适合实际的推广使用。

本发明采用如下技术方案来实现的：

一种基于双重矩形特性分析的图像马赛克检测方法，包括以下步骤：

1)锐化和边缘检测

对获取的待检测图像进行锐化处理，获得待检测图像的锐化图像；

对所述锐化图像进行边缘检测，获得所述锐化图像的水平和垂直的边缘图像；

2)第一次矩形特征检测

对所述边缘图像进行矩形特征检测，基于图像马赛克时矩形边框属性特征筛选可能马赛克区域，同时利用图像纹理特征进行马赛克区域甄别，最终获得待检测图像潜在马赛克区域图像；

3)第二次矩形特征检测

对所述的潜在马赛克区域图像，基于滑动窗口进行矩形直角坐标匹配，得到待检测图像所有马赛克特征的矩形区域图像；

4)矩形特征分布和数量分析

对所述的马赛克特征矩形区域图像，基于矩形特征统计分析，判断待检测图像中马赛克严重程度和图像马赛克的数量；

5)判断是否有马赛克

依据上述分析结果，判断待检测图像马赛克情况，返回是否具有马赛克，以及马赛克所在区域及马赛克块数目。

本发明进一步的改进在于，步骤1)的具体实现方法如下：

101)使用拉普拉斯算子对待检测图像进行锐化处理，得到锐化图像，其算子定义如下：

102)使用Canny算子对锐化图像进行边缘检测处理，得到边缘图像，首先使用高斯滤波器，平滑图像，消除图像噪声，高斯滤波器生成方式如下：

其次计算梯度增强和方向：

θ＝arctan(G_y/G_x)

其中G为梯度强度，θ为梯度方向，arctan为反正切函数；

横向和竖直方向的算子为：

本发明进一步的改进在于，步骤2)的具体实现方法如下：

201)在横向和纵向两个方向，以16为步长，进行16x16矩形检测；

202)具体检测步骤如下：

①检测(x,y)到(x+16,y)处的16个像素点，判断是否能够构成矩形的一条横边；

②检测(x,y+16)到(x+16,y+16)处的16个像素点，判断是否能够构成矩形的一条横边；

③检测(x,y)到(x,y+16)处的16个像素点，判断是否能够构成矩形的一条纵边；

④检测(x+16,y)到(x+16,y+16)处的16个像素点，判断是否判断构成矩形的一条纵边；

⑤如果检测到几种边的组合，则暂时标定(x,y)处存在一个矩形块：

⑥检测(x,y)到(x+16,y+16)处的256个像素点，如果非零像素超过设定阈值，则认定该矩形块是由于纹理密集导致的误检测；否则，正式标定(x,y)处存在一个矩形块。

本发明进一步的改进在于，步骤3)的具体实现方法如下：

301)在图像中全局匹配矩形模板，并分别记录所有匹配到的坐标信息；

302)以64x64窗口为单元，以32为步长在原图中滑动匹配；

303)在每个窗口内，利用已经匹配到的直角坐标，判断是否可以组成矩形。

本发明进一步的改进在于，当存在三个以上的直角点时，即可认为匹配到了一个矩形。

本发明进一步的改进在于，步骤4)的具体实现方法如下：

对图像中分析得到的马赛克矩形框进行统计分析，使用下边两个维度指标进行评价：

这里MS为图像中马赛克累积面积，n代表图像马赛克个数，S_i代表第i个马赛克矩形框的面积；

这里IS为待检测图像的面积，K为马赛克程度等级。

本发明进一步的改进在于，K为三个严重、中等和一般三个马赛克程度等级。

本发明进一步的改进在于，步骤5)的具体实现方法如下

根据上一步骤检测结果，输出图像是否有马赛克，以及马赛克程度，马赛克位置及大小。

本发明至少具有如下有益的技术效果：

本发明的主要优点在于对实际播放的视频中马赛克特征、分布进行详细分析，提出了原理简单，易于实现，应用广泛的检测算法。本发明算法对于马赛克的检测准确率较高，针对编码、链路传输、采集等各个环节产生的马赛克均有良好的检测效果，同时经过测试其实时性较高，针对1920x1080分辨率的视频，检测效率达到50fps，算法可集成至视频质量检测产品中。

附图说明

图1为本发明一种基于双重矩形特性分析的图像马赛克检测方法的流程图。

图2为待进行边缘检测的原图。

图3为使用锐化+canny算子边缘检测的结果图。

图4为可暂定为矩形的边的组合图。

图5为纹理密集导致误检示例图。

图6为匹配矩形角时所使用的四个模板图。

图7为窗口滑动及矩形检测示意图。

图8为检测到三个直角即可认定存在一个矩形图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

4、本发明技术方案的详细阐述，如图1所示。

锐化和边缘检测：

通过实验对比几种常见的边缘检测方法，使用canny算子检测的效果最好。考虑到在马赛克检测时非常依赖边缘检测的准确性，因此在边缘检测前可先对图像做一次锐化，以增强边缘检测的结果。图2、图3为锐化+边缘检测的效果示例图：

矩形特征检测1-检测原理及步骤

视频马赛克中有相当大一部分是由于编码时宏块数据丢失造成的。这样的马赛克与宏块大小基本吻合，因此可在纵横两个方向，均以16为步长，对16*16的矩形进行检测。具体在坐标(x,y)处检测步骤如下：

①检测(x,y)到(x+16,y)处的16个像素点，看其是否可以构成矩形的一条横边；

②检测(x,y+16)到(x+16,y+16)处的16个像素点，看其是否可以构成矩形的一条横边；

③检测(x,y)到(x,y+16)处的16个像素点，看其是否可以构成矩形的一条纵边；

④检测(x+16,y)到(x+16,y+16)处的16个像素点，看其是否可以构成矩形的一条纵边；

⑤如果检测到以下如图4所示的几种边的组合，则暂时标定(x,y)处存在一个矩形块：

⑥检测(x,y)到(x+16,y+16)处的256个像素点，如果非零像素超过一定阈值，则可认定该矩形块是由于纹理密集导致的误检测；否则，正式标定(x,y)处存在一个矩形块。纹理密集导致的误检如图5：

这种情况下可以使用步骤⑥将这种误检去除。

矩形特征检测方法2-检测原理及步骤

马赛克块一般是由边长处于4到32之间的矩形组成，在整个图像中对这样的矩形进行搜索。具体操作步骤如下：

(a)在图像中全局匹配以下四个矩形模板，并分别记录所有匹配到的坐标信息。使用的模板如图6：

(a)以64*64的窗口，以32为步长在原图中滑动。

(b)在每个窗口内，利用已经匹配到的直角坐标，判断是否可以组成矩形。当存在三个以上的直角点时，即可认为匹配到了一个矩形。具体如图7、图8：

两种特征检测的方法在一定程度上呈互补状态，因此在实际检测过程中，可以依次使用两种特征检测方法分别进行检测。再综合两种方法检测到的结果，利用矩形块的分布、数量等指标，来判定图像中是否存在马赛克块。

经过上述两种特征对图像马赛克进行检测，使用图像马赛克检测个数和马赛克面积进行算法的评估，并进行算法效率评估。本发明在i5-8250U环境下，与专利《一种视频图像马赛克检测方法》20160735231.6进行算法效果及效率的对比，对比结果中本发明表明本文所发明专利算法，对比算法代表20160735231.6专利所发明的算法，其对比结果如下。

类别	马赛克个数	马赛克面积	单帧处理时间
				主观判断	96	40％	无
本发明	92	42％	3毫秒
				对比算法	85	36％	15毫秒

可见本发明在图像马赛克特征判断方面整体效果优于《一种视频图像马赛克检测方法》20160735231.6所提出的算法，而在单帧图像处理时间上，本发明算法在5毫秒以内，对于视频图像处理效率上优势更加明显。

虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种基于双重矩形特性分析的图像马赛克检测方法，其特征在于，包括以下步骤：

1)锐化和边缘检测

对获取的待检测图像进行锐化处理，获得待检测图像的锐化图像；

对所述锐化图像进行边缘检测，获得所述锐化图像的水平和垂直的边缘图像；

2)第一次矩形特征检测

对所述边缘图像进行矩形特征检测，基于图像马赛克时矩形边框属性特征筛选可能马赛克区域，同时利用图像纹理特征进行马赛克区域甄别，最终获得待检测图像潜在马赛克区域图像；

3)第二次矩形特征检测

对所述的潜在马赛克区域图像，基于滑动窗口进行矩形直角坐标匹配，得到待检测图像所有马赛克特征的矩形区域图像；

4)矩形特征分布和数量分析

对所述的马赛克特征矩形区域图像，基于矩形特征统计分析，判断待检测图像中马赛克严重程度和图像马赛克的数量；

5)判断是否有马赛克

依据上述分析结果，判断待检测图像马赛克情况，返回是否具有马赛克，以及马赛克所在区域及马赛克块数目。

2.根据权利要求1所述的一种基于双重矩形特性分析的图像马赛克检测方法，其特征在于，步骤1)的具体实现方法如下：

101)使用拉普拉斯算子对待检测图像进行锐化处理，得到锐化图像，其算子定义如下：

102)使用Canny算子对锐化图像进行边缘检测处理，得到边缘图像，首先使用高斯滤波器，平滑图像，消除图像噪声，高斯滤波器生成方式如下：

其次计算梯度增强和方向：

θ＝arctan(G_y/G_x)

其中G为梯度强度，θ为梯度方向，arctan为反正切函数；

横向和竖直方向的算子为：

3.根据权利要求2所述的一种基于双重矩形特性分析的图像马赛克检测方法，其特征在于，步骤2)的具体实现方法如下：

201)在横向和纵向两个方向，以16为步长，进行16x16矩形检测；

202)具体检测步骤如下：

①检测(x,y)到(x+16,y)处的16个像素点，判断是否能够构成矩形的一条横边；

②检测(x,y+16)到(x+16,y+16)处的16个像素点，判断是否能够构成矩形的一条横边；

③检测(x,y)到(x,y+16)处的16个像素点，判断是否能够构成矩形的一条纵边；

④检测(x+16,y)到(x+16,y+16)处的16个像素点，判断是否判断构成矩形的一条纵边；

⑤如果检测到几种边的组合，则暂时标定(x,y)处存在一个矩形块：

⑥检测(x,y)到(x+16,y+16)处的256个像素点，如果非零像素超过设定阈值，则认定该矩形块是由于纹理密集导致的误检测；否则，正式标定(x,y)处存在一个矩形块。

4.根据权利要求1所述的一种基于双重矩形特性分析的图像马赛克检测方法，其特征在于，步骤3)的具体实现方法如下：

301)在图像中全局匹配矩形模板，并分别记录所有匹配到的坐标信息；

302)以64x64窗口为单元，以32为步长在原图中滑动匹配；

303)在每个窗口内，利用已经匹配到的直角坐标，判断是否可以组成矩形。

5.根据权利要求4所述的一种基于双重矩形特性分析的图像马赛克检测方法，其特征在于，当存在三个以上的直角点时，即可认为匹配到了一个矩形。

6.根据权利要求1所述的一种基于双重矩形特性分析的图像马赛克检测方法，其特征在于，步骤4)的具体实现方法如下：

对图像中分析得到的马赛克矩形框进行统计分析，使用下边两个维度指标进行评价：

这里MS为图像中马赛克累积面积，n代表图像马赛克个数，S_i代表第i个马赛克矩形框的面积；

这里IS为待检测图像的面积，K为马赛克程度等级。

7.根据权利要求6所述的一种基于双重矩形特性分析的图像马赛克检测方法，其特征在于，K为三个严重、中等和一般三个马赛克程度等级。

8.根据权利要求1所述的一种基于双重矩形特性分析的图像马赛克检测方法，其特征在于，步骤5)的具体实现方法如下

根据上一步骤检测结果，输出图像是否有马赛克，以及马赛克程度，马赛克位置及大小。

Images