CN110728669B - 一种视频马赛克检测方法 - Google Patents

Abstract

本发明公开了一种视频马赛克检测方法，该方法包括：在视频帧序列中确定马赛克帧序号；在马赛克帧上确定每个马赛克区域。采用本发明能够准确检测出视频马赛克区域。

Description

一种视频马赛克检测方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种视频马赛克检测方法。

背景技术

目前，已经有许多研究人员提出了多种针对视频马赛克缺陷的检测方法。

研究人员通过对马赛克缺陷特征的详细分析，提出了一种空间领域的马赛克缺陷检测方法。首先检测正方形的边缘，并选择这些正方形的交叉点作为马赛克宏块的特征，并且基于马赛克由几个马赛克宏块组成的原则，实现对于马赛克缺陷的检测。

还有的研究人员提出了一种考虑马赛克宏块边界的马赛克检测方法。它充分利用了沿马赛克宏块边界的Y，U，V三通道的差异，以获得很好的精度。其错检率，遗漏因子和计算复杂度都很低，便于应用到电视行业的视频缺陷检测中。

还有的研究人员提出一种基于FCM模糊聚类和模板匹配的方法检测视频中的马赛克块。首先，他们使用canny边缘检测方法检测图像的边缘。其次，使用FCM聚类方法对像素进行分类。最后，利用模板匹配的方法检测马赛克块。

还有的研究人员提出了基于马赛克模板匹配策略检测马赛克缺陷的方法。首先，他们分析马赛克边缘图像的特征并预设马赛克块的一些模板。其次，他们使用Canny边缘检测器算法来获取边缘图像，然后在水平和垂直方向上对其进行预处理。最后，他们检测与模板匹配的交叉点确定马赛克区域。

总之，上述几种视频马赛克检测方法在有些方面依然存在不尽人意之处。主要表现在这些方法依赖模板匹配进行马赛克检测，但是在复杂背景下马赛克边缘不容易精确地获取，这样模板匹配很难确切地发现马赛克区域，因此容易出现漏检的情况。因此，如何研制一种复杂背景环境下鲁棒的视频马赛克检测方法，就成为业内科技人员关注的新课题。

发明内容

有鉴于此，本发明的发明目的是：能够准确检测出视频马赛克区域。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明公开了一种视频马赛克检测方法，该方法包括：

在视频帧序列中确定马赛克帧序号；

在马赛克帧上确定每个马赛克区域。

由上述的技术方案可见，本发明视频马赛克现象的检测主要分成两个阶段，首先在视频序列中实现快速的马塞克缺陷帧定位，其次是在发生马赛克现象的视频帧上确定发生马赛克块的区域具体坐标位置。从而能够准确检测视频马赛克在视频中出现的相应帧序号及具体区域，实现准确检测。

附图说明

图1为本发明一种视频马赛克检测方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案、及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

视频马赛克现象是由于视频在压缩传输过程中在某个区域产生的马赛克块现象的视频质量缺陷。为了达到本发明准确检测的目的，本发明首先在视频序列中实现快速的马赛克缺陷帧定位；然后基于视频马赛克现象在水平和垂直方向表现出的一致性的特征，提出一种基于小波变换的马赛克缺陷区域检测算法，确定马赛克缺陷的候选区域；最后，基于质心到候选区域外接矩形的四个角的距离，判断候选区域是否为马赛克区域，从而确定最终的马赛克区域。

因此，本发明提出一种视频马赛克检测方法，其流程示意图如图1所示，该方法包括：

步骤11、在视频帧序列中确定马赛克帧序号。

视频帧序列的选取是任意的，一般地，在1s内视频播放速度在20-30帧，所以在具体应用中，视频帧序列可以选取任意连续的40-60帧，然后确认这个视频帧序列中包含的马赛克帧。具体地，所述在视频帧序列中确定马赛克帧序号的方法包括：

S111、获取视频帧序列中相邻帧灰度差统计值和信息熵差统计值；

S112、将所述灰度差统计值和信息熵差统计值进行合并统计，得到相邻帧特征差；

S113、根据马赛克帧的相邻帧特征差大于预设阈值，找到各个马赛克帧对应的序号。

步骤12、在马赛克帧上确定每个马赛克区域。

一般地，一个马赛克帧上可能包含多个马赛克区域，需要逐一确定。具体地，所述在马赛克帧上确定每个马赛克区域的方法包括：

S121、基于小波变换方法确定马赛克候选区域；所述马赛克候选区域为不规则连通区域。

其中，本步骤基于小波变换方法确定马赛克候选区域的方法包括：

SS1211、对马赛克帧基于Daubichie4多尺度小波分解成四个方向的系数；所述四个方向的系数包括一个低频方向的系数和三个高频方向的系数；

SS1212、对三个高频方向的系数进行合并运算获取马赛克区域的边缘信息；

SS1213、对马赛克区域的边缘信息进行基于Otsu算法的二值化；对于获取的二值化结果，进行基于连通区域面积的连通成分分析，得到马赛克候选区域。

本步骤中，基于连通区域面积的连通成分分析，是一个比较简单的分析，就是去掉一些面积比较小的比较孤立的点集，并将视频中相邻区域融合在一起，这样就得到了马赛克候选区域。

S122、基于质心到候选区域外接矩形的四个角的距离确定最终的马赛克区域。

其中，本步骤是一种基于连通区域分析的方法，因此基于质心到候选区域外接矩形的四个角的距离确定最终的马赛克区域的方法包括：

SS1221、对于马赛克候选区域外接矩形，获取质心坐标、左上角及右下角坐标、左下角及右上角坐标；

SS1222、根据所计算的马赛克候选区域外接矩形质心到左上角坐标，右下角坐标，左下角坐标及右上角坐标的距离，判断马赛克候选区域是否为马赛克区域。

优选地，在判断马赛克候选区域是否为马赛克区域之前，该方法进一步包括对马赛克候选区域进行筛选，具体包括：

根据马赛克候选区域中的像素与马赛克候选区域外接矩形左上角坐标和右上角坐标所连线段上的像素重合的数量，马赛克候选区域中的像素与马赛克候选区域外接矩形左下角坐标和右下角坐标所连线段上的像素重合的数量，以及马赛克候选区域外接矩形右上角和左上角横坐标差值确定所述马赛克候选区域是否为真实马赛克候选区域。

通过上述说明，实现本发明视频马赛克的准确检测。在检测确定每个马赛克区域之后，该方法进一步包括对马赛克区域进行修复。马赛克区域一般是一个矩形区域，即，马赛克候选区域外接矩形，由于马赛克区域损失的像素比较大，因此提出当前帧马赛克邻接区域修复及前后帧马赛克区域的平滑插值算法，从而快速修复马赛克块缺损区域。修复方法具体包括：

步骤21、对每个马赛克区域基于邻接区域进行修复。对其中任一马赛克区域基于邻接区域进行修复包括：

S211、根据马赛克区域的位置坐标、宽度和高度获取马赛克区域邻接左边的区域、邻接右边的区域、邻接上边的区域、邻接下边的区域、邻接左上的区域、邻接右上的区域、邻接左下的区域、邻接右下的区域；

S212、将各邻接区域中的每个像素值进行处理后填充到马赛克区域的相应位置。

步骤22、对每个马赛克区域基于马赛克帧的前后帧进行修复。

对于其中任一马赛克区域，所述马赛克区域所在马赛克帧的前一帧上具有与所述马赛克区域相对应的第一区域，所述马赛克区域所在马赛克帧的后一帧上具有与所述马赛克区域相对应的第二区域。因此，本步骤对马赛克区域基于马赛克帧的前后帧进行修复包括：

根据所述马赛克区域、第一区域、第二区域中同一坐标的像素值，采用前后帧马赛克区域插值算法修复所述马赛克区域对应坐标的像素值。

综上，本发明视频马赛克检测方法能够较好地解决现有技术存在的缺陷，能够准确检测视频马赛克在视频中出现的相应帧号及具体位置，并能够进行快速的修复，从而实现视频马赛克这种视频缺陷的检测和修复。而且，该方法操作步骤比较简单、易于实现，且视频马赛克的检测准确性较高，能够适应视频马赛克的检测及修复需求。

为清楚说明本发明，下面列举具体实例进行详细介绍。

检测方法包括步骤(11)至(13)。

(11)马赛克帧序号检测：在视频序列中实现快速的马赛克缺陷帧定位。计算视频序列的前后帧灰度差和信息熵差，并将前后相邻帧的灰度差和信息熵差结果进行合并统计，这样能够最大限度地去掉各种干扰，从而能够快速有效地确定发生马赛克的视频帧序号；

(12)在视频马赛克帧中实现马赛克缺陷区域定位。通过上面的计算，我们已经能够确定马赛克帧的帧序号。在发生马赛克缺陷的视频帧中，要能够快速准确地确定马赛克缺陷区域。马赛克区域一般是矩形区域，同时马赛克区域在垂直和水平方向会有明显的边缘，因此提出一种基于小波变换的马赛克缺陷区域检测算法，确定马赛克缺陷的候选区域。

(13)基于质心到连通域的外接矩形的四个角的距离确定最终的马赛克区域。首先，对于马赛克候选区域获取质心坐标，和左上角及右下角坐标，并获取左下角及右上角坐标。然后，计算马赛克候选区域质心到左上角坐标，右下角坐标，左下角坐标及右上角坐标的距离，判断候选区域是否为马赛克区域。

所述步骤(11)中，计算视频序列的前后帧灰度差和信息熵差，并将前后相邻帧的灰度差和信息熵差统计结果进行合并统计，这样能够去掉各种干扰，从而能够快速有效地确定发生马赛克现象的视频马赛克帧序号。

(111)首先，计算视频序列的前后相邻帧灰度差。令z为代表灰度级的随机变量,区域中灰度级z_i出现的概率为p(z_i),i＝0,1,2,…,255,计算前后帧灰度差统计值(DL)，

中的n表示帧索引号。

对于视频序列中的任意视频帧的前后各25帧共51帧视频序列进行了前后相邻帧的灰度差统计。

(112)其次，计算视频序列的前后帧信息熵差。令z为代表灰度级的随机变量,区域中灰度级z_i出现的概率为p(z_i),i＝0,1,2,…,255,则有信息熵(En):

对相邻帧进行信息熵差统计如下:

DE＝|E_n-E_n-1|

对于视频序列中的任意视频帧的前后各25帧共51帧视频序列进行了前后相邻帧的信息熵差统计。

(113)然而为了更有效地确定最终的马赛克帧，将这前后相邻帧的灰度差和信息熵差统计结果进行合并统计，这样能够更大限度地去掉各种干扰，从而能够快速有效地确定马赛克帧。因此定义相邻帧特征差(DR)表示相邻帧灰度差和信息熵差的合并统计值，其计算如下：

DR＝DE×DL

对于视频序列中的任意视频帧的的前后各25帧共51帧视频序列进行了前后相邻帧的(DR)统计。

(114)通过上面的计算，可以通过统计相邻帧特征差DR，来快速获取马赛克帧在视频中的索引号。可以通过下面公式计算发生马赛克帧的索引号。K＝{I(n)|DR_n≥TR,且DR_n+1≥TR}

对视频帧根据DR以TR为阈值进行分割,产生视频帧索引I(n)，其中DR_n表示第n帧和第n-1帧的相邻帧特征差DR。定义阈值TR为

本发明将这一过程简称为使用阈值TR对DR进行分割，视频帧索引集K即为所有马赛克帧的帧索引号。因为马赛克帧和前一帧和后一帧的相邻帧特征差DR都会大于阈值TR，因此在这里选取通过阈值TR的分割能够获得2个连续帧号的视频帧索引号作为最终的马赛克帧索引号。这一基于DR均值的自适应阈值，能够在检测结果的准确性和抗干扰性之间达到较好的平衡。

所述步骤(12)中，在发生马赛克缺陷的视频帧中，要能够快速准确地确定马赛克缺陷区域。马赛克区域一般发生矩形区域，同时马赛克区域在垂直和水平方向会有明显的边缘，因此提出一种基于小波变换的马赛克缺陷区域检测算法。

(121)由于Daubichie4小波在表示视频帧的良好特性，我们首先对马赛克帧基于Daubichie4多尺度小波分解成四个方向的系数，其中fl对应于低频系数，fh对应于水平方向的高频系数，fv对应于垂直方向的高频系数，fd对应于对角线方向的高频系数。

(122)因为马赛克的边缘特性比较明显，而这些信息主要集中于小波分解后的高频系数上，因此对这些高频系数进行合并运算可以获取马赛克区域的边缘信息。我们运用下面的公式对三个方向的高频系数进行运算：

其中k1,k2,k3是对于三个方向的高频系数进行合并运算的加权系数。Wh中很好地保留了视频帧的边缘细节，使得马赛克边缘特征非常明显，因此比较利于下一步的马赛克区域检测。在检测中，设置k1＝0.45,k2＝0.45,k3＝0.1。

(123)在获取马赛克帧的边缘信息Wh后，我们对Wh进行基于Otsu算法的二值化。对于获取的二值化结果，再进行基于连通区域面积的连通成分分析，去掉一些面积比较小的比较孤立的点集，并将视频中相邻区域融合在一起，这样就得到了马赛克候选区域。

所述步骤(13)中，首先，对于马赛克候选区域外接矩形获取质心坐标，和左上角及右下角坐标，并获取左下角及右上角坐标。然后，计算马赛克候选区域外接矩形质心到左上角坐标，右下角坐标，左下角坐标及右上角坐标的距离，判断候选区域是否为马赛克区域。

(131)获取马赛克候选区域的外接矩形的左上角坐标及右下角坐标，和质心坐标。对于每一个马赛克候选连通区域，获取其连通区域所有像素在x轴及y轴方向的最大值及最小值，分别定义为x轴方向最小值x1，x轴方向最大值x2，y轴方向最小值y1，y轴方向最大值y2，从而获得连通区域的外接矩形的左上角坐标(x1，y1)和右下角坐标(x2，y2)。并进而获得连通区域的外接矩形的右上角坐标(x2，y1)和左下角坐标(x1，y2)。统计连通区域中所有的像素的个数np，统计连通区域中的所有像素的横坐标和nh，统计连通区域中的所有像素的纵坐标和nv，获得连通区域的质心坐标(x0，y0)，其中x0＝nh/np，y0＝nv/np。

(132)连接马赛克连通域的左上角坐标(x1，y1)和右上角坐标(x2，y1)的直线，统计马赛克连通区域中的像素与这条直线上的像素重合的数量n1。连接马赛克连通域的左下角坐标(x1，y2)和右下角坐标(x2，y2)的直线，统计马赛克连通区域中的像素与这条直线上的像素重合的数量n2。如果

且

则判定此连通域为马赛克候选区域。否则，不是马赛克区域。在本场景中，0.7是一个经验值，可以根据不同的应用设置不同的经验值。

(133)计算连通区域的质心坐标(x0，y0)到左上角坐标(x1，y1)的距离

计算连通区域的质心坐标(x0，y0)到右上角坐标(x2，y1)的距离

计算连通区域的质心坐标(x0，y0)到左下角坐标(x1，y2)的距离

计算连通区域的质心坐标(x0，y0)到右下角坐标(x2，y2)的距离

如果

且

且

且

则判定此连通域为马赛克区域。在本场景中，0.9或者1.1都是一个经验值，可以根据不同的应用设置不同的经验值。

马赛克区域是矩形区域，由于马赛克区域损失的像素比较大，因此提出基于马赛克帧上的马赛克区域的邻接区域修复及前后帧马赛克区域的平滑插值算法，从而快速修复马赛克块缺损区域。

修复方法包括步骤(21)至(22)。

(21)基于马赛克帧上的马赛克区域的邻接区域修复。提取马赛克帧上的马赛克区域左边，右边，上边和下边四个邻接区域，并提取马赛克区域左上，右上，左下，右下的四个邻接区域，进行马赛克帧的马赛克区域修复。

(22)采用前后帧马赛克区域插值算法修复马赛克区域。

所述步骤(21)中，提取马赛克帧上的马赛克区域左边，右边，上边和下边四个邻接区域，并提取马赛克区域左上，右上，左下，右下的四个邻接区域，进行马赛克帧的马赛克区域修复。

(211)通常马赛克区域是矩形区域，获取马赛克区域的宽度w和高度h。然后，获取马赛克邻接左边的区域LR，LR区域的左上角坐标(x1-w/2,y1)，右下角坐标(x1,y2)。获取马赛克邻接右边的区域RR，RR区域的左上角坐标(x2,y1)，右下角坐标(x2+w/2,y2)。获取马赛克邻接上边的区域TR，TR区域的左上角坐标(x1,y1-h/2)，右下角坐标(x2,y1)。获取马赛克邻接下边的区域BR，BR区域的左上角坐标(x1,y2)，右下角坐标(x2,y2+h/2)。

(212)获取马赛克邻接左上的区域LTR，LTR区域的左上角坐标(x1-w/2,y1-h/2)，右下角坐标(x1,y1)。获取马赛克邻接右上的区域RTR，RTR区域的左上角坐标(x2,y1-h/2)，右下角坐标(x2+w/2,y1)。获取马赛克邻接左下的区域LBR，LBR区域的左上角坐标(x1-w/2,y2)，右下角坐标(x1,y2+h/2)。获取马赛克邻接右下的区域RBR，RBR区域的左上角坐标(x2,y2)，右下角坐标(x2+w/2,y2+h/2)。

(213)修复当前帧的马赛克区域。首先，LR区域的每个像素经过处理后填充到马赛克左半边区域，即，LR*0.4填充到马赛克左半边区域。同理，RR*0.4填充到马赛克右半边区域，从而实现马赛克区域的初步修复。TR*0.4叠加填充到修复的马赛克区域的上半边区域。BR*0.4叠加填充到修复的马赛克区域的下半边区域。LTR*0.2叠加填充到刚复的马赛克区域的左上区域。RTR*0.2叠加填充到修复的马赛克区域的右上区域。LBR*0.2叠加填充到修复的马赛克区域的左下区域。RBR*0.2叠加填充到修复的马赛克区域的右下区域。最后，完成马赛克区域的当前帧区域修复。

所述步骤(22)中，采用前后帧马赛克区域插值算法修复马赛克区域。

(221)获取马赛克帧的前一帧及后一帧。获取马赛克前一帧上具有与所述马赛克区域相对应的第一区域MP，获取马赛克后一帧上具有与所述马赛克区域相对应的第二区域MA，并获取马赛克帧的马赛克区域MS。

(222)对于马赛克区域的任意一个像素(xi,yi)，执行下列公式计算其最终的像素值，从而实现对于马赛克区域的前后帧插值修复。其中MS(xi,yi)表示马赛克帧的马赛克区域MS在坐标(xi,yi)的像素值，MP(xi,yi)表示马赛克前一帧的第一区域MP在坐标(xi,yi)的像素值，MA(xi,yi)表示马赛克后一帧的第二区域MA在坐标(xi,yi)的像素值。

MS(xi,yi)＝MP(xi,yi)*0.3+MA(xi,yi)*0.3+MS(xi,yi)*0.4

通过上述方法，可以实现对马赛克区域的快速修复。

本发明的有益效果是：

1.首先是在视频帧序列中快速检测发生马赛克现象的视频帧序号，其次是在发生马赛克现象的视频帧上确定发生马赛克块的区域具体位置，从而准确检测出马赛克帧上的马赛克区域。

2.本发明提出当前帧马赛克邻接区域修复及前后帧马赛克区域的平滑插值算法，从而快速修复马赛克块缺损区域。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种视频马赛克检测方法，该方法包括：

在视频帧序列中确定马赛克帧序号；

在马赛克帧上确定每个马赛克区域；

所述在视频帧序列中确定马赛克帧序号的方法包括：

获取视频帧序列中相邻帧灰度差统计值和信息熵差统计值；

将所述灰度差统计值和信息熵差统计值进行合并统计，得到相邻帧特征差；

根据马赛克帧的相邻帧特征差大于预设阈值，找到各个马赛克帧对应的序号；

所述在马赛克帧上确定每个马赛克区域的方法包括：

基于小波变换方法确定马赛克候选区域；所述马赛克候选区域为不规则连通区域；

基于质心到候选区域外接矩形的四个角的距离确定最终的马赛克区域；

其中，基于质心到候选区域外接矩形的四个角的距离确定最终的马赛克区域的方法包括：

对于马赛克候选区域外接矩形，获取质心坐标、左上角及右下角坐标、左下角及右上角坐标；

确定所计算的马赛克候选区域外接矩形质心到左上角坐标距离与质心到左下角坐标距离的比值在预定范围内，并且，确定质心到右上角坐标距离与质心到右下角坐标距离的比值在预定范围内，判断马赛克候选区域为马赛克区域。

2.如权利要求1所述的方法，其特征在于，基于小波变换方法确定马赛克候选区域的方法包括：

对马赛克帧基于Daubichie4多尺度小波分解成四个方向的系数；所述四个方向的系数包括一个低频方向的系数和三个高频方向的系数；

对三个高频方向的系数进行合并运算获取马赛克区域的边缘信息；

对马赛克区域的边缘信息进行基于Otsu算法的二值化；对于获取的二值化结果，进行基于连通区域面积的连通成分分析，得到马赛克候选区域。

3.如权利要求2所述的方法，其特征在于，在判断马赛克候选区域是否为马赛克区域之前，该方法进一步包括对马赛克候选区域进行筛选，具体包括：

根据马赛克候选区域中的像素与马赛克候选区域外接矩形左上角坐标和右上角坐标所连线段上的像素重合的数量，马赛克候选区域中的像素与马赛克候选区域外接矩形左下角坐标和右下角坐标所连线段上的像素重合的数量，以及马赛克候选区域外接矩形右上角和左上角横坐标差值确定所述马赛克候选区域是否为真实马赛克候选区域。

4.如权利要求1所述的方法，其特征在于，在检测确定每个马赛克区域之后，该方法进一步包括：对每个马赛克区域基于邻接区域进行修复。

5.如权利要求4所述的方法，其特征在于，对其中任一马赛克区域基于邻接区域进行修复包括：

根据马赛克区域的位置坐标、宽度和高度获取马赛克区域邻接左边的区域、邻接右边的区域、邻接上边的区域、邻接下边的区域、邻接左上的区域、邻接右上的区域、邻接左下的区域、邻接右下的区域；

将各邻接区域中的每个像素值进行处理后填充到马赛克区域的相应位置。

6.如权利要求5所述的方法，其特征在于，对每个马赛克区域基于邻接区域进行修复之后，该方法进一步包括：对每个马赛克区域基于马赛克帧的前后帧进行修复。

7.如权利要求6所述的方法，其特征在于，对于其中任一马赛克区域，所述马赛克区域所在马赛克帧的前一帧上具有与所述马赛克区域相对应的第一区域，所述马赛克区域所在马赛克帧的后一帧上具有与所述马赛克区域相对应的第二区域；对马赛克区域基于马赛克帧的前后帧进行修复包括：

根据所述马赛克区域、第一区域、第二区域中同一坐标的像素值，采用前后帧马赛克区域插值算法修复所述马赛克区域对应坐标的像素值。

Images