CN103473772A - 一种马赛克图像的检测方法和装置 - Google Patents

Abstract

本发明实施例公开了一种马赛克图像的检测方法和装置，属于图像处理领域。方法包括：提取输入的当前视频帧的对应水平和垂直差分图像并进行二值化；将二值化后的差分图像进行滤噪后合并叠加，生成当前视频帧对应的二值掩码图像；对二值掩码图像进行检测，并提取出二值掩码图像中的各直角点；对各直角点优选得到对应的马赛克直角点集合，并确定所述当前视频帧中的各马赛克块；如果个数超过既定阈值，则将当前视频帧作为马赛克图像，并根据各所述马赛克直角点的位置确定各马赛克块的坐标。本申请能消除视频图像的变化和噪声干扰所带来的影响，同时还能够克服视频场景中类似马赛克块图像区域对检测结果的影响，实现对视频进行实时、可靠、准确地检测。

Description

一种马赛克图像的检测方法和装置

技术领域

本发明属于图像处理领域，涉及一种马赛克图像的检测方法和装置。

背景技术

检测视频中的马赛克块通常为了隐去一些敏感信息，需要人为地在视频图像中进行马赛克处理。如为了保护人物隐私，在新闻采访节目中需要将被采访人的脸部使用马赛克块遮住。这就需要对播出视频画面中的一些敏感信息进行保护或隐藏，即在敏感信息出现的位置上进行马赛克处理，处理后的图像区域为由一些马赛克块构成。如果在需要进行隐私保护的视频片段中未出现马赛克块，即发生了漏处理，这属于一种较大的播出事故。因此，实际中需要在节目的制作完成后或节目的实时播放过程中对必须进行马赛克处理的视频片段中的图像进行检测，以判断视频是否已进行了马赛克处理，以便及时发现操作失误。

目前现有马赛克图像检测方法简单快速，但鲁棒性不够，对视频图像的缩放等变化以及其他图像噪声的干扰能力较弱，误报率较高；也容易受到视频图像自身内容变化的影响，即容易将视频场景中类似马赛克图像块的图像区域(例如砖墙、窗口等场景)判断为马赛克图像块，错误率较高。

发明内容

本发明的实施例提供了一种马赛克图像的检测方法和装置，通过图像处理技术来检测视频图像中是否出现马赛克图像块，以解决对马赛克图像进行检测时干扰能力较弱，误报率较高的问题。

为达到上述目的，采用如下技术方案：

本发明公开了一种马赛克图像的检测方法，包括如下步骤：

分别提取输入的当前视频帧的对应水平差分图像和垂直差分图像，并对所述水平差分图像和所述垂直差分图像进行二值化；

将二值化后的所述水平差分图像和所述垂直差分图像进行滤噪后合并叠加，生成所述当前视频帧对应的二值掩码图像；

对所述二值掩码图像进行检测，并提取出所述二值掩码图像中的各直角点；所述直角点为二值图像中两条相互垂直的像素线段的交点，且所述两条像素线段和直角共同包围的矩形区域内的其他像素点值为0；

对各直角点进行优选，得到所述当前视频帧对应的马赛克直角点集合，并根据所述马赛克直角点集合确定所述当前视频帧中的各马赛克块；

如果所述当前视频帧中的各马赛克块的个数超过既定阈值，则将所述当前视频帧作为马赛克图像，并根据各所述马赛克直角点的位置确定所述马赛克图像中各马赛克块的坐标。

优选的，所述提取输入的当前视频帧的对应水平差分图像和垂直差分图像时，差分图像的提取算子定义如下：

$\left\{\begin{array}{c}{\mathrm{\Δ}}_R^H(x,y)=|I_R(x,y)-I_R(x+2,y)|\\ {\mathrm{\Δ}}_G^H(x,y)=|I_G(x,y)-I_G(x+2,y)|\\ {\mathrm{\Δ}}_B^H(x,y)=|I_B(x,y)-I_B(x+2,y)|\\ {\mathrm{\Δ}}^{H}I(x,y)={\mathrm{\Δ}}_R^H(x,y)+{\mathrm{\Δ}}_G^H(x,y)+{\mathrm{\Δ}}_B^H(x,y)\end{array}\begin{array}{cccc}& & & \end{array}\right.$

$\left\{\begin{array}{c}{\mathrm{\Δ}}_R^V(x,y)=|I_R(x,y)-I_R(x,y+2)|\\ {\mathrm{\Δ}}_G^V(x,y)=|I_G(x,y)-I_G(x,y+2)|\\ {\mathrm{\Δ}}_B^V(x,y)=|I_B(x,y)-I_B(x,y+2)|\\ {\mathrm{\Δ}}^{V}I(x,y)={\mathrm{\Δ}}_R^V(x,y)+{\mathrm{\Δ}}_G^V(x,y)+{\mathrm{\Δ}}_B^V(x,y)\end{array}\right.$

其中，I_R(x，y)、I_G(x，y)、I_B(x，y)分别表示视频帧I在坐标(x,y)上的R、G、B三个通道颜色像素值，Δ^HI(x，y)和Δ^VI(x，y)分别表示视频帧坐标(x，y)上水平像素和垂直像素进行差分的结果。

进一步，所述对所述水平差分图像和所述垂直差分图像进行二值化时，

$\left\{\begin{array}{cc}{B}^H(x,y)=1,& \mathrm{ifH}(x,y)>T\\ B^H(x,y)=0,& \mathrm{otherwise}\end{array}\right.$

$\left\{\begin{array}{cc}{B}^V(x,y)=1,& \mathrm{ifV}(x,y)>T\\ B^V(x,y)=0,& \mathrm{otherwise}\end{array}\right.$

其中，B^H和B^V分别表示二值化后的所述水平差分图像和所述垂直差分图像，既定阈值T用于控制边缘敏感度。

优选的，所述将二值化后的所述水平差分图像和所述垂直差分图像进行滤噪时，删除二值化后的所述水平差分图像和所述垂直差分图像中的孤立点和短线段。

优选的，所述对所述二值掩码图像进行检测时，逐行扫描所述二值掩码图像中的像素点，如果当前像素点为前景像素点则对该前景像素点进行直角点判断，即按顺序将四个直角模板分别与该前景点进行匹配。

进一步，所述与该前景点进行匹配时，计算直角模板与其所覆盖的图像区域之间的相似度：

$\mathrm{Sim}(T,R)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{W}{\mathrm{\Σ}}}\left(T(i,j)\mathrm{XORR}(x+i,y+j)\mathrm{XOR}1\right)$

其中，R(x+i，y+j)表示直角模板T所覆盖的图像区域中坐标为(x+i，y+j)的像素点的值，(x，y)为当前前景像素点的图像坐标位置；L、W分别为二值掩码图像的长和宽。

优选的，所述提取出所述二值掩码图像中的各直角点后，根据各直角点之间的像素距离删除孤立直角点。

优选的，所述马赛克直角点为当且仅当横坐标和纵坐标上分别存在一个以上的其他直角点的直角点。

本发明还公开了一种马赛克图像的检测装置，包括如下模块：

预处理模块，用于分别提取输入的当前视频帧的对应水平差分图像和垂直差分图像，并对所述水平差分图像和所述垂直差分图像进行二值化；

滤噪模块，用于将二值化后的所述水平差分图像和所述垂直差分图像进行滤噪后合并叠加，生成所述当前视频帧对应的二值掩码图像；

提取模块，用于对所述二值掩码图像进行检测，并提取出所述二值掩码图像中的各直角点；所述直角点为二值图像中两条相互垂直的像素线段的交点，且所述两条像素线段和直角共同包围的矩形区域内的其他像素点值为0；

优选模块，用于对各直角点进行优选，得到所述当前视频帧对应的马赛克直角点集合，并根据所述马赛克直角点集合确定所述当前视频帧中的各马赛克块；

定位模块，用于如果所述当前视频帧中的各马赛克块的个数超过既定阈值，则将所述当前视频帧作为马赛克图像，并根据各所述马赛克直角点的位置确定所述马赛克图像中各马赛克块的坐标。

本发明的实施例公开了一种马赛克图像的检测方法和装置，通过提取图像帧对应掩码图像中的直角点，并对得到的直角点进行提取，从而检测出视频帧中的马赛克块。本发明能够消除视频图像的变化和噪声干扰所带来的影响，同时还能够克服视频场景中类似马赛克块图像区域对检测结果的影响，实现对视频进行实时、可靠、准确地检测。

附图说明

图1为本发明实施例一提供的一种马赛克图像的检测方法的流程图；

图2a-图2d为本发明实施例一提供的一种马赛克图像的检测方法的直角点模板示例图，分别为：左上模板、右上模板、右下模板和左下模板；

图3为本发明实施例二提供的一种马赛克图像的检测装置的模块结构图。

具体实施方式

下面结合附图对本发明实施例一种马赛克图像的检测方法和装置进行详细描述。

本发明提出了一种对视频中的马赛克图像进行检测方法。通过对视频中的图像帧进行马赛克块检测与判断，并输出判断结果。

本发明公开了一种马赛克图像的检测方法，如图1所示，包括如下步骤：

步骤101：分别提取输入的当前视频帧的对应水平差分图像和垂直差分图像，并对所述水平差分图像和所述垂直差分图像进行二值化；

对于一张输入的视频帧图像，首先提取其对应的水平差分图像H和垂直差分图像V。为了能够突出马赛克块自身所具有的图像颜色、纹理和边缘特征，提取输入的当前视频帧的对应水平差分图像和垂直差分图像时，差分图像的提取算子定义如下：

$\left\{\begin{array}{c}{\mathrm{\Δ}}_R^H(x,y)=|I_R(x,y)-I_R(x+2,y)|\\ {\mathrm{\Δ}}_G^H(x,y)=|I_G(x,y)-I_G(x+2,y)|\\ {\mathrm{\Δ}}_B^H(x,y)=|I_B(x,y)-I_B(x+2,y)|\\ {\mathrm{\Δ}}^{H}I(x,y)={\mathrm{\Δ}}_R^H(x,y)+{\mathrm{\Δ}}_G^H(x,y)+{\mathrm{\Δ}}_B^H(x,y)\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}{\mathrm{\Δ}}_R^V(x,y)=|I_R(x,y)-I_R(x,y+2)|\\ {\mathrm{\Δ}}_G^V(x,y)=|I_G(x,y)-I_G(x,y+2)|\\ {\mathrm{\Δ}}_B^V(x,y)=|I_B(x,y)-I_B(x,y+2)|\\ {\mathrm{\Δ}}^{V}I(x,y)={\mathrm{\Δ}}_R^V(x,y)+{\mathrm{\Δ}}_G^V(x,y)+{\mathrm{\Δ}}_B^V(x,y)\end{array}\right.---\left(2\right)$

其中，I_R(x，y)、I_G(x，y)、I_B(x，y)分别表示图像I(x，y)在图像坐标(x，y)上的R、G、B三个通道颜色像素值，Δ^HI(x，y)和Δ^VI(x，y)分别表示在图像坐标(x，y)上水平和垂直像素差分的结果。

对所有像素位置利用公式(1)和(2)进行处理后便得到了水平差分图像H和垂直差分图像V，为了提取图像边缘，对所述水平差分图像和所述垂直差分图像分别进行二值化操作，如下公式所示：

$\left\{\begin{array}{cc}{B}^H(x,y)=1,& \mathrm{ifH}(x,y)>T\\ B^H(x,y)=0,& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

$\left\{\begin{array}{cc}{B}^V(x,y)=1,& \mathrm{ifV}(x,y)>T\\ B^V(x,y)=0,& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

其中，B^H和B^V分别表示二值化后的所述水平差分图像和所述垂直差分图像；既定阈值T用于控制边缘敏感度，本具体实例中，T=45，该边缘提取算子的好处在于能够容忍马赛克块与背景图像、以及马赛克块之间的边缘像素的像素值有一些变化，即两个马赛克块之间的边缘像素的像素值是呈一个线性的变化，而不是一个阶梯的变化。

步骤102：将二值化后的所述水平差分图像和所述垂直差分图像进行滤噪后合并叠加，生成所述当前视频帧对应的二值掩码图像。

在得到的水平和垂直二值图像B^H和B^V中，由于图像噪声的影响，会带入一些噪声前景点，因此需要进行过滤，删除二值化后的所述水平差分图像和所述垂直差分图像中的孤立点和短线段：

A、删除孤立点

使用形态学处理中的腐蚀和膨胀操作来完成对孤立噪声点的删除，即将图像中的前景像素先腐蚀然后再膨胀。水平腐蚀结构和膨胀结构为：[1，1，1]，而垂直腐蚀结构和膨胀结构为：[1，1，1]^T。

B、删除短线段

除了孤立的噪声点存在外，由于图像自身颜色、纹理结构的影响，检测到的二值图像中存在像素位置连续的线段，即图像坐标位置连续的多个前景像素点，这些线段对后续的马赛克块检测和判别会带来一些错误。本实施例中，采用如下方法来删除短线段：扫描水平和垂直二值图像B^H和B^V中存在的水平和垂直线段，然后将线段长度过短的连续像素点删除掉，即将这些连续像素点赋值为像素值为0的背景点。

将处理得到的水平二值图像B^H和垂直二值图像B^V合并叠加生成一张二值掩码图像B，即：

B(x，y)=B^H(x，y)OR B^V(x，y)       (5)

步骤103：对所述二值掩码图像进行检测，并提取出所述二值掩码图像中的各直角点；所述直角点为二值图像中两条相互垂直的像素线段的交点，且所述两条像素线段和直角共同包围的矩形区域内的其他像素点值为0。

从视频图像中获取到了其对应的二值掩码图像B，在此基础上，我们将图像B中的直角点检测并提取出来。所述直角点指的是二值图像中两条相互垂直的像素线段的交点，且这两条像素线段和直角共同包围的矩形区域内的所有像素点的值为0(即背景点)。

本实施例中，使用四个直角点模板来检测和提取图像中出现的直角点。这四个直角点模板具有相同的长度L和宽度W(以像素为单位)，其中，L和W的值可以相同，也可以不同。本实施例中，L=5，W=5，便得到了四个直角点模板，黑色标记了前景像素点，白色则标记了背景像素点。如图2a至图2d所示，四个直角点模板T={T_L，T，T_R，T，T_R，B，T_L，B}分别是：1)左上角模板T_L，T；2)右上角模板T_R，T；3)右下角模板T_R，B；4)左下角模板T_L，B。

如图2a所示，左上角模板T_L，T的最上方一排和最左边一列的像素位置代表前景点，其余像素位置代表背景点，左上角像素位置为该模板的图像坐标原点。如图2b所示，右上角模板T_R，T的最上方一排和最右边一列的像素位置代表前景点，其余像素位置代表背景点，右上角像素位置为该模板的图像坐标原点。如图2c所示，右下角模板T_R，B的最下方一排和最右边一列的像素位置代表前景点，其余像素位置代表背景点，右下角像素位置为该模板的图像坐标原点。如图2d所示，左下角模板T_L，B的最下方一排和最左边一列的像素位置代表前景点，其余像素位置代表背景点，左下角像素位置为该模板的图像坐标原点。

根据四个直角点模板后，便可以对上一步骤处理得到的二值掩码图像B进行直角点检测与提取，逐行扫描所述二值掩码图像中的像素点，如果当前像素点为前景像素点则对该前景像素点进行直角点判断，即按顺序将四个直角模板分别与该前景点进行匹配。即：

第一步：逐行扫描二值掩码图像B中的像素点，如果当前像素点为前景像素点则进入第二步，否则继续扫描直至遍历完整个掩码图像B的所有前景点；

第二步：对该前景像素点进行直角点判断，即按顺序将四个直角模板分别与该前景点进行匹配：首先将直角模板的图像坐标原点与该前景点图像坐标位置对齐，然后计算直角模板T与其所覆盖的图像区域R之间的相似度Sim(T，R)：

$\mathrm{Sim}(T,R)={\mathrm{\Σ}}_{i=1}^L{\mathrm{\Σ}}_{j=1}^W\left(T(i,j)\mathrm{XORR}(x+i,y+j)\mathrm{XOR}1\right)$

        (6)

其中，R(x+i，y+j)表示直角模板T所覆盖的图像区域R中坐标为(x+i，y+j)的像素点的值，(x，y)为当前前景像素点的图像坐标位置；L、W分别为二值掩码图像的长和宽。

另外，当且仅当其满足如下条件，一个前景点位置才为直角点：

Sim(T，R)>α*L*W      (7)

其中，α(0<α≤1)为相似度控制参数，α越接近1则表明对直角点匹配的相似度要求越高。在本实施例中，取α=0.9。

提取了当前视频图像上的直角点集合RC={RC₁，...，RC_i...，RC_n}，由于图像变换、噪声干扰和视频图像自身内容中类似直角点的图像结构的干扰，在提取到的直角点中会存在部分错误的孤立直角点，即不是马赛克块的直角点。为此，采用如下步骤删除错误的孤立直角点：

第一步：删除水平方向上的孤立直角点：遍历当前的直角点集合RC，对于其中任意一个直角点RC_i，如果不存在任何其他直角点RC_j与直角点RC_i的Y图像坐标相同或接近，则认为RC_i在水平方向上是一个孤立的直角点，将其从当前的直角点集合RC中删除掉；

第二步：删除垂直方向上的孤立直角点：遍历当前的直角点集合RC，对于其中任意一个直角点RC_i，如果不存在任何其他直角点RC_j与直角点RC_i的X图像坐标相同或接近，则认为RC_i在垂直方向上是一个孤立的直角点，将其从当前的直角点集合RC中删除掉；

第三步：如果当前的直角点集合RC中已经不存在水平孤立直角点，则执行第四步，否则执行第一步；

第四步：如果当前的直角点集合RC中已经不存在垂直孤立直角点，则执行第五步，否则执行第二步；

第五步：删除不满足空间分布的孤立直角点：

1)首先，计算当前的直角点集合RC中任意两个直角点RC_i和RC_j之间的水平和垂直方向上的像素距离Dist_H(RC_i，RC_j)和Dist_V(RC_i，RC_j)；

2)然后计算这些距离值之间的比值DistRatio_H(RC_i，RC_j，RC_k)和DistRatio_V(RC_i，RC_j，RC_k，)，即：

${\mathrm{DistRatio}}_H({\mathrm{RC}}_i,{\mathrm{RC}}_j,{\mathrm{RC}}_k)=\frac{{\mathrm{Dist}}_H({\mathrm{RC}}_i,{\mathrm{RC}}_j)}{{\mathrm{Dist}}_H({\mathrm{RC}}_j,{\mathrm{RC}}_k)}---\left(8\right)$

${\mathrm{DistRatio}}_V({\mathrm{RC}}_i,{\mathrm{RC}}_j,{\mathrm{RC}}_k)=\frac{{\mathrm{Dist}}_V({\mathrm{RC}}_i,{\mathrm{RC}}_j)}{{\mathrm{Dist}}_V({\mathrm{RC}}_j,{\mathrm{RC}}_k)}---\left(9\right)$

3)统计水平方向上所有DistRatio_H(RC_i，RC_j，RC_k)的中值DistRatioMedian_H，统计垂直方向上所有DistRatio_V(RC_i，RC_j，RC_k)的中值DistRatioMedian_V；

4)将当前的直角点集合RC中的所有DistRatio_H(RC_i，RC_j，RC_k)和DistRatio_V(RC_i，RC_j，RC_k)分别与DistRatioMedian_H和DistRatioMedian_V进行比较，如果DistRatio_H(RC_i，RC_j，RC_k)与DistRatioMedian_H呈整数倍关系或DistRatio_V(RC_i，RC_j，RC_k)与DistRatioMedian_V呈整数倍关系，则RC_i、RC_j和RC_k的置信度Confidence(RC_i)、Confidence(RC_j)、Confidence(RC_k)分别加1。

5)如果当前的直角点集合RC中某个RC_i的置信度小于2，则认为其不满足空间分布关系，将其从RC集合中去除掉。

通过以上步骤，对直角点集合RC中的直角点进行了挑选，剩下的直角点组成直角点集合。在此基础上对当前视频图像是否是马赛克图像进行判断，主要包括两个步骤：

1)选取马赛克直角点：当且仅当在RC_i的X图像坐标和Y图像坐标上分别存在一个以上的其他直角点RC_j∈RC，则一个直角点RC_i是马赛克直角点。将满足该条件的直角点RC_i加入到马赛克直角点集合MRC＝{MRC₁，...，MRC_i，...，MRC_n}中。

2)根据马赛克直角点集合MRC中包含的马赛克直角点个数来确定当前存在的马赛克块个数Num_M：

Num_M＝N／4         (10)

其中，N为当前的马赛克直角点集合MRC中的马赛克直角点个数。

如果当前视频帧出现的马赛克块个数Num_M超过指定最小马赛克块个数，则认为当前视频帧是一个马赛克图像，并根据当前的马赛克直角点集合MRC中所包含的马赛克直角点得到这些马赛克块出现的坐标位置，并将各马赛克块和对应的坐标位置一并输出。

本实施例中，通过提取图像帧对应掩码图像中的直角点，并对得到的直角点进行提取，从而检测出视频帧中的马赛克块。本发明能够消除视频图像的变化和噪声干扰所带来的影响，同时还能够克服视频场景中类似马赛克块图像区域对检测结果的影响，实现对视频进行实时、可靠、准确地检测。

本发明还公开了一种马赛克图像的检测装置，如图3所示，包括如下模块：

预处理模块301，用于分别提取输入的当前视频帧的对应水平差分图像和垂直差分图像，并对所述水平差分图像和所述垂直差分图像进行二值化；

滤噪模块302，用于将二值化后的所述水平差分图像和所述垂直差分图像进行滤噪后合并叠加，生成所述当前视频帧对应的二值掩码图像；

提取模块303，用于对所述二值掩码图像进行检测，并提取出所述二值掩码图像中的各直角点；所述直角点为二值图像中两条相互垂直的像素线段的交点，且所述两条像素线段和直角共同包围的矩形区域内的其他像素点值为0；

优选模块304，用于对各直角点进行优选，得到所述当前视频帧对应的马赛克直角点集合，并根据所述马赛克直角点集合确定所述当前视频帧中的各马赛克块；

定位模块305，用于如果所述当前视频帧中的各马赛克块的个数超过既定阈值，则将所述当前视频帧作为马赛克图像，并根据各所述马赛克直角点的位置确定所述马赛克图像中各马赛克块的坐标。

所述预处理模块中，差分图像的提取算子定义如下：

$\left\{\begin{array}{c}{\mathrm{\&Delta;}}_R^H(x,y)=|I_R(x,y)-I_R(x+2,y)|\\ {\mathrm{\&Delta;}}_G^H(x,y)=|I_G(x,y)-I_G(x+2,y)|\\ {\mathrm{\&Delta;}}_B^H(x,y)=|I_B(x,y)-I_B(x+2,y)|\\ {\mathrm{\&Delta;}}^{H}I(x,y)={\mathrm{\&Delta;}}_R^H(x,y)+{\mathrm{\&Delta;}}_G^H(x,y)+{\mathrm{\&Delta;}}_B^H(x,y)\end{array}\right.$

$\left\{\begin{array}{c}{\mathrm{\&Delta;}}_R^V(x,y)=|I_R(x,y)-I_R(x,y+2)|\\ {\mathrm{\&Delta;}}_G^V(x,y)=|I_G(x,y)-I_G(x,y+2)|\\ {\mathrm{\&Delta;}}_B^V(x,y)=|I_B(x,y)-I_B(x,y+2)|\\ {\mathrm{\&Delta;}}^{V}I(x,y)={\mathrm{\&Delta;}}_R^V(x,y)+{\mathrm{\&Delta;}}_G^V(x,y)+{\mathrm{\&Delta;}}_B^V(x,y)\end{array}\right.$

其中，I_R(x，y)、I_G(x，y)、I_B(x，y)分别表示视频帧I在坐标(x，y)上的R、G、B三个通道颜色像素值，Δ^HI(x，y)和Δ^VI(x，y)分别表示视频帧坐标(x，y)上水平像素和垂直像素进行差分的结果。

所述滤噪模块中进行二值化时，

$\left\{\begin{array}{cc}{B}^H(x,y)=1,& \mathrm{ifH}(x,y)>T\\ B^H(x,y)=0,& \mathrm{otherwise}\end{array}\right.$

$\left\{\begin{array}{cc}{B}^V(x,y)=1,& \mathrm{ifV}(x,y)>T\\ B^V(x,y)=0,& \mathrm{otherwise}\end{array}\right.$

其中，B^H和B^V分别表示二值化后的所述水平差分图像和所述垂直差分图像，既定阈值T用于控制边缘敏感度。

所述滤噪模块中，将二值化后的所述水平差分图像和所述垂直差分图像进行滤噪时，删除二值化后的所述水平差分图像和所述垂直差分图像中的孤立点和短线段。

所述提取模块中，对所述二值掩码图像进行检测时，逐行扫描所述二值掩码图像中的像素点，如果当前像素点为前景像素点则对该前景像素点进行直角点判断，即按顺序将四个直角模板分别与该前景点进行匹配。

所述提取模块中，与该前景点进行匹配时，计算直角模板与其所覆盖的图像区域之间的相似度：

$\mathrm{Sim}(T,R)=\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{W}{\mathrm{\&Sigma;}}}\left(T(i,j)\mathrm{XORR}(x+i,y+j)\mathrm{XOR}1\right)$

其中，R(x+i，y+j)表示直角模板T所覆盖的图像区域中坐标为(x+i，y+j)的像素点的值，(x，y)为当前前景像素点的图像坐标位置；L、W分别为二值掩码图像的长和宽。

所述提取模块中，提取出所述二值掩码图像中的各直角点后，根据各直角点之间的像素距离删除孤立直角点。

所述马赛克直角点为当且仅当横坐标和纵坐标上分别存在一个以上的其他直角点的直角点。

本发明的实施例公开了一种马赛克图像的检测方法和装置，通过提取图像帧对应掩码图像中的直角点，并对得到的直角点进行提取，从而检测出视频帧中的马赛克块。本发明能够消除视频图像的变化和噪声干扰所带来的影响，同时还能够克服视频场景中类似马赛克块图像区域对检测结果的影响，实现对视频进行实时、可靠、准确地检测。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种马赛克图像的检测方法，其特征在于，包括如下步骤：

分别提取输入的当前视频帧的对应水平差分图像和垂直差分图像，并对所述水平差分图像和所述垂直差分图像进行二值化；

将二值化后的所述水平差分图像和所述垂直差分图像进行滤噪后合并叠加，生成所述当前视频帧对应的二值掩码图像；

对所述二值掩码图像进行检测，并提取出所述二值掩码图像中的各直角点；所述直角点为二值图像中两条相互垂直的像素线段的交点，且所述两条像素线段和直角共同包围的矩形区域内的其他像素点值为0；

对各直角点进行优选，得到所述当前视频帧对应的马赛克直角点集合，并根据所述马赛克直角点集合确定所述当前视频帧中的各马赛克块；

如果所述当前视频帧中的各马赛克块的个数超过既定阈值，则将所述当前视频帧作为马赛克图像，并根据各所述马赛克直角点的位置确定所述马赛克图像中各马赛克块的坐标。

2.根据权利要求1所述的方法，其特征在于：所述提取输入的当前视频帧的对应水平差分图像和垂直差分图像时，差分图像的提取算子定义如下：

$\left\{\begin{array}{c}{\mathrm{\&Delta;}}_R^H(x,y)=|I_R(x,y)-I_R(x+2,y)|\\ {\mathrm{\&Delta;}}_G^H(x,y)=|I_G(x,y)-I_G(x+2,y)|\\ {\mathrm{\&Delta;}}_B^H(x,y)=|I_B(x,y)-I_B(x+2,y)|\\ {\mathrm{\&Delta;}}^{H}I(x,y)={\mathrm{\&Delta;}}_R^H(x,y)+{\mathrm{\&Delta;}}_G^H(x,y)+{\mathrm{\&Delta;}}_B^H(x,y)\end{array}\right.$

$\left\{\begin{array}{c}{\mathrm{\&Delta;}}_R^V(x,y)=|I_R(x,y)-I_R(x,y+2)|\\ {\mathrm{\&Delta;}}_G^V(x,y)=|I_G(x,y)-I_G(x,y+2)|\\ {\mathrm{\&Delta;}}_B^V(x,y)=|I_B(x,y)-I_B(x,y+2)|\\ {\mathrm{\&Delta;}}^{V}I(x,y)={\mathrm{\&Delta;}}_R^V(x,y)+{\mathrm{\&Delta;}}_G^V(x,y)+{\mathrm{\&Delta;}}_B^V(x,y)\end{array}\right.$

其中，I_R(x，y)、I_G(x，y)、I_B(x，y)分别表示视频帧I在坐标(x，y)上的R、G、B三个通道颜色像素值，Δ^HI(x，y)和Δ^VI(x，y)分别表示视频帧坐标(x，y)上水平像素和垂直像素进行差分的结果。

3.根据权利要求2所述的方法，其特征在于：所述对所述水平差分图像和所述垂直差分图像进行二值化时，

$\left\{\begin{array}{cc}{B}^H(x,y)=1,& \mathrm{ifH}(x,y)>T\\ B^H(x,y)=0,& \mathrm{otherwise}\end{array}\right.$

$\left\{\begin{array}{cc}{B}^V(x,y)=1,& \mathrm{ifV}(x,y)>T\\ B^V(x,y)=0,& \mathrm{otherwise}\end{array}\right.$

其中，B^H和B^V分别表示二值化后的所述水平差分图像和所述垂直差分图像，既定阈值T用于控制边缘敏感度。

4.根据权利要求1所述的方法，其特征在于：所述将二值化后的所述水平差分图像和所述垂直差分图像进行滤噪时，删除二值化后的所述水平差分图像和所述垂直差分图像中的孤立点和短线段。

5.根据权利要求1所述的方法，其特征在于：所述对所述二值掩码图像进行检测时，逐行扫描所述二值掩码图像中的像素点，如果当前像素点为前景像素点则对该前景像素点进行直角点判断，即按顺序将四个直角模板分别与该前景点进行匹配。

6.根据权利要求5所述的方法，其特征在于：所述与该前景点进行匹配时，计算直角模板与其所覆盖的图像区域之间的相似度：

$\mathrm{Sim}(T,R)=\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{W}{\mathrm{\&Sigma;}}}\left(T(i,j)\mathrm{XORR}(x+i,y+j)\mathrm{XOR}1\right)$

其中，R(x+i，y+j)表示直角模板T所覆盖的图像区域中坐标为(x+i，y+j)的像素点的值，(x，y)为当前前景像素点的图像坐标位置；L、W分别为二值掩码图像的长和宽。

7.根据权利要求1所述的方法，其特征在于：所述提取出所述二值掩码图像中的各直角点后，根据各直角点之间的像素距离删除孤立直角点。

8.根据权利要求1所述的方法，其特征在于：所述马赛克直角点为当且仅当横坐标和纵坐标上分别存在一个以上的其他直角点的直角点。

9.一种马赛克图像的检测装置，其特征在于，包括如下模块：

预处理模块，用于分别提取输入的当前视频帧的对应水平差分图像和垂直差分图像，并对所述水平差分图像和所述垂直差分图像进行二值化；

滤噪模块，用于将二值化后的所述水平差分图像和所述垂直差分图像进行滤噪后合并叠加，生成所述当前视频帧对应的二值掩码图像；

提取模块，用于对所述二值掩码图像进行检测，并提取出所述二值掩码图像中的各直角点；所述直角点为二值图像中两条相互垂直的像素线段的交点，且所述两条像素线段和直角共同包围的矩形区域内的其他像素点值为0；

优选模块，用于对各直角点进行优选，得到所述当前视频帧对应的马赛克直角点集合，并根据所述马赛克直角点集合确定所述当前视频帧中的各马赛克块；

定位模块，用于如果所述当前视频帧中的各马赛克块的个数超过既定阈值，则将所述当前视频帧作为马赛克图像，并根据各所述马赛克直角点的位置确定所述马赛克图像中各马赛克块的坐标。

Images