CN106971399B - 图像马赛克检测方法及装置 - Google Patents

Abstract

本发明提供了一种图像马赛克检测方法及装置，涉及图像处理技术领域，其中，图像马赛克检测方法包括以下步骤：将当前帧图像分割成若干宏块；对所述宏块进行边缘增强和边缘检测，生成边缘检测后的宏块；对所述边缘检测后的宏块进行实边标定，并根据实边个数判断所述宏块是否为马赛克块；统计所述当前帧图像的所述马赛克块的个数，并根据设定规则输出马赛克严重等级，解决了传统检测方法在马赛克块内含有复杂纹理时检测失效和处理效率达不到超清实时的缺陷，整体提高了实际应用场景下马赛克检测的准确率和效率。

Description

图像马赛克检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像马赛克检测方法及装置。

背景技术

在观看数字电视、网络视频等数字信号源类的节目时，经常会遇到播放画面中有明显的方块或花屏出现，这些现象就是马赛克现象。马赛克现象是视频编转码系统中出现较多的故障，视频转码过程中，码率过低、数据丢失或编码解码错误都会导致马赛克现象。总结其产生的原因，可以归纳出异常马赛克的特征：马赛克多以宏块为单位出现，块内内容连续性高但是块间内容连续性差。马赛克块在画面中随机分布，大小也随机分布。

现有的马赛克检测技术多针对块内灰度分布单一，块间边界明显的马赛克形式。但是，在实际应用检测转码故障情形下，马赛克的块内特征和附加的马赛克有较大差异，主要表现在，人为添加的马赛克块内灰度分布单一且边界分明。但是转码故障导致的马赛克有的区域马赛克内部纹理复杂，受花屏的影响，其边界与块内的对比度不高，界限不够分明。

现有技术的马赛克检测方法通常仅适用于对人为添加的马赛克块的检测，比如基于边缘检测的模板匹配方法和基于区域扩张的方法等。这些检测方法若应用于转码过程中产生的马赛克则会存在处理效率低下的缺陷。

发明内容

有鉴于此，本发明的目的在于提供一种图像马赛克检测方法及装置，以解决现有技术的马赛克检测方法存在实时性较差的技术问题。

第一方面，本发明实施例提供了一种图像马赛克检测方法，包括以下步骤：

将当前帧图像分割成若干宏块；

对宏块进行边缘增强和边缘检测，生成边缘检测后的宏块；

对边缘检测后的宏块进行实边标定，并根据实边个数判断宏块是否为马赛克块；

统计当前帧图像的马赛克块的个数，并根据设定规则输出马赛克严重等级。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，对边缘检测后的宏块进行实边标定，具体为：

统计边缘检测后的宏块的每一边大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，统计边缘检测后的宏块的每一边大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边，具体为：

统计边缘检测后的宏块的每一横边及其上下两行像素中大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边；

统计边缘检测后的宏块的每一竖边及其左右两列像素中大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据实边个数判断宏块是否为马赛克块具体为：

判断实边个数是否大于等于3；

若是，则标识为马赛克块；

若否，则判断是否存在两互成直角的实边；

若是，则标识为马赛克块；

若否，则标识为非马赛克块。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据实边个数判断宏块为非马赛克块之后，还包括：

统计马赛克块中灰度值超过设定内部灰度值的像素个数，并判断像素个数是否小于预设内部像素个数；

若是，则标识为马赛克块；

若否，则标识为非马赛克块。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据设定规则输出马赛克严重等级，具体为：

步骤1.判断是否出现超过设定块数的马赛克块连通域，若是则执行步骤2，若否则执行步骤3；

步骤2，直接输出马赛克严重等级；

步骤3，判断连通域形状是否包含在设定模板中，若是则执行步骤4，若否则执行步骤2；

步骤4，对连通域中的马赛克块进行剔除，将连通域中剔除成功的马赛克块标识为非马赛克块；

步骤5.再次统计马赛克块的个数，并根据再次统计的马赛克块的个数输出严重等级。

第二方面，本发明实施例还提供一种图像马赛克检测装置，包括：图像分割模块、边缘增强与边缘检测模块、实边标定模块和输出模块；

图像分割模块用于将当前帧图像分割成若干宏块；

边缘增强与边缘检测模块用于对宏块进行边缘增强和边缘检测，生成边缘检测后的宏块；

实边标定模块用于对边缘检测后的宏块进行实边标定，并根据实边个数判断宏块是否为马赛克块；

输出模块用于统计当前帧图像的马赛克块的个数，并根据设定规则输出马赛克严重等级。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，实边标定模块具体用于统计边缘检测后的宏块的每一边大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，还包括块内纹理判断模块，用于统计马赛克块中灰度值超过设定内部灰度值的像素个数，并判断像素个数是否小于预设内部像素个数；

若是，则标识为马赛克块；

若否，则标识为非马赛克块。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，输出模块用于根据设定规则输出马赛克严重等级，具体为：

步骤1.判断是否出现超过设定块数的马赛克块连通域，若是则执行步骤2，若否则执行步骤3；

步骤2.直接输出马赛克严重等级；

步骤3.判断连通域形状是否包含在设定模板中，若是则执行步骤4，若否则执行步骤2；

步骤4.对连通域中的马赛克块进行剔除，将连通域中剔除成功的马赛克块标识为非马赛克块；

步骤5.再次统计马赛克块的个数，并根据再次统计的马赛克块的个数输出严重等级。

本发明实施例带来了以下有益效果：

本发明实施例提供的图像马赛克检测方法首先将当前帧图像分割成若干宏块，对宏块进行边缘增强和边缘检测，并对边缘检测后的宏块进行实边标定，然后根据实边个数判断宏块是否为马赛克块；统计当前帧图像的马赛克块的个数，并根据设定规则输出马赛克严重等级，通过实边标定来识别马赛克块，解决了传统检测方法在马赛克块内含有复杂纹理时检测失效和处理效率达不到超清实时的缺陷，整体提高了实际应用场景下马赛克检测的准确率和实时性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的图像马赛克检测方法的流程图；

图2为本发明实施例1提供的图像马赛克检测方法一种实施方式的流程图；

图3为本发明实施例1提供的图像马赛克检测方法的实边标定流程图；

图4为本发明实施例1提供的图像马赛克检测方法的人为马赛克块剔除流程图；

图5为本发明实施例1提供的图像马赛克块检测方法的人为马赛克块剔除方法中的连通域形状模板示意图

图6为本发明实施例2提供的图像马赛克块检测装置的示意图；

图7为本发明实施例2提供的图像马赛克块检测装置一种实施方式的示意图。

图标：1-图像分割模块；2-边缘增强与边缘检测模块；3-实边标定模块；4-输出模块；5-块内纹理判断模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前的视频图像马赛克检测方法的实时性较差，基于此，本发明实施例提供的图像马赛克检测方法及装置，可以提升视频图像马赛克检测的实时性。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像马赛克检测方法进行详细介绍。

实施例1：

如图1所示，本发明实施例提供了一种图像马赛克检测方法，包括以下步骤：

S12.将当前帧图像分割成若干宏块。

S14.对宏块进行边缘增强和边缘检测，生成边缘检测后的宏块。

S16.对边缘检测后的宏块进行实边标定，并根据实边个数判断宏块是否为马赛克块。

S18.统计当前帧图像的马赛克块的个数，并根据设定规则输出马赛克严重等级。

本发明实施例首先将当前帧图像分割成若干宏块，然后对宏块进行边缘增强和边缘检测，对边缘检测后的宏块进行实边标定并根据实边个数判断宏块是否为马赛克块，根据设定规则输出马赛克严重等级。通过实边标定来识别马赛克块，解决了传统检测方法在马赛克块内含有复杂纹理时检测失效和处理效率达不到超清实时的缺陷，整体提高了实际应用场景下马赛克检测的准确率和实时性。

步骤S12中，优选将当前帧图像分割成16×16个宏块，并对宏块进行编码。具体分割数量可以根据实际情况进行调整。

步骤S14的边缘增强算子优选为{-1.0/16,-2.0/16,-1.0/16,-2.0/16,2-4.0/16,-2.0/16,-1.0/16,-2.0/16,-1.0/16}，以提高宏块边缘增强的效果。

边缘检测优选通过canny边缘检测处理对边缘增强后的宏块进行边缘检测，canny边缘检测算法的检测结果为图像中所有的细节及边缘信息。

步骤S16所述的，对边缘检测后的宏块进行实边标定的实施方式为：统计边缘检测后的宏块的每一边大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边。本实施例中宏块实边的预设灰度值范围为125-135，优选预设灰度值为128。预设像素个数范围为12-16，本实施例预设像素个数优选为14。预设灰度值和预设像素个数在实际使用时可以根据实际情况进行调整。

宏块边缘检测处理后的边缘有很多不连续的地方，并没有表示出规则的直线形式，对此，本实施例对边缘检测后的宏块进行实边标定的优选实施方式为：统计边缘检测后的宏块的每一横边及其上下两行像素中大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边；统计边缘检测后的宏块的每一竖边及其左右两列像素中大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边。

如图2所示，作为本发明的另一种实施方式，步骤S16之后还包括对马赛克块进行内部纹理检测的步骤：

统计马赛克块中灰度值超过设定内部灰度值的像素个数，并判断像素个数是否小于预设内部像素个数；若是，则标识为马赛克块；若否，则标识为非马赛克块。根据马赛克块中超过设定内部灰度值的像素个数来进一步判断宏块内部纹理的复杂度及其是否为马赛克，进一步提高了对内部含有复杂纹理的马赛克块的检测准确率和实时性。本实施例中的设定内部灰度值优选与宏块实边标定时的预设灰度值范围相同，实际使用时可以根据具体情况进行调整。

如图3所示，步骤S18中，统计当前帧图像的马赛克块的个数包括以下步骤：

S1811.判断实边个数是否大于等于3，若是执行步骤S1812，若否执行步骤S1813。

S1812.标识为马赛克块。

S1813.判断是否存在两互成直角的实边，若是则执行步骤S1812，若否则执行步骤S1814。

S1814.标识为非马赛克块。

通过边缘检测后的宏块边界的闭合性判断马赛克块，解决了现有检测方法在马赛克块内部含有复杂纹理时检测失效和处理效率达不到超清实时的缺陷。

步骤18中，根据设定规则输出马赛克严重等级。

可以根据所统计的当前帧图像的马赛克块的个数直接输出马赛克严重等级，也可以先对人为马赛克块剔除，并根据剔除后的结果输出马赛克严重等级。具体参见图4所示：

步骤S1821.判断是否出现超过设定块数的马赛克块连通域，若是则执行步骤S1822，若否则执行步骤S1823。

步骤S1822，直接输出马赛克严重等级。

步骤S1823，判断连通域形状是否包含在设定模板中，若是则执行步骤S1824，若否则执行步骤S1822。

步骤S1824，对连通域中的马赛克块进行剔除，将连通域中剔除成功的马赛克块标识为非马赛克块。

步骤S1825.再次统计马赛克块的个数，并根据再次统计的马赛克块的个数输出严重等级。

如图5所示，步骤S1823中所述的设定模板包括5a、5b、5c、5d四种基本形状，以及它们旋转90、180、270度后的形状，以及它们在原位及各个旋转方向上的镜像形状。

当马赛克块连通域符合上述模板形状时，则对连通域中的马赛克块进行剔除。通过剔除操作将人为马赛克块剔除，进一步提高了对于视频转码过程中产生的马赛克块的检测准确率。

需要说明的是，本实施例可以对每一宏块顺序执行完步骤S14-S16后，再对所有宏块执行步骤S18。

或者通过步骤S14按照宏块编码顺序依次对所有宏块进行边缘增强和边缘检测；然后通过步骤S16按照宏块编码顺序依次对所有宏块进行实边标定，并判断是否为马赛克块；再通过步骤S18对马赛克块进行统计，根据设定规则输出马赛克严重等级。

实施例2：

如图6所示，本发明实施例提供了一种图像马赛克检测装置，包括图像分割模块1、边缘增强与边缘检测模块2、实边标定模块3和输出模块4，图像分割模块1用于将当前帧图像分割成若干宏块；边缘增强与边缘检测模块2用于对宏块进行边缘增强和边缘检测，生成边缘检测后的宏块；实边标定模块3用于对边缘检测后的宏块进行实边标定，并根据实边个数判断宏块是否为马赛克块；输出模块4用于统计当前帧图像的马赛克块的个数，并根据设定规则输出马赛克严重等级。

通过实边标定来识别马赛克块，解决了传统检测方法在马赛克块内含有复杂纹理时检测失效和处理效率达不到超清实时的缺陷，整体提高了实际应用场景下马赛克检测的准确率和实时性。

作为本发明的一种优选实施方式，实边标定模块3具体用于统计边缘检测后的宏块的每一边大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边。本实施例中宏块实边的预设灰度值范围为125-135，优选灰度值为128，实际使用时可以根据具体情况进行调整。

进一步，本实施例的实边标定模块3还用于统计边缘检测后的宏块的每一横边及其上下两行像素中大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边；统计边缘检测后的宏块的每一竖边及其左右两列像素中大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边。本实施方式考虑了边缘检测处理后的宏块的边缘存在有很多不连续的地方，并不是严格的直线，因此通过对横边及其上下两行以及竖边及其左右两列同时进行像素灰度检测来进一步提高宏块实边标定的准确率。

进一步，实边标定模块3还用于判断实边个数是否大于等于3；若是，则标识为马赛克块；若否，则判断实边个数是否为2，且两实边互成直角；若是，则标识为马赛克块；若否，则标识为非马赛克块。本实施方式通过边缘检测后的宏块的边界闭合性来判断马赛克块，提高了对视频转码过程中产生的马赛克的检测准确率和实时性。

如图7所示，作为本发明的另一种实施方式，该装置还包括块内纹理判断模块5，用于统计马赛克块中灰度值超过设定内部灰度值的像素个数，并判断像素个数是否小于预设内部像素个数；若是，则标识为马赛克块；若否，则标识为非马赛克块。本实施方式进一步解决了现有技术的马赛克检测方法在马赛克块内含有复杂纹理时检测失效以及处理效率低，难以满足超清实时的问题。

此外，输出模块4可以根据实边标定结果直接输出视频图像的马赛克严重等级，也可以通过判断连通域形状进行人工马赛克剔除，具体为：

步骤1.判断是否出现超过设定块数的马赛克块连通域，若是则执行步骤2，若否则执行步骤3。

步骤2.直接输出马赛克严重等级。

步骤3.判断连通域形状是否包含在设定模板中，若是则执行步骤4，若否则执行步骤2。

步骤4.对连通域中的马赛克块进行剔除，将连通域中剔除成功的马赛克块标识为非马赛克块。

步骤5.再次统计马赛克块的个数，并根据再次统计的马赛克块的个数输出严重等级。

本发明实施例提供的图像马赛克块检测装置，与上述实施例提供的图像马赛克块检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例所提供的图像马赛克块检测方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种图像马赛克检测方法，其特征在于，包括以下步骤：

将当前帧图像分割成若干宏块；

对所述宏块进行边缘增强和边缘检测，生成边缘检测后的宏块；

对所述边缘检测后的宏块进行实边标定，并根据实边个数判断所述宏块是否为马赛克块；

统计所述当前帧图像的所述马赛克块的个数，并根据设定规则输出马赛克严重等级；

所述对所述边缘检测后的宏块进行实边标定，具体为：

统计所述边缘检测后的宏块的每一边大于预设灰度值的像素个数，若所述像素个数超过预设像素个数，则将此边标识为实边，具体为：

统计所述边缘检测后的宏块的每一横边及其上下两行像素中大于所述预设灰度值的像素个数，若所述像素个数超过所述预设像素个数，则将此边标识为实边；

统计所述边缘检测后的宏块的每一竖边及其左右两列像素中大于所述预设灰度值的像素个数，若所述像素个数超过所述预设像素个数，则将此边标识为实边。

2.根据权利要求1所述的方法，其特征在于，所述根据实边个数判断所述宏块是否为马赛克块具体为：

断所述实边个数是否大于等于3；

若是，则标识为马赛克块；

若否，则判断是否存在两互成直角的实边；

若是，则标识为马赛克块；

若否，则标识为非马赛克块。

3.根据权利要求1所述的方法，其特征在于，所述根据实边个数判断所述宏块为马赛克块之后，还包括：

统计马赛克块中灰度值超过设定内部灰度值的像素个数，并判断所述像素个数是否小于预设内部像素个数；

若是，则标识为马赛克块；

若否，则标识为非马赛克块。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据设定规则输出马赛克严重等级，具体为：

步骤1.判断是否出现超过设定块数的马赛克块连通域，若是则执行步骤2，若否则执行步骤3；

步骤2.直接输出马赛克严重等级；

步骤3.判断所述连通域形状是否包含在设定模板中，若是则执行步骤4，若否则执行步骤2；

步骤4.对所述连通域中的所述马赛克块进行剔除，将所述连通域中剔除成功的所述马赛克块标识为非马赛克块；

步骤5.再次统计所述马赛克块的个数，并根据再次统计的所述马赛克块的个数输出严重等级。

5.一种图像马赛克检测装置，其特征在于，包括：

图像分割模块，用于将当前帧图像分割成若干宏块；

边缘增强与边缘检测模块，用于对所述宏块进行边缘增强和边缘检测，生成边缘检测后的宏块；

实边标定模块，用于对所述边缘检测后的宏块进行实边标定，并根据实边个数判断所述宏块是否为马赛克块；

输出模块，用于统计所述当前帧图像的所述马赛克块的个数，并根据设定规则输出马赛克严重等级；

所述实边标定模块具体用于统计所述边缘检测后的宏块的每一边大于预设灰度值的像素个数，若所述像素个数超过预设像素个数，则将此边标识为实边；

实边标定模块还用于统计边缘检测后的宏块的每一横边及其上下两行像素中大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边；统计边缘检测后的宏块的每一竖边及其左右两列像素中大于预设灰度值的像素个数，若像素个数超过预设像素个数，则将此边标识为实边。

6.根据权利要求5所述的装置，其特征在于，还包括块内纹理判断模块，所述块内纹理判断模块用于统计马赛克块中灰度值超过设定内部灰度值的像素个数，并判断所述像素个数是否小于预设内部像素个数；

若是，则标识为马赛克块；

若否，则标识为非马赛克块。

7.根据权利要求5-6任一项所述的装置，其特征在于，所述输出模块用于根据设定规则输出马赛克严重等级，具体为：

步骤1.判断是否出现超过设定块数的马赛克块连通域，若是则执行步骤2，若否则执行步骤3；

步骤2.直接输出马赛克严重等级；

步骤3.判断所述连通域形状是否包含在设定模板中，若是则执行步骤4，若否则执行步骤2；

步骤4.对所述连通域中的所述马赛克块进行剔除，将所述连通域中剔除成功的所述马赛克块标识为非马赛克块；

步骤5.再次统计所述马赛克块的个数，并根据再次统计的所述马赛克块的个数输出严重等级。