CN112330545B - 空洞填充方法、小区域去除方法、装置和介质 - Google Patents

Abstract

本公开提供了一种空洞填充方法，包括：根据预设的采样倍数对原始图像进行下采样，生成下采样图像；对下采样图像进行空洞填充，生成填充下采样图像，并根据填充下采样图像和原始图像对原始图像进行空洞填充，生成填充原始图像。本公开还提供了一种小区域去除方法、空洞填充装置、小区域去除装置和计算机可读介质。

Description

空洞填充方法、小区域去除方法、装置和介质

技术领域

本公开涉及图像视频技术领域，特别涉及一种空洞填充方法、小区域去除方法、空洞填充装置、小区域去除装置和计算机可读介质。

背景技术

随着通信网络以及电子科技水平的不断进步，图像和视频素材的制作门槛逐渐降低，对相应图像后处理技术的要求由此越来越高。空洞填充作为常用的图像后处理技术，多应用于图像增强和图像分割等领域中，其典型的方法可分为基于标记的方法和基于区域生长的方法两大类，但这些方法耗时较长，不适用于对算法实时性要求较高的各种场景。

发明内容

本公开旨在至少解决现有技术中存在的技术问题之一，提出了一种空洞填充方法、小区域去除方法、空洞填充装置、小区域去除装置和计算机可读介质。

为实现上述目的，第一方面，本公开实施例提供了一种空洞填充方法，包括：根据预设的采样倍数对原始图像进行下采样，生成下采样图像；对所述下采样图像进行空洞填充，生成填充下采样图像，并根据所述填充下采样图像和所述原始图像对所述原始图像进行空洞填充，生成填充原始图像。

第二方面，本公开实施例还提供了一种小区域去除方法，其中，包括：

对待处理图像进行反色处理，生成原始图像，其中，所述待处理图像中存在至少一个待去除的小区域；基于所述原始图像，采用如上述实施例中所述的空洞填充方法对所述原始图像进行空洞填充，生成填充原始图像；对所述填充原始图像进行反色处理，生成目标图像。

第三方面，本公开实施例还提供了一种空洞填充装置，包括：一个或多个处理器；存储单元，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中所述的空洞填充方法。

第四方面，本公开实施例还提供了一种小区域去除装置，包括：一个或多个处理器；存储单元，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中所述的小区域去除方法。

第五方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述实施例中所述的空洞填充方法中的步骤，和/或，所述程序被处理器执行时实现如上述实施例中所述的小区域去除方法中的步骤。

本公开具有以下有益效果：

本公开实施例提供了一种空洞填充方法、小区域去除方法、空洞填充装置、小区域去除装置和计算机可读介质,可应用于对实时性要求较高的图像后处理场景，通过对原始图像进行下采样，并至少根据进行空洞填充后的下采样图像得到填充原始图像，实现对原始图像的快速空洞填充，以及应用该快速空洞填充方法实现快速小区域去除。

附图说明

图1为本公开实施例提供的一种空洞填充方法的流程图；

图2为本公开实施例提供的一种空洞填充方法的图像处理过程示意图；

图3为本公开实施例提供的另一种空洞填充方法的流程图；

图4为本公开实施例提供的一种下采样的示意图；

图5为本公开实施例中步骤S2的一种具体实施方法流程图；

图6为本公开实施例中步骤S2的另一种具体实施方法流程图；

图7为本公开实施例中提供的一种小区域去除方法的流程图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的空洞填充方法、小区域去除方法、空洞填充装置、小区域去除装置和计算机可读介质进行详细描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

将理解的是，虽然本文可以使用术语第一、第二等来描述各种元件，但这些元件不应当受限于这些术语。这些术语仅用于区分一个元件和另一元件。因此，在不背离本公开的指教的情况下，下文讨论的第一元件、第一组件或第一模块可称为第二元件、第二组件或第二模块。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

本公开所提供的空洞填充方法、小区域去除方法、空洞填充装置、小区域去除装置和计算机可读介质，可用于通过对原始图像进行下采样，并至少根据进行空洞填充后的下采样图像得到填充原始图像，实现对原始图像的快速空洞填充，以及应用该快速空洞填充方法实现快速小区域去除。该方法可应用于人像语义分割(将图像中属于“人像”的部分确定、分离出来)等对实时性要求较高的图像后处理场景，在人像语义分割场景中实现对分割质量和效率的提升。

图1为本公开实施例提供的一种空洞填充方法的流程图。如图1所示，该方法包括：

步骤S1、根据预设的采样倍数对原始图像进行下采样，生成下采样图像。

在步骤S1中，对高分辨率的原始图像根据采样倍数q进行q倍下采样，特别地，原始图像为矩形，在其长和宽两个维度上进行下采样，生成低分辨率的下采样图像，下采样图像的像素点数为原始图像像素点数的1/(q*q)，对下采样图像进行相应计算和处理的耗时也近似为原始图像的1/(q*q)。

步骤S2、对下采样图像进行空洞填充，生成填充下采样图像，并根据填充下采样图像和原始图像对原始图像进行空洞填充，生成填充原始图像。

其中，空洞是指在图像中的连续区域(如人像)内部出现小尺寸的不属于该连续区域的错误像素(如在人像内部突然出现的不构成人像的像素)；空洞填充(或称孔洞填充)是指通过相应的填充方法对错误像素或失真部分进行调整或恢复，使得空洞的整体像素值及其他图像特征符合该连续区域。

其中，针对下采样图像的空洞填充可通过基于标记的填充方法、基于区域生长的填充方法以及相应形态学方法等进行。在一些实施例中，至少根据填充下采样图像得到填充原始图像的步骤可包括：对填充下采样图像根据采样倍数进行上采样生成填充原始图像；或者，通过对填充下采样图像和原始图像进行相似度比较以生成填充原始图像；或者，对填充下采样图像根据采样倍数进行上采样，并根据上采样结果和原始图像生成填充原始图像等。

本公开实施例提供了一种空洞填充方法，该方法可用于通过对原始图像进行下采样，并至少根据进行空洞填充后的下采样图像得到填充原始图像，实现对原始图像的快速空洞填充。

图2为本公开实施例提供的一种空洞填充方法的图像处理过程示意图。具体地，该空洞填充方法为基于图1所示方法的一种具体实施方式，其中，通过步骤S2及其他相关步骤得到填充原始图像的过程如图2所示。

原始图像中表现为黑色的部分内部具有白色空洞，为进行空洞填充，首先根据预设的采样倍数对原始图像进行下采样，生成下采样图像；之后对下采样图像进行空洞填充，生成填充下采样图像，并根据填充下采样图像和原始图像对原始图像进行空洞填充，以生成黑色部分不含空洞的填充原始图像。

图3为本公开实施例提供的另一种空洞填充方法的流程图。如图3所示，该方法为基于图1所示方法的一种具体化可选实施方案。具体地，原始图像为二值图像；该方法不仅步骤S2，还包括步骤S101，其中，步骤S101为步骤S1，根据预设的采样倍数对原始图像进行下采样，生成下采样图像的步骤的一种可选实施方式。下面仅针对步骤S101进行详细描述。

步骤S101、将原始图像划分为多个相同大小的采样区域，将区域内部存在零像素点的采样区域映射为下采样图像中的零像素点，将区域内部不存在零像素点的采样区域映射为下采样图像中的非零像素点，以生成下采样图像。

其中，若采样区域内部包含零像素点则将该采样区域在下采样图像中映射为一个零像素点，若采样区域内部不包含零像素点，即全为非零像素点则将该采样区域在下采样图像中映射为一个非零像素点；零像素点和非零像素点中的“零”和“非零”指的是对应像素点的像素值。通过上述下采样过程，实现下采样以及类似形态学中腐蚀的效果，采样后下采样图像中的空洞除尺寸随采样倍数同比减小外，形态也可能有轻微变化。

在一些实施例中，原始图像和采样区域为矩形，采样区域的长和宽均等于采样倍数，或者其中一者等于采样倍数；采样区域的长和宽即为采样区域的长边和宽边分别对应的像素点数。

在一些实施例中，针对人像语义分割的场景，原始图像可为正常人像图像经二值化和掩模处理得到的二值掩模图像。

其中，二值图像是由零和非零两种像素点构成的图像，其中零像素点相当于无效点或非填充点，非零像素点相当于有效点或填充点，二值图像中的空洞由零素点组成。而针对人像语义分割的场景，在二值掩模图像中，人像对应的前景部分应由非零像像素点组成，而背景部分由零像素点组成。

示例性地，本实施例即后续实施例中用像素值为0表示零像素点，为1表示非零像素点，但其并非对图像格式的具体限定，其他像素值模式同样适用于本公开实施例。

图4为本公开实施例提供的一种下采样的示意图。如图4所示，具体地，非零像素点的像素值为1，零像素点的像素值为0；在步骤S101中，将区域内部存在零像素点的第一采样区域映射为下采样图像中的零像素点，将区域内部全为非零像素点，即不存在零像素点的第二采样区域映射为下采样图像中的非零像素点。

图5为本公开实施例中步骤S2的一种具体实施方法流程图。如图5所示，在采用图3所示的步骤S101生成下采样图像的基础上，在步骤S2中，根据填充下采样图像和原始图像对原始图像进行空洞填充的步骤，包括：步骤S201。

步骤S201、根据原始图像中的各零像素点所处的采样区域在填充下采样图像中所对应的像素点的类型，将原始图像中的至少部分零像素点转变为非零像素点。

其中，可通过检测所处的采样区域对应的像素点的像素值在填充前后是否发生更改，或者，通过判断所处的采样区域对应的像素点的像素值是否满足相应的大小关系，或者，根据所处的采样区域对应的像素点与邻近像素点的关系等，来划分该像素点对应的类型，并由此进行对原始图像中零像素点的填充，相应地，像素点的类型可为像素值在填充前后发生/不发生更改的像素点、像素值满足/不满足相应的大小关系的像素点以及与邻近像素点相似/不相似的像素点等，而对于二值图像，其像素点的类型可包括下文中的零/非零像素点等。

在一些实施例中，对原始图像中的非零像素点的像素值不做调整，例如针对原始图像为二值掩模图像的场景。

在一些实施例中，步骤S201，根据原始图像中的各零像素点所处的采样区域在填充下采样图像中所对应的像素点的类型，将原始图像中的至少部分零像素点转变为非零像素点的步骤，包括：将原始图像中的、所处的采样区域在填充下采样图像中所对应的像素点为零像素点的零像素点，转变为非零像素点；其中，保持原始图像中的非零像素点不变，以及保持原始图像中的、所处的采样区域在填充下采样图像中所对应的像素点为零像素点的零像素点不变。即，若所处的采样区域在填充下采样图像中所对应的像素点为零像素点，则将该零像素点的像素值转变为1；若所处的采样区域在填充下采样图像中所对应的像素点为非零像素点，则对该零像素点的像素值不做调整。通过上述对原始图像的填充过程，对应步骤S101中的下采样过程，实现对原始图像的轮廓保护。

在一些实施例中，在进行相应计算处理时，步骤S201和步骤S101可并行运算，具体地，在步骤S101对应的下采样过程中，下采样图像的每个像素点仅与原始图像对应采样区域相关，而在步骤S201对应的填充过程中，最后生成的填充原始图像每个像素点的取值仅与其在原始图像中的对应像素值和其对应的填充下采样图像中的像素点相关，因此，下采样过程所得的下采样图像的各像素点之间无依赖关系，原始图像填充过程中填充原始图像的各像素点之间也无依赖关系。由此，进行运算时可通过软硬件并行计算技术进行加速。另外下采样过程和填充下采样图像的过程在一些实施例中同样可采用并行运算。

本公开实施例提供了一种空洞填充方法，该方法可用于通过类似腐蚀效果的下采样过程以及对应的填充过程，在尽量保持原始图像轮廓的同时，实现快速空洞填充。

图6为本公开实施例中步骤S2的另一种具体实施方法流程图。如图6所示，具体地，在步骤S2中，对下采样图像进行空洞填充的步骤，包括：步骤S202。

步骤S202、对下采样图像中面积小于预设的第一面积阈值的空洞进行填充。

其中，对于面积大于第一面积阈值的空洞视为无需填充的部分，例如，在人像语义分割场景中，原始图像为二值掩模图像，面积大于第一面积阈值的空洞此时应视为非人像部分，不应填充。

图7为本公开实施例中提供的一种小区域去除方法的流程图。如图7所示，该方法包括：

步骤S3、对待处理图像进行反色处理，生成原始图像。

其中，待处理图像中存在至少一个待去除的小区域；小区域去除(smallarea/region removal，或称小面积区域去除)中针对的小区域多为噪声、块状失真或斑点等。

步骤S4、基于原始图像，采用如上述实施例中任一的空洞填充方法对原始图像进行空洞填充，生成填充原始图像。

步骤S5、对填充原始图像进行反色处理，生成目标图像。

其中，目标图像即小区域去除完成后的待处理图像。

在一些实施例中，待处理图像为二值图像，小区域为待处理图像中面积小于预设的第二面积阈值的前景区域，即小前景区域，小前景区域为原始图像中需要进行细节优化的图像内容，针对人像二值掩模图像，小前景区域即应属于背景区域但在掩膜划分时归入了人像前景区域的图像块。

本公开实施例提供了一种小区域去除方法，该方法可用于通过反色操作及快速空洞填充方法，实现快速小区域去除。

本公开实施例还提供了一种空洞填充装置，包括：

一个或多个处理器；存储单元，用于存储一个或多个程序；当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现如上述实施例中任一的空洞填充方法。

本公开实施例还提供了一种小区域去除装置，包括：

一个或多个处理器；存储单元，用于存储一个或多个程序；当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现如上述实施例中任一的小区域去除方法。

具体地，上述装置及对应的方法可作为人像语义分割应用的一部分，应用于相应电子设备相机模块的人像虚化和人像留色等产品化形态中，其同时适用于传统图像分割等后处理环节。

本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述实施例中任一的空洞填充方法中的步骤，和/或，该程序被处理器执行时实现如上述实施例中任一的小区域去除方法中的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (9)

1.一种空洞填充方法，其中，包括：

根据预设的采样倍数对原始图像进行下采样，生成下采样图像；

对所述下采样图像进行空洞填充，生成填充下采样图像，并根据所述填充下采样图像和所述原始图像对所述原始图像进行空洞填充，生成填充原始图像；

其中，所述原始图像为二值图像；所述根据预设的采样倍数对原始图像进行下采样，生成下采样图像的步骤，包括：

将所述原始图像划分为多个相同大小的采样区域，将区域内部存在零像素点的所述采样区域映射为所述下采样图像中的零像素点，将区域内部不存在零像素点的所述采样区域映射为所述下采样图像中的非零像素点，以生成所述下采样图像。

2.根据权利要求1所述的空洞填充方法，其中，所述根据所述填充下采样图像和所述原始图像对所述原始图像进行空洞填充的步骤，包括：

根据所述原始图像中的各零像素点所处的采样区域在所述填充下采样图像中所对应的像素点的类型，将所述原始图像中的至少部分零像素点转变为非零像素点；其中，像素点的类型包括：零像素点和非零像素点。

3.根据权利要求2所述的空洞填充方法，其中，所述根据所处的采样区域在所述填充下采样图像中所对应的像素点的类型，将所述原始图像中的至少部分零像素点转变为非零像素点的步骤，包括：

将所述原始图像中的、所处的采样区域在所述填充下采样图像中所对应的像素点为非零像素点的零像素点，转变为非零像素点；其中，保持所述原始图像中的非零像素点不变，以及保持所述原始图像中的、所处的采样区域在所述填充下采样图像中所对应的像素点为零像素点的零像素点不变。

4.根据权利要求1所述的空洞填充方法，其中，所述对所述下采样图像进行空洞填充的步骤，包括：

对所述下采样图像中面积小于预设的第一面积阈值的空洞进行填充。

5.一种小区域去除方法，其中，包括：

对待处理图像进行反色处理，生成原始图像，其中，所述待处理图像中存在至少一个待去除的小区域；

基于所述原始图像，采用如权利要求1至4中任一所述的空洞填充方法对所述原始图像进行空洞填充，生成填充原始图像；

对所述填充原始图像进行反色处理，生成目标图像。

6.根据权利要求5所述的小区域去除方法，其中，所述待处理图像为二值图像，所述小区域为所述待处理图像中面积小于预设的第二面积阈值的前景区域。

7.一种空洞填充装置，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的空洞填充方法。

8.一种小区域去除装置，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求5或权利要求6中所述的小区域去除方法。

9.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-4中任一所述的空洞填充方法中的步骤，和/或，所述程序被处理器执行时实现如权利要求5或权利要求6中所述的小区域去除方法中的步骤。

Images