CN110807780A - 图像处理方法和装置 - Google Patents
图像处理方法和装置 Download PDFInfo
- Publication number
- CN110807780A CN110807780A CN201911011082.9A CN201911011082A CN110807780A CN 110807780 A CN110807780 A CN 110807780A CN 201911011082 A CN201911011082 A CN 201911011082A CN 110807780 A CN110807780 A CN 110807780A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- target object
- processed
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 90
- 238000001914 filtration Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000010191 image analysis Methods 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 abstract description 31
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 9
- 230000011218 segmentation Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 239000003086 colorant Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种图像处理方法和装置,用以解决现有技术中图像边缘分割不准确、计算量大的问题。该方法中,将获得的待处理图像的掩码图进行图像分析,确定掩码图中第一目标对象区域和第二目标对象区域的重叠区域;对重叠区域做衰减处理,得到引导图;根据引导图对待处理图像做引导滤波处理。上述方法,通过对重叠区域做衰减处理,能够降低重叠区域的掩码值,在渲染时也不会使重叠区域渲染得过亮,显得僵硬。此外,通过引导图对待处理图像做引导滤波处理,能够使得经过衰减处理的重叠区域被修复,即不会在渲染时重叠区域缺失,能够保证图像的边缘特性,将图像中的不同区域分割出来。并且该算法计算量较小,适用于手机等终端。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法和装置。
背景技术
头发区域的分割是短视频应用或相机类应用中较为常见的算法,一种常见的应用是将头发分割出来,之后为头发渲染上不同的颜色。
然而,受限于手机的计算资源,手机内用于分割头发的模型的计算量一般较小,致使该模型准确率会有所损失。与此同时,头发边缘区域(例如刘海区域、头发下摆区域)与边界外区域的差别较大,容易染色到边界区域。边界区域如刘海区域紧挨着的皮肤、头发下摆区域紧挨着的衣服,如果分割不够准确,会染色到皮肤上或者衣服上。
相关技术的常见处理方案是对头发分割的结果做后处理,如模糊处理、分割算法matting等。然而,模糊算法不能提升边缘准确性,渲染时会有一条明显的边界,而matting的计算量较大,且会引入噪声。
发明内容
本公开提供一种图像处理方法和装置,以至少解决相关技术中不同区域分割不准确或计算量大的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种图像处理方法,包括:
将获得的待处理图像的掩码图进行图像分析,确定所述掩码图中的第一目标对象区域和第二目标对象区域;
若所述第一目标对象区域和所述第二目标对象区域存在重叠区域,则对所述重叠区域做衰减处理,得到引导图;其中,衰减处理后的重叠区域的像素值小于所述掩码图中所述第一目标对象区域和所述第二目标对象区域的重叠区域的像素值;
根据所述引导图对所述待处理图像做引导滤波处理。
可选的,对所述重叠区域做衰减处理,得到引导图,包括:
计算所述重叠区域的像素均值;
根据像素均值与衰减系数的正相关关系,确定所述重叠区域的像素均值对应的衰减系数;
根据所述衰减系数,对所述重叠区域做衰减处理,得到所述引导图。
可选的,确定所述掩码图中第一目标对象区域和所述第二目标对象区域的重叠区域,包括:
若待渲染区域为所述第一目标对象区域,则确定所述掩码图中覆盖所述第一目标对象区域的最小矩形;
根据短边长度与膨胀系数的线性相关关系,确定所述最小矩形的短边长度对应的膨胀系数;
采用所述膨胀系数,分别对所述掩码图中的所述第一目标对象区域和所述第二目标对象区域进行膨胀处理;
确定膨胀后的所述第一目标对象区域和所述第二目标对象区域的重叠区域。
可选的,根据所述引导图对所述待处理图像做引导滤波处理之后,还包括:
确定所述掩码图中除所述第一目标对象区域的其他区域;
利用所述其他区域,替换第一对应区域,所述第一对应区域为所述其他区域在所述引导滤波后的待处理图像的区域。
可选的,确定所述掩码图中除所述第一目标对象的其他区域,包括:
根据所述膨胀系数,对所述掩码图的所述第一目标对象区域进行膨胀;
将所述掩码图中的未膨胀区域,作为所述其他区域。
可选的,将获得的待处理图像的掩码图进行图像分析之前,还包括:
对所述待处理图像的原始图像进行图像分析,得到包含所述第一目标对象区域和所述第二目标对象区域的最小图像作为所述待处理图像。
可选的,根据所述引导图对所述待处理图像做引导滤波处理之后,还包括:
利用引导滤波处理后的待处理图像,替换第二对应区域;所述第二对应区域为所述待处理图像在所述原始图像中的区域。
可选的,所述方法还包括:
选取所述待处理图像的红绿蓝RGB三通道中的一个通道的图像;
根据所述引导图对所述待处理图像做引导滤波处理,包括:
根据所述引导图对选取的通道的图像做引导滤波处理。
可选的,选取所述待处理图像的红绿蓝RGB三通道中的一个通道的图像,包括:
分别计算所述待处理图像的RGB三个通道图像的各自的像素方差;
选取所述像素方差最大的通道的图像。
可选的,选取所述像素方差最大的通道的图像之后,还包括:
剔除选取的通道的图像中,指定像素值的像素点;其中,所述指定像素值的值域在像素值取值区间的两端;
将剔除像素点后的图像,拉伸至所述像素值取值区间内,其中,拉伸后剔除像素点后的图像的像素值的最小值为所述像素值取值区间的最小值,最大值为所述像素值取值区间的最大值。
可选的,根据所述引导图对所述待处理图像做引导滤波处理之后,还包括:
若待渲染区域为所述第一目标对象区域,则根据预设的渲染效果,渲染引导滤波后的待处理图像的第一目标对象区域;
若待渲染区域为所述第二目标对象区域,则根据预设的渲染效果,渲染引导滤波后的待处理图像的第二目标对象区域。
根据本公开实施例的第二方面,提供一种图像处理装置,包括:
分析单元,被配置为执行将获得的待处理图像的掩码图进行图像分析,确定所述掩码图中的第一目标对象区域和第二目标对象区域;
衰减单元,被配置为执行若所述第一目标对象区域和所述第二目标对象区域存在重叠区域,则对所述重叠区域做衰减处理,得到引导图;
引导滤波单元,被配置为执行根据所述引导图对所述待处理图像做引导滤波处理。
可选的,所述衰减单元具体被配置为执行:
计算所述重叠区域的像素均值;
根据像素均值与衰减系数的正相关关系,确定所述重叠区域的像素均值对应的衰减系数;
根据所述衰减系数,对所述重叠区域做衰减处理,得到所述引导图。
可选的,所述分析单元具体被配置为执行:
若待渲染区域为所述第一目标对象区域,则确定所述掩码图中,覆盖所述第一目标对象区域的最小矩形;
根据短边长度与膨胀系数的线性相关关系,确定所述最小矩形的短边长度对应的膨胀系数;
采用所述膨胀系数,分别对所述掩码图中的所述第一目标对象区域和所述第二目标对象区域进行膨胀处理;
确定膨胀后的所述第一目标对象区域和所述第二目标对象区域的重叠区域。
可选的,所述装置还包括:
确定单元,被配置为执行根据所述引导图对所述待处理图像做引导滤波处理之后,确定所述掩码图中除所述第一目标对象区域的其他区域;
第一替换单元,被配置为执行利用所述其他区域,替换第一对应区域,所述第一对应区域为所述其他区域在所述引导滤波后的待处理图像的区域。
可选的,所述装置还包括:
膨胀单元,被配置为执行根据所述膨胀系数,对所述掩码图的所述第一目标对象区域进行膨胀;
所述确定单元具体被配置为执行:将所述掩码图中的未膨胀区域,作为所述其他区域。
可选的,所述分析单元还别配置为执行:
将获得的待处理图像的掩码图进行图像分析之前,对所述待处理图像的原始图像进行图像分析,得到包含所述第一目标对象区域和所述第二目标对象区域的最小图像作为所述待处理图像。
可选的,所述装置还包括:
第二替换单元,被配置为执行根据所述引导图对所述待处理图像做引导滤波之后,利用引导滤波后的待处理图像,替换第二对应区域;所述第二对应区域为所述待处理图像在所述原始图像中的区域。
可选的,所述装置还包括:
选取单元,被配置为执行选取所述待处理图像的红绿蓝RGB三通道中的一个通道的图像;
所述引导滤波单元具体被配置为执行:
根据所述引导图对选取的通道的图像做引导滤波处理。
可选的,所述选取单元具体被配置为执行:
分别计算所述待处理图像的RGB三个通道图像的各自的像素方差;
选取所述像素方差最大的通道的图像。
可选的,所述装置还包括:
剔除单元,被配置为执行选取所述像素方差最大的通道的图像之后,剔除选取的通道的图像中,指定像素值的像素点;其中,所述指定像素值的值域在像素值取值区间的两端;
拉伸单元,被配置为执行将剔除像素点后的图像,拉伸至所述像素值取值区间内,其中,拉伸后剔除像素点后的图像的像素值的最小值为所述像素值取值区间的最小值,最大值为所述像素值取值区间的最大值。
可选的,所述装置还包括:
渲染单元,被配置为执行根据所述引导图对所述待处理图像做引导滤波处理之后,若待渲染区域为所述第一目标对象区域,则根据预设的渲染效果,渲染引导滤波后的待处理图像的第一目标对象区域;
所述渲染单元,还被配置为执行根据所述引导图对所述待处理图像做引导滤波处理之后,若待渲染区域为所述第二目标对象区域,则根据预设的渲染效果,渲染引导滤波后的待处理图像的第二目标对象区域。
根据本公开实施例的第三方面,提供一种电子设备,包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请实施例提供的任一图像处理方法。
根据本公开实施例的第四方面,提供一种存储介质,其中,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行本申请实施例中的任一图像处理方法。
根据本公开实施例的第五方面,提供一种程序产品,其包括程序代码,当所述程序产品在计算机设备上运行时,所述程序代码用于使所述计算机设备执行本公开实施例中的任一图像处理方法。
本申请实施例提供的图像处理方法和装置,通过对重叠区域(边界线)做衰减处理,能够降低重叠区域的掩码值,在渲染时也不会使重叠区域渲染得过亮,显得僵硬。此外,通过引导图对待处理图像做引导滤波处理,能够使得经过衰减处理的重叠区域被修复,即不会在渲染时重叠区域缺失,能够保证图像的边缘特性,将图像中的不同区域分割出来。并且该算法计算量较小,适用于手机等终端。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1为本公开一示例性实施方式的一种图像处理方法的流程示意图;
图2为本公开一示例性实施方式的一种图像处理方法的应用场景示意图之一;
图3为本公开一示例性实施方式的一种图像处理方法的应用场景示意图之一;
图4为本公开一示例性实施方式的一种图像处理方法的应用场景示意图之一;
图5为本公开一示例性实施方式的一种图像处理方法的应用场景示意图之一;
图6为本公开一示例性实施方式的一种图像处理方法的应用场景示意图之一;
图7为本公开一示例性实施方式的一种图像处理方法的应用场景示意图之一;
图8为本公开一示例性实施方式的一种图像处理方法的应用场景示意图之一;
图9为本公开一示例性实施方式的一种图像处理方法的应用场景示意图之一;
图10为本公开一示例性实施方式的对比图;
图11为本公开一示例性实施方式的一种图像处理装置示意图;
图12为本公开示例性实施方式的电子设备示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
相关技术中,图像中不同区域的分割算法存在一些问题。例如,由于不同区域的像素值差距较大,渲染时会有一条明显的边界线,以及分割不够准确,在渲染时会出现渲染至非感兴趣区域的问题。
有鉴于此,本公开提供一种图像处理方法。该方法中,需要获得头发区域和人脸区域的掩码图。并从掩码图中分割出头发区域和人脸区域。进一步的,检测出头发区域和人脸区域的重叠区域,此重叠区域即为头发区域和人脸区域之间的边界线。接下来,对重叠区域做衰减处理,得到引导图。最后,根据得到的引导图,对待处理图像做引导滤波处理。
上述方法,通过对重叠区域(边界线)做衰减处理,能够降低重叠区域的掩码值,在渲染时也不会使重叠区域渲染得过亮,显得僵硬。此外,通过引导图对待处理图像做引导滤波处理,能够使得经过衰减处理的重叠区域被修复,也即弥补衰减处理导致的可能存在的边界线缺失,能够保证图像的边缘特性,将图像中的不同区域分割出来且保留边缘特性。并且该方法方计算量较小,可适用于手机等终端。
参阅图1,为本公开一示例性实施方式的一种图像处理方法的流程示意图,可以包括以下步骤:
步骤101:将获得的待处理图像的掩码图进行图像分析,确定所述掩码图中的第一目标对象区域和第二目标对象区域。
步骤102:若所述第一目标对象区域和所述第二目标对象区域存在重叠区域,则对所述重叠区域做衰减处理,得到引导图。
其中,衰减处理后的重叠区域的像素值小于所述掩码图中所述第一目标对象区域和所述第二目标对象区域的重叠区域的像素值。这里的像素值可以是像素中值,或者还可以是像素均值,本公开不做具体限定。例如掩码图中的所述重叠区域的像素均值为155,则衰减处理后的所述重叠区域的像素均值应小于所述掩码图中的重叠区域的像素均值155。
需要说明的是,引导图用于在对待处理图像进行引导滤波处理时,对待处理图像的纹理部分进行引导,使得引导滤波处理后的待处理图像的纹理部分与所述引导图相似。
步骤103:根据所述引导图对所述待处理图像做引导滤波处理。
上述方法,通过对重叠区域做衰减处理,能够降低重叠区域的像素值,在渲染时也不会使重叠区域渲染得过亮,显得僵硬。也就是说,在渲染时重叠区域不会形成一条明显的边界线。此外,通过引导图对待处理图像做引导滤波处理,能够使得经过衰减处理的重叠区域被修复,即不会在渲染时使重叠区域缺失,能够保证图像的边缘特性,将图像中的不同区域分割出来。并且该算法计算量较小,适用于手机等终端。
下面结合附图对本公开提供的技术方案中得到引导图的方法做进一步解释。
为了降低图像处理时的噪声,在对待处理图像的掩码图进行图像分析之前,还可对待处理图像的原始图像进行处理。参阅图2,为本公开一示例性实施方式的一种图像处理方法的应用场景示意图。该场景中,第一目标对象区域为头发区域、第二目标对象区域为人脸区域。
如图2中a图所示,其为待处理图像的原始图像。原始图像中背景、衣服上都有不同的颜色,会给图像处理时引入噪声。所以,需要对待处理图像的原始图像进行图像分析,得到包含所述头发区域和人脸区域的最小图像作为所述待处理图像。即,得到待处理图像的头部图像,如图2中b图所示。
如图3所示,在得到待处理图像之后,对待处理图像进行处理得到掩码图。其中,图3中a图为头发区域的掩码图,b图为人脸区域的掩码图。在一个实施例中,头发区域和人脸区域的掩码图可以是一张图,也可以是两张图。
上述方法,对待处理图像进行图像分析,得到头部的最小图像,能够去除在图像分析时的噪声,提高图像处理的准确性。
在得到待处理图像的掩码图后,对掩码图进行图像分析,确定掩码图中的第一目标对象区域和第二目标对象区域。在一个实施例中,可以通过语义分割确定第一目标对象区域和第二目标对象区域。并,在掩码图中确定第一目标对象区域和第二目标对象区域的重叠区域。
在一个实施例中,可以查找掩码图中的轮廓来确定重叠区域。例如,可以检测掩码图中的轮廓,提取掩码图中所有轮廓,并且存储在列表l ist中。其中,检测的轮廓不建立等级关系。获取每个轮廓的各像素点,其中,相邻两个点的像素位置差不超过1,之后使用链逼近算法Teh-Chinl中的一个算法,提取轮廓。
提取轮廓后,第一目标对象区域的轮廓与第二目标对象区域的轮廓的重叠区域,即可为本公开实施例中所需要的重叠区域。然而,这种方法计算量大,确定重叠区域的速度慢。
在另一种实施方式中,还可以确定第一目标对象区域的类型,例如头发、人体等。并调用第一目标对象区域的类型对应的配置文件。配置文件中,包括确定第一目标对象区域的边界线的方法。例如,如图3中a图所示,第一目标对象区域为头发。则用“头发”对应的配置文件。首先,确定头发区域中,左侧的最低点a’(图中未示出)和右侧的最低点b’(图中未示出)。根据点a’和点b’,按照预设的偏移量确定第一目标对象区域的边界线。该边界线即为重叠区域。
上述方法由于各类型的边界线确定方法固定,但头发形状、人体形状因人而异,识别出的边界的效果和计算速度也受限。
有鉴于此,本公开一示例性实施方式中,提供了确定重叠区域的方法。以下,不失一般性的以第一目标对象区域为待渲染区域为例进行说明。实施时,待渲染区域可以是第二目标对象区域,或者可以是第一目标对象区域和第二目标对象区域,本公开不做具体限定。
可实施为,确定所述掩码图中,覆盖第一目标对象区域的最小矩形;然后根据短边长度与膨胀系数的线性相关关系,确定所述最小矩形的短边长度对应的膨胀系数;之后采用所述膨胀系数,分别对所述掩码图中的第一目标对象区域和第二目标对象区域进行膨胀处理;确定膨胀后的所述第一目标对象区域和第二目标对象区域的重叠区域。
参阅图4,为本公开一示例性实施方式的一种图像处理方法的应用场景示意图。如图4中a图所示,确定覆盖头发区域的最小矩形,以及确定最小矩形的短边长度。并根据短边长度,确定对应的膨胀系数。具体的,短边长度与膨胀系数存在着线性相关关系,如短边长度为1cm时,膨胀系数可为1.3。
进一步的,根据膨胀系数分别对第一目标对象区域和第二目标对象区域进行膨胀处理。膨胀处理后,能够快速的确定第一目标对象区域和第二目标对象区域的重叠区域,如图4中b图所示,图中灰色线条部分即为重叠区域。
上述方法,由于分别对第一目标对象区域和第二目标对象区域进行膨胀处理,能够快速的确定重叠区域,计算速度快,计算量小。并且,能够准确的确定重叠区域。
在确定重叠区域后,需要对重叠区域进行衰减处理。且衰减处理时的衰减系数,由重叠区域的像素值确定。可实施为,计算所述重叠区域的像素值;根据像素均值与衰减系数的正相关关系,确定所述像素值对应的衰减系数;根据所述衰减系数,对所述重叠区域做衰减处理,从而得到引导图。
在一个实施例中,重叠区域的像素值可以是重叠区域的像素均值,还可以是重叠区域的像素方差值、或者还可以是重叠区域的像素中值,本公开不做具体限定。例如,重叠区域的像素均值为120时,衰减系数可以为0.5;重叠区域的像素均值为150时,衰减系数可以为0.6等。像素值与衰减系数的正相关关系可由实验结果确定。
如图5所示,为本公开一示例性实施例中的一种图像处理方法的应用场景示意图。图5中,头发下边界处的灰色线条区域即为衰减处理后的重叠区域。
上述方法,通过对重叠区域进行衰减处理,能够降低重叠区域的像素值,在渲染时,不会使得重叠区域过于明显,提高了图像的边缘特性。
在引导滤波时需要两张图像。一张即为引导图,另一张为原图。为了提高引导滤波的速度,本公开的技术方案中对原图进行了图像处理,接下来介绍本公开技术方案中对原图进行图像处理的方法。
在引导滤波时,对三通道图像进行引导滤波的速度,相对于对单通道图像进行引导滤波的速度慢。本公开一示例性实施方式中,选取待处理图像的RGB(Red-Green-Blue,红绿蓝)三通道中的一个通道的图像。并根据选取的通道的图像做引导滤波处理。
在一个实施例中,可以随机选取RGB三通道中的一个通道的图像。例如,随机选取R通道的图像,或者随机选取B通道的图像。
或者,还可以选取三通道中对比度最大的通道的图像。在一个实施例中,分别计算所述待处理图像的RGB三个通道图像的各自的像素方差;选取所述像素方差最大的通道的图像。
上述方法,在引导滤波时单通道的图像做引导滤波处理,能够提高引导滤波的速度,提高图像处理的速度。另外,对像素方差最大的通道做引导滤波处理,能够使得引导滤波后的图像边缘性更强,提高图像处理的质量。
本公开一示例性实施方式中,为了进一步提高引导滤波的效果还增强了待处理图像的对比度,实施时可剔除选取的通道的图像中,指定像素值的像素点;然后将剔除像素点后的图像,拉伸至所述像素值取值区间内,拉伸后剔除像素点后的图像的像素值的最小值为所述像素值取值区间的最小值,最大值为所述像素值取值区间的最大值。
例如,像素值取值区间可以为0-255,或者还可以是选取的通道的图像的像素值取值区间。所以,在剔除指定像素值的像素点之前,可以绘制选取的通道的图像的直方图。
如图6所示,为本公开一示例性实施方式中的直方图,其中x轴为像素值,y轴为图像中具有该像素值的像素点个数。由图6可知,选取的通道的图像的像素值取值区间为0-250。
指定像素值的像素点的值域可以为像素值取值区间的20%。例如,剔除像素值为0-20,230-250的像素点。或者,值域还可以为像素值取值区间的各10%、15%等,本公开不做具体限定。参阅图7,为本公开一示例性实施方式的一种图像处理方法的应用场景示意图。如图7中a图所示,为选取的单通道的图像。如图7中b图所示,为剔除指定像素值的像素点之后,拉伸至像素值取值区间后的图像。通过对比可知,人脸区域和头发区域的对比度增强,人脸和头发区域的边界能够很好的区分开来。
上述方法,通过剔除指定像素值的像素点,并将图像拉伸至像素值取值区间,能够提高图像的对比度,提高引导滤波后图像的质量。
接下来介绍本公开示例性实施例中的引导滤波的方法。
本公开一示例性实施方式中,图5为引导图,图7中b图为目标图(即需要采用引导图进行引导滤波的图)。引导滤波时,引导滤波的半径可根据短边长度确定。实施时,短边长度与引导滤波的半径存在正相关关系。即,短边长度越大,引导滤波的半径越大。该正相关关系可根据经验确定。
根据确定的引导滤波半径对目标图进行引导滤波处理。如图8中b图所示,为本公开一示例性实施方式中的引导滤波后的图像。
可见,引导滤波处理后的图像b图,经过衰减处理的重叠区域与a图中重叠区域(a图中的灰色区域)相比较,b图中的重叠区域的像素值已经被修复,在渲染时并不会缺失,且图中的边缘性更强。
在引导滤波处理后,将除需要渲染的区域外的其他区域(如图7中黑色区域),利用原始掩码图进行替换,即利用掩码图中的其他区域替换引导滤波处理后的第一对应区域,其中所述第一对应区域为所述其他区域在所述引导滤波后的待处理图像的区域。为了准确的确定出所述其他区域,本公开实施例中可根据所述膨胀系数,对所述掩码图的所述第一目标对象区域进行膨胀;则,所述掩码图中未膨胀区域即为其他区域。
例如,图3为原始掩码图,对图3中的头发区域进行膨胀处理。然后利用未膨胀的区域(即头发区域之外的区域),来替换图7中相应区域,即图7中的黑色区域。
上述方法,由于仅需要对第一目标对象区域进行渲染,所以通过利用原始掩码图替换无需渲染的区域,能够降低图像中的噪声,使渲染后的结果更贴近待处理图像的原始图像。
由于对待处理图像的原始图像进行了裁剪,所以,在引导滤波之后,可利用引导滤波后的待处理图像,替换第二对应区域;所述第二对应区域为所述待处理图像在所述原始图像中的区域。例如,用图7替换图2中a图的对应区域。
最后,根于预设的渲染效果,渲染引导滤波后的待处理图像的第一目标对象区域和/或第二目标对象区域。
上述方法,通过对重叠区域进行衰减处理,以及通过对图像进行引导滤波处理,保证了图像的边缘特性,提高了渲染时的质量。
下面根据具体的实施例,进一步介绍本公开示例性实施方式的一种图像处理方法。
参阅图9,为本公开一示例性实施方式的应用场景示意图。如图9中a如所示,需要对a图中的头发区域进行染色。首先,得到a图的掩码图,并确定掩码图中头发区域和人脸区域。以及,确定覆盖头发区域的最小矩形。根据最小矩形的短边长度,确定膨胀系数。分别对掩码图中头发区域和人脸区域进行膨胀处理,确定头发区域和人脸区域的重叠区域。根据最小矩形的短边长度,确定衰减系数。根据衰减系数对重叠区域进行衰减处理,得到引导图。选取a图的三通道中像素方差最大的通道的图像,并剔除选取的单通道图像中的指定像素值的像素点,之后拉伸至像素值取值区间0-255,得到目标图。
根据引导图对目标图进行引导滤波处理,得到如图9中b图所示的图像。并将b图中的黑色区域,利用原始掩码图进行了替换。最终,对b图进行渲染,得到如图9中c图所示的图像。
参见图10,为本公开一示例性实施方式中的对比图。其中,a图-c图为相关技术中模糊处理的图像。d图-f图为本公开技术方案处理的图像。
基于图10可见,本公开的技术方案,在渲染时使头发区域和人脸区域渲染得自然,并且不会在渲染时将颜色渲染至人脸区域。图像具有良好的边缘特性。而模糊处理的图像中边界处有一条明显的亮线,人脸区域与头发区域过度不自然,图像中没有明显的边缘性,渲染效果差。从中间对比的头发区域的分割边缘也可见,本申请中头发边界保留的更加准确,如本申请中头发边界发量稀少部分的头发之间具有间距头发边界是呈放射性形状,而模糊处理的方法中边界是一条平滑的线。
基于相同的发明构思,本公开还提供一种图像处理装置。参阅图11,为本公开一示例性实施例的一种图像处理装置。该装置包括:
分析单元1101,被配置为执行将获得的待处理图像的掩码图进行图像分析,确定所述掩码图中的第一目标对象区域和第二目标对象区域;
衰减单元1102,被配置为执行若所述第一目标对象区域和所述第二目标对象区域存在重叠区域,则对所述重叠区域做衰减处理,得到引导图;
引导滤波单元1103,被配置为执行根据所述引导图对所述待处理图像做引导滤波处理。
可选的,所述衰减单元具体被配置为执行:
计算所述重叠区域的像素均值;
根据像素均值与衰减系数的正相关关系,确定所述重叠区域的像素均值对应的衰减系数;
根据所述衰减系数,对所述重叠区域做衰减处理,得到所述引导图。
可选的,所述分析单元具体被配置为执行:
若待渲染区域为所述第一目标对象区域,则确定所述掩码图中,覆盖所述第一目标对象区域的最小矩形;
根据短边长度与膨胀系数的线性相关关系,确定所述最小矩形的短边长度对应的膨胀系数;
采用所述膨胀系数,分别对所述掩码图中的所述第一目标对象区域和所述第二目标对象区域进行膨胀处理;
确定膨胀后的所述第一目标对象区域和所述第二目标对象区域的重叠区域。
可选的,所述装置还包括:
确定单元,被配置为执行根据所述引导图对所述待处理图像做引导滤波处理之后,确定所述掩码图中除所述第一目标对象区域的其他区域;
第一替换单元,被配置为执行利用所述其他区域,替换第一对应区域,所述第一对应区域为所述其他区域在所述引导滤波后的待处理图像的区域。
可选的,所述装置还包括:
膨胀单元,被配置为执行根据所述膨胀系数,对所述掩码图的所述第一目标对象区域进行膨胀;
所述确定单元具体被配置为执行:将所述掩码图中的未膨胀区域,作为所述其他区域。
可选的,所述分析单元还别配置为执行:
将获得的待处理图像的掩码图进行图像分析之前,对所述待处理图像的原始图像进行图像分析,得到包含所述第一目标对象区域和所述第二目标对象区域的最小图像作为所述待处理图像。
可选的,所述装置还包括:
第二替换单元,被配置为执行根据所述引导图对所述待处理图像做引导滤波之后,利用引导滤波后的待处理图像,替换第二对应区域;所述第二对应区域为所述待处理图像在所述原始图像中的区域。
可选的,所述装置还包括:
选取单元,被配置为执行选取所述待处理图像的红绿蓝RGB三通道中的一个通道的图像;
所述引导滤波单元具体被配置为执行:
根据所述引导图对选取的通道的图像做引导滤波处理。
可选的,所述选取单元具体被配置为执行:
分别计算所述待处理图像的RGB三个通道图像的各自的像素方差;
选取所述像素方差最大的通道的图像。
可选的,所述装置还包括:
剔除单元,被配置为执行选取所述像素方差最大的通道的图像之后,剔除选取的通道的图像中,指定像素值的像素点;其中,所述指定像素值的值域在像素值取值区间的两端;
拉伸单元,被配置为执行将剔除像素点后的图像,拉伸至所述像素值取值区间内,其中,拉伸后剔除像素点后的图像的像素值的最小值为所述像素值取值区间的最小值,最大值为所述像素值取值区间的最大值。
可选的,所述装置还包括:
渲染单元,被配置为执行根据所述引导图对所述待处理图像做引导滤波处理之后,若待渲染区域为所述第一目标对象区域,则根据预设的渲染效果,渲染引导滤波后的待处理图像的第一目标对象区域;
所述渲染单元,还被配置为执行根据所述引导图对所述待处理图像做引导滤波处理之后,若待渲染区域为所述第二目标对象区域,则根据预设的渲染效果,渲染引导滤波后的待处理图像的第二目标对象区域。
请参见图12,基于同一技术构思,本公开实施例还提供了一种电子设备120,可以包括存储器1201和处理器1202。
所述存储器1201,用于存储处理器1202执行的计算机程序。存储器1201可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据终端设备信息处理装置的使用所创建的数据等。处理器1202,可以是一个中央处理单元(central processing unit,CPU),或者为数字处理单元等等。本公开实施例中不限定上述存储器1201和处理器1202之间的具体连接介质。本公开实施例在图12中以存储器1201和处理器1202之间通过总线1203连接,总线1203在图12中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线1203可以分为地址总线、数据总线、控制总线等。为便于表示,图12中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器1201可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器1201也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)、或者存储器1201是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器1201可以是上述存储器的组合。
处理器1202,用于调用所述存储器1201中存储的计算机程序时执行如图1中所示的实施例中设备所执行的方法。
在一些可能的实施方式中,本公开提供的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在计算机设备上运行时,所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的方法中的步骤,例如,所述计算机设备可以执行如图1中所示的实施例中设备所执行的方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
基于同一技术构思,本公开实施例还提供了一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行上述任一项所述的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
将获得的待处理图像的掩码图进行图像分析,确定所述掩码图中的第一目标对象区域和第二目标对象区域;
若所述第一目标对象区域和所述第二目标对象区域存在重叠区域,则对所述重叠区域做衰减处理,得到引导图;其中,衰减处理后的重叠区域的像素值小于所述掩码图中所述第一目标对象区域和所述第二目标对象区域的重叠区域的像素值;
根据所述引导图对所述待处理图像做引导滤波处理。
2.根据权利要求1所述的图像处理方法,其特征在于,对所述重叠区域做衰减处理,得到引导图,包括:
计算所述重叠区域的像素均值;
根据像素均值与衰减系数的正相关关系,确定所述重叠区域的像素均值对应的衰减系数;
根据所述衰减系数,对所述重叠区域做衰减处理,得到所述引导图。
3.根据权利要求1所述的图像处理方法,其特征在于,确定所述掩码图中第一目标对象区域和所述第二目标对象区域的重叠区域,包括:
若待渲染区域为所述第一目标对象区域,则确定所述掩码图中覆盖所述第一目标对象区域的最小矩形;
根据短边长度与膨胀系数的线性相关关系,确定所述最小矩形的短边长度对应的膨胀系数;
采用所述膨胀系数,分别对所述掩码图中的所述第一目标对象区域和所述第二目标对象区域进行膨胀处理;
确定膨胀后的所述第一目标对象区域和所述第二目标对象区域的重叠区域。
4.根据权利要求3所述的图像处理方法,其特征在于,根据所述引导图对所述待处理图像做引导滤波处理之后,还包括:
确定所述掩码图中除所述第一目标对象区域的其他区域;
利用所述其他区域,替换第一对应区域,所述第一对应区域为所述其他区域在所述引导滤波后的待处理图像的区域。
5.根据权利要求4所述的图像处理方法,其特征在于,确定所述掩码图中除所述第一目标对象的其他区域,包括:
根据所述膨胀系数,对所述掩码图的所述第一目标对象区域进行膨胀;
将所述掩码图中的未膨胀区域,作为所述其他区域。
6.根据权利要求1所述的图像处理方法,其特征在于,所述方法还包括:
选取所述待处理图像的红绿蓝RGB三通道中的一个通道的图像;
根据所述引导图对所述待处理图像做引导滤波处理,包括:
根据所述引导图对选取的通道的图像做引导滤波处理。
7.根据权利要求6所述的图像处理方法,其特征在于,选取所述待处理图像的红绿蓝RGB三通道中的一个通道的图像,包括:
分别计算所述待处理图像的RGB三个通道图像的各自的像素方差;
选取所述像素方差最大的通道的图像。
8.根据权利要求7所述的图像处理方法,其特征在于,选取所述像素方差最大的通道的图像之后,还包括:
剔除选取的通道的图像中,指定像素值的像素点;其中,所述指定像素值的值域在像素值取值区间的两端;
将剔除像素点后的图像,拉伸至所述像素值取值区间内,其中,拉伸后剔除像素点后的图像的像素值的最小值为所述像素值取值区间的最小值,最大值为所述像素值取值区间的最大值。
9.一种图像处理装置,其特征在于,包括:
分析单元,被配置为执行将获得的待处理图像的掩码图进行图像分析,确定所述掩码图中的第一目标对象区域和第二目标对象区域;
衰减单元,被配置为执行若所述第一目标对象区域和所述第二目标对象区域存在重叠区域,则对所述重叠区域做衰减处理,得到引导图;
引导滤波单元,被配置为执行根据所述引导图对所述待处理图像做引导滤波处理。
10.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如权利要求1-8中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911011082.9A CN110807780B (zh) | 2019-10-23 | 2019-10-23 | 图像处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911011082.9A CN110807780B (zh) | 2019-10-23 | 2019-10-23 | 图像处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110807780A true CN110807780A (zh) | 2020-02-18 |
CN110807780B CN110807780B (zh) | 2022-08-26 |
Family
ID=69488929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911011082.9A Active CN110807780B (zh) | 2019-10-23 | 2019-10-23 | 图像处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110807780B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402170A (zh) * | 2020-03-23 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像增强方法、装置、终端及计算机可读存储介质 |
CN111507994A (zh) * | 2020-04-24 | 2020-08-07 | Oppo广东移动通信有限公司 | 一种人像提取方法、人像提取装置及移动终端 |
CN112258605A (zh) * | 2020-10-16 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 特效添加方法、装置、电子设备及存储介质 |
CN112529816A (zh) * | 2020-12-22 | 2021-03-19 | 西安诺瓦星云科技股份有限公司 | 数据处理方法、装置、存储介质及计算机设备 |
CN112651893A (zh) * | 2020-12-24 | 2021-04-13 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113450431A (zh) * | 2020-03-27 | 2021-09-28 | 北京达佳互联信息技术有限公司 | 虚拟头发染色方法、装置、电子设备及存储介质 |
CN112529816B (zh) * | 2020-12-22 | 2024-06-07 | 西安诺瓦星云科技股份有限公司 | 数据处理方法、装置、存储介质及计算机设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105608716A (zh) * | 2015-12-21 | 2016-05-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
EP3046073A1 (en) * | 2015-01-14 | 2016-07-20 | Thomson Licensing | Method and apparatus for color correction in an alpha matting process |
CN107481203A (zh) * | 2017-08-14 | 2017-12-15 | 厦门美图之家科技有限公司 | 一种图像导向滤波方法及计算设备 |
CN108665494A (zh) * | 2017-03-27 | 2018-10-16 | 北京中科视维文化科技有限公司 | 基于快速引导滤波的景深实时渲染方法 |
-
2019
- 2019-10-23 CN CN201911011082.9A patent/CN110807780B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3046073A1 (en) * | 2015-01-14 | 2016-07-20 | Thomson Licensing | Method and apparatus for color correction in an alpha matting process |
CN105608716A (zh) * | 2015-12-21 | 2016-05-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN108665494A (zh) * | 2017-03-27 | 2018-10-16 | 北京中科视维文化科技有限公司 | 基于快速引导滤波的景深实时渲染方法 |
CN107481203A (zh) * | 2017-08-14 | 2017-12-15 | 厦门美图之家科技有限公司 | 一种图像导向滤波方法及计算设备 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402170A (zh) * | 2020-03-23 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像增强方法、装置、终端及计算机可读存储介质 |
CN111402170B (zh) * | 2020-03-23 | 2023-11-03 | Oppo广东移动通信有限公司 | 图像增强方法、装置、终端及计算机可读存储介质 |
CN113450431A (zh) * | 2020-03-27 | 2021-09-28 | 北京达佳互联信息技术有限公司 | 虚拟头发染色方法、装置、电子设备及存储介质 |
CN113450431B (zh) * | 2020-03-27 | 2023-07-07 | 北京达佳互联信息技术有限公司 | 虚拟头发染色方法、装置、电子设备及存储介质 |
CN111507994A (zh) * | 2020-04-24 | 2020-08-07 | Oppo广东移动通信有限公司 | 一种人像提取方法、人像提取装置及移动终端 |
CN111507994B (zh) * | 2020-04-24 | 2023-10-03 | Oppo广东移动通信有限公司 | 一种人像提取方法、人像提取装置及移动终端 |
CN112258605A (zh) * | 2020-10-16 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 特效添加方法、装置、电子设备及存储介质 |
WO2022077970A1 (zh) * | 2020-10-16 | 2022-04-21 | 北京达佳互联信息技术有限公司 | 特效添加方法及装置 |
CN112529816A (zh) * | 2020-12-22 | 2021-03-19 | 西安诺瓦星云科技股份有限公司 | 数据处理方法、装置、存储介质及计算机设备 |
CN112529816B (zh) * | 2020-12-22 | 2024-06-07 | 西安诺瓦星云科技股份有限公司 | 数据处理方法、装置、存储介质及计算机设备 |
CN112651893A (zh) * | 2020-12-24 | 2021-04-13 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110807780B (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110807780B (zh) | 图像处理方法和装置 | |
CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
US9292928B2 (en) | Depth constrained superpixel-based depth map refinement | |
JP5087614B2 (ja) | デジタル画像における改良された前景/背景分離 | |
KR100846513B1 (ko) | 영상 처리 방법 및 장치 | |
CN110738611B (zh) | 一种视频画质增强方法、系统及设备 | |
CN109658330B (zh) | 一种发色调整方法及装置 | |
CN111275034B (zh) | 从图像中提取文本区域的方法、装置、设备和存储介质 | |
CN109064504B (zh) | 图像处理方法、装置和计算机存储介质 | |
CN109903294B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN115797872B (zh) | 基于机器视觉的包装缺陷识别方法、系统、设备及介质 | |
CN109190617B (zh) | 一种图像的矩形检测方法、装置及存储介质 | |
CN111681198A (zh) | 一种形态学属性滤波多模融合成像方法、系统及介质 | |
CN110781740A (zh) | 一种视频画质识别方法、系统及设备 | |
CN111192241A (zh) | 一种人脸图像的质量评估方法、装置及计算机存储介质 | |
CN113658197B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN107564085B (zh) | 图像扭曲处理方法、装置、计算设备及计算机存储介质 | |
CN111161299B (zh) | 影像分割方法、存储介质及电子装置 | |
CN110458012B (zh) | 多角度人脸识别方法及装置、存储介质和终端 | |
CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
EP3070669A1 (en) | Method and apparatus for color smoothing in an alpha matting process | |
KR101881795B1 (ko) | 퍼지 이론에 기초한 컬러 이미지의 에지 검출 방법 | |
CN115239551A (zh) | 视频增强方法和装置 | |
CN111275045B (zh) | 图像的主体识别方法、装置、电子设备和介质 | |
CN111951254B (zh) | 基于边缘引导加权平均的源相机识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |