CN110443747B - 图像处理方法、装置、终端及计算机可读存储介质 - Google Patents

图像处理方法、装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN110443747B
CN110443747B CN201910699806.7A CN201910699806A CN110443747B CN 110443747 B CN110443747 B CN 110443747B CN 201910699806 A CN201910699806 A CN 201910699806A CN 110443747 B CN110443747 B CN 110443747B
Authority
CN
China
Prior art keywords
area
skin
face image
color
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910699806.7A
Other languages
English (en)
Other versions
CN110443747A (zh
Inventor
康健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910699806.7A priority Critical patent/CN110443747B/zh
Publication of CN110443747A publication Critical patent/CN110443747A/zh
Application granted granted Critical
Publication of CN110443747B publication Critical patent/CN110443747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请属于图像处理技术领域,尤其涉及一种图像处理方法、装置、终端及计算机可读存储介质,其中,所述图像处理方法包括:获取人脸图像,并检测人脸图像中的瑕疵区域和正常皮肤区域;确定瑕疵区域对应的第一颜色向量、正常皮肤区域对应的第二颜色向量以及第二颜色向量与所述第一颜色向量之间的差值向量;根据瑕疵区域各个像素点的像素值以及差值向量生成所述人脸图像的第一映射表;利用第一映射表对瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像;使得在对遮瑕处理后的人脸图像进行美颜处理时,不会因为无法实现对斑点、痘印等瑕疵进行较好的肤色处理,造成美颜效果差的问题,在图像处理过程中优化了对人脸图像的美颜效果。

Description

图像处理方法、装置、终端及计算机可读存储介质
技术领域
本申请属于图像处理技术领域,尤其涉及一种图像处理方法、装置、终端及计算机可读存储介质。
背景技术
随着智能拍照设备的普及,越来越多的拍照设备可以实现对拍摄得到的图像进行美颜处理。例如,对图像中的人物进行美白、红润等肤色处理。
然而,目前对人脸图像进行美白、红润等肤色处理的过程中,通常无法实现对斑点、痘印等瑕疵进行较好的肤色处理,存在美颜效果较差的技术问题。
发明内容
本申请实施例提供一种图像处理方法、装置、终端及计算机可读存储介质,可以在图像处理过程中优化对人脸图像的美颜效果。
本申请实施例第一方面提供一种图像处理方法,包括:
获取人脸图像,并检测所述人脸图像中的瑕疵区域和正常皮肤区域;
根据所述瑕疵区域各个像素点的像素值,确定所述瑕疵区域对应的第一颜色向量;根据所述正常皮肤区域各个像素点的像素值,确定所述正常皮肤区域对应的第二颜色向量;
将所述第二颜色向量与所述第一颜色向量相减,得到所述第二颜色向量与所述第一颜色向量之间的差值向量;
根据所述瑕疵区域各个像素点的像素值以及所述差值向量生成所述人脸图像的第一映射表;
利用所述第一映射表对所述瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像。
本申请实施例第二方面提供一种图像处理装置,包括:
检测单元,用于获取人脸图像,并检测所述人脸图像中的瑕疵区域和正常皮肤区域;
确定单元,用于根据所述瑕疵区域各个像素点的像素值,确定所述瑕疵区域对应的第一颜色向量;根据所述正常皮肤区域各个像素点的像素值,确定所述正常皮肤区域对应的第二颜色向量;
计算单元,用于将所述第二颜色向量与所述第一颜色向量相减,得到所述第二颜色向量与所述第一颜色向量之间的差值向量;
生成单元,用于根据所述瑕疵区域各个像素点的像素值以及所述差值向量生成所述人脸图像的第一映射表;
遮瑕单元,用于利用所述第一映射表对所述瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像。
本申请实施例第三方面提供一种终端,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
本申请实施例第四方面提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例中,通过在对人脸图像进行磨皮、美白等美颜处理时,先利用第一映射表对人脸图像的瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像,使得在对遮瑕处理后的人脸图像进行美颜处理时,不会因为无法实现对斑点、痘印等瑕疵进行较好的肤色处理,造成美颜效果差的问题,在图像处理过程中优化了对人脸图像的美颜效果。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的一种图像处理方法的实现流程示意图;
图2是本申请实施例提供的一种图像处理方法步骤103的具体实现流程示意图;
图3是本申请实施例提供的羽化处理效果示意图;
图4是本申请实施例提供的一种图像处理方法步骤101的具体实现流程示意图;
图5是本申请实施例提供的瑕疵区域与正常皮肤区域的示意图;
图6是本申请实施例提供的图像处理装置的结构示意图;
图7是本申请实施例提供的终端的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
肤色调整是美颜处理的重要组成部分,目前对人脸图像进行美白、红润等肤色处理的过程中,一般是直接对整个人脸图像进行美白、红润等肤色处理。然而,这种肤色处理方法对有斑点、痘印等瑕疵的人脸图像来说,瑕疵区域只能够被淡化而无法完全消除,或者在被完全消除之后,损失纹理细节信息。因此,存在美颜效果较差的技术问题。
基于这些问题,本申请实施例提供一种图像处理方法、装置、终端及计算机可读存储介质,可以在图像处理过程中优化对人脸图像的美颜效果,为了说明本申请的技术方案,下面通过具体实施例来进行说明。
如图1示出了本申请实施例提供的一种图像处理方法的实现流程示意图,该方法应用于终端,可以由终端上配置的图像处理装置执行,适用于需要优化对人脸图像的美颜效果的情形。其中,上述终端可以为智能手机、化妆镜、平板电脑、个人电脑(PC)、学习机等智能终端,上述图像处理方法可以包括步骤101至步骤105。
步骤101,获取人脸图像,并检测人脸图像中的瑕疵区域和正常皮肤区域。
本申请实施例中,人脸图像可以为终端的摄像头等拍摄装置实时采集到的用户的人脸图像,或者为从终端的本地存储中获取的人脸图像,本申请对人脸图像的来源不做限定。
上述人脸图像中的瑕疵区域是指需要进行遮瑕处理的区域。例如,存在斑点或痘印的区域。上述正常皮肤区域是指人脸图像中不需要进行遮瑕处理的区域。
具体的,上述瑕疵区域和正常皮肤区域均为人脸图像中的皮肤区域。并且,该人脸图像可以为全脸的人脸图像,也可以为半边脸的人脸图像,本申请对此不做限制。
可选的,上述检测人脸图像中的瑕疵区域和正常皮肤区域之前可以包括:对人脸图像进行特征识别,获取人脸图像的人脸特征点;根据人脸特征点去除脸部区域的无关区域,得到人脸图像中的皮肤区域;其中,无关区域包括眼部区域、眉毛区域、鼻孔区域和口部区域等需要保护的区域。相应的,上述检测人脸图像中的瑕疵区域和正常皮肤区域,可以包括:检测皮肤区域的瑕疵区域和正常皮肤区域。
由于人脸图像中的眼部区域、眉毛区域、鼻孔区域和口部区域等需要保护的区域不需要进行瑕疵区域和正常皮肤区域的检测的区域,因此,为了提高人脸图像中瑕疵区域和正常皮肤区域的检测精度,可以先对人脸图像进行特征识别,获取人脸图像的人脸特征点;接着根据人脸特征点去除脸部区域的无关区域,得到人脸图像中的皮肤区域,并将瑕疵区域和正常皮肤区域的检测限定在该皮肤区域,避免将人脸图像中不是皮肤区域的位置检测为瑕疵区域和正常皮肤区域,提高了瑕疵区域和正常皮肤区域的检测精度。
其中,上述对人脸图像进行特征识别的方法可以包括:利用face++工具或dlib算法对人脸图像进行特征识别,得到人脸图像的人脸特征点。
具体的,上述人脸特征点可以包括额头特征点、眉毛特征点、眼部特征点、鼻子特征点、口部特征点、下巴特征点等等。
步骤102,根据瑕疵区域各个像素点的像素值,确定瑕疵区域对应的第一颜色向量;根据正常皮肤区域各个像素点的像素值,确定正常皮肤区域对应的第二颜色向量。
本申请实施例中,上述第一颜色向量可以是瑕疵区域各个像素点的红、绿、蓝(R、G、B)三个颜色通道各自的颜色平均值。
例如,瑕疵区域各个像素点的R通道的颜色平均值为a1,瑕疵区域各个像素点的G通道的颜色平均值为a2,瑕疵区域各个像素点的B通道的颜色平均值为a3,则上述瑕疵区域对应的第一颜色向量为(a1、a2、a3)。
相应的,上述第二颜色向量可以是正常皮肤区域各个像素点的R、G、B三个颜色通道各自的颜色平均值(b1、b2、b3)。
需要说明的是,在本申请的一些实施方式中,上述第一颜色向量还可以是瑕疵区域各个像素点的R、G、B三个颜色通道各自的颜色值的中位数,或者为瑕疵区域各个像素点的R、G、B三个颜色通道各自的颜色值中占比最大的颜色值。同样地,上述第二颜色向量也可以是正常皮肤区域各个像素点的R、G、B三个颜色通道各自的颜色值的中位数,或者为正常皮肤区域各个像素点的R、G、B三个颜色通道各自的颜色值中占比最大的颜色值。本申请对此不做限制,只需要上述第一颜色向量和第二颜色向量为可以代表瑕疵区域和正常皮肤区域的色彩的色彩向量即可。
步骤103,将第二颜色向量与第一颜色向量相减,得到第二颜色向量与第一颜色向量之间的差值向量。
在本申请实施例中,上述第二颜色向量与第一颜色向量之间的差值向量可以为第二颜色向量与第一颜色向量对应的R、G、B三个颜色通道各自的颜色差值。
例如,第一颜色向量为(a1、a2、a3),第二颜色向量为(b1、b2、b3)时,则第二颜色向量与第一颜色向量之间的差值向量为(b1-a1、b2-a2、b3-a3),或者为(a1-b1、a2-b2、a3-b3)。
步骤104,根据瑕疵区域各个像素点的像素值以及差值向量生成人脸图像的第一映射表。
在本申请的一些实施方式中,上述第一映射表的生成公式可以为:LUT1(R,G,B)=blur(LUT0(R,G,B)+(Skin-Blemish)*is_blemish(R,G,B))。
其中,LUT0(R,G,B)为初始映射表的色彩向量;Skin-Blemish为差值向量;is_blemish(R,G,B)用于表示初始映射表中的色彩向量(R,G,B)是否与瑕疵区域的像素点的像素值(即,像素点的色彩向量(R,G,B))相同;若初始映射表中的色彩向量(R,G,B)与瑕疵区域的像素点的像素值相同,则is_blemish(R,G,B)为1,若初始映射表中的色彩向量(R,G,B)与瑕疵区域的像素点的像素值不相同,则is_blemish(R,G,B)为0。
如图2所示,上述步骤104,根据瑕疵区域各个像素点的像素值以及差值向量生成第一人脸图像的第一映射表可以包括:步骤201至步骤203。
步骤201,获取初始映射表。
在本申请的一些实施方式中,上述初始映射表是指记录R、G、B三个颜色通道不同的明暗度的色彩向量的查找表。
例如,以256灰阶为例,则初始映射表是指记录有256个亮度层次的R颜色值、256个亮度层次的G颜色值以及256个亮度层次的B颜色值组合得到的2563个色彩向量的查找表。
具体的,在本申请的一些实施方式中,上述初始映射表可以为以R颜色值为X轴,以G颜色值为Y轴,以B颜色值为Z轴的三维映射表沿Z轴展开后的二维映射表,并且每个坐标的坐标值对应其记录的色彩向量。例如,坐标值为(100,100,100),则该坐标值对应的色彩向量为(100,100,100)。
步骤202,对初始映射表中的目标色彩向量与差值向量进行叠加,得到调整后的初始映射表;其中,目标色彩向量为与瑕疵区域的像素点的像素值相同的色彩向量。
由于第一映射表是用来对瑕疵区域的各个像素点进行调整,因此,对初始映射表进行调整时只需要对与瑕疵区域的像素点的像素值相同的色彩向量(目标色彩向量)进行调整。
具体的,本申请实施例中,在获取了初始映射表之后,需要确定初始映射表中与瑕疵区域的像素点的像素值相同的色彩向量,即,目标色彩向量;接着,再对该目标色彩向量的R、G、B三个颜色通道的颜色值与差值向量的R、G、B三个颜色通道的颜色值进行叠加,从而得到调整后的初始映射表。
例如,若差值向量为(30、20、20),瑕疵区域中某个像素点的像素值为(100,100,100),则该像素点对应的目标色彩向量为(100,100,100),并且,需要将该目标色彩向量(100,100,100)调整为(100+30,100+20,100+20),即,坐标值(100,100,100)对应的色彩向量为(130,120,120)。
步骤203,对调整后的初始映射表进行平滑处理,得到第一映射表。
在对初始映射表进行调整之后,为了避免调整后的初始映射表中相邻坐标的颜色值出现较大的差距,在本申请的一些实施方式中,在得到调整后的初始映射表之后,需要对目标色彩向量及其邻域内的色彩向量进行平滑处理,得到第一映射表,使得相邻色彩向量之间的调整幅度是连续的。避免了第一映射表中各个色彩向量的颜色值与其邻域内的色彩向量的颜色值差距过大,造成利用第一映射表对瑕疵区域进行肤色调整时,调整后的瑕疵区域的纹理发生变化,出现模糊。
具体的,在本申请的一些实施方式中,上述平滑处理可以包括均值滤波、中值滤波、双边滤波和高斯滤波。其中,高斯滤波是对整幅图像进行加权平均的过程,每一个像素点的值,都由其本身和邻域内的其他像素值经过加权平均后得到。
步骤105,利用第一映射表对瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像。
本申请实施例中,在得到人脸图像的第一映射表之后,即可利用该第一映射表对瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像,使得在对遮瑕处理后的人脸图像进行美颜处理时,不会因为无法实现对斑点、痘印等瑕疵进行较好的肤色处理,造成美颜效果差的问题,在图像处理过程中优化了对人脸图像的美颜效果。
由于瑕疵区域的检测有可能存在误差,因此,瑕疵区域边缘的邻域也有可能属于瑕疵区域的像素点,因此,为了使得肤色调整后的人脸图像中,瑕疵区域与正常皮肤区域之间的过渡更加平滑自然,在上述步骤105之前可以包括:对瑕疵区域进行羽化处理;相应的,上述步骤105中,利用第一映射表对瑕疵区域进行肤色调整可以包括:利用第一映射表对经羽化处理后的瑕疵区域进行肤色调整。
例如,可以通过对瑕疵区域的边缘进行高斯滤波,得到羽化处理后的瑕疵区域。
如图3所示为对图像进行羽化处理的效果示意图。其中,黑色区域为瑕疵区域,白色区域的正常皮肤区域,图像3a为羽化处理前的图像,图像3b为羽化处理后的图像。
为了实现对羽化处理后的瑕疵区域的边缘进行肤色调整,在本申请实施例中,在利用第一映射表对经羽化处理后的瑕疵区域进行肤色调整时,需要先获取羽化处理的羽化半径,并根据羽化半径重新确定需要利用第一映射表进行肤色调整区域,即,经羽化处理后的瑕疵区域。
由于人脸图像在拍摄过程中,受光照因素的影响,人脸不同区域的肤色有可能不相同,因此,在上述描述的各个实施方式中,上述步骤101,在检测皮肤区域的瑕疵区域和正常皮肤区域之前还可以包括:根据人脸特征点对皮肤区域进行分割,得到至少两个子皮肤区域,相应的,检测皮肤区域的瑕疵区域和正常皮肤区域可以包括:检测各个子皮肤区域的子瑕疵区域和子正常皮肤区域。
例如,根据人脸特征点可以将人脸图像的皮肤区域分割成额头区域、左脸颊区域、右脸颊区域和下巴区域。
上述检测各个子皮肤区域的子瑕疵区域和子正常皮肤区域是指分别检测额头区域、左脸颊区域、右脸颊区域和下巴区域的子瑕疵区域和子正常皮肤区域。同样的,计算第一颜色向量、第二颜色向量以及第一映射表时均为以各个子皮肤区域为单位进行计算,有效避免了光照因素造成的肤色差异对美颜效果的影响。
进一步的,由于不同子皮肤区域内的明暗程度也有可能不相同,因此,还可以对子皮肤区域进行明暗区分。
例如,在本申请的一些实施方式中,在根据人脸特征点对皮肤区域进行分割,得到至少两个子皮肤区域之后还可以包括:获取子皮肤区域中像素点的亮度值,并计算亮度值大于预设亮度阈值的像素点与亮度值小于预设亮度阈值的像素点的比值;若比值位于预设比值范围,则将亮度值大于预设亮度阈值的像素点连接成的封闭区域确定为第一子皮肤区域,将亮度值小于或等于预设亮度阈值的像素点连接成的封闭区域确定为第二子皮肤区域。相应的,上述检测各个子皮肤区域的子瑕疵区域和子正常皮肤区域可以包括:分别检测各个第一子皮肤区域的子瑕疵区域和子正常皮肤区域,以及各个第二子皮肤区域的子瑕疵区域和子正常皮肤区域。
其中,上述预设亮度阈值可以根据人脸各个像素点的亮度值计算得到,例如,上述预设亮度阈值可以为人脸各个像素点的亮度值的平均值、中位数。
上述预设比值范围可以根据实践经验得到,例如,上述预设比值范围可以为(0.3~3),并且,当上述比值位于该预设比值范围时,表示子皮肤区域存在明显的明亮区域(第一子皮肤区域)和阴影区域(第二子皮肤区域)。
本申请实施例中,在将人脸图像分割成不同的子皮肤区域,并且对各个子皮肤区域进行明亮区域和阴影区域的分割,以便分别生成各个第一子皮肤区域和第二子皮肤区域对应的第一映射表,使得利用第一映射表进行肤色调整的瑕疵区域具有更优的调整效果。
在上述各个实施方式中,上述步骤101中,检测人脸图像中的瑕疵区域和正常皮肤区域可以包括:利用DOG算子检测人脸图像中的瑕疵区域和正常皮肤区域。
其中,DOG(Difference of Gaussian)算子是高斯函数的差分,可以实现对图像中斑点等瑕疵区域进行精确的检测。
在本申请的一些实施方式中,如图4所示,上述检测人脸图像中的瑕疵区域和正常皮肤区域还可以包括:步骤401至步骤403。
步骤401,获取人脸图像各个像素点的RGB像素值,并根据RGB像素值计算各个像素点与相邻像素点之间的颜色差值;
步骤402,确定颜色差值小于预设颜色阈值的像素点形成的连通区域,并计算各个连通区域的像素点个数;
步骤403,将像素点个数最大的连通区域确定为正常皮肤区域,将像素点个数大于第一预设阈值小于第二预设阈值的连通区域确定为瑕疵区域。
本申请实施例中,上述根据各个像素点的RGB像素值计算各个像素点与相邻像素点之间的颜色差值可以是指计算人脸图像中,两两相邻的像素点RGB三个颜色通道的各自的颜色差值。
上述计算由颜色差值小于预设颜色阈值的像素点形成的各个连通区域的像素点个数可以包括:判断上述两两相邻的像素点RGB三个颜色通道的各自的颜色差值是否均小于上述预设颜色阈值,接着,确定均小于上述预设颜色阈值的所有相邻的像素点组成的连通区域,最后再计算各个连通区域的像素点个数。
根据实践经验可以知道,人脸皮肤区域中没有瑕疵的区域的各个像素点的颜色基本接近,即,均为正常肤色;而人脸皮肤区域中瑕疵区域的各个像素点的颜色也是基本接近的。并且,瑕疵区域的各个像素点的颜色与正常皮肤区域的各个像素点的颜色存在差异,而没有瑕疵的区域的面积是最大的。因此,本申请实施例中,可以通过计算各个像素点与相邻像素点之间的颜色差值,接着,确定出各个由颜色差值小于预设颜色阈值的像素点形成的连通区域,然后将像素点个数最大的连通区域确定为第一正常皮肤区域,将像素点个数大于第一预设阈值小于第二预设阈值的连通区域确定为第一瑕疵区域,从而实现将皮肤区域中的瑕疵区域和正常皮肤区域区分出来。
需要说明的是,由于人脸图像中没有瑕疵的皮肤区域的面积是最大的,因此,在确定出颜色差值小于预设颜色阈值的像素点形成的连通区域之后,可以直接将像素点个数最大的连通区域确定为第一正常皮肤区域,即,正常皮肤区域,接着,通过将像素点个数大于第一预设阈值小于第二预设阈值的连通区域确定为第一瑕疵区域方式,直接确定出瑕疵区域,因此,在本申请实施例中,也可以不需要通过对人脸图像进行特征识别的方式确定出人脸图像的皮肤区域之后,再进行瑕疵区域和正常皮肤区域的检测。
其中,为了避免人脸图像中被头发遮挡的区域以及眼睛、嘴巴或者胎记等比较大的连通区域被确定为瑕疵区域,本申请实施例中,在将像素点个数最大的连通区域确定为正常皮肤区域之后,还需要判断其他的连通区域的像素点个数是否大于第一预设阈值并且小于第二预设阈值,然后将像素点个数大于第一预设阈值小于第二预设阈值的连通区域确定为瑕疵区域。
例如,如图5所示,通过计算各个像素点与相邻像素点之间的颜色差值,可以确定出由颜色差值小于预设颜色阈值的像素点形成的连通区域51、52、53、54、55、56、57,其中,像素点个数最大的连通区域51为正常皮肤区域,像素点个数大于第一预设阈值小于第二预设阈值的连通区域55为第一瑕疵区域。
上述第一预设阈值和第二预设阈值的取值可以由用户进行设定,也可以在出厂设置中根据经验进行设定。其中,上述第一预设阈值是为了将人眼无法察觉的瑕疵区域排除,以减小遮瑕处理的运算量。上述第二预设阈值是为了将眼部区域、眉毛区域、鼻孔区域和口部区域等无关区域排除,以提高瑕疵区域的检测精度。
在本申请的一些实施方式中,在上述检测人脸图像中的瑕疵区域和正常皮肤区域的具体实现中,还可以通过对人脸图像的皮肤区域进行边缘检测,并将边缘形状为眼部区域、眉毛区域、鼻孔区域和口部区域等无关区域的边缘去除后留下的闭合边缘对应的面积大于第三预设阈值小于第四预设阈值的区域确定为瑕疵区域。上述第三预设阈值是为了将人眼无法察觉的瑕疵区域排除,以减小遮瑕处理的运算量,上述第四预设阈值是为了将正常皮肤区域排除,以提高瑕疵区域的检测精度。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为根据本发明,某些步骤可以采用其它顺序进行。
在本申请的一些实施方式中,在利用第一映射表对瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像之后,还可以利用第二映射表对遮瑕处理后的人脸图像中的皮肤区域进行肤色调整。
需要说明的是,由于遮瑕处理后的人脸图像中已经不存在瑕疵区域,因此,可以利用第二映射表对人脸图像中的整个皮肤区域进行肤色调整,并达到较好的美颜效果。
其中,第二映射表可以为用于对皮肤区域进行美白、红润等肤色处理的映射表。并且,第二映射表的生成过程可以参考第一映射表的生成过程。第一映射表与第二映射表生成过程的区别在于第一映射表只需要在初始映射表的基础上对与所述瑕疵区域的像素点的像素值相同的色彩向量进行调整,而第二映射表需要在初始映射表的基础上对与整个皮肤区域中各个像素点的像素值相同的色彩向量进行调整。
图6示出了本申请实施例提供的一种图像处理装置600的结构示意图,包括检测单元601、确定单元602、计算单元603、生成单元604以及遮瑕单元605。
检测单元601,用于获取人脸图像,并检测人脸图像中的瑕疵区域和正常皮肤区域;
确定单元602,用于根据瑕疵区域各个像素点的像素值,确定瑕疵区域对应的第一颜色向量;根据正常皮肤区域各个像素点的像素值,确定正常皮肤区域对应的第二颜色向量;
计算单元603,用于将第二颜色向量与第一颜色向量相减,得到第二颜色向量与第一颜色向量之间的差值向量;
生成单元604,用于根据瑕疵区域各个像素点的像素值以及差值向量生成人脸图像的第一映射表;
遮瑕单元605,用于利用第一映射表对瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像。
需要说明的是,为描述的方便和简洁,上述描述的图像处理装置600的具体工作过程,可以参考上述图1至图5中描述的方法的对应过程,在此不再赘述。
如图7所示,本申请提供一种用于实现上述图像处理方法的终端,包括:处理器71、存储器72、一个或多个输入设备73(图7中仅示出一个)和一个或多个输出设备74(图7中仅示出一个)。处理器71、存储器72、输入设备73和输出设备74通过总线75连接。
应当理解,在本申请实施例中,所称处理器71可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备73可以包括虚拟键盘、触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等,输出设备74可以包括显示器、扬声器等。
存储器72可以包括只读存储器和随机存取存储器,并向处理器71提供指令和数据。存储器72的一部分或全部还可以包括非易失性随机存取存储器。例如,存储器72还可以存储设备类型的信息。
上述存储器72存储有计算机程序,上述计算机程序可在上述处理器71上运行,例如,上述计算机程序为图像处理方法的程序。上述处理器71执行上述计算机程序时实现上述图像处理方法实施例中的步骤,例如图1所示的步骤101至步骤105。或者,上述处理器71执行上述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如图6所示单元601至605的功能。
上述计算机程序可以被分割成一个或多个模块/单元,上述一个或者多个模块/单元被存储在上述存储器72中,并由上述处理器71执行,以完成本申请。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述上述计算机程序在上述进行图像处理的终端中的执行过程。例如,上述计算机程序可以被分割成检测单元、确定单元、计算单元、生成单元和遮瑕单元,各单元具体功能如下:
检测单元,用于获取人脸图像,并检测人脸图像中的瑕疵区域和正常皮肤区域;
确定单元,用于根据瑕疵区域各个像素点的像素值,确定瑕疵区域对应的第一颜色向量;根据正常皮肤区域各个像素点的像素值,确定正常皮肤区域对应的第二颜色向量;
计算单元,用于将第二颜色向量与第一颜色向量相减,得到第二颜色向量与第一颜色向量之间的差值向量;
生成单元,用于根据瑕疵区域各个像素点的像素值以及差值向量生成人脸图像的第一映射表;
遮瑕单元,用于利用第一映射表对瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (9)

1.一种图像处理方法,其特征在于,包括:
获取人脸图像,并检测所述人脸图像中的瑕疵区域和正常皮肤区域;
根据所述瑕疵区域各个像素点的像素值,确定所述瑕疵区域对应的第一颜色向量;根据所述正常皮肤区域各个像素点的像素值,确定所述正常皮肤区域对应的第二颜色向量;
将所述第二颜色向量与所述第一颜色向量相减,得到所述第二颜色向量与所述第一颜色向量之间的差值向量;
根据所述瑕疵区域各个像素点的像素值以及所述差值向量生成所述人脸图像的第一映射表;
利用所述第一映射表对所述瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像;
所述根据所述瑕疵区域各个像素点的像素值以及所述差值向量生成所述人脸图像的第一映射表,包括:
获取初始映射表;
对所述初始映射表中的目标色彩向量与所述差值向量进行叠加,得到调整后的初始映射表;所述目标色彩向量为与所述瑕疵区域的像素点的像素值相同的色彩向量;
对所述调整后的初始映射表进行平滑处理,得到所述第一映射表。
2.如权利要求1所述的图像处理方法,其特征在于,在所述利用所述第一映射表对所述瑕疵区域进行肤色调整之前,包括:
对所述瑕疵区域进行羽化处理;
所述利用所述第一映射表对所述瑕疵区域进行肤色调整包括:
利用所述第一映射表对经所述羽化处理后的瑕疵区域进行肤色调整。
3.如权利要求1所述的图像处理方法,其特征在于,在所述检测所述人脸图像中的瑕疵区域和正常皮肤区域之前,包括:
对所述人脸图像进行特征识别,获取所述人脸图像的人脸特征点;
根据所述人脸特征点去除所述人脸图像的无关区域,得到所述人脸图像中的皮肤区域;所述无关区域包括眼部区域、眉毛区域、鼻孔区域和口部区域;
所述检测所述人脸图像中的瑕疵区域和正常皮肤区域,包括:
检测所述皮肤区域的瑕疵区域和正常皮肤区域。
4.如权利要求3所述的图像处理方法,其特征在于,在所述检测所述皮肤区域的瑕疵区域和正常皮肤区域之前包括:
根据所述人脸特征点对所述皮肤区域进行分割,得到至少两个子皮肤区域;
所述检测所述皮肤区域的瑕疵区域和正常皮肤区域包括:
检测各个所述子皮肤区域的子瑕疵区域和子正常皮肤区域。
5.如权利要求4所述的图像处理方法,其特征在于,在所述根据所述人脸特征点对所述皮肤区域进行分割,得到至少两个子皮肤区域之后包括:
获取所述子皮肤区域中像素点的亮度值,并计算所述亮度值大于预设亮度阈值的像素点与所述亮度值小于预设亮度阈值的像素点的比值;
若所述比值位于预设比值范围,则将所述亮度值大于预设亮度阈值的像素点连接成的封闭区域确定为第一子皮肤区域,将所述亮度值小于或等于所述预设亮度阈值的像素点连接成的封闭区域确定为第二子皮肤区域;
所述检测各个所述子皮肤区域的子瑕疵区域和子正常皮肤区域包括:
分别检测各个所述第一子皮肤区域的子瑕疵区域和子正常皮肤区域,以及各个所述第二子皮肤区域的子瑕疵区域和子正常皮肤区域。
6.如权利要求1所述的图像处理方法,其特征在于,所述检测所述人脸图像中的瑕疵区域和正常皮肤区域,包括:
利用DOG算子检测所述人脸图像中的瑕疵区域和正常皮肤区域;或者,
获取人脸图像各个像素点的RGB像素值,并根据所述RGB像素值计算各个像素点与相邻像素点之间的颜色差值;
确定所述颜色差值小于预设颜色阈值的像素点形成的连通区域,并计算各个连通区域的像素点个数;
将所述像素点个数最大的连通区域确定为正常皮肤区域,将所述像素点个数大于第一预设阈值小于第二预设阈值的连通区域确定为瑕疵区域。
7.一种图像处理装置,其特征在于,包括:
检测单元,用于获取人脸图像,并检测所述人脸图像中的瑕疵区域和正常皮肤区域;
确定单元,用于根据所述瑕疵区域各个像素点的像素值,确定所述瑕疵区域对应的第一颜色向量;根据所述正常皮肤区域各个像素点的像素值,确定所述正常皮肤区域对应的第二颜色向量;
计算单元,用于将所述第二颜色向量与所述第一颜色向量相减,得到所述第二颜色向量与所述第一颜色向量之间的差值向量;
生成单元,用于根据所述瑕疵区域各个像素点的像素值以及所述差值向量生成所述人脸图像的第一映射表;
遮瑕单元,用于利用所述第一映射表对所述瑕疵区域进行肤色调整,得到遮瑕处理后的人脸图像;
所述根据所述瑕疵区域各个像素点的像素值以及所述差值向量生成所述人脸图像的第一映射表,包括:
获取初始映射表;
对所述初始映射表中的目标色彩向量与所述差值向量进行叠加,得到调整后的初始映射表;所述目标色彩向量为与所述瑕疵区域的像素点的像素值相同的色彩向量;
对所述调整后的初始映射表进行平滑处理,得到所述第一映射表。
8.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述方法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述方法的步骤。
CN201910699806.7A 2019-07-30 2019-07-30 图像处理方法、装置、终端及计算机可读存储介质 Active CN110443747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910699806.7A CN110443747B (zh) 2019-07-30 2019-07-30 图像处理方法、装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910699806.7A CN110443747B (zh) 2019-07-30 2019-07-30 图像处理方法、装置、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110443747A CN110443747A (zh) 2019-11-12
CN110443747B true CN110443747B (zh) 2023-04-18

Family

ID=68432355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910699806.7A Active CN110443747B (zh) 2019-07-30 2019-07-30 图像处理方法、装置、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110443747B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062891A (zh) * 2019-12-16 2020-04-24 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN111428791B (zh) * 2020-03-26 2023-08-29 北京互金新融科技有限公司 图像对比方法及装置
CN113808027B (zh) * 2020-06-16 2023-10-17 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN111739013B (zh) * 2020-06-30 2024-04-23 北京酷豹科技有限公司 基于图像处理的图像优化方法及相关装置
CN111815729B (zh) * 2020-07-09 2023-11-03 厦门真景科技有限公司 一种实时美肤方法、装置、设备和计算机存储介质
CN111950390B (zh) * 2020-07-22 2024-04-26 深圳数联天下智能科技有限公司 皮肤敏感度的确定方法及装置、存储介质及设备
CN112150394B (zh) * 2020-10-12 2024-02-20 杭州睿琪软件有限公司 图像处理方法及装置、电子设备和存储介质
CN112446864A (zh) * 2020-11-25 2021-03-05 创新奇智(合肥)科技有限公司 瑕疵检测方法、装置、设备和存储介质
CN112529793A (zh) * 2020-11-25 2021-03-19 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN112598591B (zh) * 2020-12-18 2024-06-07 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112581359B (zh) * 2020-12-23 2023-06-09 Oppo(重庆)智能科技有限公司 图像处理方法、装置、终端及存储介质
CN113269251A (zh) * 2021-05-26 2021-08-17 安徽唯嵩光电科技有限公司 基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备
CN113222973B (zh) * 2021-05-31 2024-03-08 深圳市商汤科技有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN113570583B (zh) * 2021-07-30 2024-06-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN113570581A (zh) * 2021-07-30 2021-10-29 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN114511580A (zh) * 2022-01-28 2022-05-17 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862663A (zh) * 2017-11-09 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、装置、可读存储介质和计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611429B (zh) * 2015-10-26 2019-02-05 腾讯科技(深圳)有限公司 检测皮肤区域的方法和检测皮肤区域的装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862663A (zh) * 2017-11-09 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、装置、可读存储介质和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于保边滤波和肤色模型的人脸美颜技术研究与实现;王志强等;《无线互联科技》;20180903(第17期);全文 *

Also Published As

Publication number Publication date
CN110443747A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110443747B (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN110111245B (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN108229279B (zh) 人脸图像处理方法、装置和电子设备
CN108229278B (zh) 人脸图像处理方法、装置和电子设备
CN103180873B (zh) 图像处理装置及图像处理方法
CN111062891A (zh) 图像处理方法、装置、终端及计算机可读存储介质
JP4862955B1 (ja) 画像処理装置、画像処理方法、および制御プログラム
KR101713086B1 (ko) 투명감 평가 장치, 투명감 평가 방법 및 투명감 평가 프로그램
CN107369133B (zh) 一种人脸图像美化方法和装置
US10964070B2 (en) Augmented reality display method of applying color of hair to eyebrows
EP3358523B1 (en) A system and method for illumination correction of colored overlays on an image
CN108734126B (zh) 一种美颜方法、美颜装置及终端设备
CN113610723B (zh) 图像处理方法及相关装置
CN111767756A (zh) 自动检测脸部瑕疵的方法
US10909351B2 (en) Method of improving image analysis
CN111815729A (zh) 一种实时美肤方法、装置、设备和计算机存储介质
CN114155569B (zh) 一种化妆进度检测方法、装置、设备及存储介质
CN110473295A (zh) 一种基于三维人脸模型进行美颜处理的方法和设备
CN114998115A (zh) 图像美化处理方法、装置及电子设备
CN113628132A (zh) 图像处理方法、装置、电子设备及存储介质
JP3789911B2 (ja) 画像処理装置および顔画像処理装置
CN113421197B (zh) 一种美颜图像的处理方法及其处理系统
CN110135333A (zh) 化妆指导方法、装置、终端及计算机可读存储介质
CN114565506B (zh) 图像颜色迁移方法、装置、设备及存储介质
CN117152099A (zh) 皮肤毛孔或黑头检测方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant