CN112381737B - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112381737B CN112381737B CN202011287995.6A CN202011287995A CN112381737B CN 112381737 B CN112381737 B CN 112381737B CN 202011287995 A CN202011287995 A CN 202011287995A CN 112381737 B CN112381737 B CN 112381737B
- Authority
- CN
- China
- Prior art keywords
- face
- attribute information
- area
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 62
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000012417 linear regression Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 18
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000000227 grinding Methods 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 230000036548 skin texture Effects 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 14
- 238000005238 degreasing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000005498 polishing Methods 0.000 description 5
- 206010040844 Skin exfoliation Diseases 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003631 expected effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本公开关于一种图像处理方法、装置、电子设备及存储介质,以改善人脸图像中人脸面部去油光的效果。该方法包括:获取人脸图像,并确定人脸图像中的人脸区域;将人脸图像输入属性信息提取模型,得到人脸区域的面部属性信息以及人脸图像的环境属性信息;根据面部属性信息以及环境属性信息,对人脸区域进行区域提取,得到人脸区域中的油光区域;根据面部属性信息以及环境属性信息,对油光区域进行去油光处理,得到去油光人脸图像。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及图像处理方法、装置、电子设备及存储介质。
背景技术
在采集人脸图像的过程中,由于光照等因素,容易在采集的人脸图像中包括油光区域,导致图像中的人物形象差,为了获得更好的人脸图像效果需要对图像中人脸面部进行去油光处理。
目前,面部去油光技术主要包括:首先,获取人脸图像中各个像素点的亮度值;然后,确定各个像素点的亮度值与预设亮度值之间的差异值,最后,根据确定出的差异值确定人脸图像中的油光区域,并对该油光区域进行去油光处理。该种方法中预设亮度值比较固定,对在多种环境下采集得到的人脸图像中人脸面部去油光处理之后,会存在导致人脸图像失真,无法达到有效美化人脸的效果的问题。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质,以改善人脸图像中人脸面部去油光的效果。
本公开的技术方案如下:
根据本公开实施例的第一方面,本公开实施例提供一种图像处理方法,该方法包括:获取人脸图像,并确定人脸图像中的人脸区域;将人脸图像输入属性信息提取模型;得到人脸区域的面部属性信息以及人脸图像的环境属性信息;根据面部属性信息以及环境属性信息,对人脸区域进行区域提取,得到人脸区域中的油光区域;根据面部属性信息以及环境属性信息,对油光区域进行去油光处理,得到去油光人脸图像。
本公开实施例中,在确定油光区域以及对油光区域进行去油光处理的过程中,参考了面部属性信息以及环境属性信息,能够更精确的确定油光区域并对油光区域进行适度的处理,从而改善了人脸图像中人脸面部去油光的效果。
在一种可能的实现方式中,面部属性信息包括人脸区域中人脸的肤色、肤质、亮度或年龄中的至少一种;环境属性信息至少包括环境光照信息。
人脸的肤色、肤质、亮度或年龄以及环境光照信息直接影响了人脸中每个像素点的平均亮度值,因此,根据这些信息确定的油光区域更准确。
在另一种可能的实现方式中,上述根据面部属性信息以及环境属性信息,对人脸区域进行区域提取,得到人脸区域中的油光区域,包括:根据面部属性信息以及环境属性信息获取第一调整系数;根据第一调整系数增大人脸图像中每个像素点的亮度值;根据增大亮度值后的人脸区域,确定人脸区域中的油光区域。
这样,将人脸图像中每个像素点的亮度值增大至相同的标准后,可以根据预设的标准确定人脸区域中的油光区域,而面部属性信息以及环境属性信息直接影响调整亮度值的第一调整系数。因此,根据面部属性信息以及环境属性信息确定第一调整系数,并对人脸图像进行调整后,确定的油光区域更准确。
在另一种可能的实现方式中,上述根据面部属性信息以及环境属性信息获取第一调整系数,包括:将面部属性信息以及环境属性信息输入调整系数提取函数,得到第一调整系数;调整系数提取函数是基于多个样本人脸图像中标注的调整系数、面部属性信息以及环境属性信息线性回归分析得到的。
这样,对多个样本人脸图像中标注的调整系数、面部属性信息以及环境属性信息进行线性回归分析,可以得到调整系数、面部属性信息以及环境属性信息之间的相互依赖关系。而标注的调整系数、面部属性信息以及环境属性信息可以根据人工对样本图像进行处理达到预期效果时的值确定。因此,根据该调整系数提取函数计算得到的第一调整系数,也会更大概率使得对人脸图像调整后达到预期效果。
在另一种可能的实现方式中,上述根据第一调整系数增大人脸图像中每个像素点的亮度值,包括:将人脸图像的颜色空间转换为目标颜色空间;目标颜色空间包括表征人脸图像中像素点的亮度值的信息;根据第一调整系数将目标颜色空间下的人脸图像中每个像素点的亮度值增大。
在另一种可能的实现方式中,上述根据增大亮度值后的人脸区域,确定人脸区域中的油光区域,包括:将增大亮度值后的人脸区域中亮度值大于第一预设阈值的像素点组成的区域,确定为人脸区域中的油光区域。
在另一种可能的实现方式中,上述人脸区域中的油光区域满足下述公式:M=pow(Y,s)其中,M为人脸区域中的油光区域,pow为指数函数;Y为增大亮度值后的人脸区域中每个像素点的亮度值,s为指数函数的系数;s为将面部属性信息以及环境属性信息输入指数系数计算函数得到的;指数系数计算函数是基于多个样本人脸图像标注的指数系数、面部属性信息以及环境属性信息线性回归分析得到的。
在另一种可能的实现方式中,上述根据面部属性信息以及环境属性信息,对油光区域进行去油光处理,包括:将面部属性信息以及环境属性信息输入调暗系数计算函数,得到人脸图像的调暗系数;调暗系数计算函数是基于多个人脸图像中标注的调暗系数、面部属性信息以及环境属性信息线性回归得到的;根据人脸图像的调暗系数减小油光区域中每个像素点的亮度值。
在另一种可能的实现方式中,该方法还包括:将人脸图像与去油光人脸图像进行融合,得到目标图像。
这样,使得融合后的图像兼顾人脸图像中的细节与去油光的效果。
在另一种可能的实现方式中,上述根据面部属性信息以及环境属性信息,对人脸区域进行区域提取,得到人脸区域中的油光区域,包括:对人脸区域进行磨皮处理;根据面部属性信息以及环境属性信息,对磨皮处理后的人脸区域进行区域提取,得到人脸区域中的油光区域。
这样,在确定油光区域之前,对人脸区域进行磨皮处理可以初步减少部分油光,使得最终去油光的效果更好。
根据本公开实施例的第二方面,本公开实施例提供一种图像处理装置,包括:获取模块,被配置为获取人脸图像,并确定人脸图像中的人脸区域;提取模块,被配置为将人脸图像输入属性信息提取模型;得到人脸区域的面部属性信息以及人脸图像的环境属性信息;根据面部属性信息以及环境属性信息,对人脸区域进行区域提取,得到人脸区域中的油光区域;去油光模块,被配置为根据面部属性信息以及环境属性信息,对油光区域进行去油光处理,得到去油光人脸图像。
可选的,面部属性信息包括人脸区域中人脸的肤色、肤质、亮度或年龄中的至少一种;环境属性信息至少包括环境光照信息。
可选的,获取模块还被配置为:根据面部属性信息以及环境属性信息获取第一调整系数;提取模块具体被配置为:根据第一调整系数增大人脸图像中每个像素点的亮度值;根据增大亮度值后的人脸区域,确定人脸区域中的油光区域。
可选的,获取模块具体被配置为将面部属性信息以及环境属性信息输入调整系数提取函数,得到第一调整系数;调整系数提取函数是基于多个样本人脸图像中标注的调整系数、面部属性信息以及环境属性信息线性回归分析得到的。
可选的,图像处理装置还包括增大模块,被配置为:将人脸图像的颜色空间转换为目标颜色空间;目标颜色空间包括表征人脸图像中像素点的亮度值的信息;根据第一调整系数将目标颜色空间下的人脸图像中每个像素点的亮度值增大。
可选的,提取模块具体被配置为:将增大亮度值后的人脸区域中亮度值大于第一预设阈值的像素点组成的区域,确定为人脸区域中的油光区域。
可选的,人脸区域中的油光区域满足下述公式:M=pow(Y,s),其中,M为人脸区域中的油光区域,pow为指数函数;Y为增大亮度值后的人脸区域中每个像素点的亮度值,s为指数函数的系数;s为将面部属性信息以及环境属性信息输入指数系数计算函数得到的;指数系数计算函数是基于多个样本人脸图像标注的指数系数、面部属性信息以及环境属性信息线性回归分析得到的。
可选的,去油光模块具体被配置为:将面部属性信息以及环境属性信息输入调暗系数计算函数,得到人脸图像的调暗系数;调暗系数计算函数是基于多个人脸图像中标注的调暗系数、面部属性信息以及环境属性信息线性回归得到的;根据人脸图像的调暗系数减小油光区域中每个像素点的亮度值。
可选的,图像处理装置还包括:融合模块,被配置为将人脸图像与去油光人脸图像进行融合,得到目标图像。
可选的,提取模块具体被配置为:对人脸区域进行磨皮处理;根据面部属性信息以及环境属性信息,对磨皮处理后的人脸区域进行区域提取,得到人脸区域中的油光区域。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器。其中,处理器被配置为执行所述指令,以实现上述第一方面以及第一方面的任一种可能的实现方式所示的图像处理方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面所示的图像处理方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,可直接加载到电子设备的内部存储器中,并含有软件代码,该计算机程序经由电子设备载入并执行后能够实现第一方面所示的图像处理方法。
上述提供的任一种图像处理装置、电子设备或计算机可读存储介质或计算机程序产品用于执行上文所提供的对应的方法,因此,均能在确定油光区域以及对油光区域进行去油光处理的过程中,参考面部属性信息以及环境属性信息,能够使得对油光区域进行适度的处理,从而改善了人脸图像中人脸面部去油光的效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的流程示意图;
图2是根据一示例性实施例示出的人脸关键点的示意图;
图3是根据一示例性实施例示出的一种图像处理装置框图;
图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,在本公开的实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本公开实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据。
在本公开实施例中,“至少一个”是指一个或多个。“多个”是指两个或两个以上。
在本公开实施例中,“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本公开实施例中,组合包括一个或多个对象。
需要说明的是,本公开实施例提供的图像处理方法可以应用于电子设备或服务器。其中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端等。服务器可以为一台服务器,或者,也可以为由多台服务器组成的服务器集群,本公开对此不做限定。
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
如图1所示,图1是根据一示例性实施例示出的一种图像处理方法的流程示意图。图1所示的方法可以应用于电子设备或服务器。图1所示的方法可以包括以下步骤:
S100:获取人脸图像,并确定人脸图像中的人脸区域。
本公开对获取包括人脸的人脸图像的方式不进行限定,在一种可能的实现方式中,接收其他电子设备发送的人脸图像,在另一种可能的实现方式中,获取用户上传的人脸图像,在另一种可能的实现方式中读取本地的人脸图像,在另一种可能的实现方式中由电子设备集成的采集器件采集的人脸图像。
在一个示例中,执行主体为电子设备,该电子设备为包括摄像头这样采集器件的电子设备,该电子设备的摄像头采集当前环境下的人脸图像。其中,当前环境的光照信息一定。
在一种可能的实现方式中,确定人脸图像中的人脸区域包括如下步骤:
步骤一:获取人脸图像中人脸的关键点。
在一个例子中,使用训练好的人脸关键点检测模型获取人脸的关键点如图2所示。图2中白色圆点即为检测到的人脸关键点。
步骤二:根据获取的关键点确定人脸图像中的人脸区域。
基于图2中人脸关键点的示例,连接获取到的关键点所形成的闭合区域即为图2所示人脸图像中的人脸区域。
在另一种可能的实现方式中,基于肤色检测确定人脸图像中的人脸区域。
具体的,对人脸图像人脸区域以及非人脸区域进行二值化处理后,确定人脸图像中的人脸区域。
在一个例子中,使用直方图方法确定二值化阈值,使用二值化阈值对人脸图像进行二值化处理,然后,在二值化处理后的人脸图像中确定人脸区域。
需要说明的是,本公开中确定人脸图像中的人脸区域还可以是其他现有技术中的方法,本公开对此不进行限定。
S101:将人脸图像输入属性信息提取模型,得到人脸区域的面部属性信息以及人脸图像的环境属性信息。
属性信息提取模型,可以是预先根据样本人脸图像训练得到的;面部属性信息包括人脸区域中人脸的肤色、肤质、亮度或年龄中的至少一种;环境属性信息至少包括环境光照信息。
人脸的肤色、肤质、亮度或年龄以及环境光照信息直接影响了人脸中每个像素点的平均亮度值,因此,提取人脸图像中这些信息以确定该人脸图像的油光区域得到的结果更准确。
可选的,S102:对人脸图像中的人脸区域进行磨皮处理。
具体的,可以使用保边滤波器对人脸图像中的人脸区域进行磨皮处理。
本公开实施例对使用的保边滤波器不进行限定,示例性的,保边滤波器可以是:双边滤波器(bilateral filter)、引导滤波器(guided image filter)、加权最小二乘法滤波器(weighted least square filter)等保边滤波器中的任意一种。
这样,在确定油光区域之前,对人脸区域进行磨皮处理可以初步减少部分油光,使得最终去油光的效果更好。
S103:根据面部属性信息以及环境属性信息,对人脸区域进行区域提取,得到人脸区域中的油光区域。
具体的,通过如下步骤提取人脸区域中的油光区域:
步骤一,根据面部属性信息以及环境属性信息获取人脸图像的第一调整系数。
具体的,将面部属性信息以及环境属性信息输入调整系数提取函数进行运算,得到第一调整系数。其中,调整系数提取函数是基于多个样本人脸图像中标注的调整系数、面部属性信息以及环境属性信息线性回归分析得到的。
可以理解的是,标注的调整系数、面部属性信息以及环境属性信息可以根据人工对样本图像进行处理达到预期效果时的调整系数、面部属性信息以及环境属性信息确定。因此,根据该调整系数提取函数计算得到的第一调整系数,也会更大概率使得对人脸图像调整后达到预期效果。
步骤二,根据第一调整系数增大人脸图像中每个像素点的亮度值。
具体的,在调整人脸图像中每个像素点的亮度值之前,若人脸图像的颜色空间为用于显示的颜色空间,则可以将人脸图像的颜色空间转换为包括亮度分量的颜色空间,在一个例子中,将红(R)、绿(G)、蓝(B)颜色空间的人脸图像转换为YUV颜色空间、HSI颜色空间、HSV颜色空间或Lab颜色空间中的任意一种。然后,使用第一参数调整人脸图像中每个像素点的亮度值。
在一个例子中,使用第一参数按照相同的算法增大人脸图像中每个像素点的亮度值。若亮度值增大后的像素点的亮度值大于1则将该像素点的亮度值确定为1,若亮度值增大后的像素点的亮度值小于1,则将亮度值增大后的该像素点的亮度值作为该像素点的亮度值。
这样,将人脸图像中每个像素点的亮度值增大至相同的标准后,可以根据预设的标准确定人脸区域中的油光区域,而面部属性信息以及环境属性信息直接影响调整亮度值的第一调整系数。因此,根据面部属性信息以及环境属性信息确定第一调整系数,并对人脸图像进行调整后,确定的油光区域更准确。
可选的,步骤三,根据第二参数对使用第一参数增大后的人脸图像中每个像素点的亮度值进行指数运算。其中,第二参数是将人脸图像的面部属性信息以及环境属性信息输入指数系数计算函数得到的;指数系数计算函数是根据多个样本人脸图像标注的指数系数、面部属性信息以及环境属性信息线性回归分析得到的。
在一个例子中,将第二参数作为指数对使用第一参数调整后的人脸图像中的每个像素点的亮度值进行幂运算。假设第二参数为10,使用第一参数调整后的人脸图像中的第一像素点的亮度值为0.5,那么,将10作为指数对该第一像素点的亮度值0.5进行幂运算得到的新的亮度值用公式可以表示为:(0.5)10。
步骤四,在没有执行步骤三的情况下将调整亮度值后的人脸区域中亮度值大于第一预设阈值的像素点组成的区域,确定为人脸区域中的油光区域。
在执行了步骤三的情况下,将指数运算后的人脸图像中,亮度值大于第二预设阈值的像素点组成的区域,确定为人脸区域中的油光区域。
人脸区域中的油光区域满足如下公式:
M=pow(Y,s)
其中,M为人脸区域中的油光区域,pow为指数函数;Y为增大亮度值后的人脸区域中每个像素点的亮度值,s为指数函数的系数;s可以通过将人脸图像的面部属性信息以及环境属性信息输入指数系数计算函数得到。指数系数计算函数是基于多个样本人脸图像标注的指数系数、面部属性信息以及环境属性信息线性回归分析得到的。
S104:根据面部属性信息以及环境属性信息,对油光区域进行去油光处理,得到去油光人脸图像。
具体的,将该人脸图像的面部属性信息以及环境属性信息输入调暗系数计算函数,得到人脸图像的调暗系数,根据人脸图像的调暗系数减小油光区域中每个像素点的亮度值。调暗系数计算函数可以基于多个样本人脸图像标注的调暗系数、面部属性信息以及环境属性信息线性回归分析得到。
在一个例子中,调暗系数可以为一个小于1的百分数,使用调暗系数乘以油光区域中每个像素点的亮度值,得到每个像素点对应的新的亮度值,使用新的亮度值替换该像素点的原亮度值,得到去油光人脸图像。在另一个例子中,将油光区域中每个像素点的亮度值减去调暗系数得到每个像素点的新的亮度值,使用新的亮度值替换该像素点的原亮度值,得到去油光人脸图像。
本公开实施例中,在确定油光区域以及对油光区域进行去油光处理的过程中,参考了面部属性信息以及环境属性信息,能够使得对油光区域进行适度的处理,从而改善了人脸图像中人脸面部去油光的效果。
可选的,S105,将磨皮处理人脸区域后的人脸图像与去油光人脸图像混合,得到目标图像。
具体的,将磨皮处理人脸区域后的人脸图像与去油光人脸图像进行融合,得到目标图像。可以基于alpha通道,或者使用羽化操作对磨皮处理人脸区域后的人脸图像与去油光人脸图像进行融合。
可以理解的是,也可以将原始的人脸图像与去油光人脸图像进行融合,以得到目标图像。这样得到的目标图像的效果较差于将磨皮处理人脸区域后的人脸图像与去油光人脸图像进行融合,得到的目标图像。
这样,得到的目标图像兼具磨皮处理人脸区域后的人脸图像的细节以及去油光人脸图像的去油光效果。
上述主要从方法的角度对本公开实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的方法步骤,本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
本公开实施例可以根据上述方法示例对图像处理装置进行功能模块的划分,例如可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图3是根据一示例性实施例示出的一种图像处理装置框图。参照图4,该图像处理装置200包括获取模块201、提取模块202和去油光模块203,可选的,图像处理装置200还包括增大模块204和融合模块205。其中:获取模块201:被配置为获取人脸图像,并确定人脸图像中的人脸区域;提取模块202,被配置为将人脸图像输入属性信息提取模型;得到人脸区域的面部属性信息以及人脸图像的环境属性信息;根据面部属性信息以及环境属性信息,对人脸区域进行区域提取,得到人脸区域中的油光区域;去油光模块203,被配置为根据面部属性信息以及环境属性信息,对油光区域进行去油光处理,得到去油光人脸图像。例如,结合图1,获取模块201可以用于执行S100~S101,提取模块202可以用于执行S103,去油光模块203可以用于执行S104,融合模块205可以用于执行S105。
可选的,面部属性信息包括人脸区域中人脸的肤色、肤质、亮度或年龄中的至少一种;环境属性信息至少包括环境光照信息。
可选的,获取模块201还被配置为:根据面部属性信息以及环境属性信息获取第一调整系数;提取模块202具体被配置为:根据第一调整系数增大人脸图像中每个像素点的亮度值;根据增大亮度值后的人脸区域,确定人脸区域中的油光区域。
可选的,获取模块201具体被配置为将面部属性信息以及环境属性信息输入调整系数提取函数,得到第一调整系数;调整系数提取函数是基于多个样本人脸图像中标注的调整系数、面部属性信息以及环境属性信息线性回归分析得到的。
可选的,图像处理装置200还包括增大模块204,被配置为:将人脸图像的颜色空间转换为目标颜色空间;目标颜色空间包括表征人脸图像中像素点的亮度值的信息;根据第一调整系数将目标颜色空间下的人脸图像中每个像素点的亮度值增大。
可选的,提取模块202具体被配置为:将增大亮度值后的人脸区域中亮度值大于第一预设阈值的像素点组成的区域,确定为人脸区域中的油光区域。
可选的,人脸区域中的油光区域满足下述公式:
M=pow(Y,s)
其中,M为人脸区域中的油光区域,pow为指数函数;Y为增大亮度值后的人脸区域中每个像素点的亮度值,s为指数函数的系数;s为将面部属性信息以及环境属性信息输入指数系数计算函数得到的;指数系数计算函数是基于多个样本人脸图像标注的指数系数、面部属性信息以及环境属性信息线性回归分析得到的。
可选的,去油光模块203具体被配置为:将面部属性信息以及环境属性信息输入调暗系数计算函数,得到人脸图像的调暗系数;调暗系数计算函数是基于多个样本人脸图像中标注的调暗系数、面部属性信息以及环境属性信息线性回归分析得到的;根据人脸图像的调暗系数减小油光区域中每个像素点的亮度值。
可选的,图像处理装置200还包括:融合模块205,被配置为将人脸图像与去油光人脸图像进行融合,得到目标图像。
可选的,提取模块202具体被配置为:对人脸区域进行磨皮处理;根据面部属性信息以及环境属性信息,对磨皮处理后的人脸区域进行区域提取,得到人脸区域中的油光区域。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。此外,上述提供的任一种图像处理装置200的解释以及有益效果的描述均可参考上述对应的方法实施例,不再赘述。
图4是根据一示例性实施例示出的一种电子设备的框图。如图4所示,电子设备40包括但不限于:处理器401、存储器402、显示器403、输入单元404、接口单元405和电源406等。
其中,上述的处理器401,用于存储上述处理器可执行指令的存储器。可以理解,上述处理器401被配置为执行上述图1所示实施例中任一步骤。即,上述电子设备40的框图可以作为上述图像处理装置200的硬件结构图。
需要说明的是,本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图4所示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
处理器401是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器401可包括一个或多个处理单元;可选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及各种数据。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能单元所需的应用程序(比如获取单元、收发单元或合并单元等)等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
显示器403用于显示由用户输入的信息或提供给用户的信息。显示器403可包括显示面板,可以采用液晶显示器(liquid crystal display,LCD)、有机发光二极管(OrganicLight-Emitting Diode,OLED)等形式来配置显示面板。
输入单元404可以包括图形处理器(Graphics Processing Unit,GPU),图形处理器对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示器403上。经图形处理器处理后的图像帧可以存储在存储器402(或其它存储介质)中。
接口单元405为外部装置与电子设备400连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元405可以用于接收来自外部装置的输入(例如,数据信息等)并且将接收到的输入传输到电子设备400内的一个或多个元件或者可以用于在电子设备400和外部装置之间传输数据。
电源406(比如电池)可以用于为各个部件供电,可选的,电源406可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
在示例性实施例中,本公开实施例还提供了一种包括指令的存储介质,例如包括指令的存储器402,上述指令可由电子设备400的处理器401执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一个示例中,参见图3,上述获取模块201的接收功能可以由图4中的接口单元405实现。上述获取模块201的处理功能、提取模块202、去油光模块203、增大模块204以及融合模块205均可以由图4中的处理器401调用存储器402中存储的计算机程序实现。
在示例性实施例中,本公开实施例还提供了一种包括一条或多条指令的计算机程序产品,该一条或多条指令可以由电子设备400的处理器401执行以完成上述方法。
需要说明的是,上述存储介质中的指令或计算机程序产品中的一条或多条指令被处理器401执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (20)
1.一种图像处理方法,其特征在于,所述方法包括:
获取人脸图像,并确定所述人脸图像中的人脸区域;
将所述人脸图像输入属性信息提取模型,得到所述人脸区域的面部属性信息以及所述人脸图像的环境属性信息;
根据所述面部属性信息以及所述环境属性信息,对所述人脸区域进行区域提取,得到所述人脸区域中的油光区域;
将所述面部属性信息以及所述环境属性信息输入调暗系数计算函数,得到所述人脸图像的调暗系数;所述调暗系数计算函数是基于多个样本人脸图像中标注的调暗系数、面部属性信息以及环境属性信息线性回归分析得到的;
根据所述人脸图像的调暗系数减小所述油光区域中每个像素点的亮度值,得到去油光人脸图像。
2.根据权利要求1所述的方法,其特征在于,
所述面部属性信息包括所述人脸区域中人脸的肤色、肤质、亮度或年龄中的至少一种;所述环境属性信息至少包括环境光照信息。
3.根据权利要求1所述的方法,其特征在于,所述根据所述面部属性信息以及所述环境属性信息,对所述人脸区域进行区域提取,得到所述人脸区域中的油光区域,包括:
根据所述面部属性信息以及所述环境属性信息获取第一调整系数;
根据所述第一调整系数增大所述人脸图像中每个像素点的亮度值;
根据增大亮度值后的所述人脸区域,确定所述人脸区域中的油光区域。
4.根据权利要求3所述的方法,其特征在于,所述根据所述面部属性信息以及所述环境属性信息获取第一调整系数,包括:
将所述面部属性信息以及所述环境属性信息输入调整系数提取函数,得到所述第一调整系数;所述调整系数提取函数是基于所述多个样本人脸图像中标注的调整系数、面部属性信息以及环境属性信息线性回归分析得到的。
5.根据权利要求3所述的方法,其特征在于,所述根据所述第一调整系数增大所述人脸图像中每个像素点的亮度值,包括:
将所述人脸图像的颜色空间转换为目标颜色空间;所述目标颜色空间包括表征所述人脸图像中像素点的亮度值的信息;
根据所述第一调整系数将所述目标颜色空间下的所述人脸图像中每个像素点的亮度值增大。
6.根据权利要求3所述的方法,其特征在于,所述根据增大亮度值后的所述人脸区域,确定所述人脸区域中的油光区域,包括:
将增大亮度值后的所述人脸区域中亮度值大于第一预设阈值的像素点组成的区域,确定为所述人脸区域中的油光区域。
7.根据权利要求3所述的方法,其特征在于,所述人脸区域中的油光区域满足下述公式:
M=pow(Y,s)
其中,M为所述人脸区域中的油光区域,pow为指数函数;Y为增大亮度值后的所述人脸区域中每个像素点的亮度值,s为所述指数函数的系数;s为将所述面部属性信息以及所述环境属性信息输入指数系数计算函数得到的;所述指数系数计算函数是基于多个样本人脸图像标注的指数系数、面部属性信息以及环境属性信息线性回归分析得到的。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
将所述人脸图像与所述去油光人脸图像进行融合,得到目标图像。
9.根据权利要求1-7任一项所述的方法,其特征在于,所述根据所述面部属性信息以及所述环境属性信息,对所述人脸区域进行区域提取,得到所述人脸区域中的油光区域,包括:
对所述人脸区域进行磨皮处理;
根据所述面部属性信息以及所述环境属性信息,对磨皮处理后的所述人脸区域进行区域提取,得到所述人脸区域中的油光区域。
10.一种图像处理装置,其特征在于,包括:
获取模块,被配置为获取人脸图像,并确定所述人脸图像中的人脸区域;
提取模块,被配置为将所述人脸图像输入属性信息提取模型;得到所述人脸区域的面部属性信息以及所述人脸图像的环境属性信息;根据所述面部属性信息以及所述环境属性信息,对所述人脸区域进行区域提取,得到所述人脸区域中的油光区域;
去油光模块,被配置为将所述面部属性信息以及所述环境属性信息输入调暗系数计算函数,得到所述人脸图像的调暗系数;所述调暗系数计算函数是基于多个样本人脸图像中标注的调暗系数、面部属性信息以及环境属性信息线性回归分析得到的;根据所述人脸图像的调暗系数减小所述油光区域中每个像素点的亮度值,得到去油光人脸图像。
11.根据权利要求10所述的装置,其特征在于,
所述面部属性信息包括所述人脸区域中人脸的肤色、肤质、亮度或年龄中的至少一种;所述环境属性信息至少包括环境光照信息。
12.根据权利要求10所述的装置,其特征在于,
所述获取模块还被配置为:根据所述面部属性信息以及所述环境属性信息获取第一调整系数;
所述提取模块具体被配置为:根据所述第一调整系数增大所述人脸图像中每个像素点的亮度值;根据增大亮度值后的所述人脸区域,确定所述人脸区域中的油光区域。
13.根据权利要求12所述的装置,其特征在于,所述获取模块具体被配置为将所述面部属性信息以及所述环境属性信息输入调整系数提取函数,得到所述第一调整系数;所述调整系数提取函数是基于多个样本人脸图像中标注的调整系数、面部属性信息以及环境属性信息线性回归分析得到的。
14.根据权利要求12所述的装置,其特征在于,所述图像处理装置还包括增大模块,被配置为:
将所述人脸图像的颜色空间转换为目标颜色空间;所述目标颜色空间包括表征所述人脸图像中像素点的亮度值的信息;
根据所述第一调整系数将所述目标颜色空间下的所述人脸图像中每个像素点的亮度值增大。
15.根据权利要求12所述的装置,其特征在于,所述提取模块具体被配置为:
将增大亮度值后的所述人脸区域中亮度值大于第一预设阈值的像素点组成的区域,确定为所述人脸区域中的油光区域。
16.根据权利要求12所述的装置,其特征在于,所述人脸区域中的油光区域满足下述公式:
M=pow(Y,s)
其中,M为所述人脸区域中的油光区域,pow为指数函数;Y为增大亮度值后的所述人脸区域中每个像素点的亮度值,s为所述指数函数的系数;s为将所述面部属性信息以及所述环境属性信息输入指数系数计算函数得到的;所述指数系数计算函数是基于多个样本人脸图像标注的指数系数、面部属性信息以及环境属性信息线性回归分析得到的。
17.根据权利要求10-16任一项所述的装置,其特征在于,所述图像处理装置还包括:
融合模块,被配置为将所述人脸图像与所述去油光人脸图像进行融合,得到目标图像。
18.根据权利要求10-16任一项所述的装置,其特征在于,所述提取模块具体被配置为:
对所述人脸区域进行磨皮处理;
根据所述面部属性信息以及所述环境属性信息,对磨皮处理后的所述人脸区域进行区域提取,得到所述人脸区域中的油光区域。
19.一种电子设备,其特征在于,包括:
处理器和用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述可执行指令,以实现如权利要求1-9任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-9任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011287995.6A CN112381737B (zh) | 2020-11-17 | 2020-11-17 | 图像处理方法、装置、电子设备及存储介质 |
PCT/CN2021/106299 WO2022105270A1 (zh) | 2020-11-17 | 2021-07-14 | 图像处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011287995.6A CN112381737B (zh) | 2020-11-17 | 2020-11-17 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112381737A CN112381737A (zh) | 2021-02-19 |
CN112381737B true CN112381737B (zh) | 2024-07-12 |
Family
ID=74584908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011287995.6A Active CN112381737B (zh) | 2020-11-17 | 2020-11-17 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112381737B (zh) |
WO (1) | WO2022105270A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112381737B (zh) * | 2020-11-17 | 2024-07-12 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN115988339B (zh) * | 2022-11-22 | 2024-03-26 | 荣耀终端有限公司 | 图像处理方法、电子设备、存储介质及程序产品 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111626921A (zh) * | 2020-05-09 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 图片处理方法、装置及电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170163953A1 (en) * | 2015-12-08 | 2017-06-08 | Le Holdings (Beijing) Co., Ltd. | Method and electronic device for processing image containing human face |
CN105719234B (zh) * | 2016-01-26 | 2018-12-11 | 厦门美图之家科技有限公司 | 用于人脸区域的自动去油光方法、系统及拍摄终端 |
CN106600578B (zh) * | 2016-11-22 | 2017-11-10 | 武汉大学 | 基于遥感影像的特征函数空间滤值回归模型并行化方法 |
CN107194374A (zh) * | 2017-06-16 | 2017-09-22 | 广东欧珀移动通信有限公司 | 人脸区域的去油光方法、装置及终端 |
CN107798652A (zh) * | 2017-10-31 | 2018-03-13 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、可读存储介质和电子设备 |
CN109146893B (zh) * | 2018-08-01 | 2020-10-09 | 厦门美图之家科技有限公司 | 油光区域分割方法、装置及移动终端 |
CN110188640B (zh) * | 2019-05-20 | 2022-02-25 | 北京百度网讯科技有限公司 | 人脸识别方法、装置、服务器和计算机可读介质 |
CN112381737B (zh) * | 2020-11-17 | 2024-07-12 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-17 CN CN202011287995.6A patent/CN112381737B/zh active Active
-
2021
- 2021-07-14 WO PCT/CN2021/106299 patent/WO2022105270A1/zh active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111626921A (zh) * | 2020-05-09 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 图片处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112381737A (zh) | 2021-02-19 |
WO2022105270A1 (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220237811A1 (en) | Method for Testing Skin Texture, Method for Classifying Skin Texture and Device for Testing Skin Texture | |
US8861847B2 (en) | System and method for adaptive skin tone detection | |
CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
WO2019100282A1 (zh) | 一种人脸肤色识别方法、装置和智能终端 | |
US20220319077A1 (en) | Image-text fusion method and apparatus, and electronic device | |
CN112381737B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN107665482B (zh) | 实现双重曝光的视频数据实时处理方法及装置、计算设备 | |
CN107194374A (zh) | 人脸区域的去油光方法、装置及终端 | |
CN104346774B (zh) | 用于图像增强的方法和装置 | |
CN110363747A (zh) | 智能化异常细胞判断方法、装置及计算机可读存储介质 | |
CN112837251B (zh) | 图像处理方法及装置 | |
CN108805838A (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
CN107705279B (zh) | 实现双重曝光的图像数据实时处理方法及装置、计算设备 | |
CN114022397B (zh) | 一种内窥镜图像去雾方法、装置、电子设备及存储介质 | |
CN114298935B (zh) | 图像增强方法、装置及计算机可读存储介质 | |
CN113436081A (zh) | 数据处理方法、图像增强方法及其模型训练方法 | |
CN113132639B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN112686800B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113610720A (zh) | 视频去噪方法及装置、计算机可读介质和电子设备 | |
CN112581395A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110473156B (zh) | 图像信息的处理方法、装置、存储介质及电子设备 | |
CN112788254A (zh) | 摄像头抠像方法、装置、设备及存储介质 | |
CN112511890A (zh) | 视频图像处理方法、装置及电子设备 | |
CN113129250A (zh) | 皮肤检测方法、装置、终端设备及计算机存储介质 | |
CN116958035A (zh) | 产品零件缺陷检测方法、装置、介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |