CN113160094A - 图像处理方法及装置、电子设备和存储介质 - Google Patents

图像处理方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113160094A
CN113160094A CN202110571420.5A CN202110571420A CN113160094A CN 113160094 A CN113160094 A CN 113160094A CN 202110571420 A CN202110571420 A CN 202110571420A CN 113160094 A CN113160094 A CN 113160094A
Authority
CN
China
Prior art keywords
target
color
pixel point
face image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110571420.5A
Other languages
English (en)
Inventor
苏柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of CN113160094A publication Critical patent/CN113160094A/zh
Priority to PCT/CN2021/133045 priority Critical patent/WO2022179215A1/zh
Priority to TW110147368A priority patent/TW202234341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/77
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本公开涉及一种图像处理方法及装置、电子设备和存储介质。所述方法包括:响应于针对人脸图像的目标对象的美妆操作,提取所述人脸图像的目标对象中至少一个像素点的原始颜色;根据所述美妆操作中被选中的颜色以及所述目标对象中至少一个像素点的原始颜色,确定所述目标对象中至少一个像素点的目标颜色;将所述目标对象中至少一个像素点的原始颜色和目标颜色进行融合,得到融合人脸图像。

Description

图像处理方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机视觉领域,尤其涉及一种图像处理方法及装置、电子设备和存储介质。
背景技术
粉底美妆可以对人的脸部进行渲染,调整肤色,掩盖皮肤缺陷,从而使皮肤看起来更加爽滑,美化视觉感受。随着计算机视觉技术的发展,对人脸图像进行粉底处理已经愈加广泛地应用于人们的生活之中。然而,由于人脸中不同部位可能均需要进行粉底处理,如何自然且精确地对具有粉底上妆需求的区域进行渲染,成为目前一个亟待解决的问题。
发明内容
本公开提出了一种图像处理方案。
根据本公开的一方面,提供了一种图像处理方法,包括:
响应于针对人脸图像的目标对象的美妆操作,提取所述人脸图像的目标对象中至少一个像素点的原始颜色;根据所述美妆操作中被选中的颜色以及所述目标对象中至少一个像素点的原始颜色,确定所述目标对象中至少一个像素点的目标颜色;将所述目标对象中至少一个像素点的原始颜色和目标颜色进行融合,得到融合人脸图像。
在一种可能的实现方式中,所述美妆操作包括粉底处理操作,所述目标对象包括待执行粉底处理操作的目标人脸区域;所述提取所述人脸图像的目标对象中至少一个像素点的原始颜色,包括:基于预设脸部素材的像素颜色,确定所述目标人脸区域在所述人脸图像中的位置;根据所述目标人脸区域在所述人脸图像中的位置,提取所述人脸图像的所述目标人脸区域中至少一个像素点的原始颜色。
在一种可能的实现方式中,所述基于预设脸部素材的像素颜色,确定所述目标人脸区域在所述人脸图像中的位置,包括:将所述预设脸部素材与预设人脸图像进行融合,得到标准素材图像,其中,所述标准素材图像中所述目标人脸区域的像素颜色与所述预设脸部素材匹配;获取所述标准素材图像与所述人脸图像之间的位置映射关系;基于所述标准素材图像的像素颜色与所述位置映射关系,确定所述目标人脸区域在所述人脸图像中的位置。
在一种可能的实现方式中,所述获取所述标准素材图像与所述人脸图像之间的位置映射关系,包括:对所述预设人脸图像或所述标准素材图像进行关键点识别,得到第一关键点识别结果;对所述人脸图像进行关键点识别,得到第二关键点识别结果;根据所述第一关键点识别结果与所述第二关键点识别结果中相同关键点之间的位置对应关系,确定所述标准素材图像与所述人脸图像之间的位置映射关系。
在一种可能的实现方式中,所述基于所述标准素材图像的像素颜色与所述位置映射关系,确定所述目标人脸区域在所述人脸图像中的位置,包括:基于所述标准素材图像的像素颜色,确定所述标准素材图像中所述目标人脸区域的位置;根据所述位置映射关系,将所述标准素材图像中目标人脸区域的位置映射至所述人脸图像中,确定所述目标人脸区域在所述人脸图像中的位置。
在一种可能的实现方式中,所述美妆操作包括对人脸的目标部位的美化操作;所述目标对象包括待执行美化操作的目标部位;所述提取所述人脸图像的目标部位中至少一个像素点的原始颜色,包括:获取所述目标部位对应的目标素材;根据所述目标素材中至少一个像素点的透明度,提取所述人脸图像的目标部位中至少一个像素点的原始颜色。
在一种可能的实现方式中,所述方法还包括:对所述人脸图像中的目标部位进行识别,得到所述人脸图像中目标部位的初始位置;所述获取所述目标部位对应的目标素材,包括:根据所述目标部位,获取与所述目标部位对应的原始目标素材;将所述原始目标素材与预设人脸图像中的目标部位进行融合,得到标准素材图像;基于所述初始位置,对所述标准素材图像进行提取,得到目标素材。
在一种可能的实现方式中,所述根据所述美妆操作中被选中的颜色以及所述目标对象中至少一个像素点的原始颜色,确定所述目标对象中至少一个像素点的目标颜色,包括:根据所述美妆操作中被选中的颜色,对所述人脸图像的目标对象中至少一个像素点的原始颜色进行对应颜色查找,得到所述目标对象中至少一个像素点的目标颜色。
在一种可能的实现方式中,所述根据所述美妆操作中被选中的颜色,对所述人脸图像的目标对象中至少一个像素点的原始颜色进行对应颜色查找,得到所述目标对象中至少一个像素点的目标颜色,包括:根据所述美妆操作中被选中的颜色,获取与所述被选中的颜色对应的颜色查找表,其中,所述颜色查找表中的输出颜色以渐变形式进行排列;在所述颜色查找表中分别查找与所述人脸图像的目标对象中至少一个像素点的原始颜色对应的输出颜色,作为所述目标对象中至少一个像素点的目标颜色。
在一种可能的实现方式中,所述目标对象包括目标部位,通过颜色查找得到的所述目标对象的至少一个像素点的目标颜色为初始目标颜色,所述方法还包括:根据所述目标部位中至少一个像素点的初始目标颜色,确定所述目标部位中至少一个像素点的目标颜色。
在一种可能的实现方式中,所述根据所述目标部位中至少一个像素点的初始目标颜色,确定所述目标部位中至少一个像素点的目标颜色,包括:在所述美妆操作对应的处理类型包括自然处理的情况下,将所述目标部位中至少一个像素点的初始目标颜色,作为所述目标部位中至少一个像素点的目标颜色;或者,在所述美妆操作对应的处理类型包括金属光效处理的情况下,基于随机获取的噪声值,对所述目标部位中至少一个像素点的初始目标颜色进行调整,得到所述目标部位中至少一个像素点的目标颜色。
在一种可能的实现方式中,所述基于随机获取的噪声值,对所述目标部位中至少一个像素点的初始目标颜色进行调整,得到所述目标部位中至少一个像素点的目标颜色,包括:针对所述目标部位中至少一个像素点,分别获取与所述像素点对应的噪声值;在所述噪声值属于预设噪声范围以内的情况下,根据所述噪声值以及所述像素点在目标素材中对应的透明度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色;或者,在所述噪声值属于预设噪声范围以外的情况下,根据所述像素点的亮度信息,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色。
在一种可能的实现方式中,所述针对所述目标部位中至少一个像素点,分别获取与所述像素点对应的噪声值,包括:获取预设噪声纹理;根据所述至少一个像素点在所述目标部位中的位置,在所述预设噪声纹理的对应位置处进行采样,获得到与所述像素点对应的噪声值。
在一种可能的实现方式中,所述亮度信息包括第一亮度、第二亮度、第三亮度;所述根据所述像素点的亮度信息,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色,包括:根据所述像素点的原始颜色,确定所述像素点的第一亮度;根据所述像素点在所述目标部位中的预设处理范围,确定所述预设处理范围中具有目标亮度的像素点的第二亮度;通过预设卷积核对所述像素点进行滤波,根据所述像素点经过滤波所得到的中间颜色,确定所述像素点的第三亮度,其中,所述预设卷积核的滤波范围与所述预设处理范围一致;根据所述第一亮度、所述第二亮度以及所述第三亮度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色。
在一种可能的实现方式中,所述根据所述第一亮度、所述第二亮度以及所述第三亮度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色,包括:在所述第一亮度小于所述第三亮度的情况下,根据所述第一亮度以及所述第三亮度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色;在所述第一亮度大于所述第三亮度的情况下,根据所述第一亮度、所述第二亮度、所述第三亮度以及预设的亮度半径,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色。
在一种可能的实现方式中,所述将所述目标对象中至少一个像素点的原始颜色和目标颜色进行融合,得到融合人脸图像,包括:根据预设融合强度,分别确定所述原始颜色的第一融合比例以及所述目标颜色的第二融合比例;根据所述第一融合比例和所述第二融合比例,将所述原始颜色与所述目标颜色进行融合,得到融合人脸图像。
根据本公开的一方面,提供了一种图像处理装置,包括:
原始颜色提取模块,用于响应于针对人脸图像的目标对象的美妆操作,提取所述人脸图像的目标对象中至少一个像素点的原始颜色;目标颜色确定模块,用于根据所述美妆操作中被选中的颜色以及所述目标对象中至少一个像素点的原始颜色,确定所述目标对象中至少一个像素点的目标颜色;融合模块,用于将所述目标对象中至少一个像素点的原始颜色和目标颜色进行融合,得到融合人脸图像。
在一种可能的实现方式中,所述美妆操作包括粉底处理操作,所述目标对象包括待执行粉底处理操作的目标人脸区域;所述原始颜色提取模块用于:基于预设脸部素材的像素颜色,确定所述目标人脸区域在所述人脸图像中的位置;根据所述目标人脸区域在所述人脸图像中的位置,提取所述人脸图像的所述目标人脸区域中至少一个像素点的原始颜色。
在一种可能的实现方式中,所述原始颜色提取模块进一步用于:将所述预设脸部素材与预设人脸图像进行融合,得到标准素材图像,其中,所述标准素材图像中所述目标人脸区域的像素颜色与所述预设脸部素材匹配;获取所述标准素材图像与所述人脸图像之间的位置映射关系;基于所述标准素材图像的像素颜色与所述位置映射关系,确定所述目标人脸区域在所述人脸图像中的位置。
在一种可能的实现方式中,所述原始颜色提取模块进一步用于:对所述预设人脸图像或所述标准素材图像进行关键点识别,得到第一关键点识别结果;对所述人脸图像进行关键点识别,得到第二关键点识别结果;根据所述第一关键点识别结果与所述第二关键点识别结果中相同关键点之间的位置对应关系,确定所述标准素材图像与所述人脸图像之间的位置映射关系。
在一种可能的实现方式中,所述原始颜色提取模块进一步用于:基于所述标准素材图像的像素颜色,确定所述标准素材图像中所述目标人脸区域的位置;根据所述位置映射关系,将所述标准素材图像中目标人脸区域的位置映射至所述人脸图像中,确定所述目标人脸区域在所述人脸图像中的位置。
在一种可能的实现方式中,所述美妆操作包括对人脸的目标部位的美化操作;所述目标对象包括待执行美化操作的目标部位;所述原始颜色提取模块用于:获取所述目标部位对应的目标素材;根据所述目标素材中至少一个像素点的透明度,提取所述人脸图像的目标部位中至少一个像素点的原始颜色。
在一种可能的实现方式中,所述装置还用于:对所述人脸图像中的目标部位进行识别,得到所述人脸图像中目标部位的初始位置;所述原始颜色提取模块进一步用于:根据所述目标部位,获取与所述目标部位对应的原始目标素材;将所述原始目标素材与预设人脸图像中的目标部位进行融合,得到标准素材图像;基于所述初始位置,对所述标准素材图像进行提取,得到目标素材。
在一种可能的实现方式中,所述目标颜色确定模块用于:根据所述美妆操作中被选中的颜色,对所述人脸图像的目标对象中至少一个像素点的原始颜色进行对应颜色查找,得到所述目标对象中至少一个像素点的目标颜色。
在一种可能的实现方式中,所述目标颜色确定模块进一步用于:根据所述美妆操作中被选中的颜色,获取与所述被选中的颜色对应的颜色查找表,其中,所述颜色查找表中的输出颜色以渐变形式进行排列;在所述颜色查找表中分别查找与所述人脸图像的目标对象中至少一个像素点的原始颜色对应的输出颜色,作为所述目标对象中至少一个像素点的目标颜色。
在一种可能的实现方式中,所述目标对象包括目标部位,通过颜色查找得到的所述目标对象的至少一个像素点的目标颜色为初始目标颜色,所述目标颜色确定模块还用于:根据所述目标部位中至少一个像素点的初始目标颜色,确定所述目标部位中至少一个像素点的目标颜色。
在一种可能的实现方式中,所述目标颜色确定模块进一步用于:在所述美妆操作对应的处理类型包括自然处理的情况下,将所述目标部位中至少一个像素点的初始目标颜色,作为所述目标部位中至少一个像素点的目标颜色;或者,在所述美妆操作对应的处理类型包括金属光效处理的情况下,基于随机获取的噪声值,对所述目标部位中至少一个像素点的初始目标颜色进行调整,得到所述目标部位中至少一个像素点的目标颜色。
在一种可能的实现方式中,所述目标颜色确定模块进一步用于:针对所述目标部位中至少一个像素点,分别获取与所述像素点对应的噪声值;在所述噪声值属于预设噪声范围以内的情况下,根据所述噪声值以及所述像素点在目标素材中对应的透明度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色;或者,在所述噪声值属于预设噪声范围以外的情况下,根据所述像素点的亮度信息,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色。
在一种可能的实现方式中,所述目标颜色确定模块进一步用于:获取预设噪声纹理;根据所述至少一个像素点在所述目标部位中的位置,在所述预设噪声纹理的对应位置处进行采样,获得到与所述像素点对应的噪声值。
在一种可能的实现方式中,所述亮度信息包括第一亮度、第二亮度、第三亮度;所述目标颜色确定模块进一步用于:根据所述像素点的原始颜色,确定所述像素点的第一亮度;根据所述像素点在所述目标部位中的预设处理范围,确定所述预设处理范围中具有目标亮度的像素点的第二亮度;通过预设卷积核对所述像素点进行滤波,根据所述像素点经过滤波所得到的中间颜色,确定所述像素点的第三亮度,其中,所述预设卷积核的滤波范围与所述预设处理范围一致;根据所述第一亮度、所述第二亮度以及所述第三亮度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色。
在一种可能的实现方式中,所述目标颜色确定模块进一步用于:在所述第一亮度小于所述第三亮度的情况下,根据所述第一亮度以及所述第三亮度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色;在所述第一亮度大于所述第三亮度的情况下,根据所述第一亮度、所述第二亮度、所述第三亮度以及预设的亮度半径,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色。
在一种可能的实现方式中,所述融合模块用于:根据预设融合强度,分别确定所述原始颜色的第一融合比例以及所述目标颜色的第二融合比例;根据所述第一融合比例和所述第二融合比例,将所述原始颜色与所述目标颜色进行融合,得到融合人脸图像。
根据本公开的一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:执行上述图像处理方法。
根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述图像处理方法。
在本公开实施例中,通过响应于针对人脸图像的粉底处理操作,基于预设脸部素材的像素颜色来确定人脸图像中待执行粉底处理操作的目标人脸区域的位置,从而根据粉底处理操作中被选中的颜色,以及人脸图像的目标人脸区域中至少一个像素点的原始颜色确定目标人脸区域中至少一个像素点的目标颜色,继而将原始颜色和目标颜色融合来得到融合人脸图像。通过上述过程,一方面可以基于预设脸部素材的像素颜色,来从人脸图像中较为精确地定位待执行粉底处理操作的目标人脸区域,提高粉底处理操作的精确度;另一方面可以令得到的多个像素点的目标颜色分别与各自的原始颜色相对应,从而使得融合了原始颜色和目标颜色的融合人脸图像中的颜色过度更加真实自然,提升了融合人脸图像的自然效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开一实施例的图像处理方法的流程图。
图2示出根据本公开一实施例的预设脸部素材的示意图。
图3示出根据本公开一实施例的预设人脸图像的示意图。
图4示出根据本公开一实施例的构建的三角网格的示意图。
图5示出根据本公开一实施例的目标素材的示意图。
图6示出根据本公开一实施例的颜色查找表的示意图。
图7示出根据本公开一实施例的人脸图像的示意图。
图8示出根据本公开一实施例的融合人脸图像的示意图。
图9示出根据本公开一实施例的融合人脸图像的示意图。
图10示出根据本公开一实施例的融合人脸图像的示意图。
图11示出根据本公开一实施例的融合人脸图像的示意图。
图12示出根据本公开一实施例的图像处理装置的框图。
图13示出根据本公开一应用示例的示意图。
图14示出根据本公开一应用示例的示意图。
图15示出根据本公开实施例的一种电子设备的框图。
图16示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1示出根据本公开一实施例的图像处理方法的流程图,该方法可以应用于图像处理装置或图像处理系统等,图像处理装置可以为终端设备、服务器或者其他处理设备等。其中,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一个示例中,该图像处理方法可以应用于云端服务器或本地服务器,云端服务器可以为公有云服务器,也可以为私有云服务器,根据实际情况灵活选择即可。
在一些可能的实现方式中,该图像处理方法也可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图1所示,在一种可能的实现方式中,所述图像处理方法可以包括:
步骤S11,响应于针对人脸图像的目标对象的美妆操作,提取人脸图像的目标对象中至少一个像素点的原始颜色。
其中,人脸图像可以是包含人脸的任意图像,人脸图像中可以包含一个人脸,也可以包含多个人脸,其实现形式可以根据实际情况灵活决定,在本公开实施例中不做限制。
针对人脸图像的美妆操作,其包含的操作内容可以根据实际情况灵活决定,不局限于下述各公开实施例。在一种可能的实现方式中,该美妆操作可以包括指示对人脸图像进行美妆处理的操作;在一种可能的实现方式中,该美妆操作还可以包括选中用于进行美妆的颜色等;在一种可能的实现方式中,该美妆操作还可以包括指示美妆的处理类型的操作等。
目标对象可以是人脸图像中需要进行美妆的任意对象,在一些可能的实现方式中,目标对象可以是人脸图像中的一个或多个目标部位,目标部位包含哪些部位,其实现形式同样可以根据美妆操作的实际情况灵活决定,在一种可能的实现方式中,在美妆操作包括唇妆操作的情况下,目标部位可以包括嘴唇部位。
在一些可能的实现方式中,目标对象还可以是人脸图像中的目标人脸区域,该目标人脸区域可以是人脸图像中待执行美妆操作的任意区域,目标人脸区域可以包含人脸中的一个或多个部位区域,其实现形式可以根据实际情况灵活决定,比如可以包括人脸中的两颊部位区域、鼻梁部位区域、下巴部位区域、额头部位区域以及眼周部位区域中的一种或多种等。
其中,美妆操作的形式可以根据实际情况灵活决定,不局限于下述各公开实施例。在一种可能的实现方式中,美妆操作可以包括多种美妆类型中任一种或多种美妆操作,比如可以包括对脸部的目标区域的美妆操作,如粉底操作、高光操作、修容操作等,这里目标区域可以理解为人脸中待上妆的区域,还可以包括对脸部的目标部位的美妆操作,比如唇妆操作、眼妆操作、眼影操作等,这里目标部位可以理解为人脸中待上妆的器官部位。
在一种可能的实现方式中,以美妆操作包括粉底处理操作为例,该粉底处理操作可以是在人脸图像的部分或全部部位上添加粉底纹理的操作,粉底处理操作包含的操作内容可以根据实际情况灵活决定,不局限于下述各公开实施例。在一种可能的实现方式中,该粉底处理操作可以包括指示对人脸图像进行粉底处理的操作;在一种可能的实现方式中,该粉底处理操作还可以包括选中用于的粉底颜色等;在一种可能的实现方式中,该粉底处理操作还可以包括指示粉底处理的强弱程度的操作等。
随着美妆操作形式的不同,美妆操作中包含的处理类型也可以灵活发生变化,在一种可能的实现方式中,美妆操作可以包含一种处理类型,在一些可能的实现方式中,美妆操作也可以同时包含多种处理类型等。
在一种可能的实现方式中,以美妆操作包括唇妆操作为例,处理类型可以包括自然处理和/或金属光效处理。其中,自然处理可以包括对嘴唇颜色的自然修饰,保留唇部原始的光亮效果;金属光处理可以包括对嘴唇颜色的修饰以及光效的改变,得到具有金属光泽的唇妆效果。
原始颜色可以是目标对象在人脸图像中未经处理过的颜色,从人脸图像的目标对象中提取至少一个像素点的原始颜色的方式在本公开实施例中不做限定,可以根据实际情况灵活决定。在一些可能的实现方式中,可以确定目标对象在人脸图像中所在的区域,并对该区域包含的一个或多个像素点的颜色进行提取,以得到人脸图像的目标对象中至少一个像素点的原始颜色。
步骤S12,根据美妆操作中被选中的颜色以及目标对象中至少一个像素点的原始颜色,确定目标对象中至少一个像素点的目标颜色。
其中,美妆操作中被选中的颜色,可以是用户在选择进行美妆操作的情况下一并选中的美妆所用的颜色,也可以是选择美妆操作的情况下,预先设置好的与美妆操作所绑定对应的颜色,该颜色的具体颜色值可以根据实际情况灵活决定,在本公开实施例中不做限制。
根据被选中的颜色,以及目标对象在人脸图像中至少一个像素点的原始颜色,可以分别确定目标对象中至少一个像素点的目标颜色,其中,目标颜色可以与被选中的颜色相关,且与原始颜色对应。在一些可能的实现方式中,可以将被选中的颜色与至少一个像素点的原始颜色分别进行融合以得到目标颜色,在一些可能的实现方式中,也可以基于至少一个像素点的原始颜色,分别查找被选中的颜色所在的一定颜色范围中,与该原始颜色对应的目标颜色等。具体如何根据被选中的颜色以及原始颜色来分别得到目标对象中至少一个像素点的目标颜色,其处理方式可以根据实际情况灵活决定,详见下述各公开实施例,在此先不做展开。
步骤S13,将目标对象中至少一个像素点的原始颜色和目标颜色进行融合,得到融合人脸图像。
其中,将目标对象中至少一个像素点的原始颜色和目标颜色进行融合,可以是分别对目标对象中的多个像素点进行融合处理,其中,在像素点被进行融合处理的情况下,可以将该像素点基于原始颜色所确定的目标颜色,与该像素点的原始颜色进行融合,以得到该像素点融合后的颜色,继而得到融合人脸图像。
步骤S13中融合的方式可以根据实际情况灵活变化,详见下述各公开实施例,在此也先不做展开。
在本公开实施例中,通过响应于针对人脸图像的美妆操作,提取人脸图像的目标对象中至少一个像素点的原始颜色,并根据美妆操作中被选中的颜色以及原始颜色,来确定目标对象中至少一个像素点的目标颜色,从而将目标对象中至少一个像素点的原始颜色和目标颜色进行融合,来得到融合人脸图像。通过上述过程,可以令得到的多个像素点的目标颜色分别与各自的原始颜色相对应,从而使得融合了原始颜色和目标颜色的融合人脸图像中的颜色过度更加真实自然,提升了融合人脸图像的效果和真实性。
如上述公开实施例所述,在一种可能的实现方式中,目标对象可以包括待执行粉底处理操作的目标人脸区域,在这种情况下,步骤S11可以包括:
基于预设脸部素材的像素颜色,确定目标人脸区域在人脸图像中的位置;
根据目标人脸区域在人脸图像中的位置,提取人脸图像的目标人脸区域中至少一个像素点的原始颜色。
其中,预设脸部素材可以是用于对人脸图像实现粉底处理的相关素材,预设脸部素材可以通过预设的像素颜色,来表明目标人脸区域所包括的区域和/或部位,其中,预设的像素颜色的颜色种类可以根据实际情况灵活设定,可以包含一种颜色,也可以包含多种颜色。在一个示例中,为了突出目标人脸区域与人脸其他区域之间的区别,预设的像素颜色可以是与人脸图像中包含的颜色具有明显区别的颜色,比如红色、绿色、蓝色或是其他人脸中较为稀有的颜色等。
图2示出根据本公开一实施例的预设脸部素材的示意图,如图所示,在一个示例中,预设脸部素材可以为面部掩模(mask),该面部mask通过红色的像素颜色(灰度处理后图中未体现),表明目标人脸区域包括除眼睛、眉毛和嘴唇以外的其他脸部区域。
在一些可能的实现方式中,预设脸部素材也可以是预先设置的素材,在粉底处理操作被选择的情况下自动被调用;在一种可能的实现方式中,预设脸部素材还可以是在粉底处理操作中用户一并选中的素材。
由于预设脸部素材可以通过预设的像素颜色表明目标人脸区域所包括的区域和/或部位,因此可以基于预设脸部素材的像素颜色,来确定目标人脸区域在人脸图像中的位置。确定的过程可以根据实际情况灵活决定,比如可以将预设脸部素材直接与人脸图像融合后,根据融合后图像中像素的颜色来确定人脸图像中目标人脸区域的位置;或是将预设脸部素材与标准的预设人脸图像融合,再根据融合后图像与人脸图像之间的对应关系,以及融合后图像中像素的颜色来确定人脸图像中目标人脸区域的位置等,具体的确定方式详见下述各公开实施例,在此先不做展开。
原始颜色的实现方式可以详见上述各公开实施例,在此不再赘述。根据目标人脸区域在人脸图像中的位置,提取人脸图像的目标人脸区域中至少一个像素点的原始颜色的方式在本公开实施例中也不做限制,可以根据实际情况灵活决定。在一些可能的实现方式中,可以根据目标人脸区域在人脸图像中的位置,对该区域包含的一个或多个像素点的颜色进行提取,以得到人脸图像的目标人脸区域中至少一个像素点的原始颜色。
在本公开实施例中,通过基于预设脸部素材的像素颜色来确定人脸图像中待执行粉底处理操作的目标人脸区域的位置,从而根据目标人脸区域在人脸图像中的位置,提取人脸图像的目标人脸区域中至少一个像素点的原始颜色。通过上述过程,可以基于预设脸部素材的像素颜色,来从人脸图像中较为精确地定位待执行粉底处理操作的目标人脸区域,提高粉底处理操作的精确度。
在一种可能的实现方式中,基于预设脸部素材的像素颜色,确定目标人脸区域在人脸图像中的位置,可以包括:
将预设脸部素材与预设人脸图像进行融合,得到标准素材图像,其中,标准素材图像中目标人脸区域的像素颜色与预设脸部素材匹配。
获取标准素材图像与人脸图像之间的位置映射关系。
基于标准素材图像的像素颜色与位置映射关系,确定目标人脸区域在人脸图像中的位置。
其中,预设人脸图像可以是标准的人脸图像模板,可以包括完整全面的人脸部位,且各人脸部位在预设人脸图像中的位置是标准的。预设人脸图像的实现形式可以根据实际情况灵活决定,任何人脸图像处理领域中采用的标准脸(standard face)均可以作为预设人脸图像的实现形式。图3示出根据本公开一实施例的预设人脸图像的示意图(为了对图像中的对象进行保护,图中人脸的部分部位进行了马赛克处理),从图中可以看出,在一个示例中,预设人脸图像中包含的人脸部位是清楚、完整且符合人脸中各人脸部位的客观分布的。
由于预设人脸图像中各人脸部位的位置是标准的,因此预设脸部素材可以直接与预设人脸图像进行融合,以得到标准素材图像。预设脸部素材与预设人脸图像进行融合的方式在本公开实施例中不做限制,在一种可能的实现方式中,可以直接将预设脸部素材与预设人脸图像对应的像素点进行叠加,来得到标准素材图像;在一些可能的实现方式中,也可以将预设脸部素材与预设人脸图像按照预设的权重进行叠加融合等。
如上述各公开实施例所述,预设脸部素材可以通过预设的像素颜色,来表明目标人脸区域所包括的区域和/或部位,因此在一些可能的实现方式中,融合后的标注素材图像中,位于目标人脸区域的像素的颜色也可以与预设脸部素材中预设的像素颜色相匹配,从而可以根据像素颜色来确定目标人脸区域在标准素材图像中的位置。在一些可能的实现方式中,颜色相匹配可以是相同或相似等。在一个示例中,标准素材图像中目标人脸区域的像素颜色可以与预设脸部素材中预设的像素颜色一致,比如都是红色;在一个示例中,在预设脸部素材与预设人脸图像按照权重进行叠加融合的情况下,标准素材图像中目标人脸区域的像素颜色可以与预设脸部素材中预设的像素颜色属于相同颜色类别但具有一定的差异,比如预设脸部素材中预设的像素颜色可以是深红色,而融合后标准素材图像中目标人脸区域的像素颜色可以为浅红色等。
基于得到的标准素材图像,可以进一步获取标准素材图像与人脸图像之间的位置映射关系,其中,位置映射关系可以表明相同像素点在标准素材图像与人脸图像之间的位置映射情况。如何确定标准素材图像与人脸图像之间的位置映射关系,确定的方式可以根据实际情况灵活选择,比如可以根据标准素材图像和人脸图像中属于相同人脸部位的像素点在两个图像中的坐标位置,来计算得到位置映射关系,或是根据标准素材图像和人脸图像的图像大小以及顶点坐标等来确定位置映射关系等。获取位置映射关系的可能实现方式详见下述各公开实施例,在此先不做展开。
在得到标准素材图像和位置映射关系以后,可以根据标准素材图像的像素颜色和位置映射关系来确定目标人脸区域在人脸图像中的位置。确定目标人脸区域在人脸图像中的位置的实现方式可以根据实际情况灵活决定,比如可以根据标准素材图像的像素颜色确定目标人脸区域在标准素材图像中的位置,再通过位置映射关系来确定目标人脸区域在人脸图像中的位置;或是根据位置映射关系,将标准素材图像的像素颜色映射至人脸图像中,再基于映射后人脸图像中的像素颜色,确定目标人脸区域在人脸图像中的位置等。同样详见下述各公开实施例,在此先不做展开。
通过本公开实施例,可以将预设脸部素材中的像素颜色先融合至标准的预设人脸图像上,再利用融合后的标准素材图像与人脸图像之间的位置映射关系,确定目标人脸区域在人脸图像中的位置,通过上述过程,可以将标准的预设人脸图像作为中间媒介,利用预设脸部素材中的像素颜色,更为准确地在人脸图像中对目标人脸区域进行定位,进一步提高粉底处理操作的精确度。
在一种可能的实现方式中,获取标准素材图像与人脸图像之间的位置映射关系,可以包括:
对预设人脸图像或标准素材图像进行关键点识别,得到第一关键点识别结果;
对人脸图像进行关键点识别,得到第二关键点识别结果;
根据第一关键点识别结果与第二关键点识别结果中相同关键点之间的位置对应关系,确定标准素材图像与人脸图像之间的位置映射关系。
其中,第一关键点识别结果可以是对预设人脸图像或标准素材图像进行关键点识别所得到的结果,第二关键点识别结果可以是对人脸图像进行关键点识别的结果,“第一”与“第二”仅用于区分关键点识别的对象,不限制识别的顺序或是方式等。
由于标准素材图像可以通过融合预设人脸图像和预设脸部素材所得到,因此标准素材图像中各关键点的位置与预设人脸图像中各关键点的位置是相同的,因此,在一种可能的实现方式中,可以通过对预设人脸图像进行关键点识别以得到第一关键点识别结果,也可以通过对标准素材图像进行关键点识别以得到第一关键点识别结果。
在一些可能的实现方式中,第一关键点识别结果可以包括识别的关键点,还可以包括基于识别的关键点进行插值所得到的插值关键点等。第二关键点识别结果同理,在此不再赘述。其中,识别的关键点可以是对人脸面部中的关键区域位置进行定位的相关关键点,比如眼睛关键点、嘴巴关键点、眉毛关键点或是鼻子关键点等。识别的关键点具体包含哪些关键点以及包含的关键点数量在本公开实施例中不做限制,可以根据实际情况灵活选择。在一些可能的实现方式中,可以识别人脸图像中相关的所有关键点,比如人脸的106个整脸关键点(Face106)等;在一些可能的实现方式中,也可以获取人脸图像中的部分关键点,比如与目标人脸区域相关的关键点,如两颊、下巴或是额头等部位的相关关键点等。
关键点识别的方式在本公开实施例中不做限制,任何可以对图像中的关键点进行识别的方式,均可以作为识别关键点的实现方式。对预设人脸图像或标准素材图像,以及人脸图像进行关键点识别的方式可以相同,也可以不同,在本公开实施例中同样不做限制。在一些可能的实现方式中,可以通过具有关键点识别功能的神经网络,来分别对预设人脸图像或标准素材图像以及人脸图像进行关键点识别。
基于第一关键点识别结果中关键点在标准素材图像中的位置坐标,以及第二关键点识别结果中相同关键点在人脸图像中的位置坐标,可以确定相同关键点在标准素材图像和人脸图像中的位置变换关系,且该位置变换关系可以作为标准素材图像与人脸图像之间的位置映射关系。
在一些可能的实现方式中,还可以基于第一关键点识别结果和第二关键点识别结果,分别在标准素材图像和人脸图像中构建三角网格。构建三角网格的方式在本公开实施例中不做限制,以标准素材图像中的三角网格为例,在一种可能的实现方式中,可以在第一关键点识别结果中包含的多个关键点和/或插值关键点中,每三个相邻的点进行连接以得到多个三角网格。构建的三角网格可以用于后续的融合或渲染,也可以通过三角网格的顶点坐标来确定标准素材图像与人脸图像之间的位置映射关系等。
图4示出根据本公开一实施例的构建的三角网格的示意图(同上,为了对图像中的对象进行保护,图中人脸的部分部位进行了马赛克处理),从图中可以看出,在一种可能的实现方式中,通过对人脸图像的第二关键点识别结果中的关键点或插值关键点进行连接,可以得到多个三角网格。
在本公开实施例中,通过对预设人脸图像或标准素材图像进行关键点识别得到第一关键点识别结果,以及对人脸图像进行关键点识别以得到第二关键点识别结果,从而根据第一关键点识别结果和第二关键点识别结果确定标准素材图像与人脸图像之间的位置映射关系,通过上述过程,可以利用关键点识别,更为精确地确定标准素材图像和人脸图像之间的位置映射关系,继而提升对人脸图像中目标人脸区域定位的精度,从而有效提升粉底处理操作的精度,精准地实现粉底渲染。
在一种可能的实现方式中,基于标准素材图像的像素颜色与位置映射关系,确定目标人脸区域在人脸图像中的位置,包括:
基于标准素材图像的像素颜色,确定标准素材图像中目标人脸区域的位置;
根据位置映射关系,将标准素材图像中目标人脸区域的位置映射至人脸图像中,确定目标人脸区域在人脸图像中的位置。
如上述各公开实施例所述,融合后标准素材图像中目标人脸区域的像素颜色与预设脸部素材匹配,因此,在一种可能的实现方式中,可以将标准素材图像中像素颜色与预设脸部素材中预设的像素颜色匹配的颜色的像素点,确认为属于目标人脸区域的像素点。举例来说,在一个示例中,预设脸部素材中预设的像素颜色为红色,而将预设脸部素材与预设人脸图像融合后,与预设脸部素材融合的像素点的颜色也为红色,在这种情况下,可以将标准素材图像中像素颜色为红色的像素点确认为属于目标人脸区域,从而得到标准素材图像中目标人脸区域的位置;在一个示例中,预设脸部素材中预设的像素颜色为深红色,而将预设脸部素材与预设人脸图像融合后,与预设脸部素材融合的像素点的颜色为与深红色匹配的浅红色,在这种情况下,可以将标准素材图像中像素颜色为浅红色的像素点确认为属于目标人脸区域,从而得到标准素材图像中目标人脸区域的位置等。
在确定标准素材图像中目标人脸区域的位置的情况下,可以根据位置映射关系,将标准素材图像中目标人脸区域的位置映射至人脸图像中,映射的方式在本公开实施例中不做限制,可以根据位置映射关系的实现形式灵活决定,在一个示例中,可以将标准素材图像中目标人脸区域的位置坐标,通过位置映射关系进行坐标转换,来得到目标人脸区域在人脸图像中的位置坐标。
通过本公开实施例,可以基于标准素材图像的像素颜色,对标准素材图像中目标人脸区域的位置进行确定,再进一步基于位置关系来确定目标人脸区域在人脸图像中的位置,通过上述过程,可以利用像素筛选和位置变换,简单快速地对人脸图像中的目标人脸区域进行定位,提升图像处理的速度和便捷程度。
在一种可能的实现方式中,美妆操作可以包括对人脸的目标部位的美化操作,目标对象可以包括待执行美化操作的目标部位;步骤S11可以包括:
获取目标部位对应的目标素材;
根据目标素材中至少一个像素点的透明度,提取人脸图像的目标部位中至少一个像素点的原始颜色。
其中,美化操作的实现方式可以参考上述公开实施例中的美妆操作的各类实现形式,目标部位的实现形式同样可以参考上述公开实施例中目标部位的实现方式,在此均不再赘述。
目标素材可以是用于对人脸图像实现美妆的相关素材,目标素材的实现形式可以根据美妆操作的实际情况灵活决定。在一种可能的实现方式中,在美妆操作包括唇妆操作的情况下,目标素材可以是唇妆素材,比如唇部掩模(mask)等。在一些可能的实现方式中,目标素材也可以是上述公开实施例中提到的预设脸部素材。
在一种可能的实现方式中,目标素材可以是在美妆操作中用户一并选中的素材;在一些可能的实现方式中,目标素材也可以是预先设置的素材,在美妆操作被选择的情况下自动被调用。在一些可能的实现方式中,目标素材还可以是基于人脸图像,对原始目标素材进行处理后所得到的素材。如何获取目标素材,其实现方式可以详见下述各公开实施例,在此先不做展开。
在获取目标部位对应的目标素材以后,可以根据目标素材中至少一个像素点的透明度,来提取人脸图像的目标部位中至少一个像素点的原始颜色。其中,提取的方式可以根据实际情况灵活决定,在一种可能的实现方式中,可以在目标素材中的像素点的透明度属于预设透明度范围的情况下,将人脸图像中与像素点的位置对应的区域,作为目标部位所在图像区域,并提取该图像区域中多个像素点的原始颜色。
其中,预设透明度范围的具体范围情况可以根据实际情况灵活决定,在一种可能的实现方式中,可以将预设透明度范围设定为低于100%,即在目标素材中像素点的透明度低于100%(并非全透明)的情况下,可以将人脸图像中与像素点的位置对应的区域,作为目标部位所在图像区域,并提取图像区域内像素点的原始颜色;在一种可能的实现方式中,也可以将预设透明度范围设定为低于其他透明度值,或是处于某一透明度范围以内等,本公开实施例对预设透明度范围的范围值不做限定。
通过在目标素材中的像素点的透明度属于预设透明度范围的情况下,对人脸图像对应的像素点的原始颜色进行提取,通过上述过程,可以通过设定预设透明度范围的值,更有针对性地确定符合需求的目标部位所在图像区域,从而从人脸图像中提取到更加准确的目标部位中的原始颜色,继而提升后续得到的融合人脸图像的可靠性和真实性。
图5示出根据本公开一实施例的目标素材的示意图,从图中可以看出,在一个示例中,目标素材可以为唇部掩模,且该唇部掩模中不同像素点的透明度不同,可以更好地表现自然真实的唇部形状,因此基于该唇部掩模提取到的人脸图像中的原始颜色,也更加准确可靠。
通过获取目标部位对应的目标素材,并根据目标素材中至少一个像素点的透明度来提取人脸图像的目标部位中至少一个像素点的原始颜色,通过上述过程,可以提取到更加真实可靠,与人脸图像中唇部真实位置相对应的原始颜色,继而使得后续基于原始颜色得到的融合人脸图像更加真实自然。
在一种可能的实现方式中,本公开实施例提出的方法还可以包括:对人脸图像中的目标部位进行识别,得到人脸图像中目标部位的初始位置。
其中,初始位置可以是根据人脸图像所确定的,目标部位在人脸图像中的大致位置。确定目标部位的初始位置的方法,在本公开实施例中不做限制,可以根据实际情况灵活选择,不局限于下述各公开实施例。
在一种可能的实现方式中,可以通过对目标部位的关键点进行识别的方式来确定目标部位的初始位置,比如可以根据识别到的目标部位的关键点在人脸图像中的坐标来确定初始位置;或是根据识别到目标部位的关键点来对目标部位在人脸图像中的范围进行确定,以得到目标部位的初始位置等。
在一种可能的实现方式中,对人脸图像中的目标部位进行识别,得到人脸图像中目标部位的初始位置,可以包括:
获取人脸图像中的至少一个人脸关键点;
根据人脸关键点,在人脸图像中构建与目标部位对应的三角网格;
根据三角网格的位置坐标,确定人脸图像中目标部位的初始位置。
其中,人脸关键点可以是对人脸面部中的关键区域位置进行定位的相关关键点,比如眼睛关键点、嘴巴关键点、眉毛关键点或是鼻子关键点等。获取到的人脸关键点具体包含哪些关键点以及包含的关键点数量在本公开实施例中不做限制,可以根据实际情况灵活选择。在一些可能的实现方式中,可以获取人脸图像中相关的所有关键点,比如人脸的106个整脸关键点(Face106)等;在一些可能的实现方式中,也可以获取人脸图像中的部分关键点,比如与目标部位相关的关键点,比如嘴唇部位的相关关键点等。
获取人脸关键点的方式在本公开实施例中不做限制,任何可以对图像中的人脸关键点进行识别的方式,均可以作为获取人脸关键点的实现方式。在一些可能的实现方式中,人脸关键点以及获取人脸关键点的方式,均可以参考上述各公开实施例中关键点识别的方式,在此不再赘述。
在获取到至少一个人脸关键点以后,可以根据人脸关键点,在人脸图像中构建三角网格。构建三角网格的方式在本公开实施例中不做限制,同样可以参考上述各公开实施例,在此不再赘述。
在一种可能的实现方式中,也可以根据人脸关键点,在人脸图像中构建与目标部位对应的三角网格,其中,构建三角网格的方式可以参考上述各公开实施例,区别在于可以获取与目标部位相关的人脸关键点和插值点,来构建与目标部位对应的三角网格,而省略对人脸图像中其他部位的三角网格的构建。
在得到与目标部位对应的三角网格以后,可以根据该三角网格在人脸图像中的位置坐标,来确定人脸图像中目标部位的初始位置。初始位置的表现形式在本公开实施例中不做限制,在一种可能的实现方式中,可以将目标部位对应的一个或多个三角网格的中心点位置作为目标部位的初始位置;在一种可能的实现方式中,也可以将目标部位对应的一个或多个三角网格的各顶点坐标作为目标部位的初始位置等,可以根据实际情况进行灵活选择。
通过获取人脸图像中的至少一个人脸关键点,并根据人脸关键点,在人脸图像中构建与目标部位对应的三角网格,从而根据三角网格的位置坐标,确定人脸图像中目标部位的初始位置。通过上述过程,可以通过关键点识别与网格构建的方式,高效且准确地对目标部位在人脸图像中的部位进行初步定位,从而便于后续获取与目标部位匹配的目标素材,继而提高图像处理的精度和真实性。
在一种可能的实现方式中,获取目标部位对应的目标素材可以包括:
根据目标部位,获取与目标部位对应的原始目标素材;
将原始目标素材与预设人脸图像中的目标部位进行融合,得到标准素材图像;
基于初始位置,对标准素材图像进行提取,得到目标素材。
其中,原始目标素材可以是预先设置好的,与美妆操作所绑定的素材,比如与唇妆操作对应的可以是原始的唇部掩模作为原始目标素材等。获取原始目标素材的方式在本公开实施例中不做限制,可以将美妆操作中选中的素材作为原始目标素材,也可以根据美妆操作,自动读取对应的原始目标素材等。
预设人脸图像的实现形式可以参考上述各公开实施例,在此不再赘述。由于预设人脸图像中各人脸部位的位置是标准的,因此原始目标素材可以直接与预设人脸图像中目标部位对应的位置进行融合,以得到标准素材图像。原始目标素材与预设人脸图像中目标部位进行融合的方式在本公开实施例中不做限制,在一种可能的实现方式中,可以直接将原始目标素材与预设人脸图像中目标部位中对应的像素点进行相加,来得到标准素材图像;在一些可能的实现方式中,也可以将原始目标素材与预设人脸图像中的目标部位按照预设的权重进行相加融合等。
将原始目标素材与预设人脸图像中的目标部位进行融合,可以得到标准素材图像,标准素材图像的实现形式可以参考上述各公开实施例,在此不再赘述。在一种可能的实现方式中,可以基于上述各公开实施例中的初始位置,来从标准素材图像中提取目标素材。
在一种可能的实现方式中,基于初始位置提取目标素材的方式可以包括:获取标准素材图像中与初始位置对应范围内的各像素点的颜色值和透明度,将包含颜色值和透明度的多个像素点所构成的图像,作为目标素材。
通过将原始目标素材与预设人脸图像中的目标部位进行融合,得到标准素材图像,并基于初始位置,从标准素材图像中提取目标素材,由于初始位置是根据对人脸图像中目标部位进行识别所得到的,因此通过上述过程,可以使得获取的目标素材与人脸图像中目标部位所在的位置更加对应,从而使得提取到的目标部位中至少一个像素点的原始颜色更加真实可靠。
在一种可能的实现方式中,步骤S12可以包括:
根据美妆操作中被选中的颜色,对人脸图像的目标对象中至少一个像素点的原始颜色进行对应颜色查找,得到目标对象中至少一个像素点的目标颜色。
其中,目标颜色可以在被选中的颜色的范围中,基于原始颜色进行对应查找所确定的颜色,该目标颜色属于被选中的颜色范围以内,且与原始颜色相对应。
如何根据被选中的颜色和原始颜色,对人脸图像的目标对象中至少一个像素点的目标颜色进行对应颜色查找,其查找方式可以根据实际情况灵活决定,详见下述各公开实施例,在此先不做展开。
通过根据美妆操作中被选中的颜色,对人脸图像的目标对象中至少一个像素点的原始颜色进行对应颜色查找,得到目标对象中至少一个像素点的目标颜色。通过上述过程,可以利用颜色查找,得到属于被选中的颜色的范围,且与原始颜色对应的目标颜色,从而使得目标颜色的颜色更加真实,不同像素点之间颜色的过度更加自然,继而提升了融合人脸图像的自然程度,也提升了美妆效果。
在一种可能的实现方式中,根据美妆操作中被选中的颜色,对人脸图像的目标对象中至少一个像素点的原始颜色进行对应颜色查找,得到目标对象中至少一个像素点的目标颜色,可以包括:
根据美妆操作中被选中的颜色,获取与被选中的颜色对应的颜色查找表,其中,颜色查找表中的输出颜色以渐变形式进行排列;
在颜色查找表中分别查找与人脸图像的目标对象中至少一个像素点的原始颜色对应的输出颜色,作为目标对象中至少一个像素点的目标颜色。
其中,颜色查找表可以包含多个输入颜色与输出颜色之间的对应关系,其中输入颜色可以为向颜色查找表进行查找的颜色,输出颜色可以为颜色查找表中查找到的颜色。举例来说,比如根据输入颜色A在颜色查找表中查找,可以找到与A对应的输出颜色B。颜色查找表中颜色之间的对应关系可以根据实际情况灵活设定,在本公开实施例中不做限制。在一种可能的实现方式中,颜色查找表中的输出颜色可以通过渐变形式进行排列,具体的排列方式在本公开实施例中不做限制,不局限于下述各公开实施例。
在一种可能的实现方式中,可以根据美妆操作中被选中的颜色,来获取与被选中的颜色对应的颜色查找表,在这种情况下,颜色查找表中的输出颜色属于对应的被选中的颜色的范围以内,因而根据颜色查找表查找到的目标颜色,可以在被选中的颜色的相应范围以内,且与原始颜色相互对应。
在获取到颜色查找表以后,可以根据目标对象中多个像素点的原始颜色,分别从颜色查找表中查找各像素点对应的输出颜色,来作为目标对象中多个像素点的目标颜色。查找的方式可以根据颜色查找表的形式灵活决定,在本公开实施例中不做限定。
图6示出根据本公开一实施例的颜色查找表的示意图,从图中可以看出,在一个示例中,颜色查找表中包括多个自然过渡的渐变色作为输出颜色(由于灰度图显示的限制,图中深浅不同的颜色实际上为具有颜色区别的渐变色),在获取到目标人脸区域中多个像素点的原始颜色后,可以从颜色查找表中分别查找这多个像素点的输出颜色来作为目标颜色。
通过根据美妆操作中被选中的颜色,获取与被选中的颜色对应的包含多个渐变输出颜色的颜色查找表,并在颜色查找表中分别查找与人脸图像的目标对象中至少一个像素点的原始颜色对应的输出颜色,来作为目标对象中至少一个像素点的目标颜色,通过上述过程,可以利用包含渐变输出颜色的颜色查找表,得到颜色过渡自然的目标颜色,从而使得后续得到的目标颜色的过渡也更加自然,提高得到的融合人脸图像的自然程度和美妆效果。
在一种可能的实现方式中,目标对象可以包括上述公开实施例中提到的目标部位,通过颜色查找得到的目标对象的至少一个像素点的目标颜色可以为初始目标颜色,在这种情况下,步骤S12还可以包括:
根据目标部位中至少一个像素点的初始目标颜色,确定目标部位中至少一个像素点的目标颜色。
其中,初始目标颜色可以是上述公开实施例中提到的目标颜色,即在被选中的颜色的范围中,基于原始颜色进行对应查找所确定的颜色,该初始目标颜色属于被选中的颜色范围以内,且与原始颜色相对应。
在一些可能的实现方式中,步骤S12还可以基于初始目标颜色进一步确定目标颜色。在一种可能的实现方式中,可以将初始目标颜色直接作为目标颜色;在一些可能的实现方式中,还可以对初始目标颜色进行一些处理,比如进行调整或是与其他颜色进行融合等,来得到目标颜色;在一些可能的实现方式中,还可以根据美妆操作对应的处理类型,来选择如何对初始目标颜色进行处理以得到目标颜色等。如何根据初始目标颜色进一步确定目标颜色,其实现方式同样可以详见下述各公开实施例,在此也先不做展开。
通过根据初始目标颜色确定目标部位中至少一个像素点的目标颜色。通过上述过程,可以基于初始目标颜色进行进一步目标颜色调整,进一步提升融合人脸图像的自然程度与美妆效果。
在一种可能的实现方式中,根据目标部位中至少一个像素点的初始目标颜色,确定目标部位中至少一个像素点的目标颜色,可以包括:
在美妆操作对应的处理类型包括自然处理的情况下,将目标部位中至少一个像素点的初始目标颜色,作为目标部位中至少一个像素点的目标颜色。或者,
在美妆操作对应的处理类型包括金属光效处理的情况下,基于随机获取的噪声值,对目标部位中至少一个像素点的初始目标颜色进行调整,得到目标部位中至少一个像素点的目标颜色。
其中,自然处理和金属光效处理的处理效果可以参考上述各公开实施例,在此不再赘述。噪声值可以为向图像中各像素点添加的噪声数值或信息,随机获取噪声值的方式可以为,通过生成随机数据的方式,来得到随机获取的噪声值,随机数据的生成方式在本公开实施例中不做限制,详见下述各公开实施例,在此先不做展开。
在一种可能的实现方式中,可以在处理类型为自然处理的情况下,直接将初始目标颜色作为目标颜色。
在一种可能的实现方式中,还可以在处理类型为金属光效处理的情况下,基于随机获取的噪声值来对目标部位中至少一个像素点的初始目标颜色进行调整,来改变不同像素点的颜色使得目标部位出现金属光效的效果。其中,对哪些像素点的颜色进行调整,以及如何基于随机获取到的噪声值,来对初始目标颜色进行调整,其实现方式可以根据实际需求灵活发生变化,详见下述各公开实施例,在此先不做展开。
通过本公开实施例,可以在美妆操作对应的处理类型不同的情况下,选择不同的方式对初始目标颜色进行调整以确定目标颜色,提高了美妆操作的灵活性;而且通过随机获取的噪声值,来对目标部位中至少一个像素点的初始目标颜色进行调整,可以基于随机数据调整颜色,得到更加自然的金属光效果。
在一种可能的实现方式中,基于随机获取的噪声值,对目标部位中至少一个像素点的初始目标颜色进行调整,得到目标部位中至少一个像素点的目标颜色,可以包括:
针对目标部位中至少一个像素点,分别获取与像素点对应的噪声值;
在噪声值属于预设噪声范围以内的情况下,根据噪声值以及像素点在目标素材中对应的透明度,对像素点的初始目标颜色进行调整,得到像素点的目标颜色;或者,
在噪声值属于预设噪声范围以外的情况下,根据像素点的亮度信息,对像素点的初始目标颜色进行调整,得到像素点的目标颜色。
其中,对于目标部位中包括的一个或多个像素点,可以分别获取各像素点的噪声值,其中,各像素点的噪声值均可以是通过随机的方式进行获取的,获取方式可以根据实际情况灵活选择。在一种可能的实现方式中,可以通过生成在某一数值范围内的随机数的方式,来得到各像素点的噪声值。在一种可能的实现方式中,针对目标部位中至少一个像素点,分别获取与像素点对应的噪声值,可以包括:
获取预设噪声纹理;
根据至少一个像素点在目标部位中的位置,在预设噪声纹理的对应位置处进行采样,获得到与像素点对应的噪声值。
其中,预设噪声纹理可以是形状与目标部位相匹配的图像,该图像中各点的噪声值可以预先随机生成。在一种可能的实现方式中,可以根据目标部位与预设噪声纹理之间的位置对应关系,分别确定目标部位中各像素点在预设噪声纹理中对应的噪声值。
通过获取预设噪声纹理,并根据该预设噪声纹理获取目标部位中至少一个像素点的噪声值,通过上述过程,可以通过较为便捷地获取多个像素点的对应噪声值,在使得获取到的噪声值为随机值的同时,提升了获取噪声值的效率,从而提高图像处理的效率。
在分别获取到至少一个像素点对应的噪声值以后,可以通过噪声值与预设噪声范围之间的比较,来确定不同像素点对应的处理方式。其中,预设噪声范围的数值可以根据实际情况灵活设定,不局限于下述各公开实施例,在一个示例中,预设噪声范围可以分布在0~1之间,比如0.98~1.0或是0.78~0.8等。
在像素点对应的噪声值属于预设噪声范围的情况下,可以根据该像素点对应的噪声值,以及该像素点在目标素材中对应的像素点的透明度,来对像素点的初始目标颜色进行调整,从而得到像素点的目标颜色。具体的调整方式可以根据实际情况灵活选择,不局限于下述各公开实施例。
在一种可能的实现方式中,根据噪声值以及像素点在目标素材中对应的透明度,对像素点的初始目标颜色进行调整,得到像素点的目标颜色,可以包括:
根据噪声值以及像素点在目标素材中对应像素点的透明度,确定对初始目标颜色进行调整的调整系数;
根据调整系数和预设光源值,对像素点的初始目标颜色进行调整,得到像素点的目标颜色。
其中,目标素材的实现方式可以详见上述各公开实施例,在此不再赘述。调整系数可以是对初始目标颜色进行调整过程中的相关参数。根据噪声值以及透明度所确定的调整系数,其计算方式可以根据实际情况灵活决定,不局限于下述公开实施例,在一个示例中,根据噪声值以及透明度确定调整系数的方式可以通过下述公式(1)进行表示:
调整系数=噪声值×pow(透明度,4.0) (1)
其中,pow(x,y)表明计算x的y次方的结果,因而pow(透明度,4.0)为计算透明度的4次方的值。
在确定调整系数以后,可以根据调整系数和预设光源值来确定像素点的目标颜色,其中,预设光源值可以为根据实际情况灵活为美妆操作进行设定的光源值,其数值的大小在本公开实施例中不做限制。
基于调整系数和预设光源值对初始目标颜色进行调整的方式,同样可以根据实际情况灵活设定,不局限于下述各公开实施例,在一个示例中,根据调整系数和预设光源值确定目标颜色的方式可以通过下述公式(2)进行表示:
目标颜色=初始目标颜色+调整系数×预设光源值 (2)
通过上述过程,可以在噪声值属于预设噪声范围以内的情况下,得到目标部位中至少一个像素点的目标颜色。
在一种可能的实现方式中,噪声值也可能属于预设噪声范围以外,在这种情况下,可以根据像素点的亮度信息,来对像素点的初始目标颜色进行调整,以得到像素点的目标颜色。其中,亮度信息可以为根据像素点在人脸图像的目标部位中的颜色等情况所确定的相关信息,其包含的信息内容可以根据实际情况灵活决定。如何确定像素点的亮度信息,以及如何根据亮度信息调整初始目标颜色,其实现方式可以详见下述各公开实施例,在此先不做展开。
在本公开实施例中,通过针对目标部位中至少一个像素点,分别获取与像素点对应的噪声值,并在噪声值属于预设噪声范围以内的情况下,根据噪声值来对像素点的初始目标颜色进行调整,在噪声值属于预设噪声范围以外的情况下,根据像素点的亮度信息对初始目标颜色进行调整,通过上述过程,可以通过随机生成的像素点的噪声值与预设噪声范围的比较,对不同像素点进行不同方式的颜色调整处理,从而更好地对金属光效中的闪烁情况进行模拟,得到更加自然逼真的金属光效果。
在一种可能的实现方式中,亮度信息可以包括第一亮度、第二亮度以及第三亮度,根据像素点的亮度信息,对像素点的初始目标颜色进行调整,得到像素点的目标颜色,可以包括:
根据像素点的原始颜色,确定像素点的第一亮度。
根据像素点在目标部位中的预设处理范围,确定预设处理范围中具有目标亮度的像素点的第二亮度。
通过预设卷积核对所述像素点进行滤波,根据像素点经过滤波所得到的中间颜色,确定像素点的第三亮度,其中,预设卷积核的滤波范围与所述预设处理范围一致。
根据第一亮度、第二亮度以及第三亮度,对像素点的初始目标颜色进行调整,得到像素点的目标颜色。
其中,第一亮度可以为根据像素点的原始颜色的颜色值所确定的亮度值,其中,亮度值可以通过对颜色值进行计算所确定,在一个示例中,亮度值可以根据颜色值中三个颜色通道(红色R、绿色G以及蓝色B)的值进行计算所得到。
第二亮度同样可以根据具有目标亮度的像素点的颜色值所确定,其中,具有目标亮度的像素点,可以是在人脸图像的目标部位中,位于像素点的预设处理范围以内且具有最高亮度的像素点。其中,预设处理范围的范围大小可以根据实际情况灵活设定,在本公开实施例中不做限制。
第三亮度可以是根据对像素点的中间颜色的颜色值所确定的亮度值,其中,像素点的中间颜色,可以是通过预设卷积核对像素点进行滤波后所得到的颜色。其中,预设卷积核的形式与大小可以根据实际情况灵活设定,在一种可能的实现方式中,预设卷积核的滤波范围与上述公开实施例中的预设处理范围一致,即在一个示例中,一方面可以通过预设卷积核对像素点进行滤波处理,以得到该像素点在滤波后的中间颜色,并根据中间颜色的颜色值计算对应的亮度值,作为第三亮度,另一方面可以将预设卷积核对像素点进行滤波所覆盖的区域范围作为预设处理范围,则人脸图像的目标部位中,位于该预设处理范围以内且具有最高亮度的像素点的亮度值,可以作为第二亮度。
滤波的方式在本公开实施例中也不做限制,可以根据实际情况灵活选择,在一个示例中,可以通过预设卷积核对像素点进行高斯滤波。
上述各公开实施例中,第一亮度、第二亮度以及第三亮度的确定顺序在本公开实施例中不做限定,可以同时确定,也可以按照一定的顺序依次确定等,根据实际情况灵活选择即可。
在一种可能的实现方式中,可以根据确定的第一亮度、第二亮度和第三亮度对像素点的初始目标颜色进行调整,以得到像素点的目标颜色,如何根据这三个亮度实现调整,其实现方式可以详见下述各公开实施例,在此先不做展开。
通过根据像素点的原始颜色确定的第一亮度、根据像素点在目标部位中的预设处理范围所确定的第二亮度以及根据像素点滤波后的颜色值所确定的第三亮度,来对像素点的初始目标颜色进行调整,可以充分考虑到人脸图像中像素点在一定范围内的亮度信息,从而使得基于该亮度信息所确定的目标颜色可以更加真实可靠,提高融合人脸图像的美妆效果和真实性。
在一种可能的实现方式中,根据第一亮度、第二亮度以及第三亮度,对像素点的初始目标颜色进行调整,得到像素点的目标颜色,包括:
在第一亮度小于第三亮度的情况下,根据第一亮度以及第三亮度,对像素点的初始目标颜色进行调整,得到像素点的目标颜色;
在第一亮度大于所述第三亮度的情况下,根据第一亮度、第二亮度、第三亮度以及预设的亮度半径,对像素点的初始目标颜色进行调整,得到像素点的目标颜色。
其中,无论是在第一亮度小于第三亮度的情况,还是在第一亮度大于第三亮度的情况,对初始目标颜色进行调整的方式均可以参考上述公开实施例中的公式(2),即根据相应的数据确定像素点的调整系数,然后利用调整系数和预设光源值,对初始目标颜色进行调整。
在第一亮度小于第三亮度的情况下,可以根据第一亮度和第三亮度来确定调整系数,确定的方式可以根据实际情况灵活选择,不局限于下述各公开实施例。在一种可能的实现方式中,根据第一亮度以及第三亮度,确定调整系数的方式,可以通过下述公式(3)进行表示:
调整系数=(第三亮度-第一亮度)/(1.0-第一亮度) (3)
在第一亮度大于第三亮度的情况下,可以根据第一亮度、第二亮度、第三亮度以及预设的亮度半径来确定调整系数,其中,预设的亮度半径可以决定金属光效果中金属光亮斑的半径,预设的亮度半径的值可以根据实际情况灵活设定,在本公开实施例中不做限定。在一种可能的实现方式中,根据第一亮度、第二亮度、第三亮度以及预设的亮度半径,确定调整系数的方式,可以通过下述公式(4)进行表示:
调整系数=pow((第一亮度-第三亮度)/(第二亮度-第三亮度),shiness)(4)
其中,pow的计算方式可以参考上述公式(1),在此不再赘述,shiness为预设的亮度半径。
在第一亮度等于第三亮度的情况下,可以通过上述公式(3)来计算调整系数,也可以通过上述公式(4)来计算调整系数,无论通过何种方式,得到的调整系数均为0。
通过第一亮度与第三亮度的比较情况,灵活对像素点的初始目标颜色进行调整,以得到像素点的目标颜色,通过上述过程,可以根据亮度值的比较情况,灵活改变对初始目标颜色的调整方式,提高图像处理过程的灵活性和真实性。
在得到目标颜色以后,可以通过步骤S13,来对原始颜色和目标颜色进行融合,在一种可能的实现方式中,步骤S13可以包括:
根据预设融合强度,分别确定原始颜色的第一融合比例以及目标颜色的第二融合比例;
根据第一融合比例和第二融合比例,将原始颜色与目标颜色进行融合,得到融合人脸图像。
其中,预设融合强度用于指示原始颜色和目标颜色在融合过程中各自的融合比例或权重,其数值可以根据实际情况灵活设定。在一种可能的实现方式中,可以预先设置好原始颜色与目标颜色的融合权重,作为预设融合强度;在一种可能的实现方式中,针对于人脸图像的美妆操作中,也可以包括对融合强度的选择强度,在这种情况下,可以将美妆操作中被选中的融合强度作为预设融合强度。
第一比例可以是原始颜色在融合过程中的融合比例,第二比例可以是目标颜色在融合过程中的融合比例,在根据预设融合强度分别确定第一融合比例和第二融合比例以后,可以将原始颜色与目标颜色按照对应的融合比例进行相互融合,以得到融合人脸图像,其中,在按照融合比例进行融合的过程中,可以是直接通过相加进行融合,也可以是通过一些其他的方式,如正片叠底或是柔光等图像处理方式进行融合,具体选择何种融合方式在本公开实施例中同样不做限制。
在一个示例中,预设融合强度可以为小于1的百分比数值,在这种情况下,可以将预设融合强度作为目标颜色的第二融合比例,并将1与该预设融合强度的差值作为原始颜色的第一融合比例,继而根据第一融合比例和第二融合比例实现融合,融合的过程可以通过下述公式(5)进行表述:
Color=srcColor*(1.0-strength)+lutColor*strength (5)
其中,Color为融合后融合人脸图像中的像素值,srcColor为原始颜色的像素值,lutColor为目标颜色的像素值,strength为预设融合强度。
通过根据预设融合强度,分别确定原始颜色与目标颜色的第一融合比例和第二融合比例,并将原始颜色与目标颜色分别按照对应的融合比例进行融合,得到融合人脸图像,通过上述过程,还可以根据实际需求,灵活设定预设融合强度,来得到融合强度与效果符合需求的融合人脸图像,提升了图像处理的灵活性。
随着美妆操作中处理类型的不同,最终得到的融合人脸图像也可以灵活随之变化。图7示出根据本公开一实施例的人脸图像的示意图,图8~图11示出根据本公开一实施例的融合人脸图像的示意图(同上述各公开实施例,为了对图像中的对象进行保护,各图中人脸的部分部位进行了马赛克处理),其中图8和图9为基于不同被选中的颜色对图7进行粉底处理操作所得到的融合人脸图像,由于图像处理为灰度图后,两图之间的颜色差异可能不太明显;图10为在自然处理的唇妆处理方式下得到的融合人脸图像;图11为在金属光效的唇妆处理方式下得到的融合人脸图像。通过上述各图像可以看出,通过上述各公开实施例提出的图像处理方法,可以得到较为真实自然,具有较好融合效果的融合人脸图像。
图12示出根据本公开一实施例的图像处理装置的框图。如图所示,所述图像处理装置20可以包括:
原始颜色提取模块21,用于响应于针对人脸图像的目标对象的美妆操作,提取人脸图像的目标对象中至少一个像素点的原始颜色。
目标颜色确定模块22,用于根据美妆操作中被选中的颜色以及目标对象中至少一个像素点的原始颜色,确定目标对象中至少一个像素点的目标颜色。
融合模块23,用于将目标对象中至少一个像素点的原始颜色和目标颜色进行融合,得到融合人脸图像。
在一种可能的实现方式中,美妆操作包括粉底处理操作,目标对象包括待执行粉底处理操作的目标人脸区域;原始颜色提取模块用于:基于预设脸部素材的像素颜色,确定目标人脸区域在人脸图像中的位置;根据目标人脸区域在人脸图像中的位置,提取人脸图像的目标人脸区域中至少一个像素点的原始颜色。
在一种可能的实现方式中,原始颜色提取模块进一步用于:将预设脸部素材与预设人脸图像进行融合,得到标准素材图像,其中,标准素材图像中目标人脸区域的像素颜色与预设脸部素材匹配;获取标准素材图像与人脸图像之间的位置映射关系;基于标准素材图像的像素颜色与位置映射关系,确定目标人脸区域在人脸图像中的位置。
在一种可能的实现方式中,原始颜色提取模块进一步用于:对预设人脸图像或标准素材图像进行关键点识别,得到第一关键点识别结果;对人脸图像进行关键点识别,得到第二关键点识别结果;根据第一关键点识别结果与第二关键点识别结果中相同关键点之间的位置对应关系,确定标准素材图像与人脸图像之间的位置映射关系。
在一种可能的实现方式中,原始颜色提取模块进一步用于:基于标准素材图像的像素颜色,确定标准素材图像中目标人脸区域的位置;根据位置映射关系,将标准素材图像中目标人脸区域的位置映射至人脸图像中,确定目标人脸区域在人脸图像中的位置。
在一种可能的实现方式中,美妆操作包括对人脸的目标部位的美化操作;目标对象包括待执行美化操作的目标部位;原始颜色提取模块用于:获取目标部位对应的目标素材;根据目标素材中至少一个像素点的透明度,提取人脸图像的目标部位中至少一个像素点的原始颜色。
在一种可能的实现方式中,装置还用于:对人脸图像中的目标部位进行识别,得到人脸图像中目标部位的初始位置;原始颜色提取模块进一步用于:根据目标部位,获取与目标部位对应的原始目标素材;将原始目标素材与预设人脸图像中的目标部位进行融合,得到标准素材图像;基于初始位置,对标准素材图像进行提取,得到目标素材。
在一种可能的实现方式中,目标颜色确定模块用于:根据美妆操作中被选中的颜色,对人脸图像的目标对象中至少一个像素点的原始颜色进行对应颜色查找,得到目标对象中至少一个像素点的目标颜色。
在一种可能的实现方式中,目标颜色确定模块进一步用于:根据美妆操作中被选中的颜色,获取与被选中的颜色对应的颜色查找表,其中,颜色查找表中的输出颜色以渐变形式进行排列;在颜色查找表中分别查找与人脸图像的目标对象中至少一个像素点的原始颜色对应的输出颜色,作为目标对象中至少一个像素点的目标颜色。
在一种可能的实现方式中,目标对象包括目标部位,通过颜色查找得到的目标对象的至少一个像素点的目标颜色为初始目标颜色,目标颜色确定模块还用于:根据目标部位中至少一个像素点的初始目标颜色,确定目标部位中至少一个像素点的目标颜色。
在一种可能的实现方式中,目标颜色确定模块进一步用于:在美妆操作对应的处理类型包括自然处理的情况下,将目标部位中至少一个像素点的初始目标颜色,作为目标部位中至少一个像素点的目标颜色;或者,在美妆操作对应的处理类型包括金属光效处理的情况下,基于随机获取的噪声值,对目标部位中至少一个像素点的初始目标颜色进行调整,得到目标部位中至少一个像素点的目标颜色。
在一种可能的实现方式中,目标颜色确定模块进一步用于:针对目标部位中至少一个像素点,分别获取与像素点对应的噪声值;在噪声值属于预设噪声范围以内的情况下,根据噪声值以及像素点在目标素材中对应的透明度,对像素点的初始目标颜色进行调整,得到像素点的目标颜色;或者,在噪声值属于预设噪声范围以外的情况下,根据像素点的亮度信息,对像素点的初始目标颜色进行调整,得到像素点的目标颜色。
在一种可能的实现方式中,目标颜色确定模块进一步用于:获取预设噪声纹理;根据至少一个像素点在目标部位中的位置,在预设噪声纹理的对应位置处进行采样,获得到与像素点对应的噪声值。
在一种可能的实现方式中,亮度信息包括第一亮度、第二亮度、第三亮度;目标颜色确定模块进一步用于:根据像素点的原始颜色,确定像素点的第一亮度;根据像素点在目标部位中的预设处理范围,确定预设处理范围中具有目标亮度的像素点的第二亮度;通过预设卷积核对像素点进行滤波,根据像素点经过滤波所得到的中间颜色,确定像素点的第三亮度,其中,预设卷积核的滤波范围与预设处理范围一致;根据第一亮度、第二亮度以及第三亮度,对像素点的初始目标颜色进行调整,得到像素点的目标颜色。
在一种可能的实现方式中,目标颜色确定模块进一步用于:在第一亮度小于第三亮度的情况下,根据第一亮度以及第三亮度,对像素点的初始目标颜色进行调整,得到像素点的目标颜色;在第一亮度大于第三亮度的情况下,根据第一亮度、第二亮度、第三亮度以及预设的亮度半径,对像素点的初始目标颜色进行调整,得到像素点的目标颜色。
在一种可能的实现方式中,融合模块用于:根据预设融合强度,分别确定原始颜色的第一融合比例以及目标颜色的第二融合比例;根据第一融合比例和第二融合比例,将原始颜色与目标颜色进行融合,得到融合人脸图像。
应用场景示例一
图13示出根据本公开一应用示例的示意图,如图所示,本公开应用示例提出了一种图像处理方法,以得到更加真实自然的粉底妆容的图像,包括如下过程:
步骤S31,实时采集人脸图像,获取待试妆的人脸图像。
步骤S32,确定人脸图像中需要做粉底处理的目标人脸区域,包括:
步骤S321,获取标准的预设人脸图像,以及,与预设人脸图像对应的预设脸部素材(mask),其中,mask表明预设人脸图像中需要做粉底处理的目标人脸区域,该mask中需要做粉底处理的目标人脸区域的颜色设置为一个预设值,如红色的颜色值等;
步骤S322,预设人脸图像中预先标识有人脸的关键点(106人脸关键点或240人脸关键点)、根据人脸的关键点插值出的关键点,以及通过连接关键点构建得到三角网格;
步骤S323,识别人脸图像上的关键点,并采用同样的方式进行插值处理并构建得到人脸图像上的三角网格;
步骤S324,将mask与预设人脸图像进行融合,得到标准素材图像,则标准素材图像中需要做粉底处理的目标人脸区域的像素点的像素值与mask中像素点设置的预设值一致;
步骤S325,根据预设人脸图像(或标准素材图像)中关键点或插值的关键点,与人脸图像中关键点获插值的关键点,建立标准素材图像与人脸图像之间的映射关系,由于根据标准素材图像中像素点的像素值颜色,可以确定标准素材图像中属于目标人脸区域的像素点,根据该映射关系,也可以确定人脸图像中属于目标人脸区域的像素点。
步骤S33,获取在图片处理软件中(如photoshop)预先制作好的与被选中的粉底颜色对应的颜色查找表,其中,不同的粉底型号可对应不同的粉底效果,因此可针对不同类型的粉底颜色或色号,分别定制其对应的颜色查找表。
步骤S34,提取人脸图像中目标人脸区域内像素的原始颜色,通过该原始颜色在颜色查找表上查找对应的目标颜色。
步骤S35,将查找到的目标颜色与原始颜色按照预设融合强度(如用户所给的效果强度)进行融合,得到融合人脸图像,其中,融合的过程可以参考上述各公开实施例中的公式(1)。
通过本公开应用示例提出的方法,可以基于预设脸部素材的像素颜色确定人脸图像中的目标人脸区域,并根据人脸图像中目标人脸区域至少一个像素点的原始颜色,对应查找确定各像素点的目标颜色,从而得到融合原始颜色与目标颜色的融合人脸图像,该融合人脸图像中融合的目标人脸区域位置准确,渲染准确度和精度较高,且融合后的颜色过度自然,颜色渐变,具有较高的真实性和较好的美妆效果。
应用场景示例二
图14示出根据本公开一应用示例的示意图,如图所示,本公开应用示例提出了一种图像处理方法,以得到更加真实自然的唇妆处理后的图像,包括如下过程:
步骤S41,响应于针对人脸图像的唇部的唇妆操作,将原始的唇妆素材(图5中的唇妆mask)放置到如图3所示的预设人脸图像中唇部所在的位置,得到标准素材图像;
步骤S42,在人脸图像中,通过关键点识别确定人脸关键点,并使用人脸关键点与通过人脸关键点插值出的一些点构建如图4所示的人脸图像中人脸区域的三角网格;
步骤S43,通过人脸关键点对应的三角网格,确定人脸图像中唇部的位置坐标去采样标准素材图像,来获取目标素材;
步骤S44,根据目标素材,确定人脸图像中唇部所在图像区域,得到人脸图像中唇部部位的图像;
步骤S45,提取唇部部位的图像中多个像素点的原始颜色,并通过该原始颜色在如图6所示的颜色查找表上查找对应的初始目标颜色;
步骤S46,通过一个预设的卷积核,获取该卷积核对唇部部位的图像做高斯滤波之后各像素点的中间颜色以及中间颜色对应的第二亮度,以及该卷积核在唇部部位的图像上进行移动的过程中,覆盖的每个区域中具有最高亮度的像素点的第三亮度;
步骤S47,在对人脸图像中的唇部进行自然光效处理的情况下,可以直接将各像素点的初始目标颜色作为目标颜色,并将目标颜色与原始颜色按照用户所给的预设融合强度进行融合,得到如图10所示的融合人脸图像;
步骤S48,在对人脸图像中的唇部进行金属光效处理的情况下,可以通过下述过程确定目标颜色,并将目标颜色与原始颜色按照用户所给的预设融合强度进行融合,得到如图11所示的融合人脸图像。
其中,确定目标颜色的过程可以为:通过纹理坐标在噪声纹理上进行采样,得到唇部部位的图像中各像素点对应的随机噪声值;
对于各像素点,分别判断其对应的噪声值是否在预设噪声范围之内(预设噪声范围可以分布在0~1之间的不同部分,如0.98~1.0,0.78~0.8等);
若在预设噪声范围内,采用下述A方法确定该像素点的调整系数,否则采用下述B方法确定该像素点的调整系数:
A、通过噪声值以及目标素材的透明度来计算调整系数:
调整系数首先等于噪声值;
调整系数=调整系数*pow(目标素材的透明度,4.0)。
B、通过像素点的第一亮度(与像素点的颜色值对应的亮度值)、第二亮度、第三亮度以及预设的亮度半径(决定高光点的半径)进行计算得到调整系数:
如果第一亮度小于第三亮度,则:
调整系数=(第三亮度–第一亮度)/(1.0–第一亮度);
如果第一亮度大于第三亮度,则:
调整系数=pow((第一亮度–第三亮度)/(第二亮度-第三亮度),shinness),其中shiness为上述预设的亮度半径。
在通过A获B确定调整系数以后,可以根据得到的调整系数,以及预设的光源值来对初始目标颜色进行调整,得到目标颜色:
目标颜色=初始目标颜色+调整系数×光源值。
通过本公开应用示例提出的方法,可以根据人脸图像中目标部位至少一个像素点的原始颜色,对应查找确定各像素点的目标颜色,从而得到融合原始颜色与目标颜色的融合人脸图像,该融合人脸图像中融合后的颜色过度自然,颜色渐变,具有较高的真实性和较好的美妆效果。
上述各公开应用示例中提出的图像处理方法,除了可以应用于对人脸图像进行粉底处理操作和/或唇妆操作以外,还可以扩展应用于其他的美妆操作,比如腮红或是眼影等美妆操作,随着美妆操作类型的不同,本公开应用示例提出的图像处理方法可以相应的进行灵活扩展与改动。
可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性计算机可读存储介质或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为上述方法。
在实际应用中,上述存储器可以是易失性存储器(volatile memory),例如RAM;或者非易失性存储器(non-volatile memory),例如ROM,快闪存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器提供指令和数据。
上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本公开实施例不作具体限定。
电子设备可以被提供为终端、服务器或其它形态的设备。
基于前述实施例相同的技术构思,本公开实施例还提供了一种计算机程序,该计算机程序被处理器执行时实现上述方法。
图15是根据本公开实施例的一种电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等终端。
参照图15,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关人员信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图16是根据本公开实施例的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图16,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态人员信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (19)

1.一种图像处理方法,其特征在于,包括:
响应于针对人脸图像的目标对象的美妆操作,提取所述人脸图像的目标对象中至少一个像素点的原始颜色;
根据所述美妆操作中被选中的颜色以及所述目标对象中至少一个像素点的原始颜色,确定所述目标对象中至少一个像素点的目标颜色;
将所述目标对象中至少一个像素点的原始颜色和目标颜色进行融合,得到融合人脸图像。
2.根据权利要求1所述的方法,其特征在于,所述美妆操作包括粉底处理操作,所述目标对象包括待执行粉底处理操作的目标人脸区域;
所述提取所述人脸图像的目标对象中至少一个像素点的原始颜色,包括:
基于预设脸部素材的像素颜色,确定所述目标人脸区域在所述人脸图像中的位置;
根据所述目标人脸区域在所述人脸图像中的位置,提取所述人脸图像的所述目标人脸区域中至少一个像素点的原始颜色。
3.根据权利要求2所述的方法,其特征在于,所述基于预设脸部素材的像素颜色,确定所述目标人脸区域在所述人脸图像中的位置,包括:
将所述预设脸部素材与预设人脸图像进行融合,得到标准素材图像,其中,所述标准素材图像中所述目标人脸区域的像素颜色与所述预设脸部素材匹配;
获取所述标准素材图像与所述人脸图像之间的位置映射关系;
基于所述标准素材图像的像素颜色与所述位置映射关系,确定所述目标人脸区域在所述人脸图像中的位置。
4.根据权利要求3所述的方法,其特征在于,所述获取所述标准素材图像与所述人脸图像之间的位置映射关系,包括:
对所述预设人脸图像或所述标准素材图像进行关键点识别,得到第一关键点识别结果;
对所述人脸图像进行关键点识别,得到第二关键点识别结果;
根据所述第一关键点识别结果与所述第二关键点识别结果中相同关键点之间的位置对应关系,确定所述标准素材图像与所述人脸图像之间的位置映射关系。
5.根据权利要求3或4所述的方法,其特征在于,所述基于所述标准素材图像的像素颜色与所述位置映射关系,确定所述目标人脸区域在所述人脸图像中的位置,包括:
基于所述标准素材图像的像素颜色,确定所述标准素材图像中所述目标人脸区域的位置;
根据所述位置映射关系,将所述标准素材图像中目标人脸区域的位置映射至所述人脸图像中,确定所述目标人脸区域在所述人脸图像中的位置。
6.根据权利要求1所述的方法,其特征在于,所述美妆操作包括对人脸的目标部位的美化操作;所述目标对象包括待执行美化操作的目标部位;
所述提取所述人脸图像的目标部位中至少一个像素点的原始颜色,包括:
获取所述目标部位对应的目标素材;
根据所述目标素材中至少一个像素点的透明度,提取所述人脸图像的目标部位中至少一个像素点的原始颜色。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述人脸图像中的目标部位进行识别,得到所述人脸图像中目标部位的初始位置;
所述获取所述目标部位对应的目标素材,包括:
根据所述目标部位,获取与所述目标部位对应的原始目标素材;
将所述原始目标素材与预设人脸图像中的目标部位进行融合,得到标准素材图像;
基于所述初始位置,对所述标准素材图像进行提取,得到目标素材。
8.根据权利要求1至7中任意一项所述的方法,其特征在于,所述根据所述美妆操作中被选中的颜色以及所述目标对象中至少一个像素点的原始颜色,确定所述目标对象中至少一个像素点的目标颜色,包括:
根据所述美妆操作中被选中的颜色,对所述人脸图像的目标对象中至少一个像素点的原始颜色进行对应颜色查找,得到所述目标对象中至少一个像素点的目标颜色。
9.根据权利要求8所述的方法,其特征在于,所述根据所述美妆操作中被选中的颜色,对所述人脸图像的目标对象中至少一个像素点的原始颜色进行对应颜色查找,得到所述目标对象中至少一个像素点的目标颜色,包括:
根据所述美妆操作中被选中的颜色,获取与所述被选中的颜色对应的颜色查找表,其中,所述颜色查找表中的输出颜色以渐变形式进行排列;
在所述颜色查找表中分别查找与所述人脸图像的目标对象中至少一个像素点的原始颜色对应的输出颜色,作为所述目标对象中至少一个像素点的目标颜色。
10.根据权利要求8或9所述的方法,其特征在于,所述目标对象包括目标部位,通过颜色查找得到的所述目标对象的至少一个像素点的目标颜色为初始目标颜色,所述方法还包括:
根据所述目标部位中至少一个像素点的初始目标颜色,确定所述目标部位中至少一个像素点的目标颜色。
11.根据权利要求10所述的方法,其特征在于,所述根据所述目标部位中至少一个像素点的初始目标颜色,确定所述目标部位中至少一个像素点的目标颜色,包括:
在所述美妆操作对应的处理类型包括自然处理的情况下,将所述目标部位中至少一个像素点的初始目标颜色,作为所述目标部位中至少一个像素点的目标颜色;或者,
在所述美妆操作对应的处理类型包括金属光效处理的情况下,基于随机获取的噪声值,对所述目标部位中至少一个像素点的初始目标颜色进行调整,得到所述目标部位中至少一个像素点的目标颜色。
12.根据权利要求11所述的方法,其特征在于,所述基于随机获取的噪声值,对所述目标部位中至少一个像素点的初始目标颜色进行调整,得到所述目标部位中至少一个像素点的目标颜色,包括:
针对所述目标部位中至少一个像素点,分别获取与所述像素点对应的噪声值;
在所述噪声值属于预设噪声范围以内的情况下,根据所述噪声值以及所述像素点在目标素材中对应的透明度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色;或者,
在所述噪声值属于预设噪声范围以外的情况下,根据所述像素点的亮度信息,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色。
13.根据权利要求12所述的方法,其特征在于,所述针对所述目标部位中至少一个像素点,分别获取与所述像素点对应的噪声值,包括:
获取预设噪声纹理;
根据所述至少一个像素点在所述目标部位中的位置,在所述预设噪声纹理的对应位置处进行采样,获得到与所述像素点对应的噪声值。
14.根据权利要求12或13所述的方法,其特征在于,所述亮度信息包括第一亮度、第二亮度、第三亮度;
所述根据所述像素点的亮度信息,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色,包括:
根据所述像素点的原始颜色,确定所述像素点的第一亮度;
根据所述像素点在所述目标部位中的预设处理范围,确定所述预设处理范围中具有目标亮度的像素点的第二亮度;
通过预设卷积核对所述像素点进行滤波,根据所述像素点经过滤波所得到的中间颜色,确定所述像素点的第三亮度,其中,所述预设卷积核的滤波范围与所述预设处理范围一致;
根据所述第一亮度、所述第二亮度以及所述第三亮度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色。
15.根据权利要求14所述的方法,其特征在于,所述根据所述第一亮度、所述第二亮度以及所述第三亮度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色,包括:
在所述第一亮度小于所述第三亮度的情况下,根据所述第一亮度以及所述第三亮度,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色;
在所述第一亮度大于所述第三亮度的情况下,根据所述第一亮度、所述第二亮度、所述第三亮度以及预设的亮度半径,对所述像素点的初始目标颜色进行调整,得到所述像素点的目标颜色。
16.根据权利要求1至15中任意一项所述的方法,其特征在于,所述将所述目标对象中至少一个像素点的原始颜色和目标颜色进行融合,得到融合人脸图像,包括:
根据预设融合强度,分别确定所述原始颜色的第一融合比例以及所述目标颜色的第二融合比例;
根据所述第一融合比例和所述第二融合比例,将所述原始颜色与所述目标颜色进行融合,得到融合人脸图像。
17.一种图像处理装置,其特征在于,包括:
原始颜色提取模块,用于响应于针对人脸图像的目标对象的美妆操作,提取所述人脸图像的目标对象中至少一个像素点的原始颜色;
目标颜色确定模块,用于根据所述美妆操作中被选中的颜色以及所述目标对象中至少一个像素点的原始颜色,确定所述目标对象中至少一个像素点的目标颜色;
融合模块,用于将所述目标对象中至少一个像素点的原始颜色和目标颜色进行融合,得到融合人脸图像。
18.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至16中任意一项所述的方法。
19.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至16中任意一项所述的方法。
CN202110571420.5A 2021-02-23 2021-05-25 图像处理方法及装置、电子设备和存储介质 Pending CN113160094A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2021/133045 WO2022179215A1 (zh) 2021-02-23 2021-11-25 图像处理方法及装置、电子设备和存储介质
TW110147368A TW202234341A (zh) 2021-02-23 2021-12-17 圖像處理方法及裝置、電子設備、儲存媒體和程式產品

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110203312.2A CN112801916A (zh) 2021-02-23 2021-02-23 图像处理方法及装置、电子设备和存储介质
CN2021102033122 2021-02-23

Publications (1)

Publication Number Publication Date
CN113160094A true CN113160094A (zh) 2021-07-23

Family

ID=75815416

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110203312.2A Pending CN112801916A (zh) 2021-02-23 2021-02-23 图像处理方法及装置、电子设备和存储介质
CN202110571420.5A Pending CN113160094A (zh) 2021-02-23 2021-05-25 图像处理方法及装置、电子设备和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110203312.2A Pending CN112801916A (zh) 2021-02-23 2021-02-23 图像处理方法及装置、电子设备和存储介质

Country Status (3)

Country Link
CN (2) CN112801916A (zh)
TW (1) TW202234341A (zh)
WO (1) WO2022179215A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763287A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN113762212A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN113781359A (zh) * 2021-09-27 2021-12-10 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2022179215A1 (zh) * 2021-02-23 2022-09-01 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2023005850A1 (zh) * 2021-07-30 2023-02-02 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质及计算机程序产品
WO2023169287A1 (zh) * 2022-03-11 2023-09-14 北京字跳网络技术有限公司 美妆特效的生成方法、装置、设备、存储介质和程序产品

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240760B (zh) * 2021-06-29 2023-11-24 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN113436284A (zh) * 2021-07-30 2021-09-24 上海商汤智能科技有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN113763286A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN115348709B (zh) * 2022-10-18 2023-03-28 良业科技集团股份有限公司 适用于文旅的智慧云服务照明展示方法及系统
CN116503933B (zh) * 2023-05-24 2023-12-12 北京万里红科技有限公司 一种眼周特征提取方法、装置、电子设备及存储介质
CN117078685B (zh) * 2023-10-17 2024-02-27 太和康美(北京)中医研究院有限公司 基于图像分析的化妆品功效评价方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859098A (zh) * 2019-01-15 2019-06-07 深圳市云之梦科技有限公司 人脸图像融合方法、装置、计算机设备及可读存储介质
CN111784568A (zh) * 2020-07-06 2020-10-16 北京字节跳动网络技术有限公司 人脸图像处理方法、装置、电子设备及计算机可读介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191410B (zh) * 2018-08-06 2022-12-13 腾讯科技(深圳)有限公司 一种人脸图像融合方法、装置及存储介质
US10467803B1 (en) * 2018-09-11 2019-11-05 Apple Inc. Techniques for providing virtual lighting adjustments utilizing regression analysis and functional lightmaps
CN111047511A (zh) * 2019-12-31 2020-04-21 维沃移动通信有限公司 一种图像处理方法及电子设备
CN112767285B (zh) * 2021-02-23 2023-03-10 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112801916A (zh) * 2021-02-23 2021-05-14 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112766234B (zh) * 2021-02-23 2023-05-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859098A (zh) * 2019-01-15 2019-06-07 深圳市云之梦科技有限公司 人脸图像融合方法、装置、计算机设备及可读存储介质
CN111784568A (zh) * 2020-07-06 2020-10-16 北京字节跳动网络技术有限公司 人脸图像处理方法、装置、电子设备及计算机可读介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022179215A1 (zh) * 2021-02-23 2022-09-01 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2023005850A1 (zh) * 2021-07-30 2023-02-02 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质及计算机程序产品
CN113763287A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN113762212A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN113781359A (zh) * 2021-09-27 2021-12-10 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2023169287A1 (zh) * 2022-03-11 2023-09-14 北京字跳网络技术有限公司 美妆特效的生成方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN112801916A (zh) 2021-05-14
TW202234341A (zh) 2022-09-01
WO2022179215A1 (zh) 2022-09-01

Similar Documents

Publication Publication Date Title
CN112767285B (zh) 图像处理方法及装置、电子设备和存储介质
CN113160094A (zh) 图像处理方法及装置、电子设备和存储介质
CN112766234B (zh) 图像处理方法及装置、电子设备和存储介质
CN109816764B (zh) 图像生成方法及装置、电子设备和存储介质
CN110929651A (zh) 图像处理方法、装置、电子设备及存储介质
CN109672830B (zh) 图像处理方法、装置、电子设备及存储介质
CN109472738B (zh) 图像光照校正方法及装置、电子设备和存储介质
CN111553864A (zh) 图像修复方法及装置、电子设备和存储介质
CN111091610B (zh) 图像处理方法及装置、电子设备和存储介质
WO2023045941A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN113194254A (zh) 图像拍摄方法及装置、电子设备和存储介质
CN112767288A (zh) 图像处理方法及装置、电子设备和存储介质
CN110807769B (zh) 图像显示控制方法及装置
CN113822798B (zh) 生成对抗网络训练方法及装置、电子设备和存储介质
CN113570581A (zh) 图像处理方法及装置、电子设备和存储介质
WO2023045946A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN113450431B (zh) 虚拟头发染色方法、装置、电子设备及存储介质
WO2023142645A1 (zh) 图像处理方法、装置、电子设备、存储介质和计算机程序产品
WO2023045961A1 (zh) 虚拟对象的生成方法及装置、电子设备和存储介质
WO2023045950A1 (zh) 图像处理方法及装置、电子设备和存储介质
EP3273437A1 (en) Method and device for enhancing readability of a display
CN113570583A (zh) 图像处理方法及装置、电子设备和存储介质
CN111553865B (zh) 图像修复方法及装置、电子设备和存储介质
CN113012052B (zh) 图像处理方法及装置、电子设备和存储介质
CN109934168B (zh) 人脸图像映射方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051282

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20210723

RJ01 Rejection of invention patent application after publication