CN109272579A - 基于三维模型的美妆方法、装置、电子设备和存储介质 - Google Patents

基于三维模型的美妆方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN109272579A
CN109272579A CN201810934579.7A CN201810934579A CN109272579A CN 109272579 A CN109272579 A CN 109272579A CN 201810934579 A CN201810934579 A CN 201810934579A CN 109272579 A CN109272579 A CN 109272579A
Authority
CN
China
Prior art keywords
makeups
target object
model
human face
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810934579.7A
Other languages
English (en)
Other versions
CN109272579B (zh
Inventor
阎法典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810934579.7A priority Critical patent/CN109272579B/zh
Publication of CN109272579A publication Critical patent/CN109272579A/zh
Application granted granted Critical
Publication of CN109272579B publication Critical patent/CN109272579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提出一种基于三维模型的美妆方法、装置、电子设备和存储介质,其中,方法包括:获取目标对象的二维人脸图像,以及人脸图像对应的深度信息,根据深度信息和人脸图像,进行三维重构,得到目标对象的人脸三维模型,根据人脸三维模型,确定目标对象每个脸部关键区域的立体程度,根据每个脸部关键区域的立体程度,确定目标对象对应的美妆模型,根据目标对象对应的美妆模型,将目标对象的二维人脸图像进行美妆处理。该方法无需用户反复调整来寻找适合自己的美妆模板,灵活便捷。并且,由于人脸三维模型中携带有深度信息,因而基于人脸三维模型进行美妆,增强了美妆效果和立体感。

Description

基于三维模型的美妆方法、装置、电子设备和存储介质
技术领域
本申请涉及电子设备技术领域,尤其涉及一种基于三维模型的美妆方法、装置、电子设备和存储介质。
背景技术
随着移动终端技术的不断发展,越来越多的用户选择使用移动终端,如手机、掌上电脑等,进行拍照。为了达到较佳的拍摄效果,还可以采用相关的图像处理手段对图像进行处理。例如,对人脸进行美妆处理。
相关技术中,基于二维图像进行的美妆处理,需要用户不断地调整不同的美妆模版来选取适合自己的美妆风格,操作繁琐且立体感不强。
发明内容
本申请提出一种基于三维模型的美妆方法、装置、电子设备和存储介质,用于解决相关技术中基于二维人脸图像的美妆方法,操作繁琐且立体感不强的问题。
本申请一方面实施例提出一种基于三维模型的美妆方法,包括:
获取目标对象的二维人脸图像,以及所述人脸图像对应的深度信息;
根据所述深度信息和所述人脸图像,进行三维重构,得到所述目标对象的人脸三维模型;
根据所述人脸三维模型,确定所述目标对象每个脸部关键区域的立体程度;
根据所述每个脸部关键区域的立体程度,确定所述目标对象对应的美妆模型;
根据所述目标对象对应的美妆模型,将所述目标对象的二维人脸图像进行美妆处理。
本申请实施例的基于三维模型的美妆方法,通过首先获取目标对象的二维人脸图像,以及人脸图像对应的深度信息,然后根据深度信息和人脸图像,进行三维重构,得到目标对象的人脸三维模型,根据人脸三维模型,确定目标对象每个脸部关键区域的立体程度,再根据每个脸部关键区域的立体程度,确定目标对象对应的美妆模型,根据目标对象对应的美妆模型,将目标对象的二维人脸图像进行美妆处理。由此,通过建立的人脸三维模型确定人脸每个脸部关键区域的立体程度,根据立体程度自动确定适合目标对象的美妆模型,从而无需用户反复调整来寻找适合自己的美妆模板,灵活便捷。并且,由于人脸三维模型中携带有深度信息,因而基于人脸三维模型进行美妆,增强了美妆效果和立体感。
本申请另一方面实施例提出一种基于三维模型的美妆装置,包括:
获取模块,用于获取目标对象的二维人脸图像,以及所述人脸图像对应的深度信息;
重构模块,用于根据所述深度信息和所述人脸图像,进行三维重构,得到所述目标对象的人脸三维模型;
第一确定模块,用于根据所述人脸三维模型,确定所述目标对象每个脸部关键区域的立体程度;
第二确定模块,用于根据所述每个脸部关键区域的立体程度,确定所述目标对象对应的美妆模型;
美妆模块,用于根据所述目标对象对应的美妆模型,将所述目标对象的二维人脸图像进行美妆处理。
本申请实施例的基于三维模型的美妆装置,通过获取目标对象的二维人脸图像,以及人脸图像对应的深度信息,根据深度信息和人脸图像,进行三维重构,得到目标对象的人脸三维模型,根据人脸三维模型,确定目标对象每个脸部关键区域的立体程度,根据每个脸部关键区域的立体程度,确定目标对象对应的美妆模型,根据目标对象对应的美妆模型,将目标对象的二维人脸图像进行美妆处理。由此,通过建立的人脸三维模型确定人脸每个脸部关键区域的立体程度,根据立体程度自动确定适合目标对象的美妆模型,从而无需用户反复调整来寻找适合自己的美妆模板,灵活便捷。并且,由于人脸三维模型中携带有深度信息,因而基于人脸三维模型进行美妆,增强了美妆效果和立体感。
本申请另一方面实施例提出一种电子设备,包括处理器和存储器;
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如上述一方面实施例所述的基于三维模型的美妆方法。
本申请另一方面实施例提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述一方面实施例所述的基于三维模型的美妆方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例提供的一种基于三维模型的美妆方法的流程示意图;
图2本申请实施例中人脸三维模型的框架示意图一;
图3本申请实施例中人脸三维模型的框架示意图二;
图4为本申请实施例提供的另一种基于三维模型的美妆方法的流程示意图;
图5为本申请实施例提供的一种调整美妆模型角度的方法的流程示意图;
图6为本申请实施例提供的一种基于三维模型的美妆装置的结构示意图;
图7示出了适于用来实现本申请实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于三维模型的美妆方法、装置、电子设备和存储介质。
本申请各实施例,针对相关技术中基于二维人脸图像的美妆方法,操作繁琐且立体感不强的问题,提出一种基于三维模型的美妆方法。
本申请实施例的基于三维模型的美妆方法,首先获取目标对象的二维人脸图像,以及人脸图像对应的深度信息,然后根据深度信息和人脸图像,进行三维重构,得到目标对象的人脸三维模型,根据人脸三维模型,确定目标对象每个脸部关键区域的立体程度,再根据每个脸部关键区域的立体程度,确定目标对象对应的美妆模型,最后根据目标对象对应的美妆模型,将目标对象的二维人脸图像进行美妆处理。由此,通过建立的人脸三维模型确定人脸每个脸部关键区域的立体程度,根据立体程度自动确定适合目标对象的美妆模型,从而无需用户反复调整来寻找适合自己的美妆模板,灵活便捷。并且,由于人脸三维模型中携带有深度信息,因而基于人脸三维模型进行美妆,增强了美妆效果和立体感。
图1为本申请实施例提供的一种基于三维模型的美妆方法的流程示意图。
本申请实施例提供的三维模型的美妆方法,可以由本申请提供的三维模型的美妆装置执行,上述装置配置于电子设备中,以实现根据人脸三维模型进行美妆。
其中,本实施例中的电子设备可以为任意具有拍照功能的硬件设备,如手机、掌上电脑、穿戴式设备等。
如图1所示,该基于三维模型的美妆方法包括:
步骤101获取目标对象的二维人脸图像,以及人脸图像对应的深度信息。
本申请实施例中,电子设备可以包括可见光图像传感器,可以基于电子设备中的可见光图像传感器获取目标对象的二维的人脸图像。具体地,可见光图像传感器可以包括可见光摄像头,可见光摄像头可以捕获由人脸反射的可见光进行成像,得到二维人脸图像。
本申请实施例中,电子设备还可以包括结构光图像传感器,可以基于电子设备中的结构光图像传感器,获取人脸对应的深度信息。可选地,结构光图像传感器可以包括镭射灯以及激光摄像头。脉冲宽度调制(Pulse Width Modulation,简称PWM)可以调制镭射灯以发出结构光,结构光照射至成人脸,激光摄像头可以捕获由人脸反射的结构光进行成像,得到人脸对应的结构光图像。深度引擎可以根据人脸对应的结构光图像,计算获得人脸对应的深度信息,即二维人脸图像对应的深度信息。
可选地,电子设备中预存有目标对象对应的二维人脸图像和二维人脸图像对应的深度信息,从而可以直接获取目标对象的二维人脸图像及二维人脸图像对应的深度信息,进而利用预存的目标对象的二维人脸图像及二维人脸图像对应的深度信息构建目标对象的人脸三维模型。
步骤102,根据深度信息和人脸图像,进行三维重构,得到目标对象的人脸三维模型。
本申请实施例中,可以从至少两个角度获取目标对象的至少两张二维人脸图像,及至少两张二维人脸图像分别对应的深度信息。
在获取多张二维人脸图像和二维人脸图像对应的深度信息后,可以根据多张二维人脸图像和对应的深度信息,进行三维重构,得到目标对象的人脸三维模型。
作为一种可能的实现方式,可以将深度信息与二维人脸图像对应的色彩信息进行融合,得到目标对象的人脸三维模型。具体地,可以基于人脸关键点检测技术,从深度信息提取人脸的关键点,以及从色彩信息中提取人脸的关键点,而后将从深度信息中提取的关键点和从色彩信息中提取的关键点,进行配准和关键点融合处理,最终根据融合后的关键点,生成目标对象的人脸三维模型。其中,关键点为人脸上显眼的点,或者为关键位置上的点,例如关键点可以为眼角、鼻尖、嘴角等。
作为另一种可能的实现方式,可以基于人脸关键点检测技术,对每张二维人脸图像进行关键点识别,得到各第三关键点,而后根据各第三关键点在每张二维人脸图像中的位置及各第三关键点的深度信息,确定与各第三关键点对应的各第二关键点在三维空间中的相对位置,从而可以根据各第二关键点在三维空间中的相对位置,生成由相邻的各第二关键点拼接的局部三维框架。
在确定各局部三维框架后,可以根据各局部三维框架中的重合部分,对不同的局部三维框架进行拼接,得到目标对象的人脸三维模型。具体地,可以根据各局部三维框架中包含的相同第二关键点,对各局部三维框架进行拼接,得到目标对象的人脸三维模型。
比如,根据额头三维框架与眼睛三维框架包含的相同的第二关键点,将额头三维框架与眼睛三维框架进行拼接,据此根据各局部三维框架中包含的相同第二关键点,将各个局部三维框架进行拼接,可以得到人脸三维模型。
作为一种示例,参见图2和图3,图2和图3分别为不同的角度获取的两张二维人脸图像所对应的目标对象的人脸三维模型的示意图。
本申请中,目标对象的人脸三维模型的构建,是根据深度信息和二维人脸图像,进行三维重构得到的,而不是简单的获取RGB数据和深度数据。
步骤103,根据人脸三维模型,确定目标对象每个脸部关键区域的立体程度。
本实施例中,人脸三维模型中包括多个关键点和多个关键点的位置信息。在获取目标对象的人脸三维模型后,可根据目标对象的人脸三维模型中多个关键的位置信息,将相邻的多个关键点作为顶点拼接得到多个脸部关键区域。例如,经过相邻关键点拼接,得到鼻子、眼睛、嘴巴、下巴、额头等脸部关键区域。
并且,根据每个脸部关键区域内各关键点间的位置关系,可以确定每个脸部关键区域的立体程度。比如,根据鼻子区域中,鼻尖对应的关键点与鼻根对应的关键点间的位置关系,即可确定鼻子的立体程度。
步骤104,根据每个脸部关键区域的立体程度,确定目标对象对应的美妆模型。
其中,美妆模型可包括以下各模型中的一个或多个:眼妆模型、唇妆模型、脸颊美妆模型等。另外,各美妆模型还可以分为模特风格、欧美风格、萝莉风格等不同的类型。
在实际应用中,不同的人相同脸部关键区域的立体程度可能不同,而立体程度不同可能会适应不同的美妆效果。例如,深眼窝比较适合欧美风格的美妆效果。
基于此,为了提高美妆效果,本实施例中,可预先对每个脸部关键区域的立体程度进行等级划分,不同的等级对应不同风格的美妆模型。在确定每个脸部关键区域的立体程度后,即可根据每个脸部关键区域的立体程度,确定每个脸部关键区域的立体程度等级,进而将每个脸部关键区域的立体程度等级对应的美妆模型,确定为每个脸部关键区域对应的美妆模型,从而确定目标对象对应的美妆模型。
例如,目标对象的眼窝较深,则眼睛对应欧美风格的眼妆,目标对象的鼻子高挺适合欧美风格的美妆模型等。
步骤105,根据目标对象对应的美妆模型,将目标对象的二维人脸图像进行美妆处理。
在确定目标对象对应的美妆模型后,可根据美妆模型和目标对象的人脸三维模型,得到带有美妆的人脸三维模型,进而得到经过美妆处理后的二维人脸图像。例如,对目标对象的二维人脸图像进行眼妆处理、唇妆处理等等,得到带有眼妆、唇妆的二维人脸图像。
图4为本申请实施例提供的另一种基于三维模型的美妆方法的流程示意图。如图4所示,该基于三维模型的美妆方法包括:
步骤201,获取目标对象的二维人脸图像,以及人脸图像对应的深度信息。
步骤202,根据深度信息和人脸图像,进行三维重构,得到目标对象的人脸三维模型。
步骤203,根据人脸三维模型,确定目标对象每个脸部关键区域的立体程度。
步骤204,根据每个脸部关键区域的立体程度,确定目标对象对应的美妆模型。
本实施例中,步骤201-步骤204与上述步骤101-步骤104类似,故在此不再赘述。
步骤205,将目标对象对应的美妆模型与目标对象的人脸三维模型进行融合处理,得到美妆处理后的三维模型。
在确定目标对象对应的美妆模型后,将每个脸部关键区域对应的美妆模型,与目标对象的人脸三维模型进行融合处理。具体地,可将每个脸部关键区域对应的美妆模型分别与对应的脸部关键区域进行贴合处理,从而得到美妆处理后的三维模型。
例如,目标对象的眼睛对应的美妆模型为欧美风格的眼妆,那么将美妆模型与人脸三维模型融合处理后,可以得到带有欧美风格眼妆的人脸三维模型。
步骤206,将美妆处理后的三维模型映射到二维平面,以得到美妆处理后的二维人脸图像。
由于目标对象的人脸三维模型经过了美妆处理,那么将美妆处理后的三维模型映射到二维平面,便可以得到带有美妆的二维人脸图像。
本申请实施例中,根据每个脸部关键区域的立体程度,确定适合每个脸部关键区域的美妆模型,不仅无需用户手动调整适合用户自己的美妆,而且增强了美妆效果。由于人脸三维模型携带有深度信息,所以基于人脸三维模型得到的美妆处理后的二维人脸图像,立体感更强。
在实际应用中,二维人脸图像中人脸可能会存在一定的角度,如人脸向左偏一定的角度,为了使美妆模型与目标对象的人脸三维模型进行完美的融合,在将目标对象的美妆模型与目标对象的人脸三维模型进行融合处理之前,对美妆模型进行角度调整。图5为本申请实施例提供的一种调整美妆模型角度的方法的流程示意图。
如图5所示,该调整美妆模型角度的方法包括:
步骤301,根据目标对象的人脸三维模型,确定目标对象的二维人脸图像中人脸的角度。
本实施例中,可预先建立二维人脸图像中人脸偏移正面不同角度时,同一关键点在二维人脸图像中的位置偏移量,以得到人脸角度与偏移量之间的对应关系。在确定目标对象的二维人脸图像中人脸的角度时,将目标对象的人脸三维模型映射得到二维平面,从而根据同一关键点的位置偏移量,即可确定目标对象的二维人脸图像中人脸的角度。
步骤302,根据目标对象的二维人脸图像中人脸的角度,调整与目标对象对应的美妆模型的角度。
在确定目标对象的二维人脸图像中人脸的角度后,可将与目标对象对应的美妆模型的角度调整到与二维人脸图像中人脸相同的角度。
在调整完美妆模型的角度后,将调整角度后的美妆模型与人脸三维模型进行融合处理,使得目标对象的美妆模型与人脸三维模型进行完美融合。
在实际使用中,不同的目标对象其人脸三维模型的尺寸存在差异,如果美妆模型的尺寸与人脸三维模型的尺寸不匹配,则在将目标对象对应的美妆模型与目标对象的人脸三维模型进行融合处理之前,对目标对象对应的美妆模型进行形变处理,以使形变后的美妆模型的尺寸与目标对象的人脸三维模型的尺寸匹配。
例如,人脸三维模型中眼睛对应的眼妆模型的尺寸小于眼睛的尺寸,则对眼妆模型进行拉伸处理,使得眼妆模型尺寸与眼睛大小匹配。
本实施例中,通过对二维人脸图像和二维人脸图像对应的深度信息,进行重构得到人脸三维模型。由于拍摄时人处于不同的光线环境,得到二维人脸图像的光效存在差异,例如逆光拍摄的人脸图像相对顺光拍摄的人脸图像的较暗,那么根据二维人脸图像得到的人脸三维模型的光效也会存在差异。
基于此,在将目标对象对应的美妆模型与目标对象的人脸三维模型进行融合处理之前,可根据目标对象的人脸三维模型的光效,将目标对象对应的美妆模型进行渲染处理。例如,目标对象的人脸三维模型的光效较弱,人脸较暗,则对美妆模型进行渲染处理,使美妆模型与目标对象的人脸模型的光效匹配。
在对目标对象对应的美妆模型进行渲染处理后,将渲染处理后的美妆模型与目标对象的人脸三维模型进行融合处理,得到美妆处理后的三维模型,进而根据美妆处理后的三维模型,得到美妆处理后的二维人脸图像。
需要说明的是,上述实施例中对美妆模型进行角度调整、形变处理以及渲染处理等三种处理方式,可根据实际需要对美妆模型进行选择性处理。例如,目标对象对应的美妆模型的角度与二维人脸图像的角度一致,则不需要对美妆模型进行角度调整。
为了实现上述实施例,本申请实施例还提出一种基于三维模型的美妆装置。图6为本申请实施例提供的一种基于三维模型的美妆装置的结构示意图。
如图6所示,该基于三维模型的美妆装置包括:获取模块410、重构模块420、第一确定模块430、第二确定模块440、美妆模块450。
获取模块410用于获取目标对象的二维人脸图像,以及人脸图像对应的深度信息。
重构模块420用于根据深度信息和人脸图像,进行三维重构,得到目标对象的人脸三维模型。
第一确定模块430用于根据人脸三维模型,确定目标对象每个脸部关键区域的立体程度。
第二确定模块440用于根据每个脸部关键区域的立体程度,确定目标对象对应的美妆模型;
美妆模块450用于根据目标对象对应的美妆模型,将目标对象的二维人脸图像进行美妆处理。
在本申请实施例一种可能的实现方式中,上述美妆模块450包括:
融合单元,用于将目标对象对应的美妆模型与目标对象的人脸三维模型进行融合处理,得到美妆处理后的三维模型;
映射单元,用于将美妆处理后的三维模型映射到二维平面,以得到美妆处理后的二维人脸图像。
在本申请实施例一种可能的实现方式中,美妆模块450还可包括:
确定单元,用于将目标对象对应的美妆模型与目标对象的人脸三维模型进行融合处理,得到美妆处理后的三维模型之前,根据目标对象的人脸三维模型,确定目标对象的二维人脸图像中人脸的角度;
调整单元,用于根据目标对象的二维人脸图像中人脸的角度,调整与目标对象对应的美妆模型的角度。
在本申请实施例一种可能的实现方式中,美妆模块450还可包括:
形变处理单元,用于将目标对象对应的美妆模型与目标对象的人脸三维模型进行融合处理之前,将目标对象对应的美妆模型进行形变处理,以使形变后的美妆模型的尺寸与目标对象的人脸三维模型的尺寸匹配。
在本申请实施例一种可能的实现方式中,美妆模块450还可包括:
渲染处理单元,用于将目标对象对应的美妆模型与目标对象的人脸三维模型进行融合处理之前,根据目标对象的人脸三维模型的光效,将目标对象对应的美妆模型进行渲染处理。
在本申请实施例一种可能的实现方式中,第二确定模块440还用于:
根据每个脸部关键区域的立体程度,确定与每个脸部关键区域对应的美妆模型。
需要说明的是,前述对基于三维模型的美妆方法实施例的解释说明,也适用于该实施例的基于三维模型的美妆装置,在此不再赘述。
本申请实施例的基于三维模型的美妆装置,通过获取目标对象的二维人脸图像,以及人脸图像对应的深度信息,根据深度信息和人脸图像,进行三维重构,得到目标对象的人脸三维模型,根据人脸三维模型,确定目标对象每个脸部关键区域的立体程度,根据每个脸部关键区域的立体程度,确定目标对象对应的美妆模型,根据目标对象对应的美妆模型,将目标对象的二维人脸图像进行美妆处理。由此,通过建立的人脸三维模型确定人脸每个脸部关键区域的立体程度,根据立体程度自动确定适合目标对象的美妆模型,从而无需用户反复调整来寻找适合自己的美妆模板,灵活便捷。并且,由于人脸三维模型中携带有深度信息,因而基于人脸三维模型进行美妆,增强了美妆效果和立体感。
本申请实施例还提出了一种电子设备,包括处理器和存储器;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现如上述实施例所述的基于三维模型的美妆方法。
图7示出了适于用来实现本申请实施方式的示例性电子设备的框图。图7显示的电子设备12仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
本申请实施例还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述实施例所述的基于三维模型的美妆方法。
在本说明书的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于三维模型的美妆方法,其特征在于,包括:
获取目标对象的二维人脸图像,以及所述人脸图像对应的深度信息;
根据所述深度信息和所述人脸图像,进行三维重构,得到所述目标对象的人脸三维模型;
根据所述人脸三维模型,确定所述目标对象每个脸部关键区域的立体程度;
根据所述每个脸部关键区域的立体程度,确定所述目标对象对应的美妆模型;
根据所述目标对象对应的美妆模型,将所述目标对象的二维人脸图像进行美妆处理。
2.如权利要求1所述的方法,其特征在于,所述将所述目标对象的二维人脸图像进行美妆处理,包括:
将所述目标对象对应的美妆模型与所述目标对象的人脸三维模型进行融合处理,得到美妆处理后的三维模型;
将所述美妆处理后的三维模型映射到二维平面,以得到美妆处理后的二维人脸图像。
3.如权利要求2所述的方法,其特征在于,所述将所述目标对象对应的美妆模型与所述目标对象的人脸三维模型进行融合处理,得到美妆处理后的三维模型之前,还包括:
根据所述目标对象的人脸三维模型,确定所述目标对象的二维人脸图像中人脸的角度;
根据所述目标对象的二维人脸图像中人脸的角度,调整与所述目标对象对应的美妆模型的角度。
4.如权利要求2所述的方法,其特征在于,所述将所述目标对象对应的美妆模型与所述目标对象的人脸三维模型进行融合处理之前,还包括:
将所述目标对象对应的美妆模型进行形变处理,以使形变后的美妆模型的尺寸与所述目标对象的人脸三维模型的尺寸匹配。
5.如权利要求2-4任一所述的方法,其特征在于,所述将所述目标对象对应的美妆模型与所述目标对象的人脸三维模型进行融合处理之前,还包括:
根据所述目标对象的人脸三维模型的光效,将所述目标对象对应的美妆模型进行渲染处理。
6.如权利要求1-4任一所述的方法,其特征在于,所述根据所述每个脸部关键区域的立体程度,确定所述目标对象对应的美妆模型,包括:
根据所述每个脸部关键区域的立体程度,确定与每个脸部关键区域对应的美妆模型。
7.一种基于三维模型的美妆装置,其特征在于,包括:
获取模块,用于获取目标对象的二维人脸图像,以及所述人脸图像对应的深度信息;
重构模块,用于根据所述深度信息和所述人脸图像,进行三维重构,得到所述目标对象的人脸三维模型;
第一确定模块,用于根据所述人脸三维模型,确定所述目标对象每个脸部关键区域的立体程度;
第二确定模块,用于根据所述每个脸部关键区域的立体程度,确定所述目标对象对应的美妆模型;
美妆模块,用于根据所述目标对象对应的美妆模型,将所述目标对象的二维人脸图像进行美妆处理。
8.如权利要求7所述的装置,其特征在于,所述美妆模块包括:
融合单元,用于将所述目标对象对应的美妆模型与所述目标对象的人脸三维模型进行融合处理,得到美妆处理后的三维模型;
映射单元,用于将所述美妆处理后的三维模型映射到二维平面,以得到美妆处理后的二维人脸图像。
9.一种电子设备,其特征在于,包括处理器和存储器;
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-6中任一所述的基于三维模型的美妆方法。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-6任一所述的基于三维模型的美妆方法。
CN201810934579.7A 2018-08-16 2018-08-16 基于三维模型的美妆方法、装置、电子设备和存储介质 Active CN109272579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810934579.7A CN109272579B (zh) 2018-08-16 2018-08-16 基于三维模型的美妆方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810934579.7A CN109272579B (zh) 2018-08-16 2018-08-16 基于三维模型的美妆方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN109272579A true CN109272579A (zh) 2019-01-25
CN109272579B CN109272579B (zh) 2023-04-07

Family

ID=65153571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810934579.7A Active CN109272579B (zh) 2018-08-16 2018-08-16 基于三维模型的美妆方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN109272579B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993689A (zh) * 2019-03-14 2019-07-09 珠海天燕科技有限公司 一种美妆方法和装置
CN111488768A (zh) * 2019-01-28 2020-08-04 百度在线网络技术(北京)有限公司 人脸图像的风格转换方法、装置、电子设备及存储介质
CN112562066A (zh) * 2020-12-21 2021-03-26 维沃移动通信有限公司 图像重建方法和装置、电子设备
CN112669198A (zh) * 2020-10-29 2021-04-16 北京达佳互联信息技术有限公司 图像特效的处理方法、装置、电子设备和存储介质
CN112766215A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 人脸融合方法、装置、电子设备及存储介质
CN114581291A (zh) * 2022-03-04 2022-06-03 合众新能源汽车有限公司 座舱内呈现人脸美妆图像的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008397A (ja) * 2009-06-24 2011-01-13 Sony Ericsson Mobilecommunications Japan Inc 美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置
CN105513007A (zh) * 2015-12-11 2016-04-20 惠州Tcl移动通信有限公司 一种基于移动终端的拍照美颜方法、系统及移动终端
CN107730445A (zh) * 2017-10-31 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008397A (ja) * 2009-06-24 2011-01-13 Sony Ericsson Mobilecommunications Japan Inc 美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置
CN105513007A (zh) * 2015-12-11 2016-04-20 惠州Tcl移动通信有限公司 一种基于移动终端的拍照美颜方法、系统及移动终端
CN107730445A (zh) * 2017-10-31 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨臻等: "一种自动鲁棒的三维人脸重建方法", 《微计算机信息》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488768A (zh) * 2019-01-28 2020-08-04 百度在线网络技术(北京)有限公司 人脸图像的风格转换方法、装置、电子设备及存储介质
CN111488768B (zh) * 2019-01-28 2023-09-05 百度在线网络技术(北京)有限公司 人脸图像的风格转换方法、装置、电子设备及存储介质
CN109993689A (zh) * 2019-03-14 2019-07-09 珠海天燕科技有限公司 一种美妆方法和装置
CN112669198A (zh) * 2020-10-29 2021-04-16 北京达佳互联信息技术有限公司 图像特效的处理方法、装置、电子设备和存储介质
WO2022088750A1 (zh) * 2020-10-29 2022-05-05 北京达佳互联信息技术有限公司 图像生成方法和电子设备
CN112562066A (zh) * 2020-12-21 2021-03-26 维沃移动通信有限公司 图像重建方法和装置、电子设备
CN112562066B (zh) * 2020-12-21 2024-03-22 维沃移动通信有限公司 图像重建方法和装置、电子设备
CN112766215A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 人脸融合方法、装置、电子设备及存储介质
CN114581291A (zh) * 2022-03-04 2022-06-03 合众新能源汽车有限公司 座舱内呈现人脸美妆图像的方法和系统

Also Published As

Publication number Publication date
CN109272579B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109272579A (zh) 基于三维模型的美妆方法、装置、电子设备和存储介质
CN108876708A (zh) 图像处理方法、装置、电子设备和存储介质
CN109191552A (zh) 三维模型处理方法、装置、电子设备和存储介质
O’Toole et al. Three-dimensional shape and two-dimensional surface reflectance contributions to face recognition: An application of three-dimensional morphing
CN109118569A (zh) 基于三维模型的渲染方法和装置
TWI421781B (zh) Make-up simulation system, make-up simulation device, make-up simulation method and make-up simulation program
Blanz et al. Exchanging faces in images
Kemelmacher-Shlizerman et al. 3D face reconstruction from a single image using a single reference face shape
CN101779218B (zh) 化妆模拟系统及其化妆模拟方法
US7200281B2 (en) System and method for image-based surface detail transfer
AU2018214005A1 (en) Systems and methods for generating a 3-D model of a virtual try-on product
CN108765273A (zh) 人脸拍照的虚拟整容方法和装置
Fyffe et al. Multi‐view stereo on consistent face topology
WO2020034698A1 (zh) 基于三维模型的特效处理方法、装置和电子设备
KR20090098798A (ko) 비디오 이미지들의 시퀀스의 가상 시뮬레이션을 위한 방법 및 디바이스
CN108876886B (zh) 图像处理方法、装置和计算机设备
CN107563304A (zh) 终端设备解锁方法及装置、终端设备
CN109102559A (zh) 三维模型处理方法和装置
JP2007213623A (ja) 仮想化粧装置及びその方法
CN108876709A (zh) 人脸美化方法、装置、电子设备及可读存储介质
CN108682050A (zh) 基于三维模型的美颜方法和装置
CN109191393A (zh) 基于三维模型的美颜方法
CN108479070A (zh) 虚拟模型生成方法和装置
Castelán et al. Acquiring height data from a single image of a face using local shape indicators
JP2009053981A (ja) 化粧シミュレーション装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant