CN113780047A - 虚拟试妆的方法、装置、电子设备和存储介质 - Google Patents

虚拟试妆的方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113780047A
CN113780047A CN202110031238.0A CN202110031238A CN113780047A CN 113780047 A CN113780047 A CN 113780047A CN 202110031238 A CN202110031238 A CN 202110031238A CN 113780047 A CN113780047 A CN 113780047A
Authority
CN
China
Prior art keywords
makeup
target
real face
face
execution object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110031238.0A
Other languages
English (en)
Inventor
陈永华
杨宇行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110031238.0A priority Critical patent/CN113780047A/zh
Publication of CN113780047A publication Critical patent/CN113780047A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了虚拟试妆的方法、装置、电子设备和存储介质,涉及计算机技术领域。该方法的一具体实施方式包括:采集目标图像,目标图像包括用户的真实人脸和操作真实人脸的执行对象,并识别执行对象操作真实人脸的目标区域和操作力度;接收用户指令,用户指令包括待试妆容的特征;根据待试妆容的特征和操作力度,渲染目标图像中真实人脸的目标区域并显示。该实施方式能够解决对相同的化妆品,上妆方式单一,无法提供用户不同的上妆方式,无法满足用户需求的问题。

Description

虚拟试妆的方法、装置、电子设备和存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种虚拟试妆的方法、装置、电子设备和存储介质。
背景技术
化妆已经成为各用户的一种生活方式,但是面对数量和种类繁多化妆品,如何快速选择合适自身的化妆品成为重要需求。随着人脸识别等智能化技术的发展,虚拟试妆技术得到广泛应用。虚拟试妆通常为对用户人脸识别后,可以将用户选择的各化妆品以对应上妆方式虚拟显示在识别的人脸上,从而可以显示出上妆后的效果,以便于用户根据这些虚拟的上妆效果选择合适的化妆品。
由于现有的虚拟试妆方式中,各化妆品的上妆方式是固定的,对相同的化妆品,上妆方式单一,无法提供用户不同的上妆方式,无法满足用户需求。
发明内容
有鉴于此,本发明实施例提供一种虚拟试妆的方法、装置、电子设备和存储介质,能够解决对相同的化妆品,上妆方式单一,无法提供用户不同的上妆方式,无法满足用户需求的问题。
为实现上述目的,根据本发明实施例的一个方面,提供了一种虚拟试妆的方法。
本发明实施例的一种虚拟试妆的方法包括:采集目标图像,所述目标图像包括用户的真实人脸和操作所述真实人脸的执行对象,并识别所述执行对象操作所述真实人脸的目标区域和操作力度;接收用户指令,所述用户指令包括待试妆容的特征;根据所述待试妆容的特征和所述操作力度,渲染所述目标图像中真实人脸的目标区域并显示。
在一个实施例中,所述识别所述执行对象操作所述真实人脸的操作力度,包括:
根据所述目标图像识别所述执行对象操作所述真实人脸的操作特征;
根据所述操作特征和操作力度之间的对应关系,确定所述执行对象操作所述人脸的操作力度。
在又一个实施例中,所述识别所述执行对象操作所述真实人脸的目标区域,包括:
根据所述目标图像,识别所述真实人脸对应预设关键点的位置信息和所述执行对象操作所述真实人脸的操作位置信息;
根据所述操作位置信息和所述预设关键点的位置信息,确定与所述操作位置信息距离最近的关键点集合;
根据所述关键点集合中预设关键点的位置信息,确定所述执行对象操作所述真实人脸的目标区域。
在又一个实施例中,所述操作特征包括所述真实人脸被操作的形变特征、颜色分布特征、阴影分布特征中的至少一项。
在又一个实施例中,所述待试妆容的特征包括妆容类型和显示特征;
所述根据所述待试妆容的特征和所述操作力度,渲染所述目标图像中真实人脸的目标区域,包括:
根据所述妆容类型和所述妆容类型对应的预设区域模板,确定所述妆容类型对应的待试妆区域;
判断所述待试妆区域是否包含所述目标区域;
若是,则根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板,并根据所述目标妆容模板渲染所述真实人脸的待试妆区域;
若否,则根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板,并根据所述目标妆容模板渲染所述真实人脸的目标区域。
在又一个实施例中,其特征在于,所述根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板,并根据所述目标妆容模板渲染所述真实人脸的待试妆区域,包括:
根据所述妆容类型、所述显示特征,确定所述待试妆容对应的通用妆容模板;
根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板;
根据所述目标妆容模板渲染所述真实人脸的目标区域,并根据所述目标妆容模板渲染所述真实人脸的待试妆区域中除所述目标区域外的其他区域。
在又一个实施例中,所述执行对象包括用户的手和/或化妆用具。
为实现上述目的,根据本发明实施例的另一方面,提供了一种虚拟试妆的装置。
本发明实施例的一种虚拟试妆的装置包括:识别单元,用于采集目标图像,所述目标图像包括用户的真实人脸和操作所述真实人脸的执行对象,并识别所述执行对象操作所述真实人脸的目标区域和操作力度;接收单元,用于接收用户指令,所述用户指令包括待试妆容的特征;渲染单元,用于根据所述待试妆容的特征和所述操作力度,渲染所述目标图像中真实人脸的目标区域并显示。
在一个实施例中,所述识别单元,具体用于:
根据所述目标图像识别所述执行对象操作所述真实人脸的操作特征;
根据所述操作特征和操作力度之间的对应关系,确定所述执行对象操作所述人脸的操作力度。
在又一个实施例中,所述识别单元,具体用于:
根据所述目标图像,识别所述真实人脸对应预设关键点的位置信息和所述执行对象操作所述真实人脸的操作位置信息;
根据所述操作位置信息和所述预设关键点的位置信息,确定与所述操作位置信息距离最近的关键点集合;
根据所述关键点集合中预设关键点的位置信息,确定所述执行对象操作所述真实人脸的目标区域。
在又一个实施例中,所述操作特征包括所述真实人脸被操作的形变特征、颜色分布特征、阴影分布特征中的至少一项。
在又一个实施例中,所述待试妆容的特征包括妆容类型和显示特征;
所述渲染单元,具体用于:
根据所述妆容类型和所述妆容类型对应的预设区域模板,确定所述妆容类型对应的待试妆区域;
判断所述待试妆区域是否包含所述目标区域;
若是,则根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板,并根据所述目标妆容模板渲染所述真实人脸的待试妆区域;
若否,则根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板,并根据所述目标妆容模板渲染所述真实人脸的目标区域。
在又一个实施例中,所述渲染单元,具体用于:
根据所述妆容类型、所述显示特征,确定所述待试妆容对应的通用妆容模板;
根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板;
根据所述目标妆容模板渲染所述真实人脸的目标区域,并根据所述目标妆容模板渲染所述真实人脸的待试妆区域中除所述目标区域外的其他区域。
在又一个实施例中,所述执行对象包括用户的手和/或化妆用具。
为实现上述目的,根据本发明实施例的再一个方面,提供了一种电子设备。
本发明实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的虚拟试妆的方法。
为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例提供的虚拟试妆的方法。
上述发明中的一个实施例具有如下优点或有益效果:本发明实施例中,采集目标图像,目标图像中包括了用户的真实人脸和操作真实人脸的执行对象,所以可以对目标图片人脸识别并识别出执行对象操作用户真实人脸的目标区域和操作力度,进而接收用户指令后可以根据待试妆容的特征和操作力度渲染目标图像中的目标区域并显示。如此本发明实施例中,在用户虚拟试妆时,可用识别执行对象对用户真实人脸的操作力度和目标区域,以实现在待试妆容的特征基础上结合执行对象的操作力度,对目标图像的目标区域进行妆容渲染,从而可以实现对相同的待试妆物品,根据操作力度渲染出不同深浅度的妆容,并且可以根据执行对象操作的目标区域实现在面部的任意试妆,从而得出不同的试妆效果,如此可以为用户提供更多种上妆方式,满足用户的试妆需求。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的虚拟试妆的方法的一种主要流程的示意图;
图2是根据本发明实施例的妆容渲染的方法的又一种主要流程的示意图;
图3是根据本发明实施例的虚拟试妆的方法的又一种主要流程的示意图;
图4是根据本发明实施例的虚拟试妆的装置的主要单元的示意图;
图5是本发明实施例可以应用于其中的又一种示例性系统架构图;
图6是适于用来实现本发明实施例的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要指出的是,在不冲突的情况下,本发明中的实施例以及实施例中的特征可以互相组合。
本发明实施例提供一种虚拟试妆系统,该系统可以用于为用户提供虚拟试妆的场景中。
本发明实施例提供了一种虚拟试妆的方法,该方法可由终端设备执行,如图1所示,该方法包括以下步骤。
S101:采集目标图像,并识别执行对象操作真实人脸的目标区域和操作力度。
其中,目标图像包括用户的真实人脸和操作真实人脸的执行对象。用于执行本发明实施例的终端设备可以包括拍摄装置,例如摄像头等,可以用于采集目标图像。终端设备可以通过拍摄装置周期性采集目标图像,周期具体值可以根据需求设定,为了及时、准确的对用户人脸定位和识别通常需要实时采集,所以周期的值通常设置较小的值。
采集目标图片后可以对目标图片进行识别,通常包括人脸识别和执行对象对真实人脸操作的目标区域和操作力度的识别。
终端设备采集目标图像后,可以通过人脸识别技术识别出用户的真实人脸的信息,真实人脸的信息具体可以包括用户面部各预设关键点的位置信息、用户面部中各部位的位置信息等等。人脸识别时,通常先定位用户面部的预设特征部位,然后对各特征部位,通过定位各特征部位对应的预设关键点来准确定位出人脸各部分的位置,进而识别出真实人脸,即用户面部。人脸识别可以设置超过100个、甚至几百个关键点进行定位,从而可以很容易地检测到用户广角面部特征、面部表情和面部光线的变化等等,实现无论用户肌肉变化、面部角度或表情如何变化,都可以准确识别。
需要说明的是,对目标图像,如果在采集后进行识别时,无法识别出目标图像中的真实人脸和执行对象,则说明没有需要试妆的用户或用户未进行试妆,可以忽略此目标图像并对采集的下一张目标图像进行处理。
用户在试妆时,可以通过对人脸的操作来调整待试妆的妆容。终端设备采集目标图像,所以根据目标图像可以判断出执行对象是否对用户的真实人脸进行了操作。当确定执行对象对用户的真实人脸进行了操作后,可以识别出执行对象操作用户面部真实人脸的目标区域和操作力度。
具体的,本发明实施例中执行对象可以包括手和/或化妆用具,例如可以为手指或粉扑等用于化妆的工具。执行对象对用户真实人脸的操作方式可以包括按压,则操作力度即为按压力度。为了便于计算,本发明实施例中可以设置操作力度的取值范围,本步骤中识别出的操作力度处于取值范围内。例如,操作力度的取值范围可以为0-1范围的小数,其中0代表只执行对象贴合用户的真实人脸而不操作,1代表执行对象对用户的真实人脸全力操作,即操作力度的数值越大代表执行对象的操作力度越大。
对采集到目标图像并进行人脸识别后,可以根据目标图像来识别执行对象对真实人脸的操作,即识别出执行对象操作真实人脸的目标区域,目标区域可以为执行对象与真实人脸接触的区域,或者执行对象直接覆盖真实人脸的区域。本步骤中可以根据目标图像对执行对象操作真实人脸的操作特征进行识别,进而根据操作特征来确定执行对象操作用户人脸的操作力度。所以本发明实施例中,本步骤可以具体执行为:根据目标图像识别执行对象操作真实人脸的操作特征;根据操作特征和操作力度之间的对应关系,确定执行对象操作人脸的操作力度。其中,操作特征包括真实人脸被操作的形变特征、颜色分布特征、阴影分布特征中的至少一项。
具体的,本发明实施例中可以通过改进的SSD(轻量检测模型,Single ShotMultiBox Detector)模型对目标图像进行处理,然后识别出执行对象操作真实人脸的目标区域和操作力度。
传统的SSD可以对目标图像中执行对象进行识别,本发明实施例中,可以对传统的SSD进行改进,改进后的SSD可以包括三个分支:(1)获得执行对象框(目标区域)的坐标的回归分支,根据此坐标可以定位出目标图像中执行对象操作的区域;(2)获得执行对象框内是否为执行对象的置信度的分类分支,若置信度大于设定的阈值(如0.5),则可以认为前一分支检测得到的结果是真实的执行对象框,否则认为是误检测;(3)获得操作力度的数值的回归分支,根据操作力度的数值判断执行对象操作真是人脸的操作力度的大小。具体的,本发明实施例可以在传统SSD中添加全连接层,在SSD中特征层提取出特征矩阵后可以输入该全连接层,从而得出操作力度的大小,同时SSD可以根据SSD中特征层提取出特征矩阵,确定出执行对象操作真实人脸的目标区域。
本发明实施例中,在使用SSD执行本步骤之前需要对SSD模型进行训练。以执行对象为手指,对真实人脸的操作为按压为例进行说明。
模型训练时,数据集构建阶段中可以采集手指按压真实人脸的图像,并通过观察采集到图像中的各个操作特征(如脸部形变)确定手指按压力度的值和操作特征之间的对应关系,手指按压力度的值的取值范围可以为0-1,然后对各图像标注手指框,如手指框左上顶点和右下顶点在图像中的横纵坐标,并根据预设的对应关系标注出手指按压的按压力度的值,进而将标注后的图像输入SSD进行训练;在训练阶段,SSD可以从图像中自动提取各种特征,如操作特征等,并学习它们与标注的手指框的位置和按压力度大的值之间的关联,例如若脸部凹陷程度大、按压处颜色与周围不同以及按压处有较明显阴影,则认为按压力度大,反之则认为按压力度小;SSD训练结束后还需要进行测试,在测试阶段,可以向训练的SSD中输入手指按压真实人脸的图像,SSD根据学习到的关联输出识别结果,并具体输出手指框位置坐标、手指框是否为手指的置信度和手指的按压力度的值,同时基于置信度来判定输出结果是否准确,具体可以为:若置信度小于阈值,则确定输入的图像中不包含手指,否则可以确定输出手指框位置坐标和手指是按压力度的值准确。
需要说明的是,在SSD中直接识别得出结果通常为执行对象操作真实人脸时在目标图像中的位置,即目标图像中执行对象操作真实人脸的操作位置信息,而目标图像和真实人脸具体特征的位置会存在偏差,为了准确的确定出执行对象在真实人脸操作的区域,本发明实施例中可以基于人脸识别时定位的关键点来确定执行对象在真实人脸操作的区域。具体可以执行为:根据目标图像,识别真实人脸对应预设关键点的位置信息和执行对象操作真实人脸的操作位置信息;根据操作位置信息和预设关键点的位置信息,确定与操作位置信息距离最近的关键点集合;根据关键点集合中预设关键点的位置信息,确定执行对象操作真实人脸的目标区域。
其中,根据目标图像识别目标图像中执行对象操作真实人脸的操作位置信息可以根据SSD识别得出,即执行对象框的位置信息,然后根据操作位置信息和预设关键点的位置信息,计算操作位置信息与各关键点之间的距离,并得出距离小于预设距离阈值的关键点集合,即与操作位置信息距离最近的关键点集合,进而可以将关键点集合在用户面部的位置确定出目标区域,即执行对象操作用户面部的目标区域,也就是执行对象操作用户面部的位置与用户面部的相对位置。
S102:接收用户指令。
其中,用户指令包括待试妆容的特征。待试妆容的特征可以包括妆容类型和显示特征。妆容类型可以包括用于化妆的各中类型,例如,口红、腮红、粉底等等。显示特征表示影响妆容显示效果的各特征,例如可以包括颜色、质地等等。
本发明实施例中,终端设备可以预先存储各种妆容特征。在用户试妆时,终端设备可以显示预先存储各种妆容特征,以供用户选择,用户通过点击等方式输入用户指令,用户指令中包括了用户选择的想要尝试妆容的特征,即待试妆容的特征。由于不同妆容类型所对应妆容的特征不同,例如腮红对应的显示特征不会包括黑色,所以通常情况下,可以预先建立各妆容特征与显示特征的对应关系,用户指令可以通过两次输入,第一次输入用户指令包括待试妆容的妆容类型,然后终端设备根据待试妆的妆容类型查询出其对应的显示特征并显示以供用户选择,用户第二次输入用户指令包括待试妆容的显示特征。
或者,终端设备可以提供待试妆容的特征的输入区域,用户可以以将特征输入至输入区域后提交的方式输入用户指令,用户指令中包括了用户想要尝试妆容的特征,即待试妆容的特征。
终端设备接收用户指令后,即可确定出本次待试妆的特征,进而可以确定出待试妆容的妆容类型和显示特征。如果用户指令中包括的待试妆容的特征不存在,则可以向用户显示提示信息,以提示用户重新输入用户指令。
S103:根据待试妆容的特征和操作力度,渲染目标图像中真实人脸的目标区域并显示。
其中,执行对象对真实人脸的操作力度表示了用户对妆容深浅度的需求,通常操作力度越大,妆容的深浅度越深。本发明实施例中,终端设备可以预先设置各妆容特征、操作力度所对应的妆容模板。具体的,对每个妆容类型对应的显示特征,可以设置对应不同操作力度的妆容模板,例如,对妆容类型为口红来说,其会对应多个显示特征(如颜色),每个显示特征对不同的操作力度所显示出来的效果也不同,所以本发明实施例中,可以预先设置口红的各显示特征所对应每个操作力度的妆容模板。所以本步骤在确定出待试妆容的特征和操作力度后,可以查询出该待试妆容的特征、操作力度所对应的目标妆容模板,并将目标妆容模板渲染至目标图像的目标区域中,从而得出试妆效果,并将其进行显示,以便于用户查看试妆效果。
本发明实施例中,在用户虚拟试妆时,可用识别执行对象对用户真实人脸的操作力度和目标区域,以实现在待试妆容的特征基础上结合执行对象的操作力度,对目标图像的目标区域进行妆容渲染,从而可以实现对相同的待试妆物品,根据操作力度渲染出不同深浅度的妆容,并且可以根据执行对象操作的目标区域实现在面部的任意试妆,从而得出不同的试妆效果,如此可以为用户提供更多种上妆方式,满足用户的试妆需求。
下面结合图1所示的系统架构,对本发明实施例中步骤S103中妆容渲染的方法进行具体说明,如图2所示,该方法包括以下步骤。
S201:根据妆容类型和预设区域模板,确定妆容类型对应的待试妆区域。
在虚拟试妆的美妆算法中,通常会预先设置各种模板。其中,各妆容类型通常会在人脸中有固定上妆位置,例如,妆容类型为口红,其上妆位置通常会在人脸的唇部,所以基于各妆容类型的通常上妆位置可以为各妆容类型设置对应的预设区域模板,在具体识别出各用户的人脸后,可以结合识别出的人脸对各妆容类型的预设区域模板进行变形,以使各预设区域模板更加贴合用户的真实人脸。变形算法有很多,例如仿射变换、IDW变换、MLS变换、RMLS变换等。
由于预设区域模板已经与用户的真实人脸贴合,所以在执行对象操作的目标区域与待试妆容的妆容类型所对应待试妆区域相同或重合度很高时,可以说明用户想试妆的区域即为待试妆区域,则可以按照待试妆区域进行妆容渲染,而在执行对象操作的目标区域与待试妆容的妆容类型所对应待试妆区域不相同时,可以说明用户想试妆的区域不是为待试妆区域,则可以按照目标区域进行妆容渲染。所以本发明实施例中可以先根据预设区域模板,确定出待试妆容的妆容类型所对应的待试妆区域。
S202:判断待试妆区域是否包含目标区域。
其中,待试妆区域包含目标区域,可以说明用户想试妆的区域为待试妆区域,则可以执行步骤S204;待试妆区域不包含目标区域,可以说明用户想试妆的区域不为目标区域,则可以执行步骤S203。
S203:若否,则根据妆容类型、显示特征和操作力度,确定待试妆容对应的目标妆容模板,并根据目标妆容模板渲染真实人脸的目标区域。
其中,终端设备中预先设置了与每个妆容类型、显示特征和操作力度所对应的妆容模板,所以本步骤中可以根据妆容类型、显示特征和操作力度,确定待试妆容对应的目标妆容模板,并按照目标妆容模板渲染目标图像中真实人脸的目标区域。
S204:若是,则根据妆容类型、显示特征和操作力度,确定待试妆容对应的目标妆容模板,并根据目标妆容模板渲染真实人脸中的待试妆区域。
其中,终端设备中预先设置了与每个妆容类型、显示特征和操作力度所对应的妆容模板,所以本步骤中可以根据妆容类型、显示特征和操作力度,确定待试妆容对应的目标妆容模板,并按照目标妆容模板渲染目标图像中真实人脸中的待试妆区域。
本发明实施例中,待试妆区域包含目标区域时,还可以认为是用户只对目标区域中妆容的深浅度进行调整,所以终端设备中可以预先设置各妆容类型的每个显示特征所对应的通用妆容模板,即没有执行对象操作真实人脸时各妆容类型的每个显示特征所对应的妆容模板,由于无执行对象操作通常相当于操作力度为0,所以通用妆容模板可以为各妆容类型的每个显示特征在操作力度为0时所对应的妆容模板。如此本步骤中,对于目标区域可以按照目标妆容模板来渲染,而对于真实人脸的待试妆区域中除目标区域外的其他区域,可以按照通用妆容模板渲染。具体的,本步骤可以执行为:根据妆容类型、显示特征,确定待试妆容对应的通用妆容模板;根据妆容类型、显示特征和操作力度,确定待试妆容对应的目标妆容模板;根据目标妆容模板渲染真实人脸的目标区域,并根据目标妆容模板渲染真实人脸的待试妆区域中除目标区域外的其他区域。
本发明实施例中,在用户虚拟试妆时,可以在待试妆容的特征基础上结合执行对象对真实人脸的操作力度,对执行对象操作的目标区域进行渲染,以实现对相同待试妆容的特征渲染出不同深浅度的妆容,并且可以根据操作的目标区域实现在面部的任意试妆,从而得出不同的试妆效果,如此可以为用户提供更多种上妆方式,满足用户的试妆需求。
结合图1和图2所示实施例,本发明实施例中,以拍摄装置为终端设备中的相机,执行对象为手指为例,对本技术方案进行说明,如图3所示,具体过程如下。
首先打开终端设备中的相机,通过相机可以周期性拍摄图像,然后对每一帧图像进行处理。处理方式为人脸识别,并在人脸识别时判断图像中是否有预设的特征点(特征部位),如果有,则说明图像中包括真实人脸,从而可以根据识别结果定位出真实人脸中预设的关键点;如果没有,则说明图像中不包括真实人脸,可以再取下一帧图像进行处理。然后,在对人脸识别后可以进一步识别图像中是否包括手指框(手指操作的目标区域),如果包括手指框,则说明手指对真实人脸进行了操作,从而可以识别并记录手指框的坐标和操作力度;如果不包括手指框,则说明手指未对真实人脸进行操作,此时可以再取下一帧图像进行处理。在记录手指框的坐标和操作力度后,可以根据手指框的坐标和操作力度渲染不同深浅度的妆容,即在手指框的位置渲染操作力度对应深情度的妆容。
需要说明的是,妆容渲染还需要根据待试妆容的特征,本发明实施例中可以预先获取待试妆容的特征(此步骤未在图3中示出),然后结合操作力度进行妆容渲染。
本发明实施例中,在用户虚拟试妆时可以在待试妆容的特征基础上结合执行对象对真实人脸的操作力度,对执行对象操作的目标区域进行渲染,以实现对相同待试妆容的特征渲染出不同深浅度的妆容,并且可以根据操作的目标区域实现在面部的任意试妆,从而得出不同的试妆效果,如此可以为用户提供更多种上妆方式,满足用户的试妆需求。
为了解决现有技术存在的问题,本发明实施例提供了一种虚拟试妆的装置400,如图4所示,该装置400包括:
识别单元401,用于采集目标图像,所述目标图像包括用户的真实人脸和操作所述真实人脸的执行对象,并识别所述执行对象操作所述真实人脸的目标区域和操作力度;
接收单元402,用于接收用户指令,所述用户指令包括待试妆容的特征;
渲染单元403,用于根据所述待试妆容的特征和所述操作力度,渲染所述目标图像中真实人脸的目标区域并显示。
应理解的是,实施本发明实施例的方式与实施图1所示实施例的方式相同,在此不再赘述。
本发明实施例的一种实现方式中,在一个实施例中,所述识别单元401,具体用于:
根据所述目标图像识别所述执行对象操作所述真实人脸的操作特征;
根据所述操作特征和操作力度之间的对应关系,确定所述执行对象操作所述人脸的操作力度。
本发明实施例的又一种实现方式中,所述识别单元401,具体用于:
根据所述目标图像,识别所述真实人脸对应预设关键点的位置信息和所述执行对象操作所述真实人脸的操作位置信息;
根据所述操作位置信息和所述预设关键点的位置信息,确定与所述操作位置信息距离最近的关键点集合;
根据所述关键点集合中预设关键点的位置信息,确定所述执行对象操作所述真实人脸的目标区域。
本发明实施例的又一种实现方式中,所述操作特征包括所述真实人脸被操作的形变特征、颜色分布特征、阴影分布特征中的至少一项。
本发明实施例的又一种实现方式中,所述待试妆容的特征包括妆容类型和显示特征;
所述渲染单元403,具体用于:
根据所述妆容类型和所述妆容类型对应的预设区域模板,确定所述妆容类型对应的待试妆区域;
判断所述待试妆区域是否包含所述目标区域;
若是,则根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板,并根据所述目标妆容模板渲染所述真实人脸的待试妆区域;
若否,则根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板,并根据所述目标妆容模板渲染所述真实人脸的目标区域。
本发明实施例的又一种实现方式中,所述渲染单元403,具体用于:
根据所述妆容类型、所述显示特征,确定所述待试妆容对应的通用妆容模板;
根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板;
根据所述目标妆容模板渲染所述真实人脸的目标区域,并根据所述目标妆容模板渲染所述真实人脸的待试妆区域中除所述目标区域外的其他区域。
本发明实施例的又一种实现方式中,所述执行对象包括用户的手和/或化妆用具。
应理解的是,实施本发明实施例的方式与实施图1、图2或图3所示实施例的方式相同,在此不再赘述。
本发明实施例中,在用户虚拟试妆时,可用识别执行对象对用户真实人脸的操作力度和目标区域,以实现在待试妆容的特征基础上结合执行对象的操作力度,对目标图像的目标区域进行妆容渲染,从而可以实现对相同的待试妆物品,根据操作力度渲染出不同深浅度的妆容,并且可以根据执行对象操作的目标区域实现在面部的任意试妆,从而得出不同的试妆效果,如此可以为用户提供更多种上妆方式,满足用户的试妆需求。
根据本发明的实施例,本发明实施例还提供了一种电子设备和一种可读存储介质。
本发明实施例的电子设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行本发明实施例所提供的数据对比的方法。
图5示出了可以应用本发明实施例的虚拟试妆的方法或虚拟试妆的装置的示例性系统架构500。
如图5所示,系统架构500可以包括终端设备501、502、503,网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种客户端应用。
终端设备501、502、503可以是具有拍摄装置的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器,服务器可以用于为终端设备501、502、503提供预设区域模板或妆容模板等。
需要说明的是,本发明实施例所提供的数据对比的方法一般由服务器505执行,相应地,数据对比的装置一般设置于服务器505中。
应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图6,其示出了适于用来实现本发明实施例的计算机系统600的结构示意图。图6示出的计算机系统仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分,上述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括识别单元、接收单元和渲染单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,接收单元还可以被描述为“接收单元的功能的单元”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行本发明所提供的虚拟试妆的方法。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种虚拟试妆的方法,其特征在于,包括:
采集目标图像,所述目标图像包括用户的真实人脸和操作所述真实人脸的执行对象,并识别所述执行对象操作所述真实人脸的目标区域和操作力度;
接收用户指令,所述用户指令包括待试妆容的特征;
根据所述待试妆容的特征和所述操作力度,渲染所述目标图像中真实人脸的目标区域并显示。
2.根据权利要求1所述的方法,其特征在于,所述识别所述执行对象操作所述真实人脸的操作力度,包括:
根据所述目标图像识别所述执行对象操作所述真实人脸的操作特征;
根据所述操作特征和操作力度之间的对应关系,确定所述执行对象操作所述人脸的操作力度。
3.根据权利要求2所述的方法,其特征在于,所述识别所述执行对象操作所述真实人脸的目标区域,包括:
根据所述目标图像,识别所述真实人脸对应预设关键点的位置信息和所述执行对象操作所述真实人脸的操作位置信息;
根据所述操作位置信息和所述预设关键点的位置信息,确定与所述操作位置信息距离最近的关键点集合;
根据所述关键点集合中预设关键点的位置信息,确定所述执行对象操作所述真实人脸的目标区域。
4.根据权利要求2所述的方法,其特征在于,所述操作特征包括所述真实人脸被操作的形变特征、颜色分布特征、阴影分布特征中的至少一项。
5.根据权利要求1所述的方法,其特征在于,所述待试妆容的特征包括妆容类型和显示特征;
所述根据所述待试妆容的特征和所述操作力度,渲染所述目标图像中真实人脸的目标区域,包括:
根据所述妆容类型和所述妆容类型对应的预设区域模板,确定所述妆容类型对应的待试妆区域;
判断所述待试妆区域是否包含所述目标区域;
若是,则根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板,并根据所述目标妆容模板渲染所述真实人脸的待试妆区域;
若否,则根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板,并根据所述目标妆容模板渲染所述真实人脸的目标区域。
6.根据权利要求5所述的方法,其特征在于,所述根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板,并根据所述目标妆容模板渲染所述真实人脸的待试妆区域,包括:
根据所述妆容类型、所述显示特征,确定所述待试妆容对应的通用妆容模板;
根据所述妆容类型、所述显示特征和所述操作力度,确定所述待试妆容对应的目标妆容模板;
根据所述目标妆容模板渲染所述真实人脸的目标区域,并根据所述目标妆容模板渲染所述真实人脸的待试妆区域中除所述目标区域外的其他区域。
7.根据权利要求1所述的方法,其特征在于,所述执行对象包括用户的手和/或化妆用具。
8.一种虚拟试妆的装置,其特征在于,包括:
识别单元,用于采集目标图像,所述目标图像包括用户的真实人脸和操作所述真实人脸的执行对象,并识别所述执行对象操作所述真实人脸的目标区域和操作力度;
接收单元,用于接收用户指令,所述用户指令包括待试妆容的特征;
渲染单元,用于根据所述待试妆容的特征和所述操作力度,渲染所述目标图像中真实人脸的目标区域并显示。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202110031238.0A 2021-01-11 2021-01-11 虚拟试妆的方法、装置、电子设备和存储介质 Pending CN113780047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110031238.0A CN113780047A (zh) 2021-01-11 2021-01-11 虚拟试妆的方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110031238.0A CN113780047A (zh) 2021-01-11 2021-01-11 虚拟试妆的方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113780047A true CN113780047A (zh) 2021-12-10

Family

ID=78835380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110031238.0A Pending CN113780047A (zh) 2021-01-11 2021-01-11 虚拟试妆的方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113780047A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433827A (zh) * 2023-04-07 2023-07-14 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1447955A (zh) * 2000-08-22 2003-10-08 微裘媒体有限公司 根据面部图像的形态信息生成合成面部图像的装置和方法
JP2010017360A (ja) * 2008-07-10 2010-01-28 Sega Corp ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体
CN102012620A (zh) * 2010-10-28 2011-04-13 鸿富锦精密工业(深圳)有限公司 电子化妆品盒
CN103870821A (zh) * 2014-04-10 2014-06-18 上海影火智能科技有限公司 一种虚拟试妆的方法和系统
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN107705240A (zh) * 2016-08-08 2018-02-16 阿里巴巴集团控股有限公司 虚拟试妆方法、装置和电子设备
CN108227922A (zh) * 2017-12-31 2018-06-29 广州二元科技有限公司 一种虚拟现实的实时数字影像上妆方法
CN108509846A (zh) * 2018-02-09 2018-09-07 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN109583385A (zh) * 2018-11-30 2019-04-05 深圳市脸萌科技有限公司 人脸图像处理方法、装置、电子设备及计算机存储介质
CN109671142A (zh) * 2018-11-23 2019-04-23 南京图玩智能科技有限公司 一种智能美妆方法及智能美妆镜
CN111767456A (zh) * 2019-05-20 2020-10-13 北京京东尚科信息技术有限公司 用于推送信息的方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1447955A (zh) * 2000-08-22 2003-10-08 微裘媒体有限公司 根据面部图像的形态信息生成合成面部图像的装置和方法
JP2010017360A (ja) * 2008-07-10 2010-01-28 Sega Corp ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体
CN102012620A (zh) * 2010-10-28 2011-04-13 鸿富锦精密工业(深圳)有限公司 电子化妆品盒
CN103870821A (zh) * 2014-04-10 2014-06-18 上海影火智能科技有限公司 一种虚拟试妆的方法和系统
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN107705240A (zh) * 2016-08-08 2018-02-16 阿里巴巴集团控股有限公司 虚拟试妆方法、装置和电子设备
CN108227922A (zh) * 2017-12-31 2018-06-29 广州二元科技有限公司 一种虚拟现实的实时数字影像上妆方法
CN108509846A (zh) * 2018-02-09 2018-09-07 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN109671142A (zh) * 2018-11-23 2019-04-23 南京图玩智能科技有限公司 一种智能美妆方法及智能美妆镜
CN109583385A (zh) * 2018-11-30 2019-04-05 深圳市脸萌科技有限公司 人脸图像处理方法、装置、电子设备及计算机存储介质
CN111767456A (zh) * 2019-05-20 2020-10-13 北京京东尚科信息技术有限公司 用于推送信息的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
甄蓓蓓;吴昊;徐丹;: "一种基于样例的数字人脸化妆算法", 云南大学学报(自然科学版), no. 2, 15 November 2010 (2010-11-15) *
高翔;黄法秀;刘春平;陈虎;: "3DMM与GAN结合的实时人脸表情迁移方法", 计算机应用与软件, no. 04, 12 April 2020 (2020-04-12) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433827A (zh) * 2023-04-07 2023-07-14 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置

Similar Documents

Publication Publication Date Title
CN108898186B (zh) 用于提取图像的方法和装置
CN108509915B (zh) 人脸识别模型的生成方法和装置
CN111091576B (zh) 图像分割方法、装置、设备及存储介质
CN109902659B (zh) 用于处理人体图像的方法和装置
CN108197618B (zh) 用于生成人脸检测模型的方法和装置
CN107679466B (zh) 信息输出方法和装置
WO2019100282A1 (zh) 一种人脸肤色识别方法、装置和智能终端
CN111260545A (zh) 生成图像的方法和装置
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN110163096B (zh) 人物识别方法、装置、电子设备和计算机可读介质
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN108229375B (zh) 用于检测人脸图像的方法和装置
CN109285181A (zh) 用于识别图像的方法和装置
EP4276754A1 (en) Image processing method and apparatus, device, storage medium, and computer program product
CN110110666A (zh) 目标检测方法和装置
US20140198177A1 (en) Realtime photo retouching of live video
CN108875704B (zh) 用于处理图像的方法和装置
CN110189252B (zh) 生成平均脸图像的方法和装置
CN108921138B (zh) 用于生成信息的方法和装置
CN108038473B (zh) 用于输出信息的方法和装置
CN114049290A (zh) 图像处理方法、装置、设备及存储介质
CN113780047A (zh) 虚拟试妆的方法、装置、电子设备和存储介质
CN111984803B (zh) 多媒体资源处理方法、装置、计算机设备及存储介质
CN113378790A (zh) 视点定位方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination