CN103870821A - 一种虚拟试妆的方法和系统 - Google Patents

一种虚拟试妆的方法和系统 Download PDF

Info

Publication number
CN103870821A
CN103870821A CN201410142373.2A CN201410142373A CN103870821A CN 103870821 A CN103870821 A CN 103870821A CN 201410142373 A CN201410142373 A CN 201410142373A CN 103870821 A CN103870821 A CN 103870821A
Authority
CN
China
Prior art keywords
image
examination adornment
action
virtual
examination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410142373.2A
Other languages
English (en)
Inventor
李仁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI YINGHUO SMART Co Ltd
Original Assignee
SHANGHAI YINGHUO SMART Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI YINGHUO SMART Co Ltd filed Critical SHANGHAI YINGHUO SMART Co Ltd
Priority to CN201410142373.2A priority Critical patent/CN103870821A/zh
Publication of CN103870821A publication Critical patent/CN103870821A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种非接触模拟式虚拟试妆方法,主要包括:分析采集的图像,根据人脸特征检测试妆人员的面部图像,选取合适的包含人脸的图像作为试妆图像,并根据试妆人员的离开动作更新试妆图像;接着分析试妆人员的模拟的实际化妆过程的动作行为,从而确定虚拟化妆所对应的处理操作,以及虚拟化妆处理参数;基于虚拟化妆处理参数和操作对所述的试妆图像进行图像处理,进行虚拟着妆,实现虚拟化妆效果。相应地,本发明还公开了一种非接触模拟式虚拟试妆系统。实施本发明,可实现基于图像处理的非接触模拟式虚拟试妆,提高营销效果和广告效应,提高用户购物体验,避免公共卫生问题和设备被损坏问题。

Description

一种虚拟试妆的方法和系统
技术领域
本发明涉及图像处理与识别技术,特别涉及利用动作识别的非接触模拟式虚拟试妆方法,以及一种基于动作识别的非接触模拟式虚拟试妆装置。
背景技术
因化妆是女性生活中的一个重要部分。对于消费者而言,如何在众多产品中有效地选择适合自己的化妆品成为最为关注的问题,传统上消费者会选择到实体店铺进行试妆,通过反复试妆以选择自己满意的产品,而随着电商经济的发展,为了提高用户购物体验,一种虚拟化妆技术开始出现,该技术在化妆品的选择与销售等方面都有重要的实用价值。
目前虚拟试妆程序大部分为纯软件程序,以网站在线方式或以软件形式安装方式供人们在终端使用,如专利CN201110139084.3和CN201310171179.2。这些程序从一定程度上可以帮助消费者选择产品,但仍然与实际有较大差距。因此,消费者通常仍会选择传统逛商场或者实体店铺的方式进行试妆与购买。而对于商场或者产品厂商而言,如何在人流密集的场所或实体店铺吸引消费者,突出自己产品的效果,也是非常重要的问题。对于商家而言,在商场或者实体店铺增加虚拟试妆系统,能够增加消费者的购买欲望,促进现场购买。而纯软件虚拟试妆程序通常不适合这样的场所。目前应用于实体类店铺的虚拟试妆系统还比较少,并且现有的该类虚拟试妆系统采用触摸屏或键盘的方式进行交互,这样会存在和实际试妆一样的公共卫生问题。此外由于在公共场所,触摸屏或键盘很容易损坏或者被破坏。
有鉴于此,本发明提出了一种基于动作识别的非接触模拟式的虚拟试妆方法,以及一种基于该方法的虚拟试妆装置,采用分析试妆的动作行为,该动作行为模拟了实际化妆过程中的自然的动作行为,从而实现虚拟化妆,能够提高营销效果和广告效应,提高用户购物体验,掌握产品使用过程和效果,避免公共卫生问题和设备被损坏问题。
发明内容
本发明解决的问题是提供一种非接触模拟式虚拟试妆方法及其系统,能够提高营销效果和广告效应,防止公共卫生问题,提高试妆效果。
为了解决上述问题,本发明提出了一种非接触式虚拟试妆方法,包括以下步骤:
确定或更新试妆图像,分析采集的图像,确定合适的面部图像作为试妆图像;
试妆动作行为分析,对试妆人员进行动作行为分析,确定虚拟试妆处理参数和动作;
基于图像处理的虚拟上妆,对试妆图像进行图像处理,实现虚拟上妆;
相应地,本发明还提供了一种非接触式虚拟试妆装置,包括:
试妆图像确定模块,分析采集的图像,确定合适的面部图像作为试妆图像;
虚拟试妆处理参数和动作确定模块,分析对试妆动作行为,确定处理参数和动作;
图像处理上妆模块,基于虚拟试妆参数和动作,对待处理试妆图像进行图像处理,实现虚拟上妆;
因此,本发明通过分析识别模拟的实际化妆行为动作,实现基于图像处理的非接触模拟式虚拟化妆,能够提高营销效果和广告效应,提高用户试妆体验,避免公共卫生问题和设备被损坏问题,并有一定的趣味性。
附图说明
图1显示为本发明的非接触模拟式虚拟试妆的一个实施例。
图2显示为本发明的处理单元的一个实施装置。
图3显示为本发明的非接触模拟式虚拟试妆方法的流程图。
图4显示为本发明步骤S1处理的详细步骤的流程图。
图5显示为本发明的步骤S2所述的行为动作。
图6显示为本发明的涂抹动作的四种涂抹样例。
图7显示为本发明的洗脸动作的示意图。
图8显示为本发明的步骤S3处理的详细步骤的流程图。
图9显示为本发明的非接触模拟式虚拟试妆系统示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1至图9。需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
图1示出了本发明的非接触模拟式虚拟试妆的一个实施例。一种非接触模拟式虚拟试妆实施例10,包括:
摄像单元101:采集图像,作为待处理图像;
显示单元102:显示图像或者结果;
处理单元103:处理设备;
试妆品104:供用户选择的试妆品;
试妆人员105:试妆人员。
根据本发明的方法,其分析计算处理主要是通过处理单元103来完成。其中,该处理单元设备包括但不限于:1)用户设备;2)网络设备。所述用户设备包括但不限于计算机、智能手机、PDA等;所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。试妆人员105面向摄像单元101进行化妆品104选择和化妆动作模拟;处理单元103通过摄像单元101采集试妆人员图像;设备103对采集的图像进行处理,识别分析试妆人员105的动作行为,据此对图像中试妆人员的人脸部分进行试妆处理,通过显示单元102进行显示输出;试妆人员105根据系统反馈通过化妆动作不断优化,直到自己满意。
需要说明的是,所述虚拟试妆系统中摄像单元101不限于仅使用一个摄像头,例如,可以使用两个摄像头,其中一个摄像头采集试妆人员的动作行为,另外一个摄像头采集试妆人员的面部图像。
如图2所示,给出了上述实施例1所述的虚拟试妆实施例的处理单元103的一个实施装置。在这个实施装置中,装置系统103包括处理器201和图像输入接口207。在该实施系统中,也包括了处理器201可访问的存储设备202和203。这些存储设备可以是随机存储单元RAM,也可以是程序存储器等,例如硬盘。处理器201从程序存储器加载程序并运行,从而能够输入和处理图像。此外,处理器201也可以连接到显示设备204,以及一些输入输出人机交互设备205,如鼠标、键盘等。一些其他接口设备208也可以与处理器201相连接,实现一些其他处理功能。接口206可以实现一些图像或者视频的输出,而电源209为装置系统提供电源。
图3示出了本发明的虚拟试妆方法的流程图。在步骤S1中,所述非接触模拟式虚拟试妆系统分析采集的图像,根据人脸特征检测试妆人员的面部图像,选取合适的人脸图像作为试妆图像,试妆图像由步骤S3进行处理;试妆图像根据试妆人员的离开动作进行更新。
图4是表示步骤S1处理的详细步骤的流程图。首先步骤301根据人脸特征检测待处理图像的人脸区域。步骤302判断是否存在试妆图像或者是否有试妆图像的更新指令。其中试妆图像的更新指令来自于步骤S2。如果试妆图像不存在或者存在更新指令,则执行步骤303。步骤303根据人脸特征检测合适人脸图像作为试妆图像,只有所有的人脸特征都满足,该人脸区域才能作为合适的试妆人员的试妆图像。
其中,上述人脸特征包括人脸轮廓、嘴巴、左眼、右眼,但不限于此,为了精确地确定人脸,也可以再包括其他的特征:左眉与右眉、鼻子。
例如,人脸特征包括人脸轮廓、嘴巴、左眼、右眼、鼻子。
基于步骤301和步骤302,如果已存在试妆图像并且不存在试妆图像更新指令,则执行步骤304,继续使用现有的试妆图像;否则执行步骤303更新试妆图像。其中,试妆图像可以是整幅图像,也可以是包含人脸区域的部分图像。试妆图像为待虚拟化妆处理的静态图像,采用静态图像的优点在于可以很大简化运算,并有利于试妆人员观察化妆效果。
在步骤S1处理后,步骤S2分析试妆人员的动作行为,确定虚拟化妆处理参数和操作。试妆人员模拟实际的化妆过程的动作,步骤S2分析这些动作行为,从而确定虚拟化妆所对应的处理。例如,试妆人员当用手指指向某一化妆品时,步骤S2分析该行为,确定用户选择该化妆品,从而根据所选择化妆品的特性(如色彩等)确定相应的虚拟化妆参数。
又例如,试妆人员选择一款化妆品后,用手指在脸上做出涂抹动作,步骤S2分析该动作的动作范围和时间长度,这些对应于化妆品的涂抹的范围、均匀度,以及色彩的深浅等。
这些模拟动作另外一个好处是,让用户了解到使用某一款化妆品达到满意所需要的化妆过程,掌握该产品的使用过程。
图5列举了步骤S2所述的化妆动作,包括
(1)分析试妆人员指向某一化妆品的动作,确定相应化妆参数;
(2)分析识别试妆人员在脸部的涂抹动作,检测涂抹范围和涂抹时间;
(3)分析识别试妆人员的洗脸动作,用来清除图像的虚拟化妆;
(4)检测试妆人员的离开动作,判断是否更新试妆图像,重新开始。
其中,所述的试妆人员指向某一化妆品的动作为试妆人员用手指向虚拟试妆系统台面上的某一化妆品,步骤S2根据指向的化妆产品确定后续步骤S3所需要的化妆品参数。
其中,上述的用手可以为用手指或者用手掌。例如,试妆人员用食指指向台面上的一个化妆产品。
在图5中,所述的试妆人员在脸部的涂抹动作包括手指或者手掌上下来回移动、左右来回移动、顺时针圆周运动或者逆时针圆周运动。图6给出了涂抹动作的四种涂抹样例。步骤402计算涂抹动作的动作范围St和动作时间Tt。涂抹范围St以下公式计算:
St=(Sc∪St-1)∩Sskim
其中,Sc为当前时刻手指头或者手掌中心部分的范围,St-1为上一时刻的动作范围,Sskin为试妆图像上的人脸皮肤区域。∪和∩分别是并运算和交运算。值得注意的是S0为手指头或者手掌中心第一次位于人脸区域时的涂抹范围。如果手指头或者手掌中心离开了人脸区域,则涂抹范围St将重新开始计算,这样保证了动作的连续性。
涂抹时间Tt以下公式计算
Tt=Tc-T0
其中,Tc为当前时刻,T0为手指头或者手掌中心第一次位于人脸区域时的时刻。
其中,所述的手指头或者手掌中心部分为预设的中心在手指头或者手掌中心的一个小范围。例如该小范围是一个半径为r的圆,处于圆内的所有点都属于Sc
值得注意的是,涂抹范围St也可以根据化妆品的类型直接决定,例如,试妆人员选择了粉底产品,那么涂抹范围St就可为试妆图像中人脸区域的皮肤部分Sskin。上述实施依赖于系统的设置。
在图5所示中,步骤403分析识别试妆人员的洗脸动作,用来清赊图像的虚拟化妆,恢复试妆图像的未着妆状态。如图7所示,当用双手捂下脸,步骤403即识别为洗脸动作,从而发出虚拟化妆的清除指令。
在图5所示,步骤404检测试妆人员离开动作,判断是否更新试妆图像和重新初始化。如果试妆人员离开,检测范围内没有人员存在,或者在一个预设时间段Tr内没有检测到人脸,则系统重新开始进行采集试妆图像和初始化虚拟试妆的参数。其中,预设时间段Tr不能太短,防止试妆人员偶尔转头或者遮挡造成人脸未能检测到,一个典型值为5秒。步骤404将更新试妆图像的指令发送到步骤S1,并初始化下一步骤S3。
值得注意的是,所述步骤403的洗脸动作,当检测出该特定动作后,尽管人脸可能被遮挡一定时间,但动作时间一般小于预设时间段Tr,并且该特定动作检测优于步骤404的执行,因此如果检测到洗脸动作,可不执行步骤404。
接着,在步骤S3中,所述虚拟试妆系统基于虚拟化妆处理参数和动作对所述的试妆图像进行图像处理,进行虚拟着妆。
图8是表示步骤S3的处理的详细步骤的流程图。首先步骤501将步骤S2获得的涂抹范围映射到待处理的试妆图像上的涂抹范围。由于试妆图像为步骤S1获取的静止的一幅图像,步骤S2获得的涂抹范围为分析当前图像计算得到的在当前图像上的涂抹范围,二者存在一定的偏差。这主要是因为试妆人员的人脸区域会产生一定的移动,这会造成当前图像上的人脸区域相对于试妆图像上的人脸区域产生一定旋转、缩放和平移。为了后续的处理,需要当前图像的人脸区域和试妆图像的人脸区域对齐。这里,利用人脸特征实现对齐,通过二者的特征之间的对应关系,采用仿射变换模型计算所产生的旋转角度、缩放尺度和平移距离。但通常情况下,试妆人员的人脸在试妆过程中不会产生大的旋转角度和缩放尺度,因此为了计算便利和提高处理速度,仅计算当前人脸特征相对于试妆图像的人脸特征的平移距离,从而可以快速计算当前图像的涂抹范围在试妆图像的涂抹范围,在这种假设下,涂抹范围的计算公式按照以下公式计算
x r = x c + D x y r = y c + D y
其中,(xc,yc)为当前图像的涂抹范围St的坐标点,(xr,yr)为在试妆图像的涂抹范围Sr的坐标点,(Dx,Dy)为涂抹范围St相对于涂抹范围Sr的偏移。偏移(Dx,Dy)可以通过不同的人脸特征的偏移进行计算。例如,根据人脸轮廓特征计算轮廓的中心点的相对偏移,即为当前图像上的涂抹范围相对于试妆图像的相对偏移,从而可以计算在试妆图像的涂抹范围。又例如,根据多个人脸特征的相对偏移的平均值作为当前图像上的涂抹范围相对于试妆图像的相对偏移。
接着,步骤502基于试妆图像的涂抹范围、涂抹时间、所选的化妆品参数信息,对试妆图像进行图像处理,实现虚拟上妆效果。其中涂抹范围决定了待处理的人脸区域的范围,涂抹时问决定了化妆品在涂抹范围内的厚度、均匀度。与实际化妆过程相似,涂抹时间越长,则厚度越薄,化妆色彩越淡,并且越均匀。所选的化妆品参数决定了化妆品的色系、使用范围等特性,例如,眼影产品将限制化妆品用在眼睛周围,而粉底则决定了可以应用在人脸的所有皮肤区域。又例如,唇膏的使用范围将被限制在嘴唇区域。这些参数和特性一般是预知的,系统可以预置这些化妆品的参数。试妆人员可以根据效果继续模拟化妆动作直到效果满意为止。
图9示出了本发明的虚拟试妆处理系统示意图。所述虚拟试妆处理系统2实现了图3所示的本发明的非接触模拟式虚拟试妆方法。该系统包括:试妆图像确定模块601、虚拟试妆处理参数和动作确定模块602和图像处理上妆模块603。根据图3所述的步骤S1,所述试妆图像确定模块601分析采集的图像,根据人脸特征检测试妆人员的面部图像,确定合适的图像作为试妆图像,图像处理上妆模块603对试妆图像进行处理;试妆图像根据试妆人员的相应的动作行为进行更新。虚拟试妆处理参数和动作确定模块602分析试妆人员的试妆的动作行为,确定虚拟化妆处理参数和操作,试妆人员模拟实际化妆过程,模块602分析该过程中的动作,从而确定虚拟化妆所对应的处理。图像处理上妆模块603基于虚拟化妆处理参数和动作对所述的试妆图像进行图像处理,进行虚拟着妆,实现虚拟上妆效果。试妆人员可以根据效果继续模拟化妆动作直到试妆效果满意为止。
综上所述,本发明的非接触模拟式虚拟试妆方法及系统通过相机采集图像,根据人脸特征检测合适的试妆图像进行虚拟试妆处理,从而避免直接在动态图像上进行虚拟试妆处理造成的不稳定性和误差,使用静态的试妆图像便于试妆人员观察试妆前后的效果;基于采集的图像,通过分析试妆人员的与实际化妆过程相似的模拟化妆动作行为,产生相应的产品选择、化妆处理、清除化妆、重新初始化等虚拟动作指令,这些非接触式动作可以有效地避免公共卫生问题和系统被损坏问题,此外这样模拟的化妆动作更具有真实感,让试妆人员熟悉相应产品的使用过程和相应的效果,提高体验性;再有,这样模拟的实际化妆动作可以让试妆人员直接使用已知的实际化妆动作,降低学习新的控制指令的难度,具有很好的易用性;还有,试妆图像的涂抹范围的计算通过只考虑平移运动,可有效地降低计算复杂性,提高处理速度;基于所述的化妆品参数、涂抹范围、涂抹时间,对试妆图像进行局部或者全局图像处理,实现模拟化妆,比较好地考虑到实际化妆的特点,实现均匀度、色彩等随着动作时间的渐变处理,本法简单有效,且运算量小。所以,本发明有效克服了现有技术中的不足而具高度产业利用价值,能够提高营销效果和广告效应,提高用户购物体验,并有一定的趣味性。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人员都可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (16)

1.一种非接触模拟式虚拟试妆方法,其特征在于,具备以下步骤: 
1)确定或者更新试妆图像; 
2)分析试妆人员的模拟化妆的动作行为,确定虚拟试妆处理参数和操作; 
3)基于虚拟试妆参数和操作,对待处理试妆图像进行图像处理,实现虚拟上妆。 
2.根据权利要求1所述的虚拟试妆方法,其中,所述步骤1)包括: 
根据人脸特征确定合适的试妆图像,其中,所述人脸特征包括人脸轮廓、嘴巴、左眼、右眼,只有所有的人脸特征都满足,该图像才能作为合适的试妆图像。 
3.根据权利要求1所述的虚拟试妆方法,其中,所述步骤1)还包括: 
当试妆图像不存在或者有更新指令,更新试妆图像;当试妆图像存在并且无更新指令,则继续使用现有的试妆图像。 
4.根据权利要求1所述的虚拟试妆方法,其特征在于,所述步骤2)分析的试妆人员的试妆动作行为包括: 
指向动作、涂抹动作、洗脸动作、离开动作, 
-指向动作为用手指或者用手掌指向某一化妆品的动作确定相应产品参数信息; 
-涂抹动作为试妆人员在脸部的涂抹动作,检测涂抹范围和涂抹时间,所述的涂抹动作包括在脸部的涂抹动作包括手指或者手掌上下来回移动、左右来回移动、顺时针圆周运动或者逆时针圆周运动; 
-洗脸动作为捂下脸动作,用来清除图像的虚拟化妆; 
-离开动作为在一个预设时间段Tr内没有检测到人脸则重新初始化试妆和更新试妆图像。 
5.根据权利要求1和4所述的方法,其中,所述的涂抹范围,其特征在于: 
涂抹范围St以下公式计算 
St=(Sc∪St-1)∩Sskin
其中,Sc为当前时刻手指头或者手掌中心部分的范围,St-1为上一时刻的涂抹范围,Sskin为试妆图像上的人脸皮肤区域,∪和∩分别是并运算和交运算,如果手指头或者手掌中心离开了人脸区域,则涂抹范围St将重新开始计算,这样保证了动作的连续性,所述的手指头或 者手掌中心部分为预设的中心在手指头或者手掌中心的一个小范围。 
6.根据权利要求1和4所述的方法,其中,所述的涂抹时间按照以下公式计算: 
Tt=Tc-T0
其中,Tc为当前时刻,T0为手指头或者手掌中心第一次位于人脸区域时的时刻。 
7.根据权利要求1所述的虚拟试妆方法,其特征在于,所述步骤3)包括: 
按照下式计算试妆图像上相应涂抹范围: 
Figure FSA0000102827620000021
其中,(xc,yc)为当前图像的涂抹范围St的坐标点,(xr,yr)为在试妆图像的涂抹范围Sr的坐标点,(Dx,Dy)为涂抹范围St相对于涂抹范围Sr的偏移,偏移(Dx,Dy)通过不同的人脸特征的偏移进行计算,例如,根据人脸轮廓特征计算轮廓的中心点的相对偏移,即为当前图像上的涂抹范围相对于试妆图像的相对偏移,从而可以计算在试妆图像的涂抹范围。又例如,根据多个人脸特征的相对偏移的平均值作为当前图像上的涂抹范围相对于试妆图像的相对偏移。 
8.根据权利要求1所述的虚拟试妆方法,其特征在于,所述步骤3)还包括: 
基于所述的化妆品参数、涂抹范围、涂抹时间,对试妆图像进行局部或者全局图像处理,实现模拟上妆,其中涂抹范围决定了待处理的人脸区域的范围,涂抹时间决定了化妆品在涂抹范围内的厚度、均匀度。与实际化妆过程相似,涂抹时间越长,则厚度越薄,化妆色彩越淡,并且越均匀。所选的化妆品参数决定了化妆品的色系、使用范围等特性。 
9.一种虚拟试妆处理系统,其特征在于,具备: 
1)试妆图像确定模块,分析采集的图像,确定或者更新试妆图像; 
2)虚拟试妆处理参数和操作确定模块,分析试妆人员的模拟化妆的动作行为,确定虚拟试妆处理参数和操作; 
3)图像处理上妆模块,对待处理试妆图像进行图像处理,实现虚拟上妆。 
10.根据权利要求9所述的虚拟试妆系统,其中,所述试妆图像确定模块包括: 
试妆图像确定子模块,根据人脸特征确定合适的试妆图像,所述人脸特征包括人脸轮廓、 嘴巴、左眼、右眼,只有所有的人脸特征都满足,该图像才能作为合适的试妆图像。 
11.根据权利要求9所述的系统,其中,所述试妆图像确定模块还包括, 
试妆图像更新子模块,其特征在于当试妆图像不存在或者有更新指令,更新试妆图像;当试妆图像存在并且无更新指令,则继续使用现有的试妆图像。 
12.根据权利要求9所述的系统,其特征在于,所述的虚拟试妆处理参数和动作确定模块分析的试妆人员的试妆动作行为包括 
指向动作、涂抹动作、洗脸动作、离开动作, 
-指向动作为用手指或者用手掌指向某一化妆品的动作确定相应产品参数信息; 
-涂抹动作为试妆人员在脸部的涂抹动作,检测涂抹范围和涂抹时间,所述的涂抹动作包括在脸部的涂抹动作包括手指或者手掌上下来回移动、左右来回移动、顺时针圆周运动或者逆时针圆周运动; 
-洗脸动作为捂下脸动作,用来清除图像的虚拟化妆; 
-离开动作为在一个预设时间段Tr内没有检测到人脸则重新初始化试妆和更新试妆图像。 
13.根据权利要求9和12所述的系统,其中,所述的涂抹范围St以下公式计算: 
St=(Sc∪St-1)∩Sskin
其中,Sc为当前时刻手指头或者手掌中心部分的范围,St-1为上一时刻的动作范围,Sskin为试妆图像上的人脸皮肤区域,∪和∩分别是并运算和交运算,如果手指头或者手掌中心离开了人脸区域,则涂抹范围St将重新开始计算,这样保证了动作的连续性。 
14.根据权利要求9和12所述的系统,其中,所述的涂抹时间按照以下公式计算: 
Tt=Tc-T0
其中,Tc为当前时刻,T0为手指头或者手掌中心第一次位于人脸区域时的时刻。 
15.根据权利要求9所述的虚拟试妆系统,其特征在于,所述的图像处理上妆模块包括: 
涂抹范围映射子模块,基于权利要求13所述的当前的涂抹范围,按照下式计算在试妆图像上相应涂抹范围: 
16.根据权利要求9所述的虚拟试妆系统,其特征在于,图像处理上妆模块还包括 
虚拟上妆子模块,基于所述的化妆品参数、涂抹范围、涂抹时间,对试妆图像进行局部或者全局图像处理,实现模拟化妆,其中涂抹范围决定了待处理的人脸区域的范围,涂抹时间决定了化妆品在涂抹范围内的厚度、均匀度;与实际化妆过程相似,涂抹时间越长,则厚度越薄,化妆色彩越淡,并且越均匀;所选的化妆品参数决定了化妆品的色系、使用范围等特性。 
CN201410142373.2A 2014-04-10 2014-04-10 一种虚拟试妆的方法和系统 Pending CN103870821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410142373.2A CN103870821A (zh) 2014-04-10 2014-04-10 一种虚拟试妆的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410142373.2A CN103870821A (zh) 2014-04-10 2014-04-10 一种虚拟试妆的方法和系统

Publications (1)

Publication Number Publication Date
CN103870821A true CN103870821A (zh) 2014-06-18

Family

ID=50909337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410142373.2A Pending CN103870821A (zh) 2014-04-10 2014-04-10 一种虚拟试妆的方法和系统

Country Status (1)

Country Link
CN (1) CN103870821A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104575339A (zh) * 2014-07-21 2015-04-29 北京智膜科技有限公司 基于人脸检测界面的传媒信息推送方法
CN107111861A (zh) * 2015-01-29 2017-08-29 松下知识产权经营株式会社 图像处理装置、触笔以及图像处理方法
CN107273837A (zh) * 2017-06-07 2017-10-20 广州视源电子科技股份有限公司 虚拟化妆的方法和系统
CN107392713A (zh) * 2017-07-21 2017-11-24 汕头市智美科技有限公司 一种虚拟试妆设备
CN108227922A (zh) * 2017-12-31 2018-06-29 广州二元科技有限公司 一种虚拟现实的实时数字影像上妆方法
CN108805090A (zh) * 2018-06-14 2018-11-13 广东工业大学 一种基于平面网格模型的虚拟试妆方法
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置
CN109407912A (zh) * 2017-08-16 2019-03-01 丽宝大数据股份有限公司 电子装置及其提供试妆信息方法
WO2019061489A1 (zh) * 2017-09-30 2019-04-04 深圳传音通讯有限公司 一种全息影像投影方法及终端
CN110135929A (zh) * 2018-02-02 2019-08-16 英属开曼群岛商玩美股份有限公司 实行于虚拟化妆应用程序的系统、方法及存储媒体
CN110223094A (zh) * 2018-03-02 2019-09-10 阿里巴巴集团控股有限公司 展示设备、方法和系统
CN111462007A (zh) * 2020-03-31 2020-07-28 北京百度网讯科技有限公司 图像处理方法、装置、设备及计算机存储介质
WO2020156469A1 (en) * 2019-01-31 2020-08-06 Huawei Technologies Co., Ltd. Hand-over-face input sensing for interaction with a device having a built-in camera
CN113455807A (zh) * 2020-06-02 2021-10-01 海信集团有限公司 一种智能设备
CN113780047A (zh) * 2021-01-11 2021-12-10 北京沃东天骏信息技术有限公司 虚拟试妆的方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673475A (zh) * 2009-09-15 2010-03-17 宇龙计算机通信科技(深圳)有限公司 一种在终端上实现化妆指导的方法、设备及系统
CN101779218A (zh) * 2007-08-10 2010-07-14 株式会社资生堂 化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序
CN101925345A (zh) * 2008-01-22 2010-12-22 株式会社资生堂 化妆方法、化妆模拟装置、以及化妆模拟程序
CN102184108A (zh) * 2011-05-26 2011-09-14 成都江天网络科技有限公司 一种利用计算机程序进行虚拟化妆的方法及化妆模拟程序
US20120223956A1 (en) * 2011-03-01 2012-09-06 Mari Saito Information processing apparatus, information processing method, and computer-readable storage medium
US20130129210A1 (en) * 2010-11-02 2013-05-23 Sk Planet Co., Ltd. Recommendation system based on the recognition of a face and style, and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101779218A (zh) * 2007-08-10 2010-07-14 株式会社资生堂 化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序
CN101925345A (zh) * 2008-01-22 2010-12-22 株式会社资生堂 化妆方法、化妆模拟装置、以及化妆模拟程序
CN101673475A (zh) * 2009-09-15 2010-03-17 宇龙计算机通信科技(深圳)有限公司 一种在终端上实现化妆指导的方法、设备及系统
US20130129210A1 (en) * 2010-11-02 2013-05-23 Sk Planet Co., Ltd. Recommendation system based on the recognition of a face and style, and method thereof
US20120223956A1 (en) * 2011-03-01 2012-09-06 Mari Saito Information processing apparatus, information processing method, and computer-readable storage medium
CN102184108A (zh) * 2011-05-26 2011-09-14 成都江天网络科技有限公司 一种利用计算机程序进行虚拟化妆的方法及化妆模拟程序

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104575339A (zh) * 2014-07-21 2015-04-29 北京智膜科技有限公司 基于人脸检测界面的传媒信息推送方法
CN107111861A (zh) * 2015-01-29 2017-08-29 松下知识产权经营株式会社 图像处理装置、触笔以及图像处理方法
CN107111861B (zh) * 2015-01-29 2021-06-18 松下知识产权经营株式会社 图像处理装置、触笔以及图像处理方法
CN107273837A (zh) * 2017-06-07 2017-10-20 广州视源电子科技股份有限公司 虚拟化妆的方法和系统
CN107273837B (zh) * 2017-06-07 2019-05-07 广州视源电子科技股份有限公司 虚拟化妆的方法和系统
WO2018223561A1 (zh) * 2017-06-07 2018-12-13 广州视源电子科技股份有限公司 虚拟化妆的方法和系统
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置
CN107392713A (zh) * 2017-07-21 2017-11-24 汕头市智美科技有限公司 一种虚拟试妆设备
CN109407912A (zh) * 2017-08-16 2019-03-01 丽宝大数据股份有限公司 电子装置及其提供试妆信息方法
WO2019061489A1 (zh) * 2017-09-30 2019-04-04 深圳传音通讯有限公司 一种全息影像投影方法及终端
CN108227922A (zh) * 2017-12-31 2018-06-29 广州二元科技有限公司 一种虚拟现实的实时数字影像上妆方法
CN110135929A (zh) * 2018-02-02 2019-08-16 英属开曼群岛商玩美股份有限公司 实行于虚拟化妆应用程序的系统、方法及存储媒体
CN110223094A (zh) * 2018-03-02 2019-09-10 阿里巴巴集团控股有限公司 展示设备、方法和系统
CN108805090A (zh) * 2018-06-14 2018-11-13 广东工业大学 一种基于平面网格模型的虚拟试妆方法
WO2020156469A1 (en) * 2019-01-31 2020-08-06 Huawei Technologies Co., Ltd. Hand-over-face input sensing for interaction with a device having a built-in camera
US10885322B2 (en) 2019-01-31 2021-01-05 Huawei Technologies Co., Ltd. Hand-over-face input sensing for interaction with a device having a built-in camera
CN111462007A (zh) * 2020-03-31 2020-07-28 北京百度网讯科技有限公司 图像处理方法、装置、设备及计算机存储介质
CN111462007B (zh) * 2020-03-31 2023-06-09 北京百度网讯科技有限公司 图像处理方法、装置、设备及计算机存储介质
CN113455807A (zh) * 2020-06-02 2021-10-01 海信集团有限公司 一种智能设备
CN113780047A (zh) * 2021-01-11 2021-12-10 北京沃东天骏信息技术有限公司 虚拟试妆的方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN103870821A (zh) 一种虚拟试妆的方法和系统
RU2644520C2 (ru) Бесконтактный ввод
CN101807114B (zh) 一种基于三维手势的自然交互方法
US11710040B2 (en) Generating synthetic models or virtual objects for training a deep learning network
Rautaray et al. Real time multiple hand gesture recognition system for human computer interaction
Magnenat-Thalmann et al. 3d web-based virtual try on of physically simulated clothes
CN108227922A (zh) 一种虚拟现实的实时数字影像上妆方法
Sinha et al. A computer vision-based gesture recognition using hidden Markov model
Jörg et al. Virtual hands in VR: Motion capture, synthesis, and perception
Garrido et al. Point cloud interaction and manipulation in virtual reality
Raees et al. VEN-3DVE: vision based egocentric navigation for 3D virtual environments
CN112190921A (zh) 一种游戏交互方法及装置
CN107450717A (zh) 一种信息处理方法及穿戴式设备
JP2016167268A (ja) ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム
Scalera et al. A novel robotic system for painting with eyes
Gil et al. 3D visual sensing of the human hand for the remote operation of a robotic hand
Manfredi et al. TryItOn: a virtual dressing room with motion tracking and physically based garment simulation
JP6891473B2 (ja) 柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラム
CN112613374A (zh) 人脸可见区域解析与分割方法、人脸上妆方法及移动终端
CN112330528A (zh) 虚拟试妆方法、装置、电子设备和可读存储介质
CN112912925A (zh) 程序、信息处理装置、定量化方法以及信息处理系统
CN111324274A (zh) 虚拟试妆方法、装置、设备及存储介质
Rupanagudi et al. A novel air gesture based wheelchair control and home automation system
CN115026817A (zh) 机器人交互方法、装置、电子设备以及存储介质
Chaudhary Finger-stylus for non touch-enable systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
CB02 Change of applicant information

Address after: 201114 Shanghai city Minhang District new Chun road 189, building B room 310

Applicant after: SHANGHAI YINGHUO SMART Co.,Ltd.

Address before: 200240 Shanghai Jianchuan Road No. 951 building B room 304

Applicant before: SHANGHAI YINGHUO SMART Co.,Ltd.

COR Change of bibliographic data
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201114 Room 203, B building, No. 189, new Jun ring, Minhang District, Shanghai

Applicant after: SHANGHAI YINGHUO SMART Co.,Ltd.

Address before: 201114 Shanghai city Minhang District new Chun road 189, building B room 310

Applicant before: SHANGHAI YINGHUO SMART Co.,Ltd.

CB02 Change of applicant information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140618

WD01 Invention patent application deemed withdrawn after publication