CN101371272B - 化妆模拟系统，化妆模拟装置，化妆模拟方法 - Google Patents

化妆模拟系统，化妆模拟装置，化妆模拟方法 Download PDF

Info

Publication number
CN101371272B
CN101371272B CN2007800025242A CN200780002524A CN101371272B CN 101371272 B CN101371272 B CN 101371272B CN 2007800025242 A CN2007800025242 A CN 2007800025242A CN 200780002524 A CN200780002524 A CN 200780002524A CN 101371272 B CN101371272 B CN 101371272B
Authority
CN
China
Prior art keywords
makeup
face
user
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800025242A
Other languages
English (en)
Other versions
CN101371272A (zh
Inventor
后藤康男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Publication of CN101371272A publication Critical patent/CN101371272A/zh
Application granted granted Critical
Publication of CN101371272B publication Critical patent/CN101371272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

一种对拍摄到的用户面部的动态图像进行化妆的化妆模拟系统，其特征为，具有摄像单元，其拍摄用户的面部并输出动态图像；控制单元，其接收摄像单元输出的动态图像，并对该动态图像做图像处理；以及显示单元，其显示控制单元输出的动态图像，其中，控制单元包含面部识别处理单元，其根据跟踪点从动态图像中识别用户的面部，以及化妆处理单元，其根据跟踪点对动态图像中包含的用户的面部进行化妆并输出到显示单元。

Description

化妆模拟系统,化妆模拟装置,化妆模拟方法
技术领域
本发明涉及化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序，特别是，涉及一种对动态图像中包含的用户的面部进行化妆的化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序。 
背景技术
在现有技术中，为推销化妆品，不实际进行化妆而是在计算机上模拟化妆后的面部的技术已为人所知(比如，可参照日本专利申请公开“特开2001-346627”)。但是，该文献中，模拟结果是用静止图像来表示的，所以，用户的表情变化时无法简单地确认化妆后的面部。为此，已开发了用能捕捉用户表情变化的动态图像进行化妆模拟的技术(比如，可参照日本专利申请公开“特开2003-44837”)。 
然而，“特开2003-44837”描述的化妆模拟装置是用嘴及两眼的像素区域来确定用户的表情变化，通过模板匹配追踪该像素区域，由此算出进行面部化妆的区域(比如，可参照其第0028段)。但是，用嘴及两眼的像素区域来追踪用户的表情变化的方法存在计算机的处理负荷大，在眼睛闭上等情形下难以准确处理等问题。 
发明内容
本发明鉴于以上问题而提出，其目的在于提供一种能够以小的处理负荷准确地对包含在动态图像中的用户的面部进行化妆的化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序。 
为解决以上课题，本发明提供一种对拍摄到的用户面部的动态图 像进行化妆的化妆模拟系统，其特征为，具有摄像单元，其拍摄用户的面部并输出动态图像；控制单元，其接收摄像单元输出的动态图像，并对该动态图像做图像处理并输出；显示单元，其显示控制单元输出的动态图像；读取单元，其读取用户从陈列单元选择的物品的识别信息，该陈列单元陈列用于化妆的物品；和对应单元，其使物品与识别信息相对应，其中，控制单元包含面部识别处理单元，其根据预定的跟踪点从动态图像中识别用户的面部，以及化妆处理单元，其根据跟踪点对动态图像中包含的用户的面部进行预定的化妆并输出到显示单元，化妆处理单元根据对应单元确定对应于读取单元读取的识别信息的物品，并将使用该物品对动态图像中包含的用户的面部进行预定的化妆而得到的形象图像输出到显示单元。 
在本发明中，由于配置了根据跟踪点从动态图像中识别用户的面部的面部识别处理单元，以及根据跟踪点对动态图像中包含的用户的面部进行化妆并输出到显示单元的化妆处理单元，所以能够以很小的处理负荷根据跟踪点从动态图像中识别用户的面部，根据该跟踪点对动态图像中包含的用户的面部进行准确的化妆。 
需注意，适用了本发明的构成要件或者构成要件的组合的方法，装置，计算机程序，存储介质，数据结构等也是本发明的有效的实施形态。 
根据本发明，可以提供能够以很小的处理负荷准确地对包含在动态图像中的用户的面部进行化妆的化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序。 
附图概述 
图1显示本发明的化妆模拟装置的第一实施例的外观图。 
图2显示化妆模拟装置的第一实施例的剖面图。 
图3显示本发明的化妆模拟装置的第二实施例的外观图。 
图4显示化妆模拟装置的第二实施例的剖面图。 
图5显示本发明的化妆模拟装置的第三实施例的外观图。 
图6显示化妆模拟装置的第三实施例的剖面图。 
图7显示本发明的化妆模拟装置的第四实施例的外观图。 
图8显示化妆模拟装置的第四实施例的剖面图。 
图9显示本发明的化妆模拟装置的第五实施例的外观图。 
图10显示化妆模拟装置的第五实施例的剖面图。 
图11显示化妆模拟装置的第一实施例的硬件构成图。 
图12是例示化妆模拟装置1进行的处理的概要的流程图。 
图13显示在显示器上的主画面以及显示在操作屏上的操作画面的一个例子。 
图14显示化妆模拟装置1进行的模拟化妆以外的处理的例子。 
图15显示本发明的化妆模拟系统的一个实施例的构成图。 
图16为显示模拟器主应用程序28进行的处理的形象图像。 
图17显示化妆前图像中包含的用户的面部。 
图18显示跟踪点的一个例子。 
图19显示化妆处理参数文件的一个例子。 
图20显示口红处理被参照的跟踪点34。 
图21显示口红处理的一个例子的流程图。 
图22显示提取轮廓处理的一个例子。 
图23比较嘴唇8个点和鼻子3个点的跟踪点34，和以嘴唇8个点和鼻子3个点的跟踪点34为基础再次搜索，提取出的用于提取轮廓的图像601的点。 
图24显示从嘴唇8个点和鼻子3个点的跟踪点算出缺省点的处理的一个例子。 
图25显示以点或者缺省点完成轮廓的处理。 
图26显示生成涂色图的处理的一个例子。 
图27显示根据涂色图的涂色处理的一个例子。 
图28显示阴影处理中被参照的跟踪点34。 
图29为显示阴影处理的一个例子的流程图。 
图30显示生成基本轮廓处理的一个例子。 
图31显示的生成涂色轮廓的处理的一个例子。 
图32显示未施加晕影的涂色图和施加了晕影的涂色图的例子。 
图33显示修容处理中被参照的跟踪点。 
图34为显示修容处理的一个例子的流程图。 
图35显示生成涂色轮廓处理的一个例子。 
图36显示眉处理中被参照的跟踪点。 
图37为显示眉处理的一个例子的流程图。 
图38显示提取眉轮廓处理的一个例子。 
图39显示生成对应于变形指定的曲线的处理的一个例子。 
图40显示粉底处理中被参照的跟踪点34。 
图41为显示粉底处理的一个例子的流程图。 
图42显示生成的轮廓的一个例子。 
图43显示晕影处理前的原图像和晕影处理后的图像的一个例子。 
本发明的最佳实施方式 
以下参考附图说明本发明的最佳具体实施形态。 
图1显示本发明的化妆模拟装置的第一实施例的外观图。 
图1所示的化妆模拟装置1包含摄像机2，操作屏4，打印机5，照明6，以及显示器7。 
摄像机2拍摄站在化妆模拟装置1前方的用户并输出动态图像。 
操作屏4显示操作图像，并接收用户的操作，输出操作信息。 
打印机5打印显示在显示器7上的图像(比如，化妆后的形象图像等)以及信息(比如，用来按形象图像进行化妆的商品信息等)。 
照明6比如可在模拟化妆开始以后进行调光。 
图2显示化妆模拟装置的第一实施例的剖面图。 
化妆模拟装置1包含摄像机2，操作屏4，打印机5，显示器7，以及控制部8。 
摄像机2把拍摄的动态图像输出到控制部8。 
操作屏4显示从控制部8输出的操作图像，并接收用户的操作，把操作信息输出到控制部8。 
打印机5打印从控制部8输出的图像以及信息。 
显示器7显示从控制部8输出的动态图像(主图像)。 
控制部8接收从摄像机2输出的动态图像，对该动态图像实施以下所述的图像处理，以此对动态图像中包含的用户的面部进行化妆并输出到显示器7。 
图1及图2所示的化妆模拟装置1采用镜子这一对化妆来说必不可少的用具的概念，具有与用户互动的功能。即，化妆模拟装置1可以让用户产生似乎在看着镜子自然地化妆的感觉。
在化妆模拟装置1中，控制部8对从摄像机2输出的动态图像实施图像处理，以此对动态图像中包含的用户的面部进行化妆，然后显示到数码式镜子-显示器7上。化妆模拟装置1可以在显示器7上显示各种商品信息，美容信息，以及化妆后的用户面部的形象图像。 
图3显示本发明的化妆模拟装置的第二实施例的外观图。 
图3中，对与图1中相同的组成要素使用相同的符号。 
图3所示的化妆模拟装置1包含操作屏4，打印机5，照明6，以及透明板9。 
透明板9使来自化妆模拟装置1外侧的光透过，还使来自化妆模拟装置1内侧的光透过。 
图4显示化妆模拟装置的第二实施例的剖面图。 
图4中，对与图2中相同的组成要素使用相同的符号。 
图4所示的化妆模拟装置1包含摄像机2，半反镜3，操作屏4，打印机5，显示器7，控制部8，以及透明板9。 
半反镜(半透明镜)3反射入射光，但是使入射光的一部分透过。 
摄像机2被安置在经过半反镜3和透明板9能够拍摄到站在化妆模拟装置1前方的用户的位置。摄像机2被设置在用户视线的高度。摄像机2通过半反镜3和透明板9拍摄站在化妆模拟装置1前方的用户并输出动态图像。 
显示器7被安置在经过半反镜3和透明板9能够被站在化妆模拟装置1前方的用户看到的位置。从显示器7射出的光被半反镜3反射，穿过透明板9射出到化妆模拟装置1的外侧。所以，用户可以从化妆模拟装置1外侧看到显示在显示器7上的动态图像 
图3及图4所示的化妆模拟装置1采用镜子这一对化妆来说必不可少的用具的概念，具有与用户互动的功能。即，化妆模拟装置1可以让用户产生似乎在看着镜子自然地化妆的感觉。 
在化妆模拟装置1中，由于摄像机2被设置在用户视线的高度，与实施例1中摄像机的位置相比，能够自然地拍摄站在化妆模拟装置1前方的用户的面部。 
在化妆模拟装置1中，控制部8对从摄像机2输出的动态图像实施图像处理，以此对动态图像中包含的用户的面部进行化妆，然后显示到数码式镜子-显示器7上。化妆模拟装置1可以在显示器7上显示各种商品信息，美容信息，以及化妆后用户面部的形象图像。 
图5显示本发明的化妆模拟装置的第三实施例的外观图。 
图5中，对与前面的图中相同的组成要素使用相同的符号。 
图5所示的化妆模拟装置1包含摄像机2，半反镜3，操作屏4，打印机5，以及照明6。 
半反镜3使来自明亮一侧的光的一部分(比如，50％)透过，但将来自明亮一侧的光的剩余的部分(比如，50％)反射到跟前。由于黑暗一侧没有光，半反镜3既不透射也不反射黑暗一侧的光。 
照明6在模拟化妆开始以后进行调光，使得半反镜3的显示器7一侧变亮。因此，安置在显示器7的显示方向一侧的半反镜3在模拟化妆开始以前起到镜子的作用，其反射来自用户一侧(化妆模拟装置1外侧)的光。 
在模拟化妆开始以后，半反镜3起到玻璃的作用，使来自显示器7一侧(化妆模拟装置1内侧)的光透过。因此，用户通过半反镜3可以看到显示在显示器7上的动态图像。 
图6显示化妆模拟装置的第三实施例的剖面图。 
图6中，对与前面的图中相同的组成要素使用相同的符号。 
图6所示的化妆模拟装置1包含摄像机2，半反镜3，操作屏4，打印机5，显示器7，以及控制部8。 
显示在显示器7上的动态图像透过起玻璃的作用的半反镜3。用户可以从化妆模拟装置1外侧看到显示在显示器7上的动态图像。 
图5及图6所示的化妆模拟装置1采用镜子这一对化妆来说必不可少的用具的概念，具有与用户互动的功能。即，化妆模拟装置1可以让用户产生似乎在看着镜子自然地化妆的感觉。 
在化妆模拟装置1中，控制部8对从摄像机2输出的动态图像实施图像处理，以此对动态图像中包含的用户的面部进行化妆，然后显示到数码式镜子-显示器7上。化妆模拟装置1可以在显示器7上显示各 种商品信息，美容信息，以及化妆后用户面部的形象图像。 
图7显示本发明的化妆模拟装置的第四实施例的外观图。 
图8显示化妆模拟装置的第四实施例的剖面图。 
图7、图8中，对与前面的图中相同的组成要素使用相同的符号。 
图7、图8所示的化妆模拟装置1包含摄像机2，打印机5，照明6，以及触摸屏显示器15。 
与图1、图2所示的化妆模拟装置1不同的是，图7、图8所示的化妆模拟装置1具有触摸屏显示器15来代替操作屏4和显示器7。触摸屏显示器15起到操作屏4和显示器7的作用。 
触摸屏显示器15显示操作图像，并接收用户的操作，输出操作信息。触摸屏显示器15显示从控制部8输出的动态图像，并接收用户的操作，输出操作信息。触摸屏显示器15显示从控制部8输出的动态图像(主图像)。控制部8接收从摄像机2输出的动态图像，对该动态图像实施以下所述的图像处理，以此对动态图像中包含的用户的面部进行化妆并输出到触摸屏显示器15。 
图7及图8所示的化妆模拟装置1采用镜子这一对化妆来说必不可少的用具的概念，具有与用户互动的功能。即，化妆模拟装置1可以让用户产生似乎在看着镜子自然地化妆的感觉。 
在化妆模拟装置1中，控制部8对从摄像机2输出的动态图像实施图像处理，以此对动态图像中包含的用户的面部进行化妆，然后显示到数码式镜子-触摸屏显示器15上。化妆模拟装置1可以在触摸屏显示器15上显示各种商品信息，美容信息，以及化妆后用户面部的形象图像。 
第四实施例的化妆模拟装置1可以如图9、图10那样安装一个陈列盒来陈列比如让用户尝试的试用商品(以下称为试用品)，作为自助销售的机箱使用。 
图9显示本发明的化妆模拟装置的第五实施例的外观图。 
图10显示化妆模拟装置的第五实施例的剖面图。 
图9、图10中，对与前面的图中相同的组成要素使用相同的符号。 
图9、图10所示的化妆模拟装置1包含摄像机2，打印机5，照明6，触摸屏显示器15，陈列盒16，以及IC标签读写器17。 
与图7、图8所示的化妆模拟装置1不同的是，图9、图10所示的化妆模拟装置1具有陈列盒16，以及IC标签读写器17。 
陈列盒16用来陈列多个试用品。试用品上带有IC(RFID)标签。试用品上的IC(RFID)标签里存储有识别试用品的识别信息。用户从陈列盒16取出试用品，接近IC标签读写器17，于是IC标签读写器17可从IC标签中读出试用品的识别信息。 
IC标签读写器17把从IC标签中读出的试用品识别信息传送给控制部8。控制部8接收从摄像机2输出的动态图像，对该动态图像实施以下所述的图像处理，据此，使用与从IC标签中读出的试用品识别信息对应的试用品对动态图像中包含的用户的面部进行化妆，并把得到的形象图像输出到触摸屏显示器15。 
将试用品与试用品识别信息对应起来的对应表可以安装在化妆模拟装置1中。该对应表也可以安装在化妆模拟装置1通过网络可以获取的其他的装置中。 
虽然图9及图10所示的化妆模拟装置1中举了利用IC标签来识别试用品的例子，也可以使用条码，二维码，标签等。再者， 
图9及图10所示的化妆模拟装置1中，也可以在陈列盒16中设某种能辨别取出的商品的机构(比如，使用光感元件等传感器辨别位置)，由陈列盒16通知控制部8。 
图9及图10所示的化妆模拟装置1采用镜子这一对化妆来说必不可 少的用具的概念，具有与用户互动的功能。即，化妆模拟装置1可以让用户产生似乎在看着镜子自然地化妆的感觉。 
在化妆模拟装置1中，控制部8对从摄像机2输出的动态图像实施图像处理，以此，使用用户从陈列盒16中选择的试用品对动态图像中包含的用户的面部进行化妆，然后将得到的形象图像显示到数码式镜子-触摸屏显示器15上。化妆模拟装置1可以在触摸屏显示器15上显示各种商品信息，美容信息，以及化妆后用户面部的形象图像。如果做用户从陈列盒16中选择的试用品的记录，化妆模拟装置1可以获得用户嗜好的数据。 
再比如，不仅仅是试用品，如果化妆模拟装置1中设有陈列商品的货架，若把触摸屏显示器15上显示的商品陈列在货架上，化妆模拟装置1可以作为自助销售的机箱得到充分使用。 
以下以第一实施例的化妆模拟装置为例做说明。 
图11显示化妆模拟装置的第一实施例的硬件构成图。 
图11中，对与前面的图中相同的组成要素使用相同的符号。 
图11中的化妆模拟装置1包含摄像机2，操作屏4，打印机5，显示器7，计算处理装置10，存储装置11，驱动装置12，以及辅助存储装置13。这些组成要素通过总线B相互连接。 
图11中的计算处理装置10，存储装置11，驱动装置12，以及辅助存储装置13构成图2所示的控制部8。 
本发明的化妆模拟程序为控制化妆模拟装置1的各种程序中的至少一部分。比如说，化妆模拟程序随存储介质14被提供。存储化妆模拟程序的存储介质14可以是CD-ROM，软盘，光盘，磁盘等以光学方式，电磁学方式记录信息的存储介质，或ROM，闪烁存储器等以电学方式记录信息的半导体存储器等各种类型的存储介质。当存储了化妆模拟程序的存储介质14被安放在驱动装置12中时，化妆模拟程序通过 驱动装置12从存储介质14安装到辅助存储装置13。 
辅助存储装置13存储被安装的化妆模拟程序，以及其他需要的程序和数据。 
存储装置11在起动时从辅助存储装置13读出化妆模拟程序并将其保存。
计算处理装置10根据存储装置11中存储的化妆模拟程序进行下述的各种处理。 
图12是例示化妆模拟装置1进行的处理的概要的流程图。 
图13显示在显示器上的主画面以及显示在操作屏上的操作画面的一个例子。图13中的画面图像100至111为显示在显示器7上的主画面，画面图像200至210为显示在操作屏4上的操作画面。 
控制部8连续地接收摄像机2拍摄的动态图像。这时，控制部8在显示器7上显示画面图像100，在操作屏4上显示画面图像200。比如，画面图像100，200为屏幕保护图像。 
在步骤S1中，控制部8连续判断接收到的动态图像中是否包含用户的面部。步骤S1被反复执行直到控制部8识别出动态图像中包含用户的面部(步骤S1中的NO)。 
当控制部8识别出动态图像中包含用户的面部(步骤S1中的YES)，控制部8进入步骤S2，起动包含用来进行化妆模拟的化妆模拟程序的软件。这时，控制部8在显示器7上显示画面图像101，在操作屏4上显示画面图像201。 
比如，画面图像101为摄像机2拍摄的用户的面部的动态图像。比如，画面图像201显示横向移动的表示欢迎的信息。 
进入步骤S3，控制部8根据步骤S2中起动的软件开始化妆模拟。这时，控制部8在显示器7上显示画面图像102，在操作屏4上显示画面图像202。 
比如，画面图像102为对摄像机2拍摄的用户面部的图像进行了魔镜似的处理的图像；与画面图像201相同，画面图像202显示横向移动的表示欢迎的信息。 
进入步骤S4，控制部8如下所述进行模拟化妆。这时，控制部8在显示器7上依次显示画面图像103至106，在操作屏4上依次显示画面图像203至206。 
比如，画面图像103至106分别为在化妆模拟中实施了四种化妆模式(形象)后得到的用户面部的图像；画面图像203至206分别显示在显示器7上显示的画面图像103至106的化妆模式的内容(比如，名称)。在经过一定时间以前，或在用户触摸操作屏4之前，控制部8在显示器7上依次显示画面图像103至106，在操作屏4上依次显示画面图像203至206。 
在经过一定时间以后，或在用户触摸操作屏4之后，控制部8进入步骤S5，在显示器7上依次显示画面图像107，在操作屏4上显示画面图像207。比如，画面图像107与画面图像101相同，为摄像机2拍摄的用户的面部的动态图像，画面图像207显示形象选择画面，表示从四种化妆模式(形象)中选取一个形象。用户可以操作操作屏4，从形象选择画面选取一个形象。 
进入步骤S6，控制部8反复执行步骤S6，直到从形象选择画面中选取出一个形象(步骤S6中的N0)。当用户从形象选择画面中选取出一个形象时，操作屏4接受用户的操作，把操作信息输出到控制部8。 
当判断出用户从形象选择画面中选取了一个形象时(步骤S6中的YES)，控制部8进入步骤S7，在显示器7和操作屏4上显示被选取的形象的图像。这时，控制部8在显示器7上显示画面图像108，在操作屏4上显示画面图像208。 
比如，画面图像108依次显示根据从形象选择画面中选取的一个 形象采用不同颜色模式进行化妆后的用户面部的形象图像，以及用来按形象图像进行化妆的商品信息。比如，画面图像208显示从形象选择画面中选取的一个形象的内容，以及用来按显示器7上显示的画面图像108中的形象图像进行化妆的商品信息。 
用户可以操作操作屏4以发出打印指令。接到用户发出的打印指令后，控制部8在显示器7上显示画面图像109，在操作屏4上显示画面图像209。比如，画面图像109为要打印的形象图像，画面图像209显示打印时的信息。控制部8控制打印机5打印出在显示器7上显示的形象图像。 
用户可以操作操作屏4来指示显示及打印由化妆前和化妆后的图像构成的比较画面。接到用户发出的显示比较画面的指令后，控制部8在显示器7上显示画面图像110。画面图像110为由化妆前和化妆后的图像构成的比较画面。在比较画面被显示的情形下，当接到用户发出的打印指令时，控制部8控制打印机5打印出在显示器7上显示的比较画面。 
当用户结束化妆模拟时，控制部8在显示器7及操作屏4上显示由屏幕保护图像构成的画面图像111和画面图像210，然后结束处理。 
在图12及图13的例子中说明经模拟化妆显示4个形象，但是也可以显示其他数量的形象。另外，在以上的例子中说明化妆模拟装置1对摄像机2输出的动态图像中包含的用户面部进行化妆，但是也可以把事先拍摄好的动态图像作为动画文件存在辅助存储装置13中，对该动画文件机中包含的用户面部进行化妆。 
化妆模拟装置1除对摄像机2输出的动态图像进行模拟化妆以外还可以有其他用途。 
图14显示化妆模拟装置1进行的模拟化妆以外的处理的例子。 
图像300显示摄像机2拍摄的用户面部的动态图像。化妆模拟装置 1识别动态图像中包含的用户面部，切出用户面部的静止图像301。 
化妆模拟装置1通过面部分析逻辑及皮肤分析逻辑对静止图像301进行面部诊断及肤色诊断，将由分析结果形成的图像302显示在显示器7上。关于通过面部分析逻辑及皮肤分析逻辑对静止图像301进行面部诊断及肤色诊断的具体方法可以采用比如日本专利申请公开“特开2001-346627”中公开的公知技术。 
另外，化妆模拟装置1可以在显示器7上显示如图像303所示的化妆套餐选择画面303，让用户选择各种化妆套餐(比如，流行，基础，自由)。化妆模拟装置1根据用户选择的化妆套餐在显示器7上显示图像304至309，进行模拟和指导。 
图像304至306显示各个化妆套餐的模拟画面。图像307至309显示各个化妆套餐的指导画面。 
比如，在基础化妆套餐中，根据面部诊断及肤色诊断的结果，模拟和指导最佳的化妆技术。在流行化妆套餐中，模拟和指导最流行的化妆。在自由化妆套餐中，模拟和指导对应于眼部，嘴部，脸颊，眉，等各个人体部件的用具。 
在模拟画面和指导画面被显示的情形下，当接到用户发出的打印指令时，控制部8控制打印机5打印出显示在显示器7上的模拟画面和指导画面。 
下面详细说明用来实现上述化妆模拟装置1的化妆模拟系统。 
图15显示本发明的化妆模拟系统的一个实施例的构成图。 
图15所示的化妆模拟系统20包括模拟摄像机21，USB摄入装置22，动画文件23，化妆摄像机24，静止图像系统25，动画文件26，共享内存27，模拟器主应用程序28，界面应用程序29。 
模拟摄像机21拍摄的比如NTSC制式的动态图像经由USB摄入装置22被输出。从USB摄入装置22输出的动态图像，利用API(Application Programming Interface)，比如DirectX 31，被输入到模拟器主应用程序28。动画文件23也利用DirectX 31被输入到模拟器主应用程序28。 
化妆摄像机24拍摄的动态图像经由串行界面，比如，IEEE1394，被输出。从化妆摄像机24输出的动态图像利用专用API 32被输入到模拟器主应用程序28。模拟器主应用程序28从利用专用API 32被输入的动态图像获得具有动态图像分辨率的原图像以及具有静止图像分辨率的静止图像。 
模拟器主应用程序28把通过DirectX 31输入的动态图像和动画文件23，以及从通过专用API 32输入的动态图像获得的具有动态图像分辨率的动态图像作为原图像，对原图像进行修剪和缩小。 
模拟器主应用程序28对原图像进行修剪，得到化妆前的图像。另外模拟器主应用程序28对原图像进行缩小，得到用于面部识别处理的图像。面部识别处理部33通过FFT(高速傅立叶变换)从面部识别处理用图像得到用来识别用户面部的如下所述的跟踪点34。 
化妆处理部35根据跟踪点34，对化妆前的图像中包含的用户的面部进行诸如包括粉底处理，眉，阴影，口红，修容等化妆，得到化妆后的图像。化妆处理部35包含粉底处理部36，眉处理部37，阴影处理部38，口红处理部39，修容处理部40。 
化妆处理部35可以把按化妆后图像进行化妆的商品信息包含在化妆后图像中。 
动画服务器42能够将化妆前的图像和化妆后的图像写入共享内存27，并将化妆前的图像和化妆后的图像作为动画文件26输出。 
界面应用程序29包括利用ActiveX控制器50和ActiveX阅读器51的动画控制目标52，动画显示目标53，以及其他控制器54。界面应用程序29与模拟器主应用程序28提供ActiveX&Socket协作。 
界面应用程序29利用ActiveX阅读器51可以把写在共享内存27中的化妆前图像和化妆后图像显示在显示器7上。 
模拟器主应用程序28对利用专用API 32被输入的动态图像获得的具有静止图像分辨率的静止图像进行修剪和缩小。模拟器主应用程序28对具有静止图像分辨率的静止图像进行修剪。进一步，模拟器主应用程序28对具有静止图像分辨率的静止图像进行缩小，得到用于面部识别处理的图像。面部识别处理部43从面部识别处理用图像得到用来识别用户面部的如下所述的跟踪点44。 
模拟器主应用程序28根据跟踪点44，从修剪后的动态图像中包含的用户的面部抽取细节部位，从这些细节部位得到用于面部诊断及肤色诊断的类型，肤色等附加信息，把对跟踪点44附加了附加信息而得到的跟踪点45，以及从利用专用API 32被输入的动态图像中获得的具有静止图像分辨率的静止图像输出到静止图像系统25。 
静止图像系统25使用跟踪点45，如上所述通过面部分析逻辑及皮肤分析逻辑对静止图像301进行面部诊断及肤色诊断，将由分析结果形成的图像302显示在显示器7上。另外，静止图像系统25也将形象图像303至309显示在显示器7上。 
图16为显示模拟器主应用程序28进行的处理的形象图像。 
形象图像400为化妆前图像。形象图像401为将从面部识别处理用图像得到的跟踪点34叠加到化妆前图像得到的图像。形象图像402为根据跟踪点34对化妆前图像中包含的用户的面部进行化妆得到的化妆后图像。 
下面，参照附图按顺序详细说明模拟器主应用程序28进行的处理中的面部识别处理，化妆处理。在本实施例中的说明中，作为一例，化妆处理包括粉底处理，眉处理，阴影处理，口红处理，以及修容处理等，但是也可以是其他组合。 
(面部识别处理) 
图17显示化妆前图像中包含的用户的面部。 
图18显示跟踪点的一个例子。 
模拟器主应用程序28的面部识别处理部33从图17所示的形象图像得到用来识别用户面部的，如图18所示的45个跟踪点34。图18所示的跟踪点34仅为一例，根据控制部8的处理能力和显示器7的分辨率可以任意调整。这样，从化妆前图像中包含的用户的面部得到跟踪点34，化妆处理部35与跟踪点34对应，在如图19所示的化妆处理参数文件里设定化妆方法和颜色。 
图19显示化妆处理参数文件的一个例子。 
图19所示的化妆处理参数文件中，分别与跟踪点34对应，设定了眼部，嘴部，脸颊部等的化妆方法和颜色。化妆处理参数文件是针对每个化妆模式而设定的。图19所示的化妆处理参数文件表示的是优雅级(class elegance)的例子。 
(口红处理) 
如图20所示，模拟器主应用程序28的口红处理部39参照嘴唇8个点以及鼻子3个点的跟踪点34进行口红处理。 
图20显示口红处理被参照的跟踪点34。 
图21显示口红处理的一个例子的流程图。 
口红处理可以大致分为步骤S10的前准备处理和步骤S20的涂色处理。前准备处理包括步骤S11的切出和转动处理，步骤S12的制作用于提取轮廓的图像的处理，步骤S13的提取轮廓的处理步骤S14的生成样条曲线的处理，步骤S15的反向转动的处理，以及步骤S16的生成涂色图的处理。 
涂色处理包括步骤S21的根据涂色图进行涂色的处理，步骤S22的用来纠错和设计的描绘处理。 
进入步骤S11的切出和转动处理，口红处理部39从面部识别图像中切出包含用户面部的嘴唇的部分图像500，将该部分图像500旋转至待处理的姿势，得到部分图像501。 
进入步骤S12的生成用于提取轮廓的图像的处理，口红处理部39从部分图像501生成用于提取轮廓的图像。 
进入步骤S13的提取轮廓的处理，口红处理部39从用于提取轮廓的图像中提取出如图像502所示的嘴唇的轮廓。 
图22显示提取轮廓处理的一个例子。
用于提取轮廓的图像600上重叠有嘴唇8个点和鼻子3个点的跟踪点34。口红处理部39以嘴唇8个点和鼻子3个点的跟踪点34为基础再次搜索，提取出用于提取轮廓的图像601的点。 
图23比较嘴唇8个点和鼻子3个点的跟踪点34，和以嘴唇8个点和鼻子3个点的跟踪点34为基础再次搜索，提取出的用于提取轮廓的图像601的点。 
当再次进行的搜索不成功时，可以采用从用于提取轮廓的图像600的嘴唇8个点和鼻子3个点的跟踪点34算出的如图24所示的缺省点。 
图24显示从嘴唇8个点和鼻子3个点的跟踪点算出缺省点的处理的一个例子。 
口红处理部39参照鼻子3个点的跟踪点计算上嘴唇5个点的缺省点。 
进入步骤S14的生成样条曲线的处理，口红处理部39以2阶样条曲线插值来提取轮廓的图像601的点或者如图24所示的缺省点，完成如图25所示的轮廓。 
图25显示以点或者缺省点完成轮廓的处理。 
如部分图像503所示的嘴唇的轮廓完成后，口红处理部39进入步骤S15的反向转动的处理，进行反向转动处理，以将步骤S11的切出和转动处理中所做的旋转返回原处。 
进入步骤S16的生成涂色图的处理，口红处理部39生成从部分图像700的亮度及彩度决定涂色强度的涂色图。 
图26显示生成涂色图的处理的一个例子。 
具体讲，口红处理部39生成从部分图像700的亮度及彩度表达涂色强度的灰度等级图像701。口红处理部39只把由步骤S14的生成样条曲线处理中完成的嘴唇轮廓包围的部分图像702作为涂色图504从灰度等级图像701切出。 
进入步骤S21的根据涂色图的涂色处理，口红处理部39根据步骤S16的生成涂色图的处理中生成的涂色图504，以及如图19所示的化妆处理参数文件中设定的化妆方法和指定颜色，对化妆前的图像进行着色。 
图27显示根据涂色图的涂色处理的一个例子。 
口红处理部39根据如图19所示的化妆处理参数文件801中设定的化妆方法和指定颜色，以及步骤S16的生成涂色图的处理中生成的涂色图802对化妆前的图像803进行着色，得到化妆后的图像804。 
然后，进入步骤S22的纠错设计描绘处理，口红处理部39在进行了用于纠错和设计的描绘处理后，结束口红处理。 
(阴影处理) 
如图28所示，模拟器主应用程序28的阴影处理部38参照左右分别眼3个点，眉1个点的跟踪点34进行阴影处理。 
图28显示阴影处理中被参照的跟踪点34。 
图29为显示阴影处理的一个例子的流程图。 
阴影处理可以大致分为步骤S30的前准备处理和步骤S40的涂色处理。前准备处理包括步骤S31的生成基本轮廓的处理。 
涂色处理包括重复进行与涂色模式的数目相同的次数的步骤S41的生成涂色轮廓的处理，步骤S42的生成涂色中心的处理，步骤S43的生成涂色图的处理，步骤S44的根据涂色图进行涂色的处理，步骤S45的用来纠错和设计的描绘处理。 
进入步骤S31的生成基本轮廓的处理，阴影处理部38从面部识别图像得到包含用户面部的眼睛的部分图像900。 
图30显示生成基本轮廓处理的一个例子。 
为生成涂色轮廓的基本轮廓，如部分图像1001所示，阴影处理部38从眼的中心开始向上下方向搜索识别眼的轮廓(上边界和下边界)的2个点。阴影处理部38将由样条内插生成的4个点追加到识别到的眼轮廓2个点，内眼角和外眼角的4个点，生成由8个点形成的多边形的部分图像1002。 
进入步骤S41的生成涂色轮廓的处理，阴影处理部38生成部分图像901所示的涂色轮廓。 
图31显示的生成涂色轮廓的处理的一个例子。 
为生成涂色轮廓，如部分图像1101所示，阴影处理部38以内眼角和外眼角为基准生成涂色轮廓。轮廓的扩大，顶点的移动等可以通过GUI的参数指定来进行。 
进入步骤S42的生成涂色中心的处理，阴影处理部38生成涂色中心，比如，涂色中心的位置如部分图像902中的黑点(·)所示。 
进入步骤S43的生成涂色图的处理，如部分图像903所示，阴影处理部38生成决定涂色强度的涂色图。 
具体讲，在涂色图生成处理中，对应于从涂色中心到多边形的各 边的距离来决定涂色强度。比如，阴影处理部38决定的涂色图使得与边越近涂色强度越弱。在涂色图生成处理中，以从涂色轮廓中去掉基本轮廓后的部分为对象。 
如图32所示，阴影处理部38对生成的涂色图施加晕影，以生成更平滑的色调变化。 
图32显示未施加晕影的涂色图和施加了晕影的涂色图的例子。 
进入步骤S44的根据涂色图进行涂色的处理，阴影处理部38根据步骤S43的生成涂色图的处理中生成的涂色图903，以及如图19所示的化妆处理参数文件中设定的化妆方法和指定颜色，对化妆前的图像进行着色，得到化妆后的图像。 
然后，进入步骤S45的用来纠错和设计的描绘处理，阴影处理部38在进行了用于纠错和设计的描绘处理后，结束阴影处理。 
阴影处理部38将步骤S41至S45的处理重复进行与涂色模式的数目相同的次数，以此实现多色涂抹。 
(修容处理) 
如图33所示，模拟器主应用程序28的修容处理部40参照眼角和嘴角(左右分别处理)，眼睛之间和鼻子中心(用于稳定性)的跟踪点34进行修容处理。 
图33显示修容处理中被参照的跟踪点。 
图34为显示修容处理的一个例子的流程图。 
修容处理包括步骤S50的生成涂色轮廓的处理，步骤S51的涂色处理，以及步骤S52的用来纠错和设计的描绘处理。
进入步骤S50的生成涂色轮廓的处理，为生成涂色轮廓，修容处理部40以内角和嘴角为基准生成作为涂色轮廓的轮廓多边形。 
图35显示生成涂色轮廓处理的一个例子。 
轮廓多边形的点数，大小，形状，或位置等可以以GUI的参数来指定。 
进入步骤S51的涂色处理，修容处理部40按照从涂色中心到轮廓多边形的各边的距离来决定涂色强度。在决定涂色强度时，如果处理负荷太大，可以降低分辨率(GUI的指定参数)(简化成马赛克状)来决定涂色强度。修容处理部40根据决定的涂色强度，以及如图19所示的化妆处理参数文件中设定的化妆方法和指定颜色，对化妆前的图像进行着色，得到化妆后的图像。 
然后，进入步骤S52的用来纠错和设计的描绘处理，修容处理部40在进行了用于纠错和设计的描绘处理后，结束修容处理。 
(眉处理) 
如图36所示，模拟器主应用程序28的眉处理部37参照眼角、眼中心和眉(左右分别处理)两个点的跟踪点34进行眉处理。 
图36显示眉处理中被参照的跟踪点。
图37为显示眉处理的一个例子的流程图。 
眉处理可以大致分为步骤S60的生成眉轮廓的处理，步骤S70的消除原眉区域的处理，步骤S80的眉变形处理，步骤S90的添加变形后的眉的处理。 
消除原眉区域的处理包括步骤S71的区域扩大处理，步骤S72的眉消除处理。眉变形处理包括步骤S81的生成对应于变形指定的曲线的处理，步骤S82的生成变形眉的处理。 
进入步骤S60的生成眉轮廓的处理，眉处理部37从面部识别图像得到包含用户面部的眉的部分图像2001。 
图38显示提取眉轮廓处理的一个例子。 
如部分图像2101所示，为生成眉轮廓，眉处理部37以眉梢(实际 上可以从眉的中心附近)为中心向左右方向搜索。如部分图像2102所示，眉处理部37从搜索结果识别眉轮廓的形状。 
进入步骤S71的区域扩大处理，眉处理部37使识别到的眉轮廓的形状的区域扩大。 
进入步骤S72的眉消除处理，眉处理部37用附近的皮肤颜色涂满被扩大的区域，以消除原来的眉。眉处理部37还对被扩大的区域的边界进行协调处理。 
进入步骤S81的生成对应于变形指定的曲线的处理，眉处理部37根据指定，使识别到的眉轮廓形状的区域(结构)变形。 
图39显示生成对应于变形指定的曲线的处理的一个例子。 
如部分图像2201所示，眉处理部37用以横向为轴线的多个竖直长条构成的结构2202来替代识别到的眉轮廓形状的区域，轴线形状和长条的高度可以调节，如此比如可以进行如结构2203所示的变形处理。 
进入步骤S82的生成变形眉的处理，眉处理部37从结构2203生成变形眉。 
进入步骤S90的添加变形后的眉的处理，眉处理部37把变形眉贴付到化妆前的图像，得到化妆后的图像。 
(粉底处理) 
如图40所示，模拟器主应用程序28的粉底处理部36左右分别参照内眼角、外眼角、眉1个点，眼睛之间和鼻子中心的跟踪点34进行粉底处理。 
图40显示粉底处理中被参照的跟踪点34。 
图41为显示粉底处理的一个例子的流程图。 
粉底处理包括步骤S101的生成轮廓的处理，步骤S102的目标图像的晕影处理，步骤S103的图像贴付处理。步骤S101、步骤S102、步骤 S103的处理被反复执行与目标区域的个数相同的次数。 
进入步骤S101的生成轮廓的处理，如图42的图像所示，粉底处理部36生成额头，鼻子，脸颊(左右)3种(4个地方)的轮廓。 
图42显示生成的轮廓的一个例子。 
各个轮廓的尺寸，位置等可以以GUI的参数来指定。 
进入步骤S102的目标图像晕影处理，如图43所示，粉底处理部36针对与被生成的轮廓对应的目标图像进行晕影处理。 
图43显示晕影处理前的原图像和晕影处理后的图像的一个例子。 
通过对目标图像进行晕影处理，粉底处理部36使皮肤的细小的皮肤皲裂变平滑。 
进入步骤S103的图像贴付处理，粉底处理部36将晕影处理后的目标图像贴付于化妆前图像的额头，鼻子，脸颊(左右)3种(4个地方)的轮廓处，得到化妆后图像。 
如上所述，本发明能够以很小的处理负荷准确地对包含在动态图像中的用户的面部进行化妆。 
权利要求书中描述的摄像单元对应于摄像机2，控制单元对应于控制部8，显示单元对应于显示器7，面部识别处理单元对应于面部识别处理部33，化妆处理单元对应于化妆处理部35，操作单元对应于操作屏4，半反镜单元对应于半反镜3，打印单元对应于打印机5。 
以上说明了本发明的最佳实施例。但是本发明并不局限于上述具体实施例，只要不脱离权利要求书中定义的本发明的范围，可对以上实施例做各种修改和变化，这些变化形式仍属于本发明的范围。 
由于本发明的化妆模拟装置1进行实时模拟，因此与静止图像模拟技术，或者现有的化妆模拟装置不同，可以瞬时地识别面部的跟踪点，能够根据该跟踪点进行模拟。所以，可以实现现有技术做不到的事。 
由于本发明的化妆模拟装置1进行实时模拟，因此与现有技术不同，不仅是面部的正面，也能够进行面部的侧面的模拟，所以可以容易地确认腮红等的模拟效果、技巧。 
由于本发明的化妆模拟装置1进行实时模拟，与现有技术中不同，面部没有被平面化，可以使面部作为立体来分析，使面部表现得具有立体感和质感。 
本发明的化妆模拟装置1可以同时识别多个人的面部，同时对多个人进行实时模拟。由于本发明的化妆模拟装置1具有优良的面部识别功能，可以随各个面孔，或者自动对男性、女性进行分类，根据面孔和分类进行化妆。比如，本发明的化妆模拟装置1可以对一对情侣同时各自进行化妆模拟。 
本申请主张对2006年1月17日提出的日本专利申请2006-9268以及2007年1月12日提出的日本专利申请2007-5098的优先权，该日本专利申请的全部内容在本申请中被引用。 

Claims (12)

1.一种对拍摄到的用户面部的动态图像进行化妆的化妆模拟系统，其特征为，具有：
摄像单元，其拍摄所述用户的面部并输出所述动态图像；
控制单元，其接收所述摄像单元输出的所述动态图像，并对该动态图像做图像处理并输出；
显示单元，其显示所述控制单元输出的动态图像；
读取单元，其读取用户从陈列单元选择的物品的识别信息，该陈列单元陈列用于化妆的物品；和
对应单元，其使所述物品与所述识别信息相对应，
其中，
所述控制单元包含
面部识别处理单元，其根据预定的跟踪点从所述动态图像中识别所述用户的面部，以及
化妆处理单元，其根据所述跟踪点对所述动态图像中包含的所述用户的面部进行预定的化妆，并输出到所述显示单元，
所述化妆处理单元根据所述对应单元确定对应于所述读取单元读取的所述识别信息的所述物品，并将使用该物品对所述动态图像中包含的所述用户的面部进行预定的化妆而得到的形象图像输出到所述显示单元。
2.根据权利要求1所述的化妆模拟系统，其特征为，
所述化妆处理单元至少包含以下单元中的一个或多个：
粉底处理单元，其根据所述跟踪点对所述动态图像中包含的所述用户的面部涂抹粉底；
口红处理单元，其根据所述跟踪点对所述动态图像中包含的所述用户的面部涂抹口红；
眉处理单元，其根据所述跟踪点对所述动态图像中包含的所述用户的面部进行眉处理；
修容处理单元，其根据所述跟踪点对所述动态图像中包含的所述用户的面部进行修容处理；以及
阴影处理单元，其根据所述跟踪点对所述动态图像中包含的所述用户的面部进行阴影处理。
3.根据权利要求1所述的化妆模拟系统，其特征为，
所述化妆处理单元生成用来根据所述跟踪点对所述动态图像中包含的所述用户的面部进行所述预定的化妆的轮廓，
所述化妆处理单元根据该轮廓进行涂色处理。
4.根据权利要求1所述的化妆模拟系统，其特征为，
所述化妆处理单元对所述动态图像中包含的所述用户的面部在各个预定时间内逐次分别进行多种类的化妆，并向所述显示单元输出化妆后的形象图像。
5.根据权利要求4所述的化妆模拟系统，其特征为，
还具有存储单元，其按化妆的种类分别存储用来按所述形象图像进行化妆的商品信息，
其中，
所述化妆处理单元从所述存储单元读取用来按所述形象图像进行化妆的所述商品信息，并向所述显示单元输出将该商品信息。
6.根据权利要求1所述的化妆模拟系统，其特征为，
所述化妆处理单元向所述显示单元输出比较画面，该比较画面包含对所述动态图像中包含的所述用户的面部进行化妆以前和进行化妆以后的形象图像。
7.一种对拍摄到的用户面部的动态图像进行化妆的化妆模拟装置，其特征为，具有：
摄像机，其拍摄所述用户的面部并输出所述动态图像；
控制单元，其接收所述摄像机输出的所述动态图像，并对该动态图像做图像处理并输出；
显示单元，其显示所述控制单元输出的动态图像，
读取单元，其读取用户从陈列单元选择的物品的识别信息，该陈列单元陈列用于化妆的物品；和
对应单元，其使所述物品与所述识别信息相对应，
其中，
所述控制单元包含
面部识别处理单元，其根据预定的跟踪点从所述动态图像中识别所述用户的面部，以及
化妆处理单元，其根据所述跟踪点对所述动态图像中包含的所述用户的面部进行预定的化妆，并输出到所述显示单元，
所述化妆处理单元根据所述对应单元确定对应于所述读取单元读取的所述识别信息的所述物品，并将使用该物品对所述动态图像中包含的所述用户的面部进行预定的化妆而得到的形象图像输出到所述显示单元。
8.根据权利要求7所述的化妆模拟装置，其特征为，还具有
安置在所述显示单元的显示方向一侧的半反镜单元，
其中，
当所述动态图像被显示在所述显示单元时，所述半反镜单元使从所述显示单元一侧至用户一侧的光透过，当所述动态图像没有被显示在所述显示单元时，所述半反镜单元反射来自所述用户一侧的光。
9.根据权利要求7所述的化妆模拟装置，其特征为，还具有
安置在所述显示单元的显示方向一侧的半反镜单元，
其中，
所述摄像机被安置在只要所述半反镜单元使光透过就能够拍摄到所述用户的面部的位置，
所述半反镜单元使从所述显示单元一侧至用户一侧的光透过，还使从所述用户一侧至所述摄像机一侧的光透过。
10.根据权利要求7所述的化妆模拟装置，其特征为，还具有
打印单元，其打印显示在所述显示单元的所述用户面部化妆后的形象图像。
11.根据权利要求7所述的化妆模拟装置，其特征为，还具有
陈列单元，其陈列用来按照显示在所述显示单元的所述用户面部的化妆后的形象图像进行化妆的商品。
12.一种对拍摄到的用户面部的动态图像进行化妆的化妆模拟系统的化妆模拟方法，其特征为，所述化妆模拟系统具有：
摄像单元，其拍摄所述用户的面部并输出所述动态图像；
控制单元，其接收所述摄像单元输出的所述动态图像，并对该动态图像做图像处理并输出；
显示单元，其显示所述控制单元输出的动态图像；
读取单元，其读取用户从陈列单元选择的物品的识别信息，该陈列单元陈列用于化妆的物品；和
对应单元，其使所述物品与所述识别信息相对应，
其中，
所述控制单元包含
面部识别处理单元，其根据预定的跟踪点从所述动态图像中识别所述用户的面部，以及
化妆处理单元，其根据所述跟踪点对所述动态图像中包含的所述用户的面部进行预定的化妆，并输出到所述显示单元，
所述化妆模拟方法具有以下步骤：
所述化妆处理单元根据所述对应单元确定对应于所述读取单元读取的所述识别信息的所述物品；
将使用确定的所述物品对所述动态图像中包含的所述用户的面部进行预定的化妆而得到的形象图像输出到所述显示单元。
CN2007800025242A 2006-01-17 2007-01-15 化妆模拟系统，化妆模拟装置，化妆模拟方法 Active CN101371272B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP009268/2006 2006-01-17
JP2006009268 2006-01-17
PCT/JP2007/050429 WO2007083600A1 (ja) 2006-01-17 2007-01-15 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム

Publications (2)

Publication Number Publication Date
CN101371272A CN101371272A (zh) 2009-02-18
CN101371272B true CN101371272B (zh) 2012-07-18

Family

ID=38287553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800025242A Active CN101371272B (zh) 2006-01-17 2007-01-15 化妆模拟系统，化妆模拟装置，化妆模拟方法

Country Status (7)

Country Link
US (1) US8107672B2 (zh)
EP (1) EP1975870B1 (zh)
JP (1) JP5465768B2 (zh)
KR (1) KR101363691B1 (zh)
CN (1) CN101371272B (zh)
HK (1) HK1125726A1 (zh)
WO (1) WO2007083600A1 (zh)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5261586B2 (ja) * 2007-08-10 2013-08-14 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US8692930B2 (en) * 2007-08-20 2014-04-08 Matthew Rolston Photographer, Inc. Mobile device with operation for modifying visual perception
WO2009026399A1 (en) * 2007-08-20 2009-02-26 Matthew Rolston Photographer, Inc. Modifying visual perception
JP5290585B2 (ja) * 2008-01-17 2013-09-18 株式会社 資生堂 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体
JP5432532B2 (ja) * 2008-01-22 2014-03-05 株式会社 資生堂 化粧方法、化粧シミュレーション装置、及び化粧シミュレーションプログラム
US8358348B2 (en) * 2008-05-09 2013-01-22 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
US8597667B2 (en) * 2008-05-09 2013-12-03 Elc Management Llc Targeted and individualized cosmetic delivery
US8425477B2 (en) * 2008-09-16 2013-04-23 Elc Management Llc Method and system for providing targeted and individualized delivery of cosmetic actives
JP4594429B2 (ja) * 2008-06-30 2010-12-08 オリンパス株式会社 歯科用測色装置、システム、方法、及びプログラム
US20120169253A1 (en) * 2008-08-20 2012-07-05 Matthew Rolston Photographer, Inc. Modifying visual perception
US8491926B2 (en) 2008-09-16 2013-07-23 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
CN101673475B (zh) * 2009-09-15 2013-01-09 宇龙计算机通信科技(深圳)有限公司 一种在终端上实现化妆指导的方法、设备及系统
US8605165B2 (en) 2010-10-06 2013-12-10 Ai Cure Technologies Llc Apparatus and method for assisting monitoring of medication adherence
CN102197918A (zh) * 2010-03-26 2011-09-28 鸿富锦精密工业（深圳）有限公司 化妆镜调整系统、方法及具有该调整系统的化妆镜
US8550818B2 (en) * 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
US8523570B2 (en) * 2010-05-21 2013-09-03 Photometria, Inc System and method for providing a face chart
JP5525923B2 (ja) 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
TW201212852A (en) * 2010-09-21 2012-04-01 Zong Jing Investment Inc Facial cosmetic machine
CN102012620B (zh) * 2010-10-28 2013-06-05 鸿富锦精密工业（深圳）有限公司 电子化妆品盒
JP4862955B1 (ja) * 2010-10-29 2012-01-25 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
KR20120051342A (ko) 2010-11-12 2012-05-22 한국전자통신연구원 사용자 색감 기반의 감성 화장 추천 시스템 및 방법
CA2762175C (en) * 2011-01-26 2018-07-24 The Goodyear Tire & Rubber Company System and method for tracking a tire retread process
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
AU2012245285A1 (en) 2011-04-22 2013-11-21 Pepsico, Inc. Beverage dispensing system with social media capabilities
WO2013067020A1 (en) 2011-11-01 2013-05-10 Stephen Lim Dispensing system and user interface
JP2015507241A (ja) 2011-12-04 2015-03-05 デジタル メイクアップ リミテッドＤｉｇｉｔａｌ Ｍａｋｅｕｐ Ｌｔｄ デジタルメイクアップ
FR2985064B1 (fr) * 2011-12-23 2016-02-26 Oreal Procede pour delivrer un conseil cosmetique
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
TWI463955B (zh) * 2012-02-20 2014-12-11 Zong Jing Investment Inc Eye makeup device
US9118876B2 (en) * 2012-03-30 2015-08-25 Verizon Patent And Licensing Inc. Automatic skin tone calibration for camera images
US9111134B1 (en) 2012-05-22 2015-08-18 Image Metrics Limited Building systems for tracking facial features across individuals and groups
US9460462B1 (en) 2012-05-22 2016-10-04 Image Metrics Limited Monetization using video-based simulation of cosmetic products
US9449412B1 (en) 2012-05-22 2016-09-20 Image Metrics Limited Adaptive, calibrated simulation of cosmetic products on consumer devices
US9104908B1 (en) 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
US9129147B1 (en) 2012-05-22 2015-09-08 Image Metrics Limited Optimal automatic capture of facial movements and expressions in video sequences
JP6008323B2 (ja) 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5991536B2 (ja) * 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6288404B2 (ja) * 2013-02-28 2018-03-07 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372276B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372275B1 (ja) * 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US9101320B2 (en) 2013-04-09 2015-08-11 Elc Management Llc Skin diagnostic and image processing methods
US9256963B2 (en) 2013-04-09 2016-02-09 Elc Management Llc Skin diagnostic and image processing systems, apparatus and articles
JP6264665B2 (ja) * 2013-04-17 2018-01-24 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
US10002498B2 (en) * 2013-06-17 2018-06-19 Jason Sylvester Method and apparatus for improved sales program and user interface
US20150033192A1 (en) * 2013-07-23 2015-01-29 3M Innovative Properties Company Method for creating effective interactive advertising content
JP6435516B2 (ja) * 2013-08-30 2018-12-12 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US9699123B2 (en) 2014-04-01 2017-07-04 Ditto Technologies, Inc. Methods, systems, and non-transitory machine-readable medium for incorporating a series of images resident on a user device into an existing web browser session
CN103971389B (zh) * 2014-04-28 2017-02-15 拓维信息系统股份有限公司 一种面向手机游戏的迷彩脸谱实现方法
KR102214918B1 (ko) 2014-10-21 2021-02-10 삼성전자주식회사 얼굴 인식 방법 및 장치
KR101507410B1 (ko) * 2014-10-21 2015-03-31 주식회사 모리아타운 모바일 단말의 라이브 메이크업 촬영 방법 및 장치
US9760762B2 (en) * 2014-11-03 2017-09-12 Anastasia Soare Facial structural shaping
CN107111861B (zh) * 2015-01-29 2021-06-18 松下知识产权经营株式会社 图像处理装置、触笔以及图像处理方法
US9651850B2 (en) * 2015-04-20 2017-05-16 Intellectual Fortress, LLC Image processing system and method for object tracking
JP6200483B2 (ja) * 2015-12-23 2017-09-20 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
JP6212533B2 (ja) * 2015-12-28 2017-10-11 株式会社オプティム 画面共有システム、画面共有方法、および画面共有プログラム
GB201603495D0 (en) * 2016-02-29 2016-04-13 Virtual Beautician Ltd Image processing system and method
DE102016204983A1 (de) * 2016-03-24 2017-09-28 Bayerische Motoren Werke Aktiengesellschaft Anordnung, Fortbewegungsmittel und Verfahren zur kosmetischen Assistenz eines Anwenders
CN105956522A (zh) * 2016-04-21 2016-09-21 腾讯科技（深圳）有限公司 图片处理方法和装置
JP6731616B2 (ja) * 2016-06-10 2020-07-29 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
CA2933799A1 (en) * 2016-06-21 2017-12-21 John G. Robertson System and method for automatically generating a facial remediation design and application protocol to address observable facial deviations
CA2963108A1 (en) * 2016-06-29 2017-12-29 EyesMatch Ltd. System and method for digital makeup mirror
CN106485206A (zh) * 2016-09-21 2017-03-08 深圳港云科技有限公司 基于化妆的视频图片结合的教学方法及装置
WO2018079255A1 (ja) * 2016-10-24 2018-05-03 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN106530013A (zh) * 2016-11-21 2017-03-22 汕头市智美科技有限公司 一种广告推送方法及装置
CN106682958A (zh) * 2016-11-21 2017-05-17 汕头市智美科技有限公司 一种虚拟试妆方法及装置
CN106780768A (zh) * 2016-11-29 2017-05-31 深圳市凯木金科技有限公司 一种远程实时3d模拟化妆系统及其方法
CN108804975A (zh) * 2017-04-27 2018-11-13 丽宝大数据股份有限公司 唇彩指引装置及方法
CN108875462A (zh) * 2017-05-16 2018-11-23 丽宝大数据股份有限公司 眉毛造型指引装置及其方法
JP7200139B2 (ja) * 2017-07-13 2023-01-06 株式会社 資生堂 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
CN109427078A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 身体信息分析装置及其唇妆分析方法
CN109427075A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 身体信息分析装置及其眼影分析方法
CN109426767A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 眼线描绘指引装置及其方法
CN109583261A (zh) * 2017-09-28 2019-04-05 丽宝大数据股份有限公司 身体信息分析装置及其辅助比对眉型方法
DE102017127066A1 (de) 2017-11-17 2019-05-23 Thomas Ebert Verfahren zum Erstellen einer visuellen Schminkanleitung für eine Person zum Schminken ihres Gesichts, Verfahren zum Visualisieren einer Schminkanleitung für eine Person zum Schminken ihres Gesichts, Computerprogrammprodukt, Servereinrichtung und System zur Anleitung einer Person zum Schminken ihres Gesichts
CN108256432A (zh) * 2017-12-20 2018-07-06 歌尔股份有限公司 一种指导化妆的方法及装置
CN109255674B (zh) * 2018-08-08 2022-03-04 颜沿（上海）智能科技有限公司 一种试妆数据处理系统及方法
CN109008484B (zh) * 2018-08-08 2021-06-01 颜沿（上海）智能科技有限公司 一种货架试妆系统及方法
CN109393868A (zh) * 2018-08-08 2019-03-01 颜沿（上海）智能科技有限公司 一种智能试妆货架及方法
CN109671142B (zh) * 2018-11-23 2023-08-04 南京图玩智能科技有限公司 一种智能美妆方法及智能美妆镜
JP7024695B2 (ja) * 2018-11-27 2022-02-24 カシオ計算機株式会社 塗布装置及び塗布システム
JP6710883B1 (ja) * 2018-12-03 2020-06-17 Ｂ−ｂｙ−Ｃ株式会社 美容促進装置、美容促進システム、美容促進方法、および美容促進プログラム
EP3669748A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. A mirror assembly
CN111507907B (zh) * 2019-01-30 2023-05-30 玩美移动股份有限公司 执行于计算设备的系统、方法及存储媒体
US10949649B2 (en) 2019-02-22 2021-03-16 Image Metrics, Ltd. Real-time tracking of facial features in unconstrained video
US11568675B2 (en) 2019-03-07 2023-01-31 Elizabeth Whitelaw Systems and methods for automated makeup application
TWI702538B (zh) * 2019-03-29 2020-08-21 麗寶大數據股份有限公司 運用於化妝輔助裝置的化妝輔助方法
CN109978795A (zh) * 2019-04-03 2019-07-05 颜沿（上海）智能科技有限公司 一种面部跟踪分屏试妆方法及系统
CN109992187B (zh) * 2019-04-11 2021-12-10 北京字节跳动网络技术有限公司 一种控制方法、装置、设备及存储介质
CN110866960A (zh) * 2019-11-25 2020-03-06 西安思后网络科技有限公司 一种口红模拟试用系统
JP2021101904A (ja) * 2019-12-25 2021-07-15 大日本印刷株式会社 撮影システム
KR20210108080A (ko) * 2020-02-25 2021-09-02 삼성전자주식회사 전자 장치 및 이를 이용한 시각적 효과 제공 방법
US20210307492A1 (en) * 2020-04-01 2021-10-07 Magicom Inc. Smart-mirror display system
KR102199398B1 (ko) * 2020-08-14 2021-01-06 (주)아이로보테크 증강 현실 구조의 네일 아트 자동 판매 장치
KR102372524B1 (ko) 2020-08-18 2022-03-10 주식회사 타키온비앤티 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템
US12042037B2 (en) * 2021-12-29 2024-07-23 Ann Marie Benison Virtual wig display assembly

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
JP3912834B2 (ja) * 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
JP3934253B2 (ja) * 1998-06-22 2007-06-20 株式会社資生堂 肌色分類システム
JP4188487B2 (ja) * 1999-03-29 2008-11-26 株式会社資生堂 目元メーキャップシミュレーションシステム
JP2001104050A (ja) * 1999-10-06 2001-04-17 Seiko Epson Corp 画像処理を用いた化粧支援方法および化粧台ならびに画像処理を用いた化粧支援処理プログラムを記録した記録媒体
JP2001268594A (ja) * 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
JP3582458B2 (ja) 2000-06-07 2004-10-27 花王株式会社 化粧アドバイスシステム
FR2810761B1 (fr) * 2000-06-26 2003-09-05 Oreal Procede et dispositif de traitement cosmetique,notamment de soin, de maquillage ou de coloration
AU7664301A (en) * 2000-06-27 2002-01-21 Ruth Gal Make-up and fashion accessory display and marketing system and method
FR2818529A1 (fr) 2000-12-21 2002-06-28 Oreal Procede pour determiner un degre d'une caracteristique de la typologie corporelle
DE10126087A1 (de) * 2001-05-29 2002-12-05 Sick Ag Verfahren und Vorrichtung zur Abstandsbestimmung
JP3779570B2 (ja) 2001-07-30 2006-05-31 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
US7634103B2 (en) * 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
US20030065578A1 (en) * 2001-10-01 2003-04-03 Jerome Peyrelevade Methods and systems involving simulated application of beauty products
US20030120534A1 (en) 2001-12-21 2003-06-26 Daniela Giacchetti Cosmetic affinity indexing
JP2003208482A (ja) * 2002-01-16 2003-07-25 Drug 11:Kk 化粧シミュレーション装置、化粧シミュレーションプログラムおよび化粧シミュレーション方法
EP1374720A1 (en) * 2002-06-26 2004-01-02 The Procter & Gamble Company Method and apparatus for predicting the result of a coloration
JP3984191B2 (ja) * 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
JP2004234571A (ja) * 2003-01-31 2004-08-19 Sony Corp 画像処理装置、画像処理方法及び撮影装置
JP4404650B2 (ja) * 2004-01-30 2010-01-27 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
JP2006009268A (ja) 2004-06-22 2006-01-12 Yasuda Kinzoku Kogyo Kk 間仕切り壁構造

Also Published As

Publication number Publication date
EP1975870B1 (en) 2020-08-26
EP1975870A1 (en) 2008-10-01
JP2013101633A (ja) 2013-05-23
HK1125726A1 (en) 2009-08-14
US8107672B2 (en) 2012-01-31
EP1975870A4 (en) 2011-05-25
CN101371272A (zh) 2009-02-18
JP5465768B2 (ja) 2014-04-09
US20100226531A1 (en) 2010-09-09
KR20080086996A (ko) 2008-09-29
WO2007083600A1 (ja) 2007-07-26
KR101363691B1 (ko) 2014-02-14

Similar Documents

Publication Publication Date Title
CN101371272B (zh) 化妆模拟系统，化妆模拟装置，化妆模拟方法
JP5191665B2 (ja) メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
EP3479351B1 (en) System and method for digital makeup mirror
CN101779218B (zh) 化妆模拟系统及其化妆模拟方法
JP5261586B2 (ja) メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
JP5463866B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP3984191B2 (ja) 仮想化粧装置及びその方法
KR20090098798A (ko) 비디오 이미지들의 시퀀스의 가상 시뮬레이션을 위한 방법 및 디바이스
JP2007213623A (ja) 仮想化粧装置及びその方法
JP2009039523A (ja) メイクアップシミュレーションに利用する端末装置
WO2018005884A1 (en) System and method for digital makeup mirror
US20200065559A1 (en) Generating a video using a video and user image or video
JP3993029B2 (ja) 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体
WO2024001095A1 (zh) 面部表情识别方法、终端设备及存储介质
JP2011022733A (ja) メーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法
Ravikumar Performance driven facial animation with blendshapes
Heravi Three-dimension facial de-ageing and ageing Modeling: extrinsic factors impact
Nadtoka et al. High-resolution animation of facial dynamics
Jiang et al. View synthesis from Infrared-visual fused 3D model for face recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1125726

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1125726

Country of ref document: HK