CN107111861A - 图像处理装置、触笔以及图像处理方法 - Google Patents

图像处理装置、触笔以及图像处理方法 Download PDF

Info

Publication number
CN107111861A
CN107111861A CN201680004714.7A CN201680004714A CN107111861A CN 107111861 A CN107111861 A CN 107111861A CN 201680004714 A CN201680004714 A CN 201680004714A CN 107111861 A CN107111861 A CN 107111861A
Authority
CN
China
Prior art keywords
image
dressing
face
stylus
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680004714.7A
Other languages
English (en)
Other versions
CN107111861B (zh
Inventor
富田裕人
中村刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015015363A external-priority patent/JP6519853B2/ja
Priority claimed from JP2015015361A external-priority patent/JP6485629B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107111861A publication Critical patent/CN107111861A/zh
Application granted granted Critical
Publication of CN107111861B publication Critical patent/CN107111861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

图像处理装置具有：拍摄部，其拍摄影像；显示部，其将所拍摄到的影像显示于画面；脸部位置获取部，其获取影像所包含的脸部在画面上的位置；操作受理部，其受理对画面的触摸操作；以及妆容图像重叠部，其对影像的脸部的部分重叠妆容图像，妆容图像重叠部以沿去向脸部的位置的方向进行了滑动操作为条件，来变更妆容图像的重叠状态。并且，图像处理装置具有触笔检测部，该触笔检测部在影像包含规定的颜色的部分时，从影像检测该部分，将该部分检测为触笔。

Description

图像处理装置、触笔以及图像处理方法
技术领域
本公开涉及一种图像处理装置、触笔以及图像处理方法，特别涉及一种对脸部的拍摄影像重叠妆容图像的图像处理装置、触笔以及图像处理方法。
背景技术
存在如下一种虚拟化妆的技术：在拍摄脸部而得到的图像上重叠口红、腮红(cheek)等妆容图像来虚拟地进行化妆(例如参照专利文献1)。在专利文献1所记载的技术中，将脸部的拍摄图像以及用于受理妆容内容的指定的操作区域显示在触摸面板画面上。而且，在专利文献1所记载的技术中，基于对画面的触摸笔操作来将妆容图像重叠于脸部的拍摄图像。根据这种专利文献1所记载的技术，能够模拟地显示进行了化妆时的脸部的状态。即，通过所述技术，无需实际对脸部实施化妆就能够生成实施了化妆时的脸部的图像并显示该图像。
另外，近年来，流行如下一种行为(自拍)：用户使用智能电话等来以自己为被摄体进行拍摄。自拍图像很多是以在社交媒体上供朋友等浏览为目的而拍摄的。对所拍摄的自拍图像实施使自己的脸部看起来漂亮的美颜处理的用户也很多。作为该美颜处理之一，存在虚拟化妆，能够带来化妆效果。
另外，儿童模仿大人来进行化妆游戏的情况很常见。有的儿童不仅在获得实施了化妆的脸部的事上感到很大的喜悦，还在使口红在唇上滑动之类的模仿大人的化妆动作的事上感到很大的喜悦。因此，期望的是，能够如在模仿涂口红时口红的妆容图像重叠于脸部图像那样，通过化妆动作(手势)来实现虚拟化妆。
从图像中简单地决定作为图像处理的对象的脸部区域的技术例如在专利文献2中有所记载。在专利文献2所记载的技术中，将图像显示在画面上，并且对图像进行脸部识别处理，来获取画面上的脸部区域。而且，在专利文献2所记载的技术中，受理对画面的触摸操作，在进行触摸操作的位置包含于所获取到的脸部区域时，将该脸部区域作为图像处理的对象。
通过采用这种专利文献1所记载的技术，用户能够简单地选择要实施虚拟化妆的对象。
然而，在拍摄后从拍摄到的大量的自拍图像中找出作为虚拟化妆的对象的图像来选择该图像这样的作业耗费时间和劳力。因此，想到了在拍摄过程中对拍摄影像中呈现的脸部实施虚拟化妆。
然而，自拍通常是一边利用画面的影像来确认脸部的美观一边进行的，因此在想要选择脸部的情况下，手指会碍事。因而，期望一种能够一边自拍一边进行虚拟化妆操作的技术。
本公开的目的在于使得能够一边自拍一边进行虚拟化妆操作。
专利文献1：日本特开2005-92588号公报
专利文献2：日本特开2006-350967号公报
发明内容
本公开的图像处理装置具备：拍摄部，其拍摄影像；显示部，其将所拍摄到的所述影像显示于画面；脸部位置获取部，其获取所述影像所包含的脸部在所述画面上的位置；操作受理部，其受理对所述画面的操作；以及妆容图像重叠部，其对所述影像的所述脸部的部分重叠妆容图像。
另外，本公开的图像处理装置还具备对所述影像的所述脸部的部分重叠妆容图像的妆容图像重叠部，所述妆容图像重叠部以沿去向所述脸部的位置的方向进行了滑动操作为条件，来变更所述妆容图像的重叠状态。
另外，本公开的图像处理装置还具备：触笔检测部，其在所述影像包含规定的标记颜色的部分时，从所述影像检测该部分，将该部分检测为触笔；以及妆容图像重叠部，其以检测出所述触笔为条件，来对所述影像的所述脸部的部分重叠与所述规定的标记颜色预先对应的妆容图像。
本公开的图像处理装置中使用的触笔是棒状构件，所述棒状构件的包括顶端部的区域被施加了所述规定的标记颜色。
本公开的图像处理方法包括以下步骤：拍摄影像；将拍摄到的所述影像显示于画面；获取所述影像所包含的脸部在所述画面上的位置；以及受理对所述画面的操作。
另外，在本公开的图像处理方法中，对所述画面的操作是触摸操作，该图像处理方法包括以下步骤：以沿去向所述脸部的位置的方向进行了滑动操作为条件，来对所述影像的所述脸部的部分重叠妆容图像。
另外，本公开的图像处理方法还包括以下步骤：在所述影像包含规定的标记颜色的部分时，从所述影像检测该部分，将该部分检测为触笔；以及以检测出所述触笔为条件，来对所述影像的所述脸部的部分重叠与所述规定的标记颜色预先对应的妆容图像。
根据本公开，能够一边自拍一边进行虚拟化妆操作。
附图说明
图1是表示本实施方式1所涉及的图像处理装置的使用的情形的一例的图。
图2是表示本实施方式1所涉及的图像处理装置的结构的一例的框图。
图3是表示本实施方式1中的妆容图像信息的内容的一例的图。
图4是表示本实施方式1中的状态记录表的内容的一例的图。
图5是用于说明本实施方式1中的妆容图像的重叠状态的变更的情形的一例的图。
图6是用于说明本实施方式1中的决定作为触摸操作的对象的脸部的情形的一例的图。
图7是用于说明本实施方式1中的决定作为触摸操作的对象的脸部器官的情形的一例的图。
图8是用于说明本实施方式1中的妆容设定的维持的判断的情形的一例的图。
图9是表示本实施方式1所涉及的图像处理装置的动作的一例的流程图。
图10是表示本实施方式1中的相对位置分析处理的一例的流程图。
图11是表示本实施方式2所涉及的图像处理装置的概要的一例的图。
图12A是表示本实施方式2中的图像的变化的一例的图。
图12B是表示本实施方式2中的图像的变化的一例的图。
图12C是表示本实施方式2中的图像的变化的一例的图。
图13是表示本实施方式2所涉及的触笔的外观的第一例的图。
图14是表示本实施方式2所涉及的图像处理装置的结构的一例的框图。
图15是表示本实施方式2中的妆容图像表的内容的一例的图。
图16是表示本实施方式2所涉及的图像处理装置的动作的一例的流程图。
图17A是表示本实施方式2中的各种虚拟化妆的例子的图。
图17B是表示本实施方式2中的各种虚拟化妆的例子的图。
图17C是表示本实施方式2中的各种虚拟化妆的例子的图。
图18是表示本实施方式2的变形例1所涉及的触笔的外观的一例的图。
图19是表示本实施方式2的变形例1中的妆容图像表的内容的一例的图。
图20是表示本实施方式2的变形例2所涉及的触笔的外观的一例的图。
图21是表示本实施方式2的变形例2所涉及的图像处理装置的动作的一例的流程图。
图22A是表示本实施方式2的变形例2中的各种虚拟化妆的例子的图。
图22B是表示本实施方式2的变形例2中的各种虚拟化妆的例子的图。
图22C是表示本实施方式2的变形例2中的各种虚拟化妆的例子的图。
图23是表示本实施方式2中的触笔登记画面的一例的图。
图24是用于说明本实施方式2中的手势的定义的图。
具体实施方式
(实施方式1)
下面，参照附图来详细说明本公开的实施方式1。
<装置的使用的情形>
首先，说明本实施方式1所涉及的图像处理装置的使用的情形。
图1是表示本实施方式1所涉及的图像处理装置的使用的情形的一例的图。
如图1所示，图像处理装置100例如是智能电话。图像处理装置100具备带触摸面板的液晶显示器以及配置于与该显示器相同一侧的面的内侧照相机和拍摄按钮(均未图示)。此外，拍摄按钮也可以是显示于显示器的按钮图像。
图像处理装置100将由内侧照相机拍摄到的影像在左右方向上翻转后大致实时地显示在显示器上。而且，图像处理装置100在拍摄按钮被按下的时刻，从显示中的影像截取静止图像来记录该静止图像，或者开始记录影像。
用户200例如将内侧照相机朝向自己的脸部，一边利用显示器所呈现的影像来确认自己的脸部的美观，一边在期望的时刻按下拍摄按钮。这就是所谓的被称为自拍的行为。
图像处理装置100还根据用户对触摸面板的触摸操作来通过图像处理对影像的脸部的部分重叠妆容图像。此时，如上所述，显示器所呈现的用户200的脸部的可视性被手指所妨碍的方式是不理想的。
因此，图像处理装置100获取显示器所呈现的影像的脸部在画面上的位置。然后，图像处理装置100以沿去向脸部的位置的方向进行了滑动(swipe)操作为条件，来变更妆容图像的重叠状态，如进行妆容图像的重叠或者变更所重叠的妆容图像的内容等。
在此，滑动操作是指使手指、触笔等的顶部的部分在保持与画面接触的状态下滑动的操作。另外，去向脸部的位置的方向例如是指以下方向：在该方向的延长上存在脸部的区域，或者是使从指尖的接触区域的代表位置(例如重心位置)到脸部的代表位置(例如重心位置)的距离变小那样的滑动操作的方向。
即，图像处理装置100使得用户200能够不被手指遮挡呈现脸部的区域地进行对妆容图像的重叠状态进行变更的操作。
<装置的结构>
接着，说明图像处理装置100的结构。
图2是表示图像处理装置100的结构的一例的框图。
在图2中，图像处理装置100具有拍摄部110、操作受理部120、信息保存部130、脸部位置获取部140、妆容图像重叠部150以及显示部160。
拍摄部110例如具有上述的内侧照相机(数字照相机)，来拍摄影像。此外，在进行自拍的情况下，拍摄部110拍摄用户或者包括用户在内的多个人的脸部的影像。而且，拍摄部110将拍摄到的影像在左右方向上翻转后输出到脸部位置获取部140和妆容图像重叠部150。
操作受理部120例如具有上述的触摸面板，来受理对后述的显示部160所具有的液晶显示器的画面进行的触摸操作。而且，操作受理部120以规定的周期检测手指接触着画面的哪个部分，将表示检测结果的坐标信息输出到妆容图像重叠部150。坐标信息的时间序列数据也就是表示进行了什么样的内容的触摸操作的操作信息。
信息保存部130预先保存有用于从图像中检测图像所包含的人的脸部、脸部器官的脸部特征信息以及用于生成妆容图像来重叠于影像的脸部的部分的妆容图像信息。另外，信息保存部130保存用于管理从影像检测出的各脸部的状态的状态记录表。
脸部特征信息例如是通过基于大量的脸部图像样本进行学习而生成的表示眼、唇之类的脸部器官的形状等的图像特征、或者脸部器官的配置、脸部的颜色直方图之类的脸部整体的图像特征的信息。各脸部器官分别包括眼梢、嘴角之类的脸部特征点。
妆容图像信息是按多个妆容的图案与妆容的浓淡的组合来记述要重叠于脸部的妆容图像的内容(下面称为“妆容图像数据”)的信息。
图3是表示妆容图像信息的内容的一例的图。
如图3所示，妆容图像信息310针对多个妆容图案311和多个妆容浓淡312，按妆容图案311与妆容浓淡312的组合来记述妆容图像数据313。
妆容图像数据313例如以嘴角等脸部特征点的位置为基准来规定妆容图像所呈现的妆容的涂布区域、妆容的颜色以及妆容的颜色的浓度(妆容图像的透明度)。妆容的涂布区域例如是通过以脸部特征点的位置为基准的空间中的坐标值、函数来定义的。妆容的颜色例如是通过RGB(Red，Green，Blue)、HSV(Hue，Saturation，Value)之类的规定的颜色空间中的坐标值来定义的。妆容的浓淡例如是通过将妆容图像通过α混合来重叠于拍摄图像时的对像素值的系数来定义的。
此外，在此，将不重叠妆容图像的状态设为第零妆容图案。另外，第一～第三妆容图案在妆容的涂布区域、妆容的颜色以及妆容的颜色的浓度中的至少一个方面不同。妆容图案例如包括给人以可爱的印象的妆容图案、给人以华丽的印象的妆容图案。按第一～第三妆容浓淡312的顺序，妆容图像的颜色的浓度逐渐变浓(妆容图像的透明度变高)。
此外，妆容的涂布区域的不同既可以是腮红的涂布区域大或小之类的不同，也可以是对口红、腮红之类的多个部分中的哪个部分的妆容涂布这样的不同。另外，妆容的颜色的浓度的变化也可以按每个部分而不同。
状态记录表是由后述的脸部位置获取部140和妆容图像重叠部150适当地生成和更新的表，是对脸部位置获取部140所追踪的脸部的状态进行记录的表。
图4是表示状态记录表的内容的一例的图。
如图4所示，状态记录表320按追踪标识符321来记述妆容设定322、当前位置323、滑动开始时位置324、相对位置325以及追踪状态326。
追踪标识符321是被后述的脸部位置获取部140作为同一脸部来追踪的对象标识符。妆容设定322是当前对追踪标识符321所表示的脸部设定的妆容图像数据。当前位置323是追踪标识符321所表示的脸部在当前的画面上的位置。例如利用在画面上预先设定的XY坐标系的坐标值来表示画面上的位置。
滑动开始时位置324是最近开始滑动操作时的追踪标识符321所表示的脸部在画面上的位置。相对位置325是相对于其它脸部的相对位置。追踪状态326是表示脸部的位置的追踪是持续中还是已结束或是刚开始后的信息。
此外，期望的是，相对位置325是将至少包括铅垂方向的实际世界中的规定的方向作为基准的相对位置关系。在该情况下，图像处理装置100需要具备加速度传感器。此外，相对位置325也可以未必获取实际世界中的方向，也可以将所持续追踪的脸部的多个脸部器官在画面上的配置作为基准，来判定其它脸部相对于该脸部的相对位置。
图2的脸部位置获取部140从所输入的影像逐次获取影像所包含的画面上的脸部的位置以及脸部内的脸部器官的位置(脸部特征点的位置)的信息。
更具体地说，脸部位置获取部140首先对输入影像实施脸部检测，来得到图像帧中的脸部的位置信息。接着，脸部位置获取部140基于得到的脸部的位置信息实施脸部器官位置的检测，来得到脸部器官的位置信息。关于脸部检测和脸部器官的检测，能够采用公知的技术。然后，脸部位置获取部140基于预先决定的影像与呈现影像的画面之间的位置关系，来将提取出的脸部在影像中的位置变换为在画面上的位置。
另外，脸部位置获取部140在影像中按每个脸部来追踪其位置。例如，在构成影像的时间序列的多个图像帧中的在时间上连续的多个图像帧的各图像帧中检测出的脸部的位置的差异处于规定的范围内的情况下，脸部位置获取部140将该脸部判定为同一脸部。脸部位置获取部140沿着影像的时间轴连续地进行所述判定，由此追踪脸部的位置。
然后，脸部位置获取部140在每次脸部的追踪开始时在状态记录表320中追加追踪标识符321，当开始脸部的追踪时，对追踪状态326进行更新，在进行脸部的追踪的期间，对当前位置323进行更新。此外，脸部的追踪是指在最新的图像帧的在紧接着该最新的图像帧之前的图像帧中检测出脸部的位置的周边也检测出在紧接着该最新的图像帧之前的图像帧中检测出的脸部。并且，脸部位置获取部140在每次脸部的追踪结束时在状态记录表320中对追踪状态326进行更新(参照图4)。
另外，在各画面包含多个脸部时，脸部位置获取部140获取画面上的各脸部相对于其它脸部的相对位置，在每次获取到相对位置时，利用获取到的相对位置来更新状态记录表320的相对位置325。此外，使已结束追踪的脸部的相对位置325保持原样。
另外，脸部位置获取部140将表示获取到的画面上的脸部的位置和脸部器官的位置(下面适当称为“脸部位置”)的脸部位置信息输出到妆容图像重叠部150。
妆容图像重叠部150基于所输入的操作信息(进行了触摸操作的区域的坐标信息的时间序列数据)和脸部位置信息，来对所输入的影像的脸部的部分重叠妆容图像。更具体地说，妆容图像重叠部150基于操作信息来判定是否沿去向脸部的位置的方向进行了滑动操作，以进行了该滑动操作为条件，来变更妆容图像的重叠状态。另外，此时，妆容图像重叠部150在状态记录表320中对滑动开始时位置324进行更新。此外，妆容图像重叠部150使用α混合等公知的图像合成技术来进行图像的重叠。然后，妆容图像重叠部150将适当重叠了妆容图像后的影像输出到显示部160。
此外，妆容图像重叠部150在初始状态下不对脸部的部分重叠妆容图像。妆容图像重叠部150以进行了沿去向未重叠妆容图像的脸部的位置的方向的滑动操作(下面称为“脸部方向滑动操作”)为条件，来开始妆容图像的重叠。此外，妆容图像重叠部150也可以将开始位置包含在脸部的区域内或者比脸部的区域大一圈的区域内的滑动操作判定为不是脸部方向滑动操作。
另外，妆容图像重叠部150以沿除上下方向以外的方向(第一方向)对重叠了妆容图像的脸部进行了脸部方向滑动操作为条件，来变更所重叠的妆容图像所表示的妆容的浓淡。另外，妆容图像重叠部150以沿上下方向(第二方向)对重叠了妆容图像的脸部进行了滑动操作为条件，来变更所重叠的妆容图像所表示的妆容的图案。
另外，妆容图像重叠部150以开始触摸操作时的脸部的位置为基准，来决定触摸操作的对象。
另外，在画面包含多个脸部时，妆容图像重叠部150获取该多个脸部的相对位置关系，基于位置的追踪是否正在持续以及相对位置关系是否还维持着，来针对每个脸部判断是否维持妆容设定。
在后面叙述这些妆容图像的重叠状态的变更、触摸操作的对象的决定以及妆容设定的维持的判断的详情。
显示部160例如具有上述液晶显示器，将所输入的适当重叠了妆容图像后的影像(下面称为“虚拟化妆影像”)显示在该液晶显示器的画面上。
此外，虽未进行图示，但是图像处理装置100还具有上述的拍摄按钮和信息记录部。信息记录部在拍摄按钮被按下的时刻，从虚拟化妆影像截取静止图像来记录该静止图像，或者开始记录虚拟化妆影像。
虽未进行图示，但是图像处理装置100例如具有CPU(Central Processing Unit：中央处理单元)、保存有控制程序的ROM(Read Only Memory：只读存储器)等存储介质以及RAM(Random Access Memory：随机存取存储器)等作业用存储器。在该情况下，能够通过由CPU执行控制程序来实现上述的各部的功能。
具有这种结构的图像处理装置100能够以在画面上进行了脸部方向滑动操作为条件，来变更对影像所包含的脸部的妆容图像的重叠状态。
<妆容图像的重叠状态的变更>
在此，说明妆容图像重叠部150所进行的妆容图像的重叠状态的变更的情形。
图5是用于说明妆容图像的重叠状态的变更的情形的一例的图。
如图5的第一画面状态411所示，由用户的手指402对处于未在脸部401重叠妆容图像的状态(初始状态)的画面进行脸部方向滑动操作。
于是，妆容图像重叠部150如图5的第二画面状态412所示那样在脸部401重叠妆容图像403。这相当于将要应用的妆容图像数据313从第零妆容图案的妆容图像数据313(无妆容图像)变更为第一妆容图案与第一妆容浓淡312相组合的妆容图像数据313(参照图3)。
然后，如图5的第三画面状态413所示那样，再沿除上下方向以外的方向对重叠了妆容图像403的脸部401进行脸部方向滑动操作。
于是，妆容图像重叠部150如图5的第四画面状态414所示那样将所重叠的妆容图像403切换为比该妆容图像403浓的妆容图像404。这相当于使用状态记录表320的妆容设定322来在第一～第三妆容浓淡312之间依次切换要应用的妆容图像数据313(参照图3)。
或者，如图5的第五画面状态415所示那样，再沿上方向和下方向中的至少一个方向对重叠了妆容图像403的脸部401进行滑动操作。
于是，妆容图像重叠部150将所重叠的妆容图像403切换为与该妆容图像403不同的妆容图案的妆容图像405。这相当于使用状态记录表320的妆容设定322来在第零～第三妆容图案311之间依次切换要应用的妆容图像数据313(参照图3)。
这样，妆容图像重叠部150根据对画面的触摸操作来变更妆容图像的重叠状态。
<触摸操作的对象的决定>
接着，说明妆容图像重叠部150所进行的触摸操作的对象的决定的情形。
图6是用于说明决定作为触摸操作的对象的脸部的情形的一例的图。
如图6的第一画面状态421所示，在包含第一脸部4011和第二脸部4012的画面上，由用户的手指402沿去向第一脸部4011的方向开始滑动操作。
但是，如图6的第二画面状态422所示，在滑动操作过程中图像处理装置100的朝向发生抖动等，从而第一脸部4011和第二脸部4012在画面上的位置发生变化。而且，其结果是，如图6的第三画面状态423所示，位于滑动操作的滑动方向上的不是第一脸部4011，而是变为第二脸部4012。
在画面的变化快的情况下，难以配合所述变化来在中途准确地变更滑动方向。因此，妆容图像重叠部150以开始滑动操作时的脸部401的位置为基准，来判定沿去向哪个脸部401的位置的方向进行了滑动操作。开始滑动操作时的脸部401的位置也就是第一画面状态421下的第一脸部4011和第二脸部4012的位置。在该例中，妆容图像重叠部150将第一脸部4011判定为滑动操作的对象。
图7是用于说明决定作为触摸操作的对象的脸部器官的情形的一例的图。
在此，例示以下的情况来进行说明：妆容图像重叠部150以对脸部器官进行了轻拂(flick)操作为条件，来与轻拂方向相应地变更针对该脸部器官的妆容图像的颜色、形状、浓淡等。轻拂操作是指以下操作：使手指、触笔等的顶部在与画面的一处进行较长时间的接触之后紧接着在保持与画面接触的状态下迅速滑动。
如图7的第一画面状态431所示，用户的手指402对脸部401的右眼406开始轻拂操作。但是，如图7的第二画面状态432所示，在轻拂操作过程中图像处理装置100的朝向发生抖动等，从而脸部401在画面上的位置发生变化。而且，其结果是，如图7的第三画面状态433所示，位于进行了轻拂操作的位置上的不是右眼406，而是变为左眼407。
在画面的变化快的情况下，难以配合所述变化来在中途准确地变更轻拂位置。因此，妆容图像重叠部150以开始轻拂操作时的脸部401的位置、也就是说第一画面状态431下的脸部401为基准，来决定轻拂操作的对象。在该例中，妆容图像重叠部150将右眼406判定为轻拂操作的对象，而不是左眼407。
这样，妆容图像重叠部150以开始对画面进行触摸操作时的脸部(脸部器官)的位置为基准，来决定滑动操作、轻拂操作等触摸操作的对象。
<妆容设定的维持的判断>
接着，说明妆容图像重叠部150所进行的妆容设定的维持的判断的情形。
图8是用于说明妆容设定的维持的判断的情形的一例的图。
如图8的第一画面状态441所示，第一脸部4011和第二脸部4012包含于画面。
但是，如图8的第二画面状态442所示，在触摸操作过程中图像处理装置100的朝向发生抖动等，从而第二脸部4012从画面脱离。然后，如图8的第三画面状态443和第四画面状态444所示，由用户修正图像处理装置100的朝向等，第三脸部4013返回到画面内。
第三脸部4013与第二脸部4012是同一人物的脸部，因此应该将第二脸部4012的妆容设定原样应用于第三脸部4013。但是，若进行脸部的识别处理来判定第三脸部4013是否与第二脸部4012相同，则处理负荷变高。
因此，妆容图像重叠部150首先确认第一脸部4011的位置的追踪正在持续。然后，妆容图像重叠部150以位置的追踪正在持续的第一脸部4011为基准，来判定第二脸部4012相对于第一脸部4011的相对位置4081与第三脸部4013相对于第一脸部4011的相对位置4082是否相同。然后，妆容图像重叠部150在相对位置4081、4082相同的情况下，将第二脸部4012的妆容设定应用于第三脸部4013。
此外，在此所说的相对位置的相同包括以下情况：虽然相对位置不同，但是其差异处于规定的范围内。
这样，在画面所包含的脸部的数量发生了变化时，妆容图像重叠部150基于以位置的追踪正在持续的脸部为基准的脸部的相对位置关系是否还维持着，来判断是否将从画面消失的脸部的妆容设定应用于出现在画面上的脸部。
<装置的动作>
接着，说明图像处理装置100的动作。
图9是表示图像处理装置100的动作的一例的流程图。此外，在此着眼于与滑动操作有关的动作来进行说明。
在步骤S1100中，拍摄部110开始拍摄影像。所述影像特别是在进行自拍的情况下会包含一个或多个脸部的图像。
在步骤S1200中，脸部位置获取部140检测脸部，获取画面上的脸部位置，并且将各脸部的当前位置323记录到状态记录表320(参照图4)。另外，在同一脸部持续包含于画面的期间，脸部位置获取部140追踪该脸部的位置，并且每当位置的追踪开始、继续或者结束时，将该意思记录到状态记录表320的追踪状态326(参照图4)。
在步骤S1300中，妆容图像重叠部150判定画面所包含的脸部是否为多个。在脸部为多个的情况下(S1300：“是”)，妆容图像重叠部150使处理进入步骤S1400。另外，在脸部不为多个的情况下(S1300：“否”)，妆容图像重叠部150使处理进入后述的步骤S1500。
在步骤S1400中，妆容图像重叠部150进行相对位置分析处理。相对位置分析处理是以下的处理：对多个脸部的相对位置进行分析，适当进行妆容设定的重新应用。在后面叙述相对位置分析处理的详情。
在步骤S1500中，妆容图像重叠部150判断是否为滑动操作。例如基于是否满足接触位置为一个、且从开始接触起接触位置连续移动这样的条件，来判定是否开始了滑动操作。
在开始了滑动操作的情况下(S1500：“是”)，妆容图像重叠部150使处理进入步骤S1600。另外，在未开始滑动操作的情况下(S1500：“否”)，妆容图像重叠部150使处理进入后述的步骤S1700。
在步骤S1600中，妆容图像重叠部150获取开始滑动操作的位置(下面称为“滑动开始位置”)。另外，妆容图像重叠部150将各脸部的脸部位置作为滑动开始时位置324记录到状态记录表320(参照图4)。
在步骤S1700中，妆容图像重叠部150判定是否在某一个脸部的位置的附近进行了上下方向的滑动操作(下面称为“上下滑动”)。所述操作相当于利用图5的第五画面状态415说明过的操作。
在脸部位置附近进行了上下滑动的情况下(S1700：“是”)，妆容图像重叠部150使处理进入后述的步骤S2000。在未在脸部位置附近进行上下滑动的情况下(S1700：“否”)，妆容图像重叠部150使处理进入步骤S1800。
在步骤S1800中，妆容图像重叠部150基于滑动开始位置、滑动方向以及各脸部的滑动开始时位置324(参照图4)，来判定滑动方向是否朝向某一个脸部的位置。即，妆容图像重叠部150判定所进行的滑动操作是否为脸部方向滑动操作。所述操作相当于利用图5的第一画面状态411说明过的操作、利用图5的第三画面状态413说明过的操作、或者利用图6的第一画面状态421说明过的操作。
在滑动方向朝向脸部位置的情况下(S1800：“是”)，妆容图像重叠部150使处理进入步骤S1900。另外，在滑动方向未朝向脸部位置的情况下(S1800：“否”)，妆容图像重叠部150使处理进入后续的步骤S2100。
在步骤S1900中，妆容图像重叠部150针对滑动方向所朝向的脸部进行妆容有无或者妆容浓淡的变更，将变更后的妆容设定322记录到状态记录表320(参照图4)。所述妆容有无或者妆容浓淡的变更相当于利用图5的第二画面状态412或图5的第四画面状态414说明过的重叠图像的变更。
另一方面，在步骤S2000中，妆容图像重叠部150针对最接近滑动开始位置的脸部进行妆容的图案的变更，将变更后的妆容设定322记录到状态记录表320(参照图4)。所述妆容的图案的变更相当于利用图5的第六画面状态416说明过的重叠图像的变更。
在步骤S2100中，妆容图像重叠部150判定滑动操作是否已结束。例如基于是否不再检测到接触来判定滑动操作是否已结束。
在滑动操作已结束的情况下(S2100：“是”)，妆容图像重叠部150使处理进入步骤S2200。另外，在滑动操作未结束的情况下(S2100：“否”)，妆容图像重叠部150使处理进入后述的步骤S2300。
在步骤S2200中，妆容图像重叠部150废弃所获取到的滑动开始位置，从状态记录表320删除各脸部的滑动开始时位置324的记录(参照图4)。此外，也可以是，妆容图像重叠部150无论滑动操作是否已结束，都在开始滑动操作后经过了规定的时间时废弃对应的滑动开始位置，并删除滑动开始时位置324的记录。
在步骤S2300中，妆容图像重叠部150适当生成妆容图像并将妆容图像重叠于影像，来生成虚拟化妆影像。显示部160显示所生成的虚拟化妆影像。此外，虚拟化妆影像不仅包括重叠了妆容图像的影像，也包括未重叠妆容图像的影像。
在步骤S2400中，妆容图像重叠部150判定是否通过用户操作等指示了结束生成并显示虚拟化妆影像的处理。在未指示结束处理的情况下(S2400：“否”)，妆容图像重叠部150使处理返回到步骤S1200。另外，在指示了结束处理的情况下(S2400：“是”)，妆容图像重叠部150结束一系列处理。
图10是表示相对位置分析处理(图9的步骤S1400)的一例的流程图。
在步骤S1410中，妆容图像重叠部150获取画面所包含的多个脸部的相对位置关系，并将相对位置关系记录到状态记录表320的相对位置325。所述相对位置关系的获取相当于在图8中说明过的相对位置4081、4082的获取。
在步骤S1420中，妆容图像重叠部150参照状态记录表320的追踪状态326，来判定是否存在新开始追踪的脸部。在存在开始追踪的脸部的情况下(S1420：“是”)，妆容图像重叠部150使处理进入步骤S1430。另外，在不存在开始追踪的脸部的情况下(S1420：“否”)，妆容图像重叠部150使处理进入上述的图9的步骤S1500。
在步骤S1430中，妆容图像重叠部150参照状态记录表320的追踪状态326(参照图4)，来判定是否存在过去已结束追踪的脸部。在存在已结束追踪的脸部的情况下(S1430：“是”)，妆容图像重叠部150使处理进入步骤S1440。另外，在不存在已结束追踪的脸部的情况下(S1430：“否”)，妆容图像重叠部150使处理进入上述的图9的步骤S1500。
在步骤S1440中，妆容图像重叠部150参照状态记录表320的相对位置325(参照图4)，来获取过去已结束追踪的脸部相对于追踪正在持续的脸部的相对位置。然后，妆容图像重叠部150判定开始追踪的脸部相对于追踪正在持续的脸部的相对位置是否与所获取到的相对位置相同。所述相对位置的判定相当于在图8中说明过的相对位置4081与相对位置4082的比较。
在与相对位置相同的情况下(S1440：“是”)，妆容图像重叠部150使处理进入步骤S1450。另外，在与相对位置不同的情况下(S1440：“否”)，妆容图像重叠部150使处理进入上述的图9的步骤S1500。
在步骤S1450中，妆容图像重叠部150对开始追踪的脸部应用过去已结束追踪的脸部的妆容设定并记录该妆容设定。即，妆容图像重叠部150在状态记录表320中将过去已结束追踪的脸部的妆容设定322记述到开始追踪的脸部的妆容设定322。然后，妆容图像重叠部150使处理进入上述的图9的步骤S1500。
通过这种动作，图像处理装置100能够实现如下的虚拟化妆操作：不会被手指遮挡脸部区域，不受画面上的脸部位置的抖动所影响，且即使多个脸部中的一个脸部暂时从画面脱离也能够维持妆容设定。
<本实施方式1的效果>
如以上所说明的那样，本实施方式1所涉及的图像处理装置100能够以在画面上进行了脸部方向滑动操作为条件，来变更对影像所包含的脸部的妆容图像的重叠状态。即，通过使用图像处理装置100，用户能够不被手指遮挡呈现脸部的区域地进行对妆容图像的重叠状态进行变更的操作，从而能够一边利用画面的影像来确认脸部的美观一边进行自拍。因而，图像处理装置100使得能够一边自拍一边进行虚拟化妆操作。
另外，本实施方式1所涉及的图像处理装置100以开始包括滑动操作在内的触摸操作时的脸部的位置为基准，来决定触摸操作的对象。由此，图像处理装置100能够不受因被摄体或者图像处理装置100的移动而引起的画面上的脸部的位置的抖动所影响地实现用户所期望的操作。
另外，本实施方式1所涉及的图像处理装置100在画面包含多个脸部时获取其相对位置关系，基于位置的追踪是否正在持续以及相对位置关系是否还维持着，来针对每个脸部判断是否维持妆容设定。由此，即使在因图像处理装置100的移动而导致多个脸部中的某个脸部暂时从画面脱离的情况下，图像处理装置100也能够将用户所设定的妆容图像继续重叠于该脸部。
即，根据本实施方式1所涉及的图像处理装置100，与以往技术相比，能够实现更简单且直观的虚拟化妆操作界面。
<本实施方式1的变形例>
此外，作为滑动操作的对象的脸部的决定方法不限定于上述的例子。例如也可以是，妆容图像重叠部150以进行了去向脸部的位置的方向的滑动操作的位置与脸部的位置之间在画面上的距离为规定的阈值以下为条件，来变更妆容图像的重叠状态。
另外，例如也可以是，在沿去向画面所包含的多个脸部的位置的方向进行了滑动操作时，妆容图像重叠部150将该多个脸部中的、在画面上与进行了该滑动操作的位置之间的距离最短的脸部作为变更妆容图像的重叠状态的对象。
另外，例如也可以是，妆容图像重叠部150基于滑动操作与脸部位置的方向差以及滑动操作与脸部位置之间的距离来决定是否将脸部作为变更妆容图像的重叠状态的对象。更具体地说，妆容图像重叠部150例如将方向差乘以第一系数而得到的值与距离乘以第二系数而得到的值相加后得到的值为规定的阈值以下作为成为变更妆容图像的重叠状态的对象的脸部的条件。在此，方向差是指画面上的、滑动操作的滑动方向与脸部相对于进行了滑动操作的位置的方向之间的方向差。另外，距离是指进行了滑动操作的位置与脸部的位置之间的距离。此外，进行了滑动操作的位置是指滑动操作的开始位置、结束位置或者滑动操作整体的接触区域的重心位置等。
另外，妆容图像的重叠状态的变更方法不限定于上述的例子。例如也可以是，在沿去向重叠了妆容图像的脸部的位置的方向进行了滑动操作时，妆容图像重叠部150变更妆容图案。
另外，妆容图像数据的数量和内容不限定于上述的例子。例如也可以是，妆容图像信息310记述关于四个以上的妆容图案与四个以上的妆容浓淡的组合的妆容图像数据。另外，例如也可以是，妆容图像信息310关于妆容图案和妆容浓淡中的至少一个仅记述一种妆容图像数据。并且，妆容图像信息310也可以记述如男性用妆容和女性用妆容那样的根据化妆的对象而不同的妆容图像数据。在该情况下，妆容图像重叠部150需要识别切换化妆的对象的操作。
另外，除滑动操作以外的所受理的触摸操作不限定于上述的例子。例如也可以是，在对重叠了妆容图像的脸部进行了对脸部标注圆形记号的触摸操作时，妆容图像重叠部150变更妆容图案、妆容浓淡。
另外，以开始触摸操作时的脸部的位置为基准来决定触摸操作的对象的方法也可以应用于除滑动操作以外的各种触摸操作。
另外，用于以开始触摸操作时的脸部的位置为基准来决定触摸操作的对象的方法不限定于上述的例子。例如也可以是，在从开始触摸操作起直到触摸操作完成为止的期间，妆容图像重叠部150停止影像以及表示脸部位置和脸部器官位置的信息的输入(更新)。另外，也可以由拍摄部110和脸部位置获取部140获取操作信息来进行所述信息的输入的停止。
另外，对从画面脱离的脸部维持妆容设定的方法不限定于上述的例子。例如也可以是，在某个脸部从画面脱离的情况下，妆容图像重叠部150以追踪正在持续的脸部的位置为基准，将最后在画面上呈现时的该脸部的相对位置保持到经过规定的超时时间为止。在该情况下，当从画面脱离的脸部在经过超时时间之前返回到画面内时，能够继续该脸部的追踪。
或者也可以是，妆容图像重叠部150无论多个脸部之间的相对位置关系如何，都对开始位置的追踪的脸部应用在过去的规定的时间内(例如3秒以内)结束了位置的追踪的脸部的妆容设定。例如，在暂时从影像脱离的脸部仅有一个、例如映入影像的脸部只有一个等的情况下，能够适当地保持妆容设定。
另外，妆容图像重叠部150也可以在进行了妆容图案、妆容浓淡的变更时，向用户通知进行了该变更。期望的是，该通知是用户易于识别的通知，例如能够通过妆容图像的闪烁、颜色变化、闪烁的星星图像等效果图像的显示、或者如星星闪耀那样的声音等效果音的输出之类的各种效果处理来进行该通知。
另外，应用图像处理装置100的装置不限定于上述的例子。图像处理装置100例如也可以应用于平板型终端、个人计算机或者数字照相机等。
另外，图像处理装置100的结构的一部分也可以配置于网络上的服务器等，以这种方式等与图像处理装置100的结构的其它部分相分离。在该情况下，这些部分分别需要具备用于相互进行通信的通信部。
(实施方式2)
下面，参照附图来详细说明本公开的实施方式2。
<装置的概要>
首先，说明本实施方式2所涉及的图像处理装置的概要。
图11是表示本实施方式2所涉及的图像处理装置的概要的一例的图。
如图11所示，图像处理装置500例如具有模仿折叠型化妆镜的外形。图像处理装置500在相当于化妆镜的镜子的部分具备液晶显示器501，并且在该液晶显示器501的附近具备小型的数字照相机502。此外，液晶显示器501也可以带触摸面板。另外，数字照相机502也可以是能够进行立体拍摄的立体照相机。
图像处理装置500与触笔600配套使用。使用图像处理装置500和触笔600的用户700例如是小学生的女孩子。图像处理装置500使利用数字照相机502拍摄到的影像左右翻转后显示在液晶显示器501上。用户700一边观看呈现在液晶显示器501的自己的脸部，一边将触笔600当作口红、眼影棒等化妆用具，来进行模仿大人的化妆的动作。
图像处理装置500在用户700进行化妆动作时，对所显示的影像中的成为化妆动作的对象的区域重叠妆容图像。
图12A～图12C是表示液晶显示器501所呈现的图像的变化的一例的图。
如图12A所示，在液晶显示器501所呈现的图像810中包含用户的脸部811。设如图12B所示那样，用户700进行了用触笔600的顶部描唇的动作。于是，如图12C所示，图像处理装置500生成将妆容图像812重叠于唇的图像810并显示该图像810。由此，图像处理装置500能够给用户700带来如进行了真正的化妆那样的感觉。
但是，为了实现这种动作，图像处理装置500需要在用户700进行化妆动作时检测出该化妆动作。
因此，图像处理装置500从由数字照相机502拍摄到的影像获取脸部的位置，并且在所述影像包含规定的标记颜色的部分时从影像检测出该部分，将该部分检测为触笔600。由此，只要对触笔600施加规定的标记颜色，图像处理装置500就能够在用户700使触笔600接近脸部时、也就是说进行化妆动作时检测出该化妆动作。
图13是表示触笔600的外观的一例的图。
如图13所示，触笔600例如是具有笔状外形的棒状构件。在触笔600中的包含其顶端部的区域610施加有红色等规定的标记颜色。此外，期望的是，以触笔600的轴为中心在360度的方向的表面施加标记颜色，使得更易于从拍摄影像检测出该标记颜色。例如能够将标记颜色的区域610设成涂布在棒状构件上的涂料、粘贴在棒状构件上的贴纸、或者构成棒状构件的带颜色的构件。
图像处理装置500既可以将规定的单色检测为标记颜色，也可以将规定的多个颜色的各颜色检测为不同的标记颜色。在本实施方式2中，设图像处理装置500将规定的多个颜色的各颜色检测为不同的标记颜色。
<装置的结构>
接着，说明图像处理装置500的结构。
图14是表示图像处理装置500的结构的一例的框图。
在图14中，图像处理装置500具有信息保存部510、拍摄部520、脸部位置获取部530、触笔检测部540、妆容图像重叠部550以及显示部560。
信息保存部510预先保存有用于从图像中检测图像所包含的人的脸部、脸部器官的脸部特征信息以及用于生成妆容图像来重叠于影像的脸部的部分的妆容图像表。
脸部特征信息例如是通过基于大量的脸部图像样本进行学习而生成的表示眼、唇之类的脸部器官的形状等的图像特征、或者脸部器官的配置、脸部的颜色直方图之类的脸部整体的图像特征的信息。各脸部器官分别包括眼梢、嘴角之类的脸部特征点。
妆容图像表是针对多个规定的标记颜色来按每个规定的标记颜色预先记述妆容图像的内容(下面称为“妆容图像数据”)的表。此外，在本实施方式2中，设以唇区域、眼睑区域以及颧骨区域等作为妆容的涂布对象的连续的区域(下面称为“对象区域”)为单位，来生成妆容图像。
图15是表示妆容图像表的内容的一例的图。
如图15所示，妆容图像表510与标记颜色511对应地记述有妆容区域512、妆容颜色513以及妆容浓淡514。妆容区域512、妆容颜色513以及妆容浓淡514构成每个对象区域的妆容图像数据。
按识别为同一类别的触笔的颜色，来记述作为表示触笔的颜色而被图像处理装置500作为检测的对象的颜色，该记述的颜色即为标记颜色511。此外，在此用颜色的名称来表示标记颜色511，但是实际上标记颜色511是RGB(Red，Green，Blue)之类的规定的颜色空间中的坐标值的范围等。即，标记颜色511是具有某种程度的宽度的颜色范围。
妆容区域512例如是以嘴角等脸部特征点的位置为基准来定义的妆容图像的区域(也就是说，妆容的涂布区域)。此外，在此用脸部的区域的名称来表示妆容区域512，但是实际上妆容区域512是以脸部特征点的位置为基准的空间中的坐标值、函数等。
妆容颜色513是妆容图像的颜色。此外，在此用颜色的名称来表示妆容颜色513，但是实际上妆容颜色513是RGB(Red，Green，Blue)、HSV(Hue，Saturation，Value)之类的规定的颜色空间中的坐标值等。妆容颜色513也可以未必与标记颜色511相同，但是期望妆容颜色513是与标记颜色511近似的颜色。由此，用户700能够直观地利用与期望的颜色相近的颜色来进行虚拟化妆。
妆容浓淡514是重叠于拍摄图像时的妆容图像的颜色的浓度(透明度)。此外，在此用透明度来表示妆容浓淡514，但是实际上妆容浓淡514是通过α混合等将妆容图像重叠于拍摄图像时的对像素值的合成率等系数。
即，妆容图像表510中记述的妆容图像数据所表示的妆容图像是表示对以脸部特征点为基准预先决定的区域(对象区域)涂布妆容时的妆容的状态的图像。另外，妆容区域512是作为妆容的涂布对象的对象区域。
图14的拍摄部520例如具有上述的数字照相机502，来拍摄用户700的脸部的影像(参照图11)。而且，拍摄部520将拍摄到的影像在左右方向上翻转后输出到脸部位置获取部530、触笔检测部540以及妆容图像重叠部550。
脸部位置获取部530从所输入的影像逐次获取影像所包含的脸部的位置。更具体地说，脸部位置获取部530基于脸部特征信息，对构成影像的图像帧的各部分进行脸部或者脸部器官的图像特征的图案匹配。由此，脸部位置获取部530从各图像帧提取图像帧所包含的各脸部特征点的位置。然后，脸部位置获取部530将表示所提取出的脸部特征点的位置的信息输出到触笔检测部540和妆容图像重叠部550。
触笔检测部540在所输入的影像包含妆容图像表510中记述的标记颜色511(参照图15)中的某个标记颜色时，从影像检测出该部分，将该部分检测为触笔。作为标记颜色的部分的检测方法，例如能够采用专利文献2所记载的基于颜色直方图信息的检测方法。
触笔检测部540参照妆容图像表510的妆容区域512(参照图15)，来判定是否进行了使触笔接近某个对象区域的化妆动作(参照图12A～图12C)。基于输入的信息所表示的脸部特征点的位置以及检测出的触笔的位置来进行所述判定。然后，触笔检测部540以进行了所述化妆动作为条件，来将表示检测出的标记颜色的信息输出到妆容图像重叠部550。
此外，脸部器官的位置和触笔的位置分别可以是以下位置中的任一个：影像的二维空间中的位置；实际世界的三维空间中的位置；以及将与脸部表面的距离方向上的空间轴同影像的二维空间进行组合而得到的三维空间中的位置。
例如，在数字照相机502是立体照相机的情况下，脸部位置获取部530和触笔检测部540能够通过计算立体图像之间的视差来获取脸部器官或触笔的三维位置。另外，设预先获取了影像中的脸部的大小的平均值和触笔的大小的平均值。在该情况下，脸部位置获取部530和触笔检测部540能够通过检测影像中的实际的脸部的大小和触笔的大小来获取脸部器官或触笔的三维位置。
妆容图像重叠部550以检测出触笔为条件，来对所输入的影像的脸部的部分重叠与所检测出的标记颜色预先对应的妆容图像。更具体地说，妆容图像重叠部550在被输入了表示标记颜色的信息时，参照妆容图像表510(参照图15)来获取与该标记颜色对应的妆容图像数据。妆容图像重叠部550基于获取到的妆容图像数据来生成妆容图像，将生成的妆容图像重叠于所输入的影像。然后，妆容图像重叠部550将适当重叠了妆容图像后的影像输出到显示部560。
显示部560例如具有上述液晶显示器501(参照图11)，将所输入的适当重叠了妆容图像后的影像(下面称为“虚拟化妆影像”)显示在该液晶显示器的画面上。
虽未进行图示，但是图像处理装置500例如具有CPU(Central Processing Unit：中央处理单元)、保存有控制程序的ROM(Read Only Memory：只读存储器)等存储介质以及RAM(Random Access Memory：随机存取存储器)等作业用存储器。在该情况下，能够通过由CPU执行控制程序来实现上述的各部的功能。
具有这种结构的图像处理装置500能够在用户700使触笔600接近脸部时、也就是说进行了化妆动作时检测出该化妆动作，并显示重叠了对应的妆容图像后的用户700的脸部的影像。
<装置的动作>
接着，说明图像处理装置500的动作。
图16是表示图像处理装置500的动作的一例的流程图。
在步骤S3100中，拍摄部520开始拍摄影像。所述影像可能包含用户700的脸部、触笔600。此外，图像处理装置500针对构成影像的每个图像帧来依次进行以后的各处理。
在步骤S3200中，在图像包含脸部的情况下，脸部位置获取部530从该图像检测脸部特征点的位置。
在步骤S3300中，触笔检测部540从图像中进行标记颜色的检测，判定图像中是否存在标记颜色的部分。在图像中存在标记颜色的部分的情况下(S3300：“是”)，触笔检测部540使处理进入步骤S3400。另外，在图像中不存在标记颜色的部分的情况下(S3300：“否”)，触笔检测部540使处理进入后述的步骤S3700。
在步骤S3400中，触笔检测部540判定是否对与所检测出的标记颜色对应的对象区域(妆容区域512，参照图15)进行了化妆动作。即，触笔检测部540判定所检测出的标记颜色的部分(触笔600)是否接近了对应的对象区域。此外，接近例如是指触笔600的位置与根据脸部特征点的位置决定的对象区域之间的距离为规定的值以下。
在进行了化妆动作的情况下(S3400：“是”)，触笔检测部540使处理进入步骤S3500。另外，在未进行化妆动作的情况下(S3400：“否”)，触笔检测部540使处理进入后述的步骤S3700。
此外，触笔检测部540也可以基于妆容图像表510(参照图15)，按对象区域来限定作为检测的对象的标记颜色。在该情况下，能够使步骤S3300、S3400为一个处理。另外，也可以是，在脸部位置获取部530检测出脸部区域的情况下，触笔检测部540限定在所检测出的脸部区域中进行各标记颜色的检测。
另外，也存在以下情况：尽管用户700未打算进行化妆动作，但是误使触笔600接近对象区域。因而，也可以是，触笔检测部540以触笔600接近对象区域的状态持续1秒等规定的时间以上为条件，来判定为进行了化妆动作。
在步骤S3500中，妆容图像重叠部550判定与所检测出的标记颜色对应的妆容图像是否已重叠完成。此外，该妆容图像是利用与所检测出的标记颜色对应的妆容图像数据(512～514，参照图15)生成的图像。在妆容图像未重叠完成的情况下(S3500：“否”)，妆容图像重叠部550使处理进入步骤S3600。另外，在妆容图像已重叠完成的情况下(S3500：“是”)，妆容图像重叠部550使处理进入后述的步骤S3700。
在步骤S3600中，妆容图像重叠部550生成与所检测出的标记颜色对应的妆容图像，开始将该妆容图像重叠于拍摄图像。即，妆容图像重叠部550在以后的影像中持续进行妆容图像的重叠。例如，基于脸部特征点的最新的位置来重新生成妆容图像，或者将所生成的妆容图像变形为与脸部特征点的最新的位置相符的形式，由此持续进行所述妆容图像的重叠。
此外，从用户700开始使用触笔600到完成期望的化妆动作要花费数秒左右的时间。因而，期望的是，妆容图像重叠部550在检测出规定的标记颜色后到开始重叠对应的妆容图像之前设置数秒左右的时间差。
在步骤S3700中，显示部560显示所生成的虚拟化妆影像。此外，虚拟化妆影像不仅包括重叠了妆容图像的影像，也包括未重叠妆容图像的影像。
在步骤S3800中，妆容图像重叠部550判定是否通过用户操作等指示了结束生成并显示虚拟化妆影像的处理。在未指示结束处理的情况下(S3800：“否”)，妆容图像重叠部550使处理返回到步骤S3200，转移到针对下一个图像帧或者最新的图像帧的处理。另外，在指示了结束处理的情况下(S3800：“是”)，妆容图像重叠部550结束一系列处理。
通过这种动作，图像处理装置500能够在用户700进行了使触笔600接近唇等对象区域的化妆动作时生成并显示对该区域重叠妆容图像而得到的虚拟化妆影像。
此外，标记颜色的不同(也就是说触笔600的不同)在虚拟化妆影像中表现为妆容图像的区域、颜色的不同。
图17A～图17C是表示由触笔600引起的虚拟化妆影像的不同的例子的图，与图12C对应。对与图12C对应的部分标注相同标记，省略对其的说明。
图17A是使用标记颜色为红色的触笔的情况的例子。图17B是使用标记颜色为粉色的触笔的情况的例子。图17C是使用标记颜色为浅蓝色的触笔的情况的例子。图17A～图17C所示的触笔6001～6003的标记颜色依次为红色、粉色、浅蓝色。
如图17A所示，在使用红色的触笔6001的情况下，图像处理装置500基于妆容图像表510(参照图15)来使红色的妆容图像8121重叠于唇部分。同样地，如图17B所示，在使用粉色的触笔6002的情况下，图像处理装置500使珊瑚粉的妆容图像8122重叠于唇部分。另外，如图17C所示，在使用浅蓝色的触笔6003的情况下，图像处理装置500使蓝灰色的妆容图像8123重叠于唇部分。
这样，图像处理装置500根据触笔600的标记颜色来使不同的妆容图像重叠于用户的脸部的影像。
<本实施方式2的效果>
如以上那样，本实施方式2所涉及的图像处理装置500从所拍摄到的影像获取影像所包含的脸部的位置，在影像包含规定的标记颜色的部分时，还检测该部分并将该部分检测为触笔。而且，本实施方式2所涉及的图像处理装置500显示拍摄到的影像，而此时以检测出触笔为条件，来对影像的脸部的部分重叠与规定的标记颜色预先对应的妆容图像。由此，图像处理装置500使得能够通过化妆动作进行虚拟化妆。
另外，图像处理装置500如图15的妆容图像表510所示那样，按标记颜色来限定化妆的对象区域。由此，即使触笔600接近了除按触笔600决定的对象区域以外的部分，图像处理装置500也不对所述部分重叠妆容图像。由此，图像处理装置500能够避免例如在虚拟化妆影像中误将口红涂布在眼睑上之类的事态。
<变形例1：触笔识别方法的其它例子>
此外，触笔600的识别方法不限定于上述的例子。例如，图像处理装置500也可以在包含由规定的多个颜色构成的规定的颜色配置图案的部分时从影像检测出该部分来作为上述的标记颜色。在该情况下，能够将颜色配置图案用作触笔600的识别码，从而能够提高触笔600的检测精度，并且能够增加可识别的触笔600的数量。
图18是表示施加了颜色配置图案的触笔的外观的一例的图，与图13对应。
如图18所示，对触笔600a中的从顶端起连续的第一区域6101～第四区域6104的各区域施加颜色。在第一区域6101～第四区域6104之间，所施加的颜色既可以相同也可以不同。但是，期望的是，在第一区域6101～第四区域6104中的至少相邻的区域610之间颜色不同。另外，期望的是，第一区域6101～第四区域6104中的至少一个区域被涂布与这些颜色配置图案所对应的妆容颜色近似的颜色。
对第一区域6101～第四区域6104施加的颜色的组合和顺序构成对触笔600a施加的颜色配置图案。此外，构成颜色配置图案的区域的数量不限定于四个。
图19是表示将颜色配置图案用作标记颜色的情况下的妆容图像表的内容的一例的图，与图15对应。对与图15对应的部分标注相同标记，省略对其的说明。
如图19所示，妆容图像表510a与为颜色配置图案的标记颜色511a对应地记述有妆容区域512、妆容颜色513以及妆容浓淡514。此外，在此用颜色配置图案的画像来表示标记颜色511a，但是实际上标记颜色511a是沿配置顺序记述了规定的颜色空间中的坐标值的范围的信息。
例如，触笔检测部540首先从图像中搜索与第一区域6101(参照图18)对应的颜色的区域，在检测出该区域的情况下，在该区域的周边搜索与第二区域6102对应的颜色的区域。在检测出与第二区域6102对应的颜色的区域的情况下，触笔检测部540进一步在所检测出的该方向的周边区域按顺序搜索第三区域6103、第四区域6104。
在触笔检测部540能够区别检测N种颜色的情况下，若是图13所示的由单色构成的标记颜色的触笔600，则能够识别N根触笔600，能够使用N种妆容图像。
与此相对，若是如图18所示的以四个区域的颜色配置图案作为标记颜色的触笔600a，则例如能够识别N4根触笔600，能够使用N4种妆容图像。即，通过采用多个颜色的颜色配置图案来作为标记颜色，图像处理装置500能够重叠种类丰富的妆容图像，从而扩展虚拟化妆的变化。
并且，与标记颜色为单色的情况相比，在标记颜色为多个颜色的颜色配置图案的情况下，能够降低误将触笔600以外的部分检测为触笔600的可能性。另一方面，在标记颜色为多个颜色的颜色配置图案的情况下，由于其一部分被手指所遮掩等而导致漏检测的可能性变高。
因此，期望的是，触笔检测部540对在某个图像帧中检测出的触笔600a在后续的影像中进行追踪。例如采用针对影像的公知的目标追踪技术来追踪触笔600a的顶端的颜色、形状等图像特征部分，由此进行所述追踪。在该情况下，期望的是，触笔600a的顶端的区域(第一区域6101，参照图18)的颜色为规定的一个颜色。
<变形例2：颜色决定方法的其它例子>
另外，妆容图像的颜色(妆容颜色)的决定方法不限定于上述的例子。图像处理装置500例如也可以基于涂布于触笔的与标记颜色相分别的颜色来决定妆容图像的颜色。
图20是表示施加了标记颜色以外的颜色的触笔的外观的一例的图，与图13及图18对应。
如图20所示，对触笔600b的从顶端起连续的第五区域6105和第六区域6106的各区域施加了颜色。第六区域6106的颜色是从一个或多个规定的标记颜色中选择的颜色。
期望的是，对第五区域6105施加的颜色是除上述规定的标记颜色以外的颜色。此外，第五区域6105例如能够设成涂布在棒状构件上的涂料、粘贴在棒状构件上的贴纸、或者构成棒状构件的带颜色的构件。另外，期望的是，标记颜色为绿色等在妆容中不怎么使用的且与脸部的颜色不同的颜色。
在使用这种触笔600b的情况下，触笔检测部540从影像中的检测出的规定的标记颜色的部分的周边区域检测该周边区域所包含的除脸部的颜色以外的颜色来作为涂布指定颜色。即，触笔检测部540将第五区域6105的颜色检测为涂布指定颜色。然后，妆容图像重叠部550利用与所检测出的涂布指定颜色近似的颜色来生成妆容图像。
此外，妆容图像表510(参照图15)无需记述妆容颜色513。并且，在将标记颜色设为一个颜色、且不按触笔600b限定对象区域的情况下，未必需要按标记颜色预先记述有妆容图像的内容的妆容图像表。另外，图像处理装置500也可以使用记述了标记颜色以及按对象区域记述了除妆容颜色以外的妆容图像数据的妆容图像表，来代替所述表。
图21是表示使用涂布了标记颜色和涂布指定颜色的触笔600b的情况下的图像处理装置500的动作的一例的流程图，与图16对应。对与图16相同的部分标注相同的标记，省略对其的说明。
触笔检测部540当判定为在图像中存在标记颜色的部分时(S3300：“是”)，使处理进入步骤S3310b。
在步骤S3310b中，触笔检测部540在标记颜色的部分的周边区域进行除脸部的颜色以外的颜色的检测，判定是否存在除脸部的颜色以外的颜色的部分。更具体地说，例如在脸部位置获取部530检测出脸部区域的情况下，触笔检测部540基于所检测出的脸部区域的颜色直方图信息来估计包括皮肤、唇、眼睛、睫毛以及眉毛部分在内的脸部的各部的颜色。然后，触笔检测部540检测与估计出的颜色不同且具有规定的面积的部分的颜色来作为除脸部的颜色以外的颜色。
例如，在图像包含图20所示的触笔600b的第五区域6105和第六区域6106的情况下，第六区域6106是标记颜色，因此触笔检测部540检测第五区域6105的颜色。
在标记颜色的部分的周边区域存在除脸部的颜色以外的颜色的部分的情况下(S3310b：“是”)，触笔检测部540使处理进入步骤S3320b。另外，在标记颜色的部分的周边区域不存在除脸部的颜色以外的颜色的部分的情况下(S3310b：“否”)，触笔检测部540使处理进入后述的步骤S3410b。
在步骤S3320b中，触笔检测部540获取通过步骤S3310b检测出的颜色来作为涂布指定颜色。
此外，触笔检测部540也可以在影像中追踪标记颜色的部分，将与标记颜色进行相同移动的颜色判定为是上述的除脸部的颜色以外的颜色。
在步骤S3410b中，触笔检测部540判定是否已获取涂布指定颜色、且对某个对象区域进行了化妆动作。即，触笔检测部540判定所检测出的标记颜色的部分(触笔600b)是否接近了预先决定的对象区域中的某一个。
在已获取涂布指定颜色、且对对象区域进行了化妆动作的情况下(S3410b：“是”)，触笔检测部540使处理进入步骤S3510b。此时，触笔检测部540将表示涂布指定颜色以及成为化妆动作的对象的对象区域的信息代替上述的表示标记颜色的信息来输出到妆容图像重叠部550。另外，在没能获取到涂布指定颜色的情况下或者在未对对象区域进行化妆动作的情况下(S3410b：“否”)，触笔检测部540使处理进入步骤S3700。
在步骤S3510b中，妆容图像重叠部550基于所输入的信息来判定是否已经对对象区域重叠了与涂布指定颜色近似的颜色的妆容图像。在对对象区域重叠了与涂布指定颜色近似的颜色的妆容图像的情况下(S3510b：“是”)，妆容图像重叠部550使处理进入步骤S3700。另外，在未对对象区域重叠与涂布指定颜色近似的颜色的妆容图像的情况下(S3510b：“否”)，妆容图像重叠部550使处理进入步骤S3610b。
在步骤S3610b中，妆容图像重叠部550生成与涂布指定颜色近似的颜色的妆容图像并开始将该妆容图像重叠于拍摄图像，使处理进入步骤S3700。
更具体地说，妆容图像重叠部550例如参照预先保存在信息保存部510中的、表示将颜色空间进行分割而得到的多个分割颜色空间以及各分割颜色空间中的平均颜色等代表颜色的信息。然后，妆容图像重叠部550确定涂布指定颜色所属的分割颜色空间，将确定出的分割颜色空间的代表颜色决定为妆容图像的妆容颜色。
此外，妆容图像重叠部550也可以将所获取到的涂布指定颜色直接用作妆容颜色，还可以将对所获取到的涂布指定颜色进行规定的颜色变换而得到的颜色用作妆容颜色。并且，妆容图像重叠部550也可以获取照明状态等周围的环境信息，基于获取到的信息来决定颜色变换的内容。
图22A～图22C是表示由触笔600b的涂布指定颜色引起的虚拟化妆影像的不同的例子的图，与图12C及图17A～图17C对应。对与图12C及图17A～图17C对应的部分标注相同标记，省略对其的说明。
设如图22A～图22C所示那样，分别使用施加了各不相同的涂布指定颜色的触笔600b1～600b3来对唇进行化妆动作。在该情况下，图像处理装置500使与各触笔600b的涂布指定颜色近似的颜色的妆容图像812b1～812b3重叠于成为化妆动作的对象的唇区域。
在基于标记颜色来决定妆容颜色的情况下，需要根据能够识别的标记颜色(颜色配置图案)的数量来限制妆容图像的种类，并且需要预先登记标记颜色与妆容颜色的对应关系。
与此相对，在基于标记颜色来检测如图20所示的触笔600b、从检测出的触笔600b获取涂布指定颜色的情况下，不存在上述的限制，也无需预先设定标记颜色与妆容颜色的对应关系。即，通过采用标记颜色与涂布指定颜色的组合，图像处理装置500能够生成颜色富有灵活性的妆容图像，从而能够扩展虚拟化妆的变化。
<其它变形例>
另外，图像处理装置500所进行的标记颜色(颜色配置图案)与妆容图像的对应不限定于上述的例子。例如，也可以未必按标记颜色来限定妆容区域512和妆容浓淡514。由此，用户700能够利用一个触笔600来对多个或者所有对象区域进行虚拟化妆。
另外，图像处理装置500中使用的触笔600的形状、触笔600中的标记颜色和涂布指定颜色的配置以及颜色配置图案的结构不限定于上述的例子。例如，触笔600也可以是更接近各种化妆品的形状、材料，例如也可以是平刷毛状的形状和材料。
另外，图像处理装置500也可以从用户700受理标记颜色的输入。在该情况下，触笔检测部540例如在实施虚拟化妆之前在液晶显示器501上显示用于从拍摄影像获取触笔600的部分的触笔登记画面。然后，触笔检测部540获取借助触笔登记画面获取到的触笔600的部分的颜色，将该颜色作为对触笔600标注的标记颜色。
图23是表示触笔登记画面的一例的图。
如图23所示，触笔登记画面610例如包括用于指定触笔600在数字照相机502的拍摄影像611中的位置的位置指定图像612。另外，触笔登记画面610包括消息613，该消息613指示用户700以使触笔600在拍摄影像611中的位置对准位置指定图像612的方式持拿触笔600。
触笔检测部540从拍摄影像611检测预先登记的触笔600的外形、对触笔600标注的码图案，由此判定触笔600是否对准了位置指定图像612。然后，在触笔600对准了位置指定图像612时，触笔检测部540从拍摄影像611获取标注了标记颜色的部分(例如触笔600的顶端部分)的颜色，将获取到的颜色获取为标记颜色。
此外，妆容图像重叠部550既可以将所获取到的颜色直接作为妆容颜色，也可以将与所获取到的颜色预先对应的颜色作为妆容颜色。
另外，也可以是，在图像处理装置500的触笔600的识别中同时使用除颜色信息以外的信息。例如也可以是，在触笔600搭载有RFID(Radio Frequency Identification：射频识别)标签的情况下，触笔检测部540基于来自RFID标签的无线信号所表示的信息与触笔600的颜色信息的组合来识别触笔600。
另外，图像处理装置500所进行的妆容图像的重叠也可以不限制于上述的对象区域。即，图像处理装置500也可以将整个脸部的各部识别为化妆动作的对象。
在该情况下，在想要给用户700带来更接近实际的妆容的感觉的情况下，期望的是，触笔检测部540检测用户700是否使触笔600与脸部的表面接触，将触笔600所接触的部分决定为妆容区域。例如，能够通过分别高精度地检测脸部的表面的各部的三维位置和触笔600的顶端的三维位置，或者通过以无线方式接收搭载于触笔600的顶端的按压传感器的传感器信息，来进行所述检测。
或者，触笔检测部540也可以还对触笔600(标记颜色的区域)在对象区域附近的移动、对象区域与触笔600的更细微的位置关系进行分析，来判定是否对所述对象区域进行了化妆动作。具体地说，例如，触笔检测部540预先按对象区域将规定的触笔600的移动的图案(手势)登记为化妆动作，通过检测所述手势来进行化妆动作的判定。
例如能够使用设定于脸部的多个基准点来定义手势。
图24是用于说明手势的定义的图。
如图24所示，在脸部620定义了多个基准点(621)A～F、X～Z。以脸部特征点为基准来决定基准点的位置。另外，对化妆的对象区域分别定义有一个或多个基准点。
例如，在信息保存部510中预先保存有手势表，该手势表按对象区域将一个或多个基准点与触笔600的相对位置关系的时间变化记述为对该对象区域的化妆动作。
例如，上唇的化妆动作是如下的触笔600的移动(用户700的手势)：触笔600按照基准点A、基准点B(或基准点B与基准点D的中点)、基准点C的顺序或者与其相反的顺序接近这些基准点。另外，下唇的化妆动作是如下的触笔600的移动：触笔600按照基准点A、基准点F(或基准点F与基准点E的中点)、基准点C的顺序或者与其相反的顺序接近这些基准点。
另外，右颊的化妆动作是如下的触笔600的移动：触笔600在基准点Z的周边旋转数圈。另外，对整个脸部的粉底的化妆动作是如下的触笔600的移动：触笔600按照基准点X、基准点Y、基准点Z的顺序或者与其相反的顺序接近这些基准点。
妆容图像重叠部550将从影像检测出的触笔600的位置的时间变化与手势表中记述的各化妆动作的内容进行比较，由此判定是否对各对象区域进行了化妆动作。
反之，图像处理装置500也可以单纯以触笔600接近脸部为条件、或者单纯以从影像检测出触笔600为条件，来开始对拍摄影像重叠与触笔600的类别预先对应的妆容图像。
另外，图像处理装置500根据触笔600的区分而改变的妆容图像的内容不限定于上述的例子。即，妆容图像表510(参照图15)所记述的妆容图像的内容也可以是按标记颜色(颜色配置图案)而妆容的光泽等图像效果、与化妆剂的持久性相当的妆容图像的持续时间等不同的内容。
另外，信息保存部510也可以访问因特网上的规定的服务器等来获取或更新妆容图像表510(参照图15)的内容。信息保存部510定期地或者在接收到来自用户或服务器的指示的时刻进行所述表的获取或更新。由此，图像处理装置500能够灵活地应对触笔600的增加、变更，并且能够向用户700提供反映了妆容的流行的虚拟化妆。
另外，也可以是，在影像包含作为用于擦掉妆容的颜色而预先决定的颜色时，触笔检测部540检测出所述颜色的部分，将该部分作为橡皮擦触笔。而且，也可以是，触笔检测部540以进行了使橡皮擦触笔接近重叠有妆容图像的部分的动作为条件，来结束该妆容图像的重叠。
另外，被图像处理装置500当作对象的妆容的概念也可以包括对整个脸部的粉底的涂布、对脸部的描画、眼镜的佩戴、彩色隐形眼镜的佩戴、对眉毛和头发的染色等。无论在哪个情况下，都期望触笔是眼镜型的板、刷子型的用具等模仿对应的动作中使用的用具。
另外，应用图像处理装置500的装置不限定于上述的例子。图像处理装置500例如也可以应用于智能电话(实施方式1所示的图像处理装置100)、平板型终端、个人计算机或者数字照相机等。
另外，图像处理装置500的结构的一部分也可以配置于网络上的服务器等，以这种方式等与图像处理装置500的结构的其它部分相分离。在该情况下，这些部分分别需要具备用于相互进行通信的通信部。
以上参照附图说明了各种实施方式，但是本发明并不限定于所述例子，这是不言而喻的。本领域技术人员明白，在权利要求书所记载的范围内能够想到各种变更例或修改例，也能够理解它们当然也属于本发明的技术范围。
产业上的可利用性
本公开作为使得能够一边自拍一边进行虚拟化妆操作的图像处理装置、触笔以及图像处理方法是有用的。
附图标记说明
100：图像处理装置；110：拍摄部；120：操作受理部；130：信息保存部；140：脸部位置获取部；150：妆容图像重叠部；160：显示部；500：图像处理装置；501：液晶显示器；502：数字照相机；510：信息保存部；520：拍摄部；530：脸部位置获取部；540：触笔检测部；550：妆容图像重叠部；560：显示部；600、600a、600b：触笔。

Claims (25)

1.一种图像处理装置，具备：
拍摄部，其拍摄影像；
显示部，其将所拍摄到的所述影像显示于画面；
脸部位置获取部，其获取所述影像所包含的脸部在所述画面上的位置；
操作受理部，其受理对所述画面的操作；以及
妆容图像重叠部，其对所述影像的所述脸部的部分重叠妆容图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具备对所述影像的所述脸部的部分重叠妆容图像的妆容图像重叠部，
所述操作受理部受理对所述画面的触摸操作，
所述妆容图像重叠部以沿去向所述脸部的位置的方向进行了滑动操作为条件，来变更所述妆容图像的重叠状态。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述妆容图像重叠部以在所述画面上的进行了去向所述脸部的位置的方向的滑动操作的位置与所述脸部的位置之间的距离为规定的阈值以下为条件，来变更所述妆容图像的重叠状态。
4.根据权利要求2所述的图像处理装置，其特征在于，
当在所述画面上包含多个脸部的状态下沿去向所述多个脸部的位置的方向进行了滑动操作时，所述妆容图像重叠部将该多个脸部中的、在所述画面上与进行了该滑动操作的位置之间的距离最短的所述脸部作为变更所述妆容图像的重叠状态的对象。
5.根据权利要求2所述的图像处理装置，其特征在于，
所述妆容图像重叠部基于所述画面上的、滑动操作的滑动方向与所述脸部相对于进行了所述滑动操作的位置的方向之间的方向差、以及进行了所述滑动操作的位置与所述脸部的位置之间的距离，来决定是否将所述脸部作为变更所述妆容图像的重叠状态的对象。
6.根据权利要求2所述的图像处理装置，其特征在于，
所述妆容图像重叠部在初始状态下不对所述脸部的部分重叠所述妆容图像，以沿去向未重叠所述妆容图像的所述脸部的位置的方向进行了滑动操作为条件，来开始所述妆容图像的重叠，以沿去向重叠了所述妆容图像的所述脸部的位置的方向中的第一方向进行了滑动操作为条件，来将所重叠的所述妆容图像变更为与该所述妆容图像不同的第一妆容图像，以沿第二方向进行了滑动操作为条件，来将所重叠的所述妆容图像变更为与该所述妆容图像不同的第二妆容图像。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述第一妆容图像在妆容的浓淡上与所重叠的所述妆容图像不同，所述第二妆容图像在妆容的图案上与所重叠的所述妆容图像不同。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述第二方向是上方向和下方向中的至少一个方向。
9.根据权利要求2所述的图像处理装置，其特征在于，
所述妆容图像重叠部以开始触摸操作时的所述脸部的位置为基准，来决定所述触摸操作的对象。
10.根据权利要求8所述的图像处理装置，其特征在于，
所述妆容图像重叠部以开始滑动操作时的所述脸部的位置为基准，来判定是否沿去向所述脸部的位置的方向进行了滑动操作。
11.根据权利要求1所述的图像处理装置，其特征在于，
所述脸部位置获取部在所述影像中按所述脸部来追踪所述位置，
所述妆容图像重叠部对开始所述位置的追踪的脸部应用过去已结束所述位置的追踪的脸部的妆容设定。
12.根据权利要求1所述的图像处理装置，其特征在于，
所述脸部位置获取部在所述影像中按所述脸部来追踪所述位置，
所述妆容图像重叠部在所述画面包含多个脸部时，获取该多个脸部的相对位置关系，基于所述位置的追踪是否正在持续以及所述相对位置关系是否还维持着，来针对每个所述脸部判断是否维持该脸部的妆容设定。
13.根据权利要求12所述的图像处理装置，其特征在于，
当存在所述位置的追踪正在持续的第一脸部、所述位置的追踪已结束的第二脸部以及在所述第二脸部的追踪结束后开始所述位置的追踪的第三脸部时，所述妆容图像重叠部以所述第二脸部相对于所述第一脸部的相对位置与所述第三脸部相对于所述第一脸部的相对位置相同为条件，来将所述第二脸部的所述妆容设定应用于所述第三脸部。
14.根据权利要求12所述的图像处理装置，其特征在于，
所述相对位置关系是以铅垂方向为基准的相对位置关系。
15.根据权利要求1或2所述的图像处理装置，其特征在于，还具备：
触笔检测部，其在所述影像包含规定的标记颜色的部分时，从所述影像检测该部分，将该部分检测为触笔；以及
妆容图像重叠部，其以检测出所述触笔为条件，来对所述影像的所述脸部的部分重叠与所述规定的标记颜色预先对应的妆容图像。
16.根据权利要求15所述的图像处理装置，其特征在于，
所述触笔检测部获取所述触笔的位置，基于所获取到的所述脸部的位置和所述触笔的位置来判定用户是否进行了使所述触笔接近所述脸部的化妆动作，
所述妆容图像重叠部以进行了所述化妆动作为条件，来重叠所述妆容图像。
17.根据权利要求15所述的图像处理装置，其特征在于，
所述妆容图像是表示对以脸部特征点为基准预先决定的区域涂布妆容时的所述妆容的状态的图像，
所述脸部位置获取部获取所述脸部的脸部特征点的位置，
所述妆容图像重叠部基于所获取到的所述脸部特征点的位置和所述触笔的位置，以进行了使所述触笔接近所述区域的化妆动作为条件，来重叠所述妆容图像。
18.根据权利要求15所述的图像处理装置，其特征在于，
所述触笔检测部从所述影像检测所述规定的标记颜色的部分，基于检测出的部分来检测所述触笔的位置，在所述影像中追踪所检测出的所述触笔的位置。
19.根据权利要求15所述的图像处理装置，其特征在于，
所述触笔检测部从所述影像中的所检测出的所述规定的标记颜色的部分的周边区域检测该周边区域所包含的除所述脸部的颜色以外的颜色来作为涂布指定颜色，
所述妆容图像重叠部利用与所检测出的所述涂布指定颜色近似的颜色来生成所述妆容图像。
20.根据权利要求15所述的图像处理装置，其特征在于，
所述妆容图像重叠部参照妆容信息表来决定要重叠的所述妆容图像，该妆容信息表针对多个所述规定的标记颜色，按每个所述规定的标记颜色预先记述有所述妆容图像的内容，
所述妆容信息表所记述的所述妆容图像的内容按每个所述规定的标记颜色而在所述妆容图像的颜色、浓淡以及区域中的至少一个方面不同。
21.根据权利要求15所述的图像处理装置，其特征在于，
所述规定的标记颜色是由规定的多个颜色构成的规定的颜色配置图案。
22.一种触笔，用于根据权利要求15所述的图像处理装置，该触笔的特征在于，
该触笔是棒状构件，所述棒状构件的包括顶端部的区域被施加了所述规定的标记颜色。
23.一种图像处理方法，包括以下步骤：
拍摄影像；
将拍摄到的所述影像显示于画面；
获取所述影像所包含的脸部在所述画面上的位置；以及
受理对所述画面的操作。
24.根据权利要求23所述的图像处理方法，其特征在于，
对所述画面的操作是触摸操作，
所述图像处理方法还包括以下步骤：以沿去向所述脸部的位置的方向进行了滑动操作为条件，来对所述影像的所述脸部的部分重叠妆容图像。
25.根据权利要求23或24所述的图像处理方法，其特征在于，还包括以下步骤：
在所述影像包含规定的标记颜色的部分时，从所述影像检测该部分，将该部分检测为触笔；以及
以检测出所述触笔为条件，对所述影像的所述脸部的部分重叠与所述规定的标记颜色预先对应的妆容图像。
CN201680004714.7A 2015-01-29 2016-01-19 图像处理装置、触笔以及图像处理方法 Active CN107111861B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015015363A JP6519853B2 (ja) 2015-01-29 2015-01-29 画像処理装置、スタイラス、および画像処理方法
JP2015015361A JP6485629B2 (ja) 2015-01-29 2015-01-29 画像処理装置および画像処理方法
JP2015-015363 2015-01-29
JP2015-015361 2015-01-29
PCT/JP2016/000234 WO2016121329A1 (ja) 2015-01-29 2016-01-19 画像処理装置、スタイラス、および画像処理方法

Publications (2)

Publication Number Publication Date
CN107111861A true CN107111861A (zh) 2017-08-29
CN107111861B CN107111861B (zh) 2021-06-18

Family

ID=56542954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680004714.7A Active CN107111861B (zh) 2015-01-29 2016-01-19 图像处理装置、触笔以及图像处理方法

Country Status (3)

Country Link
US (1) US9984281B2 (zh)
CN (1) CN107111861B (zh)
WO (1) WO2016121329A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932654A (zh) * 2018-06-12 2018-12-04 苏州诚满信息技术有限公司 一种虚拟试妆指导方法及装置
CN109409239A (zh) * 2018-09-28 2019-03-01 上海与德科技有限公司 人脸图像处理方法、装置、设备及存储介质
CN109978795A (zh) * 2019-04-03 2019-07-05 颜沿（上海）智能科技有限公司 一种面部跟踪分屏试妆方法及系统
CN110232321A (zh) * 2019-05-10 2019-09-13 深圳奥比中光科技有限公司 指尖点击位置的检测方法、装置、终端及计算机存储介质
CN111989907A (zh) * 2018-04-24 2020-11-24 株式会社Lg生活健康 移动终端及化妆品自动识别系统
WO2021238995A1 (zh) * 2020-05-27 2021-12-02 华为技术有限公司 用于肌肤检测的电子设备的交互方法及电子设备
CN114071101A (zh) * 2020-07-30 2022-02-18 精工爱普生株式会社 显示控制方法、显示控制设备以及显示系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6443842B2 (ja) 2015-06-19 2018-12-26 パナソニックＩｐマネジメント株式会社 顔検出装置、顔検出システム、及び顔検出方法
JP6249263B2 (ja) 2015-09-08 2017-12-20 日本電気株式会社 顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置
CN110869897A (zh) * 2017-07-14 2020-03-06 株式会社和冠 修正笔坐标与指示器的显示位置之间的偏离的方法
CN109427078A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 身体信息分析装置及其唇妆分析方法
CN110062269A (zh) * 2018-01-18 2019-07-26 腾讯科技（深圳）有限公司 附加对象显示方法、装置及计算机设备
CN110276822A (zh) * 2018-03-13 2019-09-24 英属开曼群岛商玩美股份有限公司 执行于计算设备的系统、方法及存储媒体
US10395436B1 (en) * 2018-03-13 2019-08-27 Perfect Corp. Systems and methods for virtual application of makeup effects with adjustable orientation view
CN110349165A (zh) * 2018-04-03 2019-10-18 北京京东尚科信息技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN116888634A (zh) * 2021-03-11 2023-10-13 株式会社资生堂 信息处理装置、方法、程序、系统以及美容方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289323A (ja) * 1997-04-10 1998-10-27 Pola Chem Ind Inc 顔の印象の鑑別法
CN101371272A (zh) * 2006-01-17 2009-02-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序
US20100315528A1 (en) * 2009-06-15 2010-12-16 Samsung Electronics Co., Ltd. Digital photographing apparatus, method of controlling the same, and computer readable storage medium having recorded thereon program for executing the method
CN102053754A (zh) * 2010-12-31 2011-05-11 东莞宇龙通信科技有限公司 触摸屏按键区域处理方法及装置
US20120223956A1 (en) * 2011-03-01 2012-09-06 Mari Saito Information processing apparatus, information processing method, and computer-readable storage medium
US20140016823A1 (en) * 2012-07-12 2014-01-16 Cywee Group Limited Method of virtual makeup achieved by facial tracking
CN103870821A (zh) * 2014-04-10 2014-06-18 上海影火智能科技有限公司 一种虚拟试妆的方法和系统
CN103975291A (zh) * 2011-12-07 2014-08-06 株式会社尼康 电子设备、信息处理方法及程序
WO2014167831A1 (ja) * 2013-04-08 2014-10-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092588A (ja) 2003-09-18 2005-04-07 Hitachi Software Eng Co Ltd 合成画像プリント装置及び画像編集方法
JP2006350967A (ja) 2005-06-20 2006-12-28 Canon Inc 画像処理装置、方法及びプログラム
EP2189198B1 (de) 2008-11-20 2017-06-21 Braun GmbH Körperpflegegerät des persönlichen Bedarfs
JP5652652B2 (ja) * 2010-12-27 2015-01-14 ソニー株式会社 表示制御装置および方法
US9754357B2 (en) 2012-03-23 2017-09-05 Panasonic Intellectual Property Corporation Of America Image processing device, stereoscoopic device, integrated circuit, and program for determining depth of object in real space generating histogram from image obtained by filming real space and performing smoothing of histogram

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289323A (ja) * 1997-04-10 1998-10-27 Pola Chem Ind Inc 顔の印象の鑑別法
CN101371272A (zh) * 2006-01-17 2009-02-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序
US20100315528A1 (en) * 2009-06-15 2010-12-16 Samsung Electronics Co., Ltd. Digital photographing apparatus, method of controlling the same, and computer readable storage medium having recorded thereon program for executing the method
CN102053754A (zh) * 2010-12-31 2011-05-11 东莞宇龙通信科技有限公司 触摸屏按键区域处理方法及装置
US20120223956A1 (en) * 2011-03-01 2012-09-06 Mari Saito Information processing apparatus, information processing method, and computer-readable storage medium
CN103975291A (zh) * 2011-12-07 2014-08-06 株式会社尼康 电子设备、信息处理方法及程序
US20140016823A1 (en) * 2012-07-12 2014-01-16 Cywee Group Limited Method of virtual makeup achieved by facial tracking
WO2014167831A1 (ja) * 2013-04-08 2014-10-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム
CN103870821A (zh) * 2014-04-10 2014-06-18 上海影火智能科技有限公司 一种虚拟试妆的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜辉等: "个性化虚拟化妆效果迁移", 《计算机辅助设计与图形学学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111989907A (zh) * 2018-04-24 2020-11-24 株式会社Lg生活健康 移动终端及化妆品自动识别系统
CN108932654A (zh) * 2018-06-12 2018-12-04 苏州诚满信息技术有限公司 一种虚拟试妆指导方法及装置
CN108932654B (zh) * 2018-06-12 2021-03-26 苏州诚满信息技术有限公司 一种虚拟试妆指导方法及装置
CN109409239A (zh) * 2018-09-28 2019-03-01 上海与德科技有限公司 人脸图像处理方法、装置、设备及存储介质
CN109978795A (zh) * 2019-04-03 2019-07-05 颜沿（上海）智能科技有限公司 一种面部跟踪分屏试妆方法及系统
CN110232321A (zh) * 2019-05-10 2019-09-13 深圳奥比中光科技有限公司 指尖点击位置的检测方法、装置、终端及计算机存储介质
WO2021238995A1 (zh) * 2020-05-27 2021-12-02 华为技术有限公司 用于肌肤检测的电子设备的交互方法及电子设备
CN114071101A (zh) * 2020-07-30 2022-02-18 精工爱普生株式会社 显示控制方法、显示控制设备以及显示系统
CN114071101B (zh) * 2020-07-30 2024-02-02 精工爱普生株式会社 显示控制方法、显示控制设备以及显示系统

Also Published As

Publication number Publication date
CN107111861B (zh) 2021-06-18
US20160224825A1 (en) 2016-08-04
US9984281B2 (en) 2018-05-29
WO2016121329A1 (ja) 2016-08-04

Similar Documents

Publication Publication Date Title
CN107111861A (zh) 图像处理装置、触笔以及图像处理方法
CN104205162B (zh) 化妆辅助装置和化妆辅助方法
US20200167983A1 (en) Precise application of cosmetic looks from over a network environment
US8027505B2 (en) System and method for providing simulated images through cosmetic monitoring
CN104798101B (zh) 化妆辅助装置、化妆辅助方法以及化妆辅助程序
CN107180446B (zh) 人物面部模型的表情动画生成方法及装置
US10479109B2 (en) Automatic facial makeup method
CN104203042B (zh) 化妆辅助装置、化妆辅助方法、以及记录介质
US9594948B2 (en) Makeup supporting device, makeup supporting method, and non-transitory computer-readable recording medium
CN109690617A (zh) 用于数字化妆镜的系统和方法
EP2120709A2 (en) System and method for providing simulated images through cosmetic monitoring
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
CN108932654B (zh) 一种虚拟试妆指导方法及装置
KR20210118149A (ko) 메이크업 처리 방법, 장치, 전자 디바이스 및 기록 매체
CN108876886B (zh) 图像处理方法、装置和计算机设备
JP2005038375A (ja) 目の形態分類方法及び形態分類マップ並びに目の化粧方法
JP2014147561A (ja) メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
CN108985873A (zh) 化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统
CN116830073A (zh) 数字彩妆调色板
CN111862116A (zh) 动漫人像的生成方法及装置、存储介质、计算机设备
CA3091717A1 (en) Method and device for the virtual try-on of garments based on augmented reality with multi-detection
JP2013178789A (ja) 美容シミュレーションシステム
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
CN109965493A (zh) 一种分屏交互展示方法及装置
JP6519853B2 (ja) 画像処理装置、スタイラス、および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant