CN109844800B - 虚拟化妆装置和虚拟化妆方法 - Google Patents

虚拟化妆装置和虚拟化妆方法 Download PDF

Info

Publication number
CN109844800B
CN109844800B CN201780061460.7A CN201780061460A CN109844800B CN 109844800 B CN109844800 B CN 109844800B CN 201780061460 A CN201780061460 A CN 201780061460A CN 109844800 B CN109844800 B CN 109844800B
Authority
CN
China
Prior art keywords
image
virtual
virtual makeup
makeup
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780061460.7A
Other languages
English (en)
Other versions
CN109844800A (zh
Inventor
阮风
田中義照
富田裕人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN202310748023.XA priority Critical patent/CN116883541A/zh
Publication of CN109844800A publication Critical patent/CN109844800A/zh
Application granted granted Critical
Publication of CN109844800B publication Critical patent/CN109844800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

虚拟化妆装置从由摄像机拍摄到的脸部图像中提取虚拟化妆的对象部位图像，根据虚拟化妆的项目的指定，来在对象部位图像上涂布与项目对应的颜色，并在对象部位图像的一部分赋予按每个项目而不同的质感成分。虚拟化妆装置使用被涂布了颜色的对象部位图像、在对象部位图像的一部分赋予质感成分所得到的图像、以及脸部图像中的虚拟化妆的对象部位图像，来将在脸部图像上实施使用了项目的虚拟化妆所得到的虚拟化妆图像显示于显示部。

Description

虚拟化妆装置和虚拟化妆方法
技术领域
本公开涉及一种在脸部图像上实施虚拟化妆的虚拟化妆装置和虚拟化妆方法。
背景技术
例如，专利文献1中记载的技术涉及虚拟化妆，通过图像处理对拍摄人的脸部所得到的图像实施虚拟的化妆(makeup)。在该技术中，计算从3原色的脸部图像中提取出的嘴唇区域的代表性颜色的像素的色调、饱和度、明度的平均值，并计算作为想要重涂的目标口红颜色与代表性颜色的像素的平均值之间的重涂偏差。并且，对嘴唇区域的各像素的色调、饱和度、明度加上重涂偏差来计算新的像素的色调、饱和度、明度，并变换为用于3原色显示所使用的像素。由此，可以得到以接近人眼的特性的色调、饱和度、明度的方式重涂口红颜色后的脸部图像。
另外，近年来，口红带来的质感(质地感)的种类也日益增多。作为质感的种类，例如周知赋予润泽、光泽这样的明显质感的唇蜜(GLOSS)、赋予既没有反光也没有润泽而强调色彩的质感的哑光(MATTE)、如虽然没有透明感但是也不发粘的润唇膏那样的赋予柔和印象的质感的唇膏(CREME)等。质感的种类不限定于这些，除此以外还逐渐出现了赋予众多质感的口红。
本公开的目的在于，对脸部影像虚拟地赋予按每个化妆品而不同的特有的质感来进行虚拟化妆，能够将多个种类的质感逐一地体现，并且能够提高用户的便利性。
现有技术文献
专利文献
专利文献1：日本特开2000-011145号公报
发明内容
本公开的虚拟化妆装置具备：对象部位提取部，其从由摄像机拍摄到的脸部图像中提取虚拟化妆的对象部位图像；颜色涂布处理部，其根据虚拟化妆的项目的指定，来在对象部位图像上涂布与所指定的项目对应的颜色；质感控制部，其在对象部位图像的一部分赋予按所指定的每个项目而不同的质感成分；以及显示控制部，其使用颜色涂布处理部的输出图像、质感控制部的输出图像、以及脸部图像中的虚拟化妆的对象部位图像，来将在脸部图像上实施使用了项目的虚拟化妆所得到的虚拟化妆图像显示于显示部。
本公开的虚拟化妆方法包含以下处理步骤：从由摄像机拍摄到的脸部图像中提取虚拟化妆的对象部位图像；根据虚拟化妆的项目的指定，来在对象部位图像上涂布与所指定的项目对应的颜色；在对象部位图像的一部分赋予按所指定的每个项目而不同的质感成分；以及使用被涂布了颜色的对象部位图像、在对象部位图像的一部分赋予质感成分所得到的图像、以及脸部图像中的虚拟化妆的对象部位图像，来将在脸部图像上实施使用了项目的虚拟化妆所得到的虚拟化妆图像显示于显示部。
根据本公开，对脸部影像虚拟地赋予按每个化妆品而不同的特有的质感来进行虚拟化妆，能够将多个种类的质感逐一地体现，并且能够提高用户的便利性。
附图说明
图1是示出本实施方式的虚拟化妆装置的使用状态的一例的图。
图2是示出本实施方式中的虚拟化妆画面的一例的图。
图3是详细地示出本实施方式的虚拟化妆装置的内部结构的一例的框图。
图4是对构成本实施方式的图像处理装置的硬件或软件的构成要素添加构成要素间的数据流得到的图。
图5是详细地说明嘴唇区域提取部的动作过程的一例的流程图。
图6是详细地说明嘴唇形状分析部的动作过程的一例的流程图。
图7是嘴唇形状分析部中的形状分析的动作概要例的示意图。
图8是颜色涂布处理部中的颜色涂布的动作概要例的说明图。
图9是详细地说明皱纹/光泽控制部的动作过程的一例的流程图。
图10A是示出嘴唇区域的水平方向上的光泽赋予前后的各亮度分布的一例的曲线图。
图10B是示出嘴唇区域的垂直方向上的光泽赋予前后的各亮度分布的一例的曲线图。
图10C是示出增益函数的一例的曲线图。
图11A是示出皱纹/光泽控制部的输出图像的一例的示意图。
图11B是示出噪声抑制部的输出图像的一例的示意图。
图12是化妆叠加处理部中的生成虚拟化妆图像的动作概要例的说明图。
具体实施方式
下面，适当地参照附图来详细地说明具体地公开了本公开所涉及的虚拟化妆装置、虚拟化妆方法以及虚拟化妆程序的实施方式(下面，称为“本实施方式”)。但是，有时省略不必要的详细说明。例如，有时省略已经周知的事项的详细说明、针对实质上相同的结构的重复说明。这是为了避免下面的说明过分冗长，并使本领域技术人员易于理解。此外，附图和下面的说明是为了使本领域技术人员充分理解本公开而提供的，但并不意图通过这些附图和下面的说明来限定权利要求书中记载的主题。
＜装置的概要＞
首先，参照图1和图2来说明本实施方式所涉及的虚拟化妆装置100的概要。
图1是示出本实施方式的虚拟化妆装置100的使用状态的一例的图。
如图1所示，虚拟化妆装置100被收纳于能够竖立放置在店铺等的平面(例如桌子，未图示)上的大致长方体的壳体110内，例如由具有带触摸面板的显示器130的平板型终端构成。在收纳虚拟化妆装置100的壳体110的主表面配置有摄像机120。在虚拟化妆装置100的壳体110的左右两侧一体地配置能够对用户200(特别是用户的脸部210)进行照明的LED(Light Emission Diode：发光二极管)照明LD1、LD2。LED照明LD1、LD2被收纳在具有与壳体110相同程度的高度的壳体内，分别从左右两侧对用户200照射照明光。换言之，LED照明LD1、LD2被配置为平行于壳体110且朝向用户200。
用户200与虚拟化妆装置100之间的相对位置被用户200个别地调整成，例如在摄像机120的视角内包含用户的脸部210，用户200能够视觉识别带触摸面板的显示器130，且用户的手指220能够触摸到带触摸面板的显示器130。
摄像机120例如是具备自动调焦功能的数字摄像机，用于拍摄用户200的脸部210。下面，将由摄像机120拍摄到的脸部210的图像简称为“脸部图像”。
带触摸面板的显示器130显示虚拟化妆画面300，该虚拟化妆画面300是用于进行针对脸部图像的虚拟化妆的用户界面。这里，虚拟化妆是指在用户200指定了虚拟化妆画面300中显示的项目(例如口红等化妆品)时对由摄像机120拍摄到的脸部图像虚拟地实施所指定的每个项目的化妆(makeup)的图像处理。
图2是示出本实施方式中的虚拟化妆画面300的一例的图。
如图2所示，虚拟化妆画面300包含影像显示区域310和操作受理区域320，按照用户200对虚拟化妆装置100的操作而被显示于带触摸面板的显示器130。
影像显示区域310实时地显示由利用摄像机120拍摄到的多个脸部图像的镜像图像构成的脸部影像。此外，影像显示区域310也可以构成为显示由摄像机120拍摄到的某个时间点的脸部210的快照(静止图像)。影像显示区域310根据对操作受理区域320的操作，来将基于该操作决定的虚拟化妆图像(例如图12所示的虚拟化妆图像VMU1)叠加于脸部影像来进行显示。
此外，这里，实时是指包括使用户200感觉接近照镜子的感觉这种程度的小的延迟时间的概念。另外，虚拟化妆图像是示出将使用根据针对操作受理区域320的指定所选择的化妆项目(例如，口红、眼影等化妆品)进行的化妆施加到对应的脸上部位(例如，嘴唇、眼部)时的进行了虚拟地化妆后的状态的图像。
操作受理区域320例如包含项目选择区域321、质感选择区域322、商品信息详细内容区域323以及处理选择区域324。
项目选择区域321受理如下操作：从预先决定的多个化妆项目中选择作为操作对象的化妆项目。此外，项目选择区域321例如可以按大分类和小分类来逐级地受理选择操作。
质感选择区域322受理如下操作：选择按项目选择区域321中选择的每个化妆项目预先决定的种类的质感(换言之，能够分别赋予特有的质感的具体的各个化妆项目)。即，项目选择区域321和质感选择区域322受理用于指定虚拟化妆的内容的操作(下面也称为“化妆指定操作”)。例如，唇彩(Lip gloss，所谓的唇蜜)也按每个化妆品制造商或每个化妆品存在多种质感的种类，根据显色的良好程度、润泽、反光程度、皱纹感等的大小的组合，在图2中示例出颜色和质感各不相同的化妆项目A、B、C这三种。唇彩的颜色和质感不限定于颜色和质感不同的化妆项目A、B、C这三种，这是不言而喻的。另外，在图2中，作为在唇彩中颜色和质感不同的化妆项目的组合，示例出三种，但是不限定于唇彩，例如可以选择哑光或唇膏等不同的种类(颜色和质感)，并从它们之中以化妆项目A、B、C的方式来进行选择。由用户200选择的化妆项目(例如口红)是每一个都具有颜色和质感的化妆项目。因而，当由用户200选择一个化妆项目(例如口红)时，所选择的该化妆项目(例如口红)所具有的特有的质感被用户200选择。
商品信息详细内容区域323是用于显示在项目选择区域321和质感选择区域322中分别选择的化妆项目和质感的详细信息的区域。例如，由用户200指定(选择)的化妆品的名称(Name)是“唇蜜A”，颜色(Color)是“粉色”，完成的质感(Finish)是“光泽”。像这样，“名称”、“颜色”、“质感”的各种信息与所指定(选择)的每个化妆品相对应地保持在虚拟化妆装置100内。此外，这些各种信息可以被保存在与虚拟化妆装置100进行外部连接的数据库(未图示)中。在该情况下，也可以是，每当用户200指定(选择)化妆项目时，虚拟化妆装置100就访问该数据库来获取化妆项目的各种信息。
处理选择区域324受理如下操作：选择针对表示通过化妆指定操作指定的虚拟化妆的内容的信息(以下也称为“化妆指定信息”)应执行的处理。该应执行的处理中包括与化妆指定信息对应的虚拟化妆图像的预览显示、虚拟化妆前后的脸部图像的比较、将由用户200指定的化妆指定信息与用户200的识别信息相对应地进行记录的处理、虚拟化妆的处理结束等。
影像显示区域310实时地持续显示由摄像机120拍摄到的脸部影像。当虚拟化妆装置100探测到化妆指定操作时，开始进行摄像机120的自动调焦动作，在没有探测到化妆指定操作的期间，不盲目地进行自动调焦动作。
例如，虚拟化妆装置100按顺序判定在项目选择区域321中是否进行了选择化妆项目的操作(以下也称为“项目选择操作”)。在进行了项目选择操作时，虚拟化妆装置100将与所选择的化妆项目(例如口红)对应的脸上部分(例如唇311)作为焦点位置，来进行摄像机120的调焦动作。此外，虚拟化妆装置100也可以将表示焦点位置的焦点框312叠加于影像显示区域310的脸部影像来进行显示。
用户200(参照图1)在例如想要开始进行唇类(唇部)的虚拟化妆的情况下，首先，在项目选择区域321中选择口红。通过该选择，虚拟化妆装置100立即使焦点(focus)对准与口红对应的脸上部位即嘴唇，显示清晰地映现出用户200所关注的嘴唇的脸部影像。即，虚拟化妆装置100能够限于在存在虚拟化妆的项目选择操作时，清晰地显示被用户200关注为虚拟化妆的对象的脸上部分。
＜装置的详细内容＞
下面，详细地说明虚拟化妆装置100的结构和动作。
首先，参照图3来说明虚拟化妆装置100的内部结构。
图3是详细地示出本实施方式的虚拟化妆装置100的内部结构的一例的框图。
虚拟化妆装置100是包括摄像机120、摄像控制电路2、输入像素存储器3、平面存储器4、显示器5、寄存器6、介质控制电路7、坐标探测电路8、GUI(Graphical User Interface：图形用户界面)控制部9以及图像处理装置10的结构。也可以由显示器5和坐标探测电路8构成带触摸面板的显示器130。
摄像机120对利用构成摄像光学系统的透镜(例如聚焦透镜、变焦透镜)而在图像传感器(未图示)中成像的被摄体像实施光电变换，来生成被摄体(例如用户200的脸部)的影像信号。
摄像控制电路2进行利用作为摄像机120的摄像光学系统的聚焦透镜、变焦透镜、快门/光圈的曝光控制。
输入像素存储器3使用例如RAM(Random Access Memory：随机存取存储器)构成，暂时保存作为虚拟化妆的处理对象的用户200的脸部图像的图像数据(帧)。
平面存储器4使用例如快闪存储器等半导体存储器构成，暂时保存作为针对输入像素存储器3中保存的图像数据的虚拟化妆的处理结果的图像(也就是说，虚拟化妆图像)的数据。
作为显示部的一例的显示器5使用例如LCD(Liquid Crystal Display：液晶显示器)、PDP(Plasma Display Panel：等离子体显示面板)或者有机EL(Electroluminescence：电致发光)元件构成，显示由摄像机120拍摄到的原始的脸部图像、虚拟化妆后的脸部图像。
寄存器6使用例如快闪存储器等半导体存储器、HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态驱动器)构成，保存各种信息或数据(例如由虚拟化妆装置100生成的虚拟化妆图像)。
介质控制电路7将平面存储器4中保存的图像数据写入寄存器6，并根据需要从寄存器6中读出图像数据。
坐标探测电路8探测来自用户200的输入操作(例如触摸操作、滑动操作)，并且探测显示器5上的被进行了所探测出的该输入操作的位置(也就是说，坐标)。
GUI控制部9按照由坐标探测电路8探测出的坐标来输出事件，进行GUI的更新。例如，GUI控制部9按照由坐标探测电路8探测出坐标(例如用于指示虚拟化妆画面300的显示的图标的坐标)来执行事件(例如虚拟化妆画面300的生成)，并将事件的处理结果(例如虚拟化妆画面300)显示于显示器5。这里，GUI由窗口、滚动条、单选按钮、文本框、下拉菜单之类的各种各样的小部件(Widget)构成。为了使它们的状态变化，在发生了用户200对显示器5中显示的画面(例如虚拟化妆画面300)的输入操作(例如触摸)的情况下，GUI控制部9输出与该触摸坐标相关的事件，来使各小部件的状态变化。虚拟化妆装置100能够通过这样的小部件的状态变化来向用户提供使用了GUI的交互性的操作环境。
图像处理装置10执行用于虚拟化妆的图像处理。参照图4来在后面记述图像处理装置10的结构的详细内容。在下面的说明中，说明例如用户200将存在各种各样颜色、质感的种类的多种口红中的一个口红选择为虚拟化妆的化妆项目来享受虚拟化妆的例子。
图4是对构成本实施方式的图像处理装置10的硬件或软件的构成要素添加构成要素间的数据流得到的图。
图像处理装置10是包括嘴唇区域提取部101、嘴唇形状分析部102、颜色涂布处理部103、质感控制部104、整合处理部105以及化妆叠加处理部106的结构。质感控制部104是具有皱纹/光泽控制部104a和噪声抑制部104b的结构。嘴唇区域提取部101、嘴唇形状分析部102、颜色涂布处理部103、质感控制部104、整合处理部105、化妆叠加处理部106均使用处理器(例如CPU(Central Processing Unit：中央处理单元)、MPU(Micro Processing Unit：微处理单元)或DSP(Digital Signal Processor：数字信号处理器))构成。图像处理装置10的输入是3原色(例如RGB颜色空间)的脸部图像ORG0和想要重涂的口红的颜色(RGB值)，图像处理装置10的输出是在脸部图像ORG0的嘴唇区域涂布了想要重涂的口红的涂布颜色所得到的RGB图像的虚拟化妆图像VMU1。
用于虚拟化妆的图像处理的对象包括未化妆的嘴唇和已经被涂布口红的嘴唇这两者。在将已经被涂布口红的嘴唇设为图像处理的对象的情况下，由该口红产生的光学特性还被反映到被进行虚拟化妆后的脸部图像中，因此在该情况下也能够实现实时的虚拟化妆。
图5是详细地说明嘴唇区域提取部101的动作过程的一例的流程图。
作为对象部位提取部的一例的嘴唇区域提取部101从由摄像机120拍摄到的原始的脸部图像ORG0中提取虚拟化妆的对象部位图像(例如嘴唇图像)。具体来说，嘴唇区域提取部101基于原始的脸部图像ORG0来进行脸部探测(S1011)，在探测到脸部的情况下(S1012中为“是”)，进行脸上局部(例如眼、鼻、口)探测(S1013)。此外，在探测不到脸部(也就是说，未能探测到脸部)的情况下(S1012中为“否”)，图5的嘴唇区域提取部101的处理结束。
嘴唇区域提取部101使用脸部探测结果和脸上局部探测结果来探测脸部的特征点，并且提取用于规定嘴唇部位的特征点，生成连结特征点之间的轮廓线。作为用于规定嘴唇部位的特征点的提取方法，能够采用例如基于颜色的分割、边缘检测或基于脸部模型的局部检测等各种各样的方法。嘴唇区域提取部101利用例如基于脸上局部探测进行的嘴唇区域检测。嘴唇区域提取部101从原始的脸部图像ORG0中剪切并生成由该轮廓线指定了嘴唇部位的区域的嘴唇区域图像ORG1(S1014)。嘴唇区域提取部101将嘴唇区域图像ORG1输出到嘴唇形状分析部102。另外，嘴唇区域提取部101以与嘴唇部位的区域指定相匹配的方式来生成用于将由嘴唇的特征点包围的区域作为有效区域来进行掩模的嘴唇区域掩模图像MSK1(S1015)。嘴唇区域提取部101将该嘴唇区域掩模图像MSK1和嘴唇区域图像ORG1输出到化妆叠加处理部106。
嘴唇形状分析部102将被指定了嘴唇部位的区域的嘴唇区域图像ORG1的颜色空间(例如RGB。此外，也可以是YUV)变换为处理中间颜色空间，并将变换结果暂时保存到存储器(例如平面存储器4)中。作为处理中间颜色空间，例举能够由色调(H)、饱和度(C)、亮度(L)表现的HCL颜色空间。另外，嘴唇形状分析部102为了使用例如高速傅里叶变换或离散傅里叶变换，来将嘴唇区域提取部101的输出图像(也就是说，空间区域的嘴唇区域图像ORG1)变换为空间频率区域的嘴唇区域图像ORG1'(参照图7)，以判别具有色调、饱和度、亮度的信息的嘴唇区域图像ORG1具有怎样的频率成分。图7所示的嘴唇区域图像ORG1'是例如包含嘴唇区域的矩形形状的图像，仅由构成嘴唇区域的每个像素的亮度值来表示。
图6是详细地说明嘴唇形状分析部102的动作过程的一例的流程图。图7是嘴唇形状分析部102中的形状分析的动作概要例的示意图。
嘴唇形状分析部102具有三种滤波器(具体来说，是LPF(Low Pass Filter：低通滤波器)102l、BPF(Band Pass Filter：带通滤波器)102b以及HPF(High Pass Filter：高通滤波器)102h)。
嘴唇形状分析部102使用LPF 102l，来提取空间频率区域的嘴唇区域图像ORG1'中的、由LPF 102l的第一截止频率(既定值)以下的信号成分构成的图像信号(S1021)。该图像信号与用户200的嘴唇的宽的形状(也就是说，嘴唇大致的凸凹形状)的图像信号LPL1对应(参照图7)。此外，图7所示的图像信号LPL1是具有包含如下的嘴唇区域的矩形轮廓的图像，该嘴唇区域包含从构成嘴唇区域的每个像素的亮度值减去作为偏移的规定值所得到的结果。例如，着眼于虚拟化妆后的嘴唇的形状与虚拟化妆前的嘴唇的形状没有太大变化的情况，将嘴唇区域图像ORG1'的LPF 102l输出用作后述的化妆图层图像LAY1的基础(骨架)部分。嘴唇形状分析部102向颜色涂布处理部103和皱纹/光泽控制部104a分别输出图像信号LPL1。
嘴唇形状分析部102使用BPF 102b，来提取空间频率区域的嘴唇区域图像ORG1'中的、由BPF 102b的规定频带的信号成分构成的图像信号(S1022)。该图像信号与可以说是用户200的嘴唇的特征部分的皱纹(wrinkle)的图案MSW1的图像信号LPB1对应(参照图7)。此外，图7所示的图像信号LPB1是具有包含如下的嘴唇区域的矩形轮廓的图像，该嘴唇区域具有嘴唇区域中出现的深皱纹(wrinkle)的图案MSW1的图像成分。着眼于现实的化妆后也留下嘴唇上出现的深皱纹(wrinkle)的情形多，通过实施图像处理，使得对该深皱纹(wrinkle)的图案部分赋予光泽，能够实现与现实的化妆同等的虚拟化妆。另外，嘴唇上出现的深皱纹(wrinkle)的图案大多按每个用户而不同，通过来自LED照明LD1、LD2的照明光在皱纹(wrinkle)的凸起部分处的反射，能够得到按每个用户而不同的特有的光泽感。嘴唇形状分析部102将图像信号LPB1输出到皱纹/光泽控制部104a。此外，嘴唇形状分析部102通过使用只使空间频率区域的嘴唇区域图像ORG1'中的、例如平均的亮度值的振幅大于深皱纹用的规定值(既定值)的成分通过的滤波器，来提取“想要留下的深皱纹”成分。
嘴唇形状分析部102使用HPF 102h，来提取空间频率区域的嘴唇区域图像ORG1'中的、由HPF 102h的第二截止频率(既定值)以上的信号成分构成的图像信号(S1023)。该图像信号与包含用户200的嘴唇上出现的细小皱纹(wrinkle)CSW1和噪声成分NS1的图像信号LPH1对应(参照图7)。此外，图7所示的图像信号LPH1是具有包含如下的嘴唇区域的矩形轮廓的图像，该嘴唇区域具有包含嘴唇区域中出现的细小皱纹(wrinkle)CSW1和噪声成分NS1的图像成分。为了抑制因使用由用户200指定的口红进行的虚拟化妆产生的口红的质感劣化，作为高频成分存在的细小皱纹(wrinkle)CSW1和噪声成分NS1被HPF 102h提取为图像信号LPH1。嘴唇形状分析部102将图像信号LPH1输出到噪声抑制部104b。嘴唇形状分析部102也可以通过只使空间频率区域的嘴唇区域图像ORG1'中的、例如平均的亮度值的振幅小于想要消除的细小皱纹用的规定值(既定值)的成分通过的滤波器，来提取“想要消除的细小皱纹成分和噪声成分”。
图8是颜色涂布处理部103中的颜色涂布的动作概要例的说明图。
颜色涂布处理部103进行如下涂布处理：根据虚拟化妆的化妆项目(例如口红)的指定，对从嘴唇形状分析部102输出的图像信号LPL1(也就是说，嘴唇的宽的形状的图像信号)涂布与所指定的每个化妆项目(例如口红)对应的颜色(也就是说，用户200想要重涂的口红的颜色(RGB))。因此，颜色涂布处理部103将具有RGB颜色空间的口红的颜色空间变换为与嘴唇形状分析部102同样的处理中间颜色空间(例如HCL颜色空间)，并将变换结果暂时保存到存储器(例如平面存储器4)中。
然后，颜色涂布处理部103中的对图像信号LPL1的颜色涂布处理能够通过参照例如作为与本申请为同一发明人发明的在先申请已经被国际公开的国际公开第2014/167831号的图9～图16所示的方法来实现，因此在这里参照图8使用HCL颜色空间的L通道(亮度)来只对概要进行说明，省略详细的说明。
在图8中，想要重涂的口红的代表色(平均色)L'ave与该口红的颜色范围rangeL'之间的关系尽可能维持为原始的嘴唇的代表色(平均色)Lave与嘴唇的颜色范围rangeL之间的关系，使得在虚拟化妆中生成的虚拟化妆图像能够带给人类的眼睛如同与原始图像的颜色相似那样的感觉。也就是说，嘴唇的代表色Lave至最大值Lmax之间的距离a与嘴唇的代表色Lave至最小值Lmin之间的距离b的比率a/b相对于口红的代表色L'ave至最大值L'max之间的距离a'与口红的代表色L'ave至最小值L'min之间的距离b'的比率a'/b'，a/b＝a'/b'的关系成立。
另外，为了进行重涂颜色的对比度调整、饱和度调整而设置颜色范围调整系数，该颜色范围调整系数为L'ave/Lave。颜色涂布处理部103以行为单位对构成从嘴唇形状分析部102输出的图像信号LPL1的像素进行扫描，来进行颜色涂布的处理。颜色涂布处理部103使用上述a/b＝a'/b'的关系和颜色范围调整系数(＝L'ave/Lave)，进行将与所指定的每个化妆项目(例如口红)对应的颜色(也就是说，用户200想要重涂的口红的颜色)涂布到构成图像信号LPL1的像素的处理，由此生成表示被涂上颜色的嘴唇的宽形状的图像信号LPLC1。颜色涂布处理部103将表示被涂上颜色的嘴唇的宽形状的图像信号LPLC1输出到整合处理部105。由此，颜色涂布处理部103能够通过颜色涂布处理来在表示嘴唇的宽形状的图像信号LPLC1中维持嘴唇区域的宽的形状，而不会使嘴唇成为平板(也就是扁平)的图像。
图9是详细地说明皱纹/光泽控制部104a的动作过程的一例的流程图。图10A是示出嘴唇区域的水平方向上的光泽赋予前后的各亮度分布的一例的曲线图。图10B是示出嘴唇区域的垂直方向上的光泽赋予前后的各亮度分布的一例的曲线图。
质感控制部104的皱纹/光泽控制部104a对嘴唇区域图像ORG1'的一部分的图像区域实施图像处理，使得对该图像区域赋予按由用户200指定的每个化妆项目而不同的质感成分。由皱纹/光泽控制部104a进行的图像处理的对象(也就是说，嘴唇区域图像ORG1'的一部分的图像区域)是从嘴唇形状分析部102输出的图像信号LPB1中出现的深皱纹(wrinkle)的图案MSW1的部分。也就是说，皱纹/光泽控制部104a通过图像处理来对用户200的嘴唇的深皱纹(wrinkle)的图案部分赋予按所指定(选择)的每个化妆项目(例如口红)而不同的特有的光泽成分。嘴唇的深皱纹(wrinkle)的图案部分是整个嘴唇上的出现凸凹的部分(换言之，突出的部位)。因此，对嘴唇的深皱纹(wrinkle)的图案部分还大量地照射来自LED照明LD1、LD2的照明光，如图10A和图10B所示，相比于嘴唇区域的其它部位而言，规定参数(例如亮度值)的变动也大，并探测到多个规定参数的峰值。
在图10A中，横轴表示水平方向的位置，纵轴表示亮度(值)L。在图10A中，示出水平方向上的表示LPF 102l输出的亮度值(换言之，是与嘴唇的宽的形状对应的亮度值的变化)的曲线Brh、表示BPF 102b输出的亮度值(换言之，是与包括嘴唇的深皱纹(wrinkle)的图案部分的嘴唇区域的一部分对应的亮度值的变化)的曲线Lh、以及表示用曲线Lh表示的亮度值的平均值的直线mLh。另外，在图10A中，为了进行比较而以有意地使纵轴的值错开的方式示出曲线Brh、作为由皱纹/光泽控制部104a计算增益映射(参照后述的内容)的计算结果的增益调整后的表示BPF 102b输出的亮度值的曲线Lha、直线mLh、以及表示用曲线Lha表示的亮度值的平均值的直线mLha。
同样地，在图10B中，横轴表示垂直方向的位置，纵轴表示亮度(值)L。在图10B中，示出垂直方向上的表示LPF 102l输出的亮度值(换言之，是与嘴唇的宽的形状对应的亮度值的变化)的曲线Brv、表示BPF 102b输出的亮度值(换言之，是与包括嘴唇的深皱纹(wrinkle)的图案部分的嘴唇区域的一部分对应的亮度值的变化)的曲线Lv、以及表示用曲线Lv表示的亮度值的平均值的直线mLv。另外，在图10B中，为了进行比较而以有意地使纵轴的值错开的方式示出曲线Brv、作为由皱纹/光泽控制部104a计算增益映射(参照后述的内容)的计算结果的增益调整后的表示BPF 102b输出的亮度值的曲线Lva、直线mLv、以及表示用曲线Lva表示的亮度值的平均值的直线mLva。
皱纹/光泽控制部104a基于LPF 102l输出的亮度值(换言之，是与嘴唇的宽的形状对应的亮度值的变化)，来搜索嘴唇区域中突出的位置(部位)(S1041)。也就是说，皱纹/光泽控制部104a搜索嘴唇区域中的使包括来自LED照明LD1、LD2的照明光在内的周围的环境光大量地发生反射的部位。例如在图10A的曲线Brh、图10B的曲线Brv中，由皱纹/光泽控制部104a判断为亮度值变大的部分(峰值周边)为嘴唇区域中突出的部位。
皱纹/光泽控制部104a将以表示在步骤S1041中嘴唇区域中突出的部位的像素为中心的规定范围的像素区域作为被赋予按由用户200指定(选择)的每个口红而不同的特有的光泽成分的对象，来选择与该口红对应的增益函数和增益的调整应用范围(S1042)。皱纹/光泽控制部104a计算用于对被赋予按由用户200指定(选择)的每个口红而不同的特有的光泽成分的对象(也就是说，上述的规定范围的像素区域)的每个像素的亮度值进行调整的增益映射(S1043)。增益映射表示例如在被赋予光泽成分的对象(也就是说，上述的规定范围的像素区域)中对构成该像素区域的每个像素的亮度值进行调整时使用的每个像素的增益的分布。
皱纹/光泽控制部104a使用在步骤S1043中计算出的增益映射，来调整并计算被赋予按由用户200指定(选择)的每个口红而不同的特有的光泽成分的对象(也就是说，上述的规定范围的像素区域)的每个像素的亮度值(S1044)。
这里，在步骤S1042中选择的增益函数(参照图10C)和增益的调整应用范围按由用户200指定(选择)的每个口红而不同。图10C是示出增益函数的一例的曲线图。在图10C中，横轴表示亮度值(使用亮度值的最大值进行的标准化已完成)，纵轴表示增益调整完成后的亮度值，图10C示出与由用户200指定(选择)的口红对应的增益函数的曲线Ga。曲线Ga例如被作为用于调整增益的调整函数，由β×(亮度)α的函数表示。例如，α为2.2，β为60，但是不限定于这些值，这是不言而喻的。作为该曲线Ga上的一个点，例如在构成作为BPF102b输出的嘴唇的深皱纹(wrinkle)的图案部分的图像的某个像素的标准化完成后的亮度值为“0.593343873”的情况下，皱纹/光泽控制部104a根据横轴的亮度值来调整并计算增益(例如1.0)，使得作为光泽成分的赋予结果，该像素的亮度值(增益函数的输出值)成为“19.0294163”。
图11A是示出皱纹/光泽控制部104a的输出图像的一例的示意图。
皱纹/光泽控制部104a针对来自嘴唇形状分析部102的作为BPF 102b输出的图像信号LPB1，通过赋予与由用户200指定(选择)的口红相应的光泽成分的处理(参照图9)，能够生成例如获得如唇彩(唇蜜)那样的反光感强的光泽成分的图像信号LPBG1。或者，皱纹/光泽控制部104a针对来自嘴唇形状分析部102的作为BPF 102b输出的图像信号LPB1，通过赋予与由用户200指定(选择)的口红相应的光泽成分的处理(参照图9)，能够生成例如获得金属感强的光泽成分的图像信号LPBM1。关于图像信号LPBG1和图像信号LPBM1，所选择的口红不同，从而分别被赋予特有的光泽成分，但是被赋予光泽成分的范围也不同。这是由于如上所述那样，在步骤S1042中选择的增益函数和增益的调整应用范围按每个口红而不同。
像这样，皱纹/光泽控制部104a能够准确地对虚拟化妆的对象部位图像(例如嘴唇区域图像ORG1'的一部分)赋予按由用户200指定(选择)的每个化妆项目(例如口红)而不同的特有的光泽成分，能够不涂布真正的化妆项目而虚拟且明确地重现与化妆项目相应的质感。皱纹/光泽控制部104a将对嘴唇区域中突出的部位及该部位的周围的规定范围赋予了与口红相应的特有的光泽成分所得到的图像信号LPBG1输出到整合处理部105。
质感控制部104的噪声抑制部104b使用来自嘴唇形状分析部102的作为HPF 102h输出的图像信号LPH1，来抑制高频带成分的规定参数(例如亮度)中包含的噪声成分。噪声抑制部104b通过降低例如构成图像信号LPH1中包含的嘴唇的细小皱纹(wrinkle)CSW1和噪声成分NS1的图像的像素处的规定的参数(例如亮度值)的增益(例如1.0)，来抑制嘴唇的细小皱纹(wrinkle)CSW1和噪声成分NS1。或者，噪声抑制部104b中的噪声成分的抑制方法也可以是上述的增益降低的方法以外的技术。
另外，噪声抑制部104b也可以使上述的增益降低的调整量(也就是说，应降低的增益的量)按由用户200指定(选择)的每个化妆项目(例如口红)而不同。由此，能够灵活地变更对按由用户200指定(选择)的每个化妆项目(例如口红)而不同的细小皱纹(wrinkle)、噪声成分的抑制，从而虚拟化妆装置100能够对用户200呈现更加恰当的虚拟化妆图像。噪声抑制部104b向整合处理部105输出将嘴唇的细小皱纹(wrinkle)CSW1和噪声成分NS1抑制固定量所得到的图像信号LPHnr1。
图11B是示出噪声抑制部104b的输出图像的一例的示意图。
噪声抑制部104b能够针对来自嘴唇形状分析部102的作为HPF 102h输出的图像信号LPH1，生成将嘴唇的细小皱纹(wrinkle)CSW1和噪声成分NS1抑制固定量所得到的图像信号LPHnr1。
作为显示控制部的一例的整合处理部105将质感控制部104的输出图像叠加于颜色涂布处理部103的输出图像来生成作为图层图像的一例的化妆图层图像LAY1'，并将该化妆图层图像LAY1'输出到化妆叠加处理部106。具体来说，整合处理部105将对嘴唇区域中突出的部位及该部位的周围的规定范围赋予与口红相应的特有的光泽成分所得到的图像信号LPBG1以及将嘴唇的细小皱纹(wrinkle)CSW1和噪声成分NS1抑制固定量所得到的图像信号LPHnr1叠加于表示被涂上颜色的嘴唇的宽形状的图像信号LPLC1，来生成化妆图层图像LAY1'。
更具体来说，整合处理部105使用图像信号LPLC1、图像信号LPBG1以及图像信号LPHnr1，通过k×(构成图像信号LPLC1的像素值)+m×(构成图像信号LPBG1的像素值)+n×(构成图像信号LPHnr1的像素值)，来生成化妆图层图像LAY1'。构成各个图像信号的像素值作为规定的参数的一例，是亮度值。但是，不仅限定于亮度值，也可以包括明度、饱和度。这里，k为1.0，m为0.0～1.0的实数值，n为0.0～1.0的实数值。
另外，整合处理部105当生成化妆图层图像LAY1'时，从化妆图层图像LAY1的处理中间颜色空间(例如HCL颜色空间)逆变换为设备(例如显示器5)能够显示的颜色空间(例如RGB。此外，也可是YUV)，并将变换结果(也就是说，参照图12所示的化妆图层图像LAY1)输出到化妆叠加处理部106。
图12是化妆叠加处理部106中的生成虚拟化妆图像VMU1的动作概要例的说明图。
作为显示控制部的一例的化妆叠加处理部106将图层图像叠加于脸部图像ORG0中的虚拟化妆的对象部位图像(也就是说，嘴唇区域图像ORG1)，来将在脸部图像上实施使用了项目的虚拟化妆所得到的虚拟化妆图像显示在显示器5。具体来说，化妆叠加处理部106通过将从嘴唇区域提取部101输出的具有RGB颜色空间的嘴唇区域掩模图像MSK1及嘴唇区域图像ORG1与通过整合处理部105而具有RGB颜色空间的化妆图层图像LAY1进行合成，来生成虚拟化妆图像VMU1。
更具体来说，化妆叠加处理部106使用嘴唇区域掩模图像MSK1来提取(剪切)化妆图层图像LAY1中的嘴唇的形状部分，只将化妆图层图像LAY1中的同剪切出的嘴唇的形状部分相应的部分与原始的嘴唇区域图像ORG1重合，由此生成虚拟化妆图像VMU1。例如，化妆叠加处理部106通过{p×(化妆图层图像LAY1)×(嘴唇区域掩模图像MSK1)}+{(1-p)×(原始的嘴唇区域图像ORG1)}，来生成虚拟化妆图像VMU1。p为0.0～1.0的实数值。此外，在图12中，为了使说明易于理解，虚拟化妆图像VMU1被设为包含被实施了虚拟化妆的嘴唇区域的矩形形状的大小，但是也可以将由摄像机120拍摄到的用户200的脸部图像作为原始图像，将使用嘴唇区域掩模图像MSK1剪切出的化妆图层图像LAY1与该脸部图像重合。
根据以上所述，本实施方式的虚拟化妆装置100从由摄像机120拍摄到的原始的脸部图像ORG0中提取虚拟化妆的对象部位图像(例如嘴唇区域图像ORG1)，根据虚拟化妆的化妆项目(例如口红)的指定，来在被从RGB颜色空间变换为具有HCL颜色空间的嘴唇区域图像ORG1'上涂布被从RGB颜色空间变换为具有HCL颜色空间的化妆项目(例如口红)的颜色。虚拟化妆装置100对嘴唇区域图像ORG1'(对象部位图像的一部分)赋予按每个化妆项目(例如口红)而不同的质感成分。虚拟化妆装置100将使用嘴唇区域掩模图像MSK1来只剪切出化妆图层图像LAY1中的嘴唇区域所得到的图像叠加于作为虚拟化妆的对象的嘴唇区域图像ORG1，来生成被实施虚拟化妆所得到的虚拟化妆图像VMU1，并将该虚拟化妆图像VMU1显示于显示器5。
由此，虚拟化妆装置100能够对用户200的脸部图像虚拟地赋予按每个化妆项目而不同的特有的质感成分，从而能够使用户200享受虚拟化妆。因而，虚拟化妆装置100对用户200的各个脸部图像的每一帧实施虚拟化妆的图像处理，因此例如能够追随用户200一下子张开嘴时的嘴唇的宽的形状的动作，来使用户200恰当地确认虚拟化妆后的嘴唇的氛围(例如反光程度、显色的良好程度、皱纹感)，能够提高用户的便利性。
例如，今后，如果在来到店铺等的顾客购买化妆品(例如口红)之前，能够预先使用自己所选择的化妆品来进行虚拟化妆，则能够确认实际使用时的具体的印象，其结果，还能够期待增加顾客的购买意愿。另外，针对对于是否购买感到困扰或犹豫的顾客，顾客能够虚拟体验化妆品(例如口红)所具有的多种多样的质感，这对于店铺来说也是销售策略上的一个魅力，还能够期待化妆品的销售额增加。
另外，虚拟化妆装置100将以嘴唇区域图像ORG1'的规定频带成分的规定参数(例如亮度值)的峰值位置(也就是说，LPF 102l输出的图像信号中的能够得到亮度值的峰值的位置(像素))为中心的规定范围的像素区域设为光泽成分的赋予对象。虚拟化妆装置100使用该像素区域中的各个亮度值的、按每个口红而不同的亮度值的调整函数(增益函数)的输出值，来赋予按每个口红而不同的质感成分。由此，嘴唇的宽的形状、深皱纹(wrinkle)的位置按每个用户而不同，因此虚拟化妆装置100能够对嘴唇的深皱纹(wrinkle)的图案部分赋予按由用户选择的每个口红而不同的特有的质感成分，来有效地向用户呈现虚拟化妆后的图像。
另外，被进行使用上述的增益函数对亮度值的调整的规定范围的像素区域按每个化妆项目(例如口红)而不同。由此，虚拟化妆装置100能够以使嘴唇的光泽赋予对象的范围按由用户选择的每个化妆项目而不同的方式来进行规定参数(例如亮度值)的增益调整，因此能够向用户呈现能够享受例如唇蜜、哑光、唇膏、虹彩釉、液体染唇液等质感、或者即使是相同的唇蜜也能够按该唇蜜中的质感的各个种类而享受细微的不同的虚拟化妆图像VMU1。
另外，虚拟化妆装置100抑制作为虚拟化妆的对象的嘴唇区域图像ORG1'的高频带成分的规定参数(例如亮度)中包含的噪声成分。由此，虚拟化妆装置100能够将噪声成分抑制固定量，因此能够得到清晰的虚拟化妆图像VMU1，能够抑制虚拟化妆图像VMU1的可视性的劣化。
另外，虚拟化妆装置100将质感成分赋予后的输出图像(例如图像信号LPBG1)叠加于颜色涂布处理后的输出图像(图像信号LPLC1)。通过该叠加，虚拟化妆装置100能够生成被从HCL颜色空间变换为具有RGB颜色空间的化妆图层图像LAY1。
以上，参照附图对各种实施方式进行了说明，但是本公开不限定于上述的例子，这是不言而喻的。显而易见的是，如果是本领域技术人员，则能够在权利要求书所记载的范围内想到各种变更例或修正例，并能够了解这些变更例或修正例也当然属于本公开的技术范围。另外，还可以在不脱离本公开的主旨范围内将上述实施方式中的各构成要素任意地进行组合。
在上述的实施方式中，将嘴唇例示为虚拟化妆的对象部位来说明了详细内容，但是虚拟化妆的对象部位不限定于嘴唇，例如还能够应用于眼睛的周围(也就是说，眼睛)。也就是说，还能够使用于像眼影那样对眼睛的周围(特别是眼皮)赋予阴影的虚拟化妆。
在上述的实施方式中，对本公开所涉及的虚拟化妆装置的具体的实施方式进行了说明，但是该实施方式还能够应用于本公开所涉及的虚拟化妆装置所进行的虚拟化妆方法，另外，还能够应用于用于使作为计算机的虚拟化妆装置实现本公开所涉及的虚拟化妆方法的各处理的虚拟化妆程序。
产业上的可利用性
本公开作为对脸部影像虚拟地赋予按每个化妆品而不同的特有的质感来进行虚拟化妆、并提高用户的便利性的虚拟化妆装置、虚拟化妆方法以及虚拟化妆程序是有用的。
附图标记说明
2：摄像控制电路；3：输入像素存储器；4：平面存储器；5：显示器；6：寄存器；7：介质控制电路；8：坐标探测电路；9：GUI控制部；10：图像处理装置；100：虚拟化妆装置；101：嘴唇区域提取部；102：嘴唇形状分析部；102b：BPF(带通滤波器)；102h：HPF(高通滤波器)；102l：LPF(低通滤波器)；103：颜色涂布处理部；104：质感控制部；104a：皱纹/光泽控制部；104b：噪声抑制部；105：整合处理部；106：化妆叠加处理部；110：壳体；120：摄像机；130：带触摸面板的显示器；200：用户；210：脸部；220：手指；300：虚拟化妆画面；LD1、LD2：LED照明。

Claims (5)

1.一种虚拟化妆装置，具备：
对象部位提取部，其从由摄像机拍摄到的脸部图像中提取虚拟化妆的对象部位图像；
颜色涂布处理部，其根据所述虚拟化妆的项目的指定，来在所述对象部位图像上涂布与所指定的所述项目对应的颜色；
质感控制部，其在所述对象部位图像的一部分赋予按所指定的每个所述项目而不同的质感成分；以及
显示控制部，其使用所述颜色涂布处理部的输出图像、所述质感控制部的输出图像、以及所述脸部图像中的所述虚拟化妆的对象部位图像，来将在所述脸部图像上实施使用了所述项目的虚拟化妆所得到的虚拟化妆图像显示于显示部，
其中，所述质感控制部将所述对象部位图像中的以表示规定频带成分的规定参数的峰值位置的像素为中心的规定范围的像素区域作为所述对象部位图像的一部分，使用所述像素区域中的各个所述规定参数的、按每个所述项目而不同的所述规定参数的调整函数的输出值，来对所述对象部位图像的一部分赋予按每个所述项目而不同的质感成分。
2.根据权利要求1所述的虚拟化妆装置，其特征在于，
所述规定范围的像素区域按每个所述项目而不同。
3.根据权利要求1所述的虚拟化妆装置，其特征在于，
所述质感控制部抑制所述对象部位图像的高频带成分的规定参数中包含的噪声成分。
4.根据权利要求1所述的虚拟化妆装置，其特征在于，
所述显示控制部将使所述质感控制部的输出图像叠加于所述颜色涂布处理部的输出图像所得到的图层图像叠加于所述脸部图像中的所述虚拟化妆的对象部位图像，来生成所述虚拟化妆图像。
5.一种虚拟化妆方法，包括以下处理步骤：
从由摄像机拍摄到的脸部图像中提取虚拟化妆的对象部位图像；
根据所述虚拟化妆的项目的指定，来在所述对象部位图像上涂布与所指定的所述项目对应的颜色；
在所述对象部位图像的一部分赋予按所指定的每个所述项目而不同的质感成分；以及
使用被涂布了所述颜色的所述对象部位图像、在所述对象部位图像的一部分赋予所述质感成分所得到的图像、以及所述脸部图像中的所述虚拟化妆的对象部位图像，来将在所述脸部图像上实施使用了所述项目的虚拟化妆所得到的虚拟化妆图像显示于显示部，
其中，所述在所述对象部位图像的一部分赋予按所指定的每个所述项目而不同的质感成分的步骤包括以下步骤：将所述对象部位图像中的以表示规定频带成分的规定参数的峰值位置的像素为中心的规定范围的像素区域作为所述对象部位图像的一部分，使用所述像素区域中的各个所述规定参数的、按每个所述项目而不同的所述规定参数的调整函数的输出值，来对所述对象部位图像的一部分赋予按每个所述项目而不同的质感成分。
CN201780061460.7A 2016-10-14 2017-08-23 虚拟化妆装置和虚拟化妆方法 Active CN109844800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310748023.XA CN116883541A (zh) 2016-10-14 2017-08-23 虚拟化妆装置和虚拟化妆方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-203131 2016-10-14
JP2016203131A JP6876941B2 (ja) 2016-10-14 2016-10-14 バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム
PCT/JP2017/030024 WO2018070106A1 (ja) 2016-10-14 2017-08-23 バーチャルメイクアップ装置及びバーチャルメイクアップ方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310748023.XA Division CN116883541A (zh) 2016-10-14 2017-08-23 虚拟化妆装置和虚拟化妆方法

Publications (2)

Publication Number Publication Date
CN109844800A CN109844800A (zh) 2019-06-04
CN109844800B true CN109844800B (zh) 2023-06-13

Family

ID=61906225

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780061460.7A Active CN109844800B (zh) 2016-10-14 2017-08-23 虚拟化妆装置和虚拟化妆方法
CN202310748023.XA Pending CN116883541A (zh) 2016-10-14 2017-08-23 虚拟化妆装置和虚拟化妆方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310748023.XA Pending CN116883541A (zh) 2016-10-14 2017-08-23 虚拟化妆装置和虚拟化妆方法

Country Status (4)

Country Link
US (2) US11069105B2 (zh)
JP (1) JP6876941B2 (zh)
CN (2) CN109844800B (zh)
WO (1) WO2018070106A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399654B (zh) * 2018-02-06 2021-10-22 北京市商汤科技开发有限公司 描边特效程序文件包的生成及描边特效生成方法与装置
US11410268B2 (en) 2018-05-31 2022-08-09 Beijing Sensetime Technology Development Co., Ltd Image processing methods and apparatuses, electronic devices, and storage media
CN110555806B (zh) * 2018-05-31 2022-09-27 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110728618B (zh) * 2018-07-17 2023-06-27 淘宝（中国）软件有限公司 虚拟试妆的方法、装置、设备及图像处理方法
CN109409204B (zh) * 2018-09-07 2021-08-06 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN109271915B (zh) * 2018-09-07 2021-10-08 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
EP3669748A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. A mirror assembly
US11404086B2 (en) 2020-02-14 2022-08-02 Perfect Mobile Corp. Systems and methods for segment-based virtual application of makeup effects to facial regions displayed in video frames
US11922540B2 (en) 2020-02-14 2024-03-05 Perfect Mobile Corp. Systems and methods for segment-based virtual application of facial effects to facial regions displayed in video frames
JP6969622B2 (ja) * 2020-02-20 2021-11-24 株式会社セガ 撮影遊戯装置およびプログラム
CN111462007B (zh) * 2020-03-31 2023-06-09 北京百度网讯科技有限公司 图像处理方法、装置、设备及计算机存储介质
KR20220157502A (ko) 2020-03-31 2022-11-29 스냅 인코포레이티드 증강 현실 미용 제품 튜토리얼들
CN111932332B (zh) * 2020-06-04 2023-04-21 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备和计算机可读介质
US20220101404A1 (en) * 2020-09-28 2022-03-31 Snap Inc. Selecting color values for augmented reality-based makeup
US11798202B2 (en) 2020-09-28 2023-10-24 Snap Inc. Providing augmented reality-based makeup in a messaging system
US20220101405A1 (en) * 2020-09-30 2022-03-31 Revieve Oy System and method for determining a skin tone
CN113269608A (zh) * 2021-05-21 2021-08-17 深圳市方圆展示制品有限公司 一种基于vr虚拟可线上线下展示的智慧平台
CN113781330A (zh) * 2021-08-23 2021-12-10 北京旷视科技有限公司 图像处理方法、装置及电子系统
US11816144B2 (en) 2022-03-31 2023-11-14 Pinterest, Inc. Hair pattern determination and filtering

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200428231A (en) * 2003-06-11 2004-12-16 Kose Corp Skin evaluation method and image simulation method
CN104380339A (zh) * 2013-04-08 2015-02-25 松下电器（美国）知识产权公司 能够将涂敷了化妆涂料的状态虚拟地再现的图像处理装置、图像处理方法、程序
CN105263399A (zh) * 2013-06-07 2016-01-20 富士胶片株式会社 透明感评价装置、透明感评价方法及透明感评价程序
GB201603662D0 (en) * 2016-03-02 2016-04-13 Holition Ltd Locating and augmenting object features in images
JP2016110416A (ja) * 2014-12-08 2016-06-20 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3723349B2 (ja) 1998-06-18 2005-12-07 株式会社資生堂 口紅色変換システム
JP3857157B2 (ja) * 2002-02-26 2006-12-13 花王株式会社 化粧シミュレーション装置および方法
JP5078147B2 (ja) * 2008-03-04 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
US20090231356A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
JP2010198382A (ja) * 2009-02-25 2010-09-09 Kao Corp シミュレーション装置、シミュレーション方法、及びコンピュータプログラム
JP5273208B2 (ja) * 2011-06-07 2013-08-28 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
JP5549727B2 (ja) * 2012-12-28 2014-07-16 フリュー株式会社 写真シール作成装置および方法
EP3005085A1 (en) * 2013-05-29 2016-04-13 Nokia Technologies Oy An apparatus and associated methods
WO2015029371A1 (ja) * 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2015127394A1 (en) * 2014-02-23 2015-08-27 Northeastern University System for beauty, cosmetic, and fashion analysis
US11120495B2 (en) * 2016-09-15 2021-09-14 GlamST LLC Generating virtual makeup products

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200428231A (en) * 2003-06-11 2004-12-16 Kose Corp Skin evaluation method and image simulation method
CN104380339A (zh) * 2013-04-08 2015-02-25 松下电器（美国）知识产权公司 能够将涂敷了化妆涂料的状态虚拟地再现的图像处理装置、图像处理方法、程序
CN105263399A (zh) * 2013-06-07 2016-01-20 富士胶片株式会社 透明感评价装置、透明感评价方法及透明感评价程序
JP2016110416A (ja) * 2014-12-08 2016-06-20 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム
GB201603662D0 (en) * 2016-03-02 2016-04-13 Holition Ltd Locating and augmenting object features in images

Also Published As

Publication number Publication date
US11069105B2 (en) 2021-07-20
US20210304475A1 (en) 2021-09-30
CN116883541A (zh) 2023-10-13
US11501479B2 (en) 2022-11-15
CN109844800A (zh) 2019-06-04
JP2018063681A (ja) 2018-04-19
JP6876941B2 (ja) 2021-05-26
WO2018070106A1 (ja) 2018-04-19
US20200051298A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
CN109844800B (zh) 虚拟化妆装置和虚拟化妆方法
JP5463866B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN109690617B (zh) 用于数字化妆镜的系统和方法
US9589178B2 (en) Image processing with facial features
WO2017090454A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US10623633B2 (en) Image synthesis device and image synthesis method
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
JP6111723B2 (ja) 画像生成装置、画像生成方法及びプログラム
WO2017212878A1 (ja) バーチャルメイク装置、およびバーチャルメイク方法
US10043075B2 (en) Eye feature identification
CN112308944A (zh) 仿真唇妆的扩增实境显示方法
JP6011092B2 (ja) 画像処理装置、画調変換方法及びプログラム
WO2009036554A1 (en) Emulating cosmetic facial treatments with digital images
JP2007299113A (ja) ヘアカラー・メイクアップシミュレーションシステム
JP2017224130A (ja) メイクアップ用画像処理方法、メイクアップ用画像処理装置、及びメイクアップ用画像処理プログラム
KR101633634B1 (ko) 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 그 장치
JP2010073222A (ja) メイクアップシミュレーション方法
JP2021089654A (ja) 画像処理装置、画像処理方法、及びプログラム
CN110597386A (zh) 基于增强现实的图像亮度提升方法及增强现实眼镜
KR20170109851A (ko) 가려짐과 음영 기반의 화상 얼굴 교체 장치 및 방법
JP6376673B2 (ja) 画像処理装置
WO2018105228A1 (ja) 画像処理装置、表示装置、画像処理装置の制御方法、および制御プログラム
JP2016171406A (ja) デジタル画像における画像処理方法
JP2016218663A (ja) 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム
CN111369448A (zh) 一种提升图像质量的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant