JP2018063681A - バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム - Google Patents

バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム Download PDF

Info

Publication number
JP2018063681A
JP2018063681A JP2016203131A JP2016203131A JP2018063681A JP 2018063681 A JP2018063681 A JP 2018063681A JP 2016203131 A JP2016203131 A JP 2016203131A JP 2016203131 A JP2016203131 A JP 2016203131A JP 2018063681 A JP2018063681 A JP 2018063681A
Authority
JP
Japan
Prior art keywords
image
virtual makeup
makeup
virtual
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016203131A
Other languages
English (en)
Other versions
JP2018063681A5 (ja
JP6876941B2 (ja
Inventor
フウ グエン
Huu Nguyen
フウ グエン
田中　義照
Yoshiteru Tanaka
義照 田中
冨田　裕人
Hiroto Tomita
裕人 冨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2016203131A priority Critical patent/JP6876941B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201780061460.7A priority patent/CN109844800B/zh
Priority to PCT/JP2017/030024 priority patent/WO2018070106A1/ja
Priority to CN202310748023.XA priority patent/CN116883541A/zh
Priority to US16/339,277 priority patent/US11069105B2/en
Publication of JP2018063681A publication Critical patent/JP2018063681A/ja
Publication of JP2018063681A5 publication Critical patent/JP2018063681A5/ja
Application granted granted Critical
Publication of JP6876941B2 publication Critical patent/JP6876941B2/ja
Priority to US17/345,769 priority patent/US11501479B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】顔映像に対し、化粧品毎に異なる特有の質感を仮想的に与えてバーチャルメイクアップを行い、ユーザの利便性を向上する。
【解決手段】バーチャルメイクアップ装置は、カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出し、バーチャルメイクアップのアイテムの指定に応じて、対象部位画像に、アイテムに対応する色を塗布し、対象部位画像の一部に、アイテム毎に異なる質感成分を付与する。バーチャルメイクアップ装置は、色が塗布された対象部位画像と、対象部位画像の一部に質感成分が付与された画像と、顔画像のうちバーチャルメイクアップの対象部位画像とを用いて、顔画像にアイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示する。
【選択図】図４

Description

本開示は、顔画像にバーチャルなメイクアップを施すバーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラムに関する。
従来、人の顔を撮影した画像に対し画像処理により仮想的な化粧（メイクアップ）を施すバーチャルメイクアップに関する技術が知られている（例えば、特許文献１参照）。特許文献１に記載の技術は、３原色の顔画像から抽出した唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、塗り替えようとする目標口紅色と代表的な色の画素の平均値との塗り替え偏差を算出する。更に、唇領域の各画素の色相、彩度、明度に塗り替え偏差を加算して新たな画素の色相、彩度、明度を算出し、３原色の表示用に用いる画素に変換する。これにより、人の目の特性に近い色相、彩度、明度の形態で口紅の色を塗り替えた顔画像が得られる。
また近年、口紅が与える質感（テキスチャ感）の種類も多様に登場してきている。質感の種類としては、例えば艶や光沢の目立つ質感を与えるグロス（GLOSS）、テカリも艶もほぼ無く色味を強調する質感を与えるマット（MATTE）、透明感は無いがべたつくこともないリップクリームのような柔らかい印象の質感を与えるクリーム（CREME）等が知られている。質感の種類はこれらに限定されるものではなく、他にも多くの質感を与える口紅が登場してきている。
特開２０００−０１１１４５号公報
特許文献１の構成では、顔画像に対して化粧品（例えば口紅）を用いた仮想的なメイクアップを行える。しかしながら、顔画像に対し、上述した多様な種類の質感を個々に表現することは困難であるという課題があった。
本開示の目的は、顔映像に対し、化粧品毎に異なる特有の質感を仮想的に与えてバーチャルメイクアップを行い、ユーザの利便性を向上するバーチャルメイクアップ装置及びバーチャルメイクアップ方法を提供する事である。
本開示は、カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する対象部位抽出部と、前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する色塗布処理部と、前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する質感制御部と、前記色塗布処理部の出力画像と、前記質感制御部の出力画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示する表示制御部と、を備える、バーチャルメイクアップ装置を提供する。
また、本開示は、カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する処理と、前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する処理と、前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する処理と、前記色が塗布された前記対象部位画像と、前記対象部位画像の一部に前記質感成分が付与された画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示するステップと、を有する、バーチャルメイクアップ方法を提供する。
また、本開示は、コンピュータであるバーチャルメイクアップ装置に、カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する処理と、前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する処理と、前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する処理と、前記色が塗布された前記対象部位画像と、前記対象部位画像の一部に前記質感成分が付与された画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示するステップと、を実現させるための、バーチャルメイクアッププログラムを提供する。
本開示によれば、顔映像に対し、化粧品毎に異なる特有の質感を仮想的に与えてバーチャルメイクアップを行え、ユーザの利便性を向上できる。
本実施の形態のバーチャルメイクアップ装置の使用状態の一例を示す図 本実施の形態におけるバーチャルメイクアップ画面の一例を示す図 本実施の形態のバーチャルメイクアップ装置の内部構成の一例を詳細に示すブロック図 本実施の形態の画像処理装置を構成するハードウェア的又はソフトウェア的な構成要素に、構成要素間のデータフローを書き加えた図 唇領域抽出部の動作手順の一例を詳細に説明するフローチャート 唇形状分析部の動作手順の一例を詳細に説明するフローチャート 唇形状分析部における形状分析の動作概要例の模式図 色塗布処理部における色塗布の動作概要例の説明図 しわ・光沢制御部の動作手順の一例を詳細に説明するフローチャート 唇領域の水平方向における光沢付与前後の各輝度分布の一例を示すグラフ 唇領域の垂直方向における光沢付与前後の各輝度分布の一例を示すグラフ ゲイン関数の一例を示すグラフ しわ・光沢制御部の出力画像の一例を示す模式図 ノイズ抑圧部の出力画像の一例を示す模式図 化粧重畳処理部におけるバーチャルメイクアップ画像の生成の動作概要例の説明図
以下、適宜図面を参照しながら、本発明に係るバーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラムを具体的に開示した実施の形態（以下、「本実施の形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
＜装置の概要＞
先ず、本実施の形態に係るバーチャルメイクアップ装置１００の概要について、図１及び図２を参照して説明する。
図１は、本実施の形態のバーチャルメイクアップ装置１００の使用状態の一例を示す図である。
図１に示すように、バーチャルメイクアップ装置１００は、店舗等の平らな面（例えばテーブル、不図示）上に立てて置くことが可能な略直方体の筐体１１０内に収容され、例えばタッチパネル付きディスプレイ１３０を有するタブレット型端末により構成される。バーチャルメイクアップ装置１００が収容される筐体１１０の主面には、カメラ１２０が配置される。バーチャルメイクアップ装置１００の筐体１１０の左右両側には、ユーザ２００（特にユーザの顔２１０）を照明可能なＬＥＤ（Light Emission Diode）照明ＬＤ１，ＬＤ２が一体的に配置される。ＬＥＤ照明ＬＤ１，ＬＤ２は、筐体１１０と同程度の高さを有する筐体内に収容され、それぞれユーザ２００を左右両側から照明光を当てる。言い換えると、ＬＥＤ照明ＬＤ１，ＬＤ２は、筐体１１０と平行に、かつユーザ２００に向くように配置される。
ユーザ２００とバーチャルメイクアップ装置１００との間の相対位置は、例えばカメラ１２０の画角内にユーザの顔２１０が含まれ、ユーザ２００がタッチパネル付きディスプレイ１３０を視認でき、かつ、ユーザの指２２０がタッチパネル付きディスプレイ１３０に触れられるように、ユーザ２００によって個別に調整される。
カメラ１２０は、例えばオートフォーカス機能を備えたデジタルカメラであり、ユーザ２００の顔２１０を撮像する。以下、カメラ１２０により撮像された顔２１０の画像を、単に「顔画像」という。
タッチパネル付きディスプレイ１３０は、顔画像に対するバーチャルメイクアップを行うためのユーザインタフェースであるバーチャルメイクアップ画面３００を表示する。ここで、バーチャルメイクアップとは、ユーザ２００がバーチャルメイクアップ画面３００に表示されたアイテム（例えば口紅等の化粧品）を指定したときに、カメラ１２０により撮像された顔画像に対し、その指定されたアイテム毎の化粧（メイクアップ）を仮想的に施す画像処理のことをいう。
図２は、本実施の形態におけるバーチャルメイクアップ画面３００の一例を示す図である。
図２に示すように、バーチャルメイクアップ画面３００は、映像表示領域３１０及び操作受付領域３２０を含み、ユーザ２００のバーチャルメイクアップ装置１００に対する操作に従って、タッチパネル付きディスプレイ１３０に表示される。
映像表示領域３１０は、カメラ１２０により撮像された複数の顔画像の鏡像画像により構成される顔映像をリアルタイムに表示する。なお、映像表示領域３１０は、カメラ１２０により撮像された或る時点の顔２１０のスナップショット（静止画）を表示しても構わない。映像表示領域３１０は、操作受付領域３２０に対する操作に応じて、その操作に基づいて決定されたバーチャルメイクアップ画像（例えば図１２に示すバーチャルメイクアップ画像ＶＭＵ１）を、顔映像に重畳して表示する。
なおここで、「リアルタイム」とは、ユーザ２００が鏡を見ている感覚に近い感覚を覚える程度の小さい遅延時間を含む概念とする。また、バーチャルメイクアップ画像とは、操作受付領域３２０に対する指定によって選択された化粧アイテム（例えば、口紅やアイシャドー等の化粧品）によるメイクアップを、対応する顔部品（例えば、唇や瞼）に施したときの、仮想的に化粧した状態を示す画像である。
操作受付領域３２０は、例えば、アイテム選択エリア３２１、質感選択エリア３２２、商品情報詳細エリア３２３、及び処理選択エリア３２４を含む。
アイテム選択エリア３２１は、予め定められた複数の化粧アイテムの中から、操作の対象となる化粧アイテムを選択する操作を受け付ける。なお、アイテム選択エリア３２１は、例えば大分類と小分類とで階層的に選択操作を受け付けてもよい。
質感選択エリア３２２は、アイテム選択エリア３２１において選択された化粧アイテム毎に予め定められた種類の質感（言い換えると、それぞれ特有の質感を付与可能な具体的な個々の化粧アイテム）を選択する操作を受け付ける。即ち、アイテム選択エリア３２１及び質感選択エリア３２２は、バーチャルメイクアップの内容を指定する操作（以下「メイク指定操作」ともいう）を受け付ける。例えば、リップグロス（Lip gloss、いわゆるグロス）にも化粧品メーカ毎や化粧品毎に多様な質感の種類が存在しており、発色の良さ、艶、テカリ具合、しわ感等の大小の組み合わせに応じて、図２では色及び質感がそれぞれ異なる化粧アイテムＡ，Ｂ，Ｃの３種類が例示されている。リップグロスの色及び質感は、色及び質感が異なる化粧アイテムＡ，Ｂ，Ｃの３種類に限定されないことは言うまでもない。また、図２ではリップグロスの中で色及び質感が異なる化粧アイテムの組み合わせとして３種類が例示されているが、リップグロスに限定されず、例えばマット又はクリーム等の異なる種類（色及び質感）が選択され、これらの中から化粧アイテムＡ，Ｂ，Ｃのように選択されてもよい。ユーザ２００により選択される化粧アイテム（例えば口紅）は１つ１つ、色と質感とを有するものである。従って、ユーザ２００により化粧アイテム（例えば口紅）が１つ選択されると、その選択された化粧アイテム（例えば口紅）の有する特有の質感がユーザ２００により選択されたことになる。
商品情報詳細エリア３２３は、アイテム選択エリア３２１及び質感選択エリア３２２においてそれぞれ選択された化粧アイテム及び質感の詳細情報を表示するエリアである。例えばユーザ２００により指定（選択）された化粧品の名前（Name）は「ｌｉｐ ｇｌｏｓｓ Ａ」であり、色（Color）は「ピンク」であり、仕上がりの質感（Finish）は「ｇｌｏｓｓ」である。このように、指定（選択）される化粧品毎に、「名前」、「色」、「質感」の各種情報が対応付けられてバーチャルメイクアップ装置１００内に保持される。なお、これらの各種情報は、バーチャルメイクアップ装置１００と外部接続されるデータベース（不図示）において格納されてよい。この場合、バーチャルメイクアップ装置１００は、ユーザ２００の化粧アイテムの指定（選択）がある度に、そのデータベースにアクセスして化粧アイテムの各種情報を取得しても構わない。
処理選択エリア３２４は、メイク指定操作により指定されたバーチャルメイクアップの内容を示す情報（以下「メイク指定情報」ともいう）に関して実行すべき処理を選択する操作を受け付ける。この実行すべき処理には、メイク指定情報に対応するバーチャルメイクアップ画像のプレビュー表示や、バーチャルメイクアップ前後の顔画像の比較、ユーザ２００により指定されたメイク指定情報をユーザ２００の識別情報と対応付けて記録する処理、バーチャルメイクアップの処理終了等が含まれる。
映像表示領域３１０は、カメラ１２０により撮像された顔映像をリアルタイムで表示し続けている。バーチャルメイクアップ装置１００は、メイク指定操作を検知すると、カメラ１２０のオートフォーカス動作を開始し、メイク指定操作を検知しない間はむやみにオートフォーカス動作を行わない。
例えば、バーチャルメイクアップ装置１００は、アイテム選択エリア３２１において、化粧アイテムを選択する操作（以下「アイテム選択操作」ともいう）が行われたか否かを逐次判定する。バーチャルメイクアップ装置１００は、アイテム選択操作が行われたとき、選択された化粧アイテム（例えば口紅）に対応する顔部分（例えば唇３１１）をフォーカス位置として、カメラ１２０のフォーカス動作を行う。なお、バーチャルメイクアップ装置１００は、フォーカス位置を示すフォーカス枠３１２を、映像表示領域３１０の顔映像に重畳して表示してもよい。
ユーザ２００（図１参照）は、例えばリップ類（ＬＩＰ）のバーチャルメイクアップを開始しようとする場合、先ず、アイテム選択エリア３２１において、口紅を選択する。この選択により、バーチャルメイクアップ装置１００は、即座に口紅に対応する顔部品である唇にフォーカス（焦点）を合わせ、ユーザ２００が注目している唇が鮮明に映し出された顔映像を表示する。即ち、バーチャルメイクアップ装置１００は、バーチャルメイクアップのアイテム選択操作があるときに限って、ユーザ２００がバーチャルメイクアップの対象として注目している顔部分を鮮明に表示できる。
＜装置の詳細＞
以下、バーチャルメイクアップ装置１００の構成及び動作について、詳細に説明する。
まず、バーチャルメイクアップ装置１００の内部構成について、図３を参照して説明する。
図３は、本実施の形態のバーチャルメイクアップ装置１００の内部構成の一例を詳細に示すブロック図である。
バーチャルメイクアップ装置１００は、カメラ１２０と、撮像制御回路２と、入力画素メモリ３と、プレーンメモリ４と、ディスプレイ５と、ストレージ６と、媒体制御回路７と、座標検知回路８と、ＧＵＩ（Graphical User Interface）制御部９と、画像処理装置１０とを含む構成である。ディスプレイ５と座標検知回路８とにより、タッチパネル付きディスプレイ１３０が構成されてよい。
カメラ１２０は、撮像光学系を構成するレンズ（例えばフォーカスレンズ、ズームレンズ）によりイメージセンサ（不図示）に結像された被写体像に対して光電変換を施し、被写体（例えばユーザ２００の顔）の映像信号を生成する。
撮像制御回路２は、カメラ１２０の撮像光学系であるフォーカスレンズ、ズームレンズ、シャッタ・絞りによる露出制御を行う。
入力画素メモリ３は、例えばＲＡＭ（Random Access Memory）を用いて構成され、バーチャルメイクアップの処理対象であるユーザ２００の顔画像の画像データ（フレーム）を一時的に格納する。
プレーンメモリ４は、例えばフラッシュメモリ等の半導体メモリを用いて構成され、入力画素メモリ３に格納された画像データに対するバーチャルメイクアップの処理結果としての画像（つまり、バーチャルメイクアップ画像）のデータを一時的に格納する。
表示部の一例としてのディスプレイ５は、例えばＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）又は有機ＥＬ（Electroluminescence）素子を用いて構成され、カメラ１２０により撮像されたオリジナルの顔画像や、バーチャルメイクアップ後の顔画像を表示する。
ストレージ６は、例えばフラッシュメモリ等の半導体メモリ、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を用いて構成され、各種の情報又はデータ（例えばバーチャルメイクアップ装置１００により生成されたバーチャルメイクアップ画像）を保存する。
媒体制御回路７は、プレーンメモリ４に格納された画像データをストレージ６に書き込み、必要に応じてストレージ６から読み出す。
座標検知回路８は、ユーザ２００からの入力操作（例えばタッチ操作、フリック操作）を検知するとともに、その検知された入力操作がなされたディスプレイ５上の位置（つまり、座標）を検知する。
ＧＵＩ制御部９は、座標検知回路８により検知された座標に従ってイベントを出力して、ＧＵＩの更新を行う。例えばＧＵＩ制御部９は、座標検知回路８により検知された座標（例えばバーチャルメイクアップ画面３００の表示を指示するためのアイコンの座標）に従って、イベント（例えばバーチャルメイクアップ画面３００の生成）を実行してイベントの処理結果（例えばバーチャルメイクアップ画面３００）をディスプレイ５に表示する。ここで、ＧＵＩは、ウインドウ、スクロールバー、ラジオボタン、テキストボックス、プルダウンメニューといった様々なウィジェットにより構成される。これらの状態を変化させるため、ＧＵＩ制御部９は、ディスプレイ５に表示された画面（例えばバーチャルメイクアップ画面３００）に対するユーザ２００の入力操作（例えばタッチ）が発生した場合に、そのタッチ座標にかかるイベントを出力して、各ウィジェットの状態を変化させる。バーチャルメイクアップ装置１００は、このようなウィジェットの状態変化により、ＧＵＩを用いた対話的な操作環境をユーザに提供できる。
画像処理装置１０は、バーチャルメイクアップのための画像処理を実行する。画像処理装置１０の構成の詳細については、図４を参照して後述する。以下の説明では、例えばユーザ２００がバーチャルメイクアップの化粧アイテムとして、多様な色や質感の種類が存在している複数種の口紅のうちいずれか一つを選択してバーチャルメイクアップを楽しむ例を説明する。
図４は、本実施の形態の画像処理装置１０を構成するハードウェア的又はソフトウェア的な構成要素に、構成要素間のデータフローを書き加えた図である。
画像処理装置１０は、唇領域抽出部１０１と、唇形状分析部１０２と、色塗布処理部１０３と、質感制御部１０４と、統合処理部１０５と、化粧重畳処理部１０６とを含む構成である。質感制御部１０４は、しわ・光沢制御部１０４ａとノイズ抑圧部１０４ｂとを有する構成である。唇領域抽出部１０１と、唇形状分析部１０２と、色塗布処理部１０３と、質感制御部１０４と、統合処理部１０５と、化粧重畳処理部１０６とは、それぞれプロセッサ（例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor））を用いて構成される。画像処理装置１０の入力は３原色（例えばＲＧＢ色空間）の顔画像ＯＲＧ０と塗り替えたい口紅の色（ＲＧＢ値）であり、画像処理装置１０の出力は顔画像ＯＲＧ０の唇領域に塗り替えたい口紅の塗布色を塗布したＲＧＢ画像のバーチャルメイクアップ画像ＶＭＵ１である。
バーチャルメイクアップのための画像処理の対象は、ノーメークの唇や、既に口紅が塗布された唇の双方を含む。既に、口紅が塗布された唇を画像処理の対象にする場合、その口紅による光学特性が、バーチャルメイクアップされた顔画像にも反映されるため、この場合もリアルなバーチャルメイクアップを実現できる。
図５は、唇領域抽出部１０１の動作手順の一例を詳細に説明するフローチャートである。
対象部位抽出部の一例としての唇領域抽出部１０１は、カメラ１２０によって撮像されたオリジナルの顔画像ＯＲＧ０からバーチャルメイクアップの対象部位画像（例えば唇画像）を抽出する。具体的には、唇領域抽出部１０１は、オリジナルの顔画像ＯＲＧ０から顔検知を行い（Ｓ１０１１）、顔検知した場合に（Ｓ１０１２、ＹＥＳ）、顔パーツ（例えば目、鼻、口）検知を行う（Ｓ１０１３）。なお、顔検知しなかった（つまり、顔を検知できなかった）場合には（Ｓ１０１２、ＮＯ）、図５の唇領域抽出部１０１の処理は終了する。
唇領域抽出部１０１は、顔検知結果と顔パーツ検知結果とを用いて顔の特徴点を検知するとともに、唇部位を規定する特徴点を抽出し、特徴点間を結ぶ輪郭線を生成する。唇部位を規定する特徴点の抽出手法としては、例えば色によるセグメンテーション、エッジ検出や顔モデルによるパーツ検出など様々な公知方法を採用できる。唇領域抽出部１０１は、例えば顔パーツ検知による唇領域検出を利用する。唇領域抽出部１０１は、この輪郭線によって唇部位の領域が指定された唇領域画像ＯＲＧ１をオリジナルの顔画像ＯＲＧ０から切り出して生成する（Ｓ１０１４）。唇領域抽出部１０１は、唇領域画像ＯＲＧ１を唇形状分析部１０２に出力する。また、唇領域抽出部１０１は、唇部位の領域指定に合わせて、唇の特徴点で囲まれる領域を有効領域としてマスクするための唇領域マスク画像ＭＳＫ１を生成する（Ｓ１０１５）。唇領域抽出部１０１は、この唇領域マスク画像ＭＫＳ１と唇領域画像ＯＲＧ１とを化粧重畳処理部１０６に出力する。
唇形状分析部１０２は、唇部位の領域が指定された唇領域画像ＯＲＧ１の色空間（例えばＲＧＢ。なおＹＵＶでも可）を、処理中間色空間に変換し、変換結果をメモリ（例えばプレーンメモリ４）に一時的に格納する。処理中間色空間として、色相（Ｈ）、彩度（Ｃ）、輝度（Ｌ）により表現可能なＨＣＬ色空間が挙げられる。また、唇形状分析部１０２は、例えば高速フーリエ変換又は離散的フーリエ変換を用いて、色相、彩度、輝度の情報を有する唇領域画像ＯＲＧ１がどのような周波数成分を有するかを判別するために、唇領域抽出部１０１の出力画像（つまり、空間領域の唇領域画像ＯＲＧ１）を空間周波数領域の唇領域画像ＯＲＧ１’に変換する（図７参照）。図７に示す唇領域画像ＯＲＧ１’は、例えば唇領域を含む矩形状の画像であって、唇領域を構成する画素毎の輝度値のみで示される。
図６は、唇形状分析部１０２の動作手順の一例を詳細に説明するフローチャートである。図７は、唇形状分析部１０２における形状分析の動作概要例の模式図である。
唇形状分析部１０２は、３種類のフィルタ（具体的には、ＬＰＦ（Low Pass Filter）１０２ｌ、ＢＰＦ（Band Pass Filter）１０２ｂ及びＨＰＦ（High Pass Filter）１０２ｈ）を有する。
唇形状分析部１０２は、ＬＰＦ１０２ｌを用いて、空間周波数領域の唇領域画像ＯＲＧ１’のうち、ＬＰＦ１０２ｌの第１カット周波数（既定値）以下の信号成分から構成される画像信号を抽出する（Ｓ１０２１）。この画像信号は、ユーザ２００の唇のブロードな形状（つまり、唇の大まかな凸凹の形状）の画像信号ＬＰＬ１に対応する（図７参照）。なお、図７に示す画像信号ＬＰＬ１は、唇領域を構成する画素毎の輝度値から所定値をオフセットとして引かれた結果が含まれた唇領域を含む矩形状の輪郭を有する画像である。例えば、バーチャルメイクアップ後の唇の形状もバーチャルメイクアップ前の唇の形状もさほど変わらないことに着目し、唇領域画像ＯＲＧ１’のＬＰＦ１０２ｌ出力を、後述する化粧レイヤ画像ＬＡＹ１のベース（骨格）部分として利用するものである。唇形状分析部１０２は、画像信号ＬＰＬ１を色塗布処理部１０３及びしわ・光沢制御部１０４ａにそれぞれ出力する。
唇形状分析部１０２は、ＢＰＦ１０２ｂを用いて、空間周波数領域の唇領域画像ＯＲＧ１’のうち、ＢＰＦ１０２ｂの所定周波数帯域の信号成分から構成される画像信号を抽出する（Ｓ１０２２）。この画像信号は、ユーザ２００の唇の特徴部分ともいえるしわ（皺）の模様ＭＳＷ１の画像信号ＬＰＢ１に対応する（図７参照）。なお、図７に示す画像信号ＬＰＢ１は、唇領域に現れる深いしわ（皺）の模様ＭＳＷ１の画像成分を有する、唇領域を含む矩形状の輪郭を有する画像である。現実のメイクアップ後にも唇に現れる深いしわ（皺）は残ることが多いことに着目し、この深いしわ（皺）の模様部分に光沢を付与するように画像処理を施すことで、現実的なメイクアップと同等のバーチャルメイクアップを可能にできる。また、唇に現れる深いしわ（皺）の模様はユーザ毎に異なることが多く、ＬＥＤ照明ＬＤ１，ＬＤ２からの照明光のしわ（皺）の凸部分における反射により、ユーザ毎に異なる特有の光沢感が得られる。唇形状分析部１０２は、画像信号ＬＰＢ１をしわ・光沢制御部１０４ａに出力する。なお、唇形状分析部１０２は、空間周波数領域の唇領域画像ＯＲＧ１’のうち、例えば平均の輝度値の振幅が深いしわ用の所定値（既定値）より大きい成分のみ通せるフィルタを用いることで、「残したい深いしわ」成分を抽出してもよい。
唇形状分析部１０２は、ＨＰＦ１０２ｈを用いて、空間周波数領域の唇領域画像ＯＲＧ１’のうち、ＨＰＦ１０２ｈの第２カット周波数（既定値）以上の信号成分から構成される画像信号を抽出する（Ｓ１０２３）。この画像信号は、ユーザ２００の唇に現れる細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を含む画像信号ＬＰＨ１に対応する（図７参照）。なお、図７に示す画像信号ＬＰＨ１は、唇領域に現れる細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を含む画像成分を有する、唇領域を含む矩形状の輪郭を有する画像である。ユーザ２００により指定された口紅を用いたバーチャルメイクアップによる口紅の質感劣化を抑制するために、高周波成分として存在する細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１が画像信号ＬＰＨ１としてＨＰＦ１０２ｈにより抽出される。唇形状分析部１０２は、画像信号ＬＰＨ１をノイズ抑圧部１０４ｂに出力する。唇形状分析部１０２は、空間周波数領域の唇領域画像ＯＲＧ１’のうち、例えば平均の輝度値の振幅が消したい細いしわ用の所定値（既定値）より小さい成分のみ通せるフィルタを用いることで、「消したい細いしわ成分及びノイズ成分」を抽出してもよい。
図８は、色塗布処理部１０３における色塗布の動作概要例の説明図である。
色塗布処理部１０３は、バーチャルメイクアップの化粧アイテム（例えば口紅）の指定に応じて、唇形状分析部１０２から出力された画像信号ＬＰＬ１（つまり、唇のブロードな形状の画像信号）に、指定された化粧アイテム（例えば口紅）毎に対応する色（つまり、ユーザ２００の塗り替えたい口紅の色（ＲＧＢ））を塗布処理する。このために、色塗布処理部１０３は、ＲＧＢの色空間を有する口紅の色空間を、唇形状分析部１０２と同様の処理中間色空間（例えばＨＣＬ色空間）に変換し、変換結果をメモリ（例えばプレーンメモリ４）に一時的に格納する。
そして、色塗布処理部１０３における画像信号ＬＰＬ１への色の塗布処理は、例えば本願と同じ発明者による先願として既に国際公開されている国際公開第２０１４／１６７８３１号の図９〜図１６に示す方法を参照することで実現可能であるため、ここでは図８を参照してＨＣＬ色空間のＬチャネル（輝度）を用いて概要のみ説明し、詳細な説明は割愛する。
図８において、バーチャルメイクアップにおいて生成されるバーチャルメイクアップ画像が人間の目にオリジナル画像の色と似たような感覚を与えることができるように、塗り替えたい口紅の代表色（平均色）Ｌ’ａｖｅとその口紅の色レンジｒａｎｇｅＬ’との関係は、なるべくオリジナルの唇の代表色（平均色）Ｌａｖｅと唇の色レンジｒａｎｇｅＬとの関係が維持される。つまり、唇の代表色Ｌａｖｅ−最大値Ｌｍａｘ間の距離ａと、唇の代表色Ｌａｖｅ−最小値Ｌｍｉｎ間の距離ｂとの比率ａ／ｂは、口紅の代表色Ｌ’ａｖｅ−最大値Ｌ’ｍａｘ間の距離ａ’と、口紅の代表色Ｌ’ａｖｅ−最小値Ｌ’ｍｉｎ間の距離ｂ’との比率ａ’／ｂ’に対し、ａ／ｂ＝ａ’／ｂ’の関係が成り立つ。
また、塗り替え色のコントラスト調整、彩度調整のために色レンジ調整係数が設けられ、この色レンジ調整係数はＬ’ａｖｅ／Ｌａｖｅとなる。色塗布処理部１０３は、唇形状分析部１０２から出力された画像信号ＬＰＬ１を構成する画素をライン単位に走査して色塗布の処理を行う。色塗布処理部１０３は、上記ａ／ｂ＝ａ’／ｂ’の関係と色レンジ調整係数（＝Ｌ’ａｖｅ／Ｌａｖｅ）とを用いて、指定された化粧アイテム（例えば口紅）毎に対応する色（つまり、ユーザ２００の塗り替えたい口紅の色）を、画像信号ＬＰＬ１を構成する画素に塗布処理することで、色の塗られた唇のブロード形状を示す画像信号ＬＰＬＣ１を生成する。色塗布処理部１０３は、色の塗られた唇のブロード形状を示す画像信号ＬＰＬＣ１を統合処理部１０５に出力する。これにより、色塗布処理部１０３は、色塗布処理によって唇がのっぺり（つまり平べったい）画像とはならず、唇のブロード形状を示す画像信号ＬＰＬＣ１において唇領域のブロードな形状を維持できる。
図９は、しわ・光沢制御部１０４ａの動作手順の一例を詳細に説明するフローチャートである。図１０Ａは、唇領域の水平方向における光沢付与前後の各輝度分布の一例を示すグラフである。図１０Ｂは、唇領域の垂直方向における光沢付与前後の各輝度分布の一例を示すグラフである。
質感制御部１０４のしわ・光沢制御部１０４ａは、唇領域画像ＯＲＧ１’の一部の画像領域に、ユーザ２００により指定された化粧アイテム毎に異なる質感成分を付与するように画像処理を施す。しわ・光沢制御部１０４ａによる画像処理の対象（つまり、唇領域画像ＯＲＧ１’の一部の画像領域）は、唇形状分析部１０２から出力された画像信号ＬＰＢ１に現れる深いしわ（皺）の模様ＭＳＷ１の部分である。つまり、しわ・光沢制御部１０４ａは、ユーザ２００の唇の深いしわ（皺）の模様部分に、指定（選択）された化粧アイテム（例えば口紅）毎に異なる特有の光沢成分を画像処理によって付与する。唇の深いしわ（皺）の模様部分は、唇全体において凸凹の現れる部分（言い換えると、出っ張っている部位）である。このため、唇の深いしわ（皺）の模様部分には、ＬＥＤ照明ＬＤ１，ＬＤ２からの照明光も多く当たり、図１０Ａ及び図１０Ｂに示すように、唇領域の他の部位に比べて所定パラメータ（例えば輝度値）の変動も大きく、複数の所定パラメータのピーク値が検知される。
図１０Ａでは、横軸は水平方向の位置を示し、縦軸は輝度（値）Ｌを示す。図１０Ａでは、水平方向に対する、ＬＰＦ１０２ｌ出力の輝度値（言い換えると、唇のブロードな形状に対応する輝度値の変化）を示す曲線Ｂｒｈと、ＢＰＦ１０２ｂ出力の輝度値（言い換えると、唇の深いしわ（皺）の模様部分を含む唇領域の一部に対応する輝度値の変化）を示す曲線Ｌｈと、曲線Ｌｈで示される輝度値の平均値を示す直線ｍＬｈとが示されている。また、図１０Ａでは、比較のために縦軸の値を意図的にずらして、曲線Ｂｒｈと、しわ・光沢制御部１０４ａによるゲインマップ（後述参照）の算出結果となるゲイン調整後の、ＢＰＦ１０２ｂ出力の輝度値を示す曲線Ｌｈａと、直線ｍＬｈと、曲線Ｌｈａで示される輝度値の平均値を示す直線ｍＬｈａとが示されている。
同様に、図１０Ｂでは、横軸は垂直方向の位置を示し、縦軸は輝度（値）Ｌを示す。図１０Ｂでは、垂直方向に対する、ＬＰＦ１０２ｌ出力の輝度値（言い換えると、唇のブロードな形状に対応する輝度値の変化）を示す曲線Ｂｒｖと、ＢＰＦ１０２ｂ出力の輝度値（言い換えると、唇の深いしわ（皺）の模様部分を含む唇領域の一部に対応する輝度値の変化）を示す曲線Ｌｖと、曲線Ｌｖで示される輝度値の平均値を示す直線ｍＬｖとが示されている。また、図１０Ｂでは、比較のために縦軸の値を意図的にずらして、曲線Ｂｒｖと、しわ・光沢制御部１０４ａによるゲインマップ（後述参照）の算出結果となるゲイン調整後の、ＢＰＦ１０２ｂ出力の輝度値を示す曲線Ｌｖａと、直線ｍＬｖと、曲線Ｌｖａで示される輝度値の平均値を示す直線ｍＬｖａとが示されている。
しわ・光沢制御部１０４ａは、ＬＰＦ１０２ｌ出力の輝度値（言い換えると、唇のブロードな形状に対応する輝度値の変化）を基に、唇領域の中で出っ張っている位置（部位）を探索する（Ｓ１０４１）。つまり、しわ・光沢制御部１０４ａは、唇領域の中でＬＥＤ照明ＬＤ１，ＬＤ２からの照明光を含む周囲の環境光が多く反射する部位を探索する。例えば図１０Ａの曲線Ｂｒｈや図１０Ｂの曲線Ｂｒｖにおいて、輝度値が大きくなっている部分（ピーク値周辺）が唇領域の中で出っ張っている部位であると、しわ・光沢制御部１０４ａによって判断される。
しわ・光沢制御部１０４ａは、ステップＳ１０４１において唇領域の中で出っ張っている部位を示す画素を中心とした所定範囲の画素領域を、ユーザ２００により指定（選択）された口紅毎に異なる特有の光沢成分を付与する対象として、その口紅に対応したゲイン関数及びゲインの調整適用範囲を選択する（Ｓ１０４２）。しわ・光沢制御部１０４ａは、ユーザ２００により指定（選択）された口紅毎に異なる特有の光沢成分を付与する対象（つまり、上述した所定範囲の画素領域）の個々の画素毎の輝度値を調整するためのゲインマップを算出する（Ｓ１０４３）。ゲインマップは、例えば光沢成分を付与する対象（つまり、上述した所定範囲の画素領域）において、その画素領域を構成する画素毎の輝度値を調整するときに使用される、画素毎のゲインの分布を示す。
しわ・光沢制御部１０４ａは、ステップＳ１０４３において算出されたゲインマップを用いて、ユーザ２００により指定（選択）された口紅毎に異なる特有の光沢成分を付与する対象（つまり、上述した所定範囲の画素領域）の個々の画素毎の輝度値を調整して算出する（Ｓ１０４４）。
ここで、ユーザ２００により指定（選択）される口紅毎に、ステップＳ１０４２において選択されるゲイン関数（図１０Ｃ参照）及びゲインの調整適用範囲は異なる。図１０Ｃは、ゲイン関数の一例を示すグラフである。図１０Ｃでは、横軸は輝度値（輝度値の最大値を用いて正規化済み）を示し、縦軸はゲイン調整済みの輝度値を示し、ユーザ２００により指定（選択）された口紅に対応したゲイン関数の曲線Ｇａが示されている。曲線Ｇａは、例えばゲインを調整するための調整関数として、β×（輝度）αの関数により示される。例えばαは２．２であり、βは６０であるが、これらの値に限定されないことは言うまでもない。この曲線Ｇａ上の一点として、例えばＢＰＦ１０２ｂ出力である唇の深いしわ（皺）の模様部分の画像を構成する或る画素の正規化済みの輝度値が「０．５９３３４３８７３」である場合、しわ・光沢制御部１０４ａは、光沢成分の付与結果として、その画素の輝度値（ゲイン関数の出力値）を「１９．０２９４１６３」となるようにゲイン（例えば１．０）を、横軸の輝度値に応じて調整して算出する。
図１１Ａは、しわ・光沢制御部１０４ａの出力画像の一例を示す模式図である。
しわ・光沢制御部１０４ａは、唇形状分析部１０２からのＢＰＦ１０２ｂ出力である画像信号ＬＰＢ１に対し、ユーザ２００により指定（選択）された口紅に応じた光沢成分の付与の処理（図９参照）により、例えばリップグロス（グロス）のようなテカリ感の強い光沢成分が得られた画像信号ＬＰＢＧ１を生成できる。又は、しわ・光沢制御部１０４ａは、唇形状分析部１０２からのＢＰＦ１０２ｂ出力である画像信号ＬＰＢ１に対し、ユーザ２００により指定（選択）された口紅に応じた光沢成分の付与の処理（図９参照）により、例えば金属感の強い光沢成分が得られた画像信号ＬＰＢＭ１を生成できる。画像信号ＬＰＢＧ１と画像信号ＬＰＢＭ１とは、それぞれ選択される口紅が異なり、特有の光沢成分が付与されるのだが、光沢成分が付与される範囲も異なっている。これは、上述したように、口紅毎に、ステップＳ１０４２において選択されるゲイン関数及びゲインの調整適用範囲が異なるためである。
このように、しわ・光沢制御部１０４ａは、ユーザ２００により指定（選択）された化粧アイテム（例えば口紅）毎に異なる特有の光沢成分を、バーチャルメイクアップの対象部位画像（例えば唇領域画像ＯＲＧ１’の一部）に的確に付与でき、本物の化粧アイテムを塗布することなく、化粧アイテムに応じた質感を仮想的かつ明確に再現できる。しわ・光沢制御部１０４ａは、唇領域の中で出っ張っている部位及びその部位の周囲の所定範囲に口紅に応じた特有の光沢成分を付与した画像信号ＬＰＢＧ１を統合処理部１０５に出力する。
質感制御部１０４のノイズ抑圧部１０４ｂは、唇形状分析部１０２からのＨＰＦ１０２ｈ出力の画像信号ＬＰＨ１を用いて、高帯域成分の所定パラメータ（例えば輝度）に含まれるノイズ成分を抑圧する。ノイズ抑圧部１０４ｂは、例えば画像信号ＬＰＨ１に含まれる唇の細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１の画像を構成する画素における所定のパラメータ（例えば輝度値）のゲイン（例えば１．０）をダウンすることによって、唇の細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を抑圧する。又は、ノイズ抑圧部１０４ｂにおけるノイズ成分の抑圧方法は上述したゲインダウンの方法以外の公知技術でもよい。
また、ノイズ抑圧部１０４ｂは、ユーザ２００によって指定（選択）された化粧アイテム（例えば口紅）毎に、上述したゲインダウンの調整量（つまり、ダウンするべきゲインの量）を異ならせてよい。これにより、ユーザ２００によって指定（選択）された化粧アイテム（例えば口紅）毎に異なる細かいしわ（皺）やノイズ成分の抑圧を柔軟に変更でき、バーチャルメイクアップ装置１００は、ユーザ２００に対してより適切なバーチャルメイクアップ画像を提示できる。ノイズ抑圧部１０４ｂは、唇の細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を一定量抑圧した画像信号ＬＰＨｎｒ１を統合処理部１０５に出力する。
図１１Ｂは、ノイズ抑圧部１０４ｂの出力画像の一例を示す模式図である。
ノイズ抑圧部１０４ｂは、唇形状分析部１０２からのＨＰＦ１０２ｈ出力である画像信号ＬＰＨ１に対し、唇の細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を一定量抑圧した画像信号ＬＰＨｎｒ１を生成できる。
表示制御部の一例としての統合処理部１０５は、色塗布処理部１０３の出力画像に、質感制御部１０４の出力画像を重畳してレイヤ画像の一例としての化粧レイヤ画像ＬＡＹ１’を生成して化粧重畳処理部１０６に出力する。具体的には、統合処理部１０５は、色の塗られた唇のブロード形状を示す画像信号ＬＰＬＣ１に、唇領域の中で出っ張っている部位及びその部位の周囲の所定範囲に口紅に応じた特有の光沢成分を付与した画像信号ＬＰＢＧ１と、唇の細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を一定量抑圧した画像信号ＬＰＨｎｒ１とを重畳して、化粧レイヤ画像ＬＡＹ１’を生成する。
より具体的には、統合処理部１０５は、画像信号ＬＰＬＣ１と画像信号ＬＰＢＧ１と画像信号ＬＰＨｎｒ１とを用いて、ｋ×（画像信号ＬＰＬＣ１を構成する画素値）＋ｍ×（画像信号ＬＰＢＧ１を構成する画素値）＋ｎ×（画像信号ＬＰＨｎｒ１を構成する画素値）により、化粧レイヤ画像ＬＡＹ１’を生成する。それぞれの画像信号を構成する画素値は、所定のパラメータの一例として、輝度値である。但し、輝度値だけに限定されず、明度や彩度も含まれても構わない。ここでは、ｋは１．０、ｍは０．０〜１．０の実数値、ｎは０．０〜１．０の実数値である。
また、統合処理部１０５は、化粧レイヤ画像ＬＡＹ１’を生成すると、化粧レイヤ画像ＬＡＹ１の処理中間色空間（例えばＨＣＬ色空間）から、デバイス（例えばディスプレイ５）の表示できる色空間（例えばＲＧＢ。なおＹＵＶでも可）に逆変換し、変換結果（つまり、図１２に示す化粧レイヤ画像ＬＡＹ１参照）を化粧重畳処理部１０６に出力する。
図１２は、化粧重畳処理部１０６におけるバーチャルメイクアップ画像ＶＭＵ１の生成の動作概要例の説明図である。
表示制御部の一例としての化粧重畳処理部１０６は、顔画像ＯＲＧ０のうちバーチャルメイクアップの対象部位画像（つまり、唇領域画像ＯＲＧ１に前記レイヤ画像を重畳して、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像をディスプレイ５に表示する。具体的には、化粧重畳処理部１０６は、唇領域抽出部１０１から出力されたＲＧＢ色空間を有する唇領域マスク画像ＭＫＳ１及び唇領域画像ＯＲＧ１と、統合処理部１０５によりＲＧＢ色空間を有する化粧レイヤ画像ＬＡＹ１とを合成することで、バーチャルメイクアップ画像ＶＭＵ１を生成する。
より具体的には、化粧重畳処理部１０６は、唇領域マスク画像ＭＳＫ１を用いて化粧レイヤ画像ＬＡＹ１のうち唇の形状部分を抽出し（切り出し）、切り出された唇の形状部分だけの化粧レイヤ画像ＬＡＹ１を、オリジナルの唇領域画像ＯＲＧ１に重ね合わせることで、バーチャルメイクアップ画像ＶＭＵ１を生成する。例えば化粧重畳処理部１０６は、｛ｐ×（化粧レイヤ画像ＬＡＹ１）×（唇領域マスク画像ＭＳＫ１）｝＋｛（１−ｐ）×（オリジナルの唇領域画像ＯＲＧ１）｝とにより、バーチャルメイクアップ画像ＶＭＵ１を生成する。ｐは０．０〜１．０の実数値である。なお図１２では、説明を分かり易くするために、バーチャルメイクアップ画像ＶＭＵ１は、バーチャルメイクアップが施された唇領域を含む矩形状の大きさとしているが、カメラ１２０により撮像されたユーザ２００の顔画像をオリジナルとして、この顔画像に対し、唇領域マスク画像ＭＳＫ１を用いて切り出された化粧レイヤ画像ＬＡＹ１が重ね合されてもよい。
以上により、本実施の形態のバーチャルメイクアップ装置１００は、カメラ１２０によって撮像されたオリジナルの顔画像ＯＲＧ０からバーチャルメイクアップの対象部位画像（例えば唇領域画像ＯＲＧ１）を抽出し、バーチャルメイクアップの化粧アイテム（例えば口紅）の指定に応じて、ＲＧＢの色空間からＨＣＬの色空間を有するように変換された唇領域画像ＯＲＧ１’に、ＲＧＢの色空間からＨＣＬの色空間を有するように変換された化粧アイテム（例えば口紅）の色を塗布する。バーチャルメイクアップ装置１００は、唇領域画像ＯＲＧ１’（対象部位画像の一部）に、化粧アイテム（例えば口紅）毎に異なる質感成分を付与する。バーチャルメイクアップ装置１００は、バーチャルメイクアップの対象となる唇領域画像ＯＲＧ１に、唇領域マスク画像ＭＳＫ１を用いて化粧レイヤ画像ＬＡＹ１の唇領域のみを切り出した画像を重畳することで、バーチャルメイクアップが施されたバーチャルメイクアップ画像ＶＭＵ１を生成してディスプレイ５に表示する。
これにより、バーチャルメイクアップ装置１００は、ユーザ２００の顔画像に対し、１つ１つの化粧アイテム毎に異なる特有の質感成分を仮想的に与えてバーチャルメイクアップをユーザ２００に楽しませることができる。従って、バーチャルメイクアップ装置１００は、ユーザ２００の個々の顔画像のフレーム毎にバーチャルメイクアップの画像処理を施せるので、例えばユーザ２００が口をパッと開いたときの唇のブロードな形状の動きに追従してバーチャルメイクアップ後の唇の雰囲気（例えばテカリ具合、発色の良さ、しわ感）をユーザ２００に適切に確認させることができ、ユーザの利便性を向上できる。
例えば今後、店舗等に来店した顧客が化粧品（例えば口紅）を購入する前に、自分が選択した化粧品を使用してバーチャルメイクアップすることが予めできると、実使用時の具体的な印象を確認でき、結果的に顧客の購入意欲が増すことも期待できる。また、購入しようかどうかを悩んだり迷ったりしている顧客に対し、化粧品（例えば口紅）の有する多様な質感を顧客が仮想体験できることは店舗側にとっても販売戦略上一つの魅力であり、化粧品の売上アップも期待できる。
また、バーチャルメイクアップ装置１００は、唇領域画像ＯＲＧ１’の所定帯域成分の所定パラメータ（例えば輝度値）のピーク位置（つまり、ＬＰＦ１０２ｌ出力の画像信号のうち輝度値のピークが得られた位置（画素））を中心とした所定範囲の画素領域を、光沢成分の付与対象とする。バーチャルメイクアップ装置１００は、その画素領域における個々の輝度値毎の、口紅毎に異なる輝度値の調整関数（ゲイン関数）の出力値を用いて、口紅毎に異なる質感成分を付与する。これにより、バーチャルメイクアップ装置１００は、唇のブロードな形状や深いしわ（皺）の位置がユーザ毎に異なるので、ユーザにより選択された口紅毎に異なる特有の質感成分を唇の深いしわ（皺）の模様部分に付与できて、バーチャルメイクアップ後の画像を効果的にユーザに提示できる。
また、上述したゲイン関数を用いた輝度値の調整がなされる所定範囲の画素領域は、化粧アイテム（例えば口紅）毎に異なる。これにより、バーチャルメイクアップ装置１００は、ユーザにより選択された化粧アイテム毎に、唇の光沢付与対象の範囲を異ならせて所定パラメータ（例えば輝度値）のゲイン調整を行えるので、例えばグロス、マット、クリーム、ラスタ、リキッドリップカラー等の質感、又は同一のグロスでもそのグロス内の質感のそれぞれの種類毎にきめ細かな違いを楽しめるバーチャルメイクアップ画像ＶＭＵ１をユーザに提示できる。
また、バーチャルメイクアップ装置１００は、バーチャルメイクアップの対象となる唇領域画像ＯＲＧ１’の高帯域成分の所定パラメータ（例えば輝度）に含まれるノイズ成分を抑圧する。これにより、バーチャルメイクアップ装置１００は、ノイズ成分を一定量抑圧できるので鮮明なバーチャルメイクアップ画像ＶＭＵ１を得ることができ、バーチャルメイクアップ画像ＶＭＵ１の視認性の劣化を抑制できる。
また、バーチャルメイクアップ装置１００は、色塗布処理後の出力画像（画像信号ＬＰＬＣ１）に、質感成分付与後の出力画像（例えば画像信号ＬＰＢＧ１）を重畳する。この重畳により、バーチャルメイクアップ装置１００は、ＨＣＬ色空間からＲＧＢ色空間を有する化粧レイヤ画像ＬＡＹ１を生成できる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述実施形態における各構成要素を任意に組み合わせてもよい。
上述した実施の形態では、バーチャルメイクアップの対象部位として唇を例示して詳細を説明したが、バーチャルメイクアップの対象部位は唇に限定されず、例えば目の周囲（つまり、目元）にも適用できる。つまり、アイシャドーのように目の周囲（特にまぶた）に陰影を付与するためのバーチャルメイクアップにも使用可能である。
上述した実施の形態では、本発明に係るバーチャルメイクアップ装置の具体的な実施の形態について説明したが、この実施の形態は、本発明に係るバーチャルメイクアップ装置が行うバーチャルメイクアップ方法についても適用可能であり、また、コンピュータであるバーチャルメイクアップ装置に本発明に係るバーチャルメイクアップ方法の各処理を実現させるためのバーチャルメイクアッププログラムについても適用可能である。
本開示は、顔映像に対し、化粧品毎に異なる特有の質感を仮想的に与えてバーチャルメイクアップを行い、ユーザの利便性を向上するバーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラムとして有用である。
２ 撮像制御回路
３ 入力画素メモリ
４ プレーンメモリ
５ ディスプレイ
６ ストレージ
７ 媒体制御回路
８ 座標検知回路
９ ＧＵＩ制御部
１０ 画像処理装置
１００ バーチャルメイクアップ装置
１０１ 唇領域抽出部
１０２ 唇形状分析部
１０２ｂ ＢＰＦ（Band Pass Filter）
１０２ｈ ＨＰＦ（High Pass Filter）
１０２ｌ ＬＰＦ（Low Pass Filter）
１０３ 色塗布処理部
１０４ 質感制御部
１０４ａ しわ・光沢制御部
１０４ｂ ノイズ抑圧部
１０５ 統合処理部
１０６ 化粧重畳処理部
１１０ 筐体
１２０ カメラ
１３０ タッチパネル付きディスプレイ
２００ ユーザ
２１０ 顔
２２０ 指
３００ バーチャルメイクアップ画面
ＬＤ１、ＬＤ２ ＬＥＤ照明

Claims (7)

  1. カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する対象部位抽出部と、
    前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する色塗布処理部と、
    前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する質感制御部と、
    前記色塗布処理部の出力画像と、前記質感制御部の出力画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示する表示制御部と、を備える、
    バーチャルメイクアップ装置。
  2. 前記質感制御部は、前記対象部位画像の所定帯域成分の所定パラメータのピーク位置を示す画素を中心とした所定範囲の画素領域を前記対象部位画像の一部として、前記画素領域における個々の前記所定パラメータ毎の、前記アイテム毎に異なる前記所定パラメータの調整関数の出力値を用いて、前記アイテム毎に異なる質感成分を付与する、
    請求項１に記載のバーチャルメイクアップ装置。
  3. 前記所定範囲の画素領域は前記アイテム毎に異なる、
    請求項２に記載のバーチャルメイクアップ装置。
  4. 前記質感制御部は、前記対象部位画像の高帯域成分の所定パラメータに含まれるノイズ成分を抑圧する、
    請求項１に記載のバーチャルメイクアップ装置。
  5. 前記表示制御部は、前記色塗布処理部の出力画像に前記質感制御部の出力画像を重畳したレイヤ画像を、前記顔画像のうち前記バーチャルメイクアップの対象部位画像に重畳して、前記バーチャルメイクアップ画像を生成する、
    請求項１に記載のバーチャルメイクアップ装置。
  6. カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する処理と、
    前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する処理と、
    前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する処理と、
    前記色が塗布された前記対象部位画像と、前記対象部位画像の一部に前記質感成分が付与された画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示するステップと、を有する、
    バーチャルメイクアップ方法。
  7. コンピュータであるバーチャルメイクアップ装置に、
    カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する処理と、
    前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する処理と、
    前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する処理と、
    前記色が塗布された前記対象部位画像と、前記対象部位画像の一部に前記質感成分が付与された画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示するステップと、を実現させるための、
    バーチャルメイクアッププログラム。
JP2016203131A 2016-10-14 2016-10-14 バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム Active JP6876941B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016203131A JP6876941B2 (ja) 2016-10-14 2016-10-14 バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム
PCT/JP2017/030024 WO2018070106A1 (ja) 2016-10-14 2017-08-23 バーチャルメイクアップ装置及びバーチャルメイクアップ方法
CN202310748023.XA CN116883541A (zh) 2016-10-14 2017-08-23 虚拟化妆装置和虚拟化妆方法
US16/339,277 US11069105B2 (en) 2016-10-14 2017-08-23 Virtual make-up apparatus and virtual make-up method
CN201780061460.7A CN109844800B (zh) 2016-10-14 2017-08-23 虚拟化妆装置和虚拟化妆方法
US17/345,769 US11501479B2 (en) 2016-10-14 2021-06-11 Virtual make-up apparatus and virtual make-up method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016203131A JP6876941B2 (ja) 2016-10-14 2016-10-14 バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム

Publications (3)

Publication Number Publication Date
JP2018063681A true JP2018063681A (ja) 2018-04-19
JP2018063681A5 JP2018063681A5 (ja) 2019-11-28
JP6876941B2 JP6876941B2 (ja) 2021-05-26

Family

ID=61906225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016203131A Active JP6876941B2 (ja) 2016-10-14 2016-10-14 バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム

Country Status (4)

Country Link
US (2) US11069105B2 (ja)
JP (1) JP6876941B2 (ja)
CN (2) CN116883541A (ja)
WO (1) WO2018070106A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271915A (zh) * 2018-09-07 2019-01-25 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
WO2019227915A1 (zh) * 2018-05-31 2019-12-05 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
JP2020535538A (ja) * 2018-09-07 2020-12-03 北京市商▲湯▼科技▲開▼▲発▼有限公司Ｂｅｉｊｉｎｇ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．， Ｌｔｄ． 偽装防止の検出方法および装置、電子機器、記憶媒体
JP2021132321A (ja) * 2020-02-20 2021-09-09 株式会社セガ 撮影遊戯装置およびプログラム
US11410268B2 (en) 2018-05-31 2022-08-09 Beijing Sensetime Technology Development Co., Ltd Image processing methods and apparatuses, electronic devices, and storage media

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399654B (zh) * 2018-02-06 2021-10-22 北京市商汤科技开发有限公司 描边特效程序文件包的生成及描边特效生成方法与装置
CN110728618B (zh) * 2018-07-17 2023-06-27 淘宝（中国）软件有限公司 虚拟试妆的方法、装置、设备及图像处理方法
EP3669748A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. A mirror assembly
US11404086B2 (en) 2020-02-14 2022-08-02 Perfect Mobile Corp. Systems and methods for segment-based virtual application of makeup effects to facial regions displayed in video frames
US11922540B2 (en) 2020-02-14 2024-03-05 Perfect Mobile Corp. Systems and methods for segment-based virtual application of facial effects to facial regions displayed in video frames
KR20220157502A (ko) 2020-03-31 2022-11-29 스냅 인코포레이티드 증강 현실 미용 제품 튜토리얼들
CN111462007B (zh) * 2020-03-31 2023-06-09 北京百度网讯科技有限公司 图像处理方法、装置、设备及计算机存储介质
CN111932332B (zh) * 2020-06-04 2023-04-21 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备和计算机可读介质
US20220101404A1 (en) * 2020-09-28 2022-03-31 Snap Inc. Selecting color values for augmented reality-based makeup
US11798202B2 (en) 2020-09-28 2023-10-24 Snap Inc. Providing augmented reality-based makeup in a messaging system
US20220101405A1 (en) * 2020-09-30 2022-03-31 Revieve Oy System and method for determining a skin tone
CN113269608A (zh) * 2021-05-21 2021-08-17 深圳市方圆展示制品有限公司 一种基于vr虚拟可线上线下展示的智慧平台
CN113781330A (zh) * 2021-08-23 2021-12-10 北京旷视科技有限公司 图像处理方法、装置及电子系统
US11816144B2 (en) 2022-03-31 2023-11-14 Pinterest, Inc. Hair pattern determination and filtering

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256812A (ja) * 2002-02-26 2003-09-12 Kao Corp 化粧シミュレーション装置および方法
JP2010198382A (ja) * 2009-02-25 2010-09-09 Kao Corp シミュレーション装置、シミュレーション方法、及びコンピュータプログラム
JP2012256130A (ja) * 2011-06-07 2012-12-27 Omron Corp 画像処理装置、画像処理方法、および制御プログラム
JP2014131160A (ja) * 2012-12-28 2014-07-10 Furyu Kk 写真シール作成装置および方法
WO2014167831A1 (ja) * 2013-04-08 2014-10-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム
JP2016110416A (ja) * 2014-12-08 2016-06-20 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3723349B2 (ja) 1998-06-18 2005-12-07 株式会社資生堂 口紅色変換システム
US7336810B2 (en) * 2003-06-11 2008-02-26 KOSé CORPORATION Skin evaluation method and image simulation method
JP5078147B2 (ja) * 2008-03-04 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
US20090231356A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
EP3005085A1 (en) * 2013-05-29 2016-04-13 Nokia Technologies Oy An apparatus and associated methods
CN105263399B (zh) * 2013-06-07 2017-06-23 富士胶片株式会社 透明感评价装置、透明感评价方法
WO2015029371A1 (ja) * 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US10339685B2 (en) * 2014-02-23 2019-07-02 Northeastern University System for beauty, cosmetic, and fashion analysis
GB2548087B (en) * 2016-03-02 2022-05-11 Holition Ltd Locating and augmenting object features in images
US11120495B2 (en) * 2016-09-15 2021-09-14 GlamST LLC Generating virtual makeup products

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256812A (ja) * 2002-02-26 2003-09-12 Kao Corp 化粧シミュレーション装置および方法
JP2010198382A (ja) * 2009-02-25 2010-09-09 Kao Corp シミュレーション装置、シミュレーション方法、及びコンピュータプログラム
JP2012256130A (ja) * 2011-06-07 2012-12-27 Omron Corp 画像処理装置、画像処理方法、および制御プログラム
JP2014131160A (ja) * 2012-12-28 2014-07-10 Furyu Kk 写真シール作成装置および方法
WO2014167831A1 (ja) * 2013-04-08 2014-10-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム
JP2016110416A (ja) * 2014-12-08 2016-06-20 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鷲見 慎一郎、外２名: ""対話型進化計算を用いた顔画像小顔美観化システム"", 電子情報通信学会技術研究報告, vol. 110, no. 322, JPN6017038681, 25 November 2010 (2010-11-25), JP, pages 17 - 21, ISSN: 0004376150 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019227915A1 (zh) * 2018-05-31 2019-12-05 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11410268B2 (en) 2018-05-31 2022-08-09 Beijing Sensetime Technology Development Co., Ltd Image processing methods and apparatuses, electronic devices, and storage media
CN109271915A (zh) * 2018-09-07 2019-01-25 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
JP2020535538A (ja) * 2018-09-07 2020-12-03 北京市商▲湯▼科技▲開▼▲発▼有限公司Ｂｅｉｊｉｎｇ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．， Ｌｔｄ． 偽装防止の検出方法および装置、電子機器、記憶媒体
CN109271915B (zh) * 2018-09-07 2021-10-08 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
JP2021132321A (ja) * 2020-02-20 2021-09-09 株式会社セガ 撮影遊戯装置およびプログラム

Also Published As

Publication number Publication date
US20210304475A1 (en) 2021-09-30
US11069105B2 (en) 2021-07-20
US11501479B2 (en) 2022-11-15
WO2018070106A1 (ja) 2018-04-19
CN109844800B (zh) 2023-06-13
CN116883541A (zh) 2023-10-13
CN109844800A (zh) 2019-06-04
US20200051298A1 (en) 2020-02-13
JP6876941B2 (ja) 2021-05-26

Similar Documents

Publication Publication Date Title
JP6876941B2 (ja) バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム
JP5463866B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN109690617B (zh) 用于数字化妆镜的系统和方法
JP6864449B2 (ja) イメージの明るさを調整する方法及び装置
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
US8007110B2 (en) Projector system employing depth perception to detect speaker position and gestures
US9552655B2 (en) Image processing via color replacement
US20160267577A1 (en) Holographic interactive retail system
WO2018221092A1 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
US10373348B2 (en) Image processing apparatus, image processing system, and program
US9589178B2 (en) Image processing with facial features
US20130169827A1 (en) Method and system for make-up simulation on portable devices having digital cameras
JP2006215756A (ja) 画像処理装置および画像処理方法ならびにそのプログラム
US20160112616A1 (en) Hair Consultation Tool Arrangement and Method
JP5596427B2 (ja) 光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラム
CN113284220A (zh) 基于来自物理环境的环境光修改经渲染的图像数据
JP6844295B2 (ja) 画像処理装置及びプログラム
JPWO2016031254A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN115049803A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
JP2021089654A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015087811A (ja) 画像処理装置、画像処理方法、プログラム、及び、記録媒体
US9563940B2 (en) Smart image enhancements
WO2018105228A1 (ja) 画像処理装置、表示装置、画像処理装置の制御方法、および制御プログラム
JP6376673B2 (ja) 画像処理装置
JP2021168443A (ja) 電子機器、電子機器の制御方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201014

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210203

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210203

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210212

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210408

R151 Written notification of patent or utility model registration

Ref document number: 6876941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151