JP2018195996A - 画像投影装置、画像投影方法、及び、画像投影プログラム - Google Patents
画像投影装置、画像投影方法、及び、画像投影プログラム Download PDFInfo
- Publication number
- JP2018195996A JP2018195996A JP2017098648A JP2017098648A JP2018195996A JP 2018195996 A JP2018195996 A JP 2018195996A JP 2017098648 A JP2017098648 A JP 2017098648A JP 2017098648 A JP2017098648 A JP 2017098648A JP 2018195996 A JP2018195996 A JP 2018195996A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- image data
- unit
- optical axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】人間の顔や動きのある物体等のオブジェクトにメイクアップ等のための画像を投影して、リアルなオブジェクトとバーチャルな投影画像とをシンクロさせることができる画像投影装置を提供する。【解決手段】この画像投影装置は、第1の光軸に沿ってオブジェクトを撮像することにより、動画像を表す画像データを生成する撮像部と、撮像部によって生成される画像データに基づいて位置及び形状が調整された投影画像を、第2の光軸に沿ってオブジェクトに投影する投影部と、オブジェクト側において第1の光軸と第2の光軸とを略平行とする光学ユニットとを備える。【選択図】図5
Description
本発明は、人間の顔や動きのある物体等のオブジェクト(対象物又は対象体)に画像を投影する画像投影装置に関する。さらに、本発明は、そのような画像投影装置において用いられる画像投影方法及び画像投影プログラムに関する。
従来より、人間の顔をカメラ等で撮影して得られる画像に仮想的にメイクアップを施してディスプレイに表示するメイクアップシミュレーションが知られている。メイクアップシミュレーションによって生成される画像は、例えば、化粧品の販売店において、化粧品の販売促進のために利用されている。
メイクアップシミュレーションを利用すれば、化粧品の販売スタッフは、ディスプレイに表示される画像を消費者に見せながら、様々な化粧品を消費者に提案することができる。一方、化粧品の購入を検討している消費者は、ディスプレイに表示される画像を見ながら、何れの化粧品を購入するかを容易に判断することができる。
関連する技術として、特許文献1には、メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置が開示されている。この画像処理装置は、原画像に現された対象体からメイクアップ塗材を塗布すべき部位を指定する指定手段と、メイクアップ塗材の見本色を代表色とした色レンジを持つ複数の画素から構成される塗材塗布レイヤーを生成する生成手段と、原画像に塗材塗布レイヤーを合成する合成手段とを有する。
特許文献1において、塗材塗布レイヤーを構成する複数の画素の色レンジは、メイクアップ塗材が塗布されるべき原画像の部位を構成する複数画素の代表的な値と、メイクアップ塗材の見本色画素の値との比率に応じて、対象体の一部の部位を構成する複数画素の色レンジを拡大することで得られる。また、塗材塗布レイヤーの画素の値は、原画像の画素であって位置的に対応する画素の値を塗材塗布レイヤーの色レンジにマッピングすることで得られる。従って、様々な光学特性を持つメイクアップ塗材が塗布されて環境光が照らされている状態を、よりリアルに再現することができる。
しかしながら、特許文献1において、原画像に塗材塗布レイヤーを合成して得られる対象体の画像は、タブレット端末のタッチパネルディスプレイに表示される。従って、対象体の画像は、平板な2次元画像として表示されると共に、タッチパネルディスプレイの解像度やコントラスト等の制限を受けるので、実際の顔の立体的な陰影や連続的なコントラストをリアルに表現することは困難である。
そこで、上記の点に鑑み、本発明の第1の目的は、人間の顔や動きのある物体等のオブジェクトにメイクアップ等のための画像を投影して、リアルなオブジェクトとバーチャルな投影画像とをシンクロさせることができる画像投影装置を提供することである。また、本発明の第2の目的は、そのような画像投影装置において用いられる画像投影方法及び画像投影プログラムを提供することである。
以上の課題の少なくとも一部を解決するため、本発明の第1の観点に係る画像投影装置は、第1の光軸に沿ってオブジェクトを撮像することにより、動画像を表す画像データを生成する撮像部と、前記撮像部によって生成される画像データに基づいて位置及び形状が調整された投影画像を、第2の光軸に沿って前記オブジェクトに投影する投影部と、前記オブジェクト側において前記第1の光軸と前記第2の光軸とを略平行とする光学ユニットとを備える。
本発明の第2の観点に係る画像投影装置は、オブジェクトを撮像することにより、動画像を表す画像データを生成する撮像部と、前記撮像部によって生成される画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成する画像処理部と、前記画像処理部によって生成される投影画像データに基づいて、前記投影画像を前記オブジェクトに投影する投影部とを備える。
本発明の第3の観点に係る画像投影方法は、オブジェクトを撮像することにより、動画像を表す画像データを生成するステップ(a)と、前記画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成するステップ(b)と、前記投影画像データに基づいて、前記投影画像を前記オブジェクトに投影するステップ(c)とを備える。
本発明の第4の観点に係る画像投影プログラムは、撮像部によってオブジェクトを撮像することにより生成されて動画像を表す画像データを入力する手順(a)と、前記画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成する手順(b)と、前記投影画像データを投影部に出力して、前記投影画像を前記オブジェクトに投影させる手順(c)とをCPUに実行させる。
本発明のいずれかの観点によれば、人間の顔や動きのある物体等のオブジェクトを撮像して動画像を表す画像データを生成し、画像データに基づいて位置及び形状が調整された投影画像をオブジェクトに投影することにより、リアルなオブジェクトとバーチャルな投影画像とをシンクロさせることができる。
その結果、オブジェクトが3次元スクリーンとなって、投影画像が3次元スクリーン上に3次元的に表示されるので、オブジェクトの3次元形状と3次元的に表示された投影画像とが一体となって、立体的な陰影や連続的なコントラストをリアルに表現することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
<画像投影システム>
図1は、本発明の一実施形態に係る画像投影装置を含む画像投影システムの外観を示す模式図である。図1に示すように、この画像投影システムは、クライアント端末10と、画像投影装置20とを含み、人間の顔、各種の動物、又は、動きのある物体等のオブジェクトOBJを撮像して得られる画像データに基づいて、オブジェクトOBJに仮想的にメイクアップ等を施す投影画像を投影するために用いられる。以下においては、一例として、オブジェクトOBJが人間の顔である場合について説明する。
<画像投影システム>
図1は、本発明の一実施形態に係る画像投影装置を含む画像投影システムの外観を示す模式図である。図1に示すように、この画像投影システムは、クライアント端末10と、画像投影装置20とを含み、人間の顔、各種の動物、又は、動きのある物体等のオブジェクトOBJを撮像して得られる画像データに基づいて、オブジェクトOBJに仮想的にメイクアップ等を施す投影画像を投影するために用いられる。以下においては、一例として、オブジェクトOBJが人間の顔である場合について説明する。
<クライアント端末>
図2は、図1に示すクライアント端末の構成例を示すブロック図である。クライアント端末10は、例えば、タブレット端末、スマートフォン、又は、パーソナルコンピューター等で構成され、画像投影装置20を遠隔操作するために用いられる。図2に示すように、クライアント端末10は、操作部11と、制御部12と、格納部13と、表示部14と、通信インターフェース15とを含んでいる。
図2は、図1に示すクライアント端末の構成例を示すブロック図である。クライアント端末10は、例えば、タブレット端末、スマートフォン、又は、パーソナルコンピューター等で構成され、画像投影装置20を遠隔操作するために用いられる。図2に示すように、クライアント端末10は、操作部11と、制御部12と、格納部13と、表示部14と、通信インターフェース15とを含んでいる。
操作部11は、例えば、ボタンスイッチ、タッチパネル、ポインティングデバイス、又は、キーボード等を含み、ユーザーによる操作に応じた操作信号を制御部12に出力する。制御部12は、CPU(中央演算装置)を含み、プログラムに従って各種の制御処理や信号処理を実行する。例えば、制御部12は、操作部11から供給される操作信号に応じて、画像投影装置20を制御するためのコマンドの生成や画像データの処理を行うと共に、画像投影装置20との間で通信を行うために通信インターフェース15を制御する。
格納部13は、例えば、ROM(リードオンリー・メモリー)、RAM(ランダムアクセス・メモリー)、フラッシュメモリー、又は、ハードディスク等の記録媒体を含み、制御部12のCPUに各種の処理を実行させるためのソフトウェア(メイクアップ制御プログラム等)を格納している。
表示部14は、制御部12から供給される画像データ等に基づいて、タッチパネル等の表示パネルに操作画面等を表示させる。通信インターフェース15は、画像投影装置20との間でブルートゥース等による無線通信又は有線通信を行うことにより、制御部12から供給されるコマンドを画像投影装置20に送信する。
<画像投影装置>
図3は、図1に示す画像投影装置の構成例を示すブロック図である。図3に示すように、画像投影装置20は、操作部21と、画像処理部22と、格納部23と、表示部24と、通信インターフェース25と、入出力インターフェース26と、撮像部27と、投影部28とを含んでいる。なお、図3に示す構成要素の一部を省略又は変更しても良いし、あるいは、図3に示す構成要素に他の構成要素を付加しても良い。
図3は、図1に示す画像投影装置の構成例を示すブロック図である。図3に示すように、画像投影装置20は、操作部21と、画像処理部22と、格納部23と、表示部24と、通信インターフェース25と、入出力インターフェース26と、撮像部27と、投影部28とを含んでいる。なお、図3に示す構成要素の一部を省略又は変更しても良いし、あるいは、図3に示す構成要素に他の構成要素を付加しても良い。
操作部21は、例えば、ボタンスイッチ、タッチパネル、ポインティングデバイス、又は、キーボード等を含み、ユーザーによる操作に応じた操作信号を画像処理部22に出力する。それにより、クライアント端末10を用いなくても、画像投影装置20を操作することが可能である。
画像処理部22は、CPUを含み、プログラムに従って各種の信号処理や制御処理を実行する。例えば、画像処理部22は、クライアント端末10との間で通信を行うために通信インターフェース25を制御し、クライアント端末10から送信されるコマンド又は操作部11から供給される操作信号に応じて、画像投影装置20の各部を制御すると共に画像データの処理等を行う。
格納部23は、例えば、ROM、RAM、フラッシュメモリー、又は、ハードディスク等の記録媒体を含んでいる。例えば、ROM、フラッシュメモリー、又は、ハードディスクは、画像処理部22のCPUに各種の処理を実行させるためのソフトウェア(画像投影プログラム等)を格納している。また、RAMは、CPUの作業領域として用いられ、ROM等から読み出されたプログラムやデータ、クライアント端末10から送信されたデータ、又は、CPUがプログラムに従って実行した演算結果等を一時的に格納する。
表示部24は、画像処理部22から供給される画像データ等に基づいて、タッチパネル等の表示パネルに操作画面等を表示させる。通信インターフェース25は、クライアント端末10との間でブルートゥース等による無線通信又は有線通信を行うことにより、クライアント端末10から受信したコマンドを画像処理部22に出力する。
入出力インターフェース26は、画像処理部22と撮像部27及び投影部28との間で画像データ等を入出力するために用いられる。撮像部27は、オブジェクトOBJを撮像することにより、動画像を表す画像データを生成する。画像データは、入出力インターフェース26を介して画像処理部22に供給される。
画像処理部22は、撮像部27によって生成される画像データに基づいて位置及び形状が調整された投影画像(以下においては、「メイクアップ画像」ともいう)を表す投影画像データ(以下においては、「メイクアップ画像データ」ともいう)を生成する。撮像部27によって生成される画像データは動画像を表しているので、画像処理部22は、撮像部27によって生成される画像データに基づいて、オブジェクトOBJの動きに追従するメイクアップ画像を表すメイクアップ画像データを生成することができる。メイクアップ画像データは、入出力インターフェース26を介して投影部28に出力される。
投影部28は、画像処理部22によって生成されるメイクアップ画像データに基づいて、メイクアップ画像をオブジェクトOBJに投影する。それにより、オブジェクトOBJに、仮想的にメイクアップを施すメイクアップ画像が表示される。オブジェクトOBJが動いても、メイクアップ画像は、オブジェクトOBJの動きに追従する。
<光学系の配置>
図4は、図1に示す画像投影装置の外観を示す斜視図である。図4においては、画像投影装置20の上方UP、下方LO、前方FR、及び、後方RRが定義されている。図4に示すように、画像投影装置20は、筐体20aと、筐体20aに対して回動可能に取り付けられた開閉部20bとを含んでいる。開閉部20bは、図4(A)に示すように閉鎖状態としたり、又は、図4(B)に示すように開放状態とすることができる。
図4は、図1に示す画像投影装置の外観を示す斜視図である。図4においては、画像投影装置20の上方UP、下方LO、前方FR、及び、後方RRが定義されている。図4に示すように、画像投影装置20は、筐体20aと、筐体20aに対して回動可能に取り付けられた開閉部20bとを含んでいる。開閉部20bは、図4(A)に示すように閉鎖状態としたり、又は、図4(B)に示すように開放状態とすることができる。
図5は、図1に示す画像投影装置における光学系の配置例を示す模式図である。この例においては、図3に示す操作部21〜撮像部27が、動画を撮影することが可能なスマートフォン30で構成されている。画像投影装置20の筐体20a内には、撮像部27を有するスマートフォン30と、投射レンズ28aを有する投影部28とが配置されている。
撮像部27は、第1の光軸OP1に沿ってオブジェクトOBJを撮像することにより、動画像を表す画像データを生成する。投影部28は、撮像部27によって生成される画像データに基づいて位置及び形状が調整されたメイクアップ画像を、第2の光軸OP2に沿ってオブジェクトOBJに投影する。
画像投影装置20は、オブジェクトOBJ側において第1の光軸OP1と第2の光軸OP2とを略平行とする光学ユニットを備えている。例えば、光学ユニットは、第1の光軸OP1又は第2の光軸OP2に沿って進む光を反射するミラーを含むミラーユニットで構成される。図5に示すミラーユニットMUは、第2の光軸OP2に沿って進む光を反射するミラー31に加えて、第2のミラーとして、第1の光軸OP1に沿って進む光及び第2の光軸OP2に沿って進む光を反射するミラー32を含んでいる。
ミラー31は、画像投影装置20の筐体20a内に、投影部28の投影方向に対して所定の角度を形成するように配置されている。一方、ミラー32は、開閉部20bの裏面に配置されて開閉部20bの回転軸を中心に回動可能に設けられており、オブジェクトOBJ側における第1の光軸OP1及び第2の光軸OP2の方向を調整可能とする。
それにより、オブジェクトOBJが画像投影装置20に対して上下方向に移動しても、開閉部20bの角度を調整することにより、オブジェクトOBJから放射される光が撮像部27に入射すると共に、投影部28から放射される光がオブジェクトOBJに照射されるようにすることができる。なお、撮像部27の撮像方向がオブジェクトOBJを向くように画像投影装置20を配置できる場合には、ミラー32を省略しても良い。
ミラーユニットMUは、ミラーユニットMUよりもオブジェクトOBJ側において第1の光軸OP1と第2の光軸OP2とがなす角αを約0°とする。さらに好ましくは、ミラーユニットMUは、ミラーユニットMUよりもオブジェクトOBJ側において第1の光軸OP1と第2の光軸OP2とを完全に平行(α=0°)とする。
図5に示す例においては、撮像部27の撮像方向が、画像投影装置20の上方UPを向いている。オブジェクトOBJから放射される光は、第1の光軸OP1に沿って進み、ミラー32によって下方LOに向けて反射されて、撮像部27に入射する。一方、投影部28の投影方向は、画像投影装置20の後方RRを向いている。投影部28から放射される光は、ミラー31によって上方UPに向けて反射され、さらに、ミラー32によって前方FRに向けて反射されて第2の光軸OP2に沿って進み、オブジェクトOBJに照射される。
この例において、撮像部27の撮像方向と投影部28の投影方向とがなす角は約90°であるが、ミラーユニットMUによって折り曲げられた第1の光軸OP1と第2の光軸OP2とは、ミラーユニットMUよりもオブジェクトOBJ側において略平行となっている(α≒0°)。
さらに、ミラーユニットMUによって第1の光軸OP1と第2の光軸OP2との間の距離を短くして、第1の光軸OP1と第2の光軸OP2とを略同軸にしても良い。例えば、ミラー31としてハーフミラーを用いて、オブジェクトOBJから放射される光がハーフミラーを透過して撮像部27に入射すると共に、投影部28から放射される光がハーフミラーによって反射されてオブジェクトOBJに照射されるようにハーフミラーを配置することにより、第1の光軸OP1と第2の光軸OP2とを同軸にすることができる。
ただし、ハーフミラーを用いる場合には、撮像部27に入射する光や投影部28から放射される光がハーフミラーによって減衰するので、撮像部27において高感度カメラを使用したり、投影部28において高出力プロジェクターを使用したりする必要が生じて、画像投影装置のコストが上昇する。一方、ハーフミラーではなく通常のミラーを用いる場合には、上記のような光の減衰が生じないので、特別な機器を用いることなく汎用機器を用いて画像投影装置のコストを低減することができる。
オブジェクトOBJ側において第1の光軸OP1と第2の光軸OP2とを略平行(略同軸を含む)にすれば、撮像部27からオブジェクトOBJまでの第1の光軸OP1に沿った距離zが変化しても、オブジェクトOBJにおける第1の光軸OP1と第2の光軸OP2との相対的な位置関係を略一定に保つことができる。従って、オブジェクトOBJとオブジェクトOBJに投影されるメイクアップ画像とのずれは、光軸に直交する2次元平面内において調整すれば良い。
<画像処理>
次に、図3に示す画像投影装置20の画像処理部22によって行われる画像処理について詳しく説明する。
画像処理部22は、撮像部27によって生成される画像データに画像処理を施すことにより、図5に示すオブジェクトOBJにおける複数の特徴点を抽出してそれらの特徴点の座標を求め、それらの特徴点の座標に基づいて位置及び形状が調整されたメイクアップ画像を表すメイクアップ画像データを生成する。
次に、図3に示す画像投影装置20の画像処理部22によって行われる画像処理について詳しく説明する。
画像処理部22は、撮像部27によって生成される画像データに画像処理を施すことにより、図5に示すオブジェクトOBJにおける複数の特徴点を抽出してそれらの特徴点の座標を求め、それらの特徴点の座標に基づいて位置及び形状が調整されたメイクアップ画像を表すメイクアップ画像データを生成する。
オブジェクトOBJが人間の顔である場合に、まず、画像処理部22は、撮像部27から入力される画像データによって表される画像(以下においては、「入力画像」ともいう)における人間の顔の位置を検出する。例えば、画像処理部22は、OpenCV等のソフトウェアを用いて、人間の顔の位置や領域等を検出することができる。
次に、画像処理部22は、格納部23に予め格納されている学習データに基づいて、オブジェクトOBJを撮像して得られる画像データに顔認識処理を施すことにより、入力画像における人間の顔の複数の部位(例えば、顔の輪郭、目、頬、及び、唇)の位置を特定する複数の特徴点を抽出して、それらの特徴点の座標を求める。
格納部23には、例えば、標準的な人間の顔又はその模型等の被写体を用いて、撮像部27から第1の光軸OP1に沿った標準距離z0(図5)に位置する被写体を予め撮影して得られた画像を表す画像データと、その画像において設定された複数の特徴点の座標と、それらの特徴点が位置する部位を特定するコードとが、学習データとして予め格納されている。
この顔認識処理においては、例えば、アクティブ・アピアランス・モデル(AAM)が用いられる。アクティブ・アピアランス・モデルとは、対象となる物体の画像を形状(shape)とテクスチャー(appearance)とに分けて、それぞれを主成分分析(principal component analysis)によって次元圧縮することにより、少ないパラメーターで対象の形状の変化とテクスチャーの変化とを表現できるようにしたモデルである。形状及びテクスチャーの情報は、低次元のパラメーターで表現することができる。
アクティブ・アピアランス・モデルにおいて、全特徴点を並べた形状ベクトルxは、予め学習データから求められた平均形状ベクトルuと、平均形状ベクトルuからの偏差を主成分分析して得られる固有ベクトル行列Psとを用いて、次式(1)によって表される。
x=u+Psbs ・・・(1)
ここで、bsは、パラメーターベクトルであり、形状パラメーターと呼ばれる。
x=u+Psbs ・・・(1)
ここで、bsは、パラメーターベクトルであり、形状パラメーターと呼ばれる。
また、正規化されたテクスチャーの輝度値を並べたアピアランスベクトルgは、予め学習データから求められた平均アピアランスベクトルvと、平均アピアランスベクトルvからの偏差を主成分分析して得られる固有ベクトル行列Pgとを用いて、次式(2)によって表される。
g=v+Pgbg ・・・(2)
ここで、bgは、パラメーターベクトルであり、アピアランスパラメーターと呼ばれる。形状パラメーターbs及びアピアランスパラメーターbgは、平均からの変化を表すパラメーターであり、これらを変化させることによって、形状及びアピアランスを変化させることができる。
g=v+Pgbg ・・・(2)
ここで、bgは、パラメーターベクトルであり、アピアランスパラメーターと呼ばれる。形状パラメーターbs及びアピアランスパラメーターbgは、平均からの変化を表すパラメーターであり、これらを変化させることによって、形状及びアピアランスを変化させることができる。
また、形状とアピアランスとの間に相関があることから、形状パラメーターbs及びアピアランスパラメーターbgをさらに主成分分析することにより、形状とアピアランスとの両方を制御する低次元のパラメーターベクトル(以下においては、「結合パラメーター」ともいう)cを用いて、形状ベクトルx(c)及びテクスチャーベクトルg(c)が、次式(3)及び(4)によって表される。
x(c)=u+PsWs −1Qsc ・・・(3)
g(c)=v+PgQgc ・・・(4)
ここで、Wsは、形状ベクトルとアピアランスベクトルとの単位の違いを正規化する行列であり、Qsは、形状に関する固有ベクトル行列であり、Qgは、アピアランスに関する固有ベクトル行列である。このようにして、結合パラメーターcを制御することによって、形状とアピアランスとを同時に扱い、対象の変化を表現することが可能となる。
x(c)=u+PsWs −1Qsc ・・・(3)
g(c)=v+PgQgc ・・・(4)
ここで、Wsは、形状ベクトルとアピアランスベクトルとの単位の違いを正規化する行列であり、Qsは、形状に関する固有ベクトル行列であり、Qgは、アピアランスに関する固有ベクトル行列である。このようにして、結合パラメーターcを制御することによって、形状とアピアランスとを同時に扱い、対象の変化を表現することが可能となる。
次に、対象が、画像中のどこに、どんなサイズで、どんな向きで存在するかという広域的な変化に関するパラメーター(以下においては、「姿勢パラメーター」ともいう)qを考慮する。姿勢パラメーターqは、次式(5)によって表される。
q=[roll scale trans_x trans_y] ・・・(5)
ここで、rollは、画像平面に対するモデルの回転角度を表し、scaleは、モデルのサイズを表し、trans_x及びtrans_yは、それぞれx軸方向及びy軸方向におけるモデルの平行移動量を表している。
q=[roll scale trans_x trans_y] ・・・(5)
ここで、rollは、画像平面に対するモデルの回転角度を表し、scaleは、モデルのサイズを表し、trans_x及びtrans_yは、それぞれx軸方向及びy軸方向におけるモデルの平行移動量を表している。
アクティブ・アピアランス・モデルにおいて、モデルの探索とは、モデルを結合パラメーターc及び姿勢パラメーターqによって局所的及び広域的に変化させて対象の画像を生成し、生成された画像と入力画像とを比較して、誤差が最小となるような結合パラメーターc及び姿勢パラメーターqを求めることである。アクティブ・アピアランス・モデルによれば、対象の方向の変化に対して頑健かつ高速に特徴点を抽出することが可能である。
具体的には、ある結合パラメーターc’及び姿勢パラメーターq’に対して、結合パラメーターc’から得られる形状パラメーターbs’と姿勢パラメーターq’とによって形状Xを変形する関数をW(X;q’,bs’)とする。また、入力画像Imgと形状Xとが与えられたときに形状X内の輝度値を求める関数をI(Img,X)とすると、モデルの探索における誤差値Erは、次式(6)によって表される。
Er=[(v+PgQgc’)−I(Img,W(X;q’,bs’))]2
・・・(6)
Er=[(v+PgQgc’)−I(Img,W(X;q’,bs’))]2
・・・(6)
例えば、人間の顔を構成するN個の形状X(1)、X(2)、・・・、X(N)についてそれぞれの誤差値が求められる場合に(Nは自然数)、それぞれの誤差値をEr(1)、Er(2)、・・・、Er(N)とすると、フィット率Frは、次式(7)によって表される。
Fr=(Er(1)+Er(2)+・・・+Er(N))/N ・・・(7)
従って、誤差値Er又はフィット率Frが小さくなるような結合パラメーターc及び姿勢パラメーターqを決定することにより、高精度な顔認識を行うことができる。
Fr=(Er(1)+Er(2)+・・・+Er(N))/N ・・・(7)
従って、誤差値Er又はフィット率Frが小さくなるような結合パラメーターc及び姿勢パラメーターqを決定することにより、高精度な顔認識を行うことができる。
このようにして、画像処理部22は、図5に示すオブジェクトOBJを撮像して得られる画像データに画像処理を施すことにより、オブジェクトOBJにおける複数の特徴点のx座標及びy座標を求めることができる。ここで、x座標は、第1の光軸OP1に直交する2次元平面内の水平方向(x軸方向)における座標であり、y座標は、第1の光軸OP1に直交する2次元平面内の垂直方向(y軸方向)における座標である。なお、画像処理部22は、入力画像における各々の特徴点のx座標又はy座標をピクセル番号で求めても良い。
さらに、画像処理部22は、オブジェクトOBJにおける複数の特徴点のx座標及びy座標に基づいて、第1の光軸OP1に沿ったz軸方向における標準距離z0からのオブジェクトOBJのずれを求めることができる。例えば、画像処理部22は、学習データの画像と入力画像とにおいて、x軸方向における人間の顔の輪郭の両端間の距離Dを求め、入力画像における距離D1が学習データの画像における距離D0のa倍である場合に、撮像部27から第1の光軸OP1に沿った人間の顔までの距離z1が標準距離z0の1/a倍であると判定しても良い。
<メイクアップ画像の選択>
オブジェクトOBJが人間の顔である場合に、メイクアップ画像は、人間の顔の所望の部位(例えば、顔全体、目、頬、唇)に仮想的にメイクアップを施すために用いられる。以下においては、1つの部位についてのメイクアップ画像を塗布マスク画像という。
オブジェクトOBJが人間の顔である場合に、メイクアップ画像は、人間の顔の所望の部位(例えば、顔全体、目、頬、唇)に仮想的にメイクアップを施すために用いられる。以下においては、1つの部位についてのメイクアップ画像を塗布マスク画像という。
例えば、所望の肌色を有するファンデーションのメイクアップを顔全体に施す塗布マスク画像(SHAPE)と、アイシャドウ又はアイラインのグラデーションのメイクアップを目の周囲に施す塗布マスク画像(EYE)と、所望の形状及び色彩を有するチークカラーのメイクアップを頬に施す塗布マスク画像(CHEEK)と、所望の形状及び色彩を有する口紅のメイクアップを唇に施す塗布マスク画像(RIP)とが用意されている。
図6は、本発明の一実施形態において用いられる塗布情報データベースにおけるデータ構造の例を示す図である。クライアント端末10の格納部13には、メイクアップ画像の基礎となるパラメータセットを塗布情報として含む塗布情報データベースが格納されている。図6に示すように、塗布情報データベースは、「商品名」フィールドと、「メイクアップID」フィールドと、「画像タイトル」フィールドと、「塗布色」フィールドと、「塗布濃度」フィールドとを含んでいる。
「商品名」フィールドは、メイクアップ商品名を表す商品名データ(「ABC」等)を含んでいる。「メイクアップID」フィールドは、塗布マスク画像を特定するメイクアップID(「MAKE101」等)を含んでいる。「画像タイトル」フィールドは、メイクアップの対象となる部位(以下、「対象部位」ともいう)及び塗布マスク画像の形状を表すマスク形状データファイルを特定する画像タイトル(ファイル名「SHAPE1」等)を含んでいる。
「塗布色」フィールドは、塗布マスク画像の色を表す色コードを含んでいる。図6に示す例においては、色コードが、3原色の画素値を表すRコード、Gコード、及び、Bコードからなり、画素値の最小値がゼロで、画素値の最大値が255とされている。「塗布濃度」フィールドは、塗布マスク画像の塗布濃度を設定するための塗布濃度係数を含んでいる。
ここで、色コードによって表される画素値と塗布濃度係数との積が、塗布マスク画像のR、G、Bの輝度を表している。従って、色コードによって塗布マスク画像の色相を設定しておき、塗布濃度係数によって塗布マスク画像の塗布濃度(輝度)のみを変更することが可能である。
ユーザー(化粧品の販売スタッフ等)がクライアント端末10の操作部11を操作することによってメイクアップ制御プログラムを起動させると、制御部12のCPUは、メイクアップ制御プログラムに従って一連の手順を実行する。まず、制御部12は、塗布情報データベースに基づいて、複数のメイクアップ商品名を含む選択画面を表示部14に表示する。
ユーザーが、所望のメイクアップ商品名、例えば、「JKL」を選択すると、制御部12は、選択されたメイクアップ商品名に対応する複数のメイクアップIDを含む選択画面を表示部14に表示する。その際に、制御部12は、塗布情報データベースに含まれている色コードに基づいて、複数のメイクアップIDに対応する複数の塗布色を、例えば、口紅(リップスティック)の色見本として表示部14に表示しても良い。
ユーザーが、所望のメイクアップIDを選択すると、制御部12は、選択されたメイクアップIDを含むコマンドを、通信インターフェース15を介して画像投影装置20に送信する。なお、ユーザーは、複数の部位について複数のメイクアップIDをそれぞれ選択することも可能である。
<メイクアップ画像データの生成>
画像投影装置20においては、画像処理部22のCPUが、画像投影プログラムに従って一連の手順を実行する。画像処理部22は、クライアント端末10から送信されたコマンドを、通信インターフェース25を介して受信する。また、格納部23には、図6に示す塗布情報データベース、塗布マスク画像の形状を表す複数のマスク形状データファイル、及び、顔認識処理において用いられる学習データが予め格納されている。
画像投影装置20においては、画像処理部22のCPUが、画像投影プログラムに従って一連の手順を実行する。画像処理部22は、クライアント端末10から送信されたコマンドを、通信インターフェース25を介して受信する。また、格納部23には、図6に示す塗布情報データベース、塗布マスク画像の形状を表す複数のマスク形状データファイル、及び、顔認識処理において用いられる学習データが予め格納されている。
画像処理部22は、受信したコマンドに含まれているメイクアップIDに対応する画像タイトル、色コード、及び、塗布濃度係数を、格納部23に格納されている塗布情報データベースから読み出し、さらに、画像タイトルに基づいて、塗布マスク画像の形状を表すマスク形状データファイルを格納部23から読み出す。それにより、メイクアップの対象となる部位(対象部位)が特定されると共に、塗布マスク画像に関するマスクデータが得られる。
また、画像処理部22は、格納部23から学習データを読み出し、先に説明した画像処理によって、撮像部27から入力される画像データによって表される入力画像から、人間の顔の輪郭、目、頬、及び、唇の位置を特定する複数の特徴点を抽出して、それらの特徴点のx座標及びy座標を求める。
画像処理部22は、複数の特徴点のx座標及びy座標を、それらの特徴点が位置する部位を特定するコードに対応付けて、座標データとして格納部23に格納する。さらに、画像処理部22は、撮像部27によって撮像された人間の顔のz軸方向における標準距離z0からのずれを表すパラメーターを求め、座標データとして格納部23に格納する。
次に、画像処理部22は、座標データに基づいてマスクデータにマスク変形処理を施すことにより、マスクデータによって特定される塗布マスク画像の位置及び形状を、撮像部27によって生成される画像データに基づいて調整して、メイクアップ画像を表すメイクアップ画像データを生成する。
そのために、入力画像における座標又は距離と塗布マスク画像における座標又は距離との対応関係が、格納部23に予め格納されている。画像処理部22は、投影部28によってオブジェクトOBJ(図5)に投影される塗布マスク画像の位置及び形状が、入力画像から抽出された複数の特徴点のx座標及びy座標によって特定される対象部位の位置及び形状に整合するように、マスクデータを調整する。
例えば、所望の形状及び色彩を有する口紅のメイクアップを唇に施す塗布マスク画像をオブジェクトOBJに投影する場合に、画像処理部22は、オブジェクトOBJに投影される塗布マスク画像の位置及び形状が、入力画像から抽出された複数の特徴点のx座標及びy座標によって特定される唇の位置及び形状に略一致するようにマスクデータを調整する。
その際に、図5に示すように標準距離z0において第1の光軸OP1の位置と第2の光軸OP2の位置とがずれている場合には、画像処理部22が、それらのずれ量に応じて塗布マスク画像の位置を補正するようにマスクデータを調整する。また、z軸方向においてオブジェクトOBJの位置が標準距離z0からずれている場合には、画像処理部22が、撮像部27から第1の光軸OP1に沿ったオブジェクトOBJまでの距離z1が標準距離z0の1/a倍であれば、塗布マスク画像の全体的な形状(サイズ)をa倍に拡大又は縮小するようにマスクデータを調整する。
このようにして、画像処理部22は、マスクデータに基づいてメイクアップ画像データを生成する。クライアント端末10から送信されるコマンドに複数のメイクアップIDが含まれている場合には、画像処理部22が、オブジェクトOBJに含まれている複数の対象部位にそれぞれ投影すべき複数の塗布マスク画像を合成することにより、メイクアップ画像を表すメイクアップ画像データを生成する。
画像処理部22が、入出力インターフェース26を介して投影部28にメイクアップ画像データを出力すると、投影部28は、メイクアップ画像データに基づいて、メイクアップ画像をオブジェクトOBJに投影する。図5に示すように、投影部28から放射される光は、ミラー31及びミラー32の順に反射されてオブジェクトOBJに照射される。それにより、メイクアップ画像がオブジェクトOBJに投影される。
例えば、オブジェクトOBJが化粧品の購入を検討している消費者である場合に、消費者は、画像投影装置20の近傍に配置された鏡(図示せず)を介して、自身の顔に投影されたメイクアップ画像を見ることができる。化粧品の販売スタッフは、メイクアップ画像を消費者に見せながら、様々な化粧品を消費者に提案することができる。一方、化粧品の購入を検討している消費者は、メイクアップ画像を見ながら、何れの化粧品を購入するかを容易に判断することができる。
しかしながら、オブジェクトが人間の顔である場合に、投影部28からの投影光が人間の黒目に照射されると眩しく感じられる。そこで、画像処理部22は、入力画像において人間の目の位置を特定する複数の特徴点を抽出してそれらの特徴点の座標を求め、それらの特徴点の座標に基づいて、人間の黒目に投影される部分が周囲の部分よりも暗いメイクアップ画像を表すメイクアップ画像データを生成することが望ましい。
図7は、メイクアップ画像データが生成される過程を示す模式図である。図7には、4つの部位について4つのメイクアップIDがそれぞれ選択された場合が示されている。画像処理部22は、入力画像における4つの対象部位の座標に基づいてそれぞれ調整された塗布マスク画像PMI(1)〜PMI(4)(図7(A))を合成することにより、合成された塗布マスク画像PMI(図7(B))を生成する。さらに、画像処理部22は、塗布マスク画像PMIの一部の領域(以下、「フィルタ領域」という)FCにフィルタ処理を施すことにより、メイクアップ画像MUI(図7(C))を生成する。
具体的には、画像処理部22が、入力画像において人間の目の位置を特定する複数の特徴点の座標に基づいて、図8に示す塗布マスク画像PMIにおいて、人間の目に相当する領域FA1を特定する。次に、画像処理部22は、領域FA1において、黒目に相当する領域FA2を特定するためのポイントP1〜P4を決定する。ポイントP1〜P4によって特定される領域(例えば、ポイントP1〜P4によって決まる矩形領域に内接する円形領域)がフィルタ領域である。
さらに、画像処理部22は、塗布マスク画像PMIのフィルタ領域に所定のフィルタ処理を施すことにより、フィルタ領域が暗くなるようにフィルタ領域の色情報をフィルタ色情報FCに変換してメイクアップ画像MUIを生成する(図7(C))。フィルタ色情報FCは、例えば、黒を表している。それにより、投影光が人間に照射されても眩しく感じられないメイクアップ画像MUIが生成される。
<画像投影方法>
次に、本発明の一実施形態に係る画像投影装置によって実施される画像投影方法について、図1〜図9を参照しながら説明する。図9は、本発明の一実施形態に係る画像投影方法を示すフローチャートである。なお、互いに独立な処理については、それらを並列に行っても良い。
次に、本発明の一実施形態に係る画像投影装置によって実施される画像投影方法について、図1〜図9を参照しながら説明する。図9は、本発明の一実施形態に係る画像投影方法を示すフローチャートである。なお、互いに独立な処理については、それらを並列に行っても良い。
準備段階として、ユーザー(化粧品の販売スタッフ等)が、クライアント端末10の操作部11を操作することにより、複数のメイクアップIDの内から所望のメイクアップIDを選択する。クライアント端末10は、選択されたメイクアップIDを含むコマンドを画像投影装置20に送信する。
それにより、図9に示すステップS1において、画像投影装置20の画像処理部22が、選択されたメイクアップIDに対応する塗布マスク画像を特定するマスクデータを格納部23から読み出す。即ち、画像処理部22は、受信したコマンドに含まれているメイクアップIDに対応する画像タイトル、色コード、及び、塗布濃度係数を塗布情報データベース(図6)から読み出し、さらに、画像タイトルに基づいて、塗布マスク画像の形状を表すマスク形状データファイルを読み出す。
また、ステップS2において、画像処理部22が、格納部23から学習データを読み出す。一方、オブジェクトOBJとなる人間が、画像投影装置20のミラー32(図5)に対して顔を向けた姿勢をとる。ここで、撮像部27からオブジェクトOBJまでの第1の光軸OP1に沿った距離zが標準距離z0からずれたとしても、撮像部27の第1の光軸OP1と投影部28の第2の光軸OP2とが略平行であれば、オブジェクトOBJとオブジェクトOBJに投影されるメイクアップ画像とのずれは、2次元的なマスク変形処理によって調整可能である。
オブジェクトOBJとなる人間は、ミラー32に対して正面顔を向けても良いし、顔をやや傾けても良い。いずれにしても、撮像部27の第1の光軸OP1及び投影部28の第2の光軸OP2が、顔の正中線を通ることが望ましい。なお、正中線とは、左右対称形の生物体において、前面・背面の中央を頭から縦にまっすぐ通る線のことをいう。
ステップS3において、撮像部27が、オブジェクトOBJを撮像することにより、動画像を表す画像データを生成して画像処理部22に出力する。画像処理部22は、撮像部27によってオブジェクトOBJを撮像することにより生成される画像データを、撮像部27から入力する。
ステップS4〜S7において、画像処理部22が、撮像部27によって生成される画像データに基づいて位置及び形状が調整されたメイクアップ画像を表すメイクアップ画像データを生成する。
具体的には、ステップS4において、画像処理部22が、学習データに基づいて、撮像部27によって生成される画像データに顔認識処理を施すことにより、撮像部27から入力される画像データによって表される入力画像から複数の特徴点を抽出する。ステップS5において、画像処理部22が、顔認識処理が成功したか否かを判定する。
例えば、学習データにおいて設定された複数の特徴点に対応する全ての特徴点が入力画像から抽出された場合に、顔認識処理が成功したと判定される。顔認識処理が成功しなかった場合には、処理がステップS3に戻り、顔認識処理が成功した場合には、処理がステップS6に移行する。
ステップS6において、画像処理部22が、入力画像から抽出された複数の特徴点の座標を表す座標データを求める。ステップS7において、画像処理部22が、複数の特徴点の座標データに基づいてマスクデータにマスク変形処理を施して、メイクアップ画像を表すメイクアップ画像データを生成する。具体的には、画像処理部22が、塗布マスク画像の位置及び形状を複数の特徴点の座標に合わせて調整することにより、複数の特徴点の座標に基づいて位置及び形状が調整されたメイクアップ画像を表すメイクアップ画像データを生成する。
ステップS8において、画像処理部22が、メイクアップ画像データを投影部28に出力する。それにより、投影部28が、メイクアップ画像データに基づいて、メイクアップ画像をオブジェクトOBJに投影する。オブジェクトOBJは、動的な3次元スクリーンとして機能して、オブジェクトOBJに対するプロジェクションマッピングが行われる。その後、処理がステップS3に戻る。
一般に、動的な3次元スクリーンの場合には、メイクアップ画像が投影される位置が常に変化するので、3次元スクリーンの位置を常時判定して投影位置を制御する必要がある。本実施形態によれば、人間の顔や動きのある物体等のオブジェクトOBJを撮像して動画像を表す画像データを生成し、画像データに基づいて位置及び形状が調整されたメイクアップ画像をオブジェクトOBJに投影することにより、リアルなオブジェクトOBJとバーチャルなメイクアップ画像とをシンクロさせることができる。
その結果、オブジェクトOBJが3次元スクリーンとなって、メイクアップ画像が3次元スクリーン上に3次元的に表示されるので、オブジェクトOBJの3次元形状と3次元的に表示されたメイクアップ画像とが一体となって、立体的な陰影や連続的なコントラストをリアルに表現することができる。
投影部28が2次元デジタル画像データに基づいてデジタルのメイクアップ画像を投影する場合においても、投影光の波長やビーム幅は連続的な広がりを有している。従って、メイクアップ画像をオブジェクトOBJに投影することにより、オブジェクトOBJの表面においては、メイクアップ画像のコントラストが連続的に変化しているように見える。
本発明は、以上説明した実施形態に限定されるものではなく、当該技術分野において通常の知識を有する者によって、本発明の技術的思想内で多くの変形が可能である。
本発明は、人間の顔や動きのある物体等のオブジェクトに画像を投影する画像投影装置等において利用することが可能である。
10…クライアント端末、11…操作部、12…制御部、13…格納部、14…表示部、15…通信インターフェース、20…画像投影装置、20a…筐体、20b…開閉部、21…操作部、22…画像処理部、23…格納部、24…表示部、25…通信インターフェース、26…入出力インターフェース、27…撮像部、28…投影部、28a…投射レンズ、30…スマートフォン、31、32…ミラー
Claims (10)
- 第1の光軸に沿ってオブジェクトを撮像することにより、動画像を表す画像データを生成する撮像部と、
前記撮像部によって生成される画像データに基づいて位置及び形状が調整された投影画像を、第2の光軸に沿って前記オブジェクトに投影する投影部と、
前記オブジェクト側において前記第1の光軸と前記第2の光軸とを略平行とする光学ユニットと、
を備える画像投影装置。 - 前記光学ユニットが、前記第1又は第2の光軸に沿って進む光を反射するミラーを含む、請求項1記載の画像投影装置。
- 前記光学ユニットが、前記第1の光軸に沿って進む光及び前記第2の光軸に沿って進む光を反射する第2のミラーであって、回転軸を中心に回動可能に設けられ、前記オブジェクト側における前記第1及び第2の光軸の方向を調整可能とする前記第2のミラーをさらに含む、請求項2記載の画像投影装置。
- オブジェクトを撮像することにより、動画像を表す画像データを生成する撮像部と、
前記撮像部によって生成される画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成する画像処理部と、
前記画像処理部によって生成される投影画像データに基づいて、前記投影画像を前記オブジェクトに投影する投影部と、
を備える画像投影装置。 - 前記画像処理部が、前記撮像部によって生成される画像データに基づいて、前記オブジェクトの動きに追従する投影画像を表す投影画像データを生成する、請求項4記載の画像投影装置。
- 前記画像処理部が、前記撮像部によって生成される画像データに画像処理を施すことにより、前記オブジェクトにおける複数の特徴点を抽出して該複数の特徴点の座標を求め、該複数の特徴点の座標に基づいて位置及び形状が調整された投影画像を表す投影画像データを生成する、請求項4又は5記載の画像投影装置。
- 前記オブジェクトが人間の顔であり、
前記画像処理部が、前記人間の目の位置を特定する複数の特徴点を抽出して該複数の特徴点の座標を求め、該複数の特徴点の座標に基づいて、前記人間の黒目に投影される部分が周囲の部分よりも暗い投影画像を表す投影画像データを生成する、
請求項6記載の画像投影装置。 - 前記画像処理部が、前記オブジェクトに含まれている複数の部位にそれぞれ投影すべき複数の塗布マスク画像を合成することにより、前記投影画像を表す投影画像データを生成する、請求項4〜7のいずれか1項記載の画像投影装置。
- オブジェクトを撮像することにより、動画像を表す画像データを生成するステップ(a)と、
前記画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成するステップ(b)と、
前記投影画像データに基づいて、前記投影画像を前記オブジェクトに投影するステップ(c)と、
を備える画像投影方法。 - 撮像部によってオブジェクトを撮像することにより生成されて動画像を表す画像データを入力する手順(a)と、
前記画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成する手順(b)と、
前記投影画像データを投影部に出力して、前記投影画像を前記オブジェクトに投影させる手順(c)と、
をCPUに実行させる画像投影プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098648A JP2018195996A (ja) | 2017-05-18 | 2017-05-18 | 画像投影装置、画像投影方法、及び、画像投影プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098648A JP2018195996A (ja) | 2017-05-18 | 2017-05-18 | 画像投影装置、画像投影方法、及び、画像投影プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018195996A true JP2018195996A (ja) | 2018-12-06 |
Family
ID=64571860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017098648A Pending JP2018195996A (ja) | 2017-05-18 | 2017-05-18 | 画像投影装置、画像投影方法、及び、画像投影プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018195996A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111782854A (zh) * | 2020-07-07 | 2020-10-16 | 科珑诗菁生物科技(上海)有限公司 | 多视角投影美妆方法、及多视角投影美妆穿戴设备 |
CN113574860A (zh) * | 2019-03-13 | 2021-10-29 | 莱雅公司 | 用于将数字内容投影到用户面部表面的系统、设备和方法 |
JP2022524451A (ja) * | 2019-03-13 | 2022-05-02 | ロレアル | 髪色変更を含むデジタルコンテンツを使用者の頭部、顔、または体に投影するためのシステム、デバイス、および方法 |
WO2022215772A1 (ko) * | 2021-04-07 | 2022-10-13 | 이지현 | 화장품 추천 방법 및 이를 구현하는 화장품 표시 시스템 |
WO2024023889A1 (ja) * | 2022-07-25 | 2024-02-01 | 株式会社コーセー | シミュレーションシステム及びシミュレーション方法 |
-
2017
- 2017-05-18 JP JP2017098648A patent/JP2018195996A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113574860A (zh) * | 2019-03-13 | 2021-10-29 | 莱雅公司 | 用于将数字内容投影到用户面部表面的系统、设备和方法 |
JP2022524451A (ja) * | 2019-03-13 | 2022-05-02 | ロレアル | 髪色変更を含むデジタルコンテンツを使用者の頭部、顔、または体に投影するためのシステム、デバイス、および方法 |
JP2022525115A (ja) * | 2019-03-13 | 2022-05-11 | ロレアル | 使用者の顔面にデジタルコンテンツを投影するためのシステム、デバイス、および方法 |
JP7311621B2 (ja) | 2019-03-13 | 2023-07-19 | ロレアル | 髪色変更を含むデジタルコンテンツを使用者の頭部、顔、または体に投影するためのシステム、デバイス、および方法 |
JP7311622B2 (ja) | 2019-03-13 | 2023-07-19 | ロレアル | 使用者の顔面にデジタルコンテンツを投影するためのシステム、デバイス、および方法 |
US11818515B2 (en) | 2019-03-13 | 2023-11-14 | L'oreal | Systems, devices, and methods for projecting digital content including hair color changes onto a user's head, face, or body |
CN111782854A (zh) * | 2020-07-07 | 2020-10-16 | 科珑诗菁生物科技(上海)有限公司 | 多视角投影美妆方法、及多视角投影美妆穿戴设备 |
WO2022215772A1 (ko) * | 2021-04-07 | 2022-10-13 | 이지현 | 화장품 추천 방법 및 이를 구현하는 화장품 표시 시스템 |
WO2024023889A1 (ja) * | 2022-07-25 | 2024-02-01 | 株式会社コーセー | シミュレーションシステム及びシミュレーション方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10991110B2 (en) | Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional | |
JP4865093B2 (ja) | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム | |
JP4932951B2 (ja) | 顔画像処理方法およびシステム | |
US20210177124A1 (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
Achenbach et al. | Fast generation of realistic virtual humans | |
EP3370208B1 (en) | Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data | |
US11694392B2 (en) | Environment synthesis for lighting an object | |
JP6864449B2 (ja) | イメージの明るさを調整する方法及び装置 | |
JP2018195996A (ja) | 画像投影装置、画像投影方法、及び、画像投影プログラム | |
US10133171B2 (en) | Augmenting physical appearance using illumination | |
US9959453B2 (en) | Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature | |
CN107484428B (zh) | 用于显示对象的方法 | |
CN106373178B (zh) | 生成人工图像的装置和方法 | |
CN109690617A (zh) | 用于数字化妆镜的系统和方法 | |
US20160225164A1 (en) | Automatic generation of virtual materials from real-world materials | |
KR20180108709A (ko) | 사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법 | |
WO2006049147A1 (ja) | 三次元形状推定システム及び画像生成システム | |
JP2011039869A (ja) | 顔画像処理装置およびコンピュータプログラム | |
US20190362561A1 (en) | Image display method, electronic device, and non-transitory computer readable recording medium | |
JP2020505712A (ja) | 人の3次元仮想表現を作成する方法 | |
Malleson et al. | Rapid one-shot acquisition of dynamic VR avatars | |
Treepong et al. | Makeup creativity enhancement with an augmented reality face makeup system | |
CN110533761B (zh) | 影像显示方法、电子装置及非瞬时电脑可读取记录媒体 | |
KR102655987B1 (ko) | 3차원 아바타 생성 장치 및 방법 | |
JP2020095484A (ja) | 質感調整支援システム、及び質感調整支援方法 |