JP2018195996A - 画像投影装置、画像投影方法、及び、画像投影プログラム - Google Patents

Abstract

【課題】人間の顔や動きのある物体等のオブジェクトにメイクアップ等のための画像を投影して、リアルなオブジェクトとバーチャルな投影画像とをシンクロさせることができる画像投影装置を提供する。【解決手段】この画像投影装置は、第１の光軸に沿ってオブジェクトを撮像することにより、動画像を表す画像データを生成する撮像部と、撮像部によって生成される画像データに基づいて位置及び形状が調整された投影画像を、第２の光軸に沿ってオブジェクトに投影する投影部と、オブジェクト側において第１の光軸と第２の光軸とを略平行とする光学ユニットとを備える。【選択図】図５

Description

本発明は、人間の顔や動きのある物体等のオブジェクト（対象物又は対象体）に画像を投影する画像投影装置に関する。さらに、本発明は、そのような画像投影装置において用いられる画像投影方法及び画像投影プログラムに関する。

従来より、人間の顔をカメラ等で撮影して得られる画像に仮想的にメイクアップを施してディスプレイに表示するメイクアップシミュレーションが知られている。メイクアップシミュレーションによって生成される画像は、例えば、化粧品の販売店において、化粧品の販売促進のために利用されている。

メイクアップシミュレーションを利用すれば、化粧品の販売スタッフは、ディスプレイに表示される画像を消費者に見せながら、様々な化粧品を消費者に提案することができる。一方、化粧品の購入を検討している消費者は、ディスプレイに表示される画像を見ながら、何れの化粧品を購入するかを容易に判断することができる。

関連する技術として、特許文献１には、メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置が開示されている。この画像処理装置は、原画像に現された対象体からメイクアップ塗材を塗布すべき部位を指定する指定手段と、メイクアップ塗材の見本色を代表色とした色レンジを持つ複数の画素から構成される塗材塗布レイヤーを生成する生成手段と、原画像に塗材塗布レイヤーを合成する合成手段とを有する。

国際公開第２０１４／１６７８３１号パンフレット（段落０００８−００１０、００３２、図６）

特許文献１において、塗材塗布レイヤーを構成する複数の画素の色レンジは、メイクアップ塗材が塗布されるべき原画像の部位を構成する複数画素の代表的な値と、メイクアップ塗材の見本色画素の値との比率に応じて、対象体の一部の部位を構成する複数画素の色レンジを拡大することで得られる。また、塗材塗布レイヤーの画素の値は、原画像の画素であって位置的に対応する画素の値を塗材塗布レイヤーの色レンジにマッピングすることで得られる。従って、様々な光学特性を持つメイクアップ塗材が塗布されて環境光が照らされている状態を、よりリアルに再現することができる。

しかしながら、特許文献１において、原画像に塗材塗布レイヤーを合成して得られる対象体の画像は、タブレット端末のタッチパネルディスプレイに表示される。従って、対象体の画像は、平板な２次元画像として表示されると共に、タッチパネルディスプレイの解像度やコントラスト等の制限を受けるので、実際の顔の立体的な陰影や連続的なコントラストをリアルに表現することは困難である。

そこで、上記の点に鑑み、本発明の第１の目的は、人間の顔や動きのある物体等のオブジェクトにメイクアップ等のための画像を投影して、リアルなオブジェクトとバーチャルな投影画像とをシンクロさせることができる画像投影装置を提供することである。また、本発明の第２の目的は、そのような画像投影装置において用いられる画像投影方法及び画像投影プログラムを提供することである。

以上の課題の少なくとも一部を解決するため、本発明の第１の観点に係る画像投影装置は、第１の光軸に沿ってオブジェクトを撮像することにより、動画像を表す画像データを生成する撮像部と、前記撮像部によって生成される画像データに基づいて位置及び形状が調整された投影画像を、第２の光軸に沿って前記オブジェクトに投影する投影部と、前記オブジェクト側において前記第１の光軸と前記第２の光軸とを略平行とする光学ユニットとを備える。

本発明の第２の観点に係る画像投影装置は、オブジェクトを撮像することにより、動画像を表す画像データを生成する撮像部と、前記撮像部によって生成される画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成する画像処理部と、前記画像処理部によって生成される投影画像データに基づいて、前記投影画像を前記オブジェクトに投影する投影部とを備える。

本発明の第３の観点に係る画像投影方法は、オブジェクトを撮像することにより、動画像を表す画像データを生成するステップ（ａ）と、前記画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成するステップ（ｂ）と、前記投影画像データに基づいて、前記投影画像を前記オブジェクトに投影するステップ（ｃ）とを備える。

本発明の第４の観点に係る画像投影プログラムは、撮像部によってオブジェクトを撮像することにより生成されて動画像を表す画像データを入力する手順（ａ）と、前記画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成する手順（ｂ）と、前記投影画像データを投影部に出力して、前記投影画像を前記オブジェクトに投影させる手順（ｃ）とをＣＰＵに実行させる。

本発明のいずれかの観点によれば、人間の顔や動きのある物体等のオブジェクトを撮像して動画像を表す画像データを生成し、画像データに基づいて位置及び形状が調整された投影画像をオブジェクトに投影することにより、リアルなオブジェクトとバーチャルな投影画像とをシンクロさせることができる。

その結果、オブジェクトが３次元スクリーンとなって、投影画像が３次元スクリーン上に３次元的に表示されるので、オブジェクトの３次元形状と３次元的に表示された投影画像とが一体となって、立体的な陰影や連続的なコントラストをリアルに表現することができる。

本発明の一実施形態に係る画像投影装置を含む画像投影システムの外観を示す模式図。 図１に示すクライアント端末の構成例を示すブロック図。 図１に示す画像投影装置の構成例を示すブロック図。 図１に示す画像投影装置の外観を示す斜視図。 図１に示す画像投影装置における光学系の配置例を示す模式図。 塗布情報データベースにおけるデータ構造の例を示す図。 メイクアップ画像データが生成される過程を示す模式図。 塗布マスク画像の一部を示す図。 本発明の一実施形態に係る画像投影方法を示すフローチャート。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
＜画像投影システム＞
図１は、本発明の一実施形態に係る画像投影装置を含む画像投影システムの外観を示す模式図である。図１に示すように、この画像投影システムは、クライアント端末１０と、画像投影装置２０とを含み、人間の顔、各種の動物、又は、動きのある物体等のオブジェクトＯＢＪを撮像して得られる画像データに基づいて、オブジェクトＯＢＪに仮想的にメイクアップ等を施す投影画像を投影するために用いられる。以下においては、一例として、オブジェクトＯＢＪが人間の顔である場合について説明する。

＜クライアント端末＞
図２は、図１に示すクライアント端末の構成例を示すブロック図である。クライアント端末１０は、例えば、タブレット端末、スマートフォン、又は、パーソナルコンピューター等で構成され、画像投影装置２０を遠隔操作するために用いられる。図２に示すように、クライアント端末１０は、操作部１１と、制御部１２と、格納部１３と、表示部１４と、通信インターフェース１５とを含んでいる。

操作部１１は、例えば、ボタンスイッチ、タッチパネル、ポインティングデバイス、又は、キーボード等を含み、ユーザーによる操作に応じた操作信号を制御部１２に出力する。制御部１２は、ＣＰＵ（中央演算装置）を含み、プログラムに従って各種の制御処理や信号処理を実行する。例えば、制御部１２は、操作部１１から供給される操作信号に応じて、画像投影装置２０を制御するためのコマンドの生成や画像データの処理を行うと共に、画像投影装置２０との間で通信を行うために通信インターフェース１５を制御する。

格納部１３は、例えば、ＲＯＭ（リードオンリー・メモリー）、ＲＡＭ（ランダムアクセス・メモリー）、フラッシュメモリー、又は、ハードディスク等の記録媒体を含み、制御部１２のＣＰＵに各種の処理を実行させるためのソフトウェア（メイクアップ制御プログラム等）を格納している。

表示部１４は、制御部１２から供給される画像データ等に基づいて、タッチパネル等の表示パネルに操作画面等を表示させる。通信インターフェース１５は、画像投影装置２０との間でブルートゥース等による無線通信又は有線通信を行うことにより、制御部１２から供給されるコマンドを画像投影装置２０に送信する。

＜画像投影装置＞
図３は、図１に示す画像投影装置の構成例を示すブロック図である。図３に示すように、画像投影装置２０は、操作部２１と、画像処理部２２と、格納部２３と、表示部２４と、通信インターフェース２５と、入出力インターフェース２６と、撮像部２７と、投影部２８とを含んでいる。なお、図３に示す構成要素の一部を省略又は変更しても良いし、あるいは、図３に示す構成要素に他の構成要素を付加しても良い。

操作部２１は、例えば、ボタンスイッチ、タッチパネル、ポインティングデバイス、又は、キーボード等を含み、ユーザーによる操作に応じた操作信号を画像処理部２２に出力する。それにより、クライアント端末１０を用いなくても、画像投影装置２０を操作することが可能である。

画像処理部２２は、ＣＰＵを含み、プログラムに従って各種の信号処理や制御処理を実行する。例えば、画像処理部２２は、クライアント端末１０との間で通信を行うために通信インターフェース２５を制御し、クライアント端末１０から送信されるコマンド又は操作部１１から供給される操作信号に応じて、画像投影装置２０の各部を制御すると共に画像データの処理等を行う。

格納部２３は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリー、又は、ハードディスク等の記録媒体を含んでいる。例えば、ＲＯＭ、フラッシュメモリー、又は、ハードディスクは、画像処理部２２のＣＰＵに各種の処理を実行させるためのソフトウェア（画像投影プログラム等）を格納している。また、ＲＡＭは、ＣＰＵの作業領域として用いられ、ＲＯＭ等から読み出されたプログラムやデータ、クライアント端末１０から送信されたデータ、又は、ＣＰＵがプログラムに従って実行した演算結果等を一時的に格納する。

表示部２４は、画像処理部２２から供給される画像データ等に基づいて、タッチパネル等の表示パネルに操作画面等を表示させる。通信インターフェース２５は、クライアント端末１０との間でブルートゥース等による無線通信又は有線通信を行うことにより、クライアント端末１０から受信したコマンドを画像処理部２２に出力する。

入出力インターフェース２６は、画像処理部２２と撮像部２７及び投影部２８との間で画像データ等を入出力するために用いられる。撮像部２７は、オブジェクトＯＢＪを撮像することにより、動画像を表す画像データを生成する。画像データは、入出力インターフェース２６を介して画像処理部２２に供給される。

画像処理部２２は、撮像部２７によって生成される画像データに基づいて位置及び形状が調整された投影画像（以下においては、「メイクアップ画像」ともいう）を表す投影画像データ（以下においては、「メイクアップ画像データ」ともいう）を生成する。撮像部２７によって生成される画像データは動画像を表しているので、画像処理部２２は、撮像部２７によって生成される画像データに基づいて、オブジェクトＯＢＪの動きに追従するメイクアップ画像を表すメイクアップ画像データを生成することができる。メイクアップ画像データは、入出力インターフェース２６を介して投影部２８に出力される。

投影部２８は、画像処理部２２によって生成されるメイクアップ画像データに基づいて、メイクアップ画像をオブジェクトＯＢＪに投影する。それにより、オブジェクトＯＢＪに、仮想的にメイクアップを施すメイクアップ画像が表示される。オブジェクトＯＢＪが動いても、メイクアップ画像は、オブジェクトＯＢＪの動きに追従する。

＜光学系の配置＞
図４は、図１に示す画像投影装置の外観を示す斜視図である。図４においては、画像投影装置２０の上方ＵＰ、下方ＬＯ、前方ＦＲ、及び、後方ＲＲが定義されている。図４に示すように、画像投影装置２０は、筐体２０ａと、筐体２０ａに対して回動可能に取り付けられた開閉部２０ｂとを含んでいる。開閉部２０ｂは、図４（Ａ）に示すように閉鎖状態としたり、又は、図４（Ｂ）に示すように開放状態とすることができる。

図５は、図１に示す画像投影装置における光学系の配置例を示す模式図である。この例においては、図３に示す操作部２１〜撮像部２７が、動画を撮影することが可能なスマートフォン３０で構成されている。画像投影装置２０の筐体２０ａ内には、撮像部２７を有するスマートフォン３０と、投射レンズ２８ａを有する投影部２８とが配置されている。

撮像部２７は、第１の光軸ＯＰ１に沿ってオブジェクトＯＢＪを撮像することにより、動画像を表す画像データを生成する。投影部２８は、撮像部２７によって生成される画像データに基づいて位置及び形状が調整されたメイクアップ画像を、第２の光軸ＯＰ２に沿ってオブジェクトＯＢＪに投影する。

画像投影装置２０は、オブジェクトＯＢＪ側において第１の光軸ＯＰ１と第２の光軸ＯＰ２とを略平行とする光学ユニットを備えている。例えば、光学ユニットは、第１の光軸ＯＰ１又は第２の光軸ＯＰ２に沿って進む光を反射するミラーを含むミラーユニットで構成される。図５に示すミラーユニットＭＵは、第２の光軸ＯＰ２に沿って進む光を反射するミラー３１に加えて、第２のミラーとして、第１の光軸ＯＰ１に沿って進む光及び第２の光軸ＯＰ２に沿って進む光を反射するミラー３２を含んでいる。

ミラー３１は、画像投影装置２０の筐体２０ａ内に、投影部２８の投影方向に対して所定の角度を形成するように配置されている。一方、ミラー３２は、開閉部２０ｂの裏面に配置されて開閉部２０ｂの回転軸を中心に回動可能に設けられており、オブジェクトＯＢＪ側における第１の光軸ＯＰ１及び第２の光軸ＯＰ２の方向を調整可能とする。

それにより、オブジェクトＯＢＪが画像投影装置２０に対して上下方向に移動しても、開閉部２０ｂの角度を調整することにより、オブジェクトＯＢＪから放射される光が撮像部２７に入射すると共に、投影部２８から放射される光がオブジェクトＯＢＪに照射されるようにすることができる。なお、撮像部２７の撮像方向がオブジェクトＯＢＪを向くように画像投影装置２０を配置できる場合には、ミラー３２を省略しても良い。

ミラーユニットＭＵは、ミラーユニットＭＵよりもオブジェクトＯＢＪ側において第１の光軸ＯＰ１と第２の光軸ＯＰ２とがなす角αを約０°とする。さらに好ましくは、ミラーユニットＭＵは、ミラーユニットＭＵよりもオブジェクトＯＢＪ側において第１の光軸ＯＰ１と第２の光軸ＯＰ２とを完全に平行（α＝０°）とする。

図５に示す例においては、撮像部２７の撮像方向が、画像投影装置２０の上方ＵＰを向いている。オブジェクトＯＢＪから放射される光は、第１の光軸ＯＰ１に沿って進み、ミラー３２によって下方ＬＯに向けて反射されて、撮像部２７に入射する。一方、投影部２８の投影方向は、画像投影装置２０の後方ＲＲを向いている。投影部２８から放射される光は、ミラー３１によって上方ＵＰに向けて反射され、さらに、ミラー３２によって前方ＦＲに向けて反射されて第２の光軸ＯＰ２に沿って進み、オブジェクトＯＢＪに照射される。

この例において、撮像部２７の撮像方向と投影部２８の投影方向とがなす角は約９０°であるが、ミラーユニットＭＵによって折り曲げられた第１の光軸ＯＰ１と第２の光軸ＯＰ２とは、ミラーユニットＭＵよりもオブジェクトＯＢＪ側において略平行となっている（α≒０°）。

さらに、ミラーユニットＭＵによって第１の光軸ＯＰ１と第２の光軸ＯＰ２との間の距離を短くして、第１の光軸ＯＰ１と第２の光軸ＯＰ２とを略同軸にしても良い。例えば、ミラー３１としてハーフミラーを用いて、オブジェクトＯＢＪから放射される光がハーフミラーを透過して撮像部２７に入射すると共に、投影部２８から放射される光がハーフミラーによって反射されてオブジェクトＯＢＪに照射されるようにハーフミラーを配置することにより、第１の光軸ＯＰ１と第２の光軸ＯＰ２とを同軸にすることができる。

ただし、ハーフミラーを用いる場合には、撮像部２７に入射する光や投影部２８から放射される光がハーフミラーによって減衰するので、撮像部２７において高感度カメラを使用したり、投影部２８において高出力プロジェクターを使用したりする必要が生じて、画像投影装置のコストが上昇する。一方、ハーフミラーではなく通常のミラーを用いる場合には、上記のような光の減衰が生じないので、特別な機器を用いることなく汎用機器を用いて画像投影装置のコストを低減することができる。

オブジェクトＯＢＪ側において第１の光軸ＯＰ１と第２の光軸ＯＰ２とを略平行（略同軸を含む）にすれば、撮像部２７からオブジェクトＯＢＪまでの第１の光軸ＯＰ１に沿った距離ｚが変化しても、オブジェクトＯＢＪにおける第１の光軸ＯＰ１と第２の光軸ＯＰ２との相対的な位置関係を略一定に保つことができる。従って、オブジェクトＯＢＪとオブジェクトＯＢＪに投影されるメイクアップ画像とのずれは、光軸に直交する２次元平面内において調整すれば良い。

＜画像処理＞
次に、図３に示す画像投影装置２０の画像処理部２２によって行われる画像処理について詳しく説明する。
画像処理部２２は、撮像部２７によって生成される画像データに画像処理を施すことにより、図５に示すオブジェクトＯＢＪにおける複数の特徴点を抽出してそれらの特徴点の座標を求め、それらの特徴点の座標に基づいて位置及び形状が調整されたメイクアップ画像を表すメイクアップ画像データを生成する。

オブジェクトＯＢＪが人間の顔である場合に、まず、画像処理部２２は、撮像部２７から入力される画像データによって表される画像（以下においては、「入力画像」ともいう）における人間の顔の位置を検出する。例えば、画像処理部２２は、ＯｐｅｎＣＶ等のソフトウェアを用いて、人間の顔の位置や領域等を検出することができる。

次に、画像処理部２２は、格納部２３に予め格納されている学習データに基づいて、オブジェクトＯＢＪを撮像して得られる画像データに顔認識処理を施すことにより、入力画像における人間の顔の複数の部位（例えば、顔の輪郭、目、頬、及び、唇）の位置を特定する複数の特徴点を抽出して、それらの特徴点の座標を求める。

格納部２３には、例えば、標準的な人間の顔又はその模型等の被写体を用いて、撮像部２７から第１の光軸ＯＰ１に沿った標準距離ｚ０（図５）に位置する被写体を予め撮影して得られた画像を表す画像データと、その画像において設定された複数の特徴点の座標と、それらの特徴点が位置する部位を特定するコードとが、学習データとして予め格納されている。

この顔認識処理においては、例えば、アクティブ・アピアランス・モデル（ＡＡＭ）が用いられる。アクティブ・アピアランス・モデルとは、対象となる物体の画像を形状（shape）とテクスチャー（appearance）とに分けて、それぞれを主成分分析（principal component analysis）によって次元圧縮することにより、少ないパラメーターで対象の形状の変化とテクスチャーの変化とを表現できるようにしたモデルである。形状及びテクスチャーの情報は、低次元のパラメーターで表現することができる。

アクティブ・アピアランス・モデルにおいて、全特徴点を並べた形状ベクトルｘは、予め学習データから求められた平均形状ベクトルｕと、平均形状ベクトルｕからの偏差を主成分分析して得られる固有ベクトル行列Ｐ_ｓとを用いて、次式（１）によって表される。
ｘ＝ｕ＋Ｐ_ｓｂ_ｓ ・・・（１）
ここで、ｂ_ｓは、パラメーターベクトルであり、形状パラメーターと呼ばれる。

また、正規化されたテクスチャーの輝度値を並べたアピアランスベクトルｇは、予め学習データから求められた平均アピアランスベクトルｖと、平均アピアランスベクトルｖからの偏差を主成分分析して得られる固有ベクトル行列Ｐ_ｇとを用いて、次式（２）によって表される。
ｇ＝ｖ＋Ｐ_ｇｂ_ｇ ・・・（２）
ここで、ｂ_ｇは、パラメーターベクトルであり、アピアランスパラメーターと呼ばれる。形状パラメーターｂ_ｓ及びアピアランスパラメーターｂ_ｇは、平均からの変化を表すパラメーターであり、これらを変化させることによって、形状及びアピアランスを変化させることができる。

また、形状とアピアランスとの間に相関があることから、形状パラメーターｂ_ｓ及びアピアランスパラメーターｂ_ｇをさらに主成分分析することにより、形状とアピアランスとの両方を制御する低次元のパラメーターベクトル（以下においては、「結合パラメーター」ともいう）ｃを用いて、形状ベクトルｘ（ｃ）及びテクスチャーベクトルｇ（ｃ）が、次式（３）及び（４）によって表される。
ｘ（ｃ）＝ｕ＋Ｐ_ｓＷ_ｓ ^−１Ｑ_ｓｃ ・・・（３）
ｇ（ｃ）＝ｖ＋Ｐ_ｇＱ_ｇｃ ・・・（４）
ここで、Ｗ_ｓは、形状ベクトルとアピアランスベクトルとの単位の違いを正規化する行列であり、Ｑ_ｓは、形状に関する固有ベクトル行列であり、Ｑ_ｇは、アピアランスに関する固有ベクトル行列である。このようにして、結合パラメーターｃを制御することによって、形状とアピアランスとを同時に扱い、対象の変化を表現することが可能となる。

次に、対象が、画像中のどこに、どんなサイズで、どんな向きで存在するかという広域的な変化に関するパラメーター（以下においては、「姿勢パラメーター」ともいう）ｑを考慮する。姿勢パラメーターｑは、次式（５）によって表される。
ｑ＝[roll scale trans_x trans_y] ・・・（５）
ここで、rollは、画像平面に対するモデルの回転角度を表し、scaleは、モデルのサイズを表し、trans_x及びtrans_yは、それぞれｘ軸方向及びｙ軸方向におけるモデルの平行移動量を表している。

アクティブ・アピアランス・モデルにおいて、モデルの探索とは、モデルを結合パラメーターｃ及び姿勢パラメーターｑによって局所的及び広域的に変化させて対象の画像を生成し、生成された画像と入力画像とを比較して、誤差が最小となるような結合パラメーターｃ及び姿勢パラメーターｑを求めることである。アクティブ・アピアランス・モデルによれば、対象の方向の変化に対して頑健かつ高速に特徴点を抽出することが可能である。

具体的には、ある結合パラメーターｃ’及び姿勢パラメーターｑ’に対して、結合パラメーターｃ’から得られる形状パラメーターｂ_ｓ’と姿勢パラメーターｑ’とによって形状Ｘを変形する関数をＷ（Ｘ；ｑ’，ｂ_ｓ’）とする。また、入力画像Ｉｍｇと形状Ｘとが与えられたときに形状Ｘ内の輝度値を求める関数をＩ（Ｉｍｇ，Ｘ）とすると、モデルの探索における誤差値Ｅｒは、次式（６）によって表される。
Ｅｒ＝［（ｖ＋Ｐ_ｇＱ_ｇｃ’）−Ｉ（Ｉｍｇ，Ｗ（Ｘ；ｑ’，ｂ_ｓ’））］^２
・・・（６）

例えば、人間の顔を構成するＮ個の形状Ｘ（１）、Ｘ（２）、・・・、Ｘ（Ｎ）についてそれぞれの誤差値が求められる場合に（Ｎは自然数）、それぞれの誤差値をＥｒ（１）、Ｅｒ（２）、・・・、Ｅｒ（Ｎ）とすると、フィット率Ｆｒは、次式（７）によって表される。
Ｆｒ＝（Ｅｒ（１）＋Ｅｒ（２）＋・・・＋Ｅｒ（Ｎ））／Ｎ ・・・（７）
従って、誤差値Ｅｒ又はフィット率Ｆｒが小さくなるような結合パラメーターｃ及び姿勢パラメーターｑを決定することにより、高精度な顔認識を行うことができる。

このようにして、画像処理部２２は、図５に示すオブジェクトＯＢＪを撮像して得られる画像データに画像処理を施すことにより、オブジェクトＯＢＪにおける複数の特徴点のｘ座標及びｙ座標を求めることができる。ここで、ｘ座標は、第１の光軸ＯＰ１に直交する２次元平面内の水平方向（ｘ軸方向）における座標であり、ｙ座標は、第１の光軸ＯＰ１に直交する２次元平面内の垂直方向（ｙ軸方向）における座標である。なお、画像処理部２２は、入力画像における各々の特徴点のｘ座標又はｙ座標をピクセル番号で求めても良い。

さらに、画像処理部２２は、オブジェクトＯＢＪにおける複数の特徴点のｘ座標及びｙ座標に基づいて、第１の光軸ＯＰ１に沿ったｚ軸方向における標準距離ｚ０からのオブジェクトＯＢＪのずれを求めることができる。例えば、画像処理部２２は、学習データの画像と入力画像とにおいて、ｘ軸方向における人間の顔の輪郭の両端間の距離Ｄを求め、入力画像における距離Ｄ１が学習データの画像における距離Ｄ０のａ倍である場合に、撮像部２７から第１の光軸ＯＰ１に沿った人間の顔までの距離ｚ１が標準距離ｚ０の１／ａ倍であると判定しても良い。

＜メイクアップ画像の選択＞
オブジェクトＯＢＪが人間の顔である場合に、メイクアップ画像は、人間の顔の所望の部位（例えば、顔全体、目、頬、唇）に仮想的にメイクアップを施すために用いられる。以下においては、１つの部位についてのメイクアップ画像を塗布マスク画像という。

例えば、所望の肌色を有するファンデーションのメイクアップを顔全体に施す塗布マスク画像（ＳＨＡＰＥ）と、アイシャドウ又はアイラインのグラデーションのメイクアップを目の周囲に施す塗布マスク画像（ＥＹＥ）と、所望の形状及び色彩を有するチークカラーのメイクアップを頬に施す塗布マスク画像（ＣＨＥＥＫ）と、所望の形状及び色彩を有する口紅のメイクアップを唇に施す塗布マスク画像（ＲＩＰ）とが用意されている。

図６は、本発明の一実施形態において用いられる塗布情報データベースにおけるデータ構造の例を示す図である。クライアント端末１０の格納部１３には、メイクアップ画像の基礎となるパラメータセットを塗布情報として含む塗布情報データベースが格納されている。図６に示すように、塗布情報データベースは、「商品名」フィールドと、「メイクアップＩＤ」フィールドと、「画像タイトル」フィールドと、「塗布色」フィールドと、「塗布濃度」フィールドとを含んでいる。

「商品名」フィールドは、メイクアップ商品名を表す商品名データ（「ＡＢＣ」等）を含んでいる。「メイクアップＩＤ」フィールドは、塗布マスク画像を特定するメイクアップＩＤ（「ＭＡＫＥ１０１」等）を含んでいる。「画像タイトル」フィールドは、メイクアップの対象となる部位（以下、「対象部位」ともいう）及び塗布マスク画像の形状を表すマスク形状データファイルを特定する画像タイトル（ファイル名「ＳＨＡＰＥ１」等）を含んでいる。

「塗布色」フィールドは、塗布マスク画像の色を表す色コードを含んでいる。図６に示す例においては、色コードが、３原色の画素値を表すＲコード、Ｇコード、及び、Ｂコードからなり、画素値の最小値がゼロで、画素値の最大値が２５５とされている。「塗布濃度」フィールドは、塗布マスク画像の塗布濃度を設定するための塗布濃度係数を含んでいる。

ここで、色コードによって表される画素値と塗布濃度係数との積が、塗布マスク画像のＲ、Ｇ、Ｂの輝度を表している。従って、色コードによって塗布マスク画像の色相を設定しておき、塗布濃度係数によって塗布マスク画像の塗布濃度（輝度）のみを変更することが可能である。

ユーザー（化粧品の販売スタッフ等）がクライアント端末１０の操作部１１を操作することによってメイクアップ制御プログラムを起動させると、制御部１２のＣＰＵは、メイクアップ制御プログラムに従って一連の手順を実行する。まず、制御部１２は、塗布情報データベースに基づいて、複数のメイクアップ商品名を含む選択画面を表示部１４に表示する。

ユーザーが、所望のメイクアップ商品名、例えば、「ＪＫＬ」を選択すると、制御部１２は、選択されたメイクアップ商品名に対応する複数のメイクアップＩＤを含む選択画面を表示部１４に表示する。その際に、制御部１２は、塗布情報データベースに含まれている色コードに基づいて、複数のメイクアップＩＤに対応する複数の塗布色を、例えば、口紅（リップスティック）の色見本として表示部１４に表示しても良い。

ユーザーが、所望のメイクアップＩＤを選択すると、制御部１２は、選択されたメイクアップＩＤを含むコマンドを、通信インターフェース１５を介して画像投影装置２０に送信する。なお、ユーザーは、複数の部位について複数のメイクアップＩＤをそれぞれ選択することも可能である。

＜メイクアップ画像データの生成＞
画像投影装置２０においては、画像処理部２２のＣＰＵが、画像投影プログラムに従って一連の手順を実行する。画像処理部２２は、クライアント端末１０から送信されたコマンドを、通信インターフェース２５を介して受信する。また、格納部２３には、図６に示す塗布情報データベース、塗布マスク画像の形状を表す複数のマスク形状データファイル、及び、顔認識処理において用いられる学習データが予め格納されている。

画像処理部２２は、受信したコマンドに含まれているメイクアップＩＤに対応する画像タイトル、色コード、及び、塗布濃度係数を、格納部２３に格納されている塗布情報データベースから読み出し、さらに、画像タイトルに基づいて、塗布マスク画像の形状を表すマスク形状データファイルを格納部２３から読み出す。それにより、メイクアップの対象となる部位（対象部位）が特定されると共に、塗布マスク画像に関するマスクデータが得られる。

また、画像処理部２２は、格納部２３から学習データを読み出し、先に説明した画像処理によって、撮像部２７から入力される画像データによって表される入力画像から、人間の顔の輪郭、目、頬、及び、唇の位置を特定する複数の特徴点を抽出して、それらの特徴点のｘ座標及びｙ座標を求める。

画像処理部２２は、複数の特徴点のｘ座標及びｙ座標を、それらの特徴点が位置する部位を特定するコードに対応付けて、座標データとして格納部２３に格納する。さらに、画像処理部２２は、撮像部２７によって撮像された人間の顔のｚ軸方向における標準距離ｚ０からのずれを表すパラメーターを求め、座標データとして格納部２３に格納する。

次に、画像処理部２２は、座標データに基づいてマスクデータにマスク変形処理を施すことにより、マスクデータによって特定される塗布マスク画像の位置及び形状を、撮像部２７によって生成される画像データに基づいて調整して、メイクアップ画像を表すメイクアップ画像データを生成する。

そのために、入力画像における座標又は距離と塗布マスク画像における座標又は距離との対応関係が、格納部２３に予め格納されている。画像処理部２２は、投影部２８によってオブジェクトＯＢＪ（図５）に投影される塗布マスク画像の位置及び形状が、入力画像から抽出された複数の特徴点のｘ座標及びｙ座標によって特定される対象部位の位置及び形状に整合するように、マスクデータを調整する。

例えば、所望の形状及び色彩を有する口紅のメイクアップを唇に施す塗布マスク画像をオブジェクトＯＢＪに投影する場合に、画像処理部２２は、オブジェクトＯＢＪに投影される塗布マスク画像の位置及び形状が、入力画像から抽出された複数の特徴点のｘ座標及びｙ座標によって特定される唇の位置及び形状に略一致するようにマスクデータを調整する。

その際に、図５に示すように標準距離ｚ０において第１の光軸ＯＰ１の位置と第２の光軸ＯＰ２の位置とがずれている場合には、画像処理部２２が、それらのずれ量に応じて塗布マスク画像の位置を補正するようにマスクデータを調整する。また、ｚ軸方向においてオブジェクトＯＢＪの位置が標準距離ｚ０からずれている場合には、画像処理部２２が、撮像部２７から第１の光軸ＯＰ１に沿ったオブジェクトＯＢＪまでの距離ｚ１が標準距離ｚ０の１／ａ倍であれば、塗布マスク画像の全体的な形状（サイズ）をａ倍に拡大又は縮小するようにマスクデータを調整する。

このようにして、画像処理部２２は、マスクデータに基づいてメイクアップ画像データを生成する。クライアント端末１０から送信されるコマンドに複数のメイクアップＩＤが含まれている場合には、画像処理部２２が、オブジェクトＯＢＪに含まれている複数の対象部位にそれぞれ投影すべき複数の塗布マスク画像を合成することにより、メイクアップ画像を表すメイクアップ画像データを生成する。

画像処理部２２が、入出力インターフェース２６を介して投影部２８にメイクアップ画像データを出力すると、投影部２８は、メイクアップ画像データに基づいて、メイクアップ画像をオブジェクトＯＢＪに投影する。図５に示すように、投影部２８から放射される光は、ミラー３１及びミラー３２の順に反射されてオブジェクトＯＢＪに照射される。それにより、メイクアップ画像がオブジェクトＯＢＪに投影される。

例えば、オブジェクトＯＢＪが化粧品の購入を検討している消費者である場合に、消費者は、画像投影装置２０の近傍に配置された鏡（図示せず）を介して、自身の顔に投影されたメイクアップ画像を見ることができる。化粧品の販売スタッフは、メイクアップ画像を消費者に見せながら、様々な化粧品を消費者に提案することができる。一方、化粧品の購入を検討している消費者は、メイクアップ画像を見ながら、何れの化粧品を購入するかを容易に判断することができる。

しかしながら、オブジェクトが人間の顔である場合に、投影部２８からの投影光が人間の黒目に照射されると眩しく感じられる。そこで、画像処理部２２は、入力画像において人間の目の位置を特定する複数の特徴点を抽出してそれらの特徴点の座標を求め、それらの特徴点の座標に基づいて、人間の黒目に投影される部分が周囲の部分よりも暗いメイクアップ画像を表すメイクアップ画像データを生成することが望ましい。

図７は、メイクアップ画像データが生成される過程を示す模式図である。図７には、４つの部位について４つのメイクアップＩＤがそれぞれ選択された場合が示されている。画像処理部２２は、入力画像における４つの対象部位の座標に基づいてそれぞれ調整された塗布マスク画像ＰＭＩ（１）〜ＰＭＩ（４）（図７（Ａ））を合成することにより、合成された塗布マスク画像ＰＭＩ（図７（Ｂ））を生成する。さらに、画像処理部２２は、塗布マスク画像ＰＭＩの一部の領域（以下、「フィルタ領域」という）ＦＣにフィルタ処理を施すことにより、メイクアップ画像ＭＵＩ（図７（Ｃ））を生成する。

具体的には、画像処理部２２が、入力画像において人間の目の位置を特定する複数の特徴点の座標に基づいて、図８に示す塗布マスク画像ＰＭＩにおいて、人間の目に相当する領域ＦＡ１を特定する。次に、画像処理部２２は、領域ＦＡ１において、黒目に相当する領域ＦＡ２を特定するためのポイントＰ１〜Ｐ４を決定する。ポイントＰ１〜Ｐ４によって特定される領域（例えば、ポイントＰ１〜Ｐ４によって決まる矩形領域に内接する円形領域）がフィルタ領域である。

さらに、画像処理部２２は、塗布マスク画像ＰＭＩのフィルタ領域に所定のフィルタ処理を施すことにより、フィルタ領域が暗くなるようにフィルタ領域の色情報をフィルタ色情報ＦＣに変換してメイクアップ画像ＭＵＩを生成する（図７（Ｃ））。フィルタ色情報ＦＣは、例えば、黒を表している。それにより、投影光が人間に照射されても眩しく感じられないメイクアップ画像ＭＵＩが生成される。

＜画像投影方法＞
次に、本発明の一実施形態に係る画像投影装置によって実施される画像投影方法について、図１〜図９を参照しながら説明する。図９は、本発明の一実施形態に係る画像投影方法を示すフローチャートである。なお、互いに独立な処理については、それらを並列に行っても良い。

準備段階として、ユーザー（化粧品の販売スタッフ等）が、クライアント端末１０の操作部１１を操作することにより、複数のメイクアップＩＤの内から所望のメイクアップＩＤを選択する。クライアント端末１０は、選択されたメイクアップＩＤを含むコマンドを画像投影装置２０に送信する。

それにより、図９に示すステップＳ１において、画像投影装置２０の画像処理部２２が、選択されたメイクアップＩＤに対応する塗布マスク画像を特定するマスクデータを格納部２３から読み出す。即ち、画像処理部２２は、受信したコマンドに含まれているメイクアップＩＤに対応する画像タイトル、色コード、及び、塗布濃度係数を塗布情報データベース（図６）から読み出し、さらに、画像タイトルに基づいて、塗布マスク画像の形状を表すマスク形状データファイルを読み出す。

また、ステップＳ２において、画像処理部２２が、格納部２３から学習データを読み出す。一方、オブジェクトＯＢＪとなる人間が、画像投影装置２０のミラー３２（図５）に対して顔を向けた姿勢をとる。ここで、撮像部２７からオブジェクトＯＢＪまでの第１の光軸ＯＰ１に沿った距離ｚが標準距離ｚ０からずれたとしても、撮像部２７の第１の光軸ＯＰ１と投影部２８の第２の光軸ＯＰ２とが略平行であれば、オブジェクトＯＢＪとオブジェクトＯＢＪに投影されるメイクアップ画像とのずれは、２次元的なマスク変形処理によって調整可能である。

オブジェクトＯＢＪとなる人間は、ミラー３２に対して正面顔を向けても良いし、顔をやや傾けても良い。いずれにしても、撮像部２７の第１の光軸ＯＰ１及び投影部２８の第２の光軸ＯＰ２が、顔の正中線を通ることが望ましい。なお、正中線とは、左右対称形の生物体において、前面・背面の中央を頭から縦にまっすぐ通る線のことをいう。

ステップＳ３において、撮像部２７が、オブジェクトＯＢＪを撮像することにより、動画像を表す画像データを生成して画像処理部２２に出力する。画像処理部２２は、撮像部２７によってオブジェクトＯＢＪを撮像することにより生成される画像データを、撮像部２７から入力する。

ステップＳ４〜Ｓ７において、画像処理部２２が、撮像部２７によって生成される画像データに基づいて位置及び形状が調整されたメイクアップ画像を表すメイクアップ画像データを生成する。

具体的には、ステップＳ４において、画像処理部２２が、学習データに基づいて、撮像部２７によって生成される画像データに顔認識処理を施すことにより、撮像部２７から入力される画像データによって表される入力画像から複数の特徴点を抽出する。ステップＳ５において、画像処理部２２が、顔認識処理が成功したか否かを判定する。

例えば、学習データにおいて設定された複数の特徴点に対応する全ての特徴点が入力画像から抽出された場合に、顔認識処理が成功したと判定される。顔認識処理が成功しなかった場合には、処理がステップＳ３に戻り、顔認識処理が成功した場合には、処理がステップＳ６に移行する。

ステップＳ６において、画像処理部２２が、入力画像から抽出された複数の特徴点の座標を表す座標データを求める。ステップＳ７において、画像処理部２２が、複数の特徴点の座標データに基づいてマスクデータにマスク変形処理を施して、メイクアップ画像を表すメイクアップ画像データを生成する。具体的には、画像処理部２２が、塗布マスク画像の位置及び形状を複数の特徴点の座標に合わせて調整することにより、複数の特徴点の座標に基づいて位置及び形状が調整されたメイクアップ画像を表すメイクアップ画像データを生成する。

ステップＳ８において、画像処理部２２が、メイクアップ画像データを投影部２８に出力する。それにより、投影部２８が、メイクアップ画像データに基づいて、メイクアップ画像をオブジェクトＯＢＪに投影する。オブジェクトＯＢＪは、動的な３次元スクリーンとして機能して、オブジェクトＯＢＪに対するプロジェクションマッピングが行われる。その後、処理がステップＳ３に戻る。

一般に、動的な３次元スクリーンの場合には、メイクアップ画像が投影される位置が常に変化するので、３次元スクリーンの位置を常時判定して投影位置を制御する必要がある。本実施形態によれば、人間の顔や動きのある物体等のオブジェクトＯＢＪを撮像して動画像を表す画像データを生成し、画像データに基づいて位置及び形状が調整されたメイクアップ画像をオブジェクトＯＢＪに投影することにより、リアルなオブジェクトＯＢＪとバーチャルなメイクアップ画像とをシンクロさせることができる。

その結果、オブジェクトＯＢＪが３次元スクリーンとなって、メイクアップ画像が３次元スクリーン上に３次元的に表示されるので、オブジェクトＯＢＪの３次元形状と３次元的に表示されたメイクアップ画像とが一体となって、立体的な陰影や連続的なコントラストをリアルに表現することができる。

投影部２８が２次元デジタル画像データに基づいてデジタルのメイクアップ画像を投影する場合においても、投影光の波長やビーム幅は連続的な広がりを有している。従って、メイクアップ画像をオブジェクトＯＢＪに投影することにより、オブジェクトＯＢＪの表面においては、メイクアップ画像のコントラストが連続的に変化しているように見える。

本発明は、以上説明した実施形態に限定されるものではなく、当該技術分野において通常の知識を有する者によって、本発明の技術的思想内で多くの変形が可能である。

本発明は、人間の顔や動きのある物体等のオブジェクトに画像を投影する画像投影装置等において利用することが可能である。

１０…クライアント端末、１１…操作部、１２…制御部、１３…格納部、１４…表示部、１５…通信インターフェース、２０…画像投影装置、２０ａ…筐体、２０ｂ…開閉部、２１…操作部、２２…画像処理部、２３…格納部、２４…表示部、２５…通信インターフェース、２６…入出力インターフェース、２７…撮像部、２８…投影部、２８ａ…投射レンズ、３０…スマートフォン、３１、３２…ミラー

Claims (10)

1. 第１の光軸に沿ってオブジェクトを撮像することにより、動画像を表す画像データを生成する撮像部と、
   前記撮像部によって生成される画像データに基づいて位置及び形状が調整された投影画像を、第２の光軸に沿って前記オブジェクトに投影する投影部と、
   前記オブジェクト側において前記第１の光軸と前記第２の光軸とを略平行とする光学ユニットと、
   を備える画像投影装置。
2. 前記光学ユニットが、前記第１又は第２の光軸に沿って進む光を反射するミラーを含む、請求項１記載の画像投影装置。
3. 前記光学ユニットが、前記第１の光軸に沿って進む光及び前記第２の光軸に沿って進む光を反射する第２のミラーであって、回転軸を中心に回動可能に設けられ、前記オブジェクト側における前記第１及び第２の光軸の方向を調整可能とする前記第２のミラーをさらに含む、請求項２記載の画像投影装置。
4. オブジェクトを撮像することにより、動画像を表す画像データを生成する撮像部と、
   前記撮像部によって生成される画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成する画像処理部と、
   前記画像処理部によって生成される投影画像データに基づいて、前記投影画像を前記オブジェクトに投影する投影部と、
   を備える画像投影装置。
5. 前記画像処理部が、前記撮像部によって生成される画像データに基づいて、前記オブジェクトの動きに追従する投影画像を表す投影画像データを生成する、請求項４記載の画像投影装置。
6. 前記画像処理部が、前記撮像部によって生成される画像データに画像処理を施すことにより、前記オブジェクトにおける複数の特徴点を抽出して該複数の特徴点の座標を求め、該複数の特徴点の座標に基づいて位置及び形状が調整された投影画像を表す投影画像データを生成する、請求項４又は５記載の画像投影装置。
7. 前記オブジェクトが人間の顔であり、
   前記画像処理部が、前記人間の目の位置を特定する複数の特徴点を抽出して該複数の特徴点の座標を求め、該複数の特徴点の座標に基づいて、前記人間の黒目に投影される部分が周囲の部分よりも暗い投影画像を表す投影画像データを生成する、
   請求項６記載の画像投影装置。
8. 前記画像処理部が、前記オブジェクトに含まれている複数の部位にそれぞれ投影すべき複数の塗布マスク画像を合成することにより、前記投影画像を表す投影画像データを生成する、請求項４〜７のいずれか１項記載の画像投影装置。
9. オブジェクトを撮像することにより、動画像を表す画像データを生成するステップ（ａ）と、
   前記画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成するステップ（ｂ）と、
   前記投影画像データに基づいて、前記投影画像を前記オブジェクトに投影するステップ（ｃ）と、
   を備える画像投影方法。
10. 撮像部によってオブジェクトを撮像することにより生成されて動画像を表す画像データを入力する手順（ａ）と、
    前記画像データに基づいて位置及び形状が調整された投影画像を表す投影画像データを生成する手順（ｂ）と、
    前記投影画像データを投影部に出力して、前記投影画像を前記オブジェクトに投影させる手順（ｃ）と、
    をＣＰＵに実行させる画像投影プログラム。

Images