JP2006260198A - 仮想化粧装置、仮想化粧方法および仮想化粧プログラム - Google Patents

Abstract

【課題】 自然なインターフェースで人の顔を含む動画像データを化粧を施した顔の動画像データに加工する方法を指定できるようにする。
【解決手段】 特徴パターン抽出部１０４は、動画像データ入力部１０３から入力された動画像データから顔の口唇領域の形状の時間的な変化を抽出する。標準パターン選択部１０６は、口唇領域の形状の時間的な変化の標準パターンを記憶した標準パターン記憶部１０１から、特徴パターン抽出部１０４で抽出された口唇領域の形状の時間的な変化との間の類似度が最大となる標準パターンを選択する。化粧方法取得部１０７は、動画像データに含まれる顔に化粧を施すための加工方法が記憶された化粧方法記憶部１０２から、標準パターン選択部１０６で選択された標準パターンに関連づけられた加工方法を取得し、動画像データ加工部１０８は、その方法を用いて動画像データ入力部１０３で入力された動画像データを加工する。
【選択図】 図１

Description

本発明は、仮想化粧装置、仮想化粧方法および仮想化粧プログラムに係わる。

従来から、人の顔を撮影した画像を加工することで、バーチャルに口紅やアイシャドウなどのような化粧を施した画像を生成したり、あるいはメガネやカラーコンタクトレンズなどを装着した画像を生成したりする仮想化粧技術が提案されている。（例えば、特許文献１を参照）。

このような仮想化粧技術では、例えば、化粧に用いられる口紅の微妙な色合いの違いなどをユーザが把握できるようにするために、化粧を施した画像を注視しながら色合いなどを変化させられるようにすることが極めて重要である。そのため、このような仮想化粧装置では、あたかもメイクアップデザイナーに指示するかのごとく自然なインターフェースによって化粧方法などを選択できるようにすることが望ましい。

一般に広く用いられているインターフェースとしては、例えば、マウスやボタンなどがある。しかし、マウスやボタンなどの場合、これらの機器の操作に気をとられ、画面から視線が外れたり、顔の向きが変わったりすることがある。そのため、仮想化粧装置の入力インターフェースとしての用途には不適である。

また、他にディスプレイにタッチパネルを用いる方法も広く用いられている。ディスプレイにタッチパネルを用いる方法では、画面から視線がはずれることは少なくなるが、ディスプレイに触れるために体を動かす必要があり、マウスやボタンなどと同様に仮想化粧装置の入力インターフェースとしては好ましくない。さらに、タッチパネルを使う方法では、タッチパネルの汚れや傷などが問題となり、化粧のように微妙な色合いなどが重要になる用途には向かない。

また、入力インターフェースに音声認識を用いる方法もあるが、仮想化粧装置がデパートなどの店舗内に設置されて用いられる場合には、周囲の雑音などによって認識性能が著しく劣化する場合もある。そのため、音声認識を入力インターフェースに用いた場合には、使用環境に厳しい制約が課せられる場合もある。さらに、デパートなどの店舗に設置されたコンピュータに向かってひとりで声を出して話かけることを恥ずかしいと感じる人も多く、人が多い場所での音声認識装置の利用は敬遠されがちである。
特開２００４‐９４９１７公報（５頁、図１）

上述したように、従来のマウスやボタン、タッチパネルや音声認識などの入力インターフェースは、仮想化粧装置には適さなかった。

本発明は、上記従来技術の問題点を解決するためになされたものであって、人の顔を含む動画像データを加工して化粧を施した動画像データを得るための加工方法を、より自然なインターフェースで選択できるようにした仮想化粧装置、仮想化粧方法および仮想化粧プログラムを提供することを目的とする。

上記目的を達成するために、本発明の仮想化粧装置は、顔の特徴の時間的な変化の標準パターンを記憶する第１の記憶手段と、人の顔を含む動画像データを加工して化粧を施した顔の動画像データを得るための加工方法を前記第１の記憶手段に記憶された標準パターンと関連づけて記憶する第２の記憶手段と、人の顔を含む動画像データを入力する入力手段と、前記入力された動画像データから顔の特徴の時間的な変化を抽出する手段と、前記抽出された顔の特徴の時間的な変化と前記第１の記憶手段に記憶された標準パターンとの間の類似度を算出する手段と、前記算出された類似度に基づいて前記第１の記憶手段からひとつの標準パターンを選択する手段と、前記選択された標準パターンに関連づけられた加工方法を前記第２の記憶手段から得る手段と、前記得られた加工方法を用いて前記入力された動画像データを加工する手段と、前記加工された動画像データを表示する表示手段とを備えることを特徴とする。

また、本発明の仮想化粧方法は、顔の特徴の時間的な変化の標準パターンを記憶する第１の記憶ステップと、人の顔を含む動画像データを加工して化粧を施した顔の動画像データを得るための加工方法を前記第１の記憶ステップで記憶された標準パターンと関連づけて記憶する第２の記憶ステップと、人の顔を含む動画像データを入力する入力ステップと、前記入力された動画像データから顔の特徴の時間的な変化を抽出するステップと、前記抽出された顔の特徴の時間的な変化と前記第１の記憶ステップで記憶された標準パターンとの間の類似度を算出するステップと、前記算出された類似度に基づいて前記第１の記憶ステップで記憶された標準パターンからひとつの標準パターンを選択するステップと、前記選択された標準パターンに関連づけられた加工方法を前記第２の記憶ステップで記憶された加工方法から得る手段と、前記得られた加工方法を用いて前記入力された動画像データを加工するステップと、前記加工された動画像データを表示するステップとを有することを特徴とする。

また、本発明の仮想化粧プログラムは、コンピュータに、人の顔を含む動画像データを加工させて、化粧を施した顔の動画像データを生成させる仮想化粧プログラムであって、顔の特徴の時間的な変化の標準パターンを記憶する第１の記憶機能と、人の顔を含む動画像データを加工して化粧を施した顔の動画像データを得るための加工方法を前記第１の記憶機能で記憶された標準パターンと関連づけて記憶する第２の記憶機能と、人の顔を含む動画像データを入力する入力機能と、前記入力された動画像データから顔の特徴の時間的な変化を抽出する機能と、前記抽出された顔の特徴の時間的な変化と前記第１の記憶機能で記憶された標準パターンとの間の類似度を算出する機能と、前記算出された類似度に基づいて前記第１の記憶機能で記憶された標準パターンからひとつの標準パターンを選択する機能と、前記選択された標準パターンに関連づけられた加工方法を前記第２の記憶機能で記憶された加工方法から得る機能と、前記得られた加工方法を用いて前記入力された動画像データを加工する機能と、前記加工された動画像データを表示する機能とを備えることを特徴とする。

本発明によれば、顔の特徴の時間的変化を用いることにより、人の顔を含む動画像データを加工して化粧を施した動画像データを得るための加工方法を、より自然なインターフェースで選択することが可能となる。

以下、本発明の実施形態について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる仮想化粧装置を示すブロック図である。

この第１の実施形態に係わる仮想化粧装置は、顔の特徴の時間的な変化の標準パターンを記憶する標準パターン記憶部１０１と、標準パターン記憶部１０１に記憶された標準パターンと人の顔を含む動画像データを加工して化粧を施した顔の動画像データを得るための加工方法（以下、化粧方法と呼ぶ）とを関連づけて記憶する化粧方法記憶部１０２と、化粧対象となる人の顔の動画像データを入力する動画像データ入力部１０３と、動画像データ入力部１０３で入力された動画像データから、顔の特徴の時間的な変化のパターン（以下、特徴パターンという）を抽出する特徴パターン抽出部１０４と、特徴パターン抽出部１０３で抽出された特徴パターンと、標準パターン記憶部１０１に記憶されている標準パターンとの間の類似度を算出する類似度算出部１０５と、類似度算出部１０５で算出された類似度に基づいて、標準パターン記憶部１０１から標準パターンを選択する標準パターン選択部１０６と、標準パターン選択部１０６で選択された標準パターンに関連づけられた化粧方法を化粧方法記憶部１０２から取得する化粧方法取得部１０７と、化粧方法取得部１０７で取得された化粧方法により、動画像データ入力部１０３で入力された動画像データを加工する動画像データ加工部１０８と、動画像データ加工部１０８で加工された動画像データを表示する表示部１０９と、を備えている。

次に図１および図２を用いて、本発明の第１の実施形態に係わる仮想化粧装置の動作について説明する。なお、図２は、本発明の第１の実施形態に係わる仮想化粧装置の動作を示すフローチャートである。

標準パターン記憶部１０１には、顔の特徴の時間的な変化の標準パターンが記憶される（ステップＳ１０１）。ここで、顔の特徴とは、顔の特徴点の位置または顔の特徴領域の形状をいい、例えば、目や鼻孔あるいは口端の位置や唇の輪郭領域（以下、口唇領域と呼ぶ）の形状などをいう。なお、以下では、顔の特徴とは、口唇領域の形状であるとして説明する。また、ここでは、動画像データ入力部１０３で入力される動画像データから得られる口唇領域の形状の時間的な変化のパターンを、制約部分空間法を用いて標準パターンと照合する方法（例えば、西山ほか：「制約部分空間法を用いたジェスチャー認識」、第１０回 画像センシングシンポジウム講演論文集、平成１６年、ｐｐ．４３９−４４４を参照）について説明する。制約部分空間を用いる方法では、標準パターンごとに、制約部分空間に射影されたあらかじめ定められた数のベクトルを標準パターン記憶部１０１に記憶すればよい。以下、制約部分空間法を用いる場合の標準パターンの生成方法について簡単に説明する。

まず、あらかじめ化粧方法を指定するためのコマンド（例えば、「口紅」「アイシャドウ」「メガネ」など）を発声したときの人の顔の動画像データを、カメラなどを用いて撮影することによって取得する。そして、これらの動画像データから口唇領域を抽出し、その正規化画像を生成する。正規化画像は、動画像データを構成するフレームごとに求める。次に、化粧方法を指定するコマンドごとに、これらの正規化画像を主成分分析して、あらかじめ定めた数の基底ベクトルを得る。そして、次に、このようにしてコマンドごとに得られた複数の基底ベクトルから、各コマンドの分離度を最大にする制約部分空間を作成し、各コマンドの基底ベクトルを、その制約部分空間に射影する。そして、その制約部分空間に射影されたベクトルを、そのコマンドに対する標準パターンとして標準パターン記憶部１０１に記憶しておけばよい。

化粧方法記憶部１０２には、動画像データに施される加工処理の方法（化粧方法）が記憶される（ステップＳ１０２）。なお、ここでは「化粧方法」とは、いわゆる口紅やアイシャドウなどの化粧品などをつけて顔を装い飾ることに限らず、これらの口紅やアイシャドウなどの色を変更したりすることも含むものとする。そしてさらに、顔の表面にタトゥーなどのペインティングを施したり、メガネやカラーコンタクトレンズを装着したり、もしくは、顔全体に日焼けをしたような色を施したりする処理も化粧方法に含まれるものとする。

ここで、化粧方法記憶部１０２に記憶される化粧方法は、標準パターン記憶部１０１に記憶されている口唇領域の形状の時間的な変化の標準パターンと関連づけて記憶されるものとする。すなわち、例えば、動画像データに含まれる顔画像にメガネをかける加工を施す化粧方法は、標準パターン記憶部１０１に記憶されている「メガネ」と発声したときの口唇領域の形状の時間的な変化の標準パターンと関連づけて記憶されている。

動画像データ入力部１０３には、本実施形態の仮想化粧装置を使用する人（ユーザ）の顔の動画像データが入力される（ステップＳ１０３）。動画像データ入力部１０３に入力される動画像データは、例えば、図３に示すような、リアルタイムで動画像データを撮影することが可能なカメラなどを用いて取得すればよい。

特徴パターン抽出部１０４は、動画像データ入力部１０３で入力された人の顔の動画像データから顔の口唇領域の形状の時間的な変化のパターン（特徴パターン）を抽出する（ステップＳ１０４）。ここで、上述したように、動画像データ入力部１０３で入力される動画像データから得られる口唇領域の形状の時間的な変化のパターンを、制約部分空間法を用いて標準パターンと照合する方法を用いる場合には、特徴パターン抽出部１０４で抽出される特徴パターンは、標準パターンを作成する際に生成した制約部分空間に射影された、あらかじめ定められた数のベクトルとなる。以下、制約部分空間法を用いる場合の特徴パターンの生成方法について簡単に説明する。

まず、動画像データ入力部１０３で入力された動画像データから、フレームごとに口唇領域を抽出し、その正規化画像を生成する。次に、生成された正規化画像を主成分分析して、あらかじめ定めた数の基底ベクトルを得る。そして、それらの得られた基底ベクトルを、標準パターンを作成する際に生成した制約部分空間に射影することにより、特徴パターンを得ることができる。

このようにして特徴パターン抽出部１０４で得られた特徴パターンは、次に、類似度算出部１０５に送られる。

類似度算出部１０５は、特徴パターン抽出部１０４から送られた特徴パターンと標準パターン記憶部１０１に記憶された各標準パターンとの間の類似度を算出する（ステップＳ１０５）。標準パターンと特徴パターンとの間の類似度は、標準パターンであるベクトルが張る空間と特徴パターンであるベクトルが張る空間との間で、相互部分空間法（例えば、特許文献１を参照）を用いて求めればよい。

このようにして類似度算出部１０５において、標準パターンごとに算出された特徴パターンとの間の類似度は、次に、標準パターン選択部１０６に送られる。

標準パターン選択部１０６では、類似度算出部１０５において算出された類似度に基づいて、標準パターン記憶部１０１に記憶されている標準パターンから、ひとつの標準パターンを選択する（ステップＳ１０６）。標準パターンの選択は、例えば、類似度算出部１０５において算出された類似度が最大となるものを選択すればよい。

次に、化粧方法取得部１０７は、標準パターン選択部１０６において選択された標準パターンに対応する化粧方法を、化粧方法記憶部１０２から取得する（ステップＳ１０７）。すなわち、例えば、「メガネ」と発声したときの口唇領域の形状の時間的な変化のパターンが標準パターン選択部１０６で選択された場合には、その標準パターンに対応して、動画像データに含まれる顔画像にメガネをかける加工を施す化粧方法が、化粧方法記憶部１０２から取得されるようにすればよい。

このようにして化粧方法取得部１０７で取得された化粧方法は、次に、動画像データ加工部１０８に送られる。

動画像データ加工部１０８は、化粧方法取得部１０７で取得された化粧方法に基づいて、動画像データ入力部１０３で入力された動画像データに加工処理を施す（ステップＳ１０８）。動画像データの加工は、例えば、特許文献１に開示された方法を用いて行えばよい。

そして、動画像データ加工部１０８で加工された動画像データは、表示部１０９において表示される（ステップＳ１０９）。表示部１０９としては、例えば、液晶ディスプレイやＣＲＴディスプレイなどを用いることができる。

このように、第１の実施形態に係わる仮想化粧装置によれば、ユーザは、化粧が施された顔を注視しながら、口を動かすことにより化粧方法を選択することが可能となる。このとき、声を発する必要はないため、音声認識を用いる場合と異なり、雑踏においても認識性能の劣化によって化粧方法の選択を誤ることがない。また、マウスやボタン、もしくはタッチパネルを用いる場合と異なり、体を使ってマウスやボタンを操作したり、タッチパネルに触れたりする必要がないため、画面から視線が外れたり、顔の向きが変わったりすることなどがなく、より自然なインターフェースで化粧方法の選択を行うことが可能になる。

なお、上述した実施形態では、標準パターン記憶部１０１に記憶されている標準パターンは、例えば、「口紅」「アイシャドウ」「メガネ」といった化粧方法を指定するコマンドに対応づけられていたが、例えば、化粧方法記憶部１０２に記憶されている化粧方法に順序づけをしておき、ひとつの化粧方法が選択されている場合に、別の化粧方法を選択するときに、例えば、「次」「ひとつ前」といった化粧方法につけられた順序に基づいて化粧方法を選択できるようにすることも可能である。この場合、「次」や「ひとつ前」などの化粧方法を指定するコマンドに対して、上述した方法を用いて標準パターンを作成して標準パターン記憶部１０１に記憶しておき、化粧方法記憶部１０２には、それらの標準パターンと化粧方法とを関連づけて記憶しておけばよい。

また、上述した実施形態では、顔の特徴として、口唇領域の形状の時間的な変化を抽出して化粧方法を選択できるようにしていたが、口唇領域の形状の時間的な変化の代わりに、例えば、瞬きや視線などの動きなどを抽出して化粧方法を選択できるようにすることも可能である。この場合、瞬きや視線の動きを標準パターンとして標準パターン記憶部１０１に記憶しておけばよい。なお、視線の動きを抽出する方法としては、例えば、特開平１１−１７５２４６号公報に記載された方法を用いることができる。

なお、この仮想化粧装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、動画像データ入力部１０３、特徴パターン抽出部１０４、類似度算出部１０５、標準パターン選択部１０６、化粧方法取得部１０７および動画像データ加工部１０８は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、仮想化粧装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、標準パターン記憶部１０１および化粧方法記憶部１０２は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。また、表示部１０９は、上記のコンピュータ装置に内蔵あるいは外付けされた液晶ディスプレイもしくはＣＲＴディスプレイなどの表示装置などを適宜利用して実現することができる。

（第２の実施形態）
第１の実施形態では、類似度算出部１０５において、標準パターン記憶部１０１に記憶されたすべての標準パターンと特徴パターン抽出部１０４で抽出された特徴パターンとの間で類似度を算出していた。

第２の実施形態では、標準パターン記憶部に記憶された標準パターンのうち、一部の標準パターンを選択可能な標準パターンとしてユーザに提示しておき、類似度選択部では、それらの標準パターンと特徴パターンとの間で類似度を算出する実施の形態について説明する。

図４は、本発明の第２の実施形態に係わる仮想化粧装置を示すブロック図である。

この第２の実施形態に係わる仮想化粧装置は、顔の特徴の時間的な変化の標準パターンを記憶する標準パターン記憶部２０１と、標準パターン記憶部２０１に記憶された標準パターンと人の顔を含む動画像データを加工して化粧を施した顔の動画像データを得るための加工方法（化粧方法）とを関連づけて記憶する化粧方法記憶部２０２と、化粧対象となる人の顔の動画像データを入力する動画像データ入力部２０３と、動画像データ入力部２０３で入力された動画像データから、顔の特徴の時間的な変化のパターン（特徴パターン）を抽出する特徴パターン抽出部２０４と、特徴パターン抽出部２０３で抽出された特徴パターンと、標準パターン記憶部２０１に記憶されている標準パターンとの間の類似度を算出する類似度算出部２０５と、類似度算出部２０５で算出された類似度に基づいて、標準パターン記憶部２０１から標準パターンを選択する標準パターン選択部２０６と、標準パターン選択部２０６で選択された標準パターンに関連づけられた化粧方法を化粧方法記憶部２０２から取得する化粧方法取得部１０７と、化粧方法取得部１０７で取得された化粧方法により、動画像データ入力部２０３で入力された動画像データを加工する動画像データ加工部２０８と、動画像データ加工部２０８で加工された動画像データを表示する表示部２０９と、化粧方法記憶部２０２に記憶されている化粧方法のうち、少なくとも一部を選択して表示部２０９に表示させる表示化粧方法選択部２１０と、を備えている。

すなわち、第１の実施形態とは、表示化粧方法選択部２１０を備える点と、類似度算出部２０５および表示部２０９の動作が異なる。したがって、第１の実施形態と共通の動作をする部分（標準パターン記憶部２０１、化粧方法記憶部２０２、動画像データ入力部２０３、特徴パターン抽出部２０４、標準パターン選択部２０６、化粧方法取得部２０７、動画像データ加工部２０８）については説明を省略する。

次に図４を用いて、本発明の第２の実施形態に係わる仮想化粧装置の動作について説明する。

表示化粧方法選択部２１０は、化粧方法記憶部２０２から、表示部２０９に表示させる化粧方法を選択する。以下、表示部２０９に表示させる化粧方法の選択方法について説明する。

まず、表示化粧方法選択部２１０は、図５に示す状態遷移図のような「アイテム入力モード」と「属性入力モード」という２つの状態を有するものとする。ここで、「アイテム」とは、化粧方法記憶部２０２に記憶されている化粧方法のうち、「口紅」「アイシャドウ」「メガネ」などの「化粧のためのアイテム」をいう。一方、「属性」とは、例えば、アイテムとして「口紅」が選択された場合には「口紅の色」や「口紅のつや」など、「メガネ」が選択された場合には「メガネの形状」や「メガネの材質」などの、各アイテムが有する性質や特徴などをいう。

表示化粧方法選択部２１０は、まず、初期状態として、アイテム入力モードに設定される。このとき、表示化粧方法選択部２１０は、図５（ａ）に示すように、化粧方法記憶部２０２に記憶されている化粧方法のうち、「化粧のためのアイテム」に対応する化粧方法を選択して表示部２０９に表示させる。そして表示化粧方法選択部２１０は、選択された化粧方法に対応する標準パターンの情報を類似度算出部２０５に送り、類似度算出部２０５は、選択された化粧方法に対応する標準パターンと特徴パターン抽出部２０４で抽出された特徴パターンとの間で類似度を算出する。標準パターン選択部２０６では、類似度算出部２０５において算出された類似度に基づいて、標準パターン記憶部２０１から、ひとつの標準パターンを選択する。そして、化粧方法取得部２０７は、選択された標準パターンに対応する化粧方法を化粧方法記憶部２０２から取得する。

アイテム入力モードにおいて、化粧方法取得部２０７で、ひとつの化粧方法が選択されると、次に、表示化粧方法選択部２１０は、属性入力モードに遷移する。このとき、表示化粧方法選択部２１０は、図５（ｂ）に示すように、化粧方法記憶部２０２に記憶されている化粧方法のうち、アイテム入力モードで選択された化粧方法の属性に関する化粧方法を選択して表示部２０９に表示させる。なお、図５（ｂ）では、アイテム入力モードで「メガネ」が選択された場合の属性入力モードにおける表示の一例である。そして表示化粧方法選択部２１０は、選択された化粧方法に対応する標準パターンの情報を類似度算出部２０５に送り、類似度算出部２０５は、選択された化粧方法に対応する標準パターンと特徴パターン抽出部２０４で抽出された特徴パターンとの間で類似度を算出する。標準パターン選択部２０６では、類似度算出部２０５において算出された類似度に基づいて、標準パターン記憶部２０１から、ひとつの標準パターンを選択する。そして、化粧方法取得部２０７は、選択された標準パターンに対応する化粧方法を化粧方法記憶部２０２から取得する。

属性入力モードにおける化粧方法の選択が完了した場合、再びアイテム入力モードへ遷移してもよいが、表示化粧方法選択部２１０に、アイテム入力モードへ遷移するための指示が与えられるまで、適宜属性入力モードに留まるようにしてもよい。

このように、第２の実施形態に係わる仮想化粧装置によれば、ユーザは、表示された化粧方法のリストから、選択することが可能な化粧方法を把握することが可能になる。また、特徴パターン抽出部２０４で抽出された特徴パターンを、標準パターン記憶部２０１に記憶されたすべての標準パターンと照合する必要がなくなるため、照合の精度を向上させることが可能になる。

なお、上述した実施形態では、アイテム入力モードにおいて化粧方法が選択された場合に、そのアイテムの属性に係わる属性入力モードに遷移するものとしていたが、属性を有さないアイテムの場合には、属性入力モードへ遷移することなく、アイテム入力モードに留まるようにすることも可能である。

また、アイテム入力モードおよび属性入力モードにおいて、選択可能なすべての化粧方法を表示部２０９に表示するのではなく、ユーザに選択できる化粧方法についての事前知識がある場合には、選択可能な一部の化粧方法については表示部２０９に表示しないようにすることも可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係わる仮想化粧装置の構成を示すブロック図。 本発明の第１の実施形態の動作を示すフローチャート。 本発明の第１の実施形態の動画像データの取得方法を示す図。 本発明の第２の実施形態に係わる仮想化粧装置の構成を示すブロック図。 本発明の第２の実施形態の状態遷移の方法を表す図。 本発明の第２の実施形態の選択可能な化粧方法の表示例を示す図。

符号の説明

１０１、２０１・・・標準パターン記憶部
１０２、２０２・・・化粧方法記憶部
１０３、２０３・・・動画像データ入力部
１０４、２０４・・・特徴パターン抽出部
１０５、２０５・・・類似度算出部
１０６、２０６・・・標準パターン選択部
１０７、２０７・・・化粧方法取得部
１０８、２０８・・・動画像データ加工部
１０９、２０９・・・表示部
２１０・・・表示化粧方法選択部

Claims (6)

1. 顔の特徴の時間的な変化の標準パターンを記憶する第１の記憶手段と、
   人の顔を含む動画像データを加工して化粧を施した顔の動画像データを得るための加工方法を前記第１の記憶手段に記憶された標準パターンと関連づけて記憶する第２の記憶手段と、
   人の顔を含む動画像データを入力する入力手段と、
   前記入力された動画像データから顔の特徴の時間的な変化を抽出する手段と、
   前記抽出された顔の特徴の時間的な変化と前記第１の記憶手段に記憶された標準パターンとの間の類似度を算出する手段と、
   前記算出された類似度に基づいて前記第１の記憶手段からひとつの標準パターンを選択する手段と、
   前記選択された標準パターンに関連づけられた加工方法を前記第２の記憶手段から得る手段と、
   前記得られた加工方法を用いて前記入力された動画像データを加工する手段と、
   前記加工された動画像データを表示する表示手段と
   を備えることを特徴とする仮想化粧装置。
2. 前記顔の特徴が、顔の特徴点の位置または顔の特徴領域の形状の時間的な変化であることを特徴とする請求項１に記載の仮想化粧装置。
3. 前記顔の特徴領域の形状が、顔の口唇領域の形状であることを特徴とする請求項２に記載の仮想化粧装置。
4. 前記第２の記憶手段に記憶された人の顔を含む動画像データを加工する加工方法の少なくとも一部を前記表示手段に表示させる手段をさらに備え、
   前記類似度を算出する手段は、前記表示手段に表示された加工方法に対応する標準パターンと前記抽出された顔の特徴の時間的な変化との間で類似度を算出する
   ことを特徴とする請求項１に記載の仮想化粧装置。
5. 顔の特徴の時間的な変化の標準パターンを記憶する第１の記憶ステップと、
   人の顔を含む動画像データを加工して化粧を施した顔の動画像データを得るための加工方法を前記第１の記憶ステップで記憶された標準パターンと関連づけて記憶する第２の記憶ステップと、
   人の顔を含む動画像データを入力する入力ステップと、
   前記入力された動画像データから顔の特徴の時間的な変化を抽出するステップと、
   前記抽出された顔の特徴の時間的な変化と前記第１の記憶ステップで記憶された標準パターンとの間の類似度を算出するステップと、
   前記算出された類似度に基づいて前記第１の記憶ステップで記憶された標準パターンからひとつの標準パターンを選択するステップと、
   前記選択された標準パターンに関連づけられた加工方法を前記第２の記憶ステップで記憶された加工方法から得る手段と、
   前記得られた加工方法を用いて前記入力された動画像データを加工するステップと、
   前記加工された動画像データを表示するステップと
   を有することを特徴とする仮想化粧方法。
6. コンピュータに、人の顔を含む動画像データを加工させて、化粧を施した顔の動画像データを生成させる仮想化粧プログラムであって、
   顔の特徴の時間的な変化の標準パターンを記憶する第１の記憶機能と、
   人の顔を含む動画像データを加工して化粧を施した顔の動画像データを得るための加工方法を前記第１の記憶機能で記憶された標準パターンと関連づけて記憶する第２の記憶機能と、
   人の顔を含む動画像データを入力する入力機能と、
   前記入力された動画像データから顔の特徴の時間的な変化を抽出する機能と、
   前記抽出された顔の特徴の時間的な変化と前記第１の記憶機能で記憶された標準パターンとの間の類似度を算出する機能と、
   前記算出された類似度に基づいて前記第１の記憶機能で記憶された標準パターンからひとつの標準パターンを選択する機能と、
   前記選択された標準パターンに関連づけられた加工方法を前記第２の記憶機能で記憶された加工方法から得る機能と、
   前記得られた加工方法を用いて前記入力された動画像データを加工する機能と、
   前記加工された動画像データを表示する機能と
   を備えることを特徴とする仮想化粧プログラム。
   
   
   
   

Images