JP2010507854A - ビデオイメージシーケンスを仮想シミュレーションする方法及び装置 - Google Patents

Abstract

本発明は、動いている顔／頭のビデオイメージシーケンスからビデオイメージシーケンスを仮想シミュレーションする方法であって、実際のビデオシーケンスの顔／頭イメージの取得・初期化フェーズと、前記イメージから抽出され、初期プライミング点として使用される特徴点から特定のパラメータモデルを決定し、解析された顔の特徴の輪郭線に適合するように前記特定のモデルを変形するとともに、顔／頭の１つ又は複数の領域の皮膚構造を検出して解析する展開フェーズと、ビデオシーケンス内の他のイメージの特徴及び皮膚構造の色を変更する追跡・変換フェーズとを含み、前記変更は、少なくとも１つのデータベースに記憶された所定の基準に従って、かつ／又は０＋又は１次数の少なくとも１つのエキスパートシステムの決定基準に従って実行される、方法に関する。

Description

本発明は、実際の物体、例えばある場面の中で動いている人物の顔及び／又は頭の１つ又はいくつかの美的イメージを、特徴を検出して特徴を辿ることによって自動的にリアルタイムでシミュレーションし処理することが可能な方法及び装置に関する。

顔の特徴は、人間同士のコミュニケーション行動に関与する。しかし、顔の特徴の視覚化は、こういった特徴が十分な精度で抽出される場合のみ、コミュニケーションをサポートすることに留意しなければならない。逆の場合、あまりに未熟な解析によってもたらされる情報は、特に、例えば顔／頭を美的に高める高度に産業的な用途では、助けよりも妨げに寄与することになる。

美容業界には、美的セルフイメージを仮想的に視覚化する、例えば、デジタルメイクアップ、ヘアカラー、ヘアピースの形態でヘアスタイルを適用する特定数の機器があることが知られており、それが利用される方法は、未だ監督付きで、かつ、輪郭に可能な限り近い複数の点を設定するコンピュータ化されたツールに頼った非自動的なものである。ベジエ曲線又は多項式パラメータ曲線（ｐｏｌｙｎｏｍｉａｌ ｐａｒａｍｅｔｒｉｃ ｃｕｒｖｅ）がこれら点を互いに接続する。次に、ツールボックスにより、求められる変換を手動で適用することができ、この制御はオペレータ及び／又はユーザ自身によって手動で行われる。

より大規模なプロセスでは、インターネット上のオンラインユーザが、自分のＰＣ又はＭａｃから、インターネットにＪＰＥＧ形式の自分のカラー肖像写真を掲示した後、２４時間を超える遅れ及び特定数の制約を受けて、第三者ウェブサイトのユーザに対して輪郭を大まかに描き、髪の色、皮膚の色、及び目の色を検出する機能を実行するアプリケーションサービスプロバイダ（ＡＳＰ）としてウェブサーバＯＳのサービスを使用することができ、輪郭、髪の色、皮膚の色、及び目の色は、人間の技術チームの介入を通して実行される統計及び手動での方法を使用して得られる。

写真は異なる複数のオーバーレイ技術を使用して修正することもできる。このため、各要素を異なるオーバーレイに配置し、すべてのオーバーレイを重ねることによって最終結果を実現することができ、それにより、使用可能な最終の修正済み写真を得ることが可能になる。作業は、ユーザがタスクを実行しやすいようにこのように分解することができる。次に、修正済み写真を、ａｃｔｉｖｅ Ｘ Ｍｉｃｒｏｓｏｆｔ（登録商標）等の専用アプリケーションにおいてローカルに使用することができる。Ｍｉｃｒｏｓｏｆｔ（登録商標）によって開発されたこの技術及びツールセットは、ウェブページのコンテンツをサイバーサーファ（ｃｙｂｅｒｓｕｒｆｅｒ）の、特にＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムを使用するＰＣ型コンピュータ上で実行可能なアプリケーションと対話できるようにするコンポーネントのプログラミングを可能にする。別の同等の技法はＪａｖａ（登録商標）アプリケーションを使用することである。

こういったアプリケーションは、ＰＣ又はＭａｃでローカルに使用する場合には「仮想メイクオーバ（Ｖｉｒｔｕａｌ Ｍａｋｅｏｖｅｒ）」と呼ばれ、インターネットの場合には「仮想メイクオーバオンライン（Ｖｉｒｔｕａｌ Ｍａｋｅｏｖｅｒ Ｏｎｌｉｎｅ）」と呼ばれる。この種のシステムの利点は、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ（登録商標）、Ｐａｉｎｔｓｈｏｐ Ｐｒｏ（登録商標）、又は任意の他の種類のコンピュータ支援式の修正・処理・描画ソフトウェア等の専門のコンピュータ化されたソフトウェアを明示的に操作せずに、美的イメージの実現を可能にすることである。こういった専門のソフトウェアは、主にデジタル写真の処理に使用されるが、イメージをゼロから作成するようにも機能する。

最近、デジタル画像から他のデジタル画像を生成できるようにする、又はそこから情報を抽出できるようにする自動画像処理技法を使用する機器が開発され、これは、ローカルでの使用性を向上させる。しかし、顔の特徴のセグメント化に関連する符号化品質は、ＪＰＥＧ（ジョイントフォトグラフィックエキスパートグループ）形式及びＢＭＰ（ビットマップ）形式の静止カラー画像からの処理ロバスト性を向上させるために、ブース型の標準化された写真パラメータを必要とする。シミュレーションは依然として監督付きのままであり、二次元美的イメージを得るには５〜１０分、３次元イメージ、例えばメイクアップのシミュレーションの場合には最長で６０分の処理時間で順次実行される。

特許文献１には、顔の写真等の固定イメージを仮想的に変換することができるシステムが記載されている。

しかし、上で列挙したこれら方法及び装置はすべて、被写体のポーズ並びに物理世界及び／又は人工世界の様々な環境条件に関する各種制約と比較してロバスト性が不良であることから、即時性を欠くとともに精度があまりに不揃いであり、そのために非実用的なままである。さらに、こういった技法は、現在、顔をリアルタイムで解析して変換するロバストで良質の方法を提案することができず、先験的に任意の種類であり得るシーン内で動く人物の顔／頭の場合には言うまでもない。

個人及び取得条件の大きな多様性、特に、人物のポーズ、材料、不確定な照明条件、異なる固定背景又は移動背景等の異なる表現に対するロバスト性は、極めて重大な問題であり、このような方法の専門の装置又は家庭用装置の形態での大規模な産業化を考えた場合に、解消する必要がある特定数の技術的かつ科学的な障害を呈する。

国際公開第０１／７５７９６号パンフレット

本発明の目的は、従来技術の欠点を再現しない画像処理方法及び装置を提案することである。

本発明の目的は、ビデオイメージシーケンス、特に動く被写体のビデオイメージシーケンスを処理するこのような方法及び装置を提案することである。

本発明のさらなる目的は、実施及び使用が簡易、確実、かつ費用効率的であるべきこのような方法及び装置を提案することでもある。

したがって、本発明は、顔、髪、目の色、皮膚の色、及び髪の色の特徴すべての輪郭線の動性錯覚を生成し、特定のオクルージョンを考慮して、連続したイメージ、例えば毎秒２５〜３０枚のイメージで構成されるビデオフラックス（ｖｉｄｅｏ ｆｌｕｘ）内での自動的で正確な抽出をコンピュータ化された手段によってリアルタイムで実現できるようにする方法及び高度に効率的なデジタル装置に関する。これはすべて、ロバストなリアルタイム処理、遅延付き処理、又は再生処理を通して、ビデオフラックス内の個々の被写体、例えばシーン内で動いている人物の顔／頭の美的で個人化された仮想シミュレーションに繋がる。このシミュレーションは、シーケンスの符号化、それから再びシーケンスを読み取ることによる変換を含むことができる。

したがって、本発明は、動いている顔／頭の実際のビデオイメージシーケンスから実現できる、各ユーザのビデオイメージシーケンスを個別に仮想シミュレーションする自動的な方法であって、取得・初期化フェーズ中、実際のビデオシーケンス内の顔／頭のイメージの形状、及び／又は輪郭線、及び／又は動的構成要素を検出し解析することと、予め定義されたパラメータモデルによって目及び口の隅等の顔／頭の特徴点を抽出することと、展開フェーズ中、初期プライミング点として機能する前記抽出された特徴点から、特定パラメータモデルを定義することと、解析された顔に存在する特徴の輪郭線に適合するように前記特定モデルを変形することと、顔／頭の１つ又はいくつかの領域の皮膚構造を検出し解析するステップと、追跡・変換フェーズ中、ビデオシーケンス内のその他のイメージの特徴を変更することと、皮膚構造の色を変更することとを含み、前記変更は、少なくとも１つのデータベースに記憶される基準及び／又は０＋又は１次数の少なくとも１つのエキスパートシステムの決定基準に従って実行される、方法に関する。

有利なことに、領域／輪郭線の空間的及び時間的情報を決定する検出・解析フェーズは、輝度及び／又はクロミナンスの勾配フローを最大化することによって実行される。

有利なことに、前記変更は、先行イメージの特徴点の近傍を次のイメージに移すことによって実現され、特徴の近傍も変形を受ける場合、変形マトリックスを含むアフィンモデルを使用することができる。

有利なことに、追跡フェーズは、あるイメージから他のイメージに特徴点を追跡するアルゴリズムを使用する。

有利なことに、前記アルゴリズムは特徴の近傍のみを使用する。

有利なことに、追跡誤差の累積を回避するために、特徴は、アクティブな輪郭線の簡易版を使用し、及び／又は、前のイメージにおいて得られるモデルの曲線を変形することによって再調整される。

有利なことに、方法は、複数の三次曲線によって複数の特徴点を接続することにより、閉じた口及び／又は開いた口をモデリングするステップを含む。

本発明は、本明細書において上述した方法を実施する装置であって、コンピュータシステム、光源、電子メッセージを管理するシステム、ローカル又はインターネット等のデジタルネットワークに移される少なくとも１つのデータベース、及び／又は０＋若しくは１次数の少なくとも１つのエキスパートシステムを備え、実際のデジタルイメージシーケンスを取得し、好ましくは毎秒イメージ２５枚の速度で仮想イメージシーケンスに変換できるようにし、前記仮想イメージシーケンスは、０＋又は１次数の少なくとも１つのエキスパートシステムの決定基準に従って変換される、装置にも関する。

有利なことに、前記コンピュータシステムは、ＣＰＵ（中央演算処理装置）型のシングルコア、デュアルコア、又はクワッドコア以上のマイクロプロセッサ、ペンティアム（Ｐｅｎｔｉｕｍ）（登録商標）型、アスロン（Ａｔｈｌｏｎ）型以上、又はメインコア及び最大で８個の特定のコアを備えたＳＰＵ（ストリーミングプロセッサユニット）型のクラシックマルチコアプロセッサに基づき、ブース、コンソール、セルフサービス装置、ポケット装置もしくはモバイル装置、デジタルテレビ、ローカルであるか、あるいはインターネット等のデジタルネットワークに移されるサーバ、少なくとも１つのデジタルビデオカメラ、少なくとも１つのスクリーン、少なくとも１つのプリンタ、及び／又はインターネット等のデジタルネットワークへの接続に配置され、画像処理を実行するコンピュータシステムには、好ましくは少なくとも５００キロバイトに等しい容量のハードドライブ及び／又はデジタルストレージメモリと、１つ又は複数のサポートであって、特にＣＤ−ＲＯＭ型、ＤＶＤ、マルチメディアカード（Ｍｕｌｔｉｍｅｄｉａ Ｃａｒｄ）（登録商標）、メモリスティック（Ｍｅｍｏｒｙ Ｓｔｉｃｋ）（登録商標）、マイクロドライブ（ＭｉｃｒｏＤｒｉｖｅ）（登録商標）、ＸＤカード（ＸＤ Ｃａｒｄ）（登録商標）、スマートメディア（ＳｍａｒｔＭｅｄｉａ）（登録商標）、ＳＤカード（ＳＤ Ｃａｒｄ）（登録商標）、タイプ１又はタイプ２コンパクトフラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、ＵＳＢキーである、１つ又は複数のサポートと、インターネット等のデジタルネットワークへのモデム、固定回線、又は無線周波数接続モジュールと、イーサネット（登録商標）型、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、赤外線、ワイファイ（ｗｉｆｉ）（登録商標）、ワイマックス（ｗｉｍａｘ）（登録商標）等の型のローカルネットワークへの１つ又はいくつかの接続モジュールとが設けられる。

有利なことに、仮想イメージシーケンスをスクリーンに表示した後、プリンタが、ローカル又はリモートに、仮想イメージシーケンスのうちのすべて又は部分の中から選択された少なくとも１枚の写真の好ましくはカラーでの印刷に進む。

有利なことに、画像処理モジュールは、取得ステップ、検出ステップ、変換ステップ、及び追跡ステップを実行するために、ＤＳＰ（デジタル信号プロセッサ）型の信号処理に特化した１つ又は複数のプロセッサに統合される。

本発明は、ビデオフラックス内の１つの美的イメージ又は美的イメージシーケンスの自動処理により、実際の被写体、例えば、シーン内で動いている人物の顔／頭の１つ又はいくつかのイメージからの、すべての環境条件及び動いている被写体のポーズ条件でのシミュレーションを可能にする方法及び装置にも関し、動いている人物の顔／頭の動的構成要素の輪郭線が、実際のイメージ及び／又はイメージシーケンスから抽出され、好ましくはデジタルカラービデオカメラによってリアルタイムレートで取り込まれて、ローカルかつ／又はインターネット等のデジタルネットワークに移される少なくとも１つのデータベースに提供される複数の基準に従って、かつ／あるいは０＋又は１次数の少なくとも１つのエキスパートシステムの知識ベースのシステムにおいて前に定義された決定に基準に従って、例えば、目、眉毛、口、及びその近傍のエリア内で美的変換ツールを同期させるために関連パラメータを生成する。

使用されるコンピュータシステムは、ブース、コンソール、セルフサービス装置、ポケット装置、モバイル装置、デジタルテレビ、ローカルサーバ、インターネット等のデジタルネットワークに移されるサーバ、又は将来の可能な装置のすべての形態に設置することができる。

第１の用途（ｄｅｓｔｉｎａｔｉｏｎ）では、コンピュータシステムは、ＣＰＵ（中央演算処理装置）型の処理用のコンピュータ又はシングルコア、デュアルコア、又はクワッドコア以上のマイクロプロセッサ、又はペンティアム（Ｐｅｎｔｉｕｍ）（登録商標）型、アスロン（Ａｔｈｌｏｎ）型以上、又はメインコア及び最大で８個以上の特定のコアを備えたＳＰＵ（ストリーミングプロセッサユニット）型のクラシックマルチコアプロセッサを備えることができ、少なくとも５００キロバイトのハード及び／又はデジタルストレージメモリと、１つ又は複数のサポートであって、ＣＤ−ＲＯＭ型、ＤＶＤ、マルチメディアカード（Ｍｕｌｔｉｍｅｄｉａ Ｃａｒｄ）（登録商標）、メモリスティック（Ｍｅｍｏｒｙ Ｓｔｉｃｋ）（登録商標）、マイクロドライブ（ＭｉｃｒｏＤｒｉｖｅ）（登録商標）、ＸＤカード（ＸＤ Ｃａｒｄ）（登録商標）、スマートメディア（ＳｍａｒｔＭｅｄｉａ）（登録商標）、ＳＤカード（ＳＤ Ｃａｒｄ）（登録商標）、タイプ１又はタイプ２コンパクトフラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、ＵＳＢキー等である、１つ又はいくつかのサポートと、インターネット等のデジタルネットワークへの全種のモデム、固定回線、又は無線周波数接続モジュールと、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、赤外線、ワイファイ（ｗｉｆｉ）（登録商標）、ワイマックス（ｗｉｍａｘ）（登録商標）の型又はローカルネットワークの１つ又はいくつかの接続モジュールと、モノＣＣＤ（電荷結合素子）型以上の固定カラービデオカメラ又はデジタルテレビと、離散光源又は非離散光源と、好ましくはカラーの現在及び将来の全種のスクリーンと、現在及び将来の全種のモノクロプリンタ又はカラープリンタと、ローカルであるか、又はインターネットを含むデジタルネットワークに移された１つ又はいくつかのデータベースと、場合に応じて、０＋又は１次数のエキスパートシステムとを有する。

第２の用途では、このようなシミュレーションシステムを化粧品店の小売り展示スペース、特殊な施設、又はオフィスに設置したい場合、面倒さを可能な限り最小にし、又はさらには可動であるように、顧客のサイズに応じて、かつ顧客が快適なように、顧客の顔の高さに従ってシミュレータを移動させることが望ましいであろう。これは、地面にいかなる空間要件も有さないことを意味する。

この場合、上で定義された視覚システムは、離散した昼光ＬＥＤ又は白色ＬＥＤと、モノＣＣＤ以上のカメラと、グラフィックカードと、フラット触覚カラースクリーンと、チケット、Ａ４及びＡ３以上のカラー紙の種類のプリンタとで構成することができる。次に、全体を、好ましくはカラーの全種のフラットスクリーンの寸法によって与えられるサイズを有する超小型軽量ＰＣパネルに全体的に統合することができる。処理はローカルであり、メンテナンス等の技術的又は内容のアップデートはすべて、固定回線又はインターネット等のデジタルネットワークへの無線周波数接続を介して実行することができる。

システムは、カメラを通して装置を視覚的にサーボ制御し、人物の顔／頭を検出し追跡するモジュールを使用することによってユーザの顔に自動的に据えられることによって機能する。ユーザがシミュレーションを望むと、平衡と呼ばれる位置から、システムは、被写体、例えば顔／頭のイメージを検出する際に固定される。環境条件に応じて、視覚システムは、スクリーン上の顔のイメージサイズ及びイメージコードが略一定の最適な品質になるように、照明及びカメラのズームを自動的に調整することができる。

第３の用途では、方法の機能を制御するシステムは、英数字キーボード、マウス、又は他のすべての手段等の端末であることができる。端末に応じて、カメラは、すべての接続又は全種のデジタルネットワークにより、好ましくは、ユーザの隣の単一の装置に組み込まれたカラースクリーン及び／又は紙への出力バスを有する編集システムに接続することができる。処理部分及び計算部分は、ローカルであるか、又はインターネットを含むデジタルネットワークに移された１つ又はいくつかのサーバによって管理することができ、１つ又はいくつかのサーバは、少なくとも１つのマイクロプロセッサであって、例えば、ＣＰＵ（中央演算処理装置）型の３２ビット又は６４ビットのシングルコア、デュアルコア、クワッドコア以上のマイクロプロセッサ、ペンティアム（Ｐｅｎｔｉｕｍ）（登録商標）型、アスロン（Ａｔｈｌｏｎ）型のクラシックマルチコアプロセッサ、又はＳＰＵ（ストリーミングプロセッサユニット）型、メインコア及び最大で８個の特定のセル型コアである、少なくとも１つのマイクロプロセッサと、全種の電子メモリ又は磁気メモリとを備える。

使用される装置が何であれ、カラーでのイメージの取り込みは、有利なことに、デジタルカラービデオカメラモノ又はＣＣＤ、又はＣＣＤ及びＣＣＤ以上の装置、ＣＭＯＳ（相補形金属酸化膜半導体）デジタルカラービデオカメラ、又は同様のもの、例えばウェブカム等の好ましくはカラーの全種のデジタルビデオカメラによってリアルタイムで実現されて、顔の幾何学的構成要素及び動的構成要素の高品位検出によるとともに、適した画像処理により、正確な美的シミュレーションをリアルタイムで供給する。十分にユーザフレンドリであるように、処理は、ローカルに実行することもでき、又はリモートサーバで実行することもでき、計算速度に応じて、リアルタイムで、又はそのように考えられるように、又はリードバックモードで実行することができる。

処理全体は、不確定の固定背景又は移動背景及び特定数のオクルージョンを考慮して、照明及びイメージ内の各人物のポーズに関して多すぎる制約なしで実行することができる。

したがって、物理世界及び／又は人工世界の様々な環境条件において、実験により、本発明により実施される方法が、求められる美的変換等に応じて、顔／頭の永久的な特徴、すなわち、特に目、眉毛、唇、髪、及びその他の形態学的要素の輪郭線の抽出フェーズ及び展開フェーズ中にロバストであり十分に正確なままであることが実証されている。

考慮される各特徴、例えば、微笑んでいるか、又は話している口について、可能なすべての変形を提供可能な様々な特定のパラメータモデルを予め定義し、データベースエキスパートシステムの決定基準に従って実施することができる。

本方法は、有利なことに、３つの同期されるフェーズを含む。
１．取得・初期化フェーズ：第１のイメージシーケンスに対応するデジタルビデオシーケンス内の顔／頭の形状及び／又は輪郭線が、解析され検出される。顔／頭の特徴点及び関心エリア、例えば、目及び口の隅が抽出され、適合され予め定義された各パラメータモデルの初期プライミング点として機能する。展開フェーズ中、各モデルは、解析された顔に存在する特徴の輪郭線に最もよく合致するように変形される。この変換は、モデルの各曲線によって定義される輪郭線に沿って輝度及び／又はクロミナンスの勾配フローを最大化することによって行われる。モデルの定義により、調整制約を所望の輪郭線に自然に導入することができる。しかし、選択されたモデルは、目、眉毛、及び口の輪郭線の写実的な抽出を可能にするのに十分に柔軟なままである。
２．追跡・変換フェーズ：追跡により、ビデオシーケンスの後続イメージ内でセグメント化をよりロバストかつ高速に実行することができる。変換により、データベースに提供される複数の基準に従っての、かつ／又は場合に応じて、０＋又は１次数の少なくとも１つのエキスパートシステムの決定基準に従ってのビデオシーケンス内で後続する顔／頭の特徴微細ゾーンの変更に繋がる。
３．スクリーン及び／又は紙上へ、かつ／又はすべてのデジタルネットワーク上のサーバを通して、ビデオシーケンス全体の変換フェーズの結果を提供する復元フェーズ。

第１のフェーズ中、ビデオシーケンス処理システムは、いくつかの連続した動作を調整する。

最初に、シーケンスのうちの最初のイメージに進み、皮膚に関連する典型的なクロミナンス情報を考慮することにより、シーン内で動いている人物の顔／頭の位置を特定する。検出された顔／頭は、イメージ内の関心ゾーンに対応する。

この抽出に続き、方法では、網膜の挙動に適合されたフィルタリングを使用することにより、関心ゾーンの照明のばらつきをなくすことができる。

次に、システムは、好ましくは、適合されたパラメータモデルの助けにより、こうしてフィルタリングされた関心ゾーンに対する顔の特徴、すなわち虹彩、目、眉毛、唇、顔の輪郭線及び髪（ｃｒｏｗｎ ｏｆ ｈａｉｒ）の抽出に進む。

虹彩の場合、顔を含む矩形の右１／４と左１／４のそれぞれにおいて、輝度の正規化された勾配フローを最大化する半円が探される。

処理対象イメージへの各モデルの初期位置決めが、顔の特徴点の自動抽出後に行われる。

最大輝度の勾配点を追跡するプロセスを使用して、目の隅を検出することができる。末端に向かって曲がり、目の上下の輪郭線に選択されるモデルである、目の下の輪郭線の形状を自然に辿るように改良されたベジエ曲線を含む２つのベジエ曲線を、目の２つの隅及び下の輪郭線の虹彩に検出される円の最下点と、目の２つの隅及び上の輪郭線で虹彩に検出される円の中心とによって初期化することができる。

眉毛に関連するベジエ曲線を初期化するために、各眉毛の２つの内隅及び外隅を抽出することができる。

唇のモデリングに提案されるモデルは、有利なことに、それぞれが下唇外側輪郭線の部分を自然に辿る少なくとも５つの独立した曲線と、内側輪郭線のための少なくとも２つの曲線とで構成される。モデルを初期化する口の特徴点は、輝度とクロミナンスとを結合する判別情報と、輪郭線パラメータの調整及び初期位置への高度な依存性を回避できるようにするアクティブ輪郭線の一種の収束とを一緒に使用することによって解析することができる。

顔の輪郭線のモデリングは、有利なことに、この輪郭線上にある８つの特徴点を使用する。こういった８つの点は、時間次元での顔の位置に従って変換可能な１／４楕円によってモデリングされる輪郭線を初期化する。

髪は、アクティブな輪郭線の使用にイメージ背景フィルタリングを関連付けることにより、検出された顔の輪郭線からセグメント化することができる。髪の輪郭線にある特徴点はこうして検出される。これら各点間で、使用されるモデルは三次多項式曲線であることができる。

提案されるすべての初期モデルを、次に、要求される各輪郭線が最大輝度勾配点の集合になるように変形することができる。選択される曲線は、好ましくは、輪郭線全体を通して輝度の正規化勾配フローを最大化するものである。

第２のフェーズ中、追跡ステップにより、ビデオシーケンスの後続イメージのセグメント化の実行を可能にする。このステップ中、先行イメージ内で得られる結果は、セグメント化をよりロバストかつ高速にすることが可能な追加の情報を供給する。正確な追跡手順は、本発明の有利な実施形態によれば、特徴点があるイメージから別のイメージに辿ることができるようにするアルゴリズムを使用する。点の近傍のみを使用するこの差分法は、直接抽出技法と比較して大きな時間の獲得を提供する。追跡誤差の累積を回避するために、特徴は、アクティブな輪郭線の簡易版を使用し、かつ／又は先行イメージで得られたモデルの曲線を変形することによって再調整される。

変換ステップは、データベースに提供される複数の基準に従っての、かつ／又は場合に応じて、０＋又は１次数の少なくとも１つのエキスパートシステムの決定基準に従ってのビデオシーケンス内での後続する顔／頭の特徴微細ゾーンの変更に繋がり得る。本発明は、ユーザの顔上で視覚化するためのデータベース内に存在する異なる複数の外観、パレットを示唆することができる。処理された顔に応じて正確で写実的な美的シミュレーションを提案するために、システムは、０＋又は１次数のエキスパートシステムによって実行される人体計測比に基づいて、変換すべき特徴ゾーン、例えば頬骨を探す。さらに、各顔について、エキスパートシステムは、顔の形状、すなわち丸顔、面長、四角顔、三角形顔、又は卵形に応じて、かつ特定の特徴、すなわち目と目の間隔が広い、狭い、等しい、鼻のサイズ等に応じてメイクアップ手順を定義することができる。こういったルールは、現実的で変換対象の各顔に依存するシミュレーションのために変換モジュールに通信することができる。方法は、このフェーズ中、男性、女性、子供、青年等の顔の分類もする。

最後に、復元フェーズは、スクリーン、紙、及び／又はすべてのデジタルネットワーク上のサーバを通して、ビデオシーケンス全体及び／又はこのシーケンスの部分の変換フェーズの結果を提供する。

本発明の他の態様及び利点は、非制限例として与えられる添付図面を参照して行われる以下の詳細な説明の過程において明らかになるであろう。

本発明の有利な実施形態による仮想イメージシミュレーションシステムのブロック図である。 本発明の有利な実施形態による人物の顔／頭及び特徴ゾーンの抽出フェーズを示すブロック図である。 網膜フィルタリングのブロック図を表す。 動く唇を辿るように適合された複数のパラメータモデルのうちの１つの図である。 この同図上に記号で示される方向軸Ｘ、Ｙ、及びＺに沿ってカメラの対物レンズの正面で頭を動かしている１人の人物を提示するビデオシーケンスからの顔の特徴ゾーン、すなわち顔、虹彩、目、口、眉毛、及び髪の輪郭線の自動抽出の結果を表す。 変換前後の外観等の美的シミュレーションの結果を表す。

図１は、仮想イメージシミュレーションが可能であり、イメージ取得・初期化モジュール１、追跡・変換モジュール２、及び復元モジュール３を備える、シーン内で動いている人物の顔／頭等の実際の被写体の特徴をリアルタイムで自動的に検出し追跡するシステムの一例を表す。各モジュールをより詳細に後述する。

イメージ取得・初期化モジュール１は、デジタルカラービデオカメラモノ又はＣＣＤ、又はＣＣＤ以上の装置、ＣＭＯＳ（相補形金属酸化膜半導体）デジタルカラービデオカメラ、又は同様のもの等である全種のデジタルカラービデオカメラから実施される。

取得モジュールによって撮影されるイメージシーケンスは解析されて、顔／頭の特徴ゾーン及び特徴点が検出される。この解析は、ＣＰＵ型、ＳＰＵ型の３２ビット又は６４ビットのシングルコア、デュアルコア、クワッドコア以上のマイクロプロセッサ、メインコア及び最大で８つの特定のセル型コア、ペンティアム（Ｐｅｎｔｉｕｍ）（登録商標）型、アスロン（Ａｔｈｌｏｎ）型、又はパーソナルコンピュータのクラシックマルチコアプロセッサ、又はデジタル信号処理プロセッサ等の形態で実行される。こうして抽出され、イメージフラックスに結合されるシーン内で動いている人物の顔／頭の特徴ゾーン及び特徴点は、追跡・変換モジュールに送られ、追跡・変換モジュールは、１つ又はいくつかのデータベースに提供される複数の基準に従って、かつ／又は場合に応じて、１つ又はいくつかのエキスパートシステム２１の決定基準に従って、その結果：例えば、化粧された顔を有するビデオシーケンスを復元モジュール３に返す。復元モジュールは、本発明によれば、任意の種類のスクリーン（陰極線管、ＬＣＤ、プラズマ等）、任意の形式の紙、及び／又はすべてのデジタルネットワーク、例えばインターネット上のサーバを通してその結果を提供する。

図２は、本発明による人物の顔／頭及び特徴ゾーンの抽出フェーズを示すブロック図を表す。

初期化モジュール１に関して、デジタルビデオセンサの取得速度で動作するビデオシーケンス処理ソフトウェアが、本発明によるいくつかの連続した動作を調整する。

第１のステップにおいて、シーン内の人物の顔／頭の位置特定１１に進む。このために、皮膚に関連する典型的なクロミナンス情報が考慮される。イメージの関心ゾーンはこうして、包含矩形によって区切られる。この関心ゾーンの事前処理フェーズ１２により、網膜の挙動によって刺激される適応フィルタリングを使用することで照明のばらつきを回避することが可能である。このフィルタリングは、適応フィルタリング及び圧縮を連続して実行することにより、照明のばらつきの局所平滑化を達成できるようにする。Ｇをサイズ１５×１５であり、標準偏差σ＝２のガウスフィルタとする。Ｉ_ｉｎを初期イメージとし、Ｉ_１をＧによるフィルタリングの結果とする。イメージＩ_１から、イメージＸ_０は関係：

によって定義することができる。

イメージＸ_０は、圧縮関数Ｃを関係：

によって定義できるようにする。

図３は網膜フィルタリングのブロック図を与え、このフィルタリングの出力はＩ_ｏｕｔと記される。例えば、フィルタリングの終わりに、これにより顔の左側と右側との間の輝度の相当なばらつきを呈する照明された顔上で、輝度のばらつきが大幅に低減されることになる。

顔の永久的な特徴の輪郭線、すなわち均質性が考慮される顔、虹彩、目、眉毛、唇、髪の輪郭線の自動抽出は、第２のステップに続く。考慮される各特徴について、可能なすべての変換を提供可能な特定のパラメータモデル（三次多項式曲線、ベジエ曲線、円等）が定義される。

虹彩の場合、虹彩の輪郭線は虹彩である暗ゾーンと白目である明ゾーンとの境界であるため、顔を含む矩形の各右１／４及び左１／４内の輝度の正規化された勾配フローを最大化する半円が探される。輝度の正規化された勾配フローを最大化する方法は、パラメータ調整なしで非常に高速であるという利点を有し、正規化された勾配フローは常に、探される半円の正確な位置に対応する非常に明確なピークを有するため、曖昧さのない正確な半円の選択に繋がる。

顔の特徴点が抽出され（例えば、目及び口の隅）、他の１３個のモデルのそれぞれの初期アンカー点として機能する。

末端に向かって曲がるものを含め、目の上下の輪郭線に対して選択されたモデルであるベジエ曲線は、最大輝度勾配点の追跡プロセスによって検出される目の２つの隅と、下の輪郭線について虹彩に関して検出される円の最下点と、目の２つの隅及び上の輪郭線について虹彩に関して検出される円の中心とによって初期化される。

眉毛に関連するベジエ曲線を初期化するために、各眉毛の２つの内隅及び外隅が有利に抽出される。各眉毛について、これら点の探索ゾーンは、検出された虹彩よりも上にあるイメージのゾーンに低減される。内隅及び外隅の横座標（Ｘ座標）を計算するために、符号の変更があるか、又はラインに沿ったイメージの谷の水平突出の微分係数が相殺される点の横座標を探す。これら点の座標（Ｙ座標）を計算するためには、列に沿ったイメージの谷の垂直突出の最大の横座標が探される。２つの内隅及び外隅並びに２つの隅の中心は、各眉毛に関連するベジエ曲線の初期制御点として機能する。この方法はノイズを受けるため、こうして検出された点は、眉毛に関連するモデルの変形フェーズ中に再調整される。

唇のモデリングに提案されるモデルは、５つの独立した三次曲線で構成することができ、各曲線は下唇外側の輪郭線の部分を辿る。図４は、閉じられた口の場合のこのモデルの描画を表す。従来技術において提案されたモデルの大半とは対照的に、このオリジナルモデルは、かなり異なる複数の唇の特異性を忠実に表すように十分に変形可能である。Ｑ_２とＱ_４との間では、二重弓形になった上唇の部分がへこんだ線で記述されるが、輪郭線のその他の部分は三次多項式曲線で記述される。さらに、点Ｑ_２、Ｑ_４、及びＱ_６においてゼロ微分係数を有するという制約が設定される。例えば、Ｑ_１とＱ_２との間の三次式は、Ｑ_２においてゼロ微分係数を有さなければならない。モデルを初期化するための口の特徴点Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４、Ｑ_５、及びＱ_６の抽出は、輝度とクロミナンスとを結合する判別情報と、輪郭線パラメータの調整及び初期位置への高度な依存性を回避できるようにするアクティブな輪郭線の一種の収束とを一緒に使用することによって行われる。同じことが下唇内側の輪郭線に適用され、２つの曲線により内側の輪郭線を完全に辿ることができる。

内側の輪郭線の検出は、口が開いている場合、口の内側のばらつきが明らかに非線形であるため、より困難である。実際、収束中、唇の間にあるゾーンは異なる構成、すなわち歯、口、歯茎、及び舌を呈する。

内側の輪郭線のパラメータモデルは、口が開いている場合、４つの三次式で構成することができる。開いている口の場合、内側の上唇の二重弓形になった部分は、閉じられた口よりも目立たないため、唇の上部内側を正確に抽出するには２つの三次式で十分である。４つの三次式を使用し、モデルは柔軟であり、非対称な口の内側の輪郭線のセグメント化という問題を解消することができる。

「ジャンピングスネーク（ｊｕｍｐｉｎｇ ｓｎａｋｅ）」と呼ばれる２つのアクティブな輪郭線がモデルの調整に使用され、第１の輪郭線は上側の輪郭線に使用され、第２の輪郭線は下側の輪郭線に使用される。

「ジャンピングスネーク」の収束は、一連の成長フェーズ及びジャンプフェーズである。「スネーク」は、シードから初期化され、点をシードの左右に追加することによって成長する。新しい各点は、追加すべき現在の点及び先行点によって形成されるセグメントを通しての勾配フローの最大化によって見つけられる。最後に、シードは、探される輪郭線により近い新しい位置にジャンプする。成長プロセス及びジャンププロセスは、ジャンプの幅が特定の閾値よりも低くなるまで繰り返される。２つの「スネーク」の初期化は、上側輪郭線及び下側輪郭線上にあり、図４においてＱ３を通る垂直線に属する２つの点を探すことによって開始される。このタスクの困難さは、口が開いている場合の唇の特徴と同様又は完全に異なる特徴（色、テクスチャ、又は輝度）を有し得る、異なる複数のゾーンが唇の間にあり得ることにある。

検出されたキー点から、下側の最終輪郭を４つの三次式によって与えることができる。上側の輪郭の２つの三次式は、最小二乗法によって計算することができる。同様に、下部の輪郭線の２つの三次式も最小二乗法によって計算することができる。

顔の輪郭線のモデリングは、有利なことに、顔が、額並びに場合によっては眉毛及び目を完全に覆う非常に長い髪を有し得るため、先験的にこの輪郭線上にある８つの特徴点を使用する。すなわち、目の高さにある２つの点、眉毛の高さにある２つの点、口の高さにある２つの点、顎の高さにある１つの点、及び額の高さにある１つの点であり、これらは、イメージのＨＳＶ（色相、彩度、明度）表現の平面Ｖでの閾値処理から抽出される。これら８つの点は、１／４楕円によってモデリングされた輪郭線を初期化する。

髪は、イメージ背景フィルタリングをアクティブな輪郭線の使用に関連付けることによって顔の輪郭線の検出からセグメント化することができる。髪の輪郭線にある特徴点はこうして検出される。これら各点間で、使用されるモデルは三次多項式曲線であることができる。

１つ又はいくつかの点の自動検出が失敗する可能性があり、この場合、モデルを正確に置き換え、展開フェーズを開始するように、点を手動で非常に容易に置き換えることができる。

モデルの展開フェーズにおいて、各モデルは、解析された顔に存在する特徴の輪郭線に最もよく合致するように変形される（１４）。この変形は、モデルの各曲線によって定義される輪郭線に沿って輝度及び／又はクロミナンスの勾配フローを最大化することによって行われる。

モデルの定義により、調整制約を所望の輪郭線に自然に導入することができる。しかし、選択されたモデルは、目、眉毛、及び口の輪郭線の写実的な抽出を可能にするのに十分に柔軟な状態を保つ。図５は、本発明の一態様による、顔の人体計測モジュールをそれぞれ形成する顔の特徴ゾーン、すなわち顔、虹彩、目、口、眉毛、及び髪の輪郭線の自動抽出の結果を表す。

第３のステップにおいて、ソフトウェアは、ビデオシーケンス内の顔／頭並びに顔の特徴の追跡に進む。追跡中、先行イメージから得られた結果は、セグメント化をよりロバストかつ高速にすることができる追加の情報を供給する。

正確な追跡手順は、本発明の有利な実施形態によれば、特徴点をあるイメージから別のイメージに辿ることができるようにするアルゴリズムを使用する。点の近傍のみを使用するこの差分法は、直接抽出技法と比較して大きな時間の獲得を提供する。この方法は、以下の式のテイラー展開から生じる明らかな移動制約式に頼る。

イメージＩ_ｔ内で辿られる点の近傍は、後続イメージＩ_ｔ＋１内でも変換によって再び見つけられるものと仮定される。ｄ（ｘ）は、座標ｘのピクセルの変位ベクトルであり、ｘはベクトルである。時間ｔに撮影された基準イメージ内のサイズｎ×ｎの近傍Ｒを考える。したがって、この目的は、次のイメージ内でも再び、Ｒに最も類似する領域を見つけることである。これら２つのイメージ内のグレーレベル値をＩ_ｔ（ｘ）及びｉ_ｔ＋１（ｘ）と記す場合、この方法は、ピクセル間の差分の二乗の和に等しい費用関数を最小化する。

さらに、おおよその結果をもたらすことになる追跡誤差の累積を回避するために、方法は、有利なことに、アクティブな輪郭線の簡易版を使用し、かつ／又は先行イメージで得られたモデルの曲線を変形することにより、特徴点の再調整を利用する。最後に、最終輪郭線が抽出される。このために、先行イメージ内の特徴ゾーンの形状並びに特徴点が使用されて、異なるモデルを構成する最適な曲線が計算される。

変換フェーズ中、イメージ内の顔の人体計測ゾーンの認識ツール及び追跡ツールは、変換フェーズ中に抽出されたすべてのデータを通信する。データベースに提供される複数の基準に従って、かつ／又は場合に応じて、少なくとも１つの０＋又は１次数のエキスパートシステムの決定基準に従って、モジュールは次に、行うべき処理を決定する。行うべき処理は、ユーザが選択することになる１つ又は複数のテーマによって決定されることになる。したがって、例えば、メイクアップ動作の場合、抽出結果及びユーザによって選択される機能（外観／パレット）に従って定義される顔の特徴ゾーンは、調和及び個人の選択に応じて連続イメージシーケンス内で自動的に変更される。例えば、丸顔の場合、方法は、顔の両側を暗めのトーンでトーンダウンする。逆に、三角形の顔の場合、方法は顔の両側を明るめのトーンにする。ユーザは、連続イメージ内に現れる顔に適用したい、データベースに提示される外観を選択することができる。外観は、当業者によって事前に定義される特定の描画である。こういった外観の描画及びフォームは、抽出・追跡モジュールから生じる情報に従って、イメージ及び示唆すべき効果のコンテキストから、適用される顔のゾーンに向けて再計算され再調整される、予め定義される仮想テンプレートであることを特徴とする。

ユーザは、ゾーン（唇、目、頬骨、顔等）毎に適用したい色を選択することもできる。こういった色は、顔の特徴と調和する。したがって、エキスパートシステムは、初期化・展開フェーズから生じるデータに従って、データベース内で利用可能な範囲のものに相関する利用可能な色のパレットを決定する。

したがって、復元フェーズ中、ツールは、例えば、顔と調和したカラーリングを示唆することができるが、顔と完全に調和する範囲からの色の選択を示唆することもできる。元のテクスチャを備えた色が、それぞれの特定のコンテキスト（特に口紅、グロス、又はパウダー）で解析され、計算され、定義される。

次に、ツールは、ゾーン（唇、頬、髪等）のテクスチャに応じて、メイクアップに対応する色を適用するが、化粧品の効果、すなわちその実際の外観、例えば、その輝き、そのパウダーが付いた状態又は光沢のある外観（図６の光沢のある口紅）、特に相補って完全になる外観も透明な様式で再現される。この動作は、各ゾーンのそれぞれ内の連続イメージシーケンスのコンテキスト（照明、光度、陰影、反射等）を考慮し、コンテキストにより、写実的に再現される等、アルゴリズムツールの助けによってそれぞれのテクスチャを計算し、写実的な外観において定義できるようにする。

この方法を使用する場合、連続イメージシーケンスの品質及び写実性は大幅に改良されることになる。さらに、顔の特定の精密さが改良される。したがって、例えば、額のライン、目尻のしわ、目の下の隈、眉間のしわ、法令線、口元の弛み、頬周囲のしわ、そばかす、吹き出物、及び青あざがかなり平滑化される。

顔の美白、日焼け、歯の美白、まぶたのリフティング、唇を厚く／強調すること、顔の卵形のわずかな修正、顎及び／又は鼻の形の修正、頬骨を高くすること、頬骨を厚くすること等の美的処置も、ビデオシーケンスに現れる顔に対して自動的にシミュレーションすることができる。

新しい髪型及び／又はヘアカラーに関連して顔の美しさを向上させることも可能である。眼鏡のフレーム、宝石、及び／又は装飾品の色、材料、形状、及び／又は適切な寸法を顔に合わせて調整すること、又は虹彩の陰影に合うようにコンタクトレンズの色を調整し、又は楽しむことも可能である。本発明を、顔のバイオメトリック技法に、例えば、特徴情報がエキスパートシステムのデータベースにロードされた既知の顔を最適な確実度で識別することに適用することも可能である。デジタルＩＤ写真をバイオメトリックパスポート基準にすることも可能である。

本発明は、話している口の異なる構成又は発音される異なる単音を記述する視覚素（ｖｉｓｅｍｅ）も可能にする。したがって、顔／頭の形態学的観察、例えば、口元に弛みがあること、目の大きさと間隔、鼻の大きさ及び形状、耳たぶの大きさ及び形状等から調べられる、人物の性格及び特徴の決定を可能にすることができ、この場合、顔の観察に対応するデータベースに、考えられる分野において形態心理学者、精神科医、プロファイラ、及び解剖学者が使用する技術が完備される。

本発明を、特に、ＩＤ写真又はファンフォトブース、インスタントデジタル写真の自動現像端末、イメージを修正して現像するコンピュータシステムで行われるデジタル写真に適用して、ユーザのイメージの審美性をアップさせ、改良し、又は価値を高められるようにすることも考えることもでき、この場合、データベースに、メイクアップ、遊び、髪型、ヘアテクニック、皮膚のテクスチャ、及びアクセサリに関する、同時に使用可能であるか、又は同時に使用可能ではない美的ルール及びメイクアップルールの集まりが完備される。

例えば、パレット内の口紅の「外観」又は自然な視覚化の作成を構成する、描画、閾値処理、及び座標指示を使用して完成されるすべてのＲＧＢ要素、すなわち赤、緑、及び青は、すべてのデジタルサポートに拡散可能な軽量英数字連鎖（ｌｏｗ−ｗｅｉｇｈｔ ａｌｐｈａｎｕｍｅｒｉｃ ｃｈａｉｎ）で構成される単純なファイルの形態で実施し記録してもよく、又はインターネット等のデジタルネットワーク上のサーバからダウンロードしてもよい。このファイルは、柔軟かつ高速にデータベース又はエキスパートシステムを手際よく更新するために機能するか、又はユーザが、例えば、ウェブページからの簡易なダウンロードを通してすぐに使用することができる。

一般に、エキスパートシステムに関連するデータベースは、本発明の用途、例えば、化粧品及び／又は皮膚科学、美容整形及び／又は美容医学、眼科学、スタイリスト及び／又は美容師の技術、顔測定学等に関する特定のルールで拡充される。

したがって、この処理はコンテンツから独立しており、それにより、方法を業界規模で使用できるとともに、その使用を高度に増大した性能で非常に広く普及させることができる。

より一般には、ビデオシーケンス内の顔の特徴は、データベース及び／又はエキスパートシステムの決定に従って変更される。図６は、カラービデオカメラによって取得されたビデオシーケンスから抽出されたイメージに対するメイクアップ（外観）、アクセサリ（カラーレンズ、ピアス）、及びヘアカラーのシミュレーションの前／後の結果を表す。

復元モジュールは、本発明によれば、任意の種類のカラースクリーンに移された後のイメージシーケンスを表示し、かつ／又は続けて任意の種類の用紙形式に、もしくはすべてのデジタルネットワーク上のサーバを介して１つもしくはいくつかのシミュレーションイメージを印刷することに移る。

シミュレーションの場合、復元フェーズは、初期ビデオシーケンスを、所望の美的変更が完全に調和して現れる新しい仮想ビデオシーケンスに変換することを特徴とする美的提案に移る。例えば、アクセサリ、ヘアカラー、１つ又はいくつかのブランドの対応する製品のリファレンス及び販売価格が完備されたメイクアップ。

ユーザがビデオシーケンスから選択した静止イメージを、次に、カラードットマトリックスプリンタ、インクジェットプリンタ、ソリッドインクジェットプリンタ、レーザプリンタ、又は染料昇華転写プリンタ（ｄｙｅ ｓｕｂｌｉｍａｔｉｏｎ ｔｒａｎｓｆｅｒ ｐｒｉｎｔｅｒ）でＡ４形式又は任意の他の技術的に利用可能な形式でローカルに編集することができる。

この情報コンテンツは、初期イメージ及び変換後のイメージ、技術的及び科学的アドバイス、販売のこつ、顔の特徴（形状、色等）、製品の写真、変換後の顔の特徴に調和したパーソナルカラーパレット、パレットに関連する洋服の色のアドバイス等を含む美の処方を作成する。この結果は、同じ方法で、インターネットサーバの非ローカル（ｄｅｌｏｃａｌｉｚｅｄ）の高精細プリンタで編集することができ、インターネットサーバは次に、これらをユーザの郵便住所に再送する。

これら同じ結果は、同じ方法で、サーバアプリケーションを通して利用可能な、予め印刷されるか又はされない異なるサポート（ＣＶ、仮想ポストカード、マルチメディアクリップ、ビデオ、カレンダ、バナー、ポスター、フォトアルバム等）上又は内で変換することができる。これらは、後で使用するために、端末の全種のメモリ又はインターネットサーバに保存することができる。

情報が完備された、又は完備されていない新しいイメージ及び／又は新しいビデオシーケンスは、電子メール機能により、又は「添付」コマンドの助けにより、電子メール形式の電子アドレスを有する１つ又はいくつかの通信相手先に送信することができる。これと同じことが、ＭＭＳモード、電子メール、又は将来の通信機能を有する携帯電話装置にも当てはまる。

このシステムは、エキスパートシステム及び／又はローカルデータベースもしくはリモートデータベースに特定の科学的データ及び技術的データを完備することにより、非常に多くの用途を有することができることが容易に理解されるであろう。

本発明は、二次元又は三次元での画像処理に用途を見出すことができる。３Ｄ用途では、顔の３Ｄモデリングを構築して、３Ｄメイクアップを正確に適用することが可能である。顔のイメージフラックスのうちの顔の静止イメージからの顔の３Ｄ再構築は、陰影、テクスチャ、動きの解析、顔の汎用３Ｄモデルの使用等の従来のアルゴリズム及び手順の助けにより、又はさらには立体視システムの使用によって実現される。

本発明を有利な各種実施形態を参照して説明したが、本発明はこの説明によって制限されず、当業者は、添付の特許請求の範囲によって規定される本発明の枠組みを出ることなく任意の方法で変更することが可能なことが理解される。

Claims (11)

1. 動いている顔／頭の実際のビデオイメージシーケンスから実現できる、各ユーザの個人化されたビデオイメージシーケンスを仮想シミュレーションする自動的な方法であって、
   −取得・初期化フェーズ中、
   前記実際のビデオシーケンス内の顔／頭のイメージの形状及び／又は輪郭線及び／又は動的構成要素を検出し解析することと、
   予め定義されたパラメータモデルによって目及び口の隅の顔／頭の特徴点を抽出することと、
   −展開フェーズ中、
   初期プライミング点として機能する前記抽出された特徴点から、特定パラメータモデルを定義することと、
   解析された顔に存在する特徴の輪郭線に適合するように前記特定モデルを変形することと、
   顔／頭の１つ又はいくつかの領域の皮膚構造を検出し解析することと、
   −追跡・変換フェーズ中、
   前記ビデオシーケンス内のその他のイメージの特徴を変更することと、
   前記皮膚構造の色を変更することと
   を含み、
   前記変更は、少なくとも１つのデータベースに記憶される基準及び／又は０＋又は１次数の少なくとも１つのエキスパートシステムの決定基準に従って実行されることを特徴とする、方法。
2. 前記領域／輪郭線の空間的及び時間的情報を決定する検出・解析フェーズは、輝度及び／又はクロミナンスの勾配フローを最大化することによって実行される、請求項１に記載の方法。
3. 前記変更は、先行イメージの前記特徴点の近傍を次のイメージに移すことによって実現され、前記特徴点の前記近傍も変形を受ける場合、変形マトリックスを含むアフィンモデルを使用することができる、請求項１又は２に記載の方法。
4. 前記追跡フェーズは、あるイメージから他のイメージに前記特徴点を追跡するアルゴリズムを使用する、請求項１〜３のいずれか一項に記載の方法。
5. 前記アルゴリズムは特徴の前記近傍のみを使用する、請求項４に記載の方法。
6. 追跡誤差の累積を回避するために、前記特徴点は、アクティブな輪郭線の簡易版を使用し、かつ／又は前のイメージにおいて得られるモデルの曲線を変形することによって再調整される、請求項４又は５に記載の方法。
7. 複数の三次曲線によって複数の特徴点を接続することにより、閉じた口及び／又は開いた口をモデリングするステップを含む、請求項１〜６のいずれか一項に記載の方法。
8. 請求項１〜７のいずれか一項に記載の方法を実施する装置であって、コンピュータシステム、光源、電子メッセージを管理するシステム、ローカル又は、インターネット等のデジタルネットワークに移される少なくとも１つのデータベース、及び／又は０＋若しくは１次数の少なくとも１つのエキスパートシステムを備え、実際のデジタルイメージシーケンスを取得し、好ましくは毎秒イメージ２５枚の速度で仮想イメージシーケンスに変換できるようにし、前記仮想イメージシーケンスは、０＋又は１次数の少なくとも１つのエキスパートシステムの決定基準に従って変換されることを特徴とする、装置。
9. 前記コンピュータシステムは、ＣＰＵ（中央演算処理装置）型のシングルコア、デュアルコア、又はクワッドコア以上のマイクロプロセッサ、又はペンティアム（Ｐｅｎｔｉｕｍ）型、アスロン（Ａｔｈｌｏｎ）型以上、又はメインコア及び最大で８個の特定のコアを備えたＳＰＵ（ストリーミングプロセッサユニット）型のクラシックマルチコアプロセッサに基づき、ブース、コンソール、セルフサービス装置、ポケット装置もしくはモバイル装置、デジタルテレビ、ローカルであるか、あるいはインターネット等のデジタルネットワークに移されるサーバ、少なくとも１つのデジタルビデオカメラ、少なくとも１つのスクリーン、少なくとも１つのプリンタ、及び／又はインターネット等のデジタルネットワークへの接続に配置され、前記画像処理を実行するコンピュータシステムには、好ましくは少なくとも５００キロバイトに等しい容量のハードドライブ及び／又はデジタルストレージメモリと、１つ又は複数のサポートであって、特にＣＤ−ＲＯＭ型、ＤＶＤ、マルチメディアカード（Ｍｕｌｔｉｍｅｄｉａ Ｃａｒｄ）（登録商標）、メモリスティック（Ｍｅｍｏｒｙ Ｓｔｉｃｋ）（登録商標）、マイクロドライブ（ＭｉｃｒｏＤｒｉｖｅ）（登録商標）、ＸＤカード（ＸＤ Ｃａｒｄ）（登録商標）、スマートメディア（ＳｍａｒｔＭｅｄｉａ）（登録商標）、ＳＤカード（ＳＤ Ｃａｒｄ）（登録商標）、タイプ１又はタイプ２コンパクトフラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、ＵＳＢキーである、１つ又は複数のサポートと、インターネット等のデジタルネットワークへのモデム、固定回線、又は無線周波数接続モジュールと、イーサネット型、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、赤外線、ワイファイ（ｗｉｆｉ）（登録商標）、ワイマックス（ｗｉｍａｘ）（登録商標）等の型のローカルネットワークへの１つ又はいくつかの接続モジュールとが設けられる、請求項８に記載の装置。
10. 前記仮想イメージシーケンスをスクリーンに表示した後、プリンタが、ローカル又はリモートに、前記仮想イメージシーケンスのうちのすべて又は部分の中から選択された少なくとも１枚の写真の好ましくはカラーでの印刷に進む、請求項８又は９に記載の装置。
11. 前記画像処理モジュールは、取得ステップ、検出ステップ、変換ステップ、及び追跡ステップを実行するために、ＤＳＰ（デジタル信号プロセッサ）型の信号処理に特化した１つ又は複数のプロセッサに統合される、請求項８〜１０のいずれか一項に記載の装置。

Images