JP2008181520A - 復元された顔画像をビデオから再構成するシステムおよび方法 - Google Patents

Abstract

【課題】顔画像復元を実行するシステムおよび方法を提供すること。
【解決手段】このシステムは、複数のビデオフレームのそれぞれで見つかる顔画像にアクティブ外見モデルをあてはめるアクティブ外見モデルコンポーネントと、他の顔画像のそれぞれの匹敵する画素に各顔画像の各画素を位置決めする位置決めコンポーネントと、復元された顔画像を顔画像から作成する復元コンポーネントとを含む。この方法は、複数のビデオフレームのそれぞれで見つかる顔画像にアクティブ外見モデルをあてはめることと、他の顔画像のそれぞれの匹敵する画素に各前記顔画像の各画素を位置決めすることと、復元された顔画像を顔画像から作成することとを含む。
【選択図】図１

Description

関連出願の相互参照
本願は、その開示全体が参照によって本明細書に組み込まれている２００７年１月２４日出願の米国仮出願第６０／８８６，４３３号からの優先権を主張するものである。

本発明は、全般的には、ビデオのフレーム内の顔へのアクティブ外見モデル（ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌ）のあてはめ、顔のそれぞれの位置決め、およびビデオのフレームを使用する復元された顔画像の作成のシステムおよび方法に関する。

ある距離をおいた自動顔認識は、たとえば法執行監視応用などの多数の実世界シナリオで非常に重要になりつつある。しかし、ある距離をおいた自動顔認識は、いくつかの難しい態様を有してきた。低い画像解像度およびカメラのぼけが、多くの場合に正確な顔認識を得ることが不能であることに寄与する。

自動顔認識を組み込むことが望ましい多数の監視システムで、被写体は、ビデオに取り込まれる。既知の顔認識アルゴリズムは、静止画像に対して働き、したがって、顔認識アプリケーションは、一般に、顔の適切なビューを有するビデオの単一のフレームを抽出する。ある意味で、既知の顔認識アプリケーションは、ビデオで入手可能な情報のわずかな部分だけを使用する。

したがって、改良された顔画像復元を実行するシステムおよび方法が提供されることが望まれる。

本発明は、復元された顔画像を作成するのにビデオの複数のフレームを使用するシステムおよび方法を説明する。用語「復元された」は、本明細書では、結果の顔画像が、複数のビデオフレームのいずれかからのどの個々の顔画像よりも高い明瞭さを有することを表すのに使用される。

本発明の１つの例示的実施形態は、復元された顔画像をビデオの複数のフレームから作成するシステムである。このシステムは、複数のビデオフレームのそれぞれで見つかる顔画像にアクティブ外見モデルをあてはめるアクティブ外見モデルコンポーネントを含む。このシステムは、他の顔画像のそれぞれの匹敵する画素に各前記顔画像の各画素を位置決めする位置決めコンポーネントと、復元された顔画像を顔画像から作成する復元コンポーネントをも含む。

本発明のもう１つの例示的実施形態は、復元された顔画像をビデオの複数のフレームから作成する方法である。この方法は、複数のビデオフレームのそれぞれで見つかる顔画像にアクティブ外見モデルをあてはめることと、他の顔画像のそれぞれの匹敵する画素に各顔画像の各画素を位置決めすることと、復元された顔画像を顔画像から作成することとを含む。

上記および他の利点および特徴は、添付図面と共に提供される本発明の好ましい実施形態の次の詳細な説明からよりたやすく理解されるであろう。

本明細書で説明され、図示される本発明の実施形態は、復元された顔画像を作成するのにビデオの複数のフレームを使用するシステムおよび方法論を対象とする。図１を具体的に参照すると、顔再構成システム１０が示されている。システム１０は、トレーニングデータベース１２、ビデオ入力１８、モジュール１６内のアクティブ外見モデル、位置決めモジュール２４、ワープモジュール２６、平均化モジュール２８、およびウィーナフィルタモジュール３０を含む。

トレーニングデータベース１２は、２次元のおよびおそらくは３次元の顔画像を含む。トレーニングデータベース１２は、アクティブ外見モデル（「ＡＡＭ」）をトレーニングするのに使用される。トレーニングデータベース１２は、たとえば、Ｎｏｔｒｅ Ｄａｍｅ Ｂｉｏｍｅｔｒｉｃｓ Ｄａｔａｂａｓｅ Ｃｏｌｌｅｃｔｉｏｎ Ｄ（「Ｃｏｌｌｅｃｔｉｏｎ Ｄ」）などの公に入手可能なデータベースとすることができる。トレーニングデータベース１２からの顔画像は、アクティブ外見モデルトレーニングモジュール１４によって、顔イメージ全般の外見および形状の数学的表現を構成するのに使用される。「外見」とは、カラリゼーション（ｃｏｌｏｒｉｚａｔｉｏｎ）およびテクスチャを意味する。この数学的表現は、調整可能とすることができる。

複数フレーム復元の第１段階は、位置決めである。フレームを組み合わせるために、各フレームを、フレームの対の間でｘ_２がｘ_１の関数になるように写像しなければならない。これは、実際の物体または情景の点の第１画像座標ｘ_１＝（ｒ_２，ｃ_２）の、第２の画像座標ｘ_２＝（ｒ_２，ｃ_２）への変換を可能にする。位置決めの１つの手法は、ＡＡＭなどの実際のフレームからフレームへの動きを正確にモデル化できるパラメータ化された位置決め関数を選択することである。

顔画像に適用されるＡＡＭは、異なる方位の異なる人の顔にあてはまるように設計された、顔の形状と外見との両方の２ステージモデルである。アクティブ形状サブモデルは、ランドマーク点（ｌａｎｄｍａｒｋ ｐｏｉｎｔ）の組の位置の分布を記述する。図２（ａ）に、一連の顔画像の位置決めに使用される３３個のランドマーク点を示す。主成分分析（ＰＣＡ）および顔画像のトレーニングセットを使用して、形状空間の次元数を減らすと同時に、トレーニングセット母集団にまたがる変動の主要なモードを取り込む。

ＡＡＭアクティブ形状サブモデルは、データベース１２からのトレーニングセット内のすべての顔形状の平均値である平均顔形状と、固有ベクトルの組とを含む。平均顔形状は、標準的な形状であり、ＡＡＭアクティブ外見サブモデルの基準のフレームとして使用される。顔画像の各トレーニングセットは、基準の標準形状フレームにワープされる。

顔画像の各トレーニングセットは、基準の標準形状フレームにワープされるので、トレーニングセットからの顔画像のすべてが、同一の形状を有するかのように表現される。形状変動を除去されて、顔画像の外見の変動が、次元数削減のためにＰＣＡを使用して外見固有ベクトルの組を選択することによって、第２ステージでモデル化される。

モジュール１６の完全にトレーニングされたアクティブ外見モデルは、外見および形状にまたがって連続的に変化する顔画像を作ることができる。顔画像の復元のために、モジュール１６のアクティブ外見モデルは、ビデオフレームのうちの１つに現れる新しい顔にあてはめられる。これは、モデルによって生成された顔がビデオフレーム内の顔と一致するように、顔の形状パラメータおよび外見パラメータ（固有係数（ｅｉｇｅｎ−ｃｏｅｆｆｉｃｉｅｎｔ））について解くことによって達成される。たとえばＳｉｍｕｌｔａｎｅｏｕｓ Ｉｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌ（ＳＩＣ）アルゴリズムを使用して、新しい顔をビデオフレーム内の顔にあてはめることができる。

ビデオ入力１８は、１つもしくは複数のビデオカメラまたは一連のスチール写真を自動的に撮影するようにセットされた１つもしくは複数のスチールカメラを含むものとすることができるが、ビデオ（またはスチール写真）の複数のフレームを入手し、このフレームのそれぞれに、被写体の顔画像が含まれる。ビデオ入力１８を生のまたは法廷のビデオまたはスチール写真とすることができることを了解されたい。ビデオまたはスチール写真がアナログベースである場合には、アナログ−ディジタル変換器が、フレームを伝送する前に必要になるはずである。ビデオ入力１８の出力フレームは、顔検出モジュール２０に送られ、顔検出モジュール２０は、顔画像を検出するのに使用される。この検出は、自動的にまたは手動で行うことができる。手動検出の例には、グラフィカルユーザインターフェースの使用を含めることができる。自動検出の例には、米国ペンシルバニア州ピッツバーグのＰｉｔｔｓｂｕｒｇｈ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ社が販売する顔検出ソフトウェアパッケージを含めることができる。

各フレームおよび各検出された顔について、形状パラメータのベクトルおよび外見パラメータのベクトルが入手される。モジュール１６のＡＡＭは、顔形状および外見の固有ベクトルをアクティブ外見モデルトレーニングモジュール１４から受け取る。さらに、ＡＡＭあてはめモジュール２２が、形状パラメータのベクトルおよび外見パラメータのベクトルを判定する。形状パラメータのベクトルは、顔の形状を制御し、外見パラメータのベクトルは、顔の外見を制御する。

形状パラメータおよび外見パラメータを、モデルを新しい顔にあてはめるために推定しなければならないが、結果の形状パラメータだけが、位置決めに使用される。モジュール１６のＡＡＭは、複数のビデオまたはスチールのフレームにまたがって顔を位置合せするのに必要な位置決めを提供する。ＡＡＭのアクティブ形状サブモジュール部分は、各フレーム内で３３個のランドマーク位置を定義する（図２（ａ））。これらのランドマーク位置は、図示の顔にまたがる４９個の三角形の頂点である。

位置決めモジュール２４によって達成される、任意の２つのフレームの間での顔の位置決めは、区分的アフィン変換またはスプライン変換にすることができ、三角形のそれぞれのアフィン変換は、対応する三角形頂点によって定義される。顔の縁の付近での不連続性を避けるために、顔の位置決めは、延長された境界領域を定義するために顔ランドマークの組を外挿することによって増補される（図２（ｂ））。図示のように、３０個の新しいランドマークが、推定された顔の縁から外への固定された距離に位置決めされており、境界に４５個の新しい三角形が形成される。ブレンディングマスク（図２（ｃ））を使用して、複数フレーム顔再構成の顔領域を、単一の観察されたフレームの非顔（背景）領域と組み合わせ、したがって、見る人にとってより自然なブレンドされた結果を提供する。ブレンディングマスクＭは、ベースフレーム内で定義され、顔領域の内側で１の値を有し、その領域の外部では、顔領域への距離を伴って線形に０までフェードする。ブレンディングマスクＭは、次式を使用して、復元された顔画像Ｉ_Ｒをフィル画像Ｉ_ｆとブレンドするのに使用される。

I(r, c) = M(r, c)I_R(r, c) + (1 - M(R, c))I_f (R, c).
位置決め機能中に、複数のビデオ（またはスチール写真）フレームのうちの１つが、ベースフレームＬ_ｋとして選択される。動きが、さまざまなフレームの間で発生しつつあり、その動きは、一般に、特定の方向に流動的であるので、すべてのフレームＬ_１からＬ_Ｎまでの中間からの１フレームを、ベースフレームＬ_ｋとして選択することができる。基準の新しいフレームＨ_ｋが、ベースフレームＬ_ｋから作成される。基準の新しいフレームＨ_ｋは、ベースフレームＬ_ｋより高い画素解像度を有する。

図３に、一連のビデオフレーム内の顔画像の位置決めを示す。一連の複数のビデオフレームを位置決めしたならば、顔画像のワープが、ワープモジュール２６を介して達成される。その後、アクティブ外見モデルあてはめモジュール２２から入手された位置決め情報を使用して、入力ビデオ（またはスチール写真）フレームＬ_１〜Ｌ_Ｎのそれぞれの顔画像のそれぞれを、基準の新しいフレームＨ_ｋにワープする。

ワープモジュール２６からの出力は、平均化モジュール２８に入力され、平均化モジュール２８は、ワープされたビデオ（またはスチール写真）フレームのすべての平均をとる。この平均化は、画素ごとの基礎で加算し、フレーム数で割ることによって行うことができる。

平均化モジュール２８からの出力は、次に、ウィーナフィルタ３０に入力される。当初に入力されるビデオフレームは、点像分布関数（ＰＳＦ）を用いて畳み込まれ、イメージグリッド上でサンプリングされ、加法性白色ガウス雑音によって改悪され、量子化された情景の連続画像からイメージング処理によって形成される。ＰＳＦは、減らされる必要があるぼけの責任を負う。加法性雑音は、ぼけを減らす能力を制限する。雑音の支配的な源は、ＣＣＤ電子雑音であり、これは、平坦なスペクトルを有する加法性ガウス雑音として良好にモデル化される。

すべての画像信号が空間周波数領域で表現された状態で、変換オリジナル画像がＩ_ｉ（ω_１，ω_２）であり、光学的伝達関数（ＯＴＦ、ＰＳＦのフーリエ変換）がＨ（ω_１，ω_２）であり、加法性ガウス雑音信号がＮ（ω_１，ω_２）である場合に、観察されるビデオフレームは、
G(ω₁, ω₂) = H(ω₁, ω₂)I(ω₁, ω₂) + N(ω₁, ω₂).
である。

ウィーナフィルタ３０は、単一画像ぼけ除去の古典的方法である。ウィーナフィルタ３０は、Ｉ（ω_１，ω_２）の最小平均二乗誤差（ＭＭＳＥ）推定値をもたらす。ぼけていない画像を用い、雑音のあるぼけた観察Ｇ（ω_１，ω_２）を与えられ、未知の画像信号に関する仮定を行わないと、ウィーナフィルタ３０は、
I(ω₁, ω₂) = (H*(ω₁, ω₂))G(ω₁, ω₂)/│(H(ω₁, ω₂)│²+ K).
である。パラメータＨ^＊（ω_１，ω_２）は、Ｈ（ω_１，ω_２）の複素共役であり、パラメータＫは、ｎｏｉｓｅ−ｔｏ−ｓｉｇｎａｌ ｐｏｗｅｒ ｒａｔｉｏであり、したがって、ＭＭＳＥウィーナフィルタが形成される。実際には、パラメータＫは、雑音増幅と先鋭化とのバランスをとるために調整される。パラメータＫが大きすぎる場合には、画像は、その高空間周波数を最高の可能な範囲まで復元させることができない。パラメータＫが小さすぎる場合には、復元された画像は、増幅された高空間周波数雑音によって改悪される。Ｋは０に向かう傾向があるので、Ｈ（ω_１，ω_２）＞０と仮定すると、ウィーナフィルタは、理想的な逆フィルタに近づき、これは、次のように高周波数雑音を大きく増幅する。

I(ω₁, ω₂) = G(ω₁, ω₂)/(H(ω₁, ω₂).
ぼけた雑音のある画像に対するウィーナフィルタ３０の効果は、（１）ＰＳＦによって減衰されず、高い信号対雑音比を有する空間周波数を通過させ、（２）ＰＳＦによって減衰され、高い信号対雑音比を有する空間周波数を増幅し、（３）低い信号対雑音比を有する空間周波数を減衰させることである。

ベースライン複数フレーム復元アルゴリズムは、連続するビデオフレームＬ_１からＬ_Ｎまでの位置合せされた顔領域の平均をとることと、その結果にウィーナフィルタを適用することとによって働く。フレーム平均化は、加法性画像雑音を減らし、ウィーナフィルタは、ＰＳＦの効果からぼけを除去する。時間平均されたフレームに適用されるウィーナフィルタは、高空間周波数で、単一ビデオフレームに適用されるウィーナフィルタより正確に、ＰＳＦによって減衰された画像を再生することができる。高空間周波数をより正確に再生することによって、復元された顔画像４０は、より高い有効解像度および詳細におけるより高い明瞭さを有する。これは、これらの高空間周波数での画像雑音が平均化処理を介して減らされることに起因する。分散σ^２を有する０平均加法性ガウス雑音によって改悪されたＮ個の測定値のそれぞれが、σ^２／Ｎの分散を有する、その値の推定値を与える。Ｎ個の位置決めされワープされた画像の平均をとることによって、加法性雑音分散およびＫの適当な値が、１／Ｎの倍率で減る。

ここで具体的には図４を参照すると、顔再構成システム１１０が示されている。システム１１０は、システム１０（図１）に似て、トレーニングデータベース１２、ビデオ入力１８、およびモジュール１６内のアクティブ外見モデルを含み、これらの構成要素のそれぞれが、上で説明したシステム１０と同様に動作する。システム１１０は、さらに、復元された顔画像１４０を作成する超解像モジュール１２４を含む。

動作中に、システム１１０は、アクティブ外見モデルを各フレームの顔画像にあてはめる。次に、複数のフレーム、たとえば約Ｎ＝１０個の連続するフレームの組を組み合わせて、超解像画像１４０を作成する。１つの可能な実施形態で、顔の動き、カメラＰＳＦ、およびサンプリングを含む画像形成処理は、フレームごとにモデル化される。超解像画像１４０について解くために、Ｌ_１−ノルムデータ忠実度成分を有する費用関数が定義され、Ｂｉｌａｔｅｒａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ正規化が使用される。費用関数の解析的勾配を使用する最速降下探索が、超解像顔画像１４０を作る。

顔画像の復元された顔画像１４０への超解像は、Farsiu et al. in "Fast and robust multiframe super-resolution," IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327-1344, October 2004によって提案されたものに似たアルゴリズムなど、適当な超解像アルゴリズム１２４を介して達成される。

Ｎ個の入力フレームＹ_ｉ（ｉは１からＮまでである）のそれぞれは、Ｌ_ｉと表される基準の低解像度フレームに存在する。そのような基準のフレームは、イメージサイズおよびアクティブ外見モデルランドマーク点を封入する。位置決め処理は、基準のフレームの間で画像をワープすることを可能にする。Ｌ_ｉごとに、各次元でＬ_ｉより高い画素解像度を有する、対応する基準の高解像度フレームＨ_ｉが、作成される。超解像画像１４０は、フレームＨ_ｋ内で解かれ、ここで、ｋ＝Ｎ／２である。

超解像アルゴリズム１２４を初期化するために、初期超解像画像１４０_ｉが、Ｎ個の入力フレームＹ_ｉのそれぞれの顔領域をフレームＨ_ｋにワープし、平均をとることによって作成される。ワープは、各顔画像をスケールアップし、位置合せする。その結果を、フレームＨ_ｋまでスケールアップされた入力画像Ｙ_ｋの非顔領域とブレンドする。超解像処理は、入力フレームＹ_ｉのそれぞれをフレームＨ_ｋ内の未知の超解像画像Ｘに関係付ける画像形成モデルを使用する。具体的に図５を参照すると、全体的に１４０_ｉとして示された反復的に改善される超解像画像１４０_１から１４０_Ｎの組の初期超解像画像が、画像形成モデル１４２に送られる。画像形成モデル１４２は、Ｘを各Ｙ_ｉに関係付ける時に、顔の動き、カメラのぼけ、および検出器サンプリングを考慮に入れる。具体的には、全体的にＡＳＭ １９_１からＡＳＭ １９_Ｎまでとして示された、複数のフレーム１からＮまでのそれぞれの外見形状モデル１９が、カメラのぼけおよび初期超解像画像１４０_ｉと一緒に画像形成モデル１４２に入力される。

入力フレーム１８_ｉごとに、位置決め演算子Ｆ_ｉは、ＸをフレームＨ_ｋからＨ_ｉにワープし、フレームＨ_ｉは、Ｌ_ｉの２倍の解像度を有するが、Ｙ_ｉに位置合せされている。最近接、双一次、または任意の他の補間を、ワープ動作に使用することができる。カメラぼけ演算子Ｈは、変数ｉに依存せず、高解像度フレームＨ_ｉ内でＰＳＦを適用する。ほとんどの設置された監視カメラは、真のＰＳＦを判定することによって吟味される。画像形成モデル１４２は、手で選択される幅σを有するガウス形状のＰＳＦを仮定する。検出器のサンプリング動作は、各次元で１つおきの画素を抽出し、フレームＨ_ｉから入力フレームＹ_ｉの基準のフレームであるＬ_ｉに変換する疎な行列Ｄによって表される。Ｖ_ｉが加法性画素強度雑音を表す場合に、完全な線形画像形成処理は、
Y_i = DHF_i X + V_i.
である。

次に、出力Ｙ_ｉは、データ忠実度モジュール１４６に入力され、データ忠実度モジュール１４６は、データ忠実度費用と、超解像画像画素値に関するこの費用の勾配とを判定する。下で定義されるデータ忠実度費用Ｊ_ＤＦ（ｘ）は、観察のモデルと実際の観察との間の差のＬ_１ノルムに正規化項Ψ（Ｘ）を加えたものである。超解像画像Ｘを判定するのに使用できる１つの最適化アルゴリズムが、

である。Ｌ_１ノルムは、データ忠実度モジュール１４６内で、不正なモデル化仮定および位置決め誤差に対する堅牢性のために使用される。

それと同時に、初期超解像画像１４０_ｉが、正規化モジュール１５０に送られ、正規化モジュール１５０は、縮退超解像画像に向かう傾向のある解を抑制するのにＢｉｌａｔｅｒａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ（ＢＴＶ）を使用する。ＢＴＶ費用関数は、

である。ここで、Ｓ^ｌ _ｘおよびＳ^ｍ _ｙは、画像をｘ方向およびｙ方向でｌ画素およびｍ画素だけシフトする演算子である。ＢＴＶを用いると、その上で絶対画素差制約が適用される近傍を、Ｐ＞１を用いてＴｏｔａｌ Ｖａｒｉａｔｉｏｎ（ＴＶ）より大きくすることができる。近傍のサイズは、パラメータＰによって制御され、制約の強さの減衰は、α（０＜α＜１）によって制御される。

超解像画像１４０について解くために、Ｘを、まず上で説明した初期画像１４０_１に初期化する。初期画像１４０_１を、画像形成モジュール１４２および正規化モジュール１５０に送る。画像形成モジュール１４２は、結果をデータ忠実度モジュール１４６に出力する。データ忠実度モジュール１４６は、データ忠実度費用関数の解析的勾配１４８_ｉを出力し、正規化モジュール１５０は、正規化費用関数の解析的勾配１５２_ｉを出力する。これらの出力１４８_ｉおよび１５２_ｉは、反復最適化モジュール１５４_ｉに入力される。段階サイズβ＝０．０１および固定された回数の反復、たとえば３０回の反復を使用する、次の最速降下探索が使用される。

観察されたビデオがカラーである場合には、超解像処理は、輝度成分だけに適用される。初期画像は、ＮＴＳＣ色空間（ＹＩＱ）に変換され、輝度（Ｙ）成分が、すべての入力フレームについて計算される。超解像輝度結果は、初期画像からのクロミナンス成分と組み合わされる。

図６（ａ）から６（ｃ）を参照すると、質を高められたビデオフレームとのオリジナルビデオフレーム（図６（ａ））の比較が示されている。図６（ｂ）は、単一ビデオフレームに対するウィーナフィルタの結果を示す。図６（ｃ）は、複数の連続するビデオフレームに対して超解像アルゴリズム１２４を利用する超解像の結果を示す。図６（ｂ）および６（ｃ）に示された顔画像の明瞭さが、図６（ａ）を上回って増分式に改善されていることが、明瞭である。

限られた個数の実施形態だけに関して本発明を詳細に説明してきたが、本発明が、そのような開示された実施形態に限定されないことを容易に理解されたい。そうではなく、本発明を変更して、これまでに説明はしなかったが本発明の趣旨および範囲と一致する任意の個数の変形、変更、置換、または同等の配置を組み込むことができる。さらに、本発明のさまざまな実施形態を説明したが、本発明の諸態様に、説明された実施形態の一部だけを含めることができることを理解されたい。したがって、本発明は、前述の説明によって限定されるとみなされてはならず、本発明は、添付の特許請求の範囲の範囲によってのみ限定される。また、図面の符号に対応する特許請求の範囲中の符号は、単に本願発明の理解をより容易にするために用いられているものであり、本願発明の範囲を狭める意図で用いられたものではない。そして、本願の特許請求の範囲に記載した事項は、明細書に組み込まれ、明細書の記載事項の一部となる。

本発明の例示的実施形態による高品質顔復元システムを示す概略図である。 図１のシステムのアクティブ外見モデルのランドマーク点の使用を示す図である。 図１のシステムのアクティブ外見モデルでの連続するビデオフレームの使用およびランドマーク点の使用を示す図である。 本発明のもう１つの例示的実施形態による高品質顔復元システムを示す図である。 図４のシステムで使用される例示的な超解像アルゴリズムを示す概略図である。 図１のシステムを介する単一フレームの出力および図４のシステムを介する複数フレームの出力に対してオリジナルビデオフレームを比較する図である。

符号の説明

１０ 顔再構成システム
１２ トレーニングデータベース
１８ ビデオ入力
１９ 外見形状モデル
２０ 顔検出モジュール
２２ ＡＡＭあてはめモジュール
２４ 位置決めモジュール
２６ ワープモジュール
２８ 平均化モジュール
３０ ウィーナフィルタモジュール
４０ 復元された顔画像
１１０ 顔再構成システム
１２４ 超解像モジュール
１４０ 復元された顔画像
１４２ 画像形成モデル
１４６ データ忠実度モジュール
１４８_ｉ データ忠実度費用関数の解析的勾配
１５０ 正規化モジュール
１５２_ｉ 正規化費用関数の解析的勾配
１５４_ｉ 反復最適化モジュール

Claims (10)

1. 復元された顔画像をビデオの複数のフレームから作成するシステム（１０）であって、
   複数のビデオフレーム（１８）のそれぞれで見つかる顔画像にアクティブ形状モデルをあてはめるアクティブ形状コンポーネント（１６）と、
   他の顔画像のいずれかの対応する位置に各前記顔画像の顔領域内の各位置を位置決めする位置決めコンポーネント（２４）と、
   復元された顔画像（４０）を前記顔画像から作成する復元コンポーネントと
   を含むシステム（１０）。
2. 前記アクティブ形状コンポーネントは、
   複数のビデオフレームを供給するビデオ入力モジュール（１８）と、
   前記複数のビデオフレームのぞれぞれの中で顔を検出するように適合された顔検出モジュール（２０）と、
   顔画像モデルパラメータを、前記モデルが前記複数のビデオフレームのそれぞれの中の前記顔によく似るように判定するあてはめモジュール（２２）と
   を含む、請求項１記載のシステム。
3. 前記復元コンポーネントは、超解像アルゴリズム（１２４）を含む、請求項１記載のシステム。
4. 前記超解像アルゴリズムは、
   画像形成モデル（ＩＦＭ）顔画像を作成するために前記複数のビデオフレームのそれぞれについてアクティブ形状モデルを使用するＩＦＭ（１４２）と、
   前記ＩＦＭ顔画像と比較するために前記複数のビデオフレームのそれぞれからの実際の顔画像を使用するデータ忠実度モデル（１４６）であって、前記データ忠実度モデルは、費用関数を含む、データ忠実度モデル（１４６）と
   を含む、請求項３記載のシステム。
5. 高空間周波数歪みを抑制する正規化モジュール（１５０）を含み、前記正規化モジュールは、第２費用関数を含む、請求項４記載のシステム。
6. 前記復元コンポーネントは、
   前記複数のビデオフレームのそれぞれの前記顔画像のそれぞれを前記複数のビデオフレームの画素解像度より高い画素解像度を有する基準の新しいフレームにワープするために前記位置決めコンポーネントからの出力をとるワープモジュール（２６）と、
   画素ごとの基礎で前記ワープされた顔画像のそれぞれの平均をとる平均化モジュール（２８）と、
   前記平均をとられた顔画像から復元された顔画像を作成する画像復元アルゴリズム（３０）と
   を含む、請求項１記載のシステム。
7. 前記画像復元アルゴリズムは、ウィーナフィルタを含む、請求項６記載のシステム。
8. 基準の前記新しいフレームは、前記複数のビデオフレームの前記画素解像度より２倍高い画素解像度を有する、請求項６記載のシステム。
9. 復元された顔画像をビデオの複数のフレームから作成する方法であって、
   複数のビデオフレームのそれぞれで見つかる顔画像にアクティブ形状モデルをあてはめることと、
   他の顔画像のそれぞれの対応する画像位置に各前記顔画像の各画像位置を位置決めすることと、
   復元された顔画像を前記顔画像から作成することと
   を含む方法。
10. アクティブ外見モデルの前記あてはめは、
    顔画像のデータベースにアクセスすることと、
    前記データベースから前記顔画像の外見および形状の一般化された数学的表現を構成することと
    を含む、請求項９記載の方法。