JP2018520444A - 顔の位置合わせのための方法 - Google Patents

Abstract

顔の位置合わせのための方法は、まず、プロトタイプ形状を有する顔のランドマークロケーションの組に初期ロケーションを大域的に位置合わせして、大域位置合わせパラメーターを得て、次に、大域位置合わせパラメーターに従って、初期ロケーション及び画像を、画像の座標フレームから、プロトタイプ形状の座標フレームにワープして、ワープされたランドマークロケーション及びワープされた顔画像を得ることによって、顔画像、及び初期ランドマークロケーションの組に対し作用する。特徴は、ワープされたランドマークロケーションにおいてワープされた顔画像から抽出され、回帰関数が特徴に適用され、プロトタイプ形状の座標フレームにおいて更新されたランドマークロケーションが得られる。最終的に、プロトタイプ形状の座標フレームにおける更新されたランドマークロケーションは、画像の座標フレームにワープされ、更新されたランドマークロケーションが得られる。

Description

本発明は、包括的には、コンピュータービジョン及びその用途に関し、より詳細には、画像において顔を位置合わせすることに関する。

当該技術分野において既知であるように、顔の位置合わせは、１組の所定の顔ランドマークに対応する画像内のピクセルを位置特定することを指す。各ランドマークは、鼻の先端、眼の端、眉毛のアーチ及び唇の曲率等の特定の顔特徴に関連付けられる。

顔の位置合わせは、一般に、顔認識、顔追跡、顔姿勢推定、表情解析及び顔モデリング、並びにヒューマン−コンピューターインターフェース（ＨＣＩ：Human-computer interfaces）等の多くのコンピュータービジョン用途にとって重要である。さらに、顔の位置合わせは、運転者監視及び先進運転支援システム（ＡＤＡＳ：Advanced driver assistance systems）等の車両に関連した用途において有用である。顔の位置合わせは、姿勢、表情、照明及び遮蔽物等の要因の大きな変動に起因して困難な問題である。

顔の位置合わせに対する従来のアプローチは、アクティブ形状モデル（ＡＳＭ：Active Shape Model）、アクティブ外観モデル（ＡＡＭ：Active Appearance Model）又は制約付きローカルモデル（ＣＬＭ：Constrained Local Model）等の様々な方法を用いてきた。ＣＬＭは、互いに対するランドマークのロケーションを制約する、ランドマークのロケーションに対する明示的な共同制約、例えば部分空間形状モデルを有する。ＣＬＭを基にして、ガウス−ニュートン変形可能パーツモデル（ＧＮ−ＤＰＭ：Gauss-Newton Deformable Part Model）は、ガウス−ニュートン最適化を用いて外観モデル及びグローバル形状モデルを共同で当てはめる。

近年、顔の位置合わせにおける焦点が、弁別的方法に向かってシフトしている。これらの方法の際立った特徴は、明示的な回帰関数が学習されることである。回帰関数は、以前に推定された顔ランドマークロケーションにおいて抽出された特徴に基づいて、ランドマークロケーションの推定値を更新する。

ツリーベースの回帰方法は、ランドマークロケーションを迅速に推定することができる。１つのツリーベースの方法において、ランダムフォレスト回帰を用いて、ランドマークロケーションの最終推定値のための線形回帰関数を共同で学習することにより、１組のローカルバイナリ特徴を学習することができる。ランダムフォレスト回帰は、トレーニング時点において多数の決定木を構築する。別の方法は、勾配ブースティングツリーアルゴリズムを用いて回帰木のアンサンブルを学習する。

教師あり降下法（ＳＤＭ：Supervised Descent Method））において、回帰関数のカスケードは、スケール不変特徴変換（ＳＩＦＴ：Scale Invariant Feature Transform）を用いて抽出された特徴に対し作用して、推定ランドマークロケーションを反復的に更新する。ＳＤＭでは、ランドマークのロケーションにおいて明示的な顔形状制約が存在しない。これは、隣接する顔ランドマークのロケーションが、回帰中に隔たっていく場合があるため、理想的ではない。

さらに、ＳＤＭにおいて、同じ線形回帰関数は、面内及び面外の双方の頭部回転を含む、表情及び姿勢における全ての生じ得る変動にわたって機能しなくてはならない。これは、大きく、多岐にわたるトレーニングデータセットを必要とし、また、学習された回帰関数を強制的に汎用にするため、正確度が限られる。

本発明の実施形態は、大域的に位置合わせされた回帰を用いた、顔の位置合わせ、すなわち、画像内の顔ランドマークのロケーションの推定のための方法を提供する。本方法は、大域位置合わせ教師あり降下法（ＧＡ−ＳＤＭ：Globally Aligned Supervised Descent Method）と呼ばれる。ＧＡ−ＳＤＭは、反復としても知られる、Ｋ個のステージのカスケードとして動作する。各ステージは、大域位置合わせステップ及び回帰関数を含む。

本方法は、例えば、カメラを用いて、又は以前に捕捉された画像を得て、顔の画像を取得する。本方法への入力は、初期ランドマークロケーションと呼ばれる、ランドマークのロケーションの組の初期推定値を含む。初期ランドマークロケーションの組は、プロトタイプ形状を有する顔ランドマークロケーションの組に対し大域的に位置合わせされ、大域位置合わせパラメーターが得られる。初期ランドマークロケーションの組及び画像は、大域位置合わせパラメーターに従って、画像の座標フレームから、プロトタイプ形状の座標フレームにワープされ、ワープされたランドマークロケーション及びワープされた顔画像が得られる。

ワープされたランドマークロケーションにおけるワープされた顔画像から特徴が抽出される。回帰関数が特徴に適用され、プロトタイプ形状の座標フレームにおける更新されたランドマークロケーションが得られる。次に、プロトタイプ形状の座標フレームにおける更新されたランドマークロケーションが、画像の元の座標フレームにワープされ、取得された画像において、更新されたランドマークロケーションが得られる。

位置合わせ精度を改善するために、好ましい実施形態は、各反復において異なる回帰関数を用いながら、Ｋ回の反復にわたってステップを繰り返す。

ランドマークロケーションは、ヒューマン−マシンインタラクション、ビデオ会議、ゲーム、アニメーション、視線追跡、感情解析及び健康監視と、運転者監視及び先進運転支援システム（ＡＤＡＳ）等の自動車に関連した用途と、顔認識、表情認識及び合成、並びに超解像度撮像を含む多数のコンピュータービジョンタスクとを含む複数の用途において用いることができる。顔の位置合わせは、表情の多くのバリエーションが存在するとき、並びに姿勢の多くのバリエーション、例えば、面内回転として知られる画像平面内の回転、及び面外回転として知られる画像平面外の回転が存在するときに特に困難となる。

この問題に対処するために、本発明のいくつかの実施形態は、以後、単に「エキスパート」と呼ばれるＬ個のＧＡ−ＳＤＭ回帰エキスパートの混合を提供する。ｌ∈｛１，．．．，Ｌ｝である各エキスパートＥ^ｌは、カスケードのＫ個のステージの各々について異なる回帰関数｛Ｗ，ｂ｝を含む。ここで、Ｗ及びｂは、それぞれ、回帰関数の係数及び偏りを表す。

各エキスパートは、ランドマークロケーション、例えば、鼻の先端及び眼の端を大域的に位置合わせするための独自のプロトタイプ形状を有する。これにより、各エキスパートが、姿勢及び表情の共同空間の異なる部分に特化することを可能にする。いくつかの実施形態では、カスケードの各ステージにおけるエキスパートごとに別個の回帰モデルが学習される。いくつかの実施形態は、精度を増大させるために、弁別的な位置合わせフレームワーク内の変形制約も提供する。

本方法によって用いられる特徴は、
（１）本方法を、定義された大域変換の特化されたクラスに対し不変にする、回帰の各反復前の大域位置合わせステップと、
（２）回帰がプロトタイプ顔形状からの特徴ロケーションの偏差にペナルティを課すことを可能にする特徴ベクトルへの拡張と、
（３）各エキスパートが、入力データの異なるサブセットを位置合わせすることに特化した独自の回帰関数、例えば、姿勢及び表情の特定の範囲を有する、カスケードの各ステージにおけるエキスパート混合回帰と、
（４）エキスパートによって用いられるプロトタイプ顔形状を学習するためのアフィン不変クラスタリング手順と、
を含むことができる。

本発明の実施形態による、画像のための顔の位置合わせの概略図である。 本発明の実施形態による、ＧＡ−ＳＤＭ方法のｋ番目の反復を用いた顔の位置合わせのための方法の流れ図である。 図２Ａに示す方法に対応する擬似コードのブロック図である。 本発明の実施形態による、ＧＡ−ＳＤＭのＫ回の反復を用いた顔の位置合わせの流れ図である。 本発明の実施形態による、ＧＡ−ＳＤＭ回帰エキスパート（以後、「エキスパート」）の混合を適用することの１回の反復の流れ図である。 各々が特定の姿勢又は表情に特化されたエキスパートの混合の概略図である。 図４Ａの方法のＫ回の反復の擬似コードのブロック図である。

図１に示すように、本発明の実施形態は、大域的に位置合わせされた回帰を用いた顔の位置合わせ１００の方法を提供する。当該技術分野において、顔の位置合わせは、顔ランドマークの組に対応する画像内のピクセルを位置特定するプロセスを指す。各ランドマークは、鼻の先端、眼の端、並びに眉毛及び唇の端等の顔の特定のロケーションに関連付けられる。ランドマークロケーションが正しくない場合、顔の位置合わせは、本質的に、ランドマークロケーションを画像内のそれらの正しいロケーションに更新する。

本方法への入力１０１は、画像Ｉ、及びこの画像に関連付けられた初期ランドマークロケーションｘ_１の組である。画像は、カメラによって取得することができる（１０６）か、又は他の手段によって若しくは他のソース、例えばメモリ転送若しくは無線若しくは無線通信から得ることができる。本明細書に記載の方法及びプロセスは、本質的に、画像と初期ランドマークロケーションの組とに対し作用する。

初期ランドマークロケーションは、例えば、顔のパーツの検出アルゴリズム又は顔検出アルゴリズムを用いて手動で又は自動でマーキングすることができる。後者の場合、初期ランドマークロケーションは、トレーニング顔画像の組からの各ランドマークの平均ロケーションであり、これらは、バウンディングボックスに合うように並進及びスケーリングされる。ランドマークの初期ロケーションは正確にマーキングされる必要がないことに留意されたい。

初期ランドマークロケーションｘ_１１０１は、画像Ｉ内の全ての顔ランドマークのロケーションの初期推定値を表す。位置合わせ後、位置合わせされたランドマークロケーションｘ_Ｋ＋１１０２は、顔の画像Ｉの上に重ね合わされて示される。

図２Ａは、本発明の実施形態による、大域位置合わせ及び回帰を用いた、ＧＡ−ＳＤＭのステージｋ２００と呼ぶ１回の反復の流れ図を示す。画像Ｉにおける初期ランドマークロケーションｘ_ｋ１０１を、プロトタイプ顔形状

１０３のランドマークロケーションに大域的に位置合わせし（１１０）、位置合わせパラメーターＡ_ｋ１１１を生成する。好ましい実施形態では、以下で説明するように、プロトタイプ顔形状がトレーニング画像から学習される。他の実施形態では、プロトタイプ顔形状は、例えば、既存の２Ｄ又は３Ｄ顔モデルから得られるか又は適合され得る。

画像Ｉ及びランドマークロケーションｘ_ｋは、位置合わせパラメーターＡ_ｋ１１１に従ってワープされ（１２０）、プロトタイプ顔形状の座標フレームで表される画像Ｉ’及びランドマークロケーション

１２１が生成される。これらのロケーションを用いて、プロトタイプ顔形状の座標フレームで表されるワープされた画像Ｉ’から特徴

１３１が抽出される（１３０）。

ｋ番目の回帰関数が適用され（１４０）、プロトタイプ顔形状の座標フレームにおける更新されたランドマークロケーション

１４１が生成される。更新されたランドマークロケーションは、次にワープされ、パラメーターＡ_ｋを用いた位置合わせ変換の逆数を表す

を用いて画像の座標フレームに戻される。これにより、元の画像Ｉの座標フレームにおいて、更新されたランドマークロケーションｘ_ｋ＋１１５１が得られる。図２Ａ及び他の図面に示されるステップは、当該技術分野において既知のメモリ及び入出力インターフェースに接続されたプロセッサにおいて実行することができる。

図２Ｂは、図２Ａの流れ図に対応するＧＡ−ＳＤＭの１回の反復（ステージｋ）のための擬似コードを示す。擬似コードにおいて用いられるステップ及び変数は、本明細書及び図面において記載される。

図３に示すように、ＧＡ−ＳＤＭ手順は、より良好な位置合わせのために各ステージにおいて異なる回帰関数を用いてＫ回反復される（１０４）。本方法は、ステージｋ＝１において、入力画像Ｉと、画像内のランドマークロケーションの初期推定値ｘ_１１０１とを用いて開始する。これらは、ＧＡ−ＳＤＭの第１のステージ、すなわち、ｋ＝１であるＧＡ−ＳＤＭのステージｋ２００に対する入力１０５として用いられる。ＧＡ−ＳＤＭはＫ個のステージ（Ｋ≧１）にわたって反復される。ステージｋの出力は、ランドマークロケーションの更新された推定値ｘ_ｋ＋１１５１である。ｋ＜Ｋであるとき、ステージ番号ｋは１だけインクリメントされ、前のステージの出力ｘ_ｋ＋１１５１は、現在のステージの入力ｘ_ｋ１０５となる。ＧＡ−ＳＤＭの（ｋ＝Ｋであるときの）ステージＫの終了時に、更新されたランドマークロケーションｘ_ｋ＋１１５１は、ＧＡ−ＳＤＭの最終出力である、位置合わせされたランドマークロケーションｘ_Ｋ＋１１０２として用いられる。

図４Ａは、本発明の好ましい実施形態による、ＧＡ−ＳＤＭ回帰エキスパート（以後、「エキスパート」）の混合を適用することの１回の反復（ステージｋ）を示す。各々が独自のプロトタイプ形状

を有するＬ個のエキスパートＥ^ｌ１５４が存在する。ここで、ｌ∈｛１，．．．，Ｌ｝である。画像Ｉ及びランドマークロケーションｘ_ｋ１０５について、ゲーティング関数α^ｌ（ｘ_ｋ）１６１が計算される（１６０）。ランドマークロケーションｘ_ｋは、ＧＡ−ＳＤＭの１つのステージ（ステージｋ）２００を用いて各エキスパートＥ^ｌによって位置合わせされ（１５５）、元の画像Ｉの座標フレームにおいて表される更新されたランドマークロケーション

１５６が得られる。次に、エキスパートの出力の加重平均が求められ（１７０）、更新されたランドマークロケーションｘ_ｋ＋１１７１が生成される。

図４Ｂは、各々が特定の範囲の姿勢又は表情に特化されたＬ＝５個のエキスパートにそれぞれ対応する５つのプロトタイプ顔形状

１９０を概略的に示す。矢印１８０は、５つのエキスパートに対する各画像のランドマークロケーションの割り当て重みを示す。

本発明の方法は、好ましい実施形態が、現在推定されている特徴ロケーションの組において計算されるスケール不変特徴変換（ＳＩＦＴ）特徴に対し回帰のカスケードを行うという点で、従来技術による教師あり降下法（ＳＤＭ）に関連している。

本発明の方法は、複数の方法で従来技術によるＳＤＭに対し改善を加える。従来のＳＤＭにおいて、学習された線形回帰関数は、広範にわたる入力姿勢における顔を扱うことが可能でなくてはならない。

代わりに、本発明では、回帰ステップの前に、カスケードの各ステージにおいて大域位置合わせステップを用いる。これによって、本発明の方法が、大域変換のクラス全体に対して不変になる。いくつかの実施形態では、全ての可能な２Ｄアフィン変換のクラスを用いる。結果として、本発明の回帰関数は、姿勢における多くの大域変動を補正する必要がなく、それによって、回帰関数は、ランドマークロケーションにおける、より小さな変動を扱うように精密に調整することができる。

従来のＳＤＭは、複数のランドマークのロケーションを共同で制限するための明示的な大域制約を有しない。本発明の方法は、プロトタイプ顔形状からのランドマークロケーションの偏差にペナルティを課すことによってこの問題に対処する。本発明では、プロトタイプランドマークロケーションと、現在推定されているランドマークロケーションとの差を、モデルの厳密性を決定するスカラーによって重み付けしたものを含めるように特徴ベクトルを拡張することによって、回帰フレームワークにおいてこれを達成する。この顔形状の（すなわち、ランドマークロケーションの）大域正則化によって、特徴が隔たっていくことを防ぐ。

姿勢及び表情の変動に対処するように本発明のモデルの柔軟性を更に改善するために、カスケードの各ステージにおける単純な線形回帰関数を、エキスパート混合線形回帰関数と置き換える。混合における各エキスパートは、異なるプロトタイプ顔形状に対応し、例えば、各エキスパート関数は、異なる範囲の面外頭部回転（out-of-plane head rotations）及び表情を扱うことができる。

ここで、本発明の方法に関連する従来の教師あり降下法（ＳＤＭ）及び本明細書において用いられる表記について説明する。

Ｉを顔の画像とし、ｘを画像座標内のｐ個の顔ランドマークのロケーションの２ｐ×１ベクトルとする。ｘにおけるｐ個のランドマークロケーションの各々において、ｄ次元特徴ベクトル、例えば、ｄ＝１２８が抽出される。φ（Ｉ，ｘ）をｐｄ×１の統合された特徴ベクトルとする。これは、ランドマークロケーションｘにおける画像Ｉから抽出されたｐ個の特徴記述子の連結である。いくつかの実施形態では、特徴は、スケール不変特徴変換（ＳＩＦＴ）特徴である。他の実施形態では、特徴は、勾配方向ヒストグラム（ＨＯＧ：Histogram of Oriented Gradients）特徴である。

画像Ｉにおけるランドマークロケーションｘ_ｋの現在の推定値を所与とすると、ＳＤＭは、位置合わせ問題を、更新ベクトルΔｘを求めることとして定式化し、それによって、更新された１組のランドマークロケーションｘ_ｋ＋Δｘにおいて求められた特徴は、画像内のグランドトゥルースランドマークロケーション

の組において求められた特徴に、より良好に合致する。

対応する誤差を更新ベクトルΔｘの関数として表すことができる。

ここで、

である。関数ｆはニュートンの方法によって最小化することができる。それは、ヘシアン及びヤコビ関数の計算を必要とし、このために、ｆは２回微分可能でなくてはならない。一方、この微分可能条件は、常に成り立つとは限らない場合があり、φがＳＩＦＴ演算子である場合、明らかに成り立たない。したがって、その方法は、ヤコビ及びヘシアン行列の計算的に複雑な数値計算を必要とし、結果としての最小化手順の収束は低速である。

これは、明示的なヘシアン及びヤコビ計算の代わりに学習された降下方向を用いてｘ_ｋを連続して更新することによってＳＤＭにおいて対処される。学習された降下方向を計算するのに用いられる線形関数及び特徴ベクトルの形態のための動機は、ニュートンの方法から得られる。

（１）に対する二次テイラー近似は以下となる。

ここで、Ｊ_ｆはｘに関するｆのヤコビ行列であり、Ｈはｆのヘシアン行列である。連鎖法則によって、以下の式が成り立つ。

ここで、Ｊ_φはｘに関するφのヤコビであり、φ_ｋ＝φ（Ｉ，ｘ_ｋ）と定義する。

ニュートンステップは以下となる。

ここで、ヘシアン及びヤコビからの引数ｘ_ｋを省いてφ_ｋに対する依存を強調する。

式（４）は、多変量線形回帰によって近似される。

ここで、係数Ｗ_ｋ及び偏りｂ_ｋはｘ_ｋの値に依拠しない。

ＳＤＭは、トレーニングデータを用いて、Ｋ個の線形回帰｛Ｗ_ｋ，ｂ_ｋ｝のカスケードを学習する。ここで、ｋ＝１，．．．，Ｋである。次に、学習された回帰を、カスケードの以前のステージによって出力されたランドマークロケーションにおいて計算された特徴に順次適用することによって、位置合わせが達成される。

回帰｛Ｗ_ｋ，ｂ_ｋ｝を学習するために、トレーニングデータにおけるＮ個の顔の画像が、全てのトレーニング画像をＭ回繰り返すことによって拡張される。毎回、異なるランダム変位によってグランドトゥルースランドマークロケーションを摂動させる。グランドトゥルースランドマークロケーション

を有するこの拡張されたトレーニングセット（ｉ＝１，．．．，ＭＮ）内の各画像Ｉ_ｉについて、ランドマークが、ランダム変位

によって摂動される。次に、Ｌ_２損失関数

を最小限にすることによって第１の回帰関数（ｋ＝１）が学習される。

ランダム摂動を用いるのではなく、後の回帰｛Ｗ_ｋ，ｂ_ｋ｝_{ｋ＝２，．．．，Ｋ}をトレーニングすることによって、更新ベクトル

は、回帰カスケードの前回のステージ後の残余となる。

ここで、本発明のモデルを説明する。本発明のモデルは、従来技術の位置合わせの正確度及びロバスト性を大幅に改善する。好ましい実施形態は、
回帰の各ステージの前の大域位置合わせステップと、
回帰に対する学習された変形制約と、
カスケードの各ステージにおける、単一の線形回帰ではないエキスパート混合回帰と、
を用いる。

大域位置合わせ（Global Alignment）
従来のＳＤＭにおける回帰関数が、多岐にわたる顔の姿勢及び表情について顔ランドマークを位置合わせするように学習するために、トレーニングデータは、可能な変動の空間を覆うのに十分な顔の例を含まなくてはならない。

任意の姿勢において顔を位置合わせできることが所望の特性であるが、そのような機能を学習することは、全ての可能な顔姿勢を含むトレーニングデータを収集する（又は合成する）ことを必要とする。さらに、学習することは、トレーニングセット内に大きな変動が存在するときに、より困難なタスクとなり、このため、十分に複雑な回帰モデル（機能形式及び特徴数）が必要とされるか、又は全てのこれらの姿勢を位置合わせするために位置合わせ方法の正確度が損なわれる。

原則として、モデルの複雑度を高めることにより、汎化性能が悪化する。これにより、限られた範囲の姿勢について顔を位置合わせすることを学習する、より単純な又はより正則化されたモデルが、全ての姿勢に関してトレーニングされた汎用位置合わせモデルよりも、これらの姿勢について良好に機能することができることが提案される。

単純な例として、顔画像の複数の面内回転を用いてトレーニングされた回帰関数ではなく、顔の単一の直立画像を用いてトレーニングされる回帰関数を検討する。顔の単一の直立画像を用いてトレーニングされる回帰関数の場合、回帰関数は、直立姿勢についてルートを有しなくてはならないのに対し、顔画像の複数の面内回転を用いてトレーニングされた回帰関数の場合、回帰関数は、全ての面内回転についてルートを有しなくてはならない。

大域位置合わせによる本発明の目標は、任意の姿勢における顔を位置合わせすることを依然として可能にしながら、姿勢のより小さな組において各回帰をトレーニングすることである。これを行うために、各ステージの回帰関数の前に大域位置合わせステップを適用する。

大域位置合わせ教師あり降下法（ＧＡ−ＳＤＭ）
図２Ａ、図２Ｂ及び図３は、大域位置合わせ教師あり降下法（ＧＡ−ＳＤＭ）と呼ぶ、大域位置合わせ及び回帰を用いて顔を位置合わせするための本発明の方法を示す。図２Ａは、本方法の１回の反復（ステージｋ）のステップの流れ図を示し、図２Ｂは、対応する擬似コードを示す。

図３は、（Ｋ個のステージを有する）ＧＡ−ＳＤＭ法全体のための流れ図を示す。本方法におけるステップは、当該技術分野において既知のメモリ及び入出力インターフェースに接続されたプロセッサにおいて行うことができる。擬似コードにおいて用いられる全ての変数が本明細書に記載される。

図２Ａ及び図２Ｂに記載される方法を、ＧＡ−ＳＤＭの１つのステージ、ステージｋと呼ぶ。これはなぜなら、好ましい実施形態において、本方法がＫ回（ここで、Ｋ≧１）反復され、各反復ｋがＧＡ−ＳＤＭのステージｋと呼ばれるためである。図３は、Ｋ個のステージを含むＧＡ−ＳＤＭ法全体を示す。一方、図２Ａ及び図２Ｂに記載される方法は、独立型の方法として１回のみ行われる場合がある。これは、Ｋ＝１であるＧＡ−ＳＤＭの特殊な事例である。

ＧＡ−ＳＤＭのステージｋへの入力は、プロトタイプ顔形状

１０３のランドマークロケーションのベクトルと、｛Ｗ_ｋ，ｂ_ｋ｝によって定義される線形回帰関数と、顔の画像Ｉと、画像内の特定された顔ランドマークの初期ロケーションｘ_ｋとである。ここで、以下で更に説明するように、Ｗ_ｋ及びｂ_ｋはそれぞれ、回帰関数の係数及び偏りを表す。

プロトタイプ顔形状

１０３は、ｐ個の顔ランドマークのロケーションを含む２ｐ×１ベクトルである。いくつかの実施形態では、プロトタイプ形状

は、全ての画像に正準ロケーション及びスケールを共有させるために各トレーニング画像に均等スケーリング及び並進変換が適用された後の、トレーニングデータの組にわたる各ランドマークの平均ロケーションを含む。

好ましい実施形態は、以下で説明するように、大域位置合わせのための関数のクラスとしてアフィン変換を用いるが、他の実施形態は大域変換の他のクラスを用いてもよい。回帰の各ステージｋにおいて、プロトタイプランドマークロケーション

への二乗距離の和を最小限にするために、前回の回帰ステージによって推定されたランドマークロケーションｘ_ｋを変換するアフィン変換Ａ_ｋ１１１を求める（１１０）。

ここで、Ａは全てのアフィン変換の組を表す。

変換Ａ_ｋを用いて、画像Ｉ及びランドマークロケーションｘ_ｋ１０１をプロトタイプ形状座標フレーム：Ｉ’＝Ａ_ｋ（Ｉ）及び

にワープする（１２０）。ここで、ランドマークロケーションのベクトルの変換Ａ_ｋ（ｘ_ｋ）及び画像のワープＡ_ｋ（Ｉ）の双方に同じアフィン変換演算子Ａ_ｋを用いることによって僅かに記号の濫用を行うことに留意されたい。

次に、プロトタイプ座標フレームにおける推定ランドマークロケーション

におけるワープされた画像Ｉ’から、特徴、例えば、ＳＩＦＴ特徴を抽出し（１３０）、線形回帰を適用する（１４０）。

次に、

、すなわち変換Ａ_ｋの逆数を用いてワープして、画像座標に戻す（１５０）。画像座標フレームにおいて、更新されたランドマークロケーション１５１を出力する。これらは

によって与えられる。

いくつかの実施形態では、線形回帰１４０は、カーネル回帰、ツリー回帰、回帰フォレスト、又はニューラルネットワーク回帰等の別のタイプの回帰関数と置き換えられてもよい。

変形制約の学習
ランドマークロケーションを追跡するための従来のＳＤＭは、近傍のランドマークの回帰挙動に対する明示的な制約を有しておらず、これにより、ランドマークが隔たっていく可能性が生じる。通常、これは、ランドマークの自由形態の変形に対する明示的な制約又はペナルティを導入することによって最適化設定において対処するべき単純な問題である。

低速となり得る最適化手順を利用するのではなく、回帰関数を用いて順方向予測の速度の利点を維持したい。回帰フレームワーク内の制約の効果を達成するために、回帰モデルがランドマークロケーションを制約することを学習することを可能にする更なる特徴を用いる。

式（１）におけるコスト項

の形態で軟制約を用いる。

これにより、ランドマークロケーションがプロトタイプ形状

から隔たっていくときの二次ペナルティが課される。重みλは、プロトタイプ形状からのロケーションの偏差に対する制約の厳密さを制御する。制約された最適化において、「軟」制約は、制約が満たされない量にペナルティを課す項である。

この制約されたｆのためのニュートンステップは、

であり、ここで、Ｈは、ｘに関するｆ_ｃのヘシアン行列であり、Ｊ_φはｘに関するφのヤコビである。（５）によって（４）を近似したように、線形回帰関数によって、この制約付きニュートンステップ（１１）を近似することができる。

ここで、制約付き特徴ベクトル

は、以下となる。

制約なしＳＤＭにおけるように、トレーニングデータを用いて回帰係数Ｗ_ｋ及び偏りｂ_ｋを学習することができる。制約付きの式（１２）と式（５）における制約なし回帰モデルとの間の唯一の差は、制約付きバージョンにおいて、プロトタイプ形状ランドマークロケーションからのランドマークロケーションの偏差を符号化する更なる特徴

を含めるように特徴ベクトルを拡張することである。

制約付き回帰は、関連付けられた回帰係数のための負値を学習することによって、プロトタイプ形状に向けてランドマークロケーションを動かすことを学習する。学習された係数のノルムは、カスケードの初期回帰ステージの場合により大きく、後のステージにおいてより小さい。これにより、ランドマークロケーションがそれらの最終的な値に収束するにつれ、変形に対し課される制約が弱くなる。

重みλをＷ_ｋに組み込み、

をｂ_ｋに組み込み、

ではなくｘ_ｋを有する特徴ベクトルφ^＊のみを展開することが可能であることに留意されたい。一方、式（１３）におけるような差分ベクトル形式を維持する。これは、以下に説明するような正則化されたトレーニングにとって重要になる。

表記を統一するために、展開された特徴ベクトルφ^＊を単純にφと呼ぶ。そのようにして、式（５）〜式（９）、図２Ａ、及び図２Ｂのアルゴリズム１を変更なしで制約付きモデルに適用する。φを用いる以下の式は、同様に、制約付きモデルに適用されるとみなすことができる。

好ましい実施形態は、展開された特徴ベクトルを、ＳＤＭの単純な拡張ではなく、本発明のＧＡ−ＳＤＭの一部として用いることに留意されたい。このため、好ましい実施形態では、特徴

は、式（９）におけるように、プロトタイプ座標フレーム内のランドマークロケーション

（すなわち、ワープされたランドマークロケーション）におけるワープされた画像Ｉ’から抽出される。このため、好ましい実施形態において、展開された特徴ベクトルにおける追加の特徴は、実際に、プロトタイプ形状ランドマークロケーションからのワープされたランドマークロケーション

の偏差を符号化した、形式

を有する。

ＧＡ−ＳＤＭ回帰エキスパートの混合
上記で説明した大域位置合わせは、本発明のモデルが、顔のアフィン変換に対し不変の回帰関数を学習することを可能にする。それでも、例えば、面外回転及び表情に起因した、顔画像データにおける残りの変動が大きいため、単一の回帰関数が全ての顔を正確に位置合わせすることは困難である。

特に、画像の通常のトレーニングセットは、大きな面外回転又は極端な表情を有する顔よりもはるかに多くの無表情の正面の顔を含む。したがって、これらのトレーニングデータから導出されたプロトタイプ顔（例えば、平均顔）は、無表情の正面の顔に非常に近く、回帰関数は、より極端な姿勢及び表情について、あまり良好に機能しない傾向にある。

好ましい実施形態は、エキスパート混合回帰モデルを用いる。エキスパート混合回帰モデルでは、各エキスパートが、可能な姿勢及び表情の異なるサブセットに特化された回帰関数を有する。各エキスパートのサブセットは、エキスパートのためのプロトタイプ形状によって求められる。Ｌ個のプロトタイプ形状

を構築し、それによって、データセット内のＮ個の顔の各々のグランドトゥルースランドマークロケーション

が、プロトタイプ形状ランドマークのうちの１つと良好に位置合わせされる。プロトタイプ形状の決定は、以下の最適化問題として表すことができる。

ここで、各

は、可能なプロトタイプ形状を表す２ｐ×１ベクトルであり、すなわちｐ個の顔ランドマークのロケーションである。

は、変換のクラス全体、例えば、全ての可能なアフィン変換の組を表すのに対し、Ａは、その組のメンバーである１つの特定の変換を表す。

変換

のクラスが恒等変換のみを含む場合、この問題は、ランドマークロケーションに基づくトレーニングサンプルのユークリッドクラスタリングに還元される。

がアフィン変換のクラスである場合、これをアフィン不変クラスタリング（affine-invariant clustering）と呼ぶ。この場合、式（１４）は、全ての変換及びプロトタイプ形状にゼロを割り当てるゼロ解を回避するためにプロトタイプ形状又は変換に対する更なる制約が必要となる同種最適化（homogeneous optimization）問題である。さらに、目的関数は、形状の共同最適化、及び形状へのトレーニングサンプルの割り当てに起因して非凸である。この問題を、２つの凸部分問題（convex sub-problems）に分割し、これらを反復的に解く。

第１の部分問題は、プロトタイプ形状

が固定であると仮定して、全てのトレーニング顔画像ｎを、

を介してプロトタイプ形状のうちの１つに割り当てる。この問題は、トレーニング顔ごとに独立して解くことができる。最適な割り当ては、顔のグランドトゥルースランドマークロケーションを、最小位置合わせ誤差でアフィン位置合わせすることができるプロトタイプ形状である。

第２の部分問題はプロトタイプ形状について解く。各プロトタイプ形状は、そのプロトタイプ形状に割り当てられた全てのトレーニング顔のグランドトゥルースロケーション

にわたって二乗アフィン位置合わせ誤差の和を最小にするランドマークロケーションを含む。

縮退を回避するために、プロトタイプ形状に対し線形制約を用いる。いくつかの実施形態では、これらの制約は、例えば、右の眉毛のランドマークの平均ロケーションと同様に左の眉毛のランドマークの平均ロケーション、および、唇のランドマークの平均垂直ロケーションが固定されることを強制する。これらの制約は、行列Ｃの行が、ランドマークロケーションのベクトル

から眉毛及び唇のランドマークの座標を選択するとともに、行列Ｃの行に対応するベクトルｍの行が、固定された平均ロケーションを符号化するように、行列Ｃ及びベクトルｍを選択することによって、式（１７）を用いて表すことができる。この最適化は、線形制約を有する二次問題（quadratic problem）であり、最適解は、線形系を解くことによって計算される。２つの最適化部分問題は、割り当てが変化しなくなるまで交互に解かれる。通常、収束には２０回〜３０回の反復で十分である。

図４Ｃは、本発明の好ましい実施形態による、ＧＡ−ＳＤＭ回帰エキスパート、以後「エキスパート」の混合を適用するための方法である疑似コードアルゴリズム２を示す。本方法は、カスケードのステージと呼ぶＫ回の反復を含む。

図４Ａは、本方法のステージｋと呼ぶ１回の反復の流れ図を示す。ステージｋへの入力は、画像Ｉ及び初期ランドマークロケーションｘ_ｋ１０５である。ｌ＝１，．．．，ＬであるエキスパートＥ^ｌごとに、本発明のＧＡ−ＳＤＭのステージｋ２００が適用され（１５５）、各エキスパートの更新されたランドマークロケーション

１５６が得られる。割り当てα^ｌ（ｘ_ｋ）１６１は、以下に詳細に説明されるように、式（２０）及び式（２１）に従って求められ、Ｌ個のエキスパートの出力の重み付き平均１７０は、以下のように求められる。

これは、式（２２）として以下に説明される。次に、更新されたランドマークロケーションｘ_ｋ＋１が出力される（１７１）。

各エキスパートＥ^ｌは、Ｌ個のプロトタイプ形状うちの１つに対応する、すなわち、ｌ∈｛１，．．．，Ｌ｝である。回帰カスケードの各ステージにおいて、エキスパートＥ^ｌごとに別個の回帰が存在する。このため、プロトタイプ形状ロケーション

に加えて、各エキスパートＥ^ｌは、カスケードのＫ個のステージの各々について回帰関数

を有する。

カスケードの各ステージｋにおいて、各エキスパートＥ^ｌが、そのエキスパートのプロトタイプ形状ロケーション

及び回帰関数

を入力として用いて、アルゴリズム１（図２Ｂ）、すなわち、ＧＡ−ＳＤＭのステージｋを実行する。

式（１９）における表記は、

がアルゴリズム１に対する入力（これは、図２Ｂに詳述されるように、ＧＡ−ＳＤＭのステージｋである）として提供され、

が結果としての出力であることを示す。各エキスパートＥ^ｌのためのゲーティング関数は、ランドマークロケーションｘ_ｋと、各プロトタイプ形状のランドマークロケーション

との間の大域位置合わせ誤差ε^ｌ（ｘ_ｋ）のソフトマックス変換によって与えられるソフト割り当てα^ｌ（ｘ_ｋ）である。ソフト割り当ては、以下を用いて計算される。

ここで、

であり、ソフトマックス関数は範囲（０，１）内の実数値を返す。

ここで、式（８）において、

は、全てのアフィン変換の組を表す。いくつかの実施形態では、

は、大域変換の異なるクラスを表し得る。スコアα^ｌ（ｘ_ｋ）の高い値は、ロケーションｘ_ｋの現在の推定値が、ｌ番目のエキスパートのプロトタイプ形状に近く、このため、Ｅ^ｌから得られる回帰結果が高い重みを割り当てられることを示す。図４Ｂにおいて、モデル内のエキスパートに対する２つの顔の割り当て重みを示す。

カスケードの各ステージｋにおいて、本発明の混合エキスパート位置合わせ方法は、全てのエキスパートの回帰関数をランドマークロケーションｘ_ｋの開始推定値に適用し、次に、ゲーティング関数α^ｌ（ｘ_ｋ）に従って出力を平均し、ランドマークロケーションｘ_ｋ＋１の更新された推定値を得る。

エキスパートのトレーニング
好ましい実施形態において、エキスパートの回帰関数は、Ｎ個の顔画像の組と、これらのＮ個の画像の各々における顔ランドマークのグランドトゥルースロケーションとを含むトレーニングデータを用いて学習される。エキスパートＥ^ｌの回帰関数を学習するために、トレーニングデータ内のＮ個の顔画像が、異なるランダム変位によってグランドトゥルースランドマークロケーションを毎回摂動させて、全てのトレーニング画像をＭ回繰り返すことによって拡張される。グランドトゥルースランドマークロケーション

を有するこの拡張されたトレーニングセットにおける画像Ｉ_ｉ（ｉ＝１，．．．，ＭＮ）ごとに、ランドマークをランダムオフセット

だけ変位させる。全てのエキスパートＥ^ｌごとに、式（２０）及び式（２１）を用いて、プロトタイプ形状

へのｉ番目のサンプルの摂動されたランドマークロケーションのソフト割り当て

を計算する。

このソフト割り当てを計算する間、

が、プロトタイプ形状

のランドマークロケーションに対するｉ番目のサンプルの摂動されたランドマークロケーションを最も良好に割り当てる式（２１）からの大域（アフィン）変換を表すものとする。

を用いて、グランドトゥルースランドマークロケーション及び変位ベクトルを、エキスパートＥ^ｌのプロトタイプ座標フレームに変換する。

次に、第１の回帰関数（ｋ＝１）は、チコノフ正則化Ｌ_２損失関数を最小にすることによって学習される。

ｌ及びｋごとに、正則化項の重みγを、例えば２分割交差検証を用いた対数空間におけるグリッドサーチにより、選択することができる。

ランダム摂動を用いるのではなく、後の回帰｛Ｗ_ｋ，ｂ_ｋ｝_{ｋ＝２，．．．，Ｋ}をトレーニングするために、ターゲット

は、カスケードの前回のステージの残余である。

トレーニングにおいて、回帰関数は、大きな残余を生成するいくつかのサンプルについて多岐にわたる可能性がある。これらの外れ値の当てはめを回避するために、各ステージｋにおいて、トレーニングセットから最も大きな残余を有するサンプルの２％を除去する。交差検証誤差をこれ以上低減することができなくなるまでトレーニングすることによって、回帰ステージＫの数を選択する。

トレーニングセットの主要な変形方向に沿ってグランドトゥルース顔ランドマークロケーションをランダムに摂動させることによって、トレーニングサンプルが生成される。これらは主要成分解析により求められる。さらに、ランダム回転、並進及び不均等スケーリングをランドマークロケーションに適用し、ｉ．ｉ．ｄ（独立同分布（independent and identically distributed））ガウス雑音を加える。このトレーニングセットのためのカスケードモデル（通例、Ｋ＝３個〜４個のステージ）を学習した後、小さな量のｉ．ｉ．ｄガウス雑音のみからなるトレーニングセットを用いて第２のカスケードモデルを学習し、このモデルをオリジナルモデルに付加する。第２のモデルは、１個〜２個のステージを有し、精密な位置合わせを改善する。

発明の効果
各々が、大域位置合わせと、それに続く回帰とを含む１つ以上の（Ｋ≧１）ステップからなる正確な顔の位置合わせ方法が説明される。さらに、Ｌ個のＧＡ−ＳＤＭ回帰エキスパートの混合を説明した。各エキスパートは、ランドマークロケーションをそのプロトタイプ形状に大域的に位置合わせし、カスタマイズされた回帰モデルを学習することによって、姿勢及び表情の共同空間の異なる部分に特化している。また、変形制約を弁別的位置合わせフレームワーク内に含める方法も提示する。拡張的な評価は、提案される方法が最新技術を大幅に改善することを示す。

Claims (29)

1. 顔の位置合わせの方法であって、
   顔の画像と、該画像に関連付けられた初期ランドマークロケーションの組とを取得するステップと、
   前記初期ランドマークロケーションの組を、プロトタイプ形状を有する顔のランドマークロケーションの組に大域的に位置合わせして、大域位置合わせパラメーターを得るステップと、
   前記大域位置合わせパラメーターに従って、前記初期ランドマークロケーションの組及び前記画像の座標フレームからの前記画像を前記プロトタイプ形状の座標フレームにワープして、ワープされたランドマークロケーション及びワープされた顔画像を得るステップと、
   前記ワープされたランドマークロケーションにおける前記ワープされた顔画像から特徴を抽出するステップと、
   前記特徴に回帰関数を適用して、前記プロトタイプ形状の前記座標フレームにおける更新されたランドマークロケーションを得るステップと、
   前記プロトタイプ形状の前記座標フレームにおける前記更新されたランドマークロケーションを前記画像の前記座標フレームにワープして、前記画像内の更新されたランドマークロケーションを得るステップと、
   を含み、前記ステップはプロセッサが実行する、方法。
2. 請求項１に記載のステップをＫ回の反復にわたって適用することを更に含み、ここで、Ｋ≧１であり、前記画像は全ての反復について用いられ、各反復ｋ＞１において、前記初期ランドマークロケーションの組は、反復ｋ−１中に用いられた前記画像内の前記更新されたランドマークロケーションである、請求項１に記載の方法。
3. 前記エキスパート回帰関数は、各反復ｋにおいて異なる、請求項２に記載の方法。
4. Ｌ個の大域位置合わせ教師あり降下法回帰エキスパート（複数のエキスパート）の組を更に含み、
   前記画像は全てのエキスパートによって用いられ、
   各エキスパートは、異なるプロトタイプ形状及び異なる回帰関数に関連付けられ、
   ゲーティング関数は、前記Ｌ個のエキスパートの各々について割り当て重みを生成し、
   前記Ｌ個のエキスパートの各々について、請求項１に記載のステップが実行され、更新された顔ランドマークロケーションのＬ個の組が得られ、
   前記更新された顔ランドマークロケーションのＬ個の組が、前記割り当て重みを用いて加重平均として結合され、前記更新された顔ランドマークロケーションが得られる、請求項１に記載の方法。
5. 請求項４に記載の方法をＫ回の反復にわたって適用することを更に含み、ここで、Ｋ≧１であり、前記画像は全ての反復について用いられ、各反復ｋ＞１において、前記初期ランドマークロケーションは、反復ｋ−１において得られた前記更新されたランドマークロケーションである、請求項４に記載の方法。
6. エキスパートごとに、前記回帰関数は各反復において異なる、請求項５に記載の方法。
7. 前記方法は、感情解析のために用いられる、請求項１に記載の方法。
8. 前記方法は、超解像度撮像のために用いられる、請求項１に記載の方法。
9. 前記方法は、先進運転支援システムによって用いられる、請求項１に記載の方法。
10. 前記方法は、ビデオ会議のためのものである、請求項１に記載の方法。
11. 前記画像はカメラによって取得される、請求項１に記載の方法。
12. 前記初期ランドマークロケーションは、顔検出アルゴリズムを用いて求められる、請求項１に記載の方法。
13. 前記初期ランドマークロケーションは、顔パーツ検出アルゴリズムを用いて求められる、請求項１に記載の方法。
14. 前記大域位置合わせパラメーターは、２Ｄアフィン変換を表す、請求項１に記載の方法。
15. 前記プロトタイプ形状は、トレーニングデータの組にわたる各ランドマークの平均ロケーションを含む、請求項１に記載の方法。
16. 前記Ｌ個のエキスパートの前記プロトタイプ形状は、最適化問題を解いて、トレーニングデータの組における前記ランドマークの前記ロケーションのアフィン不変クラスタリングを得ることによって求められる、請求項４に記載の方法。
17. 前記抽出することは、スケール不変特徴変換（ＳＩＦＴ）特徴を用いる、請求項１に記載の方法。
18. 前記抽出することは、勾配方向ヒストグラム（ＨＯＧ）特徴を用いる、請求項１に記載の方法。
19. 前記特徴は、前記プロトタイプ形状のランドマークロケーションからの前記ワープされたランドマークロケーションの偏差
    

    

    を符号化する更なる特徴を含み、λは、前記プロトタイプ形状からの前記ロケーションの偏差に対する前記制約の厳密さを制御する重みであり、
    

    

    は前記ワープされたランドマークロケーションのベクトルであり、
    

    

    は、前記プロトタイプ形状の前記ランドマークロケーションのベクトルであり、ｋは前記方法の反復をインデックス付けする、請求項１に記載の方法。
20. 前記回帰関数は線形関数である、請求項１に記載の方法。
21. 前記回帰関数は回帰フォレストである、請求項１に記載の方法。
22. ｌ∈｛１，．．．，Ｌ｝である各エキスパートＥ^ｌのゲーティング関数α^ｌは、ランドマークロケーションｘ_ｋと、エキスパートＥ^ｌの前記プロトタイプ形状
    

    

    の前記ランドマークロケーションとの間の大域位置合わせ誤差ε^ｌ（ｘ_ｋ）のソフトマックス変換であり、
    

    

    ここで、エキスパートＥ^ｌの前記大域位置合わせ誤差は
    

    

    であり、ここで、
    

    

    は、大域変換のクラスを表し、Ａは、特定の変換を表し、ｋは、前記方法の反復をインデックス付けする、請求項４に記載の方法。
23. 前記大域変換のクラスは、全ての可能な２Ｄアフィン変換のクラスである、請求項２２に記載の方法。
24. 前記回帰関数は、トレーニングデータの組を用いて学習され、該トレーニングデータの組は、顔のＮ個の画像の組と、該Ｎ個の画像の各々における前記顔ランドマークのグランドトゥルースロケーションとを含む、請求項１に記載の方法。
25. 前記回帰関数は、顔のＮ個の画像の組と、これらのＮ個の画像の各々における前記顔ランドマークのグランドトゥルースロケーションとを含むトレーニングデータの組を用いて学習され、
    前記トレーニングデータは、全てのトレーニング画像をＭ回繰り返すことによって拡張され、拡張されたトレーニングデータの組が生成され、
    ｉ＝１，．．．，ＭＮである、前記拡張されたトレーニングの組内の各画像Ｉ_ｉについて、画像Ｉ_ｉは、オフセット
    

    

    だけ変位したグランドトゥルースランドマークロケーション
    

    

    を有し、
    前記回帰関数は、Ｌ_２損失関数
    

    

    を最小化して、線形回帰関数パラメーターＷ_ｋ、ｂ_ｋを得ることによって学習され、ここで、Ｗ_ｋ及びｂ_ｋは、それぞれ前記回帰関数の係数及び偏りを表し、φは、前記特徴を表す、請求項３に記載の方法。
26. 前記オフセット
    

    

    は、ランダムに決定される、請求項２５に記載の方法。
27. 反復ｋ＝１において、前記オフセット
    

    

    は、ランダムに決定され、
    各反復ｋ≧２において、前記オフセット
    

    

    は、前回の反復後の残余である、請求項２５に記載の方法。
28. 各エキスパートの前記回帰関数は、Ｎ個のトレーニング顔画像の組と、該Ｎ個のトレーニング顔画像の各々における顔ランドマークのグランドトゥルースロケーションとを含むトレーニングデータの組を用いて学習され、
    前記トレーニングデータは、全てのトレーニング顔画像をＭ回繰り返すことによって拡張され、拡張されたトレーニングデータの組が生成され、
    ｉ＝１，．．．，ＭＮである前記拡張されたトレーニングデータの組内の各画像Ｉ_ｉについて、画像Ｉ_ｉは、オフセット
    

    

    だけ変位されたグランドトゥルースランドマークロケーション
    

    

    を有し、
    エキスパートごとに、前記回帰関数は、Ｌ_２損失関数
    

    

    を最小化することによって学習され、
    ここで、
    

    

    は、エキスパートｌの前記回帰関数のパラメーターであり、
    

    

    であり、
    

    

    は、前記グランドトゥルースランドマークロケーション
    

    

    及び前記画像の前記座標フレームからの変位ベクトル
    

    

    を、エキスパートｌのための前記プロトタイプの前記座標フレームに変換する変換であり、
    

    

    は、エキスパートｌのための前記プロトタイプの前記座標フレームにおける前記変位されたランドマークロケーション
    

    

    から計算された、エキスパートｌのための割り当て重みであり、γは正則化項重みである、請求項４に記載の方法。
29. 反復ｋ＝１において、前記オフセット
    

    

    は、ランダムに決定され、各反復ｋ≧２において、前記オフセット
    

    

    は、前回の反復後の残余である、請求項２８に記載の方法。

Images