JP2003514309A

JP2003514309A - 物体の種類の識別、検証あるいは物体の画像合成

Info

Publication number: JP2003514309A
Application number: JP2001536987A
Authority: JP
Inventors: クリストファー・ジョン・テイラー; ティモシー・フランシス・クーツ; ギャレス・エドワーズ
Original assignee: ザ・ビクトリア・ユニバーシテイ・オブ・マンチエスター
Priority date: 1999-11-09
Filing date: 2000-11-09
Publication date: 2003-04-15
Also published as: EP1228479A1; DE60019786T2; US7095878B1; DE60019786D1; EP1228479B1; AU772362B2; ES2241667T3; AU1165301A; ATE294423T1; CA2390695A1; WO2001035326A1

Abstract

(57)【要約】異なる種類の物体の画像を比較することによって得られた外観パラメータに基づいたモデルを使用して物体の種類を識別する方法であって、このモデルは、外観パラメータが所与の物体の種類に対して変わる範囲を記述する確率密度関数の表現を含み、このモデルは、この外観パラメータと確率密度関数との間の所定の関係をさらに含むものにおいて、未知の物体を示す外観パラメータを生成し、この外観パラメータとこの確率密度関数との間の所定の関係を使用して未知の物体のための適切な確率密度関数を推定し、次にこの確率密度関数を使用して決定された限界内のこの外観パラメータの少なくともいくつかを繰り返して修正し、この物体の種類を識別することとを含む。

Description

【発明の詳細な説明】

【０００１】本発明は、物体の種類の識別あるいは検証に関し、物体の画像の合成にも関す
るものである。本発明は、特に排他的ではないけれども顔の識別あるいは検証に
関し、顔の画像の合成にも関するものである。

【０００２】公知である多数の顔識別の方法は、非同種の人々の顔の特徴を示す汎用顔空間
モデルを利用する。一般的に、汎用顔空間モデルは、制限された寸法の空間にお
ける顔の間の変化を示すことができるのが最適である外観パラメータのセットと
して示される（例えば、Ｍ．Ａ．ＴｕｒｋおよびＡ．Ｐ．Ｐｅｎｔｌａｎｄの米
国特許第５，１６４，９９２号を参照せよ）。識別される顔は外観パラメーター
のセットに変換され、それから既知の顔を示す外観パラメーターのセットと比較
される。

【０００３】最近発表された顔識別方法は、能動外観方法および能動形状方法を含む（１９
９８年に開催されたコンピュータビジョンに関する第５回ヨーロッパ会議におけ
るＧ．Ｊ．Ｅｄｗａｒｄｓ、Ｃ．Ｊ．Ｔａｙｌｏｒ、およびＴ．Ｆ．Ｃｏｏｔｅ
ｓ著の論文「能動外観モデルを使用する顔認識」（５８１〜５９５ページ）；Ｔ
．Ｆ．Ｃｏｏｔｅｓ、Ｃ．Ｊ．Ｔａｙｌｏｒ、Ｄ．Ｈ．Ｃｏｏｐｅｒ、およびＪ
．Ｇｒａｈａｍ著の論文「能動形状モデル‐そのトレーニングおよび応用」（コ
ンピュータビジョンおよびイメージ認識、６１（１）：３８〜５９、１９９５年
１月））。能動外観方法は、未知の顔が比較される汎用顔空間モデルを含み、さ
らにモデルを使用して合成された顔を未知の顔に合わせるために、汎用顔空間で
外観パラメータをいかに調整するかを示す予め記憶された知識を含む。予め記憶
された知識によって、必要数の調整反復は最少にできるので、予め記憶された知
識を使用することは有利である。

【０００４】各個人の顔の外観が変化していなくて、各個人のあらゆる画像が同じである場
合、各個人は汎用顔空間における単一ポイントによって示すことができる。しか
しながら、個人の顔の外観は、多数の要素、例えば表情、姿勢あるいは照明の変
化に応じて変わってもよい。表情、姿勢、照明あるいは他の要素の変化の下での
個人の外観を示す外観パラメータの変異性は、確率密度関数として示すことがで
きる。この確率密度関数は、所与の個人に一致するとみなされる汎用顔空間の統
計を規定する。したがって、例えば、異なる表情を有する個人の一連の画像は、
全て汎用顔空間における確率密度関数によって示された統計の中に含まれるべき
である。

【０００５】公知の顔識別方法では、全ての個人に用いられる単一確率密度関数が生成され
る。これは、確率密度関数を所与の個人に対する平均パラメータベクトルに集中
することによって行われる。

【０００６】本発明の第１の態様の目的は、改良された物体の種類の識別あるいは検証方法
を提供することにある。

【０００７】本発明の第１の態様によれば、異なる種類の物体の画像を比較することによっ
て得られた外観パラメータに基づいたモデルを使用して物体の種類を識別する方
法が提供され、このモデルは、外観パラメータが所与の物体の種類に対して変わ
る範囲を記述する確率密度関数の表現を含み、このモデルは、この外観パラメー
タと前記確率密度関数との所定の関係をさらに含み、この方法は、未知の物体を
示す外観パラメータを生成し、この外観パラメータとこの確率密度関数との所定
の関係を使用して未知の物体のための適切な確率密度関数を推定し、次にこの確
率密度関数を使用して決定された限界内のこの外観パラメータの少なくともいく
つかを繰り返して修正し、前記物体の種類を識別することとを含む。

【０００８】本発明の第１の態様による方法は、未知の物体の種類の改良された識別を行う
。

【０００９】好ましくは、確率密度関数の閾値レベルが決定され、外観パラメータは、閾値
よりも大きい確率密度を有することを抑制される。

【００１０】適度に、この物体は顔であり、物体の所与の種類は特定の識別を有する顔であ
る。この物体は、代わりに手、家畜、自動車等であってもよい。各々の場合、物
体の種類は、この物体、例えば特定の人の手、特定の馬、自動車の特定のモデル
である。

【００１１】本発明の第１の態様は、異なる個人の顔が異なる方法で変わり、外観パラメー
タが顔を識別する場合に変わり得る範囲を制限するという事実を使用するために
有利である。

【００１２】適度に、外観パラメータと確率密度関数との関係は、物体の各種類に対して決
定された平均外観パラメータと物体の各種類に関連した確率密度関数との関係で
ある。

【００１３】確率密度関数は、いかなる適当な関数も、例えばガウス関数であってもよい。

【００１４】適度に、確率密度関数は、所与の共分散マトリックスによってガウス関数とし
て近似される。

【００１５】適度に、このモデルは能動外観モデルである。このモデルは、代わりに能動形
状モデルであってもよい。

【００１６】本発明の第１の態様は、例えば所与の個人の外観における予測変異性を考慮す
ることによっても個人の追跡を改良するために使用されてもよい。個人の外観に
おける予測変化に対してより強い制約を行うことによって、このモデルを画像あ
るいは手順に合わせることをより確固たるものにすることができる。

【００１７】本発明の第２の態様によれば、異なる種類の物体の画像を比較することによっ
て得られた外観パラメータに基づいたモデルを使用して物体の種類の識別を検証
する方法が提供され、このモデルは、所与の物体の種類に対して外観パラメータ
の変化を記述する確率密度関数の表現を含み、このモデルは、この確率密度関数
とこの外観パラメータとの所定の関係をさらに含み、検証がその後必要とされる
物体の種類に対して、この方法は、一連のこの物体の種類の画像を使用し、この
物体の種類に対する外観パラメータの変化を記述する特定の確率密度関数の表現
を生成し、かつこの物体の種類のその後の検証中、この未知の種類の物体を示す
外観パラメータを生成し、かつこの固有確率密度関数を使用して決定された限界
内の前記外観パラメータの少なくともいくつかを繰り返して修正することによっ
て、未知の種類の画像を既知の種類の画像と比較することとを含む。

【００１８】用語「検証」は、未知の物体の種類が、特定の物体の種類に一致しているかど
うかを調べるためにチェックされることを意味することを意図される。

【００１９】好ましくは、確率密度関数の閾値レベルが決定され、外観パラメータは、閾値
よりも大きい確率密度を有するように抑制される。

【００２０】適度に、この物体は顔であり、物体の所与の種類は特定の識別を有する顔であ
る。この物体は、代わりに手、家畜、自動車等であってもよい。各々の場合、物
体の種類は、この物体、例えば特定の人の手、特定の馬、自動車の特定のモデル
である。

【００２１】本発明の第２の態様は、異なる個人の顔が異なる方法で変わり、顔を識別する
場合に、外観パラメータが変わり得る範囲を制限するという事実を使用するため
に有利である。

【００２２】本発明の第２の態様による方法は、未知の物体の種類の改良された検証を行っ
てもよい。例えば、所与の個人の顔は、全てが比較的完全連続な確率密度関数の
中に含まれる外観パラメータを有してもよい。本発明の第２の態様によるモデル
は、その外観パラメータがこの完全連続な確率密度関数の中に含まれる場合、画
像がこの個人の顔であることを検証するだけである。より大きい統計を有する単
一グローバル確率密度関数を使用する従来の検証方法は、外観パラメータがグロ
ーバル確率密度関数の中に含まれる場合（外観パラメータが本発明の第２の態様
によって提供された比較的完全連続な確率密度関数の範囲外にあった場合、検証
は間違っている）、個人の画像の識別を間違って検証し得る。

【００２３】適度に、外観パラメータと確率密度関数との関係は、物体の各種類に対して決
定された平均外観パラメータと物体の各種類に関連した確率密度関数との関係で
ある。

【００２４】確率密度関数は、いかなる適当な関数も、例えばガウス関数であってもよい。

【００２５】適度に、確率密度関数は、所与の共分散マトリックスによってガウス関数とし
て近似される。

【００２６】適度に、このモデルは能動外観モデルである。このモデルは、代わりに能動形
状モデルであってもよい。

【００２７】本発明の第３の態様によれば、異なる種類の物体の画像を比較することによっ
て得られる外観パラメータに基づいたモデルを使用して物体の種類の合成画像を
生成する方法が提供され、このモデルは、物体の所与の種類に対する外観パラメ
ータの変化を記述する確率密度関数の表現を含み、このモデルは、確率密度関数
と外観パラメータとの所定の関係をさらに含み、合成される物体の種類に対して
、この方法は、この物体の種類の一連の画像を使用し、この物体の種類に対する
外観パラメータの変化を記述する固有確率密度関数の表現を生成することを含み
、物体の種類の合成画像は、固有確率密度関数を使用して決定された限界内に限
定された外観パラメータを使用して生成される。

【００２８】本発明の第３の態様は、合成画像の外観パラメータがあるべき物体の種類の固
有限界を生じるために有利である。

【００２９】好ましくは、確率密度関数の閾値レベルが決定され、この外観パラメータは、
閾値よりも大きい確率密度を有するように抑制される。

【００３０】適度に、この物体は顔であり、物体の所与の種類は特定の識別を有する顔であ
る。この物体は、代わりにに手、家畜、自動車等であってもよい。各々の場合、
物体の種類は、この物体、例えば特定の人の手、特定の馬、自動車の特定のモデ
ルである。

【００３１】本発明の第３の態様は、異なる個人の顔が異なる方法で変わり、顔を識別する
場合に外観パラメータが変わり得る範囲を制限するという事実を使用するために
有利である。

【００３２】適度に、外観パラメータと確率密度関数との関係は、物体の各種類に対して決
定された平均外観パラメータと物体の各種類に関連した確率密度関数との関係で
ある。

【００３３】確率密度関数は、いかなる適当な関数も、例えばガウス関数であってもよい。

【００３４】適度に、確率密度関数は、所与の共分散マトリックスによってガウス関数とし
て近似される。

【００３５】適度に、このモデルは能動外観モデルである。このモデルは、その代わり能動
形状モデルであってもよい。

【００３６】一般に、多数の外観パラメータは、適切な顔認識を可能にするのに十分に詳細
な顔を表現するために必要である。これを示す代替の方法は、汎用顔空間モデル
が適切な顔認識を可能にするのに十分に詳細な顔を表現するために多数の大きさ
を有していなければならないことにある。

【００３７】一般的には、約１００の外観パラメータは、顔の正確な識別を可能にするのに
十分な詳細を有する顔を汎用顔空間モデルで表現するのに必要である。しかしな
がら、所与の個人の顔に対して著しく変わる外観パラメータ数は、１００よりも
非常に少なく（一般的には３０である）、残りの外観パラメータ（一般的には７
０）は実質的に冗長である。既存の顔識別モデルは、汎用顔空間モデルを構成す
る外観パラメータの全てを変えることによって顔を識別しようと試みる。同様に
、全ての使用可能な外観パラメータは、顔以外の物体の種類を識別しようと試み
る場合に変更される。

【００３８】本発明の第４の態様の目的は、改良された物体の種類の検証方法を提供するこ
とにある。

【００３９】本発明の第４の態様によれば、異なる種類の物体の画像を比較することによっ
て得られた外観パラメータに基づいたモデルを使用して物体の種類の識別を検証
する方法が提供され、この方法は、未知の種類の物体をこのモデルに取り込まれ
た既知の種類の物体と比較することを含み、この外観パラメータは、新しい座標
空間で規定された変換パラメータのセットに変換され、この新しい座標空間は、
複数の変換パラメータがこの座標空間で変化しないように選択され、変換パラメ
ータは、この座標空間で既知の種類の物体を示すパラメータのセットと比較され
る。

【００４０】発明者らは、画像が所与の種類の物体のものであるかどうかを検証する（例え
ば、この個別の顔の画像を使用して個人の識別を検証する）場合、未知の種類の
物体を含む（例えば、画像に含まれた顔の識別を認識しようと試みる）画像で物
体の種類を認識するのに必要であるよりも少ない数の自由度が必要である。さら
に、座標空間を回転させることによって、物体の種類の識別を検証するために変
化されねばならないパラメータ数は、著しく減少されてもよい。

【００４１】適度に、この物体は顔であり、物体の所与の種類は特定の識別を有する顔であ
る。この物体は、代わりにに手、家畜、自動車等であってもよい。各々の場合、
物体の種類は、この物体、例えば特定の人の手、特定の馬、自動車の特定のモデ
ルである。

【００４２】適度に、このモデルは能動外観モデルである。このモデルは、代わりに能動形
状モデルであってもよい。

【００４３】本発明の第４の態様による方法が使用される場合、検証に対して必要であるパ
ラメータ数は、一般的には約１００から約３０に減少される。したがって、本発
明の第４の態様は、特定の個人に「合わせた」モデルを使用して（すなわち、個
人の検証に対して必要とされる変換パラメータ数を最少にする新しい座標空間を
使用して）画像照合を実行にすることを可能にする。これは、より速い、より信
頼性がある検証を行う。

【００４４】本発明の第５の態様によれば、異なる種類の物体の画像を比較することによっ
て得られた外観パラメータに基づいたモデルを使用して所与の種類の物体の一連
の画像を送信する方法が提供され、外観パラメータは、新しい座標空間で規定さ
れた変換パラメータのセットに変換され、この新しい座標空間は、複数の変換パ
ラメータがこの座標空間で変化しないように選択され、変化しない変換パラメー
タは、変換の記述とともに受信機に送信され、変化する変換パラメータは、その
後一連の画像の各画像のために受信機に送信され、逆変換は、受信機で変換パラ
メータを外観パラメータに逆変換するために使用される。

【００４５】好ましくは、外観パラメータは、受信機で合成画像を生成するために使用され
る。

【００４６】本発明の第６の態様によれば、異なる種類の物体の画像を比較することによっ
て得られた外観パラメータに基づいたモデルを使用して所与の種類の物体の一連
の画像を記憶する方法が提供され、外観パラメータは、新しい座標空間で規定さ
れた変換パラメータのセットに変換され、この新しい座標空間は、複数の変換パ
ラメータがこの座標空間で変化しないように選択され、変化しない変換パラメー
タは、変換の記述とともに記憶媒体に記憶され、変化する変換パラメータは、一
連の画像の各画像のために記憶媒体にも記憶される。

【００４７】適度に、この変換は線形変換である。

【００４８】それとは別に、この変換は非線形変換である。

【００４９】好ましくは、物体は顔であり、物体の所与の種類は特定の識別を有する顔であ
る。

【００５０】好ましくは、このモデルは能動外観モデルである。

【００５１】能動外観モデルは、公知の顔識別方法である（１９９８年に開催されたコンピ
ュータビジョンに関する第５回ヨーロッパ会議におけるＧ．Ｊ．Ｅｄｗａｒｄｓ
、Ｃ．Ｊ．Ｔａｙｌｏｒ、およびＴ．Ｆ．Ｃｏｏｔｅｓ著の論文「能動外観モデ
ルを使用する顔認識」（５８１〜５９５ページ）。能動外観モデルのトレーニン
グ中、合成画像とターゲット画像との差が監視され、合成画像とターゲット画像
との測定差に対する（外観パラメータによって生成される）合成画像の回帰マト
リックス関連変位が決定される。能動外観モデルを使用する物体識別中、回帰マ
トリックスは、モデルを最少エラーを示す物体の種類の識別に至らせるために使
用される。

【００５２】本発明の第７の態様の目的は、改良された物体の種類識別方法を提供すること
にある。

【００５３】本発明の第７の態様によれば、異なる種類の物体の画像を比較することによっ
て得られた外観パラメータに基づいたモデルを使用して物体の種類を識別する方
法が提供され、このモデルは、画像差の外観パラメータの摂動の影響を記述する
予め記憶された推定関係を含み、この画像差は、このモデルに従って生成された
物体の画像と物体そのものの画像との差を示す要素のセットを含み、異なる固有
の関係は物体の異なる種類に対して予め記憶される。

【００５４】適度に、この関係は回帰マトリックスとして規定される。

【００５５】適度に、この物体は顔であり、物体の所与の種類は特定の識別を有する顔であ
る。この物体は、代わりにに手、家畜、自動車等であってもよい。各々の場合、
物体の種類は、この物体、例えば特定の人の手、特定の馬、自動車の特定の型で
ある。

【００５６】本発明の第７の態様は、物体の種類に固有である回帰マトリックスを提供する
ために有利である。顔認識の場合、回帰マトリックスは、特定の識別を有する顔
に固有であり、これは、より骨の折れる、正確な検索を行う。

【００５７】前述されるような本発明の各態様は、分離において役に立つ。しかしながら、
本発明の態様は、より速い、より骨の折れる物体の種類の識別および／または検
証を行うために一緒に組合せることができる。

【００５８】本発明の第１の態様は、そのとき本発明の第４の態様による方法または本発明
の第７の態様による方法で使用されてもよい物体の種類の固有確率密度関数を提
供するために使用できる。

【００５９】次に、本発明の第１および第２の態様の特定の実施例は例としてだけ説明され
る。

【００６０】本発明は、非同種の人々の顔特徴を示す汎用顔空間モデルに基づいたモデルに
用いられてもよい。

【００６１】表情、姿勢、照明等の変化の下で、顔の所与の識別のための外観パラメータの
変異性は、汎用顔空間モデルで確率密度関数（ＰＤＦ）として示すことができる
。所与の顔の平均外観値に集中されるＰＤＦに対して、この顔のこの任意の表情
、姿勢あるいは照明は、ＰＤＦ内にある外観パラメータによって記述されるべき
である。

【００６２】従来の顔認識方法では、単一ＰＤＦは、識別にもかかわらず全ての顔の変化を
記述するために使用される。しかしながら、実際には、異なる顔は異なる方向で
変わる。本発明の第１の態様は、異なる個人の顔を示す外観パラメータとそのＰ
ＤＦとの関係を規定することによってこれを考慮する。これによって、特定の顔
に固有なＰＤＦは、この顔の単一画像に基づいて未知の顔に対して予測できる。

【００６３】このモデルは、姿勢、照明、表情等の変化を含む多数の例がある所定の顔のた
めに計算されたＰＤＦを含む。これらの「周知」の顔は、（外観パラメータによ
って規定されるように）汎用顔空間のいろいろな位置にある。このモデルは、特
定の顔に関連したＰＤＦと汎用顔空間におけるこれらの顔の位置との関係を記憶
する。特定の顔の汎用顔空間における位置は、例えば、この顔を示す外観パラメ
ータの平均値として規定されてもよい。

【００６４】このモデルを使用する顔識別中、未知の顔に対するＰＤＦは、未知の顔を示す
１つあるいはそれ以上の外観パラメータの位置に基づいて推定される。これは、
顔のより有効な識別を可能にする特定の顔がいかに変わるかを記述する顔固有Ｐ
ＤＦを示す。顔固有ＰＤＦは、未知の顔の単一画像だけが調べられる場合さえ決
定してもよい。

【００６５】本発明の第１の態様の実施例は、下記のように機械的に示すことができる。

【００６６】ｃを外観モデルパラメータのベクトルとする。ｐ（ｃ｜ｘ）をパラメータのベクトルｘによってそのものをパラメータで表さ
れるパラメータｃに対するＰＤＦとする。例えば、ＰＤＦは、共分散マトリックスＳ＝Ｓ（ｘ）を有するガウス関数であ
ってもよい。モデルは、下記を含んでもよいが、これに限定されない。ａ）１つのスケーリングパラメータｘ_１を有するモデルＳ（ｘ_１）＝ｘ_１Ｓ_０ｂ）ｘによる共分散マトリックスの固有値を示すことすなわち、Ｓ（ｘ）＝Ｐ’ｄｉａｇ（ｘ）Ｐ（ここで、Ｐは直交マトリックス
）である。

【００６７】このモデルにはｎ人の個人の各々からのｍ_ｉ個の例の顔画像が備えられると仮
定する（ｉ＝１．．．ｎ）。ｙ_ｉを個人ｉに対するこれらｍｉ個のベクトルの平
均値とする。各個人ｉに対して、平均値ｙ_ｉについてのＰＤＦのパラメータｘ_ｉが求められる。

【００６８】このモデルは、空間における平均位置ｙ_ｉとＰＤＦのパラメータｘ_ｉとの関係
、ｘ＝ｆ（ｙ）を記憶する。この関係は、任意の適当な方法、例えば多変数線形回帰、ニューラルネットワー
ク等で記憶することができる。十分なデータが与えられると、複合非線形関係を
記憶することができる。

【００６９】したがって、個人の単一画像を与えられると、このモデルは、顔パラメータｙ
を記憶でき、次に関連ＰＤＦをｐ（ｃ｜ｆ（ｙ））として推定できる。

【００７０】ＰＤＦは、パラメータｃによって示される物体がｐ_ｊ（ｃ）の最大値を示す種
類ｊとして分類される標準最大可能性分類子フレームワークの分類／識別のため
に使用できる。ここで、ｐ_ｊ（）はｊ番目の種類に対するＰＤＦである。

【００７１】本発明は、例えば、所与の個人の外観の予測変異性を考慮することによって個
人の認識を改善するために使用されてもよい。

【００７２】本発明も、例えば、所与の個人の外観における予測変異性を考慮することによ
って個人のトラッキングを改善するために使用されてもよい。個人の外観におけ
る予想された変化により強い制約を与えることによって、モデルを画像あるいは
手順に適合させることをより確実なものにすることができる。

【００７３】同様に、本発明は、既知の顔の合成にも用いられてもよく、本発明によって所
与の個人の外観における予測変異性は考慮できる。合成された顔は、例えば、コ
ンピュータゲームの一部として、あるいは一般のユーザコンピュータインタフェ
ースの一部として使用されてもよい。合成された顔はユーザーの顔となりうる。

【００７４】本発明も、検証目的に適切なＰＤＦを使用することに関するものである。この
ＰＤＦは、ｐ（ｃ）＞ｔ_０（ここで、ｔ_０は所定の閾値である）である場合、こ
の種の有効な例としてパラメータｃを有する物体を受け入れることによって検証
のために使用できる。検証が必要である場合、特定の物体の種類のＰＤＦは、最
初にこの物体の種類の一連の画像を使用して決定される。一旦これが行われると
、検証は、物体の単一画像を得て、この物体の種類に固有なＰＤＦの制約内にあ
るモデルを用いることによって次の機会に実行されてもよい。

【００７５】本発明も、合成目的に適切なＰＤＦを使用することに関するものである。物体
の画像は、汎用顔空間においてこの物体を示す外観パラメータを物体の２次元輝
度表現に変換することによって合成される。この外観パラメータは、関連した物
体の種類の固有確率密度関数によって決定された限界内に制限される。

【００７６】本発明の第４の態様の実施例は顔検証に関するものである。一般に、顔の外観
は、ｎ個の外観モデルパラメータｃのベクトルによって示すことができる。しか
しながら、個別の顔の外観は、限られた数の方法で変わり得るだけであるので、
ｃ＝ｃ_０＋Ｂｂとしてモデル化できる。ここで、ｂはｋ次元ベクトル、ｋ＜ｎ、
Ｂはｎ×ｋマトリックス、ｃ_０は個人に対する平均外観である。

【００７７】既知の個人を検索する（すなわち、個人の識別を検証しようと試みる）場合、
全ｃのｎ個のパラメータよりもむしろこのモデルを画像に最適に適合させるｂの
ｋ個のパラメータを求めることが必要とされるだけである。顔に対して、ｎ≒１
００およびｋ≒３０であるので、本発明の第４の態様は、より速い、より信頼性
がある顔適合をもたらす。

【００７８】本発明は、線形変換に関して説明されているけれども、形式ｃ＝ｆ（ｂ）のい
かなる適当な変換も使用されてもよい。

【００７９】本発明は、顔の一連の画像、例えば、移動する顔画像が電話回線を介して送信
されるべきである場合に有用である。発呼者の顔がカメラによって撮影され、外
観パラメータのセットに変換される。この外観パラメータのセットは、送信より
前に新しい座標空間で変換パラメータのセットに変換される。この送信の第１の
部分は、変換の記述とともに新しい座標空間で変わらないこれらの変換パラメー
タを含む。この送信の第２の部分は、新しい座標空間で変わるこれらの変換パラ
メータを含む。これらのパラメータは一連の各画像に対して送信される。

【００８０】変換パラメータは、画像を合成するために使用される外観パラメータに逆変換
される受信機に送信される。

【００８１】所与の画像を受信機に送信するのに必要とされる変換パラメータ数は、同じ画
像を送信するのに必要とされる外観モデルパラメータ数よりも著しく少ない。こ
れによって、送信機と受信機との間の下部帯域幅接続は使用でき、あるいは代わ
りに画像はよりしばしば更新できる。顔画像の更新速度が増加されると、顔画像
はより写実的に見え、連続する顔の画像間の差はより小さく、カメラによる顔の
トラッキングをより確実なものにする。

【００８２】本発明は公知の顔をトラッキングすることにも用いられてもよい。顔を表現す
るのに必要とされるパラメータ数の削減は、テレビ電話のような用途において価
値のある、より速い、より確実なトラッキングを可能にする（一端でトラッキン
グされる顔は、このパラメータが本人によく似ている合成顔を再構成するために
使用される受信機に送信される少数のパラメータｂに符号化される）。ｂ個のパ
ラメータをｃ個のパラメータに変換するのに必要とされる変換は、受信機にも送
信されねばならない。

【００８３】本発明は、既知の顔を合成するために使用される場合に有利である。顔を表現
するのに必要とされるパラメータ数ｂの削減は、必要とされる計算上の負荷を減
少させるより速い合成を可能にする。合成顔は、例えばコンピュータゲームの一
部あるいは一般のユーザコンピュータインタフェースとして使用されてもよい。
合成顔は、ユーザの顔であってもよい。

【００８４】上記の方法の全てが、本発明は、能動外観モデル（１９９８年第３回自動顔お
よびジェスチャー認識に関する国際会議におけるＧ．Ｅｄｗａｒｄｓ、Ｃ．Ｔａ
ｙｌｏｒ、およびＴ．Ｃｏｏｔｅｓ著の論文「能動外観モデルを使用する顔画像
の解読」（３００〜３０５ページ）（１９９８年４月に日本の奈良市のＩＥＥＥ
コンピュータ学会出版で発行）に用いられ、Ｃｏｏｔｅｓら（第５回のコンピュ
ータビジョンのヨーロッパ会議におけるＴ．Ｆ．Ｃｏｏｔｅｓ、Ｇ．Ｊ．Ｅｄｗ
ａｒｄｓ、およびＣ．Ｊ．Ｔａｙｌｏｒ著の論文「能動外観モデル」（４８４〜
４９８ページ）（１９９８年６月にＳｐｒｉｎｇｅｒ発行）によってさらに説明
されいる。

【００８５】能動外観モデルは、モデルによって生成した再構成画像と下にあるターゲット
画像との差を使用し、モデルパラメータをさらによい値の方へ至らせる。従来の
記憶段階では、公知の変位ｃは、公知のモデル例に用いられ、モデルと画像との
間に生じる差ｖが測定される。多変数の線形回帰は、そのようなトレーニング変
位の大きなセットに用いられ、近似線形関係は確立される。すなわち、 δｃ＝Ｒδｖである。

【００８６】画像を検索する場合、モデルと画像との現差ｖは、モデルフィットを改善する
モデルパラメータの調整値−ｃを予測するために使用される。表示を簡単にする
ために、ベクトルｃは、スケールにおける変位、回転および並進を含むものと仮
定される。

【００８７】能動外観モデルは、顔画像のセットを使用して構成された。これを行うために
、顔画像モデルは、Ｅｄｗａｒｄｓら（Ｇ．Ｅｄｗａｒｄｓ、Ａ．Ｌａｎｉｔｉ
ｓ、ＣＴａｙｌｏｒおよびＴ．Ｃｏｏｔｅｓ著の「特異性を改善する顔画像の
統計モデル」（イメージおよびビジョンコンピューティング、１６：２０３〜２
１１、１９９８）によって示された方式に従って生成された。このモデルは、顔
形状変化のモデルを形状正規化された顔の外観変化のモデルと結合することによ
って生成された。このモデルは、各々が主要な機能を示す１２２個のランドマー
ク点で示される４００個の顔画像でトレーニングされた。この形状モデルは、ラ
ンドマークのセットをベクトルｘとして示し、主要成分分析（ＰＣＡ）をデータ
に用いることによって生成された。次に、いかなる例も下記を使用して近似でき
る。ｘ＝ｘ＋Ｐ_ｓｂ_ｓ（１）ここで、ｘは平均形状であり、Ｐ_ｓは、変化の直交モードのセットであり、ｂ_ｓは形状パラメータのセットである。各例の画像は、曲げられるので、その制御点
は、（三角形分割アルゴリズムを使用して）平均形状に適合し、グレイレベル情
報ｇは、形状正規化された顔パッチからサンプルされた。ＰＣＡをこのデータに
用いることによって同じモデルが得られた。ｇ＝ｇ＋Ｐ_ｇｂ_ｇ（２）

【００８８】したがって、いかなる例の形状および外観もベクトルｂ_ｓおよびｂ_ｇによって
要約できる。形状変化とグレイレベル変化との間の相関があるので、他のＰＣＡ
は、下記の形式の結合モデルを得るために結合されたベクトルに用いられる。ｘ＝ｘ＋Ｑ_ｓｃ（３）ｇ＝ｇ＋Ｑ_ｇｃ（４）ここで、ｃはモデルの形状およびグレイレベルの両方を制御する外観パラメータ
のベクトルであり、Ｑ_ｓおよびＱ_ｇはｃの値を形状および形状正規化グレイレベ
ルデータの変化にマッピングする。顔は、無形状グレイレベル画像をベクトルｇ
から生成し、ｘに示された制御点を使用してこの画像を曲げることによって所与
のｃのために合成することができる（この処理は、１９９７年の英国のＣｏｌｃ
ｈｅｓｔｅｒ市で開催された１９９７年の英国マシンビジョン会議におけるＧ．
Ｊ．Ｅｄｗａｒｄｓ、Ｃ．Ｊ．ＴａｙｌｏｒおよびＴ．Ｃｏｏｔｅｓ著の論文「
画像シーケンスの顔を識別し、追跡する学習」に詳述される。

【００８９】４００の例は、２３の形状パラメータｂ_ｓおよび１１４のグレイレベルパラメ
ータｂ_ｇをもたらす。しかしながら、８０の結合外観モデルパラメータｃだけが
観測された変化の９８％を説明するために必要とされる。

【００９０】一旦外観モデルが生成されると、この外観モデルは、顔を識別し、顔の表現を
生成するために使用されてもよい。

【００９１】２つの工程は、外観モデルを顔の画像に適合させるために採用される。第１の
工程は、簡単で速い方式を使用して近似適合を求めるべきである。顔が画像にあ
ってもよい場合あるいは顔のスケールおよび向きの最初の情報が全然仮定されな
い。簡単な固有の顔モデル（Ｍ．ＴｕｒｋおよびＡ．Ｐｅｎｔｌａｎｄ著の論文
「認識のための固有の顔」（ＪｏｕｒｎａｌＣｏｇｎｉｔｉｖｅＮｅｕｒｏ
ｓｃｉｅｎｃｅ、３（１）：７１〜８６、１９９１）は、位置選定のこの工程の
ために使用されてもよい。画像データＭの固有の顔の表現と画像そのものＩとの
間の相関スコアＳは、いろいろなスケール、位置および向きで計算できる。すな
わち、Ｓ＝｜Ｉ−Ｍ^２｜（５）である。

【００９２】原則として、画像は徹底的に検索できるけれども、Ｍａｔａｓらの確率方式（
１９９７年英国のＣｏｌｃｈｅｓｔｅｒ市に開催された英国のマシンビジョン会
議におけるＫ．Ｊ．Ｊ．ＭａｔａｓおよびＪ．Ｋｉｔｔｌｅｒ著の論文「高速の
顔局在性および検証」）と同様な確率方式を使用することは非常に有効である。
モデルおよび画像の両方は、ほんの少しのモデルサンプルポイントだけを使用し
て相関スコアを形成するためにサブサンプリングされる。

【００９３】一旦顔の位置の妥当な開始近似が決定されると、次に、外観モデルは、顔を識
別するために使用される。外観モデルのパラメータは、画像をできるだけ接近し
て適合する合成の顔が生成されるように調整される。アルゴリズムの詳細が続く
基本アイディアは、下記に概略される。

【００９４】解釈法は、実際の顔の画像と外観モデルによって合成される顔の画像との間の
差が最小にされる最適化問題とみなされる。差のベクトルδＩは、下記のように
規定できる。 δＩ＝Ｉ_ｉ−Ｉ_ｍ（６）ここで、Ｉ_ｉ＝画像のグレイレベル値のベクトルであり、Ｉ_ｍは現モデルパラメ
ータのためのグレイレベル値のベクトルである。

【００９５】モデルと画像との間の最適照合を見つけるために、差ベクトルの大きさ△＝｜
δＩ^２｜は、モデルパラメータｃを変えることによって最小にされる。

【００９６】このモデルは約８０のパラメータを有するので、これは、最初に非常に高次元
空間における検索を含む非常に困難な最適化問題であるように見える。しかしな
がら、このモデルを新しい顔の画像に適合させようとする各試みが実際に同じ最
適問題であることが注目される。したがって、このモデルは、まえもっていかに
この種の問題を解決するかについて何らかの学習をする。画像検索中にいかにモ
デルパラメーターを調整するかの先験的知識を与えることによって、効率的なラ
ンタイムアルゴリズムに到達する。特に、よりよいフィットを得るためにモデル
パラメータをいかに変えるべきかについての情報を符号化するために、δＩにお
ける空間パターンを予想することができる。モデルと画像との最大の差が顔の側
面で生じた場合、これは、モデルの顔の幅を調整したパラメータが調整されるべ
きであることを意味する。

【００９７】この方式を採用する際に、この問題に２つ面がある。すなわち、δＩとモデル
パラメータのエラーδｃとの関係を記憶することおよび△を最小にするための反
復アルゴリズムでこの情報を使用することである。

【００９８】 δＩとモデルパラメータのエラーとの関係のために選択できる最も簡単なモデ
ル（したがって行われる必要のある補正）は、線形である。すなわち、 δｃ＝ＲδＩ（７）である。

【００９９】これは、適切な結果を提供するのに十分適切な近似である。Ｒを求めるために
、複数の多変数線形回帰は、既知のモデル変位δｃの大きなサンプルおよび対応
する差画像で実行される。これらの大きなランダム変位のセットは、既知量だけ
トレーニングセットの画像のための「正確な」モデルパラメータを摂動すること
によって生成される。モデルパラメータの摂動と同様に、２Ｄ位置のわずかな変
位、スケールおよび配向もモデル化される。これらの余分な４つのパラメータは
、回帰に含められる。しかしながら、表示を簡単にするために、このパラメータ
は、単にベクトルの余分な要素δｃとみなすことができる。うまく作動する関係
を得るために、画像差が計算される基準のフレームを注意深く選択することは重
要である。最も適している基準のフレームは、前述された形状正規化された顔の
パッチである。したがって、差が計算される。すなわち、モデルの現位置に対し
て、現位置の画像データを曲げて形状正規化された顔のパッチにすることによっ
て、画像グレイレベルサンプルベクトルｇを計算する。これは、式４を使用して
計算されたモデルグレイレベルサンプルベクトルｇ_ｍと比較される。すなわち、 δｇ＝ｇ_ｉ−ｇ_ｍ（８）である。

【０１００】したがって、式７は、修正できる。すなわち、 δｃ＝Ｒδｇ（９）

【０１０１】トレーニング中使用するδｃの値の最適範囲は経験的に決定される。理想的に
は、できるだけ大きいエラーの範囲δｇにわたって保持する関係をモデル化する
ことが望ましい。しかしながら、実際の関係は、限られた範囲の値にわたっての
み線形であることが分かる。実施例において、モデルは８０のパラメーターを使
用した。最適摂動レベルは、各モデルパラメータに対して（トレーニングセット
にわたって）約０．５標準偏差であることが分かった。各パラメータは、０と１
の間の標準偏差の値によって平均値から摂動される。スケール、角度および位置
は、０〜＋／−１０％の範囲にある値（位置変位は顔の幅に対するものである）
によって摂動された。線形回帰を実行した後、Ｒ^２統計値は、いかに十分変位が
エラーベクトルδｇによって「予測される」かを測定するために各パラメータ摂
動δｃ_１に対して計算される。８０のパラメータに対する平均Ｒ^２値は、０．９
８の最大値（第１のパラメータ）および０．４８の最小値を有する０．８２であ
った。

【０１０２】モデルパラメータで行われる必要がある補正を予測する方法を示されると、反
復法は、最適化問題を解決するために構成されてもよい。画像ｃへの所与のモデ
ル投影に関して、グレイレベルサンプルエラーベクトルδｇは計算され、モデル
推定値はこのように更新される。ｃ’＝ｃ−Ｒδｇ（１０）

【０１０３】最初の近似が正しい解とは全く違っている場合、第１の反復で予測モデルパラ
メータは、一般に全く正確でなく、異なる画像においてエネルギーを減らすべき
である。これは、Ｒをスケーリングすることによって保証できるので、この予測
は、トレーニングセットにおける全ての例に対して差ベクトルの大きさ｜δｇ^２｜を減らす。モデルパラメータの改良された値が与えられると、次の反復で行わ
れる予測はさらに適するべきである。この手順は、集中性に対して反復される。
一般的に、アルゴリズムは、かなり不十分な起動近似から約５〜１０個の反復で
集中する。

【０１０４】本発明は、能動外観モデルに用いられてもよい。一般的形式では、外観パラメ
ータｃを与えられると、合成顔が生成され、合成画像とターゲット画像との間の
差ベクトルＩが計算される。次に、外観パラメータは下記の式を使用して更新さ
れる。ｃ→ｃ−ＲδＩここで、Ｒは、モデルトレーニングフェーズ中に記憶された画像エラーに対する
モデル変位に関する回帰マトリックスである。

【０１０５】本発明を用いると、このモデルが既知の平均外観ｃ_０およびＢによって示され
た変化量で特定の個人を調べる場合、次にパラメータｂは下記のように操作でき
る。ｂ→ｂ−Ｒ_ＢδＩｃ＝ｃ_０＋Ｂｂここで、Ｒ_Ｂは、Ｒを計算するために使用された方法と同様な方法でトレーニン
グセットから学習された回帰マトリックスであるが、ｂのわずかな変化と誘起さ
れた画像エラーとの関係を記憶する。

【０１０６】画像が特定の物体のものであることを検証する場合、平均画像ｃ_０およびこの
物体が正当に変わる距離Ｂ、（ｃ＝ｃ_０＋Ｂｂ）が既知であると仮定される。こ
の画像は、減少されたパラメータｂのセットを操作する能動外観モデルを使用し
て検索される。最適のフィットは、目標画像にできるだけ接近する目標物体の画
像を合成する。この物体が必要とされる種類に属していることを検証するために
、最もよく一致する合成画像と実際の画像との差ｄＩが測定される。｜ｄＩ｜＜
ｔ_Ｉ（ここで、ｔ_Ｉは適している閾値）である場合、この物体は正確に検証され
るために言明される。

【０１０７】従来の能動外観モデルで使用されるアルゴリズムは、全個人に対して同じ回帰
マトリックスを使用する。本発明の第７の態様は、各個人に対して（すなわち、
各被験者の顔に対して）同じ回帰マトリックスＲを使用する。特に、Ｒがｔ個の
パラメータを有するモデル内に示されている場合、すなわちＲ＝Ｒ（ｘ）である
場合、パラメータｘと平均外観モデルパラメータとの関係は、個人ｙに対して記
憶できる、すなわちｘ＝ｇ（ｙ）である。したがって、平均外観モデルパラメータｙを有する個人を検索する場合、この
モデルは、下記の形式の更新式を使用する。ｃ→ｃ−Ｒ（ｇ（ｙ））δＩ例えば、単一パラメータを有する１つの簡単なモデルｘを考察する、すなわち
、Ｒ（ｘ）＝ｘＲ_０である。原点からの距離とｘの最適値との関係、すなわちｘ＝ａ＋ｂ｜ｙ｜があり得る
。

【０１０８】回帰マトリックスは、このパラメータｙに対する画像を合成するためにこのモ
デルを使用し、次に多数の変位ｄｙ、および対応する画像エラーδＩを生成する
ことによって空間の任意の点ｙで計算できる。線形回帰は、所与のｙに対してｄ
ｙ＝ＲδＩであるように最適のＲを記憶するために使用できる。

【手続補正書】特許協力条約第３４条補正の翻訳文提出書

【提出日】平成１３年１２月２９日（２００１．１２．２９）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正の内容】

【特許請求の範囲】

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＢＺ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者ティモシー・フランシス・クーツイギリス、エスケイ４・３エルイー、ストックポート、ヒートン・ムーア、グリーン・レイン21番 (72)発明者ギャレス・エドワーズイギリス、エスケイ17・７ジェイジェイ、ダービーシャー、バクストン、ウォータースワローズ・ロード、ザ・パドックＦターム(参考） 5B057 CA12 CA16 DA11 DB02 DC01 DC36 5L096 BA18 GA30 JA11

Claims

【特許請求の範囲】

【請求項１】異なる種類の物体の画像を比較することによって得られた外
観パラメータに基づいたモデルを使用して物体の種類を識別する方法であって、
前記モデルが、外観パラメータが所与の物体の種類に対して変わる範囲を記述す
る確率密度関数の表現を含み、前記モデルが、前記外観パラメータと前記確率密
度関数との所定の関係をさらに含むものにおいて、未知の物体を示す外観パラメ
ータを生成し、前記外観パラメータと前記確率密度関数との所定の関係を使用し
て未知の物体のための適切な確率密度関数を推定し、次に前記確率密度関数を使
用して決定された限界内の前記外観パラメータの少なくともいくつかを繰り返し
て修正し、前記物体の種類を識別することとを含むことを特徴とする方法。
【請求項２】異なる種類の物体の画像を比較することによって得られた外
観パラメータに基づいたモデルを使用して物体の種類の識別を検証する方法であ
って、前記モデルが、所与の物体の種類に対して外観パラメータの変化を記述す
る確率密度関数の表現を含み、前記モデルが、前記確率密度関数と前記外観パラ
メータとの間の所定の関係をさらに含むものにおいて、検証がその後必要とされ
る物体の種類に対して、前記方法が、一連のこの物体の種類の画像を使用し、こ
の物体の種類に対する外観パラメータの変化を記述する固有確率密度関数の表現
を生成し、かつ前記物体の種類のその後の検証中、前記未知の種類の物体を示す
外観パラメータを生成し、かつ前記固有確率密度関数を使用して決定された限界
内の前記外観パラメータの少なくともいくつかを繰り返して修正することによっ
て、未知の種類の画像を既知の種類の画像と比較することを含むことを特徴とす
る方法。
【請求項３】異なる種類の物体の画像を比較することによって得られた外
観パラメータに基づいたモデルを使用して物体の種類の合成画像を生成する方法
であって、前記モデルが、所与の物体の種類に対して外観パラメータの変化を記
述する確率密度関数の表現を含み、前記モデルが、前記確率密度関数と前記外観
パラメータとの所定の関係をさらに含むものにおいて、合成される物体の種類に
対して、前記方法が、一連のこの物体の種類の画像を使用し、この物体の種類に
対する外観パラメータの変化を記述する固有確率密度関数の表現を生成すること
を含み、かつ前記物体の種類のその後の合成中、使用された前記外観パラメータ
が、前記固有確率密度関数を使用して決定された限界内に制限されることを特徴
とする方法。
【請求項４】前記確率密度関数の閾値レベルが決定され、かつ前記外観パ
ラメータが、前記閾値よりも大きい確率密度を有するように抑制されることを特
徴とする請求項１乃至３のいずれかに記載の方法。
【請求項５】前記物体が顔であり、所与の物体の種類が特定の識別を有す
る顔であることを特徴とする前述の請求項のいずれかに記載の方法。
【請求項６】前記外観パラメータと前記確率密度関数との関係が、物体の
各種類に対して決定された平均外観パラメータと物体の各種類に関連した確率密
度関数との関係であることを特徴とする前述の請求項のいずれかに記載の方法。
【請求項７】前記確率密度関数がガウス関数であることを特徴とする前述
の請求項のいずれかに記載の方法。
【請求項８】前記確率密度関数が、所与の共分散マトリックスでガウス関
数として近似されることを特徴とする前述の請求項のいずれかに記載の方法。
【請求項９】前記モデルが、能動外観モデルであることを特徴とする前述
の請求項のいずれかに記載の方法。
【請求項１０】異なる種類の物体の画像を比較することによって得られた
外観パラメータに基づいたモデルを使用して物体の種類の識別を検証する方法で
あって、前記方法が、未知の種類の物体を前記モデルに組み込まれた既知の種類
の物体と比較することを含み、前記外観パラメータが、新しい座標空間で規定さ
れた変換パラメータのセットに変換され、複数の変換パラメータがこの座標空間
で変わらないように選択され、前記変換パラメータが、この座標空間における既
知の種類の物体を示すパラメータのセットと比較されることを特徴とする方法。
【請求項１１】異なる種類の物体の画像を比較することによって得られた
外観パラメータに基づいたモデルを使用して一連の所与の種類の物体の画像を送
信する方法であって、外観パラメータが、新しい座標空間で規定された変換パラ
メータのセットに変換され、複数の変換パラメータがこの座標空間で変わらない
ように前記新しい座標空間が選択され、変化しない変換パラメータが、前記変換
の記述とともに受信機に送信され、かつ変化する変換パラメータが、前記一連の
画像の各画像に対して前記受信機に続いて送信され、逆変換が、受信機で受信さ
れた変換パラメータを外観パラメータに逆変換するために使用されることを特徴
とする方法。
【請求項１２】前記外観パラメータが、前記受信機で合成画像を生成する
ために使用されることを特徴とする請求項１１記載の方法。
【請求項１３】異なる種類の物体の画像を比較することによって得られた
外観パラメータに基づいたモデルを使用して一連の所与の種類の物体の画像を記
憶する方法であって、外観パラメータが、新しい座標空間で規定された変換パラ
メータのセットに変換され、複数の変換パラメータがこの座標空間で変わらない
ように前記新しい座標空間が選択され、変化しない変換パラメータが、前記変換
の記述とともに記憶媒体に記憶され、かつ変化する変換パラメータが、前記一連
の画像の各画像のための前記記憶媒体にも記憶されることを特徴とする方法。
【請求項１４】前記変換パラメータが、前記記憶媒体から検索され、かつ
逆変換が、受信された変換パラメータを外観パラメータに逆変換するために使用
されることを特徴とする請求項１３記載の方法。
【請求項１５】前記変換が線形変換であることを特徴とする請求項１０乃
至１４のいずれかに記載の方法。
【請求項１６】前記変換が、非線形変換であることを特徴とする請求項１
０乃至１４のいずれかに記載の方法。
【請求項１７】前記物体が顔であり、かつ物体の所与の種類が特定の識別
を有する顔であることを特徴とする請求項１０乃至１６のいずれかに記載の方法
。
【請求項１８】前記モデルが能動外観モデルであることを特徴とする請求
項１０乃至１７記載のいずれかに記載の方法。
【請求項１９】異なる種類の物体の画像を比較することによって得られた
外観パラメータに基づいたモデルを使用して物体の種類を識別する方法であって
、前記モデルが、画像差の前記外観パラメータの摂動の影響を記述する予め記憶
された推定関係を含み、前記画像差が、前記モデルに従って生成された物体の画
像と前記物体そのものの画像との差を記述する要素のセットを含み、特定の関係
が、物体の特定の種類に対して予め記憶され、かつ異なる特定の関係が物体の異
なる種類に対して予め記憶されることを特徴とする方法。
【請求項２０】前記関係が、回帰マトリックスによって規定されることを
特徴とする請求項１９記載の方法。
【請求項２１】前記物体が顔であり、かつ物体の所与の種類が、特定の識
別を有する顔であることを特徴とする請求項１９あるいは２０記載の方法。
【請求項２２】実質的に前述されたような物体の種類の識別あるいは検証
の方法。