JP2002183728A - 入力画像に最も類似の複数の３次元モデルから画像を選択する方法 - Google Patents

Abstract

(57)【要約】 【課題】 入力画像に最も類似している複数の３次元モ
デルから画像を選択する方法を提供すること。 【解決手段】 本方法は、複数の３次元モデルを入力画
像に対して位置決めし、その後、線形部分空間を計算
し、線形部分空間の部分集合内の描画された画像を見出
すことによって、各３次元モデルに対して、前記入力画
像に最も類似している描画された画像を決定する。ここ
では、各３次元モデルに対して、赤、緑および青色成分
の各々に対して繰り返されることが望ましい。線形部分
空間は、４次元あるいは９次元のいずれかであることが
望ましい。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はコンピュータビジョ
ンに関し、特に、画像認識とモデル再構成システムに関
する。

【０００２】

【従来の技術】コンピュータビジョンにおける最も基本
的な問題の１つは、照明の可変性が、物体が作ることが
できる画像にどのように影響を与えるかを理解すること
である。光が等方性であり、物体から比較的遠く離れて
いるときでも、平坦なランベルトの物体が画像の無限次
元のセットを作ることができることが明らかにされてい
る。

【０００３】すべての画像の空間の低次元の線形部分空
間を使用して、物体が作ることができる画像のセットを
表すことが、物体認識では非常に普及している。拡大縮
小された正射影を受ける３次元の点のセットに対するこ
のような表現を解析的に導出した当業者がいる。さらに
別の当業者は、照明の変化につれてランベルトの物体に
より作られる画像のセットの３次元線形表現を導いた
が、面法線が光から離れて対向する場所では、この単純
化された表現は負の強度を与える。別の当業者は、この
線形表現を使って３次元モデルを構築するために、因数
分解を使用している。さらに別の当業者は、照明に対す
る拡散成分を考慮して、これを４次元空間に拡張した。
これらの解析的に導出された表現はかなり単純な設定に
限定され、変化がもっと複雑な光源に対しては、クラス
変化（class variation）およびポーズおよび照明の変
化の中で記録する（capture）表現を作るために、研究
者は画像の大きいセットを収集し、主成分分析（ＰＣ
Ａ:Principal Component Analysis）を行った。ＰＣＡ
は、データセットを最も良く表す線形部分空間を見出す
数値的な技術である。画像の大きいセットという条件の
もとで、最も密接に画像と適合する低次元線形部分空間
をＰＣＡは見出す。多様な照明条件で撮られた実物体の
多数の画像が低次元線形空間の近くに存在することを示
し、この表現を正当化する実験が当業者により行われ
た。より最近では、照明が正に制限される場合、物体の
画像が凸の容積（convex volume）を占めることを指摘
する非線形表現が使用される。"Illumination Cones fo
r Recognition Under Variable Lightning: Faces", A.
Georghiades et al, CVPR98: 52-59, 1998、"From Few t
o Many: Generative Models for Recognition Under Va
riable Pose and Illumination", A.Georghiades et a
l, ならびに、顔およびジェスチャーの自動認識に関す
る国際会議２０００（総称して「Georghides」と呼ぶ）
は、物体認識のためにこの表現を使用している。

【０００４】異なる物質の双方向反射関数（BRDF: Bi-D
irectional Reflection Function）を効率的に表すため
に、グラフィックス文献においては球面調和関数が使用
される。球面調和関数基底（spherical harmonics basi
s）を、半球に、より適した異なる基底で置換すること
が提案されている。M. Landy、および、J. Movshonによ
る編集のComputational Models of Visual Processing
における"Shading Ambiguity: Reflectance and Illumi
nation" M. D'Zmoura, 1991（以下「D'Zmoura」と呼
ぶ）では、入射光を反射に変えるプロセスは球面調和関
数の見地から見て説明できることを指摘した。この表現
を使用して、高次成分を切り捨てた後に、反射プロセス
は線形変換と表すことができ、したがって、線形変換を
反転することにより、照明の低次成分を回復することが
できる。この分析を、D 'Zmoura は照明におけるあいま
い性を探究するために使用した。本発明は、反射率関数
のために部分空間結果を導出し、基底画像の解析的な記
述を提供し、非負の照明を補強しながら、この分析を使
用する新しい認識アルゴリズムを組み立てることによっ
て、D 'Zmoura の研究を拡張する。本明細書には、Geor
ghiades およびD 'Zmoura を参考文献として含む。

【０００５】

【発明が解決しようとする課題】従来技術を考慮する
と、これらの部分空間の当該部分から正の照明条件に対
応して作ることができ、物体が作ることができる画像の
セットを正確に近似する低次元の線形部分空間を、解析
的に見出す方法を示すコンピュータビジョン・システム
の必要がある。これらの説明は、認識およびモデル作成
の両方に対して次に使用することができる。

【０００６】したがって、従来技術による方法の欠点を
克服するような、入力画像に最も類似している複数の３
次元モデルから画像を選択する方法を提供することが本
発明の目的である。

【０００７】本発明による別の目的は、従来技術による
方法よりも、より効率的、かつ、より速く実行できるよ
うな、入力画像に最も類似している複数の３次元モデル
から画像を選択する方法を提供することである。

【０００８】本発明によるさらに別の目的は、複雑な反
復最適化技法を使用せずに実行できるような、入力画像
に最も類似している複数の３次元モデルから画像を選択
する方法を提供することである。

【０００９】

【課題を解決するための手段】照明の変化は、物体の外
見に著しい影響を及ぼすことがある。本発明は、ランベ
ルトの物体の場合に対しての上記の可変性について、新
規な特徴付けを提供する。ランベルトの物体とは、ラン
ベルトの法則によって光を反射する表面を有する物体で
あるJ.Lambert"Photometria Sive de Mensura et Gradi
bus Luminus, Colorum et Umbrae"、Eberhard Klett、
１７６０、参照。最初に、球面調和関数を使用して照明
が表され、ランベルトの物質の効果がたたみ込みの相似
として説明される。これは信号処理における周波数領域
内の計算過程と類似している。次に、ランベルトの物体
のほとんどすべての外見は、球面調和関数として表され
る場合、照明の最初の９個の成分によって判定されるこ
とを示すことが可能である。ランベルトの物体により作
られるすべての反射率関数（面法線から強度へのマッピ
ング）は、９次元線形部分空間の近くに存在することが
証明でき、従来の経験的な結果を説明している。本発明
は、物体が作ることができる画像の線形空間の単純な解
析的な説明をさらに提供する。これは、線形法にもとづ
く物体認識アルゴリズム、あるいは、凸の最適化を使用
する非負の照明関数を実行する物体認識アルゴリズムに
おいて容易に使用することができる。物体の画像の４次
元線形近似が十分である場合には、非負の照明は非常に
簡単に実行できることを本発明は示す。

【００１０】本発明は、光の任意の構成に対してランベ
ルトのモデルの下で作られた反射率関数のセットを分析
する。このような反射率関数は、本質的に低域フィルタ
として作用する核を使用して、光のたたみ込みの相似に
よって作られることが示される。本発明は、通常の照明
条件の下で、たとえば、９次元線形部分空間は、反射率
関数の可変性の９９.２％の原因となることを解析的に
証明するために、このことと光の非負値性を使用する。
最悪の場合には、この９次元空間は可変性の９８％の原
因となる。このことは、一般に凸のランベルトの物体の
画像のセットは、低次元線形空間によって正確に近似で
きることを示唆している。物体モデルに対してこの部分
空間を解析的に導出する方法を、本発明はさらに示す。
この結果は、既存の認識アルゴリズムを新しく解明し、
さまざまな光とポーズの下での認識とモデル構造に対し
て多数の新しく効率的なアルゴリズムを導く。

【００１１】したがって、入力画像に最も類似している
複数の３次元モデルから画像を選択する方法が提供され
る。

【００１２】本発明による方法は、（ａ）複数の３次元
モデルのデータベースを供給する段階と、（ｂ）入力画
像を供給する段階と、（ｃ）各３次元モデルを前記入力
画像に対して位置決めする段階と、（ｄ）（ｉ）線形部
分空間を計算することであって、前記線形部分空間内の
各点が実現可能な画像を表すすべての可能な照明条件の
下で各３次元モデルが作ることができる、すべての可能
な描画された画像のセットに対する近似を説明する線形
部分空間を計算することと、（ｉｉ）前記入力画像に最
も近い前記線形部分空間上の前記点を見出すことによっ
て、あるいは、正の光によって生成された画像の前記セ
ットを、前記線形部分空間に投射することにより得られ
た前記線形部分空間の部分集合内の描画された画像を見
出すことによって、各３次元モデルに対して、前記入力
画像に最も類似している描画された画像を決定する段階
と、（ｅ）前記入力画像と各描画された画像との間の類
似の程度を計算する段階と、（ｆ）類似の程度が前記入
力画像に最も類似している前記描画された画像に対応す
る前記３次元モデルを選択する段階を有する。

【００１３】段階（ｄ）は、各３次元モデルに対して、
赤、緑および青色成分の各々に対して繰り返されること
が望ましい。線形部分空間は、４次元あるいは９次元の
いずれかであることが望ましい。

【００１４】

【発明の実施の形態】次に、本発明の実施例について説
明する。

【００１５】光が等方性であり物体から遠い場合、強度
を方向の関数として表現することにより、光を特徴づけ
ることができる。すべての実現可能な照明条件のセット
は、したがって、球の表面の上のどこでも正であるすべ
ての関数のセットと等価である。本発明による方法は、
球面調和関数を使用してこれらの関数の表現を選定する
ことから始まる。球の表面上であることを除いて、これ
はフーリエ分析に類似している。球面調和関数は単位球
内に含まれる関数を表現し、球面調和関数は球の表面に
対するこれらの関数の限定となる。表面が光を画像に変
える方法をモデル化するために、本発明は（単位アルベ
ドを仮定した）面法線の関数として反射率に注目する。
本発明は、ランベルトの反射を表す核を有する照明関数
のたたみ込みの相似によって、反射率関数が作られるこ
とを示す。照明の変化による物体の外見のあいまい性を
検出するために、D 'Zmoura はこのような分析を使用し
た。一定でない物質から作られた物体に起きることを説
明し、非ランベルトの反射率関数を処理するために、こ
の単純な概念にわずかな複雑さが加えられる。

【００１６】この概念を使用して、ランベルトの核が低
域フィルタであり、このフィルタは解析的に説明できる
ことを示すことが可能である。したがって、多くの通常
の照明条件に対して、物体の外見の変化の多くが照明関
数の調和変換の最初の４つの成分に依存し、ほとんどす
べての変化は最初の９つの成分により説明されること
を、解析的に示すことが可能である。実際に、光が著し
く高周波パターンを有するときでも、近似の特性はきわ
めて僅かしか劣化しない。任意の照明関数の下の近似の
特性の下界が導かれる。このことは、経験的な観察とい
う第１の原理から、物体のほとんどの画像が低次元線形
部分空間の近くに存在するという解釈をもたらす。さら
に、過去には描画された画像の大きいセットにＰＣＡを
実行することに努力があてられていたが、この線形部分
空間はモデルから解析的に導くことができる。

【００１７】照明の変化をいかに線形に近似するかの方
法のこの解析的な理解は、多数の結果の核心を形成す
る。第１に、いくつかの既存の認識およびモデル構築法
の有用性のより良い評価を、この解析的な理解は可能に
する。たとえば、従来技術による線形部分空間法は、実
際には３つの１次調和関数にわたる線形空間を使用する
ことに基づいているが、重要な直流成分を除いているこ
とを示すことが可能である。第２に、この解析的な理解
は、未知のポーズおよび照明条件を有する物体を識別す
る新しい方法を導く。特に、さまざまなポーズおよび照
明の下での認識に対して、解析的に導かれた低次元空間
の中で動作するアルゴリズムが提供される。最後に、４
次元線形部分空間が適切な近似をもたらす場合に対し
て、複雑な反復最適化技術を使用せずに、認識を非常に
効率的に実行することができる。

【００１８】画像形成のモデリング 遠い等方性の光源により照明されている凸の物体を考え
る。物体の表面はランベルトの法則にしたがって光を反
射するものと、さらに仮定する。この比較的単純なモデ
ルは、多くの視覚応用で解析され、効果的に使用されて
きた。この解析は、非ランベルト物体に拡張することが
できる。任意の光で得られるランベルトの物体の画像の
セットは、当該技術分野における１部の人々により「照
明錐」（illumination cone）と呼ばれている。本発明
の目的は、照明錐の特性を解析することである。異なる
照明条件の下で得られた反射率関数のセットを考えるこ
とが、解析のために有用であろう。特有の照明構成（li
ghting configuration）と組み合わされた反射率関数が
（反射率マップ・ホーン（reflectance map Horn）とも
呼ばれる）、面法線の関数として単位アルベドの球によ
り反射される光と定義される。反射率関数は、次のマッ
ピングによって同じ照明構成により照明された凸の物体
の画像に関係する。物体の表面の上のすべての可視点
は、同じ法線を有する球面上の点からの強度を継承し、
この強度はその点におけるアルベドによりさらに拡大縮
小される。このマッピングの効果を以下に説明する。

【００１９】たたみ込みの相似としての画像形成 Ｓは原点を中心とする単位球を示すとする。ｐ＝（ｘ、
ｙ、ｚ）はＳの表面の上の点を示し、Ｎｐ＝（ｘ、ｙ、
ｚ）はｐにおける面法線を示すとする。ｐは、次の表記
法を使用して単位ベクトルとしても表すことができる。

【００２０】

【数１】

【００２１】ここで、０≦θ≦πであり、０≦φ≦２π
である。この座標フレームにおいて、極は（０，０，±
１）に置かれ、θはｐと（０，０，１）の間の立体角を
示し、緯度と共に変化し、φは経度と共に変化する。

【００２２】球面は遠い等方性の光のセットにより照明
されていると仮定されるので、球面上のすべての点はこ
れらの光が同じ方向から来ると見る、また球面上のすべ
ての点は同一の照明条件により照明されている。したが
って、球面を照明する光の構成は、各方向（θ、φ）か
ら球面に到達する光の強度を表す非負の関数ｌ（θ、
φ）として表すことができる。さらに、ランベルトの法
則によれば、各点により反射される光の差は、それらの
面法線における差に完全に依存する。したがって、球面
により反射される光は、そのドメインが球面の面法線の
セットである関数ｒ（θ、φ）と表すことができる。

【００２３】ランベルトの法則によれば、アルベドλを
有する表面点に、強度ｌの光線がその点における面法線
と角度θをなすように到達すれば、その点により反射さ
れるこの光による強度は次式で与えられる。

【００２４】

【数２】

【００２５】ここで、一般性を失うことなく、λ＝１で
あると仮定する。光が多数の方向から点に到達すれば、
その点により反射される光は、各方向に対する寄与の和
（あるいは連続した場合には積分）であろう。ｋ（θ）
＝ｍａｘ（ｃｏｓθ，０）と示せば、たとえば、点
（０，０，１）の強度は次式で与えられる。

【００２６】

【数３】

【００２７】同様に、点ｐ＝（θ、φ）により反射され
る強度ｒ（θ、φ）は、ｋをｐについて中心を合わせ、
その内積を球面上のｌで積分することにより得られる。
したがって、ｒ（θ、φ）を作る演算は、球面上のたた
み込みの相似である。これはたたみ込みと呼ばれ、次式
となる。

【００２８】

【数４】

【００２９】このたたみ込みｋの核は、円対称な半余弦
関数である。たたみ込みは、その中心がｐにおける面法
線と整列するようにｋを回転することにより得られる。
これは、無定義の核の回転に１つの自由度を依然として
残すが、ｋが回転対称であるので、このあいまい性は消
滅する。

【００３０】たたみ込み核の特性 フーリエ基底が平面内のたたみ込みの結果を調べるのに
向いているように、球面上のたたみ込みの相似の結果を
理解するために、類似のツールが存在する。球面調和関
数は、球面の表面上のすべての関数のセットに対する正
規直交基を形成する１組の関数である。これらの関数
は、ｎ＝０，１，２，．．．および−ｎ≦ｍ≦ｎとし
て、ｈ_nmにより示される。

【００３１】

【数５】

【００３２】ここで、Ｐ_nmは、次式により定義される陪
ルジャンドル関数である。

【００３３】

【数６】

【００３４】核ｋおよび照明関数ｌは、調和級数とし
て、すなわち、球面調和関数の線形結合として表され
る。球面調和関数に対してたたみ込み定理に相似が利用
できるように、これは主として行われる。ファンク・ヘ
ッケの定理の直接の結果は、関数領域における「たたみ
込み」は調和領域における乗算と等価であることであ
る。（たとえば、H・Groemer、フーリエ級数および球面
調和関数の幾何学的応用、ケンブリッジ大学出版局、参
照）以下に説明するように、ｋの表現は調和級数として
導出される。この誘導は、ｋがほぼ低域フィルタである
ことを示すために使用される。具体的にいうと、ｋのエ
ネルギーのほとんどすべては、最初の少数の調和関数に
存在する。これは、球面の実現可能な反射率は、球面上
に定義されたすべての関数の空間の低次元の線形部分空
間の近傍にあることを示すことを可能とするであろう。

【００３５】次に、調和級数としてのｋの表現を導くこ
とができる。要するに、ｋは極について回転対称である
から、座標フレームの適切な選択の下で、そのエネルギ
ーは帯球調和関数（ｍ＝０の調和関数）内に排他的に集
中するが、ｍ≠０のすべての調和関数の係数は消滅す
る。したがって、ｋは次式で表現することができる。

【００３６】

【数７】

【００３７】ランベルトの核は、ｋ（θ）＝ｍａｘ（ｃ
ｏｓθ，０）により与えられ、ここでθは光の方向と面
法線の間の立体角を示す。ｋの調和変換は次式で定義さ
れる。

【００３８】

【数８】 ここで、係数ａ_nmは次式で与えられる。

【００３９】

【数９】 一般性を失うことなく、球面上の座標系は次のように定
められる。極の１つがｋの中心に位置を定められると、
θは経度に沿った角度を表し、０からπまで変化し、φ
は緯度に沿った角度を表し、０から２πまで変化する。
この座標系において、ｋはφから独立しており、極の周
りに回転対称である。したがって、すべてのそのエネル
ギーは、帯球調和関数（ｍ＝０の調和関数）の間で分割
され、すべてのｍ≠０に対する係数は消滅する。

【００４０】係数に対する明示的な形式が次に決定され
る。最初に、θについてπ／２までにのみ積分すること
によって、積分を余弦関数の正の部分に制限することが
できる、すなわち、

【００４１】

【数１０】 次に、ｍ＝０成分のみが消滅しないので、k_n＝k_n0と示
せば、

【００４２】

【数１１】 したがって、

【００４３】

【数１２】 ここで、P_n（Ｚ）は次式により定義されるｎ次の陪ルジ
ャンドル関数である。

【００４４】

【数１３】 ｚ＝ｃｏｓθを置換すると、次式が得られる。

【００４５】

【数１４】 ここで、次式の積分を計算する。

【００４６】

【数１５】 この積分は次式に等しい。

【００４７】

【数１６】 部分積分すると次式を得る。

【００４８】

【数１７】 第１項は消滅し、次式が残される。

【００４９】

【数１８】 この数式はｚ＝１に対して消滅し、したがって次式を得
る。

【００５０】

【数１９】 ここで、

【００５１】

【数２０】 ｎ−２導関数を除くと、指数がｎ−２未満であるすべて
の項は消滅する。さらに、ｚ＝０における導関数が評価
されるので、指数がｎ−２を超えるすべての項は消滅す
る。したがって、指数が２ｋ＝ｎ−２である項のみが残
存する。ｎ−２係数をb_n-2と示せば、ｎが奇数であれば
ｂ_n-2＝０であり、ｎが偶数であれば次式となる。

【００５２】

【数２１】 この場合、

【００５３】

【数２２】 であり、次式を得る。

【００５４】

【数２３】 上記の誘導はｎ≧２に対して成立する。ｎ＝０およびｎ
＝１である特殊な場合は、別に処理されるべきである。
第１の場合はＰ₀（ｚ）＝１であり、第２の場合はＰ
₁（ｚ）である。ｎ＝０に対して、積分は次式となる。

【００５５】

【数２４】 またｎ＝１に対しては、次式となる。

【００５６】

【数２５】 したがって、

【００５７】

【数２６】 この長い操作の後に、次式が得られる。

【００５８】

【数２７】 最初の少数の係数は、たとえば、次式となる。

【００５９】

【数２８】 （ｋ₃＝ｋ₅＝ｋ₇＝０）係数のグラフ表示を図１に示
す。図１は左から右へ、ランベルトの核の最初の１１個
の係数のグラフ表示、係数のそれぞれにより収集された
相対エネルギー、累積されたエネルギー、および累積さ
れたエネルギーに対するズームインを示す。

【００６０】すべての調和関数項により収集されたエネ
ルギーは、変換された関数の全２乗エネルギーにより除
算された各係数の２乗により共通に測定される。半余弦
関数内の全２乗エネルギーは、次式で与えられる。

【００６１】

【数２９】 表１は、最初のいくつかの係数のそれぞれにより収集さ
れた相対エネルギーを示す。表１の１番上の行は、ラン
ベルトの核（０≦ｎ≦８）に対するｎ次の帯球調和関数
により収集されたエネルギーを示す。表１の中央の行
は、ｎ次まで累積された累積エネルギーを示す。この累
積エネルギーは、（相対２乗誤差で測定された）ｒ
（θ、φ）のｎ次近似の特性を表す。１番下の行は、光
の非負値性によるこの近似の特性の下界を示す。ｎ＝
３、５、および７は、エネルギーに寄与しないので、除
かれている。表１に示す相対エネルギーは、百分率で与
えられている。核は最初の３個の係数により支配されて
いることが判る。したがって、２次近似がすでにエネル
ギーの９９．２２％を占めている。この近似を使用し
て、半余弦関数は次式で表すことができる。

【００６２】

【数３０】 近似の特性は、４次項の加算である程度改善され（９
９．８１％）、１次近似が使用される場合には８７．５
％に劣化する。図２は、ランベルトの核の１次元スライ
ス、ならびに、左から右へ、それぞれ、その１次、２
次、および３次近似を示す。

【００６３】

【表１】 反射率関数の線形近似 ランベルトの核のエネルギーの大部分が低次の項に集中
しているという事実は、単位アルベドの球面の反射率関
数のセットが、低次元線形空間によって良く近似できる
ことを意味している。この空間は、調和反射率と呼ばれ
るものの小さいセットによって測られる。調和反射率ｒ
_nm（θ、φ）は、球面が調和「光」ｈ_nmにより照明され
ている場合の球面の反射率を示す。調和光（harmonic l
ight）は一般にどこにおいても正ではなく、したがって
調和光は現実に存在する物理的照明条件に対応しないこ
とに注意されたい。調和光は抽象である。以下に説明す
るように、すべての反射率関数ｒ（θ、φ）は、少数の
調和反射率の線形結合によって、優れた正確度で近似さ
れるであろう。

【００６４】近似の特性を評価するために、例として、
ｚ方向（θ＝φ＝０）において点光源により生成された
照明をまず考える。点光源はデルタ関数である。点光源
により照明された球面の反射率は、核を有するデルタ関
数のたたみ込みにより得られ、核自身をもたらす。たた
み込みの直線性のために、点光源による反射率が最初の
３つの帯球調和関数ｒ₀₀、ｒ₁₀、およびｒ₂₀の線形結合
により近似されれば、エネルギーの９９．２２％は次式
により占められている。

【００６５】

【数３１】 ここで、ランベルトの核ｋは、ｚ方向において点光源に
より照明されている場合の球面の反射率である。同様
に、１次および４次近似は、それぞれ８７．５％および
９９．８１％の正確度をもたらす。

【００６６】球面がｚ方向以外の方向の単一の点光源に
より照明されていれば、得られる反射率は核と同じであ
るが、位相がシフトしている。関数の位相をシフトする
ことは、同じ次数ｎ（さまざまなｍ）の調和関数の間に
そのエネルギーを分配するが、各ｎの全エネルギーは維
持される。したがって、近似の特性は同じままである
が、ｎ次近似に対して、すべてのｍに対してｎ≦Ｎを有
するすべての調和関数を使用することが必要とされる。
すべての次数ｎに、２ｎ＋１の調和関数が存在すること
を想起されたい。したがって、１次近似は４個の調和関
数を必要とする。２次近似はさらに５個の調和関数を追
加し、９次元空間をもたらす。３次の調和関数は核によ
り除外されるので、勘定に入れる必要がない。最後に、
４次近似はさらに９個の調和関数を追加し、１８次元空
間をもたらす。

【００６７】光が単一の点光源を有する場合、最初の少
数の係数Ｋ_i（１≦ｉ≦Ｎ）により収集されるエネルギ
ーは、反射率関数の近似の正確度を直接示していること
が判る。他の光構成（light configuration）は、異な
る正確度を導く可能性がある。低周波の増強拡散成分
（enhanced diffuse component）を光が含んでいる場合
は、より良い近似が得られる。光が主に高周波パターン
を含んでいれば、より悪い近似が予期される。

【００６８】しかし、たとえ光が主として高周波パター
ンを含んでいるとしても、近似の正確度は依然として非
常に高いことが分かる。これは光の非負値性の結果であ
る。任意の光関数に対する近似の正確度の下界は、次の
ように導くことができる。任意の非負の関数に対して、
直流成分の振幅が、どの他の成分の振幅と比べても少な
くとも同じぐらい高くなければならないことを示すこと
は簡単である。これを理解する１つの方法は、そのよう
な関数をデルタ関数の非負の和として表すことである。
このような和において、直流成分の振幅は、異なるデル
タ関数のすべての直流成分の振幅の加重和である。他の
いずれの周波数の振幅も、せいぜい同じレベルに到達す
ることが可能であるが、多くの場合は干渉のためにより
低いであろう。したがって、ｎ次近似では、Ｎより高い
すべての周波数の振幅が直流成分と同じ振幅に飽和する
とき、最悪の筋書きとなるが、１≦ｎ≦Ｎ次の振幅は零
に設定される。この場合、相対２乗エネルギーは、次式
となる。

【００６９】

【数３２】 表１は、いくつかの異なる近似に対して得られる限界を
示す。２次近似（９個の調和関数を含む）を使用する
と、任意の光関数に対する近似の正確度は９７．９６％
を超えることが分かる。４次近似（１８個の調和関数を
含む）を使用すると、正確度は９９．４８％を超える。
すべての高次の項が飽和している場合には（実際には一
般的に）、いくつかの負の値を有する関数をもたらすの
で、数式１３で計算した限界は厳密ではないことに注意
されたい。したがって、最悪の場合の正確度は、限界よ
り高くなることもある。

【００７０】調和反射率の生成 反射率関数を近似する空間に基底を構築することは、容
易であり、解析的に行うことができる。基底を構築する
ためには、ファンク・ヘッケの定理が使われる。この空
間は調和反射率、すなわち、単位アルベド球が調和光に
より照明されているときに得られた反射率により測られ
ることを想起されたい。これらの反射率は、単一の調和
関数を使用して半余弦核（half cosine kernel）にたた
み込みを行った結果である。球面調和関数の正規直交性
のために、このようなたたみ込みは、他の調和関数のい
ずれにもエネルギーを生じさせることはできない。した
がって、調和光をｈ_nmにより示すと、この調和関数によ
る反射率は、同じ調和関数であるが、拡大縮小されてい
る。形式的には、

【００７１】

【数３３】 同じ次数ｎで異なる位相ｍの調和関数は、同じスケール
・ファクタｃ_nを共有することは容易に検証できる。し
たがってｃ_nを決定すればよい。

【００７２】ｃ_nを決定するために、光がｚ方向に中心
を合わせたデルタ関数であるとき、半余弦核ｋは得られ
た画像であるという事実が使用される。デルタ関数の変
換は次式により与えられる。

【００７３】

【数３４】 またデルタ関数の変換が作る画像は次式である。

【００７４】

【数３５】 ここで係数ｋ_nは、数式８で与えられる。ｃ_nは、たたみ
込みに引き続いて調和関数がどれだけ拡大縮小されるか
を決定する。したがって、ｃ_nはｋ_nとデルタ関数の各係
数の間の比率である。すなわち、

【００７５】

【数３６】 −ｎ≦ｍ≦ｎ（およびｒ３ｍ＝ｒ５ｍ＝ｒ７ｍ＝０）に
対して、最初の少数の調和反射率は次式により与えられ
る。

【００７６】

【数３７】 調和反射率の構築のためには、角度（θ、φ）よりも空
間座標（ｘ、ｙ、ｚ）を使用して調和関数を表現するこ
とが有用である。これは、角度の代わりに次式を代入す
ることにより、行うことができる。

【００７７】

【数３８】 したがって、最初の９個の調和関数は次のようになる。

【００７８】

【数３９】 ここで、上付きの添字ｅおよびｏは、それぞれ調和関数
の偶数および奇数の成分を示す。

【００７９】

【数４０】 ｍの符号に応じて； 実際に、調和関数の偶数および奇
数のバージョンは、反射率関数が実数であるから、実際
に使用するにはより好都合である。）これらの空間座標
において、調和関数は単純な多項式であることに注目さ
れたい。以下に説明するように、ｈ_nm（θ、φ）および
ｈ_nm（ｘ、ｙ、ｚ）は、それぞれ角座標および空間座標
において表現される調和関数を示すために常に使用され
る。

【００８０】反射率から画像へ ここまで、任意の光によって単位アルベド球を照明する
ことにより得られた反射率関数が解析された。本発明の
目的は、変化する照明の下で見られる物体の画像のセッ
トを効果的に表すために、この解析を使用することであ
る。一定の照明条件の下の物体の画像は、各反射率関数
から単純な方法で構築することができる。物体の各点
は、法線が同じである球面上の点から強度を継承する。
この強度は、そのアルベドによりさらに拡大縮小され
る。換言すれば、反射率関数ｒ（ｘ、ｙ、ｚ）を与える
と、面法線ｎ（ｎ_x、ｎ_y、ｎ_z）およびアルベドλを有
する点ｐの画像は、次式により与えられる。

【００８１】

【数４１】 モデルの画像に対するこの低次元線形近似の正確度が、
画像に対する反射率関数からマッピングによって、如何
に影響を受ける可能性があるかを次に説明する。２つの
点が考えられる。第１に、最悪の場合には、これはこの
近似を任意に悪くすることができる。第２に、代表的な
場合には、それはこの近似の正確度を低下させることは
ないであろう。

【００８２】反射率関数を画像に変えるための２つの要
素がある。１つは、点のｘ、ｙ位置に再配置があること
である。すなわち、特定の面法線は、単位球の上の１つ
の位置に出現し、画像内では完全に異なる位置に出現す
ることもある。この再配置は、この近似に対して効果が
ない。画像は、各座標がピクセルの強度を表す線形部分
空間内で表される。どのピクセルがどの座標が任意であ
るかを表すべきかに関する決定、および（ｘ、ｙ）から
面法線へのマッピングを再配置することによるこの決定
の変更は、空間の座標を単に再整理する。

【００８３】画像と反射率関数の間の第２の、より著し
い差は、オクルージョン（occlusion）、形状変化およ
びアルベド変化が、球面上の各面法線が画像の決定に役
立つ程度をもたらすことである。たとえば、オクルージ
ョンは、球面上の面法線の半分が、カメラから離れて対
向し、可視の強度を作らないであろうことを保証する。
不連続な表面は、いくつかの面法線を含まない可能性が
有り、平坦な細片を有する表面は、拡張された領域の上
に単一の法線を有するであろう。これらの両極端の間
で、点における曲率は、その面法線が画像に寄与する程
度を決定するであろう。アルベドは、類似の効果を有す
る。点が黒（零アルベド）であれば、その面法線は画像
に対して効果を持たない。エネルギーに関しては、より
暗いピクセルは、より明るいピクセルよりも画像に寄与
しない。全体として、単位球上の各点の反射率が画像に
影響を与える程度がゼロから全体の画像に及ぶことがで
きることを認めることによって、これらの効果は得られ
る。

【００８４】最悪の場合に、これがこの近似を任意に悪
くする可能性があることを示す例を説明する。最初に、
任意の単一の点において、関数に対する低次調和近似が
任意に悪い状態であり得ることに気付くべきである（こ
れはフーリエ領域におけるＧｉｂｂｓの現象に関連づけ
ることができる）。一定のアルベドの球である物体の場
合を考える。光が観察方向の反対方向から来るなら、光
はどの可視ピクセルも照明しない。物体の境界線上の１
個のピクセルのみを照明するように、光を僅かにシフト
することができる。光の強度を変えることにより、この
ピクセルに任意の所望の強度を与えることが可能であ
る。一連の光が、球面の縁の上のすべてのピクセルに対
して、これを行うことができる。このようなピクセルが
ｎ個あれば、得られた画像のセットは、ｎ次元空間の正
の象限を完全に占める。明らかに、この空間内の点は、
任意の９次元空間から任意に遠く離れることができる。
起きていることは、画像内のすべてのエネルギーが、近
似がたまたま劣っている面法線に集中していることであ
る。

【００８５】しかし、一般に、物事はそれほど悪くはな
い。一般に、オクルージョンは単位球上の法線の任意の
半分を不可視にするであろう。アルベド変化および曲率
は、一部の法線を強調し、他のものには重点を置かない
であろう。しかし一般には、その反射率が不完全に近似
された法線は、任意の他の反射率以上には強調されない
であろう。また、全単位球上の反射率の近似は、画像内
で可視の強度を作るピクセルとほぼ同じに良いと予想さ
れる。

【００８６】したがって、反射率関数に対する部分空間
結果（subspace result）は、物体の画像に対して継続
すると想定される。したがって、物体の画像のセット
は、ｂ _nmと示される調和画像と呼ばれるものにより測ら
れる線形空間によって近似される。これらは、調和光の
下で見られる物体の画像である。これらの画像は、次の
ように数式２２のように構築される。

【００８７】

【数４２】 ｂ₀₀は、一定の周辺光の下で得られた画像であり、した
がって、単に表面アルベドを含んでいることに注目され
たい。（スケーリング・ファクタまで）１次の調和画像
ｂ_1mは、３つの主な軸に中心を合わせた余弦照明（cosi
ne lighting）の下で得られる画像である。これらの画
像は、アルベドによって拡大縮小された面法線の３つの
成分を含んでいる。高次調和画像は、アルベドによって
拡大縮小された面法線の多項式を含んでいる。図３は、
顔の３次元モデルから導出された最初の９個の調和画像
を示す。第１行は、左に零次調和関数と、第１調和画像
（first harmonic image）の２つを示している。第２行
の左は、第１調和画像の第３のものを示す。残りの画像
は、第２調和関数から導出された画像である。

【００８８】認識 本発明は、物体が作ることができる画像のセットの近く
に位置する線形部分空間の解析的な作図を明らかにす
る。次に、物体を認識するために、この説明をどのよう
に使用するかを示す。本発明による方法は一般的な物体
に適しているが、顔認識の問題に関連する例を、本発明
の範囲を制限しない例としてのみ説明する。画像は、３
次元物体のモデルのデータベースと比較されなければな
らないと仮定する。さらに、目的のポーズは既知である
が、目的の素性および照明条件は既知ではないと仮定す
る。たとえば、カメラに向いていることが判っている顔
の認識を望むことがある。あるいは、人間あるいは自動
的なシステムのいずれかが、データベース内の顔ごとに
ポーズの決定を可能にする目および鼻の先端部のような
特徴を認識しているが、データベースが大きすぎて人間
が最良の一致を選択することは不可能であると想定して
もよい。

【００８９】認識は、新しい画像を各モデルと順に比較
することにより進行する。モデルと比較するために、画
像とモデルが作ることができる最も近い画像の間の距離
が計算される。モデルの画像の表現の点で異なる２つの
クラスのアルゴリズムを説明する。線形部分空間は認識
のために直接使用できる。あるいは、物理的に実現可能
な照明条件に対応する線形部分空間の部分集合に制限す
ることが可能である。

【００９０】目的の画像の試料から部分空間を導くため
にＰＣＡが使用できる従来の方法に対して、本発明によ
る方法においては、利用できる部分空間の解析的な作図
を有することにより得られる利点が強調される。解析的
な作図の１つの利点は、解析的な作図は、画像の特定の
試料の予測のつかない変動を受けずに、目的の画像の正
確な表現を提供することである。第２の利点は効率であ
る。この部分空間の作図は、ＰＣＡが可能にするであろ
うよりも、はるかに速く作ることができる。この利点の
重要性は、取り組む認識問題の形式に依存する。特に、
目的の位置が事前に既知ではないが、特徴対応（featur
e correspondence）を使用して実行時間で計算できる認
識問題に一般に興味が持たれる。この場合に、線形部分
空間も実行時間に計算されなければならず、これを実行
するコストが重要である。どのようにしてモデル作成ア
ルゴリズムの内部ループの一部に、この計算がなること
が可能かを以下に説明するが、ここでも効率は非常に重
要である。最後に、４次元線形部分空間を使用する場
合、照明が物理的に実現可能であるという制約条件を、
特に単純で効果的な方法で組み込むことが可能であるこ
とが明らかにされる。

【００９１】線形法 認識のための従来の結果を使用する最も簡単な方法は、
新規な画像をモデルに対応する画像の線形部分空間と比
較することである。これを行うために、各モデルの調和
基底画像（harmonic basis image）が作られる。画像Ｉ
を仮定すると、‖Ｂａ−Ｉ‖を極小化するベクトルａが
求められる。ここで、Ｂは基底画像を示し、Ｂはｐｘｒ
であり、ｐは画像内の点の数であり、ｒは使用される基
底画像（basis image）の数である。上述のように、９
がｒに対して使用するべき自然な値であるが、ｒ＝４が
より大きい効率をもたらし、ｒ＝１８がさらに良い正確
度の可能性を提供する。Ｂのすべての列は、１つの調和
画像ｂ_nmを含んでいる。これらの画像は、正規直交のも
のではないが、線形部分空間に対して基底を形成する。
このような基底Ｑを得るために、ＱＲ分割（QR decompo
sition）がＢに適用される。画像からの距離Ｉ、および
‖ＱＱＴＩ−Ｉ‖としてＢにより測られる空間を、次に
計算することができる。ｐ≫ｒと仮定すれば、ＱＲ分割
のコストは、Ｏ（ｐｒ²）である。

【００９２】これに対して、従来の方法は、目的を表す
線形部分空間を見出すために、時には画像の試料に対し
てＰＣＡを実行していた。たとえば、Georghides は、
目的の画像を供給し、これらの画像を近似する１１次元
部分空間を見出す。ｓ個の標本化された画像が使用され
る場合（通常ｓ≫ｒである）、ｓ≪ｐであれば、ＰＣＡ
はＯ（ｐｓ²）を必要とする。さらに、ＭＡＴＬＡＢに
おいては、薄い矩形行列のＰＣＡは、ＱＲ分割と比べて
正確に２倍長くかかるように思われる。したがって、実
際には、Georghides の方法により構築された行列上の
ＰＣＡは、本発明による方法を使用するのに比べて、モ
デルの画像に対して９次元線形近似を構築するために、
約１５０倍かかるであろう。ポーズが事前に既知であれ
ば、これは非常に重要ではないこともあり、この計算は
オフラインで行われる。しかしポーズが実行時間で計算
される場合には、本発明による方法の利点は、非常に大
きくなることがある。

【００９３】本発明による方法を、A. Shashua による
他の線形法と比較することも興味深い。"On Photometri
c Issues in 3Dvisual Recognition from a single 2D
image", J. of Comp. Vis.、21（1−2）：99−122、199
7参照（以後 "Shashua"と呼ぶ)。付影（attached shado
w）がない場合には、目的のすべての実現可能な画像
は、アルベドにより拡大縮小された面法線のｘ、ｙおよ
びｚ成分の線形結合であることを、 Shashua は指摘し
ている。したがって、Shashua は、モデルの画像を表す
ための３次元線形部分空間を作るために、これらの３つ
の成分を使用することを提案している。これらの３つの
ベクトルは、スケール・ファクタまで、本発明による方
法の第１調和関数により作られた基底画像と同一である
ことに注目されたい。

【００９４】この同等は代数的に明確であるが、さらに
次のように説明できる。１次の調和画像は、単一の調和
関数により説明される照明条件を受ける任意の目的の画
像である。ファンク・ヘッケの定理は、反射率関数を説
明する核のすべての成分は、１次成分以外はこの画像に
無関係であることを保証する。すべての調和関数を含む
照明関数として点光源を使用することにより、Shashua
の研究においては、基底画像が生成される。しかし、使
用される核は、光と面法線の間の角度の全余弦関数であ
る。この核は、第１調和関数の中にのみ成分を有する。
したがって、照明のすべての他の成分は画像に無関係で
ある。どの場合にも、基底画像は、調和関数の最初のセ
ットにのみ帰因する。

【００９５】正の光の強調（Enforcing） 調和基底画像の任意の線形結合をとる場合、物理的に実
現不可能な画像を得ることがある。これは、照明を表し
ている調和関数に対応する線形結合が負の値を含むこと
があるためである。すなわち、これらの画像を表現する
には、負の「光」を必要とすることがあり、これは当然
ながら物理的に不可能である。非負の光の制約条件を強
調する一方で、基底画像を如何に使用するかを次に説明
する。非負の照明により作られた目的の画像のセット
は、すべての実現可能な画像の空間内で凸錐であること
を示した当業者が存在する。上述のように、これは照明
錐（illumination cone）と呼ばれる。調和基底画像に
より測られる空間内のこの錐体に対する近似をどのよう
に計算するかを、次に説明する。

【００９６】具体的にいうと、画像Iを仮定して、光は
球面に沿ってどこでも非負であるという制約条件の適用
を受ける‖Ｂａ−Ｉ‖の極小化を試みた。正の光を強調
する簡単な方法は、たたみ込みを反転することにより、
画像から光を推測することである。これはａ，Ｈａ≧０
の成分の中に線形制約条件をもたらすであろう、ここ
で、Ｈの列は球面調和関数ｈ_nmを含む。残念ながら、目
的の画像の低次近似から復元することができない高次の
項を光は含むことができるので、この素朴な方法は問題
である。さらに、非負の光の調和近似は、ときどき負の
値を有することがある。これらの値が非負であることを
強いることは、光の不正確な復元を導くであろう。以下
に説明するように、照明錐が低次元空間に投射され、非
負の照明を強調するためにこの投射を使用する異なる方
法が論じられる。

【００９７】任意の数の調和基底画像を使用することが
できる方法を最初に説明する。非負の照明関数は、それ
ぞれ点光源を表すデルタ関数の非負の結合として書くこ
とができる。（θ、φ）において１を返し、他の場合に
は０を返す関数を、δθφによって示す。この照明関数
は、方向（θ、φ）において点光源を表す。デルタ関数
を最初の少数の調和関数に投射するためには、デルタ関
数の調和変換を調べる必要がある。関数ｆに関してδθ
φの内積は単にｆ（θ、φ）を返すので、デルタ関数の
調和変換は次式により与えられると結論を下すことがで
きる。

【００９８】

【数４３】 したがって、最初の少数の調和関数に対するデルタ関数
の投射は、最初の少数の項のみについて和をとることに
より得られる。

【００９９】ここで、非負の照明関数ｌ（θ、φ）がデ
ルタ関数の非負の結合として表されると考えれば、いく
つかのｓに対して次式を得る。

【０１００】

【数４４】 明らかに、調和変換の直線性のために、ｌの変換は同じ
係数を有するデルタ関数の変換の非負の結合である。す
なわち、

【０１０１】

【数４５】 同様に、ｌにより照明された目的の画像は、次のように
非負の結合として表すことができる。

【０１０２】

【数４６】 ここで、ｂ_nm＝ｋ_n・ｈ_nmである（前章参照）。

【０１０３】画像を仮定すると、本発明の目的は、非負
の係数ａ_jを復元することである。Ｎ次の近似を仮定
し、空間を測るために必要とする調和関数の数を、ｒ＝
ｒ（ｎ）により示す。ｒ＝ｒ（Ｎ）（たとえば、Ｎ＝２
ならばｒ＝９）行列表記法では、調和関数はＨにより示
され、Ｈはｓｘｒであり、ここで、ｓは球面上の標本点
の数である。Ｈの列は調和関数のサンプリングを含み、
一方Ｈの行はデルタ関数の変換を含む。さらに、Ｂは基
底画像により示され、Ｂはｐｘｒであり、ｐは画像内の
点の数である。Ｂのすべての列は、１つの調和画像ｂ_nm
を含む。最後に、ａＴ＝（ａ１，…，ａｓ）と示すと、
次式の非負の最小２乗法問題を解くことが、目標であ
る。

【０１０４】

【数４７】 さらに調和画像により測られるｒ次元空間に画像を投射
し、この、より小さい空間で最適化問題を解くことが可
能である。そうするために、Ｂ＝ＱＲであるように、Ｑ
Ｒ分割がＢに適用される。ここで、Ｑはユニタリであ
り、Ｒは上三角（upper triangular）である。Ｑに対し
てｒ列のみを維持し、最適化関数を左からＱＴにより乗
算すると、

【０１０５】

【数４８】 ここで、Ｒはｒｘｒであり、Ｑ^Tはｒ−ベクトルであ
る。

【０１０６】この方法は、Georghides 他で提案された
ものと類似であることに注目されたい。主な相違は、各
モデルの調和基底画像を使用して、各モデルに対して構
築された低次元空間が組み込まれていることである。１
０モデルのデータベース内のモデルから描画された画像
にＰＣＡを使用して構築された１００次元空間の中にす
べての画像を投射した後で、類似の計算を Georghides
他は行う。本発明による方法は当業者の研究により影響
を受けているが、解析的、かつ、効果的に構築すること
が可能な空間を組み込むことにより、本発明による方法
は当業者の研究を改善していると考えられる。さらに、
この空間はモデルの画像の正確な表現を提供することが
知られている。

【０１０７】４個の調和関数を使用する認識 目的の画像のセットが最大１次までのみ近似されれば、
さらに単純化することができる。この場合４個の調和関
数が必要である。１個は均一な周辺光の下での目的の外
見を表す直流成分であり、３個は Shashua によっても
使用される基底画像である。再び、光は球面に沿ってど
こでも非負であるという制約条件の下で極小化されるよ
うに、‖Ｂａ−Ｉ‖（ここでＢはｐｘ４である）が試み
られる。

【０１０８】前と同じように、最初の４個の調和関数に
より測られる空間にデルタ関数を投射することにより、
制約条件が決定される。しかし、今度はこの投射は特に
単純な形式をとる。デルタ関数δθφを考える。その１
次近似は、次式により与えられる。

【０１０９】

【数４９】 空間座標を使用すると、この近似は次式となる。

【０１１０】

【数５０】 数式（３１）を、非負の照明関数ｌの１次近似であると
する。

【０１１１】

【数５１】 ｌはデルタ関数の非負の結合である。このような結合が
１次の係数と比較して零次の係数を減少させることがで
きないことは、容易に検証できる。したがって、デルタ
関数の任意の非負の結合は、次式を満足させなければな
らない。

【０１１２】

【数５２】 （光がデルタ関数であるとき相等が得られる。数式３０
参照）したがって、４次元調和空間を有する物体を認識
する問題を、数式３２にしたがって‖Ｂａ−Ｉ‖の極小
化として表現することができる。

【０１１３】４個の調和関数の場合、調和画像は単にア
ルベド、および、それぞれ何らかの因数により拡大縮小
されたアルベドにより拡大縮小された面法線の成分であ
る。したがって、それらを直接使用し、制約条件の中に
スケーリング係数を隠すことが自然である。Ｉをｌによ
って照明された物体の画像であるとすれば、数式１８お
よび２２を使用して、

【０１１４】

【数５３】 ここで、λおよび（ｎ_X、ｎ_y、ｎ_z）は、それぞれアル
ベドおよび目的の点（object point）の面法線である。
閉じられていない基底画像（unsealed basis image）、
λ、λ_nx、λ_ny、およびλ_nzを使用して、この数式を次
式で表すことができる。

【０１１５】

【数５４】 ここで、ｂ₀＝πａ₀であり、ｂ_i＝２π／３ａ_i（１≦ｉ
≦３）である。ａ_iを置換すると、次式が得られる。

【０１１６】

【数５５】 これは次式に単純化される。

【０１１７】

【数５６】 したがって、４次元の場合を解くためには、数式３４の
両辺の間の差は、数式３６にしたがって極小化される。

【０１１８】非負の光を有する最初の４個の調和画像に
より測られる空間内の最も近くの画像を見出すことは、
単一の変数、ラグランジュの乗数を有する６次多項式に
変換し得ることを次に説明する。この多項式を使用すれ
ば、最小化問題を解くことは簡単になる。

【０１１９】光が非負であるという制約条件の適用を受
ける４次元調和空間内の最も近くの画像を見出すこと
は、次の一般的な形式を有する。

【０１２０】

【数５７】 ここで、Ａ（ｎｘ４），ｂ（ｎｘ１）は、ＡおよびＢ
（４ｘ４）の列空間（column space）に存在する。この
表現において、Ａの列は調和画像を含み、ｂは認識され
る画像であり、Ｂ＝ｄｉａｇ（４，−１，１，−１）で
ある。しかし、本発明による方法は、任意の非特異行列
Ｂにも使用できることを当業者は認めるであろう。

【０１２１】最初に、線系ｍｉｎ

【０１２２】

【数５８】 を解き、この解が制約条件を満たすかどうかを調べるこ
とができる。この解が制約条件を満たすならば、１つは
処理された。もしそうでなければ、制約条件が相等にお
いて満たされる場合に生ずる最低を求めなければならな
い。解は２つの部分に分けられる。最初の部分で問題は
次の形式に変換される。

【０１２３】

【数５９】 以下に説明するように、新しい問題は６次多項式に変え
ることができる。

【０１２４】段階１ Ａｂ’＝ｂであるようにｂ’を定義する（ｂがＡの列空
間内にあるので、これは可能である）。したがって、Ａ
ｘ−ｂ＝Ａ（ｘ−ｂ’）であり、この問題が次式と等価
であることを意味する。

【０１２５】

【数６０】 Golub と van Loan が提案した方法（第２版、４６６−
４７ｌページ、特にアルゴリズム８．７．１参照）を使
用して、Ａ^TＡおよびＢが同時に対角化される。Ｘ^TＡ^T
ＡＸ＝ＩおよびＸ^TＢＸ＝Ｄであるように、これは非特
異行列Ｘを作るであろう、Ｉは恒等行列を示し、Ｄは４
ｘ４対角行列である。したがって、次式が得られる。

【０１２６】

【数６１】 ここで、Ｘ¹はＸの逆を示し、Ｘ^-Tはその転置（transpo
se）を示す。ｚ＝Ｘ^-1ｘであり、ｃ＝Ｘ¹ｂ’であると
すれば、次式が得られる。

【０１２７】

【数６２】 これは求める形式を有する。

【０１２８】段階２ここで、本発明は次の形式の問題を
解くことを試みる。

【０１２９】

【数６３】 この最小化問題は、ラグランジュの乗数を使用して解か
れる。すなわち、

【０１３０】

【数６４】 ｘおよびλに対して導関数をとると、次式が得られる。

【０１３１】

【数６５】 および

【０１３２】

【数６６】 最初の数式から、次式が得られる。

【０１３３】

【数６７】 Ｄは対角線であるから、ｚの成分は次式により与えられ
る。

【０１３４】

【数６８】 制約条件ｚ^TＤｚ＝０は、したがって次式となる。

【０１３５】

【数６９】 上式は、分母を乗算した（multiplying out）後で、λ
についての６次多項式になる。この多項式は、標準の技
術（ＭＡＴＬＡＢ関数ｒｏｏｔｓが使用される）を使用
して、効果的かつ正確に解くことが可能である。上に示
すように、すべての解はｘを決定し、また最適化基準を
極小化する実数の解を選択するために挿入される。

【０１３６】実験 顔のデータベースの部分集合を使用して、本発明による
認識方法について実験が行われた。この部分集合は、赤
色、緑色および青色チャネル内のそれらのアルベドのモ
デルを含む、多くの場合、顔である３次元モデルを含ん
でいる。テスト画像として、７つの異なるポーズと６つ
の異なる照明条件で撮られた１人の個人の４２個の画像
が使用された（図４に示す）。これらの実験において、
各画像は各モデルと比較され、正しい答えの順位が決定
された（すなわち、１の順位は正しい答えが最初に選択
されたことを意味する）。データベースのこの部分集合
は、この実験から何らかの確実な結論を導くことを可能
にするにはあまりにも小さい。より正確に言えば、多数
の異なる方法の比較を可能にするには十分小さく、その
中の一部は大きいデータセットのうえで実行するにはあ
まりにも遅い。

【０１３７】すべての方法を実現する場合に、最初にモ
デルと画像の間の３次元アライメント（「位置決め」と
呼ばれる）を得なければならない。これは、当該技術分
野において公知の既存の方法を使って行うことが可能で
ある。要するに、顔の特徴は手によって認識でき、した
がって、３次元特徴を対応する２次元画像の特徴と整列
させるために、３次元固定変換（3D rigid transformat
ion）を見出すことが可能である。たとえば、３次元モ
デルは多くの人の顔のモデルであると仮定する。認識に
先だって、目の中心あるいは鼻の先端部のような特徴の
位置を示す顔の上の点をクリックすることができる。入
力画像が現れると、入力画像の対応する特徴をクリック
することができる。画像特徴とモデル特徴の間の一致を
仮定すると、各モデルに対して、モデル特徴を入力画像
特徴に最も良く一致させるような、カメラに対するその
物体の位置を決定することが可能である。この位置決め
を決定することは、当該技術分野において充分に研究さ
れた問題であり、多くの解が導かれている。

【０１３８】照明条件を決定するために、顔の３次元モ
デル内のいずれかの点に一致した画像ピクセルに対して
のみ注意が払われる。最大強度の画像ピクセルは飽和し
ている恐れがあり、紛らわしい値を供給する恐れがある
ので、最大強度の画像ピクセルも無視される。最後に、
モデルおよび画像の両方が２段標本化（subsample）さ
れ、各ｍｘｍ正方形（each m x m square）をその平均
値と置換する。これは、以下に説明する方法の一部、特
に Georghides が、全画像に対して実行するには遅すぎ
るからである。Georghides の方法のわずかな変形が、
近似を避けるために実行される。各モデルは、１００個
の異なる点光源を使用して供給される。次に、テスト画
像に加えて、これらの１００個の画像が１０１次元空間
に投射され、１０１次元空間で非負の最小２乗法最適化
が実行される。これは、全空間内で最適化を行うことと
等価であるが、より効果的である。しかし、依然として
１０１個の画像に対して特異値分割（ＳＶＤ:Singular
Value Decomposition）の使用を必要とし、全部の画像
に対して実行するには遅すぎる。それらの実験におい
て、このＳＶＤはオフラインで実行されたが、これらの
実験においては、ポーズが事前に知られていないので、
各ポーズに対してＳＶＤがオンラインで実行されなけれ
ばならない。ＳＶＤは、最も重要な成分を明確にする行
列を分解する標準の方法である。しかし、本発明による
方法は、正確度を著しく減少せずに、２段標本化するこ
とを、予備実験は示している。以下の実験において、す
べてのアルゴリズム２段標本化は、１６ｘ１６の正方形
を使用して実行された。いくつかの他のアルゴリズム
も、より少ない２段標本化を使用して実行された。

【０１３９】２段標本化された画像に対して照明条件が
決定されると、照明条件はフルサイズの画像内のモデル
を供給するために使用される。したがって、たとえば、
本発明による方法は、描画された画像を作るために調和
画像を線形に結合する方法を教える係数を作成する。こ
れらの係数は標本化された画像に対して計算されるが、
次に完全な標本化されていない画像の調和画像に適用さ
れる。この処理は、各色彩チャネルに対して、別々に繰
り返された。次に、平均２乗誤差の平方根をとることに
より、供給された顔のモデルとそれが交差する画像の部
分の間の距離から導出された画像とモデルが比較され
た。これらの実験の結果を表２に示す。

【０１４０】

【表２】 表２において、「Georghides」は、点光源を使用して生
成された画像の非負の結合と画像を照合することによ
り、照明を見出す結果を示す。「非負の光４、および
９」は、照明が正であるという制約条件に加えて、４次
元および９次元の調和基底画像を使用する本発明による
方法を示す。「線形９」は、９次元空間を使用する本発
明による線形法を示す。表２は、より少ない２段標本化
を使用する「線形９」を適用する結果も示す。「正しい
パーセント」は、画像のどれだけの部分が正しい答えに
一致したかを示す。表２は、さらに「平均順位」を示
す。ここで、ｋの順位は正しい答えがｋ番目に選ばれた
ことを示す（すなわち、１の順位は正しい答えが選択さ
れたことを意味する）。９次元調和基底を使用する本発
明による方法は、既存の方法より正確であることが判
る。４次元調和関数は、それほど正確ではないかもしれ
ないが、他の方法よりはるかに効果的である。

【０１４１】本発明による好適実施例と考えられるもの
を示し説明したが、本発明の技術思想から逸脱すること
なく、形式あるいは細部のさまざまな修正および変更が
容易に行えることは、当然理解されよう。したがって、
本発明は説明し例示した正確な形式に限定されるもので
はなく、添付した特許請求の範囲内に含まれるすべての
修正を含むように、構成されていると解釈される。

【０１４２】

【発明の効果】本発明は以上説明したように構成されて
いるので、従来技術による方法の欠点を克服するよう
な、入力画像に最も類似している複数の３次元モデルか
ら画像を選択することを、複雑な反復最適化技法を使用
することなく、より効率的、かつ、より速く実行できる
ような、入力画像に最も類似している複数の３次元モデ
ルから画像を選択することができる効果がある。

【図面の簡単な説明】

【図１】数式（９）の係数のグラフ表示を示す。

【図２】ランベルトの核の１次元スライスおよびそのさ
まざまな近似を示す。

【図３】顔の３次元モデルから導出された最初の９個の
調和画像を示す。

【図４】本発明による方法の実験で使用されたテスト画
像を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ローネン バズリ アメリカ合衆国、 ニュージャージー 08540、 プリンストン、 インディペン デンス ウェイ ４ エヌ・イー・シー・ リサーチ・インスティテューテュ・インク 内 Ｆターム(参考） 5L096 AA02 AA06 AA09 CA02 CA17 DA02 HA09 JA03

Claims (16)

【特許請求の範囲】
1. 【請求項１】 入力画像に最も類似の複数の３次元モデ
   ルから画像を選択する方法であって、前記方法は、 （ａ）複数の３次元モデルのデータベースを供給する段
   階と、 （ｂ）入力画像を供給する段階と、 （ｃ）各３次元モデルを前記入力画像に対して位置決め
   する段階と、 （ｄ）（ｉ）線形部分空間を計算することであって、前
   記線形部分空間内の各点が実現可能な画像を表すすべて
   の可能な照明条件の下で各３次元モデルが作ることがで
   きる、すべての可能な描画された画像のセットに対して
   近似を説明する線形部分空間を計算することと、 （ｉｉ）前記入力画像に最も近い前記線形部分空間上の
   前記点を見出すことによって、 各３次元モデルに対して、前記入力画像に最も類似して
   いる描画された画像を決定する段階と、 （ｅ）前記入力画像と各描画された画像の間の類似の程
   度を計算する段階と、 （ｆ）類似の程度が前記入力画像に最も類似している前
   記描画された画像に対応する前記３次元モデルを選択す
   る段階を有する入力画像に最も類似の複数の３次元モデ
   ルから画像を選択する方法。
2. 【請求項２】 入力画像に最も類似の複数の３次元モデ
   ルから画像を選択する方法であって、前記方法は、 （ａ）複数の３次元モデルのデータベースを供給する段
   階と、 （ｂ）入力画像を供給する段階と、 （ｃ）各３次元モデルを前記入力画像に対して位置決め
   する段階と、 （ｄ）（ｉ）線形部分空間を計算することであって、前
   記線形部分空間内の各点が実現可能な画像を表すすべて
   の可能な照明条件の下で各３次元モデルが作ることがで
   きる、すべての可能な描画された画像のセットに対して
   近似を説明する線形部分空間を計算することと、 （ｉｉ）正の光によって生成された画像の前記セット
   を、前記線形部分空間に投射することにより得られる前
   記線形部分空間の部分集合内の描画された画像を見出す
   ことによって、 各３次元モデルに対して、前記入力画像に最も類似して
   いる描画された画像を決定する段階と、 （ｅ）前記入力画像と各描画された画像の間の類似の程
   度を計算する段階と、 （ｆ）前記入力画像に最も類似している前記描画された
   画像に対応する前記３次元モデルを選択する段階を有す
   る入力画像に最も類似の複数の３次元モデルから画像を
   選択する方法。
3. 【請求項３】 段階（ａ）は、所定の照明条件の下で撮
   られた一連の画像から各３次元モデルを構築することを
   含む請求項１または請求項２記載の方法。
4. 【請求項４】 段階（ａ）は、各３次元モデルの表面上
   の各点の位置と、各点において反射される光の部分を認
   識する少なくとも１つの対応する識別子を割り当てるこ
   とを含む請求項１または請求項２記載の方法。
5. 【請求項５】 前記少なくとも１つの対応する識別子
   は、赤、青および緑色の光がどれぐらい反射されるかの
   それぞれに対して１つずつの、３個のアルベドを有する
   請求項４記載の方法。
6. 【請求項６】 段階（ｂ）は、２次元入力画像を供給す
   ることを含む請求項１または請求項２記載の方法。
7. 【請求項７】 段階（ｃ）は、前記３次元モデルおよび
   前記入力画像の上の所定の点を整列させることを含む請
   求項１または請求項２記載の方法。
8. 【請求項８】 段階（ｄ）が、各３次元モデルに対して
   赤、緑および青色成分の各々に対して繰り返される請求
   項１または請求項２記載の方法。
9. 【請求項９】 段階（ｄ）（ｉ）は、各点における面法
   線の前記方向の説明からと、前記少なくとも１つの対応
   する識別子から多項式を計算することを含む請求項４記
   載の方法。
10. 【請求項１０】 前記線形部分空間は、４次元である請
    求項１または請求項２記載の方法。
11. 【請求項１１】 前記線形部分空間は、９次元である請
    求項１または請求項２記載の方法。
12. 【請求項１２】 段階（ｅ）は、前記入力画像と各描画
    された画像の間の差の大きさを判定することを含む請求
    項１記載の方法。
13. 【請求項１３】 段階（ｄ）（ｉｉ）は、線形射影を使
    用して、前記入力画像に最も近い前記線形部分空間内の
    前記点を計算することを含む請求項１記載の方法。
14. 【請求項１４】 前記線形部分空間は、４次元であり、
    段階（ｄ）（ｉｉ）は、非負の照明を使用して６次多項
    式を解くことにより、各３次元モデルの画像を描画する
    ことを含む請求項２記載の方法。
15. 【請求項１５】 前記線形部分空間は、９次元であり、
    段階（ｄ）（ｉｉ）は、単一の方向から来る前記９次元
    の空間に投射された光を使用して生成された画像の凸の
    結合である前記描画された画像を見出すことを含む請求
    項２記載の方法。
16. 【請求項１６】 前記描画された画像は、非負の最小２
    乗法アルゴリズムを使用して見出される請求項１５記載
    の方法。