JP2001067463A

JP2001067463A - 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体

Info

Publication number: JP2001067463A
Application number: JP2000185540A
Authority: JP
Inventors: Kan Ron; カンロン; Ryuirie Makushiimu; リュイリエマクシーム; Takeo Miyazawa; 丈夫宮沢
Original assignee: NADEISU KK
Current assignee: NADEISU KK
Priority date: 1999-06-22
Filing date: 2000-06-21
Publication date: 2001-03-16
Also published as: EP1063614A8; EP1063614A3; EP1063614A2

Abstract

(57)【要約】【課題】共通の対象物に関して複数の画像を得たとき
に、前記複数の画像の間で互いに対応する点を検索す
る。モーフイング処理の実行を容易にする。【解決手段】前記複数の画像から特徴点をそれぞれ抽
出する特徴点抽出部と、前記複数の画像の特徴点の間で
相関を求めて、前記特徴点の組み合わせを求める相関演
算部と、前記複数の視点から見た画像であるという条件
の下で、前記特徴点の組み合わせのうちで可能性の低い
ものを除去するマッチング部と、前記複数の視点の位置
及び視線の方向を求めるカメラ方向決定部と、前記カメ
ラ方向決定部により得られた前記複数の視点の位置及び
視線の方向のの条件のもとで、前記特徴点の組み合わせ
を、幾何学的・統計学的信瀬性の優位なものから選択
し、前記対象物の画像の解析範囲を調整するマッチ伝播
部とを備える画像対応点検索装置。視点の位置及び視線
の方向の制約条件を用いることにより、精度良い対応点
検索が可能である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、異なる視点から
見た複数の画像が得られ、かつ、これらの画像に、ある
対象物が共通に含まれるとき及び／又は一つ以上の対象
物についての複数の画像が与えられたときに、前記対象
物の新たな画像を生成する画像生成装置に関する。

【０００２】

【従来の技術】画像処理のひとつとしてモーフイング
（Morphing）が知られている。モーフイングとは、米国
のハリウッドで開発されたコンピュータグラフィックス
（CG）技術であり、2つの異なる画像、例えば、二人の
人物の顔の画像があるとき、一方の画像から他方の画像
へ徐々に画面を変化させること、及びそのような一連の
画像を提供する技術である。モーフイングにより、例え
ば、白い虎が若い女性に変身していくような一連の画像
が得られる。

【０００３】2つの画像A、Bが与えられたとき、モーフ
イング処理は概ね次のように行われる。まず、画像A内
の特徴点（feature point）と画像B内の特徴点との対応
関係（例えば、目と目、鼻と鼻）を求めることがなされ
る。この作業は、通常は、作業者によりなされる。対応
関係が求められれば、画像Aの特徴点pを、時間をかけて
画像Bの特徴点qに少しづつ変化させていく。すると、前
述のような一連の画像が得られる。

【０００４】CGにおいては、一般に画像は多数の三角形
の要素からなる。したがって、モーフイングは、画像A
の特徴点pの三角形を、画像Bの特徴点qの三角形に対応
関係を維持しつつ変形することにより行われる。このこ
とを、図１５を参照しつつ説明する。この図において、
三角形Aが画像Aの一部であり、三角形Bが画像Bの一部で
あるとする。三角形Aの頂点p1，p2，p3は三角形Bの頂点
q1，q2，q3にそれぞれ対応する。三角形Aを三角形Bに変
換するには、頂点p1とq1の差分、頂点p2とq2の差分、頂
点p3とq3の差分を求めて、これら差分を三角形Aの各頂
点p1，p2，p3にそれぞれ加えればよい。これら差分のす
べて（100％）を加えることにより、三角形Aが三角形B
に変換される。ところで、これら差分のすべてではな
く、その一部、例えば、その30％、60％を加えることも
可能である。この場合、三角形Aと三角形Bの中間の図形
が得られる。例えば、図１５において、三角形A'は差分
の30％を加算した場合の模式的例であり、三角形B'は差
分の60％を加算した模式的例である。

【０００５】従来のモーフイング処理において、数百点
に及ぶ特徴点の対応関係は手動で与える必要があるとと
もに、その対応関係が適切かどうか、実際に処理した上
でトライ＆エラーの繰り返して検討されなければなかっ
た。

【０００６】

【発明が解決しようとする課題】そこで、この発明は、
例えば、モーフイングにおいて要求される対応関係を自
動的に与えることができる装置／方法を提供することを
目的とする。本発明は、特に従来のモーフイング技術で
はほとんど解決不可能であったオクルージョン（occlus
ion）の処理に優れ、奥行き関係を適切に解析及び処理
することができる。その際に、奥行き情報を必要としな
いという特徴がある。オクルージョン問題とは図１６に
示すように、異なる視点から同じ対象物を見たときに、
視点の違いに起因してそれぞれの視点から見えている部
分が異なるという問題である。図１６においてA及びBの
部分はそれぞれひとつのカメラの画像にしか表示されな
い。従来、オクルージョンの発生している部分は、画像
全体から見ると相対的に小さい領域であることから、オ
クルージョン問題は無視されてきた。しかし、高品位の
画像を提供するためにはこの問題を無視することは許さ
れない。

【０００７】また、この発明は、求められた対応関係を
用いて、新たな視点から見た対象物の画像を生成する装
置／方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】この発明は、複数の画像
に基づき新たな画像を生成する画像生成装置であって、
第１画像を受けてこの画像から特徴点を抽出する第１特
徴点抽出部と、第２画像を受けてこの画像から特徴点を
抽出する第２特徴点抽出部と、第３画像を受けてこの画
像から特徴点を抽出する第３特徴点抽出部と、前記第１
特徴点抽出部及び前記第２特徴点抽出部から信号を受け
て前記第１画像の特徴点と前記第２画像の特徴点の間の
相関を求める第１相関演算部と、前記第２特徴点抽出部
及び前記第３特徴点抽出部から信号を受けて前記第２画
像の特徴点と前記第３画像の特徴点の間の相関を求める
第２相関演算部と、前記第１相関演算部及び前記第２相
関演算部から信号を受けて、複数の視点から見た画像で
あるという条件の下で、前記特徴点の組み合わせのうち
で可能性の低いものを除去するロバストマッチング部
と、前記複数の視点の位置及び視線の方向を求めるカメ
ラ方向決定部と、前記ロバストマッチング部からシード
マッチの注目点リストを受けるとともに、前記カメラ方
向決定部からカメラ方向パラメータを受けて、第１乃至
第３画像のマッチングを出力するマッチ伝播部と、前記
マッチ伝播部により得られたマッチングを正則化して三
眼マッチのリストを出力するリサンプリング部と、前記
リサンプリング部により得られた三眼マッチのリストを
受けて三視野連結三角形分割を出力する三視野連結三角
形分割部と、前記三視野連結三角形分割に基づき別の視
点から見た画像を生成する視野補間部とを備えるもので
ある。

【０００９】この発明は、複数の画像に基づき新たな画
像を生成する画像生成装置であって、第１画像を受けて
この画像から特徴点を抽出する第１特徴点抽出部と、第
２画像を受けてこの画像から特徴点を抽出する第２特徴
点抽出部と、前記第１特徴点抽出部及び前記第２特徴点
抽出部から信号を受けて前記第１画像の特徴点と前記第
２画像の特徴点の間の相関を求める相関演算部と、前記
相関演算部から信号を受けて、複数の視点から見た画像
であるという条件の下で、前記特徴点の組み合わせのう
ちで可能性の低いものを除去するロバストマッチング部
と、前記ロバストマッチング部からシードマッチの注目
点リストを受けて、第１及び第２画像のマッチングを出
力するマッチ伝播部と、前記マッチ伝播部により得られ
たマッチングを正則化して二眼マッチのリストを出力す
るリサンプリング部と、前記リサンプリング部により得
られた二眼マッチのリストを受けて二視野連結三角形分
割を出力する二視野連結三角形分割部と、前記二視野連
結三角形分割に基づき別の視点から見た画像を生成する
視野補間部とを備えるものである。

【００１０】この発明は、上記装置をコンピュータによ
り実現するためのプログラムを記録した媒体である。

【００１１】媒体には、例えば、フロッピー（登録商
標）ディスク、ハードディスク、磁気テープ、光磁気デ
ィスク、CD-ROM、DVD、ROMカートリッジ、バッテリバッ
クアップ付きのRAMメモリカートリッジ、フラッシュメ
モリカートリッジ、不揮発性RAMカートリッジ等を含
む。

【００１２】また、電話回線等の有線通信媒体、マイク
ロ波回線等の無線通信媒体等の通信媒体を含む。インタ
ーネットもここでいう通信媒体に含まれる。

【００１３】媒体とは、何等かの物理的手段により情報
（主にデジタルデータ、プログラム）が記録されている
ものであって、コンピュータ、専用プロセッサ等の処理
装置に所定の機能を行わせることができるものである。
要するに、何等かの手段でもってコンピュータにプログ
ラムをダウンロードし、所定の機能を実行させるもので
あればよい。

【００１４】

【発明の実施の形態】この発明の実施の形態の装置／方
法について図を参照しつつ説明する。図1は、この発明
の実施の形態の装置／方法の処理の概略を示すフローチ
ャートである。図2は、この発明の実施の形態に係る装
置の概略構成図である。複数のカメラ1a，1b，・‥によ
り得られた各画像データ（信号）は、正面画像生成部2
に入力される。正面画像生成部2において、対応点検索
部2aが、前記複数の画像を解析して相互に対応する対応
点を検索する。これら対応点を三次元形状認識部2bが解
析して対象物の三次元形状を認識する。その認識結果に
基づき視線を設定するとともに、設定された視線に基づ
きデータに幾何学的変換を行うあるいは変形することに
より、あたかも鏡を見るかのような正面画像を生成す
る。これら各処理については後に詳しく述べる。なお、
カメラ1は複数であれば良く、2台、3台、4台、あるいは
それ以上であってもよい。実用性の観点からは、2台あ
るいは3台が望ましいと考えられる。

【００１５】図3及び図4に基づき、正面画像生成部の処
理をさらに詳しく説明する。図3は、板状の液晶表示装
置（LCD）4の左右上端と下辺中央にそれぞれカメラ1を
備えるデジタルミラーの模式図を示す。LCD4のはぼ中央
を通る法線上に対象物100が配置される。通常はこの位
置に使用者の顔が位置するが、説明の便宜上、四角錐を
例にとる。四角錐100をカメラ1a，1b，1cにより撮像す
ると、図4の100a，100b，100cのような画像がそれぞれ
得られる。画像100aはカメラ1aによるもので、LCD4から
見て、四角錐100を左から見た画像である。画像100bは
カメラ1bによるもので、四角錐100を右から見た画像で
ある。画像100cはカメラ1cによるもので、四角錐100を
下から見た画像である。比較的近接した異なる視点から
見た少なくとも2つの画像があれば、いわゆるステレオ
視に準じた幾何学的計算処理によって複数の二次元画像
から唯一の三次元形状を認識することができる。この処
理をコンピュータに行わせるためには、特徴点を特定す
る必要がある。この例では、四角錐100の各頂点が選択
される。各画像において特徴点が特定されると、これら
特徴点の間において互いに対応関係が求められる。この
ようにして、四角錐100の同じ部分が、各画像でどの位
置にあるかが解析される。この解析に基づき、四角錐10
0の三次元形状が認識される。画像100aによれば、頂点
が左側にあるから四角錐100はカメラ1aの左側にあるこ
とがわかる。このようにして、三次元形状が認識され
る。そこで、視点を例えばLCD4のほぼ中央に設定し、こ
の視点に基づき四角錐100を見た画像を生成する。例え
ば、図4の画像100が得られる。

【００１６】図2の信号処理部3は、正面画像生成部2か
ら上述のように処理された正面画像を受けて、各種処理
を行う。つまり、対象物を表示する処理、従来の鏡にお
ける反射による像を表示する処理を含む、さまざまな処
理・加工が行われる。例えば、ズーム処理、及びワイド
処理である。鏡に映った全体の画像のうちの所定の部分
を瞬時に拡大・縮小する処理である。どの部分を拡大・
縮小するか、どちらの処理を選択するかなどは、例え
ば、マウス等のポインティングデバイス6により指定さ
れる。LCD4の表面がタッチパネルであれば、画像の任意
の部分に触れることにより、その部分を瞬時に拡大・縮
小することが可能である。

【００１７】図2の装置の形態として、図5に示すものが
考えられる。LCD4の周囲に3つのCCDカメラ1a，1b，1cが
設けられている。また、LCD4の背面には、正面画像生成
部2及び信号処理部3として機能するコンピュータが設け
られている。これらは一体のケースに収納されている。

【００１８】次に、この発明の実施の形態の装置／方法
の全体処理の概略について述べる。図1のフローチャー
トによれば、まず、2つ以上の異なる視点から見た2つ以
上の画像A，B，・‥を得る（Sl）。

【００１９】次に、画像Aと画像Bの間で特徴点の対応関
係を求める（S2）。特徴点として、エッジ、コーナ、テ
クスチヤ‥・などが考えられる。特徴点を探索する方法
として、一方の画像にある点の対応を他方の画像から探
すとき、その点のまわりの局所的な濃度パターンを手が
かりに探索する方法がある。この方法は、具体的には、
注目点のまわりにウインドウを設定し、それをテンプレ
ートとして他方の画像のエピポーラ線上のあらかじめ設
定した探索範囲内でマッチングを行う。他の方法とし
て、画像から濃淡エッジ等の特徴を抽出し、両画像の特
徴間で対応付けようとする方法がある。

【００２０】画像Aと画像Bの間で対応関係にある特徴点
の移動量を求める（S3）。画像Aと画像Bの間で特徴点の
対応関係が求められていれば、その移動量を求めること
は簡単に行える。これらの処理により、モーフイング処
理に必要な特徴点の抽出及びその移動量（変化量）を求
めることができる。

【００２１】この発明の実施の形態では、さらに三次元
物体の画像をモーフイングするための描画装置／方法に
ついても説明する。三次元物体の画像を描画するために
は、空間におけるその物体の位置を求めなければならな
いが、この描画装置／方法によれば三次元位置を直接扱
うことなく、三次元物体の画像の描画が可能になる。

【００２２】その動作原理について、図6及び図7を用い
て説明する。図6（a）（b）に示すように、ある空間に
円錐201と立方体202が配置され、これらを2台のカメラ1
a，1bで撮影しているとする。これらカメラ1a，1bの視
点は異なるから、これらにより得られる画像も異なる。
これらカメラ1a，1bにより、図7（a），（b）の画像が
得られたとする。これらの画像を比較すると、円錐201
及び立方体202の位置が変化していることがわかる。円
錐201の相対位置変化量をy、立方体202の相対位置変化
量をｘとすると、図7から、ｘ＜yであることがわかる。
この大小関係は物体とカメラの間の距離に関係する。移
動量が大きいとき、その特徴点はカメラから近い位置に
ある。一方、移動量が小さいとき、その特徴点はカメラ
から遠い位置になる。このように移動量に応じて距離が
わかる。そこで、特徴点を、その移動量に応じて分類
（ソーティング）し（S4）、移動量が小さなもの、これ
は物体が遠くにあることを意味する、から順に画像を書
き込んでいく（S5）。すると、近くにあるものは上書き
されるので表示されるが、遠いもの（隠れる部分）は上
書きにより消されるので見えない。このように奥行き情
報を用いることなく、三次元空間画像を適切に再現でき
る。

【００２３】図2乃至図5の装置は、カメラ1により得ら
れた画像を図1のように処理することにより、カメラ1の
視点とは異なる視点から見た画像を表示することができ
る。例えば、右から見た顔、左から見た顔、及び下から
見た顔の画像に基づき、正面から見た顔の画像を生成し
て表示することができる。また、右から見た顔と左から
見た顔にモーフイング処理を適用することにより、あた
かもカメラの視点を連続的に移動したかのように、さま
ざまな角度から見た顔を表示することができる。図2乃
至図5の装置は、いわば、デジタルミラーとして用いる
ことができる。

【００２４】あるいは、図2乃至図5の装置は、実際の窓
を模擬するデジタルウィンドウとして用いることもでき
る。液晶テレビにさまざまな風景を表示することによ
り、実際の窓に代えて用いられる窓用表示装置を提供す
ることができる。従来の表示装置は単に風景などの固定
された視点から見た画像を表示するのみであり、実際の
窓において視点位置を変えることにより風景が少し変わ
るというような表現はできなかった。この発明の実施の
形態の装置／方法を用いると、人の位置すなわち視点の
位置を知ることができるので、視点の位置に合わせて表
示を変えることにより、より実感的な風景表示が可能に
なる。例えば、図8に、液晶表示装置（デジタルウィン
ドウ）Wがあり、その前にひとりの人がいるとする。図8
（a）のように、仮想空間中に円錐と立方体が配置さ
れ、この様子が液晶表示装置Wに表示されるとする。そ
の人の位置がbのとき、液晶表示装置W上に図8（b）のよ
うな表示がなされ、位置がcのとき、図8（c）のような
表示がなされる。このように、視点の位置に応じて適切
な画面が表示されることにより、利用者はあたかも実際
の窓のまわりで頭を巡らしているような感覚を得ること
ができる。

【００２５】図９は、この発明の実施の形態に係る装置
（シーナリージェネレータ）の概略構成図である。外部
から複数の画像データは、シーナリー生成部2に入力さ
れる。これらの画像データは複数のカメラにより提供さ
れてもよいし、あらかじめ用意された画像データベース
により提供されてもよい。シーナリー生成部2におい
て、対応点検索部2aが、前記複数の画像を解析して相互
に対応する対応点を検索する。幾何学的計算部２ｃがこ
れら対応点を解析して視線を設定するとともに、設定さ
れた視線に基づきデータに幾何学的変換を行うあるいは
変形することによりシーナリー画像を生成する。シーナ
リー生成部２は、外部から利用者の位置の情報を受け
て、当該利用者の位置に応じたシーナリー画像を生成す
る。当該利用者の位置を求めるセンサとして磁気センサ
を用いたものが知られているが、これ以外のセンサ、例
えば超音波、圧力センサ、カメラを用いることができ
る。

【００２６】また、図９の装置はモーフィング処理のた
めの装置としても用いることができる。図９の装置に2
つの異なる画像、例えば、二人の人物ＡとＢの顔の画像
を与え、図９の装置に外部から与える視点の位置を少し
づつ変えて行くことにより、一方の画像から他方の画像
へ徐々に画面を変化させることができる。

【００２７】上記デジタルミラー及びデジタルウィンド
ウの処理において共通するものとして、複数の画像間で
特徴点の対応関係を求めることにより、三次元空間内の
物体の位置を求める処理がある。しかし、デジタルミラ
ーにおいては、三次元位置の測定精度が表示される画像
の精度に直接関係するため、位置測定精度は高い方が望
ましいものの、デジタルウィンドウにおいては、視点の
位置が多少ずれてもさほど違和感は生じないため、デジ
タルミラー程度の位置測定精度は要求されない。ここ
で、デジタルミラー用の処理装置／方法をフェイシヤル
イメージジェネレータと、デジタルウィンドウ用の処理
装置／方法をシーナリイメージジェネレータと名づけ
る。以下、これらについて詳細に説明する。

【００２８】用語等の説明・エピポーラジオメトリ（Epipolar geometory）三次元空間の対象物を複数のカメラで投影した場合には
複数の画像間に特有な幾何が現れる。このような幾何の
ことをエピポーラジオメトリと呼ぶ。図１７において、
Ｘは三次元空間中の点、Ｃ，Ｃ‘は視点、π、π'は投
影面、ΣはＣ，Ｃ'，Ｘにより定義されるエピポーラ平
面、エピポーラ平面と画像面πが交差してできる直線Ｌ
はエピポーラ線、視点ＣとＣ‘を結ぶ直線が画像面π、
π'と交差してできる点ｅ、ｅ‘はエピポール（Epipol
e）である。

【００２９】・デロネ三角分割(Delaunay Triangulatio
n) デロネ三角分割は、任意に設定された接点群を対象とし
て、2次元では三角形に、3次元では四面体に分割する方
法である。この方法で得られたすべての要素についてそ
の外接円（球）を求めると、その内部に他の接点を含ま
ないことが知られている。二次元において、与えられた
点の集合に対し三角形分割を行う方法は幾通りも存在す
る。できるだけ正三角形に近く、つぶれた三角形を含ま
ないように分割する方法が望ましい。このことに応える
方法はいくつか考えられるが、その中でも、分割した三
角形群の最小の角が他の分割の仕方による最小角よりも
大きくなるようにする、いわゆる最小角最大原理に基づ
いた三角形分割が一般的である。これにより、一般に一
意に三角形分割を行うことが可能になる。この方法がデ
ロネ三角分割と呼ばれている。具体的には、与えられた
4点に対する２つの三角分割の候補のそれぞれについて
三角形の外接円を作り、「外接円の中にもう一つの点が
含まれない」という条件を満たすものを選択する。

【００３０】フェイシヤルイメージジェネレータフェイシヤルイメージジェネレータは、3つのカメラを
用いて、制約条件として適する3焦点テンソル（trifoca
l Tensor）を用いて処理を行う。シーナリイメージジ
ェネレータは、2つのカメラを用いて、制約条件として
エピポーラジオメトリーを用いて処理を行う。3つのカ
メラの３つの画像を単に比較するだけでは、対応点を求
めることが難しかったが、3つのカメラの空間的制約条
件を取り入れることにより対応点検索を自動化できたの
である。

【００３１】3つのカメラから視点の異なる3つの画像を
得て、これらを処理する場合を例にとり説明する。

【００３２】１．特徴点検出器（Feature point detect
ion unit）視点の異なる3つの画像が、3つの特徴点検出器10a〜10c
に入力される。特徴点検出器10a〜10cは、注目点（inte
rest point）とも呼ばれる特徴点のリストを出力する。
三角形や四角形のような幾何学的形状であれば、その頂
点が特徴点となる。通常の写真画像における、明確に区
別可能なテクスチヤーを有する非常に鮮明な注目点は、
特徴点のための良い候補である。

【００３３】2. シード発見ユニット（Seed finding un
it）相関ユニット11a、11b及びロバストマッチングユニット
12は、シード発見ユニット（Seed finding Unit）を構
成する。これは、信頼性の高い初期的な三眼マッチ（tr
inocular match：3つのカメラ位置からなる制約条件）
の集合を見出すためのものである。これは、注目点の三
つのリストを受けて、シードマッチと呼ばれる注目点の
三眼マッチのリストを出力する。相関ユニット11a，11b
は、仮の三眼マッチのリストを確立する。ロバストマッ
チングユニット１２は、相関ユニット11a，11ｂの出力
に対して三つの視野の幾何的拘束を適用することによ
り、信頼性の高いシードマッチのリストを完成させる。

【００３４】2.1 相関ユニット（Correlation unit）相関ユニット11a，11bの動作について説明する。これら
のユニットは、特徴点抽出器10a〜10cが出力する三つの
画像間における注目点の３つのリストに対して処理を行
う。対応関係を求めるために、ZNCC（zero-mean normal
ized cross-correlation：ゼロ平均正規化相互相関）相
関測度が用いられる。ZNCC相関測度を用いることによ
り、対象の大きさが画像間で多少異なっていたり、画像
が多少変形しているときでも、画像間の対応関係を求め
ることができる。このため、ZNCC相関測度がマッチング
シードのために用いられる。

【００３５】シフト量が△＝（△ｘ，△y）^Tである点ｘ
＝（ｘ，y）^TにおけるZNCCx（△）は以下のように定義
される。

【数1】ここに、I^（ｘ）およびI^'（ｘ）は、ｘを中心として
与えられた一定処理範囲に対するピクセル輝度の平均で
ある。

【００３６】2.2 ロバストマッチングユニット（Robust
matching unit）次に、ロバストマッチングユニット12により、相関ユニ
ット11による二視野マッチングの結果が、単一の三眼マ
ッチに統合される。ロバストマッチングユニット12は、
相関ユニット11から潜在的な三眼マッチの注目点リスト
を受けて、信頼性の高い三眼マッチの注目点リストを出
力する。三つの画像中における各々の三眼マッチは当初
はランダムサンプリングに基づきながらも、三眼マッチ
以外のものを取り除くため、三視野拘束の12の成分を評
価することで、統計学的に有意に処理される。同一の対
象を3つカメラが撮影し、異なる視野の3つの画像が得ら
れたとき、3つの画像それぞれにおけるその対象の同一
の点（例えば、特徴点の位置）は、所定のルールに従
い、その対象物の位置及びカメラ位置とカメラ方向から
一意に定められる。したがって、相関ユニット11により
得られた三眼マッチの注目点リストについて、それぞれ
がそのルールを満足するかどうか調べることにより、正
しい三眼マッチの注目点リストを得ることができる。

【００３７】ここで、u＝（u，ｖ）、u'＝（u'，ｖ'）
およびu“＝（u”，ｖ“）を、三眼マッチの正規化され
た相対座標とすると、三視野拘束を満足する三眼リスト
は、以下のような、t₁ないしt₁₂の12個の成分により決
定される条件式を満たす。

【数2】

【００３８】3. カメラ方向の自動決定器（Unit of aut
o-determination of camera orientations）次に、カメラ方向の自動決定ユニット１３について説明
する。第1の画像乃至第3の画像を得るための三つのカメ
ラが先験的に固定されているとしても、その方向は依然
として可変であるので、従来のオフラインキャリブレー
ションをここに適用することは困難である。そこで、カ
メラ方向の自動決定ユニット１３は、マッチ伝播の処理
に拘束条件を与えるために、カメラ方向を決定する。す
なわち、カメラ方向の自動決定ユニット１３は、ロバス
トマッチングユニット12からシードマッチの注目点リス
トを受けて、カメラシステムの方向を出力する。

【００３９】カメラ方向の自動決定ユニット１３の基本
的な概念について説明する。まず、全ての三視野内部
（inlier）マッチを用いて、三視野拘束t₁，・・・t₁₂
が最適に再計算される。後に使用するための三視野拘束
からの直接的なカメラ方向の引き戻しは、アフィンカメ
ラ（affine camera）の間題が、1D（一次元）射影カメ
ラの問題に分解可能であるされるという独自の観察に基
づいてなされる。

【００４０】当業者にとって、L．Quan and T．Kanade
"Affine structure from line correspondences with
uncalibrated affine cameras．"IEEE Transactions on
Pattern Analysis and Machine Intelligence，19
(8）：834−845，August1997に最初に導入された、良い
1D射影カメラのモデルが、通常のアフインカメラにとっ
て平面の無限遠に表れることは明らかである。全ての方
向の量が、平面上の無限遠に埋め込まれ(embedded）て
おり、したがって、1D射影カメラによりコード化されて
いる。1Dカメラは、その3焦点テンソルT_ijk（強い制約
条件の基になる）であって、T_ijkuⁱu^'ju^''k＝0であるよ
うなT_ijk により完全に定められている。

【００４１】上記観点から、本発明の実施の形態のカメ
ラ方向の決定手順は次のように定められる（図１３参
照）。 S11 2Dアフインカメラを、1D射影カメラに変換する。
テンソルの要素と三視野拘束成分（three-view constra
int components）の間で4（a−1）＋2（b−1）＋c→1に
より定義されるテンソル−ベクトル写像を用いることに
より、tiにより表わされるアフインカメラの三組（trip
let）を、T_abcにより表わされる1Dカメラの三組に変換
する。 S12 その上の極（エピポール：epipole）を取り出す。
1Dカメラのエピポールは、たとえば、ABS（T_jke₂）＝0
（ABSは絶対値記号）を、エピポールe₂およびe₃につい
て解くことによりテンソルから取り出すことができる。
他のエピポールは、同様に、マトリクスT_i・ｋe'₁を、
e'₁およびe'₃について因数分解（factorizing）し、か
つ、マトリクスT_・jke”₁を、e”₁およびe”₂について
因数分解することにより得ることができる。

【００４２】S13 カメラマトリクスM‘＝（H，h）およ
びM”＝（H'，h'）、並びに、カメラ中心ｃ、ｃ‘，お
よびc”を決定する。まず直接的にh＝e'₁およびh‘＝e
“₁とする。カメラマトリクスの相同部分は、T_ijk＝H_i ^j
h^k−h‘^jＨ'_i ^kから決定される。次いで、カメラ中心お
よび2D射影を復元することで、その核（カーネル）とし
てカメラマトリクスから決定され得る。 S14 射影構造を更新する。アフインカメラの既知のア
スヘクト比は、疑似画像面上の環状点（circular poin
t）の既知のものと等価である。平面上の無限遠での絶
対円錐（absolute conic）の双対（dual）は、各アフ
イン画像の環状点の視線（viewing rays）が、カメラ中
央を経て絶対円錐に接することを調べることにより、決
定することができる。

【００４３】S15 カメラ方向のパラメータを決定す
る。絶対円錐をその正規位置（canonicalposition）に
変形することは、全ての射影量を、その真の対応するユ
ークリッド量に変換することになる。ユークリッド空間
でのカメラ中央は、アフインカメラの方向を与え、か
つ、アフインエピポーラ幾何（affine epipolar geomet
ry）は、その上の極（epipoles）から推定される。

【００４４】4. 幾何的拘束によるマッチ伝播器（Const
raint match propagation unit）次に、三つの画像中の
マッチの最大数を予測するための、幾何的拘束によるマ
ッチ伝播器14について説明する。このユニット14は、カ
メラ方向の自動決定器13からシードマッチの注目点リス
トおよびカメラ方向パラメータを受けて、三つの画像の
稠密なマッチング（dense matching）を出力する。

【００４５】初期シードマッチが得られた後、この初期
シードマッチからマッチ伝播の中心のアイデアがくる。
このアイデアは、ピクセル均一性に基づく画像セグメン
テーションのための古典的な領域成長方法に類似する。
この発明の実施の形態において、領域成長がマッチ成長
に適用され、均一性の性質に代えて相関スコアに基づく
類似測度が利用される。伝播による領域拡大は、テクス
チヤの局所最大値をシードマッチさせる方向で行われ、
強いテクスチヤを有するが局所最大ではないその近傍ま
で拡張され得る。

【００４６】全ての初期シードマッチは、同時に伝播を
開始する。各ステップで、最大のZNCCスコアをもつマッ
チ（a，A）が、シードマッチの現在の組から除去される
（図１２のS21）。次いで、その“マッチの近傍”にお
ける新たなマッチを見出すと同時に、全ての新たなマッ
チが、構成中の、現在のシードの組と受け入れられたマ
ッチの組に加えられる（S22）。画素aおよびAの近傍
は、aおよびAを中心とする5×5のウィンドウ内の全ての
画素をとり、マッチング結果の連続的な拘束を保証す
る。第1の画像中の近傍画素の各々に対して、第2の画像
中の対応する位置の近傍中の3×3のウィンドウの全ての
画素からなる仮のマッチ候補のリストが構築される。し
たがって、画素の輝度変化の制限は、1画素を超えな
い。この伝播処置は、第1の画像から第2の画像、およ
び、第1の画像から第3の画像で同時に実行され、各画像
の対の間のカメラ方向によって、この伝播は拘束され
る。カメラ系の幾何的拘束を満足するもののみが伝播さ
れる。さらに、これら二つの同次伝播は、カメラ系の三
視野拘束を満足するもののみが保持される

【００４７】マッチングの一致性の拘束（unicity cons
traint）および処理の終了は、新たなマッチが受け入れ
られない時に発生する。マッチングを行う探索範囲は各
画素に対して減じられるため、ZNCCのために小さな5×5
のウィンドウが用いられ、したがって、小規模な幾何的
変形は許される。

【００４８】悪い伝播のリスクは、全てのマッチしたシ
ード点にわたる全ての最良の最初の計画をも壊す恐れが
あるため、細心の注意が必要である。シードを選択する
ステップは、相関を用いて注目点のマッチングをなす現
存する多くの手法とは違う。すなわち、伝播は、最大の
ものをとるというよりも、むしろ、最も信頼できるもの
を求めているに過ぎない。これにより、この発明の実施
の形態のアルゴリズムは、初期的なマッチにおいて良好
でないシードの存在にさらされるおそれが小さい。極端
な場合には、興味点の一つの良好なマッチのみが、全て
のテクスチヤ化された画像へと広がる事も有り得る。

【００４９】5. リサンプリングユニット（Re-sampling
unit）次に、リサンプリングユニット15について説明する。マ
ッチ伝播器14により得られた稠密マッチングは、依然と
して、間違いもあり不揃いである。リサンプリングユニ
ット15は、マッチングマップを正則化するとともに、更
なる処理のためにより効果的な画像表現を提供する。リ
サンプリングユニット15は、マッチ伝播器14から三つの
画像の稠密マッチングを受けて、リサンプリングされた
三眼マッチのリストを出力する。

【００５０】第１の画像は、二つの異なるスケールであ
る8×8および16×16の正方形グリッドによるパッチに細
分される。パッチの各々に対して、稠密マッチングから
正方形の全てのマッチした点が取得される。これらは、
正方形のこれらマッチした点u_i←→u‘_iに仮に適合され
て、潜在的なパッチが見出される。P²中のホモグラフイ
ーは、射影面の間の射影変換であり、λ_iｕ‘_i＝Hu_ｉで
あるような、同次的（homogeneous）な3×3の特異でな
いマトリクスにより表わされる。ここに、uおよびu
‘は、同次的な座標（homogeneous coordinates）にお
いて表される。テクスチヤ化された細片は、作られたオ
ブジェクトを除きほとんど完全な平面ではないため、パ
ッチに対する推定上のホモグラフィーは、通常の最小自
乗法により推定されない。ロバスト方法が用いられなけ
ればならない。これは、正方形のパッチのマッチした点
のいくつかが共通の平面上（多数はこの上にあるが）に
実際には存在しないときでも、ホモグラフィーの信頼で
きる評価を行うことができる。ホモグラフイーに対する
一致が75％に達した場合には、正方形のパッチは平面と
考えられる。第2の画像および第3の画像中の対応するパ
ッチの境界は、第1の画像中のパッチの四隅を、評価さ
れたホモグラフイーHに射影（マッピング）することに
より定義される。このようにして、三つの画像中の対応
するパッチが得られる。

【００５１】パッチをホモグラフイーに適合させる処理
は、まず、より大きなスケールからより小さなスケール
まで、最初の画像の全てのパッチに対して繰り返され、
最終的に、結果として、全てのホモグラフイーにマッチ
した平面パッチとなる。

【００５２】6. 三視線連結三角形分割ユニット（Three
view joint triangulation unit）次に、三視野連結トライアンギュレーション（三角形分
割）ユニット16について説明する。画像の補間は、専
ら、深さ情報のない画像の内容に依拠し、可視性の変化
およびオクルージョンの影響を受けやすい。三視野連結
トライアンギュレーションは、本質的には、可視性の問
題を扱うようにデザインされている。三視野連結トライ
アンギュレーション（三角形分割）ユニット16は、リサ
ンプリングされた三眼マッチを受けて、三視野連結トラ
イアンギュレーション（三角形分割）を出力する。各画
像のトライアンギュレーション（三角形分割）は、その
最小の粗さの特性（minimal roughness property）の
ため、デロネ（Delaunay）である。デロネトライアンギ
ュレーション（三角形分割）は、マッチした領域をマッ
チしていないものから分離したいときに、必然的に拘束
される。画像のマッチしたパッチの連結された成分の境
界は、全ての画像中に現れねばならず、したがって、こ
れら境界は、各デロネトライアンギュレーション（三角
形分割）に対する拘束となる。

【００５３】三視野連結トライアンギュレーション（三
角形分割）は、以下のものとして定義される。・三つの画像中に1対1の頂点の対応がある。・拘束エッジ（constraint edge）は、三つの画像中の
マッチした領域の連結された成分の境界エッジである。・三つの画像中に、1対1の拘束エッジの対応がある。・各画像において、トライアンギュレーションは、拘束
エッジによる拘束されたデロネトライアングルである。三視野連結トライアンギュレーションを実行するために
グリーディー型（greedy-type）のアルゴリズムを選択
することが自然である。

【００５４】7. 視野補間ユニット（View interpolatio
n unit）次に、視野補間ユニット17について説明する。視野補間
ユニット17により、任意の中間的な画像、例えば、第1
のカメラと第2のカメラの中間の位置から見た画像を得
ることができる。中間的な任意の画像は、元の三つの画
像から生成することができる。視野補間ユニット17は、
三視野連結トライアンギュレーション（三角形分割）の
結果を受けて、α＋β＋γ＝1であるようなα、βおよ
びγをパラメータとする任意の中間画像I（α，β，
γ）を出力する。

【００５５】視野補間処理は次の手順で行われる．。 1．まず、三つの画像から結果として得られる三角形の
位置が補間される。 2．個々の三角形の各々が新たな位置にゆがめられ（ワ
ープされ）、また、歪みの重みが、ワープされた三角形
に割り当てられる。 3．全画像の各々は、そのトライアンギュレーションか
らワープされる。深さの情報がないため、各三角形に対
するワーープの順序は、最大の移動量（disparity）の
ものから演繹的になされ、Paiter法のように、生成され
た画像の同じ位置に写像される任意の画素が、後ろ前の
順序で到達することが予想される。全てのマッチしてい
ない三角形には最も小さい移動量が割り当てられ、これ
らは、任意のマッチした三角形の前に、ワープされる。 4．最終的なピクセルの色が、3つの重みづけされワープ
された画像を混合することにより得られる。

【００５６】なお、三つの画像からフェイシヤル画像を
生成するために開発された同様のアイデアは、プロセッ
シングユニットを合理的に変更することにより、二つの
画像或いはN個の画像にも拡張することができる。顔の
画像以外の他の物体も、同様の手順で処理することがで
きる。

【００５７】シーナリイメージジェネレータ前述のようにシーナリイメージジェネレータは、さはど
高い測定精度を必要としない。したがって、2つ以上の
画像に基づき処理することが可能である。以下、2つの
視野に基づき処理を行う二視野ユニットと、3つの視野
に基づき処理を行う三視野ユニットについて説明する。

【００５８】A．二視野ユニット図１３は、二視野ユニットのシステムアーキテクチャの
概要を示す。 1. 特徴点検出器（Feature point detection unit）特徴点検出器20a，20bは、それぞれ画像を受けて、特徴
点のリストを出力する。これらのユニットは、個々の画
像の各々に対して独立して適用される。 2. 二視野シード発見ユニット（Binocular seed findin
g unit）二視野シード発見ユニットは、信頼できる初期的なマッ
チの集合を見出す。二視野シード発見ユニットは、注目
点の二つのリストを受けて、シードマッチと称される二
視野マッチの注目点リストを出力する。このユニットは
二つの部分からなる。一つは、仮の二視野マッチの注目
点リストを確立する相関ユニット21であり、もう一つ
は、基本マトリクスによりコード化された二視線の幾何
的拘束に適用されるロバスト法を用いて、信頼できるシ
ードマッチの注目点リストを完成させるロバストマッチ
ングユニット22である。

【００５９】3. 幾何的拘束によるマッチ伝播器（Const
raint match propagation unit） 23は、二つの画像中のマッチの最大数を予測する。幾何
的拘束によるマッチ伝播器23は、シードマッチのリスト
を受けて、二つの画像の稠密なマッチングを出力する。
M．Lhuillier and L．Quan "Image interpolation by j
oint view triangulation", Proceedings of the Confe
rence on Computer Vision and Pattern Recognition，
Fort Collins，Colorado，U．S．A，1999を参照しつつ
説明する。Mを現在のマッチした点のリストとし、Bを現
在のシードのリストであるとする。明らかに、リストB
はSに初期化され、Mは空のリストに初期化される。

【００６０】各ステップにおいて、シードマッチBの組
から最良のマッチm←→m'が引かれる(pull)。次いで、m
およびm'の近傍中の付加的なマッチが見出される。mの
近傍は、mを中心とする5×5のウィンドウ中の全ての画
素をとる。第1の画像の近傍のピクセルの各々に対し
て、第2の画像中に、仮のマッチ候補のリストが構築さ
れる。このリストは、第2の画像中の対応する位置の近
傍における3×3の全ての画素から構成される。マッチン
グの基準c（ｘ，ｘ'）は、上で定義された相関である
が、ひとつの5×5のウィンドウ内に収まったものであ
る。最終的に、mおよびm'の近傍における付加的なマッ
チが、マッチリストMおよびシードマッチリストBに同時
に加えられ、一致性の拘束（unicity constraint）が保
存される。シードマッチリストBが空になるとアルゴリ
ズムが終了する。このアルゴリズムは、マッチした点の
領域のシード画素Bのためのヒープデータ構造により実
行され得る。

【００６１】4. リサンプリングユニット（Re-sampling
unit）稠密マッチングの出力には、依然として多少の誤りが含
まれるとともに、不揃いである。リサンプリングユニッ
ト24は、マッチングマップを正則化するとともに、更な
る処理のためにより効果的な画像表現を提供する。リサ
ンプリングユニット24は、2つの画像の稠密マッチング
を受けて、リサンプリングされた二視野マッチのリスト
を出力する。前記参考文献を参照して説明する。総当り
的な疑似稠密マッチング結果は、依然として、間違って
おりかつ不揃いであり得る。我々は、風景（scenes）上
に硬直拘束（rigidity constraint）を持っていない
が、風景の面が少なくともある程度は平滑であると仮定
する。したがって、基本マトリクス或いは三焦点のテン
ソルによりコード化された大局的な幾何的拘束を使用す
るかわりに、平面ホモグラフイーによりコード化された
局所的幾何的拘束を用いることができる。疑似稠密マッ
チングは、局所的に適合するパッチにより生かされる。
マッチされたパッチは以下のように記述される。

【００６２】第1の画像は、二つの異なるスケールであ
る8×8および16×16の正方形グリッドによるパッチに細
分される。パッチの各々に対して、疑似稠密マッチング
のマップから全ての正方形のマッチした点が取得され
る。平面ホモグラフイーHは、正方形のこれらマッチし
た点u _i←→u‘_iに仮に適合されて、潜在的なパッチが見
出される。P²中のホモグラフイーは、射影面の間の射影
変換であり、λ_ｉｕ‘_ｉ＝Hu_iであるような、同次的（h
omogeneous）な3×3の特異でないマトリクスにより表わ
される。ここに、uおよびu‘は、同次座標（homogeneou
s coordinates）において表される。マッチされた点の
対の各々は、マトリクス成分h_ij中の同次的な一次方程
式を与える。ホモグラフイーマトリクスの9つの成分
は、8つについてのみ、スケールまで順にカウントす
る。したがって、そのうちの三つが同一直線状にない、
四つのマッチされた点が、Hを評価するのに十分なもの
となる。テクスチヤ化されたパッチは、作られたオブジ
ェクト（manufactured object）を除きほとんど完全な
平面にならないため、パッチに対する推定上のホモグラ
フイーは、通常の最小自乗法により評価されることがで
きない。正方形のパッチ（square patch）のマッチした
ポイントのいくつかが共通平面、多数はこの平面上に載
っている、の上に実際には載っていないときであって
も、ホモグラフィーを高い信頼性で評価できる強い方法
（Robust method）が適用されなければならない。Fisch
lerおよびBollesによりもともと導入されたランダムサ
ンプルコンセンサス（RANSAC）法が、ホモグラフイーの
ロバスト評価のために利用される。

【００６３】ホモグラフイーに対する一致が75％に達し
た場合には、パッチは平面と考えられる。対応するパッ
チの境界は、第1の画像中のパッチの四隅を、評価され
たホモグラフイーHに射影（マッピング）することによ
り定義される。このようにして、二つの画像中の対応す
るパッチが得られる。

【００６４】パッチをホモグラフイーにフィットさせる
処理は、最初に、より大きなスケールからより小さなス
ケールまで、第1の画像の全てのパッチに対して繰り返
され、その結果、全てのマッチした平面パッチとなる。
このように構築されたパッチは、第2の画像にオーバー
ラップする場合がある。オーバーラップしたパッチの数
を減じるために（問題を解決するものではないが）、隣
接するパッチのコーナーは、十分に隣接しているなら
ば、共通のものに一致させられる。各パッチは、その対
角線の一つに沿って、さらに処理されるために二つの三
角形に細分される。

【００６５】5. 二視野トライアンギュレーションユニ
ット（Two view joint triangulationunit）画像の補間は、専ら、深さ情報のない画像の内容に依存
し、可視性の変化およびオクルージョンの影響を受けや
すい。三視野ジョイントトライアンギュレーションは、
本質的には、可視性の間題を扱うようにデザインされて
いる。二視野トライアンギュレーションユニット25は、
リサンプリングされた二視野マッチを受けて、連結二視
野トライアンギュレーションの結果を出力する。画像の
補間は、専ら、深さ情報のない画像の内容に依拠してい
るため、可視性の変化の影響を受けやすい。ここで、我
々は、複数ビューの表示を提案し、可視性の問題を取り
扱う。この表示方法は、いかなる3D入力データを用いる
ことなく二つの画像を同時かつ矛盾なく（矛盾がないこ
とがすぐに明らかになる）トライアンギュレーション
（三角形分割）を行う、我々がjoint view triangulati
onと呼ぶものである。トライアンギュレーションは、個
々の画像および距離のデータを表示かつ再構築するのに
十分にパワフルなツールであることが証明されている。

【００６６】各画像のトライアンギュレーションは、そ
の最小の粗さの特性のため、デロネ（Delaunay）であ
る。デロネトライアンギュレーションは、マッチした領
域をマッチしていないものから分離したいときに、必然
的に拘束される。画像のマッチしたパッチの連結された
成分の境界は、全ての画像中に現れねばならず、したが
って、これら境界は、各デロネトライアンギュレーショ
ンに対する拘束となる。

【００６７】ジョイントトライアンギュレーションのた
めの非矛盾性により、画像の頂点の間に1対1の対応が存
在し、かつ、マッチされた領域の拘束されたエッジすな
わち領域の境界の間に1対1の対応が存在する。

【００６８】要約すると、二つのビューのためのジョイ
ントトライアンギュレーションは、以下の特性を有して
いる。1．二つの画像において1対1に頂点が対応するこ
と。2．二つの画像において、1対1に拘束されたエッジ
が対応すること。拘束エッジは、二つの画像においてマ
ッチされた領域の連結された成分の境界エッジである。
3．各画像のトライアンギュレーションは、拘束エッジ
による拘束されたデロネ（Delaunay）である。

【００６９】ジョイントトライアンギュレーションのた
めのグリーデイ法（greedy method）は、自然な選択で
ある。そのアルゴリズムは、簡単に説明すると以下のよ
うなものである。

【００７０】・ジョイントビュートライアンギュレーシ
ョンは、各画像中の二つの三角形から開始する。・次いで、マッチされた平面三角形の各々が、各トライ
アンギュレーションに増分として挿入される。この挿入
は、列ごとにグリッドの上から下まで順番に実行され
る。それぞれの列に対して、実行を容易にすること及び
ロバスト性のために２つのパスのアルゴリズムが用いら
れる。

【００７１】第1のパスは、左から右まで全てのパッチ
を検査することからなる。第2の画像の三角形が、現在
のマッチされた領域の何れも横切っていない場合には、
その頂点は、拘束されたトライアンギュレーションのた
めた画像平面に挿入される。次に、新たに追加された三
角形がマッチされた領域の何れかに連結される場合に
は、マッチされた領域の各々の多角形状の境界が再計算
される。三角形が境界の多角形と共通のエッジを共有す
る場合には、当該三角形は、多角形にて輪郭が描かれる
マッチされた領域に連結される。

【００７２】現在の列のための第2のパスは、望ましく
ないマッチされていない穴を埋めるために必要である。
この穴は、上記データ構造のトポロジー的な制限による
第1のパス中に生成され得る。

【００７３】・完了ステップ。このポイントに、矛盾な
い（consistent）ジョイントトライアンギュレーション
が得られる。我々は、マッチされていない三角形の各々
がアフイン変換に適合し得るかどうかをさらにチェック
することにより、構造を改良している。マッチされてい
ない三角形が、アフイン変換にフィットすることに成功
した場合には、ジョイントトライアンギュレーションに
おいて、マッチされていなかったものがマッチされたも
のに変化する。

【００７４】6. 視野補間ユニット（View interpolatio
n unit）任意の数の中間的な新たな画像は、元の三つの画像から
生成され得る。視野補間ユニット26は、二視野トライア
ンギュレーションの結果を受けて、λをパラメータとす
る任意の中間画像I（λ）を出力する。

【００７５】二つの元々の画像を補間することにより全
ての中間画像を生成する方法につき説明を加える。すべ
ての中間画像I（λ）は、λ∈［0，1］によりパラメー
タ化され、かつ、二つの元々の画像の形状補間とテクス
チヤブリーディングにより得られる。二つの元々の画像
は、補間パスの終点、つまりI（０）＝IおよびI（１）
＝I‘である。

【００７６】3ステップのアルゴリズムは以下のとおり
である。・個々の三角形をワープする。まず、位置は、以下のよ
うに、三角形u←→u'の各頂点ごとに補間される。 u“（λ）＝（1−λ）ｕ＋λu′ かつ、重みωが、ワープされた三角形の各々に割り当て
られ、ワープされた三角形の変形を測る。この重みω
は、１により有界な第1の画像w．r．t．第2の画像の三
角形表面の比率γに比例する。すなわち、第1の画像の
三角形に対してω＝min（1，γ）であり、第2の画像の
三角形に対してω'＝min（1，1／γ）である。

【００７７】・全体の画像をワープする。パッチのオク
ルージョン問題を適切に取り扱うために、我々は、Zバ
ッファアルゴリズム或いはペインター法（Painter's m
ethod）を用いることができる。ペインター法では、探
さの情報が有用であるときに画素が後ろから前に向う順
序でソートされる。深さの情報が存在しない場合、生成
された画像において同じ位置に写像（マッピング）され
た任意の画素が、ペインター法のように、後ろから前に
向う順序で到達することが期待できるように、各パッチ
ごとのワープの順序は、最大の移動量（disparity）か
ら推論される。

【００７８】もともとの画像IおよびI‘の全ての三角形
のパッチは、マッチされたものに続くマッチされていな
いものをまずワープすることにより、I^およびI'^上に
ワープされる。その頂点が画像のコーナーである三角形
は考慮されない。

【００７９】第一に、全てのマッチされていない三角形
は、元々の画像のオクルージョンにより引き起こされた
穴を含むときに、I^およびI'^上にワープされる。より
正確には、マッチされた領域およびマッチされていない
領域を連結する小さなマッチされていない三角形が、他
のマッチされていない三角形の前にワープされる。これ
は、これら三角形が、異なる物体よりはそれらしいから
である。

【００８０】第二に、マッチされた三角形が、発見的順
序（heuristic order）でワープされる。これは、三角
形の最大置換（maximum displacement）の降順である。

【００８１】・色彩補間最終的な画素の色彩は、二つの重み付けされワープされ
た画像I^およびI'^を混合（bleeding）することにより
得られる。

【数３】

【００８２】B．三視野ユニット三視野ユニットについて、図１４を参照して説明する。
図１４の装置は、図１０の装置と類似するが、図１０の
カメラ方向の自動決定器13を備えない点で相違する。特
徴点検出ユニット30、相関ユニット31、幾何的拘束によ
るマッチ伝播器33、リサンプリングユニット34、三視野
連結トライアンギュレーション（三角形分割）ユニット
35及び視野補間ユニット36は、前述のものと同様である
ので、その説明は省略する。

【００８３】ロバストマッチングユニット32は、潜在的
な三眼マッチの注目点リストを受けて、信頼できるシー
ド三眼マッチの注目点リストを出力する。三つの画像中
の7或いは8個のランダムサンプリングによる三眼マッチ
に基づいて基本マトリクスおよび三焦点テンソルにより
コード化された三視線マッチング拘束の全成分が推定さ
れ、三眼マッチしないものが除去される。

【００８４】以上、詳細に説明したように、共通の対象
物が表された複数の画像から、これら画像に共通する特
徴点の対応関係を得ることができる。また、この対応関
係に基づき、対象物の三次元形状を得ることができる。
特に、3つのカメラを用いたときは、これらカメラ位置
・方向の制約条件下で精度良く処理を行うことができ
る。この処理により、モーフイング処理が自動化できる
とともに、所定の視野から見た対象物の画像を容易に生
成することができる。この発明の実施の形態の装置／方
法は、いわゆるコンピュータビジョンに広く適用するこ
とができる。

【００８５】本明細書において、手段とは必ずしも物理
的手段を意味するものではなく、各手段の機能が、ソフ
トウェアによって実現される場合も包含する。さらに、
一つの手段の機能が、二つ以上の物理的手段により実現
されても、若しくは、二つ以上の手段の機能が、一つの
物理的手段により実現されてもよい。

【００８６】本発明は、以上の実施の形態に限定される
ことなく、特許請求の範囲に記載された発明の範囲内
で、種々の変更が可能であり、それらも本発明の範囲内
に包含されるものであることは言うまでもない。

【図面の簡単な説明】

【図１】この発明の実施の形態に係る画像生成装置の
処理の概略を示すフローチャートである。

【図２】この発明の実施の形態に係る画像生成装置
（フェイシャルイメージジェネレータ）の概略の構成を
示す図である。

【図３】この発明の実施の形態に係る画像生成装置の
動作原理の説明図である。

【図４】この発明の実施の形態に係る画像生成装置の
動作原理の説明図である。

【図５】この発明の実施の形態に係る画像生成装置の
外観図である。

【図６】この発明の実施の形態に係る画像生成装置の
動作原理の説明図である。

【図７】この発明の実施の形態に係る画像生成装置の
動作原理の説明図である。

【図８】この発明の実施の形態に係る他の画像生成装
置の動作原理の説明図である。

【図９】この発明の実施の形態に係る画像生成装置
（シーナリージェネレータ）の概略の構成を示す図であ
る。

【図１０】この発明の実施の形態に係る画像生成装置
の概略ブロック図である。

【図１１】この発明の実施の形態に係る画像生成装置
のカメラ方向の決定手順の概略を示すフローチャートで
ある。

【図１２】この発明の実施の形態に係る画像生成装置
のマッチ伝播順の概略を示すフローチャートである。

【図１３】この発明の実施の形態に係る他の画像生成
装置の概略ブロック図である。

【図１４】この発明の実施の形態に係る他の画像生成
装置の概略ブロック図である。

【図１５】モーフイングの原理の説明図である。

【図１６】オクルージョンの説明図である。

【図１７】エピポーラジオメトリの説明図である。

【符号の説明】

１カメラ２正面画像生成部２ａ対応点検索部２ｂ三次元形状認識部２ｃ幾何学的計算部３信号処理部（パソコン）４ＬＣＤ５外部記憶装置６ポインティングデバイス７通信手段１０、２０、３０特徴点検出器１１、２１、３１相関ユニット１２、２２、３２ロバストマッチングユニット１３カメラ方向の自動決定器１４、２３、３３幾何的拘束によるマッチ伝播器１５、２４、３４リサンプリングユニット１６、３５三視線連結三角形分割ユニット１７、２６、３６視野補間ユニット２５二視線連結三角形分割ユニット

【手続補正書】

【提出日】平成１２年９月１日（２０００．９．１）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】発明の名称

【補正方法】変更

【補正内容】

【発明の名称】異なる視点からの複数のフェイシャル
画像に基づき新たな視点からのフェイシャル画像を生成
するフェイシャル画像生成装置及び方法並びにその応用
装置及び記録媒体

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

───────────────────────────────────────────────────── フロントページの続き (72)発明者宮沢丈夫東京都三鷹市下連雀４−12−３プレステージＳ＆Ｔ：Ｗ２

Claims

【特許請求の範囲】

【請求項１】複数の画像に基づき新たな画像を生成す
る画像生成装置であって、第１画像を受けてこの画像から特徴点を抽出する第１特
徴点抽出部と、第２画像を受けてこの画像から特徴点を抽出する第２特
徴点抽出部と、第３画像を受けてこの画像から特徴点を抽出する第３特
徴点抽出部と、前記第１特徴点抽出部及び前記第２特徴点抽出部から信
号を受けて前記第１画像の特徴点と前記第２画像の特徴
点の間の相関を求める第１相関演算部と、前記第２特徴点抽出部及び前記第３特徴点抽出部から信
号を受けて前記第２画像の特徴点と前記第３画像の特徴
点の間の相関を求める第２相関演算部と、前記第１相関演算部及び前記第２相関演算部から信号を
受けて、複数の視点から見た画像であるという条件の下
で、前記特徴点の組み合わせのうちで可能性の低いもの
を除去するロバストマッチング部と、前記複数の視点の位置及び視線の方向を求めるカメラ方
向決定部と、前記ロバストマッチング部からシードマッチの注目点リ
ストを受けるとともに、前記カメラ方向決定部からカメ
ラ方向パラメータを受けて、第１乃至第３画像のマッチ
ングを出力するマッチ伝播部と、前記マッチ伝播部により得られたマッチングを正則化し
て三眼マッチのリストを出力するリサンプリング部と、前記リサンプリング部により得られた三眼マッチのリス
トを受けて三視野連結三角形分割を出力する三視野連結
三角形分割部と、前記三視野連結三角形分割に基づき別の視点から見た画
像を生成する視野補間部とを備え、前記第１画像乃至第３画像は互いに異なる視点からの画
像である画像生成装置。
【請求項２】前記相関演算部は、対比する２つの画像
それぞれについてある点ｘを中心する所定範囲の画素の
輝度の平均値I^（ｘ）およびI^'（ｘ）を求め、前記２
つの画像の画素の輝度I（ｘ）およびI'（ｘ）からそれ
ぞれに対応する前記輝度の平均値I^（ｘ）およびI^'
（ｘ）を減算し、これらの相互相関を求めて得られるゼ
ロ平均正規化相互相関（zero-mean normalized cross-c
orrelation）測度に基づき対応関係を求めることを特徴
とする請求項１記載の画像生成装置。
【請求項３】前記ロバストマッチング部は、同一の対
象を複数のカメラが撮影して異なる視野からの少なくと
も3つの画像が得られたとき、これら画像それぞれにお
けるその対象の同一の点の位置は、その対象物の位置及
びカメラ位置とカメラ方向から一意に定められるという
三視野拘束の条件に基づき、統計学的に処理することを
特徴とする請求項１記載の画像生成装置。
【請求項４】前記カメラ方向決定部は、二次元アフイ
ンカメラを一次元射影カメラに変換し、前記一次元射影
カメラのエピポールを取り出し、カメラマトリクス並び
にカメラ中心を決定し、射影構造を更新し、カメラ方向
のパラメータを決定することにより、カメラ方向を決定
することを特徴とする請求項１記載の画像生成装置。
【請求項５】前記マッチ伝播部は、初期シードマッチ
のうちで最良のゼロ平均正規化相互相関スコアをもつも
のを除去し、そのマッチの近傍における新たなマッチを
見出すと同時に、新たなマッチを、構成中の、現在のシ
ードの組と受け入れられたマッチの組に加えることを特
徴とする請求項１記載の画像生成装置。
【請求項６】リサンプリング部は、第１画像を異なる
スケールの複数の正方形のパッチに細分し、これらパッ
チの各々に対して前記マッチ伝播部からの稠密マッチン
グに基づき前記正方形の全てのマッチした点を取得し、
正方形のマッチした点に適合して潜在的なパッチを見出
し、第2画像および第3画像中の対応するパッチの境界
を、第1画像中のパッチの四隅を評価されたホモグラフ
イーにマッピングすることにより定義することを特徴と
する請求項１記載の画像生成装置。
【請求項７】前記三視野連結三角形分割部は、画像の
マッチしたパッチの連結された成分の境界は、全ての画
像中に現れなければならないという拘束条件の下で、デ
ロネ三角形分割を行うことを特徴とする請求項１記載の
画像生成装置。
【請求項８】前記三視野連結三角形分割部は、（１）
三つの画像中に1対1の頂点の対応がある、（２）拘束エ
ッジは三つの画像中のマッチした領域の連結された成分
の境界エッジである、（３）三つの画像中に、1対1の拘
束エッジの対応がある、及び、（４）各画像において、
三角形分割は拘束エッジによる拘束されたデロネ三角形
である、という条件の下で三角形分割を行うことを特徴
とする請求項１記載の画像生成装置。
【請求項９】前記視野補間部は、三つの画像から結果として得られる三角形の位置を補間
し、個々の三角形の各々を新たな位置にゆがめて置くととも
に、歪みの重みをゆがめられた三角形に割り当て、マッチの程度に応じて三角形に移動量を割り当てるとと
もに、大きな移動量のものから順番に画像の各々をその
三角形分割からゆがめ、重みづけされゆがめられた複数の画像を混合することに
より、ピクセルの色を生成することを特徴とする請求項
１記載の画像生成装置。
【請求項１０】複数の画像に基づき新たな画像を生成
する画像生成装置であって、第１画像を受けてこの画像から特徴点を抽出する第１特
徴点抽出部と、第２画像を受けてこの画像から特徴点を抽出する第２特
徴点抽出部と、前記第１特徴点抽出部及び前記第２特徴点抽出部から信
号を受けて前記第１画像の特徴点と前記第２画像の特徴
点の間の相関を求める相関演算部と、前記相関演算部から信号を受けて、複数の視点から見た
画像であるという条件の下で、前記特徴点の組み合わせ
のうちで可能性の低いものを除去するロバストマッチン
グ部と、前記ロバストマッチング部からシードマッチの注目点リ
ストを受けて、第１及び第２画像のマッチングを出力す
るマッチ伝播部と、前記マッチ伝播部により得られたマッチングを正則化し
て二眼マッチのリストを出力するリサンプリング部と、前記リサンプリング部により得られた二眼マッチのリス
トを受けて二視野連結三角形分割を出力する二視野連結
三角形分割部と、前記二視野連結三角形分割に基づき別の視点から見た画
像を生成する視野補間部とを備え、前記第１画像及び第２画像は互いに異なる視点からの画
像である画像生成装置。
【請求項１１】前記マッチ伝播部は、初期シードマッ
チのうちで最良のゼロ平均正規化相互相関スコアをもつ
ものを除去し、そのマッチの近傍における新たなマッチ
を見出すと同時に、新たなマッチを、構成中の、現在の
シードの組と受け入れられたマッチの組に加えることを
特徴とする請求項１０記載の画像生成装置。
【請求項１２】前記リサンプリング部は、風景の面が
少なくともある程度は平滑であるという仮定の下で、平
面ホモグラフイーによりコード化された局所的幾何的拘
束を用いることによりマッチングを正則化することを特
徴とする請求項１０記載の画像生成装置。
【請求項１３】前記リサンプリング部は、前記第１画
像を異なるスケールの複数の正方形のパッチに細分し、
これらパッチの各々に対して前記マッチ伝播部からの稠
密マッチングに基づき前記正方形の全てのマッチした点
を取得し、これらを正方形のマッチした点に適合して潜
在的なパッチを見出し、パッチに対する推定上のホモグ
ラフィーをランダムサンプルコンセンサス（RANSAC）法
を含むロバスト評価方法により推定し、前記第2画像の
対応するパッチの境界を、前記第1画像中のパッチの四
隅を評価されたホモグラフイーにマッピングすることに
より定義することを特徴とする請求項１０記載の画像生
成装置。
【請求項１４】前記二視野連結三角形分割部は、画像
のマッチしたパッチの連結された成分の境界は、全ての
画像中に現れなければならないという拘束条件の下で、
デロネ三角形分割を行うことを特徴とする請求項１０記
載の画像生成装置。
【請求項１５】前記二視野連結三角形分割部は、
（１）二つの画像中に1対1の頂点の対応がある、（２）
二つの画像中に、1対1の拘束エッジの対応がある、及
び、（３）各画像において、三角形分割は拘束エッジに
よる拘束されたデロネ三角形である、という条件の下で
三角形分割を行うことを特徴とする請求項１０記載の画
像生成装置。
【請求項１６】前記視野補間部は、個々の三角形の各々を新たな位置にゆがめて置くととも
に、歪みの重みをゆがめられた三角形に割り当て、マッチの程度に応じて三角形に移動量を割り当てるとと
もに、大きな移動量のものから順番に画像の各々をその
三角形分割からゆがめ、二つの重み付けされワープされた画像I^およびI’^を混
合することにより、ピクセルの色を生成することを特徴
とする請求項１０記載の画像生成装置。
【請求項１７】複数の画像に基づき新たな画像を生成
する画像生成装置であって、第１画像を受けてこの画像から特徴点を抽出する第１特
徴点抽出部と、第２画像を受けてこの画像から特徴点を抽出する第２特
徴点抽出部と、第３画像を受けてこの画像から特徴点を抽出する第３特
徴点抽出部と、前記第１特徴点抽出部及び前記第２特徴点抽出部から信
号を受けて前記第１画像の特徴点と前記第２画像の特徴
点の間の相関を求める第１相関演算部と、前記第２特徴点抽出部及び前記第３特徴点抽出部から信
号を受けて前記第２画像の特徴点と前記第３画像の特徴
点の間の相関を求める第２相関演算部と、前記第１相関演算部及び前記第２相関演算部から信号を
受けて、複数の視点から見た画像であるという条件の下
で、前記特徴点の組み合わせのうちで可能性の低いもの
を除去するロバストマッチング部と、前記ロバストマッチング部からシードマッチの注目点リ
ストを受けて、第１乃至第３画像のマッチングを出力す
るマッチ伝播部と、前記マッチ伝播部により得られたマッチングを正則化し
て三眼マッチのリストを出力するリサンプリング部と、前記リサンプリング部により得られた三眼マッチのリス
トを受けて三視野連結三角形分割を出力する三視野連結
三角形分割部と、前記三視野連結三角形分割に基づき別の視点から見た画
像を生成する視野補間部とを備え、前記第１画像乃至第３画像は互いに異なる視点からの画
像である画像生成装置。
【請求項１８】異なる視点から見た対象物の画像をそ
れぞれ得るための複数の撮像装置と、前記複数の撮像装
置により得られた複数の画像に基づき与えられた視点か
ら前記対象物を見た二次元画像を生成するフェイシャル
画像生成部と、前記フェイシャル画像生成部の出力を受
けて所定の信号処理を行う信号処理部と、前記信号処理
部の出力に基づき画像を表示する表示装置とを備えるフ
ェイシャルイメージジェネレータであって、前記フェイシャル画像生成部は、前記複数の撮像装置から複数の画像を受けてこれら画像
から特徴点を抽出する複数の特徴点抽出部と、前記複数の特徴点抽出部から信号を受けて前記複数の画
像の特徴点の間の相関を求める相関演算部と、前記相関演算部から信号を受けて、前記複数の視点から
見た画像であるという条件の下で、前記特徴点の組み合
わせのうちで可能性の低いものを除去するロバストマッ
チング部と、前記複数の視点の位置及び視線の方向を求めるカメラ方
向決定部と、前記ロバストマッチング部からシードマッチの注目点リ
ストを受けるとともに、前記カメラ方向決定部からカメ
ラ方向パラメータを受けて、前記複数の画像のマッチン
グを出力するマッチ伝播部と、前記マッチ伝播部により得られたマッチングを正則化し
て三眼マッチのリストを出力するリサンプリング部と、前記リサンプリング部により得られた三眼マッチのリス
トを受けて三視野連結三角形分割を出力する三視野連結
三角形分割部と、前記三視野連結三角形分割に基づき別の視点から見た画
像を生成する視野補間部と、前記表示装置の周辺に前記複数の撮像装置が設けられ、
前記表示装置の前に前記対象物が置かれたときに、前記
表示装置から見た前記対象物の正面画像を生成し、前記
表示装置に前記対象物の鏡像を表示させる正面画像生成
部とを備えるフェイシャルイメージジェネレータ。
【請求項１９】異なる視点から見た複数の風景の画像
を受けてこれら画像に基づき与えられた視点から対象物
を見た二次元画像を生成するシーナリー画像生成部と、
前記シーナリー画像生成部に利用者の視点位置情報を供
給するセンサと、前記シーナリー画像生成部の出力に基
づき画像を表示する表示装置とを備えるシーナリージェ
ネレータであって、前記シーナリー画像生成部は、第１画像を受けてこの画像から特徴点を抽出する第１特
徴点抽出部と、第２画像を受けてこの画像から特徴点を抽出する第２特
徴点抽出部と、前記第１特徴点抽出部及び前記第２特徴点抽出部から信
号を受けて前記第１画像の特徴点と前記第２画像の特徴
点の間の相関を求める相関演算部と、前記相関演算部から信号を受けて、前記複数の視点から
見た画像であるという条件の下で、前記特徴点の組み合
わせのうちで可能性の低いものを除去するロバストマッ
チング部と、前記ロバストマッチング部からシードマッチの注目点リ
ストを受けて、第１及び第２画像のマッチングを出力す
るマッチ伝播部と、前記マッチ伝播部により得られたマッチングを正則化し
て二眼マッチのリストを出力するリサンプリング部と、前記リサンプリング部により得られた二眼マッチのリス
トを受けて二視野連結三角形分割を出力する二視野連結
三角形分割部と、前記二視野連結三角形分割に基づき別の視点から見た画
像を生成する視野補間部とを備えるシーナリージェネレ
ータ。
【請求項２０】対象物に関して複数の画像を得たとき
に、前記複数の画像の間で互いに対応する点を検索する
装置であって前記複数の画像から特徴点をそれぞれ抽出する特徴点抽
出部と、前記複数の画像の特徴点の間で相関を求めて、前記特徴
点の組み合わせを求める相関演算部と、前記複数の視点から見た画像であるという条件の下で、
前記特徴点の組み合わせのうちで可能性の低いものを除
去するマッチング部と、前記複数の視点の位置及び視線の方向を求めるカメラ方
向決定部と、前記カメラ方向決定部により得られた前記複数の視点の
位置及び視線の方向の条件のもとで、前記特徴点の組み
合わせを、幾何学的・統計学的信頼性の優位なものから
選択し、前記対象物の画像の解析範囲を調整するマッチ
伝播部とを備える画像対応点検索装置。
【請求項２１】共通の対象物に関して複数の画像を得
たときに、前記複数の画像の間で互いに対応する点を検
索する装置であって前記複数の画像から特徴点をそれぞれ抽出する特徴点抽
出部と、前記複数の画像の特徴点の間で相関を求めて、前記特徴
点の組み合わせを求める相関演算部と、前記複数の視点から見た画像であるという条件の下で、
前記特徴点の組み合わせのうちで可能性の低いものを除
去するマッチング部と、視線の幾何学的な拘束条件のもとで、前記特徴点の組み
合わせを、幾何学的・統計学的信頼性の優位なものから
選択し、前記対象物の画像の解析範囲を調整するマッチ
伝播部とを備える画像対応点検索装置。
【請求項２２】複数の画像に基づき新たな画像を生成
する画像生成方法であって、複数の画像を得るステップと、前記複数の画像の間で特徴点の対応関係を求めるステッ
プと、前記複数の画像の間で対応関係にある特徴点の移動量を
求めるステップと、前記特徴点を移動量でソートするステップと、前記移動量の小さい順に描画するステップとを備える画
像生成方法。
【請求項２３】複数の画像に基づき新たな画像を生成
する画像生成方法であって、第１画像を受けてこの画像から特徴点を抽出する第１特
徴点ステップと、第２画像を受けてこの画像から特徴点を抽出する第２特
徴点ステップと、第３画像を受けてこの画像から特徴点を抽出する第３特
徴点ステップと、前記第１画像の特徴点と前記第２画像の特徴点の間の相
関を求める第１相関演算ステップと、前記第２画像の特徴点と前記第３画像の特徴点の間の相
関を求める第２相関演算ステップと、前記複数の視点から見た画像であるという条件の下で、
前記特徴点の組み合わせのうちで可能性の低いものを除
去するロバストマッチングステップと、前記複数の視点の位置及び視線の方向を求めるカメラ方
向決定ステップと、注目点リストを受けるとともに、カメラ方向パラメータ
を受けて、第１乃至第３画像のマッチングを出力するマ
ッチ伝播ステップと、得られたマッチングを正則化して三眼マッチのリストを
出力するリサンプリングステップと、三眼マッチのリストを受けて三視野連結三角形分割を出
力する三視野連結三角形分割ステップと、前記三視野連結三角形分割に基づき別の視点から見た画
像を生成する視野補間ステップとを備える画像生成方
法。
【請求項２４】複数の画像に基づき新たな画像を生成
する画像生成方法であって、第１画像を受けてこの画像から特徴点を抽出する第１特
徴点抽出ステップと、第２画像を受けてこの画像から特徴点を抽出する第２特
徴点抽出ステップと、前記第１画像の特徴点と前記第２画像の特徴点の間の相
関を求める相関演算ステップと、前記複数の視点から見た画像であるという条件の下で、
前記特徴点の組み合わせのうちで可能性の低いものを除
去するロバストマッチングステップと、シードマッチの注目点リストを受けて、第１及び第２画
像のマッチングを出力するマッチ伝播ステップと、得られたマッチングを正則化して二眼マッチのリストを
出力するリサンプリングステップと、得られた二眼マッチのリストを受けて二視野連結三角形
分割を出力する二視野連結三角形分割ステップと、前記二視野連結三角形分割に基づき別の視点から見た画
像を生成する視野補間ステップとを備える画像生成方
法。
【請求項２５】複数の画像に基づき新たな画像を生成
する画像生成方法をコンピュータに実行させるためのプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体であって、前記画像生成方法は、複数の画像を得るステップと、前記複数の画像の間で特徴点の対応関係を求めるステッ
プと、前記複数の画像の間で対応関係にある特徴点の移動量を
求めるステップと、前記特徴点を移動量でソートするステップと、前記移動量の小さい順に描画するステップとを備える。
【請求項２６】複数の画像に基づき新たな画像を生成
する画像生成方法をコンピュータに実行させるためのプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体であって、前記画像生成方法は、第１画像を受けてこの画像から特徴点を抽出する第１特
徴点ステップと、第２画像を受けてこの画像から特徴点を抽出する第２特
徴点ステップと、第３画像を受けてこの画像から特徴点を抽出する第３特
徴点ステップと、前記第１画像の特徴点と前記第２画像の特徴点の間の相
関を求める第１相関演算ステップと、前記第２画像の特徴点と前記第３画像の特徴点の間の相
関を求める第２相関演算ステップと、前記複数の視点から見た画像であるという条件の下で、
前記特徴点の組み合わせのうちで可能性の低いものを除
去するロバストマッチングステップと、前記複数の視点の位置及び視線の方向を求めるカメラ方
向決定ステップと、注目点リストを受けるとともに、カメラ方向パラメータ
を受けて、第１乃至第３画像のマッチングを出力するマ
ッチ伝播ステップと、得られたマッチングを正則化して三眼マッチのリストを
出力するリサンプリングステップと、三眼マッチのリストを受けて三視野連結三角形分割を出
力する三視野連結三角形分割ステップと、前記三視野連結三角形分割に基づき別の視点から見た画
像を生成する視野補間ステップとを備える。
【請求項２７】複数の画像に基づき新たな画像を生成
する画像生成方法をコンピュータに実行させるためのプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体であって、前記画像生成方法は、第１画像を受けてこの画像から特徴点を抽出する第１特
徴点抽出ステップと、第２画像を受けてこの画像から特徴点を抽出する第２特
徴点抽出ステップと、前記第１画像の特徴点と前記第２画像の特徴点の間の相
関を求める相関演算ステップと、前記複数の視点から見た画像であるという条件の下で、
前記特徴点の組み合わせのうちで可能性の低いものを除
去するロバストマッチングステップと、シードマッチの注目点リストを受けて、第１及び第２画
像のマッチングを出力するマッチ伝播ステップと、得られたマッチングを正則化して二眼マッチのリストを
出力するリサンプリングステップと、得られた二眼マッチのリストを受けて二視野連結三角形
分割を出力する二視野連結三角形分割ステップと、前記二視野連結三角形分割に基づき別の視点から見た画
像を生成する視野補間ステップとを備える。