JP2002032743A

JP2002032743A - ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体

Info

Publication number: JP2002032743A
Application number: JP2000212542A
Authority: JP
Inventors: Ikoku Go; 偉国呉
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-07-13
Filing date: 2000-07-13
Publication date: 2002-01-31

Abstract

(57)【要約】【課題】撮影画像における特徴点の追跡処理を簡易化
した高画質な３次元画像の生成を可能とする３次元画像
生成システムを提供する。【解決手段】対象の特性を検出し、３次元モデル生成
領域を自動抽出する。例えば、顔の領域などを自動的に
検出する。また、抽出された対象領域に対して、基準画
像にテンプレートおよび特徴点マップを設定する。さら
に、基準画像以外の他フレームに同様のマップを設定し
て、マップに基づいて特徴点の初期追跡を行なう。テン
プレートマッチングによる特徴点追跡位置にエラーがあ
るか否かをマップによる初期追跡との差分により判定
し、エラーがあった場合は、周囲の特徴点位置に基づい
て補正を実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、単眼カメラで撮影
した複数枚の２次元画像から、その画像内に映されてい
る注目対象の特徴点を追跡することによって、対象の３
次元形状を生成し、３Ｄモデリングにおいて、対象を人
の顔等、特定のモデルに限定し、特徴点追跡を簡易化し
て実行して効率的な特徴点抽出、追跡法を実現する３次
元画像生成システムおよび３次元画像生成方法に関す
る。

【０００２】

【従来の技術】野外で歩きながらデジタルカメラやビデ
オカメラで撮影し記録された景色、建築物等や、人物の
顔写真などの複数枚画像（または時系列画像）におい
て、その撮影視点と対象との間に相対的な動きがあれ
ば、それらの複数枚の画像や時系列画像から撮影対象の
３次元形状を復元することが原理的に可能である。実際
に、このような複数枚の画像を用いてカメラの相対運動
と対象形状とを同時に求める手法の研究は、様々な応用
分野に期待される重要なテーマである。その一つの代表
的な手法としては、画像における対象の特徴（物体の角
やエッジ部などの点、線等）を抽出し、時系列画像にお
ける同一対象の特徴を追跡し、線形的なカメラ射影モデ
ルを用いる因子分解法（Factorization）によって、対
象の３Ｄ形状を復元する手法が金出らにより提案された
［例えば、(1)Carlo Tomasi: Shape andMotion from Im
age Streams: a Factorization Method. CMU-CS-91-17
2, Sep.1991，(2)Conrad J. Poelman: A Paraperspecti
ve and Projective Factorization Methods for Recove
ring Shape and Motion. CMU-CS-95-173, (1995)，(3)J
oao Costeira and Takeo Kanade: A Multi-body Factor
ization Method for Motion Analysis. CMU-CS-TR-94-2
20, (1994)，(4)Toshihiko Morita and Takeo Kanade:
A Sequential Factorization Method for Recovering S
hape and Motion from Image Streams. CMU-CS-94-158,
(1994)，(5)Naoki Chiba and Takeo Kanade: A Tracke
r for Broken and Closely-Spaced Lines. CMU-CS-97-1
82, Oct. (1997)］。この方法による３次元形状とカメ
ラ動き復元の概念図を図1に示す。

【０００３】まず、カメラの視点を変えながら、対象を
撮影する。撮影したＦ枚の画像を｛ｆｔ（ｘ，ｙ）｜ｔ
＝１，．．．．，Ｆ｝と記し、その一枚目の画像ｆ１
（ｘ，ｙ）からＰ個の特徴点をウィンドウ内の分散評価
値などによって抽出し、Ｆ枚の画像にわたって追跡す
る。特徴点追跡によって得られた各フレーム上の特徴点
座標（Ｘｆｐ，Ｙｆｐ）を行列Ｗ（ここで計測行列と呼
ぶ）で表現することができる。そして、線形的な射影モ
デルを適用し、特異値分解法（ＳＶＤ）によって計測行
列Ｗを２つの直行行列Ｕ，Ｖ’と対角行列Σに分解する
ことができる。そこで、直行行列Ｕ，Ｖ’では、それぞ
れカメラの動き情報Ｍと対象の３次元情報Ｓが含まれて
いる。また、カメラの姿勢を表現する単位ベクトル
（ｉ，ｊ，ｋ）の拘束条件を用いると、ＭとＳを一意に
決めるための行列Ａが求められる。従って、カメラ動き
Ｍと対象の３次元形状Ｓが一意に決まることになる。

【０００４】一般的に、この方法は、対象の３次元形状
を高速に復元すると同時に、撮影カメラの３次元情報
(位置・姿勢・画角など)も復元することが可能である。

【０００５】

【発明が解決しようとする課題】因子分解法による３次
元形状復元において、特徴点を確実に追跡することが最
も重要である。従来、対象の形状特徴、濃淡特徴などに
着目した特徴点追跡手法が多く提案されたが、実際にカ
メラと撮影対象との相対運動による隠れ問題や幾何学的
な歪みなどによって、特徴点を確実に追跡することが容
易ではない。特に、人間の顔のように、濃淡特徴がほと
んどない対象に対して、特徴点の設定、追跡がより困難
である。

【０００６】そこで、本発明では、まず参照画像（一般
に１フレーム画像を用いる）から特定モデル、例えば顔
の領域を手動または自動的に検出し、特定モデル（顔）
領域内の特徴点の位置（ここで、特徴点マップと呼ぶ）
を決める。そして、顔領域をテンプレートとして、複数
枚画像における対応領域を検出し、特徴点の初期追跡位
置を求める。次に、参照画像における各々の特徴点（ま
たは特徴ウィンドウ）に対して、テンプレートマッチン
グにより複数枚画像における対応する特徴点を追跡し、
それらの追跡結果と初期追跡位置とを比較することによ
って、追跡された特徴点位置の信頼性を評価する。ま
た、エラー追跡と判定される場合、その点と隣接する特
徴点（例えば、８隣接点）を用いて補正する。最後に、
各フレーム画像に確実に追跡された特徴点を用いること
によって、顔の３次元形状をより正確に復元することを
可能とする３次元画像生成システムおよび３次元画像生
成方法を提供する。

【０００７】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、複数の
入力画像に関する特徴点追跡処理により３次元画像を生
成する３次元画像生成システムにおいて、入力画像中か
ら選択される基準画像に基づいて、入力画像上に３次元
モデル生成領域を設定する３次元モデル生成領域抽出処
理手段と、前記３次元モデル生成領域に対応させた特徴
点マップを設定する３次元モデル特徴点マップ生成処理
手段と、前記特徴点マップを基準画像以外の入力画像の
各々に対応付けて、特徴点の初期追跡を実行する特徴点
追跡処理手段と、前記初期追跡結果と、テンプレートマ
ッチングによる特徴点追跡結果とを比較して、テンプレ
ートマッチングによる特徴点追跡結果のエラーを判別し
てエラーの補正を実行する特徴点エラー補正処理手段
と、を有することを特徴とする３次元画像生成システム
にある。

【０００８】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元モデル生成領域抽出
処理手段は、入力画像上の色相特性を判別し、判別によ
って得られる領域形状に基づいて、入力画像上に３次元
モデル生成領域を設定する構成を有することを特徴とす
る。

【０００９】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元モデル特徴点マップ
生成処理手段は、前記３次元モデル生成領域に、特徴点
を頂点とする多角形小領域からなる特徴点マップを生成
する構成を有することを特徴とする。

【００１０】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元モデル特徴点マップ
生成処理手段は、入力画像上の３次元モデル生成領域の
特定モデルに対して適用する特徴点マップを記憶手段に
保持し、該特徴点マップを前記３次元モデル生成領域に
設定する構成を有することを特徴とする。

【００１１】さらに、本発明の３次元画像生成システム
の一実施態様において、基準画像の特徴点位置との対応
位置を各画像に設定したマップに基づいて初期追跡特徴
点位置を求める処理を実行する構成を有することを特徴
とする。

【００１２】さらに、本発明の３次元画像生成システム
の一実施態様において、前記特徴点エラー補正処理手段
は、特徴点追跡結果座標値と初期追跡結果座標値との差
分と、予め定めた閾値とを比較して、該差分が閾値より
大である場合に、特徴点追跡結果をエラーと判定して、
該エラーと判定された特徴点を周囲の特徴点に基づいて
補正する補正処理を実行する構成を有することを特徴と
する。

【００１３】さらに、本発明の３次元画像生成システム
の一実施態様において、前記特徴点エラー補正処理手段
は、エラーと判定された特徴点の周囲に隣接する特徴点
との関係を拘束する特徴点マッブの形状に基づいて、テ
ンプレートマッチングによる追跡特徴点位置の補正処理
を実行する構成であることを特徴とする。

【００１４】さらに、本発明の第２の側面は、複数の入
力画像に関する特徴点追跡処理により３次元画像を生成
する３次元画像生成方法において、入力画像中から選択
される基準画像に基づいて、入力画像上に３次元モデル
生成領域を設定する３次元モデル生成領域抽出処理ステ
ップと、前記３次元モデル生成領域に対応させた特徴点
マップを設定する３次元モデル特徴点マップ生成処理ス
テップと、前記特徴点マップを基準画像以外の入力画像
の各々に対応付けて、特徴点の初期追跡を実行する特徴
点追跡処理ステップと、前記初期追跡結果と、テンプレ
ートマッチングによる特徴点追跡結果とを比較して、テ
ンプレートマッチングによる特徴点追跡結果のエラーを
判別してエラーの補正を実行する特徴点エラー補正処理
ステップと、を有することを特徴とする３次元画像生成
方法にある。

【００１５】さらに、本発明の３次元画像生成方法の一
実施態様において、前記３次元モデル生成領域抽出処理
ステップは、入力画像上の色相特性を判別し、判別によ
って得られる領域形状に基づいて、入力画像上に３次元
モデル生成領域を設定することを特徴とする。

【００１６】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元モデル特徴点マップ
生成処理ステップは、前記３次元モデル生成領域に、特
徴点を頂点とする多角形小領域からなる特徴点マップを
生成することを特徴とする。

【００１７】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元モデル特徴点マップ
生成処理ステップは、入力画像上の３次元モデル生成領
域の特定モデルに対して適用する特徴点マップを記憶手
段に保持し、該特徴点マップを前記３次元モデル生成領
域に設定することを特徴とする。

【００１８】さらに、本発明の３次元画像生成システム
の一実施態様において、前記特徴点追跡処理ステップ
は、特徴点マップに基づいて特徴点座標位置を判定して
初期追跡特徴点位置を求める処理を実行することを特徴
とする。

【００１９】さらに、本発明の３次元画像生成システム
の一実施態様において、前記特徴点エラー補正処理ステ
ップは、特徴点追跡結果座標値と初期追跡結果座標値と
の差分と、予め定めた閾値とを比較して、該差分が閾値
より大である場合に、特徴点追跡結果をエラーと判定し
て、該エラーと判定された特徴点を周囲の特徴点に基づ
いて補正する補正処理を実行することを特徴とする。

【００２０】さらに、本発明の３次元画像生成システム
の一実施態様において、前記特徴点エラー補正処理ステ
ップは、エラーと判定された特徴点の周囲に隣接する特
徴点との関係を拘束する特徴点マッブの形状に基づい
て、テンプレートマッチングによる追跡特徴点位置の補
正処理を実行することを特徴とする。

【００２１】さらに、本発明の第３の側面は、複数の入
力画像に関する特徴点追跡処理により３次元画像を生成
する３次元画像生成処理をコンピュータ・システム上で
実行せしめるコンピュータ・プログラムを有形的に提供
するプログラム提供媒体であって、前記コンピュータ・
プログラムは、入力画像中から選択される基準画像に基
づいて、入力画像上に３次元モデル生成領域を設定する
３次元モデル生成領域抽出処理ステップと、前記３次元
モデル生成領域に対応させた特徴点マップを設定する３
次元モデル特徴点マップ生成処理ステップと、前記特徴
点マップを基準画像以外の入力画像の各々に対応付け
て、特徴点の初期追跡を実行する特徴点追跡処理ステッ
プと、前記初期追跡結果と、テンプレートマッチングに
よる特徴点追跡結果とを比較して、テンプレートマッチ
ングによる特徴点追跡結果のエラーを判別してエラーの
補正を実行する特徴点エラー補正処理ステップと、を有
することを特徴とするプログラム提供媒体にある。

【００２２】本発明の第３の側面に係るプログラム提供
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。

【００２３】このようなプログラム提供媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。

【００２４】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づく詳細な
説明によって明らかになるであろう。

【００２５】

【発明の実施の形態】本発明の３次元画像生成システム
および３次元画像生成方法について、以下詳細に説明す
る。まず、図２に、本発明の３次元画像生成システムの
構成を示す。本発明の３次元画像生成システムは、市販
のデジタルカメラ、ＤＶカム、カメラ付きパソコン上の
デジタルカメラ、３Ｄ形状撮影（処理）モード付きのカ
メラ等によって注目対象を撮影する画像撮影ユニット２
０１、撮影手段に対応して、撮影された複数枚画像をパ
ソコンの内部メモリまたはカメラに付属する記録媒体
（市販のメモリカード、磁気テープ、レーザー記録ディ
スクなど）に保存する画像保存ユニット２０２、撮影手
段によって、カメラ側の記録媒体に保存されていた画像
をUSB、i.Link、メモリカードアダプタなどのような標
準インターフェースを装備するパソコンや専用装置など
に転送できる画像転送ユニット２０３、予めに用意され
ていた画像パターン（例えば、チェッカーパターンな
ど）を用いて、カメラの内部パラメータを求めて、それ
らのパラメータを用いて、入力画像の幾何学的歪みなど
を取り除く画像補正ユニット２０４、パソコンや専用装
置によって、前述の画像補正処理後の入力画像から注目
対象の３次元形状を推定する３次元処理ユニット２０
５、同一対象に対して、異なる視点で撮影した画像列か
ら推定された幾つかの３次元形状を貼あわせて、その対
象の全周３次元形状を作成したり、違う対象の複数個の
３次元形状を貼り合わせて、３次元パノラマ形状を作成
する３次元形状貼り合わせユニット２０６、推定された
３次元形状データ（三角パッチ）に高画質のテクスチャ
画像をマッピングするテクスチャマッピングユニット２
０７、テクスチャ画像付きの３次元形状データを標準的
なVRMLファイルフォーマットで保存され、それをローカ
ル、またはネットワークを通して表示する処理を実行す
る３Ｄ画像表示ユニット２０８から構成されるものであ
る。以下、各ユニットの詳細について述べる。

【００２６】画像撮影ユニット２０１は、市販のデジタ
ルカメラ、ＤＶカム、カメラ付きパソコン上のデジタル
カメラ、３Ｄ形状撮影（処理）モード付きのカメラ等の
センシングデバイスで対象を撮影するものである。

【００２７】画像保存ユニット２０２は、カメラで撮影
した画像をメモリカード、磁気テープ、レーザーディス
ク（登録商標）などの記録媒体に保存するものである。
カメラ付きパソコンに対しては、撮影した画像を直接に
内部メモリまたはハードディスクなどの記録媒体に保存
することも可能である。

【００２８】画像転送ユニット２０３は、カメラ側の記
録媒体に保存されていた画像をUSB、i.Link、メモリカ
ードアダプタなどの標準インターフェースを通して、パ
ソコンや専用３次元処理装置などに転送するものであ
る。画像補正ユニット２０４は、予めに用意されていた
既知の画像パターン（例えば、チェッカーパターンな
ど）を同一のカメラで撮影し、カメラの内部パラメータ
を求める。そして、撮影した複数枚の画像（入力画像）
に対して、カメラの内部パラメータによる画像補正処理
を行い、入力画像の幾何学的歪みなどを取り除く処理を
実行する。

【００２９】画像補正ユニット２０４で実行されるカメ
ラ内部パラメータのキャリブレーション手法について図
３のフローを用いて説明する。

【００３０】まずステップＳ３０１で、特定の形状パタ
ーンが設定されている特徴パターン（例えば、図３右下
に示すようなチェッカパターン）を撮影し、それをＩｍ
（ｘ，ｙ）とする。次に、ステップＳ３０２で、撮影画
像Ｉｍ（ｘ，ｙ）から理想的な合成画像Ｉｍ２（ｕ，
ｖ）を作成する。なお、撮影画像と合成画像との関係：
合成画像を射影変換行列Ｈにより変換した画像をカメラ
内部の歪パラメータによって変形したものが撮影画像と
なる。さらに、ステップＳ３０３で、撮影画像と合成画
像との誤差を評価し、その誤差が最小となるように、カ
メラ内部の歪パラメータを推定する。なお、撮影画像と
合成画像との誤差は、以下に示す式によって求められ
る。

【００３１】

【数１】Ｅ＝Σ｛Ｉｍ１（ｘ，ｙ）−Ｉｍ２（ｕ，ｖ）｝²

【００３２】ここで、推定されるカメラ内部パラメータ
とは、歪中心ｃｐ，ｃｑ（distortion center）、アス
ペクト比ｓｖ(aspect ratio)、カッパκ（distortion c
oefficient）である。画像補正ユニット２０４は、これ
らのカメラ内部パラメータを用いて、撮影画像の補正を
実行する。

【００３３】３次元処理ユニット２０５は、複枚数の画
像から注目対象の３次元形状を生成する処理としての特
徴点抽出、追跡処理を主に実行するものである。その詳
細は、次の図４を参照しながら説明する。

【００３４】図４に示すように、３次元処理ユニット２
０５は、３次元モデル生成領域抽出処理手段２０５１、
３次元モデル特徴点マップ生成処理手段２０５２、３次
元モデル特徴点追跡処理手段２０５３、３次元モデル特
徴点エラー補正処理手段２０５４を有する。

【００３５】３次元モデル生成領域抽出処理手段２０５
１は、画像転送ユニットから複数の画像を受領し、例え
ばその中から１フレーム目の入力画像を基準画像とし
て、基準画像中から、３次元モデルの生成領域を抽出す
る。

【００３６】図５は、顔領域抽出処理手法を説明する図
である。３次元モデル生成領域抽出処理手段２０５１
は、図５(a)の入力画像に対して、色分布を解析し、色
相特性によって顔の領域（首の部分を含む）を検出する
（図５(b)）。そこで、両目の色相特性と顔部分の色相
特性が違うので、両目の位置（目の中心）及び両面間の
中心位置も同時に検出される。そして、検出位置に基づ
いて幾何学形状モデル（例えば、図５(d)のx0/y0等）を
対応付けて、画像内の顔領域を検出する（図５(e)）。
なお、幾何学形状モデルは、予めデータベースに格納
し、これを使用する構成としてもよい。

【００３７】このように、本発明のシステムでは、入力
画像の持つ例えば色相特性から、撮影された被写体を分
析し、３次元モデル生成領域の抽出処理を実行する。

【００３８】３次元モデル生成領域抽出処理手段２０５
１により、３次元モデルの生成領域が抽出されると、３
次元モデル特徴点マップ生成処理手段２０５２が、設定
された領域に対応させた３次元モデルの特徴点マップを
生成する。

【００３９】図６は、３次元モデル生成領域抽出処理手
段２０５１により実行される３次元モデル特徴点マップ
の設定例を示した図である。３次元モデル生成領域抽出
処理手段２０５１により顔領域が設定され、顔領域に３
次元モデル特徴点マップを設定する。画像転送ユニット
から入力される複数画像フレームのうち、例えば、１フ
レーム目の画像（図６(a)）に対して、例えば、図６(b)
のような四角形、または図６(c)のような六角形の領域
を設定する。それぞれの領域に対して、図６(d)と(e)の
ように、特徴点マップを作成する。特徴点マップは、例
えば特徴点を頂点とする多角形小領域を図６(b)のよう
な四角形、または図６(c)のような六角形の設定領域内
に構成することによって得られる。図６(d)は、所定の
大きさの矩形ウィンドウ小領域を設定領域に構成したも
のであり、図６（ｅ）は、設定領域に複数の三角形小領
域を構成したものである。

【００４０】なお、３次元モデル特徴点マップ生成処理
手段２０５２は、入力画像上の３次元モデル生成領域の
特定モデル、例えば人物の顔等の特徴位置がほぼ決まり
きった位置に設定できるような特定モデルである場合
は、特定モデルに対して適用する特徴点マップを記憶手
段に保持し、記憶手段に保持した特徴点マップを３次元
モデル生成領域に設定することも可能である。

【００４１】これら特徴点マップを用いて、他フレーム
における特徴点の初期追跡処理が、３次元モデル特徴点
追跡処理手段２０５３によって実行される。３次元モデ
ル特徴点追跡処理手段２０５３は、特徴点マップを基準
画像以外の入力画像の各々に対応付けて、各画像につい
て、基準画像の特徴点位置との対応位置をマップを用い
て特徴点座標位置を判定し、これを初期追跡特徴点とす
る。

【００４２】図７に、顔を３次元画像生成モデルとした
場合の特徴点初期追跡処理について説明する図を示す。
図６(b)のように設定された顔領域及び図６(d)のように
作成された特徴点マップに対して、まず図７(a)のよう
なF枚の画像（図例では12枚画像としている）におい
て、１フレーム目の顔領域と対応する部分領域を抽出す
る（図７(b)）。そして、図７(c)に示すように、特徴点
マップの数、位置と同じように、各々のフレーム画像に
おいて、特徴点位置を決めて、それを初期の特徴点追跡
結果とし、座標位置（xfk0,y fk0）（f=1,......,F. k=
1,......,P）と記する。すなわち、各画像フレームに、
３次元モデル特徴点マップ生成処理手段２０５２におい
て生成した特徴点マップと同様のマップを設定して、基
準画像（フレーム１）上の特徴点に対応する各フレーム
における位置をマップにより検索して、初期追跡特徴点
とする。すなわち、特徴点の初期追跡は、特徴点マップ
を使用した位置情報に基づいて実行する。マップを利用
したすることにより、位置判定が容易になり特徴点が多
数あった場合でも追跡処理が短時間で実行可能となる。

【００４３】上述のように、特徴点の初期追跡は、特徴
点マップを使用した位置情報に基づいて実行され、大ま
かな位置は追跡可能であるか、正確な追跡処理はテンプ
レートマッチングを用いた例えば正規化相関によってマ
ッチング点を追跡する手法が有効な手段となる。しか
し、テンプレートマッチングを用いた特徴点追跡位置に
は、エラーが含まれる場合がある。そこで、３次元モデ
ル特徴点エラー補正処理手段２０５４によるエラー補正
処理を実行する。

【００４４】画像入力から、特徴点の初期追跡、特徴点
追跡エラー処理を含めた詳細処理フローを図８に示す。
図８のステップＳ８０１では、Ｆ枚の画像を入力し、ス
テップＳ８０２では、１枚の画像を基準画像として選択
して、例えばＰ個の特徴点マップ（図７（ｃ）参照）を
作成する。

【００４５】次に、各特徴点、各フレーム画像につい
て、マップを用いた特徴点初期追跡処理（Ｓ８０５）を
実行する。初期追跡は、図７を用いて説明したように、
各フレームに設定したマップによる座標位置識別によっ
て実行される。

【００４６】次に、ステップＳ８０６では、テンプレー
トに設定された小領域を探索領域とする領域特徴点追跡
処理が実行される。各フレーム画像の探索領域内で基準
画像の特徴点Pjと最も相似するものをある評価値（相似
性評価値）に基づいて検出する。ここでの相似性評価値
は正規化相関や最上二乗法などによって求められる。

【００４７】次に、追跡結果の評価がステップＳ８０７
で実行される。ステップＳ８０７に示すように、Ｅ＝｜
追跡結果（座標値）−初期追跡結果（座標値）｜によ
り、座標値の誤差を算出し、これを予め定めた閾値と比
較（Ｓ８０８）し、基準を満たすもののみを正当な特徴
点追跡結果であるとして保存（Ｓ８０９）する。

【００４８】具体的には、テンプレートマッチングを用
い、例えば正規化相関によってマッチングした点を追跡
結果（座標値）とし、前述の特徴点マップによる追跡結
果を初期追跡結果（座標値）として、その差分を算出
し、算出した差分と閾値とを比較する。その比較におい
て基準を満たさない場合は、ステップＳ８１３におい
て、エラーとして識別された特徴点であることを示すラ
ベルを特徴点追跡結果に対して設定する。これらの処理
をすべての特徴点と画像フレームに対して実行すると、
エラーのラベルの付与された追跡点が抽出され、これを
ステップＳ８１１において、エラー追跡点の周囲の特徴
点との関連によってエラーの付加された追跡結果を補正
する。図８（ｃ）に示すように、追跡結果の周囲に正し
く追跡された特徴点があるので、これらを用いて、エラ
ーのラベルづけのなされた追跡点の補正が可能となる。

【００４９】図９に追跡特徴点のエラー補正処理の詳細
フローを示す。ステップＳ９０１で補正処理が開始さ
れ、ステップＳ９０２で、エラーのラベルの付加された
特徴点を読み込む。この特徴点をＰｋ（Ｘｋ，Ｙｋ）と
する。ステップＳ９０３で、特徴点Ｐ（Ｘｋ，Ｙｋ）の
隣接８画素の特徴点を評価する。ステップＳ９０４で、
隣接８画素（図９（ａ）参照）の追跡特徴点が正しく追
跡された特徴点（エラーのラベルが付加されていない）
であると判定されると、ステップＳ９０５で、中心の特
徴点の座標位置を以下の式に従って補正する。Ｘｋ＝（Σｉ（Ｘｋｉ））／８Ｙｋ＝（Σｉ（Ｙｋｉ））／８ただし、ｉ＝１，．．．８

【００５０】上記補正は、図６（ｄ）のように四角形小
領域の頂点位置に特徴点を設定した特徴点マップにおい
て適用されるものであり、他の形態の特徴点マップの場
合は、マップに応じた補正式を適用する。すなわち、３
次元モデル特徴点エラー補正処理手段２０５４は、エラ
ーと判定された特徴点の周囲に隣接する特徴点との関係
を拘束する特徴点マッブの形状に基づいて、テンプレー
トマッチングによる追跡特徴点位置の補正処理を実行す
る。

【００５１】なお、ステップＳ９０４において、隣接画
素に正しくない追跡特徴点が含まれる場合は、そのステ
ップＳ９０８において、さらにその周囲８画素による補
正結果を、上記式により取得して代入する。ステップＳ
９０６で、すべてのエラー追跡特徴点が補正されたこと
が確認されると、補正処理は完了（Ｓ９０７）する。

【００５２】図８の処理フローで説明した本発明の３次
元画像生成システムの処理について、まとめると以下の
ようになる。図６(d)、(e)の例で示したように、基準画
像としての１フレーム目の画像上に、Ｐ個の特徴点を選
択し、それらの点を中心とする特徴ウィンドウTk(x,y)
(k=1,......,P)を作成する。さらに、他のフレーム上に
図７に示すように同様の小領域ウィンドウを設定し、そ
れらのウィンドウから座標位置を求めて初期追跡特徴点
とする。

【００５３】さらに、入力されたＦ枚の画像に対して、
各々の特徴点kの特徴ウィンドウTk(x,y)を用いて、特徴
点追跡を行い、その追跡結果（座標位置）を(xfk, yfk)
とする。その追跡結果をウィンドウによる初期の追跡結
果(xfk0,y fk0)と比較し、その誤差が予め設定された閾
値より小さい場合、追跡が正しく行われたと考え、その
追跡結果（座標位置）を保存する。逆に、誤差が閾値よ
り大きい場合、追跡が正しく行われなかったと考え、ラ
ベルを付ける。最後に、ラベルの付いたエラー特徴点に
対して、特徴点の間の拘束条件によって、その点と隣接
する追跡結果（例えば、８隣接の特徴点座標を用いる）
を用いて補間する。拘束条件については、特徴点マップ
の作成方法に依存するが、図６(d)で示された例では、
エラー特徴点が隣接する８個の特徴点の中心にあると仮
定する。上述の特徴点追跡法によって、対象を人の顔な
どに限定した場合、確実で効率的に特徴点を追跡するこ
とができる。

【００５４】図１０に本発明の３次元画像生成システム
における特徴点追跡処理をまとめたフローチャートを示
す。

【００５５】ステップＳ１００１において、複数枚の画
像を入力すると、ステップＳ１００２において、３次元
モデル生成領域抽出手段２０５１が、図５を用いて説明
した手法によって特定モデル、例えば顔の領域を抽出す
る。

【００５６】次に、ステップＳ１００３において、３次
元モデル特徴点マップ生成処理手段２０５２が顔領域に
特徴点マップを生成する。これは、図６，７で説明した
手法に従ったものである。さらに、ステップＳ１００４
で３次元モデル特徴点追跡処理手段２０５３によって、
特徴点の初期追跡が実行される。これは、先に説明した
ように各フレームに設定したマップによる座標値を求め
る処理として実行される。さらに、ステップＳ１００５
において、マップのウィンドウを探索領域として特徴点
追跡が実行され、ステップＳ１００６で、テンプレート
マッチングによる追跡結果と、初期追跡の特徴点位置の
差分に基づいてテンプレートマッチング追跡特徴点位置
の信頼性評価が実行される。

【００５７】さらに、ステップＳ１００７において、３
次元モデル特徴点エラー補正処理手段２０５４におい
て、先に図９を用いて説明した手順に従ってエラーとし
て識別された特徴点位置の補正がなされ、以上の処理を
実行することにより、特徴点の追跡処理が完了（Ｓ１０
０８）する。

【００５８】図１１は、本発明の３次元画像生成システ
ムにおける３次元画像生成処理全体の処理手順を示すフ
ローである。

【００５９】ステップＳ１１０１は、画像撮影ユニット
２０１、画像保存ユニット２０２、画像転送ユニット２
０３による画像撮影、転送処理であり、ステップＳ１０
０２は、上述した画像補正ユニット２０４で実行される
画像補正処理ステップである。

【００６０】ステップＳ１１０３のマップベースの特徴
点初期追跡は、前述したように、図７に示す３次元モデ
ルに対するテンプレート、マップ設定によって実行され
る。ステップＳ１１０４の特徴ウィンドウの追跡処理お
よび結果保存は、マップに設定された小領域ウィンドウ
を探索領域として、複数枚の画像に渡って、各画像にお
ける同一の特徴ウィンドウ（特徴ウィンドウの対応付
け）を探索する。

【００６１】さらに、ステップＳ１１０５では、特徴点
追跡におけるエラーの有無を判定し、エラーがある場合
は、ステップＳ１１０６において、追跡エラーの修正処
理を行なう。この処理は、先に図８，９を用いて説明し
た処理である。

【００６２】ところで、前述の追跡処理を用いても、完
全に正確な特徴点位置を得ることが困難である場合に
は、特徴点位置修正モードにおいて、手動によって、そ
のエラー追跡点の位置（座標値）を修正する構成として
もよい。これは、ビジュアルインタフェースにより、デ
ィスプレイに基準画像、特徴点設定対象画像のそれぞれ
にテンプレートに対応するウィンドウを表示し、正確な
特徴点位置をユーザが設定可能とするものである。ユー
ザによる画面の確認により、正確な特徴点の入力、修正
が可能となる。

【００６３】入力画像上の特徴点をチェックし、全ての
特徴点位置が正しく修正されたら、３次元形状推定処理
（Ｓ１１０７）を行い、注目対象の３次元形状と撮影時
のカメラ動き（位置、姿勢）を推定し、それらの結果を
出力（Ｓ１１０８）する。ここで、３次元形状データと
は、２次元画像上の注目対象における特徴点を３次元空
間へ逆射影する時の特徴点位置（３次元座標値）であ
る。次に、ステップＳ１１０９，Ｓ１１１０において、
三角パッチの生成、およびテクスチャマッピング、３次
元形状の貼り合わせ処理を実行して３次元画像を生成す
る。

【００６４】図１２は、本発明の３次元画像生成システ
ム構成の概念図を示した図である。市販のデジタルカメ
ラ、ＤＶカム、カメラ付きパソコン上のデジタルカメ
ラ、３Ｄ形状撮影（処理）モード付きのカメラ等によっ
て、建物などの撮影対象１２０１を異なる視点で複数回
撮影、あるいは徐々に角度を変化させて撮影したビデオ
データの撮影を行ない、それらの複数の撮影画像を標準
的なインターフェースを通じて、パソコンまたは専用ハ
ードウェア処理装置に入力し、撮影された複数画像に基
づいて撮影対象１２０１の特徴点設定、追跡を行い、因
子分解法などにより対象の３Ｄ形状とカメラ動きを復元
し、様々な表示装置で３Ｄ復元結果としてのテクスチャ
付き表示１２０２としてディスプレイなどの表示装置に
よって表示する。

【００６５】図１３は、図１２のシステムによって復元
した顔の３Ｄ形状及びカメラ撮影時の軌跡の実施例を示
す。図１３(a)は、顔の領域及び特徴点マップを示す。
図１３(b)は、特徴点追跡による結果を用いて、復元し
た顔の形状をある視点で見た時の一側面とカメラの軌跡
を示したものである。

【００６６】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。

【００６７】

【発明の効果】以上、説明したように、本発明の３次元
画像生成システムおよび３次元画像生成方法によれば、
以下のような様々な効果がもたらされる。（１）特定モ
デル、例えば顔の領域を自動的に抽出することが可能と
なり、顔検出、顔認識などにも応用できる。（２）特定
モデル、例えば顔の領域内の特徴点を容易に決めること
が可能となり、より密な３Ｄ形状データが得られる。
（３）画像内の顔の位置検出が可能であり、マップを各
フレームに設定することによる初期追跡により特徴点の
大体の位置を容易に決めることが可能となる。（４）濃
淡特徴があまりはっきりしない顔領域内の特徴点に対し
て、それらの特徴点の間の拘束条件によって確実で密な
特徴点追跡が可能となる。（５）特徴点の追跡がエラー
となる場合、その点と隣接する特徴点を用いて、エラー
追跡点の位置補正が可能となり、より高精度な追跡結果
が期待できる。特徴点の追跡結果を用いて、三次元形状
を復元し、テクスチャ画像をマッピングすることによっ
て、リアルな３次元形状表示が可能となる。

【図面の簡単な説明】

【図１】３次元画像処理における因子分解法を説明する
図である。

【図２】本発明の３次元画像生成システムのシステム構
成を示す図である。

【図３】本発明の３次元画像生成システムにおけるカメ
ラパラメータのキャリブレーション処理について説明す
る図である。

【図４】本発明の３次元画像生成システムの３次元処理
ユニットの詳細構成を示すブロック図である。

【図５】本発明の３次元画像生成システムの３次元モデ
ル生成領域抽出処理の具体例を示す図である。

【図６】本発明の３次元画像生成システムの３次元モデ
ル特徴点マップ生成処理の具体例を示す図である。

【図７】本発明の３次元画像生成システムにおける特徴
点追跡処理について説明する図である。

【図８】本発明の３次元画像生成システムにおける特徴
点追跡処理について説明するフロー図である。

【図９】本発明の３次元画像生成システムにおける特徴
点追跡処理におけるエラー補正処理について説明するフ
ロー図である。

【図１０】本発明の３次元画像生成システムにおける領
域設定、特徴点追跡処理について説明する図である。

【図１１】本発明の３次元画像生成システムにおける３
次元モデル生成処理について説明するフロー図である。

【図１２】本発明の３次元画像生成システムにおけるシ
ステム構成例を示す図である。

【図１３】本発明の３次元画像生成システムにおける特
徴点マップの生成、３次元形状復元処理の具体例を示す
図である。

【符号の説明】

２０１画像撮影ユニット２０２画像保存ユニット２０３画像転送ユニット２０４画像補正ユニット２０５３次元処理ユニット２０６３次元形状貼り合わせユニット２０７テクスチャマッピングユニット２０８３Ｄ画像表示ユニット２０５１３次元モデル生成領域抽出処理手段２０５２３次元モデル特徴点マップ生成処理手段２０５３３次元モデル追跡処理手段２０５４３次元モデル特徴点エラー補正処理手段

Claims

【特許請求の範囲】

【請求項１】複数の入力画像に関する特徴点追跡処理に
より３次元画像を生成する３次元画像生成システムにお
いて、入力画像中から選択される基準画像に基づいて、入力画
像上に３次元モデル生成領域を設定する３次元モデル生
成領域抽出処理手段と、前記３次元モデル生成領域に対応させた特徴点マップを
設定する３次元モデル特徴点マップ生成処理手段と、前記特徴点マップを基準画像以外の入力画像の各々に対
応付けて、特徴点の初期追跡を実行する特徴点追跡処理
手段と、前記初期追跡結果と、テンプレートマッチングによる特
徴点追跡結果とを比較して、テンプレートマッチングに
よる特徴点追跡結果のエラーを判別してエラーの補正を
実行する特徴点エラー補正処理手段と、を有することを特徴とする３次元画像生成システム。
【請求項２】前記３次元モデル生成領域抽出処理手段
は、入力画像上の色相特性を判別し、判別によって得られる
領域形状に基づいて、入力画像上に３次元モデル生成領
域を設定する構成を有することを特徴とする請求項１に
記載の３次元画像生成システム。
【請求項３】前記３次元モデル特徴点マップ生成処理手
段は、前記３次元モデル生成領域に、特徴点を頂点とする多角
形小領域からなる特徴点マップを生成する構成を有する
ことを特徴とする請求項１に記載の３次元画像生成シス
テム。
【請求項４】前記３次元モデル特徴点マップ生成処理手
段は、入力画像上の３次元モデル生成領域の特定モデルに対し
て適用する特徴点マップを記憶手段に保持し、該特徴点
マップを前記３次元モデル生成領域に設定する構成を有
することを特徴とする請求項１に記載の３次元画像生成
システム。
【請求項５】前記特徴点追跡処理手段は、基準画像の特徴点位置との対応位置を各画像に設定した
マップに基づいて初期追跡特徴点位置を求める処理を実
行する構成を有することを特徴とする請求項１に記載の
３次元画像生成システム。
【請求項６】前記特徴点エラー補正処理手段は、特徴点追跡結果座標値と初期追跡結果座標値との差分
と、予め定めた閾値とを比較して、該差分が閾値より大
である場合に、特徴点追跡結果をエラーと判定して、該
エラーと判定された特徴点を周囲の特徴点に基づいて補
正する補正処理を実行する構成を有することを特徴とす
る請求項１に記載の３次元画像生成システム。
【請求項７】前記特徴点エラー補正処理手段は、エラーと判定された特徴点の周囲に隣接する特徴点との
関係を拘束する特徴点マッブの形状に基づいて、テンプ
レートマッチングによる追跡特徴点位置の補正処理を実
行する構成であることを特徴とする請求項１に記載の３
次元画像生成システム。
【請求項８】複数の入力画像に関する特徴点追跡処理に
より３次元画像を生成する３次元画像生成方法におい
て、入力画像中から選択される基準画像に基づいて、入力画
像上に３次元モデル生成領域を設定する３次元モデル生
成領域抽出処理ステップと、前記３次元モデル生成領域に対応させた特徴点マップを
設定する３次元モデル特徴点マップ生成処理ステップ
と、前記特徴点マップを基準画像以外の入力画像の各々に対
応付けて、特徴点の初期追跡を実行する特徴点初期追跡
処理ステップと、前記初期追跡結果と、テンプレートマッチングによる特
徴点追跡結果とを比較して、テンプレートマッチングに
よる特徴点追跡結果のエラーを判別してエラーの補正を
実行する特徴点エラー補正処理ステップと、を有することを特徴とする３次元画像生成方法。
【請求項９】前記３次元モデル生成領域抽出処理ステッ
プは、入力画像上の色相特性を判別し、判別によって得られる
領域形状に基づいて、入力画像上に３次元モデル生成領
域を設定することを特徴とする請求項８に記載の３次元
画像生成方法。
【請求項１０】前記３次元モデル特徴点マップ生成処理
ステップは、前記３次元モデル生成領域に、特徴点を頂点とする多角
形小領域からなる特徴点マップを生成することを特徴と
する請求項８に記載の３次元画像生成方法。
【請求項１１】前記３次元モデル特徴点マップ生成処理
ステップは、入力画像上の３次元モデル生成領域の特定モデルに対し
て適用する特徴点マップを記憶手段に保持し、該特徴点
マップを前記３次元モデル生成領域に設定することを特
徴とする請求項８に記載の３次元画像生成方法。
【請求項１２】前記特徴点追跡処理ステップは、特徴点マップに基づいて特徴点座標位置を判定して初期
追跡特徴点位置を求める処理を実行することを特徴とす
る請求項８に記載の３次元画像生成方法。
【請求項１３】前記特徴点エラー補正処理ステップは、特徴点追跡結果座標値と初期追跡結果座標値との差分
と、予め定めた閾値とを比較して、該差分が閾値より大
である場合に、特徴点追跡結果をエラーと判定して、該
エラーと判定された特徴点を周囲の特徴点に基づいて補
正する補正処理を実行することを特徴とする請求項８に
記載の３次元画像生成方法。
【請求項１４】前記特徴点エラー補正処理ステップは、エラーと判定された特徴点の周囲に隣接する特徴点との
関係を拘束する特徴点マッブの形状に基づいて、テンプ
レートマッチングによる追跡特徴点位置の補正処理を実
行することを特徴とする請求項８に記載の３次元画像生
成方法。
【請求項１５】複数の入力画像に関する特徴点追跡処理
により３次元画像を生成する３次元画像生成処理をコン
ピュータ・システム上で実行せしめるコンピュータ・プ
ログラムを有形的に提供するプログラム提供媒体であっ
て、前記コンピュータ・プログラムは、入力画像中から選択される基準画像に基づいて、入力画
像上に３次元モデル生成領域を設定する３次元モデル生
成領域抽出処理ステップと、前記３次元モデル生成領域に対応させた特徴点マップを
設定する３次元モデル特徴点マップ生成処理ステップ
と、前記特徴点マップを基準画像以外の入力画像の各々に対
応付けて、特徴点の初期追跡を実行する特徴点追跡処理
ステップと、前記初期追跡結果と、テンプレートマッチングによる特
徴点追跡結果とを比較して、テンプレートマッチングに
よる特徴点追跡結果のエラーを判別してエラーの補正を
実行する特徴点エラー補正処理ステップと、を有することを特徴とするプログラム提供媒体。