JP2002032741A - ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 撮影画像列における任意の一枚画像を初期画
像とした高画質な３次元画像の生成を可能とする３次元
画像生成システムを提供する。 【解決手段】 撮影画像列における任意の一枚画像を初
期画像とし、その画像内の注目対象の特徴点（ウィンド
ウ）を指定し、追跡する手法を用いることによって、時
間的に連続している時系列画像だけでなく、時間的に連
続していない複数枚の画像を用いた３次元形状を推定し
３次元画像の生成を行なう。２次元画像上の特徴点に対
応する３次元空間における特徴点座標値（３次元形状デ
ータ）を確実に推定することが可能となり、修正された
特徴点データ列を用いて、複数枚の２次元画像を撮影す
るときのカメラ動き（姿勢、相対位置）を確実に推定す
ることが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数枚の２次元画
像から、その画像内に映されている注目対象の特徴点を
確実に追跡することによって、対象の３次元形状、及び
画像撮影時のカメラ動き（位置、姿勢）を推定する手
法、さらに、復元された３次元形状に高画質のテクスチ
ャ画像をマッピングし、表示することを可能とした３次
元画像生成システムおよび３次元画像生成方法に関す
る。

【０００２】

【従来の技術】光や画像（写真）等を利用して３次元形
状を捉える手法は、大別して能動的手法（Active visio
n）と受動的手法（Passive vision）に分けられる。能
動的手法としては、（1）レーザ光や超音波等を発し
て、対象物からの反射光量や到達時間を計測し、奥行き
情報を抽出する手法や、（2）スリット光などの特殊な
パターン光源を用いて、対象表面パターンの幾何学的変
形等の画像情報より対象形状を推定する方法や、(3)光
学的処理によってモアレ縞により等高線を形成させて、
３次元情報を得る方法などがある。一方、受動的手法と
しては、対象物の見え方、光源、照明、影情報等に関す
る知識を利用して、一枚の画像から３次元情報を推定す
る単眼立体視や、人間の目と似て、三角測量原理で各画
素の奥行き情報を確実に推定する二眼（または多眼）立
体視や、動画像シーンからオプティカルフロー等を検出
し、得られたオプティカルフローの場から奥行き情報を
推定する運動立体視などが一般的に知られている。

【０００３】今まで、工業用製品などの３次元形状を精
度よく計測するために、スリット光を用いてリアルタイ
ムで距離画像を求める実用的計測システムや、カメラ内
部とカメラ間の特性が高精度キャリブレーションされた
二眼（または多眼）ステレオシステムなどといった３次
元センシング装置（または３次元ディジタイザ）が幾つ
か発表されているが、計測対象や計測範囲の限定によっ
て、建物などの一般対象の３次元情報（または３Ｄモデ
ル）を手軽に取得することが困難である。

【０００４】一方、計測機器としての印象が強い３次元
センシング装置とは別に、一枚または複数枚の写真や時
系列画像から、それらの写真や画像の中に含まれている
３次元情報を復元し、３次元モデルを作り上げるイメー
ジベースド３Ｄモデリング手法が90年代頃から盛んに研
究されるようになっている。イメージベースド３次元モ
デリングとは、３次元シーンの光学像が２次元平面に写
像されたものを画像データとして捉え、その２次元画像
データから３次元シーンへの逆写像を行い、元の３次元
シーンの情報を復元するものである。このような不良設
定問題を解くためには、様々な仮定や前提条件が必要で
ある。今まで、３次元モデリング技術に関する数多くの
研究が行われてきたが、大きく分類すると、（1）モデ
ルベースの３Ｄモデリング手法、（2）ステレオ計測法
による３Ｄモデリング手法、（3）時系列画像を用いる
３Ｄ形状復元手法といったものが上げられる。

【０００５】モデルベースの３Ｄモデリング手法は、予
め用意されていた四方体や三角錐などの３Ｄ形状モデル
を用いて、一枚（または複数枚）の写真から建物のよう
な幾何学的な形状を持つ対象の３Ｄモデリングが可能と
なる技術であり、建物の３Ｄモデル構築や都市の景観シ
ミュレーション等への応用が考えられる[参考文献：(1)
P.E.Debevec, C.J.Taylor and J.Malik: Modeling and
Rendering Architecture from Photographs: A hybrid
geometry- and image-based approach, Computer Graph
ics Proceedings, SIGGRAPH 96, pp.11-20, (1996)、
(2)P.E.Debevec:Modeling and Rendering Architecture
from Photographs, Doctoral Thesis inComputer Scie
nce in the GRADUATE DIVISION of the University of
California, (1996)、(3)L.McMillan and Gray Bishop:
Plenoptic modeling: An image-based rendering syst
em. SIGGRAPH 95, (1995)]、しかしながら、この手法に
おいては、木などの不定形な対象の３Ｄモデリングが困
難であり、対象の大きさやカメラ位置情報等が得られな
い。

【０００６】ステレオ計測法による３Ｄモデリング手法
は、三角測量原理に基づいて、異なる視点で単眼カメラ
により撮影した複数枚（２枚以上）画像から注目対象の
３Ｄ形状モデルを作成するのである[参考文献：(4)H.C.
Longuet-Higgins: A computer algorithm for reconstr
ucting a scene from two projections, Nature,Vol.29
3, pp.133-135, (1981)、(5)Q.t.Luong and O.Faugera
s: Self-calibration of a moving camera from point
correspondences and fundamental matrices, Internat
ional Journal of Computer Vision, Vol.22, No.3, p
p.261-289, (1997)、(6)S.J.Maybank and O. Faugeras:
A theory of self-calibration of moving camera, In
ternational Journal of Computer Vision, Vol.8, No.
2, pp.123-151, (1992)、(7)Z.Zhang: Estimating moti
on and structure from correspondences of line segm
ents between two perspective images, IEEE Trans. P
AMI,Vol.17, No.12, pp.1129-1139, (1995)]。この場
合、観測画像から画像間の複数の対応点（７点以上）を
検出し、それらの対応点を用いて撮影時のカメラ位置情
報などのパラメータを推定することによって、幾何学的
形状を持つ対象だけでなく、曲面表面を持つ対象（不定
形なもの）の３次元形状の復元も可能であり、人の顔、
建物、景観などの一般対象の３Ｄ形状モデル作成への応
用が考えられるが、実際に、３Ｄ形状復元精度を向上す
るために、数多くの対応点を用いることが必要であり、
このような対応付け処理や安定な数値計算などが容易で
はない。

【０００７】また、歩きながらビデオカメラで撮影し記
録された時系列画像において、その撮影視点と対象との
間に相対的な動きがあれば、原理的にそれらの複数枚の
時系列画像から対象の３次元形状を復元することが可能
であるので、時系列画像を用いる様々な３Ｄ形状復元手
法が検討されるようになった。その一つの代表的な手法
としては、画像における対象の特徴（点、線等）を抽出
し、時系列画像における同一対象の特徴を追跡し、線形
的なカメラ射影モデルを用いることによって、対象の３
Ｄ形状を復元する手法が金出らにより提案された［参考
文献：(8)CarloTomasi: Shape and Motion from Image
Streams: a Factorization Method. CMU-CS-91-172, Se
p. 1991、(9)Conrad J. Poelman: A Paraperspective a
nd Projective Factorization Methods for Recovering
Shape and Motion. CMU-CS-95-173, (1995)、(10)Joao
Costeira and Takeo Kanade: A Multi-body Factoriza
tion Method for Motion Analysis. CMU-CS-TR-94-220,
(1994)、(11)ToshihikoMorita and Takeo Kanade: A S
equential Factorization Method for Recovering Shap
e and Motion from Image Streams. CMU-CS-94-158, (1
994)、(12)NaokiChiba and Takeo Kanade: A Tracker f
or Broken and Closely-Spaced Lines. CMU-CS-97-182,
Oct. (1997)］。この方法による３次元形状とカメラ動
き復元の概念図を図１に示す。

【０００８】撮影対象であるオブジェクトに対して複数
枚の異なる視点からのカメラ視点画像（ｔ＝１〜ｎ）を
撮影し、さらに、１つのカメラ視点画像、例えばｔ＝１
のカメラ視点画像に基づいて特徴点をいくつか取得す
る。さらに取得した特徴点に対応する位置を各カメラ視
点画像において判別して、計測マトリックス（Measurem
ent Matrix）を算出し、特異値の因子分解を行ない、カ
メラの動きＭに合わせた形状Ｓの生成処理を実行する。
図１は、異なる視点で撮影した複数枚の画像を用いて対
象の３次元形状とカメラの動きを復元する方法、及び手
順を示している。

【０００９】まず、カメラの視点を変えながら、対象を
撮影する。撮影したＦ枚の画像を｛ｆｔ（ｘ，ｙ）｜ｔ
＝１，．．．．，Ｆ｝と記し、その一枚目の画像ｆ１
（ｘ，ｙ）からＰ個の特徴点をウィンドウ内の分散評価
値などによって抽出し、Ｆ枚の画像にわたって追跡す
る。特徴点追跡によって得られた各フレーム上の特徴点
座標（Ｘｆｐ，Ｙｆｐ）を行列Ｗ（ここで計測行列と呼
ぶ）で表現することができる。そして、線形的な射影モ
デルを適用し、特異値分解法（ＳＶＤ）によって計測行
列Ｗを２つの直行行列Ｕ，Ｖ’と対角行列Σに分解する
ことができる。そこで、直行行列Ｕ，Ｖ’では、それぞ
れカメラの動き情報Ｍと対象の３次元情報Ｓが含まれて
いる。また、カメラの姿勢を表現する単位ベクトル
（ｉ，ｊ，ｋ）の拘束条件を用いると、ＭとＳを一意に
決めるための行列Ａが求められる。従って、カメラ動き
Ｍと対象の３次元形状Ｓが一意に決まることになる。

【００１０】一般的に、この方法は、対象の３次元形状
を高速に復元すると同時に、撮影カメラの３次元情報
(位置・姿勢・画角など)も復元することが可能である。
また、その手法を用いた３次元形状モデル作成方法に関
する特許も出願されている[特開平10−111934（株）オ
ージス総研： 3次元形状モデル作成方法及び媒体、特開
平10−31747三菱電機（株）： ３次元情報抽出装置及び
３次元情報抽出方法]。

【００１１】

【発明が解決しようとする課題】しかしながら、上述し
た従来手法は、特徴点を確実に追跡できることを前提条
件にしているが、その特徴点追跡は具体的にどう実現す
るか（または確実に追跡できない場合、どうすれば良い
か）があまり議論されていない。また、従来の様々な特
徴抽出法、またはそれらの手法の組み合わせを用いて
も、特徴追跡中の特徴点隠れ、消失、及びカメラの視点
変化によるパターン変形などの問題によって、実際に高
精度で確実な特徴点追跡が困難である。その他、カメラ
の特性による入力画像の幾何学的歪みなどによる３次元
形状推定結果への影響や、３次元画像を表示する際、少
ないテクスチャ画像で、いかに高速で高画質のテクスチ
ャ画像をマッピングする手法も検討されていない。さら
に、対象の全周３次元形状や３次元パノラマ形状を作成
するための方法や手段なども示されていない。

【００１２】本発明は、従来の３次元形状推定法におけ
る様々な課題を検討し、従来のものに比べて、より高精
度な３次元形状を効率的に推定する手法と、対象の全周
３次元形状または３次元パノラマ形状を作成する方法
と、その３Ｄ画像を表示するための高画質テクスチャマ
ッピングを可能とした３次元画像生成システムおよび３
次元画像生成方法を提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、３次元
形状モデルにテクスチャ画像を貼り付けることにより３
次元画像を生成する３次元画像生成システムにおいて、
前記３次元画像生成システムは、３次元処理手段を有
し、該３次元処理手段は、動画あるいは静止画撮影手段
によって撮影された撮影データに基づいて取得される選
択画像を入力し、入力された複数の選択画像中から選定
される１つの基準画像に設定したテンプレート内での特
徴点選択処理、選択された特徴点に対応する基準画像以
外の選択画像の対応する特徴点の追跡である特徴点追跡
処理を実行することにより３次元データを生成する構成
を有することを特徴とする３次元画像生成システムにあ
る。

【００１４】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元処理手段は、前記特
徴点選択処理において、特定モデルに対して適用可能な
ウィンドウ設定テンプレートを適用して、複数のフレー
ム画像に対して特徴点追跡用ウィンドウの設定処理を実
行する構成を有することを特徴とする。

【００１５】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元処理手段は、前記特
徴点選択処理において、基準画像に設定したテンプレー
ト内での特定ウィンドウ内の画像データに対する輝度値
変化、分散値、あるいは特徴量のいずれかを評価値とし
て取得し、取得した評価値を予め定めた閾値と比較する
ことによって特徴点として選択するか否かの判定処理を
実行する構成を有することを特徴とする。

【００１６】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元処理手段は、前記特
徴点追跡処理において、テンプレートマッチングによる
特徴点追跡処理において取得される特徴点追跡結果座標
値と特徴点マップを用いた初期追跡結果座標値との差分
と、予め定めた閾値とを比較して、該差分が閾値より大
である場合に、テンプレートマッチングによる特徴点追
跡結果をエラーと判定して、該エラーと判定された特徴
点を周囲の特徴点に基づいて補正する補正処理を実行す
る構成を有することを特徴とする。

【００１７】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元処理手段は、動画像
が入力された場合に、動画像を時系列の複数の静止画に
分離して、前記選択画像を選択する構成であることを特
徴とする。

【００１８】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元画像生成システム
は、さらに、ディスプレイに特徴点設定対象画像を表示
し、正確な特徴点位置を設定または修正可能としたビジ
ュアルインタフェースを有することを特徴とする。

【００１９】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元画像生成システム
は、さらに、カメラ内部パラメータによる画像補正処理
手段を有し、前記動画あるいは静止画撮影手段によって
撮影された撮影データは、該画像補正処理手段におい
て、カメラ内部パラメータに基づく補正処理を実行し、
該補正処理後の画像データについて前記３次元処理手段
による処理を実行する構成としたことを特徴とする。

【００２０】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元画像生成システム
は、３次元画像を構成するパッチ面毎に最も解像度の高
い画像を選択して、選択画像を各パッチ面に適用するテ
クスチャ画像としてテクスチャマッピングを実行するテ
クスチャマッピング手段を有することを特徴とする。

【００２１】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元画像生成システム
は、３次元画像を構成するパッチ面毎に仮想視点に近い
２つの撮影画像を選択して、選択画像の合成画像を各パ
ッチ面に適用するテクスチャ画像としてテクスチャマッ
ピングを実行するテクスチャマッピング手段を有するこ
とを特徴とする。

【００２２】さらに、本発明の３次元画像生成システム
の一実施態様において、前記３次元画像生成システム
は、３次元画像において前記特徴点を頂点とする三角領
域にパッチ面を設定し、該三角パッチ面にテクスチャ画
像を貼り付けるテクスチャマッピングを実行するテクス
チャマッピング手段を有することを特徴とする。

【００２３】さらに、本発明の第２の側面は、３次元形
状モデルにテクスチャ画像を貼り付けることにより３次
元画像を生成する３次元画像生成方法において、動画あ
るいは静止画撮影手段によって撮影された撮影データに
基づいて取得される選択画像を入力する画像入力ステッ
プと、入力された複数の選択画像中から選定される１つ
の基準画像に設定したテンプレート内での特徴点選択を
実行する特徴点選択処理ステップと、選択された特徴点
に対応する基準画像以外の選択画像の対応する特徴点の
追跡である特徴点追跡処理を実行する特徴点追跡処理ス
テップと、を有することことを特徴とする３次元画像生
成方法にある。

【００２４】さらに、本発明の３次元画像生成方法の一
実施態様において、前記特徴点選択処理ステップは、特
定モデルに対して適用可能なウィンドウ設定テンプレー
トを適用して、複数のフレーム画像に対して特徴点追跡
用ウィンドウの設定処理を実行することを特徴とする。

【００２５】さらに、本発明の３次元画像生成方法の一
実施態様において、前記特徴点選択処理ステップは、基
準画像に設定したテンプレート内での特定ウィンドウ内
の画像データに対する輝度値変化、分散値、あるいは特
徴量のいずれかを評価値として取得し、取得した評価値
を予め定めた閾値と比較することによって特徴点として
選択するか否かの判定処理を実行することを特徴とす
る。

【００２６】さらに、本発明の３次元画像生成方法の一
実施態様において、前記特徴点追跡処理ステップは、テ
ンプレートマッチングによる特徴点追跡処理において取
得される特徴点追跡結果座標値と特徴点マップを用いた
初期追跡結果座標値との差分と、予め定めた閾値とを比
較して、該差分が閾値より大である場合に、テンプレー
トマッチングによる特徴点追跡結果をエラーと判定し
て、該エラーと判定された特徴点を周囲の特徴点に基づ
いて補正する補正処理を実行する構成を有することを特
徴とする。

【００２７】さらに、本発明の３次元画像生成方法の一
実施態様において、前記３次元画像生成方法は、動画像
が入力された場合に、動画像を時系列の複数の静止画に
分離して、前記選択画像を選択する。

【００２８】さらに、本発明の３次元画像生成方法の一
実施態様において、前記３次元画像生成方法は、さら
に、ディスプレイに特徴点設定対象画像を表示し、正確
な特徴点位置を設定または修正するステップを含むこと
を特徴とする。

【００２９】さらに、本発明の３次元画像生成方法の一
実施態様において、前記３次元画像生成方法は、さら
に、前記動画あるいは静止画撮影手段によって撮影され
た撮影データを画像補正処理手段において、カメラ内部
パラメータに基づく補正処理を実行するステップを含
み、該補正処理後の画像データについて前記３次元処理
手段による処理を実行することを特徴とする。

【００３０】さらに、本発明の３次元画像生成方法の一
実施態様において、前記３次元画像生成方法は、３次元
画像を構成するパッチ面毎に最も解像度の高い画像を選
択して、選択画像を各パッチ面に適用するテクスチャ画
像としてテクスチャマッピングを実行することを特徴と
する。

【００３１】さらに、本発明の３次元画像生成方法の一
実施態様において、前記３次元画像生成方法は、３次元
画像を構成するパッチ面毎に仮想視点に近い２つの撮影
画像を選択して、選択画像の合成画像を各パッチ面に適
用するテクスチャ画像としてテクスチャマッピングを実
行することを特徴とする。

【００３２】さらに、本発明の３次元画像生成方法の一
実施態様において、前記３次元画像生成方法は、３次元
画像において前記特徴点を頂点とする三角領域にパッチ
面を設定し、該三角パッチ面にテクスチャ画像を貼り付
けるテクスチャマッピングを実行することを特徴とす
る。

【００３３】さらに、本発明の第３の側面は、３次元形
状モデルにテクスチャ画像を貼り付けることにより３次
元画像を生成する３次元画像生成処理をコンピュータ・
システム上で実行せしめるコンピュータ・プログラムを
有形的に提供するプログラム提供媒体であって、前記コ
ンピュータ・プログラムは、動画あるいは静止画撮影手
段によって撮影された撮影データに基づいて取得される
選択画像を入力する画像入力ステップと、入力された複
数の選択画像中から選定される１つの基準画像に設定し
たテンプレート内での特徴点選択を実行する特徴点選択
処理ステップと、選択された特徴点に対応する基準画像
以外の選択画像の対応する特徴点の追跡である特徴点追
跡処理を実行する特徴点追跡処理ステップと、を有する
ことことを特徴とするプログラム提供媒体にある。

【００３４】本発明の第３の側面に係るプログラム提供
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。

【００３５】このようなプログラム提供媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。

【００３６】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づく詳細な
説明によって明らかになるであろう。

【００３７】

【発明の実施の形態】本発明の３次元画像生成システム
および３次元画像生成方法について、以下詳細に説明す
る。まず、図２に、本発明の３次元画像生成システム構
成の概念図を示す。市販のデジタルカメラ、ＤＶカム、
カメラ付きパソコン上のデジタルカメラ、３Ｄ形状撮影
（処理）モード付きのカメラ等によって、建物などの撮
影対象２０１を異なる視点で複数回撮影、あるいは徐々
に角度を変化させて撮影したビデオデータの撮影を行な
い、それらの複数の撮影画像を標準的なインターフェー
スを通じて、パソコンまたは専用ハードウェア処理装置
に入力し、撮影された複数画像に基づいて撮影対象２０
１の３次元形状の推定処理を行う。また、推定された３
次元形状データに高画質テクスチャ画像をマッピングし
た結果を、テクスチャ付き表示２０２としてディスプレ
イなどの表示装置によって表示する。

【００３８】図３は、本発明の３次元画像生成システム
の構成を示すブロック図である。本発明の３次元画像生
成システムでは、３次元形状推定及びその３次元画像表
示の各処理を実行する。本システムは、市販のデジタル
カメラ、ＤＶカム、カメラ付きパソコン上のデジタルカ
メラ、３Ｄ形状撮影（処理）モード付きのカメラ等によ
って注目対象を撮影する画像撮影ユニット３０１、撮影
手段に対応して、撮影された複数枚画像をパソコンの内
部メモリまたはカメラに付属する記録媒体（市販のメモ
リカード、磁気テープ、レーザー記録ディスクなど）に
保存する画像保存ユニット３０２、撮影手段によって、
カメラ側の記録媒体に保存されていた画像をUSB、i.Lin
k、メモリカードアダプタなどのような標準インターフ
ェースを装備するパソコンや専用装置などに転送できる
画像転送ユニット３０３、予めに用意されていた画像パ
ターン（例えば、チェッカーパターンなど）を用いて、
カメラの内部パラメータを求めて、それらのパラメータ
を用いて、入力画像の幾何学的歪みなどを取り除く画像
補正ユニット３０４、パソコンや専用装置によって、前
述の画像補正処理後の入力画像から注目対象の３次元形
状を推定する３次元処理ユニット３０５、同一対象に対
して、異なる視点で撮影した画像列から推定された幾つ
かの３次元形状を貼あわせて、その対象の全周３次元形
状を作成したり、違う対象の複数個の３次元形状を貼り
合わせて、３次元パノラマ形状を作成する３次元形状貼
り合わせユニット３０６、推定された３次元形状データ
（三角パッチ）に高画質のテクスチャ画像をマッピング
するテクスチャマッピングユニット３０７、テクスチャ
画像付きの３次元形状データを標準的なVRMLファイルフ
ォーマットで保存され、それをローカル、またはネット
ワークを通して表示する処理を実行する３Ｄ画像表示ユ
ニット３０８から構成されるものである。以下、各ユニ
ットの詳細について述べる。

【００３９】画像撮影ユニット３０１は、市販のデジタ
ルカメラ、ＤＶカム、カメラ付きパソコン上のデジタル
カメラ、３Ｄ形状撮影（処理）モード付きのカメラ等の
センシングデバイスで対象を撮影するものである。

【００４０】画像保存ユニット３０２は、カメラで撮影
した画像をメモリカード、磁気テープ、レーザーディス
ク（登録商標）などの記録媒体に保存するものである。
カメラ付きパソコンに対しては、撮影した画像を直接に
内部メモリまたはハードディスクなどの記録媒体に保存
することも可能である。

【００４１】画像転送ユニット３０３は、カメラ側の記
録媒体に保存されていた画像をUSB、i.Link、メモリカ
ードアダプタなどの標準インターフェースを通して、パ
ソコンや専用３次元処理装置などに転送するものであ
る。画像補正ユニット３０４は、予めに用意されていた
既知の画像パターン（例えば、チェッカーパターンな
ど）を同一のカメラで撮影し、カメラの内部パラメータ
を求める。そして、撮影した複数枚の画像（入力画像）
に対して、カメラの内部パラメータによる画像補正処理
を行い、入力画像の幾何学的歪みなどを取り除く処理を
実行する。

【００４２】画像補正ユニット３０４で実行されるカメ
ラ内部パラメータのキャリブレーション手法について図
４のフローを用いて説明する。

【００４３】まずステップＳ４０１で、特定の形状パタ
ーンが設定されている特徴パターン（例えば、図４右下
に示すようなチェッカパターン）を撮影し、それをＩｍ
（ｘ，ｙ）とする。次に、ステップＳ４０２で、撮影画
像Ｉｍ（ｘ，ｙ）から理想的な合成画像Ｉｍ２（ｕ，
ｖ）を作成する。なお、撮影画像と合成画像との関係：
合成画像を射影変換行列Ｈにより変換した画像をカメラ
内部の歪パラメータによって変形したものが撮影画像と
なる。さらに、ステップＳ４０３で、撮影画像と合成画
像との誤差を評価し、その誤差が最小となるように、カ
メラ内部の歪パラメータを推定する。なお、撮影画像と
合成画像との誤差は、以下に示す式によって求められ
る。

【００４４】

【数１】 Ｅ＝Σ｛Ｉｍ１（ｘ，ｙ）−Ｉｍ２（ｕ，ｖ）｝²

【００４５】ここで、推定されるカメラ内部パラメータ
とは、歪中心ｃｐ，ｃｑ（distortion center）、アス
ペクト比ｓｖ(aspect ratio)、カッパκ（distortion c
oefficient）である。画像補正ユニット３０４は、これ
らのカメラ内部パラメータを用いて、撮影画像の補正を
実行する。

【００４６】３次元処理ユニット３０５は、複枚数の画
像から注目対象の３次元形状とカメラ動きを復元する処
理を実行するものである。その詳細は、次の図５を参照
しながら説明する。

【００４７】図５は、画像補正ユニット３０４による補
正処理および、補正処理後の複数枚画像に基づく３次元
処理ユニット３０５における３次元形状とカメラ動きの
推定処理手順を中心として示すフローである。

【００４８】ステップＳ５０１は、画像撮影ユニット３
０１、画像保存ユニット３０２、画像転送ユニット３０
３による画像撮影、転送処理であり、ステップＳ５０２
は、上述した画像補正ユニット３０４で実行される画像
補正処理ステップである。

【００４９】ステップＳ５０３の特徴選択ステップは、
入力画像における任意の一枚画像を用いて、その画像内
の注目対象に対して、３次元形状表現に必要な特徴点、
すなわち複数の画像において共通部分であると識別可能
なポイントを選択し、選択された特徴点位置を中心とす
る特徴ウィンドウを作成する。ここでの特徴ウィンドウ
選択は自動または手動によって行われる。なお、本発明
のシステムでは、特徴点選択処理において、人の顔のよ
うに、予めその特徴点がどこにあるかが把握可能である
ような特定モデルに対する処理では、その特定モデルに
対して適用可能なウィンドウ設定テンプレートを適用し
て、複数のフレーム画像に対して特徴点追跡用ウィンド
ウの設定処理を実行する。

【００５０】図６に特徴点抽出処理の処理フローを示
す。ステップＳ６０１において、複数枚の撮影画像から
１枚の基準画像を入力し、３次元モデルを生成する計測
対象を選択する。ステップＳ６０２では、計測対象のモ
デルに特徴点の自動選択が可能なモデル、例えば人の顔
のような一定の特徴部分を確実に有するモデルがあるか
否かを判定する。ある場合は、ステップＳ６０３におい
て、モデルに対して、図６左に示すような所定の大きさ
の矩形ウィンドウを割り付けてこれらのウィンドウの所
定ウィンドウ、例えば目の部分等を特徴ウィンドウとし
て設定する。ない場合は、ステップＳ６０４で、測定対
象に任意に割り付けたウィンドウ内の特徴量評価による
特徴点自動抽出処理を実行する。特徴ウィンドウは次の
ステップで特徴追跡処理を行う時、適切であるかどうか
（または追跡可能かどうか）を評価して決定することが
必要となる。このために、ウィンドウの輝度値変化率、
特徴量、分散値などの評価基準値を算出し、算出した輝
度値変化率、特徴量、分散値などの評価基準値と閾値と
を比較して評価する。なお、特徴量の評価は、特徴点を
含むウィンド内の画素データについて、以下の式によっ
て輝度値変化率または特徴量または分散値を求め、これ
らの値のいずれかと予め定めた閾値とを比較して実行す
る。

【００５１】

【数２】

【００５２】図７に上記各式を用いた特徴量評価につい
て説明する図を示す。図７（ａ）は撮影された測定対象
の建物であり、その一部にウィンドウ７０１を設定し、
設定ウィンドウ（Ｎｘ×Ｎｙ）が特徴追跡処理を行う
時、適切であるかどうか、追跡可能特徴量を持つか否か
を上記各式で算出される輝度値変化率、特徴量、分散値
などの評価基準値と閾値とを比較して評価する。このよ
うな評価によって特徴点として設定するウィンドウを選
択し、ステップＳ６０５では、特徴点追跡に必要な点の
みを選択して、特徴点抽出を完了（Ｓ６０６）する。

【００５３】図５のフローに戻り、説明を続ける。ステ
ップＳ５０４、Ｓ５０５は上述の説明に対応する。ステ
ップＳ５０５の閾値との比較により特徴量が十分な特徴
を有するものではないと判定された場合は、ステップＳ
５０６で特徴点とウィンドの再選択処理を実行して再評
価を行なう。このようにして、確実に追跡可能な特徴ウ
ィンドウを選択する。

【００５４】ステップＳ５０７では、選択された特徴ウ
ィンドウに対して、複数枚の画像に渡って、各画像にお
ける同一の特徴ウィンドウ（特徴ウィンドウの対応付
け）を探索する。すなわち、特徴ウインドウの追跡処理
を実行する。

【００５５】特徴ウィンドウの追跡処理について、図８
のフローを用いて説明する。図８のステップＳ８０１で
は、特徴点の数、画像枚数を設定する。この例の場合は
特徴点＝ｎ、画像枚数＝Ｆである。以下、各特徴点、ウ
ィンドウ、各画像について、ステップＳ８０４〜８０６
の処理を実行する。ステップＳ８０４は、初期画像にお
ける特徴ウィンドウを基準テンプレートとして、他の画
像において設定された探索領域内で相似パターンを探索
して相似性評価値を算出し、これを予め定めた閾値と比
較（Ｓ８０５）して、基準を満たすもののみを特徴点と
して識別して保存するものである。評価値が閾値以下で
あった場合には、初期画像の基準テンプレートを更新
（Ｓ８０６）して、更新されたテンプレートに基づいて
同様の評価を実行する。すべての特徴点（ｎ）、画像
（Ｆ）について処理が完了すると特徴点追跡が完了（Ｓ
８０９）する。

【００５６】顔を３次元画像生成モデルとした場合の特
徴点選択、追跡処理について、図９、１０を用いて説明
する。図９の上段（ａ）に示すように、複数の画像とし
てフレーム１〜１２が入力され、この中から基準画像を
１つ、例えばフレーム１を選択して、基準フレーム上に
テンプレートを設定する。基準画像に設定したテンプレ
ートに対応する画像が撮り込まれている他のフレーム画
像領域に同様の枠を設定する（図９（ｂ））。さらに、
基準画像のテンプレートに矩形領域ウィンドウによって
構成される特徴点マップを設定し、他のフレーム画像に
おいて、基準画像の特徴点に対する相似パターンを探索
して相似性評価値を算出し、これを予め定めた閾値と比
較して、基準を満たすもののみを特徴点として識別して
保存する。なお、本発明のシステムでは、特徴点選択処
理において、人の顔のように、予めその特徴点がどこに
あるかが把握可能であるような特定モデルに対する処理
では、その特定モデルに対して適用可能なウィンドウ設
定テンプレート（図９（ｃ）を適用して、複数のフレー
ム画像に対して特徴点追跡用ウィンドウの設定処理を実
行する。

【００５７】特徴点追跡について、オクルージョンなど
の原因で誤ってしまった特徴点追跡エラー処理を含めた
詳細処理フローを図１０に示す。図１０のステップＳ１
００１では、Ｆ枚の画像を入力し、ステップＳ１００２
では、１枚の画像を基準画像として選択して、例えばＰ
個の特徴点マップを作成する。ステップＳ１００３で
は、特徴点の領域を識別可能とするテンプレートを設定
する。

【００５８】次に、各特徴点、各フレーム画像につい
て、基準画像に設定したテンプレートを用いた特徴点追
跡処理（Ｓ１００６）を実行する。追跡結果の評価は、
ステップＳ１００７に示すように、Ｅ＝｜追跡結果（座
標値）−初期追跡結果（座標値）｜により、座標値の誤
差を算出し、これを予め定めた閾値と比較（Ｓ１００
８）し、基準を満たすもののみを正当な特徴点追跡結果
であるとして保存（Ｓ１００９）する。

【００５９】具体的には、テンプレートマッチングを用
い、例えば正規化相関によってマッチングした点を追跡
結果（座標値）とし、前述の特徴点マップによる追跡結
果を初期追跡結果（座標値）として、その差分を算出
し、算出した差分と閾値とを比較する。その比較におい
て基準を満たさない場合は、ステップＳ１０１３におい
て、エラーとして識別された特徴点であることを示すラ
ベルを追跡結果に対して設定する。これらの処理をすべ
ての特徴点と画像フレームに対して実行すると、エラー
のラベルの付与された追跡点が抽出され、これをステッ
プＳ１０１１において、エラー追跡点の周囲の特徴点と
の関連によってエラーの付加された追跡結果を補正す
る。図１０（ｃ）に示すように、追跡結果の周囲に正し
く追跡された特徴点があるので、これらを用いて、エラ
ーのラベルづけのなされた追跡点の補正を行なう。

【００６０】図１１に一般的な測定対象、例えばビデオ
カメラで撮影した連続画像等を入力した場合における特
徴点追跡処理フローを示す。まず、ステップＳ１１０１
において、時系列画像（ｘ，ｙ，ｔ）を入力する。ｔは
時間経過を示す。

【００６１】ステップＳ１１０２において、基準画像を
１つ（例えばｔ＝１）選択し、基準画像中から特徴パタ
ーンを抽出する。次にステップＳ１１０３において基準
画像以外の画像を順次選択し、ステップＳ１１０４にお
いて、探索領域を設定し、正規化相間によるパターンマ
ッチング（Ｓ１１０５）を行ない、予め定めた閾値との
比較（Ｓ１１０６）を実行して、十分な相関が得られた
場合は、ステップＳ１１１２からステップＳ１１０３に
進み、順次フレームを更新して次の特徴点追跡を実行す
る。

【００６２】ステップＳ１１０６において、特徴点の相
関が許容範囲以下であると判定された場合は、ステップ
Ｓ１１０７、Ｓ１１１０により、探索領域の拡大を実行
する。探索領域の拡大が閾値に達した場合は、ステップ
Ｓ１１０８で、基準フレームを更新して新たなフレーム
で特徴点追跡処理を実行する。このような処理により、
入力画像の各フレームにおける特徴点追跡が確実に実行
される。

【００６３】なお、上述の特徴点追跡処理の前処理とし
て、測定対象のおおまかな移動量を求める処理を実行し
てもよい。特徴点追跡処理を簡潔にまとめたフローを図
１２に示す。図１２のステップＳ１２０１では、初期画
像（基準画像）から、注目対象となる領域を選択してテ
ンプレートを設定する。ステップＳ１２０２では、複数
枚の画像に対してマッチング処理を実行し、各画像にお
ける注目対象の全体移動量を算出する。ステップＳ１２
０３において、移動量を探索領域の設定に利用する。こ
のようにおおまかな移動量を求めることにより特徴点追
跡処理の際の探索領域を限定して設定することが可能と
なる。

【００６４】このような処理により、入力された複数フ
レームにおける特徴点追跡が効率的に実行される。図５
の処理フローに戻り、３次元画像の生成処理について説
明を続ける。上述した特徴点追跡処理は、ステップＳ５
０７〜Ｓ５０９の処理に対応するものである。これらの
処理は、すなわち、相似性評価によって最も評価値の高
いものを同一の特徴ウィンドウとし、その時の特徴点位
置（座標値）を保存する処理である。追跡処理の速度と
精度を向上するために、注目対象の全体領域によるマッ
チング処理結果を利用した探索領域の自動設定が適用で
きる。すなわち、特徴追跡の前処理として、注目対象の
全体領域を用いるマッチング処理を行い、画像間の特徴
ウィンドウのおおよその移動量を算出し、探索領域の設
定に使用する。このような処理によって、より高速で確
実な特徴追跡が可能となる。

【００６５】ところで、前述の追跡処理を用いても、完
全に正確な特徴点位置を得ることが困難である。そこ
で、追跡された特徴点位置が正しいかどうかをチェック
する手順が必要となり、特徴点位置修正モードが導入す
る。つまり、エラーとして追跡された点があれば、エラ
ー修正モード（手動）によって、そのエラー追跡点の位
置（座標値）を修正する。これは、ビジュアルインタフ
ェースにより、ディスプレイに基準画像、特徴点設定対
象画像のそれぞれにテンプレートに対応するウィンドウ
を表示し、正確な特徴点位置をユーザが設定可能とする
ものである。ユーザによる画面の確認により、正確な特
徴点の入力、修正が可能となる。

【００６６】入力画像上の特徴点をチェックし、全ての
特徴点位置が正しく修正されたら、３次元形状推定処理
（Ｓ５１０）を行い、注目対象の３次元形状と撮影時の
カメラ動き（位置、姿勢）を推定し、それらの結果を保
存（Ｓ５１１）する。ここで、３次元形状データとは、
２次元画像上の注目対象における特徴点を３次元空間へ
逆射影する時の特徴点位置（３次元座標値）である。次
に、ステップＳ５１２において、複数の３次元形状の貼
り合わせ処理を実行して３次元画像を生成する。

【００６７】３次元形状の貼り合わせ処理は、図３の３
次元形状貼りあわせユニット３０７において実行され
る。３次元形状貼りあわせユニット３０７は、同一対象
に対して、異なる視点で撮影した画像列から推定された
幾つかの３次元形状に対して、その共通の３次元特徴点
を対応付けて、形状を貼りあわせることによって、その
対象の全周３次元形状を作成したり、また、違う撮影対
象に対しても、推定された幾つかの３次元形状におい
て、共通の３次元特徴点があれば、それらの特徴点を対
応付けさせることによって、３次元パノラマ形状を作成
する。図１３に、３次元形状貼りあわせ手法の手順を示
す。

【００６８】ステップＳ１３０１は、入力した複数の異
なる角度から撮影した測定対象画像から取得される３次
元形状Ｓ１の生成入力ステップ、ステップＳ１３０２
は、入力した複数の異なる角度から撮影した測定対象画
像から取得される３次元形状Ｓ２の生成入力ステップで
ある。ステップＳ１３０３は、これらの３次元形状Ｓ
１、Ｓ２の特徴点の対応付けを実行し、ステップＳ１３
０４において、形状を貼りあわせることによって、その
対象の３次元形状を作成する。

【００６９】なお、図３に示すテクスチャマッピングユ
ニット３０７は、複数枚の画像から推定された対象の３
次元形状データを用いて、三角パッチ（メッシュ）を作
成し、それらのパッチに高画質テクスチャ画像をマッピ
ングする。図１４〜図１６に、三角パッチ作成法、及び
高画質テクスチャマッピング手法を示す。

【００７０】図１４は、測定対象の特徴点を抽出し
（ａ）テクスチャ画像を貼りつける領域としての三角パ
ッチを設定し（ｂ）、三角パッチ（メッシュ）の領域を
３Ｄ形状として表示（ｃ）した図を示す。三角パッチ
（メッシュ）は、２次元画像上の特徴点位置を確認しな
がら作成する。また、それらの２次元画像上の特徴点と
３次元形状データ（３次元空間における特徴点の座標）
との対応付けによって、３次元形状データの間に三角パ
ッチが自動的に作成される。図１４（ｃ）は、複数枚の
２次元画像から推定された３次元形状のメッシュ表示を
示すものである。本システムでは、３次元画像において
特徴点を頂点とする三角領域にパッチ面を設定し、該三
角パッチ面にテクスチャ画像を貼り付けるテクスチャマ
ッピングを実行する。

【００７１】図１５は、三角パッチに高画質テクスチャ
画像をマッピングする二つの手法（実施例）を示す。方
法(a)は、仮想視点Eから物体表面を見た時、その近傍の
撮影視点V1とV2からの両方の画像Im1とIm2に物体表面が
写っているとすると、その時物体表面の濃淡値は、画像
Im1とIm2の間で対応する画素値を角度θ１とθ２で内分
した値で決めるのである。このように、仮想視点の位置
に従って、マッピングされる画像が徐々に変化していく
ことによって、高画質テクスチャ表示が可能となり、３
次元形状として再現できていない部分も視点変更による
見えの変化を再現できるといった特徴がある。

【００７２】一方、高速表示やネットワーク上の表示を
考えると、マッピングされるテクスチャ画像のデータ量
を減らす必要がある。そこで、図１５(b)は、パッチ面
ごとに最も解像度の高い画像を選択し、作成された一枚
の高画質のテクスチャ画像を用いるマッチング手法を示
した。その時、作成されたテクスチャ画像は、パッチ毎
に異なる入力画像を用いるので、撮影時の照明の差によ
って各三画パッチ間の輝度値の違いや境界部分の不連続
性などが生じるという問題がある。その問題を解決する
ために、入力画像に対して輝度値の正規化処理やパッチ
境界部分の平滑化処理などを行った。

【００７３】図１５（ａ）は、３次元モデルに対する仮
想視点にもっとも近い２つの撮影視点を選択して、これ
らの撮影視点画像のＲＧＢ値を合成してその領域のテク
スチャ画像とするテクスチャマッピング処理方法であ
る。例えば、撮影視点１と撮影視点２の画像が合成画像
として選択された場合、撮影視点１と仮想視点とのなす
角度をθ１とし、撮影視点２と仮想視点とのなす角度を
θ２として、α＝θ１／（θ１＋θ２）としたとき、仮
想視点のＲＧＢ値＝撮影視点１のＲＧＢ値×（１−α）
＋撮影視点２のＲＧＢ値×αとする。

【００７４】図１５（ｂ）は、テクスチャ画像を貼り付
けるパッチ面の法線ベクトルを求めて、法線ベクトルに
ネットも近い撮影視点ベクトルを持つ撮影画像、すなわ
ちパッチ面に対して最も正対している撮影画像を選択し
てテクスチャ画像とするものである。

【００７５】これら、各種のテクスチャマッピングによ
り、図１６に示す３次元モデル画像が生成される。図１
６（ｃ）は図１５（ａ）のテクスチャマッピング手法を
適用したもの、図１６（ｄ）は図１５（ｂ）のテクスチ
ャマッピング手法を適用したもの、図１６（ｅ）は１枚
画像によるテクスチャマッピング手法を適用したもので
ある。

【００７６】なお、図３に示すカメラ座標表示手段３０
９は、３次元形状推定と同時に得られた画像撮影時のカ
メラ動き（位置、姿勢）情報を表示する。図１７は、そ
の実施例を示した。その結果は、ＣＧと実写映像との融
合に応用される。また、３Ｄ画像表示ユニット３０８
は、前述のテクスチャ付きの３次元画像を標準的なVRML
ファイルフォーマットで保存し、それをローカルまたは
ネットワークを通して、標準的なブラウザにより表示す
るのである。

【００７７】図１８は、前述の手法と手順によって、市
販のビデオカメラ、デジタルカメラ等で撮影した複数枚
の画像から対象の３次元形状を推定し、それに高画質テ
クスチャ画像をマッピングする処理フローを示した。

【００７８】図１８の処理フローについて説明する。ス
テップＳ１８０１は、ビデオカメラによる同化撮影およ
び入力ステップ、ステップＳ１８０２は、ＤＶカムによ
る記録映像撮影および入力ステップである。ステップＳ
１８０３，Ｓ１８０４は、それぞれＤＶ入出力端子、あ
るいはメモリーカードを介してＰＣに対する映像データ
を入力するステップである。

【００７９】ステップＳ１８０５は、ＰＣに入力された
動画像をＰＣ内の記憶媒体、例えばハードディスクに格
納するステップであり、ステップＳ１８０６は、格納さ
れた動画データを静止画に変換するステップである。こ
の処理により、時系列の複数の静止画が得られる。すな
わち、本発明のシステムでは、動画像を時系列の複数の
静止画に分離して、特徴点の対応付けを実行する画像を
選択する。

【００８０】以下の処理は、先に説明した図６の処理フ
ローと同様であり、ステップＳ１８０７で、計測対象の
モデルに特徴点の自動選択が可能なモデル、例えば人の
顔のような一定の特徴部分を確実に有するモデルがある
か否かを判定し、ある場合は、ステップＳ１８０８にお
いて、モデルに対して、所定の大きさの矩形ウィンドウ
を割り付けてこれらのウィンドウの所定ウィンドウ、例
えば目の部分等を特徴ウィンドウとして設定する。ない
場合は、ステップＳ１８０９で、測定対象に任意に割り
付けたウィンドウ内の特徴量評価による特徴点自動抽出
処理を実行する。特徴ウィンドウは次のステップで特徴
追跡処理を行う時、適切であるかどうか（または追跡可
能かどうか）を評価して決定することが必要となる。こ
のために、ウィンドウの輝度値変化率、特徴量、分散値
などの評価基準値を算出し、算出した輝度値変化率、特
徴量、分散値などの評価基準値と閾値とを比較して評価
する。このような評価によって特徴点として設定するウ
ィンドウを選択し、ステップＳ１８１０では、特徴点追
跡に必要な点のみを選択して、特徴点抽出を完了（Ｓ１
８１１）する。

【００８１】これらの処理によって得られた特徴点に基
づいて、図５のステップＳ５１０以下を実行することに
より、動画に基づく３次元モデルが生成、表示可能とな
る。

【００８２】上述したように、本発明の３次元画像生成
システムでは複数枚の２次元画像から、その画像内に映
されている注目対象の３次元形状、及び画像撮影時のカ
メラ動き（位置、姿勢）を推定し、さらにその３次元形
状データに高画質のテクスチャをマッピングすることが
可能となり、撮影した画像列における任意の一枚画像を
初期画像とし、その画像内の注目対象の特徴点（ウィン
ドウ）を指定し、追跡する手法を用いることによって、
時間的に連続している時系列画像、あるいは時間的に連
続していない複数枚の画像を用いても、３次元形状の生
成が可能となる。

【００８３】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。

【００８４】

【発明の効果】以上、説明してきたように、本発明の３
次元画像生成システムおよび３次元画像生成方法によれ
ば、撮影時のカメラの内部パラメータによる画像補正処
理によって、より高精度な３次元形状推定が可能とな
り、撮影画像列における任意の一枚画像を初期画像と
し、その画像内の注目対象の特徴点（ウィンドウ）を指
定し、追跡する手法を用いることによって、時間的に連
続している時系列画像だけでなく、時間的に連続してい
ない複数枚の画像を用いても、３次元形状推定が可能と
なる。

【００８５】さらに、本発明の３次元画像生成システム
および３次元画像生成方法によれば、追跡された特徴点
データ列に対して、オクルージョンなどの原因で誤って
しまった特徴点座標修正法を用いることによって、より
確実で高精度な３次元形状推定が可能となった。修正さ
れた特徴点データ列を用いることによって、２次元画像
上の特徴点に対応する３次元空間における特徴点座標値
（３次元形状データ）を確実に推定することが可能とな
り、修正された特徴点データ列を用いて、複数枚の２次
元画像を撮影するときのカメラ動き（姿勢、相対位置）
を確実に推定することが可能となる。

【００８６】さらに、本発明の３次元画像生成システム
および３次元画像生成方法によれば、３次元画像を表示
するために、２次元画像上の三角パッチを作成し、それ
が推定された３次元形状データ（特徴点座標）との対応
付けを行うことによって、３次元形状のメッシュ表示が
可能となり、撮影した複数枚のテクスチャ画像を用いる
混合処理、または解像度が最も高い一枚のテクスチャ画
像作成によって、より高画質テクスチャマッピングが可
能となり、高画質３次元画像表示が可能となる。

【図面の簡単な説明】

【図１】３次元画像処理における因子分解法を説明する
図である。

【図２】本発明の３次元画像生成システムのシステム構
成を示す図である。

【図３】本発明の３次元画像生成システムの機能構成を
示すブロック図である。

【図４】本発明の３次元画像生成システムにおけるカメ
ラパラメータのキャリブレーション処理について説明す
る図である。

【図５】本発明の３次元画像生成システムにおける３次
元モデル生成処理について説明するフロー図である。

【図６】本発明の３次元画像生成システムにおける特徴
点抽出処理について説明するフロー図である。

【図７】本発明の３次元画像生成システムにおける特徴
点の評価処理について説明する図である。

【図８】本発明の３次元画像生成システムにおける特徴
点追跡処理について説明するフロー図である。

【図９】本発明の３次元画像生成システムにおける特徴
点追跡処理について説明する図である。

【図１０】本発明の３次元画像生成システムにおける特
徴点追跡処理について説明するフロー図である。

【図１１】本発明の３次元画像生成システムにおける特
徴点追跡処理について説明するフロー図である。

【図１２】本発明の３次元画像生成システムにおける特
徴点追跡処理の事前処理について説明するフロー図であ
る。

【図１３】本発明の３次元画像生成システムにおける３
次元形状貼り合わせ処理について説明するフロー図であ
る。

【図１４】本発明の３次元画像生成システムにおける三
角パッチ生成処理について説明する図である。

【図１５】本発明の３次元画像生成システムにおけるテ
クスチャマッピング処理について説明する図である。

【図１６】本発明の３次元画像生成システムにおけるテ
クスチャマッピング処理の処理結果例について説明する
図である。

【図１７】本発明の３次元画像生成システムにおけるカ
メラの移動データ表示例について説明する図である。

【図１８】本発明の３次元画像生成システムにおける動
画像入力に基づく処理フローについて示す図である。

【符号の説明】

２０１ 撮影対象 ２０２ テクスチャ表示された３次元モデル ３０１ 画像撮影ユニット ３０２ 画像保存ユニット ３０３ 画像転送ユニット ３０４ 画像補正ユニット ３０５ ３次元処理ユニット ３０６ ３次元形状貼り合わせユニット ３０７ テクスチャマッピングユニット ３０８ ３Ｄ画像表示ユニット ３０９ カメラ座標表示手段

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 BB05 BB15 DD03 EE08 FF04 FF41 GG10 JJ03 JJ26 QQ06 QQ17 QQ21 QQ25 QQ28 QQ32 QQ36 QQ38 QQ41 5B050 BA09 DA02 EA07 EA18 EA26 FA02 FA12 5B057 CA01 CA13 CB01 CB13 CD12 CE20 DA07 DB03 DC05 DC09 DC22 DC25 DC32

Claims (21)

【特許請求の範囲】
1. 【請求項１】３次元形状モデルにテクスチャ画像を貼り
   付けることにより３次元画像を生成する３次元画像生成
   システムにおいて、 前記３次元画像生成システムは、３次元処理手段を有
   し、 該３次元処理手段は、 動画あるいは静止画撮影手段によって撮影された撮影デ
   ータに基づいて取得される選択画像を入力し、入力され
   た複数の選択画像中から選定される１つの基準画像に設
   定したテンプレート内での特徴点選択処理、選択された
   特徴点に対応する基準画像以外の選択画像の対応する特
   徴点の追跡である特徴点追跡処理を実行することにより
   ３次元データを生成する構成を有することを特徴とする
   ３次元画像生成システム。
2. 【請求項２】前記３次元処理手段は、 前記特徴点選択処理において、特定モデルに対して適用
   可能なウィンドウ設定テンプレートを適用して、複数の
   フレーム画像に対して特徴点追跡用ウィンドウの設定処
   理を実行する構成を有することを特徴とする請求項１に
   記載の３次元画像生成システム。
3. 【請求項３】前記３次元処理手段は、 前記特徴点選択処理において、基準画像に設定したテン
   プレート内での特定ウィンドウ内の画像データに対する
   輝度値変化、分散値、あるいは特徴量のいずれかを評価
   値として取得し、取得した評価値を予め定めた閾値と比
   較することによって特徴点として選択するか否かの判定
   処理を実行する構成を有することを特徴とする請求項１
   に記載の３次元画像生成システム。
4. 【請求項４】前記３次元処理手段は、 前記特徴点追跡処理において、 テンプレートマッチングによる特徴点追跡処理において
   取得される特徴点追跡結果座標値と特徴点マップを用い
   た初期追跡結果座標値との差分と、予め定めた閾値とを
   比較して、該差分が閾値より大である場合に、テンプレ
   ートマッチングによる特徴点追跡結果をエラーと判定し
   て、該エラーと判定された特徴点を周囲の特徴点に基づ
   いて補正する補正処理を実行する構成を有することを特
   徴とする請求項１に記載の３次元画像生成システム。
5. 【請求項５】前記３次元処理手段は、 動画像が入力された場合に、動画像を時系列の複数の静
   止画に分離して、前記選択画像を選択する構成であるこ
   とを特徴とする請求項１に記載の３次元画像生成システ
   ム。
6. 【請求項６】前記３次元画像生成システムは、さらに、 ディスプレイに特徴点設定対象画像を表示し、正確な特
   徴点位置を設定または修正可能としたビジュアルインタ
   フェースを有することを特徴とする請求項１に記載の３
   次元画像生成システム。
7. 【請求項７】前記３次元画像生成システムは、さらに、 カメラ内部パラメータによる画像補正処理手段を有し、 前記動画あるいは静止画撮影手段によって撮影された撮
   影データは、該画像補正処理手段において、カメラ内部
   パラメータに基づく補正処理を実行し、該補正処理後の
   画像データについて前記３次元処理手段による処理を実
   行する構成としたことを特徴とする請求項１に記載の３
   次元画像生成システム。
8. 【請求項８】前記３次元画像生成システムは、 ３次元画像を構成するパッチ面毎に最も解像度の高い画
   像を選択して、選択画像を各パッチ面に適用するテクス
   チャ画像としてテクスチャマッピングを実行するテクス
   チャマッピング手段を有することを特徴とする請求項１
   に記載の３次元画像生成システム。
9. 【請求項９】前記３次元画像生成システムは、 ３次元画像を構成するパッチ面毎に仮想視点に近い２つ
   の撮影画像を選択して、選択画像の合成画像を各パッチ
   面に適用するテクスチャ画像としてテクスチャマッピン
   グを実行するテクスチャマッピング手段を有することを
   特徴とする請求項１に記載の３次元画像生成システム。
10. 【請求項１０】前記３次元画像生成システムは、 ３次元画像において前記特徴点を頂点とする三角領域に
    パッチ面を設定し、該三角パッチ面にテクスチャ画像を
    貼り付けるテクスチャマッピングを実行するテクスチャ
    マッピング手段を有することを特徴とする請求項１に記
    載の３次元画像生成システム。
11. 【請求項１１】３次元形状モデルにテクスチャ画像を貼
    り付けることにより３次元画像を生成する３次元画像生
    成方法において、 動画あるいは静止画撮影手段によって撮影された撮影デ
    ータに基づいて取得される選択画像を入力する画像入力
    ステップと、 入力された複数の選択画像中から選定される１つの基準
    画像に設定したテンプレート内での特徴点選択を実行す
    る特徴点選択処理ステップと、 選択された特徴点に対応する基準画像以外の選択画像の
    対応する特徴点の追跡である特徴点追跡処理を実行する
    特徴点追跡処理ステップと、 を有することことを特徴とする３次元画像生成方法。
12. 【請求項１２】前記特徴点選択処理ステップは、 特定モデルに対して適用可能なウィンドウ設定テンプレ
    ートを適用して、複数のフレーム画像に対して特徴点追
    跡用ウィンドウの設定処理を実行することを特徴とする
    請求項１１に記載の３次元画像生成方法。
13. 【請求項１３】前記特徴点選択処理ステップは、 基準画像に設定したテンプレート内での特定ウィンドウ
    内の画像データに対する輝度値変化、分散値、あるいは
    特徴量のいずれかを評価値として取得し、取得した評価
    値を予め定めた閾値と比較することによって特徴点とし
    て選択するか否かの判定処理を実行することを特徴とす
    る請求項１１に記載の３次元画像生成方法。
14. 【請求項１４】前記特徴点追跡処理ステップは、 テンプレートマッチングによる特徴点追跡処理において
    取得される特徴点追跡結果座標値と特徴点マップを用い
    た初期追跡結果座標値との差分と、予め定めた閾値とを
    比較して、該差分が閾値より大である場合に、テンプレ
    ートマッチングによる特徴点追跡結果をエラーと判定し
    て、該エラーと判定された特徴点を周囲の特徴点に基づ
    いて補正する補正処理を実行する構成を有することを特
    徴とする請求項１１に記載の３次元画像生成方法。
15. 【請求項１５】前記３次元画像生成方法は、 動画像が入力された場合に、動画像を時系列の複数の静
    止画に分離して、前記選択画像を選択するステップを含
    むことを特徴とする請求項１１に記載の３次元画像生成
    方法。
16. 【請求項１６】前記３次元画像生成方法は、さらに、 ディスプレイに特徴点設定対象画像を表示し、正確な特
    徴点位置を設定または修正するステップを含むことを特
    徴とする請求項１１に記載の３次元画像生成方法。
17. 【請求項１７】前記３次元画像生成方法は、さらに、 前記動画あるいは静止画撮影手段によって撮影された撮
    影データを画像補正処理手段において、カメラ内部パラ
    メータに基づく補正処理を実行するステップを含み、 該補正処理後の画像データについて前記３次元処理手段
    による処理を実行することを特徴とする請求項１１に記
    載の３次元画像生成方法。
18. 【請求項１８】前記３次元画像生成方法は、 ３次元画像を構成するパッチ面毎に最も解像度の高い画
    像を選択して、選択画像を各パッチ面に適用するテクス
    チャ画像としてテクスチャマッピングを実行することを
    特徴とする請求項１１に記載の３次元画像生成方法。
19. 【請求項１９】前記３次元画像生成方法は、 ３次元画像を構成するパッチ面毎に仮想視点に近い２つ
    の撮影画像を選択して、選択画像の合成画像を各パッチ
    面に適用するテクスチャ画像としてテクスチャマッピン
    グを実行することを特徴とする請求項１１に記載の３次
    元画像生成方法。
20. 【請求項２０】前記３次元画像生成方法は、 ３次元画像において前記特徴点を頂点とする三角領域に
    パッチ面を設定し、該三角パッチ面にテクスチャ画像を
    貼り付けるテクスチャマッピングを実行することを特徴
    とする請求項１１に記載の３次元画像生成方法。
21. 【請求項２１】３次元形状モデルにテクスチャ画像を貼
    り付けることにより３次元画像を生成する３次元画像生
    成処理をコンピュータ・システム上で実行せしめるコン
    ピュータ・プログラムを有形的に提供するプログラム提
    供媒体であって、前記コンピュータ・プログラムは、 動画あるいは静止画撮影手段によって撮影された撮影デ
    ータに基づいて取得される選択画像を入力する画像入力
    ステップと、 入力された複数の選択画像中から選定される１つの基準
    画像に設定したテンプレート内での特徴点選択を実行す
    る特徴点選択処理ステップと、 選択された特徴点に対応する基準画像以外の選択画像の
    対応する特徴点の追跡である特徴点追跡処理を実行する
    特徴点追跡処理ステップと、 を有することことを特徴とするプログラム提供媒体。