JP2003050110A

JP2003050110A - ３次元形状データ生成システム、３次元形状データ生成方法、プログラム、および記録媒体

Info

Publication number: JP2003050110A
Application number: JP2001239476A
Authority: JP
Inventors: Yasuhisa Kanefuji; 靖尚金藤; Kunimitsu Sakakibara; 邦光榊原
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2001-08-07
Filing date: 2001-08-07
Publication date: 2003-02-21

Abstract

(57)【要約】【課題】ステレオ画像における対応付けの正しさの程
度を正確に把握することが可能な技術を提供する。【解決手段】３次元形状データ生成システム１のコン
ピュータ１５は、１組のステレオ画像を構成する２枚の
画像の相互間において被写体３０上の同一点を表すもの
として相互に対応付けられた各対応点の３次元位置デー
タを求め、各対応点について２枚の画像における各対応
点近傍の所定領域相互間の類似程度を示す相関度を求
め、各対応点および各対応点の近隣の点の相関度に基づ
いて、各対応点の３次元位置データの信頼性の程度を示
す信頼度を求める。さらには、所定の閾値よりも高い信
頼度を有する対応点の３次元位置データを用いて、撮影
視点が異なる複数組のステレオ画像を用いて生成された
複数の部分形状データを統合する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体の３次元形
状データを生成する３次元形状データ生成技術に関す
る。

【０００２】

【従来の技術】様々な物体の３次元モデリングを行う際
において、１つの撮影視点からの３次元計測データでは
不十分な場合がある。たとえば、その撮影視点の反対側
の形状情報をも得たい場合などである。

【０００３】このような要求に対応するものとして、そ
の物体（立体的な被写体）を異なる複数の方向から撮影
（言い換えれば、異なる複数の撮影視点から撮影）し、
複数の撮影視点のそれぞれにおける画像データに基づく
３次元の計測データ（部分形状データ）をそれぞれ取得
し、これらの複数の３次元の計測データを統合すること
により、その物体を表現する統合後の３次元形状データ
を生成する技術が存在する。

【０００４】具体的な手法としては、各撮影視点におい
てステレオ画像（２枚の画像）を撮影し、三角測量の原
理を用いてそれぞれその３次元計測データを取得し、そ
の後、各撮影視点からのステレオ画像に基づいて算出さ
れる３次元の計測データを、その重複部分を用いて統合
する手法などが存在する。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
ようなステレオ方式による３次元再構成手法を用いた場
合、テクスチャ特徴が弱い領域において、ステレオ画像
を構成する２枚の画像の相互間における対応付けが困難
であり、誤った対応付けがなされることがある。この場
合、対応点の３次元位置に関する精度が悪化することに
なる。

【０００６】そして、このような誤った対応付けに基づ
く低精度のデータを用いて部分形状データの統合を行う
ことになれば、部分形状データの統合を正確に行うこと
ができないという問題が生じる。このような問題は、ス
テレオ画像の対応付けの正しさの程度が正確に把握され
ていないことに起因するものである。

【０００７】そこで、本発明は前記問題点に鑑み、ステ
レオ画像における対応付けの正しさの程度を正確に把握
することが可能な技術を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、被写体の３次元形状データを生
成する３次元形状データ生成システムであって、１組の
ステレオ画像を構成する２枚の画像の相互間において前
記被写体上の同一点を表すものとして相互に対応付けら
れた各対応点の３次元位置データを求める位置算出手段
と、前記各対応点について、前記２枚の画像における当
該各対応点近傍の所定領域相互間の類似程度を示す相関
度を求める相関度算出手段と、前記各対応点の前記相関
度および当該各対応点の近隣の点の前記相関度に基づい
て、前記各対応点の３次元位置データの信頼性の程度を
示す信頼度を求める信頼度算出手段と、を備えることを
特徴とする。

【０００９】請求項２の発明は、請求項１の発明に係る
３次元形状データ生成システムにおいて、前記信頼度
は、前記各対応点の相関度が高くなるにつれて、より高
い程度の信頼性を有することを示すものであり、かつ、
当該各対応点の相関度が当該各対応点の近隣の点の相関
度と比較して高くなるときに、より高い程度の信頼性を
有することを示すものであることを特徴とする。

【００１０】請求項３の発明は、請求項１または請求項
２の発明に係る３次元形状データ生成システムにおい
て、所定の閾値よりも高い信頼度を有する対応点の３次
元位置データを用いて、撮影視点が異なる複数組のステ
レオ画像を用いて生成された複数の部分形状データを統
合する統合手段、をさらに備えることを特徴とする。

【００１１】請求項４の発明は、被写体の３次元形状デ
ータを生成する３次元形状データ生成方法であって、１
組のステレオ画像を構成する２枚の画像の相互間におい
て前記被写体上の同一点を表すものとして相互に対応付
けられた各対応点の３次元位置データを求めるステップ
と、前記各対応点について、前記２枚の画像における当
該各対応点近傍の所定領域相互間の類似程度を示す相関
度を求めるステップと、前記各対応点の前記相関度およ
び当該各対応点近傍の前記相関度に基づいて、前記各対
応点の３次元位置データの信頼性の程度を示す信頼度を
求めるステップと、を含むことを特徴とする。

【００１２】請求項５の発明は、コンピュータを、被写
体の３次元形状データを生成する３次元形状データ生成
装置であって、１組のステレオ画像を構成する２枚の画
像の相互間において前記被写体上の同一点を表すものと
して相互に対応付けられた各対応点の３次元位置データ
を求める位置算出手段と、前記各対応点について、前記
２枚の画像における当該各対応点近傍の所定領域相互間
の類似程度を示す相関度を求める相関度算出手段と、前
記各対応点の前記相関度および当該各対応点近傍の前記
相関度に基づいて、前記各対応点の３次元位置データの
信頼性の程度を示す信頼度を求める信頼度算出手段と、
を備える３次元形状データ生成装置として機能させるた
めのプログラムであることを特徴とする。

【００１３】請求項６の発明は、請求項５の発明に係る
プログラムを記録したコンピュータ読み取り可能な記録
媒体であることを特徴とする。

【００１４】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。

【００１５】＜Ａ．第１実施形態＞＜１．システム概要＞図１は、本発明に係る３次元形状
データ生成システム１の一例を示す図である。この３次
元形状データ生成システム１は、立体的な被写体３０の
画像を撮像可能な可搬性のカメラシステム１０と、当該
カメラシステム１０からの画像信号を処理して被写体の
３次元形状データを生成するコンピュータ１５とを備え
ている。言い換えれば、このコンピュータ１５は、３次
元形状データ生成装置として機能する。

【００１６】カメラシステム１０は、デジタルカメラと
しての機能を有する２台の被写体撮影用カメラ（以下、
単に「カメラ」とも称する）１１，１２を備えて構成さ
れ、被写体をステレオ撮影する撮影装置として機能す
る。２台のカメラ１１，１２は、水平方向に所定の距離
を隔てて載置されている。後述するように、これらの２
台のカメラ１１，１２のそれぞれによって撮影された合
計２枚の画像（すなわち、以下、「ステレオ画像」ない
し「ステレオペア画像」とも称する）を用いることによ
り、２枚の画像の対応点における視差および三角測量の
原理を利用して各対応点の３次元位置データが取得され
る。また、この各対応点の３次元位置データを用いるこ
とにより、３次元形状データが生成される。

【００１７】また、図１に示すように、この３次元形状
データ生成システム１は、たとえばノートブック型等の
コンピュータ１５を備えている。

【００１８】図２は、コンピュータ１５のハードウエア
構成を示すブロック図である。コンピュータ１５は、図
２に示すように、ハードウエア的には、ＣＰＵ２と、Ｒ
ＡＭ（および／またはＲＯＭ）などの半導体メモリによ
り構成される主記憶部およびハードディスクドライブ
（ＨＤＤ）などの補助記憶部を有する記憶部３と、メデ
ィアドライブ４と、ディスプレイなどの表示部５と、キ
ーボードおよびマウスなどの入力部６、ネットワークカ
ードなどの通信部７とを備えるコンピュータシステム
（以下、単に「コンピュータ」とも称する）として構成
される。

【００１９】コンピュータ１５は、通信部７を介した無
線若しくは有線のデータ通信等によってカメラシステム
１０との間でコマンドやデータの授受が可能なように構
成される。

【００２０】また、メディアドライブ４は、ＣＤ−ＲＯ
Ｍ、ＤＶＤ（Digital Versatile Disk）、フレキシブル
ディスク、メモリカードなどの可搬性の記録媒体９から
その中に記録されている情報を読み出す。

【００２１】このコンピュータ１５は、記録媒体９に記
録されたソフトウエアプログラム（以下、単に「プログ
ラム」とも称する）を読み込み、そのプログラムをＣＰ
Ｕ２等を用いて実行することによって、３次元形状デー
タ生成装置として機能する。なお、各機能を有するプロ
グラムは、記録媒体９を介して供給（ないし配給）され
る場合に限定されず、ＬＡＮおよびインターネットなど
のネットワークを介して、このコンピュータに対して供
給（ないし配給）されてもよい。

【００２２】このコンピュータ１５は、上記のようなハ
ードウエア構成において、所定のプログラムを実行する
ことによって、位置算出部１０１、相関度算出部１０
２、信頼度算出部１０３、統合部１０４として機能する
（図１参照）。これらの各部の動作については後に詳述
する。

【００２３】また、図３は、３次元形状データ生成シス
テム１を上方からみた図である。図３に示すように、カ
メラシステム１０は、複数の撮影視点、たとえば、８つ
の８つの撮影位置ＶＰ１〜ＶＰ８に移動可能である。こ
こで、８つの撮影位置ＶＰ１〜ＶＰ８のそれぞれは、被
写体３０を包囲する円の円周を８等分する位置であるも
のとする。そして、カメラシステム１０は、この８つの
撮影位置ＶＰ１〜ＶＰ８のそれぞれから被写体３０を順
次に撮影し、各撮影位置ＶＰ１〜ＶＰ８においてステレ
オ画像を取得する。取得された複数組のステレオ画像
は、カメラシステム１０からコンピュータ１５へと転送
される。コンピュータ１５は、これらの８つの撮影位置
ＶＰ１〜ＶＰ８のステレオ画像のそれぞれを用いて被写
体３０に関する８つの部分的な３次元形状データを生成
する。なお、以下においては、各視点ＶＰ１〜ＶＰ８か
らの被写体３０に対する撮影動作（計測動作）に基づい
て生成される各３次元形状データを「部分形状データ」
とも称する。

【００２４】その後、コンピュータ１５は、これらの複
数の部分形状データを統合することによって、被写体３
０についての全方位からの形状を表現する３次元形状デ
ータを生成する。

【００２５】＜２．動作概要＞図４および図５は、３次
元形状データ生成システム１における動作を示すフロー
チャートである。図４は全体の流れを示すフローチャー
トであり、図５はその一部の流れを示すフローチャート
である。以下では、これらの図を参照しながら、３次元
形状データ生成システム１における動作について説明す
る。

【００２６】図４に示すように、まずステップＳ１にお
いて、カメラシステム１０は、被写体３０を最初の視点
ＶＰ１からステレオ撮影する。これにより、図６に示す
ような２枚の画像ＦＬ，ＦＲで構成される１組のステレ
オ画像が撮影される。

【００２７】そして、ステップＳ２において、３次元形
状データ生成システム１は、１組のステレオ画像を用い
て、視点ＶＰ１からの３次元形状データ（部分形状デー
タ）を求める。なお、この３次元形状データの生成は、
２次元情報（画像情報）に基づいて３次元情報（３次元
形状データ）を再取得して構成するものであることか
ら、「再構成」とも表現できる。

【００２８】そのため、位置算出部１０１は、まず、こ
の１組のステレオ画像を構成する２枚の画像ＦＬ，ＦＲ
の相互間における対応付けを行う。すなわち、図６およ
び図７に示すように、位置算出部１０１は、左側画像Ｆ
Ｌにおける所定の画素と右側画像ＦＲにおける所定の画
素とを、被写体３０上の同一点を表す画素として対応づ
ける。

【００２９】具体的には、２枚の画像ＦＬ，ＦＲにおけ
る当該各対応点近傍の所定領域相互間の類似程度（より
詳細には、テクスチャ特徴の類似程度）を示す相関度を
求め、その相関度が最も高くなるときに、類似程度が最
も高くなるものとして両画像ＦＬ，ＦＲにおける所定領
域の中心点同士を対応させる。

【００３０】図６に示すように、ここでは、左側画像Ｆ
Ｌを基準画像とし且つ右側画像ＦＲを参照画像とする。
そして、左側の基準画像ＦＬ中のウインドウ（所定領
域）ＷＬ内の各画素値と、右側の参照画像ＦＲ中のウイ
ンドウＷＲ（所定領域）内の各画素値とを比較すること
により、次の数１で表される値ｅを相関度として求め
る。ここで、左側の基準画像ＦＬ中のウインドウＷＬ
は、左側の基準画像ＦＬ中の基準位置の画素（たとえば
画素ｐ_a）を中心とする５画素×５画素の複数の画素に
より構成される領域であり、右側の参照画像ＦＲ中のウ
インドウＷＲは、右側の参照画像ＦＲ中の所定画素（た
とえば画素ｑ_a）を中心とする５画素×５画素の複数の
画素により構成される領域である。また、以下の数１に
おいて、ｐ（ｉ，ｊ）は、基準画像ＦＬ中の基準位置の
画素を中心とする５画素×５画素の各画素値を表し、ｑ
（ｉ，ｊ）は、参照画像ＦＲ中の所定画素（中心画素）
を中心とする５画素×５画素の各画素値を表している。

【００３１】

【数１】

【００３２】数１に示されるように、この値ｅは、基準
画像ＦＬおよび参照画像ＦＲの相互間において比較され
る画素同士の差分の二乗和である。この相関度の算出動
作は、相関度算出部１０２によって行われる。

【００３３】ここにおいて、この値ｅが小さいほど、基
準画像ＦＬのウインドウＷＬと参照画像ＦＲのウインド
ウＷＲとの間の類似程度が高い、すなわち相関度が高い
ということができる。

【００３４】そして、基準画像ＦＬのウインドウＷＬを
固定させた状態において参照画像ＦＲのウインドウＷＲ
を移動させつつ、相関度ｅが最小となるウインドウＷＲ
の位置を探索する。

【００３５】具体的には、右側の参照画像ＦＲ内のウイ
ンドウＷＲを水平方向に移動させつつ、ウインドウＷＲ
の各位置における相関度ｅをそれぞれ求める。そして、
これら複数のウインドウ位置のうち相関度ｅが最小とな
るときのウインドウ位置において、最も類似度が高くな
るとして、基準画像ＦＬ中の基準位置の画素と、参照画
像ＦＲ中の中心画素とを対応づけるのである。

【００３６】ここでは、カメラ１１，１２が水平方向に
所定距離だけ離間して平行に配置されているものとし、
被写体３０の所定点が２枚の画像において同一水平線上
（詳細には、同一の垂直位置を有する直線上）に投影さ
れる性質を利用して、対応点の探索を容易に行う手法を
採用する。

【００３７】具体的には、基準画素を中心として固定さ
れたウインドウＷＬに対して、ウインドウＷＲが１本の
水平線上を移動する間に、値ｅが最小となる位置を探索
する。なお、ウインドウＷＲの移動期間中においては、
ウインドウＷＬの基準画素およびウインドウＷＲの中心
画素は共にこの水平線上に存在するものとする。上記の
性質を考慮すれば、左右の画像相互間の対応位置の垂直
方向のずれを考慮する必要がなく、水平方向のずれのみ
を考慮すれば良いので、対応点の探索を容易に行うこと
が可能である。

【００３８】さらに、位置算出部１０１は、被写体３０
上のその対応点の３次元位置データを三角測量の原理を
用いて求める。詳細には、被写体３０についての２枚の
画像に存在する視差を利用して、三角測量の原理により
その３次元位置データを求める。ここでは、カメラシス
テム１０の位置および姿勢、２台のカメラの設置間隔な
どの各種のパラメータが既知であるものとし、３次元位
置データはこれら各種の既知パラメータをも用いて算出
される。これにより、３次元位置データは、カメラ座標
系で表現された座標値に対して所定の座標変換を行うこ
とにより、被写体３０の載置空間に固定された絶対座標
系の座標値として求められる。

【００３９】また、位置算出部１０１は、基準画像ＦＬ
中の全ての画素についてこのような動作を繰り返し行
い、それら複数の対応点についての３次元位置データを
算出し、複数の対応点について求められた複数の３次元
位置データを用いることによって、部分形状データを生
成する。これにより、最初の視点ＶＰ１からのステレオ
画像に基づく部分形状データＤ１が生成される。

【００４０】ただし、この部分形状データＤ１は、ステ
レオ画像に写っている部分に限定して生成され、ステレ
オ画像に写っていない部分については３次元データを生
成することが出来ない。そのため、次述するように、異
なる複数の視点から同様の撮影を行い、それぞれの撮影
により得られるステレオ画像に基づいて、複数の方向か
らみた被写体３０の複数の部分形状データをそれぞれ生
成する。

【００４１】次に、ステップＳ３において、被写体３０
の全周囲からの撮影が終了したか否かが判定される。そ
の結果、撮影が未だ終了していないと判定されるときに
は、次の撮影視点に移動して、再びステップＳ１，Ｓ２
の撮影動作等を繰り返す。

【００４２】ここでは、まだ残りの撮影視点ＶＰ２〜Ｖ
Ｐ８からの撮影が残っているので、つぎの撮影視点ＶＰ
２に移動して、撮影視点ＶＰ２からの撮影動作を行う。
その後、同様に、撮影視点ＶＰ３〜ＶＰ８からの撮影を
行う。

【００４３】そして、全ての視点ＶＰ１〜ＶＰ８からの
撮影が終了すると、ステップＳ４に進む。この時点にお
いては、各撮影視点ＶＰ１〜ＶＰ８のステレオ画像に基
いて、それぞれ、各部分形状データＤ１〜Ｄ８が作成さ
れている。以上のようにして、複数の視点からの複数組
のステレオ画像を用いることにより、被写体の全周囲に
わたる３次元形状データを取得することができる。

【００４４】ただし、この状態においては、８つの部分
形状データＤ１〜Ｄ８が別個のデータとして存在してい
る。そこで、これらの複数の部分的なデータを１つのデ
ータとして扱えるようにするため、これらの部分形状デ
ータＤ１〜Ｄ８を統合し１つの３次元形状データ（統合
後の３次元形状データ）Ｄ１８を生成する処理を行う。

【００４５】ステップＳ４においては、２つの部分形状
データの統合動作が行われる。具体的には、図８（ａ）
に示すような最初の視点ＶＰ１からのステレオ画像に基
づく部分形状データＤ１と次の視点ＶＰ２からのステレ
オ画像に基づく部分形状データＤ２との統合動作を行
う。この統合動作により、図８（ｂ）に示すような３次
元形状データＤ１２が生成される。この詳細動作につい
ては、後に詳述する。

【００４６】つぎに、ステップＳ５において、ステップ
Ｓ４において統合済みの３次元形状データに対して未統
合の３次元形状データがさらに統合される。ここでは、
統合後の３次元形状データ（２つの部分形状データＤ
１，Ｄ２が統合された３次元形状データ）Ｄ１２に対し
て、３つ目の部分形状データＤ３が統合される。この統
合処理は、ステップＳ４と同様の処理である。

【００４７】次のステップＳ６においては、全ての部分
形状データＤ１〜Ｄ８が統合されたか否か、が判定され
る。未統合の部分形状データが残っている場合には、再
びステップＳ５に戻り、統合済みの３次元形状データに
対して未統合のデータを統合する。そして、全ての部分
形状データＤ１〜Ｄ８を統合した３次元形状データＤ１
８が生成されると、全処理が終了する。

【００４８】以上のようにして、この３次元形状データ
生成システム１は、複数の異なる撮影視点から撮影され
たステレオ画像に基づく複数の部分形状データ（ここで
はＤ１〜Ｄ８）を統合して、３次元形状データＤ１８を
生成する。

【００４９】ここにおいて、この３次元形状データ生成
システム１は、上記のステップＳ４，Ｓ５に大きな特徴
の１つを有している。以下では、この動作について詳述
する。なお、ステップＳ５の動作はステップＳ４の動作
と同様であるので、以下ではステップＳ４の動作につい
てのみ詳述する。

【００５０】＜３．動作詳細＞つぎに図５を参照しなが
らステップＳ４の詳細動作について説明する。

【００５１】まず、ステップＳ４１において、相関度算
出部１０２は、各対応点について、２枚の画像における
当該各対応点近傍の所定領域相互間の類似程度を示す相
関度ｅを求める。具体的には、上記のステップＳ２にお
いて対応付けを行う際に求めた相関度ｅをそのまま用い
ればよい。ステップＳ２においては基準画像ＦＬの基準
画素に対してウインドウＷＲをずらしながら相関度ｅが
最小となる位置に存在する中心画素を対応点として定め
たのであるが、このときの相関度ｅ（すなわち或る基準
画素に対する相関度ｅの最小値）がその基準画素につい
ての相関度ｅ（したがって対応点についての相関度ｅ）
となるのである。

【００５２】図９は、基準画像ＦＬ中の１本のスキャン
ライン上の各画素についての相関度ｅを表す図である。
上側のグラフは、下側の基準画像ＦＬ中に示すスキャン
ラインＬ１上の各水平位置における相関度ｅを表すグラ
フを示している。

【００５３】ここにおいて、一般に、相関度ｅの値が小
さいとき（すなわち高い相関度を有するとき）は、両ウ
インドウＷＬ，ＷＲの類似程度が高いので、相関度ｅの
値が大きいとき（すなわち低い相関度を有するとき）に
比べて対応付けが正確になされている確率が高いといえ
る。

【００５４】しかしながら、高い相関度を有するときで
あっても、ステレオ画像における対応付けが正確になさ
れていない場合が存在する。たとえば、図６に示すよう
に、単一色の背景領域のような低コントラスト領域にお
いては、誤った対応付けがなされる場合がある。低コン
トラスト領域においては、画素パターンが類似している
ことから、真の対応点でない点において相関度ｅが最小
となってしまうこともあるからである。図６において
は、基準画像ＦＬ（ａ）の画素ｐ_aに対して、本来の対
応点とは異なる参照画像ＦＲ（ｂ）の画素ｑ_aが誤って
対応づけられている場合が示されている。この場合、２
つの画素ｐ_a，ｑ_aから求められた対応点に関する３次元
位置データは不正確なものになる。

【００５５】これに対して、図７に示すように、白色部
分と黒色部分との隣接部分のような高コントラスト領域
においては、比較的正確な対応付けがなされる。画素パ
ターンが急激に変化する領域において相関値ｅが最小と
なるということは、正確な対応付けがなされている可能
性が高いことを意味すると考えられるからである。図７
においては、基準画像ＦＬ（ａ）の画素ｐ_bに対して、
本来の対応点である参照画像ＦＲ（ｂ）の画素ｑ_bが正
しく対応づけられている場合が示されている。

【００５６】このような性質を利用して、次のステップ
Ｓ４２においては、基準画像ＦＬの所定画素に対して参
照画像ＦＲの画素が正確に対応づけられているか否かを
表す指標値Ｒを求める。言い換えれば、この指標値Ｒ
は、対応点に関する３次元位置データの信頼性の程度
（以下、「信頼度」とも称する）を示す指標値であると
も表現できる。この信頼度Ｒは、各対応点の相関度およ
び当該各対応点の近隣（ないし周辺）の点の相関度に基
づいて信頼度算出部１０３によって求められる。

【００５７】ここでは、この信頼度Ｒを、次の数２を用
いて算出するものとする。ただし、値ｅ_iは、上記の相
関度を示すものとし、添え字（ｉなど）は、基準画像Ｆ
Ｌの所定の水平ライン上の水平位置を示す座標値を表す
ものとする。また、ｎは、基準画像ＦＬの水平方向の画
素数を表すものとする。

【００５８】

【数２】

【００５９】図１０は、数２を用いて算出された、基準
画像ＦＬ中の１本のスキャンライン上の各画素について
の信頼度Ｒを表す図である。上側のグラフは、下側の基
準画像ＦＬ中に示すスキャンラインＬ１上の各水平位置
における信頼度Ｒを表すグラフを示している。

【００６０】この数２は、次の数３のように変形され
る。

【００６１】

【数３】

【００６２】数３から判るように、このフィルタの第１
項Ｉ₁は、相関度の列に対してエッジ等を検出するフィ
ルタの役割を有している。すなわち、当該各対応点の相
関度ｅ_iが当該各対応点の近隣の点の相関度ｅ_i-2，ｅ
_i-1，ｅ_i+1，ｅ_i+2と比較して高く（値としては小さ
く）なる程度を示す値である。たとえば、或る対応点の
相関度ｅ_iが、その対応点の隣の点の相関度ｅ_i-1，ｅ
_i+1およびさらにその隣の点の相関度ｅ_i-2，ｅ_i+2より
も小さな値を有するときには、第１項Ｉ₁の値は、負の
値（小さな値）となる。そして、この第１項Ｉ₁の値が
小さいほど、コントラストが高い部分（高コントラスト
部分）であると判断し、より高い程度の信頼度を有する
ものとするのである。

【００６３】また、このフィルタの第２項Ｉ₂は、その
画素における相関度を信頼度に反映させる項である。す
なわち、各対応点の相関度が高くなればなるほど（値ｅ
_iが小さくなればなるほど）、より高い程度の信頼性を
有することを示す項である。

【００６４】信頼度Ｒ（Ｒ_i）は、この第１項Ｉ₁と第２
項Ｉ₂との和として算出される。したがって、この信頼
度Ｒは、各対応点の相関度が高くなるにつれて（値ｅ_i
が小さくなるにつれて）、より高い程度の信頼性を有す
ることを示すものであり、かつ、当該各対応点の相関度
ｅ_iが当該各対応点の近隣の点の相関度ｅ_i-2，ｅ_i-1，
ｅ_i+1，ｅ_i+2と比較して高くなる（当該各対応点の値ｅ
_iが当該各対応点の近隣の点の値ｅ_i-2，ｅ_i-1，ｅ_i+1，
ｅ_i+2と比較して小さくなる）ときに、より高い程度の
信頼性を有することを示すものといえる。

【００６５】図１０においては、信頼度Ｒが所定の閾値
（たとえばゼロ）よりも低い値を有する対応点が白丸で
示されている。図１０においては、白色部分と黒色部分
とが隣接する高コントラスト部分において白丸が存在す
る様子が示されている。この白丸で示される点の３次元
形状データは、その信頼性が所定の基準よりも高い点で
あるといえる。

【００６６】さらに、ステップＳ４３において、統合部
１０４は、所定の閾値よりも高い信頼度を有する対応点
の３次元位置データを用いて、撮影視点が異なる複数組
のステレオ画像を用いて求められる複数の部分形状デー
タを統合する。

【００６７】具体的には、信頼度Ｒが所定の閾値（たと
えばゼロ）よりも低い値を有する対応点、言い換えれ
ば、所定の閾値よりも高い信頼度を有する対応点の３次
元位置データを選択する。以下においては、このように
して選択された対応点を「選択点」とも称するものとす
る。

【００６８】図１０においては、白色部分と黒色部分と
が隣接する高コントラスト部分において選択点（図中に
おいて白丸が付された点）が存在する様子が示されてい
る。

【００６９】そして、このような選択点のみを用いて、
２つの３次元形状データを統合する。より具体的には、
選択点のみで形成される２つの３次元形状データ（たと
えば、Ｄ１，Ｄ２）の重複部分を、ＩＣＰ（Iterative
Closest Points）方式の統合技術を用いて統合すればよ
い。このＩＣＰ方式の統合技術は、２つの面の相互距離
が次第に小さくなっていくように、反復演算を繰り返す
ことにより、面と面との距離が最小になるような座標変
換情報を求めるアルゴリズムを有する技術である。ここ
では、この面を信頼度の高い対応点の三次元座標値で構
成し、ＩＣＰ方式の統合技術を用いて、２つの３次元形
状データの各面の距離が最小となるようにして２つの３
次元形状データを統合する。すなわち、参照点を信頼度
の高い対応点のみに限定した上で、ＩＣＰ方式の統合技
術を適用するのである。

【００７０】これにより、信頼性の低い３次元位置デー
タをも用いる場合に比べて、統合動作による統合後の３
次元データをより正確に生成することができる。また、
統合動作に用いる２つの３次元形状データは、信頼度が
高い点のみによって構成される三次元データでありその
データ量は比較的少ないので、効率的に統合動作を行う
ことが可能である。

【００７１】なお、図１０においては、選択点が、白色
部分と黒色部分との隣接部分以外においても存在してい
る。これは、図面には表れていない微妙な模様が検知さ
れたものであり、他の白丸の点と同様に低コントラスト
領域の中の比較的高いコントラストを有する部分が検出
されているものである。このような点を３次元位置デー
タの信頼性が高いものとして選択すれば、部分形状デー
タの統合動作を正確に行うことが可能である。

【００７２】以上のようにして、この実施形態の３次元
形状データ生成システム１によれば、相関度ｅに基づい
て信頼度Ｒが取得されるので、１つの視点から撮影され
た１組のステレオ画像における対応付けの正しさの程度
を正確に把握することが可能である。したがって、各対
応点の３次元位置データの正しさの程度を正確に把握で
きる。また、信頼度が高い対応点の３次元位置データの
みを用いて、統合動作を行うことにより、より正確な３
次元形状データを作成することができる。

【００７３】特に、「相関度」が高い点を用いて統合を
行う場合には図６のように誤った対応付けがなされた対
応点の３次元位置データをも利用することになるが、上
記実施形態のように「信頼度」が高い点を用いて統合を
行う場合には、図６のような誤った対応付けがなされた
対応点の３次元位置データを利用しないで済むので、統
合動作をより正確に行うことが可能である。すなわち、
誤った対応付けがなされた対応点の３次元位置データを
利用する場合に生じるような、２つの３次元形状データ
相互間の不整合に起因する位置ずれや歪みなどの問題を
回避することが可能である。

【００７４】＜Ｂ．第２実施形態＞上記の第１実施形態
においては、３次元形状データ生成システム１において
カメラシステム１０による撮影処理とコンピュータ１５
による３次元形状データの生成処理とがほぼ同時に行わ
れる場合について説明したが、これに限定されない。た
とえば、カメラシステム１０によって予め撮影された複
数の視点からのステレオ画像に基づいて同様の３次元形
状データの生成処理を、撮影処理から独立して行うよう
にしても良い。

【００７５】具体的には、カメラシステム１０によって
撮影された複数の視点からの各ステレオ画像をあらかじ
めメモリカード等の記録媒体に格納しておく。そして、
コンピュータ１５は、その記録媒体内に格納された画像
データをメディアドライブ４を用いて読み込むことによ
り画像データを受け取り、その画像データを用いて３次
元形状データの生成を行うことが可能である。

【００７６】第２実施形態は、このような変形例であ
り、撮影動作を伴わない点以外は、第１実施形態と同様
である。以下では、相違点を中心に説明する。

【００７７】図１１は、この第２実施形態の処理を示す
フローチャートである。

【００７８】まず、ステップＳ１１では、１組のステレ
オ画像がコンピュータ１５に入力される。このとき、カ
メラの撮影位置および撮影姿勢に関する情報もが併せて
入力される。

【００７９】そして、ステップＳ１２において、３次元
形状データ生成システム１は、１組のステレオ画像を用
いて、最初の視点（ＶＰ１）からの３次元形状データ
（部分形状データ）を求める。この動作は、ステップＳ
２（図４）と同様である。

【００８０】次に、ステップＳ１３において、被写体３
０についての全ての撮影視点からのステレオ画像の入力
が終了したか否かが判定される。その結果、入力が未だ
終了していないと判定されるときには、次の視点からの
ステレオ画像を取得するため、再びステップＳ１１，Ｓ
１２の動作を繰り返す。そして、全ての視点ＶＰ１〜Ｖ
Ｐ８からのステレオ画像の入力が終了すると、ステップ
Ｓ１４に進む。

【００８１】ステップＳ１４，Ｓ１５，Ｓ１６は、ステ
ップＳ４，Ｓ５，Ｓ６（図４参照）と同様の動作が行わ
れる。これにより、全ての部分形状データＤ１〜Ｄ８を
統合した３次元形状データＤ１８が生成される。

【００８２】＜Ｃ．その他＞上記各実施形態において
は、ＩＣＰ方式を用いて自動的に２つの３次元形状デー
タを統合する場合について説明したが、これに限定され
ない。たとえば、コンピュータ１５の操作者が統合時に
おける２つの３次元形状データの対応関係を明示して、
統合するようにしても良い。

【００８３】具体的には、図１２に示すように、ステッ
プＳ４３において、コンピュータ１５は所定の閾値より
も高い信頼度を有する選択点をコンピュータ１５の表示
部５に例えば緑色の丸印で囲んで表示しておき、コンピ
ュータ１５の操作者が一方の３次元形状データＤ１の選
択点と他方の３次元形状データＤ２の選択点との対応付
けをマウス操作等によって行うようにしても良い。この
場合には、操作者によって２つの３次元形状データにお
ける対応関係が指定されるので、より容易に２つの三次
元形状データの統合動作を行うことが可能である。

【００８４】ところで、上記実施形態においては、撮影
時のカメラシステム１０の位置および姿勢が既知である
ことを前提に説明を進めた。カメラシステム１０の位置
および姿勢を求めるにあたっては、具体的には、立体チ
ャート（基準物体）を用いることができる。より詳細に
は、既知形状の立体チャートを被写体３０とともに撮影
することによって、カメラシステム１０の位置および姿
勢を算出すればよい。

【００８５】あるいは、このカメラシステム１０を、被
写体３０の周りに設けられた円軌道上を移動する回転台
に固定し、円軌道上の複数の既知の所定位置から被写体
３０を撮影するようにしても良い。

【００８６】さらには、複数組のカメラシステム１０を
所定の位置に設け、被写体３０の載置位置に関する基準
位置に対する相対的な位置および姿勢を予め求めておく
ようにしても良い。

【００８７】また、上記実施形態においては、コンピュ
ータ１５において、位置算出部１０１、相関度算出部１
０２、信頼度算出部１０３、統合部１０４の各機能部が
設けられる場合を例示したが、これに限定されない。た
とえば、位置算出部１０１、相関度算出部１０２、信頼
度算出部１０３、統合部１０４の各機能部のうちの一部
または全部がカメラシステム１０に内蔵されても良い。
この場合、カメラシステム１０に設けられていない各機
能部は、コンピュータ１５において設けられればよい。

【００８８】

【発明の効果】以上のように、請求項１ないし請求項６
に記載の発明によれば、各対応点の相関度および当該各
対応点の近隣の点の相関度に基づいて、各対応点の３次
元位置データの信頼性の程度を示す信頼度が求められる
ので、ステレオ画像における対応付けの正しさの程度を
正確に把握することが可能である。

【００８９】特に、請求項３に記載の発明によれば、所
定の閾値よりも高い信頼度を有する対応点の３次元位置
データを用いて複数の部分形状データが統合されるの
で、複数の部分形状データを正確かつ効率的に統合する
ことができる。

【図面の簡単な説明】

【図１】本発明に係る３次元形状データ生成システム１
の一例を示す図である。

【図２】コンピュータ１５のハードウエア構成を示すブ
ロック図である。

【図３】３次元形状データ生成システム１を上方からみ
た図である。

【図４】３次元形状データ生成システム１における動作
を示すフローチャートである。

【図５】一部の詳細動作を示すフローチャートである。

【図６】誤った対応づけが行われた場合を示す図であ
る。

【図７】正しい対応づけが行われた場合を示す図であ
る。

【図８】統合動作を示す概略図である。

【図９】１ライン上の各画素についての相関度ｅを表す
図である。

【図１０】１ライン上の各画素についての信頼度Ｒを表
す図である。

【図１１】第２実施形態の処理を示すフローチャートで
ある。

【図１２】２つの３次元形状データＤ１，Ｄ２における
選択点の対応付けについて説明する図である。

【符号の説明】

１３次元形状データ生成システム１０カメラシステム１１，１２被写体用カメラ１５コンピュータ３０被写体９記録媒体Ｄ１〜Ｄ８３次元形状データ（部分形状データ）ＦＬ基準画像（左側画像）ＦＲ参照画像（右側画像）Ｌ１スキャンラインＶＰ１〜ＶＰ８撮影視点（撮影位置）ＷＬ，ＷＲウインドウｅ相関度Ｒ信頼度

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/00 ３００Ｇ０６Ｔ 17/40 Ａ５Ｌ０９６ 17/40 Ｈ０４Ｎ 13/02 Ｈ０４Ｎ 13/02 Ｇ０１Ｂ 11/24 ＫＦターム(参考） 2F065 AA04 AA06 BB05 DD19 FF05 FF09 MM15 PP22 QQ25 QQ41 RR03 UU05 2H059 AA10 AA18 5B050 BA09 BA15 DA07 EA06 EA18 EA28 FA02 5B057 AA20 CA08 CA12 CA16 CB08 CB13 CB16 CC04 CD14 CE10 CH01 DA07 DA16 DB03 DB09 DC32 DC34 5C061 AB04 AB08 AB24 5L096 AA06 AA09 BA20 CA05 DA01 FA69 JA03

Claims

【特許請求の範囲】

【請求項１】被写体の３次元形状データを生成する３
次元形状データ生成システムであって、１組のステレオ画像を構成する２枚の画像の相互間にお
いて前記被写体上の同一点を表すものとして相互に対応
付けられた各対応点の３次元位置データを求める位置算
出手段と、前記各対応点について、前記２枚の画像における当該各
対応点近傍の所定領域相互間の類似程度を示す相関度を
求める相関度算出手段と、前記各対応点の前記相関度および当該各対応点の近隣の
点の前記相関度に基づいて、前記各対応点の３次元位置
データの信頼性の程度を示す信頼度を求める信頼度算出
手段と、を備えることを特徴とする３次元形状データ生
成システム。
【請求項２】請求項１に記載の３次元形状データ生成
システムにおいて、前記信頼度は、前記各対応点の相関
度が高くなるにつれて、より高い程度の信頼性を有する
ことを示すものであり、かつ、当該各対応点の相関度が
当該各対応点の近隣の点の相関度と比較して高くなると
きに、より高い程度の信頼性を有することを示すもので
あることを特徴とする３次元形状データ生成システム。
【請求項３】請求項１または請求項２に記載の３次元
形状データ生成システムにおいて、所定の閾値よりも高い信頼度を有する対応点の３次元位
置データを用いて、撮影視点が異なる複数組のステレオ
画像を用いて生成された複数の部分形状データを統合す
る統合手段、をさらに備えることを特徴とする３次元形
状データ生成システム。
【請求項４】被写体の３次元形状データを生成する３
次元形状データ生成方法であって、１組のステレオ画像を構成する２枚の画像の相互間にお
いて前記被写体上の同一点を表すものとして相互に対応
付けられた各対応点の３次元位置データを求めるステッ
プと、前記各対応点について、前記２枚の画像における当該各
対応点近傍の所定領域相互間の類似程度を示す相関度を
求めるステップと、前記各対応点の前記相関度および当該各対応点近傍の前
記相関度に基づいて、前記各対応点の３次元位置データ
の信頼性の程度を示す信頼度を求めるステップと、を含
むことを特徴とする３次元形状データ生成方法。
【請求項５】コンピュータを、被写体の３次元形状デ
ータを生成する３次元形状データ生成装置であって、１組のステレオ画像を構成する２枚の画像の相互間にお
いて前記被写体上の同一点を表すものとして相互に対応
付けられた各対応点の３次元位置データを求める位置算
出手段と、前記各対応点について、前記２枚の画像における当該各
対応点近傍の所定領域相互間の類似程度を示す相関度を
求める相関度算出手段と、前記各対応点の前記相関度および当該各対応点近傍の前
記相関度に基づいて、前記各対応点の３次元位置データ
の信頼性の程度を示す信頼度を求める信頼度算出手段
と、を備える３次元形状データ生成装置として機能させ
るためのプログラム。
【請求項６】請求項５に記載のプログラムを記録した
コンピュータ読み取り可能な記録媒体。