JP2000111322A

JP2000111322A - ３次元データ処理装置および方法

Info

Publication number: JP2000111322A
Application number: JP10280050A
Authority: JP
Inventors: Shinichi Yoshimura; 真一吉村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-10-01
Filing date: 1998-10-01
Publication date: 2000-04-18

Abstract

(57)【要約】【課題】高精度な３次元モデルを、位置決めのための
特別な装置を用いることなく構築する。【解決手段】画像変換部１６で、画像データと共に取
得された被測定物の形状データに基づき、画像データが
変換される。変換画像データは、メモリ１７に記憶され
ると共に、画像比較部１８に供給される。比較部１８で
は、変換部１６からの第１の変換画像データと、メモリ
１７からの、第１の変換画像データと被測定物について
連続的な第２の変換画像データとが比較され、互いの幾
何学的な位置関係が求められる。この結果に基づき、形
状再変換部１９で形状データが変換され、位置合わせさ
れる。変換形状データは、メモリ２１に記憶される。被
測定物の全方向について変換形状データが取得された
ら、３次元モデルとして出力される。また、変換形状デ
ータに基づき、画像再変換部２０で、変換画像データが
さらに変換される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、物体を計測し、
計測結果に基づき３次元モデルを構築するような３次元
データ処理装置および方法に関する。

【０００２】

【従来の技術】従来から、物体の形状を計測して、３次
元で表現されるデータに変換し、モデルを構築する技術
が存在していた。例えば、物体の形状を、所定の間隔で
設けられた観測点について計測することで、３次元の座
標データを取得する。また、物体を例えば撮影して、表
面の色や模様からなるテクスチャデータを得る。３次元
座標データの対応箇所に対してテクスチャデータを貼り
付けることで、３次元モデルが構築される。

【０００３】このように、計測によって３次元モデルを
構築する場合、ただ一度の計測によって物体の形状を全
て把握することは、一般に不可能である。そのため、物
体を様々な異なる方向から計測すると共に、その物体を
撮影して画像を取得し、その画像データを用いて形状デ
ータ同士の連結性を評価してデータの統合を行う必要が
ある。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
技術では、異なる方向から計測されたデータ同士の連結
性を評価することは、データ同士の互いの相対関係が全
く分からない場合、極めて処理時間がかかるという問題
点があった。例えば、物体の計測および撮影を、手で保
持された計測器およびカメラで行うような場合、データ
同士の相対的な関係が分からず、処理に多大な時間を必
要とする。

【０００５】ところで、計測されたデータ同士におい
て、ある程度の位置関係が既知である場合には、連結さ
せたい形状データ同士の各観測点間の距離を計算し、そ
れが最小となるように、データの回転と平行移動を行
い、計測データ同士を連結することが一般的になされて
いた(Paul J.Besl and Neil D.Mckey, "A Method for R
egistration of 3-D Shapes", IEEE Trans. on PAMI, v
ol.14, No.2, Feb. 1992)。

【０００６】ところが、この方法では、形状データだけ
を用いるので、データの回転と平行移動の処理を繰り返
し行う必要があり、位置決めのための収束に時間がかか
るという問題点があった。それと共に、一般的に、形状
データには誤差が含まれるので、位置決めの精度を高め
ることができないという問題点があった。すなわち、誤
差分はノイズ成分とされ、近傍のデータがノイズ成分に
引きずられるようになってしまう。

【０００７】また、形状データと、その形状データに対
応する画像データとを共に用いて、観測点間の距離を評
価する方法も提案されている(Andrew E.Johnson and Si
ng B.Kang, "Registration and Integration of Textur
ed 3-D Data", in Proc. ofInt'l Conf. on Recent Adv
ances in 3-D Digital Imaging and Modeling, 1997)
。この方法では、例えば（ｘ，ｙ，ｚ）で空間座標と
して表される形状データと、形状データの各点に対応す
る例えば（Ｒ，Ｇ，Ｂ）で各色のデータとを用い、それ
ぞれ、より近いものを求め、計測データの連結を行う。

【０００８】この方法では、形状データに対して対応す
る点の画像データを併用し、６つのパラメータで処理を
行うため、位置決めの精度を向上することが可能であ
る。しかしながら、処理するデータの量が増大するた
め、処理に要する時間を短縮することが困難であるとい
う問題点があった。

【０００９】さらに、上述のような位置決めの問題を解
決するために、形状データを計測するための計測器、あ
るいは、被測定物である物体を、ロボットアームなどの
ように精密な位置制御が可能な装置に固定して計測を行
うという方法もある。しかしながら、このような装置
は、規模が大きく、測定系全体を小型軽量化することが
困難であるという問題点があった。

【００１０】したがって、この発明の目的は、位置決め
のための特別な装置を用いなくても、相対的な位置関係
が不明な形状データ同士の位置決めを精度良く行い、物
体の３次元モデルを高精度で構築できるような３次元デ
ータ処理装置および方法を提供することにある。

【００１１】

【課題を解決するための手段】この発明は、上述した課
題を解決するために、被測定物を計測した計測結果に基
づき３次元モデルを再構築するように計測結果を処理す
る３次元データ処理装置において、被測定物の画像デー
タを取得する画像データ取得手段と、画像データ取得手
段により取得される画像データに対応した被測定物の形
状データを取得する形状データ取得手段と、形状データ
取得手段によって取得された形状データに基づき、画像
データ取得手段によって取得された画像データを変換す
る画像データ変換手段と、画像データ変換手段で変換さ
れた変換画像データを記憶する画像データ記憶手段と、
画像データ変換手段から出力された第１の変換画像デー
タと、画像データ記憶手段から読み出された、第１の変
換画像データに対して被測定物について連続的な第２の
変換画像データとを比較し、第１および第２の変換画像
データの幾何学的な位置関係を求める比較手段と、形状
データ取得手段によって取得された形状データを、比較
手段によって求められた幾何学的な位置関係に基づき変
換する形状データ変換手段とを有することを特徴とする
３次元データ処理装置である。

【００１２】また、この発明は、被測定物を計測した計
測結果に基づき３次元モデルを再構築するように計測結
果を処理する３次元データ処理方法において、被測定物
の画像データを取得する画像データ取得のステップと、
画像データ取得のステップにより取得される画像データ
に対応した被測定物の形状データを取得する形状データ
取得のステップと、形状データ取得のステップによって
取得された形状データに基づき、画像データ取得のステ
ップによって取得された画像データを変換する画像デー
タ変換のステップと、画像データ変換のステップで変換
された変換画像データを記憶する画像データ記憶のステ
ップと、画像データ変換のステップから出力された第１
の変換画像データと、画像データ記憶のステップから読
み出された、第１の変換画像データに対して被測定物に
ついて連続的な第２の変換画像データとを比較し、第１
および第２の変換画像データの幾何学的な位置関係を求
める比較のステップと、形状データ取得のステップによ
って取得された形状データを、比較のステップによって
求められた幾何学的な位置関係に基づき変換する形状デ
ータ変換のステップとを有することを特徴とする３次元
データ処理方法である。

【００１３】上述したように、この発明は、被測定物を
計測して取得された形状データに基づき対応する画像デ
ータを変換し、被測定物について連続的な２つの変換さ
れた画像データを比較することによって、変換画像デー
タ同士の幾何学的な位置関係を求め、この変換画像デー
タ同士の幾何学的な位置関係に基づき対応する形状デー
タを変換するようにしているため、２つの形状データ同
士の正確な位置関係が分からなくても、これら２つの形
状データ同士を対応付けることができる。

【００１４】

【発明の実施の形態】以下、この発明の実施の一形態に
ついて説明する。この発明では、被計測物である物体に
ついて、計測および撮影を同一方向から行い、計測によ
って得られた形状データに基づき、撮影で得られた画像
データを変換する。同様に、別の方向から計測および撮
影を行い、形状データに基づき変換された画像データを
得る。そして、変換された画像データ同士を比較照合し
て、画像データの幾何学的な位置関係を求める。その結
果に基づき、形状データを変換する。画像データと形状
データとを用いて形状データ同士の位置合わせが行わ
れ、３次元モデルの構築精度が向上される。

【００１５】図１は、この実施の一形態による３次元デ
ータ処理装置である３次元モデル再構築装置１００の構
成の一例を示す。この３次元モデル再構築装置１００で
は、被測定物を計測および撮影した結果に基づき３次元
的なデータ処理を行い、被測定物を電子化された３次元
モデルとして再構築する。被測定物からの光がレンズ１
０を介してプリズム１１に入射される。

【００１６】プリズム１１は、入射された光を波長に応
じて分光し、可視光帯域を有する光を画像センサ１３に
導き、他の帯域、例えば近赤外帯域を有する光を距離セ
ンサ１２に導く。レンズ１０から入射された光は、プリ
ズム１１で光路を２つに分けられ、それぞれ距離センサ
１２および画像センサ１３に結像される。

【００１７】画像センサ１３は、例えばＣＣＤ(Charge
Coupled Device) からなり、入射された光を電気信号に
変換し、被測定物の撮像を行う。この画像センサ１３に
よる撮像によって、被測定物表面の色や模様に関する情
報、すなわちテクスチャが取得される。なお、図示しな
いが、画像センサ１３は、ＣＣＤで撮像され得られた電
気信号をディジタルデータに変換する回路を有する。画
像センサ１３から、被測定物を撮像して得られた画像デ
ータが出力され、画像変換部１６に供給される。

【００１８】距離センサ１２および形状変換部１４によ
って、被測定物の形状が計測される。例えば、図示され
ない近赤外線照射部によって、被測定物の表面に近赤外
線を照射し、反射光を距離センサ１２で受光する。距離
センサ１２は、例えば、光切断法に基づく距離計測を高
速に行うために特に設計されたセンサである。なお、光
切断法は、「三次元画像計測（井口征士、佐藤宏介共
著、昭晃堂、1990年11月19日初版１刷発行）」などに記
載されるような、１本のスリット光が被測定物を切断す
るときの切断線像に基づき３次元形状データを得る方法
である。また、これに限らず、距離センサ１２は、例え
ば近赤外線に対して高感度で、受光部分であるセルを所
定の数だけ有するＣＣＤであって、近赤外線照射部によ
ってスリット状にされた近赤外線を、回転する走査ミラ
ーを介して被測定物に対して照射させて被測定物の表面
を走査し、反射光が距離センサ１２のセルを通過する時
点を検出して、被測定物の表面の位置を測定する。

【００１９】測定結果は、例えば（ｘ，ｙ，ｚ）で表さ
れる直行座標系に換算され、これを、被測定物の表面に
ついて網羅的に求めることで、被測定物の形状データが
得られる。

【００２０】形状変換部１４における距離算出および座
標変換の処理は、予め与えられたパラメータに基づき実
際に計算するようにしてもよいし、考え得る全ての条件
を与えて予め作成されたテーブルを参照して形状データ
に換算するようにしてもよい。また、距離測定の結果
は、直行座標系に限らず、例えば極座標やさらに他の座
標系で出力するようにしてもよい。

【００２１】形状変換部１４から出力された形状データ
は、形状記憶部１５に記憶される。形状記憶部１５に
は、計測された被測定物の形状または形状の一部のデー
タが記憶される。形状記憶部１５は、例えばメモリから
なる。また、これに限らず、ハードディスクなどの記録
媒体でもよい。

【００２２】形状記憶部１５から形状データが読み出さ
れ、画像変換部１６に供給される。上述したように、画
像変換部１６には、画像センサ１３から被測定物を撮像
して得られた画像データも供給されている。画像変換部
１６では、互いに異なる方向から撮影された画像データ
同士を容易に比較できるように、形状データに基づき画
像データを変換する。詳細は後述するが、例えば被測定
物の画像データを、仮想の中心線に対応する円筒上へ投
影することで平面に展開し、変換が行われる。

【００２３】変換された画像データは、画像記憶部１７
に記憶されると共に、画像比較部１８に供給される。画
像記憶部１７は、例えばメモリからなる。また、これに
限らず、ハードディスクなどの記録媒体でもよい。上述
した形状記憶部１５と共通の媒体で、異なる領域を画像
記憶部１７としてもよい。

【００２４】画像変換部１６から画像比較部１８に直接
的に供給された画像データの、例えば１回前に取得され
た画像データが画像記憶部１７から読み出され、画像比
較部１８に供給される。画像比較部１８では、供給され
た２つの画像データの比較照合が行われ、これらの画像
データ同士の幾何学的な位置関係ならびに類似度が求め
られる。比較照合の方法としては、詳細は後述するが、
例えば、画像のパターンマッチングを行う方法として一
般的な、正規化相関法を用いることができる。

【００２５】形状再変換部１９に対して、画像比較部１
８の比較結果が供給される。また、形状記憶部１５か
ら、画像比較部１８で比較された２つの画像データのう
ち、例えば新しい方の画像データに対応する形状データ
が読み出され、形状再変換部１９に供給される。形状再
変換部１９では、画像比較部１８での比較結果に基づ
き、供給された形状データを変換する。

【００２６】変換された形状データは、モデル記憶部２
１に記憶され蓄積される。そして、このモデル記憶部２
１から、例えば、互いに結合可能とされた形状データが
連続的に読み出されることで、被測定物の完全な３次元
モデルが作成され、モデル出力部２２から出力される。
出力された３次元モデルデータは、例えば、各計測点を
直線で結んだワイヤフレームで表現され、ディスプレイ
に表示される。

【００２７】一方、形状再変換部１９からの出力は、画
像再変換部２０にも供給される。画像再変換部２０で
は、形状再変換部１９での形状データの変換結果に基づ
き、画像記憶部１７に記憶されている画像データをさら
に変換する。変換された画像データは、画像出力部２３
から出力される。

【００２８】図２は、この３次元モデル再構築装置１０
０を用いて３次元モデルを作成する様子を概略的に示
す。被測定物１１０を３次元モデル再構築装置１００で
撮影および計測する（以下、「撮影および計測する」こ
とを「測定する」と称する）。装置１００は、例えば計
測者によって手で保持される。そして、計測者が被測定
物１１０を中心として移動し、装置１００によって被測
定物１１０を異なる様々な方向から測定する。この実施
の一形態では、この方法により、被測定物１１０の完全
な３次元モデルを作成するためのデータを得ることがで
きる。

【００２９】ここで、装置１００は、そのレンズ１１な
どの光学系の特性や、センサ１２および１３の仕様など
に基づき、所定の測定範囲を有する。そこで、測定の範
囲が互いに所定範囲分、例えば測定範囲のうち５０％の
範囲が互いに重なるように装置１００を移動させ、被測
定物１１０を全周から測定する。俯角を変えた測定をさ
らに行うと、より好ましい。撮影によって得られた画像
データに基づき、形状データの連結性が調べられ、形状
データの変換がなされる。そのため、装置１００の位置
を正確に把握しなくても３次元モデルを作成することが
できる。

【００３０】このとき、被測定物１１０を回転台１２０
に載置し、回転台１２０を回転させながら測定を行う
と、装置１００の水平方向での移動を行わなくて済むた
め、より安定的な結果が得られることが期待できる。ま
た、被測定物１１０を固定して、装置１００を例えばロ
ボットアームのような、位置制御を正確に行える装置に
取り付けて測定するようにしてもよい。

【００３１】次に、この実施の一形態による、被測定物
１１０の測定、ならびに、測定結果に基づく３次元モデ
ルの作成の手順について説明する。先ず、上述したよう
に、被測定物１１０の測定が行われる。被測定物１１０
は、図３に一例が示されるように、被測定物１１０を中
心にして、互いに所定範囲以上の重複部分が生じるよう
に、適当な俯角で全周を測定される。この例では、被測
定物１１０の３次元モデルを作成するために、異なる方
向から８回、測定され、画像１３０Ａ〜１３０Ｈが得ら
れている。

【００３２】１回の測定の度に、距離センサ１２および
形状変換部１４で形状データが作成され、形状記憶部１
５に記憶され、画像センサ１３で取得された画像データ
と共に画像変換部１６に供給される。そして、画像変換
部１６で、形状データに基づく画像変換が行われる。

【００３３】ところで、３次元モデリングの最終結果
は、モデルの表面に実際の物体と同様な色や模様、すな
わちテクスチャを貼り付けることによって得られる。そ
のためには、物体表面のあらゆる点に対して、その点の
持つ色情報を与えなくてはならない。ここで、３次元モ
デルがポリゴン（この例では、各面が三角形である三角
パッチで構成されているとする）で表現されている場
合、各ポリゴンの頂点に対応するテクスチャが分かれ
ば、ポリゴンの内部は、テクスチャ上の三角形内部が対
応することになる。

【００３４】したがって、物体表面に色情報を与えるた
めには、ポリゴンの頂点と、テクスチャ座標との対応関
係を与えてやればよいことになる。また、テクスチャを
円筒状にして、モデルの外側から中心軸に向かって覆い
かぶせるように貼り付けることを考えると、その高さと
貼り付ける正面の位置がモデルの形状に合うように、円
筒状のテクスチャを作成すればよい。以下に、画像変換
部１６で行われる、このようなテクスチャの作成方法に
ついて説明する。

【００３５】先ず、被測定物１１０に対し、複数の視点
方向から計測された形状データ群をＰ_i（ｉ＝１，２，
・・・，Ｎ）とする。また、例えば上述の図３の画像１
３０Ａ〜１３０Ｈのように、これらの計測とそれぞれ同
時に撮影されたテクスチャ群をＴ_i（ｉ＝１，２，・・
・，Ｎ）とする。また、それぞれの形状データは、独立
した座標系で表現されており、それぞれの相対的な位置
関係は不明である。しかし、それぞれの座標系で仮想的
な中心軸を定義し、その中心軸のまわりの円筒にテクス
チャを展開する。

【００３６】図４は、画像変換部１６での画像変換の方
法について、概略的に示す。図４Ａは、被測定物１１０
上のある形状を表す形状データＰ_i（ｐ₁，ｐ₂，
ｐ₃）を上から見た図である。水平面の軸であるＺ軸と
Ｘ軸とは直角をなし、Ｘ−Ｚ平面と垂直な軸であるＹ軸
と共に、直行座標系を構成している。形状データＰ_iの
各点ｐ₁，ｐ₂およびｐ₃は、それぞれＸ軸，Ｙ軸およ
びＺ軸からなる３次元座標（ｘ，ｙ，ｚ）で表される。

【００３７】各点ｐ_iにおいて、隣接する点の距離があ
るしきい値以下の場合のみ、点同士が結合され、各点ｐ
_iを頂点とするポリゴンが形成される。このように形成
されたポリゴンのそれぞれに対してテクスチャ画像を貼
り付けるために、テクスチャ平面と形状データとの対応
関係を知る必要がある。この例では、形状データに対し
て円筒状にテクスチャ画像を展開し、対応付けている。

【００３８】各ポリゴンの頂点ｐ_iを通り、先に求めた
中心軸に直交する直線がＺ軸となす角をφ_iとする（図
４Ａ）。そして、各頂点ｐ_iのＹ座標と併せてφ−Ｙ平
面を考える。このφ−Ｙ平面上にポリゴンの各頂点ｐ_i
を投影すると共に、テクスチャＴ_iを投影する。すなわ
ち、ポリゴンの３頂点であるｐ₁，ｐ₂およびｐ₃に、
テクスチャＴ_i上の３点ｑ₁，ｑ₂，ｑ₃がそれぞれ対
応する（図４Ｂ）。これらテクスチャＴ_i上の３点
ｑ₁，ｑ₂，ｑ₃およびこれら３点に囲まれる三角領域
がφ−Ｙ平面に投影されることになる（図４Ｃ）。

【００３９】先ず、直行座標系における点（ｘ_i，
ｙ_i，ｚ_i）を原点（０，０，０）を通る中心軸の周り
に展開することを考える。このとき、各ポリゴンの頂点
ｐ_iとパラメータ平面（φ−Ｙ平面）との関係は、次式
（１）のように求められる。

【００４０】

【数１】

【００４１】次に、式（１）に従い、３頂点ｐ₁，ｐ₂
およびｐ₃がφ−Ｙ平面上の３点（φ₁，Ｙ₁），（φ
₂，Ｙ₂）および（φ₃，Ｙ₃）にそれぞれ投影された
とする。また、３頂点ｐ₁，ｐ₂およびｐ₃のそれぞれ
に対応するテクスチャの座標ｑ₁，ｑ₂およびｑ₃がそ
れぞれ（ｓ₁，ｔ₁），（ｓ₂，ｔ₂）および（ｓ₃，
ｔ₃）であるとする。そして、φ−Ｙ平面とテクスチャ
との間で、対応点同士の座標は、ポリゴン毎にアフィン
変換によって関係付けられるものとする。すなわち、φ
−Ｙ平面上の３点とテクスチャＴ_i上の３点との間に
は、次式（２）に示される関係が成り立つ。

【００４２】

【数２】

【００４３】式（２）中のパラメータｇ₁₁，ｇ₁₂，
ｇ₁₃，ｇ₂₁，ｇ₂₂およびｇ₂₃は、３点の座標の組から一
意に決定される。

【００４４】実際のφ−Ｙ平面へのテクスチャの投影の
際には、式（２）に基づき、各ポリゴン内の全ての座標
（φ，Ｙ）に対応するテクスチャの座標（ｓ，ｔ）が求
められ、その座標（ｓ，ｔ）におけるテクスチャの値が
φ−Ｙ平面の対応する座標（φ，Ｙ）に投影される。こ
こで、求められたテクスチャの座標（ｓ，ｔ）が整数値
でない場合には、例えば近傍４点の値を用いた線型補間
によって補間された値が、その座標（ｓ，ｔ）のテクス
チャの値として用いられる。このような処理を、一つの
形状データ群に含まれる全てのポリゴンに対して行い、
φ−Ｙ平面を完成させる。これを、互いに異なるテクス
チャに対して行い、独立した展開画像を得る。

【００４５】図５および図６は、形状データと、形状デ
ータに基づきφ−Ｙ平面に対して展開されることで変換
された画像データとを示す。図５は、図３における画像
１３０Ｆに対応し、図６は、画像１３０Ｆの次の測定に
よる画像１３０Ｇに対応する。

【００４６】図５Ａおよび図６Ａは、形状データを、各
計測点、すなわち各ポリゴンの頂点ｐ_i同士を直線で結
んだワイヤフレームで表示した例である。この例では、
図５Ａおよび図６Ａに示されるように、被測定物１１０
が三角形面の集合によって近似されている。また、図５
Ｂおよび図６Ｂは、この形状データに基づき、テクスチ
ャ画像が円筒状に展開されることで変換された画像デー
タである。

【００４７】先に測定された画像１３０Ｆの画像データ
は、画像変換部１６で上述の処理により展開され、画像
記憶部１７に記憶される。そして、次に測定された画像
１３０Ｇのデータが画像変換部１６で展開され、画像比
較部１８に供給される。画像比較部１８には、それと共
に、画像１３０Ｆの展開画像データが画像記憶部１７か
ら読み出され、画像比較部１８に供給される。そして、
画像１３０Ｆおよび１３０Ｇそれぞれの展開画像データ
が比較照合される。この比較照合により、展開画像デー
タの連結性の評価が行われ、それに伴い、形状データの
連結性を求めることができる。

【００４８】図７は、画像比較部１８による展開画像デ
ータの比較照合処理の一例のフローチャートである。な
お、ここでは画像記憶部１７から読み出された展開画像
データＡ（以下、画像Ａと称する）と、画像変換部１６
から直接的に供給された展開画像データＢ（以下、画像
Ｂと称する）とを比較照合するものとする。

【００４９】先ず、最初のステップＳ１０で、画像Ａに
対してＮ個の矩形領域が設定される。そして、ステップ
Ｓ１１で、画像ＡのＮ個の領域のそれぞれについて、複
数の異なる倍率の画像データがさらに作成される。例え
ば、例えば元の画像に対してサイズが０．６倍，０．８
倍，１．２倍および１．４倍に縮小あるいは拡大された
画像データがそれぞれ作成される。画像の縮小あるいは
拡大は、例えば近傍４点を用いた線型補間により行われ
る。

【００５０】画像Ａの矩形領域のそれぞれについて倍率
の異なる複数の画像データが用意されると、これらの画
像データを用いて、画像Ａと画像Ｂとの相関が求めら
れ、相関が最も高い領域が探索される。先ず、ステップ
Ｓ１２で、画像Ａに設定されたＮ個の矩形領域のうち
の、一つの矩形領域（矩形領域Ａ_Nとする）が選択され
る。そして、この矩形領域Ａ_Nの等倍のものを、画像Ｂ
に対して相関を計算しながら移動させる。移動させる範
囲は、必ずしも画像Ｂの全体である必要はなく、相関が
高い部分が存在する可能性がある範囲だけでよい。

【００５１】画像同士の相関は、様々な方法で求めるこ
とができる。一例として、画像の明るさが微妙に変化す
ることを想定して、正規化相関を適用することができ
る。参照される画像（矩形領域Ａ_N）のサイズを、横ｗ
画素、縦ｈ画素とし、横ｉ画素目、縦ｊ画素目における
輝度の値をｔ（ｉ，ｊ）とする。同様に、探索対象の画
像（画像Ｂの所定領域）は、サイズが縦横それぞれＷ画
素，Ｈ画素とされ、横ｋ画素目，縦ｌ画素目における輝
度の値をｇ（ｋ，ｌ）とする。

【００５２】参照画像と探索画像との正規化相関はｎ
（ｋ，ｌ）は、例えば参照画像の左上画素が探索対象画
像の（ｋ，ｌ）にあったとき、次式（３）のように表さ
れる。なお、この式（３）中で、Ｎ＝ｗｈである。

【００５３】

【数３】

【００５４】式（３）中で、上線付きのｔは、参照画像
の輝度の平均であり、式（４）のように表される。一
方、上線付きのｇは、探索画像のうち参照画像と同一サ
イズに切り出した部分の輝度の平均であり、式（５）の
ように表される。また、σ_t，σ_gは、参照画像および
探索画像それぞれの輝度の標準偏差であり、式（６）お
よび式（７）のように表される。

【００５５】

【数４】

【００５６】

【数５】

【００５７】

【数６】

【００５８】

【数７】

【００５９】参照画像と探索画像との相関を求めるため
には、この式（３）を、探索画像内で参照画像を１画素
ずつ移動させる度に計算する。すなわち、正規化相関ｎ
（ｋ，ｌ）が探索対象の画像内の全てのｋ（＝１，２，
３，・・・，Ｗ−ｗ＋１）ならびにｌ（＝１，２，３，
・・・，Ｈ−ｈ＋１）に対して求められる。そして、そ
れが最大になる（ｋ，ｌ）に対応する領域を、探索画像
が参照画像に最も似ている領域であると判断する。

【００６０】なお、参照画像に関する値は、予め求めて
おくことができる。また、計算は、１画素ずつに限ら
ず、例えば補間を用いて１画素以下の単位で結果を求め
るようにしてもよい。さらに、参照画像と探索画像との
相関は、正規化相関に限らず、式（８）に示されるよう
な計算により、単純な差分の自乗の累積を求め、これに
より判断するようにしてもよい。

【００６１】

【数８】

【００６２】図７のフローチャートに戻り、ステップＳ
１２で、矩形画像Ａ_Nと画像Ｂの各領域との相関が求め
られたら、処理はステップＳ１３に移行し、これらの間
で相関が高い領域があったかどうかが判断される。例え
ば、極めて高い値を示すｎ（ｋ，ｌ）が見つかれば、画
像Ｂのその領域が矩形領域Ａ_Nと相関の高い領域である
と判断される。あるいは、予め設定されたしきい値Ｔｈ
_Mよりも高いｎ（ｋ，ｌ）が見つかれば、その領域が相
関の高い領域であると判断される。

【００６３】若し、ステップＳ１３で、相関の高い領域
が見つかったなら、処理はステップＳ１７に移行し、画
像Ｂ中のその領域が、画像Ａ中の矩形領域Ａ_Nと最も似
ている領域であるとされる。そして、処理はステップＳ
２０に移行する。

【００６４】一方、ステップＳ１３で、相関の高い領域
が見つからなければ、処理はステップＳ１４に移行す
る。そして、上述のステップＳ１１で用意されている、
矩形領域Ａ_Nの別の倍率の画像を用いて、同様に画像Ｂ
との相関が求められ、最大の相関を有する領域が探索さ
れる。矩形領域Ａ_Nに用意された、異なる倍率の画像全
てについてそれぞれ最大の相関が求められると、さら
に、それら最大値の中で極めて高い値があるかどうかが
判断される。予めしきい値を設定し、そのしきい値以上
の値があるかどうかで判断してもよい。

【００６５】ステップＳ１５で、矩形領域Ａ_Nと極めて
高い相関の値を示す領域が画像Ｂ中にあったと判断され
れば、処理はステップＳ１７に移行し、その値が得られ
た倍率の矩形領域Ａ_Nと画像Ｂの該当領域とが最も似て
いる領域であるとされる。そして、処理はステップＳ２
０に移行する。

【００６６】一方、ステップＳ１５で、相関の極めて高
い領域が無いと判断されれば、処理はステップＳ１６に
移行する。ステップＳ１６では、さらに、異なる倍率の
矩形領域Ａ_N全てについて、相関が低かったかどうか判
断される。

【００６７】ステップＳ１６において、異なる倍率の矩
形領域Ａ_Nのそれぞれについて、どの相関値も似ている
と判断するには低い値であるとき、あるいは、予め設定
された、上述のしきい値Ｔｈ_Mとは別のしきい値Ｔｈ_m
よりも小さい値であるときには、その矩形領域Ａ_Nに対
応する領域が画像Ｂ中に無かったと判断される。そし
て、次のステップＳ１９で、矩形領域Ａ_Nに対応する領
域が画像Ｂ中に無かったとされ、処理はステップＳ２０
に移行する。

【００６８】一方、ステップＳ１６で、矩形領域Ａ_Nの
異なる２つの倍率ｍ₁，ｍ₂について、同程度に高い相
関値ｒ₁，ｒ₂がそれぞれ得られた場合、処理はステッ
プＳ１８に移行する。そして、式（９）によって、２つ
の倍率ｍ₁，ｍ₂の、相関値ｒ₁，ｒ₂に対応した重み
付き平均の倍率ｍを求める。そして、画像Ｂにおいて、
２つの倍率ｍ₁，ｍ₂について高い相関値が得られた領
域と、矩形領域Ａ_Nのｍ倍の画像とが最も似ている画像
とされ、処理はステップＳ２０に移行する。

【００６９】

【数９】

【００７０】ステップＳ２０では、画像Ａの、矩形領域
Ａ_Nとは異なる他の全ての矩形領域Ａ_Xに対して、上述
したステップＳ１２〜ステップＳ１９までの処理が行わ
れたかどうかが判断される。行われていなければ、処理
はステップＳ１２に戻され、画像Ａの他の矩形領域Ａ_X
について同様の処理がなされる。

【００７１】ステップＳ２０で、画像Ａに設定された全
ての矩形領域に対して処理が行われたと判断されれば、
処理はステップＳ２１に移行する。ステップＳ２１で
は、これまでの処理で、画像Ａと画像Ｂとの間に、高い
相関を持った領域が存在していたかどうかが判断され
る。若し、存在していなかったと判断されれば、処理は
ステップＳ２６に移行し、画像Ａと画像Ｂとは、対応す
る領域が無く、似ているところが無いとされ、一連の処
理が終了される。

【００７２】一方、ステップＳ２１で、高い相関を持っ
た領域が存在していたと判断されれば、処理はステップ
Ｓ２２に移行する。ステップＳ２２では、画像Ａと画像
Ｂとで、高い相関で以て対応している領域同士で、領域
の位置に矛盾が無いかどうかが判断される。

【００７３】例えば、画像Ａおよび画像Ｂにおいて、複
数の領域で高い相関がある場合、互いに対応する領域に
おいて、上下関係や左右関係が入れ替わることは無いは
ずである。画像Ａおよび画像Ｂにおける、互いに対応す
る領域の座標に基づきこの矛盾の有無を判断する。若
し、ステップＳ２２で位置に矛盾があると判断された場
合には、処理はステップＳ２６に移行し、画像Ａおよび
画像Ｂとは似ていないとされる。

【００７４】一方、ステップＳ２２で、位置に矛盾がな
いと判断されれば、処理はステップＳ２３に移行する。
ステップＳ２３では、高い相関を示すとされた領域に対
応する、画像Ａの複数の矩形領域Ａ_Xについて、高い相
関を示したときの倍率に、位置に関する分布があるかど
うかが判断される。すなわち、上述したステップＳ１２
〜Ｓ１９までの処理で、倍率が幾つのときに相関が最大
となるかが調べられているため、画像Ａおよび画像Ｂに
おいて、倍率の違いによる分布を調べることができる。
若し、倍率の分布に位置的な依存性が無ければ、処理は
ステップＳ２４に移行する。

【００７５】ステップＳ２４では、画像Ａと画像Ｂとの
間で、相関の高い領域同士が互いに一致するように、形
状データの座標変換が行われる。このときには、画像デ
ータの平行移動を考慮するだけでよい。

【００７６】また、ステップＳ２３で倍率に関して位置
的な分布があるとされれば、処理はステップＳ２５に移
行する。ステップＳ２５では、倍率の分布の傾向に基づ
き、形状データが再変換される。一例として、倍率が特
定の方向に対して一様に分布している場合は、画像を展
開したときの軸に対する傾きが存在すると考えられる。
この場合には、形状データに対して画像の傾きを補正す
るような変換が行われる。

【００７７】また他の例として、倍率の分布に特定の傾
向が無い場合もある。このような状況において、例え
ば、倍率に基づき、画像Ａのある矩形領域Ａ_Nに対して
画像Ｂの対応領域が小さいと判断される場合、本来の画
像Ｂの該当領域は、倍率に相当する分だけ他の領域より
も手前に張り出していると考えられる。この場合には、
該当領域を手前に張り出させるように、形状データが変
換される。同様に、倍率に基づき、画像Ａのある矩形領
域Ａ_Nより該当領域の対応領域が大きいと判断される場
合には、倍率に相当する分だけ奥に引っ込んでいるべき
であると考えられる。この場合には、該当領域が奥にな
るように、形状データが変換される。

【００７８】このようにして、図７のフローチャートに
よる一連の処理が終了され、展開画像データの比較照合
結果に基づく形状データの再変換が行われる。再変換さ
れた形状データは、形状再変換部１９から出力され、モ
デル記憶部２１に記憶される。形状データは、モデル記
憶部２１に記憶され、モデルとして生成される。

【００７９】例えば、上述した図３の例では、画像１３
０Ａ〜１３０Ｈの撮影と共に計測された一連の形状デー
タが、それぞれ形状再変換部１９で順次、形状変換さ
れ、モデル記憶部２１に記憶される。一連の形状データ
がモデル記憶部２１から読み出され、モデル出力部２２
から出力される。一連の形状データは、形状再変換部１
９で、対応する画像データ同士の幾何学的な位置関係に
基づき補正されている。そのため、モデル出力部２２か
らは、それぞれの形状データが高い精度で連結された被
測定物の３次元モデルが出力される。

【００８０】一方、形状再変換部１９で再変換された形
状データは、画像再変換部２０にも供給される。画像再
変換部２０では、形状再変換部１９から供給された形状
データに対応する展開画像データを、画像記憶部１７か
ら読み出す。そして、形状再変換部１９から供給された
形状データに基づき、画像記憶部１７から供給された展
開画像データを変換する。例えば、図４を用いて説明し
た変換処理を、変換された形状データを用いて再び行
い、展開画像データを変換する。変換された展開画像デ
ータは、画像出力部２３に供給され、外部に出力され
る。画像出力部２３から出力される展開画像データは、
上述したφ−Ｙ平面上の画像である。

【００８１】なお、図７に示したフローチャートのステ
ップＳ２６のように、連続して計測された２つの形状デ
ータの間に、幾何学的な位置関係が求まらなかった場
合、これら２つの形状データの間を埋めるデータが必要
とされる。この場合には、３次元モデル再構築装置１０
０の位置を変えて、その部分の測定を行う。

【００８２】例えば、上述のように、画像Ａおよび画像
Ｂとによって処理を行った結果、それぞれの展開画像デ
ータにおいて高い相関を示す領域が存在せず、最終的に
処理がステップＳ２６に移行したとする。この場合、画
像Ａおよび画像Ｂとの間を埋めるように測定が行われ、
画像Ｃおよび対応する形状データが得られる。上述と同
様に、形状データは形状記憶部１５に記憶され、画像Ｃ
は、画像変換部１６に供給される。

【００８３】画像変換部１６において、当該形状データ
に基づき画像Ｃが展開され、展開画像データとされる。
この画像Ｃによる展開画像データが画像比較部１８に供
給される。一方、画像記憶部１７から、既に測定され展
開された、例えば画像Ａによる展開画像データが読み出
され、画像比較部１８に供給される。そして、上述の図
７のフローチャートの処理に従い、互いに相関の高い領
域が探索される。高い相関を有する領域が見つかれば、
形状再変換部１９で、形状記憶部に記憶された画像Ｃに
対応する形状データが画像比較部１８の出力に基づき再
変換される。再変換された形状データは、モデル記憶部
２１に既に記憶されているモデルに追加して記憶され、
モデルの更新がなされる。画像Ｃの展開画像データにつ
いても同様に、再変換された形状データに基づき画像再
変換部２０で再変換され、画像出力部２３に供給され
る。

【００８４】最終的に、モデル出力部２２で出力された
形状データのそれぞれのポリゴンに対して、画像出力部
２３から出力された展開画像データの対応領域を貼り付
けていくことで、被測定物の３次元モデルが完成する。

【００８５】なお、上述では、被測定物を撮影ならびに
計測しながら、逐次、３次元モデルの構築を行ってい
た。これはこの例に限られず、例えば３次元モデルを構
築するために必要な測定を、予め行っておくようにして
もよい。測定で得られた画像データおよび形状データ
は、例えば全データに対して適当な番号が付され、形状
記憶部１５および画像記憶部１７それぞれ記憶される。
そして、上述の逐次的な処理と同様に、例えばデータに
付された番号順に処理を行い、３次元モデルを構築す
る。

【００８６】また、上述では、３次元モデル構築装置１
００は、被測定物１１０を計測するために、独立した距
離センサ１２を有していたが、これはこの例に限定され
ない。例えば、画像センサで撮影される情報そのものか
ら、被測定物表面までの距離を計測することが可能であ
る。

【００８７】図８は、画像センサを複数持ち、ステレオ
処理と称される方法で距離を測定できるようにした３次
元モデル再構築装置１００’の構成の一例を示す。な
お、この図において、上述の図１と共通する部分には同
一の番号を付し、詳細な説明を省略する。

【００８８】この装置１００’は、レンズ３０Ａと画像
センサ３１Ａからなる光学系、レンズ３０Ｂと画像セン
サ３１Ｂとからなる光学系、レンズ３０Ｃと画像センサ
３１Ｃとからなる光学系というように、複数の光学系を
有する。これら複数の光学系は、例えば１点に対して所
定の視差を有するように配置され、同一の被写体を撮影
した際に、視差に基づき距離を測定するようになされて
いる。

【００８９】画像センサ３０Ａ，３０Ｂおよび３０Ｃの
出力は、形状変換部１４と画像変換部１６とにそれぞれ
供給される。形状変換部１４では、３つのセンサから供
給された出力に基づき、所定の点までの距離を算出し、
形状データとする。また、画像変換部１６では、３つの
センサから供給された出力に基づき、画像データを作成
する。代表する１つのセンサからの出力だけを用いても
よい。この３つの光学系を用いて測定された結果に基づ
き、上述の図１による構成と同様にして、モデル出力部
２２において３次元モデルを得ることができる。

【００９０】

【発明の効果】以上説明したように、この発明によれ
ば、被測定物を異なる方向から測定する際に、画像デー
タ同士の相関の高い領域を探索することで画像データの
幾何学的な位置関係を求めている。そして、その結果に
基づき適切に形状データを変換し形状データを統合する
ようにしているため、被測定物を測定している位置を正
確に把握しなくても、３次元モデルの構築ができるとい
う効果がある。

【００９１】またそのため、この発明によれば、３次元
モデルの構築において、被測定物の計測を行う際の位置
決めのための機構が必要ないという効果がある。

【００９２】さらに、この発明によれば、異なる方向か
ら撮影した被測定物の色や模様といった、テクスチャ同
士の幾何学的関係を求めることによって、そのテクスチ
ャと同時に計測した、そのテクスチャに対応する形状デ
ータの位置決めを行うようにしているため、例えば繰り
返し処理によって形状データの位置合わせを行うよりも
処理時間を短縮できるという効果がある。

【００９３】さらにまた、この実施の一形態によれば、
被測定物の測定を行いながら、逐次的に３次元モデルを
作成していくことが可能であると共に、被測定物の異な
る方向からの測定を予め行っておき、一括して３次元モ
デルの構築を行うことが可能であるという効果がある。

【図面の簡単な説明】

【図１】実施の一形態による３次元モデル再構築装置の
構成の一例を示すブロック図である。

【図２】３次元モデル再構築装置を用いて３次元モデル
を作成する様子を概略的に示す略線図である。

【図３】異なる方向から被測定物を測定することを説明
するための図である。

【図４】画像変換部での画像変換の方法について概略的
に示す略線図である。

【図５】形状データと、形状データに基づきφ−Ｙ平面
に対して展開されることで変換された画像データとを示
す略線図である。

【図６】形状データと、形状データに基づきφ−Ｙ平面
に対して展開されることで変換された画像データとを示
す略線図である。

【図７】画像比較部による展開画像データの比較照合処
理の一例のフローチャートである。

【図８】画像センサを複数持ち、ステレオ処理と称され
る方法で距離を測定できるようにした３次元モデル再構
築装置の構成の一例を示すブロック図である。

【符号の説明】

１０・・・レンズ、１１・・・プリズム、１２・・・距
離センサ、１３・・・画像センサ、１４・・・形状変換
部、１５・・・形状記憶部、１６・・・画像変換部、１
７・・・画像記憶部、１８・・・画像比較部、１９・・
・形状再変換部、２０・・・画像再変換部、２１・・・
モデル記憶部、２２・・・モデル出力部、２３・・・画
像出力部、１００・・・３次元モデル再構築装置、１１
０・・・被測定物

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F065 AA04 AA53 BB05 DD06 FF04 GG09 HH05 JJ03 JJ05 JJ26 LL20 MM22 QQ24 QQ31 UU05 5B046 DA02 EA09 FA10 5B047 AA07 AB02 AB04 BB01 BB06 5B057 BA02 BA17 CA08 CA13 CB08 CB13 CC01 CE08 DA07 DB03 DC09

Claims

【特許請求の範囲】

【請求項１】被測定物を計測した計測結果に基づき３
次元モデルを再構築するように計測結果を処理する３次
元データ処理装置において、被測定物の画像データを取得する画像データ取得手段
と、上記画像データ取得手段により取得される上記画像デー
タに対応した上記被測定物の形状データを取得する形状
データ取得手段と、上記形状データ取得手段によって取得された上記形状デ
ータに基づき、上記画像データ取得手段によって取得さ
れた上記画像データを変換する画像データ変換手段と、上記画像データ変換手段で変換された変換画像データを
記憶する画像データ記憶手段と、上記画像データ変換手段から出力された第１の変換画像
データと、上記画像データ記憶手段から読み出された、
上記第１の変換画像データに対して上記被測定物につい
て連続的な第２の変換画像データとを比較し、上記第１
および上記第２の変換画像データの幾何学的な位置関係
を求める比較手段と、形状データ取得手段によって取得された上記形状データ
を、上記比較手段によって求められた上記幾何学的な位
置関係に基づき変換する形状データ変換手段とを有する
ことを特徴とする３次元データ処理装置。
【請求項２】請求項１に記載の３次元データ処理装置
において、上記形状データ変換手段の変換結果に基づき上記変換画
像データを再変換する画像再変換手段をさらに有するこ
とを特徴とする３次元データ処理装置。
【請求項３】請求項１に記載の３次元データ処理装置
において、上記比較手段は、上記第１および上記第２の変換画像デ
ータのうち一方を他方に対して異なる倍率として、上記
比較を行うことを特徴とする３次元データ処理装置。
【請求項４】被測定物を計測した計測結果に基づき３
次元モデルを再構築するように計測結果を処理する３次
元データ処理方法において、被測定物の画像データを取得する画像データ取得のステ
ップと、上記画像データ取得のステップにより取得される上記画
像データに対応した上記被測定物の形状データを取得す
る形状データ取得のステップと、上記形状データ取得のステップによって取得された上記
形状データに基づき、上記画像データ取得のステップに
よって取得された上記画像データを変換する画像データ
変換のステップと、上記画像データ変換のステップで変換された変換画像デ
ータを記憶する画像データ記憶のステップと、上記画像データ変換のステップから出力された第１の変
換画像データと、上記画像データ記憶のステップから読
み出された、上記第１の変換画像データに対して上記被
測定物について連続的な第２の変換画像データとを比較
し、上記第１および上記第２の変換画像データの幾何学
的な位置関係を求める比較のステップと、形状データ取得のステップによって取得された上記形状
データを、上記比較のステップによって求められた上記
幾何学的な位置関係に基づき変換する形状データ変換の
ステップとを有することを特徴とする３次元データ処理
方法。