JP2000180137A - 形状計測装置および形状表示方法 - Google Patents

Abstract

(57)【要約】 【課題】 物体の計測を行いながら、データ欠損がある
かどうかを容易に判断できるようにする。 【解決手段】 マグカップ１の３次元モデルを構築する
際に、最初に、面ｅ〜ｈを計測し、得られた形状データ
に基づき３次元モデルを構築する（図１Ａ）。次に、最
初と異なる方向からカップ１の計測を行い、面ｆ〜ｉの
形状データが得られる。このとき、先に計測され既にモ
デルが構築されている領域Ａは、カップ１の画像に対し
てモデルがワイヤフレームで表示される。今回の計測で
新規に形状データが得られ、それが既存のモデルに対し
て追加可能である場合、追加可能な領域Ｂが赤の点滅表
示とされる。所定の操作で領域Ｂを領域Ａに追加し、一
体化されたモデルが構築される。計測されなかった領域
は、スルー表示とされる。追加可能な領域が確認でき、
データ欠損の無いモデルを容易に構築できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、物体の形状デー
タと画像データとを同時に取得して物体の３次元モデル
を構築すると共に、モデル化が完成している部分とそう
でない部分とを確認できるような形状計測装置および形
状表示方法に関する。

【０００２】

【従来の技術】従来から、物体の形状ならびにその表面
の色や模様を計測して、３次元で表現されるデータに変
換し、モデルを構築する技術が存在していた。例えば、
物体の形状を、所定の間隔で設けられた観測点について
計測することで、３次元の座標データを取得する。ま
た、物体を例えば撮影して、表面の色や模様のデータを
得る。３次元座標データの対応箇所に対して色や模様の
データを貼り付けることで、３次元モデルが構築され
る。

【０００３】このように、計測によって３次元モデルを
構築する場合、ただ一度の計測によって物体の形状や色
の情報を全て把握することは、一般に不可能である。そ
のため、物体を様々な異なる方向から計測すると共に、
その物体を撮影して画像を取得し、その画像データを用
いて形状データ同士の連結性を評価してデータの統合を
行う。

【０００４】このとき、形状データの連結性の評価を簡
単にするには、計測装置の絶対位置が分かるような仕組
みを設ける。例えば、位置制御が正確に行われるロボッ
トアームに計測装置を固定して、ロボットアームを制御
することで計測装置の移動を行う。あるいは、被計測物
である物体を回転テーブルに載せて、計測時に、回転テ
ーブルを正確に回転させる。

【０００５】一方、物体を一通り計測した後、得られた
形状データの統合化を図ったときに、データの欠損が発
見されることがある。例えば、計測時に陰になるような
窪みなどの部分は、データの欠損部分になる可能性があ
る。データの欠損部分は、例えば上述した窪みであれば
その部分に光を当て、正確な位置が分かるような状態に
して、再度計測する必要がある。

【０００６】

【発明が解決しようとする課題】このように、形状デー
タの計測を互いに異なる方向から繰り返し行った場合
に、データの欠損が生じないようにするためには、どの
方向から計測すれば効果的かを知る必要がある。

【０００７】しかしながら、従来では、計測を行いなが
ら、次の計測方向を予測することは、処理に時間がかか
るという問題点があった。

【０００８】また、従来では、実際に計測しなければ、
本当にデータの欠損が無いかどうかを判別することがで
きないという問題点があった。

【０００９】したがって、この発明の目的は、物体の計
測を行いながら、データ欠損があるかどうかを容易に判
断できるような形状計測装置および形状表示方法を提供
することにある。

【００１０】

【課題を解決するための手段】この発明は、上述した課
題を解決するために、被計測物の３次元的な形状を計測
する形状計測装置において、被計測物の３次元的な形状
を示す形状データを取得する形状データ取得手段と、形
状データ取得手段により取得される形状データに対応し
た被計測物の画像データを取得する画像データ取得手段
と、形状データ取得手段によって取得された第１の形状
データと、形状データ取得手段によって第１の形状デー
タよりも以前に取得された第２の形状データとを比較
し、第１の形状データと第２の形状データとが隣接して
いるかどうかを判断する比較手段と、画像データ取得手
段によって取得された、第１の形状データに対応する画
像データを、比較手段の比較結果に基づき、第１の形状
データと第２の形状データとが隣接している場合、画像
データを第２の形状データの領域と第１の形状データの
領域とに分割する領域分割手段と、領域分割手段で分割
された第２の形状データの領域を第１の形状データの領
域と異なる表示方法で表示する表示手段とを有すること
を特徴とする形状計測装置である。

【００１１】また、この発明は、被計測物の３次元的な
形状を計測する際の形状表示方法において、被計測物の
３次元的な形状を示す形状データを取得する形状データ
取得のステップと、形状データ取得のステップにより取
得される形状データに対応した被計測物の画像データを
取得する画像データ取得のステップと、形状データ取得
のステップによって取得された第１の形状データと、形
状データ取得のステップによって第１の形状データより
も以前に取得された第２の形状データとを比較し、第１
の形状データと第２の形状データとが隣接しているかど
うかを判断する比較のステップと、画像データ取得のス
テップによって取得された、第１の形状データに対応す
る画像データを、比較のステップの比較結果に基づき、
第１の形状データと第２の形状データとが隣接している
場合、画像データを第２の形状データの領域と第１の形
状データの領域とに分割する領域分割のステップと、領
域分割のステップで分割された第２の形状データの領域
を第１の形状データの領域と異なる表示方法で表示する
表示のステップとを有することを特徴とする形状表示方
法である。

【００１２】上述したように、この発明は、被計測物を
形状を計測することで取得された第１の形状データと、
第１の形状データよりも以前に取得された第２の形状デ
ータとを比較し、第１および第２の形状データが隣接し
ているかどうかを判断し、隣接している場合には、画像
データを第２の形状データの領域と第１のデータとに分
割し、これらの領域を互いに異なる表示方法で表示する
ようにしているため、第１の形状データを第２の形状デ
ータに対して追加可能であるかどうかを容易に確認する
ことができる。

【００１３】

【発明の実施の形態】以下、この発明の一実施形態につ
いて説明する。この発明では、被計測物である物体の画
像情報と３次元形状とを同時に取得し、取得された３次
元形状に基づき３次元モデルを構築する。次に、先に取
得された面と連続的な、物体の次の面の画像情報と３次
元形状とを取得する。既に構築された３次元モデルと、
新たに取得された３次元形状とに連結性があれば、これ
らが互いに区別されるように、同時に取得された画像情
報との対応関係が表示される。

【００１４】このように表示することにより、被計測物
である物体について、データの欠損がどこにあるかが直
接的に把握できる。なお、既に取得された３次元モデル
と、新たに取得された３次元モデルとは、連結性に基づ
き一体化され、新たに既得３次元モデルとして記憶され
る。

【００１５】図１は、この発明による３次元モデルの構
築ならびに表示の一例を示す。これは、円筒形の容器に
把手が付いた、所謂マグカップ１を被計測物としてい
る。最初、把手を向こう側に向けて置き、図１Ａの方向
から画像情報および３次元形状を取得する。なお、以下
では、画像情報および３次元形状の取得を合わせて、計
測と称する。また、図１において、円筒面を分割した各
面に対して、ａ，ｂ，ｃ，・・・と符号を付して各面を
区別する。

【００１６】図１Ａに示す最初の計測では、面ｅ，ｆ，
ｇおよびｈが計測され、対応する画像情報および３次元
形状が取得されている。３次元形状は、例えば、所定間
隔で物体表面の座標を計測することによって得られる。
座標系には、例えば所定の点を基準とした（ｘ，ｙ，
ｚ）座標系が用いられる。取得された３次元形状データ
に基づき、３次元モデルが構築される。３次元モデル
は、例えば各計測点を線で結んだワイヤフレームによっ
て表現することができる。なお、３次元形状データも、
同様の表現が可能である。

【００１７】次に、マグカップ１の向きを変えて計測を
行う。このとき、図１Ａに示される計測方向に対して、
重複部分があるように計測方向を決め、計測が行われ
る。このとき、モニタには、この計測によって取得され
た画像情報に対して、先の計測によって得られた３次元
モデルが重畳して表示される。それと共に、新たな計測
により得られた形状データに、先の計測によって得られ
た３次元モデルと連結する可能性がある領域が存在すれ
ば、その領域に対して、例えば赤の点滅表示といったよ
うな、既に構築されている３次元モデルの領域と異なる
表示がなされる。

【００１８】図１Ｂは、この表示の一例を示す。マグカ
ップ１は、図１Ａの計測のときとは向きを変えられて計
測されており、面ｆ，ｇ，ｈおよびｉの３次元形状が取
得されている。図１Ａの計測で既に構築された３次元モ
デルは、図１Ｂに「Ａ」で示されるように、ワイヤフレ
ーム表示される。一方、図１Ｂの向きの計測に基づく３
次元形状データに対して、「Ａ」部との連結性が判断さ
れ、連結性が有るとされた場合には、「Ａ」部に重複し
ない領域が赤の点滅表示とされる。この例では、図１Ａ
に対して新たに形状データが取得された面ｉの領域が点
滅表示される（図１Ｂの「Ｂ」部）。

【００１９】また、このとき、既にモデル化されている
領域と連結する可能性が無いとされた領域に関しては、
画像情報がそのまま表示される（スルー表示）。さら
に、既にモデル化されている領域と連結する可能性があ
るが、計測ができなかった領域も、スルー表示とされ
る。

【００２０】すなわち、この発明では、 １．既にモデル化されている領域は、ワイヤフレーム表
示を行い、 ２．既にモデル化されている領域に連結する可能性があ
る領域は、既にモデル化されている領域とは異なる表
示、例えば赤の点滅表示を行い、 ３．計測ができていないか、モデルとは関連性の無い領
域は、スルー表示を行う、という３種類の表示が行われ
る。これにより、３次元モデルの完成度を視覚的に確認
することできる。

【００２１】また、この表示を行っている間は、計測は
行われるが、計測されたデータは、確定されたデータと
して記録されないようにする。例えば、装置の動作モー
ドが「スタンバイモード」のときに、この表示がなされ
る。ここで、上述の赤い点滅表示で示される領域のデー
タを、既に構築された３次元モデルに対して追加して、
３次元モデルを更新するためには、所定の操作を介する
ようにする。例えば装置の動作モードを、「スタンバイ
モード」から「記録モード」へと切り替えることで、３
次元モデルの更新が行われるようにする。

【００２２】図２は、このような計測ならびに表示を行
い３次元モデルを構築するようにされた、３次元カメラ
の構成の一例を示す。この３次元カメラ１００では、被
計測物を計測および撮影した結果に基づき３次元的なデ
ータ処理を行い、被計測物を電子化された３次元モデル
として構築する。被計測物からの光がレンズ１０を介し
てプリズム１１に入射されることによって、被計測物の
撮像ならびに計測が行われ、画像データと形状データと
が得られる。

【００２３】プリズム１１は、入射された光を波長に応
じて分光し、可視光帯域を有する光を画像センサ１３に
導き、他の帯域、例えば近赤外帯域を有する光を距離セ
ンサ１２に導く。レンズ１０から入射された光は、プリ
ズム１１で光路を２つに分けられ、それぞれ距離センサ
１２および画像センサ１３に結像される。

【００２４】画像センサ１３は、例えばＣＣＤ(Charge
Coupled Device) からなり、入射された光を電気信号に
変換し、被計測物の撮像を行う。この画像センサ１３に
よる撮像によって、被計測物表面の色や模様に関する情
報、すなわちテクスチャが取得される。なお、図示しな
いが、画像センサ１３は、ＣＣＤで撮像され得られた電
気信号をディジタルデータに変換する回路を有する。画
像センサ１３から、被計測物を撮像して得られた画像デ
ータが出力される。この画像データは、画像合成／領域
分割部１８および画像変換部２６に供給される。

【００２５】また、距離センサ１２および形状変換部１
４によって、被計測物の形状が計測され、形状データが
得られる。例えば、図示されない近赤外線照射部によっ
て、被計測物の表面に近赤外線を照射し、反射光を距離
センサ１２で受光する。距離センサ１２は、例えば、光
切断法に基づく距離計測を高速に行うために特に設計さ
れたセンサである。なお、光切断法は、「三次元画像計
測（井口征士、佐藤宏介共著、昭晃堂、1990年11月19日
初版１刷発行）」などに記載されるような、１本のスリ
ット光が被計測物を切断するときの切断線像に基づき３
次元形状データを得る方法である。

【００２６】また、これに限らず、距離センサ１２は、
例えば近赤外線に対して高感度で、受光部分であるセル
を所定の数だけ有するＣＣＤであって、近赤外線照射部
によってスリット状にされた近赤外線を、回転する走査
ミラーを介して被計測物に対して照射させて被計測物の
表面を走査し、反射光が距離センサ１２のセルを通過す
る時点を検出して、被計測物の表面の位置を計測する。

【００２７】計測結果は、例えば（ｘ，ｙ，ｚ）で表さ
れる直行座標系に換算され、これを、被計測物の表面に
ついて網羅的に求めることで、被計測物の形状データが
得られる。得られた形状データは、形状比較部１６に供
給されると共に、形状記憶部１５に記憶される。形状記
憶部１５には、計測された被計測物表面の形状または形
状の一部のデータが計測毎に記憶される。形状記憶部１
５は、例えばメモリからなる。また、これに限らず、ハ
ードディスクなどの記録媒体でもよい。

【００２８】形状変換部１４における距離算出および座
標変換の処理は、予め与えられたパラメータに基づき実
際に計算するようにしてもよいし、考え得る全ての条件
を与えて予め作成されたテーブルを参照して形状データ
に換算するようにしてもよい。また、距離計測の結果
は、直行座標系に限らず、例えば極座標やさらに他の座
標系で出力するようにしてもよい。

【００２９】形状比較部１６では、形状記憶部１５に、
既に取得された形状データ（以下、既得形状データと称
する）が記憶されていれば、形状変換部１４から供給さ
れた、今回の計測によって得られた形状データ（以下、
新規形状データと称する）と、既得形状データとが比較
され、位置関係に基づき両者の連結性が判断される。判
断の結果、新規形状データと既得形状データとが重複部
分を含んで隣接しているとされれば、これらの間には連
結性があると判断される。そして、新規形状データに対
してその旨示すフラグ（追加フラグと称する）が立てら
れると共に、新規形状データが形状再変換部２９および
画像変換部２６に供給される。

【００３０】画像変換部２６では、画像センサ１３から
供給された画像データを、形状比較部１６から供給され
た新規形状データに基づき、互いに異なる方向から撮影
された画像データ同士を容易に比較できるように変換す
る。例えば、被計測物の画像データを、仮想の中心線に
対応する円筒上へ投影して平面に展開するような変換が
行われる。

【００３１】変換された画像データは、画像記憶部２７
に記憶されると共に、画像比較部２８に供給される。画
像変換部２６から画像比較部２８に直接的に供給された
画像データの、例えば１回前に取得された画像データが
画像記憶部２７から読み出され、画像比較部２８に供給
される。画像比較部２８では、供給された２つの画像デ
ータの比較照合が行われ、これらの画像データ同士の幾
何学的な位置関係ならびに類似度が求められる。

【００３２】画像データ同士の比較照合の方法として
は、例えば、画像のパターンマッチングを行う方法とし
て一般的な、正規化相関法を用いることができる。例え
ば、画像の部分毎に相関を求めていき、相関の高い領域
を探すことで、２つの画像の幾何学的な位置関係を求め
ることができる。このとき、一方の画像データを基準と
して、画像の部分毎に異なるサイズ（倍率）のものを数
パターン用意して比較していく。そして、合致したも
の、他方の画像データの倍率（拡大／縮小率）を求める
ことができる。

【００３３】形状再変換部２９に対して、画像比較部２
８の比較結果が供給される。また、上述したように、形
状再変換部２９には、形状比較部１６から新規形状デー
タが供給されている。形状再変換部２９では、画像比較
部２８での比較結果に基づき、供給された新規形状デー
タを変換する。

【００３４】新規形状データの変換は、例えば、画像の
部分毎の倍率の分布に基づいて行うことができる。倍率
に分布が無い場合には、２つの画像の間で相関の高い領
域同士が互いに一致するように、形状データの座標変換
が行われる。このときには、画像データの平行移動を考
慮するだけでよい。

【００３５】一方、倍率に位置的な分布があるとされれ
ば、倍率の分布の傾向に基づき、形状データが再変換さ
れる。一例として、倍率が特定の方向に対して一様に分
布している場合は、画像を展開したときの軸に対する傾
きが存在すると考えられる。この場合には、形状データ
に対して画像の傾きを補正するような変換が行われる。

【００３６】また他の例として、倍率の分布に特定の傾
向が無い場合もある。このような状況において、例え
ば、倍率に基づき、一方の画像のある矩形領域に対して
他方の画像の対応領域が小さいと判断される場合、本来
の他方の画像の該当領域は、倍率に相当する分だけ他の
領域よりも手前に張り出していると考えられる。この場
合には、該当領域を手前に張り出させるように、形状デ
ータが変換される。同様に、倍率に基づき、一方の画像
のある矩形領域より該当領域の対応領域が大きいと判断
される場合には、倍率に相当する分だけ奥に引っ込んで
いるべきであると考えられる。この場合には、該当領域
が奥になるように、形状データが変換される。

【００３７】変換された新規形状データは、追加フラグ
と共に、モデル記憶部１７に一時的に記憶される。そし
て、モデル記憶部１７から画像合成／領域分割部１８に
対して、既存のモデルデータと新規形状データとが共に
供給される。

【００３８】上述したように、画像合成／領域分割部１
８は、画像センサ１３から画像データが供給されてい
る。この画像データは、既存のモデルデータと新規形状
データとに基づき、モデル化された領域と、モデルに対
して追加可能な領域と、計測されてない部分とに領域分
けされる。すなわち、既存のモデルデータに対応する領
域はモデル化された領域であり、新規形状データに対応
する領域が追加可能な領域とされる。何方にも該当しな
い領域は、計測されていない領域とされる。そして、こ
れらの各領域が互いに異なる表示となるように、画像デ
ータに対してモデルデータと新規形状データとが合成さ
れた合成画像データが生成される。

【００３９】生成された合成画像データは、例えばこの
３次元カメラ１００のビューファインダである表示部２
０に対して表示されると共に、領域出力部２３に供給さ
れる。領域出力部２３からは、例えば外部のモニタに対
して合成画像データを供給し表示させることができる。

【００４０】ここで、表示部２０の表示あるいは領域出
力部２３によるモニタ表示により追加可能な領域を確認
し、新規形状データを既存のモデルデータに対して追加
ならびに一体化するかどうかが判断される。追加する場
合は、装置の動作モードが「記録モード」とされる。

【００４１】なお、「記録モード」でのデータの一体化
の際には、新規形状データが既存のモデルデータに適応
できるように、新規形状データに対して所定の処理がな
される。例えば、既存のモデルデータに対して新規形状
データの連結部の座標が完全に一致するように、新規形
状データが変更される。また例えば、モデルデータが
（ｘ，ｙ，ｚ）座標系以外の形式で成る場合には、新規
形状データがモデルデータの形式に適応するように変換
される。変換された新規形状データは、既存のモデルデ
ータに対して追加され、一体化されて、モデル記憶部１
７に記憶されている３次元モデルデータの更新がなされ
る。

【００４２】なお、形状再変換部２９からの出力は、画
像再変換部２５にも供給される。画像再変換部２５で
は、形状再変換部２９での形状データの変換結果に基づ
き、画像記憶部２７に記憶されている画像データをさら
に変換する。変換された画像データは、画像記憶部２７
に戻され、元のデータと置き替えられ、次の新規データ
との比較に用いることができるようにすると共に、図示
されない変換画像出力部から外部に出力することができ
る。

【００４３】図３は、上述の構成による処理を示すフロ
ーチャートである。先ず、最初のステップＳ３０で、装
置１００の動作モードがスタンバイモードとされると、
次のステップＳ３１から、計測が開始される。すなわ
ち、被計測物からの光がレンズ１０を介してプリズム１
１に入射されることによって、被計測物の撮像ならびに
計測が行われ、画像データと形状データとが得られる。

【００４４】次のステップＳ３２で、形状記憶部１５
に、一連の計測に基づく、前回までの計測により得られ
た形状データが記憶されているかどうかが判断される。
若し、前回までの計測による形状データが存在しない場
合、例えば、今回の計測が被計測物に対する最初の計測
であって、形状記憶部１５に今回の計測によって得られ
た形状データしか存在しない場合、処理はステップＳ３
５に移行する。

【００４５】一方、ステップＳ３２で、形状記憶部１５
に前回までの形状データが記憶されているとされれば、
処理はステップＳ３３に移行する。ステップＳ３３で
は、形状比較部１６による新規形状データと既得形状デ
ータとの連結性が判断される。ステップＳ３３での判断
の結果、新規形状データと既得形状データとの間に連結
性あるとされれば（ステップＳ３４）、次のステップＳ
３５で、新規形状データがモデル記憶部１７に一時的に
記憶される共に、追加フラグが立てられる。そして、処
理は次のステップＳ３６に移行する。

【００４６】一方、ステップＳ３４において、新規形状
データと既得形状データとが隣接していない、あるい
は、重複部分が無い場合には、連結性が無いものとさ
れ、処理はステップＳ３６へ移行する。

【００４７】なお、このステップＳ３３およびステップ
Ｓ３４での判断において、新規形状データが既得形状デ
ータに完全に含まれる場合には、その新規形状データ
は、既得形状データに追加する必要がない。したがっ
て、この場合には、追加フラグは、その新規形状データ
に対して立てないようにする。

【００４８】ステップＳ３６では、画像合成／領域分割
部１８において新規形状データおよび既得のモデルデー
タと、画像データとの位置合わせを行い、両者が対応付
けられる。そして、次のステップＳ３７で、画像合成／
領域分割部１８において、新規形状データおよび既得の
モデルデータとに基づき、画像データの領域がモデル化
された領域と、モデルに対して追加可能な領域と、計測
されてない部分とに領域分けされ、各領域が互いに異な
る表示とされる。この例では、モデル化された領域がワ
イヤフレーム表示、モデルに対して追加可能な領域が赤
の点滅表示、未計測領域が画像データのスルー表示とさ
れる。

【００４９】ステップＳ３７での処理がなされると、ス
テップＳ３８で、装置の動作モードを記憶モードに移行
させるかどうか、判断される。すなわち、表示部２０の
表示に基づき、赤の点滅表示とされている新規形状デー
タ部分を、既に確定されている３次元モデルデータに対
して追加されたモデルとして確定したい場合には、記憶
モードに移行される（ステップＳ３９）。確定しない場
合には、ステップＳ４０に移行する。

【００５０】ステップＳ３９では、モデル記憶部１７に
記憶されている、追加フラグが立っている新規形状デー
タが３次元モデルデータに変換される。新規形状データ
が変換された３次元モデルデータは、既存の３次元モデ
ルデータに対して追加ならびに一体化される。すなわ
ち、新規形状データをＡ、モデル記憶部１７に記憶され
ている既得形状データをＢとすると、この既得形状デー
タの更新は、Ａ＋Ｂを新たなＢとすることでなされる。
これにより、被計測物を計測することで構築される３次
元モデルデータの更新が行われる。

【００５１】このように、この発明では、表示部２０の
表示を確認しながら、新規の計測により得られた新規形
状データの既得形状データへの追加を行うようにしてい
るため、被計測物のどの部分をモデル化しようとしてい
るかが一目で分かる。記録モードとスタンバイモードと
の切り替えを、例えば一般のビデオカメラに設けられて
いる録画スイッチのような、簡便に操作可能なものとす
ることで、カメラのビューファインダなどを覗きなが
ら、容易にデータ欠損の無い３次元モデルの構築を行う
ことができる。

【００５２】さらに計測を継続する場合には、ステップ
Ｓ３１に処理が戻される（ステップＳ４０）。このと
き、動作モードは、スタンバイモードに戻される。

【００５３】上述の構成において、モデル記憶部１７に
記憶された被計測物の３次元モデルデータは、モデル出
力部２１を介して外部に出力することができる。また、
計測毎の画像データは、画像合成部１８から画像出力部
２２を介して外部に出力することができる。

【００５４】この一実施形態では、このように、モデル
出力部２１、画像出力部２２および領域出力部２３か
ら、３次元モデルデータ、画像データおよび領域分け結
果データがそれぞれ出力される。そのため、表示部２０
に対してなされている表示と同様の表示を、３次元カメ
ラ１００の外部において行うことが可能とされる。

【００５５】なお、上述したステップＳ３３における、
２つの形状データ間での連結性の判断は、幾つか発表さ
れている既存の手法を用いて行うことができる。例え
ば、ICP(Interated Closest Point)と称される手法(Pau
l J.Besl and Neil D.Mckey, "A Method for Registrat
ion of 3-D Shapes", IEEE Trans. on PAMI, vol.14, N
o.2, Feb.1992)から派生した様々な手法(Andrew E.John
son and Sing B.Kang, "Registration and Integration
of Textured 3-D Data", in Proc. of Int'l Conf. on
Recent Advance in 3-D Digital Imaging and Modelin
g, 1997)を用いることができる。一方、複数の形状デー
タを一体化していく手法としては、ポリゴンベースの手
法(Greg Turk and Marc Levoy, "Zippered Polygon Mes
hes from Range Images", in Proc. of SIGGRAPH'94, 1
994)やボクセル空間に変換して統合した後、ポリゴンに
変換するVolume法(Brian Curless and Marc Levoy, "A
Volumetric Method for Building Complex Models from
Range Images", in Proc. of SIGGRAPH'96 1996) など
を用いることができる。

【００５６】図４は、この一実施形態による３次元カメ
ラの適用例である。これは、被計測物として自動車の計
測を行い、自動車のモックアップモデルを作成する例で
ある。３次元カメラ１００は、ここでは、カメラとして
構成され、３次元カメラ１００として記述する。被計測
物１２０が所定の位置に載置される。この例では、台１
２１は、位置が固定的にされた固定台である。

【００５７】３次元カメラ１００は、可動アーム１０１
に取り付けられる。可動アーム１０１は、被計測物１２
０を任意の方向から計測可能なように、例えば遠隔操作
によって３次元カメラ１００を移動するようにされてい
る。

【００５８】なお、この例では、３次元カメラ１００が
可動アーム１０１に取り付けられているが、これはこの
例に限定されない。すなわち、３次元カメラ１００は、
被計測物１２０を任意の方向から計測可能な構造とされ
ていれば、他の方法で保持するようにしてもよい。例え
ば、パン／チルトが可能な雲台に３次元カメラ１００を
取り付け、この雲台を、水平、垂直および前後に移動可
能なレールに搭載するようにしてもよい。

【００５９】また、この例では、被計測物１２０が台１
２１に載置され、その位置ならびに方向などが固定的と
されているが、これはこの例に限定されない。台１２１
は、例えば回転や移動が可能なものでもよい。台１２１
を回転ならびに移動可能とし、３次元カメラ１００を固
定的として、被計測物１２０の計測を行ってもよい。さ
らに、３次元カメラ１００および台１２１を共に移動
（回転）可能とするようにもできる。

【００６０】上述のモデル出力部２１、画像出力部２２
および領域出力部２３の出力は、それぞれモニタ１１
２、１１３および１４に供給される。また、３次元カメ
ラ１００の動作は、コントローラ１１１で制御される。
例えば、上述した「スタンバイモード」および「記録モ
ード」の設定は、このコントローラ１１１から行うこと
ができる。なお、可動アーム１０１の動作は、コントロ
ーラ１１０で制御される。計測者は、これらコントロー
ラ１１０および１１１をそれぞれ操作することで、被計
測物１２０に対して３次元カメラ１００を任意の方向に
向け、被計測物１２０の計測を行うことができる。

【００６１】このような構成において、先ず、３次元カ
メラ１００によって、被計測物１２０を任意の方向から
計測し、形状変換部１４で計測データを形状データに変
換し、形状記憶部１５に記憶させる。

【００６２】次に、可動アーム１０１を操作すること
で、３次元カメラ１００を少し移動させ、その位置で被
計測物１２０の計測を行う。このとき、動作モードは、
「スタンバイモード」である。そして、先に計測され形
状記憶部１５に記憶された形状データと、今回の計測で
形状変換部１４により変換され得られた形状データとが
形状比較部１６で比較され、今回の計測による形状デー
タ中に、先に計測された形状データに対して追加できる
部分があるかどうかが確認される。

【００６３】この確認は、領域出力部２３に接続された
モニタ１１４の表示に基づき、既にモデル記憶部１７に
記憶されている部分、すなわち、ワイヤフレーム表示さ
れている部分に隣接して、赤い点滅表示の部分があるか
どうかでなされる。

【００６４】若し、追加可能な部分があると確認できれ
ば、動作モードを「記録モード」にして、今回の計測で
得られた形状データを、形状記憶部１５に記憶すると共
に、モデル記憶部１７において既存の３次元モデルに追
加し、モデルの更新を行う。一方、追加可能な部分が無
いとされれば、「スタンバイモード」のまま、追加可能
な部分、すなわち赤い点滅部分がモニタ１１４に表示さ
れるまで３次元カメラ１００が移動される。

【００６５】このような処理を、３次元カメラ１００の
位置を変えながら繰り返し行うことで、被計測物１２０
を計測して構築される３次元モデルが次第に大きくな
り、被計測物１２０の全容が表現されるようになる。

【００６６】モデル記憶部１７に３次元モデルとして記
憶されている部分は、モニタ１１４においてワイヤフレ
ーム表示されている。したがって、３次元カメラ１００
で被計測物１２０を様々な方向から計測し、モニタ１１
４の表示に赤い点滅部分が無くなり、全てがワイヤフレ
ーム表示になれば、被計測物１２０の３次元モデルが完
成したことが容易に分かる。

【００６７】なお、上述では、モデル化された領域をワ
イヤフレーム表示とし、モデルに対して追加可能な領域
を赤の点滅表示としたが、これは一例であって、これに
限定されるものではない。例えば、モデル化された領域
とモデルに対して追加可能な領域とは、共にワイヤフレ
ーム表示とし、両者のワイヤフレームの表示色を互いに
異なる色（例えば緑と赤など）とするようにしてもよ
い。すなわち、モデル化された領域と、モデルに追加可
能な領域とが互いに一目で区別可能であれば、他の表示
方法でもかまわない。

【００６８】また、上述では、３次元カメラ１００を可
動アーム１０１に取り付けて、可動アームを操作するこ
とによって被計測物１２０の計測を行っているが、これ
はこの例に限定されない。すなわち、この一実施形態で
は、計測により得られた重複して隣接する２つの画像デ
ータの相関関係を求め、その結果に基づき形状データの
再変換を行うようにしているため、３次元カメラに対す
る被計測物の位置が正確に分からなくても、３次元モデ
ルの構築を行うことができる。そのため、３次元カメラ
を、例えば計測者の肩に乗せるような可搬型とすること
ができ、一般のビデオカメラのように、計測者が被計測
物の周りを計測しながら自由に動くことが可能である。

【００６９】なお、上述では、表示部２０がカメラのビ
ューファインダであって、領域出力部２３から出力され
た合成画像データが表示されるモニタ１１４が一般的な
据置型のモニタであるように説明したが、これはこの例
に限定されない。例えば、これら表示部２０やモニタ１
１４は、それぞれ、メガネ様に例えば液晶パネルによる
表示部が配され、頭部に直接的に装着して用いる、ヘッ
ドマウント型ディスプレイとすることができる。

【００７０】次に、この一位置実施形態の第１の変形例
について説明する。上述の可動アーム１０１を用いる例
において、可動アーム１０１の動作パラメータなどに基
づき、３次元カメラ１００と被計測物１２０との相対的
な位置関係が常に把握可能であれば、隣接した計測によ
る２つの画像データの比較に基づく形状データの再変換
を行わなくても、画像データ、新規形状データおよび既
存のモデルデータとの間の高精度な位置合わせが可能と
なる。

【００７１】図５は、この第１の変形例による３次元カ
メラ１００’の構成の一例を示す。なお、図５におい
て、図２と重複する部分については同一の番号を付し、
詳細な説明を省略する。この図５の構成は、上述の図２
に示した構成に対して、隣接した画像データに基づき形
状データの再変換を行う部分、すなわち、図２における
画像変換部２６、画像記録部２７、画像比較部２８、形
状再変換部２９および画像再変換部２５が省略されてい
る。

【００７２】形状変換部１４での、計測データの形状デ
ータへの変換は、例えば、３次元カメラ１００’が取り
付けられている可動アーム１０１の位置情報に基づきな
される。また、画像合成／領域分割部１８から、画像セ
ンサ１３で取得された画像データが画像出力部２２に供
給されると共に、領域分割され新規形状データおよび既
存のモデルデータとが合成された合成画像データは、領
域出力部２３に供給される。

【００７３】また、上述では、３次元モデル構築装置１
００は、被測定物１１０を計測するために、独立した距
離センサ１２を有していたが、これはこの例に限定され
ない。例えば、画像センサで撮影される情報そのものか
ら、被測定物表面までの距離を計測することが可能であ
る。

【００７４】図６は、この一実施形態の第２の変形例で
ある、画像センサを複数持ち、ステレオ処理と称される
方法で距離を測定できるようにした３次元カメラ１０
０”の構成の一例を示す。なお、この図において、上述
の図２および図５と共通する部分には同一の番号を付
し、詳細な説明を省略する。

【００７５】この装置１００’は、レンズ３０Ａと画像
センサ３１Ａからなる光学系、レンズ３０Ｂと画像セン
サ３１Ｂとからなる光学系、レンズ３０Ｃと画像センサ
３１Ｃとからなる光学系というように、複数の光学系を
有する。これら複数の光学系は、例えば１点に対して所
定の視差を有するように配置され、同一の被写体を撮影
した際に、視差に基づき距離を測定するようになされて
いる。

【００７６】画像センサ３０Ａ，３０Ｂおよび３０Ｃの
出力は、形状変換部１４と画像変換部１６とにそれぞれ
供給される。形状変換部１４では、３つのセンサから供
給された出力に基づき、所定の点までの距離を算出し、
形状データとする。また、画像変換部１６では、３つの
センサから供給された出力に基づき、画像データを作成
する。代表する１つのセンサからの出力だけを用いても
よい。この３つの光学系を用いて測定された結果に基づ
き、上述の図５による構成と同様にして、モデル出力部
２２において３次元モデルを得ることができる。勿論、
このような光学系の構成は、上述の図２の構成にも適用
できるものである。

【００７７】

【発明の効果】以上説明したように、この発明によれ
ば、被計測物の計測の度に３次元モデルが更新され、既
に３次元モデルとして構築されている領域と、既に構築
されている３次元モデルに対して追加可能な領域とが区
別して表示される。そのため、これらの領域を前もって
把握することが容易であるという効果がある。

【００７８】したがって、ある程度３次元モデルが構築
された時点で、次に計測するべき部分を確認し、最も効
率よくモデルに追加できる部分だけを実際に記録するこ
とが可能となる効果がある。

【００７９】また、この発明の一実施形態によれば、領
域分割された３次元モデルの画像が外部に出力できるよ
うにされているため、この発明による３次元カメラを操
作している計測者に対して、次に計測を行う位置に移動
するように、計測者に対して離れたところから指示を与
えることができるという効果がある。

【００８０】また、３次元カメラおよび３次元カメラを
移動させる可動機構を遠隔操作可能としておけば、表示
装置を見ながら３次元カメラの操作を行うことができる
ようになる効果がある。

【００８１】さらに、この発明の一実施形態によれば、
既に３次元モデルとして構築されている領域と、既に構
築されている３次元モデルに対して追加可能な領域とが
区別して表示されると共に、重複して隣接する２つの画
像データの相関関係を求め、その結果に基づき形状デー
タの再変換を行うようにしているため、３次元カメラに
対する被計測物の位置が正確に分からなくても、３次元
モデルの構築を行うことができる。したがって、３次元
カメラを、例えば計測者の肩に乗せるような可搬型とす
ることができ、一般のビデオカメラのように、計測者が
被計測物の周りを計測しながら自由に動くことが可能と
なる効果がある。

【図面の簡単な説明】

【図１】この発明による３次元モデルの構築ならびに表
示の一例を示す略線図である。

【図２】この発明による３次元モデルの構築ならびに表
示を行うようにされた３次元カメラの構成の一例を示す
ブロック図である。

【図３】この発明による３次元モデルの構築および表示
の処理を示すフローチャートである。

【図４】この発明の一実施形態による３次元カメラの適
用例を説明するための略線図である。

【図５】一実施形態の第１の変形例による３次元カメラ
１００’の構成の一例を示すブロック図である。

【図６】一実施形態の第２の変形例による３次元カメラ
１００”の構成の一例を示すブロック図である。

【符号の説明】

１０・・・レンズ、１１・・・プリズム、１２・・・距
離センサ、１３・・・画像センサ、１４・・・形状変換
部、１５・・・形状記憶部、１６・・・形状比較部、１
７・・・モデル記憶部、１８・・・画像合成／領域分割
部、２０・・・表示部、２１・・・モデル出力部、２２
・・・画像出力部、２３・・・領域出力部、２５・・・
画像再変換部、２６・・・画像変換部、２７・・・画像
記憶部、２８・・・画像比較部、２９・・・形状再変換
部、１００・・・３次元カメラ、１０１・・・可動アー
ム、１１０・・・可動アームのコントローラ、１１１・
・・３次元カメラのコントローラ、１１２，１１３，１
１４・・・モニタ、１２０・・・被計測物、１２１・・
・台

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA53 DD08 FF01 FF02 FF04 FF09 FF63 GG10 HH05 JJ03 JJ26 LL13 LL46 LL62 MM23 PP05 QQ24 QQ25 QQ31 QQ38 QQ41 SS13 2F069 AA66 DD08 GG01 GG04 GG07 GG39 GG59 GG62 HH09 JJ01 NN25 QQ10 5B057 AA01 BA02 CA12 CA13 CA16 CA17 CB12 CB13 CB16 CB17 CE08 CE09 CE10

Claims (7)

【特許請求の範囲】
1. 【請求項１】 被計測物の３次元的な形状を計測する形
   状計測装置において、 被計測物の３次元的な形状を示す形状データを取得する
   形状データ取得手段と、 上記形状データ取得手段により取得される上記形状デー
   タに対応した上記被計測物の画像データを取得する画像
   データ取得手段と、 上記形状データ取得手段によって取得された第１の形状
   データと、上記形状データ取得手段によって上記第１の
   形状データよりも以前に取得された第２の形状データと
   を比較し、上記第１の形状データと上記第２の形状デー
   タとが隣接しているかどうかを判断する比較手段と、 上記画像データ取得手段によって取得された、上記第１
   の形状データに対応する上記画像データを、上記比較手
   段の比較結果に基づき、上記第１の形状データと上記第
   ２の形状データとが隣接している場合、上記画像データ
   を上記第２の形状データの領域と上記第１の形状データ
   の領域とに分割する領域分割手段と、 上記領域分割手段で分割された上記第２の形状データの
   領域を上記第１の形状データの領域と異なる表示方法で
   表示する表示手段とを有することを特徴とする形状計測
   装置。
2. 【請求項２】 請求項１に記載の形状計測装置におい
   て、 上記比較手段では、上記第１の形状データと上記第２の
   形状データとの間に、重複部分を含んで隣接しているか
   どうかを上記判断することを特徴とする形状計測装置。
3. 【請求項３】 請求項１に記載の形状計測装置におい
   て、 上記領域分割手段は、上記画像データを上記第２の形状
   データの領域と、上記第２の形状データと上記第１の形
   状データとの差分の領域とに上記分割することを特徴と
   する形状計測装置。
4. 【請求項４】 請求項１に記載の形状計測装置におい
   て、 上記画像データ取得手段によって取得された上記画像デ
   ータに対して、上記第２の形状データの領域および上記
   第１の形状データの領域のそれぞれに対応する形状デー
   タを合成して合成画像データを生成する画像合成手段を
   さらに有し、 上記表示手段は、上記画像合成手段によって合成された
   上記合成画像データを表示することを特徴とする形状計
   測装置。
5. 【請求項５】 請求項１に記載の形状計測装置におい
   て、 上記比較手段の比較結果に基づき、上記第１の形状デー
   タと上記第２の形状データとが隣接している場合、上記
   第１の形状データを上記第２の形状データに基づき構築
   された３次元モデルに対して追加して上記第１および第
   ２の形状データを一体化し、上記３次元モデルを更新す
   るモデル構築手段をさらに有することを特徴とする形状
   計測装置。
6. 【請求項６】 請求項１に記載の形状計測装置におい
   て、 上記画像データ取得手段によって取得された上記画像デ
   ータに対して、上記第２の形状データの領域および上記
   第１の形状データの領域のそれぞれに対応する形状デー
   タを合成して合成画像データを生成する画像合成手段
   と、 上記比較手段の比較結果に基づき、上記第１の形状デー
   タと上記第２の形状データとが隣接している場合、上記
   第１の形状データを上記第２の形状データに基づき構築
   された３次元モデルに対して追加して上記第１および第
   ２の形状データを一体化し、上記３次元モデルを更新す
   るモデル構築手段と、 上記画像データ取得手段によって取得された上記画像デ
   ータを出力する第１の出力手段と、 上記画像合成手段によって生成された合成画像データを
   出力する第２の出力手段と、 上記モデル構築手段によって構築された上記３次元モデ
   ルを出力する第３の出力手段とをさらに有することを特
   徴とする形状計測装置。
7. 【請求項７】 被計測物の３次元的な形状を計測する際
   の形状表示方法において、 被計測物の３次元的な形状を示す形状データを取得する
   形状データ取得のステップと、 上記形状データ取得のステップにより取得される上記形
   状データに対応した上記被計測物の画像データを取得す
   る画像データ取得のステップと、 上記形状データ取得のステップによって取得された第１
   の形状データと、上記形状データ取得のステップによっ
   て上記第１の形状データよりも以前に取得された第２の
   形状データとを比較し、上記第１の形状データと上記第
   ２の形状データとが隣接しているかどうかを判断する比
   較のステップと、 上記画像データ取得のステップによって取得された、上
   記第１の形状データに対応する上記画像データを、上記
   比較のステップの比較結果に基づき、上記第１の形状デ
   ータと上記第２の形状データとが隣接している場合、上
   記画像データを上記第２の形状データの領域と上記第１
   の形状データの領域とに分割する領域分割のステップ
   と、 上記領域分割のステップで分割された上記第２の形状デ
   ータの領域を上記第１の形状データの領域と異なる表示
   方法で表示する表示のステップとを有することを特徴と
   する形状表示方法。