JP2001330417A

JP2001330417A - カラーパターン光投影を用いた三次元形状計測法および三次元形状計測装置

Info

Publication number: JP2001330417A
Application number: JP2000147232A
Authority: JP
Inventors: Tatsuo Sato; 佐藤辰雄
Original assignee: Individual
Current assignee: Individual
Priority date: 2000-05-19
Filing date: 2000-05-19
Publication date: 2001-11-30

Abstract

(57)【要約】【課題】物体の三次元形状を非接触で行
い、高い空間解像度で高精度に計測する三次元形状計測
方法と三次元形状計測装置を提供する。【解決手段】いろあいが直線的かつ単調に増減
するように設計したパターン光を投射するカラーパター
ン投射装置１と、そのカラーパターンが投射された物体
を撮影するカラー画像撮影装置２、撮影したカラー画像
と投射パターンの情報から三次元座標を計算する演算装
置３から構成される装置を用い、等間隔にＮ等分ずつ循
環的に位相をずらしたＮ通りのパターン光を順次投射し
てＮ枚のカラー画像を取得し、これらの画像を位相を元
に戻してから加算合成し、得られた合成画像のすべての
画素についてアクティブステレオ法に基づき物体座標系
の三次元座標を求めて、物体の三次元形状を生成する。

Description

【発明の詳細な説明】

【発明の属する技術分野】測定対象物に特定のパターン
光を投射し、それを撮影した画像を演算処理することに
より物体の三次元形状を非接触に計測する三次元形状計
測技術。

【従来の技術】特定のパターン光を投射することにより
物体の三次元形状を非接触に計測する形状計測法として
は、グレイコードパターン投影法（三次元画像計測、井
口征士、佐藤宏介共著、昭晃堂、80-91ページ）が知ら
れている。光パターンは図５のパターン光投射装置５か
ら投射される。このときパターンを一枚ずつ投射し、そ
の投影画像を取得して２値化する。この２値画像を多値
画像メモリ６の、そのときのビット番号に該当するビッ
トプレーン７に格納する。この操作を次々とすべてのビ
ット番号について繰り返す。以上により得られた多値画
像をグレイコードから２進コードに変換する。この空間
コード画像を用いてアクティブステレオ法または三角測
量法に基づく計算により距離画像を得ることができる。

【発明が解決しようとする課題】従来の計測法では空間
コードのビット数と同じ回数のパターン投射を必要とす
る。距離画像の空間解像度は空間コードのビット数によ
って決められるという性質があり、空間解像度が高く高
精度な形状計測を行うには空間コードのビット数を増や
さなければならない。ところが、空間コードのビット数
をある値より大きくするとカメラ画像中の１または０の
パターンの大きさが画像の１画素の大きさより小さくな
ってしまうことから、空間コードのビット数はあまり大
きくはとれない。また、計測対象の形状複雑度が高い場
合には空間コード画像中の１または０のパターンの大き
さが本来の大きさより小さくなってしまうことから、空
間コードのビット数をさらに小さくとる必要があること
になる。従って空間コードのビット数はかなり小さく抑
えなければならない。この相反する制約から空間解像度
の高い形状計測を行うことは難しい。

【課題を解決するための手段】上記課題を解決するため
には、デジタル化された空間コードを用いるのではな
く、値が連続に変化する投射パターンを用いればその投
射パターンは画像撮影装置の空間解像度の空間帯域幅内
では対象物の形状複雑度に関係なく正しく復元できるこ
とから、空解像度の高い形状計測を実現できることにな
る。その実現のため本発明の請求項１においては、投射
するパターンとしていろあいが連続に変化するカラーパ
ターン光を用いて解決した。また、本発明では計測対象
物の表面が白い場合には請求項１の方法を用いるが、青
や赤といった白以外の色をしている場合や、表面の分光
反射率にむらがある場合にはそれに影響されて投射カラ
ーパターンのいろあいを正しく復元できない。その場合
には請求項２の方法を用いて解決する。請求項２の方法
では図３に示す手順に基づく画像合成を行う。これによ
り、物体表面の分光反射率の影響をキャンセルできるた
め、上記のような問題は発生しない。以上の手段により
上記課題が解決できる。

【発明の実施の形態】図１は請求項１および請求項２の
方法を実現する装置の概略構成を示している。図２は投
射するカラーパターンのいろあいの変化を示している。
請求項１においては以下のように実施する。いろあいが
直線的かつ単調に増減するカラーパターンをカラーパタ
ーン投射装置１から計測対象物４に向けて投射し、その
投影像をカラー画像撮影装置２を用いて撮影する。この
とき投射パターンは演算装置３から制御し、撮影した画
像もまた演算装置３に取り込む。取得した画像は演算装
置３ですべての画素について、図２の関係を用いてプロ
ジェクタ座標に変換する。次に各画素の画像上での座標
（画像座標）と変換したプロジェクタ座標とから物体座
標系における三次元座標を求める。この計算は次のよう
に行う。画像座標を(x_c,y_c)、物体座標を(Ｘ,Ｙ,Ｚ)、
カメラパラメータを(c₁₁,c₁₂,c₁₃,c₁₄,c₂₁,c₂₂,c₂₃,
c₂₄,c₃₁,c₃₂,c₃₃,c₃₄)、プロジェクタパラメータを
(p₁₁,p₁₂,p₁₃,p₁₄,p₂₁,p₂₂,p₂₃,p₂₄)と表すと、カラー
画像撮影装置のレンズにおける透視変換から、

【０００１】

【数１】

【０００２】

【数２】

【０００３】同様にカラーパターン投射装置のレンズに
おける透視変換から、

【０００４】

【数３】

【０００５】が得られる。ここで、

【０００６】

【数４】

【０００７】とおくと，数１、数２、数３式はまとめ
て、

【０００８】

【数５】

【０００９】と書ける。これから物体座標は

【００１０】

【数６】

【００１１】により求められる。ただし、カメラパラメ
ータ及びプロジェクタパラメータはそれぞれのキャリブ
レーションによって求められ，特に

【００１２】

【数７】

【００１３】とする。プロジェクタパラメータのキャリ
ブレーションでは、プロジェクタ上での座標(x _p, y_p)に
対応する点の物体座標系での座標(Ｘ, Ｙ)を知ることは
カメラキャリブレーションの場合ほど容易ではない。物
体座標系で高さＺのわかっている位置に置いたＸ−Ｙ平
面に平行平板にプロジェクタからキャリブレーション用
格子パターンを投射し、予め、キャリブレーションされ
たカメラを用いてその投影像を撮影する。このとき投影
した格子点については、プロジェクタ上での座標x_pは投
射パターンのアドレスとして設計時に決まっている。次
に、取得した画像上での格子点の画像座標(x_c, y_c)から
物体座標系での位置(Ｘ, Ｙ)をカメラパラメータを用い
て計算する。これによりその投射された格子点の物体座
標系での座標(Ｘ,Ｙ, Ｚ)がわかる。以上の操作を様々
な高さで繰り返すことにより、プロジェクタ座標x_pと対
応する物体座標(Ｘ, Ｙ, Ｚ)の組を多数得て、プロジェ
クタパラメータを同定することができる。以上の理論に
基づいて本発明を実施するとき、実際のパターン投射装
置とカラー画像撮影装置の各ＲＧＢチャネル間には相互
に光の漏れ込み（クロストーク）が存在する。また、個
々のＲＧＢセンサは、光が入ってこない（真っ暗）状態
でもセンサ自体のいわゆる暗電流があるため出力はゼロ
ではない。周囲光も完全にゼロとは限らない。そこでこ
れらを考え併せて以下のような線形モデルを仮定し、観
測画像に対してＲＧＢチャネル間のクロストーク補償を
行う。いま投影パターンを(r,g,b)'、観測したカラー画
像信号を(Ｒ,Ｇ,Ｂ)'とすると、線形モデルは

【００１４】

【数８】

【００１５】と書ける．このパラメータを予め求めてお
くことにより、投射されたパターンは観測された画像信
号から容易に復元できる。これにより上記クロストーク
が補償される。このモデルは以下のようにして同定でき
る。

【００１６】

【数９】

【００１７】とおくと、上記数８式は

【００１８】

【数１０】

【００１９】と表せる。この時の最適な計数行列は下式
のように求まる。

【００２０】

【数１１】

【００２１】ここに

【００２２】

【数１２】

【００２３】はそれぞれx_iの自己相関行列と、x_iとy_iの
相互相関行列である。また、実際のＲＧＢセンサの入出
力応答特性は線形ではない。その補正は簡単な折れ線近
似で行う。請求項２の場合においては、投射するカラー
パターンを投射方向毎にいろあいが直線的に変化するよ
うに設計し，全体を一周期として、位相のずらし幅が一
定間隔ずつになるようにＮ等分区間ずつ循環的にずらし
たＮ通りのカラーパターンを順次空間に投射し、Ｎ枚の
カラー画像を取得する。取得したＮ枚の画像はその位相
が同一になるように、位相を戻す画像演算により位相を
そろえたのち、すべての画像を画素毎に加算した１枚の
合成画像を作成し、その合成画像を用いてすべての画素
について、図２の関係を用いてプロジェクタ座標に変換
する。次に各画素の画像上での座標（画像座標）と変換
したプロジェクタ座標とから物体座標系における三次元
座標を求める。合成画像の作成手順は、たとえばＮ＝３
とした場合には図３のようになる。このときについても
物体座標の計算方法は合成画像を用いる点以外は上記請
求項１の場合の計算と全く同じである。キャリブレーシ
ョンも、センサ特性の補償も全く同じように行う。

【００２４】

【実施例】図１において、カラーパターン投影装置とし
て市販の液晶プロジェクタを使用し，カラー画像撮影装
置としてこれまた市販のカラーＣＣＤカメラを使用し
て、投射カラーパターンの位相をずらす分割数Ｎ＝３と
して実施した。また、いろあいの計算方法としては、合
成画像のＲＧＢ信号の大きさを(Ｒ,Ｇ,Ｂ)と表したと
き、次式で定義されるＨを用いた。

【００２５】

【数１３】これは通常色相と呼ばれる値と等価であるが、値の変域
として

【００２６】

【数１４】

【００２７】の範囲をとる。また、Minは計算上の一時
的な変数である。Ｎ＝３の場合には位相を戻す操作は実
際には計算を必要とせず、カラー画像のＲＧＢそれぞれ
のチャネルを互いに循環的に入れ替えることにより実現
できる。その結果、位相ずらし量０のパターンを投射し
た時のカラー画像を(Ｒ₀,Ｇ₀,Ｂ₀)、位相ずらし量が右
に1/3周期のパターンを投射した時のカラー画像を(Ｒ₁,
Ｇ₁,Ｂ₁)、位相ずらし量が右に2/3周期のパターンを投
射した時のカラー画像を(Ｒ₂,Ｇ₂,Ｂ₂)とすると、画像
の合成は以下のように行える。

【００２８】

【数１５】

【００２９】この処理により、物体表面の色の影響がキ
ャンセルされる。投射パターンの設計例は図４に示す。

【００３０】

【発明の効果】従来の手法では、空間コードのビット数
と同回数のパターン投影を必要とするが、本発明ではパ
ターンをずらす時の分割数Ｎと同数の投影回数を要する
だけであり、実施例に示したとおり、Ｎ＝３が計算量の
点で最適なため、実質的には３回の投影でよい。また、
従来法では空間解像度が高くとれないのに対して、本発
明では画像撮影装置と同じだけの高い解像度が得られ、
しかも計測対象物の表面の色や分光反射率によらない形
状計測を可能としている。

【図面の簡単な説明】

【図１】本発明における装置の概略構成。

【図２】本発明における投射カラーパターンのいろあい
の分布。

【図３】本発明における画像合成の手順。

【図４】本発明におけるカラーパターンの設計例。

【図５】従来技術における装置の概略構成。

【符号の説明】

１・・・・カラーパターン投射装置。２・・・・カラー画像撮影装置。３・・・・演算装置。４・・・・計測対象物。５・・・・パターン光投射装置。６・・・・多値画像メモリ。７・・・・多値画像メモリのビットプレーン。

Claims

【特許請求の範囲】

【請求項１】投射方向毎にいろあいの異なる、広がりを
持ったカラーパターンを空間に投射するカラーパターン
投射装置と、そのカラーパターンが投影された物体を撮
影するカラー画像撮影装置、撮影したカラー画像と投射
パターンの情報から三次元座標を計算する演算装置から
構成される装置を用い、カラー画像中任意の点の画像座
標と、その点の画像データのいろあいから計算により復
元されるプロジェクタ座標とから、アクティブステレオ
法または三角測量法に基づき物体の三次元座標を計算し
て求めることにより、物体の三次元形状を計測すること
を特徴とする三次元形状計測法および三次元形状計測装
置。
【請求項２】投射するカラーパターンを投射方向毎にい
ろあいが直線的に変化するように設計し，そのいろあい
の変化の位相を一定間隔ずらした複数のカラーパターン
を空間に投射し、それぞれのカラーパターンが投影され
た時の物体を撮影した複数枚のカラー画像の位相が同一
になるように演算により位相をそろえて加算により合成
した合成画像中における任意の点の画像座標と、その点
の画像データのいろあいから計算により復元されるプロ
ジェクタ座標とから、ステレオ法または三角測量に基づ
き物体の三次元座標を計算して求めることにより、物体
の三次元形状を計測することを特徴とする三次元形状計
測法および三次元形状計測装置。