JP2011007744A - 三次元計測装置、及び三次元計測方法 - Google Patents

Abstract

【課題】演算負担を軽減しつつ、表面形状の検出精度を向上させる。
【解決手段】先ず第一の照射パターンを計測対象に向けて照射し（ステップＳ２）、計測対象に映る反射パターンを撮像する。そして、計測対象における注目領域の座標Ｇを算出し（ステップＳ８）、照射パターンの空間周波数に対する反射パターンの変化度合（ｄα／ｄθ）を算出する（ステップＳ９）。そして、座標Ｇと変化度合（ｄα／ｄθ）とに応じて、注目領域におけるＸ軸周りの傾きβ１を算出する（ステップＳ１０）。第一の照射パターンを照射した全ての領域でＸ軸周りの傾きβ１を算出できたら（ステップＳ１２の判定が“Yes”）、今度は第二の照射パターンを照射する（ステップＳ４）。以降は、第一の照射パターンと同様に、注目領域におけるＹ軸周りの傾きβ２を算出し、第二の照射パターンを照射した全ての領域で行う。
【選択図】図７

Description

本発明は、三次元計測装置、及び三次元計測方法に関するものである。

計測表面に対してプロジェクタから格子状の照射パターンを照射すると共に、計測表面をカメラで撮像し、各格子点（グリッド点）の三次元位置を計測することで、格子点が構成する面の傾き、つまり計測表面の形状を検出するものがあった（特許文献１参照）。

特開２００５−３１５７２８号公報

しかしながら、各格子点の三次元位置を計測する場合、格子点の位置によっては、正確な形状を検出できない可能性があり、これを解決するにはグリッド間隔を細かくするしかないので、演算負担が大きくなってしまう。
本発明の課題は、演算負担を軽減しつつ表面形状の検出精度を向上させることである。

上記の課題を解決するために、本発明に係る三次元計測装置は、二つの異なる方向に沿って強度を予め定められた空間周波数で変化させた照射光を、計測対象に向けて照射すると共に、計測対象に映る反射光を撮像する。そして、撮像した画像に基づいて、計測対象の座標位置と、照射光の空間周波数に対する反射光の空間周波数の変化度合とを算出し、これら変化度合と座標位置とに基づいて、計測対象の表面形状を算出する。

本発明に係る三次元計測装置によれば、計測対象の座標位置がどこにあるか、及び照射光の空間周波数に対して反射光の空間周波数がどれだけ変化したかに基づいて計測対象の表面形状を算出できる。したがって、演算負担を軽減しつつ表面形状の検出精度を向上させることができる。

本実施形態の概略構成図である。 照射パターンを例示した図である。 照射方向に対する照射光の強度を示す図である。 Ｚ‐Ｙ軸のカメラ座標系を示す図である。 計測対象位置の算出原理を示した図である。 照射パターンと算出可能な傾きβとの関係を示す図である。 三次元計測処理を示すフローチャートである。 従来技術の問題点を示す図である。 従来技術と本実施形態との演算負担を比較した図である。 照射領域を複数の領域に分割した図である。

以下、本発明の実施形態を図面に基づいて説明する。
《第１実施形態》
《構成》
図１は、本実施形態の概略構成図である。
本実施形態は、例えば車両前方における三次元空間の表面形状（傾き）を計測するものであり、プロジェクタ１１と、カメラ１２と、コントローラ１３と、を備える。
プロジェクタ１１は、コントローラ１３からの指令に応じた照射パターンを計測対象に照射する照射手段である。カメラ１２は、ＣＣＤやＣＭＯＳ等の撮像手段であって、計測対象に映る反射パターンの画像データをコントローラ１３へ入力する。

コントローラ１３は、照射制御部１４と、座標算出部１５と、変化度合算出部１６と、形状算出部１７と、を備える。照射制御部１４は、照射方向に応じてプロジェクタ１１の照射パターンと照射強度とを制御し、且つ同期検波による照射光抽出のために照射光変調を行う。座標算出部１５は、三角測量の原理を用い、画像データから計測対象の座標、つまり三次元位置を算出する。変化度合算出部１６は、照射パターンの周波数に対して反射パターンの周波数の変化度合を算出する。形状算出部１７は、計測対象の座標と、照射パターンの周波数に対する反射パターンの周波数の変化度合と、に基づいて計測対象の表面形状、つまり傾きβを算出する。

次に、傾きβの算出原理について説明する。
照射制御部１４により、第一の方向に沿って強度（明暗度合）を予め定められた周波数で変化させた第一の照射パターンと、第一の方向とは異なる第二の方向に沿って強度を予め定められた周波数で変化させた第二の照射パターンと、を計測対象にプロジェクタ１１で照射する。

図２は、照射パターンを例示した図である。
ここで、図２（ａ）は水平方向（横方向）に沿って等間隔に且つ連続的に強度を変化させた照射パターンであり、図２（ｂ）は垂直方向（縦方向）に沿って等間隔に且つ連続的に強度を変化させた照射パターンである。また、図２（ｃ）は水平方向（横方向）に沿って不等間隔に且つステップ状（非連続的）に強度を変化させた照射パターンであり、図２（ｄ）は垂直方向（縦方向）に沿って不等間隔に且つステップ状（非連続的）に強度を変化させた照射パターンである。

したがって、第一の照射パターンを、図２（ａ）や図２（ｃ）の照射パターンに設定していれば、第二の照射パターンを、図２（ｂ）や図２（ｄ）の照射パターンに設定する。
なお、図中の濃淡は照射光の強度を表しており、濃度の最も濃い部位が、強度の最も低い部位である。
図３は、照射方向に対する照射光の強度を示す図である。
照射光の強度は、図３に示すように、常に０より大きいものとする。すなわち、強度の最も低い部位であっても０ではない。

図４は、Ｚ‐Ｙ軸のカメラ座標系を示す図である。
ここでは、カメラ１２の位置を座標原点とし、プロジェクタ１１の位置をＰ［ｚ_p，ｙ_p］とし、計測対象の位置をＧ［ｚ_g，ｙ_g］とする。また、プロジェクタ１１から計測対象への照射方向をθとし、計測対象からカメラ１２への入射方向をαとし、計測対象の傾きをβとする。ここで、プロジェクタ１１の位置Ｐと、照射方向θとは既知である。
先ず、αについては、下記（１）式が成立する。
ｙ＝ｚtanα ………（１）
また、θについては、下記（２）式が成立する。
ｙ＝（ｚ−ｚ_p）tanθ＋ｙ_p
ｚtanθ−ｙ＝ｚ_ptanθ−ｙ_p ………（２）
また、βについては、下記（３）式が成立する。
ｙ＝（ｚ−ｚ_g）tanβ＋ｙ_g
ｚtanβ−ｙ＝ｚ_gtanβ−ｙ_g ………（３）
上記（２）式、及び（３）式より、下記（４）式が成立する。

上記（１）式、及び（４）式より、下記（５）式が成立する。
（−ｚ_ptanθ＋ｙ_p＋ｚ_gtanβ−ｙ_g）tanα
＝（ｚ_g−ｚ_p）tanθtanβ＋ｙ_ptanβ−ｙ_gtanθ ………（５）
上記（５）式をθについて微分後、βについてまとめると下記（６）式が成立する。

上記（６）式より、計測対象の傾きβを算出するには、計測対象の座標Ｇ［ｚ_g，ｙ_g］、及び照射パターンの空間周波数に対する反射パターンの空間周波数の変化度合（ｄα／ｄθ）を求める必要がある。

先ず、座標算出部１６により、カメラ座標系における計測対象の座標Ｇは、三角測量の原理に基づき算出する。
図５は、計測対象位置の算出原理を示した図である。
ここでは、カメラ座標系における計測対象の位置をＧ［Ｘ，Ｙ，Ｚ］とし、カメラ座標系におけるプロジェクタ１１の位置をＰ［０，Ｄｙ，Ｄｚ］とすると、下記（７）式が成立する。
（Ｙ−Ｄｙ）cosα−（Ｚ−Ｄｚ）sinα＝０ ………（７）
画像座標系における計測対象の位置をｐ［ｘ，ｙ，ｆ］とすると、画像座標系をカメラ座標系に座標変換する関係式は、下記（８）式で表せる。

上記（８）式のｋは、下記（９）式で表せる。
ｋ＝（Ｄｙ・cosα−Ｄｚ・sinα）／（ｙ・cosα−ｆ・sinα）
………（９）
したがって、上記（９）式よりｋを求めて、上記（８）式に代入することで、計測対象の座標Ｇ［Ｘ，Ｙ，Ｚ］を算出する。
また、変化度合算出部１５により、照射パターン輝度の角度変化量Δθに対する、対象面上における照射パターンの画像上の角度変化量Δα／Δθを、画像より求める。具体的には、対象面上の三次元位置Ｇの周囲において、画像上の照射パターンの空間周波数が変化する方向に、画像上の輝度変化を計測する。画像上の輝度変化はＧの画像上の位置を中心に、空間周波数が変化する方向に、所定画素数分の輝度データを用い、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により空間周波数を算出する。ＦＦＴにより得られた照射パターンの画像上の空間周波数を、１画素の角度分解能に基づき、実空間での角周波数に変換することで、照射パターンの角周波数（既知）との比（ｄα／ｄθ）を算出する。
形状算出部１７により、上記の処理を、第一の照射パターンを照射したときと、第二の照射パターンを照射したときとで計２回行う。

図６は、照射パターンと算出可能な傾きβとの関係を示す図である。
例えば、横方向に沿って光強度が変化する照射パターンを照射したときには、図６（ａ）に示すように、Ｘ軸周りの傾きβ１を算出し、縦方向に沿って光強度が変化する照射パターンを照射したときには、図６（ｂ）に示すように、Ｙ軸周りの傾きβ２を算出する。すなわち、二つの異なる照射パターンを照射し、夫々、個別に一軸周りの傾きを算出することで、三次元の表面形状を計測する。

次に、コントローラ１３で実行する三次元計測処理について説明する。
図７は、三次元計測処理を示すフローチャートである。
先ずステップＳ１では、照射パターンを切換えるための切換フラグがＦ＝０にリセットされているか否かを判定する。切換フラグがＦ＝０にリセットされていればステップＳ２に移行する。一方、切換フラグがＦ＝１にセットされていればステップＳ４に移行する。
ステップＳ２では、計測対象に対して第一の方向に沿って強度（明暗度合）を予め定められた周波数でが変化させる第一の照射パターンを、プロジェクタ１１で照射する。
続くステップＳ３では、切換フラグをＦ＝１にセットしてからステップＳ６に移行する。

一方、ステップＳ４では、計測対象に対して第一の方向とは異なる第二の方向に沿って強度を予め定められた周波数で変化させた第二の照射パターンを、プロジェクタ１１で照射する。
続くステップＳ５では、切換フラグをＦ＝０にリセットしてからステップＳ６に移行する。
ステップＳ６では、カメラ１２により得られた画像データより計測対象に映る反射光を抽出する。
続くステップＳ７では、画像内で計測対象とする領域を設定する。
続くステップＳ８では、計測対象の座標を算出する。
続くステップＳ９では、照射パターンの周波数に対する反射パターンの周波数の変化度合（ｄα／ｄθ）を算出する。
続くステップＳ１０では、前記（６）式に従って、計測対象の傾きβを算出する。

続くステップＳ１１では、傾きβを算出できたか否かを判定する。ここでは、計測対象に対して照射パターンの角周波数が大きいことで、傾きβを算出できない場合を想定している。傾きβを算出できていればステップＳ１２に移行する。一方、傾きβを算出できていなければステップＳ１３に移行する。
ステップＳ１２では、全領域について計測処理が終了したか否かを判定する。全領域について計測処理が終了していれば所定のメインプログラムに復帰する。一方、計測処理が終了していなければ前記ステップＳ７に移行する。
一方、ステップＳ１３では、照射パターンの角周波数が高くなるように再設定し、その照射パターンを再びプロジェクタ１１で照射してから前記ステップＳ６に移行する。

《作用》
図８は、従来技術の問題点を示す図である。
従来技術のように、格子状の照射パターンを照射し、各格子点によって構成される面の傾きを検出する場合、格子点の位置によっては正確な形状を検出できない可能性がある。例えば、電柱のように格子点が投影されない細い計測対象では、その表面形状を計測することができず、また路面に投影された格子点と壁面に投影された格子点とで演算を行うと正確な路面形状を計測することができない。したがって、グリッド間隔を細かくすることでしか、問題を解決できず、これでは演算負担が大きくなってしまう。

そこで、本実施形態では、先ず第一の照射パターン（ここでは横パターン）を計測対象に向けて照射し（ステップＳ２）、計測対象に映る反射パターンを撮像する。そして、計測対象に対する注目領域を設定し（ステップＳ７）、その注目領域の座標Ｇを算出し（ステップＳ８）、照射パターンの空間周波数に対する反射パターンの変化度合（ｄα／ｄθ）を算出する（ステップＳ９）。
そして、前記（６）式より、座標Ｇと変化度合（ｄα／ｄθ）とに応じて、図５（ａ）に示すように、注目領域におけるＸ軸周りの傾きβ１を算出する（ステップＳ１０）。

第一の照射パターンを照射した全ての領域でＸ軸周りの傾きβ１を算出できたら（ステップＳ１２の判定が“Yes”）、今度は第二の照射パターン（ここでは縦パターン）を照射する（ステップＳ４）。以降は、第一の照射パターンと同様にして、図５（ｂ）に示すように、注目領域におけるＹ軸周りの傾きβ２を算出し、第二の照射パターンを照射した全ての領域で行う。
こうして、Ｘ軸周りの傾きβ１と、Ｙ軸周りの傾きβ２との組合せにより、三次元の表面形状を計測することができる。このように、計測対象の座標位置Ｇがどこにあるか、及び照射光の空間周波数に対して反射光の空間周波数がどれだけ変化したかに基づいて計測対象の表面形状を算出することができる。

図９は、従来技術と本実施形態との演算負担を比較した図である。
従来技術の場合、三つの格子点Ｐ１〜Ｐ３について演算を行うことで（各点に一回で計三回）一領域の傾きを求めていたが、本実施形態の場合、一つの注目点Ｐ０について、第一及び第二の照射パターンを照射して演算を行うことで（一点につき二回で計二回）一領域の傾きを求めることができる。したがって、演算負担を軽減しつつ、表面形状の検出精度を向上させることができる。

上記までの過程で、照射光が検出できなかった領域において、照射光が検出できない場合として二つ挙げられる。第一に、対象は存在するが、照射光の角周波数に対して対象が小さい場合（非検出）、第二に、対象が存在しない場合である。対象は存在するが検出できない非検出状態を回避するために、照射パターンを対象面上で少なくとも１周期検出できる程度まで細かくする必要がある。

そこで、傾きβを算出できなかったときには（ステップＳ１１の判定が“No”）、照射パターンの角周波数が高くなるように再設定し、傾きβを算出できなかった領域に対して、再び照射パターンを照射する（ステップＳ１３）。以降、角度が算出できるまで照射パターンの角周波数変更と角度算出を繰り返す。これにより、より小さな計測対象についても傾きβを計測することができる。しかも、傾きβを算出できなかった領域に限定して行うので、演算負担の増大を抑制することができる。
一方、反射光を抽出できないときに、ただ反射光を抽出できないのか、又は計測対象が存在しないのかを識別することが難しい。そこで、照射光は、図２（ａ）、及び図２（ｂ）に示すように、強度を連続的に変化させることで、識別精度を向上させ、計測密度を向上させることができる。

《応用例》
なお、本実施形態では、所定の照射パターンを一度に照射してるが、順次、走査しながら所定の照射パターンを照射してもよい。
また、本実施形態では、先ずデフォルトの照射パターンを照射し、傾きβを算出できなかった領域だけ、角周波数を高めているが、画像データから反射パターンを抽出できた領域だけ、角周波数を高めてもよい。すなわち、反射パターンを抽出できた領域とは、計測対象の存在が明らかであるため、その領域だけ角周波数を高めることで、演算負担の増大を抑制しつつ、表面形状の検出精度を向上させることができる。

また、本実施形態では、照射光を照射する領域に対して一つの照射パターンを照射しているが、照射光を照射する領域を複数の領域に分割し、少なくとも隣接する領域ごとに、第一の照射パターンと第二の照射パターンとを交互に照射してもよい。
すなわち、照射パターンが周期性を有する場合、対象面上に照射されたパターンとカメラ１２により得られた画像上のパターンが一致しない場合が生じる。特に、照射パターンの角周波数が高い場合、この問題が発生しやすい。そこで、計測対象の大きさに比べて低い角周波数の照射パターンを用いて計測を開始する場合は、どの方向にどのパターンを照射したのか識別できるように、照射パターンを領域ごとに特徴付ける必要がある。なお、角周波数を高めながら計測を繰り返す場合は、計測対象の位置と表面形状が計測できる最小の角周波数を有する照射パターンで計測が終了するため本問題は生じない。

図１０は、照射領域を複数の領域に分割した図である。
このように、隣接する領域ごとに、照射光の強度を変化させる方向を異ならせることにより、照射パターンが照射される方向を、撮像した画像上で一意に特定できるので、画像上に得られた反射パターンの誤検出を防ぐことができる。
また、本実施形態では、第一の照射パターンと第二の照射パターンとを二回に分けて個別に照射しているが、第一の照射パターンと第二の照射パターンとを同時に照射してもよい。これによれば、ステップＳ１〜Ｓ５の処理を一つの処理で済ませることができ、演算負担を更に軽減することができる。

《効果》
以上より、プロジェクタ１１、照射制御部１４、及びステップＳ１〜Ｓ５、Ｓ１１、Ｓ１３の処理が「照射手段」に対応し、カメラ１２が「撮像手段」に対応する。また、座標算出部１５、ステップＳ８の処理が「座標算出手段」に対応し、変化度合算出部１６、ステップＳ９の処理が「変化度合算出手段」に対応し、形状算出部１７、ステップＳ１０の処理が「形状算出手段」に対応する。

（１）第一の方向に沿って強度を予め定められた空間周波数で変化させた第一の照射光、及び前記第一の方向とは異なる第二の方向に沿って強度を予め定められた空間周波数で変化させた第二の照射光を、計測対象に向けて照射する照射手段と、前記計測対象に映る反射光を撮像する撮像手段と、該撮像手段が撮像した画像に基づいて、前記計測対象の座標位置を算出する座標算出手段と、前記撮像手段が撮像した画像に基づいて、前記第一及び第二の照射光の夫々の空間周波数に対する前記反射光の空間周波数の変化度合を算出する変化度合算出手段と、前記座標算出手段が算出した座標位置と前記変化度合算出手段が算出した変化度合とに基づいて前記計測対象の表面形状を算出する形状算出手段と、を備える。
これによれば、計測対象の座標位置がどこにあるか、及び照射光の空間周波数に対して反射光の空間周波数がどれだけ変化したかに基づいて計測対象の表面形状を算出できる。したがって、演算負担を軽減しつつ表面形状の検出精度を向上させることができる。

（２）前記照射手段は、前記照射光の強度を連続的に変化させる。
これにより、反射光を抽出できないときに、ただ反射光を抽出できないのか、又は計測対象が存在しないのか、の識別精度を向上させ、計測密度を向上させることができる。
（３）前記照射手段は、前記形状算出手段が前記計測対象の表面形状を算出できなかった領域に対して、前記照射光の空間周波数を増加させて再び照射する。
これにより、より小さな計測対象についても計測対象の表面形状を計測することができる。しかも、表面形状を算出できなかった領域に限定して再び照射するので、演算負担の増大を抑制することができる。

（４）前記照射手段は、前記撮像手段が撮像した画像から前記反射光を検出できた領域に対して、前記照射光の空間周波数を増加させて再び照射する。
反射光を検出できた領域は、計測対象の存在が明らかであるため、その領域だけ空間周波数を高めることで、演算負担の増大を抑制しつつ、表面形状の検出精度を向上させることができる。
（５）前記照射手段は、前記照射光を照射する領域を複数の領域に分割し、隣接する領域ごとに、前記照射光の強度を変化させる方向を異ならせる。
これにより、照射光が照射される方向を、撮像した画像上で一意に特定できるので、画像上に得られた反射パターンの誤検出を防ぐことができる。

（６）前記照射手段は、前記第一の照射光と前記第二の照射光とを同時に照射する。
これにより、照射光を照射する処理を一回の処理で済ませることができ、演算負担を更に軽減することができる。
（７）二つの異なる方向に沿って強度を予め定められた空間周波数で変化させた照射光を、計測対象に向けて照射すると共に、計測対象に映る反射光を撮像し、撮像した画像に基づいて、前記計測対象の座標位置と、前記照射光の空間周波数に対する前記反射光の空間周波数の変化度合とを算出し、前記変化度合と前記座標位置とに基づいて、前記計測対象の表面形状を算出する。
これによれば、計測対象の座標位置がどこにあるか、及び照射光の空間周波数に対して反射光の空間周波数がどれだけ変化したかに基づいて計測対象の表面形状を算出できる。したがって、演算負担を軽減しつつ表面形状の検出精度を向上させることができる。

１１ プロジェクタ
１２ カメラ
１３ コントローラ
１４ 照射制御部
１５ 座標算出部
１６ 変化度合算出部
１７ 形状算出部

Claims (7)

1. 第一の方向に沿って強度を予め定められた空間周波数で変化させた第一の照射光、及び前記第一の方向とは異なる第二の方向に沿って強度を予め定められた空間周波数で変化させた第二の照射光を、計測対象に向けて照射する照射手段と、
   前記計測対象に映る反射光を撮像する撮像手段と、
   該撮像手段が撮像した画像に基づいて、前記計測対象の座標位置を算出する座標算出手段と、
   前記撮像手段が撮像した画像に基づいて、前記第一及び第二の照射光の夫々の空間周波数に対する前記反射光の空間周波数の変化度合を算出する変化度合算出手段と、
   前記座標算出手段が算出した座標位置と前記変化度合算出手段が算出した変化度合とに基づいて前記計測対象の表面形状を算出する形状算出手段と、を備えることを特徴とする三次元計測装置。
2. 前記照射手段は、前記照射光の強度を連続的に変化させることを特徴とする請求項１に記載の三次元計測装置。
3. 前記照射手段は、前記形状算出手段が前記計測対象の表面形状を算出できなかった領域に対して、前記照射光の空間周波数を増加させて再び照射することを特徴とする請求項１又は２に記載の三次元計測装置。
4. 前記照射手段は、前記撮像手段が撮像した画像から前記反射光を検出できた領域に対して、前記照射光の空間周波数を増加させて再び照射することを特徴とする請求項１〜３の何れか一項に記載の三次元計測装置。
5. 前記照射手段は、前記照射光を照射する領域を複数の領域に分割し、隣接する領域ごとに、前記照射光の強度を変化させる方向を異ならせることを特徴とする請求項１〜４の何れか一項に記載の三次元計測装置。
6. 前記照射手段は、前記第一の照射光と前記第二の照射光とを同時に照射することを特徴とする請求項１〜５の何れか一項に記載の三次元計測装置。
7. 二つの異なる方向に沿って強度を予め定められた空間周波数で変化させた照射光を、計測対象に向けて照射すると共に、計測対象に映る反射光を撮像し、
   撮像した画像に基づいて、前記計測対象の座標位置と、前記照射光の空間周波数に対する前記反射光の空間周波数の変化度合とを算出し、前記変化度合と前記座標位置とに基づいて、前記計測対象の表面形状を算出することを特徴とする三次元計測方法。

Images