JP2021063700A - 三次元計測装置、コンピュータプログラム、制御システム及び物品の製造方法 - Google Patents

Abstract

【課題】迷光の影響が少ない、形状計測装置を提供することを目的とする。【解決手段】三次元計測装置において、パターン光を被検物に投影する投影手段と、前記被検物を撮像する撮像手段と、前記パターン光が投影された前記被検物を前記撮像手段により撮像して得られるパターン画像から、パターン光の明暗を所定の判定基準に基づき判定し、当該判定結果に基づいて前記被検物の三次元情報を求める演算手段と、前記パターン画像から迷光に関する情報を生成する生成手段と、生成された前記迷光に関する情報に基づいて、迷光を含むパターン画像の画素値と前記判定基準の比較により、前記パターン光の明暗判定の無効領域を導出する導出手段と、を有することを特徴とする。【選択図】図７

Description

本発明は、被検物の三次元計測装置等に関する。

従来から被検物に光を投影して被検物を撮像する投影露光装置は存在する。更には近年、被検物に既知のパターンを投影して撮像し、その撮像結果から被検物の三次元形状を計測するパターン投影方式の三次元計測装置（形状計測装置）が存在する。ここではこのパターン投影方式の形状計測装置について従来技術を説明する。

形状計測装置は、パターン光を投影する投影ユニットと、被検物を撮像する撮像ユニットとを含む計測ヘッドを有しており、投影ユニットの投影レンズから既知のパターン光が投影された被検物を、撮像ユニットの撮像レンズを通してセンサで撮像する。
形状計測装置の内部又は外部には演算ユニットが設けられている。演算ユニットは、前述の撮像結果を用いて三角測量に基づく演算を行い、被検物までの距離や被検物の形状を求める。

その中で、明部と暗部とが任意の幅で交互に配置されているパターン光を投影して空間を２進符号化する空間符号化法が三次元計測でよく用いられている。空間符号化法の三次元計測精度を向上させる為には、得られた画像データから明部と暗部との境界を正確に決定する必要がある。そのために特許文献１では、明部と暗部の境界を決める為に、明部と暗部とが任意の幅で交互に配置されている第１のパターン光と、明部と暗部との関係が第１のパターン光と反転した第２のパターン光を投影し、その交点を境界として判定する。

特開２０１３−２１０２６２公報

しかし、実際の形状計測においては、撮像系内の光学素子の多重反射により、迷光が発生し、空間符号化法の空間コードに間違いが発生し、測距誤差を生じる。さらに多方位の視野のカメラの測距値から被検物の三次元形状を合成する場合には、１方位の視野に前述の影響があると、他視野の測距データとの差が大きくなり、他視野に正しいデータが存在した場合においても。無効なデータと判断されてしまう。また、被検物の反射特性の影響により、複数の露光時間で撮像する場合においては、撮像した画面内の一部の領域に非常に強い光が返ってきてしまう場合が多く、その光によって、迷光が発生してしまう事があった。
そのため本発明は、迷光の影響が少ない、三次元計測装置を提供することを目的とする。

その目的を達成するために、本発明の一側面としての三次元計測装置は、
パターン光を被検物に投影する投影手段と、
前記被検物を撮像する撮像手段と、
前記パターン光が投影された前記被検物を前記撮像手段により撮像して得られるパターン画像から、パターン光の明暗を所定の判定基準に基づき判定し、当該判定結果に基づいて前記被検物の三次元情報を求める演算手段と、
前記パターン画像から迷光に関する情報を生成する生成手段と、
生成された前記迷光に関する情報に基づいて、迷光を含むパターン画像の画素値と前記判定基準の比較により、前記パターン光の明暗判定の無効領域を導出する導出手段と、を有することを特徴とする。

本発明によれば、迷光の影響が少ない、形状計測装置を得ることができる。

実施例１の形状計測装置の概略図である。 実施例１の光パターンが投影された被検物を示した図である。 実施例１の被検物に光パターンを投影しているイメージ図である。 実施例１の取得したパターン画像イメージ図である。 実施例１の迷光の発生を予測し迷光情報を生成する生成手段の実測方法のイメージ図である。 実施例１の前記生成手段の実測の際に取得する画像イメージを示す図である。 実施例１の空間コードの間違いが発生する範囲を特定するフローチャートである。 実施例２の飽和状態の高輝度領域の階調値の断面を示した図である。 実施例３の複数の撮像ユニットを持つ形状計測装置の概略図である。 実施例４の３次元計測装置とロボットアームを含む制御システムを示す図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

本実施例の三次元計測装置（形状計測装置）及び方法について図１、２を用いて説明する。
図１は、実施例１の形状計測装置の概略図である。図２は、光パターン１２が投影された被検物１１を示す図である。
本実施例の形状計測装置１００は、計測ヘッド１０（破線部）と演算ユニット（演算部）３で構成され、計測ヘッド１０は更に、以下２つの光学ユニットを含んでいる。演算ユニット３にはコンピュータとしてのＣＰＵが内蔵されており、不図示のプログラムメモリに記憶されたコンピュータプログラムに基づき装置全体の各種動作を実行する制御手段として機能する。

１つ目の光学ユニットは予め設定された既知の光パターン（ストライプ形状の光強度分布）１６を被検物１１に投影する投影ユニット１で、２つ目の光学ユニットは光パターン１６が投影された被検物１１を撮像する撮像ユニット２である。前記投影ユニット１は複数のパターンを被検物に投影する投影手段として機能する。
図１においてｙ軸は光パターン１６のストライプ形状のラインと平行な方向であり、ｘ軸は光パターン１６のストライプ形状のラインと垂直な方向であり、ｚ軸は投影ユニット１の投影光学系４の光軸と平行な方向である。
投影ユニット１は、投影パターン設定素子（パターン形成部）６と、投影光学系４と、を有する。

投影ユニット１は、不図示の光源から出射された光を、所定のストライプ形状の光パターン１６を形成するための投影パターン設定素子６に照射し、投影光学系４を介して計測空間に所定のストライプ形状の光パターン１６を投影している。
本実施例では、ｙ方向にライン（明暗）が延びるライン状（ストライプ形状）の光パターン１６を被検物１１に投影している。
光パターン１６は、被検物上で図２に示す光パターン１２のよう投影される。

投影パターン設定素子６には、液晶素子やＤＭＤ（デジタルミラーデバイス）などが用いられ、任意の光パターンを設定することができる。また、光パターンが可変な素子の代わりに、固定パターンが描画された、固定の光パターンを形成するガラス板を用いることもできる。
撮像ユニット２は、受光面を有するセンサ素子９（ＣＭＯＳセンサやＣＣＤセンサなどの光電変換素子）と、被検物からの光を受光面に導く撮像レンズ（結像光学系）７を有する。センサ素子９は、被検物からの光を受光面で受光して被検物のパターン画像を取得する撮像手段として機能する。

次に、形状計測装置を用いた計測方法について説明する。光パターン１６は白と黒の２値の縞からなり、投影ユニット１が複数種の光パターンを投影しつつ、撮像ユニット２がパターン毎に撮像し、撮像したパターン画像の信号（データ）を演算ユニット３内の不図示の画像メモリに保存する。
次に縞の設定値と設定値毎の撮像結果のデータから計測空間を分割していく。そして、計測空間内の被検物１１の表面上の物点に対して、投影ユニット１の投影パターン設定素子６の画素位置と、撮像ユニット２のセンサ素子９の画素位置を、空間コードによって対応付ける。

さらに、演算ユニット３において、事前取得した校正データを用いて、所定の校正方法に基づき、三角測量方式で被検物１１表面上の点の距離（位置）を演算ユニット３で計算する。即ち、演算ユニット３は、撮像手段により撮像したパターン画像から、各画素の明暗を所定の判定基準に基づき判定することで空間コードを判定し、前記被検物の形状を演算する演算手段として機能する。
これらの演算をパターンが投影された被検物１１表面上の複数点について実施し、被検物１１の形状を演算する。パターンの設定は、白黒２値の縞で説明したが、多値或はその他の複数の色を有するストライプパターン等でも良い。

ここで図３、４を用いて、迷光によって、空間符号化法の空間コードに間違いが発生し、測距誤差となる状態について説明する。
図３は、被検物に光パターンを投影しているイメージ図である。
図４は、取得したパターン画像イメージ図である。
被検物として、高い反射率である円柱状の被検物１１１と低い反射率である平面状の被検物１１２を同時に測距する場合を考える。また説明を簡素化するため、前述の複数種の光パターン１６の内、空間符号化法で用いられるグレイコード１ビットの光パターン１６ａを投影した場合について説明する。

投影光学系４により投影された光パターン１６ａは、被検物１１１及び被検物１１２に到達し、反射及び散乱する。以降、反射及び散乱した光の総称として、反射光と記載する。この時、被検物１１１の反射率が非常に高く、被検物１１２の反射率が低い場合、被検物１１１によって反射され、撮像レンズ７を介してセンサ素子９上に到達する光量の方が非常に高くなる。そのため、図４中の被検物１１１の位置に対応したセンサ素子９上の高輝度領域１１１０の階調値は、非常に高く、被検物１１２中の、光パターンの暗部に対応したセンサ素子９上の暗部領域１１２１の階調値は非常に低くなる。被検物１１２中の、光パターンの明部に対応したセンサ素子９上の明部領域１１２０の階調値は、中間値となる。

図４中では、階調値が高い部分を白色、低い部分を黒色、中間部分をグレーで表している。さらに、図４では、被検物１１２中の、光パターンの暗部に対応した暗部領域１１２１内に、迷光により、非常に高い階調値の迷光領域１２００が存在する例が示されている。この迷光は、撮像系内の光学素子内部の多重反射等により、発生し得る。具体的には、被検物１１１からの強い反射光が、撮像レンズ７内の光学素子（たとえば、バンドパスファイルタやセンサ素子９のカバーガラス）やセンサ素子９の表面で、一部反射する。そして、その光が、再び撮像レンズ７内の光学素子によって、一部反射し、迷光（ゴースト像）としてセンサ素子９に到達する。この迷光は、被検物１１１の反射光が強ければ強いほどセンサ素子９に到達する光量が大きくなる。

つまり、光パターン１６ａの明部内に非常に高い反射率を持つ被検物１１１が存在していたとすると、本来、非常に低い階調値で測定されるべき暗部領域１２００において、非常に高い階調値の像が測定されてしまう。このため、迷光領域１２００において、暗部を明部と誤認識してしまい、空間符号化法における空間コードを間違って演算してしまい、測距誤差を生じてしまう。ここで、空間コードを間違って演算する状態をさらに詳しく説明する。

一般に空間コードの判定は、空間コードの判定基準（レベル）によって明部と暗部を区分する事によって決定する。この判定基準レベルは、投影パターン設定素子６を用いて、全て明部となる一様パターンとして（以降、全点灯と記載する）、得た全点灯画像と、全て暗部として、得た全消灯画像の画素毎の平均値を各画素の空間コード判定基準値（閾値）とする。
迷光が発生している場合には、全点灯時に、被検物からの反射光成分と迷光成分が加算された物が撮像されているため、空間コード判定基準値は、反射光成分と迷光成分を加算し、平均化した値となっている。

空間コードを間違ってしまう状態とは、ある画素に着目した場合に、暗部であるはずの領域が、迷光成分によって、この空間コード判定基準値を越えてしまい（迷光成分＞空間コード判定基準値）、明部と判断されてしまった状態である。この状態となる条件としては、空間コード判定基準値が、反射光成分と迷光成分からなる事を考慮すると、例えば迷光成分が反射光成分を超えること（迷光成分＞反射光成分）等である。
本実施例では、判定基準を空間コード判定基準値としているが、より厳しい値を反射光成分と迷光成分の比から決定しても良い。例えば、空間コードをより細かく分割する、交点検出法や位相シフト法などを用いた際に発生する誤差に応じて、空間コードの間違いが発生する範囲を規定する事が可能となる。

そこで本実施例では、事前の計測にて、迷光発生を予測し迷光情報を生成する生成手段を設け、迷光情報から空間コードの間違いが発生する領域を、空間コードの判定基準と比較することによって導出する。そして、導出した領域の空間コードや測距値の除去（無効化）を実施する点に特徴がある。
まず、実測にて前記生成手段に関して図５、６を用いて説明する。
図５は、前記生成手段の実測方法のイメージ図である。
図６は、前記生成手段の実測の際に取得する画像イメージを示す図である。

本実施例において、前記生成手段は、撮像ユニット２に、高輝度な光を入射させ、その時に得られる迷光を含む画像から、高輝度領域と迷光領域の関係を導出する事で迷光発生を予測する。
高輝度な光を撮像ユニット２に入射させるため、図５の高輝度光源２０１を、不図示の電源ドライバーにて駆動させて発光状態とする。高輝度光源２０１から放射された光は、撮像レンズ７を介して図５のセンサ素子９上の高輝度領域２０１０に至る。一方、高輝度光源２０１から放射された光の一部は、前述の迷光の発生経路と経路を同じくして、図６の迷光領域２０１１に到達し、演算ユニット（演算部）３により迷光画像として認識される。

この時、演算ユニット３により、高輝度領域２０１０と迷光領域２０１１の階調値、位置、形状を対応付ける。ここで対応付けとは、ある画素に高輝度の光が入射した時に、どの画素にどれだけの迷光が発生するかの情報を意味する。
階調値の対応付けは、高輝度領域２０１０と迷光領域２０１１の階調値の比に基づき実施する。

また、位置の対応付けは、高輝度領域２０１０と迷光領域２０１１のそれぞれの中心位置関係により対応付けを行う。位置の対応付けに関しては、迷光の発生経路によって、図６中のセンサ素子の受光面の光軸１０１に対してほぼ点対称な位置となる場合があり、この関係を利用して対応付けを数式化しても良く、その場合には迷光発生を予測する計算負荷が低くなる。
また、形状の対応付けは、点像分布関数と畳み込み積分からなる関数モデルにより対応付けを行う。点像分布関数は近似的には２次元のガウス関数としても良い。以上により、高輝度領域２０１０と迷光領域２０１１の対応付けが完了する。

さらに、不図示のＸ、Ｙステージによって、図５の高輝度光源２０１を逐次Ｘ、Ｙ方向に駆動させて、各高輝度領域２０１０と各迷光領域２０１１の対応付けを、撮像ユニット２の視野内全域にわたって実施する。例えば図５の高輝度光源２０１を面発光素子の一部に形成する場合には、面発光素子の高輝度発光位置を順次変更することで実現する。
以上により撮像ユニット２の視野内における各高輝度領域と各迷光領域の対応付けが終わり、前記生成手段による迷光情報の生成が完了する。

さらに、高輝度領域を特定する閾値に関しても事前に設定する。空間コードを正確に導出するためには、センサ素子９のノイズに対応して、最低限必要な明部の目標階調値（下限）を、設定する必要がある。一方、明部の目標階調値（上限）は、飽和レベルとなる。一般には、露光時間、光源光量などにより、被検物が存在する範囲内において、できる限り明部の階調値が目標階調値（下限）と目標階調値（上限）の範囲に入るように調整する。

そのため、前述の迷光による空間コードを間違える条件（迷光成分＞反射光成分）を満たす可能性がある領域を判別する。そのために、反射光成分の最低レベルである目標階調値（下限）よりも、迷光による階調値が大きくなる可能性がある領域を検出する高輝度領域閾値を設定する。例えば、前記生成手段を用いて、対応する迷光領域の階調値から高輝度領域を除算した数値の全画素内の最大値を導出する。この最大値を目標階調値（下限）から除算し、高輝度領域の判定基準としての高輝度領域閾値を設定する。
また、前述のように、判定基準をより厳しい値である反射光成分と迷光成分の比から決定した場合には、その比に基づき高輝度領域閾値を決定しても良い。

本実施例では、実測値に基づく方法に関して記載したが、机上による迷光予測に基づき前記生成手段を構築しても良い。具体的な机上による迷光予測とは、センサ素子９及び撮像レンズ７の詳細な光学設計値（曲率半径、配置、反射率、開口径など）を用いて、迷光予測を光学シミュレーションした結果を用いる事が考え得る。この場合には、実測をする必要がないために実測負荷が軽減するが、公差などによる撮像ユニット２の個体差に関しては、評価が困難であり、実測に対して、相対的に低精度となる可能性がある。

次に、迷光の予測から空間コードの間違いが発生する範囲を特定する形態について図１、図３、図４、図７を用いて説明する。
図７は、空間コードの間違いが発生する範囲（もしくは画素）を特定するフローチャートである。
迷光の予測から空間コードの間違いが発生する範囲（もしくは画素）を特定する形態は、各光パターンに基づく各パターン画像に対して、迷光による空間コードの間違いの可能性が有る画素を検出する事で特定する。

図７のフローチャートを用いて説明を行う。
（ステップＳ１）
前述の図３の状態にて光パターン１６に基づく、被検物１１１と被検物１１２のｋ（ｋ＝１〜ｎ）ｂｉｔパターン画像を取得し、演算ユニット３に格納する。
（ステップＳ２）
演算ユニット３にて、迷光が発生する可能性のある図４の高輝度領域１１１０を、前述の手法にて設定した所定の高輝度領域閾値以上の領域として特定する。
（ステップＳ３）

演算ユニット３にて、高輝度領域１１１０に対して、ステップＳ７で事前に生成しておいた前記高輝度領域（画素）と迷光領域（画素）の階調値、位置、形状の対応付け等を用いて迷光情報を導出する。ここで、迷光情報とは、迷光領域の位置と形状及び各画素における迷光による階調値の情報等を含むものと定義する。
（ステップＳ４）

演算ユニット３にて、迷光情報に対して、各画素の階調値（画素値）が、空間コードの明部、暗部を区分する空間コード判定閾値より大きい画素は、空間コードが間違っている可能性有りと判断する。そして、対応するｋ（ｋ＝１〜ｎ）ｂｉｔパターン画像の画素信号が無効であると判断する。ここで、ステップＳ４は、迷光情報と、前記判定基準の比較により、前記空間コードの明暗判定の無効領域を導出する導出手段として機能している。
（ステップＳ５）

演算ユニット３にて測距に必要な１〜ｎｂｉｔパターン画像を全て取得しているかどうかの判定を行い、取得していない場合には、ステップＳ１に戻り、未取得の画像に対応した光パターンを投影し撮像する。以降、ステップＳ１〜ステップＳ４にて、同様に、１〜ｎｂｉｔパターン画像の処理を実施する。すべてのパターン画像の取得を完了した場合には、ステップＳ６に進む。
（ステップＳ６）

演算ユニット３にて各１〜ｎｂｉｔパターン画像の各画素信号に対して無効と判断されている画素信号がある場合には、その画素の測距値は無効と判断する。
（ステップＳ７）
前述のように、演算ユニット３にて、事前に前記高輝度領域（画素）と迷光領域（画素）の階調値、位置、形状の対応付け等を生成するステップである。ステップＳ１〜Ｓ３とこのステップＳ７の組み合わせによって、パターン画像から迷光の発生を予測し迷光情報を生成する生成手段が構成されている。
以上説明したように、本実施例によれば、迷光により空間コードが変化し、測距値が間違って導出された画素を測距データから除外する事が可能となり、視野内全体でみれば形状計測の精度向上が可能となる。
なお、本実施例では、高輝度領域を設定し、その限定した高輝度領域に対応した迷光成分を導出していたが、各１〜ｎｂｉｔ画像の全領域に基づき迷光成分を予測しても良い。

また、各１〜ｎｂｉｔ画像には、被検物からの反射光に基づく階調値成分と、迷光による階調成分が加算され、出力されている。そのため、それぞれの階調値成分を、前記生成手段を利用し、分離し、迷光による階調値成分を減算することで、被検物からの反射光に基づく階調値を導出し、測距値を導出しても良い。その場合には、迷光が存在する範囲においても測距値を導出できるが、非常に高い精度の迷光発生の予測が必要になるため、計算負荷が高くなってしまうため、高速性を問われないシステムについて有効な方法である。

また本実施例では、非常に高い反射率のものに関して記載したが、結果としてセンサ素子９上に高い光量を到達させる被検物、たとえば、光沢性の高い被検物においても、作用は同じである。なお、ここで反射率の異なる被検物１１１と被検物１１２を同時に測距する状態とした。しかし、単一の物体において、光沢性が強く、被検物の角度が異なっている物に関しても、角度の違いにより、センサ素子９上に到達する光量が大きく異なるため、同様の課題が生じ得る。

実施例１において、取得したパターン画像の一部領域が飽和している場合には、その領域に基づく、迷光の予測精度は大きく低下してしまう。そこで、本実施例では、取得したパターン画像の一部領域が飽和している場合について対策している。
図８は、飽和状態の高輝度領域の階調値の断面を示した図である。
実施例１との違いは、図３中の被検物１１１と被検物１１２の反射率差が非常に大きいため、複数の露光時間で得たパターン画像を合成し、迷光の予測に使用している点であり、相違点のみ記載する。
図７のステップＳ１において、一例として１ｂｉｔパターン画像を取得する。

その際、被検物１１２に合わせて、被検物１１２の光パターンの明部であった位置に対応した図４中のセンサ素子９上の明部領域１１２０の画素値（階調値）が飽和レベル以下となるように露光時間を設定すると問題を生じる場合がある。即ち、図８の実線で示すように、被検物１１１の位置に対応したセンサ素子９上の高輝度領域１１１０の階調値が飽和レベルを大きく超えてしまう（白飛び）の場合がある。

この場合、高輝度領域１１１０の飽和した階調値に基づき迷光の予測を実施すると、迷光を過小評価してしまい、空間コードが間違っている画素の測距データからの除外が不十分となってしまう。
その対策として、前述の被検物１１２に対応した露光時間ｔａで得た１ｂｉｔパターン画像ａと、被検物１１１に対応させ、減少した露光時間ｔｂで得た１ｂｉｔパターン画像ｂとの合成処理を実施し、１ｂｉｔパターン画像を算出する。

この合成処理は、例えば図８中の飽和レベルより低いレベルの領域に対しては画像ａの画素値（階調値）を用い、飽和レベル以上の領域に対しては、画像ｂの画素値（階調値）を露光時間の変化倍率ｔａ／ｔｂを乗算する。それによって、図８中の点線に相当する階調値を飽和することなく得る。即ち、実施例２においては、ステップＳ１において上記のような複数の露光時間から得た複数のパターン画像を合成する合成処理を行っており、合成手段を構成している。
被検物１１１と被検物１１２に適した露光時間の変化倍率が非常に大きい場合には、段階を踏んで、長さの異なる３種類以上の露光時間にて撮像を行い、前述の方法にて飽和レベル以上の領域に関して逐次階調値を予測し、合成することで飽和を防ぐ。

さらに、１ｂｉｔパターン画像のみならず全ての各ｂｉｔパターン画像に対しても複数の露光時間の画像を用いた合成処理を同様に実施する事で、全ての高輝度領域の階調値を飽和せずに得ることができ、この階調値に基づく、迷光の予測値の精度が確保できる。
ここで、同様の考えに基づき、複数の露光時間の画像を用いた合成処理を実施する他の例に関して以下に説明する。
まず、事前準備として、パターン画像を投影せずに、一様画像を投影する。その際、形状計測を実施する被検物の範囲内が全て飽和しない程度とし、その時の露光時間ｔｃを保存する。各ｂｉｔパターン画像を露光する際に前述の露光時間ｔｃにて撮像すると、高輝度領域１１１０においても飽和レベル以上とならない。

一方、明部領域１１２０と暗部領域１１２１の階調値の差が小さくなってしまい区別がつかない状態（黒潰れ）となってしまう場合がある。
この場合には、明部領域１１２０と暗部領域１１２１の区別が付くコントラストとなるまで、増加した露光時間ｔｄで撮像を行う必要が出てくる。増加した露光時間ｔｄで得た１ｂｉｔパターン画像ｄは、高輝度領域１１１０など部分的に飽和レベル以上となってしまう場合がある。従って、前述の露光時間ｔｃで得た１ｂｉｔパターン画像ｃと、増加した露光時間ｔｄで得た１ｂｉｔパターン画像ｄとの合成処理を実施し、１ｂｉｔパターン画像を算出する。この合成処理は、画像ｃの飽和レベル以上の領域に対して、その階調値を露光時間の変化倍率ｔｄ／ｔｃを乗算する事で、高輝度領域１１１０の階調値を得る。

前述と同様に、１ｂｉｔパターン画像のみならず全ての各ｂｉｔパターン画像に対しても複数の露光時間の画像を用いた合成処理を同様に実施する事で、全ての高輝度領域の階調値が正しく得られ、この階調値に基づく、迷光の予測値の精度が確保できる。
なお、本実施例では、露光時間を変更する事で、高輝度領域の階調値を得る構成としたが、光源から放射される光量を変更する構成としても良い。光源にＬＥＤを使用している構成の場合には、電流値を変更する事で発光量を変更できる。

あるいは、光源から放射される光量を一定として、投影ユニット１内に、減光（ＮＤ）フィルタなどの光学フィルタを選択的に挿入する構成としても良い。
即ち、複数の光量で前記パターンを投影することによって得た複数のパターン画像を合成するようにしても良い。
以上のように、取得したパターン画像の一部領域が飽和する場合には、複数の露光量で得たパターン画像を合成し、使用する事で、迷光のレベルを過小評価する事を防止でき、空間コードの間違いが発生している画素の検出が可能となる。

実施例１及び実施例２において、迷光により測距値が間違った画素の測距値を無効にする事が可能となったが、測距値を無効にすべき画素に対応する被検物の測距値を補えるようにする場合の構成について、図９を用いて実施例３を説明する。
図９は、複数の撮像ユニットを持つ形状計測装置の概略図である。
実施例１、２との違いは、図９中で示すように計測ヘッド１０の中に複数の撮像ユニット（撮像ユニット２及び撮像ユニット２０）を設けた点である。

そして複数の撮像手段ごとに、各画素の明暗を所定の判定基準に基づき判定することで空間コードを判定し、前記被検物の形状を演算する。更に、複数の撮像手段ごとに、前記パターン画像から迷光の発生を予測し迷光情報を生成し、生成された前記迷光情報と、前記判定基準の比較により、前記空間コードの無効領域を導出する。そして更に、複数の撮像手段ごとの前記空間コードの無効領域を補間する補間手段を有する点に特徴がある。
説明のため、被検物１１３は光沢性が高く、投影ユニット１からの光パターン１６を反射し、その正反射光が撮像レンズ７を介して、センサ素子９上に結像する位置関係としている。

実施例１、２と同様に、被検物１１３に対応したセンサ素子９上の位置が、高輝度領域となる場合には、迷光の予測に基づき、空間コードが間違っている画素の測距データを無効にする。
一方、上記構成において、撮像ユニット２０で得られる被検物１１３の像は、被検物１１３で散乱した光が、撮像レンズ１７を介してセンサ素子１９上に結像するように構成されている。光沢性が高い被検物１１３における散乱光は、正反射光に対して非常に少ない光量となる。そのため、被検物１１３に対応したセンサ素子１９上の位置において、高輝度領域とならず、迷光の発生量も非常に小さく、空間コードを間違えるまでには至らない。

つまり、撮像ユニット２を用いて測距したデータには、迷光により測距値を除外（無効化）した画素が存在するが、撮像ユニット２０を用いて測距したデータには、迷光により測距値を除外（無効化）した画素は存在しない。従って、それぞれの測距値を３次元空間上で、統合する事によって、迷光によって無効と判断された領域の測距値を異なる方位から撮像したパターン画像から導出した測距値によって補うことが可能となる。
一般には、被検物１１３をバラ積みした物を測定対象とすると、複数の被検物１１３の正反射方向はランダムである。従って、正反射光が、撮像ユニット２及び撮像ユニット２０から得られるパターン画像に撮像されるか否かは、ランダムに決定され、撮像ユニット２及び撮像ユニット２０で得られたパターン画像に迷光が少ないとは一概に言えない。

しかしながら、撮像ユニット２と撮像ユニット２０のように、異なる方位から撮像した場合には、高反射領域が撮像ユニット毎で重複する可能性が低い。そして、一方の撮像ユニットにて被検物の測距値を除外（無効化）した領域に関して、もう一方の撮像ユニットによる被検物の測距値によって補える可能性が高い。
以上のように、複数の撮像方位にて取得したパターン画像に基づき迷光により測距値が間違った画素を除外（無効化）したとしても、複数の撮像方位に基づく測距値を統合する事により、必要な測距値を得る事が可能となる。即ち、演算ユニット３によって、複数の撮像手段ごとの前記空間コードの無効領域を互いに補間する補間手段を構成することによって無効領域を大幅に減らすことができる効果がある。

なお、以上の実施例においてはパターン光を被検物に対して投影し、撮像手段を用いてパターン画像から、パターン光の明暗を所定の判定基準に基づき判定し、当該判定結果に基づいて空間コード化法を用いて演算手段によって被検物の三次元情報を求めている。しかし、位相シフト法を用いて、ストライプパターンなどのパターン光を被検物に対して投影し、それを横にずらしながら（位相をシフトさせながら）、複数回撮影することによって被検物の三次元情報を求めるようにしても良い。即ち、本発明の三次元計測装置は、パターン画像から被検物の三次元情報を求めるものであれば良く、空間コード化法や位相シフト法等に限定されない。

上述のような実施例の形状計測装置は、例えば、支持部材に支持された状態で使用されうる。
本実施例４では、一例として、図１０のようにロボットアーム３００（把持装置）に備え付けられて使用される制御システムについて説明する。図１０は、実施例４の３次元計測装置とロボットアームを含む制御システムを示す図であり、形状計測装置１００は、支持台３５０に置かれた被検物１１にパターン光を投影して撮像し、画像を取得する。そして、形状計測装置１００の演算ユニット３、又は、形状計測装置１００の制御部から画像データを取得した制御部３１０が、被検物１１の位置および姿勢を求め、求められた位置および姿勢の情報を取得する。更に制御部３１０は、その位置および姿勢の情報に基づいて、ロボットアーム３００に駆動指令を送ってロボットアーム３００を制御する。

ロボットアーム３００は先端のロボットハンドなど（把持部）で被検物１１を保持して、並進や回転などの移動処理をさせる。さらに、ロボットアーム３００によって被検物１１を他の部品に組み付ける組み付け処理をすることにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された被検物１１を加工処理することにより、物品を製造することができる。制御部３１０は、コンピュータとしてのＣＰＵなどの演算装置や制御部３１０を制御するためのコンピュータプログラムを記憶したメモリなどの記憶装置を有する。なお、ロボットを制御する制御部を制御部３１０の外部に設けても良い。また、形状計測装置１００により計測された計測データや得られた画像をディスプレイなどの表示部３２０に表示してもよい。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して形状計測装置に供給するようにしてもよい。そしてその形状計測装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１ 投影ユニット
２ 撮像ユニット
３ 演算ユニット
１０ 計測ヘッド
１６ 光パターン

Claims (12)

1. パターン光を被検物に投影する投影手段と、
   前記被検物を撮像する撮像手段と、
   前記パターン光が投影された前記被検物を前記撮像手段により撮像して得られるパターン画像から、パターン光の明暗を所定の判定基準に基づき判定し、当該判定結果に基づいて前記被検物の三次元情報を求める演算手段と、
   前記パターン画像から迷光に関する情報を生成する生成手段と、
   生成された前記迷光に関する情報に基づいて、迷光を含むパターン画像の画素値と前記判定基準の比較により、前記パターン光の明暗判定の無効領域を導出する導出手段と、を有することを特徴とする三次元計測装置。
2. 前記生成手段が、複数の露光量で得たパターン画像を合成する合成手段を備えることを特徴とする請求項１に記載の三次元計測装置。
3. 前記合成手段は、複数の露光時間によって得た複数のパターン画像を合成することを特徴とする請求項２に記載の三次元計測装置。
4. 前記合成手段は、複数の光量で前記パターン光を投影することによって得た複数のパターン画像を合成することを特徴とする請求項２に記載の三次元計測装置。
5. パターン光を被検物に投影する投影手段と、
   前記被検物を撮像する複数の撮像手段と、
   前記パターン光が投影された前記被検物を前記複数の撮像手段により撮像して得られるパターン画像から、前記複数の撮像手段ごとに、パターン光の明暗を所定の判定基準に基づき判定し、前記被検物の三次元情報を求める演算手段と、
   前記複数の撮像手段ごとに、前記パターン画像から迷光に関する情報を生成する生成手段と、
   前記複数の撮像手段ごとに、生成された前記迷光に関する情報に基づいて、迷光を含むパターン画像の画素値と前記判定基準の比較により、前記パターン光の明暗判定の無効領域を導出する導出手段と、
   前記複数の撮像手段ごとの前記無効領域を補間する補間手段と、
   を備えることを特徴とする三次元計測装置。
6. 前記複数の撮像手段は前記被検物からの反射光を異なる角度で撮像するように配置されていることを特徴とする請求項４に記載の三次元計測装置。
7. 前記複数の撮像手段の一つは前記被検物からの正反射光を撮像するように配置されており、他の撮像装置は前記被検物からの散乱光を撮像するように配置されていることを特徴とする請求項５に記載の三次元計測装置。
8. 前記演算手段は、前記判定結果に基づいて空間コード化法を用いて前記被検物の三次元情報を求めることを特徴とする請求項１〜７のいずれか１項に記載の三次元計測装置。
9. 前記演算手段は、前記判定結果に基づいて位相シフト法を用いて前記被検物の三次元情報を求めることを特徴とする請求項１〜７のいずれか１項に記載の三次元計測装置。
10. 請求項１〜９のうちいずれか１項に記載の前記三次元計測装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
11. 請求項１〜９のいずれか１項に記載の三次元計測装置と、
    前記三次元計測装置による計測の結果に基づいて被検物を保持して移動させるロボットと、を有することを特徴とする制御システム。
12. 請求項１〜９のいずれか１項に記載の三次元計測装置を用いて被検物の三次元計測を行う計測工程と、
    前記計測工程による計測の結果に基づいて前記被検物を処理することにより物品を製造する工程と、を有することを特徴とする物品の製造方法。

Images