JP2015222220A - 制御装置、ロボット、及び制御方法 - Google Patents

Abstract

【課題】計測対象の材質や形状に適した三次元計測を行うことができる制御装置を提供すること。【解決手段】制御装置は、第１パターンを物体に投影する投影部と、複数の第１パターンから一の第１パターンを選択する選択部と、を含み、投影部は、解像度の異なる複数の第１パターンを物体に投影した後、選択した一の第１パターンの解像度を有する第２パターンを物体に投影する。【選択図】図８

Description

この発明は、制御装置、ロボット、及び制御方法に関する。

投写部によりパターン画像が投写された計測対象を撮像し、撮像された画像に基づいて計測対象の三次元計測に基づく種々の処理（例えば、三次元点群を生成する等）を行う技術が研究・開発されている。

これに関連し、空間符号化法において、反射光がぼやけてしまうような場合に明部と暗部との境界位置を適切に決定するための三次元計測装置が知られている（特許文献１参照）。

より具体的には、この三次元計測装置は、プロジェクターによって交互に位置する明暗領域の幅が異なる複数の縞パターン光を被写体に投影し、カメラによって複数の縞パターン光が投影された被写体からの反射光を撮影し、撮影された複数の反射光から、複数の縞パターン光のそれぞれに対応する被写体の距離情報を取得し、複数の反射光のそれぞれの信頼度を算出する。

この算出の際、プロジェクターは、算出された信頼度が閾値以上の縞パターン光を所定の周期分シフトさせた縞パターン光を被写体に投影する。また、カメラは、所定の周期分シフトさせた縞パターン光の反射光を撮影する。そして、三次元計測装置は、所定の周期分シフトさせた縞パターン光に対応する被写体の距離情報を取得する。

特開２０１２−１０３２３９号公報

しかしながら、従来の装置では、三次元計測を行う計測対象の材質や形状等に応じたパターン画像に基づいて三次元計測を行うことができなかった。特に、三次元計測を行う計測対象の材質や形状等によって、撮像された画像中において計測対象に投写されたパターン画像が滲む場合があり、計測対象の材質や形状を変える毎に、計測対象の材質や形状に適したパターン画像をトライアンドエラーによって探す必要があった。

そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、計測対象の材質や形状に適した三次元計測を行うことができる制御装置、ロボット、及び制御方法を提供する。

本発明の一態様は、第１パターンを物体に投影する投影部と、複数の前記第１パターンから一の第１パターンを選択する選択部と、を含み、前記投影部は、解像度の異なる複数の前記第１パターンを前記物体に投影した後、選択した前記一の第１パターンの解像度を有する第２パターンを前記物体に投影する、制御装置である。
この構成により、制御装置は、解像度の異なる複数の第１パターンを物体に投影し、複数の第１パターンから一の第１パターンを選択し、選択した一第１パターンの解像度を有する第２パターンを物体に投影する。これにより、制御装置は、計測対象の材質や形状に適した三次元計測を行うことができる。

また、本発明の他の態様は、制御装置において、前記解像度の異なる複数の前記第１パターンがそれぞれ投影された前記物体が撮像された複数の撮像画像に基づいて、前記第１パターン毎の統計量を算出する算出部を備え、前記選択部は、算出された前記第１パターン毎の前記統計量に基づいて前記一第１パターンを選択する、構成が用いられてもよい。
この構成により、制御装置は、解像度の異なる複数の第１パターンがそれぞれ投影された物体が撮像された複数の撮像画像に基づいて、第１パターン毎の統計量を算出し、算出された第１パターン毎の統計量に基づいて前記一第１パターンを選択する。これにより、制御装置は、第１パターン毎の統計量に基づいて選択された一第１パターンの解像度に基づいて、計測対象の材質や形状に適した第２パターンを選択し、第２パターンに基づいて物体の三次元計測を行うことができる。

また、本発明の他の態様は、制御装置において、前記算出部は、前記撮像画像に撮像された前記物体を示す領域全体について前記統計量を算出する、構成が用いられてもよい。
この構成により、制御装置は、解像度の異なる複数の第１パターンがそれぞれ投影された物体が撮像された複数の撮像画像に撮像された物体を示す領域全体について統計量を算出する。これにより、制御装置は、物体全体の材質や形状に適した三次元計測を行うことができる。

また、本発明の他の態様は、制御装置において、前記算出部は、前記撮像画像に撮像された前記物体を示す領域を複数の領域に分割し、分割された前記領域毎に前記統計量を算出し、前記選択部は、算出された前記統計量であって分割された前記領域毎の前記統計量を、前記第１パターン毎の前記統計量として前記一の第１パターンを選択する、構成が用いられてもよい。
この構成により、制御装置は、解像度の異なる複数の第１パターンがそれぞれ投影された物体が撮像された複数の撮像画像に撮像された物体を示す領域を複数の領域に分割し、分割された領域毎に統計量を算出し、算出された統計量であって分割された領域毎の統計量を、第１パターン毎の統計量として一の第１パターンを選択する。これにより、制御装置は、物体上の部分領域毎に算出された統計量に基づいて、物体全体の材質や形状に適した三次元計測を行うことができる。

また、本発明の他の態様は、制御装置において、前記算出部は、前記撮像画像に撮像された前記物体を示す領域を複数の領域に分割し、分割された前記領域毎に前記統計量を算出し、前記選択部は、算出された分割された前記領域毎の前記統計量に基づいて前記領域毎に前記一の第１パターンを選択する、構成が用いられてもよい。
この構成により、制御装置は、解像度の異なる複数の第１パターンがそれぞれ投影された物体が撮像された複数の撮像画像に撮像された物体を示す領域を複数の領域に分割し、分割された領域毎に統計量を算出し、算出された分割された領域毎の統計量に基づいて領域毎に一の第１パターンを選択する。これにより、制御装置は、物体上の部分領域毎の材質や形状に適した三次元計測を行うことができる。

また、本発明の他の態様は、制御装置において、前記選択部は、前記統計量が所定値以上の前記第１パターンから所定の条件を満たす前記第１パターンを前記一の第１パターンとして選択する、構成が用いられてもよい。
この構成により、制御装置は、統計量が所定値以上の第１パターンから所定の条件を満たす第１パターンを一の第１パターンとして選択する。これにより、制御装置は、統計量が所定値以上の第１パターンから選択された所定の条件を満たす第１パターンに基づいて物体の材質や形状に適した三次元計測を行うことができる。

また、本発明の他の態様は、制御装置において、前記所定の条件は、前記第１パターン毎の前記統計量が所定値以上の前記第１パターンのうち、最も小さな解像度の前記第１パターンである、構成が用いられてもよい。
この構成により、制御装置は、第１パターン毎の統計量が所定値以上の第１パターンのうち、最も小さな解像度の第１パターンを一第１パターンとして選択する。これにより、制御装置は、高い解像度で三次元計測を行うことができる。

また、本発明の他の態様は、制御装置において、前記第１パターンは、第１色と、前記第１色と異なる第２色に基づいて構成された格子パターンであり、前記算出部は、前記統計量として前記第１色と前記第２色の分布に係る分散を算出する、構成が用いられてもよい。
この構成により、制御装置は、解像度の異なる複数の格子パターンを物体に投影し、複数の格子パターンから一格子パターンを選択し、選択した一格子パターンの解像度に基づく第２パターンを物体に投影する。これにより、制御装置は、格子パターンに基づいた物体の材質や形状に適した第２パターンによって三次元計測を行うことができる。

また、本発明の他の態様は、制御装置において、前記第１色と前記第２色は、いずれか一方が白色であり、他方が黒色である、構成が用いられてもよい。
この構成により、制御装置は、解像度の異なる複数の白色と黒色の格子パターンを物体に投影し、複数の格子パターンから一格子パターンを選択し、選択した一格子パターンの解像度に基づく第２パターンを物体に投影する。これにより、制御装置は、白色と黒色の格子パターンに基づいた物体の材質や形状に適した第２パターンによって三次元計測を行うことができる。

また、本発明の他の態様は、制御装置において、前記第２パターンは、前記第１パターンのうちの１つ、又は前記第１パターンと異なるパターンのうちの１つである、構成が用いられてもよい。
この構成により、制御装置は、解像度の異なる複数の第１パターンを物体に投影し、複数の第１パターンから一第１パターンを選択し、選択した一第１パターンの解像度に基づく第１パターンのうちの１つ、又は第１パターンと異なるパターンのうちの１つを第２パターンとして物体に投影する。これにより、制御装置は、選択した一第１パターンの解像度に基づく第１パターンのうちの１つ、又は第１パターンと異なるパターンのうちの１つに基づいた三次元計測を行うことができる。

また、本発明の他の態様は、第１パターンを物体に投影する投影部と、複数の前記第１パターンから一の第１パターンを選択する選択部と、を含み、前記投影部は、解像度の異なる複数の前記第１パターンを前記物体に投影した後、選択した前記一の第１パターンの解像度を有する第２パターンを前記物体に投影する、ロボットである。
この構成により、ロボットは、解像度の異なる複数の第１パターンを物体に投影し、複数の第１パターンから一の第１パターンを選択し、選択した一第１パターンの解像度を有する第２パターンを物体に投影する。これにより、ロボットは、計測対象の材質や形状に適した三次元計測を行うことができ、その結果、高い精度で作業を行うことができる。

また、本発明の他の態様は、解像度の異なる複数の第１パターンを物体に投影し、複数の前記第１パターンから一の第１パターンを選択し、選択した前記一の第１パターンの解像度を有する第２パターンを前記物体に投影する、制御方法である。
この構成により、制御方法は、解像度の異なる複数の第１パターンを物体に投影し、複数の第１パターンから一の第１パターンを選択し、選択した一の第１パターンの解像度を有する第２パターンを物体に投影する。これにより、制御方法は、計測対象の材質や形状に適した三次元計測を行うことができる。

以上により、制御装置、ロボット、及び制御方法は、解像度の異なる複数の第１パターンを物体に投影し、複数の第１パターンから一の第１パターンを選択し、選択した一の第１パターンの解像度を有する第２パターンを物体に投影する。これにより、制御装置、ロボット、及び制御方法は、計測対象の材質や形状に適した三次元計測を行うことができる。

本実施形態に係る制御システム１の一例を示す構成図である。 それぞれ異なるドットサイズのランダムドットパターン画像が投写された計測対象Ｗを含む範囲が撮像された複数の撮像画像を例示する図である。 制御装置３０がパターン画像選択処理において計測対象Ｗに投写する格子パターン画像の一例を示す図である。 白地に黒水玉のドットパターン画像の一例である。 白地に複数の黒色の線が直交することで表されるドットパターン画像の一例である。 白地に複数の黒色の波線が交わることで表されるドットパターン画像の一例である。 制御装置３０のハードウェア構成の一例を示す図である。 制御装置３０の機能構成の一例を示す図である。 制御装置３０によるパターン画像選択処理の流れの一例を示すフローチャートである。 白色撮像画像ＷＰの一例を示す図である。 黒色撮像画像ＢＰの一例を示す図である。 格子パターン撮像画像ＬＰの一例を示す図である。 材質が不透明な段ボール紙製の計測対象Ｗに対してドットサイズが１０ピクセルの格子パターン画像を投写した場合の格子パターン撮像画像とその正規化された輝度値に基づく分散を表すヒストグラムの一例を示す図である。 材質が半透明なアクリルの計測対象Ｗに対してドットサイズが２ピクセルの格子パターン画像を投写した場合の格子パターン撮像画像とその正規化された輝度値に基づく分散を表すヒストグラムの一例を示す図である。 材質が半透明なアクリルの計測対象Ｗに対してドットサイズが１ピクセルの格子パターン画像を投写した場合の格子パターン撮像画像とその正規化された輝度値に基づく分散を表すヒストグラムの一例を示す図である。 ランダムドットパターン画像ＤＰの一例を示す図である。 ドットサイズが１０ピクセルのランダムドットパターン画像ＤＰ１０の一例と、ランダムドットパターン画像ＤＰ１０が投写された計測対象Ｗを含む範囲が撮像された計測用画像ＲＰ１０の一例の一部を示す図である。 ドットサイズが４ピクセルのランダムドットパターン画像ＤＰ４の一例と、ランダムドットパターン画像ＤＰ４が投写された計測対象Ｗを含む範囲が撮像された計測用画像ＲＰ４の一例の一部を示す図である。 ドットサイズが１ピクセルのランダムドットパターン画像ＤＰ１の一例と、ランダムドットパターン画像ＤＰ１が投写された計測対象Ｗを含む範囲が撮像された計測用画像ＲＰ１の一例の一部を示す図である。 光源からの光が物体表面で反射し、その反射光がカメラの投影面（すなわち、撮像素子）に投影される状況の一例を示す図である。 光源からの光が物体内部で反射される状況の一例を示す図である。 実施形態の変形例１に係る制御装置３０によるパターン画像選択処理の流れの一例を示すフローチャートである。 格子パターン撮像画像上の計測対象Ｗの領域を複数の領域に分割することで設定されるウィンドウの一例を示す図である。 実施形態の変形例２に係る制御装置３０によるパターン画像選択処理の流れの一例を示すフローチャートである。 第２分散を表すヒストグラムの一例を示す図である。

＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態に係る制御システム１の一例を示す構成図である。制御システム１は、撮像部１０と、投写部２０と、制御装置３０を具備する。また、撮像部１０は、第１撮像部１１と、第２撮像部１２を備え、ステレオ撮像を行う。なお、撮像部１０は、３台以上の撮像部を備える構成であってもよい。以下では、説明の便宜上、第１撮像部１１と第２撮像部１２を区別する必要が無い場合、まとめて撮像部１０と称して説明する。また、以下では、第１撮像部１１と第２撮像部１２をまとめて撮像部１０と称した場合、第１撮像部１１と第２撮像部１２は、同じ処理を行うとして説明する。以下で説明する実施形態に係る技術は、一般的な画像処理用途に利用することができる。一般的な画像処理用途とは、例えば、ビンピッキングや作業台等の周囲環境の認識、作業対象物の検査等のことである。

制御システム１は、テーブル等の台上に設置された計測対象Ｗに対して投写部２０からパターン画像を投写し、パターン画像が投写された計測対象Ｗを撮像部１０により撮像する。そして、制御システム１は、第１撮像部１１により撮像された第１撮像画像と、第２撮像部１２により撮像された第２撮像画像とに基づいて、例えば、ステレオブロックマッチング法等を用いて計測対象Ｗの三次元計測を行う。また、制御システム１は、前記の三次元計測に基づく種々の処理を行う。三次元計測に基づく種々の処理とは、例えば、三次元点群を生成する処理等であるが、これに代えて、他の何らかの処理を行ってもよい。以下では、説明の便宜上、制御システム１が計測対象Ｗの三次元計測を行い、当該三次元計測に基づく三次元点群の生成を行うとして説明する。また、以下では、第１撮像画像と第２撮像画像を区別する必要が無い場合、まとめて撮像画像と称して説明する。区別する必要が無い場合とは、第１撮像画像と第２撮像画像の両方に同じ処理が行われる場合である。

計測対象Ｗは、制御システム１により三次元計測が行われる物体であって前記のパターン画像を投写可能な物体である。計測対象Ｗの材質は、不透明な材質（例えば、光を透過しない金属や紙等）であってもよく、半透明な材質（光の一部を透過するアクリルやプラスチック等）であってもよい。また、計測対象Ｗの形状は、特に何らかの形状に限定されることはないが、表面形状に特徴がない場合、制御システム１によって行われる処理によって得られる効果が最も顕著に表れる。計測対象Ｗは、物体の一例である。

本実施形態において、計測対象Ｗは、アクリル製のコネクターであって立方体形状の半透明なコネクターであるとして説明するが、前述したように計測対象Ｗの材質や形状はこれ限られず、他の何らかの材質や形状であってもよい。なお、計測対象Ｗは、投写部２０からのパターン画像の光をほとんど透過してしまい、計測対象Ｗからのパターン画像の反射光を撮像画像から検出することが不可能な物体ではないことが好ましい。

ここで、上述のパターン画像とは、２値画像であり、例えば、ランダムドットパターン画像であるが、これに限られず、バーコードのようなパターン画像等の２値によって表されるパターン画像であってステレオブロックマッチング法等によって計測対象Ｗの三次元計測を行うための特徴点を提供することが可能なパターン画像であれば如何なるパターン画像であってもよい。以下では、説明の便宜上、パターン画像をランダムドットパターン画像であるとして説明する。

ランダムドットパターン画像とは、第１色と、第１色とは異なる第２色による２値画像であってドットと呼ばれる最小単位の正方形又は長方形がランダムに配置されることによって描かれた画像である。一般的には、第１色と第２色のうちいずれか一方が白色であり、他方が黒色であることが多いが、第１色と第２色はこれらの色に限られない。なお、ドットの大きさは、そのドットを描くために用いるピクセルの数によって表され、以下では、ドットサイズと称して説明する。なお、前述した通り、ドットは、正方形であってもよく、長方形であってもよい。ランダムドットパターン画像は、第２画像の一例である。

また、ドットサイズが異なる画像とは、すなわち、解像度が異なる画像の一例である。解像度とは、画像における画素の密度を示す数値である。この解像度が小さいと、画像に描かれた模様を構成する最小単位の大きさ（サイズ）が大きくなり、模様の輪郭が粗くなる。また、解像度が大きいと、画像に描かれた模様を構成する最小単位の大きさが小さくなり、模様の輪郭が細かくなる。すなわち、ドットによって構成されるパターン画像は、解像度が小さくなるとドットサイズが大きくなり、解像度が大きくなるとドットサイズが小さくなる。

ランダムドットパターン画像を計測対象Ｗに投写した場合、撮像画像に撮像されるランダムドットパターン画像には、計測対象Ｗの材質や形状に応じた滲みが生じる。ここで、前記の滲みとは、白色のドットと黒色のドットにより構成されたランダムドットパターン画像の場合であれば、白色のドットと黒色のドットの境界線が認識できないことを示す。この滲みの原因は、計測対象Ｗの材質や形状によって撮像部１０の撮像素子に反射光が入射する際に生じる収差である。従って、この滲みの度合いは、計測対象Ｗの材質や形状毎に異なる。前記の三次元計測は、計測対象Ｗの材質や形状毎にそれぞれ適したドットサイズのランダムドットパターン画像を用いることで、この滲みの度合いを小さくすることができ、その結果、三次元計測の精度を高くすることができる。

ここで、図２を参照して、計測対象Ｗの材質に適したドットサイズのランダムドットパターン画像について説明する。図２は、それぞれ異なるドットサイズのランダムドットパターン画像が投写された計測対象Ｗを含む範囲が撮像された複数の撮像画像を例示する図である。図２（Ａ）に示した撮像画像には、半透明なアクリル製の計測対象Ｗであってドットサイズが１ピクセルのランダムドットパターン画像が投写された計測対象Ｗを含む範囲が撮像されている。

また、図２（Ｂ）に示した撮像画像には、半透明なアクリル製の計測対象Ｗであってドットサイズが４ピクセルのランダムドットパターン画像が投写された計測対象Ｗを含む範囲が撮像されている。また、図２（Ｃ）に示した撮像画像には、半透明なアクリル製の計測対象Ｗであってドットサイズが１０ピクセルのランダムドットパターン画像が投写された計測対象Ｗを含む範囲が撮像されている。

図２（Ａ）から図２（Ｃ）における白枠ＷＲは、計測対象Ｗの輪郭を示す。そして、白枠ＷＲ内の黒色の領域は、投写されたランダムドットパターン画像に基づいて三次元計測に基づく三次元点群を生成した結果、三次元点群の生成が成功した領域を示す。図２（Ａ）に示したように、ドットサイズが１ピクセルの場合、白枠ＷＲ内の多くの領域で三次元点群の生成に失敗している。

図２（Ｃ）に示したドットサイズが１０ピクセルの場合、図２（Ａ）と同様に、多くの領域で三次元点群の生成に失敗している。一方で、図２（Ｂ）に示したように、ドットサイズが４ピクセルの場合、多くの領域で三次元点群の生成に成功している。図２（Ａ）から図２（Ｃ）を比較することで、図２（Ａ）から図２（Ｃ）に示した撮像画像中の計測対象Ｗに対しては、ドットサイズが４ピクセルのランダムドットパターン画像によって三次元計測を行うことが好適であることが分かる。

一方、図２（Ｄ）に示した撮像画像には、不透明な段ボール紙製の計測対象Ｗであってドットサイズが１ピクセルのランダムドットパターン画像が投写された計測対象Ｗを含む範囲が撮像されている。また、図２（Ｅ）に示した撮像画像には、不透明な段ボール紙製の計測対象Ｗであってドットサイズが４ピクセルのランダムドットパターン画像が投写された計測対象Ｗを含む範囲が撮像されている。また、図２（Ｆ）に示した撮像画像には、不透明な段ボール紙製の計測対象Ｗであってドットサイズが１０ピクセルのランダムドットパターン画像が投写された計測対象Ｗを含む範囲が撮像されている。

図２（Ｄ）から図２（Ｆ）に示したように、計測対象Ｗの材質が不透明な段ボール紙である場合、いずれのドットサイズでも領域ＷＲ内のほとんどの領域において三次元点群の生成に成功していることが分かる。すなわち、計測対象Ｗの材質が不透明な段ボール紙である場合、ランダムドットパターン画像のドットサイズを変えても大きく三次元計測の精度が変化することはない。ただし、図２（Ｆ）に示したように、ドットサイズが１０ピクセルの場合、白枠ＷＲ内の一部の領域で三次元点群の生成に失敗しているため、ドットサイズが１０ピクセルより小さい方が計測対象Ｗに対する三次元計測に好適であることが分かる。

ここで、不透明な段ボール紙製の計測対象Ｗと、半透明なアクリル製の計測対象Ｗとでは、材質も形状（この一例では、表面形状であるが、立体形状も含む）も異なる。図２で示したように、制御システム１は、計測対象Ｗの材質や形状に適したランダムドットパターン画像を用いることで、高い精度で計測対象Ｗの三次元計測を行うことが可能となる。

本実施形態の制御システム１は、計測対象Ｗの三次元計測を行う前に、計測対象Ｗの形状や材質に適したドットサイズのランダムドットパターン画像を選択するパターン画像選択処理を行う。これにより、制御システム１は、計測対象Ｗの材質や形状に適した三次元計測を行うことができる。より具体的には、制御システム１は、このパターン画像選択処理によって選択されたランダムドットパターン画像を計測対象Ｗに投写することで、計測対象Ｗの三次元計測に基づく三次元点群の生成を行う。

第１撮像部１１は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。第１撮像部１１は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）等の規格によって行われる。なお、第１撮像部１１と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。第１撮像部１１は、計測対象Ｗが含まれる範囲を撮像可能な位置に設置されている。第１撮像部１１は、計測対象Ｗが含まれる範囲の静止画像を第１撮像画像として撮像してもよく、前記の範囲の動画像を第１撮像画像として撮像してもよい。

第２撮像部１２は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤやＣＭＯＳ等を備えたカメラである。第２撮像部１２は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、第２撮像部１２と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。第２撮像部１２は、計測対象Ｗが含まれる範囲を撮像可能な位置に設置されている。第２撮像部１２は、計測対象Ｗが含まれる範囲の静止画像を第２撮像画像として撮像してもよく、前記の範囲の動画像を第２撮像画像として撮像してもよい。

この一例において、第１撮像部１１と第２撮像部１２は、一体となった撮像部１０として計測対象Ｗが含まれる範囲をそれぞれが撮像する構成としたが、これに代えて、別体としてそれぞれ異なる位置に設置され、それぞれ異なる位置から計測対象Ｗが含まれる範囲を撮像する構成であってもよい。また、以下では、第１撮像部１１と第２撮像部１２は、予めキャリブレーションがされているものとし、互いの相対的な位置及び姿勢が既知のものとして説明する。なお、第１撮像部１１と第２撮像部１２は、互いの死角（オクルージョン）を補完することができる。

投写部２０は、例えば、反射型液晶パネルや透過型液晶パネル、ＤＭＤ（Digital Mirror Device）等が用いられたプロジェクターであり、制御装置３０から取得した各種の投写画像を投写する。投写部２０は、計測対象Ｗを含む範囲に前記の投写画像を投写可能な位置に設置されている。図１において、投写部２０は、撮像部１０と一体として構成されているが、これに代えて、撮像部１０とは別体として、撮像部１０と異なる位置に設置されていてもよい。なお、以下では、投写部２０は、撮像部１０と予めキャリブレーションがされているものとし、互いの相対的な位置及び姿勢が既知のものとして説明する。投写部２０は、投影部の一例である。

制御装置３０は、予め記憶された画像であって、ドットサイズがそれぞれ異なる複数の格子パターン画像をそれぞれ計測対象Ｗに投写するように投写部２０を制御する。格子パターン画像とは、ドットが交互に格子状に配置されたパターン画像である。ここで、図３を参照して、制御装置３０がパターン画像選択処理において計測対象Ｗに投写する格子パターン画像について説明する。

図３は、制御装置３０がパターン画像選択処理において計測対象Ｗに投写する格子パターン画像の一例を示す図である。図３に示した格子パターン画像Ｌは、ドットサイズが１０ピクセルのものである。制御装置３０は、パターン画像選択処理において、ドットサイズが異なる格子パターン画像のそれぞれを計測対象Ｗに投写する。格子パターン画像は、第１パターンの一例である。また、ドットサイズがそれぞれ異なる複数の格子パターン画像は、解像度の異なる複数の第１パターンの一例である。

なお、図４に示したように、制御装置３０がパターン画像選択処理において用いる画像は、格子パターン画像に代えて、例えば、白地に黒水玉（又は黒地に白水玉）のドットパターン画像等であってもよい。図４は、白地に黒水玉のドットパターン画像の一例である。また、図５に示したように、制御装置３０がパターン画像選択処理において用いる画像は、格子パターン画像に代えて、例えば、白地に複数の黒色の線が直交することで表されるドットパターン画像等であってもよい。図５は、白地に複数の黒色の線が直交することで表されるドットパターン画像の一例である。

また、図６に示したように、制御装置３０がパターン画像選択処理において用いる画像は、格子パターン画像に代えて、例えば、白地に複数の黒色の波線が交わることで表されるドットパターン画像等であってもよい。図６は、白地に複数の黒色の波線が交わることで表されるドットパターン画像の一例である。図６における黒色の波線であって進行方向が同じ波線は、互いに位相が異なる波線となっている。

図３から図６にそれぞれ示した画像に共通する特徴は、白色の領域と黒色の領域が全体的に均一（例えば、１対１の割合等）に分布していることである。これは、パターン画像選択処理において用いられるパターン画像は、白色の領域と黒色の領域が全体的に均一であることが好ましいからであるが、これに限られず、不均一にそれらの領域が分布する画像であってもよい。なお、本実施形態において、制御装置３０がパターン画像選択処理において用いる格子パターン画像は、白色と黒色の２値画像であるとして説明してきたが、これに代えて、第１色（白色と黒色以外）と、第１色とは異なる第２色（白色と黒色以外）によって描かれた２値画像であってもよい。なお、本実施形態において、白色とは、２５５階調の色階調が０の色を示すが、０に近い色であってもよい。また、本実施形態において、黒色とは、２５５階調の色階調が２５５の色を示すが、２５５に近い色であってもよい。

制御装置３０は、格子パターン画像が投写された計測対象Ｗを撮像部１０により撮像させる。そして、制御装置３０は、撮像部１０により撮像された撮像画像に基づいて、パターン画像選択処理を行い、計測対象Ｗに適したドットサイズのランダムドットパターン画像を選択する。制御装置３０は、選択された画像であって計測対象Ｗに適したドットサイズのランダムドットパターン画像を計測対象Ｗに投写するように投写部２０を制御する。制御装置３０は、ランダムドットパターン画像が投写された計測対象Ｗを撮像部１０により撮像させ、撮像された撮像画像に基づいて三次元計測を行うことで三次元点群を生成する。

次に、図７を参照して、制御装置３０のハードウェア構成について説明する。図７は、制御装置３０のハードウェア構成の一例を示す図である。制御装置３０は、例えば、ＣＰＵ（Central Processing Unit）３１と、記憶部３２と、入力受付部３３と、通信部３４を備え、通信部３４を介して第１撮像部１１、第２撮像部１２、投写部２０と通信を行う。これらの構成要素は、バスＢｕｓを介して相互に通信可能に接続されている。ＣＰＵ３１は、記憶部３２に格納された各種プログラムを実行する。

記憶部３２は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＲＯＭ（Read−Only Memory）、ＲＡＭ（Random Access Memory）などを含み、制御装置３０が処理する各種情報や画像、プログラムを格納する。なお、記憶部３２は、制御装置３０に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。

入力受付部３３は、例えば、キーボードやマウス、タッチパッド、その他の入力装置である。なお、入力受付部３３は、表示部として機能してもよく、さらに、タッチパネルとして構成されてもよい。
通信部３４は、例えば、ＵＳＢ等のデジタル入出力ポートやイーサネットポート等を含んで構成される。

次に、図８を参照することで、制御装置３０の機能構成について説明する。図８は、制御装置３０の機能構成の一例を示す図である。制御装置３０は、記憶部３２と、入力受付部３３と、画像取得部３５と、制御部３６を備える。制御部３６が備える機能部のうち一部又は全部は、例えば、ＣＰＵ３１が、記憶部３２に記憶された各種プログラムを実行することで実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

画像取得部３５は、第１撮像部１１により撮像された第１撮像画像を取得する。また、画像取得部３５は、第２撮像部１２により撮像された第２撮像画像を取得する。画像取得部３５は、取得された第１撮像画像と第２撮像画像を対応付けて記憶部３２に記憶させる。この時、画像取得部３５は、撮像画像が撮像された際に投写されていた格子パターン画像のドットサイズを撮像画像に対応付けて記憶部３２に記憶させる。以下では、説明の便宜上、ドットサイズが対応付けられた撮像画像を、撮像画像セットと称して説明する。

制御部３６は、投写制御部４１と、撮像制御部４２と、算出部４３と、判定部４５と、選択部４７と、三次元計測部４９を備える。制御部３６は、入力受付部３３によりユーザーから計測開始の操作を受け付けると、パターン画像選択処理を各機能部に行わせる。そして、制御部３６は、計測対象Ｗの材質や形状に適したランダムドットパターン画像が選択された後、計測対象Ｗの三次元計測に基づく三次元点群の生成を各機能部に行わせる。

投写制御部４１は、記憶部３２により記憶されている複数の格子パターン画像（それぞれドットサイズが異なる画像）を順に１つずつ選択し、選択された格子パターン画像を投写部２０に出力して投写させる。また、投写制御部４１は、選択部４７により選択されたドットサイズのランダムドットパターン画像を計測対象Ｗに投写するように投写部２０を制御する。また、投写制御部４１は、白色画像を計測対象Ｗに投写するように投写部２０を制御する。白色画像とは、すべての画素が白色の画像である。また、投写制御部４１は、黒色画像を計測対象Ｗに投写するように投写部２０を制御する。黒色画像とは、すべての画素が黒色の画像である。

撮像制御部４２は、計測対象Ｗが含まれる範囲を撮像するように撮像部１０を制御する。
算出部４３は、記憶部３２から撮像画像セットを読み込む。算出部４３は、読み込まれた撮像画像セットを順に１つずつ選択し、選択された撮像画像セットに係る撮像画像毎に、撮像画像上の格子パターン画像の白色と黒色（換言すると、輝度値）の分布に係る統計量を算出する。以下では、一例として、この統計量を輝度値の分布の分散であるとするが、これに代えて、輝度値が明るいクラスと輝度値が暗いクラスの間のクラス間分散であってもよく、他の何らかの統計量であってもよい。また、以下では、撮像画像セットに係る撮像画像を格子パターン撮像画像と称して説明する。な

判定部４５は、ドットサイズ毎の格子パターン撮像画像に対して算出部４３により算出された輝度値の分布の分散が所定値以上であるか否かを判定する。そして、判定部４５は、前記の分散が所定値以上であると判定した格子パターン撮像画像を記憶部３２から読み込む。なお、判定部４５は、第１撮像画像と第２撮像画像の両方において前記の分散が所定値以上であると判定した格子パターン撮像画像について前記の判定に係る処理を行う構成であるとするが、これに代えて、第１撮像画像と第２撮像画像のうちいずれか一方に対して行う構成であってもよい。

選択部４７は、判定部４５により読み込まれた格子パターン撮像画像のうち所定の条件を満たす格子パターン撮像画像を抽出する。所定の条件とは、例えば、対応付けられたドットサイズが最も小さい格子パターン撮像画像を抽出すること等であるが、これに代えて、対応付けられたドットサイズに基づく何らかの処理によって抽出することであってもよい。

以下では、所定の条件は、対応付けられたドットサイズが最も小さい格子パターン撮像画像を抽出することであるとして説明する。選択部４７は、抽出された格子パターン撮像画像に対応付けられたドットサイズを選択する。そして、選択部４７は、選択されたドットサイズのランダムドットパターン画像を記憶部３２から読み込む（換言すると、計測対象Ｗの材質や形状に適したドットサイズのランダムドットパターン画像を選択する）。

三次元計測部４９は、選択部４７により記憶部３２から読み込まれたランダムドットパターン画像を計測対象Ｗに投写するように投写制御部４１を制御する。そして、三次元計測部４９は、前記のランダムドットパターン画像が投写された計測対象Ｗが含まれる範囲を撮像するように撮像制御部４２を制御する。以下では、三次元計測部４９が撮像制御部４２を制御することで撮像された撮像画像を計測用画像と称して説明する。三次元計測部４９は、画像取得部３５から記憶部３２に記憶された計測用画像を、記憶部３２から読み込む。そして、三次元計測部４９は、読み込まれた計測用画像に基づいて、例えば、ステレオブロックマッチング法等に基づいて計測対象Ｗの三次元点群を生成する。

以下、図９を参照して、制御装置３０によるパターン画像選択処理について説明する。図９は、制御装置３０によるパターン画像選択処理の流れの一例を示すフローチャートである。まず、投写制御部４１は、白色画像を計測対象Ｗに投写するように投写部２０を制御する（ステップＳ４０）。次に、撮像制御部４２は、図１０に示したような白色画像が計測対象Ｗに投写された撮像画像（以下、白色撮像画像と称する）を撮像するように撮像部１０を制御する（ステップＳ５０）。ここで、図１０は、白色撮像画像ＷＰの一例を示す図である。

次に、画像取得部３５は、撮像部１０から白色撮像画像を取得し、取得された白色撮像画像を記憶部３２に記憶させる（ステップＳ６０）。次に、投写制御部４１は、黒色画像を計測対象Ｗに投写するように投写部２０を制御する（ステップＳ７０）。次に、撮像制御部４２は、図１１に示したような黒色画像が計測対象Ｗに投写された撮像画像（以下、黒色撮像画像と称する）を撮像するように撮像部１０を制御する（ステップＳ８０）。ここで、図１１は、黒色撮像画像ＢＰの一例を示す図である。次に、画像取得部３５は、撮像部１０から黒色撮像画像を取得し、取得された黒色撮像画像を記憶部３２に記憶させる（ステップＳ９０）。

次に、投写制御部４１は、記憶部３２に記憶されたドットサイズがそれぞれ異なる複数の格子パターン画像を読み込み、読み込まれた格子パターン画像を順（例えば、ドットサイズ大きい順や小さい順、ランダムな順等）に１つずつ選択し、選択された格子パターン画像毎にステップＳ１１０からステップＳ１３０の処理を繰り返し行う（ステップＳ１００）。ステップＳ１００で格子パターン画像のうちの１つが選択されると、投写制御部４１は、選択された格子パターン画像を計測対象Ｗに投写するように投写部２０を制御する（ステップＳ１１０）。

次に、撮像制御部４２は、格子パターン撮像画像（図１２に示したような撮像画像であってステップＳ１１０で格子パターン画像が計測対象Ｗに投写された）を撮像するように撮像部１０を制御する（ステップＳ１２０）。ここで、図１２は、格子パターン撮像画像ＬＰの一例を示す図である。次に、画像取得部３５は、撮像部１０から格子パターン撮像画像を取得する。そして、画像取得部３５は、取得された格子パターン撮像画像を、ステップＳ１１０で投写された格子パターン画像のドットサイズと対応付けて撮像画像セットとして記憶部３２に記憶させる（ステップＳ１３０）。

ステップＳ１００からステップＳ１３０において、すべての格子パターン画像について撮像画像セットが記憶部３２に記憶された後、算出部４３は、白色撮像画像と黒色撮像画像を記憶部３２から読み込む。そして、算出部４３は、画像取得部３５により記憶部３２に記憶された撮像画像セットを読み込み、読み込まれた撮像画像セットを順（例えば、ドットサイズ大きい順や小さい順、ランダムな順等）に１つずつ選択し、選択された撮像画像セットに対してステップＳ１５０の処理を繰り返し行う（ステップＳ１４０）。ステップＳ１４０で撮像画像セットが選択された後、算出部４３は、選択された撮像画像セットに係る格子パターン撮像画像上の計測対象Ｗの領域内における白色と黒色の分布の分散を算出する（ステップＳ１５０）。

ここで、図１３から図１５を参照して算出部４３による分散の算出処理について説明する。算出部４３は、格子パターン撮像画像上の計測対象Ｗの領域を、パターンマッチングやエッジ検出等を用いて検出する。そして、算出部４３は、撮像画像に撮像された計測対象Ｗの領域内の画素を１つずつ選択し、選択された画素毎に輝度値を検出する。

ここで、説明の便宜上、選択された画素を示す撮像画像上の座標値を（ｉ，ｊ）によって表し、その座標値における輝度値をＩ（ｉ，ｊ）と表す。なお、ｉは、ｘ座標値を示し、ｊは、ｙ座標値を示す。そして、算出部４３は、選択された画素を示す座標値（ｉ，ｊ）と同じ座標値によって示される白色撮像画像の画素における輝度値Ｉ＿０（ｉ，ｊ）を検出する。また、算出部４３は、選択された画素を示す座標値（ｉ，ｊ）と同じ座標値によって示される黒色撮像画像の画素における輝度値Ｉ＿２５５（ｉ，ｊ）を検出する。

算出部４３は、検出された３つの輝度値Ｉ（ｉ，ｊ）、Ｉ＿０（ｉ，ｊ）、Ｉ＿２５５（ｉ，ｊ）に基づいて、以下の式（１）から正規化された輝度値Ｉ＿Ｎ（ｉ，ｊ）を算出する。

Ｉ＿Ｎ（ｉ，ｊ）＝（Ｉ（ｉ，ｊ）−Ｉ＿０（ｉ，ｊ））／（Ｉ＿２５５（ｉ，ｊ）−Ｉ＿０（ｉ，ｊ）） ・・・（１）

上記の式（１）は、計測対象Ｗに対して白色撮像画像における輝度値と、格子パターン撮像画像における輝度値との差分を、白色撮像画像における輝度値と黒色撮像画像における輝度値との差分によって正規化した値を正規化された輝度値として定義する式である。

算出部４３は、格子パターン撮像画像上の計測対象Ｗの領域内におけるすべての画素について正規化された輝度値を算出する。そして、算出部４３は、算出された正規化された輝度値に基づいて、正規化された輝度値の分散を算出する。この時、正規化された輝度値の分散は、計測対象Ｗの材質や形状と、格子パターン画像のドットサイズとによって、それぞれ異なる値となる。例えば、計測対象Ｗの材質や形状と、格子パターン画像のドットサイズとが異なる場合、正規化された輝度値の分散を表すヒストグラムは、図１３から図１５に示したようなヒストグラムによって表される。

図１３は、材質が不透明な段ボール紙製の計測対象Ｗに対してドットサイズが１０ピクセルの格子パターン画像を投写した場合の格子パターン撮像画像とその正規化された輝度値に基づく分散を表すヒストグラムの一例を示す図である。図１３（Ａ）には、材質が不透明な段ボール紙製の計測対象Ｗに対してドットサイズが１０ピクセルの格子パターン画像が投写された場合の格子パターン撮像画像の一例を示す。図１３（Ｂ）には、図１３（Ａ）に示した格子パターン撮像画像に係る正規化された輝度値に基づく分散を表すヒストグラムの一例を示す。

図１３（Ａ）に示した例の場合、正規化された輝度値に基づく分散を表すヒストグラムは、図１３（Ｂ）に示したように、２つのピークを有するヒストグラムとなる。ヒストグラムが２つのピークを有する理由は、計測対象Ｗの材質が不透明な段ボール紙であるため、計測対象Ｗに投写された格子パターン画像の格子パターン撮像画像上における滲みの度合いが小さく、格子パターン撮像画像の白色と黒色の境界における輝度値の変化が急峻になっているためである。計測対象Ｗに投写された格子パターン画像の格子パターン撮像画像上における滲みが大きな場合、白色と黒色の境界における輝度値の変化は、緩慢になる。そのため、ヒストグラムのピークは、２つのピークが重なり合ってしまうことで１つのピークとなる（２つのピークを弁別することができなくなる）。なお、図１３に示した例の場合、算出部４３により算出された分散の値Ｖ（１０）は、１．５×１０^−１となる。

図１４は、材質が半透明なアクリルの計測対象Ｗに対してドットサイズが２ピクセルの格子パターン画像を投写した場合の格子パターン撮像画像とその正規化された輝度値に基づく分散を表すヒストグラムの一例を示す図である。図１４（Ａ）には、材質が半透明なアクリルの計測対象Ｗに対してドットサイズが２ピクセルの格子パターン画像が投写された場合の格子パターン撮像画像の一例を示す。図１４（Ｂ）には、図１４（Ａ）に示した格子パターン撮像画像に係る正規化された輝度値に基づく分散を表すヒストグラムの一例を示す。

図１４に示した例の場合、正規化された輝度値に基づく分散を表すヒストグラムは、図１４（Ｂ）に示したように１つのピークを有するヒストグラムとなる。また、図１４に示した例の場合、算出部４３により算出された分散の値Ｖ（２）は、１．５×１０^−４となり、図１３に示した例の場合と比較して、前記の滲みの度合いが大きくなり、分散の値が小さくなっていることが分かる。

図１５は、材質が半透明なアクリルの計測対象Ｗに対してドットサイズが１ピクセルの格子パターン画像を投写した場合の格子パターン撮像画像とその正規化された輝度値に基づく分散を表すヒストグラムの一例を示す図である。図１５（Ａ）には、材質が半透明なアクリルの計測対象Ｗに対してドットサイズが１ピクセルの格子パターン画像が投写された場合の格子パターン撮像画像の一例を示す。図１５（Ｂ）には、図１５（Ａ）に示した格子パターン撮像画像に係る正規化された輝度値に基づく分散を表すヒストグラムの一例を示す。

図１５に示した例の場合、正規化された輝度値に基づく分散を表すヒストグラムは、図１４（Ｂ）に示した例と同様に１つのピークを有するヒストグラムとなる。また、図１５に示した例の場合、算出部４３により算出された分散の値Ｖ（１）は、１．２×１０^−４となり、図１４に示した例の場合と比較して、更に前記の滲みの度合いが大きくなり、分散の値が小さくなっていることが分かる。図１３から図１５を比較することで、正規化された輝度値に基づく分散の値は、格子パターン撮像画像上における計測対象Ｗ上の格子パターン画像の滲みの度合いが大きければ大きいほど、小さくなる傾向があることが分かる。

算出部４３がすべての格子パターン撮像画像について前記の分散を算出した後、判定部４５は、格子パターン撮像画像毎に分散が所定値以上であるか否かを判定する。そして、判定部４５は、前記の分散が所定値以上であると判定された格子パターン撮像画像を抽出する（ステップＳ１６０）。次に、選択部４７は、ステップＳ１６０で判定部４５により抽出された格子パターン撮像画像から上述した所定の条件を満たす格子パターン撮像画像（すなわち、最もドットサイズが小さな格子パターン撮像画像）を抽出する。そして、選択部４７は、抽出された格子パターン撮像画像に対応付けられたドットサイズを選択する（ステップＳ１７０）。

次に、三次元計測部４９は、ステップＳ１６０で選択部４７により選択されたドットサイズのランダムドットパターン画像を記憶部３２から読み込む。そして、三次元計測部４９は、読み込まれたランダムドットパターン画像に基づいて、計測対象Ｗの三次元計測を行い、計測対象Ｗの三次元点群を生成する（ステップＳ１８０）。

より具体的には、投写制御部４１は、三次元計測部４９により読み込まれたランダムドットパターン画像を計測対象Ｗに投写するように投写部２０を制御する。そして、撮像制御部４２は、前記のランダムドットパターン画像が投写された計測対象Ｗが撮像された計測用画像を撮像するように撮像部１０を制御する。画像取得部３５は、撮像部１０から計測用画像を取得する。三次元計測部４９は、画像取得部３５から計測用画像を取得し、取得された計測用画像に基づいてステレオブロックマッチング法等によって計測対象Ｗの三次元点群を生成する。

ここで、図１６を参照して、ランダムドットパターン画像について説明する。図１６は、ランダムドットパターン画像ＤＰの一例を示す図である。図１６に示したように、ランダムドットパターン画像は、例えば、乱数を用いて白色のドットと黒色のドットとがランダムに配置されたパターン画像である。三次元計測に基づく三次元点群の生成は、このランダムに配置されたドットのパターンが計測対象Ｗに投写された時の滲みの度合いによって精度が変化し、前述したように滲みの度合いが小さければ小さいほど、高い精度で行うことができる。

ランダムドットパターン画像が計測対象Ｗに投写された際のドットの滲みについて図１７から図１９を比較することで説明する。図１７は、ドットサイズが１０ピクセルのランダムドットパターン画像ＤＰ１０の一例と、ランダムドットパターン画像ＤＰ１０が投写された計測対象Ｗを含む範囲が撮像された計測用画像ＲＰ１０の一例の一部を示す図である。図１８は、ドットサイズが４ピクセルのランダムドットパターン画像ＤＰ４の一例と、ランダムドットパターン画像ＤＰ４が投写された計測対象Ｗを含む範囲が撮像された計測用画像ＲＰ４の一例の一部を示す図である。図１９は、ドットサイズが１ピクセルのランダムドットパターン画像ＤＰ１の一例と、ランダムドットパターン画像ＤＰ１が投写された計測対象Ｗを含む範囲が撮像された計測用画像ＲＰ１の一例の一部を示す図である。

図１７（Ｂ）から図１９（Ｂ）を比較すると、図１７（Ｂ）と図１８（Ｂ）にそれぞれ示した計測用画像中のドットは、滲みながらも白色と黒色の境界が肉眼でも検出できるが、図１９（Ｂ）に示した計測用画像中のドットは、白色と黒色の境界を肉眼で検出することが困難である。ステレオブロックマッチング法のように、パターンマッチングに基づく三次元計測を行う場合、計測対象Ｗ上の特徴点（この一例では、白色と黒色のドットの境界）の検出が容易であればあるほど三次元計測の精度が高くなる。すなわち、図１９（Ｂ）のように白色と黒色の境界を検出すること肉眼ですでに困難な場合、三次元計測の精度は、著しく低下してしまう。

図１から図１５において説明したように、制御システム１は、撮像部１０により撮像された格子パターン撮像画像に基づいて、計測対象Ｗの材質や形状に適したドットサイズのランダムドットパターン画像を選択する。これにより、制御システム１は、短時間で容易に計測対象Ｗの材質や形状に適したランダムドットパターン画像に基づいて高い精度の三次元計測を行うことができる。なお、制御システム１は、例えば、ロボットシステムに具備されてもよい。その場合、ロボットシステム（又はロボット）は、制御システム１によって生成された計測対象Ｗの三次元点群に基づいて、ビジュアルサーボによって計測対象Ｗに所定の作業を行うようにロボットを制御する。

ここで、図２０及び図２１を参照して、計測対象Ｗの材質や形状によってドットの滲みの度合いが異なる理由について説明する。図２０は、光源からの光が物体表面で反射し、その反射光がカメラの投影面（すなわち、撮像素子）に投影される状況の一例を示す図である。また、図２１は、光源からの光が物体内部で反射される状況の一例を示す図である。カメラの投影面の１画素に相当する範囲に到達する前記の反射光が物体表面の１点から到達する場合、カメラの投影面に投影される像は、滲まない（すなわち、ボケない）。しかし、カメラの投影面の１画素に相当する範囲には、通常、物体表面の複数点でそれぞれ反射された反射光が到達する。この場合、カメラの投影面に投影される像は、複数点からの反射光の影響で滲んでしまう。従って、ドットの滲みの度合いは、物体表面の凹凸（すなわち形状）によって変化する。

また、物体に投写された光は、必ず物体表面で反射するわけではない。図２１に示したように、物体に投写された光のうちの一部は、物体の内部に透過し、物体の内部の色素粒子等によって物体の内部で反射される。このように、物体に投写された光の反射光は、物体の内部で反射される光の成分によって拡散されていまい、カメラの投影面に投影される際に滲み（ボケ）を生じさせる。

従って、三次元計測の精度を上げるためには、計測対象Ｗの材質や形状に適したドットサイズのランダムドットパターン画像を選択する必要がある。制御システム１は、計測対象Ｗの材質や形状に適したドットサイズのランダムドットパターン画像を選択するため、高精度の三次元計測を容易に実現することができ、その結果、三次元計測を用いて行う各種の処理の精度を向上させることができる。

＜実施形態の変形例１＞
以下、本発明の実施形態の変形例１について、図面を参照して説明する。実施形態の変形例１に係る制御システム１は、格子パターン撮像画像上の計測対象Ｗの領域内におけるすべての画素について正規化された輝度値を算出し、算出された輝度値に基づいて前記の領域内における輝度値の分散を算出する構成に代えて、格子パターン撮像画像上の計測対象Ｗの領域を複数の領域（以下、ウィンドウと称する）に分割し、分割されたウィンドウ毎に前記の輝度値の分散を算出し、算出された分散に基づいてウィンドウ毎に適したドットサイズのランダムドットパターン画像を選択する。

以下、図２２を参照して、実施形態の変形例１に係る制御装置３０によるパターン画像選択処理について説明する。図２２は、実施形態の変形例１に係る制御装置３０によるパターン画像選択処理の流れの一例を示すフローチャートである。なお、ステップＳ４０からステップＳ１３０までの処理は、図９に示した実施形態に係る制御装置３０と同様な処理であるため、同じ符号を付して説明を省略する。

ステップＳ１００からステップＳ１３０において、すべての格子パターン画像について撮像画像セットが記憶部３２に記憶された後、算出部４３は、白色撮像画像と黒色撮像画像を記憶部３２から読み込む。そして、算出部４３は、画像取得部３５により記憶部３２に記憶された撮像画像セットを読み込み、読み込まれた撮像画像セットを順に１つずつ選択し、選択された撮像画像セットに係る格子パターン撮像画像に対してステップＳ２１０からステップＳ２４０までの処理を繰り返し行う（ステップＳ２００）。

ステップＳ２００で撮像画像セットが選択された後、算出部４３は、選択された撮像画像セットに係る格子パターン画像上の計測対象Ｗの領域を、パターンマッチングやエッジ検出等を用いて検出する。そして、算出部４３は、格子パターン撮像画像上の計測対象Ｗの領域を複数の領域（以下、ウィンドウと称する）に分割し、分割されたウィンドウ毎にステップＳ２２０の処理を繰り返し行う（ステップＳ２１０）。

ここで、図２３を参照して、格子パターン撮像画像上の計測対象Ｗの領域を複数の領域に分割することで設定されるウィンドウについて説明する。図２３は、格子パターン撮像画像上の計測対象Ｗの領域を複数の領域に分割することで設定されるウィンドウの一例を示す図である。図２３に示したように、算出部４３は、格子パターン撮像画像ＬＰの計測対象Ｗの領域ＷＲを複数の領域に分割し、分割された領域をウィンドウＳＷとして設定する。

なお、算出部４３は、例えば、すべての格子パターン撮像画像において、計測対象Ｗの領域ＷＲを同じように分割し、ウィンドウのそれぞれを識別するウィンドウＩＤを対応付ける。このようにすることで、制御部３６は、異なるドットサイズが対応付けられた格子パターン撮像画像において、ウィンドウＩＤに基づいて計測対象Ｗの領域内の同じ位置に設定されたウィンドウ同士を比較することができる。

ステップＳ２１０でウィンドウが選択された後、算出部４３は、選択されたウィンドウ内のすべての画素について、上記の式（１）に基づいて正規化された輝度値を算出する。そして、算出部４３は、算出された正規化された輝度値に基づいて、ウィンドウ内における正規化された輝度値の分散を算出する（ステップＳ２２０）。なお、複数のウィンドウの領域は、互いに重なっていてもよく、重なりが無くてもよい。本実施形態においては、隣接するウィンドウ同士は、隣接する方向（例えば、ｘ軸方向とｙ軸方向のそれぞれ）に１ピクセルずつずれて重なっているものとして説明する。

次に、判定部４５と選択部４７は、ステップＳ２００で算出部４３がすべての格子パターン撮像画像に対して設定したウィンドウであってウィンドウＩＤによって識別されるウィンドウを１つずつ選択し、選択されたウィンドウ毎にステップＳ２４０からステップＳ２６０までの処理を繰り返し行う（ステップＳ２３０）。次に、判定部４５は、記憶部３２からすべての画像セットを読み込み、読み込まれた画像セットを１つずつ選択し、選択された画像セットに係る格子パターン撮像画像内のウィンドウであってステップＳ２３０で選択されたウィンドウ毎に、ステップＳ２５０の処理を繰り返し行う（ステップＳ２４０）。

判定部４５は、ステップＳ２４０で選択された画像セットに係る格子パターン撮像画像内のウィンドウであってステップＳ２３０で選択されたウィンドウ内の正規化された輝度値の分散が所定値以上か否かを判定する。そして、判定部４５は、前記の分散が所定値以上であると判定した格子パターン撮像画像を抽出する（ステップＳ２５０）。

次に、ステップＳ２３０で選択されたウィンドウに関して、選択部４７は、ステップＳ２５０で抽出された格子パターン撮像画像（前記の分散が所定値以上であると判定された格子パターン撮像画像）のうち、格子パターン撮像画像に対応付けられたドットサイズが最も小さな格子パターン撮像画像を抽出する。そして、選択部４７は、抽出された格子パターン撮像画像に対応付けられたドットサイズを選択し、選択されたドットサイズのランダムドットパターン画像を示す情報を、ステップＳ２３０で選択されたウィンドウを示すウィンドウＩＤに対応付ける（ステップＳ２６０）。

すべてのウィンドウにステップＳ２６０で選択されたドットサイズのランダムドットパターン画像を示す情報が対応付けられた後、三次元計測部４９は、ウィンドウ毎に対応付けられたランダムドットパターン画像を計測対象Ｗに投写するように投写制御部４１により投写部２０を制御させる。そして、三次元計測部４９は、前記のランダムドットパターン画像が投写された計測対象Ｗを含む範囲を撮像するように撮像制御部４２により撮像部１０を制御させる。三次元計測部４９は、撮像部１０により撮像された撮像画像に基づいて、計測対象Ｗの三次元計測を行い、計測対象Ｗの三次元点群を生成する。

＜実施形態の変形例２＞
以下、本発明の実施形態の変形例２について、図面を参照して説明する。実施形態の変形例２に係る制御システム１の制御部３６は、図２２に示したフローチャートにおけるステップＳ２５０の処理において、ステップＳ２４０で選択された画像セットに係る格子パターン撮像画像におけるすべてのウィンドウ毎に算出された正規化された輝度値の分散の分布に係る分散を算出する。そして、判定部４５は、前記の分散の分布に係る分散に基づいて、ランダムドットパターン画像のドットサイズを選択する。

以下、図２４を参照して、実施形態の変形例２に係る制御装置３０によるパターン画像選択処理について説明する。図２４は、実施形態の変形例２に係る制御装置３０によるパターン画像選択処理の流れの一例を示すフローチャートである。なお、ステップＳ４０からステップＳ１３０までの処理とは、図９に示した実施形態の変形例１に係る制御装置３０と同様な処理であるため、同じ符号を付して説明を省略する。また、ステップＳ２００からステップＳ２２０までの処理は、図２２に示した実施形態の変形例１に係る制御装置３０と同様な処理であるため、同じ符号を付して説明を省略する。

ステップＳ２２０の繰り返し処理が終了した後、算出部４３は、ステップＳ２００で読み込まれた撮像画像セットを１つずつ選択し、選択された撮像画像セット毎にステップＳ３１０の処理を繰り返し行う（ステップＳ３００）。算出部４３は、ステップＳ３００で選択された撮像画像セットに係る格子パターン撮像画像のウィンドウに係る正規化された輝度値の分散に基づいて、前記の分散の計測対象Ｗの領域内における分布の分散を第２分散として算出する（ステップＳ３１０）。

ここで、図２５を参照して、前記の第２分散を算出する処理について説明する。図２５は、第２分散を表すヒストグラムの一例を示す図である。図２５に示したヒストグラムの横軸は、分散を表し、縦軸は、その分散の出現頻度を表す。つまり、図２５に示したヒストグラムは、対象となる格子パターン撮像画像に関して、ウィンドウ毎の分散の値が出現する出現頻度を表している。算出部４３は、図２５に示したようなヒストグラムによって表される第２分散を算出する。

すべての撮像画像セットに関して、格子パターン撮像画像毎の第２分散が算出された後、判定部４５は、格子パターン撮像画像が所定の条件を満たすか否かを判定し、判定の結果に基づいて所定の第２条件を満たす格子パターン撮像画像を抽出する（ステップＳ３２０）。所定の第２条件とは、例えば、格子パターン撮像画像の第２分散を表すヒストグラム（例えば、図２５に示したヒストグラム）のうち、ウィンドウの全体に対する、所定の閾値（例えば、図２５中の閾値ＳＨ）未満の分散のウィンドウの割合が所定の割合以下であること等である。所定の割合とは、例えば、２０％であるが、これに代えて、２０％未満であってもよく、２０％を超える値であってもよい。

次に、選択部４７は、ステップＳ３２０で判定部４５により抽出された格子パターン撮像画像のうち、対応付けられたドットサイズが最も小さな格子パターン撮像画像を抽出する。そして、選択部４７は、抽出された格子パターン撮像画像に対応付けられたドットサイズを選択する（ステップＳ３３０）。

次に、三次元計測部４９は、ステップＳ３３０で選択部４７により選択されたドットサイズのランダムドットパターン画像を記憶部３２から読み込む。そして、三次元計測部４９は、読み込まれたランダムドットパターン画像に基づいて、計測対象Ｗの三次元計測を行い、計測対象Ｗの三次元点群を生成する（ステップＳ３４０）。

なお、上記で説明した実施形態において、制御システム１は、第１計測対象と第２計測対象が第１撮像画像及び第２撮像画像に撮像される場合（つまり、計測対象が２つある場合）、撮像画像上の第１計測対象の領域には第１計測対象の材質や形状に適したランダムドットパターン画像を選択し、撮像画像上の第２計測対象の領域には第２計測対象の材質や形状に適したランダムドットパターン画像を選択し、第１計測対象と第２計測対象の両方に対して同時に三次元計測を行うことができる構成であってもよい。

また、制御システム１は、計測対象Ｗに対する第１撮像部１１及び第２撮像部１２の撮像角度（光軸の角度）を変化させ、撮像角度毎の格子パターン撮像画像を撮像し、撮像された撮像角度毎の格子パターン撮像画像に基づいて計測対象Ｗの材質や形状に適したランダムドットパターン画像を選択する構成であってもよい。この場合、制御システム１は、第１撮像部１１及び第２撮像部１２の撮像角度を変化させる部材を備えているものとする。これにより、制御システム１は、最も分散が大きくなり、最もドットサイズが小さくなる撮像角度を選択することができ、それによってさらに三次元計測の精度を高くすることができる。

また、制御システム１は、第１撮像部１１及び第２撮像部１２の撮像可能な範囲内において同じ位置に配置された計測対象Ｗであって材質や形状が同じ複数の計測対象Ｗの三次元計測を繰り返し行う場合、最初にパターン画像選択処理によって選択されたランダムドットパターン画像を三次元計測に繰り返し用いる構成であってもよく、計測対象Ｗを変える毎にパターン画像選択処理を行う構成であってもよい。

また、制御システム１は、選択されたドットサイズのランダムドットパターン画像に基づく三次元計測を行う構成に代えて、選択されたドットサイズの格子パターン画像に基づく三次元計測を行う構成であってもよい。

以上説明したように、実施形態に係る制御システム１は、ドットサイズの異なる複数の格子パターン画像を計測対象Ｗに投写し、複数の格子パターン画像から一の格子パターン画像を選択し、選択した一の格子パターン画像のドットサイズを有するランダムドットパターン画像を計測対象Ｗに投写する。これにより、制御システム１は、計測対象Ｗの材質や形状に適した三次元計測を行うことができる。

また、制御システム１は、ドットサイズの異なる複数の格子パターン画像がそれぞれ投写された計測対象Ｗが撮像された複数の格子パターン撮像画像に基づいて、格子パターン画像毎の統計量を算出し、算出された格子パターン画像毎の統計量に基づいて一の格子パターン画像を選択する。これにより、制御システム１は、格子パターン画像毎の統計量に基づいて選択された一の格子パターン画像のドットサイズに基づいて、計測対象Ｗの材質や形状に適した第２パターンを選択し、第２パターンに基づいて計測対象の三次元計測を行うことができる。

また、制御システム１は、ドットサイズの異なる複数の格子パターン画像がそれぞれ投写された計測対象Ｗが撮像された複数の格子パターン撮像画像に撮像された計測対象Ｗを示す領域全体について統計量を算出する。これにより、制御システム１は、計測対象Ｗ全体の材質や形状に適した三次元計測を行うことができる。

また、制御システム１は、ドットサイズの異なる複数の格子パターン画像がそれぞれ投写された計測対象Ｗが撮像された複数の格子パターン撮像画像に撮像された計測対象Ｗを示す領域を複数の領域に分割し、分割された領域毎に統計量を算出し、算出された統計量であって分割された領域毎の統計量を、格子パターン画像毎の統計量として一の格子パターン画像を選択する。これにより、制御システム１は、計測対象Ｗ上の部分領域毎に算出された統計量に基づいて、計測対象Ｗ全体の材質や形状に適した三次元計測を行うことができる。

また、制御システム１は、ドットサイズの異なる複数の格子パターン画像がそれぞれ投写された計測対象Ｗが撮像された複数の格子パターン撮像画像に撮像された計測対象Ｗを示す領域を複数の領域に分割し、分割された領域毎に統計量を算出し、算出された分割された領域毎の統計量に基づいて領域毎に一の格子パターン画像を選択する。これにより、制御システム１は、計測対象Ｗ上の部分領域毎の材質や形状に適した三次元計測を行うことができる。

また、制御システム１は、統計量が所定値以上の格子パターン画像から所定の条件を満たす格子パターン画像を一の格子パターン画像として選択する。これにより、制御システム１は、統計量が所定値以上の格子パターン画像から選択された所定の条件を満たす格子パターン画像に基づいて計測対象Ｗの材質や形状に適した三次元計測を行うことができる。

また、制御システム１は、格子パターン画像毎の統計量が所定値以上の格子パターン画像のうち、最も小さなドットサイズの格子パターン画像を一の格子パターン画像として選択する。これにより、制御システム１は、高い解像度で三次元計測を行うことができる。

また、制御システム１は、ドットサイズの異なる複数の白色と黒色の格子パターン画像を計測対象Ｗに投写し、複数の格子パターン画像から一の格子パターン画像を選択し、選択した一の格子パターン画像のドットサイズを有するランダムドットパターン画像を計測対象Ｗに投写する。これにより、制御システム１は、白色と黒色の格子パターン画像に基づいた計測対象Ｗの材質や形状に適したランダムドットパターン画像によって三次元計測を行うことができる。

また、制御システム１は、ドットサイズの異なる複数の格子パターン画像を計測対象Ｗに投写し、複数の格子パターン画像から一の格子パターン画像を選択し、選択した一の格子パターン画像のドットサイズの格子パターン画像、又は選択した一の格子パターン画像のドットサイズのランダムドットパターン画像を計測対象Ｗに投写する。これにより、制御システム１は、選択した一の格子パターン画像のドットサイズの格子パターン画像、又は選択した一の格子パターン画像のドットサイズのランダムドットパターン画像に基づいた三次元計測を行うことができる。

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。

また、以上に説明した装置（例えば、制御システム１の制御装置３０）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１ 制御システム、１０ 撮像部、１１ 第１撮像部、１２ 第２撮像部、２０ 投写部、３０ 制御装置、３１ ＣＰＵ、３２ 記憶部、３３ 入力受付部、３４ 通信部、３５ 画像取得部、３６ 制御部、４１ 投写制御部、４２ 撮像制御部、４３ 算出部、４５ 判定部、４７ 選択部、４９ 三次元計測部

Claims (12)

1. 第１パターンを物体に投影する投影部と、
   複数の前記第１パターンから一の第１パターンを選択する選択部と、を含み、
   前記投影部は、
   解像度の異なる複数の前記第１パターンを前記物体に投影した後、選択した前記一の第１パターンの解像度を有する第２パターンを前記物体に投影する、
   制御装置。
2. 請求項１に記載の制御装置であって、
   前記解像度の異なる複数の前記第１パターンがそれぞれ投影された前記物体が撮像された複数の撮像画像に基づいて、前記第１パターン毎の統計量を算出する算出部を備え、
   前記選択部は、算出された前記第１パターン毎の前記統計量に基づいて前記一の第１パターンを選択する、
   制御装置。
3. 請求項２に記載の制御装置であって、
   前記算出部は、前記撮像画像に撮像された前記物体を示す領域全体について前記統計量を算出する、
   制御装置。
4. 請求項２に記載の制御装置であって、
   前記算出部は、前記撮像画像に撮像された前記物体を示す領域を複数の領域に分割し、分割された前記領域毎に前記統計量を算出し、
   前記選択部は、算出された前記統計量であって分割された前記領域毎の前記統計量を、前記第１パターン毎の前記統計量として前記一の第１パターンを選択する、
   制御装置。
5. 請求項２に記載の制御装置であって、
   前記算出部は、前記撮像画像に撮像された前記物体を示す領域を複数の領域に分割し、分割された前記領域毎に前記統計量を算出し、
   前記選択部は、算出された分割された前記領域毎の前記統計量に基づいて前記領域毎に前記一の第１パターンを選択する、
   制御装置。
6. 請求項３から５のうちいずれか一項に記載の制御装置であって、
   前記選択部は、前記統計量が所定値以上の前記第１パターンから所定の条件を満たす前記第１パターンを前記一の第１パターンとして選択する、
   制御装置。
7. 請求項６に記載の制御装置であって、
   前記所定の条件は、前記第１パターン毎の前記統計量が所定値以上の前記第１パターンのうち、最も小さな解像度の前記第１パターンである、
   制御装置。
8. 請求項２から７のうちいずれか一項に記載の制御装置であって、
   前記第１パターンは、第１色と、前記第１色と異なる第２色に基づいて構成された格子パターンであり、
   前記算出部は、前記統計量として前記第１色と前記第２色の分布に係る分散を算出する、
   制御装置。
9. 請求項８に記載の制御装置であって、
   前記第１色と前記第２色は、いずれか一方が白色であり、他方が黒色である、
   制御装置。
10. 請求項９に記載の制御装置であって、
    前記第２パターンは、前記第１パターンのうちの１つ、又は前記第１パターンと異なるパターンのうちの１つである、
    制御装置。
11. 第１パターンを物体に投影する投影部と、
    複数の前記第１パターンから一の第１パターンを選択する選択部と、を含み、
    前記投影部は、
    解像度の異なる複数の前記第１パターンを前記物体に投影した後、選択した前記一の第１パターンの解像度を有する第２パターンを前記物体に投影する、
    ロボット。
12. 解像度の異なる複数の第１パターンを物体に投影し、
    複数の前記第１パターンから一の第１パターンを選択し、
    選択した前記一の第１パターンの解像度を有する第２パターンを前記物体に投影する、
    制御方法。