JP2018146232A - 認識装置、較正装置、システム、生成方法および物品製造方法 - Google Patents

Abstract

【課題】許容できる精度で物体を認識するのに有利な認識装置を提供する。
【解決手段】認識装置は、パターン光を物体に投影する投影部１０１と、投影部１０１によりパターン光を投影された物体を撮像する撮像部１０４と、撮像部１０４により得られた画像に基づいて、物体を認識する処理を行う処理部１００と、を有し、処理部１００は、撮像部１０４により較正用部材を撮像して得られた画像に基づいて、較正用部材の座標を得、座標に基づいて、物体を配置すべき領域を投影部１０１により教示するための教示用パターンを生成する。
【選択図】図１

Description

本発明は、認識装置、較正装置、システム、生成方法および物品製造方法に関する。

パターン光が投影された物体を撮像して得られた画像に基づいて、物体（の三次元形状や位置または姿勢またはその両方）を認識（計測）するパターン投影方式の認識（計測）装置が知られている。このような認識装置は、例えば、パレット内にバラ積みされたワークをロボットでピッキングするピッキングシステムなどにおけるワーク認識に利用されている。
このような認識装置では、許容できる精度で認識を行うことが可能な領域が限定されている。特許文献１は、投影部による投影領域と撮像部による撮像領域との間の重複領域を示す計測装置を開示している。

特開２０１６−１６１５６１号公報

しかしながら、特許文献１の計測装置が示す重複領域は、計測（認識）が可能な領域を示すものではあるが、許容できる精度で計測が可能な領域を示すものではない。

本発明は、例えば、許容できる精度で物体を認識するのに有利な認識装置を提供することを目的とする。

上記課題を解決するために、本発明の一側面である認識装置は、パターン光を物体に投影する投影部と、前記投影部により前記パターン光を投影された前記物体を撮像する撮像部と、前記撮像部により得られた画像に基づいて、前記物体を認識する処理を行う処理部と、を有し、前記処理部は、前記撮像部により較正用部材を撮像して得られた画像に基づいて、前記較正用部材の座標を得、前記座標に基づいて、前記物体を配置すべき領域を前記投影部により教示するための教示用パターンを生成する、ことを特徴とする認識装置。

本発明によれば、例えば、許容できる精度で物体を認識するのに有利な認識装置を提供することができる。

計測装置の構成を示す概略図である。 教示用画像の例を示す図である。 較正について説明する図である。 教示用パターンの例を示す図である。 較正について説明する図である。 教示用パターンおよび教示用画像の例を示す図である。 較正について説明する図である。 較正および教示用パターンの例について説明する図である。・ 較正装置の構成を示す概略図である。 較正方法を説明するフローチャートである。 較正方法を説明するフローチャートである。 較正方法を説明するフローチャートである。 ロボットシステムの構成を示す概略図である。

（第１実施形態）
図１は、計測装置１の構成を示す概略図である。計測装置１は、処理部１００、投影部１０１、撮像部１０４を有する。較正領域１１０は、後述する較正用部材を配置した領域である。破線で表されるパターン光１１１及び一点鎖線で表されるパターン光１１２は、較正領域１１０を教示するための教示用パターン光を示している。

投影部１０１は、被計測物に投影するパターンを生成するパターン生成部１０２と、パターン生成部１０２で生成したパターン光を被計測物に投影する投影光学系１０３を有している。パターン生成部１０２は、例えば、光源、光源の光を均一化するためのインテグレータ、均一化された光からパターン光を生成するための液晶又はＤＭＤ、複数のレンズなどを含む。撮像部１０４は、被計測物を撮像して画像を取得する撮像素子１０５と、撮像素子１０５に像を結像させる撮像光学系１０６を有している。撮像素子１０５は、例えば、ＣＭＯＳやＣＣＤなどの光センサである。

投影部１０１は、パターン生成部１０２で生成したパターン光を、投影光学系１０３によって被計測物または被計測物が配置される被計測空間に投影する。そして、被計測物によって反射したパターン光を、撮像部１０４の撮像光学系１０６を介して撮像素子１０５で受光することにより、画像データを取得する。

処理部１００は、計測装置１全体の動作制御を統括する制御中枢部であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含むプロセッサやメモリ等を備える。処理部１００は、さらに、撮像部１０４で取得した画像に基づいて、三角測量の原理に基づいたアクティブステレオ法などの三次元計測の方法を用いて、被計測物の形状や位置姿勢を算出する。

ここで、投影されたパターン光を撮像して得られる画像に基づいて計測を行う計測装置１では、投影部１０１がパターンを投影可能な投影可能領域と撮像部１０４が撮像可能な撮像可能領域とが重なる重複領域が、計測可能領域となる。計測可能領域においても、投影部１０１や撮像部１０４の光学部材などの歪みや、投影部１０１と撮像部１０４の位置ずれなどにより、計測誤差が発生する恐れがある。そのため、三角測量の原理に基づいて高精度な計測を行うためには、投影部１０１や撮像部１０４の内部のパラメータや投影部１０１と撮像部１０４の相対位置姿勢を較正（即ち、キャリブレーション）しておく必要がある。

較正とは、既知の較正用部材の座標と較正用部材を計測して算出した座標との乖離量を測定誤差とし、測定誤差が減少するように較正パラメータの決定を行うことである。ここで較正パラメータとは、投影部１０１および撮像部１０４それぞれの歪み成分、倍率成分、位置ずれ成分を較正するパラメータや、投影部１０１と撮像部１０４の相対位置姿勢を推定するパラメータである。較正の方法は、従来から多種の技術が公開されており（例えば、特開２０１５−１０６２８７号公報）、測定誤差が減少するように較正パラメータを決定していればよく、一つの方法に限定されない。

較正用部材を配置した空間においては、較正を実施すれば較正後に残存する測定誤差量を算出する事が可能となり、測定精度を見積もることが可能である。換言すれば、較正用部材を配置した空間領域においては、計測精度を保証することが可能となる。このような測定精度を保証できる所定の領域をユーザに教示することで、ユーザは精度が良好な計測範囲を認識することができ、教示された所定の領域にワークやワークを積載したパレットを配置することで精度の高い三次元計測やワーク認識が可能となる。本実施形態においては、較正用部材を配置し較正を行った測定精度を保証できる空間領域を較正領域と呼ぶ。

本実施形態の計測装置１は、較正時に算出した較正用部材を配置した較正領域１１０に関する情報に基づいて、計測精度の高い領域をユーザに示すためのパターン光をパターン生成部１０２で生成し、投影部１０１により投影し表示する。具体的には、処理部１００は、較正用部材を用いて較正を実施し、その際に算出する較正用部材の座標情報に基づいて教示用の情報を生成し、パターン生成部１０２の液晶やＤＭＤ等を制御して実際の教示用パターン光を生成する。すなわち、計測装置１は、被計測物を配置すべき計測精度の高い領域を認識し、さらに、計測精度の高い領域をユーザに認識させる認識装置として機能する。

図１（Ｂ）は、処理部１００の詳細な構成を示した図である。処理部１００は、較正部１０、画像生成部１１、計測部１２、制御部１３、記憶部１４、通信部１５を有している。較正部１０は、投影部１０１や撮像部１０４の内部のパラメータや投影部１０１と撮像部１０４の相対位置姿勢の較正を行う。画像生成部１１は、被計測物を配置すべき計測精度の高い領域をユーザに示すために投影部１０１から投影するパターンを生成するための、教示用画像を生成する。計測部１２は、投影されたパターン光を撮像して得られる画像に基づいて計測を行い、被測定物の位置や姿勢を算出する。制御部１３は、計測装置１全体の動作を制御する。記憶部１４は、較正パラメータや教示用画像などを様々な情報を保存する。通信部は、外部装置３から情報を受信したり、外部装置３に計測結果などの情報を出力したりする。外部装置３は、例えば、ロボットや較正装置などである。

図２は、パターン光により表示される教示用画像の例を示す図である。教示用画像１１３において、パターン１１４は教示用パターン光１１１を投影したものであり、パターン１１５は教示用パターン光１１２を投影したものである。ここで、教示用パターン光１１１は、較正領域１１０のうち計測装置１に最も近い平面（最近面）を教示する光である。一方、教示用パターン光１１２は、較正領域１１０のうち計測装置１に最も遠い平面（最遠面）を教示する光である。図２（Ａ）の教示用画像１１３では、パターン１１４とパターン１１５のそれぞれの長方形の最外周枠を投光して表示することにより、較正領域を教示している。また、図２（Ｂ）の教示用画像１１３では、パターン１１４とパターン１１５のそれぞれの長方形の内部に異なる投光パターンを表示することにより、較正領域を教示している。

ここで、教示用画像の生成方法について説明する。まず、較正時に算出したパターン生成部１０２のパターン生成素子の面上での較正用部材の座標値（以下、投影座標と呼ぶ）を取得し、記録する。取得した投影座標に基づいて、投影座標を包括する必要充分な領域を算出し、教示用画像を生成する。教示用のパターン１１４は、最近面の較正領域に配置した複数の較正用部材の投影座標点群を必要充分に包括した長方形を演算により決定して生成したパターンである。したがって、パターン１１４を投光した教示用パターン光１１１は、較正領域１１０の最近面における範囲をユーザに教示することが出来る。一方、教示用のパターン１１５は、最遠面の較正領域に配置した複数の較正用部材の投影座標点を必要充分に包括した長方形により決定して生成したパターンである。したがって、教示用のパターン１１５を投光した教示用パターン光１１２は、較正領域１１０の最遠面における範囲をユーザに教示することが出来る。なお、較正用部材は、三次元の離散的な点群であるため、較正領域１１０はそれらの離散的な点群を包括する必要充分な領域のことである。

また、別の教示用パターンの生成方法について説明する。この方法では、推定した複数の較正用部材の三次元座標値または既知の複数の較正用部材の三次元座標値に対し、較正によって得られた較正パラメータを用いてそれらの較正用部材の投影座標を算出したものを利用する。その場合、算出した投影座標点群を必要充分に包括した領域を教示用画像１１３として登録する。ここで投影座標を算出は、例えば以下の式（１）〜（３）によって算出する事が出来る。

まず、式（１）のＸ、Ｙ、Ｚに代入してｕ、ｖを算出する。Ｘ、Ｙ、Ｚは、推定した複数の較正用部材の三次元座標値または既知の複数の較正用部材の三次元座標値である。次に、式（２）にｕ、ｖを代入してｕ’、ｖ’を算出する。ここで、ｋ１、ｋ２、ｋ３、Ｐ１、Ｐ２は、較正で決定した投影部１０１の歪み成分を較正するパラメータである。次に、式（３）にｕ’、ｖ’を代入して、投影座標Ｕ、Ｖを算出する。ここで、ｆ１、ｆ２、Ｃ１、Ｃ２は、較正で決定した投影部１０１の倍率成分、位置ずれ成分を較正するパラメータである。以上のようにして、較正用部材の投影座標を算出することが可能となる。そして、処理部１００は、算出した投影座標の点群を必要充分に包括する領域を算出して、教示用画像を生成する。なお、式（１）〜（３）を用いて投影座標を算出する方法を示したが、これに限られるものではなく、式の変形や未記載の別の較正パラメータも含めた数式など複数の算出方法が存在する。

以上では教示用画像の生成方法の例を示したが、これに限定されず、較正用部材の三次元空間座標の情報または較正用部材の投影座標の情報に基づいて教示用画像を生成すものであればよい。また、教示用パターンを長方形で形成する例を示したが、これに限定されず、較正領域の形状に応じて多角形や楕円など他の形状でも構わない。また、教示用パターンを較正領域１１０のうち最遠面と最近面での領域を教示する例を示したが、これに限定されず、ユーザの要求等に従い較正領域１１０の内部の領域を教示するようにしても構わない。

次に、図３を用いて第１実施形態における較正および及び教示用画像の生成方法について説明する。図３（Ａ）は、較正を行う様子を示した概念図である。破線で示される投影可能領域１２０および一点鎖線で示される撮像可能領域１２１の重複領域に、較正用部材１３０を配置することで較正が行われる。図３（Ｂ）は、較正用部材１３０の一例を示す図である。較正用部材１３０は、複数の平面マーカー１３３と立体マーカー１３４を有している。計測装置１における較正では、較正用部材１３０を、校正用部材１３０を移動させる駆動部である移動ステージ１３１で、予め決められた間隔で移動し、移動した各位置において各平面マーカー１３３の中心位置の検出を行う。そして、検出した各平面マーカー１３３の中心位置の再投影誤差の和を最小化するように較正パラメータを決定する。移動ステージ１３１で較正用部材１３０を移動することで、三次元空間に対して較正を行ったこととなる。この較正が行われた空間を示したのが、較正領域１３２である。なお、上記では、較正用部材１３０を移動することで三次元空間の較正領域１３２を設定する例を示したが、これに限定されず、例えば、図３（Ｃ）のように三次元上に平面マーカー１３３を配置した較正用部材１３９を用いて較正領域を設定しても構わない。

そして、較正を行った後に教示用画像を生成する。教示用画像は、較正の際に検出した各平面マーカー１３３の中心位置の投影座標の情報、または、較正によって得られた較正パラメータを用いて算出した平面マーカー１３３の中心位置の投影座標の情報に基づいて、先に説明した教示用画像の生成方法で生成する。

図４（Ａ）および図４（Ｂ）を用いて教示用画像について説明する。図４（Ａ）は、本実施形態における教示用パターン１３６の生成を説明する図である。教示用パターン１３６は、較正領域１３２の最近面での較正範囲を教示する教示用パターンである。移動ステージ１３１により較正用部材１３０を最近面位置に移動して、検出又は算出した各平面マーカー１３３の投影座標をプロットしたものが点群１３５である。点群１３５が較正された点であるため、これらを包括する必要充分な領域を算出したのが教示用パターン１３６である。

図４（Ｂ）は、本実施形態における教示用パターン１３８の生成を説明する図である。教示用パターン１３８は、較正領域１３２の最遠面での較正範囲を教示する教示用パターンである。移動ステージ１３１により較正用部材１３０を最遠面位置に移動して、検出又は算出した各平面マーカー１３３の投影座標をプロットしたものが点群１３７である。点群１３７が較正された点であるため、これらを包括する必要充分な領域を生成したのが教示用パターン１３８である。

なお、教示用パターン１３６や教示用パターン１３８は、それぞれ、点群１３５や点群１３７の最外点を直線で結ぶ事により生成したが、これに限られるものではない。例えば、点群１３５や点群１３７の最外点をスプライン補間するなどして、点群１３５や点群１３７を包括する必要充分な領域を算出して、教示用パターンを生成しても構わない。また、透視投影の原理により、最近面の教示用パターン１３６よりも最遠面の教示用パターン１３８の方が小さくなる。そのため、最遠面と最近面での教示用パターンを重ねて、一つの教示用パターンとして生成することも可能である。また、本実施形態では、画像生成部１１が教示用のパターンを生成するための教示用画像を生成する例を示したが、これに限られるものではない。例えば、教示用のパターンを生成するための変換パラメータなどの教示用の情報、または教示用画像を生成するための教示用の情報を生成するようにしてもよい。

以上説明したように、本実施形態によると、較正用部材の座標に基づいて教示用画像を生成し、生成した教示用画像に基づいてパターンを投影することで、較正を行った計測精度の高い領域、即ち被計測物を配置すべき領域をユーザに教示することが可能となる。

（第２実施形態）
第１実施形態における較正および及び教示用画像の生成方法について説明する。図５（Ａ）は、較正を行う様子を示した概念図である。第１実施形態においては、較正用部材１３０を移動ステージ１３１により移動させることで、較正領域１３２での構成を行った。一方、本実施形態においては、較正用部材１４０をロボット１４１で把持し、ロボット１４１を駆動することにより、三次元空間の較正領域１４２について較正を行う例を説明する。

本実施形態における較正方法では、まず、ロボット１４１の駆動により三次元的に較正用部材１４０の位置を変化させ、それぞれの場所においてマーカーを検出する。そして、検出した各マーカーの中心位置の再投影誤差の和を最小化するように較正パラメータを決定する。ロボット１４１で較正用部材１４０を移動するため、三次元空間に対して較正を行ったこととなり、この較正を行った空間を示したのが較正領域１４２である。ここで、較正領域１４２は直方体に限らず、ロボットの可動範囲や実際にピッキングを行う空間に限定して較正を行えばよく、それらの要求に応じて様々な形状の空間であってかまわない。

図５（Ｂ）および図５（Ｃ）は、較正用部材１４０の一例を示す図である。較正用部材１４０は、図５（Ｂ）に示されるように円状のマーカーでも構わないし、図５（Ｃ）に示されるように複数の平面マーカー１４３を配置した物でも構わない。

較正に続いて、教示用画像の生成を行う。第１実施形態と同様に、較正の際に検出した各マーカーの中心位置の投影座標の情報、または、較正によって得られた較正パラメータを用いて算出したマーカー中心位置の投影座標の情報に基づいて教示用画像を生成する。図６（Ａ）は、本実施形態における教示用パターン１４５の生成を説明する図である。教示用パターン１４５は、較正領域１４２の最近面での較正範囲を教示する教示用パターンである。ロボット１４１により、較正用部材１４０を較正領域１４２の最近面位置における複数個所に配置して、各マーカーを検出又は算出した投影座標をプロットしたものが点群１４４である。点群１４４が較正された点であるため、これらを包括する必要充分な領域を生成した例が教示用パターン１４５である。ここで、教示用パターン１４５は、点群１４４の外側の点を直線で結ぶ事により生成したが、これに限られるものではなく、例えば、点群１４４の最外点をスプライン補間するなどして教示用パターンを生成してもよい。ここでは較正領域１４２の最近面における教示用パターンの生成方法を説明したが、較正領域１４２の最遠面における教示用パターンの生成方法も同様であり説明は省略する。

また本実施形態のように、教示すべき較正領域１４２が直方体でなく、計測装置１からの距離に応じて変化する場合は、教示用パターンに加え、文字等により領域のサイズを教示する教示用画像を生成してもよい。ユーザは床面やユーザが用意した投影面で拡散された教示用パターン光を視認する。そのため、文字等により領域のサイズを教示することで、ユーザが視認する床面やユーザが用意した投影面の距離と、教示用パターン光が正しく領域を教示できる距離とが等しいかを確認することが容易となる。例えば、較正領域１４２は予め設定した距離において１０００ｍｍ×５００ｍｍの範囲であるとした場合、図６（Ｂ）に示す教示用画像１１３には教示用パターン１４６に加え、寸法を示す文字１４７が付加される。ユーザは床面や用意した投影面での教示用パターン光の寸法を計測し、文字により教示された寸法と一致を確認することで、床面や投影面が正しい距離に置かれているかを知ることが出来るようになる。

以上説明したように、本実施形態のロボットを利用した較正は、大掛かりな較正用部材や移動ステージなどが必要なく、更に、ピッキング用のロボットを較正用部材１４０を移動させるロボット１４１と兼用できるため、簡便な装置で実施することが出来る。そして、較正用部材の座標に基づいて好適な教示用画像を生成し、生成した教示用画像に基づいてパターンを投影することで、較正を行った計測精度の高い領域をユーザに教示することが可能となる。

（第３実施形態）
第１実施形態および第２実施形態では較正領域の最近面と最遠面を教示する例を示した。しかし、較正領域の最遠面と、ピッキング等の実作業でパレットを設置する床面とが一致しない状況などが想定されうる。そこで、本実施形態においては、計測装置１と任意の距離にある較正領域の範囲を教示する。図７は、任意の距離において較正を行う様子を示した概念図である。本実施形態においては、パレット１５３を設置する床面１５２が計測装置１から距離１５１のところにあり、距離１５１における較正領域１５０の範囲を教示する例を説明する。なお、距離１５１は較正用部材を配置し、較正を行う空間の範囲内に設定される。

計測装置１からの任意の距離である距離１５１における教示用画像を生成するためには、距離１５１に配置した較正用部材の投影座標の情報と教示位置である距離１５１の距離情報を用いればよい。その他の構成方法や教示用画像の生成方法は第１実施形態および第２実施形態と同様である。生成した教示用画像に基づいて、破線で示される教示用パターン光１５４が投光され、教示位置である距離１５１における較正領域の範囲を教示することが可能となる。

また、較正用部材の配置は離散的であるため、距離１５１が較正領域１５０の範囲内にあったとしても、その距離において較正用部材が存在しない状況も発生し得る。その場合は、距離１５１の前後の較正用部材の投影座標を内挿して、距離１５１における仮想の較正用部材の投影座標を設定すればよい。または、距離１５１の前後の較正用部材の三次元座標から内挿して、距離１５１における仮想の較正用部材の三次元座標を設定し、当該三次元座標を上述の式１、式２、式３に適用して投影座標を算出してもよい。このようにすることで、距離１５１での教示用画像生成が可能となる。また、距離１５１は事前に登録した値でも構わないし、計測装置１の計測機能を用いて計測した距離情報を用いても構わない。

以上説明したように、本実施形態によると、較正用部材の座標に基づいて教示用画像を生成し、教示用画像に基づいてパターンを投影することで、計測装置１と任意の距離においても較正を行った計測精度の高い領域をユーザに教示することが可能となる。

（第４実施形態）
第１実施形態〜第３実施形態では較正用部材を必要充分に包括した領域、すなわち、較正用部材を配置した領域を較正領域として教示する例を示した。しかし、較正用部材の配置は離散的であるため、較正領域に内在する領域、例えば、較正領域より一回り小さい領域を計測精度が保証された所定の領域として教示するようにしてもよい。また、逆に、較正後の計測装置では較正領域を逸脱しても急激に性能が劣化するわけではないため較正領域を内在する領域、例えば、較正領域より一回り大きい領域を計測精度が保証された所定の領域として教示するようにしてもよい。

図８は、較正および教示用画像を説明する概念図である。
図８（Ａ）および図８（Ｂ）は、較正領域に内在する任意の領域を教示する例を示している。図８（Ａ）は、較正用部材を必要充分に包括した較正領域１６０に対し、較正領域１６０に内在する所定の領域１６１を、破線で示される教示用パターン光１６２で教示する様子を示している。また、この際の教示用パターンを示したのが図８（Ｂ）である。囲い線１６４は較正用部材の投影座標をプロットした点群１６３を必要充分に包括した領域を示している。教示用パターン１６５は、囲い線１６４が示す領域に内在するよう設定される。教示用パターン１６５は、例えば、実在する較正用部材により構成が行われた較正領域１６０に内在する、仮想の較正用部材の三次元座標を設定し、それらを上述した式１、式２、式３に適用して算出した投影座標の情報に基づいて設定すればよい。または、点群１６３の各々の間隔から内挿して所定の点群を生成し、それらの座標に基づいて教示用パターン１６５を生成してもよい。

図８（Ｃ）および図８（Ｄ）は、較正領域を含む任意の領域を教示する例を示している。図８（Ｃ）は、較正用部材を必要充分に包括した較正領域１６０に対し、較正領域１６０を内在する所定の領域１６６を、破線で示される教示用パターン光１６７で教示する様子を示している。また、この際の教示用パターンを示したのが図５（Ｄ）である。教示用パターン１６８は、囲い線１６４が示す領域を内在するように設定される。教示用パターン１６８は、例えば、実在する較正用部材により構成が行われた較正領域１６０を内在する、所定の仮想の較正用部材群の三次元座標を設定し、それらを上述した式１、式２、式３に適用して算出した投影位置の情報に基づいて設定すればよい。または、点群１６３の各々の間隔から外挿して所定の点群を生成し、それらの座標に基づいて教示用パターン１６８を生成してもよい。

本実施形態では、較正領域に内在する領域または較正領域を内在する領域を教示する例を示したが、これに限定されるものではない。較正用部材の三次元空間座標の情報または較正用部材の投影座標の情報に基づいて教示用画像を生成すればよく、例えば、較正領域を一部内在する領域を教示するように教示用画像を生成しても構わない。

以上説明したように、本実施形態によると、較正領域に内在するもしくは較正領域を内在する、計測精度が保証された所定の領域を教示することが可能となる。これにより、パレットのサイズと教示領域のサイズが異なる場合などに、その不整合により発生するパレットの設置バラツキの影響を低減しつつ、精度が良好な計測範囲をユーザが認識することが容易となる。

（第５実施形態）
第１実施形態〜第４実施形態では、教示用画像を計測装置１に内蔵されている処理部１００が生成する例を示したが、これに限定されず、外部の処理部や較正装置によって生成し、生成された画像を計測装置１に登録し、投影して表示する方法でも構わない。その一例として、本実施形態においては、教示用画像を較正装置で生成し、計測装置１の処理部１００に画像の登録を行う方法を説明する。

図９は、較正装置２の構成を示す概念図である。較正装置２は、処理部２０１、較正用部材１３０を移動する移動ステージ１３１および計測装置１を設置する設置部２０２を備える。処理部２０１は、較正装置２全体の動作制御を統括する制御中枢部であり、ＣＰＵを含むプロセッサやメモリ等を備える。処理部２０１は、さらに、較正における演算や、教示用画像の生成を行う。処理部２０１は、さらに、生成した教示用画像を計測装置１に出力し、登録する。すなわち、処理部２０１は、較正を行う較正部、教示用画像の生成を行う生成部、生成した教示用画像を計測装置１に出力する出力部を有する。

較正装置２では、較正用部材１３０を移動ステージ１３１にて移動して較正を行い、その際に得た三次元空間座標の情報または較正用部材の投影座標の情報に基づいて教示用画像を生成し、生成した教示用画像を計測装置１の処理部１００に登録する。なお、図９においては、較正装置２内に計測装置１を設置する例を示したが、これに限定されず、較正装置２内に計測装置１を設置せずに、較正用部材１３０と計測装置１の相対位置姿勢を推定する方法であっても構わない。また、処理部２０１が生成するのは教示用画像に限られず、計測装置１にて教示用画像を生成するための教示用情報を生成するようにしてもよい。

図１０〜図１２は、較正装置２で、較正を行い、教示用画像を生成するフローを説明するフローチャートである。図１０は、第１実施形態および第２実施形態で説明した教示用画像の生成方法を較正装置２で実施する場合のフローである。まず、ステップＳ１００１で、較正を行い、処理部２０１は演算により較正パラメータを決定する。次に、ステップＳ１００２で、処理部２０１はステップＳ１００１で検出した較正用部材の投影座標の情報、または較正用部材の三次元座標から決定した較正パラメータを適用して算出した投影座標の情報に基づいて、パターンで投影する教示用画像を生成する。最後に、ステップＳ１００３で、処理部２０１は、較正パラメータとステップＳ１００２で生成した教示用画像を計測装置１に登録する。

なお、図９では較正用部材１３０を移動ステージ１３１で移動して較正を行う例を示したが、これに限定されない。例えば、第１実施形態において図３（Ｃ）で示したように、３次元上にマーカーを配置した較正用部材１３９を用いる構成でも構わない。また、例えば、第２実施形態において図５（Ａ）で示したように、ロボットで較正用部材１３０を移動して較正を行ってもよい。

図１１は、第３実施形態で説明した教示用画像の生成方法を較正装置２で実施する場合のフローである。まず、ステップＳ１１０１で、処理部２０１は、較正を行い、演算により較正パラメータを決定する。次に、ステップＳ１１０２で、処理部２０１は、パターンで投影する教示用画像を生成する。具体的には、ステップＳ１１０１で検出した較正用部材の投影座標の情報または較正用部材の三次元座標から決定した較正パラメータを適用して算出した投影座標の情報と教示を行う距離に関する情報（教示位置の距離情報）に基づいて教示用画像を生成する。ここで、教示を行う距離に関する情報は、事前に登録された情報でも構わないし、ステップＳ１１０１で決定した較正パラメータを用いて三次元計測を行い、計測によって取得した距離の情報であっても構わない。最後に、ステップＳ１１０３で、処理部２０１は、較正パラメータとステップＳ１１０２で生成した教示用画像を計測装置１に登録する。

図１２は、第４実施形態で説明した教示用画像の生成方法を較正装置２で実施する場合のフローである。まず、ステップＳ１２０１で、処理部２０１は、較正を行い、演算により較正パラメータを決定する。次に、ステップＳ１２０２で、処理部２０１は、教示用画像を生成する。具体的には、ステップＳ１２０１で検出した較正用部材の投影座標に基づいて決定された較正領域を内在する、または較正領域に内在する領域の教示用画像を生成する。また、ステップＳ１２０１で検出した較正用部材の投影座標に基づいて教示する領域を決定し、決定した領域の投影座標値を算出し、算出した投影座標値に基づいて教示用画像を生成してもよい。最後に、ステップＳ１２０３で、処理部２０１は、較正パラメータとステップＳ１２０２で生成した教示用画像を計測装置１に登録する。

以上説明したように、本実施形態によると、較正装置２において較正用部材の座標に基づいて教示用画像を生成し、生成した教示用画像を計測装置１に登録することができる。計測装置１において、登録された教示用画像に基づいてパターンを投影することで、較正を行った計測精度の高い領域をユーザに教示することが可能となる。

（第６実施形態）
上述の計測装置１は、ある支持部材に支持された状態で使用されうる。本実施形態では、一例として、図１３のように把持装置としてのロボットアーム１５００に備え付けられて使用される制御システムについて説明する。計測装置１は、較正用部材１３０を用いて較正を行い、取得した較正用部材１３０の座標情報に基づいて、パターンで投影する教示用画像を生成する。そして、計測装置１の投影部１０１から教示用画像に基づくパターン光を投影し、ユーザに計測精度の高い領域を教示する。ユーザは、教示された領域に被計測物を載置する。また、制御部２３が、計測装置１での認識結果である計測精度の高い領域の情報に基づいて、ロボットアーム１５００を駆動させ、教示された領域に被計測物を載置するようにしてもよい。計測装置１は、被計測物にパターン光を投影して撮像し、処理部１００はその画像を取得する。そして、処理部１００が、被計測物の位置および姿勢を求め、求められた位置および姿勢の情報を制御部２３が取得する。制御部２３は、計測結果である、被計測物の位置および姿勢の情報に基づいて、ロボットアーム１５００に駆動指令を送ってロボットアーム１５００を制御する。ロボットアーム１５００は保持部、把持部としての先端のロボットハンドなどで較正用部材１３０および被計測物を保持して、並進や回転などの移動をさせる。さらに、ロボットアーム１５００によって被計測物を他の部品に組み付けることにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された被計測物を加工することにより、物品を製造することができる。

（物品の製造方法に係る実施形態）
以上に説明した実施形態に係る計測装置は、物品製造方法に使用しうる。当該物品製造方法は、当該計測装置を用いて物体の計測を行う工程と、計測の結果に基づいて当該工程で計測を行われた物体の処理を行う工程と、を含みうる。当該処理は、例えば、加工、切断、搬送、組立（組付）、検査、および選別のうちの少なくともいずれか一つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能・品質・生産性・生産コストのうちの少なくとも１つにおいて有利である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１ 計測装置
１００ 処理部
１０１ 投影部
１０４ 撮像部
１１０ 較正領域

Claims (10)

1. パターン光を物体に投影する投影部と、
   前記投影部により前記パターン光を投影された前記物体を撮像する撮像部と、
   前記撮像部により得られた画像に基づいて、前記物体を認識する処理を行う処理部と、を有し、
   前記処理部は、
   前記撮像部により較正用部材を撮像して得られた画像に基づいて、前記較正用部材の座標を得、
   前記座標に基づいて、前記物体を配置すべき領域を前記投影部により教示するための教示用パターンを生成する、
   ことを特徴とする認識装置。
2. 前記投影部は、前記教示用パターンに基づいて、教示用パターン光を投影することを特徴とする請求項１に記載の認識装置。
3. 前記処理部は、前記教示用パターンを教示すべき位置までの距離と前記座標とに基づいて前記教示用パターンを生成することを特徴とする請求項１または２に記載の認識装置。
4. 前記領域は、前記較正用部材を用いて較正を行われた領域であることを特徴とする請求項１乃至３のうちいずれか１項に記載の認識装置。
5. 前記処理部は、前記投影部および前記撮像部のうち少なくとも一方の位置および姿勢に関する較正を前記座標に基づいて行うことを特徴とする請求項１乃至４のうちいずれか１項に記載の認識装置。
6. 請求項１ないし５のうちいずれか１項に記載の認識装置の較正のための較正用装置であって、
   前記較正用部材と、
   前記較正用部材を移動させる駆動部と、
   を有することを特徴とする較正用装置。
7. 請求項１乃至５のうちいずれか１項に記載の認識装置と、
   前記認識装置による認識結果に基づいて前記物体を保持して移動させるロボットと、
   を有することを特徴とするシステム。
8. 前記ロボットは、前記較正用部材を保持して複数の位置に配置し、
   前記処理部は、前記複数の位置のそれぞれに関して前記較正用部材の座標を得る、
   ことを特徴とする請求項７に記載のシステム。
9. 投影部によりパターン光を投影された物体の、撮像部による撮像により得られた画像に基づいて前記物体を認識する認識装置に対する、前記物体を配置すべき領域を教示するための教示用パターンを生成する生成方法であって、
   前記撮像部による較正用部材の撮像により得られた画像に基づいて、前記較正用部材の座標を得、
   前記座標に基づいて、前記教示用パターンを生成する、
   ことを特徴とする生成方法。
10. 請求項１乃至５のうちいずれか１項に記載の認識装置を用いて物体の認識を行う工程と、
    前記認識の結果に基づいて前記物体の処理を行う工程と、を含み、
    前記処理により物品を製造することを特徴とする物品製造方法。
    

Images