JP2020109383A - 計測装置およびその制御方法、プログラム、および物品製造方法 - Google Patents

Abstract

【課題】ロボットの移動速度の設定の容易さの点で有利な技術を提供すること。【解決手段】計測装置は、ロボットに取り付けられた撮像部と、ロボットおよび撮像部を制御する制御部と、ロボットの移動に伴って撮像部が移動する間に行われたワークの撮像により得られた画像に基づいてワークの位置および姿勢を求める計測処理を行う処理部とを有する。制御部は、予め設定された移動経路に沿ってロボットを移動させている間に移動経路における所定位置で撮像部にワークの撮像を行わせることを、それぞれ異なる移動速度で複数回行うように、ロボットおよび撮像部を制御する。処理部は、移動速度がそれぞれ異なる複数回のロボットの移動における撮像によって得られたそれぞれの画像の評価値を求め、移動速度と評価値との関係に基づいて、計測処理を行うときのロボットの移動速度の推奨上限値を算出し出力する。【選択図】 図１

Description

本発明は、計測装置およびその制御方法、プログラム、および物品製造方法に関する。

近年、これまで人間が行っていた工業製品の組立のような複雑なタスクをロボットが代わりに行うようになりつつある。ロボットによる工業製品の組立では、ハンドなどのエンドエフェクタによって効率良く部品を把持する必要がある。このために、ロボットハンド上に撮像装置（ビジョンセンサ）を備え、ロボットハンドを移動させながら取得した部品（ワーク）の画像から位置や姿勢を計測する技術がある。部品の位置姿勢を計測する技術にはいくつかの手法がある。例えば、均一照明された部品を単一の方向から撮像した画像からエッジ検出を行い部品の位置を推定する技術がある。また、三角測量の原理に基づき、部品を異なる方向から撮像した画像から距離点を算出し部品の位置姿勢を推定するステレオ法がある。さらに、パターン照明された部品をその照明方向とは異なる方向から撮像した画像から距離点を算出し部品の位置姿勢を推定するアクティブステレオ法も知られている。特許文献１には、アクティブステレオ法と均一照明の画像のエッジ検出の両方の機能を有し、高精度に部品の位置や姿勢を推定する技術が開示されている。

特許第５１２２７２９号公報 特開２０１１−１１３３０号公報 特許第６１８８４４０号公報

ロボットアーム動作中にビジョンセンサで撮像すると画像ブレが発生しうる。画像ブレによってエッジの検出精度や距離点の精度が低下し、正確な部品の位置姿勢の情報を得ることができなくなる。このため、撮像中におけるロボット移動速度は制限される必要がある。

また、画像ブレの発生条件はビジョンセンサの方式によって異なる。均一照明された部品を単一方向から撮像する場合、撮像するカメラ光学系の光軸に垂直な平面内でワークとカメラが相対移動する移動方向で画像のブレ量は大きくなり、ワークとカメラが光学系の光軸方向に相対移動する移動方向では画像のブレは小さくなる。一方、アクティブステレオの場合、パターンを投影する投影光学系とパターンが照明されたワークを撮像する撮像光学系の配置関係が固定されている。そのため、ワークとビジョンセンサの相対移動方向が撮像光学系の光軸を含む面に垂直な方向である場合、パターン画像のブレは発生しない。一方、ワークとビジョンセンサの相対移動方向が撮像光学系の光軸を含む面内の方向である場合は、パターン画像のボケが発生する。したがって、ユーザによるロボット動作決定プロセスにおいて、ロボットに搭載されたビジョンセンサによる撮像中のロボット移動速度を適切に設定することが困難となる。

特許文献２（特開２０１１−１１３３０号公報）では、加速度センサにてカメラの移動速度の検出を行い、ロボットが静止したタイミングで撮像する時のカメラ振動（速度）が所定値以下の場合にのみ撮像を行うことを開示している。しかし、特許文献２には、移動速度の決定プロセスは開示されていない。特許文献３（特許第６１８８４４０号公報）では、カメラの移動方向を光学系の光軸方向に規定することで画像のブラー発生を抑えることを開示している。しかし、特許文献３の技術ではロボット動作に大きな制約がかかる。また、特許文献３には、ロボットの移動速度の制約に関しては言及がない。

本発明は、ロボットの移動速度の設定の容易さの点で有利な技術を提供することを目的とする。

本発明の一側面によれば、ロボットに取り付けられた撮像部と、前記ロボットおよび前記撮像部を制御する制御部と、前記ロボットの移動に伴って前記撮像部が移動する間に行われたワークの撮像により得られた画像に基づいて前記ワークの位置および姿勢を求める計測処理を行う処理部とを有し、前記制御部は、予め設定された移動経路に沿って前記ロボットを移動させている間に前記移動経路における所定位置で前記撮像部に前記ワークの撮像を行わせることを、それぞれ異なる移動速度で複数回行うように、前記ロボットおよび前記撮像部を制御し、前記処理部は、前記移動速度がそれぞれ異なる前記複数回の前記ロボットの移動における撮像によって得られたそれぞれの画像の評価値を求め、前記移動速度と前記評価値との関係に基づいて、前記計測処理を行うときの前記ロボットの移動速度の推奨上限値を算出し出力することを特徴とする計測装置が提供される。

本発明によれば、ロボットの移動速度の設定の容易さの点で有利な技術を提供することができる。

実施形態に係る計測装置の構成例を示す図。 実施形態におけるビジョンセンサの概略図。 撮像時における移動速度の推奨上限値を決定する処理のフローチャート。 撮像時における移動速度の推奨上限値を決定する処理のフローチャート。 実施形態におけるビジョンセンサの概略図。 撮像時における移動速度の推奨上限値を決定する処理のフローチャート。 制御部のハードウェア構成例を示すブロック図。 計測装置とロボットアームを含む制御システムを示す図。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の実施形態は本発明の実施の具体例を示すにすぎないものであり、本発明は以下の実施形態に限定されるものではない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。

図１は、本実施形態における計測装置の構成例を示す図である。本実施形態における計測装置はいわゆるロボットビジョンシステムとして構成される。図１におけるロボットビジョンシステムは、パレット上にばら積みで置かれている位置および姿勢が不定な部品等のワーク（ただし簡略化のため、図１ではワーク５０が１つだけ示されている。）をロボットで把持し、ワークを整列させるもしくは組み付けることを目的に用いられるシステムを想定している。図１の計測装置は、ロボット１０と、ロボット１０に取り付けられた撮像部であるビジョンセンサ２０とを含む。ロボット１０は、ビジョンセンサ２０による撮像の結果に基づいてワーク５０を把持して移動する。ロボット１０は、例えば６軸の多関節ロボットであり、製造業における部品の仕分け工程や組立工程等において広く用いられている。ビジョンセンサ２０は、例えばロボット１０のロボットアームの先端部に取り付けられている。

また、ロボットビジョンシステムは、ロボット１０を制御するロボット制御装置３０と、ビジョンセンサ２０を制御するビジョン制御装置４０とを含む。ビジョン制御装置４０は、ロボット１０を移動させながらビジョンセンサ２０により撮像を行うことができる。ロボット制御装置３０は、ロボット１０の位置情報や速度情報等を取得し、ロボット１０の駆動を制御する。また、ロボット制御装置３０は、ロボット１０の位置情報および速度情報に基づいてビジョン制御装置４０に撮影指示を発行する。本実施形態ではロボット制御装置３０とビジョン制御装置４０とは独立した構成で示されているが、ロボット１０およびビジョンセンサ２０を制御する制御部として一体的に構成されていてもよい。

本実施形態において、制御部であるロボット制御装置３０およびビジョン制御装置４０は専用ハードウェアにより構成してもよいが、汎用コンピュータ装置によっても実現可能である。図７は、制御部を汎用コンピュータ装置で構成する場合のハードウェア構成例を示すブロック図である。図７において、ＣＰＵ２１は、中央演算装置（処理部）である。ＲＯＭ２４は、ＢＩＯＳ等の固定的なプログラムや、各種データを記憶している。ＲＡＭ２２は、主記憶装置として機能するとともにＣＰＵ２１のワークエリアを提供する。外部記憶装置であるハードディスクドライブ（ＨＤＤ）２３は、オペレーティングシステム（ＯＳ）、制御プログラム、画像データ等を記憶する。ＣＰＵ２１は、ＨＤＤ２３に格納されている制御プログラムをＲＡＭ２２にロードすることにより、本実施形態の動作を実行することができる。汎用インタフェース（Ｉ／Ｆ）２６には、入力装置３１および記録メディア３２が接続される。入力装置３１は、キーボードやマウス等を含みうる。記録メディア３２は、ＳＤカード、ＵＳＢ等のメモリデバイスである。ビデオコントローラ（ＶＣ）２７には、表示装置３３（表示部）が接続されている。表示装置３３は、ＶＣ２７による制御の下、ＣＰＵ２１による処理結果を画像や文字等で表示することができる。入力装置３１と表示装置３３とが一体化されたタッチパネル画面が構成されてもよい。これら上記した各部は、バス２５により相互接続されている。

図２は、本実施形態におけるビジョンセンサ２０の構成を示す図である。ビジョンセンサ２０は、照明部１と、撮像部２と、演算処理部３とを含みうる。演算処理部３は、記憶部４を含みうる。ビジョンセンサ２０は、距離画像を取得する機能を有する。ここで、距離画像とは、計測対象であるワーク表面上の点の三次元情報を示すものであり、各画素が奥行きの情報をもつ画像である。照明部１は、ワーク５０に対してパターン光を照射（投影）する。撮像部２は、照明部１によってパターン光が照射されたワーク５０を、照明部１に対して特定方向に傾いた方向から撮像する。演算処理部３は、撮像部２による撮像によって取得されたパターン画像から三角測量の原理に基づいて距離画像を算出し、算出された距離画像をモデルフィッティングすることにより、ワーク５０の位置姿勢を推定する。本実施形態では、ロボット１０を移動させながらビジョンセンサ２０でワーク５０を撮像することを想定している。したがって本実施形態における演算処理部３は、とりわけ、ロボット１０の移動に伴ってビジョンセンサ２０が移動する間に行われたワーク５０の撮像により得られた画像に基づいてワーク５０の位置姿勢を求める計測処理を行う処理部として機能する。本実施形態では、ロボット１０を移動させながらビジョンセンサ２０でワーク５０を撮像することを想定しているため、投影するパターンは、一枚のパターン画像から距離画像を算出できるパターンであることが望ましい。複数枚の撮像画像から距離画像を算出する方式では、ロボット１０の移動により各撮像画像の視野ずれが生じてしまい、高精度に距離画像を算出できないからである。

記憶部４は、ワーク毎の露光時間及び撮像時の光量に関する撮像条件等、予め設定されるパラメータを記憶している。なお、演算処理部３（および記憶部４）の機能は必ずしもビジョンセンサ内に設けられている必要はなく、ビジョン制御装置４０内に設けられていてもよい。

図３は、計測処理を行うときのロボットの移動速度の推奨上限値を決定する処理のフローチャートである。計測処理を行う前の事前セットアップとして行われる。この処理は例えばビジョン制御装置４０によって実行される。具体的には、このフローチャートに対応するプログラムは、例えばＨＤＤ２３に格納されている制御プログラムに含まれ、この制御プログラムがＲＡＭ２２にロードされた後、ＣＰＵ２１によって実行される。ただし、この処理中に行われる各種処理は、ＣＰＵ２１によって行われてもよいし、演算処理部３によって行われてもよい。
Ｓ１０１で、ユーザにより入力装置３１を介して入力された情報によりロボット１０の動作が設定される。設定される動作の内容は、例えば以下を含みうる。
（１）ロボット１０が動作を開始する空間座標点（動作開始位置）および姿勢。
（２）動作開始位置からワークの把持を開始する位置（把持開始位置）までの経路および姿勢。
（３）把持開始位置からワークへのアプローチ経路および姿勢。
（４）ワーク把持後のロボット動作、経路。

Ｓ１０２で、ユーザにより入力装置３１を介して入力された情報に基づいて、Ｓ１０１で設定されたロボット動作経路におけるビジョンセンサ２０の動作経路Ｋ（移動経路）が選択される。また、選択された動作経路Ｋ上のビジョンセンサ２０による撮像を行う所定位置である撮像位置Ｐも設定される。Ｓ１０３で、ビジョンセンサ２０が撮像位置Ｐに移動した後、ユーザにより入力装置３１を介して入力された情報に基づいて、ワークを撮像する露光時間、光量等の露光条件が設定される。ただし、ビジョンセンサ２０に露光条件を自動的に設定する機能が備わっている場合はそのような機能を利用して露光条件が設定されてもよい。

Ｓ１０４で、ユーザにより入力装置３１を介して入力された情報に基づいて、評価値を算出するためのワーク上の評価領域Ｒが設定される。例えば、撮像位置Ｐで撮像されたワークの画像が表示装置３３上に表示され、ユーザの入力装置３１を介した操作入力に基づき評価値を求めるための評価領域Ｒが設定される。このとき、評価領域Ｒはワーク上の連続面であることが好ましい。評価領域Ｒの指定は、単領域を１つ指定することでもよいし、単領域の複数指定することでもよい。設定された評価領域Ｒは記憶部４に記憶される。

Ｓ１０５で、ビジョン制御装置４０は、Ｓ１０２で予め設定された動作経路Ｋに沿ってロボット１０を移動させている間に移動経路における所定位置でビジョンセンサ２０にワークの撮像を行わせる。ビジョン制御装置４０は、この動作を、それぞれ異なる移動速度で複数回行うように、ロボット１０およびビジョンセンサ２０を制御する。Ｓ１０５の具体例を以下のとおりである。

動作経路Ｋ上を第１速度Ｖ１でロボット１０（すなわちビジョンセンサ２０）を移動させながら撮像位置Ｐの通過タイミングで撮像が行われ、第１画像Ｇ１が取得される。更に、ビジョンセンサ２０を再び動作経路Ｋ上で移動させながら撮像位置Ｐの通過タイミングで撮像が行われ、第２画像Ｇ２が取得される。このときビジョンセンサ２０は、第１速度Ｖ１とは異なる第２速度Ｖ２で移動させる。それぞれの撮像は、Ｓ１０３で設定された同じ露光条件で行われる。ここで、第１速度Ｖ１および第２速度Ｖ２のいずれか一方を０ｍ／ｓ（すなわち、静止状態）としてもよい。また、撮像タイミングは移動中における撮像点の通過タイミングが露光時間の中間タイミングであることが好ましい。

Ｓ１０６において、ビジョン制御装置４０は、移動速度がそれぞれ異なる複数回のロボットの移動における撮像によって得られたそれぞれの画像の評価値を求める。次に、Ｓ１０７において、ビジョン制御装置４０は、移動速度と評価値との関係に基づいて、計測処理を行うときのロボットの移動速度の推奨上限値を算出し出力する。以下、Ｓ１０６およびＳ１０７の具体例を示す。

Ｓ１０６で、第１画像Ｇ１における評価領域Ｒ内の画像から光学特性が算出され、該光学特性から第１評価値Ｆ１が求められる。同様に、第２画像Ｇ２における評価領域Ｒ内の画像から光学特性が算出され、該光学特性から第２評価値Ｆ２が求められる。次式に従い、第１速度Ｖ１と第２速度Ｖ２との差に対する第１評価値Ｆ１と第２評価値Ｆ２との差の関係が、評価値の移動速度に対する感度ＦＳとして算出される。

Ｓ１０７で、評価値Ｆに関する所定の閾値Ｆ_Limit（例えば記憶部４に予め記憶されている）とＳ１０６で算出した感度ＦＳとに基づいて、次式に従い、撮像時の移動速度の推奨上限値V_limitが算出される。なお、上記したように、これらの演算は、ビジョン制御装置４０（ＣＰＵ２１）によって実行されてもよいし、演算処理部３によって実行されてもよい。すなわち、以下の説明では、ビジョン制御装置４０が行うものとされている処理は、演算処理部３が行うようにすることも可能である。

Ｓ１０８で、Ｓ１０７で算出された推奨上限値V_limitの情報が、表示装置３３に表示される等してユーザに提示される。

ここで、光学特性と評価値Ｆの説明をする。ロボット移動中に取得した画像情報から得られる評価値Ｆは、ビジョンセンサ２０の移動速度に依存する評価値である必要がある。ビジョンセンサ２０を移動させながら撮像すると画像のブレが発生しうる。具体的には、本実施形態の場合はパターン画像のブレが発生し移動速度に応じてパターンボケが発生する。パターン画像のボケを表す光学特性としては、例えばパターンコントラストやパターンエッジスロープ（パターンエッジ部の画像強度の傾き）がある。この場合、光学特性と評価値Ｆは同じになる。例えば、評価領域内のパターンコントラストの最低値を光学特性及び評価値に設定する。また、アクティブステレオの距離精度はパターン画像のＳ／Ｎに依存する。このことから、パターンコントラストだけではなくパターン強度も考慮する方がよい。例えば、撮像素子のノイズは強度の平方根に比例することから、評価値Ｆは評価領域内のパターンコントラスト平均値とパターン最大強度から、次式に従い求める。

ここで、Ｃはパターンコントラスト、Ｉはパターン強度、Ｉ₀は基準強度を表す。

以上の処理によれば、ビジョンセンサ２０がワークの撮像を行う動作経路Ｋおよび撮像位置Ｐを設定し、動作経路Ｋ上の撮像位置Ｐで異なる２つの移動速度で画像を取得することにより、ユーザは撮像時の移動速度上限を知ることができる。
なお、上記の例では、２つの異なる移動速度で２回の撮像を行うようにしたが、３つ以上の異なる速度で３回以上の撮像を行い、それらの撮像の結果から推奨上限値を求めるようにしてもよい。

＜第２実施形態＞
第２実施形態では、ビジョンセンサ２０でワークを撮像し、撮像により得られた画像のエッジ検出によりワークの位置を推定する。図４は、計測処理を行うときのロボットの移動速度の推奨上限値を決定する処理のフローチャートである。第１実施形態（図３）と同じ内容の処理ステップには同じ参照符号を付してそれらの説明は省略する。本実施形態では、Ｓ１０４に代えてＳ２０４が実行される。Ｓ２０４では、ロボット移動によりビジョンセンサ２０を撮像位置Ｐに位置させた後、ビジョンセンサ２０は静止状態でワークの撮像を行う。この撮像により得られた画像からエッジ検出を行う。検出されたエッジから画像におけるエッジの評価を位置である評価エッジ位置が設定される。このとき例えば、ワークのアウトラインに位置するエッジが評価エッジとして選択される。また、評価エッジ位置は単一のエッジである必要はなく複数のエッジであってもよい。その後、第１実施形態と同様に、Ｓ１０５からＳ１０８までの処理が行われる。

本実施形態においては、濃淡画像のブレが発生し移動速度に応じてエッジのボケが発生する。濃淡画像のボケを表す光学特性および評価値Ｆとしては、例えばエッジスロープ（エッジ部の画像強度の傾き）がある。例えば、評価エッジ位置相当の画像位置におけるエッジスロープが光学特性および評価値に設定される。複数の評価エッジ位置が設定されている場合は、各エッジ位置のエッジスロープの最低値が光学特性および評価値に設定される。また、濃淡画像のエッジ精度は画像のＳ／Ｎに依存する。このことからエッジスロープだけではなくエッジ部の信号強度（エッジ強度）も考慮する方がよい。例えば、撮像素子のノイズは強度の平方根に比例することから、評価値Ｆは評価領域内のエッジスロープの平均値とエッジ部の信号強度平均Ｉから求めるとよい。

＜第３実施形態＞
図５は、本実施形態におけるビジョンセンサ２０の構成を示す図である。本実施形態におけるビジョンセンサ２０は距離画像と濃淡画像を取得し、ワーク５０の位置姿勢を推定する。距離画像計測は、第１照明部１と撮像部６によって行われる。第１照明部１は、ワーク５０に対してパターン光を照射する。撮像部６は、第１照明部１によってパターン光が投影されたワーク５０を、第１照明部１に対して特定方向に傾いた方向から撮像してパターン画像を取得する。濃淡画像計測は、第２照明部７と撮像部６によって行われる。第２照明部７は、例えば、第１照明部１の光路を遮らないように配置された複数のＬＥＤにより、第１照明部１とは異なる波長の光を照射するように構成され、ワーク５０に対して均一光を照射する。撮像部６は、第２照明部２によって均一光が投影されたワーク５０を撮像して、濃淡画像を取得する。

撮像部６には光路中に分光プリズム６１が配置されており、パターン画像と濃淡画像は、この分光プリズム６１によって分光されて、それぞれ撮像素子６２、６３によって撮像される。演算処理部３は、パターン画像から、三角測量の原理に基づいて距離画像を算出する。また、演算処理部３は、濃淡画像から、ワークのエッジ検出を行う。また、演算処理部３は、算出した距離画像とワークのエッジ検出をモデルフィッティングすることにより、ワーク５０の位置姿勢を推定する。

図６は、計測処理を行うときのロボットの移動速度の推奨上限値を決定する処理のフローチャートである。Ｓ１０１およびＳ１０２は第１実施形態（図３）と同じである。Ｓ３０３では、ビジョンセンサ２０が撮像位置Ｐに移動した後、ユーザにより入力装置３１を介して入力された情報に基づいて、ワークを撮像する露光時間、光量等の露光条件が設定される。ただし、ビジョンセンサ２０に露光条件を自動的に設定する機能が備わっている場合はそのような機能を利用して露光条件が設定されてもよい。また、パターン画像と濃淡画像の撮像の露光条件が同じである必要はなく、独立に露光条件が設定されてもよい。

Ｓ３０４では、ビジョン制御装置４０は、撮像位置Ｐにおいてビジョンセンサ２０により撮像されたワーク５０の画像とワーク５０の３次元モデル（ＣＡＤモデル）とのフィッティングを行うことでワーク５０の位置姿勢を特定する。これにより、ビジョン制御装置４０は、ＣＡＤモデルにおける上記特定された位置姿勢の情報に基づいて、パターン画像の評価値を求める領域である評価領域と、濃淡画像におけるエッジの評価を行う位置とを設定する。

Ｓ３０５では、動作経路Ｋ上を第１速度Ｖ１でビジョンセンサ２０を移動させながら撮像位置Ｐの通過タイミングで撮像が行われ、第１パターン画像ＧＫ１、第１濃淡画像ＧＣ１が取得される。更に、ビジョンセンサ２０を再び動作経路Ｋ上で移動させながら撮像位置Ｐの通過タイミングで撮像が行われ、第２パターン画像ＧＫ２、第２濃淡画像ＧＣ２が取得される。このときビジョンセンサ２０は、第１速度Ｖ１とは異なる第２速度Ｖ２で移動させる。ここで、第１速度Ｖ１および第２速度Ｖ２のいずれか一方を０ｍ／ｓ（すなわち、静止状態）としてもよい。また、撮像タイミングは移動中における撮像点の通過タイミングが撮像露光時間の中間タイミングであることが好ましい。このとき、パターン画像撮像時の露光時間と濃淡画像撮像時の露光時間が異なる場合は、移動中における撮像点の通過タイミングが各撮像露光時間の中間タイミングであることが好ましい。

Ｓ３０６では、ビジョン制御装置４０は、第１パターン画像ＧＫ１から距離画像を算出し、第１濃淡画像ＧＣ１からエッジ検出を行う。さらに、ビジョン制御装置４０は、算出された距離画像と検出されたエッジ画像とに基づいて、ＣＡＤモデルとのモデルフィッティングを行う。モデルフィッティングの結果から、Ｓ３０４で設定された評価領域内のパターン画像と評価エッジ位置が特定される。演算処理部３は、同様に、第２パターン画像ＧＫ２から距離画像を算出し、第２濃淡画像ＧＣ２からエッジ検出を行い、モデルフィッティングの結果から評価領域内のパターン画像と評価エッジ位置を特定する。

Ｓ３０７では、ビジョン制御装置４０は、Ｓ３０６で第１パターン画像ＧＫ１から抽出した評価領域内のパターン画像から光学特性および評価値ＦＫ１を算出する。また、ビジョン制御装置４０は、第２パターン画像ＧＫ２から抽出した評価領域内のパターン画像から光学特性および評価値ＦＫ２を算出する。次に、次式に従い、第１速度Ｖ１と第２速度Ｖ２との差に対する第１パターン画像ＧＫ１の評価値ＦＫ１と第２パターン画像ＧＫ２の評価値ＦＫ２との差の関係が、第１感度ＦＫＳとして算出される。

また、Ｓ３０７では、ビジョン制御装置４０は、第１濃淡画像ＧＣ１から特定された評価エッジ部から光学特性および評価値ＦＣ１を算出する。また、ビジョン制御装置４０は、第２濃淡画像ＧＣ２から特定された評価エッジ部から光学特性および評価値ＦＣ２を算出する。次に、次式に従い、第１速度Ｖ１と第２速度Ｖ２との差に対する第１濃淡画像ＧＣ１の評価値ＦＣ１と第２濃淡画像ＧＣ２の評価値ＦＣ２との差の関係を第２感度ＦＣＳとしてされる。

Ｓ３０８で、パターン画像の評価値ＦＫに関する所定の閾値ＦＫ_LimitとＳ３０７で算出した第１感度ＦＫＳとに基づいて、次式に従い、パターン画像撮像時の移動速度の上限値である第１上限値V_limitKが算出される。パターン画像の評価値ＦＫに関する所定の閾値ＦＫ_Limitは、例えば記憶部４に予め記憶されている。

同様に、濃淡画像の評価値ＦＣに関する所定の閾値ＦＣ_LimitとＳ３０７で算出した第２感度ＦＣＳとに基づいて、次式に従い、濃淡画像撮像時の移動速度の上限値である第２上限値V_limitCが算出される。濃淡画像の評価値ＦＣに関する所定の閾値ＦＣ_Limitは、例えば記憶部４に予め記憶されている。

そして、第１上限値V_limitKと第２上限値V_limitCのうちの低い方が、推奨上限値V_limitとして設定される。

Ｓ３０９で、Ｓ３０８で算出された推奨上限V_limitが、表示装置３３に表示される等してユーザに提示される。

以上の処理によれば、ビジョンセンサ２０がワークの撮像を行う動作経路Ｋおよび撮像位置Ｐを設定し、動作経路Ｋ上の撮像位置Ｐで異なる２つの移動速度で画像を取得することにより、ユーザは撮像時の移動速度上限を知ることができる。

以上説明した第１〜第３実施形態によれば、移動速度の推奨上限がユーザに提示されるので、ユーザは撮像位置での移動速度（駆動プロファイル）を容易に設定することができる。あるいは、移動速度（駆動プロファイル）が既に設定されている場合で、その移動速度が上述の実施形態により移動速度の推奨上限値を超えていると判定された場合は、ユーザに警告を提示するようにしてもよい。あるいは、移動速度（駆動プロファイル）が既に設定されている場合で、その移動速度が上述の実施形態により移動速度の推奨上限値を超えていると判定された場合は、ビジョンセンサ２０からロボット制御装置３０に自動で移動速度上限値を設定してもよい。

＜第４実施形態＞
上述の計測装置（ビジョンセンサ）は、ある支持部材に支持された状態で使用されうる。本実施形態では、一例として、図８のようにロボットアーム５３００（把持装置）に備え付けられて使用される制御システムについて説明する。計測装置５１００は、支持台５３５０に置かれた被検物５２１０にパターン光を投影して撮像し、画像を取得する。そして、計測装置５１００の制御部が、又は、計測装置５１００の制御部から画像データを取得した制御部５３１０が、被検物５２１０の位置および姿勢を求め、求められた位置および姿勢の情報を制御部５３１０が取得する。制御部５３１０は、その位置および姿勢の情報に基づいて、ロボットアーム５３００に駆動指令を送ってロボットアーム５３００を制御する。ロボットアーム５３００は先端のロボットハンドなど（把持部）で被検物５２１０を保持して、並進や回転などの移動をさせる。さらに、ロボットアーム５３００によって被検物５２１０を他の部品に組み付けることにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された被検物５２１０を加工することにより、物品を製造することができる。制御部５３１０は、ＣＰＵなどの演算装置やメモリなどの記憶装置を有する。なお、ロボットを制御する制御部を制御部５３１０の外部に設けてもよい。また、計測装置５１００により計測された計測データや得られた画像をディスプレイなどの表示部５３２０に表示してもよい。

＜第５実施形態＞
上記実施形態に係るロボットビジョンシステムは、物品製造方法に使用しうる。この物品製造方法は、前記システムを用いて物ないし部品（ワーク）の計測を行う工程と、この工程で計測された物ないし部品（ワーク）の処理ないし製造を行う工程とを含みうる。この処理は、例えば、加工、切断、搬送、組立（組付）、検査、選別などのうちの少なくともいずれか１つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能、品質、生産性、生産コストなどにおいて有利である。

＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は本発明の理解を助けることを目的とした具体例に過ぎず、いかなる意味においても本発明を上述の実施形態に限定する意図はない。特許請求の範囲に規定される範囲に含まれる全ての実施形態は本発明に包含される。

１０：ロボット、２０：計測装置（ビジョンセンサ）、３０：ロボット制御装置、４０：ビジョン制御装置、５０：ワーク

Claims (13)

1. ロボットに取り付けられた撮像部と、
   前記ロボットおよび前記撮像部を制御する制御部と、
   前記ロボットの移動に伴って前記撮像部が移動する間に行われたワークの撮像により得られた画像に基づいて前記ワークの位置および姿勢を求める計測処理を行う処理部と、を有し、
   前記制御部は、予め設定された移動経路に沿って前記ロボットを移動させている間に前記移動経路における所定位置で前記撮像部に前記ワークの撮像を行わせることを、それぞれ異なる移動速度で複数回行うように、前記ロボットおよび前記撮像部を制御し、
   前記処理部は、前記移動速度がそれぞれ異なる前記複数回の前記ロボットの移動における撮像によって得られたそれぞれの画像の評価値を求め、前記移動速度と前記評価値との関係に基づいて、前記計測処理を行うときの前記ロボットの移動速度の推奨上限値を算出し出力する
   ことを特徴とする計測装置。
2. 前記処理部は、
   前記ロボットが第１速度で移動している間に前記所定位置において前記撮像部が前記ワークを撮像することにより得られた第１画像に対する評価値である第１評価値を求め、
   前記ロボットが前記第１速度とは異なる第２速度で移動している間に前記所定位置において前記撮像部が前記ワークを撮像することにより得られた第２画像に対する評価値である第２評価値を求め、
   前記第１速度と前記第２速度との差に対する前記第１評価値と前記第２評価値との差の関係を、前記評価値の前記移動速度に対する感度として求め、
   前記評価値に関する所定の閾値と前記感度とに基づいて前記推奨上限値を算出する
   ことを特徴とする請求項１に記載の計測装置。
3. 前記第１画像および前記第２画像は、パターン光が投影された前記ワークを撮像して得られたパターン画像であり、前記評価値は、前記パターン画像のパターンコントラストを含むことを特徴とする請求項２に記載の計測装置。
4. 前記評価値は、前記パターン画像のパターン強度を更に含むことを特徴とする請求項３に記載の計測装置。
5. 画像を表示する表示部を有し、
   前記処理部は、前記所定位置において前記撮像部により撮像された前記ワークの画像を前記表示部に表示させ、ユーザの操作入力に基づき前記評価値を求める領域である評価領域を設定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の計測装置。
6. 前記第１画像および前記第２画像は、均一光が投影された前記ワークを撮像して得られた濃淡画像であり、前記評価値は、前記濃淡画像のエッジスロープを含むことを特徴とする請求項２に記載の計測装置。
7. 前記評価値は、前記濃淡画像のエッジ強度を更に含むことを特徴とする請求項６に記載の計測装置。
8. 前記処理部は、前記所定位置において前記撮像部により静止状態で撮像された前記ワークの画像からエッジ検出を行い、検出されたエッジから前記画像におけるエッジの評価を行う位置を設定することを特徴とする請求項６または７に記載の計測装置。
9. 前記撮像部は、パターン光が投影された前記ワークを撮像してパターン画像を取得するとともに、均一光が投影された前記ワークを撮像して濃淡画像を取得するように構成され、
   前記処理部は、
   前記ロボットが第１速度で移動している間に前記所定位置において前記撮像部が前記ワークを撮像することにより得られた第１パターン画像および第１濃淡画像のそれぞれに対する評価値を求め、
   前記ロボットが前記第１速度とは異なる第２速度で移動している間に前記所定位置において前記撮像部が前記ワークを撮像することにより得られた第２パターン画像および第２濃淡画像のそれぞれに対する評価値を求め、
   前記第１速度と前記第２速度との差に対する前記第１パターン画像の評価値と前記第２パターン画像の評価値との差の関係を第１感度として求め、
   前記第１速度と前記第２速度との差に対する前記第１濃淡画像の評価値と前記第２濃淡画像の評価値との差の関係を第２感度として求め、
   前記パターン画像の評価値に関する所定の閾値と前記第１感度とに基づいて算出される前記移動速度の第１上限値と、前記濃淡画像の評価値に対する所定の閾値と前記第２感度とに基づいて算出される前記移動速度の第２上限値とのうちの低い方を前記推奨上限値として出力する
   ことを特徴とする請求項１に記載の計測装置。
10. 前記処理部は、前記所定位置において前記撮像部により撮像された前記ワークの画像と前記ワークの３次元モデルとのフィッティングを行うことで前記ワークの位置および姿勢を特定し、前記３次元モデルにおける前記特定された位置および姿勢の情報に基づいて、前記第１パターン画像および前記第２パターン画像の評価値を求める領域である評価領域と、前記第１濃淡画像および前記第２濃淡画像におけるエッジの評価を行う位置とを設定することを特徴とする請求項９に記載の計測装置。
11. ロボットに取り付けられた撮像部を備え、前記ロボットの移動に伴って前記撮像部が移動する間にワークの撮像を行い、該撮像により得られた画像に基づいて前記ワークの位置および姿勢を求める計測装置の制御方法であって、
    予め設定された移動経路に沿ってロボットを移動させている間に前記移動経路における所定位置で前記ロボットに取り付けられた撮像部にワークの撮像を行わせることを、それぞれ異なる移動速度で複数回行う撮像工程と、
    前記撮像工程における各回の撮像によって得られたそれぞれの画像の評価値を求め、前記移動速度と前記評価値との関係に基づいて前記ロボットの移動速度の推奨上限値を算出する算出工程と、
    前記算出された前記推奨上限値の情報をユーザに対して提示する工程と、
    を有することを特徴とする制御方法。
12. コンピュータに、請求項１１に記載の制御方法の各工程を実行させるためのプログラム。
13. 請求項１乃至１０のいずれか１項に記載の計測装置を用いてワークの計測を行う工程と、
    前記計測の結果に基づいて前記ワークを処理することにより物品を製造する工程と、
    を有することを特徴とする物品製造方法。

Images