JP2021053775A - 制御システムおよびロボットシステム - Google Patents

Abstract

【課題】ワークとワークの把持部との位置関係に応じて視覚装置の撮像条件を変更し、ワークの計測精度を向上させることができる制御システムを提供すること。【解決手段】制御システム２０は、視覚装置１６で撮像された画像の撮像情報を取得する撮像情報取得部２００と、ワークを把持する把持部の現在位置座標を算出する座標算出部３００と、撮像情報取得部２００で取得した撮像情報および座標算出部３００で算出した現在位置座標に基づいて、ワークと把持部との位置関係を算出する位置関係算出部２０１と、位置関係算出部２０１で算出した位置関係を用いて視覚装置１６のズーム倍率を設定するズーム倍率設定部２０２と、ズーム倍率設定部２０２で設定したズーム倍率に基づいて、視覚装置１６のズームを駆動するズーム駆動部２０３と、を備える。【選択図】図２

Description

本発明は、制御システムおよびロボットシステムに関し、より詳細には、視覚装置を用いてロボットのハンドリング動作を制御する制御システムおよびロボットシステムに関する。

従来、撮像された画像から情報を抽出してロボット等を制御するシステムを構成する場合に、注目する物体を含む領域から必要な情報が得られるように撮像条件を適切に設定する画像処理技術が知られている。

このような技術の例として、特許文献１には、カメラで撮像して得られた画像から特定の物体を検出し、検出された特定の物体の予め定められた部分を含む注視領域とこの注視領域の周囲の周辺領域とを画像中に設定し、設定された周辺領域の画像情報を用いて特定の物体の位置姿勢を算出し、設定された注視領域の画像情報について予め定められた画像処理を行い、算出された位置姿勢に基づいて、実行される画像処理に適した画像情報が注視領域から得られるように、カメラが特定の物体を撮像するための撮像条件を変更する画像処理技術が記載されている。

特開２０１２−２８９４９号公報

しかしながら、特許文献１に記載の画像処理技術では、注視領域に基づいてカメラ等の視覚装置の撮像条件を変更しているが、ロボットハンド等の把持部の動きと連動した撮影条件の変更に関しては考慮されていないため、ワークと把持部との距離によっては、撮像した画像からワークに関する必要な情報が得られない場合があるという問題がある。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、ワークとワークの把持部との位置関係に応じて視覚装置の撮像条件を変更し、ワークの計測精度を向上させることができる制御システムを提供することにある。

上記課題を解決するために本発明に係る制御システムは、視覚装置で撮像された画像の撮像情報を取得する撮像情報取得部と、
ワークを把持する把持部の位置座標を算出する座標算出部と、
前記撮像情報取得部で取得した撮像情報および前記座標算出部で算出した位置座標に基づいて、前記ワークと前記把持部との位置関係を算出する位置関係算出部と、
前記位置関係算出部で算出した位置関係を用いて前記視覚装置のズーム倍率を設定するズーム倍率設定部と、
前記ズーム倍率設定部で設定したズーム倍率に基づいて、前記視覚装置のズームを駆動するズーム駆動部と、
を備える制御システム。

また、本発明に係るロボットシステムは、ワークを把持する把持部を有するロボット本体と、前記ワークおよび前記ロボット本体の画像を撮像する視覚装置と、上記制御システムと、を備える。

本発明に係る制御システムによれば、ワークとワークの把持部との位置関係に応じて視覚装置の撮像条件を変更し、ワークの計測精度を向上させることができる。なお、ここに記載された効果は、必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。

本発明の一実施形態に係るロボットシステムの構成例を示す模式図である。 本発明の一実施形態に係る制御システムの構成例を示すブロック図である。 本発明の一実施形態に係るロボットシステムを用いたロボット制御動作の例を示すフローチャートである。 本発明の一実施形態に係るロボットハンドとワークとの距離が遠い場合を表す模式図である。 本発明の一実施形態に係るロボットハンドとワークとの距離が近い場合を表す模式図である。

以下、本発明の実施形態について図面を参照しながら説明する。以下に説明する実施形態は、本発明の代表的な実施形態の一例を示したものであり、これにより本発明の範囲が狭く解釈されることはない。

まず、本発明の一実施形態に係るロボットシステムについて説明する。図１は、本発明の一実施形態に係るロボットシステム１０の構成例を示す模式図である。

図１に示すように、ロボットシステム１０は、ロボット本体１１と、ロボット制御装置１２と、を備えている。ロボット本体１１は、一例として、ロボット制御装置１２に接続されるベース部１３と、ベース部１３に連結されたロボットアーム部１４と、ロボットアーム部１４の先端に連結された把持部であるロボットハンド部１５と、を備えている。

さらに、ロボットシステム１０は、視覚センサを有する視覚装置であるカメラ１６と、ワーク等を照明する照明装置１７と、を備えている。カメラ１６および照明装置１７は、一例として、ロボット本体１１の作業領域を俯瞰可能なロボット本体１１とは別の位置に配置されている。なお、視覚装置としてのカメラ１６は、少なくとも１台必要であるが、２台以上であるとさらに撮像精度が上がり好適である。

視覚装置としては、カメラ１６だけでなく、被写体の画像を撮像可能な撮像装置で構成されていればよい。なお、視覚装置として使用されるカメラ１６は、単眼、多眼、ステレオおよびＴＯＦ（Time of Flight）等の構成が考えられる。

ここで、カメラ１６を用いて３次元（３Ｄ）の位置関係情報（位置情報）を取得する手法について説明する。

カメラ１６が単眼カメラの場合、公知のＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて３次元撮像情報を推定する。この時、カメラ１６を動かしながら撮像する必要がある。カメラ１６は、原理的に距離の相対値しか得られないが、カメラ１６の位置情報をロボット本体１１から取得できればロボット座標系における位置情報を取得することが可能である。

カメラ１６がステレオカメラの場合、公知のステレオマッチングによる視差情報から位置情報を取得する。また、カメラ１６が多眼カメラの場合、ステレオカメラと原理は同じであり、色々な方向からの視差画像が得られるため、オクルージョンが生じにくい。また、カメラ１６がＴＯＦカメラの場合、光を被写体に照射し、その光が被写体に反射して受信するまでの時間から位置情報を取得する。

さらに、カメラ１６に照明光を利用する場合は、公知のパターン投影（縞模様やランダムドットパターン）を行い、位置情報を取得することができる。

照明装置１７は、一例として、画像を撮像するカメラ１６のレンズ周辺等に配置され、ロボットハンド部１５で把持するワーク等を照明する。また、ロボットハンド部１５で距離計測を行う場合は、照明装置１７によってパターン光を照射することもできる。

次に、図２を用いて、本実施形態に係るロボットシステム内の制御システムの構成例について説明する。図２は、本実施形態に係るロボットシステム１０内の制御システム２０の構成例を示すブロック図である。

図２に示すように、制御システム２０は、一例として、カメラ１６に接続された視覚装置制御部の一例であるカメラ制御部２１と、カメラ制御部２１およびロボット本体１１に接続されたロボット制御部２２と、を有している。ロボット制御部２２は、一例として、ロボット制御装置１２内に備えられているが、ロボット制御装置１２の外部に配置することもできる。

カメラ制御部２１は、カメラ１６に接続された撮像情報取得部２００と、位置関係算出部２０１と、ズーム倍率設定部２０２と、ズーム駆動部２０３と、撮像指示部２０４と、を有している。カメラ制御部２１は、一例として、カメラ１６内部に備えることができるが、カメラ１６の外部に配置することもできる。

撮像情報取得部２００は、カメラ１６で撮像した３次元画像から３次元撮像情報を取得する。

位置関係算出部２０１は、撮像情報取得部２００と接続され、撮像情報取得部２００から転送された３次元撮像情報を取得する。位置関係算出部２０１は、取得した３次元撮像情報からワークの位置情報や、ロボットハンド部１５とワークとの位置関係（例えば、相互距離）を算出する。

ズーム倍率設定部２０２は、位置関係算出部２０１と接続され、位置情報算出部２０１から取得する情報に基づいて、カメラ１６の光学ズーム倍率を設定する。

ズーム駆動部２０３は、ズーム倍率設定部２０２と接続され、ズーム倍率設定部２０２で設定されたズーム倍率に基づいて、カメラ１６の光学ズームを駆動する。

撮像指示部２０４は、ズーム駆動部２０３と接続され、カメラ１６に、ズーム駆動部２０３によって駆動された光学ズーム倍率に基づいて３次元画像を撮像する指示信号を送信する。

次に、ロボット制御部２２は、一例として、座標算出部３００と、速度設定部３０１と、を有している。ロボット制御部２２は、ロボット本体１１のロボットアーム部１４およびロボットハンド部１５等の動作を制御する。また、ロボット制御部２２は、ロボット本体１１内の例えばベース部１３に備えることができるが、ロボット本体１１の外部に設置することもできる。なお、速度設定部３０１は、カメラ制御部２１に備えることもできる。

座標算出部３００は、撮像情報取得部２００および位置関係算出部２０１と接続され、ロボットアーム部１４およびロボットハンド部１５の３次元位置座標(ロボット座標)を算出する。例えば、座標算出部３００は、ロボットアーム部１４およびロボットハンド部１５の現在位置座標を算出する。

速度設定部３０１は、位置関係算出部２０１と接続され、位置関係算出部２０１で算出されたロボット本体１１とワークとの位置関係に基づいて、ロボットアーム部１４およびロボットハンド部１５の移動速度を設定する。例えば、ロボットハンド部１５とワークとの位置関係(距離)が遠い場合は、ロボットアーム部１４およびロボットハンド部１５の移動速度を早くする。ロボットハンド部１５とワークとの位置関係（距離）が近い場合は、ロボットアーム部１４およびロボットハンド部１５の移動速度を遅くする。前記位置関係を用いて前記把持部の移動速度を設定する

図３を用いて、本実施形態に係るロボット制御方法の一例について説明する。図３は、本実施形態に係るロボットシステム１０を用いたロボット制御動作の例を示すフローチャートである。

まず、ステップＳ１において、カメラ１６は、ロボット本体１１およびワークを含む３次元画像を撮像する。

ステップＳ２において、カメラ制御部２１の撮像情報取得部２００は、カメラ１６で撮像した３次元画像から３次元撮像情報を取得する。

ステップＳ３において、位置関係算出部２０１は、撮像情報取得部２００で取得した３次元撮像情報を用いて、ワークの３次元位置座標（Ｘ１,Ｙ１,Ｚ１）を算出する。なお、カメラ１６の座標とロボットハンド１５の座標は事前にキャリブレーションされており、ワークが配置されているＺ座標（Ｚ１）は既知であるものとする。

ステップＳ４において、ロボット制御部２２の座標算出部３００は、ロボット制御部２２で取得したモータ等の数値を用いて、例えば、ロボットハンド部１５の現在の３次元位置座標（Ｘ０,Ｙ０,Ｚ０）を算出する。なお、ステップＳ４の処理は、ステップＳ２の前に行うこともできる。

ステップＳ５において、位置関係算出部２０１は、ステップＳ３およびステップＳ４で算出した３次元位置座標に基づいて、ワークとロボットハンド部１５との位置関係である相互距離（｜Ｘ０-Ｘ１｜, ｜Ｙ０-Ｙ１｜, ｜Ｚ０-Ｚ1｜）を算出する。

ステップＳ６において、ズーム倍率設定部２０２は、ステップＳ５で算出した位置関係の情報を用いて、カメラ１６の光学ズーム倍率を設定する。

ステップＳ７において、ズーム駆動部２０３は、ステップＳ６で設定された光学ズーム倍率に基づいて、カメラ１６の光学ズームを駆動する。

ステップＳ８において、速度設定部３０１は、位置関係算出部２０１で算出した相互距離の情報を用いてロボットアーム部１４およびロボットハンド部１５の移動速度を設定する。

ステップＳ９において、撮像指示部２０４は、カメラ１６に、ステップＳ７で駆動された光学ズーム倍率に基づいて３次元画像を撮像する指示信号を送信する。その指示信号に基づいてカメラ１６が３次元画像を撮像したら、処理を終了する。

図４および図５を用いて、本実施形態に係るロボットシステム１０のハンドリング動作の一例について説明する。図４は、本実施形態に係るロボットハンドとワークとの距離が遠い場合を表す模式図である。図５は、本実施形態に係るロボットハンドとワークとの距離が近い場合を表す模式図である。

図４および図５に示すように、ロボットシステム１０のロボットハンド部１５下方に、例えば通い箱等のケース４１が配置され、ケース４１内に複数のワーク４２が収容されている場合を想定する。

まず、図４に示すように、ロボットシステム１０の稼働前等により、ロボットハンド部１５とワーク４２との距離が遠い位置にある場合、互いの距離が離れているため、ロボットシステム１０はワーク４２に向かって高速で移動させることができる。

また、この場合は、ワーク４２全体の大雑把な位置情報を取得すればよいので、カメラ１６のセンサを低解像度モードで駆動させて撮像してもよい。ただし、ワーク４２全体の情報を取得するために、カメラ１６の撮像画像の画像領域は広く設定する。すなわち、カメラ１６の光学ズームを広角側に移動させ、ワーク４２全体を俯瞰するような画像を取得する。

一方、図５に示すように、ロボットシステム１０を稼働させて、ロボットハンド部１５とワーク４２との距離が近い位置にある場合、それらの相互距離が接近しているため、ロボットシステム１０はワーク４２に向かって低速で移動させる。

また、この場合は、ワーク４２のピッキング位置の高精度な位置情報が必要なため、カメラ１６のセンサを高解像度モードで駆動させて撮像する必要がある。このとき、ワーク４２数個分の情報を取得すればよいため、カメラ１６の撮像画像の画像領域は狭く設定する。すなわち、カメラ１６の光学ズームを望遠側に移動させ、ワーク４２の情報を高解像度に取得する。

本実施形態に係る制御システム２０を備えるロボットシステム１０によれば、ロボットハンド部１５とワーク４２との位置関係の情報をカメラ制御部２１で算出し、カメラ１６にフィードバックすることができる。また、カメラ１６の情報をロボット本体１１に伝えるだけでなく、ロボット本体１１の情報をカメラ１６に伝え、双方向のやり取りを可能とすることもできる。

したがって、ロボットシステム１０によれば、ロボットハンド部１５とワーク４２との位置関係に応じてカメラ１６の光学ズーム倍率を変更し、それに応じた３次元撮像情報を算出することによってカメラ１６の処理速度と３次元精度のバランスをとることができる。すなわち、ロボットシステム１０は、ロボットハンド部１５とワーク４２との距離が遠い位置にある場合、低解像度の３次元撮像情報を算出し、それらの相互距離が近い場合、局所領域のみの高解像度の３次元撮像情報を算出することが可能となる。

これにより、制御システム２０を備えるロボットシステム１０は、画像処理を高速化しつつ、切り出す画像領域の広さに応じて切り出し画像の解像度を調整することができる。すなわち、視覚装置の情報をもとにロボットを制御するだけでなく、ロボットの情報をもとに視覚装置を制御することができ、制御システム２０およびロボットシステム１０の処理速度や精度を向上させることができる。

本実施形態に係るカメラ１６は、光学ズームの代わりに、以下のような構成を備えるものが考えられる。例えば、カメラ１６のレンズの焦点距離を固定にし、カメラ１６を光軸方向に対して垂直に動かすことが可能な部材またはカメラ１６のセンサを光軸方向に対して垂直に動かすことが可能な部材が含まれているものとすることができる。

また、ワークとロボットハンド部１５との距離が近い場合、カメラ１６またはセンサを微小（センサのサブピクセル以下の動き）に駆動させ、複数枚の画像を取得することができる。さらに、複数枚の画像を用いて公知の超解像処理を行い、画像の解像度を向上させることができる。このような処理により、光学ズームと同様に、高解像度なワークの情報が取得可能となる。

本発明は、産業用ロボットのロボットアーム部先端等に取り付けられるロボットハンドを制御する技術に活用できるものであるため、産業上の利用可能性を有するものである。

１０ ロボットシステム
１１ ロボット本体
１２ ロボット制御装置
１３ ベース部
１４ ロボットアーム部
１５ ロボットハンド部
１６ カメラ
１７ 照明装置
２０ 制御システム
２１ カメラ制御部
２２ ロボット制御部
２００ 撮像情報取得部
２０１ 位置関係算出部
２０２ ズーム倍率設定部
２０３ ズーム駆動部
２０４ 撮像指示部
３００ 座標算出部
３０１ 速度設定部
４１ ケース
４２ ワーク

Claims (5)

1. 視覚装置で撮像された画像の撮像情報を取得する撮像情報取得部と、
   ワークを把持する把持部の位置座標を算出する座標算出部と、
   前記撮像情報取得部で取得した撮像情報および前記座標算出部で算出した位置座標に基づいて、前記ワークと前記把持部との位置関係を算出する位置関係算出部と、
   前記位置関係算出部で算出した位置関係を用いて前記視覚装置のズーム倍率を設定するズーム倍率設定部と、
   前記ズーム倍率設定部で設定したズーム倍率に基づいて、前記視覚装置のズームを駆動するズーム駆動部と、
   を備える制御システム。
2. 前記位置関係を用いて前記把持部の移動速度を設定する速度設定部をさらに備える請求項１に記載の制御システム。
3. ワークおよびロボット本体の画像を撮像する視覚装置と、
   前記ワークを把持する把持部を有するロボット本体と、
   請求項１または２に記載の制御システムと、
   を備えるロボットシステム。
4. 前記視覚装置が、少なくとも１つのカメラを有した装置である請求項３に記載のロボットシステム。
5. 前記視覚装置が、前記把持部で把持するワークを照明する照明装置をさらに有する請求項３または４に記載のロボットシステム。
   

Images