JP2015157339A - ロボット、ロボットシステム、制御装置、及び制御方法 - Google Patents

Abstract

【課題】作業対象物を目的の位置姿勢にすることができるロボット、ロボットシステム、制御装置、及び制御方法を提供する。【解決手段】ロボットシステムは、作業対象物３８に所定画像を投影する投影部３２と、投影部３２により所定画像が投影された作業対象物３８を撮像し、撮像画像３６を取得する撮像部３４０と、作業対象物３８を動かすロボットと、参照画像３４を記憶する記憶部と、撮像画像３６と参照画像３４とに基づいて、ロボットのビジュアルサーボを行い、ロボットの制御信号を出力する処理部と、制御信号に基づいて、ロボットを制御するロボット制御部と、を含む。【選択図】図２

Description

本発明は、ロボット、ロボットシステム、制御装置、及び制御方法に関するものである。

近年、生産現場において、人が行ってきた作業を機械化・自動化するために、産業用ロボットを導入することが多くなってきた。しかし、ロボットのアームやハンド等の位置決めを行うにあたっては、精密なキャリブレーションが前提となり、ロボット導入の障壁となっている。

ここで、ロボットのアームやハンド等の位置決めを行う手法の一つとしてビジュアルサーボがある。ある種のビジュアルサーボは、キャリブレーションに精密さを求めない点で有用であり、ロボット導入障壁を下げる技術として注目されている。

これらのビジュアルサーボに関する発明としては、光を投影し、カメラに映る物体と、物体が作る影を検出することでビジュアルサーボを行う方法が提案されている（例えば、特許文献１参照）。

特開平４−２０１０２１号公報

しかしながら、特許文献１では、投影される箇所が平面でなく立体的で、かつ色が一色であるようなもの、あるいは物体に何も描かれていない真っ白な板のようなものは、ビジュアルサーボが上手く収束しないおそれがある。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係るロボットシステムは、作業対象物に所定画像を投影する投影部と、前記投影部により前記所定画像が投影された前記作業対象物を撮像し、撮像画像を取得する撮像部と、前記作業対象物を動かすロボットと、参照画像を記憶する記憶部と、前記撮像画像と前記参照画像とに基づいて、前記ロボットのビジュアルサーボを行い、前記ロボットの制御信号を出力する処理部と、前記制御信号に基づいて、前記ロボットを制御するロボット制御部と、を含むことを特徴とする。

本適用例によれば、投影部から、作業対象物に対して所定画像を投影し、予め用意しておいた参照画像と投影した所定画像との図柄が同じになるように、ロボットをビジュアルサーボで制御する。これにより、投影される箇所が平面でなく立体的で、かつ色が一色であるようなもの、あるいは作業対象物に何も描かれていない真っ白な板のようなもの、さらにロボットが作業対象物を把持する姿勢が変わったとしても、投影した図柄が同じになるようにビジュアルサーボをすることが可能である。その結果、作業対象物を目的の位置姿勢にすることができる。

［適用例２］上記適用例に記載のロボットシステムにおいて、前記参照画像は、予め前記投影部により前記所定画像が投影された前記作業対象物を撮像した画像であることを特徴とする。

本適用例によれば、参照画像と撮像画像との撮像時の環境が同じであり、ビジュアルサーボの制御精度を向上させることができる。

［適用例３］上記適用例に記載のロボットシステムにおいて、前記参照画像は、ＣＧ画像であることを特徴とする。

本適用例によれば、参照画像の環境を撮像画像の環境に合わせることができる。

［適用例４］上記適用例に記載のロボットシステムにおいて、前記投影部は、前記所定画像の明るさを調整することを特徴とする。

本適用例によれば、作業対象物以外の動かない箇所（背景等）が、参照画像を作った照明環境と同じになるように、投影部の明るさを調節することで、安定したビジュアルサーボが可能である。また、使用する環境によるが、十分に明るい光源を使用すると、背景を白飛びさせることで、背景に写る余計な特徴の影響を低減することができる。

［適用例５］本適用例に係る制御装置は、参照画像を記憶する記憶部と、所定画像が投影された作業対象物が映る撮像画像と前記参照画像とに基づいて、ロボットのビジュアルサーボを行い、前記ロボットの制御信号を出力する処理部と、前記制御信号に基づいて、前記ロボットを制御するロボット制御部と、を含むことを特徴とする。

本適用例によれば、作業対象物に対して所定画像を投影し、予め用意しておいた参照画像と投影した所定画像の図柄が同じになるように、ロボットをビジュアルサーボで制御できる。

［適用例６］本適用例に係るロボットは、上記に記載の制御装置を含むことを特徴とする。

本適用例によれば、作業対象物に対して所定画像を投影し、予め用意しておいた参照画像と投影した所定画像の図柄が同じになるように、ロボットをビジュアルサーボで制御する。これにより、作業対象物を目的の位置姿勢にすることができる。

［適用例７］本適用例に係る制御方法は、作業対象物に所定画像を投影することと、前記所定画像が投影された前記作業対象物を撮像し、撮像画像を取得することと、前記撮像画像と参照画像とに基づいて、ロボットのビジュアルサーボを行い、前記ロボットの制御信号を出力することと、前記制御信号に基づいて、前記ロボットを制御することと、を含むことを特徴とする。

本適用例によれば、作業対象物に対して所定画像を投影し、予め用意しておいた参照画像と投影した所定画像の図柄が同じになるように、ロボットをビジュアルサーボで制御できる。

本実施形態に係るシステム構成を示す図。 本実施形態に係るロボットシステムを示す図。 （Ａ）、（Ｂ）は、本実施形態に係るロボットの構成例を示す図。 本実施形態に係る特徴ベースビジュアルサーボの処理の流れを説明するフローチャート。 本実施形態に係るロボットシステムを示す図。 本実施形態に係るロボットシステムを示す図。 本実施形態に係るロボットシステムを示す図。 本実施形態に係るロボットシステムを示す図。

以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次にシステム構成例について説明する。そして、ビジュアルサーボの概要について説明した後で、フローチャート等を用いて本実施形態で行う処理の詳細について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．概要
ビジュアルサーボは、参照画像（ゴール画像、目標画像）と撮像画像（現在の画像）との差に基づいて、ロボットを制御する技術である。

ここで、ビジュアルサーボに用いる参照画像は、予めワーク等の作業対象物を撮像した画像である。一方で、撮像画像は、ロボットを実際に動作させる際に現在の様子を撮像した画像である。

ここで、作業対象物のワークは、多種多様であり撮像される箇所が平面でなく立体的で、かつ色が一色であるようなものであってもよい。あるいはワークは、何も描かれていない真っ白な板のようなものであってもよい。

２．システム構成例
図１は、本実施形態に係るシステム構成を示す図である。図２は、本実施形態に係るロボットシステム２を示す図である。本実施形態に係るロボットシステム２は、図１に示すように、ロボット制御システム（制御装置）１０と、ロボット３０と、を備える。また、ロボットシステム２は、図２に示すように、プロジェクター（投影部）３２を備える。

ロボット制御システム１０は、処理部１１０と、ロボット制御部１２０と、記憶部１３０と、Ｉ／Ｆ部（入力部）１４０と、を含む。なお、ロボット制御システム１０は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

次に、ロボット制御システム１０の各部で行われる処理について説明する。
処理部１１０は、後述するカメラ（撮像部）３４０から得られる撮像画像３６（図２参照）と、後述する記憶部１３０から取得される参照画像３４（図２参照）とに基づいて、ロボット３０のビジュアルサーボを行い、ロボット３０の制御信号を出力する。

ロボット制御部１２０は、制御信号に基づいて、ロボット３０を制御する。なお、処理部１１０と、ロボット制御部１２０との機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

そして、記憶部１３０は、例えばロボット３０の目標状態を表す画像である参照画像３４を記憶したり、処理部１１０やロボット制御部１２０のワーク領域となったりするもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

さらに、入力部（Ｉ／Ｆ部）１４０は、ロボット制御システム１０に対する作業者からの入力を受け付けたり、ロボット制御システム１０とロボット３０との間で情報をやり取りしたりするためのインターフェイスである。作業者からの入力等を受け付ける場合には、入力部（Ｉ／Ｆ部）１４０は、スイッチ、ボタン、キーボード、あるいはマウス等から構成されてもよい。また、ロボット制御システム１０とロボット３０との間で情報をやり取りする場合には、入力部（Ｉ／Ｆ部）１４０はネットワークを介して通信を行う通信部であってもよい。

また、ロボット３０は、図１に示すように、制御部３１０と、第１のアーム３２０と、第２のアーム３３０と、カメラ３４０と、エンドエフェクター３５０と、を含む。さらに、図３（Ａ）及び図３（Ｂ）に示すように、ロボット３０では、第１のアーム３２０にハンド４４が設けられ、第２のアーム３３０にエンドエフェクター３５０が設けられる。なお、ロボット３０は、図１、図３（Ａ）、及び図３（Ｂ）の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

次に、ロボット３０の各部で行われる処理について説明する。
本実施形態の制御部３１０は、ロボット制御部１２０からの情報に基づいて、ロボット３０の各部（第１のアーム３２０、第２のアーム３３０、カメラ３４０、及びエンドエフェクター３５０等）の制御を行う。

本実施形態のロボット３０は双腕のロボットであり、ロボット３０には、第１のアーム３２０と、第１のアーム３２０とは異なる第２のアーム３３０が設けられている。ここで、アームとは、ロボット３０のパーツであって、一つ以上の関節を含む可動パーツのことをいう。

さらに、カメラ３４０は、ロボット３０の作業現場等を撮像し、制御部３１０とＩ／Ｆ部１４０とを介して処理部１１０に撮像画像を出力する。例えばカメラ３４０は、可視カメラであってもよいし、赤外線カメラであってもよい。さらに、例えば可視カメラは、撮像素子としてＣＣＤやＣＭＯＳを用いるカメラであっても良く、また、白黒カメラであっても、カラーカメラであっても良い。白黒カメラを使う場合には、撮像画像３６として濃淡画像が撮像され、カラーカメラを使う場合には、撮像画像３６として色画像が撮像される。なお、可視カメラ及び赤外線カメラは、画像処理用等に用いられるデバイス（プロセッサー）を含んでもよい。本実施形態においては、カメラ３４０は撮像画像３６そのものを出力するが、これに限定されるものではない。例えば、処理部１１０において行う画像処理の一部を、カメラ３４０が行っても良い。その場合、撮像画像３６に対して、画像処理が施された後の撮像情報が処理部１１０に出力されることになる。

また、エンドエフェクター３５０は、アームのエンドポイントに設けられる把持部又はツールのことをいう。

ここで、把持部とは、ワークを把持したり、持ち上げたり、つりあげたり、吸着させたりするために用いる部品のことをいう。把持部は、ハンドであってもよいし、フックであってもよいし、吸盤等であってもよい。なお、１本のアームに対して、複数のハンドを設けても良い。

また、ツールとは、ワークに対して加工等の作業を行うための道具であって、例えばドリルやドライバーなどの工具を指す。なお、ツールは、ハンドにより把持されるものであってもよいし、アームのエンドポイントに直接設けられるものであってもよい。ここで、アームのエンドポイントとは、アームの先端部分のポイントであって、ロボット３０のハンド以外の他の部分と接続されていない部分のことをいう。

プロジェクター３２は、ワーク３８に対してパターン（所定画像）４０のパターン光を投影する。プロジェクター３２は、パターン４０のパターン光の明るさを調整できてもよい。これによれば、ワーク３８以外の動かない箇所（背景等）が、参照画像３４を作った照明環境と同じになるように、プロジェクター３２の明るさを調節することで、安定したビジュアルサーボが可能である。また、使用する環境によるが、十分に明るい光源を使用すると、背景を白飛びさせることで、背景に写る余計な特徴の影響を低減することができる。

次に、ロボット制御システム１０とロボット３０との一例を図３に示す。
図３は、本実施形態に係るロボットの構成例を示す図である。例えば図３（Ａ）のロボット３０では、ロボット本体４２とロボット制御システム１０とが一体に構成されている。

本実施形態によれば、ワーク３８に対してパターン４０を投影し、予め用意しておいた参照画像３４と投影したパターン４０の図柄が同じになるように、ロボット３０をビジュアルサーボで制御する。これにより、ワーク３８を目的の位置姿勢にすることができる。しかし、本実施形態のロボット制御システム１０及びロボット３０は図３（Ａ）の構成に限定されず、図３（Ｂ）のようにロボット本体４２とロボット制御システム１０とが別体に構成されていてもよい。具体的には図３（Ａ）に示したように、ロボット３０は、ロボット本体（第１のアーム３２０、第２のアーム３３０、ハンド４４、及びエンドエフェクター３５０を有する）４２及びロボット本体４２を支えるベースユニット部を有し、当該ベースユニット部にロボット制御システム１０が格納されるものであってもよい。図３（Ａ）のロボット３０には、ベースユニット部に車輪等が設けられ、ロボット３０全体が移動可能な構成となっている。なお、図３（Ａ）のロボット３０は双腕型の例であるが、ロボット３０は単腕型や多腕型のロボットであってもよい。なお、ロボット３０は、人手により移動させられるものであってもよいし、車輪を駆動するモーターを設け、当該モーターをロボット制御システム１０により制御することにより、移動させられるものであってもよい。また、ロボット制御システム１０は、図３（Ａ）のようにロボット３０の下に設けられたベースユニット部に設けられるとは限られない。

３．ビジュアルサーボの概要
本実施形態の処理の詳細を説明する前に、ビジュアルサーボの概要と、位置ベースビジュアルサーボの流れ、特徴ベースビジュアルサーボの流れについて説明する。

ビジュアルサーボとは、ワーク３８の位置の変化を視覚情報として計測し、それをフィードバック情報として用いることによってワーク３８を追跡するサーボ系の一種である。ビジュアルサーボは、サーボ系への入力情報（制御量）によって、位置ベースビジュアルサーボと特徴ベースビジュアルサーボとの二つに大別される。位置ベースビジュアルサーボは、ワーク３８の位置情報や姿勢情報がサーボ系への入力情報となり、特徴ベースビジュアルサーボは、画像の特徴量がサーボ系への入力情報となる。他にも、位置ベースと特徴ベースとをハイブリッドした手法もある。本実施形態で扱うビジュアルサーボは、特徴ベースの手法を対象とする。

これらのビジュアルサーボは、参照画像３４と撮像画像３６とを元にサーボ系への入力情報を求める点で共通している。

参照画像３４は、予めプロジェクター３２によりパターン４０が投影されたワーク３８を撮像した画像であってもよい。これによれば、参照画像３４と撮像画像３６との撮像時の環境が同じであり、ビジュアルサーボの制御精度を向上させることができる。

参照画像３４は、ＣＧ画像であってもよい。これによれば、参照画像３４の環境を撮像画像３６の環境に合わせることができる。

３．１ 特徴ベースビジュアルサーボの流れ
本実施形態に係るロボットシステム２は、図２に示すように、プロジェクター３２から、ワーク３８に対してパターン光を投影し、予め用意しておいた参照画像３４と投影したパターン４０の図柄が同じになるように、ロボット３０のロボットアームをビジュアルサーボで制御する。

ロボット３０のハンド４４が把持したワーク３８に対して、プロジェクター３２で特徴あるパターン４０を投影し、それをカメラ３４０で撮像する。

例えば目標とする姿勢でワーク３８に映った図柄をカメラ３４０で撮影したものを参照画像３４とする。

参照画像３４と同じ図柄になるようにワーク（ロボットアーム）３８をビジュアルサーボで動かして、目標とする位置姿勢に正確に合わせる。

通常ビジュアルサーボはワーク３８そのものの特徴に注目してビジュアルサーボを行うが、本実施形態は、ワーク３８そのものの特徴だけを使うのではなく、ワーク３８に投影されたパターン４０が参照画像３４と同じになるように、ワーク３８を動かすビジュアルサーボを行う。

図４は、本実施形態に係る特徴ベースビジュアルサーボの処理の流れを説明するフローチャートである。次に、図４のフローチャートにおいて、特徴ベースビジュアルサーボの流れを示す。
まず、ステップＳ１０において、参照画像３４を設定する。
次に、ステップＳ１１において、カメラ３４０によって作業スペースを撮像し、撮像画像３６を取得する。なお、特徴ベースビジュアルサーボを用いる場合には、参照画像３４を設定する際に参照画像３４の特徴抽出を行い、特徴量を算出しておくことが望ましい。又は、参照画像３４の特徴を抽出した参照画像３４情報を記憶部１３０に記憶しておいてもよい。画像の特徴抽出については、例えば、コーナー検出やガウスフィルター等を用いて行う。

次に、ステップＳ１２において、撮像画像３６の特徴を抽出する。なお、参照画像３４の特徴抽出は、参照画像３４設定の際に行っておくことが望ましいが、本ステップで行ってもよい。撮像画像３６の特徴抽出では、ビジュアルサーボ系への入力情報（制御量）として、撮像画像３６の特徴量を求める。

次に、ステップＳ１３において、撮像画像３６の特徴量に基づいて、参照画像３４と撮像画像３６とが一致するか否かを比較する。
そして、ステップＳ１４において、画像が一致すると判断する場合には、ビジュアルサーボを終了する。一方、画像が一致しないと判断する場合には、ステップＳ１５へ進む。
次に、ステップＳ１５において、制御指令を生成する。
次に、ステップＳ１６において、ロボット制御部１２０に制御指令を送出する。

特徴ベースビジュアルサーボでは、制御量が目標値に収束するまで以上の処理を繰り返す。

４．処理の詳細
本実施形態のロボット制御システム１０は、例えばロボット３０の目標状態を表す画像である参照画像を記憶する記憶部１３０と、カメラ３４０から得られる撮像画像３６と参照画像３４とに基づいて、ロボット３０のビジュアルサーボを行い、ロボット３０の制御信号を出力する処理部１１０と、制御信号に基づいて、ロボット３０を制御するロボット制御部１２０と、を含む。そして、記憶部１３０は、ロボット３０のワーク３８が映る画像を参照画像３４として記憶する。さらに、処理部１１０は、ワーク３８が映る撮像画像３６と、参照画像３４とに基づいて、ビジュアルサーボを行う。

本実施形態によれば、ワーク３８に対してパターン４０を投影し、予め用意しておいた参照画像３４と投影したパターン４０の図柄が同じになるように、ロボット３０をビジュアルサーボで制御できる。

図５は、本実施形態に係るロボットシステム２を示す図である。図５に示すように、投影したパターン４０以外に、ワーク３８やロボット３０が光を遮ってできる影も利用してビジュアルサーボを行ってもよい。

図６、図７、及び図８は、本実施形態に係るロボットシステム２を示す図である。図６、図７、及び図８に示すように、投影されるワーク３８は立体的で、テクスチャーがないようなものでもよい。

本実施形態によれば、プロジェクター３２から、ワーク３８に対してパターン４０を投影し、予め用意しておいた参照画像３４と投影したパターン４０との図柄が同じになるように、ロボット３０をビジュアルサーボで制御する。これにより、投影される箇所が平面でなく立体的で、かつ色が一色であるようなもの、あるいはワーク３８に何も描かれていない真っ白な板のようなもの、さらにロボット３０がワーク３８を把持する姿勢が変わったとしても、投影した図柄が同じになるようにビジュアルサーボをすることが可能である。その結果、ワーク３８を目的の位置姿勢にすることができる。

なお、本実施形態の制御装置１０及びロボット３０等は、その処理の一部又は大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の制御装置１０及びロボット３０等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、あるいはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。

以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。したがって、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、ロボット制御システム、ロボット、及びプログラム等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

２…ロボットシステム １０…ロボット制御システム（制御装置） ３０…ロボット ３２…プロジェクター（投影部） ３４…参照画像 ３６…撮像画像 ３８…ワーク（作業対象物） ４０…パターン ４２…ロボット本体 ４４…ハンド １１０…処理部 １２０…ロボット制御部 １３０…記憶部 １４０…Ｉ／Ｆ部（入力部） ３１０…制御部 ３２０…第１のアーム ３３０…第２のアーム ３４０…カメラ（撮像部） ３５０…エンドエフェクター。

Claims (7)

1. 作業対象物に所定画像を投影する投影部と、
   前記投影部により前記所定画像が投影された前記作業対象物を撮像し、撮像画像を取得する撮像部と、
   前記作業対象物を動かすロボットと、
   参照画像を記憶する記憶部と、
   前記撮像画像と前記参照画像とに基づいて、前記ロボットのビジュアルサーボを行い、前記ロボットの制御信号を出力する処理部と、
   前記制御信号に基づいて、前記ロボットを制御するロボット制御部と、
   を含むことを特徴とするロボットシステム。
2. 請求項１に記載のロボットシステムにおいて、
   前記参照画像は、予め前記投影部により前記所定画像が投影された前記作業対象物を撮像した画像であることを特徴とするロボットシステム。
3. 請求項１に記載のロボットシステムにおいて、
   前記参照画像は、ＣＧ画像であることを特徴とするロボットシステム。
4. 請求項１〜３のいずれか一項に記載のロボットシステムにおいて、
   前記投影部は、前記所定画像の明るさを調整することを特徴とするロボットシステム。
5. 参照画像を記憶する記憶部と、
   所定画像が投影された作業対象物が映る撮像画像と前記参照画像とに基づいて、ロボットのビジュアルサーボを行い、前記ロボットの制御信号を出力する処理部と、
   前記制御信号に基づいて、前記ロボットを制御するロボット制御部と、
   を含むことを特徴とする制御装置。
6. 請求項５に記載の制御装置を含むことを特徴とするロボット。
7. 作業対象物に所定画像を投影することと、
   前記所定画像が投影された前記作業対象物を撮像し、撮像画像を取得することと、
   前記撮像画像と参照画像とに基づいて、ロボットのビジュアルサーボを行い、前記ロボットの制御信号を出力することと、
   前記制御信号に基づいて、前記ロボットを制御することと、
   を含むことを特徴とする制御方法。