JP2014144516A - ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラム - Google Patents

Abstract

【課題】有効な情報を不要な情報よりも相対的に増やすことでビジュアルサーボの精度を高く維持することができる。
【解決手段】予めロボットの可動部を目標位置に位置させた状態で前記可動部が保持する対象物を撮影した教示用画像及び教示用画像の注目領域及び非注目領域を示す情報を取得する。注目領域から抽出される画像特徴量は変えず、かつ非注目領域から抽出される画像特徴量を少なくする画像変換処理を教示用画像に対して行い、処理した教示用画像から画像特徴量を抽出する。現在の前記可動部の位置を示す画像であって教示用画像と同じ画角の画像である現在画像及び現在画像を取得し、現在画像に対して教示用画像と同じ画像処理を行う。処理後の現在画像から画像特徴量を抽出し、抽出された画像特徴量から可動部の現在位置と目標位置との差分を求め、差分が少なくなるように可動部を制御する。
【選択図】図４

Description

本発明は、ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラムに関する。

特許文献１には、ビジュアルサーボによるロボットアームの制御において、現在データと目標データとの誤差が大きい時には、画像処理の分解能を下げて処理すべき画像データ量を低減させることが開示されている。

特開２００３−２１１３８１号公報

特許文献１に記載の発明のように、画像処理の分解能を下げてしまうと、ビジュアルサーボに必要な部分（例えば、対象物）についての情報量が減ってしまう。そのため、画像からエッジ等の画像特徴量が算出しにくくなり、ビジュアルサーボの精度が下がるという問題がある。

そこで、本発明は、画像データ量を削減した場合であっても、有効な情報を不要な情報よりも相対的に増やすことでビジュアルサーボの精度を高く維持することができるロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラムを提供することを目的とする。

上記課題を解決するための第一の態様は、対象物を前記対象物の現在位置から前記対象物の目標位置へ移動させるようにロボットを制御するロボット制御装置において、前記目標位置に位置する前記対象物を撮影した画像である教示用画像及び前記現在位置に位置する前記対象物を撮影した画像である現在画像を取得する画像取得部と、前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報を取得する情報取得部と、前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記教示用画像及び前記現在画像に対して行う画像処理部と、前記画像処理部により処理された教示用画像及び前記画像処理部により処理された現在画像から画像特徴量を抽出する画像特徴量抽出部と、前記教示用画像及び前記現在画像から抽出された画像特徴量に基づいて前記ロボットの現在位置と前記目標位置との差分を求め、当該差分が少なくなるように前記ロボットを制御する制御部と、を備えることを特徴とする。

第一の態様によれば、注目領域から抽出される画像特徴量は変えず、かつ非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を教示用画像及び現在画像に対して行い、画像変換された教示用画像及び現在画像から画像特徴量を抽出し、教示用画像及び現在画像から抽出された画像特徴量に基づいて可動部の現在位置と目標位置との差分を求め、差分が少なくなるようにロボットを制御する。これにより、非注目領域から抽出される画像特徴量を少なくすることで、画像データ量を削減した場合であっても、有効な情報を不要な情報よりも相対的に増やすことができる。その結果、ビジュアルサーボの精度を高く維持することができる。

ここで、前記画像処理部は、前記第１の画像変換処理として、画像をぼかす処理又は画像の輝度を下げる処理を行うようにしてもよい。これにより、非注目領域から抽出される画像特徴量を少なくすることができる。

ここで、前記画像処理部は、前記非注目領域については前記画像変換処理を強く行い、前記非注目領域及び前記注目領域以外の領域については前記画像変換処理を弱く行うようにしてもよい。これにより、非注目領域及び注目領域以外の重要でない部分から抽出される画像特徴量を少なくすると共に、最も不要な非注目領域から抽出される画像特徴量を更に少なくすることができる。

ここで、前記教示用画像又は前記現在画像を表示する表示部と、前記表示部に表示された前記教示用画像又は前記現在画像に基づいて、前記注目領域を示す情報及び前記非注目領域を示す情報の入力を受け付ける入力部と、を備え、前記情報取得部は、前記入力された情報を前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報として取得してもよい。これにより、注目領域及び非注目領域を正確に設定することができる。

ここで、前記入力部は、前記注目領域を示す情報及び前記非注目領域を示す情報として、前記注目領域及び前記非注目領域の中心点の入力を受け付けてもよいし、又は前記注目領域及び前記非注目領域の中心点及び範囲の入力を受け付けてもよい。これにより、注目領域及び非注目領域をより柔軟に設定することができる。

ここで、前記入力部は、前記注目領域と前記非注目領域との重複領域がある場合に、前記重複領域で前記画像変換処理を行うか否か示す入力を受け付け、前記入力部が前記重複領域で前記画像変換処理を行うことを示す入力を受け付けた場合は、前記画像処理部は、前記重複領域で前記画像変換処理を行い、前記入力部が前記重複領域で前記画像変換処理を行わないことを示す入力を受け付けた場合は、前記画像処理部は、前記重複領域で前記画像変換処理を行わないようにしてもよい。これにより、よりユーザのニーズに合った画像変換処理を行うことができる。

上記課題を解決するための第二の態様は、対象物を前記対象物の現在位置から前記対象物の目標位置へ移動させるようにロボットを制御するロボットシステムにおいて、ロボットと、前記目標位置に位置する前記対象物を撮影した画像である教示用画像及び前記現在位置に位置する前記対象物を撮影した画像である現在画像を撮影する撮影部と、前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報を取得する情報取得部と、前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記教示用画像及び前記現在画像に対して行う画像処理部と、前記画像処理部により処理された教示用画像及び前記画像処理部により処理された現在画像から画像特徴量を抽出する画像特徴量抽出部と、前記教示用画像及び前記現在画像から抽出された画像特徴量に基づいて前記ロボットの現在位置と前記目標位置との差分を求め、当該差分が少なくなるように前記ロボットを制御する制御部と、を備えることを特徴とする。これにより、非注目領域から抽出される画像特徴量を少なくすることで、画像データ量を削減した場合であっても、有効な情報を不要な情報よりも相対的に増やすことができる。その結果、ビジュアルサーボの精度を高く維持することができる。

上記課題を解決するための第三の態様は、対象物を前記対象物の現在位置から前記対象物の目標位置へ移動させるように可動部を制御するロボットにおいて、可動部と、前記目標位置に位置する前記対象物を撮影した画像である教示用画像及び前記現在位置に位置する前記対象物を撮影した画像である現在画像を取得する画像取得部と、前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報を取得する情報取得部と、前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記教示用画像及び前記現在画像に対して行う画像処理部と、前記画像処理部により処理された教示用画像及び前記画像処理部により処理された現在画像から画像特徴量を抽出する画像特徴量抽出部と、前記教示用画像及び前記現在画像から抽出された画像特徴量に基づいて前記可動部の現在位置と前記目標位置との差分を求め、当該差分が少なくなるように前記可動部を制御する制御部と、備えることを特徴とする。これにより、非注目領域から抽出される画像特徴量を少なくすることで、画像データ量を削減した場合であっても、有効な情報を不要な情報よりも相対的に増やすことができる。その結果、ビジュアルサーボの精度を高く維持することができる。

上記課題を解決するための第四の態様は、対象物を前記対象物の現在位置から前記対象物の目標位置へ移動させるようにロボットを制御するロボット制御方法において、前記目標位置に位置する前記対象物を撮影した画像である教示用画像を取得するステップと、前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報を取得するステップと、前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記教示用画像に対して行うステップと、前記処理された教示用画像から画像特徴量を抽出するステップと、前記現在位置に位置する前記対象物を撮影した画像である現在画像を取得するステップと、前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記現在画像に対して行うステップと、前記処理された現在画像から画像特徴量を抽出するステップと、前記教示用画像及び前記現在画像から抽出された画像特徴量に基づいて前記ロボットの現在位置と前記目標位置との差分を求め、当該差分が少なくなるように前記ロボットを制御するステップと、を有することを特徴とする。これにより、非注目領域から抽出される画像特徴量を少なくすることで、画像データ量を削減した場合であっても、有効な情報を不要な情報よりも相対的に増やすことができる。その結果、ビジュアルサーボの精度を高く維持することができる。

上記課題を解決するための第五の態様は、対象物を前記対象物の現在位置から前記対象物の目標位置へ移動させるようにロボットを制御するプログラムにおいて、前記目標位置に位置する前記対象物を撮影した画像である教示用画像を取得するステップと、前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報を取得するステップと、前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記教示用画像に対して行うステップと、前記処理された教示用画像から画像特徴量を抽出するステップと、前記現在位置に位置する前記対象物を撮影した画像である現在画像を取得するステップと、前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記現在画像に対して行うステップと、前記処理された現在画像から画像特徴量を抽出するステップと、前記教示用画像及び前記現在画像から抽出された画像特徴量に基づいて前記ロボットの現在位置と前記目標位置との差分を求め、当該差分が少なくなるように前記ロボットを制御するステップと、を演算装置に実行させることを特徴とする。これにより、非注目領域から抽出される画像特徴量を少なくすることで、画像データ量を削減した場合であっても、有効な情報を不要な情報よりも相対的に増やすことができる。その結果、ビジュアルサーボの精度を高く維持することができる。

本発明の第１の実施形態におけるロボットシステム１の構成の一例を示す図である。 ロボットシステム１の機能構成の一例を示すブロック図である。 制御部２０のハードウェア構成を示す図である。 ビジュアルサーボの処理の流れを示すフローチャートである。 画像変換処理の流れを示すフローチャートである。 ゴール画像の一例を示す図である。 ゴール画像上で注目領域及び非注目領域の中心点を指示した状態を示す図である。 ゴール画像上で注目領域及び非注目領域を表示した状態を示す図である。 本発明の第２の実施形態におけるビジュアルサーボの処理の流れを示すフローチャートである。

本発明の一実施形態について、図面を参照しながら説明する。

＜第１の実施形態＞
図１は、本発明の一実施形態におけるロボットシステム１の構成の一例を示すシステム構成図である。本実施形態におけるロボットシステム１は、主として、ロボット１０と、制御部２０と、撮影部３０とを備える。

ロボット１０は、複数のジョイント（関節）１２と、複数のリンク１３とを含むアーム部を有するアーム型のロボットである。アーム部の先端には、対象物（ワーク）を把持したり、道具を把持して対象物に対して所定の作業を行ったりすることが可能なハンド１４（いわゆるエンドエフェクター）が設けられる。以下、ロボット１０のアーム部及びハンド１４を可動部１１という。

ジョイント１２及びハンド１４には、それらを動作させるためのアクチュエーター（図示せず）が設けられる。アクチュエーターは、例えば、サーボモーターやエンコーダーなどを備える。エンコーダーが出力するエンコーダー値は、制御部２０によるロボット１０のフィードバック制御に使用される。

なお、ロボット１０の構成は、本実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。一般的な把持ロボットが備える構成を排除するものではない。例えば、図１では６軸のアームが示されているが、軸数（ジョイント数）をさらに増加させてもよいし、減らしてもよい。リンクの数を増減させてもよい。また、アーム、ハンド、リンク、ジョイント等の各種部材の形状、大きさ、配置、構造等も適宜変更してよい。また、エンドエフェクターはハンド１４に限られない。また、ロボットは、アームを２本有するいわゆる双腕ロボットとすることもできる。さらに、配置空間を作ることの出来るロボットであれば、どのような態様のロボット、例えば自走式のロボットにも適用することもできる。

制御部２０は、ロボット１０の全体を制御する処理を行う。制御部２０は、ロボット１０の本体とは離れた場所に設置してもよいし、ロボット１０に内蔵してもよい。制御部２０がロボット１０の本体と離れた場所に設置されている場合には、制御部２０は、有線又は無線でロボット１０と接続される。

撮影部３０は、可動部１１の作業領域付近を撮影して、画像データを生成するユニットである。撮影部３０は、例えば、カメラを含み、作業台、天井、壁などに設けられる。図１では、撮影部３０は、作業台の外側に設けられている。撮影部３０としては、可視光カメラ、赤外線カメラ等を採用することができる。撮影部３０は制御部２０に接続され、撮影部３０により撮影された画像は制御部２０に入力される。なお、撮影部３０は、制御部２０ではなくロボット１０に接続されるようにしてもよいし、ロボット１０に内蔵されるようにしてもよい。この場合には、撮影部３０により撮影された画像は、ロボット１０を介して制御部２０に入力される。

次に、ロボットシステム１の機能構成例について説明する。図２は、ロボットシステム１の機能ブロック図である。

ロボット１０は、アクチュエーターのエンコーダー値、及びセンサーのセンサー値等に基づいて可動部１１を制御する動作制御部１０１を備える。

動作制御部１０１は、出力部２０９から出力された情報、アクチュエーターのエンコーダー値、及びセンサーのセンサー値等に基づいて可動部１１を制御する。例えば、動作制御部１０１は、出力部２０９から出力された移動方向及び移動量で可動部１１を移動させるように、アクチュエーターを駆動させる。

また、動作制御部１０１は、アクチュエーターのエンコーダー値等から可動部１１の移動方向及び移動量を求め、アクチュエーターの駆動を制御し、かつ可動部１１の移動方向及び移動量を制御情報取得部２０４に出力する。

制御部２０は、主として、中央制御部２０１と、記憶部２０２と、撮影制御部２０３と、制御情報取得部２０４と、画像変換部２０５と、特徴量抽出部２０６と、動作決定部２０７と、表示制御部２０８と、出力部２０９とを備える。

中央制御部２０１は、他の各部（２０２〜２０８）を統括的に制御する。

記憶部２０２は、各種データやプログラムを記憶する。

撮影制御部２０３は、撮影部３０を制御する。例えば、撮影制御部２０３は、撮影部３０に対して、画像を撮影するように指示を出力する。そして、撮影制御部２０３は、撮影部３０で撮影された画像データを取得する。

制御情報取得部２０４は、動作制御部１０１の制御結果を取得する。

画像変換部２０５は、撮影制御部２０３を介して取得された画像に対して、撮影制御部２０３を介して取得された画像の重要な部分であるワークＷ等を含む領域（以下、注目領域という）から抽出される画像特徴量は変えず、注目領域以外の領域から抽出される画像特徴量を少なくする画像変換を行う。本実施形態では、抽出される画像特徴量を少なくする方法として、画像をぼかす方法を用いる。画像変換部２０５の処理については、後に詳述する。

特徴量抽出部２０６は、画像変換部２０５が処理した画像から、コーナー、エッジ、色等の画像特徴量を抽出する。画像から画像特徴量を抽出する方法は、すでに公知の様々な方法を用いることができる。

動作決定部２０７は、撮影制御部２０３で撮影された画像及び制御情報取得部２０４が取得した情報に基づいて可動部１１の動作を決定する。動作決定部２０７の処理については、後に詳述する。

表示制御部２０８は、出力装置２６（後に説明）へ画像等を表示させる。また、表示制御部２０８は、出力装置２６に表示された画像に様々な情報を重畳表示させる。表示制御部２０８の処理については、すでに公知であるため、説明を省略する。

出力部２０９は、動作決定部２０７が決定した動作内容を動作制御部１０１に出力する。

図３は、制御部２０の概略構成の一例を示すブロック図である。図示するように、例えばコンピューターなどで構成される制御部２０は、演算装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、揮発性の記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や不揮発性の記憶装置であるＲＯＭ（Ｒｅａｄ ｏｎｌｙ Ｍｅｍｏｒｙ）からなるメモリー２２と、外部記憶装置２３と、ロボット１０等の外部の装置と通信を行う通信装置２４と、マウスやキーボード等の入力装置２５と、ディスプレイ等の出力装置２６と、ＣＤドライブ、ＤＶＤドライブ等の読み書き装置２７と、制御部２０と他のユニットを接続するインターフェイス（Ｉ／Ｆ）２８とを備える。

上記の各機能部は、例えば、ＣＰＵ２１がメモリー２２に格納された所定のプログラムをメモリー２２に読み出して実行することにより実現される。なお、所定のプログラムは、例えば、予めメモリー２２にインストールされてもよいし、通信装置２４を介してネットワークからダウンロードされてインストール又は更新されてもよい。

以上のロボットシステム１の構成は、本実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。例えば、ロボット１０が制御部２０や撮影部３０を備えていてもよい。また、一般的なロボットシステムが備える構成を排除するものではない。

次に、本実施形態における、上記構成からなるロボットシステム１の特徴的な処理について説明する。

図４は、ビジュアルサーボの処理の流れを示すフローチャートである。この処理は、例えば、図示しないボタン等を介してビジュアルサーボの開始指示が入力されることにより開始される。

中央制御部２０１は、可動部１１を目標位置に位置させた状態で可動部１１を撮影した教示用画像（以下、ゴール画像という）を撮影するように、撮影制御部２０３、制御情報取得部２０４及び出力部２０９を制御する（ステップＳ１００）。具体的には、まず、制御情報取得部２０４及び出力部２０９は、入力装置２５等を介して入力された目標位置に可動部１１を移動させる。目標位置に可動部１１が移動されたら、撮影制御部２０３は、撮影部３０に撮影指示を出力し、撮影部３０が撮影した画像であるゴール画像を取得する。

なお、本実施形態では、ハンド１４が把持するワーク（対象物）Ｗを最終目的地に配置するときの可動部１１の位置及び姿勢を、可動部１１の目標位置とする。また、本実施形態では、ワークＷを対象物として、ワークが目標位置に位置するようにビジュアルサーボを行うとする。

画像変換部２０５は、ステップＳ１００で取得したゴール画像の注目領域から抽出される画像特徴量は変えず、注目領域以外の領域から抽出される画像特徴量を少なくする画像変換を行う（ステップＳ１０２）。以下、ステップＳ１０２の処理について、図５に示すフローチャートを用いて詳細に説明する。

まず、画像変換部２０５は、表示制御部２０８を介して出力装置２６にゴール画像を表示させる（ステップＳ１０２０）。図６は、出力装置２６に表示されたゴール画像の一例である。ワークＷをハンド１４の４本の爪１４ａ、１４ｂ、１４ｃ、１４ｄで把持している。ワークＷの右側には、柱Ｐが写っている。また、ワークＷの左側には、複数のケーブル等が束ねられたケーブル類Ｃが写っている。

画像変換部２０５は、表示制御部２０８を介して、入力装置２５から注目領域を示す情報を入力するように促す出力を出力装置２６に表示させる。入力装置２５を介して注目領域を示す情報が入力されると、画像変換部２０５はこれを取得する（ステップＳ１０２２）。本実施形態では、注目領域を示す情報として、注目領域の中心位置を示す点の位置の入力を受け付ける。入力される点の数は、いくつでもよい。ここで取得された注目領域を示す情報は、ゴール画像及び現在画像（後に説明）に共通である。

また、注目領域を示す情報が入力されたら、表示制御部２０８は、出力装置２６に表示されたゴール画像に注目領域を示す情報を重ねて表示させる（ステップＳ１０２２）。

画像変換部２０５は、表示制御部２０８を介して、入力装置２５から非注目領域を示す情報を入力するように促す出力を出力装置２６に表示させる。入力装置２５を介して非注目領域を示す情報が入力されると、画像変換部２０５はこれを取得する（ステップＳ１０２４）。本実施形態では、非注目領域を示す情報として、非注目領域の中心位置を示す点の位置の入力を受け付ける。入力される点の数は、いくつでもよい。ここで取得された非注目領域を示す情報は、ゴール画像及び現在画像に共通である。

また、非注目領域を示す情報が取得されたら、表示制御部２０８は、出力装置２６に表示されたゴール画像に非注目領域を示す情報を重ねて表示させる（ステップＳ１０２４）。

図７は、ステップＳ１０２２、Ｓ１０２４が行われた後における、出力装置２６に表示されたゴール画像の一例である。図７の丸印は、注目領域の中心位置を示す点（中心点）であり、図７のバツ印は、非注目領域の中心位置を示す点（中心点）である。出力装置２６には、注目領域の中心点及び非注目領域の中心点が、ゴール画像に重ねて表示されている。このように、注目領域の中心点及び非注目領域の中心点をゴール画像に重ねて表示することで、ユーザは、注目領域、非注目領域が正しく設定されるかどうかを確認することができる。この段階で、画像変換部２０５は、注目領域を示す情報及び非注目領域を示す情報の新規入力や修正入力を受け付けるようにしてもよい。

画像変換部２０５は、ステップＳ１０２２、Ｓ１０２４で取得した注目領域を示す情報及び非注目領域を示す情報に基づいて、非注目領域は強くぼかし、注目領域及び非注目領域以外は弱くぼかすような処理をゴール画像に対して行う（ステップＳ１０２６）。以下、ステップＳ１０２６の処理について詳細に説明する。

注目領域、非注目領域の大きさは、あらかじめ設定されている。例えば、注目領域は直径１２０ピクセルであり、非注目領域は直径５０ピクセルである。したがって、ステップＳ１０２２、Ｓ１０２４で取得した注目領域の中心点及び非注目領域の中心点と、あらかじめ設定された大きさから、注目領域、非注目領域が求められる。なお、本実施形態の中心点は、中心及びその周辺数画素を含む概念である。

図８は、図７に示す位置に注目領域及び非注目領域の中心位置が入力された場合の、注目領域及び非注目領域を示す図である。図８の白抜きの領域、すなわち図７の丸印を中心とした一定範囲の円形の領域が、注目領域Ｘである。図８の濃い網掛けの領域、すなわち図７のバツ印を中心とした一定範囲の円形の領域が、非注目領域Ｙである。図８の薄い網掛けの領域は、注目領域及び非注目領域でない領域である領域Ｚである。

画像変換部２０５は、非注目領域Ｙについては強いぼかし処理を行い、領域Ｚについては弱いぼかし処理を行う。画像変換部２０５は、注目領域Ｘについては、何ら処理を行わない。

ぼかし処理には、例えば、一定数の画素（画素数Ｎ）を１つのブロックにまとめ、１ブロック内のすべての画素の濃度をブロック内の画素の平均濃度に置き換えるモザイク処理、ガウシアンフィルタを用いてある画素とその周囲の画素といっしょに畳み込み積分を行うガウシアンぼかし等の様々なすでに公知の方法を用いることができる。本実施形態では、モザイク処理を用いることとする。モザイク処理は、画像をぼかすと共に、画素数を減らすことができる。非注目領域Ｙについては画素数Ｎを大きくし、領域Ｚについては画素数Ｎを小さくすることにより、非注目領域Ｙのぼかしの強度を領域Ｚのぼかしの強度より強くすることができる。なお、ぼかし処理の強さ、すなわち画素数Ｎは、あらかじめ設定されていてもよいし、入力装置２５からの入力により適宜調整してもよい。

ぼかし処理を行うことで、高周波成分がなくなる。また、ぼかし処理を行うことで、輝度の勾配が緩やかになる。その結果、コーナーやエッジ等の輝度の勾配が急に変わる部分の特徴が弱くなり、抽出される画像特徴量を少なくすることができる。また、ぼかし処理により画素数を減らすことができる。

さらに、非注目領域Ｙのぼかし処理の強さを領域Ｚのぼかし処理の強さより強くすることで、重要でない部分から抽出される画像特徴量を少なくすると共に、最も不要な非注目領域から抽出される画像特徴量を更に少なくすることができる。

なお、本実施形態では、注目領域Ｘ及び非注目領域Ｙの中心点を入力しているので、注目領域Ｘと非注目領域Ｙとが重なる場合も考えられる。図８に示す例においては、注目領域Ｘと非注目領域Ｙとが重なる領域Ｘ’がある。この場合には、画像変換部２０５は、注目領域Ｘと非注目領域Ｙとが重なった領域Ｘ’を非注目領域Ｙとして、ぼかし処理を行う。なお、注目領域Ｘと非注目領域Ｙとが重なった領域をどのように扱うかは、予め定めておいてもよいし、ユーザに設定させてもよい。例えば、注目領域Ｘと非注目領域Ｙとが重なった場合には、表示制御部２０８が出力装置２６に入力を促す表示を表示させ、入力装置２５を介して入力を受け付けたら、画像変換部２０５が入力結果に基づいて注目領域Ｘと非注目領域Ｙとが重なった領域をどのように扱うかを設定すればよい。

このようにして画像変換部２０５により処理が行われたゴール画像は、特徴量抽出部２０６へ出力される。特徴量抽出部２０６は、処理が行われたゴール画像を取得し、処理が行われたゴール画像から画像特徴量を抽出する（ステップＳ１０４）。本実施形態では、画像特徴量として特徴ベクトルが求められる。ステップＳ１０２で非注目領域Ｙ及び領域Ｚにぼかし処理を施しているため、非注目領域Ｙ及び領域Ｚから画像特徴量が抽出されにくくっている。特に、非注目領域Ｙには強いぼかし処理を行っているため、非注目領域Ｙからは画像特徴量がほとんど抽出されない。したがって、注目領域Ｘからのみ画像特徴量の抽出が行われ、有効な特徴量のみが抽出される。

これにより、ビジュアルサーボの準備段階が終了する。ビジュアルサーボの準備段階は、ロボット１０を用いた生産を始める前に行っておく。ビジュアルサーボの準備段階が終了したら、ロボット１０を用いた生産を開始し、その後のビジュアルサーボの各ステップ（ステップＳ１０６〜Ｓ１２２）を行う。

撮影制御部２０３は、ゴール画像と同じ画角の画像を撮影するように撮影部３０を制御し、撮影部３０が撮影した画像である現在画像を取得する（ステップＳ１０６）。現在画像は、現在の可動部１１の位置及び姿勢（以下、可動部１１の位置という）を示す画像である。なお、本発明では、可動部１１の位置及び姿勢を、可動部１１の位置と定義する。そのため、以下、可動部１１の位置及び姿勢を、単に、可動部１１の位置という。

画像変換部２０５は、ステップＳ１０６で取得した現在画像をぼかし処理する（ステップＳ１０８）。ステップＳ１０８で現在画像をぼかし処理する方法は、ステップＳ１０２でゴール画像をぼかし処理する方法と同一であるため、説明を省略する。画像変換部２０５により処理が行われた現在画像は、特徴量抽出部２０６へ出力される。

特徴量抽出部２０６は、処理が行われた現在画像を取得し、処理が行われた現在画像から画像特徴量を抽出する（ステップＳ１１０）。本実施形態では、画像特徴量として特徴ベクトルが求められる。

動作決定部２０７は、ステップＳ１０４でゴール画像から抽出された画像特徴量と、ステップＳ１１０で現在画像から抽出された画像特徴量とを取得する。そして、動作決定部２０７は、取得した画像を比較することにより、現在の可動部１１の位置と目標位置との距離を計算する（ステップＳ１１２）。

現在の可動部１１の位置と目標位置との距離は、以下の数式（１）により、現在画像から抽出された画像特徴量である特徴ベクトルと、ゴール画像から抽出された画像特徴量である特徴ベクトルとの差分で算出される。

動作決定部２０７は、ステップＳ１１２で算出された距離が、特定の閾値以下であるか否か、すなわち収束しているか否かを判定する（ステップＳ１１４）。ステップＳ１１２で算出された距離が、特定の閾値以下である場合（ステップＳ１１４でＹＥＳ）には、現在の可動部１１の位置と目標位置との差が閾値以下、すなわち収束している場合であるため、中央制御部２０１は、処理を終了する。

ステップＳ１１２で算出された距離が、特定の閾値以下でない場合（ステップＳ１１４でＮＯ）には、動作決定部２０７は、以下の数式（２）を用いて、ヤコビアンの推定及び更新を行う（ステップＳ１１６）。なお、数式（２）のｎは今回を意味し、ｎ−１は前回を意味する。最初のヤコビアンは、対角行列、作業実施済みである場合は前回の値、等を用いることができる。

動作決定部２０７は、以下の数式（３）を用いて、推定されたヤコビアンからジョイント角の差分を算出する（ステップＳ１１８）。

動作決定部２０７は、ステップＳ１１８で算出されたジョイント角の差分を出力部２０９に出力する。出力部２０９は、ジョイント角の差分を動作制御部１０１に出力する（ステップＳ１２０）。これにより、可動部１１が移動される。

中央制御部２０１は、ステップＳ１０６が行われた後で一定の時間（以下、サンプリング時間という）が経過するまで待機する（ステップＳ１２２）。中央制御部２０１は、ステップＳ１０６が行われた後、サンプリング時間が経過したら、再度ステップＳ１０６を行う。すなわち、ステップＳ１０６〜Ｓ１２２では、可動部１１の現在位置と目標位置との差分を求め、差分が閾値以下となるまで、差分が少なくなるように可動部１１をフィードバック制御している。

本実施形態によれば、画像を小さくして画像データ量を削減することで、処理時間を短縮化することができる。かつ、画像を小さくするにあたり、注目領域以外の領域に対してぼかし処理を行うため、不要な画像特徴量の抽出を極力行わないようにすることができる。その結果、ロボットの挙動を安定させ、ビジュアルサーボの精度を高く維持することができる。

なお、本実施形態では、画像の注目領域から抽出される画像特徴量は変えず、注目領域以外の領域から抽出される画像特徴量を少なくする画像変換として、画像をぼかす処理を行ったが、抽出される画像特徴量を少なくする処理はこれに限られない。例えば、画像の輝度を落とすことにより、画像特徴量が抽出できにくいようにしてもよい。処理の強さは、輝度を落とす程度や、輝度の勾配を変えることにより、変えることができる。

また、本実施形態では、注目領域、非注目領域の大きさは、あらかじめ設定されていたが、大きさは任意に設定できてもよい。ステップＳ１０２２、Ｓ１０２４で注目領域の中心点及び非注目領域の中心点の入力を受け付けたが、ステップＳ１０２２、Ｓ１０２４において、注目領域及び非注目領域の中心点だけでなく、大きさの入力を受け付けるようにすればよい。また、ステップＳ１０２２、Ｓ１０２４において、注目領域及び非注目領域の中心点及び大きさではなく、範囲そのものの入力を受け付けるようにしてもよい。これにより、注目領域及び非注目領域をより柔軟に設定することができる。

また、本実施形態では、注目領域、非注目領域の形状を円形としたが、注目領域、非注目領域の形状は円形に限らず、矩形等様々な形状とすることができる。また、範囲そのものの入力を受け付ける場合には、任意の形状の入力を受け付けるようにしてもよい。

また、本実施形態では、ゴール画像を出力装置に表示させて注目領域、非注目領域の入力を受け付けたが、現在画像を出力装置に表示させて注目領域、非注目領域の入力を受け付けるようにしてもよい。例えば、ゴール画像を用いてステップＳ１０２（図４参照）で設定した注目領域、非注目領域を、現在画像を用いて設定しなおすこともできる。

また、本実施形態では、ゴール画像を出力装置に表示させて注目領域、非注目領域の入力を受け付けたが、注目領域、非注目領域はあらかじめ設定しておいてもよい。例えば、注目領域は画像の中心の所定範囲（画像の全範囲の３割程度）とし、その他を非注目領域としてもよい。しかしながら、非注目領域は画像により大きく異なることが想定されるため、入力を受け付けるようにすることが望ましい。入力を受け付けることで、注目領域及び非注目領域を正確に設定することができる。

また、本実施形態では、領域Ｚは弱いぼかし処理を行い、非注目領域Ｙは強いぼかし処理を行ったが、領域Ｚを複数の領域に分けて段階的にぼかし処理の強さを変えるようにしてもよい。また、領域Ｚはぼかし処理を行わず、非注目領域Ｙについてのみぼかし処理を行うようにしてもよい。

また、本実施形態では、ハンド１４でワークＷを把持したが、可動部１１がワークＷを保持する形態はこれに限られない。例えば、ハンド１４の代わりに磁性体が、ワークＷを吸着するようにしてもよい。
＜第２の実施形態＞

本発明の第１の実施形態は、現在画像がゴール画像に一致するようにフィードバック制御を行う、すなわち画像特徴量から直接ジョイント角等の制御を行ういわゆる画像ベースビジュアルサーボを行ったが、本発明の適用範囲は画像ベースビジュアルサーボに限定されない。

本発明の第２の実施形態は、画像座標とロボット座標（ロボットの位置）とを結合するキャリブレーションが必要ないわゆる位置ベースのビジュアルサーボに本発明を適用した形態である。以下、本発明の第２の実施形態について説明する。なお、第１の実施形態と構成は同一であるため、構成についての説明を省略し、処理の流れについてのみ説明する。また、第１の実施形態と同一の部分については、同一の符号を付し、説明を省略する。

図９は、ビジュアルサーボの処理の流れを示すフローチャートである。この処理は、例えば、図示しないボタン等を介してビジュアルサーボの開始指示が入力されることにより開始される。

中央制御部２０１は、ゴール画像を撮影するように、撮影制御部２０３、制御情報取得部２０４及び出力部２０９を制御し、ゴール画像を取得する（ステップＳ１００）。

画像変換部２０５は、ステップＳ１００で取得したゴール画像の重要な部分である注目領域はぼかさず、非注目領域は強くぼかし、注目領域及び非注目領域以外の領域は弱くぼかす処理を行う（ステップＳ１０２）。

特徴量抽出部２０６は、処理が行われたゴール画像を取得し、処理が行われたゴール画像から特徴量抽出を行い、モデルとマッチングすることにより、対象物（または対象点）を検出する。そして、特徴量抽出部２０６は、画像座標をロボット座標に変換して、ゴール画像におけるロボット１０の位置及び姿勢を示す位置姿勢情報を取得する（ステップＳ１０５）。ここでは、対象はワークＷである。特徴量抽出を行った結果をモデルとマッチングすることにより対象物（または対象点）を検出する方法は、すでに公知であるため、説明を省略する。なお、対象物（または対象点）を検出する方法はこれに限られず、すでに公知の様々な方法を用いることができる。

これにより、ビジュアルサーボの準備段階が終了する。ビジュアルサーボの準備段階は、ロボット１０を用いた生産を始める前に行っておく。ビジュアルサーボの準備段階が終了したら、ロボット１０を用いた生産を開始し、その後のビジュアルサーボの各ステップ（ステップＳ１０６〜Ｓ１２２）を行う。

撮影制御部２０３は、現在画像を取得する（ステップＳ１０６）。画像変換部２０５は、ステップＳ１０６で取得した現在画像の重要な部分はぼかさず、その他の領域はぼかす処理を行う（ステップＳ１０８）。

特徴量抽出部２０６は、処理が行われた現在画像を取得し、処理が行われた現在画像から特徴量抽出を行い、モデルとマッチングすることにより、対象物（または対象点）を検出する。そして、特徴量抽出部２０６は、画像座標をロボット座標に変換して、現在画像におけるロボット１０の位置及び姿勢を示す位置姿勢情報を取得する（ステップＳ１１１）。

動作決定部２０７は、ステップＳ１０５で取得されたロボット１０の位置姿勢情報と、ステップＳ１１１で取得されたロボット１０の位置姿勢情報とを比較し、目標位置までの距離を計算する（ステップＳ１１３）。ここで、距離とは、可動部１１の位置（第１の実施形態と同様、位置及び姿勢を意味する）の差異を意味する。

動作決定部２０７は、ステップＳ１１３算出された距離が、特定の閾値以下であるか否か、すなわち収束しているか否かを判定する（ステップＳ１１５）。ステップＳ１１３で算出された距離が、特定の閾値以下である場合（ステップＳ１１５でＹＥＳ）には、現在の可動部１１の位置と目標位置との差が閾値以下、すなわち収束している場合であるため、中央制御部２０１は、処理を終了する。

ステップＳ１１３で算出された距離が、特定の閾値以下でない場合（ステップＳ１１５でＮＯ）には、動作決定部２０７は、ステップＳ１１１で算出された位置姿勢をロボット１０のジョイント角に変換する（ステップＳ１１７）。当該ステップの処理は、一般的な逆運動学の解法を用いることができるため、説明は省略する。本実施形態では、位置姿勢からロボット１０を直接制御できるため、ヤコビアンの推定は不要である。

動作決定部２０７は、ステップＳ１０５で算出されたゴール画像におけるロボット１０の位置姿勢情報からジョイント角を求め、このジョイント角とステップＳ１１７で算出されたジョイント角との差分を算出する（ステップＳ１１９）。

動作決定部２０７は、ステップＳ１１９で算出されたジョイント角の差分を出力部２０９に出力する。出力部２０９は、ジョイント角の差分を動作制御部１０１に出力する（ステップＳ１２１）。ステップＳ１２１は、ステップＳ１２０と出力する内容のみが異なり、その他は同一である。これにより、可動部１１が移動される。

中央制御部２０１は、ステップＳ１０６が行われた後、サンプリング時間が経過するまで待機する（ステップＳ１２２）。中央制御部２０１は、ステップＳ１０６が行われた後、サンプリング時間が経過したら、再度ステップＳ１０６を行う。

このように、本発明は、キャリブレーションの要、不要に限らず、画像を用いて位置制御を行う様々な技術に適用することができる。ただし、目標位置に近い位置で精密にロボットを移動させるいわゆる精密ビジュアルサーボについて、より有効である。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に多様な変更または改良を加えることが可能であることが当業者には明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。特に、本発明は、ロボットと、制御部及び撮影部とが別に設けられたロボットシステムとして提供してもよいし、ロボットに制御部及び撮影部が含まれたロボットとして提供してもよいし、制御部のみ、又は制御部及び撮影部からなるロボット制御装置として提供してもよい。また、本発明は、ロボット等を制御するプログラムやプログラムを記憶した記憶媒体として提供することもできる。

１：ロボットシステム、１０：ロボット、１１：可動部、１２：ジョイント、１３：リンク、１４：ハンド、１４ａ、１４ｂ、１４ｃ、１４ｄ：爪、２０：制御部、２１：ＣＰＵ、２２：メモリー、２３：外部記憶装置、２４：通信装置、２５：入力装置、２６：出力装置、２７：読み書き装置、２８：Ｉ／Ｆ、３０：撮影部、１０１：動作制御部、２０１：中央制御部、２０２：記憶部、２０３：撮影制御部、２０４：制御情報取得部、２０５：処理部、２０６：特徴量抽出部、２０７：動作決定部、２０８：表示制御部、２０９：出力部

Claims (10)

1. 対象物を前記対象物の現在位置から前記対象物の目標位置へ移動させるようにロボットを制御するロボット制御装置において、
   前記目標位置に位置する前記対象物を撮影した画像である教示用画像及び前記現在位置に位置する前記対象物を撮影した画像である現在画像を取得する画像取得部と、
   前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報を取得する情報取得部と、
   前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記教示用画像及び前記現在画像に対して行う画像処理部と、
   前記画像処理部により処理された教示用画像及び前記画像処理部により処理された現在画像から画像特徴量を抽出する画像特徴量抽出部と、
   前記教示用画像及び前記現在画像から抽出された画像特徴量に基づいて前記ロボットの現在位置と前記目標位置との差分を求め、当該差分が少なくなるように前記ロボットを制御する制御部と、
   を備えることを特徴とするロボット制御装置。
2. 請求項１に記載のロボット制御装置において、
   前記画像処理部は、前記第１の画像変換処理として、画像をぼかす処理又は画像の輝度を下げる処理を行う
   ことを特徴とするロボット制御装置。
3. 請求項１又は２に記載のロボット制御装置において、
   前記画像処理部は、前記非注目領域については前記画像変換処理を強く行い、前記非注目領域及び前記注目領域以外の領域については前記画像変換処理を弱く行う
   ことを特徴とするロボット制御装置。
4. 請求項１から３のいずれか一項に記載のロボット制御装置において、
   前記教示用画像又は前記現在画像を表示する表示部と、
   前記表示部に表示された前記教示用画像又は前記現在画像に基づいて、前記注目領域を示す情報及び前記非注目領域を示す情報の入力を受け付ける入力部と、を備え、
   前記情報取得部は、前記入力された情報を前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報として取得する
   ことを特徴とするロボット制御装置。
5. 請求項４に記載のロボット制御装置において、
   前記入力部は、前記注目領域を示す情報及び前記非注目領域を示す情報として、前記注目領域及び前記非注目領域の中心点の入力を受け付ける、又は前記注目領域及び前記非注目領域の中心点及び範囲の入力を受け付ける
   ことを特徴とするロボット制御装置。
6. 請求項４又は５に記載のロボット制御装置において、
   前記入力部は、前記注目領域と前記非注目領域との重複領域がある場合に、前記重複領域で前記画像変換処理を行うか否か示す入力を受け付け、
   前記入力部が前記重複領域で前記画像変換処理を行うことを示す入力を受け付けた場合は、前記画像処理部は、前記重複領域で前記画像変換処理を行い、前記入力部が前記重複領域で前記画像変換処理を行わないことを示す入力を受け付けた場合は、前記画像処理部は、前記重複領域で前記画像変換処理を行わない
   ことを特徴とするロボット制御装置。
7. 対象物を前記対象物の現在位置から前記対象物の目標位置へ移動させるようにロボットを制御するロボットシステムにおいて、
   ロボットと、
   前記目標位置に位置する前記対象物を撮影した画像である教示用画像及び前記現在位置に位置する前記対象物を撮影した画像である現在画像を撮影する撮影部と、
   前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報を取得する情報取得部と、
   前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記教示用画像及び前記現在画像に対して行う画像処理部と、
   前記画像処理部により処理された教示用画像及び前記画像処理部により処理された現在画像から画像特徴量を抽出する画像特徴量抽出部と、
   前記教示用画像及び前記現在画像から抽出された画像特徴量に基づいて前記ロボットの現在位置と前記目標位置との差分を求め、当該差分が少なくなるように前記ロボットを制御する制御部と、
   を備えることを特徴とするロボットシステム。
8. 対象物を前記対象物の現在位置から前記対象物の目標位置へ移動させるように可動部を制御するロボットにおいて、
   可動部と、
   前記目標位置に位置する前記対象物を撮影した画像である教示用画像及び前記現在位置に位置する前記対象物を撮影した画像である現在画像を取得する画像取得部と、
   前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報を取得する情報取得部と、
   前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記教示用画像及び前記現在画像に対して行う画像処理部と、
   前記画像処理部により処理された教示用画像及び前記画像処理部により処理された現在画像から画像特徴量を抽出する画像特徴量抽出部と、
   前記教示用画像及び前記現在画像から抽出された画像特徴量に基づいて前記可動部の現在位置と前記目標位置との差分を求め、当該差分が少なくなるように前記可動部を制御する制御部と、
   を備えることを特徴とするロボット。
9. 対象物を前記対象物の現在位置から前記対象物の目標位置へ移動させるようにロボットを制御するロボット制御方法において、
   前記目標位置に位置する前記対象物を撮影した画像である教示用画像を取得するステップと、
   前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報を取得するステップと、
   前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記教示用画像に対して行うステップと、
   前記処理された教示用画像から画像特徴量を抽出するステップと、
   前記現在位置に位置する前記対象物を撮影した画像である現在画像を取得するステップと、
   前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記現在画像に対して行うステップと、
   前記処理された現在画像から画像特徴量を抽出するステップと、
   前記教示用画像及び前記現在画像から抽出された画像特徴量に基づいて前記ロボットの現在位置と前記目標位置との差分を求め、当該差分が少なくなるように前記ロボットを制御するステップと、
   を有することを特徴とするロボット制御方法。
10. 対象物を前記対象物の現在位置から前記対象物の目標位置へ移動させるようにロボットを制御するプログラムにおいて、
    前記目標位置に位置する前記対象物を撮影した画像である教示用画像を取得するステップと、
    前記教示用画像及び前記現在画像における注目領域及び非注目領域を示す情報を取得するステップと、
    前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記教示用画像に対して行うステップと、
    前記処理された教示用画像から画像特徴量を抽出するステップと、
    前記現在位置に位置する前記対象物を撮影した画像である現在画像を取得するステップと、
    前記注目領域から抽出される画像特徴量は変えず、かつ前記非注目領域から抽出される画像特徴量を少なくする第１の画像変換処理を、前記現在画像に対して行うステップと、
    前記処理された現在画像から画像特徴量を抽出するステップと、
    前記教示用画像及び前記現在画像から抽出された画像特徴量に基づいて前記ロボットの現在位置と前記目標位置との差分を求め、当該差分が少なくなるように前記ロボットを制御するステップと、
    を演算装置に実行させることを特徴とするプログラム。

Images