JP2021049606A - ロボットを制御するロボット装置の制御装置 - Google Patents

Abstract

【課題】作業ツールが部材を把持したときに把持のずれが生じた場合にも作業を継続することができるロボット装置の制御装置を提供する。【解決手段】ロボット装置５の制御装置は、第１のワーク８１を撮像するカメラ２５を備える。第１のワーク８１に対して第２のワーク９１が目標の位置に配置されているときにカメラ２５にて撮像した画像における特徴部位の基準特徴量と、第２のワーク９１の把持のずれに関する特徴量の判定範囲とが定められている。制御装置は、カメラ２５の画像から検出された特徴量が基準特徴量に近づくようにロボット１の位置を変更する。制御装置は、特徴量が判定範囲を逸脱する場合に、カメラ２５にて画像を撮像する制御と、特徴量を検出する制御と、移動指令を生成する制御と、ロボット１を駆動する制御とを繰り返す。【選択図】図４

Description

本発明は、ロボットを制御するロボット装置の制御装置に関する。

ロボットを備えるロボット装置では、作業に応じた作業ツールをロボットに取り付けることにより所望の作業を行うことができる。例えば、作業ツールとしてワークを把持するハンドをロボットに取り付けることにより、ロボット装置は、ワークを所望の位置まで搬送することができる。また、ロボットの位置および姿勢を制御することにより、ロボット装置が把持しているワークを他のワークに取り付けたり、他のワークの内部に配置したりすることができる。

従来の技術においては、１つのワークを他のワークに取り付ける作業を行う場合に、カメラにて撮像した画像を用いてロボットの位置の制御を行うことが知られている。例えば、ワークのゴール画像を予め準備しておくことができる。ロボット装置にてワークを搬送する時にカメラにてワークを撮像する。そして、現在のワークの画像とゴール画像との差により、ロボットの位置を調整する制御が知られている（例えば、特開２０１３−１８０３８０号公報を参照）。

また、ロボット座標系に対して視覚センサ座標系を予め較正して、視覚センサ座標系におけるワークの位置に基づいてワークの３次元の位置を算出する制御が知られている。または、画像における特徴部位の位置および大きさに関するヤコビアン行列を予め生成することができる。カメラにて撮像した画像における特徴部位の位置、目標データにおける特徴部位の位置、およびヤコビアン行列に基づいてロボットの位置を修正する制御が知られている（例えば、特開２０１７−１７０５９９号公報、およびインターネットに公開された文献“視覚と制御”（著者：橋本浩一）を参照）。

ロボット装置がワークを把持するときに、ハンドにおけるワークの位置がずれる場合がある。この場合に、ハンドに把持されたワークをカメラにて撮像し、ロボットに対するワークの位置および姿勢を検出することが知られている。そして、ワークの位置および姿勢に基づいて、ハンドの位置および姿勢を調整する制御が知られている（例えば、特開２０１１−１３１３００号公報を参照）。

特開２０１３−１８０３８０号公報 特開２０１７−１７０５９９号公報 特開２０１１−１３１３００号公報

橋本浩一、"視覚と制御"、［２０１９年７月２６日検索］、インターネット＜URL：http://www.k2.t.u-tokyo.ac.jp/~koichi/Lecture/Pattern/2001/vs1.pdf＞）

ロボット装置にてワークの搬送を行う場合には、ロボットに取り付けられたハンドにてワークを把持する。ハンドは、様々な方法にてワークを把持することができる。例えば、ハンドは、ワークを挟むことにより把持したり、ワークを吸着することにより把持したりすることができる。ハンドにてワークを把持する時のハンドにおけるワークの位置は、予め定めておくことができる。

しかしながら、ハンドにおけるワークの位置が所望の位置からずれる場合がある。例えば、ハンドにてワークを把持する時にワークが載置されている位置がずれていると、ハンドにおけるワークの位置がずれる場合がある。または、ワークの製造誤差により、ハンドに対するワークの位置がずれる場合がある。または、ワークを把持した後にロボットが駆動すると、ワークが滑ってしまいハンドにおけるワークの位置がずれる場合がある。

ハンドにおけるワークの位置がずれた状態で、予め定められたロボットの位置および姿勢にロボットが駆動しても、ワークの位置は目標の位置からずれる。この結果、ワークを所望の位置に配置することができずに、ロボット装置の作業が失敗したと判定される場合がある。このために、ロボット装置の制御においては、ハンドがワークを把持したときの把持の位置のずれを考慮して、ロボットの位置を制御することが好ましい。

本開示の一態様は、作業ツールに把持された第２の部材をロボットにて移動して、第１の部材に対する第２の部材の相対的な位置を合わせるロボット装置の制御装置である。制御装置は、第１の部材を撮像する視覚センサと、視覚センサの出力を処理する演算処理部と、ロボットを駆動する動作制御部とを備える。第１の部材の位置を検出するための第１の部材の特徴部位が予め定められている。第１の部材に対して第２の部材が目標の位置に配置されているときに視覚センサにて撮像した画像における特徴部位の位置に関する基準特徴量と、作業ツールにおける第２の部材の把持のずれに関する特徴部位の特徴量の判定範囲とが定められている。演算処理部は、視覚センサにて撮像された画像において、特徴部位の位置に関する特徴量を検出する特徴量検出部を含む。演算処理部は、特徴量検出部にて検出された特徴量が判定範囲内であるか否かを判定する判定部と、ロボットを動作させる移動指令を生成する指令生成部とを含む。指令生成部は、特徴量検出部にて検出された特徴量および基準特徴量に基づいて、特徴量検出部にて検出された特徴量が基準特徴量に近づくようにロボットの位置を変更する移動指令を生成する。動作制御部は、指令生成部にて生成された移動指令に基づいてロボットを駆動する。判定部は、移動指令によりロボットの位置が移動した後の特徴量が判定範囲内であるか否かを判定する。制御装置は、特徴量が判定範囲を逸脱する場合に、視覚センサにて画像を撮像する制御と、特徴量検出部にて特徴量を検出する制御と、指令生成部にて移動指令を生成する制御と、動作制御部にてロボットを駆動する制御とを繰り返す。

本開示のロボット装置の制御装置は、作業ツールが部材を把持したときに把持のずれが生じた場合にも作業を継続することができる。

実施の形態における第１のロボット装置の概略図である。 第１のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。 実施の形態における第１のロボット装置のブロック図である。 ハンドに対して第２のワークの位置がずれているときの拡大斜視図である。 実施の形態における第１のロボット装置の第１の基準画像である。 実施の形態における第１の制御のフローチャートである。 第１の基準画像における第１の特徴量の判定範囲を示す図である。 実施の形態における第２の制御のフローチャートである。 第２の基準画像における第１の特徴量の判定範囲を示す図である。 実施の形態における第３の制御のフローチャートである。 第３の制御における第２の基準画像を示す図である。 実施の形態の第２のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。 実施の形態の第３のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。 実施の形態の第４のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。

図１から図１４を参照して、実施の形態におけるロボット装置の制御装置について説明する。本実施の形態では、製品を組み立てる作業を行うロボット装置を例に取り上げて説明する。

図１は、本実施の形態における第１のロボット装置の概略図である。図２は、第１のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。図１および図２を参照して、第１のロボット装置５は、作業ツール（エンドエフェクタ）としてのハンド２と、ハンド２を移動するロボット１とを備える。第１のロボット装置５は、第１の部材としての第１のワーク８１に第２の部材としての第２のワーク９１を取り付ける作業を行う。本実施の形態では、第２のワーク９１を第１のワーク８１に近づける制御を実施する。

ロボット１は、複数の関節部を含む多関節ロボットである。ロボット１は、ベース部１４と、ベース部１４に支持された旋回ベース１３とを含む。ベース部１４は、設置面に固定されている。旋回ベース１３は、ベース部１４に対して回転するように形成されている。ロボット１は、上部アーム１１および下部アーム１２を含む。下部アーム１２は、関節部を介して旋回ベース１３に回動可能に支持されている。上部アーム１１は、関節部を介して回動可能に下部アーム１２に支持されている。また、上部アーム１１は、上部アーム１１の延びる方向に平行な回転軸の周りに回転する。

ロボット１は、上部アーム１１の端部に連結されているリスト１５を含む。リスト１５は、関節部を介して回動可能に上部アーム１１に支持されている。リスト１５は、回転可能に形成されているフランジ１６を含む。ハンド２は、フランジ１６に固定されている。本実施の形態のロボット１は、６個の駆動軸を有するが、この形態に限られない。作業ツールを移動することができる任意のロボットを採用することができる。

ハンド２は、ワーク９１を把持したり解放したりする作業ツールである。ハンド２は、複数の爪部３を有する。ハンド２は爪部３が開いたり閉じたりするように形成されている。爪部３がワーク９１を挟むことによりワーク９１を把持する。第１のロボット装置５の作業ツールは、爪部３を有するハンド２であるが、この形態に限られない。作業ツールは、ワークを把持できるように形成されている任意の構成を採用することができる。例えば、空気圧による吸着または磁力によりワークを把持する作業ツールが採用されても構わない。

本実施の形態におけるロボット装置５は、第１のワーク８１を搬送する搬送機としてのコンベヤ７５を含む。搬送機は、ロボット１の周りに配置される。コンベヤ７５は、ワーク８１を予め定められた位置まで搬送するように形成されている。コンベヤ７５は、予め定められた移動速度にてワーク８１を搬送するように形成されている。図１に示す例では、紙面に垂直な方向にワーク８１が搬送される。

本実施の形態の第１のロボット装置５では、コンベヤ７５がワーク８１の搬送を継続しながらロボット１がワーク９１をワーク８１に取り付ける。すなわち、ワーク９１が取り付けられる作業を行う期間中に、ワーク８１はコンベヤ７５により移動している。ロボット１は、ワーク８１を追従するように位置および姿勢を変化させながらワーク９１をワーク８１に取り付ける。

第２のワーク９１は、表面から突出する把持部９４を有する。爪部３が把持部９４を掴むことにより、第２のワーク９１はハンド２に把持される。第１のワーク８１は、表面から突出する突出部８２，８３を有する。突出部８２および突出部８３は互いに離れて配置されている。また、ワーク８１は、突出部８２および突出部８３が鉛直方向に並ぶように、コンベヤ７５に支持されている。それぞれの突出部８２，８３の上面には、穴部８２ａ，８３ａが形成されている。第２のワーク９１は、表面から突出する突出部９２，９３を有する。それぞれの突出部９２，９３には、ピン９２ａ，９３ａが固定されている。ピン９２ａおよびピン９３ａは、互いに直線状に並ぶように配置されている。第１のロボット装置５は、ピン９２ａを穴部８２ａに挿入すると共に、ピン９３ａを穴部８３ａに挿入する作業を実施する。

ロボット装置５は、第１のワーク８１を撮像する視覚センサとしてのカメラ２５を備える。本実施の形態におけるカメラ２５は、２次元カメラである。カメラ２５は、支持部材１７を介してハンド２に支持されている。カメラ２５は、ハンド２と共に位置および姿勢が変化する。カメラ２５は、第２のワーク９１が第１のワーク８１に接近している期間中に第１のワーク８１の画像を撮像する。カメラ２５は、第２のワーク９１が第１のワーク８１から離れている時から第２のワーク９１が第１のワーク８１の近傍に配置されている時まで画像を撮像する。

カメラ２５は、第１のワーク８１の位置を検出するための第１のワーク８１の第１の特徴部位を撮像することができる様に配置されている。本実施の形態では、後述するように第１のワーク８１の第１の特徴部位は、突出部８３の側面に定められている。本実施の形態のカメラ２５は、光軸が第２のワーク９１が第１のワーク８１に向かう向き（基準座標系５１のＸ軸方向）にほぼ平行になるように配置されている。

ロボット装置５は、ハンド２に把持された第２のワーク９１の把持のずれ量を検出するための補助センサを備える。本実施の形態の補助センサは、視覚センサである固定カメラ２７にて構成されている。本実施の形態の固定カメラ２７は、２次元カメラである。固定カメラ２７は、架台７１により設置面に固定されている。固定カメラ２７は、ロボット１が位置および姿勢を変更することにより、第２のワーク９１を撮像できる位置に配置されている。

ロボット装置５には、基準座標系５１が設定されている。図１に示す例では、ロボット１のベース部１４に基準座標系５１の原点が配置されている。基準座標系５１はワールド座標系とも称される。基準座標系５１は、原点の位置が固定され、更に、座標軸の向きが固定されている座標系である。ロボット１の位置および姿勢が変化しても基準座標系５１の位置および向きは変化しない。基準座標系５１は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、Ｘ軸の周りの座標軸としてＷ軸が設定される。Ｙ軸の周りの座標軸としてＰ軸が設定される。Ｚ軸の周りの座標軸としてＲ軸が設定される。

ロボット装置５には、ハンド２と共に移動するツール座標系５２が設定されている。本実施の形態のツール座標系５２の原点は、ツール先端点に設定されている。ツール座標系５２は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、ツール座標系５２は、Ｘ軸の周りのＷ軸、Ｙ軸の周りのＰ軸、およびＺ軸の周りのＲ軸を有する。ロボット１の位置は、ツール座標系５２の原点の位置にて表すことができる。また、ロボット１の姿勢は、基準座標系５１に対するツール座標系５２の向きにて表すことができる。

図３に、本実施の形態におけるロボット装置のブロック図を示す。図１から図３を参照して、ロボット１は、ロボット１の位置および姿勢を変化させるロボット駆動装置を含む。ロボット駆動装置は、アームおよびリスト等の構成部材を駆動するロボット駆動モーター２２を含む。ロボット駆動モーター２２が駆動することにより、それぞれの構成部材の向きが変化する。

ハンド２は、ハンド２を駆動するハンド駆動装置を備える。ハンド駆動装置は、ハンド２の爪部３を駆動するハンド駆動モーター２１を含む。ハンド駆動モーター２１が駆動することによりハンド２の爪部３が開いたり閉じたりする。なお、爪部は、空気圧により作動するように形成されていても構わない。この場合には、ハンド駆動装置は、空気ポンプおよびシリンダなどの空気圧にて爪部を駆動する装置を含むことができる。

ロボット装置５の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４を含む。ロボット制御装置４は、プロセッサとしてのＣＰＵ（Central Processing Unit）を有する演算処理装置（コンピュータ）を含む。演算処理装置は、ＣＰＵにバスを介して接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。ロボット制御装置４には、ロボット１、ハンド２、およびコンベヤ７５の制御を行うために予め作成された動作プログラム４１が入力される。ロボット１およびハンド２は、動作プログラム４１に基づいて第２のワーク９１を搬送する。コンベヤ７５は、動作プログラム４１に基づいて第１のワーク８１を搬送する。

ロボット制御装置４の演算処理装置は、予め定められた情報を記憶する記憶部４２を含む。記憶部４２は、ロボット１、ハンド２、およびコンベヤ７５の制御に関する情報を記憶する。記憶部４２は、揮発性メモリ、不揮発性メモリ、またはハードディスク等の情報を記憶可能な記憶媒体にて構成されることができる。動作プログラム４１は、記憶部４２に記憶される。ロボット制御装置４は、ロボット装置５に関する任意の情報を表示する表示器４６を含む。表示器４６は、例えば、液晶表示パネルを含む。

演算処理装置は、ロボット１およびハンド２を駆動する動作指令を送出する動作制御部４３を含む。動作制御部４３は、動作プログラム４１に従って駆動するプロセッサに相当する。動作制御部４３は、記憶部４２に記憶された情報を読み取り可能に形成されている。プロセッサは、動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、動作制御部４３として機能する。

動作制御部４３は、動作プログラム４１に基づいてロボット１を駆動するための動作指令をロボット駆動部４５に送出する。ロボット駆動部４５は、ロボット駆動モーター２２を駆動する電気回路を含む。ロボット駆動部４５は、動作指令に基づいてロボット駆動モーター２２に電気を供給する。また、動作制御部４３は、動作プログラム４１に基づいてハンド２を駆動する動作指令をハンド駆動部４４に送出する。ハンド駆動部４４は、ハンド駆動モーター２１を駆動する電気回路を含む。ハンド駆動部４４は、動作指令に基づいてハンド駆動モーター２１に電気を供給する。更に、動作制御部４３は、動作プログラム４１に基づいて、カメラ２５および固定カメラ２７に画像を撮像する指令を送出する。

ロボット制御装置４の演算処理装置は、カメラ２５および固定カメラ２７の出力を処理する演算処理部３１を含む。演算処理部３１は、カメラ２５にて撮像された画像において、予め定められた特徴的な部分である特徴部位の特徴量を検出する特徴量検出部３２を有する。演算処理部３１は、特徴量検出部３２にて検出された特徴量が判定範囲内であるか否かを判定する判定部３６を有する。演算処理部３１は、特徴量の判定範囲を設定する範囲設定部３７を有する。

演算処理部３１は、固定カメラ２７の出力に基づいて、ハンド２に対する第２のワーク９１の把持のずれ量を算出する算出部３３を有する。演算処理部３１は、算出部３３により算出されたずれ量に基づいて、第１の基準特徴量を修正して第２の基準特徴量を生成する修正部３４を含む。また、演算処理部３１は、ロボット１を動作させる移動指令を生成する指令生成部３５を含む。

演算処理部３１は、動作プログラム４１に従って駆動するプロセッサに相当する。特に、特徴量検出部３２、判定部３６、範囲設定部３７、算出部３３、修正部３４、および指令生成部３５のそれぞれのユニットは、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサは、動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、それぞれのユニットとして機能する。

ロボット装置５は、ロボット装置５の運転状態を検出する状態検出器を備える。本実施の形態の状態検出器は、ロボット１の位置および姿勢を検出する位置検出器２３を含む。位置検出器２３は、アーム等の構成部材の駆動軸に対応するロボット駆動モーター２２に取り付けられている。例えば、位置検出器２３は、ロボット駆動モーター２２が駆動するときの回転角を検出する。位置検出器２３の出力に基づいて、ロボット１の位置および姿勢が検出される。

ロボット装置５の制御装置は、コンベヤ７５の動作を制御するコンベヤ制御装置７６を備える。コンベヤ制御装置７６は、ＣＰＵおよびＲＡＭ等を含む演算処理装置（コンピュータ）を含む。コンベヤ制御装置７６は、ロボット制御装置４と互いに通信することができるように形成されている。動作制御部４３は、動作プログラム４１に基づいて、コンベヤ７５を駆動する動作指令をコンベヤ制御装置７６に送出する。コンベヤ制御装置７６は、ロボット制御装置４からの動作指令を受信して、コンベヤ７５を駆動する。

本実施の形態のロボット装置５の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４と、コンベヤ７５を制御するコンベヤ制御装置７６とを備えるが、この形態に限られない。ロボット装置５は、１つの制御装置にて、ロボット１、ハンド２、およびコンベヤ７５を制御するように形成されていても構わない。

また、本実施の形態のロボット装置５の制御装置では、ロボット制御装置４がカメラ２５および固定カメラ２７の出力を処理する機能を有する演算処理部３１を含むが、この形態に限られない。ロボット装置の制御装置は、ロボット制御装置とは別に、演算処理部３１として機能する演算処理装置（コンピュータ）を備えていても構わない。この演算処理装置のプロセッサは、動作プログラムに基づいて駆動することにより、特徴量検出部、判定部、範囲設定部、算出部、修正部、および指令生成部として機能する。演算処理装置は、ロボット制御装置と互いに通信することができるように形成される。

図４に、実際の作業においてハンドにおける第２のワークの把持のずれが生じた時の第１のワーク、第２のワーク、およびハンドの拡大斜視図を示す。ロボット装置５がワーク９１を把持するときに、把持のずれが生じる場合がある。図４に示す例では、矢印１０２に示すように、ハンド２の爪部３に対して第２のワーク９１が下側にずれている。本実施の形態では、ワーク９１の把持のずれを考慮して制御を実施する。

（第１の制御）
次に、本実施の形態の第１の制御について説明する。本実施の形態の第１のロボット装置５の制御装置は、矢印１０１に示すように、穴部８２ａ，８３ａに対してピン９２ａ，９３ａを近づける制御を行う。制御装置は、カメラ２５にて撮像された画像に基づいて、突出部８３の近くに突出部９３が配置されるように、ワーク９１の位置を調整する。制御装置は、特に基準座標系５１のＹ軸方向およびＺ軸方向におけるワーク９１の位置を調整する。

本実施の形態の制御の後には、穴部８２ａの真上にピン９２ａを配置し、穴部８３ａの真上にピン９３ａを配置する制御を実施することができる。すなわち、ワーク９１の精密な位置合わせを実施することができる。そして、鉛直方向の下側にワーク９１を移動することにより、ピン９２ａ，９３ａが穴部８２ａ，８３ａに挿入されて、ワーク９１がワーク８１に取り付けられる。なお、本実施の形態の制御にて、穴部８２ａの真上にピン９２ａが配置され、穴部８３ａの真上にピン９３ａが配置されるまで、ワーク９１の位置を調整しても構わない。

第１の制御を実施する前には、ワーク８１に対するワーク９１の姿勢は調整されている。すなわち、ワーク９１のピン９２ａおよびピン９３ａの並ぶ方向が、ワーク８１の穴部８２ａおよび穴部８３ａの並ぶ方向と平行になるように、ロボット１の姿勢が調整されている。

図５に、本実施の形態の制御を行うための第１の基準画像を示す。本実施の形態の制御を実施する準備作業として、第１のワーク８１の第１の基準画像６１を生成する。第１の基準画像６１は、第１のワーク８１に対して第２のワーク９１が目標の位置に配置されている時にカメラ２５にて撮像された画像に相当する。また、第１の基準画像６１は、図２に示すように、ハンド２に対して第２のワーク９１が予め定められた位置にて把持されている時の画像である。すなわち、第１の基準画像６１は、第２のワーク９１の把持のずれが無い時の画像である。第１の基準画像６１は、作業者が予め作成して、記憶部４２に記憶させておくことができる。

本実施の形態では、第１のワーク８１の位置を検出するための特徴部位が予め定められている。特徴部位は、画像を解析した時に形状が検出できる部分である。特徴部位は、ワークの一部分、ワークの表面に形成された模様、ワークの表面に記載された線または図などを採用することができる。また、特徴部位は、第１のワーク８１および第２のワーク９１が移動してもカメラ２５の撮像範囲２５ａに含まれる位置に設定されることが好ましい。本実施の形態では、突出部８３の側面８３ｂが第１の特徴部位に定められている。

第１のワーク８１には、第１の特徴部位としての突出部８３の側面８３ｂに、設定点Ｐ１１が設定されている。設定点Ｐ１１は、突出部８３の側面８３ｂの角に設定されている。設定点Ｐ１１の位置は、ワーク８１の位置に相当する。設定点Ｐ１１は、カメラ２５にて撮像したときに画像に含まれる位置に設定されている。

図３、図４、および図５を参照して、演算処理部３１は、第１の基準画像６１における第１の基準特徴量を算出する。演算処理部３１の特徴量検出部３２は、第１の基準画像６１の第１の特徴部位を検出する。特徴部位の検出方法としては、ワーク８１の基準となるベース画像を予め準備しておくことができる。ベース画像とカメラ２５にて撮像した画像とを用いてテンプレートマッチング等の方法により、カメラ２５にて撮像した画像における特徴部位を検出することができる。ここでの例では、特徴量検出部３２は、突出部８３の側面８３ｂを検出する。

カメラ２５にて撮像された画像にはスクリーン座標系５３が設定されている。スクリーン座標系５３は、画像における任意の点を原点に設定したときの座標系である。スクリーン座標系５３は、互いに直交するｕ軸およびｖ軸を有する。スクリーン座標系５３は、カメラ２５の視覚センサ座標系に対応する。

本実施の形態の位置に関する特徴量は、画像におけるスクリーン座標系５３のｕ軸の座標値およびｖ軸の座標値である。特徴量検出部３２は、第１の基準画像６１において検出された第１の特徴部位に基づいて、第１の特徴部位に設定された設定点Ｐ１１の位置を検出する。特徴量検出部３２は、第１の基準特徴量として、設定点Ｐ１１のスクリーン座標系５３の座標値（u1b，v1b）を検出する。

このように、演算処理部３１は、基準画像６１における第１の基準特徴量を検出することができる。特徴量検出部３２にて検出された第１の基準特徴量は、記憶部４２に記憶することができる。なお、基準特徴量は、任意の方法にて検出することができる。例えば、作業者が基準画像上で設定点Ｐ１１を指定する。そして、特徴量検出部３２がスクリーン座標系５３における設定点Ｐ１１の座標値を検出しても構わない。

また、本実施の形態の第１の基準画像６１は、実際にカメラ２５にて撮像した画像を用いているが、この形態に限られない。第１の基準画像は、例えば、ロボット装置５およびワーク８１，９１の３次元データをＣＡＤ（Computer Aided Design）装置等により生成することができる。ワーク８１に対してワーク９１が目標の位置に配置されているときの３次元データを生成することができる。この３次元データをカメラの向きに対応する方向に沿って１つの平面に投影することにより、第１の基準画像６１を生成しても構わない。

図６に、本実施の形態における第１の制御のフローチャートを示す。第１の制御では、１個のカメラ２５にて撮像された画像を用いて、コンベヤ７５にて搬送されるワーク８１に対してワーク９１の位置を合わせる制御を実施する。前述の通りに、第１の制御の前には、ワーク８１の姿勢に対するワーク９１の姿勢は予め調整されている。すなわち、カメラ２５にて画像を撮像するときのロボット１の姿勢は調整されている。

図３から図６を参照して、始めに、ロボット装置５は、第２のワーク９１を把持する。例えば、作業台に載置されている第２のワーク９１をロボット装置５が把持する。この制御は、任意の制御にて実施することができる。本実施の形態では、図４に示すように、ワーク９１の把持のずれが生じている。すなわち、ハンド２に対する第２のワーク９１の把持部９４の位置が予め定められた位置からずれている。

ロボット装置５が第２のワーク９１を把持した時に、ハンド２に対するワーク９１のずれ量が小さい場合がある。例えば、ロボット装置５がワーク９１を把持する制御を精度よく行った場合には、ハンド２に対するワーク９１のずれ量は小さくなる。本実施の形態の制御では、第２のワーク９１を第１のワーク８１に接近させれば良い。すなわち、第１のワーク８１に対して第２のワーク９１の位置を精密に合わせなくても良い。そこで、第１の制御では、ハンド２に対するワーク９１のずれを予め定められた範囲内で許容する制御を実施する。

ステップ１２１においては、第１の基準画像６１において、第１の特徴部位の位置に関する第１の特徴量の判定範囲を設定する。第１の特徴量の判定範囲は、ハンド２における第２のワーク９１の把持のずれに関連する。第１の特徴量の判定範囲は、第１の基準特徴量に基づいて、設定点Ｐ１１の周りに設定することができる。

図７に、第１の特徴量の判定範囲を説明する第１の基準画像を示す。第１の基準画像６１において、第１の特徴量の判定範囲６５が設定されている。本実施の形態では、突出部８３の側面８３ｂの位置を示す設定点Ｐ１１から予め定められた距離の範囲を判定範囲６５に設定している。

判定範囲６５は、ワーク９１を搬送するときに許容できる把持のずれ量に応じて、形状および大きさを定めることができる。判定範囲６５は、第１の基準画像６１に対して作業者が予め設定することができる。例えば、作業者が表示器４６に表示された基準画像６１を見て、画面上で判定範囲６５を設定しても構わない。演算処理部３１の範囲設定部３７は、作業者の操作に応じて判定範囲６５を設定することができる。または、判定範囲６５の形状および大きさを予め記憶部４２に記憶しておくことができる。範囲設定部３７は、設定点Ｐ１１の位置および作業者が予め設定した形状および大きさに基づいて、判定範囲６５を設定しても構わない。例えば、範囲設定部３７は、設定点Ｐ１１の位置を中心として半径が１０ピクセルの円を判定範囲に設定することができる。

次に、第１のワーク８１に対して第２のワーク９１を近づける制御を実施する。本実施の形態では、第２のワーク９１が第１のワーク８１に向かう方向のワーク９１の移動速度は一定の速度が採用されている。図４を参照して、基準座標系５１のＸ軸の方向にロボット１の位置が移動する速度は、一定の速度が採用されている。更に、第１の制御を実施することにより、ロボット１の位置の調整を行う。

ステップ１１４において、カメラ２５は、第１のワーク８１の第１の特徴部位である突出部８３の側面８３ｂを撮像する。ステップ１１５およびステップ１１６は、第１の基準画像６１に対する制御と同様である。ステップ１１５においては、特徴量検出部３２は、カメラ２５にて撮像した画像の特徴部位を検出する。特徴部位を検出するためのベース画像としては、基準画像６１を用いても構わない。ここでは、第１の特徴部位としてワーク８１の突出部８３の側面８３ｂを検出する。

ステップ１１６において、特徴量検出部３２は、カメラ２５にて撮像した画像における第１の特徴量を検出する。特徴量検出部３２は、第１の特徴部位の位置に関する第１の特徴量として、設定点Ｐ１１のスクリーン座標系５３の座標値（u1m，v1m）を検出する。

ステップ１１７において、指令生成部３５は、第１の特徴量と第１の基準特徴量との差である相対位置量を算出する。換言すると、指令生成部３５は、カメラ２５にて撮像した画像における設定点Ｐ１１の位置と、第１の基準画像６１における設定点Ｐ１１の位置との相対的な位置の差を算出する。本実施の形態では、指令生成部３５は、それぞれの座標軸において、カメラ２５にて撮像した画像における設定点Ｐ１１の座標値から第１の基準画像６１における設定点Ｐ１１の座標値を減算した値を算出する。相対位置量は、それぞれのｕ軸およびｖ軸に関する値として［（u1m-u1b）,（v1m-v1b）］にて表すことができる。このように、本実施の形態では、ｕ軸に関する相対位置量と、ｖ軸に関する相対位置量とを算出する。

ステップ１１８において、指令生成部３５は、相対位置量に基づいて、ロボット１の駆動方法を設定する。指令生成部３５は、基準座標系５１におけるロボット１の位置の移動方向および移動量を設定する。本実施の形態では、相対位置量に対するロボットの位置の移動方向が予め定められている。スクリーン座標系５３のｕ軸の正の値または負の値に対してロボット１の位置の移動方向が、基準座標系５１にて定められている。

更に、相対位置量に対するロボット１の位置の移動量の算出方法が予め定められている。例えば、ｕ軸に対応する方向におけるロボット１の位置の移動量は、ｕ軸に関する値（u1m-u1b）に、予め定められた係数を乗じた値を採用することができる。また、ｖ軸に対応する方向におけるロボット１の位置の移動量は、ｖ軸に関する値（v1m-v1b）に、予め定められた係数を乗じた値を採用することができる。このように、スクリーン座標系５３の各軸に対応する方向において、ロボット１の位置の移動量を算出することができる。

なお、本実施の形態においては、ワーク９１がワーク８１に徐々に近づく制御を実施している。このために、ワーク９１がワーク８１に向かう方向のロボット１の位置の移動量に応じて、上記の係数を変化させても構わない。

本実施の形態では、ｕ軸に関する相対位置量に基づいて基準座標系５１におけるＸ軸方向の移動量、Ｙ軸方向における移動量、およびＺ軸方向の移動量を算出することができる。また、ｖ軸に関する相対位置量に基づいて、基準座標系５１におけるＸ軸方向の移動量、Ｙ軸方向における移動量、およびＺ軸方向の移動量を算出することができる。このために、基準座標系５１において、一つの座標軸に対して２つの移動量（ｕ軸に関する移動量およびｖ軸に関する移動量）が算出される場合がある。この場合には、２つの移動量が算出される座標軸の方向にはロボット１の位置を移動しなくても構わない。または、それぞれの移動量に係数を乗じて最終的な移動量を算出しても構わない。または、いずれか一方の移動量を採用しても構わない。

また、第２のワーク９１が第１のワーク８１に向かう方向のワーク９１の移動量は採用しなくても構わない。例えば、図１を参照して、基準座標系５１のＸ軸の方向にロボット１の位置が移動する移動速度は、相対位置量から算出される移動速度に関わらずに、一定の速度が採用されても構わない。

次に、ステップ１１９において、ロボット１の位置の移動方向および移動量に基づいて、ロボット１を駆動する。指令生成部３５は、ロボット１の位置の移動方向および移動量に基づいて、ロボット１の位置を変更する移動指令を生成する。指令生成部３５は、移動指令を動作制御部４３に送出する。動作制御部４３は、移動指令に基づいてロボットを駆動する。

このように、指令生成部３５は、特徴量検出部３２により検出された第１の特徴量および第１の基準特徴量に基づいて、第１の特徴量が第１の基準特徴量に近づくようにロボットの位置を変更する制御を実施することができる。すなわち、カメラ２５にて撮像された画像における設定点Ｐ１１の位置が、第１の基準画像６１における設定点Ｐ１１の位置に近づくようにロボットの位置を変更することができる。

次に、ステップ１２２からステップ１２４では、ステップ１１４からステップ１１６までの制御と同様の制御を実施する。特徴量検出部３２は、カメラ２５にて撮像した画像に基づいて、ロボット１の位置が移動した後の第１の特徴量を検出する。すなわち、特徴量検出部３２は、画像における設定点Ｐ１１の位置を検出する。

ステップ１２５において、判定部３６は、指令生成部３５が生成した移動指令によりロボット１の位置が移動した後の第１の特徴量が判定範囲６５内であるか否かを判定する。すなわち、判定部３６は、カメラ２５にて撮像した画像における設定点Ｐ１１が判定範囲６５の内部に配置されているか否かを判定する。

特徴量検出部３２が検出した第１の特徴量が判定範囲６５から逸脱している場合には、制御はステップ１１７に戻る。そして、ステップ１１７からステップ１１９の制御を繰り返す。換言すると、特徴量検出部３２にて検出された第１の特徴量に基づいて指令生成部３５が移動指令を生成する制御と、動作制御部４３がロボット１を駆動する制御とを繰り返す。ステップ１２５において、特徴量検出部３２が検出した第１の特徴量が判定範囲６５内である場合には、制御は、ステップ１２０に移行する。

ステップ１２０において、判定部３６は、ロボット１の位置の移動量が予め定められた判定値を超えたか否かを判定する。本実施の形態においては、ワーク９１がワーク８１に向かう方向において、ロボット１の位置が予め定められた距離にて移動したか否かを判定する。図１に示す例では、基準座標系５１のＸ軸の方向に、予め定められた距離にてツール先端点が移動したか否かを判定する。

ステップ１２０において、ロボット１の位置の移動量が予め定められた判定値以下の場合には、制御はステップ１１７に戻る。そして、ステップ１１７からステップ１２５の制御を繰り返す。この様に、第２のワーク９１が第１のワーク８１に接近するまで、同様の制御を繰り返すことができる。一方で、ステップ１２０において、ロボット１の位置の移動量が予め定められた判定値を超えた場合には、この制御を終了する。この後に、ワーク８１に対してワーク９１の位置を精密に合わせる制御を実施することができる。

第２のワーク９１を第１のワーク８１に近づける制御においては、カメラ２５にて撮像された画像における第１の特徴量が第１の基準画像６１における第１の基準特徴量と一致するまで行うことが好ましい。しかしながら、ワーク９１の把持のずれが生じていた場合には、カメラ２５にて撮像された画像の第１の特徴量が第１の基準特徴量と一致した場合にも、ワーク８１に対するワーク９１の位置は所望の位置からずれている。また、ワーク９１をワーク８１に近づける制御では、ワーク８１に対するワーク９１の位置が精密に合っていなくても構わない。本実施の形態の第１の制御では、第１の特徴量の判定範囲６５は、ハンド２におけるワーク９１の把持のずれを考慮して設定されている。このために、ハンド２におけるワーク９１の把持のずれを予め定められた範囲にて許容しながら、ワーク９１をワーク８１に近づける制御を実施することができる。

（第２の制御）
次に、本実施の形態における第２の制御について説明する。第２の制御では、第１の基準画像における第１の基準特徴量を修正する。第２の制御では、ハンド２における第２のワーク９１の把持のずれ量に基づいて第１の基準特徴量を修正して第２の基準特徴量を生成する。そして、第２の基準特徴量に基づいて、第２のワーク９１を第１のワーク８１に近づける制御を実施する。

図８に、本実施の形態における第２の制御のフローチャートを示す。ステップ１１１からステップ１１３では、第１の基準画像６１における第１の基準特徴量を修正して、第２の基準画像における第２の基準特徴量を生成する。

図１、図３、図４、および図８を参照して、ステップ１１１においては、固定カメラ２７にて第２のワーク９１を撮像する。ここでの例では、ワーク９１の把持のずれ量を検出するために、ワーク９１の把持部９４が特徴部位に設定されている。動作制御部４３は、第２のワーク９１を撮像するために、動作プログラム４１に設定された位置および姿勢になるように、ロボット１の位置および姿勢を変更する。このときのロボット１の位置および姿勢は、固定カメラ２７にてワーク９１の把持部９４が撮像できる位置および姿勢である。次に、固定カメラ２７は、ワーク９１の把持部９４を撮像する。

ステップ１１２において、演算処理部３１の特徴量検出部３２は、固定カメラ２７にて撮像された画像において把持部９４を検出する。予め定められた方向から撮像された時の把持部９４のベース画像は、予め作成されている。固定カメラ２７にて撮像された画像とベース画像とを用いて、テンプレートマッチングの方法により、固定カメラ２７にて撮像した画像における把持部９４を検出する。特徴量検出部３２は、スクリーン座標系５３における把持部９４の位置を検出する。

ツール座標系５２における実際のワークの位置に対するスクリーン座標系５３におけるワークの位置は較正されている。このために、特徴量検出部３２は、固定カメラ２７にて撮像した画像に基づいて把持部９４の位置を、ツール座標系５２にて算出することができる。

算出部３３は、ハンド２における第２のワーク９１の把持のずれ量を算出する。ワーク９１の把持のずれが生じていない時のツール座標系５２におけるワーク９１の基準位置は予め定められている。この基準位置と、固定カメラに２７にて撮像した画像から検出されたワーク９１の位置とに基づいて、ハンド２におけるワーク９１の位置のずれ量を、ツール座標系５２にて算出することができる。

次に、ステップ１１３において、修正部３４は、算出部３３により算出されたずれ量に基づいて、第１の基準特徴量を修正して、第２の基準特徴量を生成する。修正部３４は、第２のワーク９１の把持のずれを修正するように第１の基準特徴量を変更する。

本実施の形態では、ハンド２に対してワーク９１が下側にずれている。このために、ロボット１の位置が上側に移動するように第１の基準特徴量を修正する。すなわち、ハンド２に対してワーク９１がずれている方向と反対の方向にロボット１の位置が移動するように、第１の基準特徴量を修正する。修正部３４は、ワーク９１の把持のずれを打ち消すように第１の基準特徴量を修正して第２の基準特徴量を生成する。

図９に、本実施の形態における第２の基準画像を示す。本実施の形態では、修正部３４は、第１の基準画像６１を修正して第２の基準画像６２を生成する。図９においては、修正部３４にて修正する前の第１の基準画像６１における第１のワーク８１が、参考のために破線にて示されている。第２の基準画像６２では、突出部８３の位置が矢印１０３に示す方向に移動するように修正されている。設定点Ｐ１１の位置は、設定点Ｐ１２の位置まで移動している。

第２の制御においては、修正部３４は、ヤコビアン行列を用いて特徴部位の移動方向および移動量を算出している。ヤコビアン行列は、ロボットの位置を微小量にて移動したときの視覚センサ座標系での位置の変化量に基づいて算出される。視覚センサ座標系における変化量とロボットの移動量との関係は、以下の式（１）にて表すことができる。

ΔＴ＝ｔ・Ｊ・ΔＶ …（１）

ここで、ΔＴは、ロボットの位置の移動量の行列であり、ΔＶは、視覚センサ座標系における位置の変化量の行列であり、Ｊはヤコビアン行列であり、ｔは定数（スケール）である。視覚センサ座標系は、スクリーン座標系５３に対応する。このために、ΔＶは、カメラにて撮像された画像における位置の変化量に対応する。また、ロボット１の位置の移動量は、ハンド２におけるワーク９１のずれ量に対応する。このために、ΔＴは、ハンド２におけるワーク９１の把持のずれ量に対応する。

上記の式（１）を変形して、ハンド２におけるワーク９１の把持のずれ量にヤコビアン行列の逆行列を乗じることにより、画像における位置の変化量を算出することができる。この制御により、修正部３４は、第１の基準画像６１における特徴部位の移動方向および移動量を算出することができる。修正部３４は、第１の基準画像６１における特徴部位の位置を修正して、第２の基準画像６２を生成することができる。

第２の基準画像６２においては、設定点Ｐ１２の座標値が第２の基準特徴量になる。このように、修正部３４は、第１の基準特徴量を修正して、第２の基準特徴量を生成することができる。修正部３４は、第２の基準特徴量として、設定点Ｐ１２のスクリーン座標系５３の座標値（u2b，v2b）を設定することができる。

なお、上記の実施の形態では、修正部３４は、第１の基準画像６１を修正して第２の基準画像６２を生成し、第２の基準画像６２に基づいて第２の基準特徴量を設定しているが、この形態に限られない。修正部３４は、基準画像を修正せずに、ヤコビアン行列を用いて第２の基準特徴量を算出しても構わない。

次に、ステップ１２７において、カメラ２５の画像から検出される第１の特徴量の判定範囲を設定する。第２の制御においては、第２の基準特徴量に基づいて判定範囲６６が設定される。第２の基準画像６２において、設定点Ｐ１２を含むように判定範囲６６が設定される。判定範囲６６の設定方法は、第１の制御における設定点Ｐ１１の判定範囲６５の設定方法と同様である（図７を参照）。また、第２の制御における判定範囲６６は、第１の制御における判定範囲６５よりも小さく設定することができる。

次に、第２のワーク９１を第１のワーク８１に接近させる制御を実施する。ステップ１１４からステップ１１６は、第１の制御におけるステップ１１４からステップ１１６と同様である（図６を参照）。特徴量検出部３２は、カメラ２５にて第１の特徴部位としての突出部８３の側面８３ｂを検出する。特徴量検出部３２は、第１の特徴量として設定点Ｐ１１の座標値（u1m,v1m）を検出する。

ステップ１２８において、指令生成部３５は、カメラ２５にて撮像した画像における設定点Ｐ１１の位置と、第２の基準画像６２における設定点Ｐ１２の位置との相対的な位置の差である相対位置量を算出する。第２の制御では、指令生成部３５は、それぞれの座標軸において、カメラ２５にて撮像した画像における設定点Ｐ１１の座標値から第２の基準画像６２における設定点Ｐ１２の座標値を減算した値を算出する。相対位置量は、それぞれのｕ軸およびｖ軸に関する値として［（u1m-u2b）,（v1m-v2b）］にて表すことができる。このように、指令生成部３５は、第１の制御と同様の制御により、ｕ軸に関する相対位置量と、ｖ軸に関する相対位置量とを算出する。

ステップ１１８およびステップ１１９においては、第１の制御と同様に、演算処理部３１は、相対位置量に基づいて、ロボット１を駆動する。また、ステップ１２２からステップ１２４の制御は、ステップ１１４からステップ１１６の制御と同様である。

ステップ１２９において、判定部３６は、指令生成部３５が生成した移動指令によりロボット１の位置が移動した後の第１の特徴量が判定範囲６６内であるか否かを判定する。すなわち、判定部３６は、第２の基準特徴量に基づいて設定された判定範囲６６の内部に、カメラ２５にて撮像した画像における設定点Ｐ１１が配置されているか否かを判定する。

ステップ１２９において、第１の特徴量が判定範囲６６を逸脱する場合には、制御はステップ１２８に戻る。ステップ１２９において、第１の特徴量が判定範囲６６内である場合には、制御はステップ１２０に移行する。ステップ１２０において、ロボット１の位置の移動量が予め定められた判定範囲以下の場合には、制御はステップ１２８に戻る。このように、基準特徴量を修正して、第１の制御と同様の制御を実施することができる。

第２の制御では、第１の基準特徴量を把持のずれ量に基づいて修正した第２の基準特徴量を用いることにより、ワーク９１をワーク８１に接近させる制御を実施している。ハンド２がワーク９１を把持したときの把持の位置のずれを修正してロボットの位置を制御することができる。このために、第１の制御よりも精密にワーク８１に対するワーク９１の位置を調整することができる。

また、第２の制御では、ヤコビアン行列を用いて第１の基準特徴量を修正している。ヤコビアン行列は、ロボットの位置を微小量にて移動したときの視覚センサ座標系での位置のずれに基づいて算出される。このために、特徴部位の近傍ではロボットを精度よく駆動できるが、特徴部位から離れると精度が低下する。例えば、ロボットを大きな移動量にて移動させると精度が悪いという問題がある。また、ヤコビアン行列を算出するときの測定誤差などにより、ヤコビアン行列が精度良く算出できない場合がある。この結果、ハンド２におけるワーク９１の把持のずれに対応して、第２の基準特徴量を正確に算出できない場合がある。

しかしながら、第２の制御においても、第１の特徴量の判定範囲を設定しているために、第２の基準特徴量の誤差を許容しながら、ワーク９１をワーク８１に近づける制御を実施することができる。上記以外の第２の制御は、第１の制御と同様であるので、ここでは説明を繰り返さない。

（第３の制御）
次に、本実施の形態における第３の制御について説明する。第３の制御においては、第１の基準特徴量を修正して第２の基準特徴量を生成する制御が第２の制御と異なる。第３の制御においては、ハンド２におけるワーク９１の把持のずれ量に対して、精密に特徴部位を移動して第２の基準特徴量を生成する。換言すると、第３の制御においては、第２の制御における第２の基準特徴量よりも正確に第２の基準特徴量を算出する。このために、第３の制御においては、第１の特徴量が判定範囲内であるか否かの判定は行わずに制御を実施する。

図１０に、本実施の形態の第３の制御のフローチャートを示す。図８および図１０を参照して、ステップ１１１およびステップ１１２は、第２の制御と同様である。算出部３３は、固定カメラ２７にて撮像された第２のワーク９１の画像に基づいて、把持のずれ量を算出する。

ステップ１１３において、修正部３４は、算出部３３により算出されたずれ量に基づいて、第１の基準特徴量を修正して第２の基準特徴量を生成する。修正部３４は、精度よく第２の基準特徴量を算出する。第３の制御では、ロボット１の位置および姿勢に対して、カメラ２５にて撮像される画像が予め較正されている。このために、修正部３４は、ツール座標系５２におけるワーク９１の位置のずれ量を、スクリーン座標系５３におけるワーク９１の位置のずれ量に精度よく変換することができる。修正部３４は、ワーク９１の把持のずれを打ち消すように第１の基準特徴量を修正して第２の基準特徴量を生成する。

図１１に、第３の制御において生成された第２の基準画像を示す。第２の基準画像６３は、第２の制御において生成された基準画像６２に類似する（図９を参照）。しかしながら、第１の特徴部位としての突出部８３の側面８３ｂは、ハンド２におけるワーク９１の把持のずれ量に対応して正確に移動されている。第２の基準特徴量としての設定点Ｐ１２の座標値についても、ワーク９１の把持のずれ量に対応した正確な座標値を検出することができる。また、第２の基準画像６３においては、第１の特徴量の判定範囲は設定されていない。

次に、第３の制御では、第１の特徴量の判定範囲は設定せずに、第２のワーク９１を第１のワーク８１に近づける制御を実施する。ステップ１１４からステップ１１６におけるカメラ２５にて第１の特徴部位を撮像して第１の特徴量を検出する制御は、第２の制御と同様である。

ステップ１２８においては、ステップ１１３にて生成した精度の良い第２の基準特徴量を用いて、第２の基準特徴量に対する第１の特徴量の相対位置量を算出する。

ステップ１１８およびステップ１１９は、第２の制御におけるステップ１１８およびステップ１１９と同様である。指令生成部３５は、相対位置量に基づいてロボット１を駆動する。

次に、第３の制御では、第１の特徴量が判定範囲内であるか否かの判定を行わずに、制御はステップ１２０に移行する。ステップ１２０は、第２の制御におけるステップ１２０と同様である。ステップ１２０において、ロボットの位置の移動量が判定値以下の場合には、制御はステップ１１４に移行する。

なお、第３の制御においては、ステップ１２０において、ロボット１の位置の移動量が予め定められた判定値を超えた場合に、第２のワーク９１の突出部９３が第１のワーク８１の突出部８３に十分に接近していない場合に、指令生成部３５は、異常であると判断しても構わない。例えば、相対位置量が予め定められた判定範囲を逸脱する場合に、指令生成部３５は、ロボット１を停止させる制御を実施しても構わない。

第３の制御では、ハンドがワークを把持したときの把持の位置のずれを精密に修正してロボットの位置を制御することができる。第３の制御では、ハンド２に対するワーク９１の把持のずれ量に対応する第２の基準画像における第２の基準特徴量を正確に算出することができる。このために、第１のワーク８１に対する第２のワーク９１の位置の調整を正確に行うことができる。また、カメラ２５にて撮像された画像における第１の特徴量の判定範囲を用いずに、第２のワークの位置の調整を行うことができる。上記以外の第３の制御は、第１の制御および第２の制御と同様であるので、ここでは説明を繰り返さない。

上記の第１の制御、第２の制御および第３の制御では、ワーク９１がワーク８１に徐々に近づく制御を実施している。カメラ２５にて撮像した画像における特徴部位は徐々に大きくなる。このために、作業者は、ワーク９１がワーク８１に向かう方向のロボット１の位置の移動量に応じて複数の第１の基準画像を作成しても構わない。ワーク９１がワーク８１に向かう方向のロボット１の位置の移動量に応じて、第１の基準画像を切替える制御を実施しても構わない。または、基準画像における特徴部位の大きさに対するカメラ２５にて撮像した画像における特徴部位の大きさの許容範囲を定めておくことができる。そして、特徴部位の大きさが許容範囲を超えたときに、第１の基準画像を切替える制御を実施しても構わない。

第２の制御および第３の制御において、複数の第１の基準画像を予め生成する場合には、修正部は、それぞれの第１の基準画像を修正して第２の基準画像を生成することができる。そして、複数の第２の基準画像を用いてワーク９１の位置を調整する制御を実施することができる。

上記の制御においては、基準画像と実際に撮像した画像との相対位置量に基づいて、ロボット１の位置を変更しているが、この形態に限られない。基準画像における基準特徴量およびカメラにて撮像された画像における特徴量に基づいてロボットの位置を変更する任意の制御を実施することができる。例えば、カメラにて撮像された画像における特徴部位の位置に関するヤコビアン行列を予め生成することができる。カメラにて撮像した画像における特徴部位の位置、基準画像における特徴部位の位置、およびヤコビアン行列に基づいて、ロボットの位置を変更しても構わない。

本実施の形態の制御では、コンベヤ７５が第１のワーク８１を搬送している期間中に、第２のワーク９１の位置合わせを実施している。カメラ２５にて画像を撮像する制御と、特徴量検出部３２による第１の特徴量を検出する制御と、特徴量検出部により検出された第１の特徴量が第１の基準特徴量または第２の基準特徴量に近づくようにロボットの位置を変更する制御とを繰り返している。この制御により、コンベヤ７５にて移動するワーク８１の位置に対してワーク９１を把持するロボット１の位置を追従する制御を実施することができる。

ところで、本実施の形態においては、コンベヤ７５による第１のワーク８１の移動方向および移動速度が予め定められている。ロボット制御装置４は、コンベヤ７５によるワーク８１の移動に合わせてロボット１の位置を変更するフィードフォワード制御を実施することができる。本実施の形態では、一定の移動速度にてワーク８１が移動する。なお、搬送機による第１のワークの移動方向および移動速度が予め定められていない場合がある。この場合に、指令生成部は、例えば、直近の第１のワークの移動方向および移動速度から将来の移動方向および移動速度を推定したり、予め学習した移動方向および移動速度の変化のパターンに基づいて将来の移動方向および移動速度を推定したりすることができる。

指令生成部３５は、コンベヤ７５によるワーク８１の移動方向および移動速度に基づいて、ロボット１の位置の移動方向および移動量を算出する。指令生成部３５は、コンベヤ７５にて移動する第１のワーク８１の位置に対してロボット１の位置が追従するロボット１の位置の移動方向および移動速度を算出する。例えば、指令生成部３５は、ロボット１のツール先端点がワーク８１の移動方向に移動するように移動方向を算出する。そして、指令生成部３５は、ロボット１のツール先端点がワーク８１の移動方向と同じ方向に、ワーク８１と同一の移動速度にて移動する移動量を算出する。指令生成部３５は、コンベヤ７５の搬送に基づくロボット１の位置の移動方向および移動量の制御に加えて、前述の相対位置量に基づいて算出される移動方向および移動量の制御を実施することができる。

この制御を行うことにより、コンベヤ７５による第１のワーク８１の移動に関するロボット１の位置および姿勢の変更は、フィードフォワード制御にて実施することができる。相対位置量に基づく制御では、第１のワーク８１に対する第２のワーク９１の相対的な位置のずれを修正すれば良いために、第１のワーク８１に対する第２のワーク９１の位置合わせを精度よく行うことができる。

（複数のカメラにて撮像される画像に基づく制御）
第１のロボット装置５においては、１つのカメラ２５によりロボット１の位置を調整しているが、この形態に限られない。本実施の形態の第１の制御、第２の制御、および第３の制御は、複数のカメラを備えるロボット装置に適用することができる。

図１２に、本実施の形態における第２のロボット装置のハンド、第１のワーク、および第２のワークの拡大斜視図を示す。第２のロボット装置６では、ハンド２に支持部材１８が固定されている。支持部材１８は、下側に延びる棒状部１８ａと、上側に延びる棒状部１８ｂと有する。下側に延びる棒状部１８ａには、第１のロボット装置５と同様に、第１の視覚センサとしてカメラ２５が固定されている。カメラ２５は、撮像範囲２５ａにて画像を撮像する。上側に延びる棒状部１８ｂには、第２の視覚センサとしてのカメラ２６が固定されている。カメラ２６は、第１のワーク８１の突出部８２を撮像できる位置に配置されている。カメラ２６は、撮像範囲２６ａにて画像を撮像する。本実施の形態のカメラ２６は、２次元カメラである。また、カメラ２６の出力は、カメラ２５の出力と同様に、演算処理部３１にて処理される。

第２のロボット装置６では、２台のカメラ２５，２６にて撮像した画像に基づいて、ワーク８１に対するワーク９１の位置を調整する。第２のロボット装置６では、カメラ２６にて撮像された画像にて第１のワーク８１の位置を検出するための第２の特徴部位が予め定められている。第２の特徴部位は、第１の特徴部位と異なる部分である。本実施の形態では、第２の特徴部位として、第１のワーク８１の突出部８２の側面８２ｂが設定されている。第２の特徴部位には第１のワーク８１の位置を定めるための設定点Ｐ２１が設定されている。

カメラ２６にて撮像される画像に関連して、第１のワーク８１に対して目標の位置に第２のワーク９１が配置されているときにカメラ２６にて撮像された第３の基準画像は予め作成されている。また、第３の基準画像における第２の特徴部位の位置に関する第３の基準特徴量は、第１の基準特徴量と同様の制御により検出されている。第３の基準特徴量は、ハンド２に対して第２のワーク９１が予め定められた位置にて把持された時の特徴量である。すなわち、第３の基準特徴量は、ハンド２に対する第２のワーク９１の把持のずれが無い場合の基準特徴量である。

第２のワーク９１を第１のワーク８１に近づける制御では、カメラ２６は、第２の特徴部位である突出部８２の側面８２ｂを撮像する。特徴量検出部３２は、カメラ２６にて撮像された画像において、第２の特徴部位の位置に関する第２の特徴量を検出する。

第２のロボット装置６の第１の制御では、第１のカメラ２５にて撮像される画像および第１の基準特徴量に基づいて、ロボット１の移動指令を生成する。また、第２のカメラ２６にて撮像される画像および第３の基準特徴量に基づいて、ロボット１の移動指令を生成する。第２の特徴量の判定範囲は、第３の基準特徴量に基づいて、第１の特徴量の判定範囲と同様の方法により定められる。

第２のワーク９１を第１のワーク８１に近づける制御では、指令生成部３５は、カメラ２６にて撮像した画像における第２の特徴量および第３の基準特徴量に関する相対位置量を算出する。そして、指令生成部３５は、相対位置量に基づいて、第１のワーク８１に対して第２のワーク９１が目標の位置に配置されるようにロボット１を動作させる移動指令を生成する。

指令生成部３５は、カメラ２５の画像から生成された移動指令と、カメラ２６の画像から生成された移動指令とに基づいて、動作制御部４３に送出する最終的な移動指令を生成することができる。指令生成部３５は、第１の特徴量が第１の基準特徴量に近づいて、更に、第２の特徴量が第３の基準特徴量に近づくようにロボット１の位置を変更する移動指令を生成する。例えば、指令生成部３５は、カメラ２５の画像に基づく移動指令およびカメラ２６の画像に基づく移動指令のうち、一方の移動指令にてロボット１を駆動した後に、他方の移動指令にてロボット１を駆動することができる。

または、カメラ２５の画像に基づく移動指令と、カメラ２６の画像に基づく移動指令とを合成しても構わない。例えば、カメラ２５の画像のｕ軸に対応するロボット１の位置の移動方向と、カメラ２６の画像のｖ軸に対応するロボット１の位置の移動方向とが一致する場合には、ロボット１の移動量の平均値を算出しても構わない。または、それぞれの画像に基づく移動指令は、基準座標系５１における各座標軸の移動量にて生成することができる。このために、それぞれの座標軸における移動量は、２つのカメラの画像に基づく移動量に係数を乗じて加算しても構わない。

カメラ２５，２６の画像に基づいてロボット１の位置を変更した後には、判定部３６は、第１の特徴量が判定範囲内であるか否かを判定する。また、判定部３６は、第２の特徴量が判定範囲内であるか否かを判定する。判定部３６は、第１の特徴量および第２の特徴量の両方の特徴量が判定範囲内である場合に、第１のワーク８１に対する第２のワーク９１の位置合わせが完了していると判定することができる。

第１の特徴量および第２の特徴量のうち少なくとも一方の特徴量が判定範囲を逸脱する場合には、ロボット制御装置４は、第１のカメラ２５および第２のカメラ２６にて画像を撮像する制御と、特徴量検出部３２にて第１の特徴量および第２の特徴量を検出する制御と、指令生成部３５にて移動指令を生成する制御と、動作制御部４３にてロボット１を駆動する制御とを繰り返す。

第２のロボット装置６の第２の制御および第３の制御では、修正部３４は、算出部３３により算出された第２のワーク９１のずれ量に基づいて、第２のワーク９１の把持のずれを修正するように、第３の基準特徴量を変更して第４の基準特徴量を生成する。また、第２の特徴量の判定範囲は、第４の基準特徴量に基づいて、第１の特徴量の判定範囲と同様の方法により定められる。

第２のワーク９１を第１のワーク８１に近づける制御では、指令生成部３５は、カメラ２６にて撮像した画像における第２の特徴量および第４の基準特徴量に関する相対位置量を算出する。指令生成部３５は、相対位置量に基づいて、第１のワーク８１に対して第２のワーク９１が目標の位置に配置されるようにロボット１を動作させる移動指令を生成する。指令生成部３５は、第１の特徴量が第２の基準特徴量に近づいて、更に、第２の特徴量が第４の基準特徴量に近づくようにロボット１の位置を変更する移動指令を生成する。その他の制御は、第１の制御と同様である。

第２のロボット装置６では、それぞれのカメラ２５，２６が互いに異なる特徴部位を撮像してロボット１の位置の制御を行っている。このために、１台のカメラを用いて位置の調整を行う制御よりも精度よくワーク９１の位置の調整を行うことができる。また、第１の制御および第２の制御では、１台のカメラを用いて第２のワーク９１の位置の判定を行うよりも精度よく判定を行うことができる。

なお、ロボット装置の制御装置は、３台以上のカメラを備えていても構わない。制御装置は、それぞれのカメラにて互いに異なる特徴部位を撮像し、それぞれのカメラの画像に基づいてワークの位置の制御を実施しても構わない。

その他の第２のロボット装置６の構成、作用、および効果は、第１のロボット装置５と同様であるので、ここでは説明を繰り返さない。

図１３に、本実施の形態における第３のロボット装置のハンド、第１のワーク、および第２のワークの拡大斜視図を示す。第３のロボット装置７では、ハンド２に支持部材１９が固定されている。支持部材１９は、下側に向かって延びる棒状部１９ａと、下側に向かって延び、棒状部１９ａよりも上側に配置される棒状部１９ｂと有する。支持部材１９の棒状部１９ａには、第２のロボット装置６と同様に、第１の視覚センサとしてカメラ２５が固定されている。支持部材１９の棒状部１９ｂには、第２の視覚センサとしてのカメラ２６が固定されている。

第３のロボット装置７では、支持部材１９は、カメラ２６の撮像範囲２６ａがカメラ２５の撮像範囲２５ａと重なるように、カメラ２６を支持している。第３のロボット装置７のカメラ２６は、カメラ２５が撮像する部分と同一の部分を撮像するように配置されている。すなわち、カメラ２６は、ワーク８１の突出部８２を撮像できるように配置されている。

第３のロボット装置７においては、第２のロボット装置６における制御と同様に、第１の特徴部位および第２の特徴部位を設定して、複数のカメラ２５，２６の画像に基づいて、ロボット１の位置の調整を行う。

第３のロボット装置７においては、突出部８３の側面８３ｂが第１の特徴部位に設定されている。また、突出部８３の上面８３ｃが第２の特徴部位に設定されている。第２の特徴部位には設定点Ｐ２１が設定されている。ここでの例では、突出部８３の上面８３ｃの角に設定点Ｐ２１が設定されている。なお、第３の制御においては、第２の特徴部位は、第１の特徴部位と同じ部位であっても異なる部位であっても構わない。

第３のロボット装置７の第１の制御および第２の制御では、第２の特徴量の判定範囲を設定することができる。また、第２の制御および第３の制御では、ワーク９１の把持のずれ量に基づいて、第３の基準特徴量を修正して第４の基準特徴量を生成することができる。

その他の第３のロボット装置７の構成、作用、および効果は、第１のロボット装置５および第２のロボット装置６と同様であるので、ここでは説明を繰り返さない。

前述の第１のロボット装置５、第２のロボット装置６、および第３のロボット装置７は、制御の開始時には第２のワーク９１が第１のワーク８１から離れた位置に配置されている。そして、第２のワーク９１の突出部９２，９３を第１のワーク８１の突出部８２，８３に近づける制御を実施している。一方で、本実施の形態の第３の制御は、ワーク８１に対するワーク９１の精密な位置合わせを実施する制御にも適用することができる。

図１４に、本実施の形態における第４のロボット装置の概略図を示す。第４のロボット装置８では、ハンド２にカメラ２５，２６を支持する支持部材２０が固定されている。カメラ２５，２６は、第２のワーク９１が第１のワーク８１に接近した時の画像を撮像するように配置されている。

支持部材２０は、下側に延びる棒状部２０ａと、上側に延びる棒状部２０ｂと有する。下側に延びる棒状部２０ａには、第１のロボット装置５と同様に、第１の視覚センサとしてカメラ２５が固定されている。下側に延びる棒状部２０ａは、ワーク８１の突出部８３の側方から突出部８３を撮像できるようにカメラ２５を支持している。カメラ２５は、光軸が水平方向にほぼ平行になるように配置されている。カメラ２５は、撮像範囲２５ａにて画像を撮像する。

上側に延びる棒状部２０ｂには、第２の視覚センサとしてのカメラ２６が固定されている。上側に延びる棒状部２０ｂは、ワーク８１の突出部８２の上方から突出部８２を撮像できるようにカメラ２６を支持している。カメラ２６は、第１のワーク８１の突出部８２を撮像できる位置に配置されている。カメラ２６は、光軸が鉛直方向にほぼ平行になるように配置されている。カメラ２６の光軸の向きは、カメラ２５の光軸の向きと異なる。カメラ２６は、撮像範囲２６ａにて画像を撮像する。

第４のロボット装置８では、第２のロボット装置６と同様に、２台のカメラ２５，２６にて撮像した画像に基づいて、ワーク８１に対するワーク９１の位置を調整する。第１の特徴部位は、突出部８３の側面８３ｂに設定されている。第１の特徴部位には、第１の特徴量を検出するための設定点Ｐ１１が設定されている。また、第２の特徴部位は、突出部８２の上面８２ｃに設定されている。第２の特徴部位は、第１の特徴部位と異なる部分である。第２の特徴部位には、第２の特徴量を検出するための設定点Ｐ２１が設定されている。

第２のロボット装置６と同様に、カメラ２５の画像から移動指令を生成する。また、カメラ２６の画像から移動指令を生成する。指令生成部３５は、カメラ２５の画像から生成された移動指令と、カメラ２６の画像から生成された移動指令とに基づいて、動作制御部４３に送出する最終的な移動指令を生成することができる。

第４のロボット装置８では、カメラ２５にて第１の特徴部位を撮像する方向とカメラ２６にて第２の特徴部位を撮像する方向とが異なる。特に、本実施の形態では、カメラ２５の光軸とカメラ２６の光軸とのなす角度がほぼ９０°になるように、カメラ２５，２６が配置されている。このために、３次元的な位置合わせを正確に行うことができる。

例えば、カメラ２５にて撮像した画像により、基準座標系５１のＹ軸の方向およびＺ軸の方向において、ワーク９１の正確な位置を合わせることができる。また、カメラ２６にて撮像した画像により、基準座標系５１のＸ軸の方向およびＹ軸の方向において、ワーク９１の正確な位置を合わせることができる。このため、例えば、ワーク８１の穴部８２ａ，８３ａの真上にワーク９１のピン９２ａ，９３ａを配置する制御を実施することができる。

なお、第４のロボット装置８においても、第２のロボット装置６と同様に、第１の制御および第２の制御を実施しても構わない。

その他の第４のロボット装置８の構成、作用および効果については、第１のロボット装置５、第２のロボット装置６、および第３のロボット装置７と同様であるので、ここでは説明を繰り返さない。

本実施の形態の補助センサは、２次元カメラであるが、この形態に限られない。第２のワーク９１の把持のずれ量は、任意の方法にて検出することができる。例えば、補助センサは、３次元カメラであっても構わない。３次元カメラを採用することにより、ハンドの位置および第２のワークの位置を検出することができる。そして、ハンドの位置および第２のワークの位置に基づいて、第２のワークの把持のずれ量を検出することができる。

更に、補助センサとしては、第２のワークの把持のずれ量を検出する任意のセンサを採用することができる。例えば、補助センサは、対象物との距離を検出する距離センサを含んでいても構わない。ロボットが予め定められた位置および姿勢になったときの第２のワークの位置は、１つ以上の距離センサを用いて測定することができる。第２のワークの位置に基づいて、第２のワークの把持のずれ量を検出することができる。

上記の実施の形態においては、位置を合わせる対象となる第１の部材がコンベヤにて搬送されている。すなわち、搬送機にて移動する第１の部材に追従するように、第２の部材の位置合わせを実施しているが、この形態に限られない。第１の部材は、静止していても構わない。例えば、作業台に固定されている第１のワークに対して、第２のワークの位置を合わせる時に、本実施の形態の制御を適用することができる。また、搬送機としては、コンベヤに限られず、ワークを搬送する任意の装置を採用することができる。例えば、搬送機としては、動作プログラムに基づいて床面を走行してワークの搬送を行う無人搬送車を採用することができる。

上記の実施の形態においては、第１の視覚センサとしてのカメラ２５および第２の視覚センサとしてのカメラ２６がハンド２に支持されているが、この形態に限られない。第１の視覚センサは、ロボットに支持されていても構わない。また、第２の視覚センサは、ロボットに支持されていても構わない。例えば、第１の視覚センサおよび第２の視覚センサは、ロボットのフランジに支持されて、ハンドと共に位置および姿勢が変化するように形成されていても構わない。

上記の実施の形態では、製品を組み立てる作業を行うロボット装置を例に取り上げているが、この形態に限られない。ワークの搬送を行う任意のロボット装置に本実施の形態の制御装置を適用することができる。

また、本実施の形態の第１の部材は、ワークであるが、この形態に限られない。第１の部材は、ロボット装置が作業を行う任意の部材を採用することができる。例えば、ロボット装置は、ハンドにて把持したワークをケースの予め定められた位置に収容する作業を実施しても構わない。この場合に、第１の部材は、ワークを収容するケースに相当する。また、本実施の形態の第２の部材は、ワークであるが、この形態に限られない。第２の部材は、任意の部材を採用することができる。例えば、第２の部材は、第１の部材に対して作業を行う装置などであっても構わない。

上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。

上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、特許請求の範囲に示される実施の形態の変更が含まれている。

１ ロボット
２ ハンド
４ ロボット制御装置
５，６，７，８ ロボット装置
２５，２６ カメラ
２７ 固定カメラ
３１ 演算処理部
３２ 特徴量検出部
３３ 算出部
３４ 修正部
３５ 指令生成部
３６ 判定部
３７ 範囲設定部
４１ 動作プログラム
４３ 動作制御部
６１，６２ 基準画像
６５，６６ 判定範囲
７５ コンベヤ
７６ コンベヤ制御装置
８１，９１ ワーク
８２，８３ 突出部
８２ｂ 側面
８２ｃ 上面
８３ｂ 側面
８３ｃ 上面
９４ 把持部
Ｐ１１，Ｐ１２ 設定点

Claims (6)

1. 作業ツールに把持された第２の部材をロボットにて移動して、第１の部材に対する第２の部材の相対的な位置を合わせるロボット装置の制御装置であって、
   第１の部材を撮像する視覚センサと、
   前記視覚センサの出力を処理する演算処理部と、
   ロボットを駆動する動作制御部とを備え、
   第１の部材の位置を検出するための第１の部材の特徴部位が予め定められており、
   第１の部材に対して第２の部材が目標の位置に配置されているときに前記視覚センサにて撮像した画像における前記特徴部位の位置に関する基準特徴量と、作業ツールにおける第２の部材の把持のずれに関する前記特徴部位の特徴量の判定範囲とが定められており、
   前記演算処理部は、前記視覚センサにて撮像された画像において、前記特徴部位の位置に関する特徴量を検出する特徴量検出部と、
   前記特徴量検出部にて検出された特徴量が判定範囲内であるか否かを判定する判定部と、
   ロボットを動作させる移動指令を生成する指令生成部とを含み、
   前記指令生成部は、前記特徴量検出部にて検出された特徴量および前記基準特徴量に基づいて、前記特徴量検出部にて検出された特徴量が前記基準特徴量に近づくようにロボットの位置を変更する前記移動指令を生成し、
   前記動作制御部は、前記移動指令に基づいてロボットを駆動し、
   前記判定部は、前記移動指令によりロボットの位置が移動した後の特徴量が判定範囲内であるか否かを判定し、
   特徴量が判定範囲を逸脱する場合に、前記視覚センサにて画像を撮像する制御と、前記特徴量検出部にて特徴量を検出する制御と、前記指令生成部にて前記移動指令を生成する制御と、前記動作制御部にてロボットを駆動する制御とを繰り返す、制御装置。
2. 前記基準特徴量は、作業ツールに対して第２の部材が予め定められた位置にて把持された時の第１の基準特徴量であり、
   特徴量の判定範囲は、第１の基準特徴量に基づいて設定されている、請求項１に記載の制御装置。
3. 作業ツールに把持された第２の部材の把持のずれ量を検出するための補助センサを備え、
   作業ツールに対して第２の部材が予め定められた位置にて把持された時の第１の基準特徴量が定められており、
   前記演算処理部は、前記補助センサの出力に基づいて、作業ツールにおける第２の部材の把持のずれ量を算出する算出部と、
   前記算出部により算出されたずれ量に基づいて、第２の部材の把持のずれを修正するように、第１の基準特徴量を修正して第２の基準特徴量を生成する修正部と、
   特徴量の判定範囲を設定する範囲設定部とを含み、
   前記基準特徴量は、第２の基準特徴量であり、
   前記範囲設定部は、第２の基準特徴量に基づいて特徴量の判定範囲を設定する、請求項１に記載の制御装置。
4. 前記ロボット装置は、第１の部材を搬送する搬送機を含み、
   前記搬送機が第１の部材を搬送している期間中に、前記視覚センサにて画像を撮像する制御と、前記特徴量検出部にて特徴量を検出する制御と、前記特徴量検出部により検出された特徴量が前記基準特徴量に近づくようにロボットの位置を変更する制御とを繰り返して実施する、請求項１から３のいずれか一項に記載の制御装置。
5. 前記指令生成部は、前記搬送機による第１の部材の移動方向および移動速度に基づいて、前記搬送機にて移動する第１の部材の位置に対してロボットの位置が追従するロボットの位置の移動方向および移動量を算出し、ロボットの位置が追従するロボットの位置の移動方向および移動量に基づいてロボットの位置および姿勢を変更する、請求項４に記載の制御装置。
6. 前記視覚センサは第１の視覚センサであり、
   第１の部材の前記特徴部位は、第１の特徴部位であり、
   第１の視覚センサの画像に基づいて検出された第１の特徴部位の特徴量は、第１の特徴量であり、
   第１の部材を撮像する第２の視覚センサを更に備え、
   第１の部材の位置を検出するための第１の部材の第２の特徴部位が予め定められており、
   第１の部材に対して第２の部材が目標の位置に配置されているときに第２の視覚センサにて撮像した画像における第２の特徴部位の位置に関する第３の基準特徴量と、作業ツールにおける第２の部材の把持のずれに関する第２の特徴部位の第２の特徴量の判定範囲とが定められており、
   第３の基準特徴量は、作業ツールに対して第２の部材が予め定められた位置にて把持された時の特徴量であり、
   前記特徴量検出部は、第２の視覚センサにて撮像された画像において、第２の特徴部位の位置に関する第２の特徴量を検出し、
   前記指令生成部は、第１の特徴量、前記基準特徴量、第２の特徴量、および第３の基準特徴量に基づいてロボットの位置を変更する前記移動指令を生成し、
   前記判定部は、前記移動指令によりロボットの位置が移動した後に、第１の特徴量および第２の特徴量がそれぞれの判定範囲内であるか否かを判定し、
   第１の特徴量および第２の特徴量のうち少なくとも一方の特徴量が判定範囲を逸脱する場合に、第１の視覚センサおよび第２の視覚センサにて画像を撮像する制御と、前記特徴量検出部にて第１の特徴量および第２の特徴量を検出する制御と、前記指令生成部にて前記移動指令を生成する制御と、前記動作制御部にてロボットを駆動する制御とを繰り返す、請求項１に記載の制御装置。

Images