JP2003211381A - ロボット制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 ビジュアルサーボによるロボットアームの制
御にあって、画像処理上の工夫により応答性の向上を図
る。 【解決手段】 ロボット制御装置を、ロボットアームに
取付けられたＣＣＤカメラ、その撮影画像データを処理
する視覚認識装置、視覚認識装置からの位置補正量に基
づいてロボットアームの位置姿勢を制御するロボットコ
ントローラから構成する。視覚認識装置には、予めロボ
ットアームの目標位置におけるＣＣＤカメラの撮影画像
上の特徴量からなる目標データが記憶され、実作業時に
おいて、ＣＣＤカメラによりワークを撮影し（Ｓ１，Ｓ
２）、視覚認識装置によりその撮影画像データを処理し
て現在データひいては目標データとの誤差を求め（Ｓ
５，Ｓ６）、誤差が０に収束するまでロボットアームの
位置姿勢を制御することを繰返す（Ｓ７，Ｓ８）。この
とき、前回の誤差が大きいときには（Ｓ３；Ｎ）、画像
処理の分解能を下げて処理すべき画像データ量を低減さ
せる（Ｓ５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視覚センサの撮影
画像データに基づいて、ロボットアームの位置姿勢の視
覚フィードバック制御（いわゆるビジュアルサーボ）を
行うようにしたロボット制御装置に関する。

【０００２】

【発明が解決しようとする課題】例えば組立用ロボット
等においては、例えばロボットアームによりワークを把
持する際に、視覚装置を用いてロボットアームを制御す
ることが行われている。この制御は、一般に、ワークか
ら比較的離れた所定位置にて、ロボットアームの手先部
に取付けたカメラによりそのワークを撮影し、その撮影
画像データからワークの絶対的な位置を検出し、その検
出位置にロボットアームを移動させてハンドでワークを
把持するというものであった。

【０００３】ところが、このような制御方法では、位置
合せ精度が比較的低く、またカメラ座標系をロボット座
標系に変換する等の機器間のキャリブレーションが必要
となるために、非常に面倒な準備作業（パラメータの設
定）等を要し、さらには、撮影後にワークが動いてしま
った場合（あるいはワークが相対移動するような場合）
には、適用できなくなる等の不具合がある。

【０００４】そこで、近年では、ビジュアルサーボと称
される視覚フィードバック制御が注目されてきている。
この手法では、例えば教示時にロボットアームをワーク
を把持する直前の位置に移動させ、その際にロボットア
ームに取付けられたカメラによりワークを撮影し、その
画像の特徴量を目標データとして記憶しておく。そし
て、実作業時においては、常にカメラによりワークを撮
影し、その現在データを目標データと比較してその誤差
を０とするように、つまり教示時と同一の見え方となる
ようにロボットアームの位置姿勢を制御（フィードバッ
ク制御）することを繰返し、例えば誤差が０に収束した
ところで、ハンドによる把持動作を実行するものであ
る。

【０００５】尚、この場合、前記特徴量は、ワークに設
定された複数個（例えば８個）の特徴点（特定のエッジ
や穴、貼付されたマーカ等）を抽出して、その位置や向
きを検出することに基づいて求められ、カメラ座標によ
る三次元空間でのワークの位置及び姿勢を認識するもの
である。

【０００６】このようなビジュアルサーボによる制御
は、従来のようないわば「見てから動く」方法とは異な
り、「見ながら動く」ものであるため、ロボットアーム
の迅速で正確な位置姿勢制御が行えると共に、ワークに
対する相対的な位置制御を行うものであるから、ロボッ
トの絶対的な座標への変換（キャリブレーション）が不
要となって、教示作業（準備作業）も簡単となり、ま
た、例えばコンベア上を移動してくるワークの把持や、
移動ロボットにより移動しながらのワークの把持など、
対象物が相対移動する場合にも適用できる利点がある。

【０００７】しかしながら、従来のビジュアルサーボに
よる制御では、その応答性といった点で、改善の余地が
残されていた。即ち、図１０に示すように、制御の１サ
イクルにおいては、時刻Ｔ０からカメラの撮影処理（露
光時間）に数十ｍsec 、カメラからの画像データの取込
みに３３ｍsec （３０Ｈｚ）、画像処理に数十ｍsecが
かかり、この時点（時刻Ｔ１）からロボットの動作（移
動）時間に数十ｍsec（時刻Ｔ２）かかっていた。この
ように、画像処理（位置検出）に数十ｍsec から百数十
ｍsec を要しており、ビジュアルサーボの応答性の限界
はその処理時間に依存することになる。この場合、カメ
ラによる撮影時点からロボットの制御終了までに、Ｔ２
−Ｔ０時間の遅れ時間が経過するので、例えばワークが
比較的高速で移動している場合の追従性に劣ってしまう
ことになる。

【０００８】ここで、高速で画像データを取込むことの
できるカメラ（例えば２倍速、４倍速といったカメラ）
や、処理速度の高いマイコン（ＣＰＵ）等を用いること
で、画像処理の速度を高め得ることは勿論であるが、そ
れでは装置のコストアップ等を伴う虞もあるため、その
ような機器の性能の向上のみに頼ることなく、画像処理
上の工夫（ソフトウエア的な工夫）により、応答性の向
上を図ることが望まれるのである。

【０００９】本発明は上記事情に鑑みてなされたもの
で、その目的は、いわゆるビジュアルサーボによりロボ
ットアームを制御するものにあって、画像処理上の工夫
により応答性の向上を図ることができるロボット制御装
置を提供するにある。

【００１０】

【課題を解決するための手段】従来のビジュアルサーボ
においては、現在のロボットアーム位置の目標教示位置
までの距離が遠い近いといったケースに関係なく、常に
同様の画像処理、ひいては同様の制御が行われていた。
これに対し、本発明者は、例えば、ロボットアーム位置
が目標教示位置から比較的離れているときには、大雑把
でも良いから目標教示位置の近傍まで早く移動させ、目
標教示位置に近付いた後に精度良く位置姿勢の制御を行
うといったように、場面場面で異なる制御（画像処理）
を行うことに着目し、本発明を成し遂げたのである。

【００１１】即ち、請求項１に係る発明は、いわゆるビ
ジュアルサーボによりロボットアームを制御するものに
あって、現在データと目標データとの誤差の大小に応じ
て画像処理手段の処理するデータ量を増減させる処理デ
ータ変更手段を設けたところに特徴を有するものであ
る。これによれば、画像処理手段の処理するデータ量を
低減させれば、位置姿勢制御の精度の低下は予測される
ものの、画像処理に要する時間が短時間で済んで応答性
を高めることができ、一方、画像処理手段の処理するデ
ータ量を増加させれば（通常に戻せば）、位置姿勢制御
の精度を高いものとすることができる。

【００１２】従って、例えば誤差が大きいときには画像
処理手段の処理するデータ量を低減させて応答性を高
め、誤差が小さいときに画像処理手段の処理するデータ
量を増加させて位置姿勢制御の精度を高めるといったよ
うに、画像処理上の工夫により、全体としての応答性
（応答速度）の向上を図ることができるのである。尚、
上記とは逆に、誤差が小さいときに画像処理手段の処理
するデータ量を低減させて応答性を高めるようにするこ
とも可能である。

【００１３】より具体的には、処理データ変更手段によ
り、画像処理手段の処理するデータ量を低減させる手法
としては、次のものがある。まず、視覚センサにより撮
影した撮影画像データの分解能を下げる或いは画面の部
分的な撮影画像データのみを処理することにより、処理
すべき画像データ量を低減させることができる（請求項
２の発明）。

【００１４】現在データを対象物における複数個の特徴
点の画像上の位置検出に基づいて求めるものにあって
は、それら複数個の特徴点のうちの一部のみの位置に基
づいて現在データひいては誤差量を求めるように構成す
ることにより、処理すべきデータ量を低減させることが
できる（請求項３の発明）。現在データひいては誤差が
複数の成分から構成される場合には、それら複数の成分
のうち一部の特定の成分に関してのみの誤差を算出する
ように構成することにより、処理すべきデータ量を低減
させることができる（請求項４の発明）。

【００１５】また、この種ビジュアルサーボにおいて
は、ロボットアームの位置姿勢制御を行うにあたり、画
像処理手段は、視覚センサの光軸方向をＺ軸、撮影画面
をＸＹ平面とした三次元直交座標系に基づいて、現在デ
ータひいては目標データとの誤差を、ｘ（Ｘ軸方向の位
置），ｙ（Ｙ軸方向の位置），ｚ（Ｚ軸方向の位置），
Ｒｘ（Ｘ軸回りの姿勢（回転角）），Ｒｙ（Ｙ軸回りの
姿勢（回転角）），Ｒｚ（Ｚ軸回りの姿勢（回転角））
の６つの成分に関して求め、それらを位置補正量として
制御手段に出力することが行われる。

【００１６】この場合、従来では、６つの成分の全てに
ついて誤差（位置補正量）が求められた後に、ロボット
アームの制御が行われていた。ところが前記６つの成分
を同時に算出することもできるが、必ずしも同時に算出
されるわけではなく、例えば、まず位置ｘ及びｙが求め
られ、次に位置ｚ及び姿勢Ｒｚが求められ、最後に姿勢
Ｒｘ及びＲｙが求められるというように、順次求められ
る場合もある。

【００１７】そこで、本発明の請求項５に係る発明は、
いわゆるビジュアルサーボによりロボットアームを制御
するものにあって、画像処理手段を、視覚センサにより
対象物を撮影した撮影画像データから、現在データひい
ては誤差を成分毎に順次求め、各成分に関する誤差が求
められる都度、位置補正量として制御手段に出力するよ
うに構成すると共に、制御手段を、最初の成分に関する
誤差が出力された時点から該当する成分に関するロボッ
トアームの位置姿勢の制御を開始するように構成したも
のである。

【００１８】これによれば、画像処理手段による画像処
理が全て終了する前の途中の時点から、ロボットアーム
の位置姿勢の制御を開始させることができるので、その
分ロボットアームの動作開始時期を早めることができ、
画像処理上の工夫によって応答性の向上を図ることがで
きるものである。

【００１９】

【発明の実施の形態】以下、本発明を例えば組立用の多
関節（６軸）型ロボットに適用したいくつかの実施例に
ついて、図１ないし図９を参照しながら説明する。 （１）第１の実施例 まず、図１ないし図４を参照しながら、本発明の第１の
実施例（請求項１，２に対応）について述べる。

【００２０】図３は、本実施例におけるロボットシステ
ムの構成を概略的に示しており、このシステムにおいて
は、この場合固定的に設置された６軸型のロボットアー
ム（ロボット本体）１により、作業台２上に任意の位置
及び姿勢で供給（あるいはコンベア等により搬入）され
る対象物たるワークＷを把持して、組付けや所定位置へ
の搬送等を行うようになっている。尚、図示はしない
が、前記ワークＷには、後述する視覚認識のための、複
数個（例えば８個）の特徴点（特定のエッジや穴、貼付
されたマーカ等）が設定されるようになっている。

【００２１】前記ロボットアーム１は、設備に固定設置
されるベース３上に、第１アーム４が垂直軸を中心に回
動（旋回）可能に設けられ、その第１アーム４の先端
に、第２アーム５が水平軸を中心に回動可能に設けら
れ、その第２アーム５の先端に、第３アーム６が水平軸
を中心に回動可能に設けられている。さらに、その第３
アーム６の先端面部に、第４アーム７が同軸回転可能に
設けられ、第４アーム７の先端には、第５アーム８が回
転可能に設けられ、第５アーム８の先端面に第６アーム
９が同軸回転可能に設けられて構成されている。そし
て、前記第６アーム９の先端面には、図示しないハンド
等のツールが着脱（交換）自在に取付けられるようにな
っている。

【００２２】また、上記したロボットアーム１の各アー
ム４〜９は、エンコーダ付きのサーボモータ（図示せ
ず）によりそれぞれ駆動されるようになっており、それ
ら各サーボモータ（並びにハンド）は、外部に設けられ
マイコンを主体として構成されるロボットコントローラ
１０により制御され、もってワークＷの把持作業等が自
動で実行されるようになっている。

【００２３】このとき、ロボットコントローラ１０は、
本実施例に係るロボット制御装置の一部を構成し、その
ソフトウエア構成（プログラムの実行）により、視覚セ
ンサの情報に基づいてロボットアーム１の位置姿勢を例
えばワークＷの把持位置にフィードバック制御する、ビ
ジュアルサーボと称される動的な視覚フィードバック制
御を実行するようになっている。

【００２４】このビジュアルサーボによる位置姿勢制御
の実現のため、ロボットアーム１のうち例えば第４アー
ム７（あるいは第５アーム８）の側面部に、前記ワーク
Ｗの画像を撮影するための視覚センサとしてのＣＣＤカ
メラ１１が取付けられている。これと共に、マイコンを
主体として成り、前記ＣＣＤカメラ１１からの撮影画像
データを取込んで処理する視覚認識装置１２が設けられ
ている。

【００２５】この視覚認識装置１２は、画像処理に基づ
いて、制御動作信号（位置補正量）をロボットコントロ
ーラ１０に与えるようになっており、これらロボットコ
ントローラ１０、ＣＣＤカメラ１１、視覚認識装置１２
から、本実施例に係るロボット制御装置１３が構成され
るようになっている。尚、前記視覚認識装置１２をロボ
ットコントローラ１０に内蔵する構成としても良い。

【００２６】この場合、前記視覚認識装置１２には、予
め実行される教示動作により得られる目標データが記憶
される記憶部（図示せず）が設けられている。この教示
動作は、例えばティーチングペンダントを用いたマニュ
アル操作により、ロボットアーム１をワークＷに対して
教示目標位置（ハンドによりワークＷを把持する直前の
位置姿勢）に移動させ、その位置においてＣＣＤカメラ
１１によりワークＷを撮影し、その際の画像上のワーク
Ｗの三次元的な位置や姿勢を表す特徴量（例えばワーク
Ｗの複数個の特徴点の画像上の位置、大きさ（長さ，面
積）、傾き角など）が目標データ（設定値）として記憶
されるのである。

【００２７】そして、図２にビジュアルサーボによる制
御ブロック線図を示すように、実作業時においては、ロ
ボット制御装置１３は、ロボットアーム１の任意の位置
姿勢にて、ＣＣＤカメラ１１によりワークＷを撮影し、
視覚認識装置１２によりその撮影画像データを処理して
現在の画像上の特徴量（ワークＷの位置や姿勢）を同様
にして現在データ（フィードバック信号）として求め、
その現在データを目標データと比較してその誤差（偏
差）を減少させる（例えば０とする）ように、つまりＣ
ＣＤカメラ１１による画像が教示時と同一の見え方とな
るように位置補正量を算出して制御動作信号としてロボ
ットコントローラ１０に出力するようになっている。
尚、前記位置補正量は、ロボットアーム１の手先の動作
速度を与える速度ベクトルに変換されてロボットコント
ローラ１０に入力されるようになっている。

【００２８】この場合、図示はしないが、視覚認識装置
１２は、例えばＣＣＤカメラ１１の撮影光軸方向をＺ
軸、撮影画面（投影面）をＸＹ平面とした三次元直交座
標系に基づいて、ワークＷの撮影画像の特徴量ひいては
目標データとの誤差を、ｘ（Ｘ軸方向の位置），ｙ（Ｙ
軸方向の位置），ｚ（Ｚ軸方向の位置），Ｒｘ（Ｘ軸回
りの姿勢（回転角）），Ｒｙ（Ｙ軸回りの姿勢（回転
角）），Ｒｚ（Ｚ軸回りの姿勢（回転角））の６つの成
分に関して求め、それらを位置補正量としてロボットコ
ントローラ１０に出力するようになっている。

【００２９】ロボットコントローラ１０は、その位置補
正量に基づいてロボットアーム１の位置姿勢を制御（フ
ィードバック制御）することを繰返し、この制御によっ
て誤差が０に収束した（あるいは所定値以下となっ
た）、つまりロボットアーム１のワークＷに対する位置
姿勢が教示目標位置に一致したところで、ハンドによる
ワークＷの把持動作を実行するものである。従って、視
覚認識装置１２が、本発明にいう記憶手段及び画像処理
手段として機能し、ロボットコントローラ１０が本発明
にいう制御手段として機能するのである。

【００３０】さて、後の作用説明でも述べるように、本
実施例のロボット制御装置１３においては、ビジュアル
サーボによるロボットアーム１の位置姿勢制御におい
て、誤差の大小に応じて次回の制御サイクルにおける視
覚認識装置１２の処理するデータ量が増減されるように
なっている。これは、例えば視覚認識装置１２のソフト
ウエア的構成（プログラムの実行）により実現され、以
て、視覚認識装置１２が本発明にいう処理データ変更手
段として機能するようになっている。

【００３１】より具体的には、ＣＣＤカメラ１１は、例
えば５１２×４８０画素を有しており、通常はそれに応
じた分解能で画像データの取込み及び処理が可能なので
あるが、図４に模式的（イメージ的）に示すように、前
回の誤差がしきい値以上である場合には、ＣＣＤカメラ
１１の分解能を下げることにより（図４（ａ）参照）、
処理すべき画像データ量を低減させ、誤差がしきい値よ
りも小さいときには、分解能を通常に戻すようになって
いる（図４（ｂ）参照）。尚、この分解能を下げる方法
としては、走査線１本置きに画像データを取込むように
するといった手法が知られている。また、ズームカメラ
を使用することでも可能となる。

【００３２】次に、上記構成の作用について、図１も参
照して述べる。図１のフローチャートは、実作業時に、
ロボット制御装置１３が実行するビジュアルサーボによ
るロボットアーム１の位置姿勢の制御の手順を概略的に
示している。即ち、まずステップＳ１では、ＣＣＤカメ
ラ１１によりワークＷを撮影可能な位置までロボットア
ーム１を移動させ、引続きステップＳ２にて、ＣＣＤカ
メラ１１によるワークＷの撮影が行われる。

【００３３】そして、視覚認識装置１２により、ＣＣＤ
カメラ１１からの撮影画像データが取込まれて画像処理
が行われるが、ここでは、ステップＳ３にて、前回の誤
差がしきい値よりも小さいかどうかが判断され、小さい
場合には（Ｙｅｓ）、ステップＳ４にて、通常の分解能
で画像データの取込み及び画像処理が行われる。これに
対し、前回の誤差がしきい値以上に大きかった場合には
（ステップＳ３にてＮｏ）、ステップＳ５にて、分解能
を下げて画像データの取込み及び画像処理（特徴量の抽
出）が行われるのである。

【００３４】この画像処理により現在データが求められ
ると、次のステップＳ６にて、目標データとの誤差即ち
位置補正量が求められ、誤差が０となっていない場合
（あるいは誤差が所定値よりも大きい場合）、つまりロ
ボットアーム１が教示目標位置に達していない場合には
（ステップＳ７にてＮｏ）、その位置補正量が制御動作
信号としてロボットコントローラ１０に出力され、ステ
ップＳ８にて、ロボットアーム１の位置姿勢の制御（移
動）が行われる。この後、ステップＳ２からの処理が繰
返される。

【００３５】このような制御により、ロボットアーム１
の手先は、ワークＷから比較的離れた位置から次第にワ
ークＷに近付いていき、遂には、誤差が０に収束する、
つまりロボットアーム１のワークＷに対する位置姿勢が
教示目標位置に一致するようになり（ステップＳ７にて
Ｙｅｓ）、この時点でビジュアルサーボによる制御が終
了し、ハンドによるワークＷの把持動作に移行されるの
である。

【００３６】ここで、通常のビジュアルサーボによる制
御の場合には、制御の１サイクルにおいては、例えば、
ＣＣＤカメラ１１の撮影処理（露光時間）に数十ｍsec
、ＣＣＤカメラ１１からの画像データの取込みに３３
ｍsec （３０Ｈｚ）、画像処理に数十ｍsec がかかり、
この時点からロボットアーム１の動作（移動）時間に数
十ｍsec かかり、画像処理（位置検出）に数十ｍsec か
ら百数十ｍsec を要するものとなっている。

【００３７】ところが、本実施例では、上記ステップＳ
３にて誤差が比較的大きいと判断された場合（Ｎｏ）、
即ち、現在のＣＣＤカメラ１１（ロボットアーム１の手
先）の位置が、目標位置（ワークＷ）から比較的離れて
いる場合には、ステップＳ５にてＣＣＤカメラ１１の撮
影画像データの分解能を下げるようにしたので、視覚認
識装置１２の処理するデータ量が低減されようになる。
これにより、位置姿勢制御（誤差検出）の精度の低下は
予測されるものの、画像処理に要する時間が短時間で済
んで応答性を高めることができるのである。

【００３８】一方、誤差が比較的小さくなった、即ち、
ロボットアーム１がワークＷに対する目標位置に接近し
た後は（ステップＳ３にてＹｅｓ）、ステップＳ４に
て、ＣＣＤカメラ１１の撮影画像データの分解能を通常
に戻すようにしたので、位置検出ひいては位置姿勢制御
の精度を高いものとすることができるのである。つまり
本実施例では、ロボットアーム１がワークＷから比較的
離れているときには、精度が低くなっても、応答性を高
めてロボットアーム１をワークＷの付近まで迅速に移動
させ、ワークＷに近付いた後には、位置姿勢制御の精度
を高めてロボットアーム１を精度良く目標位置に制御す
るものである。

【００３９】このように本実施例によれば、いわゆるビ
ジュアルサーボによりロボットアーム１１を制御するロ
ボット制御装置１３にあって、誤差の大小に応じて画像
処理の分解能を変更するという画像処理上の工夫を施し
たことにより、視覚認識装置１２の処理する画像データ
量を全体として低減させることができ、応答性の向上を
図ることができるという優れた効果を得ることができる
ものである。

【００４０】（２）第２の実施例、他の実施例 図５は、本発明の第２の実施例（請求項２に対応）を示
しており、上記第１の実施例とは次の点が相違してい
る。即ち、上記第１の実施例では、誤差が比較的大きい
とき即ちロボットアーム１の位置が目標位置（ワーク
Ｗ）から比較的離れているときに、撮影画像データの分
解能を下げるようにしたが、この実施例では、それとは
逆に、誤差が比較的大きいときには、分解能を通常（比
較的高い）ものとし（図５（ａ）参照）、誤差が小さく
なったとき、つまりロボットアーム１が目標位置（ワー
クＷ）に接近したときに、分解能を下げるようにしてい
る（図５（ｂ）参照）。

【００４１】これによれば、ワークＷから離れていると
きに、精度良くロボットアーム１の位置姿勢制御が行わ
れ、ワークＷに接近した状態では、画像処理に要する時
間を短時間で済ませ、応答性を高めることができる。こ
の場合、例えばワークＷが高速で相対移動している場合
における追従性を高めることが可能となるのである。こ
のように、応答性と精度とのいずれを重視するかについ
ては、作業内容や対象物等の条件に応じて様々なパター
ンが考えられる。また、分解能を下げることに代えて、
画面全体でなく画面の部分的（例えば中央の所定領域
等）な撮影画像データのみを処理する構成とすることも
でき、同様の作用・効果を得ることができる。

【００４２】そして、上記した第１，第２の実施例で
は、ロボット制御装置１３（視覚認識装置１２）の処理
すべきデータ量を低減させる手段として、ＣＣＤカメラ
１０による撮影画像データの分解能を下げるように構成
したが、以下のようにして処理すべきデータ量を低減さ
せるようにしても良く、これらによっても、画像処理上
の工夫によって応答性の向上を図ることができる。

【００４３】即ち、まず、上述のように、現在データを
構成する特徴量（画像上のワークＷの位置）は、ワーク
Ｗに設定された８個の特徴点の画像上の位置検出に基づ
いて求められるのであるが、例えば誤差が大きいときに
は、複数個の特徴点のうちの一部（３個以上例えば４
個）の特徴点の位置検出に基づいて特徴量を求めるよう
に構成することができる（請求項３に対応）。これによ
れば、誤差が大きいときには、特徴量検出の精度は低下
するものの、処理すべきデータ量を低減させて処理時間
を短縮化することができ、応答性を高めることができ
る。

【００４４】また、上述のように、視覚認識装置１２は
ワークＷの撮影画像の特徴量ひいては目標データとの誤
差を、位置ｘ，ｙ，ｚ及び姿勢（回転角）Ｒｘ，Ｒｙ，
Ｒｚの６つの成分に関して求めるようになっているので
あるが、例えば誤差が大きいときには、それら複数の成
分のうち一部の特定の成分に関してのみの特徴量の誤差
を算出するように構成することができる（請求項４に対
応）。これによれば、例えば誤差が大きいときには、
ｘ，ｙ成分についてのみ誤差を求めてロボットアーム１
をｘ，ｙに関してのみ移動させる、あるいはｘ，ｙ，ｚ
成分についてのみ誤差を求めてロボットアーム１をｘ，
ｙ，ｚに関してのみ移動させるといったようにすること
により、位置決めの精度は低下するものの、処理すべき
データ量を低減させて処理時間を短縮化することがで
き、応答性を高めることができる。

【００４５】更には、上記した各構成の組合わせも可能
であり、分解能を下げたときには、ｘ，ｙ成分のみある
いはｘ，ｙ，ｚ成分のみについてロボットアーム１を制
御するようにし、分解能が高くなったときに、ロボット
アーム１を回転方向（姿勢）についても制御するといっ
た構成や、特徴量を求めるための特徴点数を削減した場
合には、ｘ，ｙ成分のみあるいはｘ，ｙ，ｚ成分のみに
ついてロボットアーム１を制御するといった構成とする
こともでき、処理すべきデータ量をより一層低減させて
処理時間を短縮化することができ、応答性を高めること
ができる。

【００４６】（３）第３，第４の実施例、その他の実施
例 次に、図６ないし図８を参照して、本発明の第３の実施
例（請求項５に対応）について述べる。尚、この第３の
実施例でも、システム（ロボットアーム１及びロボット
制御装置１３）のハードウエア構成等については、上記
第１の実施例と共通するので、上記第１の実施例と共通
する部分については、図示及び新たな説明を省略し符号
も共通させて使用することとし、以下、主として異なる
点について述べる。

【００４７】本実施例に係るロボット制御装置１３も、
ロボットアーム１に取付けられる視覚センサたるＣＣＤ
カメラ１１、目標データを記憶する記憶手段及び撮影画
像データを処理して特徴量ひいては誤差を算出する画像
処理手段として機能する視覚認識装置１２、ロボットア
ーム１の位置姿勢を制御する制御手段として機能するロ
ボットコントローラ１０を備えて構成されており、いわ
ゆるビジュアルサーボによるロボットアーム１の位置姿
勢の制御（フィードバック制御）を実行するようになっ
ている。

【００４８】ここで、視覚認識装置１２は、やはり図８
に示すように、ＣＣＤカメラ１１の光軸方向をＺ軸、撮
影画面をＸＹ平面とした三次元直交座標系に基づいて、
撮影画像データから、ワークＷの画像上の特徴量ひいて
は誤差を、ｘ（Ｘ軸方向の位置），ｙ（Ｙ軸方向の位
置），ｚ（Ｚ軸方向の位置），Ｒｘ（Ｘ軸回りの姿勢
（回転角）），Ｒｙ（Ｙ軸回りの姿勢（回転角）），Ｒ
ｚ（Ｚ軸回りの姿勢（回転角））の６つの成分に関して
求め、それらを位置補正量としてロボットコントローラ
１０に出力するようになっている。

【００４９】このとき、視覚認識装置１２の画像処理に
おいては、前記６つの成分が同時に算出されるわけでは
なく、まず位置ｘ及びｙが求められ、次に位置ｚ及び姿
勢Ｒｚが求められ、最後に姿勢Ｒｘ及びＲｙが求められ
るというように、順次求められる。そこで、後のフロー
チャート説明でも述べるように、本実施例のロボット制
御装置１３においては、視覚認識装置１２は、そのソフ
トウエア的構成により、ＣＣＤカメラ１１の撮影画像デ
ータから、複数の成分から構成される特徴量ひいては誤
差を成分毎に順次求め、各成分に関する誤差が求められ
る都度、位置補正量としてロボットコントローラ１０に
出力するようになっている。

【００５０】そして、ロボットコントローラ１０は、そ
のソフトウエア的構成により、前記視覚認識装置１２か
ら、最初の成分（位置ｘ及びｙ）に関する位置補正量が
出力された時点から該当する成分に関するロボットアー
ム１の位置姿勢の制御（移動）を開始し、以下、各成分
に関しての制御を出力された順に実行するように構成さ
れている。

【００５１】図６のフローチャートは、実作業時に、ロ
ボット制御装置１３が実行するビジュアルサーボによる
ロボットアーム１の位置姿勢の制御の手順を概略的に示
している。即ち、ステップＳ１１では、ＣＣＤカメラ１
１によりワークＷを撮影可能な位置までロボットアーム
１を移動させ、引続きステップＳ１２にて、ＣＣＤカメ
ラ１１によるワークＷの撮影が行われ、撮影画像データ
が視覚認識装置１２に取込まれる。

【００５２】そして、視覚認識装置１２における画像処
理により、画像上のワークＷの現在データ（ひいては目
標データとの誤差）が求められるのであるが、ここで
は、上述のように、まずステップＳ１３にて、位置ｘ及
びｙについての目標データとの誤差即ち位置補正量が求
められると、その位置補正量がロボットコントローラ１
０に出力されてロボットアーム１のＸ，Ｙ方向の移動が
開始される。次いで、ステップＳ１４にて、位置ｚ及び
姿勢Ｒｚについての目標データとの誤差即ち位置補正量
が求められると、その位置補正量がロボットコントロー
ラ１０に出力されて引続きロボットアーム１のＺ，Ｒｚ
方向の移動が実行される。

【００５３】最後に、ステップＳ１５にて、姿勢Ｒｘ及
びＲｙについての目標データとの誤差即ち位置補正量が
求められると、その位置補正量がロボットコントローラ
１０に出力されて引続きロボットアーム１のＲｘ及びＲ
ｙ方向の移動が実行される。尚、この移動の際には、指
令値の前のデータを基に補間が行われ、急激な動作を行
わないように調整することにより、滑らかな動作が実行
される。

【００５４】そして、ステップＳ１６では、誤差が０と
なっているかどうか、つまりロボットアーム１が教示目
標位置に達しているかどうかが判断され、目標位置に達
していない場合には（Ｎｏ）、ステップＳ１２からの処
理が繰返される。そして、このような制御により、遂に
は、誤差が０に収束する、つまりロボットアーム１のワ
ークＷに対する位置姿勢が教示目標位置に一致するよう
になり（ステップＳ１６にてＹｅｓ）、この時点でビジ
ュアルサーボによる制御が終了し、ハンドによるワーク
Ｗの把持動作に移行されるのである。

【００５５】ここで、通常（従来）のビジュアルサーボ
による制御の場合には、図１０に示したように、従来で
は、６つの成分の全てについて位置補正量が求められた
後に、ロボットアームの制御が行われていた。このた
め、従来では、画像処理に数十ｍsec がかかった後、そ
の時点（時刻Ｔ１）からロボットの動作が開始され、移
動時間に数十ｍsec かかって、時刻Ｔ２で制御の１サイ
クルが終了していた。

【００５６】これに対し、本実施例の制御では、図７に
示すように、時刻Ｔ０からカメラの撮影処理（露光時
間）に数十ｍsec 、カメラからの画像データの取込みに
３３ｍsec （３０Ｈｚ）かかった後（ここまでは従来と
同じ）、全体で数十ｍsec かかる画像処理の途中の時刻
ｔ１の時点で、位置ｘ及びｙ成分についての位置補正量
が出力されてロボットアーム１の動作が開始される。従
って、ロボットアーム１の動作開始時刻を、従来の時刻
Ｔ１から早めることができる。

【００５７】そして、位置ｚ及び姿勢Ｒｚ成分、並び
に、姿勢Ｒｘ及びＲｙ成分についてもその位置補正量が
順次出力されて順次ロボットアーム１を制御できるの
で、ロボットアーム１の移動時間に同様に数十ｍsec か
かったとしても、その動作終了時刻、つまり制御の１サ
イクルが終了する時刻を、従来の時刻Ｔ２よりも十分に
早い時刻ｔ２とすることができ、制御の１サイクルに要
する時間つまり応答時間の短縮を図ることができたので
ある。

【００５８】このように本実施例によっても、いわゆる
ビジュアルサーボによりロボットアーム１を制御するも
のにあって、視覚認識装置１２による画像処理が全て終
了する前の途中の時点から、ロボットアーム１の位置姿
勢の制御を開始させることができるので、その分ロボッ
トアーム１の動作開始時期を早めることができ、画像処
理上の工夫により応答性の向上を図ることができるとい
う優れた効果を得ることができるものである。

【００５９】図９は、本発明の第４の実施例を示してい
る。ここで、ワークＷには、特徴点としての例えば４個
のマーカＭ１〜Ｍ４が設けられており、視覚認識装置１
２は、撮影画像データからそれら特徴点の抽出処理を行
うのであるが、本実施例では、従来のような全ての特徴
点を抽出した上で現在データひいては誤差を算出するこ
とに代えて、特徴点を例えばマーカＭ１，Ｍ２，Ｍ３，
Ｍ４の順に分割して抽出（結果出力）し、夫々目標デー
タと比較し、成分毎の誤差を算出できる順に求めるよう
になっている。

【００６０】この場合も、例えば２個の特徴点（マーカ
Ｍ１，Ｍ２）が抽出された時点でＸ，Ｙ成分について現
在データひいては誤差を求めるというように、上記第３
の実施例と同様に、現在データひいては誤差を成分毎に
順次求めることができ、各成分に関する誤差が求められ
る都度、位置補正量としてロボットコントローラ１０に
出力し、最初の成分（位置ｘ及びｙ）に関する位置補正
量が出力された時点から該当する成分に関するロボット
アーム１の位置姿勢の制御（移動）を開始することがで
きる。

【００６１】従って、この第４の実施例においても、上
記第３の実施例と同様に、視覚認識装置１２による画像
処理が全て終了する前の途中の時点から、ロボットアー
ム１の位置姿勢の制御を開始させることができるので、
その分ロボットアーム１の動作開始時期を早めることが
でき、画像処理上の工夫により応答性の向上を図ること
ができるという優れた効果を得ることができる。

【００６２】尚、本発明においては、上記した実施例を
組合わせて実施することも可能であり、例えば、上記第
１の実施例のように誤差に応じて分解能を変更し、分解
能を高めた（通常に戻した）場合には、第３の実施例の
ように成分毎にロボットアーム１を制御するといった構
成としても良く、これにより応答性の向上により効果的
となる。また、例えば誤差と制御（画像処理）の内容と
の関係をユーザのニーズに応じて設定したテーブルを予
め記憶しておき、それを参照して処理内容を変更する構
成としても良い。

【００６３】その他、本発明は上記した各実施例に限定
されるものではなく、例えば移動ロボットに本発明を適
用することも可能であり、またコンベア等により移動し
ているワークＷを把持する等の作業にも本発明を適用で
き、さらにはワークの把持，搬送の作業以外の各種の作
業に適用できる等、ロボットアームのハードウエア的構
成や作業（制御）の内容等についても、種々の変形が可
能である。視覚センサの取付位置等についても様々な変
形例が考えられる等、本発明は要旨を逸脱しない範囲内
で適宜変更して実施し得るものである。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すもので、ロボット
アームの位置姿勢の制御の手順を概略的に示すフローチ
ャート

【図２】ビジュアルサーボによる制御ブロック線図

【図３】システムの外観構成を概略的に示す図

【図４】分解能を下げた場合（ａ）及び通常に戻した場
合（ｂ）の撮影画像をイメージで示す図

【図５】本発明の第２の実施例を示すもので、通常の分
解能とした場合（ａ）及び分解能を下げた場合（ｂ）の
撮影画像をイメージで示す図

【図６】本発明の第３の実施例を示すもので、ロボット
アームの位置姿勢の制御の手順を概略的に示すフローチ
ャート

【図７】制御に係る各処理時間の例を示す図

【図８】座標系と成分との関係を示す図

【図９】本発明の第４の実施例を示すもので、特徴点の
検出結果を分割して出力する様子を模式的に示す図

【図１０】従来例を示す図７相当図

【符号の説明】

図面中、１はロボットアーム、１０はロボットコントロ
ーラ（制御手段）、１１はＣＣＤカメラ（視覚セン
サ）、１２は視覚認識装置（記憶手段、画像処理手段、
処理データ変更手段）、１３はロボット制御装置、Ｗは
ワーク（対象物）、Ｍ１〜Ｍ４はマーカ（特徴点）を示
す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 内藤 貴志 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 Ｆターム(参考） 3C007 BS12 CT05 CV08 CW08 KS03 KS07 KT01 KT05 KT11 LT06 LT08 LT12 MT02 5B057 AA05 CH01 DA07 DC30 5L096 BA05 FA69 HA07 JA11

Claims (5)

【特許請求の範囲】
1. 【請求項１】 ロボットアームに取付けられた視覚セン
   サと、 前記ロボットアームを予めワーク等の対象物に対する教
   示目標位置に位置させた状態で前記視覚センサにより前
   記対象物を撮影した際の画像上の特徴量を目標データと
   して記憶する記憶手段と、 前記視覚センサにより前記対象物を撮影した撮影画像デ
   ータを処理して現在の画像上の特徴量を現在データとし
   て求め、前記目標データとの誤差を算出する画像処理手
   段と、 この画像処理手段により得られた誤差に基づいて、その
   誤差を減少させるように前記ロボットアームの位置姿勢
   をフィードバック制御する制御手段とを具備してなるロ
   ボット制御装置であって、 前記誤差の大小に応じて前記画像処理手段の処理するデ
   ータ量を増減させる処理データ変更手段を設けたことを
   特徴とするロボット制御装置。
2. 【請求項２】 前記処理データ変更手段は、視覚センサ
   により撮影した撮影画像データの分解能を下げる或いは
   画面の部分的な撮影画像データのみを処理することによ
   り、処理すべき画像データ量を低減させるように構成さ
   れていることを特徴とする請求項１記載のロボット制御
   装置。
3. 【請求項３】 前記現在データは、前記対象物における
   複数個の特徴点の画像上の位置検出に基づいて求められ
   るようになっていると共に、前記処理データ変更手段
   は、前記複数個の特徴点のうちの一部のみの位置に基づ
   いて現在データを求めることにより、処理すべきデータ
   量を低減させるように構成されていることを特徴とする
   請求項１記載のロボット制御装置。
4. 【請求項４】 前記現在データは複数の成分から構成さ
   れると共に、前記処理データ変更手段は、前記複数の成
   分のうち一部の特定の成分に関してのみの現在データひ
   いては誤差を算出することにより、処理すべきデータ量
   を低減させるように構成されていることを特徴とする請
   求項１記載のロボット制御装置。
5. 【請求項５】 ロボットアームに取付けられた視覚セン
   サと、 前記ロボットアームを予めワーク等の対象物に対する教
   示目標位置に位置させた状態で前記視覚センサにより前
   記対象物を撮影した際の画像上の特徴量を目標データと
   して記憶する記憶手段と、 前記視覚センサにより前記対象物を撮影した撮影画像デ
   ータを処理して現在の画像上の特徴量を現在データとし
   て求め、前記目標データとの誤差を算出する画像処理手
   段と、 この画像処理手段により得られた誤差に基づいて、その
   誤差を減少させるように前記ロボットアームの位置姿勢
   をフィードバック制御する制御手段とを具備してなるロ
   ボット制御装置であって、 前記画像処理手段は、前記撮影画像データから、複数の
   成分から構成される現在データひいては誤差を成分毎に
   順次求め、各成分に関する誤差が求められる都度、位置
   補正量として前記制御手段に出力し、 前記制御手段は、最初の成分に関する位置補正量が出力
   された時点から該当する成分に関する前記ロボットアー
   ムの位置姿勢の制御を開始するように構成されているこ
   とを特徴とするロボット制御装置。