JP2002086376A

JP2002086376A - 視覚センサの誘導方法

Info

Publication number: JP2002086376A
Application number: JP2000278776A
Authority: JP
Inventors: Toshimitsu Irie; 俊充入江; Jun Goto; 純後藤; Keiichi Takaoka; 佳市高岡
Original assignee: Yaskawa Electric Corp
Current assignee: Yaskawa Electric Corp
Priority date: 2000-09-13
Filing date: 2000-09-13
Publication date: 2002-03-26
Anticipated expiration: 2020-09-13
Also published as: JP4568978B2

Abstract

(57)【要約】【課題】マニピュレータ手先に搭載された視覚センサ
を対象物に誘導する際、操作者（人）の介在、微調整を
必要とせず自動的に視覚センサを誘導することができる
視覚センサの誘導方法を提供する。【解決手段】マニピュレータ手先に視覚センサを搭載
し、マニピュレータを駆動することで対象物に視覚セン
サを誘導する方法において、対象物の概略位置２０８
と、予め設定した誘導位置と対象物との距離１０１とか
ら誘導位置１０４を、さらに誘導姿勢１０５を決定す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マニピュレータ手
先に搭載された視覚センサを対象物に誘導する視覚セン
サの誘導方法に関する。

【０００２】

【従来の技術】ハンドアイシステムと呼ばれる、視覚セ
ンサを搭載したマニピュレータを用いて視覚センサを対
象物に誘導し、対象物を検出する方法がある。この際、
対象物が視覚センサの視野に入るよう、あるいは、対象
物が視覚センサ視野の中央に位置するよう、視覚センサ
を誘導する必要がある。まず、第１の従来の技術を、特
開平５−８０８４２号の「移動ロボットの制御方法」を
例に説明する。ワーク近くに２次元状のマークを配置
し、マニピュレータには画像入力手段が取り付けられて
いる。画像入力手段は、視覚情報を取得する機能を持つ
ため、視覚センサに相当する。図３に第１の従来の技術
に係る視覚センサの誘導方法ブロック図を示す。ティー
チング時には、画像入力手段の視野内にマークが入るよ
う、マニピュレータを操作し、画像入力手段によって、
予め、マーク画像（ティーチングマーク画像３０１）を
取得する。プレイバック時にも、画像入力手段によって
マーク画像３０２を取得する。第１の従来の技術の誘導
位置・誘導姿勢算出手段３０５は、比較照合手段３０３
と座標変換手段３０４とから構成される。比較照合手段
３０３では、ティーチングマーク画像３０１とマーク画
像３０２とを入力し、これらを比較照合する。これは、
ティーチングマーク画像３０１とマーク画像３０２との
マーク位置にずれがあるためである。比較照合手段３０
３の比較照合の結果、ティーチングマーク画像３０１と
マーク画像３０２とのマーク位置の差が求められる。座
標変換手段３０４はこのマーク位置の差を入力し、これ
をマニピュレータ座標系に変換し、ティーチングマーク
画像３０１が取得できる位置・姿勢に画像入力手段を誘
導するような、誘導位置１０４と誘導姿勢１０５とを出
力する。

【０００３】次に、第２の従来の技術を、「脇迫ら：
“遠隔操作型配電作業ロボットの距離センサシステ
ム”，日本ロボット学会誌，１５巻，３号，４６８〜４
７３ページ，１９９７」を例に説明する。距離センサが
パン・チルト軸を持つ架台に置かれており、操作者が、
パン・チルト軸を遠隔操作することで対象物までの距離
を計測する。距離センサは、視覚情報を取得する機能を
持つため、視覚センサに、また、架台は、距離センサの
位置と姿勢とを変更する機能を持つため、マニピュレー
タに、それぞれ相当する。図４に第２の従来の技術に係
る視覚センサの誘導方法ブロック図を示す。なお、図４
では、第２の従来の技術の誘導位置・誘導姿勢算出手段
４０４の説明をするために、操作者による操作と、ティ
ーチングプレイバックによる操作との２つの方式を同時
に示している。操作者は、距離センサのカメラの映像を
見ながら、対象物がカメラの中央に来るように、距離セ
ンサの架台を遠隔操作する。操作者による操作指令４０
２に基づき、距離センサの誘導位置１０４と誘導姿勢１
０５とが決定される。また、距離センサと対象物との位
置関係がおおよそ既知である場合には、予めティーチン
グしたデータに基づきプレイバックする、ティーチング
プレイバック方式で実行される。プレイバック時には、
プレイバック指令４０１により、ティーチングデータ４
０３が読み出され、誘導位置１０４と誘導姿勢１０５と
が決定される。

【０００４】以下では、第２の従来の技術を装柱に対す
る配電作業に適用した例を詳しく説明する。従来の装柱
に対する配電作業で行われる視覚センサ誘導の概略説明
図を図５に示す。５０１は装柱で、電柱５０２、アーム
５０３、第１の碍子５０４、第２の碍子５０５、第３の
碍子５０６から構成される。通常、電柱５０２は地面に
対しほぼ垂直に設置されており、アーム５０３は電柱５
０２に対し垂直に取り付けられている。第１の碍子５０
４、第２の得子５０５、第３の碍子５０６は、アーム５
０３に固定されている。５０７はマニピュレータで、先
端に搭載してある視覚センサ５１１の位置と姿勢とを変
更する。マニピュレータ５０７は、コントローラ５０８
を介し、操作者５１０がティーチボックス５０９を操作
することで駆動される。５１２は誘導前の視覚センサ位
置で、得られる映像が誘導前の映像５１４である。５１
３は誘導後の視覚センサ位置で、得られる映像が誘導後
の映像５１５である。誘導後の視覚センサ位置５１３の
時の視覚センサ５１１と、それを配置するマニピュレー
タ５０７と、誘導後の映像５１５と、それへの映像信号
線とを点線で表示している。

【０００５】ここでは、視覚センサにより装柱５０１を
遠方から捉え、視覚センサを対象物に近付けることを行
う（対象物は第１の碍子５０４とする）。より具体的に
は、誘導前の映像５１４が得られる誘導前の視覚センサ
位置５１２の時の視覚センサ５１１を、第１の碍子５０
４の映像（誘導後の映像５１５）が得られる誘導後の視
覚センサ位置５１３に誘導する。これは、注目する対象
物（この場合第１の碍子５０４）の位置・姿勢情報をよ
り詳細に検出する際に必要となる。この時、視覚センサ
５１１が持つ光学歪みを考慮すると、第１の碍子５０４
が、誘導後の映像５１５内で、ほぼ中央に位置するよう
に、視覚センサ５１１を配置する方が望ましい。また、
この場合、第１の碍子５０４の特徴を良好に捉えるため
には、視覚センサ５１１を第１の碍子５０４のほぼ真横
に配置する方が望ましい。第２の従来の技術の操作者５
１０による操作では、この誘導位置１０４と誘導姿勢１
０５との決定を、操作者５１０が誘導前の映像５１４を
見て、誘導後の映像５１５が得られるように、ティーチ
ボックス５０９を操作し、マニピュレータ５０７を駆動
して実行する。また、第２の従来の技術のティーチング
プレイバックによる操作では、コントローラ５０８に保
存されたティーチングデータ４０３が、操作者５１０が
ティーチボックス５０９を操作することにより出される
プレイバック指令４０１により読み出され、マニピュレ
ータ５０７がプレイバックを実行し、視覚センサ５１１
の誘導位置１０４と誘導姿勢１０５とが決定される。

【０００６】

【発明が解決しようとする課題】第１の従来の技術で述
べた特開平５−８０８４２号の「移動ロボットの制御方
法」では、予めワーク近くにマークを配置する必要があ
り、あるいは、ティーチングマーク画像３０１を予めテ
ィーチングする必要があり、そのための労力が発生し、
手間が掛かるという問題があった。また、配置されるマ
ークは２次元状であるが、平面上でない対象物にマーク
を配置する場合、視覚センサ５１１が見える場所にマー
クを配置する必要があるという問題があった。また、第
１の碍子５０４を誘導後の映像５１５内ほぼ中央で、か
つ、第１の碍子５０４のほぼ真横を捉えるように視覚セ
ンサ５１１を誘導するためには、視覚センサ５１１の位
置と姿勢を３次元的に変更する必要があるが、マークが
２次元状であるために、２次元的な位置と姿勢の変更し
か行えないという問題があった。

【０００７】第２の従来の技術で述べた操作者５１０に
よる操作では、操作者５１０が誘導前の映像５１４や誘
導後の映像５１５を見ながら、誘導前の視覚センサ位置
５１２の視覚センサ５１１を誘導後の視覚センサ位置５
１３に誘導するため、操作者（人）の介在が必要で自動
化できないという問題があった。また、第１の碍子５０
４を誘導後の映像５１５内ほぼ中央で、かつ、第１の碍
子５０４のほぼ真横を捉えるように視覚センサ５１１を
誘導する必要があるため、その誘導に微調整が必要で、
マニピュレータ５０７の操作に熟練を要する、あるいは
手間が掛かるという問題があった。第２の従来の技術で
述べたティーチングプレイバックによる操作では、装柱
５０１とマニピュレータ５０７との位置関係を予め知っ
ておく必要があり、そのための労力が発生し、手間が掛
かるという問題があった。また、ティーチングの際に、
装柱５０１とマニピュレータ５０７との位置関係にずれ
がある場合には、プレイバック時に、誘導後の映像５１
５から第１の碍子５０４が外れる、あるいは、誘導後の
映像５１５の中央に第１の碍子５０４が位置しない、あ
るいは、視覚センサ５１１が第１の碍子５０４の真横に
配置されない、という問題があった。本発明は、このよ
うな従来の技術における課題を解決するものであり、マ
ニピュレータ手先に搭載された視覚センサを対象物に誘
導する際、操作者（人）の介在、微調整を必要とせず自
動的に視覚センサを誘導することができ、対象物を確実
に視野内ほぼ中央に捉えることができることにより光学
歪みが改善され良好な対象物の検出が実行でき、視覚セ
ンサの位置と姿勢を３次元的に変更することができ、余
分な労力を必要とせず、手間の掛からない、簡便な視覚
センサの誘導方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記問題を解決するた
め、本発明の請求項１記載の視覚センサの誘導方法は、
マニピュレータ手先に視覚センサを搭載し、前記マニピ
ュレータを駆動することで対象物に前記視覚センサを誘
導する方法において、前記対象物の概略位置と、予め設
定した誘導位置と対象物との距離とから誘導位置を決定
するようにするものである。また、請求項２記載の視覚
センサの誘導方法は、前記概略位置と、前記誘導位置と
から、前記視覚センサの姿勢を決定する少なくとも１つ
の軸が、前記概略位置と前記誘導位置とを通るベクトル
と一致するように誘導姿勢を決定するようにするもので
ある。また、請求項３記載の視覚センサの誘導方法は、
マニピュレータ手先に視覚センサを搭載し、前記マニピ
ュレータを駆動することで対象物に前記視覚センサを誘
導する方法において、前記対象物の概略位置と、予め設
定した誘導位置と対象物との距離とから誘導位置及び姿
勢を決定するようにするものである。また、請求項４記
載の視覚センサの誘導方法は、前記対象物の姿勢を決定
する少なくとも１つの軸と、前記視覚センサの光軸とが
鉛直に交わるように視覚センサの誘導位置、誘導姿勢、
または誘導位置と誘導姿勢を決定するようにするもので
ある。

【０００９】

【発明の実施の形態】図５を用いて説明した従来の技術
の場合と同様、本実施例でも、誘導前の映像５１４が得
られる誘導前の視覚センサ位置５１２の視覚センサ５１
１を、誘導後の映像５１５が得られる誘導後の視覚セン
サ位置５１３に誘導することを行う。以下、図１及び図
２を用いて本発明の実施例を説明する。図２に本発明の
実施例に係る視覚センサの誘導方法モデル図を示す。図
２では、装柱５０１の構成要素である、第１の碍子５０
４とアーム５０３の一部のみを示している。２０１及び
２０３は視覚センサ５１１の内部に設置された座標系
で、２０１が、誘導前の視覚センサ位置５１２の視覚セ
ンサの座標系（誘導前の視覚センサ座標系）、２０３
が、誘導後の視覚センサ位置５１３の視覚センサの座標
系（誘導後の視覚センサ座標系）である。図５に示した
視覚センサ５１１の紙面手前方向をＸｓ軸、上方向をＹ
ｓ軸、左方向（視覚センサの視線方向）をＺｓ軸とす
る。これによれば、視覚センサ５１１の底面はＸｓＺｓ
平面と平行となる。誘導後の視覚センサ座標系２０３の
各座標軸には、誘導前の視覚センサ座標系２０１のそれ
らと区別するために、「’」を付している。２０２はマ
ニピュレータのベース部に設置された座標系（マニピュ
レータ座標系）で、図５で示したマニピュレータ５０７
の紙面右方向をＸｒ軸、、奥方向をＹｒ軸、上方向をＺ
ｒ軸とする。これによれば、マニピュレータ５０７の底
面はＸｒＹｒ平面と平行となる。

【００１０】本実施例は、この誘導後の視覚センサ座標
系２０３の位置と姿勢とを決定するものである。より具
体的には、マニピュレータ座標系２０２に関する誘導後
の視覚センサ座標系２０３の位置と姿勢とを求めるもの
である。マニピュレータ５０７と視覚センサ５１１とは
校正されているため、マニピュレータ５０７の移動に伴
って、マニピュレータ座標系２０２に関する視覚センサ
座標系（２０１や２０３）の位置と姿勢が分かる。マニ
ピュレータ座標系２０２に関する誘導前の視覚センサ座
標系２０１の位置と姿勢をＴ、誘導後の視覚センサ座標
系２０３の位置と姿勢をＴ’とする。Ｔ及びＴ’は位置
と姿勢を表す４行４列の同次変換行列である。従って、
本実施例は、Ｔ’を求めることが目的となる。なお、２
０４から２０７の説明については、図１の説明の中で記
載する。

【００１１】視覚センサ座標系に関する概略位置２０７
は、誘導前の視覚センサ位置５１２で視覚センサ５１１
を用いて第１の碍子５０４を見た時の、誘導前の視覚セ
ンサ座標系２０１に関する第１の碍子５０４の概略位置
で、図２では、ベクトル表記している。この視覚センサ
座標系に関する概略位置２０７をマニピュレータ座標系
２０２に関する位置で表し、

【数１】とする。ここで、ｔは転置である。マニピュレータ座標
系に関する概略位置２０８は、マニピュレータ５０７と
視覚センサ５１１とが校正されているため（Ｔが分かる
ため）、視覚センサ座標系に関する概略位置２０７から
容易に求めることができる。以降では、マニピュレータ
座標系２０２に関する座標値を扱う。なお、視覚センサ
座標系に関する概略位置２０７は、視覚センサ５１１と
して、レーザレンジファインダ等を用いて求めることが
できる。

【００１２】図１に本発明の実施例に係る視覚センサの
誘導方法ブロック図を示す。図２における２０４は、視
覚センサ座標系に関する概略位置２０７を示す計測点を
表している。対象物距離１０１は、誘導後の視覚センサ
位置５１３の視覚センサ５１１と、第１の碍子５０４と
の距離であり、予め設定する。すなわち、図２において
は、誘導後の視覚センサ座標系２０３の原点（２０５）
と計測点２０４との距離であり、これをＬとする。本実
施例における誘導位置・誘導姿勢算出手段１０６は、誘
導位置算出手段１０２と誘導姿勢算出手段１０３とから
構成される。誘導位置算出手段１０２では、マニピュレ
ータに関する概略位置２０８と対象物距離１０１とを入
力し、誘導位置１０４、すなわち、誘導後の視覚センサ
座標系２０３の位置を出力する。計測点２０４を中心と
し、半径をＬとした球面２０６を設定する。球面２０６
の方程式は

【数２】となる。計測点２０４を通り、ＸｒＹｒ平面に平行な平
面は

【数３】となる。球面２０６と視覚センサ座標系に関する概略位
置２０７のベクトルとの交点を

【数４】とすると、視覚センサ座標系に関する概略位置２０７の
ベクトルを含みＺｒに平行な平面は

【数５】となる。式（２）、（３）、（５）を連立し解くと、

【数６】となる。

【００１３】２つある解の内、視覚センサ５１１側の方
を取ると、これが誘導後の視覚センサ座標系２０３の位
置、すなわち、誘導位置１０４となる。これにより、第
１の碍子５０４と同じ高さで、距離Ｌの位置に誘導後の
視覚センサ座標系２０３の位置を決定することができ
る。誘導姿勢算出手段１０３では、誘導位置１０４とマ
ニピュレータ座標系に関する概略位置２０８とを入力
し、誘導姿勢１０５、すなわち、誘導後の視覚センサ座
標系２０３の姿勢を出力する。誘導後の視覚センサ座標
系２０３のＸｓ’Ｚｓ’平面とマニピュレータ座標系２
０２のＸｒＹｒ平面とが平行であるとすると、Ｙｓ’軸
の単位ベクトルは

【数７】となる。計測点２０４と誘導後の視覚センサ座標系の原
点２０５とを通るベクトルを正規化し

【数８】とすると、これがＺｓ’軸の単位ベクトルとなる。Ｘ
ｓ’軸は式（７）と（８）との外積演算

【数９】により求めると、これがＸｓ’軸の単位ベクトルとな
る。

【００１４】式（７）、（８）、（９）の各軸を要素と
した誘導後の視覚センサ座標系２０３の姿勢が

【数１０】で求められる。これにより、第１の碍子５０４に視覚セ
ンサ５１１の視線方向が向かっている誘導後の視覚セン
サ座標系２０３の姿勢を決定することができる。式
（６）、（１０）より、誘導後の視覚センサ座標系２０
３の位置と姿勢Ｔ’は

【数１１】となる。以上により、誘導後の視覚センサ座標系２０３
を、第１の碍子５０４と同じ高さで、距離Ｌの位置に、
視覚センサ５１１の視線が第１の碍子５０４に向かう姿
勢で、決定することができる。

【００１５】

【発明の効果】以上、説明したように、本発明は、対象
物の概略位置と、予め設定した誘導位置と対象物との距
離とから誘導位置を求めるようにしたので、対象物と同
じ高さで、すなわち対象物の真横で、予め設定した誘導
位置と対象物との距離を保った位置に視覚センサの位置
を自動的にかつ３次元的に決定することができる。ま
た、本発明は、対象物の概略位置と、誘導位置とから誘
導姿勢を求めるようにしたので、対象物に視覚センサの
視線方向が向かうように、すなわち対象物が視覚センサ
で得られる視野の中央となるように、視覚センサの姿勢
を自動的にかつ３次元的に決定することができる。ま
た、その結果、光学歪みが改善され、良好な対象物の検
出が実行できる。更に、本発明は、誘導位置及び誘導姿
勢を自動的に決定するようにしたので、手間を掛けず
に、また、余分な労力を必要とせずに、簡便に視覚セン
サを誘導することができる。

【図面の簡単な説明】

【図１】本発明の実施例に係る視覚センサの誘導方法
ブロック図である。

【図２】本発明の実施例に係る視覚センサの誘導方法
モデル図である。

【図３】第１の従来の技術に係る視覚センサの誘導方
法ブロック図である。

【図４】第２の従来の技術に係る視覚センサの誘導方
法ブロック図である。

【図５】従来の装柱に対する配電作業で行われる視覚
センサ誘導の概略説明図である。

【符号の説明】

１０１対象物距離１０２誘導位置算出手段１０３誘導姿勢算出手段１０４誘導位置１０５誘導姿勢１０６誘導位置・誘導姿勢算出手段２０１誘導前の視覚センサ座標系２０２マニピュレータ座標系２０３誘導後の視覚センサ座標系２０４計測点２０５誘導後の視覚センサ座標系の原点２０６球面２０７視覚センサ座標系に関する概略位置２０８マニピュレータ座標系に関する概略位置３０１ティーチングマーク画像３０２マーク画像３０３比較照合手段３０４座標変換手段３０５第１の従来の技術の誘導位置・誘導姿勢算出
手段４０１プレイバック指令４０２操作指令４０３ティーチングデータ４０４第２の従来の技術の誘導位置・誘導姿勢算出
手段５０１装柱５０２電柱５０３アーム５０４第１の碍子５０５第２の碍子５０６第３の碍子５０７マニピュレータ５０８コントローラ５０９ティーチボックス５１０操作者５１１視覚センサ５１２誘導前の視覚センサ位置５１３誘導後の視覚センサ位置５１４誘導前の映像５１５誘導後の映像

───────────────────────────────────────────────────── フロントページの続き (72)発明者高岡佳市福岡県北九州市八幡西区黒崎城石２番１号株式会社安川電機内Ｆターム(参考） 3F059 AA15 BA03 DB01 DB05 5C022 AA01 AB62 AC69 AC74

Claims

【特許請求の範囲】

【請求項１】マニピュレータ手先に視覚センサを搭載
し、前記マニピュレータを駆動することで対象物に前記
視覚センサを誘導する方法において、前記対象物の概略位置と、予め設定した誘導位置と対象
物との距離とから誘導位置を決定することを特徴とする
視覚センサの誘導方法。
【請求項２】前記概略位置と、前記誘導位置とから、
前記視覚センサの姿勢を決定する少なくとも１つの軸
が、前記概略位置と前記誘導位置とを通るベクトルと一
致するように誘導姿勢を決定することを特徴とする請求
項１記載の視覚センサの誘導方法。
【請求項３】マニピュレータ手先に視覚センサを搭載
し、前記マニピュレータを駆動することで対象物に前記
視覚センサを誘導する方法において、前記対象物の概略位置と、予め設定した誘導位置と対象
物との距離とから誘導位置及び姿勢を決定することを特
徴とする視覚センサの誘導方法。
【請求項４】前記対象物の姿勢を決定する少なくとも
１つの軸と、前記視覚センサの光軸とが鉛直に交わるよ
うに視覚センサの誘導位置、誘導姿勢、または誘導位置
と誘導姿勢を決定することを特徴とする請求項１、２ま
たは３に記載の視覚センサの誘導方法。