JP2001060108A - ロボット動作教示装置および動作教示方法 - Google Patents

ロボット動作教示装置および動作教示方法

Info

Publication number
JP2001060108A
JP2001060108A JP2000024498A JP2000024498A JP2001060108A JP 2001060108 A JP2001060108 A JP 2001060108A JP 2000024498 A JP2000024498 A JP 2000024498A JP 2000024498 A JP2000024498 A JP 2000024498A JP 2001060108 A JP2001060108 A JP 2001060108A
Authority
JP
Japan
Prior art keywords
coordinate system
trajectory
robot
image
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000024498A
Other languages
English (en)
Other versions
JP3343682B2 (ja
Inventor
Fumitomo Saito
史倫 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
Agency of Industrial Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency of Industrial Science and Technology filed Critical Agency of Industrial Science and Technology
Priority to JP2000024498A priority Critical patent/JP3343682B2/ja
Publication of JP2001060108A publication Critical patent/JP2001060108A/ja
Application granted granted Critical
Publication of JP3343682B2 publication Critical patent/JP3343682B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

(57)【要約】 【課題】ロボットから離れた場所で安全かつ容易に目的
作業のための軌道をロボットに教示すること。 【解決手段】三次元画像計測装置から得られたカメラ画
像が表示される表示装置を見ながら、作業者が入力装置
によって三次元計測情報に基づく簡単な幾何要素を作成
していくことで、作業用ロボットの作業軌道の定義に必
要な座標系を定義し、それらを用いて軌道(位置・姿勢
の時間的変化)を決定することで、ロボットの動作を教
示する。また、三次元画像計測装置の位置・姿勢を変化
させるロボットアームなどの計測装置駆動装置を併用し
て、作業空間の全域に亘り精度の良い教示軌道を与え
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ロボットが何らか
の作業をする際の動作軌道、すなわち位置・姿勢の時間
的変化を容易に教示できるようにしたロボット動作教示
装置と動作教示方法とに関する。
【0002】
【従来の技術】物体の組み立てや加工などを行なうロボ
ットアームに動作軌道を与える方法として、(i) ティー
チングボックスなどを使用してロボットの通過位置を記
録していき、その順にロボットを動作させるダイレクト
教示法と、(ii) 作業空間における位置・姿勢のデータ
を数値や数式で入力してプログラムする方法とがある。
【0003】ダイレクト教示には以下のような問題があ
る。 (1) ティーチングボックスを使って精度の高い位置・姿
勢を教示することは困難である。 (2) 遠隔作業の場合、カメラ画像のみでは奥行き情報が
欠落しているため、ロボットの空間的な位置・姿勢を遠
隔から教示することは困難である。 (3) 記録される個々の位置・姿勢は独立して与えられる
ため、一定の空間的な関係(たとえばツールがいつも傾
いた同一平面上にあるという拘束)を満足させることは
困難である。
【0004】プログラムによる教示には以下のような問
題がある。 (4) 作業空間座標系における対象物や障害物の位置や形
状などがあらかじめ分かっている必要がある。 (5) 数値や数式による教示は作業者が直感的に理解でき
ない。
【0005】
【発明が解決しようとする課題】本発明は、上記問題点
を解決するために、ロボットの教示作業者がカメラによ
って映されている作業空間の画像情報から、実空間と直
接的または間接的に対応する簡単な三次元幾何要素を作
成していくことで、ロボットから離れた場所で安全かつ
容易に目的作業のためのツールの軌道(位置・姿勢の時
間的変化)を教示する方法を提供することを目的とす
る。
【0006】そして、本発明は生産現場でのロボットの
動作教示のみならず、環境があらかじめ特定されていな
いような災害現場や宇宙、海底、原子力プラント内など
の人が立ち入れない場所で作業をするロボットの遠隔操
作、あるいはホームロボットや介助ロボットによって離
れた場所の物体を操作したり持ってこさせるような作業
の教示を簡単なヒューマンインターフェイスで実現する
ことを目的とする。
【0007】
【課題を解決するための手段】本発明のロボット動作教
示装置は、ステレオカメラ装置あるいはレンジファイン
ダなどの三次元画像計測装置と、該装置から得られる二
次元カメラ画像および作業者が作成した幾何要素の表示
画像とを重ね合わせて表示する表示装置、キーボード、
マウスなどの作業者の指示を入力する入力装置、および
データ処理装置から構成される。作業者は作業空間と直
接対応する幾何要素とそれらから間接的に導かれる幾何
要素とを作成することで、軌道の作成に必要な座標系を
作成し、それに基づいた軌道を作成する。作成した教示
軌道データは各ロボット固有の制御コマンドに変換され
て作業用ロボットへ送られ、目的の作業が実現される。
また、より広い空間で精度良く教示を行なうために三次
元画像計測装置の位置・姿勢を変化させるロボットアー
ムなどの計測装置駆動装置を併用することもできる。
【0008】作業用ロボットに取りつけられたツールを
動作させるためには、一般的にツールの位置・姿勢の時
間的変化を教示する必要があるが、本発明ではこれをツ
ールに固定されたツール座標系を時間と共にどのように
変化させていくかによって記述し、この座標系の変化の
させ方、すなわち軌道を教示データとして作成する。作
業者がティーチングボックスを用いて動作点を教示した
り教示データをプログラミングしたりしなくても、作業
環境を映すカメラ画像のみを見ながら簡単な三次元的な
作図を行なうことで直感的に任意の作業のためのロボッ
トの動作軌道を生成するものである。
【0009】
【発明の実施の形態】本発明について図面及び実施例を
参照して説明する。図1は本発明のロボット動作教示装
置のシステム全体の構成図、図2は本発明のシステム構
築例である。図1、図2において、1は教示装置、2は
三次元画像計測装置、3は計測装置駆動装置、4はデー
タ処理装置、5は表示装置、6は入力装置、7は作業
者、8は作業用ロボットである。
【0010】本発明の構成要素について簡単に説明す
る。 A.三次元画像計測装置2 三次元画像計測装置2は計測対象を撮影するカメラを有
し、該装置固有の座標系において計測対象点の空間位置
を計測するための装置である。装置の構成によって、撮
影した画像情報をデータ処理装置4へ送った後にデータ
処理装置4で計測のための演算を行う場合と、三次元画
像処理装置2自体で計測までを行い、計測結果は数値デ
ータとしてデータ処理装置4に送る場合とがある。この
ような装置として、カメラで複数の異なる視点から対象
を観察する立体視手法(「ステレオの仕掛けを解き明か
す」、情報処理、Vol.37、No.7、 pp.662〜670、 199
6)を利用したステレオカメラ装置あるいはレーザ光線
を利用したレンジファインダ装置(井口征士・佐藤宏介
共著、『三次元画像計測』、昭晃堂、1990)などが知ら
れている。
【0011】(1) ステレオカメラ装置を使用する場合の
装置例 2台以上のカメラによってあるいは1台のカメラを移動
させることにより計測対象を異なる視点から撮影し、デ
ータ処理装置4へそれらの画像情報を送る。カメラの空
間的配置に関わるパラメータおよびカメラの結像系に関
わるパラメータとに応じて、空間中の点は画像上の決ま
った位置へ投影されるため、これらのパラメータをあら
かじめ較正しておくことにより複数の二次元画像から三
次元情報が得られる。
【0012】(2) レンジファインダ装置を使用する場合
の装置例 レンジファインダ装置はレーザ光照射装置とカメラとか
らなり、レーザ光照射装置により計測対象に向かって照
射したレーザ光の反射する様子をカメラで撮影し、デー
タ処理装置4にその画像情報を送る。市販のレンジファ
インダ装置の中には位置計測の計算までを行ない、画像
上の各画素に対応する空間中の点の位置情報が得られる
ものもあり、その場合にはデータ処理装置側で画像計測
アルゴリズムの計算をする必要はない。
【0013】B.計測装置駆動装置3 計測装置駆動装置3はデータ処理装置4から送られる動
作コマンドに従って三次元画像計測装置2の位置・姿勢
を変化させる装置である。これによって計測対象を観察
する視点を変えたり、計測可能な空間を広げることがで
きる。現在の視点から見えない計測対象物の裏側の面を
観察したり、他の物体で隠れている物体を計測装置で観
察できるようにすることで、固定された視点からは見え
ない作業空間中の部位に対応した画像計測情報を得るこ
とができる。これには一般的なロボットアームを利用可
能である。図2のシステム構築例では三次元画像計測装
置2を先端に取りつけた計測装置駆動装置3としてロボ
ットアームを使用している。このロボットアームの位置
・姿勢について作業者7が入力装置6を介して指示する
ことで、教示を行ないやすいように計測対象を観察する
視線を変更することができる。
【0014】C.表示装置5 表示装置5は三次元画像計測装置2から得られる二次元
カメラ画像(実画像)と、作業者7が作成した幾何要素
の表示画像(仮想画像)を重ね合わせて表示して作業者
7に提示する装置である。またデータ処理装置4からの
種々の情報(例えば作業者の選択可能なコマンドや作業
者が表示画面上の位置を指定するためのマウスポインタ
など)を表示する。表示装置5としては一般の計算機デ
ィスプレイの他、作業者が装着するタイプのヘッドマウ
ントディスプレイなどが利用できる。
【0015】計測装置駆動装置3によって三次元画像計
測装置2のカメラ視線が変更されてもそれに伴って座標
変換により幾何要素の表示データをデータ処理装置4で
変化させながら仮想画像を実画像に重ね合わせること
で、あたかも実際の三次元空間に点や線などの幾何要素
が描かれているかのように作業者7に提示することがで
きる。
【0016】D.入力装置6 入力装置6は、作業者7が幾何要素を作成するための入
力や、計測装置駆動装置3への動作コマンドの入力を受
け付けたり、作業用ロボット8の動作開始の指示入力を
受け付け、それらをデータ処理装置4へ伝える装置であ
る。入力装置6として一般のキーボードやマウス、タッ
チパネル、ジョイスティックなどが利用できる。作業者
7は入力装置6を介して、表示装置5に表示される画像
上の位置を指定し、コマンドを選択し、あるいは数値を
入力する。
【0017】E.データ処理装置4 データ処理装置4は主として、 1.三次元画像計測装置2から得られた画像を元に三次
元位置を計測する画像計測アルゴリズムの計算、 2.点、直線、曲線、平面、直方体、円柱、座標系、軌
道などの三次元幾何要素の定義、 3.幾何要素に関わる物理量の計算、 4.幾何要素の表示データの作成、 5.作業用ロボットへの教示データの出力 6.計測装置駆動装置への動作コマンドの出力を行な
う。
【0018】先ず、これらの機能について説明する。 1.画像計測アルゴリズムの計算 データ処理装置4は、三次元画像計測装置2から得られ
た二次元画像を基に作業空間中の三次元位置を計測する
アルゴリズムを計算する。 (1) ステレオカメラ装置を用いる場合の例 複数の視点からカメラで撮られた画像上で対応する点を
見つけ、それらの画像上の位置とカメラ結像系およびカ
メラ間の位置と姿勢の関係とから、三角測量の原理によ
ってその点の実際の空間位置を計算する。(「ステレオ
の仕掛けを解き明かす」、情報処理、Vol.37、No.7、p
p.662〜670、1996) ここで対応点を自動的に見つける
ことが困難な場合は、作業者7が直接、対応する点をそ
れぞれの画像上で明示的に指示してもよい。 (2) レンジファインダを用いる場合の例 撮影されたレーザ光の画像上の位置と、カメラの位置と
姿勢およびレーザ光照射装置の位置と姿勢との関係か
ら、三角測量の原理によってレーザ光投影点の実際の空
間中の位置を計算する。(井口征士・佐藤宏介共著、
『三次元画像計測』、昭晃堂、1990)
【0019】2.幾何要素の作成 データ処理装置4は、入力装置6を介した作業者7の指
示に従って、点、直線、曲線、平面、直方体、円柱、ベ
クトル、座標系、軌道などの三次元幾何要素を作成す
る。これらの幾何要素は三次元画像計測装置2の情報を
元に作成されるため実空間に対応したものとなる。座標
変換を施すことによって三次元画像計測装置固有の座標
系からあらかじめ設定しておいた作業空間座標系への変
換を行ない、幾何要素をこの作業空間座標系で記述す
る。
【0020】図3で座標系の変換を説明する。座標系を
表わすのに < > を以下使用する。座標変換は次のよう
に同次変換行列(John J. Craig 著、三浦宏文・下山
勲 訳、『ロボティクス』、2章、共立出版、1991)に
よって行なうことができる。まず同次変換行列について
説明する。図3のように座標系<A> に基づく点Pの位
置ベクトルの記述BPを、別の座標系<A> に基づいた記
APに直したいとする。このとき座標系<B> の原点O
Bの位置を座標系 <A> で記述したベクトルをAB
し、また座標系<B> の3つの主軸方向を定義する単位
ベクトルを座標系 <A> で記述したものをそれぞれ
ABABABとすると、ベクトルAPとBPとには次
の(1)式のような関係が成立する。(1)式以下の各
ベクトルは3行1列の縦行列として記述することにす
る。これを次の(2)式のように表わしたとき、4×4
行列A/BTを同次変換行列と呼ぶ。
【0021】
【数1】
【0022】
【数2】
【0023】さて、図2の実施例のように、幾何要素を
記述したい作業空間座標系を <A>、計測装置駆動装置
3の基部に固定した座標系を <B> 、三次元画像計測装
置2に固定した座標系を<C> とする。このとき三次元
画像計測装置2から見て計測された空間中のある対象点
PへのベクトルCPを作業空間座標系 <A>での記述A
に変換したいとする。これは次のように作業空間座標系
<A> と計測装置駆動装置3との関係を示す(3)式、
および計測装置駆動装置3と三次元画像計測装置2との
関係を示す(4)式とから導かれる(5)式のような同
次変換行列の積によって求められる。
【0024】
【数3】
【0025】
【数4】
【0026】
【数5】
【0027】A/BTは計測装置駆動装置3の作業空間中
の位置配置をあらかじめ実測しておくことで得られ、ま
B/CTは該駆動装置のリンク構造に関わるパラメータ
と関節角センサの検出値とから計算される。従って三次
元画像計測装置2に固有の座標空間 <C> で測定した位
置情報を任意に設定した作業空間座標系 <A> の記述に
変換することができる。
【0028】一方、作業用ロボット8で実際に作業をす
るためには、そのツールに固定された座標系と作業空間
座標系 <A> との関係を明らかにする必要がある。作業
用ロボット8の基部に固定された座標系を <D> 、作業
用ロボット8のツールに固定されたツール座標系を<E>
とするとき、前記の三次元画像計測時の座標変換の場
合と同様にして次の(6)式の同次変換によってツール
座標系 <E> から見た点PへのベクトルEPを作業空間
座標系<A> での記述APに改めることができる。
【0029】
【数6】
【0030】ここでもA/DTは作業空間中の作業用ロボ
ット8の位置配置をあらかじめ実測しておくことで得ら
れ、またD/ETはロボットのリンク構造パラメータと関
節角センサの検出値とから計算することができる。
【0031】以上のような座標変換から、三次元画像計
測したデータの座標も作業用ロボットのツール制御のた
めのツール座標も一つの中立的な作業空間座標系 <A>
での記述に変換できる。したがってこの座標系 <A> で
三次元画像計測の結果を表現し、それらを基に動作教示
軌道を作成し、記述できれば、後はこの軌道データを制
御コマンドに変換し、作業用ロボットに送ることで作業
用ロボットの動作制御をすることができる。
【0032】次に教示軌道を定義する方法を図4のフロ
ー図で説明する。表示装置には三次元画像計測装置から
見た作業環境の実画像が表示されている。教示軌道を定
義するには、まずその定義に必要な幾何要素を実画像や
既に定義された幾何要素を基に定義していき(ステップ
S2、S3)、それらの幾何要素を用いて目的の軌道を定義
することで行なう(ステップS4)。
【0033】ここで座標系と軌道の記述法について次の
ように決める。 (座標系の記述)あらゆる座標系は基準となる作業空間
座標系 <A> での記述に変換するための同次変換行列に
よって表現する。すなわち任意の座標系 <G> は、これ
を座標系<A> に変換する同次変換行列A/GTによって <
G> =A/GTというように記述する。
【0034】(軌道の記述)軌道とはここでは座標系が
時間と共に変化するものをさす。ある座標系 <G>が時
間とともに変化して軌道をなすとき、これは座標系 <G
> を基準座標系 <A> へ変換する同次変換行列A/GTの
時間関数A/GT(t)によって <G>(t) =A/GT(t) と
いうように記述する。
【0035】以下の具体例では幾何要素として点、直
線、線分、曲線、曲線区間、平面、平面領域、曲面、曲
面領域、直方体、円柱、ベクトル、座標系、軌道を考え
る。このうち直線、線分、曲線、曲線区間をまとめて線
要素、平面、平面領域、曲面、曲面領域をまとめて面要
素、直方体、円柱をまとめて素形状要素と呼ぶことにす
る。ただし幾何要素はこれに限るわけではなく、目的の
教示に都合の良い別な要素を導入しても本発明の本質的
内容は変わらない。
【0036】幾何要素の作成方法には、三次元画像計測
装置2から得られる位置情報を用いる直接定義法と、既
に定義された幾何要素の組合せから新たな幾何要素を定
義する間接定義法とがある。間接定義法には一般的な幾
何学的手法やCAD手法を用いることができる。次に、
幾何要素の作成法を具体例で示す。
【0037】(直接定義法)三次元画像計測装置2を用
いて対象を直接計測しながら幾何要素を定義する方法に
ついて以下に示す。 (a) 点の定義 表示装置5に表示された二次元のカメラ画像中で作業者
7が指定した点から、その点の位置に対応する作業空間
中の三次元位置を三次元画像計測により求め、それを点
要素として定義する。 (b) 直線の定義 表示装置5に表示された二次元のカメラ画像中で作業者
7がなぞった直線状画像エッジから、なぞられた画像エ
ッジ上の複数の点の三次元位置を三次元画像計測によっ
て求め、それらを最小二乗近似することによって空間中
の直線を求め、直線要素として定義する。
【0038】(c) 平面の定義 表示装置5に表示された二次元のカメラ画像中で作業者
7が指定した領域から、その領域に含まれる複数の点の
三次元位置を三次元画像計測によって求め、それらを最
小二乗近似することによって空間中の平面を求め、それ
を平面要素として定義する。 (d) 曲面の定義 平面の定義と同様に作業者7が指定した領域中の複数点
の三次元位置を通過する近似曲面を求め、それを曲面要
素として定義する。
【0039】(間接定義法)既に定義された幾何要素を
利用して別の幾何要素を定義する方法について以下に示
す。ただし下記以外にも、幾何要素に平行移動や回転、
拡大縮小などの変換を施して別の幾何要素を作成するの
も一般的な間接定義法の手法である。
【0040】(a) 点の定義 ア.作業者7が指定した既に定義されている面要素と線
要素とから、それらの交点として点を定義する。 イ.作業者7が指定した既に定義されている同一平面上
の2直線から、それらの交点として点を定義する。(2
直線が完全には同一平面上にない場合は、2直線の最短
点を結ぶ線分の中点により交点を近似するものとす
る。) ウ.作業者7が指定した既に定義されている面要素と、
同じく作業者が指定した二次元のカメラ画像上での点の
位置から、その面要素上でかつカメラ画像上ではその点
の位置に対応する空間中の点を定義する。(二次元のカ
メラ画像上で点を指定することは空間ではその点位置に
投影されうる点の集合、すなわち直線を指定することと
なるため、これは面要素と直線との交点を求める特殊な
場合に相当する。) エ.作業者7が、既に定義されている線要素と、その線
要素の二次元表示画像における線上の点とを指定するこ
とで、その点を投影した実際の線要素上の点を定義す
る。
【0041】(b) 直線の定義 ア.作業者7が指定した既に定義されている2点から、
それらを通る直線を定義する。 イ.作業者7が指定した既に定義されている2平面か
ら、それらの交線として直線を定義する。 ウ.ステレオカメラ装置を用いる場合、表示装置5に示
された異なる2つの二次元カメラ画像上で作業者7がそ
れぞれ直線を1つずつ描くことで、それらがそれぞれの
画像上での投影直線となるような空間中の直線を定義す
る。(二次元のカメラ画像上で直線を描くことは空間中
では平面の拘束を与えたこととなるので、これは2つの
平面の交線を求める特殊な場合に相当する。)
【0042】(c) 線分の定義 ア.作業者7が指定した既に定義されている2点から、
それらを端点とする線分を定義する。 イ.作業者7が指定した既に定義されている直線とその
直線の二次元表示画像上での2点を指定することで、そ
の直線上の区間として線分を定義する。
【0043】(d) 曲線の定義 ア.作業者7が指定した既に定義されている複数の点を
用いてスプライン曲線などの曲線補間法を適用して曲線
を定義する。 イ.作業者7が指定した既に定義されている平面または
平面領域に対し、作業者が任意に作図した二次元曲線を
その面の法線方向から投影することで空間中の曲線を定
義する。 ウ.作業者7が指定した既に定義されている曲面または
曲面領域に対し、作業者が任意に作図した二次元曲線を
作業者の指定するベクトル方向から投影することで空間
中の曲線を定義する。 (e)曲線区間の定義 ア.作業者7が既に定義されている曲線とその曲線の二
次元表示画像上での2点を指定することで、その2点に
対応する空間中の点にはさまれたその曲線の区間として
曲線区間を定義する。
【0044】(f) 平面の定義 ア.作業者7が指定した既に定義されている3点から、
それらを含む平面を定義する。 イ.作業者7が指定した既に定義されている交わる2直
線から、それらを含む平面を定義する。 ウ.作業者7が指定した既に定義されている直線と点か
ら、それらを含む平面を定義する。 (g)平面領域の定義 ア.作業者7が既に定義されている平面と、その平面の
二次元表示画像上での閉じた領域を指定することで、そ
の領域をその平面上に投影した部分として平面領域を定
義する。 イ.作業者7が、1点を端点として共有する2つの線分
を指定することで、その2つの線分を2辺とする空間中
の平行四辺形領域を平面領域として定義する。
【0045】(h) 曲面の定義 ア.作業者7が指定した既に定義されている3つ以上の
複数の点から、それらを通る近似曲面を補間法を適用し
て定義する。 イ.作業者7が指定した既に定義されている2つの曲線
から、一方の曲線をもう一方の曲線に沿って平行移動さ
せたときの軌跡として曲面を定義する。 (i) 曲面領域の定義 ア.作業者7が既に定義されている曲面と、その曲面の
二次元表示画像上での閉じた領域を指定することで、そ
の領域をその曲面上に投影した部分として曲面領域を定
義する。
【0046】(j) 直方体の定義 ア.作業者7が指定した既に定義されている線分を1つ
の辺とし、あらかじめ与えられた3辺比を有する直方体
が、その指定線分周りにあらかじめ与えられた回転角を
なして実画像と重ね合わせて表示される二次元表示画像
を見ながら、作業者7があらかじめ与えられた2つの辺
の長さと指定線分周りの回転角を適切に変更することで
直方体を定義する。 イ.作業者7が指定した既に定義されている平面矩形領
域を1つの面とし、あらかじめ与えられた高さを有する
直方体が実画像と重ね合わせて表示される二次元表示画
像を見ながら、作業者7があらかじめ与えられた高さを
適切に変更することで直方体を定義する。 ウ.作業者7が指定した既に定義されている座標系の原
点を1つの頂点とし3つの軸方向を直方体の辺の方向と
するあらかじめ与えられた3辺長を有する直方体が実画
像と重ね合わせて表示される二次元表示画像を見なが
ら、作業者7があらかじめ与えられた3辺長を適切に変
更することで直方体を定義する。
【0047】(k) 円柱の定義 ア.作業者7が指定した既に定義されている線分を中心
軸とし、その両端点が円柱の端面の中心となるあらかじ
め与えられた直径を有する円柱が実画像と重ね合わせて
表示される二次元表示画像を見ながら、作業者7があら
かじめ与えられたその直径を適切に変更することで円柱
を定義する。 イ.作業者7が指定した既に定義されている平面とその
平面上の点とから、その平面を端面としその点をその端
面の中心とするようなあらかじめ与えられた直径と高さ
とを有する円筒が実画像と重ね合わせて表示される二次
元表示画像を見ながら、作業者7があらかじめ与えられ
た直径と高さを適切に変更することで円柱を定義する。 ウ.ステレオカメラ装置を用いる場合、作業者7が定義
したい円柱の両側面のエッジに相当する2本の二次元直
線を2つのカメラ画像上でそれぞれ作図することで、そ
れらが側面の投影エッジとなるような幾何学的条件から
円柱面を近似計算により定義し、作業者7がその円柱面
の中心軸の二次元表示画像上で円柱の両端面の中心とな
る2点の位置を指定することで円柱を定義する。
【0048】(l) ベクトルの定義 ア.作業者7が指定した既に定義されている2つの点と
その順序から、それらを結ぶベクトルを定義する。 イ.作業者7が指定した既に定義されている直線または
線分から、その直線または線分に沿い作業者の指定する
長さおよび向きのベクトルを定義する。 ウ.作業者7が指定した既に定義されている平面または
平面領域から、その法線方向で作業者の指定する長さお
よび向きのベクトルを定義する。 エ.作業者7が指定した既に定義されている曲面(また
は曲面領域、以下同じ)およびその曲面上の点とから、
その曲面のその点位置における法線方向で、作業者の指
定する長さおよび向きのベクトルを定義する。 オ.作業者7が指定した既に定義されている一つまたは
複数のベクトルから、定数倍、内積、外積などの作業者
の指定する演算によって新たなベクトルを定義する。
【0049】(m) 座標系の定義 ア.作業者7が指定した既に定義されている点および互
いに直交する2つのベクトルから、その点を原点としそ
れら2つのベクトル方向およびそれらの2つのベクトル
の外積で得られるベクトル方向とを主軸方向とする作業
者が指定する向きの座標系を定義する。 イ.作業者7が指定した点と平面(または平面領域、以
下同じ)およびその平面に含まれる直線から、その点を
原点とし、その直線方向と、その平面内でその直線に直
交する方向と、その平面の法線方向とを3つの主軸方向
とするような、作業者が指定する向きの座標系を定義す
る。
【0050】(n) 軌道(座標系の時間的変化)の定義 ア.作業者7が指定した既に定義されている複数の座標
系とそれらの座標系を通過すべき時刻とから、任意の時
刻における座標系を補間によって求めることで軌道を定
義する。 イ.作業者7が指定した既に定義されている座標系と曲
線および線速度から、その座標系をその原点がその曲線
上をその線速度で移動するように平行移動させることで
軌道を定義する。
【0051】ここで、特に上記アの補間法について図5
により説明する。図5は時刻t=t 0、t1、t2、・・
・においてそれぞれの座標系 <G0>、 <G1> 、 <G2>
、・・・ を通過するという条件から、補間によって
任意の時刻t=tにおける座標系<G> を求める様子を
示しており、このように任意の時刻の座標系が求められ
れば軌道 <G>(t) を定義したことになる。
【0052】以下に具体的方法について補足する。
(1)式と同様にして <G> は次の(7)式のようにな
る。(7)式では座標系を表すのに12のパラメータを
用いているがこれらすべてが独立であるわけではなく、
単純に座標系<G0> 、 <G1> 、<G2> 、・・・の各成
分毎の補間から<G> を求めることはできない。そこで
まず座標系を独立なパラメータで表現する必要がある。
【0053】
【数7】
【0054】ここで3×3行列A/GRを次の(8)式の
ように定義すると、<G> は次の(9)式のように記述
できる。A/GRは座標系の回転を表し、ベクトルAG
座標系の並進を表していることが一般的に知られてお
り、それぞれ3自由度ずつの計6つの自由度が座標系に
はある。回転行列A/GRの成分が9つであるのに対して
自由度が3である点が冗長なので、この回転行列を3つ
の独立なパラメータで表現しなくてはならない。
【0055】
【数8】
【0056】
【数9】
【0057】これには様々な方法があるが、例として基
準座標系 <A> のx、y、z軸まわりにその順に角度α
(ロール角)、β(ピッチ角)、γ(ヨー角)の3つの
回転を施すものとして回転行列をとらえると、A/GRは
次の(10)式のようになる(JohnJ. Craig 著、三浦
宏文・下山 勲 訳、『ロボティクス』、2章、共立出
版、1991)。ここで((10)式の右辺)=((8)式の右
辺)としてα、β、γについて連立方程式を解くことに
より回転行列の3つの独立なパラメータが求まる。
【0058】
【数10】
【0059】これら3つのパラメータおよび並進ベクト
AGの3つの成分の、計6つのパラメータによって座
標系 <G0> 、 <G1> 、 <G2>、...を表し、各パラ
メータについて3次スプライン補間などの補間法を適用
することで任意の時刻における座標系 <G> の独立なパ
ラメータの補間値が得られる。得られたパラメータの補
間値と(9)式および(10)式とから任意の時刻にお
ける補間した座標系<G> を求めることができる。
【0060】3.幾何要素に関わる物理量の計算 データ処理装置4は、作成された幾何要素に関わるさま
ざまな物理量の計算を行う。例えば点や直線、平面など
の間の距離、線分の長さ、面と面との角度などを計算す
ることができる。
【0061】4.幾何要素表示データの作成 データ処理装置4は、作成された三次元幾何要素が三次
元画像計測装置2から見た二次元のカメラ画像上に重な
るように幾何要素の表示データを生成して表示装置5へ
送る。そのために幾何要素を三次元画像計測装置2の位
置姿勢に応じて座標変換し、また三次元画像計測装置2
の結像系パラメータに応じて投影変換を施す。これをカ
メラ画像や幾何要素が変化するごとに繰り返し行ない、
実画像と幾何要素表示との対応を維持する。
【0062】5.作業用ロボットへの教示データの出力 前記の定義方法によって、作業者7が動作軌道を定義し
て、作業開始を指示すると、データ処理装置4は、作業
用ロボット8のツールが指定された軌道上を移動するよ
うに座標変換処理を行ないながら制御コマンドをロボッ
ト8に出力する。
【0063】6.計測装置駆動装置への動作コマンドの
出力 データ処理装置4は、計測装置駆動装置3に取り付けら
れた三次元画像計測装置2の位置・姿勢についての作業
者7の指示を入力装置6を介して受け取り、適切な動作
コマンドに変換して計測装置駆動装置3に出力する。
【0064】以下、本発明を適用した作業例を図6〜図
12を参照して説明する。 (作業例1) ロボットハンドによる箱状物体把持作業の教示(図6、
図7) 図6(a)に示すように、テーブル10上に置かれた箱状
物体11を平行二指ロボットハンド(以下ハンド)12
によって把持させるために、ハンド12に設定したツー
ル座標系<E> の従うべき軌道 <E>(t) を教示する場
合について説明する。図6(b)〜図6(j)は軌道を定義す
るために必要な幾何要素を作業者7が定義していく過程
における表示装置5の表示画面を示しており、三次元画
像計測装置2のカメラ画像と作成した幾何要素の表示画
像とを重ね合わせたものである。以下、図7〜図12の
他の作業例も同様な表示画面を表わしている。作業者7
は適宜、幾何要素を定義しやすいように計測装置駆動装
置3により三次元画像計測装置2の位置・姿勢を変更し
たり、三次元画像計測装置2のレンズパラメータを変え
るなどして適切な視野を得ているものとする。
【0065】この作業例では、ハンド12の指13を閉
じる時点でハンドが移動しているべき座標系(把持目標
座標系)が指定できれば、ハンドに固定された座標系 <
E>を現在の座標系 <E0> の状態からその把持目標座標
系 <E1>に移動させ、ハンドを閉じることで把持を実現
できる。ここでもし現在のハンド座標系と把持目標座標
系との間に障害物があったりする場合には経由する座標
系を設定して補間により障害物を回避した軌道を定義す
ることで把持作業が可能となる。
【0066】[素形状要素を用いない方法の例]初期状態
と目標把持状態とを直線的に結ぶ教示軌道は、例えば以
下の手順で与えることができる。 1.1つの把持側面に対応する平面領域の定義 1-1.対象物である箱状物体11の把持側面上の1つの
画像エッジから直線14を定義する(幾何要素作成の直
接定義法(b)を使用する。図6(b)参照)。 1-2.定義した直線14の二次元表示画像上でエッジの
端点に相当する2点15、16を指定して線分17を定
義する(同間接定義法(c)イ使用、図6(c)参照)。 1-3.同様にして線分17と交わる線分18を定義する
(図6(d)参照)。 1-4.線分17と線分18とを2辺とする平行四辺形領
域として平面領域19を定義する(同間接定義法(g)イ
使用、図6(e)参照)。
【0067】2.1つの目標把持点の定義 2-1.平面領域19を映す二次元表示画像中で平面領域
19のおよその中心位置を指定することで空間中の点2
0を定義する(同間接定義法(a)ウ使用、図6(f)参
照)。
【0068】3.把持目標座標系の定義 3-1.線分17と平行な図6(g)の向きの単位ベクトルを
V1、線分18と平行で図6(g)の向きの単位ベクトルをV
2、V1とV2とに直交する図6(g)の向きの単位ベクトルを
V3として定義する(同間接定義法(l)イおよびオを使
用、図6(g)参照)。 3-2.点20を原点とし、単位ベクトルV1、V3をそれぞ
れy軸、x軸とする座標系<G1> を定義する(同間接定義
法(m)ア使用、図6(h)参照)。 3-3.1-1、1-2 と同様にして線分17と向かい合う線分
21を定義する(図6(i)参照)。 3-4.線分17と線分21との距離dを計算から求め(デ
ータ処理装置4の機能3・幾何要素に関わる物理量の計
算を使用)、座標系<G1> をx軸方向にd/2移動させた座
標系 <E1> を定義する(幾何要素作成の一般的な間接
定義法として平行移動を使用)。
【0069】4.把持軌道の定義 4-1.現在のハンドの座標系<E0> と座標系 <E1> とを
時間t1で移動する軌道<E>(t)を定義する(同間接定
義法(n)ア使用)。これが求める作業軌道である。
【0070】[素形状要素を用いた方法の例]素形状要素
として直方体を用いて軌道を教示する場合の例について
説明する。初期状態と目標状態とを直線的に結ぶ教示軌
道は、例えば以下の手順で与えることができる。
【0071】1.直方体の定義 1-1.対象物である箱状物体101の1つの辺の画像エ
ッジから直線104を定義する(幾何要素作成の直接定
義法(b)を使用する。図7(b)参照)。 1-2.定義した直線104の二次元表示画像上でエッジ
の端点に相当する2点105、106を指定して線分1
07を定義する(同間接定義法(c)イを使用、図7(c)参
照)。 1-3.定義した線分107を1つの辺として指定するこ
とで、表示される直方体108が対象物101の形状と
重なるように線分107の周りの回転角および線分10
7以外の2辺の長さを変更することで直方体109を定
義する(同間接定義法(j)ア使用、図7(d)(e)参照)。
【0072】2.把持目標座標系の定義 2-1.定義した直方体109の重心に点110を定義す
る(データ処理装置4の機能3・幾何要素に関わる物理
量の計算を使用、図7(f)参照)。 2-2.直方体109の互いに直交する2つの辺111、
112を指定し、そのそれぞれに平行な図7(g)のよう
な向きの単位ベクトルV21、V22を定義する(幾何要素作
成の間接定義法(l)イ使用、図7(f)(g)参照)。 2-3.点110を原点としベクトルV21、V22をそれぞれ x 軸、y 軸とする座標系 <E1> を定義する(同間接定
義法(m)ア使用、図7(h)参照)。
【0073】3.把持軌道の定義 3-1.現在のハンド座標系 <E0> と座標系 <E1> とを時間t1で移動する軌道 <E
>(t)を定義する(同間接定義法(n)ア使用)。これが求
める作業軌道である。この例では重心位置に座標系を定
義するステップも含めて考えたが、あらかじめ直方体の
重心に座標系を設定しておけば直方体の定義から間接的
に重心位置に座標系を定義することができ、あとは向き
の適切な変更のみで把持目標座標系が定義できるため手
順をより簡単にできる。
【0074】(作業例2) バルブ回しのための把持軌道の教示(図8、図9) 図8(a)に示すバルブハンドル22をロボットハンド2
3で回転させる作業のように対象物を特定の軸に沿って
回転させるような作業は、把持する際に対象物の回転軸
とロボットハンドの回転軸とを一致させると作業が容易
である。このための把持軌道は次のように与えることが
できる。ただし、ハンドに固定された座標系<E> はz軸
とハンドの回転軸とが一致するように設定されているも
のとする。
【0075】[素形状要素を用いない方法の例] 1.バルブ把持目標座標系の定義 1-1.バルブハンドル22の中心位置に点24を定義す
る(幾何要素作成の直接定義法(a)を使用。図8(b)参
照)。 1-2.バルブ軸25の画像エッジから直線26を定義す
る(同直接定義法(b)を使用、図8(c)参照)。 1-3.直線26に平行で図8(d)の向きの単位ベクトルV4
を定義する(同間接定義法(l)イを使用、図8(d)参
照)。 1-4.単位ベクトルV4と直交する任意方向の単位ベクト
ルの1つとして、V4と直交しかつ水平な図8(d)の向き
の単位ベクトルV5を定義する(同間接定義法(l)オを使
用、図8(d)参照)。 1-5.点24を原点とし単位ベクトルV4、V5をそれぞれz
軸、y軸方向とする座標系<E1> を定義する(同間接定
義法(m)アを使用、図8(e)参照)。
【0076】2.把持軌道の定義 2-1.現在のハンド座標系<E0> とバルブ把持目標座標
系 <E1> とを線形補間し、それらの座標系間を時間t1
で移動するものとしてハンドの移動軌道を定義する(同
間接定義法(n)アを使用)。これが求めたい把持軌道で
ある。把持軌道に従ってハンド23を移動させた後は、
ハンドを閉じてバルブハンドル22を把持し、ハンドを
ハンド軸(z軸)回りに回転動作させることでバルブハ
ンドル22を回すことができる。
【0077】[素形状要素を用いた方法の例]三次元画像
計測装置としてステレオカメラ装置を用い、素形状要素
として円柱を用いて軌道を教示する場合の例について説
明する。初期状態と目標状態とを直線的に結ぶ教示軌道
は、例えば以下の手順で与えることができる。
【0078】1.バルブ把持目標座標系の定義 1-1.図9(b)の126、127、128、129のよう
にバルブ軸125の側面の画像エッジに重なる二次元直
線を2つのカメラ画像上でそれぞれ2つずつ作図するこ
とで、図9(c)のようにそれらが側面の投影エッジとな
るような円柱面130を定義し、その中心軸131の二
次元表示画像上で円柱の両端面に相当する位置132、
133を指定することでバルブ軸125に対応する円柱
134を定義する(幾何要素作成の間接定義法(k)ウを
使用、図9(b)(c)(d)参照)。 1-2.定義した円柱134の中心軸135と平行な図9
(e)の向きの単位ベクトルV31を定義する(同間接定義法
(l)イを使用、図9(e)参照)。 1-3.定義したベクトルV31と直交し水平な図9(e)の向
きの単位ベクトルV32を定義する(同間接定義法(l)オを
使用、図9(e)参照)。 1-4.円柱134の端面の中心132を原点とし、ベク
トルV31、V32をそれぞれz軸、y軸方向とする座標系<E1
> を定義する(同間接定義法(m)アを使用、図9(f)参
照)。
【0079】2.把持軌道の定義 2-1.現在のハンド座標系<E0> とバルブ把持目標座標
系 <E1> とを線形補間し、それらの座標系間を時間t1
で移動するものとしてハンドの移動軌道を定義する(同
間接定義法(n)アを使用)。これが求めたい把持軌道で
ある。把持軌道に従ってハンド123を移動させた後
は、ハンドを閉じてバルブハンドル122を把持し、ハ
ンドをハンド軸(z軸)回りに回転動作させることでバ
ルブハンドル122を回すことができる。この例では円
柱の端面における座標系を定義するステップも含めて考
えたが、あらかじめ円柱の端面に座標系を設定しておけ
ば円柱の定義から間接的にその端面に座標系を定義する
ことができ、あとは向きの適切な変更のみで把持目標座
標系が定義できるため手順をより簡単にできる。
【0080】(作業例3) 物体挿入作業の教示(図10) フロッピディスクやビデオテープカセット、テレホンカ
ード、あるいは各種のコネクタ等の物体をそれと対にな
る凹部へ挿入する物体挿入作業の例として、ビデオテー
プカセットをデッキに挿入する作業の教示について説明
する。図10(a)のようにロボットハンド27は(作業
例1)に準じた方法により、既にビデオテープカセット
(以下テープ)28を把持しているものとする。この状
態からデッキ29の挿入口30までテープを移動させる
作業軌道は次のようにして与えることができる。
【0081】1.テープの角における座標系の定義 1-1.テープ28の1つの画像エッジから直線31を定
義する(幾何要素作成の直接定義法(b)を使用する。図
10(b)参照)。 1-2.同様にして同じ面上にある画像エッジから直線3
2を定義する(図10(c)参照)。 1-3. 直線31と直線32との交点として、点33を求
める(同間接定義法(a)イを使用、図10(d)参照) 1-4. 直線31と平行な図10(e)の向きの単位ベクト
ルV6を定義する(同間接定義法(l)イを使用、図10(e)
参照)。 1-5. 同様に直線32と平行な図10(e)の向きの単位
ベクトルV7を定義する(図10(e)参照)。 1-6.V6とV7とに直交する図10(e)の向きの単位ベクト
ルV8を定義する(同間接定義法(l)オを使用、図10(e)
参照)。 1-7.点33を原点とし、単位ベクトルV6、V8をそれぞ
れx軸、y軸方向とする座標系<G0> を定義する(同間接
定義法(m)アを使用、図10(f)参照)。
【0082】2.挿入口の角における座標系の定義 2-1.テープ挿入口30の画像エッジから直線34を定
義する(同直接定義法(b)を使用、図10(g)参照)。 2-2.2-1 と同様にして図10(g)のように挿入口30の
画像エッジから直線35を定義する(図10(g)参
照)。 2-3.直線34と直線35との交点として点36を定義
する(同間接定義法(a)イを使用、図10(g)参照)。 2-4.直線34に平行で図10(h)の向きの単位ベクトル
V9を定義する(同間接定義法(l)イを使用、図10(h)参
照)。 2-5.直線35に平行で図10(h)の向きの単位ベクトル
V10を定義する(同間接定義法(l)イを使用、図10(h)
参照)。 2-6.単位ベクトルV9とV10とに直交する単位ベクトルV1
1を図10(h)の向きに定義する(同間接定義法(l)オを
使用、図10(h)参照))。 2-7.点36を原点とし、単位ベクトルV9、V11をそれぞ
れx軸、z軸方向とする座標系<G1> を定義する(同間接
定義法(m)アを使用、図10(i)参照)。
【0083】3.挿入軌道の定義 3-1.座標系 <G0>と座標系 <G1> とを時間t1で補間
することにより、テープの角の座標系(これを一般に <
G>と表す)の軌道 <G>(t) を定義する(同間接定義
法(n)アを使用)。 3-2.実際にロボットの制御を行なう際には、ロボット
ハンドの座標系(これを一般に<E> と表す)の従う軌
道 <E>(t) が必要となる。これは初期状態のテープの
角位置を示す座標系 <G0>と初期状態の把持位置を示す
ハンド座標系 <E 0> とからそれらの関係を表す同次座
標変換行列E0/G0Tを求め、この変換をテープの角の従
うべき軌道<G>(t) 全体に施すことで得られる。すな
わち <E>(t)=E0/G0T <G>(t) がハンド座標系の従
うべき目標軌道である。この <E>(t)によるテープの
移動後は <E>(t) の終端 <E>(t1) における座標系
のz軸方向にハンド27を適切な距離移動させてテープ
を挿入口30に押し込んでから解放することでテープ2
8の挿入が完了する。
【0084】(作業例4) ペンキの吹き付けロボットのノズル軌道の教示(図1
1、図12) ペンキ吹き付けノズルを備えたロボットによって対象面
にペンキの吹き付けを行なう作業において、ノズルの先
端に設定した座標系 <E> を移動させるための軌道を教
示したいとする。以下に対象面が平面である場合と曲面
である場合の教示例を示す。
【0085】[対象面が平面である場合の例]図11
(a)に示すように、ロボットアーム37によって作業空
間中で傾いている矩形平面39にペンキを吹き付けるた
めのノズル38の軌道は以下のように教示できる。 1.吹き付け面に対応する平面領域の定義 1-1.吹き付けたい対象物の平面領域の1つの辺に対応
する直線状画像エッジから直線40を定義する(幾何要
素作成の直接定義法(b)を使用する。図11(b)参照)。
そしてその直線状エッジの端点に相当する2点41、4
2を指定して区間を与え、線分43を定義する(同間接
定義法(c)イを使用、図11(b)参照)。 1-2.1-1 と同様にして吹き付けたい平面領域の画像エ
ッジのうちで線分43と交わる1つの辺に対応する画像
エッジから線分44を定義する(図11(c)参照)。 1-3.2つの線分43、44から吹き付け対象面に対応
する平面領域45を定義する(同間接定義法(g)イを使
用、図11(d)参照)。
【0086】2.吹き付け面上での曲線要素の定義 2-1.平面領域45をその法線方向から見たときの形状
46を表示装置上に表示させ、ノズル38を移動させた
い二次元曲線の経路47を表示装置上で作図する(図1
1(e)参照)。 2-2.作図した二次元曲線の経路47を平面領域45に
投影することにより曲線48を定義する(同間接定義法
(d)イを使用、図11(f)参照)。
【0087】3.吹き付け開始基準座標系の定義 3-1.曲線48の1つの端点を指定して点49を定義す
る(同間接定義法(a)ウを使用、図11(g)参照)。 3-2.平面領域45の法線ベクトルで図11(g)の向きの
単位ベクトルV12を定義する(同間接定義法(l)ウを使
用、図11(g)参照)。 3-3.線分43と平行で図11(g)の向きの単位ベクトル
V13を定義する(同間接定義法(l)イを使用、図11(g)
参照)。 3-4.点49を原点として単位ベクトルV12、V13をそれ
ぞれz軸、x軸とする座標系<G0> を定義する(同間接定
義法(m)アを使用、図11(h)参照)。
【0088】4.吹き付け軌道の定義 4-1.t=t0で<G0> にある座標系が曲線48上をある
線速度vで姿勢を一定に保ちながら平行移動するものと
して軌道 <G>(t)を定義する(同間接定義法(n)イを使
用)。 4-2.ノズル38の先端が実際に移動する位置を指定す
るため<G>(t) を座標系<G0> の−z方向にある適当な
距離d離した軌道 <E>(t) を定義する(幾何要素作成
の一般的な間接定義法として平行移動を使用)。これが
求めたいペンキ吹き付け時のノズルの目標軌道である。
【0089】[対象面が曲面である場合の例]曲面に対
してペンキを吹き付けるため、ノズルを曲面の法線方向
に向けながら、かつ面から一定の距離を保つようにして
ノズルを移動させる軌道を教示する場合について説明す
る。例として、図12(a)のような、かまぼこ形対象面
52へのペンキ吹き付けにおけるロボットアーム50に
取り付けられたノズル51の作業軌道は次のように教示
することができる。
【0090】1.吹き付け面に対応する曲面領域の定義 1-1.ペンキ吹き付け対象曲面全体を映した二次元画像
上で曲面の画像エッジに対応する輪郭線53を作図して
領域を指定することで曲面を定義し、その輪郭線内の領
域を曲面領域54として定義する(幾何要素作成の直接
定義法(d)および同間接定義法(i)アを使用する。図12
(b)参照)。
【0091】2.吹き付け面上での曲線の定義 2-1.吹き付け面の一辺の画像エッジから直線55を定
義し(同直接定義法(b)を使用、図12(c)参照)、エッ
ジの両端点を指定して区間を与えることで線分56を定
義する(同間接定義法(c)イ使用、図12(c)参照)。 2-2.2-1 と同様にして線分57を定義する(図12(d)
参照)。 2-3.線分56と線分57とから平面領域58を定義す
る(同間接定義法(g)イ使用、図12(e)参照)。 2-4.平面領域58をその法線方向から見た形状59を
表示させた表示装置上の画面で、ペンキ吹き付け点を移
動させたい経路60を作図する(図12(f)参照)。 2-5.作図した経路60を平面領域58上へ投影し、曲
線61を定義する(同間接定義法(d)イを使用、図12
(g)参照)。 2-6.曲線61をさらに曲面領域54に対して平面領域
58の法線方向から投影することで曲線62を定義する
(同間接定義法(d)ウを使用、図12(h)参照)。
【0092】3.吹き付け開始基準座標系の定義 3-1.曲線62上の一つの端点として点63を定義する
(同間接定義法(a)エを使用、図12(i)参照)。 3-2.点63において曲面領域54の法線方向で図12
(i)の向きの単位ベクトルV14を定義する(同間接定義法
(l)エを使用、図12(i)参照)。 3-3.線分56と平行な図12(i)の向きの単位ベクトル
V15を定義する(同間接定義法(l)イを使用)。 3-4.V14とV15とに直交する図12(i)の向きの単位ベク
トルV16を定義する(同間接定義法(l)オを使用)。 3-5.点63を原点とし、単位ベクトルV14、V16をそれ
ぞれz軸、x軸方向のベクトルとする座標系<G0> を定義
し(同間接定義法(m)アを使用)、これを−z方向に適当
な距離dだけ離した座標系 <E0>を定義する(幾何要素
の一般的な間接定義法として平行移動を使用、図12
(j)参照)。
【0093】4.通過座標系の定義 4-1. 3-1 から 3-5と同様にして適切な間隔で曲線62
上に決めた点上に座標系<Gi> 、i=1、2、・・・を
決めていき、さらにそれらの座標系ごとに−z方向にd移
動した座標系<Ei> 、i=1、2、・・・を定義してい
く。
【0094】5.吹き付け軌道の定義 5-1.定義した座標系<E0> 、 <E1> 、 <E2> 、・・
・ にそれらを通過する時刻を与えて、補間法を適用す
ることで軌道<E>(t) を定義する(同間接定義法(n)ア
を使用)。これが求めたいペンキ吹き付け時のノズルの
目標軌道である。
【0095】
【発明の効果】本発明によれば、教示作業者は二次元の
カメラ画像を見ながら、実際の作業空間に対応した簡単
な三次元的幾何要素の作成を行うことで、任意の作業の
ためのロボットの三次元動作を精度良く遠隔で教示する
ことが可能となる。画像計測を利用しながら教示するた
め対象物の位置情報が既知である必要はなく、不特定な
未知環境での教示が可能となる。また、幾何要素を利用
することでロボットの動作すべき位置・姿勢にさまざま
な空間的な拘束を容易に付加することができるようにな
る。これらの幾何要素は教示に必要なだけ作成すれば良
く、作業空間全体をモデル化する必要はない。また幾何
要素は実画像に重ね合わせて表示されるので作業者は直
感的に教示データを作成していくことができる。
【図面の簡単な説明】
【図1】本発明のシステム全体の構成を説明する図であ
る。
【図2】本発明のシステム構築例である。
【図3】座標変換例を説明する図である。
【図4】本発明の動作教示時の作業者のフロー図例であ
る。
【図5】座標系の補間による軌道作成を説明する図であ
る。
【図6】箱状物体の把持作業例1を説明する図である。
【図7】箱状物体の把持作業例2を説明する図である。
【図8】バルブ回し作業例1を説明する図である。
【図9】バルブ回し作業例2を説明する図である。
【図10】物体挿入作業例を説明する図である。
【図11】吹き付け作業例1を説明する図である。
【図12】吹き付け作業例2を説明する図である。
【符号の説明】
1 教示装置 2 三次元画像計測装置 3 計測装置駆動装置 4 データ処理装置 5 表示装置 6 入力装置 7 作業者 8 作業用ロボット 9 作業対象物 <E>ツール座標系
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 3F059 BA02 BB04 FA03 FA05 5H269 AB33 BB09 CC09 JJ09 JJ20 QC01 QC03 QE10 SA08 SA10

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】実空間中の位置を計測する三次元画像計測
    装置と、三次元画像計測装置から得られる画像に幾何要
    素を重ね合わせて映しながら作業空間を表示する表示装
    置と、入力装置と、データ処理装置とを具備し、教示作
    業者が表示装置に表示された作業空間に関する画像情報
    を利用して、作業空間と直接対応する幾何要素とそれら
    から間接的に導かれる幾何要素とを作成することで、軌
    道の作成に必要な座標系を作成し、それに基づいた軌道
    を作成することで、任意の作業軌道をロボットに教示可
    能とすることを特徴とするロボット動作教示装置。
  2. 【請求項2】請求項1の三次元画像計測装置は教示可能
    な空間を拡大するために計測装置の位置姿勢を変化させ
    る計測装置駆動装置を併用したことを特徴とする請求項
    1のロボット動作教示装置。
  3. 【請求項3】請求項1又は2に記載のロボット動作教示
    装置において、教示作業者が表示装置に表示された作業
    空間に関する画像情報を利用して、作業空間と直接対応
    する幾何要素とそれらから間接的に導かれる幾何要素と
    を作成することで、軌道の作成に必要な座標系を作成
    し、それに基づいた軌道を作成することで、任意の作業
    軌道をロボットに教示可能とする動作教示方法。
JP2000024498A 1999-06-18 2000-02-01 ロボット動作教示装置および動作教示方法 Expired - Lifetime JP3343682B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000024498A JP3343682B2 (ja) 1999-06-18 2000-02-01 ロボット動作教示装置および動作教示方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP17296199 1999-06-18
JP11-172961 1999-06-18
JP2000024498A JP3343682B2 (ja) 1999-06-18 2000-02-01 ロボット動作教示装置および動作教示方法

Publications (2)

Publication Number Publication Date
JP2001060108A true JP2001060108A (ja) 2001-03-06
JP3343682B2 JP3343682B2 (ja) 2002-11-11

Family

ID=26495114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000024498A Expired - Lifetime JP3343682B2 (ja) 1999-06-18 2000-02-01 ロボット動作教示装置および動作教示方法

Country Status (1)

Country Link
JP (1) JP3343682B2 (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002283258A (ja) * 2001-03-22 2002-10-03 Fujie:Kk プログラムリスト表示システム
JP2005031085A (ja) * 2003-07-09 2005-02-03 General Electric Co <Ge> 製造部品のキズを解析し、識別するシステム及び方法
KR100483790B1 (ko) * 2002-03-22 2005-04-20 한국과학기술연구원 마이크로 조립용 다자유도 원격조종 로봇 시스템
JP2005106825A (ja) * 2003-10-01 2005-04-21 Kuka Roboter Gmbh 受像装置の位置および方向づけの決定方法および装置
JP2006263897A (ja) * 2005-03-25 2006-10-05 National Institute Of Advanced Industrial & Technology タスクスキルによる丸型ハンドルバルブ操作装置
DE102005040714A1 (de) * 2005-08-27 2007-03-08 Abb Research Ltd. Verfahren und System zur Erstellung eines Bewegungsablaufes für einen Roboter
JP2011148045A (ja) * 2010-01-22 2011-08-04 Shinmaywa Industries Ltd ツール座標系の較正装置及び較正方法
JP2013248677A (ja) * 2012-05-30 2013-12-12 Fanuc Ltd オフラインプログラミング装置
US8781629B2 (en) 2010-09-22 2014-07-15 Toyota Motor Engineering & Manufacturing North America, Inc. Human-robot interface apparatuses and methods of controlling robots
JP2015077661A (ja) * 2013-10-17 2015-04-23 株式会社安川電機 ティーチングシステムおよびティーチング方法
EP2783813A3 (en) * 2013-03-19 2015-10-07 Kabushiki Kaisha Yaskawa Denki Robot system and method for manufacturing to-be-processed material
CN105103066A (zh) * 2013-04-12 2015-11-25 三菱电机株式会社 数控程序编辑装置、数控程序编辑方法及程序
WO2017037931A1 (ja) * 2015-09-03 2017-03-09 株式会社安川電機 処理軌跡編集装置、ロボット、物品処理システム、及び物品製造方法
JP2018529543A (ja) * 2015-10-08 2018-10-11 カスターニェンバウム ゲーエムベーハー ロボット・システム
US10112304B2 (en) 2014-11-28 2018-10-30 Fanuc Corporation Robot programming apparatus for teaching machining operation to robot
CN110116116A (zh) * 2019-05-14 2019-08-13 中国地质大学(武汉) 基于计算机视觉的机器人激光清洗路径规划系统及方法
JP2020020658A (ja) * 2018-07-31 2020-02-06 株式会社ミツトヨ オフラインティーチング装置、測定制御装置及びプログラム
KR102170592B1 (ko) * 2019-10-30 2020-10-27 주식회사 뉴로메카 로봇 자세 정의를 위한 기준점 기반의 좌표계 특정 시스템 및 방법
KR102225348B1 (ko) * 2019-10-30 2021-03-09 주식회사 뉴로메카 로봇 자세 정의를 위한 기준점 기반의 좌표계 특정 시스템 및 방법
JPWO2021141050A1 (ja) * 2020-01-08 2021-07-15
CN116038660A (zh) * 2022-12-29 2023-05-02 成都卡诺普机器人技术股份有限公司 机器人与导轨协同的方法、装置及电子设备
CN116371696A (zh) * 2023-04-12 2023-07-04 福州大学 一种基于工业机器人的平面图案的曲面喷涂方法及系统
EP4273649A1 (en) * 2022-02-10 2023-11-08 Suzuki Motor Corporation Painting robot operation program generation system, operation program generation method, and teaching point generation apparatus
WO2024094197A1 (zh) * 2022-11-03 2024-05-10 深圳市越疆科技股份有限公司 示教轨迹处理方法、装置、机械臂、示教控制器及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4844453B2 (ja) * 2007-04-09 2011-12-28 株式会社デンソーウェーブ ロボットの教示装置及び教示方法
JP4649554B1 (ja) * 2010-02-26 2011-03-09 株式会社三次元メディア ロボット制御装置

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002283258A (ja) * 2001-03-22 2002-10-03 Fujie:Kk プログラムリスト表示システム
KR100483790B1 (ko) * 2002-03-22 2005-04-20 한국과학기술연구원 마이크로 조립용 다자유도 원격조종 로봇 시스템
JP2005031085A (ja) * 2003-07-09 2005-02-03 General Electric Co <Ge> 製造部品のキズを解析し、識別するシステム及び方法
JP2005106825A (ja) * 2003-10-01 2005-04-21 Kuka Roboter Gmbh 受像装置の位置および方向づけの決定方法および装置
JP2006263897A (ja) * 2005-03-25 2006-10-05 National Institute Of Advanced Industrial & Technology タスクスキルによる丸型ハンドルバルブ操作装置
DE102005040714B4 (de) * 2005-08-27 2015-06-18 Abb Research Ltd. Verfahren und System zur Erstellung eines Bewegungsablaufes für einen Roboter
DE102005040714A1 (de) * 2005-08-27 2007-03-08 Abb Research Ltd. Verfahren und System zur Erstellung eines Bewegungsablaufes für einen Roboter
JP2011148045A (ja) * 2010-01-22 2011-08-04 Shinmaywa Industries Ltd ツール座標系の較正装置及び較正方法
US8781629B2 (en) 2010-09-22 2014-07-15 Toyota Motor Engineering & Manufacturing North America, Inc. Human-robot interface apparatuses and methods of controlling robots
DE102013008755B4 (de) 2012-05-30 2018-06-21 Fanuc Corporation Offline-Programmiersystem
US8694158B2 (en) 2012-05-30 2014-04-08 Fanuc Corporation Off-line programming system
CN103454971B (zh) * 2012-05-30 2015-04-22 发那科株式会社 脱机编程装置
CN103454971A (zh) * 2012-05-30 2013-12-18 发那科株式会社 脱机编程装置
JP2013248677A (ja) * 2012-05-30 2013-12-12 Fanuc Ltd オフラインプログラミング装置
EP2783813A3 (en) * 2013-03-19 2015-10-07 Kabushiki Kaisha Yaskawa Denki Robot system and method for manufacturing to-be-processed material
CN105103066A (zh) * 2013-04-12 2015-11-25 三菱电机株式会社 数控程序编辑装置、数控程序编辑方法及程序
US10114364B2 (en) 2013-04-12 2018-10-30 Mitsubishi Electric Corporation Numerical-control-program editing apparatus, numerical-control-program editing method, and program
JP2015077661A (ja) * 2013-10-17 2015-04-23 株式会社安川電機 ティーチングシステムおよびティーチング方法
CN104552298A (zh) * 2013-10-17 2015-04-29 株式会社安川电机 示教系统和示教方法
EP2862678A3 (en) * 2013-10-17 2015-05-13 Kabushiki Kaisha Yaskawa Denki Teaching system and teaching method
US9311608B2 (en) 2013-10-17 2016-04-12 Kabushiki Kaisha Yaskawa Denki Teaching system and teaching method
DE102015015093B4 (de) * 2014-11-28 2021-04-15 Fanuc Corporation Roboterprogrammiervorrichtung zum Instruieren eines Roboters für eine Bearbeitung
US10112304B2 (en) 2014-11-28 2018-10-30 Fanuc Corporation Robot programming apparatus for teaching machining operation to robot
JPWO2017037931A1 (ja) * 2015-09-03 2018-04-26 株式会社安川電機 処理軌跡編集装置、ロボット、物品処理システム、及び物品製造方法
WO2017037931A1 (ja) * 2015-09-03 2017-03-09 株式会社安川電機 処理軌跡編集装置、ロボット、物品処理システム、及び物品製造方法
JP2018529543A (ja) * 2015-10-08 2018-10-11 カスターニェンバウム ゲーエムベーハー ロボット・システム
JP7065724B2 (ja) 2018-07-31 2022-05-12 株式会社ミツトヨ 測定制御装置及びプログラム
JP2020020658A (ja) * 2018-07-31 2020-02-06 株式会社ミツトヨ オフラインティーチング装置、測定制御装置及びプログラム
CN110779460A (zh) * 2018-07-31 2020-02-11 株式会社三丰 离线指导装置、测量控制装置和存储介质
CN110779460B (zh) * 2018-07-31 2022-10-04 株式会社三丰 离线指导装置、测量控制装置和存储介质
CN110116116A (zh) * 2019-05-14 2019-08-13 中国地质大学(武汉) 基于计算机视觉的机器人激光清洗路径规划系统及方法
KR102170592B1 (ko) * 2019-10-30 2020-10-27 주식회사 뉴로메카 로봇 자세 정의를 위한 기준점 기반의 좌표계 특정 시스템 및 방법
KR102225348B1 (ko) * 2019-10-30 2021-03-09 주식회사 뉴로메카 로봇 자세 정의를 위한 기준점 기반의 좌표계 특정 시스템 및 방법
WO2021141050A1 (ja) * 2020-01-08 2021-07-15 ファナック株式会社 ロボットプログラミング装置
CN114929434A (zh) * 2020-01-08 2022-08-19 发那科株式会社 机器人编程装置
JPWO2021141050A1 (ja) * 2020-01-08 2021-07-15
JP7364695B2 (ja) 2020-01-08 2023-10-18 ファナック株式会社 ロボットプログラミング装置
EP4273649A1 (en) * 2022-02-10 2023-11-08 Suzuki Motor Corporation Painting robot operation program generation system, operation program generation method, and teaching point generation apparatus
WO2024094197A1 (zh) * 2022-11-03 2024-05-10 深圳市越疆科技股份有限公司 示教轨迹处理方法、装置、机械臂、示教控制器及系统
CN116038660A (zh) * 2022-12-29 2023-05-02 成都卡诺普机器人技术股份有限公司 机器人与导轨协同的方法、装置及电子设备
CN116371696A (zh) * 2023-04-12 2023-07-04 福州大学 一种基于工业机器人的平面图案的曲面喷涂方法及系统
CN116371696B (zh) * 2023-04-12 2023-11-07 福州大学 一种基于工业机器人的平面图案的曲面喷涂方法及系统

Also Published As

Publication number Publication date
JP3343682B2 (ja) 2002-11-11

Similar Documents

Publication Publication Date Title
JP3343682B2 (ja) ロボット動作教示装置および動作教示方法
US10585167B2 (en) Relative object localization process for local positioning system
JP4167954B2 (ja) ロボット及びロボット移動方法
EP1629366B1 (en) Single camera system for gesture-based input and target indication
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8792963B2 (en) Methods of determining tissue distances using both kinematic robotic tool position information and image-derived position information
JP4844453B2 (ja) ロボットの教示装置及び教示方法
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
EP1435280A2 (en) A method and a system for programming an industrial robot
Pachtrachai et al. Hand-eye calibration with a remote centre of motion
Xin et al. 3D augmented reality teleoperated robot system based on dual vision
De Pace et al. Leveraging enhanced virtual reality methods and environments for efficient, intuitive, and immersive teleoperation of robots
Rastogi et al. Telerobotic control with stereoscopic augmented reality
Makita et al. Offline direct teaching for a robotic manipulator in the computational space
US12036663B2 (en) Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
JPH11338532A (ja) 教示装置
Sarai et al. Robot programming for manipulators through volume sweeping and augmented reality
JP2778376B2 (ja) カメラ視点変更方式
JP3160443B2 (ja) 非接触点教示装置
JPS5916912B2 (ja) イドウホウコウキヨウジソウチ
JPH0430981A (ja) 遠隔操縦型ロボットのテレビカメラ制御装置
Maidi et al. An evaluation of camera pose methods for an augmented reality system: Application to teaching industrial robots
JP2023017436A (ja) ロボット制御装置
Shin et al. Visual guidance system for remote-operation
Schutz et al. Augmented reality using range images

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3343682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070830

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080830

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080830

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090830

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090830

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100830

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100830

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110830

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120830

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120830

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120830

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term