JP2000288968A - 教示モデル生成装置 - Google Patents
教示モデル生成装置Info
- Publication number
- JP2000288968A JP2000288968A JP11101890A JP10189099A JP2000288968A JP 2000288968 A JP2000288968 A JP 2000288968A JP 11101890 A JP11101890 A JP 11101890A JP 10189099 A JP10189099 A JP 10189099A JP 2000288968 A JP2000288968 A JP 2000288968A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- teaching model
- workpiece
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】 ３次元位置姿勢を検出するための教示モデル
を簡単に得る。 【解決手段】 検出対象物の１つのワークピースＷを所
定位置に固定しておく。ロボットＲＢの先端にカメラ２
０を取り付ける。ワークピースＷの中心位置を通りカメ
ラの光軸に垂直な軸周りにカメラを回転させて方向の異
なる複数の位置でワークピースＷを撮像する。この撮像
した各画像データから教示モデルを生成する。かつ、教
示モデルに対応してワークピースＷとカメラ２０の相対
位置姿勢をも記憶する。ワークピースが３次元でその姿
勢を変えた教示モデルが簡単に生成できる。
を簡単に得る。 【解決手段】 検出対象物の１つのワークピースＷを所
定位置に固定しておく。ロボットＲＢの先端にカメラ２
０を取り付ける。ワークピースＷの中心位置を通りカメ
ラの光軸に垂直な軸周りにカメラを回転させて方向の異
なる複数の位置でワークピースＷを撮像する。この撮像
した各画像データから教示モデルを生成する。かつ、教
示モデルに対応してワークピースＷとカメラ２０の相対
位置姿勢をも記憶する。ワークピースが３次元でその姿
勢を変えた教示モデルが簡単に生成できる。
Description
【０００１】
【発明の属する技術分野】本発明は、パターンマッチン
グ処理によって対象物の位置姿勢を検出する方法に用い
られる教示モデルの生成装置に関する。特に、検出対象
物が３次元にその位置姿勢が変化しても対象物を検出す
ることができるようにするための教示モデルの生成装置
に関する。
グ処理によって対象物の位置姿勢を検出する方法に用い
られる教示モデルの生成装置に関する。特に、検出対象
物が３次元にその位置姿勢が変化しても対象物を検出す
ることができるようにするための教示モデルの生成装置
に関する。
【０００２】
【従来の技術】検出対象物の２次元画像を予め教示モデ
ルとして記憶しておき、平面上に載置された対象物をカ
メラ等の撮像手段で撮像して得られた画像データと教示
モデルとのパターンマッチング処理を行い、対象物の位
置姿勢を検出する方法、装置はすでに公知であり、ロボ
ットにより機械部品や物品とのワークピースを自動的に
把持し所定位置に搬送する作業等にこの対象物検出方
法、検出装置が使用されている。しかし、同一形状のワ
ークピースが乱雑に山積みされた中から、又は、所定領
域内に任意の３次元的に異なる位置姿勢で収納されてい
るワークビスの集合から個々のワークピースを取出す作
業はロボットによってできず、人手によって行われてい
る。ロボットを使用する場合は、乱雑に山積みされたワ
ークピースから人手により１つ１つ取り出し整列配置さ
せてロボットが直接ワークピースを取り出せるようにし
ておく必要がある。
ルとして記憶しておき、平面上に載置された対象物をカ
メラ等の撮像手段で撮像して得られた画像データと教示
モデルとのパターンマッチング処理を行い、対象物の位
置姿勢を検出する方法、装置はすでに公知であり、ロボ
ットにより機械部品や物品とのワークピースを自動的に
把持し所定位置に搬送する作業等にこの対象物検出方
法、検出装置が使用されている。しかし、同一形状のワ
ークピースが乱雑に山積みされた中から、又は、所定領
域内に任意の３次元的に異なる位置姿勢で収納されてい
るワークビスの集合から個々のワークピースを取出す作
業はロボットによってできず、人手によって行われてい
る。ロボットを使用する場合は、乱雑に山積みされたワ
ークピースから人手により１つ１つ取り出し整列配置さ
せてロボットが直接ワークピースを取り出せるようにし
ておく必要がある。
【０００３】
【発明が解決しようとする課題】同一形状のワークピー
スが山積みの中から、又は多数のワークピースが所定領
域内に任意の３次元的に異なる位置姿勢で収納されてい
る中から個々のワークピースをロボットで取り出すこと
ができない理由は、山積みされたワークピースの位置姿
勢を把握できないことから、ロボットで個々のワークピ
ースを把持できる位置姿勢に制御することができないこ
とに起因する。
スが山積みの中から、又は多数のワークピースが所定領
域内に任意の３次元的に異なる位置姿勢で収納されてい
る中から個々のワークピースをロボットで取り出すこと
ができない理由は、山積みされたワークピースの位置姿
勢を把握できないことから、ロボットで個々のワークピ
ースを把持できる位置姿勢に制御することができないこ
とに起因する。
【０００４】そこで、山積みされ若しくは所定領域内に
任意の３次元的に異なる位置姿勢ので収納されている同
一形状のワークピースに対して個々のワークピースの３
次元位置、姿勢（方向）を検出する装置が開発されてい
る。この対象物の３次元位置、姿勢（方向）を検出する
装置は、予め検出しようとする同一形状の１つのワーク
ピースに対して異なった方向からカメラで撮像しその画
像データにより教示モデルを複数記憶すると共に各教示
モデルとワークピースとの相対位置姿勢を記憶してお
き、山積みされた同一形状のワークピースをカメラで撮
像して得られた画像データに対して、各教示モデルとパ
ターンマッチング処理を行い、マッチング値の高い教示
モデルを選択し、この選択教示モデルに対して記憶する
教示モデルとワークピースとの相対位置姿勢より検出対
象のワークピースの位置、姿勢（方向）を検出するもの
である。
任意の３次元的に異なる位置姿勢ので収納されている同
一形状のワークピースに対して個々のワークピースの３
次元位置、姿勢（方向）を検出する装置が開発されてい
る。この対象物の３次元位置、姿勢（方向）を検出する
装置は、予め検出しようとする同一形状の１つのワーク
ピースに対して異なった方向からカメラで撮像しその画
像データにより教示モデルを複数記憶すると共に各教示
モデルとワークピースとの相対位置姿勢を記憶してお
き、山積みされた同一形状のワークピースをカメラで撮
像して得られた画像データに対して、各教示モデルとパ
ターンマッチング処理を行い、マッチング値の高い教示
モデルを選択し、この選択教示モデルに対して記憶する
教示モデルとワークピースとの相対位置姿勢より検出対
象のワークピースの位置、姿勢（方向）を検出するもの
である。
【０００５】上述した、対象物の３次元位置姿勢を検出
する画像処理装置は、ワークピースを複数の方向から撮
像して得られる複数の教示モデルを必要とする。
する画像処理装置は、ワークピースを複数の方向から撮
像して得られる複数の教示モデルを必要とする。
【０００６】そこで、本発明の課題は、対象物の３次元
位置姿勢を検出する画像処理装置に用いられる教示モデ
ルの生成装置を得ることにある。
位置姿勢を検出する画像処理装置に用いられる教示モデ
ルの生成装置を得ることにある。
【０００７】
【課題を解決するための手段】本願各発明は、対象物を
撮像手段により複数の方向から撮像し、それぞれの方向
の画像データを取得し、前記各画像データに基づいて、
前記対象物の前記各撮像方向の形状を認識する画像処理
用の教示モデルを生成し記憶する装置に関するものであ
る。そして、請求項１に係わる発明は、対象物か撮像手
段のどちらか一方を定位置に固定し他方をロボットの可
動部に固定するかハンドに把持させ、ロボットを動作さ
せて前記撮像手段を前記対象物に対して相対的に複数の
画像取込み位置に移動させて対象物を複数方向から撮像
し前記対象物の画像データをそれぞれ取得し教示モデル
として記憶するものである。
撮像手段により複数の方向から撮像し、それぞれの方向
の画像データを取得し、前記各画像データに基づいて、
前記対象物の前記各撮像方向の形状を認識する画像処理
用の教示モデルを生成し記憶する装置に関するものであ
る。そして、請求項１に係わる発明は、対象物か撮像手
段のどちらか一方を定位置に固定し他方をロボットの可
動部に固定するかハンドに把持させ、ロボットを動作さ
せて前記撮像手段を前記対象物に対して相対的に複数の
画像取込み位置に移動させて対象物を複数方向から撮像
し前記対象物の画像データをそれぞれ取得し教示モデル
として記憶するものである。
【０００８】又、請求項２に係わる発明は、対象物を第
１のロボットの可動部に固定するかハンドに把持させ、
撮像手段を第２のロボットの可動部に固定するかハンド
に把持させ、ロボットを動作させて前記撮像手段を前記
対象物に対して相対的に複数の画像取込み位置に移動さ
せて対象物を複数方向から撮像し前記対象物の画像デー
タをそれぞれ取得し教示モデルとして記憶するようにし
たものである。
１のロボットの可動部に固定するかハンドに把持させ、
撮像手段を第２のロボットの可動部に固定するかハンド
に把持させ、ロボットを動作させて前記撮像手段を前記
対象物に対して相対的に複数の画像取込み位置に移動さ
せて対象物を複数方向から撮像し前記対象物の画像デー
タをそれぞれ取得し教示モデルとして記憶するようにし
たものである。
【０００９】請求項３に係わる発明は、前記教示モデル
をマッチング方式の画像処理に使用するようにしたもの
であり、請求項４に係わる発明は、特に、前記対象物を
前記撮像手段によって捕らえた方向毎に教示モデルを作
成し、該教示モデルを前記方向の情報と対応付けて記憶
するようにしたものである。又、請求項５に係わる発明
は、撮像手段をカメラに限定したものであり、請求項６
に係わる発明は、撮像手段を撮像手段と対象物の距離を
複数の点で計測する３次元視覚センサに限定したもので
ある。
をマッチング方式の画像処理に使用するようにしたもの
であり、請求項４に係わる発明は、特に、前記対象物を
前記撮像手段によって捕らえた方向毎に教示モデルを作
成し、該教示モデルを前記方向の情報と対応付けて記憶
するようにしたものである。又、請求項５に係わる発明
は、撮像手段をカメラに限定したものであり、請求項６
に係わる発明は、撮像手段を撮像手段と対象物の距離を
複数の点で計測する３次元視覚センサに限定したもので
ある。
【００１０】
【発明の実施の形態】本発明の一実施形態としてロボッ
トシステムによって構成した例を以下説明する。図１
は、同一形状のワークピースが多数山積みされている状
態からこのワークピースをロボット等で自動的に把持し
ピッキングするような場合、対象物のワークピースの３
次元位置姿勢を検出するための教示モデルを教示するた
めに用いられる、本発明の第１の実施形態を示すで概要
図である。このワークピースの１つを所定位置に固定
し、ロボットＲＢのハンドで把持されるか若しくはロボ
ット可動部に固定された撮像デバイス２０で複数の方向
から撮像し、得られた画像データから対象物の教示モデ
ルを生成するものである。例えば、図４に示すようにワ
ークピースＷに対して４方向から撮像しこの４つの画像
データからそれぞれ教示モデルを生成する。
トシステムによって構成した例を以下説明する。図１
は、同一形状のワークピースが多数山積みされている状
態からこのワークピースをロボット等で自動的に把持し
ピッキングするような場合、対象物のワークピースの３
次元位置姿勢を検出するための教示モデルを教示するた
めに用いられる、本発明の第１の実施形態を示すで概要
図である。このワークピースの１つを所定位置に固定
し、ロボットＲＢのハンドで把持されるか若しくはロボ
ット可動部に固定された撮像デバイス２０で複数の方向
から撮像し、得られた画像データから対象物の教示モデ
ルを生成するものである。例えば、図４に示すようにワ
ークピースＷに対して４方向から撮像しこの４つの画像
データからそれぞれ教示モデルを生成する。
【００１１】図５は、本実施形態におけるロボットＲＢ
の制御装置の要部ブロック図であり、従来のロボット制
御装置と同一構成である。符号８で示されるバスに、メ
インプロセッサ（以下単にプロセッサという。）１、Ｒ
ＡＭ、ＲＯＭ、不揮発性メモリ（ＥＥＰＲＯＭなど）か
らなるメモリ２、教示操作盤用インターフェイス３，外
部装置用のインターフェイス６、画像処理装置との通信
インターフェイス７及びサーボ制御部５が接続されてい
る。又、教示操作盤用インターフェイス３には教示操作
盤４が接続されている。
の制御装置の要部ブロック図であり、従来のロボット制
御装置と同一構成である。符号８で示されるバスに、メ
インプロセッサ（以下単にプロセッサという。）１、Ｒ
ＡＭ、ＲＯＭ、不揮発性メモリ（ＥＥＰＲＯＭなど）か
らなるメモリ２、教示操作盤用インターフェイス３，外
部装置用のインターフェイス６、画像処理装置との通信
インターフェイス７及びサーボ制御部５が接続されてい
る。又、教示操作盤用インターフェイス３には教示操作
盤４が接続されている。
【００１２】ロボット及びロボット制御装置の基本機能
をささえるシステムプログラムは、メモリ２のＲＯＭに
格納されている。又、アプリケーションに応じて教示さ
れるロボットの動作プログラム並びに関連設定データ
は、メモリ２の不揮発性メモリに格納される。そして、
メモリ２のＲＡＭは、プロセッサ１が行う各種演算処理
におけるデータの一時記憶の記憶領域として使用され
る。
をささえるシステムプログラムは、メモリ２のＲＯＭに
格納されている。又、アプリケーションに応じて教示さ
れるロボットの動作プログラム並びに関連設定データ
は、メモリ２の不揮発性メモリに格納される。そして、
メモリ２のＲＡＭは、プロセッサ１が行う各種演算処理
におけるデータの一時記憶の記憶領域として使用され
る。
【００１３】サーボ制御部５は、サーボ制御器５a1〜５
an（ｎ：ロボットの総軸数にロボット手首に取り付ける
ツールの可動軸数を加算した数）を備えており、プロセ
ッサ、ＲＯＭ、ＲＡＭ等で構成され、各軸を駆動するサ
ーボモータの位置・速度のループ制御、さらには電流ル
ープ制御を行っている。いわゆる、ソフトウエアで位
置、速度、電流のループ制御を行うデジタルサーボ制御
器を構成している。サーボ制御器５a1〜５anの出力は各
サーボアンプ５b1〜５bnを介して各軸サーボモータＭ１
〜Ｍｎを駆動制御する。なお、図示はしていないが、各
サーボモータＭ１〜Ｍｎには位置・速度検出器が取り付
けられており、該位置・速度検出器で検出した各サーボ
モータの位置、速度は各サーボ制御器５a1〜５anにフィ
ードバックされるようになっている。又、入出力インタ
ーフェイス６には、ロボットに設けられたセンサや周辺
機器のアクチュエータやセンサが接続されている。
an（ｎ：ロボットの総軸数にロボット手首に取り付ける
ツールの可動軸数を加算した数）を備えており、プロセ
ッサ、ＲＯＭ、ＲＡＭ等で構成され、各軸を駆動するサ
ーボモータの位置・速度のループ制御、さらには電流ル
ープ制御を行っている。いわゆる、ソフトウエアで位
置、速度、電流のループ制御を行うデジタルサーボ制御
器を構成している。サーボ制御器５a1〜５anの出力は各
サーボアンプ５b1〜５bnを介して各軸サーボモータＭ１
〜Ｍｎを駆動制御する。なお、図示はしていないが、各
サーボモータＭ１〜Ｍｎには位置・速度検出器が取り付
けられており、該位置・速度検出器で検出した各サーボ
モータの位置、速度は各サーボ制御器５a1〜５anにフィ
ードバックされるようになっている。又、入出力インタ
ーフェイス６には、ロボットに設けられたセンサや周辺
機器のアクチュエータやセンサが接続されている。
【００１４】図６は、ロボット制御装置のインターフェ
イスに接続される画像処理装置３０のブロック図であ
る。プロセッサ３１を備え、該プロセッサ３１にはバス
４０を介してこのプロセッサ３１が実行するシステムプ
ログラム等を記憶するＲＯＭ３２、画像処理プロセッサ
３２、撮像デバイスに接続された撮像デバイスインター
フェイス３４、各種指令やデータを入出力するためのＣ
ＲＴや液晶等の表示手段付ＭＤＩ３５、画像メモリ３
６、不揮発性メモリ３７，データの一時記憶等に利用さ
れるＲＡＭ３８、ロボット制御装置１０に接続された通
信インターフェイス３９が接続されている。撮像デバイ
ス２０で撮像された画像は、画像メモリ２６に格納され
る。画像処理プロセッサ３３は、画像メモリに格納され
た画像をプロセッサ３１の指令により画像処理して対象
物を認識する。この画像処理装置３０の構成、作用は従
来の画像処理装置と同一であり差異はない。ただし、本
発明に関連し、不揮発性メモリ３７に後述する教示モデ
ルが記憶されること、及びこの教示モデルを用いて撮像
デバイス２０で撮像したワークピースの山の画像データ
に対してパターンマッチング処理を行い、ワークピース
の３次元位置姿勢を求める点に、この画像処理装置３０
は特徴がある。
イスに接続される画像処理装置３０のブロック図であ
る。プロセッサ３１を備え、該プロセッサ３１にはバス
４０を介してこのプロセッサ３１が実行するシステムプ
ログラム等を記憶するＲＯＭ３２、画像処理プロセッサ
３２、撮像デバイスに接続された撮像デバイスインター
フェイス３４、各種指令やデータを入出力するためのＣ
ＲＴや液晶等の表示手段付ＭＤＩ３５、画像メモリ３
６、不揮発性メモリ３７，データの一時記憶等に利用さ
れるＲＡＭ３８、ロボット制御装置１０に接続された通
信インターフェイス３９が接続されている。撮像デバイ
ス２０で撮像された画像は、画像メモリ２６に格納され
る。画像処理プロセッサ３３は、画像メモリに格納され
た画像をプロセッサ３１の指令により画像処理して対象
物を認識する。この画像処理装置３０の構成、作用は従
来の画像処理装置と同一であり差異はない。ただし、本
発明に関連し、不揮発性メモリ３７に後述する教示モデ
ルが記憶されること、及びこの教示モデルを用いて撮像
デバイス２０で撮像したワークピースの山の画像データ
に対してパターンマッチング処理を行い、ワークピース
の３次元位置姿勢を求める点に、この画像処理装置３０
は特徴がある。
【００１５】撮像デバイス２０は、後述するように画像
データを得るものであるが、この撮像デバイス２０とし
ては、２次元画像を得るＣＣＤカメラでも、又、距離デ
ータを測定できる視覚センサでもよい。ＣＣＤカメラの
場合には撮像して得られた２次元画像より画像データを
従来から公知の方法で得るが、距離データを測定できる
視覚センサの場合は、センサと対象物との距離データを
要素とした２次元配列データを画像データとして得るも
のである。この距離データを測定できる視覚センサは、
例えば、特開平７−２７０１３７号公報に記載されたス
ポット光走査型３次元視覚センサ等で公知であるので、
簡単にこの３次元視覚センサについて述べる。
データを得るものであるが、この撮像デバイス２０とし
ては、２次元画像を得るＣＣＤカメラでも、又、距離デ
ータを測定できる視覚センサでもよい。ＣＣＤカメラの
場合には撮像して得られた２次元画像より画像データを
従来から公知の方法で得るが、距離データを測定できる
視覚センサの場合は、センサと対象物との距離データを
要素とした２次元配列データを画像データとして得るも
のである。この距離データを測定できる視覚センサは、
例えば、特開平７−２７０１３７号公報に記載されたス
ポット光走査型３次元視覚センサ等で公知であるので、
簡単にこの３次元視覚センサについて述べる。
【００１６】この視覚センサは、２台のスキャナによっ
て任意の方向（Ｘ方向、Ｙ方向）にスポット状の光を照
射して対象物上に照射された光ビームを、位置検出型の
検出器（ＰＳＤ）で測定することによって光ビームの位
置を計測するものである。２台のスキャナのミラーの偏
向角度θx、θyとＰＳＤ上の受光位置からビームが照射
された対象物の３次元位置が計算して求められるもので
ある。
て任意の方向（Ｘ方向、Ｙ方向）にスポット状の光を照
射して対象物上に照射された光ビームを、位置検出型の
検出器（ＰＳＤ）で測定することによって光ビームの位
置を計測するものである。２台のスキャナのミラーの偏
向角度θx、θyとＰＳＤ上の受光位置からビームが照射
された対象物の３次元位置が計算して求められるもので
ある。
【００１７】この３次元視覚センサを用いて、画像デー
タとして、距離データを要素とする２次元配列データを
得る方法について、図１１から図１３を参照しながら簡
単に説明する。
タとして、距離データを要素とする２次元配列データを
得る方法について、図１１から図１３を参照しながら簡
単に説明する。
【００１８】対象物に対する走査範囲（計測範囲）が予
め決められており、スキャナのミラーの偏向角度θx、
θyをディスクリートに制御して、図１１に示すよう
に、この走査範囲のＸ、Ｙ平面における点（１，１）か
ら点（１，ｎ）、点（２，１）から点（２，ｎ）、・・
・点（ｍ，１）から点（ｍ，ｎ）と走査して各点におけ
る３次元位置を測定し、各点（ｉ、ｊ）におけるこのセ
ンサとビームが照射された点の対象物間の距離Ｚ（ｉ、
ｊ）を求め、画像処理装置３０のＲＡＭ３８に格納す
る。こうして図１２に示すような、センサと対象物に照
射されたビームの点間の距離データＺ（ｉ、ｊ）を要素
とする２次元配列データを画像データとして得る。
め決められており、スキャナのミラーの偏向角度θx、
θyをディスクリートに制御して、図１１に示すよう
に、この走査範囲のＸ、Ｙ平面における点（１，１）か
ら点（１，ｎ）、点（２，１）から点（２，ｎ）、・・
・点（ｍ，１）から点（ｍ，ｎ）と走査して各点におけ
る３次元位置を測定し、各点（ｉ、ｊ）におけるこのセ
ンサとビームが照射された点の対象物間の距離Ｚ（ｉ、
ｊ）を求め、画像処理装置３０のＲＡＭ３８に格納す
る。こうして図１２に示すような、センサと対象物に照
射されたビームの点間の距離データＺ（ｉ、ｊ）を要素
とする２次元配列データを画像データとして得る。
【００１９】図１３は、この画像データを得るための画
像処理装置３０のプロセッサ３１が実行する処理のフロ
ーチャートである。まず、指標ｉ、ｊを「１」にセット
し（ステップ５００）、予め決められた計測範囲の始点
ｙ１，ｘ１（図１１における点（１，１））に対応する
ミラーの偏向角度θx、θyをセンサ２０に送出し照射指
令を出力する（ステップ５０１〜５０３）、センサ２０
は、ミラーをこの偏向角度に設定し、光ビームを照射す
る。そしてＰＳＤで得られた信号を画像処理装置３０に
出力する。画像処理装置３０のプロセッサ３１は、この
ＰＳＤからの信号と指令したミラーの偏向角度θx、θy
より、対象物に照射されたビームの位置を計算し、この
センサとこのビームが照射された位置との距離Ｚ（ｉ、
ｊ）を計算し、この値をＲＡＭ２８に２次元配列データ
［ｉ、ｊ］として格納する（ステップ５０４，５０
５）。なお、対象物に照射されたビームの位置を計算し
及び距離Ｚ（ｉ、ｊ）の計算をセンサ２０側で行うよう
にしてもよい。
像処理装置３０のプロセッサ３１が実行する処理のフロ
ーチャートである。まず、指標ｉ、ｊを「１」にセット
し（ステップ５００）、予め決められた計測範囲の始点
ｙ１，ｘ１（図１１における点（１，１））に対応する
ミラーの偏向角度θx、θyをセンサ２０に送出し照射指
令を出力する（ステップ５０１〜５０３）、センサ２０
は、ミラーをこの偏向角度に設定し、光ビームを照射す
る。そしてＰＳＤで得られた信号を画像処理装置３０に
出力する。画像処理装置３０のプロセッサ３１は、この
ＰＳＤからの信号と指令したミラーの偏向角度θx、θy
より、対象物に照射されたビームの位置を計算し、この
センサとこのビームが照射された位置との距離Ｚ（ｉ、
ｊ）を計算し、この値をＲＡＭ２８に２次元配列データ
［ｉ、ｊ］として格納する（ステップ５０４，５０
５）。なお、対象物に照射されたビームの位置を計算し
及び距離Ｚ（ｉ、ｊ）の計算をセンサ２０側で行うよう
にしてもよい。
【００２０】次に指標ｉを「１」インクリメントし、Ｘ
軸方向走査のミラーの偏差角度θｘを設定所定量Δｘだ
け増加させ（ステップ５０６，５０７）、指標ｉが設定
値ｎを越えたか判断し（ステップ５０８）、越えてなけ
ればステップ５０３に戻り、該ステップ５０３からステ
ップ５０８の処理を行い次の点の距離Ｚ（ｉ、ｊ）を求
める。以下、指標ｉが設定値ｎを越えるまでステップ５
０３〜ステップ５０８の処理を実行し、図１１における
点（１，１）から点（１，ｎ）までの各点における距離
Ｚ（ｉ、ｊ）を求めて記憶する。
軸方向走査のミラーの偏差角度θｘを設定所定量Δｘだ
け増加させ（ステップ５０６，５０７）、指標ｉが設定
値ｎを越えたか判断し（ステップ５０８）、越えてなけ
ればステップ５０３に戻り、該ステップ５０３からステ
ップ５０８の処理を行い次の点の距離Ｚ（ｉ、ｊ）を求
める。以下、指標ｉが設定値ｎを越えるまでステップ５
０３〜ステップ５０８の処理を実行し、図１１における
点（１，１）から点（１，ｎ）までの各点における距離
Ｚ（ｉ、ｊ）を求めて記憶する。
【００２１】ステップ５０８で指標ｉが設定値ｎを越え
たことが判別されると、指標ｉを「１」にセットしかつ
指標ｊを「１」インクリメントして、Ｙ軸方向走査のミ
ラーの偏差角度θｙを設定所定量Δｙだけ増加させる
（ステップ５０９〜５１１）。そして、指標ｊが設定値
ｍを越えたか判断し（ステップ５１２）、越えてなけれ
ばステップ５０２に戻り前述したステップ５０２以下の
処理を実行する。
たことが判別されると、指標ｉを「１」にセットしかつ
指標ｊを「１」インクリメントして、Ｙ軸方向走査のミ
ラーの偏差角度θｙを設定所定量Δｙだけ増加させる
（ステップ５０９〜５１１）。そして、指標ｊが設定値
ｍを越えたか判断し（ステップ５１２）、越えてなけれ
ばステップ５０２に戻り前述したステップ５０２以下の
処理を実行する。
【００２２】このようにして、指標ｊが設定値ｍを越え
るまでステップ５０２〜５１２の処理を繰り返し実行す
る。指標ｊが設定値ｍを越えると、図１１に示す計測範
囲（走査範囲）を全て計測したことになり、ＲＡＭ２８
には、２次元配列データである距離データＺ（１、１）
〜Ｚ（ｍ、ｎ）が記憶され、画像データ取得処理は終了
する。
るまでステップ５０２〜５１２の処理を繰り返し実行す
る。指標ｊが設定値ｍを越えると、図１１に示す計測範
囲（走査範囲）を全て計測したことになり、ＲＡＭ２８
には、２次元配列データである距離データＺ（１、１）
〜Ｚ（ｍ、ｎ）が記憶され、画像データ取得処理は終了
する。
【００２３】以上が、距離データを測定できる視覚セン
サによる画像データとしての２次元配列データを得る処
理である。こうして得られた２次元配列データを画像デ
ータとして用い、教示モデルを作成してもよいが、説明
を簡単にするために、画像データを取り込むためのデー
タ取込み手段としての撮像デバイスにＣＣＤカメラを用
いて、このカメラ２０で対象物を撮像して得られた画像
データを用いるものとして以下説明する。
サによる画像データとしての２次元配列データを得る処
理である。こうして得られた２次元配列データを画像デ
ータとして用い、教示モデルを作成してもよいが、説明
を簡単にするために、画像データを取り込むためのデー
タ取込み手段としての撮像デバイスにＣＣＤカメラを用
いて、このカメラ２０で対象物を撮像して得られた画像
データを用いるものとして以下説明する。
【００２４】上述した、ロボット制御装置１０、画像処
理装置３０による構成される本実施形態の教示モデル生
成装置による教示モデルの生成動作処理を図７に示す動
作処理フローチャートと共に説明する。ロボット制御装
置１０の教示操作盤４から固定位置に置かれたワークピ
ースに対してワーク座標系を設定し、これをロボット制
御装置１０に記憶される。すなわち、ロボットに設けら
れているワールド座標系から見たワーク座標系の座標変
換行列を設定する（ステップ１００）。次に、ロボット
手先に取り付けられたカメラのキャリブレーションを行
いロボット手先のフランジ面中心からカメラ取り付け位
置姿勢をロボット制御装置１０に設定する。これによ
り、カメラ座標系がロボットに設定されることになる
（ステップ１０１）。
理装置３０による構成される本実施形態の教示モデル生
成装置による教示モデルの生成動作処理を図７に示す動
作処理フローチャートと共に説明する。ロボット制御装
置１０の教示操作盤４から固定位置に置かれたワークピ
ースに対してワーク座標系を設定し、これをロボット制
御装置１０に記憶される。すなわち、ロボットに設けら
れているワールド座標系から見たワーク座標系の座標変
換行列を設定する（ステップ１００）。次に、ロボット
手先に取り付けられたカメラのキャリブレーションを行
いロボット手先のフランジ面中心からカメラ取り付け位
置姿勢をロボット制御装置１０に設定する。これによ
り、カメラ座標系がロボットに設定されることになる
（ステップ１０１）。
【００２５】次に、ワークピースＷに対して、ロボット
手首先端に取り付けられたカメラ２０で撮像する最初
（第０番目）の位置姿勢と、次以降に撮像する位置姿勢
を特定するため、該最初の位置姿勢からカメラを回転さ
せる回転軸と回転角を設定し、かつ、その撮像位置姿勢
の数Ｎをも設定する（ステップ１０３）。例えば、図４
に示すようにワークピースＷに対して４方向から撮像し
この４つの画像データからそれぞれ教示モデルを生成す
る。図４（ａ）に示す第０番目の撮像位置姿勢では、ワ
ークピースＷを真上のワールド座標系Ｚ軸方向から撮像
した画像データからの教示モデルである。次の撮像位置
姿勢は、このカメラ位置において、ワークピースの配置
位置（ワーク座標系の原点）を通りカメラの中心軸方向
に対して垂直方向の軸周りに回転させる回転角を設定す
る。最初（第０番目）の位置姿勢でワールド座標系のＺ
軸とカメラの中心軸を平行とした場合には、ワールド座
標系のＸ軸、Ｙ軸は垂直であるから、このうちどちらか
の軸周りにワークピース位置を中心に回転させる。図４
（ｂ）に示す例では、ワールド座標系Ｘ軸まわりに３０
度回転するものとして設定し、そのとき撮像して得られ
る画像データから教示モデルを生成するものである。同
様に、図４（ｃ）、（ｄ）は、ワークピースの配置位置
を通りワールド座標系のＸ軸と平行な軸周りにカメラ２
０をそれぞれ６０度、９０度回転させたときの画像デー
タから教示モデルを生成するものである。以下、この４
つの教示モデルを得るものを例に取り説明する。なお、
この例では、０度、３０度、６０度、９０度の４つの教
示モデルとしたが、この回転角の刻みを小さくし、さら
に多くの教示モデルを得るようにしておけば、さらに精
度のよいワークピースの３次元位置姿勢を検出すること
ができる。
手首先端に取り付けられたカメラ２０で撮像する最初
（第０番目）の位置姿勢と、次以降に撮像する位置姿勢
を特定するため、該最初の位置姿勢からカメラを回転さ
せる回転軸と回転角を設定し、かつ、その撮像位置姿勢
の数Ｎをも設定する（ステップ１０３）。例えば、図４
に示すようにワークピースＷに対して４方向から撮像し
この４つの画像データからそれぞれ教示モデルを生成す
る。図４（ａ）に示す第０番目の撮像位置姿勢では、ワ
ークピースＷを真上のワールド座標系Ｚ軸方向から撮像
した画像データからの教示モデルである。次の撮像位置
姿勢は、このカメラ位置において、ワークピースの配置
位置（ワーク座標系の原点）を通りカメラの中心軸方向
に対して垂直方向の軸周りに回転させる回転角を設定す
る。最初（第０番目）の位置姿勢でワールド座標系のＺ
軸とカメラの中心軸を平行とした場合には、ワールド座
標系のＸ軸、Ｙ軸は垂直であるから、このうちどちらか
の軸周りにワークピース位置を中心に回転させる。図４
（ｂ）に示す例では、ワールド座標系Ｘ軸まわりに３０
度回転するものとして設定し、そのとき撮像して得られ
る画像データから教示モデルを生成するものである。同
様に、図４（ｃ）、（ｄ）は、ワークピースの配置位置
を通りワールド座標系のＸ軸と平行な軸周りにカメラ２
０をそれぞれ６０度、９０度回転させたときの画像デー
タから教示モデルを生成するものである。以下、この４
つの教示モデルを得るものを例に取り説明する。なお、
この例では、０度、３０度、６０度、９０度の４つの教
示モデルとしたが、この回転角の刻みを小さくし、さら
に多くの教示モデルを得るようにしておけば、さらに精
度のよいワークピースの３次元位置姿勢を検出すること
ができる。
【００２６】上述したように、ロボット手首先端に取り
付けたカメラ２０で最初（第０番目）に撮像するロボッ
トの位置姿勢と回転中心軸となる軸及び回転角を教示
し、かつその数Ｎを設定する。説明をわかりやすくする
ために、所定位置に所定姿勢で配置されたワークピース
Ｗに対し、カメラの中心軸がワールド座標系のＺ軸と平
行で、ワークピースＷのワールド座標系上のＸ、Ｙ軸座
標値と同一でＺ軸のみが異なる位置を第０番目の教示モ
デル撮像位置姿勢として教示し、さらに、ワークピース
Ｗの配置位置を通り、ワールド座標系Ｘ軸と平行な軸周
りに３０度、６０度、９０度回転させた位置を第１，第
２、第３の撮像位置姿勢として設定する。又撮像位置の
数Ｎを「４」と設定する。
付けたカメラ２０で最初（第０番目）に撮像するロボッ
トの位置姿勢と回転中心軸となる軸及び回転角を教示
し、かつその数Ｎを設定する。説明をわかりやすくする
ために、所定位置に所定姿勢で配置されたワークピース
Ｗに対し、カメラの中心軸がワールド座標系のＺ軸と平
行で、ワークピースＷのワールド座標系上のＸ、Ｙ軸座
標値と同一でＺ軸のみが異なる位置を第０番目の教示モ
デル撮像位置姿勢として教示し、さらに、ワークピース
Ｗの配置位置を通り、ワールド座標系Ｘ軸と平行な軸周
りに３０度、６０度、９０度回転させた位置を第１，第
２、第３の撮像位置姿勢として設定する。又撮像位置の
数Ｎを「４」と設定する。
【００２７】そして、教示モデル取得指令を教示操作盤
４から入力すると、ロボット制御装置１０のプロセッサ
１は、撮像回数を係数するカウンタＭを「０」にセット
し（ステップ１０３）、ロボットを稼働し第Ｍ（＝０）
番目の位置姿勢に移動させ、画像処理装置３０へカメラ
での撮像指令を出力する（ステップ１０４）。画像処理
装置３０では、この指令を受けてカメラ２０でワークピ
ースを撮像し、その画像データを画像メモリ３６に格納
するが、さらに、この画像データからＭ番目の教示モデ
ルを生成し不揮発性メモリ３７に格納する（ステップ１
０５）。さらに、ワーク座標系の位置姿勢をカメラ座標
系から見た座標変換行列として計算し、カメラとワーク
ピースとの相対位置姿勢を求めＭ番目の教示モデルの相
対位置姿勢として不揮発性メモリ３７に格納し、データ
取得信号をロボット制御装置に送る（ステップ１０
６）。例えば、カメラ座標系の位置姿勢として［ｘ0，
ｙ0，ｚ0，α0，β0，γ0］c として記憶される。なお
α、β、γはそれぞれＸ、Ｙ、Ｚ軸周りの回転角を意味
し、「ｃ」はカメラ座標系を意味する。
４から入力すると、ロボット制御装置１０のプロセッサ
１は、撮像回数を係数するカウンタＭを「０」にセット
し（ステップ１０３）、ロボットを稼働し第Ｍ（＝０）
番目の位置姿勢に移動させ、画像処理装置３０へカメラ
での撮像指令を出力する（ステップ１０４）。画像処理
装置３０では、この指令を受けてカメラ２０でワークピ
ースを撮像し、その画像データを画像メモリ３６に格納
するが、さらに、この画像データからＭ番目の教示モデ
ルを生成し不揮発性メモリ３７に格納する（ステップ１
０５）。さらに、ワーク座標系の位置姿勢をカメラ座標
系から見た座標変換行列として計算し、カメラとワーク
ピースとの相対位置姿勢を求めＭ番目の教示モデルの相
対位置姿勢として不揮発性メモリ３７に格納し、データ
取得信号をロボット制御装置に送る（ステップ１０
６）。例えば、カメラ座標系の位置姿勢として［ｘ0，
ｙ0，ｚ0，α0，β0，γ0］c として記憶される。なお
α、β、γはそれぞれＸ、Ｙ、Ｚ軸周りの回転角を意味
し、「ｃ」はカメラ座標系を意味する。
【００２８】次に、データ取得信号を受信するとロボッ
ト制御装置１０のプロセッサ１は、カウンタＭを「１」
インクリメントし（ステップ１０７）、該カウンタＭの
値が設定値Ｎ（＝４）より小さいか判断し（ステップ１
０８）、小さければ、（ステップ１０４に戻り第Ｍ番目
の撮像位置姿勢にロボットを移動させる。すなわち、図
４に示す上述した例では、ワークピース配置位置を通り
ワールド座標系のＸ軸と平行な軸周りに３０度をカメラ
を回転させ撮像を行い教示モデルとそのときのカメラと
ワークピースとの相対位置姿勢を記憶する。
ト制御装置１０のプロセッサ１は、カウンタＭを「１」
インクリメントし（ステップ１０７）、該カウンタＭの
値が設定値Ｎ（＝４）より小さいか判断し（ステップ１
０８）、小さければ、（ステップ１０４に戻り第Ｍ番目
の撮像位置姿勢にロボットを移動させる。すなわち、図
４に示す上述した例では、ワークピース配置位置を通り
ワールド座標系のＸ軸と平行な軸周りに３０度をカメラ
を回転させ撮像を行い教示モデルとそのときのカメラと
ワークピースとの相対位置姿勢を記憶する。
【００２９】以下、カウンタＭの値が設定値Ｎ（＝４）
になるまで、ステップ１０４〜１０８の処理を行い、教
示モデルとカメラとワークピースとの相対位置姿勢を不
揮発性メモリに記憶する。上述した例では教示モデルと
しては、図４（ａ）〜（ｄ）の画像から生成したものが
記憶され、その教示モデルに対してそれぞれカメラとワ
ークピースとの相対位置姿勢としての、カメラ座標系の
ワークピースＷの位置姿勢として［ｘ0，ｙ0，ｚ0，α
0，β0，γ0］c 、［ｘ1，ｙ1，ｚ1，α1，β1，γ1］c
、［ｘ2，ｙ2，ｚ2，α2，β2，γ2］c 、［ｘ3，ｙ
3，ｚ3，α3，β3，γ3］c が記憶される。以上のよう
にして、画像処理装置３０の不揮発性メモリ３７には教
示モデルとカメラとワークピースとの相対位置を記憶さ
れることになる。
になるまで、ステップ１０４〜１０８の処理を行い、教
示モデルとカメラとワークピースとの相対位置姿勢を不
揮発性メモリに記憶する。上述した例では教示モデルと
しては、図４（ａ）〜（ｄ）の画像から生成したものが
記憶され、その教示モデルに対してそれぞれカメラとワ
ークピースとの相対位置姿勢としての、カメラ座標系の
ワークピースＷの位置姿勢として［ｘ0，ｙ0，ｚ0，α
0，β0，γ0］c 、［ｘ1，ｙ1，ｚ1，α1，β1，γ1］c
、［ｘ2，ｙ2，ｚ2，α2，β2，γ2］c 、［ｘ3，ｙ
3，ｚ3，α3，β3，γ3］c が記憶される。以上のよう
にして、画像処理装置３０の不揮発性メモリ３７には教
示モデルとカメラとワークピースとの相対位置を記憶さ
れることになる。
【００３０】図２は、本発明の第２の実施形態を示すで
概要図である。図１に示す第１の実施形態と相違する点
は、カメラ２０が固定位置に置かれ、対象物のワークピ
ースＷがロボット手首先端に取り付けられたハンドで把
持するか、若しくはロボット可動部に固定し、教示モデ
ルを設定記憶させるようにした点である。ロボット制御
装置１０及び画像処理装置（画像処理装置）３０の構成
は同一であり、教示モデルを教示生成するための処理が
異なるのみである。この教示動作処理のフローを図８に
示す。
概要図である。図１に示す第１の実施形態と相違する点
は、カメラ２０が固定位置に置かれ、対象物のワークピ
ースＷがロボット手首先端に取り付けられたハンドで把
持するか、若しくはロボット可動部に固定し、教示モデ
ルを設定記憶させるようにした点である。ロボット制御
装置１０及び画像処理装置（画像処理装置）３０の構成
は同一であり、教示モデルを教示生成するための処理が
異なるのみである。この教示動作処理のフローを図８に
示す。
【００３１】まず、固定位置に置かれたカメラ２０のキ
ャリブレーションを行いカメラ座標系をロボット制御装
置１０のメモリ２に記憶させる（ステップ２００）。こ
れにより、ロボットワールド座標系から見たカメラ座標
系の座標変換行列が得られる。さらに、ロボットハンド
が把持した（若しくはロボット可動部に固定された）ワ
ークピースに想定した座標系（ワーク座標系）のロボッ
ト手先のフランジ面中心から見た位置姿勢を計測しロボ
ット制御装置１０に設定しメモリ２に記憶させる。これ
により、ロボットが任意の位置にいる時のワークピース
に想定した座標系（ワーク座標系）の位置姿勢をロボッ
トが認識できることになる。
ャリブレーションを行いカメラ座標系をロボット制御装
置１０のメモリ２に記憶させる（ステップ２００）。こ
れにより、ロボットワールド座標系から見たカメラ座標
系の座標変換行列が得られる。さらに、ロボットハンド
が把持した（若しくはロボット可動部に固定された）ワ
ークピースに想定した座標系（ワーク座標系）のロボッ
ト手先のフランジ面中心から見た位置姿勢を計測しロボ
ット制御装置１０に設定しメモリ２に記憶させる。これ
により、ロボットが任意の位置にいる時のワークピース
に想定した座標系（ワーク座標系）の位置姿勢をロボッ
トが認識できることになる。
【００３２】さらに第１の実施形態と同様に、固定位置
のカメラ２０で撮像する、ロボットハンドに把持された
ワークピースＷの最初（第０番目）の位置姿勢と、次以
降に撮像する位置姿勢を特定するため該最初の位置姿勢
からワークピースを固定位置のカメラ２０に対して回転
させる回転軸と回転角を設定する（ステップ２０２）。
のカメラ２０で撮像する、ロボットハンドに把持された
ワークピースＷの最初（第０番目）の位置姿勢と、次以
降に撮像する位置姿勢を特定するため該最初の位置姿勢
からワークピースを固定位置のカメラ２０に対して回転
させる回転軸と回転角を設定する（ステップ２０２）。
【００３３】第１の実施形態と同様に、ワールド座標系
Ｘ軸と平行な軸周りにカメラ２０を中心に３０度、６０
度、９０度それぞれロボットハンドで把持したワークピ
ースを回転させた位置姿勢を第１，第２、第３の撮像位
置として設定する。又撮像位置の数Ｎを「４」と設定す
れば、第１の実施形態と同様の図４に示すような教示モ
デルを得ることができる。
Ｘ軸と平行な軸周りにカメラ２０を中心に３０度、６０
度、９０度それぞれロボットハンドで把持したワークピ
ースを回転させた位置姿勢を第１，第２、第３の撮像位
置として設定する。又撮像位置の数Ｎを「４」と設定す
れば、第１の実施形態と同様の図４に示すような教示モ
デルを得ることができる。
【００３４】そして、教示モデル取得指令を教示操作盤
４から入力すると、ロボット制御装置１０のプロセッサ
１は、カウンタＭを「０」にセットし、ロボットを動作
させ第Ｍ（＝０）番目の位置姿勢にワークピースＷを移
動させ、画像処理装置３０へカメラ２０での撮像指令を
出力する（ステップ２０３、２０４）。画像処理装置３
０では、この指令を受けてカメラでワークピースＷを撮
像し、その画像データからＭ番目の教示モデルを生成し
不揮発性メモリ３７に格納する。さらに、ワークピース
に想定した座標系（ワーク座標系）の位置姿勢をカメラ
座標系から見た座標変換行列として計算し、カメラとワ
ークピースとのＭ番目の教示モデルの相対位置姿勢とし
て不揮発性メモリ３７に格納し、データ取得信号をロボ
ット制御装置に送る（ステップ２０４〜２０６）。
４から入力すると、ロボット制御装置１０のプロセッサ
１は、カウンタＭを「０」にセットし、ロボットを動作
させ第Ｍ（＝０）番目の位置姿勢にワークピースＷを移
動させ、画像処理装置３０へカメラ２０での撮像指令を
出力する（ステップ２０３、２０４）。画像処理装置３
０では、この指令を受けてカメラでワークピースＷを撮
像し、その画像データからＭ番目の教示モデルを生成し
不揮発性メモリ３７に格納する。さらに、ワークピース
に想定した座標系（ワーク座標系）の位置姿勢をカメラ
座標系から見た座標変換行列として計算し、カメラとワ
ークピースとのＭ番目の教示モデルの相対位置姿勢とし
て不揮発性メモリ３７に格納し、データ取得信号をロボ
ット制御装置に送る（ステップ２０４〜２０６）。
【００３５】データ取得信号を受信するとロボット制御
装置１０のプロセッサ１は、カウンタＭを「１」インク
リメントし（ステップ２０７）、該カウンタＭの値が設
定値Ｎ（＝４）より小さいか判断し（ステップ２０
８）、小さければ、ステップ２０４に戻り第Ｍ番目の撮
像位置姿勢にロボットを移動させる。
装置１０のプロセッサ１は、カウンタＭを「１」インク
リメントし（ステップ２０７）、該カウンタＭの値が設
定値Ｎ（＝４）より小さいか判断し（ステップ２０
８）、小さければ、ステップ２０４に戻り第Ｍ番目の撮
像位置姿勢にロボットを移動させる。
【００３６】以下、カウンタＭの値が設定値Ｎ（＝４）
になるまで、ステップ２０４〜２０８の処理を行い、第
１の実施形態と同様に教示モデルとカメラとワークピー
スとの相対位置姿勢を不揮発性メモリに記憶することに
なる。
になるまで、ステップ２０４〜２０８の処理を行い、第
１の実施形態と同様に教示モデルとカメラとワークピー
スとの相対位置姿勢を不揮発性メモリに記憶することに
なる。
【００３７】図３は、本発明の第３の実施形態の概要図
である。この第３の実施形態は、カメラも対象物のワー
クピースもロボットの可動部に固定するかハンドで把持
して教示モデルを生成するものである。この実施形態に
おいては、第１、第２のロボットＲＢ１、ＲＢ２の各ロ
ボット制御装置は、図５に示す構成ほぼ同一であるが、
この２つのロボット制御装置間が通信インターフェイス
で接続されていること、及び、画像処理装置３０が第２
のロボット制御装置のみに接続されている点に相違する
のみである。又画像処理装置３０の構成も図６に示すも
のと同一である。
である。この第３の実施形態は、カメラも対象物のワー
クピースもロボットの可動部に固定するかハンドで把持
して教示モデルを生成するものである。この実施形態に
おいては、第１、第２のロボットＲＢ１、ＲＢ２の各ロ
ボット制御装置は、図５に示す構成ほぼ同一であるが、
この２つのロボット制御装置間が通信インターフェイス
で接続されていること、及び、画像処理装置３０が第２
のロボット制御装置のみに接続されている点に相違する
のみである。又画像処理装置３０の構成も図６に示すも
のと同一である。
【００３８】第１のロボットＲＢ２のハンドには対象物
のワークピースＷを把持させ、第２のロボットＲＢ１の
手先にはカメラ２０を取り付ける。そして、第１のロボ
ットＲＢ１のワールド座標系から見た第２のロボットＲ
Ｂ２のワール度座標系の位置姿勢を計測し、座標変換行
列（Ａ）として求め第１のロボット制御装置に記憶させ
る（ステップ３００）。
のワークピースＷを把持させ、第２のロボットＲＢ１の
手先にはカメラ２０を取り付ける。そして、第１のロボ
ットＲＢ１のワールド座標系から見た第２のロボットＲ
Ｂ２のワール度座標系の位置姿勢を計測し、座標変換行
列（Ａ）として求め第１のロボット制御装置に記憶させ
る（ステップ３００）。
【００３９】さらに、第１のロボットＲＢ１のハンドで
把持したワークピースＷに想定された座標系（ワーク座
標系）のロボット手先のフランジ面中心から見た位置姿
勢の座標変換行列（Ｂ）を第１のロボット制御装置に設
定し記憶させる（ステップ３０１）。又、第２のロボッ
トＲＢ１の手先に取り付けたカメラ２０のキャリブレー
ションを行い第２のロボット手先のフランジ面中心から
カメラ座標系への変換行列（Ｃ）を第１のロボット制御
装置に設定し記憶させる（ステップ３０２）。
把持したワークピースＷに想定された座標系（ワーク座
標系）のロボット手先のフランジ面中心から見た位置姿
勢の座標変換行列（Ｂ）を第１のロボット制御装置に設
定し記憶させる（ステップ３０１）。又、第２のロボッ
トＲＢ１の手先に取り付けたカメラ２０のキャリブレー
ションを行い第２のロボット手先のフランジ面中心から
カメラ座標系への変換行列（Ｃ）を第１のロボット制御
装置に設定し記憶させる（ステップ３０２）。
【００４０】さらに第１、第２の実施形態と同様に、カ
メラ２０で最初に撮像するワークピースＷとカメラ２０
が最初（第０番目）の相対位置姿勢となるように第１、
第２のロボットの位置姿勢を各ロボット制御装置に設定
し、続いて、第１番目、第２番目、・・・・第ｉ番目・
・の位置姿勢をそれぞれ設定し、かつその数Ｎも設定す
る。この実施形態においても、最初の位置姿勢からワー
クピースＷを把持した第１のロボットＲＢ１の位置姿勢
は変えずにカメラが取り付けられた第２のロボットＲＢ
２０を動作させ、ワークピースＷに対して回転させる
か、第２のロボットＲＢ２０の位置姿勢を変えずにカメ
ラ２０を固定し、第１のロボットＲＢ２０を動作させ、
ワークピースＷを回転させるか、どちらか一方を回転さ
せるか若しくは両方とも回転させ、相対的に設定回転角
だけ回転させるように設定する。又回転軸は、カメラ２
０の中心軸に直交する各ワールド座標系平行する軸で互
いに相手の中心位置（カメラ座標系の原点、ワーク座標
系の原点）を通る軸を設定する。例えば、図３に示す例
では、各ワールド座標系のＺ軸（垂直軸）周りにワーク
ピースＷ又はカメラ２０を中心に回転させる角度を設定
する。設定を簡単にするには、カメラ２０かワークピー
スＷの一方を固定し、他方を回転させるようにすればよ
いが、回転のために動作させるロボットの移動が困難で
ある時や移動できないような場合には、固定されていた
カメラ若しくはワークピース側のロボットを駆動してワ
ークピースとカメラが相対的に設定した位置姿勢関係に
なるように設定する。（ステップ３０３）。
メラ２０で最初に撮像するワークピースＷとカメラ２０
が最初（第０番目）の相対位置姿勢となるように第１、
第２のロボットの位置姿勢を各ロボット制御装置に設定
し、続いて、第１番目、第２番目、・・・・第ｉ番目・
・の位置姿勢をそれぞれ設定し、かつその数Ｎも設定す
る。この実施形態においても、最初の位置姿勢からワー
クピースＷを把持した第１のロボットＲＢ１の位置姿勢
は変えずにカメラが取り付けられた第２のロボットＲＢ
２０を動作させ、ワークピースＷに対して回転させる
か、第２のロボットＲＢ２０の位置姿勢を変えずにカメ
ラ２０を固定し、第１のロボットＲＢ２０を動作させ、
ワークピースＷを回転させるか、どちらか一方を回転さ
せるか若しくは両方とも回転させ、相対的に設定回転角
だけ回転させるように設定する。又回転軸は、カメラ２
０の中心軸に直交する各ワールド座標系平行する軸で互
いに相手の中心位置（カメラ座標系の原点、ワーク座標
系の原点）を通る軸を設定する。例えば、図３に示す例
では、各ワールド座標系のＺ軸（垂直軸）周りにワーク
ピースＷ又はカメラ２０を中心に回転させる角度を設定
する。設定を簡単にするには、カメラ２０かワークピー
スＷの一方を固定し、他方を回転させるようにすればよ
いが、回転のために動作させるロボットの移動が困難で
ある時や移動できないような場合には、固定されていた
カメラ若しくはワークピース側のロボットを駆動してワ
ークピースとカメラが相対的に設定した位置姿勢関係に
なるように設定する。（ステップ３０３）。
【００４１】そして、教示モデル取得指令をどちらか一
方のロボット制御装置の教示操作盤４から入力すると、
各ロボットＲＢ１、ＲＢ２のロボット制御装置１０のプ
ロセッサ１は、カウンタＭを「０」にセットし、ロボッ
トを動作させ第Ｍ（＝０）番目の位置姿勢にワークピー
スＷを移動させ、画像処理装置３０へカメラ２０での撮
像指令を出力する（ステップ３０４、３０５）。画像処
理装置３０では、この指令を受けてカメラでワークピー
スＷを撮像し、その画像データからＭ番目の教示モデル
を生成し、不揮発性メモリ３７に格納する（ステップ３
０６）。
方のロボット制御装置の教示操作盤４から入力すると、
各ロボットＲＢ１、ＲＢ２のロボット制御装置１０のプ
ロセッサ１は、カウンタＭを「０」にセットし、ロボッ
トを動作させ第Ｍ（＝０）番目の位置姿勢にワークピー
スＷを移動させ、画像処理装置３０へカメラ２０での撮
像指令を出力する（ステップ３０４、３０５）。画像処
理装置３０では、この指令を受けてカメラでワークピー
スＷを撮像し、その画像データからＭ番目の教示モデル
を生成し、不揮発性メモリ３７に格納する（ステップ３
０６）。
【００４２】さらに、この画像取り込み時における第１
のロボットの位置姿勢とステップ３０１で求め設定され
ている座標変換行列（Ｂ）より、ワークピースＷに想定
した座標系の位置姿勢を第１のロボットのワールド座標
系から見た座標変換行列（Ｄ）として求め、さらに、第
２のロボットの位置姿勢とステップ３０２で求め設定さ
れている座標変換行列（Ｃ）より、カメラ座標系から見
た位置姿勢を第２ロボットのワールド座標系から見た座
標変換行列（Ｅ）として求める（ステップ３０７）。こ
うして求めた座標変換行列（Ｄ）、（Ｅ）、及びステッ
プ３００で設定されている座標変換行列（Ａ）より、下
記１式の演算を行って、ワークピースＷに想定されてい
る位置姿勢をカメラ座標系から見た座標変換行列（Ｆ）
に変換し、第Ｍ番目の相対位置姿勢として記憶しデータ
取得信号を両ロボット制御装置に出力する。
のロボットの位置姿勢とステップ３０１で求め設定され
ている座標変換行列（Ｂ）より、ワークピースＷに想定
した座標系の位置姿勢を第１のロボットのワールド座標
系から見た座標変換行列（Ｄ）として求め、さらに、第
２のロボットの位置姿勢とステップ３０２で求め設定さ
れている座標変換行列（Ｃ）より、カメラ座標系から見
た位置姿勢を第２ロボットのワールド座標系から見た座
標変換行列（Ｅ）として求める（ステップ３０７）。こ
うして求めた座標変換行列（Ｄ）、（Ｅ）、及びステッ
プ３００で設定されている座標変換行列（Ａ）より、下
記１式の演算を行って、ワークピースＷに想定されてい
る位置姿勢をカメラ座標系から見た座標変換行列（Ｆ）
に変換し、第Ｍ番目の相対位置姿勢として記憶しデータ
取得信号を両ロボット制御装置に出力する。
【００４３】（Ｆ）＝(Ｅ)-1(Ａ)-1(Ｄ)・・・・（１） データ取得信号を受信すると各ロボット制御装置１０の
プロセッサ１は、カウンタＭを「１」インクリメントし
（ステップ３０８）、該カウンタＭの値が設定値Ｎ（＝
４）より小さいか判断し（ステップ３０９）、小さけれ
ば、ステップ３０５に戻り第Ｍ番目の撮像位置姿勢にロ
ボットを移動させる。
プロセッサ１は、カウンタＭを「１」インクリメントし
（ステップ３０８）、該カウンタＭの値が設定値Ｎ（＝
４）より小さいか判断し（ステップ３０９）、小さけれ
ば、ステップ３０５に戻り第Ｍ番目の撮像位置姿勢にロ
ボットを移動させる。
【００４４】以下、カウンタＭの値が設定値Ｎ（＝４）
になるまで、ステップ３０５〜３１０の処理を行い、第
１、第２の実施形態と同様に教示モデルとカメラ２０と
ワークピースＷとの相対位置姿勢を不揮発性メモリ３７
に記憶することになる。
になるまで、ステップ３０５〜３１０の処理を行い、第
１、第２の実施形態と同様に教示モデルとカメラ２０と
ワークピースＷとの相対位置姿勢を不揮発性メモリ３７
に記憶することになる。
【００４５】以上、教示モデルの生成について３つの実
施形態を述べたが、こうして得られた教示モデルを利用
して、例えば、ワークピースＷが山積みされた山から個
々のワークピースを取り出すピッキング作業を開始する
例について次に説明する。
施形態を述べたが、こうして得られた教示モデルを利用
して、例えば、ワークピースＷが山積みされた山から個
々のワークピースを取り出すピッキング作業を開始する
例について次に説明する。
【００４６】ロボット手先には、カメラが取り付けられ
ると共にハンドが取り付けられている。そして、ロボッ
ト制御装置１０に教示操作盤等からピッキング指令が入
力されると、プロセッサ１は、図１０に示すピッキング
作業の動作処理を開始する。まず、教示されているロボ
ット先端手首に取り付けられているカメラを山積みされ
たワークピースが該カメラの視野にいる撮像位置へロボ
ットを移動させ、該カメラのワールド座標系上の３次元
位置姿勢を画像処理装置３０へ出力すると共に撮像指令
を出力する（ステップ４００、４０１）。画像処理装置
３０のプロセッサ３１は、撮像指令を受信し、ワークピ
ースの山を撮像し幾つかのワークピースの画像データを
得て画像メモリ３６に記憶する（ステップ４０２）。
ると共にハンドが取り付けられている。そして、ロボッ
ト制御装置１０に教示操作盤等からピッキング指令が入
力されると、プロセッサ１は、図１０に示すピッキング
作業の動作処理を開始する。まず、教示されているロボ
ット先端手首に取り付けられているカメラを山積みされ
たワークピースが該カメラの視野にいる撮像位置へロボ
ットを移動させ、該カメラのワールド座標系上の３次元
位置姿勢を画像処理装置３０へ出力すると共に撮像指令
を出力する（ステップ４００、４０１）。画像処理装置
３０のプロセッサ３１は、撮像指令を受信し、ワークピ
ースの山を撮像し幾つかのワークピースの画像データを
得て画像メモリ３６に記憶する（ステップ４０２）。
【００４７】続いて、画像メモリに記憶した画像データ
に対して不揮発性メモリ３７に設定記憶されている教示
モデルの１つ（第０番目の教示モデル）を使用してパタ
ーンマッチング処理を行いワークピースの検出を行い
（ステップ４０３）。このパターンマッチング処理で
は、ワークピースの画像内の位置、回転及びスケールの
変化を検出するマッチング処理を行う。そして、マッチ
ング値が設定基準値以上のものが検出されたか判断し
（ステップ４０４）、基準値以上のものが検出されなけ
れば、全教示モデル（第０〜第３番目の教示モデル）に
対してパターンマッチング処理を行ったか判断し（ステ
ップ４０５）、行っていなければ、他の教示モデルによ
りパターンマッチングの処理を行う（ステップ４０
６）。こうして、ステップ４０４で、いずれかの教示モ
デルに対してマッチング値が設定基準値以上のワークピ
ースの画像データが検出されると、この検出したワーク
ピースの画像データに対して他の教示モデルで全てマッ
チング処理を行う。すなわち、検出されたワークピース
の画像データに対して、設定記憶されている教示モデル
の全てとパターンマッチング処理を行う（ステップ４０
７）。このパターンマッチング処理によって得られたマ
ッチング値が一番高い教示モデルを選択し、この選択教
示モデルに対応して記憶するカメラとワークピースとの
相対位置姿勢と、選択した教示モデルに対するマッチン
グ処理での画像ないの位置、回転及びスケールの変化量
とにより最終的なカメラとワークピースとの相対位置姿
勢として得られる（ステップ４０８）。そして、この相
対位置姿勢とステップ４０１の処理で送られてきている
カメラのワールド座標系における位置姿勢からワークピ
ースのワールド座標系上の位置姿勢を求め出力する。す
なわち、ワークピースとカメラの相対位置姿勢は、カメ
ラ座標系からみたワークピースの位置姿勢であるから、
この位置姿勢のデータと、カメラのワールド座標系にお
ける位置姿勢のデータにより座標変換の演算を行うこと
によりワールド座標系上の検出ワークピースの位置姿勢
が求められる（ステップ４０９）。
に対して不揮発性メモリ３７に設定記憶されている教示
モデルの１つ（第０番目の教示モデル）を使用してパタ
ーンマッチング処理を行いワークピースの検出を行い
（ステップ４０３）。このパターンマッチング処理で
は、ワークピースの画像内の位置、回転及びスケールの
変化を検出するマッチング処理を行う。そして、マッチ
ング値が設定基準値以上のものが検出されたか判断し
（ステップ４０４）、基準値以上のものが検出されなけ
れば、全教示モデル（第０〜第３番目の教示モデル）に
対してパターンマッチング処理を行ったか判断し（ステ
ップ４０５）、行っていなければ、他の教示モデルによ
りパターンマッチングの処理を行う（ステップ４０
６）。こうして、ステップ４０４で、いずれかの教示モ
デルに対してマッチング値が設定基準値以上のワークピ
ースの画像データが検出されると、この検出したワーク
ピースの画像データに対して他の教示モデルで全てマッ
チング処理を行う。すなわち、検出されたワークピース
の画像データに対して、設定記憶されている教示モデル
の全てとパターンマッチング処理を行う（ステップ４０
７）。このパターンマッチング処理によって得られたマ
ッチング値が一番高い教示モデルを選択し、この選択教
示モデルに対応して記憶するカメラとワークピースとの
相対位置姿勢と、選択した教示モデルに対するマッチン
グ処理での画像ないの位置、回転及びスケールの変化量
とにより最終的なカメラとワークピースとの相対位置姿
勢として得られる（ステップ４０８）。そして、この相
対位置姿勢とステップ４０１の処理で送られてきている
カメラのワールド座標系における位置姿勢からワークピ
ースのワールド座標系上の位置姿勢を求め出力する。す
なわち、ワークピースとカメラの相対位置姿勢は、カメ
ラ座標系からみたワークピースの位置姿勢であるから、
この位置姿勢のデータと、カメラのワールド座標系にお
ける位置姿勢のデータにより座標変換の演算を行うこと
によりワールド座標系上の検出ワークピースの位置姿勢
が求められる（ステップ４０９）。
【００４８】ロボット制御装置１０は送られて来た検出
ワークピースＷの３次元位置姿勢に基づき、ロボットを
動作させ従来と同様にこの検出ワークピースをピツキン
グして教示された所定の位置に移動される（ステップ４
１０）。そして、ステップ４０２に戻り、ステップ４０
２以下の処理を繰り返し実行する。全てのワークピース
がワークピースの山からピッキングされなくなると、ス
テップ４０３〜４０６の処理で、全ての教示モデルに対
してパターンマッチング処理をしても設定基準値以上の
マッチング値を得ることができないから、このピッキン
グ作業は終了する。
ワークピースＷの３次元位置姿勢に基づき、ロボットを
動作させ従来と同様にこの検出ワークピースをピツキン
グして教示された所定の位置に移動される（ステップ４
１０）。そして、ステップ４０２に戻り、ステップ４０
２以下の処理を繰り返し実行する。全てのワークピース
がワークピースの山からピッキングされなくなると、ス
テップ４０３〜４０６の処理で、全ての教示モデルに対
してパターンマッチング処理をしても設定基準値以上の
マッチング値を得ることができないから、このピッキン
グ作業は終了する。
【００４９】
【発明の効果】本発明は、対象物が３次元にその位置姿
勢が変わってもその対象物を認識識別し対象物の位置姿
勢を検出する画像処理装置等に利用される教示パターン
をロボットを使用して簡単に生成することができるもの
である。
勢が変わってもその対象物を認識識別し対象物の位置姿
勢を検出する画像処理装置等に利用される教示パターン
をロボットを使用して簡単に生成することができるもの
である。
【図１】本発明の第１の実施形態の概要を説明する説明
図である。
図である。
【図２】本発明の第２の実施形態の概要を説明する説明
図である。
図である。
【図３】本発明の第３の実施形態の概要を説明する説明
図である。
図である。
【図４】各実施形態における教示モデルの例を示す図で
ある。
ある。
【図５】各実施形態におけるロボット制御装置の要部ブ
ロック図である。
ロック図である。
【図６】各実施形態における画像処理装置の要部ブロッ
ク図である。
ク図である。
【図７】第１の実施形態における教示モデルを生成する
動作処理フローである。
動作処理フローである。
【図８】第２の実施形態における教示モデルを生成する
動作処理フローである。
動作処理フローである。
【図９】第３の実施形態における教示モデルを生成する
動作処理フローである。
動作処理フローである。
【図１０】ピッキング作業の動作処理フローである。
【図１１】本発明の実施形態に用いる距離データを測定
できる視覚センサの動作説明図である。
できる視覚センサの動作説明図である。
【図１２】同距離データを測定できる視覚センサによっ
て得る画像データとしての距離データを要素とする２次
元配列データの説明図である。
て得る画像データとしての距離データを要素とする２次
元配列データの説明図である。
【図１３】同画像データとしての２次元配列データの取
得処理のフローチャートである。
得処理のフローチャートである。
１０ ロボット制御装置 ２０ カメラ ３０ 画像処理装置 Ｗ ワークピース
フロントページの続き Ｆターム(参考） 3F059 AA01 BA08 DA02 DB09 FA05 5H269 AB21 AB33 BB09 CC09 DD05 DD08 FF03 GG02 GG08 JJ09 JJ20 KK03 NN18 QC10 QD02 QD03 SA08 SA12
Claims (6)
- 【請求項１】 対象物を撮像手段により複数の方向から
撮像し、それぞれの方向の画像データを取得し、前記各
画像データに基づいて、前記対象物の前記各撮像方向の
形状を認識する画像処理用の教示モデルを生成し記憶す
る装置であって、 対象物か撮像手段のどちらか一方を定位置に固定し他方
をロボットの可動部に固定するかハンドに把持させ、ロ
ボットを動作させて前記撮像手段を前記対象物に対して
相対的に複数の画像取込み位置に移動させて対象物を複
数方向から撮像し前記対象物の画像データをそれぞれ取
得し教示モデルとして記憶することを特徴とする教示モ
デル生成装置。 - 【請求項２】 対象物を撮像手段により複数の方向から
撮像し、それぞれの方向の画像データを取得し、前記各
画像データに基づいて、前記対象物の前記各撮像方向の
形状を認識する画像処理用の教示モデルを生成し記憶す
る装置であって、 対象物を第１のロボットの可動部に固定するかハンドに
把持させ、撮像手段を第２のロボットの可動部に固定す
るかハンドに把持させ、ロボットを動作させて前記撮像
手段を前記対象物に対して相対的に複数の画像取込み位
置に移動させて対象物を複数方向から撮像し前記対象物
の画像データをそれぞれ取得し教示モデルとして記憶す
ることを特徴とする教示モデル生成装置。 - 【請求項３】 前記教示モデルはマッチング方式の画像
処理に使用されることを特徴とする請求項１又は請求項
２に記載の教示モデル生成装置。 - 【請求項４】 前記対象物を前記撮像手段によって捕ら
えた方向毎に教示モデルを作成し、該教示モデルを前記
方向の情報と対応付けて記憶することを特徴とする請求
項１乃至請求項３の内１項記載の教示モデル生成装置。 - 【請求項５】 撮像手段がカメラであることを特徴とす
る請求項１乃至請求項４の内１項記載の教示モデル生成
装置。 - 【請求項６】 撮像手段は撮像手段と対象物の距離を複
数の点で計測する３次元視覚センサであることを特徴と
する請求項１乃至請求項４の内１項記載の教示モデル生
成装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10189099A JP3421608B2 (ja) | 1999-04-08 | 1999-04-08 | 教示モデル生成装置 |
| US09/546,213 US7200260B1 (en) | 1999-04-08 | 2000-04-10 | Teaching model generating device |
| EP00303007A EP1043126B1 (en) | 1999-04-08 | 2000-04-10 | Teaching model generating method |
| DE60039934T DE60039934D1 (de) | 1999-04-08 | 2000-04-10 | Verfahren zur Erzeugung eines Lernmodells |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10189099A JP3421608B2 (ja) | 1999-04-08 | 1999-04-08 | 教示モデル生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000288968A true JP2000288968A (ja) | 2000-10-17 |
| JP3421608B2 JP3421608B2 (ja) | 2003-06-30 |
Family
ID=14312534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10189099A Expired - Fee Related JP3421608B2 (ja) | 1999-04-08 | 1999-04-08 | 教示モデル生成装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7200260B1 (ja) |
| EP (1) | EP1043126B1 (ja) |
| JP (1) | JP3421608B2 (ja) |
| DE (1) | DE60039934D1 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1617380A1 (en) | 2004-07-15 | 2006-01-18 | Fanuc Ltd | Device for producing shape model |
| CN100431806C (zh) * | 2001-09-07 | 2008-11-12 | 株式会社安川电机 | 晶片位置教示方法和教示用夹具 |
| JP2010214546A (ja) * | 2009-03-17 | 2010-09-30 | Fuji Electric Holdings Co Ltd | 組立装置および組立方法 |
| JP2012101320A (ja) * | 2010-11-10 | 2012-05-31 | Canon Inc | 画像生成装置、画像生成方法、およびプログラム |
| JP2018092449A (ja) * | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、情報処理装置、情報処理方法、およびプログラム |
| JP2018144152A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
| CN110023993A (zh) * | 2016-12-05 | 2019-07-16 | 索尼互动娱乐股份有限公司 | 信息处理设备、信息处理方法和程序 |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003239171A1 (en) | 2002-01-31 | 2003-09-02 | Braintech Canada, Inc. | Method and apparatus for single camera 3d vision guided robotics |
| US7756322B2 (en) * | 2003-08-18 | 2010-07-13 | Honda Motor Co., Ltd. | Picture taking mobile robot |
| EP1763421A1 (en) * | 2004-03-16 | 2007-03-21 | Abb Ab | System of manupulators and method for controlling such a system |
| JP3946711B2 (ja) * | 2004-06-02 | 2007-07-18 | ファナック株式会社 | ロボットシステム |
| DE102006004153B4 (de) * | 2006-01-27 | 2014-10-23 | Vision Tools Hard- Und Software Entwicklungs Gmbh | Automatisches Einmessen kooperierender Roboter |
| JP4087874B2 (ja) | 2006-02-01 | 2008-05-21 | ファナック株式会社 | ワーク取り出し装置 |
| DE102006005958A1 (de) * | 2006-02-08 | 2007-08-16 | Kuka Roboter Gmbh | Verfahren zum Erzeugen eines Umgebungsbildes |
| JP4267005B2 (ja) * | 2006-07-03 | 2009-05-27 | ファナック株式会社 | 計測装置及びキャリブレーション方法 |
| WO2008036354A1 (en) | 2006-09-19 | 2008-03-27 | Braintech Canada, Inc. | System and method of determining object pose |
| DE102007009851B3 (de) * | 2007-02-28 | 2008-05-29 | Kuka Roboter Gmbh | Industrieroboter und Verfahren zum Bestimmen der Lage eines Industrieroboters relativ zu einem Objekt |
| US7957583B2 (en) | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
| JP5448326B2 (ja) * | 2007-10-29 | 2014-03-19 | キヤノン株式会社 | 把持装置および把持装置制御方法 |
| US8923602B2 (en) * | 2008-07-22 | 2014-12-30 | Comau, Inc. | Automated guidance and recognition system and method of the same |
| US8559699B2 (en) | 2008-10-10 | 2013-10-15 | Roboticvisiontech Llc | Methods and apparatus to facilitate operations in image based systems |
| CN102019565B (zh) * | 2009-09-21 | 2015-10-14 | Abb技术有限公司 | 用于制造部件的质量控制系统和方法 |
| JP5402697B2 (ja) * | 2009-10-26 | 2014-01-29 | 株式会社安川電機 | ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法 |
| US9179106B2 (en) * | 2009-12-28 | 2015-11-03 | Canon Kabushiki Kaisha | Measurement system, image correction method, and computer program |
| JP5665333B2 (ja) * | 2010-03-10 | 2015-02-04 | キヤノン株式会社 | 情報処理装置および情報処理装置の制御方法 |
| US9393694B2 (en) * | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
| JP5516192B2 (ja) * | 2010-07-28 | 2014-06-11 | 富士通株式会社 | モデル作成装置、モデル作成プログラムおよびモデル作成方法 |
| JP5852364B2 (ja) * | 2011-08-26 | 2016-02-03 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
| US9656392B2 (en) * | 2011-09-20 | 2017-05-23 | Disney Enterprises, Inc. | System for controlling robotic characters to enhance photographic results |
| US20150002855A1 (en) * | 2011-12-19 | 2015-01-01 | Peter Kovacs | Arrangement and method for the model-based calibration of a robot in a working space |
| JP5895569B2 (ja) * | 2012-02-08 | 2016-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
| US9221137B2 (en) | 2012-10-05 | 2015-12-29 | Beckman Coulter, Inc. | System and method for laser-based auto-alignment |
| JP6108860B2 (ja) * | 2013-02-14 | 2017-04-05 | キヤノン株式会社 | ロボットシステム及びロボットシステムの制御方法 |
| JP2014176922A (ja) * | 2013-03-14 | 2014-09-25 | Yaskawa Electric Corp | ロボットシステムおよび被加工物の製造方法 |
| EP3037222A4 (en) | 2013-09-24 | 2017-04-12 | Sony Olympus Medical Solutions Inc. | Medical robot arm device, medical robot arm control system, medical robot arm control method, and program |
| US9586320B2 (en) * | 2013-10-04 | 2017-03-07 | GM Global Technology Operations LLC | System and method for controlling a vision guided robot assembly |
| CN106061427B (zh) * | 2014-02-28 | 2020-10-27 | 索尼公司 | 机器人臂设备、机器人臂控制方法和程序 |
| JP6361213B2 (ja) * | 2014-03-26 | 2018-07-25 | セイコーエプソン株式会社 | ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム |
| TW201600275A (zh) * | 2014-06-26 | 2016-01-01 | Hiwin Tech Corp | 機械手臂系統及其平行度校正方法 |
| SI3012695T1 (en) | 2014-10-23 | 2018-01-31 | Comau S.P.A. | System for monitoring and control of an industrial plant |
| US10082237B2 (en) | 2015-03-27 | 2018-09-25 | A9.Com, Inc. | Imaging system for imaging replacement parts |
| JP2016221645A (ja) * | 2015-06-02 | 2016-12-28 | セイコーエプソン株式会社 | ロボット、ロボット制御装置およびロボットシステム |
| US10035269B2 (en) * | 2015-09-16 | 2018-07-31 | The Boeing Company | Enhanced robotic teaching tool |
| JP6812095B2 (ja) * | 2015-10-22 | 2021-01-13 | キヤノン株式会社 | 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法 |
| US9815204B2 (en) * | 2016-01-22 | 2017-11-14 | The Boeing Company | Apparatus and method to optically locate workpiece for robotic operations |
| KR102023588B1 (ko) | 2016-03-03 | 2019-10-14 | 구글 엘엘씨 | 로봇 파지용 심층 기계 학습 방법 및 장치 |
| US9914213B2 (en) * | 2016-03-03 | 2018-03-13 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
| US9990685B2 (en) | 2016-03-21 | 2018-06-05 | Recognition Robotics, Inc. | Automated guidance system and method for a coordinated movement machine |
| JP6815924B2 (ja) * | 2017-04-19 | 2021-01-20 | トヨタ自動車株式会社 | キャリブレーション装置 |
| JP6734253B2 (ja) | 2017-12-20 | 2020-08-05 | ファナック株式会社 | ワークを撮像する視覚センサを備える撮像装置 |
| IT201800005091A1 (it) | 2018-05-04 | 2019-11-04 | "Procedimento per monitorare lo stato di funzionamento di una stazione di lavorazione, relativo sistema di monitoraggio e prodotto informatico" | |
| JP6740288B2 (ja) * | 2018-07-13 | 2020-08-12 | ファナック株式会社 | 物体検査装置、物体検査システム、及び検査位置を調整する方法 |
| CN111971529A (zh) * | 2018-09-03 | 2020-11-20 | Abb瑞士股份有限公司 | 用于管理机器人系统的方法和装置 |
| US11345030B2 (en) * | 2019-05-28 | 2022-05-31 | Intel Corporation | Methods and apparatus for complex assembly via autonomous robots using reinforcement learning action primitives |
| CN114310877B (zh) * | 2021-03-09 | 2024-05-07 | 香港科能有限公司 | 机器人协同系统及其应用和加工精度评价方法 |
| CN114347040B (zh) * | 2022-02-18 | 2024-06-11 | 创新奇智(合肥)科技有限公司 | 目标物的拾取方法、装置、机器人以及存储介质 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3804270A (en) * | 1973-01-12 | 1974-04-16 | Bendix Corp | Bulk storage and automatic presenter system with image producing means |
| US4187051A (en) * | 1978-05-26 | 1980-02-05 | Jerry Kirsch | Rotary video article centering, orienting and transfer device for computerized electronic operating systems |
| US5148591A (en) * | 1981-05-11 | 1992-09-22 | Sensor Adaptive Machines, Inc. | Vision target based assembly |
| US4462046A (en) * | 1982-07-02 | 1984-07-24 | Amaf Industries Incorporated | Machine vision system utilizing programmable optical parallel processing |
| GB2123172B (en) * | 1982-07-06 | 1986-10-22 | Emi Ltd | A robot control system |
| US4611292A (en) * | 1982-10-06 | 1986-09-09 | Hitachi, Ltd. | Robot vision system |
| US4504970A (en) * | 1983-02-07 | 1985-03-12 | Pattern Processing Technologies, Inc. | Training controller for pattern processing system |
| JPS60200103A (ja) * | 1984-03-26 | 1985-10-09 | Hitachi Ltd | 光切断線抽出回路 |
| US4876728A (en) * | 1985-06-04 | 1989-10-24 | Adept Technology, Inc. | Vision system for distinguishing touching parts |
| EP0204516A3 (en) | 1985-06-04 | 1990-01-31 | Adept Technology, Inc. | Vision system for distinguishing touching parts |
| JPS6257884A (ja) | 1985-09-09 | 1987-03-13 | 株式会社東芝 | マニピユレ−タ装置 |
| FR2597636B1 (fr) * | 1986-04-18 | 1988-06-17 | Commissariat Energie Atomique | Procede de reconnaissance automatique d'objets susceptibles de se chevaucher |
| US4785528A (en) * | 1986-12-22 | 1988-11-22 | The Boeing Company | Robotic work positioning system |
| JPS63288683A (ja) * | 1987-05-21 | 1988-11-25 | 株式会社東芝 | 組立てロボット |
| US4909376A (en) * | 1987-10-06 | 1990-03-20 | Western Technologies Automation, Inc. | Robotically controlled component feed mechanism visually monitoring part orientation |
| JPH02110788A (ja) * | 1988-10-20 | 1990-04-23 | Niigata Eng Co Ltd | ３次元物体の形状認識方法 |
| US4985846A (en) * | 1989-05-11 | 1991-01-15 | Fallon Patrick J | Acoustical/optical bin picking system |
| JP2690603B2 (ja) * | 1990-05-30 | 1997-12-10 | ファナック株式会社 | 視覚センサのキャリブレーション方法 |
| JP2686351B2 (ja) * | 1990-07-19 | 1997-12-08 | ファナック株式会社 | 視覚センサのキャリブレーション方法 |
| JP2976589B2 (ja) | 1991-06-19 | 1999-11-10 | 日本電気株式会社 | 三次元物体の検出方法及び装置 |
| US5577130A (en) * | 1991-08-05 | 1996-11-19 | Philips Electronics North America | Method and apparatus for determining the distance between an image and an object |
| GB2261069B (en) * | 1991-10-30 | 1995-11-01 | Nippon Denso Co | High speed picking system for stacked parts |
| US5499306A (en) * | 1993-03-08 | 1996-03-12 | Nippondenso Co., Ltd. | Position-and-attitude recognition method and apparatus by use of image pickup means |
| US5621807A (en) * | 1993-06-21 | 1997-04-15 | Dornier Gmbh | Intelligent range image camera for object measurement |
| JPH07270137A (ja) | 1994-02-10 | 1995-10-20 | Fanuc Ltd | スポット光走査型３次元視覚センサ |
| JP3225740B2 (ja) | 1994-05-25 | 2001-11-05 | 株式会社デンソー | 山積み部品の高速ピッキング装置 |
| JP3224687B2 (ja) | 1994-05-25 | 2001-11-05 | 日本電信電話株式会社 | ３次元輪郭位置補正方法 |
| US5745387A (en) * | 1995-09-28 | 1998-04-28 | General Electric Company | Augmented reality maintenance system employing manipulator arm with archive and comparison device |
| DE69637413T2 (de) * | 1995-12-27 | 2009-01-22 | Fanuc Ltd. | Kompositdetektionssystem für roboter |
| US5790687A (en) * | 1996-06-18 | 1998-08-04 | Levi Strauss & Co. | Method and apparatus for the optical determination of the orientation of a garment workpiece |
| GB9803364D0 (en) * | 1998-02-18 | 1998-04-15 | Armstrong Healthcare Ltd | Improvements in or relating to a method of an apparatus for registering a robot |
| JPH11300670A (ja) * | 1998-04-21 | 1999-11-02 | Fanuc Ltd | 物品ピックアップ装置 |
| US6101455A (en) * | 1998-05-14 | 2000-08-08 | Davis; Michael S. | Automatic calibration of cameras and structured light sources |
| US6490369B1 (en) * | 1999-07-06 | 2002-12-03 | Fanuc Robotics North America | Method of viewing and identifying a part for a robot manipulator |
-
1999
- 1999-04-08 JP JP10189099A patent/JP3421608B2/ja not_active Expired - Fee Related
-
2000
- 2000-04-10 DE DE60039934T patent/DE60039934D1/de not_active Expired - Lifetime
- 2000-04-10 US US09/546,213 patent/US7200260B1/en not_active Expired - Fee Related
- 2000-04-10 EP EP00303007A patent/EP1043126B1/en not_active Expired - Lifetime
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100431806C (zh) * | 2001-09-07 | 2008-11-12 | 株式会社安川电机 | 晶片位置教示方法和教示用夹具 |
| US7706919B2 (en) | 2001-09-07 | 2010-04-27 | Kabushiki Kaisha Yaskawa Denki | Wafer position teaching method and teaching jig |
| EP1617380A1 (en) | 2004-07-15 | 2006-01-18 | Fanuc Ltd | Device for producing shape model |
| JP2010214546A (ja) * | 2009-03-17 | 2010-09-30 | Fuji Electric Holdings Co Ltd | 組立装置および組立方法 |
| JP2012101320A (ja) * | 2010-11-10 | 2012-05-31 | Canon Inc | 画像生成装置、画像生成方法、およびプログラム |
| US9118823B2 (en) | 2010-11-10 | 2015-08-25 | Canon Kabushiki Kaisha | Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image |
| JP2018092449A (ja) * | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、情報処理装置、情報処理方法、およびプログラム |
| WO2018105434A1 (ja) * | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、情報処理装置、情報処理方法、およびプログラム |
| CN110023993A (zh) * | 2016-12-05 | 2019-07-16 | 索尼互动娱乐股份有限公司 | 信息处理设备、信息处理方法和程序 |
| US10902629B2 (en) | 2016-12-05 | 2021-01-26 | Sony Interactive Entertainment Inc. | Information processing device, information processing method, and program |
| US11200695B2 (en) | 2016-12-05 | 2021-12-14 | Sony Interactive Entertainment Inc. | System, jig, information processing device, information processing method, and program |
| JP7051287B2 (ja) | 2016-12-05 | 2022-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、および情報処理方法 |
| JP2018144152A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3421608B2 (ja) | 2003-06-30 |
| EP1043126A2 (en) | 2000-10-11 |
| US7200260B1 (en) | 2007-04-03 |
| EP1043126A3 (en) | 2004-06-16 |
| DE60039934D1 (de) | 2008-10-02 |
| EP1043126B1 (en) | 2008-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3421608B2 (ja) | 教示モデル生成装置 | |
| JP3377465B2 (ja) | 画像処理装置 | |
| JP3300682B2 (ja) | 画像処理機能を持つロボット装置 | |
| JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
| EP2543482B1 (en) | Information processing apparatus and information processing method | |
| EP1555508B1 (en) | Measuring system | |
| EP1607194B1 (en) | Robot system comprising a plurality of robots provided with means for calibrating their relative position | |
| JP5743499B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| US9990685B2 (en) | Automated guidance system and method for a coordinated movement machine | |
| EP2682711B1 (en) | Apparatus and method for three-dimensional measurement and robot system comprising said apparatus | |
| JP2019113895A (ja) | ワークを撮像する視覚センサを備える撮像装置 | |
| JPH0435885A (ja) | 視覚センサのキャリブレーション方法 | |
| CN111801198A (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
| JPWO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| US20180161983A1 (en) | Control device, robot, and robot system | |
| US20190030722A1 (en) | Control device, robot system, and control method | |
| JP2008168372A (ja) | ロボット装置及び形状認識方法 | |
| US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
| Qiao | Advanced sensing development to support robot accuracy assessment and improvement | |
| JP7423387B2 (ja) | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 | |
| JP2005186193A (ja) | ロボットのキャリブレーション方法および三次元位置計測方法 | |
| Lu et al. | Robot calibration using relative measurements | |
| JPH07111324B2 (ja) | カメラの回転機構を利用したキヤリブレーション装置 | |
| JP2022162340A (ja) | ピッキング装置 | |
| CN117355397A (zh) | 基于由视觉传感器拍摄到的图像来计算三维位置的拍摄装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20001114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080418 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100418 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100418 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120418 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130418 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130418 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140418 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |