JP2000288974A - 画像処理機能を持つロボット装置 - Google Patents
画像処理機能を持つロボット装置Info
- Publication number
- JP2000288974A JP2000288974A JP11101891A JP10189199A JP2000288974A JP 2000288974 A JP2000288974 A JP 2000288974A JP 11101891 A JP11101891 A JP 11101891A JP 10189199 A JP10189199 A JP 10189199A JP 2000288974 A JP2000288974 A JP 2000288974A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- information
- teaching model
- orientation
- workpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 55
- 230000000007 visual effect Effects 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims description 41
- 238000013481 data capture Methods 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 13
- 238000012937 correction Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 13
- 238000013459 approach Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000000707 wrist Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37553—Two cameras one for coarse scanning, other for fine scanning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37567—3-D vision, stereo vision, with two cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39393—Camera detects projected image, compare with reference image, position end effector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45029—Mount and solder parts on board
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Numerical Control (AREA)
Abstract
ス)の個々の位置姿勢を検出し、適したロボット作業方
向、位置を得る。 【解決手段】 ワークピースを複数の方向から撮像した
2次元画像から教示モデルを生成して記憶する。ワーク
ピース対するカメラ相対位置姿勢、ワークピースに対し
てとるべき第2の視覚センサ相対位置姿勢を教示モデル
に対応して記憶する。カメラでワークピースの山を撮像
した画像とマッチング値の高い教示モデルを求める(2
02〜207)。求めた教示モデルのカメラ相対位置姿
勢と山撮像時のカメラの位置姿勢よりワークピースの3
次元位置姿勢を得る(208,209)。この位置姿勢
と第2の視覚センサ相対位置姿勢により第2視覚センサ
の計測位置姿勢を求め、その位置に移動させ第2の視覚
センサで計測する(210〜212)。計測結果に基づ
きワークピースをロボットでピッキングする(21
3)。
Description
対象物の位置姿勢を検出する画像処理機能を持つロボッ
ト装置に関する。特に、乱雑に山積みされた同一形状の
ワークピースに対し、個々のワークピースの位置姿勢を
検出しワークピースを1つ1つ取り出す作業のビンピッ
キング作業分野に適用される画像処理機能を持つロボッ
ト装置に関する。
された中から、又は、所定領域内に3次元的に異なる任
意の位置姿勢で収納されているワークピースの集合から
個々のワークピースを取出す作業は人手によって行われ
ている。ロボットを使用してワークピースを他パレット
等の他のものに収納したり、機械や装置等の所定位置に
搬送するような場合においても、乱雑に山積みされたワ
ークピースから1つ1つをロボットが直接ワークピース
を取り出すことができないことから、予めロボットで取
り出せるようにワークピースを整列させておく必要があ
る。そのため、山積みされたワークピースから人手によ
って1つ1つ取り出し整列配置する必要があった。
スが山積みの中から、又は多数のワークピースが所定領
域内に任意の位置姿勢で収納されている中から個々のワ
ークピースをロボットで取り出すことができない理由
は、山積みされたワークピースの位置姿勢を把握できな
いことから、ロボットを個々のワークピースを把持でき
る位置姿勢に制御することができないことに起因する。
くは所定領域内に3次元的に異なる任意の位置姿勢で収
納されている対象物(ワークピース)に対して、その位
置姿勢を正確に検出することができ、又作業方向、作業
位置を求めることができる画像処理機能を持つロボット
装置を得ることにある。
明は、基準対象物の画像データから複数の教示モデルを
作り、前記基準対象物と同一形状の対象物を含む画像デ
ータを第1のデータ取込みに手段により取込んで、前記
教示モデルと前記対象物を含む画像データとのマッチン
グを行い、該マッチングに基づきロボットにより前記対
象物に対する作業を行う画像処理機能を持つロボット装
置において、データ取込み手段により前記基準対象物の
画像データを複数の方向から捕らえ、捕らえた方向毎に
教示モデルを持ち、該教示モデルと前記方向の情報とを
対応付けて記憶する手段と、前記ロボットと前記対象物
との相対方向の情報を教示モデルと対応付けて記憶する
手段と、前記対象物を含む画像データに対し、前記複数
の教示モデルによってマッチングを行って、適合する教
示モデルを選択する手段と、前記画像データにおける前
記対象物の位置情報又は姿勢情報を得る手段と、前記位
置情報又は前記姿勢情報、及び前記選択した教示モデル
に対応付けられた方向の情報に基づいて、ロボットの作
業方向、又は作業方向及び作業位置を求める手段とを備
え、ロボット作業方向位置を求めることができるように
したものである。
機能を持つロボット装置において、複数種類の対象物と
それぞれの種類に対応した複数の基準対象物に対して、
該各基準対象物それぞれに教示モデルを作成し、作成し
た教示モデルと前記複数種類の対象物の種類情報とを対
応付けて記憶する手段と、前記ロボットと前記対象物と
の相対方向の情報と前記種類情報とを対応付けて記憶す
る手段と、前記複数種類の内の少なくとも1種類の対象
物を含む画像データに対し、前記複数の教示モデルによ
ってマッチングを行い、適合した対象物の視野内におけ
る位置情報又は姿勢情報を求める手段と、前記マッチン
グに使用した教示モデルと対応付けて記憶された種類情
報を求める手段と、前記種類情報に対応付けて記憶され
た前記相対方向の情報を求める手段と、前記視野内にお
ける位置情報又は姿勢情報、前記求めた種類情報、及び
前記求めた相対方向の情報に基づいてロボットの作業方
向、又は作業方向及び作業位置を求める手段とを備え、
種類の異なる対象物を判別し作業を行うことができるよ
うにしたものである。
られたロボットの作業方向、又は作業方向及び作業位置
に基づいて、第2のデータ取込み手段を前記対象物に対
して前記作業方向に向ける、又は前記対象物に対する前
記作業位置にて前記作業方向に向ける手段と、第2のデ
ータ取込み手段により第2の画像データを取り込み画像
処理し、画像視野内における前記対象物の位置情報又は
姿勢情報を得る手段とを備え、より正確に対象物の位置
姿勢情報を得て、作業方向、位置を得るようにしたもの
である。
ットの作業方向、又は作業方向と作業位置に基づいて、
前記対象物の特徴部位の3次元位置を取得する第2のデ
ータ取込み手段を前記対象物上の少なくとも1つの特徴
部位に向ける手段と、前記第2のデータ取込み手段によ
り前記少なくとも1つの特徴部位の3次元位置を取得
し、該取得した3次元位置から、前記対象物の3次元位
置又は方向を求める手段とを備え屡ものである。
込み手段を第1のデータ取込み手段と共通としたもので
ある。さらに、請求項6に係わる発明は、第2のデータ
取込み手段を、対象物との距離を測定できるスポット光
走査型3次元視覚センサとし、請求項7に係わる発明
は、第2のデータ取込み手段がカメラであり、特徴部位
の3次元位置を検出するためのストラクチャライトを対
象物に照射する手段を備え屡ものとした。
理機能を備えるロボット装置によって、重なり合った箇
所のある複数の対象物から、対象物を少なくとも1つ取
出すピッキング作業を行うピッキングロボットを構成し
たものである。
る。本実施形態では、図1に示すように、認識対象物で
ある同一形状のワークピースWが多数山積みされている
状態で、この山をロボット手首先端に取り付けられたC
CDカメラ等の画像データを取込むデータ取込み手段で
ある2次元視覚センサ21にて撮像し、撮像された画像
に基づいて、ロボットの作業方向、若しくは作業方向及
び作業位置ヲも止めるようにしたものである。さらに
は、この2次元視覚センサ21にて撮像した画像データ
に基づいて個々のワークピースWの大まかな位置姿勢を
検出し、作業方向を決めて2次元視覚センサ若しくは3
次元視覚センサ22でワークピースの位置姿勢を正確に
検出するものである。そのために、予め取り出そうとす
るワークピースWに対して、カメラで複数の方向から撮
像し、この撮像で得られた2次元画像から教示モデルを
生成して記憶しておき、ワークピースWの山を撮像しそ
の画像に対して教示モデルとマッチング処理を行い、適
合した教示モデルに基づいて各ワークピースの位置姿勢
を求めるようにしたものである。
の制御装置の要部ブロック図であり、従来のロボット制
御装置と同一構成である。符号8で示されるバスに、メ
インプロセッサ(以下単にプロセッサという。)1、R
AM、ROM、不揮発性メモリ(EEPROMなど)か
らなるメモリ2、教示操作盤用インターフェイス3,外
部装置用のインターフェイス6、画像処理装置との通信
インターフェイス7及びサーボ制御部5が接続されてい
る。又、教示操作盤用インターフェイス3には教示操作
盤4が接続されている。
をささえるシステムプログラムは、メモリ2のROMに
格納されている。又、アプリケーションに応じて教示さ
れるロボットの動作プログラム並びに関連設定データ
は、メモリ2の不揮発性メモリに格納される。そして、
メモリ2のRAMは、プロセッサ1が行う各種演算処理
におけるデータの一時記憶の記憶領域として使用され
る。
an(n:ロボットの総軸数にロボット手首に取り付ける
ツールの可動軸数を加算した数)を備えており、プロセ
ッサ、ROM、RAM等で構成され、各軸を駆動するサ
ーボモータの位置・速度のループ制御、さらには電流ル
ープ制御を行っている。いわゆる、ソフトウエアで位
置、速度、電流のループ制御を行うデジタルサーボ制御
器を構成している。サーボ制御器5a1〜5anの出力は各
サーボアンプ5b1〜5bnを介して各軸サーボモータM1
〜Mnを駆動制御する。なお、図示はしていないが、各
サーボモータM1〜Mnには位置・速度検出器が取り付
けられており、該位置・速度検出器で検出した各サーボ
モータの位置、速度は各サーボ制御器5a1〜5anにフィ
ードバックされるようになっている。又、入出力インタ
ーフェイス6には、ロボットに設けられたセンサや周辺
機器のアクチュエータやセンサが接続されている。
イスに接続される画像処理装置30のブロック図であ
る。プロセッサ31を備え、該プロセッサ31にはバス
42を介してこのプロセッサ31が実行するシステムプ
ログラム等を記憶するROM32、画像処理プロセッサ
33、第1のデータ取り込み手段としての第1の視覚セ
ンサのCCDカメラ21に接続されたカメラインターフ
ェイス34、第2のデータ取り込み手段としての第2の
視覚センサである3次元視覚センサ22に接続された3
次元センサインターフェイス35、各種指令やデータを
入出力するためのCRTや液晶等の表示手段付MDI3
6、フレームメモリ37、不揮発性メモリ38,データ
の一時記憶等に利用されるRAM39、ロボット制御装
置に接続された通信インターフェイス40、コンソール
43が接続されるコンソールインターフェイス41が接
続されている。CCDカメラ21で撮像された画像は、
グレイスケールによる濃淡画像に変換されてフレームメ
モリ37に格納される。画像処理プロセッサ33は、フ
レームメモリ37に格納された画像をプロセッサ31の
指令により画像処理して対象物を認識する。この画像処
理装置30の構成、作用は従来の画像処理装置と同一で
あり差異はないが、本発明に関連し、不揮発性メモリ3
8に後述する教示モデルが記憶されること、及びこの教
示モデルを用いてカメラ21で撮像したワークピースの
山の画像に対してパターンマッチング処理を行い、ワー
クピースの位置姿勢を求め、ロボットの作業方向、さら
には作業方向と位置を求めるようにした点。さらに、こ
の求められたワークピースの位置姿勢に基づいて3次元
視覚センサ22で位置姿勢を測定するアプローチ方向を
定め、該3次元視覚センサ22でワークピースの位置姿
勢を精度よく検出する点が相違する。
に周知慣用であるので、具体的な説明は省略する。ま
た、3次元位置を検出する3次元視覚センサ22として
は、ストラクチャライト(スリット光)を対象物に照射
して対象物の3次元位置姿勢、形状を検出するものが公
知であり、すでに各種分野で使用されており、本願発明
においても3次元視覚センサ22として、このタイプの
センサを使用してもよい。さらに、特開平7−2701
37号公報に記載されたスポット光走査型3次元視覚セ
ンサを用いてもよい。簡単にこの3次元視覚センサにつ
いて述べる。
て任意の方向(X方向、Y方向)にスポット状の光を照
射して対象物上に照射された光ビームを、位置検出型の
検出器(PSD)で測定することによって光ビームの位
置を計測するものである。2台のスキャナのミラーの偏
向角度θx、θyとPSD上の受光位置からビームが照射
された対象物の3次元位置から計算して求められるもの
である。
タとして、距離データを要素とする2次元配列データを
得る方法について、図8から図10を参照しながら簡単
に説明する。
め決められており、スキャナのミラーの偏向角度θx、
θyをディスクリートに制御して、図8に示すように、
この走査範囲のX、Y平面における点(1,1)から点
(1,n)、点(2,1)から点(2,n)、・・・点
(m,1)から点(m,n)と走査して各点における3
次元位置を測定し、各点(i、j)におけるこのセンサ
とビームが照射された点の対象物間の距離Z(i、j)
を求め、画像処理装置30のRAM38に格納する。こ
うして、画像データを、図9に示すようなセンサと対象
物に照射されたビームの点間の距離データZ(i、j)
を要素とする2次元配列データとして得る。
像処理装置30のプロセッサ31が実行する処理のフロ
ーチャートである。まず、指標i、jを「1」にセット
し(ステップ300)、予め決められた計測範囲の始点
y1,x1(図8における点(1,1))に対応するミ
ラーの偏向角度θx、θyをセンサ20に送出し照射指令
を出力する(ステップ301〜303)、センサ20
は、ミラーをこの偏向角度に設定し、光ビームを照射す
る。そしてPSDで得られた信号を画像処理装置30に
出力する。画像処理装置30のプロセッサ31は、この
PSDからの信号と指令したミラーの偏向角度θx、θy
より、対象物に照射されたビームの位置を計算し、この
センサとこのビームが照射された位置との距離Z(i、
j)を計算し、この値をRAM28に2次元配列データ
[i、j]として格納する(ステップ304,30
5)。なお、対象物に照射されたビームの位置を計算し
及び距離Z(i、j)の計算をセンサ20側で行うよう
にしてもよい。
軸方向走査のミラーの偏差角度θxを設定所定量Δxだ
け増加させ(ステップ306,307)、指標iが設定
値nを越えたか判断し(ステップ308)、越えてなけ
ればステップ303に戻り、該ステップ303からステ
ップ308の処理を行い次の点の距離Z(i、j)を求
める。以下、指標iが設定値nを越えるまでステップ3
03〜ステップ308の処理を実行し、図8における点
(1,1)から点(1,n)までの各点における距離Z
(i、j)を求めて記憶する。
たことが判別されると、指標iを「1」にセットしかつ
指標jを「1」インクリメントして、Y軸方向走査のミ
ラーの偏差角度θyを設定所定量Δyだけ増加させる
(ステップ309〜311)。そして、指標jが設定値
mを越えたか判断し(ステップ312)、越えてなけれ
ばステップ302に戻り前述したステップ302以下の
処理を実行する。
るまでステップ302〜312の処理を繰り返し実行す
る。指標jが設定値mを越えると、図8に示す計測範囲
(走範囲)を全て計測したことになり、RAM28に
は、2次元配列データである距離データZ(1、1)〜
Z(m、n)が記憶され、画像データ取得処理は終了す
る。
サによる画像データとしての2次元配列データを得る処
理である。こうして得られた2次元配列データを画像デ
ータとして用い、教示モデルの作成及び対象物の位置、
姿勢(方向)を検出する。
いて説明する。図5は、本発明を構成するロボット制御
装置10、画像処理装置30による教示モデルの教示の
動作処理を示すフローである。ロボット制御装置10の
教示操作盤4から予め、教示モデルのために所定位置に
所定姿勢で配置された基準となる1つのワークピースW
に対して、ロボット手首先端に取り付けられた第1のデ
ータ取込み手段としてのCCDカメラ21で撮像する最
初(第0番目)の位置、方向(姿勢)と、次以降に撮像
する位置、方向(姿勢)を特定するため該最初の位置姿
勢からカメラを回転させる回転軸と回転角を設定し、か
つ、その撮像位置、方向(姿勢)の数Nをも設定する。
例えば、図2に示すようにワークピースWに対して4方
向から撮像しこの4つの2次元画像を教示モデルとす
る。図2(a)に示す第0番目の撮像位置、方向(姿
勢)では、ワークピースWを真上のワールド座標系Z軸
方向から撮像した2次元画像の教示モデルである。次の
撮像位置、方向(姿勢)は、このカメラ位置において、
ワークピースの配置位置を通りCCDカメラ20の光軸
方向に対して垂直方向の軸周りに回転させる回転角を設
定する。最初(第0番目)の位置、方向(姿勢)でワー
ルド座標系のZ軸とCCDカメラ21の光軸を平行とし
た場合には、ワールド座標系のX軸、Y軸は垂直である
から、このうちどちらかの軸周りにワークピース位置
(ワークピースに対して設定されているワーク座標系の
原点)を中心に回転させる。図2(b)に示す例では、
ワールド座標系X軸まわりに30度回転するものとして
設定し、そのとき撮像して得られる2次元画像から教示
モデルを生成するものである。同様に、図2(c)、
(d)は、ワークピースの配置位置を通りワールド座標
系のX軸と平行な軸周りにカメラ21をそれぞれ60
度、90度回転させたときの2次元画像から教示モデル
を生成するものである。上述したように、カメラ21の
位置が変わらず、その方向(姿勢)のみを変えて教示モ
デルを生成するものである場合は、教示モデルに対して
記憶する情報はカメラの方向(姿勢)のみでよい。
例に取り説明する。なお、この例では、0度、30度、
60度、90度の4つの教示モデルとしたが、この回転
角の刻みを小さくし、さらに多くの教示モデルを得るよ
うにしておけば、さらに精度のよいワークピースの位置
姿勢を検出することができる。
付けたCCDカメラ21で最初(第0番目)に撮像する
ロボットの位置姿勢と回転中心軸となる軸及び回転角を
教示し、かつその数Nを設定する。説明をわかりやすく
するために、所定位置に所定姿勢で配置されたワークピ
ースWに対し、CCDカメラ21の光軸がワールド座標
系のZ軸と平行で、ワークピースWのワールド座標系上
のX、Y軸座標値と同一でZ軸のみが異なる位置を第0
番目の教示モデル撮像位置として教示し、さらに、ワー
クピースWの配置位置を通り、ワールド座標系X軸と平
行な軸周りに30度、60度、90度回転させた位置を
第1,第2、第3の撮像位置として設定する。又撮像位
置の数Nを「4」と設定する。
4から入力すると、ロボット制御装置10のプロセッサ
1は、撮像回数を係数するカウンタMを「0」にセット
し(ステップ100)、ロボットを稼働し第M(=0)
番目の位置姿勢に移動させ、画像処理装置30へカメラ
での撮像指令を出力する(ステップ101)。画像処理
装置30では、この指令を受けてCCDカメラ21でワ
ークピースを撮像し、その2次元画像をフレームメモリ
36に格納するが、さらに、この2次元画像からM番目
の教示モデルを生成して不揮発性メモリ37に格納する
(ステップ102)。さらに、CCDカメラ20とワー
クピースとの相対位置、方向(姿勢)を求めM番目の教
示モデルの相対位置、方向(姿勢)(なお、この相対位
置姿勢を以下第1センサ相対位置姿勢という)として
(なお、この相対位置姿勢を以下第1センサ相対位置姿
勢という)、不揮発性メモリ37に記憶する(ステップ
103)。すなわち、撮像を行ったときのワールド座標
系上のCCDカメラ21の位置姿勢とワークピースWが
配置されたワールド座標系の位置姿勢より、CCDカメ
ラ21に設けられたカメラ座標系でのワークピースの位
置姿勢に変換し、これをカメラとワークピースとの相対
位置姿勢(第1センサ相対位置姿勢)として記憶する。
例えば、カメラ座標系の位置姿勢として[x0,y0,z
0,α0,β0,γ0]c として記憶される。なおα、β、
γはそれぞれx、y、z軸周りの回転角を意味する。
又、かっこの末尾に付した「c」はカメラ座標系を意味
する。又上述したように、カメラの位置が変わらなけれ
ば、第1センサ相対位置姿勢として、位置は固定のもの
とし、方向(姿勢)[α0,β0,γ0]c のみを教示モ
デルに対応させて記憶する。
見たロボットのとるべき相対位置姿勢(ツールセンタポ
イントの位置姿勢)、若しくは、第2の視覚センサであ
る3次元視覚センサ22のとるべき相対位置姿勢を第M
番目の教示モデルの相対位置姿勢(以下この相対位置姿
勢をワーク−ロボット(第2センサ)相対位置姿勢とい
う)として記憶する。そして、データ取得信号をロボッ
ト制御装置に送る(ステップ104)。このワーク−ロ
ボット(第2センサ)相対位置姿勢は、ロボットか次に
作業するための作業方向を決めるもので、対象物をより
明確に捕らえることができる方向、位置、又は、対象物
の特徴部位の3次元位置をこの3次元視覚センサ22で
取得できる方向、位置とするものである。
位置姿勢は、ワークピース上にワーク座標系を設定し、
このワーク座標系上でのツールセンタポイント又は3次
元視覚センサ22の位置姿勢であり、この位置姿勢を設
定するものである。なお、移行の説明では、3次元視覚
センサ22の位置姿勢が記憶されているものとして、説
明する。この3次元視覚センサ22でワークピースWの
位置姿勢を計測する際に、3次元視覚センサ22がワー
クピースに対する位置姿勢を規定するものであり、計測
時のアプローチベクトルを示すものとなる。このワーク
−ロボット(第2センサ)相対位置姿勢は、教示モデル
によらず、全て同一の位置姿勢であってもよい。又、方
向(姿勢)のみであってもよい。さらには、ステップ1
03で求めた情報を反映させるように、例えば、予め用
意した数パターンの中から決定するようにしてもよい。
このワーク−ロボット(第2センサ)相対位置姿勢も3
個の平行移動成分(X、Y、Z)wpと3個の回転成分
(α、β、γ)wpで構成される(「wp」はワーク座標系
を意味する)。なお、後述するように、この実施形態で
は、全ての教示モデルに対して共通のワーク−ロボット
(第2センサ)相対位置姿勢を設定するようにしてい
る。なお、ステップ103,104で記憶する情報は1
まとめにしてCCDカメラ21の位置から見た第2の視
覚センサ22の相対位置姿勢情報としてもよい。
ト制御装置10のプロセッサ1は、カウンタMを「1」
インクリメントし(ステップ105)、該カウンタMの
値が設定値N(=4)より小さいか判断し(ステップ1
06)、小さければ、ステップ101に戻り第M番目の
撮像位置、方向(姿勢)にロボットを移動させる。以
下、ステップ101以下の処理をカウンタMの値が設定
値Nになるまで繰り返し実行する。
38に記憶されると共に、それぞれの第1の視覚センサ
のCCDカメラ21とワークピースWとの相対位置姿勢
である第1センサ相対位置姿勢が不揮発性メモリ38に
記憶されると共に、第2視覚センサ22(若しくはロボ
ット)のとるべき位置姿勢としてワーク−ロボット(第
2センサ)相対位置姿勢が不揮発性メモリに38に記憶
されることになる。
の例で、第1センサ相対位置姿勢、ワーク−ロボット
(第2センサ)相対位置姿勢の例を示す図表である。第
1センサ相対位置姿勢は、CCDカメラ21に設定され
たカメラ座標系(X、Y、Z、α、β、γ)c でのワー
クピースWの位置姿勢として表されており、ワークピー
スWの位置、すなわち教示モデル0〜3の位置は、全て
共通でX=10.50、Y=−20.80、Z=50.
50の位置に配置され、X軸周りに教示モデル0はα=
0度、教示モデル1はα=30度、教示モデル2はα=
60度、教示モデル3はα=90度回転したものであ
る。なお、CCDカメラ21をワーク座標系の原点を中
心にワールド座標系のX軸周りに回転させたものである
が、このワールド座標系のX軸とカメラ座標系のX軸を
平行に設定していることから、カメラ座標系の回転角α
のみ変化している。
位置姿勢は、ワークピースに設定されたワーク座標系
(X、Y、Z、α、β、γ)wpでの第2の視覚センサ2
2の位置姿勢として表され、ワークピースWから見て常
に一定の方向位置としたアプローチベクトル(30.
5、20.5、60.9、0.0、0.0、0.0)wp
が設定されている。
揮発性メモリ37には教示モデルとカメラ21とワーク
ピースWとの相対位置が記憶される。なお、上述した実
施形態では、ロボットを使用して教示モデルを教示記憶
させたが、ロボットを使用せず、例えば手動操作で教示
記憶させるようにしてもよい。この場合は、対象物3次
元位置姿勢検出装置30に接続されているカメラの視野
内に基準となるワークピースを配置し、このワークピー
スの姿勢を変え、カメラで撮像しその2次画像を教示モ
デルとし、そのときのカメラとワークピースの相対位置
姿勢を手動で入力して教示モデルに対応させて記憶させ
るようにすればよい。
れている画像処理装置30を用いて、3次元で位置姿勢
の異なる対象物のワークピースの3次元位置姿勢を検出
する方法の例として、教示モデルの基準のワークピース
と同一形状のワークピースが山積みされた山からロボッ
トによって個々のワークピースを取り出すピッキング作
業について説明する。
ピッキング作業の動作処理フローである。ロボット制御
装置10に教示操作盤等からピッキング指令が入力され
ると、プロセッサ1は、まず、教示されているロボット
先端手首に取り付けられている第1の視覚センサのCC
Dカメラ21を山積みされたワークピースが該CCDカ
メラ21の視野に入る撮像位置へロボットを移動させ、
該CCDカメラ21のワールド座標系上の3次元位置姿
勢を画像処理装置30へ出力すると共に撮像指令を出力
する(ステップ200、201)。画像処理装置30の
プロセッサ31は、撮像指令を受信し、ワークピースの
山を撮像し幾つかのワークピースの2次元画像を得てフ
レームメモリ37に記憶する(ステップ202)。
次元画像に対して不揮発性メモリ38に設定記憶されて
いる教示モデルの1つ(第0番目の教示モデル)を使用
してパターンマッチング処理を行いワークピースの検出
を行う(ステップ203)。このパターンマッチング処
理では、ワークピースの画像内の位置、回転及びスケー
ルの変化を検出するマッチング処理を行う。そして、マ
ッチング値が設定基準値以上のものが検出されたか判断
し(ステップ204)、基準値以上のものが検出されな
ければ、全教示モデル(第0〜第3番目の教示モデル)
に対してパターンマッチング処理を行ったか判断し(ス
テップ205)、行っていなければ、他の教示モデルに
よりパターンマッチングの処理を行う(ステップ20
6)。
教示モデルに対してマッチング値が設定基準値以上のワ
ークピースの2次元画像が検出されると、この検出した
ワークピースの2次元画像に対して他の教示モデルで全
てマッチング処理を行う。すなわち、検出されたワーク
ピースの2次元画像に対して、設定記憶されている教示
モデルの全てとパターンマッチング処理を行う(ステッ
プ207)。このパターンマッチング処理によって得ら
れたマッチング値が一番高い教示モデルを選択し、この
選択教示モデルに対応して記憶する第1センサ相対位置
姿勢と、選択した教示モデルに対するマッチング処理で
の2次元画像内の位置、回転及びスケールの変化量とに
より最終的なCCDカメラ21とワークピースWとの相
対位置姿勢である第1センサ相対位置姿勢データを得
る。又、選択した教示モデルに対するワーク−ロボット
(第2センサ)相対位置姿勢のデータ(アプローチベク
トル)、すなわち、ワークピースから見て第2視覚セン
サの3次元センサがとるべき位置姿勢を不揮発性メモリ
37から読み取る(ステップ208)。
のを選択したが、0度の教示モデルを優先的に選択した
り、スケールの拡大率の高いもの(即ち、カメラに近い
ものであり、山積みの最上部にあるもの)を優先的に選
択することができる。
きたCCDカメラ21のワールド座標系における位置姿
勢と最終的な第1センサ相対位置姿勢データ(ワークピ
ースとCCDカメラ21の相対位置姿勢データ)からワ
ークピースのワールド座標系上の位置姿勢を求める。す
なわち、ワークピースWとCCDカメラ21の相対位置
姿勢は、カメラ座標系からみたワークピースWの位置姿
勢であるから、この位置姿勢のデータと、CCDカメラ
21のワールド座標系における位置姿勢のデータにより
座標変換の演算を行うことによりワールド座標系上の検
出ワークピースWの位置姿勢が求められる(ステップ2
09)。
ールド座標系上の位置姿勢と、ワーク−ロボット(第2
センサ)相対位置姿勢のデータ(アプローチベクトル)
の第2視覚センサのワーク座標系における位置姿勢のデ
ータ(アプローチベクトル)よりワールド座標系におけ
る第2視覚センサのとるべき位置姿勢を求め出力する
(ステップ210)。ロボット制御装置10のプロセッ
サ1は、ロボットを動作させ、この求めた第2視覚セン
サがとるべき位置姿勢へ移動させる。その後、第2視覚
センサ22への計測指令を出力する(ステップ21
1)。
3次元センサ22は、ワークピースの位置姿勢を計測す
る。この第2視覚センサ22は対象ワークピースWに対
してとるべき位置姿勢、すなわち設定されているアプロ
ーチベクトルの位置姿勢にあるから、対象ワークピース
Wの位置姿勢を正確に計測することができる。この計測
結果を画像処理装置30のプロセッサ31はロボット制
御装置10に出力する(ステップ212)。
させ従来と同様にこの検出ワークピースをピッキングし
て教示された所定の位置に移動される(ステップ21
3)。そして、ステップ202に戻り、ステップ202
以下の処理を繰り返し実行する。全てのワークピースが
ワークピースの山からピッキングされなくなると、ステ
ップ203〜206の処理で、全ての教示モデルに対し
てパターンマッチング処理をしても設定基準値以上のマ
ッチング値を得ることができないから、このピッキング
作業は終了する。
1の視覚センサのCCDカメラ21の視野に入らないよ
うな場合や、カメラの向きを変更して他のワークピース
の影に入ったワークピースを撮像する必要がある場合に
は、ステップ205で「Yes」と判断された時、ステ
ップ200に戻り、予め教示していた次の位置姿勢に移
動するようにしてもよい。そして、設定教示されている
第1視覚センサによる撮像位置姿勢の全てにおいて撮像
し、ステップ205で全教示モデルでのマッチングを行
ってもマッチング値が基準値に達しない場合にこのピッ
キング作業を終了する。
スの位置姿勢を正確に検出するために第2の視覚センサ
として、レーザセンサのような3次元センサ22を用い
たが、この3次元センサの代わりに2次元センサを用い
てもよい。又、この第2の視覚センサを2次元センサと
した場合には、第1の視覚センサのとは別に第2の視覚
センサを設けてもよいが、第1の視覚センサがこの第2
の視覚センサを兼ねるようにしてもよい。
1の視覚センサで個々のワークピースの位置姿勢を検出
し、この検出ワークピースに対して、第2の視覚センサ
で予め決められた位置姿勢(アプローチベクトル)で位
置姿勢の計測を行うことから、第2の視覚センサで計測
する場合には、対象物のワークピースに対して間近な位
置で計測してその計測精度を向上させるものであるか
ら、第1の視覚センサが第2の視覚センサを兼ねたとし
ても、この視覚センサの例えばCCDカメラで対象物の
ワークピースの間近で撮像し、マッチング処理を行えば
ワークピースの位置姿勢は正確に検出できることにな
る。
に広角レンズを取り付けて撮像する場合において、例え
ば、0度の向きのワークピースが画像視野の角にある場
合には、視差の影響で30度傾いていると判断する恐れ
がある。この場合には、画像内のワークピースの位置に
応じてロボット手先に取り付けたカメラを平行移動し
て、該ワークピースの真上に位置させ視差の影響をなく
し、その位置を図6のステップ200の位置とすること
により誤判断を防ぐこともできる。
センサを、ロボット手首先端に取り付けるとしたが、こ
れを上方に固定した固定カメラとすることもできる。こ
うすると、カメラ距離を長く取ることができ、視差の影
響を防ぐことができる。又、第1の視覚センサで撮像す
るために、ロボットを動かす必要のないので、サイクル
タイムを短縮できる。
物を扱う例を示したが、これを複数種類の対象を扱える
ようにすることもできる。この場合、種類Aの対象物の
教示モデルをMa個、種類Bの対象物の教示モデルをM
b個用意し、(Ma+Mb)個の教示モデルとのマッチ
ングを行って適合する教示モデルを選択し、ロボットの
作業方向、又は作業方向及び作業位置に加えて、種類情
報も求めるようにすればよい。こうすれば、複数種類の
対象物を予め分別することなく、混在して扱えるので、
省コスト効果がある。
み手段でおられた画像データから、対象物の大まかの位
置姿勢を求め、この求めた対象物に対して、第2のデー
タ取り込み手段で再度対しよう物の位置姿勢を正確に検
出しロボットの作業方向、位置を決定するようにした
が、第2のデータ取込み手段を設けずに、第1のデータ
取込み手段のみでロボットの作業方向、位置を求めるよ
うにしてもよい。この場合、ワーク−ロボット(第2セ
ンサ)相対位置姿勢として、ワークピースから見たロボ
ットのとるべき相対位置姿勢(ツールセンタポイントの
位置姿勢)が記憶されることになる。
ースが乱雑に山積みされていても、又、所定領域内に同
一形状のワークピースが少なくとも1以上3次元的に異
なる任意の位置姿勢で収納されていても、さらには、種
類の異なる対象物が混在していても、対象となる各ワー
クピースの位置姿勢を検出し、この検出ワークピースに
対して、ロボットがこの対象物に対して作業を行う方
向、位置を求めることができる。さらには、第2のデー
タ取込み手段で予め決められた位置姿勢(アプローチベ
クトル)で位置姿勢の計測を行うことから正確に対象ワ
ークピースの位置姿勢を検出できる。そのため、ワーク
ピースの山や集合から個々のワークピースをロボットで
自動的にピッキングすることが可能になる。
ある。
ある。
ロック図である。
ク図である。
処理フローである。
フローである。
例で、第1の視覚センサから見たワークピースの相対位
置姿勢、ワークピースから見た第2の視覚センサの相対
位置姿勢の例を示す図表である。
の動作説明図である。
しての距離データを要素とする2次元配列データの説明
図である。
得処理のフローチャートである。
0)
明は、基準対象物の画像データから教示モデルを作り、
前記基準対象物と同一形状の対象物を含む画像データを
第1のデータ取込みに手段により取込んで、前記教示モ
デルと前記対象物を含む画像データとのマッチングを行
い、該マッチングの結果に基づきロボットが前記対象物
に対する作業を行う画像処理機能を持つロボット装置に
おいて、データ取込み手段により前記基準対象物を複数
の方向から捕らえて得たそれぞれの画像データから、捕
らえた方向毎に教示モデルを作り、該教示モデルと前記
方向の情報とを対応付けて記憶する手段と、前記ロボッ
トと前記対象物との相対方向の情報を教示モデルと対応
付けて記憶する手段と、前記対象物を含む画像データに
対し、前記複数の教示モデルによってマッチングを行っ
て、適合する教示モデルを選択する手段と、前記画像デ
ータにおける前記対象物の位置情報又は姿勢情報を得る
手段と、前記位置情報又は前記姿勢情報と、前記教示モ
デルと対応付けて記憶された前記基準対象物を捕らえた
方向、及び前記教示モデルと対応付けて記憶された、前
記ロボットと前記対象物との相対方向の情報に基づい
て、ロボットの作業方向、又は作業方向及び作業位置を
求める手段とを備え、ロボット作業方向位置を求めるこ
とができるようにしたものである。
機能を持つロボット装置において、複数種類の対象物と
それぞれの種類に対応した複数の基準対象物に対して、
該各基準対象物それぞれに教示モデルを作成し、作成し
た教示モデルと前記複数種類の対象物の種類情報とを対
応付けて記憶する手段と、前記ロボットと前記対象物と
の相対方向の情報と前記種類情報とを対応付けて記憶す
る手段と、前記複数種類の内の少なくとも1種類の対象
物を含む画像データに対し、前記複数の教示モデルによ
ってマッチングを行い、適合する教示モデルを選択する
手段と、前記対象物を含む画像データにおける前記対象
物の位置情報又は姿勢情報を求める手段と、前記マッチ
ングに使用した教示モデルと対応付けて記憶された種類
情報を求める手段と、前記種類情報に対応付けて記憶さ
れた前記相対方向の情報を求める手段と、前記位置情報
又は前記姿勢情報、前記求めた種類情報、及び前記求め
た相対方向の情報に基づいてロボットの作業方向、又は
作業方向及び作業位置を求める手段とを備え、種類の異
なる対象物を判別し作業を行うことができるようにした
ものである。
る。本実施形態では、図1に示すように、認識対象物で
ある同一形状のワークピースWが多数山積みされている
状態で、この山をロボット手首先端に取り付けられたC
CDカメラ等の画像データを取込むデータ取込み手段で
ある2次元視覚センサ21にて撮像し、撮像された画像
に基づいて、ロボットの作業方向、若しくは作業方向及
び作業位置を求めるようにしたものである。さらには、
この2次元視覚センサ21にて撮像した画像データに基
づいて個々のワークピースWの大まかな位置姿勢を検出
し、作業方向を決めて2次元視覚センサ若しくは3次元
視覚センサ22でワークピースの位置姿勢を正確に検出
するものである。そのために、予め取り出そうとするワ
ークピースWに対して、カメラで複数の方向から撮像
し、この撮像で得られた2次元画像から教示モデルを生
成して記憶しておき、ワークピースWの山を撮像しその
画像に対して教示モデルとマッチング処理を行い、適合
した教示モデルに基づいて各ワークピースの位置姿勢を
求めるようにしたものである。
4から入力すると、ロボット制御装置10のプロセッサ
1は、撮像回数を係数するカウンタMを「0」にセット
し(ステップ100)、ロボットを稼働し第M(=0)
番目の位置姿勢に移動させ、画像処理装置30へカメラ
での撮像指令を出力する(ステップ101)。画像処理
装置30では、この指令を受けてCCDカメラ21でワ
ークピースを撮像し、その2次元画像をフレームメモリ
36に格納するが、さらに、この2次元画像からM番目
の教示モデルを生成して不揮発性メモリ37に格納する
(ステップ102)。さらに、CCDカメラ20とワー
クピースとの相対位置、方向(姿勢)を求めM番目の教
示モデルの相対位置、方向(姿勢)(なお、この相対位
置姿勢を以下第1センサ相対位置姿勢という)として、
不揮発性メモリ37に記憶する(ステップ103)。す
なわち、撮像を行ったときのワールド座標系上のCCD
カメラ21の位置姿勢とワークピースWが配置されたワ
ールド座標系の位置姿勢より、CCDカメラ21に設け
られたカメラ座標系でのワークピースの位置姿勢に変換
し、これをカメラとワークピースとの相対位置姿勢(第
1センサ相対位置姿勢)として記憶する。例えば、カメ
ラ座標系の位置姿勢として[x0,y0,z0,α0,β
0,γ0]c として記憶される。なおα、β、γはそれぞ
れx、y、z軸周りの回転角を意味する。又、かっこの
末尾に付した「c」はカメラ座標系を意味する。又上述
したように、カメラの位置が変わらなければ、第1セン
サ相対位置姿勢として、位置は固定のものとし、方向
(姿勢)[α0,β0,γ0]c のみを教示モデルに対応
させて記憶する。
見たロボットのとるべき相対位置姿勢(ツールセンタポ
イントの位置姿勢)、若しくは、第2の視覚センサであ
る3次元視覚センサ22のとるべき相対位置姿勢を第M
番目の教示モデルの相対位置姿勢(以下この相対位置姿
勢をワーク−ロボット(第2センサ)相対位置姿勢とい
う)として記憶する。そして、データ取得信号をロボッ
ト制御装置に送る(ステップ104)。このワーク−ロ
ボット(第2センサ)相対位置姿勢は、ロボットが次に
作業するための作業方向を決めるもので、対象物をより
明確に捕らえることができる方向、位置、又は、対象物
の特徴部位の3次元位置をこの3次元視覚センサ22で
取得できる方向、位置とするものである。
位置姿勢は、ワークピース上にワーク座標系を設定し、
このワーク座標系上でのツールセンタポイント又は3次
元視覚センサ22の位置姿勢であり、この位置姿勢を設
定するものである。なお、以降の説明では、3次元視覚
センサ22の位置姿勢が記憶されているものとして、説
明する。この3次元視覚センサ22でワークピースWの
位置姿勢を計測する際に、3次元視覚センサ22がワー
クピースに対する位置姿勢を規定するものであり、計測
時のアプローチベクトルを示すものとなる。このワーク
−ロボット(第2センサ)相対位置姿勢は、教示モデル
によらず、全て同一の位置姿勢であってもよい。又、方
向(姿勢)のみであってもよい。さらには、ステップ1
03で求めた情報を反映させるように、例えば、予め用
意した数パターンの中から決定するようにしてもよい。
このワーク−ロボット(第2センサ)相対位置姿勢も3
個の平行移動成分(X、Y、Z)wpと3個の回転成分
(α、β、γ)wpで構成される(「wp」はワーク座標系
を意味する)。なお、後述するように、この実施形態で
は、全ての教示モデルに対して共通のワーク−ロボット
(第2センサ)相対位置姿勢を設定するようにしてい
る。なお、ステップ103,104で記憶する情報は1
まとめにしてCCDカメラ21の位置から見た第2の視
覚センサ22の相対位置姿勢情報としてもよい。
み手段で得られた画像データから、対象物の大まかの位
置姿勢を求め、この求めた対象物に対して、第2のデー
タ取り込み手段で再度対象物の位置姿勢を正確に検出し
ロボットの作業方向、位置を決定するようにしたが、第
2のデータ取込み手段を設けずに、第1のデータ取込み
手段のみでロボットの作業方向、位置を求めるようにし
てもよい。この場合、ワーク−ロボット(第2センサ)
相対位置姿勢として、ワークピースから見たロボットの
とるべき相対位置姿勢(ツールセンタポイントの位置姿
勢)が記憶されることになる。
Claims (8)
- 【請求項1】 対象物自体、又は対象物と同一形状の物
体を基準対象物として、該基準対象物の画像データから
複数の教示モデルを作り、対象物を含む画像データを第
1のデータ取込みに手段により取込んで、前記教示モデ
ルと前記対象物を含む画像データとのマッチングを行
い、該マッチングに基づきロボットにより前記対象物に
対する作業を行う画像処理機能を持つロボット装置にお
いて、 データ取込み手段により前記基準対象物の画像データを
複数の方向から捕らえ、捕らえた方向毎に教示モデルを
持ち、該教示モデルと前記方向の情報とを対応付けて記
憶する手段と、 前記ロボットと前記対象物との相対方向の情報を教示モ
デルと対応付けて記憶する手段と、 前記対象物を含む画像データに対し、前記複数の教示モ
デルによってマッチングを行って、適合する教示モデル
を選択する手段と、 前記画像データにおける前記対象物の位置情報又は姿勢
情報を得る手段と、 前記位置情報又は前記姿勢情報、及び前記選択した教示
モデルに対応付けられた方向の情報に基づいて、ロボッ
トの作業方向、又は作業方向及び作業位置を求める手段
とを備えたことを特徴とする画像処理機能を持つロボッ
ト装置。 - 【請求項2】 対象物自体、又は対象物と同一形状の物
体を基準対象物として、該基準対象物の画像データから
教示モデルを作り、前記基準対象物と同一形状の対象物
を含む画像データを第1のデータ取込みに手段により取
込んで、前記教示モデルと前記対象物を含む画像データ
とのマッチングを行い、該マッチングに基づきロボット
により前記対象物に対する作業を行う画像処理機能を持
つロボット装置において、 複数種類の対象物とそれぞれの種類に対応した複数の基
準対象物に対して、該各基準対象物それぞれに教示モデ
ルを作成し、作成した教示モデルと前記複数種類の対象
物の種類情報とを対応付けて記憶する手段と、 前記ロボットと前記対象物との相対方向の情報と前記種
類情報とを対応付けて記憶する手段と、 前記複数種類の内の少なくとも1種類の対象物を含む画
像データに対し、前記複数の教示モデルによってマッチ
ングを行い、適合した対象物の視野内における位置情報
又は姿勢情報を求める手段と、 前記マッチングに使用した教示モデルと対応付けて記憶
された種類情報を求める手段と、 前記種類情報に対応付けて記憶された前記相対方向の情
報を求める手段と、 前記視野内における位置情報又は姿勢情報、前記求めた
種類情報、及び前記求めた相対方向の情報に基づいてロ
ボットの作業方向、又は作業方向及び作業位置を求める
手段とを備えたことを特徴とする画像処理機能を持つロ
ボット装置。 - 【請求項3】 求められたロボットの作業方向、又は作
業方向及び作業位置に基づいて、第2のデータ取込み手
段を前記対象物に対して前記作業方向に向ける、又は前
記対象物に対する前記作業位置にて前記作業方向に向け
る手段と、 第2のデータ取込み手段により第2の画像データを取り
込み画像処理し、画像視野内における前記対象物の位置
情報又は姿勢情報を得る手段とを備えたことを特徴とす
る請求項1又は請求項2に記載の画像処理機能を持つロ
ボット装置。 - 【請求項4】 求められたロボットの作業方向、又は作
業方向と作業位置に基づいて、前記対象物の特徴部位の
3次元位置を取得する第2のデータ取込み手段を前記対
象物上の少なくとも1つの特徴部位に向ける手段と、 前記第2のデータ取込み手段により前記少なくとも1つ
の特徴部位の3次元位置を取得し、該取得した3次元位
置から、前記対象物の3次元位置又は方向を求める手段
とを備えたことを特徴とする請求項1又は請求項2に記
載の画像処理機能を持つロボット装置。 - 【請求項5】 第2のデータ取込み手段が第1のデータ
取込み手段と共通であることを特徴とする請求項3又は
請求項4に記載された画像処理機能を持つロボット装
置。 - 【請求項6】 第2のデータ取込み手段は、対象物との
距離を測定できるスポット光走査型3次元視覚センサで
ある請求項3,請求項4又は請求項5記載の画像処理機
能を持つロボット装置。 - 【請求項7】 データ取込み手段がカメラであり、特徴
部位の3次元位置を検出するためのストラクチャライト
を対象物に照射する手段を更に備えたことを特徴とする
請求項3,請求項4又は請求項5記載の画像処理機能を
持つロボット装置。 - 【請求項8】 重なり合った箇所のある複数の対象物か
ら、対象物を少なくとも1つ取出すピッキング作業を行
う請求項4、請求項5、請求項6又は請求項7に記載さ
れた画像処理機能を持つロボット装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10189199A JP3300682B2 (ja) | 1999-04-08 | 1999-04-08 | 画像処理機能を持つロボット装置 |
EP00303008A EP1043642B1 (en) | 1999-04-08 | 2000-04-10 | Robot system having image processing function |
US09/546,392 US7177459B1 (en) | 1999-04-08 | 2000-04-10 | Robot system having image processing function |
DE60040110T DE60040110D1 (de) | 1999-04-08 | 2000-04-10 | Robotersystem mit Bilderverarbeitungsfunktion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10189199A JP3300682B2 (ja) | 1999-04-08 | 1999-04-08 | 画像処理機能を持つロボット装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000288974A true JP2000288974A (ja) | 2000-10-17 |
JP3300682B2 JP3300682B2 (ja) | 2002-07-08 |
Family
ID=14312561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10189199A Expired - Fee Related JP3300682B2 (ja) | 1999-04-08 | 1999-04-08 | 画像処理機能を持つロボット装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7177459B1 (ja) |
EP (1) | EP1043642B1 (ja) |
JP (1) | JP3300682B2 (ja) |
DE (1) | DE60040110D1 (ja) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002133413A (ja) * | 2000-10-26 | 2002-05-10 | Kawasaki Heavy Ind Ltd | 画像処理を用いる3次元物体の識別方法および装置 |
JP2004188562A (ja) * | 2002-12-13 | 2004-07-08 | Fanuc Ltd | ワーク取出し装置 |
EP1480169A1 (en) * | 2003-05-20 | 2004-11-24 | Fanuc Ltd | Image processing apparatus |
JP2004333422A (ja) * | 2003-05-12 | 2004-11-25 | Fanuc Ltd | 画像処理装置 |
JP2005111619A (ja) * | 2003-10-08 | 2005-04-28 | Tsubakimoto Chain Co | 物品配置方法、及び物品配置装置 |
JPWO2004000508A1 (ja) * | 2002-06-24 | 2005-10-20 | 松下電器産業株式会社 | 多関節駆動機構及びその製造方法、それを用いた把持ハンドとロボット |
JP2007219765A (ja) * | 2006-02-15 | 2007-08-30 | Toyota Motor Corp | 画像処理装置、その方法、および画像処理用プログラム |
US7280687B2 (en) | 2002-09-02 | 2007-10-09 | Fanuc Ltd | Device for detecting position/orientation of object |
JP2011058858A (ja) * | 2009-09-08 | 2011-03-24 | Honda Motor Co Ltd | 視覚装置 |
KR101079702B1 (ko) * | 2010-02-18 | 2011-11-04 | 한국과학기술연구원 | 스캔 데이터 정합 시스템 및 이를 이용한 스캔 데이터 정합 방법 |
JP2012051056A (ja) * | 2010-08-31 | 2012-03-15 | Yaskawa Electric Corp | 作業装置及び部品ピッキングシステム |
JP2012055999A (ja) * | 2010-09-07 | 2012-03-22 | Canon Inc | 物体把持システム、物体把持方法、プログラム、およびロボットシステム |
JP2012093104A (ja) * | 2010-10-25 | 2012-05-17 | Yaskawa Electric Corp | 形状計測装置、ロボットシステムおよび形状計測方法 |
JP2013028413A (ja) * | 2011-07-27 | 2013-02-07 | Ihi Corp | 板状ワークの整列方法及び整列装置 |
JP2013130426A (ja) * | 2011-12-20 | 2013-07-04 | Canon Inc | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP2014046433A (ja) * | 2012-09-03 | 2014-03-17 | Canon Inc | 情報処理システム、方法及びプログラム |
JP2015085475A (ja) * | 2013-10-31 | 2015-05-07 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
EP2960022A1 (en) | 2014-04-15 | 2015-12-30 | Kabushiki Kaisha Yaskawa Denki | Robot control system, information communication module, robot controller, computer program, and robot control method |
US9393696B2 (en) | 2013-06-17 | 2016-07-19 | Canon Kabushiki Kaisha | Robot system and robot control method |
CN108527362A (zh) * | 2017-03-03 | 2018-09-14 | 株式会社基恩士 | 机器人设置设备、机器人设置方法和计算机可读记录介质 |
JP2018144161A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
CN109202802A (zh) * | 2018-11-14 | 2019-01-15 | 山东大学 | 一种用于卡合装配的视觉引导系统及方法 |
CN111496795A (zh) * | 2020-04-29 | 2020-08-07 | 福建通力达实业有限公司 | 一种抓取多层物料的方法及装置 |
US11400598B2 (en) | 2017-10-02 | 2022-08-02 | Canon Kabushiki Kaisha | Information processing apparatus, method, and robot system |
WO2023127021A1 (ja) * | 2021-12-27 | 2023-07-06 | 株式会社ニコン | 制御装置、制御システム、ロボットシステム、制御方法及びコンピュータプログラム |
JP7481591B1 (ja) | 2023-03-14 | 2024-05-10 | ファナック株式会社 | サーチモデルを生成する装置及び方法、作業位置を教示する装置及び方法、並びに制御装置 |
Families Citing this family (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005515910A (ja) * | 2002-01-31 | 2005-06-02 | ブレインテック カナダ インコーポレイテッド | シングルカメラ3dビジョンガイドロボティクスの方法および装置 |
JP3702257B2 (ja) | 2002-08-23 | 2005-10-05 | ファナック株式会社 | ロボットハンドリング装置 |
JP4255050B2 (ja) * | 2002-08-28 | 2009-04-15 | 株式会社キーエンス | 画像処理装置 |
SE524796C2 (sv) * | 2002-12-10 | 2004-10-05 | Svensk Industriautomation Ab | Kollisionsskydd |
JP2005078375A (ja) * | 2003-08-29 | 2005-03-24 | Sony Corp | 方向認識装置、方向認識方法、方向認識システム及びロボット装置 |
DE10361018C9 (de) | 2003-12-23 | 2021-03-04 | QUISS Qualitäts-Inspektionssysteme und Service GmbH | Verfahren zum Erkennen einer auf einem Substrat aufzubringenden Struktur mit mehreren Kameras sowie eine Vorrichtung hierfür |
EP1571584A1 (en) * | 2004-03-03 | 2005-09-07 | Honda Research Institute Europe GmbH | Integrating visual and object information in a pervasive computing environment |
FR2872728B1 (fr) * | 2004-07-06 | 2006-09-15 | Commissariat Energie Atomique | Procede de saisie d'un objet par un bras de robot muni d'une camera |
WO2006006624A1 (ja) * | 2004-07-13 | 2006-01-19 | Matsushita Electric Industrial Co., Ltd. | 物品保持システム、ロボット及びロボット制御方法 |
SE529377C2 (sv) * | 2005-10-18 | 2007-07-24 | Morphic Technologies Ab Publ | Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare |
FR2896441B1 (fr) * | 2006-01-23 | 2009-07-03 | Jerome Grosbois | Procede et systeme permettant la prehension automatisee de piece(s) |
JP4087874B2 (ja) | 2006-02-01 | 2008-05-21 | ファナック株式会社 | ワーク取り出し装置 |
US7970177B2 (en) * | 2006-03-23 | 2011-06-28 | Tyzx, Inc. | Enhancing stereo depth measurements with projected texture |
WO2007149183A2 (en) * | 2006-05-25 | 2007-12-27 | Braintech Canada, Inc. | System and method of robotically engaging an object |
WO2008036354A1 (en) * | 2006-09-19 | 2008-03-27 | Braintech Canada, Inc. | System and method of determining object pose |
JP5403861B2 (ja) * | 2006-11-06 | 2014-01-29 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
WO2008076942A1 (en) * | 2006-12-15 | 2008-06-26 | Braintech Canada, Inc. | System and method of identifying objects |
DE102007008903A1 (de) * | 2007-02-23 | 2008-08-28 | Abb Technology Ag | Einrichtung zum Steuern eines Roboters |
US8467898B2 (en) | 2007-03-08 | 2013-06-18 | Smv S.R.L. | Method and a device for recognizing, collecting and repositioning objects |
WO2008133974A2 (en) * | 2007-04-26 | 2008-11-06 | Pace Innovations, L.C. | Vacuum gripping apparatus |
US7957583B2 (en) * | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
DE102007060653A1 (de) * | 2007-12-15 | 2009-06-18 | Abb Ag | Positionsermittlung eines Objektes |
JP4835616B2 (ja) * | 2008-03-10 | 2011-12-14 | トヨタ自動車株式会社 | 動作教示システム及び動作教示方法 |
US8150165B2 (en) | 2008-04-11 | 2012-04-03 | Recognition Robotics, Inc. | System and method for visual recognition |
US9576217B2 (en) | 2008-04-11 | 2017-02-21 | Recognition Robotics | System and method for visual recognition |
US8923602B2 (en) | 2008-07-22 | 2014-12-30 | Comau, Inc. | Automated guidance and recognition system and method of the same |
US8559699B2 (en) * | 2008-10-10 | 2013-10-15 | Roboticvisiontech Llc | Methods and apparatus to facilitate operations in image based systems |
US8144193B2 (en) | 2009-02-09 | 2012-03-27 | Recognition Robotics, Inc. | Work piece tracking system and method |
EP2417499A1 (en) | 2009-04-11 | 2012-02-15 | Abb Ag | Robot system |
EP2422295A1 (en) * | 2009-04-23 | 2012-02-29 | Koninklijke Philips Electronics N.V. | Object-learning robot and method |
WO2011031523A2 (en) * | 2009-08-27 | 2011-03-17 | Abb Research Ltd. | Robotic picking of parts from a parts holding bin |
DE102009053874A1 (de) * | 2009-11-20 | 2011-05-26 | Micro-Epsilon Messtechnik Gmbh & Co. Kg | Roboter zur automatischen 3D-Vermessung und Verfahren |
US8941726B2 (en) * | 2009-12-10 | 2015-01-27 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for segmenting moving objects from images using foreground extraction |
JP5525953B2 (ja) * | 2010-07-29 | 2014-06-18 | 株式会社キーエンス | 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム |
JP5767464B2 (ja) * | 2010-12-15 | 2015-08-19 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
FI20106387A (fi) * | 2010-12-30 | 2012-07-01 | Zenrobotics Oy | Menetelmä, tietokoneohjelma ja laite tartuntakohdan määrittämiseksi |
JP5675393B2 (ja) * | 2011-01-31 | 2015-02-25 | 武蔵エンジニアリング株式会社 | 動作プログラムの自動生成プログラムおよび装置 |
JP5533727B2 (ja) * | 2011-02-18 | 2014-06-25 | 株式会社安川電機 | ワークピッキングシステム |
ITTO20110214A1 (it) * | 2011-03-10 | 2012-09-11 | Febo S R L | Metodo e impianto di trasferimento per disporre un pezzo in un orientamento richiesto, e pinza di robot per tale impianto di trasferimento |
NL2006950C2 (en) * | 2011-06-16 | 2012-12-18 | Kampri Support B V | Cleaning of crockery. |
JP5852364B2 (ja) * | 2011-08-26 | 2016-02-03 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP5383836B2 (ja) * | 2012-02-03 | 2014-01-08 | ファナック株式会社 | 検索ウィンドウを自動的に調整する機能を備えた画像処理装置 |
DK2631201T3 (da) * | 2012-02-22 | 2014-08-18 | Carefusion Germany 326 Gmbh | Fremgangsmåde til at bestemme hvornår lægemiddelpakninger er placeret forkert |
JP6000579B2 (ja) * | 2012-03-09 | 2016-09-28 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP5977544B2 (ja) | 2012-03-09 | 2016-08-24 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP5975685B2 (ja) * | 2012-03-09 | 2016-08-23 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6157066B2 (ja) | 2012-06-11 | 2017-07-05 | キヤノン株式会社 | 画像処理装置、物体取出システム、画像処理方法及びプログラム |
US9092698B2 (en) * | 2012-06-21 | 2015-07-28 | Rethink Robotics, Inc. | Vision-guided robots and methods of training them |
JP5642738B2 (ja) * | 2012-07-26 | 2014-12-17 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
JP5469216B2 (ja) * | 2012-07-31 | 2014-04-16 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置 |
JP5620445B2 (ja) * | 2012-09-13 | 2014-11-05 | ファナック株式会社 | 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置 |
KR102056664B1 (ko) * | 2012-10-04 | 2019-12-17 | 한국전자통신연구원 | 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템 |
US9361695B2 (en) | 2012-12-11 | 2016-06-07 | Honda Motor Co., Ltd. | Method of recognizing a position of a workpiece from a photographed image |
JP6167622B2 (ja) * | 2013-04-08 | 2017-07-26 | オムロン株式会社 | 制御システムおよび制御方法 |
JP5616478B1 (ja) | 2013-04-18 | 2014-10-29 | ファナック株式会社 | ワークを搬送するロボットを備えるロボットシステム |
JP5786896B2 (ja) * | 2013-06-07 | 2015-09-30 | 株式会社安川電機 | ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法 |
US10203683B2 (en) | 2013-07-16 | 2019-02-12 | Seagate Technology Llc | Coordinating end effector and vision controls |
JP6245880B2 (ja) * | 2013-07-31 | 2017-12-13 | キヤノン株式会社 | 情報処理装置および情報処理手法、プログラム |
JP5897532B2 (ja) * | 2013-11-05 | 2016-03-30 | ファナック株式会社 | 三次元空間に置かれた物品をロボットで取出す装置及び方法 |
US9259844B2 (en) | 2014-02-12 | 2016-02-16 | General Electric Company | Vision-guided electromagnetic robotic system |
JP6380828B2 (ja) * | 2014-03-07 | 2018-08-29 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置、及び制御方法 |
JP5778311B1 (ja) * | 2014-05-08 | 2015-09-16 | 東芝機械株式会社 | ピッキング装置およびピッキング方法 |
JP6413648B2 (ja) * | 2014-06-20 | 2018-10-31 | 株式会社リコー | 計測システム、物体取出システム、計測方法およびプログラム |
RS56492B1 (sr) | 2014-10-23 | 2018-01-31 | Comau Spa | Sistem za nadzor i upravljanje industrijskim postrojenjem |
JP6042860B2 (ja) * | 2014-12-02 | 2016-12-14 | ファナック株式会社 | ロボットを用いて物品を移送する物品移送装置及び物品移送方法 |
CH710648A1 (de) * | 2015-01-23 | 2016-07-29 | Erowa Ag | Messmaschine zum Vermessen von Werkstücken. |
US10335951B2 (en) | 2015-07-29 | 2019-07-02 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, robot control apparatus, and robot system |
US9418421B1 (en) * | 2015-09-26 | 2016-08-16 | Nastaran Neishaboori | Automation of biopsy specimen handling |
JP6744709B2 (ja) | 2015-11-30 | 2020-08-19 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
US9487357B1 (en) | 2015-12-04 | 2016-11-08 | Genco | Method and apparatus for picking products |
JP6088679B1 (ja) * | 2016-02-19 | 2017-03-01 | ファナック株式会社 | カメラの画像により故障を判定するロボットシステムの故障診断装置 |
US9990685B2 (en) * | 2016-03-21 | 2018-06-05 | Recognition Robotics, Inc. | Automated guidance system and method for a coordinated movement machine |
JP2017196705A (ja) * | 2016-04-28 | 2017-11-02 | セイコーエプソン株式会社 | ロボット、及びロボットシステム |
CN106041930B (zh) * | 2016-06-27 | 2019-10-15 | 长沙长泰机器人有限公司 | 具有工件位置补偿功能的机加工系统及控制方法 |
US11040447B2 (en) * | 2016-07-15 | 2021-06-22 | Magna International Inc. | System and method for adaptive bin picking for manufacturing |
JP2018034242A (ja) * | 2016-08-31 | 2018-03-08 | セイコーエプソン株式会社 | ロボット制御装置、ロボット、及びロボットシステム |
JP6450727B2 (ja) * | 2016-10-28 | 2019-01-09 | ファナック株式会社 | ロボットが行う物品整列作業のシミュレーションのための装置、方法、プログラム及び記録媒体 |
JP6915288B2 (ja) * | 2017-02-08 | 2021-08-04 | オムロン株式会社 | 画像処理システム、画像処理装置、FPGA(Field Programmable Gate Array)における回路の再構成方法、および、FPGAにおける回路の再構成プログラム |
JP6450788B2 (ja) * | 2017-02-21 | 2019-01-09 | ファナック株式会社 | ワーク取出システム |
JP2018167334A (ja) * | 2017-03-29 | 2018-11-01 | セイコーエプソン株式会社 | 教示装置および教示方法 |
US11358290B2 (en) * | 2017-10-19 | 2022-06-14 | Canon Kabushiki Kaisha | Control apparatus, robot system, method for operating control apparatus, and storage medium |
CN108748136A (zh) * | 2018-04-10 | 2018-11-06 | 上海新时达机器人有限公司 | 机器人码垛程序生成方法、存储介质及示教器 |
US10967507B2 (en) * | 2018-05-02 | 2021-04-06 | X Development Llc | Positioning a robot sensor for object classification |
IT201800005091A1 (it) | 2018-05-04 | 2019-11-04 | "Procedimento per monitorare lo stato di funzionamento di una stazione di lavorazione, relativo sistema di monitoraggio e prodotto informatico" | |
CN109375573A (zh) * | 2018-11-22 | 2019-02-22 | 南通科技职业学院 | 一种工业机器视觉系统图像处理方法 |
JP7204504B2 (ja) * | 2019-01-29 | 2023-01-16 | 株式会社Subaru | 対象物確認装置 |
JP6923574B2 (ja) * | 2019-02-01 | 2021-08-18 | ファナック株式会社 | 3次元形状計測システムおよび3次元形状計測方法 |
DE102019107417A1 (de) * | 2019-03-22 | 2020-09-24 | Günther Battenberg | Verfahren zur Durchführung von zumindest einem Tätigkeitsprozess mittels eines Roboters |
JP7275759B2 (ja) * | 2019-03-28 | 2023-05-18 | セイコーエプソン株式会社 | 物体検出方法、物体検出装置およびロボットシステム |
JP2020196059A (ja) * | 2019-05-31 | 2020-12-10 | セイコーエプソン株式会社 | ロボット |
JP7328017B2 (ja) * | 2019-06-11 | 2023-08-16 | ファナック株式会社 | ロボットシステム及び制御装置 |
CN110480683B (zh) * | 2019-08-28 | 2022-04-29 | 哈尔滨工业大学 | 一种机器人应用系统解决方案集成化设计的大型工具软件系统 |
EP4032663A4 (en) * | 2019-09-18 | 2022-08-31 | Fuji Corporation | WORK ROBOT AND WORK SYSTEM |
EP4039618A4 (en) * | 2019-09-30 | 2022-11-23 | Hai Robotics Co., Ltd. | METHOD, DEVICE, HANDLING DEVICE AND HANDLING ROBOT FOR CONTROLLING CHARGE PICTURE AND PLACEMENT |
CN114578730A (zh) * | 2022-02-22 | 2022-06-03 | 武汉珞珈天铭电气科技有限公司 | 一种导线修补机器人的控制电路 |
CN114952809B (zh) * | 2022-06-24 | 2023-08-01 | 中国科学院宁波材料技术与工程研究所 | 工件识别和位姿检测方法、系统及机械臂的抓取控制方法 |
CN115159149B (zh) * | 2022-07-28 | 2024-05-24 | 深圳市罗宾汉智能装备有限公司 | 一种基于视觉定位的取料卸货方法及其装置 |
CN115497087B (zh) * | 2022-11-18 | 2024-04-19 | 广州煌牌自动设备有限公司 | 一种餐具姿态的识别系统及其方法 |
CN219009183U (zh) * | 2022-11-30 | 2023-05-12 | 宁德时代新能源科技股份有限公司 | 拾取工装 |
CN118163119A (zh) * | 2024-05-16 | 2024-06-11 | 昆明芯之达科技有限公司 | 基于云平台的工业机器人智能控制系统及方法 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4146924A (en) * | 1975-09-22 | 1979-03-27 | Board Of Regents For Education Of The State Of Rhode Island | System for visually determining position in space and/or orientation in space and apparatus employing same |
US4305130A (en) * | 1979-05-29 | 1981-12-08 | University Of Rhode Island | Apparatus and method to enable a robot with vision to acquire, orient and transport workpieces |
US4410804A (en) * | 1981-07-13 | 1983-10-18 | Honeywell Inc. | Two dimensional image panel with range measurement capability |
US4437114A (en) * | 1982-06-07 | 1984-03-13 | Farrand Optical Co., Inc. | Robotic vision system |
US4462046A (en) * | 1982-07-02 | 1984-07-24 | Amaf Industries Incorporated | Machine vision system utilizing programmable optical parallel processing |
US4611292A (en) * | 1982-10-06 | 1986-09-09 | Hitachi, Ltd. | Robot vision system |
JPS60200385A (ja) * | 1984-03-26 | 1985-10-09 | Hitachi Ltd | 姿勢判定方式 |
US4879664A (en) * | 1985-05-23 | 1989-11-07 | Kabushiki Kaisha Toshiba | Three-dimensional position sensor and three-dimensional position setting system |
US4876728A (en) * | 1985-06-04 | 1989-10-24 | Adept Technology, Inc. | Vision system for distinguishing touching parts |
US4704694A (en) * | 1985-12-16 | 1987-11-03 | Automation Intelligence, Inc. | Learned part system |
US4707647A (en) * | 1986-05-19 | 1987-11-17 | Gmf Robotics Corporation | Gray scale vision method and system utilizing same |
US4785528A (en) * | 1986-12-22 | 1988-11-22 | The Boeing Company | Robotic work positioning system |
JPS63288683A (ja) * | 1987-05-21 | 1988-11-25 | 株式会社東芝 | 組立てロボット |
US5579444A (en) | 1987-08-28 | 1996-11-26 | Axiom Bildverarbeitungssysteme Gmbh | Adaptive vision-based controller |
US4909376A (en) * | 1987-10-06 | 1990-03-20 | Western Technologies Automation, Inc. | Robotically controlled component feed mechanism visually monitoring part orientation |
JPH01283993A (ja) * | 1988-05-11 | 1989-11-15 | Hitachi Ltd | 回路プリント板、その面付け部品位置認識装置、及び面付け部品検査装置 |
US4942539A (en) * | 1988-12-21 | 1990-07-17 | Gmf Robotics Corporation | Method and system for automatically determining the position and orientation of an object in 3-D space |
US4985846A (en) * | 1989-05-11 | 1991-01-15 | Fallon Patrick J | Acoustical/optical bin picking system |
US5220619A (en) * | 1989-10-23 | 1993-06-15 | U.S. Philips Corp. | Method of matching a variable two-dimensional image of a known three-dimensional object with a desired two-dimensional image of the object, and device for carrying out the method |
JP2690603B2 (ja) * | 1990-05-30 | 1997-12-10 | ファナック株式会社 | 視覚センサのキャリブレーション方法 |
JP2555822B2 (ja) | 1991-10-30 | 1996-11-20 | 日本電装株式会社 | 山積み部品の高速ピッキング装置 |
GB2261069B (en) * | 1991-10-30 | 1995-11-01 | Nippon Denso Co | High speed picking system for stacked parts |
US5621807A (en) * | 1993-06-21 | 1997-04-15 | Dornier Gmbh | Intelligent range image camera for object measurement |
JPH07270137A (ja) | 1994-02-10 | 1995-10-20 | Fanuc Ltd | スポット光走査型3次元視覚センサ |
JP3002097B2 (ja) * | 1994-08-25 | 2000-01-24 | ファナック株式会社 | ビジュアルトラッキング方法 |
IT1271241B (it) * | 1994-10-04 | 1997-05-27 | Consorzio Telerobot | Sistema di navigazione per robot mobile autonomo |
FR2729236A1 (fr) * | 1995-01-06 | 1996-07-12 | Thomson Broadband Systems | Guidage de robot par eclairage actif |
JP3560670B2 (ja) | 1995-02-06 | 2004-09-02 | 富士通株式会社 | 適応的認識システム |
US5745387A (en) * | 1995-09-28 | 1998-04-28 | General Electric Company | Augmented reality maintenance system employing manipulator arm with archive and comparison device |
US5790687A (en) * | 1996-06-18 | 1998-08-04 | Levi Strauss & Co. | Method and apparatus for the optical determination of the orientation of a garment workpiece |
JPH11207611A (ja) * | 1998-01-21 | 1999-08-03 | Shin Etsu Handotai Co Ltd | 両面研磨装置におけるワークの自動搬送装置 |
GB9803364D0 (en) * | 1998-02-18 | 1998-04-15 | Armstrong Healthcare Ltd | Improvements in or relating to a method of an apparatus for registering a robot |
US6490369B1 (en) * | 1999-07-06 | 2002-12-03 | Fanuc Robotics North America | Method of viewing and identifying a part for a robot manipulator |
-
1999
- 1999-04-08 JP JP10189199A patent/JP3300682B2/ja not_active Expired - Fee Related
-
2000
- 2000-04-10 DE DE60040110T patent/DE60040110D1/de not_active Expired - Lifetime
- 2000-04-10 US US09/546,392 patent/US7177459B1/en not_active Expired - Fee Related
- 2000-04-10 EP EP00303008A patent/EP1043642B1/en not_active Expired - Lifetime
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002133413A (ja) * | 2000-10-26 | 2002-05-10 | Kawasaki Heavy Ind Ltd | 画像処理を用いる3次元物体の識別方法および装置 |
JPWO2004000508A1 (ja) * | 2002-06-24 | 2005-10-20 | 松下電器産業株式会社 | 多関節駆動機構及びその製造方法、それを用いた把持ハンドとロボット |
US7280687B2 (en) | 2002-09-02 | 2007-10-09 | Fanuc Ltd | Device for detecting position/orientation of object |
JP2004188562A (ja) * | 2002-12-13 | 2004-07-08 | Fanuc Ltd | ワーク取出し装置 |
US7203573B2 (en) | 2002-12-13 | 2007-04-10 | Fanuc Ltd | Workpiece taking-out apparatus |
CN100379530C (zh) * | 2003-05-12 | 2008-04-09 | 发那科株式会社 | 图像处理装置 |
KR100693262B1 (ko) | 2003-05-12 | 2007-03-13 | 화낙 가부시끼가이샤 | 화상 처리 장치 |
JP2004333422A (ja) * | 2003-05-12 | 2004-11-25 | Fanuc Ltd | 画像処理装置 |
US7283661B2 (en) | 2003-05-12 | 2007-10-16 | Fanuc Ltd | Image processing apparatus |
US7400760B2 (en) | 2003-05-20 | 2008-07-15 | Fanuc Ltd | Image processing apparatus |
JP2004348266A (ja) * | 2003-05-20 | 2004-12-09 | Fanuc Ltd | 画像処理装置 |
EP1480169A1 (en) * | 2003-05-20 | 2004-11-24 | Fanuc Ltd | Image processing apparatus |
JP2005111619A (ja) * | 2003-10-08 | 2005-04-28 | Tsubakimoto Chain Co | 物品配置方法、及び物品配置装置 |
JP4715539B2 (ja) * | 2006-02-15 | 2011-07-06 | トヨタ自動車株式会社 | 画像処理装置、その方法、および画像処理用プログラム |
JP2007219765A (ja) * | 2006-02-15 | 2007-08-30 | Toyota Motor Corp | 画像処理装置、その方法、および画像処理用プログラム |
JP2011058858A (ja) * | 2009-09-08 | 2011-03-24 | Honda Motor Co Ltd | 視覚装置 |
KR101079702B1 (ko) * | 2010-02-18 | 2011-11-04 | 한국과학기술연구원 | 스캔 데이터 정합 시스템 및 이를 이용한 스캔 데이터 정합 방법 |
US8954182B2 (en) | 2010-08-31 | 2015-02-10 | Kabushiki Kaisha Yaskawa Denki | Robot system |
JP2012051056A (ja) * | 2010-08-31 | 2012-03-15 | Yaskawa Electric Corp | 作業装置及び部品ピッキングシステム |
JP2012055999A (ja) * | 2010-09-07 | 2012-03-22 | Canon Inc | 物体把持システム、物体把持方法、プログラム、およびロボットシステム |
JP2012093104A (ja) * | 2010-10-25 | 2012-05-17 | Yaskawa Electric Corp | 形状計測装置、ロボットシステムおよび形状計測方法 |
JP2013028413A (ja) * | 2011-07-27 | 2013-02-07 | Ihi Corp | 板状ワークの整列方法及び整列装置 |
JP2013130426A (ja) * | 2011-12-20 | 2013-07-04 | Canon Inc | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP2014046433A (ja) * | 2012-09-03 | 2014-03-17 | Canon Inc | 情報処理システム、方法及びプログラム |
US9746855B2 (en) | 2012-09-03 | 2017-08-29 | Canon Kabushiki Kaisha | Information processing system, method, and program |
US9393696B2 (en) | 2013-06-17 | 2016-07-19 | Canon Kabushiki Kaisha | Robot system and robot control method |
US9862091B2 (en) | 2013-10-31 | 2018-01-09 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
JP2015085475A (ja) * | 2013-10-31 | 2015-05-07 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
EP2960022A1 (en) | 2014-04-15 | 2015-12-30 | Kabushiki Kaisha Yaskawa Denki | Robot control system, information communication module, robot controller, computer program, and robot control method |
CN108527362A (zh) * | 2017-03-03 | 2018-09-14 | 株式会社基恩士 | 机器人设置设备、机器人设置方法和计算机可读记录介质 |
JP2018144160A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2018144161A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
CN108527362B (zh) * | 2017-03-03 | 2022-10-04 | 株式会社基恩士 | 机器人设置设备、机器人设置方法和计算机可读记录介质 |
US11400598B2 (en) | 2017-10-02 | 2022-08-02 | Canon Kabushiki Kaisha | Information processing apparatus, method, and robot system |
CN109202802A (zh) * | 2018-11-14 | 2019-01-15 | 山东大学 | 一种用于卡合装配的视觉引导系统及方法 |
CN111496795A (zh) * | 2020-04-29 | 2020-08-07 | 福建通力达实业有限公司 | 一种抓取多层物料的方法及装置 |
CN111496795B (zh) * | 2020-04-29 | 2022-05-24 | 福建通力达实业有限公司 | 一种抓取多层物料的方法及装置 |
WO2023127021A1 (ja) * | 2021-12-27 | 2023-07-06 | 株式会社ニコン | 制御装置、制御システム、ロボットシステム、制御方法及びコンピュータプログラム |
JP7481591B1 (ja) | 2023-03-14 | 2024-05-10 | ファナック株式会社 | サーチモデルを生成する装置及び方法、作業位置を教示する装置及び方法、並びに制御装置 |
Also Published As
Publication number | Publication date |
---|---|
DE60040110D1 (de) | 2008-10-16 |
JP3300682B2 (ja) | 2002-07-08 |
EP1043642B1 (en) | 2008-09-03 |
US7177459B1 (en) | 2007-02-13 |
EP1043642A2 (en) | 2000-10-11 |
EP1043642A3 (en) | 2005-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3300682B2 (ja) | 画像処理機能を持つロボット装置 | |
JP3377465B2 (ja) | 画像処理装置 | |
US7200260B1 (en) | Teaching model generating device | |
EP1555508B1 (en) | Measuring system | |
EP1905548B1 (en) | Workpiece picking apparatus | |
US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
EP1584426A1 (en) | Tool center point calibration system | |
US20050273199A1 (en) | Robot system | |
JP2018176334A (ja) | 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法 | |
CN112276936B (zh) | 三维数据生成装置以及机器人控制系统 | |
CN112549052B (zh) | 用于调整机器人支承的部件位置的机器人装置的控制装置 | |
JP6869159B2 (ja) | ロボットシステム | |
CN114341930A (zh) | 图像处理装置、拍摄装置、机器人以及机器人系统 | |
CN116175542B (zh) | 确定夹具抓取顺序的方法、装置、电子设备和存储介质 | |
JPH02110788A (ja) | 3次元物体の形状認識方法 | |
Cheng | Robot manipulation of 3D cylindrical objects with a robot-mounted 2D vision camera | |
JP7509535B2 (ja) | 画像処理装置、ロボットシステム、及び画像処理方法 | |
JP2022530589A (ja) | ロボット搭載移動装置、システム及び工作機械 | |
CN115319761B (zh) | 高精度机械手抓取的控制方法、控制系统及机器人 | |
WO2023157083A1 (ja) | ワークの位置を取得する装置、制御装置、ロボットシステム、及び方法 | |
WO2023105637A1 (ja) | 産業機械の動作を検証するための装置、及び方法 | |
US20230264352A1 (en) | Robot device for detecting interference of constituent member of robot | |
WO2022191148A1 (ja) | 教示工具または作業者の手を用いて教示点を設定する教示装置 | |
Pop et al. | Robot vision application for bearings identification and sorting | |
JP2024033308A (ja) | ロボットシステム、および、ロボットシステムの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020312 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080419 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090419 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100419 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100419 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110419 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120419 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130419 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130419 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140419 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |