JP2004138462A

JP2004138462A - ３次元視覚センサ

Info

Publication number: JP2004138462A
Application number: JP2002302559A
Authority: JP
Inventors: Kazukuni Ban; 伴　一訓; Ichiro Kanno; 管野　一郎
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2002-10-17
Filing date: 2002-10-17
Publication date: 2004-05-13
Anticipated expiration: 2022-10-17
Also published as: US7502504B2; EP1411322A3; JP3859571B2; EP1411322B1; US20040081352A1; EP1411322A2

Abstract

【課題】対象ワークの位置姿勢が変化しても該対象ワークの３次元位置姿勢を正確に計測する。
【解決手段】対象ワークを所定位置より撮像した２次元画像より該対象ワークの特徴部分である第１領域Ａの位置Ｃａ、傾きθａ、大きさＳと、計測対象箇所の第２領域Ｂのの位置Ｃｂ，半径Ｒｂを基準情報として設定記憶する。対象ワークを撮像し、該撮像した画像中から第１領域Ａの位置Ｃ’ａ、傾きθ’ａ、大きさＳ’と基準情報に基づいて、第２領域に該当する部分を求め、該求められた第２領域に該当する部分を３次元計測し対象ワークの位置、姿勢を求める。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、レーザ光等の参照光を対象ワークに投射し、その反射光をカメラで受光して対象ワークの位置、姿勢を測定する３次元視覚センサに関する。
【０００２】
【従来の技術】
レーザ光等の参照光を対象ワークに投射し、その反射光をカメラで受光して対象ワークの位置、姿勢を測定する３次元視覚センサ自体は、広く一般に使用されている。参照光のタイプも、スポット光やスリット光等があり、又投光手段も、光源が２つあるもの、１つの光源をスキャニングして複数本の光源があるものと同等な効果を得るものなど、様々なタイプの３次元視覚センサが公知である。
【０００３】
又、２次元的な画像を撮像する撮像装置と、スリットレーザ光による３次元位置測定装置とにより対象物の輪郭線を３次元位置で検出する視覚装置も公知である（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開昭６０−１８３５０９号公報
【０００５】
【発明が解決しようとする課題】
所定位置に配置した対象ワークを３次元視覚センサで測定し、対象ワークの形状データの取得や対象ワークを検査するような場合には、３次元視覚センサから投射するレーザ等の参照光は、必ず対象ワークに投射され、必要なデータを得ることができる。しかし、平面上での対象ワークの位置さらには姿勢が決まらないもの、又、バラ積みされた対象ワークのような３次元位置、姿勢が決まらないものを対象として、対象ワークの位置姿勢を３次元視覚センサで測定しようとする場合、参照光が対象ワークのどの部分に投射させているのか、さらには、対象ワークに参照光が当たっているのか、判別できない。そのため、計測したい箇所に参照光を投射されるように３次元視覚センサの位置姿勢を調整する必要があるが、自動的に調整できる３次元視覚センサはなく、作業の自動化の上で問題であった。
【０００６】
そこで、本発明の目的は、対象ワークの位置又は／及び姿勢が変化しても、３次元視覚センサにより、対象ワークに関連する必要なデータを自動的に測定できる３次元視覚センサを提供することにある。
【０００７】
【課題を解決するための手段】
対象ワークに参照光を投射して該対象ワークを撮像した画像から前記対象ワークの３次元情報を求める３次元視覚センサにおいて、請求項１から３に係わる発明は、前記対象ワークと同種のワークを所定位置より撮像した２次元画像より得られる該対象ワークの特徴とする部分の第１領域に関する情報と、３次元計測対象箇所の第２領域の情報を基準情報（第１領域の位置と第２領域の位置、又は第１領域、第２領域の相対位置関係及び第２領域の範囲の情報）として記憶した記憶手段と、前記対象ワークを撮像し、該撮像した画像中から第１領域に該当する部分を求める手段と、前記第１領域に該当する部分の位置の情報と、前記記憶した基準情報に基づいて、第２領域に該当する部分を求める手段と、前記対象ワークに参照光を投射し、得られた画像における前記求めた第２領域に該当する部分から前記対象ワークの３次元情報を求める手段とを備えることによって、対象ワークの３次元位置又は位置姿勢を正確に計測するようにしたものである。
【０００８】
又、請求項４から６に係わる発明は、基準情報として第１領域の位置、姿勢と第２領域の位置、範囲、又は第１領域と第２領域の相対位置関係、第１領域の姿勢、第２領域の範囲とし、前記対象ワークを撮像して求めた第１領域に該当する部分の位置、姿勢の情報と、前記予め記憶した基準情報に基づいて、第２領域に該当する部分を求めるようにして、位置姿勢が変化する対象ワークの３次元位置姿勢を正確に計測するようにした。
【０００９】
又、請求項７から９に係わる発明は、基準情報として第１領域の位置、大きさと第２領域の位置、範囲、又は第１領域と第２領域の相対位置関係、第１領域の大きさ、第２領域の範囲とし、前記対象ワークを撮像して求めた第１領域に該当する部分の位置、大きさ情報と、前記記憶した基準情報に基づいて、第２領域に該当する部分を求めるるようにして、３次元視覚センサからの距離が異なる対象ワークの３次元位置を正確に計測するようにした。
【００１０】
又、請求項１０から１２に係わる発明は、基準情報として第１領域の位置、大きさ、姿勢と第２領域の位置、範囲、又は第１領域と第２領域の相対位置関係、第１領域の大きさ、姿勢、第２領域の範囲とし、前記対象ワークを撮像して求めた第１領域に該当する部分の位置、大きさ、姿勢の情報と、前記予め記憶した基準情報に基づいて、第２領域に該当する部分を求めるるようにして、３次元視覚センサからの距離、位置、姿勢が異なる対象ワークの３次元位置姿勢を正確に計測するようにした。
【００１１】
請求項１３に係わる発明は、前記第１領域の情報を得る２次元画像は前記参照光を投射せずに撮像して得られた２次元画像とし、記第２領域の情報を得る２次元画像は参照光を投射し撮像して得られた２次元画像とした。又、請求項１４に係わる発明は、前記第１領域及び前記第２領域の情報を得る２次元画像として参照光を投射し撮像して得られた２次元画像とした。
【００１２】
請求項１５から１８に係わる発明は、前記対象ワークと同種のワークを撮像した画像を用いて前記対象ワークの３次元情報を得るための前記画像上での領域を予め設定する手段と、前記対象ワークに参照光を投射して撮像した画像に対し、前記対象ワークについて所定の情報に基づいて前記領域の位置又は位置と大きさ、又は位置と大きさと姿勢を変更する手段と、前記変更された領域から前記対象ワークの３次元情報を求める手段とを備えることで、対象ワークの３次元位置姿勢を正確に測定できるようにした。
【００１３】
そして、請求項１９に係わる発明は、前記所定の情報を前記対象ワークの高さ計測から求められた情報とし、請求項２０に係わる発明は、３次元視覚センサをロボットに取り付け、前記所定の情報をロボットの位置情報を元に求められた前記対象ワークと前記ロボットの相対位置情報とした。又、請求項２１に係わる発明は、前記所定の情報が、外部から設定される情報とした。
【００１４】
【発明の実施の形態】
図１、図２は本発明の第１の実施形態の原理説明図である。作業対象となる対象ワークの中から選ばれた対象ワークと同種のワークをカメラで撮像した画像を示すもので、領域Ａは２次元画像処理によって、該対象ワーク（の同種のワーク）の特徴部分を検出した領域であり、この特徴部分を形成する領域Ａの中心位置Ｃａ（ｘａ，ｙａ）、傾き角度θａ、特徴部分の大きさがＳａとして検出される。
【００１５】
一方、領域Ｂは、この画像上において設定した３次元計測対象箇所を表しており、この例ではこの３次元計測対象箇所の領域Ｂを円形とし、その中心位置Ｃｂ（ｘｂ，ｙｂ）と該領域Ｂの範囲として半径Ｒｂを設定している。
領域Ａ，Ｂは、同一ワーク上にあるものであるから、該同一種である対象ワークにおいては、この領域Ａ，Ｂの相対関係は常に保たれ一定である。すなわち、対象ワークにおいて中心位置Ｃａ，Ｃｂ間の距離｛（ｘｂ−ｘａ）^２＋（ｙｂ−ｙａ）^２｝^１／２は一定である。
【００１６】
こうして基準となる特徴部分の領域Ａの中心位置Ｃａ（ｘａ，ｙａ）、傾き角度θａ、大きさＳａ、領域Ｂの中心位置Ｃｂ（ｘｂ，ｙｂ）と該領域Ｂの範囲として半径Ｒｂを基準情報として設定する。又は、領域Ａの中心位置Ｃａ（ｘａ，ｙａ）、傾き角度θａ、大きさＳａと領域Ａと領域Ｂの相対関係（ｘｂ−ｘａ）、（ｙｂ−ｙａ）及び領域Ｂの半径Ｒｂを設定記憶しておく。
【００１７】
３次元視覚センサ（カメラ）の測定位置が同一でも測定対象の対象ワークの位置、姿勢が代われば、３次元視覚センサから投射される参照光が当たる対象ワーク上の位置も変化する。この変化に合わせて、３次元視覚センサによる測定対象箇所を切り替えなければ、対象ワーク上の測定すべき領域Ｂを測定できなくなる。
そこで、本発明は、自動的に測定対象位置を切り替え、対象ワークの位置姿勢が変化しても常に対象ワーク上の所定の領域Ｂを測定できるようにしたものである。
【００１８】
図２は、作業対象の対象ワークを３次元視覚センサのカメラで撮像した画像であり、領域Ａ’は、２次元画像処理によってワークの特徴部分を検出した領域である。この検出結果の領域Ａの中心位置はＣ’ａ（ｘ’ａ，ｙ’ａ）、傾き角度θ’ａ大きさＳ’ａであったとする。このデータと記憶しているデータから次の１〜３式を演算することによって、測定しようとする対象ワーク上の領域Ｂに対応する領域Ｂ’の中心位置Ｃ’ｂ（ｘ’ｂ，ｙ’ｂ）と半径Ｒ’ｂが求められる。
ｘ’ｂ＝（Ｓ’ａ／Ｓａ）｛（ｘｂ−ｘａ）ｃｏｓ（θ’ａ−θａ）−（ｙｂ−ｙａ）ｓｉｎ（θ’ａ−θａ）｝＋ｘ’ａ…（１）
ｙ’ｂ＝（Ｓ’ａ／Ｓａ）｛（ｘｂ−ｘａ）ｓｉｎ（θ’ａ−θａ）＋（ｙｂ−ｙａ）ｃｏｓ（θ’ａ−θａ）｝＋ｙ’ａ…（２）
Ｒ’ｂ＝（Ｓ’ａ／Ｓａ）Ｒｂ　　　　　　　　　　　　　　　　　　　　　　　　…（３）
こうして求められた中心位置Ｃ’ｂ（ｘ’ｂ，ｙ’ｂ）と半径Ｒ’ｂの領域Ｂ’に３次元計測対象箇所を切り替えて計測すれば、対象ワーク上の同一の領域Ｂが計測されることになり、正確に対象ワークの３次元位置、姿勢を測定できる。
【００１９】
すなわち、対象ワークが、カメラの光軸に対して直交する平面（ＸＹ平面）上で基準位置よりずれていたり、回転してその姿勢がずれていても、上記１，２式によって、３次元計測対象箇所の領域Ｂ’を求めることができ、さらに、カメラと対象ワーク間の距離が基準より変動していても、上記３式により、３次元計測対象箇所の範囲を示す半径ＲｂがＲ’ｂに変更され、又、１式、２式によってその平面上の位置も修正されるから、目標とする３次元計測対象箇所の領域（Ｂ＝Ｂ’）を求め計測することができる。
【００２０】
図３は、本発明のこの実施形態における３次元視覚センサの要部ブロック図である。図３において符号１は、参照光としてのスリット光を投射するレーザスリット光投光器１ａと該レーザスリット投光器１ａから投射され対象ワークからの反射光を受光するカメラ１ｂで構成された３次元視覚センサのセンサ部であり、符号１０は該センサ部１を制御し、カメラ１ｂで撮像した画像を解析、分析する画像処理部である。
【００２１】
画像処理部１０は、プロセッサ１１と該プロセッサ１１とバス２０で接続されたシステムプログラムが格納されているＲＯＭ１２、画像処理プロセッサ１３、センサ部１と接続されるセンサインタフェース１４，表示装置付きＭＤＩ１５、フレームメモリ１６、各種応用プログラムや設定値が格納される不揮発性メモリ（バッテリでバックアップされたＲＡＭ等）１７、データ一次記憶、演算等に使用されるＲＡＭ１８、該３次元視覚センサを取り付けたロボット等との通信を行う通信インタフェース１９等で構成されている。
【００２２】
レーザスリット投光器１ａから投射され、その反射光により捉えられた画像はグレースケールによる濃淡画像に変換されてフレームメモリ１６に格納される。画像処理プロセッサ１３は、プログラム内容に応じたプロセッサ１１からの制御信号に従ってフレームメモリに格納された画像データを解析して処理する。
上述した３次元視覚センサの構成は従来のものと同一であり、相違する点は、不揮発性メモリ１７に後述する図４に示す処理のプログラムが格納されている点である。
【００２３】
そこで、まず、作業対象である対象ワークから標準的なものを代表とし、同種ワークとして１つ選び、該同種ワークに基づいて、基準となるデータを採取する。
まず、所定位置より参照光であるレーザスリット光を投射せずにカメラ１ｂでこの同種ワークを撮像し、フレームメモリ１６に格納させた画像を表示装置／ＭＤＩ１５の表示装置に表示させ、該対象ワークを特徴付ける特徴部分の領域Ａを基準領域として設定し、画像処理プロセッサ１３で該領域Ａの中心位置Ｃａ（ｘａ，ｙａ）、回転角度θａ、特徴部分の大きさの指標値となる長さや面積等の特徴部分の大きさＳａを求め不揮発性メモリ１７に記憶する。
【００２４】
次に、３次元視覚センサ１とこの代表対象ワーク（同種ワーク）との相対位置関係を変えずに、レーザスリット光を投射して、このワークの画像を得る。この画像を表示装置／ＭＤＩ１５の表示装置に表示させ、該対象ワークの３次元計測対象領域Ｂを設定し記憶する。この実施形態では、３次元計測対象領域Ｂを円形とし、その中心位置Ｃｂ（ｘｂ，ｙｂ）、その領域Ｂの範囲を示す半径Ｒｂを求め不揮発性メモリ１７に記憶する。
なお、２次元画像が明確に得られるならば、レーザスリット光を投射せず又は投射して領域Ａ，Ｂを同時に設定してもよい。
【００２５】
又、前述したように、必要とする情報は、領域Ａの中心位置Ｃａ（ｘａ，ｙａ）と領域Ｂの中心位置Ｃｂ（ｘｂ，ｙｂ）の中心位置関係である相対関係情報（ｘｂ−ｘａ），（ｙｂ−ｙａ）と特徴部分の大きさＳａ、基準領域Ａの傾き角度θａ、領域Ｂの範囲（半径Ｒｂ）であるから、これらの情報（ｘｂ−ｘａ）、（ｙｂ−ｙａ）、Ｓａ、θａ、Ｒｂのみを記憶するだけでもよい。
【００２６】
こうして、３次元計測箇所を特定するためのデータを格納した後、作業を開始すると、３次元視覚センサのプロセッサ１１は、図４の処理を行い、対象ワークの３次元位置、姿勢を求める。
まず、レーザスリット光を投射せずに対象ワークを撮像し画像を得る（ステップ１００）。そして、得られた画像より画像処理プロセッサ１３で２次元の画像処理を行い、特徴部分の領域Ａ’の中心位置Ｃ’ａ（ｘ’ａ，ｙ’ａ）、傾き角度θ’ａ大きさＳ’ａを求める（ステップ１０１）。
【００２７】
対象ワークから上述したデータが採取できたか判断し（ステップ１０２）、採取できなければ、この処理を終了する。又、採取できれば、ステップ１０３に進み、レーザスリット投光器１ａよりレーザスリット光を投射し、カメラ１ｂで撮像してレーザ光を含んだ画像を得る（ステップ１０３）。
【００２８】
次に、ステップ１０１で求めた特徴部分の領域Ａ’の中心位置Ｃ’ａ（ｘ’ａ，ｙ’ａ），傾き角度θ’ａ，大きさＳ’ａと、予め設定記憶されている基準となる領域Ａの中心位置Ｃａ（ｘａ，ｙａ），回転角度θａ，大きさＳａ、及び３次元計測対象領域Ｂの中心位置Ｃｂ（ｘｂ，ｙｂ），半径Ｒｂに基づいて、３次元計測対象箇所の領域Ｂ’の中心位置Ｃ’ｂ（ｘ’ｂ，ｙ’ｂ）と半径Ｒ’ｂを求める（ステップ１０４）。そして、ステップ１０３で得られた画像より、３次元計測対象箇所の領域Ｂ’（中心位置Ｃ’ｂ（ｘ’ｂ，ｙ’ｂ）、半径Ｒ’ｂ）に切り替えて該領域の情報を抽出し、この抽出された情報のみを使用して対象ワークの３次元位置、姿勢の計測を行う（ステップ１０５，１０６）。
【００２９】
これによって、対象ワークの位置姿勢が基準となる位置、姿勢よりずれていても、３次元計測対象箇所が正確に特定され、３次元の位置、姿勢を正確に検出することができる。
【００３０】
上述した第１の実施形態では、対象ワークが３次元においてその位置姿勢が変わることを前提として説明した。しかし、カメラの光軸に対して直交する平面（ＸＹ平面）上で、対象ワークが移動するだけで、その姿勢も変わらないものであれば、上述した１〜３式において、Ｓａ’／Ｓａ＝１、θ’ａ−θａ＝０となるから、予め記憶しておく情報、若しくは利用する情報は領域Ａと領域Ｂの相対位置関係のデータ（ｘｂ−ｘａ）、（ｙｂ−ｙａ）だけでよい。そして領域Ｂ’を求める演算は、
ｘ’ｂ＝（ｘｂ−ｘａ）＋ｘ’ａ
ｙ’ｂ＝（ｙｂ−ｙａ）＋ｙ’ａ
Ｒ’ｂ＝Ｒｂ
又、上述した対象ワークがＸＹ平面上で移動し、回転もするものであれば、利用するデータ又は記憶しておくデータは、相対位置関係のデータ（ｘｂ−ｘａ）、（ｙｂ−ｙａ）、傾き角度θａだけでよい。そして上述した１〜３式において、Ｓ’ａ／Ｓａ＝１として演算処理を行えば、目標とする３次元計測対象箇所の領域（Ｂ＝Ｂ’）を求めることができる。
【００３１】
上述した第１の実施形態では、２次元の画像処理によって対象ワークの特徴的部分を検出し、これに基づいて、３次元計測対象箇所（Ｂ＝Ｂ’）を求め計測するようにしたが、２次元的な特徴がないような対象ワークの場合には、適用が難しい。このような場合で、対象ワークがその３次元計測対象箇所と高さ関係がそれほど変わらない部位が比較的広く分布しているような場合、対象ワークとセンサ部の間の距離（高さ）情報を用いることで、上述した第１の実施形態と同等の結果を得ることができる。
【００３２】
図５は対象ワークとセンサ部間の距離（高さ）情報を用いて、対象ワークの３次元位置、姿勢を計測する第２の実施形態の説明図である。センサ部１に対して、対象ワークＷがセンサ部１から近い距離Ｄ１にあった場合、レーザスリット投光器１ａより所定のレーザスリット光Ｌを投射して、カメラ１ｂで撮像して得られた画像Ｅ１において、対象ワークの画像ｗ１が得られたとする、そのレーザスリット光上における対象ワークの画像ｗ１の位置は図５に示すようにカメラ視野内の画像Ｅ１における所定位置にある。又、対象ワークＷが距離Ｄ２の位置にあり、同様に所定のレーザスリット光Ｌを投射して、対象ワークの画像ｗ２が得られた場合、該対象ワークの画像ｗ２は、カメラ視野内の画像Ｅ２において図５に示すように右にずれた位置に現れる。
【００３３】
すなわち、対象ワークＷが存在するセンサ部１からの位置とセンサ部１で捉えた画像上における対象ワークＷの画像（ｗ１，ｗ２）の位置の関係は、所定の関係にある。そこで、予めキャリブレーションして、カメラで捉えた画像上における対象ワークの画像位置とセンサからの対象ワーク間の距離の関係、及び３次元計測対象箇所の領域を３次元視覚センサの画像処理部１０の不揮発性メモリ１７に表示装置／ＭＤＩ１５を用いて設定しておく。
【００３４】
そして、対象ワークの３次元位置、姿勢を計測する作業時には、図６に示す処理を画像処理部１０のプロセッサ１１は実行する。
レーザスリット投光器１ａよりレーザスリット光を対象ワークに投射し、カメラ１ｂでレーザ光を含んだ画像を得る（ステップ２００）。この画像よりレーザスリット光の投射箇所が存在すると予想される所定幅の特殊領域における高さの平均値を求め、対象ワークまでの距離（高さ）を測定する（ステップ２０１）。そして、得られた距離（高さ）とキャリブレーションデータに基づいて、得られた画像上における３次元計測対象領域を計算する（ステップ２０２）。
【００３５】
求められた３次元計測対象領域内のレーザ情報を抽出する（ステップ２０３）。この抽出された情報のみを使用して対象ワークの３次元位置、姿勢を求める（ステップ２０４）。
【００３６】
図７は、本発明の第３の実施形態の説明図であり、図８はこの第３の実施形態動作処理のフローチャートである。この実施形態では、３次元視覚センサ以外にさらに別のカメラ３０が設けられている。このカメラ３０で撮像した画像の処理を行う画像処理部も備え、この画像処理部とロボットの制御装置を通信で接続してもよいがこの実施形態では、カメラ３０を３次元視覚センサに接続するようにしている。すなわち、図３に示す３次元視覚センサの画像処理部１０にカメラインタフェースを設けて該カメラインタフェースを介してカメラ３０を接続するようにする。
【００３７】
そして、このカメラ３０は、図７（ａ）に示すように、バラ積みされた対象ワーク全体を撮像できる位置に配置され、３次元視覚センサのセンサ部１はロボット３１のアーム先端手首に取り付けられている。
【００３８】
まず、対象ワークから代表的なワークである同種ワークを３次元視覚センサで撮像し、その画像を表示装置／ＭＤＩ１５の表示画面に表示し、ＭＤＩを用いて前記対象ワークの３次元計測対象箇所の領域を予め不揮発性メモリ１７に設定しておく。
【００３９】
カメラ３０でバラ積みされた対象ワークＷ全体を撮像する（ステップ３００）。このとき図７（ａ’）に示すようバラ積み全体の２次元画像が得られる。画像処理部１０のプロセッサ１１は、対象ワークＷが１つでも画像内にあるか判断し（ステップ３０１）、１つも対象ワークＷを含まなければ、この処理を終了する。又、１つでもあれば、この画像から対象ワーク全体画像が得られている画像を選択して取り出し順位を付加し、かつ、画像位置からロボット座標系上の対象ワーク位置に変換して付加した順位順に対象ワーク位置をロボットの制御装置に送信する（ステップ３０２）。ロボットの制御装置は送られて来た順位に基づいて、図７（ｂ）に示すように３次元視覚センサが該対象ワークＷを撮像できる位置に移動する（ステップ３０３）。そして、図７（ｂ’）に示すように、３次元視覚センサのレーザスリット投光器１ａよりレーザスリット光を投射して対象ワークの３次元位置を測定する（ステップ３０４）。この測定で、対象ワークの３次元位置姿勢が概略特定できる。３次元視覚センサからロボット制御装置に計測した３次元位置姿勢情報を送り、ロボット制御装置は、該情報に基づいて、図７（ｃ）、図７（ｃ’）に示すように、３次元視覚センサが対象ワークの所定対向面に対して対向するように、すなわちカメラの光軸と対象ワークの所定対向面が直交するようにロボットを駆動する（ステップ３０５）。
【００４０】
次に３次元センサはレーザスリット光を投射して対象ワークＷの予め設定されている３次元計測領域を計測し、対象ワークの正確な位置姿勢を求める（ステップ３０６）。その後、この求められた対象ワークの位置姿勢に基づいて、ロボットを駆動し、この対象ワークＷを取り出す（ステップ３０７）。そして、ステップ３０２で順位が付けられた全ての対象ワークＷを取り出し処理をしたか判断し（ステップ３０８）、順位付けられた全ての対象ワークＷに対して取り出し処理が終了していなければ、ステップ３０３に戻り、前述した処理動作を繰り返す。
【００４１】
又、順位付けられた全ての対象ワークＷに対して取り出し処理が終了していれば、ステップ３００に戻り、バラ積みされた対象ワークＷの山をカメラ３０で撮像し、以下前述した処理を繰り返すことになる。
【００４２】
【発明の効果】
本発明は、３次元視覚センサから投射した参照光から得られる情報の中で、特に計測したい箇所のみを抽出して、対象ワークの３次元位置、姿勢を計測するようにしたから、３次元視覚センサと対象ワーク間の位置関係を固定する必要がなく、かつ、正確に３次元計測ができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の原理説明図で、対象ワークを撮像した画像からの基準となるデータの取得の説明図である。
【図２】同第１の実施形態における原理説明図で、対象ワークを撮像したとき該対象ワークの位置姿勢のずれを説明する説明図である。
【図３】本発明の実施形態における３次元視覚センサのブロック図である。
【図４】本発明の第１の実施形態における動作処理フローチャートである。
【図５】本発明の第２の実施形態における対象ワークと３次元視覚センサ間の距離と加増の関係を説明する説明図である。
【図６】同第２の実施形態の動作処理フローチャートである。
【図７】本発明の第３の実施形態の説明図である。
【図８】同第３の実施形態における動作処理フローチャートである。
【符号の説明】
１　３次元視覚センサのセンサ部
１ａ　レーザスリット光発行器
１ｂ　カメラ
１０　３次元視覚センサの画像処理部
３０　別のカメラ
３１　ロボット
Ｌ　レーザスリット光
Ｗ　対象ワーク
ｗ１，ｗ２　対象ワークの画像
Ｅ１，Ｅ２　画像
Ｄ１，Ｄ２　３次元視覚センサからの対象ワークの距離

Claims

対象ワークに参照光を投射して該対象ワークを撮像した画像から前記対象ワークの３次元情報を求める３次元視覚センサにおいて、
前記対象ワークと同種のワークを所定位置より撮像した２次元画像より得られる該対象ワークの特徴とする部分の第１領域に関する情報と、３次元計測対象箇所の第２領域の情報を基準情報として記憶した記憶手段と、
前記対象ワークを撮像し、該撮像した画像中から第１領域に該当する部分を求める手段と、
前記第１領域に該当する部分の位置の情報と、前記予め記憶した基準情報に基づいて、第２領域に該当する部分を求める手段と、
前記対象ワークに参照光を投射し、得られた画像における前記求めた第２領域に該当する部分から前記対象ワークの３次元情報を求める手段と、
を備えることを特徴とする３次元視覚センサ。
前記基準情報は、第１領域の位置の情報と第２領域の位置及びその領域の範囲の情報である請求項１記載の３次元視覚センサ。
前記基準情報は、第１領域と第２領域の相対位置関係の情報と第２領域の範囲の情報である請求項１記載の３次元視覚センサ。
対象ワークに参照光を投射して該対象ワークを撮像した画像から前記対象ワークの３次元情報を求める３次元視覚センサにおいて、
前記対象ワークと同種のワークを所定位置より撮像した２次元画像より得られる該対象ワークの特徴とする部分の第１領域に関する情報と、３次元計測対象箇所の第２領域の情報を基準情報として記憶した記憶手段と、
前記対象ワークを撮像し、該撮像した画像中から第１領域に該当する部分を求める手段と、
前記第１領域に該当する部分の位置及び姿勢の情報と、前記予め記憶した基準情報に基づいて、第２領域に該当する部分を求める手段と、
前記対象ワークに参照光を投射し、得られた画像における前記求めた第２領域に該当する部分から前記対象ワークの３次元情報を求める手段と、
を備えることを特徴とする３次元視覚センサ。
前記基準情報は、第１領域の位置、姿勢と、２領域の位置及びその領域の範囲の情報である請求項４記載の３次元視覚センサ。
前記基準情報は、第１領域の姿勢の情報、第２領域の範囲の情報及び第１領域と第２領域の相対位置関係の情報とである請求項４記載の３次元視覚センサ。
対象ワークに参照光を投射して該対象ワークを撮像した画像から前記対象ワークの３次元情報を求める３次元視覚センサにおいて、
前記対象ワークと同種のワークを所定位置より撮像した２次元画像より得られる該対象ワークの特徴とする部分の第１領域に関する情報と、３次元計測対象箇所の第２領域の情報を基準情報として記憶した記憶手段と、
前記対象ワークを撮像し、該撮像した画像中から第１領域に該当する部分を求める手段と、
前記第１領域に該当する部分の位置と大きさの情報と、前記記憶した基準情報に基づいて、第２領域に該当する部分を求める手段と、
前記対象ワークに参照光を投射し、得られた画像における前記求めた第２領域に該当する部分から前記対象ワークの３次元情報を求める手段と、
を備えることを特徴とする３次元視覚センサ。
前記基準情報は、第１領域の位置、大きさと、第２領域の位置及びその範囲の情報である請求項７記載の３次元視覚センサ。
前記基準情報は、第１領域の大きさ、第２領域の範囲と第１領域と第２領域の相対位置関係の情報である請求項７記載の３次元視覚センサ。
対象ワークに参照光を投射して該対象ワークを撮像した画像から前記対象ワークの３次元情報を求める３次元視覚センサにおいて、
前記対象ワークと同種のワークを所定位置より撮像した２次元画像より得られる該対象ワークの特徴とする部分の第１領域に関する情報と、３次元計測対象箇所の第２領域の情報を基準情報として記憶した記憶手段と、
前記対象ワークを撮像し、該撮像した画像中から第１領域に該当する部分を求める手段と、
前記第１領域に該当する部分の位置、姿勢、及び大きさの情報と、前記予め記憶した基準情報に基づいて、第２領域に該当する部分を求める手段と、
前記対象ワークに参照光を投射し、得られた画像における前記求めた第２領域に該当する部分から前記対象ワークの３次元情報を求める手段と、
を備えることを特徴とする３次元視覚センサ。
前記基準情報は、第１領域の位置、大きさ、姿勢と、第２領域の位置とその範囲の情報である請求項１０記載の３次元視覚センサ。
前記基準情報は、第１領域の大きさ、姿勢と、第２領域の範囲と第１領域と第２領域の相対位置係の情報である請求項１０記載の３次元視覚センサ。
前記第１領域の情報を得る２次元画像は前記参照光を投射せずに撮像して得られた２次元画像で、前記第２領域の情報を得る２次元画像は前記参照光を投射し撮像して得られた２次元画像である請求項１乃至１２の内いずれか１項に記載の３次元視覚センサ。
前記第１領域及び前記第２領域の情報を得る２次元画像は前記参照光を投射し撮像して得られた２次元画像である請求項１乃至１２の内いずれか１項に記載の３次元視覚センサ。
対象ワークに参照光を投射して該対象ワークを撮像し、前記対象ワークの３次元情報を求める３次元視覚センサにおいて、
前記対象ワークと同種のワークを撮像した画像を用いて前記対象ワークの３次元情報を得るための前記画像上での領域を予め設定する手段と、
前記対象ワークに参照光を投射して撮像した画像に対し、前記対象ワークについての所定の情報に基づいて前記領域の位置を変更する手段と、
前記変更された領域から前記対象ワークの３次元情報を求める手段と、
を備えることを特徴とする３次元視覚センサ。
対象ワークに参照光を投射して該対象ワークを撮像し、前記対象ワークの３次元情報を求める３次元視覚センサにおいて、
前記対象ワークと同種のワークを撮像した画像を用いて前記対象ワークの３次元情報を得るための前記画像上での領域を予め設定する手段と、
前記対象ワークに参照光を投射して撮像した画像に対し、前記対象ワークについての所定の情報に基づいて前記領域の位置及び大きさを変更する手段と、
前記変更された領域から前記対象ワークの３次元情報を求める手段と、
を備えることを特徴とする３次元視覚センサ。
対象ワークに参照光を投射して該対象ワークを撮像し、前記対象ワークの３次元情報を求める３次元視覚センサにおいて、
前記対象ワークと同種のワークを撮像した画像を用いて前記対象ワークの３次元情報を得るための前記画像上での領域を予め設定する手段と、
前記対象ワークに参照光を投射して撮像した画像に対し、前記対象ワークについての所定の情報に基づいて前記領域の位置及び姿勢を変更する手段と、
前記変更された領域から前記対象ワークの３次元情報を求める手段と、
を備えることを特徴とする３次元視覚センサ。
対象ワークに参照光を投射して該対象ワークを撮像し、前記対象ワークの３次元情報を求める３次元視覚センサにおいて、
前記対象ワークと同種のワークを撮像した画像を用いて前記対象ワークの３次元情報を得るための前記画像上での領域を予め設定する手段と、
前記対象ワークに参照光を投射して撮像した画像に対し、前記対象ワークについての所定の情報に基づいて前記領域の位置、姿勢及び大きさを変更する手段と、前記変更された領域から前記対象ワークの３次元情報を求める手段と、
を備えることを特徴とする３次元視覚センサ。
前記所定の情報が前記対象ワークの高さ計測から求められた情報であることを特徴とする請求項１５又は請求項１６に記載の３次元視覚センサ。
前記３次元視覚センサがロボットに取り付けられ、前記所定の情報が前記ロボットの位置情報を元に求められた前記対象ワークと前記ロボットの相対位置情報であることを特徴とする請求項１５乃至１８の内いずれか１項に記載の３次元視覚センサ。
前記所定の情報が、外部から設定された情報であることを特徴とする請求項１５又は請求項１６に記載の３次元視覚センサ。