JP2004138462A - 3次元視覚センサ - Google Patents
3次元視覚センサ Download PDFInfo
- Publication number
- JP2004138462A JP2004138462A JP2002302559A JP2002302559A JP2004138462A JP 2004138462 A JP2004138462 A JP 2004138462A JP 2002302559 A JP2002302559 A JP 2002302559A JP 2002302559 A JP2002302559 A JP 2002302559A JP 2004138462 A JP2004138462 A JP 2004138462A
- Authority
- JP
- Japan
- Prior art keywords
- information
- target work
- dimensional
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Abstract
【解決手段】対象ワークを所定位置より撮像した2次元画像より該対象ワークの特徴部分である第1領域Aの位置Ca、傾きθa、大きさSと、計測対象箇所の第2領域Bのの位置Cb,半径Rbを基準情報として設定記憶する。対象ワークを撮像し、該撮像した画像中から第1領域Aの位置C’a、傾きθ’a、大きさS’と基準情報に基づいて、第2領域に該当する部分を求め、該求められた第2領域に該当する部分を3次元計測し対象ワークの位置、姿勢を求める。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、レーザ光等の参照光を対象ワークに投射し、その反射光をカメラで受光して対象ワークの位置、姿勢を測定する3次元視覚センサに関する。
【0002】
【従来の技術】
レーザ光等の参照光を対象ワークに投射し、その反射光をカメラで受光して対象ワークの位置、姿勢を測定する3次元視覚センサ自体は、広く一般に使用されている。参照光のタイプも、スポット光やスリット光等があり、又投光手段も、光源が2つあるもの、1つの光源をスキャニングして複数本の光源があるものと同等な効果を得るものなど、様々なタイプの3次元視覚センサが公知である。
【0003】
又、2次元的な画像を撮像する撮像装置と、スリットレーザ光による3次元位置測定装置とにより対象物の輪郭線を3次元位置で検出する視覚装置も公知である(例えば、特許文献1参照)。
【0004】
【特許文献1】
特開昭60−183509号公報
【0005】
【発明が解決しようとする課題】
所定位置に配置した対象ワークを3次元視覚センサで測定し、対象ワークの形状データの取得や対象ワークを検査するような場合には、3次元視覚センサから投射するレーザ等の参照光は、必ず対象ワークに投射され、必要なデータを得ることができる。しかし、平面上での対象ワークの位置さらには姿勢が決まらないもの、又、バラ積みされた対象ワークのような3次元位置、姿勢が決まらないものを対象として、対象ワークの位置姿勢を3次元視覚センサで測定しようとする場合、参照光が対象ワークのどの部分に投射させているのか、さらには、対象ワークに参照光が当たっているのか、判別できない。そのため、計測したい箇所に参照光を投射されるように3次元視覚センサの位置姿勢を調整する必要があるが、自動的に調整できる3次元視覚センサはなく、作業の自動化の上で問題であった。
【0006】
そこで、本発明の目的は、対象ワークの位置又は/及び姿勢が変化しても、3次元視覚センサにより、対象ワークに関連する必要なデータを自動的に測定できる3次元視覚センサを提供することにある。
【0007】
【課題を解決するための手段】
対象ワークに参照光を投射して該対象ワークを撮像した画像から前記対象ワークの3次元情報を求める3次元視覚センサにおいて、請求項1から3に係わる発明は、前記対象ワークと同種のワークを所定位置より撮像した2次元画像より得られる該対象ワークの特徴とする部分の第1領域に関する情報と、3次元計測対象箇所の第2領域の情報を基準情報(第1領域の位置と第2領域の位置、又は第1領域、第2領域の相対位置関係及び第2領域の範囲の情報)として記憶した記憶手段と、前記対象ワークを撮像し、該撮像した画像中から第1領域に該当する部分を求める手段と、前記第1領域に該当する部分の位置の情報と、前記記憶した基準情報に基づいて、第2領域に該当する部分を求める手段と、前記対象ワークに参照光を投射し、得られた画像における前記求めた第2領域に該当する部分から前記対象ワークの3次元情報を求める手段とを備えることによって、対象ワークの3次元位置又は位置姿勢を正確に計測するようにしたものである。
【0008】
又、請求項4から6に係わる発明は、基準情報として第1領域の位置、姿勢と第2領域の位置、範囲、又は第1領域と第2領域の相対位置関係、第1領域の姿勢、第2領域の範囲とし、前記対象ワークを撮像して求めた第1領域に該当する部分の位置、姿勢の情報と、前記予め記憶した基準情報に基づいて、第2領域に該当する部分を求めるようにして、位置姿勢が変化する対象ワークの3次元位置姿勢を正確に計測するようにした。
【0009】
又、請求項7から9に係わる発明は、基準情報として第1領域の位置、大きさと第2領域の位置、範囲、又は第1領域と第2領域の相対位置関係、第1領域の大きさ、第2領域の範囲とし、前記対象ワークを撮像して求めた第1領域に該当する部分の位置、大きさ情報と、前記記憶した基準情報に基づいて、第2領域に該当する部分を求めるるようにして、3次元視覚センサからの距離が異なる対象ワークの3次元位置を正確に計測するようにした。
【0010】
又、請求項10から12に係わる発明は、基準情報として第1領域の位置、大きさ、姿勢と第2領域の位置、範囲、又は第1領域と第2領域の相対位置関係、第1領域の大きさ、姿勢、第2領域の範囲とし、前記対象ワークを撮像して求めた第1領域に該当する部分の位置、大きさ、姿勢の情報と、前記予め記憶した基準情報に基づいて、第2領域に該当する部分を求めるるようにして、3次元視覚センサからの距離、位置、姿勢が異なる対象ワークの3次元位置姿勢を正確に計測するようにした。
【0011】
請求項13に係わる発明は、前記第1領域の情報を得る2次元画像は前記参照光を投射せずに撮像して得られた2次元画像とし、記第2領域の情報を得る2次元画像は参照光を投射し撮像して得られた2次元画像とした。又、請求項14に係わる発明は、前記第1領域及び前記第2領域の情報を得る2次元画像として参照光を投射し撮像して得られた2次元画像とした。
【0012】
請求項15から18に係わる発明は、前記対象ワークと同種のワークを撮像した画像を用いて前記対象ワークの3次元情報を得るための前記画像上での領域を予め設定する手段と、前記対象ワークに参照光を投射して撮像した画像に対し、前記対象ワークについて所定の情報に基づいて前記領域の位置又は位置と大きさ、又は位置と大きさと姿勢を変更する手段と、前記変更された領域から前記対象ワークの3次元情報を求める手段とを備えることで、対象ワークの3次元位置姿勢を正確に測定できるようにした。
【0013】
そして、請求項19に係わる発明は、前記所定の情報を前記対象ワークの高さ計測から求められた情報とし、請求項20に係わる発明は、3次元視覚センサをロボットに取り付け、前記所定の情報をロボットの位置情報を元に求められた前記対象ワークと前記ロボットの相対位置情報とした。又、請求項21に係わる発明は、前記所定の情報が、外部から設定される情報とした。
【0014】
【発明の実施の形態】
図1、図2は本発明の第1の実施形態の原理説明図である。作業対象となる対象ワークの中から選ばれた対象ワークと同種のワークをカメラで撮像した画像を示すもので、領域Aは2次元画像処理によって、該対象ワーク(の同種のワーク)の特徴部分を検出した領域であり、この特徴部分を形成する領域Aの中心位置Ca(xa,ya)、傾き角度θa、特徴部分の大きさがSaとして検出される。
【0015】
一方、領域Bは、この画像上において設定した3次元計測対象箇所を表しており、この例ではこの3次元計測対象箇所の領域Bを円形とし、その中心位置Cb(xb,yb)と該領域Bの範囲として半径Rbを設定している。
領域A,Bは、同一ワーク上にあるものであるから、該同一種である対象ワークにおいては、この領域A,Bの相対関係は常に保たれ一定である。すなわち、対象ワークにおいて中心位置Ca,Cb間の距離{(xb−xa)2+(yb−ya)2}1/2は一定である。
【0016】
こうして基準となる特徴部分の領域Aの中心位置Ca(xa,ya)、傾き角度θa、大きさSa、領域Bの中心位置Cb(xb,yb)と該領域Bの範囲として半径Rbを基準情報として設定する。又は、領域Aの中心位置Ca(xa,ya)、傾き角度θa、大きさSaと領域Aと領域Bの相対関係(xb−xa)、(yb−ya)及び領域Bの半径Rbを設定記憶しておく。
【0017】
3次元視覚センサ(カメラ)の測定位置が同一でも測定対象の対象ワークの位置、姿勢が代われば、3次元視覚センサから投射される参照光が当たる対象ワーク上の位置も変化する。この変化に合わせて、3次元視覚センサによる測定対象箇所を切り替えなければ、対象ワーク上の測定すべき領域Bを測定できなくなる。
そこで、本発明は、自動的に測定対象位置を切り替え、対象ワークの位置姿勢が変化しても常に対象ワーク上の所定の領域Bを測定できるようにしたものである。
【0018】
図2は、作業対象の対象ワークを3次元視覚センサのカメラで撮像した画像であり、領域A’は、2次元画像処理によってワークの特徴部分を検出した領域である。この検出結果の領域Aの中心位置はC’a(x’a,y’a)、傾き角度θ’a大きさS’aであったとする。このデータと記憶しているデータから次の1〜3式を演算することによって、測定しようとする対象ワーク上の領域Bに対応する領域B’の中心位置C’b(x’b,y’b)と半径R’bが求められる。
x’b=(S’a/Sa){(xb−xa)cos(θ’a−θa)−(yb−ya)sin(θ’a−θa)}+x’a…(1)
y’b=(S’a/Sa){(xb−xa)sin(θ’a−θa)+(yb−ya)cos(θ’a−θa)}+y’a…(2)
R’b=(S’a/Sa)Rb …(3)
こうして求められた中心位置C’b(x’b,y’b)と半径R’bの領域B’に3次元計測対象箇所を切り替えて計測すれば、対象ワーク上の同一の領域Bが計測されることになり、正確に対象ワークの3次元位置、姿勢を測定できる。
【0019】
すなわち、対象ワークが、カメラの光軸に対して直交する平面(XY平面)上で基準位置よりずれていたり、回転してその姿勢がずれていても、上記1,2式によって、3次元計測対象箇所の領域B’を求めることができ、さらに、カメラと対象ワーク間の距離が基準より変動していても、上記3式により、3次元計測対象箇所の範囲を示す半径RbがR’bに変更され、又、1式、2式によってその平面上の位置も修正されるから、目標とする3次元計測対象箇所の領域(B=B’)を求め計測することができる。
【0020】
図3は、本発明のこの実施形態における3次元視覚センサの要部ブロック図である。図3において符号1は、参照光としてのスリット光を投射するレーザスリット光投光器1aと該レーザスリット投光器1aから投射され対象ワークからの反射光を受光するカメラ1bで構成された3次元視覚センサのセンサ部であり、符号10は該センサ部1を制御し、カメラ1bで撮像した画像を解析、分析する画像処理部である。
【0021】
画像処理部10は、プロセッサ11と該プロセッサ11とバス20で接続されたシステムプログラムが格納されているROM12、画像処理プロセッサ13、センサ部1と接続されるセンサインタフェース14,表示装置付きMDI15、フレームメモリ16、各種応用プログラムや設定値が格納される不揮発性メモリ(バッテリでバックアップされたRAM等)17、データ一次記憶、演算等に使用されるRAM18、該3次元視覚センサを取り付けたロボット等との通信を行う通信インタフェース19等で構成されている。
【0022】
レーザスリット投光器1aから投射され、その反射光により捉えられた画像はグレースケールによる濃淡画像に変換されてフレームメモリ16に格納される。画像処理プロセッサ13は、プログラム内容に応じたプロセッサ11からの制御信号に従ってフレームメモリに格納された画像データを解析して処理する。
上述した3次元視覚センサの構成は従来のものと同一であり、相違する点は、不揮発性メモリ17に後述する図4に示す処理のプログラムが格納されている点である。
【0023】
そこで、まず、作業対象である対象ワークから標準的なものを代表とし、同種ワークとして1つ選び、該同種ワークに基づいて、基準となるデータを採取する。
まず、所定位置より参照光であるレーザスリット光を投射せずにカメラ1bでこの同種ワークを撮像し、フレームメモリ16に格納させた画像を表示装置/MDI15の表示装置に表示させ、該対象ワークを特徴付ける特徴部分の領域Aを基準領域として設定し、画像処理プロセッサ13で該領域Aの中心位置Ca(xa,ya)、回転角度θa、特徴部分の大きさの指標値となる長さや面積等の特徴部分の大きさSaを求め不揮発性メモリ17に記憶する。
【0024】
次に、3次元視覚センサ1とこの代表対象ワーク(同種ワーク)との相対位置関係を変えずに、レーザスリット光を投射して、このワークの画像を得る。この画像を表示装置/MDI15の表示装置に表示させ、該対象ワークの3次元計測対象領域Bを設定し記憶する。この実施形態では、3次元計測対象領域Bを円形とし、その中心位置Cb(xb,yb)、その領域Bの範囲を示す半径Rbを求め不揮発性メモリ17に記憶する。
なお、2次元画像が明確に得られるならば、レーザスリット光を投射せず又は投射して領域A,Bを同時に設定してもよい。
【0025】
又、前述したように、必要とする情報は、領域Aの中心位置Ca(xa,ya)と領域Bの中心位置Cb(xb,yb)の中心位置関係である相対関係情報(xb−xa),(yb−ya)と特徴部分の大きさSa、基準領域Aの傾き角度θa、領域Bの範囲(半径Rb)であるから、これらの情報(xb−xa)、(yb−ya)、Sa、θa、Rbのみを記憶するだけでもよい。
【0026】
こうして、3次元計測箇所を特定するためのデータを格納した後、作業を開始すると、3次元視覚センサのプロセッサ11は、図4の処理を行い、対象ワークの3次元位置、姿勢を求める。
まず、レーザスリット光を投射せずに対象ワークを撮像し画像を得る(ステップ100)。そして、得られた画像より画像処理プロセッサ13で2次元の画像処理を行い、特徴部分の領域A’の中心位置C’a(x’a,y’a)、傾き角度θ’a大きさS’aを求める(ステップ101)。
【0027】
対象ワークから上述したデータが採取できたか判断し(ステップ102)、採取できなければ、この処理を終了する。又、採取できれば、ステップ103に進み、レーザスリット投光器1aよりレーザスリット光を投射し、カメラ1bで撮像してレーザ光を含んだ画像を得る(ステップ103)。
【0028】
次に、ステップ101で求めた特徴部分の領域A’の中心位置C’a(x’a,y’a),傾き角度θ’a,大きさS’aと、予め設定記憶されている基準となる領域Aの中心位置Ca(xa,ya),回転角度θa,大きさSa、及び3次元計測対象領域Bの中心位置Cb(xb,yb),半径Rbに基づいて、3次元計測対象箇所の領域B’の中心位置C’b(x’b,y’b)と半径R’bを求める(ステップ104)。そして、ステップ103で得られた画像より、3次元計測対象箇所の領域B’(中心位置C’b(x’b,y’b)、半径R’b)に切り替えて該領域の情報を抽出し、この抽出された情報のみを使用して対象ワークの3次元位置、姿勢の計測を行う(ステップ105,106)。
【0029】
これによって、対象ワークの位置姿勢が基準となる位置、姿勢よりずれていても、3次元計測対象箇所が正確に特定され、3次元の位置、姿勢を正確に検出することができる。
【0030】
上述した第1の実施形態では、対象ワークが3次元においてその位置姿勢が変わることを前提として説明した。しかし、カメラの光軸に対して直交する平面(XY平面)上で、対象ワークが移動するだけで、その姿勢も変わらないものであれば、上述した1〜3式において、Sa’/Sa=1、θ’a−θa=0となるから、予め記憶しておく情報、若しくは利用する情報は領域Aと領域Bの相対位置関係のデータ(xb−xa)、(yb−ya)だけでよい。そして領域B’を求める演算は、
x’b=(xb−xa)+x’a
y’b=(yb−ya)+y’a
R’b=Rb
又、上述した対象ワークがXY平面上で移動し、回転もするものであれば、利用するデータ又は記憶しておくデータは、相対位置関係のデータ(xb−xa)、(yb−ya)、傾き角度θaだけでよい。そして上述した1〜3式において、S’a/Sa=1として演算処理を行えば、目標とする3次元計測対象箇所の領域(B=B’)を求めることができる。
【0031】
上述した第1の実施形態では、2次元の画像処理によって対象ワークの特徴的部分を検出し、これに基づいて、3次元計測対象箇所(B=B’)を求め計測するようにしたが、2次元的な特徴がないような対象ワークの場合には、適用が難しい。このような場合で、対象ワークがその3次元計測対象箇所と高さ関係がそれほど変わらない部位が比較的広く分布しているような場合、対象ワークとセンサ部の間の距離(高さ)情報を用いることで、上述した第1の実施形態と同等の結果を得ることができる。
【0032】
図5は対象ワークとセンサ部間の距離(高さ)情報を用いて、対象ワークの3次元位置、姿勢を計測する第2の実施形態の説明図である。センサ部1に対して、対象ワークWがセンサ部1から近い距離D1にあった場合、レーザスリット投光器1aより所定のレーザスリット光Lを投射して、カメラ1bで撮像して得られた画像E1において、対象ワークの画像w1が得られたとする、そのレーザスリット光上における対象ワークの画像w1の位置は図5に示すようにカメラ視野内の画像E1における所定位置にある。又、対象ワークWが距離D2の位置にあり、同様に所定のレーザスリット光Lを投射して、対象ワークの画像w2が得られた場合、該対象ワークの画像w2は、カメラ視野内の画像E2において図5に示すように右にずれた位置に現れる。
【0033】
すなわち、対象ワークWが存在するセンサ部1からの位置とセンサ部1で捉えた画像上における対象ワークWの画像(w1,w2)の位置の関係は、所定の関係にある。そこで、予めキャリブレーションして、カメラで捉えた画像上における対象ワークの画像位置とセンサからの対象ワーク間の距離の関係、及び3次元計測対象箇所の領域を3次元視覚センサの画像処理部10の不揮発性メモリ17に表示装置/MDI15を用いて設定しておく。
【0034】
そして、対象ワークの3次元位置、姿勢を計測する作業時には、図6に示す処理を画像処理部10のプロセッサ11は実行する。
レーザスリット投光器1aよりレーザスリット光を対象ワークに投射し、カメラ1bでレーザ光を含んだ画像を得る(ステップ200)。この画像よりレーザスリット光の投射箇所が存在すると予想される所定幅の特殊領域における高さの平均値を求め、対象ワークまでの距離(高さ)を測定する(ステップ201)。そして、得られた距離(高さ)とキャリブレーションデータに基づいて、得られた画像上における3次元計測対象領域を計算する(ステップ202)。
【0035】
求められた3次元計測対象領域内のレーザ情報を抽出する(ステップ203)。この抽出された情報のみを使用して対象ワークの3次元位置、姿勢を求める(ステップ204)。
【0036】
図7は、本発明の第3の実施形態の説明図であり、図8はこの第3の実施形態動作処理のフローチャートである。この実施形態では、3次元視覚センサ以外にさらに別のカメラ30が設けられている。このカメラ30で撮像した画像の処理を行う画像処理部も備え、この画像処理部とロボットの制御装置を通信で接続してもよいがこの実施形態では、カメラ30を3次元視覚センサに接続するようにしている。すなわち、図3に示す3次元視覚センサの画像処理部10にカメラインタフェースを設けて該カメラインタフェースを介してカメラ30を接続するようにする。
【0037】
そして、このカメラ30は、図7(a)に示すように、バラ積みされた対象ワーク全体を撮像できる位置に配置され、3次元視覚センサのセンサ部1はロボット31のアーム先端手首に取り付けられている。
【0038】
まず、対象ワークから代表的なワークである同種ワークを3次元視覚センサで撮像し、その画像を表示装置/MDI15の表示画面に表示し、MDIを用いて前記対象ワークの3次元計測対象箇所の領域を予め不揮発性メモリ17に設定しておく。
【0039】
カメラ30でバラ積みされた対象ワークW全体を撮像する(ステップ300)。このとき図7(a’)に示すようバラ積み全体の2次元画像が得られる。画像処理部10のプロセッサ11は、対象ワークWが1つでも画像内にあるか判断し(ステップ301)、1つも対象ワークWを含まなければ、この処理を終了する。又、1つでもあれば、この画像から対象ワーク全体画像が得られている画像を選択して取り出し順位を付加し、かつ、画像位置からロボット座標系上の対象ワーク位置に変換して付加した順位順に対象ワーク位置をロボットの制御装置に送信する(ステップ302)。ロボットの制御装置は送られて来た順位に基づいて、図7(b)に示すように3次元視覚センサが該対象ワークWを撮像できる位置に移動する(ステップ303)。そして、図7(b’)に示すように、3次元視覚センサのレーザスリット投光器1aよりレーザスリット光を投射して対象ワークの3次元位置を測定する(ステップ304)。この測定で、対象ワークの3次元位置姿勢が概略特定できる。3次元視覚センサからロボット制御装置に計測した3次元位置姿勢情報を送り、ロボット制御装置は、該情報に基づいて、図7(c)、図7(c’)に示すように、3次元視覚センサが対象ワークの所定対向面に対して対向するように、すなわちカメラの光軸と対象ワークの所定対向面が直交するようにロボットを駆動する(ステップ305)。
【0040】
次に3次元センサはレーザスリット光を投射して対象ワークWの予め設定されている3次元計測領域を計測し、対象ワークの正確な位置姿勢を求める(ステップ306)。その後、この求められた対象ワークの位置姿勢に基づいて、ロボットを駆動し、この対象ワークWを取り出す(ステップ307)。そして、ステップ302で順位が付けられた全ての対象ワークWを取り出し処理をしたか判断し(ステップ308)、順位付けられた全ての対象ワークWに対して取り出し処理が終了していなければ、ステップ303に戻り、前述した処理動作を繰り返す。
【0041】
又、順位付けられた全ての対象ワークWに対して取り出し処理が終了していれば、ステップ300に戻り、バラ積みされた対象ワークWの山をカメラ30で撮像し、以下前述した処理を繰り返すことになる。
【0042】
【発明の効果】
本発明は、3次元視覚センサから投射した参照光から得られる情報の中で、特に計測したい箇所のみを抽出して、対象ワークの3次元位置、姿勢を計測するようにしたから、3次元視覚センサと対象ワーク間の位置関係を固定する必要がなく、かつ、正確に3次元計測ができるものである。
【図面の簡単な説明】
【図1】本発明の第1の実施形態の原理説明図で、対象ワークを撮像した画像からの基準となるデータの取得の説明図である。
【図2】同第1の実施形態における原理説明図で、対象ワークを撮像したとき該対象ワークの位置姿勢のずれを説明する説明図である。
【図3】本発明の実施形態における3次元視覚センサのブロック図である。
【図4】本発明の第1の実施形態における動作処理フローチャートである。
【図5】本発明の第2の実施形態における対象ワークと3次元視覚センサ間の距離と加増の関係を説明する説明図である。
【図6】同第2の実施形態の動作処理フローチャートである。
【図7】本発明の第3の実施形態の説明図である。
【図8】同第3の実施形態における動作処理フローチャートである。
【符号の説明】
1 3次元視覚センサのセンサ部
1a レーザスリット光発行器
1b カメラ
10 3次元視覚センサの画像処理部
30 別のカメラ
31 ロボット
L レーザスリット光
W 対象ワーク
w1,w2 対象ワークの画像
E1,E2 画像
D1,D2 3次元視覚センサからの対象ワークの距離
Claims (21)
- 対象ワークに参照光を投射して該対象ワークを撮像した画像から前記対象ワークの3次元情報を求める3次元視覚センサにおいて、
前記対象ワークと同種のワークを所定位置より撮像した2次元画像より得られる該対象ワークの特徴とする部分の第1領域に関する情報と、3次元計測対象箇所の第2領域の情報を基準情報として記憶した記憶手段と、
前記対象ワークを撮像し、該撮像した画像中から第1領域に該当する部分を求める手段と、
前記第1領域に該当する部分の位置の情報と、前記予め記憶した基準情報に基づいて、第2領域に該当する部分を求める手段と、
前記対象ワークに参照光を投射し、得られた画像における前記求めた第2領域に該当する部分から前記対象ワークの3次元情報を求める手段と、
を備えることを特徴とする3次元視覚センサ。 - 前記基準情報は、第1領域の位置の情報と第2領域の位置及びその領域の範囲の情報である請求項1記載の3次元視覚センサ。
- 前記基準情報は、第1領域と第2領域の相対位置関係の情報と第2領域の範囲の情報である請求項1記載の3次元視覚センサ。
- 対象ワークに参照光を投射して該対象ワークを撮像した画像から前記対象ワークの3次元情報を求める3次元視覚センサにおいて、
前記対象ワークと同種のワークを所定位置より撮像した2次元画像より得られる該対象ワークの特徴とする部分の第1領域に関する情報と、3次元計測対象箇所の第2領域の情報を基準情報として記憶した記憶手段と、
前記対象ワークを撮像し、該撮像した画像中から第1領域に該当する部分を求める手段と、
前記第1領域に該当する部分の位置及び姿勢の情報と、前記予め記憶した基準情報に基づいて、第2領域に該当する部分を求める手段と、
前記対象ワークに参照光を投射し、得られた画像における前記求めた第2領域に該当する部分から前記対象ワークの3次元情報を求める手段と、
を備えることを特徴とする3次元視覚センサ。 - 前記基準情報は、第1領域の位置、姿勢と、2領域の位置及びその領域の範囲の情報である請求項4記載の3次元視覚センサ。
- 前記基準情報は、第1領域の姿勢の情報、第2領域の範囲の情報及び第1領域と第2領域の相対位置関係の情報とである請求項4記載の3次元視覚センサ。
- 対象ワークに参照光を投射して該対象ワークを撮像した画像から前記対象ワークの3次元情報を求める3次元視覚センサにおいて、
前記対象ワークと同種のワークを所定位置より撮像した2次元画像より得られる該対象ワークの特徴とする部分の第1領域に関する情報と、3次元計測対象箇所の第2領域の情報を基準情報として記憶した記憶手段と、
前記対象ワークを撮像し、該撮像した画像中から第1領域に該当する部分を求める手段と、
前記第1領域に該当する部分の位置と大きさの情報と、前記記憶した基準情報に基づいて、第2領域に該当する部分を求める手段と、
前記対象ワークに参照光を投射し、得られた画像における前記求めた第2領域に該当する部分から前記対象ワークの3次元情報を求める手段と、
を備えることを特徴とする3次元視覚センサ。 - 前記基準情報は、第1領域の位置、大きさと、第2領域の位置及びその範囲の情報である請求項7記載の3次元視覚センサ。
- 前記基準情報は、第1領域の大きさ、第2領域の範囲と第1領域と第2領域の相対位置関係の情報である請求項7記載の3次元視覚センサ。
- 対象ワークに参照光を投射して該対象ワークを撮像した画像から前記対象ワークの3次元情報を求める3次元視覚センサにおいて、
前記対象ワークと同種のワークを所定位置より撮像した2次元画像より得られる該対象ワークの特徴とする部分の第1領域に関する情報と、3次元計測対象箇所の第2領域の情報を基準情報として記憶した記憶手段と、
前記対象ワークを撮像し、該撮像した画像中から第1領域に該当する部分を求める手段と、
前記第1領域に該当する部分の位置、姿勢、及び大きさの情報と、前記予め記憶した基準情報に基づいて、第2領域に該当する部分を求める手段と、
前記対象ワークに参照光を投射し、得られた画像における前記求めた第2領域に該当する部分から前記対象ワークの3次元情報を求める手段と、
を備えることを特徴とする3次元視覚センサ。 - 前記基準情報は、第1領域の位置、大きさ、姿勢と、第2領域の位置とその範囲の情報である請求項10記載の3次元視覚センサ。
- 前記基準情報は、第1領域の大きさ、姿勢と、第2領域の範囲と第1領域と第2領域の相対位置係の情報である請求項10記載の3次元視覚センサ。
- 前記第1領域の情報を得る2次元画像は前記参照光を投射せずに撮像して得られた2次元画像で、前記第2領域の情報を得る2次元画像は前記参照光を投射し撮像して得られた2次元画像である請求項1乃至12の内いずれか1項に記載の3次元視覚センサ。
- 前記第1領域及び前記第2領域の情報を得る2次元画像は前記参照光を投射し撮像して得られた2次元画像である請求項1乃至12の内いずれか1項に記載の3次元視覚センサ。
- 対象ワークに参照光を投射して該対象ワークを撮像し、前記対象ワークの3次元情報を求める3次元視覚センサにおいて、
前記対象ワークと同種のワークを撮像した画像を用いて前記対象ワークの3次元情報を得るための前記画像上での領域を予め設定する手段と、
前記対象ワークに参照光を投射して撮像した画像に対し、前記対象ワークについての所定の情報に基づいて前記領域の位置を変更する手段と、
前記変更された領域から前記対象ワークの3次元情報を求める手段と、
を備えることを特徴とする3次元視覚センサ。 - 対象ワークに参照光を投射して該対象ワークを撮像し、前記対象ワークの3次元情報を求める3次元視覚センサにおいて、
前記対象ワークと同種のワークを撮像した画像を用いて前記対象ワークの3次元情報を得るための前記画像上での領域を予め設定する手段と、
前記対象ワークに参照光を投射して撮像した画像に対し、前記対象ワークについての所定の情報に基づいて前記領域の位置及び大きさを変更する手段と、
前記変更された領域から前記対象ワークの3次元情報を求める手段と、
を備えることを特徴とする3次元視覚センサ。 - 対象ワークに参照光を投射して該対象ワークを撮像し、前記対象ワークの3次元情報を求める3次元視覚センサにおいて、
前記対象ワークと同種のワークを撮像した画像を用いて前記対象ワークの3次元情報を得るための前記画像上での領域を予め設定する手段と、
前記対象ワークに参照光を投射して撮像した画像に対し、前記対象ワークについての所定の情報に基づいて前記領域の位置及び姿勢を変更する手段と、
前記変更された領域から前記対象ワークの3次元情報を求める手段と、
を備えることを特徴とする3次元視覚センサ。 - 対象ワークに参照光を投射して該対象ワークを撮像し、前記対象ワークの3次元情報を求める3次元視覚センサにおいて、
前記対象ワークと同種のワークを撮像した画像を用いて前記対象ワークの3次元情報を得るための前記画像上での領域を予め設定する手段と、
前記対象ワークに参照光を投射して撮像した画像に対し、前記対象ワークについての所定の情報に基づいて前記領域の位置、姿勢及び大きさを変更する手段と、前記変更された領域から前記対象ワークの3次元情報を求める手段と、
を備えることを特徴とする3次元視覚センサ。 - 前記所定の情報が前記対象ワークの高さ計測から求められた情報であることを特徴とする請求項15又は請求項16に記載の3次元視覚センサ。
- 前記3次元視覚センサがロボットに取り付けられ、前記所定の情報が前記ロボットの位置情報を元に求められた前記対象ワークと前記ロボットの相対位置情報であることを特徴とする請求項15乃至18の内いずれか1項に記載の3次元視覚センサ。
- 前記所定の情報が、外部から設定された情報であることを特徴とする請求項15又は請求項16に記載の3次元視覚センサ。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002302559A JP3859571B2 (ja) | 2002-10-17 | 2002-10-17 | 3次元視覚センサ |
EP03256492A EP1411322B1 (en) | 2002-10-17 | 2003-10-15 | Optical sensor for measuring position and orientation of an object in three dimensions |
US10/685,498 US7502504B2 (en) | 2002-10-17 | 2003-10-16 | Three-dimensional visual sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002302559A JP3859571B2 (ja) | 2002-10-17 | 2002-10-17 | 3次元視覚センサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004138462A true JP2004138462A (ja) | 2004-05-13 |
JP3859571B2 JP3859571B2 (ja) | 2006-12-20 |
Family
ID=32040827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002302559A Expired - Fee Related JP3859571B2 (ja) | 2002-10-17 | 2002-10-17 | 3次元視覚センサ |
Country Status (3)
Country | Link |
---|---|
US (1) | US7502504B2 (ja) |
EP (1) | EP1411322B1 (ja) |
JP (1) | JP3859571B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010120141A (ja) * | 2008-11-21 | 2010-06-03 | Ihi Corp | バラ積みピッキング装置とその制御方法 |
JP2015157339A (ja) * | 2014-02-25 | 2015-09-03 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置、及び制御方法 |
US10500731B2 (en) | 2016-10-04 | 2019-12-10 | Fanuc Corporation | Robot system including robot supported by movable carriage |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1472052A2 (en) * | 2002-01-31 | 2004-11-03 | Braintech Canada, Inc. | Method and apparatus for single camera 3d vision guided robotics |
JP3930482B2 (ja) * | 2004-01-19 | 2007-06-13 | ファナック株式会社 | 3次元視覚センサ |
WO2007149183A2 (en) * | 2006-05-25 | 2007-12-27 | Braintech Canada, Inc. | System and method of robotically engaging an object |
JP4199264B2 (ja) | 2006-05-29 | 2008-12-17 | ファナック株式会社 | ワーク取り出し装置及び方法 |
WO2008036354A1 (en) * | 2006-09-19 | 2008-03-27 | Braintech Canada, Inc. | System and method of determining object pose |
US20080088704A1 (en) * | 2006-10-13 | 2008-04-17 | Martin Edmund Wendelken | Method of making digital planimetry measurements on digital photographs |
US20080181485A1 (en) * | 2006-12-15 | 2008-07-31 | Beis Jeffrey S | System and method of identifying objects |
US7957583B2 (en) * | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
US8559699B2 (en) * | 2008-10-10 | 2013-10-15 | Roboticvisiontech Llc | Methods and apparatus to facilitate operations in image based systems |
JP5567908B2 (ja) * | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | 3次元計測装置、その計測方法及びプログラム |
JP4837116B2 (ja) * | 2010-03-05 | 2011-12-14 | ファナック株式会社 | 視覚センサを備えたロボットシステム |
JP5767464B2 (ja) * | 2010-12-15 | 2015-08-19 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP5822463B2 (ja) | 2010-12-28 | 2015-11-24 | キヤノン株式会社 | 三次元計測装置、三次元計測方法、およびプログラム |
JP5852364B2 (ja) * | 2011-08-26 | 2016-02-03 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
AT514162A1 (de) | 2013-04-09 | 2014-10-15 | Knapp Ag | Lager- und Kommissioniersystem zum vollautomatisierten Erkennen und Kommissionieren von Artikeln |
EP2963513B1 (en) * | 2014-07-01 | 2022-08-24 | Seiko Epson Corporation | Teaching apparatus and robot system |
WO2016115536A2 (en) * | 2015-01-16 | 2016-07-21 | Robert Bismuth | Determining three-dimensional information from projections or placement of two-dimensional patterns |
CN109035333B (zh) * | 2018-06-14 | 2021-04-06 | 同济大学 | 轴对称图形的偏转角度识别的单目机器视觉方法 |
JP6923574B2 (ja) * | 2019-02-01 | 2021-08-18 | ファナック株式会社 | 3次元形状計測システムおよび3次元形状計測方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ZA838150B (en) * | 1982-11-01 | 1984-06-27 | Nat Res Dev | Automatic welding |
JPH061162B2 (ja) * | 1984-03-02 | 1994-01-05 | 株式会社日立製作所 | 視覚装置 |
JPS60218166A (ja) | 1984-04-14 | 1985-10-31 | Fujitsu Ltd | 画像処理装置 |
US4879664A (en) * | 1985-05-23 | 1989-11-07 | Kabushiki Kaisha Toshiba | Three-dimensional position sensor and three-dimensional position setting system |
JPS6344103A (ja) | 1986-08-12 | 1988-02-25 | Nissan Motor Co Ltd | 位置姿勢認識装置 |
US4961155A (en) * | 1987-09-19 | 1990-10-02 | Kabushiki Kaisha Toyota Chuo Kenkyusho | XYZ coordinates measuring system |
CA1313040C (en) * | 1988-03-31 | 1993-01-26 | Mitsuaki Uesugi | Method and apparatus for measuring a three-dimensional curved surface shape |
JP2562047B2 (ja) | 1988-12-21 | 1996-12-11 | 株式会社不二越 | 対象物体の位置姿勢認識方法 |
US4985846A (en) * | 1989-05-11 | 1991-01-15 | Fallon Patrick J | Acoustical/optical bin picking system |
JPH04178506A (ja) * | 1990-11-13 | 1992-06-25 | Matsushita Electric Ind Co Ltd | ワークの3次元位置計測方法 |
JPH0820207B2 (ja) | 1991-08-19 | 1996-03-04 | 川崎重工業株式会社 | 光学式3次元位置計測方法 |
JPH0560528A (ja) * | 1991-09-03 | 1993-03-09 | Hitachi Ltd | 立体情報入力装置 |
JP2680224B2 (ja) * | 1992-06-25 | 1997-11-19 | 松下電工株式会社 | 立体形状検出方法およびその装置 |
JPH06147830A (ja) | 1992-11-11 | 1994-05-27 | Mitsubishi Electric Corp | 3次元位置測定装置及び3次元位置測定結果補正方法 |
JP3059602B2 (ja) | 1993-01-29 | 2000-07-04 | オリンパス光学工業株式会社 | 微小線幅測定装置及びその方法 |
US5396331A (en) * | 1993-08-10 | 1995-03-07 | Sanyo Machine Works, Ltd. | Method for executing three-dimensional measurement utilizing correctively computing the absolute positions of CCD cameras when image data vary |
US5644141A (en) * | 1995-10-12 | 1997-07-01 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Apparatus and method for high-speed characterization of surfaces |
DE69637413T2 (de) * | 1995-12-27 | 2009-01-22 | Fanuc Ltd. | Kompositdetektionssystem für roboter |
US6064747A (en) * | 1997-05-13 | 2000-05-16 | Axxess Technologies, Inc. | Method and apparatus for using light to identify a key |
JP3556589B2 (ja) * | 2000-09-20 | 2004-08-18 | ファナック株式会社 | 位置姿勢認識装置 |
-
2002
- 2002-10-17 JP JP2002302559A patent/JP3859571B2/ja not_active Expired - Fee Related
-
2003
- 2003-10-15 EP EP03256492A patent/EP1411322B1/en not_active Expired - Lifetime
- 2003-10-16 US US10/685,498 patent/US7502504B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010120141A (ja) * | 2008-11-21 | 2010-06-03 | Ihi Corp | バラ積みピッキング装置とその制御方法 |
JP2015157339A (ja) * | 2014-02-25 | 2015-09-03 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置、及び制御方法 |
US10500731B2 (en) | 2016-10-04 | 2019-12-10 | Fanuc Corporation | Robot system including robot supported by movable carriage |
Also Published As
Publication number | Publication date |
---|---|
JP3859571B2 (ja) | 2006-12-20 |
EP1411322B1 (en) | 2011-08-03 |
EP1411322A3 (en) | 2007-08-01 |
EP1411322A2 (en) | 2004-04-21 |
US7502504B2 (en) | 2009-03-10 |
US20040081352A1 (en) | 2004-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3859571B2 (ja) | 3次元視覚センサ | |
US11022692B2 (en) | Triangulation scanner having flat geometry and projecting uncoded spots | |
US5249035A (en) | Method of measuring three dimensional shape | |
JP3859574B2 (ja) | 3次元視覚センサ | |
CN108965690B (zh) | 图像处理系统、图像处理装置及计算机可读存储介质 | |
US10571254B2 (en) | Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method | |
US8872920B2 (en) | Camera calibration apparatus | |
EP1887315B1 (en) | Multi-range non-contact probe | |
JP2019100915A (ja) | 測量装置、測量装置の校正方法および測量装置の校正用プログラム | |
WO2019012770A1 (ja) | 撮像装置及びモニタリング装置 | |
JP2007101197A (ja) | 物体探索装置,物体探索装置を備えるロボットシステム及び物体探索方法 | |
US11454498B2 (en) | Coordinate measuring system | |
EP1200798A1 (en) | System for scanning of the geometry of large objects | |
JP7353757B2 (ja) | アーチファクトを測定するための方法 | |
JP6973233B2 (ja) | 画像処理システム、画像処理装置および画像処理プログラム | |
JP2007093412A (ja) | 3次元形状測定装置 | |
JP2007303828A (ja) | 断面データ取得方法、システム、及び断面検査方法 | |
JP3696336B2 (ja) | カメラのキャリブレーション方法 | |
JP2000205821A (ja) | 三次元形状計測装置及びその三次元形状計測方法 | |
JPH08254409A (ja) | 三次元形状計測解析法 | |
JP2004163346A (ja) | 非接触式三次元形状計測装置 | |
JP2567923B2 (ja) | 距離計測方法 | |
JP2022110802A (ja) | 形状測定装置、形状測定システム、形状測定方法および形状測定プログラム | |
JPH11132763A (ja) | 測距方法 | |
JPH05337785A (ja) | 研削ロボットの研削経路修正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20021017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041228 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051216 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3859571 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |