JP2011507714A - 空間内において少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム - Google Patents
空間内において少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム Download PDFInfo
- Publication number
- JP2011507714A JP2011507714A JP2010540102A JP2010540102A JP2011507714A JP 2011507714 A JP2011507714 A JP 2011507714A JP 2010540102 A JP2010540102 A JP 2010540102A JP 2010540102 A JP2010540102 A JP 2010540102A JP 2011507714 A JP2011507714 A JP 2011507714A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- industrial robot
- imaging device
- optical imaging
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
本発明は、空間内において少なくとも１つのオブジェクトを最終位置に高精度で位置決めするための方法およびシステムに関する。オブジェクト（１２）を産業用ロボット（１１）によって把持公差以内で把持および保持する。前記産業用ロボット（１１）の前記把持公差を補償する調整量を求める。前記オブジェクト（１２）を高精度で最終姿勢に位置調整するため、該オブジェクト（１２）が所定の公差以内で該最終姿勢に達するまで、以下のステップを繰り返し行う：撮像画像を光学的撮像装置（１ａ，１ｂ）によって撮像するステップ。空間座標系における前記オブジェクト（１２）の実際の姿勢を、前記光学的撮像装置（１ａ，１ｂ）の位置（Ｐａ，Ｐｂ）と、角度測定ユニット（４ａ，４ｂ）によって検出された前記光学的撮像装置（１ａ，１ｂ）のカメラ（２ａ，２ｂ）の角度方向と、前記オブジェクト（１２）における特徴的要素（１３）の知識とから求めるステップ。前記調整量を使用して、前記産業用ロボット（１１）の現在のポジショニングと、姿勢差に関連する量とから、該産業用ロボット（１１）の新たな目標ポジショニングを決定するステップ。前記産業用ロボット（１１）を前記新たな目標ポジショニングに位置調整するステップ。
Description
本発明は、空間内において、産業用ロボットと少なくとも２つの光学的検出装置とを使用して、光学的に検出可能な既知の特徴的要素を有する少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めするための方法と、該方法を実施するのに適したシステムとに関する。このような方法およびシステムは、作業工程を実施するために空間内においてたとえば薄板または他のボディ部材等であるオブジェクトを産業用ロボットによって所定の位置および方向に高精度で設けなければならない自動製造業において、たとえば自動車産業において、組立プロセスおよび製造プロセスを行うのに使用される。
把持装置によって把持されるオブジェクトを空間内の所定の位置および方向に位置決めするための従来技術から公知の操作システム、とりわけ、たとえば関節アームロボット等の産業用ロボットは、内部測定システムを有する。この内部測定システムは、操作システムの肢部のポジショニングを検出し、空間内における把持装置の位置および方向に関する情報を得る。ここでは、軸基準座標系と空間基準座標系とを区別すべきである。各軸基準座標系は、ロボットの１つの軸と該ロボットの瞬時のポジショニングとに関する座標系である。ロボットの個々の軸および肢部の運動連鎖とその瞬時のポジショニングとから、該運動連鎖の終端におけるロボットツールすなわち把持装置の一意の姿勢（位置および方向）が得られる。しかし、産業用ロボットの把持装置の姿勢は有利には空間基準で、いわゆるＴＰＣ（ツールセンターポイント）を使用して記述される。これは、ロボットツールの適切な位置にある仮想的な参照点である。ロボットツールがとるべき姿勢を記述するためには、空間内におけるＴＣＰの位置と該ＴＣＰの回転とを定義する。とりわけいわゆるデナビット‐ハーテンバーグ（Denavit-Hartenberg）変換を使用して、ロボット制御部により、ロボットツールが所定の姿勢をとるように個々のロボット軸がとるべきポジショニングを計算する。ＴＣＰを有する把持装置の姿勢は有利には、ワールド座標系または空間座標系またはセル座標系を基準とする。これらの座標系はたとえば、ロボットの第１軸のベース、基底軸、基底フレームまたはロボットベースに直接的または間接的に関連づけされ、これに結合されている。このようなワールド座標系、空間座標系またはセル座標系に、他の部分座標系が関連づけられる。もちろん、このようなワールド座標系、空間座標系またはセル座標系は絶対的なグローバル系でなくてもよく、別のシステムに従属させることもできる。すなわち、処理内で上位の基準系を形成する座標系である。大抵はこのような座標系は、処理ホール、処理室または処理セルの床面に関連づけされる。
このようにして、ロボット制御部に適切な入力を行うことにより、把持装置によって把持されるオブジェクトも含めて、該把持装置を所定のポジショニングに位置調整することができる。すなわち、把持されたオブジェクトは把持装置のポジショニングの設定によって、空間内に位置決めされる。しかし、その際にはとりわけ、以下の２つの問題が生じる。
高重量のオブジェクトを保持するように構成された従来の産業用ロボットの測定システムは、多くの製造手法で必要とされるほど正確な姿勢を把持装置がとれるほど高精度ではない。産業用ロボットの駆動装置は十分に高精度であるにもかかわらず、その測定システムの精度はそうではない。運動連鎖によって、個々の測定エレメントの測定誤差は倍増し、とりわけ関節アームロボットの角度センサである個々の測定エレメントの測定精度と、ロボット肢部の不可避の弾性とによって倍増する。
また、空間内の把持装置のポジショニングひいては該把持装置の姿勢から、該空間内のオブジェクトの姿勢が必ず得られるとは限らない。というのも、たいていは把持公差内しかオブジェクトを把持することができないからである。この把持公差はしばしば、所要の位置決め精度を大幅に超えることが多いので、把持誤差、すなわち把持装置に対するオブジェクトの相対姿勢も考慮しなければならない。こうするためには、ロボットに所属しない別個の測定システム、とりわけ非接触の光学的測定システムが使用される。このような測定システムを使用しなければ、空間内においてオブジェクトを所要の精度で所定の姿勢に位置決めすることができない。
ＷＯ２００７／００４９８３Ａ１（Pettersson）から、とりわけプレス薄板部材または複合薄板等の被加工品の溶接接合手法が公知である。相互に接合される被加工品は産業用ロボットによって保持され、これらの被加工品を溶接接合するために、該産業用ロボットによって相互に相対的に位置決めされる。溶接接合部が形成される間、被加工品は産業用ロボットによってそれぞれの姿勢に維持され、これらの部材の相対的な姿勢が維持される。この溶接はたとえば溶接ロボットによって行われる。測定システムが被加工品の位置を測定することにより、溶接工程前に被加工品の位置決めを行うことができる。この測定はとりわけ、溶接工程中に連続的に行われる。上記の方法によって、形成するのが面倒な被加工品固有の通常の形状と、該被加工品を溶接前に固定するための被加工品リテーナとを省略することができる。産業用ロボットは、異なる形状および構成の被加工品に汎用的に使用することができる。というのも、被加工品の位置を測定システムによって検出することにより、被加工品を同定してコントロールし、部材を相互間で相対的に、高精度で位置決めできるからである。それゆえ、１つのシステムを異なる被加工品に使用することができ、被加工品リテーナを交換する必要はなくなる。開示内容によれば、上述の手法はとりわけ、薄板部材を溶接するのに適しており、とりわけ自動車工業において薄板部材を溶接するのに適している。可能な測定システムとしては、一般的に、被加工品表面で事前に定義されたポイントを測量するレーザ三角測量方式が挙げられる。このレーザ三角測量方式では、たとえば反射器が被加工品に取り付けられる。記載内容によれば、各反射器の位置を検出するためにレーザ光源と２次元検出器とを使用することができ、これによって、被加工品の位置および方向が３つのこのような点によって検出することができる。ＷＯ２００７／００４９８３Ａ１には、測定システムの詳細な構成は記載されていない。
ＵＳ５３８０９７８（Pryor）に、空間内において産業用ロボットを使用してオブジェクトの位置決めを行う手法、とりわけ薄板部材の位置決めを行う手法が記載されている。測定システムとしてとりわけ、空間内のオブジェクトの姿勢を３次元で検出するために適切なステレオベースを有する複数のカメラが使用される。このカメラは視界を動かすために旋回可能であり、特別な実施形態では、レーザ測距装置も有することができるセオドライトカメラとして構成される。ここで記載されているセオドライトは、カメラを高精度で位置調整するための調整装置として使用される。ＵＳ４８５１９０５（Pryor）やＵＳ５７０６４０８（Pryor）にも同様の測定システムが記載されている。
これらのシステムおよび手法に共通する点は、非接触の写真座標測量を使用して画像処理システムによって、オブジェクトに設けられた複数の特徴的な点の位置を求めることである。
近距離領域においてオブジェクトの表面で非接触の写真座標測量を行うためには、種々の視点からオブジェクトを再現する画像の画像データを、該オブジェクトが測量されるオブジェクト座標系であってたとえば該オブジェクトのＣＡＤモデルの基礎をなすオブジェクト座標系に変換することにより、該オブジェクトの寸法と、画像中の別のオブジェクトに対する該オブジェクトの相対姿勢とを推定する。こうするためには、画像データをデータ処理ユニットにおいて処理する。座標計算の基礎となるのは、関与する画像の相対的なカメラ方向の検出である。
この相対的なカメラ方向の検出では、従来技術から公知であるように、１つのカメラのみを使用してオブジェクト表面の測量すべき面区分を時間的にずらして異なる複数の視点から撮像し、その後に、画像処理システムを使用して各２次元画像データを処理し、いわゆる３次元画像を形成する手段がある。ここで、この３次元画像の画像点にそれぞれ奥行情報が対応付けられ、検査すべき各画像点に、とりわけすべての画像点に、カメラおよび該カメラの視点から決定される画像座標系における３Ｄ画像座標が対応付けられる。従来技術から、複数の異なる視点から同じ場面を示す複数の２次元画像からこのような３次元画像を生成するための種々の画像処理手法が公知である。
さらに従来技術から、複数の異なる視点からカメラを使用して面区分を時間的にずらして撮像する代わりに、複数のカメラを使用して実質的に同時に撮像を行う手段も公知である。このことは、カメラを動かさずに面区分を３次元で検出できるという利点を有すると同時に、さらに、各カメラの方向の検出を省略できるという利点も有する。というのも、カメラ相互間の相対方向および間隔は固定できるからである。
従来技術から、基本的に２つまたは３つのカメラから構成される種々の３Ｄ撮像装置が公知である。これら２つまたは３つのカメラは相互に離隔され、すなわちステレオベースを有し、相対的に固定された異なる視点から場面を撮像するように１つの共通のケーシング内に相互に固定的に結合されて収容されている。撮像される面区分は、画像の電子的処理を可能にする特徴的な画像特徴を有するとは限らないので、面区分表面にマークを設けることができる。このマークを生成するためには、たとえば光学的ラスタまたは光学的クロスマークを投影するパターン光ビーム、とりわけレーザビームを、３Ｄ撮像ユニットから面区分に投影することができる。通常はこのような３Ｄ撮像ユニットは、実質的に同時に撮像された異なる視点の複数の画像から３次元の画像を導出する画像処理装置を有する。
このような３Ｄ撮像ユニットはたとえば、正三角形に配置された３つのカメラを有し商標「Optigo」および「OptiCell」で知られている CogniTens 社の撮像システムや、ActiCM 社の「Advent」システムである。この「Advent」システムは、相互に隣接して配置された２つの高分解能ＣＣＤカメラと、撮像すべき区分にパターン光を投影するためのプロジェクタとを有する。
測量すべき撮像画像の要素の座標を求めるためには、通常は画像内の参照マークが使用され、この参照マークを使用して本当の３Ｄ座標測定が行われる。その際には、撮像された３次元画像に関連し３Ｄ撮像ユニットを基準とする画像座標系を、オブジェクトが測量されるオブジェクト座標系であってたとえば該オブジェクトのＣＡＤモデルの基礎となるオブジェクト座標系に変換する。この変換は、オブジェクト座標系内において位置が既知である撮像された参照マークを基礎として行われる。このようにして、従来技術から公知のこのような３Ｄ撮像ユニットでは、０．５ｍｍ未満の精度が実現される。
さらに、面領域内で奥行スキャンを行って点群を生成するとりわけ３Ｄレーザスキャナの形態の３Ｄスキャンシステムが公知である。このような３Ｄスキャンシステムでは、レーザビームが面をロウごとに走査する直列形のシステムと、走査線が面全体に扇形に拡げられる並列型のシステムと、面領域内の多数の点を同時に走査して該面領域の奥行撮像を実施する完全並列型のシステム、いわゆるＲＩＭまたはレンジイメージングシステムとを区別する。これらのシステムすべてに通常共通する点は、奥行走査を行うために、とりわけ面全体にわたって動かされる少なくとも１つの測距用レーザビームを使用することである。とりわけ上記のような直列形システムは広範に広まっており、たとえば商品名「Leica HDS 6000」、「Leica ScanStation 2」、「Trimble GX 3D Scanner」、「Zoller + Froehlich IMAGER 5003」および「Zoller + Froehlich IMAGER 5006」で市販されている。
どの３Ｄ撮像ユニットでも、撮像を所要分解能で行うことができる撮像領域が構成タイプによって制限されることが問題になる。それゆえ、比較的大きいオブジェクトを３次元検出する際には、３Ｄ撮像ユニットの異なる複数の位置および方向から複数の個々の３次元撮像画像を形成することが不可欠である。次に、重なり合う画像領域を整合し、撮像された面区分内のマークを使用して、これら多数の比較的小さい撮像画像を組み立ててより大きな３次元全体画像を形成する。従来技術から、このような課題を解決するための種々の手法が公知である。これらの手法に共通する問題は、組み立てられてより大きな画像を構成する個々の３次元画像が重なり領域を有さなければならないことである。少なくとも１つの参照点を有する第１の面区分と、該第１の面区分から離れていて参照点を有さない第２の面区分とを結びつける別の画像が撮像されなかった場合、該第１の面区分から該第２の面区分まで３Ｄ撮像ユニットの位置を画像処理システムによって離散的に変化させることはできない。それゆえ、多数の中間撮像を実施して、相互に離れた測量すべき２つの面区分を光学的に結びつけて、一連の繋がりを持つ画像処理を行えるようにしなければならない。直接的な測定内容を含まない多数の３次元画像を撮像することにより、測定プロセス全体が緩慢になり、多くのメモリリソースおよび演算リソースが必要になる。さらに、多数の画像が組み合わされた場合、撮像において必然的に僅かな測定誤差が発生してしまう座標測量結果は測定精度に大きく影響し、とりわけ参照点の距離が大きい場合には、測定精度に大きく影響してしまう。
したがって、カメラの視界が制限されるため、オブジェクト座標系における位置が既知である参照点を多数使用することは避けられない。上記の純粋な写真測量システムの利点は、オブジェクト座標系における３Ｄ撮像ユニットの個々のカメラの絶対的な位置および方向を求めなくてもよいことである。というのも、撮像される画像点の絶対位置は、画像中の検出された参照点の位置の知識と、カメラ相互間の相対的方向の知識と、画像中の参照点に対する測量すべき点の相対位置の知識とから求められるからである。この測量すべき点の相対位置は、三角測量によって計算される。したがって測量システムを、相互間の相対姿勢が既知である画像校正されるカメラと、画像処理装置とに制限することができる。
これらのシステムすべての欠点は、カメラの視界が制限されており画像分解能が制限されているため、カメラないしは被測量オブジェクトの旋回または位置変化を行うことによって視界を動かすのを避けられないことが多いことである。このことはとりわけ、比較的大きなオブジェクトを高精度で測量しなければならない場合に当てはまる。というのも、所要精度を遵守するためには、画像分解能が制限されているためにカメラとオブジェクトとの間の距離は所定の距離を超えてはならないにもかかわらず、このようにオブジェクトに近接するとカメラの視界は該オブジェクトの一部しか捉えられないからである。それゆえ、撮像を行うごとに適切な数の参照点が、有利には少なくとも３つの参照点が視界に入るように参照点を多く使用するか、または、すでに検出されたオブジェクト点の位置を、とりわけオブジェクト表面のすでに検出されたマークを使用する必要がある。
この場合には上述のように、３Ｄ撮像ユニットの異なる位置および方向から複数の個々の３次元画像を撮像する。次に、重なり合う画像領域を整合し、撮像された面区分内のマークを使用して、このような多数の比較的小さい撮像画像をまとめて１つのより大きな３次元全体画像を形成する。このことを行うためには時間がかかり、測量すべきでないマークを使用しなければならない。
さらに従来技術から、３Ｄ撮像ユニットが産業用ロボットの頭部またはポータブル座標測定機によって支持して位置調整できる測定システムおよび手法が公知である。高度かつ高分解能の３Ｄ撮像ユニットの重量は大きく、中には１０ｋｇを超えるものもあるため、撮像精度に匹敵する所要精度を有する３Ｄ撮像ユニットの位置を正確に検出することはできない。というのも、こうするためには操作システムを定置構成にして、３Ｄ撮像ユニットの使用領域を据置システムに制限しなければならないからである。産業用ロボットの測定精度は比較的低く、高精度の３Ｄ撮像ユニットの測定精度より格段に低いため、産業用ロボットは外部参照には適していない。さらに、ポータブル座標測定機は高重量の負荷を支持するようには構成されておらず、機械的な負荷が大きい場合には、参照基準に使用できる測定結果が得られない。それゆえ、操作システムから得られる位置測定値は、３Ｄ撮像ユニットの絶対位置および／または相対位置を推定することができたとしても、撮像画像の基準参照に使用することはできず、とりわけ、繋がっていない異なる面区分の３次元撮像画像のうちで使用できない撮像画像が出てくる。
上記の測定システムは、空間内において操作システムを使用してオブジェクトの位置を高精度で検出するのに適しており、そのために使用されているが、従来技術から公知のシステムには数多くの欠点がある。上述の測定手法は基本的に画像処理だけで行われるので、このような手法は比較的長い時間がかかり、測量しなければならない参照マークまたは補助マークを必要としない。カメラの視界は制限されているため、３Ｄ撮像ユニットはたいてい処理が行われる直ぐ近くに配置され、通常はロボットアームに配置されるか、またはオブジェクトまで僅かな距離の所に配置される。このことに関連して、処理が行われる近くにあることにより、３Ｄ撮像ユニットは、処理‐たとえば溶接‐によって発生する粒子と熱の影響とにさらされてしまう。また、処理が行われる場所に近いことにより、別の操作システムを３Ｄ撮像ユニットの操作システムに整合して、衝突を回避しなければならない。３Ｄ撮像ユニットを移動させ、この移動に伴って再参照するためには、比較的長い時間が必要となり、処理フロー全体が緩慢になってしまう。３次元画像検出を行うためには、複数のカメラの相対姿勢が必ず既知でなければならないため、これらのカメラを独立して方向づけすることは避けられない。そうしない場合には有利には、カメラを機械的に相互に結合する。３Ｄ撮像ユニットを加工が行われる場所から離れて位置決めするためには、カメラの間隔を相応に大きくして、３次元画像検出を行うのに十分なステレオベースが得られるようにしなければならないので、この場合にはカメラを機械的に結合することはできなくなる。したがって従来は、加工が行われる場所から離れて３Ｄ撮像ユニットを配置することは完全に断念されていた。それゆえ、有利には０．１ｍｍ未満の精度の高精度非接触３Ｄ測定システムを、産業用ロボットによるオブジェクトの高精度位置決めに使用するという目的と、加工に直接さらさずにフレキシブルに扱うことができとりわけ自由に位置決めできる測定システムを提供するという目的の双方の目的は、工業用途で産業用ロボットによってオブジェクトを位置決めする分野では、従来は十分に解決されなかった対立する目的であった。
それゆえ本発明の課題は、産業用ロボットを使用して少なくとも１つのオブジェクトを空間内の姿勢に高精度で位置決めするための方法および相応のシステムにおいて、フレキシビリティ、高精度および高速な処理速度を有する方法とシステムとを提供することである。
この課題は、独立請求項に記載されている構成によって解決される。従属請求項に、本発明の択一的または有利な実施形態が記載されている。
まず最初に、本発明の方法を概説し、その後に、実施例を概略的に示す図面を参照して、本発明の実施可能な有利な構成を概説する。
空間内で少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めする方法は、産業用ロボットと、第１の光学的撮像装置と、少なくとも１つの第２の光学的撮像装置とによって実施される。第１の産業用ロボットは、設定可能なポジショニングに位置調整することができ、内部校正され、３次元空間座標系で校正され、この座標系を基準とする。３次元空間座標系で校正されて既知の第１の位置に既知の方向で位置決めされた第１の光学的撮像装置は、所定の第１の視界内で撮像するための光学的校正された第１のカメラと、該第１の視界を位置調整するために該第１のカメラを方向づけするための第１の駆動ユニットと、該３次元空間座標系で該第１の視界が検出されるようにするために該第１のカメラの角度方向を高精度で検出するための第１の角度測定ユニットであって該３次元空間座標系で校正された第１の角度測定ユニットとを有する。３次元空間座標系で校正されて既知の第２の位置に既知の方向で位置決めされた前記少なくとも１つの第２の光学的撮像装置は、所定の第２の視界内で撮像するための光学的に校正された第２のカメラと、該第２の視界を位置調整するために該第２のカメラを方向づけするための第２の駆動ユニットと、該３次元空間座標系で該第２の視界が検出されるようにするために該第２のカメラの角度方向を高精度で検出するための第２の角度測定ユニットであって該３次元空間座標系で校正された第２の角度測定ユニットとを有する。前記少なくとも２つの位置、すなわち前記第１の撮像装置および前記第２の撮像装置の位置の間隔は、視界が少なくとも部分的に重なって前記少なくとも２つの撮像装置を使用して３次元撮像を行えるように選択される。
本発明による方法は、以下のステップを有する：
光学的に検出可能な既知の第１の特徴的要素を有する第１のオブジェクトを、第１の産業用ロボットが把持公差内で把持および保持する。
光学的に検出可能な既知の第１の特徴的要素を有する第１のオブジェクトを、第１の産業用ロボットが把持公差内で把持および保持する。
第１の産業用ロボットに関して、把持公差を補正する第１の調整量が次のように求められる。すなわち、第１のオブジェクトが空間座標系において第１の産業用ロボットの第１のポジショニングの設定によって位置調整されるように移動するように、第１の調整量が求められる。前記第１の調整量をこのように求める際には、以下のステップを行う：
カメラの視界が少なくとも部分的に重なり合うように、前記少なくとも２つのカメラをそれぞれ駆動ユニットによって、前記第１の産業用ロボットの第１の調整ポジショニングに保持された前記第１のオブジェクトの第１の特徴的要素の少なくとも一部に方向づけするステップ。
カメラの視界が少なくとも部分的に重なり合うように、前記少なくとも２つのカメラをそれぞれ駆動ユニットによって、前記第１の産業用ロボットの第１の調整ポジショニングに保持された前記第１のオブジェクトの第１の特徴的要素の少なくとも一部に方向づけするステップ。
第１の撮像画像を両カメラによって撮像するステップ。
前記撮像装置の位置と、角度測定ユニットによって検出された前記カメラの角度方向と、前記第１の撮像画像と、前記第１のオブジェクトの前記第１の特徴的要素の知識とから、前記第１の産業用ロボットの第１の調整ポジショニングにおける該第１のオブジェクトの空間座標系での姿勢を求めるステップ。
前記第１の産業用ロボットの第１の調整位置と、少なくとも該第１の産業用ロボットの第１の調整ポジショニングにおける第１のオブジェクトの求められた姿勢とを使用して、前記第１の調整量を求めるステップ。
所定の公差内の第１の最終姿勢に達するまで下記のステップを繰り返し実施することにより、前記第１のオブジェクトを該第１の最終姿勢に高精度で位置調整することができる：
前記カメラによって別の第１の撮像画像を撮像するステップ。
前記カメラによって別の第１の撮像画像を撮像するステップ。
前記撮像装置の位置と、角度測定ユニットによって検出された前記カメラの角度方向と、前記別の第１の撮像画像と、前記第１のオブジェクトの前記第１の特徴的要素の知識とから、該第１のオブジェクトの空間座標系での実際の姿勢を求めるステップ。
前記第１のオブジェクトの実際の姿勢と第１の最終姿勢との姿勢差を計算するステップ。
前記調整量を使用して、前記第１の産業用ロボットの現在の位置決め状態と、前記姿勢差に関連する量とから、該産業用ロボットの新たな目標ポジショニングを計算するステップ。
前記第１の産業用ロボットを前記新たな目標ポジショニングに調整するステップ。
空間内において産業用ロボットにより少なくとも１つのオブジェクトを最終姿勢に高精度に位置決めするための本発明のシステムは、第１の産業用ロボットと、第１の光学的撮像装置と、少なくとも１つの第２の光学的撮像装置と、制御装置とを有する。前記第１の産業用ロボットは、所定のポジショニングに位置調整されるように校正されている。こうするためには、産業用ロボットは内部校正されており、空間座標系を基準とする。３次元空間座標系で校正されて既知の第１の位置に既知の方向で位置決めされた第１の光学的撮像装置は、所定の第１の視界内で撮像するための光学的校正された第１のカメラと、該第１の視界を位置調整するために該第１のカメラを方向づけするための第１の駆動ユニットと、該３次元空間座標系で該第１の視界が検出されるようにするために該第１のカメラの角度方向を高精度で検出するための第１の角度測定ユニットであって該３次元空間座標系で校正された第１の角度測定ユニットとを有する。３次元空間座標系で校正されて既知の第２の位置に既知の方向で位置決めされた前記少なくとも１つの第２の光学的撮像装置は、所定の第２の視界内で撮像するための光学的校正された第２のカメラと、該第２の視界を位置調整するために該第２のカメラを方向づけするための第２の駆動ユニットと、該３次元空間座標系で該第２の視界が検出されるようにするために該第２のカメラの角度方向を高精度で検出するための第２の角度測定ユニットであって該３次元空間座標系で校正された第２の角度測定ユニットとを有する。前記第１の撮像装置および前記第２の撮像装置の少なくとも２つの位置の間隔は、視界が少なくとも部分的に重なって前記少なくとも２つの撮像装置を使用して３次元撮像を行えるように選択される。前記制御装置は、画像処理を行うように構成されたデータ処理装置を有する。制御装置と、第１の産業用ロボットおよび少なくとも２つの撮像装置とは、次のようにデータ接続されている。すなわち、前記制御装置に、カメラによって撮像された撮像画像が供給され、該制御装置に、前記角度測定ユニットによって検出されたカメラの角度方向が供給され、駆動ユニットは該制御装置によって、カメラを方向づけるように駆動制御され、前記第１の産業用ロボットは、該制御装置によって設定されたポジショニングに位置調整されるようにデータ接続されている。
前記制御装置および該制御装置のデータ処理装置は、以下のステップを信号受信、信号評価、信号計算および信号出力によって実施するように構成され、上記構成要素とデータ接続されている。
前記制御装置に既知であり光学的に検出可能である第１の特徴的要素を有する第１のオブジェクトを、第１の産業用ロボットが把持公差内で把持および保持するステップ。
第１の産業用ロボットに関して、把持公差を補正する第１の調整量を前記制御装置によって次のように求めるステップ、すなわち、第１のオブジェクトが空間座標系において第１の産業用ロボットのポジショニングの設定によって調整されるように位置調整するように、第１の調整量を求めるステップ。前記第１の調整量を前記制御装置によって求める際には、以下のステップを実施する：
視界が少なくとも部分的に重なり合うように、前記少なくとも２つのカメラをそれぞれ駆動ユニットによって、前記第１の産業用ロボットの第１の調整ポジショニングに保持された前記第１のオブジェクトの第１の特徴的要素の少なくとも一部に方向づけするステップ。
視界が少なくとも部分的に重なり合うように、前記少なくとも２つのカメラをそれぞれ駆動ユニットによって、前記第１の産業用ロボットの第１の調整ポジショニングに保持された前記第１のオブジェクトの第１の特徴的要素の少なくとも一部に方向づけするステップ。
第１の撮像画像をカメラによって撮像するステップ。前記撮像装置の位置と、角度測定ユニットによって検出された前記カメラの角度方向と、前記第１の撮像画像と、前記第１のオブジェクトの前記第１の特徴的要素の知識とから、前記第１の産業用ロボットの第１の調整ポジショニングにおける該第１のオブジェクトの空間座標系での姿勢を求めるステップ。
前記第１の産業用ロボットの第１の調整ポジショニングと、少なくとも該第１の産業用ロボットの第１の調整ポジショニングにおける第１のオブジェクトの求められた姿勢とを使用して、第１の調整量を求めるステップ。
所定の公差内で第１の最終姿勢に達するまで下記のステップを前記制御装置によって繰り返し実施することにより、前記第１のオブジェクトを該第１の最終姿勢に高精度で位置調整することができる：
前記カメラによって別の第１の撮像画像を撮像するステップ。
前記カメラによって別の第１の撮像画像を撮像するステップ。
前記撮像装置の位置と、角度測定ユニットによって検出された前記カメラの角度方向と、前記別の第１の撮像画像と、前記第１のオブジェクトの前記第１の特徴的要素の知識とから、該第１のオブジェクトの空間座標系での実際の姿勢を求めるステップ。
前記第１のオブジェクトの実際の姿勢と第１の最終姿勢との姿勢差を計算するステップ。
前記第１の調整量を使用して、前記第１の産業用ロボットの現在のポジショニングと、前記姿勢差に関連する量とから、該第１の産業用ロボットの新たな目標ポジショニングを計算するステップ。
前記第１の産業用ロボットを前記新たな目標ポジショニングに調整するステップ。
本発明の方法およびシステムを以下で、概略的に示された実施例に基づいて説明する。
図１ａに、空間内において第１のオブジェクトを第１の最終姿勢に高精度で位置決めするための第１の実施形態のシステムと方法のフローとを示す。図１ｂに本方法のステップを示している。図１ａおよび１ｂを一緒に説明する。
本発明の方法は、空間内において少なくとも１つのオブジェクトを少なくとも１つの産業用ロボットによって最終姿勢に高精度で位置決めするのに使用される。この空間内の最終姿勢は、オブジェクトが高精度で、とりわけ０．５ｍｍ未満の精度で、有利には０．２ｍｍ未満の精度で、特殊な場合には０．１ｍｍ未満の精度でとらなければならない位置および方向であり、一般的には最終姿勢とは、本方法の枠内でオブジェクトがあるべき位置および方向を指す。もちろん、次にオブジェクトを、１つまたは任意の数の別の新たな最終姿勢にすることもできる。
本方法の構成要素は、第１の産業用ロボット１１と、第１の光学的撮像装置１ａと、少なくとも１つの第２の光学的撮像装置１ｂとを含む。本方法をこのようなシステムによって実施するために、さらに制御装置９が設けられる。
第１の産業用ロボット１１は、第１のオブジェクト１２を把持するように構成されている。たとえばこの産業用ロボット１１は、６つの自由度で可動のグリッパ１１ａを備えた関節アームロボットである。グリッパ１１ａは空気圧グリッパとして構成されており、たとえば薄板を把持するように構成されている。また、このグリッパを機械的なグリッパとすることもでき、とりわけ鉗子把持器とすることができ、また、産業用ロボット１１の可動の肢部を機械的に結合するための他のグリッパとすることもできる。産業用ロボット１１に対し、グリッパ１１ａの目標ポジショニングを設定することにより、該グリッパ１１ａを所定のポジショニングに位置調整することができる。こうするために産業用ロボット１１は、内部測定システム、内部制御システムおよび内部座標変換システムを有する。産業用ロボット１１とは一般的に、冒頭に述べたようにオブジェクトを把持および位置決めするように構成された操作システムを指す。
第１の光学的撮像装置１ａおよび第２の光学的撮像装置１ｂは３次元の空間座標系で校正されており、既知の第１の位置Ｐａないしは第２の位置Ｐｂにそれぞれ既知の方向で位置決めされている。したがって、第１のオブジェクト１２を位置決めすべき座標系においてこの位置も角度方向もそれぞれ、間接的または直接的に既知である。光学的撮像装置１ａおよび１ｂはこの空間座標系で校正されており、各光学的撮像装置１ａおよび１ｂはそれぞれ、所定の視界８ａないしは８ｂ内で撮像するように光学的校正されたカメラすなわち第１のカメラ２ａおよび第２のカメラ２ｂを有し、これらを使用して、各視界８ａないしは８ｂ内で撮像画像で光学的測定を行うことができる。
図面を簡略化するため、この実施例において同一である撮像装置１ａおよび１ｂをまとめて説明する。ここでは、添え字「ａ」は第１の撮像装置１ａに関連することを表し、添え字「ｂ」は第２の撮像装置１ｂに関連することを示す。
カメラとは一般的に、光学的に検出可能なポイントを撮像するための電子的装置を指し、カメラ２ａおよび２ｂはそれぞれ、このポイントを撮像するのに必要な構成を有し、とりわけ対物レンズと、とりわけＣＣＤ画像センサまたはＣＭＯＳ画像センサである適切な撮像素子と、適切な電子回路とを有する。前記対物レンズは任意の対物レンズとすることができ、たとえば固定焦点対物レンズとするか、または、モータ駆動ズームおよびオートフォーカスによるズーム対物レンズまたは可変焦点対物レンズとすることができる。これらのカメラは、とりわけ光学系、画像センサまたは電子回路におけるいかなる誤差も、たとえば光学ひずみ等も考慮して補償することができるように、内部校正されている。したがって、これらのカメラは写真測量を行うのに適している。さらに、光学的撮像装置１ａおよび１ｂはそれぞれ、各カメラ２ａおよび２ｂの視界８ａないしは８ｂを位置調整するように各カメラ２ａおよび２ｂを方向づけするための少なくとも１つの駆動ユニット３ａないしは３ｂを有する。たとえば各駆動ユニット３ａないしは３ｂは、２つの旋回軸でカメラ２ａないしは２ｂを旋回するための旋回ユニットを有する。１つの可能な実施例では、これら２つの旋回軸はそれぞれ、空間座標系を基準として水平方向の傾斜軸（Kippachse）ＨａないしはＨｂと、垂直方向の縦軸ＶａないしはＶｂとすることができる。しかし、この実施例は必須要件ではない。
さらに、光学的撮像装置１ａおよび１ｂはそれぞれ、各カメラ２ａおよび２ｂの角度方向を高精度で検出するために使用され空間座標系で校正された角度測定ユニット４ａないしは４ｂを有し、これらの角度測定ユニット４ａないしは４ｂにより、空間座標系で各視界８ａないしは８ｂを検出することができる。空間座標系でカメラおよび角度測定ユニットを基準として行われる両撮像装置１ａおよび１ｂの内部校正と、各光学的撮像装置１ａないしは１ｂの外部参照とに基づいて、各画像点は、
１．画像センサすなわち撮像画像における該画像点の位置と、
２．各角度測定ユニット４ａないしは４ｂによって検出された各カメラ２ａないしは２ｂの方向と、
３．各光学的撮像装置１ａないしは１ｂの既知の位置と、
４．各校正パラメータと
から得られる、空間座標系内の直線を高精度で定義する。
１．画像センサすなわち撮像画像における該画像点の位置と、
２．各角度測定ユニット４ａないしは４ｂによって検出された各カメラ２ａないしは２ｂの方向と、
３．各光学的撮像装置１ａないしは１ｂの既知の位置と、
４．各校正パラメータと
から得られる、空間座標系内の直線を高精度で定義する。
図中の実施例では、角度測定ユニット４ａおよび４ｂはそれぞれ、空間座標系で鉛直軸ＶａないしはＶｂを中心とする水平角方向αａないしはαｂを検出し、また、水平軸ＨａおよびＨｂを中心とする垂直角方向βａおよびβｂも検出する。基本的に、水平方向の傾斜軸ＨａないしはＨｂと垂直方向の鉛直軸ＶａないしはＶｂとは交差する。したがって、前記少なくとも２つの撮像装置１ａおよび１ｂはそれぞれ一種のビデオセオドライトとして構成されている。このビデオセオドライトとはここでは、セオドライトに同軸で組み込まれたカメラを備えたセオドライトを指すか、または、非同軸でとりわけセオドライトの望遠鏡に配置されたカメラを備えたセオドライトを指す。
撮像装置１ａおよび１ｂの位置ＰａおよびＰｂならびに外部校正パラメータは、参照される外部測定システムによって求めることができ、たとえば、空間内における撮像装置１ａおよび１ｂの各位置を検出するレーザトラッカ１４等の光学的測定システムによって求めることができる。このことを行うためには、撮像装置１ａおよび１ｂに取り付けられるターゲットマークを使用することができる。方向の外部校正も外部測定システムによって行うことができる。さらに、空間座標系において位置が高精度で既知である参照点に、撮像装置１ａおよび１ｂをとりわけ強制センタリングによって位置決めすることもできる。択一的に、空間内で撮像装置１ａおよび１ｂを専用の測定システムによって参照し、校正することもできる。こうするためには、撮像装置１ａおよび１ｂはそれぞれ、各カメラ２ａないしは２ｂとともに各駆動ユニット３ａないしは３ｂによって方向決めされるように構成されたレーザ測距器５ａおよび５ｂを有する。このレーザ測距器５ａおよび５ｂの角度方向は、空間座標系で校正された各角度測定ユニット４ａないしは４ｂによって高精度で検出できるように構成されている。換言すると、撮像装置１ａないしは１ｂはそれぞれビデオタキメータである。すなわち、非常に高い分解能のカメラを備えたレーザ測距器を有するセオドライトである。もちろん、カメラを方向づけし、方向を精確に検出するために、別の適切な旋回装置および測定装置を使用することができる。しかし、セオドライト、タキメータやいわゆるトータルステーションの角度測定精度は高いので、これらを使用するのが有利であることを述べておく。
空間座標系における各撮像装置１ａないしは１ｂの位置ＰａおよびＰｂは、レーザ測距器５ａないしは５ｂにより、位置固定されたターゲットマークＴに照準することによって求められる。択一的または付加的に、自己参照を、位置固定されたターゲットマークの撮像と画像処理とによって行われる三角測量によって行うこともできる。
少なくとも２つの撮像装置１ａおよび１ｂにより、少なくとも部分的に重なり合う視界８ａおよび８ｂによって少なくとも１つのオブジェクトの３次元撮像画像が得られるように、第１の位置Ｐａと第２の位置Ｐｂとは離隔され、光学的撮像装置１ａないしは１ｂは構成されている。換言するとステレオベースは、冒頭に述べたように画像点に奥行情報が対応付けられた３次元画像の撮像画像が所要の精度で得られるように決定されている。異なる視点から撮像された２つの電子的画像の奥行情報を画像処理によって得ることは、従来技術から公知であり、ここでは詳細に説明する必要はない。
制御装置９は、画像処理のために構成されたデータ処理装置を有する。制御装置９は少なくとも、第１の産業用ロボット１１と少なくとも２つの光学的撮像装置１ａおよび１ｂとにデータ接続されている。制御装置９には、カメラ２ａおよび２ｂによって撮像された撮像画像が供給され、ここで画像処理が行われて奥行情報が得られる。さらに制御装置９は、角度測定ユニット４ａおよび４ｂによって検出されたカメラ２ａおよび２ｂの角度方向も入力信号として受け取る。駆動ユニット３ａおよび３ｂは制御装置９によって、カメラ２ａおよび２ｂを方向づけするように駆動制御される。第１の産業用ロボット１１は、制御装置９によって設定されるポジショニングに位置調整される。そのために必要なデータ接続は、電圧信号、無線信号、光学的信号または他の通信経路を使用して行うことができる。とりわけ使用される構成要素の個々の位置、方向およびサイズである参照パラメータや校正パラメータは、‐本方法を実施するのに必要である場合には‐制御装置９に記憶される。制御装置９は、たとえば適切なインタフェースを有するパーソナルコンピュータ等であるユニットや、相互に通信するかまたは相互に接続されてネットワークを構成し別個の位置に設けられた複数の個々のコンポーネントとすることができ、個々の装置の構成要素であるコンポーネントとすることができる。とりわけ、抽象的なものと見なされるこの制御装置９は、光学的撮像ユニット１ａおよび１ｂおよび／または第１の産業用ロボット１１の構成要素とすることができる。
空間内の最終姿勢に位置決めすべき第１のオブジェクト１２は、光学的に検出可能な既知の第１の特徴的要素１３を有する。この第１の特徴的要素１３は、撮像ユニット１ａおよび１ｂのカメラ２ａおよび２ｂによって検出することができる任意の特徴的要素とすることができる。「光学的に検出可能」という概念は、カメラ２ａおよび２ｂによって検出できることを意味し、必ずしも、人間の肉眼によって見ることができることを意味するわけではない。
このような光学的に検出可能な特徴的要素は、オブジェクトの特徴によって形成することができ、とりわけオブジェクトの形状、表面プロフィールおよび表面特性によって形成することができ、たとえばオブジェクトの角、辺、穿孔、切欠およびビードによって形成することができる。択一的または付加的に、このような特徴的要素をオブジェクト表面に取り付けることもでき、たとえば接着マークまたは着色マークとして取り付けることもできる。有利にはこれらの特徴的要素は、少なくとも２次元に広がる特徴であり、たとえば一直線上にない３点として設けられる。このような特徴的要素は、該特徴的要素の位置検出によって空間内におけるオブジェクトの姿勢、すなわち位置および方向が可能な限り一義的に定義されるように設けられる。
オブジェクト１２は、空間内において高精度で位置決めすべき任意のオブジェクトであって、第１の産業用ロボット１１によって把持および保持することができるオブジェクトであり、たとえば薄板部材である。
以下で、本発明の方法の流れをフローチャートで示す図１ｂも参照して、本発明の方法の流れを説明する。
ステップ５０において、たとえば保管位置にある第１のオブジェクト１２を第１の産業用ロボット１１によって、該産業用ロボット１１のグリッパ１１ａを使用して把持公差内で把持および保持する。この把持公差は、第１のオブジェクト１２を最終姿勢に位置決めする際に逸脱してはならない公差を上回る。とりわけ、オブジェクトに強制センタリングしない空気圧把持器では高精度で把持することができず、グリッパに対するオブジェクトの相対姿勢は公差を有し、この公差を補償すなわち補正しなければならない。
ステップ５１は、本発明の１つの実施形態で行われるオプションのステップであり、このステップでは、第１のオブジェクト１２を未知の把持誤差で保持する第１の産業用ロボット１１を、第１の調整量を求めるために第１の調整ポジショニングに位置調整される。第１の産業用ロボット１１のこのような調整ポジショニングで、両カメラ１ａおよび１ｂは３次元撮像を行うために第１のオブジェクト１２をよく見ることができる。把持後にすでに、両カメラ１ａおよび１ｂがこの第１のオブジェクト１２をよく見ることができることが保証され、第１のオブジェクト１２がすでに或る位置にある場合には、このステップ５１を省略することもできる。
次のステップ５２において、この把持公差を補正するために第１の調整量を求める。第１の産業用ロボット１１の把持公差を補正するためのこの第１の調整量は、該第１の産業用ロボット１１のポジショニングの設定によって空間座標系内で調整されるように第１のオブジェクト１２を位置調整するのに使用される。調整されるように位置調整するとは、ロボットのグリッパ１１ａがとるべきポジショニングが設定された場合に、この部分を把持したときの把持誤差を補正することを意味する。すなわちこの把持誤差は、補正量である第１の調整量によって考慮される。この把持誤差は全部で６つの自由度で生じる可能性があるため、調整量はとりわけテンソルの形態の適切な値をとることができる。理想的には、すなわち第１のオブジェクトをグリッパ１１ａが精確に把持している場合、調整量は０に等しくなる。
第１の調整量は、以下の部分ステップによって求められる。まず、前記少なくとも２つのカメラ２ａ，２ｂがそれぞれ駆動ユニット３ａ，３ｂによって、視界８ａ，８ｂが少なくとも部分的に相互に重なり合って、第１の産業用ロボット１１の第１の調整ポジショニングに保持される第１のオブジェクト１２の第１の特徴的要素１３の少なくとも一部に旋回される。有利には、前記第１の特徴的要素１３を成す少なくとも３つの点が、前記視界８ａ，８ｂが重なり合うオーバーラップ領域内に設けられる。このようにして、前記２つのカメラ２ａ，２ｂによって第１の撮像画像が撮像される。次にこれらの撮像画像から、第１の産業用ロボット１１の第１の調整ポジショニングに保持される第１のオブジェクト１２の姿勢が空間座標系で求められる。３つの特徴点の位置を求めるだけで、この姿勢を求めることができる。第１のオブジェクト１２の姿勢は、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂの知識と、角度測定ユニット４ａ，４ｂによって検出されたカメラ２ａ，２ｂの角度方向と、第１の撮像画像とから求められる。これらの情報だけですでに、写真測量で、とりわけ制御装置９での画像処理により、個々の検出された点の位置を空間座標系で求めることができる。これからオブジェクトの姿勢を導出するためにはさらに、第１のオブジェクト１２における第１の特徴的要素１３の知識が必要である。第１の特徴的要素１３の位置または姿勢から、空間内における第１のオブジェクトの姿勢を推定することができる。たとえば電子的モデルから、薄板部材が特別な穿孔を有することと、該薄板部材がどの場所に特別な穿孔を有するかが既知である場合、これらの穿孔の姿勢からオブジェクトの姿勢を推定することができる。このようにして、把持に誤差が無い理想的な姿勢を得るための第１の産業用ロボット１１の第１の調整ポジショニングと、少なくとも、第１の産業用ロボット１１の第１の調整ポジショニングにおける第１のオブジェクト１２の検出された姿勢すなわち実際の姿勢とから、第１の調整量が求められる。
本発明の１つの実施形態では、オブジェクト１１の特徴的要素１３は基本的に、制御装置９の電子的データ処理装置によって処理可能なモデルから既知である。このモデルは、ＣＡＤによって得られる電子的モデルとすることができる。電子的データ処理装置上で実施される画像処理によって、モデルおよび／または撮像画像で特徴的要素１３を同定し、モデルのこれらの特徴的要素１３と、撮像画像の特徴的要素１３とを相互に対応付ける。空間座標系におけるオブジェクト１２の姿勢は、空間座標系における撮像された特徴的要素１３の検出された位置と、対応付けられた特徴的要素１３とから求められる。
このような画像処理手法および特徴同定手法は従来技術から公知であり、ここでは詳細に説明する必要はない。
このような画像処理手法および特徴同定手法は従来技術から公知であり、ここでは詳細に説明する必要はない。
このようにして、第１のオブジェクト１２を把持した際に適切な第１の調整量を求めた際の把持誤差は既知となるので、該第１のオブジェクト１２を第１の産業用ロボット１１によって該第１の産業用ロボット１１のセンサの測定精度で位置決めすることができる。しかし、この測定精度は十分でないので、解決しなければならない別の位置決め問題が生じる。
たとえば、製造公差および周辺パラメータに起因して、たとえば薄板部材等である第１のオブジェクト１１自体に特定の寸法公差および形状公差が生じる可能性がある。この特定の寸法公差および形状公差は考慮しなければならない。それゆえ、本発明の１つの実施形態では、第１のオブジェクトのばらつきを考慮する。
本発明の１つの実施形態では、オプションのステップ５３では、撮像された特徴的要素１３の相互間の相対姿勢を求め、上記のモデルから基本的に既知である該特徴的要素の相互間の相対姿勢と比較する。本発明の１つの実施形態では、撮像された特徴的要素１３の相対姿勢と、モデルから基本的に既知である特徴的要素の相対姿勢との偏差の超過時には、エラーメッセージを出力する。本発明の１つの実施形態では、エラーメッセージの場合、オブジェクト１２を新たなオブジェクト１２に交換し、次に、図１ｂに一例として示したようにステップ５０を実施する。択一的に、モデルを検出されたオブジェクト１２に適合する。このようにして、たとえばＣＡＤによって得られたモデルを、把持されているオブジェクト１２の実際の寸法に適合することができる。この場合、このような適合されたモデルは空間座標系で、オブジェクト１２がとるべき最終姿勢を決定する。この最終姿勢がたとえばオブジェクト１２の一部分によって決定される場合、とりわけ最終姿勢がとるべき辺によって決定される場合、この部分の変形がモデルの適合によって相応に考慮される。
ステップ５４もオプションであり、このステップ５４において第１の調整量を考慮して第１の産業用ロボット１１を第１の調整ポジショニングから、該第１のオブジェクト１２が前記第１の最終姿勢に近づく第１の近似姿勢に位置決めされる位置へ位置調整する。第１の産業用ロボット１１のこのような位置調整を行うためには、第１の調整ポジショニングが設定されていた第１の産業用ロボットに対し、第１のオブジェクト１２が第１の近似姿勢にある新たなポジショニングを入力量として設定する。前記２つのカメラ２ａ，２ｂがそれぞれ駆動ユニット３ａ，３ｂによって、視界８ａ，８ｂが少なくとも部分的に相互に重なり合って、第１の近似姿勢に位置決めされている第１のオブジェクト１２の第１の特徴的要素１３の少なくとも一部に向かって方向決めされる。
ステップ５５において、第１のオブジェクト１２を第１の最終姿勢に高精度で位置調整する。こうするためには、所定の公差以内の第１の最終姿勢に達するまで、以下のステップを繰り返す。まず、さらなる第１の撮像画像をカメラ２ａおよび２ｂによって撮像する。空間座標系における第１のオブジェクト１２の実際の姿勢を再度、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、角度測定ユニット４ａ，４ｂによって検出されたカメラ２ａ，２ｂの角度方向と、前記更なる第１の撮像画像と、該第１のオブジェクト１２における前記第１の特徴的要素１３の知識とから求める。次に、この実際の姿勢を目標姿勢と比較する。すなわち、第１の最終姿勢と比較する。前記第１のオブジェクト１２の実際の姿勢と第１の最終姿勢との姿勢差を計算する。次に、第１の産業用ロボット１１の新たな目標ポジショニングを計算する。この新たな目標ポジショニングの計算を行うためには、前記第１の産業用ロボット１１の現在のポジショニングから得られる第１の調整量と、前記姿勢差に関連する量とを考慮する。前記姿勢差に関連する量は有利には、１以下の係数が乗算された姿勢差である。すなわち前記新たな目標ポジショニングは、第１のオブジェクト１２が実際の姿勢と第１の最終姿勢との間の姿勢になるポジショニングである。前記係数が１に等しい場合、前記新たな目標ポジショニングは、第１のオブジェクト１２が実際の姿勢から、第１の産業用ロボット１１の比較的低精度のセンサ系およびアクチュエータ系で実現できる限りの近似度で前記第１の最終姿勢に近づけられるポジショニングである。しかし、この新たな目標位置決め状態は通常は、第１のオブジェクト１２を１ステップ５５だけで所定の公差以内で第１の最終姿勢にするには低精度すぎるので、前記係数は有利には１未満でありかつ０を上回り、有利には０．９５未満であり、とりわけ０．９未満であり、たとえば０．８未満である。１未満でありかつ０を上回る係数によって、産業用ロボット１１の新たな目標ポジショニングは、該産業用ロボット１１が該新たな目標ポジショニングに位置調整された後に第１のオブジェクト１２が前記第１の最終姿勢に近づくが完全には達しないようになる。
次に、前記第１の産業用ロボット１１を前記新たな目標ポジショニングの設定によって位置調整する。換言すると、第１の産業用ロボットが新たな位置入力量を受け取り、これによって該第１の産業用ロボットは新たな目標ポジショニングにされる。このようにして、第１の産業用ロボット１１のセンサ系およびアクチュエータ系によってこの新たな目標ポジショニングに近づける。次に、上記ステップを繰り返す。すなわち、再びさらなる第１の撮像画像をカメラ２ａおよび２ｂによって撮像し、該さらなる第１の撮像画像に基づいて前記第１のオブジェクト１２の実際の姿勢を求め、該第１のオブジェクト１２の実際の姿勢と前記第１の最終姿勢との姿勢差を計算する。第１のオブジェクトが未だ、前記第１の最終姿勢の所要公差以内にない場合、前記第１の産業用ロボット１１に再び、該第１の産業用ロボットの現在のポジショニングと前記姿勢差に関連する量とから第１の調整量を考慮して計算される新たな目標ポジショニングを設定する。前記ステップは、第１のオブジェクト１２が公差以内で高精度で第１の最終姿勢に達するまで繰り返される。
上記方法の重要な利点は、前記オブジェクトの特徴的要素の他に別の参照マークを示す必要がない撮像画像の数を非常に少なくして、空間内におけるオブジェクトの姿勢を検出できることである。このことにより、本方法を格段に迅速化することができる。カメラの視界を位置調整すると、再参照することなく、写真測量による画像評価を行うことができる。このことはとりわけ、オブジェクトを比較的大きな区間で操作システムによって動かして高精度で位置決めするために産業用に使用する際に重要である。というのも、カメラをオブジェクトの特徴的要素に向かって旋回させることで視界を変化する際に、再参照する必要も、予め測定された画像および／または参照マークを使用する必要もないからである。このようにして、位置決めを迅速、高精度かつ高いプロセス信頼性で行えることが保証される。カメラの旋回で、再参照することや連係方向決めによる時間損失が生じることがなくなるので、処理が行われる場所から撮像装置を離隔して、とりわけ２〜５ｍ離隔して配置することができ、処理を妨害することがなくなり、測定技術装置が処理に直接さらされることがなくなる。このことは、とりわけ溶接手法で有利である。というのも、高感度の測定技術装置が妨害されることがほとんどなくなるからである。
もちろん、位置検出精度を上昇させるためにさらに別の撮像装置を使用することができる。この場合、たとえば３つのカメラの３つの視界が相互に重なり合う。
１つの実施例では少なくとも２つの撮像装置１ａ，１ｂは次のように、すなわち、水平方向の傾斜軸ＨａないしはＨｂと垂直方向の鉛直軸ＶａないしはＶｂとは実質的に交差し、カメラ２ａないしは２ｂの投影中心はそれぞれ、該水平方向の傾斜軸ＨａないしはＨｂと該垂直方向の鉛直軸Ｖａ，Ｖｂとの交点に位置するように構成されている。このようにして、カメラ２ａないしは２ｂの位置はそれぞれ角度方向αａ，βａないしはαｂ，βｂに依存せずに、撮像装置１ａないしは１ｂの位置ＰａないしはＰｂに結合される。換言するとこの場合には、カメラ２ａないしは２ｂの光学軸はどの方向でも、水平方向の傾斜軸ＨａないしはＨｂと垂直方向の鉛直軸ＶａないしはＶｂとの交点と交差する。このようにして空間座標系における姿勢は、カメラ２ａ，２ｂの位置と、角度測定ユニット４ａ，４ｂによって検出されたカメラ２ａ，２ｂの角度方向αａ，βａ；αｂ，βｂと、撮像画像と、特徴的要素１３の知識とから求められる。
別の実施例では、少なくとも２つの撮像装置１ａ，１ｂはそれぞれ、カメラ２ａないしは２ｂの投影中心がそれぞれ、水平方向の傾斜軸ＨａないしはＨｂと垂直方向の鉛直軸ＶａないしはＶｂとの交点の外に位置するように構成される。換言すると、カメラ２ａないしは２ｂの光学軸は両軸の交点と交差しない。カメラ２ａ，２ｂの位置はそれぞれ、前記交点からのカメラ２ａないしは２ｂの投影中心の所定の偏心率と、撮像装置１ａ，１ｂの角度方向αａ，βａ；αｂ，βｂおよび位置Ｐａ，Ｐｂとから決定される。その際には空間座標系における姿勢は、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、カメラ２ａ，２ｂの投影中心の偏心率と、角度測定ユニット４ａ，４ｂによって検出された該カメラ２ａ，２ｂの角度方向と、撮像画像と、特徴的要素１２の知識とから求められる。
図２に本発明の１つの実施形態を示す。この実施形態では、図１ａに示した実施例のすでに説明した特徴は再度説明しない。
図２の実施例では撮像装置１ａは、第１のカメラ２ａの第１の視界８ａ内で第１のパターン光７ａを放出するために構成された第１の発光源６ａを有する。第１の駆動ユニット３ａによって前記第１の発光源６ａは第１のカメラ２ａと一緒に方向決めできるように構成されている。この角度方向は、空間座標系で校正された第１の角度測定ユニット４ａによって高精度で検出することができる。撮像画像を撮像する上述のステップでは、第１のパターン光７ａが第２の撮像装置１ｂの第２のカメラ２ｂの視界内に入るように、該第１のパターン光７ａを前記第１の発光源６ａからオブジェクト１２に投射する。空間座標系におけるオブジェクト１２の姿勢はさらに、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、角度測定ユニット４ａ，４ｂによって検出された第１の発光源６ａおよび第２のカメラ２ｂの角度方向と、該第１のパターン光７ａを撮った該第２のカメラ２ｂの撮像画像とから、三角測量によって求められる。このようにして位置検出精度を上昇させることができる。また、光学的に検出可能なマークを有さないオブジェクトの区分でも測定を行うこともできる。
第２の撮像装置１ｂも、第２のカメラ２ｂの第２の視界８ｂ内で第２のパターン光７ｂを放出するように構成された発光源、すなわち第２の発光源６ｂを有する。この発光源６ｂは第２の駆動ユニット３ｂによって、第２のカメラ２ｂと一緒に方向決めすることができる。第２の発光源６ｂの角度方向は、空間座標系で校正された第２の角度測定ユニット４ｂによって高精度で検出することができる。撮像画像を撮像する上述のステップでは、第２のパターン光７ｂが第１の撮像装置１ａの第１のカメラ２ａの視界内に入るように、該第２のパターン光７ｂを第２の発光源６ｂから、オブジェクト１２の特徴的要素１３の少なくとも一部分に投射する。さらに、空間座標系におけるオブジェクト１２の姿勢は、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、角度測定ユニット４ａ，４ｂによって検出された第２の発光源６ｂと第１のカメラ２ａの角度方向と、第２のパターン光７ｂを撮った該第１のカメラ２ａの撮像画像と、オブジェクト１２に設けられた特徴的要素１３の知識とから、三角測量によって求められる。
さらに、既知の第３の位置Ｐｃに既知の方向で、第３の発光源６ｃを有する発光装置１ｃが配置されている。この第３の発光源６ｃは第３のパターン光７ｃを放出するように構成され、第３の駆動ユニット３ｃによって方向決めすることができる。第３の発光源６ｃの角度方向は、空間座標系で校正された第３の角度測定ユニット４ｃによって高精度で検出することができる。撮像画像を撮像する上述のステップでは、第３のパターン光７ｃが第１の撮像装置１ａの第１のカメラ２ａおよび／または第２のカメラ２ｂの視界内に入るように、該第３のパターン光７ｃを前記第３の発光体６ｃからオブジェクト１２に投射する。さらに、空間座標系におけるオブジェクト１２の姿勢は、第１の撮像装置１ａの位置Ｐａと、第１の角度測定ユニット４ａによって検出された第１のカメラ２ａの角度方向と、第３の角度測定ユニット４ｃによって検出された第３の発光源６ｃの角度方向と、第３のパターン光７ｃを撮った第１のカメラ２ａの撮像画像とから、三角測量によって求められる。前記発光装置１ｃを使用する利点は、適切な位置決めによって、とりわけ側方にずらして位置決めを行うことにより、オブジェクトの姿勢を求める際の精度をさらに上昇できる有利な三角測量ベースを実現できることである。
１つまたは複数の撮像装置に発光ユニットを設けることができる。各パターン光７ａ，７ｂ，７ｃはたとえば投影レーザ線であるか、またはレーザ線の形態で扇形に投影されるレーザ点であるか、または２次元で投影されるパターンであり、とりわけレーザラスタである。
図２の実施例ではさらに、両撮像装置１ａおよび１ｂはレーザ測距装置５ａないしは５ｂを有し、これらのレーザ測距装置５ａないしは５ｂは第１のカメラ２ａないしは２ｂとともに、各駆動ユニット３ａないしは３ｂによって方向決め可能であり、該レーザ測距装置５ａないしは５ｂの角度方向は、空間座標系で校正された角度測定ユニット４ａないしは４ｂによって高精度で検出することができる。また、これらのレーザ測距装置５ａないしは５ｂはさらに、オブジェクト１２にある特徴的要素１３に照準されることにより、空間座標系における該オブジェクト１２の姿勢を高精度で求めるためにも使用される。また、固定位置にあるターゲットマークＴに照準することにより、空間座標系における撮像装置１ａの位置ＰａおよびＰｂをレーザ測距装置５ａおよび／または５ｂによって求めることもできる。択一的に、レーザ測距装置５ａないしは５ｂをレーザスキャナとして構成することもできる。このレーザスキャナはとりわけ、各カメラの視界全体にわたって測定を行うレーザスキャナである。すなわち、各カメラに対するレーザ測距装置５ａないしは５ｂの相対方向を測定できるように、該レーザ測距装置５ａないしは５ｂをさらにカメラに対して方向決めできるようにすることもできる。このことにより、各カメラに対して測定可能であるように測定ビームを方向決めすることができる。
上述の位置決め方法は、空間内における１つの第１のオブジェクトの自由な位置決めに関して説明したが、上述の方法および構成要素を使用して少なくとも１つの第２のオブジェクトを位置決めすること、および／または、該第２のオブジェクトに対して第１のオブジェクトを高精度で方向決めすること、該第１のオブジェクトに対して該第２のオブジェクトを高精度で方向決めすることもできる。以下でこのような方法を説明する。また、上述の構成を第２のオブジェクトおよび任意の他のオブジェクトの位置決めと組み合わせることもできる。しかし図面を簡略化するために、第１のオブジェクトを位置決めする際に実施可能な実施例を、別のオブジェクトの位置決めに関しても説明するのを省略する。このような組み合わせもまた、本発明に含まれる。
図３にこのような実施例を示している。図１ａに示した実施形態の重要な構成要素に関して図３では再度言及しないが、これらの図１ａ中の構成要素の他に、第２の産業用ロボット２１とオブジェクトホルダ２４とが設けられる。上述のように、第１のオブジェクト１２を第１の最終姿勢に高精度で位置調整する前に、第２のオブジェクト２２を第２の産業用ロボット２１によって把持し、オブジェクトホルダ２４に配置する。このオブジェクトホルダ２４は、第２のオブジェクト２２を保持することができるいわゆる「固定具」として形成されている。こうするためには、オブジェクトホルダ２４が適切な形状を‐たとえばオブジェクトの変形を回避するために適切な形状を‐有すること、および／または、オブジェクトを固定するための適切なクランピング装置を有することができる。オブジェクトホルダ２４に配置されると、第２のオブジェクト２２は空間座標系において第２の最終姿勢になる。択一的に、第２のオブジェクトを第２の産業用ロボット２１によって配置するのではなく、手動でオブジェクトホルダ２４に配置することもできる。１つの実施例ではオブジェクトホルダ２４は、第２のオブジェクト２２が所定の第２の最終姿勢に高精度で配置されるように強制センタリングを行うように構成されている。この場合には、第２の最終姿勢を測定技術によって測定するのを省略することができる。しかしそうでない場合には、空間座標系における第２の最終姿勢が求められる。こうするために第２のオブジェクト２２は、光学的に検出可能な既知の第２の特徴的要素２３を有する。第２のオブジェクト２２がオブジェクトホルダ２４に配置された後、まず最初に、視界８ａ，８ｂが少なくとも部分的に重なり合うように前記少なくとも２つのカメラ２ａ，２ｂをそれぞれ駆動ユニット３ａ，３ｂによって該第２のオブジェクト２２の第２の特徴的要素２３の少なくとも一部分に向かって方向決めすることにより、空間座標系における該第２のオブジェクト２２の第２の最終姿勢を求める。第２の撮像画像を撮像する。空間座標系における第２のオブジェクト２２の第２の姿勢を、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、角度測定ユニット４ａ，４ｂによって検出されたカメラ２ａ，２ｂの角度方向と、前記第２の撮像画像と、前記第２のオブジェクト２２における前記第２の特徴的要素２３の知識とから求める。
択一的に、第１のオブジェクト１２を第１の最終姿勢Ｅａに高精度で位置調整する前に、第２のオブジェクト２２を第２の産業用ロボット２１によって、把持公差以内で把持する。その際には、第２のオブジェクト２２をオブジェクトホルダ２４に置くのではなく保持する。第２の産業用ロボット２１を、第２のオブジェクト２２が第２の最終姿勢になる該第２の産業用ロボット２１の最終ポジショニングに位置調整する。第２のオブジェクト２２の第２の最終姿勢は、空間座標系において以下のステップによって求められる：
視界８ａ，８ｂが少なくとも部分的に重なり合うように前記少なくとも２つのカメラ２ａ，２ｂをそれぞれ駆動ユニット３ａ，３ｂによって第２のオブジェクト２２の第２の特徴的要素２３の少なくとも一部に向けて方向決めするステップ。
第２の撮像画像を撮像するステップ。
空間座標系における前記第２のオブジェクト２２の第２の最終姿勢を、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、角度測定ユニット４ａ，４ｂによって検出されたカメラ２ａ，２ｂの角度方向と、前記第２の撮像画像と、該第２のオブジェクト２２の第２の特徴的要素２３の知識とから求めるステップ。
視界８ａ，８ｂが少なくとも部分的に重なり合うように前記少なくとも２つのカメラ２ａ，２ｂをそれぞれ駆動ユニット３ａ，３ｂによって第２のオブジェクト２２の第２の特徴的要素２３の少なくとも一部に向けて方向決めするステップ。
第２の撮像画像を撮像するステップ。
空間座標系における前記第２のオブジェクト２２の第２の最終姿勢を、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、角度測定ユニット４ａ，４ｂによって検出されたカメラ２ａ，２ｂの角度方向と、前記第２の撮像画像と、該第２のオブジェクト２２の第２の特徴的要素２３の知識とから求めるステップ。
図３の実施例では第１のオブジェクト１２の第１の最終姿勢は、第２のオブジェクト２２の第２の最終姿勢と、該第１のオブジェクト１２と該第２のオブジェクト２２との所定の相対姿勢とから計算される。第１のオブジェクト１２は第２のオブジェクト２２に対して相対的に高精度で位置決めされているので、ここでたとえば、両オブジェクトを高精度で接合するための接合手法を実施することができる。
図４に本発明の別の実施形態を示す。この実施形態では、第２のオブジェクト２２と、加工ツールとして構成された第３のオブジェクト３２とを高精度で位置調整する。
光学的に検出可能な既知の特徴的要素２３を有する第２のオブジェクト２２は、第２の産業用ロボット２１によって把持公差以内で把持されて保持される。第２の産業用ロボット２１に対してこの把持公差を補正する第２の調整量を求め、第２のオブジェクト２２が空間座標系において、該第２の産業用ロボット２１のポジショニングの設定によって調整されるように位置調整する。第２の調整量を求めるためには、視界が少なくとも部分的に重なり合うように２つのカメラ２ａ，２ｂをそれぞれ駆動ユニット３ａ，３ｂによって、第２の産業用ロボット２１の第２の調整ポジショニングに保持される第２のオブジェクト２２の第２の特徴的要素２３の少なくとも一部分に向けて方向決めする。第２の撮像画像を撮像する。第２の産業用ロボット２１の第２の調整ポジショニングにある場合の空間座標系内での第２のオブジェクト２２の姿勢を、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、角度測定ユニット４ａ，４ｂによって検出されたカメラ２ａ，２ｂの角度方向と、前記第２の撮像画像と、前記第２のオブジェクト２２における前記第２の特徴的要素２３の知識とから求める。第２の調整量は、第２の産業用ロボット２１の第２の調整ポジショニングと、少なくとも、該第２の産業用ロボット２１の第２の調整ポジショニングにおける第２のオブジェクト２２の求められた姿勢とを使用して求められる。次に、第２のオブジェクト２２を第２の最終姿勢に高精度で位置調整する。このことを行うためには、所定の公差以内で第２の最終姿勢に達するまで繰り返される以下のステップを使用する。まず、さらなる第２の撮像画像を撮像する。空間座標系における第２のオブジェクト２２の実際の姿勢を、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、角度測定ユニット４ａ，４ｂによって検出されたカメラ２ａ，２ｂの角度方向と、前記さらなる第２の撮像画像と、前記第２のオブジェクト２２における前記第２の特徴的要素２３の知識とから求める。前記第２のオブジェクト２２の実際の姿勢と第２の最終姿勢との姿勢差を計算する。第２の調整量を考慮して第２の産業用ロボット２１の現在のポジショニングと前記姿勢差に関連する量とから第２の産業用ロボット２１の新たな目標ポジショニングを計算した後、該第２の産業用ロボット２１をこの新たな目標ポジショニングに位置調整する。第２のオブジェクト２２が所定の公差以内で第２の最終姿勢に達するまで、前記ステップを繰り返す。
図４のこの実施形態では、図３に示した両オブジェクト１２および２２を相対的に位置決めする代わりに、両オブジェクト１２および２２を相互に独立して高精度で個別に位置決めする。
本発明の１つの実施形態では、第２のオブジェクト２２が把持された後、第２の調整量を求めるために、第２の産業用ロボット２１を該第２の産業用ロボット２１の第２の調整ポジショニングに位置調整する。
本発明の別の実施例では、所定の公差以内で第２の最終姿勢に達するまで繰り返される前記ステップを実施する前に、第２の調整量を考慮して第２の産業用ロボット２１を第２の調整ポジショニングから、前記第２のオブジェクト２２が該第２の最終姿勢に近づく第２の近似姿勢に位置決めされるポジショニングに位置調整する。次に、前記２つのカメラ２ａ，２ｂがそれぞれ駆動ユニット３ａ，３ｂによって、視界８ａ，８ｂが少なくとも部分的に相互に重なり合うように、第２の近似姿勢に位置決めされている第２のオブジェクト２２の第２の特徴的要素２３の少なくとも一部に向かって方向決めされる。
また図４に示されているように、加工ツールとして構成された第３のオブジェクト３２が設けられている。この第３のオブジェクト３２は、図３の実施形態でも使用することができる。加工ツール３２は、第３の産業用ロボット３１によって保持公差以内で保持される。加工ツール３２、または該加工ツール３２に結合された第３の産業用ロボット３１の部分に、たとえば該加工ツール３２のリテーナに、光学的に検出可能な既知の第３の特徴的要素３３を有する。空間座標系において第３の産業用ロボット３１の位置決め状態の設定によって加工ツール３２を調整されるように位置調整できるようにするためには、第３の産業用ロボット３１に対して、前記保持公差を補正する第３の調整量を決定する。こうするためにはまず、視界８ａ，８ｂが少なくとも部分的に相互に重なり合うように、駆動ユニット３ａおよび３ｂによって前記２つのカメラ２ａおよび２ｂをそれぞれ第３の特徴的要素３３の少なくとも一部分に向けて方向づけする。加工ツール３２はここでは、第３の産業用ロボット３１の第３の調整ポジショニングで保持される。第３の撮像画像を撮像する。第３の産業用ロボット３１の第３の調整ポジショニングにおける空間座標系での加工ツール３２の姿勢を、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、角度測定ユニット４ａ，４ｂによって検出されたカメラ２ａ，２ｂの角度方向と、前記第３の撮像画像と、前記第３の特徴的要素３３の知識とから求める。第３の調整量は、第３の産業用ロボット３１の第３の調整ポジショニングと、少なくとも、該第３の産業用ロボット３１の第３の調整ポジショニングにおける加工ツール３２の求められた姿勢とを使用して求められる。
さらに本発明では、所定の公差以内で第３の最終姿勢に達するまで以下のステップを繰り返し実施することにより、加工ツール３２を第３の最終姿勢に高精度で位置調整する。さらなる第３の撮像画像を撮像する。空間座標系における加工ツール３２の実際の姿勢を、撮像装置１ａ，１ｂの位置Ｐａ，Ｐｂと、角度測定ユニット４ａ，４ｂによって検出されたカメラ２ａ，２ｂの角度方向と、前記さらなる第３の撮像画像と、前記第３の特徴的要素３３の知識とから求める。前記第３のオブジェクト３２の実際の姿勢と第３の最終姿勢との姿勢差を計算する。第３の産業用ロボット３１の新たな目標ポジショニングが、前記第３の調整量を考慮して、第３の産業用ロボット２１の現在のポジショニングと、前記姿勢差に関連する量とから計算される。次に、第３の産業用ロボット３１を前記新たな目標ポジショニングに位置調整する。前記加工ツール３２が第３の最終姿勢の公差領域内になるまで、前記ステップを繰り返す。
前記加工ツール３２はたとえば、第１のオブジェクト１２と第２のオブジェクト２２とを溶接接合するための溶接工具である。また、任意の別の加工ツールも使用することができ、とりわけ接合工具を使用することもできる。ここでは、加工ツール３２を第１のオブジェクト１２および第２のオブジェクト２２と関連づけて説明し、とりわけこれらのオブジェクトの接合について説明したが、本発明は、１つのオブジェクトのみに対して行われる加工ツールの相対的な位置決めも含む。このことはたとえば、１つのオブジェクトにのみ作業工程を実施する加工ツール、たとえば切削製造工程を実施する加工ツールに当てはまる。
本発明はまた、明示的には組み合わされていない特徴の組合せも含む。
上記のシステム構成要素、とりわけ撮像装置等の測定用構成要素は、移動性およびフレキシビリティを特徴とする。それゆえ、比較的短時間の間に製造システムに設置できる独立した構成要素によって上記の方法を実施することができる。自己校正および自己参照を行う構成要素により、困難な動作条件でも十分なプロセス信頼性を保証することができる。上記のように調整量を求めて、前記最終姿勢に達するまでステップを繰り返すことにより、比較的低精度の測定システムを有する比較的低精度の操作システムもオブジェクトの高精度の位置決めに使用することができる。本発明により、処理に直接関与することなく、非接触で十分な距離をおいて、非常に大きな検出領域においてオブジェクトの姿勢を迅速に検出することができる。カメラを旋回することにより、カメラの再参照に起因する測定プロセスの遅延が発生することがなくなる。というのも、本発明では再参照を省略できるからである。したがって、空間内においてオブジェクトを高精度で位置決めするための本発明の方法およびシステムは、加工速度が高速であることを特徴とする。
Claims (40)
- 空間内において少なくとも１つのオブジェクトを産業用ロボットによって最終姿勢に高精度で位置決めするための方法において、
前記オブジェクトを位置決めするために、
・所定のポジショニングに位置調整することができる第１の産業用ロボット（１１）と、
・３次元の空間座標系で校正され、既知の第１の位置（Ｐａ）に既知の方向に位置決めされた第１の光学的撮像装置（１ａ）と、
・前記空間座標系で校正され、既知の第２の位置（Ｐｂ）に既知の方向で位置決めされた、少なくとも１つの第２の光学的撮像装置（１ｂ）と
を使用し、
前記第１の光学的撮像装置（１ａ）は、
・所定の第１の視界（８ａ）内で画像を撮像するための光学的校正された第１のカメラ（２ａ）と、
・前記第１の視界（８ａ）を位置調整するために前記第１のカメラ（２ａ）を方向決めするための第１の駆動ユニット（３ａ）と、
・前記第１のカメラ（２ａ）の角度方向を高精度で検出して、前記空間座標系において前記第１の視界（８ａ）を求めるための、該空間座標系で校正された第１の角度測定ユニット（４ａ）と
を有し、
前記第２の光学的撮像装置（１ｂ）は、
・所定の第２の視界（８ｂ）内で画像を撮像するための、光学的校正された第２のカメラ（２ｂ）と、
・前記第２の視界（８ｂ）を位置調整するために前記第２のカメラ（２ｂ）を方向決めするための第２の駆動ユニット（３ｂ）と、
・前記第２のカメラ（２ｂ）の角度方向を高精度で検出して、前記空間座標系において前記第２の視界（８ｂ）を求めるための、該空間座標系で校正された第２の角度測定ユニット（４ｂ）と
を有し、
前記第１の位置（Ｐａ）と前記第２の位置（Ｐｂ）との間隔は次のように設けられており、すなわち、前記第１の視界（８ａ）と前記第２の視界（８ｂ）とが少なくとも部分的に重なり合うように、前記第１の光学的撮像装置（１ａ）および前記第２の光学的撮像装置（１ｂ）によって前記少なくとも１つのオブジェクトの画像が３次元で撮像されるように設けられており、
・光学的に検出可能な既知の第１の特徴的要素（１３）を有する第１のオブジェクト（１２）を、前記第１の産業用ロボット（１１）によって把持公差以内で把持および保持するステップと、
・前記第１の産業用ロボット（１１）に対して、前記第１のオブジェクト（１２）が前記空間座標系において該第１の産業用ロボット（１１）のポジショニングの設定によって調整されるように前記把持公差を補正するための第１の調整量を求めるステップであって、
前記第１の視界（８ａ）と前記第２の視界（８ｂ）とが少なくとも部分的に重なり合うように、前記第１の産業用ロボット（１１）の第１の調整ポジショニングに保持された前記第１のオブジェクト（１２）の前記第１の特徴的要素（１３）の少なくとも一部に向けて、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）をそれぞれ前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）によって方向決めするステップと、
第１の撮像画像を撮像するステップと、
前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記第１の撮像画像と、前記第１のオブジェクト（１２）にある前記第１の特徴的要素（１３）の知識とから、前記第１の産業用ロボット（１１）の前記第１の調整ポジショニングにおける前記空間座標系での該第１のオブジェクト（１２）の姿勢を求めるステップと、
前記第１の産業用ロボット（１１）の前記第１の調整ポジショニングと、少なくとも、該第１の産業用ロボット（１１）の第１の調整ポジショニングにおける前記第１のオブジェクト（１２）の求められた姿勢とを使用して、前記第１の調整量を求めるステップと
を実施するステップと、
・前記第１のオブジェクト（１２）を高精度で第１の最終姿勢に位置調整するステップであって、該第１のオブジェクト（１２）が該第１の最終姿勢に所定の公差以内で達するまで、
さらなる第１の撮像画像を撮像するステップと、
前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記さらなる第１の撮像画像と、前記第１のオブジェクト（１２）にある前記第１の特徴的要素（１３）の知識とから、前記空間座標系における該第１のオブジェクト（１２）の実際の姿勢を求めるステップと、
前記第１のオブジェクト（１２）の実際の姿勢と前記第１の最終姿勢との姿勢差を計算するステップと、
前記第１の産業用ロボット（１１）の現在のポジショニングと、前記姿勢差に関連する量とから、前記第１の調整量も使用して、前記第１の産業用ロボット（１１）の新たな目標ポジショニングを計算するステップと、
前記第１の産業用ロボット（１１）を前記新たな目標ポジショニングに位置調整するステップと
を繰り返し行うことにより、前記第１のオブジェクト（１２）を高精度で第１の最終姿勢に位置調整するステップ
とを有することを特徴とする方法。 - 前記第１の産業用ロボット（１１）によって前記第１のオブジェクト（１２）を把持した後、前記第１の調整量を求めるために該第１の産業用ロボット（１１）を前記第１の調整ポジショニングに位置調整する、請求項１記載の方法。
- 前記第１のオブジェクト（１２）が所定の公差以内で前記第１の最終姿勢に達するまで繰り返し行われる前記ステップの前に、
・前記第１の調整量に基づいて、前記第１の調整ポジショニングから、前記第１のオブジェクト（１２）が前記第１の最終姿勢に近い第１の近似姿勢に位置決めされるポジショニングに前記第１の産業用ロボット（１１）を位置調整し、
・前記第１の視界（８ａ）と前記第２の視界（８ｂ）とが少なくとも部分的に重なり合うように、前記第１の近似姿勢に位置決めされた前記第１のオブジェクト（１２）の前記第１の特徴的要素（１３）の少なくとも一部に向けて、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）をそれぞれ前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）によって方向決めする、請求項１または２記載の方法。 - 前記第１のオブジェクト（１２）を前記第１の最終姿勢に高精度で位置調整する前に、
・第２のオブジェクト（２２）を第２の産業用ロボット（２１）または手動で把持し、オブジェクトホルダ（２４）に配置して前記空間座標系における第２の最終姿勢に位置決めする、請求項１から３までのいずれか１項記載の方法。 - ・前記第２のオブジェクト（２２）が前記所定の第２の最終姿勢に高精度で位置決めされるように、前記オブジェクトホルダ（２４）は強制センタリングが行われるように設けられている、請求項４記載の方法。
- ・前記第２のオブジェクト（２２）は、光学的に検出可能な既知の第２の特徴的要素（２３）を有し、
前記第２のオブジェクト（２２）を前記オブジェクトホルダ（２４）に配置する前に、
前記第１の視界（８ａ）と前記第２の視界（８ｂ）とが少なくとも部分的に重なり合うように、前記第２のオブジェクト（２２）の前記第２の特徴的要素（２３）の少なくとも一部に向けて、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）をそれぞれ前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）によって方向決めし、
第２の撮像画像を撮像し、
前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記第２の撮像画像と、前記第２のオブジェクト（２２）にある前記第２の特徴的要素（２３）の知識とから、前記空間座標系における該第２のオブジェクト（２２）の第２の最終姿勢を求める、請求項４記載の方法。 - 前記第１のオブジェクト（１２）を前記第１の最終姿勢（Ｅａ）に高精度で位置調整する前に、
・光学的に検出可能な第２の特徴的要素（２３）を有する第２のオブジェクト（２２）を第２の産業用ロボット（２１）によって把持公差以内で把持および保持し、
・前記第２の産業用ロボット（２１）を、前記第２のオブジェクト（２２）が第２の最終姿勢になる該第２の産業用ロボット（２１）の最終ポジショニングに位置調整し、
・前記第１の視界（８ａ）と前記第２の視界（８ｂ）とが少なくとも部分的に重なり合うように、前記第２のオブジェクト（２２）の前記第２の特徴的要素（２３）の少なくとも一部に向けて、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）をそれぞれ前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）によって方向決めし、
第２の撮像画像を撮像し、
前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記第２のオブジェクト（２２）の前記第２の特徴的要素（２３）の知識とから、前記空間座標系における前記第２のオブジェクト（２２）の第２の最終姿勢を求める、
請求項１から３までのいずれか１項記載の方法。 - 前記第１のオブジェクト（１２）の前記第１の最終姿勢を、前記第２のオブジェクト（２２）の第２の最終姿勢と、該第１のオブジェクト（１２）と該第２のオブジェクト（２２）との所定の相対姿勢とから計算する、請求項５から７までのいずれか１項記載の方法。
- 前記第１のオブジェクト（１２）を前記第１の最終姿勢に高精度で位置調整する前に、
・光学的に検出可能な既知の第２の特徴的要素（２３）を有する第２のオブジェクト（２２）を第２の産業用ロボット（２１）によって把持公差以内で把持および保持し、
・前記第２の産業用ロボット（２１）のポジショニングの設定によって前記第２のオブジェクト（２２）が前記空間座標系において調整されるように前記第２の産業用ロボット（２１）の前記把持公差を補正する第２の調整量を求め、該第２の調整量を求めるために、
前記第１の視界と前記第２の視界とが少なくとも部分的に重なり合うように、前記第２の産業用ロボット（２１）の第２の調整ポジショニングに保持される前記第２のオブジェクト（２２）の前記第２の特徴的要素（２３）の少なくとも一部に向けて、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）をそれぞれ前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）によって方向決めするステップと、
第２の撮像画像を撮像するステップと、
前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記第２の撮像画像と、前記第２のオブジェクト（２２）にある前記第２の特徴的要素（２３）の知識とから、該第２の産業用ロボット（２１）の第２の調整ポジショニングにおける前記第２のオブジェクト（２２）の前記空間座標系における姿勢を求めるステップと、
前記第２の産業用ロボット（２１）の第２の調整ポジショニングと、少なくとも、該第２の産業用ロボット（２１）の前記第２の調整ポジショニングにおける前記第２のオブジェクト（２２）の求められた姿勢とを使用して、前記第２の調整量を求めるステップと
を実施するステップと、
・前記第２のオブジェクト（２２）を第２の最終姿勢に高精度で位置調整するために、所定の公差以内で前記第２の最終姿勢に達するまで、
さらなる第２の撮像画像を撮像するステップと、
前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記さらなる第２の撮像画像と、前記第２のオブジェクト（２２）にある前記第２の特徴的要素（２３）の知識とから、前記空間座標系における該第２のオブジェクト（２２）の実際の姿勢を求めるステップと、
前記第２のオブジェクト（２２）の実際の姿勢と前記第２の最終姿勢との間の姿勢差を計算するステップと、
前記第２の産業用ロボット（２１）の現在のポジショニングと、前記姿勢差に関連する量とから、前記第２の調整量も使用して、該第２の産業用ロボット（２１）の新たな目標ポジショニングを計算するステップと、
前記第２の産業用ロボット（２１）を前記新たな目標ポジショニングに位置調整するステップ
とを繰り返すステップと
を実施する、請求項１から３までのいずれか１項記載の方法。 - 前記第２の産業用ロボット（２１）によって前記第２のオブジェクト（２２）を把持した後、前記第２の調整量を求めるために該第２の産業用ロボット（２１）を前記第２の調整ポジショニングに位置調整する、請求項９記載の方法。
- 前記第２のオブジェクト（２２）が所定の公差以内で前記第２の最終姿勢に達するまで繰り返し行われる前記ステップの前に、
・前記第２の調整量に基づいて、前記第２の調整ポジショニングから、前記第２のオブジェクト（２２）が前記第２の最終姿勢に近い第２の近似姿勢に位置決めされるポジショニングに前記第２の産業用ロボット（２１）を位置調整し、
・前記第１の視界（８ａ）と前記第２の視界（８ｂ）とが少なくとも部分的に重なり合うように、前記第２の近似姿勢に位置決めされた前記第２のオブジェクト（２２）の前記第２の特徴的要素（２３）の少なくとも一部に向けて、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）をそれぞれ前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）によって方向決めする、請求項９または１０記載の方法。 - ・加工ツールとして構成された第３のオブジェクト（３２）を第３の産業用ロボット（３１）によって保持公差以内で保持し、
・前記第３の産業用ロボット（３１）のポジショニングの設定によって前記空間座標系において前記加工ツール（３２）が調整されるように位置調整されるように該第３の産業用ロボット（３１）の把持公差を補正する第３の調整量を求め、
前記第３の調整量を求めるために、
・前記加工ツール（３２）を前記第３の産業用ロボット（３１）の第３の調整ポジショニングに保持し、前記第１の視界（８ａ）と前記第２の視界（８ｂ）とが少なくとも部分的に重なり合うように、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）をそれぞれ前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）によって、前記加工ツール（３２）または該加工ツール（３２）に結合された該第３の産業用ロボット（３１）の一部分に設けられた光学的に検出可能な既知の第３の特徴的要素（３３）の少なくとも一部に向けて方向決めするステップと、
・第３の撮像画像を撮像するステップと、
・前記第１の光学的撮像装置（１ａ）第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記第３の撮像画像と、前記加工ツール（３２）または該加工ツール（３２）に結合された前記第３の産業用ロボット（３１）の一部分に設けられた光学的に検出可能な既知の第３の特徴的要素（３３）の知識とから、前記第３の産業用ロボット（３１）の第３の調整ポジショニングにおける前記空間座標系における前記加工ツール（３２）の姿勢を求めるステップと、
・前記第３の産業用ロボット（３１）の第３の調整ポジショニングと、少なくとも、該第３の産業用ロボット（３１）の第３の調整ポジショニングにおける前記加工ツール（３２）の求められた姿勢とを使用して、前記第３の調整量を求めるステップ
とを行う、請求項１から１１までのいずれか１項記載の方法。 - 前記加工ツール（３２）が所定の公差以内で前記第３の最終姿勢に達するまで、
・さらなる第３の撮像画像を撮像するステップと、
・前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記さらなる第３の撮像画像と、前記第３の特徴的要素（３３）の知識とから、前記空間座標系における前記加工ツール（３２）の実際の姿勢を求めるステップと、
・前記第３のオブジェクト（３２）の実際の姿勢と前記第３の最終姿勢との姿勢差を計算するステップと、
・前記第３の産業用ロボット（３１）の現在のポジショニングと、前記姿勢差に関連する量とから、前記第３の調整量を使用して前記第３の産業用ロボット（３１）の新たな目標ポジショニングを計算するステップと、
・前記第３の産業用ロボット（３１）を前記新たな目標ポジショニングに位置調整するステップと
を繰り返し実施することにより、前記加工ツール（３２）を高精度で前記第３の最終姿勢に位置調整する、請求項１２記載の方法。 - 前記姿勢差に関連する量を形成するために、前記姿勢差に１以下の係数を乗算する、請求項１から１３までのいずれか１項記載の方法。
- ・前記特徴的要素（１３；２３；３３）は基本的に、電子的なデータ処理装置によって処理されたモデルから既知であり、
・電子的なデータ処理装置によって実施される画像処理により、前記モデルおよび／または前記撮像画像において前記特徴的要素（１３；２３；３３）を同定し、前記モデルの前記特徴的要素（１３；２３；３３）と、前記撮像画像の前記特徴的要素（１３；２３；３３）とを対応付け、
・撮像された前記特徴的要素（１３；２３；３３）の位置であって、前記空間座標系において検出された該特徴的要素（１３；２３；３３）の位置と、対応付けられた前記モデルの前記特徴的要素（１３；２３；３３）および前記撮像画像の前記特徴的要素（１３；２３；３３）とから、該空間座標系における前記オブジェクト（１２；２２；３２）の姿勢を求める、請求項１から１４までのいずれか１項記載の方法。 - 撮像された前記特徴的要素（１３；２３；３３）の相互間の相対姿勢を求め、基本的にモデルから既知である前記特徴的要素の相互間の相対姿勢と比較する、請求項１５記載の方法。
- 撮像された前記特徴的要素（１３；２３；３３）の相互間の相対姿勢と前記モデルから基本的に既知である前記特徴的要素の相互間の相対姿勢との偏差の超過時に、エラーメッセージを出力する、請求項１６記載の方法。
- 前記エラーメッセージの場合、前記オブジェクト（１２；２２；３２）を新たなオブジェクト（１２；２２；３２）と交換する、請求項１７記載の方法。
- 前記モデルを、検出された前記オブジェクト（１２；２２；３２）に適合する、請求項１６または１７記載の方法。
- ・適合された前記モデルが、前記空間座標系における前記最終姿勢を決定する、請求項１９記載の方法。
- 前記第１の光学的撮像装置（１ａ）および前記第２の光学的撮像装置（１ｂ）はそれぞれ、
・前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）が前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）によってそれぞれ、前記空間座標系を基準として水平方向の傾斜軸（Ｈａ；Ｈｂ）および垂直方向の鉛直軸（Ｖａ；Ｖｂ）を中心として方向決めすることができ、
・前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によってそれぞれ、前記空間座標系における前記鉛直軸（Ｖａ；Ｖｂ）を中心とする水平方向の角度方向（αａ；αｂ）と前記傾斜軸（Ｈａ；Ｈｂ）を中心とする垂直方向の角度方向（βａ；βｂ）とが検出される
ように構成されている、請求項１から２０までのいずれか１項記載の方法。 - 前記水平方向の傾斜軸（Ｈａ，Ｈｂ）と前記垂直方向の鉛直軸（Ｖａ；Ｖｂ）とは実質的に交差する、請求項２１記載の方法。
- 前記第１の光学的撮像装置（１ａ）および前記第２の光学的撮像装置（１ｂ）はそれぞれ、
・前記第１のカメラ（２ａ）の投影中心および前記第２のカメラ（２ｂ）の投影中心がそれぞれ、前記水平方向の傾斜軸（Ｈａ；Ｈｂ）と前記垂直方向の鉛直軸（Ｖａ，Ｖｂ）との交点に位置し、
・前記第１のカメラ（２ａ）の位置および前記第２のカメラ（２ｂ）の位置はそれぞれ、角度方向（αａ，βａ；αｂ，βｂ）に依存せずに前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）に結合され、
前記空間座標系における前記姿勢が、前記第１のカメラ（２ａ）の位置および前記第２のカメラ（２ｂ）の位置と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された該第１のカメラ（２ａ）の角度方向（αａ，βａ）および該第２のカメラ（２ｂ）の角度方向（αｂ，βｂ）と、前記撮像画像と、前記特徴的要素（１３；２３；３３）の知識とから求められる
ように構成されている、請求項２２記載の方法。 - 前記第１の光学的撮像装置（１ａ）および前記第２の光学的撮像装置（１ｂ）はそれぞれ、
・前記第１のカメラ（２ａ）の投影中心および前記第２のカメラ（２ｂ）の投影中心が、前記水平方向の傾斜軸（Ｈａ，Ｈｂ）と前記垂直方向の鉛直軸（Ｖａ，Ｖｂ）との交点の外側に位置し、
・前記第１のカメラ（２ａ）の位置および前記第２のカメラ（２ｂ）の位置が、前記交点からの該第１のカメラ（２ａ）の投影中心および該第２のカメラ（２ｂ）の投影中心の所定の偏心率と、前記角度方向（αａ，βａ；αｂ，βｂ）と、前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）とから求められ、
・前記空間座標系における前記姿勢が、前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１のカメラ（２ａ）の投影中心の偏心率および前記第２のカメラ（２ｂ）の投影中心の偏心率と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された該第１のカメラ（２ａ）の角度方向および該第２のカメラ（２ｂ）の角度方向と、前記撮像画像と、前記特徴的要素（１２；２２；３２）の知識とから求められる
ように構成されている、請求項２２記載の方法。 - 少なくとも前記第１の光学的撮像装置（１ａ）は、前記第１のカメラ（２ａ）の第１の視界（８ａ）内で第１のパターン光（７ａ）を放出するように構成された第１の発光源（６ａ）を有し、
前記第１の発光源（６ａ）は、前記第１の駆動ユニット（３ａ）によって前記第１のカメラ（２ａ）と一緒に方向決めされ、
前記第１の発光源（６ａ）の角度方向は、前記空間座標系でキャリブレーションされた第１の角度測定ユニット（４ａ）によって高精度で検出され、
前記撮像画像を撮像するステップにおいて、前記第１のパターン光（７ａ）が前記第２の光学的撮像装置（１ｂ）の第２のカメラ（２ｂ）の視界内に入るように、該第１のパターン光（７ａ）を前記第１の発光源（６ａ）から前記オブジェクト（１２；２２；３２）に投影し、
・前記空間座標系における前記オブジェクト（１２；２２；３２）の姿勢を、さらに、前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１の発光源（６ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記第１のパターン光（７ａ）を撮像した該第２のカメラ（２ｂ）の撮像画像とから、三角測量によって求める、請求項１から２４までのいずれか１項記載の方法。 - 少なくとも前記第２の光学的撮像装置（１ｂ）は、前記第２のカメラ（２ｂ）の第２の視界（８ｂ）内で第２のパターン光（７ｂ）を放出するように構成された第２の発光源（６ｂ）を有し、
前記第２の発光源（６ｂ）は前記第２のカメラ（２ｂ）とともに、前記第２の駆動ユニット（３ｂ）によって方向決め可能であり、
前記第２の発光源（６ｂ）の角度方向は、前記空間座標系においてキャリブレーションされた前記第２の角度測定ユニット（４ｂ）によって高精度で検出され、
前記撮像画像を撮像するステップにおいて、前記第２のパターン光（７ｂ）が前記第１の光学的撮像装置（１ａ）の第１のカメラ（２ａ）の視界内に入るように該第２のパターン光（７ｂ）を前記第２の発光源（６ｂ）から前記オブジェクト（１２；２２；３２）の特徴的要素（１３；２３；３３）の少なくとも一部に投影し、
前記空間座標系における前記オブジェクト（１２；２２；３２）の姿勢を、さらに、前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第２の発光源（６ｂ）の角度方向および前記第１のカメラ（２ａ）の角度方向と、前記第２のパターン光（７ｂ）を撮像した該第１のカメラ（２ａ）の撮像画像と、前記オブジェクト（１２；２２；３２）における前記特徴的要素（１３；２３；３３）の知識とから、三角測量によって求める、請求項２５記載の方法。 - 既知の第３の位置（Ｐｃ）に既知の方向で配置された発光装置（１ｃ）が設けられており、
前記発光装置（１ｃ）は、第３のパターン光（７ｃ）を放出するように構成された第３の発光源（６ｃ）を有し、
前記第３の発光源（６ｃ）は第３の駆動ユニット（３ｃ）によって方向決め可能であり、
前記第３の発光源（６ｃ）の角度方向は、前記空間座標系でキャリブレーションされた第３の角度測定方向（４ｃ）によって高精度で検出され、
前記撮像画像を撮像するステップにおいて、前記第３のパターン光（７ｃ）が前記第１の光学的撮像装置（１ａ）の第１のカメラ（２ａ）の視界内に入るように該第３のパターン光（７ｃ）を前記第３の発光源（６ｃ）から前記オブジェクト（１２；２２；３２）に投影し、
前記空間座標系における前記オブジェクト（１２；２２；３２）の姿勢を、さらに、前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）と、前記第１の角度測定ユニット（４ａ）によって検出された前記第１のカメラ（２ａ）の角度方向と、前記第３の角度測定ユニット（４ｃ）によって検出された前記第３の発光源（６ｃ）の角度方向と、前記第３のパターン光（７ｃ）を撮像した前記第１のカメラ（２ａ）の撮像画像とから、三角測量によって求める、請求項１から２６までのいずれか１項記載の方法。 - 前記パターン光（７ａ；７ｂ；７ｃ）を、投影されるレーザ線として形成する、請求項２５から２７までのいずれか１項記載の方法。
- 前記パターン光（７ａ；７ｂ；７ｃ）を、レーザ線として扇形に投影されるレーザ点として形成する、請求項２５から２７までのいずれか１項記載の方法。
- 前記パターン光（７ａ；７ｂ；７ｃ）を、２次元で投影されるパターンとして、とりわけレーザラスタとして形成する、請求項２５から２７までのいずれか１項記載の方法。
- 少なくとも前記第１の光学的撮像装置（１ａ）は第１のレーザ測距器（５ａ）を有し、
前記第１のレーザ測距器（５ａ）は前記第１のカメラ（２ａ）とともに、前記第１の駆動ユニット（３ａ）によって方向決め可能であり、
前記第１のレーザ測距器（５ａ）の角度方向は、前記空間座標系においてキャリブレーションされた第１の角度測定ユニット（４ａ）によって高精度で検出される、請求項１から３０までのいずれか１項記載の方法。 - 前記第１のレーザ測距器（５ａ）によって、位置固定されたターゲットマーク（Ｔ）に照準することにより、前記空間座標系における前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）を検出する、請求項３１記載の方法。
- さらに、前記オブジェクト（１２；２２；３２）にある前記特徴的要素（１３；２３；３３）に照準することにより、前記空間座標系における前記オブジェクト（１２；２２；３２）の姿勢を求める、請求項３１または３２記載の方法。
- 空間内において少なくとも１つのオブジェクトを産業用ロボットによって最終姿勢に高精度で位置決めするためのシステムにおいて、
・所定のポジショニングに位置調整可能な第１の産業用ロボット（１１）と、
・３次元の空間座標系でキャリブレーションされ、既知の第１の位置（Ｐａ）に既知の方向で位置決めされた第１の光学的撮像装置（１ａ）と、
・前記空間座標系でキャリブレーションされ、既知の第２の位置（Ｐｂ）に既知の方向で位置決めされた第２の光学的撮像装置（１ｂ）と、
・画像を処理するように構成されたデータ処理装置を有する制御装置（９）と
を有し、
前記第１の光学的撮像装置（１ａ）は、
・所定の第１の視界（８ａ）内で画像を撮像するための光学的キャリブレーションされた第１のカメラ（２ａ）と、
・前記第１の視界（８ａ）を位置調整するために前記第１のカメラ（２ａ）を方向決めするための第１の駆動ユニット（３ａ）と、
・前記第１のカメラ（２ａ）の角度方向を高精度で検出するための第１の角度測定ユニット（４ａ）であって、前記空間座標系において前記第１の視界（８ａ）が求められるように前記空間座標系でキャリブレーションされた第１の角度測定ユニット（４ａ）と
を有し、
前記第２の光学的撮像装置（１ｂ）は、
・所定の第２の視界（８ｂ）内で画像を撮像するための光学的キャリブレーションされた第２のカメラ（２ｂ）と、
・前記第２の視界（８ｂ）を位置調整するために前記第２のカメラ（２ｂ）を方向決めするための第２の駆動ユニット（３ｂ）と、
・前記第２のカメラ（２ｂ）の角度方向を高精度で検出するための第２の角度測定ユニット（４ｂ）であって、前記空間座標系において前記第２の視界（８ｂ）が求められるように前記空間座標系でキャリブレーションされた第２の角度測定ユニット（４ｂ）と
を有し、
前記第１の位置（Ｐａ）と前記第２の位置（Ｐｂ）との間隔は、前記オブジェクトの３次元の画像を前記第１の光学的撮像装置（１ａ）および前記第２の光学的撮像装置（１ｂ）によって、少なくとも部分的に重なり合う前記第１の視界（８ａ）および前記第２の視界（８ｂ）によって撮像できるように設けられており、
前記制御装置（９）は、前記第１の産業用ロボット（１１）と、前記第１の光学的撮像装置（１ａ）と、前記第２の光学的撮像装置（１ｂ）とにデータ接続されており、
・前記制御装置（９）に、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）によって撮像された撮像画像が供給され、
・前記制御装置（９）に、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向が供給され、
・前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）は、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）を方向決めするように前記制御装置（９）によって駆動制御され、
・前記第１の産業用ロボット（１１）は、前記制御装置（９）によって設定されたポジショニングに位置調整され、
前記制御装置（９）および該制御装置（９）のデータ処理装置は、次のように構成されており、すなわち、
・該制御装置（９）に既知である光学的に検出可能な第１の特徴的要素（１３）を有する第１のオブジェクト（１２）が前記第１の産業用ロボット（１１）によって把持公差以内で把持および保持され、
・前記第１の産業用ロボット（１１）のポジショニングの設定によって前記第１のオブジェクト（１２）が空間座標系において調整されるように位置調整されるように該第１の産業用ロボット（１１）の把持公差を補正する第１の調整量が該制御装置（９）によって求められる
ように構成されており、
前記制御装置（９）によって前記第１の調整量を求めるために、
・前記第１の視界（８ａ）と前記第２の視界（８ｂ）とが少なくとも部分的に重なり合うように、前記第１の産業用ロボット（１１）の第１の調整ポジショニングで保持された前記第１のオブジェクト（１２）の第１の特徴的要素（１３）の少なくとも一部に向けて、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）をそれぞれ前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）によって方向決めするステップと、
・第１の撮像画像を撮像するステップと、
・前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記第１の撮像画像と、前記第１のオブジェクト（１２）における第１の特徴的要素（１３）の知識とから、前記第１の産業用ロボット（１１）の第１の調整ポジショニングにおける前記第１のオブジェクト（１２）の姿勢を前記空間座標系において求めるステップと、
・前記第１の産業用ロボット（１１）の前記第１の調整ポジショニングと、少なくとも、該第１の産業用ロボット（１１）の第１の調整ポジショニングにおける前記第１のオブジェクト（１２）の求められた姿勢とを使用して、前記第１の調整量を求めるステップ
とを実施するステップと
が行われ、
前記第１のオブジェクト（１２）が所定の公差以内で第１の最終姿勢に達するまで、
・さらなる第１の撮像画像を撮像するステップと、
・前記第１の光学的撮像装置（１ａ）の第１の位置（Ｐａ）および前記第２の光学的撮像装置（１ｂ）の第２の位置（Ｐｂ）と、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向と、前記さらなる第１の撮像画像と、前記第１のオブジェクト（１２）における前記第１の特徴的要素（１３）の知識とから、前記空間座標系における該第１のオブジェクト（１２）の実際の姿勢を求めるステップと、
・前記第１のオブジェクト（１２）の実際の姿勢と前記第１の最終姿勢との姿勢差を計算するステップと、
・前記第１の調整量を使用して、前記第１の産業用ロボット（１１）の現在のポジショニングと、前記姿勢差に関連する量とから、該第１の産業用ロボット（１１）の新たな目標ポジショニングを計算するステップと、
・前記第１の産業用ロボット（１１）を前記新たな目標ポジショニングに位置調整するステップと
を繰り返し実施することにより、該第１のオブジェクト（１２）は前記制御装置（９）によって高精度で前記第１の最終姿勢に位置調整されることを特徴とする、システム。 - 空間内において少なくとも１つのオブジェクトを産業用ロボットによって最終姿勢に高精度で位置決めするためのシステムにおいて、
・所定のポジショニングに位置調整可能な第１の産業用ロボット（１１）と、
・３次元の空間座標系でキャリブレーションされ、既知の第１の位置（Ｐａ）に既知の方向で位置決めされた第１の光学的撮像装置（１ａ）と、
・前記空間座標系でキャリブレーションされ、既知の第２の位置（Ｐｂ）に既知の方向で位置決めされた第２の光学的撮像装置（１ｂ）と、
・画像を処理するように構成されたデータ処理装置を有する制御装置（９）と
を有し、
前記第１の光学的撮像装置（１ａ）は、
・所定の第１の視界（８ａ）内で画像を撮像するための光学的キャリブレーションされた第１のカメラ（２ａ）と、
・前記第１の視界（８ａ）を位置調整するために前記第１のカメラ（２ａ）を方向決めするための第１の駆動ユニット（３ａ）と、
・前記第１のカメラ（２ａ）の角度方向を高精度で検出するための第１の角度測定ユニット（４ａ）であって、前記空間座標系において前記第１の視界（８ａ）が求められるように前記空間座標系でキャリブレーションされた第１の角度測定ユニット（４ａ）と
を有し、
前記第２の光学的撮像装置（１ｂ）は、
・所定の第２の視界（８ｂ）内で画像を撮像するための光学的キャリブレーションされた第２のカメラ（２ｂ）と、
・前記第２の視界（８ｂ）を位置調整するために前記第２のカメラ（２ｂ）を方向決めするための第２の駆動ユニット（３ｂ）と、
・前記第２のカメラ（２ｂ）の角度方向を高精度で検出するための第２の角度測定ユニット（４ｂ）であって、前記空間座標系において前記第２の視界（８ｂ）が求められるように前記空間座標系でキャリブレーションされた第２の角度測定ユニット（４ｂ）と
を有し、
前記第１の位置（Ｐａ）と前記第２の位置（Ｐｂ）との間隔は、前記オブジェクトの３次元の画像を前記第１の光学的撮像装置（１ａ）および前記第２の光学的撮像装置（１ｂ）によって、少なくとも部分的に重なり合う前記第１の視界（８ａ）および前記第２の視界（８ｂ）によって撮像できるように設けられており、
前記制御装置（９）は、前記第１の産業用ロボット（１１）と、前記第１の光学的撮像装置（１ａ）と、前記第２の光学的撮像装置（１ｂ）とにデータ接続されており、
・前記制御装置（９）に、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）によって撮像された撮像画像が供給され、
・前記制御装置（９）に、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向が供給され、
・前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）は、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）を方向決めするように前記制御装置（９）によって駆動制御され、
・前記第１の産業用ロボット（１１）は、前記制御装置（９）によって設定されたポジショニングに位置調整され、
前記制御装置（９）および該制御装置（９）のデータ処理装置は、請求項１，２，３，１４〜３３のいずれか１項記載の方法を実施するように構成されていることを特徴とするシステム。 - 空間内において少なくとも１つのオブジェクトを産業用ロボットによって最終姿勢に高精度で位置決めするためのシステムにおいて、
・所定のポジショニングに位置調整可能な第１の産業用ロボット（１１）と、
・所定のポジショニングに位置調整可能な第２の産業用ロボット（２１）と、
・３次元の空間座標系でキャリブレーションされ、既知の第１の位置（Ｐａ）に既知の方向で位置決めされた第１の光学的撮像装置（１ａ）と、
・前記空間座標系でキャリブレーションされ、既知の第２の位置（Ｐｂ）に既知の方向で位置決めされた第２の光学的撮像装置（１ｂ）と、
・画像を処理するように構成されたデータ処理装置を有する制御装置（９）と
を有し、
前記第１の光学的撮像装置（１ａ）は、
・所定の第１の視界（８ａ）内で画像を撮像するための光学的キャリブレーションされた第１のカメラ（２ａ）と、
・前記第１の視界（８ａ）を位置調整するために前記第１のカメラ（２ａ）を方向決めするための第１の駆動ユニット（３ａ）と、
・前記第１のカメラ（２ａ）の角度方向を高精度で検出するための第１の角度測定ユニット（４ａ）であって、前記空間座標系において前記第１の視界（８ａ）が求められるように前記空間座標系でキャリブレーションされた第１の角度測定ユニット（４ａ）と
を有し、
前記第２の光学的撮像装置（１ｂ）は、
・所定の第２の視界（８ｂ）内で画像を撮像するための光学的キャリブレーションされた第２のカメラ（２ｂ）と、
・前記第２の視界（８ｂ）を位置調整するために前記第２のカメラ（２ｂ）を方向決めするための第２の駆動ユニット（３ｂ）と、
・前記第２のカメラ（２ｂ）の角度方向を高精度で検出するための第２の角度測定ユニット（４ｂ）であって、前記空間座標系において前記第２の視界（８ｂ）が求められるように前記空間座標系でキャリブレーションされた第２の角度測定ユニット（４ｂ）と
を有し、
前記第１の位置（Ｐａ）と前記第２の位置（Ｐｂ）との間隔は、前記オブジェクトの３次元の画像を前記第１の光学的撮像装置（１ａ）および前記第２の光学的撮像装置（１ｂ）によって、少なくとも部分的に重なり合う前記第１の視界（８ａ）および前記第２の視界（８ｂ）によって撮像できるように設けられており、
前記制御装置（９）は、前記第１の産業用ロボット（１１）と、前記第２の産業用ロボット（２１）と、前記第１の光学的撮像装置（１ａ）と、前記第２の光学的撮像装置（１ｂ）とにデータ接続されており、
・前記制御装置（９）に、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）によって撮像された撮像画像が供給され、
・前記制御装置（９）に、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向が供給され、
・前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）は、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）を方向決めするように前記制御装置（９）によって駆動制御され、
・前記第１の産業用ロボット（１１）および前記第２の産業用ロボット（２１）は、前記制御装置（９）によって設定されたポジショニングに位置調整され、
前記制御装置（９）および該制御装置（９）のデータ処理装置は、請求項４から１１までのいずれか１項記載の方法を実施するように構成されていることを特徴とするシステム。 - 空間内において少なくとも１つのオブジェクトを産業用ロボットによって最終姿勢に高精度で位置決めするためのシステムにおいて、
・所定のポジショニングに位置調整可能な第１の産業用ロボット（１１）と、
・所定のポジショニングに位置調整可能な第２の産業用ロボット（２１）と、
・所定のポジショニングに位置調整可能であり、加工ツールとして構成された第３のオブジェクト（３２）を保持公差以内で保持する第３の産業用ロボット（３１）と、
・３次元の空間座標系でキャリブレーションされ、既知の第１の位置（Ｐａ）に既知の方向で位置決めされた第１の光学的撮像装置（１ａ）と、
・前記空間座標系でキャリブレーションされ、既知の第２の位置（Ｐｂ）に既知の方向で位置決めされた第２の光学的撮像装置（１ｂ）と、
・画像を処理するように構成されたデータ処理装置を有する制御装置（９）と
を有し、
前記加工ツール（３２）、または該加工ツール（３２）に結合された前記第３の産業用ロボット（３１）の部分は、光学的に検出可能な既知の第３の特徴的要素（３３）を有し、
前記第１の光学的撮像装置（１ａ）は、
・所定の第１の視界（８ａ）内で画像を撮像するための光学的キャリブレーションされた第１のカメラ（２ａ）と、
・前記第１の視界（８ａ）を位置調整するために前記第１のカメラ（２ａ）を方向決めするための第１の駆動ユニット（３ａ）と、
・前記第１のカメラ（２ａ）の角度方向を高精度で検出するための第１の角度測定ユニット（４ａ）であって、前記空間座標系において前記第１の視界（８ａ）が求められるように前記空間座標系でキャリブレーションされた第１の角度測定ユニット（４ａ）と
を有し、
前記第２の光学的撮像装置（１ｂ）は、
・所定の第２の視界（８ｂ）内で画像を撮像するための光学的キャリブレーションされた第２のカメラ（２ｂ）と、
・前記第２の視界（８ｂ）を位置調整するために前記第２のカメラ（２ｂ）を方向決めするための第２の駆動ユニット（３ｂ）と、
・前記第２のカメラ（２ｂ）の角度方向を高精度で検出するための第２の角度測定ユニット（４ｂ）であって、前記空間座標系において前記第２の視界（８ｂ）が求められるように前記空間座標系でキャリブレーションされた第２の角度測定ユニット（４ｂ）と
を有し、
前記第１の位置（Ｐａ）と前記第２の位置（Ｐｂ）との間隔は、前記オブジェクトの３次元の画像を前記第１の光学的撮像装置（１ａ）および前記第２の光学的撮像装置（１ｂ）によって、少なくとも部分的に重なり合う前記第１の視界（８ａ）および前記第２の視界（８ｂ）によって撮像できるように設けられており、
前記制御装置（９）は、前記第１の産業用ロボット（１１）と、前記第２の産業用ロボット（２１）と、前記第３の産業用ロボット（３１）と、前記第１の光学的撮像装置（１ａ）と、前記第２の光学的撮像装置（１ｂ）とにデータ接続されており、
・前記制御装置（９）に、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）によって撮像された撮像画像が供給され、
・前記制御装置（９）に、前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によって検出された前記第１のカメラ（２ａ）の角度方向および前記第２のカメラ（２ｂ）の角度方向が供給され、
・前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）は、前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）を方向決めするように前記制御装置（９）によって駆動制御され、
・前記第１の産業用ロボット（１１）、前記第２の産業用ロボット（２１）および前記第３の産業用ロボット（３１）は、前記制御装置（９）によって設定されたポジショニングに位置調整され、
前記制御装置（９）は、請求項１２または１３記載の方法を実施するように構成されていることを特徴とするシステム。 - 前記第１の光学的撮像装置（１ａ）および前記第２の光学的撮像装置（１ｂ）はそれぞれ次のように構成されている、すなわち、
・前記第１のカメラ（２ａ）および前記第２のカメラ（２ｂ）は前記第１の駆動ユニット（３ａ）および前記第２の駆動ユニット（３ｂ）によってそれぞれ、前記空間座標系を基準とする水平方向の傾斜軸（Ｈａ；Ｈｂ）および垂直方向の鉛直軸（Ｖａ；Ｖｂ）を中心として方向決め可能であり、
・前記第１の角度測定ユニット（４ａ）および前記第２の角度測定ユニット（４ｂ）によってそれぞれ、前記空間座標系における前記鉛直軸（Ｖａ；Ｖｂ）を中心とする水平方向の角度方向（αａ；αｂ）と前記傾斜軸（Ｈａ；Ｈｂ）を中心とする垂直方向の角度方向（βａ；βｂ）とが検出される
ように構成されている、請求項３４から３７までのいずれか１項記載のシステム。 - 前記水平方向の傾斜軸（Ｈａ；Ｈｂ）と前記垂直方向の鉛直軸（Ｖａ；Ｖｂ）とは実質的に交差する、請求項３８記載のシステム。
- 前記第１の光学的撮像装置（１ａ）および前記第２の光学的撮像装置（１ｂ）はそれぞれビデオセオドライトとして構成されている、請求項３９記載のシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP07124101.2 | 2007-12-27 | ||
| EP07124101A EP2075096A1 (de) | 2007-12-27 | 2007-12-27 | Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum |
| PCT/EP2008/067725 WO2009083452A1 (de) | 2007-12-27 | 2008-12-17 | Verfahren und system zum hochpräzisen positionieren mindestens eines objekts in eine endlage im raum |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011507714A true JP2011507714A (ja) | 2011-03-10 |
| JP5290324B2 JP5290324B2 (ja) | 2013-09-18 |
Family
ID=40090256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010540102A Expired - Fee Related JP5290324B2 (ja) | 2007-12-27 | 2008-12-17 | 空間内において少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8346392B2 (ja) |
| EP (2) | EP2075096A1 (ja) |
| JP (1) | JP5290324B2 (ja) |
| CN (1) | CN101909828B (ja) |
| AU (1) | AU2008342721B2 (ja) |
| CA (1) | CA2710669C (ja) |
| WO (1) | WO2009083452A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019211337A (ja) * | 2018-06-05 | 2019-12-12 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
| WO2020050135A1 (ja) * | 2018-09-06 | 2020-03-12 | 東芝デベロップメントエンジニアリング株式会社 | 画像処理装置、プロジェクタ制御システム、カメラ制御システム |
| JP2020044610A (ja) * | 2018-09-19 | 2020-03-26 | 株式会社デンソーウェーブ | ロボットの制御方法 |
| WO2022086157A1 (ko) * | 2020-10-20 | 2022-04-28 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| WO2022209272A1 (ja) * | 2021-03-30 | 2022-10-06 | 日本電産株式会社 | 撮像制御装置、撮像装置、撮像制御方法及びプログラム |
Families Citing this family (220)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006031580A1 (de) | 2006-07-03 | 2008-01-17 | Faro Technologies, Inc., Lake Mary | Verfahren und Vorrichtung zum dreidimensionalen Erfassen eines Raumbereichs |
| WO2009130169A1 (de) | 2008-04-22 | 2009-10-29 | Leica Geosystems Ag | Messverfahren für eine gliederarm-koordinatenmessmaschine |
| US8155802B1 (en) * | 2008-07-11 | 2012-04-10 | Lockheed Martin Corporation | Optical flow navigation system |
| US9551575B2 (en) | 2009-03-25 | 2017-01-24 | Faro Technologies, Inc. | Laser scanner having a multi-color light source and real-time color receiver |
| DE102009015920B4 (de) | 2009-03-25 | 2014-11-20 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| EP2255930A1 (de) * | 2009-05-27 | 2010-12-01 | Leica Geosystems AG | Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum |
| EP2269783A1 (de) | 2009-06-30 | 2011-01-05 | Leica Geosystems AG | Kalibrierungsverfahren für ein Messsystem |
| US9210288B2 (en) | 2009-11-20 | 2015-12-08 | Faro Technologies, Inc. | Three-dimensional scanner with dichroic beam splitters to capture a variety of signals |
| US9529083B2 (en) | 2009-11-20 | 2016-12-27 | Faro Technologies, Inc. | Three-dimensional scanner with enhanced spectroscopic energy detector |
| DE102009057101A1 (de) | 2009-11-20 | 2011-05-26 | Faro Technologies, Inc., Lake Mary | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| US9113023B2 (en) | 2009-11-20 | 2015-08-18 | Faro Technologies, Inc. | Three-dimensional scanner with spectroscopic energy detector |
| US8630314B2 (en) | 2010-01-11 | 2014-01-14 | Faro Technologies, Inc. | Method and apparatus for synchronizing measurements taken by multiple metrology devices |
| US8284407B2 (en) | 2010-01-20 | 2012-10-09 | Faro Technologies, Inc. | Coordinate measuring machine having an illuminated probe end and method of operation |
| US8615893B2 (en) | 2010-01-20 | 2013-12-31 | Faro Technologies, Inc. | Portable articulated arm coordinate measuring machine having integrated software controls |
| CN102639959B (zh) | 2010-01-20 | 2014-12-31 | 法罗技术股份有限公司 | 坐标测量装置 |
| US9879976B2 (en) | 2010-01-20 | 2018-01-30 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features |
| US8832954B2 (en) | 2010-01-20 | 2014-09-16 | Faro Technologies, Inc. | Coordinate measurement machines with removable accessories |
| US9607239B2 (en) | 2010-01-20 | 2017-03-28 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations |
| US9628775B2 (en) | 2010-01-20 | 2017-04-18 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations |
| US9163922B2 (en) | 2010-01-20 | 2015-10-20 | Faro Technologies, Inc. | Coordinate measurement machine with distance meter and camera to determine dimensions within camera images |
| US8677643B2 (en) | 2010-01-20 | 2014-03-25 | Faro Technologies, Inc. | Coordinate measurement machines with removable accessories |
| US8898919B2 (en) | 2010-01-20 | 2014-12-02 | Faro Technologies, Inc. | Coordinate measurement machine with distance meter used to establish frame of reference |
| DE112011100309B4 (de) | 2010-01-20 | 2015-06-11 | Faro Technologies, Inc. | Tragbares Gelenkarm-Koordinatenmessgerät mit abnehmbarem Zubehör |
| US8875409B2 (en) | 2010-01-20 | 2014-11-04 | Faro Technologies, Inc. | Coordinate measurement machines with removable accessories |
| JP2011167815A (ja) * | 2010-02-19 | 2011-09-01 | Ihi Corp | 物体認識ロボットシステム |
| EP2372302A1 (de) | 2010-03-26 | 2011-10-05 | Leica Geosystems AG | Messverfahren für eine oberflächenvermessende Messmaschine |
| DE102010020925B4 (de) | 2010-05-10 | 2014-02-27 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung |
| DE112011102995B4 (de) | 2010-09-08 | 2016-05-19 | Faro Technologies Inc. | Laserscanner oder Lasernachführungsgerät mit einem Projektor |
| US8467992B1 (en) * | 2010-09-15 | 2013-06-18 | The Boeing Company | Vision based location and measurement device and methods |
| JP5713634B2 (ja) * | 2010-11-10 | 2015-05-07 | 矢崎総業株式会社 | 部品位置計測方法 |
| US9168654B2 (en) | 2010-11-16 | 2015-10-27 | Faro Technologies, Inc. | Coordinate measuring machines with dual layer arm |
| DE102011003539A1 (de) * | 2011-02-02 | 2012-08-02 | Kuka Roboter Gmbh | Verfahren zum Referenzieren einer Antriebsstellung wenigstens eines elektrischen Antriebs |
| EP2511656A1 (de) | 2011-04-14 | 2012-10-17 | Hexagon Technology Center GmbH | Vermessungssystem zur Bestimmung von 3D-Koordinaten einer Objektoberfläche |
| JP2012254518A (ja) * | 2011-05-16 | 2012-12-27 | Seiko Epson Corp | ロボット制御システム、ロボットシステム及びプログラム |
| JP5561260B2 (ja) * | 2011-09-15 | 2014-07-30 | 株式会社安川電機 | ロボットシステム及び撮像方法 |
| DE102012100609A1 (de) | 2012-01-25 | 2013-07-25 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| JP6004809B2 (ja) | 2012-03-13 | 2016-10-12 | キヤノン株式会社 | 位置姿勢推定装置、情報処理装置、情報処理方法 |
| US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
| US8997362B2 (en) | 2012-07-17 | 2015-04-07 | Faro Technologies, Inc. | Portable articulated arm coordinate measuring machine with optical communications bus |
| JP5642738B2 (ja) * | 2012-07-26 | 2014-12-17 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
| JP6228120B2 (ja) | 2012-08-02 | 2017-11-08 | 富士機械製造株式会社 | 多関節型ロボットを備えた作業機および電気部品装着機 |
| US9269146B2 (en) * | 2012-08-23 | 2016-02-23 | Microsoft Technology Licensing, Llc | Target object angle determination using multiple cameras |
| US9513107B2 (en) | 2012-10-05 | 2016-12-06 | Faro Technologies, Inc. | Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner |
| DE102012109481A1 (de) | 2012-10-05 | 2014-04-10 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| US10067231B2 (en) | 2012-10-05 | 2018-09-04 | Faro Technologies, Inc. | Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner |
| CN103017726B (zh) * | 2012-12-19 | 2014-12-31 | 华南理工大学 | 一种直角坐标方式的机器人位姿误差测量系统及方法 |
| CN103112008B (zh) * | 2013-01-29 | 2015-09-02 | 上海智周自动化工程有限公司 | 用于地板切割的双视觉机器人自动定位和搬运方法 |
| US9491448B2 (en) | 2013-04-01 | 2016-11-08 | The Boeing Company | Laser videogrammetry |
| CN103278091B (zh) * | 2013-06-07 | 2016-01-20 | 上海发那科机器人有限公司 | 一种用于智能装配的空间定位方法 |
| US20150134099A1 (en) * | 2013-11-08 | 2015-05-14 | Startechno Co., Ltd. | Workpiece machining device with calibration function and workpiece machining device |
| US9594250B2 (en) | 2013-12-18 | 2017-03-14 | Hexagon Metrology, Inc. | Ultra-portable coordinate measurement machine |
| CN103707300A (zh) * | 2013-12-20 | 2014-04-09 | 上海理工大学 | 机械手装置 |
| CN103743318B (zh) * | 2013-12-30 | 2017-08-25 | 深圳市华星光电技术有限公司 | 探针膜厚测量机坐标补正方法及装置 |
| JP2015199155A (ja) * | 2014-04-07 | 2015-11-12 | キヤノン株式会社 | 情報処理装置および情報処理方法、プログラム |
| US9713870B2 (en) | 2014-05-30 | 2017-07-25 | GM Global Technology Operations LLC | System and method for locating vehicle components relative to each other |
| CN104036424B (zh) * | 2014-06-23 | 2017-09-26 | 电子科技大学 | 基于二维码的零件快速选配方法及系统 |
| US9269143B2 (en) * | 2014-07-10 | 2016-02-23 | Trimble Navigation Limited | Camera on a rover surveying system |
| CN104175330B (zh) * | 2014-08-14 | 2016-04-20 | 四川大学 | 一种基于瞄准机制的六关节工业机器人实时伺服跟踪装置 |
| US11504192B2 (en) | 2014-10-30 | 2022-11-22 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| CN104476044A (zh) * | 2014-11-21 | 2015-04-01 | 安徽省库仑动力自动化科技有限公司 | 一种用于大面积焊接的自动行走焊接机器人 |
| US10408670B2 (en) * | 2014-12-17 | 2019-09-10 | Norgren Automation Solutions, Llc | Apparatus and method for detecting multiple workpieces |
| JP2016221645A (ja) * | 2015-06-02 | 2016-12-28 | セイコーエプソン株式会社 | ロボット、ロボット制御装置およびロボットシステム |
| DE102015122844A1 (de) | 2015-12-27 | 2017-06-29 | Faro Technologies, Inc. | 3D-Messvorrichtung mit Batteriepack |
| US10556305B2 (en) | 2016-02-03 | 2020-02-11 | The Boeing Company | Aligning parts using multi-part scanning and feature based coordinate systems |
| DE102016205519A1 (de) * | 2016-04-04 | 2017-10-05 | Bayerische Motoren Werke Aktiengesellschaft | Mobiles Messsystem zum dreidimensionalen optischen Vermessen von Fahrzeugen und Fahrzeugteilen |
| BR112019000728B1 (pt) | 2016-07-15 | 2023-03-28 | Fastbrick Ip Pty Ltd | Veículo que incorpora máquina de assentamento de tijolos |
| EP3485109B1 (en) | 2016-07-15 | 2021-09-29 | Fastbrick IP Pty Ltd | Boom for material transport |
| DE102016213663A1 (de) * | 2016-07-26 | 2018-02-01 | Siemens Aktiengesellschaft | Verfahren zum Steuern eines Endelementes einer Werkzeugmaschine und eine Werkzeugmaschine |
| CN108122257B (zh) * | 2016-11-28 | 2021-11-30 | 沈阳新松机器人自动化股份有限公司 | 一种机器人手眼标定方法及装置 |
| EP3345723A1 (de) * | 2017-01-10 | 2018-07-11 | Ivoclar Vivadent AG | Verfahren zur steuerung einer werkzeugmaschine |
| JP6527178B2 (ja) | 2017-01-12 | 2019-06-05 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
| JP6859757B2 (ja) * | 2017-03-03 | 2021-04-14 | オムロン株式会社 | 制御システム、設定装置、設定方法、および設定プログラム |
| WO2019006511A1 (en) | 2017-07-05 | 2019-01-10 | Fastbrick Ip Pty Ltd | REAL-TIME POSITION TRACKING AND ORIENTATION DEVICE |
| FR3069346B1 (fr) * | 2017-07-24 | 2020-11-13 | Safran | Procede de controle d'une surface |
| CN111226090B (zh) | 2017-08-17 | 2023-05-23 | 快砖知识产权私人有限公司 | 具有改进的横滚角测量的激光跟踪器 |
| WO2019033166A1 (en) | 2017-08-17 | 2019-02-21 | Fastbrick Ip Pty Ltd | COMMUNICATION SYSTEM FOR AN INTERACTION SYSTEM |
| ES2971624T3 (es) | 2017-10-11 | 2024-06-06 | Fastbrick Ip Pty Ltd | Máquina para transportar objetos |
| US11317919B2 (en) | 2017-10-30 | 2022-05-03 | Cilag Gmbh International | Clip applier comprising a clip crimping system |
| US11801098B2 (en) | 2017-10-30 | 2023-10-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11026687B2 (en) | 2017-10-30 | 2021-06-08 | Cilag Gmbh International | Clip applier comprising clip advancing systems |
| US11291510B2 (en) | 2017-10-30 | 2022-04-05 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11510741B2 (en) | 2017-10-30 | 2022-11-29 | Cilag Gmbh International | Method for producing a surgical instrument comprising a smart electrical system |
| US11229436B2 (en) | 2017-10-30 | 2022-01-25 | Cilag Gmbh International | Surgical system comprising a surgical tool and a surgical hub |
| US11311342B2 (en) | 2017-10-30 | 2022-04-26 | Cilag Gmbh International | Method for communicating with surgical instrument systems |
| US10980560B2 (en) | 2017-10-30 | 2021-04-20 | Ethicon Llc | Surgical instrument systems comprising feedback mechanisms |
| US11564756B2 (en) | 2017-10-30 | 2023-01-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11911045B2 (en) | 2017-10-30 | 2024-02-27 | Cllag GmbH International | Method for operating a powered articulating multi-clip applier |
| DE102017126495B4 (de) * | 2017-11-10 | 2022-05-05 | Zauberzeug Gmbh | Kalibrierung eines stationären Kamerasystems zur Positionserfassung eines mobilen Roboters |
| US10436590B2 (en) * | 2017-11-10 | 2019-10-08 | Ankobot (Shanghai) Smart Technologies Co., Ltd. | Localization system and method, and robot using the same |
| CN107932018A (zh) * | 2017-11-23 | 2018-04-20 | 纳博特南京科技有限公司 | 一种工业机器人标定装置及标定方法 |
| CN109866220B (zh) * | 2017-12-05 | 2021-07-23 | 财团法人工业技术研究院 | 机械手臂的校正装置及其校正方法 |
| US11559307B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method of robotic hub communication, detection, and control |
| US11576677B2 (en) | 2017-12-28 | 2023-02-14 | Cilag Gmbh International | Method of hub communication, processing, display, and cloud analytics |
| US10595887B2 (en) | 2017-12-28 | 2020-03-24 | Ethicon Llc | Systems for adjusting end effector parameters based on perioperative information |
| US11364075B2 (en) | 2017-12-28 | 2022-06-21 | Cilag Gmbh International | Radio frequency energy device for delivering combined electrical signals |
| US11659023B2 (en) | 2017-12-28 | 2023-05-23 | Cilag Gmbh International | Method of hub communication |
| US11419667B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location |
| US11376002B2 (en) | 2017-12-28 | 2022-07-05 | Cilag Gmbh International | Surgical instrument cartridge sensor assemblies |
| US11076921B2 (en) | 2017-12-28 | 2021-08-03 | Cilag Gmbh International | Adaptive control program updates for surgical hubs |
| US10944728B2 (en) | 2017-12-28 | 2021-03-09 | Ethicon Llc | Interactive surgical systems with encrypted communication capabilities |
| US11589888B2 (en) | 2017-12-28 | 2023-02-28 | Cilag Gmbh International | Method for controlling smart energy devices |
| US11678881B2 (en) | 2017-12-28 | 2023-06-20 | Cilag Gmbh International | Spatial awareness of surgical hubs in operating rooms |
| US11529187B2 (en) | 2017-12-28 | 2022-12-20 | Cilag Gmbh International | Surgical evacuation sensor arrangements |
| US11410259B2 (en) | 2017-12-28 | 2022-08-09 | Cilag Gmbh International | Adaptive control program updates for surgical devices |
| US11253315B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Increasing radio frequency to create pad-less monopolar loop |
| US11069012B2 (en) | 2017-12-28 | 2021-07-20 | Cilag Gmbh International | Interactive surgical systems with condition handling of devices and data capabilities |
| US11304745B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Surgical evacuation sensing and display |
| US11633237B2 (en) | 2017-12-28 | 2023-04-25 | Cilag Gmbh International | Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures |
| US10943454B2 (en) | 2017-12-28 | 2021-03-09 | Ethicon Llc | Detection and escalation of security responses of surgical instruments to increasing severity threats |
| US11051876B2 (en) | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Surgical evacuation flow paths |
| US11266468B2 (en) | 2017-12-28 | 2022-03-08 | Cilag Gmbh International | Cooperative utilization of data derived from secondary sources by intelligent surgical hubs |
| US11096693B2 (en) | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing |
| US11100631B2 (en) | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Use of laser light and red-green-blue coloration to determine properties of back scattered light |
| US11291495B2 (en) | 2017-12-28 | 2022-04-05 | Cilag Gmbh International | Interruption of energy due to inadvertent capacitive coupling |
| US11432885B2 (en) | 2017-12-28 | 2022-09-06 | Cilag Gmbh International | Sensing arrangements for robot-assisted surgical platforms |
| US11324557B2 (en) | 2017-12-28 | 2022-05-10 | Cilag Gmbh International | Surgical instrument with a sensing array |
| US11896322B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub |
| US11304720B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Activation of energy devices |
| US11571234B2 (en) | 2017-12-28 | 2023-02-07 | Cilag Gmbh International | Temperature control of ultrasonic end effector and control system therefor |
| US11278281B2 (en) | 2017-12-28 | 2022-03-22 | Cilag Gmbh International | Interactive surgical system |
| US11257589B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes |
| US11602393B2 (en) | 2017-12-28 | 2023-03-14 | Cilag Gmbh International | Surgical evacuation sensing and generator control |
| US11744604B2 (en) | 2017-12-28 | 2023-09-05 | Cilag Gmbh International | Surgical instrument with a hardware-only control circuit |
| US11446052B2 (en) | 2017-12-28 | 2022-09-20 | Cilag Gmbh International | Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue |
| US11160605B2 (en) | 2017-12-28 | 2021-11-02 | Cilag Gmbh International | Surgical evacuation sensing and motor control |
| US11423007B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Adjustment of device control programs based on stratified contextual data in addition to the data |
| US10758310B2 (en) | 2017-12-28 | 2020-09-01 | Ethicon Llc | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
| US11056244B2 (en) | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks |
| US11832840B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical instrument having a flexible circuit |
| US11389164B2 (en) | 2017-12-28 | 2022-07-19 | Cilag Gmbh International | Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices |
| US11317937B2 (en) | 2018-03-08 | 2022-05-03 | Cilag Gmbh International | Determining the state of an ultrasonic end effector |
| US11464535B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Detection of end effector emersion in liquid |
| US11308075B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity |
| US11969216B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
| US11202570B2 (en) | 2017-12-28 | 2021-12-21 | Cilag Gmbh International | Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems |
| US11998193B2 (en) | 2017-12-28 | 2024-06-04 | Cilag Gmbh International | Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation |
| US11179208B2 (en) | 2017-12-28 | 2021-11-23 | Cilag Gmbh International | Cloud-based medical analytics for security and authentication trends and reactive measures |
| US11419630B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Surgical system distributed processing |
| US11612444B2 (en) | 2017-12-28 | 2023-03-28 | Cilag Gmbh International | Adjustment of a surgical device function based on situational awareness |
| US11304699B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
| US11273001B2 (en) | 2017-12-28 | 2022-03-15 | Cilag Gmbh International | Surgical hub and modular device response adjustment based on situational awareness |
| US11559308B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method for smart energy device infrastructure |
| US11832899B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical systems with autonomously adjustable control programs |
| US11612408B2 (en) | 2017-12-28 | 2023-03-28 | Cilag Gmbh International | Determining tissue composition via an ultrasonic system |
| US11284936B2 (en) | 2017-12-28 | 2022-03-29 | Cilag Gmbh International | Surgical instrument having a flexible electrode |
| US11166772B2 (en) | 2017-12-28 | 2021-11-09 | Cilag Gmbh International | Surgical hub coordination of control and communication of operating room devices |
| US11304763B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use |
| US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
| US10849697B2 (en) | 2017-12-28 | 2020-12-01 | Ethicon Llc | Cloud interface for coupled surgical devices |
| US10892899B2 (en) | 2017-12-28 | 2021-01-12 | Ethicon Llc | Self describing data packets generated at an issuing instrument |
| US11818052B2 (en) | 2017-12-28 | 2023-11-14 | Cilag Gmbh International | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
| US20190201139A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Communication arrangements for robot-assisted surgical platforms |
| US11234756B2 (en) | 2017-12-28 | 2022-02-01 | Cilag Gmbh International | Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter |
| US11864728B2 (en) | 2017-12-28 | 2024-01-09 | Cilag Gmbh International | Characterization of tissue irregularities through the use of mono-chromatic light refractivity |
| US11147607B2 (en) | 2017-12-28 | 2021-10-19 | Cilag Gmbh International | Bipolar combination device that automatically adjusts pressure based on energy modality |
| US11540855B2 (en) | 2017-12-28 | 2023-01-03 | Cilag Gmbh International | Controlling activation of an ultrasonic surgical instrument according to the presence of tissue |
| US11896443B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Control of a surgical system through a surgical barrier |
| US10966791B2 (en) | 2017-12-28 | 2021-04-06 | Ethicon Llc | Cloud-based medical analytics for medical facility segmented individualization of instrument function |
| US10892995B2 (en) | 2017-12-28 | 2021-01-12 | Ethicon Llc | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
| US11424027B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Method for operating surgical instrument systems |
| US11969142B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws |
| US11311306B2 (en) | 2017-12-28 | 2022-04-26 | Cilag Gmbh International | Surgical systems for detecting end effector tissue distribution irregularities |
| US11672605B2 (en) | 2017-12-28 | 2023-06-13 | Cilag Gmbh International | Sterile field interactive control displays |
| US11666331B2 (en) | 2017-12-28 | 2023-06-06 | Cilag Gmbh International | Systems for detecting proximity of surgical end effector to cancerous tissue |
| US11109866B2 (en) | 2017-12-28 | 2021-09-07 | Cilag Gmbh International | Method for circular stapler control algorithm adjustment based on situational awareness |
| US10987178B2 (en) * | 2017-12-28 | 2021-04-27 | Ethicon Llc | Surgical hub control arrangements |
| US11857152B2 (en) | 2017-12-28 | 2024-01-02 | Cilag Gmbh International | Surgical hub spatial awareness to determine devices in operating theater |
| US11903601B2 (en) | 2017-12-28 | 2024-02-20 | Cilag Gmbh International | Surgical instrument comprising a plurality of drive systems |
| US11132462B2 (en) | 2017-12-28 | 2021-09-28 | Cilag Gmbh International | Data stripping method to interrogate patient records and create anonymized record |
| US11786245B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Surgical systems with prioritized data transmission capabilities |
| US10932872B2 (en) | 2017-12-28 | 2021-03-02 | Ethicon Llc | Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set |
| US11786251B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
| US10898622B2 (en) | 2017-12-28 | 2021-01-26 | Ethicon Llc | Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device |
| US11464559B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Estimating state of ultrasonic end effector and control system therefor |
| US20190201039A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Situational awareness of electrosurgical systems |
| US11213359B2 (en) | 2017-12-28 | 2022-01-04 | Cilag Gmbh International | Controllers for robot-assisted surgical platforms |
| US11259830B2 (en) | 2018-03-08 | 2022-03-01 | Cilag Gmbh International | Methods for controlling temperature in ultrasonic device |
| US11701162B2 (en) | 2018-03-08 | 2023-07-18 | Cilag Gmbh International | Smart blade application for reusable and disposable devices |
| US11839396B2 (en) | 2018-03-08 | 2023-12-12 | Cilag Gmbh International | Fine dissection mode for tissue classification |
| JP6777670B2 (ja) | 2018-03-27 | 2020-10-28 | ファナック株式会社 | 画像処理を利用してロボットの教示を補正するロボットシステム |
| US11166716B2 (en) | 2018-03-28 | 2021-11-09 | Cilag Gmbh International | Stapling instrument comprising a deactivatable lockout |
| US11278280B2 (en) | 2018-03-28 | 2022-03-22 | Cilag Gmbh International | Surgical instrument comprising a jaw closure lockout |
| US11471156B2 (en) | 2018-03-28 | 2022-10-18 | Cilag Gmbh International | Surgical stapling devices with improved rotary driven closure systems |
| US10973520B2 (en) | 2018-03-28 | 2021-04-13 | Ethicon Llc | Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature |
| US11096688B2 (en) | 2018-03-28 | 2021-08-24 | Cilag Gmbh International | Rotary driven firing members with different anvil and channel engagement features |
| US11090047B2 (en) | 2018-03-28 | 2021-08-17 | Cilag Gmbh International | Surgical instrument comprising an adaptive control system |
| US11219453B2 (en) | 2018-03-28 | 2022-01-11 | Cilag Gmbh International | Surgical stapling devices with cartridge compatible closure and firing lockout arrangements |
| US11207067B2 (en) | 2018-03-28 | 2021-12-28 | Cilag Gmbh International | Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing |
| US11589865B2 (en) | 2018-03-28 | 2023-02-28 | Cilag Gmbh International | Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems |
| CN108413873A (zh) * | 2018-04-17 | 2018-08-17 | 华南理工大学 | 一种手机外壳在线尺寸测量与表面缺陷检测系统及其方法 |
| EP3587044B1 (de) | 2018-06-28 | 2021-05-19 | Sick Ag | Verfahren zum greifen von objekten in einem suchbereich und positioniersystem |
| FI129250B (en) * | 2018-07-12 | 2021-10-15 | Novatron Oy | Control system for controlling the machine tool |
| US11449021B2 (en) * | 2018-12-17 | 2022-09-20 | Divergent Technologies, Inc. | Systems and methods for high accuracy fixtureless assembly |
| WO2020142495A1 (en) * | 2018-12-31 | 2020-07-09 | Abb Schweiz Ag | Multiple robot and/or positioner object learning system and method |
| CN109764807B (zh) * | 2019-01-14 | 2021-03-05 | 广东原点智能技术有限公司 | 发动机缸体位置标定的2d视觉检测方法及检测系统 |
| US11034024B2 (en) | 2019-02-15 | 2021-06-15 | GM Global Technology Operations LLC | Fixtureless component assembly |
| US10899012B2 (en) * | 2019-02-15 | 2021-01-26 | GM Global Technology Operations LLC | Coordinated robot to robot component assembly |
| US11364623B2 (en) | 2019-02-15 | 2022-06-21 | GM Global Technology Operations LLC | Component assembly system |
| US11317915B2 (en) | 2019-02-19 | 2022-05-03 | Cilag Gmbh International | Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers |
| US11369377B2 (en) | 2019-02-19 | 2022-06-28 | Cilag Gmbh International | Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout |
| US11291445B2 (en) | 2019-02-19 | 2022-04-05 | Cilag Gmbh International | Surgical staple cartridges with integral authentication keys |
| US11751872B2 (en) | 2019-02-19 | 2023-09-12 | Cilag Gmbh International | Insertable deactivator element for surgical stapler lockouts |
| US11357503B2 (en) | 2019-02-19 | 2022-06-14 | Cilag Gmbh International | Staple cartridge retainers with frangible retention features and methods of using same |
| US10369698B1 (en) * | 2019-03-07 | 2019-08-06 | Mujin, Inc. | Method and system for performing automatic camera calibration for robot control |
| DE102019113764A1 (de) | 2019-05-23 | 2020-11-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Konfiguration einer werkstückbezogenen Werkstückhalteeinrichtung für die Pressenautomatisierung |
| USD950728S1 (en) | 2019-06-25 | 2022-05-03 | Cilag Gmbh International | Surgical staple cartridge |
| USD964564S1 (en) | 2019-06-25 | 2022-09-20 | Cilag Gmbh International | Surgical staple cartridge retainer with a closure system authentication key |
| USD952144S1 (en) | 2019-06-25 | 2022-05-17 | Cilag Gmbh International | Surgical staple cartridge retainer with firing system authentication key |
| JP7313049B2 (ja) * | 2019-09-30 | 2023-07-24 | Ｊｏｈｎａｎ株式会社 | ロボット制御システム、ロボット制御方法およびプログラム |
| CN111415411B (zh) * | 2020-03-02 | 2023-12-12 | 重庆市勘测院 | 三维模型空间坐标纠正及加密方法 |
| DE102020001961A1 (de) * | 2020-03-27 | 2021-09-30 | Herbert Kannegiesser Gmbh | Verfahren zum Ergreifen textiler Gegenstände |
| CN111964693B (zh) * | 2020-07-21 | 2022-03-22 | 中国科学院长春光学精密机械与物理研究所 | 一种测绘相机高精度内、外方位元素的标定方法 |
| CN112476434B (zh) * | 2020-11-24 | 2021-12-28 | 新拓三维技术(深圳)有限公司 | 一种基于协作机器人的视觉3d取放方法及系统 |
| CN112729345B (zh) * | 2020-12-30 | 2023-04-25 | 北京天智航医疗科技股份有限公司 | 用于光学定位器精度检测的方法及装置 |
| CN112857341B (zh) * | 2021-03-10 | 2023-04-25 | 中铁第四勘察设计院集团有限公司 | 基于全站仪的测量方法、装置、设备及存储介质 |
| CN113400298B (zh) * | 2021-05-10 | 2022-04-08 | 埃夫特智能装备股份有限公司 | 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法 |
| US11638995B2 (en) | 2021-07-06 | 2023-05-02 | GM Global Technology Operations LLC | Compliant payload presentation using robotic system with coordinated serial and parallel robots |
| CN113664831B (zh) * | 2021-08-25 | 2023-11-10 | 山东大学 | 一种获取焊缝点云信息的焊接机器人系统及方法 |
| US20230330764A1 (en) * | 2022-04-19 | 2023-10-19 | Path Robotics, Inc. | Autonomous assembly robots |
| DE102022213715A1 (de) * | 2022-12-15 | 2024-06-20 | Peri Se | Verfahren zur positionierung eines ersten bauteils relativ zu einem zweiten bauteil durch ein roboterarmsystem |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60217418A (ja) * | 1984-04-11 | 1985-10-31 | Mitsubishi Electric Corp | 多関節ロボツトの追従制御方式 |
| JPS61175805A (ja) * | 1985-01-31 | 1986-08-07 | Matsushita Electric Ind Co Ltd | ロボツト動作教示装置 |
| JPH03161223A (ja) * | 1989-11-17 | 1991-07-11 | Kawasaki Heavy Ind Ltd | ワークのはめ合い方法 |
| JPH1133962A (ja) * | 1997-07-18 | 1999-02-09 | Yaskawa Electric Corp | ロボットの三次元位置センサのキャリブレーション 方法とその装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4396945A (en) * | 1981-08-19 | 1983-08-02 | Solid Photography Inc. | Method of sensing the position and orientation of elements in space |
| US4796200A (en) * | 1986-12-09 | 1989-01-03 | Diffracto Ltd. | Target based determination of robot and sensor alignment |
| US5374830A (en) | 1984-10-12 | 1994-12-20 | Sensor Adaptive Machines, Inc. | Target based determination of robot and sensor alignment |
| US4851905A (en) | 1984-10-12 | 1989-07-25 | Diffracto Ltd. | Vision target fixture construction |
| DE3741632A1 (de) * | 1987-12-05 | 1989-06-22 | Noell Gmbh | Verfahren und vorrichtung zum erkennen und ansteuern eines raumzieles |
| US5380978A (en) | 1991-07-12 | 1995-01-10 | Pryor; Timothy R. | Method and apparatus for assembly of car bodies and other 3-dimensional objects |
| JP3394322B2 (ja) * | 1994-05-19 | 2003-04-07 | ファナック株式会社 | 視覚センサを用いた座標系設定方法 |
| SE515374C2 (sv) * | 1999-10-29 | 2001-07-23 | Abb Flexible Automation As | Förfarande och anordning för bestämning av ett objekts koordinater och orientering i ett referenskoordinatsystem |
| JP2003117861A (ja) * | 2001-10-15 | 2003-04-23 | Denso Corp | ロボットの位置補正システム |
| AU2003239171A1 (en) * | 2002-01-31 | 2003-09-02 | Braintech Canada, Inc. | Method and apparatus for single camera 3d vision guided robotics |
| EP1431705A1 (de) * | 2002-12-22 | 2004-06-23 | VMT Bildverarbeitungssysteme GmbH | Einrichtung und Verfahren zur Bestimmung der Position eines Werkstücks unter Verwendung einer Schwenkneigekopfkamera |
| JP4167940B2 (ja) * | 2003-05-29 | 2008-10-22 | ファナック株式会社 | ロボットシステム |
| WO2007004983A1 (en) | 2005-07-05 | 2007-01-11 | Hexagon Metrology Ab | Method for welding work pieces |
| JP4143103B2 (ja) * | 2006-12-20 | 2008-09-03 | 本田技研工業株式会社 | 移動装置、ならびにその制御システム、制御プログラムおよび監督システム |
-
2007
- 2007-12-27 EP EP07124101A patent/EP2075096A1/de not_active Withdrawn
-
2008
- 2008-12-17 EP EP08868367.7A patent/EP2227356B1/de active Active
- 2008-12-17 CN CN200880123135XA patent/CN101909828B/zh not_active Expired - Fee Related
- 2008-12-17 JP JP2010540102A patent/JP5290324B2/ja not_active Expired - Fee Related
- 2008-12-17 WO PCT/EP2008/067725 patent/WO2009083452A1/de active Application Filing
- 2008-12-17 CA CA2710669A patent/CA2710669C/en not_active Expired - Fee Related
- 2008-12-17 AU AU2008342721A patent/AU2008342721B2/en not_active Ceased
- 2008-12-17 US US12/810,797 patent/US8346392B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60217418A (ja) * | 1984-04-11 | 1985-10-31 | Mitsubishi Electric Corp | 多関節ロボツトの追従制御方式 |
| JPS61175805A (ja) * | 1985-01-31 | 1986-08-07 | Matsushita Electric Ind Co Ltd | ロボツト動作教示装置 |
| JPH03161223A (ja) * | 1989-11-17 | 1991-07-11 | Kawasaki Heavy Ind Ltd | ワークのはめ合い方法 |
| JPH1133962A (ja) * | 1997-07-18 | 1999-02-09 | Yaskawa Electric Corp | ロボットの三次元位置センサのキャリブレーション 方法とその装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019211337A (ja) * | 2018-06-05 | 2019-12-12 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
| JP7204346B2 (ja) | 2018-06-05 | 2023-01-16 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
| WO2020050135A1 (ja) * | 2018-09-06 | 2020-03-12 | 東芝デベロップメントエンジニアリング株式会社 | 画像処理装置、プロジェクタ制御システム、カメラ制御システム |
| JP2020044610A (ja) * | 2018-09-19 | 2020-03-26 | 株式会社デンソーウェーブ | ロボットの制御方法 |
| WO2022086157A1 (ko) * | 2020-10-20 | 2022-04-28 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| WO2022209272A1 (ja) * | 2021-03-30 | 2022-10-06 | 日本電産株式会社 | 撮像制御装置、撮像装置、撮像制御方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2710669C (en) | 2013-02-12 |
| US8346392B2 (en) | 2013-01-01 |
| EP2075096A1 (de) | 2009-07-01 |
| AU2008342721B2 (en) | 2011-09-08 |
| EP2227356B1 (de) | 2016-11-16 |
| EP2227356A1 (de) | 2010-09-15 |
| WO2009083452A1 (de) | 2009-07-09 |
| JP5290324B2 (ja) | 2013-09-18 |
| CN101909828A (zh) | 2010-12-08 |
| AU2008342721A1 (en) | 2009-07-09 |
| US20100274390A1 (en) | 2010-10-28 |
| CA2710669A1 (en) | 2009-07-09 |
| CN101909828B (zh) | 2012-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5290324B2 (ja) | 空間内において少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム | |
| JP5377758B2 (ja) | 空間内において少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム | |
| JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| JP3556589B2 (ja) | 位置姿勢認識装置 | |
| JP3754402B2 (ja) | 産業用ロボットの制御方法および制御装置 | |
| JP6855491B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| EP3411194A1 (en) | Robot system calibration | |
| JP6031368B2 (ja) | ワークとの相関位置決め方法 | |
| US11922616B2 (en) | Alignment device | |
| JP2016203282A (ja) | エンドエフェクタの姿勢変更機構を備えたロボット | |
| WO2022092285A1 (ja) | はんだ付け装置及びはんだ付けシステム、並びに、加工装置 | |
| JPH0545117A (ja) | 光学式３次元位置計測方法 | |
| JP2003121112A (ja) | 位置検出装置 | |
| US10885368B2 (en) | Six-dimensional smart target | |
| TWI776694B (zh) | 自動化機械手臂系統與機械手臂與其電腦視覺之間的協調方法 | |
| US20230328372A1 (en) | Image processing system and image processing method | |
| WO2020044491A1 (ja) | ロボット | |
| JP2024086351A (ja) | 原点校正方法および原点校正システム | |
| JPH0228510A (ja) | 空間位置測定方法 | |
| CN117795290A (zh) | 位置测定装置以及位置测定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120502 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120802 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120809 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120830 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120906 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130605 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5290324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |