JP2017062262A - 対象物の3次元座標を決定するための、および工業用ロボットを較正するための装置および方法 - Google Patents

対象物の3次元座標を決定するための、および工業用ロボットを較正するための装置および方法 Download PDF

Info

Publication number
JP2017062262A
JP2017062262A JP2016251427A JP2016251427A JP2017062262A JP 2017062262 A JP2017062262 A JP 2017062262A JP 2016251427 A JP2016251427 A JP 2016251427A JP 2016251427 A JP2016251427 A JP 2016251427A JP 2017062262 A JP2017062262 A JP 2017062262A
Authority
JP
Japan
Prior art keywords
camera
projector
determining
dimensional coordinates
industrial robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016251427A
Other languages
English (en)
Other versions
JP2017062262A5 (ja
JP6423848B2 (ja
Inventor
シュタインビフラー マルクス
Marcus Steinbichler
シュタインビフラー マルクス
マイヤー トーマス
Thomas Meyer
マイヤー トーマス
ダクサウアー ヘルベルト
Herbert Daxauer
ダクサウアー ヘルベルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Steinbichler Optotechnik GmbH
Original Assignee
Steinbichler Optotechnik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Steinbichler Optotechnik GmbH filed Critical Steinbichler Optotechnik GmbH
Publication of JP2017062262A publication Critical patent/JP2017062262A/ja
Publication of JP2017062262A5 publication Critical patent/JP2017062262A5/ja
Application granted granted Critical
Publication of JP6423848B2 publication Critical patent/JP6423848B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042Calibration or calibration artifacts

Abstract

【課題】対象物の3次元座標を決定する改良された装置、および改良された方法を提案する。【解決手段】対象物(1)の3次元座標を決定するための改良された装置は、対象物(1)にパターンを投影するプロジェクタ(10)と、上記プロジェクタ(10)に結合され、対象物(1)を撮影するカメラ(11)と、上記プロジェクタ(10)、およびカメラ(11)に結合され、リファレンスマークのフィールド(25)の1つ以上のリファレンスマーク(6,24)を撮影するリファレンスカメラ(16)とを備える。【選択図】図1

Description

本発明は、対象物の3次元(3D)座標を決定するための装置、および対象物の3次元(3D)座標を決定するための方法に関するものである。本発明は、さらに、工業用ロボットを較正するための方法に関するものである。
対象物の3次元座標を決定するための公知の方法では、フリンジ光投影システムを用いて対象物が撮影される。上記フリンジ光投影システムは、フリンジ光を対象物に投影するプロジェクタと、対象物から戻り放射されるフリンジ光パターンを撮影するカメラとを含んでいる。その撮影画像は、コンピュータ、特にPC(パーソナルコンピュータ)を含む評価システムによって評価される。
対象物の3次元座標を決定するための計測要求を満たし、および/または対象物を完全に検出するためには、通常、1枚の撮影画像だけでは十分でないので、フリンジ光投影システムを空間内の異なる撮影位置に位置させ、そこで撮影された撮影画像を、絶対座標系とも呼ばれる共通の高次の座標系に移動させることが必要である。このプロセスは、しばしば「グローバルレジストレーション」と呼ばれ、高い精度が必要とされる。
この種の公知の方法では、部分的にオーバラップした撮影画像が撮影される。これらの撮影画像は、オーバラップ領域の最適化を通じて互いに関して最適化され得る。しかし、上記手法は、外面が少ない大きな構造の対象物に対しては、多分に十分に正確ではない。対象物のオーバラップ領域に適用され、連結ポイントを形成するコリメーティングマークの追加使用も、やはり、しばしば十分な改善をもたらしはしない。
対象物、および/または対象物を囲む1つ以上のプローブに適用されるコリメーティングマークが用いられる手法も知られている。上記コリメーティングマークは、最初に較正される。これは、好ましくは、写真測量法を用いて行われる。対象物の異なる撮影画像は、フリンジ光投影システムによって検出されたコリメーティングマークの助けによって較正位置に移動され得、これによってグローバルレジストレーションが可能である。
対象物の3次元座標を決定するために、プロジェクタによってフリンジ光パターンが対象物に投影される手法が特許文献1によって知られている。対象物によって反射されたフリンジ光パターンは、光学システム、および領域センサ(area sensor)、特にCCDセンサまたはCMOSセンサを含むカメラによって撮影される。上記プロジェクタ、およびカメラは、フリンジ光投影システムを構成する。それぞれ複数のリファレンスマークを有する複数のリファレンスプローブが対象物の周辺に配置される。最初にリファレンスプローブが計測される。続いて、フリンジ光投影システムによって対象物の3次元座標が決定される。
欧州特許出願公開第2 273 229 A1号明細書
通常、対象物、または対象物の注目領域がカメラの視野よりも大きいために、対象物の3次元座標の決定において、特許文献1の方法で1枚の撮影画像だけを撮影することは、やはり十分ではない。したがって、プロジェクタおよびカメラを含むフリンジ光投影システムを異なる位置に位置させることが必要となる。それぞれの位置で撮影された撮影画像は、次に、共通の高次の座標系に移動される。
しかし、特許文献1の方法は、特に製造工程に組み込まれる自動計測システムで実施されるべき場合には、しばしば少なからぬ努力に結び付けられる。そのようなシステムでは、プロジェクタとカメラとを含むフリンジ光投影システムを位置決めするために工業用ロボットを用いることが有利である。そこで、ロボットの位置情報は、フリンジ光投影システムの位置および方向の決定のための大まかな値として用いられ得る。しかし、このロボットの位置の正確さは、通常、グローバルレジストレーションの目的には十分ではない。
特許文献1の方法を用いて異なる種類の対象物の3次元座標が決定される場合には、さらに、欠点が生じる。この場合には、対象物のそれぞれのサイズに適合した異なるプローブがセットアップされ、各対象物のために構成されなければならない。
3次元座標が決定されるべき対象物が、リファレンスプローブの存在によって、もはやアクセス不能、または十分なアクセスが不能なことが、さらに生じ得る。ロボットの動き経路は、リファレンスプローブによって制限され得る。さらに、対象物の一部は、リファレンスプローブによって覆われ得る。決定される新たな対象物によるリファレンスプローブによって囲まれた領域のチャージングは、困難であることも判明し得る。
本発明の目的は、対象物の3次元座標を決定する改良された装置、および改良された方法を提案することである。
対象物の3次元座標を決定する装置において、上記目的は第1の発明の特徴によって達成される。装置は、対象物にパターンを投影するプロジェクタ、上記プロジェクタに結合され、対象物を撮影するカメラ、および上記プロジェクタとカメラとに結合され、レファレンスマークのフィールドの1つ以上のレファレンスマークを撮影するレファレンスカメラを含む。プロジェクタによって投影されるパターンは、特にフリンジ光パターンである。白色のフリンジ光の投影が特に適している。カメラは、好ましくはエリアセンサ、特にCCDセンサ、CMOSセンサ、または他のエリアセンサを含む。もし、カメラが光学システムを含んでいれば有利である。カメラは、間接的、または直接的にプロジェクタに結合されている。それは、対象物から放射されるパターンを撮影し得るように整列されている。リファレンスカメラは、間接的、または直接的にプロジェクタおよびカメラに結合されている。その位置および向きは、プロジェクタおよびカメラに対して固定されている。プロジェクタ、カメラ、およびリファレンスカメラは、対象物の3次元座標を決定する計測システムを構成する。
有利なさらなる改良は、従属請求項に述べられている。
有利なさらなる改良では、装置は、1つ以上のさらなるリファレンスカメラを含む。1つ以上のさらなるリファレンスカメラは、プロジェクタ、カメラ、および最初のリファレンスカメラに対して、その位置および向きが固定されている。それらは間接的に、または直接的に、プロジェクタ、および/またはカメラ、および/またはリファレンスカメラに結合されている。もし、さらなる1つまたは複数のリファレンスカメラの光軸方向が、カメラ、および/または(最初の)リファレンスカメラ、および/またはさらなるリファレンスカメラの光軸方向と異なっていれば、有利である。一般に、より多くのリファレンスカメラが用いられ、および/またはそれらの光軸がより異なり、注視方向が分散していれば、達成可能な精度は高い。特別な場合では、もし、リファレンスカメラの光軸が互いに垂直であれば、有利であり得る。例えば光軸が互いに垂直な3つのリファレンスカメラが実現され得る。しかし、他の実施例も、また、可能である。
リファレンスカメラは、カメラモジュールとして提供され得る。それらは、カメラモジュールに取り外し可能に、または取り外し不能に固定され得る。
さらに有利な改良では、装置は、プロジェクタ、および/またはカメラ、および/または1つ以上のリファレンスカメラの位置および/または向きを決定する評価装置を含む。評価装置は、コンピュータ、特にPCによって構成され得る。上記位置および/または向きの決定は、バンドルブロックアジャストメントによって行われ得る。
発明は、さらに、上述した対象物の3次元座標を決定する装置の1つと、この装置を位置決めする工業用ロボットとを含む、対象物の3次元座標を決定する装置に関する。
もし、装置が、リファレンスマークのフィールドを含めば、有利である。上記リファレンスマークは、1つ以上の壁面に取り付けられ得る。しかし、リファレンスマークを異なるように取り付けることも可能である。リファレンスマークが取り付けられる壁面は、対象物の計測室(measuring cell)を形成し得る。計測室は、閉じられ、または開かれ得る。
対象物の3次元座標を決定する方法においては、発明の目的は、対象物がリファレンスマークのフィールドの前に位置され、対象物が発明の装置により完全にまたは部分的に撮影され、1つ以上のリファレンスカメラによってリファレンスマークのフィールドの1つ以上のリファレンスマークが撮影されることによって達成される。
もし、対象物のさらなる部分が撮影されれば、有利である。対象物のいくつかの、または全ての部分は、好ましくはオーバラップする。
発明は、最後に、リファレンスマークのフィールドを計測する方法に関し、発明の装置が工業用ロボットによって複数の位置に位置決めされ、これらの位置で装置によって1つ以上のリファレンスマークが撮影され、これらの撮影画像からリファレンスマークの位置が決定される。これによって、位置および向きによりリファレンスマークの位置の決定が可能になる。
発明は、さらに、工業用ロボットを較正する方法に関する。この点に関しては、多軸の工業用ロボットが好ましい。
工業用ロボットを較正する改良された方法を提案することは発明の目的である。
この目的は、第10の発明の特徴による発明によって達成される。この方法に従えば、対象物の3次元座標を決定する発明の装置は、工業用ロボットによって複数のあらかじめ定義された位置に位置決めされる。これらの位置は、それらの位置および/または向きによってあらかじめ定義され得る。これらの位置では、リファレンスマークのフィールドの1つ以上または全てのリファレンスマークが装置によって撮影される。工業用ロボットの位置は、これらの撮影画像から決定される。工業用ロボットの位置は、それらの位置および/または向きによって決定され得る。あらかじめ定義され、決定された工業用ロボットの位置は、その工業用ロボットの最も離れたアームの位置であり得る。撮影画像から決定された工業用ロボットの位置は、あらかじめ定義された工業用ロボットの位置と比較される。この比較は、工業用ロボットのあらかじめ定義された位置からの実際の位置のずれの計測をもたらす。この計測は、補正値として、後に、あらかじめ定義される(predefined)位置とともに考慮される。異なるあらかじめ定義された位置のための複数の補正値から補正マトリクスを形成することも可能であり、上記補正マトリクスは、例えば補間に基づいて、それらの間の位置のための補正値ももたらす。補間は、異なる適した機能によってもたらされ得る。
発明の目的は、工業用ロボットの較正のための方法において、第11の発明の特徴によるさらなる提案によって達成される。この方法では、対象物にパターンを投影するプロジェクタ、および上記プロジェクタに結合され、対象物を撮影するカメラを用いて対象物の3次元座標を決定する装置は、工業用ロボットによって、あらかじめ定義された複数の位置に位置決めされる。その位置において、装置によりレファレンスボディが撮影される。上記リファレンスボディは、特に球体であり得る。上記撮影画像から工業用ロボットの位置が決定される。これらの位置は、あらかじめ定義された工業用ロボットの位置と比較される。対象物の3次元座標を決定するために発明の装置を用いることが可能である。この場合には、1つのリファレンスカメラ、または複数のリファレンスカメラは必要とされない。リファレンスは、工業用ロボットの較正のための上述の最初の方法の他の点においてなされる。
対象物の3次元座標を決定するための改良された方法を提案する目的のさらなる解決は、第12の発明によってもたらされる。この対象物の3次元座標を決定するための方法では、対象物にパターンを投影するプロジェクタ、および上記プロジェクタに結合され、対象物を撮影するカメラを用いて対象物の3次元座標を決定する装置は、発明の方法によって較正された工業用ロボットによって位置決めされる。対象物はその場所で、対象物の3次元座標を決定する装置によって撮影される。
この方法は、それぞれの撮影画像のグローバルレジストレーションのためにロボットの位置だけを用いることを可能にする。これは、1つのレファレンスカメラまたは複数のレファレンスカメラが十分な数のリファレンスマークを撮影可能なことが実行できない場合に特に有利である。これは、特に、対象物、例えば自動車のボディの内部空間内の3次元座標が決定されるべき場合であり得る。
また、第1の発明は、
対象物(1)の3次元座標を決定するための装置であって、
対象物(1)にパターンを投影するプロジェクタ(10)と、
上記プロジェクタ(10)に結合され、対象物(1)を撮影するカメラ(11)と、
上記プロジェクタ(10)、およびカメラ(11)に結合され、リファレンスマークのフィールド(25)の1つ以上のリファレンスマーク(6,24)を撮影するリファレンスカメラ(16)と、
を備えたことを特徴とする。
第2の発明は、
第1の発明の装置であって、
1つ以上のさらなるリファレンスカメラ(17,18)を備えたことを特徴とする。
第3の発明は、
第1の発明および第2の発明のうち何れか1つの装置であって、
上記リファレンスカメラ(16,17,18)がカメラモジュール15に設けられていることを特徴とする。
第4の発明は、
第1の発明から第3の発明のうち何れか1つの装置であって、
プロジェクタ(10)、および/またはカメラ(11)、および/または1つ以上のリファレンスカメラ(16,17,18)の位置および/または向きを決定する評価装置を備えたことを特徴とする。
第5の発明は、
対象物の3次元座標を決定するための装置であって、
第1の発明から第4の発明のうち何れか1つの装置と、
上記装置を位置決めするための工業用ロボットと、
を備えたことを特徴とする。
第6の発明は、
第1の発明から第5の発明のうち何れか1つの装置であって、
リファレンスマークのフィールド(25)を備えたことを特徴とする。
第7の発明は、
対象物(1)の3次元座標を決定するための方法であって、
対象物(1)がリファレンスマーク(6,24)のフィールドの前に位置され、
第1の発明から第5の発明のうち何れか1つの装置を用いて、対象物(1)が完全に、または部分的に撮影され、
リファレンスマークのフィールド(25)の1つ以上のリファレンスマーク(6,24)が、1つ以上のリファレンスカメラ(16,17,18)によって撮影されることを特徴とする。
第8の発明は、
第7の発明の方法であって、
第1の発明から第5の発明のうち何れか1つの装置を用いて、対象物(1)のさらなる部分が撮影されることを特徴とする。
第9の発明は、
リファレンスマーク(6,24)のフィールドを計測する方法であって、
第1の発明から第4の発明のうち何れか1つの装置が、工業用ロボットによって複数の位置に位置決めされ、
これらの位置で、上記装置によって、1つ以上、または全てのリファレンスマーク(6,24)が撮影され、
これらの撮影画像から、上記リファレンスマーク(6,24)の位置が決定されることを特徴とする。
第10の発明は、
工業用ロボットを較正する方法であって、
第1の発明から第4の発明のうち何れか1つの装置が、工業用ロボットによって、あらかじめ定義された複数の位置に位置決めされ、
これらの位置で、上記装置によって、リファレンスマークのフィールド(25)の1つ以上、または全てのリファレンスマーク(6,24)が撮影され、
上記工業用ロボットの位置が、これらの撮影画像から決定され、あらかじめ定義された位置と比較される
ことを特徴とする。
第11の発明は、
工業用ロボットを較正する方法であって、
対象物(1)にパターンを投影するプロジェクタ(10)、および上記プロジェクタ(10)に結合され、対象物(1)を撮影するカメラ(11)を含み、対象物(1)の3次元座標を決定するための装置が、工業用ロボットによって、あらかじめ定義された複数の位置に位置決めされ、
これらの位置で、上記装置によって、リファレンスボディが撮影され、
上記工業用ロボットの位置が、これらの撮影画像から決定され、あらかじめ定義された位置と比較される
ことを特徴とする。
第12の発明は、
対象物(1)の3次元座標を決定するための方法であって、
対象物(1)にパターンを投影するプロジェクタ(10)、および上記プロジェクタ(10)に結合され、対象物(1)を撮影するカメラ(11)を含み、対象物(1)の3次元座標を決定するための装置が、第10の発明および第11の発明のうち何れか1つの方法によって較正された工業用ロボットによって位置決めされ、上記装置によって、対象物(1)が撮影されることを特徴とする。
発明の実施例は、以下に添付図を参照して詳細に説明される。
対象物の3次元座標を決定するための装置を図式的表現で示す。
図1に示される計測構成は、対象物1、すなわち自動車のドア(ボディシェルドア)の表面の3次元座標を決定するために用いられる。対象物1は、計測室3の後壁2の前に配置される。計測室3は、後壁2(hintern Wand)、左側壁4、および底壁5を含む。計測室3は、さらに、右側壁、奥壁(Rueckwand)、および上壁(不図示)を含んでいる。
固有的にコード化されたリファレンスマーク6、および固有的にはコード化されていないが互いに空間的に配置され、その空間的配置がコード化を含むようにされたリファレンスマーク24が、計測室3の壁に配置されている。リファレンスマーク6,24は、リファレンスマークのフィールド25を形成している。固有的にコード化された各リファレンスマーク6は、変化のない非エンコーディングエレメントと、変化のあるエンコーディングエレメントとを含んでいる。非エンコーディングエレメントは、コード化されたリファレンスマーク6の中心に位置する円形7によって形成されている。エンコーディングエレメント8は、セグメントセクション8によって形成されている。図の表現に対比して、エンコーディングエレメント8は、各コード化されたリファレンスマーク6ごとに異なっている。各コード化されたリファレンスマーク6の明白な識別は、異なるエンコーディングエレメント8によって可能である。
フリンジ光投影システム9は、計測室3内に配置される。このフリンジ光投影システム9は、プロジェクタ10と、カメラ11とを含んでいる。パターン、特にフリンジ光パターンは、プロジェクタ10によって、矢印12によって示されるように対象物1に投影される。カメラ11は、矢印13によって示されるように、対象物1から、その空間的表面に従って戻り放射されるフリンジ光パターンを撮影する。プロジェクタ10、およびカメラ11は、リンケージ14によって互いに結合されている。これらは、互いに相対的な位置および向きが固定されている。
カメラモジュール15は、フリンジ光投影システム9に結合されている。このカメラモジュール15は、第1のリファレンスカメラ16、第2のリファレンスカメラ17、および第3のリファレンスカメラ18を含んでいる。光軸19、したがって第1のリファレンスカメラ16の注視方向は、計測室3の奥壁に向けられ、光軸20、したがって第2のリファレンスカメラ17の注視方向は、計測室3の右側壁に向けられ、光軸21、したがって第3のリファレンスカメラ18の注視方向は、計測室3の上壁に向けられている。計測室の右側壁、奥壁、および上壁には、同様にリファレンスマーク6,24が設けられている。
カメラモジュール15は、その位置および向きが、フリンジ光投影システム9に対して固定されている。それは、リンケージ22を介して、フリンジ光投影システム9のリンケージ14に結合されている。フリンジ光投影システム9、およびカメラモジュール15は、計測システム23を形成している。
最初の計測の実行では、計測室3のリファレンスマーク6,24の位置が検出され、保存される。この計測の実行中には、好ましくは、対象物1は計測室3内に配置されない。リファレンスマーク6,24の位置の決定は、好ましくは写真測量法によって行われる。この点で、リファレンスマーク6,24の撮影画像は、異なるカメラ位置から撮影される。これは、カメラ11によって行われる。しかし、フリンジ光投影システム9とは独立に、リファレンスマーク6,24の写真測量法を行うことも可能である。双方の場合において、必須ではないが、工業用ロボットによってカメラを位置決めすることが可能である。
リファレンスマーク6,24の位置の決定後、対象物の3次元座標が決定可能である。この目的のために、図に示されるように、対象物1が計測室3内に配置される。プロジェクタ10は、フリンジ光パターンを対象物1の表面に投影し、カメラ11は、反射されたフリンジ光パターンを撮影し、1つ以上または全てのリファレンスカメラ16,17,18は、リファレンスマークのフィールド25のリファレンスマーク6,24を撮影する。
ただ1つのリファレンスカメラの使用においては、一般に、撮影画像中に少なくとも3つのエンコーディングの(encoding)リファレンスマーク6を検出することが必要である。3つのリファレンスカメラの使用においては、一般に、各リファレンスカメラが少なくとも1つのエンコーディングのリファレンスマーク6を検出することが必要である。
評価装置、特にコンピュータ、特にPC(不図示)では、リファレンスカメラ16,17,18では、撮影されたリファレンスマーク6,24の1つまたは複数の撮影画像から、計測システム23の位置および向きが検出される。これによって、カメラ11の撮影画像から対象物1の3次元座標を決定することが可能である。
もし、対象物1がカメラ11の視野よりも大きい場合には、対象物1の複数の撮影画像が撮影されなければならない。これらの撮影画像は、互いに部分的にオーバラップし得る。1つ以上のリファレンスカメラ16,17,18によるリファレンスマーク6,24の撮影によって、カメラ11による対象物1の部分の個々の撮影画像に対して、対象物1の関連する部分表面の3次元座標を絶対座標として決定することが可能である。
装置は、さらに、計測システム23、すなわちプロジェクタ10、カメラ11、およびリファレンスカメラ16,17,18の位置および向きを決定するための評価装置を含んでいる。この評価装置も、また、コンピュータ、特にPC(不図示)によって形成され得る。
計測システム23は、工業用ロボット(不図示)によって位置決めされ得る。
対象物のグローバルレジストレーションのための方法および装置が発明によって提供される。ロボットシステムが動作し得る計測室には、リファレンスマークが設けられる。このリファレンスマークのフィールドは、一旦、写真測量法によって較正され得る。対象物の3次元座標を決定するための個々の計測撮影画像は、リファレンスマークの座標系に移動され得る。
異なる空間方向を向く1つ以上のリファレンスカメラ16,17,18は、固定的、機械的にフリンジ光投影システム9に結合され、適切な較正によって共通の座標系に持ち込まれる。この較正は、それぞれリファレンスマークのサブセットを同時に、好ましくは毎回、計測するフリンジ光投影システム9、およびカメラモジュール15によって行われ得る。フリンジ光投影システム9のプロジェクタ10およびカメラ11と同様に、写真測量法のバンドルブロックアジャストメントによって、カメラモジュール15のリファレンスカメラ16,17,18の外部のまたは相対的な配置(outer or relative orientations)が、伴に決定され得る。
対象物1の計測において、すなわち対象物1の3次元座標の決定において、フリンジ光投影システム9の位置および向きの正確な決定が、カメラモジュール15、およびリファレンスマーク6,24を通じて、好ましくは写真測量法のバンドルブロックアジャストメントのプロセスによって行われる。この情報の助けによって、対象物1の個々の計測撮影画像が共通の座標系に移動され得る。
さらに、計測室3内のリファレンスマークのフィールド25の計測が可能である。これは、ロボットプログラム、および計測システム23の助けによって行われ得る。この点に関して、最初の計測によって知られたリファレンスマーク6,24の座標は、近似的な値として、バンドルブロックアジャストメントに送られる。
さらに、計測システム23を工業用ロボットを較正するために用いることが可能である。リファレンスマーク6,24の位置が検出され保存されると、リファレンスマークのフィールド25の助けによって、および計測システム23の助けによって、工業用ロボットの位置が非常に正確に検出され得る。しかし、また、工業用ロボットの異なる位置からのレファレンスボディ、例えば球体の計測の助けによって、工業用ロボットを計測することが可能である。
双方の場合において、必要とされるロボットの較正の情報が、レファレンス計測の変換と手動であらかじめ定義されたロボット座標系内の位置との比較からもたらされる。
1 対象物
2 後壁
3 計測室
4 左側壁
5 底壁
6 リファレンスマーク
7 円形
8 セグメントセクション
9 フリンジ光投影システム
10 プロジェクタ
11 カメラ
12 矢印
13 矢印
14 リンケージ
15 カメラモジュール
16,17,18 リファレンスカメラ
19 光軸
20 光軸
21 光軸
22 リンケージ
23 計測システム
24 リファレンスマーク
25 フィールド

Claims (7)

  1. 対象物(1)の3次元座標を決定するための装置であって、
    対象物(1)にパターンを投影するプロジェクタ(10)と、
    上記プロジェクタ(10)に結合され、対象物(1)を撮影するカメラ(11)と、
    上記プロジェクタ(10)、およびカメラ(11)に結合され、リファレンスマークのフィールド(25)の1つ以上のリファレンスマーク(6,24)を撮影するリファレンスカメラ(16)と、
    リファレンスカメラ(16)で撮影されたリファレンスマーク(6,24)の1つまたは複数の撮影画像から、プロジェクタ(10)、および/またはカメラ(11)、および/またはリファレンスカメラ(16)の位置および/または向きを決定する評価装置を備え、
    上記評価装置の決定に基づいて、カメラ(11)の撮影画像から対象物1の3次元座標が決定されるように構成されていることを特徴とする装置。
  2. 請求項1の装置であって、
    1つ以上のさらなるリファレンスカメラ(17,18)を備えたことを特徴とする装置。
  3. 請求項1および請求項2のうち何れか1項の装置であって、
    上記リファレンスカメラ(16,17,18)がカメラモジュール15に設けられていることを特徴とする装置。
  4. 対象物の3次元座標を決定するための装置であって、
    請求項1から請求項3のうち何れか1項の装置と、
    上記装置を位置決めするための工業用ロボットと、
    を備えたことを特徴とする装置。
  5. 請求項1から請求項4のうち何れか1項の装置であって、
    リファレンスマークのフィールド(25)を備えたことを特徴とする装置。
  6. 対象物(1)の3次元座標を決定するための方法であって、
    対象物(1)がリファレンスマーク(6,24)のフィールドの前に位置され、
    請求項1から請求項5のうち何れか1項の装置を用いて、対象物(1)が完全に、または部分的に撮影され、
    リファレンスマークのフィールド(25)の1つ以上のリファレンスマーク(6,24)が、1つ以上のリファレンスカメラ(16,17,18)によって撮影され、
    1つ以上のリファレンスカメラ(16,17,18)で撮影されたリファレンスマーク(6,24)の1つまたは複数の撮影画像から、プロジェクタ(10)、および/またはカメラ(11)、および/または1つ以上のリファレンスカメラ(16,17,18)の位置および/または向きが評価装置によって決定され、
    上記評価装置の決定に基づいて、カメラ(11)の撮影画像から対象物1の3次元座標が決定されることを特徴とする方法。
  7. 請求項6の方法であって、
    請求項1から請求項4のうち何れか1項の装置を用いて、対象物(1)のさらなる部分が撮影されることを特徴とする方法。
JP2016251427A 2011-02-16 2016-12-26 対象物の3次元座標を決定するための方法 Active JP6423848B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011011360A DE102011011360A1 (de) 2011-02-16 2011-02-16 Vorrichtung und Verfahren zur Bestimmung der 3-D-Koordinaten eines Objekts und zum Kalibrieren eines Industrieroboters
DE102011011360.6 2011-02-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012031979A Division JP2012168180A (ja) 2011-02-16 2012-02-16 対象物の3次元座標を決定するための、および工業用ロボットを較正するための装置および方法

Publications (3)

Publication Number Publication Date
JP2017062262A true JP2017062262A (ja) 2017-03-30
JP2017062262A5 JP2017062262A5 (ja) 2017-10-19
JP6423848B2 JP6423848B2 (ja) 2018-11-14

Family

ID=45654772

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012031979A Pending JP2012168180A (ja) 2011-02-16 2012-02-16 対象物の3次元座標を決定するための、および工業用ロボットを較正するための装置および方法
JP2016251427A Active JP6423848B2 (ja) 2011-02-16 2016-12-26 対象物の3次元座標を決定するための方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012031979A Pending JP2012168180A (ja) 2011-02-16 2012-02-16 対象物の3次元座標を決定するための、および工業用ロボットを較正するための装置および方法

Country Status (5)

Country Link
US (1) US20130050410A1 (ja)
EP (1) EP2489977B1 (ja)
JP (2) JP2012168180A (ja)
DE (1) DE102011011360A1 (ja)
ES (1) ES2711651T3 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107401976A (zh) * 2017-06-14 2017-11-28 昆明理工大学 一种基于单目相机的大尺寸视觉测量系统及其标定方法
JP2021021675A (ja) * 2019-07-30 2021-02-18 株式会社キーレックス 3次元測定器を用いた被測定体の測定方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011114674C5 (de) 2011-09-30 2020-05-28 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
US9753453B2 (en) 2012-07-09 2017-09-05 Deep Learning Robotics Ltd. Natural machine interface system
EP2918967B1 (en) * 2012-11-07 2018-05-16 Artec Europe S.a.r.l. Method for monitoring linear dimensions of three-dimensional objects
KR101416383B1 (ko) * 2012-11-16 2014-07-16 현대자동차 주식회사 차량용 도어 검사 시스템 및 그 제어방법
CN104180760B (zh) * 2013-05-24 2017-07-25 上海勘测设计研究院 一种越浪形态观测方法及系统
DE102013011848A1 (de) 2013-07-16 2015-01-22 Steinbichler Optotechnik Gmbh Vorrichtung und Verfahren zum Bestimmen der 3D-Koordinaten eines Objekts
JP6138722B2 (ja) * 2014-04-10 2017-05-31 スターテクノ株式会社 ワーク加工装置
JP5622250B1 (ja) * 2013-11-08 2014-11-12 スターテクノ株式会社 較正機能付きワーク加工装置
JP2015157339A (ja) * 2014-02-25 2015-09-03 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
DE102015004873A1 (de) 2014-04-17 2015-10-22 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
DE102014012710A1 (de) 2014-08-27 2016-03-03 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
DE102015201460B4 (de) * 2015-01-28 2023-05-17 Siemens Healthcare Gmbh Positionsbestimmung eines medizinischen Instruments
DE102015204796A1 (de) * 2015-03-17 2016-09-22 Carl Zeiss Industrielle Messtechnik Gmbh Koordinatenmessgerät mit beweglichem Sensorträger und Positionsbestimmungseinrichtung, sowie Verfahren zum Betreiben eines Koordinatenmessgeräts
US10444006B2 (en) * 2015-08-19 2019-10-15 Faro Technologies, Inc. Three-dimensional imager
DE202016004550U1 (de) 2016-07-21 2016-08-05 Carl Zeiss Optotechnik GmbH 3D-Messgerät
DE102016216196A1 (de) * 2016-08-29 2018-03-01 Robert Bosch Gmbh Sensoranlage mit einer optischen Sensoreinheit und eine Automatisierungsanlage
DE102016014384B4 (de) 2016-12-02 2019-01-17 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
CN107202554B (zh) * 2017-07-06 2018-07-06 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
DE102018222629A1 (de) 2018-01-17 2019-07-18 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Bestimmung von mindestens einer räumlichen Position und Orientierung mindestens eines Objekts
DE102018115620A1 (de) * 2018-06-28 2020-01-02 Carl Zeiss Industrielle Messtechnik Gmbh Messsystem
MX2021000134A (es) 2018-07-10 2021-03-25 Marposs Spa Aparato y metodo para revision sin contacto de dimensiones y/o forma de un cuerpo de forma compleja.
EP3598066A1 (en) 2018-07-18 2020-01-22 Carl Zeiss Optotechnik GmbH Method and arrangement for determining at least one of dimensional characteristics and shape characteristics of a large measurement object
US10875592B2 (en) 2018-08-16 2020-12-29 Carl Zeiss Industrielle Messtechnik Gmbh Automobile manufacturing plant and method
DE102018123815A1 (de) * 2018-09-26 2020-03-26 Ebm-Papst Mulfingen Gmbh & Co. Kg Verfahren zur Positionsbestimmung in einem Raum
DE102018218475B4 (de) 2018-10-29 2022-03-10 Carl Zeiss Optotechnik GmbH Trackingsystem und optisches Messsystem zur Bestimmung mindestens einer räumlichen Position und Orientierung mindestens eines Messobjekts
DE102018220088A1 (de) 2018-11-22 2020-05-28 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Bestimmung von mindestens einer räumlichen Position und Orientierung mindestens eines Messobjekts
EP3663709A1 (de) * 2018-12-04 2020-06-10 Carl Zeiss Optotechnik GmbH Verfahren zur 3d-erfassung eines messobjektes
DE102019200733A1 (de) 2019-01-22 2020-07-23 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Bestimmung von mindestens einer räumlichen Position und Orientierung mindestens einer getrackten Messvorrichtung
CN110125455B (zh) * 2019-05-27 2020-06-02 清华大学 一种用于机器人钻孔中优化钻头位姿的方法
CN110480631A (zh) * 2019-07-19 2019-11-22 五邑大学 一种应用于搬运机器人的目标搬运方法及其搬运机器人
DE102019211063B3 (de) * 2019-07-25 2020-08-20 Carl Zeiss Industrielle Messtechnik Gmbh Messvorrichtung und Verfahren zur Bestimmung von einer räumlichen Position und Orientierung eines Messobjekts
DE102019212856A1 (de) 2019-08-27 2021-03-04 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zur Nachführung eines Strahls
DE102020202982A1 (de) 2020-03-09 2021-09-09 Carl Zeiss Industrielle Messtechnik Gmbh Optische Vorrichtung zur Abstandsbestimmung eines Messobjekts
DE102020209486B3 (de) 2020-07-28 2021-09-30 Carl Zeiss Industrielle Messtechnik Gmbh Aktuator
DE102020211136A1 (de) 2020-09-03 2022-03-03 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Bestimmen von einer Änderung mindestens einer Luftsäuleneigenschaft in optischen Navigationssystemen
DE102020215073A1 (de) 2020-11-30 2022-06-02 Carl Zeiss Industrielle Messtechnik Gmbh Selbstkalibrierendes optronisches Messsystem
DE102021209427A1 (de) 2021-08-27 2023-03-02 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Bestimmung von mindestens einer räumlichen Position und Orientierung mindestens eines Messobjekts

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030025788A1 (en) * 2001-08-06 2003-02-06 Mitsubishi Electric Research Laboratories, Inc. Hand-held 3D vision system
JP2003505682A (ja) * 1999-07-13 2003-02-12 メトロノール・エイエスエイ 大きな物体の幾何学的形状を走査するシステム
US20090067706A1 (en) * 2007-09-12 2009-03-12 Artec Ventures System and Method for Multiframe Surface Measurement of the Shape of Objects
US20090323121A1 (en) * 2005-09-09 2009-12-31 Robert Jan Valkenburg A 3D Scene Scanner and a Position and Orientation System

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
US5083073A (en) * 1990-09-20 1992-01-21 Mazada Motor Manufacturing U.S.A. Corp. Method and apparatus for calibrating a vision guided robot
US5198877A (en) * 1990-10-15 1993-03-30 Pixsys, Inc. Method and apparatus for three-dimensional non-contact shape sensing
US6078846A (en) * 1996-02-06 2000-06-20 Perceptron, Inc. Calibration and compensation of robot-based gauging system
DE19721903C1 (de) * 1997-05-26 1998-07-02 Aicon Industriephotogrammetrie Verfahren und Anlage zur meßtechnischen räumlichen 3D-Lageerfassung von Oberflächenpunkten
DE19840334A1 (de) * 1998-02-02 1999-08-05 Daimler Chrysler Ag Vorrichtung zur Verwendung als Navigationskulisse bei der Vermessung von Objekten
DE10012273B4 (de) * 2000-03-14 2006-09-28 Daimlerchrysler Ag Anlage zur messtechnischen räumlichen 3D-Lageerfassung von Oberflächenpunkten
EP1285224A1 (de) * 2000-05-16 2003-02-26 Steinbichler Optotechnik Gmbh Verfahren und vorrichtung zum bestimmen der 3d-form eines objektes
DE10048097A1 (de) * 2000-09-28 2002-04-18 Zeiss Carl Koordinatenmeßgerät
US7648678B2 (en) * 2002-12-20 2010-01-19 Dako Denmark A/S Method and system for pretreatment of tissue slides
DE102004023033A1 (de) * 2004-05-06 2005-11-24 Claas Fertigungstechnik Gmbh Vorrichtung und Verfahren zur Vermessung von Bauteilen
US7860301B2 (en) * 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
DE102005020844B3 (de) * 2005-05-02 2006-07-20 Vision Tools Bildanalyse Systeme Gmbh Genauigkeitsverbesserung von Robotern
DE102005043912B4 (de) * 2005-05-18 2011-08-18 Steinbichler Optotechnik GmbH, 83115 Verfahren zum Bestimmen der 3D-Koordinaten der Oberfläche eines Objekts
WO2009086495A2 (en) * 2007-12-28 2009-07-09 Sam Stathis Robotic arm for accurate positioning in three-dimensional space, measurement of three-dimensional coordinates, and remote tooling operations in three-dimensional space
JP2010169634A (ja) * 2009-01-26 2010-08-05 Nikon Corp 作業装置
DE102009032262A1 (de) * 2009-07-08 2011-01-13 Steinbichler Optotechnik Gmbh Verfahren zur Bestimmung der 3D-Koordinaten eines Objekts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003505682A (ja) * 1999-07-13 2003-02-12 メトロノール・エイエスエイ 大きな物体の幾何学的形状を走査するシステム
US20030025788A1 (en) * 2001-08-06 2003-02-06 Mitsubishi Electric Research Laboratories, Inc. Hand-held 3D vision system
US20090323121A1 (en) * 2005-09-09 2009-12-31 Robert Jan Valkenburg A 3D Scene Scanner and a Position and Orientation System
US20090067706A1 (en) * 2007-09-12 2009-03-12 Artec Ventures System and Method for Multiframe Surface Measurement of the Shape of Objects

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107401976A (zh) * 2017-06-14 2017-11-28 昆明理工大学 一种基于单目相机的大尺寸视觉测量系统及其标定方法
JP2021021675A (ja) * 2019-07-30 2021-02-18 株式会社キーレックス 3次元測定器を用いた被測定体の測定方法
JP7324497B2 (ja) 2019-07-30 2023-08-10 株式会社キーレックス 3次元測定器を用いた被測定体の測定方法

Also Published As

Publication number Publication date
JP2012168180A (ja) 2012-09-06
US20130050410A1 (en) 2013-02-28
EP2489977A2 (de) 2012-08-22
JP6423848B2 (ja) 2018-11-14
DE102011011360A1 (de) 2012-08-16
ES2711651T3 (es) 2019-05-06
EP2489977A3 (de) 2012-09-19
EP2489977B1 (de) 2018-11-21

Similar Documents

Publication Publication Date Title
JP6423848B2 (ja) 対象物の3次元座標を決定するための方法
US11077557B2 (en) System and method for robust calibration between a machine vision system and a robot
CN107003109B (zh) 校准装置、校准方法、光学装置、摄影装置、投影装置、测量系统以及测量方法
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
KR101458991B1 (ko) 측정 대상 표면에 대한 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템
CN102782721B (zh) 用于相机校准误差的运行时测定的系统和方法
KR102268151B1 (ko) 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법
Albarelli et al. Robust camera calibration using inaccurate targets
JP6282098B2 (ja) キャリブレーション装置及び方法
EA031929B1 (ru) Устройство и способ трехмерного измерения поверхности
US10200670B2 (en) Method and apparatus for determining the 3D coordinates of an object
WO2015038354A1 (en) Use of a three-dimensional imager's point cloud data to set the scale for photogrammetry
JP7102115B2 (ja) 校正方法、校正装置、3次元測定機、3次元視覚測定装置、ロボットのエンドエフェクタ、プログラム、記録媒体
JP2012529031A (ja) 動的基準フレームを用いた3次元表面検出方法及び装置
Santolaria et al. A one-step intrinsic and extrinsic calibration method for laser line scanner operation in coordinate measuring machines
US20190339067A1 (en) Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method
US11259000B2 (en) Spatiotemporal calibration of RGB-D and displacement sensors
WO2016040271A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US10832441B2 (en) Global positioning of a sensor with respect to different tiles for a global three-dimensional surface reconstruction
CN105678088B (zh) 一种靶标测头的平差优化算法
Jin et al. Accurate intrinsic calibration of depth camera with cuboids
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
US20230070281A1 (en) Methods and systems of generating camera models for camera calibration
Skalski et al. Metrological analysis of microsoft kinect in the context of object localization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181019

R150 Certificate of patent or registration of utility model

Ref document number: 6423848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250