JP2012168180A - 対象物の３次元座標を決定するための、および工業用ロボットを較正するための装置および方法 - Google Patents

Abstract

【課題】対象物の３次元座標を決定する改良された装置、および改良された方法を提供する。
【解決手段】対象物１の３次元座標を決定するための改良された装置は、対象物１にパターンを投影するプロジェクタ１０と、上記プロジェクタ１０に結合され、対象物１を撮影するカメラ１１と、上記プロジェクタ１０、およびカメラ１１に結合され、リファレンスマーク６のフィールド２５の１つ以上のリファレンスマーク６，２４を撮影するリファレンスカメラ１６とを備える。
【選択図】図１

Description

本発明は、対象物の３次元（３Ｄ）座標を決定するための装置、および対象物の３次元（３Ｄ）座標を決定するための方法に関するものである。本発明は、さらに、工業用ロボットを較正するための方法に関するものである。

対象物の３次元座標を決定するための公知の方法では、フリンジ光投影システムを用いて対象物が撮影される。上記フリンジ光投影システムは、フリンジ光を対象物に投影するプロジェクタと、対象物から戻り放射されるフリンジ光パターンを撮影するカメラとを含んでいる。その撮影画像は、コンピュータ、特にＰＣ（パーソナルコンピュータ）を含む評価システムによって評価される。

対象物の３次元座標を決定するための計測要求を満たし、および／または対象物を完全に検出するためには、通常、１枚の撮影画像だけでは十分でないので、フリンジ光投影システムを空間内の異なる撮影位置に位置させ、そこで撮影された撮影画像を、絶対座標系とも呼ばれる共通の高次の座標系に移動させることが必要である。このプロセスは、しばしば「グローバルレジストレーション」と呼ばれ、高い精度が必要とされる。

この種の公知の方法では、部分的にオーバラップした撮影画像が撮影される。これらの撮影画像は、オーバラップ領域の最適化を通じて互いに関して最適化され得る。しかし、上記手法は、外面が少ない大きな構造の対象物に対しては、多分に十分に正確ではない。対象物のオーバラップ領域に適用され、連結ポイントを形成するコリメーティングマークの追加使用も、やはり、しばしば十分な改善をもたらしはしない。

対象物、および／または対象物を囲む１つ以上のプローブに適用されるコリメーティングマークが用いられる手法も知られている。上記コリメーティングマークは、最初に較正される。これは、好ましくは、写真測量法を用いて行われる。対象物の異なる撮影画像は、フリンジ光投影システムによって検出されたコリメーティングマークの助けによって較正位置に移動され得、これによってグローバルレジストレーションが可能である。

対象物の３次元座標を決定するために、プロジェクタによってフリンジ光パターンが対象物に投影される手法が特許文献１によって知られている。対象物によって反射されたフリンジ光パターンは、光学システム、および領域センサ（area sensor）、特にＣＣＤセンサまたはＣＭＯＳセンサを含むカメラによって撮影される。上記プロジェクタ、およびカメラは、フリンジ光投影システムを構成する。それぞれ複数のリファレンスマークを有する複数のリファレンスプローブが対象物の周辺に配置される。最初にリファレンスプローブが計測される。続いて、フリンジ光投影システムによって対象物の３次元座標が決定される。

欧州特許出願公開第２ ２７３ ２２９ Ａ１号明細書

通常、対象物、または対象物の注目領域がカメラの視野よりも大きいために、対象物の３次元座標の決定において、特許文献１の方法で１枚の撮影画像だけを撮影することは、やはり十分ではない。したがって、プロジェクタおよびカメラを含むフリンジ光投影システムを異なる位置に位置させることが必要となる。それぞれの位置で撮影された撮影画像は、次に、共通の高次の座標系に移動される。

しかし、特許文献１の方法は、特に製造工程に組み込まれる自動計測システムで実施されるべき場合には、しばしば少なからぬ努力に結び付けられる。そのようなシステムでは、プロジェクタとカメラとを含むフリンジ光投影システムを位置決めするために工業用ロボットを用いることが有利である。そこで、ロボットの位置情報は、フリンジ光投影システムの位置および方向の決定のための大まかな値として用いられ得る。しかし、このロボットの位置の正確さは、通常、グローバルレジストレーションの目的には十分ではない。

特許文献１の方法を用いて異なる種類の対象物の３次元座標が決定される場合には、さらに、欠点が生じる。この場合には、対象物のそれぞれのサイズに適合した異なるプローブがセットアップされ、各対象物のために構成されなければならない。

３次元座標が決定されるべき対象物が、リファレンスプローブの存在によって、もはやアクセス不能、または十分なアクセスが不能なことが、さらに生じ得る。ロボットの動き経路は、リファレンスプローブによって制限され得る。さらに、対象物の一部は、リファレンスプローブによって覆われ得る。決定される新たな対象物によるリファレンスプローブによって囲まれた領域のチャージングは、困難であることも判明し得る。

本発明の目的は、対象物の３次元座標を決定する改良された装置、および改良された方法を提案することである。

対象物の３次元座標を決定する装置において、上記目的は請求項１の特徴によって達成される。装置は、対象物にパターンを投影するプロジェクタ、上記プロジェクタに結合され、対象物を撮影するカメラ、および上記プロジェクタとカメラとに結合され、レファレンスマークのフィールドの１つ以上のレファレンスマークを撮影するレファレンスカメラを含む。プロジェクタによって投影されるパターンは、特にフリンジ光パターンである。白色のフリンジ光の投影が特に適している。カメラは、好ましくはエリアセンサ、特にＣＣＤセンサ、ＣＭＯＳセンサ、または他のエリアセンサを含む。もし、カメラが光学システムを含んでいれば有利である。カメラは、間接的、または直接的にプロジェクタに結合されている。それは、対象物から放射されるパターンを撮影し得るように整列されている。リファレンスカメラは、間接的、または直接的にプロジェクタおよびカメラに結合されている。その位置および向きは、プロジェクタおよびカメラに対して固定されている。プロジェクタ、カメラ、およびリファレンスカメラは、対象物の３次元座標を決定する計測システムを構成する。

有利なさらなる改良は、従属請求項に述べられている。

有利なさらなる改良では、装置は、１つ以上のさらなるリファレンスカメラを含む。１つ以上のさらなるリファレンスカメラは、プロジェクタ、カメラ、および最初のリファレンスカメラに対して、その位置および向きが固定されている。それらは間接的に、または直接的に、プロジェクタ、および／またはカメラ、および／またはリファレンスカメラに結合されている。もし、さらなる１つまたは複数のリファレンスカメラの光軸方向が、カメラ、および／または（最初の）リファレンスカメラ、および／またはさらなるリファレンスカメラの光軸方向と異なっていれば、有利である。一般に、より多くのリファレンスカメラが用いられ、および／またはそれらの光軸がより異なり、注視方向が分散していれば、達成可能な精度は高い。特別な場合では、もし、リファレンスカメラの光軸が互いに垂直であれば、有利であり得る。例えば光軸が互いに垂直な３つのリファレンスカメラが実現され得る。しかし、他の実施例も、また、可能である。

リファレンスカメラは、カメラモジュールとして提供され得る。それらは、カメラモジュールに取り外し可能に、または取り外し不能に固定され得る。

さらに有利な改良では、装置は、プロジェクタ、および／またはカメラ、および／または１つ以上のリファレンスカメラの位置および／または向きを決定する評価装置を含む。評価装置は、コンピュータ、特にＰＣによって構成され得る。上記位置および／または向きの決定は、バンドルブロックアジャストメントによって行われ得る。

発明は、さらに、上述した対象物の３次元座標を決定する装置の１つと、この装置を位置決めする工業用ロボットとを含む、対象物の３次元座標を決定する装置に関する。

もし、装置が、リファレンスマークのフィールドを含めば、有利である。上記リファレンスマークは、１つ以上の壁面に取り付けられ得る。しかし、リファレンスマークを異なるように取り付けることも可能である。リファレンスマークが取り付けられる壁面は、対象物の計測室（measuring cell）を形成し得る。計測室は、閉じられ、または開かれ得る。

対象物の３次元座標を決定する方法においては、発明の目的は、対象物がリファレンスマークのフィールドの前に位置され、対象物が発明の装置により完全にまたは部分的に撮影され、１つ以上のリファレンスカメラによってリファレンスマークのフィールドの１つ以上のリファレンスマークが撮影されることによって達成される。

もし、対象物のさらなる部分が撮影されれば、有利である。対象物のいくつかの、または全ての部分は、好ましくはオーバラップする。

発明は、最後に、リファレンスマークのフィールドを計測する方法に関し、発明の装置が工業用ロボットによって複数の位置に位置決めされ、これらの位置で装置によって１つ以上のリファレンスマークが撮影され、これらの撮影画像からリファレンスマークの位置が決定される。これによって、位置および向きによりリファレンスマークの位置の決定が可能になる。

発明は、さらに、工業用ロボットを較正する方法に関する。この点に関しては、多軸の工業用ロボットが好ましい。

工業用ロボットを較正する改良された方法を提案することは発明の目的である。

この目的は、請求項１０の特徴による発明によって達成される。この方法に従えば、対象物の３次元座標を決定する発明の装置は、工業用ロボットによって複数のあらかじめ定義された位置に位置決めされる。これらの位置は、それらの位置および／または向きによってあらかじめ定義され得る。これらの位置では、リファレンスマークのフィールドの１つ以上または全てのリファレンスマークが装置によって撮影される。工業用ロボットの位置は、これらの撮影画像から決定される。工業用ロボットの位置は、それらの位置および／または向きによって決定され得る。あらかじめ定義され、決定された工業用ロボットの位置は、その工業用ロボットの最も離れたアームの位置であり得る。撮影画像から決定された工業用ロボットの位置は、あらかじめ定義された工業用ロボットの位置と比較される。この比較は、工業用ロボットのあらかじめ定義された位置からの実際の位置のずれの計測をもたらす。この計測は、補正値として、後に、あらかじめ定義される（predefined）位置とともに考慮される。異なるあらかじめ定義された位置のための複数の補正値から補正マトリクスを形成することも可能であり、上記補正マトリクスは、例えば補間に基づいて、それらの間の位置のための補正値ももたらす。補間は、異なる適した機能によってもたらされ得る。

発明の目的は、工業用ロボットの較正のための方法において、請求項１１の特徴によるさらなる提案によって達成される。この方法では、対象物にパターンを投影するプロジェクタ、および上記プロジェクタに結合され、対象物を撮影するカメラを用いて対象物の３次元座標を決定する装置は、工業用ロボットによって、あらかじめ定義された複数の位置に位置決めされる。その位置において、装置によりレファレンスボディが撮影される。上記リファレンスボディは、特に球体であり得る。上記撮影画像から工業用ロボットの位置が決定される。これらの位置は、あらかじめ定義された工業用ロボットの位置と比較される。対象物の３次元座標を決定するために発明の装置を用いることが可能である。この場合には、１つのリファレンスカメラ、または複数のリファレンスカメラは必要とされない。リファレンスは、工業用ロボットの較正のための上述の最初の方法の他の点においてなされる。

対象物の３次元座標を決定するための改良された方法を提案する目的のさらなる解決は、請求項１２によってもたらされる。この対象物の３次元座標を決定するための方法では、対象物にパターンを投影するプロジェクタ、および上記プロジェクタに結合され、対象物を撮影するカメラを用いて対象物の３次元座標を決定する装置は、発明の方法によって較正された工業用ロボットによって位置決めされる。対象物はその場所で、対象物の３次元座標を決定する装置によって撮影される。

この方法は、それぞれの撮影画像のグローバルレジストレーションのためにロボットの位置だけを用いることを可能にする。これは、１つのレファレンスカメラまたは複数のレファレンスカメラが十分な数のリファレンスマークを撮影可能なことが実行できない場合に特に有利である。これは、特に、対象物、例えば自動車のボディの内部空間内の３次元座標が決定されるべき場合であり得る。

発明の実施例は、以下に添付図を参照して詳細に説明される。

対象物の３次元座標を決定するための装置を図式的表現で示す。

図１に示される計測構成は、対象物１、すなわち自動車のドア（ボディシェルドア）の表面の３次元座標を決定するために用いられる。対象物１は、計測室３の後壁２の前に配置される。計測室３は、後壁２（hintern Wand）、左側壁４、および底壁５を含む。計測室３は、さらに、右側壁、奥壁（Rueckwand）、および上壁（不図示）を含んでいる。

固有的にコード化されたリファレンスマーク６、および固有的にはコード化されていないが互いに空間的に配置され、その空間的配置がコード化を含むようにされたリファレンスマーク２４が、計測室３の壁に配置されている。リファレンスマーク６，２４は、リファレンスマークのフィールド２５を形成している。固有的にコード化された各リファレンスマーク６は、変化のない非エンコーディングエレメントと、変化のあるエンコーディングエレメントとを含んでいる。非エンコーディングエレメントは、コード化されたリファレンスマーク６の中心に位置する円形７によって形成されている。エンコーディングエレメント８は、セグメントセクション８によって形成されている。図の表現に対比して、エンコーディングエレメント８は、各コード化されたリファレンスマーク６ごとに異なっている。各コード化されたリファレンスマーク６の明白な識別は、異なるエンコーディングエレメント８によって可能である。

フリンジ光投影システム９は、計測室３内に配置される。このフリンジ光投影システム９は、プロジェクタ１０と、カメラ１１とを含んでいる。パターン、特にフリンジ光パターンは、プロジェクタ１０によって、矢印１２によって示されるように対象物１に投影される。カメラ１１は、矢印１３によって示されるように、対象物１から、その空間的表面に従って戻り放射されるフリンジ光パターンを撮影する。プロジェクタ１０、およびカメラ１１は、リンケージ１４によって互いに結合されている。これらは、互いに相対的な位置および向きが固定されている。

カメラモジュール１５は、フリンジ光投影システム９に結合されている。このカメラモジュール１５は、第１のリファレンスカメラ１６、第２のリファレンスカメラ１７、および第３のリファレンスカメラ１８を含んでいる。光軸１９、したがって第１のリファレンスカメラ１６の注視方向は、計測室３の奥壁に向けられ、光軸２０、したがって第２のリファレンスカメラ１７の注視方向は、計測室３の右側壁に向けられ、光軸２１、したがって第３のリファレンスカメラ１８の注視方向は、計測室３の上壁に向けられている。計測室の右側壁、奥壁、および上壁には、同様にリファレンスマーク６，２４が設けられている。

カメラモジュール１５は、その位置および向きが、フリンジ光投影システム９に対して固定されている。それは、リンケージ２２を介して、フリンジ光投影システム９のリンケージ１４に結合されている。フリンジ光投影システム９、およびカメラモジュール１５は、計測システム２３を形成している。

最初の計測の実行では、計測室３のリファレンスマーク６，２４の位置が検出され、保存される。この計測の実行中には、好ましくは、対象物１は計測室３内に配置されない。リファレンスマーク６，２４の位置の決定は、好ましくは写真測量法によって行われる。この点で、リファレンスマーク６，２４の撮影画像は、異なるカメラ位置から撮影される。これは、カメラ１１によって行われる。しかし、フリンジ光投影システム９とは独立に、リファレンスマーク６，２４の写真測量法を行うことも可能である。双方の場合において、必須ではないが、工業用ロボットによってカメラを位置決めすることが可能である。

リファレンスマーク６，２４の位置の決定後、対象物の３次元座標が決定可能である。この目的のために、図に示されるように、対象物１が計測室３内に配置される。プロジェクタ１０は、フリンジ光パターンを対象物１の表面に投影し、カメラ１１は、反射されたフリンジ光パターンを撮影し、１つ以上または全てのリファレンスカメラ１６，１７，１８は、リファレンスマークのフィールド２５のリファレンスマーク６，２４を撮影する。

ただ１つのリファレンスカメラの使用においては、一般に、撮影画像中に少なくとも３つのエンコーディングの（encoding）リファレンスマーク６を検出することが必要である。３つのリファレンスカメラの使用においては、一般に、各リファレンスカメラが少なくとも１つのエンコーディングのリファレンスマーク６を検出することが必要である。

評価装置、特にコンピュータ、特にＰＣ（不図示）では、リファレンスカメラ１６，１７，１８では、撮影されたリファレンスマーク６，２４の１つまたは複数の撮影画像から、計測システム２３の位置および向きが検出される。これによって、カメラ１１の撮影画像から対象物１の３次元座標を決定することが可能である。

もし、対象物１がカメラ１１の視野よりも大きい場合には、対象物１の複数の撮影画像が撮影されなければならない。これらの撮影画像は、互いに部分的にオーバラップし得る。１つ以上のリファレンスカメラ１６，１７，１８によるリファレンスマーク６，２４の撮影によって、カメラ１１による対象物１の部分の個々の撮影画像に対して、対象物１の関連する部分表面の３次元座標を絶対座標として決定することが可能である。

装置は、さらに、計測システム２３、すなわちプロジェクタ１０、カメラ１１、およびリファレンスカメラ１６，１７，１８の位置および向きを決定するための評価装置を含んでいる。この評価装置も、また、コンピュータ、特にＰＣ（不図示）によって形成され得る。

計測システム２３は、工業用ロボット（不図示）によって位置決めされ得る。

対象物のグローバルレジストレーションのための方法および装置が発明によって提供される。ロボットシステムが動作し得る計測室には、リファレンスマークが設けられる。このリファレンスマークのフィールドは、一旦、写真測量法によって較正され得る。対象物の３次元座標を決定するための個々の計測撮影画像は、リファレンスマークの座標系に移動され得る。

異なる空間方向を向く１つ以上のリファレンスカメラ１６，１７，１８は、固定的、機械的にフリンジ光投影システム９に結合され、適切な較正によって共通の座標系に持ち込まれる。この較正は、それぞれリファレンスマークのサブセットを同時に、好ましくは毎回、計測するフリンジ光投影システム９、およびカメラモジュール１５によって行われ得る。フリンジ光投影システム９のプロジェクタ１０およびカメラ１１と同様に、写真測量法のバンドルブロックアジャストメントによって、カメラモジュール１５のリファレンスカメラ１６，１７，１８の外部のまたは相対的な配置（outer or relative orientations）が、伴に決定され得る。

対象物１の計測において、すなわち対象物１の３次元座標の決定において、フリンジ光投影システム９の位置および向きの正確な決定が、カメラモジュール１５、およびリファレンスマーク６，２４を通じて、好ましくは写真測量法のバンドルブロックアジャストメントのプロセスによって行われる。この情報の助けによって、対象物１の個々の計測撮影画像が共通の座標系に移動され得る。

さらに、計測室３内のリファレンスマークのフィールド２５の計測が可能である。これは、ロボットプログラム、および計測システム２３の助けによって行われ得る。この点に関して、最初の計測によって知られたリファレンスマーク６，２４の座標は、近似的な値として、バンドルブロックアジャストメントに送られる。

さらに、計測システム２３を工業用ロボットを較正するために用いることが可能である。リファレンスマーク６，２４の位置が検出され保存されると、リファレンスマークのフィールド２５の助けによって、および計測システム２３の助けによって、工業用ロボットの位置が非常に正確に検出され得る。しかし、また、工業用ロボットの異なる位置からのレファレンスボディ、例えば球体の計測の助けによって、工業用ロボットを計測することが可能である。

双方の場合において、必要とされるロボットの較正の情報が、レファレンス計測の変換と手動であらかじめ定義されたロボット座標系内の位置との比較からもたらされる。

１ 対象物
２ 後壁
３ 計測室
４ 左側壁
５ 底壁
６ リファレンスマーク
７ 円形
８ セグメントセクション
９ フリンジ光投影システム
１０ プロジェクタ
１１ カメラ
１２ 矢印
１３ 矢印
１４ リンケージ
１５ カメラモジュール
１６，１７，１８ リファレンスカメラ
１９ 光軸
２０ 光軸
２１ 光軸
２２ リンケージ
２３ 計測システム
２４ リファレンスマーク
２５ フィールド

Claims (12)

1. 対象物（１）の３次元座標を決定するための装置であって、
   対象物（１）にパターンを投影するプロジェクタ（１０）と、
   上記プロジェクタ（１０）に結合され、対象物（１）を撮影するカメラ（１１）と、
   上記プロジェクタ（１０）、およびカメラ（１１）に結合され、リファレンスマークのフィールド（２５）の１つ以上のリファレンスマーク（６，２４）を撮影するリファレンスカメラ（１６）と、
   を備えたことを特徴とする装置。
2. 請求項１の装置であって、
   １つ以上のさらなるリファレンスカメラ（１７，１８）を備えたことを特徴とする装置。
3. 請求項１および請求項２のうち何れか１項の装置であって、
   上記リファレンスカメラ（１６，１７，１８）がカメラモジュール１５に設けられていることを特徴とする装置。
4. 請求項１から請求項３のうち何れか１項の装置であって、
   プロジェクタ（１０）、および／またはカメラ（１１）、および／または１つ以上のリファレンスカメラ（１６，１７，１８）の位置および／または向きを決定する評価装置を備えたことを特徴とする装置。
5. 対象物の３次元座標を決定するための装置であって、
   請求項１から請求項４のうち何れか１項の装置と、
   上記装置を位置決めするための工業用ロボットと、
   を備えたことを特徴とする装置。
6. 請求項１から請求項５のうち何れか１項の装置であって、
   リファレンスマークのフィールド（２５）を備えたことを特徴とする装置。
7. 対象物（１）の３次元座標を決定するための方法であって、
   対象物（１）がリファレンスマーク（６，２４）のフィールドの前に位置され、
   請求項１から請求項５のうち何れか１項の装置を用いて、対象物（１）が完全に、または部分的に撮影され、
   リファレンスマークのフィールド（２５）の１つ以上のリファレンスマーク（６，２４）が、１つ以上のリファレンスカメラ（１６，１７，１８）によって撮影されることを特徴とする方法。
8. 請求項７の方法であって、
   請求項１から請求項５のうち何れか１項の装置を用いて、対象物（１）のさらなる部分が撮影されることを特徴とする方法。
9. リファレンスマーク（６，２４）のフィールドを計測する方法であって、
   請求項１から請求項４のうち何れか１項の装置が、工業用ロボットによって複数の位置に位置決めされ、
   これらの位置で、上記装置によって、１つ以上、または全てのリファレンスマーク（６，２４）が撮影され、
   これらの撮影画像から、上記リファレンスマーク（６，２４）の位置が決定されることを特徴とする方法。
10. 工業用ロボットを較正する方法であって、
    請求項１から請求項４のうち何れか１項の装置が、工業用ロボットによって、あらかじめ定義された複数の位置に位置決めされ、
    これらの位置で、上記装置によって、リファレンスマークのフィールド（２５）の１つ以上、または全てのリファレンスマーク（６，２４）が撮影され、
    上記工業用ロボットの位置が、これらの撮影画像から決定され、あらかじめ定義された位置と比較される
    ことを特徴とする方法。
11. 工業用ロボットを較正する方法であって、
    対象物（１）にパターンを投影するプロジェクタ（１０）、および上記プロジェクタ（１０）に結合され、対象物（１）を撮影するカメラ（１１）を含み、対象物（１）の３次元座標を決定するための装置が、工業用ロボットによって、あらかじめ定義された複数の位置に位置決めされ、
    これらの位置で、上記装置によって、リファレンスボディが撮影され、
    上記工業用ロボットの位置が、これらの撮影画像から決定され、あらかじめ定義された位置と比較される
    ことを特徴とする方法。
12. 対象物（１）の３次元座標を決定するための方法であって、
    対象物（１）にパターンを投影するプロジェクタ（１０）、および上記プロジェクタ（１０）に結合され、対象物（１）を撮影するカメラ（１１）を含み、対象物（１）の３次元座標を決定するための装置が、請求項１０および請求項１１のうち何れか１項の方法によって較正された工業用ロボットによって位置決めされ、上記装置によって、対象物（１）が撮影されることを特徴とする方法。

Images