JP2014527630A - 測定補助器具の空間的な姿勢を決定するための測定装置 - Google Patents

測定補助器具の空間的な姿勢を決定するための測定装置 Download PDF

Info

Publication number
JP2014527630A
JP2014527630A JP2014525388A JP2014525388A JP2014527630A JP 2014527630 A JP2014527630 A JP 2014527630A JP 2014525388 A JP2014525388 A JP 2014525388A JP 2014525388 A JP2014525388 A JP 2014525388A JP 2014527630 A JP2014527630 A JP 2014527630A
Authority
JP
Japan
Prior art keywords
latest
image
auxiliary point
pixels
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014525388A
Other languages
English (en)
Inventor
クヴィアトコヴスキ トマシュ
クヴィアトコヴスキ トマシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Geosystems AG
Original Assignee
Leica Geosystems AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems AG filed Critical Leica Geosystems AG
Publication of JP2014527630A publication Critical patent/JP2014527630A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00Measuring angles
    • G01C1/02Theodolites
    • G01C1/04Theodolites combined with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本発明は、複数の補助点マーキングを相互に相対的な固定の既知の空間的な分布で有している測定補助器具の空間的な姿勢を継続的に決定するための姿勢決定方法に関する。姿勢決定方法の枠内では、補助点マーキングのカメラ画像の継続的な検出が、複数のピクセルを有しているエリアセンサを備えているカメラを用いて行われ、また、ピクセルがその都度の最新の露光値に関して読み出される読み出しプロセスが継続的に実行される。更に、その都度の最新のカメラ画像において結像された補助点マーキングの画像ポジションが決定され、その画像ポジションに基づき、測定補助器具のその都度の最新の空間的な姿勢が導出される。本発明によれば、その都度の最新の関心領域がエリアセンサにおいて、先行して検出された少なくとも一つのカメラ画像において決定された画像ポジションの集合に依存して継続的にセットされる。最新の画像ポジションの決定は、エリアセンサに設定された最新の関心領域内に位置するピクセルに含まれている最新の露光値のみを最大限に考慮して行われる。

Description

本発明は、請求項1及び請求項8の上位概念に記載されている、特にレーザトラッカを用いる、測定補助器具の空間的な姿勢を継続的に決定するための方法、請求項5及び10の上位概念に記載されている相応の測定装置、並びに、請求項15に記載されているコンピュータプログラム製品に関する。
目標点の継続的な追跡及びその点の座標に関するポジション決定のために構成されている測定装置を、一般的に、レーザトラッカという概念の下に統合することができる。その場合、測定装置の光学的な測定ビーム、特にレーザビームによって照準合わせされる逆反射ユニット(例えば立方体プリズム)によって目標点を表すことができる。レーザビームは平行に再び測定装置に向かって反射され、反射されたビームは測定装置の検出ユニットによって検出される。その際に、一方ではビームの放射方向又は受信方向が、例えば、システムの偏向ミラー又は照準合わせユニットに対応付けられている角度測定用センサによって求められる。更にはビームの検出と共に、測定装置から目標点までの距離が、例えば伝播時間測定又は位相差測定によって求められ、また現在のシステムにおいて一層標準化されているように、受信したビームの、ゼロポジションからのずれがセンサにおいて求められる。そのようにして測定可能なそのずれでもって、レトロリフレクタの中心とそのレトロリフレクタにおけるレーザビームの入射点とのポジションの差を決定することができ、またレーザビームの配向をその偏差に応じて、センサにおけるずれが低減され、特に「ゼロ」となるように、従ってビームが反射器の中心の方向に配向されるように修正することができるか、又は追従させることができる。レーザビームの配向の追従によって、目標点の継続的な目標追跡(トラッキング)を行うことができ、目標点の距離及びポジションを継続的に測定装置に相対的に決定することができる。その際に、レーザビームを偏向させるために設けられている、機械式に移動可能な偏向ミラーの配向変化でもって、及び/又は、ビームを案内するレーザ光学系を有している照準合わせユニットの旋回によって、追従を実現することができる。
従来技術によるレーザトラッカを付加的に、二次元の受光アレイ、例えばCCDカメラ又はCIDカメラ又はCMOSアレイを基礎とするカメラを備えている光学的な画像検出ユニット、若しくは、ピクセルアレイセンサ及び画像処理ユニットと共に実施することができる。その場合、レーザトラッカ及びカメラは、それらのポジションが相互に相対的に変化しないように上下に重なって取り付けられている。カメラは例えばレーザトラッカと共に、その実質的に垂直方向の軸を中心にして回動可能であるが、しかしながら、レーザトラッカに依存せずに上方及び下方に旋回可能であり、従って特にレーザビームの光学系から離隔されて配置されている。特に、カメラは魚眼レンズを有することができ、従って、カメラの非常に大きい画像検出領域に基づきカメラの旋回を回避することができるか、又は、カメラの旋回は少なくとも制限的にしか必要とされない。更には、例えば各用途に応じて、カメラを一つの軸についてのみ旋回可能であるように実施することができる。択一的な実施の形態においては、カメラが集積された構造様式で、レーザ光学系と共に共通の一つのケーシング内に組み込まれている。
相互に既知の相対的な姿勢を有している複数のマーキングを備えている、いわゆる測定補助器具の画像検出ユニット及び画像処理ユニットを用いる画像の検出及び評価によって、測定補助器具に配置されている対象物(例えばプローブ)の空間内の配向を推量することができる。目標点の所定の空間的なポジションと共に、更には、レーザトラッカに絶対的及び/又は相対的である、空間内の対象物のポジション及び配向を決定することができる。
従って、上述の測定装置を用いてポジション及び配向が測定される対象物は、例えば測定プローブ自体である必要はなく、測定補助器具であっても良い。この対象物は測定システムの一部として、測定のために、目標対象物に相対的に機械的に規定されたポジション、又は測定中に決定可能なポジションへと運ばれ、その際に、その測定されたポジション及び配向を介して例えば測定プローブのポジション、また必要に応じて配向を推量することができる。
その種の測定補助器具をいわゆる接触式ツールによって実現することができ、この接触式ツールはその接触点を用いて、目標対象部の一点に位置決めされる。接触式ツールはマーキング、例えば光点並びに反射器を有している。反射器は接触式ツールにおける目標点を表し、またトラッカのレーザビームによって照準が合わせられる。マーキング及び反射器のポジションは接触式ツールの接触点に相対的に正確に既知である。測定補助器具は当業者には公知のように、非接触式の表面測定用の、例えば距離測定のために実施されている手持式のスキャナで良く、その場合、スキャナに配置されている反射器及び光点に相対的な、距離測定のために使用されるスキャナ測定ビームの方向及びポジションは正確に既知である。その種のスキャナは例えばEP 0 553 266に記載されている。
測定補助器具の配向を決定するために、カメラの検出方向は、レーザトラッカのトラッキングビームの方向において画像を検出できるように継続的に調整される。カメラは更にズーム機能を有しており、レーザトラッカと目標点又は測定補助器具との間の所定の距離に依存してズームレベルを調整することができる。従って、それら二つの適合機能(配向及びズーム)でもって、カメラは、測定補助器具、また特に測定補助器具の光点が結像されている画像を継続的に検出することができる。これによって、光点の空間的な配置構成の、電子的に評価可能な二次元の画像が生じる。
画像を評価するために画像処理ユニットが設けられている。この画像処理ユニットを用いることによって、結像された光点の同定、結像された光点の重心の決定、並びに、その重心の画像座標の決定を行うことができ、それらから例えば、センサ、特に検出装置の光学軸と、センサから各光点への方向とが成す空間角度を算出することができる。
光点及び反射器が配置されている、空間内の対象物のポジション及び配向を決定するためのレーザトラッカ及び画像検出ユニットを備えているその種の測定装置は、例えばUS 5,973,788に開示されている。
その種の測定装置が使用される場合、ポジション及び配向を決定すべき対象物には、その対象物に相対的な既知のポジションにおいて、例えば画像検出ユニットによって記録可能な少なくとも三つの光点、また例えばレーザトラッカの測定ビームを反射させる反射器を配置することができる。画像検出ユニットによって記録すべき光点として、能動的な光源(例えば発光ダイオード)、又は、露光すべき反射器が考えられ、更には、光点を相互に一義的に区別することができるように複数の光点を構成又は配置することができる。択一的に(必要とされる精度に応じて)、光点を有するその種の測定補助器具のポジション及び配向を、カメラ画像と、画像内で記録された光点の画像ポジションの評価とにのみ基づき、即ち、(伝播時間測定又は位相測定による)距離測定の付加的な支援を必要とせずに決定することも公知であり、これは例えば刊行物EP 2 008 120 B1及びEP 2 010 941 B1に開示されている。
一般的に、このシステムの最大限に達成可能な動作速度は、トラッカ又はカメラの構造的な特徴の他に、実質的に画像分析の処理速度によっても決定されている。画像分析の実行速度、従って画像内の光点ポジションの決定の実行速度は、実質的に、画像処理の効率によって、また所定の期間内に処理可能なデータ量によって制限される。
従って、画像データ処理の速度は、従来技術によるカメラを用いるレーザトラッカが有している主たるボトルネックを表す。画像データはピクセル毎に読み出され、各ピクセルに対して輝度値及び色値が検出される。所定の閾値を上回る各ピクセルは、画像内で検出された光点に対してそれぞれの画像重心を算出する際に考慮される。従来のシステムにおいては、画像内の光点の検出が画像センサ(例えばCMOS)の全ピクセルが読み出された後に、又は、少なくとも、結像されたビームスポット/光点に属する全てのピクセルが読み出された後に開始され、また、例えばその都度検出されるカメラ画像が全体として処理されるか、又は、画像の関連性のある部分が全体として処理される。更に、このシステムにおいては一般的に、センサの全てのピクセルが各露光状態に関して検査される。閾値を上回る読み出し信号を有しており、従って測定補助手段の同一の光点によって露光される複数のピクセルの各集合について重心が算術的に求められ、その場合、画像内の重心のポジションが各光点のポジションを表している。通常時には、エリアセンサ全体が読み出された後に漸く光点の重心の検出が開始され、その評価が比較的長い計算時間を要し、従って、時間的に多くの手間も掛かることによって、画像の検出から、その画像の評価の結果が取得されるまでの煩わしい待ち時間が存在し、このことは、画像の継続的な記録に関して最大限に達成可能な繰り返し率、またそれに基づく、測定補助器具の姿勢の継続的な検出並びにカメラの配向の追従にも関する。このことは、(測定補助器具としての)接触式ツールの配向の決定及び追跡にも大きく影響を及ぼし、特に、継続的なポジション決定及び配向決定に関して大きく影響を及ぼす。結果として、空間的な光点の配置構成の評価のこの遅延によって、例えば、接触式ツールの接触点の正確な姿勢を決定する際にエラーが生じる可能性がある。
従って、本発明の一般的な課題は、測定補助器具の空間的な配向の決定を改善してより高速且つより信頼性の高いものにするための測定装置及び測定方法を提供することである。
本発明の特別な課題は、エリアセンサを用いる画像検出、エリアセンサからの画像情報の読み出し、及び、測定補助器具の検出されたマーキングの画像ポジションの決定の枠内において、エリアセンサを用いて検出される画像のより高速で改善された画像評価方法を提供することである。
これらの課題は、独立請求項の特徴部分に記載されている構成を実現することによって解決される。本発明を代替的に又は有利に発展させる特徴は従属請求項に記載されている。
本発明は、少なくとも一つの補助点マーキングを有している測定補助器具の空間的な姿勢を継続的に決定するための、特にレーザトラッカを用いる姿勢決定方法に関し、特に、測定補助器具は複数の補助点マーキングを相互に相対的な固定の既知の空間的な分布で有している。本方法の枠内では、少なくとも一つの補助点マーキングのカメラ画像の継続的な検出が、複数のピクセルを有しているエリアセンサを備えているカメラを用いて行われ、また、その都度の最新の露光値に関するピクセルの内の少なくとも幾つかのピクセルが読み出される読み出しプロセスが継続的に実施される。更に、結像された少なくとも一つの補助点マーキングに関する少なくとも一つの画像ポジションが、その都度の最新の読み出しプロセスの枠内で得られる露光値に依存して継続的に決定され、更には、測定補助器具のその都度の最新の空間的な姿勢が少なくとも一つの最新の画像ポジションに基づいて、特に、補助点マーキングの相互に相対的な固定の既知の空間的な分布に基づいて導出される。
本発明によれば、先行して検出された少なくとも一つのカメラ画像における、少なくとも一つの所定の画像ポジションの集合に依存して、エリアセンサにおいてその都度の最新の少なくとも一つの関心領域が設定される。少なくとも一つの関心領域は、エリアセンサの全てのピクセルから、関連する隣接ピクセルのそれぞれ一つの限定的なサブセットを規定する。少なくとも一つの最新の画像ポジションの決定は、エリアセンサに設定された少なくとも一つの最新の関心領域内に位置するピクセルに含まれている最新の露光値のみを最大限に考慮して行われる。
例えば、補助点マーキングとして、光点(即ち光自体、例えばスペクトル領域又は赤外線領域において放射された点)、反射性の(特に逆反射性の)対象物、例えば反射フィルム点又は小型のキャッツアイが考えられるが、測定補助器具に配置されている、単に事前に規定されたパターンも補助点マーキングに該当すると考えられる。当業者には公知であるように、補助点マーキングは基本的に、それらの補助点マーキングが記録された画像において画像処理によって確実に同定でき、且つ、画像内のポジションに関して一義的に評価することができるように構成されなければならない。
従って本発明との関係において、画像ポジションとは一般的には、相応の補助マーキングが結像されている、記録された画像内のポジションであると解される。つまり画像ポジションは、画像内で検出及び識別された補助点マーキングのポジションを表す。
関心領域はセンサ上の所定の範囲領域を表し、その範囲領域内において、画像検出の際に露光されるピクセルが各画像ポジションの評価及び決定のために考慮される。即ち、本発明によれば、それらの関連する範囲領域においてのみ、そこで結像された補助点マーキングが考慮される。各関心領域のポジション、形状及び大きさをその都度別個に、測定条件に適合させることができ、例えば期待される検出すべき補助点マーキングのポジション、形状及び大きさに適合させることができる。
特に、本発明は、複数の補助点マーキングを相互に相対的な固定の既知の空間的な分布で有している測定補助器具を継続的に検出するための相応の姿勢決定方法に関し、従って、継続的な検出の際に、複数の補助点マーキングがその都度結像され、続いて、カメラ画像における複数の画像ポジション(即ち各補助点マーキングに対してそれぞれ一つの画像ポジション)が決定される。測定補助器具の空間的な姿勢は、その都度決定された最新の画像ポジションに基づいて、また、補助点マーキングの相互に相対的な固定の既知の空間的な分布に基づいて導出される。本発明によれば、その都度の最新の関心領域がエリアセンサにおいて、先行して検出された少なくとも一つのカメラ画像において決定された画像ポジションの集合に依存して継続的にセットされる。
複数の補助点マーキングを検出する際には、一つの関心領域がその関心領域に結像されるべき複数の補助点マーキングのために設定されるか、又は、各補助点マーキングに対してそれぞれ一つの関心領域が設定されるように、関心領域を形成及び設定することができる。
その種の方法を特に工業的な測定に使用することができる。従って、測定補助器具の空間的な姿勢を決定するために、カメラのエリアセンサを用いて画像が継続的に検出され、相応にエリアセンサのピクセルが読み出される。本発明との関係において、測定補助器具の空間的な姿勢を、一方では空間内の測定補助器具のポジションによって表すことができ、他方では、特に測定補助器具の空間的な配向又は方向を考慮することによって表すことができる。
ピクセルを行毎にシーケンシャルに読み出すことができ(つまり例えば、一つの行においてピクセル毎に読み出しを行うことができ、これを行毎に行うことができ)、それらのピクセルがそれぞれその最新の露光状態に関して分析される。画像内で結像された補助点マーキング、特に複数の補助点マーキングをセンサにおいてその露光状態によって識別することができ、従って、各補助点マーキングについての画像ポジションを決定することができる。この情報から、例えば測定補助器具における補助点マーキングの既知の相対的な配置構成及び姿勢を考慮して、測定補助器具の最新の空間的な姿勢を導出することができる。本発明によれば、エリアセンサにおいて、所定数の関連するピクセルを有する少なくとも一つの関心領域、特に複数の関心領域が定義され、画像内のマーキングのポジション(画像ポジション)の決定が最大限、関心領域内に位置するピクセルに基づき行われる。センサにおける関心領域のそれぞれの姿勢の決定は少なくとも、先行して記録された少なくとも一つの画像において求められた画像ポジションに基づき行われる。即ち、測定補助器具の(直前に取っていた)姿勢に関する既存の(且つ記憶されている)情報を使用することによって行われる。
カメラを用いる画像の継続的な検出とは、例えば測定補助器具の期待される動力学にも依存して、測定補助器具(又は補助点マーキング)の継続的なトラッキングを画像分析によって行うことができるような周波数でもって複数の画像が検出され、特に評価されることと解される。周波数は、例えば測定補助器具を操作するユーザ又はロボットアームによって生じる、大抵の場合は動的に移動する測定補助器具の僅かなポジション変化及び/又は配向変化も既に確実に検出され、またそれによって生じる測定補助器具の姿勢変化を正確に決定できるように選択される。このために、例えば、少なくとも1Hz、特に10〜100Hz又は100Hz以上のレートで画像を検出することができ、またその都度姿勢決定を行うことができる。
この姿勢決定法の利点は、結像されたマーキングのポジションを評価及び決定するためにセンサピクセルの一部は考慮されず、従って、処理すべきデータ量が低減されていることに基づき、達成可能な評価速度を向上させることができる。評価のために考慮する必要がない領域の大きさの規定に応じて、上述の割合を関心領域に比べて著しく大きくすることができ、従ってデータを著しく低減することができる。
特にこのデータの低減を、本発明によれば、その都度の最新の関心領域内に位置するピクセルのみがその都度読み出されるように、その都度の最新の読み出しプロセスが実施されることによって既に達成することができる。
この場合、読み出しプロセスの実行の際に消費される時間が既に短く、またその際に生じるデータ量がセンサの全てのピクセルを読み出す場合に比べて最初から少なくなっていることによって、全体のプロセス時間は既に短縮される。
即ち、方法全体を継続的に実施するための繰り返し率(特に、各読み出しプロセスを実行するための繰り返し率、従って最終的には測定補助器具の姿勢を求めるための繰り返し率)をこれによって上昇させることができる。繰り返し率が上昇することによって、副次効果として、関心領域を設定する際の不確実性も大幅に低下させることができ、それによって、少なくとも一つの関心領域の再定義が高速に行われ、従って、測定補助器具の移動時には関心領域の設定を、補助点マーキングの各ポジション変化(又は比較的最近の既知の姿勢状態)に高速に適合させることができる。つまり換言すれば、関心領域を設定する際の不確実性を既に低減することができ、従って、高い繰り返し率において、比較的小さい関心領域、従って処理すべきデータ量が低減されている関心領域を設定することができる。処理すべきデータ量が比較的少ないことによって、やはり繰り返し率を更に高めることができる(再帰的方法)。
本発明の一つの発展形態によれば、関心領域を設定するために、最新の画像ポジションに関する複数の期待値を求めることができ、それらの期待値を例えば、先行して検出された(特に先行して連続的に検出された)カメラ画像の集合から決定された画像ポジションから導出することができる。特に、先行して検出された複数のカメラ画像において決定された各画像ポジションを、カルマンフィルタの入力のために使用することができ、そのようなカルマンフィルタによって、補助点マーキングの最新の(次の)画像ポジションに関する期待値が求められる。先行して記録された画像をそのように使用することによって、また画像ポジションに関して画像を評価することによって、例えば、検出されたマーキングに関する画像シーケンスから、画像におけるマーキングの移動を計算することができ、従って、記録されるべき最新の画像に関してマーキングの最新のポジションを予見(予測)することができる。画像において期待すべき最新のポジションのそのような評価は、前述のように、有利にはカルマンフィルタを用いて行うことができる。このフィルタには複数の画像情報、例えば、検出されたマーキングの姿勢、数及び大きさが供給され、また算術的なモデルを用いて画像ポジションに関する期待値の算出が実施される。つまり、センサに結像された全ての補助点マーキングが期待通りに関心領域内に位置するように、関心領域をセンサにおいて正確に設定することができるか、又は、(裏を返せば)例えば各関心領域を中心にして、算術的に期待される最新の画像ポジションを配置又は設定することができる。
更に本発明は、少なくとも一つの補助点マーキングを有している測定補助器具の空間的な姿勢を継続的に決定するための測定機器、特にレーザトラッカに関し、測定補助器具は複数の補助点マーキングを相互に相対的な固定の既知の空間的な分布で有している。測定装置は、少なくとも一つの補助点マーキングの複数のカメラ画像を継続的に検出するための、複数のピクセルを有するエリアセンサを備えているカメラと、評価及び制御ユニットとを有している。この場合、評価及び制御ユニットは、その都度の最新の露光値に関してピクセルの内の少なくとも幾つかのピクセルが読み出される、継続的に実行可能な読み出しプロセスを制御するため、その都度の最新の読み出しプロセスの枠内で得られた露光値に依存して、その都度の最新のカメラ画像における結像された少なくとも一つの補助点マーキングに関する少なくとも一つの画像ポジションを継続的に決定するため、また、少なくとも一つの最新の画像ポジションに基づき、特に複数の補助点マーキングの相互に相対的な固定の既知の空間的な分布に基づき、測定補助器具のその都度の最新の空間的な姿勢を継続的に導出するために構成されている。
更に、評価及び制御ユニットは、先行して検出された少なくとも一つのカメラ画像において決定された少なくとも一つの画像ポジションの集合に依存して、エリアセンサにおける少なくとも一つの最新の関心領域を継続的に設定するために構成されており、この場合、少なくとも一つの関心領域はそれぞれ、エリアセンサの全てのピクセルの中から関連する隣接ピクセルの限定的なサブセットを規定する。更に、評価及び制御ユニットは、少なくとも一つのその都度の最新の画像ポジションの決定に関して、設定された少なくとも一つの最新の関心領域内に位置するエリアセンサのピクセルに含まれている最新の露光値のみを最大限に考慮するために構成されている。
その種の本発明による測定装置でもって、空間的な姿勢、特に位置情報(例えば補助点マーキング又は測定補助器具に対する空間角度)、及び/又は、測定補助器具の配向、例えば接触センサを備えている接触式ツールの配向を非常に高速に求めることができる。その種の測定装置は、対応する測定補助器具と共に、特に工業的な測定において構成部材を測定するために、又は製造プロセス、例えば個々の製造ステップ間における品質管理のために使用される。このために、評価及び制御ユニットを用いて、エリアセンサにおける関心領域を、事前に検出された画像情報に依存して、その関心領域内のピクセルの数が、補助点マーキングの画像ポジションの決定に使用されるように定義することができる。これによって、そのようにして定義された関心領域内に位置するピクセルだけに基づいて画像ポジションを決定することができ、従ってセンサデータの一部を考慮しなくても良くなる。これによって、処理すべきデータが低減され、それと共に、データ評価及びポジション決定がより高速になる。この場合、測定補助器具の配向を、画像内の複数の補助点マーキング、特に少なくとも3個、とりわけ5個から8個のマーキングの決定されたポジションを用いて、測定補助器具における補助点マーキングの固定の既知の空間的な分布を考慮して導出することができる。
特に本発明によれば、評価及び制御ユニットは、その都度の最新の関心領域内に位置するピクセルだけがその都度読み出されるように、読み出しプロセスを制御するために構成することができる。関心領域内の全てのピクセルを交番的に考慮することによって、例えば、画像ポジションの決定に関する所定の精度を達成することができる。
更に、本発明によれば、評価及び制御ユニットによって関心領域を設定するために、先行して連続的に検出された複数のカメラ画像において決定された画像ポジションの集合から、特にカルマンフィルタに基づき、最新の画像ポジションに関する期待値をその都度求めることができる。その場合、例えば、画像の集合から画像ポジションの位置変化を追跡することができ、その位置変化の経過から期待される最新のポジションを導出することができ、また、検出すべきマーキングがその領域内に形成されるようにエリアセンサにおいて関心領域を定義することができる。そのようにしてモデルを用いるような算出を例えばカルマンフィルタによって行うことができる。
更に、測定装置は本発明によれば、柱脚と、その柱脚に対するカメラの配向を機械的に変化させるための調整手段と、カメラのその都度の最新の配向を継続的に検出するための角度測定手段とを有することができる。評価及び制御ユニットは、カメラの配向の変化を継続的に制御するために、カメラが継続的に測定補助器具へと配向されるように構成することができる。従って、測定装置のこの構成によって、継続的に、測定補助器具の方向において画像を検出することができ、また、少なくとも一つの画像ポジションの決定、それに続く測定補助器具の空間的な位置の決定を行うことができる。これに関して、そのような配向のために、例えば測定補助器具における反射器に照準合わせされているレーザトラッカとの情報交換を追跡することができ、またレーザトラッカの位置を空間内で決定することができ、カメラの配向をトラッカ配向に依存して調整することができる。
更に本発明によれば、カメラは可変の焦点距離を備えた光学系を有することができる。焦点距離(従ってカメラの結像比率)は、測定補助器具が距離に依存せずに実質的に一定の範囲でエリアセンサに結像されるように、評価及び制御ユニットによって自動的に制御されて継続的に変更される。焦点距離を調整するために、ここでもまた、レーザトラッカによって求められた、トラッカ又はカメラ(カメラがトラッカに配置されているか、又はトラッカに対して既知の相対的な位置を有している場合)までの距離が使用され、測定補助器具がエリアセンサにおいて所定の範囲を取るように倍率が調整される。焦点距離を例えば、モータにより自動的に調整することができる。特に、カメラは単焦点レンズ又はズームレンズを有することができ、ズームレンズとして構成されている場合には、ズーム光学系群をフォーカス光学系群に合わせてずらすことができ、従って時間的に平行して焦点幅を適合させることができ、また相応に焦点合わせを適合させることができる。
特に、本発明によれば測定装置をレーザトラッカとして構成することができ、更には、測定補助器具に設けられているレトロリフレクタまでの距離を測定するための、照準線の方向において測定される、少なくとも一つの光学的な距離測定装置を有することができる。更に、測定装置は柱脚に対する照準線の配向を機械的に変化させるための調整手段と、照準線のその都度の最新の配向を継続的に検出するための角度測定手段と、照準線を用いて測定補助器具のレトロリフレクタを追跡し、それによりその照準線を継続的にレトロリフレクタへと配向させるための測定及び制御回路とを有している。
本発明の範囲におけるレトロリフレクタを、例えば、プリズム又は反射性フィルムによって実現することができ、その場合には、プリズム又はフィルムに入射する放射は平行な方向又は同軸方向で逆方向に反射される。
独立して考察することができるか、又は上述の本発明に依存して考察することができる本発明の別の態様は、少なくとも一つの補助点マーキングを有している測定補助器具の空間的な姿勢を継続的に決定するための、特にレーザトラッカを用いる、同一の上位概念の姿勢決定方法に関し、特に測定補助器具は複数の補助点マーキングを相互に相対的な固定の既知の空間的な分布で有している。姿勢決定方法の枠内では、少なくとも一つの補助点マーキングのカメラ画像の継続的な検出が、複数のピクセルを有しているエリアセンサを備えているカメラを用いて行われ、また、ピクセルの内の少なくとも幾つかのピクセルがその都度の最新の露光値に関して読み出される読み出しプロセスが継続的に実行される。更に、結像された少なくとも一つの補助点マーキングに関する少なくとも一つの画像ポジションが、その都度の最新の読み出しプロセスの枠内で得られる露光値に依存して継続的に決定され、また、測定補助器具のその都度の最新の空間的な姿勢が少なくとも一つの最新の画像ポジションに基づいて、特に、相互に相対的な複数の補助点マーキングの固定の既知の空間的な分布に基づいて継続的に導出される。
更に、本発明の第2の態様によれば、少なくとも一つの画像ポジションの決定が以下のステップによって行われる:
−読み出しの際に得られた露光値が閾値判定基準を満たしているピクセル、特に閾値を上回っているピクセルをフィルタリングするステップ、
−フィルタリングされた、エリアセンサの一つの行における密着した行領域を形成する各ピクセルをピクセルスライスへと統合するステップ、
−各ピクセルスライスに関して各重心配分(部分重心)を求めるステップ、
−結像された少なくとも一つの補助点マーキングに属する各ピクセルスライスが相互に対応付けられるようにピクセルスライスをグループ分けするステップ、
−少なくとも一つの補助点マーキングの少なくとも一つの画像ポジションを、相互に対応付けられている各ピクセルスライスの対応する各重心配分に基づき導出するステップ。
特に本発明によれば、読み出しプロセスの枠内で、エリアセンサがピクセル毎且つ行毎に所定のピクセル読み出しレートで読み出され、遅くとも各行の読み出しが完了した直後に、既にそれらの各行に関して、少なくとも一つの画像ポジションの決定の枠内で、特に複数の画像ポジションの決定の枠内で行われた、フィルタリングのステップ、統合のステップ、及び、各重心を求めるステップを開始及び実行することができる。
特に、本発明によれば、フィルタリングのステップ、ピクセルスライスへの統合のステップ及び重心配分(部分重心)を求めるステップが、特にピクセル読み出しレートに相当する比較的高い第1のレートでクロック制御され、またグループ分けのステップ及び画像ポジションの決定のステップは比較的低い第2のレートでクロック制御される。
換言すれば、その種の構成によって、露光判定基準を満たし且つ密着した行領域を形成するピクセルが、例えば一つの行内で相互に隣り合うように位置することができ、その際、密着した行領域における個々のピクセルエラー個所に起因するピクセル間の隙間が存在する可能性があるが、その場合には、隙間が即座にピクセルスライス又は行ピースへと統合され(特に、センサの後続の行の読み出し前又は読み出し中に既に統合され)、各行部分につき一つの重心配分が算出される。そのようにして決定されたスライス及び重心配分は、一つの補助点マーキングに属するピクセルスライスが一つのグループを形成するようにグループ分けされる。続いて、例えばそれらのピクセルスライス全体についての重心を算出することによって、そのグループから画像内の補助点マーキングのポジションを導出することができる。
この方法の利点は、早期の評価ステップ、即ち、ピクセルスライスの決定及び各ピクセルスライスに対する重心配分の算出が、補助点マーキングに属する全ての画像情報に依存せずに行うことができることである。従って、画像ポジションを最終的に決定するために後に更に利用できる部分情報の部分評価及び決定を開始するために、補助点マーキングの相応の画像情報を含む全ての行を読み出す必要はない。即ち、補助点マーキングの画像ポジションに関する部分情報を形成するために既に評価を開始することができ、従って、最終的な評価の枠内で更なる処理を行うために低減されたデータ量を引き渡すことができる。行ピース及び重心配分のこの決定を(比較的短い計算時間で)非常に高速に行うことができる。後に更に処理すべきデータ量が引き渡し後には実質的に低減されているので、補助点マーキングの画像ポジションのグループ分け及び最終的な決定を、部分評価によって既に存在する部分情報を利用して迅速に行うことができ、また、更に処理を行うことができる比較的短い残りの計算時間で、補助点マーキングが結像されている後続の行の読み出しの完了後即座に行うことができる。
従って本発明によれば、センサに結像された補助点マーキングの画像ポジションの決定の結果は、その補助点マーキングによって少なくとも一つのピクセルが更に露光される最後の(一番下の)行の読み出しの完了後により迅速に存在していると考えられる。何故ならば、その画像ポジションの決定のために必要とされる計算の大部分を、相応の補助点マーキングスポットによって検出されている行の行毎に行われる読み出しの間に既に処理することができるからである。
本発明による測定装置の別の実施の形態は、独立請求項に同様に記載されているか、又は、上記において、本発明による姿勢決定方法の発展形態として同様に説明されており、特に、この姿勢決定方法の個々のステップを、本発明による測定装置による相応に事前にプログラミングされたFPGA又はASICによって自動的に実行することができる。
FPGA(Field Programmable Gate Array)及びASIC(Application-Specific Integrated Circuit)は、集積回路として構成されている、事前にプログラミング可能な電子モジュールである。当業者には公知であるように、それらの専用のプログラミングによって、画像ポジションの上述の決定のようなプロセスを高速且つ効果的に実行することができる。
更に本発明は、本発明による測定装置と、少なくとも一つの補助点マーキング、特に光点を有する測定補助器具とから成る測定システムに関し、特に、測定補助器具は複数の補助点マーキングを相互に相対的な固定の既知の空間的な分布で有しており、また特に、測定補助器具は少なくとも一つの補助点マーキングの他にレトロリフレクタを有している。
本発明の別の対象は、本発明による姿勢決定方法を制御又は実行するため、又は、特にプログラムがFPGA又はASICにおいて実行されるときに、第2の本発明による態様による本発明による姿勢決定方法の、少なくとも一つの画像ポジションの決定の枠内で行われる下記のステップを実行するための、機械読み出し可能な担体に記憶されているプログラムコードを有しているコンピュータプログラム製品に関する:
−ピクセルをフィルタリングするステップ、
−フィルタリングされた、エリアセンサの一つの行における密着した行領域を形成する各ピクセルをピクセルスライスへと統合するステップ、
−各重心配分を求めるステップ、
−グループ分けを行うステップ、
−少なくとも一つの補助点マーキングの少なくとも一つの画像ポジションを、相互に対応付けられている各ピクセルスライスの対応する各重心配分に基づき導出するステップ。
本発明による方法又はコンピュータプログラム製品を、特に工業的な測定(即ち、冒頭で述べたような、複数の光点及び(本発明の範囲において同様に補助点マーキングを表す)レトロリフレクタを用いて測定補助器具をトラッキングするために構成されているレーザトラッカのための工業的な測定)において使用することができる。この場合には本発明による方法を、その種のレーザトラッカにおいて、(従来技術においては6−DoFカメラと称されることが多い)カメラのエリアセンサに関して(即ち、測定補助器具の複数の光点を検出するために専用に構成されており、最終的には測定補助器具の最新の配向を高精度で決定するために使用されるカメラ)に関して、また、択一的又は付加的に、(逆反射されたレーザビームの、センサの中心点からのずれの検出に特化している、従来技術においてはトラッキングセンサ又はATRセンサとも称される)エリアセンサに関して、それぞれ、読み出しプロセスの制御のため、また各エリアセンサを用いて検出された二種類の画像を評価するために使用することができる。
測定補助器具において逆反射を行う点が例えば赤外線レーザビームによって露光され、また逆反射を行う反射体の姿勢が、相応の波長領域において感応性の、特にその波長領域においてのみ感応性の面状の検出器に基づき記録された画像が決定される、古典的なトラッキング方式(ATR)の代替形態として、又は、6−DoFを決定するために測定補助器具に設けられている光点の古典的な使用の代替形態として、一つ又は複数の的確なパターン(例えば色点)も補助点マーキングとして使用することができ、また、可視スペクトル領域において動作するディジタルカメラを設けることができ、そのカメラを用いてカメラ画像を記録することができ、またそのカメラ画像に基づいて、画像内で補助点マーキングとして識別されたパターンの画像ポジションを決定することができ、更にはそれを測定補助器具の姿勢決定のための基礎として使用することができる(例えば、欧州特許EP 10168771.3を参照されたい)。エリアセンサの継続的な読み出しプロセスを制御するため、又は、その際に検出された画像を継続的に評価するための本発明による態様を、補助点マーキングとしての測定補助器具における的確なパターン、また、可視スペクトル領域において動作するディジタルカメラがエリアセンサと共に使用される場合にも使用することができる。
以下では添付の図面に示した具体的な実施例に基づき本発明による方法及び本発明による装置を単に例示的に説明するが、これは本発明の更なる利点にも対応する。
レーザトラッカと、画像検出ユニットと測定補助器具とを備えている本発明による測定システムを示す。 本発明による画像分析方法のための画像検出センサを示す。 画像内の光点の位置特定のための本発明による画像評価の第1の実施の形態を示す。 画像内の光点の位置特定のための本発明による画像評価の第2の実施の形態を示す。 画像内の光点の位置特定のための本発明による画像評価の第2の実施の形態を示す。 画像内の光点の位置特定のための本発明による画像評価の第2の実施の形態を示す。 第1及び/又は第2の実施の形態による本発明の画像検出及び画像評価のシーケンスに関するブロック回路図を示す。 画像内の光点の位置特定のための本発明による画像評価の別の実施の形態を示す。 画像内の光点の位置特定のための本発明による画像評価の別の実施の形態を示す。 画像内の光点の位置特定のための本発明による画像評価の別の実施の形態を示す。 本発明による別の画像検出及び画像評価のシーケンスに関するブロック回路図を示す。 従来技術による画像評価から、評価された画像情報の更なる処理までの画像評価のシーケンスに関する別のブロック回路図を示す。 従来技術による画像評価から、評価された画像情報の更なる処理までの画像評価のシーケンスに関する別のブロック回路図を示す。 本発明による画像評価のシーケンスに関する別のブロック回路図を示す。 本発明による画像評価のシーケンスに関する別のブロック回路図を示す。 本発明による別の画像評価のシーケンスに関する別のブロック回路図を示す。 本発明による別の画像評価のシーケンスに関する別のブロック回路図を示す。
図1には、レーザトラッカ11、画像検出ユニット12及び測定補助器具20、例えば接触式ツールを有している、本発明による測定システム10が示されている。画像検出ユニット12は、センサ又は検出された画像におけるセンサ露光のポジション決定のためにCMOSを有することができるか、又は画像検出ユニット12を特にCCDカメラ又はピクセルセンサアレイカメラとして構成することができる。その種のセンサは、捕捉された露光の位置有感検出を実現する。更に測定補助器具20はセンサを有しており、そのセンサの接触点23を測定すべき目標対象物と接触させることができる。接触式ツール20が目標対象物と接触している間に、空間内の接触点23のポジション、従って目標対象物上の点の座標を正確に決定することができる。この決定は、反射器21に対する接触点23の所定の相対的な位置決め、また、例えば発光ダイオードとして構成することができる、測定補助器具20に配置されているマーキング22に対する接触点23の所定の相対的な位置決めによって行われる。択一的に、マーキング22が例えば所定の波長の放射でもって露光された際に、入射した放射を反射させ(レトロリフレクタとして構成されている補助点マーキング22)、特に所定の光特性を示すか、又は、マーキング22が所定のパターン又は色コーディングを有するように、マーキング22を形成することもできる。このために、一方では、反射器21のポジション又は接触式ツール20のポジションが既知でなければならず、また他方ではその空間的な配向が既知でなければならない。
ポジションを決定するために、レーザビーム15がレーザトラッカ11から、測定補助器具20に配置されている反射器21の方向へと放出され、その反射器21からレーザトラッカ11へと平行に逆方向へと反射され、レーザトラッカ11における受信ユニットを用いて検出される。レーザトラッカ11は更に、レーザトラッカ11と反射器21との間の距離を決定するための距離測定ユニットと、レーザビーム15を所期のように配向及び誘導することができる偏向ミラーの姿勢、従ってレーザビーム15の伝播方向を決定できるようにする角度測定器とを有している。レーザビーム15の配向を特に、放射を誘導する光学系、とりわけ放射源を組み込むことができる照準ユニットの旋回によって決定することができる。従って、このような配置構成によって、反射器21又は接触式ツール20までの距離も、反射器21又は走査ツール20に対する方向も求めることができる。
空間内の測定補助器具20の配向は、そこに設けられている発光ダイオード22の所定の相対的な姿勢及び配置によって決定される。このために、カメラ12によって発光ダイオード22を備えた測定補助器具20の画像が検出され、また画像処理ユニットによって本発明に従い分析される。特に、画像の検出は、発光ダイオード22から放出される光の波長がカメラのセンサによって検出されるか、又は、カメラ12に配属されているフィルタによってセンサへと伝送されるように波長選択性に行われる。本発明による画像分析は、例えばセンサを行毎に読み出すことによって行われ、その際、各行において、所定の閾値を上回る光特性を有しているピクセルが重要なピクセルとして識別される。一つの行においてそれらの重要なピクセルが検出された後に、各ピクセル集合に対して、それぞれが重心配分を有している行ピース(スライス)が求められ、続いて、後続のセンサ行が検査される。その種のシステマチックな画像分析又はセンサ信号分析によって、画像内の、発光ダイオードによって形成された全ての光点を高速に検出し、光点の位置を特定することができる。画像内の点の配置構成から、接触式ツール22の配向を決定することができ、また、反射器21のポジションと合わせて、6自由度(six degrees of freedom=6−DoF)を有する接触式ツール22の正確な空間的なポジション及び配向を決定することができる。従って、マーキング22及び反射器21に対する接触点23の所定のポジションから、接触点のポジションもやはり正確に決定されている。
図2には、本発明による画像分析方法のための画像検出センサ30が示されている。ここではセンサ30、例えばCMOSが、所定数のピクセル42を有するセンサアレイ41から構成されている。例えば、CMOSは各々1024ピクセル42の行41を1024行有することができる。それらのセンサ30を用いて画像を記録する際に、個々のピクセル42はそれぞれ一つの画像情報を検出し、その画像情報を更にピクセル毎にセンサ30から読み出すことができる。更にセンサ30には、特に接触式ツールにおける発光ダイオードによって形成される光点の光点ポジション32が表されており、それらの光点ポジション32がセンサ30によって検出される。
図3には、画像内の光点32の位置を特定するための本発明による画像評価の第1の実施の形態が示されている。ここでは、センサにおいて関心領域(region of interest=ROI)35a,35bが定義されることによって、その関心領域35a,35b内のピクセルの画像情報のみが画像処理に使用される。その他のセンサ領域34の画像情報はそれ以降考慮されない。この技術によって、分析すべきデータ量を顕著に低減することができ、またそれによって画像処理プロセスの速度を向上させることができる。この実施の形態において、関心領域35a,35bの決定は、大面積の関連するセンサ領域には画像分析時に空所が残されたままにされ、且つ、検出すべき光点32が関心領域35a,35b内に位置するように行われる。センサにおけるそれらの関心領域35a,35bの大きさ及び場所を継続的に更新することができ、その場合、例えば接触式ツールの移動を算術的な分析を用いて予測することができる。そのために、例えばカルマンフィルタには測定情報、例えば光点の数、検出された最後の2つの画像に関する光点32の位置の変化及び反射器までの距離を供給することができ、またそれと共に、検出すべき各光点32に対して一つの期待値、特に各光点ポジションの更なる変化に対する期待値を決定することができる。複数の関心領域35a,35bによるセンサの更に高い被覆度、従って評価できるセンサ面が比較的大きい場合には、既に分析プロセスを向上させることができる。例えば、全体のセンサ面との比率において大きい被覆領域を有しているただ一つの関心領域でもって、既により高速な読み出しレートを生じさせることができる。特に、例えば、それぞれが比較的小さい考慮すべき面を有している、検出すべき補助点マーキングが10個ある場合には、10個の関心領域、つまり複数の関心領域(multiple regions of interest=MROI)を設定することができ、それによって被覆領域を更に縮小することができ、また分析プロセスを更に高速化することができる。その場合、画像の検出及び領域の設定に関する高い繰り返し率において、それらの領域を比較的小さく設定することができ、それにも係わらず、高い確率で各領域におけるマーキングの検出を達成することができる。従って、繰り返し率が比較的低い場合には、関心領域を比較的大きく設定することによって、この高い確率を達成することができる。
図4aから図4cには、画像内の光点32aの位置を特定するための本発明による画像評価の第2の実施の形態、並びに、光点32aの位置変化に依存する、図示された関心領域(region of interest=ROI)36a,36b,36cの適合が示されている。この実施の形態において、センサの検出面の大部分34は光点32aの識別及びポジション決定には使用されない。図4aには、例示的に光点32aと、その光点32aの周囲の関心領域36aが示されている。この関心領域36a内に位置するピクセルの画像情報は光点32aを検出するために、画像処理アルゴリズムに引き渡され、また更なる評価のために考慮される。考慮すべき領域36aと考慮する必要のない領域34との有利な比率に基づき、画像処理を非常に高速に実施することができ、従って接触式ツールの配向を非常に高速に決定することができる。図4bには光点の変化した配置が示されており、ここでは図4aにおいて検出された接触式ツールの配向が変化した状態で検出されている。配向の変化は両矢印31aによって示されている。従って、接触式ツールは図4aに示されている配向とは異なり、垂直方向軸を中心として回転されており、これによって、センサにおいて検出された光点はそれぞれ水平方向において相互に接近し間隔を詰めている(矢印を参照されたい)。更には、センサの関心領域36bが、例えばカルマンフィルタの計算に基づき、垂直方向軸を中心として接触式ツールが更に回転され、それに伴い光点が更に接近して間隔を詰めた際に、それらの光点が高い確率で各ROI内に位置するように、特に光点32aが高い確率で関心領域36b内に位置するようにずらされる。関心領域36bの姿勢のこの事前定義によって、接触式ツールの方位又は配向の予期される変化を、光点32aの検出及び評価の際に考慮することができる。配向変化の予測に関する別の例は図4cに示されており、この配向は矢印31bによって示されているように水平方向軸を中心として行われており、また関心領域36cの姿勢変化は垂直方向(矢印を参照されたい)において行われている。
図5には、第1及び/又は第2の実施の形態による本発明の画像検出及び画像評価のシーケンスがブロック回路図で示されている。先ず、画像がCMOSセンサ50を用いて検出される。センサ50からピクセルデータが読み出され、光点評価部55に供給される。その際に生成された光点データ、例えば点の位置乃至姿勢又は大きさが光点追跡ユニット56に供給され、関心領域算出ユニット57を用いて、CMOSセンサをコンフィギュレートするための情報が生成され、その情報がCMOSセンサに伝送される。光点追跡ユニット56及び関心領域算出ユニット57を有する、その種の本発明による関心領域制御ユニット58によって、CMOSセンサ50と光点評価部55との間のデータストリームを最適化し、より高速なデータ評価を達成することができる。
その際、先ず、関心領域内の重要なセンサデータのみが読み出され、続いて、点が検出され、また点追跡アルゴリズムを用いて関心領域(ROI)の最適な大きさ、位置及び数が求められる。また、特にプロセス有効性を改善するために、幾つかの点を一つの点群に統合することができる。更には、相応に構成されたセンサを用いることにより、センサにおける関心領域を、点追跡の際に生成された情報に基づきリアルタイムで適合させることができ、その際に各点を個別に追跡することができ、また相応に各関心領域を独立して更新することができる。その他に、点追跡アルゴリズムによって、個々の点の姿勢がセンサ又はカメラの視界外においても決定できるように点移動を算出することができる。
図6aから図6cには、画像において光点32,32bの位置を特定するための本発明による画像評価の別の実施の形態が示されている。図6aには、ここでもまた行状に構成されたセンサ30が、検出された光点32,32bのポジションと共に示されている。更にはセンサ領域Aもマーキングされている。図6bには、4つのセンサ行から成る領域Aの拡大図が光点32bと共に示されている。図6cには、センサ領域Aが更に拡大されて示されており、ここでは、画像評価のための方法を説明するために、センサ30の行37a−dが個別に考察される。
センサ30を用いて検出された画像の評価は行毎に行われる。センサ30によって光点32bが検出され、またその光点32bの姿勢に依存する画像情報が生成される。とりわけ、光点32bの位置に対応するセンサのピクセル38a−dが各画像情報を検出し、特に、それらの情報が各ピクセル信号によって表される。図示されている第1のセンサ行37aを読み出す際には、ピクセル38aが光点32bの一部として露光されていることから、その露光状態が所定の閾値を上回っているピクセル38aとしてピクセル38aは識別される。ここで本発明によれば、それらのピクセル38aには一つの行ピース39aが対応付けられ、この行ピース39aは、一方ではセンサ30又は行37aにおけるピクセル38aの位置を示し、他方では行ピース39aに含まれるピクセル38aの数、従って行ピース39aの大きさを示す。更に、行37aにおいて発見された各行ピース39aについて、ピクセル38aの姿勢及び数からピクセル重心配分が算出される。そのような重心の算出は非常に高速であり、特にリアルタイムで行われる。つまり、ピクセル読み出し速度で行われる。第1の行37aが完全に探索された後に、閾値を上回る露光状態を有している別のピクセル38a−dの探索が後続の行37b−dにおいて継続される。ここでも同様に、行ピース39b−dが抽出され、また各重心配分が相応に決定される。この本発明による方式の画像評価又はセンサ信号評価によって、検出された情報を継続的に高速に読み出して伝送することができる。従来技術による評価方式では、全ての画像情報が読み出され、その読み出しが終わった後に漸くそれらの情報の更なる処理が行われている。この場合、それらの行ピース39a−dは密着した行領域を表し、その行領域は一つの行ピース39a−d内で間隙を有する可能性がある。それらの間隙は例えばいわゆる「ホットピクセル(=センサ上のエラー個所)」によって生じる可能性があり、その場合には、少数の又は多数の、特に固定のピクセルが「盲目」であり、従って機能しない可能性がある。その種のエラーピクセルのポジションは、所定の画像検出センサに関して(又は所定の画像検出センサにおいて)予め既知であると考えられるか、又は、例えば先行して決定された画像ポジションとの比較から、検出された画像においてそのセンサにおけるエラー個所として識別することができる。従って、密着した行領域を、事前に規定された閾値を超える露光値を有しているピクセルによって、その種のエラーピクセルを考慮して決定することができる。検出された同一の点にそれぞれ属している行ピース39a−dを発見するために、通常の場合は、センサにおける列では重畳している行ピース39a−dが相互に対応付けられている(グループ化)。更に特別な場合には、同一の点に属する行ピース39a−dを相互に対応付けるために、相互にダイアゴナルに接して配置されている行ピース39a−dを相互に関連付けることもできる。
この行ピース処理部51は、本発明による画像検出及び画像評価のシーケンスに関するブロック図における広範な関係において図7に示されており、この図7では一つの光点に属する行ピース51aが示されている。この点識別は、CMOSセンサ50を用いる画像50aの検出でもって開始される。行ピース処理部51でもって算出された重心情報52aは、更に、入力されたデータをFIFO(first-in/first-out)原理に応じて処理する別の評価ユニット52に伝送され記憶される。データは比較的高いクロックレート且つ比較的短い周期時間でFIFOメモリに入力され、またデータは比較的低いクロックレート且つ比較的長い周期時間で出力される。これによって、各行ピース39a−dを比較的少ない数のパラメータによって表すことができ、また、第1の効率的なデータ低減を早期のデータ処理段階において達成することができる。後続の統合53の際に、一つの点に対応付けることができる行ピース39a−dを統合し配置することができる。そのようにして行ピース39a−dを統合することによって、対応する重心配分情報に基づき、新たな(行全体の)重心計算を実施することができ、また、検出された光点のポジションを表す複数の行ピース39a−dに関する総重心又は総重心情報53aが求められる。長い計算時間に起因して、統合53及び新たな重心計算は(ピクセルを読み出すための速度と比較して)比較的低い処理速度で行なわれると考えられる。それにもかかわらず、先行してデータが低減されていることによって、プロセス効率は制限されない。行ピース処理部51、FIFO評価ユニット52及び統合部53を点識別及び重心決定部54に統合することができる。
図8a及び図8bには、画像検出61から、従来技術に従い評価された画像情報の更なる処理までのシーケンスを表す別のブロック図が示されている。図8aにはこの評価プロセスが詳細に示されており、これに対して図8bはプロセスを簡略化して示しており、また後続の説明に用いられる。
第1のステップにおいては、特に所定の配置のマーキングを有する測定補助器具によって、画像検出が行われる。この検出を、同期及びトリガユニット63による制御下で行なうことができるか、又は、規定の時間にトリガすることができる。画像は続いて画像分析62のために画像処理ユニットに伝送され、画像の検出時に生じたセンサピクセルの露光値に関する画像の評価が行われる。更に画像分析62の枠内では、画像内で検出された、測定補助器具の各マーキングに対して、その画像内の重心、従って重心の画像ポジションが算術的に求められる。そのようにして形成された全ての情報は、例えば、求められた画像ポジションから測定補助器具の配向を決定するための別の処理ユニット64に供給される。処理ユニット64と画像検出61のためのユニット(CMOS)との間にはコネクション65が確立されており、このコネクション65を介して、処理ユニット64によるエリアセンサの制御を実施することができる。
図9a及び図9bには、本発明による画像評価のシーケンスを表す別のブロック図が示されている。図9aには評価プロセスが詳細に示されており、これに対して図9bはやはりプロセスを簡略化して示しており、また後続の説明に用いられる。
この実施の形態においては、画像評価が原則として、図8a及び図8bに示した評価シーケンスに従い行われるが、画像分析62は本発明による点識別機能及び重心決定機能54によって適合及び改善されている。画像検出61の際に検出された画像情報は、センサインタフェースを介して画像分析部62に伝送され、画像の評価は、例えば適合されたアルゴリズムによって実施される本発明による機能54によって行われる。この機能54の枠内では、続いて、センサのピクセルがその都度の最新の露光値に関してシーケンシャルに読み出され、閾値を上回る露光値を有するピクセルに基づき、相応の行ピースが抽出される。それに続いて、各行ピースについて重心が算出され、また、接触式ツールの結像された同一のマーキングに属するピースのグループ分けが行われる。各グループの行ピースの重心から、それらのマーキングについての画像ポジションが導出され(図7についての説明を参照されたい)、またそのようにして生成されたポジション情報が処理ユニット64に伝送される。この本発明による点識別及び重心決定機能54を用いることにより、画像分析62をより高速に行うことができ、従って画像処理率を上昇させることができる。分析可能な画像のレートをこれによって、図8a及び図8bに示した従来技術の方式に比べて、特に6倍高めることができる。
図10a及び図10bには、本発明による別の画像評価のシーケンスを表す二つの別のブロック図が示されている。図10aには評価プロセスがやはり詳細に示されており、これに対して図10bはやはりプロセスを簡略化して示しており、また後続の説明に用いられる。
この実施の形態の枠内では、画像評価がやはり原則として、図8a及び図8bによる評価シーケンスに従い行われ、その際、一方では画像分析62が本発明による点識別機能及び重心決定機能54によって適合及び改善されており、他方ではプロセスユニット64が本発明による関心領域制御ユニット58を有している。関心領域制御ユニット58は、カメラのエリアセンサにおける所定の複数の関心領域(multiple regions of interest=MROI)を決定するための本発明による機能を有している。各関心領域は、エリアセンサの全てのピクセルの中から関連する隣接ピクセルの限定的なサブセットを有している。関心領域はその機能によって継続的に、先行して検出された少なくとも一つのカメラ画像において決定された画像ポジションの集合に依存してセットされる。従って、換言すれば、次の画像の記録の際に検出すべきマーキングが期待通りに検出される領域がCMOSにおいて事前に定義される。各領域の姿勢及び大きさを、特に、カルマンフィルタを用いた計算によって決定することができる。その場合、フィルタには測定にとって重要な多数の情報、例えば、マーキングまでの距離、マーキングの大きさ、測定補助器具におけるマーキングの数及び姿勢、又は測定環境における輝度分布を供給することができる。例えば、測定補助器具の垂直方向軸周りの回転によってその測定補助器具の配向が変化した際には、上述の領域を以下のようにして定義及び適合することができる。即ち、そのような回転によってマーキングの期待すべき水平方向における接近が予想され、且つ、マーキングが回転の間に継続的に相応に更新された各関心領域(ROI)内に位置するように、関心領域(ROI)がセンサ面において水平方向にずらされることによって、測定補助器具の配向を定義及び適合することができる。各読み出しプロセスの際に、センサの関心領域内にあるピクセルだけがその都度読み出されることを保証するために、エリアセンサが各読み出しプロセスに関してリアルタイムでリコンフィギュレート可能であるようにエリアセンサを形成することができる。即ち、読み出しプロセスに影響を及ぼす関心領域の設定及び定義をセンサにおいてリアルタイムで(即ち、画像検出又は読み出しプロセスも行われるレートでもって)行うことができる。これによって、カメラ画像を検出する前にその都度新たに関心領域を定義することができ、また、測定状況に適合された関心領域を有する画像をその都度検出することができる(又は、その関心領域内にあるピクセルのみをその都度読み出すことができる)。
画像検出ユニット61とプロセスユニット64との間のインタフェース65によって、画像検出ユニット61の制御を行うことができる。その場合、エリアセンサ(CMOS)に関して、関心領域制御ユニット58の機能によってその都度決定及び更新される関心領域を画像検出ユニット61に伝送することができ、また、それに依存して、そのようにして決定された関心領域内で検出される画像情報のみが、点識別及び重心決定機能54を用いる画像処理のための画像分析部62にその都度転送される。この更なる処理の結果(上記において説明したように)、検出されたマーキングに関する画像ポジションが得られ、それらの画像ポジションから測定補助器具の配向を導出することができる。
本発明による点識別及び重心決定機能54と、関心領域制御ユニット58の機能とを上記のように組み合わせることによって、画像処理及び画像評価の効率を更に改善することができ、また、画像処理率を更に向上させることができる。分析可能な画像のレートを、図8a及び図8bに示した従来技術の方式に比べて12倍高めることができる。
図示した図面は単に考えられる実施例を概略的に示したものに過ぎないと解するべきである。本発明によれば、種々のアプローチを同様に相互に組み合わせることができ、また、対象物の空間的な姿勢を決定するための方法、画像評価方法また従来技術の測定装置と組み合わせることができる。つまり本発明の態様を、測地的な測定機器、例えば(特に反射器プリズムのターゲット追跡のためのエリアセンサに関する)トータルステーション及びタキメータのエリアセンサの継続的な読み出しプロセスを制御するため、又は、その際に検出される画像の継続的な評価のためにも使用することができる。

Claims (15)

  1. 少なくとも一つの補助点マーキング(22,32,32a,32b)を有している測定補助器具(20)の空間的な姿勢を継続的に決定するための、特にレーザトラッカ(11)を用いる姿勢決定方法であって、
    特に、前記測定補助器具(20)は複数の補助点マーキング(22,32,32a,32b)を相互に相対的な固定の既知の空間的な分布で有しており、
    前記姿勢決定方法は、
    ・複数のピクセル(38a−d,42)を有しているエリアセンサ(30,50)を備えているカメラ(12,61)を用いて、前記少なくとも一つの補助点マーキング(22,32,32a、32b)のカメラ画像(50a)を継続的に検出するステップと、
    ・その都度の最新の露光値に関して前記ピクセル(38a−d,42)の内の少なくとも幾つかのピクセルが読み出される読み出しプロセスを継続的に実行するステップと、
    ・その都度の最新の読み出しプロセスの枠内で得られた露光値に依存して、その都度の最新のカメラ画像(50a)において結像された前記少なくとも一つの補助点マーキング(22,32,32a、32b)に関する少なくとも一つの画像ポジションを継続的に決定するステップと、
    ・少なくとも一つの最新の画像ポジションに基づき、また特に複数の補助点マーキング(22,32,32a、32b)の相互に相対的な固定の既知の空間的な分布に基づき、前記測定補助器具(20)のその都度の最新の空間的な姿勢を継続的に導出するステップとを備えている、姿勢決定方法において、
    ・先行して検出された少なくとも一つのカメラ画像(50a)において決定された少なくとも一つの画像ポジションの集合に依存して、前記エリアセンサ(30,50)における少なくとも一つのその都度の最新の関心領域(35a,35b,36a,36b,36c)を継続的に設定するステップであって、前記少なくとも一つの関心領域(35a,35b,36a,36b,36c)はそれぞれ、前記エリアセンサ(30,50)の全てのピクセル(38a−d,42)の中から関連する隣接ピクセル(38a−d,42)の限定的なサブセットを規定するステップと、
    ・前記エリアセンサ(30,50)に設定された前記少なくとも一つの最新の関心領域(35a,35b,36a,36b,36c)内に位置するピクセル(38a−d,42)に含まれている最新の露光値のみを最大限に考慮して、前記少なくとも一つの最新の画像ポジションを決定するステップと、
    を備えていることを特徴とする、姿勢決定方法。
  2. 前記少なくとも一つの最新の関心領域(35a,35b,36a,36b,36c)内に位置するピクセル(38a−d,42)のみがその都度読み出されるように、前記その都度の最新の読み出しプロセスを実行する、請求項1に記載の姿勢決定方法。
  3. 前記少なくとも一つの関心領域(35a,35b,36a,36b,36c)を設定するために、先行して連続的に検出された複数のカメラ画像(50a)において決定された前記少なくとも一つの画像ポジションの集合から、特にカルマンフィルタに基づき、前記少なくとも一つの最新の画像ポジションに対してそれぞれ一つの期待値を求める、請求項1又は2に記載の姿勢決定方法。
  4. 前記少なくとも一つの画像ポジションの決定を以下のステップによって行い、即ち、
    ・読み出しの際に得られた露光値が閾値判定基準を満たしているピクセル(38a−d,42)、特に閾値を上回っているピクセル(38a−d,42)をフィルタリングするステップ、
    ・フィルタリングされた、前記エリアセンサ(30,50)の一つの行(37a−d,41)における密着した行領域を形成する各ピクセル(38a−d,42)をピクセルスライス(39a−d,51a)へと統合するステップ、
    ・各ピクセルスライス(39a−d,51a)に関して各重心配分を求めるステップ、
    ・結像された前記少なくとも一つの補助点マーキング(22,32,32a、32b)に属する各ピクセルスライス(39a−d,51a)が相互に対応付けられるようにピクセルスライス(39a−d,51a)をグループ分けするステップ、
    ・相互に対応付けられている各ピクセルスライス(39a−d,51a)の対応する各重心配分に基づき、前記少なくとも一つの補助点マーキング(22,32,32a、32b)の前記少なくとも一つの画像ポジションを導出するステップ、
    によって行い、
    特に、前記のフィルタリングするステップ、ピクセルスライス(39a−d,51a)へと統合するステップ(53)及び重心配分を求めるステップを、特にピクセル読み出しクロックレートに相当する比較的高い第1のレートでクロックレートで行い、且つ、前記のグループ分けするステップ及び少なくとも一つの画像ポジションを決定するステップを比較的低い第2のレートで行う、請求項1乃至3のいずれか一項に記載の姿勢決定方法。
  5. 少なくとも一つの補助点マーキング(22,32,32a、32b)を有している測定補助器具(20)の空間的な姿勢を継続的に決定するための測定装置、特にレーザトラッカ(11)であって、
    特に、前記測定補助器具(20)は複数の補助点マーキング(22,32,32a,32b)を相互に相対的な固定の既知の空間的な分布で有しており、
    前記測定装置は、
    ・複数のピクセル(38a−d,42)を有しているエリアセンサ(30,50)を備え、且つ、前記少なくとも一つの補助点マーキング(22,32,32a、32b)のカメラ画像(50a)を継続的に検出するカメラ(12,61)と、
    ・評価及び制御ユニットとを有しており、
    前記評価及び制御ユニットは、
    ○その都度の最新の露光値に関して前記複数のピクセル(38a−d,42)の内の少なくとも幾つかのピクセルが読み出される、継続的に実行可能な読み出しプロセスを制御するために、且つ、
    ○その都度の最新の読み出しプロセスの枠内で得られた露光値に依存して、その都度の最新のカメラ画像(50a)において結像された少なくとも一つの補助点マーキング(22,32,32a、32b)に関する少なくとも一つの画像ポジションを継続的に決定するために、且つ、
    ○少なくとも一つの最新の画像ポジションに基づき、特に複数の補助点マーキング(22,32,32a、32b)の相互に相対的な固定の既知の空間的な分布に基づき、前記測定補助器具(20)のその都度の最新の空間的な姿勢を継続的に導出するために、
    構成されている、測定装置において、
    前記評価及び制御ユニットは、更に、
    ・先行して検出された少なくとも一つのカメラ画像(50a)において決定された前記少なくとも一つの画像ポジションの集合に依存して、前記エリアセンサ(30,50)において少なくとも一つのその都度の最新の関心領域(35a,35b,36a,36b,36c)を継続的に設定するために構成されており、但し、前記少なくとも一つの関心領域(35a,35b,36a,36b,36c)はそれぞれ、前記エリアセンサ(30,50)の全てのピクセル(38a−d,42)の中から関連する隣接ピクセル(38a−d,42)の限定的なサブセットを規定し、
    前記評価及び制御ユニットは、更に、
    ・少なくとも一つのその都度の最新の画像ポジションの決定に関して、設定された前記少なくとも一つの最新の関心領域(35a,35b,36a,36b,36c)内に位置する、前記エリアセンサのピクセル(38a−d,42)に含まれている最新の露光値のみを最大限に考慮するために構成されている、
    ことを特徴とする、測定装置。
  6. 前記評価及び制御ユニットは、前記少なくとも一つの最新の関心領域(35a,35b,36a,36b,36c)内に位置するピクセル(38a−d,42)のみがその都度読み出されるように前記読み出しプロセスを制御するために構成されている、請求項5に記載の測定装置。
  7. 前記少なくとも一つの関心領域(35a,35b,36a,36b,36c)を設定するために、前記評価及び制御ユニットによって、先行して連続的に検出された複数のカメラ画像(50a)において決定された前記少なくとも一つの画像ポジションの集合から、特にカルマンフィルタに基づき、前記少なくとも一つの最新の画像ポジションに対してそれぞれ一つの期待値を求める、請求項5又は6に記載の測定装置。
  8. 少なくとも一つの補助点マーキング(22,32,32a,32b)を有している測定補助器具(20)の空間的な姿勢を継続的に決定するための、特にレーザトラッカ(11)を用いる姿勢決定方法であって、
    特に、前記測定補助器具(20)は複数の補助点マーキング(22,32,32a,32b)を相互に相対的な固定の既知の空間的な分布で有しており、
    前記姿勢決定方法は、
    ・複数のピクセル(38a−d,42)を有しているエリアセンサ(30,50)を備えているカメラ(12,61)を用いて、前記少なくとも一つの補助点マーキング(22,32,32a、32b)のカメラ画像(50a)を継続的に検出するステップと、
    ・その都度の最新の露光値に関して前記ピクセル(38a−d,42)の内の少なくとも幾つかのピクセルが読み出される読み出しプロセスを継続的に実行するステップと、
    ・その都度の最新の読み出しプロセスの枠内で得られた露光値に依存して、その都度の最新のカメラ画像(50a)において結像された前記少なくとも一つの補助点マーキング(22,32,32a、32b)に関する少なくとも一つの画像ポジションを継続的に決定するステップと、
    ・少なくとも一つの最新の画像ポジションに基づき、また特に複数の補助点マーキング(22,32,32a、32b)の相互に相対的な固定の既知の空間的な分布に基づき、前記測定補助器具(20)のその都度の最新の空間的な姿勢を継続的に導出するステップとを備えている、姿勢決定方法において、
    前記少なくとも一つの画像ポジションの決定を以下のステップによって行い、即ち、
    ・読み出しの際に得られた露光値が閾値判定基準を満たしているピクセル(38a−d,42)、特に閾値を上回っているピクセル(38a−d,42)をフィルタリングするステップ、
    ・フィルタリングされた、前記エリアセンサ(30,50)の一つの行(37a−d,41)における密着した行領域を形成する各ピクセル(38a−d,42)をピクセルスライス(39a−d,51a)へと統合するステップ(53)、
    ・各ピクセルスライス(39a−d,51a)に関して各重心配分を求めるステップ、
    ・結像された少なくとも一つの補助点マーキング(22,32,32a、32b)に属する各ピクセルスライス(39a−d,51a)が相互に対応付けられるようにピクセルスライス(39a−d,51a)をグループ分けするステップ、
    ・相互に対応付けられている各ピクセルスライス(39a−d,51a)の対応する各重心配分に基づき、前記少なくとも一つの補助点マーキング(22,32,32a、32b)の前記少なくとも一つの画像ポジションを導出するステップ、
    によって行うことを特徴とする、姿勢決定方法。
  9. ・前記読み出しプロセスの枠内で、前記エリアセンサ(30,50)をピクセル(38a−d,42)毎且つ行(37a−d,41)毎に所定のピクセル読み出しレートで読み出し、
    ・遅くとも各行(37a−d,41)の読み出しが完了した直後に、既に当該各行(37a−d,41)に関して、前記少なくとも一つの画像ポジションの決定の枠内で行われる、前記のフィルタリングするステップ、統合するステップ(53)、及び、各重心配分を求めるステップを開始及び実行し、
    特に、前記のフィルタリングするステップ、ピクセルスライス(39a−d,51a)へと統合するステップ(53)及び重心配分を求めるステップを、特にピクセル読み出しレートに相当する比較的高い第1のレートでクロック制御し、且つ、前記のグループ分けするステップ及び画像ポジションを決定するステップを比較的低い第2のレートでクロック制御する、請求項8に記載の姿勢決定方法。
  10. 少なくとも一つの補助点マーキング(22,32,32a、32b)を有している測定補助器具(20)の空間的な姿勢を継続的に決定するための測定装置、特にレーザトラッカ(11)であって、
    特に、前記測定補助器具(20)は複数の補助点マーキング(22,32,32a,32b)を相互に相対的な固定の既知の空間的な分布で有しており、
    前記測定装置は、
    ・複数のピクセル(38a−d,42)を有しているエリアセンサ(30,50)において、前記少なくとも一つの補助点マーキング(22,32,32a、32b)のカメラ画像(50a)を継続的に形成するカメラ(12,61)と、
    ・評価及び制御ユニットとを有しており、
    前記評価及び制御ユニットは、
    ○その都度の最新の露光値に関して、前記エリアセンサ(30,50)の前記複数のピクセル(38a−d,42)の内の少なくとも幾つかのピクセルが読み出される、継続的に実行可能な読み出しプロセスを制御するために、且つ、
    ○その都度の最新の読み出しプロセスの枠内で得られた露光値に依存して、その都度の最新のカメラ画像(50a)において結像された少なくとも一つの補助点マーキング(22,32,32a、32b)の少なくとも一つの画像ポジションを継続的に決定するために、且つ、
    ○少なくとも一つの最新の画像ポジションに基づき、特に複数の補助点マーキング(22,32,32a、32b)の相互に相対的な固定の既知の空間的な分布に基づき、前記測定補助器具(20)のその都度の最新の空間的な姿勢を継続的に導出するために、
    構成されている、測定装置において、
    前記評価及び制御ユニットは以下のステップ、即ち、
    ・読み出しの際に得られた露光値が閾値判定基準を満たしているピクセル(38a−d,42)、特に閾値を上回っているピクセル(38a−d,42)をフィルタリングするステップ、
    ・フィルタリングされた、前記エリアセンサ(30,50)の一つの行(37a−d,41)における密着した行領域を形成する各ピクセル(38a−d,42)をピクセルスライス(39a−d,51a)へと統合するステップ(53)、
    ・各ピクセルスライス(39a−d,51a)に関して各重心配分を求めるステップ、
    ・結像された少なくとも一つの補助点マーキング(22,32,32a、32b)に属する各ピクセルスライス(39a−d,51a)が相互に対応付けられるようにピクセルスライス(39a−d,51a)をグループ分けするステップ、
    ・前記少なくとも一つの補助点マーキング(22,32,32a、32b)の前記少なくとも一つの画像ポジションを、相互に対応付けられている各ピクセルスライス(39a−d,51a)の対応する各重心配分に基づき導出するステップ、
    を前記少なくとも一つの画像ポジションの決定の枠内で自動的に実行するために構成されており、
    特に、前記の複数のステップは相応に事前にプログラミングされたFPGA又はASICによって自動的に実行されることを特徴とする測定装置。
  11. 前記カメラ(12,61)は可変の焦点距離を備えた光学系を有しており、前記焦点距離(従って前記カメラ(12,61)の結像比率)は、前記測定補助器具(20)が距離に依存せずに実質的に一定の範囲で前記エリアセンサ(30,50)に結像されるように、前記評価及び制御ユニットによって自動的に制御されて継続的に変更され、特に、前記カメラ(12,61)は、可変の焦点幅及び焦点調節部を有しているズームレンズ又は単焦点レンズを有している、請求項5乃至7のいずれか一項又は請求項10に記載の測定装置。
  12. 前記測定装置は更に、
    ・柱脚と、
    ・前記柱脚に対する前記カメラ(12,61)の配向を機械的に変化させるための調整手段と、
    ・前記カメラ(12,61)のその都度の最新の配向を継続的に検出するための角度測定手段と、
    を有しており、
    前記評価及び制御ユニットは、前記カメラ(12,61)の配向の変化を継続的に制御するために、前記カメラ(12,61)が継続的に前記測定補助器具(20)へと配向されるように構成されている、請求項5乃至7のいずれか一項、若しくは請求項10又は11に記載の測定装置。
  13. 前記測定装置はレーザトラッカ(11)として構成されており、更に、
    ・前記測定補助器具(20)に設けられているレトロリフレクタ(21)までの距離を測定するための、照準線の方向において測定される、少なくとも一つの光学的な距離測定装置と、
    ・前記柱脚に対する前記照準線の配向を機械的に変化させるための調整手段と、
    ・前記照準線のその都度の最新の配向を継続的に検出するための角度測定手段と、
    ・前記測定補助器具(20)の前記レトロリフレクタ(21)を前記照準線を用いて追跡し、該照準線を継続的に前記レトロリフレクタ(21)へと配向させる測定及び制御回路と、
    を有している、請求項12に記載の測定装置。
  14. 測定システムにおいて、
    該測定システムは、
    ・請求項5乃至7又は請求項10乃至13のいずれか一項に記載の測定装置と、
    ・少なくとも一つの補助点マーキング(22,32,32a,32b)、特に光点を有している測定補助器具(20)と、
    から構成されており、
    特に、前記測定補助器具(20)は複数の補助点マーキング(22,32,32a,32b)を相互に相対的な固定の既知の空間的な分布で有しており、
    特に、前記測定補助器具(20)は前記少なくとも一つの補助点マーキング(22,32,32a,32b)の他にレトロリフレクタ(21)を有している、
    ことを特徴とする、測定システム。
  15. 機械読み出し可能な担体に記憶されているプログラムコードを備えているコンピュータプログラム製品において、
    前記プログラムコードは、
    ・請求項1乃至4のいずれか一項に記載の姿勢決定方法を制御又は実行するためのプログラムコードであるか、
    又は、
    ・特にプログラムがFPGA又はASICにおいて実行される場合には、請求項8又は9に記載の姿勢決定方法の、少なくとも一つの画像ポジションの決定の枠内で行われる、
    ○ピクセル(38a−d,42)をフィルタリングするステップ、
    ○フィルタリングされた、前記エリアセンサ(30,50)の一つの行(37a−d,41)における密着した行領域を形成する各ピクセル(38a−d,42)をピクセルスライス(39a−d,51a)へと統合するステップ(53)、
    ○各重心配分を求めるステップ、
    ○グループ分けするステップ、
    ○少なくとも一つの補助点マーキング(22,32,32a、32b)の少なくとも一つの画像ポジションを、相互に対応付けられている各ピクセルスライス(39a−d,51a)の対応する各重心配分に基づき導出するステップ、
    を実行するためのプログラムコードである、
    ことを特徴とする、コンピュータプログラム製品。
JP2014525388A 2011-08-12 2012-07-31 測定補助器具の空間的な姿勢を決定するための測定装置 Pending JP2014527630A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11177500A EP2557391A1 (de) 2011-08-12 2011-08-12 Messgerät zur Bestimmung der räumlichen Lage eines Messhilfsinstruments
EP11177500.3 2011-08-12
PCT/EP2012/064962 WO2013023904A1 (de) 2011-08-12 2012-07-31 Messgerät zur bestimmung der räumlichen lage eines messhilfsinstruments

Publications (1)

Publication Number Publication Date
JP2014527630A true JP2014527630A (ja) 2014-10-16

Family

ID=46584051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014525388A Pending JP2014527630A (ja) 2011-08-12 2012-07-31 測定補助器具の空間的な姿勢を決定するための測定装置

Country Status (6)

Country Link
US (1) US9401024B2 (ja)
EP (3) EP2557391A1 (ja)
JP (1) JP2014527630A (ja)
KR (2) KR101632245B1 (ja)
CN (1) CN107084663B (ja)
WO (1) WO2013023904A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105823471A (zh) * 2015-01-28 2016-08-03 株式会社拓普康 三维位置计测系统
JP2016145791A (ja) * 2015-01-28 2016-08-12 株式会社トプコン 三次元位置計測システム
JP2016145790A (ja) * 2015-01-28 2016-08-12 株式会社トプコン 三次元位置計測システム
JP2016206129A (ja) * 2015-04-28 2016-12-08 株式会社トプコン 三次元位置計測システム
JP2016206130A (ja) * 2015-04-28 2016-12-08 株式会社トプコン 三次元位置計測システム
CN111896972A (zh) * 2020-06-16 2020-11-06 中国工程物理研究院应用电子学研究所 一种机载激光雷达同步控制及数码影像外方位元素列表自动创建方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6181925B2 (ja) * 2012-12-12 2017-08-16 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
KR102233319B1 (ko) * 2014-01-20 2021-03-29 삼성전자주식회사 관심 영역 추적 방법, 방사선 촬영 장치, 방사선 촬영 장치의 제어 방법 및 방사선 촬영 방법
EP2980526B1 (de) 2014-07-30 2019-01-16 Leica Geosystems AG Koordinatenmessgerät und Verfahren zum Messen von Koordinaten
EP3032277B1 (de) 2014-12-12 2021-04-07 Leica Geosystems AG Lasertracker
EP3220163B1 (de) 2016-03-15 2021-07-07 Leica Geosystems AG Lasertracker mit zwei messfunktionalitäten
WO2018150336A1 (en) * 2017-02-14 2018-08-23 Atracsys Sàrl High-speed optical tracking with compression and/or cmos windowing
WO2018151760A1 (en) 2017-02-20 2018-08-23 3M Innovative Properties Company Optical articles and systems interacting with the same
WO2019064108A1 (en) 2017-09-27 2019-04-04 3M Innovative Properties Company PERSONAL PROTECTIVE EQUIPMENT MANAGEMENT SYSTEM USING OPTICAL PATTERNS FOR EQUIPMENT AND SECURITY MONITORING
CN108109176A (zh) * 2017-12-29 2018-06-01 北京进化者机器人科技有限公司 物品检测定位方法、装置及机器人
CN108398728A (zh) * 2018-05-07 2018-08-14 广东工业大学 一种设备之间配合误差的辅助标记装置
DE102018111638A1 (de) * 2018-05-15 2019-11-21 Krones Ag Verfahren zum Inspizieren von Behältnissen mit Petitionsbestimmung
EP3627100B1 (de) * 2018-09-20 2021-12-01 Hexagon Technology Center GmbH Retroreflektor mit fischaugenobjektiv
CN109969492A (zh) * 2019-03-20 2019-07-05 合肥神马电气有限公司 一种用于高压电缆线盘包装的参照定位方法
CN110455183A (zh) * 2019-07-26 2019-11-15 国营芜湖机械厂 一种战场抢修用航空导管测绘系统及方法
CN112866552B (zh) * 2019-11-12 2023-06-13 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
DE102020113183B4 (de) * 2020-05-15 2021-12-16 Sick Ag Kamera und Verfahren zur Erfassung von bewegten Objekten
CN111738180B (zh) * 2020-06-28 2023-03-24 浙江大华技术股份有限公司 关键点的标注方法、装置、存储介质及电子装置
CN112686175A (zh) * 2020-12-31 2021-04-20 北京澎思科技有限公司 人脸抓拍方法、系统及计算机可读存储介质
EP4027103A1 (en) * 2021-01-12 2022-07-13 Metronor AS Method for determining a current position and/or orientation of a laser radar relative to an object to be measured
DE202021003875U1 (de) 2021-12-27 2023-03-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung zur Bestimmung von Relativlagen zweier gleichsinnig um eine Rotationsachse rotierender Objekte

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0394386A (ja) * 1989-09-07 1991-04-19 Nec Corp 円図形中心位置計測回路
JPH03138504A (ja) * 1989-10-24 1991-06-12 Kobe Steel Ltd スポット位置及びスリット位置の検出方法
JPH08230798A (ja) * 1994-06-17 1996-09-10 Trw Inc 自律的ランデブー及びドッキングシステム並びにその方法
JPH10197230A (ja) * 1997-01-09 1998-07-31 Saginomiya Seisakusho Inc ホイールアラインメント測定装置及びホイールアラインメント測定方法
JP2003141545A (ja) * 2001-08-07 2003-05-16 Samsung Electronics Co Ltd 移動物体自動追跡装置及び方法
JP2007504459A (ja) * 2003-09-05 2007-03-01 ファロ テクノロジーズ インコーポレーテッド 自己補償レーザトラッカ
JP2007524158A (ja) * 2004-01-16 2007-08-23 アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド 位置判定及びモーショントラッキング

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4809066A (en) * 1987-08-03 1989-02-28 Vexcel Corporation Method of image mensuration with selectively visible and invisible reseau grid marks
US5198877A (en) 1990-10-15 1993-03-30 Pixsys, Inc. Method and apparatus for three-dimensional non-contact shape sensing
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
NO174025C (no) * 1991-10-11 1994-03-02 Metronor Sa System for punktvis maaling av romlige koordinater
JPH0829120A (ja) * 1994-07-12 1996-02-02 Sumitomo Heavy Ind Ltd 曲面を有する物体の位置計測方法及び曲面を有する2つの物体の位置合わせ制御装置
NO301999B1 (no) * 1995-10-12 1998-01-05 Metronor As Kombinasjon av laser tracker og kamerabasert koordinatmåling
US5828770A (en) * 1996-02-20 1998-10-27 Northern Digital Inc. System for determining the spatial position and angular orientation of an object
US6310644B1 (en) * 1997-03-26 2001-10-30 3Dm Devices Inc. Camera theodolite system
DE19859947C2 (de) 1998-12-28 2001-02-01 Anatoli Stobbe System zur räumlichen Zuordnung wenigstens eines Transponders zu Zellen eines Detektionsgebietes, Basisstation sowie Transponder
US20020131643A1 (en) * 2001-03-13 2002-09-19 Fels Sol Sidney Local positioning system
EP1420264B1 (de) * 2002-11-15 2011-01-05 Leica Geosystems AG Verfahren und Vorrichtung zur Kalibrierung eines Messsystems
US7223954B2 (en) * 2003-02-03 2007-05-29 Goodrich Corporation Apparatus for accessing an active pixel sensor array
CA2429880C (en) * 2003-05-27 2009-07-07 York University Collaborative pointing devices
EP1515152A1 (de) * 2003-09-12 2005-03-16 Leica Geosystems AG Verfahren zur Richtungsbestimmung zu einem zu vermessenden Objekt
CN101427153B (zh) 2006-04-20 2013-02-27 法罗技术股份有限公司 坐标测量方法和坐标测量系统
US7576847B2 (en) 2006-04-21 2009-08-18 Faro Technologies, Inc. Camera based six degree-of-freedom target measuring and target tracking device with rotatable mirror
CN101583841B (zh) * 2007-01-25 2011-02-16 特林布尔公司 测地仪的对准
DE102008027976A1 (de) * 2008-06-12 2009-12-31 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Ermittlung der Lage eines Sensors
US8199194B2 (en) * 2008-10-07 2012-06-12 The Boeing Company Method and system involving controlling a video camera to track a movable target object
CN102216803A (zh) * 2008-11-17 2011-10-12 法罗技术股份有限公司 测量六个自由度的装置和方法
EP2405236B1 (de) 2010-07-07 2012-10-31 Leica Geosystems AG Geodätisches Vermessungsgerät mit automatischer hochpräziser Zielpunkt-Anzielfunktionalität

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0394386A (ja) * 1989-09-07 1991-04-19 Nec Corp 円図形中心位置計測回路
JPH03138504A (ja) * 1989-10-24 1991-06-12 Kobe Steel Ltd スポット位置及びスリット位置の検出方法
JPH08230798A (ja) * 1994-06-17 1996-09-10 Trw Inc 自律的ランデブー及びドッキングシステム並びにその方法
JPH10197230A (ja) * 1997-01-09 1998-07-31 Saginomiya Seisakusho Inc ホイールアラインメント測定装置及びホイールアラインメント測定方法
JP2003141545A (ja) * 2001-08-07 2003-05-16 Samsung Electronics Co Ltd 移動物体自動追跡装置及び方法
JP2007504459A (ja) * 2003-09-05 2007-03-01 ファロ テクノロジーズ インコーポレーテッド 自己補償レーザトラッカ
JP2007524158A (ja) * 2004-01-16 2007-08-23 アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド 位置判定及びモーショントラッキング

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105823471A (zh) * 2015-01-28 2016-08-03 株式会社拓普康 三维位置计测系统
JP2016145791A (ja) * 2015-01-28 2016-08-12 株式会社トプコン 三次元位置計測システム
JP2016145790A (ja) * 2015-01-28 2016-08-12 株式会社トプコン 三次元位置計測システム
US10473462B2 (en) 2015-01-28 2019-11-12 Kabushiki Kaisha Topcon System of measuring three-dimensional position
JP2016206129A (ja) * 2015-04-28 2016-12-08 株式会社トプコン 三次元位置計測システム
JP2016206130A (ja) * 2015-04-28 2016-12-08 株式会社トプコン 三次元位置計測システム
CN111896972A (zh) * 2020-06-16 2020-11-06 中国工程物理研究院应用电子学研究所 一种机载激光雷达同步控制及数码影像外方位元素列表自动创建方法

Also Published As

Publication number Publication date
EP2742319A1 (de) 2014-06-18
EP3001138A1 (de) 2016-03-30
CN103797328A (zh) 2014-05-14
EP2742319B1 (de) 2019-05-22
KR101686054B1 (ko) 2016-12-13
US20140211999A1 (en) 2014-07-31
KR20140043941A (ko) 2014-04-11
WO2013023904A1 (de) 2013-02-21
EP3001138B1 (de) 2020-10-14
EP2557391A1 (de) 2013-02-13
CN107084663B (zh) 2019-12-24
CN107084663A (zh) 2017-08-22
US9401024B2 (en) 2016-07-26
KR101632245B1 (ko) 2016-07-01
KR20150082695A (ko) 2015-07-15

Similar Documents

Publication Publication Date Title
JP2014527630A (ja) 測定補助器具の空間的な姿勢を決定するための測定装置
US9967545B2 (en) System and method of acquiring three-dimensional coordinates using multiple coordinate measurment devices
CN111521161B (zh) 确定到目标的方向的方法、勘测装置和机器可读载体
JP6080969B2 (ja) 対象物の姿勢を決定するための方法と装置
JP4290733B2 (ja) 3次元形状計測方法及びその装置
JP5469894B2 (ja) 測量装置及び自動追尾方法
US20150015895A1 (en) Three-dimensional measurement device having three-dimensional overview camera
CN110178156A (zh) 包括可调节焦距成像传感器的距离传感器
JP2002090113A (ja) 位置姿勢認識装置
JPH11510600A (ja) 標的マークの位置を敏速に検出するための方法及び装置
CN108700408A (zh) 三维形状数据及纹理信息生成系统、拍摄控制程序、以及三维形状数据及纹理信息生成方法
JP2022171677A (ja) 画像取込デバイスを用いて測定ポイントを探し出すデバイス及び方法
JP6773573B2 (ja) 位置特定装置、位置特定方法、位置特定システム、位置特定用プログラム、無人航空機および無人航空機識別用ターゲット
JP2018527575A5 (ja)
JP2007093412A (ja) 3次元形状測定装置
US20200286258A1 (en) Apparatus for Determining Dimensional and Geometric Properties of a Measurement Object
JP5874252B2 (ja) 対象物との相対位置計測方法と装置
CN112415010A (zh) 一种成像检测方法及系统
EP3486683A1 (en) Retroreflector acquisition in a coordinate measuring device
JP4918830B2 (ja) 位置計測システム
JP2001183120A (ja) 3次元入力方法及び3次元入力装置
JP2003065738A (ja) 3次元計測装置のキャリブレーション方法および3次元計測装置
JP7169757B2 (ja) 測量装置、測量方法
US20200217661A1 (en) Queue of data collection tasks for surveying instrument
Tateishi et al. A 200Hz small range image sensor using a multi-spot laser projector

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150616

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151130