JP2018527575A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2018527575A5 JP2018527575A5 JP2018513429A JP2018513429A JP2018527575A5 JP 2018527575 A5 JP2018527575 A5 JP 2018527575A5 JP 2018513429 A JP2018513429 A JP 2018513429A JP 2018513429 A JP2018513429 A JP 2018513429A JP 2018527575 A5 JP2018527575 A5 JP 2018527575A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- measuring device
- measurement
- point
- contact distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 claims description 227
- 230000003287 optical Effects 0.000 claims description 21
- 230000000875 corresponding Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000005096 rolling process Methods 0.000 claims description 4
- 238000000295 emission spectrum Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 claims 5
- 238000001514 detection method Methods 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 4
- 235000020127 ayran Nutrition 0.000 description 3
- 230000003068 static Effects 0.000 description 3
- 101700069624 aksF Proteins 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 101710022949 icd Proteins 0.000 description 2
- 125000000485 6-formamidopenicilloyl group Chemical group C(=O)(O)[C@@H]1N[C@H](SC1(C)C)[C@@H](C(=O)*)NC=O 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised Effects 0.000 description 1
Description
建物、橋、ダム、構成部品/組立品などの構造体の移動を監視する周知の方法は、「トータルステーション」などの測量デバイスを使用することである。トータルステーションは、機械的プラットフォームに取り付けたレーザベースの電子距離測定器(EDM:electronic distance measure)から成る。このプラットフォームのベースは、典型的には水平にした三脚などの安定した水平架台に配置される。トータルステーションの機構により、EDMは、垂直軸及び水平軸の両方を中心にして回転することによって任意の方向を向くことが可能になる。各回転軸上のエンコーダにより、EDMの現在の方向が分かることが可能になる。
監視用トータルステーションは、EDMが自動的に任意の所望の方向を向くことが可能になる電動駆動システムを含むことができる。EDMから測定ポイントまでの距離とともにエンコーダからのEDMの現在の方向により、ポイントの3次元位置を決定することが可能になる。
トータルステーションは、ポイントの位置を3次元で測定することができる。しかし、トータルステーションは、移動する構造体を監視するタスクを与えられたとき、以下の制限のうちの1つ又は複数を有する。
・移動を監視するために、トータルステーションは、反射ターゲットを測定ポイントに取り付ける必要がある。
・必要とされる分解能及び精度を実現するために、トータルステーションは、典型的には各測定を実施するのに数秒を要し、したがって、電車が線路の上を通過するときの線路の移動など、動的測定を実施することができない。
・トータルステーションは、一度に単一ポイントしか測定することができず、複数ポイントを監視する場合、それぞれは連続して測定しなければならず、すなわち、データは一度に単一ポイントだけから取り込まれる。
・測定分解能は、エンコーダの角度分解能(典型的には1秒角の程度)で制限されることがある。
・反射プリズムの設計によっては、測定誤差の顕著な発生源となり得る。
・移動を監視するために、トータルステーションは、反射ターゲットを測定ポイントに取り付ける必要がある。
・必要とされる分解能及び精度を実現するために、トータルステーションは、典型的には各測定を実施するのに数秒を要し、したがって、電車が線路の上を通過するときの線路の移動など、動的測定を実施することができない。
・トータルステーションは、一度に単一ポイントしか測定することができず、複数ポイントを監視する場合、それぞれは連続して測定しなければならず、すなわち、データは一度に単一ポイントだけから取り込まれる。
・測定分解能は、エンコーダの角度分解能(典型的には1秒角の程度)で制限されることがある。
・反射プリズムの設計によっては、測定誤差の顕著な発生源となり得る。
本発明の第1の態様によれば、請求項1に記載の測定デバイスが提供される。
したがって、第1の態様による測定デバイスは、アルゴリズムが画像内の測定ポイントを正確に見つけ、方向情報を使用してデバイスに対してどこに測定ポイントがあるのかを決定することができるように、画像露出中にEDMの方向を関連付ける。画像露出は時間周期にわたって行われる。これは、EDMの向きが画像露出中に変化していても精度が維持されることを意味する。EDMの向きは、意図的に(例えば、EDMは移動する測定ポイントを追跡する)又は非意図的に(例えば、取付けブラケット/三脚の振動又は熱膨張)変化している可能性がある。
測定デバイスのある任意選択的な特徴は、請求項1〜19に定義されている。追加の任意選択的な特徴を以下に記載する。
ICDは、ICDがEDMに対して固定位置合わせされた状態で移動するように、EDMに結合するように配置することができる。
請求項14に記載の平面を定義するのに使用されるより多くの測定ポイントのうちの3つは、請求項14に記載の特徴によって取り込むことができる。
本発明の他の態様によれば、請求項20に記載の測定デバイスの配列が提供される。配列の任意選択的な特徴を以下に記載する。
投影された測定ポイントは、請求項4に記載の特徴によって定義することができる。
以下は、本発明のすべての態様による測定デバイス及び/又は配列の任意選択的な特徴である。
光源はレーザを備えることができる。
ICDは、デジタルカメラと、カメラに結合された光学ユニットとを備えることができる。
EDMの向きは、露出時間の中間時点においてなど、露出時間中のある時点の単一方向の表示数値を使用することによって、又は露出時間の開始及び終了における表示数値の平均など、露出時間中に読み取られた複数の表示数値を組み合わせることによって、画像に関連付けることができる。
EDMは、レーザ測距器を備えることができる。
各測定デバイスのコントローラは、ハードウェアに実装することができ、又は定められた機能を提供するように構成されたコンピュータプログラムコードを含むことができる。
測定ポイントは、パターン認識又は特徴検出によって画像内で探し出すことができる。
本発明の他の態様によれば、請求項21に記載の測定デバイス用の固有及び外部の画像取込デバイス(ICD:image capture device)のパラメータを較正する方法が提供される。方法におけるある任意選択的な特徴は、請求項22に定義されている。追加の任意選択的な特徴を以下に記載する。
方法のステップ(c)、(d)及び(e)は、以下を含むことができる。
ICDの光軸がEDMと同軸である場合、
必要に応じて、EDMが較正ポイントを向くように回転され、
画像内の較正ポイントの位置が(x0,y0)として記録され、
EDM方向のパン角及び傾斜角が記録され(h0及びv0)、
主ポイントの位置の推定値を(x0,y0)に更新することができ、
そうでない場合、
必要に応じて、較正ポイントが主ポイントとほぼ位置合わせされるまでEDMが回転され、
画像内の較正ポイントの位置が(x0,y0)として記録され、
EDMの方向のパン角及び傾斜角が記録される(h0及びv0)。
ICDの光軸がEDMと同軸である場合、
必要に応じて、EDMが較正ポイントを向くように回転され、
画像内の較正ポイントの位置が(x0,y0)として記録され、
EDM方向のパン角及び傾斜角が記録され(h0及びv0)、
主ポイントの位置の推定値を(x0,y0)に更新することができ、
そうでない場合、
必要に応じて、較正ポイントが主ポイントとほぼ位置合わせされるまでEDMが回転され、
画像内の較正ポイントの位置が(x0,y0)として記録され、
EDMの方向のパン角及び傾斜角が記録される(h0及びv0)。
ステップ(f)の傾斜は、較正ポイントを画像の縁に近接して配置するのに十分であり得る。これは較正の精度を改善することができる。
ステップ(f)及び(g)は、複数の傾斜角及び/又はパン角に対して繰り返すことができる。
ピンホールカメラモデルは、以下を使用して計算することができる。
焦点距離=画素サイズx|(x1,y1)−(x0,y0)|/Tan(θ)
ここで、
θはr0とr1との間の角度であり、
r0は、EDMの方向がh0及びv0であるときの光軸に対応する光線であり、
r1は、(h1−h0)及び(v1−v0)によりEDMの原点を中心としてr0を回転させた結果である。
焦点距離=画素サイズx|(x1,y1)−(x0,y0)|/Tan(θ)
ここで、
θはr0とr1との間の角度であり、
r0は、EDMの方向がh0及びv0であるときの光軸に対応する光線であり、
r1は、(h1−h0)及び(v1−v0)によりEDMの原点を中心としてr0を回転させた結果である。
ステップ(f)及び(g)が複数回繰り返された場合、パラメータ化されたレンズ歪みモデルの値を求めることができ、
誤差関数が、観測された画像座標と投影された画像座標との間の相違の観点から公式化され、
最適化技法が、誤差関数を最小にするパラメータの値を求めるために適用される。
誤差関数が、観測された画像座標と投影された画像座標との間の相違の観点から公式化され、
最適化技法が、誤差関数を最小にするパラメータの値を求めるために適用される。
ICDの光軸がEDMと同軸ではなく、歪みパラメータの値を求めていた場合、放射状歪みの中心は、主ポイントの推定値と解釈することができる。
この態様は、第1の態様に対して説明したものなど、本態様の方法を実施するように構成されている測定デバイスまで拡大することができる。
本発明の他の態様によれば、請求項23に記載の1つ又は複数の測定ポイントの位置を決定する方法が提供される。方法におけるある任意選択的な特徴は、請求項24〜30に定義されている。追加の任意選択的な特徴を以下に記載する。
最適化手法は、以下の終了基準のうちの1つ又は複数が満足されるまでステップ(e)〜(g)を繰り返すステップを含むことができる。
すなわち、
ICDの光線からのEDMの画像ポイントの垂直距離は、相対的に小さい場合、
反復におけるEDMの向きの角変化は、駆動システム又はEDMの方向センサの分解能よりも小さい場合、
反復の数は、所定の限度を超えている場合
のうちの1つ又は複数が満足されるまでステップ(e)〜(g)を繰り返すステップを含むことができる。
すなわち、
ICDの光線からのEDMの画像ポイントの垂直距離は、相対的に小さい場合、
反復におけるEDMの向きの角変化は、駆動システム又はEDMの方向センサの分解能よりも小さい場合、
反復の数は、所定の限度を超えている場合
のうちの1つ又は複数が満足されるまでステップ(e)〜(g)を繰り返すステップを含むことができる。
方法は、
距離測定とともに現在のEDMの方向を使用して、今は測定ポイントに対応するEDMの目標ポイントの3次元座標を取得するステップ、又は
EDMの目標ポイントに最も近接したICDの光線に沿ったポイントを使用して、測定ポイントの3次元座標を取得するステップ
を含むことができる。
距離測定とともに現在のEDMの方向を使用して、今は測定ポイントに対応するEDMの目標ポイントの3次元座標を取得するステップ、又は
EDMの目標ポイントに最も近接したICDの光線に沿ったポイントを使用して、測定ポイントの3次元座標を取得するステップ
を含むことができる。
方法は、
露出時間中にEDMの方向又は距離の表示数値が変化しているかどうかを決定し、そうである場合、
露出時間中にある時点、例えば、中間時点からの単一方向及び/又は距離の表示数値を使用することによって、又は
露出時間中に読み取られた複数の表示数値を使用することによって、
露出時間中のEDMの方向又は距離の変化を補償するステップを含むことができる。
露出時間中にEDMの方向又は距離の表示数値が変化しているかどうかを決定し、そうである場合、
露出時間中にある時点、例えば、中間時点からの単一方向及び/又は距離の表示数値を使用することによって、又は
露出時間中に読み取られた複数の表示数値を使用することによって、
露出時間中のEDMの方向又は距離の変化を補償するステップを含むことができる。
方法は、
画像露出中に、ICDの光軸と位置合わせされた光源を向けるステップであって、光源は、ICDと固定位置合わせされた状態で移動するようにICDに機械的に結合される、光源を向けるステップを含むことができる。
画像露出中に、ICDの光軸と位置合わせされた光源を向けるステップであって、光源は、ICDと固定位置合わせされた状態で移動するようにICDに機械的に結合される、光源を向けるステップを含むことができる。
照明角度は、ICDの視野角にほぼ一致することができる。
光源はレーザを備えることができる。
方法は、
帯域通過フィルタなどの統合光学フィルタを用いてICDに入射する光をフィルタリングするステップを含むことができる。
帯域通過フィルタなどの統合光学フィルタを用いてICDに入射する光をフィルタリングするステップを含むことができる。
方法は、
測定ポイントのうちの1つ又は複数がCDの視野の外側に移動したかどうかを決定し、そうである場合、測定ポイントを探索し、位置の視野に戻すために一連の複数の方向にわたってEDMを回転させるステップを含むことができる。
測定ポイントのうちの1つ又は複数がCDの視野の外側に移動したかどうかを決定し、そうである場合、測定ポイントを探索し、位置の視野に戻すために一連の複数の方向にわたってEDMを回転させるステップを含むことができる。
方法は、
画像内に定義された1つ又は複数の関心領域(ROI)に対して自動露出プロセスを実施するステップであって、各ROIが測定ポイントを含む、実施するステップと、
関連付けられた測定ポイントの測定された移動に従って、及び/又は1つ又は複数のセンサからのEDMの方向データに従ってROIを移動させるステップと
を含むことができる。
画像内に定義された1つ又は複数の関心領域(ROI)に対して自動露出プロセスを実施するステップであって、各ROIが測定ポイントを含む、実施するステップと、
関連付けられた測定ポイントの測定された移動に従って、及び/又は1つ又は複数のセンサからのEDMの方向データに従ってROIを移動させるステップと
を含むことができる。
本発明の他の態様によれば、請求項31に記載の方法が提供される。この態様の任意選択的な特徴を以下に記載する。
方法は、
各測定デバイスのICDからの各画像に対して1つの測定で、ステップ(p)及び(q)を繰り返して、測定データのストリームを用意するステップを含むことができる。
各測定デバイスのICDからの各画像に対して1つの測定で、ステップ(p)及び(q)を繰り返して、測定データのストリームを用意するステップを含むことができる。
以下は、本発明のすべての態様による方法の任意選択的な特徴である。
方法ステップの一部又は全部をコンピュータで実装することができる。
次に、本発明の実施形態を厳密に例だけとして添付の図面を参照して説明する。
概要として、本発明の実施形態は、上記背景の項目において特定された制限のうちの1つ又は複数に対処するために非接触距離測定デバイス(EDM)と組み合わせて、デジタルカメラなどの画像取込デバイス(ICD)を使用する。そのようなデバイスは、以下の説明において「ハイブリッドデバイス」として表される。ハイブリッドデバイスは、画像の露出中に画像をEDMの向きに関連付け、画像内の測定ポイントのうちの1つを探し出し、EDMの向きと組み合わせて画像内の測定ポイントの位置を使用して、ハイブリッドデバイスに対する測定ポイントの方向を確立するように構成されたコントローラを含む。本発明人は、本発明の実施形態によるハイブリッドデバイス及び/又は方法が周知のシステムに対して以下の利点のうちの1つ又は複数を有することができることを見いだしている。
・動的測定を実施する機能、
・複数ポイントを同時に測定する機能、
・測定ポイントに取り付ける反射ターゲットを必要としないデバイス、
・すべての測定を実際の単位(例えば、mm)で提供することができるデバイス、
・既存のトータルステーションよりも著しく高い分解能まで測定することができるデバイス、
・大きな測定面積を有することができる、例えば、デバイスとの明確な見通し線を有する任意のポイントを監視することができる、デバイス、
・動的移動を測定することができるデバイス、
・複数ポイントを同時に測定することができるデバイス、
・現場のユーザによって実施することができる単純で、迅速な較正プロセスを有するデバイス、
・EDMのレーザを画像内の対応するポイントと位置合わせする頑健な方法を有することにより、正確な測定をすることができるデバイス、
・照明の変化を管理するための頑健な方法を有することにより、正確な測定をすることができるデバイス、及び
・周囲照明が周知のデバイスには十分でないとき、動作することができるデバイス。
・動的測定を実施する機能、
・複数ポイントを同時に測定する機能、
・測定ポイントに取り付ける反射ターゲットを必要としないデバイス、
・すべての測定を実際の単位(例えば、mm)で提供することができるデバイス、
・既存のトータルステーションよりも著しく高い分解能まで測定することができるデバイス、
・大きな測定面積を有することができる、例えば、デバイスとの明確な見通し線を有する任意のポイントを監視することができる、デバイス、
・動的移動を測定することができるデバイス、
・複数ポイントを同時に測定することができるデバイス、
・現場のユーザによって実施することができる単純で、迅速な較正プロセスを有するデバイス、
・EDMのレーザを画像内の対応するポイントと位置合わせする頑健な方法を有することにより、正確な測定をすることができるデバイス、
・照明の変化を管理するための頑健な方法を有することにより、正確な測定をすることができるデバイス、及び
・周囲照明が周知のデバイスには十分でないとき、動作することができるデバイス。
ハイブリッドデバイス
図1を参照すると、本発明の実施形態によるハイブリッドデバイスが、10において全体的に示される。
図1を参照すると、本発明の実施形態によるハイブリッドデバイスが、10において全体的に示される。
ハイブリッドデバイス10は、取付けプラットフォーム14に結合された非接触距離測定デバイス(EDM)12を含み、EDM12が方向の範囲に向くことが可能になる機構を含む。センサ16が、EDM12が向いている方向を検出するように設けられている。ハイブリッドデバイス10は、任意選択で、EDM12が指定された方向に駆動されることが可能になる駆動システム18を含むことができる。EDM12は、非接触距離測定を実施するための任意の適切なデバイスを備えることができる。EDM12、取付けプラットフォーム14、センサ16及び駆動システム18は、周知のトータルステーション、レーザスキャナ又はレーザトラッカと同じか又は同様であることができる。取付けプラットフォーム14は、三脚(図示せず)などの二次マウントに取り付けることができる。
ハイブリッドデバイス10は、例示される実施形態においてカメラ20である画像取込デバイス(ICD)20も含む。カメラ20は、カメラ20がEDM12と固定位置合わせされた状態で移動するように取付けプラットフォーム14に結合されている。必須要件ではないが、カメラの光軸はEDMの方向とほぼ位置合わせされ、いくつかの実施形態において、カメラの光軸は、EDM12のレーザと同軸でもよいことが好ましい。数百ヘルツで動作するカメラは、容易に入手可能である。これにより、高い動的移動を監視することが可能になる。適切なレンズにより、カメラは、広い視野を有し、したがって、多数の測定ポイントを同時に監視することができる。適切なパターン認識又は特徴検出技法を使用することによって、カメラは、測定ポイントにターゲットを取り付ける必要なく、移動を監視することができる。国際出願PCT/GB2003/004606に説明されているものなどのアルゴリズムを使用することにより、0.01秒角程度の分解能、すなわち、典型的なトータルステーションのエンコーダよりも100倍優れた分解能による角運動測定が可能になる。
ハイブリッドデバイス10は、画像の露出中に画像をEDM12の向きに関連付け、画像内の測定ポイントのうちの1つを探し出し、EDMの向きと組み合わせて画像内の測定ポイントの位置を使用して、測定データMDを出力するのに使用することができる、測定デバイスに対する測定ポイントの方向を確立するように構成されたコントローラ28も含む。コントローラ28は、カメラ20の方向及び/又は画像露出時間中のEDM距離表示数値が既知であるように配置されたデータ同期サブシステム(DSS)22を含む。これにより、カメラ20からのデータをEDM12/及びセンサ16からのデータと融合することが可能となり、カメラ20が移動しても、又はハイブリッドデバイス10からのターゲットの距離が変化しても、精度が保証される。カメラ20は、いくつかの原因、例えば、ハイブリッドデバイス10の方向の意図的な変更又は三脚の脚の熱膨張による傾斜角の変化などのその架台の移動により移動することがある。ハイブリッドデバイス10からターゲットまでの距離は、ターゲットが動的に移動している場合、変化していることがある。カメラ20の方向は、EDMの方向センサ16から、及び較正データから推定することができる。方向/距離が露出時間中に変化している場合、戦略は、露出時間の中間時点においてなど、露出時間中のある時点の単一方向/距離の表示数値の使用、又は露出時間の開始及び終了における表示数値の平均など、露出時間中に読み取られた複数の表示数値を組み合わせるステップを含むことができる。
画像の露出中に画像をEDM12の向きでタグ付するステップ又は関連付けるステップは、多くの方法で実現することができる。一例において、EDM12からの各距離表示数値及び方向センサ16からの各方向表示数値は、表示数値のタイムスタンプでタグ付けされる。単純なデータ構造を使用して、タイムスタンプと表示数値データとを関連付けることができる。EDM12及び方向センサ16は、表示数値のストリームを、典型的にはICD20のフレーム率よりも著しく高い速度で提供する。タイムスタンプされた表示数値は、それらを無限の時間にわたって記憶する、先入れ先出し待ち行列などのバッファに配置される。ICD20からの各画像は、その画像の露出時間の開始及び終了を示すタイムスタンプでタグ付けされる。DSS22は、画像を受け取ったとき、必要とされる表示数値の組に関して、例えば、露出時間の開始及び終了におけるEDMの距離及び方向表示数値に関してバッファに問い合わせを行うことができる。次いで、これらの表示数値は、平均化などの適切な方法で組み合わせることができ、次いで、組み合わせた表示数値は、組み合わせた表示数値及び画像を単純なデータ構造に記憶するなどの任意の適切な手段によって画像に関連付けすることができる。露出時間の開始及び終了を示すタイムスタンプ、及びEDMの距離/方向センサの表示数値のタイムスタンプは、共通のクロック、又は複数のクロックが使用される場合は、同期クロックのいずれかから生じる。
EDMの距離表示数値は、EDM12内でタイムスタンプすることができる。或いは、DSS22は、表示数値をEDM12から受け取る時点においてタイムスタンプを表示数値に関連付けることができる。後者の方式は、実施される実際の表示数値とDSS22によって受け取られる表示数値との間の待ち時間が重要でないか、又は少なくとも既知であることを必要とする。方向センサ16からの表示数値は、同様の方法でタイムスタンプすることができる。
ICDによっては、例えば、画像露出の開始におけるタイムスタンプを用いて、画像をタイムスタンプすることができるものもある。ICD20が露出の開始だけをタイムスタンプすることができ、露出の終了をタイムスタンプすることができない場合、終了のタイムスタンプは、既知の露出時間を加えることによって計算することができ、露出時間は、コントローラ28内の自動露出モジュールによって分かる。逆に、ICD20が露出の終了だけをタイムスタンプすることができる場合、開始は、既知の露出時間を減算することによって計算することができる。或いは、デジタルトリガ信号を使用して露出を開始(及び停止)するのにICDを制御することができることは一般的である。そのトリガ信号がコントローラ28によって生成された場合、各画像に対する露出の開始及び終了におけるタイムスタンプは、コントローラ28によって分かる。
コントローラ28は、駆動制御コマンドDCCを駆動システム18に提供し、及び/又は露出制御コマンドECCを画像取込デバイス20に提供することができる。露出制御は、カメラの露出時間を変えることによって、又はレンズの開口サイズを変更することによって実現することができる。
コントローラ28は、ハードウェアとソフトウェアとの組合せから成ることができる。一例において、ハードウェアは、プロセッサ、メモリ、及び入出力機能を含む可能性がある。例えば、ハードウェアは、1つ又は複数のマイクロコントローラ、埋め込み型コンピュータ、ASIC、又はPCなどの独立コンピュータであり得る。ICD20と連絡する適切なインターフェースが用意され、方向センサ16、EDM12などと連絡する方法が用意される。適切なソフトウェアを有するハードウェアは、ICD20からのデータを扱うことができ、ハイブリッドデバイスのコントローラ28の機能を実施することもできるはずである。「ポイント位置決定」などのこれらの機能のうちのいくつかは、極めて計算負荷が高いことがあり、したがって、ハードウェアは適切に強力であるべきである。しかし、当業者は、過度の負担なく自分の通常の一般的知識と組み合わせて、本明細書に提供される教示に基づいて本発明の実施形態によるハイブリッドデバイスを実施することができるであろう。いくつかの実施形態において、DSS22は、コントローラ28に通信可能に結合された別個のコントローラで実行させることができる。
トータルステーションなどの多くの既存のデバイスがデバイスのファームウェアを実行するマイクロコントローラ又は埋め込み型コンピュータをすでに内蔵することにも留意されたい。
トータルステーションなどのデバイスの製造業者は、デバイスの機能がソフトウェアインターフェースを介してプログラムで制御されることが可能になるソフトウェア開発キット(SDK)を通常提供する。トータルステーションの場合、SDKがUSB、RS232、イーサネット(ethernet)(有線又は無線)、ブルートゥース(Bluetooth)(登録商標)などのインターフェースを介してトータルステーションと連絡することは普通である。次いで、ハイブリッドデバイスのコントローラ28は、SDKの適切なソフトウェア機能を呼び出して、トータルステーションに回転、ストリーム距離及び角度データなどを実施させるように命令することができる。この方式は、本発明の実施形態によるハイブリッドデバイス10が、既存のトータルステーションの「アドオン」を介して作り出すことができることを意味する。
或いは、完全に統合された解決策には、ハイブリッドデバイス10のコントローラ28を、トータルステーションと一体であるハードウェアで実行するソフトウェアに実装することができる。この場合、ハイブリッドデバイスのコントローラは、SDKを介さなくてもトータルステーションのファームウェアと直接連絡することができる。
ハイブリッドデバイス10は、任意選択で、夜間、トンネル内、又は橋の下など、周囲照明が十分でないときでも、追加の外部光源を必要とすることなく動作することを可能にするように配置された、統合された光源24を含むことができる。光源24の方向は、カメラ20の光軸と位置合わせされ、光源24は、カメラ20と固定位置合わせされた状態で移動するように支持体14に結合される。照明角度は、カメラ20の視野角とほぼ一致している場合、最適である。カメラ20の視野角が適切である場合、レーザ光源を使用することができ、そのレーザ光源は、EDM12に使用されるもの、又はある周知の測量デバイスに見出される「誘導灯」と同じであり得る。
ハイブリッドデバイス10は、任意選択で、変化する直射日光照度の影響を低減するように配置された統合光学フィルタ26を含むことができる。光学フィルタ26は、太陽の発光スペクトルのディップと整合させるために、カメラ20に入射する光をフィルタリングする帯域通過フィルタとして実装することができる。任意選択的な光源24は、太陽の発光スペクトルのギャップを埋めるためにこの周波数で放射するように一致させることができる。理解されるように、地球に入射する太陽放射のスペクトルは、数多くのディップを有する。これらのディップのうちの1つは、ほぼ937nmを中心とするが、他を使用することができる。
コントローラ28は、好ましくは、以下のモジュールの一部又は全部を実施するように構成される。すなわち、
1.測定ポイントを定義するためのポイント定義モジュール。
2.パターン認識又は特徴検出アルゴリズムを使用して自動的に画像内の測定ポイントを探し出すポイント位置決定モジュール。
3.任意の未知のカメラ固有及び外部のパラメータを確認するように構成された自己較正モジュール。
4.EDM位置合わせモジュール。現在のEDMの方向でタグ付された画像内のポイントを所与として、このモジュールは、その同じポイントを向いているようにEDM12を位置合わせする。
5.ポイント位置決定モジュールの動作を容易にするために最適な画像露出を維持するインテリジェント自動露出モジュール。及び
6.ポイント位置決定モジュール、EDM12及びEDMの方向センサ16からの測定データを組み合わせるデータ融合モジュール。信号対雑音比を改善するために、任意選択でフィルタリングを測定データに適用することができる。データ融合モジュールは、いくつかの可能な動作モードを提供するために、様々な方法によってデータを組み合わせることができる。
モード1 平面内を移動している複数ポイントを動的に監視する。複数ポイントは同時に監視される。
モード2 任意の方向に移動することができる複数ポイントの静的測定。複数ポイントは連続して測定される。
モード3 任意の方向に移動することができる単一ポイントの動的測定。及び
モード4 任意の方向に移動することができる複数ポイントの動的測定。複数ポイントは同時に測定される。この方法は、2つ以上のハイブリッドデバイスを必要とする。
1.測定ポイントを定義するためのポイント定義モジュール。
2.パターン認識又は特徴検出アルゴリズムを使用して自動的に画像内の測定ポイントを探し出すポイント位置決定モジュール。
3.任意の未知のカメラ固有及び外部のパラメータを確認するように構成された自己較正モジュール。
4.EDM位置合わせモジュール。現在のEDMの方向でタグ付された画像内のポイントを所与として、このモジュールは、その同じポイントを向いているようにEDM12を位置合わせする。
5.ポイント位置決定モジュールの動作を容易にするために最適な画像露出を維持するインテリジェント自動露出モジュール。及び
6.ポイント位置決定モジュール、EDM12及びEDMの方向センサ16からの測定データを組み合わせるデータ融合モジュール。信号対雑音比を改善するために、任意選択でフィルタリングを測定データに適用することができる。データ融合モジュールは、いくつかの可能な動作モードを提供するために、様々な方法によってデータを組み合わせることができる。
モード1 平面内を移動している複数ポイントを動的に監視する。複数ポイントは同時に監視される。
モード2 任意の方向に移動することができる複数ポイントの静的測定。複数ポイントは連続して測定される。
モード3 任意の方向に移動することができる単一ポイントの動的測定。及び
モード4 任意の方向に移動することができる複数ポイントの動的測定。複数ポイントは同時に測定される。この方法は、2つ以上のハイブリッドデバイスを必要とする。
上述のモジュールは、それぞれ、以下に、より詳細に説明する。
ポイント定義など、ハイブリッドデバイス10の動作によっては、人が画像内のポイントを選択することを必要とすることがあるものもある。画像は、典型的には、画面に表示され、したがって、例えば、マウス、トラックボール、ジョイスティック、又はタッチ画面を使用して、単純にカーソルを画像内の所望の位置に位置決めすることによってポイントを選択することができる。画面は、ハイブリッドデバイスの一体部分であることができ、又はタブレット、PC又は専用の遠隔制御ユニットなどのデバイスの遠隔にあることができる。
例示される実施形態のハイブリッドデバイス10は、完全に統合された解決策であるが、他の実施形態においては、ハイブリッドデバイスは、ICD20と、トータルステーション、レーザスキャナ、レーザトラッカ又はセオドライトなど、既存のデバイスの架台14などの他のシステム要素のうちの1つ又は複数に結合されるように配置されたコントローラ28とを備えることができる。
座標系
図2〜9をさらに参照すると、本文書では以下の座標系を参照する。
図2〜9をさらに参照すると、本文書では以下の座標系を参照する。
図2は、世界座標系を示し、世界座標系は、測定データが提供される3次元(3D:three dimensional)大域座標フレームである。ハイブリッドデバイス10は、世界座標系内に3D位置を有する。
図3は、デバイス座標系を示す。これはハイブリッドデバイス10に付随する。
図4及び5は、EDM座標系を示す。これは、EDM12に付随し、EDM12が異なる方向を向いたときEDM12とともに移動する。EDM座標系は、典型的には、デバイス座標系と同じ原点を有する。以下の説明のために、デバイス座標系に対するEDM座標系の現在の向きは、パン(水平角)及び傾斜(鉛直角)の観点から定義される。
図6及び7はカメラ座標系を示す。これはカメラ20に付随する。原点は、画像センサ32の中心Cにある。原点は、EDM座標系と固定位置合わせされた状態で移動する。カメラ外部のパラメータは、この座標系のEDM座標系に対する関係を定義する。図6は、カメラレンズ20a、焦点面FPL、焦点FPO、焦点距離FL、視野FV及びシーンSも示す。
図8はセンサ座標系を示す。これはカメラ20の焦点面FPLであり、原点はセンサ32の中心にある。図8は、画像Iとセンサ32との間のX及びYオフセットXoff、Yoff、画素サイズPh、Pw、画像の高さ及び幅Ih、Iw並びにセンサの高さ及び幅Sh、Swも示す。
図9は画像座標系を示す。これは画素サイズPh、Pw、クロッピング及びビニングセッティングによってセンサ座標系に関連する。
ポイント定義モジュール
このモジュールは、測定、較正などのためのポイントを定義するのに使用することができる。ポイントが定義されたとき、その対応する画像内の外観を取り込むこともできる(「スナップショット」として)。取り込まれたスナップショットパターンは、パターン認識又は特徴検出アルゴリズムを使用して自動的に測定ポイントの位置を画像に探し出し、追跡するために、後でポイント位置決定モジュールによって使用することができる。
このモジュールは、測定、較正などのためのポイントを定義するのに使用することができる。ポイントが定義されたとき、その対応する画像内の外観を取り込むこともできる(「スナップショット」として)。取り込まれたスナップショットパターンは、パターン認識又は特徴検出アルゴリズムを使用して自動的に測定ポイントの位置を画像に探し出し、追跡するために、後でポイント位置決定モジュールによって使用することができる。
ポイントは次の2つのうちの1つの方法によって定義するころができる。
1.EDM12は所望のポイントを向いている。距離測定が実施される。距離測定とともにEDM12の現在の方向が、ポイントの3D位置を定義する。カメラの固有及び外部のパラメータが、この3D位置を画像内の位置に投影するのに使用される。次いで、ポイントの外観をその画像位置におけるスナップショットとして取り込むことができる。
2.所望のポイントは、画像内で特定される。ポイントの外観をその画像位置におけるスナップショットとして取り込むことができる。次いで、EDM位置合わせモジュールは、EDM12を所望のポイントと位置合わせする。距離測定が実施される。距離測定とともにEDM12の現在の方向が、ポイントの3D位置を定義する。
1.EDM12は所望のポイントを向いている。距離測定が実施される。距離測定とともにEDM12の現在の方向が、ポイントの3D位置を定義する。カメラの固有及び外部のパラメータが、この3D位置を画像内の位置に投影するのに使用される。次いで、ポイントの外観をその画像位置におけるスナップショットとして取り込むことができる。
2.所望のポイントは、画像内で特定される。ポイントの外観をその画像位置におけるスナップショットとして取り込むことができる。次いで、EDM位置合わせモジュールは、EDM12を所望のポイントと位置合わせする。距離測定が実施される。距離測定とともにEDM12の現在の方向が、ポイントの3D位置を定義する。
ポイント位置決定モジュール
このモジュールは、パターン認識又は特徴検出アルゴリズムなどの画像処理アルゴリズムを使用して、画像内の測定ポイントを自動的に探し出すことができる。測定ポイントを探し出すために、測定ポイントの外観は既知である。測定ポイントの外観は、以下であり得る。
・特徴検出アルゴリズムを使用して自動的に画像内に探し出すことができる標的、円、十字などの既知のパターン。
・自然パターン。ポイントが定義され、次いで、国際出願PCT/GB2003/004606に説明されているものなどのパターン認識アルゴリズムを使用して、画像内で探し出されたとき、パターンのスナップショットをポイント定義モジュールによって取り込むことができる。
このモジュールは、パターン認識又は特徴検出アルゴリズムなどの画像処理アルゴリズムを使用して、画像内の測定ポイントを自動的に探し出すことができる。測定ポイントを探し出すために、測定ポイントの外観は既知である。測定ポイントの外観は、以下であり得る。
・特徴検出アルゴリズムを使用して自動的に画像内に探し出すことができる標的、円、十字などの既知のパターン。
・自然パターン。ポイントが定義され、次いで、国際出願PCT/GB2003/004606に説明されているものなどのパターン認識アルゴリズムを使用して、画像内で探し出されたとき、パターンのスナップショットをポイント定義モジュールによって取り込むことができる。
データ融合モジュール
EDM12、EDMの方向センサ16及びカメラ20からのデータは、測定を行うために融合される。これは、それぞれが異なる測定機能を提供するいくつかの方法によって実現することができる。本発明人は、既存のデバイスが一度に単一ポイントの静的測定しかできないことを特定しているが、本明細書に提示するハイブリッドデバイス10及び方法は、複数ポイントの動的測定及び測定の両方を同時に行うことを可能にする。
EDM12、EDMの方向センサ16及びカメラ20からのデータは、測定を行うために融合される。これは、それぞれが異なる測定機能を提供するいくつかの方法によって実現することができる。本発明人は、既存のデバイスが一度に単一ポイントの静的測定しかできないことを特定しているが、本明細書に提示するハイブリッドデバイス10及び方法は、複数ポイントの動的測定及び測定の両方を同時に行うことを可能にする。
ハイブリッドデバイス10が動作するために、自己較正モジュール(以下に説明する)がカメラ20の固有及び外部のパラメータを確立するためにシステムを較正するのにまず使用されることが好ましい。しかし、カメラ20の固有及び外部のパラメータは、当業者には明らかであるように、構築した設定から知ることができ、又は他の方法で確認することができる。
次いで、データ融合モジュールは、いくつかのモードで動作することができる。
モード1
このモードにより、平面(測定面)内を移動している複数ポイントの動的監視が可能になる。複数ポイントは同時に監視される。図10を参照すると、このモードの方法は以下の通りである。
1)セットアップ
a)ステップ40において、測定面が以下のように定義される。
i)3つ以上のポイントの3D位置が、ポイント定義モジュールを使用して定義される。
ii)3つ以上のポイントが、3D測定面を定義する。3つより多くのポイントがある場合、「最良適合」面が定義される。
iii)測定面の原点は、任意選択で、ポイント定義モジュールを使用してポイントを定義し、平面の座標系内のそのポイントの所望の座標を指定することによって設定することができる。
iv)平面のX/Y軸の方向は、任意選択で、ポイント定義モジュールを使用して2つのポイントによって線分を定義し、平面の座標系におけるその線分の所望の方向を指定することによって設定することができる。
b)ステップ42において、1つ又は複数の測定ポイントがポイント定義モジュールを使用して定義される。すべての測定ポイントは、測定面に位置し、移動するとき、すなわち、変位が平面内にあるとき、平面にとどまる。
2)測定
a)ステップ44において、ポイント位置決定モジュールは、画像内の各測定ポイントを探し出す。1つ又は複数の測定ポイントがカメラの視野の外側に移動した場合、EDM12、したがって、カメラは、任意選択で、測定ポイントを探索し、次いで視野に戻して、ポイント位置決定モジュールが測定ポイントを探し出すことを可能にするために、らせん探索パターンにわたってなど、一連の複数の方向にわたって回転することができる。
b)ステップ46において、カメラの固有の及び外部のパラメータとともにEDM12の現在の方向が、光線をカメラの焦点から各探し出されたポイントの画像座標を通して投影するのに使用される。画像は、画像露出中にEDM12の現在の方向で「タグ付け」されるか、又は他の方法で関連付けられる。タグ付けは、DSS22において実施される。「EDMの現在の方向」は、DSSが、画像が露出された時点の方向に画像を「タグ付け」したので、既知である。
c)ステップ48において、光線は、測定面と交わる。各光線の測定面との交点により、各測定ポイントの現在の位置が得られる。これらは、測定面内の各ポイントの3D座標又は各ポイントの2D座標のいずれかとして提示することができる。ステップ44〜48は、カメラからの各画像の各測定ポイントに対して1つの測定で繰り返して、測定データのストリームを用意する。
このモードにより、平面(測定面)内を移動している複数ポイントの動的監視が可能になる。複数ポイントは同時に監視される。図10を参照すると、このモードの方法は以下の通りである。
1)セットアップ
a)ステップ40において、測定面が以下のように定義される。
i)3つ以上のポイントの3D位置が、ポイント定義モジュールを使用して定義される。
ii)3つ以上のポイントが、3D測定面を定義する。3つより多くのポイントがある場合、「最良適合」面が定義される。
iii)測定面の原点は、任意選択で、ポイント定義モジュールを使用してポイントを定義し、平面の座標系内のそのポイントの所望の座標を指定することによって設定することができる。
iv)平面のX/Y軸の方向は、任意選択で、ポイント定義モジュールを使用して2つのポイントによって線分を定義し、平面の座標系におけるその線分の所望の方向を指定することによって設定することができる。
b)ステップ42において、1つ又は複数の測定ポイントがポイント定義モジュールを使用して定義される。すべての測定ポイントは、測定面に位置し、移動するとき、すなわち、変位が平面内にあるとき、平面にとどまる。
2)測定
a)ステップ44において、ポイント位置決定モジュールは、画像内の各測定ポイントを探し出す。1つ又は複数の測定ポイントがカメラの視野の外側に移動した場合、EDM12、したがって、カメラは、任意選択で、測定ポイントを探索し、次いで視野に戻して、ポイント位置決定モジュールが測定ポイントを探し出すことを可能にするために、らせん探索パターンにわたってなど、一連の複数の方向にわたって回転することができる。
b)ステップ46において、カメラの固有の及び外部のパラメータとともにEDM12の現在の方向が、光線をカメラの焦点から各探し出されたポイントの画像座標を通して投影するのに使用される。画像は、画像露出中にEDM12の現在の方向で「タグ付け」されるか、又は他の方法で関連付けられる。タグ付けは、DSS22において実施される。「EDMの現在の方向」は、DSSが、画像が露出された時点の方向に画像を「タグ付け」したので、既知である。
c)ステップ48において、光線は、測定面と交わる。各光線の測定面との交点により、各測定ポイントの現在の位置が得られる。これらは、測定面内の各ポイントの3D座標又は各ポイントの2D座標のいずれかとして提示することができる。ステップ44〜48は、カメラからの各画像の各測定ポイントに対して1つの測定で繰り返して、測定データのストリームを用意する。
モード2
このモードにより、任意の方向に移動することができる複数ポイントの静的測定が可能になる。複数ポイントは連続して測定される。図11を参照すると、このモードの方法は以下のとおりである。
1)セットアップ
a)ステップ50において、1つ又は複数の測定ポイントが、ポイント定義モジュールを使用して定義される。
2)測定
a)ステップ52において、EDM12は、測定ポイントの予測位置を向くように回転される。これはポイントが定義された位置であることができ、その位置はポイントが最後に測定された位置であり、又はポイントが前の位置などの予備知識に基づくことが予測される位置である。
b)ステップ54において、ポイント位置決定モジュールは、画像内の測定ポイントを探し出すのに使用される。測定ポイントがカメラの視野の外側に移動した場合、EDM12、したがって、カメラは、任意選択で、測定ポイントを探索し、視野内に戻して、ポイント位置決定モジュールが測定ポイントを探し出すことを可能にするために、らせん探索パターンにわたってなど、一連の複数の方向にわたって回転させることができる。
c)ステップ56において、EDM位置合わせモジュールは、ポイント位置決定モジュールによって画像内で特定されたポイントにEDM12を向け、測定ポイントの3D位置を用意するのに使用される。
d)ステップ52〜56は、各測定ポイントに対して繰り返される。
このモードにより、任意の方向に移動することができる複数ポイントの静的測定が可能になる。複数ポイントは連続して測定される。図11を参照すると、このモードの方法は以下のとおりである。
1)セットアップ
a)ステップ50において、1つ又は複数の測定ポイントが、ポイント定義モジュールを使用して定義される。
2)測定
a)ステップ52において、EDM12は、測定ポイントの予測位置を向くように回転される。これはポイントが定義された位置であることができ、その位置はポイントが最後に測定された位置であり、又はポイントが前の位置などの予備知識に基づくことが予測される位置である。
b)ステップ54において、ポイント位置決定モジュールは、画像内の測定ポイントを探し出すのに使用される。測定ポイントがカメラの視野の外側に移動した場合、EDM12、したがって、カメラは、任意選択で、測定ポイントを探索し、視野内に戻して、ポイント位置決定モジュールが測定ポイントを探し出すことを可能にするために、らせん探索パターンにわたってなど、一連の複数の方向にわたって回転させることができる。
c)ステップ56において、EDM位置合わせモジュールは、ポイント位置決定モジュールによって画像内で特定されたポイントにEDM12を向け、測定ポイントの3D位置を用意するのに使用される。
d)ステップ52〜56は、各測定ポイントに対して繰り返される。
モード3
このモードにより、任意の方向に移動することができる単一ポイントの動的測定が可能になる。図12を参照すると、このモードの方法は以下のとおりである。
1)セットアップ
a)ステップ60において、測定ポイントがポイント定義モジュールを使用して定義される。
2)測定
a)ステップ62において、EDM12は、測定ポイントの予測位置を向くように回転される。これはポイントが定義された位置であることができ、その位置はポイントが最後に測定された位置であり、又はポイントが前の位置などの予備知識に基づくことが予測される位置である)。
b)ステップ64において、ポイント位置決定モジュールは、画像内の測定ポイントを探し出すのに使用される。測定ポイントがカメラの視野の外側に移動した場合、EDM、したがってカメラは、任意選択で、測定ポイントを探索し、視野内に戻して、ポイント位置決定モジュールが測定ポイントを探し出すことを可能にするために、らせん探索パターンにわたってなど、一連の複数の方向にわたって回転させることができることに留意されたい。
c)ステップ66において、EDM位置合わせモジュールが、ポイント位置決定モジュールによって画像内で特定されたポイントにEDM12を向け、測定ポイントの3D位置を用意するのに使用される。
d)ステップ64〜66は、カメラからの各画像に対して1つの測定で繰り返して、測定データのストリームを用意する。
このモードにより、任意の方向に移動することができる単一ポイントの動的測定が可能になる。図12を参照すると、このモードの方法は以下のとおりである。
1)セットアップ
a)ステップ60において、測定ポイントがポイント定義モジュールを使用して定義される。
2)測定
a)ステップ62において、EDM12は、測定ポイントの予測位置を向くように回転される。これはポイントが定義された位置であることができ、その位置はポイントが最後に測定された位置であり、又はポイントが前の位置などの予備知識に基づくことが予測される位置である)。
b)ステップ64において、ポイント位置決定モジュールは、画像内の測定ポイントを探し出すのに使用される。測定ポイントがカメラの視野の外側に移動した場合、EDM、したがってカメラは、任意選択で、測定ポイントを探索し、視野内に戻して、ポイント位置決定モジュールが測定ポイントを探し出すことを可能にするために、らせん探索パターンにわたってなど、一連の複数の方向にわたって回転させることができることに留意されたい。
c)ステップ66において、EDM位置合わせモジュールが、ポイント位置決定モジュールによって画像内で特定されたポイントにEDM12を向け、測定ポイントの3D位置を用意するのに使用される。
d)ステップ64〜66は、カメラからの各画像に対して1つの測定で繰り返して、測定データのストリームを用意する。
モード4
このモードにより、任意の方向に移動することができる複数ポイントの動的測定が可能になる。複数ポイントは同時に測定される。この方法は、共通のポイントの組を同時に監視しているがハイブリッドデバイスのうちの一方だけがEDMを必要とする2つ以上のハイブリッドデバイスを必要とする。同期システムにより、複数のデバイスによって同期して画像が取り込まれることが確実になる。図13を参照すると、このモードの方法は以下のとおりである。
1)セットアップ
a)ステップ70において、共通の世界座標系内の各ハイブリッドデバイスの位置及び/又は向きは、標準測量方法を使用して確立される。例えば、EDM12を有するハイブリッドデバイスを使用して、世界座標系内の複数の基準ポイントの3D座標を測定することができる。他のハイブリッドデバイスのそれぞれからの各基準ポイントの測定された方向により、世界座標系内の各ハイブリッドデバイスの位置及び/又は向きを計算することが可能になる。
b)ステップ72において、1つ又は複数の測定ポイントが、ポイント定義モジュールを使用して定義される。各ポイントは、EDMを有する単一のハイブリッドデバイスを使用して定義される。
c)ステップ74において、各定義されたポイントの3D位置が、画像座標内に一つおきのハイブリッドデバイスに対して投影される。これにより、同じ測定ポイントに対応する画像内の特徴が容易に特定され、及び/又は測定ポイントの自然外観の「スナップショット」が一つおきのハイブリッドデバイスに対して測定されることが可能になる。
2)測定
a)ステップ76において、ポイント位置決定モジュールは、あらゆるハイブリッドデバイスに対して画像内の各測定ポイントを探し出す。
b)ステップ78において、測定ポイントの3D位置が計算される。各カメラの固有及び外部のパラメータ並びに各画像内の各ポイントの探し出された位置とともに世界座標系内の各ハイブリッドデバイスの既知の位置及び/又は向きにより、測定ポイントの3D位置を計算することが可能になる。
c)ステップ76〜78は、カメラからの各画像の各測定ポイントに対して1つの測定で繰り返して、測定データのストリームを用意する。
このモードにより、任意の方向に移動することができる複数ポイントの動的測定が可能になる。複数ポイントは同時に測定される。この方法は、共通のポイントの組を同時に監視しているがハイブリッドデバイスのうちの一方だけがEDMを必要とする2つ以上のハイブリッドデバイスを必要とする。同期システムにより、複数のデバイスによって同期して画像が取り込まれることが確実になる。図13を参照すると、このモードの方法は以下のとおりである。
1)セットアップ
a)ステップ70において、共通の世界座標系内の各ハイブリッドデバイスの位置及び/又は向きは、標準測量方法を使用して確立される。例えば、EDM12を有するハイブリッドデバイスを使用して、世界座標系内の複数の基準ポイントの3D座標を測定することができる。他のハイブリッドデバイスのそれぞれからの各基準ポイントの測定された方向により、世界座標系内の各ハイブリッドデバイスの位置及び/又は向きを計算することが可能になる。
b)ステップ72において、1つ又は複数の測定ポイントが、ポイント定義モジュールを使用して定義される。各ポイントは、EDMを有する単一のハイブリッドデバイスを使用して定義される。
c)ステップ74において、各定義されたポイントの3D位置が、画像座標内に一つおきのハイブリッドデバイスに対して投影される。これにより、同じ測定ポイントに対応する画像内の特徴が容易に特定され、及び/又は測定ポイントの自然外観の「スナップショット」が一つおきのハイブリッドデバイスに対して測定されることが可能になる。
2)測定
a)ステップ76において、ポイント位置決定モジュールは、あらゆるハイブリッドデバイスに対して画像内の各測定ポイントを探し出す。
b)ステップ78において、測定ポイントの3D位置が計算される。各カメラの固有及び外部のパラメータ並びに各画像内の各ポイントの探し出された位置とともに世界座標系内の各ハイブリッドデバイスの既知の位置及び/又は向きにより、測定ポイントの3D位置を計算することが可能になる。
c)ステップ76〜78は、カメラからの各画像の各測定ポイントに対して1つの測定で繰り返して、測定データのストリームを用意する。
自己較正モジュール
このモジュールにより、現場で実施することができる、固有及び外部のカメラパラメータの単純で迅速な較正が可能になる。外部のパラメータはEDM座標系に対する。較正方法は、同軸上に取り付けられたカメラ及び非同軸上に取り付けられたカメラの両方を較正することができる。較正方法は、単一の較正ポイントだけを必要とし、多くの場合、その較正ポイントの2つの観測だけが必要とされる。方法は、画像内の較正ポイントの絶対位置を知ることに高い精度まで依存しないが、むしろ、方法は、ポイント位置決定モジュールを使用して、画像内の較正ポイントの変位を精密に測定し、これは、はるかに高い精度及び精密度まで実現することができる。
このモジュールにより、現場で実施することができる、固有及び外部のカメラパラメータの単純で迅速な較正が可能になる。外部のパラメータはEDM座標系に対する。較正方法は、同軸上に取り付けられたカメラ及び非同軸上に取り付けられたカメラの両方を較正することができる。較正方法は、単一の較正ポイントだけを必要とし、多くの場合、その較正ポイントの2つの観測だけが必要とされる。方法は、画像内の較正ポイントの絶対位置を知ることに高い精度まで依存しないが、むしろ、方法は、ポイント位置決定モジュールを使用して、画像内の較正ポイントの変位を精密に測定し、これは、はるかに高い精度及び精密度まで実現することができる。
図14を参照すると、方法は以下のステップを含む。
1.ステップ80において、必要とされる入力データが取り込まれる。
2.ステップ82において、方法は、カメラの焦点距離、及び任意選択でレンズ歪みパラメータの値を求める。
3.ステップ84において、方法は、EDM座標系に対するカメラの横揺れの値を求める。
4.ステップ86において、方法は、EDM座標系に対するカメラのパン/傾斜の値を求める。
1.ステップ80において、必要とされる入力データが取り込まれる。
2.ステップ82において、方法は、カメラの焦点距離、及び任意選択でレンズ歪みパラメータの値を求める。
3.ステップ84において、方法は、EDM座標系に対するカメラの横揺れの値を求める。
4.ステップ86において、方法は、EDM座標系に対するカメラのパン/傾斜の値を求める。
必要とされる入力データを取り込む
1.以下に対する近似値が必要とされる。
a.EDM座標系に対するカメラ座標系の位置及び/又は向きが必要とされる。これらは、典型的には、デバイスの周知の機械設計から導き出すことができ、3つの並進値及び3つの回転値として表すことができる。
b.焦点距離 レンズの仕様書からの値を使用することができる。
c.画素サイズ カメラの仕様書からの値を使用することができる。
d.主ポイント 画像センサの中心を通過すると仮定される。
e.歪みパラメータ 光学系が何も歪みを示さないと仮定する。
2.次いで、単一の較正ポイントがユーザによって選択される。デバイス座標系内の較正ポイントの3D位置は、既知でなければならず、これは、典型的には、EDM12を較正ポイントに向け、距離測定を実施し、これを現在のEDMの方向と組み合わせて、3D位置を計算することによって確認される。ポイントがカメラから遠くに離れていればいるほど、方法は、較正ポイントの既知の位置の絶対誤差又はEDM座標系に対するカメラ座標系の提供された位置の誤差に対してより寛容になることに留意されたい。
3.まだ準備されていない場合、EDM12は、較正ポイントを向くように回転される。次いで、画像内の較正ポイントの位置が手動又は自動的のいずれかで配置される。ポイントが手動で探し出されても、いったんそれを探し出してしまうと、その後のステップにおいて、例えば、外観の「スナップショット」を撮り、次いで、ポイント位置決定モジュールを使用して、自動的にポイントを探し出すことによって自動的に探し出されることが可能になる。
4.光軸がEDM12のレーザと同軸であるように光学系が位置合わせされた場合、
画像内の較正ポイントの位置は、記録される(x0,y0)。EDMの方向のパン角及び傾斜角は記録される(h0及びv0)。主ポイントの位置の推定値は、(x0,y0)に更新することができる。
そうでない場合、
カメラは、画像内で較正ポイントが主ポイントとほぼ位置合わせされるまで回転される。(1)に用意された近似値により、この回転が自動的に実施されることが可能になる。次いで、ポイント位置決定モジュールが、画像内の較正ポイントを探し出すのに使用される。画像内の較正ポイントの位置は記録される(x0,y0)。EDMの方向のパン角及び傾斜角が記録される(h0及びv0)。
5.次いで、EDM12は、較正ポイントが画像内で移動するように傾斜される。画像内の移動が大きければ大きいほど、較正が一層正確になり、したがって、較正ポイントが画像の縁に近接するまで傾斜させることが有益である(が、必須ではない)。(1)に用意された近似値により、この回転は自動的に実施されることが可能となる。次いで、ポイント位置決定モジュールが、画像内の較正ポイントを探し出すのに使用される。画像内の較正ポイントの位置は記録される(x1及びy1)。EDMの方向のパン及び傾斜角は記録される(h1及びv1)。
6.ステップ(5)は、任意選択で、傾斜角及び/又はパン角の範囲に対して繰り返すことができる。
1.以下に対する近似値が必要とされる。
a.EDM座標系に対するカメラ座標系の位置及び/又は向きが必要とされる。これらは、典型的には、デバイスの周知の機械設計から導き出すことができ、3つの並進値及び3つの回転値として表すことができる。
b.焦点距離 レンズの仕様書からの値を使用することができる。
c.画素サイズ カメラの仕様書からの値を使用することができる。
d.主ポイント 画像センサの中心を通過すると仮定される。
e.歪みパラメータ 光学系が何も歪みを示さないと仮定する。
2.次いで、単一の較正ポイントがユーザによって選択される。デバイス座標系内の較正ポイントの3D位置は、既知でなければならず、これは、典型的には、EDM12を較正ポイントに向け、距離測定を実施し、これを現在のEDMの方向と組み合わせて、3D位置を計算することによって確認される。ポイントがカメラから遠くに離れていればいるほど、方法は、較正ポイントの既知の位置の絶対誤差又はEDM座標系に対するカメラ座標系の提供された位置の誤差に対してより寛容になることに留意されたい。
3.まだ準備されていない場合、EDM12は、較正ポイントを向くように回転される。次いで、画像内の較正ポイントの位置が手動又は自動的のいずれかで配置される。ポイントが手動で探し出されても、いったんそれを探し出してしまうと、その後のステップにおいて、例えば、外観の「スナップショット」を撮り、次いで、ポイント位置決定モジュールを使用して、自動的にポイントを探し出すことによって自動的に探し出されることが可能になる。
4.光軸がEDM12のレーザと同軸であるように光学系が位置合わせされた場合、
画像内の較正ポイントの位置は、記録される(x0,y0)。EDMの方向のパン角及び傾斜角は記録される(h0及びv0)。主ポイントの位置の推定値は、(x0,y0)に更新することができる。
そうでない場合、
カメラは、画像内で較正ポイントが主ポイントとほぼ位置合わせされるまで回転される。(1)に用意された近似値により、この回転が自動的に実施されることが可能になる。次いで、ポイント位置決定モジュールが、画像内の較正ポイントを探し出すのに使用される。画像内の較正ポイントの位置は記録される(x0,y0)。EDMの方向のパン角及び傾斜角が記録される(h0及びv0)。
5.次いで、EDM12は、較正ポイントが画像内で移動するように傾斜される。画像内の移動が大きければ大きいほど、較正が一層正確になり、したがって、較正ポイントが画像の縁に近接するまで傾斜させることが有益である(が、必須ではない)。(1)に用意された近似値により、この回転は自動的に実施されることが可能となる。次いで、ポイント位置決定モジュールが、画像内の較正ポイントを探し出すのに使用される。画像内の較正ポイントの位置は記録される(x1及びy1)。EDMの方向のパン及び傾斜角は記録される(h1及びv1)。
6.ステップ(5)は、任意選択で、傾斜角及び/又はパン角の範囲に対して繰り返すことができる。
カメラの焦点距離の値を求める
ピンホールカメラモデルを使用することにより、焦点距離を直接計算することが可能になる。
焦点距離=画素サイズx|(x1,y1)−(x0,y0)|/Tan(θ)
ここで、
θはr0とr1との間の角度であり、
r0は、EDMの方向がh0及びv0にあるときの光軸に対応する光線であり、
r1は、(h1−h0)及び(v1−v0)によりEDMの原点を中心としてr0を回転させた結果である。
ピンホールカメラモデルを使用することにより、焦点距離を直接計算することが可能になる。
焦点距離=画素サイズx|(x1,y1)−(x0,y0)|/Tan(θ)
ここで、
θはr0とr1との間の角度であり、
r0は、EDMの方向がh0及びv0にあるときの光軸に対応する光線であり、
r1は、(h1−h0)及び(v1−v0)によりEDMの原点を中心としてr0を回転させた結果である。
追加の観測がステップ6で記録された場合、パラメータ化されたレンズ歪みモデルの値も求めることができる。一般的な方式は、観測された画像座標と投影された画像座標(現在の歪みパラメータを使用して投影された)との間の相違の観点から誤差関数を公式化することであり、次いで、誤差関数を最小にするパラメータの値を求めるために標準最適化技法を適用することである。
光軸がEDM12のレーザと同軸であるように光学系が位置合わせされていなくて、歪みパラメータの値が求められている場合、放射状歪みの中心は、主ポイントの推定値と解釈することができる。
EDM座標系に対するカメラの横揺れの値を求める
上記のステップ4及び5で記録された画像座標の2つの組は、線分を定義する。較正ポイントが(x0,y0)からx1,y1)まで画像内の線形経路に続くようにEDM12が傾斜された場合、線の方向(Tan−1((y1−y0)/(x1−x0)))は、EDM12座標系内のカメラの横揺れの角度に直接関連している。したがって、線の方向を測定することにより、横揺れの角度を直接計算することが可能になる。
上記のステップ4及び5で記録された画像座標の2つの組は、線分を定義する。較正ポイントが(x0,y0)からx1,y1)まで画像内の線形経路に続くようにEDM12が傾斜された場合、線の方向(Tan−1((y1−y0)/(x1−x0)))は、EDM12座標系内のカメラの横揺れの角度に直接関連している。したがって、線の方向を測定することにより、横揺れの角度を直接計算することが可能になる。
EDM座標系に対するカメラのパン/傾斜の値を求める
このステップは、光軸がEDM12のレーザと同軸であるように光学系がまだ位置合わせされていない場合だけに関連する。
このステップは、光軸がEDM12のレーザと同軸であるように光学系がまだ位置合わせされていない場合だけに関連する。
焦点距離、カメラの横揺れ及び主ポイントの推定値は、上記の計算された値を用いて更新される。レンズ歪みパラメータが計算された場合、これらも更新される。
更新されたパラメータは、較正ポイントの既知の3D位置をまた画像座標内に投影するのに使用される。次いで、投影された位置は、探し出された位置と比較され、いずれの相違もEDM座標系内のカメラのパン角及び傾斜角に直接関連する。
EDM位置合わせモジュール
カメラ20からのデータとEDM12からのデータとを融合するために、画像内の特定のポイントに対応する表面のポイントにEDM12を向けることがしばしば必要とされる。自己較正モジュールがまずカメラ20の固有及び外部のパラメータを較正するのに使用されていることが好ましい。
カメラ20からのデータとEDM12からのデータとを融合するために、画像内の特定のポイントに対応する表面のポイントにEDM12を向けることがしばしば必要とされる。自己較正モジュールがまずカメラ20の固有及び外部のパラメータを較正するのに使用されていることが好ましい。
図15を参照すると、EDM12を画像内の特定のポイントと位置合わせする方法は、まず、カメラ20の光軸がEDM12の方向と同軸であるかどうかに依存する。
1.カメラがEDM12と同軸である場合、ステップ90aにおいて、カメラ固有及び外部のパラメータが、現在のEDMの方向を画像内のEDMの目標ポイントにまた投影するのに使用される。次いで、EDM12は、画像内の指定されたポイントがEDMの目標ポイントとして画像内の同じ位置に移動されるまで回転される。
2.カメラがEDM12と同軸でない場合、視差効果により、EDM12を画像内の指定されたポイントと位置合わせすることがより困難になる。視差の程度は、測定ポイントまでの距離によって決まり、問題はこの距離が未知であることである。この場合、ステップ90bにおいて、以下に説明するような方法を採用することができる。
1.カメラがEDM12と同軸である場合、ステップ90aにおいて、カメラ固有及び外部のパラメータが、現在のEDMの方向を画像内のEDMの目標ポイントにまた投影するのに使用される。次いで、EDM12は、画像内の指定されたポイントがEDMの目標ポイントとして画像内の同じ位置に移動されるまで回転される。
2.カメラがEDM12と同軸でない場合、視差効果により、EDM12を画像内の指定されたポイントと位置合わせすることがより困難になる。視差の程度は、測定ポイントまでの距離によって決まり、問題はこの距離が未知であることである。この場合、ステップ90bにおいて、以下に説明するような方法を採用することができる。
画像が取り込まれた時点におけるEDM12の既知の方向とともにカメラ固有及び外部のパラメータを使用することにより、画像内のポイントは世界座標内の3D光線又は「カメラ光線」として外に投影されることが可能になる。
次いで、EDM12は、その光線に沿ったポイントを向くように回転され、距離測定が実施される。距離測定及び現在のEDMの方向により、EDMの目標ポイントが得られる。カメラ光線からのEDMの目標ポイントの垂直距離が計算される。次いで、EDM12の向きが、カメラ光線からのEDMの目標ポイントの距離が可能な限り小さくなるまで調整される。これは反復最適化手法によって実現することができ、その場合、以下の条件のうちの1つ又は複数が満足されたとき反復は終了する。
・EDMの目標ポイントは、カメラ光線の許容差内にある。
・各反復におけるEDM12の向きの角変化は、方位駆動システム又は方向センサの分解能よりも小さい。
・反復の数は、所定の限度を超えている。
・EDMの目標ポイントは、カメラ光線の許容差内にある。
・各反復におけるEDM12の向きの角変化は、方位駆動システム又は方向センサの分解能よりも小さい。
・反復の数は、所定の限度を超えている。
ステップ92において、EDM12が位置合わせされると、以下の2つの選択肢がある。
1.距離測定とともに現在のEDMの方向により、ポイントの3D座標が得られる。又は
2.EDMの目標ポイントに最も近接したカメラ光線に沿ったポイントは、ポイントの3D座標を定義する。
1.距離測定とともに現在のEDMの方向により、ポイントの3D座標が得られる。又は
2.EDMの目標ポイントに最も近接したカメラ光線に沿ったポイントは、ポイントの3D座標を定義する。
カメラの角度分解能がEDM駆動システム18又は方向センサ16の角度分解能を超える場合、これにより、システムの潜在的測定分解能が増加するので、第2の方法が好ましくは採用される。
カメラ自動露出モジュール
測定精度及び頑健性は、照明の変化の影響を受けやすい。直射日光照度の変化が主な原因である。このモジュールは、画像Iの一部分内の画素強度に基づいてカメラの露出を調整するように構成された自動露出アルゴリズムを含む。例えば、画像内の平均画素強度が暗すぎる場合、このモジュールは、画像を明るくするために露出時間を長くし、又は絞りを開け、又は利得を上げる。これらの特徴は、当技術分野では周知である。
測定精度及び頑健性は、照明の変化の影響を受けやすい。直射日光照度の変化が主な原因である。このモジュールは、画像Iの一部分内の画素強度に基づいてカメラの露出を調整するように構成された自動露出アルゴリズムを含む。例えば、画像内の平均画素強度が暗すぎる場合、このモジュールは、画像を明るくするために露出時間を長くし、又は絞りを開け、又は利得を上げる。これらの特徴は、当技術分野では周知である。
図16を参照すると、ステップ100において、1つ又は複数の関心領域(ROI)が、画像I内で特定される。各ROIは画像I内の特徴に対応する。ROIは、ユーザによって特定することができ、又は特徴(複数可)の位置に基づいて自動的に設定することができる。
ステップ102において、自動露出アルゴリズムは、ROI内の画素だけを処理する。
ステップ104において、ある特徴がそのROIの外側に移動したかどうかに関して決定が行われる。そうである場合、特徴に関連付けられたROIが移動され、したがって、特徴はROIに戻される。ステップ104は繰り返される。
したがって、この方法は、自動露出のROIをそれらが画像内の測定ポイントの位置と位置合わせされた状態で常に保持されるように継続して更新するために画像内の測定ポイントの現在の位置を使用する。測定を実施しながら、ポイント位置決定モジュールは、画像内の各測定ポイントの現在の位置を提供する。しかし、ポイント位置決定モジュールがポイントを探し出すことができない場合、「最後に見た」位置、「定義された」位置又は予測された位置のいずれかが使用されるが、これらの場合、それらの領域に関連付けられた画素強度には、ポイント位置決定モジュールがポイントを見つけることができた場合の画素強度と比較して、より低い重み付けが与えられる。測定ポイントが視野内に何もない場合、全体画像などのデフォルト領域がROIに使用される。方法は、測定ポイントの露出が画像I内で最適である尤度を増加させる。
例示された実施形態のハイブリッドデバイス10は、説明したモジュールのそれぞれを含むが、他の実施形態においては、ハイブリッドデバイスは、説明したモジュールのうちの1つ又は複数を含むことができる。実施形態において、ハイブリッドデバイス又は測定デバイスは、デジタル画像を出力するように動作可能であり、ICDがEDMに対して固定位置合わせされた状態で移動するようにEDMに結合されるように配列される画像取込デバイスと、1つ又は複数のセンサ及びICDからデータを受け取るように配置されたコントローラであって、a)画像の露出中に画像をEDMの向きに関連付け、b)画像内の測定ポイントのうちの1つを探し出し、c)EDMの向きと組み合わせて画像内の測定ポイントの位置を使用して、測定デバイスに対する測定ポイントの方向を確立するように構成される、コントローラとを備えることができる。
上述の実施形態は、本発明を限定するのではなく、例示すること、及び当業者は添付の特許請求の範囲によって定義される本発明の範囲をから逸脱することなく多くの代替実施形態を設計することができることに留意されたい。特許請求の範囲において、かっこ内に配置された任意の参照符号は、特許請求の範囲を限定すると解釈してはならない。「備える(comprising)」という用語は、任意の請求項又は全体としての仕様書に列挙されているもの以外の要素又はステップの存在を除外しない。要素の単数形の参照は、そのような要素の複数形の参照を除外せず、逆も同様である。本発明の部分は、いくつかの個別要素を備えるハードウェアを用いて、又は適切にプログラミングされたコンピュータによって実装することができる。いくつかの部分を列挙したデバイス請求項において、これらの部分のうちのいくつかは、1つの及び同じハードウェアによって具現化することができる。ある測定が相互に異なる従属請求項に記載されるという単なる事実は、これらの測定の組合せを有利に使用することができないことを示してはいない。
Claims (31)
- 測定デバイスであって、
当該測定デバイスが、当該測定デバイスに対して1つ又は複数の測定ポイントの位置を決定するためのものであり、
当該測定デバイスが、非接触距離測定デバイス(EDM)と、前記非接触距離測定デバイスの向きを決定するための1つ又は複数のセンサとに結合されるように配置されており、
当該測定デバイスが、
デジタル画像を出力するように動作可能である画像取込デバイス(ICD)であり、該画像取込デバイス及び前記非接触距離測定デバイスが既知の位置合わせされた状態で移動するように配置されるように、取付けプラットフォームを介して前記非接触距離測定デバイスに間接的に結合されている、画像取込デバイスと、
1つ又は複数の前記センサ及び前記画像取込デバイスからデータを受け取るように構成されたコントローラであり、
a)前記1つ又は複数のセンサからのデータを使用して、画像の露出中に前記画像を前記非接触距離測定デバイスの向きに関連付け、
b)前記画像内の前記測定ポイントのうちの1つを探し出し、
c)前記非接触距離測定デバイスの向きと組み合わせて前記画像内の前記測定ポイントの位置を使用して、前記測定デバイスに対する前記測定ポイントの方向を確立するように構成されているコントローラと
を備える、測定デバイス。 - 前記非接触距離測定デバイスと、
前記非接触距離測定デバイスの向きを決定するための1つ又は複数の前記センサと
をさらに備える、請求項1に記載の測定デバイス。 - 前記コントローラが、前記非接触距離測定デバイスからデータを受け取るように構成されており、前記画像の露出中に前記画像を前記非接触距離測定デバイスの距離測定値に関連付けるように構成されている、請求項1又は2に記載の測定デバイス。
- 前記コントローラが、
前記画像内のある位置に前記非接触距離測定デバイスの目標ポイントを投影し、前記測定ポイントの外観を取り込むステップと、
前記測定ポイントに対応するとして特定された前記画像内の領域の外観を取り込むステップと
のうちの1つ又は複数によって前記画像内のその後の位置の前記測定ポイントの外観を取り込むように構成されている、請求項1〜3のいずれか一項に記載の測定デバイス。 - 前記非接触距離測定デバイスの向きを制御するための前記コントローラに応答する自動駆動システムをさらに備える、請求項1〜4のいずれか一項に記載の測定デバイス。
- 前記画像取込デバイスの光軸が、前記非接触距離測定デバイスの測定軸と同軸であり、
前記画像取込デバイスの固有及び外部のパラメータを使用して、現在の前記非接触距離測定デバイスの方向を前記非接触距離測定デバイスの目標ポイントに基づいて前記画像内に投影し、前記駆動システムを制御して、前記非接触距離測定デバイスの目標ポイントを前記画像内の測定ポイントと位置合わせするステップを含む、非接触距離測定デバイス位置合わせ機能を、前記コントローラが実施するように構成されている、請求項5に記載の測定デバイス。 - 前記画像取込デバイスの光軸が、前記非接触距離測定デバイスの測定軸と同軸ではなく、
(d)前記画像の露出中に前記非接触距離測定デバイスの向きとともに前記画像取込デバイスの固有及び外部のパラメータを使用して、世界座標において前記画像内の測定ポイントを3次元画像取込デバイスの光線として外に投影するステップと、
(e)前記駆動システムを制御して、前記非接触距離測定デバイスを前記画像取込デバイスの光線上のポイントと位置合わせし、次いで、距離測定を実施するステップと、
(f)前記測定された距離及び前記現在の非接触距離測定デバイスの方向に対応する非接触距離測定デバイスの目標ポイントを取得するステップと、
(g)前記画像取込デバイスの光線から前記非接触距離測定デバイスの目標ポイントの垂直距離を計算するステップと、
(h)前記画像取込デバイスの光線から前記非接触距離測定デバイスの目標ポイントの距離を低減する非接触距離測定デバイスの方向を見つけるために、ステップ(e)〜(g)を1回又は複数回繰り返す最適化手法を実施するステップと
を含む、非接触距離測定デバイスの位置合わせ機能を、 前記コントローラが実施するように構成されている、請求項5に記載の測定デバイス。 - 前記最適化手法が、
前記画像取込デバイスの光線からの前記非接触距離測定デバイスの目標ポイントの垂直距離が閾値より小さいこと、
反復における前記非接触距離測定デバイスの向きの角変化が、前記駆動システム又は前記非接触距離測定デバイスの方向センサの分解能よりも小さいこと、及び
反復の数が、所定の限度を超えていること、
の終了基準のうちの1つ又は複数が満足されるまでステップ(e)〜(g)を繰り返すステップを含む、請求項7に記載の測定デバイス。 - 距離測定とともに前記現在の非接触距離測定デバイスの方向を使用して、前記測定ポイントに現在対応する前記非接触距離測定デバイスの目標ポイントの3次元座標を取得するステップ、又は
前記非接触距離測定デバイスの目標ポイントに最も近接した前記画像取込デバイスの光線に沿ったポイントを使用して、前記測定ポイントの3次元座標を取得するステップ
を含む測定機能を、前記コントローラが実施するように構成されている、請求項6〜8のいずれか一項に記載の測定デバイス。 - 前記露出時間中におけるある時点、例えば、中間時点からの単一方向及び/又は距離の測定値を使用すること、又は
前記露出時間中に読み取られた複数の測定値を使用すること
によって、 前記コントローラが、前記露出時間中に非接触距離測定デバイスの方向又は距離の変化を補償するように構成されている、請求項1〜9のいずれか一項に記載の測定デバイス。 - 方向が前記画像取込デバイスの光軸と位置合わせされている光源であって、前記画像取込デバイスと固定位置合わせされた状態で移動するように前記画像取込デバイスに機械的に結合されている、光源を備える、請求項1〜10のいずれか一項に記載の測定デバイス。
- 照明の角度が、前記画像取込デバイスの視野角にほぼ一致する、請求項11に記載の測定デバイス。
- 前記カメラに入射する光をフィルタリングする帯域通過フィルタなどの統合光学フィルタを備え、及び/又は前記光が、太陽の発光スペクトルにおけるギャップを埋めるために特定の周波数を放射することができる、請求項1〜12のいずれか一項に記載の測定デバイス。
- 前記画像内の前記測定ポイントのそれぞれを探し出すステップと、
前記画像取込デバイスの固有及び外部のパラメータとともに前記非接触距離測定デバイスの現在の方向を使用して、光線が測定面と交わるように各探し出されたポイントの画像座標を通して前記画像取込デバイスの焦点から前記光線を投影するステップと
[モード1]によって、 前記コントローラが、3次元測定面内で移動している複数の前記測定ポイントの動的監視を実施するように構成されている、請求項1〜13のいずれか一項に記載の測定デバイス。 - i)前記測定ポイントが前記画像内にあるように前記非接触距離測定デバイスを回転させるように前記駆動システムを制御するように、
j)前記画像内の前記測定ポイントを探し出すように、及び、
k)前記測定ポイントの3次元位置を得るために前記測定機能が後に続く前記非接触距離測定デバイスの位置合わせ機能を実施するように、前記コントローラが構成されている、請求項9に記載の、又は請求項9に従属する場合の請求項10〜14のいずれか一項に記載の測定デバイス。 - 前記コントローラが、複数の前記測定ポイントのそれぞれに対してステップi)〜k)を連続して繰り返すように構成されている、請求項15に記載の測定デバイス。
- 前記コントローラが、前記画像取込デバイスからの一連の画像のそれぞれに対して1つの測定など、前記測定ポイントのうちのただ1つに対してステップj)〜k)を繰り返して、測定データのストリームを用意するように構成されている、請求項15又は16に記載の測定デバイス。
- 前記コントローラが、前記測定ポイントのうちの1つ又は複数を前記画像内で探し出すことができない場合、前記非接触距離測定デバイスが前記測定ポイントを探索し、位置の視野に戻すために一連の複数の方向にわたって回転されるように構成されている、請求項15〜17のいずれか一項に記載の測定デバイス。
- 前記画像内に定義された1つ又は複数の関心領域であって、各関心領域が測定ポイントを含む、関心領域に対して自動露出プロセスを実施し、
関連付けられた測定ポイントの測定された移動に従って及び/又は前記1つ又は複数のセンサからの非接触距離測定デバイスの方向データに従って関心領域を移動させるように、前記コントローラが構成されている、請求項1〜18のいずれか一項に記載の測定デバイス。 - 請求項1〜19のいずれか一項に記載の第1の測定デバイスと、
1つ又は複数の他の測定デバイスであり、それぞれが該他の測定デバイスに対して1つ又は複数の測定ポイントの方向を決定するように構成されている、1つ又は複数の他の測定デバイスと
を備える測定デバイスの配列であって、
前記他の測定デバイスのそれぞれが、
デジタル画像を出力するように動作可能である画像取込デバイスと、
前記画像取込デバイスの向きを決定するための1つ又は複数のセンサと、
1つ又は複数の前記センサ及び前記画像取込デバイスからデータを受け取るように構成されたコントローラであり、
(l)画像の露出中に前記画像を前記画像取込デバイスの向きに関連付け、
(m)前記画像内の前記測定ポイントのうちの1つを探し出し、
(n)前記画像取込デバイスの向きと組み合わせて前記画像内の前記測定ポイントの位置を使用して、前記他の測定デバイスに対する前記測定ポイントの方向を確立するように、構成されているコントローラを備え、
当該測定デバイスの配列が、前記第1の測定デバイス及び前記他の測定デバイスによって画像を同期して取り込ませるように構成された同期システムをさらに備えており、
(o)前記第1の測定デバイスの前記コントローラが、複数の測定ポイントの3次元位置を一つおきの測定デバイスの画像座標内に投影するように構成されており、
(p)各測定デバイスの前記コントローラが、各測定ポイントをそのそれぞれの画像内で探し出すように構成されており、
(q)前記コントローラのうちの1つが、各画像取込デバイスの固有及び外部のパラメータ並びに各画像内の各ポイントの探し出された位置とともに世界座標系内の各測定デバイスの既知の位置及び向きを使用して、前記測定デバイスに対して計算される各測定ポイントの3次元位置を決定するように構成され、
したがって、各測定デバイスの前記画像取込デバイスからの各画像に対して1つの測定で、ステップ(p)〜(q)を繰り返して、測定データのストリームを用意する、
測定デバイスの配列。 - 測定デバイスの固有及び外部の画像取込デバイスのパラメータを較正する方法であって、
前記測定デバイスが、請求項1〜20のいずれか一項に記載の測定デバイスとすることができ、前記測定デバイスが、デジタル画像を出力するように動作可能である画像取込デバイスであり、非接触距離測定デバイスに対して固定位置合わせされた状態で移動するように前記非接触距離測定デバイスに結合されている画像取込デバイスを備え、前記固有のパラメータが、前記画像取込デバイスのパラメータを記述し、前記外部のパラメータが、前記非接触距離測定デバイスの座標系に対する前記画像取込デバイスの座標系の位置及び向きを記述し、
当該方法が、
(a)前記非接触距離測定デバイスの座標系に対する前記画像取込デバイスの座標系の位置及び向き、
前記画像取込デバイスの焦点距離、
前記画像取込デバイスの画素サイズ、
光軸の前記画像取込デバイスの画像センサとの交点によって定義される主ポイントであって、第1の近似値が、任意選択で前記画像取込デバイスの画像センサの中心において測定される主ポイント、及び
前記画像取込デバイスの歪みパラメータ
の前記第1の近似値を確立するステップと、
(b)前記距離測定デバイスに対する既知の3次元位置を有する較正ポイントを選択するステップと、
(c)前記画像内の前記較正ポイントを探し出して、位置(x0,y0)を記録するステップと、
(d)前記非接触距離測定デバイスの方向のパン角及び傾斜角(h0及びv0)を記録するステップと、
(e)任意選択で、前記主ポイントの前記第1の近似値を更新して、(x0,y0)と等しくさせるステップと、
(f)前記較正ポイントが前記画像内で移動するように前記非接触距離測定デバイスの向きを変更するステップと、
(g)前記画像内の前記較正ポイントを探し出し、前記較正ポイントの画像座標(x1,y1)及び前記非接触距離測定デバイスの前記パン角及び傾斜角(h1及びv1)を記録するステップと、
(h)画像取込デバイスの焦点距離の値を求めるステップであって、
ピンホールカメラモデルを使用して前記焦点距離を計算することを含む、画像取込デバイスの焦点距離の値を求めるステップと、
(i)前記非接触距離測定デバイスの座標系に対して画像取込デバイスの横揺れの値を求めるステップであって、
(x0,y0)及び(x1,y1)と交わる線分を定義すること、及び
線の方向を測定して、横揺れの角度を計算することを含む、前記非接触距離測定デバイスの座標系に対して画像取込デバイスの横揺れの値を求めるステップと
を含む、方法。 - (j)前記非接触距離測定デバイスの座標系に対する画像取込デバイスのパン及び傾斜の値を求めるステップであって、
ステップ(a)において取得された焦点距離、画像取込デバイスの横揺れ及び主ポイントの前記第1の近似値をステップ(g)、(h)及び(e)において取得された対応する値を用いて更新することと、
前記更新されたパラメータを使用して、前記較正ポイントの前記既知の3次元位置を画像座標(x2,y2)内にまた投影することと、
投影された位置(x2,y2)を探し出された位置(x1,y1)と比較して、前記非接触距離測定デバイスの座標系内の前記画像取込デバイスの前記パン角及び傾斜角に直接関連する差(x2−x1,y2−y1)を確立すること
とを含む、前記非接触距離測定デバイスの座標系に対する画像取込デバイスの前記パン及び傾斜の値を求めるステップをさらに含む、請求項21に記載の方法。 - 測定デバイスに対して1つ又は複数の測定ポイントの位置を決定する方法であって、
前記測定デバイスが、非接触距離測定デバイス及び前記非接触距離測定デバイスの向きを決定するための1つ又は複数のセンサに結合されるように配置されており、
前記測定デバイスが、
デジタル画像を出力するように動作可能である画像取込デバイス(ICD)であって、該画像取込デバイス及び前記非接触距離測定デバイスが既知の位置合わせされた状態で移動するように配置されるように、取付けプラットフォームを介して前記非接触距離測定デバイスに間接的に結合されている画像取込デバイスと、
1つ又は複数の前記センサ及び前記画像取込デバイスからデータを受け取るように配置されたコントローラであって、当該方法の1つ又は複数のステップを実施するように構成されているコントローラとを備え、
当該方法が、
a)前記1つ又は複数のセンサからのデータを使用して、画像の露出中に前記画像を前記非接触距離測定デバイスの向きに関連付けるステップと、
b)前記画像内の前記測定ポイントのうちの1つを探し出すステップと、
c)前記非接触距離測定デバイスの向きと組み合わせて前記画像内の前記測定ポイントの位置を使用して、前記測定デバイスに対する前記測定ポイントの方向を確立するステップと
を含む、方法。 - 画像内の位置に非接触距離測定デバイスの目標ポイントを投影し、前記測定ポイントの外観を取り込むことと、
前記測定ポイントに対応すると特定された前記画像内の領域の外観を取り込むことと
のうちの1つ又は複数によって前記測定ポイントの外観を前記画像内のその後の位置に取り込むステップをさらに含む、請求項23に記載の方法。 - 前記画像取込デバイスの固有及び外部のパラメータを使用して、現在の非接触距離測定デバイスの方向を非接触距離測定デバイスの目標ポイントに基づいて前記画像内に投影し、駆動システムを制御して、前記非接触距離測定デバイスの目標ポイントを前記画像内の測定ポイントと位置合わせすることによって非接触距離測定デバイスの位置合わせ機能を実施するステップをさらに含む、請求項24に記載の方法。
- (d)前記画像の露出中に前記非接触距離測定デバイスの向きとともに前記画像取込デバイスの固有及び外部のパラメータを使用して、世界座標において前記画像内の測定ポイントを3次元画像取込デバイスの光線として外に投影するステップと、
(e)駆動システムを制御して、前記非接触距離測定デバイスを前記画像取込デバイスの光線上のポイントと位置合わせし、次いで、距離測定を実施するステップと、
(f)前記測定された距離及び前記現在の非接触距離測定デバイスの方向に対応する非接触距離測定デバイスの目標ポイントを取得するステップと、
(g)前記画像取込デバイスの光線から前記非接触距離測定デバイスの目標ポイントの垂直距離を計算するステップと、
(h)前記画像取込デバイスの光線から前記非接触距離測定デバイスの目標ポイントの距離を低減する非接触距離測定デバイスの方向を見つけるために、ステップ(e)〜(g)を1回又は複数回繰り返す最適化手法を実施するステップと
をさらに含む、請求項25に記載の方法。 - 前記画像内の前記測定ポイントのそれぞれを探し出すステップと、
前記画像取込デバイスの固有及び外部のパラメータとともに前記非接触距離測定デバイスの現在の方向を使用して、光線が測定面と交わるように各探し出されたポイントの前記画像座標を通して前記画像取込デバイスの焦点から前記光線を投影するステップとをさらに含む、請求項23〜26のいずれか一項に記載の方法。 - i)前記測定ポイントが前記画像内にあるように前記非接触距離測定デバイスを回転させるように駆動システムを制御するステップと、
j)前記画像内の前記測定ポイントを探し出すステップと、
k)前記非接触距離測定デバイスの目標ポイントを前記測定ポイントと位置合わせし、測定機能を実施して、前記測定ポイントの3次元座標を取得するステップと
をさらに含む請求項23〜26のいずれか一項に記載の方法。 - 複数の測定ポイントのそれぞれに対してステップi)〜k)を連続して繰り返すステップをさらに含む、請求項28に記載の方法。
- 前記画像取込デバイスからの一連の画像のそれぞれに対して1つの測定など、前記測定ポイントのうちのただ1つに対してステップj)〜k)を繰り返して、測定データのストリームを用意するステップをさらに含む、請求項28又は29に記載の方法。
- 請求項20に記載の測定デバイスの配列に対する複数の測定ポイントの位置を同時に決定する方法であって、
(o)測定デバイスのうちの1つによって取り込まれた画像内の複数の測定ポイントの3次元位置を一つおきの測定デバイスの画像座標内に投影するステップと、
(p)一つおきの測定デバイスの前記画像内の各測定ポイントを探し出すステップと、
(q)各画像取込デバイスの固有及び外部のパラメータ並びに各画像内の各ポイントの前記探し出された位置とともに世界座標系内の各測定デバイスの既知の位置及び向きを使用して、各測定ポイントの3次元位置を決定するステップと
を含む、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022131201A JP2022171677A (ja) | 2015-09-21 | 2022-08-19 | 画像取込デバイスを用いて測定ポイントを探し出すデバイス及び方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1516650.7A GB2542762B (en) | 2015-09-21 | 2015-09-21 | Measuring device and method |
GB1516650.7 | 2015-09-21 | ||
PCT/GB2016/052901 WO2017051153A1 (en) | 2015-09-21 | 2016-09-16 | Device and method to locate a measurement point with an image capture device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022131201A Division JP2022171677A (ja) | 2015-09-21 | 2022-08-19 | 画像取込デバイスを用いて測定ポイントを探し出すデバイス及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018527575A JP2018527575A (ja) | 2018-09-20 |
JP2018527575A5 true JP2018527575A5 (ja) | 2021-03-04 |
Family
ID=54544526
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018513429A Pending JP2018527575A (ja) | 2015-09-21 | 2016-09-16 | 画像取込デバイスを用いて測定ポイントを探し出すデバイス及び方法 |
JP2022131201A Pending JP2022171677A (ja) | 2015-09-21 | 2022-08-19 | 画像取込デバイスを用いて測定ポイントを探し出すデバイス及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022131201A Pending JP2022171677A (ja) | 2015-09-21 | 2022-08-19 | 画像取込デバイスを用いて測定ポイントを探し出すデバイス及び方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10598485B2 (ja) |
EP (1) | EP3353492B1 (ja) |
JP (2) | JP2018527575A (ja) |
ES (1) | ES2925257T3 (ja) |
GB (1) | GB2542762B (ja) |
WO (1) | WO2017051153A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2542762B (en) | 2015-09-21 | 2018-11-21 | Imetrum Ltd | Measuring device and method |
CN109754425B (zh) * | 2017-11-01 | 2023-07-28 | 浙江舜宇智能光学技术有限公司 | Tof摄像模组的标定设备及其标定方法 |
CN111192321B (zh) * | 2019-12-31 | 2023-09-22 | 武汉市城建工程有限公司 | 目标物三维定位方法与装置 |
DE102022201293A1 (de) * | 2022-02-08 | 2023-08-10 | Dr. Johannes Heidenhain Gmbh | Verfahren zur Verfolgung eines Retroreflektors und Vorrichtung zur Durchführung eines derartigen Verfahrens |
CN115014306B (zh) * | 2022-05-30 | 2024-08-27 | 中铁大桥局集团第四工程有限公司 | 一种基于单点铅垂投点的全站仪设站方法 |
CN116399311B (zh) * | 2023-04-12 | 2024-07-05 | 上海同增规划建筑设计事务所有限公司 | 一种建筑规划设计应用的测量装置 |
CN116539068B (zh) * | 2023-07-03 | 2023-09-08 | 国网山西省电力公司电力科学研究院 | 一种视觉测量系统柔性自检调节装置及方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5473368A (en) * | 1988-11-29 | 1995-12-05 | Hart; Frank J. | Interactive surveillance device |
US6034722A (en) | 1997-11-03 | 2000-03-07 | Trimble Navigation Limited | Remote control and viewing for a total station |
EP0952427B1 (en) * | 1998-04-24 | 2004-03-03 | Inco Limited | Automated guided apparatus |
GB0008303D0 (en) * | 2000-04-06 | 2000-05-24 | British Aerospace | Measurement system and method |
DE10359415A1 (de) | 2003-12-16 | 2005-07-14 | Trimble Jena Gmbh | Verfahren zur Kalibrierung eines Vermessungsgeräts |
ATE467817T1 (de) * | 2005-09-12 | 2010-05-15 | Trimble Jena Gmbh | Vermessungsinstrument und verfahren zur bereitstellung von vermessungsdaten unter verwendung eines vermessungsinstruments |
EP1971878B1 (de) * | 2006-01-13 | 2013-07-31 | Leica Geosystems AG | Tracking-verfahren und messsystem mit laser-tracker |
DE102007022361A1 (de) * | 2007-05-04 | 2008-11-06 | Friedrich-Schiller-Universität Jena | Vorrichtung und Verfahren zum berührungslosen Erfassen räumlicher Koordinaten einer Oberfläche |
CN201130008Y (zh) | 2007-12-21 | 2008-10-08 | 王丽丽 | 动态位移检测系统 |
JP5198078B2 (ja) * | 2008-01-24 | 2013-05-15 | 株式会社日立製作所 | 計測装置および計測方法 |
US8199194B2 (en) * | 2008-10-07 | 2012-06-12 | The Boeing Company | Method and system involving controlling a video camera to track a movable target object |
JP5559997B2 (ja) * | 2009-07-17 | 2014-07-23 | 株式会社トプコン | 位置測定方法及び位置測定装置 |
JP5654248B2 (ja) * | 2010-03-08 | 2015-01-14 | 株式会社トプコン | 多点測定方法及び測量装置 |
EP2405236B1 (de) * | 2010-07-07 | 2012-10-31 | Leica Geosystems AG | Geodätisches Vermessungsgerät mit automatischer hochpräziser Zielpunkt-Anzielfunktionalität |
JP5698480B2 (ja) * | 2010-09-02 | 2015-04-08 | 株式会社トプコン | 測定方法及び測定装置 |
US10983945B2 (en) * | 2010-09-30 | 2021-04-20 | Fitbit, Inc. | Method of data synthesis |
US20130335559A1 (en) * | 2010-12-13 | 2013-12-19 | Surveylab Group Limited | Mobile measurement devices, instruments and methods |
US9952316B2 (en) * | 2010-12-13 | 2018-04-24 | Ikegps Group Limited | Mobile measurement devices, instruments and methods |
US8687172B2 (en) * | 2011-04-13 | 2014-04-01 | Ivan Faul | Optical digitizer with improved distance measurement capability |
JP2014516409A (ja) * | 2011-04-15 | 2014-07-10 | ファロ テクノロジーズ インコーポレーテッド | レーザトラッカの改良位置検出器 |
DE102011077678A1 (de) | 2011-06-17 | 2012-12-20 | Bauhaus-Universität Weimar | Tachymeter und Verfahren zur Messwertaufnahme mittels des Tachymeters |
US9109889B2 (en) | 2011-06-24 | 2015-08-18 | Trimble Navigation Limited | Determining tilt angle and tilt direction using image processing |
JP6120521B2 (ja) * | 2012-10-19 | 2017-04-26 | 株式会社トプコン | 3次元測量装置及び3次元測量システム |
US20140267772A1 (en) | 2013-03-15 | 2014-09-18 | Novatel Inc. | Robotic total station with image-based target re-acquisition |
CN103278180B (zh) | 2013-05-24 | 2015-09-30 | 中国人民解放军国防科学技术大学 | 基于全站仪的视场内无控制点摄像测量系统标定方法 |
GB2542762B (en) | 2015-09-21 | 2018-11-21 | Imetrum Ltd | Measuring device and method |
-
2015
- 2015-09-21 GB GB1516650.7A patent/GB2542762B/en active Active
-
2016
- 2016-09-16 WO PCT/GB2016/052901 patent/WO2017051153A1/en active Application Filing
- 2016-09-16 JP JP2018513429A patent/JP2018527575A/ja active Pending
- 2016-09-16 EP EP16770331.3A patent/EP3353492B1/en active Active
- 2016-09-16 ES ES16770331T patent/ES2925257T3/es active Active
- 2016-09-16 US US15/761,075 patent/US10598485B2/en active Active
-
2020
- 2020-03-04 US US16/809,485 patent/US10976158B2/en active Active
-
2022
- 2022-08-19 JP JP2022131201A patent/JP2022171677A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10976158B2 (en) | Device and method to locate a measurement point with an image capture device | |
JP2018527575A5 (ja) | ||
US10580153B2 (en) | Optical navigation and positioning system | |
CN111521161B (zh) | 确定到目标的方向的方法、勘测装置和机器可读载体 | |
US9967545B2 (en) | System and method of acquiring three-dimensional coordinates using multiple coordinate measurment devices | |
US8699005B2 (en) | Indoor surveying apparatus | |
US9602811B2 (en) | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device | |
US8085387B2 (en) | Optical instrument and method for obtaining distance and image information | |
CN109425307B (zh) | 测量装置以及利用其将光图案投影到场景上的方法 | |
EP1347267A1 (en) | Surveying instrument and method for acquiring image data by using the surveying instrument. | |
CN104067111A (zh) | 用于跟踪和监测目标对象上的差异的自动化系统和方法 | |
US10514461B2 (en) | Tracking method and tracking system | |
WO2008089792A1 (en) | Optical instrument and method for obtaining distance and image information | |
JP2006520891A (ja) | 測量機器において画像処理を行う方法と装置 | |
WO2010054519A1 (zh) | 一种测量运动物体六维位姿的设备和方法 | |
JP2012063866A (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
CN112204345A (zh) | 移动设备的室内定位方法、移动设备及控制系统 | |
JP2017523425A (ja) | 追跡方法及び追跡システム | |
JP2020510903A (ja) | 環境のデジタルキャプチャのための画像収集の追跡、並びに関連のシステム及び方法 | |
CN113273176A (zh) | 使用基于图像的对象跟踪的自动化电影制作 | |
US20230324558A1 (en) | Sensor field-of-view manipulation | |
EP4258023A1 (en) | Capturing three-dimensional representation of surroundings using mobile device | |
US20200217661A1 (en) | Queue of data collection tasks for surveying instrument | |
WO2024118396A1 (en) | Generating a parallax free two and a half (2.5) dimensional point cloud using a high resolution image |