JP2022171677A - 画像取込デバイスを用いて測定ポイントを探し出すデバイス及び方法 - Google Patents

Abstract

【課題】測定ポイントの位置を決定するための新規な測定デバイスを提供する。【解決手段】測定デバイスに対して測定ポイントの位置を決定するための測定デバイス（１０）。測定デバイスは、ＥＤＭ（１２）及びＥＤＭの向きを決定するためのセンサ（１６）に結合される。測定デバイスは、デジタル画像を出力するように動作可能であり、ＩＣＤ（２０）がＥＤＭに対して既知の位置合わせされた状態で移動するようにＥＤＭに結合されるように配置されているＩＣＤを備える。コントローラ（２８）が、センサ及びＩＣＤからデータを受け取る。コントローラは、ａ）画像の露出中に画像をＥＤＭの向きに関連付け、ｂ）画像内の測定ポイントのうちの１つを探し出し、ｃ）ＥＤＭの向きと組み合わせて画像内の測定ポイントの位置を使用して、測定デバイスに対する測定ポイントの方向を確立する。【選択図】 図１

Description

発明の背景

建物、橋、ダム、構成部品／組立品などの構造体の移動を監視する周知の方法は、「トータルステーション」などの測量デバイスを使用することである。トータルステーションは、機械的プラットフォームに取り付けたレーザベースの電子距離測定器（ＥＤＭ：ｅｌｅｃｔｒｏｎｉｃ ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｅ）から成る。このプラットフォームのベースは、典型的には水平にした三脚などの安定した水平架台に配置される。トータルステーションの機構により、ＥＤＭは、垂直軸及び水平軸の両方を中心にして回転することによって任意の方向を向くことが可能になる。各回転軸上のエンコーダにより、ＥＤＭの現在の方向が分かることが可能になる。

監視用トータルステーションは、ＥＤＭが自動的に任意の所望の方向を向くことが可能になる電動駆動システムを含むことができる。ＥＤＭから測定ポイントまでの距離とともにエンコーダからのＥＤＭの現在の方向により、ポイントの３次元位置を決定することが可能になる。

トータルステーションは、ポイントの位置を３次元で測定することができる。しかし、トータルステーションは、移動する構造体を監視するタスクを与えられたとき、以下の制限のうちの１つ又は複数を有する。
・移動を監視するために、トータルステーションは、反射ターゲットを測定ポイントに取り付ける必要がある。
・必要とされる分解能及び精度を実現するために、トータルステーションは、典型的には各測定を実施するのに数秒を要し、したがって、電車が線路の上を通過するときの線路の移動など、動的測定を実施することができない。
・トータルステーションは、一度に単一ポイントしか測定することができず、複数ポイントを監視する場合、それぞれは連続して測定しなければならず、すなわち、データは一度に単一ポイントだけから取り込まれる。
・測定分解能は、エンコーダの角度分解能（典型的には１秒角の程度）で制限されることがある。
・反射プリズムの設計によっては、測定誤差の顕著な発生源となり得る。

本発明の第１の態様によれば、請求項１に記載の測定デバイスが提供される。

したがって、第１の態様による測定デバイスは、アルゴリズムが画像内の測定ポイントを正確に見つけ、方向情報を使用してデバイスに対してどこに測定ポイントがあるのかを決定することができるように、画像露出中にＥＤＭの方向を関連付ける。画像露出は時間周期にわたって行われる。これは、ＥＤＭの向きが画像露出中に変化していても精度が維持されることを意味する。ＥＤＭの向きは、意図的に（例えば、ＥＤＭは移動する測定ポイントを追跡する）又は非意図的に（例えば、取付けブラケット／三脚の振動又は熱膨張）変化している可能性がある。

測定デバイスのある任意選択的な特徴は、請求項１～１９に定義されている。追加の任意選択的な特徴を以下に記載する。

ＩＣＤは、ＩＣＤがＥＤＭに対して固定位置合わせされた状態で移動するように、ＥＤＭに結合するように配置することができる。

請求項１４に記載の平面を定義するのに使用されるより多くの測定ポイントのうちの３つは、請求項１４に記載の特徴によって取り込むことができる。

本発明の他の態様によれば、請求項２０に記載の測定デバイスの配列が提供される。配列の任意選択的な特徴を以下に記載する。

投影された測定ポイントは、請求項４に記載の特徴によって定義することができる。

以下は、本発明のすべての態様による測定デバイス及び／又は配列の任意選択的な特徴である。

光源はレーザを備えることができる。

ＩＣＤは、デジタルカメラと、カメラに結合された光学ユニットとを備えることができる。

ＥＤＭの向きは、露出時間の中間時点においてなど、露出時間中のある時点の単一方向の表示数値を使用することによって、又は露出時間の開始及び終了における表示数値の平均など、露出時間中に読み取られた複数の表示数値を組み合わせることによって、画像に関連付けることができる。

ＥＤＭは、レーザ測距器を備えることができる。

各測定デバイスのコントローラは、ハードウェアに実装することができ、又は定められた機能を提供するように構成されたコンピュータプログラムコードを含むことができる。

測定ポイントは、パターン認識又は特徴検出によって画像内で探し出すことができる。

本発明の他の態様によれば、請求項２１に記載の測定デバイス用の固有及び外部の画像取込デバイス（ＩＣＤ：ｉｍａｇｅ ｃａｐｔｕｒｅ ｄｅｖｉｃｅ）のパラメータを較正する方法が提供される。方法におけるある任意選択的な特徴は、請求項２２に定義されている。追加の任意選択的な特徴を以下に記載する。

方法のステップ（ｃ）、（ｄ）及び（ｅ）は、以下を含むことができる。
ＩＣＤの光軸がＥＤＭと同軸である場合、
必要に応じて、ＥＤＭが較正ポイントを向くように回転され、
画像内の較正ポイントの位置が（ｘ０，ｙ０）として記録され、
ＥＤＭ方向のパン角及び傾斜角が記録され（ｈ０及びｖ０）、
主ポイントの位置の推定値を（ｘ０，ｙ０）に更新することができ、
そうでない場合、
必要に応じて、較正ポイントが主ポイントとほぼ位置合わせされるまでＥＤＭが回転され、
画像内の較正ポイントの位置が（ｘ０，ｙ０）として記録され、
ＥＤＭの方向のパン角及び傾斜角が記録される（ｈ０及びｖ０）。

ステップ（ｆ）の傾斜は、較正ポイントを画像の縁に近接して配置するのに十分であり得る。これは較正の精度を改善することができる。

ステップ（ｆ）及び（ｇ）は、複数の傾斜角及び／又はパン角に対して繰り返すことができる。

ピンホールカメラモデルは、以下を使用して計算することができる。
焦点距離＝画素サイズｘ｜（ｘ１，ｙ１）－（ｘ０，ｙ０）｜／Ｔａｎ（θ）
ここで、
θはｒ０とｒ１との間の角度であり、
ｒ０は、ＥＤＭの方向がｈ０及びｖ０であるときの光軸に対応する光線であり、
ｒ１は、（ｈ１－ｈ０）及び（ｖ１－ｖ０）によりＥＤＭの原点を中心としてｒ０を回転させた結果である。

ステップ（ｆ）及び（ｇ）が複数回繰り返された場合、パラメータ化されたレンズ歪みモデルの値を求めることができ、
誤差関数が、観測された画像座標と投影された画像座標との間の相違の観点から公式化され、
最適化技法が、誤差関数を最小にするパラメータの値を求めるために適用される。

ＩＣＤの光軸がＥＤＭと同軸ではなく、歪みパラメータの値を求めていた場合、放射状歪みの中心は、主ポイントの推定値と解釈することができる。

この態様は、第１の態様に対して説明したものなど、本態様の方法を実施するように構成されている測定デバイスまで拡大することができる。

本発明の他の態様によれば、請求項２３に記載の１つ又は複数の測定ポイントの位置を決定する方法が提供される。方法におけるある任意選択的な特徴は、請求項２４～３０に定義されている。追加の任意選択的な特徴を以下に記載する。

最適化手法は、以下の終了基準のうちの１つ又は複数が満足されるまでステップ（ｅ）～（ｇ）を繰り返すステップを含むことができる。
すなわち、
ＩＣＤの光線からのＥＤＭの画像ポイントの垂直距離は、相対的に小さい場合、
反復におけるＥＤＭの向きの角変化は、駆動システム又はＥＤＭの方向センサの分解能よりも小さい場合、
反復の数は、所定の限度を超えている場合
のうちの１つ又は複数が満足されるまでステップ（ｅ）～（ｇ）を繰り返すステップを含むことができる。

方法は、
距離測定とともに現在のＥＤＭの方向を使用して、今は測定ポイントに対応するＥＤＭの目標ポイントの３次元座標を取得するステップ、又は
ＥＤＭの目標ポイントに最も近接したＩＣＤの光線に沿ったポイントを使用して、測定ポイントの３次元座標を取得するステップ
を含むことができる。

方法は、
露出時間中にＥＤＭの方向又は距離の表示数値が変化しているかどうかを決定し、そうである場合、
露出時間中にある時点、例えば、中間時点からの単一方向及び／又は距離の表示数値を使用することによって、又は
露出時間中に読み取られた複数の表示数値を使用することによって、
露出時間中のＥＤＭの方向又は距離の変化を補償するステップを含むことができる。

方法は、
画像露出中に、ＩＣＤの光軸と位置合わせされた光源を向けるステップであって、光源は、ＩＣＤと固定位置合わせされた状態で移動するようにＩＣＤに機械的に結合される、光源を向けるステップを含むことができる。

照明角度は、ＩＣＤの視野角にほぼ一致することができる。

光源はレーザを備えることができる。

方法は、
帯域通過フィルタなどの統合光学フィルタを用いてＩＣＤに入射する光をフィルタリングするステップを含むことができる。

方法は、
測定ポイントのうちの１つ又は複数がＣＤの視野の外側に移動したかどうかを決定し、そうである場合、測定ポイントを探索し、位置の視野に戻すために一連の複数の方向にわたってＥＤＭを回転させるステップを含むことができる。

方法は、
画像内に定義された１つ又は複数の関心領域（ＲＯＩ）に対して自動露出プロセスを実施するステップであって、各ＲＯＩが測定ポイントを含む、実施するステップと、
関連付けられた測定ポイントの測定された移動に従って、及び／又は１つ又は複数のセンサからのＥＤＭの方向データに従ってＲＯＩを移動させるステップと
を含むことができる。

本発明の他の態様によれば、請求項３１に記載の方法が提供される。この態様の任意選択的な特徴を以下に記載する。

方法は、
各測定デバイスのＩＣＤからの各画像に対して１つの測定で、ステップ（ｐ）及び（ｑ）を繰り返して、測定データのストリームを用意するステップを含むことができる。

以下は、本発明のすべての態様による方法の任意選択的な特徴である。

方法ステップの一部又は全部をコンピュータで実装することができる。

次に、本発明の実施形態を厳密に例だけとして添付の図面を参照して説明する。

本発明の実施形態によるハイブリッドデバイスの構成図である。 世界座標系を示す図である。 デバイス座標系を示す図である。 ＥＤＭ座標系を示す図である。 ＥＤＭ座標系を示す図である。 カメラ座標系を示す図である。 カメラ座標系を示す図である。 センサ座標系を示す図である。 画像座標系を示す図である。 図１のハイブリッドデバイスの第１の測定動作モードの流れ図である。 図１のハイブリッドデバイスの第２の測定動作モードの流れ図である。 図１のハイブリッドデバイスの第３の測定動作モードの流れ図である。 図１のハイブリッドデバイスの第４の測定動作モードの流れ図である。 図１のハイブリッドデバイスの自己較正の方法の流れ図である。 図１のハイブリッドデバイスのＥＤＭの位置合わせの方法の流れ図である。 図１のハイブリッドデバイスの自動露出方法の流れ図である。

概要として、本発明の実施形態は、上記背景の項目において特定された制限のうちの１つ又は複数に対処するために非接触距離測定デバイス（ＥＤＭ）と組み合わせて、デジタルカメラなどの画像取込デバイス（ＩＣＤ）を使用する。そのようなデバイスは、以下の説明において「ハイブリッドデバイス」として表される。ハイブリッドデバイスは、画像の露出中に画像をＥＤＭの向きに関連付け、画像内の測定ポイントのうちの１つを探し出し、ＥＤＭの向きと組み合わせて画像内の測定ポイントの位置を使用して、ハイブリッドデバイスに対する測定ポイントの方向を確立するように構成されたコントローラを含む。本発明人は、本発明の実施形態によるハイブリッドデバイス及び／又は方法が周知のシステムに対して以下の利点のうちの１つ又は複数を有することができることを見いだしている。
・動的測定を実施する機能、
・複数ポイントを同時に測定する機能、
・測定ポイントに取り付ける反射ターゲットを必要としないデバイス、
・すべての測定を実際の単位（例えば、ｍｍ）で提供することができるデバイス、
・既存のトータルステーションよりも著しく高い分解能まで測定することができるデバイス、
・大きな測定面積を有することができる、例えば、デバイスとの明確な見通し線を有する任意のポイントを監視することができる、デバイス、
・動的移動を測定することができるデバイス、
・複数ポイントを同時に測定することができるデバイス、
・現場のユーザによって実施することができる単純で、迅速な較正プロセスを有するデバイス、
・ＥＤＭのレーザを画像内の対応するポイントと位置合わせする頑健な方法を有することにより、正確な測定をすることができるデバイス、
・照明の変化を管理するための頑健な方法を有することにより、正確な測定をすることができるデバイス、及び
・周囲照明が周知のデバイスには十分でないとき、動作することができるデバイス。

ハイブリッドデバイス
図１を参照すると、本発明の実施形態によるハイブリッドデバイスが、１０において全体的に示される。

ハイブリッドデバイス１０は、取付けプラットフォーム１４に結合された非接触距離測定デバイス（ＥＤＭ）１２を含み、ＥＤＭ１２が方向の範囲に向くことが可能になる機構を含む。センサ１６が、ＥＤＭ１２が向いている方向を検出するように設けられている。ハイブリッドデバイス１０は、任意選択で、ＥＤＭ１２が指定された方向に駆動されることが可能になる駆動システム１８を含むことができる。ＥＤＭ１２は、非接触距離測定を実施するための任意の適切なデバイスを備えることができる。ＥＤＭ１２、取付けプラットフォーム１４、センサ１６及び駆動システム１８は、周知のトータルステーション、レーザスキャナ又はレーザトラッカと同じか又は同様であることができる。取付けプラットフォーム１４は、三脚（図示せず）などの二次マウントに取り付けることができる。

ハイブリッドデバイス１０は、例示される実施形態においてカメラ２０である画像取込デバイス（ＩＣＤ）２０も含む。カメラ２０は、カメラ２０がＥＤＭ１２と固定位置合わせされた状態で移動するように取付けプラットフォーム１４に結合されている。必須要件ではないが、カメラの光軸はＥＤＭの方向とほぼ位置合わせされ、いくつかの実施形態において、カメラの光軸は、ＥＤＭ１２のレーザと同軸でもよいことが好ましい。数百ヘルツで動作するカメラは、容易に入手可能である。これにより、高い動的移動を監視することが可能になる。適切なレンズにより、カメラは、広い視野を有し、したがって、多数の測定ポイントを同時に監視することができる。適切なパターン認識又は特徴検出技法を使用することによって、カメラは、測定ポイントにターゲットを取り付ける必要なく、移動を監視することができる。国際出願ＰＣＴ／ＧＢ２００３／００４６０６に説明されているものなどのアルゴリズムを使用することにより、０．０１秒角程度の分解能、すなわち、典型的なトータルステーションのエンコーダよりも１００倍優れた分解能による角運動測定が可能になる。

ハイブリッドデバイス１０は、画像の露出中に画像をＥＤＭ１２の向きに関連付け、画像内の測定ポイントのうちの１つを探し出し、ＥＤＭの向きと組み合わせて画像内の測定ポイントの位置を使用して、測定データＭＤを出力するのに使用することができる、測定デバイスに対する測定ポイントの方向を確立するように構成されたコントローラ２８も含む。コントローラ２８は、カメラ２０の方向及び／又は画像露出時間中のＥＤＭ距離表示数値が既知であるように配置されたデータ同期サブシステム（ＤＳＳ）２２を含む。これにより、カメラ２０からのデータをＥＤＭ１２／及びセンサ１６からのデータと融合することが可能となり、カメラ２０が移動しても、又はハイブリッドデバイス１０からのターゲットの距離が変化しても、精度が保証される。カメラ２０は、いくつかの原因、例えば、ハイブリッドデバイス１０の方向の意図的な変更又は三脚の脚の熱膨張による傾斜角の変化などのその架台の移動により移動することがある。ハイブリッドデバイス１０からターゲットまでの距離は、ターゲットが動的に移動している場合、変化していることがある。カメラ２０の方向は、ＥＤＭの方向センサ１６から、及び較正データから推定することができる。方向／距離が露出時間中に変化している場合、戦略は、露出時間の中間時点においてなど、露出時間中のある時点の単一方向／距離の表示数値の使用、又は露出時間の開始及び終了における表示数値の平均など、露出時間中に読み取られた複数の表示数値を組み合わせるステップを含むことができる。

画像の露出中に画像をＥＤＭ１２の向きでタグ付するステップ又は関連付けるステップは、多くの方法で実現することができる。一例において、ＥＤＭ１２からの各距離表示数値及び方向センサ１６からの各方向表示数値は、表示数値のタイムスタンプでタグ付けされる。単純なデータ構造を使用して、タイムスタンプと表示数値データとを関連付けることができる。ＥＤＭ１２及び方向センサ１６は、表示数値のストリームを、典型的にはＩＣＤ２０のフレーム率よりも著しく高い速度で提供する。タイムスタンプされた表示数値は、それらを無限の時間にわたって記憶する、先入れ先出し待ち行列などのバッファに配置される。ＩＣＤ２０からの各画像は、その画像の露出時間の開始及び終了を示すタイムスタンプでタグ付けされる。ＤＳＳ２２は、画像を受け取ったとき、必要とされる表示数値の組に関して、例えば、露出時間の開始及び終了におけるＥＤＭの距離及び方向表示数値に関してバッファに問い合わせを行うことができる。次いで、これらの表示数値は、平均化などの適切な方法で組み合わせることができ、次いで、組み合わせた表示数値は、組み合わせた表示数値及び画像を単純なデータ構造に記憶するなどの任意の適切な手段によって画像に関連付けすることができる。露出時間の開始及び終了を示すタイムスタンプ、及びＥＤＭの距離／方向センサの表示数値のタイムスタンプは、共通のクロック、又は複数のクロックが使用される場合は、同期クロックのいずれかから生じる。

ＥＤＭの距離表示数値は、ＥＤＭ１２内でタイムスタンプすることができる。或いは、ＤＳＳ２２は、表示数値をＥＤＭ１２から受け取る時点においてタイムスタンプを表示数値に関連付けることができる。後者の方式は、実施される実際の表示数値とＤＳＳ２２によって受け取られる表示数値との間の待ち時間が重要でないか、又は少なくとも既知であることを必要とする。方向センサ１６からの表示数値は、同様の方法でタイムスタンプすることができる。

ＩＣＤによっては、例えば、画像露出の開始におけるタイムスタンプを用いて、画像をタイムスタンプすることができるものもある。ＩＣＤ２０が露出の開始だけをタイムスタンプすることができ、露出の終了をタイムスタンプすることができない場合、終了のタイムスタンプは、既知の露出時間を加えることによって計算することができ、露出時間は、コントローラ２８内の自動露出モジュールによって分かる。逆に、ＩＣＤ２０が露出の終了だけをタイムスタンプすることができる場合、開始は、既知の露出時間を減算することによって計算することができる。或いは、デジタルトリガ信号を使用して露出を開始（及び停止）するのにＩＣＤを制御することができることは一般的である。そのトリガ信号がコントローラ２８によって生成された場合、各画像に対する露出の開始及び終了におけるタイムスタンプは、コントローラ２８によって分かる。

コントローラ２８は、駆動制御コマンドＤＣＣを駆動システム１８に提供し、及び／又は露出制御コマンドＥＣＣを画像取込デバイス２０に提供することができる。露出制御は、カメラの露出時間を変えることによって、又はレンズの開口サイズを変更することによって実現することができる。

コントローラ２８は、ハードウェアとソフトウェアとの組合せから成ることができる。一例において、ハードウェアは、プロセッサ、メモリ、及び入出力機能を含む可能性がある。例えば、ハードウェアは、１つ又は複数のマイクロコントローラ、埋め込み型コンピュータ、ＡＳＩＣ、又はＰＣなどの独立コンピュータであり得る。ＩＣＤ２０と連絡する適切なインターフェースが用意され、方向センサ１６、ＥＤＭ１２などと連絡する方法が用意される。適切なソフトウェアを有するハードウェアは、ＩＣＤ２０からのデータを扱うことができ、ハイブリッドデバイスのコントローラ２８の機能を実施することもできるはずである。「ポイント位置決定」などのこれらの機能のうちのいくつかは、極めて計算負荷が高いことがあり、したがって、ハードウェアは適切に強力であるべきである。しかし、当業者は、過度の負担なく自分の通常の一般的知識と組み合わせて、本明細書に提供される教示に基づいて本発明の実施形態によるハイブリッドデバイスを実施することができるであろう。いくつかの実施形態において、ＤＳＳ２２は、コントローラ２８に通信可能に結合された別個のコントローラで実行させることができる。

トータルステーションなどの多くの既存のデバイスがデバイスのファームウェアを実行するマイクロコントローラ又は埋め込み型コンピュータをすでに内蔵することにも留意されたい。

トータルステーションなどのデバイスの製造業者は、デバイスの機能がソフトウェアインターフェースを介してプログラムで制御されることが可能になるソフトウェア開発キット（ＳＤＫ）を通常提供する。トータルステーションの場合、ＳＤＫがＵＳＢ、ＲＳ２３２、イーサネット（ｅｔｈｅｒｎｅｔ）（有線又は無線）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）などのインターフェースを介してトータルステーションと連絡することは普通である。次いで、ハイブリッドデバイスのコントローラ２８は、ＳＤＫの適切なソフトウェア機能を呼び出して、トータルステーションに回転、ストリーム距離及び角度データなどを実施させるように命令することができる。この方式は、本発明の実施形態によるハイブリッドデバイス１０が、既存のトータルステーションの「アドオン」を介して作り出すことができることを意味する。

或いは、完全に統合された解決策には、ハイブリッドデバイス１０のコントローラ２８を、トータルステーションと一体であるハードウェアで実行するソフトウェアに実装することができる。この場合、ハイブリッドデバイスのコントローラは、ＳＤＫを介さなくてもトータルステーションのファームウェアと直接連絡することができる。

ハイブリッドデバイス１０は、任意選択で、夜間、トンネル内、又は橋の下など、周囲照明が十分でないときでも、追加の外部光源を必要とすることなく動作することを可能にするように配置された、統合された光源２４を含むことができる。光源２４の方向は、カメラ２０の光軸と位置合わせされ、光源２４は、カメラ２０と固定位置合わせされた状態で移動するように支持体１４に結合される。照明角度は、カメラ２０の視野角とほぼ一致している場合、最適である。カメラ２０の視野角が適切である場合、レーザ光源を使用することができ、そのレーザ光源は、ＥＤＭ１２に使用されるもの、又はある周知の測量デバイスに見出される「誘導灯」と同じであり得る。

ハイブリッドデバイス１０は、任意選択で、変化する直射日光照度の影響を低減するように配置された統合光学フィルタ２６を含むことができる。光学フィルタ２６は、太陽の発光スペクトルのディップと整合させるために、カメラ２０に入射する光をフィルタリングする帯域通過フィルタとして実装することができる。任意選択的な光源２４は、太陽の発光スペクトルのギャップを埋めるためにこの周波数で放射するように一致させることができる。理解されるように、地球に入射する太陽放射のスペクトルは、数多くのディップを有する。これらのディップのうちの１つは、ほぼ９３７ｎｍを中心とするが、他を使用することができる。

コントローラ２８は、好ましくは、以下のモジュールの一部又は全部を実施するように構成される。すなわち、
１．測定ポイントを定義するためのポイント定義モジュール。
２．パターン認識又は特徴検出アルゴリズムを使用して自動的に画像内の測定ポイントを探し出すポイント位置決定モジュール。
３．任意の未知のカメラ固有及び外部のパラメータを確認するように構成された自己較正モジュール。
４．ＥＤＭ位置合わせモジュール。現在のＥＤＭの方向でタグ付された画像内のポイントを所与として、このモジュールは、その同じポイントを向いているようにＥＤＭ１２を位置合わせする。
５．ポイント位置決定モジュールの動作を容易にするために最適な画像露出を維持するインテリジェント自動露出モジュール。及び
６．ポイント位置決定モジュール、ＥＤＭ１２及びＥＤＭの方向センサ１６からの測定データを組み合わせるデータ融合モジュール。信号対雑音比を改善するために、任意選択でフィルタリングを測定データに適用することができる。データ融合モジュールは、いくつかの可能な動作モードを提供するために、様々な方法によってデータを組み合わせることができる。
モード１ 平面内を移動している複数ポイントを動的に監視する。複数ポイントは同時に監視される。
モード２ 任意の方向に移動することができる複数ポイントの静的測定。複数ポイントは連続して測定される。
モード３ 任意の方向に移動することができる単一ポイントの動的測定。及び
モード４ 任意の方向に移動することができる複数ポイントの動的測定。複数ポイントは同時に測定される。この方法は、２つ以上のハイブリッドデバイスを必要とする。

上述のモジュールは、それぞれ、以下に、より詳細に説明する。

ポイント定義など、ハイブリッドデバイス１０の動作によっては、人が画像内のポイントを選択することを必要とすることがあるものもある。画像は、典型的には、画面に表示され、したがって、例えば、マウス、トラックボール、ジョイスティック、又はタッチ画面を使用して、単純にカーソルを画像内の所望の位置に位置決めすることによってポイントを選択することができる。画面は、ハイブリッドデバイスの一体部分であることができ、又はタブレット、ＰＣ又は専用の遠隔制御ユニットなどのデバイスの遠隔にあることができる。

例示される実施形態のハイブリッドデバイス１０は、完全に統合された解決策であるが、他の実施形態においては、ハイブリッドデバイスは、ＩＣＤ２０と、トータルステーション、レーザスキャナ、レーザトラッカ又はセオドライトなど、既存のデバイスの架台１４などの他のシステム要素のうちの１つ又は複数に結合されるように配置されたコントローラ２８とを備えることができる。

座標系
図２～９をさらに参照すると、本文書では以下の座標系を参照する。

図２は、世界座標系を示し、世界座標系は、測定データが提供される３次元（３Ｄ：ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ）大域座標フレームである。ハイブリッドデバイス１０は、世界座標系内に３Ｄ位置を有する。

図３は、デバイス座標系を示す。これはハイブリッドデバイス１０に付随する。

図４及び５は、ＥＤＭ座標系を示す。これは、ＥＤＭ１２に付随し、ＥＤＭ１２が異なる方向を向いたときＥＤＭ１２とともに移動する。ＥＤＭ座標系は、典型的には、デバイス座標系と同じ原点を有する。以下の説明のために、デバイス座標系に対するＥＤＭ座標系の現在の向きは、パン（水平角）及び傾斜（鉛直角）の観点から定義される。

図６及び７はカメラ座標系を示す。これはカメラ２０に付随する。原点は、画像センサ３２の中心Ｃにある。原点は、ＥＤＭ座標系と固定位置合わせされた状態で移動する。カメラ外部のパラメータは、この座標系のＥＤＭ座標系に対する関係を定義する。図６は、カメラレンズ２０ａ、焦点面ＦＰＬ、焦点ＦＰＯ、焦点距離ＦＬ、視野ＦＶ及びシーンＳも示す。

図８はセンサ座標系を示す。これはカメラ２０の焦点面ＦＰＬであり、原点はセンサ３２の中心にある。図８は、画像Ｉとセンサ３２との間のＸ及びＹオフセットＸｏｆｆ、Ｙｏｆｆ、画素サイズＰｈ、Ｐｗ、画像の高さ及び幅Ｉｈ、Ｉｗ並びにセンサの高さ及び幅Ｓｈ、Ｓｗも示す。

図９は画像座標系を示す。これは画素サイズＰｈ、Ｐｗ、クロッピング及びビニングセッティングによってセンサ座標系に関連する。

ポイント定義モジュール
このモジュールは、測定、較正などのためのポイントを定義するのに使用することができる。ポイントが定義されたとき、その対応する画像内の外観を取り込むこともできる（「スナップショット」として）。取り込まれたスナップショットパターンは、パターン認識又は特徴検出アルゴリズムを使用して自動的に測定ポイントの位置を画像に探し出し、追跡するために、後でポイント位置決定モジュールによって使用することができる。

ポイントは次の２つのうちの１つの方法によって定義するころができる。
１．ＥＤＭ１２は所望のポイントを向いている。距離測定が実施される。距離測定とともにＥＤＭ１２の現在の方向が、ポイントの３Ｄ位置を定義する。カメラの固有及び外部のパラメータが、この３Ｄ位置を画像内の位置に投影するのに使用される。次いで、ポイントの外観をその画像位置におけるスナップショットとして取り込むことができる。
２．所望のポイントは、画像内で特定される。ポイントの外観をその画像位置におけるスナップショットとして取り込むことができる。次いで、ＥＤＭ位置合わせモジュールは、ＥＤＭ１２を所望のポイントと位置合わせする。距離測定が実施される。距離測定とともにＥＤＭ１２の現在の方向が、ポイントの３Ｄ位置を定義する。

ポイント位置決定モジュール
このモジュールは、パターン認識又は特徴検出アルゴリズムなどの画像処理アルゴリズムを使用して、画像内の測定ポイントを自動的に探し出すことができる。測定ポイントを探し出すために、測定ポイントの外観は既知である。測定ポイントの外観は、以下であり得る。
・特徴検出アルゴリズムを使用して自動的に画像内に探し出すことができる標的、円、十字などの既知のパターン。
・自然パターン。ポイントが定義され、次いで、国際出願ＰＣＴ／ＧＢ２００３／００４６０６に説明されているものなどのパターン認識アルゴリズムを使用して、画像内で探し出されたとき、パターンのスナップショットをポイント定義モジュールによって取り込むことができる。

データ融合モジュール
ＥＤＭ１２、ＥＤＭの方向センサ１６及びカメラ２０からのデータは、測定を行うために融合される。これは、それぞれが異なる測定機能を提供するいくつかの方法によって実現することができる。本発明人は、既存のデバイスが一度に単一ポイントの静的測定しかできないことを特定しているが、本明細書に提示するハイブリッドデバイス１０及び方法は、複数ポイントの動的測定及び測定の両方を同時に行うことを可能にする。

ハイブリッドデバイス１０が動作するために、自己較正モジュール（以下に説明する）がカメラ２０の固有及び外部のパラメータを確立するためにシステムを較正するのにまず使用されることが好ましい。しかし、カメラ２０の固有及び外部のパラメータは、当業者には明らかであるように、構築した設定から知ることができ、又は他の方法で確認することができる。

次いで、データ融合モジュールは、いくつかのモードで動作することができる。

モード１
このモードにより、平面（測定面）内を移動している複数ポイントの動的監視が可能になる。複数ポイントは同時に監視される。図１０を参照すると、このモードの方法は以下の通りである。
１）セットアップ
ａ）ステップ４０において、測定面が以下のように定義される。
ｉ）３つ以上のポイントの３Ｄ位置が、ポイント定義モジュールを使用して定義される。
ｉｉ）３つ以上のポイントが、３Ｄ測定面を定義する。３つより多くのポイントがある場合、「最良適合」面が定義される。
ｉｉｉ）測定面の原点は、任意選択で、ポイント定義モジュールを使用してポイントを定義し、平面の座標系内のそのポイントの所望の座標を指定することによって設定することができる。
ｉｖ）平面のＸ／Ｙ軸の方向は、任意選択で、ポイント定義モジュールを使用して２つのポイントによって線分を定義し、平面の座標系におけるその線分の所望の方向を指定することによって設定することができる。
ｂ）ステップ４２において、１つ又は複数の測定ポイントがポイント定義モジュールを使用して定義される。すべての測定ポイントは、測定面に位置し、移動するとき、すなわち、変位が平面内にあるとき、平面にとどまる。
２）測定
ａ）ステップ４４において、ポイント位置決定モジュールは、画像内の各測定ポイントを探し出す。１つ又は複数の測定ポイントがカメラの視野の外側に移動した場合、ＥＤＭ１２、したがって、カメラは、任意選択で、測定ポイントを探索し、次いで視野に戻して、ポイント位置決定モジュールが測定ポイントを探し出すことを可能にするために、らせん探索パターンにわたってなど、一連の複数の方向にわたって回転することができる。
ｂ）ステップ４６において、カメラの固有の及び外部のパラメータとともにＥＤＭ１２の現在の方向が、光線をカメラの焦点から各探し出されたポイントの画像座標を通して投影するのに使用される。画像は、画像露出中にＥＤＭ１２の現在の方向で「タグ付け」されるか、又は他の方法で関連付けられる。タグ付けは、ＤＳＳ２２において実施される。「ＥＤＭの現在の方向」は、ＤＳＳが、画像が露出された時点の方向に画像を「タグ付け」したので、既知である。
ｃ）ステップ４８において、光線は、測定面と交わる。各光線の測定面との交点により、各測定ポイントの現在の位置が得られる。これらは、測定面内の各ポイントの３Ｄ座標又は各ポイントの２Ｄ座標のいずれかとして提示することができる。ステップ４４～４８は、カメラからの各画像の各測定ポイントに対して１つの測定で繰り返して、測定データのストリームを用意する。

モード２
このモードにより、任意の方向に移動することができる複数ポイントの静的測定が可能になる。複数ポイントは連続して測定される。図１１を参照すると、このモードの方法は以下のとおりである。
１）セットアップ
ａ）ステップ５０において、１つ又は複数の測定ポイントが、ポイント定義モジュールを使用して定義される。
２）測定
ａ）ステップ５２において、ＥＤＭ１２は、測定ポイントの予測位置を向くように回転される。これはポイントが定義された位置であることができ、その位置はポイントが最後に測定された位置であり、又はポイントが前の位置などの予備知識に基づくことが予測される位置である。
ｂ）ステップ５４において、ポイント位置決定モジュールは、画像内の測定ポイントを探し出すのに使用される。測定ポイントがカメラの視野の外側に移動した場合、ＥＤＭ１２、したがって、カメラは、任意選択で、測定ポイントを探索し、視野内に戻して、ポイント位置決定モジュールが測定ポイントを探し出すことを可能にするために、らせん探索パターンにわたってなど、一連の複数の方向にわたって回転させることができる。
ｃ）ステップ５６において、ＥＤＭ位置合わせモジュールは、ポイント位置決定モジュールによって画像内で特定されたポイントにＥＤＭ１２を向け、測定ポイントの３Ｄ位置を用意するのに使用される。
ｄ）ステップ５２～５６は、各測定ポイントに対して繰り返される。

モード３
このモードにより、任意の方向に移動することができる単一ポイントの動的測定が可能になる。図１２を参照すると、このモードの方法は以下のとおりである。
１）セットアップ
ａ）ステップ６０において、測定ポイントがポイント定義モジュールを使用して定義される。
２）測定
ａ）ステップ６２において、ＥＤＭ１２は、測定ポイントの予測位置を向くように回転される。これはポイントが定義された位置であることができ、その位置はポイントが最後に測定された位置であり、又はポイントが前の位置などの予備知識に基づくことが予測される位置である）。
ｂ）ステップ６４において、ポイント位置決定モジュールは、画像内の測定ポイントを探し出すのに使用される。測定ポイントがカメラの視野の外側に移動した場合、ＥＤＭ、したがってカメラは、任意選択で、測定ポイントを探索し、視野内に戻して、ポイント位置決定モジュールが測定ポイントを探し出すことを可能にするために、らせん探索パターンにわたってなど、一連の複数の方向にわたって回転させることができることに留意されたい。
ｃ）ステップ６６において、ＥＤＭ位置合わせモジュールが、ポイント位置決定モジュールによって画像内で特定されたポイントにＥＤＭ１２を向け、測定ポイントの３Ｄ位置を用意するのに使用される。
ｄ）ステップ６４～６６は、カメラからの各画像に対して１つの測定で繰り返して、測定データのストリームを用意する。

モード４
このモードにより、任意の方向に移動することができる複数ポイントの動的測定が可能になる。複数ポイントは同時に測定される。この方法は、共通のポイントの組を同時に監視しているがハイブリッドデバイスのうちの一方だけがＥＤＭを必要とする２つ以上のハイブリッドデバイスを必要とする。同期システムにより、複数のデバイスによって同期して画像が取り込まれることが確実になる。図１３を参照すると、このモードの方法は以下のとおりである。
１）セットアップ
ａ）ステップ７０において、共通の世界座標系内の各ハイブリッドデバイスの位置及び／又は向きは、標準測量方法を使用して確立される。例えば、ＥＤＭ１２を有するハイブリッドデバイスを使用して、世界座標系内の複数の基準ポイントの３Ｄ座標を測定することができる。他のハイブリッドデバイスのそれぞれからの各基準ポイントの測定された方向により、世界座標系内の各ハイブリッドデバイスの位置及び／又は向きを計算することが可能になる。
ｂ）ステップ７２において、１つ又は複数の測定ポイントが、ポイント定義モジュールを使用して定義される。各ポイントは、ＥＤＭを有する単一のハイブリッドデバイスを使用して定義される。
ｃ）ステップ７４において、各定義されたポイントの３Ｄ位置が、画像座標内に一つおきのハイブリッドデバイスに対して投影される。これにより、同じ測定ポイントに対応する画像内の特徴が容易に特定され、及び／又は測定ポイントの自然外観の「スナップショット」が一つおきのハイブリッドデバイスに対して測定されることが可能になる。
２）測定
ａ）ステップ７６において、ポイント位置決定モジュールは、あらゆるハイブリッドデバイスに対して画像内の各測定ポイントを探し出す。
ｂ）ステップ７８において、測定ポイントの３Ｄ位置が計算される。各カメラの固有及び外部のパラメータ並びに各画像内の各ポイントの探し出された位置とともに世界座標系内の各ハイブリッドデバイスの既知の位置及び／又は向きにより、測定ポイントの３Ｄ位置を計算することが可能になる。
ｃ）ステップ７６～７８は、カメラからの各画像の各測定ポイントに対して１つの測定で繰り返して、測定データのストリームを用意する。

自己較正モジュール
このモジュールにより、現場で実施することができる、固有及び外部のカメラパラメータの単純で迅速な較正が可能になる。外部のパラメータはＥＤＭ座標系に対する。較正方法は、同軸上に取り付けられたカメラ及び非同軸上に取り付けられたカメラの両方を較正することができる。較正方法は、単一の較正ポイントだけを必要とし、多くの場合、その較正ポイントの２つの観測だけが必要とされる。方法は、画像内の較正ポイントの絶対位置を知ることに高い精度まで依存しないが、むしろ、方法は、ポイント位置決定モジュールを使用して、画像内の較正ポイントの変位を精密に測定し、これは、はるかに高い精度及び精密度まで実現することができる。

図１４を参照すると、方法は以下のステップを含む。
１．ステップ８０において、必要とされる入力データが取り込まれる。
２．ステップ８２において、方法は、カメラの焦点距離、及び任意選択でレンズ歪みパラメータの値を求める。
３．ステップ８４において、方法は、ＥＤＭ座標系に対するカメラの横揺れの値を求める。
４．ステップ８６において、方法は、ＥＤＭ座標系に対するカメラのパン／傾斜の値を求める。

必要とされる入力データを取り込む
１．以下に対する近似値が必要とされる。
ａ．ＥＤＭ座標系に対するカメラ座標系の位置及び／又は向きが必要とされる。これらは、典型的には、デバイスの周知の機械設計から導き出すことができ、３つの並進値及び３つの回転値として表すことができる。
ｂ．焦点距離 レンズの仕様書からの値を使用することができる。
ｃ．画素サイズ カメラの仕様書からの値を使用することができる。
ｄ．主ポイント 画像センサの中心を通過すると仮定される。
ｅ．歪みパラメータ 光学系が何も歪みを示さないと仮定する。
２．次いで、単一の較正ポイントがユーザによって選択される。デバイス座標系内の較正ポイントの３Ｄ位置は、既知でなければならず、これは、典型的には、ＥＤＭ１２を較正ポイントに向け、距離測定を実施し、これを現在のＥＤＭの方向と組み合わせて、３Ｄ位置を計算することによって確認される。ポイントがカメラから遠くに離れていればいるほど、方法は、較正ポイントの既知の位置の絶対誤差又はＥＤＭ座標系に対するカメラ座標系の提供された位置の誤差に対してより寛容になることに留意されたい。
３．まだ準備されていない場合、ＥＤＭ１２は、較正ポイントを向くように回転される。次いで、画像内の較正ポイントの位置が手動又は自動的のいずれかで配置される。ポイントが手動で探し出されても、いったんそれを探し出してしまうと、その後のステップにおいて、例えば、外観の「スナップショット」を撮り、次いで、ポイント位置決定モジュールを使用して、自動的にポイントを探し出すことによって自動的に探し出されることが可能になる。
４．光軸がＥＤＭ１２のレーザと同軸であるように光学系が位置合わせされた場合、
画像内の較正ポイントの位置は、記録される（ｘ_０，ｙ_０）。ＥＤＭの方向のパン角及び傾斜角は記録される（ｈ_０及びｖ_０）。主ポイントの位置の推定値は、（ｘ_０，ｙ_０）に更新することができる。
そうでない場合、
カメラは、画像内で較正ポイントが主ポイントとほぼ位置合わせされるまで回転される。（１）に用意された近似値により、この回転が自動的に実施されることが可能になる。次いで、ポイント位置決定モジュールが、画像内の較正ポイントを探し出すのに使用される。画像内の較正ポイントの位置は記録される（ｘ_０，ｙ_０）。ＥＤＭの方向のパン角及び傾斜角が記録される（ｈ_０及びｖ_０）。
５．次いで、ＥＤＭ１２は、較正ポイントが画像内で移動するように傾斜される。画像内の移動が大きければ大きいほど、較正が一層正確になり、したがって、較正ポイントが画像の縁に近接するまで傾斜させることが有益である（が、必須ではない）。（１）に用意された近似値により、この回転は自動的に実施されることが可能となる。次いで、ポイント位置決定モジュールが、画像内の較正ポイントを探し出すのに使用される。画像内の較正ポイントの位置は記録される（ｘ_１及びｙ_１）。ＥＤＭの方向のパン及び傾斜角は記録される（ｈ_１及びｖ_１）。
６．ステップ（５）は、任意選択で、傾斜角及び／又はパン角の範囲に対して繰り返すことができる。

カメラの焦点距離の値を求める
ピンホールカメラモデルを使用することにより、焦点距離を直接計算することが可能になる。
焦点距離＝画素サイズｘ｜（ｘ_１，ｙ_１）－（ｘ_０，ｙ_０）｜／Ｔａｎ（θ）
ここで、
θはｒ_０とｒ_１との間の角度であり、
ｒ_０は、ＥＤＭの方向がｈ_０及びｖ_０にあるときの光軸に対応する光線であり、
ｒ_１は、（ｈ_１－ｈ_０）及び（ｖ_１－ｖ_０）によりＥＤＭの原点を中心としてｒ_０を回転させた結果である。

追加の観測がステップ６で記録された場合、パラメータ化されたレンズ歪みモデルの値も求めることができる。一般的な方式は、観測された画像座標と投影された画像座標（現在の歪みパラメータを使用して投影された）との間の相違の観点から誤差関数を公式化することであり、次いで、誤差関数を最小にするパラメータの値を求めるために標準最適化技法を適用することである。

光軸がＥＤＭ１２のレーザと同軸であるように光学系が位置合わせされていなくて、歪みパラメータの値が求められている場合、放射状歪みの中心は、主ポイントの推定値と解釈することができる。

ＥＤＭ座標系に対するカメラの横揺れの値を求める
上記のステップ４及び５で記録された画像座標の２つの組は、線分を定義する。較正ポイントが（ｘ_０，ｙ_０）からｘ_１，ｙ_１）まで画像内の線形経路に続くようにＥＤＭ１２が傾斜された場合、線の方向（Ｔａｎ^－１（（ｙ_１－ｙ_０）／（ｘ_１－ｘ_０）））は、ＥＤＭ１２座標系内のカメラの横揺れの角度に直接関連している。したがって、線の方向を測定することにより、横揺れの角度を直接計算することが可能になる。

ＥＤＭ座標系に対するカメラのパン／傾斜の値を求める
このステップは、光軸がＥＤＭ１２のレーザと同軸であるように光学系がまだ位置合わせされていない場合だけに関連する。

焦点距離、カメラの横揺れ及び主ポイントの推定値は、上記の計算された値を用いて更新される。レンズ歪みパラメータが計算された場合、これらも更新される。

更新されたパラメータは、較正ポイントの既知の３Ｄ位置をまた画像座標内に投影するのに使用される。次いで、投影された位置は、探し出された位置と比較され、いずれの相違もＥＤＭ座標系内のカメラのパン角及び傾斜角に直接関連する。

ＥＤＭ位置合わせモジュール
カメラ２０からのデータとＥＤＭ１２からのデータとを融合するために、画像内の特定のポイントに対応する表面のポイントにＥＤＭ１２を向けることがしばしば必要とされる。自己較正モジュールがまずカメラ２０の固有及び外部のパラメータを較正するのに使用されていることが好ましい。

図１５を参照すると、ＥＤＭ１２を画像内の特定のポイントと位置合わせする方法は、まず、カメラ２０の光軸がＥＤＭ１２の方向と同軸であるかどうかに依存する。
１．カメラがＥＤＭ１２と同軸である場合、ステップ９０ａにおいて、カメラ固有及び外部のパラメータが、現在のＥＤＭの方向を画像内のＥＤＭの目標ポイントにまた投影するのに使用される。次いで、ＥＤＭ１２は、画像内の指定されたポイントがＥＤＭの目標ポイントとして画像内の同じ位置に移動されるまで回転される。
２．カメラがＥＤＭ１２と同軸でない場合、視差効果により、ＥＤＭ１２を画像内の指定されたポイントと位置合わせすることがより困難になる。視差の程度は、測定ポイントまでの距離によって決まり、問題はこの距離が未知であることである。この場合、ステップ９０ｂにおいて、以下に説明するような方法を採用することができる。

画像が取り込まれた時点におけるＥＤＭ１２の既知の方向とともにカメラ固有及び外部のパラメータを使用することにより、画像内のポイントは世界座標内の３Ｄ光線又は「カメラ光線」として外に投影されることが可能になる。

次いで、ＥＤＭ１２は、その光線に沿ったポイントを向くように回転され、距離測定が実施される。距離測定及び現在のＥＤＭの方向により、ＥＤＭの目標ポイントが得られる。カメラ光線からのＥＤＭの目標ポイントの垂直距離が計算される。次いで、ＥＤＭ１２の向きが、カメラ光線からのＥＤＭの目標ポイントの距離が可能な限り小さくなるまで調整される。これは反復最適化手法によって実現することができ、その場合、以下の条件のうちの１つ又は複数が満足されたとき反復は終了する。
・ＥＤＭの目標ポイントは、カメラ光線の許容差内にある。
・各反復におけるＥＤＭ１２の向きの角変化は、方位駆動システム又は方向センサの分解能よりも小さい。
・反復の数は、所定の限度を超えている。

ステップ９２において、ＥＤＭ１２が位置合わせされると、以下の２つの選択肢がある。
１．距離測定とともに現在のＥＤＭの方向により、ポイントの３Ｄ座標が得られる。又は
２．ＥＤＭの目標ポイントに最も近接したカメラ光線に沿ったポイントは、ポイントの３Ｄ座標を定義する。

カメラの角度分解能がＥＤＭ駆動システム１８又は方向センサ１６の角度分解能を超える場合、これにより、システムの潜在的測定分解能が増加するので、第２の方法が好ましくは採用される。

カメラ自動露出モジュール
測定精度及び頑健性は、照明の変化の影響を受けやすい。直射日光照度の変化が主な原因である。このモジュールは、画像Ｉの一部分内の画素強度に基づいてカメラの露出を調整するように構成された自動露出アルゴリズムを含む。例えば、画像内の平均画素強度が暗すぎる場合、このモジュールは、画像を明るくするために露出時間を長くし、又は絞りを開け、又は利得を上げる。これらの特徴は、当技術分野では周知である。

図１６を参照すると、ステップ１００において、１つ又は複数の関心領域（ＲＯＩ）が、画像Ｉ内で特定される。各ＲＯＩは画像Ｉ内の特徴に対応する。ＲＯＩは、ユーザによって特定することができ、又は特徴（複数可）の位置に基づいて自動的に設定することができる。

ステップ１０２において、自動露出アルゴリズムは、ＲＯＩ内の画素だけを処理する。

ステップ１０４において、ある特徴がそのＲＯＩの外側に移動したかどうかに関して決定が行われる。そうである場合、特徴に関連付けられたＲＯＩが移動され、したがって、特徴はＲＯＩに戻される。ステップ１０４は繰り返される。

したがって、この方法は、自動露出のＲＯＩをそれらが画像内の測定ポイントの位置と位置合わせされた状態で常に保持されるように継続して更新するために画像内の測定ポイントの現在の位置を使用する。測定を実施しながら、ポイント位置決定モジュールは、画像内の各測定ポイントの現在の位置を提供する。しかし、ポイント位置決定モジュールがポイントを探し出すことができない場合、「最後に見た」位置、「定義された」位置又は予測された位置のいずれかが使用されるが、これらの場合、それらの領域に関連付けられた画素強度には、ポイント位置決定モジュールがポイントを見つけることができた場合の画素強度と比較して、より低い重み付けが与えられる。測定ポイントが視野内に何もない場合、全体画像などのデフォルト領域がＲＯＩに使用される。方法は、測定ポイントの露出が画像Ｉ内で最適である尤度を増加させる。

例示された実施形態のハイブリッドデバイス１０は、説明したモジュールのそれぞれを含むが、他の実施形態においては、ハイブリッドデバイスは、説明したモジュールのうちの１つ又は複数を含むことができる。実施形態において、ハイブリッドデバイス又は測定デバイスは、デジタル画像を出力するように動作可能であり、ＩＣＤがＥＤＭに対して固定位置合わせされた状態で移動するようにＥＤＭに結合されるように配列される画像取込デバイスと、１つ又は複数のセンサ及びＩＣＤからデータを受け取るように配置されたコントローラであって、ａ）画像の露出中に画像をＥＤＭの向きに関連付け、ｂ）画像内の測定ポイントのうちの１つを探し出し、ｃ）ＥＤＭの向きと組み合わせて画像内の測定ポイントの位置を使用して、測定デバイスに対する測定ポイントの方向を確立するように構成される、コントローラとを備えることができる。

上述の実施形態は、本発明を限定するのではなく、例示すること、及び当業者は添付の特許請求の範囲によって定義される本発明の範囲をから逸脱することなく多くの代替実施形態を設計することができることに留意されたい。特許請求の範囲において、かっこ内に配置された任意の参照符号は、特許請求の範囲を限定すると解釈してはならない。「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、任意の請求項又は全体としての仕様書に列挙されているもの以外の要素又はステップの存在を除外しない。要素の単数形の参照は、そのような要素の複数形の参照を除外せず、逆も同様である。本発明の部分は、いくつかの個別要素を備えるハードウェアを用いて、又は適切にプログラミングされたコンピュータによって実装することができる。いくつかの部分を列挙したデバイス請求項において、これらの部分のうちのいくつかは、１つの及び同じハードウェアによって具現化することができる。ある測定が相互に異なる従属請求項に記載されるという単なる事実は、これらの測定の組合せを有利に使用することができないことを示してはいない。

１０…測定デバイス、１２…非接触距離測定デバイス（ＥＤＭ）、１６…センサ、２０…画像取込デバイス（ＩＣＤ）、２８…コントローラ。

Claims (31)

1. 測定デバイスであって、
   当該測定デバイスが、当該測定デバイスに対して１つ又は複数の測定ポイントの位置を決定するためのものであり、
   当該測定デバイスが、非接触距離測定デバイス（ＥＤＭ）と、前記非接触距離測定デバイスの向きを決定するための１つ又は複数のセンサとに結合されるように配置されており、
   当該測定デバイスが、
   デジタル画像を出力するように動作可能である画像取込デバイス（ＩＣＤ）であり、該画像取込デバイスが前記非接触距離測定デバイスに対して既知の位置合わせされた状態で移動するように前記非接触距離測定デバイスに結合されるように構成されている、画像取込デバイスと、
   １つ又は複数の前記センサ及び前記画像取込デバイスからデータを受け取るように構成されたコントローラであり、
   ａ）画像の露出中に前記画像を前記非接触距離測定デバイスの向きに関連付け、
   ｂ）前記画像内の前記測定ポイントのうちの１つを探し出し、
   ｃ）前記非接触距離測定デバイスの向きと組み合わせて前記画像内の前記測定ポイントの位置を使用して、前記測定デバイスに対する前記測定ポイントの方向を確立するように構成されているコントローラと
   を備える、測定デバイス。
2. 前記非接触距離測定デバイスと、
   前記非接触距離測定デバイスの向きを決定するための１つ又は複数の前記センサと
   をさらに備える、請求項１に記載の測定デバイス。
3. 前記コントローラが、前記非接触距離測定デバイスからデータを受け取るように構成されており、前記画像の露出中に前記画像を前記非接触距離測定デバイスの距離表示数値に関連付けるように構成されている、請求項１又は２に記載の測定デバイス。
4. 前記コントローラが、
   前記画像内のある位置に前記非接触距離測定デバイスの目標ポイントを投影し、前記測定ポイントの外観を取り込むステップと、
   前記測定ポイントに対応するとして特定された前記画像内の領域の外観を取り込むステップと
   のうちの１つ又は複数によって前記画像内のその後の位置の前記測定ポイントの外観を取り込むように構成されている、請求項１～３のいずれか一項に記載の測定デバイス。
5. 前記非接触距離測定デバイスの向きを制御するための前記コントローラに応答する自動駆動システムをさらに備える、請求項１～４のいずれか一項に記載の測定デバイス。
6. 前記画像取込デバイスの光軸が、前記非接触距離測定デバイスの測定軸と同軸であり、
   前記画像取込デバイスの固有及び外部のパラメータを使用して、現在の前記非接触距離測定デバイスの方向を前記非接触距離測定デバイスの目標ポイントとして前記画像内に投影し、前記駆動システムを制御して、前記非接触距離測定デバイスの目標ポイントを前記画像内の測定ポイントと位置合わせするステップを含む、非接触距離測定デバイス位置合わせ機能を、前記コントローラが実施するように構成されている、請求項５に記載の測定デバイス。
7. 前記画像取込デバイスの光軸が、前記非接触距離測定デバイスの測定軸と同軸ではなく、
   （ｄ）前記画像の露出中に前記非接触距離測定デバイスの向きとともに前記画像取込デバイスの固有及び外部のパラメータを使用して、世界座標において前記画像内の測定ポイントを３次元画像取込デバイスの光線として外に投影するステップと、
   （ｅ）前記駆動システムを制御して、前記非接触距離測定デバイスを前記画像取込デバイスの光線上のポイントと位置合わせし、次いで、距離測定を実施するステップと、
   （ｆ）前記測定された距離及び前記現在の非接触距離測定デバイスの方向に対応する非接触距離測定デバイスの目標ポイントを取得するステップと、
   （ｇ）前記画像取込デバイスの光線から前記非接触距離測定デバイスの目標ポイントの垂直距離を計算するステップと、
   （ｈ）前記画像取込デバイスの光線から前記非接触距離測定デバイスの目標ポイントの距離を低減し、場合により最小にする非接触距離測定デバイスの方向を見つけるために、ステップ（ｅ）～（ｇ）を１回又は複数回繰り返す最適化手法を実施するステップと
   を含む、非接触距離測定デバイスの位置合わせ機能を、 前記コントローラが実施するように構成されている、請求項５に記載の測定デバイス。
8. 前記最適化手法が、
   前記画像取込デバイスの光線からの前記非接触距離測定デバイスの目標ポイントの垂直距離が相対的に小さいこと、
   反復における前記非接触距離測定デバイスの向きの角変化が、前記駆動システム又は前記非接触距離測定デバイスの方向センサの分解能よりも小さいこと、及び
   反復の数が、所定の限度を超えていること、
   の終了基準のうちの１つ又は複数が満足されるまでステップ（ｅ）～（ｇ）を繰り返すステップを含む、請求項７に記載の測定デバイス。
9. 距離測定とともに前記現在の非接触距離測定デバイスの方向を使用して、前記測定ポイントに現在対応する前記非接触距離測定デバイスの目標ポイントの３次元座標を取得するステップ、又は
   前記非接触距離測定デバイスの目標ポイントに最も近接した前記画像取込デバイスの光線に沿ったポイントを使用して、前記測定ポイントの３次元座標を取得するステップ
   を含む測定機能を、前記コントローラが実施するように構成されている、請求項６～８のいずれか一項に記載の測定デバイス。
10. 前記露出時間中におけるある時点、例えば、中間時点からの単一方向及び／又は距離の表示数値を使用すること、又は
    前記露出時間中に読み取られた複数の表示数値を使用すること
    によって、 前記コントローラが、前記露出時間中に非接触距離測定デバイスの方向又は距離の変化を補償するように構成されている、請求項１～９のいずれか一項に記載の測定デバイス。
11. 方向が前記画像取込デバイスの光軸と位置合わせされている光源であって、前記画像取込デバイスと固定位置合わせされた状態で移動するように前記画像取込デバイスに機械的に結合されている、光源を備える、請求項１～１０のいずれか一項に記載の測定デバイス。
12. 照明の角度が、前記画像取込デバイスの視野角にほぼ一致する、請求項１１に記載の測定デバイス。
13. 前記カメラに入射する光をフィルタリングする帯域通過フィルタなどの統合光学フィルタを備え、及び／又は前記光が、太陽の発光スペクトルにおけるギャップを埋めるためにこの周波数において放射するように一致させることができる、請求項１～１２のいずれか一項に記載の測定デバイス。
14. 前記画像内の前記測定ポイントのそれぞれを探し出すステップと、
    前記画像取込デバイスの固有及び外部のパラメータとともに前記非接触距離測定デバイスの現在の方向を使用して、光線が測定面と交わるように各探し出されたポイントの画像座標を通して前記画像取込デバイスの焦点から前記光線を投影するステップと
    ［モード１］によって、 前記コントローラが、３次元測定面内で移動している複数の前記測定ポイントの動的監視を実施するように構成されている、請求項１～１３のいずれか一項に記載の測定デバイス。
15. ｉ）必要に応じて、前記測定ポイントが前記画像内にあるように前記非接触距離測定デバイスを回転させるように前記駆動システムを制御するように、
    ｊ）前記画像内の前記測定ポイントを探し出すように、及び、
    ｋ）前記測定ポイントの３次元位置を得るために前記測定機能が後に続く前記非接触距離測定デバイスの位置合わせ機能を実施するように、前記コントローラが構成されている、請求項９に従属しているときの請求項１～１４のいずれか一項に記載の測定デバイス。
16. 前記コントローラが、複数の前記測定ポイントのそれぞれに対してステップｉ）～ｋ）を連続して繰り返すように構成されている、請求項１５に記載の測定デバイス。
17. 前記コントローラが、前記画像取込デバイスからの一連の画像のそれぞれに対して１つの測定など、前記測定ポイントのうちのただ１つに対してステップｊ）～ｋ）を繰り返して、測定データのストリームを用意するように構成されている、請求項１５又は１６に記載の測定デバイス。
18. 前記コントローラが、前記測定ポイントのうちの１つ又は複数を前記画像内で探し出すことができない場合、前記非接触距離測定デバイスが前記測定ポイントを探索し、位置の視野に戻すために一連の複数の方向にわたって回転されるように構成されている、請求項１５～１７のいずれか一項に記載の測定デバイス。
19. 前記画像内に定義された１つ又は複数の関心領域であって、各関心領域が測定ポイントを含む、関心領域に対して自動露出プロセスを実施し、
    関連付けられた測定ポイントの測定された移動に従って及び／又は前記１つ又は複数のセンサからの非接触距離測定デバイスの方向データに従って関心領域を移動させるように、前記コントローラが構成されている、請求項１～１８のいずれか一項に記載の測定デバイス。
20. 請求項１～１９のいずれか一項に記載の第１の測定デバイスと、
    １つ又は複数の他の測定デバイスであり、それぞれが該他の測定デバイスに対して１つ又は複数の測定ポイントの方向を決定するように構成されている、１つ又は複数の他の測定デバイスと
    を備える測定デバイスの配列であって、
    前記他の測定デバイスのそれぞれが、
    デジタル画像を出力するように動作可能である画像取込デバイスと、
    前記画像取込デバイスの向きを決定するための１つ又は複数のセンサと、
    １つ又は複数の前記センサ及び前記画像取込デバイスからデータを受け取るように構成されたコントローラであり、
    （ｌ）画像の露出中に前記画像を前記画像取込デバイスの向きに関連付け、
    （ｍ）前記画像内の前記測定ポイントのうちの１つを探し出し、
    （ｎ）前記画像取込デバイスの向きと組み合わせて前記画像内の前記測定ポイントの位置を使用して、前記他の測定デバイスに対する前記測定ポイントの方向を確立するように、構成されているコントローラを備え、
    当該測定デバイスの配列が、前記第１の測定デバイス及び前記他の測定デバイスによって画像を同期して取り込ませるように構成された同期システムをさらに備えており、
    （ｏ）前記第１の測定デバイスの前記コントローラが、複数の測定ポイントの３次元位置を一つおきの測定デバイスの画像座標内に投影するように構成されており、
    （ｐ）各測定デバイスの前記コントローラが、各測定ポイントをそのそれぞれの画像内で探し出すように構成されており、
    （ｑ）前記コントローラのうちの１つが、各画像取込デバイスの固有及び外部のパラメータ並びに各画像内の各ポイントの探し出された位置とともに世界座標系内の各測定デバイスの既知の位置及び向きを使用して、前記測定デバイスに対して計算される各測定ポイントの３次元位置を決定するように構成され、
    したがって、各測定デバイスの前記画像取込デバイスからの各画像に対して１つの測定で、ステップ（ｐ）～（ｑ）を繰り返して、測定データのストリームを用意する、
    測定デバイスの配列。
21. 測定デバイスの固有及び外部の画像取込デバイスのパラメータを較正する方法であって、
    前記測定デバイスが、請求項１～２０のいずれか一項に記載の測定デバイスとすることができ、前記測定デバイスが、デジタル画像を出力するように動作可能である画像取込デバイスであり、非接触距離測定デバイスに対して固定位置合わせされた状態で移動するように前記非接触距離測定デバイスに結合されている画像取込デバイスを備え、前記固有のパラメータが、前記画像取込デバイスのパラメータを記述し、前記外部のパラメータが、前記非接触距離測定デバイスの座標系に対する前記画像取込デバイスの座標系の位置及び向きを記述し、
    当該方法が、
    （ａ）前記非接触距離測定デバイスの座標系に対する前記画像取込デバイスの座標系の位置及び向き、
    前記画像取込デバイスの焦点距離、
    前記画像取込デバイスの画素サイズ、
    光軸の前記画像取込デバイスの画像センサとの交点によって定義される主ポイントであって、第１の近似値が、任意選択で前記画像取込デバイスの画像センサの中心において測定される主ポイント、及び
    前記画像取込デバイスの歪みパラメータ
    の前記第１の近似値を確立するステップと、
    （ｂ）前記距離測定デバイスに対する既知の３次元位置を有する較正ポイントを選択するステップと、
    （ｃ）前記画像内の前記較正ポイントを探し出して、位置（ｘ０，ｙ０）を記録するステップと、
    （ｄ）前記非接触距離測定デバイスの方向のパン角及び傾斜角（ｈ０及びｖ０）を記録するステップと、
    （ｅ）任意選択で、前記主ポイントの前記第１の近似値を更新して、（ｘ０，ｙ０）と等しくさせるステップと、
    （ｆ）前記較正ポイントが前記画像内で移動するように前記非接触距離測定デバイスの向きを変更するステップと、
    （ｇ）前記画像内の前記較正ポイントを探し出し、前記較正ポイントの画像座標（ｘ１，ｙ１）及び前記非接触距離測定デバイスの前記パン角及び傾斜角（ｈ１及びｖ１）を記録するステップと、
    （ｈ）画像取込デバイスの焦点距離の値を求めるステップであって、
    ピンホールカメラモデルを使用して前記焦点距離を計算することを含む、画像取込デバイスの焦点距離の値を求めるステップと、
    （ｉ）前記非接触距離測定デバイスの座標系に対して画像取込デバイスの横揺れの値を求めるステップであって、
    （ｘ０，ｙ０）及び（ｘ１，ｙ１）と交わる線分を定義すること、及び
    線の方向を測定して、横揺れの角度を計算することを含む、前記非接触距離測定デバイスの座標系に対して画像取込デバイスの横揺れの値を求めるステップと
    を含む、方法。
22. （ｊ）前記非接触距離測定デバイスの座標系に対する画像取込デバイスのパン及び傾斜の値を求めるステップであって、
    ステップ（ａ）において取得された焦点距離、画像取込デバイスの横揺れ及び主ポイントの前記第１の近似値をステップ（ｇ）、（ｈ）及び（ｅ）において取得された対応する値を用いて更新することと、
    前記更新されたパラメータを使用して、前記較正ポイントの前記既知の３次元位置を画像座標（ｘ２，ｙ２）内にまた投影することと、
    投影された位置（ｘ２，ｙ２）を探し出された位置（ｘ１，ｙ１）と比較して、前記非接触距離測定デバイスの座標系内の前記画像取込デバイスの前記パン角及び傾斜角に直接関連する差（ｘ２－ｘ１，ｙ２－ｙ１）を確立すること
    とを含む、前記非接触距離測定デバイスの座標系に対する画像取込デバイスの前記パン及び傾斜の値を求めるステップをさらに含む、請求項２１に記載の方法。
23. 測定デバイスに対して１つ又は複数の測定ポイントの位置を決定する方法であって、
    前記測定デバイスが、非接触距離測定デバイス及び前記非接触距離測定デバイスの向きを決定するための１つ又は複数のセンサに結合されるように配置されており、
    前記測定デバイスが、
    デジタル画像を出力するように動作可能である画像取込デバイスであって、前記非接触距離測定デバイスに対して既知の位置合わせされた状態で移動するように前記非接触距離測定デバイスに結合されるように配置されている画像取込デバイスと、
    １つ又は複数の前記センサ及び前記画像取込デバイスからデータを受け取るように配置されたコントローラであって、当該方法の１つ又は複数のステップを実施するように構成されているコントローラとを備え、
    当該方法が、
    ａ）画像の露出中に前記画像を前記非接触距離測定デバイスの向きに関連付けるステップと、
    ｂ）前記画像内の前記測定ポイントのうちの１つを探し出すステップと、
    ｃ）前記非接触距離測定デバイスの向きと組み合わせて前記画像内の前記測定ポイントの位置を使用して、前記測定デバイスに対する前記測定ポイントの方向を確立するステップと
    を含む、方法。
24. 画像内の位置に非接触距離測定デバイスの目標ポイントを投影し、前記測定ポイントの外観を取り込むことと、
    前記測定ポイントに対応すると特定された前記画像内の領域の外観を取り込むことと
    のうちの１つ又は複数によって前記測定ポイントの外観を前記画像内のその後の位置に取り込むステップをさらに含む、請求項２３に記載の方法。
25. 前記画像取込デバイスの固有及び外部のパラメータを使用して、現在の非接触距離測定デバイスの方向を非接触距離測定デバイスの目標ポイントとして前記画像内に投影し、駆動システムを制御して、前記非接触距離測定デバイスの目標ポイントを前記画像内の測定ポイントと位置合わせすることによって非接触距離測定デバイスの位置合わせ機能を実施するステップをさらに含む、請求項２４に記載の方法。
26. （ｄ）前記画像の露出中に前記非接触距離測定デバイスの向きとともに前記画像取込デバイスの固有及び外部のパラメータを使用して、世界座標において前記画像内の測定ポイントを３次元画像取込デバイスの光線として外に投影するステップと、
    （ｅ）駆動システムを制御して、前記非接触距離測定デバイスを前記画像取込デバイスの光線上のポイントと位置合わせし、次いで、距離測定を実施するステップと、
    （ｆ）前記測定された距離及び前記現在の非接触距離測定デバイスの方向に対応する非接触距離測定デバイスの目標ポイントを取得するステップと、
    （ｇ）前記画像取込デバイスの光線から前記非接触距離測定デバイスの目標ポイントの垂直距離を計算するステップと、
    （ｈ）前記画像取込デバイスの光線から前記非接触距離測定デバイスの目標ポイントの距離を低減し、場合により最小にする非接触距離測定デバイスの方向を見つけるために、ステップ（ｅ）～（ｇ）を１回又は複数回繰り返す最適化手法を実施するステップと
    をさらに含む、請求項２５に記載の方法。
27. 前記画像内の前記測定ポイントのそれぞれを探し出すステップと、
    前記画像取込デバイスの固有及び外部のパラメータとともに前記非接触距離測定デバイスの現在の方向を使用して、光線が測定面と交わるように各探し出されたポイントの前記画像座標を通して前記画像取込デバイスの焦点から前記光線を投影するステップとをさらに含む、請求項２３～２６のいずれか一項に記載の方法。
28. ｉ）必要に応じて、前記測定ポイントが前記画像内にあるように前記非接触距離測定デバイスを回転させるように駆動システムを制御するステップと、
    ｊ）前記画像内の前記測定ポイントを探し出すステップと、
    ｋ）前記非接触距離測定デバイスの目標ポイントを前記測定ポイントと位置合わせし、測定機能を実施して、前記測定ポイントの３次元座標を取得するステップと
    をさらに含む請求項２３～２６のいずれか一項に記載の方法。
29. 複数の測定ポイントのそれぞれに対してステップｉ）～ｊ）を連続して繰り返すステップをさらに含む、請求項２８に記載の方法。
30. 前記画像取込デバイスからの一連の画像のそれぞれに対して１つの測定など、前記測定ポイントのうちのただ１つに対してステップｊ）～ｋ）を繰り返して、測定データのストリームを用意するステップをさらに含む、請求項２８又は２９に記載の方法。
31. 請求項２０に記載の測定デバイスの配列に対する複数の測定ポイントの位置を同時に決定する方法であって、
    （ｏ）測定デバイスのうちの１つによって取り込まれた画像内の複数の測定ポイントの３次元位置を一つおきの測定デバイスの画像座標内に投影するステップと、
    （ｐ）一つおきの測定デバイスの前記画像内の各測定ポイントを探し出すステップと、
    （ｑ）各画像取込デバイスの固有及び外部のパラメータ並びに各画像内の各ポイントの前記探し出された位置とともに世界座標系内の各測定デバイスの既知の位置及び向きを使用して、各測定ポイントの３次元位置を決定するステップと
    を含む、方法。
    
    

Images