JP2022501751A - ３ｄ幾何抽出のために画像の複数から相補的画像を選択するシステムおよび方法 - Google Patents

Abstract

三角測量およびユーザー選択された点もしくは関心対象の幾何学的特徴の3D属性、たとえば建物の屋根の傾き（ピッチとも呼ばれる）および一つまたは複数の寸法に関する情報の決定に関して使用するために、一組の提供された画像から一つまたは複数の相補的画像を自動的に選択するためのデジタル処理システム、かかる相補的画像を自動的に選択する、デジタル処理システム上で実装される方法、および実行されたときにかかる相補的画像を自動的に選択する方法を実装する命令を含んでいる非一時的な機械可読媒体。前記一つまたは複数の相補的画像は、相補性基準とも呼ばれる最適性基準を使って、自動的に選択される。

Description

関連出願
本開示は、2018年9月18日に出願された米国仮特許出願第62/732768号の優先権を主張し、その内容はここに参照により組み込まれる。参照による組み込みが認められない管轄区域においては、出願人は、当該米国仮特許出願第62/732768号の内容の一部または全部を本明細書に付録として追加して本明細書の一部をなす権利を留保する。

発明の分野
本発明は、3D幾何を抽出するために使用される一組の画像を選択し、優先順位をつけるためのシステムおよび方法に関する。前記幾何抽出は、点または特徴の異なる視点での複数の画像を使用する。

異なるカメラ角度および／またはカメラ位置から撮影された複数の航空画像から3D幾何を抽出することは、多くの応用において関心のある実際的な問題である。たとえば、そのような用途の一つは建築・建設産業であり、たとえば、屋根ふきやソーラーコントラクターに情報を提供する。建築業者、建築家、エンジニアは、3次元の屋根幾何の理解を得る必要があることがある。

この実際的な応用を実行するためにコンピュータ技術を使用する必要があり、これを実行するための製品が市販されている。たとえば、航空機、ドローン、またはモバイル装置上のカメラ・システムから捕捉されるようなマルチビュー画像を、この応用のためのコンピュータ技術と一緒に使用することが知られている。複数の航空画像から3Dでの位置を決定する三角測量法が知られている。たとえば、異なる位置および／または角度から地上の物体または点を撮影した航空画像を用いて、3D空間における特定の点を決定することが知られている。

本明細書で使用されるところでは、相補的画像（complementary images）は、（a）関心のある特定の点または幾何学的特徴が可視であり、（b）三角測量に対する解を与え、それにより幾何構成を抽出することを可能にする画像である。たとえば、画像を表示するユーザー・インターフェースを有するコンピュータを使用するなどして、ある点または領域を相補的画像のそれぞれにおいて人間が同定することが知られている。そうすれば、3D点三角測量技術が、3D空間における点の3D座標を与えることができる。

複数のそのような3D点座標が三角測量技術を用いて導出され、これらの点座標が平面構造の頂点に対応する場合、長さ、傾き、領域の面積などを含むその構造の幾何学的情報が推論されうる。

特定の三角測量タスクについて、複数の利用可能な航空画像の全部ではなく一部のみが相補的である場合がある。さらに、画像のすべてが、選択された画像に対する補完的画像と同程度に有効であるわけではないことがある。よって、当技術分野では、選択された（「初期」）画像に対して補足的であるための画像の好適さの一つまたは複数の尺度を定義し、そのような一つまたは複数の尺度を使用して、複数の利用可能な航空画像のうちで初期画像に対する最良の相補的画像を自動的に決定するシステムおよび方法が必要である。

以下の図面および関連する説明は、本開示の実施形態を例解するために提供され、本発明の範囲を限定するものではない。範囲は特許請求の範囲によって定義される。本開示の諸側面および利点は、添付の図面と併せて、以下の詳細な説明を参照することによりこれらの側面および利点がよりよく理解されるにつれて、より容易に理解されるようになる。

初期画像上の一つまたは複数の幾何学的特徴を決定するためにユーザーがデジタル処理システムと対話することに関わるプロセスの簡略化されたフローチャートを示す。このプロセスは、システムが、提供されている一組の画像から一つまたは複数の選択基準に従って初期画像に対する「最良」の相補的画像を自動的に選択する方法を実行することを含む。このプロセスは、一つまたは複数の選択された相補的画像を用いて決定された特徴をユーザーが修正することができるユーザー・インターフェースをユーザーのために提供することを含む。満足できる結果が得られるまで、「最良」の相補的画像を自動的に選択することを繰り返すためである。

本発明のある実施形態による、幾何学的相補性を計算するプロセスの簡略化された概略図を示す。

本発明のある実施形態による、画像重複の1つの有望な尺度として使用されるカメラ視錐台の交わりの簡略化された概略図を示す。

本発明のある実施形態による、地理的近接性／被覆率の1つの有望な尺度として使用されうる、画像中心の位置の間の距離の簡略化された概略図を示す。

潜在的な最適画像の錐台の、関心対象の特徴のまわりの推定された体積との交わりの簡略化された概略図を示す。そのような交わりは、本発明のある実施形態によれば、潜在的な最適画像における特徴の存在の、1つの有望な尺度として使用されうる。

1、2、および3と記される3つのカメラ、およびR.O.I.と記されるユーザー選択された関心領域の簡略化された概略図を示す。この図は、本発明のある実施形態による、潜在的な最適な相補的画像における関心のある特徴の存在に、角度偏差および制約条件がどのように影響しうるかを説明するために使用されうる。

本発明のある実施形態による、相補的な3D情報を与えられて特徴のまわりに作成されることのできる任意のまたは推定された体積の簡略化された概略図を示す。

本明細書において実施形態Bと称される実施形態の少なくとも一部を実装する例示的なコードを示す。

本発明の実施形態を使用して屋根のピッチを決定する例示的な応用のあるステップにおける例示的なユーザー・インターフェース上の表示を示す。

本発明のある実施形態を使用して屋根のピッチを決定する前記例示的な応用の別のステップにおける前記例示的なユーザー・インターフェース上の表示を示す。

本発明のある実施形態を使用して屋根のピッチを決定する前記例示的な応用のさらに別のステップにおける前記例示的なユーザー・インターフェース上の表示を示す。

本発明のある実施形態を使用して屋根のピッチを決定する前記例示的な応用のさらなるステップの前記例示的なユーザー・インターフェース上の表示を示す。

本発明のある実施形態を使用して屋根のピッチを決定する前記例示的な応用のさらに別のステップの前記例示的なユーザー・インターフェース上の表示を示す。

本発明のいくつかの実施形態が動作しうる要素を有する例示的なシステム・アーキテクチャーの概略図を示す。

概要
本明細書には、三角測量およびユーザー選択された点もしくは関心対象の幾何学的特徴の3D属性、たとえば建物の屋根の傾き（ピッチとも呼ばれる）および一つまたは複数の寸法に関する情報の決定に関して使用するために、一組の提供された画像から一つまたは複数の相補的画像を自動的に選択するためのシステムおよび方法が記載される。前記一つまたは複数の相補的画像は、本明細書で相補性基準とも呼ばれる最適性基準を使って、前記方法によって自動的に選択される。

具体的な実施形態は、異なるビューおよび／または位置から捕捉された複数の画像から相補的画像を選択するための、デジタル処理システムによって実装される方法を含む。各画像は、それぞれのカメラ属性をもつそれぞれのカメラから捕捉される。本方法は下記を含む。

・複数の画像を受け入れること。これは、受け入れられる各画像について、受け入れられる画像および受け入れられる画像を捕捉したカメラの属性に関係したパラメータを含む。

・受け入れられた画像の1つを初期画像として選択する、ユーザーからの入力を受け入れること。

・関心対象の一つまたは複数の幾何学的特徴を指示するユーザーからの入力を受け入れること。

・指示された一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定する目的のために、初期画像に相補的な最適画像を、受け入れられた複数の画像から、最適性基準を使って自動的に選択すること。

本方法のいくつかの実施形態では、初期画像における関心対象の一つまたは複数の幾何学的特徴は、点、線、および面からなる特徴の集合のうちの1つを含む。

上述の方法実施形態のいずれかの具体的な実施形態において、自動的に選択することは、受け入れられた複数の画像から、前記最適画像とともに最適集合を形成する一つまたは複数の追加的画像を自動的に選択することを含み、前記最適集合の各画像は、指示された一つまたは複数の幾何学的特徴の3D属性を決定するために初期画像に対して相補的である。いくつかのバージョンはさらに、前記最適性基準に従って前記最適集合における画像の一部または全部をランク付けすることを含み、該ランク付けは、前記初期画像に対する相補的画像として使用するための好適さに基づき、最も高くランク付けされた画像が最適画像である。

上述の方法実施形態のいずれかのいくつかのバージョンの実施形態は、さらに下記を含む。

前記最適画像をユーザーに対して表示し、関心対象の前記一つまたは複数の幾何学的特徴が表示される。

前記いくつかのバージョンのいくつかは、さらに下記を含む。

・関心対象の前記一つまたは複数の表示された幾何学的特徴の少なくとも1つの幾何学的特徴の補正をユーザーから受け入れ、補正の位置が、関心対象の前記一つまたは複数の幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる。

・指示された一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定する。

上述の方法実施形態およびそのバージョンのいくつかにおいて、前記選択する、ユーザーからの入力を受け入れること；前記指示するユーザーからの入力を受け入れること、および前記補正をユーザーから受け入れることは、みな、画像を表示するグラフィック・ユーザー・インターフェースを介して行なわれる。

上記の方法実施形態およびそのバージョンのうちのいずれかの具体的なバージョンにおいて、前記一つまたは複数の3D属性は、建物の屋根の傾きを含む。

最適集合を形成することを含む上記の方法実施形態およびバージョンのいずれかのバージョンは、さらに下記を含む。

・最適集合からの他の画像のうちの1つの、新しい最適画像としての選択をユーザーから受け入れる。

・新しい最適画像をユーザーに対して表示し、関心対象の前記一つまたは複数の幾何学的特徴が該新しい最適画像の上に表示される。

・前記新しい最適画像の上の関心対象の前記一つまたは複数の表示された幾何学的特徴の少なくとも1つの幾何学的特徴の補正をユーザーから受け入れ、該補正の前記新しい最適画像上での位置が、関心対象の前記一つまたは複数の幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる。

・指示された一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定する。

上述の方法実施形態のいずれかのいくつかの実施形態は、さらに、下記を含む。

・現在の初期画像において以前に選択されたのと同じ幾何学的特徴であってもよい、関心対象の一つまたは複数の新しい幾何学的特徴のユーザーからの指示を受け入れる。ここで、関心対象の一つまたは複数の新しい幾何学的特徴の指示を受け入れた後の最適画像は新しい初期画像になる。

・抑止する目的のために、前記新しい初期画像に相補的な新しい最適画像を、受け入れられた複数の画像から、最適性基準を使って自動的に選択する。

・新しい最適画像をユーザーに対して表示し、関心対象の前記一つまたは複数の追加的な幾何学的特徴が表示される。

さらに、前段に記載された実施形態のいくつかのバージョンでは、自動的に選択することは、受け入れられた複数の画像から、前記最適画像とともに最適集合を形成する一つまたは複数の追加的画像を自動的に選択することを含み、前記最適集合の各画像は、指示された一つまたは複数の幾何学的特徴の3D属性を決定するための新しい初期画像に対して相補的である。いくつかのそのようなバージョンはさらに、前記最適性基準に従って前記最適集合における画像の一部または全部をランク付けすることを含み、該ランク付けは、前記初期画像に対する相補的画像として使用するための好適さに基づき、最も高くランク付けされた画像が最適画像である。

関心対象の一つまたは複数の新しい幾何学的特徴の指示を受け入れることを含む上述の方法実施形態のいくつかの実施形態は、さらに下記を含む。

・表示される、関心対象の一つまたは複数の新しい幾何学的特徴の少なくとも1つの幾何学的特徴の新しい補正をユーザーから受け入れ、新しい補正の位置が関心対象の一つまたは複数の新しい幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる。

・指示された一つまたは複数の新しい幾何学的特徴の一つまたは複数の3D属性を決定する。

上述の方法実施形態のいくつかの実施形態では、自動的に選択することは、前記再適正基準として、初期画像もしくは新しい初期画像および前記一つまたは複数の幾何学的特徴もしくは一つまたは複数の新しい幾何学的特徴の、潜在的な最適画像に対する相補性の全体的な尺度を使う。相補性の全体的な尺度は、一つまたは複数の個別的尺度と、対応する選択基準を含む。前記一つまたは複数の個別的な尺度は、錐台の間の交わりの尺度、被覆率の尺度、錐台と推定される押し出し部（extrusion）または任意の体積との間の交わりの尺度、角度偏差の尺度、および解像度の尺度のうちの一つまたは複数を含む。

具体的な実施形態は、デジタル処理システムの一つまたは複数のデジタル・プロセッサ上で実行されたときに、上記の方法実施形態のいずれかに記載される方法を実行させる命令を含む非一時的な機械可読媒体を含む。

具体的な実施形態は、一つまたは複数のプロセッサと記憶サブシステムとを備えるデジタル処理システムを含み、記憶サブシステムは、デジタル処理システムの一つまたは複数のデジタル・プロセッサ上で実行されたときに、上記の方法実施形態のいずれかに記載される方法を実行させる命令を含む非一時的な機械可読媒体を含む。

具体的な実施形態は、下記を有するデジタル処理システムを含む。

・異なるビューおよび／または位置から捕捉された複数の画像を受け入れるように構成された入力ポート。各画像は、それぞれのカメラから捕捉されたものである。該受け入れることは、受け入れられる各画像について、受け入れられるそれぞれの画像および受け入れられるそれぞれの画像を捕捉したそれぞれのカメラの属性（まとめて「カメラ・モデル」）に関係したそれぞれのパラメータを受け入れることを含む。

・たとえば表示画面および入力サブシステムを有するユーザー端末における、グラフィカル・ユーザー・インターフェース。グラフィカル・ユーザー・インターフェースは、表示される画像を表示することができ、ユーザーが入力を受け入れ、表示された画像と対話するための入力システムを有する。

・ユーザー端末に結合されたデジタル画像処理システム。デジタル画像処理システムは、一つまたは複数のデジタル・プロセッサおよび命令を含んでいる記憶サブシステムを含む。前記命令は、デジタル処理システムによって実行されたときに、デジタル処理システムに、入力ポートを介して受け入れられた複数の画像から一つまたは複数の相補的画像を選択する方法を実行させる。該方法は下記を含む。

・入力ポートを介して、複数の画像およびパラメータを受け入れる。

・グラフィカル・ユーザー・インターフェースを介して、受け入れられた画像の1つを初期画像として選択する、ユーザーからの入力を受け入れる。

・たとえばグラフィカル・ユーザー・インターフェースを介して、関心対象の一つまたは複数の幾何学的特徴を指示するユーザーからの入力を受け入れる。

・指示された一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定する目的のために、初期画像に相補的な最適画像を、受け入れられた複数の画像から、最適性基準を使って自動的に選択する。

本デジタル処理システムのいくつかの具体的な実施形態では、初期画像における関心対象の一つまたは複数の幾何学的特徴は、点、線、および面からなる特徴の集合のうちの1つを含む。

本デジタル処理システムのいくつかの具体的な実施形態では、自動的に選択することは、受け入れられた複数の画像から、前記最適画像とともに最適集合を形成する一つまたは複数の追加的画像を自動的に選択することを含み、前記最適集合の各画像は、指示された一つまたは複数の幾何学的特徴の3D属性を決定するための初期画像に対して相補的である。

最適集合を形成することを含む本デジタル処理システムのいくつかの具体的な実施形態では、前記方法はさらに、前記最適性基準に従って前記最適集合における画像の一部または全部をランク付けすることを含み、該ランク付けは、前記初期画像に対する相補的画像として使用するための好適さに基づき、最も高くランク付けされた画像が最適画像である。

上述のデジタル処理システムのいくつかのバージョンの実施形態は、前記方法さらに、前記最適画像をユーザーに対して、たとえばグラフィカル・ユーザー・インターフェース上に表示することを含み、関心対象の前記一つまたは複数の幾何学的特徴が表示される。

前記いくつかのバージョンの一つでは、前記方法はさらに：関心対象の前記一つまたは複数の表示された幾何学的特徴の少なくとも1つの幾何学的特徴の補正をユーザーから、たとえばグラフィカル・ユーザー・インターフェースを介して受け入れ、補正の位置が、関心対象の前記一つまたは複数の幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる。前記方法はさらに：指示された一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定することを含む。

上述のデジタル処理システムのいくつかのバージョンでは、前記一つまたは複数の3D属性は、建物の屋根の傾きを含む。

最適集合を形成することを含むデジタル処理システムのいくつかのバージョンでは、前記方法はさらに：最適集合からの他の画像のうちの1つの、新しい最適画像としての選択を、たとえばグラフィカル・ユーザー・インターフェースを介して、ユーザーから受け入れ、新しい最適画像を、たとえばグラフィカル・ユーザー・インターフェース上で、ユーザーに対して表示し、関心対象の前記一つまたは複数の幾何学的特徴が該新しい最適画像の上に表示されることを含む。

最適集合を形成することを含む前記いくつかのバージョンのいくつかでは、前記方法はさらに：前記新しい最適画像の上の関心対象の前記一つまたは複数の表示された幾何学的特徴の少なくとも1つの幾何学的特徴の補正を、たとえばグラフィカル・ユーザー・インターフェースを介してユーザーから受け入れることを含み、該補正の前記新しい最適画像上での位置が、関心対象の前記一つまたは複数の幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる。前記方法はさらに、前記一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定することを含む。

最適集合を形成することを含むデジタル処理システムのいくつかのバージョンでは、前記方法はさらに下記を含む。

・現在の初期画像において以前に選択されたのと同じ幾何学的特徴であってもよい、関心対象の一つまたは複数の新しい幾何学的特徴の指示をユーザーから受け入れる。ここで、関心対象の一つまたは複数の新しい幾何学的特徴の指示を受け入れた後の最適画像は新しい初期画像になる。

・抑止する目的のために、前記新しい初期画像に相補的な新しい最適画像を、受け入れられた複数の画像から、最適性基準を使って自動的に選択する。

・新しい最適画像をユーザーに対して表示し、関心対象の前記一つまたは複数の追加的な幾何学的特徴が表示される。

前段に記載されたデジタル処理システムのいくつかのバージョンでは、自動的に選択することは、受け入れられた複数の画像から、前記最適画像とともに最適集合を形成する一つまたは複数の追加的画像を自動的に選択することを含み、前記最適集合の各画像は、指示された一つまたは複数の幾何学的特徴の3D属性を決定するための新しい初期画像に対して相補的である。前記いくつかのバージョンのいくつかでは、前記方法は、前記最適性基準に従って前記最適集合における画像の一部または全部をランク付けすることを含み、該ランク付けは、前記初期画像に対する相補的画像として使用するための好適さに基づき、最も高くランク付けされた画像が最適画像である。

前二段のいずれかに記載されるデジタル処理システムのいくつかのバージョンでは、前記方法は、さらに：表示される、関心対象の一つまたは複数の新しい幾何学的特徴の少なくとも1つの幾何学的特徴の新しい補正をユーザーから受け入れ、新しい補正の位置が関心対象の一つまたは複数の新しい幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる。前記方法はさらに、指示された一つまたは複数の新しい幾何学的特徴の一つまたは複数の3D属性を決定することを含む。

上記のデジタル画像処理システム実施形態のいくつかの実施形態では、自動的に選択することは、前記再適正基準として、初期画像もしくは新しい初期画像および前記一つまたは複数の幾何学的特徴もしくは一つまたは複数の新しい幾何学的特徴の、潜在的な最適画像に対する相補性の全体的な尺度を使う。相補性の全体的な尺度は、一つまたは複数の個別的尺度と、対応する選択基準を含む。前記一つまたは複数の個別的な尺度は、錐台の間の交わりの尺度、被覆率の尺度、錐台と推定される押し出し部（extrusion）または任意の体積との間の交わりの尺度、角度偏差の尺度、および解像度の尺度のうちの一つまたは複数を含む。

具体的な実施形態は、下記を有するデジタル処理システムを含む。

・異なるビューおよび／または位置から捕捉された複数の画像を受け入れる手段。各画像は、それぞれのカメラから捕捉されたものである。該受け入れることは、受け入れられる各画像について、受け入れられるそれぞれの画像および受け入れられるそれぞれの画像を捕捉したそれぞれのカメラの属性（まとめて「カメラ・モデル」）に関係したそれぞれのパラメータを受け入れることを含む。

・ユーザーから入力を受け入れる手段。該受け入れる手段は、受け入れられた画像の一つを初期画像として選択するユーザーからの入力を受け入れ、関心対象の一つまたは複数の幾何学的特徴を指示するユーザーからの入力を受け入れるように構成される。

・指示された一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定する目的のために、初期画像に相補的な最適画像を、受け入れられた複数の画像から、最適性基準を使って自動的に選択する手段。

前段のデジタル処理システムのいくつかのバージョンでは、初期画像における関心対象の一つまたは複数の幾何学的特徴は、点、線、および面からなる特徴の集合のうちの1つを含む。

最適集合実施形態と呼ばれる前二段のいずれかのデジタル処理システムのいくつかのバージョンでは、自動的に選択する手段は、受け入れられた複数の画像から、前記最適画像とともに最適集合を形成する一つまたは複数の追加的画像を自動的に選択するようにも構成されており、前記最適集合の各画像は、指示された一つまたは複数の幾何学的特徴の3D属性を決定するための初期画像に対して相補的である。

前段に記載されるデジタル処理システムのいくつかのバージョンでは、自動的に選択する手段はさらに、前記最適性基準に従って前記最適集合における画像の一部または全部をランク付けすることを含み、該ランク付けは、前記初期画像に対する相補的画像として使用するための好適さに基づき、最も高くランク付けされた画像が最適画像である。

前4段（「基本となる4段」と呼ばれる）のいずれかに記載されるデジタル処理システムのいくつかの具体的な実施形態は、画像および他の情報をユーザーに対して表示する手段を有しており、該表示する手段は、前記最適画像および関心対象の前記一つまたは複数の幾何学的特徴をユーザーに対して表示するように構成されている。

前段に記載されるデジタル処理システムのいくつかのバージョンでは、

・ユーザーから受け入れる手段が、関心対象の前記一つまたは複数の表示された幾何学的特徴の少なくとも1つの幾何学的特徴の補正をユーザーから受け入れ、補正の位置が、関心対象の前記一つまたは複数の幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる。

・自動的に選択する手段はさらに、関心対象の前記一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定するように構成されている。

前段のデジタル処理システムのいくつかのバージョンでは、前記一つまたは複数の3D属性は、建物の屋根の傾きを含む。

最適集合実施形態のいくつかのバージョンでは、

受け入れる手段はさらに、最適集合からの他の画像のうちの1つの、新しい最適画像としての選択をユーザーから受け入れるように構成される；

表示する手段はさらに、新しい最適画像をユーザーに対して表示するように構成され、関心対象の前記一つまたは複数の幾何学的特徴が該新しい最適画像の上に表示される；

受け入れる手段はさらに、前記新しい最適画像の上の関心対象の前記一つまたは複数の表示された幾何学的特徴の少なくとも1つの幾何学的特徴の補正を、ユーザーから受け入れるよう構成され、該補正の前記新しい最適画像上での位置が、関心対象の前記一つまたは複数の幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる；

自動的に選択する手段はさらに、前記一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定するように構成される。

基本となる4段のいずれかに記載されるデジタル処理システムのいくつかのバージョンは、画像および他の情報をユーザーに対して表示する手段を有しており、該表示する手段は、前記最適画像および関心対象の前記一つまたは複数の幾何学的特徴をユーザーに対して表示するように構成されており、

受け入れる手段はさらに、現在の初期画像において以前に選択されたのと同じ幾何学的特徴であってもよい、関心対象の一つまたは複数の新しい幾何学的特徴の指示をユーザーから受け入れるように構成される。ここで、関心対象の一つまたは複数の新しい幾何学的特徴の指示を受け入れた後の最適画像は新しい初期画像になる；

自動的に選択する手段はさらに、抑止する目的のために、前記新しい初期画像に相補的な新しい最適画像を、受け入れられた複数の画像から、最適性基準を使って自動的に選択するように構成される；

表示する手段はさらに、新しい最適画像をユーザーに対して表示するように構成され、関心対象の前記一つまたは複数の追加的な幾何学的特徴が表示される。

前段に記載されたデジタル処理システムのいくつかのバージョンでは、自動的に選択する手段はさらに、受け入れられた複数の画像から、前記最適画像とともに最適集合を形成する一つまたは複数の追加的画像を自動的に選択するように構成され、前記最適集合の各画像は、指示された一つまたは複数の幾何学的特徴の3D属性を決定するための新しい初期画像に対して相補的である。

前段に記載されたデジタル処理システムのいくつかのバージョンでは、自動的に選択する手段はさらに、前記最適性基準に従って前記最適集合における画像の一部または全部をランク付けするよう構成されており、該ランク付けは、前記初期画像に対する相補的画像として使用するための好適さに基づき、最も高くランク付けされた画像が最適画像である。

受け入れる手段がさらに、関心対象の一つまたは複数の新しい幾何学的特徴の指示をユーザーから受け入れるように構成されるデジタル処理システムのいくつかのバージョンでは、

受け入れる手段がさらに、表示される、関心対象の一つまたは複数の新しい幾何学的特徴の少なくとも1つの幾何学的特徴の新しい補正をユーザーから受け入れ、新しい補正の位置が関心対象の一つまたは複数の新しい幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる；

自動的に選択する手段はさらに、指示された一つまたは複数の新しい幾何学的特徴の一つまたは複数の3D属性を決定するように構成される。

自動的に選択する手段を含む上記のデジタル画像処理システム実施形態のいくつかの実施形態では、自動的に選択することは、前記再適正基準として、初期画像もしくは新しい初期画像および前記一つまたは複数の幾何学的特徴もしくは一つまたは複数の新しい幾何学的特徴の、潜在的な最適画像に対する相補性の全体的な尺度を使う。相補性の全体的な尺度は、一つまたは複数の個別的尺度と、対応する選択基準を含む。前記一つまたは複数の個別的な尺度は、錐台の間の交わりの尺度、被覆率の尺度、錐台と推定される押し出し部（extrusion）または任意の体積との間の交わりの尺度、角度偏差の尺度、および解像度の尺度のうちの一つまたは複数を含む。

具体的な実施形態は、これらの側面、特徴、または利点のすべてを提供してもよく、一部を提供してもよく、またはいずれも提供しなくてもよい。具体的な実施形態は、一つまたは複数の他の側面、特徴、または利点を提供してもよく、そのうちの一つまたは複数は、本明細書の図面、記述、および特許請求の範囲から当業者に容易に明らかでありうる。

詳細な説明
本発明の実施形態は、初期画像における関心対象の特徴（単数または複数）の3D測定のための画像を自動的に選択する方法を含む。

図1は、本発明の機械実装される方法実施形態の簡略化されたフローチャートを示す。本方法は、図14に示されるようなデジタル処理システムを動作させる方法であり、図14は本発明の実施形態が動作する要素を有する例示的なシステム・アーキテクチャー1400の概略図を示す。要素1401、1431、1441、1451、1481は、ネットワーク1491を介して結合されて示されているが、他の代替実施形態では、そのように結合される必要はない。本発明のいくつかの実施形態では、ネットワーク1491は、公共ネットワークであり、個別的な実施形態ではインターネットである。したがって、これらの要素1401、1431、1441、1451、1481は、ネットワーク1491の一部とみなされることができる。

一般に、本明細書で使用される用語「エンジン」は、ハードウェアまたはファームウェアにおいて具現された論理、または機械実行可能な命令の集合を指す。そのような実行可能命令は、最初、プログラミング言語で書かれ、コンパイルおよびリンクされて、機械実行可能命令の実行可能プログラムにされてもよい。さらに、ハードウェアエンジンは、ゲートおよびフリップフロップのような接続された論理ユニットから構成されてもよく、および／またはプログラマブルゲートアレイまたはプロセッサのようなプログラマブルユニットから構成されてもよいことが理解されよう。

ある実施形態では、画像は、カメラ・システム1441によって捕捉され、ネットワーク1491を通じて画像記憶サーバー1481に送信され、そこで、捕捉された画像1489は、カメラの識別情報、カメラの位置、画像のタイムスタンプ、カメラの配向／回転、カメラの解像度、および他のカメラ・パラメータ、といったカメラ・パラメータとともに記憶される。これらのパラメータ全部の集まりは、本明細書ではカメラ・モデルと呼ばれる。ある実施形態では、カメラは、航空機またはUAV（無人航空ビークル）に搭載される。そのようなカメラの一つが、本発明の出願人に譲渡された特許文献１および該特許文献１の親特許に記載されている。もちろん、本発明の諸実施形態において使用される画像は、1つまたはそのようなカメラによって得られるものに限定されない。他の任意のカメラが使用されうる。
米国特許第9641736号

いくつかの実施態様では、画像およびカメラ・モデル1489は、システム1400によってすでに受け入れられ、画像記憶サーバー1481に記憶されていると想定され、よって、動作時には、カメラは本システムの一部ではない。画像記憶サーバーは、一つまたは複数のデジタル・プロセッサ（明示的に示されていない）と、メモリおよび一つまたは複数の他の記憶要素を含む記憶サブシステム1487と、実行されると画像記憶サーバー1481の機能を実行する、記憶サブシステム1487内の命令とを含む。

一つまたは複数の画像およびそれらのそれぞれのカメラ・モデルは、たとえばネットワーク1491およびネットワーク・インターフェースなどの入力ポートを介して、デジタル画像処理システム1431に受け入れられる。デジタル画像処理システム1431は、デジタル画像処理システム1431の少なくとも1つのプロセッサ1432によって実行可能な、記憶サブシステム1433内の記憶、たとえば1435内のプログラム命令に従って本明細書に記載されるそれぞれの方法段階を実行する。記憶サブシステム1433は、メモリおよび一つまたは複数の他の記憶要素を含む。

画像処理システムは、複数の別個のエンジンに分割されてもよい。

ある実施形態では、ユーザーは、クライアント・デジタル処理システム1401上でデジタル画像処理システムと対話する。クライアント・デジタル処理システム1401は、一つまたは複数のデジタル・プロセッサ1402と、ディスプレイ1407と、記憶サブシステム1403（メモリを含む）と、ユーザーが画像を選択および表示し、表示された画像内の一つまたは複数の幾何学的特徴をポイントおよび／または描画することを可能にするサブシステムを形成する一つまたは複数のユーザー入力装置1406とを含む。クライアント・デジタル処理システム1401によって実行される機能は、記憶サブシステム1403に記憶された命令1408実行することによって実行される。ユーザーは、それぞれのユーザー・インターフェース（UI）を介してクライアント・デジタル処理システム1401を操作することができる。Ulは、任意的に、ブラウザー、他のネットワーク・リソース・ビューアー、専用アプリケーション、または他の入力手段を使用して、クライアント・デジタル処理システム1401を介して提示される（そしてユーザーの命令が受領されうる）。一般に、人（ユーザー）は、特定のアイテム上でホバリングする、アイテムをポイントする、またはクリックすること、マイクロフォンを介して口頭で命令を提供すること、人がタッチスクリーンに触れること、および他の仕方で人が情報を提供することの少なくとも1つによって、情報をクライアント・デジタル処理システムに入力することができる。このように、一つまたは複数のユーザー・インターフェースが、ユーザー・デジタル処理システム1401上に提示されてもよい。システム1401は、ラップトップコンピュータ、デスクトップコンピュータ、ユーザー端末、タブレットコンピュータ、スマートフォン、または他の端末タイプであってもよい。ユーザー入力装置は、一つまたは複数のタッチスクリーン、マイクロフォン、タッチパッド、キーボード、マウス、スタイラス、カメラ等を含みうる。

図14に示す要素は代表的なものであることに留意されたい。いくつかの実施形態では、デジタル画像処理システムは、ウェブにおいて、たとえば、一つまたは複数のウェブエージェントとして動作してもよく、よって、そのようなエージェントはプログラム命令（1435として示される）を含み、そのようなプログラミング命令は機械上で動作するが、機械は、必ずしも、図14に示されるような個々のデジタル処理システムとして分割されるわけではない。さらに、機械は、クラウド内でインスタンス化された仮想マシンであってもよい。同様に、画像記憶サーバーは、クラウド内のウェブ・サービスとして提供されてもよい。

他の実施形態では、画像記憶サーバーの機能は、捕捉された画像およびメタデータ1489を記憶するための記憶サブシステム1433を使用して、デジタル画像処理システム1431に組み込まれてもよい。

さらに、他の実施形態では、画像処理システムは、個別的な一組の段階を実行するように構成された複数の別個のエンジンに分割されてもよい。かかるエンジンは、特に三角測量および幾何学的計算を実行する幾何エンジン、相補性の諸尺度および相補性の全体的な尺度を計算し、一つまたは複数の最適画像を選択するする選択（相補性）エンジンを含む。

当業者は、図14に示される構成が、図1のフローチャートに従って動作できるシステムの1つの可能な構成にすぎないことを理解するであろう。たとえば、システムは、ネットワークを通じて動作する必要はなく、より少ない要素が使用されてもよい。たとえば、クライアント・デジタル処理システム1401、デジタル画像処理システム1433、および画像記憶サーバー1481の機能は、一つまたは複数のデジタル・プロセッサ、記憶サブシステム、ディスプレイ、および一つまたは複数のユーザー入力装置を含む単一のデジタル処理システムに組み合わされてもよい。

図1のフローチャートに戻ると、ステップ103は、異なるカメラ位置および／または異なるカメラ配向から撮影された複数の画像を受け入れ、受け入れられた画像についてのそれぞれのカメラ・モデルを受け入れることを含む。受け入れられた画像の少なくとも一部はユーザー・インターフェース上でユーザーに対して表示される。ユーザー・インターフェースは、ユーザーが画像を選択する能力を提供することと、点、線、領域などといった関心対象の一つまたは複数の幾何学的特徴をユーザーが選択するためのポインティング・サブシステム・システムとを含む。

受け入れられた画像の一つまたは複数がユーザーに対して表示され、ユーザーはユーザーにとっての関心領域を示す画像を選択する。いくつかの実施形態では、画像は単に、その上でユーザーが関心領域を指示することができる前記画像のうち一つであり、その場合、本方法は、105において、初期画像、たとえばユーザーにとって関心のある一つまたは複数の点の良好なビューを有する画像の指示をユーザーから受け入れ、初期画像および関心対象の点を表示する。

ある実施形態では、初期画像のユーザーへの提示は、グラフィカル・ユーザー・インターフェースを含むクライアント・デジタル処理システム（ユーザー端末として動作する）のディスプレイ1407上である。クライアント・デジタル処理システム上で実行される命令のセットは、ユーザー・インターフェースの提示、ユーザー・インターフェースに入力されたデータの受け入れ、およびユーザーとの他の対話を実行する。図1のフローチャートの他のステップの多くは、デジタル画像処理システム1431上で実行される。

ステップ107〜119のそれぞれは、ユーザーの行動をガイドするために、ユーザー・インターフェースを介してユーザーに提示される指示を伴っていてもよい。そのような指示は、特定の画像において、たとえば、「一次ビュー」（たとえば、初期画像）、「二次ビュー」、「三次ビュー」または他の特定的に同定された画像としてユーザーに対して提示された画像において、点を選択するまたは線を描く（または他の幾何学的形状を形成する）ことをユーザーに明示的に要求することができる。

ステップ107は、初期画像（または選択された一つまたは複数の画像）における一つまたは複数の2D点（ピクセルまたは補間された点）の選択をユーザーから受け入れることを含む。そのような点のグループは、線、一つまたは複数の三角形等のような3Dにおける幾何学的実体を表わすように指定されてもよい。ステップ107は、初期画像上にユーザー選択を表示することを含む。

ステップ109は、たとえば、デジタル画像処理システム1431において、または、いくつかの実施形態では、別個の選択（相補性）エンジンにおいて、受け入れられた画像の少なくとも一部およびそれらのそれぞれのカメラ・モデルに関連して、初期画像に対する一つまたは複数の選択尺度を計算することを含む。選択尺度は、それぞれの幾何学的相補性に従って画像を選択およびランク付けするために使用されうる選択基準に対応し、本明細書では、初期画像に対する相補的画像としての好適さの尺度を意味するために使用される。よって、提供された複数の画像のうちのいくつかの画像は、初期画像に対して相補的であってもよく、一つは最も高い相補性を有する。

受け入れられた画像のうちの前記少なくともいくつかは、初期画像との関連性、たとえば、捕捉された画像の地理的位置に応じて、利用可能な受け入れられた捕捉画像からあらかじめ選択されてもよく、その結果、受け入れられた画像の前記少なくともいくつかは、初期画像上の関心対象の点（単数または複数）のユーザーによる選択を含む画像のみを含んでいてもよい。いくつかの実施形態では、さらに、画像のいくつかは、たとえば該画像が不十分な解像度、不十分な鮮鋭度、過剰なノイズなどのようないくつかの画像品質のいくつかの尺度を満たさないため、ユーザーによって明示的に除外されてもよい。いくつかの実施形態では、追加的または代替的に、画像のいくつかは、画像中の関心対象の一つまたは複数の点のビューの障害物の存在のような、画像中の望ましくないアーチファクトの存在の指標のために除外されてもよい。

よって、ステップ109では、各選択尺度を使用して、画像が初期画像に対して相補的であるか否かを判断するのに関連する一つまたは複数の画像特性を使用する対応する選択基準が計算される。それにより、提供された複数の画像から一つまたは複数の画像の集合を自動的に選択するステップ111が実行できる。

ステップ111は、ステップ109で決定された選択基準を用いて、前記少なくともいくつかの受け入れられた画像から、選択基準に基づく相補性の尺度に従って、初期画像に対する相補的画像として最も好適な画像を形成する画像を自動的に選択することを含む。そのような最も好適な画像を最適画像と呼ぶ。いくつかの実施形態では、ある実施形態では、単一の画像、すなわち相補性において真に最適である画像のみが選択されるが、他の実施形態では、ステップ111は、提供された画像から少なくとも一つの他の画像を自動的に選択して、好適な画像の「最適集合」と呼ぶものを形成することを含む。かかる集合は、最適画像を含む。そのような実施形態は、選択基準に基づいて、相補性の尺度に従って最適集合の画像をランク付けすることを含んでいてもよい。本発明のある実施形態では、ステップ111における自動的な選択は、ステップ109で計算された選択基準の最適化を実行することに基づいている。

いくつかの実施形態では、使用事例および利用可能なデータ／特性に依存して、画像の相補性をうまく測るように、特性および尺度の部分集合が選択されることを注意しておく。

いくつかの実施形態では、ステップ111は、初期画像上の関心対象の点（単数または複数）のユーザーによる選択の、最適画像上での位置を自動的に計算することを含む。これは、別個のステップとして実行されてもよい。

ステップ111は、デジタル画像処理システム1431において、またはいくつかの実施形態では、別個の選択（相補性）エンジンにおいて実行される。

ステップ113は、本方法が、関心対象の点（単数または複数）のユーザーによる選択と一緒に、最適画像をユーザーに対して視覚的に提示することを含む。それにより、ユーザーは、関心対象の点（単数または複数）のユーザーによる選択の、最適画像での位置を、関心対象の幾何学的特徴（単数または複数）に対応するように、修正することができる。たとえば、ある実際的な用途では、関心対象の点（単数または複数）のユーザーによる選択は、初期画像における平面状の屋根パネルのコーナー上であってもよい。これらの点は、最適画像上で計算された場合、屋根パネルの端ではなくなる可能性がある。

いくつかの実施形態では、最適画像だけでなく、好適な画像の最適集合の一つまたは複数の画像の部分集合、またはすべての画像が、ユーザー・インターフェース上でユーザーに対して提示される。これらの一つまたは複数画像を、好適な画像の「選択された部分集合」と呼ぶ。

以下では、最適な画像のみがユーザーに提示されるとする。ユーザーが関心対象の幾何学的特徴（単数または複数）の位置を補正できるように、ユーザーが選択した関心対象の幾何学的特徴（単数または複数）と一緒に提示されている最適画像を考える。

この段階では、何らかの実施形態において、ユーザーは、たとえばユーザーが選択した関心対象の幾何学的特徴（単数または複数）の角度または位置のため、選択された最適画像に満足しないことがありうる。そのような実施形態では、ユーザーは、別の画像、たとえば、選択された集合または完全な最適集合のうちの他の画像のうちの1つ、が最適画像であることを望むことがありうる。これは、「ユーザーが満足?」と記された判断ブロック115として示されている。そして、ユーザーが満足しておらず（「No」分枝）、ユーザーが選択をすることに応答して、ステップ117において、本方法は、新しい最適画像のユーザーによる選択をユーザーから受け入れる。次いで、本方法は、ユーザーが選択した新しい最適画像を使用してステップ113に戻る。

ステップ119では、ユーザー・インターフェースは、ユーザーから、表現された幾何学的実体の一つまたは複数の対応する点の同定および／または洗練（「ユーザー・アクション」）を受け入れ、受け入れられた同定および／または洗練をユーザーに対して表示する。平面状の屋根の例では、ユーザーは、平面状の屋根のラインエッジを形成する2点の位置を対話的に補正する。

ステップ121では、たとえばデジタル画像処理システム1431において、表現された幾何学的実体の一つまたは複数の対応する点の位置に対する、受け入れられたユーザー・アクション（単数または複数）の対応する結果の計算が、実行される。これは、最適画像における（または、いくつかの実施形態では、選択された部分集合からの前記画像の一つまたは複数における）3D三角測量計算を実行することを含む。計算は、幾何学的実体の属性、たとえば、3D傾斜（ピッチ）および線の長さ、平面状オブジェクトの表面積などを決定することを含む。ステップ121はさらに、最適画像（または選択された集合からの前記画像の一つまたは複数）のグラフィック表示上に対応する結果を表示することをさらに含み、表示される結果は、計算された属性、たとえば、表現された幾何学的実体の線分長（単数または複数）、傾き／ピッチ、およびその他の一つまたは複数の適用可能なパラメータのうちの一つまたは複数を含む。

代替的な実施形態では、ひとたび最適画像がユーザーに対して表示されたら（113）、ユーザーは、該最適画像が新しい初期画像となってステップ107に戻ることを選択することができ、ステップ107では、本方法に、ユーザーからさらなる点、たとえば一つまたは複数の追加的な線をなす追加的な端点、を受け入れさせることができる。古い最適画像は新しい初期画像であり、ステップ109は新たに追加されたさらなる点を用いて進行する。
簡略化されたブロック図
図2は、本発明のある実施形態のデータ・フローの簡略化されたブロック図を示す。画像集合は、画像の順序なし集合205と、初期画像207とを含む。選択（相補性）エンジン203は、一組の選択尺度に基づく選択基準を使用する。いくつかの実施形態において、選択（相補性）エンジン203は、画像処理システム1431において実装される。これらの選択尺度は、上述のカメラ・モデルとともに、方位（heading）、ピッチ（pitch）、およびロール（roll）における角度制約条件209を含んでいてもよく、これらの制約条件はそれぞれθ_H、θ_P、およびθ_Rと記される。この文脈において、いくつかの実施形態では、ピッチは、水平面から基礎面への角度を指すことを注意しておく。よって、カメラが真下に向けられ、たとえば家の上面の画像を形成する場合、画像は90度のピッチを有する。他方、水平線の画像は、0度のピッチを有することになる；いくつかのそのような実施形態において、方位は、真北に対する角度を意味する。よって、真下を向くカメラが画像を撮影する場合、たとえば建物の上面のその画像は、90度の方位にあり、一方、水平線の画像は、0度の方位にある。

また、いくつかの実施形態では、デジタル表面モデル（DSM）および／またはメッシュデータ（たとえば、三角形表面としての）などの相補的な3Dおよび／またはZ軸データ211（これは「2.5D」という変種であってもよい）も使用される。選択（相補性）エンジン203によって決定される結果は、画像の順序付き集合213（順序付けは、相補性の全体的な尺度に基づく）、またはいくつかの実施形態では単一の最適画像を含んでいてもよい。

幾何学的相補性尺度、基準および入力パラメータ
用語
初期画像207は、その中で特徴が選択される、または関心対象の点を含む最初の画像である。「初期カメラ・モデル」は、初期画像を捕捉するために使用された装置（本明細書ではカメラと呼ぶ）を記述す特性の集合を含む。「最適画像」は、初期画像207に対する最も高いスコアの（最も相補的な）画像である。「最適カメラ・モデル」は、「最適画像」を捕捉するために使用された装置を記述する特性の集合である。「画像集合」205は、初期画像を除くすべての利用可能な画像である。最適集合213は、初期画像207に対する相補性スコアに従ってランク付けされた画像の集合である。

カメラおよびその他の装置特性
特定の画像についての「カメラ・モデル」は、捕捉時のカメラ・システムの位置（たとえば、偏東距離（easting）、偏北距離（northing）、高度、UTM座標）、捕捉時のカメラ・システムの回転および配向（たとえば、方位、ピッチ、ロール）、ならびに使用されるカメラ・システムの解像度を含み、使用されるカメラ・システムのレンズ歪みモデルおよび使用されるカメラ・システムのセンサー種別および形状を含んでいてもよい。同様に、「特定のビューポート」は、画像の局所部分を記述するために使用されてもよく、これはズームによって、またはピクセル単位での画像内の局所的な境界によって記述できる。「レンズ歪みモデル」は、複数のカメラ・センサーおよびレンズ特性の関数であってもよいことに注意されたい。

他の手段を介して決定されたものであってもよい、画像に関連して使用されうる他の相補性属性は、推定グラウンド高さ、ユーザー選択された特徴の最大高さ、デジタル表面モデル（DSM）、または類似または同じ位置における既知の特徴幾何を含む。

選択尺度および基準
ある実施形態では、図2の選択（相補性）エンジン203は、一組の選択基準を使用する。各選択基準は、画像の、たとえば初期画像および関心対象のユーザー選択された幾何学的特徴（単数または複数）の、潜在的な最適画像に対する幾何学的相補性を決定するために使用される対応する選択尺度を使用する。選択基準において使用される対応する選択尺度は、以下に記載される尺度および対応する選択基準のうちの少なくともいくつかを含み、いくつかの実施形態では全部を含み、さらに他の実施形態では一つだけを含む。

錐台間の交わりの尺度／基準
図3は、本発明のある実施形態による、画像重複の有望な尺度として使用される、カメラ視錐台の交わりの単純化された図を示す。これは、図2のエンジン203において示されるf₁(intersection)に含まれる。2つのカメラ位置303および305と、表面（surface）301、典型的には基礎面（ground）上の捕捉領域313および315と、領域313および315の重なりの上の、2つのカメラ視錐台の交差体積317とが示されている。そのような交差体積が重なりの尺度をなす。そのような尺度は、初期カメラ・モデル錐台と潜在的な最適画像のカメラ・モデル錐台（潜在最適カメラ・モデル錐台と呼ばれる）とによって形成される交差体積317を計算することによって得られる。それは、各カメラ位置のレンズ境界（光線）を、ユーザー選択された幾何学的特徴（図3には示さず）を含む表面301上に投影し、それらがどこで重なるか、および／または何パーセント重なるか、および／または全交差体積を決定することによる。そのような交わりのための公式は、当業者に知られているように、また特にコンピュータグラフィックスの教程で教えられるように、直接的な幾何学を用いて決定できる。たとえば非特許文献１を参照。そのような公式の使用例は非特許文献２、３、４にも見出せる。
Y. Zamani, H. Shirzad and S. Kasaei, "Similarity measures for intersection of camera view frustums," 2017 10th Iranian Conference on Machine Vision and Image Processing （MVIP）, Isfahan, 2017, pp.171-175 S. Hornus, "A review of polyhedral intersection detection and new techniques," [Research Report] RR-8730, INRIA Nancy-Grand Est （Villers-les-Nancy, France）, pp.35; 2015 M. Levoy, "A hybrid ray tracer for rendering polygon and volume data," TR89-035, The University of North Carolina at Chapel Hill Department of Computer Science, 1989 G.T. Toussaint, "A simple linear algorithm for intersecting convex polygons," The Visual Computer, August 1985, Vol.1, No.2, pp.118-123

本発明のある実施形態は、錐台間の交わりの尺度に基づく基準として、次のことを使用する：初期画像と潜在的な最適画像の錐台の間の重なりが大きいほど、特徴が潜在的な最適画像に含まれる可能性が高くなる。

被覆率の尺度／基準
もう1つの選択尺度は、地理的近接性または被覆率の尺度である。これも、図2のエンジン203に示されている関数f₁(intersection)に含まれる。ある実施形態では、この尺度は、ひとたび画像が表面上に投影されたら、それぞれのカメラによって得られた各画像の中心ピクセルの位置の間の距離を計算することによって決定される。図4は、それぞれカメラ1およびカメラ2とラベル付けされた2つのカメラ403および401によって得られた2つの重複する画像の簡略化された概略図を示す。これらの画像は、それぞれ、表面位置411および表面位置413にそれぞれの中心ピクセルを有する。近接性の1つの尺度は、2つの中心間の距離415である。別の、同じくらい有望な尺度は、投影された表面上での、一方の画像の別の画像に対する2D重なり417（被覆率（coverage））である。これは当業者に公知の尺度である。近接性の別の尺度は、初期画像におけるユーザー選択された特徴の位置と、相補的画像でありうる各画像の中心ピクセル位置との間の計算された距離である。そのような距離のための公式は、下記の直接的な幾何学を用いて決定されうる。そのような計算は当業者には知られているだろう。

下記のコードでは、
distance＝surface location2−surface location1
〔距離＝表面位置2−表面位置1〕
と定義する。ここで、距離および表面位置は、2Dまたは3Dベクトルである。

本発明のある実施形態は、被覆率の尺度に基づく基準として、次のように述べる：初期画像中心ピクセルまたは初期画像における特徴と、潜在的「最適画像」中心ピクセルとによって記述される位置の間の距離が小さいほど、初期画像に対する潜在的最適画像の「被覆率」が高くなり、よって、特徴が潜在的最適画像に含まれる可能性が高くなる。

錐台と推定された押し出し部の間の交わりの尺度／基準
もう1つの選択尺度は、錐台と推定された押し出し部もしくは任意の体積との間の交わりの尺度である。ユーザー選択された関心対象の特徴は、潜在的な相補的画像によって表わされる2D平面上に正確に載らない可能性が非常に高い。これは、初期画像上で平面状であった非平面状特徴が、画像集合の別の画像中では、その平面から押し出されたり、その平面から持ち上げられたりすることがありうるという意味においてである。よって、初期画像および潜在的最適画像のカメラ・モデルの錐台とは無関係に、特定の方向に延在しうる、または特定の形状を有しうる、前記特徴を取り囲む体積が存在する。最適画像の錐台は、ユーザー選択された関心対象の特徴を取り囲むこの任意の体積の交差を最大化するべきである。この尺度は、潜在的な最適画像の錐台が前記任意の体積と交わる交わりとして決定される。図5は、簡略化された概略図として、1つのカメラ505（第2のカメラは図示せず）、ならびに、錐台と、関心対象の特徴を含む推定された体積のまわりにある任意の体積507との間の交差体積を示している。そのような交差体積をどのように決定するかは、直接的な幾何学を使用し、そのための公式は錐台間の交差の尺度についてのものと同じである。使用される場合、この尺度も、図2のエンジン203におけるf₁(intersection)に含まれる。

本発明のある実施形態は、錐台の尺度および推定された押し出し交差に基づく基準として、次のようなものを使用する：潜在的な最適画像錐台と、特徴を取り囲む推定された／任意の体積との間の交わりが大きいほど、特徴が潜在的な最適画像に含まれる可能性が高くなる。

角度偏差の尺度／基準
もう一つの尺度は角度偏差の尺度である。いくつかの応用では、応用の要件により、カメラ・モデルの回転および配向特性の許容範囲または制約条件が生じる場合がある。選択（相補性）エンジン203による最適画像の決定は、そのような範囲または制約条件を受け入れてもよい。角度制約条件と呼ばれ、図2において方位、ピッチおよびロールについてθ_H、θ_P、およびθ_Rと記された角度偏差は、多くの仕方で測定され、制約されることができる。たとえば、後述する視力尺度を使用することによって、単にカメラ装置の回転パラメータを測定することによって、および／または用途固有の制約条件を提供することによってである。

本質的には、角度偏差の尺度は、視覚系の空間分解能である「視力（visual acuity）」の尺度である。たとえば、非特許文献５を参照。このKalloniatisおよびLuuの論文は、光学機器が、2つの別個の物体の中で互いに近接している2つの点を分解することができるような最小分離角として定義される「最小解像角（Minimum Angle of Resolution）」、「角度分解能（Angular Resolution）」、または「MAR」の尺度を記載しており、当業者に対し、3D空間の中の2つの点を分解することにおける、特に精度に関するが隠蔽にも関する、自明な制約条件を説明するであろう。
M. Kalloniatis, C. Luu, "Visual Acuity," In: Kolb H, Fernandez E, Nelson R, editors, Webvision: The Organization of the Retina and Visual System [Internet]. Salt Lake City （UT）: University of Utah Health Sciences Center; 1995, 最終更新5 June 2007, webvision~dot~med~dot~utah~dot~edu/book/part-viii-gabac-receptors/visual-acuity/で入手可能（2018年9月11日に検索）。ここで、~dot~は実際のURLにおけるピリオド（"."）記号を示している。

空間分解能および角度分解能のための2つのそのような関数は、たとえば、次のようなものである。

角度分解能＝1.220×(光の波長/レンズ開口径);
空間分解能＝1.220×((焦点距離×光の波長)/光ビームの直径)。

たとえば、非特許文献６のWikipediaの記事を参照。
"Angular Resolution"、en~dot~wikipedia~dot~org/wiki/Anqular_resolution、最終更新25 June 2018（2018年9月11日に検索）。ここで、~dot~は実際のURLにおけるピリオド（"."）記号を示している。

図6は、カメラ1 603、カメラ2 605、およびカメラ3 607と記される簡単な概略的な3つのカメラ、およびROIと記されるユーザーが選択した関心領域621を示す。カメラ1とカメラ2の間の角度611はΔθ₁₂と記され、カメラ2とカメラ3の間の角度611はΔθ₂と記される。上記の視力計算は、システムの方位、ピッチ、またはロール（θ_H、θ_P、θ_R）、または2つの画像間の角度変化の他の任意の尺度に適用されうる。角度制約条件を決定するための公式は、当業者には公知であり、上述の参考文献において得られる。

本発明のいくつかの実施形態において使用されうる別の角度制約条件は、そのような実施形態において斜め（マルチビュー）画像が捕捉される特定のカメラ・システムにおける制限に関する。そのようなカメラからの画像は、北、南、東、西の主要方位に沿っており、これは、いくつかのビューについては最低限90度の間隔を意味する。これは、グラフィカル・ユーザー・インターフェースのユーザーが方向感を失い、よって、関心対象の特徴を識別することができなくなるような、角度制約条件の特定の事例を提供した。たとえば、ビューが90度だけ別の主要方位に切り替わろうとしていた場合を考える。関心対象の特徴の回転がユーザーにとって歪められていて、そのためユーザーが特徴の幾何を容易に把握できないことがありうる。よって、いくつかの実施形態では、純粋にユーザーが提供する、数学的でない制約条件が適用され、それにより、システムは、初期画像と同じ主要方位で撮影された画像に対して、より高い優先度を与えるように重み付けされる。

本発明のある実施形態は、角度偏差の尺度に基づく基準として、次のことを使用する：初期画像と潜在的な最適画像との間で、角度偏差が提供された範囲または制約条件に適合するほど、特徴が両方の画像において見え、ビューポートがその特定の使用事例のために受け容れ可能である可能性が高くなる。

方位、ピッチ、ロールの角度偏差の尺度は、図2のエンジン203において、それぞれf2(ang_dev_H)、f3(ang_dev_P)、f4(ang_dev_P)として示されている。

分解能の尺度／基準
第5の尺度は、図2においてf5(resolution)として示される分解能の尺度である。画像の表面への投影が特定の分解能をもたらすことを考えると、複数の画像における点の同定、および該同定または幾何抽出の精度も、分解能に依存する。ここで、精度は、分解能、焦点距離およびカメラ・センサーから関心対象の点までの距離の関数である。分解能はまた、上述の角度偏差制約条件および角度分解能の式にも直接的な影響を及ぼす。分解能は、多くの仕方でシステムにおいて測定できるが、いくつかのそのような例は、GSD、またはピクセル密度を含む。分解能は、多くの仕方で制約されることができ、数学的にはたとえば、クランプ関数、制約関数、フィルタ関数、または範囲関数〔レンジ関数〕を使用して、ある種の分解能の好適さを決定することによって制約されることができる。そのような機能のための公式は当業者に公知であり、提供された参考文献において利用可能である。

分解能の一つのそのような尺度は、地上サンプリング距離（Ground Sampling Distance、GSD）の尺度であり、これは、画像が投影される平面上（通例、ある既知の地上高さ）で1ピクセルがカバーする距離の尺度である。GSDを決定するための公式は当業者に公知である。一例は次のとおり。

GSD＝ピクセル・サイズ×(地上からの高さ/焦点距離)

より小さなGSDは、より高い分解能を示す。本発明のいくつかの実施形態では、GSDが初期画像のGSD以下である画像が優先される。

本発明のある実施形態は、分解能の尺度に基づく基準として、次のことを使う：潜在的な最適画像の分解能が分解能の範囲または制約条件をよく満たすほど、特徴が可視である能力が高くなり、特徴がより正確に同定される。

いくつかの実施形態では、画像を選択し、ランク付けするための、選択（相補性）エンジン203によって使用される相補性の全体的な尺度は、次のとおり。

Complementarity〔相補性〕＝Σ｛f₁(intersection)＋f₂(ang_dev_H)＋f₃(ang_dev_P)＋f₄(ang_dev_P)＋f₅(resolution)｝

一般的な幾何学的解析プロセス
以下のステップは、最適性の尺度（すなわち、相補性の尺度）に従って画像を選択し、ランク付けするために、選択（相補性）エンジン203によって使用される幾何学的解析のプロセスの一実施形態を記述する。これらのステップは、第1のステップ、第2のステップなどと呼ばれるが、これらのステップが実行される順序が暗に示されるものではないことに注意されたい。

本発明のある実施形態では、第1のステップは、使用されるカメラおよび他の装置特性を選択することを含む。このステップでは、上記の「カメラおよびその他の装置特性」のサブセクションに記載された装置特性の全部または部分集合が、具体的な使用事例に依存して選択される。

第2のステップは、使用される選択基準および特性のそれぞれが、全体的な最適性基準においてどのように重み付けされるべきかの重み関数を作成することを含む。そのような重み関数、たとえば重みの集合は、具体的な応用の要件に基づく。一例として、三角測量の目的のためには、選択された関心対象の点または幾何学的特徴を正確に解像するために、捕捉装置のピッチにおけるより大きな差を優先するために、画像の角度偏差に対して、より大きな重みを与えるであろう。

下記は、ある具体的な実施形態において重み関数を生成する方法の例である。この方法は、初期画像に対する相補性スコアによって画像をソートすることを含む。スコアはたとえば、位置スコア、方位偏差スコア、およびピッチ・スコアの合計としてのスコアである。位置スコアについては、方法は、完全にセンターされた200メートルごとに1点を加算する。ここで、完全にセンターされたとは、2つのユーザー選択された点から形成された関心対象の線の中心が画像の中心に位置することを意味する。方位偏差（度を単位とする差）スコアは、初期画像の方位からの方位差（度）を決定し、方位偏差22.5度ごとに1点を削除する。いくつかの実施形態では、方位は、真北に対する角度であり、たとえば、画像が家屋の南に面する壁のものである場合、カメラは、方位が0度であるように真北であったであろう。ピッチ差スコアについては、本方法は、画像ピッチと初期画像のピッチとの間のピッチ差（偏差）22.5度のごとに1点を加算する。いくつかの実施形態では、ピッチは、水平から基礎面〔グラウンド〕への角度であり、よって、たとえば、いくつかの実施形態では、家屋の上面の画像（真下に向けられたカメラで撮影された）を見ていたとすると、その画像は90度のピッチを有し、水平線の画像は0度のピッチを有する。

いくつかの実施形態では、重み関数作成方法は、初期画像と角度が類似しすぎている任意の画像を除去することをさらに含む。あるバージョンは、類似すぎているための基準として、方位角度偏差とピッチ角度偏差の合計が20度以下であることを使用する。重み関数作成方法は、線分（2つの端点が指示される場合）のいずれかの部分が画像の外側にある任意の画像を除去することをさらに含む。このステップについて、比、たとえば、初期画像の錐台体積と交わる各潜在的な最適画像の錐台体積の交差体積と、初期画像錐台によって生成される体積との割合。この交差割合およびカメラ回転角度が、スコア化され、重み関数を使用して重み付けされ、各潜在的な最適な相補的画像のための最適性基準を決定する。

第3のステップは、初期画像を選択し、初期画像の特性をデジタル処理システムに受け入れることを含む。これは、図1のフローチャートのステップ105に対応する。

第4のステップは、画像集合における各潜在的な最適画像について、そのような各画像の特性を使用して、（上記の5つの選択尺度からの）使用される各尺度についての値を計算することを含む。計算された各尺度は、作成された重み関数を使用して対応する重みを乗算される。

第5のステップは、画像集合における各潜在的な最適画像についての重み付けされた尺度または特性を合計して、そのような画像の最適性基準を形成することを含む。

第6のステップは、最適性基準に従って画像集合における潜在的な最適画像を順序付け（ランク付け）し、最上位にランク付けされた画像を、選択された初期画像およびその中の関心対象の選択された幾何学的特徴（単数または複数）についての、最適な相補的画像として選択することを含む。第4、第5、および第6のステップは、図1のフローチャートのステップ107、109、および111に対応する。

本明細書に記載されているように、いくつかの実施形態では、ひとたび最適な相補的画像が選択されると、それはユーザーに対して表示される（図1のフローチャートのステップ113で）。ユーザーが選択した関心対象の幾何学的特徴（単数または複数）の、最適画像上での位置が初期画像から計算され、最適な相補的画像上でユーザーに対して表示される。次いで、ユーザーは、領域、たとえば点、線、面積などの配置を補正してもよい（図1のステップ1119を参照）。図1のステップ121は、ユーザーが入力した補正を使用して、ユーザーが選択した幾何学的実体の一つまたは複数の適用可能なパラメータを計算することを含む。

例示的実施形態A
実施形態Aと呼ばれるこの実施形態については、選択された初期画像および関心対象の幾何学的特徴（単数または複数）について最適画像を選択するために、カメラ・モデル特性の特定の部分集合を使用し、「錐台重複」選択尺度および基準のみを使用する仕方を記述する。カメラ・モデルの位置、回転、配向、レンズ歪み、センサー形状特性が、この例示的実施形態のために選択され、選択プロセスへの入力パラメータとして使用される。

このように、例示的実施形態Aによれば、ユーザーは初期画像を選択し、初期カメラ・モデルの位置、回転、配向、センサー形状、およびレンズ歪みを記録させる。ユーザーはまた、関心対象の幾何学的特徴（この場合は点）を定義するために、初期画像内の点（2Dピクセル座標）を選択する。この初期画像および関心対象の幾何学的特徴についての最適な相補的画像を選択し、次いで、その相補的画像を、前記特徴の3D位置を決定するために使用するために、本発明の方法のある実施形態を使用して、この点の3Dでの幾何を推定することが望まれる。

実施形態Aでは、初期カメラ・モデルのセンサーは、四角形の形状を有すると想定される。そのような形状およびレンズの歪みが、センサーの境界コーナーから表面（すなわち、初期画像のコーナー）に光線〔レイ〕を投じるために使用される。これらの光線と表面との交差によって形成される体積は、錐台（frustum）と呼ばれる体積を形成する。

初期カメラ・モデルの位置、回転、および配向を用いて、上で計算された錐台体体積幾何を空間内の実際の実位置に変換することができる変換行列が決定され、その結果、本方法は今や、図3に示されるように、初期画像のカメラ位置から初期画像の表面上での位置までの錐台体積を有する。

そのような画像（潜在的な最適画像）について、その画像のカメラ・モデル位置、回転、配向、センサー形状、およびレンズ歪みが記録される。初期画像についての錐台計算のようにして、それぞれの他の画像のセンサー境界錐台体積が、投影され、表面と交差し、行列変換を介して、カメラ・モデルの位置、回転、配向を用いて空間内の実際の位置に変換される。

本方法は、比を、たとえば、初期画像の錐台体積と交わる各潜在的な最適画像の錐台体積の交差体積と、初期画像錐台によって生成される体積との割合として計算する。この交差割合およびカメラ回転角が、スコア化され、重み関数を使用して重み付けされ、各潜在的な最適な相補的画像についての最適性基準を決定する。

この実施形態Aでは、以下のサンプル関数において、pitchConstraintおよびheadingConstraintと呼ばれる2つの角度制約条件がある。ここで、pitchConstraintは最小ピッチ角差であり、headingConstraintは初期カメラ・モデルと潜在的な最適画像のカメラ・モデルとの間の最大方位差である。図2では、pitchConstraintおよびheadingConstraintはそれぞれθ_Pおよびθ_Hと記されている。

この例示的実施形態Aでは、それぞれの変数についてそれぞれの最適性スコア関数が作成される。

例として、次の擬似コードは、originalFrustumVolume〔もとの錐台体積〕の、intersectionVolume〔交差体積〕によってカバーされる割合〔百分率〕として、交差割合スコアと呼ばれる交差スコアを返すことを記載している。範囲は0〜100である。

score(intersectionVolume, originalFrustumVolume) {
(intersectionVolume/originalFrustumVolume)*100
}

。

次の擬似コードは、初期画像のピッチからのpitchConstraint度の変動（variance）より大きいすべてのピッチについて、ピッチ変動スコア（範囲0〜100）と呼ばれる第2のスコアを返す第2の関数を記述する。

score(initialPitch, otherPitch, pitchConstraint) {
diff＝absolute(initialPitch−otherPitch)
if (diff＜pitchConstraint) {
return 0
} else { return ((180−pitchConstraint−diff)/(180−pitchConstraint))*100}
}

次の擬似コードは、方位変動スコアと呼ばれる範囲0〜100の第3のスコアを返す第3の関数である。ここで、100は方位における非常に小さな偏差であり、0は方位における非常に大きな偏差である。

score(initialHeading, otherHeading, headingConstraint) {
diff＝absolute(initialHeading−otherHeading)
if (diff＜headingConstraint) {
return headingConstraint−diff*10
} else {return 0}
}

ここに記載される諸実施形態において、画像を捕捉するために使用されるカメラ・システムは、N,S,E,W主要方位のみに限定されており、よって、画像の集合はこれらの主要方位のみでの画像を含み、最低90度（またはそれに非常に近い角度）で分離されることを想起されたい。さらに、ユーザー配向制約条件が与えられる場合、この実施形態Aで使用されるheadingConstraintは、（例として）90度である。この例におけるpitchConstraintは、カメラ・モデルの配向のピッチ・パラメータ（θ_P）に適用される、上記の公式で記述される最小角度分解能である。

この例示的実施形態Aについては、各スコアに重み付けする重み関数が作成された。交点割合スコアは0.5を乗算され、ピッチ変動スコアは2を乗算された。方位変動スコアは1を乗算された（すなわち、そのままとされた）。全体的な最適性基準は、重み付けしたスコアの合計であり、各潜在的な最適画像について、最大スコア350からの相補性スコアを導く。

実施形態Aの方法は、最高の最適性基準を有する画像を最適画像として選択する。そのような最適画像は、関心対象の点を位置特定するための次の画像として使用されるように、ユーザーに提示される。

例示的実施形態B
実施形態Bと呼ばれる別の例示的な実施形態は、図4に示されるように、初期画像ビューポートの中心ピクセル位置と潜在的な最適画像の中心ピクセル位置（主ピクセル位置）との間の距離を使用して、初期画像と潜在的な最適画像との間の地理的近接性または被覆率の尺度を使用する方法である。位置、回転、配向、レンズ歪み、センサー形状が入力パラメータとして使用されるカメラ・モデル特性である。

ユーザーが初期画像を選択し、本方法はその選択を受け入れる。初期カメラ・モデルの位置、回転、配向、センサー形状、およびレンズ歪みが本方法に受け入れられる。初期画像における点（2Dピクセル座標）を選択し、それが、ユーザーは、3Dでの幾何が決定されるべき関心対象の幾何学的特徴として本方法に受け入れられる。

実施形態Bの方法は、初期カメラ・モデルのレンズ歪みモデルおよびセンサー形状ならびに初期画像カメラ・モデルの位置、回転および配向を用いて、初期画像ビューポート中心の実際の位置を決定することを含む。この決定は、ビューポートの中心の点でセンサーから表面に光線を投射（投影）し、初期カメラ・モデルの位置、回転、および配向を使用する変換行列を使用して、その位置を空間内での実際の位置に変換することを含む。そのような変換をどのように実行するかは、当業者にとって明確かつストレートであろう。

各潜在的な最適画像について、実施形態Bの方法は、潜在的な最適画像のビューポート中心の実位置を決定することを含む。本方法は、各潜在的な最適画像の位置、回転、配向を用いて、表面上の投影された位置ビューポート中心をさらに変換する。本方法は、さらに、主ピクセル（2Dピクセル座標）を計算することを含む。主ピクセルとは、投射されたときにカメラ・センサーの中心に当たる光線に対応するピクセルである。この主ピクセルは、表面上の投影された位置を有する。本方法は、画像の捕捉時におけるカメラ・モデルの位置、回転、および配向によって計算された変換行列を使用して、主ピクセルの投影された位置を計算する。そのような変換をどのように実行するかは、当業者にとって明確かつストレートであろう。

この段階で、本方法は、画像集合における各潜在的な最適画像についての中心位置と、初期画像ビューポートの中心ピクセルについての中心位置（これは、ビューポートが画像の境界の範囲である場合には、主ピクセル位置であってもよい）とを有する。

実施形態Bの方法は、初期画像の「関心対象の点位置」と各潜在的な最適画像の中心位置との間の距離を計算する。この尺度は、関心対象の点と各画像の中心点との間の地理的近さを測る仕方の一例である。

実施形態Aの方法のように、この特定の場合に必要とされるいくつかの角度制約条件があり、これらは、pitchConstraintおよびheadingConstraintと称される。

実施形態Aの方法のように、中心距離、ピッチ変動、および方位変動についてスコア関数が作成される。ここで、中心距離は、初期画像中心ピクセル位置からそれぞれの他の画像の中心ピクセル位置の距離である。

実施形態Aの方法のように、各スコアを重み付けする重み関数が作成される。重み付けされたスコアの合計が、各潜在的な最適画像についての全体的スコアを提供する。本方法は、潜在的な最適画像を、それぞれの全体的スコアに従って順序付けることを含む。最高スコアの画像が、初期画像に基づく選択のための最適画像であった。

例示的実施形態Bの方法を記述する擬似コード
下記の関数は、実施形態Bの方法において、たとえばoptimise(100,10,20,[imagel,image2,image3])として使用される。下記の擬似コードでは：
C_i0＝初期画像における特徴の、表面上の位置
H_i0＝初期画像のカメラの方位
P_i0＝初期画像のカメラのピッチ
Set[i_N]＝N枚の他の画像の集合
C_N＝初期画像ビューポイント中心位置から画像Nの中心までの距離
H_N＝初期画像方位と画像Nの方位における差
P_N＝初期画像ピッチと画像Nのピッチにおける差
W_c＝中心距離のための重み付け
W_h＝方位差のための重み付け
W_p＝ピッチ差のための重み付け
C_T＝C_Nと重みが与えられたときの画像Nについての中心スコア
H_T＝H_Nと重みが与えられたときの画像Nについての方位スコア
P_T＝P_Nと重みが与えられたときの画像Nについてのピッチ・スコア
imageScore＝スコアの和
optimalImage＝maxスコアでソートしたときのnewSet〔新しい集合〕の最初の画像。

下記は、optimalImageを返す関数optimiseについての例示的な擬似コードである。

optimize(C_i0,H_i0,P_i0,Set[iN])=>{
newSet()
Set[iN]内の各画像について：
C_N＝C_i0からC_iNまでの距離
H_N＝H_i0からH_iNへの差
P_N＝P_i0からP_iNへの差
W_c,W_h,W_p＝weightFunction(image);
C_T＝scoreFunction(W_c,C_N)
H_T＝scoreFunction(W_h,H_N)
P_T＝scoreFunction(W_p,P_N)
imageScore＝C_T＋H_T＋P
newSet.add(imageScore)
break
optimalImage＝max(newSet)
}

図8は、実施形態Bの方法を実装するための例示的なコードを示す。

例示的実施形態C
例示的実施形態Cとして参照される別の例示的な方法実施形態は、相補的な3Dデータが選択方法における追加データとして使用される場合であり、選択プロセスは、押出し体積交差尺度に基づく選択基準を使用する。位置、回転、配向、レンズ歪み、センサー形状が、入力パラメータ部分集合として使用される特性である。同様に、平均基礎面高さおよび最大特徴高さが、相補的な入力であり、別個の方法によって前もって決定され、システムに入力される。この実装は、そのような相補的な入力が利用可能であると想定している。ある実施形態では、平均地上高さは、表面上の画像投影された写真境界に局在化された（localized to the images projected photo bounds on the surface）DSM（digital surface model［デジタル表面モデル］）から収集された特徴点高さのヒストグラムから計算される。建物の高さについて、特徴はこの目的のためには建物の頂点〔バーテックス〕である可能性が高く、ほとんどの建物の高さは500m以下であるとの想定がされる。これは、たとえば関心対象の点を中心とし、表面上の画像境界交差点によって境を定められる前記任意の体積の寸法（500m×500m×500m）である。もちろん、異なる応用では、たとえば高さ500mを超える極端な高層建築物については、異なる想定がなされ、前記任意の体積はより大きくなる。

ユーザーは初期画像を選択し、それを選択方法が受け入れる。初期カメラ・モデルの位置、回転、配向、センサー形状、およびレンズ歪みが本方法に受け入れられる。ユーザーは初期画像における点（2Dピクセル座標）を選択し、それが、3Dでの幾何が決定されるべき関心対象の幾何学的特徴として本方法に受け入れられる。

本明細書に開示される実施形態Cの方法は、初期画像における平均基礎面高さが既知であり、同様に、関心対象の位置における最大特徴高さについての情報が既知であると想定する。たとえば、都市が建物に対する高さ制限をもつことを知ることによって、最大特徴高さを得ることができる。

方法実施形態Aの場合と同様に、初期カメラ・モデルのセンサーは四角形の形状を有すると想定される。そのような形状およびレンズの歪みが、センサーの境界コーナーから表面（すなわち、初期画像のコーナー）に光線〔レイ〕を投じるために使用される。これらの光線と表面との交差によって形成される体積は、錐台（frustum）と呼ばれる体積を形成する。

ここでもまた、方法実施形態Aの場合と同様に、初期カメラ・モデルの位置、回転、および配向を用いて、上で計算された錐台体体積幾何を空間内の実際の実位置に変換することができる変換行列が決定され、その結果、本方法は今や、図3および図5に示されるように、初期画像のカメラ位置から初期画像の表面上での位置までの錐台体積を有する。

本方法は、初期カメラ錐台が表面と交差する、表面上の点を選択することによって、推定された体積を作成することを含む。本方法は、これらの点を入力された平均基礎面高さまで上昇させ、それらの上昇した点のところに「最大特徴高さ」の高さまで上方に延びた直方体を生成することを含む。図7は、これらの方法段階を例解するための簡単な図を示している。

本方法は、画像集合における潜在的な最適画像のそれぞれについて、潜在的な最適画像のカメラ・モデルの位置、回転、配向、センサー形状およびレンズ歪みモデルを受け入れることを含む。初期画像についての錐台計算のようにして、各潜在的な最適画像について、潜在的な最適画像のカメラ・モデルの位置、回転、および配向を用いて、錐台体積幾何を空間内の実際の実位置に変換することができる変換行列が決定され、その結果、本方法は今や、各潜在的な最適画像のカメラ位置から表面上の各画像位置への錐台体積を有する。前記の各潜在的な画像のカメラ錐台が上述した「推定された体積」と交差する前記表面上の点を選択することによって、推定された体積を生成することを含む。交差体積の全推定体積に対する割合は、それぞれのそのような画像について保存される。これは図5の図に示されている。

実施形態Aおよび実施形態Bの方法のように、特定の事例によって必要とされるいくつかの角度制約条件があり、これらは、pitchConstraintおよびheadingConstraintと称される。

実施形態Aおよび実施形態Bの方法のように、交点体積割合、ピッチ変動、および方位変動についてのスコア関数が作成される。

実施形態Aおよび実施形態Bの方法のように、各スコアに重み付けする重み関数が作成された。重み付けされたスコアの合計が、各潜在的な最適画像についての全体的なスコアを提供する。この方法は、潜在的な最適画像を、それぞれの全体的なスコアに従って順序付けることを含む。最も高いスコアの画像が、初期画像に基づく選択のための最適画像である。

屋根の傾きを測定する具体例
図9〜図13は、画像を表示することによって、ユーザーが画像集合から初期画像を選択し、ユーザーが選択された初期画像上の関心対象の特徴として傾きの2つの頂点を選択し、次いで、本明細書に記載の最適画像選択方法を用いて、選択された最適画像において決定された関心対象の特徴を表示してユーザーが選択された最適画像内の特徴の位置を補正できるようにし、ユーザーの補正を使って特徴の一つまたは複数の幾何学的パラメータ（特徴の3D幾何）を推定する（特徴の頂点〔バーテックス〕間の傾きを決定することを含む）ことを含む方法を例解する。

図9は、（図1のステップ103の一部として）関心対象の屋根を含む画像903がユーザーのユーザー・インターフェースに提示されていることを示す。ユーザー・インターフェースは、関心領域を選択するためのツールを含む諸ツールを含み、この図では、位置（関心領域）ツール905が、画像上で関心領域、この場合は関心対象の屋根907を指示するためにユーザーによって選択されている。この位置ツールがアクティブである場合、画像に関する情報が、右側の情報領域909内に提供され、この領域は、たとえば、住所、写真の場合はタイムスタンプ、および座標などの情報を表示する。

図10は（図1のステップ105および107の一部として）、図9の画像の関心対象の屋根を含むいくつかの斜め画像の1つとしての初期画像1003のユーザーによる選択を示す。ユーザー・インターフェースは、それらの斜め画像のいくつかが、左側の斜め画像領域1005に示されていることを示している。それら2つの斜め画像のうち上のほうが、ユーザーによって関心対象の画像として選択された画像、すなわち、初期画像1003を示している。この図のユーザーは、ピッチ・ツール1005を選択している。よって、ピッチ・ツールを起動すると、右側の白い領域に、ピッチを決定するための指示1007が表示される。この領域は、建物の模式図上に一般的な屋根を示し、ユーザーに「測定したい斜面に線を引いてください」ように指示する。

図11は、図1のステップ107の一部として、ユーザーが初期画像における、関心対象の特徴（線分1105）を表わす2つの頂点（図11における点1および2）を描くことを示している。この特徴が、3Dでその幾何を推定されることが意図されるものである。これらの2点は、右側の情報領域において、一般的な屋根上に示されている。これが初期画像であることを示すために「PRIMARY VIEW」〔一次ビュー〕がハイライトされている。指示「NEXT」〔次〕も、NEXTボタンとしてユーザーのために設けられている。ひとたびユーザーが屋根のエッジの線を示したら選択するためである。

よって、NEXTボタンを選択すると、図1のフローチャートのステップ109の計算が実行される。図12は、ユーザーがNEXTボタンをクリックした後のユーザー・インターフェースの表示を示す。このユーザー・アクションに応答して、上記の実施形態Bの方法が、図1のフローチャートの、自動的に選択するステップ111の一部として実行され、図1のフローチャートのステップ113が、三角測量のために初期画像と一緒に使用するべき、初期画像に対して相補的な最適画像1203を表示する。初期画像上で選択された線の位置が決定され、未補正の描画線1205として最適画像上に表示される。この線分の頂点は、最適画像1203上ではもはや関心対象の屋根のエッジにはないことに留意されたい。

この時点で、図1のフローチャートのステップ1119の一部として、ユーザーは、ユーザー・インターフェース上で、関心対象の線分特徴の頂点1および2の位置を、初期画像におけるのと同じ位置、すなわち、関心対象の屋根のエッジ上に正しく配置されるように、調整する。図1のフローチャートのステップ121として、この方法は、初期画像および最適画像を使用して、三角測量を実行し、頂点の真の位置、よって前記線分の幾何を決定し、線分のピッチおよび長さを決定し、その結果をユーザーに対して表示する。

相補的な2つの画像を与えられての三角測量法は、当技術分野において周知である。たとえば非特許文献７を参照。非特許文献８、非特許文献９もある。本発明のある実施形態では、上述のHartley and Sturm論文のセクション5.3に記載された「中点法（Mid-Point Method）」が使用されるが、本発明は、本方法が2つ以上の相補的な画像を必要とする限り、どの特定の三角測量法が使用されるかには依存しない。
Richard I. Hartley and Peter Sturm, "Triangulation," Comput. Vis. Image Underst. Vol.68, No.2 (November 1997), pp.146-157 Richard Hartley and Andrew Zisserman, "Multiple View Geometry in computer vision," Cambridge University Press, 2003 Krzystek, P., T. Heuchek, U. Hirt, and E Petran, "A New Concept for Automatic Digital Aerial Triangulation, Proc. of Photogrammetric Week '95, pp.215-223, 11-15 September 1995, Stuttgart, Germany, 1995

図13は、ユーザーに対して表示される、そのようなアクションの結果を示す。補正された最適画像1303上には、計算された長さおよび傾きを有する補正された線1305が示されている。右側の情報領域1307は、今や、ピッチ計算の結果、具体的には線の長さ（6.75m）および傾き（47度）を示している。

図1に示されるように上記のように、1つの変形では、最適画像が表示されるとき、ユーザーは、その上で選択された点（単数または複数）の配置を補正するための、新しい最適画像を選択してもよいことを注意しておく。

さらに別の変形では、ひとたび最適画像がユーザーに対して表示されると、ユーザーは、最適画像を今や新たな初期画像としてステップ107に戻ることを選択して、本方法がユーザーからさらなる点を受け入れることができるようにしてもよい。本方法は、次いで、古い最適画像を新しい初期画像とし、新たに追加されたさらなる点を用いて進行する。

ステップの番号付けは、その方法を、特定の順序でステップを実行することに限定する必要はないことに留意されたい。可能な異なる順序は、各ステップにおける特定のデータのための必要性から当業者には明らかであろう。

一般
特に断りのない限り、以下の議論から明らかなように、本明細書を通じて、「処理」、「コンピューティング」、「計算」、「決定」などの用語を使用する議論は、ホスト装置または計算システム、または同様の電子計算装置のアクションおよび／またはプロセスであって、電子的な量のような物理的な量として表わされるデータを操作および／または変換して、物理的な量として同様に表わされる他のデータにするものを指すことが理解される。

同様に、用語「プロセッサ」は、たとえばレジスタおよび／またはメモリからの電子データを、該電子データを、たとえばレジスタおよび／またはメモリに記憶されうる他の電子データに変換するために処理する任意の装置または装置の一部分を指してもよい。

本明細書に記載される方法論は、ある実施形態では、たとえばファームウェアまたはソフトウェアとしての機械読み取り可能な命令を受け入れる一つまたは複数のデジタル・プロセッサによって実行可能である。該命令は、前記プロセッサの一つまたは複数によって実行されると、本明細書に記載の方法の少なくとも1つを実行する。そのような実施形態では、実行されるべきアクションを指定する一組の命令（逐次的またはそれ以外）を実行することができる任意のプロセッサが含まれてもよい。よって、一例はプログラマブルDSP装置である。別の例は、マイクロプロセッサまたは他のコンピュータ装置のCPU、またはより大きなASICの処理部分である。デジタル処理システムは、メインRAMおよび／またはスタティックRAMおよび／またはROMを含むメモリ・サブシステムを含んでいてもよい。構成要素間で通信するためのバスサブシステムが含まれてもよい。デジタル処理システムはさらに、たとえばネットワークによって無線またはその他の仕方で諸プロセッサが結合された、分散式のデジタル処理システムであってもよい。デジタル処理システムがディスプレイを必要とする場合、そのようなディスプレイが含まれてもよい。いくつかの構成のデジタル処理システムは、音声入力装置、音声出力装置、およびネットワーク・インターフェース装置を含んでいてもよい。よって、メモリ・サブシステムは、機械読み取り可能な非一時的媒体を含み、該媒体は、一つまたは複数のデジタル・プロセッサによって実行されると、本明細書に記載された方法の一つまたは複数を実行させる一組の命令がコードされている、すなわち記憶されている。方法がいくつかの要素、たとえば、いくつかのステップを含む場合、特に断わりのない限り、そのような要素の順序付けは含意されないことに留意されたい。命令は、ハードディスク内に存在してもよく、あるいは、システムによる実行中、完全にまたは少なくとも部分的に、RAM内におよび／またはプロセッサ内の他の要素内に存在してもよい。よって、メモリおよびプロセッサはまた、命令を有する非一時的な機械読み取り可能媒体を構成する。

さらに、非一時的な機械読み取り可能媒体は、ソフトウェア製品を形成することができる。たとえば、方法の一部を実行する、よって本発明のシステムまたは装置の全部または一部の要素を形成する命令が、ファームウェアとして格納されてもよい。ファームウェアを含むソフトウェア製品が利用可能であってもよく、ファームウェアを「フラッシュ」するために使用されてもよい。

いくつかの図は、単一のプロセッサおよび機械読み取り可能な命令を記憶する単一のメモリを示すだけであるが、当業者は、上述した構成要素の多数が含まれるが、発明側面を埋没させないために明示的に図示または記載されないことを理解するであろうことに留意されたい。たとえば、単一の機械のみが示されているが、用語「機械」は、本明細書で議論される方法論のいずれか一つまたは複数を実行するための命令のセット（または複数のセット）を個別にまたは共同で実行する機械の任意の集まりをも含むと解釈される。

このように、本明細書に記載された各方法の一実施形態は、一つまたは複数のデジタル・プロセッサ、たとえばペンストローク捕捉システムを形成する受信機の一部である一つまたは複数のデジタル・プロセッサ上で実行するための命令のセットをコードされた、すなわち記憶している、非一時的な機械可読媒体の形である。

当技術分野において理解されるように、本発明の一つまたは複数の側面を実行するための特定用途向けファームウェアを備えた機械が、本発明の一つまたは複数の側面を実行するためにファームウェアによって修正された特別目的機械になることに留意されたい。これは、機械が特に前記一つまたは複数の側面を実行するように構成されているので、ソフトウェアを使用する汎用デジタル処理システムとは異なる。さらに、当業者には知られているように、製造されるユニットの数がコストを正当化する場合、プロセッサなどの要素と組み合わされた命令の任意のセットは、専用ASICまたはカスタム集積回路に容易に変換することができる。たとえば処理エンジン131の一組の命令および詳細を受け入れ、自動的にまたはほぼ自動的に専用ハードウェアの設計を生成する、たとえば、ゲートアレイまたは類似のプログラマブル論理を修正するための命令を生成するか、または一組の命令によって以前に実行された機能を実行するための集積回路を生成する方法論およびソフトウェアが、何年にもわたって存在してきた。よって、当業者には理解されるように、本発明の実施形態は、方法、特殊目的装置のような装置、データDSP装置にファームウェアを加えたような装置、または非一時的な機械読み取り可能媒体として具現されてもよい。機械可読担体媒体は、一つまたは複数のデジタル・プロセッサ上で実行されたときに該プロセッサに方法を実施させる命令のセットを含むホスト装置可読コードを担持する。よって、本発明の諸側面は、方法、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはソフトウェアとハードウェアの側面を組み合わせる実施形態の形をとることができる。さらに、本発明は、機械実行可能命令をエンコードされた非一時的な機械読み取り可能記憶媒体上のコンピュータプログラム製品の形をとることができる。

本明細書を通じて「一つの実施形態」または「ある実施形態」への言及は、その実施形態に関連して記載される特定の特徴、構造または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。よって、本明細書を通じて随所で「一実施形態において」または「ある実施形態において」という句が出現することは、必ずしもすべてが同じ実施形態を指しているわけではない。ただし、同じ実施形態を指すこともありうる。さらに、特定の特徴、構造または特性は、本開示から当業者に明らかなように、一つまたは複数の実施形態において、任意の好適な仕方で組み合わされうる。

同様に、本発明の例示的実施形態の上記の説明において、開示の流れをよくし、さまざまな発明側面の一つまたは複数の理解を助ける目的で、本発明のさまざまな特徴が、単一の実施形態、図面、またはその説明にまとめられることがある。しかしながら、この開示方法は、特許請求される発明が、各請求項において明示的に記載されているよりも多くの特徴を必要とするという意図を反映するものと解釈されるべきではない。むしろ、以下の特許請求の範囲が表わすように、発明側面は、単位の上記の開示された実施形態のすべての特徴よりも少ないものにある。よって、詳細な説明に続く特許請求の範囲は、ここに、この詳細な説明に明示的に組み込まれ、各請求項がそれ自身で本発明の別個の実施形態として自立する。

さらに、本明細書に記載されるいくつかの実施形態は、他の実施形態に含まれるいくつかの特徴を含み、他の特徴は含まないものの、異なる実施形態の特徴の組み合わせは、当業者によって理解されるように、本発明の範囲内であり、異なる実施形態を形成することが意図されている。たとえば、以下の請求項では、請求項に記載された実施形態の任意のものが、任意の組み合わせで使用できる。

さらに、いくつかの実施形態は、ホスト装置システムのプロセッサによって、または機能を実行する他の手段によって実装できる方法または方法の要素の組み合わせとして、本明細書に記載される。よって、そのような方法または方法の要素を実行するための必要な命令を有するプロセッサは、該方法または方法の要素を実行するための手段を形成する。さらに、装置実施形態の本明細書に記載されている要素は、本発明を実行する目的のために該要素によって実行される機能を実行するための手段の例である。

本明細書で提供される説明において、多数の個別的な詳細が記載されている。しかしながら、本発明の実施形態が、こうした個別的な詳細なしで実施されうるということが理解される。他方では、周知の方法、構造および技術は、本稿の理解を曖昧にしないために詳細には示されていない。

本明細書中で使用されるところでは、特に断わりのない限り、共通の対象を記述するための序数形容詞「第1の」、「第2の」、「第3の」などの使用は、単に、類似の態様の異なるインスタンスが言及されていることを示し、そのように記載された対象が、時間的に、空間的に、ランク付けにおいて、または任意の他の仕方で、所与の序列になければならないことを意味することを意図したものではない。

本明細書に引用されているすべての刊行物、特許および特許出願は、ここに参照により組み込まれる。

本明細書における先行技術のいかなる議論も、そのような先行技術が広く知られている、公然知られている、または当該分野における一般的知識の一部を形成しているという自認だと考えられるべきではない。

以下の請求項および本明細書における説明において、有する、含むまたは備えるという用語のうちの任意のものが、少なくとも示された要素／特徴を含むが、他のものを除外はしないことを意味するオープンな用語である。よって、特許請求の範囲において使用される場合、有する／含むという用語は、挙げられている手段または要素またはステップに限定されるものとして解釈されるべきではない。たとえば、AおよびBを有する装置は、要素AおよびBのみからなる装置に限定されるべきではない。本明細書において使用されるところ含むまたは含んでいるという用語のうちの任意のものも、少なくとも示された要素／特徴を含むが、他のものを除外はしないことを意味するオープンな用語である。よって、含むは有すると同義であり、有するを意味する。

同様に、結合されたという用語は、請求項において使用される場合、直接接続のみに限定されるものとして解釈されるべきではないことを注意しておく。用語「結合される」および「接続される」ならびにそれらの派生形が使用されることがある。これらの用語が、互いの同義語として意図されていないことが理解されるべきである。よって、装置Bに結合された装置Aという表現の範囲は、装置Aの出力が装置Bの入力に直接接続された装置またはシステムに限定されるべきではない。Aの出力とBの入力との間に、他の装置または手段を含む経路であってもよい経路が存在することを意味する。「結合された」という用語は、2つ以上の要素が、直接、物理的または電気的に接触していること、または2つ以上の要素が、互いに直接接触してはいないが、それでも互いと協働または相互作用することを意味しうる。

このように、本発明の好ましい実施形態であると考えられるものが記載されているが、当業者であれば、本発明の精神から逸脱することなく、他のさらなる修正がそれに加えられてもよく、本発明の範囲に含まれるすべてのそのような変更および修正を請求することが意図されることを認識するであろう。たとえば、上記で与えた公式は、単に使用されうる手順を表わすに過ぎない。ブロック図から機能を追加または削除することができ、機能ブロック間で動作が交換されてもよい。ステップは、本発明の範囲内で、記載される方法に追加または削除されうる。

この明細書に添付された特許請求の範囲は、明細書の一部をなしており、よって、参照によって明細書に組み込まれ、各請求項が一つまたは複数の実施形態の異なるセットをなすことに留意されたい。参照による組み込みが認められない管轄区域においては、出願人は、そのような請求項を追加して本明細書の一部をなす権利を留保する。

Claims (15)

1. 異なるビューおよび／または位置から捕捉された複数の画像から相補的画像を選択するための、デジタル処理システムによって実装される方法であって、各画像は、それぞれのカメラ属性をもつそれぞれのカメラから捕捉されており、当該方法は：
   前記複数の画像を受け入れる段階であって、受け入れられる各画像について、その受け入れられる画像およびその受け入れられる画像を捕捉したカメラの属性に関係したパラメータを含む、段階と；
   受け入れられた画像の1つを初期画像として選択する、ユーザーからの入力を受け入れる段階と；
   関心対象の一つまたは複数の幾何学的特徴を指示するユーザーからの入力を受け入れる段階と；
   指示された一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定する目的のために、前記初期画像に対して相補的な最適画像を、受け入れられた複数の画像から、最適性基準を使って自動的に選択する段階とを含む、
   方法。
2. 前記初期画像における関心対象の前記一つまたは複数の幾何学的特徴は、点、線、および面からなる特徴の集合のうちの1つを含む、請求項１に記載の方法。
3. 前記自動的に選択することは、受け入れられた複数の画像から、前記最適画像とともに最適集合を形成する一つまたは複数の追加的画像を自動的に選択することを含み、前記最適集合の各画像は、前記指示された一つまたは複数の幾何学的特徴の3D属性を決定するために前記初期画像に対して相補的である、請求項２に記載の方法。
4. 前記最適性基準に従って前記最適集合における画像の一部または全部をランク付けすることをさらに含み、該ランク付けは、前記初期画像に対する相補的画像として使用するための好適さに基づき、最も高くランク付けされた画像が前記最適画像である、請求項３に記載の方法。
5. 前記最適画像をユーザーに対して表示する段階であって、関心対象の前記一つまたは複数の幾何学的特徴が表示される、段階をさらに含む、
   請求項１ないし４のうちいずれか一項に記載の方法。
6. 前記自動的に選択することは、前記再適正基準として、前記初期画像および前記一つまたは複数の幾何学的特徴の、潜在的な最適画像に対する相補性の全体的な尺度を使用し、該相補性の全体的な尺度は、一つまたは複数の個別的尺度と、対応する選択基準を含み、前記一つまたは複数の個別的尺度は、錐台の間の交わりの尺度、被覆率の尺度、錐台と推定される押し出し部または任意の体積との間の交わりの尺度、角度偏差の尺度、および解像度の尺度のうちの一つまたは複数を含む、請求項５に記載の方法。
7. 関心対象の前記一つまたは複数の表示された幾何学的特徴のうち少なくとも1つの幾何学的特徴の補正をユーザーから受け入れ、該補正の位置が、関心対象の前記一つまたは複数の幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる、段階と；
   前記指示された一つまたは複数の幾何学的特徴の一つまたは複数の3D属性を決定する段階とをさらに含む、
   請求項６に記載の方法。
8. 前記最適集合からの他の画像のうちの1つ画像の、新しい最適画像としての選択をユーザーから受け入れる段階と；
   前記新しい最適画像をユーザーに対して表示し、関心対象の前記一つまたは複数の幾何学的特徴が前記新しい最適画像の上に表示される、段階と；
   
   前記新しい最適画像の上の関心対象の前記一つまたは複数の表示された幾何学的特徴のうち少なくとも1つの幾何学的特徴の補正をユーザーから受け入れ、該補正の前記新しい最適画像上での位置が、関心対象の前記一つまたは複数の幾何学的特徴の前記一つまたは複数の幾何学的属性を決定するために使用できる、段階と；
   前記指示された一つまたは複数の幾何学的特徴の前記一つまたは複数の3D属性を決定する段階とをさらに含む、
   請求項６または７に記載の方法。
9. 前記選択する、ユーザーからの入力を受け入れること；前記指示するユーザーからの入力を受け入れること、および前記補正をユーザーから受け入れることが、画像を表示するグラフィック・ユーザー・インターフェースを介して行なわれる、請求項７または８に記載の方法。
10. 前記一つまたは複数の3D属性は、建物の屋根の傾きを含む、請求項９に記載の方法。
11. 現在の初期画像において以前に選択されたのと同じ幾何学的特徴であってもよい、関心対象の一つまたは複数の新しい幾何学的特徴の、ユーザーからの指示を受け入れる段階であって、関心対象の一つまたは複数の新しい幾何学的特徴の前記指示を受け入れた後の前記最適画像は新しい初期画像である、段階と；
    抑止する目的のために、前記新しい初期画像に対して相補的な新しい最適画像を、受け入れられた複数の画像から、最適性基準を使って自動的に選択する段階と；
    前記新しい最適画像をユーザーに対して表示し、関心対象の前記一つまたは複数の追加的な幾何学的特徴が表示される、段階とをさらに含む、
    請求項７に記載の方法。
12. 表示された、関心対象の前記一つまたは複数の新しい幾何学的特徴のうち少なくとも1つの幾何学的特徴の新しい補正をユーザーから受け入れ、該新しい補正の位置が関心対象の前記一つまたは複数の新しい幾何学的特徴の一つまたは複数の幾何学的属性を決定するために使用できる、段階と；
    前記指示された一つまたは複数の新しい幾何学的特徴の一つまたは複数の3D属性を決定する段階とをさらに含む、
    請求項１１に記載の方法。
13. デジタル処理システムであって：
    異なるビューおよび／または位置から捕捉された複数の画像を受け入れるように構成された入力ポートであって、各画像は、それぞれのカメラから捕捉されたものであり、該受け入れることは、受け入れられる各画像について、受け入れられるそれぞれの画像および受け入れられるそれぞれの画像を捕捉したそれぞれのカメラの属性（まとめて「カメラ・モデル」）に関係したそれぞれのパラメータを受け入れることを含む、入力ポートと；
    表示画面およびユーザー・インターフェースを有するユーザー端末であって、該表示画面上での表示を可能にし、ユーザーが入力を提供し、他の仕方で前記表示画面に表示された画像と対話することを可能にする、ユーザー端末と；
    前記ユーザー端末に結合されたデジタル画像処理システムであって、該デジタル画像処理システムは、一つまたは複数のデジタル・プロセッサおよび命令を含んでいる記憶サブシステムを含み、前記命令は、当該デジタル処理システムによって実行されたときに、当該デジタル処理システムに、請求項１ないし１２のうちいずれか一項に記載の、前記入力ポートを介して受け入れられた複数の画像から一つまたは複数の相補的画像を選択する方法を実行させるものである、デジタル画像処理システムとを有する、
    デジタル処理システム。
14. 命令を有する非一時的な機械可読媒体であって、前記命令は、デジタル処理システムの一つまたは複数のデジタル・プロセッサ上で実行されると、請求項１ないし１２のうちいずれか一項に記載の方法を実行させるものである、非一時的な機械可読媒体。
15. 記憶サブシステムと；
    一つまたは複数のプロセッサとを有する処理システムであって、
    前記記憶サブシステムは請求項１４に記載の非一時的な機械可読媒体を含んでいる、
    処理システム。

Images