JP2010503078A - モザイク斜め画像、並びにモザイク斜め画像の作成及び使用方法 - Google Patents

Abstract

複数の原画像から斜めモザイク画像を形成する方法が開示される。はじめに、画像形成される所望の領域であって、斜めモザイク画像に収集される所望の領域が識別され（１８）、次いで、バーチャルカメラ２０のセンサの数学モデルが形成され（２２）、バーチャルカメラは、画像形成される領域の高度よりも高い高度を有する。数学モデルは、所望の領域のセンサの斜めモザイクの画素マップを有する。斜めモザイクの画素マップに含まれるそれぞれの画素について表面の位置が決定され（２４）、画像形成される領域の少なくとも１つのソースの斜め画像の画素は、斜めモザイクの画素マップに含まれるそれぞれの画素について投影し直され、所望の地理的な領域の斜めモザイク画像が形成される（２６）。さらに、斜めモザイク画像における建物の傾きを保証する技術が開示される（２８）。

Description

特許請求され、開示される本発明は、モザイクされた斜め画像、並びにモザイクされた斜め画像の作成及び使用方法に関する。より詳細には、特許請求され、開示される本発明は、個別の斜めに捕捉された航空画像が少なくとも１つの斜めモザイク画像に結合される手順を使用するものである。少なくとも１つの斜めモザイク画像は、視覚的に心地よく、地理的に正確である。

本出願は、米国シリアル番号No60/840992により識別される特許仮出願に対して優先権を主張するものであり、その全体の内容は、引用により本明細書に盛り込まれる。

リモートセンシング／航空画像形成の業界では、地理的な領域のビューを捕捉するために画像が使用され、画像内のオブジェクト及び構造を測定することができ、画像内のポイントの地理的な位置を決定することができる。これらは、一般に、「地理的に参照された画像」と呼ばれ、２つの基本的なカテゴリに含まれる。
１．捕捉された画像。これらの画像は、利用されるカメラ又はセンサにより捕捉された外観を有する。
２．投影画像。これらの画像は、数学的な投影に一致するように処理及び変換される。

全ての画像は捕捉された画像として開始するが、大部分のソフトウェアは捕捉された画像を地理的に参照することができないので、その画像は、次いで、投影された画像を作成するために処理される。投影された画像の最も一般的な形式は、オルソ補正された画像である。このプロセスは、画像を（長方形から構成される）直交又は直線的なグリッドに揃える。オルソ補正された画像を形成するために使用される入力画像は、直下視の画像（nadir image）、すなわちカメラを真っ直ぐ下にして捕捉された画像である。

画像が地上の大きな地理的な領域をカバーするように、多数の画像を大きな合成画像に結合することが非常に望まれることがある。この合成画像の最も一般的な形式は、「オルソモザイク画像」であり、この画像は、１つのオルソ補正画像に数学的に結合されるオーバラップ又は隣接する直下視の画像の系列から作成される画像である。

それぞれの入力の直下視の画像、及び出力のオルソモザイク画像は、情報又はデータのディスクリートな画素（個々の画素）から構成される。オルソ補正画像、したがってオルソモザイク画像を作成するプロセスの一部として、結果的に得られる画像が、まるで画像における各画素が直下視の画素であるかのように、すなわちカメラが画像におけるそれぞれの画素の真上にあるように見えるように、画像内のそれぞれの画像を投影し直す（数学的なモデル内で移動する）試みが行われている。

このオルソ補正プロセスが必要とされる理由は、（１）使用されるカメラが捕捉の領域と同じ大きさではない限り、又は（２）カメラから画素への角度が直下視として考えられる真下に近いように、カメラが捕捉の領域を超える無限の距離で配置されない限り、各画素がカメラに対して一番下（真下）にある場合、画像を捕捉することが現在可能ではないことである。オルソ幾何補正プロセスは、それぞれの画素が捕捉する地上の領域がその画素に対して直下視、すなわちその画素の真下であると考えられる場合、カメラで捕捉されている外観を近似する画像を形成する。このプロセスは、一般に直線的なグリッド（長方形から形成されるグリッド）でグランドの数学的なモデルを形成し、個々の捕捉されたカメラ画像から、この長方形のグリッドに投影し直すことで行われる。このプロセスは、個々の画像内の相対的な直下視ではない位置から矩形グリッド内の直下視の位置に画素を移動し、すなわち、画像は、グリッドに一致するために瞬間移動される。

オルソモザイクを形成するとき、この同じオルソ幾何補正プロセスが使用されるが、単一の入力の直下視の画像のみを使用する代わりに、オーバラップ又は隣接する直下視の画像の集合が使用され、オルソモザイクとして知られる単一の合成のオルソ補正された画像を形成するために結合される。一般に、オルソモザイクプロセスは、以下のステップを伴う。

長方形のグリッドが形成され、これにより、オルソモザイク画像が得られ、この場合、各グリッド画素は地上の同じ量の領域をカバーする。

各グリッド画素の位置は、グリッドの数学的な定義から決定される。一般に、これは、グリッドがＸ及びＹの開始位置又は本来の位置、並びにグリッド画素のＸ及びＹサイズで与えられることを意味する。したがって、任意の画素の位置は、本来の位置に、画素数にそれぞれの画素のサイズを掛けたものを加えたものである。数学的な項では、Ｘ_pixel＝Ｘ_origin＋Ｘ_size×Column_pixelである。

利用可能な直下視の画像は、グリッドが満たされたとき、地上の同じポイントを直下視の画像がカバーするかを調べるためにチェックされる。地上の同じポイントを直下視の画像がカバーする場合、地上のそのポイントがカメラの画素の画像マップの何処に投影されたか、次いで、その結果的に得られる値がグリッド画素に転送されたかを判定するため、数学的な式が使用される。この選択プロセスの間、２つの重要なプロセスが行われる。

画素値を供給するために使用すべき画像を選択するとき、建物の傾き、建物がカメラから離れて傾いて見える影響を最小にする画像を選択するため、数学的な式が使用される。これは、多数のやり方で達成されるが、最も一般的な方法は、画像を選別することであり、この場合、グリッド画素はカメラの中心にできるだけ近いように、従ってそのカメラの直下視のポイントにできるだけ近いように投影し直される。

使用すべきソースの画素値を決定するとき、正しい画素値が選択されることを保証するため、地上の高度が考慮される。高度における変化により、画素の明らかな位置はカメラにより捕捉されたときにシフトされる。高いところにある地上のポイントは、低いところにある同じポイントにおける地上のポイントよりも画像の中央から離れて見える。たとえば、建物の上は、建物の下よりも画像の中央から離れて見える。ソースの画素値を決定するときに、地上の高度を考慮することで、正味の影響は、地上の高度により画素の位置における変化が除かれるように、画像を平坦にすることである。

オルソモザイク用に使用される直線的なグリッドは、一般にマップを作成するために使用される同じグリッドであるため、オルソモザイク画像は、マップに対して顕著な類似点をもち、方向及び指向性の観点から、使用するのが一般的に非常に容易である。しかし、オルソモザイク画像は、１つのカメラが捕捉した通常の外観の代わりに、数学的な投影により指示される外観を有するので、及び、オルソモザイク画像は真っ直ぐ下を見て捕捉されるので、これにより、我々が慣れていない世界のビューが形成される。結果として、多くの人々は、彼らが画像において見ているものは何かを判定する困難さを有する。たとえば、彼らは画像において黄色の長方形を見る場合があり、彼らが見ているものがスクールバスの上であることを認識しない。或いは、２つのコマーシャルの特性の間を区別する困難さを有する場合がある。これは、区別する特性の大部分が建物の側面にある場合に、オルソモザイクにおける特性について彼らが見ることができるものは、彼らの屋根の上であることによる。全体の専門的職業、フォトインタープリタは、直下視又はオルソモザイク画像で彼らが見ているものを解釈することにおいて特に、これらの個人がトレーニング及び経験の年月を有するとき、これらの困難に対処することが起こる。

明らかに、斜め画像がある角度で捕捉されるので、見るのに最も慣れているオブジェクト及び構造の側面を表示するため、より自然の外観を与える。さらに、斜め画像は、一般にオルソ補正されないため、斜め画像は、オルソモザイク画像の数学的な構成とは対照的に、カメラが捕捉した自然の外観である。この組み合わせにより、人が斜め画像で何かを見て、そのオブジェクトが何かを理解するのを非常に容易にする。写真の解釈のスキルは、斜め画像で作業するときに必要とされない。

しかし、斜め画像は、別の問題を提示する。人々はマップでナビゲーションのスキルを学習しているため、斜め画像がオルソモザイク画像のようなマップグリッドに揃えられない事実は、画像上の方向をナビゲート又は決定することを試みるとき、斜め画像をそれほど直観的なものでなくする。オルソモザイクが形成されたとき、一般にマップグリッドである矩形のグリッドに形成されるため、オルソモザイク画像の上は北であり、右サイドは東であり、下が南であり、左サイドが西である。このようにして、人々は、マップ上で方向付けすること及びナビゲートすることに一般に慣れる。しかし、斜め画像は、任意の方向から捕捉することができ、画像の上は、一般に“up and down”であり、これは、垂直方向の構造は、画像の上を示すが、画像の上は水平方向に近いことを示す。しかし、画像は任意の方向から捕捉することができるため、水平は、任意の方向、北、南、東、西、又はそれら間の任意のポイントとすることができる。カメラが北を示しているように画像が捕捉された場合、画像の右側は東であり、画像の左側は西である。しかし、カメラが南を示しているように画像が捕捉された場合、画像の右側は西であり、画像の左側は東である。これにより、画像内でナビゲートするのを試みる誰かにとって混乱を生じさせる。

さらに、オルソモザイクのグリッドは、数学的な定義により、一般に直線のグリッドであり、４つの基本的なコンパス方位は、直角（９０°）で一致する。しかし、斜め画像によれば、斜め画像は、カメラが捕捉したオリジナルの形式にあり、数学的なモデルに投影し直されないため、コンパス方位が画像内の直角に一致することが必ずしも真ではない。斜視において、画像において上に移動するときに、水平の方向に移動するため、画像は、画像の下の近くでカバーされる地上の領域に比較して、画像の上の近くの地上のより広い領域をカバーする。地上の矩形グリッドを描き、それを斜め画像で捕捉する場合、カメラが示している方向に沿ったラインは、その距離において収束するように見え、カメラが示している方向に交差するラインは、画像の後ろよりも画像の前で更に広く配置されて見える。これは、我々が見ることに慣れている斜視図であり、物はクローズアップよりも距離において小さく、鉄道の線路のような平行なラインは、距離において収束して見える。対照的に、オルソモザイク画像がこの同じ描かれた矩形グリッドにわたり形成された場合、オルソモザイク画像における矩形グリッドとして見える。これは、全ての視野は、オルソモザイクプロセスの付帯的な部分として除かれるからである。

視野及び外観におけるこれら基本的な違いのため、上述されたプロセスによりオルソモザイク画像の作成は、斜め画像についてうまく機能しない。カメラの光軸（カメラの目標に追従するレンズ又は光学系の中央を通る画像ライン）は、典型的に、直下視から４５°以上の角度で示されるため（真っ直ぐ下から上に４５°以上で示される）、建物の傾き、高度差、非正方画素の影響といった、オルソモザイク画像における負の品質であると考えられる影響は、全て誇張される。オルソモザイクの業界では、これら負の影響のそれぞれを参照にするように、直下視から僅か５°に斜格の量が制限されるように、要件が画像捕捉プロセスに一般に課される。

さらに、斜め画像の賞賛に値する特性が維持される場合、すなわち構造の側面及び画像の自然の外観を見る場合、明らかに、垂直方向の変位、従って建物の側面を除くのを試みるプロセス、及び矩形グリッドにフィットするために画像を瞬間移動させるプロセスは、実行可能な選択ではない。斜め画像の賞賛に値する特性を保持するため、以下の望まれる品質に適合する新たなプロセスが必要とされる。

斜視が維持される場合、画素は、矩形のグリッド又は台形のグリッドに揃えることができない。代わりに、画素は、カメラが捕捉した自然の視野に揃えられることが好ましい。

斜視の一部として、画像における画素は、地上で同じサイズを全て測定することができない。これは、画像の前景における画素は、定義により、カメラの自然の視野の一部である、画像の後景における画素よりも地上で非常に小さな領域をカバーするためである。

画素は直下視から離れているため、建物の傾きの作用は極端になり、オルソモザイクプロセスで利用される標準的なソリューションは、この作用を補償する適切な十分なジョブを行わない。新たな技術は、この作用を良好に補償するために開発される必要がある。

隆起における変化の作用が取り消される場合、結果的に得られる画像は、非常に不自然な外観を有し、建物の垂直方向のサイドは、瞬間移動し、ねじれる可能性があり、見ることに慣れていないものであり、したがって、係る画像を見るとき、それを拒否する傾向を有する。このように、画像内の建物、構造及びオブジェクトを自然に見えるように保持するため、画像の視野における高度の影響を残し、代わりに別のやり方でそれを考慮することが望まれる。

これらの問題のため、業界における一般的なプラクティスは、個々の画像の系列として斜め画像を供給することである。しかし、オルソモザイクの同じ利点の幾つかは、斜めモザイク（オーバラップ又は隣接する斜め画像の集合から形成される画像）、すなわちモザイクを形成するために使用された個々の画像のそれぞれ又は何れかよりも大きな地理的な領域をモザイクがカバーする事実に適用される。
本発明は、先の制限を克服する、上質の斜めモザイクを形成することができる手段を詳述する。

本発明は、自然の外観を有すると共に、地理的な座標を測定及び決定する能力を維持するために地理的に参照されることが好ましい斜めモザイク画像（oblique-mosaic image）の形成を可能にする。好適な実施の形態は本発明を航空斜め画像に適用するが、本発明は、限定されるものではないが、垂直ポールに斜めに搭載されたカメラ、斜めに目標付けられたハンドヘルドカメラ、及び水中プローブに斜めの角度で搭載されたカメラといった、様々な方法で捕捉された航空用ではない斜め画像でも機能する。

１実施の形態では、本発明は、地理的な領域の複数のソースの斜め画像から斜めモザイク画像を形成する方法に向けられる。ソースの斜め画像は、斜め画像で捕捉されることが好ましい。この方法では、画像形成されて、斜めモザイク画像に収集される所望の領域が識別され、バーチャルカメラのセンサの数学的なモデルが形成される。バーチャルカメラは、画像形成される領域の高度よりも大きな高度を有する。数学的なモデルは、所望の領域のセンサについて斜めモザイクの画素マップを有する。斜めモザイクの画素マップに含まれるそれぞれの画素の表面の位置が決定及び／又は割り当てられる。次いで、画像形成される領域の少なくとも１つのソースの斜め画像の画素は、斜めモザイクの画素マップに含まれるそれぞれの画素について投影し直され、これにより、所望の地理的な領域の斜めモザイク画像が形成される。したがって、斜めモザイク画像は、多数のソースの斜め画像から投影し直される画素から形成される合成画像である。

本発明の１つのバージョンでは、多数のソースの斜め画像は、同じ表面の位置を表す。この実施の形態では、本方法は、斜めモザイク画像を形成するのに利用するため、画素及び／又はソースの斜め画像を選択するステップを更に含む。たとえば、本方法は、斜め角度及び斜め角度に類似するコンパス方位及びバーチャルカメラのコンパス方位で捕捉された表面の位置のソースの斜め画像を選択するステップを更に含む。更に別のバージョンでは、どのソースの画素が表面の位置で最も代表的であるか、斜めモザイク画像に含まれるべきより代表的な画素であるかを判定するため、同じ表面の位置を表すそれぞれのソースの斜め画像の画素が比較される。

本発明の１つのバージョンでは、上記割り当てるステップは、斜めモザイクの画素マップにおけるそれぞれの画素の対応する表面の位置を決定するため、バーチャルカメラの視野を通してそれぞれの画素を投影することで更に定義される。

本発明の別のバージョンでは、上記再び投影するステップは、高度、コンパス方位、及びバーチャルカメラの斜め角度から取られる、表現される表面の位置のサイズ及び形状に整合するため、画素を投影し直すステップにより更に定義される。

本発明の更に別のバージョンでは、上記投影し直すステップは、投影し直す前にソースの斜め画像から高度の影響を除き、次いで投影し直した後に、高度の影響を斜めモザイク画像に加えるステップにより更に定義される。

本発明の更に別のバージョンでは、本方法は、斜めモザイク画像内の垂直方向の構造の傾きを最小にするステップを含む。これは、垂直方向の構造を考慮してソースの斜め画像から高度モデルを形成し、高度モデルを利用して、画像形成されるべき領域の少なくとも１つのソースの斜め画像の画素を投影し直すような、様々なやり方で達成することができる。代替的に、垂直方向の構造の傾きは、多数のソースの斜め画像において垂直方向の構造を整合させ、グランドモデルを超える相対的な高さにより、ソースの斜め画像の少なくとも１つにおける画素が見える位置をシフトすることで最小にすることができる。

「バーチャルカメラ」に投影し直される実際のカメラで捕捉されるシーン、すなわち実際のカメラよりも大きなカメラであって、実際のカメラよりも高度において高いカメラを記述する数学モデルの概要のビューを示す図である。 個別の斜めに捕捉された航空画像が斜めモザイク画像に結合される方法を使用して、斜めモザイク画像を作成する方法の例示的なソフトウェエア／機能のフローチャートである。 従来技術の斜めモザイク画像の画像表現である。 図３ａの従来技術の斜めモザイク画像の画像表現の拡大されたビューである。 本発明に従って形成された例示的な斜めモザイク画像の画像表現である。 図４ａの本発明に従って形成された例示的な斜めモザイク画像の画像表現の拡大されたビューである。

本発明の少なくとも１つの実施の形態を詳細に説明する前に、本発明は、その適用において、以下の説明で述べる又は図面で示される構成、実験、例示的なデータ、及び／又はアレンジメントの詳細に限定されるものではないことを理解されたい。本発明は、他の実施の形態が可能であるか、様々な方法で実施又は実行可能である。また、本明細書で使用される表現及び用語は、説明を目的とするものであり、限定するものとして解釈されるべきではない。

特許請求され、開示される本発明は、斜めモザイク画像、並びに斜めモザイク画像を作成及び使用する方法に関する。より詳細には、特許請求され、開示される方法は、個別の斜め捕捉された航空画像が少なくとも１つの単一の斜めモザイク画像に結合される方法を使用する。少なくとも１つの単一の斜めモザイク画像は、視覚的に心地よく、地理的に正確である。

ここで図面、特に図１及び図２を参照して、斜めモザイク画像１２（図４ａ及び図４ｂ参照）を作成する概念図が図１に示され、参照符号１０により示される。図２は、個別の斜め捕捉された航空画像が斜めモザイク画像１２に結合される方法を使用して、斜めモザイク画像１２を作成する方法の例示的なソフトウェア／機能のフローチャート１４を示す図である。図４ａは、本発明に従って作成された例示的な斜めモザイク画像１２の画像による表現である。図４ｂは、本発明に従って作成された例示的な斜めモザイク画像１２の画像による表現である。

一般に、本方法は、画像形成される所望の領域１５であって、斜めモザイク画像１２に収集される所望の領域１５を識別する。図２におけるブロック１８により示されるように、シーン１６を捕捉する実際のカメラ１４を利用して、原画像が取得される。次いで、バーチャルカメラ２０は、図２におけるブロック２２により示されるように形成される。バーチャルカメラ２０は、図１に示されるように、実際のカメラ１４よりも大きなカメラであって、実際のカメラ１４よりも高度において高いカメラを記述する数学モデルである。数学モデルは、所望の領域のセンサの斜めモザイクのマップを有する。表面の位置は、斜め画素マップに含まれるそれぞれの画素に割り当てられ、次いで、ブロック２４により示されるように、地上の位置についてソースの斜め画像が選択され、次いで、斜めモザイク画素マップに含まれるそれぞれの画素について画像形成される領域の少なくとも１つのソースの斜め画像の画素が投影し直され、これにより、（ブロック２６により示されるように）所望の地理的領域の斜めモザイク画像が形成される。任意に、本方法は、ブロック２８により示されるように、垂直方向の構造の傾きの影響を最小にするため、１以上のステップを更に含む。

先に記載されたように、グリッドの再投影の方法を使用して斜めモザイク画像を形成することは、問題を伴い、使用可能な画像を提供する可能性がありそうにない。したがって、上質の斜めモザイク画像１２を生成するため、改善されたプロセスが実行される必要がある。係る改善された固有のプロセスは、本明細書で記載及び特許請求され、一般に以下の考慮を使用することが好ましい。

第一に、矩形のグリッドに投影するのではなく、入力画像の画素は、「バーチャルカメラ」２０に投影される。バーチャルカメラ２０は、空高く、非常に大型のカメラを記述する数学モデルである。このバーチャルカメラは、数学的な形成であるので、このカメラ２０は、カメラ製造の現在の限界により境界付けされない。

第二に、画素は、オルソモザイクを形成するときに使用される標準的なオルソ幾何補正のプロセスにおける場合のように、正方形となるように、又は出力画像における同じサイズとなるように再投影されない。代わりに、画素は、このバーチャルカメラ２０から地上に投影するサイズ、すなわちカメラが捕捉する自然の視野に整合するように投影し直される。

第三に、結合された画像を最良に調整するため、高度における変化の作用は、はじめに、オリジナルの入力画像のカメラ位置から地面への投影の間に入力画像から取り消され、次いで、高度の作用は、地面からバーチャルカメラの位置までの投影の間に再び導入される。結果は、自然の斜めの視野から見たとき、土地の輪郭を適切に表示する自然に見える画像である。

最後に、建物の傾きの影響が参照にされることが望ましい。建物の傾きを最小にすることができる多数の異なる方法が存在する。
入力画像間のカットラインが建物を通過しないように、通りを進んでカットラインを「舵取り」する。カットラインが建物を通過することで、相反する建物の傾きが建物の外観を大いに歪ませる可能性がある。
建物の傾きの角度は計算され、建物の傾きを補償するため、画像が瞬間移動する。
建物は、隣接画像で整合され、互いにアライメントされる。

実際に、本明細書で開示され、特許請求される方法は、本明細書で与えられた当業者により達成される多数のステップ及びデータ変換からなる。オルソモザイクについてカットラインをステアリングする当該技術分野で既に知られる多数のアルゴリズムであって、斜め画像との使用向けに調整される多数のアルゴリズムが存在する。さらに、後続の機能は、斜め画像の複雑度を扱うために特に設計される新たなアルゴリズムを形成する。

開示及び特許請求される本発明に係る斜めモザイク画像１２を形成する第一のステップは、画像形成される領域の選択を必要とする。一般に、画像形成されるべき領域は、具体的な地理的な位置である。しかし、建物の側面、壁、風景、山腹等のような、斜めモザイク画像１２に画像形成されるべき他の領域も選択することができる。

［風景全体又は画像形成される関心のある領域をカバー可能な「バーチャルカメラ」２０の形成］
ひとたび、画像形成される所望の領域であって、斜めモザイク画像１２に収集される所望の領域が決定されると、ユーザ又はオペレータは、「バーチャルカメラ」２０、すなわち所望の領域の一部又は全部をカバー又は捕捉可能な数学的な構成概念を形成する。バーチャルカメラ２０は、所望のシーンを好適に「捕捉」するのを可能にする、必要なカメラの幾何学的なパラメータ（たとえばセンサプレーンの行及び列の数、ミリメートルにおけるセンサプレーンのサイズ、ミリメートルにおける焦点距離、地面を超える高さ、光軸のヨー、ピッチ、及びロールといった、カメラモデルを定義する数学的な値）をもつカメラの数学的なモデルである。たとえば、バーチャルカメラは、非常に大型のセンサ（たとえば２００００画素列及び１００００画素行）、標準的な視野（３６ｍｍ×２４ｍｍセンサプレーン及び６０ｍｍの焦点距離）を有して考案することができ、北への斜め角度（０のヨー及びロール、並びに−４０°のピッチ）で見下ろして、比較的高い高度（たとえば３００００フィート）で「配置」される。好適な実施の形態では、実際のカメラからのセンサモデルが使用され、ユーザは、所望の領域を「捕捉」するために要件に合致するように、パラメータを単に変更する。

第二のステップは、バーチャルカメラ２０について結果的に得られる斜め画素のマップを形成する。画素マップは、バーチャルカメラのセンサに対応するが、典型的に、必須ではないが、バーチャルカメラのセンサと同じ数の列及び行を有する。次いで、画素マップの画像におけるそれぞれの画素について、バーチャルカメラ２０の投影方程式２０が使用され、それぞれの画素は、（一般的に、地面の数学的な高度モデルの使用を通して）投影されるときに高度を考慮して、下方に、バーチャルカメラ２０から離れて、地上に投影される。これにより、そのバーチャルカメラの画素について対応する地上の位置が得られる。

ひとたび、対応する地上の位置が発見されると、その地上の位置について、以前に捕捉されたどの画像が画像データを含むかを選択するために使用される。これは、地上の位置が以前の捕捉された画像の画像境界内にあるかを調べるためにチェックすることで一般に行われる。

所望の出力画像を達成するため、たとえば入力の捕捉された画像であるソースの斜め画像を選択するとき、光軸の斜めの下向きの角度且つコンパス方位の観点で、バーチャルカメラ２０の同じ相対的な方向、又はほぼ同じ相対的な方向で捕捉されたソースの斜め画像を使用することが重要である。一般に、そのモデルがバーチャルカメラのモデルと異なるカメラからの入力画像を使用することは問題ではないが、そのモデルが根本的に異なる場合（たとえばラインスキャナ−フルフレーム捕捉装置）、望まれない結果となる画像が得られる場合がある。

本発明は斜め画像１２への入力として捕捉された画像を使用して議論するが、実際は必要とされない。このプロセスへの入力として投影画像を使用すること、又はこのプロセスへの入力として別の斜めモザイクを使用することも可能である。しかし、このプロセスは入力画像を再投影するので、投影されていない入力画像、すなわち捕捉された画像を使用することが望まれる。この理由は、既に投影されたデータを投影し直すことは、アーチファクト、いわば数学的な計算における丸め誤差のようなものにつながる可能性がある。これらのアーチファクトは、望まれない結果的に得られる斜めモザイクを形成する可能性がある。

一般に、連続的な斜めモザイク１２を形成することが望まれる。連続的な斜めモザイク１２を形成するため、バーチャルカメラ２０により「捕捉」されている領域全体について画像データが捕捉される必要がある。このことは、多数の捕捉された画像が結合されて斜めモザイク１２が形成される場合、それらの入力画像は、隣接するか、又はより一般的にはオーバラップする必要がある。このオーバラップの結果として、地上の同じ領域をカバーする多数の捕捉された画像で存在することは一般的である。多数の捕捉された画像が選択のために利用可能である場合、以下に記載される選択基準に従って、好適な捕捉された画像が選択される。

実際のカメラ１４からの多数の画像が地上の同じポイントをカバーするとき、選択プロセスは、どの実際のカメラの画像がバーチャルカメラの画素マップの画像の形成のための入力として使用されるべきかを判定するために使用される。この選択プロセスは、（数値が割り当てられる）重みを後続の入力基準に割り当て、それらの重みを正規化された基準（０と１との間でスケーリングされる値）で乗算し、次いで、これら重み／基準の積の最も大きな合計をもつ画像を選択することで行われる。任意の数の基準が使用されるが、本発明の開発において後続する３つの基準が使用される。

［選択の基準：光軸への距離］
選択されている地上のポイントと入力カメラの光軸が地面と交差するポイントとの間の距離。この値は、この距離を、そのシーンで測定可能な最大の距離で割ることで正規化される。

［選択基準：光軸に対する角度差］
以下の２つの角度間の差。一方は、（一般に鉛直に対して測定される）入力カメラの光軸の角度、及び他方は、バーチャルカメラから選択される地上のポイントに位置づけされる光線の角度（一般に鉛直に対して測定される）。この値は、１８０°で割ることで正規化することができる。

［選択基準：最も近い道路のセンターラインへの距離］
選択されている地上のポイントと最も近い道路のセンターラインとの間の距離。道路のセンターラインは、ＴＩＧＥＲファイル又は他のGeographic Information Systemファイルのようなベクトルデータファイルから得ることができる。この値は、そのシーンで測定可能な最大の距離で割ることで正規化される。

ひとたび、好適な捕捉された画像が選択されると、捕捉された画像のカメラの投影方程式が使用され、投影するときに地面の高度を考慮して、地面からカメラまでが投影される。焦点を通してカメラのセンサプレーンへの投影により、地上のポイントに対応する画素の行及び列が発見される。これは典型的に整数の行又は列とはならないので、バイリニア補間（４つの周囲の画素への比例した近さから１つの値を発見する業界標準の数学式）が使用され、カメラのセンサプレーン上の対応するポイントの画素値が発見される。

次いで、オリジナルの光線が地面に向けて投影されたバーチャルカメラのセンサプレーンに対応する画像において画素を満たすため、この画素値は使用される。このプロセスは、バーチャルカメラのセンサプレーンにおける残りの画素の一部又は全部について繰り返され、バーチャルカメラ２０が「見ることができる」地上の一部の領域又は全部の領域をカバーする画像が得られる。好ましくは、このプロセスは、バーチャルカメラのセンサプレーンにおける残りの画素の全部について繰り返され、バーチャルカメラ２０が「見ることができる」地上の全体の領域をカバーする完全な画像が得られる。

次いで、結果的に得られる画像及びその対応する投影方程式は記憶される。結果的に得られる画像は、TIFF, JFIF, TARGA, Windows（登録商標） Bitmap File, PNG又は任意の他の業界標準のフォーマットのような多数の業界標準の画像フォーマットのうちの１つを含む、任意のフォーマットで記憶される。対応する投影方程式について、以下のデータは、好適な実施の形態において、同じファイルに添付される結果の画像であるか又は容易にアクセス可能な別のファイルにおける結果の画像をもつメタデータとして記憶される（業界標準のプラクティスは、同じファイル名であって異なるファイル拡張をもつファイル名を使用する）。

１．カメラの位置：一般に、カメラの位置は、地理的な位置及び高度（又は地面を超える高さ）により規定される。
２．カメラの向き：一般に、ヨー、ピッチ及びロール（又はオメガ、ファイ及びカッパ）３つの角度により規定される。
３．センサのサイズ：一般に、ミリメートルでの全体のセンサのサイズとして規定される（個々のセンサエレメントのサイズにより規定される）。
４．レンズの焦点距離：一般にミリメートルで規定される。
５．任意に、レンズ歪み情報：一般に、主点のオフセット（光軸とセンサの中央との間のオフセット）として、半径方向の歪みの項（光軸から半径方向に生じる歪みの量を記述する多項式係数）として規定される。
６．任意に、地面の高度のモデル：一般に、高度値のグリッドとして規定される。

先に記載されたように、カメラの相対的な視野は、「建物の傾き“building lean」として知られる影響を引き起こす。建物の傾きは、最も一般には建物に適用され、従って建物として記載されるが、電波塔、木、自動車、テレフォンブース、メイルボックス、ストリートサイン等のようなオブジェクトにおける任意の垂直構造にも適用される。建物の傾きは、カメラの光軸に沿っていない建物が、まるで光軸から離れて傾いているかのように見えるようにする影響であり、光軸から更に離れると、傾きが大きくなる。この傾きは、視野の結果であり、この結果により、地面から離れて生じたオブジェクトは、カメラから離れて、画像において更に「後方に」見える。したがって、建物の上は、建物の下よりも更に後方に見える。この傾きがカメラの視野に対応するとき、普通に見える。しかし、斜めのモザイクプロセスの一部として、捕捉された画像は、それら自身の視野を持つものであり、１つのバーチャルカメラの視野に結合される。

この異なる視野の結合は、異なる見晴らしの利く地点からの２つの異なる捕捉された画像が、バーチャルカメラの画素マップの画像における隣接する領域に画素値を提供するときに特に問題となる。たとえば、建物の左に対するカメラが建物の左サイドを提供する場合、建物のその部分は、（カメラから離れて）右に傾いているように見える。建物の右に対して位置されるカメラが建物の右サイドを提供する場合、建物のその部分は、左に傾いているように見える。建物の２等分が互いに「傾いている」ので、結果的に得られる結合された画像は、矩形ではなく、三角形の外観を有する建物を有する。

建物の傾きは、地面よりも上の表面にのみ影響を及ぼすため、一般に、これらの影響を考慮又は補正することはかなり困難である。これは、これらの影響を補正するため、ユーザは、建物又は構造の存在の情報を有する必要があるからである。地上の特徴は、この建物の傾きを受けない。これは、相対的な視野における変化は、地面の高度が投影方程式において考慮されるときに取り消されるからである。投影プロセスの間に地面を定義するために使用される数学モデルは、正しい地上の位置が選択されることを保証する。しかし、地面よりも上に生じるオブジェクトであって、地面を定義するために使用される数学モデルで表現されないオブジェクトについて、この相対的な視野の変化によって、バーチャルカメラは、誤った位置で、すなわちカメラから余りに遠く離れた後方で建物の上を「見る」ことになる。

本実施の形態で考案された、建物の傾きの影響を最小にする方法は、地面の高度モデルよりも上又は下に構造がない領域にわたり、１つの入力カメラ画像と次の入力カメラ画像の間で遷移することである。１実施の形態では、これは、遷移を道路の中央の下に配置することで達成される。したがって、道路のセンターラインへの距離について適切に重み付けされた選択基準を有することで、２つの捕捉された画像がオーバラップする領域において道路が存在する場合、第一の捕捉された画像からの寄与している画素から、第二の捕捉された画像からの寄与している画素への遷移は、この道路に沿って生じ、建物の傾きの影響が最小にされる。

本実施の形態で考案された、建物の傾きを全体的に取り除く方法は、建物及び他の垂直方向の構造を考慮して、正確な地面の高度モデルを提供することである。したがって、建物の画像を含む各画素は、地面の高度のモデルの数学モデルで表現され、したがって、相対的な視野における変化は、投影プロセスにおいて考慮される。しかし、これがうまく機能するため、高度モデルは、入力画像に高く相関される必要がある。画像と高度モデルの間で位置において任意のシフトが存在する場合、建物は、斜めモザイク画像１２を形成するとき、適切に投影されない。

この制約を克服するため、好適な方法は、画像自身からの高度モデルを形成することにある。これは、aero-triangulationとして知られる業界標準のプロセスを使用することで行われ、このaero-triangulationは、２つのオーバラップする捕捉された画像におけるその位置を比較し、それら対応するカメラの投影方程式を使用して、その位置及び高度を三角形にすることで、地上のあるポイントの高度を発見する。全体のオーバラップエリアにわたりこのプロセスを繰り返すことで、地表の正確な数学モデルのみでなく、画像における構造及びオブジェクトの表面の数学モデルが生成される。より重要なことは、このモデルは画像自身から導出されるため、定義により、入力画像に高く相関されない。

本実施の形態での使用向けに考案される、建物の傾きを取り除く別の方法は、斜め画像と対応する直下視の画像との間でエッジマッチングプロセスを使用することで、垂直方向の構造を識別することを試みる。垂直方向の構造は、正確に直下視の画像で現れず、僅かに直下視からずれた画像（off-nadir image）で僅かに現れる。したがって、斜め画像をその対応する直下視の画像と比較するとき、２つの画像で現れる構造間の主な違いは、垂直方向の構造である。（業界標準のラプラシアンフィルタのような）１以上のエッジ検出アルゴリズムを使用することで、２つの画像内の様々な構造を識別し、次いで、直下視の画像においても現れる非垂直方向の構造を差し引くことで、斜め画像における垂直方向のエッジを分離することができる。ひとたび、これら垂直方向の構造が発見されると、それら垂直方向の構造の画素はシフトされ、相対的な視野における変化の影響が除かれる。垂直方向のエッジの測定を通して発見されるグランドモデルを超える相対的な高さだけ、捕捉された斜め画像における画素の明らかな位置をシフトすることで、その適切な地面の位置を決定することができ、建物の傾きの影響が打ち消される。

上述されたプロセスは上述された機能を実行するために適合される画像処理ソフトウェアを実行するコンピュータシステムにより実行されること、結果的に得られる画像及びデータは、１以上のコンピュータ読み取り可能な媒体に記憶されること理解されたい。コンピュータ読み取り可能な記録媒体の例は、光ストレージデバイス、磁気ストレージデバイス、電子ストレージデバイス等を含む。本明細書で使用される用語「コンピュータシステム」は、本実施の形態で記載された処理のロジックを実施及び／又は実行可能な１以上のシステムを意味する。ソフトウェア命令又はファームウェアの形式で実施されるロジックは、１以上の専用のシステム、又は汎用コンピュータシステム、又は分散処理コンピュータシステムで実行され、これらの全ては、当該技術分野で良好に理解されており、係るコンピュータをどのように使用するかに関する詳細な説明は、本実施の形態において不要であると考えられる。本実施の形態で記載された処理のロジックを実行するためにコンピュータシステムが使用されるとき、係るコンピュータ及び／又は実行は、同じ地理的な位置又は多数の異なる地理的な位置で行われる。さらに、ロジックの実行は、連続的に、又は多数の離散時間で行われる。さらに、係るロジックは、画像の捕捉と同時に、又は画像の捕捉の後に、又はそれらの組み合わせで実行される。

上述された発明は、理解の明確さのために例示を通して詳細に記載されたが、所定の変形及び変更は、本明細書に記載され、及び特許請求の範囲で定義される本発明の精神及び範囲から逸脱することなしに実施されることは、当業者にとって明らかであろう。

Claims (26)

1. 複数のソース斜め画像から斜めモザイク画像を作成する方法であって、
   画像形成される所望の領域であって、斜めモザイク画像に集められる所望の領域を識別するステップと、
   バーチャルカメラのセンサの数学モデルを形成するステップと、前記バーチャルカメラは、画像形成される領域の高度よりも大きな高度を有し、前記数学モデルは、前記所望の領域のセンサについて斜めモザイクの画素マップを有し、
   ある表面の位置を前記斜めモザイクの画素マップに含まれるそれぞれの画素に割り当てるステップと、
   前記所望の地理的な領域の斜めモザイク画像を形成するため、前記斜めモザイクの画素マップに含まれるそれぞれの画素について、画像形成されるべき領域の少なくとも１つのソース斜め画像の画素を投影し直すステップと、
   を含むことを特徴とする方法。
2. 前記割り当てるステップは、前記バーチャルカメラの視野を通してそれぞれの画素を投影し、前記斜めモザイクの画素マップにおけるそれぞれの画素について対応する表面の位置を決定するステップにより更に定義される、
   請求項１記載の方法。
3. 多数のソース斜め画像は、同じ表面の位置を表す、
   請求項１記載の方法。
4. 斜め角度及び該斜め角度に類似するコンパス方位及び前記バーチャルカメラのコンパス方位で捕捉された前記表面位置のソース斜め画像を選択するステップを更に含む、
   請求項１記載の方法。
5. 前記同じ表面の位置を表すそれぞれのソース斜め画像の画素は、どのソース画素が前記表面の位置の最も代表的な画素であるか、前記斜めモザイク画像に含まれるより代表的な画素であるかを判定するために比較される、
   請求項３記載の方法。
6. 前記投影し直すステップは、前記バーチャルカメラの高度、コンパス方位、及び斜め角度から取られる、表現される表面の位置のサイズ及び形状に整合するように画素を投影し直すことで更に定義される、
   請求項１記載の方法。
7. 前記投影し直すステップは、投影し直す前に前記ソース斜め画像からの高度の影響を除き、投影し直した後に前記高度の影響を前記斜めモザイク画像に追加することで更に定義される、
   請求項１記載の方法。
8. 前記斜めモザイク画像内の垂直方向の構造の傾きを最小にするステップを更に含む、
   請求項１記載の方法。
9. 前記斜めモザイク画像内の垂直方向の構造の傾きを最小にする前記ステップは、前記垂直方向の構造を考慮して前記ソース斜め画像から高度モデルを作成し、画像形成される領域の少なくとも１つのソース斜め画像の画素を投影し直すステップとして更に定義される、
   請求項８記載の方法。
10. 前記垂直方向の構造の傾きを最小にする前記ステップは、多数のソース斜め画像における垂直方向の構造を整合させ、グランドモデルを超える相対的な高さだけ、前記ソース斜め画像の少なくとも１つにおける画素が見える位置をシフトするステップとして更に定義される、
    請求項８記載の方法。
11. 前記斜めモザイク画像と共にメタデータが記憶される、
    請求項１記載の方法。
12. 前記斜めモザイク画像は、地理的に参照される、
    請求項１記載の方法。
13. 前記画像形成される所望の領域は、地理的な領域を表す、
    請求項１記載の方法。
14. 複数のソース斜め画像から斜めモザイク画像を作成する方法であって、
    画像形成される所望の領域であって、斜めモザイク画像に集められる所望の領域を識別するステップと、
    バーチャルカメラのセンサの数学モデルを形成するステップと、前記バーチャルカメラは、画像形成される領域の高度よりも大きな高度を有し、前記数学モデルは、前記所望の領域のセンサについて斜めモザイクの画素マップを有し、
    前記斜めモザイクの画素マップに含まれるそれぞれの画素について表面の位置を決定するステップと、
    前記所望の地理的な領域の斜めモザイク画像を形成するため、前記斜めモザイクの画素マップに含まれるそれぞれの画素について、画像形成されるべき領域の少なくとも１つのソース斜め画像の画素を投影し直すステップと、
    を含むことを特徴とする方法。
15. 前記決定するステップは、前記バーチャルカメラの視野を通してそれぞれの画素を投影し、前記斜めモザイクの画素マップにおけるそれぞれの画素について対応する表面の位置を決定するステップにより更に定義される、
    請求項１４記載の方法。
16. 多数のソース斜め画像は、同じ表面の位置を表す、
    請求項１４記載の方法。
17. 斜め角度及び該斜め角度に類似するコンパス方位及び前記バーチャルカメラのコンパス方位で捕捉された前記表面位置のソース斜め画像を選択するステップを更に含む、
    請求項１４記載の方法。
18. 前記同じ表面の位置を表すそれぞれのソース斜め画像の画素は、どのソース画素が前記表面の位置の最も代表的な画素であるか、前記斜めモザイク画像に含まれるより代表的な画素であるかを判定するために比較される、
    請求項１６記載の方法。
19. 前記投影し直すステップは、前記バーチャルカメラの高度、コンパス方位、及び斜め角度から取られる、表現される表面の位置のサイズ及び形状に整合するように画素を投影し直すことで更に定義される、
    請求項１４記載の方法。
20. 前記投影し直すステップは、投影し直す前に前記ソース斜め画像からの高度の影響を除き、投影し直した後に前記高度の影響を前記斜めモザイク画像に追加することで更に定義される、
    請求項１４記載の方法。
21. 前記斜めモザイク画像内の垂直方向の構造の傾きを最小にするステップを更に含む、
    請求項１４記載の方法。
22. 前記斜めモザイク画像内の垂直方向の構造の傾きを最小にする前記ステップは、前記垂直方向の構造を考慮して前記ソース斜め画像から高度モデルを作成し、画像形成される領域の少なくとも１つのソース斜め画像の画素を投影し直すステップとして更に定義される、
    請求項２１記載の方法。
23. 前記垂直方向の構造の傾きを最小にする前記ステップは、多数のソース斜め画像における垂直方向の構造を整合させ、グランドモデルを超える相対的な高さだけ、前記ソース斜め画像の少なくとも１つにおける画素が見える位置をシフトするステップとして更に定義される、
    請求項２１記載の方法。
24. 前記斜めモザイク画像と共にメタデータが記憶される、
    請求項１４記載の方法。
25. 前記斜めモザイク画像は、地理的に参照される、
    請求項１４記載の方法。
26. 前記画像形成される所望の領域は、地理的な領域を表す、
    請求項１４記載の方法。

Images