JP2010501932A - 地図作成アプリケーションにおける数値表面モデルのモデリングおよびテクスチャリング - Google Patents

Abstract

【課題】地図作成アプリケーションにおける実施のための、地球の表面上にある種々の物体の数値表面モデル（ＤＳＭ）テクスチャリングおよびモデリング・システムおよび方法を提供する。
【解決手段】広角レンズを有する１つ以上の画像取り込みデバイスを種々の構成で配置して、鉛直写真および斜め写真を得る。このような構成は、１つのレンズおよび１つのセンサー、１つのレンズおよび複数のセンサー、複数のレンズ、複数の複数のセンサー、および反射面を含む。画像から、位置、距離、および面積を測定することができる。また、空中パノラマと地上画像との間における連続モーフを行う用意もある。
【選択図】図１

Description

大規模な地図作成アプリケーション(mapping application)では、地球の地形や、地上表面に存在する建物やその他の物体のモデルのモデリングの重大性および分量が増大している。これらの物体に対する一般的な名称は、数値表面モデル（ＤＳＭ：Digital Surface Model）である。建物やその他の構造物がなく地形のみの場合、その名称は数値標高モデル（ＤＥＭ：Digital Elevation Model）となる。このような地図作成プロジェクトでは、建物、構造物、および種々のその他の物体（例えば、山、樹木等）は、種々のナビゲーション角度で（例えば、斜め視野、鳥瞰角、斜視角、上方目視角、前方目視角、下方軌跡、上方軌跡等）見ることができる。このようなナビゲーション角度は一部の場所については入手可能であるが、多数のその他の場所では情報が不足している。したがって、このような地図作成アプリケーションでは、大多数の場所についての詳細およびモデリングの側面(aspect)が不足している。

前述の欠点およびその他の欠点を克服するために、ＤＳＭをモデルリングおよびテクスチャリング(texturing)し、このような情報を地図作成アプリケーションにおいて応用する手段を備えた実施形態を提供する。

開示する実施形態の態様のいくつかの基本的な理解が得られるようにするために、簡略化した摘要を以下に示す。この摘要は、長大な全体像ではなく、主要な要素またはなくてはならない要素を特定することも、このような実施形態の範囲を正確に叙述することも意図していない。その目的は、記載する実施形態の概念の一部を、簡略化した形態で、後から提示する更に詳細な説明の序文として提示することである。

１つ以上の実施形態およびその対応する開示によれば、地図作成アプリケーションのためのＤＳＭテクスチャリングおよびモデリングと結び付けて、種々の態様について説明する。一部の実施形態によれば、画像を取り込む技法は、モデリングおよびテクスチャリングのために鉛直写真撮影および斜め写真撮影の利点を組み合わせる。位置、距離、および面積(area)は、画像(imagery)から測定することができる。一部の実施形態によれば、空中パノラマと地上画像との間に連続的モーフ(morph)がある。

前述の目標および関係する目標の遂行のために、１つ以上の実施形態は、以下で詳しく説明し特定的に特許請求の範囲において指摘する特徴を備えている。以下の説明および添付図面は、ある種の例示的態様を詳しく明記するが、実施形態の原理を採用することができる種々の方法のうち数個を示すに過ぎない。その他の利点および新規の特徴は、以下の詳細な説明を図面と合わせて考察すれば明確となり、開示する実施形態は、このような態様およびその同等物の全てを含むことを意図している。

図１は、空中ＤＳＭ画像を取り込み、このような空中画像を複数の写真測量製品に応用するシステム例を示す。 図２は、画像のテクスチャリングおよびモデリングを行うシステムの別の一例を示す。 図３は、開示する実施形態と共に利用することができる画像取り込みデバイスの一例を示す。 図４は、開示する実施形態と共に利用することができる画像取り込みデバイスの別の一例を示す。 図５は、ここに開示する種々の実施形態と共に利用することができる複数の画像取り込みデバイスの構成例を示す。 図６は、ここに開示する種々の実施形態と共に利用することができる複数の画像取り込みデバイスの別の構成例を示す。 図７は、１つ以上の実施形態と共に利用することができる斜め画像を示す。 図８は、超広角画像の斜め画像平面と半球画像面との間の典型的な差を示す。 図９は、極広角画像からの仮想斜め画像の発生を示す。 図１０は、ＤＳＭモデリングおよびテクスチャリング方法を示す。 図１１は、別のＤＳＭモデリングおよびテクスチャリング方法を示す。

これより、図面を参照しながら種々の実施形態について説明する。図面では、全体を通じて同様の要素を示す際には、同様の参照番号を用いることとする。以下の記載では、説明の目的上、１つ以上の態様の完全な理解が得られるようにするために、多数の具体的な詳細を明記する。しかしながら、種々の実施形態はこれらの具体的な詳細がなくても実施できることは明白であると考えられる。他方で、周知の構造やデバイスはブロック図形状で示し、これらの実施形態を記載し易くしている。

本願において用いる場合、「コンポーネント（部、構成要素）」(component)、「モジュール」、「システム」等の用語は、コンピューター関係エンティティを指し、ハードウェア、ハードウェアおよびソフトウェアの組み合わせ、ソフトウェア、または実行中のソフトウェアの任意のものを意図している。例えば、コンポーネントとは、限定ではないが、プロセッサー上で走るプロセス、プロセッサー、オブジェクト、エクゼキュータブル、実行スレッド、プログラム、および／またはコンピューターであってもよい。例示として、サーバー上で走るアプリケーションおよびサーバー自体の双方がコンポーネントであり得る。１つ以上のコンポーネントは、プロセスおよび／または実行スレッドの内部に位置することができ、コンポーネントは１つのコンピューター上に局在化(localize)しても、および／または２つ以上のコンピューター間で分散してもよい。

「一例」(exemplary)ということばは、ここでは、例、実例(instance)、または例示(illustration)としての役割を果たすことを意味するために用いられる。「一例」としてここで記載されるいずれの態様または設計であっても、他の態様または設計よりも好ましいまたは有利であるというように、必ずしも解釈されることはない。

種々の実施形態は、多数のコンポーネント、モジュール等を含むことができるシステムに関して提示する。尚、種々のシステムは追加のコンポーネント、モジュール等を含んでもよく、および／または図と関連付けて論ずるコンポーネント、モジュール等の全てを含まなくてもよいことは言うまでもないであろうし、認められるであろう。また、これらの手法の組み合わせを用いてもよい。

図１は、ＤＳＭ空中画像を取り込み、このような空中画像を複数の写真撮影製品に応用するシステム１００の一例を示す。システム１００は、鉛直写真撮影および斜め写真撮影の利点を合わせ持つ。

開示する実施形態の真価を完全に理解するために、数値表面モデル（ＤＳＭ）発生の概略的なプロセスを説明する。ＤＳＭ画像は、地上およびその他の構造物の鉛直（例えば、地上においてカメラ点から直接下に向かう）写真を数枚取り込むことを伴う。カメラ位置の計算は、画像を取り込むときと実質的に同時に行うか、または後処理においてというように、画像を取り込んだ後に行う。位置は、各画像と既知の地上点との間、および画像間（束調節(bundle adjustment)として知られている）において対応する点を識別することによって決定することができる。地面、建物、およびその他の物体のモデリングは、１枚よりも多い画像において見られる、物体上における対応する点を照合することによって行われる。例えば、建物の角は、少なくとも２枚の画像において識別される。モデリングを行う際、鉛直画像を利用することができる。何故なら、地面に対して平行な画像はほぼ一定の倍率(scale)を示すからである。また、モデリングは、斜め画像または広角センサーのようなセンサー上で行うこともできる。例えば、フレームの縁に現れる建物は、フレームの中心における別の建物と同様の倍率で表される。各画像を撮影するときのカメラの位置、およびカメラ内部のパラメーターが与えられれば、各画像点は、空間における目視射線(view ray)に変換することができる。これらの射線を交差させると、建物の角の空間における位置が得られる。対応する点の識別、および三次元の点の復元は、種々の技法を用いて、手動または自動で行うことができる。

復元した三次元の点を利用することにより、各建物のモデルを構築する。建物のモデルにテクスチャリングを施すことができる。各モデルは、平面ファセット(planar facet)またはその他の表面原線(surface primitive)（例えば、非均一合理的Ｂ−スプライン(Non-Uniform Rational B-Spline)即ちＮＵＲＢＳ、これはモデリングにおいて用いられる表面要素に対する数学的定義である）から成る。各原線を、それが見える画像上に投射する。画像データは、原始テクスチャー(primitive texture)として用いられる。

モデリングおよびテクスチャリングは、鉛直写真撮影および斜め写真撮影の組み合わせを利用する。斜め写真撮影で建物をモデリングする選択肢もあるが、これにはいくつかの困難が伴う。第１に、斜め画像の地上倍率(ground scale)は、フレームに沿って変化する。建物が水平に近づくに連れて、その再現精度は１／ｚの割合で低下する。ここで、ｚはカメラから地上点までの距離である。また、斜め画像は、その方向に面する物体のファセット、例えば、建物の北側のファセットのみを取り込む。建物の完全なモデル（およびテクスチャー適用範囲 (texture coverage)）を得るには、数枚の画像が必要となり、各画像を異なる方向から撮影する。視角が水平方向に近づくに連れて、視認性(visibility)が増々複雑になる。何故なら、建物は、当該建物とカメラとの間にある物体（建物、構造物、樹木等）によって遮られるからである。複雑な視認性の下では、例えば、北側を向いている斜め画像は、フレーム内にある全ての建物の南側ファセット全てを取り込むことができない。したがって、より多くの画像が必要となる。

このため、システム１００は、鉛直写真撮影および斜め写真撮影の利点を合わせ持つように構成することができる。システム１００は、画像取り込みコンポーネント１０２、物体識別コンポーネント１０４、および提示コンポーネント１０６を含む。システム１００には、多数の画像取り込みコンポーネント１０２および物体識別コンポーネント１０４を含めることができることは認められようが、簡略化の目的に沿って、１つの識別コンポーネント１０４とインターフェースする１つの画像取り込みコンポーネント１０２を示す。

画像取り込みコンポーネント１０２は、レンズを含み、このレンズは広い角度から当該レンズに近づく光を取り込むように設計されている。画像取り込みコンポーネント１０２は、鉛直位置および斜め位置の少なくとも１つにおいて画像を取り込むように構成することができる。画像取り込みコンポーネント１０２と関連のある種々の態様について、ここではカメラを参照しながら説明するとよいであろう。尚、地球の表面および地球の表面に沿った物体の写真を取り込む即ち撮影する技法であれば、そのいずれでも１つ以上の開示する実施形態と共に利用できることは認められよう。画像取り込みコンポーネント１０２の種々の構成については、以下で規定する。

システム１００は、直下に向けられる画像取り込みコンポーネント１０２に関連して、超広角レンズ（約１２０度）を利用することができる。視野の中央部は、鉛直写真と同等となることができ、一方写真の縁部は３６０度の方向（方位方向）斜め写真と同等となることができる。システム１００が地上を走査すると、高精度の中央画像をモデリングの基準として利用することができ、一方画像の縁部では、各方向から建物側面を広く捕らえる。

物体識別コンポーネント１０４は、種々の画像を受け入れて、このような画像における同様の物体または場所を識別するように構成することができる。物体または場所のこのような識別は、手動機能とすることができ、これによって、物体識別コンポーネント１０４はユーザーおよび／またはエンティティ（例えば、インターネット、別のシステム、コンピューター．．．）からの入力を受け取り、個々の画像または画像の部分集合を物体または場所と関連付ける。ある実施形態によれば、物体識別コンポーネント１０４は、多数の画像の中から同様の画像または場所を自律的に識別し、その画像または画像の一部を物体または場所と自動的に関連付ける。物体または場所の画像との関連付けは、多数の画像を用いて地球および地球表面上に位置する種々の物体のモデルを表現する地図作成アプリケーションに応用することができる。

提示コンポーネント１０６は、得られた画像を表示画面に提示または表示するように構成することができる。このような提示は、ユーザーが多数のナビゲーション角度において特定の場所の表示を要求する地図作成アプリケーションにおいても可能である。このようにして、ユーザーには豊富な表示が提示され、実世界画像のモデリングおよびテクスチャリングを行う準備が整う。

図２は、画像のテクスチャリングおよびモデリング・システム２００の別の例を示す。システム２００は、画像処理手順を利用して種々の製品を生成することができる。例えば、システム２００は、画像データから位置、距離、および面積の直接測定値を得るように構成することができる。システム２００は、地上表面の正斜画像、および／または地上表面の斜め光景(oblique view)を得ることができる。三次元ＤＳＭのモデリングは、システム２００および／またはモデルのテクスチャリングによって備えることができる。あるいはまたは加えて、システム２００は空中３６０度光景と地上３６０度パノラマ光景との間で連続的なモーフ即ち変換(transformation)を行うことができる。

空中パノラマは、場面の３６０度全域の光景を示す画像である。このような光景は、地上に対して大まかに平行な円筒状ストリップ、またはカメラの視野方向を中心とする半球の一部とすることができる。地上パノラマは、取り込み点を中心とする環境、即ち、視点を中心とする半球を示すストリップである。

地上ＤＥＭおよび復元ＤＳＭを用いると、空中パノラマと地上系パノラマとの間に軌跡をかける中間パノラマを発生することができる。例えば、テクスチャー・ジェオメトリー(texture geometry)の再投影によって、または元の画像を投影したジェオメトリーの位置にモーフィングする(morphing)ことによって、画像を発生することができる。これによって、空中画像から地上レベルの画像の間、２枚の空中画像間、または２枚の地上画像間において円滑な遷移を得ることができる。

システム２００は、種々の角度から多数の画像を取り込むように構成することができる画像取り込みコンポーネント２０２を含む。画像取り込みコンポーネント２０２以外に、システム２００の中に含むことができるのは、視野(viewing area)において物体を識別するように構成することができる物体識別コンポーネント２０４、および、例えば、地図作成アプリケーションでは表示画面上で、取り込んだ画像をユーザーに表示するように構成することができる提示コンポーネント２０６である。

画像取り込みコンポーネント２０２は、種々の構成を備えることができる。例えば、画像取り込みコンポーネント２０２は、「１枚のレンズおよび１つのセンサー」、「１つのレンズおよび複数のセンサー」、「複数のレンズおよび複数のセンサー」、「複数のレンズ、複数のセンサーおよび反射面」、またはその他の構成を含むことができる。画像取り込みコンポーネント２０２は、例えば、超広角（例えば、少なくとも１２０度）および高分解能センサーを含む空中カメラとすることができる。

一部の実施形態によれば、同期モジュール２０８を画像取り込みコンポーネント２０２と関連付けることができる。同期モジュール２０８は、画像取り込み時刻またはその他のパラメーターを、少なくとも１つの他の画像取り込みコンポーネントと同期させて、同様の場面を同じように取り込み易くすることができる。尚、同期モジュール２０８は、画像取り込みコンポーネントに含まれるように例示されているが、一部の実施形態によれば、同期モジュール２０８は別個の構成要素とすること、または他のシステム２００の構成要素と関連付けることもできることは言うまでもない。

コンバイナー・モジュール２１０は、物体識別コンポーネント２０４に含めることができ、あるいは一部の実施形態によれば別個のモジュールとすることができる。コンバイナー・モジュール２１０は、複数の画像取り込みコンポーネントから受信した複数の画像を得て、これらの画像を組み合わせるように構成することができる。つまり、コンバイナー・モジュール２１０は、種々のナビゲーション角度からの画像を大きくして、または更に詳細にして提示することができる。

例えば、第１画像取り込みデバイスは、第１および第２画像を取り込むことができ、第２画像取り込みデバイスは第３および第４画像を取り込むことができる。同期モジュール２０８は、４枚（またはそれより多い画像）の取り込みの同期を取ることができ、コンバイナー・モジュールは、部分的に画像内に位置する少なくとも１つの識別した物体に基づいて、画像を組み合わせることができる。

また、システム２００は物体位置検出コンポーネント２０８も含むことができる。物体位置検出コンポーネント２０８は、画像取り込みコンポーネント２０２、物体識別コンポーネント２０４、または両構成要素２０２、２０４とインターフェースすることができる。位置検出コンポーネント２１２は、画像取り込みコンポーネント２０２の画像面上におけるいずれの場所でも、空間内の射線に変換するように構成することができる。このような構成は、画像取り込みコンポーネント２０２の内部パラメーターを考慮に入れることができる。画像取り込みコンポーネント２０２の位置および方位が与えられると、位置検出コンポーネント２１２は、射線を地上モデルと交差させ、画像におけるその点に対応する空間における位置を決定するように構成することができる。位置および方位は、慣性測定ユニット（ＩＭＵ：Inertial Measurement Unit)を利用することによって決定することができ、あるいは地上制御点を特定することによって、画像から復元することができる。

一部の実施形態では、位置検出コンポーネント２１２は、各々画像取り込みデバイス２０２の異なる位置から発する２本以上の射線を交差させるように構成することができる。各射線は、画像取り込みデバイス２０２の画像面の各々における同様の世界点 (world point)の異なる画像に対応することができる。

位置検出コンポーネント２１２は、更に、距離を測定するように構成することができる。この距離は、２点間の直線距離、またはポリライン(polyline)に沿った長さとすることができる。ポリラインとは、一連の点によって定義することができる１つ以上の線分によって構成される連続線のことである。画像点は、位置検出コンポーネント２１２によって、距離計算のために、対応する地上点にマッピングすることができる。同様に、位置検出コンポーネント２１２は、画像における区域多角形境界(area polygonal boundary)を定めることによって、地上即ち地球の表面上の面積を測定することができる。このような面積は、画像における多角形の頂点に対応する点の地上位置を用いることによって求めることができる。

ユーザーが地図作成アプリケーションにおいて特定の場所または物体を見ることを望む場合、ユーザーは提示コンポーネント２０６とインターフェースする。提示コンポーネント２０６は、固定または移動体のいずれでもよい、コンピューターまたはその他の計算機と関連付けることができる。このようなインターフェースは、ユーザーが正確な場所（例えば、経度、緯度）を入力すること、または住所、都市、州を入力すること、あるいはその他の識別手段を含むことができる。提示コンポーネント２０６は、種々の形式のユーザー・インターフェースを備えることができる。例えば、提示コンポーネント２０６は、グラフィカル・ユーザー・インターフェース（ＧＵＩ）、コマンド・ライン・インターフェース、音声インターフェース、自然言語テキスト・インターフェース等を設けることができる。例えば、所望の場所をロードする、インポートする、選択する、読み取る等のための領域または手段をユーザーに提供するＧＵＩを描写する(render)ことができ、ＧＵＩは、そのような結果を提示する領域を含むことができる。これらの領域は、既知のテキストおよび／またはグラフィック領域を含むことができ、これらの領域には、ダイアログ・ボックス、静止制御部、ドロップ・ダウン・メニュー、リスト・ボックス、ポップアップ・メニュー、編集制御部(as edit controls)、コンボ・ボックス、ラジオ・ボタン、チェック・ボックス、プッシュ・ボタン、およびグラフィック・ボックスを備える。加えて、ナビゲーションのための垂直および／水平スクロール・バーや、領域が目視可能か否か判断するためのツールバー・ボタンのような、情報伝達を容易にするユーティリティーも用いることができる。

また、ユーザーはこれらの領域と相互作用を行って、例えば、マウス、ローラ・ボール、キーパッド、キーボード、ペン、カメラで取り込んだ身振り(gesture)、および／または音声活性化のような種々のデバイスを通じて、情報を選択し提供することができる。通例、情報伝達を開始するために、情報入力に続いて、キーボード上のプッシュ・ボタンや入力キーのようなメカニズムを用いることができる。しかしながら、開示する実施形態はそのように限定されるのではないことは、認められるはずである。例えば、単にチェック・ボックスを強調するだけでも、情報伝達を開始することができる。別の例では、コマンド・ライン・インターフェースを用いることができる。例えば、コマンド・ライン・インターフェースは、テキスト・メッセージを供給すること、オーディオ・トーンを生成すること等によって、ユーザーに情報を催促することができる。次いで、ユーザーは、インターフェース・プロンプトに設けられる選択肢、またはプロンプトの中で行われる質問に対する回答に対応する英数字入力のような、適した情報を提供することができる。尚、コマンド・ライン・インターフェースは、ＧＵＩおよび／ＡＰＩと併せて用いることができることは、認められるはずである。加えて、コマンド・ライン・インターフェースは、ハードウェア（例えば、ビデオ・カード）および／またはディスプレイ（例えば、白黒、およびＥＧＡ）のグラフィック・サポートが制限されている場合、および／または通信チャネルの帯域幅が狭い場合でも、これらと併せて用いることもできる。

得られた画像は、検索可能なフォーマットで記憶媒体２１４に維持することができる。記憶媒体２１４は、提示コンポーネント２０６またはシステム２００の別の構成要素と関連付けることができる。記憶媒体２１４は、メモリおよび／または情報を格納することができるその他の何らかの媒体とすることができる。限定ではなく例示として、記憶媒体２１４は、不揮発性および／または揮発性メモリを含むことができる。適した不揮発性メモリには、リード・オンリ・メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュ・メモリを含むことができる。揮発性メモリには、ランダム・アクセス・メモリ（ＲＡＭ）を含むことができる。これは、外部キャッシュ・メモリとして作用する。限定ではなく一例として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、データ倍速ＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、改良型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）、ランバス・ディレクトＲＡＭ（ＲＤＲＡＭ：Rambus direct RAM）、ディレクト・ランバス・ダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびランバス・ダイナミックＲＡＭ（ＲＤＲＡＭ）を含むことができる。

図３は、開示する実施形態と共に利用することができる画像取り込みデバイス３００の一例を示す。画像取り込みデバイス３００は、１枚のレンズ３０２および１つのセンサー３０４を含む。画像取り込みデバイス３００は、極広角レンズ(super-wide lens)３０２を用いる高品位カメラ３０４とすることができる。カメラ３０４は、地球３０６またはその他の地形に向かって直下を指し示ように、航空機上に装備することができる。得られる画像の地上倍率(ground scale)は可変であり、その中心付近では高く、画像が水平に近づくに連れて低くなっていく。

図４は、開示する実施形態と共に利用することができる画像取り込みデバイス４００の別の例を示す。画像取り込みデバイスは、１つのレンズ４０２と複数のセンサー４０４とを含む。４つのセンサー４０４が示されているが、画像取り込みデバイス４００はいずれの数のセンサーでも含むことができる。複数のセンサー４０４を利用すると、図３に示す画像取り込みデバイス３００に伴う費用を低減することができる。隣接するセンサー４０８、４１０間には、センサー４０４のアレイが及ばない継ぎ目４０６（そのうち１つだけに番号を付する）がある。画像取り込みデバイス４００は、広角レンズのカメラとすることができ、地球またはその他の地形４１２に向かって直下を指し示す。地形４１２の種々の区域の画像は、隣接するセンサー４０８、４１０間の継ぎ目４０６のために、取り込むことができない、即ち、撮影できない場合がある。地形４１２のこれらの区域は、次の露出において補う(cover)ことができ、あるいは地形４１２の同様の区域を第１画像取り込みデバイス４００とほぼ同時に取り込む第２画像取り込みデバイス（図示せず）によって補うことができる。このようにして、複数の画像取り込みデバイスの画像の相互作用によって、地形全体を取り込むことができる。

図５は、ここに開示する種々の実施形態と共に利用することができる複数の画像取り込みデバイスの構成５００の一例を示す。複数の画像取り込みデバイス５０２、５０４、５０６、５０８、５１０は、組み合わせた視野角５１２、５１４、５１６、５１８、５２０が半球全体、またはある最小距離では鉛直方向を中心として約１２０度を覆うように、外向き構成で航空機またはその他のビヒクルの下に装備することができる。画像取り込みデバイス５０２、５０４、５０６、５０８、５１０を同期させれば、同様の場面または地形５２２を同じように取り込み易くすることができる。この構成５００では、複数の画像取り込みデバイス５０２、５０４、５０６、５０８、５１０があるために、複数のレンズおよび複数のセンサーを備えることになる。尚、５つの画像取り込みデバイスを示すが、システム５００における取り込みデバイスはそれよりも多くても少なくてもよいことを注記しておく。

図６は、ここに開示する種々の実施形態と共に利用することができる複数の画像取り込みデバイスの構成６００の別の例を示す。複数の画像取り込みデバイス６０２、６０４、６０６、６０８、６１０によるこの構成６００は、複数のレンズ、複数のセンサー、および反射面６１２を備えている。反射面６１２は、航空機を中心とする半球からの射線を、内向き構成で配置されている画像取り込みデバイス６０２、６０４、６０６、６０８、６１０に反射する鏡面とすることができる。尚、システム６００に含むことができる取り込みデバイスはそれよりも多くても少なくてもよいことを注記しておく。

この構成６００は、全視野カメラには既に知られている。しかしながら、１台のカメラを用いる場合、様々な制限を受けることになる。第１に、反射面即ちミラー６１２は、半球の射線を、カメラのセンサー上における円形画像にマッピングする。多くの状況では、カメラの方向から離れる程角度の分解能は、低下する、即ち低分解能となる。次に、画像の総分解能は、センサーの分解能による制限を受ける。最後に、画像の中心は、反射面即ちミラーにおけるカメラ自体の反射を示す。つまり、カメラ自体が場面即ち得られる画像から特定の区域に対する射線を遮断する。

画像取り込みデバイスが１つである場合に伴う問題を軽減するために、複数の画像取り込みデバイス６０２、６０４、６０６、６０８、６１０を利用して、数通りの方向から反射面即ちミラー６１２の画像を取り込む。最終的に発生する画像は、各画像取り込みデバイス６０２、６０４、６０６、６０８、６１０の画像を融合し、デバイス６０２、６０４、６０６、６０８、６１０の反射の画像を除去したものとなる。

正射写真は、一定の地上倍率を有し、頭上からの正射投影(orthographic projection)によって撮影する、地球の被写域 (photographic coverage)である。一般に、正射写真は、鉛直画像（例えば、直下に向けたカメラまたはデバイスによって撮影する）と、ＤＳＭとを利用して発生する。ＤＳＭは、２．５次元表面とすることができ、各地上点（地面上にある建物やその他の物体を含む）における高さを測定する。ＤＳＭは、光検出および測距（ＬＩＤＡＲ：Light Detecting and Ranging）センサー、インターフェロメトリック合成開口レーダー（ＩＦＳＡＲ：InterFerometric Synthetic Aperture Radar）、またはその他のセンサーのような、ある範囲のセンサーによって取り込むことができる。ＤＳＭは、ステレオ・プロセスによってというように、同じ地上区域または複数の領域を覆う鉛直画像のより大きなグループの対から発生することができる。

正射写真は、定めた地上分解能で画像を定めることによって発生することができる。その画像の各画素は、カメラ位置の方位および内部パラメーター（例えば、焦点距離）を考慮して、元の画像上に投射した地上点を表すことができる。地上点は、経度−緯度（Ｘ−Ｙ）位置、およびＤＳＭから得られたその高度によって定めることができる。投射点における画像の色は、正射画像に着色するために利用することができる。

正射写真の発生に用いられる鉛直画像は、約４０度以下の視角を有することができる。開示する実施形態を利用する空中画像取り込みコンポーネントは、鉛直画像によって取り込んだのと同様の、その画像の中心部において、１束の目視射線を取り込むことができる。例えば、画像の中心の４０度の区域は、標準的な４０度空中カメラの光景と実質的に同一とすることができる。

正射写真は、ここに示し説明している実施形態を利用することによって取り込むことができる。例えば、１つのセンサーと、広角レンズのような１つのレンズとを含む構成では、レンズはピンホール・カメラとして機能することができる。このように、同じフット・プリントを見るセンサーの区域（同じ飛行高度、および１２０度の視角を想定する）は、センサーの区域の約１６パーセントとなる。同様の分解能で正射写真を得るには、６０Ｍ画素センサーのようなセンサーを利用することができる。別の実施形態では、等しい角度を画像面上で等しい距離にマッピングするレンズを利用すれば、約９０Ｍ画素のセンサーを利用することができる。しかしながら、他のレンズやセンサーもここに開示する１つ以上の実施形態と共に利用することができる。

多センサー−単一レンズ構成では、３×３アレイのセンサーのような、センサー・アレイを利用して画像を発生することができる。各センサーは、正射写真撮影に利用するセンサーと同様とすることができる。３×３アレイにおける中間のセンサーは、通常の正射写真と同等の画像を発生することができる。

多レンズ−多センサー構成では、鉛直方向に向けられたカメラを利用すれば、同様の正射画像を発生することができる。複数のレンズ、複数のセンサー、および反射面を含む構成では、画像取り込みコンポーネントの反射を画像から除去しなければならない。他の画像取り込みコンポーネントによって得られた画像を利用すると、融合技法によるように、反射のない画像を再現することができる。

斜め光景(oblique view)とは、鉛直方向に対して傾けた画像取り込みコンポーネント即ちカメラによって得た画像である。斜め光景は、鉛直画像からは曖昧な、建物の側面の詳細のような、詳細を示す。斜め画像の方が、ユーザーは容易に認識することができる。何故なら、これの方が地上レベルに近い角度から場面の物体を示すからであり、この方がユーザーに親しみやすくすることができる。

鉛直画像とは対照的に、斜め画像は指向性(directional)である。即ち、南からのある点の斜め画像は、北からの同じ点の斜め画像とは異なる。その結果、場面の可能な全ての斜め画像を地図作成アプリケーションによって示しても、各点における場面の光景を取り込むには十分でなく、各点における全ての異なる方向から場面を取り込まなければならない。

これより図７を参照すると、斜め画像に対する目視方向(view direction)の一例が示されている。斜め画像は、垂直、鉛直方向からの角度によって測定した目視方向を有することができる。典型的な値は、斜め角に対して４０度、視角に対して約４０度とすることができる。

７０２に、上から見た斜め画像を示し、７０４に、開示する実施形態を利用した、極広角画像を示す。第１光景７０２は、カメラ位置７０６、および１本の代表的射線７０８を示す。カメラ７０６は、画像面によって規定される円錐台における全ての目視射線７０８の色を取り込むことができる。極広角画像７０４は、カメラ位置７１０を有し、視角を中心とするリング７１４を通過する全ての射線を取り込む。そのうちの１つを７１２で示す。リング７１６の内印を付けた区域は、７０２の斜め画像と同等の射線である。

図８を参照すると、斜め画像平面と、超広角画像の半球画像面との間の典型的な差が示されている。斜め画像の発生は、斜め画像面を定め、その平面上の角画素を画像取り込みコンポーネントの中心と接続することによって行われる。斜め画像面上の画素と中心とを接続する射線の、極広角画像面との交点は、斜め画素の色を規定する。

カメラの焦点８０２は、鉛直方向８０４に向けて直下を指し示す。画像を取り込むために極広角レンズを利用するが、鉛直８０４から約２０度から鉛直８０４から約６０度までの環状射線は、斜め目視方向８０６とすることができ、斜め画像面８０８を発生する。開示する実施形態を利用して得ることができる、対応の超広角画像面を８１０に示す。

図９は、極広角画像からの仮想斜め画像の発生を示す。カメラの焦点９０２は、鉛直方向９０４に下に指し示す。新たな斜め画像面上の画素毎に、その画素の中心およびカメラの中心を接続する射線を定める。斜め目視方向を９０６で示し、斜め画像面上の点を９０８に示す。超広角画像面上における対応する投射を９１０に示す。射線の画像面との交差点における極広角画像のサンプリングによって、新しい斜め画素に対して色を発生する。

先に論じたように、ＤＳＭは、地球上に位置するあらゆる物体（例えば、樹木、家屋等）を含む、地球の表面の三次元モデルである。ＤＳＭは、正射写真の発生、または特定の場面の新たな仮想光景を発生するためというような、種々の用途に利用することができる。高品質ＤＳＭは、手作業の調査によって得ることができるが、費用がかかる。代わりに、異なる視点から撮影した場面の複数の光景を分析することによって、ＤＳＭを発生することができる。ＤＳＭを発生するプロセスは、これらの画像間において対応する特徴を照合することを含む。各特徴は、カメラ位置からの目視射線を定め、これらの目視射線の交点は、その特徴の空間における位置を定める。しかしながら、自動照合は困難であり、誤差を生じやすい。

開示した技法は、各場面点(scene point)が含まれる画像の枚数(coverage)を増大させることができる。約１２０度（４０度ではなく）を有する視角を用いることによって、同じ地上点を見る画像の数が６倍以上になる。例えば、２つの隣接する４０度鉛直画像間の共通区域が６６％である場合、特定の地上点を見ることができる画像は９枚であるが、一方実質的に同じ間隔で撮影した１２０度画像では、実質的に同じ点を見ることができる画像は５６枚よりも多い。このため、復元したＤＳＭの信頼性が向上する。

加えて、極広角画像は、場面（例えば、建物の垂直壁、樹木直下の区域）の可視到達範囲(visible coverage)が広くなり、これらは通常の鉛直画像では一般には見ることができない。つまり、全ての光景からその到達範囲を組み合わせることによって、ＤＳＭモデルを改良して発生することができる。

テクスチャーは、モデルに視覚的内容および現実感を付け加える。地形、建物、および地球上のその他の物体に模様を付けるために、空中光景が利用されることが多い。基本的なテクスチャリングは、物体の地点を取得し、これを見ることができる１枚以上の画像上にそれを投射し、色を発生することによって作成することができる。しかしながら、ジェオメトリーが複雑であると、視認性も複雑となるので、物体における異なる空洞(cavity)は、限られた目視方向でなければ見ることができなくなる。例えば、建物の壁は、上面図からは、見えるとしても、しかるべく見ることができず、あるいは樹木の下にある地面は視野から完全に遮られる場合もある。

加えて、反射物体または半反射物体のような、異なる材料は、異なる目視方向からでは、反射特性(properties)が異なる。つまり、１つの視点からこれらの物体にテクスチャリングを施すと、このような物体を異なる方向から見たときに、非現実的なテクスチャーが生ずる可能性がある。テクスチャーが指向性成分を含有するときには、異なる方向から撮影した複数の画像からのテクスチャーを縫合する(stitch)と、それに伴う別の問題が発生する可能性がある。

開示した実施形態を利用すると、被写域の改善が得られ、斜めおよび鉛直画像の限られた取り込みでは覆いきれない場合もある区域にテクスチャリングを施すことが可能となる。これらの画像によって遮られる表面（例えば、樹木の下にある地面）は、角度を極端に広く取って、新たな目視方向で取り込めば、補う(cover)ことができる場合もある。また、開示した実施形態は、各場面点を、より多くの画像において、そしてより多くの目視方向で見ることができるようにする。これによって、指向性反射特性のモデリングを改良することができる。例えば、建物の窓の反射成分は、異なる方向からの窓の画像を数枚分析することによって除去することができる。

以上に示し説明したシステム例に関して、開示した主題にしたがって実施することができる方法は、図１０および図１１のフロー・チャートを参照することにより、一層深くその真価が認められよう。説明を簡略化する目的上、本方法を一連のブロックとして示し説明するが、特許請求する主題は、ブロックの数や順序には限定されないことは言うまでもないであろうし、認められるはずである。何故なら、一部のブロックは、ここで図示し説明するものとは異なる順序で出てくる場合、および／または他のブロックと同時に現れる場合もあり得るからである。更に、図示するブロックの全てが、以下に説明する方法を実施するために必要ではない場合もある。尚、ブロックと関連のある機能性は、ソフトウェア、ハードウェア、その組み合わせ、またはその他の適した手段（例えば、デバイス、システム、プロセス、コンポーネント）であればいずれによってでも実施することができることは認められるはずである。加えて、以下にそして本明細書全体を通じて開示する方法は、このような方法を種々のデバイスに移植および転送し易くするために、製造物上に格納することができることも、更に認められてしかるべきである。代わりに、状態図におけるように、一連の相互に関係する状態またはイベントとして方法を表すこともできることは、当業者には理解されそして認められよう。

図１０は、ＤＳＭモデリングおよびテクスチャリング方法１０００を示す。方法１０００は、１００２において開始し、ここで空中画像を取り込むために１つ以上の画像取り込みデバイスを位置付ける。画像取り込みデバイスは、広角レンズを含む。このような位置付けは、地球の地形および地球表面上にある種々の物体の鉛直画像を得るために１つ以上の画像取り込みデバイスを航空機の下に装備することを含む。画像取り込みデバイスは、例えば、広角レンズを有するカメラとすることができる。

１００４において、１つ以上の画像取り込みデバイスによって１つ以上の空中画像を取り込む。空中画像は、地球の表面上に位置する少なくとも１つの物体を含む。画像は、鉛直写真撮影、斜め写真撮影、またはその組み合わせを用いて取り込むことができる。２つ以上のデバイスから取り込んだ画像を組み合わせて、１枚の画像よりも詳細の粒度が高い１つの完全な画像を描写(render)することができる。

１００６において、１つ以上の画像によって取り込んだ区域の視認要求を受ける。このような要求は、地図作成アプリケーションにおいて特定の区域を視認したいユーザーから受ける可能性がある。１００８において、取り込んだ画像を表示することができる。表示する画像は、動的とすることにより、ユーザーが表示画面を中心にパンニングすると、このようなユーザーの要求に応答して画像が変化するようにすることができる。例えば、表示画面は、空中パノラマ画像を見るときと、地上の視点からの画像、またはその他のナビゲーション角度からの画像を見るときとの間で変更することができる。

図１１は、別のＤＳＭモデリングおよびテクスチャリング方法１１００を示す。１１０２において、１つ以上の画像取り込みデバイスの構成を決定する。このような構成は、「１枚のレンズおよび１つのセンサー」、「１枚のレンズおよび複数のセンサー」、「複数のレンズおよび複数のセンサー」、ならびに「複数のレンズ、複数のセンサー、および反射面」を含むことができる。レンズは、例えば、広角レンズまたは超広角レンズとすることができる。

１１０４において、地球の表面上にある多数の場所および物体について、画像データを入手する。このような画像データは、鉛直画像、斜め画像、またはその他のナビゲーション角度の形態とすることができる。また、画像データは、視野において物体を識別すること、および／または多数の画像において同様の物体または場所を識別することも含むことができる。物体または場所の画像との関連付けは、地球および地球の表面上に位置する種々の物体のモデルを表すために大多数の画像を用いる地図作成アプリケーションに応用することができる。

１１０６において、画像の位置、距離、および面積の測定値を求める。２点間における直線距離またはポリラインに沿った長さとすることができる距離を測定することができる。距離計算のために、画像点を対応する地上点にマッピングすることができる。同様に、画像における区域多角形境界を定めることによって、地上即ち地球の表面上の面積を測定することができる。このような面積は、画像における多角形の頂点に対応する点の地上位置を用いて求めることができる。１１０８において、得られた画像を、ユーザーの要求に応じて表示することができる。

特に、そして前述のコンポーネント、デバイス、回路、システムなどによって実行する種々の機能に関して、このようなコンポーネントを記述するために用いた用語（「手段」に対する引用を含む）は、特に指示がない限り、記載したコンポーネントの指定した機能（例えば、機能的同等物）を実行するコンポーネントであれば、開示した構造とは構造的に同等ではなくても、ここに例示した態様例においてその機能を実行するのであれば、いずれにでも対応することを意図している。これに関して、種々の態様は、システム、ならびに種々の方法の行為および／またはイベントを実行するためのコンピューター実行可能命令を有するコンピューター読み取り可能媒体を含むことも認識されよう。

加えて、様々な実現例のうち１つのみに関して特定的な特徴を開示したが、このような特徴は、いずれの所与の用途または特定の用途にとっても望ましく有利であり得る、その他の実現例の１つ以上の別の特徴と組み合わせることができる。更に、「含む」および「含んでいる」という用語ならびにその変形が詳細な説明または特許請求の範囲のいずれかにおいて用いられている場合においてのみ、これらの用語は「備える」(comprising)という用語と同様に内包的であることを意図している。

Claims (20)

1. 地図作成アプリケーションのためにモデリングおよびテクスチャリングを容易にするシステム（１００、２００）であって、
   複数の角度から画像を取り込む第１画像取り込みコンポーネント（１０２、２０２）と、
   前記取り込み画像において少なくとも１つの物体を識別する物体識別コンポーネント（１０４、２０４）と、
   地図作成アプリケーションにおいて、前記識別した取り込み画像を表示する提示コンポーネント（１０６、２０６）と、
   を備えた、システム。
2. 請求項１記載のシステムにおいて、前記第１画像取り込みコンポーネントは、広角レンズを備えたカメラである、システム。
3. 請求項１記載のシステムにおいて、前記第１画像取り込みコンポーネントは、単一レンズ・単一センサーのカメラである、システム。
4. 請求項１記載のシステムにおいて、前記第１画像取り込みコンポーネントは、単一レンズ・複数センサーのカメラである、システム。
5. 請求項１記載のシステムであって、更に、少なくとも１つの第２画像取り込みコンポーネントと、反射ミラーとを備えており、前記第１画像取り込みコンポーネントおよび少なくとも１つの第２画像取り込みコンポーネントは、内向き構成となった、システム。
6. 請求項１記載のシステムであって、更に、少なくとも１つの第２画像取り込みコンポーネントを備えており、前記第１画像取り込みコンポーネントおよび少なくとも１つの第２画像取り込みコンポーネントは、外向き構成となった、システム。
7. 請求項６記載のシステムであって、更に、同様の光景の共通の取り込みをしやすくするために、前記第１画像取り込みデバイスおよび少なくとも１つの第２画像取り込みデバイス間において画像取り込み時間の同期を取る同期モジュールを備えた、システム。
8. 請求項６記載のシステムであって、更に、前記第１画像取り込みデバイスおよび少なくとも１つの第２画像取り込みデバイスによって取り込んだ画像を組み合わせるコンバイナー・モジュールを備えた、システム。
9. 請求項１記載のシステムであって、更に、取り込んだ画像を検索可能なフォーマットで保持する記憶媒体を備えた、システム。
10. 請求項１記載のシステムにおいて、前記第１画像取り込みコンポーネントは、鉛直位置または斜め位置の少なくとも一方において前記画像を取り込む、システム。
11. 数値表面モデル（ＤＳＭ）のテクスチャリングおよびモデリングの方法であって、
    空中画像を得るために第１画像取り込みデバイス（１０２、２０２、３００、４００、５０２、６０２）を位置付けるステップであって、前記画像取り込みデバイス（１０２、２０２、３００、４００、５０２、６０２）が広角レンズ（３０２、４０２）を備えた、ステップ（１００２、１１０２）と、
    地球の表面上に位置する少なくとも１つの物体を含む前記空中画像を取り込むステップ（１００４）と、
    取り込んだ空中画像を視認する要求を受けるステップ（１００６）と、
    前記要求された空中画像を地図作成アプリケーションにおいて表示するステップ（１００８、１１０８）と、
    を備えた、方法。
12. 請求項１１記載の方法において、前記第１画像取り込みデバイスを位置付ける前に、更に、前記第１画像取り込みデバイスおよび少なくとも１つの第２画像取り込みデバイスの構成を決定するステップを備えた、方法。
13. 請求項１２記載の方法において、前記構成は、内向き構成および外向き構成のうちの一方である、方法。
14. 請求項１２記載の方法であって、更に、前記第１画像取り込みデバイスおよび少なくとも１つの第２画像取り込みデバイスを、反射面に向かって内側に面する構成に配置するステップと、
    前記反射面から、地球の表面上に位置する少なくとも１つの物体を含む前記空中画像を取り込むステップと、
    を備えた、方法。
15. 請求項１１記載の方法において、地球の表面上に位置する少なくとも１つの物体を含む前記空中画像を取り込むことは、鉛直位置および斜め位置のうち少なくとも１つを含む、方法。
16. 請求項１１記載の方法であって、更に、前記空中画像の位置測定値、距離測定値、および面積測定値のうち少なくとも１つを決定するステップを備えた、方法。
17. 請求項１１記載の方法であって、更に、前記空中画像を検索可能なフォーマットで保持するステップを備えた、方法。
18. ＤＳＭ画像のテクスチャリングおよびモデリングを行うシステムであって、
    広角レンズ（３０２、４０２）を用いて第１および第２空中画像を取り込む手段（１０２、２０２、３００、４００、５０２、６０２）であって、前記空中画像が少なくとも１つの物体を含む、手段と、
    前記少なくとも１つの物体を識別する手段（１０４、２０４）と、
    前記少なくとも１つの識別した物体に基づいて、前記第１および第２空中画像を組み合わせる手段（２１０）と、
    前記の組み合わせた空中画像を、地図アプリケーションにおいて提示する手段（１０６、２０６）と、
    を備えた、システム。
19. 請求項１８記載のシステムであって、更に、
    広角レンズを用いて、第３および第４空中画像を取り込む手段と、
    前記第１および第２空中画像を取り込む手段と、前記第３および第４空中画像を取り込む手段とを同期させる手段と、
    を備えた、システム。
20. 請求項１９記載のシステムであって、更に、前記第３および第４空中画像を前記第１および第２空中画像と組み合わせる手段を備えた、システム。

Images