JP2011526029A - 街路レベル画像の３ｄ建物モデルへの位置合わせ - Google Patents

Abstract

画像データーについての原点(point of origin)情報の地理的位置絶対値に対する位置合わせが、低精度となる場合がある。画像および高精度モデル・データーを整合させるプロセスが、画像内にあるエレメントをモデルの対応するエレメントとマッチングすることによって、画像データーの原点を調節する。街路レベルの画像において、建物の輪郭線を抽出することができ、建物モデルからの対応する輪郭線を、画像に基づく輪郭線上に置くことができる。画像の原点を調節することによって、それぞれの輪郭線を整合させることができる。建物のエッジおよび正面深度の情報も、画像の原点を調節することによって、同様に一致させることができる。次いで、長い一連の画像にわたって、画像をモデル上に自動的に重ねるために、画像の調節した原点を用いることができる。
【選択図】図７

Description

従来技術

[0001] 多くの場合、車両の正確な位置は、汎地球測位システム（ＧＰＳ）受信機および慣性測定ユニット（ＩＭＵ）の組み合わせを用いると、判定することができる。このような位置検出システムを用いて車両から取り込まれた画像は、ＧＰＳおよびＩＭＵによって供給される測位測定値を用いて、ある場所に位置合わせすることができる。

[0002] しかしながら、都市渓谷(urban canyon)における信号の歪み、機械的許容度、磨耗(wear)等によって、１つ以上の画像センサによって報告される場所が、センサの実際の位置とは異なってしまい、しかもそれを予測できないという場合がある。

[0003] このような不一致の一例を図１に示す。図１は、先行技術による、建物画像データー（例えば、写真データー）５０を同じ建物の既存の三次元（３Ｄ）モデル５２と整合させる試みの結果を示す。見て分かるように、画像ソース位置の３Ｄモデルの地理的基準に対する位置合わせ精度の欠如のために、画像５０とモデル５２との間で位置ずれが生じている。

[0004] 本システムおよび方法は、画像および高分解能走査の組み合わせを用い、画像と建物モデルとの間に最良の一致が得られるまで、系統的に画像データーの原点を調節することによって、街路レベルの画像を３Ｄ建物モデルに整合させる。１組の画像に対して原点の調節（例えば、カメラ位置）を行うことによって、これらを満足のいくように整合させることができる。街路の対向する両側で画像を選択すると、更に高い精度を得ることができ、整合プロセスのためにデーターの多様性を高めることができる。

[0005] 画像は、建物の３Ｄモデルと整合されるが、この３Ｄモデルは、航空機搭載レーザ測距（ＬＩＤＡＲ：airborne laser ranging）のような他の技法を用いて発生することができる。街路レベル（即ち、地上よりも上２０フィート未満）の画像は、建物の特徴識別のために、街路レベルＬＩＤＡＲデーターによって補足することができる。

[0006] 画像および街路レベルＬＩＤＡＲを処理して、建物のエッジおよび輪郭線(skyline)を抽出し、次いでこれらを３Ｄモデルに対して投影する。抽出した画像エッジと輪郭線との間の距離、街路レベルのエッジおよび正面深度(facade depth)、ならびに３Ｄモデルの対応する特徴に基づいて、コスト、または性能指数を求める。次いで、カメラ位置を、その計算された位置を中心にして繰り返し変位させて、コストを計算し直す。次いで、抽出した特徴とモデル化した特徴との間における最良の一致に対応する最低のコストを選択し、対応するカメラ位置を格納することができる。このプロセスは、対向する両側、例えば、街路の両側からの画像を含む一連の画像に沿って画像を組み込むことができる。ソース位置を変位させていくと、考慮した画像全てに対する全体的コストが最も低くなるときに、カメラに対して一層精度の高い絶対位置を表す。図２は、画像５４および３Ｄモデル５６の整合を、この技法の結果として示す。

図１は、画像およびモデルの整合についての正しくない原点位置情報の結果の先行技術の図である。 図２は、高精度の原点情報の結果としての画像およびモデル・データーの整合の図である。 図３は、画像位置合わせに用いるのに相応しい汎用計算機のブロック図である。 図４は、画像の連続における一点での輪郭線の識別を示すブロック図である。 図５は、画像の連続における別の点での輪郭線の識別を示すブロック図である。 図６は、街路レベル画像における輪郭線識別の図である。 図７は、輪郭線データーを用いた原点位置調節を示すブロック図である。 図８は、街路レベル画像における輪郭線の一致の図である。 図９は、ＬＩＤＡＲ正面および建物エッジ識別を示すブロック図である。 図１０は、画像位置合わせのための画像原点調節方法のフロー・チャートである。

[0017] 以下の本文は、多数の異なる実施形態の詳細な説明を明記するが、この記載の法的範囲は、本特許の終端に明記される特許請求の範囲の文言によって定義されることは言うまでもない。詳細な説明は、単なる例示と解釈すべきであり、あらゆる可能な実施形態を記載することは、不可能ではないにしても、現実的ではないので、あらゆる可能な実施形態を記載するのではない。多数の代替実施形態も、現在の技術または本特許の出願日以降に開発された技術のいずれを用いても、実現することができ、これらも特許請求の範囲に該当するものとする。

[0018] また、「本明細書において用いる場合、「 」という用語は．．．を意味することを定める」という文章または同様の文章を用いて本特許において用語が明示的に定められていないのであれば、その用語の意味を、その平素の意味または通常の意味を超えて、明示的にもまたは暗示的にも限定する意図はなく、このような用語は、本特許のいずれの章において作成されたいずれの言説（特許請求の範囲の文言以外）に基づいても、その範囲を限定するように解釈してはならないことは言うまでもない。本特許の最後にある特許請求の範囲において列挙されているいずれの用語も、本特許において１つの意味で一貫性をもって言及されている場合については、読者を混乱させないことのみを目的とした明確化のためにそれを行ったのであり、このような請求項の用語が、その１つの意味に、暗示等によって限定されることを意図するのではない。最後に、請求項の要素が、「手段」という用語および機能を明記することによって定義され、何の構造の明言もない場合を除いて、いずれの請求項の要素も、３５Ｕ．Ｓ．Ｃ．§１１２、第６パラグラフの適用に基づいて、解釈されることを意図していない。

[0019] 本発明の機能の多く、および本発明の原理の多くは、ソフトウェア・プログラムまたは命令および特定用途ＩＣのような集積回路（ＩＣ）によって最良に実現される。尚、当業者は、例えば、得られる時間、現在の技術、および経済的な考慮事項が動機となって行われ得る多大な努力および多くの設計選択にもかかわらず、本明細書に開示されている概念および原理によって導かれれば、このようなソフトウェア命令およびプログラムならびにＩＣを最小限の実験で容易に作成することができるようになることが予期される。したがって、簡潔さのため、そして本発明による原理および概念を曖昧にするあらゆる危険性を極力少なくするために、このようなソフトウェアおよびＩＣのこれ以上の解説は、行うにしても、好ましい実施形態の原理および概念に関して必須なことに限定することとする。

[0020] 図３を参照すると、特許請求する方法および装置を実現するシステム例は、コンピューター１１０の形態をなす汎用計算機を含む。破線の外郭−の中に示すコンポーネントは、技術的にコンピューター１１０の部分ではないが、図３の実施形態例を示すために用いられている。コンピューター１１０のコンポーネントは、限定ではなく、プロセッサ１２０、システム・メモリー１３０、ノースブリッジ・チップとしても知られているメモリー／グラフィクス・インターフェース１２１、およびサウスブリッジ・チップとしても知られているＩ／Ｏインターフェース１２２を含むことができる。システム・メモリー１３０およびグラフィクス・プロセッサ１９０を、メモリー／グラフィクス・インターフェース１２１に結合することができる。モニタ１９１または他のグラフィック出力デバイスをグラフィクス・プロセッサ１９０に結合することができる。

[0021] 一連のシステム・バスが、種々のシステム・コンポーネントを結合することができる。これらのシステム・コンポーネントには、プロセッサ１２０と、メモリー／グラフィクス・インターフェース１２１と、Ｉ／Ｏインターフェース１２２との間にある高速システム・バス１２３、メモリー／グラフィクス・インターフェース１２１とシステム・メモリー１３０との間にあるフロント側バス１２４、およびメモリー／グラフィクス・インターフェース１２１とグラフィクス・プロセッサ１９０との間にある高度グラフィクス処理（ＡＧＰ）バス１２５を含む。システム・バス１２３は、一例としてそして限定ではなく、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ）バス、及び改良ＩＳＡ（ＥＩＳＡ）バスを含むようなアーキテクチャを含む、数種類のバス構造のいずれでもよい。システム・アーキテクチャが発展するに連れて、他のバス・アーキテクチャやチップ・セットも用いることができるが、一般には次のパターンに従うことが多い。例えば、Intel社やAMD社のような会社がIntel Hub Architecture（ＩＨＡ）およびHypertransport（商標）アーキテクチャをそれぞれサポートする。

[0022] コンピューター１１０は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、コンピューター１１０によってアクセスすることができる入手可能な任意の媒体とすることができ、揮発性および不揮発性双方の媒体、ならびにリムーバブルおよび非リムーバブル媒体を含む。一例としてそして限定ではなく、コンピューター読み取り可能媒体は、コンピューター記憶媒体および通信媒体を含む。コンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、またはその他のデーターというような情報の格納のために任意の方法または技術で実現された、揮発性および不揮発性双方、リムーバブルおよび非リムーバブル媒体を含む。コンピューター記憶媒体は、限定ではなく、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたはその他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）またはその他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ、またはその他の磁気記憶デバイス、あるいは所望の情報を格納するために用いることができ、そしてコンピューター１１０によってアクセスすることができる任意の他の媒体を含む。

[0023] システム・メモリー１３０は、リード・オンリ・メモリー（ＲＯＭ）１３１およびランダム・アクセス・メモリー（ＲＡＭ）１３２のような、揮発性および／または不揮発性メモリーの形態としたコンピューター記憶媒体を含む。システムＲＯＭ１３１は、識別および製造情報のような永続的システム・データー１４３を収容することができる。実施形態によっては、基本入力／出力システム（ＢＩＯＳ）もシステムＲＯＭ１３１に格納できる場合もある。ＲＡＭ１３２は、通例、プロセッサ１２０に直ちにアクセス可能な、および／または現在プロセッサ１２０によって動作させられているデーターおよび／またはプログラム・モジュールを収容する。一例としてそして限定ではなく、図３は、オペレーティング・システム１３４、アプリケーション・プログラム１３５、他のプログラム・モジュール１３６、およびプログラム・データー１３７を示す。

[0024] Ｉ／Ｏインターフェース１２２は、システム・バス１２３を複数の他のバス１２６、１２７、および１２８に結合することができる。これらのバス１２６、１２７、および１２８は、種々の内部および外部デバイスをコンピューター１１０に結合する。シリアル・ペリフェラル・インターフェース（ＳＰＩ）バス１２６は、基本入力／出力システム（ＢＩＯＳ）メモリー１３３に接続することができる。ＢＩＯＳメモリー１３３は、起動中のように、コンピューター１１０内部のエレメント間で情報を転送する際に役立つ基本的なルーチンを収容する。

[0025] スーパー入力／出力チップ１６０を用いて、複数の「旧来の」周辺機器に接続することもできる。一例として、フロッピ・ディスク１５２、キーボード／マウス１６２、およびプリンター１９６等がある。スーパーＩ／Ｏチップ１６０は、実施形態によっては、ピン数が少ない（ＬＰＣ）バスのようなバス１２７によって、Ｉ／Ｏインターフェース１２２に接続することもできる。スーパーＩ／Ｏチップ１６０の種々の実施形態は、商業市場において広く入手可能である。

[0026] 一実施形態では、バス１２８は周辺素子相互接続（ＰＣＩ）バスまたはその変形とすることができ、更に高速の周辺機器をＩ／Ｏインターフェース１２２に接続するために用いることができる。また、ＰＣＩバスはメザニン・バス(Mezzanine bus)としても知られていることもある。ＰＣＩバスの変形には、周辺素子相互接続−表現（ＰＣＩ−Ｅ：Peripheral Component Interconnect-Express）および周辺素子相互接続−拡張（ＰＣＩ−Ｘ：Peripheral Component Interconnect-Extended）バスが含まれる。前者はシリアル・インターフェースを有し、後者は下位互換性のあるパラレル・インターフェースである。他の実施形態では、バス１２８は、シリアルＡＴＡバス（ＳＡＴＡ）またはパラレルＡＴＡ（ＰＡＴＡ）の形態とした、高度技術装着（ＡＴＡ：advanced technology attachment）バスとしてもよい。

[0027] また、コンピューター１１０は、他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピューター記憶媒体も含むことができる。一例としてに過ぎないが、図３は、非リムーバブル、不揮発性磁気媒体から読み取りを行い、不揮発性磁気媒体に書き込みを行うハード・ディスク・ドライブ１４０を示す。

[0028] ユニバーサル・シリアル・バス（ＵＳＢ）メモリー１５３、ファイアワイヤ（ＩＥＥＥ１３９４）、またはＣＤ／ＤＶＤドライブ１５６のようなリムーバブル媒体は、直接的にまたはインターフェース１５０を介してＰＣＩバス１２８に接続することができる。記憶媒体１５４は、インターフェース１５０を介して結合することができる。この計算環境例において用いることができる他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピューター記憶媒体には、限定ではなく、磁気テープ・カセット、フラッシュ・メモリー・カード、ディジタル・バーサタイル・ディスク、ディジタル・ビデオ・テープ、ソリッド・ステートＲＡＭ、ソリッド・ステートＲＯＭなどが含まれる。

[0029] 先に論じたドライブおよびこれらと関連したコンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、およびその他のデーターの格納をコンピューター１１０のために提供する。図３において、例えば、ハード・ディスク・ドライブ１４０は、オペレーティング・システム１４４、アプリケーション・プログラム１４５、他のプログラム・モジュール１４６、およびプログラム・データー１４７を格納するように示されている。尚、これらのコンポーネントは、オペレーティング・システム１３４、アプリケーション・プログラム１４５、他のプログラム・モジュール１３６、およびプログラム・データー１３７と同一であっても、または異なっていても可能であることを記しておく。オペレーティング・システム１４４、アプリケーション・プログラム１４５、他のプログラム・モジュール１４６、およびプログラム・データー１４７は、ここでは、これらが異なるコピーであることを少なくとも図示するために、異なる番号が与えられている。ユーザは、コマンドおよび情報をコンピューター２０に、マウス／キーボード１６２またはその他の入力デバイスの組み合わせというような入力デバイスを通じて入力することができる。他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲーム・パッド、衛星ディッシュ、スキャナーなどを含むことができる。これらおよびその他の入力デバイスは、ＳＰＩ１２６、ＬＰＣ１２７、またはＰＣＩ１２８というようなＩ／Ｏインターフェース・バスの内の１つを通じてプロセッサ１２０に接続されることが多いが、他のバスを用いてもよい。実施形態によっては、他のデバイスをパラレル・ポート、赤外線インターフェース、ゲーム・ポート等（図示せず）に、スーパーＩ／Ｏチップ１６０を通じて結合することもできる。

[0030] コンピューター１１０は、リモート・コンピューター１８０のような１つ以上のリモート・コンピューターに、ネットワーク・インターフェース・コントローラ（ＮＩＣ）１７０を通じた論理接続を用いて、ネットワーク接続環境において動作することができる。リモート・コンピューター１８０は、パーソナル・コンピューター、サーバー、ルーター、ネットワークＰＣ、ピア・デバイス、またはその他の一般的なネットワーク・ノードとすることができ、通例、コンピューター１１０に関して先に説明したエレメントの多くまたは全部を含む。ＮＩＣ１７０と図３に示すリモート・コンピューター１８０との間の論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、または双方を含むことができるが、他のネットワークを含んでもよい。このようなネットワーク接続環境は、事務所、企業規模のコンピューター・ネットワーク、イントラネット、およびインターネットでは極普通である。リモート・コンピューター１８０は、コンピューター１１０との対話セッションをサポートするウェブ・サーバーも表すことができる。

[0031] 実施形態によっては、ブロードバンド接続が利用できないまたは用いられていないときにネットワーク・インターフェースがモデム（図示せず）を用いるとよい。尚、図示したネットワーク接続は一例であり、コンピューター間において通信を確率する他の手段を用いてもよいことは認められよう。

[0032] 図４から図８は、カメラ位置の精度を地理に関して高めるために同じ場面の３Ｄモデルについて画像データーをどのように解釈することができるかを示す。この技法を用いる一実施形態では、精密スキャナー、例えば、光検出および測距（ＬＩＤＡＲ）機器を航空機に実装(airplane mounted)し、都市エリアのような、地理的領域についての幾何学データーを取り込むために用いることができる。このＬＩＤＡＲデーターから、建物を含む領域の三次元モデルを、１０センチメートル程度の精度で発生することができる。このような地理的モデルは貴重なリソースを提供するが、場面に命を吹き込むには、色およびテクスチャ・データーを３Ｄモデルにつけ加える必要がある場合もある。街路レベルの写真は、所望の現実性を与えることができるが、図１に示すように、写真データーが３Ｄモデルと適正に整合されていない場合、理解できない混乱が生ずる虞れがある。街路に基づくＬＩＤＡＲデーターは、１センチメートル以内に写真の物体（例えば、建物）に関する写真データーのソース位置をおくことができるが、３Ｄモデルが用いるような、地理的座標に関するカメラの位置は、１メートル以上もずれることもあり得る。高さが１００メートル台の建物の３Ｄモデル上に写真データーを投影すると、このソース位置の低精度から、図１の不一致が簡単に生ずる可能性がある。

[0033] カメラの地理的位置の低精度に取り組むために、画像および街路レベルＬＩＤＡＲデーターが同じ場面の３Ｄモデルに最良に一致する(fit)まで、数学的にカメラ位置座標を変化させるために、一層精度が高い航空機搭載および街路レベルＬＩＤＡＲデーターを用いることができる。一旦一連の画像に沿った２点、特に一連の終端付近の２点が正確に突き止められたなら、その一連の画像に沿った他の間隔からの画像は、ＩＭＵデーターを用いて仲介点の位置を精度高く突き止めることができる。

[0034] 図４は、連続画像(image run)における１点での輪郭線識別を示すブロック図である。街路４０２ならびに代表的な建物４０４、４０６、および４０８が示されており、典型的な街路環境を表す。道路４１０は、当該道路４１０に沿って画像データーを取り込むために用いられる走路を示す。画像は、周期的な間隔で、道路に沿って取り込むことができる。代表的な第１の位置４１２が道路４１０の開始点近くにあり、第１の位置４１２の観点からの建物の代表的な輪郭線４１６、４１８、および４２０を示す。

[0035] 一実施形態では、当技術分野では周知の最適路アルゴリズムに基づく輪郭線検出アルゴリズムを用いる。このアルゴリズムは、エッジ、勾配の強さおよび方向、ならびに空分類エッジ(sky classification edges)および消失点情報に依存する。例えば、エッジと消失点との組み合わせでは、検討対象の画素を消失点に接続する線上において、空と分類された画素をある割合だけ用いることができる。別の輪郭線検出属性は、既存の建物モデルに基づいて先験的に推測された輪郭線を用いることができる。即ち、画像データーにおいて輪郭線を判定するのに役立てるために、３Ｄモデル自体を用いることができる。

[0036] 建物４０４、４０６、４０８についてそれぞれ抽出された輪郭線データー４１６、４１８、および４２０は、後に３Ｄモデルとの比較の一部としてソース位置を判定する際に用いることができる。

[0037] 第１および第２の位置４１２および４１４をそれぞれ立方体として示すことによって、道路４１０におけるその地点での画像のソースの正確な位置が、ＧＰＳ受信およびＩＭＵ精度に対する環境の特質に応じて精度が高くも低くもなり得る、三次元空間における推定値であることを示す。

[0038] 図５は、図４に示した連続画像のような、連続画像における別の点での輪郭線識別を示すブロック図である。先と同様、街路５０２および建物５０４、５０６、および５０８が示されている。道路５１０が、この街路に沿った連続画像の進展を示し、道路５１０に沿って周期的に撮影した画像は、開始点付近の代表的な第１の位置５１２、および道路５１０の終点付近の代表的な第２の位置５１４を含む。実施形態によっては、最も一致するカメラの実際の位置を計算するときに、連続に沿った別の画像を用いるとよい場合もある。

[0039] 図示のように、輪郭線の検出は、第２の位置５１４の街路レベルの観点からのそれぞれの建物５０４、５０６、５０８各々の輪郭線５１６、５１８、５２０を判定するために用いることができる。

[0040] 次に、この情報を３Ｄモデル・データーと組み合わせて、元の街路レベル画像を得たカメラの地理的位置に対する補正係数を決定することができる。

[0041] 図６は、様々な建物およびそれらに関連する輪郭線を示す街路レベルの画像６０２である。検出された輪郭線６０４は白い線で示されている。黒い線６０６は、カメラが実際にその報告された位置にあった場合の３Ｄモデルの投影輪郭線を表す。

[0042] 図７は、代表的な建物７０２を、検出された輪郭線エッジ７０４と共に示す。画像ソースを突き止めることができる範囲が、立方体７０６によって表されている。立方体７０６は、ＧＰＳおよびＩＭＵ機器によって記録されたカメラの位置を中心にして配置するとよい。

[0043] 図７に示すように、３Ｄモデル・データーに基づいて投影された輪郭線を、検出された画像の輪郭線と比較するとよい。例えば、第１の投影７０８は、立方体７０６の左上角から位置付ける(locate)ことができ、第２の投影７１０は、カメラ位置を上中央にして行うことができ、第３の投影７１２は、立体の右下角から行うことができる。動作において、測定した位置を中心とする３×３×３行列上においてカメラの位置検出(location)を行うことができる。抽出した輪郭線と投影した輪郭線との間の距離は、画像座標のｘおよびｙ次元における絶対距離の和として計算することができる（abs(x1-x2)+abs(y1-y2)）。実施形態によっては、誤って検出された輪郭線の部分を考慮するために、１００画素を超える距離を考慮しない方がよい場合もある。検出された輪郭線と投影された輪郭線との間における最も近い一致と関連した投影位置を選択して格納することができる。この例では、投影７１０が最良の一致を表す。ＩＭＵデーターは所与の道路の行程に沿って非常に精度が高いので、この所与の道路に沿ったデーターを用いた位置検出動作の実行を用いれば、１回の計算において道路全体の方位を決め直すことができる。

[0044] 図８は、投影輪郭線８０４を発生するための、異なるカメラ位置を表す複数の投影された輪郭線８０４を示す街路レベルの図８０２である。

[0045] 図９は、画像マッチング(matching)のために輪郭線データーを補足するための街路レベルＬＩＤＡＲデーターの使用を示す。建物９０２は、カメラ位置９０４からの画像データーに取り込むことができる。エッジ・データー９０６および９０８、ならびに正面深度９１０は、画像データーを取り込むのと同時に記録することができる。先の検出された輪郭線および投影された輪郭線と同様に、エッジ９１２、９１４および正面深度９１６の情報は、建物９０２の３Ｄモデルから抽出された投影エッジおよび正面情報と比較することができる。ＬＩＤＡＲ深度データーは、検出輪郭線情報よりもロバストであることができ、実際のカメラ位置に関する全てのソース情報を組み合わせるときに、より大きな重みを与えることができる。

[0046] 所与の連続セグメントについてのＬＩＤＡＲ深度の計算では、最初に１つ以上の近隣の建物の３Ｄモデルを取得すればよい。建物毎に、その連続セグメント(run segment)に面しており大きな面積および幅を有する建物の正面について考慮することができる。各正面（ローカル座標系における）系のエッジの開始位置および終端位置を、３Ｄ建物モデルに基づいて計算する。これらのエッジに対応する開始および停止トリガ・イベント、ならびに連続セグメントへの正面エッジの投影を計算する。この情報に基づいて、連続セグメントからの正面深度を求めることができる。

[0047] 開始および停止トリガ・イベントを、ＬＩＤＡＲ深度検出モジュールに受け渡す。発見した支配的平面の深度を受け戻す。対象となる正面に最も近い支配的平面（重心の意味で）を選択し、差異(disparity)を計算する。

[0048] ＬＩＤＡＲに基づく深度と既存の建物のモデル正面に基づく深度との差が所与の許容度以内である場合、これを考慮に入れる。これを建物正面−ＬＩＤＡＲ深度に基づく差異(building facade-LIDAR depth based disparity)と呼ぶ。連続セグメントを取り囲む広い側の建物の正面全体に対する全ての建物正面−ＬＩＤＡＲ深度に基づく差異の平均が、ＬＩＤＡＲ深度基準の性能指数となる。

[0049] また、ＩＤＡＲエッジの計算は、所与の連続セグメントの近傍にある建物の３Ｄ建物モデルを得ることによって開始することもできる。建物毎に、ローカル座標系において建物の幾何学的モデルを用いて、エッジを計算することができる。建物の開始および終端位置、ならびにこれらの建物に対応するトリガ・イベントを計算する。

[0050] これらの開始および停止トリガ・イベントは、Ｌｉｄａｒユニット（左または右の舷側）と共に、個々にＬＩＤＡＲエッジ検出モジュールに受け渡される。また、ＬＩＤＡＲ深度画像における建物の側面も与えることができる。ＬＩＤＡＲエッジ検出モジュールは、その建物のエッジを取り囲む支配的平面を検出し、建物の側面に応じてエッジを発見する。

[0051] ＬＩＤＡＲ検出エッジの重心を逆に建物の角から見た画像(building corner-looking image)に投影する。同様に、既存のモデルからの建物エッジに対応する点（カメラと同じ高さを用いる。ローカル座標系における建物の角の位置に対応する）を、逆に投影する。これらの投影の列数の差（画素単位）を、エッジ基準コスト(edge based cost)または性能指数について検討する。これは、画像フレームが完全に垂直であるという仮定に基づく近似コストである。これは、代表的な位置測定モジュールにおいて通例用いられる分解能には、十分に納得がいくものである。

[0052] 連続セグメントを取り囲む全ての建物についてのこれらの差の平均は、ＬＩＤＡＲエッジ基準コストまたは性能指数として考慮される（画素単位）。

[0053] 図１０は、画像データーのソース位置について変位値を決定する方法１０００を示す。ブロック１００２において、ソース位置の第１変位値をロードすることができる。ブロック１００４において、原初画像から抽出した輪郭線と対応する３Ｄモデルから計算した輪郭線との間における輪郭線変位に対する性能指数を求める。検査する原初画像の変位毎に、輪郭線の性能指数の計算に、複数の原初画像を用いることができる。

[0054] ブロック１００６において、ＬＩＤＡＲエッジおよび正面データーに対する性能指数を、ＬＩＤＡＲデーターおよび３Ｄモデル・データーを比較することによって計算することができる。

[0055] ブロック１００８において、輪郭線およびＬＩＤＡＲ性能指数を計算することができる。一実施形態では、性能指数を単純に加算する。別の実施形態では、１つの性能指数、例えば、ＬＩＤＡＲデーターと関連したデーターの方が精度が高いと見なされた場合、これにより大きな重み付けを行うことができる。

[0056] ブロック１０１０において、ブロック１００８の結果を、以前に格納されている最小値があるのであれば、それと比較することができる。新たな性能指数の値が以前の最小値よりも低い場合、実行は「ｙｅｓ」分岐を辿ってブロック１０１２に進むことができる。新たな性能指数が現在の最小値以上である場合、実行は「ｎｏ」分岐を辿り、他にも検査すべき変位値がある場合、実行はブロック１００２に進む。

[0057] ブロック１０１０から「ｙｅｓ」分岐に進む場合、ブロック１０１２において、性能指数の新たな低い値を格納し、更にこの新たな低い値が得られた変位値も格納する。他にも検査する必要がある変位値がある場合、実行はステップ１００２に進むことができる。

[0058] 全ての変位値を検査し終えたなら、最も低い性能指数と関連した変位値を用いて、連続データーを訂正することができる。

[0059] モデル化した建物の正面に実際の画像を用いることができるため、３Ｄ画像および位置測定アプリケーションに、新たなレベルの現実性が与えられる。前述した技法を使用することにより、大量の位置測定データーに対する画像とモデルとの一致というともすると膨大な作業となるものの自動化が可能になる。その結果、無頓着なユーザ、業務用アプリケーション開発者、ゲーマーなどが大規模な地理モデリングの精度および現実性を楽しむことができる。

[0060] 以上の本文は、本発明の複数の異なる実施形態の詳細な説明を明記したが、本発明の範囲は、本特許の最後に明記した特許請求の範囲の文言によって定められることは言うまでもない。詳細な説明は、単なる例示と解釈すべきであり、本発明のあらゆる可能な実施形態について記載するのではない。何故なら、あらゆる可能な実施形態を記載することは、不可能ではないにしても、非現実的であるからである。現在の技術または本願の出願日よりも後に開発される技術のいずれかを用いて、複数の代替実施形態を実現することもできるが、これらも、本発明を定める特許請求の範囲に該当するものとする。

[0061] つまり、多くの変更および変形が、本明細書において記載し図示した技法および構造において、本発明の主旨や範囲から逸脱せずに可能である。したがって、本明細書に記載した方法および装置は単なる例示に過ぎず、本発明の範囲を限定するのではないことは言うまでもない。

Claims (20)

1. 位置データーの訂正方法であって、
   ソース位置を画像に割り当てるステップと、
   前記画像における建物（５０４）の建物（５０４）細部を判定するステップと、
   三次元走査から前記建物（５０４）細部に対応する建物（５０４）のモデルを抽出するステップと、
   前記建物（５０４）モデルからのモデル細部を、前記画像からの建物（５０４）細部に投影するステップと、
   前記建物（５０４）細部および前記モデル細部が制限値以内で一致するまで、前記ソース位置を調節するステップと、
   前記建物（５０４）細部および前記モデル細部が前記制限値以内で一致するまで前記ソース位置を調節することによって得られた調節後のソース位置を記録するステップと、
   を含む、方法。
2. 請求項１記載の方法であって、更に、
   前記画像を前記建物（５０４）モデルに適用するときに、前記調節後のソース位置を用いるステップを含む、方法。
3. 請求項１記載の方法において、前記画像における前記建物（５０４）細部を判定するステップは、
   前記ソース位置からの前記建物（５０４）の正面までの距離を測定するステップを含む、方法。
4. 請求項１記載の方法において、前記画像における前記建物（５０４）細部を判定するステップは、
   エッジおよび勾配の強さを評価するステップと、
   消失点と関連した線上における画素を評価するステップと、
   前記建物（５０４）モデルから前記建物（５０４）細部を推定するステップと、
   を含む、方法。
5. 請求項１記載の方法であって、更に、実行セグメントおよびこの実行セグメントの対向する両側から建物（４０４）に対応する複数の画像を選択するステップを含む、方法。
6. 請求項５記載の方法であって、更に、前記モデル細部の投影（７１０）時に、建物（５０４）の深度データーおよび建物（５０４）の輪郭線データー（４１６）を組み合わせるステップを含む、方法。
7. 請求項１記載の方法において、前記建物（５０４）細部を判定するステップは、写真の建物（５０４）の輪郭線（５１６）を判定するステップを含む、方法。
8. 請求項１記載の方法において、前記建物（５０４）細部を判定するステップは、写真の建物（５０４）のエッジ（９１２）を判定するステップを含む、方法。
9. 請求項１記載の方法において、前記建物（５０４）細部を判定するステップは、ＬＩＤＡＲ輪郭線（５１６）を判定するステップを含む、方法。
10. 請求項１記載の方法において、前記建物（５０４）細部を判定するステップは、ＬＩＤＡＲ建物（５０４）のエッジ（９１２）を判定するステップを含む、方法。
11. 請求項１記載の方法において、前記ソース位置を調節するステップは、
    複数の画像を用いて、複数のモデル細部を対応する複数の建物（５０４）細部に各画像から投影するために、開始点ソース位置を開始点三次元範囲上で調節するステップを含む、方法。
12. 画像データーを建物（５０４）のモデルに整合させる方法であって、
    街路（４０２）−レベルの建物（５０４）の情報を取り込むステップと、
    ソース位置を前記街路（４０２）−レベルの建物（５０４）の情報に割り当てるステップと、
    建物（５０４）の輪郭線（５１６）、建物（５０４）のエッジ（９１２）、および建物（５０４）の正面深度（９１０）を、前記街路（４０２）−レベルの建物（５０４）の情報において判定するステップと、
    前記街路（４０２）−レベルの建物（５０４）の情報と関連した位置に対応するモデル情報を、空中データーから抽出するステップと、
    性能指数関数を、前記街路（４０２）−レベルの建物（５０４）の情報および前記空中データーの対応するエレメントに適用するステップと、
    前記性能指数関数の出力の分析に基づいて、変位係数を計算するステップと、
    前記変位係数を前記ソース位置に適用することによって、前記ソース位置を変更するステップと、
    前記変位係数によって修正されたソース位置を用いて、前記画像データーを前記建物（５０４）のモデルに整合させるステップと、
    を含む、方法。
13. 請求項１２記載の方法において、前記性能指数関数を適用するステップは、街路（４０２）−レベルの輪郭線（５１６）および空中データーの輪郭線（５１６）を分析するステップを含む、方法。
14. 請求項１２記載の方法において、前記性能指数関数を適用するステップは、街路（４０２）−レベルの正面と、空中データーの正面とを分析するステップを含む、方法。
15. 請求項１２記載の方法において、前記性能指数関数を適用するステップは、
    街路（４０２）−レベルの建物（５０４）のエッジ（９１２）と、空中データーの建物（５０４）のエッジ（９１２）とを分析するステップを含む、方法。
16. コンピューター読み取り可能記憶媒体（１４０）であって、
    街路（４０２）−場面の画像データーを含む街路（４０２）−レベルの建物（５０４）の情報を取り込むステップと、
    ソース位置を前記街路（４０２）−レベルの建物（５０４）の情報に割り当てるステップと、
    建物（５０４）の輪郭線（５１６）、建物（５０４）のエッジ（９１２）、および建物（５０４）の正面深度（９１０）を、前記街路（４０２）−レベルの建物（５０４）の情報において判定するステップと、
    前記街路（４０２）−レベルの建物（５０４）情報と関連した位置に対応する空中データーから、建物（５０４）のモデルを抽出するステップと、
    性能指数関数を、前記街路（４０２）−レベルの建物（５０４）の情報および前記空中データーに基づく前記建物（５０４）のモデルの対応するエレメントに適用するステップと、
    前記性能指数関数の出力の分析に基づいて、変位係数を決定するステップと、
    前記変位係数を前記ソース位置に適用することによって、前記ソース位置を変更するステップと、
    前記変位係数によって変更したソース位置を用いて、前記街路（４０２）−場面の画像データーを前記建物（５０４）のモデルに整合させるステップと、
    を含む方法を実行するためのコンピューター実行可能命令を有する、コンピューター読み取り可能記憶媒体（１４０）。
17. 請求項１６記載のコンピューター読み取り可能記憶媒体において、
    前記性能指数関数を適用するステップは、街路（４０２）−レベルの建物（５０４）の輪郭線（５１６）、エッジ（９１２）、および正面情報を、対応する空中データーの建物（５０４）の輪郭線（５１６）、エッジ（９１２）、および正面情報と比較するステップを含む、コンピューター読み取り可能記憶媒体。
18. 請求項１６記載のコンピューター読み取り可能記憶媒体において、街路（４０２）−レベルの建物（５０４）の情報を取り込むステップは、街路（４０２）の両側についての街路（４０２）−レベルの建物（５０４）の情報を取り込むステップを含む、コンピューター読み取り可能記憶媒体。
19. 請求項１６記載のコンピューター読み取り可能記憶媒体において、街路（４０２）−レベルの建物（５０４）の情報を取り込むステップは、二次元写真および三次元レーザ測距（ＬＩＤＡＲ）データーの内少なくとも１つを取り込むステップを含む、コンピューター読み取り可能記憶媒体。
20. 請求項１６記載のコンピューター読み取り可能記憶媒体において、性能指数関数を、前記街路（４０２）−レベルの建物（５０４）の情報および前記空中データーに基づく前記建物（５０４）のモデルの対応するエレメントに適用するステップは、性能指数関数を、街路（４０２）−場面に沿った複数の位置について、前記街路（４０２）−レベルの建物（５０４）の情報および前記空中データーに基づく前記建物（５０４）のモデルの対応するエレメントに適用し、前記複数の位置の各々について、それぞれの性能指数を線形に組み合わせるステップを含む、ンピュータ読み取り可能記憶媒体。

Images