JP2022039187A - 位置姿勢算出方法および位置姿勢算出プログラム - Google Patents

Abstract

【課題】撮影位置と姿勢を高速にかつ高精度に求めること。【解決手段】画像特徴比較処理（Ｓ１）において、処理対象画像１００のＧＰＳ位置『◎』１２０から所定距離以内に「画像の撮影位置」を持つ、高架下の３Ｄ環境マップＡ１１１と、高架上の３Ｄ環境マップＢ１１２とを３Ｄ環境マップＤＢ１１０から選定する。２つのマップ内でそれぞれ最も撮影位置が近い「作成画像情報」（『○』１２１および『○』１２２における作成画像情報）を特定する。特定された２つのマップの作成画像情報の画像内の画像特徴出現情報と、算出済の処理対象画像１００の画像特徴（ヒストグラムなど）を比較する。３Ｄ環境マップ取得処理（Ｓ２）において、比較結果に基づき３Ｄ環境マップＤＢ１１０から３Ｄ環境マップ（類似度が高いと判断された「３Ｄ環境マップＡ」１１１）を特定（取得）し、位置姿勢推定処理（Ｓ３）において、位置姿勢を推定する。【選択図】図１

Description

本発明は、画像の撮影位置と姿勢を算出する位置姿勢算出方法および位置姿勢算出プログラムに関する。

従来、移動体が移動中に取得した周辺状況に関するデータを入力とし、移動体の走行経路と周辺環境地図を同時に作成するＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）という技術がある。また、ＳＬＡＭ技術の中でも、移動体が撮影した映像などの動画像を入力として、移動体の走行時のカメラ位置・姿勢を推定する技術は、Ｖｉｓｕａｌ－ＳＬＡＭ（以後、「Ｖ－ＳＬＡＭ」という）と呼ばれる。

Ｖ－ＳＬＡＭは、車載カメラで撮影した動画像を入力とし、撮影した動画像に映る被写体の変化を用いて、自車走行経路（自車位置・姿勢）と周辺環境地図（周辺の被写体の画像特徴点群の３次元位置マップ、以下、「３Ｄ環境マップ」という）を推定作成することができる技術であり、動画像から自車位置と姿勢を算出し、推定することができる。

近年、コネクテッドカーの普及などに伴い、車両などの移動体の車載機・ドライブレコーダーのデータ（映像）をセンターに集めて分析することで、車両を周辺地物状況を把握するセンサとして活用するサービスが検討されている。たとえば、落下物の場所を特定して利用するイベント発生検知サービスや、地図更新のため、地物の設置位置変化を把握する地図変化検知サービスなどがある。

関連する先行技術としては、Ｖ－ＳＬＡＭを用いた高精度な位置・姿勢推定をおこなう技術がある。

特開２０２０－６７４３９号公報

しかしながら、周辺変化に迅速に対応して、これらのサービスを実現するには、車載データ取得時の自車位置・姿勢、すなわち、車載画像を撮影したカメラ位置・姿勢あるいは映像の撮影位置・姿勢を実座標系で、できるだけ高速にかつ高精度に推定する必要がある。

一つの側面では、本発明は、撮影位置と姿勢を高速にかつ高精度に求めることを目的とする。

一つの実施態様では、情報処理装置が、複数の環境マップに含まれる画像情報の画像特徴と、移動体または当該移動体の撮影装置から取得した画像情報の画像特徴との比較をおこない、前記比較の結果に基づいて、前記複数の環境マップの中から、前記移動体または当該移動体の撮影装置の位置姿勢の算出に用いる算出用環境マップを特定する位置姿勢算出方法が提供される。

本発明の一側面によれば、撮影位置と姿勢を高速にかつ高精度に求めることができる。

図１は、本実施の形態にかかる位置姿勢算出方法および位置姿勢算出プログラムの概要の一例を示す説明図である。 図２は、実施の形態１にかかる位置姿勢算出方法を実現するシステム構成の一例を示す説明図である。 図３は、サーバのハードウェア構成の一例を示すブロック図である。 図４は、車載機のハードウェア構成の一例を示すブロック図である。 図５は、実施の形態１にかかる３Ｄ環境マップの構成の一例を示す説明図である。 図６は、実施の形態１にかかる環境マップ作成部およびマップ登録部の処理の一例を示すフローチャートである。 図７は、処理対象画像の画像特徴出現情報の内容の一例を示す説明図である。 図８は、画像特徴Ａの画像特徴出現情報の内容の一例を示す説明図である。 図９は、画像特徴Ｂの画像特徴出現情報の内容の一例を示す説明図である。 図１０は、実施の形態１にかかるマップ画像特徴比較部、マップ取得部および位置姿勢推定部の処理の一例を示すフローチャートである。 図１１は、実施の形態２にかかる位置姿勢算出方法を実現するシステム構成の一例を示す説明図である。 図１２は、実施の形態２にかかる３Ｄ環境マップの構成の一例を示す説明図である。 図１３は、実施の形態２にかかる環境マップ作成部およびマップ展開登録部の処理の一例を示すフローチャートである。 図１４は、実施の形態２にかかるマップ画像特徴比較部および位置姿勢推定部の処理の一例を示すフローチャートである。

以下に図面を参照して、本発明にかかる位置姿勢算出方法および位置姿勢算出プログラムの実施の形態を詳細に説明する。

（位置姿勢算出方法および位置姿勢算出プログラムの概要）
周辺環境地図である３Ｄ環境マップは、画像特徴の３Ｄ位置群（３Ｄ画像特徴点群）からなり、任意の車載動画像（映像）に対し、マップのどの３Ｄマップ要素（３Ｄ画像特徴点）が画像のどこに写りこんでいるか、を解析して、どこから撮影した画像か、すなわち、動画像の撮影位置姿勢を推定（算出）する。

３Ｄ環境マップを用いた動画像の撮影位置姿勢を推定するには、一般的にＶ－ＳＬＡＭを用いることができる。Ｖ－ＳＬＡＭは、動画像を入力して、各画像の画像特徴点群を抽出し、各画像特徴点群の画像内の見え変化から画像特徴３Ｄ位置（３Ｄ画像特徴群のマップ）と同時に、各画像の撮影位置姿勢を推定する。さらに、動画像取得時のＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）情報（たとえばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ））を入力として用いることで、実座標系での撮影位置姿勢を高精度に推定することができる。

実座標系とは、世界座標系とも呼ばれ、世界における場所および方向を一意に表現可能な座標系であり、緯度・経度、標高、方位などが定義される。実座標系の定義方法は多種あるが、相互変換可能である。

また、撮影位置姿勢を推定するたびに毎回、３Ｄ環境マップを作成するのではなく、作成した３Ｄ環境マップを保存しておく。そして、同じ道路を走行した別の動画像の撮影位置姿勢を推定する際に、その作成保存済の３Ｄ環境マップを使うことで、撮影位置姿勢の推定処理を省力化し、利用する３Ｄ環境マップと同じ座標系（同じ精度の実座標系）で撮影位置姿勢を算出することができる。

このように、３Ｄ環境マップを整備しておけば、より高速かつ少ない計算量で位置姿勢推定（算出）を実行することができるため、広範囲にサービスを実施する際は、サービス範囲内の各道路の３Ｄ環境マップを蓄積管理することが望ましい。さらに、シーンによる映像変化に耐性のある３Ｄ環境マップを配備するためには、地物の見えが変わる道路の上り下りや、天候や昼夜などの時刻、街路樹変化の大きな季節などによって、同じ道路でも複数の３Ｄ環境マップを作成管理する場合が考えられ、より多くの３Ｄ環境マップを蓄積管理することが望ましい。

このため、作成管理した３Ｄ環境マップを使ってリアルタイムかつ低コストで撮影位置姿勢を推定するには、より迅速に大量の３Ｄ環境マップ群から利用するマップを特定する方法が必要である。

一般的に、従来の広範囲の地図群の蓄積データベースから、任意の走行に合致する地図を検索する方法として、地域メッシュを用いる方法がある。すなわち、配備地図群を地域メッシュごとに分け、地図を要する任意走行時の位置情報（緯度経度情報、撮影位置姿勢推定の場合は、推定対象の動画像に付随するＧＰＳ情報）から現在の地域メッシュを特定して、該地域メッシュに対応する地図群を取得する方法である。

地域メッシュとは、日本全国を緯度経度で分割した地図上の方眼区域のことである。国土情報のデジタル化、統計情報の管理区域として使うため、総務省が規定している（ＪＩＳＸ０４０）。緯度経度値から１つの地域メッシュ番号を計算特定することができる。

また別の一般的な、従来の広範囲の地図群の蓄積データベースから任意の走行に合致する地図を検索する方法として、道路ネットワーク情報などの全国道路の道路位置・接続情報（接続形状を含めた緯度経度情報）を用いる方法がある。すなわち、道路ネットワーク情報などの全国道路の道路位置・接続情報をあらかじめ用意しておき、配備地図群をそれぞれ道路ネットワーク情報の道路リンクのどれに関係しているのかを事前に対応づける。そして、地図を要する任意走行の位置情報（同、緯度経度情報）に関係する道路リンクを特定し、同じ道路リンクに対応づけた配備地図を取得する、という方法である。

道路ネットワークとは、全国の道路を交差点などの特徴（緯度経度値を持つノード）をつなぐ接続経路（リンク（道路リンク））として表したデータ情報である。道路ネットワークには、規制速度や、道路幅員、道路車線数、リンクの旅行速度（所要時間）など様々な情報を属性として保持する場合もある。

これら、地域メッシュを用いるあるいは道路ネットワークを用いるいずれの方法においても、緯度経度値を使って地図群と対応づけた何らかのグループ（地域メッシュ、道路リンク）を用意する。そして、地図を探索している地点の緯度経度値からグループを特定し、グループに属する地図を取得している。そのため、車載データを使った位置姿勢推定に用いる地図の選定でも、車載データと同時取得したＧＮＳＳ情報の緯度経度を使って、何らかのグループを介して、地図を選定することになる。

ここで、車載映像の位置姿勢推定において計算に使う３Ｄ環境マップを、車載映像と同時取得したＧＰＳ情報の緯度経度値を使って選定する場合に、以下の課題がある。たとえば、道路が上下に重なっている高架上道・下道のある場所には、高架上道の３Ｄ環境マップと高架下道の３Ｄ環境マップが存在するが、高架下道の画像を位置姿勢推定する際に、緯度経度値だけで３Ｄ環境マップを選定するため、高架上道のマップも含めて取得する可能性がある。すなわち、高架上道と高架下道の両方の３Ｄ環境マップを取得する可能性がある。

この結果、誤った高架上道の３Ｄ環境マップを用いて、高架下道の動画像の位置姿勢推定をおこなうことがある。したがって、見える風景が大きく異なる高架上道の３Ｄ環境マップに含まれる地物情報は高架下道の対象車両のデータと一致しないことから、位置姿勢推定が失敗する。そのため、他の３Ｄ環境マップに変更して位置姿勢推定を繰り返す必要がある。これにより、正しい高架下道の３Ｄ環境マップを取得して位置姿勢推定に成功するまで、不要なマップの実行コストがかかり、また、成功までに時間がかかることから、リアルタイムな位置姿勢推定ができない。

同様なことは、ＧＰＳ情報の緯度経度の位置誤差内に道路どうしの位置差が収まってしまう併走する道路や、脇道などでも発生する可能性がある。この場合も、やはり位置姿勢推定が失敗したり、位置姿勢推定に成功するまでに、不要なマップの実行コストがかかり、成功までに時間がかかることになる。

このように、緯度経度だけで３Ｄ環境マップを選定すると、誤った３Ｄ環境マップにより位置姿勢推定を試み、結果として位置姿勢推定処理に時間を要し、リアルタイムの位置姿勢推定ができない可能性がある。したがって、高架上下道などの緯度経度だけでは分別できない３Ｄ環境マップを正しく選定する必要がある。

図１は、本実施の形態にかかる位置姿勢算出方法および位置姿勢算出プログラムの概要の一例を示す説明図である。図１において、符号１００は、画像情報（たとえば、車載映像などの動画像や静止画像などを含む）の任意の画像（処理対象画像）である。また、符号１０１は高架下道路であり、符号１０２は高架上道路であり、それぞれ上空俯瞰図にて示している。この上空俯瞰図において、矢印は進行方向を示している。このように、高架下道路１０１と高架上道路１０２とは、緯度経度値においては重なっていることがわかる。

また、符号１１０は３Ｄ環境マップデータベース（ＤＢ）を示しており、３Ｄ環境マップＤＢ１１０には、３Ｄ環境マップＡ１１１、３Ｄ環境マップＢ１１２を含む複数の３Ｄ環境マップが保存されている。３Ｄ環境マップＡ１１１は高架下（画像特徴Ａ）のマップであり、この３Ｄ環境マップＡ１１１は上空俯瞰図における作成画像群の走行経路（点線の矢印１１１）で示すことができる。同様に、３Ｄ環境マップＢ１１２は高架上（画像特徴Ｂ）のマップであり、３Ｄ環境マップＢ１１２は上空俯瞰図における作成画像群の走行経路（実線の矢印１１２）で示すことができる。

また、上空俯瞰図における『◎』（二重丸印）１２０は、処理対象画像１００のＧＰＳ位置すなわち緯度経度値を示しており、これは、たとえば、位置姿勢推定をおこないたい車載映像が高架下道を走った車載映像だった場合に、当該車載映像の任意の画像の撮影位置を示している。また、上空俯瞰図の矢印１１１における『○』（丸印）１２１は、３Ｄ環境マップＡ１１１の作成時に用いた画像群で最も処理対象画像１００のＧＰＳ位置１２０に近い位置を示している。同様に、上空俯瞰図の矢印１１２における『○』（丸印）１２２は、３Ｄ環境マップＢ１１２の作成時に用いた画像群で最も処理対象画像１００のＧＰＳ位置１２０に近い位置を示している。

このような状況において、位置姿勢算出方法および位置姿勢算出プログラムは、画像特徴比較（Ｓ１）、３Ｄ環境マップ取得（Ｓ２）、位置姿勢推定（Ｓ３）の各処理を実行することによって、位置姿勢の算出をおこなうことができる。

『画像特徴比較』（Ｓ１）の処理においては、まず、処理対象画像１００のＧＰＳ位置『◎』１２０から所定距離以内に「画像情報の撮影位置」を持つ３Ｄ環境マップとして、高架下の３Ｄ環境マップＡ１１１と、高架上の３Ｄ環境マップＢ１１２とを３Ｄ環境マップＤＢ１１０から選定する。選定された２つのマップ内でそれぞれ最も撮影位置が近い「作成画像の情報」、すなわち、『○』１２１における作成画像情報（後述する図８における符号８００）および『○』１２２における作成画像情報（後述する図９における符号９００）を特定する。

そして、特定された２つのマップの作成画像情報の画像内の画像特徴出現情報（後述する図８における符号８００、図９における符号９００）と、算出済の処理対象画像１００の画像特徴出現情報（後述する図７における符号７００）を比較する。具体的には、たとえば、当該画像の画像特徴の出現分布の比較や、画像輝度または画像特徴のヒストグラムなどの比較をおこなう。このようにして、処理対象画像の画像特徴出現情報に対して、各マップの作成時画像の画像特徴Ａ、Ｂの出現情報（画像特徴出現情報）を比較することができる。

『３Ｄ環境マップ取得』（Ｓ２）の処理においては、『画像特徴比較』（Ｓ１）の処理における比較結果に基づいて、３Ｄ環境マップＤＢ１１０から位置姿勢算出用の３Ｄ環境マップ（たとえば最も類似度が高いと判断された「３Ｄ環境マップＡ」１１１）を特定し、取得することができる。従来の方法とは異なり、緯度経度値だけで選定した３Ｄ環境マップではなく、画像特徴比較を通して同じ道路と思われる道路だけに絞り込んだ３Ｄ環境マップにデータ取得対象を限定しているため、従来の方法よりも低コストでより高速に正しい位置姿勢算出用の３Ｄ環境マップを取得することが可能となる。

『位置姿勢推定』（Ｓ３）の処理においては、取得された３Ｄ環境マップＡ１１１に基づいて位置姿勢の推定（算出）をおこなう。位置姿勢推定処理は、取得された位置姿勢算出用の３Ｄ環境マップ（３Ｄ環境マップＡ１１１）のデータと、位置姿勢推定対象である処理対象画像（車載映像）１００およびＧＮＳＳデータを用いて、たとえばＶ－ＳＬＡＭなどを用いて撮影位置姿勢を推定（算出）することができる。

撮影位置姿勢推定したい車載データに関する３Ｄ環境マップとして、近傍位置（緯度経度）の作成時画像内の画像特徴出現状況がより類似している３Ｄ環境マップを優先して特定できるため、経路上から見た風景が似ているはずの、高架上道・下道などの緯度経度だけでは判別ができない同じ経路の３Ｄ環境マップを、正しく選別することができる。それにより、無駄な３Ｄ環境マップのデータ取得コスト、位置姿勢推定実施コストおよび位置姿勢推定完了までの時間を削減し、位置姿勢推定をリアルタイムで実施することが可能となる。

以下、位置姿勢算出方法および位置姿勢算出プログラムの詳細な内容について、実施の形態１および実施の形態２において説明する。

（実施の形態１）
（システム構成例）
図２は、実施の形態１にかかる位置姿勢算出方法を実現するシステム構成の一例を示す説明図である。図２において、実施の形態１にかかる位置姿勢算出方法を実現するシステム（移動体位置姿勢算出システム２００）は、サーバ２０１と、移動体２０３に搭載される車載機２０２とを備える。車載機２０２は、移動体２０３に搭載され、衛星２０５からのＧＮＳＳ情報および車載カメラ（後述する図４に示す撮像装置４０６）の動画像を収集する。

そして、サーバ２０１と車載機２０２とが、ネットワーク２０４によって接続されることにより、移動体位置姿勢算出システム２００を構成する。また、移動体位置姿勢算出システム２００は、図示は省略するが、クラウドコンピューティングシステムを用いて、その機能を実現するようにしてもよい。

移動体２０３は、具体的には、たとえば、情報を収集するコネクテッドカーである。また、一般乗用車やタクシーなどの営業車、二輪車（自動二輪や自転車）、大型車（バスやトラック）などであってもよい。また、移動体２０３には、水上を移動する船舶や上空を移動する航空機、無人航空機（ドローン）、自動走行ロボットなどであってもよい。

車載機２０２は、車載カメラ（撮像装置４０６）の動画像に関する情報を収集する。また、車載機２０２は、測位情報の一例であるＧＮＳＳ情報を含む移動体２０３の情報を収集する。移動体２０３の情報には、移動体２０３から収集する、移動体２０３の姿勢情報なども含んでもよい。また、車載機２０２は、撮影時刻などに関する情報も収集するようにしてもよい。

車載機２０２は、移動体２０３に搭載された専用の装置であってもよく、取り外し可能な機器であってもよい。また車載機２０２は、一般乗用車やタクシーなどの営業車などに搭載されているドライブレコーダーなどであってもよい。さらには、スマートフォンやタブレット端末装置などの通信機能を備えた携帯端末装置を移動体２０３において利用するものであってもよい。また、車載機２０２の各種機能の全部または一部を、移動体２０３が備えている機能を用いて実現するようにしてもよい。

したがって、車載機２０２における『車載』という表現は、移動体に搭載された専用装置という意味には限定されない。車載機２０２は、移動体２０３における情報を収集し、収集した情報をサーバ２０１に対して送信できる機能を持った装置であれば、どのような形態の装置であってもよい。

車載機２０２は、車載動画像に関する情報およびＧＮＳＳ情報を含む移動体２０３の情報（車載データ）を取得し、取得した車載データを保存する。そして、保存した車載データを、無線通信によって、ネットワーク２０４を介して、サーバ２０１へ送信する。また、サーバ２０１から配信されたプログラムを含む各種データを、ネットワーク２０４を介して、無線通信により受信する。

また、車載機２０２は、近距離通信機能により、近くを走行中の別の移動体２０３の情報を取得し、サーバ２０１へ送信するようにしてもよい。また、車載機２０２どうしが、近距離通信機能により、通信をおこない、他の車載機２０２を介して、サーバ２０１との通信をおこなうようにしてもよい。

このようにして、移動体位置姿勢算出システム２００において、サーバ２０１は、移動体２０３に搭載された車載機２０２から車載データを取得するとともに、各車載機２０２へ各種データを配信することができる。

また、車載機２０２は、通信手段を備えていなくてよい。すなわち、車載機２０２は、サーバ２０１とは、ネットワーク２０４を介して接続されていなくてもよい。その場合は、車載機２０２に蓄積されたデータは、オフラインで（たとえば、記録メディアを介して人手などにより）、サーバ２０１に入力することができる。

サーバ２０１は、環境マップ作成部２１１、マップ登録部２１２、マップ画像特徴比較部２１３、マップ取得部２１４、位置姿勢推定部２１５を有する。また、サーバ２０１は、車載動画像およびＧＮＳＳ情報（３Ｄ環境マップ作成用の「車載動画像＋ＧＮＳＳ情報」２２１ａ、位置姿勢推定用の「車載動画像＋ＧＮＳＳ情報」２２１ｂ））を持つ。また、サーバ２０１は、内部処理データとして、３Ｄ環境マップＤＢ２１０を有していてもよい。

環境マップ作成部２１１は、３Ｄ環境マップ作成用の「車載動画像＋ＧＮＳＳ情報」２２１ａを入力し、その「車載動画像＋ＧＮＳＳ情報」２２１ａから環境マップ、たとえば、３Ｄ（３次元）環境マップ２２２を作成する。

マップ登録部２１２は、環境マップ作成部２１１において作成された３Ｄ環境マップ２２２を３Ｄ環境マップＤＢ２１０に登録する。その際、検索用のインデックスを作成してもよい。たとえば、任意のデータベース項目を検索用の別テーブルとして保持するようにしてもよい。インデックスを用いることによって、３Ｄ環境マップＤＢ２１０を、より高速に検索することができる。

マップ画像特徴比較部２１３は、処理対象画像１００にかかる、位置姿勢推定用の「車載動画像＋ＧＮＳＳ情報」２２１ｂを入力し、その「車載動画像＋ＧＮＳＳ情報」２２１ｂにかかる画像特徴と、３Ｄ環境マップＤＢ２１０に登録されている３Ｄ環境マップ２２２群の画像の画像特徴との比較をおこなう。

マップ取得部２１４は、マップ画像特徴比較部２１３による比較の結果に基づいて、複数の環境マップ２２２群の中から、移動体２０３または当該移動体の撮影装置の位置姿勢の算出に用いる算出用環境マップを特定（取得）する。

位置姿勢推定部２１５は、マップ取得部２１４によって取得された算出用環境マップを用いて、処理対象画像１００の移動体２０３または当該移動体の撮影装置（車載機２０２）の位置姿勢（「推定位置姿勢」２２３）を算出する。

図２においては、サーバ２０１が、環境マップ作成部２１１と、マップ登録部２１２と、マップ画像特徴比較部２１３と、マップ取得部２１４と、位置姿勢推定部２１５と、を有する構成とした。図示は省略するが、これらの各機能部の少なくとも一つを、サーバ２０１に加えて、あるいは、サーバ２０１に代えて、車載機２０２が有するようにしてもよい。車載機２０２が、各機能部２１１、２１２、２１３、２１４、２１５の少なくとも一つを有する場合は、サーバ２０１が実施する処理の内容と同じであってもよい。また、サーバ２０１は複数のサーバから構成されてもよく、各機能部を分散して処理をおこなってもよい。

（サーバのハードウェア構成例）
図３は、サーバのハードウェア構成の一例を示すブロック図である。情報処理装置の一例であるサーバ２０１は、１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５と、を有する。また、各構成部は、バス３００によってそれぞれ接続される。

ここで、ＣＰＵ３０１は、サーバ２０１の全体の制御を司る。メモリ３０２は、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、たとえば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２０４に接続され、ネットワーク２０４を介して他の装置（たとえば、車載機２０２や、他のサーバやシステム）に接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２０４と自装置内部とのインターフェースを司り、他の装置からのデータの入出力を制御する。ネットワークＩ／Ｆ３０３には、たとえば、モデムやＬＡＮアダプタなどを採用することができる。

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御にしたがって記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する。記録媒体３０５としては、たとえば、磁気ディスク、光ディスクなどが挙げられる。

なお、サーバ２０１は、上述した構成部のほかに、たとえば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、キーボード、ポインティングデバイス、ディスプレイなどを有していてもよい。

（車載機のハードウェア構成例）
図４は、車載機のハードウェア構成の一例を示すブロック図である。情報収集装置の一例である車載機２０２は、ＣＰＵ４０１と、メモリ４０２と、無線通信装置４０３と、移動体Ｉ／Ｆ４０４と、受信装置４０５と、撮像装置４０６と、を有する。また、各構成部は、バス４００によってそれぞれ接続される。

ＣＰＵ４０１は、車載機２０２の全体の制御を司る。メモリ４０２は、たとえば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、たとえば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることで、コーディングされている処理をＣＰＵ４０１に実行させる。

無線通信装置４０３は、発信された電波を受信したり、電波を発信したりする。アンテナと受信装置とを含む構成であり、各種通信規格による移動通信（具体的には、たとえば、３Ｇ、４Ｇ、５Ｇ、ＰＨＳ通信など）、Ｗｉ－Ｆｉ（登録商標）などの通信を送受信する機能を備えている。

移動体Ｉ／Ｆ４０４は、移動体２０３と車載機２０２の自装置内部とのインターフェースを司り、移動体２０３からのデータの入出力を制御する。したがって、車載機２０２は、たとえば、移動体Ｉ／Ｆ４０４を介して移動体２０３が備えるＥＣＵ（各種センサなどを含む）４０７から情報を収集することができる。移動体Ｉ／Ｆ４０４は、具体的には、たとえば、有線により接続する際に用いるコネクタや近距離無線通信（具体的には、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標））装置などであってもよい。

受信装置（たとえばＧＰＳ受信装置などのＧＮＳＳ受信装置）４０５は、複数の衛星２０５からの電波を受信し、受信した電波に含まれる情報から、地球上の現在位置を算出する。

撮像装置（たとえばカメラなど）４０６は、静止画や動画を撮像し、画像情報として出力する機器である。具体的には、たとえば、レンズと撮像素子とを備える構成である。具体的には、単眼カメラの映像以外に、複数カメラ（ステレオカメラ）の画像対などを含む。このように、撮影装置４０６は、映像（動画）や単画像（静止画）を含む動画像からなる画像情報を取得することができる。また、撮像装置４０６は、一般乗用車やタクシーなどの営業車に搭載されるドライブレコーダーなどであってもよい。

撮像装置４０６による撮像画像は、メモリ４０２に保存される。また、カメラなどの撮像装置４０６は、画像認識機能や、バーコードやＱＲコード（登録商標）を読み取る機能や、ＯＭＲ（Ｏｐｔｉｃａｌ Ｍａｒｋ Ｒｅａｄｅｒ）、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）機能などを備えていてもよい。

図４に示したように、ＧＮＳＳ受信装置４０５および撮像装置４０６は、車載機２０２が備えていてもよく、また、移動体２０３が備えていたり、別途、外付けされたものを用いるようにしてもよい。その際、ＧＮＳＳ受信装置４０５あるいは撮像装置４０６と、車載機２０２とのデータのやりとりは、有線または無線通信によりおこなうようにしてもよい。

ＧＮＳＳ受信装置４０５や撮像装置４０６を、車載機２０２が備えていない場合は、移動体Ｉ／Ｆ４０４などを介して、それらの情報を取得するようにしてもよい。また、車載機２０２は、図示は省略するが、各種入力装置、ディスプレイ、メモリカードなどの記録媒体の読み書き用のインターフェース、各種入力端子などを備えていてもよい。

（３Ｄ環境マップの内容）
図５は、実施の形態１にかかる３Ｄ環境マップの構成の一例を示す説明図である。図５において、３Ｄ環境マップ２２２（２２２ａ～２２２ｃ）は、３Ｄマップ要素（３Ｄ画像特徴）５０１と、作成画像情報５０２と、を有する。

図５に示すように、３Ｄマップ要素５０１は、位置姿勢推定（算出）で用いる車載動画像の特徴要素（画像特徴）のデータである。具体的には、保持要素として、「３Ｄマップ要素（３Ｄ画像特徴）」５０１と「作成画像情報」５０２とを含む各種情報からなる。また、図示は省略するが、特徴点群情報を識別する一意の識別情報である「ＩＤ」情報を有していてもよい。このように、３Ｄ環境マップ２２２は、３Ｄ画像特徴および作成画像情報を持つデータ構成を有する。

３Ｄマップ要素５０１は、位置姿勢推定処理において用いる画像情報（動画像）の特徴要素（画像特徴）のデータである。具体的には、「画像特徴の３次元実座標位置」５１１と、「画像特徴量」５１２を含む。画像特徴は、たとえば、既知の画像処理手法で画像から抽出する画像特徴点や画像特徴線などが考えられる。画像特徴の３次元実座標位置５１１は、ＳＬＡＭなどの処理によって、同じ画像特徴が複数画像に出現する時の画像内位置の変化などを用いて、既知の三角測量や微小位置変化に対する最適化計算などを使って算出することができる。

また、画像特徴量５１２は、ＳＬＡＭなどの処理によって一般的な画像処理で抽出することができる。たとえば、画像特徴となる画素と周辺画素との輝度差状況をバイナリ値に変換した値などであってもよい。したがって、画像特徴量５１２は、利用する画像処理の種類（画像処理で抽出する画像特徴の種類）に依存する。一般的に画像特徴量どうしは比較が可能なため、任意の画像特徴量との比較を通して、３Ｄ環境マップ２２２内で対応する３Ｄ画像特徴を特定することができる。

図２に示した位置姿勢推定部２１５は、３Ｄ環境マップ２２２内の画像特徴の３次元実座標位置５１１が既知の各３Ｄマップ要素５０１群が撮影位置姿勢推定対象の車載動画像内に出現した実際の位置と、推定する撮影位置姿勢から幾何的に計算できる写りこむべき画像内位置とをそれぞれ比較する。そして、画像内位置の差が少なくなるように最適化をおこなうことによって、車載動画像の撮影位置姿勢を推定（算出）することができる。このとき、多数の各３Ｄマップ要素（３Ｄ画像特徴）５０１群内から、位置姿勢推定対象の車載動画像から抽出した画像特徴と等しいものを特定する必要があり、画像特徴量５１２はこの特定に用いることができる。

作成画像情報５０２は、環境マップ作成部２１１で３Ｄ環境マップ２２２を作成するのに用いた車載動画像の個々の任意画像の情報である。作成画像情報５０２は、少なくとも、３次元実座標位置などである「（画像の）撮影位置（に関する情報）」５２１と、「（画像内の）画像特徴出現情報」５２２を含む。これらの情報は、マップ画像特徴比較部２１３において用いる情報である。

作成画像情報５０２は、３Ｄ環境マップ２２２の作成時における車載映像の全画像に対して保持する必要はなく、１画像に対してだけ保持してもよい。ただしマップ画像特徴比較部２１３を用いた３Ｄ環境マップ２２２の特定精度向上のためには、動画像（映像）全体、特に映像の走行経路全体をなるべく網羅する画像群を保持することが望ましい。たとえば、走行距離が任意距離ごと、任意撮影時間間隔ごと、任意画像フレーム数ごと、などの任意の方法で映像を間引いた画像群に対して保持するようにしてもよい。

画像の撮影位置５２１は、たとえば、既知のＳＬＡＭなどの処理によって、３Ｄ環境マップ２２２の作成と同時に算出する画像撮影位置姿勢の情報であってもよい。３Ｄ環境マップ２２２の作成方式が、撮影位置姿勢を算出しない方式である場合には、３Ｄ環境マップ２２２の作成に使ったＧＮＳＳ情報を使うようにしてもよい。

また、３Ｄ環境マップ２２２の作成後に改めて車載動画像を作成した３Ｄ環境マップ２２２を用いて位置姿勢推定をおこなって、撮影位置姿勢の情報を算出して用いるようにしてもよい。ＧＮＳＳ情報より高精度な位置姿勢推定部の結果を用いる方が、マップ画像特徴比較部２１３において、より正確な比較をおこなうことができ、それによりマップ選定をより正確に実施することができる。

画像内の画像特徴出現情報５２２は、マップ画像特徴比較部２１３において、画像の類似性を比較するのに用いるものである。画像内の画像特徴出現情報５２２は、位置姿勢推定部２１５において用いる画像特徴および該画像特徴を用いた情報と必ずしも同じである必要はなく、一般的な画像類似比較に用いる画像情報であってもよい。画像内の画像特徴出現情報５２２は、たとえば、画像内に出現した「画像特徴のリスト（画像特徴量と出現位置）」や、「画像の画像特徴分布」、「画像の輝度分布」などがある。このうち、できるだけ画像からの算出が簡単なものが好ましい。それにより、より高速な処理を実現することができる。

画像特徴のリスト（画像特徴量と画像内位置）は、たとえば画像から抽出した画像特徴量と画像内の出現位置である。画像特徴のリストは、画像特徴が３Ｄ画像特徴５０１と同じなら、３Ｄ画像特徴５０１を算出したときの画像内出現位置（画像特徴の３次元座標位置５１１）や画像特徴量５１２を流用することができる。

画像の画像特徴分布は、任意の画像特徴の画像内の分布状況である。画像の画像特徴分布は、たとえば、画像をＮ分割して、分割したＮ個の画像部分ごとの画像特徴の出現数を求めてもよいし、画像特徴を画像特徴量であらかじめグループ化しておき、分割画像部分あるいは画像全体に出現した各グループの数、出現割合、ヒストグラムなどの統計量、などを求めるようにしてもよい。

画像分割する場合は、画像の全分割領域ではなく、分割領域の一部を使ってもよいし、画像分割ではなく、画像の任意の一部領域だけを用いて算出してもよい。たとえば、画像の上半分だけ、あるいは、画像の上１／３を４分割、などで算出するようにしてもよい。この画像特徴分布は、３Ｄ画像特徴５０１と同じ画像特徴を用いて算出してもよいし、異なる画像特徴を使うようにしてもよい。

なお、画像特徴のリストに３Ｄ画像特徴５０１と同じ画像特徴を用いれば、画像特徴出現情報５２２は任意の画像で同時閲覧できる３Ｄ画像特徴５０１群のリストとして３Ｄ画像特徴５０１をまとめる構造化要素となる。このため、位置姿勢推定部２１５において、３Ｄ環境マップ内の全３Ｄ画像特徴５０１から位置姿勢推定計算中の画像で利用する３Ｄ画像特徴５０１を選定するのにも使うことができ、より正確な位置姿勢推定をおこなうことができる。すなわち、画像特徴量から３Ｄ画像特徴を特定する際に、画像特徴出現情報５２２で同時閲覧できない３Ｄ画像特徴を特定してしまっていないか判定し、間違った特定を避けることができる。

一方で、マップ画像特徴比較部２１３において用いる作成画像情報５０２は、各任意画像の画像全体の画像特徴傾向が把握できればよく、位置姿勢推定部２１５および環境マップ作成部２１１などにおける個々の画像特徴の正確な対応付けは必ずしも必須ではないため、３Ｄ画像特徴５０１の画像特徴以外の多様な画像特徴を用いることができる。

画像の輝度分布は、たとえば、画像の輝度ヒストグラムや、頻出する輝度などの輝度統計量を、画像全体、あるいは画像の一部、または画像をＮ分割した画像部分ごとに求めてもよい。なお、画像特徴出現情報５２２は全３Ｄ環境マップ２２２で１つの種類に限定するのではなく、１つの３Ｄ環境マップ２２２で複数種類を保持したり、場所や道路種類、作成時期などで異なる種類のものを保持するようにしてもよい。

また、画像特徴出現情報５２２は、作成画像情報５０２を保持する画像だけから求めたこれら画像特徴の位置や分布ではなく、保持する画像と同じ車載動画内の他の画像も使って求めるようにしてもよい。たとえば、作成画像情報５０２を保持する画像と他画像とで、同じ画像特徴点の出現位置や各画像内の輝度分布状況を比較し、それらの比較結果である差分変化量を使って画像特徴出現情報５２２を求めることができる。

他画像としては、たとえば、同じ車載動画内の作成画像情報５０２を保持する画像の近傍時刻で撮影した画像として、前フレーム画像または後フレーム画像などを使うことができる。また、２つの画像から求める画像特徴の差分変化量として、たとえば、２画像の同じ画像特徴点や輝度の画像内の出現位置変化量があり、一般的な画像処理による画像オプティカルフロー量として求めることができる。

他の画像を用いた画像特徴出現情報５２２として、画像特徴点の画像特徴量の代わりに、画像特徴点の画像内位置変化量（オプティカルフロー量）を用いて、作成画像情報５０２を保持する画像でのオプティカルフロー量と画像内のフロー出現位置のリストを求めるようにしてもよい。また、片方の画像の各画素または隣接する複数画素を纏めた画素ブロックが、他の画像内でどれだけ移動したかを類似輝度の位置変化状況から求めた画素または画素ブロックの画像内移動変化量（オプティカルフロー量）を用いて、輝度分布の代わりに保持する画像の各画素または各画素ブロックの画像内移動変化量分布（オプティカルフロー分布）を求めるようにしてもよい。

画像に写っている被写体が撮影位置の近くにあるほど画像内移動変化量が大きくなるため、画像内移動変化量（オプティカルフロー値）の大きさは周辺物体との距離の大きさに類似している。また、画像内移動変化量を用いて求めた画像特徴出現情報５２２は、画像内の周辺物体との距離状況を表している。このため、撮影時の天候などの周辺物体の見え変化の大きなシーンに依らず、どの車載動画像でも安定して同じ画像特徴出現情報５２２を求めることができる。したがって、マップ作成時の車載動画像と異なる画像を使って画像の類似性を比較するマップ画像特徴比較部２１３においても、より正確に画像の類似比較ができる。

なお、差分変化量、特にオプティカルフロー量の大きさは、算出に使った２画像の撮影位置の差（距離）に比例する。そのため、そのまま画像特徴出現情報５２２に用いるのではなく、画像全体の変化量の最大値や最小値、平均値で割った値にして正規化したり、画像全体での段階数を決めて段階的に変化するレベル変化量に変換したり、任意の統計的な補正をおこなって、２画像の撮影位置の差に依らない値にしてから用いるようにしてもよい。

（環境マップ作成部２１１の内容）
図２に示した環境マップ作成部２１１は、位置姿勢推定用の「車載動画像＋ＧＮＳＳ情報」２２１ｂを入力として、位置姿勢推定部２１５において用いるための３Ｄ環境マップ２２２を、任意の既知の方法で作成する。たとえば、映像を用いたＶ－ＳＬＡＭを実施して、画像特徴の３Ｄ位置を求める。そして、ＧＮＳＳ情報によってスケール不明の相対位置から実座標系での緯度経度値に変換して算出し、３Ｄ環境マップ２２２とすることができる。

このとき、実座標系への変換を３Ｄ位置算出と同時に実施してもよいし、あるいは、映像の画像特徴の３Ｄ位置自体を実座標系の値に変換して保持するのではなく、相対値として保持して、実座標系への変換方法、たとえば座標系変換行列の値などを別途保持していてもよい。

環境マップ作成部２１１において作成した３Ｄ環境マップ２２２を用いて位置姿勢推定部２１５で位置姿勢を求めるため、一般的に、環境マップ作成部２１１と位置姿勢推定部２１５で用いる３Ｄ位置つきの画像特徴（３Ｄ環境マップ２２２の３Ｄ画像特徴５０１）は、同じである必要がある。

一方で、３Ｄ環境マップ２２２は、作成画像情報５０２として、画像内の画像特徴出現情報５２２を持つが、この情報は３Ｄ位置を算出した画像特徴（３Ｄ画像特徴５０１）と同じ画像特徴から成るものでなくてもよい。その場合は、別途環境マップ作成部２１１で３Ｄ環境マップ２２２の画像内の画像特徴出現情報５２２の情報を算出する必要がある。たとえば、異なる画像特徴を抽出して分布を算出したり（画像の画像特徴分布）、画像の輝度分布を算出したり（画像の輝度分布）などである。

環境マップ作成部２１１は、具体的には、たとえば、図２に示したサーバ２０１において、メモリ３０２に記憶されたプログラムをＣＰＵ３０１が実行することによって、その機能を実現することができる。また、具体的には、たとえば、図４に示した車載機２０２において、メモリ４０２に記憶されたプログラムをＣＰＵ４０１が実行することによって、その機能を実現するようにしてもよい。

（マップ登録部２１２の内容）
マップ登録部２１２は、環境マップ作成部２１１において作成された３Ｄ環境マップ２２２を、マップ画像特徴比較部２１３で比較特定し、また、位置姿勢推定部２１５で簡単に引用できるように、３Ｄ環境マップＤＢ２１０などに登録管理する。そのために、上述したように、検索用のインデックスを作成し、登録するようにしてもよい。３Ｄ環境マップＤＢ２１０は、位置姿勢推定部２１５で利用する３Ｄ環境マップ２２２群のデータベースであり、作成した３Ｄ環境マップ２２２を保持管理するデータベースである。

マップ登録部２１２は、具体的には、たとえば、図３に示したサーバ２０１において、メモリ３０２に記憶されたプログラムをＣＰＵ３０１が実行することによって、あるいは、ネットワークＩ／Ｆ３０３、記録媒体Ｉ／Ｆ３０４などによって、その機能を実現することができる。また、具体的には、たとえば、図４に示した車載機２０２において、メモリ４０２に記憶されたプログラムをＣＰＵ４０１が実行することによって、あるいは、無線通信装置４０３などによって、その機能を実現するようにしてもよい。

（環境マップ作成部２１１・マップ登録部２１２の処理手順）
図６は、実施の形態１にかかる環境マップ作成部およびマップ登録部の処理の一例を示すフローチャートである。図６のフローチャートにおいて、入力車載動画像とＧＮＳＳ情報とから、３Ｄ環境マップ２２２、より具体的には、３Ｄ環境マップ２２２の３Ｄ画像特徴５０１を作成する（ステップＳ６０１）。

そして、３Ｄ環境マップ２２２（３Ｄ画像特徴５０１）が作成できて有ったか否かを判断する（ステップＳ６０２）。ここで、３Ｄ環境マップ２２２（３Ｄ画像特徴５０１）が作成できず、なかった場合（ステップＳ６０２：Ｎｏ）は、何もせずに、一連の処理を終了する。

一方、３Ｄ環境マップ２２２（３Ｄ画像特徴５０１）が作成できて有った場合（ステップＳ６０２：Ｙｅｓ）は、つぎに、マップ画像特徴比較部２１３において用いる特徴が、画像特徴の出現リストか否かを判断する（ステップＳ６０３）。

ここで、マップ画像特徴比較部２１３で用いる特徴が、画像特徴の出現リストである場合（ステップＳ６０３：Ｙｅｓ）は、間引き画像ごとにマップ作成時の画像特徴の出現リストとして画像特徴を抽出する。そして、画像特徴量と画像内位置を求め、画像内の画像特徴出現情報５２２（「画像特徴のリスト（画像特徴量と出現位置）」）を作成する（ステップＳ６０４）。その後、ステップＳ６０９へ移行する。

ステップＳ６０３において、マップ画像特徴比較部２１３で用いる特徴が、画像特徴の出現リストではない場合（ステップＳ６０３：Ｎｏ）は、マップ画像特徴比較部２１３で用いる特徴が、画像特徴分布か否かを判断する（ステップＳ６０５）。

ここで、マップ画像特徴比較部２１３で用いる特徴が、画像特徴分布である場合（ステップＳ６０５：Ｙｅｓ）は、間引き画像ごとに画像特徴分布として、画像内の画像特徴出現情報５２２（「画像特徴分布」）を作成する（ステップＳ６０６）。その後、ステップＳ６０９へ移行する。

ステップＳ６０５において、マップ画像特徴比較部２１３で用いる特徴が、画像特徴分布ではない場合（ステップＳ６０５：Ｎｏ）は、マップ画像特徴比較部２１３で用いる特徴が、画像輝度分布か否かを判断する（ステップＳ６０７）。

ここで、マップ画像特徴比較部２１３で用いる特徴が、画像輝度分布である場合（ステップＳ６０７：Ｙｅｓ）は、間引き画像ごとに画像輝度分布として、画像内の画像特徴出現情報５２２（「画像輝度分布」）を作成する（ステップＳ６０８）。その後、ステップＳ６０９へ移行する。

ステップＳ６０７において、マップ画像特徴比較部２１３で用いる特徴が、画像輝度分布ではない場合（ステップＳ６０７：Ｎｏ）は、その後は何もせずに、一連の処理を終了する。ここまでの処理（ステップＳ６０１～Ｓ６０８の各処理）は、たとえば、環境マップ作成部２１１によっておこなうことができる。

その後、３Ｄ画像特徴５０１、間引き画像の作成画像情報５０２（撮影位置５２１、画像特徴出現情報５２２）を３Ｄ環境マップ２２２として、３Ｄ環境マップＤＢ２１０に登録する（ステップＳ６０９）。これにより、一連の処理を終了する。このステップＳ６０９の処理は、たとえば、マップ登録部２１２によっておこなうことができる。

このような処理の手順により、車載動画像およびＧＮＳＳ情報（３Ｄ環境マップ作成用の「車載動画像＋ＧＮＳＳ情報」２２１ａ）から３Ｄ環境マップ２２２を作成し、作成された３Ｄ環境マップ２２２を３Ｄ環境マップＤＢ２１０に登録することができる。

（マップ画像特徴比較部２１３の内容）
マップ画像特徴比較部２１３は、位置姿勢を推定したい車載映像（動画像）および車載動画像と同時取得した、ＧＰＳなどの測位情報であるＧＮＳＳ情報（位置姿勢推定用の「車載動画像＋ＧＮＳＳ情報」２２１ｂ）を入力し、当該車載動画像に関係する３Ｄ環境マップ群を、マップ登録部２１２が登録済の３Ｄ環境マップＤＢ２１０から特定する。

マップ画像特徴比較部２１３は、具体的には、たとえば、図２に示したサーバ２０１において、メモリ３０２に記憶されたプログラムをＣＰＵ３０１が実行することによって、その機能を実現することができる。また、具体的には、たとえば、図４に示した車載機２０２において、メモリ４０２に記憶されたプログラムをＣＰＵ４０１が実行することによって、その機能を実現するようにしてもよい。

マップ画像特徴比較部２１３は、具体的には、以下の手順によって、当該車載動画像に関係する３Ｄ環境マップ群を特定することができる。

まず、マップ画像特徴比較部２１３は、画像特徴比較をおこなう対象となる、位置姿勢推定対象の車載動画像の任意画像を抽出する。抽出する任意画像の数は任意である。たとえば、車載動画像の任意の１画像を抽出してもよいし、複数画像を抽出してもよい。比較処理が早く終了するためには、１画像を抽出するのが好ましい。一方、漏れなく特定する３Ｄ環境マップ２２２を選定するために、複数画像を用いて、各々の画像を画像特徴比較するようにしてもよい。

マップ画像特徴比較部２１３は、抽出した各任意画像について、３Ｄ環境マップＤＢ２１０において、各３Ｄ環境マップ２２２の作成画像情報５０２の画像内の画像特徴出現情報５２２に相当する画像特徴を算出する。このとき、３Ｄ環境マップ２２２に複数種類の作成画像情報（画像特徴出現情報）５２２がある場合には、任意の１つ、たとえばより算出が用意なものを１つ選んで用いたり、任意の複数種類、たとえば全種類を用いてそれぞれの類似度を求め、それらの類似度を統計的にまとめて最終的に判断するようにしてもよい。

一例として、１種類の画像特徴出現情報５２２がある場合について説明する。たとえば、画像内の画像特徴出現情報５２２が画像に出現した画像特徴のリスト（画像特徴量と出現位置）である場合は、同じ画像特徴を画像から抽出して、画像特徴量とともに画像内の出現位置のリストを作成する。

なお、この画像特徴が、３Ｄ画像特徴５０１と同じ場合は、位置姿勢推定部２１５において該当画像の画像特徴として用いるために保持しておき、位置姿勢推定部２１５において再度画像特徴抽出をしないようにしてもよい。

また、画像内の画像特徴出現情報５２２が画像の画像特徴分布である場合は、画像内の画像特徴出現情報５２２と同様の、画像全体または一部の画像分布状況を算出する。同様に、画像内の画像特徴出現情報５２２が画像の輝度分布である場合は、画像内の画像特徴出現情報５２２と同様の、画像全体または一部の輝度分布を算出する。

なお、「画像内の画像特徴出現情報」５２２が他画像を用いて算出された差分変化量である場合は、マップ画像特徴比較部２１３でも同様に、位置姿勢推定をおこないたい画像に加えて同様に同じ車載動画像の他画像（たとえば近傍時刻の前画像フレームまたは後画像フレーム）をも使って差分変化量を求める。そして、「画像内の画像特徴出現情報」５２２と同じ、差分変化量とその画像内出現位置のリスト、または、画像内分布を算出するようにしてもよい。

つぎに、マップ画像特徴比較部２１３は、当該任意画像の撮影位置を、位置姿勢推定用の「車載動画像＋ＧＮＳＳ情報」２２１ｂのうちのＧＮＳＳ情報から取得する。そして、各３Ｄ環境マップ２２２のうち、画像の撮影位置５２１と当該撮影位置が所定距離以内の作成画像情報５０２を持つ３Ｄ環境マップ２２２を選定し、選定した３Ｄ環境マップ２２２の中で最も距離が近い画像の撮影位置５２１を持つ作成画像情報５０２を特定する。このとき、あらかじめ、既知の方法、たとえば、地域メッシュなどを用いて、ある程度、３Ｄ環境マップ２２２を選定しておいてから選定するようにしてもよい。

マップ画像特徴比較部２１３は、つぎに、特定した３Ｄ環境マップ２２２群の画像内の画像特徴出現情報５２２と抽出した各任意画像で算出済の同等の情報を比較し、２つの情報が類似するか否かを判定し、画像類似度を算出する。たとえば、画像内の画像特徴出現情報５２２が画像特徴のリスト（画像特徴量と出現位置）である場合は、双方の画像の該リストにある同じ画像特徴量の画像特徴数を比較してもよい。また、同じ画像特徴量で類似出現位置に出現した画像特徴数を比較してもよい。

また、画像内の画像特徴出現情報５２２が画像特徴分布である場合は、双方の画像の画像全体の画像特徴数が近いか、または画像の各部分と画像全体、または他画像部分との画像特徴数の比が類似するか、画像特徴グループの出現グループ数や画像内の頻出および出現傾向が類似するか、グループの出現割合やヒストグラムが類似するか、などを比較してもよい。

また、「画像内の画像特徴出現情報」５２２が画像の輝度分布である場合は、同様に、双方の画像の輝度ヒストグラムが類似するか、輝度頻出および出現傾向が類似するか、最頻出輝度などが類似するか、などを比較してもよい。

また、「画像内の画像特徴出現情報」５２２が他画像を用いて算出された差分変化量である場合は、画像内の画像特徴出現情報５２２が画像特徴のリスト（画像特徴量と出現位置）の場合や、画像輝度分布の場合のいずれかの比較方法と同じ方法を使って、比較するようにしてもよい。それぞれの方法で、画像特徴量の代わりに画像特徴の移動変化量を、画像の各画素または画素ブロックの輝度値の代わりに各画素または画素ブロックの移動変化量を使うことで、比較をすることができる。

これらの画像類似比較処理は、「画像内の画像特徴出現情報」５２２による任意の類似画像比較方法を用いることができる。

つぎに、任意画像ごとに各３Ｄ環境マップ２２２に対して求めた画像類似度にしたがって、３Ｄ環境マップ２２２を選定する。たとえば、任意画像が複数ある場合に、３Ｄ環境マップ２２２ごとに全任意画像の画像類似度の統計量（たとえば、平均値、最大値、最小値、中央値など）を求めて、各３Ｄ環境マップ２２２の位置姿勢推定対象の車載映像に対する最終的な類似度としてもよい。そして、この最終的な類似度を比べて、類似度の最も高いマップを１つ選定する。

なお、位置姿勢推定部２１５による位置姿勢推定処理において、高速リアルタイムに位置姿勢を推定することよりも、若干処理時間がかかったとしても高精度な位置姿勢を推定することを優先する場合や、最終的な類似度が似た３Ｄ環境マップ２２２があって、１つに絞り込むことが難しい場合などでは、マップ画像特徴比較部２１３は、最終的に１つの３Ｄ環境マップ２２２を選定するのではなく、画像内の画像特徴出現情報５２２の類似度がある程度以上の３Ｄ環境マップ２２２を複数選定するようにしてもよい。その際に、類似度の高い順に優先度を設定しておくようにしてもよい。

また、類似度が低い３Ｄ環境マップ２２２しか選定できなかった場合には、位置姿勢推定処理に用いる３Ｄ環境マップ２２２が見つからなかったとして、位置姿勢推定処理を断念（中止）するようにしてもよい。

具体的なマップ画像特徴比較処理内容の一例を図１および図７～図８を用いて説明する。図７は、処理対象画像の画像特徴出現情報の内容の一例を示す説明図であり、図８は、画像特徴Ａの画像特徴出現情報の内容の一例を示す説明図であり、図９は、画像特徴Ｂの画像特徴出現情報の内容の一例を示す説明図である。

図７において、位置姿勢推定をおこないたい車載動画像である、図１に示した処理対象画像１００、すなわち、高架下道を走った車載映像のうち、図１に示した上空俯瞰図における『◎』１２０のＧＰＳ位置における画像の画像特徴出現情報７００の内容を示している。画像特徴出現情報７００において、符号７０１は、処理対象画像１００上に画像特徴の出現分布をプロットしたものを示しており、符号７０２は、処理対象画像１００の画像輝度や、画像特徴や、差分変化量のヒストグラムを示しており、符号７０３は、処理対象画像１００の画像特徴の出現分布のみを抽出して示している。

また、図８において、高架下道路のマップ（画像特徴Ａ）の画像特徴出現情報８００は、図１において、処理対象画像１００の撮影位置『◎』１２０から所定距離以内に、画像の撮影位置５２１を持つ３Ｄ環境マップＡ１１１のうち、最も撮影位置が近いＧＰＳ位置『○』１２１の画像特徴の画像特徴出現情報の内容を示している。図７の画像特徴出現情報７００と同様に、符号８０１は、画像上に画像特徴の出現分布をプロットしたものを示しており、符号８０２は、当該画像の画像輝度や、画像特徴や、差分変化量のヒストグラムを示しており、符号８０３は、当該画像の画像特徴の出現分布のみを抽出して示している。

また、図９において、高架上道路のマップ（画像特徴Ｂ）の画像特徴出現情報９００は、図１において、処理対象画像１００の撮影位置『◎』１２０から所定距離以内に、画像の撮影位置５２１を持つ３Ｄ環境マップＢ１１２のうち、最も撮影位置が近いＧＰＳ位置『○』１２２の画像特徴の画像特徴出現情報の内容を示している。図７の画像特徴出現情報７００、図８の画像特徴出現情報８００と同様に、符号９０１は、画像上に画像特徴の出現分布をプロットしたものを示しており、符号９０２は、当該画像の画像輝度や、画像特徴や、差分変化量のヒストグラムを示しており、符号９０３は、当該画像の画像特徴の出現分布のみを抽出して示している。

このように、マップ画像特徴比較部２１３は、高架上の３Ｄ環境マップＢ１１２と、高架下の３Ｄ環境マップＡ１１１を選定し、それら２つのマップ内でも、最も撮影位置が近い作成画像情報５０２を特定する。そして、特定した２つのマップの作成画像情報５０２の「画像内の画像特徴出現情報」５２２と、すでに算出済の処理対象画像の「画像内の画像特徴出現情報」５２２相当の画像特徴出現情報を比較する。

マップ画像特徴比較部２１３は、図７～図９に示した、画像特徴出現情報である分布７０３、８０３、９０３やヒストグラム７０２、８０２、９０３を比較し、２つのマップ（３Ｄ環境マップＡ１１１と３Ｄ環境マップＢ１１２）のうち、より画像特徴出現情報５２２が似ている３Ｄ環境マップＡ１１１を選定する。すなわち、分布９０３の上部に画像特徴または差分変化量の出現が少ない３Ｄ環境マップＢ１１２よりも、分布８０３の上部に出現の多い３Ｄ環境マップＡ１１１の方が、分布７０３に類似する。

高架の上下を判断する場合に、より具体的には、上部に画像特徴や、画像特徴点の出現位置変化量である差分変化量の出現が少ないのは、空（そら）が開けて（上側が抜けて）いて目立つ画像特徴が少ないからであり、高架上道路であると推測できる。一方、上部に画像特徴の出現が多いのは、上側に高架道路が存在して人工物特有の画像特徴が多く出現するからであり、高架下道路であると推測できる。ただし、マップ画像特徴比較部２１３の処理においては、どちらの３Ｄ環境マップが類似するかがわかればよく、高架下道路であるか高架上道路であるかの判断までおこなう必要はない。

また、ヒストグラム９０２において左だけ多い３Ｄ環境マップＢ１１２よりも、ヒストグラム８０２において両側が多い３Ｄ環境マップＡ１１１の方が、ヒストグラム７０２に類似する。したがって、３Ｄ環境マップＡ１１１を選定する。

マップ画像特徴比較部２１３は、この結果、近似する実座標位置で類似する画像を持つ車載映像で作成したマップ、すなわち、ほぼ同じ場所で同じような風景を撮影している映像から作成したマップを選定することができ、３Ｄ環境マップＡ１１１、３Ｄ環境マップＢ１１２が高架上下道どちらのマップであるかや、位置姿勢対象の映像が高架上下道どちらを走行した映像であるかを知らなくても、「画像内の画像特徴出現情報」５２２の類似性から、走行環境が類似する３Ｄ環境マップＡ１１１を選定することができる。

このようにして、移動体２０３または当該移動体２０３の撮影装置（車載機２０２）の位置を含む複数の３Ｄ環境マップ２２２の画像情報の画像特徴と、当該移動体２０３または当該移動体２０３の撮影装置（車載機２０２）から取得した処理対象画像１００の画像特徴との比較をおこない、比較の結果に基づいて、複数の環境マップ２２２の中から、移動体２０３または当該移動体２０３の撮影装置（車載機２０２）の位置姿勢の算出に用いる算出用環境マップを特定することができる。

この算出用環境マップは、撮影装置（車載機２０２）から取得した画像情報の画像特徴と類似する画像特徴にかかる画像特徴出現情報５２２を有する環境マップ２２２とすることができる。

また、図１に示したように、撮影装置（車載機２０２）から取得した画像情報の第１の撮影位置（１２０）と距離が近い第２の撮影位置（１２１、１２２）の画像情報を有する３Ｄ環境マップ１１１、１１２）を特定し、第１の撮影位置の画像情報の画像特徴と、特定した環境マップの前記第２の撮影位置の画像情報の画像特徴との比較をおこなうことができる。

また、撮影装置（車載機２０２）から取得した画像情報の画像特徴と、環境マップの画像特徴との類似度に基づいて、特定された算出用環境マップの利用優先度を算出することができる。

また、画像特徴は、たとえば、
（１）画像の画像特徴量と画像内位置のリスト、
（２）画像の画像特徴分布、
（３）画像の輝度分布、
（４）画像の画像特徴の画像内位置変化量と画像内位置のリスト、
（５）画像の各画素または画素ブロックの画像内位置変化量の分布、
の少なくとも一つを含むものであってもよい。

さらには、上記（２）画像の画像特徴分布、（３）画像の輝度分布、（５）画像の各画素または画素ブロックの画像内位置変化量の分布の各分布は、ヒストグラムであってもよい。

なお、マップ画像特徴比較部２１３での本選定を高速化するために、一般的なデータベースのクエリ高速化と同様に、３Ｄ環境マップＤＢ２１０の作成画像情報５０２に関するインデックスを利用してもよい。一般的に、ＤＢ内で検索にかかわる要素を用いて検索専用の別テーブルを作成することで検索速度向上が図れることから、ＤＢの一般的な既知のインデックス情報の作成手段を用いて、当該画像特徴出現情報５２２の一部や画像の撮影位置５２１を用いた検索用のインデックス情報をあらかじめ準備しておくようにしてもよい。インデックスは、たとえば、上述したように、マップ登録部２１２により作成することができる。これにより、マップ画像特徴比較部２１３における比較処理をより高速化することができる。

（マップ取得部２１４の内容）
マップ取得部２１４は、マップ画像特徴比較部２１３において選定された３Ｄ環境マップ２２２群に対して、実際に３Ｄ環境マップＤＢ２１０からマップデータを特定し、取得する。なお、マップ画像特徴比較部２１３がマップデータの特定までおこない、マップ取得部２１４は、特定されたマップデータを取得するだけであってもよい。すなわち、マップデータの特定は、マップ画像特徴比較部２１３、マップ取得部２１４のどちらかおこなってもよい。

従来方法と異なり、緯度経度だけで選定した３Ｄ環境マップではなく、マップ画像特徴比較部２１３の画像特徴比較処理を通して同じ道路と思われる道路だけに絞り込んだ３Ｄ環境マップ２２２にデータ取得対象を限定しているため、従来方法よりも低コストで３Ｄ環境マップ２２２を取得することができる。

また、３Ｄ環境マップ２２２を複数取得する場合などでは、マップ画像特徴比較部２１３において算出した、画像特徴出現情報５２２の類似度から設定した優先度を取得したマップデータとともに保持するようにしてもよい。そして、位置姿勢推定部２１５においては、取得した優先度に基づいて算出することにより、より精度の高い位置姿勢の推定処理をおこなうことができる。

マップ取得部２１４は、具体的には、たとえば、図３に示したサーバ２０１において、メモリ３０２に記憶されたプログラムをＣＰＵ３０１が実行することによって、あるいは、ネットワークＩ／Ｆ３０３、記録媒体Ｉ／Ｆ３０４などによって、その機能を実現することができる。また、具体的には、たとえば、図４に示した車載機２０２において、メモリ４０２に記憶されたプログラムをＣＰＵ４０１が実行することによって、あるいは、無線通信装置４０３などによって、その機能を実現するようにしてもよい。

（位置姿勢推定部２１５の内容）
位置姿勢推定部２１５は、マップ取得部２１４によって取得された３Ｄ環境マップ２２２のデータと、位置姿勢推定対象である「車載動画像＋ＧＮＳＳ情報」２２１ｂのデータを用いて、従来の方法、たとえばＶ－ＳＬＡＭなどを用いて撮影位置姿勢を推定し、推定位置姿勢２２３を出力する。具体的には、選定取得した３Ｄ環境マップ２２２のデータを読み込んでメモリ展開し、同様に読み込んでメモリ展開した車載動画像から抽出した画像特徴の位置と比較して、ＳＬＡＭなどによる計算方法を用いて位置姿勢を推定することができる。

この際、マップ画像特徴比較部２１３において、位置姿勢推定対象の車載映像の任意画像に対して、３Ｄ環境マップ２２２の３Ｄ画像特徴５０１と同じ画像特徴をすでに抽出して、当該情報を保持している場合には、保持している当該情報を流用するようにしてもよい。

各３Ｄ環境マップ２２２は、マップ画像特徴比較部２１３で決定した優先度を持っている。したがって、選定された３Ｄ環境マップ２２２が複数ある場合でも、どのマップを用いるかを検討する材料が無かった従来方法と異なり、優先度が高い順に位置姿勢推定処理を実行することによって、一度の位置姿勢推定処理の実施で位置姿勢推定対象の位置姿勢推定を完了できる可能性を高めることができる。

また、複数マップを優先順に位置姿勢推定して、位置姿勢推定が成功した場合に、他のマップによる位置姿勢をおこなわなくてもよい。あるいは、複数マップすべての位置姿勢推定結果を算出して、それらを比較して最終的な位置姿勢推定結果とするようにしてもよい。たとえば、各３Ｄ環境マップ２２２の位置姿勢推定結果を比較し、そのうちの１つのマップ、たとえば位置姿勢推定できた映像内の画像フレーム数が多いマップの結果を最終的な結果としてもよい。

また、同じ画像フレームでの複数マップでの位置姿勢推定結果を統計処理、たとえば平均化して最終的な結果とするようにしてもよい。これにより、より高精度で確実に位置姿勢推定処理を実行することができる。このとき、優先度を重みとして用いて、より優先度の高いマップの結果を重視反映させた統計処理をおこなうようにしてもよい。

選定した全３Ｄ環境マップ２２２群のループ処理として、マップ取得部２１４の処理と位置姿勢推定部２１５の処理をマップ１つずつに対して纏めて実行するようにしてもよい。これにより、３Ｄ環境マップ２２２の取得コストについても低コストに抑えることができる。

位置姿勢推定部２１４は、具体的には、たとえば、図３に示したサーバ２０１において、メモリ３０２に記憶されたプログラムをＣＰＵ３０１が実行することによって、その機能を実現することができる。また、具体的には、たとえば、図４に示した車載機２０２において、メモリ４０２に記憶されたプログラムをＣＰＵ４０１が実行することによって、その機能を実現するようにしてもよい。

（マップ画像特徴比較部２１３・マップ取得部２１４・位置姿勢推定部２１５の処理手順）
図１０は、実施の形態１にかかるマップ画像特徴比較部、マップ取得部および位置姿勢推定部の処理の一例を示すフローチャートである。図１０のフローチャートにおいて、撮影位置姿勢推定したい車載映像の任意画像とＧＮＳＳ（ＧＰＳ）情報を入力する（ステップＳ１００１）。

つぎに、画像の撮影位置５２１がＧＰＳ位置から規定距離以内にある３Ｄ環境マップ２２２を３Ｄ環境マップＤＢ２１０から探索する（ステップＳ１００２）。そして、３Ｄ環境マップ２２２群は探索できたか否かを判断する（ステップＳ１００３）。ここで、３Ｄ環境マップ２２２群が探索できなかった場合（ステップＳ１００３：Ｎｏ）は、何もせずに、一連の処理を終了する。

一方、３Ｄ環境マップ２２２群が探索できた場合（ステップＳ１００３：Ｙｅｓ）は、探索した３Ｄ環境マップ２２２群で最も画像の撮影位置５２１がＧＰＳ位置に近い作成画像情報５０２を探索する（ステップＳ１００４）。そして、任意画像から、作成画像情報５０２と同じ画像特徴を算出する（ステップＳ１００５）。

つぎに、各３Ｄ環境マップ２２２と、任意画像の画像特徴出現情報５２２を比較して、各３Ｄ環境マップ２２２と、任意画像の画像特徴出現情報５２２とのそれぞれの類似度を算出する。そして、最も類似度が大きい３Ｄ環境マップ２２２を選定する（ステップＳ１００６）。ここまでの処理（ステップＳ１００１～Ｓ１００６の各処理）は、たとえば、マップ画像特徴比較部２１３によっておこなうことができる。

そして、選定された３Ｄ環境マップ２２２のＤＢ情報（３Ｄ画像特徴点群など）を取得する（ステップＳ１００７）。このステップＳ１００７の処理は、たとえば、マップ取得部２１４によっておこなうことができる。

その後、取得したマップのＤＢ情報（３Ｄ画像特徴点群など）を用いて、推定対象画像の位置姿勢推定処理を実行する（ステップＳ１００８）。このステップＳ１００８の処理は、たとえば、位置姿勢推定部２１５によっておこなうことができる。

以上説明したように、実施の形態１によれば、撮影位置姿勢推定したい車載データに関する３Ｄ環境マップを、類似する位置（緯度経度）の作成時画像内の画像特徴出現状況が類似する３Ｄ環境マップか否かで判定し、より類似するマップを優先度つきで特定することができるため、高架上道・下道などの、緯度経度だけでは判別ができない位置が類似する経路の３Ｄ環境マップを正しく選別することができる。これにより、無駄な３Ｄ環境マップのデータ取得コスト、位置姿勢推定実施コスト、および位置姿勢推定完了までの時間を削減し、位置姿勢推定をリアルタイムで実施することが可能となる。

実施の形態１では、あらかじめ各３Ｄ環境マップ２２２に、環境マップ作成時に利用した車載画像の画像特徴出現情報（画像のヒストグラムや分布など）５２２を対応づけて記憶しておくことで、位置姿勢推定対象の車両と同じ位置だが高さが様々な道路を走行している車載映像から作成した３Ｄ環境マップ２２２群の中から、対象車両で撮影した画像と類似する画像特徴出現情報を持つ３Ｄ環境マップを探索して、対象車両と同じ高さの道路を走行した車載画像による３Ｄ環境マップを特定することができる。

このため、高架上下道路などの緯度経度位置が等しい３Ｄ環境マップ２２２群のなかから正しいマップを特定するので、確実に位置姿勢推定ができ、探索した３Ｄ環境マップ２２２群による位置姿勢推定を試行錯誤して繰り返す必要がなくなる。特に、従来は誤って３Ｄ環境マップを持ってきてしまった経路が重なった道路についても、正しく車載映像の移動体が走行した道路のマップを探索できるので、間違ったマップでの位置姿勢推定をすることが無くなり、省コストかつリアルタイムに位置姿勢推定結果を得ることができるようになる。

なお、実施の形態１では、高架上下道以外に、ＧＰＳの緯度経度だけでは特定ミスが起きやすい（位置姿勢推定対象の車載映像とともに用いるＧＮＳＳ情報のＧＰＳ誤差でどちらを走行しているのか混同しやすい）、すぐ隣を並走する道路どうし（高速道路の本線と高速道路出口へ向かう脇道、など）の３Ｄ環境マップ特定にも利用することができる。

（実施の形態２）
つぎに、実施の形態２について説明する。実施の形態１においては、位置姿勢推定部２１５は、位置姿勢推定処理をおこなうごとに、選定取得した３Ｄ環境マップ２２２を読み込んでメモリ展開して、ＳＬＡＭなどによる計算方法で位置姿勢推定処理をおこなうという構成である。これに対して、実施の形態２では、図１１に示すように、あらかじめメモリ展開済のマップ展開の３Ｄ環境マップ２２２を保管したマップ展開・位置姿勢推定サーバ１１０２（１１０２ａ、１１０２ｂ、１１０２ｃ、・・・）を用意することを特徴とする。

そもそも３Ｄ環境マップはそのデータ量が多いため、位置姿勢推定処理をおこなうたびに、３Ｄ環境マップを読み込み展開していたのでは、リアルタイムな位置姿勢推定処理を実行することが難しい。このため実施の形態２では、位置姿勢推定対象の車載データとＧＮＳＳ情報が入力されるごとに、３Ｄ環境マップを特定して読み込み展開するのではなく、あらかじめ３Ｄ環境マップを展開するマップ展開・位置姿勢推定サーバ１１０２を用意する。

そして、３Ｄ環境マップを特定する際に、あらかじめ該当する３Ｄ環境マップを展開しているマップ展開・位置姿勢推定サーバ１１０２を特定して、当該マップ展開・位置姿勢推定サーバ１１０２を利用し、位置姿勢推定処理に必要な情報を取得する。これにより、３Ｄ環境マップを取得し、取得した後に当該３Ｄ環境マップを自サーバにおいて読み込み展開をするという処理をおこなうことなく、位置姿勢推定処理を実行することができる。このようにして、リアルタイムな位置姿勢推定を実現することができる。

図１１は、実施の形態２にかかる位置姿勢算出方法を実現するシステム構成の一例を示す説明図である。また、図１２は、実施の形態２にかかる３Ｄ環境マップの構成の一例を示す説明図である。図１１において、実施の形態２にかかる位置姿勢算出方法を実現する移動体位置姿勢算出システム１１００は、サーバ１１０１と、移動体２０３に搭載される車載機２０２とを備える。

なお、図１１に示す実施の形態２にかかる位置姿勢算出方法を実現する移動体位置姿勢算出システム１１００において、図２に示した実施の形態１にかかる位置姿勢算出方法を実現する移動体位置姿勢算出システム２００と同じ構成部については同一の符号を付して、その詳細な説明を省略する。同様に、図１２に示す実施の形態２にかかる３Ｄ環境マップ１１２２において、図５に示した３Ｄ環境マップ２２２と同じ構成部については同一の符号を付して、その詳細な説明を省略する。

マップ展開登録部１１１２は、環境マップ作成部２１１で作成した３Ｄ環境マップ２２２を、３Ｄ環境マップＤＢ２１０に登録するとともに、任意の処理サーバ（マップ展開・位置姿勢推定サーバ１１０２（１１０２ａ～１１０２ｃ））に読み込み展開させ、当該マップ展開・位置姿勢推定サーバ１１０２の情報（図１２に示す展開サーバ情報１２０１）を３Ｄ環境マップＤＢ２１０に保持させる。したがって、３Ｄ環境マップＤＢ２１０に登録される３Ｄ環境マップ１１２２（１１２２ａ～１１２２ｃ）は、図５に示した３Ｄ環境マップ２２２における３Ｄマップ要素５０１、作成画像情報５０２のほか、展開サーバ情報１２０１を含む。

なお、展開サーバ情報１２０１は、環境マップ１１２２の一部ではなく、環境マップ１１２２から参照できる別の情報およびＤＢに保持してもよい。すなわち、展開サーバ情報１２０１は、データを実装によっては、別データおよびＤＢに分割保持していてもよい。このように、展開サーバ情報１３０１は、当該環境マップがメモリ展開されている情報処理装置（マップ展開・位置姿勢推定サーバ１２０２）が容易に特定できるように保持されているとよい。

このようにして、複数の環境マップを、当該環境マップの任意の画像情報の撮影装置の位置姿勢の算出をおこなう他の情報処理装置であるマップ展開・位置姿勢推定サーバ１１０２にあらかじめメモリ展開しておくことができる。また、環境マップ１１２２に、当該環境マップがメモリ展開されている情報処理装置（マップ展開・位置姿勢推定サーバ１１０２）に関する「展開サーバ情報１２０１」を登録することができる。

マップ展開・位置姿勢推定サーバ１１０２（１１０２ａ～１１０２ｃ）は、ＳＬＡＭなどの位置姿勢推定処理をおこなう処理サーバである。マップ展開登録部１１１２において指定された任意の３Ｄ環境マップ２２２をあらかじめ読み込んでメモリ展開しておき、ストリームや任意の通信手段によって任意タイミングで処理したい車載データおよびＧＮＳＳ情報を取得して、位置姿勢推定を計算して出力する。

この結果、よりリアルタイムな位置姿勢推定処理が可能となる。１つのマップ展開・位置姿勢推定サーバ１１０２において展開する３Ｄ環境マップ２２２の数は任意であるが、３Ｄ環境マップ２２２を複数、展開した方が、一度に展開した３Ｄ環境マップ２２２群すべてを使った位置姿勢推定ができる。したがって、特に複数のマップからなる経路を走行した車載データの位置姿勢推定をおこなう場合などに、処理時間をより短くできるという利点がある。

マップ画像特徴比較部１１１３は、実施の形態１におけるマップ画像特徴比較部２１３と同様に、位置姿勢推定の対象となる車載映像の任意画像から画像内の画像特徴出現情報５２２相当の情報を抽出して、当該任意画像と似た画像の撮影位置５２１を持つ３Ｄ環境マップ１１２２を探索する。さらに、探索した３Ｄ環境マップ１１２２で最も画像の撮影位置５２１が近い作成画像情報５０２の画像内の画像特徴出現情報５２２と任意画像の同相当情報を比較し、類似度を求める。

そして、その類似度の高さから３Ｄ環境マップ１１２２を特定する。さらに、３Ｄ環境マップ１１２２に含まれるマップ展開・位置姿勢推定サーバ１１０２に関する情報である展開サーバ情報１２０１から、特定した３Ｄ環境マップ１１２２を展開しているマップ展開・位置姿勢推定サーバ１１０２を特定する。

このようにして、複数の環境マップを、当該環境マップの任意の画像情報の撮影装置の位置姿勢の算出をおこなう他の情報処理装置であるマップ展開・位置姿勢推定サーバ１１０２にあらかじめメモリ展開しておき、特定したマップ展開・位置姿勢推定サーバ１１０２に関する情報である展開サーバ情報１２０１を含めて、３Ｄ環境マップ１１２２（１１２２ａ～１１２２ｃ）とすることで、特定された算出用環境マップがメモリ展開されているマップ展開・位置姿勢推定サーバ１１０２を特定することができる。

位置姿勢推定部１１１４は、特定されたマップ展開・位置姿勢推定サーバ１１０２に対して、位置姿勢推定対象の車載動画像およびＧＮＳＳ情報を投入して位置姿勢を算出し、推定位置姿勢２２４を出力する。このようにして、特定されたマップ展開・位置姿勢推定サーバ１１０２によって算出された位置姿勢結果を取得することができる。

（環境マップ作成部２１１・マップ展開登録部１１１２の処理手順）
図１３は、実施の形態２にかかる環境マップ作成部およびマップ展開登録部の処理の一例を示すフローチャートである。図１３のフローチャートにおいて、ステップＳ１３０１～ステップＳ１３０８の各処理は、図６のフローチャートにおけるステップＳ６０１～ステップＳ６０８の各処理と同じ内容である。すなわち、ステップＳ１３０１～ステップＳ１３０８の処理は、環境マップ作成部２１１によっておこなうことができる。

ステップＳ１３０８に引き続き、３Ｄ環境マップ２２２（３Ｄ画像特徴５０１）をマップ展開・位置姿勢推定サーバ１１０２に展開する（ステップＳ１３０９）。そして、３Ｄ画像特徴５０１、間引き画像の作成画像情報５０２（撮影位置５２１、画像特徴出現情報５２２）、展開サーバ情報１２０１を３Ｄ環境マップ１１２２として、３Ｄ環境マップＤＢ２１０に登録する（ステップＳ１３１０）。これにより、一連の処理を終了する。このステップＳ１３０９、Ｓ１３１０の各処理は、たとえば、マップ展開登録部１１１２によっておこなうことができる。

（マップ画像特徴比較部・位置姿勢推定部の処理手順）
図１４は、実施の形態２にかかるマップ画像特徴比較部および位置姿勢推定部の処理の一例を示すフローチャートである。図１４のフローチャートにおいて、ステップＳ１４０１～ステップＳ１４０６の各処理は、図１０のフローチャートにおけるステップＳ１００１～ステップＳ１００６の各処理と同じ内容である。すなわち、ステップＳ１４０１～ステップＳ１４０６の処理は、マップ画像特徴比較部１１１３によっておこなうことができる。

ステップＳ１４０６に引き続き、マップ画像特徴比較部１１１３は、選定された３Ｄ環境マップ１１２２のＤＢ情報として、マップ展開・位置姿勢推定サーバ１１０２の情報である展開サーバ情報１２０１を取得する（ステップＳ１４０７）。

その後、対象車載映像（動画像）・ＧＮＳＳ情報をマップ展開・位置姿勢推定サーバ１１０２に入力する（ステップＳ１４０８）。そして、マップ展開・位置姿勢推定サーバ１１０２から位置姿勢推定結果を取得する（ステップＳ１４０９）。これにより、一連の処理を終了する。このステップＳ１４０８、Ｓ１４０９の各処理は、たとえば、位置姿勢推定部１１１４によっておこなうことができる。

なお、実施の形態１と実施の形態２を混合したシステムとすることもできる。すなわち、位置姿勢推定の要望が多い、または、よりリアルタイムな位置姿勢推定の要望のある道路に関する３Ｄ環境マップなどの一部の３Ｄ環境マップだけを、実施の形態２に示すように、マップ展開・位置姿勢推定サーバ１１０２に展開して、位置姿勢推定処理を実行する。一方、それら以外の道路、位置姿勢推定の要望が少ない、または、よりリアルタイムな位置姿勢推定の要望がない道路では、実施の形態１に示すように、位置姿勢推定の要望がくるたびに随時マップを展開して位置姿勢推定処理を実施するようにしてもよい。

たとえば、多数の車両が走行する幹線道路などの重要な道路だけ、マップ展開・位置姿勢推定サーバ１１０２に展開することで、サーバコストをできるだけ抑えつつ、かつ、できるだけ多くの位置姿勢推定の要求をリアルタイムに実現するシステムとすることができる。

以上説明したように、実施の形態２によれば、あらかじめマップ展開登録部１１１２において、マップ展開・位置姿勢推定サーバ１１０２にマップの読み込み展開を実施しておく。そして、位置姿勢推定処理をおこなうタイミングでは、マップの読み込み展開を不要とする。これにより、ＳＬＡＭなどにおいて処理のボトルネックとなる読み込み展開時間を削減することができる。したがって、より高速かつリアルタイムな位置姿勢推定を実現することができるようになる。

なお、本実施の形態で説明した位置姿勢算出方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。プログラム配信プログラムは、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、位置姿勢算出プログラムは、インターネットなどのネットワークを介して配布してもよい。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）情報処理装置が、
複数の環境マップに含まれる画像情報の画像特徴と、移動体または当該移動体の撮影装置から取得した画像情報の画像特徴との比較をおこない、
前記比較の結果に基づいて、前記複数の環境マップの中から、前記移動体または当該移動体の撮影装置の位置姿勢の算出に用いる算出用環境マップを特定する、
ことを特徴とする位置姿勢算出方法。

（付記２）前記情報処理装置が、
前記撮影装置から取得した画像情報の第１の撮影位置と距離が近い第２の撮影位置の画像情報を有する環境マップを特定し、
前記第１の撮影位置の画像情報の画像特徴と、特定した環境マップの前記第２の撮影位置の画像情報の画像特徴との比較をおこなう、
ことを特徴とする付記１に記載の位置姿勢算出方法。

（付記３）前記情報処理装置が、
前記撮影装置から取得した画像情報の画像特徴と、前記環境マップの画像特徴との類似度に基づいて、特定された前記算出用環境マップの利用優先度を算出する、
ことを特徴とする付記１または２に記載の位置姿勢算出方法。

（付記４）前記画像特徴は、
画像の画像特徴量と画像内位置のリスト、
画像の画像特徴分布またはヒストグラム、
画像の輝度分布またはヒストグラム、
画像の画像特徴の画像内位置変化量と画像内位置のリスト、および
画像の各画素または画素ブロックの画像内位置変化量の分布またはヒストグラム、
の少なくとも一つを含む、
ことを特徴とする付記１～３のいずれか一つに記載の位置姿勢算出方法。

（付記５）前記情報処理装置が、
前記複数の環境マップを、当該環境マップの任意の画像情報の撮影装置の位置姿勢の算出をおこなう他の情報処理装置にあらかじめメモリ展開しておき、
特定された前記算出用環境マップがメモリ展開されている情報処理装置を特定する、
ことを特徴とする付記１～４のいずれか一つに記載の位置姿勢算出方法。

（付記６）前記情報処理装置が、
前記環境マップに、当該環境マップがメモリ展開されている情報処理装置に関する情報を登録する、
ことを特徴とする付記５に記載の位置姿勢算出方法。

（付記７）前記情報処理装置が、
特定された情報処理装置によって算出された位置姿勢結果を取得する、
ことを特徴とする付記５または６に記載の位置姿勢算出方法。

（付記８）前記環境マップの画像特徴出現情報に対して、検索用のインデックスを作成し、
前記インデックスを用いて、複数の環境マップを探索することを特徴とする付記１～７のいずれか一つに記載の位置姿勢算出方法。

（付記９）複数の環境マップに含まれる画像情報の画像特徴と、移動体または当該移動体の撮影装置から取得した画像情報の画像特徴との比較をおこない、
前記比較の結果に基づいて、前記複数の環境マップの中から、前記移動体または当該移動体の撮影装置の位置姿勢の算出に用いる算出用環境マップを特定する処理を情報処理装置に実行させる、
ことを特徴とする位置姿勢算出プログラム。

１００、７０１ 処理対象画像
１０１ 高架下道路
１０２ 高架上道路
１１０、２１０ ３Ｄ環境マップＤＢ
１１１、１１２、２２２（２２２ａ～２２２ｃ）、１１２２（１１２２ａ～１１２２ｃ）） ３Ｄ環境マップ
２００、１１００ 移動体位置姿勢算出システム
２０１、１１０１ サーバ
２０２ 車載機
２０３ 移動体
２０４ ネットワーク
２０５ 衛星
２１１ 環境マップ作成部
２１２ マップ登録部
２１３、１１１３ マップ画像特徴比較部
２１４ マップ取得部
２１５、１１１４ 位置姿勢推定部
２２１（２２１ａ、２２１ｂ） 車載動画像＋ＧＮＳＳ情報
２２３ 推定位置姿勢
５０１ ３Ｄマップ要素（３Ｄ画像特徴）
５０２ 作成画像情報
５２１ （画像の）撮影位置
５２２、７００、８００、９００ （画像内の）画像特徴出現情報
７０２、８０２、９０２ ヒストグラム
７０３、８０３、９０３ 画像特徴分布
１１０２（１１０２ａ～１１０２ｃ） マップ展開・位置姿勢推定サーバ
１１１２ マップ展開登録部
１２０１ 展開サーバ情報

Claims (8)

1. 情報処理装置が、
   複数の環境マップに含まれる画像情報の画像特徴と、移動体または当該移動体の撮影装置から取得した画像情報の画像特徴との比較をおこない、
   前記比較の結果に基づいて、前記複数の環境マップの中から、前記移動体または当該移動体の撮影装置の位置姿勢の算出に用いる算出用環境マップを特定する、
   ことを特徴とする位置姿勢算出方法。
2. 前記情報処理装置が、
   前記撮影装置から取得した画像情報の第１の撮影位置と距離が近い第２の撮影位置の画像情報を有する環境マップを特定し、
   前記第１の撮影位置の画像情報の画像特徴と、特定した環境マップの前記第２の撮影位置の画像情報の画像特徴との比較をおこなう、
   ことを特徴とする請求項１に記載の位置姿勢算出方法。
3. 前記情報処理装置が、
   前記撮影装置から取得した画像情報の画像特徴と、前記環境マップの画像特徴との類似度に基づいて、特定された前記算出用環境マップの利用優先度を算出する、
   ことを特徴とする請求項１または２に記載の位置姿勢算出方法。
4. 前記画像特徴は、
   画像の画像特徴量と画像内位置のリスト、
   画像の画像特徴分布またはヒストグラム、
   画像の輝度分布またはヒストグラム、
   画像の画像特徴の画像内位置変化量と画像内位置のリスト、および
   画像の各画素または画素ブロックの画像内位置変化量の分布またはヒストグラム、
   の少なくとも一つを含む、
   ことを特徴とする請求項１～３のいずれか一つに記載の位置姿勢算出方法。
5. 前記情報処理装置が、
   前記複数の環境マップを、当該環境マップの任意の画像情報の撮影装置の位置姿勢の算出をおこなう他の情報処理装置にあらかじめメモリ展開しておき、
   特定された前記算出用環境マップがメモリ展開されている情報処理装置を特定する、
   ことを特徴とする請求項１～４のいずれか一つに記載の位置姿勢算出方法。
6. 前記情報処理装置が、
   前記環境マップに、当該環境マップがメモリ展開されている情報処理装置に関する情報を登録する、
   ことを特徴とする請求項５に記載の位置姿勢算出方法。
7. 前記情報処理装置が、
   特定された情報処理装置によって算出された位置姿勢結果を取得する、
   ことを特徴とする請求項５または６に記載の位置姿勢算出方法。
8. 複数の環境マップに含まれる画像情報の画像特徴と、移動体または当該移動体の撮影装置から取得した画像情報の画像特徴との比較をおこない、
   前記比較の結果に基づいて、前記複数の環境マップの中から、前記移動体または当該移動体の撮影装置の位置姿勢の算出に用いる算出用環境マップを特定する処理を情報処理装置に実行させる、
   ことを特徴とする位置姿勢算出プログラム。

Images