JP2019045892A - 情報処理装置、情報処理方法、プログラム、及び、移動体 - Google Patents

Abstract

【課題】地図データの画像と観測画像とのマッチング精度を向上させる。【解決手段】第１の情報処理装置は、地図データに登録された登録画像を、移動体の移動する環境に基づいて加工することにより参照画像を生成する参照画像生成部と、前記参照画像と前記移動体から撮影された観測画像とのマッチングを行うマッチング部とを備える。第２の情報処理装置は、撮影された撮影画像から時間により変化する動的要素の少なくとも一部を無効化することにより、地図データに登録する複数の登録画像を生成する登録画像生成部と、前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報を前記登録画像のメタデータとして生成するメタデータ生成部とを備える。本技術は、例えば、自動運転を行う車両等に適用できる。【選択図】図６

Description

本技術は、情報処理装置、情報処理方法、プログラム、及び、移動体に関し、特に、地図データの画像と観測画像とのマッチングを行う場合に用いて好適な情報処理装置、情報処理方法、プログラム、及び、移動体に関する。

従来、事前に異なる位置及び姿勢で撮影した複数の登録画像を含む地図データを作成し、地図データに含まれる登録画像と、車両から撮影した観測画像とのマッチングを行うことにより、車両の自己位置推定を行う技術が開発されている。

また、従来、車両の各センサが車両の周囲をどのように見ることができているかを示す３Ｄモデルを生成し、詳細な地図情報と結合することが提案されている。また、天候情報に基づいて、３Ｄモデルの形状又は他の特性を調整することが提案されている（例えば、特許文献１参照）。

特表２０１６−５２０８８２号公報

しかしながら、登録画像と観測画像とのマッチングを行う場合、両者を撮影したときの環境（例えば、天候、時間帯、車両等の動物体の有無等）が大きく異なると、マッチング精度が低下する。その結果、車両の自己位置推定の精度が低下する。特許文献１では、このマッチング精度の低下を防止する点については、特に検討されていない。

本技術は、このような状況に鑑みてなされたものであり、地図データの画像と観測画像とのマッチング精度を向上させるようにするものである。

本技術の第１の側面の情報処理装置は、地図データに登録された登録画像を、移動体の移動する環境に基づいて加工することにより参照画像を生成する参照画像生成部と、前記参照画像と前記移動体から撮影された観測画像とのマッチングを行うマッチング部とを備える。

本技術の第１の側面の情報処理方法は、情報処理装置が、地図データに登録された登録画像を、移動体の移動する環境に基づいて加工することにより参照画像を生成し、前記参照画像と前記移動体から撮影された観測画像とのマッチングを行う。

本技術の第１の側面のプログラムは、地図データに登録された登録画像を、移動体の移動する環境に基づいて加工することにより参照画像を生成する参照画像生成ステップと、前記参照画像と前記移動体から撮影された観測画像とのマッチングを行うマッチングステップとを含む処理をコンピュータに実行させる。

本技術の第２の側面の移動体は、位置及び姿勢を変更可能な移動体において、前記移動体の周囲を撮影する撮影部と、地図データに登録されている登録画像を、前記移動体の移動する環境に基づいて加工することにより参照画像を生成する参照画像生成部と、前記参照画像と前記撮影部により撮影された観測画像とのマッチングを行うマッチング部と、前記参照画像と前記観測画像とのマッチングの結果に基づいて、前記移動体の位置及び姿勢を推定する位置姿勢推定部と、推定された前記移動体の位置及び姿勢に基づいて、前記移動体の制御を行う移動体制御部とを備える。

本技術の第３の側面の情報処理装置は、撮影された撮影画像から時間により変化する動的要素の少なくとも一部を無効化することにより、地図データに登録する複数の登録画像を生成する登録画像生成部と、前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報を前記登録画像のメタデータとして生成するメタデータ生成部とを備える。

本技術の第３の側面の情報処理方法は、情報処理装置が、撮影された撮影画像から時間により変化する動的要素の少なくとも一部を無効化することにより、地図データに登録する複数の登録画像を生成し、前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報を前記登録画像のメタデータとして生成する。

本技術の第３の側面のプログラムは、撮影された撮影画像から時間により変化する動的要素の少なくとも一部を無効化することにより、地図データに登録する複数の登録画像を生成する登録画像生成ステップと、前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報を前記登録画像のメタデータとして生成するメタデータ生成ステップとを含む処理をコンピュータに実行させる。

本技術の第１の側面においては、地図データに登録された登録画像が、移動体の移動する環境に基づいて加工されることにより参照画像が生成され、前記参照画像と前記移動体から撮影された観測画像とのマッチングが行われる。

本技術の第２の側面においては、移動体の周囲が撮影され、地図データに登録されている登録画像が、前記移動体の移動する環境に基づいて加工されることにより参照画像が生成され、前記参照画像と撮影された観測画像とのマッチングが行われ、前記参照画像と前記観測画像とのマッチングの結果に基づいて、前記移動体の位置及び姿勢が推定され、推定された前記移動体の位置及び姿勢に基づいて、前記移動体の制御が行われる。

本技術の第３の側面においては、撮影された撮影画像から時間により変化する動的要素の少なくとも一部が無効化されることにより、地図データに登録する複数の登録画像が生成され、前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報が前記登録画像のメタデータとして生成される。

本技術の第１乃至第３の側面によれば、地図データの画像と観測画像とのマッチング精度が向上する。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

本技術が適用され得る車両制御システムの概略的な機能の構成例を示すブロック図である。 本技術を適用したマップ生成システムの一実施の形態を示すブロック図である。 マップ生成処理を説明するためのフローチャートである。 キーフレームの生成方法を説明するための図である。 キーフレームマップの例を示す模式図である。 本技術を適用した自己位置推定システムの一実施の形態を示すブロック図である。 自己位置推定処理を説明するためのフローチャートである。 ダイナミックキーフレームの例を示す模式図である。 キーフレームと観測画像の例を示す模式図である。 コンピュータの構成例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．車両制御システムの構成例
２．実施の形態
３．変形例
４．その他

＜＜１．車両制御システムの構成例＞
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。

車両制御システム１００は、車両１０に設けられ、車両１０の各種の制御を行うシステムである。なお、以下、車両１０を他の車両と区別する場合、自車又は自車両と称する。

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

例えば、データ取得部１０２は、車両１０の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、車両１０の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、車両１０の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、車両１０の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、車両１０の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両１０と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両１０に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、車両１０の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、車両１０の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、車両１０の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両１０の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、車両１０の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両１０の衝突警告、又は、車両１０のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、車両１０の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、車両１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の状態の検出処理を行う。検出対象となる車両１０の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、車両１０及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両１０の周囲の信号の位置及び状態、車両１０の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の認識処理を行う。例えば、状況認識部１５３は、車両１０の状況、車両１０の周囲の状況、及び、車両１０の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、車両１０の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

認識対象となる車両１０の状況には、例えば、車両１０の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる車両１０の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の予測処理を行う。例えば、状況予測部１５４は、車両１０の状況、車両１０の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる車両１０の状況には、例えば、車両１０の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両１０の周囲の状況には、例えば、車両１０の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための車両１０の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した車両１０の行動を示すデータを動作計画部１６３等に供給する

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための車両１０の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した車両１０の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、車両１０の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両１０の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。緊急事態回避部１７１は、計画した車両１０の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

＜＜２．実施の形態＞＞
次に、図２乃至図９を参照して、本技術の実施の形態について説明する。

なお、本技術は、図１の車両制御システム１００のうち主にデータ取得部１０２及び自己位置推定部１３２の処理、並びに、自己位置推定処理に用いられる地図データの生成処理に関連する技術である。

＜マップ生成システムの構成例＞
図２は、本技術を適用したマップ生成システムの一実施の形態を示すブロック図である。

マップ生成システム２００は、例えば、図１の車両制御システム１００が設けられる車両１０とは異なる車両１１に設けられる。そして、マップ生成システム２００は、車両制御システム１００において自己位置推定処理に用いられる地図データであるキーフレームマップを生成する。

キーフレームマップは、車両１１から異なる位置及び姿勢で撮影された複数の撮影画像（以下、マップ用画像と称する）に基づいて生成される複数の登録画像（以下、キーフレームと称する）、及び、各キーフレームのメタデータを含む。

マップ生成システム２００は、マップ用データ取得部２０１、マップ生成部２０２、マテリアルテーブル記憶部２０３、及び、マップ記憶部２０４を備える。

マップ用データ取得部２０１は、キーフレームマップの生成に用いられるデータであるマップ用データを取得する。マップ用データ取得部２０１は、ステレオカメラ２１１、デプスセンサ２１２、及び、センサ部２１３を備える。

ステレオカメラ２１１は、左カメラ２１１Ｌ及び右カメラ２１１Ｒを備える。左カメラ２１１Ｌ及び右カメラ２１１Ｒは、左右の異なる方向から車両１１の前方の撮影（ステレオ撮影）を行い、撮影の結果得られる画像（マップ用画像）をマップ生成部２０２に供給する。

なお、以下、左カメラ２１１Ｌにより撮影されるマップ用画像と右カメラ２１１Ｒにより撮影されるマップ用画像とを個々に区別する場合、前者を左マップ用画像と称し、後者を右マップ用画像と称する。

デプスセンサ２１２は、車両１１の前方の各物体までの距離（デプス）を検出し、検出結果を示すデプス情報をマップ生成部２０２に供給する。

センサ部２１３は、例えば、車両１１の位置及び姿勢の推定に用いるデータを検出する各種のセンサを備える。例えば、センサ部２１３は、車両１１の加速度及び角速度等を検出するＩＭＵ、並びに、ＧＮＳＳ衛星からＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。センサ部２１３は、各センサから出力されるセンサデータをマップ生成部２０２に供給する。

マップ生成部２０２は、キーフレームマップに登録するキーフレーム、及び、各キーフレームに関するメタデータを生成し、マップ記憶部２０４に記憶されているキーフレームマップに登録する処理を行う。マップ生成部２０２は、位置姿勢推定部２２１、登録判定部２２２、登録画像生成部２２３、及び、メタデータ生成部２２４を備える。

位置姿勢推定部２２１は、マップ用データ取得部２０１から供給されるマップ用データに基づいて、車両１１の位置及び姿勢を推定する。位置姿勢推定部２２１は、推定結果を登録判定部２２２及びメタデータ生成部２２４に供給する。

登録判定部２２２は、車両１１の位置及び姿勢の推定結果、マップ用画像、及び、マップ記憶部２０４に記憶されているキーフレームマップに登録されているキーフレームに基づいて、キーフレームの登録判定を行う。登録判定部２２２は、キーフレームの登録を行うと判定した場合、キーフレームの生成に用いるマップ用画像及びデプス情報を、登録画像生成部２２３の動物体領域無効化部２３１に供給する。

登録画像生成部２２３は、キーフレームマップの登録画像であるキーフレームの生成処理を行う。登録画像生成部２２３は、動物体領域無効化部２３１、ＣＧ（Computer Graphics）処理部２３２、及び、陰影除去部２３３を備える。

動物体領域無効化部２３１は、デプス情報等に基づいて、マップ用画像内の動物体が存在する動物体領域を検出し、動物体領域を無効化する処理を行う。動物体領域無効化部２３１は、動物体領域を無効化したマップ用画像、及び、デプス情報をＣＧ処理部２３２に供給する。

ＣＧ処理部２３２は、マップ用画像に対してＣＧ処理を行うことにより、ポリゴンメッシュを生成する。ＣＧ処理部２３２は、生成したポリゴンメッシュ、及び、デプス情報を陰影除去部２３３に供給する。

陰影除去部２３３は、マテリアルテーブル記憶部２０３に記憶されているマテリアルテーブル等に基づいて、ポリゴンメッシュのテクスチャの陰影を除去する。陰影除去部２３３は、陰影を除去したポリゴンメッシュをキーフレームとしてメタデータ生成部２２４に供給する。

メタデータ生成部２２４は、キーフレームに関するメタデータを生成する。そして、メタデータ生成部２２４は、マップ記憶部２０４に記憶されているキーフレームマップに、キーフレームとメタデータを関連付けて登録する。

マテリアルテーブル記憶部２０３は、マテリアルテーブルを記憶する。

ここで、マテリアルテーブルとは、様々な物質の物性（マテリアル特性）及び特徴等を一覧にしたものである。マテリアル特性は、例えば、各物質について、金属又は非金属であるか、鏡面反射係数及び拡散反射係数、ざらつき係数等の情報を含む。

マップ記憶部２０４は、キーフレームマップを記憶する。

なお、マテリアルテーブル記憶部２０３及びマップ記憶部２０４は、必ずしも車両１１に設ける必要はなく、例えば、外部のサーバ等に設けてもよい。

＜マップ生成処理＞
次に、図３のフローチャートを参照して、マップ生成システム２００により実行されるマップ生成処理について説明する。この処理は、例えば、マップ生成システムに対して、マップ生成処理の開始の指令が入力されたとき開始され、マップ生成処理の終了の指令が入力されたとき終了する。

ステップＳ１において、マップ用データ取得部２０１は、マップ生成用データを取得する。

具体的には、ステレオカメラ２１１の左カメラ２１１Ｌ及び右カメラ２１１Ｒは、車両１１の前方を撮影し、それぞれ得られた左マップ用画像及び右マップ用画像をマップ生成部２０２に供給する。

デプスセンサ２１２は、車両１１の前方の各物体までのデプスを検出し、検出結果を示すデプス情報をマップ生成部２０２に供給する。

センサ部２１３の各センサは、それぞれ各種のデータの検出処理を行い、検出結果を示すセンサデータをマップ生成部２０２に供給する。

ステップＳ２において、位置姿勢推定部２２１は、車両１１の位置及び姿勢を推定する。

なお、車両１１の位置及び姿勢の推定方法には、任意の手法を採用することができる。例えば、ＲＴＫ（Real Time Kinematic）−ＧＮＳＳやＬｉＤＡＲ等を用いた高性能な推定方法が用いられる。なお、ＬｉＤＡＲを用いる場合、例えば、図２のマップ用データ取得部２０１にＬｉＤＡＲが設けられる。

位置姿勢推定部２２１は、車両１１の位置及び姿勢の推定結果を登録判定部２２２及びメタデータ生成部２２４に供給する。

ステップＳ３において、登録判定部２２２は、キーフレームを追加するか否かを判定する。例えば、登録判定部２２２は、前回キーフレームを追加した後の車両１１の位置及び姿勢の変化量が所定の閾値以上である場合、キーフレームを追加すると判定する。一方、登録判定部２２２は、前回キーフレームを追加した後の車両１１の位置及び姿勢の変化量が所定の閾値未満である場合、キーフレームを追加しないと判定する。

なお、このとき、登録判定部２２２は、車両１１の位置及び姿勢の変化量に加えて、最新のマップ生成用画像と類似するキーフレームがキーフレームマップに登録されているか否かに基づいて判定を行うようにしてもよい。

例えば、登録判定部２２２は、マップ記憶部２０４に記憶されているキーフレームマップに登録されているキーフレームの中から、メタデータとして付加されている位置姿勢情報が、車両１１の現在の位置及び姿勢に近いキーフレームを抽出する。次に、登録判定部２２２は、抽出したキーフレームと最新のマップ用画像との類似度を算出する。そして、登録判定部２２２は、類似度が所定の閾値未満である場合、すなわち、現在の車両１１の周囲においてキーフレームの登録実績がない場合、キーフレームを追加すると判定する。一方、登録判定部２２２は、類似度が所定の閾値以上である場合、すなわち、現在の車両１１の周囲においてキーフレームの登録実績がある場合、キーフレームを追加しないと判定する。

そして、ステップＳ３において、キーフレームを追加しないと判定された場合、処理はステップＳ１に戻る。その後、ステップＳ３において、キーフレームを追加すると判定されるまで、ステップＳ１乃至ステップＳ３の処理が繰り返し実行される。

一方、ステップＳ３において、キーフレームを追加すると判定された場合、処理はステップＳ４に進む。このとき、登録判定部２２２は、マップ用画像及びデプス情報を動物体領域無効化部２３１に供給する。

ステップＳ４において、動物体領域無効化部２３１は、マップ用画像の動物体領域を無効化する。

例えば、動物体領域無効化部２３１は、デプス情報等を用いて、左右のマップ用画像に対してそれぞれセマンティックセグメンテーションを行い、動物体が存在する動物体領域を検出する。

ここで、検出対象となる動物体には、例えば、車両、人、動物等が含まれる。また、検出対象となる動物体の種類は、任意に設定することが可能である。さらに、例えば、検出対象となる動物体の種類を予め設定しておいてもよいし、サーバ等から取得した情報に基づいて動的に設定するようにしてもよい。

また、セマンティックセグメンテーションには、例えば、ディープラーニング等の学習処理で事前に得られたモデルが使用される。

そして、動物体領域無効化部２３１は、左右のマップ用画像の時間により変化する動的要素の１つである動物体領域を無効化する。

ここで、マップ用画像の動物体領域を無効化するとは、これ以降の処理において、動物体領域を処理の対象外とすることである。動物体領域を無効化する方法には、任意の方法を採用することができる。

例えば、動物体領域無効化部２３１は、動物体領域の位置等に関するメタデータを生成し、左右のマップ用画像と関連付ける。これにより、後段の処理において、メタデータに基づいて、動物体領域が処理の対象外に設定される。

或いは、動物体領域無効化部２３１は、例えば、動物体領域を所定の色（例えば、黒又は白）で塗りつぶす等により、マップ用画像から動物体領域を除去する。

なお、動物体領域無効化部２３１は、動物体領域を除去した後、除去した領域に動物体の背景の画像等を補間することも可能である。この場合、例えば、図４のマップ用画像２５１からマップ用画像２５２が生成される。マップ用画像２５２においては、マップ用画像２５１から車両及び人が除去され、その背景の画像が補間されている。なお、図４では、左右のマップ用画像のうち一方のみを示している。

なお、動物体の背景の画像を補間する方法には、任意の方法を採用することが可能である。例えば、他の時間帯に同様の位置及び姿勢において撮影されたマップ用画像や、同様の位置及び姿勢におけるキーフレームを用いて、背景の画像を補間するようにしてもよい。或いは、例えば、事前の学習処理により生成されたモデルを用いて、背景の画像を推定し、推定された画像を補間するようにしてもよい。

なお、以下、主に動物体の背景の画像が補間された場合の例について説明する。

ステップＳ５において、ＣＧ処理部２３２は、ポイントクラウドを生成する。具体的には、ＣＧ処理部２３２は、デプス情報に基づいて、動物体領域を無効化した後の左右のマップ用画像をそれぞれポイントクラウドに変換する。

なお、以下、特に区別する必要がある場合、左マップ用画像に対応するポイントクラウドを左ポイントクラウドと称し、右マップ用画像に対応するポイントクラウドを右ポイントクラウドと称する。

ステップＳ６において、ＣＧ処理部２３２は、ポイントクラウドを用いて、ポリゴンメッシュを生成する。なお、ポリゴンメッシュの生成方法には、例えば、マーチングキューブ、双対法等の面生成手法を用いることが可能である。

なお、以下、特に区別する必要がある場合、左ポイントクラウドに対応するポリゴンメッシュを左ポリゴンメッシュと称し、右ポイントクラウドに対応するポリゴンメッシュを右ポリゴンメッシュと称する。

ステップＳ７において、ＣＧ処理部２３２は、テクスチャマッピングを行う。具体的には、ＣＧ処理部２３２は、左右のマップ用画像の色情報を用いて、左右のポリゴンメッシュに対してテクスチャマッピングを行う。このとき、ＣＧ処理部２３２は、例えば、ステレオカメラ２１１とデプスセンサ２１２の位置及び姿勢のオフセットをキャリブレーションにより事前に求めておき、そのオフセットに基づいて、ポリゴンメッシュの各ポリゴンに対して色情報をマッピングする。ＣＧ処理部２３２は、テクスチャマッピングを行った後の左右のポリゴンメッシュを陰影除去部２３３に供給する。

ステップＳ８において、陰影除去部２３３は、陰影を除去する。すなわち、陰影除去部２３３は、左右のポリゴンメッシュにマッピングされたテクスチャの陰影を除去する。これにより、左右のマップ用画像の動的要素の１つである画像の陰影が無効化される。

以上のステップＳ５乃至ステップＳ８の処理により、例えば、図４のマップ用画像２５２から陰影が除去されたポリゴンメッシュからなるキーフレーム２５３が生成される。なお、この図では、図を分かりやすくするために、キーフレーム２５３をポリゴンメッシュではなく通常の画像により表している。

なお、ポリゴンメッシュの陰影除去には、任意の手法を採用することが可能である。

例えば、陰影除去部２３３は、カラー画像を用いたディープラーニングにより事前に学習したモデルを用いて、ポリゴンメッシュの陰影を除去する。

或いは、例えば、陰影除去部２３３は、マテリアルテーブル記憶部２０３に記憶されているマテリアルテーブルに基づいて、ポリゴンメッシュの各ポリゴンのマテリアル特性を推定する。次に、陰影除去部２３３は、マップ用画像、デプス情報、及び、マテリアル特性の推定結果に基づいて、光源の位置を推定する。そして、陰影除去部２３３は、各ポリゴンのマテリアル特性の推定結果に基づいて、光源の影響による陰影を各ポリゴンのテクスチャから除去する。

或いは、例えば、人が、所定のソフトウェアを用いて、ポリゴンメッシュの陰影を除去するようにしてもよい。

陰影除去部２３３は、陰影除去後の左右のポリゴンメッシュを左右のキーフレームとしてメタデータ生成部２２４に供給する。

ステップＳ９において、メタデータ生成部２２４は、位置姿勢情報を生成する。具体的には、メタデータ生成部２２４は、ステップＳ２の処理で推定された車両１１の位置及び姿勢を示す位置姿勢情報を生成する。

ステップＳ１０において、メタデータ生成部２２４は、マテリアル情報を生成する。例えば、メタデータ生成部２２４は、マテリアルテーブル記憶部２０３に記憶されているマテリアルテーブルに基づいて、左右のキーフレーム（ポリゴンメッシュ）の各ポリゴンのマテリアル特性を推定する。なお、ステップＳ８の処理において、左右のポリゴンメッシュの各ポリゴンのマテリアル特性がすでに推定されている場合、この推定処理は省略することができる。そして、メタデータ生成部２２４は、左右のキーフレームの各ポリゴンのマテリアル特性の推定結果を示すマテリアル情報を生成する。

ステップＳ１１において、メタデータ生成部２２４は、キーフレームを追加する。具体的には、メタデータ生成部２２４は、左右のキーフレーム、並びに、位置姿勢情報及びマテリアル情報を含むメタデータを関連付けて、マップ記憶部２０４に記憶されているキーフレームマップに追加する。

例えば、図５に示されるように、左マップ用画像から生成された左キーフレーム２５４Ｌ、及び、右マップ用画像から生成された右キーフレーム２５４Ｒが、キーフレームマップに追加される。なお、左キーフレーム２５４Ｌ及び右キーフレーム２５４Ｒは、実際にはポリゴンメッシュからなるが、図を分かりやすくするために、通常の画像により表している。

なお、以下、左右の対となる２つのキーフレームを合わせてキーフレームペアと称する。従って、キーフレームマップには、複数のキーフレームペアが登録されている。

その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。

このようにして、車両１１が走行しながら異なる位置及び姿勢で撮影した左右のマップ用画像に基づいて、左右のマップ用画像の動的要素の少なくとも一部が無効化されたキーフレームペアが生成され、キーフレームマップに追加される。また、各キーフレームペアに対して、位置姿勢情報及びマテリアル情報を含むメタデータが付与される。

＜マップ生成システムの構成例＞
図６は、本技術を適用した自己位置推定システムの一実施の形態を示すブロック図である。

自己位置推定システム３００は、図１の車両制御システム１００の主に自己位置推定部１３２の処理に対応する処理を行うシステムである。具体的には、自己位置推定システム３００は、マップ生成システム２００により生成されたキーフレームマップを用いて、自己位置推定システム３００が設けられている車両１０の位置及び姿勢を推定する自己位置推定処理を行う。

自己位置推定システム３００は、観測データ取得部３０１、自己位置推定部３０２、及び、マップ記憶部３０３を備える。

観測データ取得部３０１は、自己位置推定処理に用いられるデータ（以下、観測データと称する）を取得する。観測データ取得部３０１は、ステレオカメラ３１１、デプスセンサ３１２、及び、センサ部３１３を備える。

ステレオカメラ３１１は、左カメラ３１１Ｌ及び右カメラ３１１Ｒを備える。左カメラ３１１Ｌ及び右カメラ３１１Ｒは、左右の異なる方向から車両１０の前方の撮影（ステレオ撮影）を行い、撮影の結果得られた画像（以下、観測画像と称する）を自己位置推定部３０２に供給する。

なお、以下、左カメラ３１１Ｌにより撮影される観測画像と右カメラ３１１Ｒにより撮影される観測画像とを個々に区別する場合、前者を左観測画像と称し、後者を右観測画像と称する。

デプスセンサ３１２は、車両１０の前方の各物体までの距離（デプス）を検出し、検出結果を示すデプス情報を自己位置推定部３０２に供給する。

センサ部３１３は、例えば車両１０の位置及び姿勢、並びに、車両１０の周囲の環境の推定に用いるデータを検出する各種のセンサを備える。例えば、センサ部３１３は、車両１０の加速度及び角速度等を検出するＩＭＵ、ＧＮＳＳ衛星からＧＮＳＳ信号を受信するＧＮＳＳ受信機、照度計、風量センサ、風向センサ、レーダ、偏光カメラ等を備える。センサ部３１３は、各センサから出力されるセンサデータを自己位置推定部３０２に供給する。

自己位置推定部３０２は、車両１０の位置及び姿勢を推定する自己位置推定処理を行う。自己位置推定部３０２は、環境推定部３２１、暫定位置姿勢推定部３２２、参照画像生成部３２３、デプス推定部３２４、動物体領域無効化部３２５、マッチング部３２６、及び、最終位置姿勢推定部３２７を備える。

環境推定部３２１は、観測データ、及び、環境情報サーバ３４０から供給される環境情報に基づいて、車両１０の周囲の環境の推定を行う。環境情報は、例えば、車両１０の周囲の天候に関する情報を含む。環境推定部３２１は、車両１０の周囲の環境の推定結果を参照画像生成部３２３に供給する。

暫定位置指定推定部３２２は、観測データに基づいて、車両１０の暫定的な位置（以下、暫定位置と称する）及び姿勢（以下、暫定姿勢と称する）の推定を行う。暫定位置指定推定部３２２は、車両１０の暫定位置及び暫定姿勢の推定結果を参照画像生成部３２３に供給する。

参照画像生成部３２３は、マップ記憶部３０３に記憶されているキーフレームマップから、車両１０の暫定位置及び暫定姿勢に近い位置及び姿勢において生成されたキーフレームペア（左右のキーフレーム）を抽出する。参照画像生成部３２３は、車両１０の周囲の環境（車両１０の移動する環境）に基づいて、抽出した左右のキーフレームを加工することにより、左右の参照画像であるダイナミックキーフレームを生成する。参照画像生成部３２３は、生成した左右のダイナミックキーフレームをデプス推定部３２４及びマッチング部３２６に供給する。

デプス推定部３２４は、左右のダイナミックキーフレームのステレオマッチングを行うことにより、各ダイナミックキーフレームの各画素のデプスを推定する。デプス推定部３２４は、ダイナミックキーフレームの各画素のデプスの推定結果を最終位置姿勢推定部３２７に供給する。

動物体領域無効化部３２５は、図２のマップ生成システム２００の動物体領域無効化部２３１と同様に、観測画像の動物体領域を無効化する。動物体領域無効化部３２５は、動物体領域を無効化した観測画像をマッチング部３２６に供給する。

マッチング部３２６は、観測画像とダイナミックキーフレームとのマッチング処理を行う。マッチング部３２６は、観測画像、ダイナミックキーフレーム、及び、マッチング処理の結果を最終位置姿勢推定部３２７に供給する。

最終位置姿勢推定部３２７は、観測画像、ダイナミックキーフレーム、ダイナミックキーフレームの各画素のデプスの推定結果、及び、観測画像とダイナミックキーフレームとのマッチング処理の結果に基づいて、車両１０の最終的な位置及び姿勢の推定を行う。最終位置姿勢推定部３２７は、車両１０の位置及び姿勢の最終的な推定結果を出力する。

マップ記憶部３０３は、図２のマップ生成システム２００により生成されるキーフレームマップを記憶する。

なお、マップ記憶部３０３は、必ずしも車両１０に設ける必要はなく、外部のサーバ等に設けてもよい。マップ記憶部２０４及びマップ記憶部３０３がともに外部のサーバに設けられる場合、例えば、図２のマップ記憶部２０４とマップ記憶部３０３を共通化することも可能である。

＜自己位置推定処理＞
次に、図７のフローチャートを参照して、自己位置推定システム３００により実行される自己位置推定処理について説明する。なお、この処理は、自己位置推定システム３００が設けられている車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。

ステップＳ１０１において、観測データ取得部３０１は、観測データを取得する。

具体的には、ステレオカメラ３１１の左カメラ３１１Ｌ及び右カメラ３１１Ｒは、車両１０の前方を撮影し、それぞれ得られた左観測画像及び右観測画像を自己位置推定部３０２に供給する。

デプスセンサ３１２は、車両１０の前方の各物体までのデプスを検出し、検出結果を示すデプス情報を自己位置推定部３０２に供給する。

センサ部３１３の各センサは、それぞれ各種のデータの検出処理を行い、検出結果を示すセンサデータを自己位置推定部３０２に供給する。

ステップＳ１０２において、暫定位置姿勢推定部３２２は、車両１０の暫定的な位置及び姿勢を推定する。具体的には、暫定位置姿勢推定部３２２は、前回のステップＳ１１１の処理（後述）において推定された最新の車両１０の絶対位置及び絶対姿勢に対する現在の車両１０の相対位置及び相対姿勢を推定する。

なお、車両１０の相対位置及び相対姿勢を推定する手法には、任意の手法を採用することができる。例えば、観測画像及びデプス情報を用いたＳＬＡＭ、ＩＭＵを用いた慣性航法、車速パルスを用いたオドメトリ等の手法を用いることが可能である。また、複数の手法による推定結果を、カルマンフィルタやパーティクルフィルタなどの統計的なフィルタを用いて足し込むようにしてもよい。

そして、暫定位置姿勢推定部３２２は、最新の車両１０の絶対位置及び絶対姿勢に、推定した相対位置及び相対姿勢を加算することにより、現在の車両１０の暫定的な位置（暫定位置）及び姿勢（暫定姿勢）を推定する。暫定位置姿勢推定部３２２は、暫定位置及び暫定姿勢の推定結果を参照画像生成部３２３に供給する。

なお、最初のステップＳ１０２の処理においては、まだステップＳ１１１の処理が行われていないため、例えば、別の方法により事前に車両１０の絶対位置及び絶対姿勢が推定される。

ステップＳ１０３において、参照画像生成部３２３は、現在の車両１０に近い位置及び姿勢のキーフレームを抽出する。具体的には、参照画像生成部３２３は、マップ記憶部３０３に記憶されているキーフレームマップの各キーフレームペアに付加されている位置姿勢情報と、推定された車両１０の暫定位置及び暫定姿勢とを比較する。そして、参照画像生成部３２３は、暫定位置及び暫定姿勢との差が所定の範囲内の位置姿勢情報が付加されているキーフレームペアを抽出する。

なお、このとき、複数のキーフレームペアが抽出される場合があるが、以下の説明では、説明を簡単にするために、１つのキーフレームペアが抽出された場合について説明する。

ステップＳ１０４において、環境推定部３２１は、車両１０の周囲の環境を推定する。例えば、環境推定部３２１は、観測データに基づいて、車両１０の周囲の光源の位置及び照度、天候、風向き、風速等を推定する。環境推定部３２１は、推定結果を参照画像生成部３２３に供給する。

なお、環境の推定方法には、任意の手法を採用することができる。また、例えば、車両１０の周囲の環境の推定に、環境情報サーバ３４０から供給される環境情報を用いることも可能である。

ステップＳ１０５において、参照画像生成部３２３は、推定された環境をキーフレームに対応する環境に補正する。具体的には、環境推定部３２１により推定された環境は、現在の車両１０の位置及び姿勢における環境であり、ステップＳ１０３の処理で抽出した各キーフレームペアに対応する位置及び姿勢における環境と異なる場合がある。そこで、参照画像生成部３２３は、暫定位置及び暫定姿勢と、抽出した各キーフレームペアに対応する位置及び姿勢との差に基づいて、環境推定部３２１により推定された環境を、各キーフレームペアに対応する位置及び姿勢における環境に補正する。これにより、光源の位置、風向き等が補正される。

ステップＳ１０６において、参照画像生成部３２３は、ダイナミックキーフレームを生成する。具体的には、参照画像生成部３２３は、抽出したキーフレームペアに含まれる左右のキーフレームを、補正後の環境（例えば、天候、光源、風等）、及び、キーフレームのマテリアル情報に基づいて加工することにより、左右のダイナミックキーフレームを生成する。

例えば、図８に示されるように、推定された光源及び天候に基づくエフェクトをキーフレーム３５１に加えることにより、ダイナミックキーフレーム３５２が生成される。ダイナミックキーフレーム３５２では、キーフレーム３５１に対して、木の影や、降り注ぐ雨が付加されている。

また、例えば、推定された光源に基づくエフェクトをキーフレーム３５１に加えることにより、ダイナミックキーフレーム３５３が生成される。ダイナミックキーフレーム３５３では、キーフレーム３５１に対して、ビルや木の影が付加されている。

さらに、例えば、推定された光源、風向き及び風量に基づくエフェクトをキーフレーム３５１に加えることにより、ダイナミックキーフレーム３５４が生成される。ダイナミックキーフレーム３５４では、キーフレーム３５１に対して、木の影や、風でなびく木の様子が付加されている。

なお、図８のキーフレーム３５１、及び、ダイナミックキーフレーム３５２乃至ダイナミックキーフレーム３５４は、実際にはポリゴンメッシュからなるが、図を分かりやすくするために、通常の画像により示している。

参照画像生成部３２３は、生成した左右のダイナミックキーフレームをデプス推定部３２４及びマッチング部３２６に供給する。

ステップＳ１０７において、デプス推定部３２４は、ダイナミックキーフレームのデプス推定を行う。具体的には、デプス推定部３２４は、左右のダイナミックキーフレームのステレオマッチングを行い、各画素のデプスを推定する。デプス推定部３２４は、左右のダイナミックキーフレームの各画素のデプスの推定結果を最終位置姿勢推定部３２７に供給する。

ステップＳ１０８において、動物体領域無効化部３２５は、観測画像の動物体領域を無効化する。具体的には、動物体領域無効化部３２５は、図７のステップＳ４の処理と同様に、観測画像の動物体領域を無効化する。動物体領域無効化部３２５は、動物体領域を除去した後の観測画像をマッチング部３２６に供給する。

このとき、左右の観測画像のうち一方のみを自己位置推定処理に用いるようにして、その一方の観測画像に対してのみ動物体領域を無効化するようにしてもよい。なお、以下、左観測画像のみを自己位置推定処理に用いる場合を例に挙げて説明する。

ステップＳ１０９において、マッチング部３２６は、観測画像及びダイナミックキーフレームの特徴点を抽出する。例えば、マッチング部３２６は、動物体領域が無効化された左観測画像の特徴点、及び、左ダイナミックキーフレームの特徴点を抽出するとともに、抽出した特徴点に対する特徴量を算出する。

なお、特徴点及び特徴量には、任意の種類のものを用いることができる。例えば、特徴点には、ハリスコーナ等を用いることができる。特徴量には、例えば、特徴点を中心とするテンプレート画像、ＡＫＡＺＥ、又は、ＯＲＢ等を用いることができる。

ステップＳ１１０において、マッチング部３２６は、観測画像とダイナミックキーフレームのマッチングを行う。具体的には、マッチング部３２６は、抽出した特徴点及び特徴量に基づいて、左観測画像と左ダイナミックキーフレームの特徴点マッチングを行う。マッチング部３２６は、左観測画像、左ダイナミックキーフレーム、及び、特徴点マッチング処理の結果を最終位置姿勢推定部３２７に供給する。

ステップＳ１１１において、最終位置姿勢推定部３２７は、車両１０の最終的な位置及び姿勢を推定する。具体的には、最終位置姿勢推定部３２７は、特徴点マッチングにより対応付けられた各特徴点の左ダイナミックキーフレームにおける３次元座標、及び、左観測画像における２次元座標に基づいて、左ダイナミックキーフレームの原点を基準とする左カメラ３１１Ｌの相対的な位置及び姿勢を推定する。なお、左ダイナミックキーフレームにおける各特徴点のｚ軸方向（デプス方向）の座標は、ステップＳ１０７のデプス推定の処理の結果に基づくものである。

なお、この位置及び姿勢の推定方法には、例えば、Ｐ３Ｐ、ＲＡＮＳＡＣ（Random Sample Consensus）等の任意の手法を採用することができる。

次に、最終位置姿勢推定部３２７は、左ダイナミックキーフレームの生成に用いられた左キーフレームの位置姿勢情報に基づいて、推定した左カメラ３１１Ｌの相対的な位置及び姿勢を絶対的な位置及び姿勢に変換する。

そして、最終位置姿勢推定部３２７は、左カメラ３１１Ｌと車両１０の所定の位置（例えば、後輪の車軸の中心）との間の位置及び姿勢のオフセットに基づいて、左カメラ３１１Ｌの絶対的な位置及び姿勢を車両１０の絶対的な位置及び姿勢に変換する。

なお、左カメラ３１１Ｌと車両１０との間の位置及び姿勢のオフセットには、例えば、事前のキャリブレーションで求めた値、又は、設計値等が用いられる。

最終位置姿勢推定部３２７は、推定した車両１０の絶対位置及び絶対姿勢を示す自己位置推定情報を出力する。この自己位置推定情報は、例えば、図１のマップ解析部１５１及び交通ルール認識部１５２等に供給され、自律走行又は運転支援等の自動運転に関する制御に用いられる。

その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。

以上のようにして、車両の位置及び姿勢の推定精度を向上させることができる。

例えば、図９は、同じ位置及び姿勢において異なる時間帯に撮影された画像の例を模式的に示している。画像３６１は、図４のマップ用画像２５１と同様の画像であり、画像３６２は、図８のダイナミックキーフレーム３５３と同様の画像（ただし、ポリゴンメッシュではない）である。

例えば、画像３６１をキーフレームとし、画像３６２を観測画像とした場合、両者の相違点が多いため、マッチング精度が低下する。その結果、車両の位置及び姿勢の推定精度が低下する。

一方、本技術では、例えば、画像３６１の動物体や陰影等の動的要素が無効化された図４のキーフレーム２５３が生成され、キーフレーム２５３に基づいて、図８のダイナミックキーフレーム３５３が生成される。そして、ダイナミックキーフレーム３５３と観測画像３６２とのマッチングが行われるため、マッチング精度が向上する。その結果、車両の位置及び姿勢の推定精度が向上する。

また、本技術では、同様の位置及び姿勢に対して、環境（例えば、天候、時間帯等）に応じて複数のキーフレームを生成し、登録する必要がない。従って、キーフレームマップの容量の増大を抑制することができる。

＜＜３．変形例＞＞
以下、上述した本開示に係る技術の実施の形態の変形例について説明する。

以上の説明では、マップ用画像の動的要素として動物体領域及び陰影を無効化する例を示したが、無効化する動的要素は任意に変更することが可能である。例えば、マップ用画像内の雨や雪等の天候に伴う動的要素を無効化するようにしてもよい。

また、以上の説明では、キーフレームのポリゴン毎にマテリアル特性を推定し、マテリアル情報を生成する例を示したが、例えば、セマンティックセグメンテーションの結果に基づいて、キーフレーム内の物体毎にマテリアル特性を推定し、マテリアル情報を生成するようにしてもよい。

さらに、例えば、マップ生成システム２００において、デプスセンサ２１２を用いずに、ステレオカメラ２１１により撮影された左右のマップ用画像のステレオマッチングを行うことにより、デプス情報を推定するようにしてもよい。同様に、自己位置推定システム３００において、デプスセンサ３１２を用いずに、ステレオカメラ３１１により撮影された左右の観測画像のステレオマッチングを行うことにより、デプス情報を推定するようにしてもよい。

また、以上の説明では、キーフレームマップの生成を行う車両と自己位置推定を行う車両を別にする例を示したが、例えば、車両１０にマップ生成システム２００も設けて、キーフレームマップの生成も行うようにしてもよい。

さらに、例えば、複数の車両を用いて各地のキーフレームマップを生成し、後で統合するようにすることも可能である。

また、本技術は、先に例示した車両以外にも、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の各種の移動体の自己位置推定処理を行う場合にも適用することができる。また、本技術が適用可能な移動体には、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。

＜＜４．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ５００では、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
地図データに登録された登録画像を、移動体の移動する環境に基づいて加工することにより参照画像を生成する参照画像生成部と、
前記参照画像と前記移動体から撮影された観測画像とのマッチングを行うマッチング部と
を備える情報処理装置。
（２）
前記登録画像は、時間により変化する動的要素の少なくとも一部が無効化されている
前記（１）に記載の情報処理装置。
（３）
前記観測画像の動物体が存在する動物体領域を無効化する動物体領域無効化部を
さらに備え、
前記登録画像は、前記動物体領域が無効化された画像であり、
前記マッチング部は、前記参照画像と前記動物体領域が無効化された前記観測画像とのマッチングを行う
前記（２）に記載の情報処理装置。
（４）
前記参照画像生成部は、前記移動体の周囲の光源、風、及び、天候のうち少なくとも１つに基づいて前記登録画像を加工する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記参照画像生成部は、前記登録画像内の各物体の物性を示すマテリアル情報に基づいて、前記登録画像を加工する
前記（４）に記載の情報処理装置。
（６）
前記参照画像生成部は、前記地図データに登録されている複数の前記登録画像のうち、前記移動体から前記観測画像が撮影されたときの前記移動体の位置及び姿勢に近い位置及び姿勢における前記登録画像を用いて前記参照画像を生成する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記参照画像と前記観測画像とのマッチングの結果に基づいて、前記移動体の位置及び姿勢を推定する位置姿勢推定部を
さらに備える前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
推定された前記移動体の位置及び姿勢に基づいて、前記移動体の制御を行う移動体制御部を
さらに備える前記（７）に記載の情報処理装置。
（９）
前記移動体の周囲の環境を推定する環境推定部を
さらに備える前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
情報処理装置が、
地図データに登録された登録画像を、移動体の移動する環境に基づいて加工することにより参照画像を生成し、
前記参照画像と前記移動体から撮影された観測画像とのマッチングを行う
情報処理方法。
（１１）
地図データに登録された登録画像を、移動体の移動する環境に基づいて加工することにより参照画像を生成する参照画像生成ステップと、
前記参照画像と前記移動体から撮影された観測画像とのマッチングを行うマッチングステップと
を含む処理をコンピュータに実行させるためのプログラム。
（１２）
位置及び姿勢を変更可能な移動体において、
前記移動体の周囲を撮影する撮影部と、
地図データに登録されている登録画像を、前記移動体の移動する環境に基づいて加工することにより参照画像を生成する参照画像生成部と、
前記参照画像と前記撮影部により撮影された観測画像とのマッチングを行うマッチング部と、
前記参照画像と前記観測画像とのマッチングの結果に基づいて、前記移動体の位置及び姿勢を推定する位置姿勢推定部と、
推定された前記移動体の位置及び姿勢に基づいて、前記移動体の制御を行う移動体制御部と
を備える移動体。
（１３）
撮影された撮影画像から時間により変化する動的要素の少なくとも一部を無効化することにより、地図データに登録する複数の登録画像を生成する登録画像生成部と、
前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報を前記登録画像のメタデータとして生成するメタデータ生成部と
を備える情報処理装置。
（１４）
前記無効化される動的要素は、前記撮影画像の動物体が存在する動物体領域、及び、前記撮影画像の陰影のうち少なくとも１つを含む
前記（１３）に記載の情報処理装置。
（１５）
前記登録画像生成部は、前記動物体領域が無効化された前記撮影画像に基づくポリゴンメッシュを前記登録画像として生成する
前記（１４）に記載の情報処理装置。
（１６）
前記登録画像生成部は、前記ポリゴンメッシュのテクスチャの陰影を除去する
前記（１５）に記載の情報処理装置。
（１７）
前記メタデータ生成部は、前記登録画像内の各物体の物性を示すマテリアル情報をさらに前記登録画像のメタデータとして生成する
前記（１３）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記撮影画像は、移動体から撮影される
前記（１３）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
情報処理装置が、
撮影された撮影画像から時間により変化する動的要素の少なくとも一部を無効化することにより、地図データに登録する複数の登録画像を生成し、
前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報を前記登録画像のメタデータとして生成する
情報処理方法。
（２０）
撮影された撮影画像から時間により変化する動的要素の少なくとも一部を無効化することにより、地図データに登録する複数の登録画像を生成する登録画像生成ステップと、
前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報を前記登録画像のメタデータとして生成するメタデータ生成ステップと
を含む処理をコンピュータに実行させるためのプログラム。

１０，１１ 車両， １００ 車両制御システム， １１２ 自動運転制御部， １３２ 自己位置推定部， ２００ マップ生成システム， ２０２ マップ生成部， ２１１ ステレオカメラ， ２１２ デプスセンサ， ２１３ センサ部， ２２３ 登録画像生成部, ２２４ メタデータ生成部， ２３１ 動物体領域無効化部， ２３２ ＣＧ処理部， ２３３ 陰影除去部, ３００ 自己位置推定システム， ３０２ 自己位置推定部， ３１１ ステレオカメラ， ３１２ デプスセンサ， ３１３ センサ部， ３２１ 環境推定部， ３２２ 暫定位置姿勢推定部， ３２３ 参照画像生成部， ３２４ デプス推定部， ３２５ 動物体領域無効化部， ３２６ マッチング部， ３２７ 最終位姿勢推定部

Claims (20)

1. 地図データに登録された登録画像を、移動体の移動する環境に基づいて加工することにより参照画像を生成する参照画像生成部と、
   前記参照画像と前記移動体から撮影された観測画像とのマッチングを行うマッチング部と
   を備える情報処理装置。
2. 前記登録画像は、時間により変化する動的要素の少なくとも一部が無効化されている
   請求項１に記載の情報処理装置。
3. 前記観測画像の動物体が存在する動物体領域を無効化する動物体領域無効化部を
   さらに備え、
   前記登録画像は、前記動物体領域が無効化された画像であり、
   前記マッチング部は、前記参照画像と前記動物体領域が無効化された前記観測画像とのマッチングを行う
   請求項２に記載の情報処理装置。
4. 前記参照画像生成部は、前記移動体の周囲の光源、風、及び、天候のうち少なくとも１つに基づいて前記登録画像を加工する
   請求項１に記載の情報処理装置。
5. 前記参照画像生成部は、前記登録画像内の各物体の物性を示すマテリアル情報に基づいて、前記登録画像を加工する
   請求項４に記載の情報処理装置。
6. 前記参照画像生成部は、前記地図データに登録されている複数の前記登録画像のうち、前記移動体から前記観測画像が撮影されたときの前記移動体の位置及び姿勢に近い位置及び姿勢における前記登録画像を用いて前記参照画像を生成する
   請求項１に記載の情報処理装置。
7. 前記参照画像と前記観測画像とのマッチングの結果に基づいて、前記移動体の位置及び姿勢を推定する位置姿勢推定部を
   さらに備える請求項１に記載の情報処理装置。
8. 推定された前記移動体の位置及び姿勢に基づいて、前記移動体の制御を行う移動体制御部を
   さらに備える請求項７に記載の情報処理装置。
9. 前記移動体の周囲の環境を推定する環境推定部を
   さらに備える請求項１に記載の情報処理装置。
10. 情報処理装置が、
    地図データに登録された登録画像を、移動体の移動する環境に基づいて加工することにより参照画像を生成し、
    前記参照画像と前記移動体から撮影された観測画像とのマッチングを行う
    情報処理方法。
11. 地図データに登録された登録画像を、移動体の移動する環境に基づいて加工することにより参照画像を生成する参照画像生成ステップと、
    前記参照画像と前記移動体から撮影された観測画像とのマッチングを行うマッチングステップと
    を含む処理をコンピュータに実行させるためのプログラム。
12. 位置及び姿勢を変更可能な移動体において、
    前記移動体の周囲を撮影する撮影部と、
    地図データに登録されている登録画像を、前記移動体の移動する環境に基づいて加工することにより参照画像を生成する参照画像生成部と、
    前記参照画像と前記撮影部により撮影された観測画像とのマッチングを行うマッチング部と、
    前記参照画像と前記観測画像とのマッチングの結果に基づいて、前記移動体の位置及び姿勢を推定する位置姿勢推定部と、
    推定された前記移動体の位置及び姿勢に基づいて、前記移動体の制御を行う移動体制御部と
    を備える移動体。
13. 撮影された撮影画像から時間により変化する動的要素の少なくとも一部を無効化することにより、地図データに登録する複数の登録画像を生成する登録画像生成部と、
    前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報を前記登録画像のメタデータとして生成するメタデータ生成部と
    を備える情報処理装置。
14. 前記無効化される動的要素は、前記撮影画像の動物体が存在する動物体領域、及び、前記撮影画像の陰影のうち少なくとも１つを含む
    請求項１３に記載の情報処理装置。
15. 前記登録画像生成部は、前記動物体領域が無効化された前記撮影画像に基づくポリゴンメッシュを前記登録画像として生成する
    請求項１４に記載の情報処理装置。
16. 前記登録画像生成部は、前記ポリゴンメッシュのテクスチャの陰影を除去する
    請求項１５に記載の情報処理装置。
17. 前記メタデータ生成部は、前記登録画像内の各物体の物性を示すマテリアル情報をさらに前記登録画像のメタデータとして生成する
    請求項１３に記載の情報処理装置。
18. 前記撮影画像は、移動体から撮影される
    請求項１３に記載の情報処理装置。
19. 情報処理装置が、
    撮影された撮影画像から時間により変化する動的要素の少なくとも一部を無効化することにより、地図データに登録する複数の登録画像を生成し、
    前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報を前記登録画像のメタデータとして生成する
    情報処理方法。
20. 撮影された撮影画像から時間により変化する動的要素の少なくとも一部を無効化することにより、地図データに登録する複数の登録画像を生成する登録画像生成ステップと、
    前記登録画像の生成に用いられた前記撮影画像が撮影された位置及び姿勢に基づく位置姿勢情報を前記登録画像のメタデータとして生成するメタデータ生成ステップと
    を含む処理をコンピュータに実行させるためのプログラム。

Images