JP2019185528A - 情報処理装置、プログラム、および情報処理方法 - Google Patents

Abstract

【課題】処理負荷の軽減を図る。【解決手段】情報処理装置２０は、取得部２０Ｃと、割当部２０Ｄと、設定部２０Ｅと、生成部２０Ｆと、を備える。取得部２０Ｃは、撮影画像３０と、撮影画像３０の取得環境の三次元点Ｐの三次元点情報と、を取得する。割当部２０Ｄは、撮影画像３０内の領域Ｅごとに属性を割当てる。設定部２０Ｅは、三次元点Ｐに、撮影画像３０内の対応する領域Ｅに割当てられた属性を設定する。生成部２０Ｆは、三次元点情報と、三次元点Ｐに設定された属性と、に基づいて、障害物地図４４を生成する。【選択図】図２

Description

本発明の実施の形態は、情報処理装置、およびプログラムに関する。

移動体の進行の障害となる障害物に関する障害物地図を生成する技術が開示されている。また、実空間における三次元形状的に進行不可能な領域に加えて、三次元形状的には進行可能であっても進行規則的に進行不可能な領域を規定した、障害物地図を生成する技術が開示されている。例えば、ステレオ視差から生成した三次元グリッドマップを構成するボクセルの各々に対して、属性の特定と属性の更新をフレーム毎に実施する技術が開示されている。

しかし、従来技術では、三次元グリッドマップのボクセルの各々に対して、属性の特定および属性の更新をフレームごとに実行するため、障害物地図の生成時の処理負荷が大きかった。

Ｓｅｍａｎｔｉｃ ３Ｄ Ｏｃｃｕｐａｎｃｙ Ｍａｐｐｉｎｇ ｔｈｒｏｕｇｈ Ｅｆｆｉｃｉｅｎｔ Ｈｉｇｈ Ｏｒｄｅｒ ＣＲＦｓ， ＩＲＯＳ２０１７

本発明が解決しようとする課題は、処理負荷の軽減を図ることができる、情報処理装置、およびプログラムを提供することである。

実施の形態の情報処理装置は、取得部と、割当部と、設定部と、生成部と、を備える。取得部は、画像と、前記画像の取得環境の三次元点の三次元点情報と、を取得する。割当部は、前記画像内の領域ごとに属性を割当てる。設定部は、前記三次元点に、前記画像内の対応する前記領域に割当てられた前記属性を設定する。生成部は、前記三次元点情報と、前記三次元点に設定された前記属性と、に基づいて、障害物地図を生成する。

移動体の構成を示す図。 移動体のブロック図。 撮影画像の模式図。 属性画像の模式図。 属性画像の模式図。 直交座標系を示す図。 属性画像の上面図。 進行不可能確率を示す模式図。 進行不可能確率を示す模式図。 進行不可能確率を示す模式図。 進行不可能確率を示す模式図。 進行不可能確率を示す模式図。 直交座標系を示す図。 障害物地図の模式図。 時系列統合の説明図。 表示画面の模式図。 情報処理のフローチャート。 移動体の構成を示す図。 ハードウェア構成図。

以下に添付図面を参照して、情報処理装置、およびプログラムを詳細に説明する。

図１は、本実施の形態の移動体１０の一例を示す図である。

移動体１０は、情報処理装置２０と、出力部１０Ａと、外界センサ１０Ｂと、内界センサ１０Ｃと、動力制御部１０Ｇと、動力部１０Ｈと、を備える。

情報処理装置２０は、例えば、専用または汎用コンピュータである。本実施の形態では、情報処理装置２０が、移動体１０に搭載されている場合を一例として説明する。

移動体１０とは、移動可能な物である。移動体１２は、例えば、車両、台車、飛行可能な物体（有人飛行機、無人飛行機（例えば、ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）、ドローン））、ロボット、などである。また、移動体１０は、例えば、人による運転操作を介して進行する移動体や、人による運転操作を介さずに自動的に進行（自律進行）可能な移動体である。本実施の形態では、移動体１２が車両である場合を一例として説明する。車両は、例えば、二輪自動車、三輪自動車、四輪自動車などである。本実施の形態では、車両が、自律進行可能な四輪自動車である場合を一例として説明する。

なお、情報処理装置２０は、移動体１０に搭載された形態に限定されない。情報処理装置２０は、静止物に搭載されていてもよい。静止物は、地面に固定された物である。静止物は、移動不可能な物や、地面に対して静止した状態の物である。静止物は、例えば、信号機、駐車車両、道路標識、などである。また、情報処理装置２０は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。

動力部１０Ｈは、移動体１０に搭載された駆動デバイスである。動力部１０Ｈは、例えば、エンジン、モータ、車輪、などである。

動力制御部１０Ｇは、動力部１０Ｈを制御する。動力制御部１０Ｇの制御によって動力部１０Ｈが駆動する。例えば、動力制御部１０Ｇは、移動体１０を自動的に運転するために、外界センサ１０Ｂおよび内界センサ１０Ｃから得られる情報や、後述する処理で生成される障害物地図などに基づいて、動力部１０Ｈを制御する。動力部１０Ｈの制御によって、移動体１０のアクセル量、ブレーキ量、操舵角などが制御される。例えば、動力制御部１０Ｇは、障害物などの物体を避けて現在進行中の車線を保ち、かつ前方車両との車間距離を所定距離以上保つように車両の制御を行う。

出力部１０Ａは、各種情報を出力する。本実施の形態では、出力部１０Ａは、情報処理装置２０で生成された障害物地図を示す情報を出力する。障害物地図の詳細は後述する。

出力部１０Ａは、例えば、障害物地図を示す情報を送信する通信機能、障害物地図を表示する表示機能、障害物地図を示す音を出力する音出力機能、などを備える。例えば、出力部１０Ａは、通信部１０Ｄ、ディスプレイ１０Ｅ、および、スピーカ１０Ｆ、の少なくとも１つを含む。なお、本実施の形態では、出力部１０Ａは、通信部１０Ｄ、ディスプレイ１０Ｅ、およびスピーカ１０Ｆを備えた構成を一例として説明する。

通信部１０Ｄは、障害物地図を示す情報を他の装置へ送信する。例えば、通信部１０Ｄは、公知の通信回線を介して障害物地図を示す情報を他の装置へ送信する。ディスプレイ１０Ｅは、障害物地図を示す情報を表示する。ディスプレイ１０Ｅは、例えば、公知の有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイやＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や投影装置やライトなどである。スピーカ１０Ｆは、障害物地図を示す音を出力する。

外界センサ１０Ｂは、移動体１０の周辺の外界を認識するセンサである。外界センサ１０Ｂは、移動体１０に搭載されていてもよいし、該移動体１０の外部に搭載されていてもよい。移動体１０の外部とは、例えば、他の移動体や外部装置などを示す。

移動体１０の周辺とは、該移動体１０から予め定めた範囲内の領域である。この範囲は、外界センサ１０Ｂの観測可能な範囲である。この範囲は、予め設定すればよい。

外界センサ１０Ｂは、外界の観測情報を取得する。観測情報は、外界センサ１０Ｂの設置位置の周辺の、観測結果を示す情報である。本実施の形態では、観測情報は、画像および三次元点情報を導出可能な情報である。また、観測情報は、画像および三次元点情報を示すものであってもよい。

本実施の形態では、外界センサ１０Ｂは、撮影部１０Ｊを含む。本実施の形態では、撮影部１０Ｊが、撮影画像を画像として取得する。なお、観測情報に含まれる画像は、撮影画像に限定されない。撮影画像は、三次元画像であってもよいし、二次元画像であってもよい。本実施の形態では、観測情報に含まれる画像が、二次元の撮影画像である場合を一例として説明する。

撮影部１０Ｊは、移動体１０の周辺を撮影した撮影画像を得る。撮影部１０Ｊは、例えば、公知のデジタルカメラである。なお、撮影とは、レンズなどの光学系により結像された被写体の像を、電気信号に変換することを指す。撮影部１０Ｊは、撮影した撮影画像を、情報処理装置２０へ出力する。

また、本実施の形態では、外界センサ１０Ｂは、計測部１０Ｋを含む。計測部１０Ｋは、撮影画像の取得環境の三次元点の、三次元点情報を計測する。

三次元点は、撮影画像の取得環境、すなわち撮影環境における、計測部１０Ｋによって個別に観測される点の各々を示す。例えば、計測部１０Ｋは、計測部１０Ｋの周囲に光を照射し、反射点で反射した反射光を受光する。この反射点が、三次元点に相当する。なお、複数の反射点を１つの三次元点として用いてもよい。

三次元点情報は、実空間（三次元空間）における三次元点の位置を示す情報である。例えば、三次元点情報は、計測部１０Ｋから三次元点までの距離と、計測部１０Ｋを基準とした三次元点の方向と、を示す情報である。これらの距離および方向は、例えば、計測部１０Ｋを基準とする三次元点の相対位置を示す位置座標や、三次元点の絶対位置を示す位置座標や、ベクトルなどで表すことができる。具体的には、三次元点情報は、極座標や、直交座標で表される。

計測部１０Ｋは、例えば、ステレオカメラ、単眼カメラ、距離センサ（ミリ波レーダ、レーザセンサ）、音波によって物体を探知するソナーセンサ、超音波センサ、などである。レーザセンサは、例えば、水平面に対して平行に設置された二次元ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサや、三次元ＬＩＤＡＲセンサである。

計測部１０Ｋがステレオカメラである場合、計測部１０Ｋは、カメラ間の視差情報を用いて、三次元点の三次元点情報を計測すればよい。また、計測部１０Ｋが単眼カメラである場合、計測部１０Ｋは、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎなどを用いて特定した、移動体１０の動きに伴った撮影画像の変化に基づいて、三次元点の三次元点情報を計測してもよい。

計測部１０Ｋがレーザセンサである場合、計測部１０Ｋは、レーザの照射方向と、レーザの三次元点による反射光に関する情報と、を含む観測情報を得る。反射光に関する情報は、レーザの照射から反射光の受光までの経過時間や、受光した反射光の強度または出射したレーザの強度に対する受光した反射光の強度の減衰率、などである。そして、この場合、計測部１０Ｋは、観測情報および公知の算出計測方法を用いて、三次元点の三次元点情報を導出することで、三次元点情報を計測すればよい。

そして、計測部１０Ｋは、計測した三次元点の三次元点情報を、情報処理装置２０へ出力する。なお、情報処理装置２０が、観測情報から三次元点の各々の三次元点情報を導出してもよい。本実施の形態では、計測部１０Ｋが、三次元点の各々の三次元点情報を導出する場合を説明する。

なお、本実施の形態では、撮影部１０Ｊは、移動体１０の進行方向を撮影方向として設置されている場合を一例として説明する。また、計測部１０Ｋは、移動体１０の進行方向を計測方向として設置されている場合を、一例として説明する。

このため、本実施の形態では、撮影部１０Ｊおよび計測部１０Ｋは、移動体１０の進行方向（すなわち前方）の、撮影画像および三次元点の各々の三次元点情報を取得する場合を、一例として説明する。

内界センサ１０Ｃは、移動体１０自体の情報を観測するセンサである。内界センサ１０Ｃは、移動体１０の位置を示す自己位置情報を取得する。なお、上述したように、本実施の形態では、移動体１０には、撮影部１０Ｊおよび計測部１０Ｋが搭載されている。このため、自己位置情報は、移動体１０の位置を示すと共に、撮影部１０Ｊおよび計測部１０Ｋの位置を示す情報であるといえる。

内界センサ１０Ｃは、例えば、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、速度センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等である。ＩＭＵは、移動体１０の三軸加速度および三軸角速度などを得る。なお、自己位置情報は、ワールド座標（世界座標）によって表されるものとする。

次に、移動体１０の電気的構成について詳細に説明する。図２は、移動体１０の構成の一例を示すブロック図である。

移動体１０は、情報処理装置２０と、出力部１０Ａと、外界センサ１０Ｂと、内界センサ１０Ｃと、動力制御部１０Ｇと、動力部１０Ｈと、を備える。上述したように、出力部１０Ａは、通信部１０Ｄと、ディスプレイ１０Ｅと、スピーカ１０Ｆと、を含む。

情報処理装置２０、出力部１０Ａ、外界センサ１０Ｂ、内界センサ１０Ｃ、および動力制御部１０Ｇは、バス１０Ｉを介して接続されている。動力部１０Ｈは、動力制御部１０Ｇに接続されている。

情報処理装置２０は、記憶部２０Ｂと、処理部２０Ａと、を有する。すなわち、出力部１０Ａ、外界センサ１０Ｂ、内界センサ１０Ｃ、動力制御部１０Ｇ、処理部２０Ａ、および記憶部２０Ｂは、バス１０Ｉを介して接続されている。

なお、記憶部２０Ｂ、出力部１０Ａ（通信部１０Ｄ、ディスプレイ１０Ｅ、スピーカ１０Ｆ）、外界センサ１０Ｂ、内界センサ１０Ｃ、および動力制御部１０Ｇ、の少なくとも１つは、有線または無線で処理部２０Ａに接続すればよい。また、記憶部２０Ｂ、出力部１０Ａ（通信部１０Ｄ、ディスプレイ１０Ｅ、スピーカ１０Ｆ）、外界センサ１０Ｂ、内界センサ１０Ｃ、および動力制御部１０Ｇ、の少なくとも１つと、処理部２０Ａと、を、ネットワークを介して接続してもよい。

記憶部２０Ｂは、各種データを記憶する。記憶部２０Ｂは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２０Ｂは、情報処理装置２０の外部に設けられた記憶装置であってもよい。また、記憶部２０Ｂは、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部２０Ｂを、複数の記憶媒体から構成してもよい。

処理部２０Ａは、取得部２０Ｃと、割当部２０Ｄと、設定部２０Ｅと、生成部２０Ｆと、出力制御部２０Ｇと、を備える。生成部２０Ｆは、第１生成部２０Ｈと、第２生成部２０Ｉと、統合部２０Ｊと、を含む。

処理部２０Ａ、記憶部２０Ｂ、取得部２０Ｃ、割当部２０Ｄ、設定部２０Ｅ、生成部２０Ｆ、出力制御部２０Ｇ、第１生成部２０Ｈ、第２生成部２０Ｉ、および統合部２０Ｊは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

プロセッサは、記憶部２０Ｂに保存されたプログラムを読み出し実行することで、上記各部を実現する。なお、記憶部２０Ｂにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで、上記各部を実現する。

取得部２０Ｃは、撮影画像と、撮影画像の取得環境（撮影環境）の三次元点の三次元点情報と、を取得する。

本実施の形態では、取得部２０Ｃは、撮影部１０Ｊから撮影画像を取得する。また、取得部２０Ｃは、計測部１０Ｋから複数の三次元点の各々の三次元点情報を取得する。

本実施の形態では、取得部２０Ｃは、撮影部１０Ｊによる撮影が行われるたびに、撮影により得られた撮影画像と、撮影時の移動体１０の位置を示す自己位置情報と、撮影画像３０の撮影環境の複数の三次元点の各々の三次元点情報と、の組を取得する。すなわち、取得部２０Ｃは、複数の該組を、時系列に取得する。

図３は、撮影画像３０の一例を示す模式図である。図３に示す撮影画像３０は、移動体１０の前方を撮影して得られた撮影画像である。撮影画像３０には、車道、車道の脇の歩道、駐車車両（他の車両）、建物などが写り込んでいる。本実施の形態では、取得部２０Ｃは、移動体１０に取り付けられた撮影部１０Ｊによる撮影によって、図３に示すような移動体１０の進行に関わる範囲を撮影した撮影画像を、時系列に取得する。

図１に戻り説明を続ける。割当部２０Ｄは、撮影画像３０内の領域ごとに、属性を割当てる。詳細には、割当部２０Ｄは、撮影画像３０を分割して得られる複数の領域ごとに属性を判定する。撮影画像３０内の領域とは、例えば、撮影画像３０を構成する各画素の画素領域や、隣接する複数の画素群からなる画素領域などである。そして、割当部２０Ｄは、これらの複数の領域の各々に、判定した属性を割当てる。

属性とは、移動体１０の周囲の環境を予め定めた分類条件に応じて複数のグループに分類した、各グループの特性や性質を示す。本実施の形態では、属性は、進行可能、進行不可能、または立体物を示す。

割当部２０Ｄは、公知の方法を用いて、撮影画像３０内の領域ごとの属性を判定する。例えば、割当部２０Ｄは、機械学習を用いて属性判定を行う。機械学習を用いた属性判定には、公知の方法を用いればよい。例えば、割当部２０Ｄは、Ｊ．Ｌｏｎｇ， ｅｔ．ａｌ，‘‘Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ’’， ＣＶＰＲ２０１５やＶ．Ｂａｄｒｉｎａｒａｙａｎａｎ， ｅｔ． ａｌ， ‘‘ＳｅｇＮｅｔ： Ａ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｒｏｂｕｓｔ Ｓｅｍａｎｔｉｃ Ｐｉｘｅｌ−Ｗｉｓｅ Ｌａｂｅｌｌｉｎｇ’’， ＣＶＰＲ２０１５などの方式を用いることで、撮影画像３０内の領域毎に属性を判定する。

このようにして、割当部２０Ｄは、撮影画像３０内の領域ごとに、該領域の属性を判定する。例えば、領域が１画素の画素領域を示す場合、割当部２０Ｄは、画素ごとに属性を判定する。そして、割当部２０Ｄは、画素毎に判定した属性を、各画素の画素値として規定することで、撮影画像３０内の領域（画素領域）ごとに属性を割当てる。

図４は、撮影画像３０内の領域Ｅごとに属性を割当てた属性画像３２の一例を示す模式図である。割当部２０Ｄは、撮影画像３０内の領域Ｅごとに属性を割当てることで、例えば、図４に示す属性画像３２を生成する。

本実施の形態では、割当部２０Ｄは、撮影画像３０について、進行可能な領域Ｅ２である車道と、進行不可能な領域Ｅ３である歩道と、に互いに異なる属性（進行可能、進行不可能）を割当てる。歩道は、移動体１０が進行することの可能な領域であるが、交通規則的に進行が禁止されている領域である。このような領域Ｅ３に、割当部２０Ｄは、進行不可能を示す属性を割当てる。また、割当部２０Ｄは、撮影画像３０に含まれる他の車両や建物を示す領域Ｅ１に、立体物を示す属性を割当てる。

そして、割当部２０Ｄは、撮影画像３０内の各領域Ｅに属性を割当てた属性画像３２を、設定部２０Ｅへ出力する。

図２に戻り説明を続ける。次に、設定部２０Ｅについて説明する。設定部２０Ｅは、三次元点に、撮影画像３０内の対応する領域Ｅに割当てられた属性を設定する。

設定部２０Ｅは、三次元点と、撮影画像３０の画素と、の対応を特定する。すなわち、設定部２０Ｅは、取得部２０Ｃで取得した三次元点情報によって示される三次元点の各々について、撮影画像３０を構成する画素の内、対応する位置の画素を特定する。そして、設定部２０Ｅは、三次元点に、特定した対応する位置の画素を含む領域Ｅに割当てられた属性を設定する。

詳細には、設定部２０Ｅは、三次元点の各々について、三次元点情報に示される三次元位置の座標を、撮影画像３０を撮影した撮影部１０Ｊの位置を原点とした座標（カメラ座標）に変換する。すなわち、三次元点情報に示される三次元位置は、計測部１０Ｋを原点とした三次元座標である。このため、設定部２０Ｅは、計測部１０Ｋから取得した三次元点情報によって示される三次元座標を座標変換し、撮影部１０Ｊを原点としたカメラ座標に変換する。

具体的には、三次元点情報によって示される三次元位置の座標から、撮影画像３０を撮影したときの撮影部１０Ｊを原点とするカメラ座標への回転行列を、Ｒｃとする。また、並進ベクトルをｔｃとする。すると、三次元点情報によって示される三次元点の座標（Ｘ_ｉｎ、Ｙ_ｉｎ、Ｚ_ｉｎ）に対する、撮影画像３０を撮影したときの撮影部１０Ｊの位置を原点としたカメラ座標（Ｘ_Ｃ、Ｙ_Ｃ、Ｚ_Ｃ）は、下記式（１）によって表される。

なお、回転行列Ｒ_Ｃは、３×３の行列、並進ベクトルｔ_Ｃは、要素数３のベクトルである。

そして、設定部２０Ｅは、三次元点の三次元点情報によって示される三次元位置の座標を、上記式（１）を用いてカメラ座標に変換する。

ここで、上述したように、属性画像３２は、撮影画像３０内の領域Ｅ（例えば画素領域）に属性を割当てた画像である（図４参照）。そこで、次に、設定部２０Ｅは、座標変換後の三次元位置の座標（Ｍ＝（Ｘ_Ｃ、Ｙ_Ｃ、Ｚ_Ｃ））によって示される三次元点について、属性画像３２中の対応する位置の画素の座標（ｍ＝（ｘ_Ｃ，ｙ_Ｃ））を、下記式（２）を用いて算出する。

式（２）中、ｍ’は、座標ｍ＝（ｘ_Ｃ，ｙ_Ｃ）の同次座標を示す。また、Ｍ’は、座標Ｍ＝（Ｘ_Ｃ、Ｙ_Ｃ、Ｚ_Ｃ）の同次座標を示す。Ａ_Ｃは、撮影部１０Ｊの内部パラメータを示す。

撮影部１０Ｊの内部パラメータは、撮影部１０Ｊの特性を表す。撮影部１０Ｊの内部パラメータは、例えば、撮影部１０Ｊのレンズの焦点距離、レンズの光軸に対する素子の画像中心の位置または位置座標などを含む。

なお、計測部１０Ｋが、ステレオカメラ等の撮影装置であり、撮影によって得られたステレオ画像に基づいて三次元点の三次元点情報を計測する場合がある。この場合、計測部１０Ｋによる三次元点情報の計測の過程で、三次元座標（Ｘ_Ｃ、Ｙ_Ｃ、Ｚ_Ｃ）に対する撮影画像３０における座標（ｘ_Ｃ、ｙ_Ｃ）は既知である。このため、この場合、式（１）の計算は不要である。

なお、撮影部１０Ｊの内部パラメータＡ_Ｃ、外部パラメータである回転行列Ｒ_Ｃ、および並進ベクトルｔ_Ｃは、事前のキャリブレーションにより予め取得しているものとする。

そして、設定部２０Ｅは、三次元点の各々に、座標変換後の座標（Ｍ＝（Ｘ_Ｃ、Ｙ_Ｃ、Ｚ_Ｃ））から算出した、属性画像３２中の対応する座標（ｍ＝（ｘ_Ｃ，ｙ_Ｃ））の領域Ｅに割当てられた属性を、設定する。この処理により、設定部２０Ｅは、三次元点に、撮影画像３０内の対応する領域Ｅに割当てられた属性を設定する。

図５は、座標変換後の座標（Ｍ＝（Ｘ_Ｃ、Ｙ_Ｃ、Ｚ_Ｃ））の三次元点Ｐを、属性画像３２における、上記式（２）によって算出された対応する座標（ｍ＝（ｘ_Ｃ，ｙ_Ｃ））によって示される画素位置に配置した属性画像３４である。

図５には、立体物を示す属性を割当てられた領域Ｅ１に配置された三次元点Ｐを、丸マークの三次元点Ｐ１として示した。すなわち、三次元点Ｐ１には、属性“立体物”が設定される。また、図５には、進行可能を示す属性を割当てられた領域Ｅ２に配置された三次元点Ｐを、星マークの三次元点Ｐ２として示した。すなわち、三次元点Ｐ２には、属性“進行可能”が設定される。また、図５には、進行不可能を示す属性を割当てられた領域Ｅ３に配置された三次元点Ｐを、菱形マークの三次元点Ｐ３として示した。すなわち、三次元点Ｐ３には、属性“進行不可能”が設定される。

そして、設定部２０Ｅは、三次元点Ｐ（例えば、三次元点Ｐ１〜三次元点Ｐ３）の三次元点情報と、三次元点Ｐの各々に設定された属性と、を生成部２０Ｆへ出力する。

図２に戻り説明を続ける。次に、生成部２０Ｆについて説明する。

生成部２０Ｆは、三次元点Ｐの三次元点情報と、三次元点Ｐに設定された属性と、に基づいて、障害物地図を生成する。

本実施の形態では、生成部２０Ｆは、区画領域ごとに、進行可能または進行不可能な度合いを示す障害物地図を生成する。

区画領域は、撮影部１０Ｊ（移動体１０）の周囲の空間を、撮影部１０Ｊ（移動体１０）を原点とした極座標系に沿って、格子状に複数の区画領域に分割した各領域を示す。すなわち、本実施の形態では、撮影部１０Ｊや移動体１０の位置を、基準位置として用いる。

なお、区画領域のサイズは、計測部１０Ｋで計測する三次元点Ｐのサイズ以上である。すなわち、区画領域のサイズは、三次元点Ｐと同じ大きさであってもよい。また、区画領域のサイズは、複数の三次元点を含むことのできるサイズであってもよい。すなわち、区画領域のサイズは、計測部１０Ｋで計測可能な三次元点の最大密度であるセンサ解像度に応じたサイズと同じであってもよいし、該センサ解像度に応じたサイズより大きいサイズであってもよい。また、区画領域のとりうる最大のサイズは、適宜調整すればよい。

本実施の形態では、区画領域のサイズは、三次元点Ｐのサイズ以上である場合を説明する。このため、本実施の形態では、１つの区画領域内に、１または複数の三次元点が含まる場合を、一例として説明する。

進行可能または進行不可能な度合いは、例えば、確率で表される。なお、進行可能または進行不可能な度合いは、確率で表す形態に限定されない。本実施の形態では、生成部２０Ｆは、進行可能または進行不可能な度合を、確率で表す形態を一例として説明する。

また、本実施の形態では、生成部２０Ｆは、進行不可能確率を区画領域ごとに規定した、障害物地図を生成する場合を、一例として説明する。進行不可能確率とは、移動体１０が進行することが不可能な確率を示す。進行不可能確率は、値が大きいほど、より進行不可能な確率が高い事を意味する。

詳細には、まず、生成部２０Ｆは、撮影画像３０の撮影時刻における撮影部１０Ｊの位置情報を特定する。位置情報は、該撮影画像３０の撮影時刻に取得した自己位置情報から特定すればよい。上述したように、撮影部１０Ｊの位置情報は、ワールド座標（世界座標）によって表される。

次に、生成部２０Ｆは、撮影部１０Ｊ（移動体１０）の周囲の空間を、撮影部１０Ｊ（移動体１０）を原点とした極座標系に沿って、格子状に複数の区画領域に分割する。

図６は、撮影部１０Ｊの周囲の空間を、撮影部１０Ｊを原点とした極座標系に沿って分割した区画領域を、直交座標系で示した図である。図６には、撮影部１０Ｊの前方の１８０°の範囲を、１０°毎に区切って１８個の角度方向に分割した例を示した。

次に、生成部２０Ｆは、属性を設定された三次元点Ｐに対して、下記式（３）および式（４）を用いて、三次元点Ｐの座標を直交座標（ｘ，ｚ）から極座標（ｒ，θ）に変換する。

次に、生成部２０Ｆは、図６に示すように、撮影部１０Ｊを原点とする極座標の角度方向ごとに、三次元点Ｐに設定された属性に応じた進行不可能確率を算出する。

本実施の形態では、生成部２０Ｆが、角度方向ごとに、三次元点Ｐに設定された属性に応じた進行不可能確率を規定する場合を一例として説明する。言い換えると、本実施の形態では、生成部２０Ｆは、角度方向に沿って配列された区画領域の各々の進行不可能確率を、角度方向ごとに規定することで、障害物地図を生成する。

属性に応じた進行不可能確率は、予め定めればよい。

本実施の形態では、生成部２０Ｆは、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域に、進行不可能確率として、第１進行不可能確率を設定する。本実地の形態では、第１進行不可能確率として、最大の進行不可能確率を示す“１．０”を設定する。これは、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域は、障害物が存在するため進行不可能であることを表すためである。

また、生成部２０Ｆは、進行可能を示す属性を設定された三次元点Ｐ２に対応する区画領域に、進行不可能確率として、第２進行不可能確率を規定する。第２進行不可能確率は、第１進行不可能確率より低い値である。本実施の形態では、第２進行不可能確率として、最小の値を示す“０．０”を設定する場合を説明する。これは、進行可能を示す属性を設定された三次元点Ｐ２に対応する区画領域は、障害物が存在せず進行可能であることを表すためである。

また、生成部２０Ｆは、進行不可能を示す属性を設定された三次元点Ｐ３に対応する区画領域に、進行不可能確率として、第１進行不可能確率“１．０”を設定する。これは、進行不可能を示す属性を設定された三次元点Ｐ３に対応する区画領域は、交通規則などの規則上、進行不可能な可能性が高い事を表すためである。

また、生成部２０Ｆは、撮影部１０Ｊの位置を原点とした角度方向において、該撮影部１０Ｊに最も近い位置に配置された、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域より、撮影部１０Ｊから離れる側に配置された区画領域に、進行不可能確率として、中間確率を規定する。中間確率は、第１進行不可能確率（１．０）と第２進行不可能確率（０．０）との中間の値である。本実施の形態では、中間確率として、“０．５”を設定する場合を一例として説明する。これは、該区画領域の状態が不明であることを表すためである。

そして、生成部２０Ｆは、上記処理で進行不可能確率を未規定の区画領域について、進行不可能確率（第１進行不可能確率、第２進行不可能確率、中間確率）を規定済の区画領域に基づいて、後述する方法により、進行不可能確率を規定する。これらの処理により、生成部２０Ｆは、障害物地図を生成する。

障害物地図の生成処理について、詳細に説明する。図７は、図５に示す属性画像３４の撮影環境を、上空から地面を見下ろした視点に対応する上面図として示した図である。図７に示すように、生成部２０Ｆは、角度方向ごとに、三次元点Ｐに設定された属性に応じた進行不可能確率を算出する。

なお、図７には、一例として、撮影部１０Ｊ（移動体１０）を原点とした３つの角度方向（角度方向Ａ〜角度方向Ｃ）を示した。図７において、角度方向Ａでは建物が撮影部１０Ｊから見て最も近い位置に存在し、撮影部１０Ｊからｒ_０の距離に位置していると想定する。また、角度方向Ｂでは、車両が撮影部１０Ｊから見て最も近い位置に存在し、撮影部１０Ｊからｒ_０の距離に位置していると想定する。また、角度方向Ｃには、車両や建物などの立体物が存在しないと仮定する。

そして、生成部２０Ｆは、角度方向ごとに、三次元点Ｐに設定された属性に応じた進行不可能確率を規定する。

図２に戻り説明を続ける。本実施の形態では、生成部２０Ｆは、第１生成部２０Ｈと、第２生成部２０Ｉと、統合部２０Ｊと、を含む。

まず、第１生成部２０Ｈについて説明する。第１生成部２０Ｈは、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域に、進行不可能確率を規定した第１障害物地図を生成する。詳細には、第１生成部２０Ｈは、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域を含む角度方向について、該角度方向に沿って配列された区画領域の各々に進行不可能確率を規定することで、第１障害物地図４０を生成する。

まず、第１生成部２０Ｈは、角度方向の内、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域を含む角度方向を特定する。図７に示す例の場合、第１生成部２０Ｈは、角度方向Ａおよび角度方向Ｂを特定する。

そして、第１生成部２０Ｈは、上述したように、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域に、進行不可能確率として、第１進行不可能確率（１．０）を規定する。

次に、第１生成部２０Ｈは、基準位置である撮影部１０Ｊ（移動体１０）の位置から、該三次元点Ｐ１に対応する区画領域までの範囲内の他の区画領域に、進行不可能確率として、第２進行不可能確率（０．０）を規定する。これは、撮影部１０Ｊ（移動体１０）から最も近い位置に存在する立体物より撮影部１０Ｊに近い位置に存在する区画領域は、障害物が存在せず進行可能である確率が高いためである。

更に、第１生成部２０Ｈは、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域より、基準位置である撮影部１０Ｊ（移動体１０）の位置から離れた範囲内の他の区画領域に、進行不可能確率として、中間確率（０．５）を規定する。これは、撮影部１０Ｊ（移動体１０）から最も近い位置に存在する立体物より撮影部１０Ｊから遠い位置に存在する区画領域は、立体物による遮蔽によって状態が不明のためである。

図８は、第１生成部２０Ｈが規定した進行不可能確率を示す模式図である。図８（Ａ）は、図７中の角度方向Ａおよび角度方向Ｂに沿って配列された複数の区画領域を抽出して示した模式図である。言い換えると、図８（Ａ）は、第１障害物地図４０における、特定の角度方向に沿って配列された複数の区画領域４０Ａの各々に規定された、進行不可能確率を示す模式図である。

図８（Ａ）に示すように、第１生成部２０Ｈは、撮影部１０Ｊから距離ｒ_０の位置の、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域には、第１進行不可能確率“１．０”を規定する。また、第１生成部２０Ｈは、距離ｒ_０の位置の区画領域と撮影部１０Ｊ（移動体１０）との間の範囲に存在する区画領域には、第２進行不可能確率“０．０”を規定する。また、第１生成部２０Ｈは、距離ｒ_０の位置の区画領域より撮影部１０Ｊ（移動体１０）から遠い範囲に存在する区画領域には、中間確率“０．５”を規定する。

このように、第１生成部２０Ｈは、各角度方向の各々の内、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域を含む角度方向ごとに、該角度方向に沿って配列された区画領域の各々に進行不可能確率を規定することで、第１障害物地図４０を生成する。

なお、撮影部１０Ｊから見て最も近い位置に存在する立体物（距離ｒ_０の位置）より撮影部１０Ｊから離れた位置に、更に他の立体物が存在する場合がある。この場合、図８（Ｂ）に示すように、第１生成部２０Ｈは、図８（Ａ）と同様にして、進行不可能確率を規定した後に、更に、距離ｒ_０の位置の区画領域より撮影部１０Ｊから遠い位置に配置された、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域に、第１進行不可能確率“１．０”を更に規定すればよい。

なお、立体物を示す属性を設定された三次元点Ｐ１を含まない角度方向が存在する場合がある。例えば、図７に示す角度方向Ｃには、立体物を示す属性を設定された三次元点Ｐ１が含まれなない。この場合、第１生成部２０Ｈは、該角度方向Ｃに沿って配列された区画領域に、中間確率である“０．５”を規定する。

図９は、第１生成部２０Ｈが規定した進行不可能確率を示す模式図である。詳細には、図９は、図７中の角度方向Ｃに沿って配列された複数の区画領域４０Ｃの各々に規定された、進行不可能確率を示す模式図である。図９に示すように、三次元点Ｐ１を含まない角度方向Ｃ沿って配列された区画領域に対して、第１生成部２０Ｈは、中間確率“０．５”を規定する。

このように、第１生成部２０Ｈは、立体物を示す属性を設定された三次元点Ｐ１に対応する区画領域を含む角度方向について、上記方法で進行不可能確率を規定した、第１障害物地図４０を生成する。

次に、第２生成部２０Ｉについて説明する。第２生成部２０Ｉは、進行可能または進行不可能を示す属性を設定された三次元点Ｐ（三次元点Ｐ２、三次元点Ｐ３）に対応する区画領域に、進行不可能確率を規定した第２障害物地図を生成する。

詳細には、第２生成部２０Ｉは、進行可能または進行不可能を示す属性を設定された三次元点Ｐ（三次元点Ｐ２、三次元点Ｐ３）に対応する区画領域を含む角度方向について、該角度方向に沿って配列された区画領域の各々に進行不可能確率を規定することで、第２障害物地図を生成する。

第２生成部２０Ｉは、各角度方向に沿って配列された区画領域の内、進行不可能を示す属性を設定された三次元点Ｐ３に対応する区画領域に、第１進行不可能確率“１．０”を規定する。

また、第２生成部２０Ｉは、各角度方向に沿って配列された区画領域の内、進行可能を示す属性を設定された三次元点Ｐ２に対応する区画領域に、第２進行不可能確率“０．０”を規定する。

そして、第２生成部２０Ｉは、特定した角度方向に沿って配列された区画領域の内、進行可能を示す属性または進行不可能を示す属性を未規定の区画領域に、中間確率“０．５”を設定する。

図１０は、第２生成部２０Ｉが規定した進行不可能確率を示す模式図である。図１０（Ａ）には、第２障害物地図４２’における、特定の角度方向に沿って配列された複数の区画領域４２’Ｅの各々に規定された、進行不可能確率を示す模式図である。

図１０（Ａ）に示すように、第２生成部２０Ｉは、該角度方向に沿った区画領域の内、進行不可能を示す属性を設定された三次元点Ｐ３に対応する区画領域には、第１進行不可能確率“１．０”を規定する。また、第２生成部２０Ｉは、該角度方向に沿った区画領域の内、進行可能を示す属性を設定された三次元点Ｐ２に対応する区画領域には、第２進行不可能確率“０．０”を規定する。また、また、第２生成部２０Ｉは、該角度方向に沿った区画領域の内、進行可能または進行不可能を示す属性を未規定の区画領域には、中間確率“０．５”を規定する。

次に、第２生成部２０Ｉは、該中間確率“０．５”を規定した区画領域に、第１進行不可能確率“１．０”または第２進行不可能確率“０．０”を規定された区画領域に基づいた進行不可能確率を規定する。すなわち、第２生成部２０Ｉは、該中間確率“０．５”を規定した区画領域の進行不可能確率を、第１進行不可能確率または第２進行不可能確率を規定された周囲の区画領域の進行不可能確率を用いて補完する。

具体的には、第２生成部２０Ｉは、図１０（Ａ）において中間確率“０．５”を規定した区画領域の進行不可能確率を、第２進行不可能確率“０．０”または第１進行不可能確率“１．０”を規定した周囲の区画領域の進行不可能確率を用いて補完する。

図１０（Ｂ）は、図１０（Ａ）における中間確率“０．５”の規定された区画領域を、周囲の他の区画領域に規定された進行不可能確率を用いて補完（変更）した状態を示す模式図である。

図１０（Ａ）に示すように、第２生成部２０Ｉは、中間確率“０．５”の規定された区画領域の進行不可能確率を、角度方向に隣接する一対の他の区画領域に規定された進行不可能確率に変更する。

具体的には、中間確率“０．５”を規定された区画領域が、角度方向に沿って、第２進行不可能確率“０．０”を規定された一対の区画領域によって挟まれているとする。この場合、第２生成部２０Ｉは、中間確率“０．５”の規定された該区画領域の進行不可能確率を第２進行不可能確率“０．０”に変更する（図１０（Ｂ）参照）。

また、中間確率“０．５”を規定された区画領域が、角度方向に沿って、第１進行不可能確率“１．０”を規定された一対の区画領域によって挟まれているとする。この場合、第２生成部２０Ｉは、中間確率“０．５”の規定された該区画領域の進行不可能確率を第１進行不可能確率“１．０”に変更する（図１０（Ｂ）参照）。

また、中間確率“０．５”の規定された区画領域が、角度方向に沿って、第１進行不可能確率“１．０”を規定された区画領域と、第２進行不可能確率“０．０”を規定された区画領域と、によって挟まれているとする。この場合、第２生成部２０Ｉは、中間確率“０．５”の規定された該区画領域の進行不可能確率を、第１進行不可能確率と第２進行不可能確率の中間の値である中間確率“０．５”に規定する（図１０（Ｂ）参照）。

このようにして、第２生成部２０Ｉは、進行可能または進行不可能を示す属性を設定された三次元点Ｐ（三次元点Ｐ２、三次元点Ｐ３）に対応する区画領域を含む角度方向について、該角度方向に沿って配列された区画領域の各々に進行不可能確率を規定することで、第２障害物地図４２を生成する。

このため、第２障害物地図４２における、図７に示す角度方向Ａ〜角度方向Ｃの各々に対応する、区画領域の各々に規定された進行不可能確率は、図１１に示すものとなる。図１１は、第２生成部２０Ｉが規定した進行不可能確率を示す模式図である。図１１（Ａ）は、図７に示す角度方向Ａに沿って配列された複数の区画領域４２Ａの各々に規定された、進行不可能確率を示す模式図である。図１１（Ｂ）は、図７に示す角度方向Ｂに沿って配列された複数の区画領域４２Ａの各々に規定された、進行不可能確率を示す模式図である。図１１（Ｃ）は、図７に示す角度方向Ｃに沿って配列された複数の区画領域４２Ａの各々に規定された、進行不可能確率を示す模式図である。

なお、第２生成部２０Ｉは、中間確率“０．５”を規定された区画領域を、周囲の他の区画領域に規定された進行不可能確率を用いて補完する際、中間確率“０．５”を規定された区画領域に対応する領域Ｅ（図４参照）に割当てられた属性を、考慮してもよい。

図１０（Ａ）を用いて具体的に説明する。図１０（Ａ）において、一番左から２番目に位置する、中間確率“０．５”を規定された区画領域の進行不可能確率を、補完する場合を想定する。この場合、上述したように、第２生成部２０Ｉは、図１０（Ａ）において一番左と左から３番目の各々に位置する、進行可能を示す属性を設定された三次元点Ｐ２に対応する区画領域の各々に規定された第２進行不可能確率“０．０”を用いて、補完処理を行う。

ここで、図１０（Ａ）において一番左に位置する区画領域に対応する三次元点Ｐ２が、属性画像３２（図４参照）内の画素位置（ｘ１，ｙ１）の画素に対応すると想定する。また、図１０（Ａ）において、一番左から３番目に位置する区画領域に対応する三次元点Ｐ２が、属性画像３２（図４参照）内の画素位置（ｘ２，ｙ２）の画素に対応すると想定する。また、属性画像３２における、画素位置（ｘ１，ｙ１）と画素位置（ｘ２，ｙ２）を結ぶ範囲を、補完対象の区画領域の範囲と仮定する。

そして、属性画像３２における、画素位置（ｘ１，ｙ１）と画素位置（ｘ２，ｙ２）とを結ぶ範囲に位置する画素（領域Ｅ）に、進行不可能を示す属性が割り当てられていない場合を想定する。この場合、第２生成部２０Ｉは、図１０（Ｂ）に示すように、補完対象の区画領域に対し、進行可能を示す属性に対応する第２進行不可能確率“０．０”を設定する。

一方、属性画像３２における、画素位置（ｘ１，ｙ１）と画素位置（ｘ２，ｙ２）とを結ぶ範囲に位置する画素（領域Ｅ）に、進行不可能を示す属性が割り当てられている場合を想定する。この場合、第２生成部２０Ｉは、補完対象の区画領域に対し、中間確率“０．５”を設定する。

ここで、１つの区画領域に対して、互いに異なる属性を設定された複数の三次元点Ｐが対応する場合がある。例えば、進行可能を示す属性を設定された三次元点Ｐ２と、進行不可能を示す属性を設定された三次元点Ｐ３と、の双方に対応する区画領域が存在する場合がある。

この場合、第２生成部２０Ｉは、該区画領域に、進行不可能を示す属性に応じた進行不可能確率である第１進行不可能確率“１．０”を規定すればよい。

次に、統合部２０Ｊについて説明する。統合部２０Ｊは、第１障害物地図４０と、第２障害物地図４２と、を統合した障害物地図を生成する。

詳細には、統合部２０Ｊは、進行不可能確率の優先度に基づいて、第１障害物地図４０と第２障害物地図４２を統合する。

進行不可能確率の優先度は、予め設定すればよい。本実施の形態では、統合部２０Ｊは、第１進行不可能確率“１．０”が最も高く、第２進行不可能確率“０．０”が次に高く、中間確率“０．５”が最も低い、優先度を予め設定する。

そして、統合部２０Ｊは、障害物地図に含まれる区画領域の各々に、第１障害物地図４０の対応する区画領域に規定された進行不可能確率、および第２障害物地図４２の対応する区画領域に規定された進行不可能確率の内、より優先度の高い進行不可能確率を規定する。この処理により、統合部２０Ｊは、第１障害物地図４０と第２障害物地図４２を統合した障害物地図を生成する。

図１２を用いて具体的に説明する。図１２は、障害物地図４４における、各角度方向（角度方向Ａ〜角度方向Ｃ）に沿って配列された区画領域（区画領域４４Ａ〜区画領域４４Ｃ）の各々に規定された進行不可能確率を示す模式図である。

図１２（Ａ）は、障害物地図４４における、角度方向Ａに沿って配列された区画領域４４Ａに規定された進行不可能確率を示す模式図である。統合部２０Ｊは、第１障害物地図４０における、角度方向Ａに沿って配列された区画領域４０Ａに規定された進行不可能確率（図８（Ａ）参照）と、第２障害物地図４２における、角度方向Ａに沿って配列された区画領域４２Ａに規定された進行不可能確率（図１１（Ａ）参照）と、統合する。この統合により、統合部２０Ｊは、角度方向Ａに沿って配列された区画領域４４Ａについて、図１２（Ａ）に示す進行不可能確率を規定する。

図１２（Ｂ）は、障害物地図４４における、角度方向Ｂに沿って配列された区画領域４４Ｂに規定された進行不可能確率を示す模式図である。統合部２０Ｊは、第１障害物地図４０における、角度方向Ｂに沿って配列された区画領域４０Ａに規定された進行不可能確率（図８（Ａ）参照）と、第２障害物地図４２における、角度方向Ｂに沿って配列された区画領域４２Ｂに規定された進行不可能確率（図１１（Ｂ）参照）と、統合する。この統合により、統合部２０Ｊは、角度方向Ｂに沿って配列された区画領域４４Ｂについて、図１２（Ｂ）に示す進行不可能確率を規定する。

図１２（Ｃ）は、障害物地図４４における、角度方向Ｃに沿って配列された区画領域４４Ｃに規定された進行不可能確率を示す模式図である。統合部２０Ｊは、第１障害物地図４０における、角度方向Ｃに沿って配列された区画領域４０Ｃに規定された進行不可能確率（図９参照）と、第２障害物地図４２における、角度方向Ｃに沿って配列された区画領域４２Ｃに規定された進行不可能確率（図１１（Ｃ）参照）と、統合する。この統合により、統合部２０Ｊは、角度方向Ｃに沿って配列された区画領域４４Ｃについて、図１２（Ｃ）に示す進行不可能確率を規定する。

上記処理により、統合部２０Ｊは、第１障害物地図４０と、第２障害物地図４２と、を統合した障害物地図４４を生成する。

次に、統合部２０Ｊは、極座標系で生成した障害物地図４４を、直交座法系に変換する。図１３は、極座標系における区画領域と直交座標系における区画領域との関係を、直交座標系で示した図である。図１３中、実線で区切られた区画領域が、直交座標系において矩形状に分割された区画領域である。図１３中、破線で区切られた区画領域は、極座標系において矩形状に分割された区画領域を、直交座標系で表示したものである。

統合部２０Ｊは、ニアレストネイバー法を用いて、直交座標系で表される区画領域の各々について、極座標系で表される区画領域のうち最も近い位置の区画領域を特定する。そして、統合部２０Ｊは、直交座標系で表される区画領域の各々に、各々の区画領域に対して特定した、極座標系における最も近い区画領域に規定された進行不可能確率を規定する。

また、統合部２０Ｊは、直交座標系で表される各区画領域に対して、極座標系で表される複数の区画領域の内、最も近傍に位置する区画領域を特定する。そして、統合部２０Ｊは、特定した区画領域の進行不可能確率を、バイリニア法を用いて補完する。そして、統合部２０Ｊは、直交座標系で表される規定対象の区画領域に、該補完によって得られた進行不可能確率を規定してもよい。

なお、これらの方法は、極座標系から直交座標への座標変換の一例であり、これらの方法に限定されるものではない。

上記処理により、統合部２０Ｊ、すなわち、生成部２０Ｆは、上空から地面を見下ろした視点に対応する障害物地図４４を生成する。

図１４は、障害物地図４４の一例を示す模式図である。上記処理により、生成部２０Ｆは、障害物地図４４を作成する。図１４中、白色で示した区画領域は、第２進行不可能確率“０．０”を規定された区画領域である。図１４中、黒色で示した区画領域は、第１進行不可能確率“１．０”を規定された区画領域である。図１４中、灰色で示した区画領域は、中間確率“０．５”を規定された区画領域である。

なお、生成部２０Ｆは、生成した障害物地図４４と、過去に生成した障害物地図４４と、を時系列的に統合してもよい。

図１５は、時系列統合の説明図である。図１５は、時刻ｔ−１、および、時刻ｔの各々において、移動体１０を中心とする周囲の空間を分割して得られる複数の区画領域を示している。

時刻ｔ−１のときの区画領域である領域Ｎ_ｔ−１と、時刻ｔのときの区画領域ある領域Ｎ_ｔと、は、それぞれの時刻で移動体１０からの相対位置が異なる。しかし、これらの領域Ｎ_ｔ−１と領域Ｎ_ｔは、ワールド座標空間においては同じ位置を示している。

そこで、生成部２０Ｆは、時刻ｔと、その直前の時刻である時刻ｔ−１との間の移動体１０の移動量を、自己位置情報から算出する。そして、生成部２０Ｆは、移動体１０の移動量に基づいて、時刻ｔにおける各区画領域に対応する、時刻ｔ−１における区画領域を求める。図１５の例では、時刻ｔの領域Ｎ_ｔに対応する、時刻ｔ−１の区画領域として、領域Ｎ_ｔ−１を求める。そして、生成部２０Ｆは、領域Ｎ_ｔに対して規定された進行不可能確率と、領域Ｎ_ｔ−１に対して過去に規定された進行不可能確率と、を統合する。この統合には、例えば、下記式（５）に示すベイズの定理を用いればよい。

なお、式（５）中、において、ｐ（ｍ_ｉ｜ｚ_ｔ）は現在の位置情報に基づく進行不可能確率を示し、ｐ（ｍ_ｉ｜ｚ_１，．．．，ｚ_ｔ−１）は、過去の位置情報に基づく進行不可能確率を示し、ｐ（ｍ_ｉ｜ｚ_１，．．．，ｚ_ｔ）は、現在までの位置情報に基づく進行不可能確率を示す。

生成部２０Ｆが、各区画領域に規定された進行不可能確率を時系列に統合した障害物地図４４を生成することで、例えば任意のタイミングでセンサがノイズを含む値を観測した場合であっても、進行不可能確率をロバストに算出することが可能である。

図２に戻り、説明を続ける。生成部２０Ｆは、生成した障害物地図４４を、出力制御部２０Ｇへ出力する。

出力制御部２０Ｇは、障害物地図４４を示す情報を出力する。本実施の形態では、出力制御部２０Ｇは、障害物地図４４を示す情報を、出力部１０Ａおよび動力制御部１０Ｇの少なくとも一方へ出力する。

出力制御部２０Ｇは、障害物地図４４を示す情報を、ディスプレイ１０Ｅに表示する。本実施の形態では、出力制御部２０Ｇは、障害物地図４４を含む表示画面を、ディスプレイ１０Ｅに表示する。

図１６は、表示画面６０の一例を示す模式図である。表示画面６０は、生成部２０Ｆで生成された障害物地図４４を含む。このため、ユーザは、表示画面６０を確認することで、進行不可能確率を容易に認識することができる。なお、表示画面６０は、障害物地図４４上に、自車両である移動体１０を示す画像６０Ａや、移動体１０の進行予定ルートまたは推奨ルートを示すライン６０Ｂを重畳した画面であってもよい。

図２に戻り説明を続ける。また、出力制御部２０Ｇは、障害物地図４４を示す音や光を出力するように、ディスプレイ１０Ｅやスピーカ１０Ｆを制御してもよい。また、出力制御部２０Ｇは、障害物地図４４を示す情報を、通信部１０Ｄを介して外部装置へ送信してもよい。

また、出力制御部２０Ｇは、障害物地図４４を示す情報を、動力制御部１０Ｇへ出力してもよい。すなわち、出力制御部２０Ｇは、障害物地図４４に含まれる各区画領域に規定された進行不可能確率を示す情報を、動力制御部１０Ｇへ出力してもよい。

この場合、動力制御部１０Ｇは、出力制御部２０Ｇから受付けた障害物地図４４を示す情報に応じて、動力部１０Ｈを制御する。例えば、動力制御部１０Ｇは、障害物地図４４に含まれる各区画領域に規定された進行不可能確率に応じて、動力部１０Ｈを制御するための動力制御信号を生成し、動力部１０Ｈを制御してもよい。動力制御信号は、動力部１０Ｈにおける、移動体１０の進行に関する駆動を行う駆動部を制御するための制御信号である。例えば、移動体１０が、障害物地図４４において、第２進行不可能確率“０．０”を規定された区画領域に対応する、実空間の領域を進行するように、動力制御部１０Ｇは、移動体１０の操舵、エンジン、などを制御する。

次に、情報処理装置２０が実行する情報処理の手順の一例を説明する。図１７は、情報処理の手順の一例を示す、フローチャートである。

まず、取得部２０Ｃが、撮影画像３０と、撮影画像３０の撮影環境の三次元点Ｐの三次元点情報と、を取得する（ステップＳ１００）。

次に、割当部２０Ｄが、ステップＳ１００で取得した撮影画像３０内の領域Ｅごとに、属性を割当てる（ステップＳ１０２）。

次に、設定部２０Ｅは、ステップＳ１００で取得した三次元点情報によって示される三次元点Ｐに、撮影画像３０内の対応する領域Ｅに割当てられた属性を設定する（ステップＳ１０４）。

次に、生成部２０Ｆが、ステップＳ１００で取得した三次元点Ｐの三次元点情報と、ステップＳ１０４で三次元点Ｐに設定された属性と、に基づいて、障害物地図４４を生成する（ステップＳ１０６）。

次に、出力制御部２０Ｇが、ステップＳ１０６で生成された障害物地図４４を示す情報を、出力部１０Ａおよび動力制御部１０Ｇへ出力する（ステップＳ１０８）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の情報処理装置２０は、取得部２０Ｃと、割当部２０Ｄと、設定部２０Ｅと、生成部２０Ｆと、を備える。取得部２０Ｃは、撮影画像３０（画像）と、撮影画像３０の取得環境の三次元点Ｐの三次元点情報と、を取得する。割当部２０Ｄは、撮影画像３０内の領域Ｅごとに属性を割当てる。設定部２０Ｅは、三次元点Ｐに、撮影画像３０内の対応する領域Ｅに割当てられた属性を設定する。生成部２０Ｆは、三次元点情報と、三次元点Ｐに設定された属性と、に基づいて、障害物地図４４を生成する。

このように、本実施の形態の情報処理装置２０では、三次元点Ｐの属性を、撮影画像３０上の対応する領域Ｅの属性に基づいて設定し、三次元点Ｐに設定された属性に基づいて、障害物地図４４を生成する。

このため、本実施の形態の情報処理装置２０では、計算量や使用メモリ量を抑えながら、障害物地図４４を生成することができる。

従って、本実施の形態の情報処理装置２０は、処理負荷の軽減を図ることができる。

＜変形例＞
上記実施の形態では、外界センサ１０Ｂが、情報処理装置２０の外部に設けられた形態を、一例として説明した（図２参照）。しかし、情報処理装置２０は、外界センサ１０Ｂを備えた構成であってもよい。

図１８は、本変形例の移動体１１の構成の一例を示す模式図である。なお、上記実施の形態で説明した各部と同じ機能を示す部分には、同じ符号を付与し、詳細な説明を省略する。

移動体１１は、出力部１０Ａと、内界センサ１０Ｃと、動力制御部１０Ｇと、動力部１０Ｈと、情報処理装置２１と、がバス１０Ｉを介して接続されている。なお、移動体１１は、情報処理装置２０に代えて情報処理装置２１を備える点以外は、上記実施の形態の移動体１０と同様である。

情報処理装置２１は、記憶部２０Ｂと、処理部２０Ａと、外界センサ１０Ｂと、を備える。情報処理装置２１は、外界センサ１０Ｂを更に備えた構成である点以外は、上記実施の形態の情報処理装置２０と同様である。また、外界センサ１０Ｂは、上記実施の形態と同様である。

図１８に示すように、情報処理装置２１は、処理部２０Ａおよび記憶部２０Ｂに加えて、外界センサ１０Ｂ（すなわち、撮影部１０Ｊ、計測部１０Ｋ）を更に備えた構成であってもよい。

また、情報処理装置２１は、処理部２０Ａおよび記憶部２０Ｂに加えて、通信部１０Ｄ、ディスプレイ１０Ｅ、スピーカ１０Ｆ、内界センサ１０Ｃ、および動力制御部１０Ｇ、の少なくとも１つを更に備えた構成であってもよい。

＜ハードウェア構成＞
次に、上記実施の形態の情報処理装置２０および変形例の情報処理装置２１の、ハードウェア構成の一例を説明する。図１９は、情報処理装置２０および情報処理装置２１のハードウェア構成図の一例である。

情報処理装置２０および情報処理装置２１は、ＣＰＵ８６などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０やＨＤＤ（ハードディスクドライブ）９２などの記憶装置と、各種機器とのインターフェースであるＩ／Ｆ部８２と、出力情報などの各種情報を出力する出力部８０と、ユーザによる操作を受付ける入力部９４と、各部を接続するバス９６とを備えており、通常のコンピュータを利用したハードウェア構成となっている。

情報処理装置２０および情報処理装置２１では、ＣＰＵ８６が、ＲＯＭ８８からプログラムをＲＡＭ９０上に読み出して実行することにより、上記各部がコンピュータ上で実現される。

なお、情報処理装置２０および情報処理装置２１で実行される上記各処理を実行するためのプログラムは、ＨＤＤ９２に記憶されていてもよい。また、情報処理装置２０および情報処理装置２１で実行される上記各処理を実行するためのプログラムは、ＲＯＭ８８に予め組み込まれて提供されていてもよい。

また、情報処理装置２０および情報処理装置２１で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、情報処理装置２０および情報処理装置２１で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、情報処理装置２０および情報処理装置２１で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。

なお、上記には、本発明の実施の形態および変形例を説明したが、上記実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０、１１ 移動体
１０Ｅ ディスプレイ
１０Ｊ 撮影部
１０Ｋ 計測部
２０、２１ 情報処理装置
２０Ｃ 取得部
２０Ｄ 割当部
２０Ｅ 設定部
２０Ｆ 生成部
２０Ｇ 出力制御部
２０Ｈ 第１生成部
２０Ｉ 第２生成部
２０Ｊ 統合部

本発明の実施の形態は、情報処理装置、プログラム、および情報処理方法に関する。

本発明が解決しようとする課題は、処理負荷の軽減を図ることができる、情報処理装置、プログラム、および情報処理方法を提供することである。

以下に添付図面を参照して、情報処理装置、プログラム、および情報処理方法を詳細に説明する。

Claims (15)

1. 画像と、前記画像の取得環境の三次元点の三次元点情報と、を取得する取得部と、
   前記画像内の領域ごとに属性を割当てる割当部と、
   前記三次元点に、前記画像内の対応する前記領域に割当てられた前記属性を設定する設定部と、
   前記三次元点情報と、前記三次元点に設定された前記属性と、に基づいて、障害物地図を生成する生成部と、
   を備える情報処理装置。
2. 前記生成部は、
   上空から地面を見下ろした視点に対応する前記障害物地図を作成する、
   請求項１に記載の情報処理装置。
3. 前記属性は、
   進行可能、進行不可能、または立体物を示す、
   請求項１または請求項２に記載の情報処理装置。
4. 前記生成部は、
   区画領域ごとに進行可能または進行不可能な度合いを示す前記障害物地図を生成する、
   請求項１〜請求項３の何れか１項に記載の情報処理装置。
5. 前記生成部は、
   前記三次元点情報と、前記三次元点に設定された前記属性に応じた進行不可能確率と、に基づいて、前記障害物地図を生成する、
   請求項４に記載の情報処理装置。
6. 前記生成部は、
   立体物を示す前記属性を設定された前記三次元点に対応する前記区画領域に、前記進行不可能確率を規定した第１障害物地図を生成する第１生成部と、
   進行可能または進行不可能を示す前記属性を設定された前記三次元点に対応する前記区画領域に、前記進行不可能確率を規定した第２障害物地図を生成する第２生成部と、
   前記第１障害物地図と前記第２障害物地図とを統合した前記障害物地図を生成する統合部と、
   を有する、請求項５に記載の情報処理装置。
7. 前記第１生成部は、
   立体物を示す前記属性を設定された前記三次元点に対応する前記区画領域に、前記進行不可能確率として、第１進行不可能確率を規定し、
   基準位置から該第１進行不可能確率を規定した前記区画領域までの範囲内の他の前記区画領域に、前記進行不可能確率として、前記第１進行不可能確率より低い第２進行不可能確率を規定し、
   前記第１進行不可能確率を規定された前記区画領域より前記基準位置から離れた範囲内の他の前記区画領域に、前記進行不可能確率として、前記第１進行不可能確率と前記第２進行不可能確率との間の中間確率を規定した、
   前記第１障害物地図を作成する、
   請求項６に記載の情報処理装置。
8. 前記第２生成部は、
   進行不可能を示す前記属性を設定された前記三次元点に対応する前記区画領域に前記第１進行不可能確率を規定し、
   進行可能を示す前記属性を設定された前記三次元点に対応する前記区画領域に前記第２進行不可能確率を規定し、
   前記第１進行不可能確率または前記第２進行不可能確率を未規定の前記区画領域に、前記第１進行不可能確率または前記第２進行不可能確率を規定された前記区画領域に基づいた前記進行不可能確率を規定した、
   前記第２障害物地図を作成する、
   請求項７に記載の情報処理装置。
9. 前記第２生成部は、
   進行可能を示す前記属性を設定された前記三次元点、および、進行不可能を示す前記属性を設定された前記三次元点、の双方に対応する前記区画領域に、進行不可能を示す前記属性に応じた前記進行不可能確率を規定する、
   請求項８に記載の情報処理装置。
10. 前記統合部は、
    前記第１進行不可能確率が最も高く、前記第２進行不可能確率が次に高く、前記中間確率が最も低い、前記進行不可能確率の優先度に基づいて、
    前記障害物地図に含まれる前記区画領域の各々に、前記第１障害物地図の対応する前記区画領域に規定された前記進行不可能確率および前記第２障害物地図の対応する前記区画領域に規定された前記進行不可能確率の内、より優先度の高い前記進行不可能確率を規定することによって、
    前記第１障害物地図と前記第２障害物地図を統合した前記障害物地図を生成する、
    請求項８または請求項９に記載の情報処理装置。
11. 前記障害物地図を含む表示画面を表示部に表示する出力制御部を備える、
    請求項１〜請求項１０の何れか１項に記載の情報処理装置。
12. 前記画像を撮影する撮影部と、
    前記画像の撮影時の前記取得環境の、前記三次元点の前記三次元点情報を計測する計測部と、
    を備え、
    前記取得部は、前記撮影部および前記計測部から、前記画像および前記三次元点情報を取得する、
    請求項１〜請求項１１の何れか１項に記載の情報処理装置。
13. 前記計測部は、レーザによって前記三次元点情報を計測する、
    請求項１２に記載の情報処理装置。
14. 前記計測部は、レーザの照射方向と、前記レーザの前記三次元点による反射光に関する情報と、に基づいて前記三次元点情報を計測する、
    請求項１３に記載の情報処理装置。
15. 画像と、前記画像の取得環境の三次元点の三次元点情報と、を取得するステップと、
    前記画像内の領域ごとに属性を割当てるステップと、
    前記三次元点に、前記画像内の対応する前記領域に割当てられた前記属性を設定するステップと、
    前記三次元点情報と、前記三次元点に設定された前記属性と、に基づいて、障害物地図を生成するステップと、
    をコンピュータに実行させるためのプログラム。