JP2022034086A - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】車両の周囲の物体における３次元情報を用いて、周囲の車両の存在する位置を適切に取得できるようにする。【解決手段】カメラが自車の周囲の画像を撮像し、撮像された画像内における自車の周囲の車両の領域がフレームとして検出される。自車の周囲の物体の３次元情報が検出されて、３次元情報に基づいて、自車の周囲の車両の位置を示す３次元ボックスが生成される。３次元ボックスがフレームに基づいて、補正されて、３次元ボックスが配置されることにより周囲情報が生成される。本開示は、車載システムに適用することができる。【選択図】図４

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、車両の周囲の物体における３次元検出情報を用いて、周囲の車両の存在する位置を適切に取得できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。

自動運転を実現するための技術が提案されている。

自動運転を実現する上では、周囲の状況を認識して、他車や歩行者との接触を回避する走行経路を決定し、車両を移動させることが必要とされる。

自動運転を実現させる上で必要な一連の動作のうち、自らの周囲の状況を認識する技術については、カメラにより撮像される画像に基づいた物体検出や、ミリ波レーダやLiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）などにより得られる３次元検出情報等の複数の検出結果を用いて取得する技術が知られている。

例えば、カメラにより撮像された矩形の画像内における物体認識結果に、レーダ等の３次元検出情報を合成する技術が開示されている（特許文献１参照）。

特開２００５－１７５６０３号公報

しかしながら、特許文献１の技術においては、３次元検出情報を２次元の画像内で合成しているため、３次元検出情報が２次元の情報として扱われてしまっており、物体の位置を適切に取得できない恐れがあった。

また、３次元検出情報は、自車の周囲の車両の表面分布として検出されるため、３次元検出情報を用いて、周囲の車両の位置を特定しようとしても、車両が存在する空間の情報がないので、適切に車両の位置を特定することができない。

本開示は、このような状況に鑑みてなされたものであり、特に、３次元検出情報を用いて周囲に存在する車両の存在する位置情報を適切に取得できるようにするものである。

本開示の一側面の情報処理装置は、自車の周囲の画像を撮像する撮像部と、前記画像内における前記自車の周囲の車両の領域をフレームとして検出するフレーム検出部と、前記自車の周囲の物体の３次元情報を検出する３次元情報検出部と、前記３次元情報検出部により検出された３次元情報に基づいて、前記自車の周囲の車両の位置を示す３次元ボックスを生成する３次元ボックス生成部と、前記フレームに基づいて、前記３次元ボックスを補正する３次元ボックス補正部とを備える情報処理装置である。

本開示の一側面の情報処理方法およびプログラムは、情報処理装置に対応する。

本開示の一側面においては、自車の周囲の画像が撮像され、前記画像内における前記自車の周囲の車両の領域がフレームとして検出され、前記自車の周囲の物体の３次元情報が検出され、検出された３次元情報に基づいて、前記自車の周囲の車両の位置を示す３次元ボックスが生成され、前記フレームに基づいて、前記３次元ボックスが補正される。

本開示のゴーストを除去する例を説明する図である。 本開示の３次元ボックスの補正の概要を説明する図である。 本開示の車両制御システムの構成例を説明するブロック図である。 ３次元ボックスを適切に取得する車外情報検出部の構成例を説明するブロック図である。 ラップ率を説明するブロック図である。 ３次元ボックスの補正例を説明する図である。 ３次元ボックスの水平方向の幅の補正方法の例を説明する図である。 ３次元ボックスの垂直方向の高さの補正方法の例を説明する図である。 ２次元の画像に基づいた３次元ボックスの例を説明する図である。 ３次元ボックスを用いた周囲情報の例を説明する図である。 周囲情報生成処理を説明するフローチャートである。 ３次元ボックス補正処理を説明するフローチャートである。 ミリ波レーダの設置位置に応じた補正を説明する図である。 ミリ波レーダの検出結果のみ、または、画像に基づいた検出結果のみではエラーが生じる例を説明する図である。 ミリ波レーダの検出結果のみ、または、画像に基づいた検出結果のみでも適切に３次元ボックスを求める例を説明する図である。 フレームと３次元ボックスとがマッチングペアとされたのち、フレームが得られない状態でも３次元ボックスを適切に求められる例を説明する図である。 カメラの視野角とミリ波レーダの視野角が異なっても、フレームと３次元ボックスとがマッチングペアとされたのちであれば３次元ボックスを適切に求められる例を説明する図である。 その他の３次元ボックス補正処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．本開示の車両を制御する車両制御システムの構成例
３．勾配路における障害物の誤判定を抑制する構成
４．衝突判定処理
５．ソフトウェアにより実行させる例

＜＜１．本開示の概要＞＞
＜３次元位置情報の誤検出対策＞
本開示の車両制御システムは、自動運転制御に必要とされる、車両の３次元位置情報を適切に取得できるようにするものである。

本開示の概要について説明する。

車両の３次元位置情報とは、例えば、ミリ波レーダにより検出される３次元検出結果に基づいた自車の周囲の車両の位置を方形状の３次元ボックスにより表現する情報である。

ここで、３次元ボックスとは、ミリ波レーダによる対象物からの反射波のピークが検出される位置の分布のうち、同一の方向に同一の速度で移動するもの同士が同一車両からの反射波であるものとみなされてグルーピングされるとき、同一のグループの分布が包含される範囲を、方形状の範囲として表現したものである。

しかしながら、ミリ波レーダの検出結果については、反射波のピークを基準とするため、例えば、壁や路面などの、自車の周辺の車両以外の物体からの検出結果を、車両からの反射波として誤検出してしまうことがあった。

尚、以降において、現実には車両が存在しないにもかかわらず、誤検出により３次元ボックスが生成される現象をゴースト現象と称し、誤検出により生成された３次元ボックスをゴーストと称する。

そこで、本開示においては、ゴースト現象の発生を抑制するため、カメラにより撮像される画像を用いた物体認識結果と、３次元ボックスとのマッチングを行い、マッチングが取れなかった３次元ボックスをゴーストと見なして除去することでゴースト現象の発生を抑制する。

すなわち、図１の画像Ｐで示されるように、画像に基づいた物体認識結果として車両であることを示す物体認識結果がフレームＦ１１，Ｆ１２で表されているものとする。また、図１においては、フレームＦ１１，Ｆ１２のそれぞれの対応する位置に、３次元検出情報に基づいて、車両が存在することを示す３次元ボックスＢｍ１１，Ｂｍ１２が検出されているものとする。

図１のような場合、画像に基づいた車両を認識する物体認識結果であるフレームＦ１１が、３次元検出結果に基づいた車両の位置を示す３次元ボックスＢｍ１１とマッチングするため、３次元ボックスＢｍ１１はゴーストではないものとみなすことができる。

同様に、画像に基づいた車両を認識する物体認識結果であるフレームＦ１２が、３次元検出結果に基づいた車両の位置を表す３次元ボックスＢｍ１２とマッチングするため、３次元ボックスＢｍ１２はゴーストではないものとみなすことができる。

これに対して、３次元検出結果に基づいた車両の位置を表す３次元ボックスＢｍ１３については、現実には車両が存在しないにもかかわらず、生成されたものであり、対応する画像に基づいた車両を認識する物体認識結果であるフレームが存在しないため、ゴーストとみなされて、処理対象から削除される。

このような処理により、ゴーストを排除して、適切な３次元ボックスのみを残すことが可能となる。

＜３次元位置情報の補正＞
３次元ボックスは、上述したようにミリ波レーダの反射波のピーク位置の分布に基づいて生成される。このため、例えば、図２の画像ＰＡで示されるように、自車の走行方向の右前方にトラックのような車両ＭＴが存在する場合、例えば、ピーク位置は、図中の丸印のように表現され、ピーク位置の分布は車両ＭＴの左側面の表面に集中することになる。

このため、車両ＭＴの左側面の表面に分布するピーク位置の情報に基づいて３次元ボックスＢｍが生成されることにより、図２の画像ＰＢで示されるように、実際の車両ＭＴの本体が存在する位置から、図中の左手前方向に３次元ボックスＢｍがずれて生成される。

このように、車両が実際に存在する位置からずれた位置に３次元ボックスＢｍが生成されると、自車と先行する車両ＭＴとの位置関係が誤った状態で認識されることにより、例えば、車両ＭＴとの接近が誤検出されて、衝突回避のための急ブレーキや急ハンドルによる誤動作を引き起こす恐れがあった。

そこで、本開示においては、図２の画像Ｐｃで示されるように、３次元ボックスＢｍの位置が、画像に基づいた車両の物体認識結果であるフレームＦｐ内に収まるように、実線で示される３次元ボックスＢｒのような位置にずらして補正されるようにする。このような処理により、図２の３次元ボックスＢｒは、車両ＭＴの存在する適切な位置に補正されて生成されることになるので、３次元ボックスＢｒに基づいて適切に車両ＭＴの位置を取得することが可能となる。

これにより、３次元ボックスは、本来の車両が存在する位置に補正されて生成させることで誤検出の抑制が可能となる。

結果として、自車との位置関係が適切な位置に、周囲の車両を表現する３次元ボックスを生成することが可能となる。

＜＜２．本開示の車両を制御する車両制御システムの構成例＞＞
次に、図３のブロック図を参照して、本開示の車両の車両制御システムについて説明する。

図３は、本開示の車両の動作を制御する車両制御システム１００の概略的な機能の構成例を示すブロック図である。

なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

＜＜３．３次元ボックスを適切に取得する構成＞＞
次に、図４のブロック図を参照して、３次元ボックスを適切に取得する構成について説明する。尚、図４は、図３を参照して説明した車両制御システム１００を実現する機能の構成例のうち、３次元ボックスを適切に取得するための構成であるデータ取得部１０２と車外情報検出部１４１を抜粋した構成を示している。

データ取得部１０２は、カメラ２０１、およびミリ波レーダ２０２を備えている。カメラ２０１、およびミリ波レーダ２０２は、いずれも車両１１の前方やフロントウィンドウの上部など、車両１１の走行方向の前方における物体を検出する。

カメラ２０１は、走行方向の前方の画像を撮像し、自動運転制御部１１２における検出部１３１の車外情報検出部１４１に出力する。

ミリ波レーダ２０２は、走行方向の前方にミリ波帯の電波を照射し、物体からの反射波を受信し、反射波のピークからなる受信結果の分布を３次元検出結果として、自動運転制御部１１２における検出部１３１の車外情報検出部１４１に出力する。

車外情報検出部１４１は、カメラ２０１により撮像された画像、およびミリ波レーダ２０２の３次元検出結果に基づいて、車両１１の前方の物体認識を行うと共に、認識結果に基づいて自車の周囲の車両の位置情報からなる周囲情報を生成する。

より詳細には、車外情報検出部１４１は、信号処理部２１１、物体認識部２１２、信号処理部２１３、物体認識部２１４、３次元ボックス補正部２１５、および周囲情報生成部２１６を備えている。

信号処理部２１１は、カメラ２０１により撮像された画像信号に基づいて、ＲＧＢのそれぞれのデモザイク処理、ノイズ除去、および諧調補正等を行うとともに、画像を生成して物体認識部２１２に出力する。

物体認識部２１２は、信号処理部２１１より出力された画像に基づいて、例えば、セマンティックセグメンテーションにより画素単位で画像内に撮像されている物体を認識する。また、物体認識部２１２は、物体認識結果のうち、車両とみなされるフレーム（領域）の情報を３次元ボックス補正部２１５に出力する。ここでいうフレームとは、例えば、図１のフレームＦ１１，Ｆ１２に対応するものである。

信号処理部２１３は、ミリ波レーダ２０２の検出結果である照射したミリ波帯の電波のピーク強度の反射波の分布からなる受信結果に基づいて、距離、速度、および移動方向（角度）からなる３次元検出情報を生成し、物体認識部２１４に出力する。

物体認識部２１４は、信号処理部２１３より出力された３次元検出情報に基づいて、例えば、同一の距離、同一の速度、および同一の移動方向（角度）の３次元検出情報の点群情報の分布をグルーピングし、同一グループの点群情報の分布を包含する方形状の範囲を、車両の存在する範囲を示す３次元ボックスとして特定し、３次元ボックス補正部２１５に出力する。ここでいう、３次元ボックスとは、例えば、図１の３次元ボックスＢｍ１１，Ｂｍ１２である。

３次元ボックス補正部２１５は、物体認識部２１４より供給される３次元ボックスの位置情報を、物体認識部２１２より供給されるフレームの情報に基づいて補正して、周囲情報生成部２１６に出力する。

より詳細には、３次元ボックス補正部２１５は、３次元ボックスと、フレームとのマッチングにより同一位置に存在する３次元ボックスを抽出し、それ以外の３次元ボックスをゴーストとみなして除去する。

３次元ボックス補正部２１５は、３次元ボックスと、フレームとのペアのそれぞれについてラップ率を求め、所定のラップ率よりも高いペアをマッチングしているものとみなす。

ここで、ラップ率とは、３次元ボックスとフレームとのそれぞれの２次元画像内における領域の総面積に対する同一の範囲、すなわち、ラップしている範囲の割合であり、図５で示される３次元ボックスＢｍとフレームＦｐの場合、以下の式（１）により算出される。

Ｒｒ＝Ｒ／（Ｐ＋Ｍ－Ｒ）
・・・（１）

ここで、Ｒｒは、ラップ率であり、Ｍは、画像内における３次元ボックスＢｍが存在する領域の面積（２次元の面積）であり、Ｐは、フレームＦｐの面積であり、Ｒは、３次元ボックスＢｍとフレームＦｐとがラップしている範囲の面積である。

３次元ボックス補正部２１５は、３次元ボックスとフレームとの一部でも重なっているペアを検索すると共に、検索されたペアにおけるラップ率を算出して、ラップ率が所定値よりも高い場合、ペアを構成する３次元ボックスがゴーストではなく、車両の位置に対応する３次元ボックスであるものとみなす。

そして、３次元ボックス補正部２１５は、ペアとして認識した３次元ボックスをフレーム内に収めるように補正する。

すなわち、図６の画像Ｐａで示されるような、３次元ボックスＢｍとフレームＦｐとのラップ率が所定値よりも高く、双方によりペアが構成されることが確認されている場合、図６の画像Ｐｂで示されるように、フレームＦｐ内に収まるように３次元ボックスＢｍを補正することで、３次元ボックスＢｒを生成する。

ミリ波レーダ２０２の検出結果に基づいて得られる３次元ボックスは、距離方向については高精度であるが、水平方向および垂直方向については精度が低い。一方、カメラ２０１により撮像された画像に基づいたフレームは、水平方向および垂直方向については、高精度に得られるが、距離方向の情報は得られない。

そこで、３次元ボックス補正部２１５は、３次元ボックスＢｍを３次元ボックスＢｒに補正する際には、水平方向、および垂直方向について、画像内の情報を利用して補正し、全体としてフレームＦｐ内に収まるように補正する。

より詳細には、水平方向については、図７で示されるように、カメラ２０１の撮像面２０１ａにおける車両として認識される物体の幅（ピクセル数）ｘとするとき、実際の車両として認識される物体の幅ｙは、他車までの距離Ｄと焦点距離ｆとの関係から以下の式（２）により求めることができる。

ｙ＝Ｄ×ｘ／ｆ
・・・（２）

ここで、式（２）において、ｙは、車両（他車）として認識された物体の実際の幅であり、Ｄは、ミリ波レーダ２０２の検出結果に基づいた自車から他車までの距離であり、ｘは、カメラ２０１における撮像面上の幅（ピクセル数）であり、ｆはカメラ２０１に用いられる図示せぬ光学系（レンズ）の焦点距離である。

同様に、垂直方向については、図８で示されるように、カメラ２０１の撮像面２０１ａにおける車両として認識される物体と路面との境界からの高さ（ピクセル数）ｈとするとき、実際の車両として認識される物体の高さＨは、他車までの距離Ｄと焦点距離ｆとの関係から以下の式（３）により求めることができる。

Ｈ＝Ｄ×ｈ／ｆ
・・・（３）

ここで、式（３）において、Ｈは、車両（他車）として認識された物体の実際の高さであり、Ｄは、ミリ波レーダ２０２の検出結果に基づいた自車から他車までの距離であり、ｈは、カメラ２０１における撮像面上の他車の路面との境界からの高さ（ピクセル数）であり、ｆはカメラ２０１に用いられる図示せぬ光学系（レンズ）の焦点距離である。

すなわち、上述した式（２），式（３）を用いた車両の水平方向の幅と垂直方向の高さに基づいて求められる断面と、ミリ波レーダ２０２の検出結果より得られる距離（奥行き）の情報とに基づいて、画像より求められるフレームＦｐ内に収まるような位置になるように３次元ボックスＢｍが補正されることにより、３次元ボックスＢｒが求められる。

＜フレームの他の例＞
以上においては、フレームは、カメラ２０１により撮像された画像内における物体認識結果が車両である領域である例について説明してきたが、２次元の画像に基づいて得られる３次元ボックスの存在する領域をフレームとして用いるようにしてもよい。

２次元の画像より、車両として認識される３次元検出情報を３次元ボックスとして求める技術としては、例えば、Mobileye社（商標）（https://www.mobileye.com/our-technology/参照）製の3D Boundary Box Vehicle Detectionが知られている。

２次元の画像より、車両として認識される３次元検出情報を３次元ボックスとして求める場合、例えば、図９の画像Ｐ１１で示されるように、画像の情報のみで、車両が存在する位置に３次元ボックスＢｐ１１，Ｂｐ１２が求められる。また、図９の画像Ｐ１２で示されるように、画像の情報のみで、車両が存在する位置に３次元ボックスＢｐ２１乃至Ｂｐ２４が求められる。

しかしながら、２次元の画像のみから３次元ボックスを求める場合、単眼カメラにより撮像された２次元の画像から車両の存在する範囲を推定して３次元ボックスが生成されることになるため、ミリ波レーダの距離精度と比較して低精度である。

そこで、本開示において、３次元ボックス補正部２１５は、カメラ２０１により撮像された画像に基づいた３次元ボックスの画像内の位置（２次元画像内の位置）に、ミリ波レーダ２０２の検出結果に基づいた３次元ボックスが収まるように補正する。

すなわち、本開示の３次元ボックス補正部２１５は、基本的にミリ波レーダ２０２の検出結果に基づいた３次元ボックスを、カメラ２０１により撮像された２次元の画像内における車両が存在する領域、または、２次元の画像内における３次元ボックスの領域内に収まるように補正する。

このような処理により、水平方向および垂直方向の精度が高いカメラ２０１により撮像された画像の情報と、距離精度の高いミリ波レーダ２０２の検出結果とが合成されることになるので、高精度な３次元ボックスを求めることが可能となる。

周囲情報生成部２１６は、３次元ボックス補正部２１５より供給される３次元ボックスの情報に基づいて、周囲情報を生成して出力する。

周囲情報とは、自車と周囲の他車との位置関係を示す情報であり、例えば、図１０で示されるようなものである。

すなわち、図１０の周囲情報においては、自車を示す３次元ボックスＭ１１、および周囲の他車の３次元ボックスＭ１２乃至Ｍ１６が示されており、３次元ボックスＭ１２乃至Ｍ１６のそれぞれには進行方向を示す矢印が付されている。

矢印は、ミリ波レーダ２０２の検出結果として同一の位置、同一の速度、および同一の方向の検出結果としてグループ化された分布における速度と方向の情報の平均値により設定される。

車外情報検出部１４１の後段においては、この周囲情報に基づいて、周囲の車両との距離に応じた衝突判定等がなされることにより、自動運転の制御がなされる。

＜周囲情報生成処理＞
次に、図１１のフローチャートを参照して、周囲情報生成処理について説明する。

ステップＳ１１において、カメラ２０１は、走行方向前方の所定の範囲の画像を撮像し、画像信号として車外情報検出部１４１に出力する。

ステップＳ１２において、車外情報検出部１４１の信号処理部２１１は、カメラ２０１により撮像された画像信号に基づいて、ＲＧＢのそれぞれのデモザイク処理、ノイズ除去、および諧調補正等を行うとともに、画像を生成して物体認識部２１２に出力する。

ステップＳ１３において、物体認識部２１２は、信号処理部２１１より出力された画像に基づいて、例えば、セマンティックセグメンテーションにより画素単位で画像内に撮像されている物体がどのようなものであるのかを認識する。また、物体認識部２１２は、物体認識結果のうち、車両とみなされるフレーム（領域）の情報を３次元ボックス補正部２１５に出力する。

ステップＳ１４において、ミリ波レーダ２０２は、ミリ波帯の電波を走行方向前方の所定の範囲に照射し、ピーク強度の反射波の分布からなる３次元検出結果を車外情報検出部１４１に出力する。

ステップＳ１５において、車外情報検出部１４１の信号処理部２１３は、３次元検出結果に基づいて、距離、速度、および移動方向（角度）からなる３次元検出情報を生成し、物体認識部２１４に出力する。

ステップＳ１６において、物体認識部２１４は、３次元検出結果を、同一の位置、同一の速度、および同一の方向毎のグループとなるようにグルーピングを行う。

ステップＳ１７において、物体認識部２１４は、グルーピングの結果に基づいて、３次元ボックスを生成し、３次元ボックス補正部２１５に出力する。

ステップＳ１８において、３次元ボックス補正部２１５は、物体認識部２１２より供給される画像内の車両の領域であるフレームの情報と、物体認識部２１４より供給される３次元ボックスの情報に基づいて、３次元ボックス補正処理を実行して、３次元ボックスの位置を補正して周囲情報生成部２１６に出力する。

尚、３次元ボックス補正処理については、図１２のフローチャートを参照して、詳細を後述する。

ステップＳ１９において、周囲情報生成部２１６は、３次元ボックス補正処理により位置が補正された３次元ボックスの情報に基づいて、図１０を参照して説明した周囲情報を生成して出力する。

ステップＳ２０において、車外情報検出部１４１は、周囲情報生成処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。

そして、ステップＳ２０において、終了が指示された場合、処理は、終了する。

以上の一連の処理により、カメラ２０１により撮像された画像と、ミリ波レーダ２０２の検出結果とに基づいて、自車の周囲に存在する車両の位置情報が、３次元ボックスとして求められ、３次元ボックスの情報に基づいて周囲情報が生成される。

＜３次元ボックス補正処理＞
次に、図１２のフローチャートを参照して、３次元ボックス補正処理について説明する。

ステップＳ３１において、３次元ボックス補正部２１５は、画像の車両の領域であるフレームの情報と、３次元ボックスの情報とについて、それぞれ対応する位置に存在するペアを生成する。

ステップＳ３２において、３次元ボックス補正部２１５は、上述する式（１）に基づいて、各ペアを構成するフレームと３次元ボックスにおける２次元画像内におけるラップ率を算出する。

ステップＳ３３において、３次元ボックス補正部２１５は、各ペアのラップ率について、所定値との比較により、ラップ率が所定値よりも高いフレームと３次元ボックスとのペアをマッチング済みペアとして抽出する。

ステップＳ３４において、３次元ボックス補正部２１５は、抽出したマッチング済みペアのうち、未処理のペアを処理対象ペアに設定する。

ステップＳ３５において、３次元ボックス補正部２１５は、処理対象ペアにおける３次元ボックスを、図７，図８を参照して説明した手法により水平方向の幅および垂直方向の高さを設定すると共に、フレーム内に収まるように位置を補正する。

ステップＳ３６において、３次元ボックス補正部２１５は、未処理のマッチング済みペアが存在するか否かを判定し、未処理のマッチング済みペアが存在する場合、処理は、ステップＳ３４に戻る。すなわち、全てのマッチング済みペアの３次元ボックスが補正されるまで、ステップＳ３４乃至Ｓ３６の処理が繰り返される。

そして、全てのマッチング済みペアの３次元ボックスが補正されて、ステップＳ３６において、未処理のマッチング済みペアがないと判定されると、処理は、終了する。

すなわち、一連の処理により、全ての３次元ボックスのうち、対応する位置に画像に基づいた車両の存在する領域を示すフレームが存在し、かつ、ラップ率が所定値よりも高い３次元ボックスとフレームとがマッチング済みペアとして抽出される。この処理により、３次元ボックスのうち、対応するフレームが存在しないものがゴーストとみなされて除外され、それ以外の３次元ボックスがフレームと共にマッチング済みペアとして抽出される。

そして、マッチング済みペアを構成する３次元ボックスを構成する水平方向の幅と垂直方向の高さの情報が画像より得られる情報により補正され、さらに、フレーム内に収まるように補正されることで、３次元ボックスの位置が補正される。

これにより、３次元ボックスは、ミリ波レーダ２０２による精度の高い距離方向の情報を残しつつ、画像に基づいて水平方向の幅と垂直方向の高さが補正されると共に、画像による車両として物体認識された領域であるフレーム内に収められて、位置が補正されるので、高精度な３次元ボックスの情報を取得することが可能となる。

結果として、高精度な３次元ボックスを用いて周囲情報を生成することが可能となり、高精度な自動運転の制御を実現することが可能となる。

＜カメラとミリ波レーダとの設置位置に応じた補正＞
カメラ２０１とミリ波レーダ２０２は、いずれも車両における同一の位置から同一の視野角（FOV：Field of View）となるように設置されることが望ましいが、同一の位置ではないこともある。

この場合、設置位置の違いに応じた補正が必要となる。

例えば、図１３で示されるように、自車である車両Ｍ１のフロントウィンドウの中央上部にカメラ２０１が設置される場合、ミリ波レーダ２０２－１乃至２０２－３で示されるように、車体前方の右部、中央部、および左部に設けられる位置が異なると、車両Ｍ１の右前方の車両Ｍ２を認識するようなとき、ミリ波レーダ２０２によりカバーされる範囲が異なる。

尚、図１３は、自車である車両Ｍ１のカメラ２０１およびミリ波レーダ２０２－１乃至２０２－３のそれぞれの視野角を一点鎖線および点線で表現しており、図１３の左部が上面図であり、図１３の右部が車両Ｍ２の側面斜視図である。また、ミリ波レーダ２０２－１乃至２０２－３の視野角はいずれも同一であるものとする。

図１３で示されるように、カメラ２０１の視野角が一点鎖線で示されるように、車両Ｍ２の、左後方部分の全体となる図１３の上面図におけるＧＡＣの範囲（斜視図におけるＧＡＣＣ’Ａ’Ｇ’の範囲）がカバーされるものとする。

また、このとき、車両Ｍ１の前方右部に設けられたミリ波レーダ２０２－３の視野角は、カメラ２０１における場合と同様の、図１３の上面図におけるＧＡＣの範囲（斜視図におけるＧＡＣＣ’Ａ’Ｇ’の範囲）がカバーされるものとする。

このような場合、ミリ波レーダ２０２－３が図中の左側にずらされて、車両Ｍ１の前方中央部にミリ波レーダ２０２－２のように設置されるとき、ミリ波レーダ２０２－２の視野角において車両Ｍ２がカバーされる範囲は、カメラ２０１よりも狭い、図１３の上面図におけるＧＡＢの範囲（斜視図におけるＧＡＢＢ’Ａ’Ｇ’の範囲）となる。

さらに、ミリ波レーダ２０２－２をさらに図中の左側にずらして、車両Ｍ１の前方左部にミリ波レーダ２０２－１として設けられる場合、ミリ波レーダ２０２－１の視野角において車両Ｍ２がカバーされる範囲は、ミリ波レーダ２０２－２よりもさらに狭い、図１３の上面図におけるＧＡの範囲（斜視図におけるＧＡＡ’Ｇ’の範囲）となる。

このようにミリ波レーダ２０２の設置位置が車体前方の左部、中央部、および右部のそれぞれのように異なると、同一の車両Ｍ２をカバーする範囲が変化する。このようにミリ波レーダ２０２の設置位置に応じて、ミリ波帯の電波を照射できる範囲、および、反射波として検出できる電波の範囲が変化するため、検出される車両Ｍ２に対応する３次元ボックスの位置も変化することになる。

すなわち、ミリ波レーダ２０２－３の場合、車両Ｍ２に対してカバーする視野角の範囲は、カメラ２０１とほぼ同様であることから、それぞれの検出結果から得られるフレームと３次元ボックスとのラップ率は高くなる。

これに対して、ミリ波レーダ２０２－２の場合、車両Ｍ２をカバーする視野角の範囲は、カメラ２０１の画角よりも狭くなるので、それぞれの検出結果から得られるフレームと３次元ボックスとのラップ率は、ミリ波レーダ２０２－１の場合よりも低くなる。

また、ミリ波レーダ２０２－１の場合、車両Ｍ２をカバーする視野角の範囲は、ミリ波レーダ２０２－２の視野角よりもさらに狭くなるので、それぞれの検出結果から得られるフレームと３次元ボックスとのラップ率は、ミリ波レーダ２０２－２の場合よりもさらに低くなる。

さらに、ミリ波レーダ２０２の設置位置による視野角の変化に応じて、反射波のピークが検出される分布が変化することで、生成される３次元ボックスの位置が、カメラ２０１により撮像される画像に対してずれることになり、適切に設定されるべき３次元ボックスがラップ率の低減によりゴーストとして誤認識されて除去される恐れがある。

そこで、カメラ２０１の設置位置とミリ波レーダ２０２の設置位置とのずれに応じた補正が必要となる。

図１３で示されるように、ミリ波レーダ２０２が設置される位置がカメラ２０１に設置位置から左右にずれる場合、ずれた方向に対して反対側の検出位置については、一部がカメラ２０１の視野角から外れるため、カメラ２０１の視野角を、ミリ波レーダ２０２の反射波のピークが検出される領域に制限する必要がある。

すなわち、図１３で示されるように、ミリ波レーダ２０２－１で示されるように車両Ｍ１のカメラ２０１が設置される中央位置から左方向にずれた位置に設置される場合、ずれた方向に対して反対側となる右方向の反射波のピークの検出分布については、右端部の分布が欠如した状態となる。このため、実際の反射波のピークの検出分布の車両Ｍ２が実在する領域のうちの、右側の一部が欠如してしまう。

そこで、右前方において生成される３次元ボックスについては、カメラ２０１により撮像される画像より抽出されるフレームのうち、反射波のピークが検出されることがない右端部を削除するように補正し、補正されたフレームに合わせて３次元ボックスの位置を補正する。

すなわち、図１３の場合、カメラ２０１の視野角は、一点鎖線で示されるＧＡＣの範囲（斜視図におけるＧＡＣＣ’Ａ’Ｇ’の範囲）であるが、ミリ波レーダ２０２－１の画角は、図１３の上面図におけるＧＡの範囲（斜視図におけるＧＡＡ’Ｇ’の範囲）となる。

そこで、ミリ波レーダ２０２－１の検出結果に基づいた３次元ボックスを補正する場合には、３次元ボックス補正部２１５は、カメラ２０１の視野角についても、図１３の上面図におけるＧＡの範囲（斜視図におけるＧＡＡ’Ｇ’の範囲）に制限し、制限された範囲内の画像認識結果から得られるフレームを用いる。

すなわち、３次元ボックス補正部２１５は、ミリ波レーダ２０２の設置位置とカメラ２０１との位置関係に応じて、カメラ２０１の視野角を制限するように補正する。このような補正によりラップ率の低減が抑制され、適切に設定された３次元ボックスがラップ率の低減に伴って除去されてしまうようなことが防止され、３次元ボックスとフレームとのマッチング済みペアが適切に設定される。

結果として、適切に３次元ボックスが設定され、３次元ボックスの適切な補正を実現することが可能となる。

＜＜４．応用例＞＞
以上においては、カメラ２０１により撮像された画像に基づいた物体認識結果より得られるフレームと、ミリ波レーダ２０２の３次元検出結果より得られる３次元ボックスとから、同一の車両に対するフレームと３次元ボックスとのペアを求めて、ペアとなる３次元ボックスをフレーム内に収めるように補正することで、適切な３次元ボックスの情報を取得して、周囲情報を生成する例について説明してきた。

しかしながら、現実には、フレームと３次元ボックスとの両方が常に適切に取得できない状況となることがある。

例えば、図１４の画像Ｐ５１で示されるように、フロントウィンドウ上で可動するワイパブレードＷなどが、フロントウィンドウの内側に設けられたカメラ２０１により撮像される画像内にブラインドを発生させることにより、適切なフレームが得られないことがある。また、カメラ２０１により撮像される画像は、夜間や荒天時など物体認識ができない状態となることがある。

さらに、図１４の画像Ｐ５２，Ｐ５３で示されるように、ミリ波レーダ２０２の検出結果において、ガードレールＧＬや路面Ｒｄからの反射波のピーク強度の分布により、車両が存在しないにも関わらず、３次元ボックスＢｅ１，Ｂｅ２で示されるようなゴーストが検出されてしまうことがある。

さらに、ミリ波帯の電波は、物体表面の法線方向に反射波が生じる特性があるため、例えば、外側に凸となる曲面の多い車両などの場合、電波が拡散してしまい、十分な強度の反射波が得られないこともある。

すなわち、カメラ２０１により撮像される画像より得られるフレーム単体、または、ミリ波レーダ２０２の検出結果に基づいて得られる３次元ボックス単体では、適切な３次元ボックスの情報を取得することができない。

本開示においては、このような状況に鑑みて、上述したように、フレームと３次元ボックスとのペアを設定し、設定されたペアのフレームの情報を用いて３次元ボックスの位置を補正する例について説明してきたが、上述したように、フレームと３次元ボックスとが常にペアとして取得できない場合がある。

しかしながら、一度ペアとして登録したフレームおよび３次元ボックスについては、所定の期間について、トラッキングすることで、フレームおよび３次元ボックスのいずれかのみに基づいて３次元ボックスを設定するようにしてもよい。

すなわち、例えば、図１５の画像Ｐ６１で示されるように、ミリ波レーダ２０２の検出結果を用いた３次元ボックスＢｍ３１，Ｂｍ３２は、車両が存在しない領域においても設定されてしまうことがある。

しかしながら、直前にタイミングにおいて、ペアとして検出されたフレームと３次元ボックスについては、ペアとして検出されていたタイミングから所定の期間においては、直前のタイミングにおいて検出された位置から、直前の３次元ボックスにおける速度と方向で、所定の期間だけ移動した位置で、同一のペアとなるフレームと３次元ボックスが検出されることが予想される。

そこで、例えば、画像Ｐ６１で示されるようなゴーストとみなされる３次元ボックスＢｍ３１，Ｂｍ３２のみが検出されるような場合、所定時間だけ直前の３次元ボックスの速度と方向の情報に基づいて、直前のフレームから所定時間だけ移動した位置に、直前の３次元ボックスを仮想的に移動させた３次元ボックスＢｃ１乃至Ｂｃ３を設定する。そして、この仮想的に設定された３次元ボックスＢｃ１乃至Ｂｃ３と、画像より得られるフレームＦｃ１乃至Ｆｃ３を用いて３次元ボックスを生成するようにしてもよい。

また、図１５の画像Ｐ６２で示されるように、ワイパブレードＷにより画像が適切に撮像できない状況であっても、所定時間だけ直前の３次元ボックスの速度と方向の情報に基づいて、直前のフレームから所定時間だけ移動した位置に仮想的にフレームＦｔ２１を設定し、この仮想的に設定されたフレームＦｔ２１を用いて、ミリ波レーダ２０２により検出された３次元ボックスを補正するようにしてもよい。

いずれにおいても、直前のタイミングにおいてペアとして設定されたフレームと３次元ボックスのうち、現在のタイミングにおいて欠落した情報については、直前のタイミングに検出された３次元ボックスの位置、速度、および方向の情報を用いて、現在の位置を予測して（トランキングして）使用することで、いずれかの情報が欠落しても３次元ボックスを比較的高い精度で求めることが可能となる。

ただし、ペアとして設定されたフレームと３次元ボックスのうちのいずれかの情報が欠落した状態が継続した状態で、トラッキングし続けると信頼性が低下するため、ペアとして設定されたタイミングから所定の時間が経過するまで、または、所定の距離だけ移動するまで時間が経過するまで使用することとし、それ以上の時間については利用しないようにする。

さらに、例えば、図１６で示されるように、一度ペアとして設定されたフレームと３次元ボックスに対応する車両Ｍ１０３が、自車となる車両Ｍ１０１の直前の車両Ｍ１０２の前方に入り込むような場合でも、ミリ波レーダ２０２は、前走車である車両Ｍ１０２の車体の下の路面を反射する車両Ｍ１０３からの反射波を検出できる。

このため、カメラ２０１により撮像される画像において、車両Ｍ１０３が前走車である車両Ｍ１０２により死角に入っても、一度フレームと３次元ボックスとをペアとして設定することができれば、所定の期間は、３次元ボックスを設定することが可能となる。

また、図１７で示されるように、カメラ２０１の視野角ＦＯＶ１とミリ波レーダ２０２の視野角ＦＯＶ２がそれぞれ異なるような場合にも応用することができる。

例えば、図１７で示されるように、カメラ２０１の視野角ＦＯＶ１がミリ波レーダ２０２の視野角ＦＯＶ２よりも狭い場合について考える。

カメラ２０１とミリ波レーダ２０２の共通の視野角となる視野角ＦＯＶ１内において、フレームと３次元ボックスとのペアが設定された後は、図１７のカーブなどにより、視野角ＦＯＶ２内であって、視野角ＦＯＶ１以外の範囲に前走の車両が移動しても、３次元ボックスを生成することが可能である。

すなわち、フレームと３次元ボックスとのペアが設定された後は、前走の車両の現在のミリ波レーダ２０２による３次元ボックスの情報と、直前の３次元ボックスの位置、速度、および方向の情報に基づいて予測される現在のフレームの位置の情報とに基づいて、３次元ボックスを補正して求めることが可能となる。

また、図１７で示される場合と逆に、カメラ２０１の視野角ＦＯＶ１がミリ波レーダ２０２の視野角ＦＯＶ２より広い場合であっても同様の手法で前走の車両の３次元ボックスを求めることが可能となる。

＜応用例における３次元ボックス補正処理＞
次に、図１８のフローチャートを参照して、応用例における３次元ボックス補正処理について説明する。

ステップＳ５１において、３次元ボックス補正部２１５は、画像の車両の領域であるフレームの情報と、３次元ボックスの情報とについて、それぞれ対応する位置に存在するペアを生成する。

ステップＳ５２において、３次元ボックス補正部２１５は、上述する式（１）に基づいて、各ペアを構成するフレームと３次元ボックスにおける２次元画像内におけるラップ率を算出する。

ステップＳ５３において、３次元ボックス補正部２１５は、各ペアのラップ率について、所定値との比較により、ラップ率が所定値よりも高いフレームと３次元ボックスのペアをマッチング済みペアとして抽出する。

ステップＳ５４において、３次元ボックス補正部２１５は、抽出したマッチング済みペアのうち、未処理のペアを処理対象ペアに設定する。

ステップＳ５５において、３次元ボックス補正部２１５は、処理対象ペアが登録済みペアであるか否かを判定する。

すなわち、３次元ボックス補正部２１５は、直前までの処理によりマッチング済みペアとして登録された登録済みペアのうち、処理対象ペアと一致するものがあるか否かを検索し、その有無により処理対象ペアが登録済みペアであるか否かを判定する。

より詳細には、３次元ボックス補正部２１５は、登録済みペアのそれぞれについて、３次元ボックスの情報に含まれる位置、速度、および方向の情報に基づいて、前回の処理からの経過時間で移動することにより求められるフレームと３次元ボックスのペアを予測ペアとして求める。

そして、３次元ボックス補正部２１５は、登録済みペアの情報から予測される予測ペアのそれぞれと、現在のフレームと３次元ボックスの情報である処理対象ペアとを比較して、一致する（類似する）ものを検索し、その有無により処理対象ペアが登録済みペアであるか否かを判定する。

ステップＳ５５において、処理対象ペアが登録済みペアである場合、３次元ボックス補正部２１５は、処理対象ペアとなるフレームと３次元ボックスの情報を、最新の登録済みペアの情報として更新する。

一方、ステップＳ５５において、処理対象ペアが登録済みペアではない場合、処理は、ステップＳ５７に進む。

ステップＳ５７において、３次元ボックス補正部２１５は、処理対象ペアとなるフレームと３次元ボックスの情報を登録済みペアとして新規に登録する。

ステップＳ５８において、３次元ボックス補正部２１５は、未処理のマッチング済みペアがあるか否かを判定し、未処理のマッチング済みペアがある場合、処理は、ステップＳ５４に戻る。

すなわち、ステップＳ５４乃至Ｓ５８の処理が繰り返され、マッチング済みペアの全てが、登録済みペアであるか否かが判定されて、登録済みである場合は、フレームと３次元ボックスの情報が更新され、未登録の場合は新規の登録済みペアとして登録される。

そして、ステップＳ５８において、未処理のマッチング済みペアがないとみなされた場合、処理は、ステップＳ５９に進む。

ステップＳ５９において、３次元ボックス補正部２１５は、未処理の登録済みペアを処理対象ペアに設定する。

ステップＳ６０において、３次元ボックス補正部２１５は、処理対象ペアである登録済みペアが、マッチング済みペアであるか否かを判定する。すなわち、処理対象ペアである登録済みペアとして登録されているフレームと３次元ボックスとが、今現在において両方とも検出されている状態であるか否かが判定される。

ステップＳ６０において、処理対象ペアである登録済みペアが、今現在においてマッチング済みペアであるとみなされた場合、処理は、ステップＳ６１に進む。

ステップＳ６１において、３次元ボックス補正部２１５は、処理対象ペアである登録済みペアを構成するフレームに収まるように３次元ボックスを補正する。

ステップＳ６２において、３次元ボックス補正部２１５は、未処理の登録済みペアが存在するか否かを判定し、未処理の登録済みペアがある場合、処理は、ステップＳ５９に戻る。

そして、未処理の登録済みペアがなくなるまで、ステップＳ５９乃至Ｓ６６の処理が繰り返され、ステップＳ６２において、未処理の登録済みペアがないとみなされた場合、処理は終了する。

また、ステップＳ６０において、処理対象ペアである登録済みペアが、今現在においてマッチング済みペアではないとみなされた場合、すなわち、処理対象ペアである登録済みのペアを構成するフレーム、および３次元ボックスの少なくともいずれかが検出されていない場合、処理は、ステップＳ６３に進む。

ステップＳ６３において、３次元ボックス補正部２１５は、処理対象ペアとなっている登録済みペアを構成するフレームおよび３次元ボックスに基づいて予測されるフレームおよび３次元ボックスのいずれかが検出されているか否かを判定する。

より詳細には、３次元ボックス補正部２１５は、処理対象ペアとなっている登録済みペアを構成する、所定時間だけ直前の３次元ボックスの位置、速度、および方向の情報に基づいて、現在のフレームおよび３次元ボックスの位置を予測する。

そして、３次元ボックス補正部２１５は、今現在供給されてきているフレームおよび３次元ボックスより、予測されたフレームおよび３次元ボックスの近傍のものを検索し、その有無に基づいて、登録済みペアに対応するフレームおよび３次元ボックスのいずれかが検出されているか否かを判定する。

ステップＳ６３において、処理対象ペアとなっている登録済みペアを構成するフレームおよび３次元ボックスに基づいて予測されるフレームおよび３次元ボックスのいずれかが検出されているとみなされた場合、処理は、ステップＳ６４に進む。

ステップＳ６４において、３次元ボックス補正部２１５は、登録済みペアを構成するフレームおよび３次元ボックスに対応する、検出されたフレームおよび３次元ボックスのいずれかの情報に基づいて、現在の３次元ボックスを生成する。

より詳細には、３次元ボックス補正部２１５は、登録済みペアを構成するフレームおよび３次元ボックスのうち、フレームが検出されている場合については、登録済みの直前のタイミングにおける３次元ボックスの位置、速度、および方向の情報に基づいて、現在の３次元ボックスの位置を予測し、予測結果となる３次元ボックスを、今現在検出されているフレームに収まるように補正して３次元ボックスを生成する。

また、３次元ボックス補正部２１５は、登録済みペアを構成するフレームおよび３次元ボックスのうち、３次元ボックスが検出されている場合については、登録済みの直前のタイミングにおける３次元ボックスの位置、速度、および方向の情報に基づいて、現在のフレームの位置を予測し、予測結果となるフレームに、今現在検出されている３次元ボックスが収まるように補正する。

ステップＳ６５において、３次元ボックス補正部２１５は、処理対象ペアである登録済みペアを構成するフレームおよび３次元ボックスがマッチング済みペアとみなされない状態が所定時間以上継続している、または、所定の距離だけ移動する時間以上継続しているか否かを判定する。

すなわち、登録済みペアを構成するフレームおよび３次元ボックスに対応するフレームおよび３次元ボックスのいずれかのみしか検出されない状態が、所定時間以上継続している、または、所定距離移動するまで継続しているか否かが判定される。

ステップＳ６５において、処理対象ペアである登録済みペアを構成するフレームおよび３次元ボックスがマッチング済みペアとみなされない状態が所定時間以上継続している、または、所定の距離だけ移動するまで継続しているとみなされた場合、処理は、ステップＳ６６に進む。

ステップＳ６６において、３次元ボックス補正部２１５は、処理対象ペアである登録済みペアの登録を解除する。

また、ステップＳ６３において、処理対象ペアとなっている登録済みペアを構成するフレームおよび３次元ボックスに基づいて予測されるフレームおよび３次元ボックスのいずれも検出されていないとみなされた場合、処理は、ステップＳ６６に進み、処理対象ペアとなっている登録済みペアは登録が解除される。

以上の一連の処理により、カメラ２０１により撮像される画像に基づいた物体認識結果より得られる車両の領域であるフレームと、ミリ波レーダ２０２の検出結果に基づいた車両の存在する３次元情報である３次元ボックスとに基づいて、双方のラップ率が所定値以上であってペアとみなされる状態になると、対応するフレームと３次元ボックスとがマッチング済みペアとみなされ、登録済みペアとして登録される。

また、一度、登録済みペアとして登録されたフレームと３次元ボックスのペアは、以降においてマッチング済みペアとして検出される限り、情報が更新される。

さらに、登録済みペアとして登録されたフレームと３次元ボックスのペアは、以降において、対応するフレームおよび３次元ボックスの両方が検出されているときには、検出されているフレームに基づいて３次元ボックスが補正される。

また、登録済みペアとして登録されたフレームと３次元ボックスのペアに対応する、フレームと３次元ボックスのうちのいずれかのみが、検出されているときには、フレームおよび３次元ボックスのうちの検出された情報と、登録済みの直前のフレームおよび３次元ボックスの情報に基づいて、３次元ボックスが生成される。

ただし、フレームと３次元ボックスのうちのいずれか一方のみしか検出されない状態が所定時間以上継続した場合、所定距離以上移動するまで継続した場合、または、フレームと３次元ボックスがいずれも検出されない場合、登録済みペアを構成するフレームと３次元ボックスは登録が解除される。

これにより、フレームと３次元ボックスのペアとして登録された車両の３次元ボックスの情報は、所定時間内であるか、または、所定距離移動するまでの間であれば、フレームと３次元ボックスのいずれかが検出される限り、生成することが可能となる。

結果として、フレームと３次元ボックスのペアがマッチング済みペアとして認識されて、登録済みペアとして登録されると、一時的にカメラ２０１により撮像される画像にブラインドが発生してフレームが適切に検出できなかったり、一時的にミリ波レーダ２０２による検出結果である３次元ボックスにゴーストが発生するような状態になっても、３次元ボックスを生成することが可能となる。これにより、適切に周囲情報を生成し続けることが可能となり、周囲情報を用いた自動運転を適切に継続することが可能となる。

尚、以上においては、３次元ボックスを生成するにあたって、ミリ波レーダ２０２により検出された３次元検出情報を用いる例について説明してきたが、３次元検出情報であれば他の方法により検出されたものであってもよい。３次元ボックスの生成に使用する３次元検出情報としては、例えば、LiDARや超音波ソナー等により検出される３次元点群情報であってもよい。

＜＜５．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。

図１９は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記録媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記録媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

尚、図１９におけるCPU１００１が、図３における自動運転制御部１１２の機能を実現させる。また、図１９における記憶部１００８が、図３における記憶部１１１を実現する。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。

＜１＞ 自車の周囲の画像を撮像する撮像部と、
前記画像内における前記自車の周囲の車両の領域をフレームとして検出するフレーム検出部と、
前記自車の周囲の物体の距離情報を検出する距離情報検出部と、
前記距離情報検出部により検出された距離情報に基づいて、前記自車の周囲の車両の位置を示す３次元ボックスを生成する３次元ボックス生成部と、
前記フレームに基づいて、前記３次元ボックスを補正する３次元ボックス補正部と
を備える情報処理装置。
＜２＞ 前記３次元ボックス補正部は、前記３次元ボックスと、対応する前記フレームとをマッチング済みペアに設定し、前記マッチング済みペアの前記３次元ボックスを抽出する
＜１＞に記載の情報処理装置。
＜３＞ 前記３次元ボックス補正部は、前記３次元ボックスと、対応する前記フレームとのラップ率を算出し、前記ラップ率が所定値よりも高い、前記３次元ボックスと、前記フレームとを前記マッチング済みペアに設定し、前記マッチング済みペアの前記３次元ボックスを抽出する
＜２＞に記載の情報処理装置。
＜４＞ 前記３次元ボックス補正部は、前記３次元ボックスを、前記画像内において前記フレーム内に収まるように補正する
＜１＞乃至＜３＞のいずれかに記載の情報処理装置。
＜５＞ 前記３次元ボックス補正部は、前記フレーム内の前記画像に基づいて、前記３次元ボックスの水平方向、および垂直方向のサイズを補正し、前記距離情報に基づいて、奥行き情報を補正し、前記３次元ボックスを、前記画像内において前記フレーム内に収まるように補正する
＜４＞に記載の情報処理装置。
＜６＞ 前記３次元ボックス補正部は、前記撮像部と、前記距離情報検出部との設置位置の位置関係に基づいて、前記ラップ率を補正する
＜３＞に記載の情報処理装置。
＜７＞ 前記３次元ボックス補正部は、前記マッチング済みペアとなる、前記３次元ボックスと、対応する前記フレームとを登録済みペアに設定し、前記登録済みペアに設定された前記３次元ボックスおよび前記フレームは、前記登録済みペアに設定された以降において、前記登録済みペアを構成する前記フレーム、または、前記３次元ボックスが検出されるとき、前記登録済みペアの前記フレーム、および、前記３次元ボックスを更新する
＜６＞に記載の情報処理装置。
＜８＞ 前記３次元ボックス補正部は、前記マッチング済みペアとなる、前記３次元ボックスと、対応する前記フレームとを前記登録済みペアに設定し、前記登録済みペアに設定された前記３次元ボックスおよび前記フレームは、前記登録済みペアに設定された以降において、所定の期間においては、対応する前記フレーム、または、前記３次元ボックスのいずれか一方が非検出であるとき、前記登録済みペアとして登録された前記３次元ボックスの速度、および方向に基づいて、前記非検出の前記フレーム、または、前記３次元ボックスを推定し、推定結果を用いて、前記登録済みペアの前記フレーム、および、前記３次元ボックスを更新する
＜７＞に記載の情報処理装置。
＜９＞ 前記３次元ボックス補正部は、前記登録済みペアに設定された以降において、対応する前記フレーム、または、前記３次元ボックスのいずれか一方が非検出である状態が所定の期間継続したとき、または、前記登録済みペアに対応する前記フレーム、および、前記３次元ボックスの両方が検出されない場合、前記登録済みペアの前記フレーム、および、前記３次元ボックスを登録から解除する
＜７＞に記載の情報処理装置。
＜１０＞ 前記所定の期間は、前記マッチング済みペアが前記登録済みペアに登録されてから所定時間経過するまでの期間、または、前記マッチング済みペアが前記登録済みペアに登録されてから所定距離だけ走行するまでの期間である
＜９＞に記載の情報処理装置。
＜１１＞ 前記登録済みペアに設定された以降において、対応する前記フレーム、または、前記３次元ボックスのいずれか一方が非検出である状態は、前記撮像部における視野角より、前記距離情報検出部の視野角が広い場合、前記登録済みペアに設定された前記フレーム、または、前記３次元ボックスに対応する前記車両が前記撮像部の視野角の外側であって、前記距離情報検出部の視野角内で走行している状態である
＜１０＞に記載の情報処理装置。
＜１２＞ 前記登録済みペアに設定された以降において、対応する前記フレーム、または、前記３次元ボックスのいずれか一方が非検出である状態は、前記登録済みペアに設定された前記フレーム、または、前記３次元ボックスに対応する車両が、前走車の前方に移動して走行している状態である
＜１０＞に記載の情報処理装置。
＜１３＞ 前記フレーム検出部は、前記画像より２次元情報からなる前記フレームを検出する
＜１＞乃至＜１２＞のいずれかに記載の情報処理装置。
＜１４＞ 前記フレーム検出部は、前記画像より距離情報からなる前記フレームを検出する
＜１＞乃至＜１２＞のいずれかに記載の情報処理装置。
＜１５＞ 前記３次元ボックス生成部は、前記距離情報検出部により検出された距離情報に基づいて、同一の速度で、かつ、同一の方向に移動する分布が包含される範囲を方形状に設定することで、前記自車の周囲の車両の前記３次元ボックスを生成する
＜１＞乃至＜１４＞のいずれかに記載の情報処理装置。
＜１６＞ 前記距離情報検出部は、ミリ波レーダ、LiDAR、または超音波ソナーである
＜１＞乃至＜１５＞のいずれかに記載の情報処理装置。
＜１７＞ 前記３次元ボックスを配置することにより、前記自車の周囲の車両の位置を示す周囲情報を生成する周囲情報生成部をさらに含む
＜１＞乃至＜１６＞のいずれかに記載の情報処理装置。
＜１８＞ 前記周囲情報に基づいて、前記自車の運転を制御する運転制御部をさらに含む
＜１７＞に記載の情報処理装置。
＜１９＞ 自車の周囲の画像を撮像する撮像処理と、
前記画像内における前記自車の周囲の車両の領域をフレームとして検出するフレーム検出処理と、
前記自車の周囲の物体の距離情報を検出する距離情報検出処理と、
前記距離情報検出処理により検出された距離情報に基づいて、前記自車の周囲の車両の位置を示す３次元ボックスを生成する３次元ボックス生成処理と、
前記フレームに基づいて、前記３次元ボックスを補正する３次元ボックス補正処理と
を含む情報処理方法。
＜２０＞ 自車の周囲の画像を撮像する撮像部と、
前記画像内における前記自車の周囲の車両の領域をフレームとして検出するフレーム検出部と、
前記自車の周囲の物体の距離情報を検出する距離情報検出部と、
前記距離情報検出部により検出された距離情報に基づいて、前記自車の周囲の車両の位置を示す３次元ボックスを生成する３次元ボックス生成部と、
前記フレームに基づいて、前記３次元ボックスを補正する３次元ボックス補正部と
してコンピュータを機能させるプログラム。

１１ 車両， １００ 車両制御システム， １０２ データ取得部， １１２ 自動運転制御部， ２０１ カメラ， ２０２，２０２－１乃至２０２－３ ミリ波レーダ， ２１１ 信号処理部， ２１２ 物体認識部， ２１３ 信号処理部， ２１４ 物体認識部， ２１５ ３次元ボックス補正部， ２１６ 周囲情報生成部

Claims (20)

1. 自車の周囲の画像を撮像する撮像部と、
   前記画像内における前記自車の周囲の車両の領域をフレームとして検出するフレーム検出部と、
   前記自車の周囲の物体の距離情報を検出する距離情報検出部と、
   前記距離情報検出部により検出された距離情報に基づいて、前記自車の周囲の車両の位置を示す３次元ボックスを生成する３次元ボックス生成部と、
   前記フレームに基づいて、前記３次元ボックスを補正する３次元ボックス補正部と
   を備える情報処理装置。
2. 前記３次元ボックス補正部は、前記３次元ボックスと、対応する前記フレームとをマッチング済みペアに設定し、前記マッチング済みペアの前記３次元ボックスを抽出する
   請求項１に記載の情報処理装置。
3. 前記３次元ボックス補正部は、前記３次元ボックスと、対応する前記フレームとのラップ率を算出し、前記ラップ率が所定値よりも高い、前記３次元ボックスと、前記フレームとを前記マッチング済みペアに設定し、前記マッチング済みペアの前記３次元ボックスを抽出する
   請求項２に記載の情報処理装置。
4. 前記３次元ボックス補正部は、前記３次元ボックスを、前記画像内において前記フレーム内に収まるように補正する
   請求項１に記載の情報処理装置。
5. 前記３次元ボックス補正部は、前記フレーム内の前記画像に基づいて、前記３次元ボックスの水平方向、および垂直方向のサイズを補正し、前記距離情報に基づいて、奥行き情報を補正し、前記３次元ボックスを、前記画像内において前記フレーム内に収まるように補正する
   請求項４に記載の情報処理装置。
6. 前記３次元ボックス補正部は、前記撮像部と、前記距離情報検出部との設置位置の位置関係に基づいて、前記ラップ率を補正する
   請求項３に記載の情報処理装置。
7. 前記３次元ボックス補正部は、前記マッチング済みペアとなる、前記３次元ボックスと、対応する前記フレームとを登録済みペアに設定し、前記登録済みペアに設定された前記３次元ボックスおよび前記フレームは、前記登録済みペアに設定された以降において、前記登録済みペアを構成する前記フレーム、または、前記３次元ボックスが検出されるとき、前記登録済みペアの前記フレーム、および、前記３次元ボックスを更新する
   請求項６に記載の情報処理装置。
8. 前記３次元ボックス補正部は、前記マッチング済みペアとなる、前記３次元ボックスと、対応する前記フレームとを前記登録済みペアに設定し、前記登録済みペアに設定された前記３次元ボックスおよび前記フレームは、前記登録済みペアに設定された以降において、所定の期間においては、対応する前記フレーム、または、前記３次元ボックスのいずれか一方が非検出であるとき、前記登録済みペアとして登録された前記３次元ボックスの速度、および方向に基づいて、前記非検出の前記フレーム、または、前記３次元ボックスを推定し、推定結果を用いて、前記登録済みペアの前記フレーム、および、前記３次元ボックスを更新する
   請求項７に記載の情報処理装置。
9. 前記３次元ボックス補正部は、前記登録済みペアに設定された以降において、対応する前記フレーム、または、前記３次元ボックスのいずれか一方が非検出である状態が所定の期間継続したとき、または、前記登録済みペアに対応する前記フレーム、および、前記３次元ボックスの両方が検出されない場合、前記登録済みペアの前記フレーム、および、前記３次元ボックスを登録から解除する
   請求項７に記載の情報処理装置。
10. 前記所定の期間は、前記マッチング済みペアが前記登録済みペアに登録されてから所定時間経過するまでの期間、または、前記マッチング済みペアが前記登録済みペアに登録されてから所定距離だけ走行するまでの期間である
    請求項９に記載の情報処理装置。
11. 前記登録済みペアに設定された以降において、対応する前記フレーム、または、前記３次元ボックスのいずれか一方が非検出である状態は、前記撮像部における視野角より、前記距離情報検出部の視野角が広い場合、前記登録済みペアに設定された前記フレーム、または、前記３次元ボックスに対応する前記車両が前記撮像部の視野角の外側であって、前記距離情報検出部の視野角内で走行している状態である
    請求項１０に記載の情報処理装置。
12. 前記登録済みペアに設定された以降において、対応する前記フレーム、または、前記３次元ボックスのいずれか一方が非検出である状態は、前記登録済みペアに設定された前記フレーム、または、前記３次元ボックスに対応する車両が、前走車の前方に移動して走行している状態である
    請求項１０に記載の情報処理装置。
13. 前記フレーム検出部は、前記画像より２次元情報からなる前記フレームを検出する
    請求項１に記載の情報処理装置。
14. 前記フレーム検出部は、前記画像より距離情報からなる前記フレームを検出する
    請求項１に記載の情報処理装置。
15. 前記３次元ボックス生成部は、前記距離情報検出部により検出された距離情報に基づいて、同一の速度で、かつ、同一の方向に移動する分布が包含される範囲を方形状に設定することで、前記自車の周囲の車両の前記３次元ボックスを生成する
    請求項１に記載の情報処理装置。
16. 前記距離情報検出部は、ミリ波レーダ、LiDAR、または超音波ソナーである
    請求項１に記載の情報処理装置。
17. 前記３次元ボックスを配置することにより、前記自車の周囲の車両の位置を示す周囲情報を生成する周囲情報生成部をさらに含む
    請求項１に記載の情報処理装置。
18. 前記周囲情報に基づいて、前記自車の運転を制御する運転制御部をさらに含む
    請求項１７に記載の情報処理装置。
19. 自車の周囲の画像を撮像する撮像処理と、
    前記画像内における前記自車の周囲の車両の領域をフレームとして検出するフレーム検出処理と、
    前記自車の周囲の物体の距離情報を検出する距離情報検出処理と、
    前記距離情報検出処理により検出された距離情報に基づいて、前記自車の周囲の車両の位置を示す３次元ボックスを生成する３次元ボックス生成処理と、
    前記フレームに基づいて、前記３次元ボックスを補正する３次元ボックス補正処理と
    を含む情報処理方法。
20. 自車の周囲の画像を撮像する撮像部と、
    前記画像内における前記自車の周囲の車両の領域をフレームとして検出するフレーム検出部と、
    前記自車の周囲の物体の距離情報を検出する距離情報検出部と、
    前記距離情報検出部により検出された距離情報に基づいて、前記自車の周囲の車両の位置を示す３次元ボックスを生成する３次元ボックス生成部と、
    前記フレームに基づいて、前記３次元ボックスを補正する３次元ボックス補正部と
    してコンピュータを機能させるプログラム。

Images