JP2021196632A - 予測装置、予測方法、プログラムおよび車両制御システム - Google Patents

Abstract

【課題】移動体の将来位置をより正確に予測する。【解決手段】予測装置は、移動体情報取得部と、累積マップ生成部と、予測部と、を備える。移動体情報取得部は、予測対象とする第１移動体を含む１以上の移動体の位置を示す移動体情報を取得する。累積マップ生成部は、基準時刻以前の複数の第１時刻に取得された移動体情報が示す複数の位置をマップ上に表した累積マップ情報を生成する。予測部は、基準時刻における第１移動体の周辺の環境をマップ上に表した環境マップ情報と、基準時刻に取得された移動体情報と、累積マップ情報とから、基準時刻より後の第２時刻での第１移動体の位置を予測する。【選択図】図５

Description

本発明の実施形態は、予測装置、予測方法、プログラムおよび車両制御システムに関する。

安全かつ快適な自動車の自動運転および走行支援、並びに、ロボットの自律移動の実現には、建物、フェンス、および、縁石などの静的な障害物だけではなく、他車両および歩行者などの移動体の動きを事前に把握する必要がある。特に車線変更および交差点の横断といったシーンでは、移動体が将来どのように動くかを予測しなければ、自車の安全な行動を決定することができない。

特開２０１６−１８６４４６号公報

Cui, Henggang, et al. "Multimodal trajectory predictions for autonomous driving using deep convolutional networks." International Conference on Robotics and Automation (ICRA). IEEE, 2019.

移動体の将来位置をより正確に予測する予測技術が求められている。

実施形態の予測装置は、移動体情報取得部と、累積マップ生成部と、予測部と、を備える。移動体情報取得部は、予測対象とする第１移動体を含む１以上の移動体の位置を示す移動体情報を取得する。累積マップ生成部は、基準時刻以前の複数の第１時刻に取得された移動体情報が示す複数の位置をマップ上に表した累積マップ情報を生成する。予測部は、基準時刻における第１移動体の周辺の環境をマップ上に表した環境マップ情報と、基準時刻に取得された移動体情報と、累積マップ情報とから、基準時刻より後の第２時刻での第１移動体の位置を予測する。

実施形態にかかる車両を示す図。 処理装置のハードウェア構成図。 事前に用意されたマップ情報に従い軌道を予測する例を示す図。 センサ情報のみを使用して軌道を予測する例を示す図。 予測装置の機能ブロック図。 軌道の予測処理の概要を説明するための図。 環境マップ生成部の機能ブロック図。 障害物マップの一例を示す図。 生成される累積マップの一例を示す図。 予測部の機能ブロック図。 マップ情報の正規化の例を示す図。 予測部の機能ブロック図。 予測処理のフローチャート。 学習処理のフローチャート。

以下に添付図面を参照して、この発明にかかる予測装置の好適な実施形態を詳細に説明する。

周辺に存在する移動体の将来位置を予測する予測技術は、これまでも検討されてきた。より安定した予測を行うために、環境情報として車線中央線などの情報を含んだ高精度マップおよび航空写真画像などを用いて予測を行う手法が提案されている。しかし、このようなマップ情報は事前に用意する必要があり、すべての道路に対して用意することは現実的ではない、また高精度マップの生成は、処理負荷およびコストが大きい。

そこで、事前に用意するマップ情報を使用せずに、移動体（自動車、自律移動ロボットなど）に取り付けられたカメラおよびレーザーセンサなどのセンサから得られる情報のみを使用して、周辺に存在する他の移動体の位置を予測することが求められている。

また、多種多様なシーンにおいて頑健な予測を行うために、シーンごとにデータを収集して学習を行う技術が提案されている。しかしデータ収集のためのサーバおよびストレージが必要となる。このため、一度の学習で汎用的に活用できるような技術が求められている。

本実施形態にかかる予測装置は、マップ情報を事前に用意することなく、センサから得られる情報のみからマップ情報として環境マップ（環境マップ情報）および累積マップ（累積マップ情報）を生成し、生成したマップ情報を用いて移動体の将来の位置を予測する。累積マップは、位置の予測対象とする移動体以外の移動体を含みうる複数の移動体が通る可能性が高い領域を示すマップ情報である。これにより、マップ情報がない場所、または、初めて訪れる場所でもロバストに予測を行うことができる。

移動体は、例えば、道路に設けられたレーンに沿って移動する自動車またはモータバイク等の車両である。移動体は、自動車またはモータバイクに限られず、例えば、レーンに沿って移動するロボットであってもよい。移動体は、船舶等の水上のレーンを移動する物体であってもよい。以下では、主に移動体が車両である場合を例に説明する。

図１は、実施形態にかかる車両１０を示す図である。車両１０は、処理装置１２を搭載する。処理装置１２は、例えば専用または汎用コンピュータを含む装置である。処理装置１２の少なくとも一部の機能は、車両１０に搭載されず、車両１０とネットワークを介して接続されるクラウド等の他装置に搭載されてもよい。車両１０は、例えば人による運転操作に応じて走行する通常車両であってもよいし、人による運転操作を受けずに自動的に走行することができる（自律走行することができる）自動運転車両であってもよい。なお、処理装置１２は、車両１０に限らず、路側機等の他の装置に設けられてもよい。

図２は、実施形態にかかる処理装置１２のハードウェア構成の一例を示す図である。処理装置１２は、記憶装置２１と、入力装置２２と、表示装置２３と、センサ装置２４と、通信装置２５と、車両制御装置２６と、情報処理装置３０とを備える。

記憶装置２１は、ハードディスクドライブ、光ディスクドライブまたはフラッシュメモリ等の半導体メモリ素子等である。記憶装置２１は、処理装置１２により実行されるプログラムおよび処理装置１２が用いるデータを記憶する。

入力装置２２は、ユーザからの指示および情報入力を受け付ける。入力装置２２は、例えば、操作パネル、マウスまたはトラックボール等のポインティングデバイス、あるいは、キーボード等の入力デバイスである。

表示装置２３は、ユーザに対して各種の情報を表示する。表示装置２３は、例えば、液晶表示装置等の表示デバイスである。

センサ装置２４は、車両１０の周囲の状況を検知する１または複数のセンサを有する。例えば、センサ装置２４は、車両１０の周囲に存在する移動体（例えば他車両）の位置、速度、加速度、角速度および角加速度を検出する。さらに、センサ装置２４は、車両１０の周囲に存在する移動体の進行方向を示す方向指示情報を検出する。例えば、センサ装置２４は、レーザー光を用いて距離を検出する距離センサ（レーザーセンサ、ＬｉＤＡＲなど）を有する。センサ装置２４は、移動体の位置および速度を検出するミリ波センサを有してもよい。また、センサ装置２４は、周囲の物体までの距離を音波によって探知するソナーを有してもよい。また、例えば、センサ装置２４は、周囲の物体を撮像するカメラを有してもよい。カメラは、単眼カメラおよびステレオカメラなどの、どのような形式のカメラであってもよい。

通信装置２５は、無線通信により外部装置と情報を送受信する。通信装置２５は、車両１０の外部装置（例えば路側機）に設けられたセンサによる、車両１０の周囲に存在する移動体の位置、速度、加速度、角速度、角加速度および方向指示情報の検出結果を取得する。また、通信装置２５は、車両１０の周囲に存在する移動体と直接通信を行うことにより、例えば車車間通信を行うことにより、移動体の位置、速度、加速度、角速度、角加速度および方向指示情報を取得してもよい。

車両制御装置２６は、車両１０を駆動させるための駆動機構を制御する。例えば、車両１０が自動運転車両である場合には、予測装置４０により予測された移動体の位置、センサ装置２４から得られる情報およびその他の情報に基づいて周辺の状況を判断して、アクセル量、ブレーキ量および操舵角等を制御する。また、車両１０が人による運転操作を介して走行する通常車両の場合、車両制御装置２６は、操作情報に応じて、アクセル量、ブレーキ量および操舵角等を制御する。

情報処理装置３０は、例えば、専用または汎用の１または複数のコンピュータである。情報処理装置３０は、記憶装置２１、入力装置２２、表示装置２３、センサ装置２４、通信装置２５および車両制御装置２６を管理および制御する。情報処理装置３０は、メモリ３１と、１または複数のハードウェアプロセッサ３２とを有する。

メモリ３１は、例えば、ＲＯＭ３３（Read Only Memory）と、ＲＡＭ３４（Random Access Memory）とを含む。ＲＯＭ３３は、情報処理装置３０の制御に用いられるプログラムおよび各種設定情報等を書き換え不可能に記憶する。ＲＡＭ３４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性の記憶媒体である。ＲＡＭ３４は、１または複数のハードウェアプロセッサ３２の作業領域として機能する。

１または複数のハードウェアプロセッサ３２は、メモリ３１（ＲＯＭ３３およびＲＡＭ３４）にバスを介して接続される。１または複数のハードウェアプロセッサ３２は、例えば、１または複数のＣＰＵ（Central Processing Unit）を含んでもよいし、１または複数のＧＰＵ（Graphics Processing Unit）を含んでもよい。また、１または複数のハードウェアプロセッサ３２は、ニューラルネットワークを実現するための専用の処理回路を含む半導体装置等を含んでもよい。

１または複数のハードウェアプロセッサ３２は、ＲＡＭ３４の所定領域を作業領域としてＲＯＭ３３または記憶装置２１に予め記憶された各種プログラムとの協働により各種処理を実行することにより、予測装置４０として機能する。情報処理装置３０または処理装置１２が、予測装置４０に相当すると解釈することもできる。予測装置４０の機能の詳細は後述する。

予測装置４０として機能させるためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

ここで、マップ情報の例について説明する。図３は、レーン情報を含む事前に用意されたマップ情報に従い車両（移動体の一例）の軌道を予測する例を示す図である。図４は、事前に用意されたマップ情報を使用せずにセンサ装置２４からの情報（センサ情報）のみを使用して軌道を予測する例を示す図である。レーン情報は、移動体が走行可能な軌道を示す情報である。軌道は、複数の時刻の移動体の位置を示す情報である。

図３に示すように、一般的に移動体６１はレーン（破線）に沿って移動する。従って、事前に用意されたマップ情報を用いる軌道の予測では、加減速およびレーンの選択問題は生じるものの、移動体６１の行動範囲は絞ることができる。

センサ情報のみを用いた場合に使用できるマップ情報の一例として、グリッド状に障害物の有無を示す障害物マップがある。図４は、このような障害物マップの例を示す。例えば障害物が存在しないグリッドは白で表され、障害物が存在しないグリッドは黒で表され、障害物が存在するか否か不明なグリッドは灰色で表される。図４のような障害物マップを用いる軌道の予測では、障害物が存在しない領域（白色領域）を移動体６１が動くことはわかるが、行動範囲が広いため移動体６１が通るべき領域を絞ることができず（矢印）、予測が不安定になる。

そこで本実施形態では、障害物マップを補助するマップ情報として累積マップを生成して使用する。以下、本実施形態の予測装置４０の機能の詳細について説明する。

図５は、本実施形態にかかる予測装置４０の機能構成例を示すブロック図である。図５に示すように、予測装置４０は、移動体情報取得部１０１と、環境情報取得部１０２と、環境マップ生成部１０３と、累積マップ生成部１０４と、予測部１０５と、学習部１０６と、を備える。

移動体情報取得部１０１は、予測対象とする移動体（第１移動体）を含む１以上の移動体の位置を示す移動体情報を取得する。例えば移動体情報取得部１０１は、センサ装置２４、車車間通信、および、路車間通信などによって移動体情報を取得する。路車間通信は、例えば路側器などの外部装置と、車両１０との間の通信である。移動体情報の取得方法はこれに限られず、どのような方法であってもよい。

移動体情報は、さらに、移動体の向き（角度など）、速度、加速度、角速度、角加速度、これらの値（向き、速度、加速度、角速度および角加速度）それぞれの分散、移動方向（方向指示器の情報など）、および、識別情報（物体ＩＤなど）のうち少なくとも１つを含んでもよい。

環境情報取得部１０２は、環境情報を取得する。例えば環境情報取得部１０２は、センサ装置２４から得られる情報のみを使用して環境情報を取得する。環境情報は、予測対象とする移動体の周辺の環境を示す情報である。例えば環境情報は、障害物、道路、歩道、縁石、標識、信号灯、および、道路マーキングの少なくとも１つを含む。障害物は、移動体の周辺の物体を表す。

例えば環境情報取得部１０２は、距離センサを用いて移動体の周辺の物体までの距離を検出することにより、この物体（障害物）の位置情報を環境情報として取得する。道路、歩道、縁石、標識、信号灯、および、道路マーキングなどの情報は、例えばカメラにより撮像された画像を用いた物体検出およびセマンティックセグメンテーションなどの技術を使用して取得することができる。

環境情報取得部１０２は、複数の方法を組み合わせて環境情報を取得してもよい。例えば、距離センサを用いて障害物を検出するとともに、カメラにより撮像された画像を用いた物体検出およびセマンティックセグメンテーションなどの技術により、検出された障害物が具体的にどのような物体であるかをさらに検出してもよい。

環境マップ生成部１０３は、環境マップを生成する。環境マップは、基準時刻における移動体の周辺の環境をマップ上に表したマップ情報である。例えば環境マップ生成部１０３は、基準時刻における移動体情報と環境情報とを用いて環境マップを生成する。

基準時刻は、例えば現在時刻である。基準時刻は現在時刻より前の時刻であってもよい。例えば現在時刻より前の時刻を基準時刻として予測した移動体の軌道と、実際の軌道（現在時刻までの軌道など）とを比較し、予測処理を評価することができる。環境マップ生成部１０３の機能の詳細は後述する。

累積マップ生成部１０４は、累積マップを生成する。累積マップは、基準時刻以前の複数の時刻（第１時刻）に取得された移動体情報が示す複数の位置をマップ上に表したマップ情報である。このように累積マップは、基準時刻のみでなく、基準時刻より前に取得された移動体情報が示す位置も累積してマップ上に格納するように生成される。

例えば、複数の時刻のいずれかで移動体が存在した位置に相当するグリッドには、移動体が存在したことを示す値（例えば「１」）が設定される。いずれの時刻でも移動体が存在しない位置に相当するグリッドには、移動体が存在しないことを示す値（例えば「０」）が設定される。

累積マップは、さらに、各位置（グリッド）に対して、移動体の移動量、速度、および、移動方向のうち少なくとも１つを対応づけてもよい。移動量、速度、および、移動方向は、混合分布により表されてもよい。累積マップ生成部１０４の機能の詳細は後述する。

予測部１０５は、移動体情報、環境マップ、および、累積マップから、移動体の将来位置を予測し、移動体の予測軌道を出力する。将来位置は、位置の座標で表されてもよいし、例えば現在の位置からの移動量で表されてもよい。例えば予測部１０５は、基準時刻における環境マップと、基準時刻に取得された移動体情報と、基準時刻までの移動体情報を累積した累積マップとから、移動体の位置を予測する。予測部１０５は、例えば、環境マップ、移動体情報、および、累積マップを入力して移動体の位置の予測結果を出力するニューラルネットワークなどのモデルを用いて、移動体の位置を予測する。

なお、予測対象とする移動体は１つに限られず、複数であってもよい。予測部１０５は、予測対象とする１以上の移動体それぞれについて、軌道を予測して出力する。１以上の移動体それぞれに対して予測部１０５が割り当てられ、各予測部１０５が対応する移動体の軌道予測を行ってもよい。予測対象とする移動体は、車両１０自体であってもよい。例えば、移動体情報取得部１０１は、車車間通信および路車間通信などによって車両１０自体の移動体情報を取得する。

学習部１０６は、予測部１０５が用いるモデル（ニューラルネットワーク）の学習を行う。学習部１０６は、環境マップ生成部１０３が用いるニューラルネットワーク（詳細は後述）を学習する機能を備えてもよい。なお、事前に学習されたモデルおよびニューラルネットワークが用いられる場合は、予測装置４０は学習部１０６を備えなくてもよい。学習部１０６による学習処理の詳細は後述する。

次に、予測装置４０による軌道の予測処理の概要について説明する。図６は、軌道の予測処理の概要を説明するための図である。図６に示すように、累積マップ生成部１０４は、基準時刻（ｔ＝０）より前の時刻（ｔ＝−１０）に取得された複数の移動体情報と、基準時刻に取得された複数の移動体情報とから、累積マップを生成する。一方、環境マップ生成部１０３は、基準時刻に取得された環境情報から環境マップを生成する。

図６に示すように、基準時刻で複数の移動体情報が取得された場合、予測部１０５は、複数の移動体情報に対応する複数の移動体それぞれについて、将来の軌道を予測し、予測結果として１以上の予測軌道を出力する。

次に、環境マップ生成部１０３の機能の詳細について説明する。図７は、環境マップ生成部１０３の詳細な機能構成例を示すブロック図である。図７に示すように、環境マップ生成部１０３は、障害物マップ生成部３０１と、属性マップ生成部３０２と、経路マップ生成部３０３と、を備えている。

障害物マップ生成部３０１は、環境情報取得部１０２により取得された環境情報と、移動体情報取得部１０１により取得された移動体情報とを入力し、障害物マップ３１１を生成する。属性マップ生成部３０２は、移動体の周辺の環境の属性を示す属性マップ３１２を生成する。経路マップ生成部３０３は、移動体が走行しうる経路を示す経路マップ３１３を生成する。

環境マップ生成部１０３は、障害物マップ、属性マップ、および、経路マップを統合した環境マップ３１４を生成する。なお環境マップ生成部１０３は、障害物マップ、属性マップ、および、経路マップのいずれかを環境マップとして生成してもよいし、障害物マップ、属性マップ、および、経路マップのうち２つを統合したマップ情報を環境マップとして生成してもよい。この場合、環境マップ生成部１０３は、障害物マップ生成部３０１、属性マップ生成部３０２、および、経路マップ生成部３０３のうち、環境マップの生成に必要のない構成部は備えなくてもよい。

図８は、障害物マップの一例を示す図である。図８は、左側に示すような道路状況に対して生成される障害物マップ８２１の例を示している。図８の例に示す道路状況では、車両１０に相当する車両８０１の周辺に、他の移動体である車両８１１、８１２が存在する。

障害物マップ８２１は、車両８０１の上方から観察した場合の障害物の有無を複数のグリッドで表したマップ情報である。各グリッドは、障害物の有無を０〜１の確率値で表現した情報が対応づけられる。障害物マップ８２１では、障害物が存在しないグリッドは白（確率値＝０）で表され、障害物が存在しないグリッドは黒（確率値＝１）で表され、障害物が存在するか否か不明なグリッドは確率値に応じた濃度の灰色で表される。

例えば、車両１０を中心として光線（レーザー光など）を照射したとき、光線が到達した物体（移動体または障害物）に対応するグリッドには１（障害物あり）が設定され、車両１０から物体までの間に対応する、物体が存在しないグリッドには０（障害物なし）が設定される。光線がいずれの物体にも到達しない場合は、その光線が通過するグリッドには例えば０．５（不明）が設定される。

障害物マップ生成部３０１は、障害物が存在する位置に曖昧さを含むように障害物マップを生成してもよい。例えば物体が存在するグリッドを中心とした確率分布により障害物の有無が表されてもよい。また、障害物マップ生成部３０１は、予測対象とする移動体を除いた物体のみの有無を表す障害物マップを生成してもよい。

属性マップ、経路マップ、環境マップ、および、後述する累積マップなどのマップ情報は、障害物マップと同様のグリッド状の形式で表される。グリッドの大きさ（解像度）および形状は、各マップ情報で同一である必要はなく、相互に異なっていてもよい。グリッドの大きさおよび形状が異なる複数のマップ情報を統合（結合）するときには、グリッドの大きさおよび形状を一致させるように変換した後に統合すればよい。

属性マップ生成部３０２は、例えばグリッドごとの属性を示す属性マップを生成する。例えば属性マップ生成部３０２は、カメラにより撮像された画像から抽出される道路、歩道、縁石、標識、信号灯、および、道路マーキングなどの環境情報から、グリッドがこれらの物体のいずれであるかを示す属性マップを生成する。

属性マップの各グリッドは複数の次元の情報で表される。各次元は、抽出された属性を示している。属性の表現形式はどのような形式であってもよい。例えば、複数次元のうち、１次元のみが１で残りが０であるワンホット表現であってもよい。複数次元それぞれに対して、セマンティックセグメンテーションで得られる、対応する属性の尤度が設定されてもよい。

経路マップ生成部３０３は、例えばニューラルネットワークを用いて経路マップを生成する。経路マップは、報酬マップおよび方策マップのうちいずれかを含むマップ情報である。報酬マップは、移動体が取りうる行動の報酬を示すマップ情報である。例えば報酬マップは、移動体が存在することの報酬を示すスカラー値がグリッドごとに設定される形式のマップ情報である。方策マップは、報酬に基づいて移動体が取りうる方策を示すマップ情報である。

報酬マップは、例えば、障害物マップおよび属性マップのうち少なくとも１つを入力とするニューラルネットワークにより算出される。例えば、このニューラルネットワークは、障害物マップと属性マップの少なくとも１つを入力とし、報酬マップを出力するＣＮＮ（Convolutional Neural Networks）を含む。

報酬マップを生成するためのニューラルネットワークは、逆強化学習および模倣学習などに従い学習される。学習データに必要となる行動のエキスパートとしては、例えば、教示された移動体の経路が使用される。経路は、タイムステップごとに移動した移動量を表すのではなく、グリッド上のマップにおいて上へ１マス、下へ１マス、左へ１マス、および、右へ１マスの４つの行動をどの順序で選択したかを表す時系列データを表す。停止は行動に追加してもよいし、追加しなくてもよい。

方策マップは、報酬マップに基づき生成することができる。方策マップは、基準時刻における各移動体の位置を始点として、得られる報酬が高くなるように行動を選択した経路である。方策マップは各移動体が取りうる１つまたは複数の方策を示してもよい。方策マップは、各移動体の位置を始点とするため、移動体ごとに生成される。従って、方策マップに基づく経路マップも移動体ごとに生成される。

環境マップ生成部１０３は、上記のようにして生成された障害物マップ、属性マップおよび経路マップのうち少なくとも１つのマップ情報を、チャンネル方向に連結させることにより環境マップを生成する。

各チャンネルは、連結するマップ情報それぞれに相当する。障害物マップ、属性マップおよび経路マップのすべてを連結する場合、チャンネル数は３となる。環境マップの各グリッドには、各チャンネルに相当するマップ情報の値が設定される。各マップ情報のグリッドの解像度が異なる場合、環境マップ生成部１０３は、解像度を一致させるように変換後に各マップ情報を連結する。

経路マップが移動体ごとに生成されているときは、環境マップ生成部１０３は、移動体ごとに環境マップを生成する。移動体ごとに生成した環境マップは、予測部１０５へ送られる。予測部１０５が１以上の移動体それぞれに対して割り当てられる場合、各移動体に対応する予測部１０５に対して、対応する環境マップが送られる。

次に、累積マップ生成部１０４の機能の詳細について説明する。図９は、累積マップ生成部１０４により生成される累積マップの一例を示す図である。図９は、時刻ｔ＝−２０、−１０、０のそれぞれで生成される累積マップ９２１、９２２、９２３の例を示す。図の上部には、各時刻での道路状況を説明するため、各時刻で生成される障害物マップ９１１、９１２、９１３の例が示されている。なお、図９の累積マップでは、移動体が存在したグリッドに「１」が設定され、移動体が存在しないグリッドに「０」が設定される。

ｔ＝−２０では、他の移動体である車両９０１が初めて観測される。このときの累積マップの各グリッドの値はすべて０である。

ｔ＝−１０のときは、車両９０１が直進し、別の移動体である車両９０２が左折しようとしている。累積マップ生成部１０４は、車両９０１および車両９０２の軌道に対応する累積マップ上のグリッドに「１」を設定する。

ｔ＝０のときも同様に、累積マップ生成部１０４は、車両９０２の軌道に対応する累積マップ上のグリッドに「１」を設定する。

このようにして生成された累積マップは、基準時刻ｔ＝０のときの、さらに別の移動体である車両９０３の予測に活用される。例えば累積マップで「１」が設定されたグリッドは、車両の走行が推奨される領域である可能性が高い。従って、このような情報を含む累積マップを用いることで、移動体（車両９０３）の軌道予測の精度を向上させることができる。

図９の累積マップは、移動体が存在したか否かを示す１チャンネルの情報がグリッドに設定される。各グリッドには複数チャンネルの情報が設定されてもよい。各チャンネルは、例えば、移動体の移動量、速度、および、方向（移動方向）のいずれかが格納される。

累積マップは、チャンネル（移動量、速度、および、方向など）のそれぞれにおいて、多次元の情報、または、混合分布で表した情報を累積してもよい。例えば、交差点の中央付近は直進および右左折などの様々な動きをする移動体が交差するため、速度および方向などの情報は１次元で保持することは難しい。そこで、累積マップ生成部１０４は、複数時刻で観測された情報を、多次元の情報に圧縮して累積する。累積マップ生成部１０４は、複数時刻で観測された情報を、多次元の混合分布で表すことにより圧縮してもよい。

情報の圧縮には、例えば、主成分分析、ＥＭアルゴリズム、および、リカレントニューラルネットワーク（ＲＮＮ）を適用することができる。例えば累積マップ生成部１０４は、グリッドに設定済みの情報および取得された移動体情報をリカレントニューラルネットワークに入力し、リカレントニューラルネットワークから出力される混合分布を始めとした予め定められた次元数の多次元の情報を、当該グリッドの新たな情報として設定する。情報を圧縮して累積することにより、累積マップに必要な記憶容量を削減することができる。

累積マップは、同一領域でしか活用することができない。このため、車両１０を中心とした予め定めた範囲で情報を累積することにより累積マップが生成される。車両１０が移動した場合は、移動量に応じて累積マップを移動および回転などの座標変換をすることで、累積した情報が保持される。環境マップも累積マップと同様に、例えば車両１０を中心として生成される。センサが外部装置（例えば路側機）に設けられる場合、このセンサの取り付け位置を中心として環境マップおよび累積マップが生成される。

次に、予測部１０５の機能の詳細について説明する。予測部１０５は、推論時と学習時とで挙動が異なる。図１０は、推論時における予測部１０５の詳細な機能構成例を示すブロック図である。図１０に示すように、予測部１０５は、時系列特徴抽出部５０１と、空間特徴抽出部５０２と、時空間特徴統合部５０３と、サンプリング部５０４と、軌道生成部５０５と、を備える。

時系列特徴抽出部５０１は、移動体情報から時系列特徴を抽出して出力する。時系列特徴抽出部５０１は、移動体情報取得部１０１により取得された移動体情報である位置、角度、速度、角速度、加速度および角加速度のうち少なくとも１つを含む１次元のベクトルを１時刻以上にわたり取得したデータ（入力データ）を入力する。時系列特徴抽出部５０１が出力する時系列特徴は、移動体の時系列における移動変化量を特徴化した情報である。

時系列特徴抽出部５０１は、例えばリカレントニューラルネットワークおよび全結合層を含み、上記のような入力データを繰り返し入力する。リカレントニューラルネットワークの種類として、単純再帰型ネットワークであるＳｉｍｐｌｅ ＲＮＮ、ＬＳＴＭ（Long short term memory）、および、ＧＲＵ（Gated recurrent unit）などを用いてもよい。

空間特徴抽出部５０２は、移動体情報取得部１０１により取得された移動体情報である位置および角度と、環境マップ生成部１０３により生成された環境マップと、累積マップ生成部１０４により生成された累積マップと、を入力データとして入力し、空間特徴を出力する。空間特徴は、移動体の周辺情報を特徴化した情報である。例えば空間特徴抽出部５０２は、この入力データを入力して空間特徴を出力するニューラルネットワークを用いて、入力データに対する空間特徴を求める。

環境マップおよび累積マップの座標系は、車両１０または外部装置のセンサの取り付け位置を中心としている。このため、ニューラルネットワークの入力データとして用いる場合には、移動体ごとに座標系が正規化される必要がある。すなわち空間特徴抽出部５０２は、基準時刻の移動体情報の位置および角度を用いて、環境マップおよび累積マップの切り抜きおよび回転を行う。

図１１は、移動体ごとのマップ情報の正規化の例を示す図である。図１１では、車両９０１、９０２を中心とし、進行方向が上向きになるように事前に定めた大きさの矩形で切り抜きと回転が行われる。矩形１１０１、１１０２は、それぞれ車両９０１、９０２に対して正規化されたマップ情報の例である。

正規化する前のマップ情報に含まれない領域が正規化後のマップ情報の範囲内となる場合、空間特徴抽出部５０２は、予め定められた値、または、隣接する領域の値などから推定した値を設定してもよい。例えば、「０」、「０．５（障害物マップでの不明）」、または、「１」が設定される。

上記の正規化方法は一例であり、これに限られるものではない。例えば、移動体の前方範囲のみを矩形を切り抜く方法、および、回転処理を施さない方法などを正規化方法として採用してもよい。

空間特徴抽出部５０２は、正規化した環境マップおよび累積マップをニューラルネットワークに入力する。ニューラルネットワークは例えばＣＮＮで構成されており、１次元のベクトルに縮約した空間特徴を出力する。ニューラルネットワークは、累積マップで得られた値に基づいて環境マップの各グリッドに重みを与える（アテンションする）構成にしてもよい。例えば、累積マップの各グリッドに移動体の速度が設定されている場合、速度に応じて値が変動する重みが、環境マップの対応するグリッドに割り当てられる。またニューラルネットワークは、環境マップと累積マップをチャンネル方向に連結して扱う構成にしてもよい。

環境マップは、セマンティックセグメンテーションによって検出される属性マップ、および、学習されたニューラルネットワークを用いて算出される経路マップを含みうる。従って、環境マップは、誤った情報を含む可能性がある。これに対して累積マップは、実際に観測された情報から生成されるため、誤りが含まれる可能性は小さい。従って、累積マップに基づいて環境マップの各グリッドに重みを与える構成、または、環境マップと累積マップを連結する構成とすることで、予測精度を向上させることが可能となる。

時空間特徴統合部５０３は、時系列特徴抽出部５０１により抽出された時系列特徴と空間特徴抽出部５０２により抽出された空間特徴と、を入力データとして入力し、両者を統合した特徴量に相当する時空間特徴を出力する。例えば時空間特徴統合部５０３は、これらの入力データを入力して時空間特徴を出力するニューラルネットワークを用いて時空間特徴を求める。時系列特徴および空間特徴はいずれも１次元のベクトルであるため、これらを次元方向に連結した入力データを入力し、時空間特徴を出力する全結合層を含むニューラルネットワークを用いることができる。

サンプリング部５０４は、１次元以上の多次元正規分布内でランダムサンプリングを行い、軌道の潜在変数を生成する。潜在変数は、軌道の一連の動きを多次元正規分布内で表現した変数である。潜在変数は、移動体の軌道の特徴を表す多次元正規分布により表現されると解釈することができる。軌道生成部５０５で複数の軌道を出力させる場合、サンプリング部５０４は複数の潜在変数をサンプリングする。潜在変数を表す多次元正規分布は、予測部１０５で用いられるニューラルネットワークの学習と併せて学習される。多次元正規分布の学習方法の詳細は後述する。

軌道生成部５０５は、サンプリングされた潜在変数を入力として予測軌道を生成する。サンプリング部５０４でランダムサンプリングを行った回数（潜在変数の個数）が、軌道生成部５０５で出力される予測軌道の個数となる。

軌道生成部５０５は、時空間特徴統合部５０３により得られた時空間特徴と、サンプリング部５０４により得られた潜在変数と、を入力データとして入力し、予測軌道を出力する。軌道生成部５０５は、潜在変数ごとに予測軌道を生成する。１以上の潜在変数それぞれに対して軌道生成部５０５が割り当てられ、各軌道生成部５０５が対応する潜在変数に対する軌道予測を行ってもよい。

例えば軌道生成部５０５は、上記の入力データを入力して予測軌道を出力するニューラルネットワークを用いて予測軌道を求める。時空間特徴および潜在変数はいずれも１次元のベクトルであるため、これらを次元方向に連結した入力データを入力し、予測軌道を出力するニューラルネットワークを用いることができる。

軌道生成部５０５が用いるニューラルネットワークは、例えばリカレントニューラルネットワークと全結合層とを含む。リカレントニューラルネットワークは、指定された予測時間に達するまでタイムステップごとに繰り返し演算を行う。各タイムステップにおけるリカレントニューラルネットワークの入力は、時空間特徴と潜在変数とを連結した同一の入力データである。リカレントニューラルネットワーク内の内部変数は、繰り返し演算を行うことで逐次更新される。

各タイムステップにおけるリカレントニューラルネットワークの全結合層からの出力は、将来の位置を表す座標値、または、将来の位置の分布を表す情報である。位置を表す座標値は、例えばｘ座標値およびｙ座標値の２次元の情報である。位置の分布を表す情報は、例えば、位置のピークを表す２次元の座標値、分散を表す２次元の値、および、相関係数を表す１次元の値を含む計５次元の情報である。

指定された予測時間に達するまでタイムステップごとに繰り返し演算が行われることで、将来の予測位置の集合は１本の予測軌道となる。軌道生成部５０５は、このような演算を潜在変数ごとに行い、潜在変数の個数分の予測軌道を生成する。

なお、これまでは予測部１０５が備える機能を各部（時系列特徴抽出部５０１、空間特徴抽出部５０２、時空間特徴統合部５０３、サンプリング部５０４、軌道生成部５０５）に分けて説明したが、これらの機能の一部または全部は一体化されてもよい。例えば、各部が用いるニューラルネットワークを統合した１つのニューラルネットワークが、予測部１０５による軌道予測のためのニューラルネットワークとして用いられてもよい。

次に、予測部１０５が用いるニューラルネットワークの学習部１０６による学習方法について説明する。図１２は、学習時における予測部（以下、予測部１０５ｂとする）の詳細な機能構成例を示すブロック図である。図１２に示すように、予測部１０５ｂは、時系列特徴抽出部５０１、５０１ｂと、空間特徴抽出部５０２と、時空間特徴統合部５０３と、潜在特徴学習部５０４ｂと、軌道生成部５０５と、を備える。推論時と同じ構成については同一の符号を付し説明を省略する。

時系列特徴抽出部５０１ｂは、移動体情報の真値（移動体の軌道の真値）を入力し、移動体情報の真値に対する時系列特徴を出力する。移動体情報の真値は、将来時刻での移動体の位置、角度、速度、角速度、加速度および角加速度のうち少なくとも１つを含む１次元のベクトルを１時刻以上にわたり取得したデータである。例えば時系列特徴抽出部５０１に移動体情報を順次入力した後に、時系列特徴抽出部５０１のリカレントニューラルネットワークと同じ重みをもつ時系列特徴抽出部５０１ｂのカレントニューラルネットワークに真値を入力していくことで、真値に相当する軌道の時系列特徴を抽出することができる。

潜在特徴学習部５０４ｂは、ニューラルネットワークを用いて、真値に相当する軌道の時系列特徴に近似するように、１次元以上の多次元正規分布を学習する。ニューラルネットワークは、真値に相当する軌道の時系列特徴を全結合層に入力して、１次元以上の平均と分散とに分けて出力する。平均と分散とにより表される分布と、多次元正規分布との誤差を示す損失が、学習の損失関数に加えられる。これにより、真値に相当する軌道の時系列特徴を近似した多次元正規分布を求めることができる。分布間の誤差を示す損失は、例えば、ＫＬ Ｄｉｖｅｒｇｅｎｃｅ距離を用いることができる。

潜在特徴学習部５０４ｂは、例えばＲｅｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ ｔｒｉｃｋを使用して、軌道生成部５０５へ入力するための潜在特徴を生成する。潜在特徴学習部５０４ｂで生成した平均をμ、分散をΣとしたとき、潜在変数は以下の（１）式で表現できる。
μ＝√Σ×Ｎ（０，Ｉ） ・・・（１）

ここで、Ｉは単位行列である。Ｎ（０，Ｉ）は、平均μ＝０、分散Σ＝１の多次元正規分布内におけるランダムサンプリングを表す。このように構成することで、潜在変数の逆伝播による学習が可能になる。

学習部１０６は、損失関数を最小化するように学習を行う。損失関数は、上記の分布間の損失（ＫＬ Ｄｉｖｅｒｇｅｎｃｅ距離など）に加えて、軌道生成部５０５で生成された予測軌道と真値軌道との誤差を示す損失（予測軌道の損失）を含む。

例えば軌道生成部５０５の出力が位置の分布を表す情報（２次元正規分布など）の場合、各タイムステップで出力された将来位置と分散と相関係数とにより表される分布（２次元正規分布など）内において、真値となる位置（真値位置）が存在する確率が最大（マイナスをつけて最小）となるように、予測軌道の損失が設計される。また、軌道生成部５０５の出力が位置を表す座標値の場合、出力された座標値と真値位置との絶対誤差または自乗誤差を最小化するように、予測軌道の損失が設計される。

次に、このように構成された本実施形態にかかる予測装置４０による予測処理の流れについて説明する。図１３は、本実施形態における予測処理の一例を示すフローチャートである。

移動体情報取得部１０１は、センサ装置２４などから移動体情報を取得する（ステップＳ１０１）。累積マップ生成部１０４は、取得された移動体情報を用いて累積マップを生成する（ステップＳ１０２）。ステップＳ１０１、ステップＳ１０２の処理は、基準時刻に達するまでの複数の時刻で実行される。

環境情報取得部１０２は、センサ装置２４から得られる情報を用いて環境情報を取得する（ステップＳ１０３）。環境マップ生成部１０３は、基準時刻に取得された移動体情報および環境情報を用いて環境マップを生成する（ステップＳ１０４）。

予測部１０５は、基準時刻に取得された移動体情報、基準時刻までに生成された累積マップ、基準時刻に生成された環境マップを用いて、移動体の起動を予測する（ステップＳ１０５）。予測部１０５は、予測により得られた予測軌道を出力する（ステップＳ１０６）。その後、ステップＳ１０１に戻り処理が繰り返される。

次に、このように構成された本実施形態にかかる予測装置４０による学習処理の流れについて説明する。図１４は、本実施形態における学習処理の一例を示すフローチャートである。

学習時に用いられる予測部１０５ｂ（時系列特徴抽出部５０１、空間特徴抽出部５０２、時空間特徴統合部５０３）は、移動体情報、累積マップおよび環境マップを用いて時空間特徴を算出する（ステップＳ２０１）。また予測部１０５ｂ（時系列特徴抽出部５０１ｂ）は、移動体情報の真値を用いて時系列特徴を算出する（ステップＳ２０２）。

予測部１０５ｂ（潜在特徴学習部５０４ｂ）は、ステップＳ２０２で算出された時系列特徴から潜在特徴を算出する（ステップＳ２０３）。予測部１０５ｂは、ステップＳ２０１で算出された時空間特徴およびステップＳ２０３で算出された潜在特徴から軌道を予測する（ステップＳ２０４）。

学習部１０６は、予測軌道と軌道の真値との誤差を示す損失、および、分布間の誤差を示す損失を含む損失関数を最小化するように学習処理を実行する（ステップＳ２０５）。学習部１０６は、学習が終了したか否かを判定する（ステップＳ２０６）。例えば学習部１０６は、損失の改善の大きさが閾値より小さくなったか、および、学習の回数が上限値に達したか否か、などにより、学習の終了を判定する。

学習が終了していない場合（ステップＳ２０６：Ｎｏ）、ステップＳ２０１に戻り、新たな学習データに対して処理が繰り返される。学習が終了したと判定された場合（ステップＳ２０６：Ｙｅｓ）、学習処理を終了する。

このように、本実施形態では、センサから得られる情報のみから、複数の移動体が通る可能性が高い領域を示す累積マップが生成され、生成された累積マップを用いて移動体の軌道が予測される。これにより、生成のための処理負荷が大きい高精度マップなどを用いなくても、移動体の将来位置をより正確に予測することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 車両
１２ 処理装置
２１ 記憶装置
２２ 入力装置
２３ 表示装置
２４ センサ装置
２５ 通信装置
２６ 車両制御装置
３０ 情報処理装置
３１ メモリ
３２ ハードウェアプロセッサ
４０ 予測装置
１０１ 移動体情報取得部
１０２ 環境情報取得部
１０３ 環境マップ生成部
１０４ 累積マップ生成部
１０５、１０５ｂ 予測部
１０６ 学習部
３０１ 障害物マップ生成部
３０２ 属性マップ生成部
３０３ 経路マップ生成部
５０１、５０１ｂ 時系列特徴抽出部
５０２ 空間特徴抽出部
５０３ 時空間特徴統合部
５０４ サンプリング部
５０４ｂ 潜在特徴学習部
５０５ 軌道生成部

Claims (14)

1. 予測対象とする第１移動体を含む１以上の移動体の位置を示す移動体情報を取得する移動体情報取得部と、
   基準時刻以前の複数の第１時刻に取得された前記移動体情報が示す複数の位置をマップ上に表した累積マップ情報を生成する累積マップ生成部と、
   前記基準時刻における前記第１移動体の周辺の環境をマップ上に表した環境マップ情報と、前記基準時刻に取得された前記移動体情報と、前記累積マップ情報とから、前記基準時刻より後の第２時刻での前記第１移動体の位置を予測する予測部と、
   を備える予測装置。
2. 前記累積マップ生成部は、複数の前記第１時刻に取得された前記移動体情報が示す複数の前記位置それぞれに対して、前記移動体の移動量、前記移動体の速度、および、前記移動体の移動方向のうち少なくとも１つを対応づけた前記累積マップ情報を生成する、
   請求項１に記載の予測装置。
3. 前記累積マップ生成部は、複数の前記第１時刻に取得された前記移動体情報が示す複数の前記位置それぞれに対して、複数の前記移動体の移動量の混合分布、複数の前記移動体の速度の混合分布、および、複数の前記移動体の移動方向の混合分布のうち少なくとも１つを対応づけた前記累積マップ情報を生成する、
   請求項１に記載の予測装置。
4. 前記移動体情報は、前記移動体の向き、前記移動体の速度、前記移動体の加速度、前記移動体の角速度、前記移動体の角加速度、前記移動体の移動方向、および、前記移動体の識別情報のうち、少なくとも１つをさらに含む、
   請求項１に記載の予測装置。
5. 前記第１移動体の周辺の環境を示す環境情報を取得する環境情報取得部と、
   前記環境情報と前記移動体情報とに基づいて前記環境マップ情報を生成する環境マップ生成部と、をさらに備える、
   請求項１に記載の予測装置。
6. 前記環境マップ情報は、障害物の有無を示す障害物マップ情報と、前記環境の属性を示す属性マップ情報と、前記第１移動体が走行しうる経路を示す経路マップ情報と、のうち少なくとも１つを含む、
   請求項５に記載の予測装置。
7. 前記経路マップ情報は、前記障害物マップ情報および前記属性マップ情報のうち少なくとも１つを入力とするニューラルネットワークにより算出される、前記第１移動体が取りうる行動の報酬を示す報酬マップ情報と、前記報酬に基づいて前記第１移動体が取りうる方策を示す方策マップ情報と、のうちいずれかを含む、
   請求項６に記載の予測装置。
8. 前記環境情報は、障害物、道路、歩道、縁石、標識、信号灯、および、道路マーキングのうち少なくとも１つを含む、
   請求項５に記載の予測装置。
9. 前記予測部は、前記環境マップ情報と前記移動体情報と前記累積マップ情報とを入力とするニューラルネットワークを用いて、前記第１移動体の位置を予測する、
   請求項１に記載の予測装置。
10. 前記ニューラルネットワークは、移動体の軌道の特徴を表す多次元正規分布に基づいてサンプリングされた１以上の変数それぞれに応じて１以上の位置を予測する、
    請求項９に記載の予測装置。
11. 前記予測部は、前記累積マップ情報に設定された値に応じた重みが割り当てられた前記環境マップ情報を用いて、前記第２時刻での前記第１移動体の位置を予測する、
    請求項１に記載の予測装置。
12. 予測対象とする第１移動体を含む１以上の移動体の位置を示す移動体情報を取得する移動体情報取得ステップと、
    基準時刻以前の複数の第１時刻に取得された前記移動体情報が示す複数の位置をマップ上に表した累積マップ情報を生成する累積マップ生成ステップと、
    前記基準時刻における前記第１移動体の周辺の環境をマップ上に表した環境マップ情報と、前記基準時刻に取得された前記移動体情報と、前記累積マップ情報とから、前記基準時刻より後の第２時刻での前記第１移動体の位置を予測する予測ステップと、
    を含む予測方法。
13. コンピュータに、
    予測対象とする第１移動体を含む１以上の移動体の位置を示す移動体情報を取得する移動体情報取得ステップと、
    基準時刻以前の複数の第１時刻に取得された前記移動体情報が示す複数の位置をマップ上に表した累積マップ情報を生成する累積マップ生成ステップと、
    前記基準時刻における前記第１移動体の周辺の環境をマップ上に表した環境マップ情報と、前記基準時刻に取得された前記移動体情報と、前記累積マップ情報とから、前記基準時刻より後の第２時刻での前記第１移動体の位置を予測する予測ステップと、
    を実行させるためのプログラム。
14. 車両を制御する車両制御システムであって、
    予測対象とする第１移動体の位置を予測する予測装置と、
    予測された前記位置に基づき車両を駆動するための駆動機構を制御する車両制御装置と、
    を備え、
    前記予測装置は、
    予測対象とする第１移動体を含む１以上の移動体の位置を示す移動体情報を取得する移動体情報取得部と、
    基準時刻以前の複数の第１時刻に取得された前記移動体情報が示す複数の位置をマップ上に表した累積マップ情報を生成する累積マップ生成部と、
    前記基準時刻における前記第１移動体の周辺の環境をマップ上に表した環境マップ情報と、前記基準時刻に取得された前記移動体情報と、前記累積マップ情報とから、前記基準時刻より後の第２時刻での前記第１移動体の位置を予測する予測部と、
    を備える車両制御システム。

Images