JP2019109691A - 移動体挙動予測装置および移動体挙動予測方法 - Google Patents

Abstract

【課題】頻出する移動体の挙動の予測精度の低下を伴うことなく、希少な移動体の挙動の予測精度を向上させる。【解決手段】自車両１０１には移動体挙動予測装置１０が設けられ、移動体挙動予測装置１０には、第一挙動予測部２０３および第二挙動予測部２０７が設けられ、第一挙動予測部２０３は、移動体の挙動の予測結果と、予測時間経過後の移動体の挙動の認識結果との誤差を最小化するように、第一予測挙動２０４を学習し、第二挙動予測部２０７は、自車両１０１が不安全な運転を行わないように自車両１０１の周辺の移動体の将来の第二予測挙動２０８を学習する。【選択図】図２

Description

本発明は、自動車などの自動運転に適用可能な移動体挙動予測装置および移動体挙動予測方法に関する。

自動車の自動運転の実現に向けて、車載カメラなどにより周囲状況をセンシングするセンシング技術、センシングしたデータに基づいて自車の状態と周囲環境を認識する認識技術、自車の状態と周囲環境の認識情報に基づいて走行速度や操舵角などを制御する制御技術などの開発が進められている。認識技術においては、自車周辺に存在する地物や移動体を認識し、それらの将来位置を正確に予測する予測技術が求められる。

歩行者や車両などの移動体の将来挙動には、移動体間の相互作用や周辺環境など多様な要因が影響する。これらの影響を全て定式化することは難しいため、機械学習によって各要因の影響をブラックボックスとして扱うことがある。
例えば、特許文献１では、回帰分析によって移動体の将来位置を予測する仕組みが検討されている。一般に、予測問題には教師あり学習が用いられる。

特開２０１３−１９６６０１

しかしながら、教師あり学習で得られる予測器は頻出するパターンには強いが、希少なパターンに対しては予測精度が悪化する。一方、自動運転においては、例えば、歩行者の飛び出しや他車両の急な加減速、進路変更などの稀にしか発生しない行動を安全のために考慮する必要がある。このため、単純な教師あり学習による予測技術では、自動運転で安全な走行を実現するのは難しい。

また、教師あり学習において、飛び出しや急な加減速、進路変更などの希少パターンのデータのみを学習に用いると、希少パターンの予測のみを行うようになり、通常の安全な走行に支障をきたすことがあった。

本発明は、上記事情に鑑みなされたものであり、その目的は、頻出する移動体の挙動の予測精度の低下を伴うことなく、希少な移動体の挙動の予測精度を向上させることが可能な移動体挙動予測装置および移動体挙動予測方法を提供することにある。

上記目的を達成するため、第１の観点に係る移動体挙動予測装置は、車両から認識可能な移動体の挙動の予測結果と、予測時間経過後の前記移動体の挙動の認識結果に基づいて、前記移動体の第一予測挙動を出力する第一挙動予測部と、前記車両の挙動に基づいて、前記車両から認識可能な移動体の第二予測挙動を出力する第二挙動予測部とを備える。

本発明によれば、頻出する移動体の挙動の予測精度の低下を伴うことなく、希少な移動体の挙動の予測精度を向上させることができる。

図１は、第１実施形態に係る移動体挙動予測装置が適用される自動車の走行環境の一例を示す模式図である。 図２は、第１実施形態に係る移動体挙動予測装置の構成を示すブロック図である。 図３は、図２の認識部の構成を示すブロック図である。 図４は、図３のマップ情報の構成例を示す図である。 図５は、第１実施形態に係る移動体挙動予測装置に用いられる挙動予測部の構成を示すブロック図である。 図６は、図２の制御部の構成を示すブロック図である。 図７（ａ）は、図２の運転評価部の評価方法を示す模式図、図７（ｂ）は、図５のデータマップの一例を示す図、図７（ｃ）は、図５の将来時刻挙動データの一例を示す図である。 図８は、図２の移動体挙動予測装置にて予測された第１の予測挙動および第２の予測挙動の表示例を示す図である。 図９は、第２実施形態に係る移動体挙動予測装置の構成を示すブロック図である。 図１０は、第３実施形態に係る移動体挙動予測装置のハードウェア構成を示すブロック図である。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

（第１実施形態）
図１は、第１実施形態に係る移動体挙動予測装置が適用される自動車の走行環境の一例を示す模式図である。
図１において、道路１００上を自車両１０１が走行し、自車両１０１の前方を他車両１０２、１０３が走行しているものとする。他車両１０２、１０３は自車両１０１以外の車両である。道路１００の脇には歩行者１０４が歩行しているものとする。

自車両１０１には、移動体挙動予測装置１０、センサ２０および表示部３０が設けられている。移動体挙動予測装置１０は、他車両１０２、１０３や歩行者１０４、二輪車などの移動体の将来における位置（以下、予測挙動と言うことがある）を予測する。センサ２０は、自車両１０１の周辺の道路１００や移動体の状態を検出する。センサ２０は、例えば、カメラ、レーダ、ライダー、ソナー、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、カーナビを用いることができる。表示部３０は、移動体挙動予測装置１０にて予測された予測挙動を表示する。この予測挙動は、センサ２０で取得された自車両１０１の前方の画像に重ねて表示するようにしてもよいし、自車両１０１のフロントガラスに表示するようにしてもよい。

例えば、他車両１０２、１０３および歩行者１０４が経路Ｋ２〜Ｋ４に沿ってそれぞれ移動するとした時に、移動体挙動予測装置１０は、他車両１０２、１０３および歩行者１０４が何秒後にいずれの位置にいるかを予測することができる。自車両１０１は、自動運転において、移動体挙動予測装置１０による移動体の挙動予測に基づいて、他車両１０２、１０３および歩行者１０４などの移動体との衝突や、自車両１０１の急操舵、急減速、急加速および急停止等が発生しないように、操舵角や速度などを制御することができる。

他車両１０２、１０３や歩行者１０４、二輪車などの移動体はその周辺環境に応じて挙動が変化する。例えば、高速自動車道と国道、裏道などでは車両の運転挙動が変わってくる。また、周辺に他の移動体がどの程度存在するかによっても移動体の挙動は変化する。例えば、他の移動体の存在しない高速道路、渋滞している高速道路、人通りの多い商店街などで車両の挙動は大きく変化する。そのため、安全な自動運転のために、走行道路情報や周辺物体との相互作用などを考慮した移動体の将来挙動を予測することが求められる。

車両や移動体の挙動には、頻繁に発生する頻出パターンと、稀にしか発生しない希少パターンがある。頻出パターンは、他車両１０２、１０３の道路１００に沿った通常走行や、歩行者１０４の道路１００に沿った歩行などである。希少パターンは、歩行者１０４の道路１００への飛び出しや道路１００の横断、他車両１０２、１０３の急な加減速や進路変更などである。

ここで、頻出パターンおよび希少パターンの双方に対応できるようにするため、移動体挙動予測装置１０は、自車両１０１の周辺の移動体の挙動の予測結果と、予測時間経過後の移動体の挙動の認識結果に基づいて、移動体の第一予測挙動を出力する。さらに、移動体挙動予測装置１０は、自車両１０１の挙動に基づいて、自車両１０１から認識可能な移動体の第二予測挙動を出力する。第一予測挙動は頻出パターンから予測することができる。第二予測挙動は希少パターンから予測することができる。

この時、走行道路情報や周辺物体との相互作用など移動体の将来挙動に影響する要因全てを定式化することは難しい。このため、機械学習によって各要因の影響をブラックボックスとして扱うことで、走行道路情報や周辺物体との相互作用などを考慮した移動体の将来挙動を予測することができる。

頻出パターンに関しては、教師あり学習によって予測を行う。ここでは、自車両１０１車両に取り付けられたセンサ２０によって認識された物体の将来位置および将来速度を予測し、第一予測挙動とする。その後、所定の予測時間経過後に観測された同一の物体の位置および速度と、予測した将来位置および将来速度との差分が小さくなるように学習を行う。

希少パターン関しては、強化学習によって予測を行い、予測された将来位置および将来速度を第二予測挙動とする。ここでは、教師あり学習による第一予測挙動および強化学習による第二予測挙動に基づいて自車両１０１を制御した際に安全に運転できたか否かを判定し、より安全に運転できるように第二予測挙動を強化学習により修正する。

教師あり学習による挙動予測では、より多くのデータに対して精度の良い挙動予測を行う必要があるため、頻出パターンに対して予測精度が向上しやすくなる。
強化学習による挙動予測では、自車両１０１の制御に対して不安全になる要因を重点的に考慮する必要があるため、危険な行動である希少パターンに対して予測精度が向上しやすくなる。

このように、上述した実施形態では、教師あり学習と強化学習を組み合わせることで、頻出パターンおよび希少パターンの両方が反映された移動体の挙動を予測することができ、自車両をより安全に制御することが可能となる。

以下、実施形態に係る移動体挙動予測装置について詳細に説明する。

図２は、第１実施形態に係る移動体挙動予測装置の構成を示すブロック図である。
図２において、移動体挙動予測装置１０には、認識部２０２、第一挙動予測部２０３、予測誤差算出部２０５、第一パラメータ更新量算出部２０６、第二挙動予測部２０７、制御部２０９、運転評価部２１０、報酬生成部２１１および第二パラメータ更新量算出部２１２が設けられている。

ここで、第一挙動予測部２０３は、移動体の挙動の予測結果と、予測時間経過後の移動体の挙動の認識結果との誤差を最小化するように、第一予測挙動２０４を学習することができる。第二挙動予測部２０７は、自車両１０１が不安全な運転を行わないように自車両１０１の周辺の移動体の将来の第二予測挙動２０８を学習することができる。

この時、第一挙動予測部２０３および第二挙動予測部２０７は、認識部２０２で認識された結果を用いることで第一予測挙動２０４および第二予測挙動２０８をそれぞれ出力する。
また、第一挙動予測部２０３は、第一予測挙動２０４が頻出パターンである時に、自車両１０１が安全に走行できるように教師あり学習によって第一予測挙動２０４を学習する。第二挙動予測部２０７は、第二予測挙動２０８が希少パターンである時に、自車両１０１が安全に走行できるように強化学習によって第二予測挙動２０８を学習する。また、第二予測挙動２０８は第一予測挙動２０４と同様の形式をとることができる。この時、第二挙動予測部２０７の構成は第一挙動予測部２０３と同様の構成をとることができる。また、第二挙動予測部２０７は第一挙動予測部２０３とパラメータを共有してもよい。

センサデータ２０１は、自車両１０１に取り付けられたセンサ２０から得られるデータである。認識部２０２は、センサデータ２０１を処理した結果得られる周辺の他車両および歩行者などを認識したり、地図データ、道路属性情報および目的地情報などを保持したりする。また、予測モデルが挙動予測に必要とする情報などの認識も行う。

図３は、図２の認識部の構成を示すブロック図である。
図３において、認識部２０２は、センサデータ２０１に基づいて、自車両１０１の周辺物体や周辺環境を認識する。この時、センサデータ２０１は、ステレオカメラ画像および自車量の速度、ヨーレート、ＧＰＳなどから得られた時系列データによって構成することができる。認識部２０２には、ステレオマッチング部３０３、物体認識部３０５、位置算出部３０７および物体追跡部３１１が設けられている。

ステレオマッチング部３０３は、右カメラ画像３０１および左カメラ画像３０２に基づいて視差画像３０４を生成する。ステレオマッチングは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）またはブロックマッチング法などによって行うことができる。

物体認識部３０５は、左カメラ画像３０２に画像処理を行い、画像上に映っている物体の認識を行うことで物体認識結果３０６を生成する。なお、図３の構成では、左カメラ画像３０２に対して物体認識処理を行う例を示したが、右カメラ画像３０１に対して物体認識処理を行ってもよい。ここで、物体認識部３０５による物体認識処理は、移動体検知およびセマンティックセグメンテーションである。

移動体検知は、Ｆａｓｔｅｒ Ｒ−ＣＮＮや、Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ）と呼ばれるＣＮＮの手法を用いて行うことができる。これらは、画像上で認識対象の位置と種別を認識する手法である。認識対象の位置については、画像上で認識対象を含む矩形領域を出力する。また、認識対象の種別については、認識した矩形領域ごとに矩形領域に含まれる人、車両などの認識対象のクラスを出力する。矩形領域は１枚の画像に対して複数の領域を抽出することが可能である。また、Ｆａｓｔｅｒ Ｒ−ＣＮＮやＳＳＤは移動体検知の一例であり、画像上で物体検知が可能な他の手法で代替してもよい。また、物体検知の手法のかわりにインスタンスセグメンテーションと呼ばれる、画像上で認識対象毎に各認識対象が写っているピクセル領域を認識する手法を用いてもよい。インスタンスセグメンテーションはたとえばＭａｓｋ Ｒ−ＣＮＮ等の手法を用いるが、Ｍａｓｋ Ｒ−ＣＮＮ以外のインスタンスセグメンテーションの手法を用いてもよい。

セマンティックセグメンテーションは、ＲｅｓＮｅｔやＵ−Ｎｅｔと呼ばれるＣＮＮの手法を用いて行うことができる。セマンティックセグメンテーションは、画像上の各ピクセルが、どのクラスの物体を写しているかを認識する手法である。セマンティックセグメンテーションで認識されるクラスは、人や車両などの移動体だけでなく、車道、舗道、白線および建物などの地形情報、障害物、立体物を含むことができる。また、ＲｅｓＮｅｔやＵ−Ｎｅｔはセマンティックセグメンテーションの一例である。

位置算出部３０７は、視差画像３０４および物体認識結果３０６に基づいて、物体認識結果３０６のクラス情報を求め、位置認識結果３０８として出力する。位置認識結果３０８には、移動体検知によって認識された人や車両の３次元位置情報と、セマンティックセグメンテーションによって得られた物体認識結果３０６の３次元位置情報を含む。

物体追跡部３１１は、位置認識結果３０８、前時刻認識結果３０９および自車軌道３１０に基づいて位置認識結果３０８の時系列処理を行い、時系列認識結果３１２を出力する。前時刻認識結果３０９は前時刻までの位置認識結果３０８である。物体追跡部３１１は、前時刻認識結果３０９と自車軌道３１０を用いて、前時刻までに認識された物体の現時刻における位置予測を行う。その後、現時刻における位置認識結果３０８と、位置予測で得られた予測位置とのマッチングを行う。このマッチングでは、位置認識結果３０８と予測位置それぞれとの距離を計算し、最も総距離が小さくなる組み合わせを探索することができる。ここで距離の計算は画像上での領域の近さを用いてもよいし、３次元空間での距離を用いてもよい。

その後、マッチングされた物体には、前時刻と同一のＩＤを付与し、マッチングされなかった物体には、新規のＩＤを付与する。前時刻にマッチングされた物体があるものは、前時刻と現時刻の位置情報から、その物体の速度を算出する。物体認識部３０５で移動体検出によって認識された各物体に対して上記の処理を行い、各物体のクラス、位置、速度およびＩＤを時系列認識結果３１２とする。

マップ情報３１３は、位置認識結果３０８のうち、セマンティックセグメンテーションで得られた各ピクセルのクラス情報を視差画像３０４によって変換し、自車両周辺の俯瞰画像とした情報である。また、マップ情報３１３には、時系列認識結果３１２に含まれる情報も、以下の図４に示す形で含む。

図４は、図３のマップ情報の構成例を示す図である。
図４において、マップ情報３１３は複数のレイヤ情報４０１を有する。レイヤ情報４０１は、車両周辺の情報を位置情報ごとに整理したものである。レイヤ情報４０１は、車両周辺の領域を切り出し、その領域がグリッドで仕切られた情報である。グリッドで仕切られた各マス４０２の情報は、それぞれ現実の位置情報と対応している。例えば、道路情報のような１次元の２値で表現される情報であれば、道路の位置情報に対応するマスに１が格納され、道路以外の位置情報に対応するマスには０が格納される。

また、速度情報のような２次元の連続値で表現される情報であれば、レイヤ情報が２層に渡って、第１方向速度成分および第２方向速度成分が格納される。ここで、第１方向および第２方向は、例えば、車両の進行方向、横方向、北方向、東方向などを表すことができる。また、速度情報をレイヤ情報に変換する場合には、自車両１０１もしくは移動体の存在する位置情報に対応するマス４０２に情報を格納する。

このように、レイヤ情報４０１は、環境情報、移動体情報および自車両情報に対して、認識部２０２の取得情報の次元数以下のレイヤに亘って、その取得情報の位置情報と対応したマス４０２へ情報が格納されたものである。また、取得情報が落下物や移動体のように特定の位置にのみ存在する情報に関する場合には、対応する位置情報のマス４０２に情報が格納される。マップ情報３１３は、車両周辺の情報を位置情報ごとに整理した種々のレイヤ情報４０１を積み上げた構造を有する。レイヤ情報４０１を積み上げる際には、各レイヤのマス４０２の持つ位置情報が一致するようにする。

なお、上述した実施形態では、ステレオカメラ画像に基づいてマップ情報３１３を生成する構成を示したが、物体の３次元位置、速度およびその周辺のマップ情報３１３が得られるならば、例えば、カメラ画像における物体検知と、ライダーによる３次元位置認識を組み合わせてもよいし、その他のソナーも用いた構成や単眼カメラのみからなる構成でもよい。また、地図情報を用いてもよい。また、ステレオマッチング部３０３、物体認識部３０５および物体追跡部３１１で行われる処理は他の代替手法に置き換えてもよい。

図５は、第１実施形態に係る移動体挙動予測装置に用いられる挙動予測部の構成を示すブロック図である。この挙動予測部は、図２の第一挙動予測部２０３または第二挙動予測部２０７に適用することができる。
図５において、挙動予測部には、Ｎ（Ｎは正の整数）個の移動体１〜Ｎごとにリカレントニューラルネットワーク５０２−１〜５０２−Ｎ、全結合層５０５−１〜５０５−Ｎおよび乗算層５０６−１〜５０６−Ｎが設けられている。さらに、挙動予測部には、総和層５０７、畳込み層５０９、５１１および結合層５１０がＮ個の移動体１〜Ｎに共通に設けられている。

挙動予測部は、自車両１０１の周辺の移動体１〜Ｎごとにリカレントニューラルネットワーク５０２−１〜５０２−Ｎによる位置予測を行う。移動体１〜Ｎは、認識部２０２の物体認識部３０５で認識されたＮ個の物体である。図１の例では、移動体１〜Ｎは、他車両１０２、１０３および歩行者１０４である。そして、各移動体１〜Ｎのリカレントニューラルネットワーク５０２−１〜５０２−Ｎの中間状態を集約し、自車両１０１の周辺の道路状況および交通状況と結合し、畳み込みニューラルネットワークによって各移動体１〜Ｎおよび道路情報との相互作用を考慮した挙動の予測を行う。

リカレントニューラルネットワーク５０２−１〜５０２−Ｎは通常のリカレントニューラルネットワークでもよいし、Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ（ＧＲＵ）や、Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）などのリカレントニューラルネットワークの派生系でもよい。

各リカレントニューラルネットワーク５０２−１〜５０２−Ｎは、移動体１〜Ｎ現在時刻移動データ５０１−１〜５０１−Ｎを入力として、移動体１〜Ｎ将来時刻移動データ５０３−１〜５０３−Ｎを出力する。移動体１〜Ｎ現在時刻移動データ５０１−１〜５０１−Ｎは各移動体１〜Ｎのｔ時刻前からの移動量である。この移動量は、各移動体１〜Ｎがｔ時刻前からどの程度移動したかを示す。移動体１〜Ｎ将来時刻移動データ５０３−１〜５０３−Ｎは各移動体１〜Ｎの将来時刻での移動量である。この移動量は、各移動体が将来時刻ｔ０、ｔ１、・・・、ｔＴ後までにどの程度移動するかを示す。移動体１〜Ｎ現在時刻移動データ５０１−１〜５０１−Ｎおよび移動体１〜Ｎ将来時刻移動データ５０３−１〜５０３−Ｎは各移動体１〜Ｎの現在時刻における位置を基準とした座標系で計算される。

移動体１〜Ｎ将来時刻移動データ５０３−１〜５０３−Ｎは、各移動体１〜Ｎがどの方向に移動する可能性が高いかを予測するものであり、精度のよい予測情報とはならないため、挙動予測の結果としては用いない。

移動体１〜Ｎ将来時刻移動データ５０３−１〜５０３−Ｎは、リカレントニューラルネットワーク５０２−１〜５０２−Ｎをより簡易に学習するために用いる。リカレントニューラルネットワーク５０２−１〜５０２−Ｎを学習する際には、移動体１〜Ｎ将来時刻移動データ５０３−１〜５０３−Ｎから各移動体１〜Ｎの将来時刻ｔ０、ｔ１、・・・、ｔＴにおける移動量を教師情報として与えることができる。

全結合層５０５−１〜５０５−Ｎは、移動体１〜Ｎ現在時刻相対位置データ５０４−１〜５０４−Ｎを入力として、アフィン変換と活性化関数を適用したものを出力する。動体１〜Ｎ現在時刻相対位置データ５０４−１〜５０４−Ｎは、現在時刻における自車位置を中心とした座標系における各移動体１〜Ｎの相対位置を示す。全結合層５０５−１〜５０５−Ｎの出力は、リカレントニューラルネットワーク５０２−１〜５０２−Ｎの内部状態と同じ次元を持つ。

乗算層５０６−１〜５０６−Ｎは、リカレントニューラルネットワーク５０２−１〜５０２−Ｎの内部状態と、全結合層５０５−１〜５０５−Ｎの出力の要素ごとの積を出力する。リカレントニューラルネットワーク５０２−１〜５０２−Ｎの予測する各移動体１〜Ｎの将来時刻における移動量は、各移動体１〜Ｎの現在時刻を中心とした座標系で行われる。そのため、各移動体１〜Ｎの自車両１０１との相対位置を全結合層５０５−１〜５０５−Ｎで処理した値との要素ごとの積をとることで、自車両１０１との相対的な移動量を計算することができる。

総和層５０７は、各移動体１〜Ｎの乗算層５０６−１〜５０６−Ｎの出力の総和を計算する。総和層５０７は、各移動体１〜Ｎの乗算層５０６−１〜５０６−Ｎの値の総和を取ることで、自車両１０１からどの相対位置にどの方向に移動しようとしている移動体１〜Ｎがあるか把握することが可能となる。

認識されている全移動体１〜Ｎの乗算層５０６−１〜５０６−Ｎの出力の総和が総和層５０７にて取られると、畳み込みニューラルネットワークによる各移動体１〜Ｎと道路情報の相互作用を考慮した予測を行う。マップデータ５０８は自車両１０１の周辺の道路情報が格納されたデータである。

この時、畳み込み層５０９は、マップデータ５０８に対して畳み込みニューラルネットワークを適用する。結合層５１０は、畳み込み層５０９の出力と総和層５０７の出力を結合する。

畳み込み層５０９の出力と総和層５０７の出力の結合は、例えば、畳み込み層５０９の出力結果のチャンネル方向に、総和層５０７の出力を畳み込み層５０９の幅および高さに合わせた後に追加することで行われる。なお、総和層５０７と結合層５１０の間に畳み込み層などの追加のニューラルネットワークを加えてもよい。

畳み込み層５１１は、総和層５０７の出力と畳み込み層５０９の出力の結合結果に対し、畳み込みニューラルネットワークを適用し、将来時刻挙動データ５１２を出力する。将来時刻挙動データ５１２は、自車両１０１の周辺の座標系上で将来時刻ｔ０、ｔ１、・・・、ｔＴにおける各座標に移動体１〜Ｎが存在する確率を表す。将来時刻挙動データ５１２は、図４に示したマップ情報３１３と同様の形式を持つ。

畳み込み層５０９、５１１は、必ずしも１層である必要はなく、複数層であってもよいし、マップデータ５０８、畳み込み層５０９、５１１および結合層５１０は、将来時刻挙動データ５１２を通して各中間状態および出力の幅と高さを一定に保ってもよいし、縮小または拡大を行ってもよい。上述した実施形態では、Ｎ個の移動体１〜Ｎが存在する状況での構成を示したが、移動体の数は限定されず、１つ以上であればよい。

以上の処理により、図２の第一挙動予測部２０３および第二挙動予測部２０７から第一予測挙動２０４および第二予測挙動２０８が出力される。第一予測挙動２０４は、予測誤差算出部２０５、制御部２０９および表示部３０に入力される。第二予測挙動２０８は、制御部２０９および表示部３０に入力される。

予測誤差算出部２０５は、第一挙動予測部２０３が出力した第一予測挙動２０４の予測誤差を算出する。ここでは、自車両１０１の周辺の座標系で表現された将来時刻ｔ０、ｔ１、・・・、ｔＴにおける第一予測挙動２０４と、将来時刻ｔ０、ｔ１、・・・、ｔＴ後に認識部２０２で認識された物体位置との予測誤差を求める。この際、将来時刻ｔ０、ｔ１、・・・、ｔＴに認識部２０２で認識された物体位置は、第一予測挙動２０４と同様に、図４で示したマップ情報３１３と同様の形式に変換する。マップ情報３１３上において、特定のグリッド上に物体が将来時刻ｔ０、ｔ１、・・・、ｔＴにおいて存在していれば１、存在していなければ０となるように変換する。予測誤差は、第一予測挙動２０４と、将来時刻ｔ０、ｔ１、・・・、ｔＴにおける認識結果をマップ表現に変換したものとの相互エントロピーによって計算することができる。

第一パラメータ更新量算出部２０６は、予測誤差算出部２０５が算出した予測誤差を最小化するように、第一挙動予測部２０３のパラメータを更新する量を算出することができる。このパラメータの更新量は、確率勾配降下法によって決定することができる。第一挙動予測部２０３のパラメータは、リカレントニューラルネットワーク５０２−１〜５０２−Ｎ、全結合層５０５−１〜５０５−Ｎおよび畳み込み層５０９、５１１に含まれる荷重行列やバイアス項である。

制御部２０９は、第一予測挙動２０４および第二予測挙動２０８に基づいて自車両１０１の制御を行う。制御部２０９は、自車両１０１の軌道を決定し、その決定した軌道を追従するように自車両１０１の操舵角および速度を制御する。軌道は、ある将来時刻ｔ０、ｔ１、・・・、ｔＴにおける自車両１０１の目標位置の集合である。

図６は、図２の制御部の構成を示すブロック図である。
図６において、制御部２０９には、軌道生成部６０１、軌道評価部６０２、軌道決定部６０３および軌道追従部６０４が設けられている。

軌道生成部６０１は、自車両１０１の軌道候補を複数生成する。軌道候補は、例えば、ランダムな複数の軌道とすることができる。

軌道評価部６０２は、軌道生成部６０１が生成した複数の軌道を評価する。軌道の評価は、第一予測挙動２０４および第二予測挙動２０８と、生成された自車軌道の将来時刻ｔ０、ｔ１、・・・、ｔＴごとの空間的な重なりが少ない時に、その軌道に良い評価を与えることができる。また、軌道の評価は、第一予測挙動２０４および第二予測挙動２０８に依らず、自車両１０１の速度や加速度からなる評価を同時に行ってもよいが、少なくとも移動体１〜Ｎの予測挙動を評価する項を含む。

軌道決定部６０３は、軌道評価部６０２の評価値が最も低い軌道を自車両１０１が追従すべき軌道として決定する。なお、軌道決定部６０３は、制御部２０９の制御周期に同期して、自車両１０１が追従すべき軌道を決定することができる。

軌道追従部６０４は、自動決定部６０３が決定した自車軌道に追従するように、自車両１０１の操舵角および速度を制御する。

運転評価部２１０は、制御部２０９による自車両１０１の制御結果に基づく運転を評価する。この運転の評価では、自車両１０１が急制動、急操舵、急加速および急減速などの不安全な運転を行ったかどうかを判定する。不安全な運転は、自車両１０１の衝突回避機能などの運転支援機能が動作したか、操舵角および速度が閾値以上の変化をしたかなどによって判定することができる。また、この評価では、自車両１０１の周辺に移動体１〜Ｎが存在しない等で安全に走行できるにも関わらず、自車両１０１が移動をしない不動作運転を行ったかも判定することができる。

報酬生成部２１１は、運転評価部２１０による運転評価結果に基づいて報酬を生成する。この時、運転評価部２１０で不安全運転もしくは不動作運転が発生したと判定された場合に負の報酬を、不安全運転および不動作運転のいずれも発生していないと判定された場合に正の報酬を生成することができる。

第二パラメータ更新量算出部２１２は、報酬生成部２１１で生成された報酬がより多く得られるように、第二挙動予測部２０７のパラメータの更新量を算出する。この更新量は、確率勾配降下法や進化的アルゴリズムによって算出することができる。この時、第二挙動予測部２０７は、第一予測挙動２０４および第二予測挙動２０８に基づいて実際に自車両１０１が制御された結果、自車両１０１の不安全運転および不動作運転が発生しないようにパラメータを更新することができる。

第一挙動予測部２０３は教師あり学習によって学習されるため、第一予測挙動２０４は頻出パターンを強く覚えることになる。頻出パターンを強く覚えた第一予測挙動２０４に基づいて、制御部２０９が自車両１０１を制御した場合、自車両１０１の周辺の移動体１〜Ｎが頻出パターン通りに行動すれば、第二予測挙動２０８は何も予測しなくとも、自車両１０１は安全に運転できる。

自車両１０１の周辺の移動体１〜Ｎが頻出パターンどおりに行動しない場合、すなわち希少パターンが発生した場合は、第二挙動予測部２０７が何も予測しなければ、不安全な事象につながり、自車両１０１が不安全な運転を示す。第二挙動予測部２０７は、このような不安全な運転を回避するように学習されるため、不安全な運転につながる希少パターンを予測するようになる。

また、不動作運転が発生しないように第二挙動予測部２０７が学習することによって、自車両１０１の周辺が危険で自車両１０１を動かすことができなくなる状態に陥るのを防ぐことができる。この時、第一挙動予測部２０３は楽観的な挙動予測を行い、第二挙動予測部２０７は慎重な挙動予測を行うことができる。

また、第二挙動予測部２０７は、図４に示したマップ情報３１３と同様の形式で不安全な運転につながる挙動を予測する。このため、自車両１０１の周辺に移動体１〜Ｎが存在していない領域であっても、交差点など飛び出しなどで移動体１〜Ｎが急発生する可能性のある領域に対しても、不安全な運転を誘発する可能性があるとして、移動体１〜Ｎの出現という挙動の予測が可能となる。

なお、報酬生成部２１１は、制御部２０９の制御周期に同期して報酬を更新するようにしてもよいし、走行ルートの区分ごとに報酬を更新するようにしてもよいし、これらを組み合わせるようにしてもよい。走行ルートの区分は、例えば、ナビゲーションで用いられる地図上での左折時、右折時、交差点までの直線時または出発地から目的地までとすることができる。制御部２０９の制御周期と走行ルートの区分を組み合わせる場合、これらを等しく扱ってもよいし、いずれかに重みをつけてもよい。第一挙動予測部２０３および第二挙動予測部２０７は、報酬生成部２１１の報酬の更新周期に同期して第一予測挙動２０４および第二予測挙動２０８を更新することができる。

図７（ａ）は、図２の運転評価部の評価方法を示す模式図、図７（ｂ）は、図５のデータマップの一例を示す図、図７（ｃ）は、図５の将来時刻挙動データの一例を示す図である。
図７（ａ）において、道路１００上を自車両１０１が走行し、自車両１０１の前方では他車両１０５が走行しているものとする。他車両１０５は経路Ｋ５に沿って移動するものとする。この他車両１０５は、図５の移動体１に対応するものとする。

自車両１０１に設けられた認識部２０２にて道路１００が認識され、マップデータ５０８が作成される。このマップデータ５０８の各マスには、図７（ａ）の道路１００の位置に対応して１が格納され、道路１００以外の位置に対応して０が格納されているものとする。

他車両１０５の移動体１現在時刻移動データ５０１−１、移動体１現在時刻相対位置データ５０４−１およびマップデータ５０８は、図５の挙動予測部に入力される。そして、この挙動予測部の出力として、図７（ｃ）に示すように、将来時刻ｔ０、ｔ１、・・・、ｔＴにおける将来時刻挙動データ５１２−０、５１２−１、・・・、５１２−Ｔが得られたものする。この将来時刻挙動データ５１２−０、５１２−１、・・・、５１２−Ｔの各マスには、将来時刻ｔ０、ｔ１、・・・、ｔＴにおける各座標に他車両１０５が存在する確率が格納される。

図２の制御部２０９は、他車両１０５の将来時刻挙動データ５１２−０、５１２−１、・・・、５１２−Ｔに基づいて自車両１０１の制御を行う。ここで、軌道生成部６０１にて、自車両１０１の軌道候補Ｋ１−１、Ｋ１−２、Ｋ１−３が生成されたものとする。そして、軌道評価部６０２は、各軌道候補Ｋ１−１、Ｋ１−２、Ｋ１−３について、将来時刻ｔ０、ｔ１、・・・、ｔＴごとの他車両１０５と空間的な重なりを評価する。この時、例えば、軌道候補Ｋ１−１では、その空間的な重なりが０％、軌道候補Ｋ１−２では、その空間的な重なりが８０％、軌道候補Ｋ１−３では、その空間的な重なりが３０％であるものとする。この場合、軌道決定部６０３は、その空間的な重なりが最も小さい軌道候補Ｋ１−１を自車両１０１が追従すべき軌道として決定する。そして、軌道追従部６０４は、自車軌道として決定された軌道候補Ｋ１−１に追従するように、自車両１０１の操舵角および速度を制御する。

軌道候補Ｋ１−１に追従するように自車両１０１の操舵角および速度が制御された結果、自車両１０１の急制動および急操舵が発生したものとする。この時、運転評価部２１０にて不安全な運転と判定され、報酬生成部２１１にて負の報酬が生成される。ここで、第二パラメータ更新量算出部２１２は、報酬生成部２１１で生成された報酬がより多く得られるように、第二挙動予測部２０７のパラメータの更新量を算出する。このため、第二パラメータ更新量算出部２１２は、負の報酬が生成されないように第二挙動予測部２０７のパラメータの更新量を算出する。この結果、第二挙動予測部２０７は、運転評価部２１０にて不安全な運転と判定されないように第二予測挙動２０８を生成することができる。

図８は、図２の移動体挙動予測装置にて予測された第１の予測挙動および第２の予測挙動の表示例を示す図である。
図８において、自車両１０１のフロントガラス４０には、第一予測挙動２０４−１〜２０４−３および第二予測挙動２０８−１が投影されている。第一予測挙動２０４−１〜２０４−３および第二予測挙動２０８−１は、運転者がフロントガラス４０越しに実際に観察できる移動体の位置に表示することができる。

これにより、運転者が運転中に前方から注意を逸らすことなく、第一予測挙動２０４−１〜２０４−３および第二予測挙動２０８−１を認識することが可能となる。

上述した第１実施形態では、第一予測挙動２０４および第二予測挙動２０８を共に制御部２０９で使用する構成を示した。
以下、周辺環境に応じて制御部２０９で用いる予測挙動を選択する手法について説明する。

（第２実施形態）
図９は、第２実施形態に係る移動体挙動予測装置の構成を示すブロック図である。
図９の移動体挙動予測装置では、図２の移動体挙動予測装置に予測手法決定部８０１が追加されている。予測手法決定部８０１には、荷重推定部８０２が設けられている。

予測手法決定部８０１は、認識部２０２で取得した周辺環境情報に従って、制御部２０９で用いる予測挙動を、第一予測挙動２０４のみ、第二予測挙動２０８のみ、第一予測挙動２０４と第二予測挙動２０８の荷重平均のいずれかに決定する。また、第一予測挙動２０４と第二予測挙動２０８の荷重平均が選択された場合には、荷重推定部８０２は、荷重平均に用いる荷重を推定する。

予測手法の決定は、教師あり学習によって行われる。予測手法決定部８０１は、第一予測挙動２０４のみを用いて制御部２０９で生成した自車軌道と、第二予測挙動２０８のみを用いて制御部２０９で生成した自車軌道を、同時刻の認識部２０２の情報と紐付けて記憶する。その後、運転評価部２１０は、将来時刻において、第一予測挙動２０４のみによる自車軌道および第二予測挙動２０８のみによる自車軌道の両方が不安全運転および不動作運転を引き起こさないか判定する。

予測手法決定部８０１は、認識部２０２の情報を入力として第一予測挙動２０４のみによる自車軌道が不安全運転および不動作運転を引き起こすか否か、第二予測挙動２０８のみによる自車軌道が不安全運転および不動作運転を引き起こすか否かの二つを出力とした機械学習による予測モデルを持つ。予測モデルは、それぞれの予測挙動のみによる自車軌道が不安全運転および不動作運転を引き起こした場合を負例、引き起こさなかった場合を正例とした２クラス分類問題として学習される。

実際の走行時には、予測手法決定部８０１は、認識部２０２から取得した情報を用いて、第一予測挙動２０４のみを用いた自車軌道および第二予測挙動２０８のみを用いた自車軌道が不安全運転および不動作運転を引き起こさないか予測し、それぞれの正例である確信度を出力する。第一予測挙動２０４のみを用いた自車軌道が不安全運転および不動作運転を引き起こさない確信度をＰ１、第二予測挙動２０８のみを用いた自車軌道が不安全運転および不動作運転を引き起こさない確信度をＰ２とする。

確信度Ｐ１が閾値ＴＨより大きく、かつ確信度Ｐ２が閾値ＴＬより小さければ、予測手法決定部８０１は、第一予測挙動２０４のみを制御部２０９で用いるように決定する。確信度Ｐ１が閾値ＴＬより小さく、かつ確信度Ｐ２が閾値ＴＨより大きければ、予測手法決定部８０１は、第二予測挙動２０８のみを制御部２０９で用いるように決定する。

それ以外の場合には、第一予測挙動２０４と第二予測挙動２０８をＰ１／（Ｐ１＋Ｐ２）：Ｐ２／（Ｐ１＋Ｐ２）という割合で荷重平均を取り、その荷重平均を取った値を制御部２０９で用いる。閾値ＴＨ、ＴＬは事前に決定された値である。
この際、認識部２０２では、図３で示した情報以外にも、ＧＰＳの情報や周辺の地図情報、走行道路の道路種別を入力に加えてもよい。

ここで、周辺環境に応じて制御部２０９で用いる予測挙動を選択することにより、自車軌道が不安全運転および不動作運転を引き起こさない確信度に基づいて、第一予測挙動２０４および第二予測挙動２０８を予測することが可能となり、第一予測挙動２０４および第二予測挙動２０８の予測精度を向上させることができる。

（第３実施形態）
図１０は、第３実施形態に係る移動体挙動予測装置のハードウェア構成を示すブロック図である。
図１０において、移動体挙動予測装置１０には、プロセッサ１１、通信制御デバイス１２、通信インターフェース１３、主記憶デバイス１４および外部記憶デバイス１５が設けられている。プロセッサ１１、通信制御デバイス１２、通信インターフェース１３、主記憶デバイス１４および外部記憶デバイス１５は、内部バス１６を介して相互に接続されている。主記憶デバイス１４および外部記憶デバイス１５は、プロセッサ１１からアクセス可能である。

また、移動体挙動予測装置１０の入出力インターフェースとして、センサ２０、表示部３０および操作部４０が設けられている。センサ２０、表示部３０および操作部４０は、内部バス１６に接続されている。操作部４０は、図２の制御部２０９の指令に基づいて、自車両１０１のエンジン、変速機、ブレーキおよびステアリングなどを操作することで、自車両１０１の加減速、制動および操舵などを実行する。

プロセッサ１１は、移動体挙動予測装置１０全体の動作制御を司るハードウェアである。主記憶デバイス１４は、例えば、ＳＲＡＭまたはＤＲＡＭなどの半導体メモリから構成することができる。主記憶デバイス１４には、プロセッサ１１が実行中のプログラムを格納したり、プロセッサ１１がプログラムを実行するためのワークエリアを設けることができる。

外部記憶デバイス１５は、大容量の記憶容量を有する記憶デバイスであり、例えば、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。外部記憶デバイス１５は、各種プログラムの実行ファイルを保持することができる。外部記憶デバイス１５には、移動体挙動予測プログラム１５Ａを格納することができる。プロセッサ１１が移動体挙動予測プログラム１５Ａを主記憶デバイス１４に読み出し、移動体挙動予測プログラム１５Ａを実行することにより、図１の移動体挙動予測装置１０の各機能を実現することができる。

通信制御デバイス１２は、外部との通信を制御する機能を有するハードウェアである。通信制御デバイス１２は、通信インターフェース１３を介してネットワーク１９に接続される。

以上、本発明の実施形態を説明したが、本実施形態で記載した各機能の実装場所は問わない。すなわち、車両上に実装してもよいし、車両と通信可能なデータセンタ上に実装してもよい。

また、上述した実施形態では、移動体挙動予測装置を車両の運行に用いる場合について説明したが、移動体挙動予測装置は車両以外に用いてもよく、例えば、ドローンや無人機などの飛翔体の飛行制御に用いてもよいし、人工知能を搭載したロボットの歩行制御や姿勢制御に用いてもよい。

なお、本発明は上述した実施形態に限定されるものではなく様々な変形例が含まれる。上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０…移動体挙動予測装置、２０…センサ、１０１…自車両、１０２、１０３…他車両、１０４…歩行者

Claims (12)

1. 車両から認識可能な移動体の挙動の予測結果と、予測時間経過後の前記移動体の挙動の認識結果に基づいて、前記移動体の第一予測挙動を出力する第一挙動予測部と、
   前記車両の挙動に基づいて、前記車両から認識可能な移動体の第二予測挙動を出力する第二挙動予測部とを備える移動体挙動予測装置。
2. 前記第一挙動予測部は、教師あり学習に基づいて前記第一予測挙動を出力する第一ニューラルネットワークを備え、
   前記第二挙動予測部は、強化学習に基づいて前記第二予測挙動を出力する第二ニューラルネットワークを備える請求項１に記載の移動体挙動予測装置。
3. 前記第一予測挙動および前記第二予測挙動は前記車両の運転制御に用いられ、
   前記第一挙動予測部は、前記移動体の挙動の予測結果と、前記予測時間経過後の前記移動体の挙動の認識結果との誤差を最小化するように、前記第一予測挙動を学習し、
   前記第二挙動予測部は、前記車両が不安全な運転を行わないように、前記車両から認識可能な移動体の前記第二予測挙動を学習する請求項１に記載の移動体挙動予測装置。
4. 前記移動体の種別、位置および速度を認識する認識部と、
   前記第一予測挙動および前記第二予測挙動の少なくともいずれかに基づいて、前記車両を制御する制御部と、
   前記車両の制御結果に基づいて前記車両の運転の安全性を評価する運転評価部と、
   前記安全性の評価結果が不安全であれば負の報酬を生成し、前記安全性の評価結果が安全であれば正の報酬を生成する報酬生成部とを備え、
   前記報酬を最大化するように前記第二挙動予測部の予測パラメータを更新する請求項３に記載の移動体挙動予測装置。
5. 前記認識部は、
   複数のカメラ画像に基づいて視差画像を生成するステレオマッチング部と、
   前記カメラ画像に基づいて物体を認識する物体認識部と、
   前記視差画像および前記物体の認識結果に基づいて前記物体の現時刻における位置認識結果を算出する位置算出部と、
   前記車両の軌道および前時刻までの位置認識結果に基づいて前記物体の現時刻における位置認識結果を予測し、前記位置認識結果の予測結果と、前記位置算出部で算出された位置認識結果とのマッチング結果に基づいて、前記物体を追跡する物体追跡部とを備える請求項４に記載の移動体挙動予測装置。
6. 前記第一挙動予測部は、
   Ｎ（Ｎは正の整数）個の移動体の現在時刻の移動データに基づいて、前記Ｎ個の移動体の将来時刻の移動データをそれぞれ出力するＮ個のリカレントニューラルネットワークと、
   前記車両の位置を基準とした前記Ｎ個の移動体の相対位置データにアフィン変換および活性化関数をそれぞれ適用するＮ個の全結合層と、
   前記Ｎ個のリカレントニューラルネットワークの内部状態と前記Ｎ個の全結合層の出力をそれぞれ乗算するＮ個の乗算層と、
   前記Ｎ個の乗算層の出力の総和をとる総和層と、
   前記車両の周辺の道路情報に畳み込みューラルネットワークを適用する第一畳込み層と、
   前記総和層の出力と前記第一畳込み層の出力を結合する結合層と、
   前記結合層の出力に畳み込みューラルネットワークを適用する第二畳込み層とを備える請求項４に記載の移動体挙動予測装置。
7. 前記制御部は、
   前記車両の複数の軌道候補を生成する軌道生成部と、
   前記第一予測挙動および前記第二予測挙動に基づいて前記軌道候補を評価する軌道評価部と、
   前記軌道評価部による評価結果に基づいて、前記車両の軌道を決定する軌道決定部と、
   前記軌道決定部で決定された軌道に前記車両が追従するように前記車両を制御する軌道追従部とを備える請求項４に記載の移動体挙動予測装置。
8. 前記車両が不安全運手または不動作運転を引き起こすかどうかの確信度に基づいて、前記制御部で用いられる予測挙動を、前記第一予測挙動のみ、前記第二予測挙動のみ、前記第一予測挙動と前記第二予測挙動の荷重平均のいずれかに決定する予測手法決定部を備える請求項４に記載の移動体挙動予測装置。
9. 前記第一予測挙動の重みと前記第二予測挙動の重みを推定する荷重推定部を備え、
   前記制御部は、前記第一予測挙動と前記第二予測挙動との荷重平均に基づいて前記車両を制御する請求項４に記載の移動体挙動予測装置。
10. 前記第一予測挙動および前記第二予測挙動を前記車両の前方のカメラ画像と重ねて表示する表示部を備える請求項４に記載の移動体挙動予測装置。
11. 前記第一予測挙動および前記第二予測挙動を前記車両のフロントガラスに表示する表示部を備える請求項４に記載の移動体挙動予測装置。
12. 教師あり学習に基づいて移動体の第１挙動を予測し、
    強化学習に基づいて移動体の第２挙動を予測する移動体挙動予測方法であって、
    前記予測時において前記第２挙動の頻出度は前記第１挙動の頻出度よりも小さい移動体挙動予測方法。
    
    

Images