JP2022107296A - 車両制御装置、車両制御方法、およびプログラム - Google Patents

Abstract

【課題】将来の状態を考慮した速度制御を行う際に、適切な制約を設定することで好適な解を得ること。【解決手段】状態空間において複数の時点間に生じる行動量を複数の候補の中から選択することで定義される複数の状態パスのそれぞれについて、状態価値を算出する状態価値算出部と、状態価値の高い状態パスに従って車両の将来の速度推移を決定する速度決定部と、を備え、状態価値算出部は、開始時点から目標時点までの間の各時点について、一以上の評価対象量に基づく報酬関数値を算出し、報酬関数値を時系列に合計することで前記状態価値を算出するものであり、複数の要素のうち二以上の要素を軸とする複数の部分空間のうち一部または全部に設定される、状態価値を低下させる第１領域と、報酬関数値を低下させる第２領域とに従って状態価値を算出する、車両制御装置。【選択図】図２

Description

本発明は、車両制御装置、車両制御方法、およびプログラムに関する。

従来、車両を自動的に（Automatedly）制御する技術（自動運転）について実用化が進められている。自動運転における各種の制御を、現在時点の環境に基づくフィードバック制御だけでなく、将来の状態を考慮したモデリングによって行うことについて研究がなされている。特許文献１、２には、マルコフ決定過程を用いたモデリングによって自動運転の行動計画を生成することについて記載されている。

特表２０２０－５１０５７０号公報 国際公開第２０１９／１６７４５７号

車両の速度制御には考慮すべき要素が種々存在し、適切な制約を設定しなければ誤った解が導出される場合がある。また、不要な試行錯誤が発生して処理負荷が過大となることも懸念される。

本発明は、このような事情を考慮してなされたものであり、将来の状態を考慮した速度制御を行う際に、適切な制約を設定することで好適な解を得ることができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る車両制御装置、車両制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る車両制御装置は、時間を含み、車両の移動に関連する複数の要素を軸とする状態空間において、開始時点から目標時点までの間の複数の時点間に生じる行動量を複数の候補の中から選択することで定義される、前記開始時点から前記目標時点までの間の複数の状態パスのそれぞれについて、状態価値を算出する状態価値算出部と、前記状態価値の高い状態パスに従って前記車両の将来の速度推移を決定する速度決定部と、を備え、前記状態価値算出部は、開始時点から目標時点までの間の各時点について、一以上の評価対象量に基づく報酬関数値を算出し、前記報酬関数値を時系列に合計することで前記状態価値を算出するものであり、前記複数の要素のうち二以上の要素を軸とする複数の部分空間のうち一部または全部に設定される、前記状態価値を低下させる第１領域と、前記報酬関数値を低下させる第２領域とに従って前記状態価値を算出する。

（２）：上記（１）の態様において、前記複数の要素は、時間、前記車両の進行方向に関する位置、速度、および加速度のうち一部または全部を含むものである。

（３）：上記（１）または（２）の態様において、前記行動量は、ジャークであるものである。

（４）：上記（１）から（３）のいずれかの態様において、前記一以上の評価対象量は、前記車両の速度、加速度、およびジャークを含むものである。

（５）：上記（１）から（４）のいずれかの態様において、前記車両の周辺状況を認識する認識部を更に備え、前記状態価値算出部は、前記車両の周辺状況に基づいて、前記複数の部分空間のうち一部または全部に、前記第１領域と前記第２領域とのうち一方または双方を設定するものである。

（６）：上記（５）の態様において、前記状態価値算出部は、前記車両の周辺状況に静的目標物が含まれる場合、位置と速度とを軸とする部分空間に前記第１領域と前記第２領域とを設定するものである。

（７）：上記（５）または（６）の態様において、前記状態価値算出部は、前記車両の周辺状況に動的目標物が含まれる場合、位置と時間とを軸とする部分空間に前記第１領域と前記第２領域とを設定するものである。

（８）：上記（５）から（７）のいずれかの態様において、前記状態価値算出部は、前記第１領域と前記第２領域とを互いに隣接させて設定するものである。

（９）：本発明の他の態様に係る車両制御方法は、車両制御装置が、時間を含み、車両の移動に関連する複数の要素を軸とする状態空間において、開始時点から目標時点までの間の複数の時点間に生じる行動量を複数の候補の中から選択することで定義される、前記開始時点から前記目標時点までの間の複数の状態パスのそれぞれについて、状態価値を算出し、前記状態価値の高い状態パスに従って前記車両の将来の速度推移を決定し、前記状態価値を算出する際に、開始時点から目標時点までの間の各時点について、一以上の評価対象量に基づく報酬関数値を算出し、前記報酬関数値を時系列に合計することで前記状態価値を算出し、前記複数の要素のうち二以上の要素を軸とする複数の部分空間のうち一部または全部に設定される、前記状態価値を低下させる第１領域と、前記報酬関数値を低下させる第２領域とに従って前記状態価値を算出するものである。

（１０）：本発明の他の態様に係るプログラムは、コンピュータに、時間を含み、車両の移動に関連する複数の要素を軸とする状態空間において、開始時点から目標時点までの間の複数の時点間に生じる行動量を複数の候補の中から選択することで定義される、前記開始時点から前記目標時点までの間の複数の状態パスのそれぞれについて、状態価値を算出させ、前記状態価値の高い状態パスに従って前記車両の将来の速度推移を決定させるプログラムであって、前記状態価値を算出させる際に、開始時点から目標時点までの間の各時点について、一以上の評価対象量に基づく報酬関数値を算出し、前記報酬関数値を時系列に合計することで前記状態価値を算出させ、前記複数の要素のうち二以上の要素を軸とする複数の部分空間のうち一部または全部に設定される、前記状態価値を低下させる第１領域と、前記報酬関数値を低下させる第２領域とに従って前記状態価値を算出させるものである。

上記（１）～（１０）の態様によれば、将来の状態を考慮した速度制御を行う際に、適切な制約を設定することで好適な解を得ることができる。

実施形態に係る車両制御装置を利用した車両システム１の構成図である。 第１制御部１２０および第２制御部１６０の機能構成図である。 状態パスの定義について説明するための図である。 部分空間制約マップ１４６の第１例を示す図である。 部分空間制約マップ１４６の第２例を示す図である。 状態価値算出部１４２および速度決定部１４４により実行される処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。

［全体構成］
図１は、実施形態に係る車両制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、自車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。自動運転制御装置１００は「車両制御装置」の一例であり、行動計画生成部１４０と第２制御部１６０を合わせたものが「運転制御部」の一例である。

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。行動計画生成部１４０は、状態価値算出部１４２と、速度決定部１４４とを備える。状態価値算出部１４２は、状態パス定義部１４２Ａと、算出部１４２Ｂとを備える。行動計画生成部１４０が参照可能なメモリ領域には、一以上の部分空間制約マップ１４６が格納されている。状態価値算出部１４２、速度決定部１４４、および部分空間制約マップ１４６の内容については後述する。

第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

認識部１３０は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。

第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

図２に戻り、第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［状態価値に基づく速度制御］
以下、状態価値算出部１４２と速度決定部１４４による速度制御について説明する。状態価値算出部１４２と速度決定部１４４は、動的計画法、より具体的にはマルコフ決定過程を用いて自車両Ｍの将来の速度推移（以下、速度プロファイル）を決定する。

状態価値算出部１４２の状態パス定義部１４２Ａは、車両の移動に関連する複数の要素であって、時間を含む複数の要素を軸とする状態空間において、開始時点から目標時点までの間の複数の時点間に生じる行動量を複数の候補の中から選択することで状態パスを定義する。「開始時点」とは、例えば現時点である（制御遅れを考慮して微小時間後の時点でもよい）。「複数の要素」は、例えば、｛時間、進行方向（道路長手方向）に関する位置、速度、加速度｝である。時間以外の要素が複数の要素から除外されてもよいし、別の要素が複数の要素に追加されてもよい。以下、各要素が具体的な値をとることで決定されるものを「状態」と称する。「行動量」は、速度に関する物理量であればよく、例えばジャーク（躍度）である。この処理において、時間は所定幅（例えば１［ｓｅｃ］）刻みで進行する。図３は、状態パスの定義について説明するための図である。状態パス定義部１４２Ａは、例えば、開始時点から目標時点までの間の複数の時点間（１［ｓｅｃ］経過するごと）に生じるジャークの候補を例えば（０．５）、（０．３）、（０．１）、（０）、（－０．１）、（－０．３）、（－０．５）のように複数個用意し、その時点間でジャークの候補から選択した一つのジャークで定ジャーク走行した場合の次の時点の状態を算出する。状態パス定義部１４２Ａは、これを時点が進行するのに応じて波及的に実行し、目標時点（例えば開始時点の数［ｓｅｃ］後～十数［ｓｅｃ］後）まで行う。図中、ＳＰは状態パスのうち一つを表している。状態パスとは、開始時点から順に辿れる状態を、各時点で一つずつ選択することで決定される、一連の状態をいう。ジャークの候補がｋ個用意され、開始時点から目標時点までの時間がｈ［ｓｅｃ］であるとすると、ｋのｈ乗の状態パスが生成される。

算出部１４２Ｂは、状態パスごとに、開始時点から目標時点までの間の各時点について、一以上の評価対象量に基づく報酬関数値を算出する。評価対象量は、車両の移動に関連する物理量であり、例えば、速度、加速度、およびジャークを含む。報酬関数値を算出するための報酬関数ｆ（ｉ，ｔ）は、例えば式（１）で表される。式中、ｉは状態パスの識別情報であり、ｔは時点である。報酬関数ｆ（ｉ，ｔ）は、例えば、原則的に、速度が高いほど高い値を返し、加速度の絶対値が高いほど低い値を返し、ジャークの絶対値が高いほど低い値を返す関数である。速度が高く、加速度やジャークが低いということは、自車両Ｍが不要な加減速をせずに走行できているということを表すので、報酬関数ｆ（ｉ，ｔ）は、そのような場合に高い値（良好であることを示す値）を返すように定義されている。また、報酬関数ｆ（ｉ，ｔ）が出力する値の最小値は、ゼロになるように設定されている。

報酬関数＝ｆ（ｉ，ｔ）｛速度，加速度，ジャーク｝ …（１）

そして、算出部１４２Ｂは、報酬関数値を時系列に合計することで、状態パスｉごとの状態価値ＳＶ（ｉ）を算出する。状態価値は、例えば式（２）で表される。

ＳＶ（ｉ）＝Σ_ｔ＝0 ^ｈｆ（ｉ，ｔ） …（２）

上記の計算において、算出部１４２Ｂは、認識部１３０の認識結果に基づいて部分空間制約マップ１４６を設定し、それを反映させて報酬関数値や状態価値を求める。部分空間制約マップ１４６は、複数の「要素」のうち二以上の要素を軸とする複数の部分空間のうち一部または全部に設定されるものである。算出部１４２Ｂは、部分空間制約マップ１４６に、状態価値ＳＶ（ｉ）を低下させる（例えばゼロにする）禁止領域（第１領域）と、報酬関数値を低下させる（例えばゼロにする）非推奨領域（第２領域）とのうち一方または双方を設定する。

図４は、部分空間制約マップ１４６の第１例を示す図である。この部分空間制約マップ１４６（１）は、静的目標物に対する制約を規定したものであり、位置と速度を軸とした平面で定義されている。図中、Ａ１は禁止領域であり、Ａ２は非推奨領域である。また、Ｖ１は法定速度などの制限速度であり、Ｘ１は「その位置で停止する（速度をゼロにする）べき位置」である。例えば、信号機の手前の停止線の位置などがＸ１として設定される。算出部１４２Ｂは、位置と速度を軸とした平面において速度がＶ１以上の領域を禁止領域Ａ１に設定する。また、算出部１４２Ｂは、想定される最大限の減速をしても位置Ｘ１で停止できない領域を禁止領域Ａ１に設定する。また、算出部１４２Ｂは、禁止領域Ａ１以外の領域において禁止領域Ａ１に近い境界部の領域を、非推奨領域Ａ２に設定する。つまり、禁止領域Ａ１と非推奨領域は隣接している。これらを統合すると、図４に示す部分空間制約マップ１４６（１）となる。禁止領域Ａ１の境界線である直線部Ａ１ａの傾きは、自動運転として許容される最大の減速度に基づいている。非推奨領域Ａ２の境界線である直線部Ａ２ａの傾きは、自動運転として推奨される程度の減速度（最大の減速度よりも絶対値が小さい）に基づいている。

図５は、部分空間制約マップ１４６の第２例を示す図である。この部分空間制約マップ１４６（２）は、動的目標物に対する制約を規定したものであり、時間と位置を軸とした平面で定義されている。部分空間制約マップ１４６（２）が生成されるのは、自車両Ｍが前走車両に追従して走行する場面である。前走車両とは、自車両Ｍと同じ車線上において、自車両Ｍの直前（間に車両が存在しないことを意味する）を自車両Ｍと同じ方向に走行する車両である。算出部１４２Ｂは、前走車両の将来の位置を定速モデル、定加速度モデル、定ジャークモデル、カルマンフィルタ等で予測した上で、将来の前走車両の占める領域にマージン領域を加えた領域を禁止領域Ａ１に、禁止領域Ａ１の境界線Ａ１ｂから、境界線Ａ１ｂを目標車間距離ＴＤだけ平行移動させた線までの領域を非推奨領域Ａ２に設定する。

算出部１４２Ｂは、図４および図５で例示した場面ごとに、道路事象（停止線、車両などの交通参加者、信号の状態）に応じてどのように禁止領域Ａ１や非推奨領域Ａ２を定義するかを決定するためのテーブル情報を保有しており、行動計画生成部１４０が起動するイベントに応じてテーブル情報から禁止領域Ａ１や非推奨領域Ａ２の定義規則を取得し、禁止領域Ａ１や非推奨領域Ａ２を定義する。

算出部１４２Ｂは、禁止領域Ａ１を一度でも通る状態パスｉについて、状態価値ＳＶ（ｉ）をゼロ（最低値）に固定する。また、算出部１４２Ｂは、非推奨領域Ａ２に存在する状態（ｉ，ｔ）について、その状態に関する報酬関数ｆ（ｉ，ｔ）をゼロにする。これによって状態価値ＳＶ（ｉ）も低下するが、状態価値ＳＶ（ｉ）がゼロになる訳では無く、非推奨領域Ａ２に状態（ｉ，ｔ）が存在する状態パスｉが選択される可能性もある。なお、部分空間制約マップ１４６は、平面で定義されるのに限らず、三次元以上の空間で定義されてもよい。

速度決定部１４４は、部分空間制約マップ１４６を反映させて計算した状態価値ＳＶ（ｉ）の高い状態パスの各時点におけるジャークに従って、自車両Ｍの将来の速度を決定する。これによって、無駄な加減速が抑制されると共に、場面に応じた禁止領域Ａ１を通らず、非推奨領域Ａ２をなるべく通らないような速度プロファイルが決定される。

図６は、状態価値算出部１４２および速度決定部１４４により実行される処理の流れの一例を示すフローチャートである。まず、状態価値算出部１４２は、認識部１３０から自車両Ｍの周辺状況を取得し（ステップＳ１００）、周辺状況に応じた部分空間制約マップ１４６を生成する（ステップＳ１０２）。

次に、状態価値算出部１４２は、前述した手法で複数の状態パスを生成し（ステップＳ１０４）、状態パスごとに、部分空間制約マップ１４６に従って報酬関数ｆ（ｉ，ｔ）を算出し、次いで状態価値ＳＶ（ｉ）を算出する（ステップＳ１０６）。そして、速度決定部１４４が、状態価値ＳＶ（ｉ）の高い状態パスの各時点におけるジャークに従って、自車両Ｍの速度プロファイルを決定する（ステップＳ１０８）。

以上説明した実施形態によれば、将来の状態を考慮した速度制御を行う際に、適切な制約を設定することで好適な解を得ることができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
時間を含み、車両の移動に関連する複数の要素を軸とする状態空間において、開始時点から目標時点までの間の複数の時点間に生じる行動量を複数の候補の中から選択することで定義される、前記開始時点から前記目標時点までの間の複数の状態パスのそれぞれについて、状態価値を算出し、
前記状態価値の高い状態パスに従って前記車両の将来の速度推移を決定し、
前記状態価値を算出する際に、
開始時点から目標時点までの間の各時点について、一以上の評価対象量に基づく報酬関数値を算出し、前記報酬関数値を時系列に合計することで前記状態価値を算出し、
前記複数の要素のうち二以上の要素を軸とする複数の部分空間のうち一部または全部に設定される、前記状態価値を低下させる第１領域と、前記報酬関数値を低下させる第２領域とに従って前記状態価値を算出する、
ように構成されている、車両制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１００ 自動運転制御装置
１３０ 認識部
１４０ 行動計画生成部
１４２ 状態価値算出部
１４２Ａ 状態パス定義部
１４２Ｂ 算出部
１４４ 速度決定部
１４６ 部分空間制約マップ

Claims (10)

1. 時間を含み、車両の移動に関連する複数の要素を軸とする状態空間において、開始時点から目標時点までの間の複数の時点間に生じる行動量を複数の候補の中から選択することで定義される、前記開始時点から前記目標時点までの間の複数の状態パスのそれぞれについて、状態価値を算出する状態価値算出部と、
   前記状態価値の高い状態パスに従って前記車両の将来の速度推移を決定する速度決定部と、
   を備え、
   前記状態価値算出部は、
   開始時点から目標時点までの間の各時点について、一以上の評価対象量に基づく報酬関数値を算出し、前記報酬関数値を時系列に合計することで前記状態価値を算出するものであり、
   前記複数の要素のうち二以上の要素を軸とする複数の部分空間のうち一部または全部に設定される、前記状態価値を低下させる第１領域と、前記報酬関数値を低下させる第２領域とに従って前記状態価値を算出する、
   車両制御装置。
2. 前記複数の要素は、時間、前記車両の進行方向に関する位置、速度、および加速度のうち一部または全部を含む、
   請求項１記載の車両制御装置。
3. 前記行動量は、ジャークである、
   請求項１または２記載の車両制御装置。
4. 前記一以上の評価対象量は、前記車両の速度、加速度、およびジャークを含む、
   請求項１から３のうちいずれか１項記載の車両制御装置。
5. 前記車両の周辺状況を認識する認識部を更に備え、
   前記状態価値算出部は、前記車両の周辺状況に基づいて、前記複数の部分空間のうち一部または全部に、前記第１領域と前記第２領域とのうち一方または双方を設定する、
   請求項１から４のうちいずれか１項記載の車両制御装置。
6. 前記状態価値算出部は、前記車両の周辺状況に静的目標物が含まれる場合、位置と速度とを軸とする部分空間に前記第１領域と前記第２領域とを設定する、
   請求項５記載の車両制御装置。
7. 前記状態価値算出部は、前記車両の周辺状況に動的目標物が含まれる場合、位置と時間とを軸とする部分空間に前記第１領域と前記第２領域とを設定する、
   請求項５または６記載の車両制御装置。
8. 前記状態価値算出部は、前記第１領域と前記第２領域とを互いに隣接させて設定する、
   請求項５から７のうちいずれか１項記載の車両制御装置。
9. 車両制御装置が、
   時間を含み、車両の移動に関連する複数の要素を軸とする状態空間において、開始時点から目標時点までの間の複数の時点間に生じる行動量を複数の候補の中から選択することで定義される、前記開始時点から前記目標時点までの間の複数の状態パスのそれぞれについて、状態価値を算出し、
   前記状態価値の高い状態パスに従って前記車両の将来の速度推移を決定し、
   前記状態価値を算出する際に、
   開始時点から目標時点までの間の各時点について、一以上の評価対象量に基づく報酬関数値を算出し、前記報酬関数値を時系列に合計することで前記状態価値を算出し、
   前記複数の要素のうち二以上の要素を軸とする複数の部分空間のうち一部または全部に設定される、前記状態価値を低下させる第１領域と、前記報酬関数値を低下させる第２領域とに従って前記状態価値を算出する、
   車両制御方法。
10. コンピュータに、
    時間を含み、車両の移動に関連する複数の要素を軸とする状態空間において、開始時点から目標時点までの間の複数の時点間に生じる行動量を複数の候補の中から選択することで定義される、前記開始時点から前記目標時点までの間の複数の状態パスのそれぞれについて、状態価値を算出させ、
    前記状態価値の高い状態パスに従って前記車両の将来の速度推移を決定させるプログラムであって、
    前記状態価値を算出させる際に、
    開始時点から目標時点までの間の各時点について、一以上の評価対象量に基づく報酬関数値を算出し、前記報酬関数値を時系列に合計することで前記状態価値を算出させ、
    前記複数の要素のうち二以上の要素を軸とする複数の部分空間のうち一部または全部に設定される、前記状態価値を低下させる第１領域と、前記報酬関数値を低下させる第２領域とに従って前記状態価値を算出させる、
    プログラム。

Images