JP2021149464A - 車両制御装置、車両制御方法、およびプログラム - Google Patents

Abstract

【課題】より周辺状況に応じた車両の制御を行うこと。【解決手段】車両制御装置は、車両の周辺を撮像する撮像部により撮像された画像に基づいて、物体、前記物体の属性、前記物体に影響する風の強さおよび向きを特定する特定部と、前記特定部により特定された前記物体の属性と、前記風の強さおよび向きとに基づいて、前記物体にリスク領域を設定する設定部と、前記設定部により設定されたリスク領域に基づいて前記車両の速度および操舵を制御する制御部とを備える。【選択図】図１

Description

本発明は、車両制御装置、車両制御方法、およびプログラムに関する。

従来、交通標識の周辺における強風が推定された場合、警報を行う走行制御装置が開示されている（例えば、特許文献１参照）。この走行制御装置は、気象情報データベースから風速情報を取得する。

特開２０１８−０９１７９４号公報 特開２０１８−２０５９０９号公報

しかしながら、上記の装置は、車両の周辺状況に応じて適切に車両の制御を行うことができない場合がある。

本発明は、このような事情を考慮してなされたものであり、より周辺状況に応じた車両の制御を行うことができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る車両制御装置、車両制御方法、およびプログラムは、以下の構成を採用した。
（１）：車両制御装置は、車両の周辺を撮像する撮像部により撮像された画像に基づいて、物体、前記物体の属性、前記物体に影響する風の強さおよび向きを特定する特定部と、前記特定部により特定された前記物体の属性と、前記風の強さおよび向きとに基づいて、前記物体にリスク領域を設定する設定部と、前記設定部により設定されたリスク領域に基づいて前記車両の速度および操舵を制御する制御部と、を備える車両制御装置である。

（２）：上記（１）の態様において、前記設定部は、前記風の影響に応じて、前記物体の風下のリスク領域を設定する。

（３）：上記（２）の態様において、前記設定部は、前記物体に対する前記風の影響が大きいほど、前記物体の風下のリスク領域を大きく、または前記風下のリスク領域のリスクポテンシャルを高く設定する。

（４）：上記（１）から（３）のいずれかの態様において、前記車両が存在する周辺の風の強さおよび向きを示す気象情報を取得する取得部を更に備え、前記設定部は、前記気象情報を更に加味して前記リスク領域を設定する。

（５）：上記（１）から（４）のいずれかの態様において、前記特定部は、前記物体の特徴に基づいて、前記物体が風の影響を受ける影響度を特定し、前記設定部は、前記特定部により特定された影響度を更に加味して前記リスク領域を設定する。

（６）：上記（５）の態様において、前記物体の特徴は、前記物体の重さ、または大きさの一方または双方を含む。

（７）：上記（１）から（６）のいずれかの態様において、前記特定部は、画像に含まれる人物の衣類、人物の髪、道路周辺の植物、または道路周辺の落下物のうちいずれかの状態に基づいて、風の強さおよび向きを特定する。

（８）：この発明の一態様に係る車両制御方法は、コンピュータが、車両の周辺を撮像する撮像部により撮像された画像に基づいて、物体、前記物体の属性、前記物体に影響する風の強さおよび向きを特定し、前記特定された前記物体の属性と、前記風の強さおよび向きとに基づいて、前記物体にリスク領域を設定し、前記設定されたリスク領域に基づいて前記車両の速度および操舵を制御する車両制御方法である。

（９）：この発明の一態様に係るプログラムは、コンピュータに、車両の周辺を撮像する撮像部により撮像された画像に基づいて、物体、前記物体の属性、前記物体に影響する風の強さおよび向きを特定させ、前記特定された前記物体の属性と、前記風の強さおよび向きとに基づいて、前記物体にリスク領域を設定させ、前記設定されたリスク領域に基づいて前記車両の速度および操舵を制御させるプログラムである。

（１）〜（８）によれば、車両制御装置が、特定部により特定された物体の属性および風の強さおよび向きに基づいて、物体にリスク領域を設定し、設定したリスク領域に基づいて車両の速度および操舵を制御することにより、より周辺状況に応じた車両の制御を行うことができる。更に、車両制御装置は、画像を用いることで、より迅速かつ簡便に風の強さおよび向きを特定することができる。

（４）によれば、車両制御装置は、更に気象情報を加味することで、より環境に応じた適切なリスク領域を設定することができる。

（５）または（６）によれば、車両制御装置は、更に物体の特徴を加味して、より物体と風の影響に適したリスク領域を設定することができる。

実施形態に係る車両制御装置を利用した車両システム１の構成図である。 第１制御部１２０および第２制御部１６０の機能構成図である。 画像に基づいて認識された物体の一例を示す図である。 属性情報１８２の内容の一例を示す図である。 学習済モデル１８４に入力された画像と、学習済モデル１８４が出力する情報との一例を示す図である。 学習済モデル１８４に入力された時系列データと、学習済モデル１８４が出力する情報との一例を示す図である。 特徴情報１８６の内容の一例を示す図である。 物体の属性に基づいて生成されたリスク領域の一例を示す図である。 風の強さおよび向きと、物体の特徴に基づく影響度とに基づいて設定されたリスク領域の一例を示す図である。 風の強さおよび向きと、物体の特徴とが加味されていない場合における物体のそれぞれに対して設定されたリスク領域の一例を示す図である。 風の強さおよび向きと、物体の特徴とが加味された場合における物体のそれぞれに対して設定されたリスク領域の一例を示す図である。 自動運転制御装置１００により実行される処理の流れの一例を示すフローチャートである。 風の強さ向きが加味されていない場合のリスクポテンシャルを説明するための図である。 風の強さ向きが加味された場合のリスクポテンシャルを説明するための図である。 実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。

［全体構成］
図１は、実施形態に係る車両制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、自車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類（属性）、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０と、記憶部１８０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。自動運転制御装置１００は「車両制御装置」の一例である。

記憶部１８０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。記憶部１８０には、例えば、属性情報１８２、学習済モデル１８４、および特徴情報１８６が記憶されている。これらの情報の詳細については後述する。

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、情報取得部１２２と、認識部１３０と、行動計画生成部１４０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

情報取得部１２２は、車両Ｍが存在する周辺の風の強さおよび向きを示す気象情報を取得する。情報取得部１２２は、通信装置２０を介して、気象情報提供サーバ装置（不図示）から車両Ｍの周辺の気象情報を取得する。気象情報には、風の強さ（風速）および向きが含まれる。

認識部１３０は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

認識部１３０は、例えば、第１処理部１３２と、第２処理部１３４とを備える。第１処理部１３２は、物体認識装置１６が認識した物体の位置や属性、移動方向を取得する。なお、第１処理部１３２が、車両Ｍの周辺を撮像する撮像部により撮像された画像に基づいて、物体を認識し、認識した物体の位置や、属性、移動方向を特定（推定）してもよい。第２処理部１３４は、車両Ｍの周辺を撮像する撮像部により撮像された画像に基づいて、物体に影響する風の強さおよび向きを特定（推定）する。これらの処理の詳細については後述する。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。

行動計画生成部１４０は、設定部１４２を備える。設定部１４２は、第１処理部１３２により推定された物体の属性および風の強さおよび向きに基づいて、物体にリスク領域を設定する。

「リスク領域」とは、リスクポテンシャルが設定される領域である。「リスクポテンシャル」とは、リスクポテンシャルが設定された領域に車両Ｍが進入した場合のリスクの高さを示す指標値である。リスク領域は、所定の大きさの指標値（ゼロを超える指標値）であるリスクポテンシャルが設定された領域である。「物体」は、車両Ｍの走行に影響を及ぼす可能性が存在する物体であって、車両、歩行者、二輪車、障害物等の種々の動体を含む。

第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

図２に戻り、第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［リスク領域を設定する処理］
設定部１４２は、物体の属性および風の強さおよび向きに基づいて、物体にリスク領域を設定する。設定部１４２は、歩行者の衣類や、歩行者の髪、道路周辺の植物、道路周辺に存在しているビニール袋などの物体が受けていると推定される風の強さ（例えば風速）や向きに基づいてリスク領域を設定する。以下、この処理について説明する。

（物体の属性に基づいてリスク領域を生成する処理）
設定部１４２は、物体の属性に基づいて物体にリスク領域を設定する。図３は、画像に基づいて認識された物体の一例を示す図である。第１処理部１３２は、物体認識装置１６により特定された物体の位置、物体の向き（物体の移動方向）、および属性を取得する。例えば、図３の例では、第１処理部１３２は、位置Ｐ１に歩行者が存在し、その歩行者が手前方向（図３の矢印方向）に向かっていることを特定する。

設定部１４２は、属性情報１８２を参照して、第１処理部１３２により提供された物体の位置および属性に基づいて、歩行者に対して設定するリスク領域を生成する。図４は、属性情報１８２の内容の一例を示す図である。属性情報１８２は、物体の属性に対してリスク領域が関連付けられた情報である。図４の例では、物体の属性は、大人や、子供、自転車、普通自動車、トラックなどである。リスク領域は、属性情報１８２において関連付けられた属性に応じたリスク領域である。例えば、単位時間の移動量が大きい、注視の度合が他よりも高いと推定される属性の物体に対しては、より大きいリスク領域が関連付けられている。また、物体の属性に関連付けられたリスク領域は、物体が進行する方向が加味されている。例えば、物体が進行する方向のリスク領域は、進行する方向とは反対の方向のリスク領域よりも小さく設定されている。

（物体に影響する風の強さおよび向き推定する処理（その１））
第１処理部１３２は、物体認識装置１６により提供された画像に基づいて、物体に影響する風の強さおよび向きを推定する。第１処理部１３２は、例えば、画像を学習済モデル１８４に入力し、学習済モデル１８４が出力した結果に含まれ風の強さおよび向きを取得する。これにより、第１処理部１３２は、物体に影響する風の強さおよび向きを推定する。

図５は、学習済モデル１８４に入力された画像と、学習済モデル１８４が出力する情報との一例を示す図である。学習済モデル１８４は、機械学習やニューラルネットワークが利用されたモデルである。学習済モデル１８４は、学習データが学習され、画像を入力すると、風の強さと向きの情報を出力するモデルである。学習データは、風景が撮像された画像と、その風景の環境において実際に吹いていた風の強さと向きとを含むが情報である。学習済モデル１８４は、風景が撮像された画像を入力すると、その風景の環境において実際に吹いていた風の強さと向きとを示す情報を出力するように学習されたモデルである。

例えば、学習済モデル１８４に木の枝が風で煽られた風景の第１画像が入力されると、学習済モデル１８４は、その風景の風の強さと向きとを示す情報を出力する。例えば、学習済モデル１８４に木の枝が風で煽られていない風景の第２画像が入力されると、学習済モデル１８４は、その風景の風の強さと向きとを示す情報を出力する。第１画像が入力された場合に出力される風の強さは、例えば、第２画像が入力された場合に出力される風の強さよりも弱い。

学習済モデル１８４に第３画像−第６画像が入力されると、学習済モデル１８４は、その画像の風景の環境の風の強さと向きとを示す情報を出力する。第３画像が入力された場合に出力される風の強さは、例えば、第４画像が入力された場合に出力される風の強さよりも弱い。第３画像は、ゴミが道路の片側に滞留しているような風景の画像である。第４画像は、ゴミが道路の片側に滞留していていないような風景の画像である。

第５画像が入力された場合に出力される風の強さは、例えば、第６画像が入力された場合に出力される風の強さよりも弱い。第５画像は、歩行者の髪の毛がなびいているような風景の画像である。第６画像は、歩行者の髪の毛がなびいていないような風景の画像である。

また、学習済モデル１８４は、ＲＮＮ（Recurrent Neural Network）などの時系列データが入力されると、時系列データに応じた出力結果を出力するモデルであってもよい。この場合、学習データは、時系列ごとに風景が撮像された画像と、その風景の環境において実際に吹いていた風の強さと向きとを含む情報である。

図６は、学習済モデル１８４に入力された時系列データと、学習済モデル１８４が出力する情報との一例を示す図である。例えば、時刻ｔにおいて撮像された第７画像が学習済モデル１８４に入力され、更に時刻ｔ＋１において撮像された第８画像が学習済モデル１８４に入力された後、学習済モデル１８４は、風の強さと向きとを示す情報を出力する。第７画像は、ビニール袋が道路の所定の位置に落ちている画像である。第８画像は、ビニール袋が風によって道路の所定の位置よりも手前の位置に移動したときに撮像された画像である。学習済モデル１８４に第７画像および第８画像が入力されると、学習済モデル１８４は風の強さおよび向きを出力する。

上記のように第１処理部１３２は、物体認識装置１６により提供された画像に基づいて、物体に影響する風の強さおよび向きを推定（特定）する。

第１処理部１３２が、学習済モデル１８４を用いて風の強さおよび向きを推定する処理は、「画像に含まれる人物の衣類、人物の髪、道路周辺の植物、または道路周辺の落下物のうちいずれかの状態（変化度合）に基づいて、風の強さおよび向きを推定する」処理の一例である。学習済モデル１８４の学習段階において、画像に含まれる人物の衣類、人物の髪、道路周辺の植物、または道路周辺の落下物のうちいずれかの状態と、状態ごとの風の強さおよび向きを示す正解データとが学習データとして利用され、学習されている。学習済モデル１８４は、画像に含まれる人物の衣類・・・落下物等のうちいずれかの状態に基づいて、風の強さおよび方向を示す情報を出力している。

また、第１処理部１３２は、時系列画像における対象の物体の状態の変化に応じて風の強さおよび向きを推定してもよい。第１処理部１３２は、例えば、前述した図６のように時系列画像におけるビニール袋の位置の変化と、変化に関連付けられた風の強さおよび向きを示す情報とに基づいて、物体に向かって吹いている風の強さおよび向きを推定してもよい。例えば、第１処理部１３２は、物体の属性と、その物体の変化パターンと、風の強さおよび向きとが関連付けられた情報を参照して、風の強さおよび向きを推定してもよい。

（物体に影響する風の強さおよび向き推定する処理（その２））
第１処理部１３２は、情報取得部１２２が取得した気象情報を加味して、風の強さおよび向きを推定してもよい。例えば、第１処理部１３２は、対象の環境における気象情報の風の強さおよび向きと、学習済モデル１８４により出力された風の強さおよび向きとを統計的に処理したり、所定の関数に適用したりして風の強さと向きとを取得してもよい。

（物体が風の影響を受ける影響度を推定する処理）
第２処理部１３４は、画像に基づいて、物体が風の影響を受ける影響度を推定する。第２処理部１３４は、特徴情報１８６を参照して、上記の影響度を推定する。図７は、特徴情報１８６の内容の一例を示す図である。特徴情報１８６は、物体の特徴と、影響度と、加算度とが互いに関連付けられた情報である。物体の特徴とは、物体の高さや、物体の大きさ、物体の面積、物体の重さなどである。第２処理部１３４は、画像に基づいて、物体の特徴を推定してもよいし、学習済モデルや、予め用意された物体のテンプレートを用いたパターンマッチング等の手法を用いて物体の特徴を推定してもよい。学習済モデル１８４は、物体が撮像された画像が入力されると、物体の特徴を出力するモデルである。

例えば、物体が風を受けたときに物体が風の影響で位置が変化する傾向であったり、移動する傾向であったりするほど、影響度が大きくなるように特徴情報１８６において規定されている。また、加算度は、リスク領域に対して影響度に応じて加算されるリスク領域の大きさである。例えば、影響度が大きいほど、加算度が大きくなるように、特徴情報１８６において規定されている。

（リスク領域を設定する処理）
設定部１４２は、風の強さおよび向きと、物体の特徴に基づく影響度とに基づいて、物体の属性に基づいて生成されたリスク領域を補正して、行動計画を生成する際に参照するリスク領域を設定する。

図８は、物体の属性に基づいて生成されたリスク領域の一例を示す図である。設定部１４２は、物体の属性と、その物体が進行する方向とに基づいて、リスク領域ＡＲを生成する。

図９は、風の強さおよび向きと、物体の特徴に基づく影響度とに基づいて設定されたリスク領域の一例を示す図である。例えば、歩行者のＰＤの左方向から風が吹いている場合、リスク領域ＡＲにリスク領域αを付加したリスク領域を設定する。リスク領域αは、歩行者の右側の前方向に付加された、風の強さおよび物体の特徴に応じた領域である。

また、道路（車道および歩道）に複数の物体が存在している場合、設定部１４２は、それらの物体のそれぞれに対して風の強さおよび向きと、物体の特徴とを加味したリスク領域を設定する。図１０は、風の強さおよび向きと、物体の特徴とが加味されていない場合における物体のそれぞれに対して設定されたリスク領域の一例を示す図である。仮に図１０の状況であれば、車両Ｍは、リスク領域を避けて道路を進行する行動計画を生成する。

図１１は、風の強さおよび向きと、物体の特徴とが加味された場合における物体のそれぞれに対して設定されたリスク領域の一例を示す図である。風や特徴が加味された場合、風下にリスク領域が拡大する。図１１の状況のようにリスク領域が拡大したため、リスク領域を避けて車両Ｍが進行するスペースが存在しなくなっている。この場合、車両Ｍはリスク領域に進入しないように所定の位置で停車する。

上記のように、自動運転制御装置１００は、風の影響や、物体の特徴を加味して、リスク領域を設定することとで、リスク領域を精度よく設定することができる。更に、自動運転制御装置１００は、設定したリスク領域に基づいて、車両Ｍを制御することにより、より周辺状況に応じた適切な走行を実現することができる。

［フローチャート］
図１２は、自動運転制御装置１００により実行される処理の流れの一例を示すフローチャートである。本処理は所定周期で実行される。

まず、自動運転制御装置１００の物体認識装置１６が、カメラ１０により撮像された画像を取得する（ステップＳ１００）。次に、物体認識装置１６は、取得した画像に含まれる物体の位置、属性、および向き（移動方向）を認識する（ステップＳ１０２）。次に、第１処理部１３２が、物体認識装置１６が認識した情報（物体情報）を設定部１４２に提供する（ステップＳ１０４）。設定部１４２は、ステップＳ１０４で提供された情報（物体情報）と、属性情報１８２とに基づいて、リスク領域を生成する（ステップＳ１０６）。

次に、第２処理部１３４が、カメラ１０により撮像された画像に基づいて、風の強さおよび向きを取得する（ステップＳ１０８）。このとき、第２処理部１３４は、気象情報を参照して風の強さおよび向きを加味してもよい。

次に、第２処理部１３４は、物体の特徴に基づいて、物体が受ける風の影響度を取得する（ステップＳ１１０）。次に、設定部１４２は、風の強さ、風の向き、および影響度に基づいて、風下にリスク領域を拡大したリスク領域を設定する（ステップＳ１１２）。

次に、行動計画生成部１４０が、ステップＳ１１２で設定したリスク領域に基づいて、行動計画を生成する（ステップＳ１１４）。車両Ｍは、生成された行動計画に基づいて走行したり、停車したりする。これにより、本フローチャートの１ルーチンの処理が終了する。

以上説明した第１実施形態によれば、自動運転制御装置１００は、物体の属性、風の強さ、および向きに基づいて設定し、設定したリスク領域に基づいて車両Ｍを制御することにより、より周辺状況に応じた車両の制御を行うことができる。

＜第２実施形態＞
以下、第２実施形態について説明する。第１実施形態では、設定部１４２は、風の強さおよび向きに応じてリスク領域を拡大するものとした。これに対して第２実施形態では、リスク領域は維持または拡大されて、リスク領域におけるリスクポテンシャルが、風の強さおよび向きに応じて変更される。以下、第１実施形態との相違点を中心に説明する。

図１３は、風の強さ向きが加味されていない場合のリスクポテンシャルを説明するための図である。図１３の例では、領域Ｌのリスクポテンシャルを示している。歩行者ＰＤから所定距離以内の領域では、リスクポテンシャルはリスクポテンシャルＰＯ１であり、所定距離以内でない領域では、リスクポテンシャルはリスクポテンシャルＰＯ１よりも小さい。

図１４は、風の強さ向きが加味された場合のリスクポテンシャルを説明するための図である。図１４の例では、領域Ｌのリスクポテンシャルを示している。歩行者ＰＤから所定距離以内の領域および風下の領域では、リスクポテンシャルはリスクポテンシャルＰＯ１であり、上記の領域以外の領域では、リスクポテンシャルはリスクポテンシャルＰＯ１よりも小さい。このように、設定部１４２は、風下のリスク領域のリスクポテンシャルを、風の影響を考慮しない場合のリスクポテンシャルよりも高く設定する。例えば、車両Ｍは、リスクポテンシャルが閾値以上の領域に進入することを回避したり、閾値以上の領域に進入することを回避できない場合、徐行や所定速度以下でより注意深く進入したりする。

以上説明した第２実施形態によれば、設定部１４２が、物体に対する風の影響が大きいほど風下のリスク領域のリスクポテンシャルを高く設定することにより、第１実施形態と同様の効果を奏する。

［ハードウェア構成］
図１５は、実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置１００は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）１００−３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００−４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、自動運転制御装置１００以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、第１制御部１２０、第２制御部１６０、およびこれらに含まれる機能部のうち一部または全部が実現される。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
車両の周辺を撮像する撮像部により撮像された画像に基づいて、物体、前記物体の属性、前記物体に影響する風の強さおよび向きを推定し、
前記推定された前記物体の属性と、前記風の強さおよび向きとに基づいて、前記物体にリスク領域を設定し、
前記設定されたリスク領域に基づいて前記車両の速度および操舵を制御する、ように構成されている、車両制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１‥車両システム、１００‥自動運転制御装置、１２０‥第１制御部、１３０‥認識部、１３２‥第１処理部、１３４‥第２処理部、１４０‥行動計画生成部、１４２‥設定部、１６０‥第２制御部

Claims (9)

1. 車両の周辺を撮像する撮像部により撮像された画像に基づいて、物体、前記物体の属性、前記物体に影響する風の強さおよび向きを特定する特定部と、
   前記特定部により特定された前記物体の属性と、前記風の強さおよび向きとに基づいて、前記物体にリスク領域を設定する設定部と、
   前記設定部により設定されたリスク領域に基づいて前記車両の速度および操舵を制御する制御部と、
   を備える車両制御装置。
2. 前記設定部は、前記風の影響に応じて、前記物体の風下のリスク領域を設定する、
   請求項１に記載の車両制御装置。
3. 前記設定部は、前記物体に対する前記風の影響が大きいほど、前記物体の風下のリスク領域を大きく、または前記風下のリスク領域のリスクポテンシャルを高く設定する、
   請求項２に記載の車両制御装置。
4. 前記車両が存在する周辺の風の強さおよび向きを示す気象情報を取得する取得部を更に備え、
   前記設定部は、前記気象情報を更に加味して前記リスク領域を設定する、
   請求項１から３のうちいずれか１項に記載に記載の車両制御装置。
5. 前記特定部は、前記物体の特徴に基づいて、前記物体が風の影響を受ける影響度を特定し、
   前記設定部は、前記特定部により特定された影響度を更に加味して前記リスク領域を設定する、
   請求項１から４のうちいずれか１項に記載の車両制御装置。
6. 前記物体の特徴は、前記物体の重さ、または大きさの一方または双方を含む、
   請求項５に記載の車両制御装置。
7. 前記特定部は、画像に含まれる人物の衣類、人物の髪、道路周辺の植物、または道路周辺の落下物のうちいずれかの状態に基づいて、風の強さおよび向きを特定する、
   請求項１から６のうちいずれか１項に記載に記載の車両制御装置。
8. コンピュータが、
   車両の周辺を撮像する撮像部により撮像された画像に基づいて、物体、前記物体の属性、前記物体に影響する風の強さおよび向きを特定し、
   前記特定された前記物体の属性と、前記風の強さおよび向きとに基づいて、前記物体にリスク領域を設定し、
   前記設定されたリスク領域に基づいて前記車両の速度および操舵を制御する、
   車両制御方法。
9. コンピュータに、
   車両の周辺を撮像する撮像部により撮像された画像に基づいて、物体、前記物体の属性、前記物体に影響する風の強さおよび向きを特定させ、
   前記特定された前記物体の属性と、前記風の強さおよび向きとに基づいて、前記物体にリスク領域を設定させ、
   前記設定されたリスク領域に基づいて前記車両の速度および操舵を制御させる、
   プログラム。

Images