JP2023146807A - 報知制御方法、報知制御装置、及びプログラム - Google Patents

Abstract

【課題】走行中の車両の乗員に、車両の乗車を楽しんでもらうための情報を十分に提供することができる報知制御方法、報知制御装置、及びプログラムを提供する。
【解決手段】報知制御方法は、報知制御装置のコンピュータが、移動体の周囲に対象物が存在することの第１情報を取得し、前記移動体のユーザの前記対象物に対する方向を推定し、前記移動体に対して行われる運転支援の支援態様の第２情報を取得し、前記ユーザの方向と前記移動体の進行方向が一致するかを判定し、前記ユーザの方向と前記移動体の進行方向が一致し、前記運転支援の支援態様が所定の態様である場合に、前記対象物の存在を前記ユーザに向けて報知部により報知させる、報知制御方法である。
【選択図】図１

Description

本発明は、報知制御方法、報知制御装置、及びプログラムに関する。

例えば、観光地などを訪れた際に、有名な建築物など（以下、対象物）を車窓から眺めて楽しむことがある。従来、車両の乗員が視線を大きく移動させることなく、車両の周囲における対象物の見掛け上の位置を確実に乗員に知らせることができる車両用情報提供装置がある（例えば、特許文献１参照）。この車両用情報提供装置は、車両の走行中、乗員が設定した対象物を乗員が視認可能にあると判定した場合に、対象物を示す画像情報を乗員が視認している現実の風景に重畳させて表示するものである。この場合、乗員は例えば進行方向を見ながら重畳表示される情報により、対象物の位置を推定することができる。

特開２００５－１０６６５０号公報

上記の従来技術では、乗員は、予め登録した対象物について、重畳された情報を得ることができる。しかし、予め登録していない対象物について、重畳された情報を得ることができない。このため、走行中の車両の乗員に、周囲の対象物や景色を案内して、車両の乗車を楽しんでもらうための情報が十分ではない。

本発明は、このような事情を考慮してなされたものであり、走行中の車両の乗員に、車両の乗車を楽しんでもらうための情報を十分に提供することができる報知制御方法、報知制御装置、及びプログラムを提供することを目的の一つとする。

この発明に係る報知制御方法、報知制御装置、及びプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る報知制御方法は、報知制御装置のコンピュータが、移動体の周囲に対象物が存在することの第１情報を取得し、前記移動体のユーザの前記対象物に対する方向を推定し、前記移動体に対して行われる運転支援の支援態様の第２情報を取得し、前記ユーザの方向と前記移動体の進行方向が一致するか否かを判定し、前記ユーザの方向と前記移動体の進行方向が一致しないと判定され、前記運転支援の支援態様が所定の態様である場合に、前記対象物の存在を知らせる情報を前記ユーザに向けて報知部により報知させる、報知制御方法である。

（２）：上記（１）の態様において、前記コンピュータが、前記第２情報として、前記運転支援の支援態様として、支援の度合いが高いほど高く設定される運転支援レベルを含む情報を取得し、前記コンピュータが、前記第２情報が示す運転支援レベルに応じて許可方向範囲を設定し、設定した前記許可方向範囲に前記ユーザの方向が含まれる場合に、前記対象物の存在を知らせる情報を前記報知部に報知させる、ものである。

（３）：上記（１）または（２）の態様において、前記報知部は、音声出力装置を含み、前記コンピュータが、前記音声出力装置に対して、前記対象物の方向における任意の位置に音像を定位させる、ものである。

（４）：この発明の一態様に係る報知制御装置は、移動体の周囲に対象物が存在することの第１情報を取得する第１取得部と、前記移動体のユーザの前記対象物に対する方向を推定する推定部と、前記移動体に対して行われる運転支援の支援態様の第２情報を取得する第２取得部と、前記ユーザの方向と前記移動体の進行方向が一致するか否かを判定する判定部と、前記ユーザの方向と前記移動体の進行方向が一致しないと判定され、前記運転支援の支援態様が所定の態様である場合に、前記対象物の存在を知らせる情報を前記ユーザに向けて報知部に報知させる報知制御部と、を備える、報知制御装置である。

（５）：この発明の一態様に係るプログラムは、報知制御装置のコンピュータに、移動体の周囲に対象物が存在することの第１情報を取得させ、前記移動体のユーザの前記対象物に対する方向を推定させ、前記移動体に対して行われる運転支援の支援態様の第２情報を取得させ、前記ユーザの方向と前記移動体の進行方向が一致するか否かを判定させ、前記ユーザの方向と前記移動体の進行方向が一致しないと判定され、前記運転支援の支援態様が所定の態様である場合に、前記対象物の存在を知らせる情報を前記ユーザに向けて報知部により報知させることを実行させる、プログラムである。

（１）～（５）の態様によれば、走行中の車両の乗員に、車両の乗車を楽しんでもらうための情報を十分に提供することができる。

実施形態に係る報知制御装置を利用した車両システム１の構成図である。 自車両Ｍの車内の様子を模式的に表す図である。 自車両Ｍの車内の様子を模式的に表す図である。 第１制御部１２０および第２制御部１６０の機能構成図である。 運転モードと自車両Ｍの制御状態、およびタスクの対応関係の一例を示す図である。 運転支援レベルと許可方向範囲の関係を示す説明図である。 実施形態の報知制御装置２００による一連の処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の報知制御方法、報知制御装置、及びプログラムの実施形態について説明する。

［全体構成］
図１は、実施形態に係る報知制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両（以下、自車両Ｍ）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、ドライバモニタカメラ７０と、車両周辺カメラ７２と、運転操作子８０と、車載制御装置９０と、走行駆動力出力装置３００と、ブレーキ装置３１０と、ステアリング装置３２０とを備える。車載制御装置９０は、例えば、自動運転制御装置１００と、報知制御装置２００と、を備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される自車両Ｍの任意の箇所に取り付けられる。例えば、自車両Ｍの前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。自車両Ｍの後方を撮像する場合、カメラ１０は、リアウィンドシールド上部等に取り付けられる。自車両Ｍの右側方または左側方を撮像する場合、カメラ１０は、車体やドアミラーの右側面または左側面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、自車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を車載制御装置９０に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま車載制御装置９０に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、ブザー、タッチパネル、スイッチ、キーなどを含む。ＨＭＩ３０は、さらに、スピーカユニット３２を含む。スピーカユニット３２は、報知部及び音声出力装置の一例である。

図２は、スピーカユニット３２の構成図である。スピーカユニット３２は、例えば、スピーカ３２ＦＲ、３２ＦＬ、３２ＲＲ、３２ＲＬの４つのスピーカを含む。例えば、スピーカ３２ＦＲは自車両Ｍの車室内のインストルメントパネルの右端部と右側ドアの間に、スピーカ３２ＦＬは自車両Ｍの車室内のインストルメントパネルの左端部と右側ドアの間に、スピーカ３２ＲＲは自車両Ｍの車室内の右後席の座面の下部に、スピーカ３２ＲＬは自車両Ｍの車室内の左後席の座面の下部に、それぞれ設けられる。スピーカユニット３２は、左右一対のスピーカを含むものであってもよい。また、スピーカユニット３２に代えて一つのスピーカが自車両Ｍに搭載されてもよい。

図３は、スピーカユニット３２のハードウェア構成の一例を示す図である。例えば、スピーカ３２ＦＲ、３２ＦＬ、３２ＲＲ、３２ＲＬのそれぞれには、制御用プロセッサ３４ＦＲ、３４ＦＬ、３４ＲＲ、３４ＲＬが取り付けられている。スピーカと制御用プロセッサとの間はＵＳＢ（Universal Serial Bus）で接続され、制御用プロセッサは車載制御装置９０とＣＡＮ（Controller Area Network）バスなどで接続される。

スピーカユニット３２は、複数のスピーカの中から選択される一以上のスピーカのそれぞれから出力される音の大きさを調整することで、音像定位の位置を変化させる。乗員は、出力される音を聞いて、報知制御装置２００により定位された位置に音像が定位し、その位置から音声が出力されるように感じる。

図１の説明に戻る。車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、角速度を検出するジャイロセンサ、自車両Ｍの向きを検出する方位センサ、転舵輪の舵角を検出する舵角センサ等を含む。ジャイロセンサには、例えば、鉛直軸回りの角速度を検出するヨーレートセンサが含まれてよい。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報、後述するモードＡまたはモードＢが禁止される禁止区間の情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

ドライバモニタカメラ７０は、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。ドライバモニタカメラ７０は、自車両Ｍの運転席に着座した乗員（以下、運転者）の頭部を正面から（顔面を撮像する向きで）撮像可能な位置および向きで、自車両Ｍにおける任意の箇所に取り付けられる。例えば、ドライバモニタカメラ７０は、自車両Ｍのインストルメントパネル上に取り付けられてよい。

車両周辺カメラ７２は、例えば、自車両Ｍの周囲の全方向（３６０度方向）を撮像可能な全方向カメラである。車両周辺カメラ７２は、例えば、ドライバモニタカメラ７０と同様、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車両周辺カメラ７２は、自車両Ｍの周囲の風景を撮像する。車両周辺カメラ７２は、撮像した画像を車載制御装置９０に出力する。車両周辺カメラ７２は、カメラ１０で代用してもよい。この場合、カメラ１０は、撮像した画像を車載制御装置９０に出力してもよい。

運転操作子８０は、例えば、ステアリングホイール８２の他、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、車載制御装置９０、もしくは、走行駆動力出力装置３００、ブレーキ装置３１０、およびステアリング装置３２０のうち一部または全部に出力される。操作子は、必ずしも環状である必要は無く、異形ステアやジョイスティック、ボタンなどの形態であってもよい。ステアリングホイール８２には、ステアリング把持センサ８４が取り付けられている。ステアリング把持センサ８４は、静電容量センサなどにより実現され、運転者がステアリングホイール８２を把持している（力を加えられる状態で接していることをいう）か否かを検知可能な信号を車載制御装置９０に出力する。

車載制御装置９０における自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

図４は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０と、モード決定部１５０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

認識部１３０は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、オーバーテイクイベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。

モード決定部１５０は、自車両Ｍの運転モードを、運転者に課されるタスクが異なる複数の運転モードのいずれかに決定する。モード決定部１５０は、例えば、運転者状態判定部１５２と、モード変更処理部１５４とを備える。これらの個別の機能については後述する。

図５は、運転モードと自車両Ｍの制御状態、およびタスクの対応関係の一例を示す図である。自車両Ｍの運転モードには、例えば、モードＡからモードＥの５つのモードがある。制御状態すなわち自車両Ｍの運転制御の自動化度合いは、モードＡが最も高く、次いでモードＢ、モードＣ、モードＤの順に低くなり、モードＥが最も低い。この逆に、運転者に課されるタスクは、モードＡが最も軽度であり、次いでモードＢ、モードＣ、モードＤの順に重度となり、モードＥが最も重度である。なお、モードＤおよびＥでは自動運転でない制御状態となるため、自動運転制御装置１００としては自動運転に係る制御を終了し、運転支援または手動運転に移行させるまでが責務である。以下、それぞれの運転モードの内容について例示する。

モードＡでは、自動運転の状態となり、運転者には前方監視、ステアリングホイール８２の把持（図ではステアリング把持）のいずれも課されない。但し、モードＡであっても運転者は、自動運転制御装置１００を中心としたシステムからの要求に応じて速やかに手動運転に移行できる体勢であることが要求される。なお、ここで言う自動運転とは、操舵、加減速のいずれも運転者の操作に依らずに制御されることをいう。前方とは、フロントウインドシールドを介して視認される自車両Ｍの進行方向の空間を意味する。モードＡは、例えば、高速道路などの自動車専用道路において、所定速度（例えば５０［ｋｍ／ｈ］程度）以下で自車両Ｍが走行しており、追従対象の前走車両が存在するなどの条件が満たされる場合に実行可能な運転モードであり、ＴＪＰ（Traffic Jam Pilot）と称される場合もある。この条件が満たされなくなった場合、モード決定部１５０は、モードＢに自車両Ｍの運転モードを変更する。

モードＢでは、運転支援の状態となり、運転者には自車両Ｍの前方を監視するタスク（以下、前方監視）が課されるが、ステアリングホイール８２を把持するタスクは課されない。モードＣでは、運転支援の状態となり、運転者には前方監視のタスクと、ステアリングホイール８２を把持するタスクが課される。モードＤは、自車両Ｍの操舵と加減速のうち少なくとも一方に関して、ある程度の運転者による運転操作が必要な運転モードである。例えば、モードＤでは、ＡＣＣ（Adaptive Cruise Control）やＬＫＡＳ（Lane Keeping Assist System）といった運転支援が行われる。モードＥでは、操舵、加減速ともに運転者による運転操作が必要な手動運転の状態となる。モードＤ、モードＥともに、当然ながら運転者には自車両Ｍの前方を監視するタスクが課される。

運転モードで示される運転制御の自動化度合いは、運転支援レベル（Ｌｖ）として表すこともできる。運転制御の自動化度合いが最も高いモードＡは、運転支援レベルが最も高く、運転制御の自動化度合いが最も低いモードＥは、運転支援レベルが最も低くなる。運転者に課されるタスクは、運転支援レベルが高いほど軽くなり、運転支援レベルが低いほど重くなる。運転支援レベルとしては、運転モードに対応して高いレベルから順に、Ｌｖ５からＬｖ１が設定されている。ここで、例えば、自動運転レベルがＬｖ２である場合に「ハンズオフ（手の解放）」、Ｌｖ３である場合に「アイズオフ（目の解放）」、Ｌｖ４では「ブレインオフ（脳の解放）」が一定条件下で可能となる。

モード決定部１５０は、決定した運転モード（以下、現運転モード）に係るタスクが運転者により実行されない場合に、よりタスクが重度な運転モードに自車両Ｍの運転モードを変更する。

例えば、モードＡにおいて運転者が、システムからの要求に応じて手動運転に移行できない体勢である場合（例えば許容エリア外の脇見を継続している場合や、運転困難となる予兆が検出された場合）、モード決定部１５０は、ＨＭＩ３０を用いて運転者に手動運転への移行を促し、運転者が応じなければ自車両Ｍを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。自動運転を停止した後は、自車両はモードＤまたはＥの状態になり、運転者の手動操作によって自車両Ｍを発進させることが可能となる。以下、「自動運転を停止」に関して同様である。モードＢにおいて運転者が前方を監視していない場合、モード決定部１５０は、ＨＭＩ３０を用いて運転者に前方監視を促し、運転者が応じなければ自車両Ｍを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。モードＣにおいて運転者が前方を監視していない場合、或いはステアリングホイール８２を把持していない場合、モード決定部１５０は、ＨＭＩ３０を用いて運転者に前方監視を、および／またはステアリングホイール８２を把持するように促し、運転者が応じなければ自車両Ｍを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。

運転者状態判定部１５２は、上記のモード変更のために運転者の状態を監視し、運転者の状態がタスクに応じた状態であるか否かを判定する。例えば、運転者状態判定部１５２は、ドライバモニタカメラ７０が撮像した画像を解析して姿勢推定処理を行い、運転者が、システムからの要求に応じて手動運転に移行できない体勢であるか否かを判定する。また、運転者状態判定部１５２は、ドライバモニタカメラ７０が撮像した画像を解析して視線推定処理を行い、運転者が前方を監視しているか否かを判定する。

モード変更処理部１５４は、モード変更のための各種処理を行う。例えば、モード変更処理部１５４は、行動計画生成部１４０に路肩停止のための目標軌道を生成するように指示したり、運転支援装置（不図示）に作動指示をしたり、運転者に行動を促すためにＨＭＩ３０の制御をしたりする。

第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置３００、ブレーキ装置３１０、およびステアリング装置３２０を制御する。

図４に戻り、第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置３００またはブレーキ装置３１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置３２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

図１に戻り、報知制御装置２００は、例えば、取得部２１０と、推定部２２０と、判定部２３０と、報知制御部２４０と、記憶部２５０と、を備える。取得部２１０、推定部２２０、判定部２３０、及び報知制御部２４０は、それぞれ、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め報知制御装置２００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで報知制御装置２００のＨＤＤやフラッシュメモリにインストールされてもよい。記憶部２５０は、デジタルカメラによって撮像された画像からパターンマッチングにより対象物を抽出するためのテンプレート画像が格納されている。記憶部２５０に格納されたテンプレート画像は、例えば、観光地等における有名な建築物等の一般的に知られた対象物の画像である。

取得部２１０は、例えば、第１取得部２１２と、第２取得部２１４と、を備える。第１取得部２１２は、車両周辺カメラ７２により撮像された画像に対して記憶部に記憶されてテンプレート画像を用いたパターンマッチングを行うことにより、自車両Ｍの周囲に対象物が存在することの情報（以下、第１情報）を取得する。

第２取得部２１４は、自動運転制御装置１００におけるモード決定部１５０により決定された運転モードの情報を取得する。第２取得部２１４は、取得した運転モードの情報に基づいて、自車両Ｍにおける運転支援レベルを算出して、運転支援レベルを示す情報（以下、第２情報）を取得する。

推定部２２０は、記憶部に記憶された地図情報に基づいて、第１取得部２１２により取得された第１情報が示す対象物の位置を取得する。地図情報は、テンプレート画像が用意された対象物の位置を示す情報である。推定部２２０は、自車両Ｍの現在位置と、取得した対象物の位置に基づいて、運転者の対象物に対する方向、例えば、運転者から対象物を見た方向（以下、対象物方向）を推定する。推定部２２０は、例えば、運転者の位置を基準として運転者の対象物に対する方向を推定される。

判定部２３０は、自車両Ｍの進行方向を特定し、推定部２２０により推定された対象物方向と自車両Ｍの進行方向が一致するか否かを判定する。判定部２３０は、自車両Ｍの進行方向をどのように特定してもよい。判定部２３０は、例えば、対象物方向と進行方向のなす角度が所定の閾値以内（例えば、０度から１０度の間の任意角度）以下であるか否かにより対象物方向と進行方向が一致するか否かを判定してよい。

判定部２３０は、自車両Ｍの進行方向をどのように特定してもよい。判定部２３０は、例えば、ナビゲーション装置５０により特定される自車両Ｍの位置の経時的な変化に基づいて自車両Ｍの進行方向を特定してもよいし、方位センサにより検出された自車両Ｍの向きと、舵角センサにより検出された転舵輪の舵角に基づいて自車両Ｍの進行方向を特定してもよい。

判定部２３０は、対象物の方向と進行方向が一致しないと判定した場合に、運転支援の支援態様が所定の態様であるかを判定する。具体的に、判定部２３０は、第２取得部２１４により取得された第２情報が示す運転支援レベルがＬｖ２以上であるか否か（Ｌｖ５～Ｌｖ２のいずれかであるか否か）を判定する。

判定部２３０は、運転支援の支援態様が所定の態様であるかを判定するほかに、第２取得部２１４により取得された第２情報が示す運転支援レベルに応じて許可方向範囲を設定する。許可方向範囲は、自車両Ｍの走行中に、運転者に対する視認を許可する範囲である。判定部２３０は、例えば、運転支援レベルが高いほど広く、運転支援レベルが低いほど狭い許可方向範囲を設定する。

図６は、運転支援レベルと許可方向範囲の関係を示す説明図である。運転者に課されるタスクが軽度であり、前方監視及びステアリングの把持が不要なＬｖ５の運転支援レベルの場合の許容方向範囲は、例えば、自車両Ｍの進行方向に対して左右１８０°（全体で３６０°）周りの範囲である。前方運転者に課されるタスクが中度であり、必要に応じて前方監視が必要なＬｖ４，３の運転支援レベルの場合の許容方向範囲は、例えば、自車両Ｍの進行方向に対して左右１５°の範囲である。前方運転者に課されるタスクが重度であり、前方監視や諸々の運転操作が必要なＬｖ２の運転支援レベルの場合の許容方向範囲は、例えば、自車両Ｍの進行方向に対して０°の範囲である。

報知制御部２４０は、第１取得部２１２により取得された第１情報の対象物をスピーカユニット３２に出力させることにより、対象物の存在を知らせる情報（以下、対象物報知情報）を運転者に向けてスピーカユニット３２に出力させて報知させる。報知制御部２４０は、スピーカユニット３２を制御し、対象物報知情報が、対象物の位置と運転者の位置を繋いだ直線上における車室内の任意の位置から対象物報知情報が出力されたと運転者が感じるように、音像を定位する。

走行駆動力出力装置３００は、自車両Ｍが走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置３００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置３１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置３１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置３１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置３２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［全体の処理フロー］
以下、フローチャートを用いて、実施形態の報知制御装置２００による一連の処理の流れを説明する。図７は、実施形態の報知制御装置２００による一連の処理の流れの一例を示すフローチャートである。報知制御装置２００は、第１取得部２１２において、車両周辺カメラ７２により撮像された画像に基づいて、第１情報を取得したか否かを判定する（ステップＳ１０１）。第１情報を取得していないと第１取得部２１２により判定された場合、報知制御装置２００は、図７に示す処理を終了する。

第１取得部２１２が第１情報を取得したと判定した場合、第２取得部２１４は、自動運転制御装置１００におけるモード決定部１５０により決定されている運転モードに基づいて、第２情報を取得する（ステップＳ１０３）。続いて、判定部２３０は、自車両Ｍの進行方向を特定する（ステップＳ１０５）。

続いて、推定部２２０は、自車両Ｍの現在位置と、取得した対象物の位置に基づいて、対象物方向を取得する（ステップＳ１０７）。続いて、判定部２３０は、特定した進行方向と、取得した対象物方向とを比較して、進行方向と対象物方向は一致するか否か中を判定する（ステップＳ１０９）。進行方向と対象物方向は一致すると判定部２３０により判定された場合、報知制御装置２００は、図７に示す処理を終了する。

判定部２３０は、進行方向と対象物方向は一致するとした場合、第２取得部２１４により取得された第２情報に基づいて、自車両Ｍの運転支援レベルがＬｖ２以上であるか否かを判定する（ステップＳ１１１）。自車両Ｍの運転支援レベルがＬｖ２以上でない（Ｌｖ１である）と判定部２３０により判定された場合、報知制御装置２００は、図７に示す処理を終了する。

判定部２３０は、自車両Ｍの運転支援レベルがＬｖ２以上であると判定した場合、第２取得部により取得された第２情報に基づいて、許可方向範囲を設定する（ステップＳ１１３）。続いて、判定部２３０は、設定した許可方向範囲と、推定部２２０により推定された対象物方向を比較し、対象物方向が許可方向範囲に含まれるか否かを判定する（ステップＳ１１５）。対象物方向が許可方向範囲に含まれないと判定部２３０により判定された場合、報知制御装置２００は、図７に示す処理を終了する。

対象物方向が許可方向範囲に含まれると判定した場合、報知制御部２４０は、対象物の位置と運転者の位置を繋いだ直線上における車室内の任意の位置に対象物報知情報の音像を定位する（ステップＳ１１７）。続いて、報知制御部２４０は、音像を定位した対象物報知情報をスピーカユニット３２に出力させる（ステップＳ１１９）。こうして、報知制御装置２００は、図７に示す処理を終了する。

実施形態の車両システム１は、報知制御装置２００において、自車両Ｍの周囲に対象物がある場合に、スピーカユニット３２により対象物報知情報が出力される。さらに、報知制御装置２００では、自車両Ｍの進行方向と対象物方向が一致していない場合において、運転支援レベルが高く、運転者に課されるタスクが少ない運転モードである場合に、自車両Ｍの周囲にスピーカユニット３２により対象物報知情報が出力される。

自車両Ｍの進行方向と対象物方向が一致していないと、運転者の視界には対象物が入りにくく、対象物を見逃してしまうことがあるが、対象物報知情報が出力されることにより、運転者は、対象物の存在を認識することができる。ここで、対象物報知情報は、運転支援レベルがＬｖ２以上であるときに報知される。このため、運転者のタスクが多い場合には、対象物報知情報は出力されないようにすることができる。したがって、対象物報知情報を聞いた運転者が、対象物の存在を認識することができるので、走行中の車両の乗員に車両の乗車を楽しんでもらうための情報を十分に提供することができる。実施形態では、所定の態様は、運転支援レベルがＬｖ２以上であることであるが、所定の態様は異なる態様でもよい。例えば、運転支援レベルがＬｖ１であっても対象物報知情報が報知されるようにしてもよい。

また、実施形態の車両システム１は、報知制御装置２００において、対象物方向が許容範囲方向に含まれる場合に、対象物報知情報を出力するが、許容範囲方向は、運転支援レベルに応じて設定されている。このため、例えば、前方監視が必要な運転支援レベルのＬｖ２，３の場合には、許容範囲方向が自車両Ｍから左右１５°の範囲に限定されるので、運転者のわき見を防止することができる。

また、実施形態の車両システム１は、報知制御装置２００において、対象物の位置と運転者の位置を繋いだ直線上における車室内の任意の位置から対象物報知情報が出力されたと運転者が感じるように、音像を定位する。このため、運転者は、音が聞こえたと感じる方向を見ることで対象物を視認することができる。

上記の実施形態において、移動体のユーザの対象物に対する方向（自車両Ｍの運転者の対象物に対する方向）は、運転者の位置を基準とするが、他の位置、例えば自車両Ｍにおける任意の位置、例えば、自車両Ｍの左右方向の中心線と自車両Ｍの先端が交わる点を基準としてよい。また、上記の実施形態において、報知部は、スピーカユニット３２であり、対象物報知情報は音声（音）であるが、報知情報や対象物報知情報は他の態様でもよい。例えば、報知部は、ヘッドアップディスプレイや車室内に設けられたランプ等であり、対象物報知情報はヘッドアップディスプレイや車室内に設けられたランプの表示でもよい。対象物報知情報は、音や表示のように聴覚や視覚に訴えるもののほか、においなどの嗅覚に訴えるものや風などでもよい。

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令を格納する記憶媒体と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより、
移動体の周囲に対象物が存在することの第１情報を取得し、
前記移動体のユーザの前記対象物に対する方向を推定し、
前記移動体に対して行われる運転支援の支援態様の第２情報を取得し、
前記ユーザの方向と前記移動体の進行方向が一致するか否かを判定し、
前記ユーザの方向と前記移動体の進行方向が一致しないと判定され、前記運転支援の支援態様が所定の態様である場合に、前記対象物の存在を知らせる情報を前記ユーザに向けて報知部により報知させる、
装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム
１０…カメラ
１２…レーダ装置
１６…物体認識装置
２０…通信装置
３２…スピーカユニット
３２ＦＬ，３２ＦＲ，３２ＲＬ，３２ＲＲ…スピーカ
３４ＦＬ，３４ＦＲ，３４ＲＬ，３４ＲＲ…制御用プロセッサ
４０…車両センサ
５０…ナビゲーション装置
５１…ＧＮＳＳ受信機
５２…ナビＨＭＩ５３…経路決定部
５４…第１地図情報
６１…推奨車線決定部
６２…第２地図情報
７０…ドライバモニタカメラ
７２…車両周辺カメラ
８０…運転操作子
８２…ステアリングホイール
８４…ステアリング把持センサ
９０…車載制御装置
１００…自動運転制御装置
１２０…第１制御部
１３０…認識部
１４０…行動計画生成部
１５０…モード決定部
１５２…運転者状態判定部
１５４…モード変更処理部
１６０…第２制御部
１６２…取得部
１６４…速度制御部
１６６…操舵制御部
２００…報知制御装置
２１０…取得部
２１２…第１取得部
２１４…第２取得部
２２０…推定部
２３０…判定部
２４０…報知制御部
２５０…記憶部
３００…走行駆動力出力装置
３１０…ブレーキ装置
３２０…ステアリング装置
Ｍ…自車両

Claims (5)

1. 報知制御装置のコンピュータが、
   移動体の周囲に対象物が存在することの第１情報を取得し、
   前記移動体のユーザの前記対象物に対する方向を推定し、
   前記移動体に対して行われる運転支援の支援態様の第２情報を取得し、
   前記ユーザの方向と前記移動体の進行方向が一致するか否かを判定し、
   前記ユーザの方向と前記移動体の進行方向が一致しないと判定され、前記運転支援の支援態様が所定の態様である場合に、前記対象物の存在を知らせる情報を前記ユーザに向けて報知部により報知させる、
   報知制御方法。
2. 前記コンピュータが、
   前記第２情報として、前記運転支援の支援態様として、支援の度合いが高いほど高く設定される運転支援レベルを含む情報を取得し、
   前記コンピュータが、
   前記第２情報が示す運転支援レベルに応じて許可方向範囲を設定し、設定した前記許可方向範囲に前記ユーザの方向が含まれる場合に、前記対象物の存在を知らせる情報を前記報知部に報知させる、
   請求項１に記載の報知制御方法。
3. 前記報知部は、音声出力装置を含み、
   前記コンピュータが、
   前記音声出力装置に対して、前記対象物の方向における任意に位置に音像を定位させる、
   請求項１または２に記載の報知制御方法。
4. 移動体の周囲に対象物が存在することの第１情報を取得する第１取得部と、
   前記移動体のユーザの前記対象物に対する方向を推定する推定部と、
   前記移動体に対して行われる運転支援の支援態様の第２情報を取得する第２取得部と、
   前記ユーザの方向と前記移動体の進行方向が一致するか否かを判定する判定部と、
   前記ユーザの方向と前記移動体の進行方向が一致しないと判定され、前記運転支援の支援態様が所定の態様である場合に、前記対象物の存在を知らせる情報を前記ユーザに向けて報知部に報知させる報知制御部と、を備える、
   報知制御装置。
5. 報知制御装置のコンピュータに、
   移動体の周囲に対象物が存在することの第１情報を取得させ、
   前記移動体のユーザの前記対象物に対する方向を推定させ、
   前記移動体に対して行われる運転支援の支援態様の第２情報を取得させ、
   前記ユーザの方向と前記移動体の進行方向が一致するか否かを判定させ、
   前記ユーザの方向と前記移動体の進行方向が一致しないと判定され、前記運転支援の支援態様が所定の態様である場合に、前記対象物の存在を知らせる情報を前記ユーザに向けて報知部により報知させることを実行させる、
   プログラム。

Images