JP2022152607A - 運転支援装置、運転支援方法、及びプログラム - Google Patents

Abstract

【課題】運転者がより速やかに対象物を確認すること。【解決手段】実施形態の運転視線装置は、車両の周辺物体の状態及び前記車両の走行状況を認識する認識部と、前記車両の運転者の視線の向きである第１方向を検出する検出部と、前記周辺物体の状態及び前記走行状況に基づいて、前記周辺物体が前記運転者によって注視されるべき対象物であるのか否かを判定する判定部と、前記周辺物体が前記対象物であると判定された場合、前記第１方向と、前記運転者から見て前記対象物が存在する方向である第２方向とに基づいて、前記運転者の視線を前記対象物に向けるように誘導する第１情報を表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記第１方向に基づいて、複数の表示部の中から前記第１情報を表示させる少なくとも一つの表示部を決定する、又は前記表示部に表示させる前記第１情報の態様を決定する。【選択図】図１

Description

本発明は、運転支援装置、運転支援方法、及びプログラムに関する。

運転者が視線を向けている方向に応じて矢印などの情報をヘッドアップディスプレイに表示させる技術が知られている（例えば、特許文献１参照）。

特開２０１８－２２３４９号公報

しかしながら、従来の技術では、ヘッドアップディスプレイが一定の位置にあるため、運転者が今まさに視線を向けている方向から、一旦ヘッドアップディスプレイへと視線を移動させ、その後にヘッドアップディスプレイに表示された情報を確認することになる。この結果、注視すべき対象物の確認に遅れが生じる場合があった。

本発明の一態様は、このような事情を考慮してなされたものであり、運転者がより速やかに対象物を確認することができる運転支援装置、運転支援方法、及びプログラムを提供することを目的の一つとする。

この発明に係る運転支援装置、運転支援方法、及びプログラムは、以下の構成を採用した。

本発明の一態様（１）は、車両の周辺に存在する物体である周辺物体の状態及び前記車両の走行状況を認識する認識部と、前記車両の運転者の視線の向きである第１方向を検出する検出部と、前記認識部によって認識された前記周辺物体の状態及び前記走行状況に基づいて、前記周辺物体が前記運転者によって注視されるべき対象物であるのか否かを判定する判定部と、前記判定部によって前記周辺物体が前記対象物であると判定された場合、前記検出部によって検出された前記第１方向と、前記運転者から見て前記対象物が存在する方向である第２方向とに基づいて、前記運転者の視線を前記対象物に向けるように誘導する第１情報を、一つ又は複数の表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記検出部によって検出された前記第１方向に基づいて、前記複数の表示部の中から前記第１情報を表示させる少なくとも一つの表示部を決定する、又は前記表示部に表示させる前記第１情報の態様を決定する運転支援装置である。

（２）の態様は、上記（１）の態様の運転支援装置において、前記表示制御部は、前記第１方向から前記第２方向へと至る視線の移動経路に基づいて、前記複数の表示部の中から前記第１情報を表示させる少なくとも一つの表示部を決定する、又は前記表示部に表示させる前記第１情報の態様を決定するものである。

（３）の態様は、上記（１）又は（２）の態様の運転支援装置において、前記表示制御部は、前記車両の運転モードが手動運転モードである場合、前記第１情報と、前記運転者がすべき手動運転操作を報知するための第２情報とを、前記表示部に表示させるものである。

（４）の態様は、上記（１）から（３）のうちいずれか一つの態様の運転支援装置において、前記表示制御部は、前記車両の運転モードが、前記車両の前方を監視することが前記運転者に要求される運転支援モードである場合、前記第１情報と、前記運転者がすべき手動運転操作を報知するための第２情報と、前記車両の運転を前記運転者に要求するための第３情報とを、前記表示部に表示させるものである。

（５）の態様は、上記（１）から（４）のうちいずれか一つの態様の運転支援装置において、前記表示制御部は、前記車両の運転モードが、前記車両の前方を監視することが前記運転者に要求されない自動運転モードである場合、前記第１情報を前記表示部に表示させ、前記判定部は、前記車両の運転モードが前記自動運転モードである場合、前記表示部に前記第１情報が表示された後に前記検出部によって検出された前記第１方向と、前記第２方向とに基づいて、前記運転者が前記対象物に視線を向けたか否かを判定するものである。

（６）の態様は、上記（５）の運転支援装置において、前記車両の速度及び操舵の少なくとも一方を制御する運転制御部を更に備え、前記運転制御部は、前記自動運転モード下において、前記判定部により前記運転者が前記対象物に視線を向けていないと判定され、かつ前記車両と前記対象物との相対的な位置関係が所定条件を満たす場合、前記車両を減速させるものである。

（７）の態様は、上記（５）又は（６）の運転支援装置において、前記表示制御部は、前記自動運転モード下において、前記判定部により前記運転者が前記対象物に視線を向けたと判定された場合、前記第１情報と、前記運転者がすべき手動運転操作を報知するための第２情報と、前記車両の運転を前記運転者に要求するための第３情報とを、前記表示部に表示させるものである。

（８）の態様は、上記（４）又は（７）の運転支援装置において、前記車両の速度及び操舵の少なくとも一方を制御する運転制御部を更に備え、前記運転制御部は、前記表示部に前記第３情報が表示された後に前記車両の運転が前記運転者に交代されず、かつ前記車両と前記対象物との相対的な位置関係が所定条件を満たす場合、前記車両を減速させるものである。

（９）の態様は、上記（８）の運転支援装置において、前記表示制御部は、前記表示部に前記第３情報が表示された後に前記車両の運転が前記運転者に交代された場合、前記第１情報と前記第２情報とを、前記表示部に表示させるものである。

（１０）の態様は、上記（３）又は（９）の運転支援装置において、前記車両の速度及び操舵の少なくとも一方を制御する運転制御部を更に備え、前記運転制御部は、前記表示部に前記第１情報及び前記第２情報が表示された後に、前記車両と前記対象物との相対的な位置関係が所定条件を満たす場合、前記車両を減速させるものである。

本発明の他の態様（１１）は、車両に搭載されたコンピュータが、前記車両の周辺に存在する物体である周辺物体の状態及び前記車両の走行状況を認識し、前記車両の運転者の視線の向きである第１方向を検出し、前記周辺物体の状態及び前記走行状況に基づいて、前記周辺物体が前記運転者によって注視されるべき対象物であるのか否かを判定し、前記周辺物体が前記対象物であると判定した場合、前記第１方向と、前記運転者から見て前記対象物が存在する方向である第２方向とに基づいて、前記運転者の視線を前記対象物に向けるように誘導する第１情報を、一つ又は複数の表示部に表示させ、前記第１方向に基づいて、前記複数の表示部の中から前記第１情報を表示させる少なくとも一つの表示部を決定する、又は前記表示部に表示させる前記第１情報の態様を決定する運転支援方法である。

本発明の他の態様（１２）は、車両に搭載されたコンピュータに、前記車両の周辺に存在する物体である周辺物体の状態及び前記車両の走行状況を認識すること、前記車両の運転者の視線の向きである第１方向を検出すること、前記周辺物体の状態及び前記走行状況に基づいて、前記周辺物体が前記運転者によって注視されるべき対象物であるのか否かを判定すること、前記周辺物体が前記対象物であると判定した場合、前記第１方向と、前記運転者から見て前記対象物が存在する方向である第２方向とに基づいて、前記運転者の視線を前記対象物に向けるように誘導する第１情報を、一つ又は複数の表示部に表示させること、前記第１方向に基づいて、前記複数の表示部の中から前記第１情報を表示させる少なくとも一つの表示部を決定する、又は前記表示部に表示させる前記第１情報の態様を決定すること、を実行させるためのプログラムである。

上記のいずれかの態様によれば、運転者がより速やかに対象物を確認することができる。

実施形態に係る運転支援装置を利用した車両システム１の構成図である。 自車両Ｍの車内の様子を模式的に表す図である。 自車両Ｍの車内の様子を模式的に表す図である。 第１制御部１２０および第２制御部１６０の機能構成図である。 運転モードと自車両Ｍの制御状態、およびタスクの対応関係の一例を表す図である。 運転者の視線を誘導する方法を説明するための図である。 運転者の視線を誘導する方法を説明するための図である。 視線誘導オブジェクトＯＢ１の表示態様の一例を表す図である。 実施形態の自動運転制御装置１００による一連の処理の流れの一例を示すフローチャートである。 実施形態の自動運転制御装置１００による一連の処理の流れの一例を示すフローチャートである。 実施形態の自動運転制御装置１００による一連の処理の流れの一例を示すフローチャートである。 実施形態の自動運転制御装置１００による一連の処理の流れの一例を示すフローチャートである。 視線誘導オブジェクトＯＢ１及び運転操作オブジェクトＯＢ２の一例を表す図である。 テイクオーバー要求の一例を表す図である。 注意喚起の一例を表す図である。 実施形態の自動運転制御装置１００のハードウェア構成の一例を表す図である。

以下、図面を参照し、本発明の運転支援装置、運転支援方法、及びプログラムの実施形態について説明する。

［全体構成］
図１は、実施形態に係る運転支援装置を利用した車両システム１の構成図である。車両システム１が搭載される車両（以下、自車両Ｍ）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、ドライバモニタカメラ７０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。自動運転制御装置１００は、「運転支援装置」の一例である。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両の任意の箇所に取り付けられる。例えば、自車両Ｍの前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。自車両Ｍの後方を撮像する場合、カメラ１０は、リアウィンドシールド上部等に取り付けられる。自車両Ｍの右側方または左側方を撮像する場合、カメラ１０は、車体やドアミラーの右側面または左側面等に取り付けられる。カメラ１０は、自車両Ｍの周辺を周期的に繰り返し撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、自車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員（運転者を含む）に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、表示装置３２を備える。

表示装置３２には、ＨＵＤ（Head-Up Display）３２Ａや、インストルメントパネルディスプレイ３２Ｂ、ディスプレイメーター３２Ｃ、センターディスプレイ３２Ｄなどが含まれる。インストルメントパネルディスプレイ３２Ｂ、ディスプレイメーター３２Ｃ、及びセンターディスプレイ３２Ｄは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどである。ＨＭＩ３０は、更に、スピーカや、ブザー、タッチパネル、スイッチ、ボタンなどを備えてもよい。例えば、乗員は、ＨＭＩ３０に対して、自車両Ｍの目的地を入力する。

図２及び図３は、自車両Ｍの車内の様子を模式的に表す図である。ＨＵＤ３２Ａは、フロントウィンドウシールドに各種画像や映像を虚像として表示する（投影する）ディスプレイである。インストルメントパネルディスプレイ３２Ｂは、インストルメントパネルＩＰ上に設置され、各種画像や映像を表示するディスプレイである。ディスプレイメーター３２Ｃは、運転席の正面付近のインストルメントパネルＩＰ上に設けられ、運転者がステアリングホイール８２の間隙から、或いはステアリングホイール８２越しに視認可能なディスプレイである。センターディスプレイ３２Ｄは、インストルメントパネルＩＰの中央に設けられる。センターディスプレイ３２Ｄは、後述のナビＨＭＩ５２として利用されてもよい。ＨＵＤ３２Ａの代わりに、自車両Ｍのフロントウィンドウシールドを一つのディスプレイとしてもよい。この場合、例えば、インストルメントパネルＩＰに組み込まれたＬＥＤ（Light Emitting Diode）を発光させ、フロントィンドウシールドでＬＥＤの光を反射させることにより、運転者が視認可能な情報をフロントウィンドウシールドに表示させる。

図１の説明に戻る。車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、角速度を検出するジャイロセンサ、自車両Ｍの向きを検出する方位センサ等を含む。ジャイロセンサには、例えば、鉛直軸回りの角速度を検出するヨーレートセンサが含まれてよい。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。

ＧＮＳＳ受信機５１は、複数のＧＮＳＳ衛星（人工衛星）の其々から電波を受信し、その受信した電波の信号に基づいて、自車両Ｍの位置を特定する。ＧＮＳＳ受信機５１は、特定した自車両Ｍの位置を、経路決定部５３に出力したり、自動運転制御装置１００に直接的、又はＭＰＵ６０を介して間接的に出力したりする。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。

ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。例えば、乗員は、ＨＭＩ３０に対して、自車両Ｍの目的地を入力することに代えて、或いは加えて、ナビＨＭＩ５２に対して、自車両Ｍの目的地を入力してもよい。

経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ＨＭ３０やナビＨＭＩ５２を用いて乗員が入力した目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。

第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。

ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、推奨車線決定部６１は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＭＰＵ６０の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることでＭＰＵ６０の記憶装置にインストールされてもよい。

推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

ドライバモニタカメラ７０は、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。ドライバモニタカメラ７０は、自車両Ｍの運転席に着座した乗員（つまり運転者）を正面から撮像可能な位置および向きで、自車両Ｍにおける任意の箇所に取り付けられる。例えば、ドライバモニタカメラ７０は、自車両ＭのインストルメントパネルＩＰ上に取り付けられてよい。

運転操作子８０は、例えば、ステアリングホイール８２の他、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられている。そのセンサの検出結果は、自動運転制御装置１００に出力されたり、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力されたりする。

ステアリングホイール８２は、必ずしも環状である必要は無く、異形ステアリングホイールやジョイスティック、ボタンなどの形態であってもよい。ステアリングホイール８２には、ステアリング把持センサ８４が取り付けられている。ステアリング把持センサ８４は、静電容量センサなどである。ステアリング把持センサ８４は、運転者がステアリングホイール８２を把持している（力を加えられる状態で接していることをいう）か否かを検知し、その検知結果を表す信号を自動運転制御装置１００に出力する。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０と、記憶部１８０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

記憶部１８０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ（、またはＲＡＭ等により実現される。記憶部１８０には、例えば、プロセッサによって読み出されて実行されるプログラムなどが格納される。

図４は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０と、モード制御部１５０とを備える。行動計画生成部１４０と第２制御部１６０を合わせたもの、又は行動計画生成部１４０とモード制御部１５０と第２制御部１６０を合わせたものは、「運転制御部」の一例である。

第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

認識部１３０は、自車両Ｍの周辺の状況或いは環境を認識する。例えば、認識部１３０は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺に存在する物体を認識する。認識部１３０により認識される物体は、例えば、自転車、オートバイク、四輪自動車、歩行者、道路標識、道路標示、区画線、電柱、ガードレール、落下物などを含む。また、認識部１３０は、物体の位置や、速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした相対座標上の位置（すなわち自車両Ｍに対する相対位置）として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」には、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）が含まれてもよい。

更に、認識部１３０は、例えば、自車両Ｍが走行している車線（以下、自車線）や、その自車線に隣接した隣接車線などを認識する。例えば、認識部１３０は、ＭＰＵ６０から第２地図情報６２を取得し、その取得した第２地図情報６２に含まれる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０の画像から認識された自車両Ｍの周辺の道路区画線のパターンとを比較することで、区画線の間の空間を自車線や隣接車線として認識する。

認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレール等を含む走路境界（道路境界）を認識することで、自車線や隣接車線といった車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識してよい。

更に、認識部１３０は、自車線を認識する際に、自車線に対する自車両Ｍの相対位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央の座標点を連ねた線に対してなす角度を、自車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、自車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、自車線に対する自車両Ｍの相対位置として認識してもよい。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、後述のイベントにより規定された走行時の状態で自車両Ｍを自動的に（運転者の操作に依らずに）走行させる将来の目標軌道を生成する。

目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１４０は、自車両Ｍの周辺状況に対応するため、例外的に推奨車線とは異なる他の車線（例えば推奨車線に隣接した車線）上を自車両Ｍが走行するような目標軌道を生成してもよい。つまり、推奨車線以外の他車線の優先度は、推奨車線の優先度よりも相対的に低くなる。例えば、推奨車線の優先度は最も高くなり（優先度１）、その推奨車線に隣接した他車線（以下、隣接車線）の優先度は二番目に高くなり（優先度２）、更に隣接車線に隣接した他車線の優先度は三番目に高くなる（優先度３）。このように、行動計画生成部１４０は、原則的には優先度が最も高い推奨車線を自車両Ｍが走行するような目標軌道を生成しつつ、自車両Ｍの周辺状況によっては、例外的に推奨車線よりも優先度が低い他車線を自車両Ｍが走行するような目標軌道を生成する。

行動計画生成部１４０は、目標軌道を生成するにあたり、推奨車線が決定された経路上において自動運転（一部の運転支援も含む）のイベントを決定する。自動運転のイベントとは、自動運転（一部の運転支援）下において自車両Ｍがとるべき挙動の様、すなわち走行時の状態（又は走行時の態様）を規定した情報である。

自動運転のイベントには、例えば、定速走行イベント、低速追従走行イベント、車線変更イベント、追い越しイベントなどが含まれる。定速走行イベントは、自車両Ｍを一定の速度で同じ車線を走行させるイベントである。低速追従走行イベントは、自車両Ｍの前方の所定距離以内（例えば１００［ｍ］以内）に存在し、自車両Ｍに最も近い他車両（以下、前走車両と称する）に自車両Ｍを追従させるイベントである。「追従」とは、例えば、自車両Ｍと前走車両との相対距離（車間距離）を一定に維持させる走行状態であってもよいし、自車両Ｍと前走車両との相対距離を一定に維持させることに加えて、自車両Ｍを自車線の中央で走行させる走行状態であってもよい。車線変更イベントは、自車両Ｍを自車線から隣接車線へと車線変更させるイベントである。追い越しイベントは、自車両Ｍを一旦隣接車線に車線変更させて前走車両を隣接車線において追い越してから再び元の車線へと車線変更させるイベントである。

更に、自動運転のイベントには、分岐イベント、合流イベント、車線減少イベント、テイクオーバーイベントなどが含まれる。分岐イベントは、自車両Ｍが本線を走行しており、目的地がその本線から分岐した支線（以下、分岐車線）の延長線上に存在する場合に、分岐地点において自車両Ｍを本線から分岐車線に車線変更するよう誘導するイベントである。合流イベントは、自車両Ｍが本線に合流する支線（以下、合流車線）を走行しており、目的地が本線の延長線上に存在する場合に、合流地点において自車両Ｍを合流車線から本線に車線変更するよう誘導するイベントである。車線減少イベントは、車線数が途中で減少している経路を走行する際に、自車両Ｍを他車線に車線変更させるイベントである。テイクオーバーイベントは、自動運転モード（後述のモードＡ）を終了して運転支援モード（後述のモードＢ，Ｃ，Ｄ）又は手動運転モード（後述のモードＥ）に切り替えたり、運転支援モード（モードＢ，Ｃ，Ｄ）を終了して手動運転モード（モードＥ）に切り替えたりするイベントである。例えば、高速道路の料金所手前では区画線が途切れており、自車両Ｍの相対的な位置が認識できない場合がある。このような場合、料金所手前の区間に対してテイクオーバーイベントが決定（計画）される。

行動計画生成部１４０は、目的地までの経路上において、これら複数のイベントを順次決定し、自車両Ｍの周辺状況を考慮しながら、各イベントによって規定された状態で自車両Ｍを走行させるための目標軌道を生成する。

モード制御部１５０は、自車両Ｍの運転モードを、複数の運転モードのいずれかに決定する。複数の運転モードの其々は、互いに運転者に課されるタスクが異なる。モード制御部１５０は、例えば、運転者状態判定部１５２と、モード決定部１５４と、機器制御部１５６とを備える。これらの個別の機能については後述する。ドライバモニタカメラ７０と運転者状態判定部１５２とを合わせたものは、「検出部」の一例である。また、行動計画生成部１４０と運転者状態判定部１５２とを合わせたものは、「判定部」の一例である。機器制御部１５６は、「表示制御部」の一例である。

図５は、運転モードと自車両Ｍの制御状態、およびタスクの対応関係の一例を表す図である。自車両Ｍの運転モードには、例えば、モードＡからモードＥの５つのモードがある。制御状態、すなわち自車両Ｍの運転制御の自動化度合い（制御レベル）は、モードＡが最も高く、次いでモードＢ、モードＣ、モードＤの順に低くなり、モードＥが最も低い。この逆に、運転者に課されるタスクは、モードＡが最も軽度であり、次いでモードＢ、モードＣ、モードＤの順に重度となり、モードＥが最も重度である。なお、モードＤおよびＥでは自動運転でない制御状態となるため、自動運転制御装置１００としては自動運転に係る制御を終了し、運転支援または手動運転に移行させるまでが責務である。以下、それぞれの運転モードの内容について例示する。

モードＡでは、自動運転の状態となり、運転者には前方監視、ステアリングホイール８２の把持（図ではステアリング把持）のいずれも課されない。但し、モードＡであっても運転者は、自動運転制御装置１００を中心としたシステムからの要求に応じて速やかに手動運転に移行できる体勢であることが要求される。なお、ここで言う自動運転とは、操舵、加減速のいずれも運転者の操作に依らずに制御されることをいう。前方とは、フロントウインドシールドを介して視認される自車両Ｍの進行方向の空間を意味する。モードＡは、例えば、高速道路などの自動車専用道路において、所定速度（例えば５０［ｋｍ／ｈ］程度）以下で自車両Ｍが走行しており、追従対象の前走車両が存在するなどの条件が満たされる場合に実行可能な運転モードであり、ＴＪＰ（Traffic Jam Pilot）と称される場合もある。この条件が満たされなくなった場合、モード制御部１５０は、モードＢに自車両Ｍの運転モードを変更する。

モードＢでは、運転支援の状態となり、運転者には自車両Ｍの前方を監視するタスク（以下、前方監視）が課されるが、ステアリングホイール８２を把持するタスクは課されない。モードＣでは、運転支援の状態となり、運転者には前方監視のタスクと、ステアリングホイール８２を把持するタスクが課される。モードＤは、自車両Ｍの操舵と加減速のうち少なくとも一方に関して、ある程度の運転者による運転操作が必要な運転モードである。例えば、モードＤでは、ＡＣＣ（Adaptive Cruise Control）やＬＫＡＳ（Lane Keeping Assist System）といった運転支援が行われる。モードＥでは、操舵、加減速ともに運転者による運転操作が必要な手動運転の状態となる。モードＤ、モードＥともに、当然ながら運転者には自車両Ｍの前方を監視するタスクが課される。

自動運転制御装置１００（および運転支援装置（不図示））は、運転モードに応じた自動車線変更を実行する。自動車線変更には、システム要求による自動車線変更（１）と、運転者要求による自動車線変更（２）がある。自動車線変更（１）には、前走車両の速度が自車両の速度に比して基準以上に小さい場合に行われる、追い越しのための自動車線変更と、目的地に向けて進行するための自動車線変更（推奨車線が変更されたことによる自動車線変更）とがある。自動車線変更（２）は、速度や周辺車両との位置関係等に関する条件が満たされた場合において、運転者により方向指示器が操作された場合に、操作方向に向けて自車両Ｍを車線変更させるものである。

自動運転制御装置１００は、モードＡにおいて、自動車線変更（１）および（２）のいずれも実行しない。自動運転制御装置１００は、モードＢおよびＣにおいて、自動車線変更（１）および（２）のいずれも実行する。運転支援装置（不図示）は、モードＤにおいて、自動車線変更（１）は実行せず自動車線変更（２）を実行する。モードＥにおいて、自動車線変更（１）および（２）のいずれも実行されない。

図４の説明に戻る。モード制御部１５０は、決定した運転モードに係るタスクが運転者により実行されない場合に、よりタスクが重度な運転モードに自車両Ｍの運転モードを変更する。

例えば、モードＡにおいて運転者が、システムからの要求に応じて手動運転に移行できない体勢である場合（例えば許容エリア外の脇見を継続している場合や、運転困難となる予兆が検出された場合）、モード制御部１５０は、ＨＭＩ３０を用いて運転者に手動運転への移行を促し、運転者が応じなければ自車両Ｍを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。自動運転を停止した後は、自車両はモードＤまたはＥの状態になり、運転者の手動操作によって自車両Ｍを発進させることが可能となる。以下、「自動運転を停止」に関して同様である。モードＢにおいて運転者が前方を監視していない場合、モード制御部１５０は、ＨＭＩ３０を用いて運転者に前方監視を促し、運転者が応じなければ自車両Ｍを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。モードＣにおいて運転者が前方を監視していない場合、或いはステアリングホイール８２を把持していない場合、モード制御部１５０は、ＨＭＩ３０を用いて運転者に前方監視を、および／またはステアリングホイール８２を把持するように促し、運転者が応じなければ自車両Ｍを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。

運転者状態判定部１５２は、上記のモード変更のために、ドライバモニタカメラ７０の画像とステアリング把持センサ８４の検知信号とに基づいて、運転者がタスクをこなせる状態にあるのか否かを判定する。

例えば、運転者状態判定部１５２は、ドライバモニタカメラ７０の画像を解析して運転者の姿勢を推定し、その推定した姿勢を基に、運転者が、システムからの要求に応じて手動運転に移行できる体勢であるのか否かを判定する。

運転者状態判定部１５２は、ドライバモニタカメラ７０の画像を解析して運転者の視線又は顔の向きを推定し、その推定した視線又は顔の向き（以下、視線方向という）を基に、運転者が自車両Ｍの前方を監視しているか否かを判定する。視線方向は「第１方向」の一例である。

例えば、運転者状態判定部１５２は、テンプレートマッチング等の手法を用いて、ドライバモニタカメラ７０の画像から運転者の頭部と目の位置関係、目における基準点と動点の組み合わせ等を検出する。そして、運転者状態判定部１５２は、頭部に対する目の相対位置に基づいて顔の向きを推定する。また、運転者状態判定部１５２は、基準点に対する動点の位置に基づいて、運転者の視線の向きを推定する。例えば、基準点が目頭である場合、動点は虹彩となる。また、基準点が角膜反射領域である場合、動点は瞳孔となる。

また、運転者状態判定部１５２は、ステアリング把持センサ８４の検知信号に基づいて、運転者がステアリングホイール８２を把持しているか否かを判定する。

モード決定部１５４は、運転者状態判定部１５２の判定結果に応じて自車両Ｍの運転モードを決定する。

機器制御部１５６は、モード決定部１５４によって決定された自車両Ｍの運転モードと、運転者状態判定部１５２による判定結果とに基づいて、ＨＭＩ３０などの車載機器を制御する。例えば、機器制御部１５６は、ＨＭＩ３０を用いて、各運転モードに応じたタスクをこなすよう運転者に促す情報を出力したり、運転者の視線を誘導する情報を出力したりする。

図６及び図７は、運転者の視線を誘導する方法を説明するための図である。図中Ｆは、フロントウィンドウシールドを表し、Ｐ１は、運転者の視線位置を表し、Ｐ２は、運転者が注視すべき対象物Ｔの代表的な位置（例えば対象物Ｔの中心座標など）を表している。

例えば、運転者がフロントウィンドウシールドＦやその下部のインストルメントパネルＩＰ（インストルメントパネルＩＰに設置されたインストルメントパネルディスプレイ３２Ｂ、ディスプレイメーター３２Ｃ、センターディスプレイ３２Ｄも含まれる）に視線を向けたとする。この場合、その運転者の視線方向を表すベクトル（以下、視線ベクトルという）は、フロントウィンドウシールドＦやインストルメントパネルＩＰ上の一点において交差することになる。つまり、運転者の視線位置Ｐ１は、フロントウィンドウシールドＦやインストルメントパネルＩＰといった内装部材の表面（車内側の面）上において視線ベクトルが交差した交点となる。図示の例では、運転者の視線位置Ｐ１は、フロントウィンドウシールドＦ上における視線ベクトルの交点である。

対象物Ｔの位置Ｐ２は、運転者から見て対象物Ｔが存在する方向を表すベクトル（以下、対象ベクトルという）がフロントウィンドウシールドＦ上において交差した交点である。対象物Ｔが存在する方向は、「第２方向」の一例である。

例えば、機器制御部１５６は、Ｐ１からＰ２へと至る直線経路を算出する。つまり、機器制御部１５６は、現在の運転者の視線方向から、対象物Ｔが存在する方向へと至る視線の移動経路を算出する。機器制御部１５６は、経路を算出すると、ＨＵＤ３２Ａ、インストルメントパネルディスプレイ３２Ｂ、ディスプレイメーター３２Ｃ、及びセンターディスプレイ３２Ｄの中から、算出した経路上に存在する又は経路に最も近い一つ又は複数のディスプレイを選択し、その選択した一つ以上のディスプレイに視線誘導オブジェクトＯＢ１を表示させる。

視線誘導オブジェクトＯＢ１とは、運転者の視線を対象物Ｔに向けるように誘導するための表示オブジェクトである。図示のように、視線誘導オブジェクトＯＢ１は、対象物Ｔ（Ｐ２）を指し示す矢印であってよい。矢印は、対象物Ｔに近づくほど色が薄くなるようにグラデーション表示されてよい。視線誘導オブジェクトＯＢ１は、「第１情報」の一例である。

例えば、運転者がフロントウィンドウシールドＦ越しの風景に視線を向けていた場合、Ｐ１は、ＨＵＤ３２Ａの画面上となる。この場合、Ｐ１からＰ２へと至る直線経路（視線の移動経路）上には、ＨＵＤ３２Ａのみが存在することになる。例えば、機器制御部１５６は、４つのディスプレイの中からＨＵＤ３２Ａを選択し、その選択したＨＵＤ３２Ａに視線誘導オブジェクトＯＢ１を表示させる。

また、例えば、運転者がセンターディスプレイ３２Ｄに視線を向けていた場合、Ｐ１は、センターディスプレイ３２Ｄの画面上となる。この場合、Ｐ１からＰ２へと至る直線経路（視線の移動経路）上には、少なくともセンターディスプレイ３２ＤとＨＵＤ３２Ａが存在することになる。例えば、機器制御部１５６は、４つのディスプレイの中から、センターディスプレイ３２ＤとＨＵＤ３２Ａを選択し、その選択した２つのディスプレイのうち、まず先にＰ１に近いセンターディスプレイ３２Ｄに視線誘導オブジェクトＯＢ１を表示させ、次にＨＵＤ３２Ａに視線誘導オブジェクトＯＢ１を表示させる。このように、視線の移動経路に沿った順番でディスプレイに視線誘導オブジェクトＯＢ１を表示させていくことで、運転者の注意をより対象物に惹き付けることができる。

また、機器制御部１５６は、運転者の視線方向と対象物Ｔが存在する方向とに基づいて、視線誘導オブジェクトＯＢ１の表示態様を変更してもよい。

図８は、視線誘導オブジェクトＯＢ１の表示態様の一例を表す図である。図示の例では、Ａ，Ｂ，Ｃ，Ｄの其々の場面で自車両Ｍに対する対象物Ｔの相対位置が異なっている。このような場合、対象物Ｔに至るまでの運転者の視線の移動経路は、場面ごとに異なる。したがって、機器制御部１５６は、各場面に応じて、視線誘導オブジェクトＯＢ１の表示位置や形状、色、濃淡などを変更してよい。

図４の説明に戻る。第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［全体の処理フロー］
以下、フローチャートを用いて、実施形態の自動運転制御装置１００による一連の処理の流れを説明する。図９から図１２は、実施形態の自動運転制御装置１００による一連の処理の流れの一例を示すフローチャートである。

まず、行動計画生成部１４０は、認識部１３０によって認識された一つ又は複数の物体の中に、運転者が注視すべき対象物Ｔが含まれているか否かを判定する（ステップＳ１００）。

例えば、行動計画生成部１４０は、位置や速度、加速度といった物体の状態と、右折や左折、直進といった自車両Ｍの走行状況とに基づいて、認識部１３０によって認識された物体が運転者が注視すべき対象物Ｔであるのか、又はそうでないのかを判定する。より具体的には、行動計画生成部１４０は、右折や左折時に自車両Ｍの側方に存在する歩行者や二輪車（巻き込みやすい物体）などを、運転者が注視すべき対象物Ｔであると判定したり、直進時に自車両Ｍの前方で道路を横断しようとしている歩行者などを、運転者が注視すべき対象物Ｔであると判定したりする。

行動計画生成部１４０は、認識部１３０によって認識された一つ又は複数の物体の中に、運転者が注視すべき対象物Ｔが含まれている場合、自車両Ｍの運転モードが手動運転モード（モードＥ）であるのか否かを判定する（ステップＳ１０２）。

行動計画生成部１４０は、自車両Ｍの運転モードが手動運転モード（モードＥ）である場合、Ｓ２００に処理を進める（図中のＡのフローに処理を進める）。

一方、行動計画生成部１４０は、自車両Ｍの運転モードが手動運転モード（モードＥ）でない場合、更に、自車両Ｍの運転モードが運転支援モード（モードＢ，Ｃ，Ｄ）であるのか否かを判定する（ステップＳ１０４）。

行動計画生成部１４０は、自車両Ｍの運転モードが運転支援モード（モードＢ，Ｃ，Ｄ）である場合、Ｓ３００に処理を進める（図中のＢのフローに処理を進める）。

行動計画生成部１４０は、自車両Ｍの運転モードが運転支援モード（モードＢ，Ｃ，Ｄ）でない場合、すなわち自車両Ｍの運転モードが自動運転モード（モードＡ）である場合、Ｓ４００に処理を進める（図中のＣのフローに処理を進める）。

［手動運転モード下のフロー］
機器制御部１５６は、自車両Ｍの運転モードが手動運転モード（モードＥ）である場合、運転者の視線方向と、運転者から見て対象物Ｔが存在する方向とに基づいて、ＨＭＩ３０に視線誘導オブジェクトＯＢ１を表示させる（ステップＳ２００）。

上述したように、機器制御部１５６は、現在の運転者の視線方向から、対象物Ｔが存在する方向へと至る視線の移動経路を算出し、ＨＵＤ３２Ａ、インストルメントパネルディスプレイ３２Ｂ、ディスプレイメーター３２Ｃ、及びセンターディスプレイ３２Ｄの中から、算出した経路上に存在する又は経路に最も近い一つ又は複数のディスプレイを選択し、その選択した一つ以上のディスプレイに視線誘導オブジェクトＯＢ１を表示させてよい。更に、機器制御部１５６は、運転者の視線方向と対象物Ｔが存在する方向とに基づいて、視線誘導オブジェクトＯＢ１の表示態様を変更してもよい。

次に、機器制御部１５６は、ＨＭＩ３０に運転操作オブジェクトＯＢ２を表示させる（ステップＳ２０２）。運転操作オブジェクトＯＢ２とは、手動運転モード下において運転者がすべき運転操作を報知するための表示オブジェクトである。運転操作オブジェクトＯＢ２は、「第２情報」の一例である。

図１３は、視線誘導オブジェクトＯＢ１及び運転操作オブジェクトＯＢ２の一例を表す図である。例えば、運転者が視線を向けている位置から左上側に対象物Ｔが存在する場合、視線誘導オブジェクトＯＢ１は、左上側を指し示す矢印となる。また、対象物Ｔが左側に存在するため、自車両Ｍを右側へと操舵することが好ましい。従って、図示のように、機器制御部１５６は、運転者にステアリングホイール８２を右側に切るように誘導する運転操作オブジェクトＯＢ２を表示させる。

次に、行動計画生成部１４０は、自車両Ｍと対象物Ｔとの相対的な位置関係が所定条件を満たすか否かを判定する（ステップＳ２０４）。所定条件は、緊急とみなすことができる程度に自車両Ｍと対象物Ｔとが空間的又は時間的に近い条件である。

例えば、行動計画生成部１４０は、自車両Ｍと対象物Ｔとの相対距離が第１閾値未満である場合、所定条件を満たすと判定し、相対距離が第１閾値以上である場合、所定条件を満たさないと判定してよい。

また、行動計画生成部１４０は、自車両Ｍと対象物Ｔとの相対速度が第２閾値以上である場合、所定条件を満たすと判定し、相対速度が第２閾値未満である場合、所定条件を満たさないと判定してよい。

また、行動計画生成部１４０は、自車両Ｍと対象物ＴとのＴＴＣ（Time To Collision）が第３閾値未満である場合、所定条件を満たすと判定し、ＴＴＣが第３閾値以上である場合、所定条件を満たさないと判定してよい。

行動計画生成部１４０は、所定条件を満たすと判定すると、自車両Ｍを減速させるための目標軌道を生成する。これを受けて第２制御部１６０は、その目標軌道に基づいて自車両Ｍの速度を制御することで、自車両Ｍを減速させて停止させる（ステップＳ２０６）。

一方、行動計画生成部１４０は、所定条件を満たさないと判定すると、Ｓ２０６の処理を省略して本フローチャートの処理を終了する。

［運転支援モード下のフロー］
機器制御部１５６は、自車両Ｍの運転モードが運転支援モード（モードＢ，Ｃ，Ｄ）である場合、Ｓ２００の処理同様に、運転者の視線方向と、運転者から見て対象物Ｔが存在する方向とに基づいて、ＨＭＩ３０に視線誘導オブジェクトＯＢ１を表示させる（ステップＳ３００）。

次に、機器制御部１５６は、ＨＭＩ３０に運転操作オブジェクトＯＢ２を表示させる（ステップＳ３０２）。

次に、機器制御部１５６は、ＨＭＩ３０を用いて運転者にテイクオーバーを要求する（ステップＳ３０４）。

図１４は、テイクオーバー要求の一例を表す図である。図示のように、機器制御部１５６は、テイクオーバー要求時に、運転操作オブジェクトＯＢ２として表示されるステアリングホイール８２の画像上に、運転者の手を表す表示オブジェクトＯＢ３を重畳させて表示する。この際、機器制御部１５６は、ＨＭＩ３０のスピーカを介して、テイクオーバーを要求するような音声を出力してもよい。運転者の手を表す表示オブジェクトＯＢ３は、「第３情報」の一例である。

次に、行動計画生成部１４０は、テイクオーバーの要求に応じて自車両Ｍの運転が運転者に交代されたか否かを判定する（ステップＳ３０６）。例えば、行動計画生成部１４０は、テイクオーバーの要求以降に、運転者が自車両Ｍの前方を監視しており、かつ運転者がステアリングホイール８２を把持していると運転者状態判定部１５２によって判定された場合、自車両Ｍの運転が運転者に交代されたと判定してよい。

行動計画生成部１４０は、自車両Ｍの運転が運転者に交代されたと判定した場合、Ｓ２００に処理を進める（図中のＡのフローに処理を進める）。

一方、行動計画生成部１４０は、自車両Ｍの運転が運転者に交代されたと判定した場合、自車両Ｍと対象物Ｔとの相対的な位置関係が所定条件を満たすか否かを判定する（ステップＳ３０８）。

行動計画生成部１４０は、所定条件を満たさないと判定すると、Ｓ３０６に処理を戻し、再度、自車両Ｍの運転が運転者に交代されたか否かを判定する。

一方、行動計画生成部１４０は、所定条件を満たすと判定すると、自車両Ｍを減速させるための目標軌道を生成する。これを受けて第２制御部１６０は、その目標軌道に基づいて自車両Ｍの速度を制御することで、自車両Ｍを減速させて停止させる（ステップＳ３１０）。これによって本フローチャートの処理が終了する。

［自動運転モード下のフロー］
機器制御部１５６は、自車両Ｍの運転モードが自動運転モード（モードＡ）である場合、Ｓ２００やＳ３００の処理同様に、運転者の視線方向と、運転者から見て対象物Ｔが存在する方向とに基づいて、ＨＭＩ３０に視線誘導オブジェクトＯＢ１を表示させる（ステップＳ４００）。

次に、運転者状態判定部１５２は、視線誘導オブジェクトＯＢ１が表示された後にドライバモニタカメラ７０によって撮像された画像から運転者の視線方向を推定し、その推定した視線方向に基づいて、運転者が注視すべき対象物Ｔに視線を向けたか否かを判定する（ステップＳ４０２）。

例えば、運転者状態判定部１５２は、運転者の視線方向のベクトルである視線ベクトルと、対象物Ｔが存在する方向のベクトルである対象ベクトルとのなす角度が第４閾値未満であれば、運転者が注視すべき対象物Ｔに視線を向けたと判定し、なす角度が第４閾値以上であれば、運転者が注視すべき対象物Ｔに視線を向けていないと判定してよい。

運転者状態判定部１５２は、運転者が注視すべき対象物Ｔに視線を向けたと判定した場合、Ｓ３００に処理を進める（図中のＢのフローに処理を進める）。

一方、行動計画生成部１４０は、運転者が注視すべき対象物Ｔに視線を向けていないと判定された場合、自車両Ｍと対象物Ｔとの相対的な位置関係が所定条件を満たすか否かを判定する（ステップＳ４０４）。

機器制御部１５６は、所定条件を満たさないと判定されると、ＨＭＩ３０を用いて運転者に注意喚起を行い（ステップＳ４０６）、その後Ｓ４０２に処理を戻す。

図１５は、注意喚起の一例を表す図である。図示のように、例えば、機器制御部１５６は、ＨＭＩ３０のディスプレイに視線誘導オブジェクトＯＢ１として表示させた矢印を点滅させたり、ＨＭＩ３０のスピーカから注意喚起を促す音声を出力したりする。

行動計画生成部１４０は、所定条件を満たすと判定すると、自車両Ｍを減速させるための目標軌道を生成する。これを受けて第２制御部１６０は、その目標軌道に基づいて自車両Ｍの速度を制御することで、自車両Ｍを減速させて停止させる（ステップＳ４０８）。これによって本フローチャートの処理が終了する。

なお、上述したフローチャートの説明では、運転者が注視すべき対象物Ｔが一つである場合について説明したがこれに限られない。例えば、運転者が注視すべき複数の対象物Ｔが存在する場合、機器制御部１５６は、それら複数の対象物Ｔの中から、空間的又は時間的に、自車両Ｍとの衝突の蓋然性がより高い上位所定数Ｋの対象物Ｔを選択してよい。Ｋは任意の自然数である。機器制御部１５６は、所定数Ｋの対象物Ｔを選択すると、選択した各対象物Ｔの方向を指し示す視線誘導オブジェクトＯＢ１を表示する。このように、視線誘導オブジェクトＯＢ１によってその方向を指し示す対象物Ｔを、自車両Ｍとの衝突の蓋然性を基に取捨選択してよい。

また、機器制御部１５６は、自車両Ｍの周囲の状況に合わせて視線誘導オブジェクトＯＢ１を切り替えながら表示してよい。例えば、ある時刻ｔ１において運転者が注視すべき対象物Ｔであった物体が、次の時刻ｔ２において対象物Ｔでなくなったり、衝突の蓋然性が低下したりすることがある。このような場合、対象物Ｔとして扱われる物体が時々刻々と移り変わっていく。機器制御部１５６は、対象物Ｔが時々刻々と切り替わる場合、その切り替わる対象物Ｔに合わせて視線誘導オブジェクトＯＢ１を表示してよい。この際、機器制御部１５６は、ヒステリシスをもたせて視線誘導オブジェクトＯＢ１を表示してよい。

以上説明した実施形態によれば、自動運転制御装置１００は、運転者が注視すべき対象物Ｔが自車両Ｍの周辺に存在する場合、運転者の視線方向と、運転者から見て対象物Ｔが存在する方向とに基づいて、運転者の視線を対象物Ｔに向けるように誘導する視線誘導オブジェクトＯＢ１を、ＨＭＩ３０に含まれる一つ又は複数のディスプレイに表示させる。更に、自動運転制御装置１００は、運転者の視線方向に基づいて、複数のディスプレイの中から視線誘導オブジェクトＯＢ１を表示させる少なくとも一つのディスプレイを決定したり、ディスプレイに表示させる視線誘導オブジェクトＯＢ１の態様を決定したりする。これによって、運転者は、今視線を向けている方向から、その他の方向に視線を向けることなく、直接的に対象物Ｔに視線を向けることができる。この結果、運転者はより速やかに対象物Ｔを確認することができ、より安全に自車両Ｍを運転することができる。

［ハードウェア構成］
図１６は、実施形態の自動運転制御装置１００のハードウェア構成の一例を表す図である。図示するように、自動運転制御装置１００は、通信コントローラ１００－１、ＣＰＵ１００－２、ワーキングメモリとして使用されるＲＡＭ１００－３、ブートプログラム等を格納するＲＯＭ１００－４、フラッシュメモリやＨＤＤ等の記憶装置１００－５、ドライブ装置１００－６等が、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００－１は、自動運転制御装置１００以外の構成要素との通信を行う。記憶装置１００－５には、ＣＰＵ１００－２が実行するプログラム１００－５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）等によってＲＡＭ１００－３に展開されて、ＣＰＵ１００－２によって実行される。これによって、第１制御部および第２制御部１６０のうち一部または全部が実現される。

上記説明した実施形態は、以下のように表現することができる。
プログラムを格納したメモリと、
プロセッサと、を備え、
前記プロセッサが前記プログラムを実行することにより、
車両の周辺に存在する物体である周辺物体の状態及び前記車両の走行状況を認識し、
前記車両の運転者の視線の向きである第１方向を検出し、
前記周辺物体の状態及び前記走行状況に基づいて、前記周辺物体が前記運転者によって注視されるべき対象物であるのか否かを判定し、
前記周辺物体が前記対象物であると判定した場合、前記第１方向と、前記運転者から見て前記対象物が存在する方向である第２方向とに基づいて、前記運転者の視線を前記対象物に向けるように誘導する第１情報を、一つ又は複数の表示部に表示させ、
前記第１方向に基づいて、前記複数の表示部の中から前記第１情報を表示させる少なくとも一つの表示部を決定する、又は前記表示部に表示させる前記第１情報の態様を決定する、
ように構成されている、運転支援装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…カメラ、１２…レーダ装置、１４…ＬＩＤＡＲ、１６…物体認識装置、２０…通信装置、３０…ＨＭＩ、４０…車両センサ、５０…ナビゲーション装置、６０…ＭＰＵ、７０…ドライバモニタカメラ、８０…運転操作子、８２…ステアリングホイール、８４…ステアリング把持センサ、１００…自動運転制御装置、１２０…第１制御部、１３０…認識部、１４０…行動計画生成部、１５０…モード制御部、１５２…運転者状態判定部、１５４…モード決定部、１５６…機器制御部、１６０…第２制御部、１６２…取得部、１６４…速度制御部、１６６…操舵制御部、１８０…記憶部、Ｍ…自車両

Claims (12)

1. 車両の周辺に存在する物体である周辺物体の状態及び前記車両の走行状況を認識する認識部と、
   前記車両の運転者の視線の向きである第１方向を検出する検出部と、
   前記認識部によって認識された前記周辺物体の状態及び前記走行状況に基づいて、前記周辺物体が前記運転者によって注視されるべき対象物であるのか否かを判定する判定部と、
   前記判定部によって前記周辺物体が前記対象物であると判定された場合、前記検出部によって検出された前記第１方向と、前記運転者から見て前記対象物が存在する方向である第２方向とに基づいて、前記運転者の視線を前記対象物に向けるように誘導する第１情報を、一つ又は複数の表示部に表示させる表示制御部と、を備え、
   前記表示制御部は、前記検出部によって検出された前記第１方向に基づいて、前記複数の表示部の中から前記第１情報を表示させる少なくとも一つの表示部を決定する、又は前記表示部に表示させる前記第１情報の態様を決定する、
   運転支援装置。
2. 前記表示制御部は、前記第１方向から前記第２方向へと至る視線の移動経路に基づいて、前記複数の表示部の中から前記第１情報を表示させる少なくとも一つの表示部を決定する、又は前記表示部に表示させる前記第１情報の態様を決定する、
   請求項１に記載の運転支援装置。
3. 前記表示制御部は、前記車両の運転モードが手動運転モードである場合、前記第１情報と、前記運転者がすべき手動運転操作を報知するための第２情報とを、前記表示部に表示させる、
   請求項１又は２に記載の運転支援装置。
4. 前記表示制御部は、前記車両の運転モードが、前記車両の前方を監視することが前記運転者に要求される運転支援モードである場合、前記第１情報と、前記運転者がすべき手動運転操作を報知するための第２情報と、前記車両の運転を前記運転者に要求するための第３情報とを、前記表示部に表示させる、
   請求項１から３のうちいずれか一項に記載の運転支援装置。
5. 前記表示制御部は、前記車両の運転モードが、前記車両の前方を監視することが前記運転者に要求されない自動運転モードである場合、前記第１情報を前記表示部に表示させ、
   前記判定部は、前記車両の運転モードが前記自動運転モードである場合、前記表示部に前記第１情報が表示された後に前記検出部によって検出された前記第１方向と、前記第２方向とに基づいて、前記運転者が前記対象物に視線を向けたか否かを判定する、
   請求項１から４のうちいずれか一項に記載の運転支援装置。
6. 前記車両の速度及び操舵の少なくとも一方を制御する運転制御部を更に備え、
   前記運転制御部は、前記自動運転モード下において、前記判定部により前記運転者が前記対象物に視線を向けていないと判定され、かつ前記車両と前記対象物との相対的な位置関係が所定条件を満たす場合、前記車両を減速させる、
   請求項５に記載の運転支援装置。
7. 前記表示制御部は、前記自動運転モード下において、前記判定部により前記運転者が前記対象物に視線を向けたと判定された場合、前記第１情報と、前記運転者がすべき手動運転操作を報知するための第２情報と、前記車両の運転を前記運転者に要求するための第３情報とを、前記表示部に表示させる、
   請求項５又は６に記載の運転支援装置。
8. 前記車両の速度及び操舵の少なくとも一方を制御する運転制御部を更に備え、
   前記運転制御部は、前記表示部に前記第３情報が表示された後に前記車両の運転が前記運転者に交代されず、かつ前記車両と前記対象物との相対的な位置関係が所定条件を満たす場合、前記車両を減速させる、
   請求項４又は７に記載の運転支援装置。
9. 前記表示制御部は、前記表示部に前記第３情報が表示された後に前記車両の運転が前記運転者に交代された場合、前記第１情報と前記第２情報とを、前記表示部に表示させる、
   請求項８に記載の運転支援装置。
10. 前記車両の速度及び操舵の少なくとも一方を制御する運転制御部を更に備え、
    前記運転制御部は、前記表示部に前記第１情報及び前記第２情報が表示された後に、前記車両と前記対象物との相対的な位置関係が所定条件を満たす場合、前記車両を減速させる、
    請求項３又は９に記載の運転支援装置。
11. 車両に搭載されたコンピュータが、
    前記車両の周辺に存在する物体である周辺物体の状態及び前記車両の走行状況を認識し、
    前記車両の運転者の視線の向きである第１方向を検出し、
    前記周辺物体の状態及び前記走行状況に基づいて、前記周辺物体が前記運転者によって注視されるべき対象物であるのか否かを判定し、
    前記周辺物体が前記対象物であると判定した場合、前記第１方向と、前記運転者から見て前記対象物が存在する方向である第２方向とに基づいて、前記運転者の視線を前記対象物に向けるように誘導する第１情報を、一つ又は複数の表示部に表示させ、
    前記第１方向に基づいて、前記複数の表示部の中から前記第１情報を表示させる少なくとも一つの表示部を決定する、又は前記表示部に表示させる前記第１情報の態様を決定する、
    運転支援方法。
12. 車両に搭載されたコンピュータに、
    前記車両の周辺に存在する物体である周辺物体の状態及び前記車両の走行状況を認識すること、
    前記車両の運転者の視線の向きである第１方向を検出すること、
    前記周辺物体の状態及び前記走行状況に基づいて、前記周辺物体が前記運転者によって注視されるべき対象物であるのか否かを判定すること、
    前記周辺物体が前記対象物であると判定した場合、前記第１方向と、前記運転者から見て前記対象物が存在する方向である第２方向とに基づいて、前記運転者の視線を前記対象物に向けるように誘導する第１情報を、一つ又は複数の表示部に表示させること、
    前記第１方向に基づいて、前記複数の表示部の中から前記第１情報を表示させる少なくとも一つの表示部を決定する、又は前記表示部に表示させる前記第１情報の態様を決定すること、
    を実行させるためのプログラム。

Images