JP2018133032A - 運転切替支援装置、及び運転切替支援方法 - Google Patents

Abstract

【課題】自動運転から手動運転への切替時に、車両の周辺状況と運転者の視線動向とに応じた適切な安全確認を促すことができる運転切替支援装置を提供すること。【解決手段】車両の走行制御を自動的に行う自動運転から運転者による手動運転に切り替え可能な車両に搭載される運転切替支援装置１０であって、手動運転へ切り替える前に、運転者の視線を検出する視線検出部１２で検出されたデータと、車両の周辺に存在する対象物を検出する対象物検出部１９で検出されたデータとを用い、運転者の視線と対象物との関係を判定する視線判定部１４と、視線判定部１４による判定結果に基づいて、運転者に注意を促す処理を行う注意督促処理部１５と、注意督促処理部１５による督促処理後、対象物が視認された場合、自動運転から手動運転への切り替えを許可する信号を自動運転制御装置３０に出力する信号出力部１７を装備する。【選択図】 図２

Description

本発明は運転切替支援装置、及び運転切替支援方法に関し、より詳細には、車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替えを支援する運転切替支援装置、及び運転切替支援方法に関する。

近年、車両の走行制御を自動的に行う自動運転の実現に向けて研究開発が活発に行われている。自動運転の技術レベルには、走行制御（加速、操舵、制動など）の一部を自動化したレベル、これらを複合化、高度化したレベル、さらに完全自動化のレベルまでいくつかのレベルが存在しているが、多くのレベルで走行中に自動運転と手動運転とを切り替える状況が発生することが想定されている。自動運転中は、運転者が運転以外の作業を行ったり、運転者の覚醒度が低下する可能性がある。そのため、自動運転から手動運転への引き継ぎが安全に行われるように運転者を支援する必要があり、これらに関する技術も検討されている。

例えば、下記の特許文献１には、自動運転区間が終了するときに、安全確認用の指標を安全確認すべき車内の位置、例えば、フロントウインドウ、ルームミラー、左右のサイドウインドウに提示し、該提示された指標に対するユーザの指差確認動作をカメラで検出し、該検出結果に基づき車両を制御する技術、例えば、運転者が指差確認動作を怠った虞がある場合には、車両の減速や車間を拡大させてから自動走行を解除する技術が開示されている。

［発明が解決しようとする課題］
特許文献１記載の技術では、自動運転から手動運転へ切り替えられる際に、フロントウインドウ、ルームミラー、左右のサイドウインドウに安全確認用の指標が提示される。しかしながら、これら指標の提示には、自車周辺に存在する他車などの注意すべき対象物や走行中における運転者の視線動向について何ら考慮されておらず、これら状況に応じた的確な安全確認を促すことができないという課題があった。

特開２０１５−１８４９７５号公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、自動運転から手動運転へ切り替えられる際に、車両の周辺状況と運転者の視線動向とに応じた的確な安全確認を促すことができる運転切替支援装置、及び運転切替支援方法を提供することを目的としている。

上記目的を達成するために本発明に係る運転切替支援装置（１）は、車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替えを支援する運転切替支援装置であって、
前記手動運転へ切り替える前に、前記運転者の視線を検出する視線検出部で検出されたデータと、前記車両の周辺に存在する対象物を検出する対象物検出部で検出されたデータとを用い、前記運転者の視線と前記対象物との関係を判定する視線判定部と、
該視線判定部による判定結果に基づいて、前記運転者に注意を促す処理を行う注意督促処理部と、
該注意督促処理部による督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力する信号出力部とを備えていることを特徴としている。

上記運転切替支援装置（１）によれば、前記手動運転へ切り替える前に、前記視線検出部で検出されたデータと、前記対象物検出部で検出されたデータとを用い、前記運転者の視線と前記対象物との関係が判定され、該判定結果に基づいて、前記運転者に注意を促す督促処理が行われるので、前記車両の周辺状況と前記運転者の視線動向と応じた的確な安全確認を促すことができ、前記手動運転への引き継ぎを安全に行うことができる。

また本発明に係る運転切替支援装置（２）は、上記運転切替支援装置（１）において、前記視線判定部が、前記対象物の方向とは異なる方向に前記運転者の視線が滞留しているか否かを判定するものであり、
前記視線判定部により、前記対象物の方向とは異なる方向に前記運転者の視線が滞留していると判定された場合に、前記注意督促処理部が、前記運転者に注意を促す督促処理を行うものであることを特徴としている。

上記運転切替支援装置（２）によれば、前記対象物の方向とは異なる方向に前記運転者の視線が滞留していると判定された場合に、前記運転者に注意を促す督促処理が行われるので、該督促処理により前記運転者は、自身の視線の方向とは異なる方向に存在する前記対象物を速やかに確認することができ、車両周囲の状況をもれなく確認できる。

また本発明に係る運転切替支援装置（３）は、上記運転切替支援装置（１）において、 前記手動運転へ切り替える前に、前記運転者の状態を検出する運転者状態検出部で検出されたデータに基づいて、前記運転者が手動運転可能な状態であるか否かを判定する運転者状態判定部を備え、
前記視線判定部が、前記対象物の方向とは異なる方向に前記運転者の視線が滞留しているか否かを判定するものであり、
前記運転者状態判定部により、前記運転者が手動運転可能な状態であると判定され、かつ前記視線判定部により、前記対象物の方向とは異なる方向に前記運転者の視線が滞留していると判定された場合、前記注意督促処理部が、前記運転者に注意を促す督促処理を行うものであることを特徴としている。

上記運転切替支援装置（３）によれば、前記運転者状態判定部により、前記運転者が手動運転可能な状態であると判定され、かつ前記視線判定部により、前記対象物の方向とは異なる方向に前記運転者の視線が滞留していると判定された場合、前記運転者に注意を促す督促処理が行われるので、該督促処理により前記運転者は、自身の視線の方向とは異なる方向に存在する前記対象物を速やかに確認することができ、前記手動運転可能な状態で車両周囲の状況をもれなく確認できる。

また本発明に係る運転切替支援装置（４）は、上記運転切替支援装置（１）〜（３）のいずれかにおいて、前記注意督促処理部による督促処理後、前記視線検出部で検出されたデータと前記対象物検出部で検出されたデータとを用い、前記対象物が前記運転者により視認されたか否かを判定する視認判定部を備え、
前記所定の条件が、前記視認判定部により、前記対象物が前記運転者により視認されたと判定されることであることを特徴としている。

上記運転切替支援装置（４）によれば、前記督促処理後、前記対象物が前記運転者により視認されたと判定された場合に、前記手動運転への切替を許可する信号が前記自動運転制御部に出力されるので、前記運転者により車両周囲の状況がもれなく確認された後に、前記手動運転への切り替えを行うことができ、該切り替え時の安全性をより高めることができる。

また本発明に係る運転切替支援方法は、車両の走行制御を自動的に行う自動運転から運転者による手動運転に切り替え可能な車両に搭載されるコンピュータが実行する運転切替支援方法であって、
前記手動運転へ切り替える前に、前記運転者の視線を検出する視線検出部で検出されたデータと、前記車両の周辺に存在する対象物を検出する対象物検出部で検出されたデータとを用い、前記運転者の視線と前記対象物との関係を判定する視線判定ステップと、
該視線判定ステップによる判定結果に基づいて、前記運転者に注意を促す処理を行う注意督促処理ステップと、
該注意督促処理ステップによる督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力する信号出力ステップとを含んでいることを特徴としている。

上記運転切替支援方法によれば、前記手動運転へ切り替える前に、前記視線検出部で検出されたデータと、前記対象物検出部で検出されたデータとを用い、前記運転者の視線と前記対象物との関係を判定し、該判定結果に基づいて、前記運転者に注意を促す督促処理を行うので、前記車両の周辺状況と前記運転者の視線動向と応じた適切な安全確認を促すことができ、前記手動運転への引き継ぎを安全に行うことができる。

本発明の実施の形態（１）に係る運転切替支援装置を含む自動運転システムの概略構成を示すブロック図である。 実施の形態（１）に係る運転切替支援装置の概略構成を示すブロック図である。 実施の形態（１）に係る運転切替支援装置と自動運転制御装置の行う処理動作を示したフローチャートである。 別の実施の形態に係る運転切替支援装置の概略構成を示すブロック図である。

以下、本発明に係る運転切替支援装置、及び運転切替支援方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の技術的範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限定されるものではない。

図１は、実施の形態（１）に係る運転切替支援装置を含む自動運転システムの概略構成を示すブロック図である。図２は、実施の形態（１）に係る運転切替支援装置の概略構成を示すブロック図である。

自動運転システム１は、運転切替支援装置１０と自動運転制御装置３０とを含み、車両の加速、操舵、制動などの走行制御を自動的に行う自動運転機能、及び運転者の操作による手動運転機能を備えている。

自動運転システム１は、運転切替支援装置１０、及び自動運転制御装置３０の他に、ドライバモニタ装置２０、動力源制御装置４０、操舵制御装置５０、制動制御装置６０、アクセルペダルセンサ７１、操舵センサ７２、ブレーキペダルセンサ７３、周辺監視センサ７４、ナビゲーションシステム８０、ＨＭＩ（Human Machine Interface）９０、通信装置１００など、自動運転及び手動運転の制御に必要な各種センサや制御装置などが含まれている。これら各種センサや制御装置が通信バス２を介して接続されている。

運転切替支援装置１０は、自動運転から手動運転への切り替えを支援するための注意督促処理や信号出力処理などの各種制御を実行する装置であり、制御部１０ａ、記憶部１０ｂ、図示しない各種信号の入力部、及び出力部などを備えている。制御部１０ａは、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含むマイクロプロセッサを備え、ＲＯＭに記憶されているプログラムをＲＡＭに読出し、ＣＰＵで実行することで、各種制御を実行する。運転切替支援装置１０は、自動運転制御装置３０、ドライバモニタ装置２０、周辺監視センサ７４、ナビゲーションシステム８０、ＨＭＩ９０、通信装置１００などに接続され、これらから取得した情報に基づいて、自動運転から手動運転への切り替えを許可する信号、又は不許可とする信号などを自動運転制御装置３０へ出力する制御などを行う。

ドライバモニタ装置２０は、運転者の状態を撮像する１つ以上のカメラ２１を含んで構成されている。ドライバモニタ装置２０は、運転者の撮像が行える位置（例えば運転席前方で運転席側に向けた状態）に設置されている。ドライバモニタ装置２０で逐次撮像された運転者の撮像データが所定のタイミングで運転切替支援装置１０へ出力される。なお、ドライバモニタ装置２０と運転切替支援装置１０とを一体化した装置として構成してもよい。

また、運転者の状態を検出するセンサとして、ドライバモニタ装置２０の他に、図示しないハンドル接触センサ、着座センサ、生体情報センサなどを設けてもよい。ハンドル接触センサや着座センサは、それぞれハンドルや座席に設けた感圧センサや静電容量式センサなどで構成される。生体情報センサは、運転者の生体情報（脈拍、血圧、脳波等）を検出するセンサであり、運転者が身につけるウェアラブルセンサや電波（マイクロ波等）を利用した非接触センサなどで構成される。また、ドライバモニタ装置２０とこれらセンサを組み合わせてもよい。

ドライバモニタ装置２０に搭載されるカメラ２１は、昼夜を問わず運転者の状態を撮像できるように、例えば、赤外光カメラ部（ＣＣＤ、ＣＭＯＳなどのイメージセンサを含む）、赤外光照射部（ＬＥＤ）、インターフェース部、これら各部を制御するカメラ制御部などを含んで構成されている。カメラ制御部が、赤外光カメラ部及び赤外光照射部を制御し、赤外光照射部から赤外光（近赤外線など）を照射し、赤外光カメラ部で赤外光の反射光を撮像する。

自動運転制御装置３０は、車両の自動運転に関する各種制御を実行する装置であり、制御部３０ａ、記憶部３０ｂ、図示しない各種信号の入力部、出力部などを備えた電子制御ユニットで構成されている。制御部３０ａは、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含むマイクロプロセッサを備え、ＲＯＭに記憶されているプログラムをＲＡＭに読出し、ＣＰＵで実行することで、各種の車両制御を実行する。

自動運転制御装置３０は、運転切替支援装置１０の他、動力源制御装置４０、操舵制御装置５０、制動制御装置６０、アクセルペダルセンサ７１、操舵センサ７２、ブレーキペダルセンサ７３、周辺監視センサ７４、ナビゲーションシステム８０、ＨＭＩ９０、通信装置１００などに接続され、これらから取得した情報に基づいて、自動運転を行う制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御、自動速度調整制御、自動制動制御など）を行う。

自動運転とは、運転者が運転操作することなく、自動運転制御装置３０の行う制御によって車両を道路に沿って自動で走行させることをいう。例えば、設定された目的地に向かって自動で車両を走行させる運転状態が含まれる。そして、自動運転制御装置３０は、予め定められた条件を満たした場合、自動運転を終了（解除）する。例えば、自動運転制御装置３０は、自動運転中の車両が予め定められた自動運転の終了地点に到達したと判定した場合に自動運転を終了する。また、自動運転制御装置３０は、運転者が自動運転解除操作（例えば、自動運転解除ボタンの操作、運転者によるハンドル、アクセル又はブレーキの操作など）を行なった場合に、自動運転を終了する制御を行ってもよい。手動運転とは、運転者の運転操作を主体として車両を走行させる運転状態である。

動力源制御装置４０は、車両のエンジンやモーターなどの動力源を制御する電子制御ユニットである。動力源制御装置４０は、例えば、エンジンに対する燃料の供給量及び空気の供給量、又はモーターに対する電気の供給量を制御することで車両の駆動力を制御する。自動運転モードでは、自動運転制御装置３０からの制御信号に応じて車両の駆動力を制御する。

操舵制御装置５０は、車両の電動パワーステアリングシステムを制御する電子制御ユニットである。操舵制御装置５０は、電動パワーステアリングシステムのうち、車両の操舵トルクをコントロールするアシストモータを駆動させることにより、車両の操舵トルクを制御する。自動運転モードでは、自動運転制御装置３０からの制御信号に応じて操舵トルクを制御する。

制動制御装置６０は、車両のブレーキシステムを制御する電子制御ユニットである。制動制御装置６０は、例えば、液圧ブレーキシステムに付与する液圧を調整することで、車両の車輪へ付与する制動力を制御する。自動運転モードでは、自動運転制御装置３０からの制御信号に応じて車輪への制動力を制御する。

アクセルペダルセンサ７１は、アクセルペダルの踏込み量（アクセルペダルの位置）を検出するセンサである。アクセルペダルセンサ７１で検出されたアクセルペダルの踏込み量に応じた信号が自動運転制御装置３０や動力源制御装置４０へ出力される。

操舵センサ７２は、例えば、車両のステアリングシャフトに設けられ、運転者によりハンドルに与えられる操舵トルクを検出するセンサである。操舵センサ７２で検出された、運転者のハンドル操作に応じた信号が自動運転制御装置３０や操舵制御装置５０へ出力される。

ブレーキペダルセンサ７３は、ブレーキペダルの踏込み量（ブレーキペダルの位置）又は操作力（踏力など）を検出するセンサである。ブレーキペダルセンサ７３で検出されたブレーキペダルの踏込み量や操作力に応じた信号が自動運転制御装置３０や制動制御装置６０へ出力される。

周辺監視センサ７４は、車両の周辺に存在する対象物（車、自転車、人などの移動物体、路面標示（白線など）、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物など）を検出するセンサである。周辺監視センサ７４は、前方監視カメラ、後方監視カメラ、レーダ、ライダー、及び超音波センサのうち少なくとも１つを含む。周辺監視センサ７４で検出された対象物の検出データが運転切替支援装置１０や自動運転制御装置３０へ出力される。前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。

ナビゲーションシステム８０は、設定された目的地までの経路案内などを行う装置であり、ＧＰＳ受信部８１、地図データベース８２、ナビゲーション制御部８３、図示しない表示部、操作部、車速センサ、加速度センサ、ヨーレートセンサなどが含まれる。ＧＰＳ受信部８１は、車両の位置情報（例えば経緯度）を計測する。地図データベース８２には、案内表示用地図データとともに自動運転制御用の高精度地図データが含まれている。これら地図データには、道路の位置（交差、分岐点など）、種別（高速、一般道など）、形状（勾配、曲率半径など）、詳細道路情報（車線、渋滞、車線規制情報など）といった車線単位で経路作成可能な情報が含まれる。

ナビゲーションシステム８０は、ＧＰＳ受信部８１などで計測された車両の位置情報と地図データベース８２の地図情報とに基づいて、車両が走行する道路や車線を割り出し、車両の現在位置から目的地までの経路を演算し、該経路を表示部へ表示し、音声で経路案内を行う。ナビゲーション制御部８３で求められた、車両の位置情報、走行道路の情報、及び案内経路の情報などが運転切替支援装置１０や自動運転制御装置３０へ出力される。案内経路の情報には、自動運転区間の開始・終了地点、自動運転の終了（解除）予告地点などの自動運転の制御に関連する情報も含まれる。

ＨＭＩ（Human Machine Interface）９０は、運転切替支援装置１０や自動運転制御装置３０などから送信されてきた信号に基づいて、自動運転システム１の作動状況や解除情報を視覚や聴覚により運転者に知らせ、運転切替支援装置１０や自動運転制御装置３０に、自動運転制御に関連する操作信号を出力するための装置である。ＨＭＩ９０は、例えば、運転者が視認しやすい位置に設けられた表示部９１、音声出力部９２、操作部９３、及び図示しないマイクなどを含んで構成されている。ＨＭＩ９０にドライバモニタ装置２０を組み込んでもよい。

通信装置１００は、無線通信網（例えば、携帯電話網、ＶＩＣＳ（登録商標）、ＤＳＲＣ（登録商標）などの通信網）を介して各種の情報を取得する装置である。通信装置１００は、車々間通信機能や路車間通信機能を備えてもよい。車々間通信機能や路車間通信機能を備えることにより、例えば、道路脇に設けられた路側送受信機（例えば光ビーコン、ＩＴＳスポット（登録商標））などとの路車間通信により、車両の進路上の道路環境情報（工事や事故などに伴う車線規制情報など）を取得したり、車々間通信により、他車両に関する情報（位置情報、走行制御に関する情報など）や他車両により検出された道路環境情報などを取得することが可能となる。

次に実施の形態（１）に係る運転切替支援装置１０について図２に示すブロック図に基づいて説明する。
運転切替支援装置１０は、運転者状態検出部１１、視線検出部１２、運転者状態判定部１３、視線判定部１４、注意督促処理部１５、視認判定部１６、切替許可信号出力部１７、切替不許可信号出力部１８、及び対象物検出部１９を備えている。例えば、制御部１０ａによりこれら各部の機能が実現される。

運転状態検出部１１は、手動運転へ切り替える前（自動運転が解除される前）に、ドライバモニタ装置２０から取得した撮像データの画像処理を行い、運転者の状態を検出する。手動運転へ切り替える前とは、自動運転から手動運転に切り替えられるタイミングをいう。例えば、運転切替支援装置１０が、自動運転制御装置３０から出力された自動運転終了信号を入力したタイミングである。具体的には、後述する図３に示したステップＳ４、Ｓ５の処理が実行されるタイミングである。運転者の状態を検出する画像処理方法には各種の方法が採用され得る。例えば、撮像データから運転者の顔の輪郭、向き、位置、動き、及び瞬き動作などを示す特徴量の抽出処理や解析処理などを行う。

視線検出部１２は、手動運転へ切り替える前に、ドライバモニタ装置２０から取得した撮像データの画像処理を行い、運転者の視線を検出する。運転者の視線を検出する画像処理方法には各種の方法が採用され得る。例えば、運転者の目の画像部分に写った基準点（動かない部分）と動点（動く部分）との位置関係に基づいて視線の動きを検出する。例えば、可視光カメラを用いる場合は、基準点を目頭、動点を虹彩に設定して位置関係を検出する。赤外光カメラを用いる場合は、基準点を角膜反射、動点を瞳孔に設定して位置関係を検出する。

運転者状態判定部１３は、運転状態検出部１１で検出された運転者の状態を示すデータを用い、運転者の状態を判定し、運転者が手動運転可能な状態であるか否かを判定する。運転者の状態とは、例えば、前方を向いている状態、脇見をしている状態、前方を見ずに作業（読書、飲食、ゲーム、スマートフォン等の操作）をしている状態、眠気を催している状態、居眠りしている状態、急病発作やパニック状態などが含まれる。運転者状態判定部１３は、例えば、運転者が前方を向いている場合、手動運転可能な状態であると判定する。

視線判定部１４は、運転者の視線を検出する視線検出部１２で検出されたデータと、車両の周辺に存在する対象物を検出する対象物検出部１９で検出されたデータとを用い、運転者の視線と対象物との関係を判定する。例えば、運転者の視線動向と対象物の位置とを照合して、前記対象物の方向とは異なる方向に運転者の視線が滞留しているか否かを判定する。

対象物検出部１９は、周辺監視センサ７４で検出された、車両の周辺に存在する対象物（車、自転車、人などの移動物体、路面標示、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物）のデータ、通信装置１００を介して車両外部から取得した対象物のデータ（道路環境情報や他車両に関する情報を含む）などを取り込む処理を行う。
また、上記運転者の視線が滞留しているか否かの判定は、例えば、視線の向き（位置）が、前記対象物が存在しない方向（領域内）に、一定時間以上留まっているか否か、又は所定時間内に一定頻度以上検出されたか否か等により判定するようになっている。

注意督促処理部１５は、運転者状態判定部１３により、運転者が手動運転可能な状態であると判定され、視線判定部１４により、対象物検出部１９で検出された対象物の方向とは異なる方向に運転者の視線が滞留していると判定された場合、前記対象物の方向を見るように、運転者に注意を促す督促処理を行う。

注意督促処理部１５による督促処理後、視線検出部１２は、ドライバモニタ装置２０から取得した撮像データの画像処理を行い、運転者の視線の動きを検出する。視認判定部１６は、視線検出部１２で検出された視線データを用い、対象物の方向に運転者の視線が向けられたか、すなわち対象物を見たか否かを判定する処理を行う。

切替許可信号出力部１７は、視認判定部１６において、対象物の方向に運転者の視線が向けられたと判定された場合、自動運転から手動運転への切り替えを許可する信号（切替許可信号）を自動運転制御装置３０へ出力する処理を行う。

また、切替許可信号出力部１７は、運転者状態判定部１３により運転者が手動運転可能な状態であると判定され、かつ視線判定部１４により対象物の方向に運転者の視線が向けられていると判定された場合、切替を許可する信号を自動運転制御装置３０へ出力する処理を行う。

切替不許可信号出力部１８は、運転者状態判定部１３により運転者が手動運転可能な状態ではない（例えば、居眠り状態、急病発作やパニック状態など）と判定された場合、手動運転への切り替えを許可しない信号（切替不許可信号）を自動運転制御装置３０に出力する処理を行う。

図３は、実施の形態（１）に係る運転切替支援装置１０と自動運転制御装置３０とで行われる処理動作を示したフローチャートである。実施の形態（１）では、目的地までの走行予定経路に高速道路が含まれ、該高速道路のＩＣ（インターチェンジ）入口（本線入口）からＩＣ出口（本線出口）までが自動運転区間に設定されている場合を想定して説明するが、自動運転区間はこれに限定されるものではない。

まず、自動運転制御装置３０では、ステップＳ１において、自動運転制御を開始する処理を行い、自動運転制御を開始する。例えば、高速道路の本線合流後に、手動運転から自動運転への所定の引継条件が成立した場合に、自動的に自動運転制御を開始する。又は、図示しない自動運転切替ボタンの操作（手動操作）があった後、手動運転から自動運転への所定の引継条件が成立した場合に自動運転制御を開始するようにしてもよい。

そして、ステップＳ２において、自動運転終了間近になったか否かを判断する。例えば、ナビゲーションシステム８０から受信した車両の位置情報や自動運転から手動運転への引継地点情報などに基づいて、自動運転終了地点手前（引継地点）に到達したか否かを判断する。具体的には、高速道路のＩＣ入口からＩＣ出口までが自動運転可能区間に設定されている場合、高速道路のＩＣ出口手前の所定地点に到達したか否か、又はＩＣ出口に到達するまでの予測時間が所定時間を切ったか否かを判断する。

ステップＳ２において自動運転終了間近になったと判断すればステップ３に進み、自動運転終了（解除）を知らせる報知処理を行う。例えば、音声出力部９２から「まもなく自動運転区間が終了します。手動運転の準備をしてください。」といった音声を出力させる処理を行い、ステップＳ４に進む。ステップＳ４では、運転切替支援装置１０に自動運転終了信号を出力する処理を行う。

運転切替支援装置１０では、ステップＳ５において、自動運転制御装置３０から自動運転終了信号を入力し、ステップＳ６に進む。ステップＳ６では、ドライバモニタ装置２０から取得した撮像データの画像処理、すなわち、運転者の状態を検出する画像処理と運転者の視線を検出する画像処理を行い、ステップＳ７に進む。なお、ステップＳ６における撮像データの画像処理では、自動運転終了信号入力後の撮像データを用いてもよいし、自動運転解除信号入力前（直前）の撮像データ（記録済みデータ）を用いてもよい。

ステップＳ７では、周辺監視センサ７４、及び通信装置１００のうちの少なくともいずれかから車両の周辺に存在する対象物のデータを取得して対象物を検出する処理を行い、ステップＳ８に進む。車両の周辺に存在する対象物には、車、自転車、人などの移動物体、路上標示、ガードレール、中央分離帯、車線規制用具などの道路設置物、その他車両の走行に影響を与える構造物などが含まれる。

ステップＳ８では、ステップＳ６において運転者の状態を検出したデータに基づいて運転者の状態を判定する処理を行い、ステップＳ９に進む。ステップＳ６で検出される運転者の状態には、例えば、運転者の顔の位置、向き、動き、又は目蓋の動き（瞬き）などの情報が含まれ、ステップＳ８では、これらの情報から、運転者が前方を向いている状態、脇見をしている状態、前方を見ずに作業（読書、飲食、ゲーム、スマートフォン等の操作）をしている状態、眠気を催している状態、居眠りしている状態、急病発作やパニック状態などを判定する。

ステップＳ９では、運転者の状態が手動運転可能な状態であるか否かを判定し、手動運転可能な状態であると判定すればステップＳ１０に進む。手動運転可能な状態には、運転手の顔が前方を向いている状態が含まれる。なお、運転手の体が前方を向いた状態で他の作業（読書、飲食、ゲーム、スマートフォン等の操作等）をしている状態など、短時間で手動運転可能な姿勢に復帰できる状態も含めてもよい。また、ステップＳ９での判定には、ドライバモニタ装置２０のカメラ２１で撮像されたデータの他に、図示しないハンドル接触センサ、着座センサ、生体情報センサなどから得られた運転者の状態を検出したデータを組み合わせて判定してもよい。

ステップＳ１０では、ステップＳ７における車両の周辺に存在する対象物の検出結果に基づき、車両の周辺に監視（注意）すべき対象物が有るか否かを判定する。ステップＳ１０において、車両の周辺に対象物があると判定すればステップＳ１１に進む。ステップＳ１１では、運転者の視線と対象物との関係を判定する処理を行う。例えば、運転者の視線動向（視線推移データ）と対象物の検出情報（運転者から見たときの検出方向又は検出領域を含む情報）とを照合する。

次のステップＳ１２において、対象物の方向とは異なる方向に運転者の視線が滞留しているか否かを判定する。視線が滞留しているか（見過ぎの状態であるか）否かの判定は、例えば、視線の向き（位置）が、前記対象物が存在しない方向（領域内）に、一定時間以上留まっているか否か、又は所定時間内に一定頻度以上検出されたか否か等により判定する。

ステップＳ１２において、対象物の方向とは異なる方向（すなわち、対象物が存在しない方向）に運転者の視線が滞留していると判定すればステップＳ１３に進む。ステップＳ１３では、運転者に注意を促す処理、例えば、対象物の確認を促す督促処理を行う。
例えば、車両が片側３車線の中央車線を走行中であり、走行予定経路が左側のＩＣ出口から高速道路を降りるルートに設定され、自動運転終了の報知がなされて、左側車線後方に車両が１台走行している状況（左後方に対象物が検出されている状況）において、運転者の視線が前方に滞留している（前方のみ見ている）場合、音声出力部９２から「左後方に車がいます。確認してください。」といった音声を出力させる報知処理を行う。

次のステップＳ１４では、ステップＳ１３での運転者に注意を促す、この場合、対象物の確認を促す督促処理後に、ドライバモニタ装置２０から取得した撮像データの画像処理を行い、運転者の視線を検出する処理を行う。次のステップＳ１５では、視線の検出データを用い、ステップＳ１３で報知された対象物が運転者により視認されたか否か（対象物の方向に視線が向けられたか否か）を判断し、対象物が視認された（上記の例では、左後方に視線が向けられた）と判断すればステップＳ１６に進む一方、対象物が運転者により視認されていないと判断すればステップＳ１４に戻り処理を繰り返す。ステップ１６では、自動運転から手動運転への切り替えを許可する信号（切替許可信号）を自動運転制御装置３０へ出力する処理を行う。

一方ステップＳ１２において、対象物の方向と異なる方向（対象物が存在しない方向）に視線が滞留していない（換言すれば、対象物の方向に視線が向けられている）と判定すればステップＳ１６に進み、自動運転から手動運転への切り替えを許可する信号を自動運転制御装置３０に出力する処理を行う。

また、ステップＳ１０において、車両の周辺に注意すべき対象物がないと判断すれば、ステップＳ１７に進み、運転者の視線が前方以外で滞留していないかを判定する。ステップＳ１７において、視線が前方以外で滞留している（例えば、左右のいずれかの方向に視線が滞留している、又はルームミラーに視線が滞留している）と判定すればステップＳ１８に進み、ステップＳ１８では、前方の確認を促す督促処理を行う。例えば、音声出力部９２から「前方を確認してください。」といった音声を出力させる報知処理を行う。

次のステップＳ１９では、所定時間が経過したか否かを判定し、所定時間が経過したと判定すればステップＳ１６に進む。またステップＳ１７において、視線が前方以外で滞留していない（前方を見ている）と判定すればステップＳ１６に進み、自動運転から手動運転への切り替えを許可する信号を自動運転制御装置３０へ出力する処理を行う。

自動運転制御装置３０では、ステップＳ２０において、運転切替支援装置１０から切替許可信号を入力し、ステップＳ２１において、自動運転制御を終了（解除）し、自動運転から手動運転による走行制御へ切り替える処理を実行し、その後処理を終える。

また一方、ステップＳ９において、運転者が手動運転可能な状態ではない、例えば、居眠りをしている状態、急病発作やパニック状態であると判断すればステップＳ２２に進む。ステップＳ２２では、自動運転から手動運転への切り替えを許可しない信号（切替不許可信号）を自動運転制御装置３０に出力する処理を行う。

自動運転制御装置３０では、ステップＳ２３において、運転切替支援装置から切替不許可信号を入力し、続くステップＳ２４において、切替不許可信号に基づいて、車両を安全な場所（路肩等）に停車させる制御を実行し、その後処理を終える。

なお、上記ステップＳ１４、Ｓ１５の代わりに、ステップＳ１３での対象物の確認を促す督促処理後に、所定時間（対象物の確認に必要な時間）が経過したか否かを判断し、所定時間が経過したと判断すれば、ステップＳ１６に進み、切替許可信号を自動運転制御装置３０に出力する処理を行うようにしてもよい。

上記実施の形態（１）に係る運転切替支援装置１０によれば、手動運転へ切り替える前に、視線検出部１２で検出されたデータと、対象物検出部１９で検出されたデータとを用い、視線判定部１４により、対象物の方向とは異なる方向に運転者の視線が滞留しているか否かが判定される。そして運転者状態判定部１３により、運転者が手動運転可能な状態であると判定され、かつ視線判定部１４により、対象物の方向とは異なる方向に運転者の視線が滞留していると判定された場合に、運転者に注意を促す督促処理が行われる。

したがって、前記督促処理により車両の周辺状況と運転者の視線動向と応じた的確な安全確認を促すことができ、運転者は、手動運転可能な状態で、自身の視線の方向とは異なる方向に存在する前記対象物を速やかに確認することができ、車両周囲の状況をもれなく確認でき、手動運転への引き継ぎを安全に行うことができる。

また、注意督促処理部１５による督促処理後、視認判定部１６により、対象物が運転者により視認されたかと判定された場合、手動運転への切替許可信号が自動運転制御装置３０に出力される。したがって、運転者により車両周囲の状況がもれなく確認された後に、手動運転への切り替えを行うことができ、該切り替え時の安全性をより高めることができる。

また、運転者状態判定部１３により、運転者が手動運転可能な状態であると判定され、かつ視認判定部１４により、対象物の方向とは異なる方向に運転者の視線が滞留していないと判定された場合、すなわち、運転者が手動運転可能な状態であり、かつ運転者により車両周囲の対象物がもれなく確認されている場合、運転者に安全確認動作を強いることなく、速やかに手動運転に切り替えることができる。

なお、上記実施の形態（１）に係る運転切替支援装置１０では、運転者状態検出部１１と運転者状態判定部１３とを備えていたが、図３に示す実施の形態（２）に係る運転切替支援装置１０Ａでは、運転者状態検出部１１と運転者状態判定部１３とを含まない構成とすることもできる。

実施の形態（２）に係る運転切替支援装置１０Ａでは、手動運転へ切り替える前に、運転者の視線を検出する視線検出部１２で検出されたデータと、対象物検出部１９で検出されたデータとを用い、運転者の視線と対象物との関係を視線判定部１４Ａで判定する処理が行われる。

視線判定部１４Ａにより、対象物の方向とは異なる方向に運転者の視線が滞留していると判定された場合、注意督促処理部１５Ａにより、運転者に注意を促す督促処理が行われる。該督促処理後、視認判定部１６により、視線検出部１２で検出された視線データを用い、対象物の方向に運転者の視線が向けられたか、すなわち対象物を見たか否かを判定する処理が行われる。

視認判定部１６により、対象物の方向に運転者の視線が向けられたと判定された場合、切替許可信号出力部１７により、自動運転から手動運転への切り替えを許可する信号が自動運転制御装置３０へ出力される。

また、視線判定部１４Ａにより、対象物の方向に運転者の視線が向けられていると判定された場合、切替許可信号出力部１７から切替許可信号を自動運転制御装置３０へ出力する処理が行われる。

また、視線判定部１４Ａにより、運転者の視線が検出できなかったと判定された場合、例えば、居眠り状態、うつ伏せ状態等、運転者の視線を検出できないような状態であると判定された場合、切替不許可信号出力部１８により、自動運転から手動運転への切り替えを許可しない信号（切替不許可信号）が自動運転制御装置３０に出力される。

上記実施の形態（２）に係る運転切替支援装置１０Ａによれば、上記運転切替支援装置１０と同様、車両の周辺状況と運転者の視線動向とに応じた適切な安全確認を促すことができ、自動運転から手動運転への切り替えを安全に行うことが可能となる。

なお、上記運転切替支援装置１０、１０Ａの一部又は全ての機能を自動運転制御装置３０に組み込んでもよい。また、運転切替支援装置１０、１０Ａの一部又は全ての機能をナビゲーションシステム８０に組み込んで構成してもよい。

（付記１）
車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替えを支援する運転切替支援装置であって、
記憶部と、ハードウェアプロセッサとを有し、
前記記憶部は、
前記運転者の視線を検出する視線検出部で検出されたデータを記憶する視線検出データ記憶部と、
前記車両の周辺に存在する対象物を検出する対象物検出部で検出されたデータを記憶する対象物検出データ記憶部とを有し、
前記ハードウェアプロセッサは、
前記手動運転へ切り替える前に、前記視線検出部で検出されたデータと、前記対象物検出部で検出されたデータとを用い、前記運転者の視線と前記対象物との関係を判定し、
該判定結果に基づいて、前記運転者に注意を促す督促処理を行い、
該督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力する、運転切替支援装置。

（付記２）
車両の走行制御を自動的に行う自動運転から運転者による手動運転に切り替え可能な車両に搭載されるハードウェアプロセッサによって実行する運転切替支援方法であって、
少なくとも１つのハードウェアプロセッサによって、
前記手動運転へ切り替える前に、前記運転者の視線を検出する視線検出部で検出されたデータと、前記車両の周辺に存在する対象物を検出する対象物検出部で検出されたデータとを用い、前記運転者の視線と前記対象物との関係を判定するステップと、
前記判定の結果に基づいて、前記運転者に注意を促す督促処理を行うステップと、
前記督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力するステップとを有する、運転切替支援方法。

１ 自動運転システム
１０、１０Ａ 運転切替支援装置
１１ 運転者状態検出部
１２ 視線検出部
１３ 運転者状態判定部
１４、１４Ａ 視線判定部
１５、１５Ａ 注意督促処理部
１６ 視認判定部
１７ 切替許可信号出力部
１８ 切替不許可信号出力部
１９ 対象物検出部
２０ ドライバモニタ装置
３０ 自動運転制御装置
７４ 周辺監視センサ
８０ ナビゲーションシステム
９０ ＨＭＩ
１００ 通信装置

Claims (5)

1. 車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替えを支援する運転切替支援装置であって、
   前記手動運転へ切り替える前に、前記運転者の視線を検出する視線検出部で検出されたデータと、前記車両の周辺に存在する対象物を検出する対象物検出部で検出されたデータとを用い、前記運転者の視線と前記対象物との関係を判定する視線判定部と、
   該視線判定部による判定結果に基づいて、前記運転者に注意を促す処理を行う注意督促処理部と、
   該注意督促処理部による督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力する信号出力部とを備えていることを特徴とする運転切替支援装置。
2. 前記視線判定部が、前記対象物の方向とは異なる方向に前記運転者の視線が滞留しているか否かを判定するものであり、
   前記視線判定部により、前記対象物の方向とは異なる方向に前記運転者の視線が滞留していると判定された場合に、前記注意督促処理部が、前記運転者に注意を促す督促処理を行うものであることを特徴とする請求項１記載の運転切替支援装置。
3. 前記手動運転へ切り替える前に、前記運転者の状態を検出する運転者状態検出部で検出されたデータに基づいて、前記運転者が手動運転可能な状態であるか否かを判定する運転者状態判定部を備え、
   前記視線判定部が、前記対象物の方向とは異なる方向に前記運転者の視線が滞留しているか否かを判定するものであり、
   前記運転者状態判定部により、前記運転者が手動運転可能な状態であると判定され、かつ前記視線判定部により、前記対象物の方向とは異なる方向に前記運転者の視線が滞留していると判定された場合、前記注意督促処理部が、前記運転者に注意を促す督促処理を行うものであることを特徴とする請求項１記載の運転切替支援装置。
4. 前記注意督促処理部による督促処理後、前記視線検出部で検出されたデータと前記対象物検出部で検出されたデータとを用い、前記対象物が前記運転者により視認されたか否かを判定する視認判定部を備え、
   前記所定の条件が、前記視認判定部により、前記対象物が前記運転者により視認されたと判定されることであることを特徴とする請求項１〜３のいずれかの項に記載の運転切替支援装置。
5. 車両の走行制御を自動的に行う自動運転から運転者による手動運転に切り替え可能な車両に搭載されるコンピュータが実行する運転切替支援方法であって、
   前記手動運転へ切り替える前に、前記運転者の視線を検出する視線検出部で検出されたデータと、前記車両の周辺に存在する対象物を検出する対象物検出部で検出されたデータとを用い、前記運転者の視線と前記対象物との関係を判定する視線判定ステップと、
   該視線判定ステップによる判定結果に基づいて、前記運転者に注意を促す処理を行う注意督促処理ステップと、
   該注意督促処理ステップによる督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力する信号出力ステップとを含んでいることを特徴とする運転切替支援方法。

Images