JP2023058007A - 車両用装置及び車両用推定方法 - Google Patents

Abstract

【課題】車両の自動化レベルに応じて、運転者の異常状態を睡眠状態と区別して推定しやすくすることを可能にしつつも、処理の無駄を抑えることも可能にする。【解決手段】運転者が睡眠状態でない異常状態であるか否かを室内カメラ１９及び生体センサ２０を用いて推定することが可能な運転者状態推定部１０３と、自車が睡眠許可自動運転中か睡眠非許可運転中かを特定する運転特定部１０２とを備え、運転者状態推定部１０３は、運転特定部１０２で睡眠非許可運転中と特定する場合には、室内カメラ１９及び生体センサ２０を用いて運転者が異常状態であるか否かを推定する一方、運転特定部１０２で睡眠許可自動運転中と特定する場合には、室内カメラ１９及び生体センサ２０のうちの室内カメラ１９のみを用いて運転者が異常状態であるか否かを推定する。【選択図】図２

Description

本開示は、車両用装置及び車両用推定方法に関するものである。

特許文献１には、カメラで撮像された運転席の画像に基づいて検出された運転者の頭部が画像の範囲から外れている場合に、運転者が運転不能状態であることを検出する技術が開示されている。

また、車両の自動運転を行う技術が知られている。自動運転の自動化レベルとしては、例えばＳＡＥが定義しているレベル０～５に区分された自動化レベルが知られている。レベル０は、システムが介入せずに運転者が全ての運転タスクを実施するレベルである。レベル０は、いわゆる手動運転に相当する。レベル１は、システムが操舵と加減速とのいずれかを支援するレベルである。レベル２は、システムが操舵と加減速とのいずれをも支援するレベルである。レベル１～２の自動運転は、安全運転に係る監視義務（以下、単に監視義務）が運転者にある自動運転である。レベル３は、高速道路等の特定の場所ではシステムが全ての運転タスクを実施可能であり、緊急時に運転者が運転操作を行うレベルである。レベル４は、対応不可能な道路，極限環境等の特定状況下を除き、システムが全ての運転タスクを実施可能なレベルである。レベル５は、あらゆる環境下でシステムが全ての運転タスクを実施可能なレベルである。レベル３以上の自動運転は、監視義務が運転者にない自動運転である。レベル４以上の自動運転は、運転者の睡眠が許可される自動運転である。

特開２０１８－１７３９９６号

運転者の体勢は、睡眠状態であっても体調不良といった異常状態であっても崩れることがある。よって、特許文献１に開示の技術では、運転者の睡眠状態と異常状態とを区別して検出することが難しかった。

これに対して、運転者の状態を推定するのに用いるセンサの種類を増やすことで、運転者の睡眠状態と異常状態との区別を可能にすることが考えられる。しかしながら、運転者の状態を推定するのに用いるセンサの種類を増やすと、自動化レベルによっては無駄が増えることが考えられる。例えば、ＬＶ４以上の自動運転では、運転者の睡眠が許可されるため、ステアリングといった操作部材に運転者が触れる可能性がより低くなる。ここで、このような操作部材に、運転者の状態を推定するのに用いるセンサが設けられていた場合、このセンサを用いて運転者の状態を推定することは、無駄な処理を増すことになってしまう。

この開示の１つの目的は、車両の自動化レベルに応じて、運転者の異常状態を睡眠状態と区別して推定しやすくすることを可能にしつつも、処理の無駄を抑えることも可能にする車両用装置及び車両用推定方法を提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、１つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

上記目的を達成するために、本開示の車両用装置は、運転者の睡眠が許可される自動化レベルの自動運転である睡眠許可自動運転と、運転者の睡眠が許可されない自動化レベルの運転である睡眠非許可運転との切り替えを実施する車両で用いることが可能な車両用装置であって、運転者が睡眠状態でない異常状態であるか否かを複数種類のセンサを用いて推定することが可能な運転者状態推定部（１０３）と、車両が睡眠許可自動運転中か睡眠非許可運転中かを特定する運転特定部（１０２）とを備え、運転者状態推定部は、運転特定部で睡眠非許可運転中と特定する場合には、複数種類のセンサを用いて運転者が異常状態であるか否かを推定する一方、運転特定部で睡眠許可自動運転中と特定する場合には、睡眠非許可運転中と特定する場合よりも用いるセンサの種類を減らして運転者が異常状態であるか否かを推定する。

上記目的を達成するために、本開示の車両用推定方法は、運転者の睡眠が許可される自動化レベルの自動運転である睡眠許可自動運転と、運転者の睡眠が許可されない自動化レベルの運転である睡眠非許可運転との切り替えを実施する車両で用いることが可能な車両用推定方法であって、少なくとも１つのプロセッサにより実行される、運転者が睡眠状態でない異常状態であるか否かを複数種類のセンサを用いて推定することが可能な運転者状態推定工程と、車両が睡眠許可自動運転中か睡眠非許可運転中かを特定する運転特定工程とを含み、運転者状態推定工程では、運転特定工程で睡眠非許可運転中と特定する場合には、複数種類のセンサを用いて運転者が異常状態であるか否かを推定する一方、運転特定工程で睡眠許可自動運転中と特定する場合には、睡眠非許可運転中と特定する場合よりも用いるセンサの種類を減らして運転者が異常状態であるか否かを推定する。

以上の構成によれば、運転者の睡眠が許可されない自動化レベルの運転である睡眠非許可運転中には、複数種類のセンサを用いて運転者が異常状態であるか否かを推定することで、運転者の異常状態を睡眠状態と区別して推定しやすくなる。一方、運転者の睡眠が許可される自動化レベルの自動運転である睡眠許可自動運転中には、睡眠非許可運転中と特定する場合よりも用いるセンサの種類を減らして運転者が異常状態であるか否かを推定することになる。よって、睡眠許可自動運転中には利用できない場合があるセンサは用いずに、運転者が異常状態であるか否かを推定することが可能になる。その結果、車両の自動化レベルに応じて、運転者の異常状態を睡眠状態と区別して推定しやすくすることを可能にしつつも、処理の無駄を抑えることも可能になる。

車両用システム１の概略的な構成の一例を示す図である。 ＨＣＵ１０の概略的な構成の一例を示す図である。 ＨＣＵ１０での異常推定関連処理の流れの一例を示すフローチャートである。 ＨＣＵ１０での異常時処理の流れの一例を示すフローチャートである。 車両用システム１ａの概略的な構成の一例を示す図である。 ＨＣＵ１０ａの概略的な構成の一例を示す図である。 車両用システム１ｂの概略的な構成の一例を示す図である。 ＨＣＵ１０ｂの概略的な構成の一例を示す図である。 車両用システム１ｃの概略的な構成の一例を示す図である。 ＨＣＵ１０ｃの概略的な構成の一例を示す図である。

図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

（実施形態１）
＜車両用システム１の概略構成＞
以下、本開示の実施形態１について図面を用いて説明する。図１に示す車両用システム１は、自動運転が可能な車両（以下、自動運転車両）で用いることが可能なものである。車両用システム１は、図１に示すように、ＨＣＵ（Human Machine Interface Control Unit）１０、通信モジュール１１、ロケータ１２、地図データベース（以下、地図ＤＢ）１３、車両状態センサ１４、周辺監視センサ１５、車両制御ＥＣＵ１６、自動運転ＥＣＵ１７、シートＥＣＵ１８、室内カメラ１９、生体センサ２０、報知装置２１、及びユーザ入力装置２２を含んでいる。例えば、ＨＣＵ１０、通信モジュール１１、ロケータ１２、地図ＤＢ１３、車両状態センサ１４、周辺監視センサ１５、車両制御ＥＣＵ１６、自動運転ＥＣＵ１７、及びシートＥＣＵ１８は、車内ＬＡＮ（図１のＬＡＮ参照）と接続される構成とすればよい。車両用システム１を用いる車両は、必ずしも自動車に限るものではないが、以下では自動車に用いる場合を例に挙げて説明を行う。

自動運転車両の自動運転の段階（以下、自動化レベル）としては、例えばＳＡＥが定義しているように、複数のレベルが存在し得る。自動化レベルは、例えば以下のようにＬＶ０～５に区分される。

ＬＶ０は、システムが介入せずに運転者が全ての運転タスクを実施するレベルである。運転タスクは動的運転タスクと言い換えてもよい。運転タスクは、例えば操舵、加減速、及び周辺監視とする。ＬＶ０は、いわゆる手動運転に相当する。ＬＶ１は、システムが操舵と加減速とのいずれかを支援するレベルである。ＬＶ１は、いわゆる運転支援に相当する。ＬＶ２は、システムが操舵と加減速とのいずれをも支援するレベルである。ＬＶ２は、いわゆる部分運転自動化に相当する。なお、ＬＶ１～２も自動運転の一部であるものとする。

例えば、ＬＶ１～２の自動運転は、安全運転に係る監視義務（以下、単に監視義務）が運転者にある自動運転とする。つまり、監視義務あり自動運転に相当する。監視義務としては、目視による周辺監視がある。ＬＶ１～２の自動運転は、セカンドタスクが許可されない自動運転と言い換えることができる。セカンドタスクとは、運転者に対して許可される運転以外の行為であって、予め規定された特定行為である。セカンドタスクは、セカンダリアクティビティ，アザーアクティビティ等と言い換えることもできる。セカンドタスクは、自動運転システムからの運転操作の引き継ぎ要求にドライバが対応することを妨げてはならないとされる。一例として、動画等のコンテンツの視聴，スマートフォン等の操作，読書，食事等の行為が、セカンドタスクとして想定される。

ＬＶ３の自動運転は、特定の条件下ではシステムが全ての運転タスクを実施可能であり、緊急時に運転者が運転操作を行うレベルである。ＬＶ３の自動運転では、システムから運転交代の要求があった場合に、運転手が迅速に対応可能であることが求められる。この運転交代は、車両側のシステムから運転者への周辺監視義務の移譲と言い換えることもできる。ＬＶ３は、いわゆる条件付運転自動化に相当する。ＬＶ３としては、特定エリアに限定されるエリア限定ＬＶ３がある。ここで言うところの特定エリアは、高速道路とすればよい。特定エリアは、例えば特定の車線であってもよい。ＬＶ３としては、渋滞時に限定される渋滞限定ＬＶ３もある。渋滞限定ＬＶ３は、例えば高速道路での渋滞時に限定される構成とすればよい。高速道路には、自動車専用道路を含んでもよい。

ＬＶ４の自動運転は、対応不可能な道路，極限環境等の特定状況下を除き、システムが全ての運転タスクを実施可能なレベルである。ＬＶ４は、いわゆる高度運転自動化に相当する。ＬＶ５の自動運転は、あらゆる環境下でシステムが全ての運転タスクを実施可能なレベルである。ＬＶ５は、いわゆる完全運転自動化に相当する。ＬＶ４，ＬＶ５の自動運転は、例えば高精度地図データが整備された走行区間で実施可能とすればよい。高精度地図データについては後述する。

例えば、ＬＶ３～５の自動運転は、監視義務が運転者にない自動運転とする。つまり、監視義務なし自動運転に相当する。ＬＶ３～５の自動運転は、セカンドタスクが許可される自動運転と言い換えることができる。ＬＶ３～５の自動運転のうち、ＬＶ４以上の自動運転が、運転者の睡眠が許可される自動運転に該当する。つまり、睡眠許可自動運転に相当する。ＬＶ３～５の自動運転のうち、レベル３の自動運転が、運転者の睡眠が許可されない自動運転に該当する。本施形態の自動運転車両は、自動化レベルが切り替え可能であるものとする。自動化レベルは、ＬＶ０～５のうちの一部のレベル間でのみ切り替え可能な構成であってもよい。本実施形態の自動運転車両は、少なくとも睡眠許可自動運転とＬＶ３以下の運転（以下、睡眠非許可運転）の実施が可能であるものとする。睡眠非許可運転には、ＬＶ０の手動運転が含まれてもよい。

通信モジュール１１は、自車の外部のセンタとの間で、無線通信を介して情報の送受信を行う。つまり、広域通信を行う。通信モジュール１１は、センタから渋滞情報等を広域通信で受信する。通信モジュール１１は、他車との間で、無線通信を介して情報の送受信を行ってもよい。つまり、車車間通信を行ってもよい。通信モジュール１１は、路側に設置された路側機との間で、無線通信を介して情報の送受信を行ってもよい。つまり、路車間通信を行ってもよい。路車間通信を行う場合、通信モジュール１１は、路側機を介して、自車の周辺車両から送信されるその周辺車両の情報を受信してもよい。また、通信モジュール１１は、センタを介して、自車の周辺車両から送信されるその周辺車両の情報を広域通信で受信してもよい。

ロケータ１２は、ＧＮＳＳ（Global Navigation Satellite System）受信機及び慣性センサを備えている。ＧＮＳＳ受信機は、複数の測位衛星からの測位信号を受信する。慣性センサは、例えばジャイロセンサ及び加速度センサを備える。ロケータ１２は、ＧＮＳＳ受信機で受信する測位信号と、慣性センサの計測結果とを組み合わせることにより、ロケータ１２を搭載した自車の車両位置（以下、自車位置）を逐次測位する。自車位置は、例えば緯度経度の座標で表されるものとすればよい。なお、自車位置の測位には、車両に搭載された車速センサから逐次出力される信号から求めた走行距離も用いる構成としてもよい。

地図ＤＢ１３は、不揮発性メモリであって、高精度地図データを格納している。高精度地図データは、ナビゲーション機能での経路案内に用いられる地図データよりも高精度な地図データである。地図ＤＢ１３には、経路案内に用いられる地図データも格納していてもよい。高精度地図データには、例えば道路の三次元形状情報，車線数情報，各車線に許容された進行方向を示す情報等の自動運転に利用可能な情報が含まれている。他にも、高精度地図データには、例えば区画線等の路面標示について、両端の位置を示すノード点の情報が含まれていてもよい。なお、ロケータ１２は、道路の三次元形状情報を用いることで、ＧＮＳＳ受信機を用いない構成としてもよい。例えば、ロケータ１２は、道路の三次元形状情報と、道路形状及び構造物の特徴点の点群を検出するＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）若しくは周辺監視カメラ等の周辺監視センサ１５での検出結果とを用いて、自車位置を特定する構成としてもよい。道路の三次元形状情報は、ＲＥＭ（Road Experience Management）によって撮像画像をもとに生成されたものであってもよい。

なお、外部サーバから配信される地図データを、通信モジュール１１を介して広域通信で受信し、地図ＤＢ１３に格納してもよい。この場合、地図ＤＢ１３を揮発性メモリとし、通信モジュール１１が自車位置に応じた領域の地図データを逐次取得する構成としてもよい。

車両状態センサ１４は、自車の各種状態を検出するためのセンサ群である。車両状態センサ１４としては、車速センサ，着座センサ，ステアリングトルクセンサ，アクセルセンサ，ブレーキセンサ等がある。車速センサは、自車の速度を検出する。着座センサは、シートへのユーザの着座状態を検出するためのセンサである。一例として、シートの座面に設けられる感圧素子を着座センサとして用いればよい。

ステアリングトルクセンサは、ステアリングホイールに印加される操舵トルクを検出する。アクセルセンサは、アクセルペダルの踏み込みの有無を検出する。アクセルセンサとしては、アクセルペダルに加わる踏力を検出するアクセル踏力センサを用いればよい。アクセルセンサとしては、アクセルペダルの踏み込み量を検出するアクセルストロークセンサを用いてよい。アクセルセンサとしては、アクセルペダルの踏み込み操作の有無に応じた信号を出力するアクセルスイッチを用いてもよい。ブレーキセンサは、ブレーキペダルの踏み込みの有無を検出する。ブレーキセンサとしては、ブレーキペダルに加わる踏力を検出するブレーキ踏力センサを用いればよい。ブレーキセンサとしては、ブレーキペダルの踏み込み量を検出するブレーキストロークセンサを用いてよい。ブレーキセンサとしては、ブレーキペダルの踏み込み操作の有無に応じた信号を出力するブレーキスイッチを用いてもよい。

車両状態センサ１４は、検出したセンシング情報を車内ＬＡＮへ出力する。なお、車両状態センサ１４で検出したセンシング情報は、自車に搭載されるＥＣＵを介して車内ＬＡＮへ出力される構成であってもよい。

周辺監視センサ１５は、自車の周辺環境を監視する。一例として、周辺監視センサ１５は、歩行者，他車等の移動物体、及び路上の落下物等の静止物体といった自車周辺の障害物を検出する。他にも、自車周辺の走行区画線等の路面標示を検出する。周辺監視センサ１５は、例えば、自車周辺の所定範囲を撮像する周辺監視カメラ、自車周辺の所定範囲に探査波を送信するミリ波レーダ、ソナー、ＬＩＤＡＲ等のセンサである。所定範囲は、自車の前後左右を少なくとも部分的に含む範囲としてもよい。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として自動運転ＥＣＵ１７へ逐次出力する。ソナー、ミリ波レーダ、ＬＩＤＡＲ等の探査波を送信するセンサは、障害物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として自動運転ＥＣＵ１７へ逐次出力する。周辺監視センサ１５で検出したセンシング情報は、車内ＬＡＮを介さずに自動運転ＥＣＵ１７に出力される構成としてもよい。

車両制御ＥＣＵ１６は、自車の走行制御を行う電子制御装置である。走行制御としては、加減速制御及び／又は操舵制御が挙げられる。車両制御ＥＣＵ１６としては、操舵制御を行う操舵ＥＣＵ、加減速制御を行うパワーユニット制御ＥＣＵ及びブレーキＥＣＵ等がある。車両制御ＥＣＵ１６は、自車に搭載された電子制御スロットル、ブレーキアクチュエータ、ＥＰＳ（Electric Power Steering）モータ等の各走行制御デバイスへ制御信号を出力することで走行制御を行う。

自動運転ＥＣＵ１７は、例えばプロセッサ、メモリ、Ｉ／Ｏ、これらを接続するバスを備え、メモリに記憶された制御プログラムを実行することで自動運転に関する処理を実行する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。自動運転ＥＣＵ１７は、機能ブロックとして、走行環境認識部、行動判断部、及び制御実行部を備える。

走行環境認識部は、ロケータ１２から取得する自車位置、地図ＤＢ１３から取得する地図データ、及び周辺監視センサ１５から取得するセンシング情報から、自車の走行環境を認識する。一例として、走行環境認識部は、これらの情報を用いて、自車の周囲の物体の位置、形状、及び移動状態を認識し、実際の走行環境を再現した仮想空間を生成する。走行環境認識部では、周辺監視センサ１５から取得したセンシング情報から、自車の周辺車両について、その存在，自車に対する相対位置，自車に対する相対速度等も走行環境として認識すればよい。走行環境認識部では、自車位置及び地図データから、地図上での自車位置を認識すればよい。走行環境認識部は、通信モジュール１１を介して周辺車両等の位置情報，速度情報等を取得できる場合には、これらの情報も用いて走行環境を認識すればよい。

また、走行環境認識部は、自車の走行地域における手動運転エリア（以下、ＭＤエリア）の判別も行えばよい。走行環境認識部は、自車の走行地域における自動運転エリア（以下、ＡＤエリア）の判別も行えばよい。走行環境認識部は、ＡＤエリアにおける後述のＳＴ区間と非ＳＴ区間との判別も行えばよい。

ＭＤエリアは、自動運転が禁止されるエリアである。言い換えると、ＭＤエリアは、自車の縦方向制御、横方向制御、及び周辺監視の全てを運転者が実行すると規定されたエリアである。縦方向とは、自車の前後方向と一致する方向である。横方向とは、自車の幅方向と一致する方向である。縦方向制御は、自車の加減速制御にあたる。横方向制御は、自車の操舵制御にあたる。例えば、ＭＤエリアは、一般道路とすればよい。ＭＤエリアは、高精度地図データが整備されていない一般道路の走行区間としてもよい。

ＡＤエリアは、自動運転が許可されるエリアである。言い換えると、ＡＤエリアは、縦方向制御、横方向制御、及び周辺監視のうちの１つ以上を、自車が代替することが可能と規定されたエリアである。例えば、ＡＤエリアは、高速道路とすればよい。ＡＤエリアは、高精度地図データが整備された走行区間としてもよい。例えば、エリア限定ＬＶ３の自動運転は、高速道路においてのみ許可されるものとすればよい。渋滞限定ＬＶ３の自動運転は、ＡＤエリアにおける渋滞時にのみ許可されるものとする。

ＡＤエリアは、ＳＴ区間と非ＳＴ区間とに区分される。ＳＴ区間とは、エリア限定ＬＶ３の自動運転（以下、エリア限定自動運転）が許可される区間である。非ＳＴ区間とは、ＬＶ２以下の自動運転及び渋滞限定ＬＶ３の自動運転が可能な区間である。本実施形態では、ＬＶ１の自動運転が許可される非ＳＴ区間と、ＬＶ２の自動運転が許可される非ＳＴ区間とを分けて区分しないものとする。非ＳＴ区間は、ＡＤエリアのうちのＳＴ区間に該当しない区間とすればよい。

行動判断部は、運転者と自車のシステムとの間で運転操作の制御主体を切り替える。行動判断部は、運転操作の制御権がシステム側にある場合、走行環境認識部による走行環境の認識結果に基づき、自車を走行させる走行プランを決定する。走行プランとしては、目的地までの経路，目的地に到着するために自車が取るべき振る舞いを決定すればよい。振る舞いの一例としては、直進、右折、左折、車線変更等がある。

また、行動判断部は、必要に応じて自車の自動運転の自動化レベルを切り替える。行動判断部は、自動化レベルの上昇が可能か否かを判断する。例えば、自車がＭＤエリアからＡＤエリアに移る場合には、ＬＶ４以下の運転からＬＶ４以上の自動運転に切り替え可能と判断すればよい。行動判断部は、自動化レベルの上昇が可能と判断した場合であって、自動化レベルの上昇について運転者から承認された場合に、自動化レベルを上昇させればよい。

行動判断部は、自動化レベルの下降が必要と判断した場合に、自動化レベルを下降させればよい。自動化レベルの下降が必要と判断する場合としては、オーバーライド検出時、計画的な運転交代時、及び非計画的な運転交代時が挙げられる。オーバーライドとは、自車の運転者が自発的に自車の制御権を取得するための操作である。言い換えると、オーバーライドは、車両の運転者による操作介入である。行動判断部は、車両状態センサ１４から得られるセンシング情報からオーバーライドを検出すればよい。例えば、行動判断部は、ステアリングトルクセンサで検出する操舵トルクが閾値を超える場合に、オーバーライドを検出すればよい。行動判断部は、アクセルセンサでアクセルペダルの踏み込みを検出した場合に、オーバーライドを検出してもよい。他にも、行動判断部は、ブレーキセンサでブレーキペダルの踏み込みを検出した場合に、オーバーライドを検出してもよい。計画的な運転交代とは、システムの判断による、予定された運転交代である。非計画的な運転交代とは、システムの判断による、予定されない突発的な運転交代である。

制御実行部は、運転操作の制御権が自車のシステム側にある場合、車両制御ＥＣＵ１６との連携により、行動判断部にて決定された走行プランに従って、自車の加減速制御及び操舵制御等を実行する。制御実行部は、例えばＡＣＣ（Adaptive Cruise Control）制御、ＬＴＡ（Lane Tracing Assist）制御、及びＬＣＡ制御（Lane Change Assist）を実行する。

ＡＣＣ制御は、設定車速での自車の定速走行、又は先行車への追従走行を実現する制御である。追従走行では、自車と直近の先行車との車間距離を目標車間距離に維持するように加減速制御が行われる。目標車間距離は、自車の速度に応じて設定される等すればよい。ＬＴＡ制御は、自車の車線内走行を維持する制御である。ＬＴＡ制御では、自車の車線内走行を維持するように操舵制御が行われる。ＬＣＡ制御は、自車を自車線から隣接車線に自動で車線変更させる制御である。ＬＣＡ制御では、加減速制御及び操舵制御を行わせることで車線変更させる。

シートＥＣＵ１８は、自車のシートのシート位置の調整といったシート環境についての制御に関する各種の処理を実行する電子制御装置である。ここでは、自車のシートが、スライド位置及びリクライニング角度を電動で変化可能な電動シートであるものとして説明を行う。シートとしては、運転席，助手席，後部座席が挙げられる。電動シートは、運転席，助手席，後部座席のうちの一部のみであってもよい。シートＥＣＵ１８は、自車のシート位置を調整するためのモータ（以下、シートモータ）を制御することでシート位置を調整する。シートモータとしては、スライド位置を調整するスライドモータ，リクライニング位置を調整するリクライニングモータが挙げられる。スライド位置とは、自車の前後方向に対するシートの調整位置を示す。リクライニング位置とは、シートバックの傾きの調整角度を示す。シートバックは、背もたれ部と言い換えることができる。シートＥＣＵ１８は、スライド位置及びリクライニング位置を逐次検出する。シートＥＣＵ１８は、スライド位置を、例えばスライドモータの回転角から検出すればよい。シートＥＣＵ１８は、リクライニング位置を、リクライニングモータの回転角から検出すればよい。

室内カメラ１９は、自車の車室内の所定範囲を撮像する。この室内カメラ１９が撮像装置に相当する。室内カメラ１９は、少なくとも自車の運転席を含む範囲を撮像することが好ましい。室内カメラ１９は、自車の運転席の他、助手席及び後部座席を含む範囲を撮像することがより好ましい。室内カメラ１９は、例えば近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等とによって構成される。室内カメラ１９は、近赤外光源によって近赤外光を照射された自車の乗員を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、撮像画像を画像解析して乗員の顔の特徴量を検出する。制御ユニットは、検出した乗員の顔を含む上半身の特徴量をもとに、乗員の顔向き，乗員の姿勢，覚醒度，運転不能状態等を検出すればよい。覚醒度の検出は、例えば瞼の開閉の度合いによって検出すればよい。運転不能状態の検出は、顔向きが下方向の状況が継続すること、姿勢が崩れていることをもとに検出すればよい。室内カメラ１９は、運転不能状態が、睡眠状態なのか失神といった異常状態なのかを、それぞれに代表的な特徴量をもとに区別して検出することを試みてもよい。ただし、室内カメラ１９のみでは、運転不能状態が睡眠状態なのか異常状態なのかを区別して検出することは難しいものとする。異常状態には睡眠状態は含まれないものとする。

生体センサ２０は、自車の乗員の生体情報を計測する。生体センサ２０は、計測した生体情報をＨＣＵ１０へ逐次出力する。生体センサ２０は、自車に設けられる。生体センサ２０は、自車の運転者の皮膚が自車の走行中に接触する自車の部位に設けられる。生体センサ２０は、例えば自車のステアリングホイールに設ける構成とすればよい。以下では、生体センサ２０がステアリングホイールに設けられているものとして説明を続ける。生体センサ２０で計測する生体情報の一例としては、呼吸，脈拍，心拍等が挙げられる。なお、生体センサ２０として、呼吸，脈拍，心拍以外の生体情報を計測するものを用いる構成としてもよい。例えば、生体センサ２０は、心拍ゆらぎ，発汗，体温，血圧，皮膚コンダクタンス等を計測してもよい。

報知装置２１は、自車に設けられて、自車の室内へ向けての情報提示を行う。言い換えると、報知装置２１は、自車の乗員への報知を行う。報知装置２１は、ＨＣＵ１０の制御に従って報知を行う。報知装置２１としては、例えば表示器及び音声出力装置が挙げられる。

表示器は、情報を表示することで報知を行う。表示器としては、例えばメータＭＩＤ（Multi Information Display），ＣＩＤ（Center Information Display），ＨＵＤ（Head-Up Display）を用いることができる。音声出力装置は、音声を出力することで報知を行う。音声出力装置としては、スピーカ等が挙げられる。

メータＭＩＤは、車室内のうちの運転席の正面に設けられる表示器である。一例として、メータＭＩＤは、メータパネルに設けられる構成とすればよい。ＣＩＤは、自車のインスツルメントパネルの中央に配置される表示器である。ＨＵＤは、車室内のうちの例えばインスツルメントパネルに設けられる。ＨＵＤは、プロジェクタによって形成される表示像を、投影部材としてのフロントウインドシールドに既定された投影領域に投影する。フロントウインドシールドによって車室内側に反射された画像の光は、運転席に着座する運転者によって知覚される。これにより、運転者は、フロントウインドシールドの前方にて結像される表示像の虚像を、前景の一部と重ねて視認可能となる。ＨＵＤは、フロントウインドシールドの代わりに、運転席の正面に設けられるコンバイナに表示像を投影する構成としてもよい。

ユーザ入力装置２２は、ユーザからの入力を受け付ける。ユーザ入力装置２２は、ユーザからの操作入力を受け付ける操作デバイスとすればよい。操作デバイスとしては、メカニカルなスイッチであってもよいし、ディスプレイと一体となったタッチスイッチであってもよい。なお、ユーザ入力装置２２は、ユーザからの入力を受け付ける装置であれば、操作入力を受け付ける操作デバイスに限らない。例えば、ユーザからの音声によるコマンドの入力を受け付ける音声入力装置であってもよい。

ＨＣＵ１０は、プロセッサ、揮発性メモリ、不揮発性メモリ、Ｉ／Ｏ、これらを接続するバスを備えるコンピュータを主体として構成される。ＨＣＵ１０は、室内カメラ１９、生体センサ２０、報知装置２１、及びユーザ入力装置２２に接続されている。ＨＣＵ１０は、不揮発性メモリに記憶された制御プログラムを実行することにより、乗員の状態の推定に関連する処理を実行する。このＨＣＵ１０が車両用装置に相当する。本実施形態では、ＨＣＵ１０は、少なくとも睡眠許可自動運転と睡眠非許可運転とを切り替え可能な車両で用いられるものとする。なお、ＨＣＵ１０の構成については以下で詳述する。

＜ＨＣＵ１０の概略構成＞
続いて、図２を用いてＨＣＵ１０の概略構成についての説明を行う。ＨＣＵ１０は、図２に示すように、ＥＣＵ通信部１０１、運転特定部１０２、運転者状態推定部１０３、同乗有無特定部１０４、同乗者状態推定部１０５、及び報知制御部１０６を機能ブロックとして備える。また、コンピュータによってＨＣＵ１０の各機能ブロックの処理が実行されることが、車両用推定方法が実行されることに相当する。なお、ＨＣＵ１０が実行する機能の一部又は全部を、１つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、ＨＣＵ１０が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。

ＥＣＵ通信部１０１は、ＨＣＵ１０以外の自車のＥＣＵへ向けた情報の出力処理と、ＨＣＵ１０以外の自車のＥＣＵからの情報の取得処理とを行う。例えば、ＥＣＵ通信部１０１は、自動運転ＥＣＵ１７，シートＥＣＵ１８への情報の出力処理を行う構成とすればよい。また、ＥＣＵ通信部１０１は、自動運転ＥＣＵ１７，シートＥＣＵ１８からの情報の取得処理を行う構成とすればよい。ＥＣＵ通信部１０１は、シート処理部１１１及び退避処理部１１２をサブ機能ブロックとして備える。シート処理部１１１及び退避処理部１１２での処理については後述する。

運転特定部１０２は、自車の現在の自動化レベルがＬＶ３以下かＬＶ４以上かを特定する。つまり、運転特定部１０２が睡眠許可自動運転中か睡眠非許可運転中かを特定する。この運転特定部１０２での処理が運転特定工程に相当する。運転特定部１０２は、ＥＣＵ通信部１０１で自動運転ＥＣＵ１７から取得する情報から、睡眠許可自動運転中か睡眠非許可運転中かを特定すればよい。

運転者状態推定部１０３は、自車の運転者の状態を推定する。運転者状態推定部１０３は、異常状態であるか否かを複数種類のセンサを用いて推定することが可能なものとする。この運転者状態推定部１０３での処理が運転者状態推定工程に相当する。本実施形態の例では、運転者状態推定部１０３は、異常状態であるか否かを、室内カメラ１９及び生体センサ２０を用いて推定することが可能なものとする。室内カメラ１９及び生体センサ２０がセンサに相当する。

運転者状態推定部１０３は、運転特定部１０２で睡眠非許可運転中と特定する場合には、複数種類のセンサを用いて運転者が異常状態であるか否かを推定する。運転者状態推定部１０３は、室内カメラ１９と生体センサ２０とを用いて、運転者が異常状態であるか否かを推定すればよい。生体センサ２０を用いれば、運転者の生体情報を用いて運転者が異常状態であるか否かを推定することが可能になる。よって、室内カメラ１９に加えて生体センサ２０も用いることで、運転者が異常状態であることを睡眠状態と区別してより推定しやすくなる。従って、室内カメラ１９だけでは運転者が異常状態であることを精度良く推定しにくい場合であっても、運転者が異常状態であるか否かをより精度良く推定することが可能になる。また、睡眠非許可運転中は、急な運転交代に備えて運転者がステアリングを把持するなど、運転者の皮膚が生体センサ２０に接触している可能性が高い。本実施形態の例のように生体センサ２０がステアリングに設けられている場合には、この可能性がより高くなる。従って、生体センサ２０を用いて運転者が異常状態であるか否かを推定しても、生体センサ２０を用いる処理が無駄にならない可能性が高い。

一方、運転者状態推定部１０３は、運転特定部１０２で睡眠許可自動運転中と特定する場合には、睡眠非許可運転中と特定する場合よりも用いるセンサの種類を減らして運転者が異常状態であるか否かを推定する。運転者状態推定部１０３は、運転特定部１０２で睡眠許可自動運転中と特定する場合には、室内カメラ１９は用いるが生体センサ２０は用いずに、運転者が異常状態であるか否かを推定すればよい。睡眠許可自動運転中は、運転者が睡眠をとっている場合があり、運転者がステアリングを把持していないなど、運転者の皮膚が生体センサ２０に接触していない可能性が高まる。従って、生体センサ２０を用いずに運転者が異常状態であるか否かを推定することで、生体センサ２０を用いる無駄な処理を省くことが可能になる。以上の構成によれば、車両の自動化レベルに応じて、運転者の異常状態を睡眠状態と区別して推定しやすくすることを可能にしつつも、処理の無駄を抑えることも可能になる。

運転者状態推定部１０３は、睡眠非許可運転中と特定する場合よりも用いるセンサの種類を減らして運転者が異常状態であるか否かを推定し、運転者が異常状態であると推定した場合には、運転特定部１０２で睡眠許可自動運転中と特定する場合であっても、睡眠非許可運転中と特定する場合と同じ種類数のセンサを用いて、運転者が異常状態であるか否かを再度推定し直すことが好ましい。具体例としては、睡眠許可自動運転中において、生体センサ２０を用いずに運転者が異常状態であると推定した場合には、室内カメラ１９及び生体センサ２０を用いて、運転者が異常状態であるか否かを再度推定し直せばよい。また、推定し直しによって結果が変わる場合には、推定し直した結果を推定結果として更新すればよい。

これによれば、睡眠許可自動運転中の場合であっても、生体センサ２０を用いて運転者が異常状態であるか否かを推定可能な場合に、生体センサ２０を用いて異常状態であるか否かをより精度良く推定し直すことが可能になる。なお、室内カメラ１９のみで異常状態でないことを推定できている場合には、生体センサ２０を用いて異常状態であるか否かを推定し直さないので、異常状態でない可能性が高い場合には生体センサ２０を用いる無駄を省くことができる。従って、睡眠許可自動運転中の場合に、生体センサ２０を用いる無駄を抑えながら、運転者が異常状態であるか否かを精度良く推定し直すことが可能になる。

同乗有無特定部１０４は、自車の同乗者の有無を特定する。同乗者とは、自車の運転者以外の乗員である。同乗有無特定部１０４は、運転席以外のシートに設けられた着座センサによって、自車の同乗者の有無を特定すればよい。同乗有無特定部１０４は、室内カメラ１９で撮像した、助手席及び後部座席を含む範囲の撮像画像（以下、同乗範囲画像）から、画像認識によって人を検出できたか否かで、自車の同乗者の有無を特定してもよい。

同乗者状態推定部１０５は、自車の同乗者の状態を推定する。同乗者状態推定部１０５は、同乗者が覚醒状態か否かを推定すればよい。この同乗者状態推定部１０５が覚醒特定部に相当する。同乗者状態推定部１０５は、室内カメラ１９で撮像した同乗範囲画像をもとに、同乗者が覚醒状態か否かを推定すればよい。同乗者状態推定部１０５は、室内カメラ１９で検出する同乗者の覚醒度から、同乗者が覚醒状態か否かを推定すればよい。室内カメラ１９では、同乗範囲画像中の同乗者の顔の特徴量から、同乗者の覚醒度を検出すればよい。なお、室内カメラ１９で同乗者の覚醒度までを検出しない構成としてもよい。この場合には、同乗者状態推定部１０５が、室内カメラ１９から取得する同乗範囲画像をもとに、同乗者の覚醒度を検出し、同乗者が覚醒状態か否かを推定すればよい。

例えば、同乗者状態推定部１０５は、同乗有無特定部１０４で同乗者がないと特定した場合には、自車の同乗者の状態を推定する処理を行わなければよい。これによれば、無駄な処理を省くことが可能になる。

報知制御部１０６は、自車の乗員に向けて報知装置２１によって報知を行わせる。報知制御部１０６は、運転者状態推定部１０３で運転者が異常状態であると推定する場合に、運転者が異常状態であるか否かの確認を促す報知（以下、確認促進報知）を行わせることが好ましい。確認促進報知は、表示器での表示によって行ってもよいし、音声出力装置からの音声出力によって行ってもよい。確認促進報知の対象となる乗員は、運転者に限らず同乗者も含んでもよい。例えば、確認促進報知は、ユーザ入力装置２２に運転者が異常状態であるか否かを示す入力を行うことを促す報知とすればよい。これによれば、運転者を含む乗員に、運転者が異常状態か否かを確認することが可能になる。

報知制御部１０６は、睡眠許可自動運転中に運転者状態推定部１０３で生体センサ２０を用いずに運転者が異常状態であると推定した場合に、確認促進報知を行わせる構成としてもよい。報知制御部１０６は、睡眠非許可自動運転中には、確認促進報知を行わせない構成としてもよい。これは、睡眠許可自動運転中であれば、運転者が異常状態であるか否かの確認に時間を費やしても自車の走行自体は円滑に進むためである。確認促進報知が行われた場合、運転者が異常状態でなければ、運転者が異常状態でないことを示す入力をユーザ入力装置２２に行うことが考えられる。確認促進報知が行われた場合、同乗者が存在すれば、同乗者が、運転者が異常状態か否かを示す入力をユーザ入力装置２２に行うことが考えられる。また、以上の構成によれば、生体センサ２０を用いずに異常状態を推定することで推定精度が劣っていた場合であっても、乗員に推定結果を確認することが可能になる。

報知制御部１０６は、運転者状態推定部１０３で異常状態であると推定する場合であって、同乗有無特定部１０４で同乗者があると特定する場合であって、且つ、同乗者状態推定部１０５で同乗者が覚醒状態と推定する場合に、運転者が異常状態である可能性を伝える報知（以下、異常可能性報知）を同乗者に向けて行わせることが好ましい。異常可能性報知は、表示器での表示によって行ってもよいし、音声出力装置からの音声出力によって行ってもよい。報知制御部１０６は、ＣＩＤ等の同乗者が視認しやすい表示器に表示を行わせることで、同乗者に向けて異常可能性報知を行わせればよい。報知制御部１０６は、同乗者の座席近傍の音声出力装置から音声出力を行わせることで、同乗者に向けて異常可能性報知を行わせてもよい。報知制御部１０６は、音声出力装置が指向性スピーカの場合には、音声出力を行わせる方向を同乗者の座席とすることで、同乗者に向けて異常可能性報知を行わせてもよい。

報知制御部１０６は、睡眠許可自動運転中に運転者状態推定部１０３で生体センサ２０を用いずに運転者が異常状態であると推定した場合であって、同乗有無特定部１０４で同乗者があると特定する場合であって、且つ、同乗者状態推定部１０５で同乗者が覚醒状態と推定する場合に、異常可能性報知を行わせる構成としてもよい。報知制御部１０６は、睡眠非許可自動運転中には、異常可能性報知を行わせない構成としてもよい。これによれば、生体センサ２０を用いずに異常状態を推定することで推定精度が劣っていた場合であっても、同乗者が覚醒状態である場合には、同乗者に推定結果を確認して貰うことが可能になる。また、推定結果が正しかった場合には、運転者の異常状態に対する対処を同乗者に行って貰うことが可能になる。

報知制御部１０６は、睡眠許可自動運転中に自車が車線変更を行う場合に、車線変更が行われることを知らせる報知（以下、車線変更報知）を行わせる。車線変更報知は、車線変更の開始予定を知らせる表示，音声出力等とすればよい。車線変更報知は、車線変更による進路変更の方向を知らせる表示，音声出力を含んでもよい。本実施形態では、車線変更報知は、少なくとも音声出力を含むものとする。

シート処理部１１１は、シートＥＣＵ１８に情報を出力することで、シートＥＣＵ１８に電動シートのリクライニング角度を制御させる。このシート処理部１１１がシート制御指示部に相当する。

シート処理部１１１は、運転者状態推定部１０３で異常状態であると推定する場合であって、且つ、自車の運転席の電動シートのリクライニング角度が睡眠角度である場合に、運転席の電動シートのリクライニング角度を、基準角度にまで戻させることが好ましい。睡眠角度とは、自車の床面に対するシートバックの角度が第１規定角度未満に寝かせられた角度とする。睡眠角度とは、乗員の睡眠時に設定する睡眠用のシートバックの角度とする。第１規定角度は任意に設定可能とする。第１規定角度としては、例えば４５度未満の角度を設定すればよい。基準角度とは、自車の床面に対するシートバックの角度が第１規定角度よりも大きい第２規定角度以上に起こされた角度とする。基準角度とは、乗員の非睡眠時に設定する基準のシートバックの角度とする。第２規定角度は任意に設定可能とする。第２規定角度としては、例えば４５度以上の角度を設定すればよい。運転席については、運転者の運転操作時のシートバックの角度として設定された角度とすればよい。シートバックが基準角度の場合には、睡眠角度の場合よりも衝撃から乗員を守りやすい。よって、以上の構成によれば、運転者の異常状態が推定される場合に、衝撃から運転者をより守りやすくすることが可能になる。

シート処理部１１１は、睡眠許可自動運転中に運転者状態推定部１０３で生体センサ２０を用いずに運転者が異常状態であると推定した場合であって、且つ、自車の運転席の電動シートのリクライニング角度が睡眠角度である場合に、運転席の電動シートのリクライニング角度を、基準角度にまで戻させる構成としてもよい。シート処理部１１１は、睡眠非許可自動運転中には、運転席の電動シートのリクライニング角度を基準角度にまで戻させる処理を行わせない構成としてもよい。睡眠非許可運転中に運転席のシートバックが睡眠角度である可能性は非常に低い。よって、睡眠許可自動運転中を条件とすることで無駄な処理を抑制することが可能になる。

シート処理部１１１は、運転者状態推定部１０３で異常状態であると推定する場合であって、同乗有無特定部１０４で同乗者があると特定する場合であって、且つ、その同乗者の座席（以下、同乗席）の電動シートのリクライニング位置が睡眠角度である場合に、同乗席の電動シートのリクライニング位置も基準角度にまで戻させることが好ましい。これによれば、運転者が異常状態であると推定した場合に、同乗者の姿勢を、運転者の異常状態に対する対処を行いやすい姿勢にさせることが可能になる。また、運転者の異常状態が推定される場合に、衝撃から同乗者をより守りやすくすることが可能になる。なお、シート処理部１１１は、同乗席の電動シートのリクライニング位置が睡眠角度であるか否かを、シートＥＣＵ１８から取得する情報をもとに判断すればよい。

シート処理部１１１は、睡眠許可自動運転中に運転者状態推定部１０３で生体センサ２０を用いずに運転者が異常状態であると推定した場合であって、同乗有無特定部１０４で同乗者があると特定する場合であって、且つ、同乗席の電動シートのリクライニング位置が睡眠角度である場合に、同乗席の電動シートのリクライニング位置を基準角度にまで戻させる構成としてもよい。シート処理部１１１は、睡眠非許可自動運転中には、同乗席の電動シートのリクライニング角度を基準角度にまで戻させる処理を行わせない構成としてもよい。睡眠非許可運転中には同乗席のシートバックを睡眠角度とすることが法規上認められない場合も考えられる。このような場合に、睡眠許可自動運転中を条件とすることで無駄な処理を抑制することが可能になる。

退避処理部１１２は、自車に自動での退避行動及びセンタへの緊急通報を実施させる。センタは、例えば自車の緊急事態に対応するオペレータセンタとすればよい。この退避処理部１１２が、第３退避指示部に相当する。退避処理部１１２は、停止処理部１１２１及び通報処理部１１２２を備える。

停止処理部１１２１は、自動運転ＥＣＵ１７に情報を出力することで、自動運転ＥＣＵ１７に自車の停止を制御させる。この停止処理部１１２１が停止指示部に相当する。停止処理部１１２１は、運転特定部１０２で睡眠許可自動運転中と特定する場合であって、且つ、運転者状態推定部１０３で異常状態であると推定する場合には、自車を直後に緊急停止させるのではなく、睡眠許可自動運転が可能な領域における緊急退避場所として推奨される特定領域まで自動で走行させた後に停止させることが好ましい。これは、睡眠許可自動運転中であれば、運転者が異常状態であると推定した直後に緊急停止させるよりも、走行を続けて特定領域で停止させる方が乗員を守りやすいためである。特定領域は、睡眠許可自動運転が可能な領域における緊急退避場所として推奨される領域である。特定領域としては、サービスエリア，高速道路の非常駐車帯等が挙げられる。特定領域は、病院の駐車エリアであってもよい。この特定領域が、所定の退避エリアに相当する。

停止処理部１１２１は、運転特定部１０２で睡眠許可自動運転中と特定する場合であって、且つ、運転者状態推定部１０３で異常状態であると推定する場合に、以下のようにすればよい。停止処理部１１２１は、睡眠許可自動運転で到達可能な特定領域が存在する場合には、その特定領域まで睡眠許可自動運転で走行させてから停車させる退避行動を実施させる。この退避行動を、以下ではエリア退避と呼ぶ。睡眠許可自動運転で到達可能な特定領域が存在するか否かは、自車位置及び地図データから判断すればよい。一方、停止処理部１１２１は、睡眠許可自動運転で到達可能な特定領域が存在しない場合には、自車を緊急停止させる退避行動を実施させればよい。この退避行動を、以下では緊急停止と呼ぶ。緊急停止は、路肩に寄せての停止であってもよいし、走行車線内での停止であってもよい。

通報処理部１１２２は、センタへの緊急通報を実施させる。通報処理部１１２２は、通信モジュール１１を介して、センタへの緊急通報を実施させればよい。通報処理部１１２２は、前述の緊急停止を行わせる場合には、自車の停止後に、センタへの緊急通報を実施させればよい。通報処理部１１２２は、前述のエリア退避を行わせる場合には、自車の車線変更の予定がなく所定距離以上走行可能となったタイミングで緊急通報を実施させればよい。所定距離は、任意に設定可能とすればよい。所定距離は、次回の車線変更についての車線変更報知が行われる前に緊急通報を完了できる距離とすればよい。自車の車線変更の予定がなく所定距離以上走行可能となったタイミングとは、車線変更報知のタイミングと緊急通報のタイミングとが重ならないタイミングである。これによれば、車線変更報知と緊急通報との音声が入り混じってしまうことを防ぐことが可能になる。

＜ＨＣＵ１０での異常推定関連処理＞
ここで、図３のフローチャートを用いて、ＨＣＵ１０での運転者の異常状態の推定に関連する処理（以下、異常推定関連処理）の流れの一例について説明する。図３のフローチャートは、例えば自車の内燃機関又はモータジェネレータを始動させるためのスイッチ（以下、パワースイッチ）がオンになった場合に開始される構成とすればよい。

まず、ステップＳ１では、運転特定部１０２が、自車の現在の自動化レベルがＬＶ３以下かＬＶ４以上かを特定する。そして、自動化レベルがＬＶ４以上の場合（Ｓ１でＹＥＳ）には、ステップＳ６に移る。つまり、自車が睡眠許可自動運転中の場合には、Ｓ６に移る。一方、自動化レベルがＬＶ３以下の場合（Ｓ１でＮＯ）には、ステップＳ２に移る。

ステップＳ２では、運転者状態推定部１０３が、室内カメラ１９と生体センサ２０とを用いて、運転者が異常状態であるか否かを推定する。ステップＳ３では、運転者状態推定部１０３で運転者が異常状態であると推定した場合（Ｓ３でＹＥＳ）には、ステップＳ４に移る。一方、運転者状態推定部１０３で運転者が異常状態でないと推定した場合（Ｓ３でＮＯ）には、ステップＳ５に移る。なお、自動化レベルがＬＶ３以下において、運転者状態推定部１０３で運転者が睡眠状態と推定した場合には、運転者を覚醒させるための処理を行ったりすればよい。一方、自動化レベルがＬＶ４以上において、運転者状態推定部１０３で運転者が睡眠状態と推定した場合であっても、運転者を覚醒させるための処理は行わない構成とすればよい。

ステップＳ４では、停止処理部１１２１が、自車を緊急停止させ、異常推定関連処理を終了する。停止処理部１１２１は、直近の路肩に自車を緊急停止させればよい。この場合、ＨＣＵ１０が、通信モジュール１１を介してセンタに緊急通報を行ってもよい。

ステップＳ５では、異常推定関連処理の終了タイミングであった場合（Ｓ５でＹＥＳ）には、異常推定関連処理を終了する。一方、異常推定関連処理の終了タイミングでなかった場合（Ｓ５でＮＯ）には、Ｓ１に戻って処理を繰り返す。異常推定関連処理の終了タイミングの一例としては、自車のパワースイッチがオフになったこと等が挙げられる。

ステップＳ６では、運転者状態推定部１０３が、室内カメラ１９と生体センサ２０とのうちの室内カメラ１９のみを用いて、運転者が異常状態であるか否かを推定する。ステップＳ７では、運転者状態推定部１０３で運転者が異常状態であると推定した場合（Ｓ７でＹＥＳ）には、ステップＳ８に移る。一方、運転者状態推定部１０３で運転者が異常状態でないと推定した場合（Ｓ７でＮＯ）には、ステップＳ５に移る。

ステップＳ８では、運転者状態推定部１０３が、室内カメラ１９と生体センサ２０とを用いて、運転者が異常状態であるか否かを推定し直す。ステップＳ９では、運転者状態推定部１０３で運転者が異常状態であると推定した場合（Ｓ９でＹＥＳ）には、ステップＳ１０に移る。一方、運転者状態推定部１０３で運転者が異常状態でないと推定した場合（Ｓ９でＮＯ）には、ステップＳ５に移る。

ステップＳ１０では、異常時処理を行って、異常推定関連処理を終了する。ここで、図４のフローチャートを用いて、異常時処理の流れの一例について説明する。

まず、ステップＳ１０１では、自車の運転席の電動シートのリクライニング角度が睡眠角度であった場合（Ｓ１０１でＹＥＳ）には、ステップＳ１０２に移る。一方、自車の運転席の電動シートのリクライニング角度が睡眠角度でなかった場合（Ｓ１０１でＮＯ）には、ステップＳ１０３に移る。自車の運転席の電動シートのリクライニング角度が睡眠角度であるか否かについては、ＨＣＵ１０が、ＥＣＵ通信部１０１でシートＥＣＵ１８から取得する情報をもとに判断すればよい。ステップＳ１０２では、シート処理部１１１が、運転席の電動シートのリクライニング角度を基準角度にまで戻させて、ステップＳ１０３に移る。

ステップＳ１０３では、報知制御部１０６が、乗員に向けて確認促進報知を行わせる。ステップＳ１０４では、同乗有無特定部１０４で同乗者があると特定した場合（Ｓ１０４でＹＥＳ）には、ステップＳ１０５に移る。一方、同乗有無特定部１０４で同乗者がないと特定した場合（Ｓ１０４でＮＯ）には、ステップＳ１０９に移る。

ステップＳ１０５では、自車の同乗席の電動シートのリクライニング角度が睡眠角度であった場合（Ｓ１０５でＹＥＳ）には、ステップＳ１０６に移る。一方、自車の同乗席の電動シートのリクライニング角度が睡眠角度でなかった場合（Ｓ１０５でＮＯ）には、ステップＳ１０７に移る。自車の同乗席の電動シートのリクライニング角度が睡眠角度であるか否かについては、ＨＣＵ１０が、ＥＣＵ通信部１０１でシートＥＣＵ１８から取得する情報をもとに判断すればよい。ステップＳ１０６では、シート処理部１１１が、同乗席の電動シートのリクライニング角度を基準角度にまで戻させて、ステップＳ１０７に移る。

ステップＳ１０７では、同乗者状態推定部１０５が、自車の同乗者が覚醒状態か否かを推定する。そして、同乗者が覚醒状態であると推定した場合（Ｓ１０７でＹＥＳ）には、ステップＳ１０８に移る。一方、同乗者が覚醒状態でないと推定した場合（Ｓ１０７でＮＯ）には、ステップＳ１０９に移る。ステップＳ１０８では、報知制御部１０６が、同乗者に向けて異常可能性報知を行わせ、ステップＳ１０９に移る。ステップＳ１０９では、停止処理部１１２１が、自車を特定領域まで自動で走行させた後に停止させ、異常推定関連処理を終了する。なお、自車を停止するまでの間にもＳ６と同様の処理を繰り返し、異常状態でないと推定された場合には、停止を中止して走行を続ける構成としてもよい。他にも、Ｓ１０９の処理の前にＳ６と同様の処理を行い、異常状態でないことが確定した場合には、Ｓ１０９に移らずにＳ５に移る構成としてもよい。異常状態でないことの確認は、確認促進報知に対する、運転者，同乗者によるユーザ入力装置２２への入力をもとに行えばよい。

図３のフローチャートにおいて、Ｓ８～Ｓ９の処理を省略する構成としてもよい。この場合、Ｓ７でＹＥＳの場合にＳ１０に移る構成とすればよい。図３のフローチャートにおいて、Ｓ３でＹＥＳの場合に、Ｓ１０３と同様の処理を行う構成としてもよい。図３のフローチャートにおいて、Ｓ３でＹＥＳの場合に、Ｓ１０８と同様の処理を行う構成としてもよい。この場合、同乗有無特定部１０４で同乗者があると特定し、且つ、同乗者状態推定部１０５で同乗者が覚醒状態と推定したことを条件とすればよい。図３のフローチャートにおいて、Ｓ１０１～Ｓ１０２の処理を省略する構成としてもよい。図３のフローチャートにおいて、Ｓ１０３の処理を省略する構成としてもよい。図３のフローチャートにおいて、Ｓ１０７～Ｓ１０８の処理を省略する構成としてもよい。図３のフローチャートにおいて、Ｓ１０５～Ｓ１０６の処理を省略する構成としてもよい。図３のフローチャートにおいて、Ｓ１０４～Ｓ１０８の処理を省略する構成としてもよい。この場合、同乗有無特定部１０４及び同乗者状態推定部１０５をＨＣＵ１０が備えない構成としてもよい。図３のフローチャートにおいて、Ｓ１０９の処理を省略する構成としてもよい。

（実施形態２）
前述の実施形態の構成に限らず、以下の実施形態２の構成としてもよい。以下では、実施形態２の構成の一例について図を用いて説明する。

＜車両用システム１ａの概略構成＞
図５に示す車両用システム１ａは、自動運転車両で用いることが可能なものである。車両用システム１ａは、図５に示すように、ＨＣＵ１０ａ、通信モジュール１１、ロケータ１２、地図ＤＢ１３、車両状態センサ１４、周辺監視センサ１５、車両制御ＥＣＵ１６、自動運転ＥＣＵ１７、シートＥＣＵ１８、室内カメラ１９、生体センサ２０、報知装置２１ａ、及びユーザ入力装置２２を含んでいる。車両用システム１ａは、ＨＣＵ１０の代わりにＨＣＵ１０ａを含む。車両用システム１ａは、報知装置２１の代わりに報知装置２１ａを含む。車両用システム１ａは、これらの点を除けば、実施形態１の車両用システム１と同様である。

報知装置２１ａは、運転者専用の表示器と、同乗者が視認可能な表示器とを含むことを必須とする点を除けば、実施形態１の報知装置２１と同様である。報知装置２１ａは、第１表示器２１１、第２表示器２１２、及び音声出力装置２１３を含む。

第１表示器２１１は、運転者専用の表示器である。第１表示器２１１が、第１の表示器に相当する。第１表示器２１１は、例えば前述のメータＭＩＤ，ＨＵＤとすればよい。第２表示器２１２は、運転者以外の同乗者が視認可能な表示器である。第２表示器２１２が、第２の表示器に相当する。第２表示器２１２は、例えば前述のＣＩＤとすればよい。音声出力装置２１３は、実施形態１で述べた音声出力装置と同様とすればよい。

ユーザ入力装置２２ａは、運転者からの入力と同乗者からの入力とを区別して受け付ける点を除けば、実施形態１のユーザ入力装置２２と同様である。ユーザ入力装置２２ａは、第１入力装置２２１及び第２入力装置２２２を含む。第１入力装置２２１は、運転者からの入力を受け付ける。第１入力装置２２１は、運転席周辺に設けられるスイッチ，マイク等とすればよい。第１入力装置２２１は、例えばステアリングホイールに設けられるスイッチとすればよい。第２入力装置２２２は、助手席，後部座席の周辺に設けられるスイッチ，マイク等とすればよい。ユーザ入力装置２２ａは、運転者と同乗者とを区別して予め登録した声紋を用いて、運転者と同乗者との音声入力を区別して受け付けてもよい。

＜ＨＣＵ１０ａの概略構成＞
続いて、図６を用いてＨＣＵ１０ａの概略構成についての説明を行う。ＨＣＵ１０ａは、図６に示すように、ＥＣＵ通信部１０１ａ、運転特定部１０２、運転者状態推定部１０３ａ、同乗有無特定部１０４、同乗者状態推定部１０５、報知制御部１０６ａ、及び回答受け付け部１０７を機能ブロックとして備える。ＨＣＵ１０ａは、ＥＣＵ通信部１０１の代わりにＥＣＵ通信部１０１ａを備える。ＨＣＵ１０ａは、運転者状態推定部１０３の代わりに運転者状態推定部１０３ａを備える。ＨＣＵ１０ａは、報知制御部１０６の代わりに報知制御部１０６ａを備える。ＨＣＵ１０ａは、回答受け付け部１０７を備える。ＨＣＵ１０ａは、これらの点を除けば、実施形態１のＨＣＵ１０と同様である。このＨＣＵ１０ａも車両用装置に相当する。また、コンピュータによってＨＣＵ１０ａの各機能ブロックの処理が実行されることが、車両用推定方法が実行されることに相当する。

運転者状態推定部１０３ａは、一部の処理が異なる点を除けば、実施形態１の運転者状態推定部１０３と同様である。以下では、この異なる点について説明する。運転者状態推定部１０３ａは、異常状態の種類を区別して特定する。異常状態には、前述したように睡眠状態を含まない。異常状態の種類としては、失神，病気，ストレス等が挙げられる。運転者状態推定部１０３ａは、異常状態の種類ごとの特徴量をもとに、異常状態の種類を区別して特定すればよい。この特徴量は、室内カメラ１９を利用する場合には、撮像画像から検出される特徴量である。また、この特徴量は、生体センサ２０を用いる場合には、生体情報である。例えば、運転者状態推定部１０３ａは、機械学習を行った学習器を用いて、異常状態の種類を区別して特定すればよい。

報知制御部１０６ａは、一部の処理が異なる点を除けば、実施形態１の報知制御部１０６と同様である。以下では、この異なる点について説明する。報知制御部１０６ａは、自車の乗員に向けて少なくとも第１表示器２１１及び第２表示器２１２での表示によって報知を行わせる。報知制御部１０６ａは、運転者状態推定部１０３ａで運転者が異常状態であると推定した場合に、その異常状態の種類についての表示（以下、異常種類表示）を行わせる。報知制御部１０６ａは、異常種類表示を、第１表示器２１１と第２表示器２１２とのいずれにも行わせる。異常種類表示は、テキストであっても、アイコンであってもよい。これによれば、異常状態の種類までを同乗者に知らせることで、同乗者が運転者の異常状態により対応しやすくなる。また、運転者に意識がある場合には、運転者にも運転者が異常状態であること、及びその異常状態の種類を認識させることが可能になる。

回答受け付け部１０７は、異常種類表示に対する自車の乗員からの正誤の回答入力を受け付ける。この正誤の回答入力を、正誤回答入力と呼ぶ。以下では、異常種類表示が示す運転者の異常状態が正しい旨の回答入力を、正解回答入力と呼ぶ。以下では、異常種類表示が示す運転者の異常状態が誤りである旨の回答入力を、誤り回答入力と呼ぶ。回答受け付け部１０７は、第１受け付け部１７１及び第２受け付け部１７２をサブ機能ブロックとして備える。第１受け付け部１７１は、運転者からの正誤回答入力を受け付ける。第１受け付け部１７１は、第１入力装置２２１を介することで、運転者からの正誤回答入力を受け付ければよい。第２受け付け部１７２は、同乗者からの正誤回答入力を受け付ける。第２受け付け部１７２は、第２入力装置２２２を介することで、同乗者からの正誤回答入力を受け付ければよい。

ＥＣＵ通信部１０１ａは、シート処理部１１１及び退避処理部１１２ａをサブ機能ブロックとして備える。ＥＣＵ通信部１０１ａは、退避処理部１１２の代わりに退避処理部１１２ａを備える点を除けば、実施形態１のＥＣＵ通信部１０１と同様である。退避処理部１１２ａは、停止処理部１１２１ａ及び通報処理部１１２２ａを備える。退避処理部１１２ａは、一部の処理が異なる点を除けば、実施形態１の停止処理部１１２１と同様である。以下では、この異なる点について説明する。

退避処理部１１２ａは、正解回答入力を回答受け付け部１０７で受け付けたことをもとに、自車の自動での退避行動を少なくとも実施させる。つまり、停止処理部１１２１ａが、正解回答入力を回答受け付け部１０７で受け付けたことをもとに、退避行動を実施させる。通報処理部１１２２ａは、正解回答入力を回答受け付け部１０７で受け付けたことをもとに、緊急通報を実施させてもよい。この退避処理部１１２ａが第１退避指示部に相当する。以上の構成によれば、運転者が異常状態である場合に、自車に自動での退避行動を少なくとも実施させることが可能になる。その結果、運転者の異常状態への対処が行いやすくなる。

退避処理部１１２ａは、第２受け付け部１７２で正解回答入力を受け付けた場合に、自車の自動での退避行動を少なくとも実施させればよい。退避処理部１１２ａは、第１受け付け部１７１と第２受け付け部１７２とで正誤が異なる回答入力を受け付けた場合に、以下のようにすればよい。退避処理部１１２ａは、第１受け付け部１７１で受け付ける回答入力よりも、第２受け付け部１７２で受け付ける回答入力を優先すればよい。つまり、退避処理部１１２ａは、同乗者から正解回答入力を受け付けた場合には、運転者から誤り回答入力を受け付けた場合であっても、退避行動を実施させればよい。これは、異常状態の疑いのある運転者からの回答入力よりも、同乗者からの回答入力の方が、信頼性が高いと考えられるためである。

退避処理部１１２ａは、第１受け付け部１７１と第２受け付け部１７２とのうちの第１受け付け部１７１のみで回答入力を受け付けた場合には、その回答入力に従えばよい。つまり、退避処理部１１２ａは、運転者のみから回答入力を受け付け、且つ、それが正解回答入力であった場合には、退避行動を実施させればよい。退避処理部１１２ａは、運転者のみから回答入力を受け付け、且つ、それが誤り回答入力であった場合には、退避行動を実施させなければよい。これによれば、同乗者からの回答入力がない場合には、運転者からの回答入力に従うことが可能になる。なお、第１受け付け部１７１及び第２受け付け部１７２では、異常種類表示を開始してから規定時間内に回答入力を受け付けなかった場合に、回答入力を受け付けなかったものとすればよい。

報知制御部１０６ａは、退避処理部１１２ａで退避行動を実施させる場合であって、且つ、睡眠許可自動運転で到達可能な特定領域が存在する場合には、退避径路情報を表示させることが好ましい。退避径路情報とは、自車の現在位置から特定領域までの経路（以下、退避径路）を案内する情報である。特定領域は、前述したように、睡眠許可自動運転が可能な領域における緊急退避場所として推奨される領域である。退避径路情報は、第１表示器２１１及び第２表示器２１２の少なくともいずれかに表示すればよい。一例としては、退避径路情報は、電子地図上に退避径路を重畳して示す情報とすればよい。一方、報知制御部１０６ａは、退避処理部１１２ａで退避行動を実施させる場合であって、且つ、睡眠許可自動運転で到達可能な特定領域が存在しない場合には、緊急停止報知を行わせればよい。緊急停止報知とは、自車の緊急停止を実施することを示す報知である。緊急停止報知は、報知装置２１ａから行わせる。緊急停止報知は、表示であっても音声出力であってもよい。以上の構成によれば、退避行動の種類に合わせた報知を行うことが可能になる。

（実施形態３）
前述の実施形態の構成に限らず、以下の実施形態３の構成としてもよい。以下では、実施形態３の構成の一例について図を用いて説明する。

＜車両用システム１ｂの概略構成＞
図７に示す車両用システム１ｂは、自動運転車両で用いることが可能なものである。車両用システム１ｂは、図７に示すように、ＨＣＵ１０ｂ、通信モジュール１１、ロケータ１２、地図ＤＢ１３、車両状態センサ１４、周辺監視センサ１５、車両制御ＥＣＵ１６、自動運転ＥＣＵ１７、シートＥＣＵ１８、室内カメラ１９、生体センサ２０、報知装置２１、及びユーザ入力装置２２を含んでいる。車両用システム１ｂは、ＨＣＵ１０の代わりにＨＣＵ１０ｂを含む点を除けば、実施形態１の車両用システム１と同様である。

＜ＨＣＵ１０ｂの概略構成＞
続いて、図８を用いてＨＣＵ１０ｂの概略構成についての説明を行う。ＨＣＵ１０ｂは、図６に示すように、ＥＣＵ通信部１０１ｂ、運転特定部１０２、運転者状態推定部１０３、同乗有無特定部１０４、同乗者状態推定部１０５ｂ、及び報知制御部１０６を機能ブロックとして備える。ＨＣＵ１０ｂは、ＥＣＵ通信部１０１の代わりにＥＣＵ通信部１０１ｂを備える。ＨＣＵ１０ｂは、同乗者状態推定部１０５の代わりに同乗者状態推定部１０５ｂを備える。ＨＣＵ１０ｂは、これらの点を除けば、実施形態１のＨＣＵ１０と同様である。このＨＣＵ１０ｂも車両用装置に相当する。また、コンピュータによってＨＣＵ１０ｂの各機能ブロックの処理が実行されることが、車両用推定方法が実行されることに相当する。

同乗者状態推定部１０５ｂは、一部の処理が異なる点を除けば、実施形態１の同乗者状態推定部１０５と同様である。以下では、この異なる点について説明する。同乗者状態推定部１０５ｂは、同乗者が異常状態か否かを推定する。同乗者状態推定部１０５ｂは、異常状態の種類を区別して特定してもよい。異常状態には、前述したように睡眠状態を含まない。異常状態の種類としては、失神，病気，ストレス等が挙げられる。同乗者状態推定部１０５ｂは、運転者状態推定部１０３ａと同様にして、同乗者の異常状態を推定すればよい。同乗者状態推定部１０５ｂは、例えば室内カメラ１９で撮像した同乗範囲画像をもとに、同乗者が異常状態か否かを推定すればよい。

ＥＣＵ通信部１０１ｂは、シート処理部１１１及び退避処理部１１２ｂをサブ機能ブロックとして備える。ＥＣＵ通信部１０１ｂは、退避処理部１１２の代わりに退避処理部１１２ｂを備える点を除けば、実施形態１のＥＣＵ通信部１０１と同様である。退避処理部１１２ｂは、停止処理部１１２１ｂ及び通報処理部１１２２ｂを備える。退避処理部１１２ｂは、一部の処理が異なる点を除けば、実施形態１の停止処理部１１２１と同様である。以下では、この異なる点について説明する。

退避処理部１１２ｂは、複数の乗員が異常状態であることが推定された場合に、自車の自動での退避行動を少なくとも実施させる。言い換えると、退避処理部１１２ｂは、複数の乗員が異常状態であることが推定された場合に、乗員が異常状態であるか否かの乗員への確認なしで、退避行動を実施させる。乗員が異常状態であるか否かの確認については、前述の確認促進報知，異常可能性報知によって行えばよい。停止処理部１１２１ｂは、複数の乗員が異常状態であることが推定された場合に、退避行動を実施させる。通報処理部１１２２ｂは、複数の乗員が異常状態であることが推定された場合に、緊急通報を実施させてもよい。この退避処理部１１２ｂが第２退避指示部に相当する。退避処理部１１２ｂは、運転者状態推定部１０３及び同乗者状態推定部１０５ｂでの推定結果をもとに、複数の乗員が異常状態であることを推定すればよい。運転者と同乗者とが異常状態と推定された場合が、複数の乗員が異常状態であると推定された場合に該当する。複数の同乗者が異常状態と推定された場合も、複数の乗員が異常状態であると推定された場合に該当する。

複数の同乗者が異常状態と推定される場合、乗員が異常状態である可能性が高い。実施形態３の構成によれば、このように乗員が異常状態である可能性が高い場合に、乗員が異常状態であるか否かの乗員への確認を省略し、退避行動を実施させることが可能になる。よって、必要性のより低い処理を省略し、迅速に乗員の異常状態に対処することが可能になる。

（実施形態４）
前述の実施形態の構成に限らず、以下の実施形態４の構成としてもよい。以下では、実施形態４の構成の一例について図を用いて説明する。

＜車両用システム１ｃの概略構成＞
図９に示す車両用システム１ｃは、自動運転車両で用いることが可能なものである。車両用システム１ｃは、図９に示すように、ＨＣＵ１０ｃ、通信モジュール１１、ロケータ１２、地図ＤＢ１３、車両状態センサ１４、周辺監視センサ１５、車両制御ＥＣＵ１６、自動運転ＥＣＵ１７、シートＥＣＵ１８、室内カメラ１９、生体センサ２０、報知装置２１ａ、及びユーザ入力装置２２を含んでいる。車両用システム１ｃは、ＨＣＵ１０の代わりにＨＣＵ１０ｃを含む。車両用システム１ｃは、報知装置２１の代わりに報知装置２１ａを含む。車両用システム１ｃは、これらの点を除けば、実施形態１の車両用システム１と同様である。報知装置２１ａは、実施形態２の報知装置２１ａと同様である。報知装置２１ａは、第１表示器２１１、第２表示器２１２、及び音声出力装置２１３を含む。

＜ＨＣＵ１０ｃの概略構成＞
続いて、図１０を用いてＨＣＵ１０ｃの概略構成についての説明を行う。ＨＣＵ１０ｃは、図１０に示すように、ＥＣＵ通信部１０１、運転特定部１０２、運転者状態推定部１０３、同乗有無特定部１０４、同乗者状態推定部１０５ｂ、及び報知制御部１０６ｃを機能ブロックとして備える。ＨＣＵ１０ｃは、同乗者状態推定部１０５の代わりに同乗者状態推定部１０５ｂを備える。ＨＣＵ１０ｃは、報知制御部１０６の代わりに報知制御部１０６ｃを備える。ＨＣＵ１０ｃは、これらの点を除けば、実施形態１のＨＣＵ１０と同様である。このＨＣＵ１０ｃも車両用装置に相当する。また、コンピュータによってＨＣＵ１０ｃの各機能ブロックの処理が実行されることが、車両用推定方法が実行されることに相当する。同乗者状態推定部１０５ｂは、実施形態２の同乗者状態推定部１０５ｂと同様である。

報知制御部１０６ｃは、一部の処理が異なる点を除けば、実施形態１の報知制御部１０６と同様である。以下では、この異なる点について説明する。報知制御部１０６ｃは、少なくとも運転者に向けて報知装置２１ａによって報知を行わせる。運転者に向けた報知は、第１表示器２１１からの表示によって行えばよい。運転者に向けた報知は、音声出力装置が指向性スピーカの場合には、この指向性スピーカからの音声出力によって行ってもよい。

報知制御部１０６ｃは、同乗者が異常状態であると推定した場合に、運転者に向けて緊急通報を提案する報知を、報知装置２１ａに行わせる。同乗者が異常状態であるか否かの推定は、同乗者状態推定部１０５ｂで行う。これによれば、運転者が異常状態でなく、同乗者が異常状態の場合に、運転者によって同乗者の異常状態への対処を促すことが可能になる。

（実施形態５）
前述の実施形態では、ＨＣＵ１０，１０ａ，１０ｂ，１０ｃにシート処理部１１１を備える構成を示したが、必ずしもこれに限らない。例えば、シート処理部１１１の機能を、ＨＣＵ１０，１０ａ，１０ｂ，１０ｃ以外が担う構成としてもよい。一例としては、シートＥＣＵ１８がシート処理部１１１の機能を担ってもよい。この場合、ＨＣＵ１０，１０ａ，１０ｂ，１０ｃとシートＥＣＵ１８とを含む構成が車両用装置に相当する。また、車両用システム１，１ａ，１ｂ，１ｃにシート処理部１１１を含まない構成としてもよい。

（実施形態６）
実施形態１では、ＨＣＵ１０，１０ａ，１０ｂ，１０ｃに停止処理部１１２１，１１２１ａ，１１２１ｂを備える構成を示したが、必ずしもこれに限らない。例えば、停止処理部１１２１，１１２１ａ，１１２１ｂの機能を、ＨＣＵ１０，１０ａ，１０ｂ，１０ｃ以外が担う構成としてもよい。一例としては、自動運転ＥＣＵ１７が停止処理部１１２１，１１２１ａ，１１２１ｂの機能を担ってもよい。この場合、ＨＣＵ１０，１０ａ，１０ｂ，１０ｃと自動運転ＥＣＵ１７とを含む構成が車両用装置に相当する。また、車両用システム１，１ａ，１ｂ，１ｃに停止処理部１１２１，１１２１ａ，１１２１ｂを含まない構成としてもよい。

なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

（開示されている技術的思想）
この明細書は、以下に列挙された複数の項に記載された複数の技術的思想を開示している。いくつかの項は、後続の項において先行する項を択一的に引用する多項従属形式（a multiple dependent form）により記載されている場合がある。さらに、いくつかの項は、他の多項従属形式の項を引用する多項従属形式（a multiple dependent form referring to another multiple dependent form）により記載されている場合がある。これらの多項従属形式で記載された項は、複数の技術的思想を定義している。

（技術的思想１）
運転者の睡眠が許可される自動化レベルの自動運転である睡眠許可自動運転と、運転者の睡眠が許可されない自動化レベルの運転である睡眠非許可運転との切り替えを実施する車両で用いることが可能な車両用装置であって、
前記運転者が睡眠状態でない異常状態であるか否かを複数種類のセンサを用いて推定することが可能な運転者状態推定部（１０３）と、
前記車両が前記睡眠許可自動運転中か前記睡眠非許可運転中かを特定する運転特定部（１０２）とを備え、
前記運転者状態推定部は、前記運転特定部で前記睡眠非許可運転中と特定する場合には、複数種類のセンサを用いて前記運転者が前記異常状態であるか否かを推定する一方、前記運転特定部で前記睡眠許可自動運転中と特定する場合には、前記睡眠非許可運転中と特定する場合よりも用いる前記センサの種類を減らして前記運転者が前記異常状態であるか否かを推定する車両用装置。

（技術的思想２）
技術的思想１に記載の車両用装置であって、
前記運転者状態推定部は、前記運転者を撮像する撮像装置と前記運転者の生体情報を計測する生体センサとを用いて前記異常状態であるか否かを推定することが可能であり、前記運転特定部で前記睡眠非許可運転中と特定する場合には、前記撮像装置と前記生体センサとを用いて前記異常状態であるか否かを推定する一方、前記運転特定部で前記睡眠許可自動運転中と特定する場合には、前記撮像装置は用いるが前記生体センサは用いずに前記異常状態であるか否かを推定する車両用装置。

（技術的思想３）
技術的思想２に記載の車両用装置であって、
前記運転者状態推定部は、前記撮像装置と前記車両のステアリングに設けられてそのステアリングを把持する運転者の生体情報を計測する前記生体センサとを用いて前記異常状態であるか否かを推定することが可能であり、前記運転特定部で前記睡眠非許可運転中と特定する場合には、前記撮像装置と前記ステアリングに設けられる前記生体センサとを用いて前記異常状態であるか否かを推定する一方、前記運転特定部で前記睡眠許可自動運転中と特定する場合には、前記撮像装置は用いるが前記ステアリングに設けられる前記生体センサは用いずに前記異常状態であるか否かを推定する車両用装置。

（技術的思想４）
技術的思想１～３のいずれか１項に記載の車両用装置であって、
前記運転者状態推定部は、前記睡眠非許可運転中と特定する場合よりも用いる前記センサの種類を減らして前記異常状態であるか否かを推定し、前記異常状態であると推定した場合には、前記運転特定部で前記睡眠許可自動運転中と特定する場合であっても、前記睡眠非許可運転中と特定する場合と同じ種類数の前記センサを用いて前記異常状態であるか否かを再度推定し直す車両用装置。

（技術的思想５）
技術的思想１～４のいずれか１項に記載の車両用装置であって、
前記車両の乗員に向けて報知装置（２１）によって報知を行わせる報知制御部（１０６）を備え、
前記報知制御部は、前記運転者状態推定部で前記異常状態であると推定する場合に、前記運転者が前記異常状態であるか否かの確認を促す報知を行わせる車両用装置。

（技術的思想６）
技術的思想５に記載の車両用装置であって、
前記運転者状態推定部は、前記異常状態の種類を区別して特定するものであり、
前記車両の乗員に向けて少なくとも表示器（２１１，２１２）での表示によって報知を行わせる報知制御部（１０６ａ）を備え、
前記報知制御部は、前記運転者状態推定部で前記運転者が前記異常状態であると推定した場合に、運転者専用の第１の表示器と、前記運転者以外の同乗者が視認可能な第２の表示器とのいずれにも、その異常状態の種類についての表示である異常種類表示を行わせる車両用装置。

（技術的思想７）
技術的思想６に記載の車両用装置であって、
前記異常種類表示に対する前記乗員からの正誤の回答入力を受け付ける回答受け付け部（１０７）と、
前記異常種類表示が示す前記運転者の前記異常状態が正しい旨の前記乗員からの回答入力を、前記回答受け付け部で受け付けたことをもとに、前記車両に自動での退避行動を少なくとも実施させる第１退避指示部（１１２ａ）とを備える車両用装置。

（技術的思想８）
技術的思想７に記載の車両用装置であって、
前記回答受け付け部としての、前記運転者からの正誤の回答入力を受け付ける第１受け付け部（１７１）と、
前記回答受け付け部としての、前記同乗者からの正誤の回答入力を受け付ける第２受け付け部（１７２）とを備え、
前記第１退避指示部は、前記第１受け付け部と第２受け付け部とで正誤が異なる回答入力を受け付けた場合に、前記第１受け付け部で受け付ける回答入力よりも、前記第２受け付け部で受け付ける回答入力を優先する車両用装置。

（技術的思想９）
技術的思想８に記載の車両用装置であって、
前記第１退避指示部は、前記第１受け付け部と第２受け付け部とのうちの前記第１受け付け部のみで前記回答入力を受け付けた場合には、その回答入力に従う車両用装置。

（技術的思想１０）
技術的思想７～９のいずれか１項に記載の車両用装置であって、
前記報知制御部は、前記第１退避指示部で前記退避行動を実施させる場合であって、且つ、前記睡眠許可自動運転で到達可能な所定の退避エリアが存在する場合には、前記車両の現在位置からその退避エリアまでの経路を案内する情報を前記表示器に表示させる一方、前記第１退避指示部で前記退避行動を実施させる場合であって、且つ、前記睡眠許可自動運転で到達可能な前記退避エリアが存在しない場合には、前記車両の緊急停止を実施することを示す報知を報知装置に行わせる車両用装置。

（技術的思想１１）
技術的思想１～１０のいずれか１項に記載の車両用装置であって、
前記車両の電動シートのリクライニング角度を制御させるシート制御指示部（１１１）を備え、
前記シート制御指示部は、前記運転者状態推定部で前記異常状態であると推定する場合であって、且つ、前記車両の運転席の前記電動シートのリクライニング角度が前記車両の床面に対するシートバックの角度が第１規定角度未満に寝かせられた睡眠角度である場合に、前記運転席の電動シートのリクライニング角度を、前記床面に対する前記シートバックの角度が前記第１規定角度よりも大きい第２規定角度以上に起こされた基準角度にまで戻させる車両用装置。

（技術的思想１２）
技術的思想１１に記載の車両用装置であって、
前記車両の前記運転者以外の乗員である同乗者の有無を特定する同乗有無特定部（１０４）を備え、
前記シート制御指示部は、前記運転者状態推定部で前記異常状態であると推定する場合であって、前記同乗有無特定部で前記同乗者があると特定する場合であって、且つ、前記車両の前記同乗者の座席の前記電動シートのリクライニング位置が前記睡眠角度である場合に、前記同乗者の座席の電動シートのリクライニング位置も前記基準角度にまで戻させる車両用装置。

（技術的思想１３）
技術的思想１～１２のいずれか１項に記載の車両用装置であって、
前記車両の前記運転者以外の乗員である同乗者の有無を特定する同乗有無特定部（１０４）と、
前記乗員に向けて報知装置（２１）によって報知を行わせる報知制御部（１０６）とを備えるものであり、
前記同乗者が覚醒状態か否かを推定する覚醒特定部（１０５）も備え、
前記報知制御部は、前記運転者状態推定部で前記異常状態であると推定する場合であって、前記同乗有無特定部で前記同乗者があると特定する場合であって、且つ、前記覚醒特定部で前記同乗者が覚醒状態と推定する場合に、前記運転者が前記異常状態である可能性を伝える報知を前記同乗者に向けて行わせる車両用装置。

（技術的思想１４）
技術的思想１～１３のいずれか１項に記載の車両用装置であって、
前記運転特定部で前記睡眠許可自動運転中と特定する場合であって、且つ、前記運転者状態推定部で前記異常状態であると推定する場合には、前記車両を直後に緊急停止させるのではなく、前記睡眠許可自動運転が可能な領域における緊急退避場所として推奨される特定領域まで自動で走行させた後に停止させる停止指示部（１１２１）を備える車両用装置。

（技術的思想１５）
技術的思想１～１４のいずれか１項に記載の車両用装置であって、
前記運転者以外の同乗者が前記異常状態であるか否かを推定することが可能な同乗者状態推定部（１０５ｂ）と、
前記運転者状態推定部及び前記同乗者状態推定部での推定結果をもとに、複数の乗員が前記異常状態であることが推定された場合に、前記車両に自動での退避行動を少なくとも実施させる第２退避指示部（１１２ｂ）とを備える車両用装置。

（技術的思想１６）
技術的思想１～１５のいずれか１項に記載の車両用装置であって、
前記運転者以外の同乗者が前記異常状態であるか否かを推定することが可能な同乗者状態推定部（１０５ｂ）と、
少なくとも前記運転者に向けて報知装置（２１ａ）によって報知を行わせる報知制御部（１０６ｃ）とを備えるものであって、
前記報知制御部は、前記同乗者が前記異常状態であると推定した場合に、前記運転者に向けて緊急通報を提案する報知を、前記報知装置に行わせる車両用装置。

（技術的思想１７）
技術的思想１～１６のいずれか１項に記載の車両用装置であって、
少なくとも前記運転者状態推定部で前記運転者が異常状態であると推定したことをもとに、前記車両に自動での退避行動及びセンタへの緊急通報を実施させる第３退避指示部（１１２）を備えるものであって、
前記第３退避指示部は、
前記睡眠許可自動運転で到達可能な所定の退避エリアが存在する場合には、その退避エリアまで前記睡眠許可自動運転で走行させてから停車させる前記退避行動を実施させる一方、前記睡眠許可自動運転で到達可能な前記退避エリアが存在しない場合には、前記車両を緊急停止させる前記退避行動を実施させるものであり、
前記退避エリアまで前記睡眠許可自動運転で走行させてから停車させる場合には、前記車両の車線変更の予定がなく所定距離以上走行可能となったタイミングで前記緊急通報を実施させる車両用装置。

１，１ａ，１ｂ，１ｃ 車両用システム、１０，１０ａ，１０ｂ，１０ｃ ＨＣＵ（車両用装置）、１９ 室内カメラ（センサ）、２０ 生体センサ（センサ）、２１，２１ａ 報知装置、１０１ ＥＣＵ通信部、１０２ 運転特定部、１０３ 運転者状態推定部、１０４ 同乗有無特定部、１０５ 同乗者状態推定部（覚醒特定部）、１０５ｂ 同乗者状態推定部、１０６，１０６ａ，１０６ｃ 報知制御部、１０７ 回答受け付け部、１１１ シート処理部（シート制御指示部）、１１２ 退避処理部（第３退避指示部）、１１２ａ 退避処理部（第１退避指示部）、１１２ｂ 退避処理部（第２退避指示部）、１７１ 第１受け付け部、１７２ 第２受け付け部、２１１ 第１表示器（表示器）、２１２ 第２表示器（表示器）、１１２１ 停止処理部（停止指示部）

Claims (18)

1. 運転者の睡眠が許可される自動化レベルの自動運転である睡眠許可自動運転と、運転者の睡眠が許可されない自動化レベルの運転である睡眠非許可運転との切り替えを実施する車両で用いることが可能な車両用装置であって、
   前記運転者が睡眠状態でない異常状態であるか否かを複数種類のセンサを用いて推定することが可能な運転者状態推定部（１０３）と、
   前記車両が前記睡眠許可自動運転中か前記睡眠非許可運転中かを特定する運転特定部（１０２）とを備え、
   前記運転者状態推定部は、前記運転特定部で前記睡眠非許可運転中と特定する場合には、複数種類のセンサを用いて前記運転者が前記異常状態であるか否かを推定する一方、前記運転特定部で前記睡眠許可自動運転中と特定する場合には、前記睡眠非許可運転中と特定する場合よりも用いる前記センサの種類を減らして前記運転者が前記異常状態であるか否かを推定する車両用装置。
2. 請求項１に記載の車両用装置であって、
   前記運転者状態推定部は、前記運転者を撮像する撮像装置と前記運転者の生体情報を計測する生体センサとを用いて前記異常状態であるか否かを推定することが可能であり、前記運転特定部で前記睡眠非許可運転中と特定する場合には、前記撮像装置と前記生体センサとを用いて前記異常状態であるか否かを推定する一方、前記運転特定部で前記睡眠許可自動運転中と特定する場合には、前記撮像装置は用いるが前記生体センサは用いずに前記異常状態であるか否かを推定する車両用装置。
3. 請求項２に記載の車両用装置であって、
   前記運転者状態推定部は、前記撮像装置と前記車両のステアリングに設けられてそのステアリングを把持する運転者の生体情報を計測する前記生体センサとを用いて前記異常状態であるか否かを推定することが可能であり、前記運転特定部で前記睡眠非許可運転中と特定する場合には、前記撮像装置と前記ステアリングに設けられる前記生体センサとを用いて前記異常状態であるか否かを推定する一方、前記運転特定部で前記睡眠許可自動運転中と特定する場合には、前記撮像装置は用いるが前記ステアリングに設けられる前記生体センサは用いずに前記異常状態であるか否かを推定する車両用装置。
4. 請求項１に記載の車両用装置であって、
   前記運転者状態推定部は、前記睡眠非許可運転中と特定する場合よりも用いる前記センサの種類を減らして前記異常状態であるか否かを推定し、前記異常状態であると推定した場合には、前記運転特定部で前記睡眠許可自動運転中と特定する場合であっても、前記睡眠非許可運転中と特定する場合と同じ種類数の前記センサを用いて前記異常状態であるか否かを再度推定し直す車両用装置。
5. 請求項１に記載の車両用装置であって、
   前記車両の乗員に向けて報知装置（２１）によって報知を行わせる報知制御部（１０６）を備え、
   前記報知制御部は、前記運転者状態推定部で前記異常状態であると推定する場合に、前記運転者が前記異常状態であるか否かの確認を促す報知を行わせる車両用装置。
6. 請求項５に記載の車両用装置であって、
   前記運転者状態推定部は、前記異常状態の種類を区別して特定するものであり、
   前記車両の乗員に向けて少なくとも表示器（２１１，２１２）での表示によって報知を行わせる報知制御部（１０６ａ）を備え、
   前記報知制御部は、前記運転者状態推定部で前記運転者が前記異常状態であると推定した場合に、運転者専用の第１の表示器と、前記運転者以外の同乗者が視認可能な第２の表示器とのいずれにも、その異常状態の種類についての表示である異常種類表示を行わせる車両用装置。
7. 請求項６に記載の車両用装置であって、
   前記異常種類表示に対する前記乗員からの正誤の回答入力を受け付ける回答受け付け部（１０７）と、
   前記異常種類表示が示す前記運転者の前記異常状態が正しい旨の前記乗員からの回答入力を、前記回答受け付け部で受け付けたことをもとに、前記車両に自動での退避行動を少なくとも実施させる第１退避指示部（１１２ａ）とを備える車両用装置。
8. 請求項７に記載の車両用装置であって、
   前記回答受け付け部としての、前記運転者からの正誤の回答入力を受け付ける第１受け付け部（１７１）と、
   前記回答受け付け部としての、前記同乗者からの正誤の回答入力を受け付ける第２受け付け部（１７２）とを備え、
   前記第１退避指示部は、前記第１受け付け部と第２受け付け部とで正誤が異なる回答入力を受け付けた場合に、前記第１受け付け部で受け付ける回答入力よりも、前記第２受け付け部で受け付ける回答入力を優先する車両用装置。
9. 請求項８に記載の車両用装置であって、
   前記第１退避指示部は、前記第１受け付け部と第２受け付け部とのうちの前記第１受け付け部のみで前記回答入力を受け付けた場合には、その回答入力に従う車両用装置。
10. 請求項７に記載の車両用装置であって、
    前記報知制御部は、前記第１退避指示部で前記退避行動を実施させる場合であって、且つ、前記睡眠許可自動運転で到達可能な所定の退避エリアが存在する場合には、前記車両の現在位置からその退避エリアまでの経路を案内する情報を前記表示器に表示させる一方、前記第１退避指示部で前記退避行動を実施させる場合であって、且つ、前記睡眠許可自動運転で到達可能な前記退避エリアが存在しない場合には、前記車両の緊急停止を実施することを示す報知を報知装置に行わせる車両用装置。
11. 請求項１に記載の車両用装置であって、
    前記車両の電動シートのリクライニング角度を制御させるシート制御指示部（１１１）を備え、
    前記シート制御指示部は、前記運転者状態推定部で前記異常状態であると推定する場合であって、且つ、前記車両の運転席の前記電動シートのリクライニング角度が前記車両の床面に対するシートバックの角度が第１規定角度未満に寝かせられた睡眠角度である場合に、前記運転席の電動シートのリクライニング角度を、前記床面に対する前記シートバックの角度が前記第１規定角度よりも大きい第２規定角度以上に起こされた基準角度にまで戻させる車両用装置。
12. 請求項１１に記載の車両用装置であって、
    前記車両の前記運転者以外の乗員である同乗者の有無を特定する同乗有無特定部（１０４）を備え、
    前記シート制御指示部は、前記運転者状態推定部で前記異常状態であると推定する場合であって、前記同乗有無特定部で前記同乗者があると特定する場合であって、且つ、前記車両の前記同乗者の座席の前記電動シートのリクライニング位置が前記睡眠角度である場合に、前記同乗者の座席の電動シートのリクライニング位置も前記基準角度にまで戻させる車両用装置。
13. 請求項１に記載の車両用装置であって、
    前記車両の前記運転者以外の乗員である同乗者の有無を特定する同乗有無特定部（１０４）と、
    前記乗員に向けて報知装置（２１）によって報知を行わせる報知制御部（１０６）とを備えるものであり、
    前記同乗者が覚醒状態か否かを推定する覚醒特定部（１０５）も備え、
    前記報知制御部は、前記運転者状態推定部で前記異常状態であると推定する場合であって、前記同乗有無特定部で前記同乗者があると特定する場合であって、且つ、前記覚醒特定部で前記同乗者が覚醒状態と推定する場合に、前記運転者が前記異常状態である可能性を伝える報知を前記同乗者に向けて行わせる車両用装置。
14. 請求項１に記載の車両用装置であって、
    前記運転特定部で前記睡眠許可自動運転中と特定する場合であって、且つ、前記運転者状態推定部で前記異常状態であると推定する場合には、前記車両を直後に緊急停止させるのではなく、前記睡眠許可自動運転が可能な領域における緊急退避場所として推奨される特定領域まで自動で走行させた後に停止させる停止指示部（１１２１）を備える車両用装置。
15. 請求項１に記載の車両用装置であって、
    前記運転者以外の同乗者が前記異常状態であるか否かを推定することが可能な同乗者状態推定部（１０５ｂ）と、
    前記運転者状態推定部及び前記同乗者状態推定部での推定結果をもとに、複数の乗員が前記異常状態であることが推定された場合に、前記車両に自動での退避行動を少なくとも実施させる第２退避指示部（１１２ｂ）とを備える車両用装置。
16. 請求項１に記載の車両用装置であって、
    前記運転者以外の同乗者が前記異常状態であるか否かを推定することが可能な同乗者状態推定部（１０５ｂ）と、
    少なくとも前記運転者に向けて報知装置（２１ａ）によって報知を行わせる報知制御部（１０６ｃ）とを備えるものであって、
    前記報知制御部は、前記同乗者が前記異常状態であると推定した場合に、前記運転者に向けて緊急通報を提案する報知を、前記報知装置に行わせる車両用装置。
17. 請求項１に記載の車両用装置であって、
    少なくとも前記運転者状態推定部で前記運転者が異常状態であると推定したことをもとに、前記車両に自動での退避行動及びセンタへの緊急通報を実施させる第３退避指示部（１１２）を備えるものであって、
    前記第３退避指示部は、
    前記睡眠許可自動運転で到達可能な所定の退避エリアが存在する場合には、その退避エリアまで前記睡眠許可自動運転で走行させてから停車させる前記退避行動を実施させる一方、前記睡眠許可自動運転で到達可能な前記退避エリアが存在しない場合には、前記車両を緊急停止させる前記退避行動を実施させるものであり、
    前記退避エリアまで前記睡眠許可自動運転で走行させてから停車させる場合には、前記車両の車線変更の予定がなく所定距離以上走行可能となったタイミングで前記緊急通報を実施させる車両用装置。
18. 運転者の睡眠が許可される自動化レベルの自動運転である睡眠許可自動運転と、運転者の睡眠が許可されない自動化レベルの運転である睡眠非許可運転との切り替えを実施する車両で用いることが可能な車両用推定方法であって、
    少なくとも１つのプロセッサにより実行される、
    前記運転者が睡眠状態でない異常状態であるか否かを複数種類のセンサを用いて推定することが可能な運転者状態推定工程と、
    前記車両が前記睡眠許可自動運転中か前記睡眠非許可運転中かを特定する運転特定工程とを含み、
    前記運転者状態推定工程では、前記運転特定工程で前記睡眠非許可運転中と特定する場合には、複数種類のセンサを用いて前記運転者が前記異常状態であるか否かを推定する一方、前記運転特定工程で前記睡眠許可自動運転中と特定する場合には、前記睡眠非許可運転中と特定する場合よりも用いる前記センサの種類を減らして前記運転者が前記異常状態であるか否かを推定する車両用推定方法。

Images