JP2018151745A - 覚醒支援装置、方法およびプログラム - Google Patents

Abstract

【課題】運転者の覚醒を促す覚醒支援装置を提供する。【解決手段】覚醒支援装置は、運転者監視映像データに基づいて運転者の覚醒度を認識する。運転者が眠気を催している場合は、運転者の拍動を検出する拍動センサの検出情報に基づいて、さらに前記運転者の拍動の周期に基づいて、非可聴音出力装置に非可聴音情報を出力する非可聴音情報出力部を備える。【選択図】図２

Description

この発明は、運転者の覚醒を促す覚醒支援装置、方法およびプログラムに関する。

例えば、車両の運転者は、車両を運転している間、十分に覚醒していることが求められる。また、近年では、車両の運転操作を自動的に制御する自動運転制御装置を搭載した車両も提案されている。しかし、現状においては、運転操作を完全に自動運転制御装置に任せられるものではなく、緊急事態に咄嗟に対応できるよう、自動運転中であっても、やはり、運転者は、運転中は十分に覚醒していることが求められる。

車両の運転者に限らず、機械等の運転者または操作者もまた、車両の運転と同様に、機械等を運転や操作している間は、十分に覚醒していることが求められる。

このような事情から、例えば運転者の眠気を覚まさせる装置、言い換えれば、運転者の覚醒を促す覚醒支援装置が提案されている。覚醒支援装置は、基本的に、車両の走行状態や運転者の生体情報や映像を取得し、それに基づいて必要なときに運転者に刺激を与える装置である。運転者に与える刺激としては、音、振動、光、香りなどがある。

例えば、日本国特許第５４８２６４４号は、運転者の座席シートを振動させることにより運転者に振動の刺激を与える覚醒支援装置の一例を開示している。また、日本国特許第５０５６０６７号は、スピーカから音を発生させることにより運転者に音の刺激を与える覚醒支援装置の一例を開示している。

日本国特許第５４８２６４４号 日本国特許第５０５６０６７号

このような覚醒支援装置は、現在、運転者の眠気を検出する手法や技術、運転者に与える刺激、刺激の与え方などにおいて、開発が進められており、さまざまな仕様や構成の覚醒支援装置が提案されている。

この発明は、運転者の覚醒を促す新規な覚醒支援装置を提供するものである。

上記課題を解決するため、この発明の第１の態様は、運転者の覚醒を促す覚醒支援装置である。この覚醒支援装置は、前記運転者の拍動を検出する拍動センサの検出情報に基づいて、さらに前記運転者の拍動の周期に基づいて、非可聴音出力装置に非可聴音を出力させる非可聴音情報を出力する非可聴音情報出力部を備える。

この発明の第２の態様による覚醒支援装置は、第１の態様による覚醒支援装置に係り、前記運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が眠気を催しているか否かを判定する運転者状態判定部をさらに備える。前記非可聴音情報出力部は、前記運転者状態判定部により前記運転者が眠気を催していると判定された場合に、前記非可聴音情報を出力する。

この発明の第３の態様による覚醒支援装置は、第１または第２の態様による覚醒支援装置に係り、前記非可聴音情報は、前記運転者の拍動から、前記運転者の拍動の周期よりも短い時間間隔を置いて、所定の期間の間だけ、前記非可聴音を前記非可聴音出力装置に出力させるものである。前記時間間隔は、前記運転者の拍動の周期の半分よりも大きく、前記所定の期間は、前記拍動の周期と前記時間間隔との差よりも短い。

この発明の第４の態様による覚醒支援装置は、第３の態様による覚醒支援装置に係り、前記非可聴音情報出力部は、前記時間間隔を、眠気を催した運転者の拍動の周期に相当する時間間隔から、覚醒時の運転者の拍動の周期に相当する時間間隔まで、段階的に減少させるように、前記非可聴音情報を出力する。

この発明の第５の態様による覚醒支援装置は、第１ないし第４の態様による覚醒支援装置に係り、前記非可聴音情報は、前回の期間の間に出力された非可聴音とは異なる非可聴音を前記非可聴音出力装置に出力させるものである。

この発明の第１の態様によれば、運転者の拍動の周期に基づいて、非可聴音出力装置に非可聴音を出力させる非可聴音情報が出力される。このため、運転者が眠気を催すことを防止することに有効である。また、運転者が眠気を催している場合には、運転者の覚醒が促進される。
この発明の第２の態様によれば、運転者が眠気を催していると判定された場合に、非可聴音が出力される。これにより、運転者の覚醒が促進される。

この発明の第３の態様によれば、運転者の拍動に先行して非可聴音が出力される。このため、運転者の拍動の周期の短縮が良好に促される。これにより、運転者の覚醒が良好に促進される。

この発明の第４の態様によれば、各拍動から非可聴音が出力されるまでの時間間隔が、眠気を催した運転者の拍動の周期に相当する時間間隔から、覚醒時の運転者の拍動の周期に相当する時間間隔まで、段階的に減少される。これにより、運転者の拍動が確実に引き上げられ、運転手の覚醒度が覚醒時なみに向上される。

この発明の第５の態様によれば、前回に出力された非可聴音とは異なる非可聴音が出力される。つまり、単調ではない非可聴音が出力される。このため、運転者が非可聴音になれてしまうことが低減される。これにより、運転者の覚醒が良好に促進される。

すなわち、この発明の各態様によれば、運転者の覚醒を促す新規な覚醒支援装置、方法およびプログラムを提供することができる。

この発明の一実施形態に係る覚醒支援装置を含む運転支援装置を備えた自動運転制御システムの全体構成を示す図である。 この発明の一実施形態に係る覚醒支援装置の機能構成を示すブロック図である。 図２に示した覚醒支援装置による覚醒支援の手順と制御内容を示すフローチャートである。 この発明の一実施形態において非可聴音出力装置が出力する非可聴音のタイムチャートである。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る自動運転制御システムの全体構成を示す図である。この自動運転制御システムは、乗用車等の車両１に搭載される。

車両１は、基本設備として、動力源および変速装置を含むパワーユニット２と、ステアリングホイール３ａが装備された操舵装置３とを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。

車両１は、手動運転モードまたは自動運転モードのいずれかの運転モードで走行可能に構成されている。

手動運転モードは、例えば、運転者の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。

運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）および手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール３ａの操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。

なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件（例えば車両の車線逸脱等）の下で車両の走行に強制的に介入する制御は含まれない。

一方、自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。

図１において、車両１はまた、自動運転モードによる運転制御を実行するための自動運転制御装置５を備えている。自動運転制御装置５は、ステアリングセンサ１１、アクセルペダルセンサ１２、ブレーキペダルセンサ１３、ＧＰＳ受信機１４、ジャイロセンサ１５、および車速センサ１６からそれぞれセンシング情報を取得する。自動運転制御装置５は、これらのセンシング情報と、図示しないナビゲーションシステムで生成される経路情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺監視システムにより得られる情報をもとに、車両１の走行を自動制御する。

自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置３を自動で制御する運転状態である。自動操舵にはＬＫＡ（Lane Keeping Assist）が含まれる。ＬＫＡは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置３を制御する。なお、ＬＫＡの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡに限らない。

自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置５は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置５は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。

図１において、車両１はまた、運転支援装置６を備えている。運転支援装置６は、さまざまな機能を有していてよい。例えば、運転支援装置６は、運転者状態検出センサと共働して運転者を監視して運転者の状態を取得する運転者監視システムを構成する運転者監視機能、報知装置と共働して運転者の状態に応じて警告を発する警告発生システムを構成する警告発生機能、運転者の状態に応じて運転モードの切り替えを制御する運転モード切替制御システムを構成する運転モード切替制御機能、生体情報センサおよび刺激出力装置と共働して運転者の状態に応じて運転者の覚醒を促す覚醒支援システムを構成する覚醒支援機能などを有していてよい。

運転者の状態は、例えば、運転者が脇見をしているか否か、運転者が眠気を催しているか否か、運転者が運転に対して集中度の高い状態にあるか否か、また自動運転中であれば、運転者が手動運転に復帰可能な状態であるか否かなど、さまざまであってよい。運転者の状態の判定は、例えば、次のようにして行われる。

まず、運転者状態検出センサにより運転者の監視映像を取得し、取得した監視映像に基づいて、運転者の眼の開き具合、瞬きの頻度、または眼球運動等を検出し、運転者の視線の方向や運転者の覚醒度等を認識する。次に、運転者の視線の滞留時間や覚醒度等を、予め設定された閾値と比較することにより、運転者の状態を判定する。

この実施形態では、運転支援装置６は、少なくとも、運転者監視機能を実施する運転者監視部６ａと、覚醒支援機能を実施する覚醒支援部６ｂとを有している。運転者監視部６ａは、運転者状態検出センサとしての運転者カメラ７と共働して運転者監視システム８を構成し、覚醒支援部６ｂは、生体情報センサとしての拍動センサ９Ａおよび刺激出力装置としての非可聴音出力装置９Ｂと共働して覚醒支援システム１０を構成している。また、運転者監視部６ａと覚醒支援部６ｂは覚醒支援装置６Ａを構成している。言い換えれば、運転支援装置６は、覚醒支援装置６Ａを内包している。

従って、運転者監視部６ａにおいて判定される運転者の状態は、少なくとも、運転者が眠気を催しているか否かの状態を含んでいる。

運転者カメラ７は、例えばダッシュボード上のような運転者の正面となる位置に設置され、運転者を撮像してその映像信号を運転支援装置６へ出力する。

拍動センサ９Ａは、運転者の拍動を検知し、その拍動を表す拍動信号を運転支援装置６へ出力する。拍動センサ９Ａは、これに限らないが、例えば、脈波センサや心音センサなどで構成されてよい。拍動センサ９Ａは、例えば、衣服型の拍動センサであってよい。あるいは、拍動センサ９Ａは、運転席のシートに取り付けられていてもよい。さらには、拍動センサ９Ａは、運転者の顔を撮影するカメラ（例えば運転者カメラ７）とその画像処理回路とで構成され、運転者の顔の画像から脈拍を計測する技術を利用して運転者の拍動を検知してもよい。

非可聴音出力装置９Ｂは、運転支援装置６から出力された非可聴音信号を非可聴音に変換して出力する。非可聴音出力装置９Ｂは、例えば、スピーカを有し、非可聴音をスピーカから出力する。非可聴音出力装置９Ｂは、非可聴音だけでなく、可聴音も出力できるようになっていてもよい。非可聴音出力装置９Ｂは、ナビゲーションシステムの音声出力機能を利用して構成されてもよい。

ここにおいて、非可聴音とは、可聴領域から外れた周波数を有する音のことである。また可聴音は、可聴領域内の周波数を有する音のことである。非可聴音は、例えば２０Ｈｚ〜２０ｋＨｚの周波数領域から外れた周波数の音であってよい。例えば、非可聴音は、２０ｋＨｚよりも高い周波数の音であってよい。あるいは、非可聴音は、２０Ｈｚよりも低い周波数の音であってもよい。

覚醒支援装置６Ａは、拍動センサ９Ａおよび非可聴音出力装置９Ｂと共働して、必要なときに、例えば運転者が眠気を催したときに、運転者の覚醒を促す装置であり、以下のように構成されている。図２は、その機能構成を示すブロック図である。

覚醒支援装置６Ａは、制御ユニット６１と、入出力インタフェースユニット６２と、記憶ユニット６３とを備えている。

入出力インタフェースユニット６２は、入力されたアナログ信号をデジタルデータに変換して制御ユニット６１へ出力し、また、制御ユニット６１から出力されたデジタルデータをアナログ信号に変換して出力する。具体的には、入出力インタフェースユニット６２は、運転者カメラ７から出力された映像信号を受信してデジタルデータに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はまた、制御ユニット６１から出力された非可聴音情報のデータを信号に変換して非可聴音出力装置９Ｂへ出力する。

記憶ユニット６３は、記憶媒体として、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用したものである。これに限らず、記憶ユニット６３は、ＲＡＭのような揮発性メモリで構成されてもよい。記憶ユニット６３は、本実施形態を実施するために使用する記憶領域として、運転者監視映像記憶部６３１と、運転者状態記憶部６３２と、非可聴音情報記憶部６３３とを備えている。

制御ユニット６１は、コンピュータを構成するＣＰＵ（Central Processing Unit）およびプログラムメモリを有している。制御ユニット６１は、本実施形態を実施するために必要な制御機能として、運転者監視映像取得部６１１と、運転者状態判定部６１２と、非可聴音情報出力部６１３とを備えている。なお、これらの制御機能はいずれもプログラムメモリに格納されたプログラムをＣＰＵに実行させることにより実現される。

運転者監視映像取得部６１１は、運転者カメラ７から運転者の監視映像を取得する機能を有している。運転者監視映像取得部６１１は、運転者カメラ７から出力された運転者の映像信号のデジタルデータ（運転者監視映像データ）を入出力インタフェースユニット６２から取り込み、この取り込んだ運転者監視映像データを記憶ユニット６３の運転者監視映像記憶部６３１に記憶させる。

運転者状態判定部６１２は、運転者の状態を判定する機能を有している。運転者状態判定部６１２は、運転者監視映像記憶部６３１から予め設定された時間間隔で運転者監視映像データを読み込み、その都度、運転者監視映像データに基づいて、運転者が眠気を催しているか否かを判定する処理を行う。運転者状態判定部６１２は、判定結果を表す情報を、記憶ユニット６３の運転者状態記憶部６３２に記憶させる。

運転者が眠気を催しているか否かの状態の判定は、例えば、次のようにして行う。まず、運転者状態判定部６１２は、運転者監視映像データに基づいて、運転者の眼の開眼の状態、まばたきの頻度、または眼球運動等を検出し、運転者の覚醒度を認識する。次に、運転者状態判定部６１２は、運転者の覚醒度を、予め設定された閾値と比較する。運転者状態判定部６１２は、運転者の覚醒度が閾値よりも高い場合には、運転者が眠気を催していないと判定し、反対に、運転者の覚醒度が閾値よりも低い場合には、運転者が眠気を催していると判定する。

非可聴音情報出力部６１３は、必要なときに、非可聴音情報を出力する機能を有している。非可聴音情報出力部６１３は、運転者が眠気を催しているか否かの判定結果を表す情報を運転者状態記憶部６３２から読み込み、判定結果を表す情報が、運転者が眠気を催していることを示す場合、非可聴音情報を非可聴音出力装置９Ｂへ出力する。非可聴音情報出力部６１３はまた、出力した非可聴音情報を記憶ユニット６３の非可聴音情報記憶部６３３に記憶させる。

（動作）
次に、前述したように構成された覚醒支援装置の動作を説明する。図３はその全体の制御手順と制御内容を示すフローチャートである。

（１）運転者監視開始
運転が開始されると、運転者監視システム８は、ステップＳ１において、運転者の監視を開始する。運転者の監視は、例えば、運転のあいだ続けられる。運転者の監視は、例えば、次のようにして行う。

運転が開始されると、運転者カメラ７が起動し、運転者の顔を含む所定の範囲を連続的に撮像してその映像信号を出力する。この状態で覚醒支援装置６Ａは、運転者監視映像取得部６１１の制御の下、運転者カメラ７から出力された映像信号のデジタルデータ（運転者監視映像データ）を入出力インタフェースユニット６２から取り込み、この取り込んだ運転者監視映像データを記憶ユニット６３の運転者監視映像記憶部６３１に記憶させる。

なお、運転者の撮像は、所定の時間間隔で間欠的に行ってもよい。また、運転者カメラ７または入出力インタフェースユニット６２において、映像信号を所定の符号化方式に応じて符号化するようにしてもよい。このようにすると、監視映像データの情報量を減らして運転者監視映像記憶部６３１の記憶容量を節約することが可能となる。

運転者監視映像データの取得が開始されると、覚醒支援装置６Ａは、次に運転者状態判定部６１２の制御の下、一定時間の経過が判定される毎に、運転者の状態の判定を行う。この運転者の判定の時間間隔は、例えば実質的に連続的な判定を行えるような１秒程度の短い間隔に設定してもよく、また１０〜３０秒といった比較的長い間隔に設定するようにしてもよい。

運転者状態判定部６１２は、運転者監視映像記憶部６３１から予め設定された時間間隔で運転者監視映像データを読み込む。次に、運転者状態判定部６１２は、運転者監視映像データを読み込む毎に、運転者監視映像データに基づいて、運転者が眠気を催しているか否かを判定する。運転者状態判定部６１２は、判定結果を表す情報を、判定タイミングを表す情報、例えばタイムスタンプ情報と関連付けて、記憶ユニット６３の運転者状態記憶部６３２に記憶させる。

（２）運転者の眠気の判定
運転者の監視が開始されると、覚醒支援装置６Ａは、ステップＳ２において、非可聴音情報出力部６１３により、運転者が眠気を催しているか否か、つまり、運転者が眠そうかどうかを判定する。

前述したように、運転者状態判定部６１２は、運転者の状態を一定の時間間隔で判定し、その判定結果を表す情報を、運転者状態記憶部６３２に記憶させている。運転者の状態の判定結果は、運転者が眠気を催しているか否かについての判定結果を表す情報を含んでいる。

非可聴音情報出力部６１３は、運転者が眠気を催しているか否かの判定結果を表す情報を一定の時間間隔を置いて運転者状態記憶部６３２から読み込む。

判定結果を表す情報が、運転者が眠気を催していないことを示す場合、運転終了を判定するステップＳ５の処理へ進む。

（３）非可聴音の出力
反対に、判定結果を表す情報が、運転者が眠気を催していることを示す場合には、覚醒支援装置６Ａは、ステップＳ３において、非可聴音情報出力部６１３により、非可聴音出力装置９Ｂに非可聴音を運転者の拍動に同期させて出力させる処理を行う。

非可聴音情報出力部６１３は、拍動センサ９Ａから、運転者の拍動に関する拍動情報を読み込む。次に、非可聴音情報出力部６１３は、拍動情報に基づいて、運転者の拍動の周期を求める。続いて、非可聴音情報出力部６１３は、運転者の拍動から、運転者の拍動の周期よりも短い時間間隔を置いて、所定の期間の間だけ、非可聴音を非可聴音出力装置９Ｂに出力させる非可聴音情報を出力する。非可聴音出力装置９Ｂは、非可聴音情報に基づいて非可聴音を出力する。

図４は、非可聴音出力装置９Ｂが出力する非可聴音のタイムチャートである。図４において、Ｔ_０は、非可聴音の出力を開始した時刻、Ｔ_Ｂは、運転者の拍動の周期（時間間隔）、Ｔ_Ｓは、各拍動から非可聴音が出力されるまでの時間間隔、Ｔ_Ｐは、非可聴音が出力されている期間を表している。また、Ｓ_ｉ（ｉ＝１，２，３，…）は、非可聴音の出力を開始した時刻Ｔ_０からｉ番目に出力された非可聴音を表している。

図４からわかるように、非可聴音Ｓ_ｉは、各拍動から時間間隔Ｔ_Ｓ（＜Ｔ_Ｂ）で出力されている。時間間隔Ｔ_Ｓは、少なくとも、運転者の拍動の周期Ｔ_Ｂの半分よりも大きく設定されている。すなわち、時間間隔Ｔ_Ｓは、少なくとも、Ｔ_Ｓ＞（１／２）Ｔ_Ｂとなるように設定されている。例えば、時間間隔Ｔ_Ｓは、Ｔ_Ｓ＞（２／３）Ｔ_Ｂとなるように設定されていてもよく、そのほか、Ｔ_Ｓ＞（３／４）Ｔ_Ｂとなるように、Ｔ_Ｓ＞（４／５）Ｔ_Ｂとなるように設定されていてもよい。

また、非可聴音Ｓ_ｉが出力されている期間Ｔ_Ｐは、次の拍動の前に非可聴音Ｓ_ｉの出力が終了するように設定されている。言い換えれば、期間Ｔ_Ｐは、拍動の周期Ｔ_Ｂと時間間隔Ｔ_Ｓとの差よりも短くなるように設定されている。すなわち、期間Ｔ_Ｐは、Ｔ_Ｐ＜（Ｔ_Ｂ−Ｔ_Ｓ）となるように設定されている。

このような設定の結果、非可聴音Ｓ_ｉは、運転者の各拍動に対して、（Ｔ_Ｂ−Ｔ_Ｓ）の時間間隔だけ先行して出力される。

人は、眠気を催すと、拍動数が低下するものである。すなわち、眠気を催している人の拍動の時間間隔は、眠気を催していない人の拍動の時間間隔よりも長い。反対に、拍動の時間間隔が短くなれば、その人の覚醒度は高まる。

一般に、人は、可聴周波数領域内の周波数の音は認識できるが、可聴周波数領域外の周波数の音は認識できないと言われている。ここで、人の可聴周波数領域は、一般に、２０Ｈｚ〜２０ｋＨｚであると言われている。

しかし、その一方で、人は、可聴周波数外の音、例えば、バイオリンなどの弦楽器の高調波の音を、自覚はしていないものの、感じ取っていると言われていることも良く知られた事実でもある。

前述したように、非可聴音Ｓ_ｉは、運転者の各拍動に対して先行して出力されている。これにより、非可聴音Ｓ_ｉにつられて、運転者の拍動のタイミングが進むことが期待される。これにより、運転者の覚醒度は高まる、すなわち、運転者の眠気が改善されることが期待される。

非可聴音Ｓ_ｉは、すべて同じものであってよい。例えば、非可聴音Ｓ_ｉは、周波数と振幅がすべて同じであってよい。すなわち、Ｓ_ｉ＝Ｓ_ｉ＋１であってよい。すなわち、非可聴音情報出力部６１３が出力する非可聴音情報は、前回の期間Ｔ_Ｐの間に出力された非可聴音と同じ非可聴音を非可聴音出力装置９Ｂに出力させるものであってよい。

これとは異なり、非可聴音Ｓ_ｉ＋１は、前回の期間Ｔ_Ｐの間に出力された非可聴音Ｓ_ｉと異なっていてもよい。すなわち、Ｓ_ｉ＋１≠Ｓ_ｉであってよい。この場合、非可聴音Ｓ_ｉ＋１は、周波数と振幅の少なくとも一方が非可聴音Ｓ_ｉ＋１と異なっていればよい。例えば、非可聴音Ｓ_ｉ＋１は、周波数と振幅の一方が非可聴音Ｓ_ｉ＋１と異なっていてよい。あるいは、非可聴音Ｓ_ｉ＋１は、周波数と振幅の両方が非可聴音Ｓ_ｉ＋１と異なっていてもよい。すなわち、非可聴音情報出力部６１３が出力する非可聴音情報は、前回の期間の間に出力された非可聴音Ｓ_ｉとは異なる非可聴音Ｓ_ｉ＋１を非可聴音出力装置９Ｂに出力させるものであってよい。

前述したように、非可聴音情報出力部６１３は、非可聴音情報を出力する都度、その非可聴音情報を記憶ユニット６３の非可聴音情報記憶部６３３に記憶させている。非可聴音情報出力部６１３はまた、非可聴音情報を出力する際、前回出力した非可聴音情報を非可聴音情報記憶部６３３から読み込む。つまり、非可聴音情報出力部６１３は、非可聴音Ｓ_ｉ＋１の非可聴音情報を出力する際に、非可聴音Ｓ_ｉの非可聴音情報を非可聴音情報記憶部６３３から読み込む。そして、非可聴音情報出力部６１３は、非可聴音Ｓ_ｉの非可聴音情報に基づいて、非可聴音出力装置９Ｂへ出力する非可聴音Ｓ_ｉ＋１の非可聴音情報を決定する。

各拍動から非可聴音が出力されるまでの時間間隔は、状況に応じて変化されてもよい。例えば、ある出力期間の間は、各拍動から、同一の時間間隔を置いて非可聴音を出力するが、次の出力期間の間は、各拍動から、先の出力期間中の時間間隔とは異なる時間間隔を置いて非可聴音を出力するようにしてもよい。

例えば、最初の出力期間の間に運転者の眠気の改善が認められない場合、次の出力期間では、各拍動から、最初の出力期間中の時間間隔よりも長い時間間隔を置いて非可聴音を出力する。さらに、この出力期間中に運転者の眠気の改善が認められた場合、さらに次の出力期間では、各拍動から、先の出力期間中の時間間隔よりも短い時間間隔を置いて非可聴音を出力する。これを繰り返して、最終的には、各拍動から、最初の出力期間中の時間間隔を置いて非可聴音が出力されるように、時間間隔を段階的に最初の出力期間中の時間間隔に近づけていくようにしてもよい。具体的には、例えば、次のようにしてよい。

一般に、覚醒時の人間の拍動は８０回／分＝１．３３…Ｈｚである。このときの拍動の周期は０．７５１…秒である。例えば、運転者が眠気を催して、運転手の拍動が１．２９Ｈｚになったと仮定する。このときの拍動の周期は０．７７５…秒である。このような場合、各拍動から、１．３３Ｈｚの拍動の周期に相当する０．７５１…秒の時間間隔を置いて非可聴音を出力ことにより、運転者の拍動が１．３３Ｈｚに引き上げられ、運転手の覚醒度が覚醒時なみに向上されることが期待できる。

しかし、予め設定された出力期間が経過した時点で運転手の眠気の改善が認められない場合には、各拍動から、眠気を催した運転者の実際の拍動に近い時間間隔、例えば１．３０Ｈｚの拍動の周期に相当する０．７６９…秒の時間間隔を置いて非可聴音を出力する。これより、各拍動から、最初から１．３３Ｈｚの拍動の周期に相当する時間間隔を置いて非可聴音を出力するよりも容易に運転者の拍動が引き上げられる。運転者の拍動が１．３０Ｈｚに引き上げられたならば、続いて、各拍動から、１．３１Ｈｚの拍動の周期に相当する０．７５７…秒の時間間隔を置いて非可聴音を出力する。その後は、この操作を繰り返して、最終的に、運転者の拍動を１．３３Ｈｚに引き上げる。

このように、各拍動から非可聴音が出力されるまでの時間間隔を、眠気を催した運転者の拍動の周期に近い時間間隔から、覚醒時の運転者の拍動の周期に相当する時間間隔まで、段階的に減少させることにより、運転者の拍動が確実に引き上げられ、運転手の覚醒度が覚醒時なみに向上されることが期待できる。

ここでは、最初に、各拍動から、覚醒時の人間の一般的な拍動の周期に相当する時間間隔を置いて非可聴音を出力し、運転者の眠気の改善が認められない場合に、次に、各拍動から、眠気を催した運転者の拍動の周期に近い時間間隔を置いて非可聴音を出力するとした。しかし、これに限らず、最初から、各拍動から、眠気を催した運転者の拍動の周期に近い時間間隔を置いて非可聴音を出力し、各拍動から非可聴音が出力されるまでの時間間隔を、覚醒時の運転者の拍動の周期に相当する時間間隔まで段階的に減少させるようにしてもよい。

このようにすることによって、最初から、各拍動から、覚醒時の人間の一般的な拍動の周期に相当する時間間隔を置いて非可聴音を出力してもその効果が得られる場合もあり、そのような場合に比べると時間を要するが、運転者の拍動が確実に引き上げられ、運転手の覚醒度が覚醒時なみに向上されることが期待できる。

（４）運転者の眠気の再判定
非可聴音が出力された後、覚醒支援装置６Ａは、ステップＳ４において、運転者の眠気が十分に改善されたか否かを判定する。この判定は、ステップＳ２と同様の手法によって行う。

すなわち、非可聴音情報出力部６１３は、運転者が眠気を催しているか否かの判定結果を表す情報を運転者状態記憶部６３２から読み込む。結果を表す情報が、運転者が眠気を催していないことを示す場合、運転者の眠気が十分に改善されたと判定し、運転終了を判定する次のステップＳ５に進む。反対に、結果を表す情報が、運転者が眠気を催していることを示す場合、ステップＳ３に戻り、非可聴音の出力の処理を再び行う。

つまり、非可聴音の出力が開始された後、覚醒支援装置６Ａは、非可聴音情報出力部６１３により、ステップＳ３とステップＳ４において、運転者の眠気が十分に改善されたとの判定結果が得られるまで、非可聴音の出力と運転者の眠気の再判定の処理を繰り替え続ける。

（５）運転終了の判定
覚醒支援装置６Ａは、ステップＳ２により運転者が眠気を催していないと判定されたならば、または、ステップＳ４により運転者の眠気が十分に改善されと判定されたならば、ステップＳ５において、運転が終了したか否かを判定する。運転が終了していないと判定した場合は、ステップＳ２の処理に戻って先に述べた一連の制御を繰り返す。反対に、運転が終了したと判定した場合は、覚醒支援の制御を終了する。

（効果）
以上詳述したように、この発明の実施形態では、運転者の状態を検出する運転者状態検出センサである運転者カメラ７の検出情報に基づいて、運転者状態判定部６１２により、運転者が眠気を催しているか否かを判定する。そして、運転者が眠気を催していると判定した場合には、非可聴音情報出力部６１３が、拍動センサ９Ａからの心拍情報に基づいて、非可聴音出力装置９Ｂに非可聴音を出力させる非可聴音情報を出力する。これを受けて、非可聴音出力装置９Ｂは、運転者の各拍動から、運転者の拍動の周期よりも短い時間間隔を置いて、所定の期間の間だけ、非可聴音を出力する。このため、非可聴音は、運転者の拍動に先行して繰り返し出力される。これにより、運転者の拍動の周期の短縮、すなわち、心拍数の上昇が促され、運転者の眠気が改善される。

非可聴音は、聞いているという自覚を運転者に与えることがない。このため、非可聴音が運転者をいらだたせたりするなど、運転者に精神的なダメージを与えることがないと考えられる。これにより、運転者に精神的苦痛を伴うことなく、運転者の覚醒が良好に促進される。

常に同一の非可聴音が出力された場合には、運転者が無意識のうちに単調さを感じ取って、眠気の改善がうまくいかないことが懸念される。しかし、前回に出力された非可聴音とは異なる非可聴音を出力することによって、このような懸念も回避できる。

［他の実施形態］
実施形態では、運転者状態検出センサが運転者カメラ７で構成され、運転者カメラ７により得られる運転者の顔を含む映像信号に基づいて運転者の状態を判定する場合を例にとって説明した。しかし、運転者状態検出センサは、運転者カメラ７に限らず、運転者の生体情報を取得する生体センサで構成し、生体センサにより得られる生体信号、例えば脈波センサまたは心拍センサにより検出される運転者の脈波信号または心拍信号や、圧力センサにより検出される横隔膜の上下動を表す信号に基づいて、運転者の状態を判定するようにしてもよい。

実施形態では、車両の手動運転中に運転者が眠気を催したときに運転者の覚醒を支援する例について説明したが、このような状況に限定されるものではなく、さまざまな状況において運転者の覚醒を支援するようにしてもよい。運転者の覚醒を支援する状況としては、例えば、次のような状況であってよい。

運転操作を完全に自動運転制御装置に任せることは安全性の面から避けた方が望ましいと考えられている現状とは異なり、運転操作を完全に自動運転制御装置に任せることに不安のない未来において、車両の自動運転中にしばらく先に手動運転に切り替える必要が生じた状況において、運転者が眠っているか、運転者が車両を手動で運転するには困難であると判定される程度の眠気を運転者が催しているときに、運転者の覚醒を支援するようにしてもよい。

また、実施形態では、車両の運転中の運転者の覚醒を支援する例について説明したが、この発明の適用分野は車両に限定されるものではなく、この発明は、車両以外の乗り物や機械等に適用されてもよい。例えば、この発明は、船舶、航空機、工場、研究所、オフィス等、さまざまな乗り物や施設に適用されてよい。

従って、この明細書において、「運転者」との用語は、車両の運転者に限定されるものではなく、車両の運転者のほか、車両以外の乗り物、例えば、船舶や航空機、宇宙船の運転者や操舵者、操縦士等、また、機械やシステム等の運転者や操作者、作業者等、コンピュータ等の操作者、その他を含むと解釈すべきである。

その他、車両の種類、自動運転制御装置の機能、覚醒支援装置の制御機能と制御手順および制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られるものではない。
（付記１）
運転者の覚醒を促す覚醒支援装置であって、ハードウェアプロセッサを有し、
前記ハードウェアプロセッサが、前記運転者の拍動を検出する拍動センサの検出情報に基づいて、さらに前記運転者の拍動の周期に基づいて、非可聴音出力装置に非可聴音を出力させる非可聴音情報を出力する、覚醒支援装置。
（付記２）
メモリをさらに有し、
前記ハードウェアプロセッサが、
運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が眠気を催しているか否かを判定し、その判定結果を表す情報を前記メモリに記憶させ、
前記メモリから前記判定結果を表す情報を読み出し、前記判定結果を表す情報が、前記運転者が眠気を催していることを示す場合、前記非可聴音情報を出力する、付記１に記載の覚醒支援装置。
（付記３）
運転者の覚醒を促す装置が実行する覚醒支援方法であって、
前記ハードウェアプロセッサを用いて、前記運転者の拍動を検出する拍動センサの検出情報に基づいて、さらに前記運転者の拍動の周期に基づいて、非可聴音出力装置に非可聴音を出力させる非可聴音情報を出力する、覚醒支援方法。
（付記４）
前記ハードウェアプロセッサを用いて、運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が眠気を催しているか否かを判定し、その判定結果を表す情報をメモリに記憶させ、
前記ハードウェアプロセッサを用いて、前記メモリから前記判定結果を表す情報を読み出し、前記判定結果を表す情報が、前記運転者が眠気を催していることを示す場合、前記非可聴音情報を出力する、付記３に記載の覚醒支援方法。

１…車両、２…パワーユニット、３…操舵装置、３ａ…ステアリングホイール、５…自動運転制御装置、６…運転支援装置、６Ａ…覚醒支援装置、６ａ…運転者監視部、６ｂ…覚醒支援部、７…運転者カメラ、８…運転者監視システム、９Ａ…拍動センサ、９Ｂ…非可聴音出力装置、１０…覚醒支援システム、１１…ステアリングセンサ、１２…アクセルペダルセンサ、１３…ブレーキペダルセンサ、１４…ＧＰＳ受信機、１５…ジャイロセンサ、１６…車速センサ、６１…制御ユニット、６２…入出力インタフェースユニット、６３…記憶ユニット、６１１…運転者監視映像取得部、６１２…運転者状態判定部、６１３…非可聴音情報出力部、６３１…運転者監視映像記憶部、６３２…運転者状態記憶部、６３３…非可聴音情報記憶部。

Claims (8)

1. 運転者の覚醒を促す覚醒支援装置であって、
   前記運転者の拍動を検出する拍動センサの検出情報に基づいて、さらに前記運転者の拍動の周期に基づいて、非可聴音出力装置に非可聴音を出力させる非可聴音情報を出力する非可聴音情報出力部を備える、覚醒支援装置。
2. 前記運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が眠気を催しているか否かを判定する運転者状態判定部をさらに備え、
   前記非可聴音情報出力部は、前記運転者状態判定部により前記運転者が眠気を催していると判定された場合に、前記非可聴音情報を出力する、覚醒支援装置。
3. 前記非可聴音情報は、前記運転者の拍動から、前記運転者の拍動の周期よりも短い時間間隔を置いて、所定の期間の間だけ、前記非可聴音を前記非可聴音出力装置に出力させるものであり、前記時間間隔は、前記運転者の拍動の周期の半分よりも大きく、前記所定の期間は、前記拍動の周期と前記時間間隔との差よりも短い、請求項１または請求項２に記載の覚醒支援装置。
4. 前記非可聴音情報出力部は、前記時間間隔を、眠気を催した運転者の拍動の周期に相当する時間間隔から、覚醒時の運転者の拍動の周期に相当する時間間隔まで、段階的に減少させるように、前記非可聴音情報を出力する、請求項３に記載の覚醒支援装置。
5. 前記非可聴音情報は、前回の期間の間に出力された非可聴音とは異なる非可聴音を前記非可聴音出力装置に出力させるものである、請求項１ないし請求項４のいずれかひとつに記載の覚醒支援装置。
6. 運転者の覚醒を促す装置が実行する覚醒支援方法であって、
   前記運転者の拍動を検出する拍動センサの検出情報に基づいて、さらに前記運転者の拍動の周期に基づいて、非可聴音出力装置に非可聴音を出力させる非可聴音情報を出力する非可聴音情報出力ステップを有する、覚醒支援方法。
7. 運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が眠気を催しているか否かを判定する運転者状態判定ステップをさらに有し、
   前記非可聴音情報出力ステップは、前記運転者状態判定ステップにより前記運転者が眠気を催していると判定された場合に、前記非可聴音情報を出力する、請求項７に記載の覚醒支援方法。
8. 請求項１ないし請求項５のいずれかひとつに記載の覚醒支援装置が備える各部の機能または請求項６または請求項７に記載の覚醒支援方法の各ステップをコンピュータに実行させるプログラム。