JP2011141821A - 覚醒支援装置 - Google Patents

Abstract

【課題】覚醒支援装置において覚醒支援開始の要否判定の妥当性を向上させること。
【解決手段】第１候補の眠気度合いが閾値未満であると判定すると（Ｓ２２０ＹＥＳ）、算出された信頼度の値が予め定められた基準値以上かを判定する（Ｓ２２５）。信頼度の値が基準値以上であると判定すると（Ｓ２２５ＹＥＳ）、覚醒支援を開始することなく、作動処理を終える。一方、第１候補の信頼度の値が基準値未満であると判定すると（Ｓ２２５ＮＯ）、第２候補が覚醒寄りかを判定する（Ｓ２３０）。第２候補が覚醒寄りであると判定すると（Ｓ２３０ＹＥＳ）、覚醒支援を開始することなく、作動処理を終える。一方、第２候補が居眠り寄りであると判定すると（Ｓ２３０ＮＯ）、要否確認処理（Ａ）を実行する（Ｓ２３５）。要否確認処理において、ユーザが覚醒支援開始を希望すれば、覚醒支援を開始する。
【選択図】図６

Description

ユーザの覚醒を支援する装置に関する。

居眠りを避けたい状況（自動車の運転中など）におけるユーザに対して、警告音を発したり、冷風を顔に当てたりすることで、覚醒を支援する（眠気を覚ます）覚醒支援装置が既に知られている。このような覚醒支援装置は、覚醒支援を要する程の眠気をユーザが感じていることを察知すると、自動で覚醒支援を開始するようになっているものが多い。

ところが「覚醒支援を要する眠気」を高信頼度で推定するのは難しく、誤判定がある程度発生してしまう。その結果、覚醒支援は、誤判定に基づいて開始の要否が判定され得ることになる。このような誤判定に基づけば、覚醒支援の開始時期が不適切となり、望ましくない結果を引き起こす。望ましくない結果とは、覚醒支援の開始が早すぎるが故にユーザに不快感（違和感）を与える、或いは、開始が遅すぎてユーザが既に強い眠気を感じており、覚醒支援が遅きに失することである。

このような課題に関して、例えば特許文献１、２に記載されている技術は、眠気を測定すると共にその測定の信頼度を算出し、測定された眠気が強い場合でも、その測定の信頼度が低いときには、覚醒支援を開始しないようにするというものである。このようにして、ユーザが覚醒している可能性が高い場合には覚醒支援を避けることで、ユーザに与える不快感を軽くしている。

特開２００７−２３３４７５号公報 特開２００７−２４１９３７号公報

先述した従来技術の課題は、覚醒支援開始が必要な状況を見過ごす可能性が高くなってしまうことである。すなわち、測定された眠気が強く、その測定の信頼度が低い場合でも、実際に眠気が強いことは十分に考えられる。先述した従来技術によると、このような場合に、覚醒と判定し必要な覚醒支援を見過ごしてしまうことになる。

本発明は、上記課題に鑑み、覚醒支援装置において覚醒支援開始の要否判定の妥当性を向上させることを目的とする。

上記目的を達成するためになされた請求項１に記載の発明は、ユーザデータ生成手段と、第１特定手段と、第２特定手段と、算出手段と、開始判定手段と、覚醒支援手段とを備えることを特徴とする覚醒支援装置である。

ユーザデータ生成手段は、ユーザの表情を示す表情データを生成する。また、第１特定手段は、ユーザデータ生成手段によって生成された表情データを、複数段階の眠気度合いそれぞれについての表情を示す表情データのサンプルによって構成される照合用データベースと照合した照合結果に基づいて、複数段階の眠気度合いの中からユーザの眠気度合いとして最も信頼度の高いものを特定する。一方、第２特定手段は、複数段階の眠気度合いの中からユーザの眠気度合いとして２番目に信頼度の高いものを、前記照合結果に基づいて特定する。

そして、算出手段は、第１特定手段によって特定された眠気度合いの信頼度の値を、前記照合結果に基づいて算出する。また、開始判定手段は、算出手段によって算出された信頼度の値が基準値以上の場合であって、第１特定手段によって特定された眠気度合いが閾値以上のときは、覚醒支援開始を要すると判定し、第１特定手段によって特定された眠気度合いが閾値未満のときは、覚醒支援開始を要しないと判定する一方で、算出手段によって算出された信頼度の値が基準値未満の場合は、第１特定手段および第２特定手段によって特定された眠気度合いに基づいて覚醒支援開始の要否を判定する。

そして、覚醒支援手段は、ユーザに対する覚醒支援開始を要すると開始判定手段によって判定された場合、覚醒支援を開始する。
この発明によれば、覚醒支援開始の要否判定の妥当性を向上させることができる。すなわち、この発明の覚醒支援装置は、最も高い信頼度を有するとして特定された眠気度合い（つまり、眠気度合いの推定結果）の信頼度の値が基準値未満の場合、２番目に高い信頼度を有する眠気度合いを加味して、覚醒支援開始の要否を判定する。つまり、眠気度合いの推定自体の信頼度が高くない場合でも、別の指標（２番目に高い信頼度を有する眠気度合い）を加味して覚醒支援開始の要否判定を行うことにより、要否判定の妥当性を向上させることができる。

なお、ここで言う「信頼度」は、複数段階の眠気度合い同士について高低を比較できるものであり、「信頼度の値」は、複数段階の眠気度合いそれぞれについて算出可能なものである。また、「信頼度」の高低比較は、必ずしも「信頼度の値」を必要とする訳ではない。

ところで、信頼度の値が基準値未満の場合、２番目に高い信頼度を有する眠気度合いを加味して判定したとしても、信頼度が基準値以上の場合に比べると、判定を誤る可能性が高い場合もあると考えられる。そこで次のようにすると良い。

請求項２に記載の覚醒支援装置が備える開始判定手段は、算出手段によって算出された信頼度の値が基準値未満の場合であって、第１特定手段によって特定された眠気度合いが閾値以上、又は第２特定手段によって特定された眠気度合いが第１特定手段によって特定された眠気度合いよりも強いときは、覚醒支援を希望するかをユーザに質問し、その質問の回答に基づいて覚醒支援開始の要否を判定する。

一方、この開始判定手段は、算出手段によって算出された信頼度の値が基準値未満の場合であって、第１特定手段によって特定された眠気度合いが閾値未満、かつ第２特定手段によって特定された眠気度合いが第１特定手段によって特定された眠気度合いよりも弱いときは、覚醒支援開始を要しないと判定する。

この発明によれば、信頼度が低い場合には、原則、質問によってユーザの希望を確認することで、ユーザに与える不快感を低減しつつ、必要な覚醒支援開始を見逃さないようにできる。さらに、信頼度が低くても、覚醒支援開始を要しないと判定しても妥当性が高い場合（第１特定手段によって特定された眠気度合いが閾値未満、かつ第２特定手段によって特定された眠気度合いが第１特定手段によって特定された眠気度合いよりも弱い場合）は、質問を省くようになっている。このようにすることで、ユーザは回答をしなくてもよくなり、余分な手間を掛けずに済むようになる。

ところで、請求項２についての課題は、次のようにしても解決される。請求項３に記載の覚醒支援装置が備える開始判定手段は、算出手段によって算出された信頼度の値が基準値未満の場合であって、第１特定手段または第２特定手段によって特定された眠気度合いが閾値以上であるときは、覚醒支援開始を希望するかをユーザに質問し、その質問の回答に基づいて覚醒支援開始の要否を判定する。

一方、この開始判定手段は、算出手段によって算出された信頼度の値が基準値未満の場合であって、第１特定手段および第２特定手段によって特定された眠気度合いの両方共が閾値未満であるときは、覚醒支援開始を要しないと判定する。この発明によれば、請求項２に記載の発明と同様な効果が得られる。

ところで、質問が問題を引き起こす可能性がある。例えば、眠気を感じていないユーザが質問をされると「眠気を感じていないのに、覚醒支援について質問された」として不快感を覚える可能性がある。このようなことを防ぐために、質問を婉曲的な表現にすることが考えられる。しかし、婉曲的な表現にすると、眠気によって思考力が低下しているために、ユーザは何を質問されたのか理解できない可能性がある。そこで次のようにすると良い。

請求項４に記載の覚醒支援装置が備える開始判定手段は、第１特定手段によって特定された眠気度合いが閾値以上、かつ、第２特定手段によって特定された眠気度合いが第１特定手段によって特定された眠気度合いよりも強い場合は、それ以外の場合に対して、質問の仕方を変更する。

この発明によれば、覚醒支援開始を要する可能性が高めのとき（第１特定手段によって特定された眠気度合いが閾値以上、かつ、第２特定手段によって特定された眠気度合いが第１特定手段によって特定された眠気度合いよりも強いとき）と、その可能性が低めのとき（それ以外のとき）とで、質問の仕方を変更できる。変更の具体例としては、覚醒支援開始を要する可能性が高めのときは、覚醒支援開始を希望させるために直接的に質問をする一方、その可能性が低めのときは、覚醒支援開始を連想させるような婉曲的な質問をする、というものが考えられる。このように覚醒支援開始を要する可能性が高めの場合と、低めの場合とで、覚醒支援開始の推奨度を変更することで、ユーザに与える不快感を軽くし、また、眠気の自覚を促しつつ、思考力が低下しているユーザに質問を理解してもらえないという事態を予防できる。

ところで、請求項４の構成に替えて、次のようにしても良い。請求項５に記載の覚醒支援装置が備える開始判定手段は、第１特定手段および第２特定手段によって特定された眠気度合いの両方共が閾値以上である場合は、それ以外の場合に対して、質問の仕方を変更する。この発明によれば、請求項４に記載の発明と同様な効果が得られる。

ところで、覚醒支援は、ユーザに与える不快感を防ぐため、或いは、ユーザが覚醒支援に慣れてしまうのを防ぐために、不要になったら終了した方が良い。「不要になったら」という判定をユーザに任せてしまうことも考えられるが、装置側で判定するようにすれば、ユーザに手間を掛けさせないので望ましい。ただし、装置側でその判定をしようとすると、その判定の妥当性が問題となる。そこで、次のようにすると良い。

請求項６に記載の覚醒支援装置は、続行判定手段を備える。この続行判定手段は、第１特定手段によって特定された眠気度合いが閾値以上の場合は、ユーザに対する覚醒支援続行を要すると判定する一方で、第１特定手段によって特定された眠気度合いが閾値未満の場合は、第２特定手段によって特定された眠気度合いと、算出手段によって算出された信頼度の値とに基づいてユーザに対する覚醒支援続行の要否を判定する。そして、覚醒支援手段は、覚醒支援続行を要しないと続行判定手段によって判定されると、覚醒支援を終了する。

この発明によれば、覚醒支援続行の要否判定の妥当性を向上させることができる。すなわち、この発明の覚醒支援装置は、第１特定手段によって特定された眠気度合いが閾値以上の場合は、安全のために、覚醒支援続行を要すると判定するようになっている。一方、第１特定手段によって特定された眠気度合いが閾値未満の場合は、一律に覚醒支援続行を要しないと判定するのではなく、第２特定手段によって特定された眠気度合いと信頼度の値とに基づいて覚醒支援続行の要否を判定することで、その判定の妥当性を向上させている。

ところで、続行判定手段は、具体的には次のようにすると良い。請求項７に記載の覚醒支援装置が備える続行判定手段は、第１特定手段によって特定された眠気度合いが閾値未満の場合であって、算出手段によって算出された信頼度の値が基準値以上のとき又は第２特定手段によって特定された眠気度合いが第１特定手段によって特定された眠気度合いよりも弱いときは、覚醒支援続行を要しないと判定する。

この発明によれば、第１特定手段によって特定された眠気度合いが閾値未満の場合に、信頼度の値が基準値未満であっても、第２特定手段によって特定された眠気度合いを加味することで、覚醒支援続行の要否判定の妥当性を向上させることができる。

ところで、続行判定手段は、次のようにしても良い。請求項８に記載の覚醒支援装置が備える続行判定手段は、第１特定手段によって特定された眠気度合いが閾値未満の場合であって、算出手段によって算出された信頼度の値が基準値以上のとき又は第２特定手段によって特定された眠気度合いが閾値未満のときは、覚醒支援続行を要しないと判定する。この発明によれば、請求項７に記載の発明と同様な効果を得ることができる。

ところで、第１特定手段を実現するための処理を簡単にするには、次のようにすると良い。請求項９に記載の覚醒支援装置が備える第１特定手段は、照合用データベースを構成する表情データのサンプルの中から、ユーザデータ生成手段によって生成された表情データとの類似度が高いものを所定数抽出する抽出手段を備える。さらに、第１特定手段は、抽出手段によって抽出されたサンプルに最も数多く対応付けられた眠気度合いを、最も信頼度の高い眠気度合いとして特定する。

この発明によれば、眠気度合いの特定を簡単な処理で行えるようになり、演算のための負担を軽くできる。
ところで、算出手段を実現するための処理を簡単にするには、次のようにすると良い。請求項１０に記載の覚醒支援装置が備える算出手段は、抽出手段によって抽出されたサンプルの中で、第１特定手段によって特定された眠気度合いに対応するサンプルの数に基づいて、信頼度の値を算出する。この発明によれば、信頼度の値の算出を簡単な処理で行えるようになり、演算のための負担を軽くできる。

ところで、先述した算出手段の算出方法によると、信頼度の値が、先述した類似度を反映しないものになってしまう。そこで、次のようにすると良い。
請求項１１に記載の覚醒支援装置が備える算出手段は、第１特定手段によって特定された眠気度合いに対応するサンプルの表情データそれぞれについて、ユーザデータ生成手段によって生成された表情データとの類似度を算出し、その算出した類似度に基づいて信頼度の値を算出する。

この発明によれば、信頼度の値が類似度を反映したものになるので、請求項１０に記載の方法に比べると、より実情を反映した値となる。

覚醒支援システムの概略構成を示すブロック図。 覚醒支援システムを搭載した自動車の車室内を示した図。 覚醒支援処理を示すフローチャート。 表情データを構成する特徴点を示した図。 学習データを示した図。 作動処理を示すフローチャート。 要否確認処理を示すフローチャート。 作動処理によって決定される作動内容をまとめたテーブル。 第２作動処理を示すフローチャート。 第２作動処理によって決定される作動内容をまとめたテーブル。

［１．ハードウェア構成（図１、図２）］
図１は、本発明が適用された覚醒支援システム１の概略構成を示したブロック図である。この覚醒支援システム１は、自動車に搭載され、運転者の眠気度合いに応じて運転者の覚醒を支援するものである。一方、図２は、覚醒支援システム１を構成する各部が車室内に配置された様子を示した図である。図１、図２に示すように、覚醒支援システム１は、覚醒支援制御装置１０、スピーカ１６、振動装置１７、送風装置１８、カメラ２０、眠気判定装置２１及びタッチパネル画面３０を備える。

カメラ２０は、インストルメントパネル内に配置され、運転者の顔面を含む画像（具体的には、肩付近から上側の部位の画像）を撮影する。タッチパネル画面３０は、ナビゲーション装置や、他の車載機器（エアコン等）に関する情報表示および情報入力のためのユーザインターフェイスとして機能し、さらに、後述する覚醒支援の開始や終了を希望するかについての質問の表示や、回答の入力のために用いられる（詳細後述）。

スピーカ１６は、音楽やナビゲーション機能のための音声、さらに、覚醒支援のための警告音等を出力するために用いられる。振動装置１７は、覚醒支援のために、運転者の臀部付近および背中に振動を与えるものであり、運転席の座面および背もたれの内部に設置されている。送風装置１８は、運転者の背中に風を当てるものであり、運転席の背もたれの表面部に設置されている。

覚醒支援制御装置１０や眠気判定装置２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されるマイコンである。眠気判定装置２１は、カメラ２０によって撮影された画像に基づいて、運転者の眠気度合いを判定（推定）する。覚醒支援制御装置１０は、眠気判定装置２１によって判定された眠気度合いと、タッチパネル画面３０に入力された情報とに基づきスピーカ１６、振動装置１７、及び送風装置１８を制御することによって、覚醒支援を実現する。なお、覚醒支援のための刺激を与えるスピーカ１６、振動装置１７、及び送風装置１８を総称して「覚醒支援機器」と呼ぶ。覚醒支援制御装置１０や眠気判定装置２１が覚醒支援のために実行する処理を、次から説明する。

［２．覚醒支援処理（図３）］
図３は、覚醒支援処理を示すフローチャートである。この覚醒支援処理は、自動車が走行可能な期間（原動機（エンジンやモータ）の作動時）に常時、実行される処理である。図３に示すように覚醒支援処理は、Ｓ１１０〜Ｓ１９０及び作動処理（Ｓ２００）が一連のステップになっていると共に、この一連のステップを繰り返すように構成されている。

［２−１．Ｓ１１０〜Ｓ１９０（図３）］
Ｓ１１０〜１９０は、眠気判定装置２１を実行主体としており、学習データと運転者の表情データとの照合結果に基づいて、運転者の眠気度合いの第１候補および第２候補、並びに、第１候補の眠気度合いの信頼度の値を求めるためのステップである。なお、これらステップにおいて求められた情報は、作動処理において用いられる。

眠気判定装置２１は、覚醒支援処理を開始すると、カメラ２０から、運転者の顔面を含む撮影画像を取得する（Ｓ１１０）。そして、その撮影画像に基づき、表情データを生成する（Ｓ１２０）。表情データを説明するために、図４に移る。

図４は、表情データを構成する顔面上の特徴点を示した図である。本実施例では、左右の上まぶた１０１Ｌ・１０１Ｒ、左右の下まぶた１０２Ｌ・１０２Ｒ、左右の目頭１０３Ｌ・１０３Ｒ、左右の目尻１０４Ｌ・１０４Ｒ、左右の眉頭１０５Ｌ・１０５Ｒ、左右の眉上端１０６Ｌ・１０６Ｒ、左右の眉尻１０７Ｌ・１０７Ｒ、左右の鼻１０８Ｌ・１０８Ｒ、上唇１０９、下唇１１０、左右の口角１１１Ｌ・１１１Ｒ、輪郭１１２〜１１６の２５点が定められている。なお、ここで言う「左右」とは、運転者に向かって見たときの左右であり、運転者から見た左右とは反転することになる。

そして、左右の鼻１０８Ｌ・１０８Ｒの両点を結ぶ直線をｘ軸、両点の中点を通り、ｘ軸に直交する直線をｙ軸として、各点の２次元座標値を計算する。この計算結果が表情データとなる。

図３に戻る。表情データを生成すると、眠気判定装置２１自身が備えるＲＯＭから学習データを取得する（Ｓ１３０）。学習データを説明するために、図５に移る。
図５は、学習データを示す図である。学習データとは、先述した表情データと眠気度合いとの関係について、予め行われた実験から得られるサンプルデータによって構成されるデータベースのことである。この実験は、聞き取りや観察などによって被験者の眠気度合い（０（覚醒）〜５（強い眠気）の６段階）を決定し、その眠気度合いをその時の表情データと関連付ける、というものである。被験者は複数人であり、各被験者について、各眠気度合いのデータが複数個、取得できるまで実験をする。

そして、取得した各データを、眠気度合い０に関連付けられた表情データの平均として得られる座標値との差分を取ることによって、規格化する。このようにして得られるのが、学習データである。なお、各眠気度合いに対応するデータ数は、等しいのが望ましい。なぜなら、後述するＳ１５０〜Ｓ１７０におけるｋｎｎ法（ｋ近傍法）による投票は、各眠気度合いのデータ数に影響されるからである。

図３に戻る。次に、運転者の表情データを、上記「眠気度合い０に関連付けられた表情データの平均として得られる座標値」によって規格化する（Ｓ１４０）。そして、その規格化した運転者の表情データを、学習データに照合して、学習データの中から、運転者の表情データに近いものをｋ個（学習データに属する表情データ数を超えない自然数であって、予め定められた数）抽出する（Ｓ１５０）。具体的には、学習データに属する各表情データと、運転者の表情データとのユークリッド距離を算出し、ユークリッド距離が短いもの上位ｋ個を選択する。なお、このユークリッド距離は、表情データが２５の特徴点から構成されているので、２５次元空間における距離となる。

次に、抽出されたｋ個の表情データを用いて、各眠気度合いに対して投票をする（Ｓ１６０）。具体的には、眠気度合い０に対応する表情データがｋ個中何個あるか、眠気度合い１に対応する表情データがｋ個中何個あるか、…という具合に調べていく。そして、最多の得票数（下記式１のｖｏｔｅ（ＳＬ））を得た眠気度合いを第１候補として特定する（Ｓ１７０）。また、次点の得票数（下記式１のｖｏｔｅ（２ｎｄＳＬ））を得た眠気度合いを第２候補として特定する（Ｓ１８０）。

なお、第１候補の眠気度合いが、運転者の眠気度合いの推定結果であり、第２候補の眠気度合いは、作動処理において覚醒支援の要否判定において補助的に用いられるものである。次に、第１候補の信頼度の値を次式によって算出する（Ｓ１９０）。

式１から分かるように、この実施例では、第１候補と第２候補との得票数の差に基づいて信頼度の値を算出する。Ｓ１９０が終わると、作動処理が実行される（Ｓ２００）。

［２−２．作動処理（図６）］
作動処理を説明するために、図６に移る。図６は、作動処理を示すフローチャートである。作動処理の実行主体は、覚醒支援制御装置１０である。まず、現在、覚醒支援の実行中かを判定する（Ｓ２０５）。実行中でないと判定すると（Ｓ２０５ＮＯ）、覚醒支援の開始を希望する旨がタッチパネル画面３０を介して入力されたかを判定する（Ｓ２１０）。入力されたと判定すると（Ｓ２１０ＹＥＳ）、覚醒支援機器を用いて覚醒支援を開始して（Ｓ２１５）、作動処理を終える。なお、何れの覚醒支援機器を用いるかは、ユーザの入力に従っても良いし、効果が高いことが確認されているものを優先的に選択するようにしても良い。

一方、開始を希望する旨が入力されていないと判定すると（Ｓ２１０ＮＯ）、Ｓ１７０で特定された第１候補の眠気度合いが、予め定められた閾値（例えば、眠気度合い２）未満かを判定する（Ｓ２２０）。第１候補の眠気度合いが閾値未満であると判定すると（Ｓ２２０ＹＥＳ）、Ｓ１９０で算出された信頼度の値が予め定められた基準値以上かを判定する（Ｓ２２５）。信頼度の値が基準値以上であると判定すると（Ｓ２２５ＹＥＳ）、覚醒支援を開始することなく、作動処理を終える。覚醒支援を開始しないのは、第１候補の眠気度合いが覚醒（閾値未満の眠気度合い）を示していると共に、その信頼度が高いので、覚醒支援開始を要しないという判定は妥当だからである。

一方、第１候補の信頼度の値が基準値未満であると判定すると（Ｓ２２５ＮＯ）、第２候補が覚醒寄りかを判定する（Ｓ２３０）。「第２候補が覚醒寄り」とは、第２候補の眠気度合いが、第１候補の眠気度合いよりも低い（覚醒寄りである）ことを意味する。

そして、第２候補が覚醒寄りであると判定すると（Ｓ２３０ＹＥＳ）、覚醒支援を開始することなく、作動処理を終える。覚醒支援を開始しないのは、第１候補が覚醒（閾値未満の眠気度合い）を示していると共に、第２候補が覚醒寄りであるので、覚醒支援開始を要しないという判定は妥当だからである。このように、信頼度の値が低くても、第２候補を加味することで、覚醒支援開始について妥当な判定が可能となる。

一方、第２候補が居眠り寄りである（つまり、第２候補の眠気度合いが、第１候補の眠気度合いよりも高い）と判定すると（Ｓ２３０ＮＯ）、要否確認処理（Ａ）を実行する（Ｓ２３５）。要否確認処理（Ａ）を説明するために、図７に移る。

図７は、要否確認処理を示すフローチャートである。まず、覚醒支援開始に関するメッセージを、音声としてスピーカ１６を介して出力するか、あるいはタッチパネル画面３０に文字として表示する（Ｓ３１０）。そのメッセージの文言は、Ｓ２３５等の要否確認処理（Ａ）なのか、後述する要否確認処理（Ｂ）なのかで異なる。要否確認処理（Ａ）の場合は「お疲れですか？」であり、要否確認処理（Ｂ）の場合は「覚醒支援を開始しますか？」となっている。つまり、要否確認処理（Ａ）の場合は婉曲的な表現を採用しており、要否確認処理（Ｂ）の場合は直接的な表現を採用している。この違いは、覚醒支援開始を推奨すべき度合いが、要否確認処理（Ａ）の場合よりも、要否確認処理（Ｂ）場合の方が高いことに起因する。

メッセージを出力または表示した後は、タッチパネル画面３０を介して、覚醒支援の開始を希望する旨が所定時間以内に入力されたかを判定する（Ｓ３２０）。入力されたと判定すると（Ｓ３２０ＹＥＳ）、覚醒支援機器を用いて覚醒支援を開始する（Ｓ３３０）。一方、「開始を希望しない旨の入力があった」又は「何も入力がないまま所定時間が経った」と判定すると（Ｓ３２０ＮＯ）、覚醒支援を開始することなく、要否確認処理を終え、さらには作動処理を終える。

図６に戻る。第１候補の眠気度合いが閾値以上であると判定すると（Ｓ２２０ＮＯ）、信頼度の値が基準値以上であるかを判定する（Ｓ２４０）。基準値以上であると判定すると（Ｓ２４０ＹＥＳ）、覚醒支援機器を用いて覚醒支援を開始して（Ｓ２４５）、作動処理を終える。

覚醒支援を開始するのは、第１候補が居眠りを示していると共に、第１候補の信頼度の値が高い（基準値以上である）ので、覚醒支援開始を要するという判定は妥当だからである。

一方、信頼度の値が基準値未満であると判定すると（Ｓ２４０ＮＯ）、第２候補の眠気度合いが覚醒寄りかを判定する（Ｓ２５０）。覚醒寄りと判定すると（Ｓ２５０ＹＥＳ）、先述した要否確認処理（Ａ）を実行して（Ｓ２５５）、作動処理を終える。一方、居眠り寄りと判定すると（Ｓ２５０ＮＯ）、要否確認処理（Ｂ）を実行して（Ｓ２６０）、作動処理を終える。なお、Ｓ２５０ＮＯと進んだ場合に要否確認処理（Ｂ）を実行するのは、覚醒支援開始を要する可能性が高いことから、覚醒支援開始をユーザに推奨するためである。

一方、Ｓ２０５において、覚醒支援を実行中であると判定すると（Ｓ２０５ＹＥＳ）、タッチパネル画面３０を介して、覚醒支援の終了を希望する旨が入力されたかを判定する（Ｓ２６５）。その旨が入力されたと判定すると（Ｓ２６５ＹＥＳ）、覚醒支援機器の作動を停止させて（Ｓ２７０）、作動処理を終える。

一方、覚醒支援の終了を希望する旨は入力されていないと判定すると（Ｓ２６５ＮＯ）、第１候補の眠気度合いが閾値未満かを判定する（Ｓ２７５）。閾値以上と判定すると（Ｓ２７５ＮＯ）、覚醒支援を続行したまま作動処理を終える。このように、第１候補の眠気度合いが閾値以上の場合は、安全のために、信頼度の値や第２候補の眠気度合いにかかわらず、覚醒支援を続行する。また「仮にユーザが覚醒支援によって不快感を覚えているのであれば、タッチパネル画面３０を用いて覚醒支援を終了させることができるので、覚醒支援続行による弊害は小さい」ということも、２７５ＮＯの場合に覚醒支援を続行する理由となっている。

一方、第１候補の眠気度合いが閾値未満と判定すると（Ｓ２７５ＹＥＳ）、信頼度の値が基準値以上かを判定する（Ｓ２８０）。基準値以上と判定すると（Ｓ２８０ＹＥＳ）、覚醒支援機器の作動を停止させて（Ｓ２７０）、作動処理を終える。第１候補の眠気度合いが閾値未満、かつ、信頼度の値が基準値以上であれば、覚醒支援続行を要しないという判定は妥当だからである。

一方、信頼度の値が基準値未満と判定すると（Ｓ２８０ＮＯ）、第２候補の眠気度合いが覚醒寄りかを判定する（Ｓ２８５）。覚醒寄りと判定すると（Ｓ２８５ＹＥＳ）、覚醒支援機器の作動を停止させて（Ｓ２７０）、作動処理を終える。このような場合は、信頼度の値が基準値未満であっても、覚醒支援続行を要しないという判定は妥当だからである。

一方、第２候補が居眠り寄りと判定すると（Ｓ２８５ＮＯ）、覚醒支援を続行したまま作動処理を終える。つまり、このような場合は、覚醒支援続行を要しないという判定は妥当ではないので、安全のために、覚醒支援を続行するようになっている。

図８は、作動処理のアウトプットをまとめたテーブルである。このテーブルは、例えば「覚醒支援機器の作動状態」が「実行」であり、かつ、「第１候補が覚醒」を示しており、第１候補の「信頼度が高」ければ（基準値以上なら）、覚醒支援を停止することを示している。なお、タッチパネル画面３０を介した入力に基づく覚醒支援の開始／停止（Ｓ２１０等）は、このテーブルには含まれていない。

このテーブルからは、少なくとも次の＜１＞〜＜３＞の内容が見て取れる。
＜１＞：第１候補の眠気度合いが覚醒を示している場合、信頼度が高い、或いは第２候補の眠気度合いが覚醒寄りであるときは、覚醒支援を停止する（停止状態の続行を含む）。
＜２＞：上記＜１＞以外の場合は、覚醒支援の実行中であれば実行を継続し、覚醒支援の停止中であれば、覚醒支援開始を直ぐに開始するか、或いは覚醒支援開始を運転者に強く促すか、弱く促すかを選択する。
＜３＞：上記＜２＞で述べた選択は、第１候補および第２候補の眠気度合い、並びに、第１候補の信頼度の値に依存する。

［３．効果］
覚醒支援システム１によれば、眠気度合いの推定結果（つまり、第１候補の眠気度合いの特定結果）の信頼度が低くても、第２候補の眠気度合いを加味することで、覚醒支援開始または終了についての判定を妥当なものにすることができる。

また、覚醒支援開始の判定の妥当性が低めの場合は、ユーザに質問をすることにより、ユーザに与える不快感を軽くしつつ、開始すべき覚醒支援を見逃さないようにしている。
さらに、その質問を、第１候補および第２候補の眠気度合い、並びに、第１候補の信頼度の値によって変更することによって、ユーザに与える不快感を更に軽くするようになっている。

また、ｋｎｎ法を用いることで第１候補および第２候補の眠気度合いを簡単に特定することができるようになっている。さらに、ｋｎｎ法による結果を信頼度の値の算出にも用いることで、信頼度の値の算出も簡単に行うことができるようになっている。

［４．特許請求の範囲との対応］
実施例と特許請求の範囲との対応を述べる。Ｓ１１０〜Ｓ１４０がユーザデータ生成手段、Ｓ１６０・Ｓ１７０が第１特定手段、Ｓ１８０が第２特定手段、Ｓ１９０が算出手段、Ｓ２２０・Ｓ２２５・Ｓ２３０・Ｓ２３１・Ｓ２４０・Ｓ２５０・Ｓ２５１・Ｓ３１０・Ｓ３２０が開始判定手段、Ｓ２１５・Ｓ２７０・Ｓ３３０が覚醒支援手段、Ｓ２７５・Ｓ２８０・Ｓ２８５・Ｓ２８６が続行判定手段、Ｓ１５０が抽出手段、のソフトウェアにそれぞれ相当する。

［５．他の形態］
［５−１．信頼度算出の変形例］
信頼度の算出は、実施例で説明した式１（第１候補および第２候補の得票数の差に比例させる考え方）以外に、次式によって算出する方法が考えられる。

上記式２は、第１候補および第２候補の得票数だけでなく、全眠気度合いの得票数を加味して算出するという考え方に基づいたものである。得票数の大部分は、第１候補および第２候補に集中することが多いので、第３候補以降の眠気度合いの得票数を加味してもしなくても、通常、大勢には影響ない。しかし、第３候補以降の眠気度合いが無視できない程度の得票数を得る場合も低頻度ながらあり得る。その場合において、より正確に信頼度の値を算出することを重視するのであれば、計算量は増えるが、上記式２を採用すると良い。

また、次式によって算出する方法も考えられる。

上記式３は、各眠気度合いに属する学習データについて、ユーザの表情データとのユークリッド距離が最短の学習データを特定すると共に、その最短のユークリッド距離を信頼度の値の算出に用いるという考え方である。

［５−２．作動処理の変形例］
図９は、第２作動処理を示すフローチャートである。第２作動処理は、作動処理（図６）に替えて実行されるものである。作動処理に対する変更点は、Ｓ２３０をＳ２３１に、Ｓ２５０をＳ２５１に、Ｓ２８５をＳ２８６に置換した点である。その他のステップは同じである。

ここでは、上記３つのステップのみを説明する。Ｓ２３１・Ｓ２５１・Ｓ２８６は何れも、第２候補の眠気度合いが閾値未満かを判定するためのステップである。このように変更した理由は、次の通りである。

実施例で説明した作動処理において、例えば、「第１候補が眠気度合い＝０」「第２候補が眠気度合い＝１」「信頼度の値が基準値未満」「覚醒か居眠りかの閾値＝２」の場合を考える。この場合、第１候補も第２候補も閾値未満なのだから、覚醒支援の実行中でない場合において、覚醒支援を開始しないと判定して差し支えないと考えられる。

しかし、この場合、作動処理においては、覚醒支援の停止中のとき、Ｓ２２０ＮＯ（第１候補の眠気度合いが閾値未満）→Ｓ２２５ＮＯ（信頼度が基準値未満）→Ｓ２３０ＮＯ（第２候補が居眠り側）→要否確認処理（Ａ）と進み、要否確認処理（Ａ）を実行することになる。要否確認処理（Ａ）であるので、運転者に与える不快感が大きくならないように配慮はされているものの、運転者が覚醒している可能性が高いので要否確認処理（Ａ）も実行しない方が望ましいという考え方もある。

一方、第２作動処理によれば、Ｓ２２０ＮＯ（第１候補の眠気度合いが閾値未満）→Ｓ２２５ＮＯ（信頼度が基準値未満）→Ｓ２３１ＹＥＳ（第２候補の眠気度合いが閾値未満）→と進み、要否確認処理（Ａ）を実行することなく第２作動処理を終えることになる。このように、第１候補が端の値（眠気度合い０又は５）の場合を考慮すると、第２作動処理の方が望ましいとも考えられる。

図１０は、第２作動処理のアウトプットをまとめたテーブルである。作動処理についてまとめた図８に対して、第２候補についてのみが異なる。
［５−３．その他］
（ア）覚醒支援開始についての回答は、タッチパネル画面３０の操作によらなくても、例えば、音声入力によって行うようにしても良い。
（イ）表情データは、実施例では２次元座標を用いていたが、３次元座標を用いても良い。
（ウ）要否確認処理（Ａ）（Ｂ）を省いて、第１候補および第２候補の眠気度合い、並びに信頼度の値に基づいて、覚醒支援制御装置１０が覚醒支援開始の要否を決定するようにしても良い。
（エ）眠気度合いの判定方法は、実施例で説明したものでなくても、他の方法でも構わない。
（オ）実施例で述べた種々の値（眠気度合いの閾値など）は、変更しても構わない。
（カ）自動車搭載用でなくても、二輪車もしくは他の機械の操作者、又は、その他の居眠りを避けたい状況にあるユーザなどを対象として、本発明を適用しても良い。

１…覚醒支援システム、１０…覚醒支援制御装置、１６…スピーカ、１７…振動装置、１８…送風装置、２０…カメラ、２１…眠気判定装置、３０…タッチパネル画面

Claims (11)

1. ユーザの表情を示す表情データを生成するユーザデータ生成手段と、
   前記ユーザデータ生成手段によって生成された表情データを、複数段階の眠気度合いそれぞれについての表情を示す表情データのサンプルによって構成される照合用データベースと照合した照合結果に基づいて、前記複数段階の眠気度合いの中からユーザの眠気度合いとして最も信頼度の高いものを特定する第１特定手段と、
   前記複数段階の眠気度合いの中からユーザの眠気度合いとして２番目に信頼度の高いものを前記照合結果に基づいて特定する第２特定手段と、
   前記第１特定手段によって特定された眠気度合いの信頼度の値を、前記照合結果に基づいて算出する算出手段と、
   前記算出手段によって算出された信頼度の値が基準値以上の場合であって、前記第１特定手段によって特定された眠気度合いが閾値以上のときは、覚醒支援開始を要すると判定し、前記第１特定手段によって特定された眠気度合いが閾値未満のときは、覚醒支援開始を要しないと判定する一方で、前記算出手段によって算出された信頼度の値が前記基準値未満の場合は、前記第１特定手段および前記第２特定手段によって特定された眠気度合いに基づいて覚醒支援開始の要否を判定する開始判定手段と、
   ユーザに対する覚醒支援開始を要すると前記開始判定手段によって判定された場合、覚醒支援を開始する覚醒支援手段とを備える
   ことを特徴とする覚醒支援装置。
2. 前記開始判定手段は、前記算出手段によって算出された信頼度の値が前記基準値未満の場合、
   前記第１特定手段によって特定された眠気度合いが前記閾値以上、又は前記第２特定手段によって特定された眠気度合いが前記第１特定手段によって特定された眠気度合いよりも強いときは、覚醒支援を希望するかをユーザに質問し、その質問の回答に基づいて覚醒支援開始の要否を判定する一方、
   前記第１特定手段によって特定された眠気度合いが前記閾値未満、かつ前記第２特定手段によって特定された眠気度合いが前記第１特定手段によって特定された眠気度合いよりも弱いときは、覚醒支援開始を要しないと判定する
   ことを特徴とする請求項１に記載の覚醒支援装置。
3. 前記開始判定手段は、前記算出手段によって算出された信頼度の値が前記基準値未満の場合、
   前記第１特定手段または前記第２特定手段によって特定された眠気度合いが前記閾値以上であるときは、覚醒支援開始を希望するかをユーザに質問し、その質問の回答に基づいて覚醒支援開始の要否を判定する一方、
   前記第１特定手段および前記第２特定手段によって特定された眠気度合いの両方共が前記閾値未満であるときは、覚醒支援開始を要しないと判定する
   ことを特徴とする請求項１に記載の覚醒支援装置。
4. 前記開始判定手段は、前記第１特定手段によって特定された眠気度合いが前記閾値以上、かつ、前記第２特定手段によって特定された眠気度合いが前記第１特定手段によって特定された眠気度合いよりも強い場合は、それ以外の場合に対して、前記質問の仕方を変更する
   ことを特徴とする請求項２又は請求項３に記載の覚醒支援装置。
5. 前記開始判定手段は、前記第１特定手段および前記第２特定手段によって特定された眠気度合いの両方共が前記閾値以上である場合は、それ以外の場合に対して、前記質問の仕方を変更する
   ことを特徴とする請求項２又は請求項３に記載の覚醒支援装置。
6. 前記第１特定手段によって特定された眠気度合いが閾値以上の場合は、ユーザに対する覚醒支援続行を要すると判定する一方で、前記第１特定手段によって特定された眠気度合いが閾値未満の場合は、前記第２特定手段によって特定された眠気度合いと、前記算出手段によって算出された信頼度の値とに基づいてユーザに対する覚醒支援続行の要否を判定する続行判定手段を備え、
   前記覚醒支援手段は、覚醒支援続行を要しないと前記続行判定手段によって判定されると、覚醒支援を終了する
   ことを特徴とする請求項１〜請求項５の何れか１項に記載の覚醒支援装置。
7. 前記続行判定手段は、前記第１特定手段によって特定された眠気度合いが前記閾値未満の場合であって、前記算出手段によって算出された信頼度の値が前記基準値以上のとき又は前記第２特定手段によって特定された眠気度合いが前記第１特定手段によって特定された眠気度合いよりも弱いときは、覚醒支援続行を要しないと判定する
   ことを特徴とする請求項６に記載の覚醒支援装置。
8. 前記続行判定手段は、前記第１特定手段によって特定された眠気度合いが前記閾値未満の場合であって、前記算出手段によって算出された信頼度の値が前記基準値以上のとき又は前記第２特定手段によって特定された眠気度合いが前記閾値未満のときは、覚醒支援続行を要しないと判定する
   ことを特徴とする請求項６に記載の覚醒支援装置。
9. 前記第１特定手段は、
   前記照合用データベースを構成する表情データのサンプルの中から、前記ユーザデータ生成手段によって生成された表情データとの類似度が高いものを所定数抽出する抽出手段を備えると共に、
   前記抽出手段によって抽出されたサンプルに最も数多く対応付けられた眠気度合いを、前記最も信頼度の高い眠気度合いとして特定する
   ことを特徴とする請求項１〜請求項８の何れか１項に記載の覚醒支援装置。
10. 前記算出手段は、前記抽出手段によって抽出されたサンプルの中で、前記第１特定手段によって特定された眠気度合いに対応するサンプルの数に基づいて、前記信頼度の値を算出する
    ことを特徴とする請求項９に記載の覚醒支援装置。
11. 前記算出手段は、前記第１特定手段によって特定された眠気度合いに対応するサンプルの表情データそれぞれについて、前記ユーザデータ生成手段によって生成された表情データとの類似度を算出し、その算出した類似度に基づいて前記信頼度の値を算出する
    ことを特徴とする請求項９に記載の覚醒支援装置。