JP2016071577A - 運転者状態検出方法および検出装置 - Google Patents

Abstract

【課題】運転者の顔の表情の変化を利用して、運転者が漫然状態であるか否かを精度よく判定できるようにする。【解決手段】実際の走行試験の結果、運転者が漫然状態になると、顔の特定部位（例えば口周り）が一時的に変化すると共に、この一時的な変化の継続時間が長くなったり、一時的な変化の所定周期内での発生回数が増大する、という知見が得られた。この知見に基づき、顔の特定部位の一時的な変化が所定時間以上継続しているとき、一時的な変化の所定周期内での回数が所定回数以上であるときに、運転者Ｊが漫然状態であると判定される。【選択図】 図２

Description

本発明は、運転者が漫然状態であるか否かを判定するようにした運転者状態検出方法および検出装置に関するものである。

車両、特に自動車の運転においては、安全走行のために、運転者の注意レベルが低下した漫然状態であるか否かを判定することが好ましいものとなる。特に、運転者が眠気を感じたり疲労を感じたりする前の段階に生じる漫然状態であるか否かを判定することは、その後に生じる可能性の高い眠気を感じる段階にまで発展させないように、警報等の事前対策を行う等の上で好ましいものとなる。特許文献１には、運転者の顔の表情を利用して、漫然状態を含む運転者状態を判定するものが開示されている。

特開２００７−２６５３７７号公報

特許文献１では、運転者の顔の表情に基づいて漫然状態であることを判定することについて、具体的な手法は開示されていないものである。

本発明は以上のような事情を勘案してなされたもので、その第１の目的は、運転者の顔の表情の変化を利用して運転者が漫然状態であるか否かを精度よく判定できるようにした運転者状態検出方法を提供することにある。

また、本発明の第２の目的は、運転者の顔の表情の変化を利用して運転者が漫然状態であるか否かを精度よく判定できるようにした運転者状態検出装置を提供することにある。
を提供することにある。

前記目的を達成するため、本発明にあっては、基本的に、実際の走行試験に基づいて得られた次のような知見に基づいたものとなっている。すなわち、運転者が漫然状態になると、顔の特定部位（例えば口周り）が一時的に変化すると共に、この一時的な変化の継続時間が長くなったり、一時的な変化の所定周期内での発生回数が増大する、という知見に基づいてなされている。

具体的には、本発明方法にあっては次のような第１の解決手法を採択してある。すなわち、請求項１に記載のように、
運転者の顔面の特定部位の変化を検出する表情変化検出ステップと、
前記表情変化検出ステップによって検出される前記特定部位の一時的な変化の継続時間を計測する継続時間計測ステップと、
前記継続時間計測ステップにおいて計測された継続時間が、あらかじめ設定された所定時間以上であるときに、運転者が漫然状態にあると判定する漫然状態判定ステップと、
を備えているようにしてある。上記解決手法によれば、顔の特定部位の表情が一時的に変化した継続時間が所定時間以上となるときは、運転者が漫然状態であると判定するようにして、運転者の漫然状態を精度よく判定することができる。

上記第１の解決手法を前提として、次のような解決手法を採択することができる。すなわち、請求項２に記載のように、
あらかじめ設定された所定周期毎に、前記表情変化検出ステップによって検出される前記特定部位の一時的な変化の該所定周期内における回数をカウントする変化回数カウントステップをさらに備え、
前記漫然状態判定ステップでは、前記変化回数カウントステップでカウントされた変化回数が、あらかじめ設定された所定回数以上であることを条件に、運転者が漫然状態にあると判定する、
ようにしてある（請求項２対応）。この場合、所定周期内での特定部位の一時的な変化の回数をも加味して運転者が漫然状態であるか否かを判定することにより、運転者が漫然状態であることをより精度よく判定することができる。

前記第１の目的を達成するため、本発明方法にあっては次のような第２の解決手法を採択してある。すなわち、請求項３に記載のように、
運転者の顔面の特定部位の変化を検出する表情変化検出ステップと、
あらかじめ設定された所定周期毎に、前記表情変化検出ステップによって検出される前記特定部位の一時的な変化の該所定周期内における回数をカウントする変化回数カウントステップと、
前記変化回数カウントステップでカウントされた変化回数が、あらかじめ設定された所定回数以上であるときに、運転者が漫然状態にあると判定する漫然状態判定ステップと、
を備えているようにしてある。
上記解決手法によれば、所定周期内での特定部位の一時的な変化の回数が所定回数以上のときは、運転者が漫然状態であると判定するようにして、運転者の漫然状態を精度よく判定することができる。

上記各解決手法を前提として、次のような解決手法を採択することができる。すなわち、請求項４に記載のように、
前記特定部位が、運転者の口周りとされている、ようにしてある（請求項４対応）。この場合、走行試験での結果から、顔の表情のうち特に口周りに変化が生じやすいという知見から、特定部位を口周りとして選択することにより、運転者の漫然状態を極めて精度よく判定することができる。

前記第２の目的を達成するため、本発明装置にあっては次のような第３の解決手法を採択してある。すなわち、請求項５に記載のように、
運転者の顔面のうち口周りを撮像する撮像手段と、
前記撮像手段で撮像された映像から、運転者の口周りの一時的な変化を検出する変化検出手段と、
前記変化検出手段で検出される前記口周りの一時的な変化の継続時間を計測する継続時間計測手段と、
前記継続時間計測手段で計測された継続時間が、あらかじめ設定された所定時間以上であるときに、運転者が漫然状態であると判定する漫然状態判定手段と、
を備えているようにしてある。上記解決手法によれば、請求項１および請求項４に対応した効果を得ることのできる運転者状態検出装置が提供される。

前記第２の目的を達成するため、本発明装置にあっては次のような第３の解決手法を採択してある。すなわち、請求項６に記載のように、
運転者の顔面のうち口周りを撮像する撮像手段と、
前記撮像手段で撮像された映像から、運転者の口周りの一時的な変化を検出する変化検出手段と、
あらかじめ設定された所定周期毎に、前記変化検出手段で検出される前記口周りの一時的な変化の該所定周期内における回数をカウントする変化回数カウント手段と、
前記変化回数カウント手段でカウントされた変化回数が、あらかじめ設定された所定回数以上であるときに、運転者が漫然状態にあると判定する漫然状態判定手段と、
を備えているようにしてある。上記解決手法によれば、請求項３および請求項４に対応した効果を得ることのできる運転者状態検出装置が提供される。

本発明によれば、運転者が漫然状態であることを精度よく判定することができる。

本発明が適用された車両の簡略要部側面図。 本発明の制御例を示すフローチャート。 本発明の第２の制御例を示すフローチャート。 運転者の顔の口周りについて、基準の表情となる無表情のときと、無表情から種々変化したときの例を示す図。 図４の続きを示す図。 運転者の鼻周りの表情が変化されたときの例を示す図。 周回路を定速走行する走行試験での試験結果を示す図。 周回路を定速走行する走行試験での試験結果のうち、口周りでの表情変化の継続時間と回数とを詳細に示す図。 図８のデータを棒グラフ形式で示す図。

図１に示す車両Ｖにおいて、ＳＳは運転席、Ｊは運転席ＳＳに着座された運転者である。また、１はステアリングハンドル、２はインストルメントパネル、３はフロントウインドガラスである。そして、インストルメントパネル２には、運転者Ｊの前方位置において、撮像手段としてのカメラ４が配設されている。カメラ４は、運転者Ｊの上半身部分、特に顔のうち口周りを鮮明に撮像できるものとされている。そして、カメラ４で撮像された映像（映像信号）は、マイクロコンピュータを利用して構成されたコントローラ（制御ユニット）Ｕに入力される。コントローラＵは、後述する、運転者Ｊが漫然状態であるか否かを判定するものとなっている。

図４は、運転者Ｊの口周りの表情とその変化の態様を示す。図４の最上段の左位置において、基準表情となる無表情の状態が示され、それ以外は無表情の状態から口周りが変化された状態が示される。図５も、無表情の状態から口周りが変化された状態が示される。図６は、無表情の状態から鼻周りが変化されたときの例が示される。ただし、後述する走行試験での結果から、運転者Ｊが漫然状態となったときの表情変化は、特に口周りに多く現れるという知見から、実施形態では鼻周りの変化は参考的に示してある。

後述するように、運転者Ｊが漫然状態となったときは、カメラ４で撮像される運転者Ｊの口周りが、無表情から一時的に変化されると共に、この一時的な変化の継続時間が長くなり（無表情から表情変化されて、再び無表情に戻るまでの継続時間）、しかも所定周期（実施形態では３分）内での変化回数も多くなる。

図２は、運転者Ｊの漫然状態を判定するためのコントローラＵによる制御例を示すフローチャートであり、以下このフローチャートについて説明する。なお。以下の説明でＱはステップを示す。また、図２は、運転者Ｊが漫然状態になると、口周りの一時的な変化の継続時間、つまり無表情から口周りが一時的に変化されて、再び無表情に戻るまでの継続時間が、所定時間以上というように長くなる、という知見に基づいた制御例となっている。

以上のことを前提として、まずのＱ１において、データ入力される（カメラ４からの映像信号がコントローラＵに入力される）。次いで、Ｑ２において、運転者Ｊの口周りに表情変化があったか否かが判別される。このＱ２の判別でＹＥＳのときは、Ｑ３において、表情変化が所定時間（例えば１０秒）以上継続したか否かが判別される。このＱ３の判別でＹＥＳのときは、Ｑ４において、運転者Ｊが漫然状態であると判定される。Ｑ２の判別でＮＯのとき、あるいはＱ３の判別でＮＯのときは、それぞれ、Ｑ５において、運転者Ｊは漫然状態ではないと判定される。

上記、Ｑ４において、運転者Ｊが漫然状態であると判定されたときは、運転者Ｊの注意力（集中力）のそれ以上の低下を抑制するような各種警報等を行うのが好ましい。この警報としては、例えば、警報ランプを点灯させたり（漫然状態の程度相違に応じて、色等の点灯状態を相違させることもできる）、音楽を聴くようにあるいは一人カラオケを行うことを例えば音声で促したり、空調風の風量や運転者Ｊに向かう吹出方向を変化させたり、疑似的に発生させるエンジン音を変化させる等、種々の手法をとり得る。なお、このような警報そのものは、本発明とは直接関係がないので、これ以上の説明は省略する。

図３は、本発明の別の制御例を示すもので、運転者Ｊが漫然状態になると、所定周期内での口周りの一時的な変化の回数が多くなる、という知見に基づいた制御例となっている。

以上のことを前提として、まずＱ１１において、タイマが０にリセットされ、また口周りの変化回数が０にリセットされる。このタイマは、所定周期を設定するもので、実施形態では、所定周期として３分を設定するようにしてある。Ｑ１１の後、Ｑ１２において、データ入力される（図２のＱ１対応）。この後、Ｑ１３において、運転者Ｊの口周りに表情変化があったか否かが判別される。このＱ１３での口周りの変化は、無表情からの変化のみならず、図４、図５に示すような種々の口周りの変化の間での変化をも含むものとなっている。

上記Ｑ１３の２の判別でＹＥＳのときは、Ｑ１４において、口周りの変化の回数がカウントアップされた後、Ｑ１５に移行される。また、Ｑ１３の判別でＮＯのときは、Ｑ１４を経ることなく、Ｑ１５に移行される。このＱ１５では、タイマ値が所定値（所定周期となる例えば３分）以上であるか否かが判別される。このＱ１５の判別でＮＯのときは、Ｑ１２に戻る。

上記Ｑ１５の判別でＹＥＳのときは（所定周期が経過した時点となったときは）、Ｑ１６において、Ｑ１４でカウントアップされるタイマ値が所定値（例えば７回）以上であるか否かが判別される。このＱ１６の判別でＹＥＳのときは、Ｑ１７において、運転者Ｊが漫然状態であると判定される。また、Ｑ１６の判別でＮＯのときは、Ｑ１８において、運転者Ｊは漫然状態ではないと判定される。Ｑ１７あるいはＱ１８後は、Ｑ１１に戻る（次の所定周期での口周りの変化の回数をカウントして漫然状態を判定する制御に移行）。

次に、図７〜図９を参照しつつ、漫然状態に関して行われた走行試験と、この走行試験に基づいて得られた漫然状態に関するデータについて説明する。

まず、走行試験は、被験者としての運転者Ｊが、後席に着座された同乗者と共に、周回路を６０ｋｍ／ｈで定速走行することにより行った。周回路の長さは、６０ｋｍ／ｈの定速走行で１周するのに約４分要する長さである。走行試験は、運転者Ｊの直前方にカメラを設置して、運転者Ｊの顔の表情の変化を撮像、記録するようにした。そして、１周期を３分として、各周期の終了毎に、同乗者が運転者Ｊに対して、覚醒度と集中度と運転の楽しさとの３種類について、５段階で問診して（各段階の意味づけは図７に示すとおり）、問診結果を記録することにより行った。なお、走行試験開始からの経過時間が９分から１８分の間は、一時的に問診による記録は行わないようにしてある。

上述の走行試験の結果を示す図７において、９分経過するまで眠気は全くないものの、３分経過した時点から楽しさが低下し、９分経過した時点では集中度が低下した状態となっている。この集中度の低下は２４分経過した時点でも生じ、その後は、集中度が低下した状態が維持される。

図８は、走行試験開始から３分毎に、口周りの表情変化が生じた回数とその継続時間とをまとめて示す表であり、この図８の表を棒グラフで示したのが図９である。集中度が低下する９分経過時点では、口周りの表情変化の継続時間が長く、しかも表情変化の回数が大きく増大している、ということが理解される。このことは、集中度が低下する２４分経過した時点以後も同じである。以上に加えて、走行試験では、首を傾けたりステアリングハンドル２を持ち直したりする体動の回数を、所定周期（走行試験では３分）毎に記録するようにしてある。そして、運転者Ｊが漫然状態になると、所定周期内のでの体動回数が増加するということも理解される。

上述の説明から容易に理解されるように、口周りの表情変化の継続時間が長いとき（例えば１０秒継続するとき）は、集中度が低下して運転者Ｊが漫然状態であると判定することができる。また、例えば３分という所定周期内での口周りの表情変化の回数が多いとき（例えば７回以上）のときも、集中度が低下して運転者Ｊが漫然状態であると判定することができる。図２、図３の制御例は、上述した走行試験の結果に基づくものであり、運転者Ｊの漫然状態の判定を精度よく行うことができる。

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。漫然状態であると判定するのを、口周りの表情変化の継続時間が所定時間以上であり、かつ口周りの表情変化の回数が所定回数以上であるという両方の条件を満たしたときとすることもでき、この場合は、漫然状態であることの判定精度をより高めることができる。

漫然状態の判定に際して、顔以外の運転者Ｊの体動をも加味するようにしてもよい。すなわち、運転者Ｊが首を左右や前後に傾けたり、ステアリングハンドル２を持ち直したりする等の体動も、漫然状態になると増加するので、所定周期内での体動回数が所定回数（例えば２回）以上になったことを条件として、漫然状態であると判定するようにしてもよく、この場合も漫然状態の判定をさらに精度よく行うことができる。顔の表情の変化をみるための特定部位としては、口周りが好ましいが、例えば鼻周りや目の周りを選択する等、適宜の部位を選択することができ、これらの複数の部位を特定部位として選択するようにしてもよい。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。

本発明は、運転者の漫然状態を精度よく判定して、安全運転向上等を図る上で好ましいものとなる。

Ｖ：車両
Ｊ：運転者
ＳＳ：運転席
Ｕ：コントローラ
１：ステアリングハンドル
２：インストルメントパネル
３：フロントウインドガラス
４：カメラ（撮像手段）

Claims (6)

1. 運転者の顔面の特定部位の変化を検出する表情変化検出ステップと、
   前記表情変化検出ステップによって検出される前記特定部位の一時的な変化の継続時間を計測する継続時間計測ステップと、
   前記継続時間計測ステップにおいて計測された継続時間が、あらかじめ設定された所定時間以上であるときに、運転者が漫然状態にあると判定する漫然状態判定ステップと、
   を備えていることを特徴とする運転者状態検出方法。
2. 請求項１において、
   あらかじめ設定された所定周期毎に、前記表情変化検出ステップによって検出される前記特定部位の一時的な変化の該所定周期内における回数をカウントする変化回数カウントステップをさらに備え、
   前記漫然状態判定ステップでは、前記変化回数カウントステップでカウントされた変化回数が、あらかじめ設定された所定回数以上であることを条件に、運転者が漫然状態にあると判定する、
   ことを特徴とする運転者状態検出方法。
3. 運転者の顔面の特定部位の変化を検出する表情変化検出ステップと、
   あらかじめ設定された所定周期毎に、前記表情変化検出ステップによって検出される前記特定部位の一時的な変化の該所定周期内における回数をカウントする変化回数カウントステップと、
   前記変化回数カウントステップでカウントされた変化回数が、あらかじめ設定された所定回数以上であるときに、運転者が漫然状態にあると判定する漫然状態判定ステップと、
   を備えていることを特徴とする運転者状態検出方法。
4. 請求項１ないし請求項３のいずれか１項において、
   前記特定部位が、運転者の口周りとされている、ことを特徴とする運転者状態検出方法。
5. 運転者の顔面のうち口周りを撮像する撮像手段と、
   前記撮像手段で撮像された映像から、運転者の口周りの一時的な変化を検出する変化検出手段と、
   前記変化検出手段で検出される前記口周りの一時的な変化の継続時間を計測する継続時間計測手段と、
   前記継続時間計測手段で計測された継続時間が、あらかじめ設定された所定時間以上であるときに、運転者が漫然状態であると判定する漫然状態判定手段と、
   を備えていることを特徴とする運転者状態検出装置。
6. 運転者の顔面のうち口周りを撮像する撮像手段と、
   前記撮像手段で撮像された映像から、運転者の口周りの一時的な変化を検出する変化検出手段と、
   あらかじめ設定された所定周期毎に、前記変化検出手段で検出される前記口周りの一時的な変化の該所定周期内における回数をカウントする変化回数カウント手段と、
   前記変化回数カウント手段でカウントされた変化回数が、あらかじめ設定された所定回数以上であるときに、運転者が漫然状態にあると判定する漫然状態判定手段と、
   を備えていることを特徴とする運転者状態検出装置。

Images