JP2019083019A - ドライバ状態判定装置 - Google Patents

Abstract

【課題】高精度に安定してドライバの異常状態を判定できるドライバ状態判定装置を提供する。【解決手段】車両のドライバの顔画像であって、ドライバの顔表面の温度分布を表す遠赤外画像を撮影する遠赤外カメラ１１と、遠赤外カメラ１１により所定期間に撮影された前遠赤外画像に基づいて、ドライバの異常状態を判定する状態判定手段４７と、を備える。【選択図】 図１

Description

本発明は、ドライバの異常状態を判定するドライバ状態判定装置に関する。

車両を運転中に、ドライバの状態が漫然、居眠り、発作等の異常状態にあると、事故を引き起こす可能性が高まる。そこで、事故を未然防止するために、ドライバの状態を監視する装置が提案されている。

例えば、特許文献１に記載の眠気検出装置は、カメラにより撮影されたドライバの顔画像から、目、口等の顔の部品を検出し、顔の部品の形状等に基づいて、ドライバの眠気を検出している。また、生体センサによりドライバの脈拍を測定して、ドライバの状態を監視するものも提案されている。

特開２００７−２６４７８５号公報

顔画像から検出した顔の部品の形状を用いる場合、日射や対向車のヘッドライト等の外乱光の影響で、ドライバの顔の部品の検出精度が低下し、ドライバの異常状態の判定精度が低下するという問題がある。また、生体センサを用いる場合、ドライバを拘束する必要があり、ドライバの異常状態の判定を安定して行うには不向きである。さらに、生体センサは微弱電気信号を扱うため車両ノイズに弱いという問題もある。

本発明は、上記実情に鑑み、高精度に安定してドライバの異常状態を判定できるドライバ状態判定装置を提供することを主たる目的とする。

本発明は、上記実情に鑑み、ドライバ状態判定装置であって、車両のドライバの顔画像であって、前記ドライバの顔表面の温度分布を表す遠赤外画像を撮影する遠赤外カメラと、前記遠赤外カメラにより所定期間に逐次撮影された前記遠赤外画像に基づいて、前記ドライバの異常状態を判定する状態判定手段と、前記ドライバの鼻及び口を覆うマスクを検出するマスク検出手段と、前記マスク検出手段によりマスクが検出されていない場合、前記遠赤外画像における前記ドライバの鼻腔部又は口内部を呼吸部とし、前記呼吸部の温度変動情報から前記ドライバの呼吸状態を検出する一方で、前記マスク検出手段によりマスクが検出されている場合、前記遠赤外画像における前記マスクに対応する領域の温度変動情報から前記ドライバの呼吸状態を検出する呼吸状態検出手段と、を備える。前記状態判定手段は、前記呼吸状態検出手段により検出された前記呼吸状態に基づいて、前記ドライバの異常状態を判定する。

本発明によれば、遠赤外カメラにより、ドライバの顔表面の温度分布を表す遠赤外画像が撮影される。ドライバが漫然状態や急病状態等の異常状態になると、ドライバの呼吸や瞬目の状態は正常時と異なる状態に変化する。ドライバの呼吸や瞬目の状態が正常時と異なる状態に変化すると、ドライバの顔表面の温度分布の変動が正常時と異なる変動となる。よって、所定期間に逐次撮影された遠赤外画像が表す温度分布に基づいて、ドライバの異常状態が判定できる。また、遠赤外カメラは外乱光の影響を受けにくい。さらに、遠赤外カメラは非接触センサであるため、安定してドライバの顔画像を撮影できる。したがって、ドライバの顔の遠赤外画像から、高精度に安定してドライバの異常状態を判定できる。さらに、本発明によれば、呼吸状態検出手段は、マスク検出手段によりマスクが検出されていない場合、遠赤外画像におけるドライバの鼻腔部又は口内部を呼吸部とし、呼吸部の温度変動情報からドライバの呼吸状態を検出する一方で、マスク検出手段によりマスクが検出されている場合、遠赤外画像におけるマスクに対応する領域の温度変動情報からドライバの呼吸状態を検出することができ、状態判定手段は、呼吸状態検出手段により検出された呼吸状態に基づいて、ドライバの異常状態を判定することができる。

本実施形態に係るドライバ状態判定装置の構成を示す図。 近赤外カメラ及び遠赤外カメラの搭載位置を示す図。 息を吸っている又は止めている状態の遠赤外画像を示す模式図。 息を吐いている状態の遠赤外画像を示す模式図。 マスクを着用している状態の遠赤外画像を示す模式図。 眼鏡を着用している状態の遠赤外画像を示す模式図。 眼鏡を着用している状態の近赤外画像を示す模式図。 正常時及び異常時の呼吸状態を示す図。 正常時及び異常時の瞬目状態を示す図。 ドライバの異常状態を検出する処理手順を示すフローチャート。 呼吸状態を検出する処理手順を示すサブルーチン。 瞬目状態を検出する処理手順を示すサブルーチン。

以下、ドライバ状態判定装置を具現化した実施形態について、図面を参照しつつ説明する。

まず、本実施形態に係るドライバ状態判定装置１０の構成について、図１及び２を参照して説明する。ドライバ状態判定装置１０は、ＥＣＵ２０、遠赤外カメラ１１、及び近赤外カメラ１２を備えて、ドライバの異常状態を判定する。本実施形態において、ドライバの異常状態とは、ドライバが運転に必要な適切な認識、判断及び操作を実施することができない状態であり、例えば漫然状態、居眠り状態、体調異常状態、脇見状態等である。

遠赤外カメラ１１は、遠赤外線領域に感度を有するカメラであり、撮影範囲内の物質が発する遠赤外線の強度を画素値に変換して、遠赤外画像を生成する。よって、遠赤外画像は撮影対象の温度分布を表し、画素値が大きいほど温度は高い。近赤外カメラ１２は、近赤外線領域に感度を有するカメラであり、投光器１４により照らされた領域を含む撮影対象を撮影して、近赤外画像を生成する。投光器１４は、近赤外光を照射する照明装置であり、駆動部１３により駆動される。駆動部１３は、後述するＥＣＵ２０の画像処理部３０により制御される。なお、投光器１４はＬＥＤ（発光ダイオード）の他、フィラメントなどを有する別の光源であっても良いが、ここではＬＥＤを代表例として説明する。

遠赤外カメラ１１及び近赤外カメラ１２は、運転シートに着座した際のドライバの顔領域を含む領域の画像を、１秒間に数枚から数百枚分撮影する。遠赤外カメラ１１及び近赤外カメラ１２は、図２に示すように、メータパネル１５上の近い位置に斜め上向きに仰角を有するように搭載されている。遠赤外カメラ１１および近赤外カメラ１２はドライバのアイリプス部を含む領域を視野角に含めるように設定されており、近赤外カメラ１２は遠赤外カメラ１１が撮像するアイリプスよりも広視野となっている。アイリプス部は、車種ごとに決まっている領域であり、通常の運転時に、体格の異なる様々なドライバの眼位置が分布する楕円の領域である。

なお、遠赤外カメラ１１及び近赤外カメラ１２の搭載位置は、メータパネル１５上に限らず、例えば、ステアリングコラム上でもよい。遠赤外カメラ１１及び近赤外カメラ１２の搭載位置は、ドライバがシートに着座して正面を向いたときに、ドライバの鼻腔部を撮影できる位置であればよい。

ＥＣＵ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えるマイクロコンピュータであり、ＣＰＵがＲＯＭに記憶されている各種プログラムを実行することにより、画像処理部３０、状態判定部４０及びアクチュエーション判定部５０の機能を実現する。

画像処理部３０は、近赤外カメラ１２の露光タイミングや露光時間、投光器１４の発光タイミングや発光時間、光量等を設定して、近赤外カメラ１２及び投光器１４の駆動部１３へ制御指令を送信する。また、画像処理部３０は、遠赤外カメラ１１により撮影された遠赤外画像、及び近赤外カメラ１２により撮影された近赤外画像を取得する。

状態判定部４０は、位置取得手段４１、領域抽出手段４２、マスク検出手段４３、眼鏡検出手段４４、呼吸状態検出手段４５、瞬目状態検出手段４６、状態判定手段４７及び顔向き検出手段４８を備え、ドライバの異常状態を判定する。各手段の詳細は後述する。

アクチュエーション判定部５０は、状態判定部４０によりドライバが異常状態であると判定された場合には、ドライバに覚醒を促したり、注意を喚起したりするように、アクチュエーション部６０の各装置６１〜６３へ制御信号を送信するとともに、異常状態が継続する場合には、緊急車両停止装置６４へ制御信号を送信する。詳しくは、アクチュエーション判定部５０は、警告音や警告メッセージを出力するように、スピーカ６１へ制御指令を送信する。また、アクチュエーション判定部５０は、運転席のシートを振動させるように、運転席のシートに設置されたシート振動装置６２へ制御指令を送信する。また、アクチュエーション判定部５０は、冷たい風をドライバに吹き付けるように、空調装置６３へ制御指令を送信する。アクチュエーション判定部５０は、ドライバの状態が異常状態から正常状態に復帰しない場合に、車両を緊急停止させるように、車両緊急停止装置６４へ制御指令を送信する。

アクチュエーション判定部５０は、スピーカ６１、シート振動装置６２及び空調装置６３のうちの２つ以上を駆動させるようにしてもよい。また、アクチュエーション判定部５０は、異常状態の継続に伴い、順次駆動させる装置を変化させたり増やしたりするようにしてもよい。また、ドライバの覚醒を促す装置は、スピーカ６１、シート振動装置６２、空調装置６３に限らず、他の装置でもよい。アクチュエーション部６０には、ドライバの覚醒を促す少なくとも１つの装置と、車両緊急停止装置６４とが含まれていればよい。

次に、状態判定部４０の各手段について、図３〜９を参照して説明する。位置取得手段４１は、近赤外画像から顔の部品を認識し、認識した顔の部品の位置情報を取得する。認識する顔の部品は、眼、鼻、口などである。詳しくは、位置取得手段４１は、近赤外画像において、眼、鼻、口をテンプレートマッチングなど公知の手法で処理を行い、認識する。そして、位置取得手段４１は、認識した眼、鼻、口の位置情報、すなわち画像の座標情報を取得する。

領域抽出手段４２は、位置取得手段４１により取得された位置情報、及び近赤外画像と遠赤外画像の座標の対応関係を用いて、図３（ａ）及び図４（ａ）に示すように、遠赤外画像において、眼領域Ｅｒ，Ｅｌ、鼻領域Ｎ及び口領域Ｍを抽出する。図では便宜上、眼領域Ｅｒ，Ｅｌを一体的に記載しているが、実際には２つの領域である。眼領域Ｅｒ，Ｅｌは、眼球が存在する部分である眼部を探索する探索領域である。鼻領域Ｎは鼻腔部を探索する探索領域であり、口領域Ｍは口内部を探索する探索領域である。領域抽出手段４２は、眼、鼻、口の位置情報を中心とした一定の領域を、それぞれ眼領域Ｅｒ，Ｅｌ、鼻領域Ｎ、口領域Ｍとして抽出する。なお、ドライバが鼻呼吸をしている場合は鼻腔部が呼吸部となり、口呼吸をしている場合は口内部が呼吸部となる。

遠赤外画像は通常の可視光画像と異なり形状のエッジ部分が明瞭ではないため、遠赤外画像を用いて顔全体から、顔の部品を認識することは困難である。そこで、領域抽出手段４２は、近赤外画像から取得された位置情報を用いて、探索領域の抽出を行う。このように探索領域の抽出を行うことにより、遠赤外画像において、眼部、鼻腔部及び口内部の探索処理の負荷を軽減できるとともに、眼部、鼻腔部及び口内部を高精度に検出できる。

呼吸状態検出手段４５は、鼻腔部又は口内部の温度変動情報から呼吸状態を検出する。鼻又は口から息を吸うと、鼻腔部又は口内部に比較的低温の空気が流入する。そのため、ドライバが鼻から息を吸っている状態又は息を止めている状態では、図３（ａ）に示すように、遠赤外画像の鼻腔部の輝度は低くなり暗く映る。ドライバの鼻が詰まっている場合は、詰まっている鼻腔部に流入する空気が少なくなるため、図３（ｂ）に示すように、遠赤外画像において、詰まっている方の鼻腔部は、詰まっていない方の鼻腔部よりも輝度が高くなる。また、ドライバが口から息を吸っている状態又は息を止めている状態では、図３（ｃ）に示すように、遠赤外画像の口内部の輝度は低くなり暗く映る。

一方、鼻又は口から息を吐くと、鼻腔部又は口内部から比較的高温の空気が流出する。そのため、ドライバが鼻から息を吐いている状態では、図４（ａ）に示すように、遠赤外画像の鼻腔部の輝度は高くなり明るく映る。ドライバの鼻が詰まっている場合は、図４（ｂ）に示すように、遠赤外画像において、詰まっている方の鼻腔部は、詰まっていない方の鼻腔部よりも輝度が低くなる。また、ドライバが口から息を吸っている状態又は息を止めている状態では、図４（ｃ）に示すように、遠赤外画像の口内部の輝度は高くなり明るく映る。

よって、所定期間（例えば数十秒）に撮影された遠赤外画像における呼吸部の温度は、呼吸に伴い変動する。呼吸状態検出手段４５は、呼吸部の温度変動情報すなわち遠赤外画像における呼吸部の輝度変動情報から、ドライバの呼吸周期、呼吸の深さ、呼吸速度等の呼吸状態を検出する。呼吸周期は、図８に示すような呼吸部の輝度の変化曲線において、例えば山と山との間隔又は谷と谷との間隔とする。また、呼吸の深さは、図８に示すような呼吸部の輝度の変化曲線において、例えば山と谷との輝度の差分量Ｄとする。

ただし、マスク検出手段４３によりドライバの鼻及び口を覆うマスクが検出された場合には、呼吸状態検出手段４５は、検出されたマスクを呼吸部として、マスクの温度変動情報から呼吸状態を検出する。

マスク検出手段４３は、所定期間に撮影された遠赤外画像からマスクを検出する。近赤外画像では、マスクと肌と境界線を抽出してマスクを検出することは困難である。これに対して、遠赤外画像では、図５に示すように、呼吸に伴いマスクにおいて鼻や口を覆う部分の温度が全体的に変動するため、所定期間における遠赤外画像からマスクを検出することができる。マスク検出手段４３は、顔の下部において、通常の鼻領域Ｎや口領域Ｍよりも広い領域で温度が変動している場合に、温度の変動領域をマスクとして検出する。

さらに、呼吸状態検出手段４５は、顔向き検出手段４８により検出されたドライバの顔向きが、遠赤外カメラ１１に対して鼻腔部の見えない向きであった場合に、誤検出を防止するため呼吸状態の検出を停止する。例えば、顔が大きく下又は上に傾いている場合には鼻腔部が見えないため、呼吸状態検出手段４５は、このような場合には呼吸状態の検出を停止する。顔向き検出手段４８は、近赤外画像からドライバの顔向きを検出する。詳しくは、顔向き検出手段４８は、近赤外画像において認識した顔の部品の配置に基づいて顔向きを検出する。

瞬目状態検出手段４６は、眼部の温度変動情報から瞬目状態を検出する。眼球の表面温度は、瞼の表面温度よりも低い。そのため、ドライバが眼を開いている場合は、遠赤外画像の眼球部の輝度は低くなり暗く映る。また、ドライバが眼を閉じている場合は、遠赤外画像の眼球部の輝度は高くなり明るく映る。

よって、所定期間に撮影された遠赤外画像における眼領域Ｅｒ，Ｅｌの温度は、瞬きに伴い変動する。瞬目状態検出手段４６は、眼領域Ｅｒ，Ｅｌの温度変動情報すなわち遠赤外画像における眼領域Ｅｒ，Ｅｌの輝度変動情報から、ドライバの瞬目周期、継続閉眼時間等の瞬目状態を検出する。瞬目周期は、眼領域Ｅｒ，Ｅｌの輝度の変化曲線において、例えば山と山との間隔又は谷と谷との間隔とする。

ただし、眼鏡検出手段４４によりドライバの眼鏡が検出された場合には、瞬目状態検出手段４６は、図７に示すように、近赤外画像からドライバの眼の開度である開眼度を検出し、検出した開眼度の変動から瞬目状態を検出する。詳しくは、瞬目状態検出手段４６は、近赤外画像から上下瞼の輪郭を抽出し、抽出した上瞼の輪郭と下瞼の輪郭との間隔や輪郭の形状から開眼度を検出する。

眼鏡検出手段４４は、遠赤外画像からドライバの眼鏡を検出する。遠赤外画像では、図６に示すように、眼鏡部分はその他の顔部分よりも常に暗く映る。よって、眼鏡検出手段４４は、遠赤外画像において、顔の上部で、常に低温部分が存在する場合に、低温部分を眼鏡として検出する。

状態判定手段４７は、遠赤外カメラ１１により所定期間に撮影された遠赤外画像に基づいて、ドライバの異常状態を判定する。詳しくは、状態判定手段４７は、ドライバの呼吸状態及び瞬目状態に基づいて、ドライバの異常状態を判定する。

図８に示すように、ドライバが正常状態の場合には、呼吸の周期や深さは安定した略一定値となる。一方、ドライバが異常状態の場合には、呼吸の周期や深さは正常状態から変化して不安定に変動するものとなる。状態判定手段４７は、呼吸周期の変動や呼吸の深さの変動に基づいて、ドライバの異常状態を判定する。

また、図９に示すように、ドライバが正常状態の場合には、瞬目の周期や平均閉眼時間は安定した略一定値となる。一方、ドライバが異常状態の場合には、瞬目周期や平均閉眼時間は正常状態から変化して不安定に変動するものとなる。状態判定手段４７は、瞬目周期の変動や平均閉眼時間の変動や半眼状態の継続など開眼度の変動に基づいて、ドライバの異常状態を判定する。半眼の検出は、眼探索領域内の明暗の内、暗い部分の領域の面積変動から求められる。

次に、ドライバの異常状態を判定する処理手順について、図１０のフローチャートを参照して説明する。本処理手順は、ＥＣＵ２０が繰り返し実行する。

まず、近赤外カメラ１２により撮影された近赤外画像を取得するとともに（Ｓ１０）、遠赤外カメラ１１により撮影された遠赤外画像を取得する（Ｓ１１）。Ｓ１０とＳ１１はほぼ同じタイミングであればよく順番は逆となっても問題ない。また、遠赤外カメラ１１はその性格上、撮像毎ではないが時々はシャッタによりリセットする必要があるため、フレーム抜けが発生する可能性があるが、そこは適宜適切な処理をする。

続いて、Ｓ１０で取得した近赤外画像から、顔の部品すなわち眼、鼻、口を検出する。詳しくは、近赤外画像において顔の部品を認識し、顔の部品の位置情報を取得する（Ｓ１２）。続いて、Ｓ１２で検出した顔の部品の配置に基づいて、顔の位置及び顔向きを検出する（Ｓ１３）。検出した顔の位置が遠赤外画像内に入らない位置の場合は、遠赤外画像に基づいた処理（Ｓ１４〜Ｓ１７）は実行しない。

続いて、Ｓ１３で検出した顔向きが、鼻腔部が見える顔向きか否か判定する（Ｓ１４）。鼻腔部が見える顔向きの場合は（Ｓ１４：ＹＥＳ）、Ｓ１１で取得した遠赤外画像に基づいて呼吸状態検出を行う（Ｓ１５）。呼吸状態検出の処理手順の詳細は後述する。一方、鼻腔部が見えない顔向きの場合は（Ｓ１４：ＮＯ）、呼吸状態検出を行わないで、眼鏡検出に進む。

続いて、Ｓ１１で取得した遠赤外線画像から眼鏡を検出したか否か判定する（Ｓ１６）。眼鏡を検出していない場合は（Ｓ１６：ＮＯ）、Ｓ１１で取得した遠赤外画像に基づいて瞬目状態検出を行う（Ｓ１７）。瞬目状態検出の処理手順の詳細は後述する。Ｓ１７の処理の後、Ｓ１０で取得した近赤外画像から、ドライバの眼の開眼度を検出する（Ｓ１８）。一方、眼鏡を検出した場合は（Ｓ１６：ＹＥＳ）、Ｓ１１で取得した遠赤外画像に基づいた瞬目状態検出を行わないで、Ｓ１０で取得した近赤外画像から、ドライバの眼の開眼度の検出を行う（Ｓ１８）。

Ｓ１０で取得した近赤外画像から、ドライバの眼の開眼度を検出するとき、Ｓ１６で眼鏡を検出している場合は、Ｓ１６で検出された眼鏡の有無および位置情報を用いることで、眼鏡のフレームを眼の輪郭として誤検出することを防止する。続いて、開眼度の履歴及びＳ１８で検出した開眼度を用いて、所定期間における開眼度の変動を算出し、算出した開眼度の変動から瞬目周期を検出する（Ｓ１９）。

続いて、Ｓ１５で検出した呼吸周期、及び／又は、Ｓ１７及び／又はＳ１９で検出した瞬目周期に基づいて、ドライバが異常状態か否か判定する（Ｓ２０）。例えば、検出した呼吸周期及び瞬目周期を学習しておき、検出した呼吸周期と呼吸周期の学習値との差が呼吸閾値よりも大きい場合、又は検出した瞬目周期と瞬目周期の学習値との差が瞬目閾値よりも大きい場合に、ドライバが異常状態と判定する。あるいは、検出した呼吸周期の分散値が呼吸分散閾値よりも大きい場合、又は検出した瞬目周期の分散値が瞬目分散閾値よりも大きい場合に、ドライバが異常状態と判定してもよい。また、検出した呼吸周期及び瞬目周期からそれぞれ異常度合を算出するとともに、それぞれ算出した異常度合を統合し、統合した異常度合と異常閾値とを比較して、ドライバの異常状態を判定してもよい。なお、Ｓ１５で呼吸状態を検出していない場合は、瞬目状態のみに基づいてドライバの異常状態を判定する。

さらに、Ｓ１３で検出した顔向きに基づいて、ドライバが異常状態か否か判定する（Ｓ２０）。ドライバの顔向きが脇見をしている向きの場合は、ドライバが異常状態と判定する。

Ｓ２０でドライバが正常状態と判定した場合は（Ｓ２０：ＮＯ）、本処理を終了する。Ｓ２０でドライバが異常状態と判定した場合は（Ｓ２０：ＹＥＳ）、アクチュエーション部６０の各装置６１〜６３に制御信号を送信して、各装置６１〜６３を駆動させる（Ｓ２１）。

続いて、Ｓ１１〜Ｓ２０の処理を繰り返して、ドライバが正常状態に復帰したか否か判定する（Ｓ２２）。ドライバが正常状態に復帰した場合は（Ｓ２２：ＹＥＳ）、本処理を終了する。ドライバが異常状態のままである場合は（Ｓ２２：ＮＯ）、車両緊急停止装置６４へ制御信号を送信して、車両を緊急停止させる（Ｓ２３）。以上で本処理を終了する。

次に、呼吸状態検出の処理手順について、図１１のサブルーチンを参照して説明する。まず、Ｓ１１で取得した遠赤外画像からマスクを検出したか否か判定する（Ｓ１５１）。

マスクを検出していない場合は（Ｓ１５１：ＮＯ）、Ｓ１２で取得した鼻の位置情報を用いて、Ｓ１１で取得した遠赤外画像から鼻腔部の探索領域である鼻領域Ｎを抽出する（Ｓ１５２）。続いて、Ｓ１５２で抽出した鼻領域Ｎを探索して、鼻腔部の輪郭を検出する（Ｓ１５３）。２つの鼻腔部のうちの一方が鼻詰まりになっている場合もあるため、鼻腔部は左右それぞれ検出する。続いて、Ｓ１５３で検出した左右の鼻腔部の輪郭内である鼻腔部の画素値を平均して、画素値の平均値を左右それぞれ算出する（Ｓ１５４）。続いて、左右の画素平均値の履歴、及びＳ１５４で算出した左右の画素平均値を用いて、所定期間における左右の画素平均値の変動を算出し、呼吸周期を検出する。左右の鼻腔部それぞれにつて呼吸周期を検出するため、一方の鼻腔部が鼻詰まりになっていても、呼吸周期を検出できる。この後、Ｓ１６の処理に進む。

なお、所定期間における左右の画素平均値がほとんど変動していない場合は、ドライバが鼻呼吸ではなく口呼吸をしていると判断する。この場合、Ｓ１１で取得した遠赤外画像から口領域Ｍを抽出し、口領域Ｍを探索して、口の輪郭を検出する。そして、口内部の画素平均値を算出するとともに、所定期間における口内部の画素平均値の変動を算出し、呼吸周期を検出する。

また、マスクを検出している場合は（Ｓ１５１：ＹＥＳ）は、検出したマスクの鼻や口を覆っている部分について画素値の平均値を算出する（Ｓ１５５）。続いて、マスクの輝度平均値の履歴、及びＳ１５５で算出したマスク全体または、マスク内で鼻や口が存在すると推定される領域の画素値の平均値を用いて、所定時間における画素平均値の変動を算出し、呼吸周期を検出する。この後、Ｓ１６の処理に進む。

次に、瞬目状態検出の処理手順について、図１２のサブルーチンを参照して説明する。まず、Ｓ１２で取得した眼の位置情報を用いて、Ｓ１１で取得した遠赤外画像から眼部の探索領域である眼領域Ｅｌ，Ｅｒを抽出する（Ｓ１７１）。続いて、Ｓ１７１で抽出した眼領域Ｅｌ，Ｅｒを探索して、左右の眼の輪郭を検出する（Ｓ１７２）。続いて、Ｓ１７２で検出した左右の眼の輪郭内である左右の眼部の画素値の平均値をそれぞれ算出する（Ｓ１７３）。続いて、眼部の画素平均値の履歴、及びＳ１７３で算出した眼部の画素平均値を用いて、所定期間における眼部の画素平均値の変動を算出し、瞬目周期を検出する（Ｓ１７４）。この後、Ｓ２０の処理に進む。

以上説明した本実施形態によれば、以下の効果を奏する。

・遠赤外カメラ１１により、ドライバの顔表面の温度分布を表す遠赤外画像が撮影される。ドライバが異常状態になると、ドライバの顔の温度分布はドライバが正常状態のときとは局所的には異なる変動をする。よって、所定期間に逐次撮影された遠赤外画像に基づいて、ドライバの異常状態が判定できる。また、遠赤外カメラ１１は外乱光の影響を受けにくい。さらに、遠赤外カメラ１１は非接触センサであるため、安定してドライバの顔画像を撮影できる。したがって、所定期間におけるドライバの顔の遠赤外画像から、高精度に安定してドライバの異常状態を判定できる。

・呼吸の周期に対応して鼻腔部又は口内部の温度は変動する。よって、ドライバの鼻腔部又は口内部の温度変動情報からドライバの呼吸状態を検出できる。そして、検出したドライバの呼吸状態からドライバの異常状態を判定できる。

・瞬目周期に対応して眼部の温度は変動する。よって、ドライバの眼部の温度変動情報からドライバの瞬目状態を検出できる。そして、検出したドライバの瞬目状態からドライバの異常状態を判定できる。

・ドライバが異常状態になると、呼吸周期が正常時の周期から変化したり、呼吸周期がばらついたりする。よって、呼吸周期の変動に基づいて、ドライバの異常状態を判定することができる。

・ドライバが異常状態となると、瞬目周期が正常時の周期から変化したり、瞬目周期がばらついたりする。よって、瞬目周期の変動に基づいて、ドライバの異常状態を判定することができる。

・遠赤外画像は画像としては明瞭ではないため、通常の画像処理にて顔の部品を認識することは困難である。一方、近赤外画像は、顔の部品のエッジ点を抽出して顔の部品を認識しやすい。そこで、近赤外カメラ１２により撮影された近赤外画像から顔の部品が認識されて、顔の部品の位置情報が取得される。そして、近赤外画像から取得された顔の部品の位置情報を用いて、遠赤外画像における眼領域Ｅｌ，Ｅｒ、鼻領域Ｎ、及び口領域Ｍが抽出される。このように、遠赤外カメラ１１と近赤外カメラ１２を組み合わせたマルチモーダルな検出方法を用いることにより、遠赤外カメラ１１のみを用いた場合よりも高精度にドライバの呼吸状態及び瞬目状態を検出できる。

・一般的に近赤外画像からマスクを検出することは困難であるが、遠赤外画像では呼吸に伴いマスクの鼻や口を覆う部分の温度が全体的に変動するため、マスクを高精度に検出することができる。

・遠赤外画像では、眼鏡はその他の顔部分よりも常に暗くなる。そのため、遠赤外画像から眼鏡を高精度に検出することができる。

・ドライバがマスクを着用している場合は、鼻領域Ｎ又は口領域Ｍを抽出できないが、呼吸に伴いマスクが全体的に温度変動する。そこで、マスクが検出された場合は、マスクを呼吸部とすることで、マスクの温度変動から呼吸状態を検出できる。

・ドライバが眼鏡を着用している場合は、遠赤外画像を用いて眼部の温度変動から瞬目状態を検出することができない。そこで、この場合は、近赤外画像から開眼度を検出することにより、開眼度の変動から瞬目状態を検出できる。

・遠赤外画像から検出された眼鏡の位置情報を用いて、近赤外画像からドライバの眼の開眼度を検出することにより、眼鏡のフレームを眼の輪郭と誤検出することを防止できる。

（他の実施形態）
・呼吸状態検出手段４５は、ドライバの異常判定に用いる指標として、呼吸の深さや呼吸速度等の呼吸周期以外の呼吸状態を検出してもよい。

・瞬目状態検出手段４６は、ドライバの異常判定に用いる指標として、継続閉眼時間や平均開眼時間等の瞬目状態を検出してもよい。

・呼吸状態及び瞬目状態のいずれか一方のみを検出し、いずれか一方のみに基づいて、ドライバの異常状態を判定するようにしてもよい。

・ＥＣＵ２０の状態判定部４０は、遠赤外画像において、所定期間における温度の変動量が閾値よりも大きい温度変動領域を検出する変動領域検出手段を備えていてもよい。そして、位置取得手段４１は、近赤外画像において、変動領域検出手段により検出された温度変動領域を用いて認識領域を抽出し、抽出した認識領域において顔の部品の認識処理を行ってもよい。このようにすると、認識処理の負荷を軽減できる。

・ドライバ状態判定装置１０は、近赤外カメラ１２を備えていなくてもよい。遠赤外カメラ１１により撮影された遠赤外画像のみを用いて、ドライバの異常状態を判定してもよい。この場合、遠赤外画像の時間変化をみて、温度が高低を繰り返している左右一対の部分を、眼部及び鼻腔部として検出する。また、ドライバが口呼吸をしているときには、眼よりも下で温度が高低を繰り返している部分を口内部として検出する。
（付記１）
車両のドライバの顔画像であって、前記ドライバの顔表面の温度分布を表す遠赤外画像を撮影する遠赤外カメラ（１１）と、
前記遠赤外カメラにより所定期間に逐次撮影された前記遠赤外画像に基づいて、前記ドライバの異常状態を判定する状態判定手段（４７）と、
前記遠赤外画像における前記ドライバの眼部の温度変動情報から前記ドライバの瞬目状態を検出する瞬目状態検出手段（４６）と、
前記遠赤外画像から前記ドライバの眼鏡を検出する眼鏡検出手段（４４）と、
前記ドライバの顔の近赤外画像を撮影する近赤外カメラと、を備え、
前記瞬目状態検出手段は、前記瞬目状態として瞬目周期を検出し、前記眼鏡検出手段により前記遠赤外画像から前記眼鏡が検出された場合に、前記近赤外画像から前記ドライバの開眼度を検出し、検出した前記開眼度の変動から前記瞬目周期を検出し、
前記状態判定手段は、前記瞬目状態検出手段により検出された前記瞬目周期の変動に基づいて、前記ドライバの異常状態を判定するドライバ状態判定装置。
（付記２）
前記遠赤外画像における前記ドライバの鼻腔部又は口内部を呼吸部とし、前記呼吸部の温度変動情報から前記ドライバの呼吸状態を検出する呼吸状態検出手段（４５）を備え、
前記状態判定手段は、前記呼吸状態検出手段により検出された前記呼吸状態に基づいて、前記ドライバの異常状態を判定する付記１に記載のドライバ状態判定装置。
（付記３）
前記呼吸状態検出手段は、前記呼吸状態として呼吸周期を検出し、
前記状態判定手段は、前記呼吸周期の変動に基づいて、前記ドライバの異常状態を判定する付記２に記載のドライバ状態判定装置。
（付記４）
前記ドライバの顔の近赤外画像を撮影する近赤外カメラ（１２）と、
前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの鼻又は口を認識して、認識した前記鼻又は口の位置情報を取得する位置取得手段（４１）と、
前記位置取得手段により取得された前記位置情報を用いて、前記遠赤外画像において前記呼吸部を探索する探索領域（Ｎ，Ｍ）を抽出する領域抽出手段（４２）と、を備える付記２又は３に記載のドライバ状態判定装置。
（付記５）
前記遠赤外画像から前記ドライバの鼻及び口を覆うマスクを検出するマスク検出手段（４３）を備える付記２又は３に記載のドライバ状態判定装置。
（付記６）
前記マスク検出手段により前記マスクが検出された場合に、検出された前記マスクを前記呼吸部とする付記５に記載のドライバ状態判定装置。
（付記７）
前記ドライバの顔の近赤外画像を撮影する近赤外カメラと、
前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの顔向きを検出する顔向き検出手段（４８）と、を備え、
前記呼吸状態検出手段は、前記顔向き検出手段により検出された前記ドライバの顔向きが、前記遠赤外カメラに対して前記鼻腔部の見えない向きである場合に、前記呼吸状態の検出を停止する付記２〜６のいずれかに記載のドライバ状態判定装置。
（付記８）
前記ドライバの顔の近赤外画像を撮影する近赤外カメラ（１２）と、
前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの眼を認識して、認識した前記眼の位置情報を取得する位置取得手段（４１）と、
前記位置取得手段により取得された前記位置情報に基づいて、前記遠赤外画像において前記眼部を探索する探索領域（Ｅｌ，Ｅｒ）を抽出する領域抽出手段と、を備える付記１〜７のいずれかに記載のドライバ状態判定装置。
（付記９）
前記瞬目状態検出手段は、前記眼鏡検出手段により検出された前記眼鏡の位置情報を用いて、前記ドライバの開眼度を検出する付記１〜８のいずれかに記載のドライバ状態判定装置。
（付記１０）
前記遠赤外画像において、前記所定期間における温度の変動量が閾値よりも大きい温度変動領域を検出する変動領域検出手段と、
前記位置取得手段は、前記変動領域検出手段により検出された前記温度変動領域を用いて認識処理を行う付記４又は８に記載のドライバ状態判定装置。

１０…ドライバ状態判定装置、１１…遠赤外カメラ、２０…ＥＣＵ、４７…状態判定手段。

Claims (13)

1. 車両のドライバの顔画像であって、前記ドライバの顔表面の温度分布を表す遠赤外画像を撮影する遠赤外カメラ（１１）と、
   前記遠赤外カメラにより所定期間に逐次撮影された前記遠赤外画像に基づいて、前記ドライバの異常状態を判定する状態判定手段（４７）と、
   前記ドライバの鼻及び口を覆うマスクを検出するマスク検出手段（４３）と、
   前記マスク検出手段によりマスクが検出されていない場合、前記遠赤外画像における前記ドライバの鼻腔部又は口内部を呼吸部とし、前記呼吸部の温度変動情報から前記ドライバの呼吸状態を検出する一方で、前記マスク検出手段によりマスクが検出されている場合、前記遠赤外画像における前記マスクに対応する領域の温度変動情報から前記ドライバの呼吸状態を検出する呼吸状態検出手段（４５）と、
   を備え、
   前記状態判定手段は、前記呼吸状態検出手段により検出された前記呼吸状態に基づいて、前記ドライバの異常状態を判定するドライバ状態判定装置。
2. 前記呼吸状態検出手段は、前記マスク検出手段によりマスクが検出されている場合、マスク内で鼻や口が存在すると推定される領域の温度変動情報から前記ドライバの呼吸状態を検出する請求項１に記載のドライバ状態判定装置。
3. 前記呼吸状態検出手段は、前記マスク検出手段によりマスクとして検出された領域の温度変動情報から前記ドライバの呼吸状態を検出する請求項１に記載のドライバ状態判定装置。
4. 前記呼吸状態検出手段は、前記呼吸状態として呼吸周期を検出し、
   前記状態判定手段は、前記呼吸周期の変動に基づいて、前記ドライバの異常状態を判定する請求項１〜３のいずれかに記載のドライバ状態判定装置。
5. 前記ドライバの顔の近赤外画像を撮影する近赤外カメラ（１２）と、
   前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの鼻又は口を認識して、認識した前記鼻又は口の位置情報を取得する位置取得手段（４１）と、
   前記位置取得手段により取得された前記位置情報を用いて、前記遠赤外画像において前記呼吸部を探索する探索領域（Ｎ，Ｍ）を抽出する領域抽出手段（４２）と、を備える請求項１〜４のいずれかに記載のドライバ状態判定装置。
6. 前記ドライバの顔の近赤外画像を撮影する近赤外カメラと、
   前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの顔向きを検出する顔向き検出手段（４８）と、を備え、
   前記呼吸状態検出手段は、前記顔向き検出手段により検出された前記ドライバの顔向きが、前記遠赤外カメラに対して前記鼻腔部の見えない向きである場合に、前記呼吸状態の検出を停止する請求項１〜５のいずれかに記載のドライバ状態判定装置。
7. 前記遠赤外画像における前記ドライバの眼部の温度変動情報から前記ドライバの瞬目状態を検出する瞬目状態検出手段（４６）を備え、
   前記状態判定手段は、前記瞬目状態検出手段により検出された前記瞬目状態に基づいて、前記ドライバの異常状態を判定する請求項１〜６のいずれかに記載のドライバ状態判定装置。
8. 前記瞬目状態検出手段は、前記瞬目状態として瞬目周期を検出し、
   前記状態判定手段は、前記瞬目周期の変動に基づいて、前記ドライバの異常状態を判定する請求項７に記載のドライバ状態判定装置。
9. 前記ドライバの顔の近赤外画像を撮影する近赤外カメラ（１２）と、
   前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの眼を認識して、認識した前記眼の位置情報を取得する位置取得手段（４１）と、
   前記位置取得手段により取得された前記位置情報に基づいて、前記遠赤外画像において前記眼部を探索する探索領域（Ｅｌ，Ｅｒ）を抽出する領域抽出手段と、を備える請求項７又は８に記載のドライバ状態判定装置。
10. 前記遠赤外画像から前記ドライバの眼鏡を検出する眼鏡検出手段（４４）を備える請求項７又は８に記載のドライバ状態判定装置。
11. 前記ドライバの顔の近赤外画像を撮影する近赤外カメラを備え、
    前記瞬目状態検出手段は、前記眼鏡検出手段により前記眼鏡が検出された場合に、前記近赤外画像から前記ドライバの開眼度を検出し、検出した前記開眼度の変動から前記瞬目状態を検出する請求項１０に記載のドライバ状態判定装置。
12. 前記瞬目状態検出手段は、前記眼鏡検出手段により検出された前記眼鏡の位置情報を用いて、前記ドライバの開眼度を検出する請求項１１に記載のドライバ状態判定装置。
13. 前記遠赤外画像において、前記所定期間における温度の変動量が閾値よりも大きい温度変動領域を検出する変動領域検出手段を備え、
    前記位置取得手段は、前記変動領域検出手段により検出された前記温度変動領域を用いて認識処理を行う請求項５又は９に記載のドライバ状態判定装置。

Images