JP2014206874A - 開眼状態判定装置 - Google Patents

Abstract

【課題】開眼状態の誤判定を抑制可能とする開眼状態判定装置を提供する。
【解決手段】開眼状態判定装置において、被験者の眼の画像を取得する画像取得手段１１０と、眼の画像における瞼の状態から瞼の開度を検出する瞼開度検出手段１３３と、被験者の瞳孔から光を入射させて、網膜上で反射した光を赤目画像として眼の画像に写し込ませる赤目発生手段１２２と、赤目画像の発生有無を検出する赤目検出手段１３４と、画像取得手段１１０による眼の画像を取得するタイミングとは異なるタイミングで、赤目発生手段１２２を作動させる作動制御手段１３１と、瞼開度検出手段１３３によって得られた瞼の開度、および赤目検出手段１３４によって得られた赤目画像の発生有無から、被験者の開眼状態を判定する判定手段１３５とを設ける。
【選択図】図１

Description

本発明は、顔画像から開眼状態を判定する開眼状態判定装置に関するものである。

従来の開眼状態判定装置として、例えば、特許文献１に示されるものが知られている。特許文献１の開眼状態判定装置（瞼検出装置）は、顔画像を取得する画像取得手段と、顔画像から明暗の境界であるエッジに基づいて上瞼および下瞼を検出する瞼検出手段と、顔画像から虹彩部の空間的な明暗の変化を感知して、瞳孔から入射した光が眼球内部の脈絡膜層で反射して顔画像に映り込む赤目現象を検出する赤目検出手段とを備えている。そして、赤目検出手段によって赤目現象を検出した場合に、瞼検出手段は、赤目現象である瞳孔のエッジを、本来の上瞼および下瞼のエッジの候補から除外するようにしている。

上記のような赤目現象が発生すると、赤目瞳孔のエッジは、上瞼あるいは下瞼のエッジ候補となり得るため、これが本来の上瞼あるいは下瞼のエッジとして判定されるおそれがある。例えば、赤目瞳孔の上側に現れるエッジが下瞼のエッジであると判定されると、本来の上瞼エッジとの位置関係より、眼が閉じられていると誤判定されるおそれがある。このように、赤目現象は、瞼の判定を阻害するものとなっている。

よって、特許文献１の開眼状態判定装置では、赤目現象に基づく瞳孔におけるエッジを、上瞼および下瞼のエッジの候補から除外することで、本来の上瞼および下瞼のエッジが正しく把握され、開眼状態の判定が確かなものとなるようにしている。

特開２００８−１５８９２２号公報

しかしながら、顔画像から瞼の検出を行うにあたっては、被験者が画像取得手段に対して正対している場合は正確に検出されるが、例えば、被験者が下を向いた場合であると、瞼の形状が正確に把握されず、実際には眼を開けているにもかかわらず、眼が閉じられていると誤判定される場合がある。

本発明の目的は、上記問題に鑑み、開眼状態の誤判定を抑制可能とする開眼状態判定装置を提供することにある。

本発明は上記目的を達成するために、以下の技術的手段を採用する。

本発明では、開眼状態判定装置において、
被験者の眼の画像を取得する画像取得手段（１１０）と、
眼の画像における瞼の状態から瞼の開度を検出する瞼開度検出手段（１３３）と、
被験者の瞳孔から光を入射させて、網膜上で反射した光を赤目画像として眼の画像に写し込ませる赤目発生手段（１２２）と、
赤目画像の発生有無を検出する赤目検出手段（１３４）と、
画像取得手段（１１０）による眼の画像を取得するタイミングとは異なるタイミングで、赤目発生手段（１２２）を作動させる作動制御手段（１３１）と、
瞼開度検出手段（１３３）によって得られた瞼の開度、および赤目検出手段（１３４）によって得られた赤目画像の発生有無から、被験者の開眼状態を判定する判定手段（１３５）とを備えることを特徴としている。

この発明によれば、画像取得手段（１１０）によって得られた眼の画像をもとに、瞼開度検出手段（１３３）は瞼の状態から瞼の開度を検出する。また、赤目発生手段（１２２）が作動されると、被験者の眼が開いている状態であると、眼の画像に赤目画像が写し込まれる。つまり、判定手段（１３５）は、赤目検出手段（１３４）によって赤目画像が検出されると被験者の眼が開いており、赤目画像が検出されないと被験者の眼が閉じていると判定することが可能となる。

本発明では、画像取得手段（１１０）による眼の画像を取得するタイミングに対して、赤目発生手段（１２２）を作動させるタイミングを異なるようにしているので、赤目発生手段（１２２）を作動させていないときは、瞼開度検出手段（１３３）は赤目の影響を受けない状態で眼の画像をもとに瞼の開度を正確に検出することができ、よって、判定手段（１３５）は被験者の開眼状態を正確に判定することができる。

ここで、瞼開度検出手段（１３３）は、瞼の開度を検出するにあたって、被験者が例えば下を向いていると、眼を開けているのにもかかわらず、瞼の状態が眼を閉じている状態に近いものとして誤判定をしてしまうおそれがある。このような場合でも、被験者の視線が画像取得手段（１１０）に向いていれば、赤目発生手段（１２２）による赤目画像が得られ、判定手段（１３５）は被験者の眼は開いていると判定することができる。よって、瞼の開度に加えて赤目画像の発生有無の検出結果を用いることで、開眼状態をより正確に把握することができるので、開眼状態の誤判定を抑制することが可能となる。

尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。

第１実施形態における開眼状態判定装置を示すブロック図である。 瞼、および赤目を検出するためのタイミングを示すタイムチャートである。 第１実施形態における制御要領を示す制御フローチャートである。 第２実施形態における開眼状態判定装置を示すブロック図である。 第２実施形態における制御要領を示す制御フローチャートである。 第３実施形態における開眼状態判定装置を示すブロック図である。 第３実施形態における制御要領を示す制御フローチャートである。 第４実施形態における開眼状態判定装置を示すブロック図である。 第４実施形態における制御要領を示す制御フローチャートである。

以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。

（第１実施形態）
第１実施形態における開眼状態判定装置１００について図１〜図３を用いて説明する。開眼状態判定装置１００は、車両に適用され、ドライバー（被験者）の運転時における開眼状態（眼を開けているか、眼を閉じているか）を把握して、安全運転に対する支援を行う装置（ドライバーステータスモニター装置）となっている。尚、ドライバーステータスモニター装置としては、運転者の開眼状態の他にも、運転時の集中度、顔の向き、更には視線の向き等を把握して安全運転支援に対応するものもある。開眼状態判定装置１００は、図１に示すように、カメラ１１０、照明１２１、１２２、制御部１３０、および警報部１４０等を備えている。

カメラ１１０は、運転者の目の画像を取得する画像取得手段であり、例えば、運転者の眼（顔）と対向するようにステアリングに装着されている。カメラ１１０としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）等の撮像素子でレンズの結像を電気信号に変換して、画素ごとにデジタル化した画像データを取得するＣＣＤカメラ等を用いることができる。

カメラ１１０は、眼の画像を取得するにあたっては、運転者の眼の周りのみに限らず、運転者の顔全体の画像（顔画像）を取得するようにしても良い。カメラ１１０は取得した眼の画像データを制御部１３０の画像データ保持部１３２に出力するようになっている。

照明１２１は、運転者の眼の画像を取得する際に、運転者の眼元を照らす光源部であり、例えばＬＥＤライトが使用されている。照明１２１は、制御部１３０の照明制御部１３１によって、その作動が制御されるようになっている。照明１２１は、ステアリングにおいて、カメラ１１０に対して、ある程度離れた位置に設定されている。つまり、照明１２１と運転者の眼とを繋ぐラインと、運転者の眼とカメラ１１０とを繋ぐラインとの成す角が所定角度以上（例えば２度以上）と成るように位置設定されている。これは、照明１２１の光が、運転者の瞳孔から入り眼球内部の網膜上で反射して直接的にカメラ１１０に至り、眼の画像に写り込んでしまうという赤目現象をなくすためである。

一方、照明１２２は、上記照明１２１とは逆に、意図的に運転者の赤目現象を発生させるための赤目発生手段となっており、例えばＬＥＤライトが使用されている。照明１２２は、制御部１３０の照明制御部１３１によって、その作動が制御されるようになっている。照明１２２は、ステアリングにおいて、カメラ１１０に近接して配置されている。つまり、照明１２２の光は、運転者の瞳孔から入り眼球内部の網膜上で反射して直接的にカメラ１１０に至り、眼の画像に赤目として写り込むようになっている。

照明１２１、１２２は、カメラ１１０に対して、一方の側方に１つずつ設けるようにしても良いし（図１中の実線表示）、あるいは、カメラ１１０の両方の側方に１対ずつ設けるようにしても良い（図１中の実線表示および破線表示）。

制御部１３０は、カメラ１１０による眼の画像を保持し、保持した画像データから瞼の開度および赤目の発生有無を検出することで運転者の開眼状態を判定し、更に開眼状態に応じて後述する警報部１４０を作動させる制御手段となっている。制御部１３０は、照明制御部１３１、画像データ保持部１３２、瞼開度検出部１３３、赤目検出部１３４、および開眼状態判定部１３５等を備えている。

照明制御部１３１は、上記照明１２１、１２２の作動を制御する作動制御手段である。照明制御部１３１は、照明１２１に対しては、図２に示すように、所定の第１周期（例えば、０．０３秒ごとの周期＝３０Ｈｚ）で照明１２１をオン状態とするようになっている。また、照明制御部１３１は、照明１２２に対しては、図２に示すように、上記第１周期よりも大きく設定された所定の第２周期（例えば、０．１７秒ごとの周期＝６Ｈｚ）で照明１２２をオン状態とするようになっている。よって、所定の時間内において、照明１２２がオンされる頻度は、照明１２１がオンされる頻度よりも小さく設定されている。

ここで、照明制御部１３１は、照明１２２を作動させる際には、照明１２１を作動させるタイミングとは異なるタイミングで作動させるようなっている。つまり、照明制御部１３１は、照明１２１と照明１２２とを、同時には作動させないようになっている。

画像データ保持部１３２は、カメラ１１０によって取得された眼の画像データを、上記第１、第２周期ごとに時系列的に保持（記憶）する保持部となっている。眼の画像データには、瞼データと赤目データとがあり、以下のように活用されるものとなっている。

瞼データとは、照明１２１が作動されたときに取得されるデータであり、運転者の上下の瞼のうち、例えば上瞼のライン形状を捉えたデータとなっている。運転者の眼が開いている状態では、上瞼のライン形状は、上側に凸状となる湾曲したラインとして捉えられる。また、例えば運転者が眠気を催して、眼が閉じ気味になる、あるいは眼が閉じられた状態に至ると、上瞼のライン形状は湾曲度が小さくなり、水平な直線に近づく形状として捉えられる。

尚、瞼データにおいて赤目現象が発生すると、瞳孔部における明度（コントラスト）が強くなりすぎて、上瞼のライン形状の把握が難しくなる。よって、上記のように、瞼データ取得時（照明１２１の作動時）には、照明１２２を作動させないようになっている。また、運転者がカメラ１１０に対して例えば下向きとなると、上瞼のライン形状の湾曲度は、より小さく捉えられることになる。

また、赤目データとは、照明１２２が作動されたときに取得されるデータであり、運転者の瞳孔部における赤目発生の有り無しを捉えたデータとなっている。運転者が眼を開いている状態において、照明１２２が作動されると、視線がカメラ１１０の方向を向いていれば、眼の画像データの瞳孔部に赤目現象が発生する。つまり、赤目現象により瞳孔部が極めて明度の高い眼の画像データとなり、確実に眼が開かれている状態であると認識できるものとなる。逆に、運転者が眼を閉じている状態では、照明１２２が作動されても赤目現象は発生しないため、眼が閉じられている状態であると認識できるものとなる。このように、赤目データは、運転者の眼が開けられているか、閉じられているかという「０」、「１」の特性を備えるデータとなっている。

瞼開度検出部１３３は、上記瞼データ（瞼の状態）から運転者の瞼の開度（眼の開度）を検出する瞼開度検出手段である。瞼開度検出部１３３には、予め、上瞼のライン形状における湾曲度と、湾曲度に対応する瞼開度とが関連付けされたマップが設けられている。マップは、例えば、横軸に湾曲度をとり、縦軸に湾曲度に対応する瞼開度が関係付けされたものとすることができ、湾曲度が大きい程、瞼開度が大きいものとなる。瞼開度検出部１３３は、瞼データの上瞼ライン形状から湾曲度を把握し、この湾極度に対応する瞼開度を算出すると共に、算出した瞼開度を瞼データと対になるように順次記憶していく。

そして、マップには、瞼開度に対して開眼状態を判定するための１つの閾値が設けられており、瞼開度検出部１３３は、瞼開度が閾値よりも大きいと眼が開かれており、瞼開度が閾値よりも小さいと眼が閉じられていると判定する。閾値は、例えば、瞼開度２０％と設定することができる。尚、眼が閉じられている状況は、運転者が眠気を催している場合に加えて、カメラ１１０に対して下を向いていた場合、あるは、瞬きが多く行われた場合等が含まれる。

赤目検出部１３４は、上記赤目データから赤目の発生の有無を検出する赤目検出手段である。赤目検出手段１３４は、眼の画像データの瞳孔部に赤目現象があると、眼は開けられていると判定し、また、逆に赤目現象がないと、眼は閉じられていると判定する。赤目検出部１３４は、赤目の発生の有無を把握し、この結果を赤目データと対になるように順次記憶していく。

開眼状態判定部１３５は、瞼開度検出部１３３、および赤目検出部１３４によって検出された結果を基に、最終的に運転者の開眼状態を判定する判定手段である。後述するように、開眼状態判定部１３５は、瞼開度検出部１３３、および赤目検出部１３４による判定が共に閉眼状態であると判定したときに、運転者の眼は閉じられていると判定し、後述する警報部１４０を作動させるための信号を出力する。

警報部１４０は、運転者に対して安全運転のための処置を実施する処置手段であり、運転者に対して警報を行う警報手段となっている。警報手段１４０は、例えば、アラームとして形成することができ、運転者の眼が閉じられている状態、つまり、居眠りをしているような状況下において、運転者を覚醒させるために、所定の音を発生するようになっている。

上記のように形成される開眼状態判定装置１００の作動について、以下、図３に示す制御フローチャートを加えて説明する。図３に示す制御フローチャートは、制御部１３０によって所定の周期（例えば３０秒ごと）で繰返し実行される開眼状態判定制御を示すものである。

運転中においては、照明制御部１３１は、照明１２１を第１周期ごとに作動させる。カメラ１１０は第１周期ごとに眼の画像を取得していき、取得された眼の画像は、瞼データとして画像データ保持部１３２に記憶されていく。また、照明制御部１３１は、上記の瞼データが取得されるタイミングとは異なるタイミングで、照明１２２を第２周期ごとに作動させる。カメラ１１０は第２周期ごとに意図的に赤目データを取得していき、取得された赤目データは、画像データ保持部１３２に記憶されていく。

そして、ステップＳ１００において、瞼開度検出部１３３は、瞼データからマップに基づき運転者の瞼開度（眼の開度）を算出し、閾値を基に眼が開いている状態にあるか閉じている状態にあるかを判定する。この判定にあたっては、現時点から所定時間さかのぼった時間の間に取得された複数の瞼データを用いて判定する。つまり、図３の開眼状態判定制御を繰り返すたびに、瞼データは最新のデータを含む複数の移動平均データとして使用されていく。そして、瞼開度検出部１３３は、所定時間の間における複数の瞼データのうち、例えば、瞼開度が２０％以上となる発生確率が８０％を越える場合に「開判定」とし、それ以外は「閉判定」とする。

ステップＳ１００で、開判定されると、ステップＳ１１０で、開眼状態判定部１３５は、運転者の開眼状態として「開眼」と判定する。ここでは、運転者は、かなりの確からしさをもって、眼を開けていると把握することができるので、特に、安全運転に対する処置は不要であり、現時点での開眼状態判定の制御を終了する。

一方、ステップＳ１００で、閉判定されると、ステップＳ１２０で、赤目検出部１３４は、赤目データから赤目の発生の有無を判定する。尚、ステップＳ１００で閉判定される場合は、運転者が眠気を催している場合に加えて、眠くはなくともカメラ１１０に対して下を向いていた場合、あるいは、眼の調子が悪く瞬きが多く行われた場合等も含まれる。

ステップＳ１２０での判定にあたっては上記と同様に、現時点から所定時間さかのぼった時間の間に取得された複数の赤目データを用いて判定する。つまり、図３の開眼状態判定制御を繰り返すたびに、赤目データは最新のデータを含む複数の移動平均データとして使用されていく。そして、赤目検出部１３４は、所定時間の間における複数の赤目データのうち、例えば、赤目の発生ありの発生確率が８０％を越える場合に「開判定」とし、それ以外は「閉判定」とする。つまり、瞼データからは、明確に開判定が得られなかった場合（下向き、瞬き等）であっても、赤目の発生が認められれば、眼は開いている可能性があるとして「開判定」とするのである。

ステップＳ１２０で、開判定されると、ステップＳ１３０で、開眼状態判定部１３５は、運転者の開眼状態として「グレー」と判定する。グレーとは、眼が確実に開いているとは言い切れないものの、逆に閉じているとも言い切れない状況を示す。ここでは、運転者の眼は閉じているとは言い切れないことから、特に、安全運転に対する処置は不要として、現時点での開眼状態判定の制御を終了する。

更に、ステップＳ１２０で閉判定されると、瞼データから閉判定され（ステップＳ１００）、且つ赤目データからも閉判定された（ステップＳ１２０）ことになり、運転者は眠気によって眼が閉じていると把握することができることから、ステップＳ１４０で、開眼状態判定部１３５は、運転者の開眼状態として「閉眼」と判定する。

そして、ステップＳ１５０で、開眼状態判定部１３５は、警報部１４０に対して警報を発生させるための信号を出力し、警報部１４０からアラーム等の警報を出し、運転者を覚醒させるようにする。

以上のように、本実施形態では、カメラ１１０によって得られた眼の画像をもとに、瞼開度検出部１３３は瞼の状態から瞼の開度を検出する。また、照明１２２が作動されると、運転者の眼が開いている状態であると、眼の画像に赤目画像が写し込まれる。つまり、開眼状態判定部１３５は、赤目検出部１３４によって赤目画像が検出されると運転者の眼が開いており、赤目画像が検出されないと運転者の眼が閉じていると判定することが可能となる。

本実施形態では、カメラ１１０による眼の画像を取得するタイミングに対して、照明１２２を作動させるタイミングを異なるようにしているので、照明１２２を作動させていないときは、瞼開度検出部１３３は赤目の影響を受けない状態で眼の画像をもとに瞼の開度を正確に検出することができ、よって、開眼状態判定部１３５は運転者の開眼状態を正確に判定することができる。

ここで、瞼開度検出部１３３は、瞼の開度を検出するにあたって、運転者が例えば下を向いていると、眼を開けているのにもかかわらず、瞼の状態が眼を閉じている状態に近いものとして誤判定をしてしまうおそれがある。このような場合でも、運転者の視線がカメラ１１０に向いていれば、照明１２２による赤目画像が得られ、開眼状態判定部１３５は運転者の眼は開いていると判定することができる。よって、瞼の開度に加えて赤目画像の発生有無の検出結果を用いることで、開眼状態をより正確に把握することができるので、開眼状態の誤判定を抑制することが可能となる。

特に、開眼状態判定部１３５は、瞼の開度から瞼が閉じており、且つ赤目画像の発生がないと判定すると、閉眼状態にあると判定するようにしている。

これにより、瞼の開度に伴う閉眼判定と、赤目の発生なしという結果に伴う閉眼判定との両者を用いて閉眼判定するので、眼が閉じられている状態をより正確に判定することが可能となり、瞼の開度のみに基づいて眼が閉じられているとする誤判定を抑制することができる。

また、照明１２２が作動される第２周期は、眼の画像取得のためにカメラ１１０（照明１２１）が作動される第１周期よりも大きく設定されている。

通常は、瞼開度検出部１３３によって瞼の開度を検出することで、運転者の開眼状態を判定することが可能である。これに対して、照明１２２が作動される第２周期を、カメラ１１０が作動される第１周期よりも大きく設定することにより、照明１２２の作動頻度を抑えることができ、照明１２２の使用エネルギーを低減することができる。ひいては、照明１２２による発熱を抑制して、開眼状態判定装置１００における発熱を抑制して、熱による耐久性を向上させることができる。

また、開眼状態判定部１３５は、閉眼状態にあると判定すると、ドライバーに対して警報部１４０を作動させるようにしている。これにより、ドライバーに対して閉眼状態に対する注意を行うことができるので、ドライバーは、より安全な運転を継続させることが可能となる。

（第２実施形態）
第２実施形態の開眼状態判定装置１００Ａを図４、図５に示す。第２実施形態の開眼状態判定装置１００Ａは、上記第１実施形態の開眼状態判定装置１００に対して、運転者に対する安全運転のための処置手段として、警報部１４０を空調装置１４０Ａに変更したものである。空調装置１４０Ａは、本発明の冷風供給手段に対応する。また、図５における制御フローチャートは、図３で説明した制御フローチャートに対して、ステップＳ１５０をステップＳ１５０Ａに変更したものである。

空調装置１４０Ａ（図４）は、運転者の要望する空調条件で、所定の吹出し口から空調風を吹出す装置であり、エアコンＥＣＵ１４０ａによってその作動が制御されるようになっている。具体的には、エアコンＥＣＵ１４０ａは、運転者の設定する設定温度、その他空調環境条件（外気温度、内気温度、日射量等）に応じて、空調作動条件を決定して、運転者の要求する空調風を車室内に供給する。

図５に示すように、開眼状態判定制御において、開眼状態判定部１３５は、ステップＳ１４０で閉眼の判定をすると、ステップＳ１５０Ａで、エアコンＥＣＵ１４０ａに対して安全運転のための処置用の信号を出力する。具体的には、すでに設定されている空調風の温度に対して、所定温度分だけ低く設定された空調風（冷風）を吹出すように指示を出す。これを受けて、エアコンＥＣＵ１４０Ａａは、空調風の温度設定を変更して、空調装置１４０Ａに対して、吹出し口から運転者に対して冷風を吹出すように制御する。

これにより、運転者の眼が閉じられていると判定して、運転者が居眠りをしていると思われる場合には、冷風によって運転者に刺激を与え、運転者を覚醒させることができるので、安全運転を継続させることができる。

（第３実施形態）
第３実施形態の開眼状態判定装置１００Ｂを図６、図７に示す。第３実施形態の開眼状態判定装置１００Ｂは、上記第１実施形態の開眼状態判定装置１００に対して、運転者に対する安全運転のための処置手段として、警報部１４０をブレーキ装置１４０Ｂに変更したものである。ブレーキ装置１４０Ｂは、本発明のブレーキ手段に対応する。また、図７における制御フローチャートは、図３で説明した制御フローチャートに対して、ステップＳ１５０をステップＳ１５０Ｂに変更したものである。

ブレーキ装置１４０Ｂ（図６）は、運転中における車両に対して、停止用、あるいは減速用の制動力を付加する装置であり、ブレーキＥＣＵ１４０ｂによってその作動が制御されるようになっている。

図７に示すように、開眼状態判定制御において、開眼状態判定部１３５は、ステップＳ１４０で閉眼の判定をすると、ステップＳ１５０Ｂで、ブレーキＥＣＵ１４０ｂに対して安全運転のための処置用の信号を出力する。具体的には、減速（あるいは停止）のためにブレーキ装置１４０Ｂを作動させるための指示を出す。これを受けて、ブレーキＥＣＵ１４０ｂは、ブレーキ装置１４０Ｂを作動させて、車両を減速（あるいは停止）させる。

これにより、ブレーキ装置１４０Ｂによって、車両にブレーキをかけることができ、万一に備えた車両速度にして、安全運転を継続させることが可能となる。

（第４実施形態）
第４実施形態の開眼状態判定装置１００Ｃを図８、図９に示す。第４実施形態の開眼状態判定装置１００Ｃは、上記第１実施形態の開眼状態判定装置１００に対して、開眼状態判定部１３５によって判定された開眼状態（特に、閉眼の判定結果）のデータを運行センター１４０Ｃの記憶部に送信して、時系列的に記憶させるようにしたものである。

運行センター１４０Ｃ（図８）は、例えば、宅配業における運行を管理するデータ管理センター（管理者）である。運転者は、宅配用トラックの運転者であり、運搬の開始〜終了までの間における、荷物の種類、荷物の積み込み、積み下ろし時刻、その場所、更に運搬コース等は、運行センター１４０Ｃ（運行会社の管理者）によって日々管理されており、管理データとして、日々、記憶部に記憶されるようになっている。

図９に示す制御フローチャートは、図３で説明した制御フローチャートに対して、ステップＳ１５０をステップＳ１５０Ｃに変更したものである。開眼状態判定制御において、開眼状態判定部１３５は、ステップＳ１４０で閉眼の判定をすると、ステップＳ１５０Ｃで、閉眼の判定結果を運行センター１４０Ｃに送信する。運行センター１４０Ｃの記憶部には、日々の管理データに加えて、閉眼の判定結果が加えられることになる。

これにより、管理者は、運転者の開眼状態のデータ（閉眼の判定結果）を時系列的に確認することができるため、今後の運転に対して注意を促す、あるいは、運転者が疲れているようであれば勤務時間を変更してやる、更には、勤務時間帯を変更してやる、等の処置をとることが可能となり、安全運転に基づく宅配業務を継続することが可能となる。

（その他の実施形態）
上記第１実施形態では、開眼状態判定装置１００は、警報部１４０を備えるものとして説明したが、これに限定されることなく、例えば、車両用コンビネーションメータにアラーム部を設け、ステップＳ１４０で閉判定すると、コンビネーションメータを制御するメータ制御部に対して、アラーム部を作動させるための信号を送信するものとしても良い。

また、上記第１実施形態では、照明１２２の作動される周期は、照明１２１の作動される周期よりも大きくなるように設定したが、これに限らず、同等の周期としても良い。

また、瞼データに基づく開眼度の判定における瞼開度に対する閾値、開判定のための閾値越えのデータの発生確率、更には、赤目データに基づく開眼判定における赤目の発生確率等は、上記実施形態に限定されるものではなく、適宜設定することができる。

また、瞼データに基づく開眼度の判定にあたり、上瞼の湾曲度を用いるようにしたが、下瞼の湾曲度を用いる、あるいは上下の瞼の湾曲度を用いる、更には、上下瞼間の距離を把握する等としても良い。

１００、１００Ａ、１００Ｂ、１００Ｃ 開眼状態判定装置
１１０ カメラ（画像取得手段）
１２２ 照明（赤目発生手段）
１３１ 照明制御部（作動制御手段）
１３３ 瞼開度検出部（瞼開度検出手段）
１３４ 赤目検出部（赤目検出手段）
１３５ 開眼状態判定部（判定手段）
１４０ 警報部（処置手段、警報手段）
１４０Ａ 空調装置（処置手段、冷風供給手段）
１４０Ｂ ブレーキ装置（処置手段、ブレーキ手段）
１４０Ｃ 運行センター（データ管理センター）

Claims (8)

1. 被験者の眼の画像を取得する画像取得手段（１１０）と、
   前記眼の画像における瞼の状態から瞼の開度を検出する瞼開度検出手段（１３３）と、
   前記被験者の瞳孔から光を入射させて、網膜上で反射した光を赤目画像として前記眼の画像に写し込ませる赤目発生手段（１２２）と、
   前記赤目画像の発生有無を検出する赤目検出手段（１３４）と、
   前記画像取得手段（１１０）による前記眼の画像を取得するタイミングとは異なるタイミングで、前記赤目発生手段（１２２）を作動させる作動制御手段（１３１）と、
   前記瞼開度検出手段（１３３）によって得られた前記瞼の開度、および前記赤目検出手段（１３４）によって得られた前記赤目画像の発生有無から、前記被験者の開眼状態を判定する判定手段（１３５）とを備えることを特徴とする開眼状態判定装置。
2. 前記判定手段（１３５）は、前記瞼の開度から前記瞼が閉じており、且つ前記赤目画像の発生がないと判定すると、閉眼状態にあると判定することを特徴とする請求項１に記載の開眼状態判定装置。
3. 前記赤目発生手段（１２２）が作動される周期は、前記画像取得手段（１１０）が作動される周期よりも大きく設定されたことを特徴とする請求項１または請求項２に記載の開眼状態判定装置。
4. 車両に搭載され、前記被験者はドライバーであり、
   前記判定手段（１３５）は、前記閉眼状態にあると判定すると、前記ドライバーに対して安全運転のための処置を実施する処置手段（１４０、１４０Ａ、１４０Ｂ）を作動させることを特徴とする請求項２または請求項３に記載の開眼状態判定装置。
5. 前記処置手段（１４０、１４０Ａ、１４０Ｂ）は、前記ドライバーに対する警報を行う警報手段（１４０）であることを特徴とする請求項４に記載の開眼状態判定装置。
6. 前記処置手段（１４０、１４０Ａ、１４０Ｂ）は、冷風を前記ドライバーに対して供給する冷風供給手段（１４０Ａ）であることを特徴とする請求項４に記載の開眼状態判定装置。
7. 前記処置手段（１４０、１４０Ａ、１４０Ｂ）は、前記車両にブレーキをかけるブレーキ手段（１４０Ｂ）であることを特徴とする請求項４に記載の開眼状態判定装置。
8. 車両に搭載され、前記被験者はドライバーであり、
   前記判定手段（１３５）によって得られた前記開眼状態のデータは、前記車両あるいは所定のデータ管理センター（１４０Ｃ）の記憶部に時系列的に記憶されることを特徴とする請求項２または請求項３に記載の開眼状態判定装置。

Images