JP2008224565A - 目状態判別装置、目状態判別方法及び目状態判別プログラム - Google Patents

Abstract

【課題】検出対象者の目領域の状態を適切に判別することができる目状態判別装置と目状態判別方法を実現する。
【解決手段】カメラで撮影した検出対象者の顔画像を受信し、受信した顔画像から検出対象者の目の位置を含む所定の領域を目探索領域として設定し、この領域の輝度分布を求める。輝度分布に基づいて、目領域の状態を判別する。即ち、の分散値が設定値以下上である場合は、目領域の状態としてサングラスが有りと判別し、そうでない場合は、目領域の状態として検出対象者の瞼の開閉状態を検出する。
【選択図】図３

Description

本発明は、検出対象者の顔画像から検出対象者の目領域の状態を判別する目状態判別装置、目状態判別方法及び目状態判別プログラムに関する。

従来、運転者（検出対象者）の居眠り運転や脇見運転の検出などのために検出対象者の顔画像から瞼の開閉状態や視線の方向を検出する装置が使用されてきた。例えば、特許文献１に記載された検出装置は、検出対象者の顔に近赤外線のＬＥＤ光を照射し、この光に対する網膜の反射光が写りこんだ部分の画像（反射像）を抽出し、抽出した反射像から瞼の開閉状態等を検出していた。

検出対象者が眼鏡を装着している場合、網膜の反射像の他、眼鏡のレンズの反射光も顔画像に写り込む。そのため、眼鏡の有無を検出してから、眼鏡のレンズの反射像を取り除く必要がある。そこで、特許文献１に開示された検出装置は反射像が３つ以上あるか否かで眼鏡の有無を検出していた。
特開平９−１９８５０８号公報

検出対象者がサングラスを装着していた場合、検出対象者の網膜の反射光はサングラスに遮られ、反射像は２個以下となり、３つ以上とならない。しかし、特許文献１に開示された検出装置は、サングラスの有無までは検出しない。このため、特許文献１に開示された検出装置は、サングラスを装着しているにもかかわらず、反射像が２個以下なので裸眼であると誤って判別することがあった。その結果、サングラスのレンズの反射像を網膜の反射像として誤って検出する等、検出対象者の目領域の状態（サングラス装着の有無、目の開閉状態等）を判別することができなかった。

本発明は、上記問題点に鑑みてなされたもので、検出対象者の目領域の状態を適切に判別することができる目状態判別装置と、目状態判別方法と、目状態判別プログラムと、を実現することを目的とする。
また、本発明は、サングラスの有無を判別することができる目状態判別装置と、目状態判別方法と、目状態判別プログラムと、を実現することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る目状態判別装置は、
検出対象者の顔画像を撮像する撮像手段と、
前記撮像手段により撮像された前記顔画像に、前記検出対象者の目を含む所定の領域を設定する領域設定手段と、
前記領域設定手段により設定された領域の画像の輝度分布を求める輝度分布取得手段と、
前記輝度分布取得手段により求められた前記輝度分布に基づいて、前記検出対象者の目領域の状態を判別する判別手段と、
を備えることを特徴とする。

前記判別手段は、前記輝度分布取得手段により求められた前記輝度分布に基づいて、目領域の状態として、前記検出対象者の目の検出が可能か否かを判別することもできる。

前記輝度分布取得手段は、輝度のヒストグラムを求める手段を含み、
前記判別手段は、求めたヒストグラムに基づいて、前記検出対象者の目領域の状態を判別することとしてもよい。

前記判別手段は、前記輝度分布取得手段により求められた前記輝度分布に基づいて、前記検出対象者がサングラスをかけた状態にあるか否かを判別することもできる。

前記輝度分布取得手段は、
前記検出領域の輝度の分散値を求め、分散値が第１の条件を充足するときに、検出対象者がサングラスをかけた状態にあると判別してもよい。

前記輝度分布取得手段は、前記検出領域の輝度の平均値又は最大頻度の輝度を求め、平均輝度又は最大頻度の輝度が第２の条件を充足するときに、検出対象者がサングラスをかけた状態にあると判別することもできる。

前記輝度分布取得手段は、
前記検出領域の輝度の分散値と輝度の平均値又は最大頻度の輝度を求め、
分散値が第１の条件を充足し、且つ、輝度の平均値又は最大頻度の輝度を求め、平均輝度又は最大頻度の輝度が第２の条件を充足するときに、検出対象者がサングラスをかけた状態にあると判別してもよい。

前記判別手段により前記検出対象者がサングラスを装着していないと判別された場合に、前記領域設定手段により設定された領域の画像に基づいて、前記検出対象者の目の状態を検出する目状態検出手段（１０、ステップＳ２１）をさらに備えることもできる。

前記目状態検出手段は、目の状態として前記検出対象者の瞼の開閉状態又は視線の方向を検出することもできる。

本発明の第２の観点に係る目状態判別方法は、
検出対象者の顔画像を撮像する撮像ステップ（１１０）と、
前記撮像ステップで撮像された前記顔画像上に前記検出対象者の目の位置を含む所定の領域を設定する領域設定ステップ（１０、ステップＳ１１）と、
前記領域設定ステップで設定された領域の輝度分布を求める輝度分布取得ステップ（１０、ステップＳ１３）と、
前記輝度分布取得ステップで求められた前記輝度分布に基づいて前記検出対象者の目領域の状態を判別する判別ステップ（１０、ステップＳ１５、Ｓ１７）と、
を備えることを特徴とする。

本発明の第３の観点に係る目状態判別プログラムは、
コンピュータに、
検出対象者の目を含む所定の領域の画像の輝度分布を求める輝度分布取得ステップ（１０、ステップＳ１３）と、
前記輝度分布取得ステップで求められた前記輝度分布に基づいて前記検出対象者の目領域の状態を判別する判別ステップ（１０、ステップＳ１５、Ｓ１７）と、
を実行させることを特徴とする。

本発明によれば、検出対象者の目領域の状態を適切に判別することができる目状態判別装置と、目状態判別方法と、目状態判別プログラムと、を実現できる。
また、本発明によれば、サングラスの有無を検出することができる目状態判別装置と、目状態判別方法と、目状態判別プログラムと、を実現できる。

（実施形態１）
以下、本発明の実施形態１に係る目状態判別システムについて詳細に説明する。
本実施形態に係る目状態判別システムは、図１に示すように、目状態判別警報装置１００と、室内カメラ１１０と、車速センサ１２０と、警報装置１３０と、表示装置１４０と、を備えて構成される。

室内カメラ１１０は、例えばＣＣＤ（Charge Coupled Devices）カメラ等から構成され、検出対象者の頭部を撮影できる位置に設置される。そして、室内カメラ１１０には、図示しない照明装置が取り付けられ、検出対象者の顔に近赤外線のＬＥＤ光を照射する。室内カメラ１１０は照明された検出対象者の顔画像を撮影して撮影した顔画像を示す情報を目状態判別警報装置１００へ送信する。１秒間の撮影枚数及び解像度は、検出対象者の目の状態を検出するのに充分なものとする。例えば、秒間３０フレームを撮影し、解像度は縦２４０ピクセル、横３２０ピクセルである。アナログ／デジタル変換は、室内カメラ１１０側で行っても良いし、目状態判別警報装置１００側で行っても良い。

車速センサ１１０は、現在の車両速度Ｖｃ（ｋｍ／ｈ）を測定し、測定値を示す情報を目状態判別警報装置１００へ送信する。

警報装置１３０は、目状態判別警報装置１００の制御に従って、音や光などにより検出対象者に警報を発生する装置である。

表示装置１４０は、例えば液晶表示装置を備え、目状態判別警報装置１００の制御に従って検出対象者へのメッセージを表示する。

目状態判別警報装置１００は、検出対象者の目領域の状態（例えば、（目の検出が可能か否か、サングラス装着の有無、目の開閉状態、視線方向等）を判別し、警報を発生させる装置であり、ＣＰＵ(Central Processing Unit)１０と、ＲＡＭ（Random Access Memory）２０と、ＲＯＭ（Read Only Memory）３０と、を備えて構成される。

ＣＰＵ(Central Processing Unit)１０は、ＲＯＭ３０から、瞼状態検出警報装置１００の制御プログラムを読み出して実行し、装置全体を制御する。そして、室内カメラ１１０から検出対象者の顔画像を示す情報を受信し、検出対象者の目領域の状態を判別する。また、車速センサ１２０から車両速度を示す情報を受信し、必要に応じて検出対象者に警報装置１３０に警報を発生させる。表示装置１４０には検出対象者へのメッセージを表示させる。

ＲＡＭ２０は、ＣＰＵ１０のワークエリアとして機能する。

ＲＯＭ３０は、目状態判別警報装置の制御プログラムと、固定データ例えば、分散設定値Ｖ_ｓと、覚醒判別時間Ｔ_sとを格納する。分散設定値Ｖ_ｓは、サングラス（ゴーグル、着色された眼鏡などを含む）の有無を判別するための輝度の分散に関する設定値である。例えば、分散値が、分散設定値Ｖ_ｓより小さい場合は、目領域の輝度が均一であり、検出対象者がサングラスを装着していると判別する。サングラスの有無は、目領域の状態の一例であり、サングラス以外にも、眼帯など、検出対象者の目を覆う遮光性の装着物の有無を目領域の状態として判別しても良い。また、目を検出できるか否か等の状態でもよい。覚醒判別時間Ｔ_sは、検出対象者が瞼の閉状態を連続して検出した場合、居眠りしている（覚醒していない）と判別するまでの時間である。

上記の構成により、目状態判別警報装置１００は、室内カメラ１１０から受信した検出対象者の顔画像を示す情報から、検出対象者の目領域の状態を求める。そして、車速センサ１２０から車両の現在速度Ｖｃ（ｋｍ／ｈ）を示す情報を受信し、必要に応じて警報装置１３０に警報を発生させ、或いは表示装置１４０にメッセージを表示させる。

本実施形態に係る目状態判別警報装置１００の動作について説明する。カメラ１１０は、図５に示すような対象者の顔画像を所定周期（例えば、１／３０秒周期）で撮影して顔画像を出力する。出力された顔画像はＲＡＭ２０に順次格納される。

次に、ＣＰＵ１０は、ＲＡＭ２０に格納されている顔画像を順次読み出し、以下に示す目状態検出警報処理を実行する。

図２に目状態検出警報処理のフローチャートを示す。ＣＰＵ１０は、最初に目状態判別処理を実行し（ステップＳ１０）、次に警報装置動作処理を実行する（ステップＳ３０）。

図３に目状態判別処理のフローチャートを示す。目状態判別処理は、顔画像からサングラスの有無を判別し、サングラスが検出されない場合に検出対象者の目の状態を検出する処理である。目の状態とは、検出対象者の瞼の開閉状態、視線の方向などをいう。例えば、目の状態として瞼の開閉状態を検出する。

ＣＰＵ１０は、まず、目探索領域設定処理を実行する（ステップＳ１３）。図４に目探索領域設定処理のフローチャートを示す。この処理は、ステップＳ１１で受信した顔画像上に目探索領域を設定する処理である。ＣＰＵ１０は、ＲＡＭ２０から受信した顔画像を読み出し、Ｘ、Ｙ座標を設定する。ＣＰＵ１０は、縦エッジ強調用のソーベルフィルタを使用して顔画像を処理することにより、、縦エッジが強調された顔画像（縦エッジ画像）を求め、また、横エッジ強調用のソーベルフィルタを使用して顔画像を処理することにより、の縦エッジ、横エッジがを強調された顔画像（横エッジ画像）を求めるする（ステップＳ１１１）。そして、縦エッジから顔の左右端の位置を求め、横エッジから顔のほぼ眉の位置と口の位置とを求め、これらを顔の上下端とする（ステップＳ１１３）。次に、顔の中心線を検出する（ステップＳ１１５）。例えば、特開２００６−６５６７３号公報に記載されているように、横エッジの存在する画素のＸ座標の中心値を算出することで、顔の中心線を取得する。そして、取得した中心線を挟み、近接した２箇所の横エッジを探索することで、顔画像の鼻孔位置を求める（ステップＳ１１７）。

続いて、ＣＰＵ１０は、取得した鼻孔位置と顔の上下端との位置関係から、顔の上部の領域を取得する。ＣＰＵ１０は、顔の上部の領域内に、中心線を挟んだ２つの長方形の所定領域を、目探索領域として設定する（ステップＳ１１９）。ステップＳ１１９の後、ＣＰＵ１０は、目状態判別処理（ステップＳ１０）に戻る。

図５に、目探索領域設定処理の実行により設定した目探索領域の一例を示す。ＣＰＵ１０は、図５に示すように、受信した顔画像１０１から、顔の中心線を求め（ステップＳ１１５）、鼻孔位置１０５を取得する（ステップＳ１１７）。そして、取得した鼻孔位置１０５から顔の上部の領域を取得し、顔の上部の領域のうち、目を含むと推定される２箇所の所定の領域を目探索領域１０３として設定する（ステップＳ１１９）。

図３に示すように、目探索領域設定処理（ステップＳ１１）に続いてＣＰＵ１０は、輝度分布取得処理を実行する（ステップＳ１３）。図６に輝度分布取得処理のフローチャートを示す。ＣＰＵ１０は、右目、左目についての２箇所の目探索領域１０３内の各画素の輝度値を、例えば、０〜２５５の段階で求め、ＲＡＭ２０に格納する（ステップＳ１３１）。ＣＰＵ１０は、変数ｉに０を設定することで初期化する（ステップＳ１３３）。ＣＰＵ１０は、２箇所の目探索領域１０３内における、変数ｉと同一の輝度値の画素の個数（度数）をカウントし、カウントした値Ｘ_iをＲＡＭ２０に格納する（ステップＳ１３５）。続いて、変数ｉを１増分し（ステップＳ１３７）、変数ｉが輝度値の最大値２５５より大きいか否かを判別する（ステップＳ１３９）。変数ｉが輝度値の最大値２５５以下であると判別された場合（ステップＳ１３９：ＮＯ）、ＣＰＵ１０はステップＳ１３５に戻る。変数ｉが輝度値の最大値２５５より大きいと判別された場合（ステップＳ１３９：ＹＥＳ）、ＣＰＵ１０は目状態判別処理（ステップＳ１０）に戻る。

この輝度分布取得処理（ステップＳ１３）の実行により、輝度値０〜２５５に対応する画素数（度数）としてＸ₀〜Ｘ₂₅₅が得られる。

図７〜９に輝度分布の一例を示す。図７（ａ）は、検出対象者がサングラスを装着していた場合の右目及び左目の目探索領域１０３の画像である。図７（ｂ）は、輝度分布取得処理（ステップＳ１５）で得られた、図７（ａ）の目探索領域１０３の輝度分布の一例を折れ線グラフで図示したものである。横軸を輝度値（０〜２５５）、縦軸を輝度値に対応する度数（Ｘ₀〜Ｘ₂₅₅）としている。

図８（ａ）は、検出対象者が眼鏡を装着していた場合の目探索領域１０３の画像である。図８（ｂ）は、図８（ａ）の目探索領域１０３の輝度分布の一例を折れ線グラフで図示したものである。

図９（ａ）は、検出対象者が裸眼である場合の目探索領域１０３の画像である。図９（ｂ）は、図８（ａ）の目探索領域１０３の輝度分布の一例を折れ線グラフで図示したものである。図７（ｂ）、図８（ｂ）、図９（ｂ）に示すように、サングラスを装着した場合の目探索領域の輝度分布は、眼鏡を装着した場合や裸眼である場合の輝度分布と比較して、輝度値の平均値、分散値が低くなる。

図３に示すように、輝度分布取得処理（ステップＳ１３）の後、ＣＰＵ１０は、輝度分布の度数（Ｘ₀〜Ｘ₂₅₅）の分散値Ｖを求め、ＲＡＭ２０に格納する（ステップＳ１５）。分散値Ｖは、例えば下記の式（１）、式（２）により求める。
Ｅ＝１／２５６ΣＸ_i……（式１）
Ｖ＝１／２５６Σ（Ｘ_i−Ｅ）²……（式２）
Ｅ：平均値
Ｘ_i：輝度値ｉの画素の個数（度数）
ｉ：輝度値（０〜２５５）
Ｖ：分散値

ＣＰＵ１０は、ＲＡＭ２０から分散値Ｖを読み出し、ＲＯＭ３０から分散設定値Ｖｓを読み出す。そして、ＣＰＵ１０は、分散値Ｖが分散設定値Ｖｓ以下であるか否かを判別する（ステップＳ１７）。分散値Ｖが分散設定値Ｖｓ以下であると判別された場合（ステップＳ１７：ＹＥＳ）、ＣＰＵ１０は、目探索領域１０３の画像の輝度が比較的均一であり、サングラスが有ると判別し、表示装置１４０に検出対象者へのメッセージを表示させる（ステップＳ１９）。例えば、「目の状態が検出できません」、「サングラスを掛けていたら外してください」などのメッセージを表示させる。

分散値Ｖが分散設定値Ｖｓより大きいと判別された場合は（ステップＳ１７：ＮＯ）、ＣＰＵ１０は、瞼状態検出処理を実行する（ステップＳ２１）。図１０に瞼状態検出処理のフローチャートを示す。

ＣＰＵ１０は、まず、目候補を抽出する。例えば、ステップＳ１１９で求めた目探索領域１０３を、ステップＳ１１１で求めたの横エッジ画像上に設定しラインを抽出し、目探索領域１０３内の抽出した横エッジラインから上下瞼の候補となる横エッジラインの対（以下、眼候補という）を抽出する。それから、縦エッジラインを抽出し、横エッジラインと縦エッジラインとにより閉じた領域を形成する眼候補をさらに抽出する。そして、閉じた領域の位置と面積Ｓｑとを計測し、計測した値をＲＡＭ２５に格納する（ステップＳ２１１）。

次に、ＣＰＵ１０は、目判別処理を行う（ステップＳ２１３）。図１１に、目判別処理のフローチャートを示す。目判別処理は、目候補の中から検出対象者の目を判別する処理である。

ＣＰＵ１０は、目候補抽出処理で抽出した目候補の位置及び面積Ｓｑの履歴をＲＡＭ２５より取得する（ステップＳ２１３１）。

ＣＰＵ１０は、目候補抽出処理で抽出した目候補のうちから、出現位置が一定しているものを抽出する（ステップＳ２１３３）。例えば、その目候補の下瞼部分の位置の単位時間当たりの移動が所定の範囲以内であるか否かで、出現位置が一定であるか否かを判断する。

ＣＰＵ１０は、ステップＳ２１３３において抽出した目候補のうちから、瞬きに相当する動きのあるものを抽出する（ステップＳ２１３５）。例えば、面積Ｓｑの時間軸に沿った変化から関数Ｓｑ（ｔ）を求め、このＳｑ（ｔ）の一次微分値が０で、且つ二次微分値が閾値以上となる場合に、瞬きに相当する動きがあると判別する。

ＣＰＵ１０は、ステップＳ２１３５において抽出した目候補のうちから、瞬きがない間の動きが少ない目候補を抽出し、この目候補を目として判別する（ステップＳ２１３７）。例えば、過去１０秒間のＳｑ（ｔ）の標準偏差σ（ｔ）を求め、この標準偏差σ（ｔ）が閾値より低いか否かで、目であるか否かを判別する。

このようにして、目判別処理（ステップＳ２１３）によれば、ＣＰＵ１０は、出現位置が一定しており、且つ、瞬きに相当する動きを取り、且つ、瞬きがない間の動きが少ない目候補を目と判別することができる。

次に、図１２を参照して、瞼開閉検出処理（Ｓ２１５）を詳細に説明する。

先ず、ＣＰＵ１０は、ＲＡＭ２０に記憶させている目の面積Ｓｑの履歴よりその最大値と最小値とを取得する（ステップＳ２１５１）。

ＣＰＵ２４は、ステップＳ５１０において取得した目の面積の最大値と最小値との和を２で割った値を閾値として算出する（ステップＳ２１５３）。

ＣＰＵ１０は、その時点の目の面積が、ステップＳ２１５３で算出した閾値より小さいか否かを判別する（ステップＳ２１５５）。

その時点の目の面積が、算出した閾値より小さいと判別すると（Ｓ２１５５；ＹＥＳ）、ＣＰＵ１０は、瞼の閉状態（瞼が閉じていること）を検出し（ステップＳ２１５７）、処理を終了する。

その時点の目の面積が、算出した閾値より小さくないと判別すると（Ｓ２１５５；ＮＯ）、ＣＰＵ１０は、瞼の開状態（瞼が開いていること）を検出し（ステップＳ２１５９）、処理を終了する。

このように、瞼開閉検出処理（ステップＳ２１５）によれば、ＣＰＵ１０は、目の面積の最大値と最小値とにより瞼の開閉状態を検出するための閾値を算出し、算出した閾値とその時点での目の面積とに基づいて瞼の開閉状態を検出することができる。

瞼開閉検出処理（ステップＳ２１５）の後、ＣＰＵ１０は、図３に示すように、覚醒判別時間Ｔ_sをＲＯＭ３０から読み出し、瞼の閉状態がＴ_s以上連続して検出されたか否かを判別する（ステップＳ２１７）。瞼の閉状態がＴ_s以上連続して検出された場合（ステップＳ２１７：ＹＥＳ）、ＣＰＵ１０は、検出対象者が居眠りしている（覚醒していない）と判別する。そしてＣＰＵ１０は、警報装置動作フラグをＯＮしてＲＡＭ２０に格納する（ステップＳ２１９）。瞼の閉状態がＴ_s以上連続して検出されない場合（ステップＳ２１７：ＮＯ）、ＣＰＵ１０は、検出対象者が覚醒していると判別する。そしてＣＰＵ１０は、警報装置動作フラグをＯＦＦしてＲＡＭ２０に格納する（ステップＳ２２１）。ステップＳ２１９又はＳ２２１の後、ＣＰＵ１０は、目状態判別処理に戻る。

サングラス有りと判別した後（ステップＳ２１）、又は、瞼状態検出処理（ステップＳ２１）の後、ＣＰＵ１０は、覚醒状態検出処理を終了し、警報装置動作処理を実行する（ステップＳ３０）。

図１３に警報装置動作処理のフローチャートを示す。警報装置動作処理は、運転中に検出対象者が覚醒していない場合、警報を発生する処理である。ＣＰＵ１０は、車速センサ１２０から車両速度Ｖｃ（ｋｍ／ｈ）を示す情報を受信し、車両が走行中であるか否かを判別する（ステップＳ３１）。車両が走行中であれば（ステップＳ３１：ＹＥＳ）、ＣＰＵ１０は、ＲＡＭ２０から警報装置動作フラグを読み出し、ＯＮであるか否かを判別する（ステップＳ３３）。警報装置動作フラグがＯＮであると判別された場合（ステップＳ３３：ＹＥＳ）、ＣＰＵ１０は、警報装置１４０に音や光による警報を発生させる（ステップＳ３５）。走行中でない場合（ステップＳ３１：ＮＯ）、又は警報装置動作フラグがＯＦＦであると判別された場合（ステップＳ３３：ＮＯ）、或いはステップＳ３５の後、ＣＰＵ１０は、目状態判別警報処理を終了する。

上述の構成により、目状態判別警報装置１００は、検出対象者の顔画像を示す情報を受信し、受信した顔画像から目探索領域を設定し（ステップＳ１１）、この領域の輝度分布を求める（ステップＳ１３）。そして、目状態判別警報装置１００は、輝度分布から求めた分散値Ｖが分散設定値Ｖｓ以下以上であればサングラス有りと判別し（ステップＳ１７：ＮＯ）、分散設定値Ｖｓより大きけ設定範囲内であれば、瞼の開閉状態を検出する（ステップＳ２１）。瞼の開閉状態の検出結果から検出対象者が覚醒していないと判別したならば（ステップＳ２１９：ＮＯ）、目状態判別警報装置１００は、検出対象者に対し、警報を発生させる（ステップＳ３５）。

以上の説明したように、目状態判別警報装置１００は、検出対象者がサングラスを掛けている場合、サングラスを検出し、瞼状態探索処理（ステップＳ２１）を実行しない。このため、無駄な処理負荷を抑えることができ、また、誤って目以外のものを目と判別する事態を防止できる。

（実施形態２）
上記実施形態１においては、検出対象がサングラスをかけている場合には、目探索領域１０３の画像の輝度が比較的均一であることに注目し、輝度の分散値が基準値以下の場合に、サングラスをかけていると判別した。この発明はこれに限定されない。例えば、サングラスをかけている場合には、目探索領域１０３の画像の輝度は低く、暗い画像となる。このため、輝度値が低い場合に、サングラスをかけていると判別することも可能である。以下、目探索領域１０３の輝度値が低い場合に、サングラスをかけていると判別する次に、実施形態２について説明する。

実施形態２に係る目状態判別警報装置１００の構成は、実施形態１に係る目状態判別警報装置１００と同様である。但し、ＲＯＭ３０には、分散設定値Ｖｓの代わりに最頻設定値Ｍｓを格納する。また、実施形態２に係る目状態判別処理（ステップＳ１０）では、図３に示すステップＳ１５と、ステップＳ１７の代わりに、図１４に示すように、ステップＳ１５ａと、ステップＳ１７ａを実行する。

即ち、図１４に示すように、目状態判別処理（ステップＳ１０）において、ＣＰＵ１０は、輝度分布を取得した後（ステップＳ１３）、輝度分布の中で最も高い度数を示す輝度値、即ち最頻値Ｍを求める（ステップＳ１５ａ）。そして、ＣＰＵ１０は、ＲＯＭ３０から最頻設定値Ｍｓを読み出し、最頻値Ｍが、最頻設定値Ｍｓ以下上であるか否かを判別する（ステップＳ１７ａ）。最頻値Ｍが、最頻設定値Ｍｓ以下上であると判別される場合（ステップＳ１７ａ：ＹＥＳ）、ＣＰＵ１０は、サングラス有りと判別する（ステップＳ１９）。最頻値Ｍが、最頻設定値Ｍｓ以下上でない（最頻設定値Ｍｓより大きい）場合、ＣＰＵ１０は瞼状態検出処理（ステップＳ２１）を実行する。

本実施形態によれば、式（１）、式（２）を使用する必要が無く、分散値Ｖを求める場合よりも、ＣＰＵ１０に対する負担が軽くなる。

（実施形態３）
上記実施形態においては、目探索領域の画像の輝度の分散値と最頻値
の一方に基づいて、サングラスの有無を判別したが、輝度の分散値と最頻値の両方に基づいて、サングラスの有無を判別することも可能である。
以下、目探索領域の輝度値の分散値と最頻値に基づいて、サングラスの有無を判別する実施形態３について説明する。

次に、実施形態３について説明する。本実施形態３に係る目状態判別警報装置１００の構成は、実施形態１に係る目状態判別警報装置１００と同様である。但し、ＲＯＭ３０には、分散設定値Ｖｓに加えて最頻設定値Ｍｓを格納する。また、実施形態２に係る目状態判別処理（ステップＳ１０）では、ステップＳ１５ａが追加され、ステップＳ１７の代わりに、ステップＳ１５、ステップＳ１７ｂを実行する。

次に、本実施形態の目状態判別警報装置１００の動作を図１５のフローチャートを参照して説明する。図１５の目状態判別処理（ステップＳ１０）において、ＣＰＵ１０は、分散値Ｖを求めた後（ステップＳ１５）、最頻値Ｍを求める（ステップＳ１５ａ）。そして、ＣＰＵ１０は、ＲＯＭ３０から、分散設定値Ｖｓと最頻設定値ＭｓとをＲＯＭ３０から読み出し、分散値ＶがＶｓ以下上で、且つ最頻値Ｍが、最頻設定値Ｍｓ以下上であるか否かを判別する（ステップＳ１７ｂ）。分散値ＶがＶｓ以下上で、且つ最頻値Ｍが、最頻設定値Ｍｓ以下上である、と判別される場合、ＣＰＵ１０は、サングラス有りと判別する（ステップＳ１９）。分散値ＶがＶｓより大きい小さい、又は、最頻値Ｍが最頻設定値Ｍｓより大きい小さいと判別されたる場合（ステップＳ１７ａ：ＮＯ）、ＣＰＵ１０は瞼状態検出処理（ステップＳ２１）を実行する。

本実施形態によれば、ＣＰＵ１０は、分散値Ｖのみ、或いは最頻値Ｍのみに基づいて判別する場合よりも、確実正確に目領域の状態を判別することができる。

なお、目探索検出領域１０３は、２つ箇所で無くともよく、形状は円形、楕円形などであってもよい。また、上記実施形態では、目探索領域１０３をの設定方法は、鼻孔の位置に基づいてから所定の領域を設定したが、本発明はこのする方法に限られない。
例えば、目探索領域の設定前に二値化処理を行い、検出した反射像を目の位置と推定して、目探索領域を設定してもよい。

また、上記実施形態において、最頻値の代わりに（式１）から求めた平均値Ｅに基づきサングラスの有無を判別することもできる。即ち、目探査領域１０３の画像の各画素の輝度の平均値Ｅを求め、この平均値Ｅが基準値Ｅｒ以下である場合、あるいは、輝度の分散値Ｖが分散設定値Ｖｓ以下で且つ平均値Ｅが基準値以下の場合に、サングラス有りと判別するようにしてもよい。

サングラスの有無の判別は、分散値Ｖ、最頻値Ｍ又は平均値Ｅに限らず、輝度分布から求められる他の統計量を使用することもできる。例えば、平均値Ｅへの集中の度合い（尖度）を使用しても良い。分散値Ｖ、平均値Ｅの求め方は、（式１）、（式２）以外の数式によって求めてもよいのは勿論である。

輝度分布のみでなく、輝度分布と色度の分布に基づいて目領域の状態を判別することもできる。色度とは、色を無次元の（ｘ、ｙ）座標（ＣＩＥ座標）で表したものである。青を（０．１０、０．１０）、緑を（０．２６、０．６５）、赤を（０．６２、０．３２）などで表す。例えば、目探索領域内の各画素の色度を求め、輝度の分布等と共に同一の色度の画素の個数（度数）をカウントすることで色度分布を求める。そして、例えば、色度の分散値を算出し、分散値が設定値より高いか否かで、ＣＰＵ１０は目領域の状態を判別する。

覚醒しているか否かの判別は、瞼の閉状態の時間で判別する方法（ステップＳ２１７）以外の方法であってもよい。例えば、特開平６−２７０７１１に記載されているように、瞼の開閉状態の時間と瞼の開閉の周期性とから覚醒しているか否かを判断する。

目の状態として視線方向を検出してもよい。例えば、特開２００４−２５５０７４号広報に記載されているように、顔画像から目の部分の画像を抽出し、目の輪郭の３次元座標を算出する。そして、目の輪郭の３次元座標から、黒目輪郭上の点が存在する平面を求め、その法線方向を求める。その一方、黒目の中心を求め、黒目輪郭上の点が存在する平面の法線のうち、黒目の中心が通る線の方向を視線方向として検出する。例えば、検出した視線方向が自動車の進行方向と一致していない状態が所定時間以上継続した場合に、検出対象者が脇見運転をしていると判別し、警報を発生する。

検出対象者の室内カメラ１１０に対する顔の向きにより、照明角度が変わり、反射光の強度や輝度分布が異なることがある。そこで、目探索領域設定処理（ステップＳ１３）で、顔の中心線を検出し（ステップＳ１３５）、この顔の中心線と顔の左右端のエッジとの位置関係から顔の左右方向の向きを求める。そして、例えば、分散値Ｖが分散設定値Ｖｓ以上であるか否かを判別する処理（ステップＳ１７）の前に、設定範囲を補正する。検出対象者がカメラに対して右を向いているなら、主として左目にＬＥＤ光が照射され、反射光の輝度が大きくなる。そこで、例えば、左目に対応する目探索領域の分散値設定値Ｖｓを大きくするように補正することで、サングラスの有無を適切に判別できる。

目領域の状態として眼帯の有無等を判別しても良い。例えば、片方の目探索領域の分散値Ｖのみが分散設定値Ｖｓ以下上であると判別された場合や輝度の最頻値や平均値が基準値以上であると判別された場合にならば、ＣＰＵ１０は一方の目に眼帯をしていると判別する。そして、例えば、眼帯が無い方の目探索領域において、ＣＰＵ１０は瞼状態検出処理（ステップＳ２１）を実行する。

なお、本発明に係る目状態判別装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、顔画像を入力可能な構成のコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読みとり可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、上述の処理を実行する瞼検出装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有するストレージに当該プログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで瞼検出装置を構成してもよい。

また、上述の機能を、ＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協働により実現する場合などには、アプリケーション部分のみを記録媒体やストレージに格納してもよい。

また、搬送波にプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上のサーバに前記プログラムを格納し、ネットワークを介して前記プログラムを配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成してもよい。

本発明の実施形態１に係る目状態判別警報システムの構成図である。 本発明の実施形態１に係る目状態判別警報処理のフローチャートである。 本発明の実施形態１に係る目状態判別処理のフローチャートである。 本発明の実施形態１に係る目探索領域設定処理のフローチャートである。 目探索領域を設定した顔画像の一例である。 本発明の実施形態１に係る輝度分布取得処理のフローチャートである。 （ａ）サングラスを掛けた検出対象者の目探索領域の画像の一例である。（ｂ）サングラスを掛けた検出対象者の目探索領域の輝度分布の一例である。 （ａ）眼鏡を掛けた検出対象者の目探索領域の画像の一例である。（ｂ）眼鏡を掛けた検出対象者の目探索領域の輝度分布の一例である。 （ａ）裸眼の検出対象者の目探索領域の画像の一例である。（ｂ）裸眼の検出対象者の目探索領域の輝度分布の一例である。 本発明の実施形態１に係る瞼状態検出処理のフローチャートである。 本発明の実施形態１に係る目判別処理のフローチャートである。 本発明の実施形態１に係る瞼開閉検出処理のフローチャートである。 本発明の実施形態１に係る警報装置動作処理のフローチャートである。 本発明の実施形態２に係る目状態判別処理のフローチャートである。 本発明の実施形態３に係る目状態判別処理のフローチャートである。

符号の説明

１０ ＣＰＵ（領域設定手段、輝度分布取得手段、判別手段、目状態検出手段）
２０ ＲＡＭ
３０ ＲＯＭ
１００ 目状態判別警報装置
１１０ 室内カメラ（撮像手段）
１２０ 車速センサ
１３０ 警報装置
１４０ 表示装置

Claims (11)

1. 検出対象者の顔画像を撮像する撮像手段と、
   前記撮像手段により撮像された前記顔画像に、前記検出対象者の目を含む所定の領域を設定する領域設定手段と、
   前記領域設定手段により設定された領域の画像の輝度分布を求める輝度分布取得手段と、
   前記輝度分布取得手段により求められた前記輝度分布に基づいて、前記検出対象者の目領域の状態を判別する判別手段と、
   を備えることを特徴とする目状態判別装置。
2. 前記判別手段は、前記輝度分布取得手段により求められた前記輝度分布に基づいて、目領域の状態として、前記検出対象者の目の検出が可能か否かを判別する、
   ことを特徴とする請求項１に記載の目状態判別装置。
3. 前記輝度分布取得手段は、輝度のヒストグラムを求める手段を含み、
   前記判別手段は、求めたヒストグラムに基づいて、前記検出対象者の目領域の状態を判別する、
   ことを特徴とする請求項１に記載の目状態判別装置。
4. 前記判別手段は、前記輝度分布取得手段により求められた前記輝度分布に基づいて、前記検出対象者がサングラスをかけた状態にあるか否かを判別する、
   ことを特徴とする請求項１に記載の目状態判別装置。
5. 前記輝度分布取得手段は、
   前記検出領域の輝度の分散値を求め、分散値が第１の条件を充足するときに、検出対象者がサングラスをかけた状態にあると判別する、
   ことを特徴とする請求項４に記載の目状態判別装置。
6. 前記輝度分布取得手段は、前記検出領域の輝度の平均値又は最大頻度の輝度を求め、平均輝度又は最大頻度の輝度が第２の条件を充足するときに、検出対象者がサングラスをかけた状態にあると判別する、
   ことを特徴とする請求項４に記載の目状態判別装置。
7. 前記輝度分布取得手段は、
   前記検出領域の輝度の分散値と輝度の平均値又は最大頻度の輝度を求め、
   分散値が第１の条件を充足し、且つ、輝度の平均値又は最大頻度の輝度を求め、平均輝度又は最大頻度の輝度が第２の条件を充足するときに、検出対象者がサングラスをかけた状態にあると判別する、
   ことを特徴とする請求項４に記載の目状態判別装置。
8. 前記判別手段により前記検出対象者がサングラスを装着していないと判別された場合に、前記領域設定手段により設定された領域の画像に基づいて、前記検出対象者の目の状態を検出する目状態検出手段をさらに備える、
   ことを特徴とする請求項４に記載の目状態判別装置。
9. 前記目状態検出手段は、目の状態として前記検出対象者の瞼の開閉状態又は視線の方向を検出する、
   ことを特徴とする請求項１に記載の目状態判別装置。
10. 検出対象者の顔画像を撮像する撮像ステップと、
    前記撮像ステップで撮像された前記顔画像上に前記検出対象者の目の位置を含む所定の領域を設定する領域設定ステップと、
    前記領域設定ステップで設定された領域の輝度分布を求める輝度分布取得ステップと、
    前記輝度分布取得ステップで求められた前記輝度分布に基づいて前記検出対象者の目領域の状態を判別する判別ステップと、
    を備えることを特徴とする目状態判別方法。
11. コンピュータに、
    検出対象者の目を含む所定の領域の画像の輝度分布を求める輝度分布取得ステップと、
    前記輝度分布取得ステップで求められた前記輝度分布に基づいて前記検出対象者の目領域の状態を判別する判別ステップと、
    を実行させることを特徴とする目状態判別プログラム。

Images