JP2004192552A

JP2004192552A - 開閉眼判定装置

Info

Publication number: JP2004192552A
Application number: JP2002362647A
Authority: JP
Inventors: Masayuki Kaneda; 雅之金田; Kinya Iwamoto; 欣也岩本; Haruo Matsuo; 治夫松尾; Shinobu Nagaya; 忍長屋
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-12-13
Filing date: 2002-12-13
Publication date: 2004-07-08

Abstract

【課題】多様な光環境や、顔の特徴量の違いを許容した精度の高い開閉眼判定を実現する。
【解決手段】顔を撮像して得た画像データを処理して眼の開閉状態を判定するに際して、画像撮影部１により顔を撮影して画像データを生成し、当該画像データの全体から眼位置検出部２により眼の位置を検出し、当該眼の位置を基準として、眼追跡部３により眼の追跡領域となる眼を含む所定領域を設定し、眼を追跡する。そして、時系列にて追跡している眼を対象として、開閉状態判定部４により、少なくとも二つ以上の手法を用いて眼の開閉状態を示す判定結果を複数生成すると、開閉眼判定自己判断部５により、各手法にて判定している判定結果が総合的な開閉眼判定に使用するか否かを診断して、総合的な開閉眼判定に使用するとされた判定結果を対象として、開閉眼総合判定部６にて論理積で総合的な開閉眼判定を行う。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両を運転する運転者の脇見や居眠りなどを報知するに際して行う開閉眼判定処理をする開閉眼判定装置に関する。
【０００２】
【従来の技術】
従来により、下記の特許文献１や特許文献２、特許文献３に記載されているように、例えば車両の運転者の顔画像を撮像し、当該顔画像から眼の縦幅の変化量を用いたり、上瞼のピーク点と眉との間隔変化量を用いたり、上瞼の形状を用いたりして開閉眼の判定を行うものが知られている。
【０００３】
【特許文献１】
特開平９−４４６８５号公報
【０００４】
【特許文献２】
特開平１０−１４３６６９号公報
【０００５】
【特許文献３】
特開２０００−１２３１８８号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術では、顔画像を撮影する光環境条件が変化した場合や、眼鏡の着用の有無、眉が薄いなど、顔の特徴に個人差があった場合、開閉眼の判定精度が悪化するという問題点があった。
【０００７】
【課題を解決するための手段】
本発明では、顔を撮像して得た画像データを処理して眼の開閉状態を判定するに際して、画像撮影手段により顔を撮影して画像データを生成し、当該画像データの全体から眼位置検出手段により眼の位置を検出し、当該眼の位置を基準として、眼追跡手段により眼の追跡領域となる眼を含む所定領域を設定し、眼を追跡する。
【０００８】
そして、本発明では、時系列にて追跡している眼を対象として、開閉状態判定手段により、少なくとも二つ以上の手法を用いて眼の開閉状態を示す判定結果を複数生成すると、自己診断手段により、各手法にて判定している判定結果を総合的な開閉眼判定に使用するか否かを診断して、総合的な開閉眼判定に使用するとされた判定結果を対象として、開閉眼総合判定手段にて論理積で総合的な開閉眼判定を行うことで、上述の課題を解決する。
【０００９】
【発明の効果】
本発明によれば、開閉眼判定手段の各手法の判定結果が開閉眼判定総合判定手段に使用するのに適しているかを自己判断手段にて診断して、診断にて使用すると判定された判定結果のみを使用して開閉眼判定総合処理を行うので、多様な光環境や、顔の特徴量の違いを許容した精度の高い開閉眼判定を実現することができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００１１】
本発明は、例えば図１に示すように構成された開閉眼判定装置に適用される。この開閉眼判定装置は、例えば車両を運転している運転者の脇見や居眠りといった複数の状態の判定を行って報知などをする装置と接続され、当該装置に運転者の眼の開閉状態を示す情報を送るものである。
【００１２】
［開閉眼判定装置の構成］
この開閉眼判定装置は、例えば図示しないＲＯＭ（Read Only Memory）等に開閉眼判定プログラムを格納しておき、当該開閉眼判定プログラムを図示しないＣＰＵ（Central Processing Unit）等により必要に応じてＲＡＭ（Random AccessMemory等）を使用して実行することにより、図１に示すような各部を実現する。
【００１３】
この開閉眼判定装置は、運転者の顔画像をステアリング近傍のコラムモジュール等に取り付けられた撮像装置を有し、運転者の顔画像（画像データ）を生成する画像撮影部（画像撮影手段）１を備える。この画像撮影部１は、例えば所定期間毎に顔画像を生成して、眼位置検出部（眼位置検出手段）２に送る。眼位置検出部２は、画像撮影部１からの顔画像が送られると、当該顔画像を用いて、運転者の眼の画像領域を抽出して、眼座標値を検出して眼追跡部（眼追跡手段）３に送る。この眼追跡部３は、時系列にて送られる眼位置検出部２からの眼座標値を蓄積して、運転者の眼位置を追跡し、眼画像を含む画像を開閉状態判定部（開閉状態判定手段）４に送る。
【００１４】
開閉状態判定部４は、眼の縦幅、上瞼のピーク点と眉との間隔、３点法や曲率半径法を使用した上瞼の形状変化による開閉眼判定処理を行う。この開閉状態判定部４は、複数種類の開閉眼判定処理を行うことで、複数の判定結果を生成して開開閉眼判定自己判断部（自己判断手段）５に送る。
【００１５】
また、この開閉状態判定部４では、必要に応じて単独の手法による判定結果を開閉眼判定自己判断部５に送るようにしても良い。このとき、開閉状態判定部４は、単独の判定結果に開閉眼判定自己判断部５に送る場合に判定結果を生成するための基準値と比較して、複数の判定結果を開閉眼判定自己判断部５に送る場合に眼の開閉状態を判定する基準値を緩和しても良い。
【００１６】
開閉眼判定自己判断部５は、開閉状態判定部４での判定結果が後段の開閉眼総合判定部（開閉眼総合判定手段）６による総合判定結果に使用する判定結果として適しているか否かを診断する自己診断処理をする。この開閉眼判定自己判断部５は、各判定結果についての診断結果を開閉眼総合判定部６に送る。
【００１７】
開閉眼総合判定部６は、開閉眼判定自己判断部５にて総合判定結果に適していると判定された判定結果を使用して、開閉状態判定部４からの複数の判定結果と、予め用意しておいた開閉眼総合判定テーブルとを比較して、複数の判定結果を総合した開閉眼総合判定結果を生成する開閉眼総合判定処理を行い、報知装置などに出力する。
【００１８】
また、この開閉眼総合判定部６は、各開閉眼判定処理により求められた判定結果を使用するに際して、使用する判定結果の数に応じて、各開閉眼判定処理における判定閾値（基準値）を変更することが望ましい。具体的には、開閉眼総合判定部６は、開閉眼判定自己判断部５の診断により判定結果の数が少なくなった場合に、総合的な開閉眼判定に使用する判定結果について閉眼と判定しにくくするように基準値を変更する。
【００１９】
［開閉眼判定結果生成処理における開閉眼判定処理］
つぎに、上述した開閉状態判定部４にて行う各開閉眼判定処理の処理内容について説明する。
【００２０】
「眼の縦幅による開閉眼判定処理」
眼の縦幅による開閉眼判定処理においては、開閉状態判定部４は、先ず、眼追跡部３にて生成した眼の基準座標を基準として、顔画像１１を撮像する撮像装置の画角と、運転者の顔面と撮像装置との距離とから相場値的に求められる眼の大きさ相当の追跡領域を設定する。次に開閉状態判定部４は、設定した追跡領域内で濃度値別のヒストグラムを作成することで、抽出点の生成に適している二値化閾値を算出する。次に開閉状態判定部４は、算出した二値化閾値を用いて、二値化された眼画像の縦幅が最大となる画像部分を眼の開度値とする。
【００２１】
これにより、開閉状態判定部４では、図２（ａ）に示すように開眼時に縦幅が大きくなった場合の開度値ｈを大きくする。一方、開閉状態判定部４は、図２（ｂ）に示すように閉眼時に縦幅が小さくなった場合の開度値ｈを小さくする。そして、開閉状態判定部４では、開度値ｈと予め設定しておいた開度閾値（基準値）とを比較し、開度値ｈが開度閾値よりも大きい場合には開眼状態であるとの判定結果を生成し、開度値ｈが開度閾値よりも小さい場合には閉眼状態であるとの判定結果を生成する。
【００２２】
ここで、開閉状態判定部４は、眼の開閉状態を判定するに際して、開眼時や閉眼時の眼画像の縦幅を個人データとして記憶して開度閾値を変化させる学習処理をすることで、個人ごとに眼の大きさが異なる場合に対応可能となる。
【００２３】
ところが、この眼の縦幅による開閉眼判定処理は、下記の表１に示すように、眼を閉じていても開眼と判定する場合や、眼を細めただけで閉眼と判定する場合があり、開閉閾値を変化させるだけでは対応できないことがある。眼を閉じていても開眼状態であると判定される原因としては、図３（ａ）に示すように、眼を含む追跡領域１２が日影にある場合や、眼を含む追跡領域１２が夜間の近赤外光照明下にある場合が挙げられる。このような状態となると、追跡領域１２のコントラストが弱くなり、特に、閉眼時は眼の下の影と眼の形状を濃度に基づいて分離することが困難となる。
【００２４】
【表１】

すなわち、図３（ｂ）に示す目尻下の影１３に相当する画像部分を二値化した場合、図３（ｃ）に示すように影１３に相当する画像部分と眼に相当する画像部分とが分離しきれずに一体となってしまう。このような状態となると、眼を閉じている状態にも関わらず、開度値ｈに相当する眼の縦幅ＣＬ＿ｈが大きくなって開眼状態であると判定してしまう。また、眼を細めただけで閉眼状態であると判定される原因は、微笑んだ時や眩しそうに眼を細めた時でである。すなわち、図４（ａ）に示すように前方を注視している状態の眼の縦幅ＯＰ＿ｈから、運転者が微笑んだ場合には図４（ｂ）に示すように眼の縦幅ＯＰ＿ｈよりも小さい眼の縦幅ＳＭＩＬＥ＿ｈとなってしまう。これにより、前方を注視しているにも拘わらず閉眼状態であるとの判定結果となってしまう。
【００２５】
「上瞼のピーク点と眉との間隔による開閉眼判定処理」
上瞼のピーク点と眉との間隔による開閉眼判定処理においては、開閉状態判定部４は、先ず、追跡領域１２に含まれる顔画像１１を二値化した状態で眼の形状を切り出し、その形状から上瞼のピーク点を求める。また、開閉状態判定部４は、眉に相当するデータから、上瞼のピーク点とＸ軸方向の座標値が同じ抽出点を代表座標点として求める。これにより、開閉状態判定部４では、上瞼のピーク点のＹ軸座標から眉の代表座標点のＹ軸座標を減算して、上瞼のピーク点と眉と上下間隔を算出する。
【００２６】
このような開閉眼判定処理を行うことにより、図５に示すように、開眼時は上瞼と眉との間隔ｈ１が小さくなり、閉眼時は上瞼と眉との間隔ｈ２が大きくなる。そして、開閉状態判定部４では、求めた上瞼の眉との間隔と予め設定しておいた開度閾値とを比較し、上瞼の眉との間隔が開度閾値よりも小さい場合には開眼状態であるとの判定結果を生成し、上瞼の眉との間隔が開度閾値よりも大きい場合には閉眼状態であるとの判定結果を生成する。
【００２７】
ところが、上記表１に示すように、上瞼のピーク点と眉との間隔による開閉眼判定処理では、眼を開けていても閉眼と判定される場合がある。眼を開けていても閉眼と判定される原因としては、例えばある程度の緊張感を以て運転している場合における上瞼と眉との間隔が、運転者の緊張感が低くなって顔面の筋肉が緩み眉の位置が上がり、上瞼と眉の間隔が広がって上瞼と眉との間隔が大きくなってしまうことが挙げられる。このような場合、運転者が前方注視状態であるにも拘わらず閉眼状態であるとの判定結果を生成してしまう。ここで、この眉の動きには、個人差があるものの動きの大きい運転者の場合は、眼の開閉のストローク量を越えることもある。
【００２８】
また、上瞼と眉との間隔による開閉眼判定処理が安定しない原因としては、図６に示すように、運転者が眼鏡２１を掛けている場合が挙げられる。すなわち、顔画像１１から検出されるデータとしては、眉データＥＢと眼鏡のフレームデータＥＧとが存在し、両データＥＢ，ＥＧが比較的近い位置に存在したり、眉データＥＢが眼鏡２１のレンズ面に写り込んだ場合などに、眉部分のコントラストが一時的に弱くなって正確にデータを抽出できなくなることがある。このような場合には、眉データＥＢが安定して追跡できず、眉データＥＢと眼鏡２１のフレームと入れ替わってしまうことがある。
【００２９】
したがって、上瞼と眉との間隔として算出している値も、上瞼と眉の間隔ＥＢ＿ｄと、上瞼と眼鏡２１のフレームの間隔ＥＧ＿ｄの両方あることになり、上瞼と眉の間隔で開眼状態の値を学習している状態で、眉の追跡領域が眼鏡２１のフレームに移動してしまうと、その間隔が広がるので開眼状態であっても閉眼と誤判定することになる。
【００３０】
また、眼鏡２１がメタルフレームである場合は、眉のデータが眼鏡のフレームによって上下に分割される場合があり、このような状態においても眼鏡で分割された眉の下のデータは、レンズ部に写り込みが発生する場合があるので、前述の眼鏡フレームと眉のデータと同じような問題がある。
【００３１】
更に、上瞼と眉との間隔による開閉眼判定処理が安定しない原因としては、眼鏡を掛けている場合の他に、顔のピッチ方向の傾きが発生した場合もある。すなわち、図７に示すように、運転者の前に設置されたカメラ３１には、上瞼と眉の間隔がＥＢ＿ｄという距離で認識されている。この時の顔の傾きがない状態におて、図８に示すように、眼の位置をＥ、眉の位置をＥＢ１、後ろに顔が傾いた状態で眼の位置を意図的に合わせた場合の眉の位置をＥＢ２とすると、顔の傾きがない時の上瞼と眉の間隔はＥＢ＿ｄ１であるのに対し、顔が後ろに傾いた状態ではＥＢ＿ｄ２となる。この状態では開眼時の上瞼と眉の間隔が更に小さくなっているので、仮に眼を閉じたとしても閉眼と判定できないことがある。
【００３２】
「上瞼の形状変化による開閉眼判定処理」
上瞼の形状変化による開閉眼判定処理においては、開閉状態判定部４は、顔画像１１を撮像する撮像装置の画角と、運転者の顔面と撮像装置との距離とから相場値的に求められる眼の大きさ相当の追跡領域１２を設定する。次に開閉状態判定部４は、設定した追跡領域１２内でエッジ検出処理を行うことで上瞼ラインを示すデータを生成する。
【００３３】
次に開閉状態判定部４は、３点法を使用する場合、図９に示すように、上瞼ラインを示すデータの左端点を目頭ポイント４１Ａ、右端点を目尻ポイント４１Ｃとし、両端点を結ぶ直線に対する上瞼のピーク点４１Ｂの垂線長さを求める。これにより、開閉状態判定部４では、図９（ａ）に示す開眼時には垂線長さｈ３が長くなり、図９（ｂ）に示す閉眼時には垂線長さｈ４が短くなる演算結果を得る。そして、開閉状態判定部４では、求めた垂線長さと予め設定しておいた開度閾値とを比較し、垂線長さが開度閾値よりも大きい場合には開眼状態であるとの判定結果を生成し、垂線長さが開度閾値よりも小さい場合には閉眼状態であるとの判定結果を生成する。
【００３４】
一方、開閉状態判定部４は、曲率半径法を使用する場合、図１０に示すように、上瞼の各エッジ抽出点５１を対象として二次曲線の近似式を演算し、上瞼の曲率半径を求める。これにより、開閉状態判定部４では、図１０（ａ）に示す開眼時には曲率半径が小さくなり、図１０（ｂ）に示す閉眼時には曲率半径が大きくなる演算結果を得る。そして、求めた曲率半径と予め設定しておいた開度閾値とを比較し、曲率半径が開度閾値よりも小さい場合には開眼状態であるとの判定結果を生成し、曲率半径が開度閾値よりも大きい場合には閉眼状態であるとの判定結果を生成する。
【００３５】
ところが、上記表１に示すように、３点法及び曲率半径法を使用した上瞼の形状変化による開閉眼判定処理では、眼を開けていても閉眼と判定される場合がある。眼を開けていても閉眼と判定される原因としては、眼の一部に太陽の直射光を受けた場合に、目頭や目尻の画像部分が白飛びしてしまうことによる。すなわち、図１１（ａ）に示す平常時の眼画像６１に対し、目頭部分が白飛びした場合には図１１（ｂ）に示すように眼画像６１の目頭が白飛び部分６２となり、目尻部分が白飛びした場合には図１１（ｃ）に示すように眼画像６１の目尻が白飛び部分６２となる。これにより、白飛び部分６２のエッジ検出処理が困難となり、正確な目頭ポイント４１Ａ、ピーク点４１Ｂ及び目尻ポイント４１Ｃが検出できなくなったり、エッジ抽出点５１が検出できなくなる。
【００３６】
また、曲率半径法の限定した問題点としては、眼を閉じている時に開眼と判定されることがある。眼を閉じていても開眼と判定される原因としては、上瞼の個人差によるもので運転者が二重瞼である場合、図１２に示すようにエッジ抽出点５１からなるエッジラインが正確に上瞼のラインに沿い難く、よって近似曲線の曲率半径と、複数の抽出点を繋いだ実ラインとの相関が悪くなるためである。
【００３７】
「各開閉眼判定処理の利点」
先ず、眼の縦幅による開閉眼判定処理の利点は、下記の表２に示すように、眼の一部に太陽の直射光が当たっているなどの状況においても、図１３に示すように眼画像２３の眼球部が白飛びしない限り、眼の縦幅ＯＰ＿ｈを認識して正しい開閉眼判定結果を得ることが可能であることにある。
【００３８】
【表２】

また、上瞼のピーク点と眉との間隔による開閉眼判定処理の利点は、上記の表２及び図１４（ａ）に示すように微笑んだり眩しかったりして眼を細めている状態と、図１４（ｂ）に示すように眠くて眼を閉じている状態とを区別して、正しい開閉眼判定結果を得ることが可能であることにある。すなわち、微笑んだ場合や眩しくて眼を細めた場合、眼の下の筋肉が上に持ち上がっている状態なので、上瞼と眉との間隔Ｄは広がらないのに対し、眠くて眼を閉じた場合は、上瞼位置が下がる分、上瞼と眉の間隔は広がる。したがって、この開閉眼判定処理では、眼を細める状態が、微笑んでいるのか、眩しいのか、眠いのかの区別が可能である。
【００３９】
また、上瞼の形状変化による開閉眼判定処理の利点は、上記の表２に示すように、３点法及び曲率半径法の共に、図１５（ａ）に示すように眼が日影となっている場合や、夜間近赤外光下における眼でコントラストが低い状態でも、閉眼時（図１５（ｂ））や開眼時（図１５（ｃ））に示す画像を使用して３点法や曲率半径法を使用した精度が高い開閉眼判定ができることにある。ここで、眼のコントラストが低い場合、眼の縦幅を正しく求めるために二値化閾値を設定することが困難となる。特に、閉眼時において眼部分と眼の下の影部分との濃度階調が近い値であるため、濃度的に分離できなくなり眼の縦幅が小さくならない。しかし、このような状況においても上瞼のエッジラインの形状は、その影響を受け難いため、正しい開閉眼判定が可能である。
【００４０】
このような各開閉眼判定処理では、各利点を生かすように後段の開閉眼総合判定部６の開閉眼判定総合処理にて使用するかが開閉眼判定自己判断部５により診断される。
【００４１】
［開閉眼判定装置による開閉眼判定結果生成処理］
つぎに、上述したような各開閉眼判定処理を開閉状態判定部４にて行う開閉眼判定装置により運転者の眼の開閉状態を判定する開閉眼判定結果生成処理について図１６〜図１８のフローチャートを参照して説明する。
【００４２】
開閉眼判定装置では、先ず、ステップＳ１においては、画像撮影部１にて画像データを入力することに応じて、顔画像を生成して、ステップＳ２以降に処理を進める。
【００４３】
ステップＳ２〜ステップＳ５においては、眼位置検出部２により顔画像から眼座標値を検出し、眼追跡部３による眼の追跡に移行するまでの前処理を行う。すなわち、先ず、ステップＳ２においては、眼位置検出部２により、連続的に生成されるデータである顔画像から、濃度特徴量の抽出を行う。
【００４４】
このとき、眼位置検出部２では、図１９中の縦ラインにて示すような顔画像１１中の縦方向（Ｙ方向）における画素の濃度値を検出し、当該濃度値が黒の変極点となり、且つその変極点に至るまで濃度変化率が所定の閾値を越えた画素（抽出点）を抽出する。このような処理を顔画像１１の全体に亘って実行することで、眼位置検出部２では、図２０に示すように、右眉部分、左眉部分、右眼部分、左眼部分、鼻部分、口部分に相当する抽出点を得る。
【００４５】
そして、眼位置検出部２では、Ｘ方向にて隣接する抽出点であって、Ｙ方向において接近している抽出点をグループ化して、濃度的な特徴を示すＸ方向に連続した連続データを得る。すなわち、眼位置検出部２では、図２１に示すように、右眉部分に相当する連続データ７１Ａ、左眉部分に相当する連続データ７１Ｂ、右眼部分に相当する連続データ７１Ｃ、左眼部分に相当する連続データ７１Ｄ、鼻部分に相当する連続データ７１Ｅ、口部分に相当する連続データ７１Ｆを得る。
【００４６】
次のステップＳ３においては、眼位置検出部２により、右目及び左目に相当する連続データ７１を選択して、眼の位置を検出する。このとき、眼位置検出部２では、各特徴量からなる連続データ７１が出現する画像領域をＹ方向にゾーン化し、各連続データ７１の相対位置関係から眼の位置検出を行う。
【００４７】
具体的には、眼位置検出部２では、図２２に示すように、連続データ７１Ａ，１２Ｃを含むようにゾーン７２を設定し、連続データ７１Ｅ，７１Ｆを含むようにゾーン７３を設定し、連続データ７１Ｂ，７１Ｄを含むようにゾーン７４を設定する。そして、眼位置検出部２では、ゾーン７２，ゾーン７３，ゾーン７４のうち最もＸ軸座標値が小さいゾーン７２に含まれてＹ軸座標値が小さい連続データ７１ＣのＸ軸方向における中央値を右目座標値７５Ｃとし、連続データ７１ＣよりもＹ軸座標値が小さい連続データ７１ＡのＸ軸方向における中央値を右眉座標値７５Ａとする。また、眼位置検出部２では、ゾーン７２よりもＸ軸座標値が大きいゾーン７３に含まれてＹ軸座標値が小さい連続データ７１ＥのＸ軸方向における中央値を鼻座標値７５Ｅとし、連続データ７１ＥよりもＹ軸座標値が大きい連続データ７１ＦのＸ軸方向における中央値を口座標値７５Ｆとする。更に、眼位置検出部２では、ゾーン７２，ゾーン７３，ゾーン７４のうち最もＸ軸座標値が大きいゾーン７４に含まれてＹ軸座標値が大きい連続データ７１ＤのＸ軸方向における中央値を左目座標値７５Ｄとし、連続データ７１ＤよりもＹ軸座標値が小さい連続データ７１ＢのＸ軸方向における中央値を左眉座標値７５Ｂとする。
【００４８】
次のステップＳ４においては、眼位置検出部２により、ステップＳ３にて得た右目座標値７５Ｃ及び左目座標値７５Ｄを、眼の基準座標値として図示しないメモリに記憶することで、眼追跡部３により使用可能とする。
【００４９】
次のステップＳ５においては、眼追跡部３により、ステップＳ４にて記憶された右目座標値７５Ｃを含む小領域及び左目座標値７５Ｄを含む小領域を設定し、当該各小領域を眼の追跡領域として設定する。これにより、開閉眼判定装置では、眼の追跡に移行するまでの前処理を完了して、眼の開閉状態を判定するためにステップＳ６のループ処理に移行する。
【００５０】
ステップＳ６では、画像撮影部１により、新たに顔画像１１を入力して、ステップＳ７に処理を進める。
【００５１】
ステップＳ７においては、眼追跡部３により、ステップＳ２にて連続データを抽出した処理と同様の処理を、ステップＳ６にて入力した顔画像１１を使用してステップＳ５にて設定した各追跡領域に限定して行って連続データを抽出してステップＳ８に処理を進める。
【００５２】
このステップＳ７において、眼追跡部３では、図２３（ａ）に示すように追跡領域１２の全体について、縦方向（Ｙ方向）における画素の濃度値を検出し抽出点を抽出する処理をすることで、眼画像７６Ａについての連続データを作成する。ここで、眼追跡部３では、連続データの検出精度を向上させるために、ステップＳ２にて顔画像１１から抽出点を検出する場合と比較して、Ｘ軸方向及びＹ軸方向における走査間隔密度を高くする。
【００５３】
次のステップＳ８においては、眼追跡部３により、ステップＳ７にて抽出された連続データを使用して、眼の基準座標を求めてステップＳ９に処理を進める。
【００５４】
このステップＳ８において、眼追跡部３では、顔画像１１全体からの眼の位置を検出する場合と比較して追跡領域１２が非常に小さいので、追跡領域１２に殆ど眼画像７６Ａしか存在せず、連続データの代表座標点を求めることで眼の中心座標７７Ａを特定する。また、眼追跡部３では、例えば追跡領域１２内に複数の連続データが出現した場合は、該当する連続データを構成する各抽出点の平均濃度値や、連続データの形状特徴から眼の中心座標７７Ａの特定をする。
【００５５】
ステップＳ９では、眼追跡部３により、ステップＳ８にて特定された中心座標７７Ａを基準座標としてメモリに記憶して、ステップＳ１０に処理を進める。
【００５６】
ステップＳ１０では、眼追跡部３により、ステップＳ９にて記憶された中心座標７７Ａを追跡領域１２の中心位置となるように追跡領域１２の位置を更新して、ステップＳ１１に処理を進める。
【００５７】
このステップＳ１０において、眼追跡部３では、ステップＳ５にて図２３（ａ）に示す追跡領域１２が設定された場合、中心座標７７と追跡領域１２の中心位置は一致している。その後、ステップＳ６にて新たな顔画像１１が取り込まれ、図２３（ｂ）に示すように眼画像７６Ａから眼画像７６Ｂのように位置が変化した場合、図２３（ｃ）に示すように眼画像７６Ｂの中心座標７７Ｂを追跡領域１２の中心位置に近づけ、図２３（ｄ）に示すように眼画像７６Ｂの中心座標７７Ｂを追跡領域１２の中心位置に更に近づける。このような処理をすることにより、追跡領域１２内にて検出した中心座標７７Ｂを基に追跡領域１２の位置の更新を続ける。
【００５８】
ここで、眼追跡部３では、顔画像１１の取り込み間隔に対する眼の移動量に応じて必要最小の画像領域となるように追跡領域１２を設定することで、ステップＳ７及びステップＳ８の処理時間を短くすると共に、眼の追従性を向上させることが望ましい。
【００５９】
ステップＳ１１においては、開閉状態判定部４により、上述した眼の縦幅による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップＳ１２に処理を進める。
【００６０】
次のステップＳ１２及びステップＳ１３においては、開閉眼判定自己判断部５により、ステップＳ１１にて行った眼の縦幅による開閉眼判定処理が正常に行われているか否かを判定する自己診断処理を実行する。
【００６１】
すなわち、眼の縦幅による開閉眼判定の自己診断として、先ずステップＳ１２においては、開閉眼判定自己判断部５により、図１６のステップＳ１１の判定に用いられている眼の縦幅を、時系列的に複数個メモリに記憶して、ステップＳ１３に処理を進める。
【００６２】
ステップＳ１３においては、開閉眼判定自己判断部５により、所定個数の眼の縦幅の平均値及び標準偏差が所定条件を満たしているか否かを判定する。この所定条件は、追跡対象物が眼である限り、開閉眼により縦幅が変化する範囲は限定されるので、瞬きなどで閉眼の縦幅値が数個含まれるとしても、略開眼時の縦幅に近い値が平均値となり、小さな標準偏差となる。また、覚醒度が低下している状況を含めて考えても、所定条件となる平均値をやや小さめに設定するだけで追跡対象物が眼であるか否かの自己診断を行うのに可能なレベルにある。
【００６３】
ステップＳ１３において、ステップＳ１２にて記憶した所定個数の眼の縦幅の平均値及び標準偏差が所定条件を満たさないと判定した場合には、少なくとも追跡対象が眼でないとしてステップＳ１に処理を戻し、ステップＳ１以降にて画像全体からの眼の位置検出を再度行う。一方、ステップＳ１３において、ステップＳ１２にて記憶した所定個数の眼の縦幅の平均値及び標準偏差が所定条件を満たすと判定した場合には、眼の縦幅値の変化が眼であると判定して、図１７のステップＳ１４に処理を進める。
【００６４】
ステップＳ１４においては、開閉状態判定部４により、上述した上瞼のピーク点と眉との間隔による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップＳ１５に処理を進める。
【００６５】
ステップＳ１５〜ステップＳ２１及びステップＳ２２においては、開閉眼判定自己判断部５により、上瞼のピーク点と眉との間隔による開閉眼判定処理が正常に行われているか否かを判定する自己診断処理を行う。すなわち、上瞼のピーク点と眉との間隔による開閉眼判定処理の自己診断は、ステップＳ１５、ステップＳ１７及びステップＳ１９の３種類の診断処理をして、その全ての診断処理を満たした場合にステップＳ２２にて上瞼のピーク点と眉との間隔による開閉眼判定処理を使用するとする。
【００６６】
すなわち、先ずステップＳ１５においては、開閉眼判定自己判断部５により、所定時間内に眼の追跡領域を対象として処理される画像フレームに対して、眉のデータがどの程度正しく検出できたかを眉のデータの出現率として算出し、当該出現率が所定条件を満たしているか否かを判定する。この所定条件は、予め設定されており、眉のデータが正確に検出できていると判定するための所定値が設定されている。
【００６７】
そして、開閉眼判定自己判断部５により、眉のデータの出現率が所定値以下と判定した場合には、運転者の眉が薄い場合や、光環境条件により眉のデータが検出しにくい状態の場合、前髪で眉が隠れていて検出できない場合であると判定して、ステップＳ２０に処理を進める。
【００６８】
ステップＳ２０においては、開閉眼判定自己判断部５により、上瞼のピーク点と眉との間隔による開閉眼判定処理による判定結果を開閉眼判定総合処理にて使用しないように設定して、ステップＳ２１に処理を進める。
【００６９】
ステップＳ２１においては、開閉眼判定自己判断部５により、ステップＳ２０において開閉眼判定総合処理にて上瞼のピーク点と眉との間隔による判定結果を使用しないこととしたことに応じて、眼の縦幅による開閉眼判定処理及び上瞼の形状変化による開閉眼判定処理において閉眼と判定する基準を厳しくして、閉眼と判定する度合いを通常の状態にして、図１８のステップＳ２３に処理を進める。このようなステップＳ２１の処理を行うのは、後段の開閉眼判定総合処理において、複数個の相互に関連しない画像特徴量（本例では「眼の縦幅」と「上瞼と眉との間隔」）を演算対象として用いて、閉眼との判定結果の論理積をとることによって総合的に閉眼であると判定しており、各々の開閉眼判定処理にて閉眼と判定する基準を緩和して設定することを前提としていることによる。また、この開閉眼判定総合処理では、複数個の相互に関連する画像特徴量（本例では「３点法を使用した上瞼の形状変化」と「曲率半径法を使用した上瞼の形状変化」）を演算対象として用いて、閉眼との判定結果の論理和をとることによって総合的に判定しても良い。
【００７０】
一方、ステップＳ１５にて眉のデータの出現率が所定値以上と判定した場合のステップＳ１６においては、開閉眼判定自己判断部５により、時系列的な複数個の眉の出現位置をメモリに記憶して、ステップＳ１７に処理を進める。
【００７１】
ステップＳ１７においては、開閉眼判定自己判断部５により、複数個の眉の出現位置座標（ｘ，ｙ）の平均値及び標準偏差が所定条件を満たしているか否かを判定することで、眉のデータの出現位置の安定度を判定する。すなわち、眉の位置は開閉眼による影響が少なく、顔全体を動かさない限り眼のデータの出現位置のばらつきより大きくなることはない。したがって、眉のデータの出現位置の安定度が低い場合は、眉の追跡安定性がないと判定して、運転者の眉が薄い場合や、光環境条件により眉のデータが検出しにくい状態になっている場合、前髪で眉が隠れている場合、眉の近くに皺や影などノイズになるデータがある場合と認識する。
【００７２】
そして、開閉眼判定自己判断部５により、眉のデータの出現位置が不安定であると判定した場合には上述したようにステップＳ２０及びステップＳ２１の処理を行うことで、上瞼のピーク点と眉との間隔による判定結果を開閉眼判定総合処理には使用しないとの設定をして図１８のステップＳ２３に処理を進める。
【００７３】
一方、眉のデータの出現位置が安定していると判定した場合のステップＳ１８においては、開閉眼判定自己判断部５により、時系列的な複数個の上瞼と眉の間隔値をメモリに記憶して、ステップＳ１９に処理を進める。
【００７４】
ステップＳ１９においては、開閉眼判定自己判断部５により、複数個の上瞼と眉の間隔の平均値及び標準偏差が所定条件を満たしているか否かを判定する。この所定条件は、追跡対象物が眼と眉である限り、開閉眼によりその間隔が変化する範囲が限定されるので、瞬きなどで閉眼の間隔値が数個含まれるとしても、一定の平均値となり、小さな標準偏差となる。ここで、図６を用いて説明すると、ステップＳ１８にて開眼時の上瞼と眉の間隔をＥＢ＿ｄとして記憶し、眉を正しく追跡できている場合は、複数個の上瞼と眉の間隔の平均値は、ほぼ同じ値であり、標準偏差も非常に小さな値となる。
【００７５】
この後、眉の追跡対象が眼鏡２１のフレームに移動して場合には、上瞼と眉の間隔がＥＧ＿ｄとなり平均値は大きくなり所定条件を満たさなくなるので眉のデータの追跡ミスがあったことが判定できる。また、標準偏差による判定では、眉と眼鏡２１のフレームを短い周期で交互に追跡しているような不安定状態が判定可能となる。
【００７６】
また、図８に示すように顔が真っ直ぐである時の開眼時の瞼と眉の間隔をＥＢ＿ｄ１として記憶し、この後、顔が後方に傾いたとすると、上瞼と眉の間隔がＥＧ＿ｄ２となり平均値は小さくなり所定条件を満たさなくなるので眉のデータの追跡ミスがあったことが判定できる。
【００７７】
所定条件に含まれる平均値は、開眼時の上瞼と眉の間隔の基準とするので、最小値を、メモリした開眼時の上瞼と眉の間隔付近に設定し、最大値を、眼を閉じることによって上瞼と眉の間隔が広がる量を考慮して設定されている。また、所定条件に含まれる標準偏差の値は、安定して眉を追跡している時の値を参考に設定されている。
【００７８】
ステップＳ１９にて上瞼と眉の間隔の平均値と標準偏差が所定条件を満たさないと判定した場合には上述したようにステップＳ２０及びステップＳ２１の処理を行うことで、上瞼のピーク点と眉との間隔による判定結果を開閉眼判定総合処理には使用しないとの設定をして図１８のステップＳ２３に処理を進める。
【００７９】
一方、ステップＳ１９にて上瞼と眉の間隔の平均値と標準偏差が所定条件を満たすと判定した場合にはステップＳ２２に処理を進めて、上瞼のピーク点と眉との間隔による開閉眼判定処理の判定結果を開閉眼判定総合処理にて使用すると設定して、図１８のステップＳ２３に処理を進める。
【００８０】
ステップＳ２３においては、開閉状態判定部４により、３点法を使用した上瞼の形状変化による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップＳ２４に処理を進める。
【００８１】
ステップＳ２４においては、開閉眼判定自己判断部５により、ステップＳ２３にて得た時系列的な複数個の目頭と目尻との両点間距離をメモリに記憶して、ステップＳ２５に処理を進める。
【００８２】
ステップＳ２５においては、開閉眼判定自己判断部５により、ステップＳ２４にて記憶した複数個の目頭と目尻との両点間距離の平均値及び標準偏差を演算し、当該平均値及び標準偏差が所定条件を満たしているか否かを判定する。この所定条件は、画像特徴量として眼を正しく検出しているときの目頭と目尻との両点間距離を基準として決定する。すなわち、図１１（ｂ）及び図１１（ｃ）に示すように、眼の一部に太陽の直射光が当たって白飛び部分６２がある状態では、目頭と目尻との両点間距離の平均値が小さくなるので、上瞼の形状変化による判定結果の使用を制限する。
【００８３】
したがって、ステップＳ２５にて所定条件を満たさないと判定した場合は、ステップＳ３１に処理を進め、開閉眼判定自己判断部５により、上瞼の形状変化による開閉眼判定処理の判定結果を開閉眼判定総合処理には使用しないように設定してステップＳ３２に処理を進める。
【００８４】
ステップＳ３２においては、開閉眼判定自己判断部５により、ステップＳ２１と同様の処理を適用することで、眼の縦幅による開閉眼判定処理及び上瞼と眉の間隔による開閉眼判定処理において閉眼と判定する基準を厳しくして、ステップＳ３５に処理を進める。
【００８５】
一方、ステップＳ２５にて所定条件を満たすと判定した場合には、ステップＳ２６に処理を進める。ステップＳ２６においては、開閉眼判定自己判断部５により、３点法を使用した上瞼の形状変化による開閉眼判定処理の判定結果を使用すると設定して、ステップＳ２７に処理を進める。
【００８６】
ステップＳ２７においては、開閉状態判定部４により、曲率半径法を使用した上瞼の形状変化による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップＳ２８に処理を進める。
【００８７】
ステップＳ２８においては、開閉眼判定自己判断部５により、ステップＳ２７にて得た時系列的な複数個の上瞼の近似曲線と実ラインの相関係数をメモリに記憶して、ステップＳ２９に処理を進める。
【００８８】
ステップＳ２９においては、開閉眼判定自己判断部５により、ステップＳ２８にて記憶した複数個の相関係数の平均値及び標準偏差を演算し、当該平均値及び標準偏差が所定条件を満たしているか否かを判定する。
【００８９】
ステップＳ２９において相関係数の平均値が小さいと判定される場合や、標準偏差が大きく所定条件を満たしていないと判定する場合は、図１２を用いて説明したように、上瞼のエッジラインが二重瞼の影響等で正確にトレースできていない状態であると判定して、ステップＳ３３に処理を進める。
【００９０】
ステップＳ３３においては、開閉眼判定自己判断部５により、曲率半径法を使用した上瞼の形状変化による開閉眼判定処理の判定結果を開閉眼判定総合処理には使用しないように設定して、ステップＳ３４に処理を進める。
【００９１】
ステップＳ３４においては、開閉眼判定自己判断部５により、ステップＳ２１と同様の処理を適用することで、眼の縦幅による開閉眼判定処理及び上瞼と眉の間隔による開閉眼判定処理における閉眼と判定する基準を厳しくして、ステップＳ３５に処理を進める。
【００９２】
一方、ステップＳ２９てに所定条件を満たしたと判定した場合のステップＳ３０においては、曲率半径法を使用した上瞼の形状変化による開閉眼判定処理の判定結果を使用すると設定して、ステップＳ３５に処理を進める。なお、本例において上瞼の形状変化による開閉眼判定処理の診断処理では、相関係数の平均値と標準偏差を用いて診断する場合について説明したが、処理フレーム毎の相関係数を用いて上瞼の形状変化による開閉眼判定処理の判定結果を使用するか否かを診断しても良い。
【００９３】
ステップＳ３５においては、開閉眼総合判定部６により、上述の開閉眼判定自己判断部５による診断処理によって上瞼と眉との間隔による開閉眼判定処理、上瞼の形状変化による開閉眼判定処理の双方の判定結果が未使用と設定されているか否かを判定する。双方の判定結果が未使用と設定されている場合にはステップＳ１に処理を進めて顔画像１１全体からの眼の位置検出を再度行う。
【００９４】
一方、双方の判定結果が未使用とされていないと判定した場合には、ステップＳ３６に処理を進め、開閉眼総合判定部６により、各開閉眼判定処理について判定結果が使用可能又は未使用と設定されているかを認識すると共に、使用可能と判定されている開閉眼判定処理の判定結果を開閉状態判定部４から取得して、開閉眼判定総合処理を実行し、当該開閉眼総合判定処理により得られた総合判定結果を図示しない報知装置などに出力して、ステップＳ６に処理を戻す。なお、この開閉眼総合判定処理の処理内容については後述する。
【００９５】
［開閉眼総合判定部６による開閉眼判定総合処理］
つぎに、上述したステップＳ３６にて行う開閉眼判定総合処理の処理内容について説明する。この開閉眼総合判定処理では、上述した各開閉眼判定処理の問題点を考慮して作成された図２４及び図２５に示す開閉眼総合判定テーブルを使用する。
【００９６】
先ず、図２４に示すように、開眼時に眼の一部に直射光が当たっている場合、上瞼の形状変化による開閉眼判定処理において、目頭又は目尻部分が白飛びすることによってエッジラインが短くなり閉眼状態と判定する場合や、自己診断処理において、未使用と判定されることがある。これに対し、開閉眼総合判定部６では、眼の縦幅による開閉眼判定処理及び上瞼と眉の間隔による開閉眼判定処理の判定結果が開眼であるとの正しい判定を行っているので、開閉眼判定総合処理にて開眼と判定する。
【００９７】
また、眼の一部に直射光が当たっていることより、運転者が眩しくて眼を細めたとしても、上瞼と眉の間隔による開閉眼判定で正しい判定が行えるので総合的処理による総合判定結果が誤ることはない。
【００９８】
更に、開閉眼総合判定部６では、閉眼時に眼の一部に直射光が当たっている場合、眼の縦幅による開閉眼判定処理、上瞼と眉の間隔による開閉眼判定処理、上瞼の形状変化による開閉眼判定処理の全てに対する診断処理にて判定結果の未使用とされるので、閉眼との総合判定結果を生成する。
【００９９】
更にまた、開閉眼総合判定部６では、開眼時に眼のコントラストが弱い場合、眼の縦幅による開閉眼判定処理では、閉眼時に確実に閉眼と判定できるようにするために、閉眼と判定する基準を緩和する。これにより眼の縦幅による開閉眼判定処理により閉眼と判定されることもあるが、開閉眼総合判定部６では、上瞼と眉の間隔による開閉眼判定処理、上瞼の形状変化による開閉眼判定処理が開眼であるとの正しい判定結果を得ているとして、開眼であるとの総合判定結果を生成する。
【０１００】
更にまた、開閉眼総合判定部６では、閉眼時に眼のコントラストが弱い場合、眼の縦幅による開閉眼判定処理での閉眼と判定する基準を緩和している。これにより、開閉眼総合判定部６では、眼の縦幅による開閉眼判定処理にて正しく閉眼との判定結果を生成可能として、閉眼との総合判定結果を生成する。
【０１０１】
更にまた、開閉眼総合判定部６では、微笑んで眼を細めた場合、眼の縦幅による開閉眼判定で閉眼判定となり、また上瞼の形状変化（３点法）でも、その判定解像度の低さから閉眼と判定されることがあるが、上瞼と眉の間隔、上瞼の形状変化（曲率半径法）による開閉眼判定が開眼であると正しい判定を行っているので総合的な開閉眼判定を誤ることはない。
【０１０２】
更にまた、開閉眼総合判定部６では、眩しくて眼を細めた場合、微笑んで眼を細めた場合と類似した眼の開度変化であるため、同様の判定を行うことで正しい開閉眼総合判定を行うことができる。
【０１０３】
更にまた、緊張度の低下により、顔の表情が緩んだ場合、上瞼と眉の間隔による開閉眼判定処理で閉眼との判定結果が生成されることがある。これに対し、開閉眼総合判定部６では、眼の縦幅による開閉眼判定処理、上瞼の形状変化による開閉眼判定処理の判定結果が共に開眼であるとの正しい判定を行っているので、総合的な開閉眼判定を誤ることはない。
【０１０４】
更にまた、図２５に示すように、眉が薄い人の場合、開閉眼判定自己判断部５では、上瞼と眉の間隔による開閉眼判定処理の判定結果を未使用とする診断処理をするので、開閉眼総合判定部６での開閉眼判定総合処理への影響をなくし、開閉眼判定総合処理の精度を維持することができる。
【０１０５】
更にまた、前髪が眉の被る人である場合、開閉眼判定自己判断部５では、上瞼と眉との間隔による開閉眼判定処理の判定結果を未使用とする診断処理をするので、開閉眼総合判定部６での開閉眼判定総合処理への影響をなくし、開閉眼判定総合処理の精度を維持することができる。
【０１０６】
更にまた、コントラストが弱く眉のデータが認識できない場合、開閉眼判定自己判断部５では、上瞼と眉との間隔による開閉眼判定処理の判定結果を未使用とする診断処理をするので、開閉眼総合判定部６での開閉眼判定総合処理への影響をなくし、開閉眼判定総合処理の精度を維持することができる。
【０１０７】
更にまた、運転者が眼鏡を掛けている場合、開眼時の上瞼と眉との間隔の検出が正確になされているか、又は眼鏡のレンズに写り込みが発生して眼鏡フレームにて上瞼と眉との間隔の検出を行ったかにより、閉眼と判定されるか、自己診断処理により判定結果が未使用とされるかが異なってくる。これに対し、開閉眼判定自己判断部５では、何れの場合であっても、上瞼と眉との間隔による開閉眼判定処理の判定結果を未使用とする診断処理をするので、開閉眼判定総合処理に使用することなく、開閉眼総合判定部６にて開眼と判定可能となる。
【０１０８】
ここで、開閉眼判定自己判断部５では、図１３に示したように、始めに眉を正しく検出でき、開眼時の上瞼と眉との間隔が正しく検出でき、図１７のステップＳ１９での所定条件を、上瞼と眉の間隔が小さくなった場合に不使用とする割合を大きくし、上瞼と眉の間隔が大きくなった場合に使用とする割合を大きくするように設定する。これにより、眉を正しく追跡し続けるのみであって上瞼と眉の間隔を求めている間は、診断処理にて未使用となることはない。
【０１０９】
また、眉から眼鏡２１のフレームの追跡対象が替った場合、その間隔の変化量が、眼の開閉ストロークの変化量より小さい場合は、診断処理にて未使用と判定されることがなく、眼の開閉ストロークの変化量が開閉眼判定処理における判定閾値を越えている場合は、閉眼と判定されることがある。また、始めに眉を正しく検出できず、開眼時の上瞼と眼鏡のフレームを上瞼と眉の間隔として検出した場合に、眼鏡フレームを追跡し続けている状態では、診断処理で未使用となることはなく、追跡対象物が眼鏡フレームに替っているものの、開閉眼判定処理を正しく継続することができる。このような状態において追跡対象が眉に戻った場合、上瞼と眉との間隔が検出値に対し小さくなるので、診断処理にて上瞼と眉との間隔の判定結果を未使用とできる。このような状態において、例えば上瞼と眉との間隔による判定結果に対する診断処理をしないと、眼鏡フレームから眉に追跡対象が替ることで、上瞼と眉との間隔値が小さくなってしまうので、眼を閉じても開閉眼判定処理ができなくなる恐れがある。以上、説明してきたように上瞼と眉の間隔による開閉眼判定処理に対する診断処理により、判定結果を未使用とするので開閉眼判定総合処理への影響をなくし、開閉眼判定総合処理の精度が維持できる。
【０１１０】
更にまた、顔がピッチ方向に傾いた場合、開眼時の上瞼と眉の間隔の学習を、図１７及び図１８に示すような顔が真っ直ぐな状態で行い上瞼と眉の間隔ＥＢ＿ｄ１とすると、顔が後ろに傾いた時は、上瞼と眉との間隔が小さくなるので診断処理で判定結果が未使用とされ、前に傾いた時は、上瞼と眉との間隔が大きくなるので閉眼と判定される。本例においても上瞼と眉の間隔における開閉眼判定処理の悪影響をなくし、開閉眼判定総合処理の精度が維持できる。
【０１１１】
更にまた、二重瞼の人の場合、曲率半径法を使用した上瞼の形状変化による開閉眼判定処理の判定結果は、診断処理により未使用とされるので開閉眼判定総合処理への影響をなくし、開閉眼判定総合処理の精度が維持できる。
【０１１２】
更にまた、眼の追跡を誤った場合、眼の縦幅の診断処理にてステップＳ１に処理を戻して再検出となった時、又は上瞼と眉との間隔、上瞼の形状変化による開閉眼判定処理が同時に未使用になったこと時に、眼の追跡を誤ったと判定して、開閉眼判定総合処理の精度を維持する。
【０１１３】
［実施形態の効果］
以上詳細に説明したように、本実施形態に係る開閉眼判定装置によれば、各開閉眼判定処理の判定結果が開閉眼判定総合処理に使用するのに適しているかを開閉眼判定自己判断部５にて診断して、診断処理にて使用すると判定された判定結果のみを使用して開閉眼判定総合処理を行うので、多様な光環境や、顔の特徴量の違いを許容した精度の高い開閉眼判定を実現することができる。
【０１１４】
また、この開閉眼判定装置によれば、開閉眼判定総合処理にて使用する判定結果の数に応じて各開閉眼判定処理の判定閾値（基準値）を変更するようにしているので、顔の特徴量として開閉眼判定処理に不利な条件であっても、開閉眼判定総合処理の精度を維持することができる。
【０１１５】
更に、この開閉眼判定装置によれば、開閉眼判定処理の診断処理により開閉眼判定総合処理にて使用する判定結果の数が少なくなった場合に、開閉眼総合判定部６により、開閉眼判定総合処理に使用しない開閉眼判定処理での判定閾値を厳しくするようにしているので、顔の特徴量として開閉眼判定処理に不利な条件であっても、開閉眼判定総合処理の精度を維持することができる。
【０１１６】
更にまた、この開閉眼判定装置によれば、開閉眼判定処理での画像特徴量の演算対象を眼の縦幅としているので、眼の一部に太陽の直射光が当たるような光環境条件においても精度の高い開閉眼判定を行うことができる。
【０１１７】
更にまた、この開閉眼判定装置によれば、自己診断方法の効果を下記の表３にまとめたように、時系列的に出力される複数個の眼の縦幅値から判定結果の診断処理し、眼の縦幅値が異常であると判断した場合に、眼の追跡ミスがあったとして再度眼の位置を検出し直すようにしたので、開閉眼判定総合処理の異常状態の継続を短時間で停止させることができる。
【０１１８】
【表３】

更にまた、開閉眼判定装置によれば、開閉眼判定処理での画像特徴量の演算対象を上瞼のピーク点と眉との間隔としているので、運転者が眠くて眼を細めている状況と、微笑んで眼を細めている状況や眩しくて眼を細めている状況を区別した開閉眼判定処理を行うことができる。
【０１１９】
更にまた、開閉眼判定処理装置によれば、前所定時間内の眉のデータの出現率から判定結果の診断処理をするので、上瞼のピーク点と眉との間隔による開閉眼判定処理の判定結果を開閉眼判定総合処理に使用すべきかどうかを的確に判定することができる。
【０１２０】
更にまた、開閉眼判定処理装置によれば、時系列的に出力される複数個の眉のデータの出現位置の安定度から判定結果の診断処理をしているので、上瞼のピーク点と眉との間隔による開閉眼判定処理の判定結果を開閉眼判定総合処理に使用すべきかどうかを的確に判定することができる。
【０１２１】
更にまた、開閉眼判定処理装置によれば、時系列的に出力される複数個の上瞼のピーク点と眉との間隔値から判定結果の診断処理をしているので、上瞼のピーク点と眉との間隔による開閉眼判定処理の判定結果を開閉眼判定総合処理に使用すべきかどうかを的確に判定することができる。
【０１２２】
更にまた、開閉眼判定処理装置によれば、開閉眼判定処理における画像特徴量の演算対象を上瞼の形状とするので、顔画像１１が暗い場合や夜間の近赤外光環境下で、眼のコントラストが低い場合においても精度の高い開閉眼判定処理を行うことができる。
【０１２３】
更にまた、開閉眼判定処理装置によれば、時系列的に出力される複数個の目頭と目尻との両端点の距離から判定結果の診断処理をしているので、画像特徴量の演算対象を上瞼の形状による開閉眼判定処理の判定結果を開閉眼判定総合処理に使用すべきかどうかを的確に判定することができる。
【０１２４】
更にまた、開閉眼判定処理装置によれば、開閉眼判定処理における画像特徴量の演算対象を上瞼の形状とし、当該形状を濃度変化で求められる目頭と目尻との両端点を結ぶ直線に対して上瞼のピーク点との垂線距離によって求めるので、顔画像１１が暗い場合や夜間の近赤外光環境下で、眼のコントラストが低い状態で且つ、個人差に対するロバスト性を更に向上させた状態で精度が高い開閉眼判定処理を行うことができる。
【０１２５】
更にまた、開閉眼判定処理装置によれば、開閉眼判定処理における画像特徴量の演算対象を上瞼の形状とし、該形状を上瞼エッジ抽出点を対象として二次曲線の近似式の曲率半径の大きさで求めるので、顔画像１１が暗い場合や夜間の近赤外光環境下で、眼のコントラストが低い状態で更に精度が高い開閉眼判定処理を行うことができる。
【０１２６】
更にまた、開閉眼判定処理装置によれば、上瞼の曲率半径の算出と同時に求める近似曲線と実ラインの相関から判定結果の診断処理をしているので、画像特徴量の演算対象を上瞼の形状とし、該形状を上瞼エッジ抽出点を対象として二次関数の近似式の曲率半径の大きさによる開閉眼判定処理の判定結果を開閉眼判定総合処理に使用すべきかどうかを的確に判定することができる。
【０１２７】
更にまた、開閉眼判定処理装置によれば、時系列的に出力される複数個の近似曲線と実ラインの相関から判定結果の診断処理をしているので、画像特徴量の演算対象を上瞼の形状とし、該形状を上瞼エッジ抽出点を対象として二次関数の近似式の曲率半径の大きさによる開閉眼判定処理の判定結果を開閉眼判定総合処理に使用すべきかどうかを的確に判定することができる。
【０１２８】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明を適用した開閉眼判定装置の構成を示すブロック図である。
【図２】眼の縦幅による開閉眼判定処理において、開眼時（ａ）と閉眼時（ｂ）との開度値の変化を説明するための図である。
【図３】顔画像から追跡領域を切り出し（ａ）、追跡領域内に影が存在することで（ｂ）、眼の縦幅が変化すること（ｃ）を説明するための図である。
【図４】前方を注視している状態（ａ）と、微笑んだ状態（ｂ）との眼の縦幅の変化について説明するための図である。
【図５】上瞼のピーク点と眉との間隔による開閉眼判定処理において、開眼時と閉眼時との変化を説明するための図である。
【図６】運転者が眼鏡を装着している場合の上瞼と眉との間隔による開閉眼判定処理について説明するための図である。
【図７】運転者の顔の位置とカメラとの位置関係による上瞼と眉の間隔について説明するための図である。
【図８】運転者の顔の傾きがない状態と、運転者の顔が後ろに傾いた状態との上瞼と眉の間隔について説明するための図である。
【図９】３点法を使用した上瞼の形状変化による開閉眼判定処理において、開眼時（ａ）と閉眼時（ｂ）との変化を説明するための図である。
【図１０】曲率半径法を使用した上瞼の形状変化による開閉眼判定処理において、開眼時（ａ）と閉眼時（ｂ）との変化を説明するための図である。
【図１１】平常時の眼画像（ａ）、目頭部分が白飛びした場合の眼画像（ｂ）、目尻部分が白飛びした場合の眼画像（ｃ）を示す図である。
【図１２】運転者が二重瞼である場合のエッジ抽出点からなるエッジラインについて説明するための図である。
【図１３】眼画像の一部が白飛びした場合における眼の縦幅による開閉眼判定処理を説明するための図である。
【図１４】上瞼のピーク点と眉との間隔による開閉眼判定処理において、微笑んだり眩しかったりして眼を細めている状態（ａ）と、眠くて眼を閉じている状態（ｂ）とを区別することを説明するための図である。
【図１５】上瞼の形状変化による開閉眼判定処理において、閉眼時（ｂ）や開眼時（ｃ）に示す画像を使用して３点法や曲率半径法を使用した開閉眼判定をすることを説明するための図である。
【図１６】本発明を適用した開閉眼判定装置により運転者の眼の開閉状態を判定する開閉眼判定結果生成処理を示すフローチャートである。
【図１７】本発明を適用した開閉眼判定装置により運転者の眼の開閉状態を判定する開閉眼判定結果生成処理を示すフローチャートである。
【図１８】本発明を適用した開閉眼判定装置により運転者の眼の開閉状態を判定する開閉眼判定結果生成処理を示すフローチャートである。
【図１９】顔画像の抽出点を求める処理を説明するための図である。
【図２０】顔画像から求めた抽出点を示す図である。
【図２１】抽出点から連続データを求める処理を説明するための図である。
【図２２】各連続データから顔の各部に相当する各座標値を求める処理を説明するための図である。
【図２３】眼追跡部により追跡領域を設定して眼画像及び中心座標を追跡する処理を説明するための図である。
【図２４】開閉眼総合判定部にて使用する開閉眼総合判定テーブルを示す図である。
【図２５】開閉眼総合判定部にて使用する開閉眼総合判定テーブルを示す図である。
【符号の説明】
１画像撮影部
２目位置検出部
３眼追跡部
４開閉状態判定部
５開閉眼判定自己判断部
６開閉眼総合判定部
１１顔画像
１２追跡領域
５１エッジ抽出点
６１眼画像
６２白飛び部分

Claims

顔を撮像して得た画像データを処理して眼の開閉状態を判定する開閉眼判定装置において、
顔を撮影して前記画像データを生成する画像撮影手段と、
上記画像撮影手段にて生成された画像データの全体から、眼の位置を検出する眼位置検出手段と、
前記眼位置検出手段により検出された眼の位置を基準として、眼の追跡領域となる眼を含む所定領域を設定し、眼を追跡する眼追跡手段と、
前記眼追跡手段により追跡している眼を対象として、少なくとも二つ以上の手法を用いて、眼の開閉状態を示す判定結果を複数生成する開閉状態判定手段と、
前記開閉状態判定手段の各手法にて判定している判定結果を総合的な開閉眼判定に使用するか否かを診断する自己診断手段と、
前記自己診断手段にて総合的な開閉眼判定に使用するとされた判定結果を対象として、論理積で総合的な開閉眼判定を行う開閉眼総合判定手段と
を備えることを特徴とする開閉眼判定装置。
前記開閉眼総合判定手段は、前記開閉状態判定手段にて生成された判定結果の数に応じて、各手法にて判定結果を生成するに際しての基準を変更することを特徴とする請求項１に記載の開閉眼判定装置。
前記開閉眼総合判定手段は、前記自己診断手段の診断により前記開閉状態判定手段にて生成された判定結果の数が少なくなった場合に、総合的な開閉眼判定に使用する判定結果について閉眼と判定しにくくするように前記基準を変更することを特徴とする請求項２に記載の開閉眼判定装置。
前記開閉状態判定手段は、前記判定結果を生成する各手法の一つとして、眼の縦幅を画像特徴量の演算対象にして判定結果を生成する処理としたことを特徴とする請求項１に記載の開閉眼判定装置。
前記自己診断手段は、時系列的に前記開閉状態判定手段にて生成された複数個の眼の縦幅値を用いて、前記開閉状態判定手段にて生成した判定結果の診断をし、該眼の縦幅値が異常であると判断した場合に、再度前記目位置検出手段により眼の位置を検出して前記眼追跡手段眼により眼を追跡させることを特徴とする請求項４に記載の開閉眼判定装置。
前記開閉状態判定手段は、前記判定結果を生成する各手法の一つとして、上瞼のピーク点と眉との間隔を画像特徴量の演算対象にして判定結果を生成する処理としたことを特徴とする請求項１に記載の開閉眼判定装置。
前記自己診断手段は、前記開閉状態判定手段にて所定時間内に検出した眉のデータの出現率を用いて、前記開閉状態判定手段にて生成した判定結果の診断をすることを特徴とする請求項６に記載の開閉眼判定装置。
前記自己診断手段は、前記開閉状態判定手段にて所定時間内に検出した眉のデータの出現位置の安定度を用いて、前記開閉状態判定手段にて生成した判定結果の診断をすることを特徴とする請求項６に記載の開閉眼判定装置。
前記自己診断手段は、時系列的に前記開閉状態判定手段にて生成された複数個の上瞼のピーク点と眉との間隔値を用いて、前記開閉状態判定手段にて生成した判定結果の診断することを特徴とする請求項６に記載の開閉眼判定装置。
前記開閉状態判定手段は、前記判定結果を生成する各手法の一つとして、上瞼の形状を画像特徴量の演算対象にして判定結果を生成する処理としたことを特徴とする請求項１に記載の開閉眼判定装置。
前記自己診断手段は、時系列的に前記開閉状態判定手段にて生成された複数個の目頭と目尻との両端点の距離を用いて、前記開閉状態判定手段にて生成した判定結果の診断することを特徴とする請求項１０に記載の開閉眼判定装置。
前記開閉状態判定手段は、前記上瞼の形状に基づく判定結果を生成する手法として、濃度変化に基づく目頭と目尻との両端点を結ぶ直線に対する上瞼のピーク点との垂線距離に基づいて判定結果を生成する処理をすることを特徴とする請求項１０に記載の開閉眼判定装置。
前記開閉状態判定手段は、前記上瞼の形状に基づく判定結果を生成する手法として、上瞼のエッジを抽出して、当該抽出点を対象として二次曲線の近似式を演算し上瞼の曲率半径の大きさに基づいて判定結果を生成する処理をすることを特徴とする請求項１０に記載の開閉眼判定装置。
前記自己診断手段は、上瞼の曲率半径の算出に用いる近似曲線と複数のエッジ抽出点を繋いだ実ラインとの相関を用いて、前記開閉状態判定手段にて生成した判定結果の診断することを特徴とする請求項１３に記載の開閉眼判定装置。
前記自己診断手段は、時系列的に前記開閉状態判定手段にて生成された複数個の近似曲線とエッジ抽出点を繋いだ実ラインの相関を用いて、前記開閉状態判定手段にて生成した判定結果の診断することを特徴とする請求項１４に記載の開閉眼判定装置。