JP2004220080A - 開閉眼判定装置 - Google Patents

Abstract

【課題】いかなる状況であっても精度よく眼の開閉判定を行う。
【解決手段】開閉眼判定装置１０は、顔画像撮像部１１によって運転者の顔画像を撮像し、眼検出部１２によって顔画像から運転者の眼を検出し、上瞼エッジライン検出部１３によって上瞼エッジラインを検出する。更に、開閉眼判定装置１０は、曲線近似部１４によって上瞼エッジラインを二次以上の多次曲線に近似し、曲率算出部１５によって近似した多次曲線の曲率を算出して上瞼エッジラインの曲率とする。そして、開閉眼判定装置１０は、曲率信頼度規定部１６によって上瞼エッジラインの曲率の信頼度を規定し、開閉眼判定部１７によって上瞼エッジラインの曲率の信頼度を加味した上で眼の開閉を判定する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両等の移動体を運転している運転者等の眼の開閉を判定する開閉眼判定装置に関する。
【０００２】
【従来の技術】
従来より、車両等の移動体を運転している運転者の居眠りによる事故防止の手段として、運転者の眼の開閉状態を検出し、この検出結果に応じて、警報を行う装置の研究開発がすすめられている。具体的には、この種の技術としては、特許文献１に記載されているものがある。
【０００３】
この特許文献１には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラによって取得された顔画像から上瞼部分を検出し、上瞼の形状に基づいて眼の開閉を判定する技術が開示されている。具体的には、この特許文献１には、検出した上瞼の両端点を結ぶ直線に対して上側に位置する部分の面積と眼の面積との比に基づいて眼の開閉を判定する技術が開示されている。また、この特許文献１には、検出した上瞼の上の形状が凸形状か否かを判定することで眼の開閉を判定する技術が開示されている。さらに、この特許文献１には、検出した上瞼の両端点を結ぶ直線と上瞼の重心位置との位置関係に基づいて眼の開閉を判定する技術が開示されている。これにより、従来では、顔の向きや被撮影者の個人差によらず確実に眼の開閉を判定することができるとしている。
【０００４】
【特許文献１】
特開２０００−１２３１８８号公報
【０００５】
【発明が解決しようとする課題】
ところで、上述した特許文献１に記載されている技術においては、面積比や重心で眼の開閉を判定するために、眼の輪郭が完全に抽出可能であることが前提とされる。したがって、この技術においては、光環境が悪化して眼の輪郭が部分的にしか抽出できなくなるような状況では眼の開閉の判定を行うことが不可能となるという問題があった。
【０００６】
また、この技術においては、上瞼の上の形状が凸形状か否かで眼の開閉を判定する場合についても示しているが、これは、上瞼のエッジラインの曲率に基づいて判定することを示している。したがって、この上瞼のエッジラインに基づいた検出についても、例えば眼の周囲に皺が多い場合や睫毛が長い場合といったように、検出環境や被検出者の眼の周囲の状況によっては完全な円弧として上瞼のエッジラインの検出ができなかったり、上瞼の一部しかエッジラインを検出できなかったりする問題点がある。
【０００７】
なお、このような場合であっても、上瞼のエッジラインの曲率は、算出可能であるが、この技術においては、算出された上瞼のエッジラインの曲率が真の上瞼の曲率を表しているのかを判定することはできず、誤った眼の開閉判定を行う可能性が否めないという問題があった。
【０００８】
【課題を解決するための手段】
本発明では、対象者の顔画像を撮像し、撮像した顔画像から対象者の眼を検出し、検出した眼から上瞼エッジラインを検出する。さらに、本発明では、検出した上瞼エッジラインを二次以上の多次曲線に近似し、近似した多次曲線の曲率を算出し、算出した曲率を上瞼エッジラインの曲率とする。そして、本発明では、算出した上瞼エッジラインの曲率の信頼度を規定し、規定した上瞼エッジラインの曲率の信頼度を加味した上で、上瞼エッジラインの曲率の大小に基づいて、眼の開閉を判定することにより、上述の課題を解決する。
【０００９】
【発明の効果】
本発明に係る開閉眼判定装置によれば、算出した上瞼エッジラインの曲率の信頼度を規定し、規定した上瞼エッジラインの曲率の信頼度を加味した上で眼の開閉を判定することにより、いかなる状況であっても信頼度に基づいた適切な判定を行うことができ、結果として、対象者の眼の開閉を精度よく判定することができる。
【００１０】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【００１１】
この実施の形態は、所定の移動体を運転している運転者の居眠り状態を、当該運転者の眼の開閉を判定することによって検出する開閉眼判定装置であって、開閉眼の判定結果を図示しない警報装置等に出力するものである。
【００１２】
なお、この開閉眼判定装置は、自動車、鉄道車両、船舶、プラントのオペレータといった様々なアプリケーションにおける開閉眼検知に適用することができるものであるが、以下の各実施形態では、説明の便宜上、自動車を運転している運転者の眼に適用した場合について説明する。
【００１３】
［第１実施形態］
まず、第１実施形態に係る開閉眼判定装置について説明する。
【００１４】
［開閉眼判定装置の構成］
第１実施形態に係る開閉眼判定装置１０は、図１に示すように、運転者の顔を撮像する顔画像撮像部１１と、運転者の眼を検出する眼検出部１２と、運転者の眼の上瞼エッジラインを検出する上瞼エッジライン検出部１３とを備える。
【００１５】
また、この開閉眼判定装置１０は、上瞼エッジライン検出部１３によって検出された上瞼エッジラインを曲線に近似する曲線近似部１４と、この曲線近似部１４によって近似された曲線の曲率を算出する曲率算出部１５と、この曲率算出部１５によって算出された曲率の信頼度を規定する頂点位置による曲率信頼度規定部１６と、最終的に眼の開閉を判定する開閉眼判定部１７とを備える。
【００１６】
顔画像撮像部１１は、運転者の顔を撮像し、顔画像データを出力する。ここで、顔画像撮像部１１としては、例えば、可視光に対応したＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラ、Ｃ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、近赤外光によって撮像するカメラ、又は遠赤外光によって撮像するカメラ等が挙げられる。顔画像撮像部１１は、撮像して得た顔画像データをディジタル画像データとして眼検出部１２に供給する。
【００１７】
眼検出部１２は、顔画像撮像部１１によって撮像された顔画像データに対して画像処理を施し、眼を検出して眼位置を特定する。眼検出部１２は、特定した目位置に存在して眼を示す画像データを上瞼エッジライン検出部１３に供給する。
【００１８】
上瞼エッジライン検出部１３は、眼検出部１２によって検出された眼を示す画像データに対してエッジ抽出処理等の画像処理を施して、複数のエッジ抽出点からなる上瞼のエッジラインを検出する。上瞼エッジライン検出部１３は、検出した上瞼エッジラインを構成するエッジ抽出点を示す座標情報等の情報を曲線近似部１４及び曲率信頼度規定部１６に供給する。
【００１９】
曲線近似部１４は、上瞼エッジライン検出部１３によって検出された複数のエッジ抽出点からなる上瞼エッジラインを数学的な式で表される曲線に近似する。曲線近似部１４は、近似した曲線の式を示す情報を曲率算出部１５及び曲率信頼度規定部１６に供給する。
【００２０】
曲率算出部１５は、曲線近似部１４によって近似された曲線の式の係数に基づいて、曲線の曲率を算出する。曲率算出部１５は、算出した曲線の曲率を上瞼エッジライン曲率とし、この上瞼エッジライン曲率を示す情報を曲率信頼度規定部１６及び開閉眼判定部１７に供給する。
【００２１】
曲率信頼度規定部１６は、曲線近似部１４によって近似された曲線の頂点位置と、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの始点位置、終点位置、又は頂点位置の少なくとも１つの位置との位置関係に基づいて、曲率算出部１５によって算出された上瞼エッジライン曲率の信頼度を規定する。曲率信頼度規定部１６は、規定した上瞼エッジライン曲率の信頼度を示す情報を開閉眼判定部１７に供給する。
【００２２】
開閉眼判定部１７は、曲率算出部１５によって算出された上瞼エッジライン曲率の大小に基づいて、眼の開閉を判定する。このとき、開閉眼判定部１７は、曲率信頼度規定部１６によって規定された上瞼エッジライン曲率の信頼度を加味した上で、眼の開閉を判定する。開閉眼判定部１７は、判定結果を図示しない報知装置等に出力する。
【００２３】
［自動車に対する開閉眼判定装置の適用］
このような各部を備える開閉眼判定装置１０は、図２に示すように、上述した顔画像撮像部１１としてのカメラ装置１と、上述した眼検出部１２、上瞼エッジライン検出部１３、曲線近似部１４、曲率算出部１５、曲率信頼度規定部１６、及び開閉眼判定部１７の各機能を実現するプログラムロジックがプログラミングされているマイクロコンピュータ２とを用いて構成することができる。
【００２４】
カメラ装置１は、例えば自動車のインストルメントパネル上で運転者を略正面で撮像できる位置に設置され、運転者の顔部分を撮像する。このカメラ装置１は、例えば、横方向（Ｘ方向）６４０画素及び縦方向（Ｙ方向）４８０画素からなる顔画像データを撮像するように構成される。このカメラ装置１によって撮像された顔画像データは、マイクロコンピュータ２に入力される。
【００２５】
マイクロコンピュータ２は、例えばインストルメント裏側等の車体内部に設置される。マイクロコンピュータ２は、カメラ装置１によって撮像された顔画像データを入力すると、この顔画像データに基づいて、上述した眼検出部１２、上瞼エッジライン検出部１３、曲線近似部１４、曲率算出部１５、曲率信頼度規定部１６、及び開閉眼判定部１７の各機能を実行し、眼の開閉判定結果を図示しない報知装置等に出力する。
【００２６】
このような開閉眼判定装置１０は、以下に示す処理を行うことにより、運転者の眼の開閉を判定する。
【００２７】
［開閉眼判定装置の処理内容］
開閉眼判定装置１０は、図３に示すように、例えばＩＧＮスイッチ等が操作されるとステップＳ１以降の処理を開始し、先ず、ステップＳ１においては、初期値入力の処理を実行し、ステップＳ２において、上述した顔画像撮像部１１に相当するカメラ装置１（顔画像撮像部１１）によって顔画像を撮像し、撮像して得た顔画像データがマイクロコンピュータ２に入力される。
【００２８】
続いて、開閉眼判定装置１０は、ステップＳ３において、マイクロコンピュータ２に入力された顔画像データに対し、当該マイクロコンピュータ２の眼検出部１２によって画像処理を施すことにより、顔画像データ上の眼を検出し、眼の位置を特定する。なお、このステップＳ３の詳細については、後述する。
【００２９】
続いて、開閉眼判定装置１０は、ステップＳ４において、眼検出部１２により、ステップＳ３による出力結果に基づいて、眼の位置を特定できたか否かを判定する。
【００３０】
ここで、眼検出部１２は、顔画像データ上で眼の位置を特定できていないと判定した場合には、眼の位置を特定するまでステップＳ２からの処理を繰り返す一方で、顔画像データ上で眼の位置を特定できたと判定した場合には眼を含む画像データを上瞼エッジライン検出部１３に供給して、ステップＳ５へと処理を移行する。
【００３１】
ステップＳ５においては、上瞼エッジライン検出部１３により、ステップＳ４にて眼検出部１２から送られた眼の画像データから、眼の上瞼エッジラインを検出し、さらに、検出した上瞼エッジラインの始点位置、終点位置、及び頂点位置を検出する。なお、このステップＳ５の詳細については、後述する。
【００３２】
続いて、ステップＳ６において、曲線近似部１４により、ステップＳ５にて検出された上瞼エッジラインを構成するエッジ抽出点の座標点群に基づいて、例えば最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似する。なお、このステップＳ６の詳細については、後述する。
【００３３】
続いて、ステップＳ７において、曲率算出部１５により、ステップＳ６にて近似された曲線の式の係数に基づいて、曲線の曲率を算出し、その曲率を上瞼エッジライン曲率とする。なお、このステップＳ７の詳細については、後述する。
【００３４】
続いて、ステップＳ８において、曲率信頼度規定部１６により、ステップＳ６にて近似された曲線の頂点位置とステップＳ５にて検出された上瞼エッジラインの頂点位置との位置関係に基づいて、ステップＳ７にて算出された上瞼エッジライン曲率の信頼度を規定する。なお、このステップＳ８の詳細については、後述する。
【００３５】
そして、ステップＳ９において、開閉眼判定部１７により、後述する開閉眼閾値を算出し、ステップＳ１０において、ステップＳ８にて規定された上瞼エッジライン曲率の信頼度を加味した上で、眼の開閉を判定し、一連の処理を終了する。なお、これらステップＳ９及びステップＳ１０の詳細については、後述する。
【００３６】
開閉眼判定装置１０は、このような一連の工程を経ることにより、運転者の眼の開閉を判定することができる。
【００３７】
以下、上述した各処理の詳細について説明する。
【００３８】
［眼の検出処理内容］
まず、上述した図３中ステップＳ３における眼の検出処理について図４を用いて説明する。
【００３９】
眼検出部１２は、眼の検出処理を行う際には、図４に示すように、ステップＳ１１において、眼の候補の位置を特定する処理を実行する。なお、このステップＳ１１の詳細については、後述する。
【００４０】
続いて、眼検出部１２は、ステップＳ１２において、眼判定処理を行う。なお、このステップＳ１２の詳細については、後述する。
【００４１】
そして、眼検出部１２は、ステップＳ１３において、ステップＳ１１における眼の候補の位置を特定する処理で検出した眼の候補点全てについてステップＳ１２における眼判定処理を行ったか否かを判定する。
【００４２】
ここで、眼検出部１２は、眼の候補点全てについて判定を終えていないと判定した場合には、ステップＳ１２からの処理を繰り返す一方で、眼の候補点全てについて判定したと判定した場合には、図３中ステップＳ４へと処理を移行する。
【００４３】
開閉眼判定装置１０は、このような一連の工程を経ることにより、眼の検出処理を行うことができる。
【００４４】
ここで、ステップＳ１１における眼の候補の位置の特定処理、及びステップＳ１２における眼判定処理は、それぞれ、具体的には以下のような手順で行われる。
【００４５】
［眼の候補の位置の特定処理内容］
まず、ステップＳ１１における眼の候補の位置の特定処理について図５乃至図１０を用いて説明する。
【００４６】
開閉眼判定装置１０は、図５のステップＳ２１において、図３中のステップＳ２における撮像処理で撮像してマイクロコンピュータ２にて入力した顔画像データ全体を全体画像Ｇとして図示しない所定の画像メモリに保存する。
【００４７】
続いて、眼検出部１２は、画像メモリに保存した全体画像Ｇについて、縦１ラインでのポイント抽出を行い、その終了後に、隣接する縦１ラインでのポイント抽出を行うことで、全体画像Ｇについてライン毎のポイント抽出を行い、ステップＳ２２において、縦方向の全ラインでのポイント抽出が終了したか否かを判定する。
【００４８】
ここで、眼検出部１２は、縦方向の全ラインでのポイント抽出が終了していないと判定した場合には、ステップＳ２３へと処理を移行し、縦方向（Ｙ方向）の１ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮像時の濃度値の変化の小さなバラツキをなくすことを目的として行われるものであり、濃度値の大局的な変化を捉えるために行われる。
【００４９】
続いて、眼検出部１２は、ステップＳ２４において、ステップＳ２３にて得られた演算結果である相加平均濃度値に対する微分演算を行う。
【００５０】
続いて、眼検出部１２は、ステップＳ２５において、ステップＳ２４にて得られた演算結果である微分値によるポイント抽出を行う。
【００５１】
そして、眼検出部１２は、このステップＳ２５による処理が１ライン分だけ終了すると、ステップＳ２６において、マイクロコンピュータ２によって次のラインの処理に切り替え、ステップＳ２２からの処理を繰り返す。
【００５２】
一方、眼検出部１２は、ステップＳ２２にて縦方向の全ラインでのポイント抽出が終了したと判定した場合には、ステップＳ２７へと処理を移行し、互いに隣り合う各ラインの抽出ポイントのＹ座標値を比較し、これらＹ座標値の差分が所定値以内の場合には、これら抽出ポイントの座標値を連続データとして扱い、以下の５つの項目を所定の画像メモリに保存する。
【００５３】
１．連続データのグループ番号
２．連続開始ライン番号
３．連続データ数
４．連続データを構成する各抽出ポイントのＹ座標値の平均値（その連続データの代表上下位置）
５．連続開始ラインと終了ラインとのＸ座標値の平均値（その連続データの代表左右位置）
すなわち、眼検出部１２は、ここでの検出対象を眼としている。したがって、その特徴量は横方向に比較的長く続くデータであると推測され、眼検出部１２は、横方向に所定値以上連続することを条件にして、連続データを選択する。
【００５４】
ここで、このようにして選択した顔の特徴量を連続データとして表したものを図６に示す。この図６においては、左右眉毛、左右眼、左右鼻孔、口、といった領域が連続データＧＧとして抽出されている様子を示している。このような場合、眼検出部１２では、連続データＧＧが眼の候補となり、この連続データＧＧの代表座標値Ｃが眼の候補点の位置となる。
【００５５】
そして、眼検出部１２は、ステップＳ２８において、図６に示すような各連続データＧＧの代表座標値Ｃを基準として各連続データＧＧを含む存在領域ＥＡを設定する。
【００５６】
ここで、この存在領域ＥＡは、眼検出部１２により以下のようにして決定される。
【００５７】
［存在領域ＥＡの大きさの決定方法］
ステップＳ２８にて設定する存在領域ＥＡの大きさは、図７乃至図９に示すように決定する。図７は、存在領域ＥＡの大きさを示し、図８及び図９は、数人の眼の大きさを調べた横及び縦の長さの統計データを示している。
【００５８】
ここで、存在領域ＥＡの大きさは、顔の皺や明暗等を抽出してしまうことによるノイズの低減や処理速度の低下を回避するためにも、可能な限り小さい領域が好ましい。例えば、存在領域ＥＡとしては、現在の居眠り検出等の処理で用いている大きさとすることができ、数人の眼の大きさを調べ、その大きさに対して例えば１．５倍程度の余裕分を加味した大きさとすることができる。すなわち、存在領域ＥＡとしては、例えば図７に示すように、眼の大きさが横寸法ｘａ、縦寸法ｙａであるとすると、横幅ｘａ×１．５、縦幅ｙａ×１．５の大きさとすることができる。
【００５９】
なお、数人の眼の大きさを統計的に求める方法としては、例えば図８及び図９に示すように、眼の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分をみて決定する方法が考えられる。そして、存在領域ＥＡの大きさは、この９５％をカバーする寸法、すなわち、横寸法ｘａ、縦寸法ｙａに対して、図７に示したように、余裕分（１．５倍）をみて決定することができる。なお、数人の眼の大きさを統計的に求める方法としては、画像処理によって眼の幅や高さを推定し、縦横の大きさに対して余裕分を加える方法も考えられる。
【００６０】
［存在領域ＥＡの位置の決定方法］
存在領域ＥＡの位置は、図１０に示すように眼検出部１２により決定される。図１０は、例えば右眼の存在領域ＥＡを位置決めする様子について示している。すなわち、存在領域ＥＡは、眼の座標値（ｘ１，ｙ１）を基準とし、この座標値（ｘ１，ｙ１）から距離（ｘ２，ｙ２）だけ離隔した位置に当該存在領域ＥＡを描く基準点Ｐを決め、この基準点Ｐから予め決めておいた当該存在領域ＥＡの寸法（ｘ３，ｙ３）を描画することにより、位置を決めることができる。なお、ここでは、距離（ｘ２，ｙ２）は、寸法（ｘ３，ｙ３）の“１／２”であり、予め存在領域ＥＡが眼の中心を重心とする矩形となるような長さとしている。
【００６１】
開閉眼判定装置１０は、このような存在領域ＥＡを、画像全体から見つけた全ての連続データＧＧについて設定し、図４中ステップＳ１２へと処理を移行する。
【００６２】
［眼判定処理内容］
つぎに、上述した図４中ステップＳ１２における眼検出部１２による眼判定処理について図１１乃至図１４を用いて説明する。
【００６３】
眼検出部１２は、図１１に示すように、ステップＳ３１において、図５中ステップＳ２８にて設定された眼の候補点を含む存在領域ＥＡを示す画像データを微小画像ＩＧとして画像メモリに保存する。なお、参考までに、上述した全体画像Ｇから抽出された微小画像ＩＧの様子を図１２に示す。
【００６４】
続いて、眼検出部１２は、ステップＳ３２において、全体画像Ｇにおける代表座標値Ｃに相当する微小画像ＩＧにおける代表座標値ＩＣを基準とした所定の範囲である算出領域ＡＲの濃度情報に基づいて、二値化閾値を設定する。この算出領域ＡＲは、上述した存在領域ＥＡよりも小さく、二値化閾値を正確に設定できるようにしたものである。ここで、各算出領域ＡＲでの二値化閾値の算出方法の一例について図１３を用いて説明する。
【００６５】
眼検出部１２は、算出領域ＡＲにおいて縦方向に数ライン分の濃度値の読み出しを行う。なお、図１３においては、この縦方向へのラインが「１」〜「４」の４本あることを示している。そして、眼検出部１２は、この各ラインにおいて濃度値の最も高い（明るい）濃度値と最も低い（暗い）濃度値とを記憶していき、全ラインについての濃度値のメモリが終了したら、各ラインにおける最も高い（明るい）濃度値のうち一番低い濃度値（皮膚の部分）と、各ラインにおける最も低い（暗い）濃度値のうち一番低い濃度値（眼の部分）とを求め、その中央値を二値化閾値とする。
【００６６】
ここで、この二値化閾値のための算出領域ＡＲは、眼の黒い部分と眼の周囲の皮膚の白い部分とがともに含まれるように設定され、また、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさとされる。また、二値化閾値は、算出領域ＡＲ内の眼の一番低い（暗い）濃度値と皮膚の部分の一番低い（暗い）濃度値との中央値とすることにより、皮膚の部分から眼の部分を切り出すのに適した値となる。さらに、二値化閾値を決定するのに皮膚の部分の濃度値の一番低い（暗い）濃度値を用いている理由は、上述したように、眼の周囲の明るさのバラツキによる影響を少なくするために、濃度値を読み出す算出領域ＡＲを極力小さくしていても、この算出領域ＡＲの一部に直射光が当たっているような部分が外乱として入ることがあり、この部分を二値化閾値の決定に用いないようにするためである。
【００６７】
眼検出部１２は、このようにして二値化閾値を設定すると、ステップＳ３３において、マイクロコンピュータ２により、設定した二値化閾値を用いて微小画像ＩＧに対して二値化処理を施し、得られた画像を二値画像ｂＧとして画像メモリに保存する。眼検出部１２は、このように二値化閾値を用いて二値化した候補オブジェクトを検出することにより、眼を正確に捉えて候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上させることができる。
【００６８】
そして、眼検出部１２は、ステップＳ３４において、全体画像Ｇにおける代表座標値Ｃに相当する二値画像ｂＧにおける位置ｂＣを初期位置に設定する。
【００６９】
続いて、眼検出部１２は、ステップＳ３５において、初期位置として設定した設定位置が黒画素であるか否かを判定する。ここで、眼検出部１２は、設定位置が黒画素でないと判定した場合には、ステップＳ４３において、設定位置を上下左右に１画素ずつずらし、再度ステップＳ３５の処理を行うことにより、設定位置が黒画素になるまで処理を行う。
【００７０】
一方、眼検出部１２は、設定位置が黒画素であると判定した場合には、ステップＳ３６において、その黒画素を包括する連結成分を候補オブジェクトとして設定する。
【００７１】
続いて、眼検出部１２は、ステップＳ３７において、候補オブジェクトの幾何形状を算出し、ステップＳ３８において、特定したい眼テンプレートの幾何形状と候補オブジェクトの幾何形状とを比較する。
【００７２】
ここで、眼テンプレートの幾何形状と候補オブジェクトの幾何形状との比較方法の一例について図１４を用いて説明する。なお、ここでは、候補オブジェクトが眼である場合について説明する。
【００７３】
眼を二値化した形状は、光環境が良好で安定した画像であれば、図１４（ａ）に示すようなものとなるが、例えば車室内に直射日光が一側から当たるといったように、光環境が悪化した場合には白飛びする部分が発生して、図１４（ｂ）又は図１４（ｃ）に示すように、眼の一部領域が欠損したような形状となることもある。
【００７４】
眼のテンプレートは、横幅が眼の相場値の２／３以上あり、且つ、図１４中“１”で示す上に凸とされる所定範囲の曲率を有していることを第１の条件とし、図１４中“２”で示す黒眼の左側の凹み形状を第２の条件とし、図１４中“３”で示す黒眼の右側の凹み形状を第３の条件とすると、これら第１の条件乃至第３の条件を組み合わせることによって設定される。なお、眼のテンプレートとしては、図１４（ｂ）又は図１４（ｃ）に示す例を許容するために、第１の条件と第２の条件のみを満たすものであってもよく、または、第１の条件と第３の条件のみを満たすものであってもよい。
【００７５】
眼検出部１２は、このようにして特定したい眼テンプレートの幾何形状と候補オブジェクトの幾何形状とを比較し、ステップＳ３９において、この結果、候補オブジェクトの幾何形状と眼テンプレートの幾何形状とが一致するか否かを判定する。
【００７６】
ここで、眼検出部１２は、候補オブジェクトの幾何形状と眼テンプレートの幾何形状とが一致しないと判定した場合には、ステップＳ４４において、その候補オブジェクトは眼ではないと判定し、図４中ステップＳ１３へと処理を移行する。
【００７７】
一方、眼検出部１２は、候補オブジェクトの幾何形状と眼テンプレートの幾何形状とが一致しないと判定した場合には、ステップＳ４０において、その候補オブジェクトは眼であると判定し、ステップＳ４１において、眼と判定された候補オブジェクトについての全体画像Ｇにおける代表座標値Ｃをこの画像フレームでの眼の座標値として記憶する。
【００７８】
そして、眼検出部１２は、ステップＳ４２において、眼と判定された候補オブジェクトを含む微小画像ＩＧを眼画像ＭＧｉとして画像メモリに保存し、図４中ステップＳ１３へと処理を移行する。
【００７９】
眼検出部１２は、以上のような眼の候補の位置の特定処理と、眼判定処理とを行うことにより、図３中ステップＳ３に係る眼の検出処理を行うことができる。
【００８０】
［上瞼エッジラインの検出処理内容］
つぎに、上述した図３中ステップＳ５における上瞼エッジライン検出部１３による上瞼エッジラインの検出処理について図１５乃至図１９を用いて説明する。
【００８１】
まず、上瞼エッジライン検出部１３は、上瞼エッジラインの検出処理として、眼の外周輪郭を検出する。
【００８２】
図１５は、図１１に詳細を示した眼判定処理によって特定された眼の位置を中心とした微小画像を示している。ここで、微小画像としては、図１１中ステップＳ４２で画像メモリに保存された眼画像ＭＧｉを用いるのが通常であるが、上瞼エッジライン検出部１３においては、状況に応じて、画像メモリに保存されている全体画像Ｇに基づいて、サイズや位置を再定義した微小画像を抽出して用いてもよい。
【００８３】
上瞼エッジライン検出部１３は、図１５に示す微小画像について、所定の二値化閾値よりも小さい濃度値の画素を黒とするとともに、二値化閾値よりも大きい濃度値の画素を白となるように二値化することにより、図１６に示す二値画像を得る。すなわち、上瞼エッジライン検出部１３は、画像の階調が２５６階調である場合には、二値化閾値よりも小さい濃度値の画素を濃度値０とするとともに、二値化閾値よりも大きい濃度値の画素を濃度値２５５となるように二値化する。なお、ここで行う二値化処理の二値化閾値は、上述した眼判定処理における図１１中ステップＳ３２にて行った二値化処理に用いた二値化閾値と同じとしてもよい。
【００８４】
そして、上瞼エッジライン検出部１３は、図１７に示すように、マイクロコンピュータ２により、得られた二値画像における最も左の画素列について、左上から下向きに向かって濃度値０の黒画素を検索し、一番下の画素まで検索し終わったら、１つ右の画素列について同様の検索を行っていく。上瞼エッジライン検出部１３は、このような処理を繰り返し行い、ある画素列において最初に見つかった黒画素と最後に見つかった黒画素とを、それぞれの画素列について求めていくと、図１８に示すように、眼の外周輪郭を得ることができる。
【００８５】
上瞼エッジライン検出部１３は、この図１８に示す眼の外周輪郭のうち、上側ラインを上瞼エッジラインとして検出する。そして、上瞼エッジライン検出部１３は、図１９に示すように、この上瞼エッジラインのうち、最も高い位置を頂点位置とするとともに、その両端を始点位置及び終点位置として検出する。
【００８６】
上瞼エッジライン検出部１３は、このような処理を行うことにより、図３中ステップＳ５に係る上瞼エッジラインの検出処理を行うことができる。
【００８７】
［曲線近似処理内容］
つぎに、上述した図３中ステップＳ６における曲線近似部１４による曲線近似処理について図２０及び図２１を用いて説明する。
【００８８】
曲線近似部１４は、上瞼エッジラインの座標点群（Ｘ，Ｙ）を所定の関数ｆ（Ｘ，Ｙ）＝ｃで表される曲線に近似する。ここで、上瞼エッジラインの座標点群（Ｘ，Ｙ）は、微小画像の左上コーナを原点とした座標系である。また、関数ｆ（Ｘ，Ｙ）＝ｃは、二次以上の多項式で表される。この多項式は、近似された曲線の頂点部分が原点となるように変換された座標系においては、偶数次項のみで構成される式となる。これは、頂点部分が原点となる座標系において奇数次項が含まれる式では、曲線形状の左右対称性や単頂点性が損なわれてしまうためである。
【００８９】
なお、ここでは、二次曲線のうち計算が容易に行える放物線ｙ＝ａｘ^２＋ｂｘ＋ｃに近似を行うとして説明するが、曲線近似部１４は、実際には、円、楕円、双曲線といった円錐曲線や、ａｘ^２＋２ｈｘｙ＋ｂｙ^２＋２ｇｘ＋２ｆｙ＋ｃ＝０で表される一般の二次曲線、二次以上の曲線であっても、同様の手順を踏むことによって曲線近似を行うことができ、求めた係数から曲率を算出することができるのはいうまでもない。
【００９０】
曲線近似部１４は、図２０に示すような一連の処理によって実現される最小二乗法によって曲線近似を行うことができる。
【００９１】
まず、曲線近似部１４は、図２０に示すように、ステップＳ５１において、下記の数式を使用して、各項の総和を算出する。
【００９２】
【数１】

続いて、曲線近似部１４は、ステップＳ５２において、ステップＳ５１にて算出された各項の総和から下記の数式を使用して、各項の平均値を算出する。
【００９３】
【数２】

続いて、曲線近似部１４は、ステップＳ５３において、ステップＳ５２にて算出された平均値を用いて下記の数式を使用して、各項の分散及び共分散を算出する。
【００９４】
【数３】

そして、曲線近似部１４は、ステップＳ５４において、下記の数式を使用して、ステップＳ６３にて算出された分散及び共分散から回帰係数ａ，ｂ，ｃを算出する。
【００９５】
【数４】

曲線近似部１４は、このような一連の処理を経ることにより、近似曲線を求めることができる。このような処理を行った結果求められた近似曲線を微小画像内の眼の画像にプロットした例を図２１に示す。この図２１において、曲線Ｌ１は、上瞼エッジラインを示し、曲線Ｌ２は、近似された曲線を示している。曲線近似部１４は、曲線Ｌ２の頂点位置を、求められた回帰係数ａ，ｂ，ｃを用いて、（−ｂ／２ａ，ｃ−（ｂ^２／４ａ^２））として算出することができる。
【００９６】
曲線近似部１４は、このような処理を行うことにより、図３中ステップＳ６に係る曲線近似処理を行うことができる。
【００９７】
［曲率算出処理内容］
つぎに、上述した図３中ステップＳ７における曲率算出部１５による曲率算出処理について説明する。
【００９８】
曲率算出部１５においては、上述したように、近似された曲線が偶数次項のみで構成されるので、偶数次項の係数によって算出される曲率を上瞼エッジライン曲率とする。具体的には、曲率算出部１５においては、上瞼エッジラインを放物線ｙ＝ａｘ^２＋ｂｘ＋ｃに近似した場合には、算出された近似曲線の式ｙ＝ａｘ^２＋ｂｘ＋ｃの二次項の回帰係数ａが曲率Ｒとなる。その他、代表的な近似曲線の曲率の例として、円（ｘ−ａ）^２＋（ｙ−ｂ）^２＝ｒと楕円Ｒ（ｘ−ａ）^２／ｒｘ＋（ｙ−ｂ）^２／ｒｙ＝１についての曲率Ｒの算出方法を次式に示す。
【００９９】
Ｒ＝１／ｒ
Ｒ＝１／（ｒｘ^２・ｃｏｓθ＋ｒｙ^２・ｓｉｎθ）１／２，θ＝ｃｏｓ^−１（（ｘ−ａ）／ｒｘ）＝ｓｉｎ^−１（（ｙ−ｂ）／ｒｙ）
曲率算出部１５は、このようにして曲率Ｒを算出し、図３中ステップＳ７に係る曲率算出処理を行うことができる。
【０１００】
［頂点位置による信頼度規定処理内容］
つぎに、上述した図３中ステップＳ８において、曲率信頼度規定部１６により行う頂点位置による信頼度規定処理について図２２を用いて説明する。
【０１０１】
上瞼エッジラインは、上向き凸状で頂点が１つである曲線であるので、曲率信頼度規定部１６においては、この上瞼エッジラインを近似した曲線の頂点が、図２２中斜線部に示すように、始点位置よりも左側であり、終点位置よりも右側であり、始点位置と終点位置とを結んだ線分よりも下側の位置にプロットされた場合には、近似曲線そのものがエッジラインをトレースできていないと判断することができる。したがって、曲率信頼度規定部１６においては、この図２２中斜線部に示すエリアに近似曲線の頂点がある場合には、図３中ステップＳ７における曲率算出処理にて算出された曲率Ｒを信頼することができず、信頼度を０％とすることができる。一方、開閉眼判定装置１０においては、図２２中斜線部以外のエリアに近似曲線の頂点がある場合にのみ、算出された曲率Ｒを信頼し、信頼度を１００％とすることができる。
【０１０２】
曲率信頼度規定部１６は、このようにして曲率Ｒの信頼度を規定し、図３中ステップＳ８に係る信頼度規定処理を行うことができる。
【０１０３】
［開閉眼閾値算出処理内容］
つぎに、上述した図３中ステップＳ９における開閉眼判定部１７による開閉眼閾値算出処理について説明する。なお、開閉眼判定部１７は、この開閉眼閾値算出処理として、以下に示す２つの方法のいずれかを適用することができる。
【０１０４】
［開閉眼閾値算出処理内容（その１）］
まず、開閉眼閾値算出処理の第１の方法について図２３を用いて説明する。
【０１０５】
図２３中曲線Ｌ１は、上瞼エッジライン曲率の時間変化を表している。この曲線Ｌ１からもわかるように、瞬きをする毎に上瞼エッジライン曲率が小さくなり、グラフ横軸の１目盛りで表される１秒間に１回乃至２回程度の閉眼（瞬き）が発生している。
【０１０６】
また、図２３中曲線Ｌ２は、過去３０フレーム分（約１秒）の曲率の平均の変化を表している。通常、覚醒状態では、閉眼時間の総和よりも開眼時間の総和の方が圧倒的に長いため、平均値は、開眼状態の上瞼エッジラインの曲率側に偏って出てくる。そのため、曲率の平均値は、ほぼ開眼状態の曲率を表しているといっても差し支えない。
【０１０７】
開閉眼判定部１７においては、図２３中曲線Ｌ３に示すように、この曲率の平均値から一定値差し引いた値を開閉眼閾値とする。この差し引く値は、被検出者個人に依存するため、被検出者が変更されないような場合には、変更する必要はないが、被検出者が変更される場合には、その被検出者に対応した値にする必要がある。これにより、開閉眼判定部１７においては、開閉眼閾値よりも大きい値が示された場合には開眼とし、開閉眼閾値よりも小さい値が示された場合には閉眼とする。
【０１０８】
なお、開閉眼判定部１７においては、一定時間サンプリングした上瞼エッジライン曲率の平均値ではなく、例えば最頻値等を用いてもよく、これら平均値や最頻値等の代表値から一定値差し引いた値を開閉眼閾値とするようにすればよい。
【０１０９】
このように、開閉眼判定部１７は、図３中ステップＳ９に係る開閉眼算出処理を行うことができる。
【０１１０】
［開閉眼閾値算出処理内容（その２）］
つぎに、開閉眼閾値算出処理の第２の方法について図２４を用いて説明する。
【０１１１】
開閉眼閾値は、被検出者が覚醒状態であれば、第１の方法で算出できるが、被検出者が覚低状態に陥った場合には、閉眼時間が長くなるので、過去３０フレーム分（約１秒）の曲率の全平均は、開眼状態の曲率を表しているとは言い難くなる。そのため、開閉眼判定装置１０においては、図２４に示すように、グラフ上、谷間となっている部分である閉眼のピークを別個サンプリングし、そのときの曲率の平均（閉眼時の曲率の平均値）と閉眼のピークを除いた曲率の平均（開眼時の曲率の平均値）とを求めて、その間に開閉眼閾値を設ける。
【０１１２】
図２４中曲線Ｌ１は、図２３と同様に、上瞼エッジライン曲率の時間変化を表している。また、図２４中曲線Ｌ２は、過去３０フレーム分（約１秒）の開眼時の曲率の平均の変化を表している。さらに、図２４中曲線Ｌ３は、過去３０フレーム分（約１秒）の閉眼時の曲率の平均の変化を表している。
【０１１３】
開閉眼閾値は、開眼時の曲率の平均値と閉眼時の曲率の平均値との中間値に設定すると、図２４中曲線Ｌ４となる。これにより、開閉眼判定装置１０においては、開閉眼閾値よりも大きい値が示されたところは開眼とし、開閉眼閾値よりも小さい値が示されたところは閉眼とすることができる。
【０１１４】
なお、開閉眼判定装置１０においては、一定時間サンプリングした閉眼のピークのみの曲率の平均値と閉眼のピークを除いた曲率の平均値とを求めるのではなく、例えば最頻値等を求めるようにしてもよく、これら平均値や最頻値といった２つの代表値の間に開閉眼閾値を設けるようにすればよい。
【０１１５】
このように、開閉眼判定装置１０は、図３中ステップＳ９に係る開閉眼算出処理を行うことができる。
【０１１６】
［開閉眼判定処理内容］
最後に、上述した図３中ステップＳ１０における開閉眼判定処理について図２５を用いて説明する。
【０１１７】
開閉眼判定部１７は、図２５に示すように、ステップＳ６１において、図３中ステップＳ８における信頼度規定処理にて規定された信頼度が所定の信頼度閾値よりも大きいか否かを判定する。この信頼度閾値は、小さい値を用いると、精度がばらつくがより多くの値を採用でき、大きい値を用いると、精度が高くなる。この信頼度閾値は、要求される精度によって決定される。
【０１１８】
ここで、開閉眼判定部１７は、信頼度が信頼度閾値よりも大きくないと判定した場合には、ステップＳ６５へと処理を移行し、開閉眼の判定が不能という旨の結果を出力して一連の処理を終了する。
【０１１９】
一方、開閉眼判定部１７は、信頼度が信頼度閾値よりも大きいと判定した場合には、ステップＳ６２へと処理を移行し、図３中ステップＳ７における曲率算出処理にて算出された上瞼エッジライン曲率と図３中ステップＳ９における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、上瞼エッジライン曲率よりも開閉眼閾値が大きいか否かを判定する。
【０１２０】
ここで、開閉眼判定部１７は、上瞼エッジライン曲率よりも開閉眼閾値が大きいと判定した場合には、ステップＳ６３において、開眼であると判定した旨の結果を出力して一連の処理を終了する。
【０１２１】
一方、開閉眼判定装置１０は、上瞼エッジライン曲率よりも開閉眼閾値が大きくないと判定した場合には、ステップＳ６４において、閉眼であると判定した旨の結果を出力して一連の処理を終了する。
【０１２２】
開閉眼判定部１７は、このような処理を行うことにより、図３中ステップＳ１０に係る開閉眼判定処理を行うことができる。
【０１２３】
［第１実施形態の効果］
以上詳細に説明したように、第１実施形態に係る開閉眼判定装置１０は、曲率信頼度規定部１６によって上瞼エッジライン曲率の信頼度を規定することにより、検出した上瞼エッジラインの状況が悪い場合であっても、信頼度に基づいた適切な判定を行うことができ、結果として、いかなる状況であっても運転者の眼の開閉を精度よく判定することができる。
【０１２４】
また、開閉眼判定装置１０は、上瞼エッジライン検出部１３によって検出された上瞼エッジラインを曲線近似部１４によって二次以上の多項式に近似して、近似された曲線の頂点位置と、検出された上瞼エッジラインの始点位置、終点位置、又は頂点位置の少なくとも１つとの位置関係に基づいて、曲率信頼度規定部１６によって上瞼エッジライン曲率の信頼度を規定することにより、検出した上瞼エッジラインの状況が悪い場合であっても、運転者の眼の開閉を精度よく判定することができる。
【０１２５】
更に、開閉眼判定装置１０は、曲線近似部１４によって近似された曲線の頂点が、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの始点の横座標位置と終点の横座標位置とに挟まれた領域の外側に存在する場合には、曲率信頼度規定部１６によって上瞼エッジライン曲率の信頼度を０％とすることにより、確実な判定を行うことが可能となる。
【０１２６】
更に、開閉眼判定装置１０は、曲線近似部１４によって近似された曲線の頂点が、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの始点と終点とを結ぶ線分よりも下側にある場合には、曲率信頼度規定部１６によって上瞼エッジライン曲率の信頼度を０％とすることにより、確実な判定を行うことが可能となる。
【０１２７】
更にまた、開閉眼判定装置１０は、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの座標点群に基づいて、曲線近似部１４によって最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似することにより、高速に曲線近似処理を行うことができる。
【０１２８】
また、開閉眼判定装置１０においては、曲線近似部１４によって近似される二次以上の多次曲線が、当該多次曲線の頂点部分を原点としたときに偶数次項のみで構成される式で表されることにより、曲線形状の左右対称性や単頂点性が損なわれてしまうことがなく、より精度のよい曲線近似処理を行うことができる。
【０１２９】
更に、開閉眼判定装置１０においては、曲線近似部１４によって近似される二次以上の多次曲線の偶数次項の係数によって算出される当該多次曲線の曲率を曲率算出部１５によって上瞼エッジライン曲率とすることにより、精度よく曲率を算出することができる。
【０１３０】
更にまた、開閉眼判定装置１０は、開閉眼判定部１７により、一定時間サンプリングした上瞼エッジライン曲率の平均値や最頻値等の代表値を算出し、この代表値から一定値差し引いた値を開閉眼閾値とし、上瞼エッジライン曲率が開閉眼閾値よりも上回った場合には、開眼と判定し、上瞼エッジライン曲率が開閉眼閾値よりも下回った場合には、閉眼と判定することにより、運転者の眼の開閉を精度よく判定することができる。
【０１３１】
更にまた、開閉眼判定装置１０は、開閉眼判定部１７により、一定時間サンプリングした上瞼エッジライン曲率を時系列に並べたときの当該上瞼エッジライン曲率の変動波形から上瞼エッジライン曲率が小さくなるピーク点（閉眼のピーク点）を検出してサンプリングし、このサンプリングしたピーク点の平均値や最頻値等の代表値を算出するとともに、一定時間サンプリングした上瞼エッジライン曲率の全データ又は一定時間サンプリングした上瞼エッジライン曲率が小さくなるピーク点になる波の部分を除いたデータの平均値や最頻値等の代表値を算出し、算出された２つの代表値の間の値を開閉眼閾値とし、上瞼エッジライン曲率が開閉眼閾値よりも上回った場合には、開眼と判定し、上瞼エッジライン曲率が開閉眼閾値よりも下回った場合には、閉眼と判定することにより、運転者の眼の開閉を精度よく判定することができる。
【０１３２】
更に、開閉眼判定装置１０は、開閉眼判定部１７によって所定の信頼度閾値を設定し、曲率信頼度規定部１６によって規定された信頼度が信頼度閾値を下回った場合には、開閉眼の判定を行わないようにすることにより、不確定な判定基準による不用意な判定を行うことがなく、運転者の眼の開閉を精度よく判定することができる。
【０１３３】
［第２実施形態］
つぎに、本発明を適用した第２実施形態に係る開閉眼判定装置について説明する。
【０１３４】
この第２実施形態に係る開閉眼判定装置は、先に図１に示した第１実施形態に係る開閉眼判定装置１０と同様の構成からなり、先に図２に示した自動車に搭載適用されるものである。特に、この第２実施形態に係る開閉眼判定装置は、上瞼エッジラインの頂点位置と近似曲線の頂点位置との乖離度合いに基づいて、曲率の信頼度を規定するものである。
【０１３５】
なお、この第２実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。また、この第２実施形態に係る開閉眼判定装置は、特にその構成については図示しないが、説明の便宜上、開閉眼判定装置２０と符号を付して説明する。
【０１３６】
開閉眼判定装置２０は、先に図３に示した一連の工程を経ることにより、運転者の眼の開閉を判定する。このとき、開閉眼判定装置２０は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第１実施形態に係る方法を適用することができる。
【０１３７】
したがって、以下では、これら各処理のうち、第１実施形態に係る開閉眼判定装置１０における処理と異なるものの詳細について説明する。
【０１３８】
［頂点位置による信頼度規定処理内容］
この第２実施形態に係る開閉眼判定装置２０によって行われる上述した図３中ステップＳ８における頂点位置による信頼度規定処理について図２６を用いて説明する。
【０１３９】
開閉眼判定装置２０は、曲線近似部１４によって近似された多次曲線の頂点位置と上瞼エッジライン検出部１３によって検出された上瞼エッジラインの頂点位置との乖離度合いに基づいて、曲率の信頼度を規定する。
【０１４０】
すなわち、開閉眼判定装置２０の曲率信頼度規定部１６においては、曲線近似部１４によって近似された多次曲線の頂点位置と上瞼エッジライン検出部１３によって検出された上瞼エッジラインの頂点位置とが一致する場合には最も上瞼エッジライン曲率の信頼度を高くし、それぞれの頂点位置が乖離するのにしたがって、信頼度を低くする。
【０１４１】
この様子を図２６に示す。図２６において、楕円は、曲線Ｌ１で表される上瞼エッジラインと曲線Ｌ２で表される近似曲線とを微小画像内の眼の画像にプロットした場合における等信頼度線を示している。また、図２６において、下側のグラフは、近似曲線の頂点位置に対する上瞼エッジラインの頂点を通る横軸方向の信頼度の変化を示し、左側のグラフは、近似曲線の頂点位置に対する上瞼エッジラインの頂点を通る縦軸方向の信頼度の変化を示している。
【０１４２】
このように、上瞼エッジライン曲率は、曲線近似部１４によって近似された多次曲線の頂点位置と上瞼エッジライン検出部１３によって検出された上瞼エッジラインの頂点位置との乖離度合いが小さい場合には、信頼度が高くなり、乖離度合いが大きくなるのにしたがって、信頼度が低くなる。
【０１４３】
開閉眼判定装置２０は、このような頂点位置の乖離度合いに基づいて、上瞼エッジライン曲率の信頼度を規定し、図３中ステップＳ８に係る信頼度規定処理を行うことができる。
【０１４４】
［開閉眼判定処理内容］
つぎに、上述した図３中ステップＳ１０における開閉眼判定処理について説明する。なお、開閉眼判定装置２０は、この開閉眼判定処理として、先に図２５を用いて説明した方法を第１の方法として適用することができ、更にこれに加え、以下に示す３つの方法のいずれかを適用することができる。
【０１４５】
［開閉眼判定処理内容（その２）］
まず、開閉眼判定処理の第２の方法について図２７及び図２８を用いて説明する。
【０１４６】
開閉眼判定部１７は、図２７に示すように、ステップＳ７１において、図３中ステップＳ８における信頼度規定処理にて規定された信頼度から曲率の誤差範囲を算出する。
【０１４７】
図２８に、信頼度と曲率の誤差範囲との関係を示す。図２８によると、信頼度が１００％であれば誤差量は“０”であり、信頼度が低くなるのにしたがって、誤差量が大きくなり、信頼度が０％に近づくのにしたがって、誤差量が無限大に漸近していくのがわかる。誤差範囲は、この誤差量に応じて図３中ステップＳ７における曲率算出処理にて算出された上瞼エッジライン曲率を中心としたプラス・マイナス誤差範囲として表される。
【０１４８】
続いて、開閉眼判定部１７は、ステップＳ７２において、曲率の誤差範囲の最小点Ｒ（−）を、上瞼エッジライン曲率−（マイナス誤差範囲）として算出する。
【０１４９】
続いて、開閉眼判定部１７は、ステップＳ７３において、曲率の誤差範囲の最大点Ｒ（＋）を、上瞼エッジライン曲率＋（プラス誤差範囲）として算出する。
【０１５０】
続いて、開閉眼判定部１７は、ステップＳ７４において、曲率の誤差範囲の最小点Ｒ（−）と図３中ステップＳ９における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、曲率の誤差範囲の最小点Ｒ（−）よりも開閉眼閾値が大きいか否かを判定する。
【０１５１】
ここで、開閉眼判定部１７は、曲率の誤差範囲の最小点Ｒ（−）よりも開閉眼閾値が大きいと判定した場合には、ステップＳ７５において、開眼であると判定した旨の結果を出力して一連の処理を終了する。
【０１５２】
一方、開閉眼判定部１７は、曲率の誤差範囲の最小点Ｒ（−）よりも開閉眼閾値が大きくないと判定した場合には、ステップＳ７６へと処理を移行し、曲率の誤差範囲の最大点Ｒ（＋）と図３中ステップＳ９における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、曲率の誤差範囲の最大点Ｒ（＋）よりも開閉眼閾値が小さいか否かを判定する。
【０１５３】
ここで、開閉眼判定部１７は、曲率の誤差範囲の最大点Ｒ（＋）よりも開閉眼閾値が小さいと判定した場合には、ステップＳ７７において、閉眼であると判定した旨の結果を出力して一連の処理を終了する。
【０１５４】
一方、開閉眼判定部１７は、曲率の誤差範囲の最大点Ｒ（＋）よりも開閉眼閾値が小さくないと判定した場合には、ステップＳ７８において、開閉眼の判定が不能という旨の結果を出力して一連の処理を終了する。
【０１５５】
開閉眼判定部１７は、このような処理を行うことにより、図３中ステップＳ１０に係る開閉眼判定処理を行うことができる。
【０１５６】
［開閉眼判定処理内容（その３）］
つぎに、開閉眼判定処理の第３の方法について図２９を用いて説明する。
【０１５７】
開閉眼判定部１７は、同図に示すように、ステップＳ８１において、図３中ステップＳ８における信頼度規定処理にて規定された信頼度から曲率の誤差範囲を算出する。
【０１５８】
続いて、開閉眼判定部１７は、ステップＳ８２において、曲率の誤差範囲の最小点Ｒ（−）を、上瞼エッジライン曲率−（マイナス誤差範囲）として算出する。
【０１５９】
続いて、開閉眼判定部１７は、ステップＳ８３において、曲率の誤差範囲の最大点Ｒ（＋）を、上瞼エッジライン曲率＋（プラス誤差範囲）として算出する。
【０１６０】
続いて、開閉眼判定部１７は、ステップＳ８４において、図３中ステップＳ７における曲率算出処理にて算出された上瞼エッジライン曲率と図３中ステップＳ９における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、上瞼エッジライン曲率よりも開閉眼閾値が大きいか否かを判定する。
【０１６１】
ここで、開閉眼判定部１７は、上瞼エッジライン曲率よりも開閉眼閾値が大きいと判定した場合には、ステップＳ８５において、開眼であると判定した旨の結果を出力し、更に、ステップＳ８６において、開眼確率を算出して一連の処理を終了する。
【０１６２】
なお、開眼確率は、上瞼エッジライン曲率Ｒ、曲率の誤差範囲の最小点Ｒ（−）、開閉眼閾値ＲＴを用いて、（Ｒ−ＲＴ）／（Ｒ−Ｒ（−））として算出することができる。ここで、（Ｒ−ＲＴ）／（Ｒ−Ｒ（−））の結果が“１”以上となった場合には、開眼確率は、“１”として算出する。
【０１６３】
一方、開閉眼判定部１７は、上瞼エッジライン曲率よりも開閉眼閾値が大きくないと判定した場合には、ステップＳ８７において、閉眼であると判定した旨の結果を出力し、更に、ステップＳ８８において、閉眼確率を算出して一連の処理を終了する。
【０１６４】
なお、閉眼確率は、上瞼エッジライン曲率Ｒ、曲率の誤差範囲の最大点Ｒ（＋）、開閉眼閾値ＲＴを用いて、（ＲＴ−Ｒ）／（Ｒ（＋）−Ｒ）として算出することができる。ここで、（ＲＴ−Ｒ）／（Ｒ（＋）−Ｒ）の結果が“１”以上となった場合には、閉眼確率は、“１”として算出する。
【０１６５】
開閉眼判定部１７は、このような処理を行うことにより、図３中ステップＳ１０に係る開閉眼判定処理を行うことができる。
【０１６６】
［開閉眼判定処理内容（その４）］
つぎに、開閉眼判定処理の第４の方法について図３０及び図３１を用いて説明する。
【０１６７】
開閉眼判定部１７は、図３０に示すように、ステップＳ９１において、図３中ステップＳ８における信頼度規定処理にて規定された信頼度から曲率の誤差範囲を算出する。
【０１６８】
続いて、開閉眼判定部１７は、ステップＳ９２において、曲率の誤差範囲の最小点Ｒ（−）を、上瞼エッジライン曲率−（マイナス誤差範囲）として算出する。
【０１６９】
続いて、開閉眼判定部１７は、ステップＳ９３において、曲率の誤差範囲の最大点Ｒ（＋）を、上瞼エッジライン曲率＋（プラス誤差範囲）として算出する。
【０１７０】
続いて、開閉眼判定部１７は、ステップＳ９４において、曲率の誤差範囲の最小点Ｒ（−）と図３中ステップＳ９における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、曲率の誤差範囲の最小点Ｒ（−）よりも開閉眼閾値が大きいか否かを判定する。
【０１７１】
ここで、開閉眼判定部１７は、曲率の誤差範囲の最小点Ｒ（−）よりも開閉眼閾値が大きいと判定した場合には、ステップＳ９５において、開眼であると判定した旨の結果を出力して一連の処理を終了する。
【０１７２】
一方、開閉眼判定部１７は、曲率の誤差範囲の最小点Ｒ（−）よりも開閉眼閾値が大きくないと判定した場合には、ステップＳ９６へと処理を移行し、曲率の誤差範囲の最大点Ｒ（＋）と図３中ステップＳ９における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、曲率の誤差範囲の最大点Ｒ（＋）よりも開閉眼閾値が小さいか否かを判定する。
【０１７３】
ここで、開閉眼判定部１７は、曲率の誤差範囲の最大点Ｒ（＋）よりも開閉眼閾値が小さいと判定した場合には、ステップＳ９７において、閉眼であると判定した旨の結果を出力して一連の処理を終了する。
【０１７４】
一方、開閉眼判定部１７は、曲率の誤差範囲の最大点Ｒ（＋）よりも開閉眼閾値が小さくないと判定した場合には、図３１中ステップＳ９８へと処理を移行し、図３中ステップＳ７における曲率算出処理にて算出された上瞼エッジライン曲率と図３中ステップＳ９における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、上瞼エッジライン曲率よりも開閉眼閾値が大きいか否かを判定する。
【０１７５】
ここで、開閉眼判定部１７は、上瞼エッジライン曲率よりも開閉眼閾値が大きいと判定した場合には、ステップＳ９９において、開眼であると判定した旨の結果を出力し、更に、ステップＳ１００において、開眼確率を算出して一連の処理を終了する。
【０１７６】
一方、開閉眼判定部１７は、上瞼エッジライン曲率よりも開閉眼閾値が大きくないと判定した場合には、ステップＳ１０１において、閉眼であると判定した旨の結果を出力し、更に、ステップＳ１０２において、閉眼確率を算出して一連の処理を終了する。
【０１７７】
開閉眼判定部１７は、このような処理を行うことにより、図３中ステップＳ１０に係る開閉眼判定処理を行うことができる。
【０１７８】
［第２実施形態の効果］
以上詳細に説明したように、第２実施形態に係る開閉眼判定装置２０は、第１実施形態のように、曲率信頼度規定部１６によって上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン曲率の信頼度を、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの頂点位置と曲線近似部１４によって近似された多次曲線の頂点位置との乖離度合いに基づいて曲率信頼度規定部１６によって規定することにより、検出した上瞼エッジラインの状況が悪い場合であっても、信頼度に基づいた適切な判定を行うことができ、結果として、いかなる状況であっても運転者の眼の開閉を精度よく判定することができる。
【０１７９】
また、開閉眼判定装置２０は、曲線近似部１４によって近似された多次曲線の頂点位置と上瞼エッジライン検出部１３によって検出された上瞼エッジラインの頂点位置とが一致する場合には、曲率信頼度規定部１６によって最も上瞼エッジライン曲率の信頼度を高く規定し、それぞれの頂点位置が乖離するのにしたがって、信頼度が低くなるように規定することにより、検出した上瞼エッジラインの状況が悪い場合であっても、運転者の眼の開閉を精度よく判定することができる。
【０１８０】
更にまた、開閉眼判定装置２０は、曲率信頼度規定部１６によって規定された信頼度から開閉眼判定部１７によって曲率の誤差を算出し、曲率算出部１５によって算出された上瞼エッジライン曲率の誤差範囲を考慮して開閉眼の判定を行うことにより、運転者の眼の開閉をより一層精度よく判定することができる。
【０１８１】
更にまた、開閉眼判定装置２０は、開閉眼判定部１７により、上瞼エッジライン曲率の誤差範囲の最小値が開閉眼閾値よりも上回った場合には開眼と判定し、上瞼エッジライン曲率の誤差範囲の最大値が開閉眼閾値よりも下回った場合には閉眼と判定することにより、運転者の眼の開閉を精度よく判定することができる。
【０１８２】
更にまた、開閉眼判定装置２０は、開閉眼判定部１７により、上瞼エッジライン曲率が開閉眼閾値よりも上回った場合には、開眼と判定し、上瞼エッジライン曲率が開閉眼閾値よりも下回った場合には閉眼と判定し、更に、開眼と判定した場合には、上瞼エッジライン曲率の誤差範囲から開眼であることの確率を算出し、閉眼と判定した場合には、上瞼エッジライン曲率の誤差範囲から閉眼であることの確率を算出することにより、運転者の眼の開閉を精度よく判定することができる。
【０１８３】
また、開閉眼判定装置２０は、開閉眼判定部１７により、上瞼エッジライン曲率の誤差範囲に開閉眼閾値が存在する場合であって上瞼エッジライン曲率が開閉眼閾値よりも上回った場合には、開眼と判定し、上瞼エッジライン曲率の誤差範囲に開閉眼閾値が存在する場合であって上瞼エッジライン曲率が開閉眼閾値よりも下回った場合には、閉眼と判定し、更に、開眼と判定した場合には、上瞼エッジライン曲率の誤差範囲から開眼であることの確率を算出し、閉眼と判定した場合には、上瞼エッジライン曲率の誤差範囲から閉眼であることの確率を算出することにより、運転者の眼の開閉を精度よく判定することができる。
【０１８４】
［第３実施形態］
つぎに、第３実施形態に係る開閉眼判定装置について説明する。
【０１８５】
この第３実施形態に係る開閉眼判定装置は、先に図１に示した第１実施形態に係る開閉眼判定装置１０と同様の構成からなり、先に図２に示した自動車に搭載適用されるものである。特に、この第３実施形態に係る開閉眼判定装置は、信頼度規定処理として、第１実施形態に係る方法と第２実施形態に係る方法とを組み合わせたものである。すなわち、この第３実施形態に係る開閉眼判定装置は、第２実施形態に係る開閉眼判定装置２０と同様に、上瞼エッジラインの頂点位置と近似曲線の頂点位置との乖離度合いに基づいて、曲率の信頼度を規定するとともに、第１実施形態に係る開閉眼判定装置１０と同様に、近似曲線の頂点位置と上瞼エッジラインの始点位置、終点位置、又は頂点位置の少なくとも１つとの位置関係に基づいて、曲率の信頼度を規定するものである。
【０１８６】
なお、この第３実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。また、この第３実施形態に係る開閉眼判定装置は、特にその構成については図示しないが、説明の便宜上、開閉眼判定装置３０と符号を付して説明する。
【０１８７】
開閉眼判定装置３０は、先に図３に示した一連の工程を経ることにより、運転者の眼の開閉を判定する。このとき、開閉眼判定装置３０は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第１実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第２実施形態に係る方法を適用することができる。
【０１８８】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【０１８９】
［頂点位置による信頼度規定処理内容］
この第３実施形態に係る開閉眼判定装置３０によって行われる上述した図３中ステップＳ８における頂点位置による信頼度規定処理について図３２を用いて説明する。
【０１９０】
開閉眼判定装置３０は、曲線近似部１４によって近似された多次曲線の頂点位置と上瞼エッジライン検出部１３によって検出された上瞼エッジラインの頂点位置との乖離度合いに基づいて、曲率の信頼度を規定する。
【０１９１】
すなわち、開閉眼判定装置３０においては、図３２中楕円で示す等信頼度線で表されるように、曲線Ｌ２で表される曲線近似部１４によって近似された多次曲線の頂点位置と、曲線Ｌ１で表される上瞼エッジライン検出部１３によって検出された上瞼エッジラインの頂点位置とが一致する場合が、最も上瞼エッジライン曲率の信頼度が高く、それぞれの頂点位置が乖離するのにしたがって、信頼度が低くなる。
【０１９２】
開閉眼判定装置３０は、このような頂点位置の乖離度合いに基づく上瞼エッジライン曲率の信頼度の規定に加え、近似曲線の頂点位置に基づいて、頂点位置の乖離度合いに基づいて、上瞼エッジライン曲率の信頼度を規定する。
【０１９３】
すなわち、上瞼エッジラインは、上向き凸状で頂点が１つである曲線であるので、開閉眼判定装置３０においては、この上瞼エッジラインを近似した曲線の頂点が、図３２中斜線部に示すように、始点位置よりも左側であり、終点位置よりも右側であり、始点位置と終点位置とを結んだ線分よりも下側の位置にプロットされた場合には、近似曲線そのものがエッジラインをトレースできていないと判断することができる。したがって、開閉眼判定装置３０においては、この同図中斜線部に示すエリアに近似曲線の頂点がある場合には、図３中ステップＳ７における曲率算出処理にて算出された曲率を信頼することができず、信頼度を０％とする。一方、開閉眼判定装置３０においては、図３２中斜線部以外のエリアに近似曲線の頂点がある場合にのみ、算出された曲率を信頼し、信頼度を１００％とする。
【０１９４】
したがって、開閉眼判定装置３０においては、同図下側のグラフに示すように、近似曲線の頂点位置に対する上瞼エッジラインの頂点を通る横軸方向の信頼度が、正規分布状ではなく、始点位置と終点位置とを結んだ線分よりも下側の領域では急激に０％に低下し、また、同図左側のグラフに示すように、近似曲線の頂点位置に対する上瞼エッジラインの頂点を通る縦軸方向の信頼度が、やはり正規分布状ではなく、始点位置よりも左側の領域と終点位置よりも右側の領域では急激に０％に低下する。
【０１９５】
このように、開閉眼判定装置３０は、頂点位置の乖離度合いと近似曲線の頂点位置とに基づいて、上瞼エッジライン曲率の信頼度を規定し、図３中ステップＳ８に係る信頼度規定処理を行うことができる。
【０１９６】
［第３実施形態の効果］
以上詳細に説明したように、第３実施形態に係る開閉眼判定装置３０は、第１実施形態のように、曲率信頼度規定部１６によって上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン曲率の信頼度を、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの頂点位置と曲線近似部１４によって近似された多次曲線の頂点位置との乖離度合いに基づいて曲率信頼度規定部１６によって規定し、上瞼エッジラインの頂点位置と近似された多次曲線の頂点位置とが一致する場合が、最も上瞼エッジライン曲率の信頼度が高く、それぞれの頂点位置が乖離するのにしたがって、信頼度が低くなるようにするとともに、曲線近似部１４によって近似された曲線の頂点が、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの始点の横座標位置と終点の横座標位置とに挟まれた領域の外側に存在する場合には、曲率信頼度規定部１６によって上瞼エッジライン曲率の信頼度を０％とすることにより、運転者の眼の開閉を極めて精度よく判定することができる。
【０１９７】
［第４実施形態］
つぎに、第４実施形態に係る開閉眼判定装置について説明する。
【０１９８】
この第４実施形態に係る開閉眼判定装置は、先に図２に示した自動車に搭載適用されるものである。特に、この第４実施形態に係る開閉眼判定装置は、信頼度規定処理として、上瞼エッジラインと近似曲線との相関に基づいて、曲率の信頼度を規定するものである。
【０１９９】
なお、この第４実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。
【０２００】
［開閉眼判定装置の構成］
図３３に示すように、第４実施形態に係る開閉眼判定装置４０は、上述した顔画像撮像部１１、眼検出部１２、上瞼エッジライン検出部１３、曲線近似部１４、曲率算出部１５、及び開閉眼判定部１７の他に、曲率算出部１５によって算出された曲率の信頼度を規定する相関による曲率信頼度規定部４６を備える。
【０２０１】
曲率信頼度規定部４６は、曲線近似部１４によって近似された曲線と、上瞼エッジライン検出部１３によって検出された上瞼エッジラインとの相関関係に基づいて、曲率算出部１５によって算出された上瞼エッジライン曲率の信頼度を規定する。曲率信頼度規定部４６は、規定した上瞼エッジライン曲率の信頼度を示す情報を開閉眼判定部１７に供給する。
【０２０２】
このような開閉眼判定装置４０は、以下に示す処理を行うことにより、運転者の眼の開閉を判定する。
【０２０３】
［開閉眼判定装置の処理内容］
開閉眼判定装置４０は、図３４に示すように、処理が開始されると、ステップＳ１１１において、初期値入力の処理を実行し、ステップＳ１１２において、上述した顔画像撮像部１１に相当するカメラ装置１によって顔画像を撮像し、撮像して得た顔画像データがマイクロコンピュータ２に入力される。
【０２０４】
続いて、開閉眼判定装置４０は、ステップＳ１１３において、マイクロコンピュータ２に入力された顔画像データに対して当該マイクロコンピュータ２によって画像処理を施すことにより、顔画像データ上の眼を検出し、眼の位置を特定する。
【０２０５】
続いて、眼検出部１２は、ステップＳ１１４において、ステップＳ１１３による出力結果に基づいて、眼の位置を特定できたか否かを判定する。ここで、眼検出部１２は、顔画像データ上で眼の位置を特定できていないと判定した場合には、眼の位置を特定するまでステップＳ１１２からの処理を繰り返す一方で、顔画像データ上で眼の位置を特定できたと判定した場合には、ステップＳ１１５へと処理を移行する。
【０２０６】
上瞼エッジライン検出部１３は、ステップＳ１１５において、入力された顔画像データに対して画像処理を施すことにより、顔画像データ上における眼の上瞼エッジラインを検出し、更に、検出した上瞼エッジラインの始点位置、終点位置、及び頂点位置を検出する。
【０２０７】
続いて、曲線近似部１４は、ステップＳ１１６において、ステップＳ１１５にて検出された上瞼エッジラインの座標点群に基づいて、例えば最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似する。
【０２０８】
続いて、曲率算出部１５は、ステップＳ１１７において、ステップＳ１１６にて近似された曲線の式の係数に基づいて、曲線の曲率を算出し、その曲率を上瞼エッジライン曲率とする。
【０２０９】
続いて、曲率信頼度規定部４６は、ステップＳ１１８において、ステップＳ１１６にて近似された曲線とステップＳ１１５にて検出された上瞼エッジラインとの相関関係に基づいて、ステップＳ１１７にて算出された上瞼エッジライン曲率の信頼度を規定する。なお、このステップＳ１１８の詳細については、後述する。
【０２１０】
そして、開閉眼判定部１７は、ステップＳ１１９において、後述する開閉眼閾値を算出し、ステップＳ１２０において、ステップＳ１１８にて規定された上瞼エッジライン曲率の信頼度を加味した上で、眼の開閉を判定し、一連の処理を終了する。
【０２１１】
開閉眼判定装置４０は、このような一連の工程を経ることにより、運転者の眼の開閉を判定することができる。
【０２１２】
なお、開閉眼判定装置４０は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第１実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第２実施形態に係る方法を適用することができる。
【０２１３】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【０２１４】
［相関による信頼度規定処理内容］
この第４実施形態に係る開閉眼判定装置４０によって行われる上述した図３４中ステップＳ１１８における相関による信頼度規定処理について図３５を用いて説明する。
【０２１５】
曲率信頼度規定部４６は、上瞼エッジラインと近似曲線との相関係数を算出する。この相関係数を算出するにあたっての詳細な数学的説明は、ここでは省略するが、相関係数は、上瞼エッジラインのＹ座標値の総平方和に対する近似曲線のＹ座標値の総平方和の割合を表すものであり、その値が“１”に近いほど相関が高くいことを示すものである。
【０２１６】
ここで、信頼度と相関係数との関係を図３５に示す。このように、曲率信頼度規定部４６においては、相関係数が大きいほど信頼度が高く、相関係数が小さいほど信頼度が低くする。なお、相関係数が“０．８５”以上であると、信頼度は非常に高く、“０．８５”から“０．７５”までの範囲で、急激に信頼度は低くなることが実験的に求められている。
【０２１７】
曲率信頼度規定部４６は、このような上瞼エッジラインと近似曲線との相関に基づいて、上瞼エッジライン曲率の信頼度を規定し、図３４中ステップＳ１１８に係る信頼度規定処理を行うことができる。
【０２１８】
［第４実施形態の効果］
以上詳細に説明したように、第４実施形態に係る開閉眼判定装置４０は、第１実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン曲率の信頼度を、上瞼エッジライン検出部１３によって検出された上瞼エッジラインと曲線近似部１４によって近似された多次曲線との相関に基づいて曲率信頼度規定部４６によって規定することにより、運転者の眼の開閉を精度よく判定することができる。
【０２１９】
また、開閉眼判定装置４０は、上瞼エッジライン検出部１３によって検出された上瞼エッジラインと曲線近似部１４によって近似された多次曲線との相関が大きい場合には、曲率信頼度規定部４６によって上瞼エッジライン曲率の信頼度を高く規定し、相関が小さい場合には、曲率信頼度規定部４６によって上瞼エッジライン曲率の信頼度を低く規定することにより、運転者の眼の開閉をより精度よく判定することができる。
【０２２０】
［第５実施形態］
つぎに、第５実施形態に係る開閉眼判定装置について説明する。
【０２２１】
この第５実施形態に係る開閉眼判定装置は、先に図２に示した自動車に搭載適用されるものである。特に、この第５実施形態に係る開閉眼判定装置は、信頼度規定処理として、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な曲率の信頼度を規定するものである。
【０２２２】
なお、この第５実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。
【０２２３】
［開閉眼判定装置の構成］
図３６に示すように、第５実施形態に係る開閉眼判定装置５０は、上述した顔画像撮像部１１、眼検出部１２、上瞼エッジライン検出部１３、曲線近似部１４、曲率算出部１５、及び開閉眼判定部１７の他に、曲率算出部１５によって算出された曲率の信頼度を規定する曲率信頼度規定部５６を備える。
【０２２４】
曲率信頼度規定部５６は、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定する。曲率信頼度規定部５６は、規定した上瞼エッジライン曲率の信頼度を示す情報を開閉眼判定部１７に供給する。
【０２２５】
このような開閉眼判定装置５０は、以下に示す処理を行うことにより、運転者の眼の開閉を判定する。
【０２２６】
［開閉眼判定装置の処理内容］
開閉眼判定装置５０は、図３７に示すように、処理が開始されると、ステップＳ１２１において、初期値入力の処理を実行し、ステップＳ１２２において、上述した顔画像撮像部１１に相当するカメラ装置１によって顔画像を撮像し、撮像して得た顔画像データがマイクロコンピュータ２に入力される。
【０２２７】
続いて、眼検出部１２は、ステップＳ１２３において、入力された顔画像データに対して当該マイクロコンピュータ２によって画像処理を施すことにより、顔画像データ上の眼を検出し、眼の位置を特定する。
【０２２８】
続いて、眼検出部１２は、ステップＳ１２４において、ステップＳ１２３による出力結果に基づいて、眼の位置を特定できたか否かを判定する。ここで、眼検出部１２は、顔画像データ上で眼の位置を特定できていないと判定した場合には、眼の位置を特定するまでステップＳ１２２からの処理を繰り返す一方で、顔画像データ上で眼の位置を特定できたと判定した場合には、ステップＳ１２５へと処理を移行する。
【０２２９】
上瞼エッジライン検出部１３は、ステップＳ１２５において、入力された顔画像データに対して画像処理を施すことにより、顔画像データ上における眼の上瞼エッジラインを検出し、更に、検出した上瞼エッジラインの始点位置、終点位置、及び頂点位置を検出する。
【０２３０】
続いて、曲線近似部１４は、ステップＳ１２６において、ステップＳ１２５にて検出された上瞼エッジラインの座標点群に基づいて、例えば最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似する。
【０２３１】
続いて、曲率算出部１５は、ステップＳ１２７において、ステップＳ１２６にて近似された曲線の式の係数に基づいて、曲線の曲率を算出し、その曲率を上瞼エッジライン曲率とする。
【０２３２】
続いて、曲率信頼度規定部５６は、ステップＳ１２８において、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定する。なお、このステップＳ１２８の詳細については、後述する。
【０２３３】
そして、開閉眼判定部１７は、ステップＳ１２９において、後述する開閉眼閾値を算出し、ステップＳ１３０において、ステップＳ１２８にて規定された上瞼エッジライン曲率の信頼度を加味した上で、眼の開閉を判定し、一連の処理を終了する。
【０２３４】
開閉眼判定装置５０は、このような一連の工程を経ることにより、運転者の眼の開閉を判定することができる。
【０２３５】
なお、開閉眼判定装置５０は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第１実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第２実施形態に係る方法を適用することができる。
【０２３６】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【０２３７】
［信頼度規定処理内容］
この第５実施形態に係る開閉眼判定装置５０によって行われる上述した図３７中ステップＳ１２８における信頼度規定処理について図３８を用いて説明する。
【０２３８】
曲率信頼度規定部５６は、図３８に示すように、ステップＳ１３１において、によって頂点位置による信頼度規定処理を行う。すなわち、曲率信頼度規定部５６は、上述したように、上瞼エッジラインの頂点位置と近似曲線の頂点位置との位置関係に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この頂点位置による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【０２３９】
続いて、曲率信頼度規定部５６は、ステップＳ１３２において、相関による信頼度規定処理を行う。すなわち、曲率信頼度規定部５６は、上瞼エッジラインと近似曲線との相関係数に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この相関による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【０２４０】
そして、曲率信頼度規定部５６は、ステップＳ１３３において、マイクロコンピュータ２により、ステップＳ１３１にて規定された信頼度とステップＳ１３２にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図３７中ステップＳ１２９へと処理を移行する。
【０２４１】
なお、この複数の信頼度に基づいて全体の信頼度を算出する方法としては、それぞれの信頼度の積をもって全体の信頼度とする方法が一般的である。その他、複数の信頼度に基づいて全体の信頼度を算出する方法としては、最も高い信頼度を全体の信頼度とする方法や、最も低い信頼度を全体の信頼度とする方法等がある。曲率信頼度規定部５６は、処理を行う環境等を考慮して、このような方法を適宜切り替えて行うこともできる。
【０２４２】
開閉眼判定装置５０は、このような複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定し、図３７中ステップＳ１２８に係る信頼度規定処理を行うことができる。
【０２４３】
［第５実施形態の効果］
以上詳細に説明したように、第５実施形態に係る開閉眼判定装置５０は、第１実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン曲率の信頼度を、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて曲率信頼度規定部５６によって総合的に規定することにより、運転者の眼の開閉をより精度よく判定することができる。特に、開閉眼判定装置５０は、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの頂点位置と曲線近似部１４によって近似された多次曲線の頂点位置との位置関係に基づく上瞼エッジライン曲率の信頼度と、上瞼エッジライン検出部１３によって検出された上瞼エッジラインと曲線近似部１４によって近似された多次曲線との相関に基づく上瞼エッジライン曲率の信頼度とに基づいて、曲率信頼度規定部５６によって総合的な上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を極めて精度よく判定することができる。このとき、開閉眼判定装置５０は、上瞼エッジライン検出部１３によって検出された上瞼エッジラインと曲線近似部１４によって近似された多次曲線との相関が大きい場合には、曲率信頼度規定部５６によって上瞼エッジライン曲率の信頼度を高く規定し、相関が小さい場合には、曲率信頼度規定部５６によって上瞼エッジライン曲率の信頼度を低く規定すればよい。
【０２４４】
［第６実施形態］
つぎに、第６実施形態に係る開閉眼判定装置について説明する。
【０２４５】
この第６実施形態に係る開閉眼判定装置は、先に図２に示した自動車に搭載適用されるものである。特に、この第６実施形態に係る開閉眼判定装置は、信頼度規定処理として、上瞼エッジラインの長さに基づいて、曲率の信頼度を規定するものである。
【０２４６】
なお、この第６実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。
【０２４７】
［開閉眼判定装置の構成］
第６実施形態に係る開閉眼判定装置６０は、図３９に示すように、上述した顔画像撮像部１１、眼検出部１２、上瞼エッジライン検出部１３、曲線近似部１４、曲率算出部１５、及び開閉眼判定部１７の他に、曲率算出部１５によって算出された曲率の信頼度を規定する曲率信頼度規定部６６を備える。
【０２４８】
曲率信頼度規定部６６は、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの長さに基づいて、曲率算出部１５によって算出された上瞼エッジライン曲率の信頼度を規定する。曲率信頼度規定部６６は、規定した上瞼エッジライン曲率の信頼度を示す情報を開閉眼判定部１７に供給する。
【０２４９】
このような開閉眼判定装置６０は、以下に示す処理を行うことにより、運転者の眼の開閉を判定する。
【０２５０】
［開閉眼判定装置の処理内容］
開閉眼判定装置６０は、図４０に示すように、処理が開始されると、ステップＳ１４１において、初期値入力の処理を実行し、ステップＳ１４２において、上述した顔画像撮像部１１に相当するカメラ装置１によって顔画像を撮像し、撮像して得た顔画像データがマイクロコンピュータ２に入力される。
【０２５１】
続いて、眼検出部１２は、ステップＳ１４３において、マイクロコンピュータ２に入力された顔画像データに対して当該マイクロコンピュータ２によって画像処理を施すことにより、顔画像データ上の眼を検出し、眼の位置を特定する。
【０２５２】
続いて、眼検出部１２は、ステップＳ１４４において、ステップＳ１４３による出力結果に基づいて、眼の位置を特定できたか否かを判定する。ここで、眼検出部１２は、顔画像データ上で眼の位置を特定できていないと判定した場合には、眼の位置を特定するまでステップＳ１４２からの処理を繰り返す一方で、顔画像データ上で眼の位置を特定できたと判定した場合には、ステップＳ１４５へと処理を移行する。
【０２５３】
上瞼エッジライン検出部１３は、ステップＳ１４５において、入力された顔画像データに対して画像処理を施すことにより、顔画像データ上における眼の上瞼エッジラインを検出し、更に、検出した上瞼エッジラインの始点位置、終点位置、及び頂点位置を検出する。
【０２５４】
続いて、曲線近似部１４は、ステップＳ１４６において、ステップＳ１４５にて検出された上瞼エッジラインの座標点群に基づいて、例えば最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似する。
【０２５５】
続いて、曲率算出部１５は、ステップＳ１４７において、ステップＳ１４６にて近似された曲線の式の係数に基づいて、曲線の曲率を算出し、その曲率を上瞼エッジライン曲率とする。
【０２５６】
続いて、曲率信頼度規定部６６は、ステップＳ１４８において、ステップＳ１４５にて検出された上瞼エッジラインの長さに基づいて、ステップＳ１４７にて算出された上瞼エッジライン曲率の信頼度を規定する。なお、このステップＳ１４８の詳細については、後述する。
【０２５７】
そして、開閉眼判定部１７は、ステップＳ１４９において、マイクロコンピュータ２により、後述する開閉眼閾値を算出し、ステップＳ１５０において、ステップＳ１４８にて規定された上瞼エッジライン曲率の信頼度を加味した上で、眼の開閉を判定し、一連の処理を終了する。
【０２５８】
開閉眼判定装置６０は、このような一連の工程を経ることにより、運転者の眼の開閉を判定することができる。
【０２５９】
なお、開閉眼判定装置６０は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第１実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第２実施形態に係る方法を適用することができる。
【０２６０】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【０２６１】
［上瞼エッジラインの長さによる信頼度規定処理内容］
この第６実施形態に係る開閉眼判定装置６０によって行われる上述した図４０中ステップＳ１４８における上瞼エッジラインの長さによる信頼度規定処理について図４１及び図４２を用いて説明する。
【０２６２】
図４１に、信頼度と微小画像の横幅に対する上瞼エッジラインの長さの割合との関係を示している。
【０２６３】
開閉眼判定装置６０においては、図４２（ａ）に示すように、上瞼エッジラインが眼全体で検出されると、上瞼エッジラインの長さは、微小画像の横幅の概ね８割乃至９割の長さとなる。そのため、上瞼エッジライン曲率の信頼度は、図４１に示すように、微小画像の横幅に対する上瞼エッジラインの長さの割合が、“０．８”乃至“０．９”付近である場合が最も高くなる。そして、上瞼エッジライン曲率の信頼度は、この範囲から微小画像の横幅に対する上瞼エッジラインの長さの割合が大きくなった場合でも小さくなった場合でも低くなる。
【０２６４】
また、微小画像の横幅に対する上瞼エッジラインの長さの割合が“０．５”よりも下回ると、上瞼エッジラインは、図４２（ｂ）に示すように、実際の眼の頂点付近に出るとは限らず、図４２（ｃ）又は図４２（ｄ）に示すように、実際の眼の両端付近に検出される場合もあり得る。
【０２６５】
このような場合、上瞼エッジライン曲率の信頼度は、図４１に示すように、上瞼エッジラインが同じ長さであっても、検出された上瞼エッジラインが眼の実際の頂点部分を含む場合（同図中曲線Ｌ１）には、眼の実際の頂点部分を含まない場合（同図中曲線Ｌ２）よりも高くなる。
【０２６６】
実際の処理においては、直接的に、検出された上瞼エッジラインが眼の実際の頂点部分を含んでいるか否かを判定することは困難である。したがって、開閉眼判定装置６０は、微小画像のほぼ中央に眼が入るように微小画像の範囲を決めているので、検出された上瞼エッジラインの始点位置及び終点位置が微小画像の横幅中央をまたぐか否かに基づいて検出された上瞼エッジラインが眼の実際の頂点部分を含んでいるか否かを判定する方法といったように、間接的に、検出された上瞼エッジラインが眼の実際の頂点部分を含んでいるか否かを判定する。
【０２６７】
開閉眼判定装置６０は、このような上瞼エッジラインの長さに基づいて、上瞼エッジライン曲率の信頼度を規定し、図４０中ステップＳ１４８に係る信頼度規定処理を行うことができる。
【０２６８】
［第６実施形態の効果］
以上詳細に説明したように、第６実施形態に係る開閉眼判定装置６０は、第１実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン曲率の信頼度を、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの長さに基づいて曲率信頼度規定部６６によって規定することにより、運転者の眼の開閉を精度よく判定することができる。
【０２６９】
［第７実施形態］
つぎに、第７実施形態に係る開閉眼判定装置について説明する。
【０２７０】
この第７実施形態に係る開閉眼判定装置は、先に図３６に示した第５実施形態に係る開閉眼判定装置５０と同様の構成からなり、先に図２に示した自動車に搭載適用されるものである。特に、この第７実施形態に係る開閉眼判定装置は、信頼度規定処理として、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な曲率の信頼度を規定するものであり、複数の信頼度規定処理として、上瞼エッジラインの長さによる信頼度規定処理と、頂点位置による信頼度規定処理とを行うものである。
【０２７１】
なお、この第７実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。また、この第７実施形態に係る開閉眼判定装置は、特にその構成については図示しないが、説明の便宜上、開閉眼判定装置７０と符号を付して説明する。
【０２７２】
開閉眼判定装置７０は、先に図３７に示した一連の工程を経ることにより、運転者の眼の開閉を判定する。このとき、開閉眼判定装置７０は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第１実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第２実施形態に係る方法を適用することができる。
【０２７３】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【０２７４】
［信頼度規定処理内容］
この第７実施形態に係る開閉眼判定装置７０によって行われる上述した図３７中ステップＳ１２８における信頼度規定処理について図４３を用いて説明する。
【０２７５】
開閉眼判定装置７０は、図４３に示すように、ステップＳ１５１において、マイクロコンピュータ２によって上瞼エッジラインの長さによる信頼度規定処理を行う。すなわち、開閉眼判定装置７０は、上述したように、上瞼エッジラインの長さに基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この上瞼エッジラインの長さによる信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【０２７６】
続いて、開閉眼判定装置７０は、ステップＳ１５２において、図３７中ステップＳ１２５における上瞼エッジラインの検出処理にて検出された上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にあるか否かを判定する。
【０２７７】
ここで、開閉眼判定装置７０は、上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にないと判定した場合には、上瞼エッジラインは微小画像範囲の右側に偏って検出され、実際の眼の頂点を含んでいないとして、ステップＳ１５５において、全体の信頼度を上瞼のエッジラインの長さによる信頼度のみで規定し、図３７中ステップＳ１２９へと処理を移行する。
【０２７８】
一方、開閉眼判定装置７０は、上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にあると判定した場合には、ステップＳ１５３へと処理を移行する。
【０２７９】
開閉眼判定装置７０は、ステップＳ１５３において、図３７中ステップＳ１２５における上瞼エッジラインの検出処理にて検出された上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にあるか否かを判定する。
【０２８０】
ここで、開閉眼判定装置７０は、上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にないと判定した場合には、上瞼エッジラインは微小画像範囲の左側に偏って検出され、実際の眼の頂点を含んでいないとして、ステップＳ１５５において、全体の信頼度を上瞼のエッジラインの長さによる信頼度のみで規定し、図３７中ステップＳ１２９へと処理を移行する。
【０２８１】
一方、開閉眼判定装置７０は、上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にあると判定した場合には、ステップＳ１５４へと処理を移行する。
【０２８２】
開閉眼判定装置７０は、ステップＳ１５４において、頂点位置による信頼度規定処理を行う。すなわち、開閉眼判定装置７０は、上述したように、上瞼エッジラインの頂点位置と近似曲線の頂点位置との位置関係に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この頂点位置による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【０２８３】
そして、開閉眼判定装置７０は、ステップＳ１５５において、ステップＳ１５１にて規定された信頼度とステップＳ１５４にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図３７中ステップＳ１２９へと処理を移行する。
【０２８４】
なお、この複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、それぞれの信頼度の積をもって全体の信頼度とする方法が一般的である。その他、複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、最も高い信頼度を全体の信頼度とする方法や、最も低い信頼度を全体の信頼度とする方法等がある。開閉眼判定装置７０は、処理を行う環境等を考慮して、このような方法を適宜切り替えて行うこともできる。
【０２８５】
開閉眼判定装置７０は、このような複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定し、図３７中ステップＳ１２８に係る信頼度規定処理を行うことができる。
【０２８６】
［第７実施形態の効果］
以上詳細に説明したように、第７実施形態に係る開閉眼判定装置７０は、第１実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの長さに基づく上瞼エッジライン曲率の信頼度と、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの頂点位置と曲線近似部１４によって近似された多次曲線の頂点位置との位置関係に基づく上瞼エッジライン曲率の信頼度とに基づいて、曲率信頼度規定部５６によって総合的な上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を極めて精度よく判定することができる。
【０２８７】
［第８実施形態］
つぎに、第８実施形態に係る開閉眼判定装置について説明する。
【０２８８】
この第８実施形態に係る開閉眼判定装置は、先に図３６に示した第５実施形態に係る開閉眼判定装置５０と同様の構成からなり、先に図２に示した自動車に搭載適用されるものである。特に、この第８実施形態に係る開閉眼判定装置は、信頼度規定処理として、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な曲率の信頼度を規定するものであり、複数の信頼度規定処理として、上瞼エッジラインの長さによる信頼度規定処理と、相関による信頼度規定処理とを行うものである。
【０２８９】
なお、この第８実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。また、この第８実施形態に係る開閉眼判定装置は、特にその構成については図示しないが、説明の便宜上、開閉眼判定装置８０と符号を付して説明する。
【０２９０】
開閉眼判定装置８０は、先に図３７に示した一連の工程を経ることにより、運転者の眼の開閉を判定する。このとき、開閉眼判定装置８０は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第１実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第２実施形態に係る方法を適用することができる。
【０２９１】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【０２９２】
［信頼度規定処理内容］
この第８実施形態に係る開閉眼判定装置８０によって行われる上述した図３７中ステップＳ１２８における信頼度規定処理について図４４を用いて説明する。
【０２９３】
開閉眼判定装置８０は、同図に示すように、ステップＳ１６１において、マイクロコンピュータ２によって上瞼エッジラインの長さによる信頼度規定処理を行う。すなわち、開閉眼判定装置８０は、上述したように、上瞼エッジラインの長さに基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この上瞼エッジラインの長さによる信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【０２９４】
続いて、開閉眼判定装置８０は、ステップＳ１６２において、相関による信頼度規定処理を行う。すなわち、開閉眼判定装置８０は、上瞼エッジラインと近似曲線との相関係数に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この相関による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【０２９５】
そして、開閉眼判定装置８０は、ステップＳ１６３において、ステップＳ１６１にて規定された信頼度とステップＳ１６２にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図３７中ステップＳ１２９へと処理を移行する。
【０２９６】
なお、この複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、それぞれの信頼度の積をもって全体の信頼度とする方法が一般的である。その他、複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、最も高い信頼度を全体の信頼度とする方法や、最も低い信頼度を全体の信頼度とする方法等がある。開閉眼判定装置８０は、処理を行う環境等を考慮して、このような方法を適宜切り替えて行うこともできる。
【０２９７】
開閉眼判定装置８０は、このような複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定し、図３７中ステップＳ１２８に係る信頼度規定処理を行うことができる。
【０２９８】
［第８実施形態の効果］
以上詳細に説明したように、第８実施形態に係る開閉眼判定装置８０は、第１実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの長さに基づく上瞼エッジライン曲率の信頼度と、上瞼エッジライン検出部１３によって検出された上瞼エッジラインと曲線近似部１４によって近似された多次曲線との相関に基づく上瞼エッジライン曲率の信頼度とに基づいて、曲率信頼度規定部５６によって総合的な上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を極めて精度よく判定することができる。
【０２９９】
［第９実施形態］
最後に、第９実施形態に係る開閉眼判定装置について説明する。
【０３００】
この第９実施形態に係る開閉眼判定装置は、先に図３６に示した第５実施形態に係る開閉眼判定装置５０と同様の構成からなり、先に図２に示した自動車に搭載適用されるものである。特に、この第９実施形態に係る開閉眼判定装置は、信頼度規定処理として、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な曲率の信頼度を規定するものであり、複数の信頼度規定処理として、上瞼エッジラインの長さによる信頼度規定処理と、頂点位置による信頼度規定処理と、相関による信頼度規定処理とを行うものである。
【０３０１】
なお、この第９実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。また、この第９実施形態に係る開閉眼判定装置は、特にその構成については図示しないが、説明の便宜上、開閉眼判定装置９０と符号を付して説明する。
【０３０２】
開閉眼判定装置９０は、先に図３７に示した一連の工程を経ることにより、運転者の眼の開閉を判定する。このとき、開閉眼判定装置９０は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第１実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第２実施形態に係る方法を適用することができる。
【０３０３】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【０３０４】
［信頼度規定処理内容］
この第９実施形態に係る開閉眼判定装置９０によって行われる上述した図３７中ステップＳ１２８における信頼度規定処理について図４５を用いて説明する。
【０３０５】
開閉眼判定装置９０は、同図に示すように、ステップＳ１７１において、マイクロコンピュータ２によって上瞼エッジラインの長さによる信頼度規定処理を行う。すなわち、開閉眼判定装置９０は、上述したように、上瞼エッジラインの長さに基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この上瞼エッジラインの長さによる信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【０３０６】
続いて、開閉眼判定装置９０は、ステップＳ１７２において、図３７中ステップＳ１２５における上瞼エッジラインの検出処理にて検出された上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にあるか否かを判定する。
【０３０７】
ここで、開閉眼判定装置９０は、上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にないと判定した場合には、上瞼エッジラインは微小画像範囲の右側に偏って検出され、実際の眼の頂点を含んでいないとして、ステップＳ１７５へと処理を移行する。
【０３０８】
開閉眼判定装置９０は、ステップＳ１７５において、相関による信頼度規定処理を行う。すなわち、開閉眼判定装置８０は、上瞼エッジラインと近似曲線との相関係数に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この相関による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【０３０９】
そして、開閉眼判定装置９０は、ステップＳ１７６において、ステップＳ１７１にて規定された信頼度とステップＳ１７５にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図３７中ステップＳ１２９へと処理を移行する。
【０３１０】
一方、開閉眼判定装置９０は、ステップＳ１７２において、上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にあると判定した場合には、ステップＳ１７３へと処理を移行する。
【０３１１】
開閉眼判定装置９０は、ステップＳ１７３において、図３７中ステップＳ１２５における上瞼エッジラインの検出処理にて検出された上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にあるか否かを判定する。
【０３１２】
ここで、開閉眼判定装置９０は、上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にないと判定した場合には、上瞼エッジラインは微小画像範囲の左側に偏って検出され、実際の眼の頂点を含んでいないとして、ステップＳ１７５へと処理を移行し、相関による信頼度規定処理を行う。
【０３１３】
そして、開閉眼判定装置９０は、ステップＳ１７６において、ステップＳ１７１にて規定された信頼度とステップＳ１７５にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図３７中ステップＳ１２９へと処理を移行する。
【０３１４】
一方、開閉眼判定装置９０は、ステップＳ１７３において、上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にあると判定した場合には、ステップＳ１７４へと処理を移行する。
【０３１５】
開閉眼判定装置９０は、ステップＳ１７４において、頂点位置による信頼度規定処理を行う。すなわち、開閉眼判定装置９０は、上述したように、上瞼エッジラインの頂点位置と近似曲線の頂点位置との位置関係に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この頂点位置による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【０３１６】
続いて、開閉眼判定装置９０は、ステップＳ１７５において、相関による信頼度規定処理を行い、ステップＳ１７６において、ステップＳ１７１にて規定された信頼度とステップＳ１７４にて規定された信頼度とステップＳ１７５にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図３７中ステップＳ１２９へと処理を移行する。
【０３１７】
なお、この複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、それぞれの信頼度の積をもって全体の信頼度とする方法が一般的である。その他、複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、最も高い信頼度を全体の信頼度とする方法や、最も低い信頼度を全体の信頼度とする方法等がある。開閉眼判定装置９０は、処理を行う環境等を考慮して、このような方法を適宜切り替えて行うこともできる。
【０３１８】
開閉眼判定装置９０は、このような複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定し、図３７中ステップＳ１２８に係る信頼度規定処理を行うことができる。
【０３１９】
［第９実施形態の効果］
以上詳細に説明したように、第９実施形態に係る開閉眼判定装置９０は、第１実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン検出部１３によって検出された上瞼エッジラインの長さに基づく上瞼エッジライン曲率の信頼度と、上瞼エッジライン検出部１３によって検出された上瞼エッジラインと曲線近似部１４によって近似された多次曲線との相関に基づく上瞼エッジライン曲率の信頼度と、上瞼エッジライン検出部１３によって検出された上瞼エッジラインと曲線近似部１４によって近似された多次曲線との相関に基づく上瞼エッジライン曲率の信頼度とに基づいて、曲率信頼度規定部５６によって総合的な上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を極めて精度よく判定することができる。
【０３２０】
なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る開閉眼判定装置の構成を示すブロック図である。
【図２】本発明の第１実施形態に係る開閉眼判定装置を自動車に対して適用した場合の概要構成を示す図である。
【図３】本発明の第１実施形態に係る開閉眼判定装置における処理全体を示すフローチャートである。
【図４】図３に示す眼の検出処理における一連の処理を示すフローチャートである。
【図５】図４に示す眼の候補の位置の特定処理における一連の処理を示すフローチャートである。
【図６】選択した顔の特徴量を連続データとして表した様子を示す図である。
【図７】眼の存在領域の大きさを説明するための図である。
【図８】眼の横方向の長さの統計を示す図であって、眼の大きさを統計的に求める方法を説明するための図である。
【図９】眼の縦方向の長さの統計を示す図であって、眼の大きさを統計的に求める方法を説明するための図である。
【図１０】眼の存在領域の位置を決定する様子を説明するための図である。
【図１１】図４に示す眼判定処理における一連の処理を示すフローチャートである。
【図１２】全体画像から抽出された微小画像の様子を説明するための図である。
【図１３】各算出領域での二値化閾値の算出方法の一例について説明するための図である。
【図１４】眼テンプレートの幾何形状と候補オブジェクトの幾何形状との比較方法の一例を説明するための図である。
（ａ） 光環境が良好で安定している場合において眼を二値化した形状を示す図である。
（ｂ） 光環境が悪化している場合において眼を二値化した形状を示す図であって、眼の左側一部領域が欠損している様子を説明するための図である。
（ｃ） 光環境が悪化している場合において眼を二値化した形状を示す図であって、眼の右側一部領域が欠損している様子を説明するための図である。
【図１５】図３に示す上瞼エッジライン検出処理の内容を説明するための図であって、眼判定処理によって特定された眼の位置を中心とした微小画像を示す図である。
【図１６】図３に示す上瞼エッジライン検出処理の内容を説明するための図であって、図１５に示す微小画像について二値化して得られた二値画像を示す図である。
【図１７】図３に示す上瞼エッジライン検出処理の内容を説明するための図であって、図１６に示す二値画像から濃度値０の黒画素を検索する様子を説明するための図である。
【図１８】図３に示す上瞼エッジライン検出処理の内容を説明するための図であって、図１７に示す検索の結果得られた眼の外周輪郭を示す図である。
【図１９】図３に示す上瞼エッジライン検出処理の内容を説明するための図であって、図１８に示す眼の外周輪郭から検出した上瞼エッジラインの始点位置、終点位置、及び頂点位置を示す図である。
【図２０】図３に示す曲線近似処理における一連の処理を示すフローチャートである。
【図２１】図２０に示す曲線近似処理を行った結果求められた近似曲線を微小画像内の眼の画像にプロットした例を示す図である。
【図２２】図３に示す頂点位置による信頼度規定処理の内容を説明するための図であって、近似曲線の頂点位置と、上瞼エッジラインの始点位置、終点位置、及び頂点位置とを示す図である。
【図２３】図３に示す開閉眼閾値算出処理の第１の方法の内容を説明するための図であって、上瞼エッジライン曲率、平均曲率、及び開閉眼閾値の時系列変化を示す図である。
【図２４】図３に示す開閉眼閾値算出処理の第２の方法の内容を説明するための図であって、上瞼エッジライン曲率、開眼時の平均曲率、閉眼時の平均曲率、及び開閉眼閾値の時系列変化を示す図である。
【図２５】図３に示す開閉眼判定処理における一連の処理を示すフローチャートである。
【図２６】本発明の第２実施形態に係る開閉眼判定装置によって行う頂点位置による信頼度規定処理の内容を説明するための図であって、上瞼エッジラインと近似曲線とを微小画像内の眼の画像にプロットした場合における等信頼度線を示す図である。
【図２７】本発明の第２実施形態に係る開閉眼判定装置によって行う開閉眼判定処理の第２の方法における一連の処理を示すフローチャートである。
【図２８】本発明の第２実施形態に係る開閉眼判定装置によって行う開閉眼判定処理の第２の方法の内容を説明するための図であって、信頼度と曲率の誤差量との関係を示す図である。
【図２９】本発明の第２実施形態に係る開閉眼判定装置によって行う開閉眼判定処理の第３の方法における一連の処理を示すフローチャートである。
【図３０】本発明の第２実施形態に係る開閉眼判定装置によって行う開閉眼判定処理の第４の方法における一連の処理を示すフローチャートである。
【図３１】本発明の第２実施形態に係る開閉眼判定装置によって行う開閉眼判定処理の第４の方法における一連の処理を示すフローチャートであって、図３０に示す工程に続く処理を示す図である。
【図３２】本発明の第３実施形態に係る開閉眼判定装置によって行う頂点位置による信頼度規定処理の内容を説明するための図であって、上瞼エッジラインと近似曲線とを微小画像内の眼の画像にプロットした場合における近似曲線の頂点位置と、上瞼エッジラインの始点位置、終点位置、及び頂点位置と、等信頼度線とを示す図である
【図３３】本発明の第４実施形態に係る開閉眼判定装置の構成を示すブロック図である。
【図３４】本発明の第４実施形態に係る開閉眼判定装置における処理全体を示すフローチャートである。
【図３５】図３４に示す相関による信頼度規定処理の内容を説明するための図であって、信頼度と相関係数との関係を示す図である。
【図３６】本発明の第５実施形態に係る開閉眼判定装置の構成を示すブロック図である。
【図３７】本発明の第５実施形態に係る開閉眼判定装置における処理全体を示すフローチャートである。
【図３８】図３７に示す信頼度規定処理における一連の処理を示すフローチャートである。
【図３９】本発明の第６実施形態に係る開閉眼判定装置の構成を示すブロック図である。
【図４０】本発明の第６実施形態に係る開閉眼判定装置における処理全体を示すフローチャートである。
【図４１】図４０に示す上瞼エッジラインの長さによる信頼度規定処理の内容を説明するための図であって、信頼度と微小画像の横幅に対する上瞼エッジラインの長さの割合との関係を示す図である。
【図４２】図４０に示す上瞼エッジラインの長さによる信頼度規定処理の内容を説明するための図である。
（ａ） 上瞼エッジラインが眼全体で検出された場合における上瞼エッジラインの長さを説明するための図である。
（ｂ） 微小画像の横幅に対する上瞼エッジラインの長さの割合が“０．５”よりも下回った場合における上瞼エッジラインの長さを説明するための図であって、実際の眼の頂点付近に上瞼エッジラインが検出された様子を示す図である。
（ｃ） 微小画像の横幅に対する上瞼エッジラインの長さの割合が“０．５”よりも下回った場合における上瞼エッジラインの長さを説明するための図であって、実際の眼の左側端部付近に上瞼エッジラインが検出された様子を示す図である。
（ｄ） 微小画像の横幅に対する上瞼エッジラインの長さの割合が“０．５”よりも下回った場合における上瞼エッジラインの長さを説明するための図であって、実際の眼の右側端部付近に上瞼エッジラインが検出された様子を示す図である。
【図４３】本発明の第７実施形態に係る開閉眼判定装置によって行う信頼度規定処理における一連の処理を示すフローチャートである。
【図４４】本発明の第８実施形態に係る開閉眼判定装置によって行う信頼度規定処理における一連の処理を示すフローチャートである。
【図４５】本発明の第９実施形態に係る開閉眼判定装置によって行う信頼度規定処理における一連の処理を示すフローチャートである。
【符号の説明】
１ カメラ装置
２ マイクロコンピュータ
１０，２０，３０，４０，５０，６０，７０，８０，９０ 開閉眼判定装置
１１ 顔画像撮像部
１２ 眼検出部
１３ 上瞼エッジライン検出部
１４ 曲線近似部
１５ 曲率算出部
１６，４６，５６，６６ 曲率信頼度規定部
１７ 開閉眼判定部

Claims (20)

1. 対象者の眼の開閉を判定する開閉眼判定装置であって、
   前記対象者の顔を撮像する顔画像撮像手段と、
   前記顔画像撮像手段によって撮像された顔画像から前記対象者の眼を検出する眼検出手段と、
   前記眼検出手段によって検出された眼から上瞼エッジラインを検出する上瞼エッジライン検出手段と、
   前記上瞼エッジライン検出手段によって検出された上瞼エッジラインを二次以上の多次曲線に近似する曲線近似手段と、
   前記曲線近似手段によって近似された多次曲線の曲率を算出し、算出した曲率を前記上瞼エッジラインの曲率とする曲率算出手段と、
   前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度を規定する曲率信頼度規定手段と、
   前記曲率信頼度規定手段によって規定された上瞼エッジラインの曲率の信頼度を加味した上で、前記曲率算出手段によって算出された上瞼エッジラインの曲率の大小に基づいて、眼の開閉を判定する開閉眼判定手段とを備えること
   を特徴とする開閉眼判定装置。
2. 前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置と前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの始点位置、終点位置、又は頂点位置の少なくとも１つとの位置関係に基づいて、前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度を規定することを特徴とする請求項１に記載の開閉眼判定装置。
3. 前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置と前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの頂点位置との乖離度合いに基づいて、前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度を規定すること
   を特徴とする請求項１に記載の開閉眼判定装置。
4. 前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置と前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの頂点位置とが一致する場合には、前記上瞼エッジラインの曲率の信頼度を最も高く規定し、それぞれの頂点位置が乖離するのにしたがって、前記上瞼エッジラインの曲率の信頼度が低くなるように規定することを特徴とする請求項３に記載の開閉眼判定装置。
5. 前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置が、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの始点の横座標位置と終点の横座標位置とに挟まれた領域の外側に存在する場合には、上瞼エッジラインの曲率の信頼度を０とすることを特徴とする請求項１に記載の開閉眼判定装置。
6. 前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置が、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの始点と終点とを結ぶ線分よりも下側にある場合には、上瞼エッジラインの曲率の信頼度を０とすることを特徴とする請求項１に記載の開閉眼判定装置。
7. 前記曲率信頼度規定手段は、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインと前記曲線近似手段によって近似された多次曲線との相関に基づいて、前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度を規定することを特徴とする請求項１に記載の開閉眼判定装置。
8. 前記曲率信頼度規定手段は、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインと前記曲線近似手段によって近似された多次曲線との相関が大きい場合には、前記上瞼エッジラインの曲率の信頼度を高く規定し、相関が小さい場合には、前記上瞼エッジラインの曲率の信頼度を低く規定することを特徴とする請求項７に記載の開閉眼判定装置。
9. 前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置と前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの始点位置、終点位置、又は頂点位置の少なくとも１つとの位置関係と、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインと前記曲線近似手段によって近似された多次曲線との相関と、上瞼エッジライン検出手段によって検出された上瞼エッジラインの長さとのうち、少なくとも２つに基づいて、前記曲率検出手段によって算出された上瞼エッジラインの曲率の信頼度を規定することを特徴とする請求項１に記載の開閉眼判定装置。
10. 前記曲率信頼度規定手段は、上瞼エッジライン検出手段によって検出された上瞼エッジラインの長さに基づいて、前記曲率検出手段によって算出された上瞼エッジラインの曲率の信頼度を規定することを特徴とする請求項１に記載の開閉眼判定装置。
11. 前記曲線近似手段は、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの座標点群に基づいて、最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似することを特徴とする請求項１に記載の開閉眼判定装置。
12. 前記曲線近似手段によって近似される二次以上の多次曲線は、当該多次曲線の頂点部分が原点となるように変換された座標系においては、偶数次項のみで構成される式で表されることを特徴とする請求項１１に記載の開閉眼判定装置。
13. 前記曲率算出手段は、前記曲線近似手段によって近似される二次以上の多次曲線の偶数次項の係数によって算出される当該多次曲線の曲率を前記上瞼エッジラインの曲率とすることを特徴とする請求項１１に記載の開閉眼判定装置。
14. 前記開閉眼判定手段は、一定時間サンプリングした前記上瞼エッジラインの曲率の代表値を算出し、前記代表値から一定値差し引いた値を開閉眼閾値とし、前記上瞼エッジラインの曲率が前記開閉眼閾値よりも上回った場合には、開眼と判定し、前記上瞼エッジラインの曲率が前記開閉眼閾値よりも下回った場合には、閉眼と判定することを特徴とする請求項１に記載の開閉眼判定装置。
15. 前記開閉眼判定手段は、一定時間サンプリングした前記上瞼エッジラインの曲率を時系列に並べたときの当該上瞼エッジラインの曲率の変動波形から前記上瞼エッジラインの曲率が小さくなるピーク点を検出してサンプリングし、このサンプリングしたピーク点の代表値である第１の代表値を算出するとともに、一定時間サンプリングした前記上瞼エッジラインの曲率の全データ又は一定時間サンプリングした前記上瞼エッジラインの曲率が小さくなるピーク点になる波の部分を除いたデータの代表値である第２の代表値を算出し、算出された前記第１の代表値及び前記第２の代表値の間の値を開閉眼閾値とし、前記上瞼エッジラインの曲率が前記開閉眼閾値よりも上回った場合には、開眼と判定し、前記上瞼エッジラインの曲率が前記開閉眼閾値よりも下回った場合には、閉眼と判定することを特徴とする請求項１に記載の開閉眼判定装置。
16. 前記開閉眼判定手段は、所定の信頼度閾値を設定し、前記曲率信頼度規定手段によって規定された信頼度が前記信頼度閾値を下回った場合には、開閉眼の判定を行わないことを特徴とする請求項１に記載の開閉眼判定装置。
17. 前記開閉眼判定手段は、前記曲率信頼度規定手段によって規定された信頼度から曲率の誤差を算出し、前記曲率算出手段によって算出された前記上瞼エッジラインの曲率の誤差範囲を考慮して開閉眼の判定を行うこと
    を特徴とする請求項１に記載の開閉眼判定装置。
18. 前記開閉眼判定手段は、前記上瞼エッジラインの曲率の誤差範囲の最小値が所定の開閉眼閾値よりも上回った場合には、開眼と判定し、前記上瞼エッジラインの曲率の誤差範囲の最大値が前記開閉眼閾値よりも下回った場合には、閉眼と判定することを特徴とする請求項１７に記載の開閉眼判定装置。
19. 前記開閉眼判定手段は、開眼と判定した場合には、前記上瞼エッジラインの曲率の誤差範囲から開眼であることの確率を算出し、閉眼と判定した場合には、前記上瞼エッジラインの曲率の誤差範囲から閉眼であることの確率を算出することを特徴とする請求項１８に記載の開閉眼判定装置。
20. 前記開閉眼判定手段は、前記上瞼エッジラインの曲率の誤差範囲に前記開閉眼閾値が存在する場合であって前記上瞼エッジラインの曲率が前記開閉眼閾値よりも上回った場合には、開眼と判定し、前記上瞼エッジラインの曲率の誤差範囲に前記開閉眼閾値が存在する場合であって前記上瞼エッジラインの曲率が前記開閉眼閾値よりも下回った場合には、閉眼と判定し、さらに、開眼と判定した場合には、前記上瞼エッジラインの曲率の誤差範囲から開眼であることの確率を算出し、閉眼と判定した場合には、前記上瞼エッジラインの曲率の誤差範囲から閉眼であることの確率を算出することを特徴とする請求項１８に記載の開閉眼判定装置。

Images