JP2008084109A - 目開閉判定装置及び目開閉判定方法 - Google Patents

Abstract

【課題】被写体を撮像した単画像のデータから、精度良く高速に被写体の目の開閉の判定することができる目開閉判定装置を提供する。
【解決手段】被写体の画像から前記被写体８０の目の開閉を判定する装置１０であって、該装置１０は、前記撮像装置２０から入力された画像に基づいて前記目の領域を設定すると共に該目の領域のエッジ検出を行うエッジ検出部１３と、該エッジ検出した目の領域に対して二値化処理を行う二値化処理部１４と、該二値化処理した前記目の領域のデータに基づいて目の開閉を判定する目開閉判定部１５と、を少なくとも備えてなる。
【選択図】図１

Description

本発明は、例えば撮像装置により撮像された被写体等の画像に対して画像処理を行う装置に係り、特に、処理した画像から目の開閉の判定を行う目開閉判定装置に関する。

従来から、撮像装置により撮像された被写体の目つぶり（目の開閉）を判定するために、様々な手法が採られている。例えば、眼を含む顔画像を入力し、眼、眉、鼻穴、及び口などの顔の主要部分が抽出できるまで入力した顔画像に対して二値化処理を行い、該二値化処理したデータに基づいて円形の虹彩部分を検知し、目の開閉を判定する装置が提案されている（特許文献１参照）。さらに、前記円形の虹彩部分を検知する代わりに、眼球存在領域内を縦方向に走査して、連続して黒色画素を検索することにより目の開閉を判定する装置が提案されている（特許文献２参照）。

また、目の開閉を判定するにあたって、撮影した画像と瞳の開閉時の標本データとを比較することにより行うもの（特許文献３参照）や、白目の色度と明度の変化に基づいて行うもの（非特許文献１参照）や、顔部位から目を含む関心領域内の輝度変化を検出し有意な変化があった部分の面積を求めることにより行うもの（非特許文献２参照）や、上下のまぶたの距離を測ることにより行うもの（非特許文献３参照）や、上瞼（輪郭走査）と黒目検出（円形テンプレート）により行うもの（非特許文献４参照）などが提案されている。

特開平５−６０５１５号公報 特開平６−３２１５４号公報 特開２０００−２９２８５３号公報 電子情報通信学会論文誌Ｖｏｌ．Ｊ７６−ＤＩＩ，Ｎｏ．５，ｐｐ.９５９−９６６，１９９３年５月 第４回画像センシングシンポジウム講演論文集，ｐｐ．２８５−２８８，１９９８ 電子情報通信学会技術研究報告 ヒューマン情報処理 ＨＩＰ２００４−１１〜２３，Ｐ.６３ 電子情報通信学会技術研究報告 パターン認識・メディア理解 ＰＲＭＵ９７−２５〜３６，Ｐ.８１

しかし、特許文献１に記載の技術は、顔の主要部分が抽出できるまで入力した顔画像に対して二値化処理を行って目の部分の黒画素の連結部分の面積を求めているが、該面積を演算するのには時間がかかる。さらに、特許文献３に記載の技術は、より正確に目の開閉の判定を行うためには瞳の開閉時の標本データを数多く持つ必要があり、これらの標本データが増えるに従って標本データと撮像した画像とを比較するのに時間がかかる。

また、特許文献２、非特許文献１〜３に記載の技術は、被写体の顔の変化を見る必要があり、動画あるいは連続して撮影した画像を必要とするので、単画像での目の開閉の判別ができない。この結果、目の開閉を判定するためのデータ量も多く、処理時間を多大に要する。さらに、非特許文献４に記載の技術は、輪郭と黒目を検出するのに複雑な計算が必要になり、この場合も処理時間を多大に要する。

本発明は、このような問題に鑑みてなされたものであって、その目的とするところは、例えば被写体を撮像した単画像のデータから、精度良く高速に被写体の目の開閉を判定することができる目開閉判定装置を提供する。

本発明に係る目開閉判定装置は、目の画像から目の開閉を判定する装置であって、該装置は、入力された画像に基づいて該目の領域のエッジ検出を行うエッジ検出部と、該エッジ検出を行った目の領域に対して二値化処理を行う二値化処理部と、該二値化処理を行った前記目の領域のデータに基づいて目の開閉の判定を行う目開閉判定部と、を少なくとも備えることを特徴とする。

前記目開閉判定装置によれば、撮像した画像のうち、目の開閉を認識するに有効な目の領域のみを設定して、該目の領域のエッジ検出及び二値化処理を順次行うため、演算負荷が少なく、画像が入力されてから目の開閉判定までの一連の処理を精度良く高速に行うことができる。エッジ検出を行なってから二値化処理を行っているので、肌の色などの個人差の影響を受けることなく、目や瞳の形から目の開閉を判定することができる。その結果、演算処理能力に制限のあるポータブル機器に搭載することが容易となる。

尚、本発明にいう「エッジ検出」は、画像中の目の領域内の各画素の濃淡差のある領域の境界を濃度値に基づいて検出することが可能な局所並列処理であればよく、Ｐｒｅｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタなどのフィルタを用いてエッジを検出することができる。

本発明に係る前記判定装置は、前記入力された画像に基づいて目に関する顔の特徴点の抽出を行う顔特徴点抽出部をさらに備え、前記エッジ検出部は、目の領域の設定を、前記特徴点の情報と前記入力された画像とに基づいて行うことが好ましい。このように、目に関する顔の特徴点を抽出することにより、より精度良く目の領域を設定することができる。

本発明でいう「目に関する顔の特徴点」とは、少なくとも、撮像された画像から顔の範囲がわかり、かつ、各目の中心位置とその幅がわかるような画像上の点のことをいい、例えば、目の中心位置は、右目左目それぞれの中心座標が特徴点となり、目の幅については、目頭及び目尻の座標、眉毛の先端及び終端の座標が特徴点となる。

このような目に関する顔の特徴点を抽出する手法としては、一般的な形状解析を利用した方法が挙げられ、例えば、顔の目に関する幾何学的特徴を利用するもの、または、顔の目に関する境界線特徴を利用するもの等を挙げることができ、上記特徴点を抽出することができるのであれば、特にその抽出方法は限定されるものでなない。

本発明に係る目開閉判定装置は、前記入力された画像から顔の輝度の算出を行う輝度算出部をさらに備え、前記目開閉判定部は、前記二値化処理した前記目の領域のデータに、さらに前記輝度の値を関連付けることにより、前記目の開閉の判定を行うことが好ましい。

前記目開閉判定装置によれば、撮像された顔の輝度を用いることにより、撮像を行った場所の明るさ、又は、顔に照射される光線の向きなどの影響を加味して開閉の判定を行うので、目の開閉の判定の精度を高めることができる。特にモバイル装置など撮像場所を限定されることなく使用される機器に組み込むことが有効である。

さらに、前記輝度算出部は、前記輝度の算出を、前記顔を表す各画素の輝度値の平均値を算出することにより行うことがより好ましい。このように顔を表す各画素の輝度値の平均値を算出することにより、より正確かつ簡易的に輝度を算出することができる。

本発明に係る目開閉判定装置は、前記二値化処理部が、前記目の領域に含まれる画素ごとに、黒画素または白画素のいずれかの画素となるように前記二値化処理を行い、前記目開閉判定部が、前記二値化処理した画素のうち黒画素の割合に対して閾値を設け、前記二値化処理した画素のうち黒画素の割合が前記閾値以上になった場合には目が開いていると判定し、それ以外の場合には前記画像中の目が閉じていると判定することにより、前記目の開閉の判定を行うことがより好ましい。このように、エッジ検出を行った目の領域に対して二値化処理し、該処理後の黒画素の割合を利用することにより、目の開閉を正確に判定することができる。

本発明に係る目開閉判定装置は、前記目開閉判定部が、前記閾値を前記輝度値に応じて変化させることがより好ましい。このように、輝度値に応じて黒画素の割合の閾値を変化させることにより、輝度の変化に応じて目の開閉を判定することになるので、顔の撮影状態にかかわらず、精度の良い目の開閉の判定をすることができる。

本発明に係る目開閉判定装置は、前記エッジ検出部が、前記目の領域の縦方向のエッジを検出することにより前記エッジ検出を行うことがより好ましい。このように、縦方向のエッジ検出は、横方向のエッジ検出に比べて、より精度良く目の開閉を判定することができる。

さらに、本発明に係る前記判定装置は、前記撮像装置から入力された複数の画像のうち、前記目開閉判定部により目が開いていると判定した画像を選択する画像選択部と、該選択した画像のデータを送信可能とした通信部と、をさらに備えることがより好ましい。前記目開閉判定装置によれば、例えば、モバイル機器を利用して撮像した画像のうち目の開いている画像のみをサーバなどに送信することができる。

前記入力された画像は、前記撮像装置が撮像した画像であってもよく、前記装置の外部のメモリから出力される画像であってもよい。

さらに、前記判定装置は、装置外部から前記装置に画像を少なくとも受信可能とした受信部をさらに備えており、前記入力された画像は、前記受信部が受信した画像であることがより好ましい。

さらに、本発明として、目の開閉を判定する方法をも開示する。目の画像から目の開閉を判定する方法であって、該方法は、入力された画像に基づいて目の領域のエッジ検出を行うステップと、該エッジ検出を行った目の領域に対して二値化処理を行うステップと、該二値化処理を行った前記目の領域のデータに基づいて前記目の開閉の判定を行うステップと、を少なくとも含むことを特徴とする。

より好ましくは、前記判定方法は、前記入力された画像に基づいて目に関する顔の特徴点の抽出を行うステップをさらに含み、前記エッジ検出を行うステップにおいて、目の領域の設定を、該特徴点の情報と前記入力された画像とに基づいて行う。また、前記判定方法は、前記入力された画像から顔の輝度の算出を行うステップをさらに含み、前記目の開閉の判定を、前記二値化処理した前記目の領域のデータにさらに前記輝度の値を関連付けることにより行うことがより好ましい。

さらに、前記輝度の算出を、前記顔を表す各画素の輝度値の平均値を算出することにより行うことがより好ましい。前記二値化処理を、前記目の領域に含まれる画素ごとに、黒画素または白画素のいずれかの画素となるように行い、前記目の開閉の判定を行うステップにおいて、前記二値化処理した画素のうち黒画素の割合に対して閾値を設け、前記目開閉判定を、前記二値化処理した画素のうち黒画素の割合が前記閾値以上になった場合には目が開いていると判定し、それ以外の場合には前記画像中の目が閉じていると判定することにより行うがより好ましく、前記閾値に基づいて目の開閉の判定を行う際に、前記閾値を前記輝度値に応じて変化させることがより好ましい。また、本発明に係る目の開閉の判定方法は、前記エッジ検出を、前記目の領域の縦方向のエッジ検出により行うことがより好ましい。

本発明によれば、例えば被写体を撮像した単画像のデータから、精度良く高速に被写体の目の開閉を判定することができる。

以下図面を参照しながら、本発明に係るいくつかの実施形態について説明する。
図１は、本発明に係る第一実施形態の目開閉判定装置１０の全体構成図を示している。図1に示すように、目開閉判定装置１０は、撮像装置２０により撮像された被写体８０の画像の目の開閉を判定する装置である。なお、撮像装置２０は、例えば、ビデオ、カメラなどの装置が挙げられ、被写体８０の顔の画像を撮像することができるものであれば特に限定されるものではない。

目開閉判定装置１０は、ハード資源として、演算装置（図示せず）と記憶装置（図示せず）とを少なくとも備えており、撮像装置２０により撮像された画像は、目開閉判定装置１０に入力されその内部において、画像のデータの形態で取り扱われる。また、画像データは、画像を構成する複数の各画像の輝度を表す輝度値を少なくとも含んでいる。なお、本明細書において「画像」とは「画像のデータ」の概念も含んでいる。そして、記憶装置は、撮像装置２０からの画像データ及び後述する画像処理の諸条件を記憶し、演算装置は、記憶された画像データに対して以下に示す画像処理（エッジ処理、二値化処理等などの処理）を行って、撮像された被写体８０の目の開閉を判定し、該判定結果を出力することが可能なように構成されている。
また、撮像装置２０からの画像以外にも、例えば、図１に示すように、装置に外部メモリ２１を接続し、該外部メモリ２１からの画像に対して、目の開閉の判定をしてもよく、さらに、入力される画像としては、例えばスキャナで取り込んだ画像、ファクシミリにより送付された画像、ペイントツールにより目を写実的に描いた画像などが挙げられ、特に限定されるものではない。

そして、目開閉判定装置１０は、図１に示ように画像入力部１１、顔特徴点抽出部１２、エッジ検出部１３、二値化処理部１４、目開閉判定部１５、及び判定結果出力部１６を少なくとも備えることにより、被写体８０の目の開閉の判定を実現することができる。

画像入力部１１は、撮像装置２０により撮像された顔を含む被写体８０の画像を入力し、顔特徴点抽出部１２とエッジ検出部１３とに出力可能になっている。顔特徴点抽出部１２は、撮像した画像中から被写体８０の顔の位置を見つけ出し、目に関する顔の特徴点を抽出するものである。具体的には、顔特徴点抽出部１２は、図２（ａ）に示すように、顔の位置を見つけ出して顔を表す範囲を四角で囲み、目に関する顔の特徴点として、右目、左目それぞれの中心の座標を抽出して目の中心を求め、図２（ｂ）に示すように、右目及び左目の目頭と目尻の座標を抽出して目の大きさを求めるように構成されている。さらに、このようにして得られた目の大きさ、目の中心位置などの特徴点の情報は、エッジ検出部１３に出力されるようになっている。

なお、顔の範囲、目の中心位置、及び目の大きさを求めることができるのであれば、これらの特徴点の抽出する方法は、幾何学的形状を利用した方法、画像の濃淡のパターンを利用した方法などが挙げられ、特に限定されるものではない。また、図２（ｃ）に示すように、眉毛の先端と終端を目に関する顔の特徴点として抽出し、該抽出した特徴点から、目の大きさを推定してもよい。

エッジ検出部１３は、特徴点の情報（目の大きさ、目の中心位置）と画像入力部１１に入力された画像とに基づいて被写体８０の目の領域を設定し、設定された目の領域に対してＳｏｂｅｌフィルタによりエッジ検出を行うものである。具体的には、Ｓｏｂｅｌフィルタとは、注目画素を中心として隣接する上下左右の計８つの画素値に対して、所定の係数をそれぞれ乗算した画素値の合計値を算出することにより、複数の画素間の濃淡の変化を検出する処理である。該処理では、例えば、隣接する画素の画素値の変化が大きい部分は、前記合計値の絶対値が大きくなり、画素値の変化が小さい部分は、前記合計値の絶対値が小さくなる。このようにして、合計値の絶対値が大きい画素を連結することにより、各領域のエッジを検出することが可能となる。特に、本実施形態では、図３に示すＳｏｂｅｌフィルタの係数として、縦方向のエッジを検出する３×３のフィルタ係数を用いているので、横方向のエッジを検出するフィルタに比べてより精度良く後述する目の開閉の判定を行うことができる。さらに、エッジ検出部１３は、エッジ検出をした目の領域に関する画像のデータを、二値化処理部１４に出力するようになっている。

二値化処理部１４は、該エッジ検出した目の領域に対して二値化処理を行うものであり、エッジ検出された目の領域を表す各画素に対して、所定閾値（例えば輝度値を表す閾値）をもとにして二値に変換する処理を行うようになっている。具体的には、目の領域を表す各画素を前記閾値に基づいて所定の輝度値の閾値より大きい場合には黒画素に変換し、それ以下である場合には白画素に変換するような二値化処理を行うようになっている。さらに、二値化処理部１４は、該二値化処理されたデータを、目開閉判定部１５に出力するように構成されている。

目開閉判定部１５は、二値化処理した目の領域のデータに基づいて目の開閉を判定する処理を行うものである。具体的には、目の領域のうち黒画素の割合を求め、黒画素の割合が一定以上となる場合には目を開けていると判定し、それよりも小さい場合には目を閉じていると判定を行うようになっている。さらに、判定結果出力部１６は、目の開閉の結果を目開閉判定装置１０から外部機器に出力するように構成されている。

このように構成された目開閉判定装置１０は、図４に示すようなフローに従って動作する。具体的には、まず、ステップ４０１で撮像装置２０から顔が含まれた画像を画像入力部１１に入力する。次に、ステップ４０２で入力された画像から顔の位置を見つけ出し、顔特徴点抽出部１２により、顔の範囲、目の中心位置、及び目の幅等の顔の特徴点を抽出する。具体的には、図２（ａ）と共に前述したように、顔特徴点抽出部１２は、入力された画像から顔の範囲を四角で囲むべく、右上と左下、あるいは左上と右下のように２点を抽出する。さらに、図２（ｂ）に示すように、目の中心位置として右目左目それぞれの座標を抽出し、目の大きさとして、目頭と目尻の座標を特徴点として抽出する。

そして、ステップ４０３に進み、顔特徴点抽出部１２が特徴点を抽出できたかの判定を行い、特徴点の抽出ができなかった場合、すなわち特徴点の抽出に失敗した場合には、ステップ４０４へ進み、抽出エラーとして一連の処理を終了する。一方、ステップ４０３で、特徴点を抽出できた場合には、ステップ４０５へ進む。

ステップ４０５では、エッジ検出部１３により、抽出した目の中心位置、目の大きさ等の特徴点に基づいて目の範囲を設定し、その範囲内の各画素について３×３のＳｏｂｅｌフィルタを用いたフィルタ演算をすることによりエッジ検出を行う。次に、ステップ４０６で、二値化処理部１４により、二値化処理を行う。具体的には、エッジ検出をした画像の各画素に対して、輝度に関する閾値を設け、閾値よりも以上の画素は黒画素に、閾値よりも小さい画素は白画素に変換する。この時の閾値は輝度値１４０前後が最適となる。

最後に、ステップ４０７に進み、目開閉判定部１５により、二値化処理を行った結果から、目領域の黒画素の割合を求め、黒画素の割合が一定以上ならば目を開けていると判定し、それよりも小さい場合には目を閉じていると判定する。尚、黒画素の割合に対する閾値は１０％前後である。

そして、ステップ４０８に進み、判定結果出力部１６により、判定結果を出力する。得られた判定結果に基づいて、目を閉じた画像と判定された画像のみを選択して消去してもよく、また、撮像時に目が閉じていることを撮像者に知らせるようにしてもよい。

このようにして、撮像した画像のうち、目の開閉を認識するに有用な目の領域のみを検出して二値化処理を行うので、目の開閉判定を高速に行うことができる。その結果、目開閉判定装置１０を演算処理能力に制限のあるポータブル機器などに組み込むことが容易となる。

なお、本実施形態では、顔特徴点抽出部１２を用いて、目に関する顔特徴点を抽出し、該特徴点に基づいて目の領域を設定したが、目の領域を容易に設定できるような画像であれば、目に関する顔特徴点の抽出を行わなくてもよい。

図５は、本発明に係る第二実施形態の目開閉判定装置４０の全体構成図を示したものであり、図６は、該装置４０をポータブル機器としてモバイル機器（携帯端末）５０に搭載した図である。また、図５に示す目開閉判定装置４０は、図１に示した装置１０と同様に、画像入力部、顔特徴点抽出部、エッジ検出部、及び二値化処理部を備えており、これらについては同じ符号を付すことにより説明は省略する。

第二実施形態に係る目開閉判定装置４０が、第一実施形態と相違する点は、輝度算出部４１と、画像選択部４３とを新たに備えた点と、判定結果出力部１６の代わりに通信部４４を備えた点である。尚、目開閉判定部４２は、第一実施形態の判定部と判定方法が相違している。

輝度算出部４１は、顔特徴点抽出部１２により抽出された被写体８０の顔の範囲内における各画素の輝度を測定し、測定した輝度の平均値を算出するようになっている。そして、目開閉判定部４２は、二値化処理した目の領域のデータに、さらに前記輝度の平均値を関連付けて目の開閉を判定するようになっている。具体的には、図７に示すように、横軸に顔範囲の輝度の平均値とし、縦軸に目の領域を二値化処理した後の黒画素の割合とし、予め顔の輝度の平均値と黒画像の割合とから、目が開いている場合の分布範囲ａと目が閉じている場合の分布範囲ｂを決定したマップを作成する。このような分布範囲ａ，ｂは、予め実験を行うことにより、設定することが可能であり、輝度の平均値の変化にあわせて変化し、境界線ｃを挟んで表すことができる。まお、図７の境界線は黒画素の割合が５〜２０％程度の範囲で変化するのが最適である。また、この境界線ｃは、図７のように直線で近似することもできるし、図８に示すように曲線あるいはそれ以外の形をしていても良い。

このように、目開閉判定部４２は、二値化処理した目の領域のデータに、さらに輝度の平均値を関連付けて目の開閉を判定するので、撮像時の照明等の条件にかかわらず、該輝度に合わせて精度の良い目の開閉の判定を行うので、該判定の精度を高めることができる。

画像選択部４３は、図６に示すように、撮像装置により撮像された複数の画像５１のうち、目開閉判定部４２により目が開いていると判定した画像５３を選択するようになっており、このように選択された画像を、通信部４４に出力するようになっている。また、通信部４４は、画像選択部４３により選択した画像をサーバ６０に送信可能になっている。すなわち、通信部４４は、画像を送信可能な送信部（図示せず）を備えている。なお、通信部４４は、サーバから画像を受信可能な受信部（図示せず）もさらに備えており、目開閉判定装置４０は、該受信部により受信された画像について目の開閉の判定を行ってもよい。

このように構成された目開閉判定装置４０は、図９，図１０に示すようなフロー図に従って動作する。尚、図９は、図６に示すように撮像した複数画像のうち目を閉じていない（目が開いている）画像を選択し、現像用の画像としてサーバに送信するための処理を説明するためのフロー図である。図１０は、図９に示すステップ８０２の詳細ステップを説明するためのフロー図である。

まず、ステップ８０１で、撮像装置２０によって撮像した複数の画像のうち、現像したい画像を選択する。この選択は、例えば、複数の画像が収納されたフォルダのうちの１つを選択し、該フォルダ内の画像が全て選択される。このような選択は、人為的に行われても、タイマーなどを設定して画像を撮像してから定期的に選択するように設定してもよい。

次に、ステップ８０２に進み、選択された複数の画像に対して順次目の開閉の判定のための画像処理を行う。具体的には、図１０に示すようなステップ９０１〜９０７の順で行われる。

まず、図１０に示すように、ステップ９０１で撮像装置２０から顔が含まれた画像を画像入力部１１に入力する。次に、ステップ９０２で入力された画像から顔の位置を見つけ出し、顔特徴点抽出部１２により、顔の範囲、目の中心位置、及び目の幅等の顔の特徴点を抽出する。

そして、ステップ９０３に進み、顔特徴点抽出部１２が特徴点を抽出できたかの判定を行い、特徴点の抽出ができなかった場合、すなわち特徴点の抽出に失敗した場合には、ステップ９０４に進み、エラーとして、一連の画像処理を終了する。一方、ステップ９０３で、特徴点を抽出できた場合には、ステップ９０５へ進む。

ステップ９０５では、被写体８０の顔の範囲内における各画素の輝度を測定し、測定した輝度の平均値を算出し、ステップ９０６に進む。ステップ９０６では、エッジ検出部１３により、前述と同様のフィルタ演算をすることによりエッジ検出を行い、ステップ９０７では、二値化処理部１４により、二値化処理を行う。このように一連の画像処理により得られた結果から、目の開閉の判定を行うべく、ステップ８０３に進む。

ステップ８０３では、二値化処理した目の領域のデータに、さらに輝度の平均値を関連付けて目の開閉を判定する。具体的には、ステップ９０５で求めた輝度の平均値と、ステップ９０７の二値化処理により得られる黒画素の割合（二値化処理した目の範囲の黒画素数を二値処理した目の範囲の総画素数で除算した値）とを用いて、前記図７に示すような予め設定したマップを参照し、目の開閉を判定する。

その結果、目が開いていると判定した場合には、ステップ８０５に進み、図６に示す画像一覧５１から判定した画像のデータを送信データとして登録してステップ８０６に進む。一方、ステップ８０３で目が閉じていると判定した場合には、ステップ８０４に進む。ステップ８０４，ステップ８０６では、フォルダ内にある画像一覧のうち、開閉の判定した画像が最後の画像であるか（画像一覧の総ての画像に対して目開閉の判定を行ったか）の判定を行う。判定の結果、開閉の判定をした画像データが最後のデータであると判定した場合には、ステップ８０８に進み、目が閉じている画像５４のデータを除く目が開いている画像５３のデータのみを選択し、送信データとして登録した画像データを全てサーバ６０に送信する。

一方、ステップ８０４，ステップ８０６において最後のデータでないと判定した場合に、さらにフォルダ内の次の画像データを選択し、再度ステップ８０２に戻り、フォルダ内の画像データ全てについて目開閉の判定が行われるまで、一連のステップを繰り返す。このようにして、撮像した画像のうち目が閉じている画像５４を排除し、目が開いている画像５３のみを一括してサーバ６０に送信し、これらの画像データを現像することができる。

本発明に係る第一実施形態の目開閉判定装置の全体構成図。 図１の顔特徴点抽出部の抽出方法を説明するための図であり、（ａ）は、画像中の顔の位置及び範囲の抽出を説明するための図であり、（ｂ）は、目の中心位置及び目の大きさの抽出を説明するための図であり、（ｃ）は、目の中心位置及び大きさを抽出する他の方法を説明するための図。 図１のエッジ検出手段で用いるフィルタを説明するための図。 第一実施形態に係る目開閉判定装置が行うステップを説明するためのフロー図。 本発明に係る第二実施形態の目開閉判定装置の全体構成図。 第二実施形態に係る目開閉装置を携帯端末に搭載した図。 顔範囲の輝度の平均値と、目の領域を二値化処理した後の黒画素の割合と、から目の開閉の領域をマッピングした図であり、境界線を直線近似した図。 顔範囲の輝度の平均値と、目の領域を二値化処理した後の黒画素の割合と、から目の開閉の領域をマッピングした図であり、境界線を曲線近似した図。 図６に示すように撮像した複数画像のうち目が開いている画像を選択し、現像用の画像としてサーバに送信するための処理を説明するためのフロー図。 図９に示すステップ８０２の詳細ステップを説明するためのフロー図。

符号の説明

１０：目開閉判定装置，１１：画像入力部，１２：顔特徴点抽出部，１３：エッジ検出部，１４：二値化処理部，１５：目開閉判定部，１６：判定結果出力部，２０：撮像装置，２１：外部メモリ、４０：目開閉判定装置，４１：輝度算出部，４２：目開閉判定部，４３：画像選択部，４４：通信部，５０：携帯端末，５１：画像一覧，５４：目が閉じている画像，５３：目が開いている画像，６０：サーバ，８０：被写体

Claims (18)

1. 目の画像から目の開閉を判定する装置であって、
   該装置は、入力された画像に基づいて目の領域のエッジ検出を行うエッジ検出部と、該エッジ検出を行った目の領域に対して二値化処理を行う二値化処理部と、該二値化処理を行った前記目の領域のデータに基づいて目の開閉の判定を行う目開閉判定部と、を少なくとも備えることを特徴とする目開閉判定装置。
2. 前記判定装置は、前記入力された画像に基づいて目に関する顔の特徴点の抽出を行う顔特徴点抽出部をさらに備え、前記エッジ検出部は、目の領域の設定を、前記特徴点の情報と前記入力された画像とに基づいて行うことを特徴とする請求項１に記載の目開閉判定装置。
3. 前記判定装置は、前記入力された画像から顔の輝度の算出を行う輝度算出部をさらに備え、前記目開閉判定部は、前記二値化処理した前記目の領域のデータに、さらに前記輝度の値を関連付けることにより、前記目の開閉の判定を行うことを特徴とする請求項１又は２に記載の目開閉判定装置。
4. 前記輝度算出部は、前記輝度の算出を、前記顔を表す各画素の輝度値の平均値を算出することにより行うことを特徴とする請求項３に記載の目開閉判定装置。
5. 前記二値化処理部は、前記目の領域に含まれる画素ごとに、黒画素または白画素のいずれかの画素となるように前記二値化処理を行い、前記目開閉判定部は、前記二値化処理した画素のうち黒画素の割合に対して閾値を設け、前記二値化処理した画素のうち黒画素の割合が前記閾値以上になった場合には目が開いていると判定し、それ以外の場合には前記画像中の目が閉じていると判定することにより、前記目の開閉の判定を行うことを特徴とする請求項１〜４のいずれかに記載の目開閉判定装置。
6. 前記目開閉判定部は、前記閾値を前記輝度値に応じて変化させることを特徴とする請求項５に記載の目開閉判定装置。
7. 前記エッジ検出部は、前記目の領域の縦方向のエッジを検出することにより前記エッジ検出を行うことを特徴とする請求項１〜６のいずれかに記載の目開閉判定装置。
8. 前記判定装置は、入力された複数の画像のうち、前記目開閉判定部により目が開いていると判定した画像を選択する画像選択部と、該選択した画像のデータを前記判定装置から装置外部に少なくとも送信可能とした送信部と、をさらに備えることを特徴とする請求項１〜７のいずれかに記載の目開閉判定装置。
9. 前記入力された画像は、前記撮像装置が撮像した画像であることを特徴とする請求項１〜８のいずれかに記載の目開閉判定装置。
10. 前記入力された画像は、前記装置の外部のメモリから出力される画像であることを特徴とする請求項１〜８のいずれかに記載の目開閉判定装置。
11. 前記判定装置は、装置外部から前記装置に画像を少なくとも受信可能とした受信部をさらに備えており、前記入力された画像は、前記受信部が受信した画像であることを特徴とする請求項１〜８のいずれかに記載の目開閉判定装置。
12. 目の画像から目の開閉を判定する方法であって、
    該方法は、入力された画像に基づいて目の領域のエッジ検出を行うステップと、該エッジ検出を行った目の領域に対して二値化処理を行うステップと、該二値化処理を行った前記目の領域のデータに基づいて前記目の開閉の判定を行うステップと、を少なくとも含むことを特徴とする目開閉判定方法。
13. 前記判定方法は、前記入力された画像に基づいて目に関する顔の特徴点の抽出を行うステップをさらに含み、前記エッジ検出を行うステップにおいて、目の領域の設定を、該特徴点の情報と前記入力された画像とに基づいて行うことを特徴とする請求項１２に記載の目開閉判定方法。
14. 前記判定方法は、前記入力された画像から顔の輝度の算出を行うステップをさらに含み、前記目の開閉の判定を、前記二値化処理した前記目の領域のデータにさらに前記輝度の値を関連付けることにより行うことを特徴とする請求項１３に記載の目開閉判定方法。
15. 前記輝度の算出を、前記顔を表す各画素の輝度値の平均値を算出することにより行うことを特徴とする請求項１４に記載の目開閉判定方法。
16. 前記二値化処理を、前記目の領域に含まれる画素ごとに、黒画素または白画素のいずれかの画素となるように行い、前記目の開閉の判定を行うステップにおいて、前記二値化処理した画素のうち黒画素の割合に対して閾値を設け、前記目開閉判定を、前記二値化処理した画素のうち黒画素の割合が前記閾値以上になった場合には目が開いていると判定し、それ以外の場合には前記画像中の目が閉じていると判定することにより行うことを特徴とする請求項１２〜１５のいずれかに記載の目開閉判定方法。
17. 前記閾値に基づいて目の開閉の判定を行う際に、前記閾値を前記輝度値に応じて変化させることを特徴とする請求項１６に記載の目開閉判定方法。
18. 前記エッジ検出を、前記目の領域の縦方向のエッジ検出により行うことを特徴とする請求項１２〜１７のいずれかに記載の目開閉判定方法。

Images