JP2013015970A - 瞼検出装置、瞼検出方法及びプログラム - Google Patents

Abstract

【課題】ドライバの瞼を正確に検出する。
【解決手段】ドライバの顔が写る画像から検出され、ペアリングされたエッジ同士の距離ｄを順次算出する。そして、算出した距離ｄの変化に基づいて、瞼のエッジのペアとしての確度が低い候補を除外していき、最終的に残ったエッジのペアを、上瞼のエッジと下瞼のエッジのペアとして検出する（Ｓ２０８）。このため、瞼のエッジに近い特徴だけでなく、瞼としての振る舞いを考慮した検出を行うことができる。したがって、ドライバの瞼のエッジを、正確に検出することが可能となる。
【選択図】図３

Description

本発明は、瞼検出装置、瞼検出方法及びプログラムに関し、更に詳しくは、眼の画像から瞼を検出する瞼検出装置、眼の画像から瞼を検出するための瞼検出方法及びプログラムに関する。

近年、交通事故の死者数は減少傾向にあるものの、事故の発生件数は依然として高い水準にある。事故の原因は様々であるが、居眠り運転等、ドライバが覚醒度が低下した状態で車両の運転を行うことも、事故を誘発する原因の１つである。そこで、ドライバの覚醒度を判定する際の指標となる瞼の動きを、精度良く検出するための技術が種々提案されている。（例えば特許文献１及び２参照）。

特開２００９−１２５５１８号公報 特開平９−２３０４３６号公報

特許文献１に開示された装置は、ドライバの顔が写る写真から差分画像を生成する。そして、差分画像に瞼の残像がある場合に、ドライバが瞬きをしているものと判断する。しかしながら、ドライバの顔全体が動いてしまった場合には、瞼が動いていないにもかかわらず、差分画像に瞼の残像が現れることがある。このような場合には、特許文献１に開示された装置では、ドライバが瞬きをしているかどうかを、正確に判断することが困難になると考えられる。

特許文献２に開示された装置は、ドライバの眼によって反射される反射光の強度が、眼が開いているときと、閉じているときとで変化することを利用して、ドライバが瞬きをしているかどうかを判断する。しかしながら、ドライバの周囲環境の変化にともなって、ドライバの眼に入射する光の強度が変化すると、瞬きの有無にかかわらず、反射光の強度が変化してしまう。このような場合には、特許文献２に開示された装置では、ドライバが瞬きしているかどうかを、正確に判断することが困難になると考えられる。

本発明は、上述の事情の下になされたもので、ドライバの瞼を正確に検出することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る瞼検出装置は、
所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出するエッジ検出手段と、
検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する抽出手段と、
前記第１エッジと、前記第２エッジとをペアリングするペアリング手段と、
ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する閾値算出手段と、
前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する決定手段と、
前記決定手段による決定結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの前記第１エッジと前記第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する検出手段と、
を備える。

本発明の第２の観点に係る瞼検出方法は、
所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出する工程と、
検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する工程と、
前記第１エッジと、前記第２エッジとをペアリングする工程と、
ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する工程と、
前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する工程と、
前記決定の結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの前記第１エッジと前記第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する工程と、
を含む。

本発明の第３の観点に係るプログラムは、
コンピュータに、
所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出する手順と、
検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する手順と、
前記第１エッジと、前記第２エッジとをペアリングする手順と、
ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する手順と、
前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する手順と、
前記決定の結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの前記第１エッジと前記第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する手順と、
を実行させる。

本発明によれば、ドライバの顔の画像から検出されたエッジの中から、瞼のエッジの候補が抽出され、ペアリングされる。そして、ペアリングされたエッジ同士の距離の時間的な変化に基づいて、ドライバの瞼のエッジのペアが検出される。このため、ドライバが一瞬顔を動かしたり、周囲環境が一時的に変化したとしても、時間的な変化を一定期間観察することで、正確にドライバの瞼のエッジを検出することができる。その結果、ドライバの覚醒度を正確に判定することが可能となる。

第１の実施形態に係る瞼検出装置のブロック図である。 撮影装置によって撮影された画像を示す図である。 ＣＰＵによって実行される一連の処理を示すフローチャートである。 水平エッジ検出オペレータを示す図である。 垂直エッジ検出オペレータを示す図である。 画像から検出されたエッジを示す図である。 瞼のエッジの候補を示す図である。 エッジ間の距離を算出する手順を説明するための図である。 瞼のエッジを検出するための手順を説明するための図である。 瞼のエッジを検出するための手順を説明するための図である。 瞼のエッジを検出するための手順を説明するための図である。 瞼のエッジを検出するための手順を説明するための図である。 瞼のエッジを検出するための手順を説明するための図である。 第２の実施形態に係る瞼検出装置のブロック図である。

《第１の実施形態》
以下、本発明の第１の実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る瞼検出装置１０の概略的な構成を示すブロック図である。瞼検出装置１０は、ドライバの顔が写る画像から、当該ドライバの瞼を検出する装置である。図１に示されるように、瞼検出装置１０は、演算装置２０と、撮影装置３０を有している。

撮影装置３０は、被写体を撮影することにより取得した画像を電気信号に変換して出力する装置である。図２には、撮影装置３０によって撮影された画像ＩＭが示されている。画像ＩＭを参照するとわかるように、この撮影装置３０は、車両の運転席に着座するドライバ５０の顔が、視野のほぼ中心に位置するように、取り付け角や画角が調整された状態で、例えばステアリングコラム上或いはステアリングに取り付けられている。そして、撮影装置３０は、ドライバ５０の顔を所定のサンプリング周期で撮影し、撮影して得た画像に関する画像情報を演算装置２０へ出力する。ここでは、撮影装置３０は、例えば１秒間に４枚の画像に関する画像情報を出力する。

ここで、説明の便宜上、画像ＩＭの左下のコーナーを原点とするＸＹ座標系を定義し、以下、適宜ＸＹ座標系を用いた説明を行う。

図１に戻り、演算装置２０は、ＣＰＵ（Central Processing Unit）２１、主記憶部２２、補助記憶部２３、表示部２４、入力部２５、及びインターフェイス部２６を有するコンピュータである。

ＣＰＵ２１は、補助記憶部２３に記憶されたプログラムを読み出して実行する。ＣＰＵ２１の具体的な動作については後述する。

主記憶部２２は、ＲＡＭ（Random Access Memory）等の揮発性メモリを有している。主記憶部２２は、ＣＰＵ２１の作業領域として用いられる。

補助記憶部２３は、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部２３は、ＣＰＵ２１が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置３０から出力される画像に関する情報、及びＣＰＵ２１による処理結果などを含む情報を順次記憶する。

表示部２４は、ＬＣＤ（Liquid Crystal Display）などの表示ユニットを有している。表示部２４は、ＣＰＵ２１の処理結果等を表示する。

入力部２５は、入力キーや、タッチパネル等のポインティングデバイスを有している。オペレータの指示は、入力部２５を介して入力され、システムバス２７を経由してＣＰＵ２１へ通知される。

インターフェイス部２６は、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮影装置３０は、インターフェイス部２６を介してシステムバス２７に接続される。

図３のフローチャートは、ＣＰＵ２１によって実行される瞼検出処理プログラムの一連の処理アルゴリズムに対応している。以下、図３を参照しつつ、瞼検出装置１０の動作について説明する。図３のフローチャートに示される一連の処理は、例えば車両のイグニッションスイッチがオンになると、定期的に実行される。また、ここでは撮影装置３０によって、図２に示される画像ＩＭが撮影されたものとする。

まず、最初のステップＳ２０１では、ＣＰＵ２１は、内蔵するカウンタのカウンタ値Ｎを零にリセットする。

次のステップＳ２０２では、ＣＰＵ２１は、カウンタ値Ｎをインクリメントする。

次のステップＳ２０３では、ＣＰＵ２１は、補助記憶部２３に順次蓄積される画像ＩＭ_Ｎの画像情報を取得し、画像ＩＭ_Ｎのエッジを検出する。このエッジの検出は、画像ＩＭに対してソーベルフィルタを用いた画像処理を実行することにより行う。

具体的には、ＣＰＵ２１は、まず、図４に示される水平エッジ検出オペレータを用いて、画像ＩＭを構成する画素それぞれのエッジ値を算出する。このエッジ値は、エッジ値の算出対象となる画素の上側（＋Ｙ側）の画素の輝度が高く、下側の画素の輝度が低い場合に＋になる。そして、エッジ値の算出対象となる画素の上側（＋Ｙ側）の画素の輝度が低く、下側（−Ｙ側）の画素の輝度が高い場合に−になる。そこで、ＣＰＵ２１は、エッジ値が第１の閾値以上の画素と、エッジ値が第２の閾値以下の画素を抽出する。

次に、ＣＰＵ２１は、図５に示される垂直エッジ検出オペレータを用いて、画像ＩＭを構成する画素それぞれのエッジ値を算出する。このエッジ値は、エッジ値の算出対象となる画素の左側（−Ｘ側）の画素の輝度が高く、右側（＋Ｘ側）の画素の輝度が低い場合に＋になる。そして、エッジ値の算出対象となる画素の左側（−Ｘ側）の画素の輝度が低く、右側（＋Ｘ側）の画素の輝度が高い場合に−になる。そこで、ＣＰＵ２１は、エッジ値が第１の閾値以上の画素からなる画素と、エッジ値が第２の閾値以下の画素を抽出する。

上述のようにＣＰＵ２１によって抽出される画素は、図６に破線及び実線で示されるエッジ６０Ａ，６０Ｂを構成する。破線で示されるエッジ６０Ａは、エッジ値の合計が＋の画素からなるプラスエッジである。また、実線で示されるエッジ６０Ｂは、エッジ値の合計が−の画素からなるマイナスエッジである。

次のステップＳ２０４では、ＣＰＵ２１は、連続エッジの検出を行う。具体的には、ＣＰＵ２１は、ステップＳ２０３で抽出した画素のうち、エッジ値の極性が等しく、相互に隣接する画素をグループ化する。これにより、複数の画素からなる複数の画素群が規定される。次に、ＣＰＵ２１は、複数の画素群の中から横方向（Ｘ軸方向）の長さが閾値以上のグループを連続エッジとして検出する。

例えば、図７に示されるエッジ６０Ａ_５は、Ｘ軸方向に連続し、極性が＋の画素によって構成される。ＣＰＵ２１によるエッジ検出が行われると、エッジ６０Ａ_５に代表されるように、相互に隣接し極性が等しい画素からなる画素群が、連続エッジとして検出される。これにより、図６に破線及び実線で示されるエッジ６０Ａ，６０Ｂが検出される。

次のステップＳ２０５では、ＣＰＵ２１は、エッジ６０Ａ，６０Ｂそれぞれの重心、及び長さを算出する。

例えば、図８を参照するとわかるように、ＣＰＵ２１は、エッジ６０Ａ_１の重心を求める場合には、エッジ６０Ａ_１の両端の点Ｄ_１、Ｄ_２のＸ座標、Ｘ_１，Ｘ_２を用いて、次式（１）で示される演算を行うことで、重心ＳＡ_１のＸ座標ＡＸ_１を算出する。そして、Ｘ座標をＡＸ_１とし、エッジ６０Ａ_１上にある点を重心ＳＡ_１として算出する。

ＡＸ_１＝（Ｘ_１＋Ｘ_２）／２ …（１）

同様に、ＣＰＵ２１は、エッジ６０Ｂ_１の重心を求める場合には、エッジ６０Ｂ_１の両端の点Ｄ_１、Ｄ_２のＸ座標、Ｘ_１，Ｘ_２を用いて、次式（２）で示される演算を行うことで、重心ＳＢ_１のＸ座標ＢＸ_１を算出する。そして、Ｘ座標をＢＸ_１とし、エッジ６０Ｂ_１上にある点を重心ＳＢ_１として算出する。

ＢＸ_１＝（Ｘ_１＋Ｘ_２）／２ …（２）

また、エッジ６０Ａ，６０Ｂの長さは、例えば、エッジ６０Ａ，６０Ｂにフィッティングした曲線の長さを算出することにより求めることができる。

次のステップＳ２０６では、ＣＰＵ２１は、エッジのペアリングを行う。瞼の大きさは、個人相互間で個体差はあるが、概ねその大きさを予測することができる。そこで、ＣＰＵ２１は、エッジ６０Ａ，６０ＢのＸ軸方向の大きさ（幅）に基づいて、瞼のエッジの候補を抽出する。これにより、極端に長いエッジや、極端に短いエッジが、瞼のエッジの候補から除外される。

次に、ＣＰＵ２１は、エッジ６０Ａとエッジ６０Ｂの横方向の重心位置の差が基準値以下であり、かつ、エッジ６０Ａの重心ＳＡとエッジ６０Ｂの重心ＳＢの距離が基準値以下であるエッジ６０Ａ，６０Ｂの組を抽出する。

例えば、図８を参照するとわかるように、ＣＰＵ２１は、エッジ６０Ａ_１の重心ＳＡ_１のＸ座標ＡＸ_１と、エッジ６０Ｂ_１の重心ＳＢ_１のＸ座標ＢＸ_１との差ｄｆ_１１と、エッジ６０Ａ_１の重心ＳＡ_１と、エッジ６０Ｂ_１の重心ＳＢ_１との距離ｄ_１１をそれぞれ算出する。そして、差Ｄｆ_１１と距離Ｄ_１１が、それぞれ所定の基準値よりも小さい場合に、エッジ６０Ａ_１とエッジ６０Ｂ_１をペアリングする。

ＣＰＵ２１は、上述の処理を、各エッジ６０Ａ_ｉと各エッジ６０Ｂ_ｊとの間で行うことで、エッジ６０Ａ_ｉとエッジ６０Ｂ_ｊのペアリングを行う。これにより、図７を参照するとわかるように、エッジ６０Ａ_１とエッジ６０Ｂ_１、エッジ６０Ａ_２とエッジ６０Ｂ_２、エッジ６０Ａ_３とエッジ６０Ｂ_３、エッジ６０Ａ_４とエッジ６０Ｂ_４、エッジ６０Ａ_５とエッジ６０Ｂ_５がそれぞれペアリングされる。

なお、エッジ６０Ａ_１は、ドライバ５０の右眉の上側のエッジであり、エッジ６０Ｂ_１は、右眉の下側のエッジである。エッジ６０Ａ_２は、ドライバ５０の左眉の上側のエッジであり、エッジ６０Ｂ_２は、左眉の下側のエッジである。エッジ６０Ａ_３は、ドライバ５０の右眼上瞼のエッジであり、エッジ６０Ｂ_３は、右眼下瞼のエッジである。エッジ６０Ａ_４は、ドライバ５０の左眼上瞼のエッジであり、エッジ６０Ｂ_４は、左眼下瞼のエッジである。エッジ６０Ａ_５は、ドライバ５０の上唇の上側のエッジであり、エッジ６０Ｂ_５は、下唇の下側のエッジである。

また、ＣＰＵ２１は、ペアリングされたエッジ６０Ａ_ｉ，６０Ｂ_ｊ同士の距離ｄ_ｉｊを、画像ＩＭ_Ｎが撮影された時間ｔ_Ｎと関連付けて、データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）として、補助記憶部２３へ記憶する。これにより、データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）が、時系列的に保存される。

次のステップＳ２０７では、ＣＰＵ２１は、カウンタ値Ｎが２０より大きいか否かを判断する。ステップＳ２０７での判断が否定された場合は（ステップＳ２０７：Ｎｏ）、ＣＰＵ２１は、ステップＳ２０２へ戻り、以降、ステップＳ２０２〜ステップＳ２０７までの処理を繰り返し実行する。これにより、画像ＩＭ_１〜ＩＭ_２０について、それぞれエッジの検出、エッジのペアリング等の処理が行われる。そして、データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）が、補助記憶部２３へ時系列的に保存される。

本実施形態では、演算装置２０に対して、１秒間に４枚の画像ＩＭに関する画像情報が出力される。このため、これらのデータＤｉｊ_１（ｄ_ｉｊ，ｔ_１）〜Ｄｉｊ_２０（ｄ_ｉｊ，ｔ_２０）は、約５秒間ドライバ５０を観察したときのデータとなる。

一方、ステップＳ２０７での判断が肯定された場合は（ステップＳ２０７：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ２０８へ移行する。

ステップＳ２０８では、ＣＰＵ２１は、ペアリングされたエッジの中から、上瞼のエッジと下瞼のエッジとのペアを検出する。具体的には、ＣＰＵ２１は、後述する第１処理、第２処理、第３処理、及び第４処理を行うことで、上瞼のエッジと下瞼のエッジとのペアを検出する。

例えば、図９には、縦軸を距離ｄとし、横軸を時間とする座標系にプロットされた点が示されている。これらの点は、上瞼のエッジと下瞼のエッジによるデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）によって規定される点である。また、この一連のデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）は、時刻ｔ_１から時刻ｔ_２までの間に、瞬きが行われたときのものである。

図９に示されるように、ドライバ５０の眼が開いているときには、ドライバ５０の上瞼のエッジと下瞼のエッジとの距離ｄは、閾値ｔｈ_１より大きくなり、ドライバ５０の眼が閉じているときには、ドライバ５０の上瞼のエッジと下瞼のエッジとの距離ｄが、閾値ｔｈ_１よりも小さくなる。

そして、データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）が、上瞼のエッジと下瞼のエッジによるデータである場合には、閾値ｔｈ_１より大きい距離ｄ_ｉｊをもつデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の数Ｍ１が、閾値ｔｈ_１以下の距離ｄ_ｉｊをもつデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の数よりも支配的になる。

《第１処理》
そこで、ＣＰＵ２１は、補助記憶部２３からデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）を読み出す。そして、読み出したデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の中から、距離ｄ_ｉｊの最小値ｄ_ＭＩＮと、最大値ｄ_ＭＡＸを用いて次式（３）で示される演算を行い、閾値ｔｈ（ｔｈ_１，ｔｈ_２，ｔｈ_３）を算出する。

ｔｈ＝ｄ_ＭＩＮ＋（（ｄ_ＭＡＸ−ｄ_ＭＩＮ）／３） …（３）

そして、ＣＰＵ２１は、閾値ｔｈより大きい距離ｄ_ｉｊをもつデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の数Ｍ１をカウントする。そして、Ｍ１の値が、基準値よりも少ない場合には、読み出したデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。

例えば、図１０に示されるように、閾値ｔｈ_２よりも小さい距離ｄ_ｉｊをもつデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の数Ｍ２が、閾値ｔｈ_２以上の距離ｄ_ｉｊをもつデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の数よりも支配的である場合には、ＣＰＵ２１は、当該データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。図１０に示されるデータは、例えば眼鏡のフレームによるエッジのペアに関連するデータである。このため、上述の処理で、眼鏡のフレームによるペア等が候補から除外される。

《第２処理》
図９を参照するとわかるように、ドライバ５０が瞬きをすると、距離ｄは、所定の基準値Ｖ１_ｍｉｎ（例えば３．５）以下になる。そこで、ＣＰＵ２１は、補助記憶部２３から読み出したデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の中から、距離ｄ_ｉｊの最小値ｄ_ＭＩＮを抽出する。そして、この最小値ｄ_ＭＩＮと基準値Ｖ１_ｍｉｎとを比較して、距離ｄ_ｉｊの最小値ｄ_ＭＩＮの方が、基準値Ｖ１_ｍｉｎよりも大きい場合には、当該データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。

例えば、図１１に示されるように、距離ｄ_ｉｊの最小値ｄ_ＭＩＮの方が、基準値Ｖ１_ｍｉｎよりも大きい場合には、ＣＰＵ２１は、当該データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。図１１に示されるデータは、例えば眉毛の上側のエッジ６０Ａ_１，６０Ａ_３と下側のエッジ６０Ｂ_１，６０Ｂ_２のペアに関連するデータである。このため、上述の処理で、眉毛のエッジのペアが候補から除外される。

《第３処理》
図９に示されるように、ドライバ５０が眼を開いているときの距離ｄと、眼を閉じているときの距離ｄとの差は、ある程度の大きさ（例えば６）になる。そこで、ＣＰＵ２１は、補助記憶部２３から読み出したデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の中から、距離ｄ_ｉｊの最大値ｄ_ＭＡＸと、距離ｄ_ｉｊの最小値ｄ_ＭＩＮと抽出する。そして、ＣＰＵ２１は、最大値ｄ_ＭＡＸと最小値ｄ_ＭＩＮとの差ｄｆｆ（＝ｄ_ＭＡＸ−ｄ_ＭＩＮ）と、基準値Ｖ２_ｍｉｎとを比較して、差ｄｆｆの方が、基準値Ｖ２_ｍｉｎよりも小さい場合には、当該データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。

例えば、図１２を参照するとわかるように、最大値ｄ_ＭＡＸと最小値ｄ_ＭＩＮとの差ｄｆｆ（＝ｄ_ＭＡＸ−ｄ_ＭＩＮ）が比較的小さく、基準値Ｖ２_ｍｉｎよりも小さい場合には、ＣＰＵ２１は、当該データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。図１２に示されるデータは、例えば眉毛の上側のエッジ６０Ａ_１，６０Ａ_２と下側のエッジ６０Ｂ_１，６０Ｂ_２のペアに関連するデータである。このため、上述の処理で、眉毛のエッジのペアが候補から除外される。

《第４処理》
ドライバ５０が眼を開いているときの距離ｄは、図９を参照するとわかるように、概ね一定の値（ここでは９）に収束する。そこで、ＣＰＵ２１は、読み出したデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の中から、距離ｄ_ｉｊの最小値ｄ_ＭＩＮと最大値ｄ_ＭＡＸとを用いて上記式（３）で示される演算を行い、閾値ｔｈ_３を算出する。そして、閾値ｔｈ_３以上の距離ｄ_ｉｊをもつデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の分散ｖｒを算出し、この分散ｖｒが所定の基準値Ｖ３_ｍｉｎより大きい場合には、読み出したデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。

例えば、ＣＰＵ２１は、図１３に着色して示される点に対応するデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の分散ｖｒを算出する。そして、この分散ｖｒが所定の基準値Ｖ３_ｍｉｎより大きい場合には、読み出したデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。図１３に示されるデータは、例えば上唇のエッジ６０Ａ_５と、下唇のエッジ６０Ｂ_５のペアに関連するデータである。このため、上述の処理で、唇のエッジのペアが候補から除外される。

ＣＰＵ２１によって、第１処理〜第４処理が実行されると、眉毛のエッジのペアや、唇のエッジのペアなどが除外される。これにより、例えば図９に示される上瞼のエッジ６０Ａ_３，６０Ａ_４と下瞼のエッジ６０Ｂ_３，６０Ｂ_４によって得られるデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）だけが除外されることなく残る。そこで、ＣＰＵ２１は、除外されることなく残ったデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジ６０Ａ_３とエッジ６０Ｂ_３のペアを右眼上瞼と右眼下瞼のエッジのペアとして検出する。また、エッジ６０Ａ_４とエッジ６０Ｂ_４のペアを左眼上瞼と左眼下瞼のエッジのペアとして検出する。

ＣＰＵ２１は、ドライバ５０の瞼のエッジのペアの検出が終了すると、一連の処理を終了する。以降、ＣＰＵ２１は、撮影装置３０から出力される画像ＩＭに含まれる、エッジ６０Ａ_３とエッジ６０Ｂ_３のペアと、エッジ６０Ａ_４とエッジ６０Ｂ_４のペアを両眼の瞼のエッジとして観察して、ドライバ５０の瞬き回数や、間隔などをサンプリングする。例えばエッジ６０Ａ_３とエッジ６０Ｂ_３との距離ｄ_３３、或いはエッジ６０Ａ_４とエッジ６０Ｂ_４との距離ｄ_４４が、所定の閾値以下となりその後一定の大きさとなった場合に、ドライバ５０が瞬きをしたと判断することができる。

ＣＰＵ２１は、瞬きのサンプリング結果を、例えば外部装置等へ出力する。これにより、車両を運転するドライバ５０の覚醒度等を監視することが可能となる。

以上説明したように、本第１の実施形態では、画像ＩＭから検出され、ペアリングされたエッジ同士の距離ｄが順次算出される。そして、算出された距離ｄの変化に基づいて、瞼のエッジのペアとしての確度が低い候補が除外されていくことで、最終的に残ったエッジのペアが、上瞼のエッジと下瞼のエッジのペアとして検出される。このため、瞼のエッジに近い特徴だけでなく、瞼としての振る舞いを考慮した検出が行われる。したがって、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。

具体的には、例えば、図１０に示されるように、閾値ｔｈ_２よりも小さい距離ｄ_ｉｊをもつデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の数Ｍ２が、閾値ｔｈ_２以上の距離ｄ_ｉｊをもつデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の数よりも支配的である場合には、当該データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアが、上瞼のエッジと下瞼のエッジの候補から除外される。これにより、例えば眼鏡のフレームによるエッジのペア等が、瞼のエッジの候補となることがなくなり、結果的に、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。

また、例えば、図１１に示されるように、距離ｄ_ｉｊの最小値ｄ_ＭＩＮの方が、基準値Ｖ１_ｍｉｎよりも大きい場合には、当該データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアが、上瞼のエッジと下瞼のエッジの候補から除外される。これにより、眉毛のエッジのペア等が、瞼のエッジの候補となることがなくなり、結果的に、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。

また、例えば、図１２を参照するとわかるように、最大値ｄ_ＭＡＸと最小値ｄ_ＭＩＮとの差ｄｆ（＝ｄ_ＭＡＸ−ｄ_ＭＩＮ）が比較的小さく、基準値Ｖ２_ｍｉｎよりも小さい場合には、当該データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアが、上瞼のエッジと下瞼のエッジの候補から除外される。これにより、眉毛のエッジのペア等が、瞼のエッジの候補となることがなくなり、結果的に、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。

また、例えば、図１３に着色して示される点に対応するデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）の分散ｖｒが所定の基準値Ｖ３_ｍｉｎより大きい場合には、読み出したデータＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）に対応するエッジのペアが、上瞼のエッジと下瞼のエッジの候補から除外される。これにより、唇のエッジのペア等が、瞼のエッジの候補となることがなくなり、結果的に、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。

《第２の実施形態》
次に、本発明の第２の実施形態を、図面を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。

本実施形態に係る瞼検出装置１０Ａは、演算装置２０が、ハードウエアで構成されている点で、第１の実施形態に係る瞼検出装置１０と相違している。図１４に示されるように、演算装置２０は、記憶部２０ａ、エッジ検出部２０ｂ、連続エッジ検出部２０ｃ、算出部２０ｄ、、ペアリング部２０ｅ、及び検出部２０ｆを有している。

記憶部２０ａは、撮影装置３０から出力される画像に関する情報、及び上記各部２０ｂ〜２０ｆの処理結果などを含む情報を順次記憶する。

エッジ検出部２０ｂは、記憶部２０ａに順次蓄積される画像ＩＭ_Ｎの画像情報を取得し、画像ＩＭ_Ｎのエッジを検出する。このエッジの検出は、画像ＩＭに対してソーベルフィルタを用いた画像処理を実行することにより行う。

連続エッジ検出部２０ｃは、連続エッジの検出を行う。具体的には、連続エッジ検出部２０ｃは、エッジ検出部２０ｂによって抽出された画素のうち、エッジ値の極性が等しく、相互に隣接する画素をグループ化する。これにより、複数の画素からなる複数の画素群が規定される。次に、連続エッジ検出部２０ｃは、複数の画素群の中から横方向（Ｘ軸方向）の長さが閾値以上のグループを連続エッジとして検出する。これにより、図６に破線及び実線で示されるエッジ６０Ａ，６０Ｂが検出される。

算出部２０ｄは、エッジ６０Ａ，６０Ｂそれぞれの重心ＳＡ，ＳＢ、及び長さを算出する。

ペアリング部２０ｅは、エッジのペアリングを行う。瞼の大きさは、個人相互間で個体差はあるが、概ねその大きさを予測することができる。そこで、ペアリング部２０ｅは、エッジ６０Ａ_ｉ，６０Ｂ_ｊのＸ軸方向の大きさ（幅）に基づいて、瞼のエッジの候補を抽出する。次に、エッジ６０Ａとエッジ６０Ｂの横方向の重心位置の差が基準値以下であり、かつ、エッジ６０Ａ_ｉの重心ＳＡ_ｉとエッジ６０Ｂ_ｊの重心ＳＢ_ｊの距離とが基準値以下であるエッジ６０Ａ_ｉ，６０Ｂ_ｊの組を抽出する。

また、ペアリング部２０ｅは、ペアリングされたエッジ６０Ａ_ｉ，６０Ｂ_ｊ同士の距離ｄ_ｉｊを、画像ＩＭ_Ｎが撮影された時間ｔ_Ｎと関連付けて、データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）として、補助記憶部２３へ記憶する。これにより、データＤｉｊ_Ｎ（ｄ_ｉｊ，ｔ_Ｎ）が、時系列的に保存される。

検出部２０ｆは、ペアリングされたエッジの中から、上瞼のエッジと下瞼のエッジとのペアを検出する。具体的には、検出部２０ｆは、上述した第１処理、第２処理、第３処理、及び第４処理を行うことで、上瞼のエッジと下瞼のエッジとのペアを検出する。そして、検出結果を例えば外部装置等へ出力する。

以上説明したように、本第２の実施形態では、画像ＩＭから検出され、ペアリングされたエッジ同士の距離ｄが順次算出される。そして、算出された距離ｄの変化に基づいて、瞼のエッジのペアとしての確度が低い候補が除外されていくことで、最終的に残ったエッジのペアが、上瞼のエッジと下瞼のエッジのペアとして検出される。このため、瞼のエッジに近い特徴だけでなく、瞼としての振る舞いを考慮した検出が行われる。したがって、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。

例えば、上記実施形態では、撮影装置３０は、例えば１秒間に４枚の画像に関する画像情報を出力することとした。これに限らず、撮影装置３０は、フレームレートに等しい数の画像に関する画像情報を出力し、演算装置２０は、２０秒間に出力される画像情報すべての時系列データに基づいて、瞼のエッジのペアを検出するための処理を実行することとしてもよい。

上記実施形態では、閾値ｔｈを上記式（３）に基づいて算出した。当該算出式は一例であり、他の式を用いて閾値ｔｈを算出することとしてもよい。

上記実施形態に係る演算装置２０の機能は、専用のハードウエアによっても、通常のコンピュータシステムによっても実現することができる。

上記第１の実施形態において演算装置２０の補助記憶部２３に記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。

本発明の瞼検出装置、瞼検出方法及びプログラムは、瞼の検出に適している。

１０，１０Ａ 瞼検出装置
２０ 演算装置
２０ａ 記憶部
２０ｂ エッジ検出部
２０ｃ 連続エッジ検出部
２０ｄ 算出部
２０ｅ ペアリング部
２０ｆ 検出部
２１ ＣＰＵ
２２ 主記憶部
２３ 補助記憶部
２４ 表示部
２５ 入力部
２６ インターフェイス部
２７ システムバス
３０ 撮影装置
５０ ドライバ
６０Ａ，６０Ｂ エッジ
Ｄ 点
Ｄｉｊ データ
Ｆ 顔
ＩＭ 画像
ＳＡ，ＳＢ 重心

Claims (7)

1. 所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出するエッジ検出手段と、
   検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する抽出手段と、
   前記第１エッジと、前記第２エッジとをペアリングするペアリング手段と、
   ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する閾値算出手段と、
   前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する決定手段と、
   前記決定手段による決定結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの前記第１エッジと前記第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する検出手段と、
   を備える瞼検出装置。
2. 前記閾値算出手段は、
   ペアリングされた前記第１エッジと前記第２エッジとの距離の最大値と最小値とに基づいて、前記閾値を算出する請求項１に記載の瞼検出装置。
3. 前記決定手段は、
   前記第１エッジと前記第２エッジとの距離の分散が、所定の基準値よりも大きい場合に、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外し、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外することを決定する請求項１又は２に記載の瞼検出装置。
4. 前記決定手段は、
   前記第１エッジと前記第２エッジとの距離の最小値が、所定の基準値よりも大きい場合に、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外し、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外することを決定する請求項１乃至３のいずれか一項に記載の瞼検出装置。
5. 前記決定手段は、
   前記第１エッジと前記第２エッジとの距離の最大値と最小値との差が、所定の基準値よりも小さい場合に、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外し、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外することを決定する請求項１乃至４のいずれか一項に記載の瞼検出装置。
6. 所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出する工程と、
   検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する工程と、
   前記第１エッジと、前記第２エッジとをペアリングする工程と、
   ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する工程と、
   前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する工程と、
   前記決定の結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの前記第１エッジと前記第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する工程と、
   を含む瞼検出方法。
7. コンピュータに、
   所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出する手順と、
   検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する手順と、
   前記第１エッジと、前記第２エッジとをペアリングする手順と、
   ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する手順と、
   前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する手順と、
   前記決定の結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの前記第１エッジと前記第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する手順と、
   を実行させるためのプログラム。

Images