JP2009003644A

JP2009003644A - 開眼度判定装置

Info

Publication number: JP2009003644A
Application number: JP2007162904A
Authority: JP
Inventors: Futoshi Tsuda; 太司津田; Takehiko Tanaka; 勇彦田中; Takeshi Sasuga; 岳史流石; Fumio Sugaya; 文男菅谷; Shinichi Kojima; 真一小島; Takashi Naito; 貴志内藤
Original assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Priority date: 2007-06-20
Filing date: 2007-06-20
Publication date: 2009-01-08
Anticipated expiration: 2027-06-20
Also published as: JP4825737B2

Abstract

【課題】上瞼の一部分が検出不能である場合にあっても、開眼度の判定を精度良く行うことが可能な開眼度判定装置を提供する。
【解決手段】上瞼３１，３２の一部分を用いて仮想上瞼曲線Ｌ_１，Ｌ_２を推定し、瞼開度の異なる複数の仮想上瞼曲線Ｌ_１，Ｌ_２同士の交点に基づいて仮想目尻点Ｅｔ_０及び仮想目頭点Ｅｈ_０と推定する。推定された仮想目尻点Ｅｔ_０及び仮想目頭点Ｅｈ_０を基準位置として開眼度を判定する。これにより、目尻及び目頭の位置を推定することができるので、精度良く開眼度を判定することができる。
【選択図】図２

Description

本発明は、撮像された顔画像に基づいて開眼度を判定する開眼度判定装置に関する。

従来、顔画像の濃淡情報から眼の位置を検出して人物の開眼度を判定するものが知られている。図７は、メガネを掛けた人物の眼周辺の顔画像を示す図である。図７に示すように、メガネ１を掛けている人物の開眼度判定を行う場合、メガネ１のレンズ部２で日差しが反射して、眼の下半分が検出不能となることがある。このように、眼の下半分が検出不能である場合には、目が開いている場合であっても、開眼度が低下していると誤判定してしまうことがある。例えば、特許文献１に記載の技術では、眼の下半分が検出不能である場合に、眉毛、メガネのフレーム等の特徴部位と上瞼との相対関係に基づいて、開眼度の低下の原因が覚醒度の低下によるものではないものと推定している。
特開２００１−３０７０７６号公報

しかしながら、従来技術では、上瞼の一部分が検出不能である場合に、精度良く開眼度を判定することが困難であった。

本発明は、このような課題を解決するために成されたものであり、上瞼の一部分が検出不能である場合にあっても、開眼度の判定を精度良く行うことが可能な開眼度判定装置を提供することを目的とする。

本発明による開眼度判定装置は、撮像された顔画像に基づいて開眼度を判定する開眼度判定装置において、少なくとも上瞼の一部分を撮像した上瞼画像に基づいて仮想上瞼曲線を推定する仮想上瞼曲線推定手段と、瞼開度の異なる複数の仮想上瞼曲線同士の交点に基づいて仮想目尻点及び仮想目頭点を推定する目尻目頭推定手段と、推定された仮想目尻点及び仮想目頭点を基準位置として開眼度を判定する開眼度判定手段とを備えることを特徴としている。

このような開眼度判定装置によれば、上瞼の一部分を用いて仮想上瞼曲線を推定し、瞼開度の異なる複数の仮想上瞼曲線同士の交点に基づいて仮想目尻点及び仮想目頭点と推定し、推定された仮想目尻点及び仮想目頭点を基準位置として開眼度を判定する。これにより、目尻及び目頭の位置を推定することができるので、精度良く開眼度を判定することができる。

本発明の開眼度判定装置によれば、上瞼の一部分が検出不能である場合であっても、精度良く開眼度判定を行うことができる。

以下、本発明による開眼度判定装置の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の実施形態に係る開眼度判定装置を示す概略構成図、図２は、撮像された眼画像に基づいて推定された仮想上瞼曲線を示す図、図３は、仮想上瞼曲線の推定方法を説明するための概略図、図４は、瞼開度の異なる複数の仮想上瞼曲線を示すものであり、検出可能範囲の仮想上瞼曲線を示す図、図５は、仮想目尻点及び仮想目頭点の推定方法を説明するための概略図である。

図１に示す開眼度判定装置１０は、車両等に搭載され運転者Ｄの覚醒度判定等に利用されるものである。この開眼度判定装置１０では、例えば、図７に示すように、メガネ１を掛けた運転者の開眼度を判定する際に、メガネ１のレンズ部２で日差しが反射して、眼の下半分（目尻、目頭）が検出不能である場合であっても、開眼度判定を可能とするものである。開眼度判定装置１０は、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、顔画像撮像カメラ１２からの映像信号に基づいて画像処理を行う顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４を備えている。顔画像撮像カメラ１２は、例えばコラムカバー１６の上面に設定され、運転者Ｄの顔画像を取得するものであり、例えば、毎秒３０フレームの画像を取得することができる。

顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された映像信号に基づいて、画像処理を行い運転者Ｄの眼を認識し、運転者Ｄの開眼度を判定する。

ここで、顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部１８に記憶されているプログラムを実行することで、前処理部２０、上瞼検出部２２、目尻目頭推定部２４、開眼度判定部２６が構成される。また、記憶部１８には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶されている。また記憶部１８は、撮像された画像データを一時記憶する記憶手段として機能する。

前処理部１８は、顔画像撮像カメラ１２から入力された顔画像をエッジ画像に変換するものである。上瞼検出部２２は、変換されたエッジ画像に基づいて運転者Ｄの眼を認識して上瞼画像を生成し、上瞼を検出する。生成された上瞼画像は、記憶部１８に一時保存される。

目尻目頭推定部２４は、本発明の仮想上瞼曲線推定手段及び目尻目頭推定手段として機能する（詳しくは後述する）。目尻目頭推定部２４は、少なくとも上瞼３１，３２の一部分を撮像した上瞼画像に基づいて仮想上瞼曲線Ｌ_１，Ｌ_２（図２参照）を推定するものであり、目尻目頭推定部２４は、瞼開度の異なる複数の仮想上瞼曲線Ｌ_１，Ｌ_２同士の交点に基づいて仮想目尻点Ｅｔ_０及び仮想目頭点Ｅｈ_０とを推定するものである。開眼度判定部２６は、推定された仮想目尻点Ｅｔ_０及び仮想目頭点Ｅｈ_０を基準位置として開眼度を判定する。

次に、図２〜図５を参照して、仮想上瞼曲線Ｌ_１，Ｌ_２、仮想目尻点Ｅｔ_０、及び仮想目頭点Ｅｈ_０の推定方法について説明する。図２〜５では、一点鎖線で示す境界線Ｌ_０より下側が検出不能範囲であり、境界線Ｌ_０より上側が検出可能範囲である。また、上瞼３１は、運転者Ｄ通常時における瞼開度の位置を示し、上瞼３２は、通常時より少し閉じた瞼開度の位置を示している。顔画像処理ＥＣＵ１４は、上瞼画像を参照して、検出された上瞼３１，３２に沿うように仮想上瞼曲線Ｌ_１，Ｌ_２を生成する。例えば、ベジェ曲線を利用して、仮想上瞼曲線Ｌ_１，Ｌ_２を生成することが好ましく、上瞼３１，３２に沿うように、ベジェ曲線の制御位置Ｐ（図３参照）を移動させる。検出不能範囲については、例えば、検出可能範囲内の端部Ｅｈ_１，Ｅｈ_２，Ｅｔ_１，Ｅｔ_２（境界線Ｌ_０上の端部）の傾き（例えば、境界線Ｌ_０に対する傾き）を算出し、この傾きの直線Ｌｈ_１，Ｌｈ_２，Ｌｔ_１，Ｌｔ_２を端部Ｅｈ_１，Ｅｈ_２，Ｅｔ_１，Ｅｔ_２から延長して、仮想上瞼曲線Ｌ_１，Ｌ_２を生成する。顔画像処理ＥＣＵ１４は、瞼開度の異なる複数の仮想上瞼曲線Ｌ_１，Ｌ_２を各々生成し、仮想上瞼曲線Ｌ_１（Ｌｈ_１）と仮想上瞼曲線Ｌ_２（Ｌｈ_２）との交点を仮想目頭点Ｅｈ_０と設定し、仮想上瞼曲線Ｌ_１（Ｌｔ_１）と仮想上瞼曲線Ｌ_２（Ｌｔ_２）との交点を仮想目尻点Ｅｔ_０と設定する。顔画像処理ＥＣＵ１４では、仮想目尻点Ｅｔ_０を目尻の位置と推定し、仮想目頭点Ｅｈ_０を目頭の位置と推定し、これらの仮想目尻点Ｅｔ_０及び仮想目頭点Ｅｈ_０を基準位置として、開眼度を判定する。具体的には、基準位置から仮想上瞼曲線Ｌ_１，Ｌ_２の頂点Ｃ_１，Ｃ_２までの距離を算出して、開眼度の判定を行う。

次に、顔画像処理ＥＣＵ１４で実行される制御処理の一例について図６のフローチャートに沿って説明する。図６は、本発明の実施形態に係る顔画像処理ＥＣＵで実行される制御処理を示すフローチャートである。まず、顔画像処理ＥＣＵ１４は、運転者Ｄの顔画像を撮像した顔画像撮像カメラ１２からの映像信号を入力する（Ｓ１）。次に、顔画像処理ＥＣＵ１４は、入力された映像信号に基づいてエッジ画像変換処理（Ｓ２）を行い、上瞼画像を生成し、上瞼を検出する（Ｓ３）。検出された上瞼画像は、顔画像処理ＥＣＵ１４の記憶部に一時保存される。また、顔画像処理ＥＣＵ１４は、常時、瞼開度を監視して、通常時の瞼開度を記憶している。

次に、顔画像処理ＥＣＵ１４は、記憶部に保存された上瞼画像から複数の上瞼画像を選択する（Ｓ４）。例えば、通常時の瞼開度の上瞼画像と、通常時より瞼開度が低下した上瞼画像を選択する。続いて、顔画像処理ＥＣＵ１４は、選択された複数の上瞼画像の瞼開度が類似しているか否かを判定する類似度判定を行う（Ｓ５）。顔画像処理ＥＣＵ１４は、瞼開度の差が判定閾値以下である場合に、瞼開度が類似していると判定し、ステップ１に戻り、ステップ１〜５の処理を繰り返す。瞼開度が類似していると判定されなかった場合には、ステップ６に進む。

ステップ６では、顔画像処理ＥＣＵ１４は、選択された複数の上瞼画像について、仮想上瞼曲線Ｌ_１，Ｌ_２を各々推定する。次に、顔画像処理ＥＣＵ１４は、複数の仮想上瞼曲線Ｌ_１，Ｌ_２同士の交点を仮想目頭点Ｅｈ_０及び仮想目尻点Ｅｔ_０と推定する（Ｓ７）。続いて、顔画像処理ＥＣＵ１４は、仮想目頭点Ｅｈ_０及び仮想目尻点Ｅｔ_０を基準位置と設定し、開眼度判定を実行する。

このように開眼度判定装置は、上瞼３１，３２の一部分を用いて仮想上瞼曲線Ｌ_１，Ｌ_２を推定し、瞼開度の異なる複数の仮想上瞼曲線Ｌ_１，Ｌ_２同士の交点に基づいて仮想目尻点Ｅｔ_０及び仮想目頭点Ｅｈ_０を推定することができる。そのため、これらの仮想目尻点Ｅｔ_０及び仮想目頭点Ｅｈ_０を基準位置として開眼度を判定することが可能となる。その結果、目尻及び目頭が検出されない場合であっても、目尻及び目頭の位置を推定し、精度良く開眼度を判定することができ、覚醒度判定の信頼性を向上させることができる。

以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。上記実施形態において、目尻及び目頭が検出不能である場合について、仮想上瞼曲線を推定しているが、目尻及び目頭の一方が検出不能である場合に、仮想上瞼曲線を推定してもよい。

また、上記実施形態において、ベジェ曲線を用いて、仮想上瞼曲線を推定しているが、その他の手法により、仮想上瞼曲線を推定してもよい。要は、検出された上瞼に基づいて、上瞼の下端に近似する仮想上瞼曲線を算出すればよい。

本発明の実施形態に係る開眼度判定装置を示す概略構成図である。撮像された眼画像に基づいて推定された仮想上瞼曲線を示す図である。仮想上瞼曲線の推定方法を説明するための概略図である。瞼開度の異なる複数の仮想上瞼曲線を示すものであり、検出可能範囲の仮想上瞼曲線を示す図である。仮想目尻点及び仮想目頭点の推定方法を説明するための概略図である。本発明の実施形態に係る顔画像処理ＥＣＵで実行される制御処理を示すフローチャートである。メガネを掛けた人物の眼周辺の顔画像を示す図である。

符号の説明

１０…開眼度判定装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…コラムカバー、１８…記憶部、２０…前処理部、２２…上瞼検出部、２４…目尻目頭推定部、２６…開眼度判定部、Ｅｈ_０…仮想目頭点、Ｅｔ_０…仮想目尻点、Ｌ_１，Ｌ_２…仮想上瞼曲線。

Claims

撮像された顔画像に基づいて開眼度を判定する開眼度判定装置において、
少なくとも上瞼の一部分を撮像した上瞼画像に基づいて仮想上瞼曲線を推定する仮想上瞼曲線推定手段と、
瞼開度の異なる複数の前記仮想上瞼曲線同士の交点に基づいて仮想目尻点及び仮想目頭点を推定する目尻目頭推定手段と、
推定された前記仮想目尻点及び前記仮想目頭点を基準位置として開眼度を判定する開眼度判定手段とを備えることを特徴とする開眼度判定装置。