JP2010003232A

JP2010003232A - 眼検出装置

Info

Publication number: JP2010003232A
Application number: JP2008163452A
Authority: JP
Inventors: Tomonori Akiyama; 知範秋山
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-06-23
Filing date: 2008-06-23
Publication date: 2010-01-07
Anticipated expiration: 2028-06-23
Also published as: JP4978574B2

Abstract

【課題】眼鏡を着用した対象者の顔画像において眼鏡の輪郭と眼の輪郭との誤検出を防止することができる眼検出装置を提供する。
【解決手段】眼検出装置は、運転者の顔画像を取得する画像センサと、画像処理ＥＣＵとを備えている。画像処理ＥＣＵは、まず顔画像データ上における運転者の上下瞼候補エッジを抽出すると共に、顔画像データ上における運転者の顔向き角度を検出する。そして、画像処理ＥＣＵは、運転者の顔が横方向を向いているかどうかを判断し、顔が横方向を向いているときは、顔画像データ上における顔輪郭エッジを抽出する。そして、画像処理ＥＣＵは、各上下瞼候補エッジの上下で顔輪郭エッジのずれが無いかどうかを判断し、顔輪郭エッジのずれが無いときは、その上下瞼候補エッジを上下瞼のエッジと断定し、顔輪郭エッジのずれがあるときは、その上下瞼候補エッジを眼鏡のエッジと断定する。
【選択図】図２

Description

本発明は、例えば車両の運転者等の眼を検出する眼検出装置に関するものである。

従来の眼検出装置としては、例えば特許文献１に記載されているように、運転者の顔を撮像し、運転者の眼画像からエッジ抽出により上瞼の曲率を検出し、この上瞼の曲率に基づいて開閉眼の判定を行うようにしたものが知られている。
特開２００７−２５７３３２号公報

しかしながら、上記従来技術においては、運転者が眼鏡を着用している場合に、眼鏡のエッジを眼の瞼のエッジと誤って検出し、結果的に運転者の開閉眼を誤判定してしまう虞がある。

本発明の目的は、眼鏡を着用した対象者の顔画像において眼鏡の輪郭と眼の輪郭との誤検出を防止することができる眼検出装置を提供することである。

本発明は、対象者の顔画像を取得し、当該顔画像に基づいて対象者の眼を検出する眼検出装置において、顔画像における対象者の眼輪郭候補を抽出する眼輪郭候補抽出手段と、顔画像における対象者の顔輪郭を抽出する顔輪郭抽出手段と、顔画像における対象者の顔が横を向いているかどうかを検出する顔向き検出手段と、顔向き検出手段により対象者の顔が横を向いていることが検出されたときに、眼輪郭候補の上下で顔輪郭が非連続となっているかどうかを判断する判断手段と、判断手段により眼輪郭候補の上下で顔輪郭が非連続となっていると判断されたときは、当該眼輪郭候補を対象者の眼輪郭でないと判定する判別手段とを備えることを特徴とするものである。

本発明は、眼鏡を着用した対象者が横（左右）に顔を向けると、眼鏡のレンズ内で顔の輪郭がずれるという現象に着目して成されたものである。即ち、本発明の眼検出装置においては、対象者の顔画像に基づいて、対象者の眼輪郭候補及び顔輪郭を抽出すると共に、対象者の顔が横を向いているかどうかを検出する。そして、対象者の顔が横を向いているときは、眼輪郭候補の上下で顔輪郭が非連続となっているかどうかを判断する。この際に、眼輪郭候補の上下で顔輪郭がずれて非連続となっているときは、その眼輪郭候補は対象者の眼の輪郭ではなく、対象者が着用している眼鏡の輪郭であると判定する。これにより、眼鏡の輪郭を眼の輪郭と誤検出してしまうことが防止される。

好ましくは、判断手段は、眼輪郭候補を延長させた仮想ラインの上下で顔輪郭にずれがあるか否かによって、眼輪郭候補の上下で顔輪郭が非連続となっているかどうかを判断する。この場合には、対象者の顔向き角度によっては眼輪郭候補が顔輪郭に交わらない状態となっても、眼輪郭候補を延長させた仮想ラインが顔輪郭に交わるようになるため、眼輪郭候補の上下で顔輪郭がずれて非連続となっているかどうかを正確に判断することができる。

本発明によれば、眼鏡を着用した対象者の顔画像において眼鏡の輪郭と眼の輪郭との誤検出を防止することができる。これにより、対象者の顔の特徴点である眼を正確に検出することが可能となる。

以下、本発明に係わる眼検出装置の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わる眼検出装置の一実施形態を示す概略構成図である。同図において、本実施形態の眼検出装置１は、車両に搭載され、運転者Ｄの眼を検出する装置である。眼検出装置１は、画像センサ２と、この画像センサ２と接続された画像処理ＥＣＵ（Electronic Control Unit）３とを備えている。

画像センサ２は、例えばステアリングコラムカバー４上に設置され、運転者Ｄの顔を撮像して運転者Ｄの顔画像を取得するセンサである。画像センサ２としては、例えばＣＣＤカメラが用いられる。

画像処理ＥＣＵ３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるマイクロコンピュータを主要構成部品としている。画像処理ＥＣＵ３は、画像センサ２で取得された運転者Ｄの顔画像を入力し、画像処理を含む所定の処理を行い、運転者Ｄの上下瞼（まぶた）を検出する。画像処理ＥＣＵ３は、１つの画像センサ２で取得された画像のみを処理するので、複数の画像を処理する場合のような非常に高速な処理チップが不要となる。

図２は、画像処理ＥＣＵ３により実行される瞼検出処理手順の詳細を示すフローチャートである。同図において、まず画像センサ２により得られた運転者Ｄの顔画像データを入力する（手順Ｓ５１）。

そして、例えばエッジベース手法やパターン認識手法等を使って、運転者Ｄの顔画像データ上における運転者Ｄの複数の上下瞼候補エッジ（図４のＰ_１〜Ｐ_４参照）を抽出する（手順Ｓ５２）。このとき、例えばエッジ強度やエッジの連続性をパラメータとして尤度を求め、この尤度が所定値よりも高いものを上下瞼候補エッジとして抽出する。

続いて、運転者Ｄの顔画像データ上における運転者Ｄの横方向（左右方向）の顔向き角度を検出する（手順Ｓ５３）。このとき、画像処理によって、顔向きのロール角度（回転角度）、ピッチ角度（上下方向の角度）及びヨー角度（左右方向の角度）を算出する。

そして、運転者Ｄの顔が正面方向を向かずに横方向を向いているかどうかを判断する（手順Ｓ５４）。具体的には、運転者Ｄの顔向きのヨー角度が予め設定された閾値を越えたかどうかを判断する。運転者Ｄの顔が正面方向を向いていると判断されたときは、手順Ｓ５２に戻る。

一方、運転者Ｄの顔が横方向を向いていると判断されたときは、運転者Ｄの顔画像データ上における顔輪郭エッジ（図４のＱ参照）を抽出する（手順Ｓ５５）。そして、上記手順Ｓ５２で抽出された各上下瞼候補エッジの上下で顔輪郭エッジの段差が無いかどうかを判断する（手順Ｓ５６）。

ここで、運転者Ｄが眼鏡を着用している場合には、運転者Ｄが左右の確認等のために左右方向（横方向）に顔を向けると、眼鏡のレンズを通した時に見える顔の輪郭線がずれるという現象が発生する。具体的には、眼鏡のレンズが近眼（近視）用レンズの場合には、運転者Ｄが左右方向に顔を向けると、図３（ａ）に示すように、眼鏡Ｇのレンズ内で顔の輪郭線ｈが内側へずれるようになり、眼鏡のレンズが老眼（遠視）用レンズの場合には、運転者Ｄが左右方向に顔を向けると、図３（ｂ）に示すように、眼鏡Ｇのレンズ内で顔の輪郭線ｈが外側へずれるようになる。

そこで、図４に示すように、上下瞼候補エッジＰ_１〜Ｐ_４をそれぞれ顔の外側に延長させた仮想ラインＲ_１〜Ｒ_４（破線参照）を引く。このとき、顔輪郭エッジＱに一番近い画素座標（例えば５点）から仮想ラインＲ_１〜Ｒ_４を引くようにする。これにより、運転者Ｄの顔向きのヨー角度によっては真の上下瞼エッジに相当する上下瞼候補エッジＰ_１，Ｐ_２が顔輪郭エッジＱと交わらない場合でも、当該上下瞼候補エッジＰ_１，Ｐ_２を延長させた仮想ラインＲ_１，Ｒ_２が顔輪郭エッジＱと交わるようになる。なお、図４は、近眼用の眼鏡を着用した運転者Ｄが左右方向に顔を向けた時の顔画像を示したものである。

そして、上下瞼候補エッジＰ_１〜Ｐ_４を延長させた仮想ラインＲ_１〜Ｒ_４の上下で顔輪郭エッジＱにずれ（段差）が無いかどうかを判断する。

上下瞼候補エッジを延長させた仮想ラインの上下で顔輪郭エッジにずれが無い（図４中のＲ_２，Ｒ_３参照）ときは、その上下瞼候補エッジを上下瞼のエッジと断定する（手順Ｓ５７）。一方、上下瞼候補エッジを延長させた仮想ラインの上下で顔輪郭エッジにずれがある（図４中のＲ_１，Ｒ_４参照）ときは、その上下瞼候補エッジを眼鏡のエッジと断定し、上下瞼候補エッジから除外する（手順Ｓ５８）。

以上において、手順Ｓ５１，Ｓ５２は、顔画像における対象者の眼輪郭候補を抽出する眼輪郭候補抽出手段を構成する。手順Ｓ５１，Ｓ５５は、顔画像における対象者の顔輪郭を抽出する顔輪郭抽出手段を構成する。手順Ｓ５１，Ｓ５３，Ｓ５４は、顔画像における対象者の顔が横を向いているかどうかを検出する顔向き検出手段を構成する。手順Ｓ５６は、顔向き検出手段により対象者の顔が横を向いていることが検出されたときに、眼輪郭候補の上下で顔輪郭が非連続となっているかどうかを判断する判断手段を構成する。手順Ｓ５８は、判断手段により眼輪郭候補の上下で顔輪郭が非連続となっていると判断されたときは、当該眼輪郭候補を対象者の眼輪郭でないと判定する判別手段を構成する。

以上のように本実施形態にあっては、運転者Ｄの顔画像データに基づいて、運転者Ｄの上下瞼候補エッジを抽出すると共に運転者Ｄの横方向の顔向き角度を検出し、顔が正面方向を向いていないときは、更に顔画像データに基づいて顔輪郭エッジを抽出する。そして、各上下瞼候補エッジを延長させた仮想ラインの上下における顔輪郭エッジの連続性を判断し、仮想ラインの上下で顔輪郭エッジが非連続であると判断されたときは、当該上下瞼候補エッジを眼鏡のエッジと断定し、眼の輪郭エッジとして抽出しないようにする。これにより、運転者Ｄが眼鏡を着用している場合に、運転者Ｄの顔画像において眼鏡のエッジを眼の輪郭エッジとして誤検出することを防止できるようになる。

なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態の眼検出装置１は、車両の運転者Ｄの眼を検出するものであるが、本発明は、特に車両用には限られず、例えばロボットに搭載して、ロボット周囲の人物の眼を検出するもの等にも適用可能である。

本発明に係わる眼検出装置の一実施形態を示す概略構成図である。図１に示した画像処理ＥＣＵにより実行される瞼検出処理手順の詳細を示すフローチャートである。眼鏡を着用した運転者が左右方向に顔を向けたときに、眼鏡のレンズ内で顔の輪郭がずれる現象を概念的に示す図である。眼鏡を着用した運転者が左右方向に顔を向けた時の顔画像の一例を示す図である。

符号の説明

１…眼検出装置、２…画像センサ、３…画像処理ＥＣＵ（眼輪郭候補抽出手段、顔輪郭抽出手段、顔向き検出手段、判断手段、判別手段）、Ｄ…運転者（対象者）。

Claims

対象者の顔画像を取得し、当該顔画像に基づいて前記対象者の眼を検出する眼検出装置において、
前記顔画像における前記対象者の眼輪郭候補を抽出する眼輪郭候補抽出手段と、
前記顔画像における前記対象者の顔輪郭を抽出する顔輪郭抽出手段と、
前記顔画像における前記対象者の顔が横を向いているかどうかを検出する顔向き検出手段と、
前記顔向き検出手段により前記対象者の顔が横を向いていることが検出されたときに、前記眼輪郭候補の上下で前記顔輪郭が非連続となっているかどうかを判断する判断手段と、
前記判断手段により前記眼輪郭候補の上下で前記顔輪郭が非連続となっていると判断されたときは、当該眼輪郭候補を前記対象者の眼輪郭でないと判定する判別手段とを備えることを特徴とする眼検出装置。
前記判断手段は、前記眼輪郭候補を延長させた仮想ラインの上下で前記顔輪郭にずれがあるか否かによって、前記眼輪郭候補の上下で前記顔輪郭が非連続となっているかどうかを判断することを特徴とする請求項１記載の眼検出装置。