JP2000137792A

JP2000137792A - 眼部検出装置

Info

Publication number: JP2000137792A
Application number: JP10310759A
Authority: JP
Inventors: Yasuhiro Takagi; 泰宏高城; Sukeyuki Usami; 祐之宇佐美
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1998-10-30
Filing date: 1998-10-30
Publication date: 2000-05-16

Abstract

(57)【要約】【課題】顔画像を処理して眼部を確実に検出する。【解決手段】画像取得装置１０で車両運転者の顔画像
を取得し、画像処理装置１４に供給する。画像処置装置
１４は、顔画像から横エッジを抽出し、さらに画像内で
上方向から下方向に向かって明（白）から暗（黒）に変
化するエッジ（上エッジ）と暗（黒）から明（白）に変
化する下エッジを抽出する。上下のエッジペアに基づい
てテンプレートを作成し、このテンプレートと顔画像と
の相関演算により眼の候補を検出する。相関値が高い候
補が上下に２つ存在する場合には、それぞれ眉と眼であ
るとして下の候補を眼の候補とする。眼の候補が瞬きす
る場合には真の眼であるとして、眼の近傍領域を追跡用
のテンプレートとして記憶する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は眼部検出装置、特に
取得した顔画像から継続的に眼部を検出する装置に関す
る。

【０００２】

【従来の技術】従来より、車両運転者の顔画像を取得
し、得られた顔画像から眼部を検出して居眠りの有無を
判定する装置が知られている。

【０００３】例えば、特開平１０−４０３６１号公報に
は、顔画像の縦方向の画素列に沿って画素の濃度を検出
し、濃度が局所的な高まりとなる部分を抽出し、さらに
顔の横方向に延びる曲線群を抽出して眼は顔の両側にあ
り眼と眉は上下に近い位置にあるという特徴に基づいて
眼を検出する技術が開示されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来技術では例えば運転者が眼鏡を着用していた場合に
は、眉や眼以外に眼鏡の縁で濃度が局所的に高まるた
め、眼の部分だけを抽出することが著しく困難となる問
題がある。

【０００５】もちろん、このように濃度の局所的な高ま
りを抽出するのではなく、予め用意したテンプレートと
のマッチング演算を行って顔画像から眼部分を検出する
ことも考えられるが、十分な検出精度を有するテンプレ
ートをどのように作成するかが重要な課題となる（標準
的な眼画像をテンプレートとして用いても、多様な運転
者の眼部に対応することができない）。

【０００６】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、顔画像から高精度
に眼部を検出することができ、かつ、継続的に検出でき
る装置を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、顔画像を取得する画像取得手段と、
前記顔画像から上瞼の特徴を有するエッジを抽出する抽
出手段と、前記エッジに基づいて前記顔画像から眼部を
検出する検出手段と有することを特徴とする。上瞼のエ
ッジに着目することで、被撮像者（車両運転者など）が
眼鏡を着用していても、確実に眼部のみを検出できる。

【０００８】また、第２の発明は、第１の発明におい
て、前記抽出手段は、さらに前記エッジの下方に位置
し、下瞼の特徴を有するエッジを抽出し、前記検出手段
は、前記上瞼の特徴を有するエッジと下瞼の特徴を有す
るエッジのペアに基づいて眼部を検出することを特徴と
する。眼部は必ず上瞼と下瞼が存在するので、エッジペ
アに着目することで、より確実に眼部のみを検出でき
る。

【０００９】また、第３の発明は、第１、第２の発明に
おいて、前記検出手段は、前記エッジに基づいて作成さ
れた第１テンプレートを用いて眼部を検出することを特
徴とする。エッジに基づいてテンプレートを作成するこ
とで、精度の高いテンプレートを容易に作成することが
できる。なお、エッジには上瞼の特徴を有するエッジの
他、エッジペアも含まれる。

【００１０】また、第４の発明は、第３の発明におい
て、前記第１テンプレートは、前記エッジと等しい長さ
の黒矩形領域を有するテンプレートであることを特徴と
する。エッジと等しい長さ（正確に等しい必要はなく、
ほぼ等しい場合も含まれる）の黒（暗）矩形領域を有す
るテンプレートとすることで、上瞼と下瞼で規定される
眼部を確実に抽出することができる。

【００１１】また、第５の発明は、第１、第２の発明に
おいて、さらに、検出された前記眼部を含む所定領域を
第２テンプレートとして記憶する記憶手段を有し、前記
検出手段は、検出された眼部近傍に存在する上瞼の特徴
を有するエッジの検出位置及び前記第２テンプレートに
基づいてトラッキングウインドウを設定することを特徴
とする。眼部を含む所定領域、例えば眼部と眉（眼鏡を
着用している場合には眼鏡の一部を含む）を含む第２テ
ンプレートを作成することで、テンプレートに含まれる
情報量が増大し、単なる眼部のみのテンプレートと比較
して、より確実に眼部をトラッキングすることができ
る。

【００１２】また、第６の発明は、第５の発明におい
て、前記検出手段は、検出された眼部が未検出状態とな
った場合に前記顔画像内において上瞼の特徴を有するエ
ッジと前記第２テンプレートに基づいて眼部を再発見す
ることを特徴とする。一度検出した眼部を見失った場合
でも、被撮像者に適応した第２テンプレートを用いて顔
画像を探索することで、迅速かつ確実に眼部を再発見で
きる。

【００１３】また、第７の発明は、第５の発明におい
て、前記検出手段は、検出された眼部が未検出状態とな
った場合に前記顔画像内において上瞼の特徴を有するエ
ッジと下瞼の特徴を有するエッジのペアと前記第２テン
プレートに基づいて眼部を再発見することを特徴とす
る。

【００１４】また、第８の発明は、第６、第７の発明に
おいて、前記検出手段は、前記エッジの重心位置と前記
第２テンプレート内の上瞼の重心位置を中心とする所定
範囲内の相関演算により眼部を再発見することを特徴と
する。重心位置を中心とする所定範囲内に相関演算の範
囲を限定することで、確実に再発見するとともに再発見
に要する演算量を削減して処理を迅速化できる。

【００１５】

【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。

【００１６】図１には、本実施形態の構成ブロック図が
示されている。画像取得装置１０は、レンズ１０ａ、Ｃ
ＣＤ撮像素子１０ｂ及び赤外投光器（例えば赤外ＬＥＤ
アレイ）１０ｃを含んで構成されており、車両運転者の
顔画像を赤外投光器１０ｃからの赤外光で照らし、ＣＣ
Ｄ撮像素子１０ｂで画像信号を得る。なお、画像取得装
置１０は、例えば室内ミラーに設けることができ、赤外
投光器１０ｃは省くこともできる。得られた画像信号
は、画像処理装置１４に順次供給される。

【００１７】画像処理装置１４は、Ａ／Ｄ１４ａ、ＣＰ
Ｕ１４ｂ、ＲＯＭ１４ｃ及びＲＡＭ１４ｄを有してお
り、入力した画像信号を処理して眼の開閉状態を判定す
る。具体的には、Ａ／Ｄ１４ａで入力した画像信号をデ
ジタル信号に変換し、ＲＡＭ１４ｄに格納する。そし
て、ＣＰＵ１４ｂは、ＲＯＭ１４ｃに記憶されたプログ
ラムに従って後述する処理を実行し、眼の開閉を判定し
て出力する。眼の開閉を判定する際には、まず眼の上瞼
の特徴を有するエッジ部分を抽出し、このエッジ部分に
基づいて顔画像から眼の部分を検出している。

【００１８】図２には、本実施形態におけるＣＰＵ１４
ｂの全体処理フローチャートが示されている。まず、Ｃ
ＰＵ１４ｂは、入力した顔画像から眼を発見する（Ｓ１
０１）。この処理は、車速が所定値以上で、かつ、運転
者が前方を注視して走行している状態で実行される。次
に、Ｓ１０１の処理で眼を発見できたか否かを判定し
（Ｓ１０２）、眼を発見した場合には順次入力される顔
画像においてその眼の位置をトラッキングする（Ｓ１０
３）。トラッキングは、顔画像内におけるテンプレート
マッチングを行うことで実行できる。そして、トラッキ
ングしている間に眼を見失ったか否かを判定し（Ｓ１０
４）、眼をトラッキングしている場合には眼の開閉判定
を行う（Ｓ１０５）。一方、運転者が急に顔を動かして
脇見をした等でトラッキングの最中に眼を見失った場合
には、眼の再発見処理を実行し（Ｓ１０６）、眼を再発
見する（Ｓ１０７）。なお、再発見処理は、Ｓ１０１で
発見した眼の情報（具体的には眼の全体形状）を用いて
行う。

【００１９】図３には、図２におけるＳ１０１の処理、
すなわち眼の初回発見の詳細フローチャートが示されて
いる。まず、フィルタを用いて取得した顔画像からエッ
ジ部分を抽出する前処理を行う（Ｓ２０１）。次に、後
述する処理により眼候補を抽出し（Ｓ２０２）、眼の開
度を算出する（Ｓ２０３）。眼の開度は、例えば抽出さ
れた眼の上瞼部分の眼全体に対する比率で算出すること
ができ、算出された眼の開度の時系列変化を記憶して一
定時間内に眼の開度が低下し、その後一定時間内に眼の
開度が増大するパターンが出現した場合には瞬きがある
と判定する（Ｓ２０４）。そして、抽出した眼の候補に
瞬きが存在するか否かを判定し（Ｓ２０５）、瞬きが存
在する場合には抽出した眼の候補が真の眼であると判定
し、抽出した眼候補（真の眼）近傍の画像を眼テンプレ
ートとしてメモリに格納する（Ｓ２０６）。

【００２０】図４には、図３におけるＳ２０２の処理、
すなわち眼候補抽出処理の詳細フローチャートが示され
ている。前処理で顔画像からエッジを抽出し（Ｓ３０
１）、そして、顔画像の上部から下部に向かって明
（白）から暗（黒）と所定値以上の濃度変化を有するエ
ッジ（以下、これを上エッジと称する）と、暗（黒）か
ら明（白）と所定値以上の濃度変化を有するエッジ（以
下、これを下エッジと称する）をそれぞれラベリング
し、グループ化して番号を付する。長さ及び幅が所定範
囲内にあるもの（運転者の顔位置と画像取得装置との位
置関係から顔画像内における眼のおおよその大きさがわ
かるので、その範囲内）以外を除外し、残った上エッジ
と下エッジをペアリング（上下のエッジで１組とする）
する（Ｓ３０２）。なお、上エッジは眼の上瞼に相当
し、下エッジは下瞼に相当すると考えられる。次に、抽
出された上エッジと下エッジのペアに基づいて、相関演
算（マッチング演算）を行う際の基準となるテンプレー
ト（初回発見時のテンプレートであるので初期テンプレ
ート（第１テンプレート）と適宜称する）を作成する。

【００２１】図５には、初期テンプレートの作成方法が
模式的に示されている。図において、（ａ）は顔画像か
ら眼の画像のみを抽出したもので、（ｂ）は（ａ）の画
像から上エッジ及び下エッジを抽出したものである。そ
して、（ｃ）に示すように、（ｂ）の上エッジと下エッ
ジのペアとほぼ同じ長さ（横方向の長さ）でほぼ同じ幅
（上下方向の長さ）の黒（暗）矩形領域を有し、かつ、
少なくともその一端がエッジペアの端部で終端するよう
なプレート（黒矩形領域以外は白（明）領域）を作成し
て初期テンプレート１００とする。初期テンプレート１
００の特徴は、上述したように上下のエッジペアとほぼ
同サイズの黒（暗）領域を有し、一端（図では右端）が
黒領域で終端して白領域（図において符号１０２で示す
破線領域）が存在しない点である。このような初期テン
プレート１００を用いると、例えば（ｄ）に示すように
運転者が眼鏡を着用して眼鏡の縁の部分１０４が黒領域
として存在している場合でも、テンプレートに白領域１
０２が存在するため相関値が低くなってしまうという問
題がなくなり（相関演算に寄与しないため）、運転者が
眼鏡を着用していても眼の部分の相関を正確に計算でき
ることになる。

【００２２】なお、初期テンプレート（第１テンプレー
ト）は上下のエッジペアから作成されているが、初期テ
ンプレートの矩形状の黒領域の長さ（横方向の長さ）は
上エッジとほぼ同一とし、幅（上下方向の長さ）は上エ
ッジの幅（あるいは上エッジの幅を所定比率だけ増大さ
せた幅）とほぼ同一とすることによっても作成すること
ができる。すなわち、初期テンプレート（第１テンプレ
ート）は上下エッジペアの上エッジのみから作成するこ
ともできる。

【００２３】再び図４に戻り、以上のようにして、図５
（ｃ）に示すような初期テンプレートを作成すると、こ
の初期テンプレートを用いて顔画像内で相関演算を行う
（Ｓ３０３）。なお、相関演算を行う際に、顔画像内で
所定の明度以上の画素は相関演算から除外するのが望ま
しい。運転者が眼鏡を着用し、この眼鏡に外部光源が映
っていて所定値以上明るい場合には、本来は暗（黒）画
素であるにもかかわらず明（白）画素であると誤判定さ
れて相関演算の精度が低下するからである（本来は相関
値が高いにもかかわらず偽の輝点があるため相関値が低
くなってしまう）。

【００２４】そして、相関値が所定のしきい値以上か否
かを判定し（Ｓ３０４）、所定のしきい値以上である場
合に、さらに顔画像内においてその直下に眼候補が存在
していないか否かを判定する（Ｓ３０５）。相関値が所
定のしきい値以上であるエッジペアの直下に相関値が所
定値以上であるもう一つのエッジペアが存在する場合に
は、着目しているエッジペアは眉などである可能性が高
いので眼候補とせず、直下に眼候補となるエッジペアが
存在しない場合に、着目しているエッジペアを眼候補と
判定する。すなわち、相関値が所定のしきい値以上であ
るエッジペアが上下に２組存在した場合（それぞれ眉と
眼と考えられる）には、下側に位置するエッジペアを眼
候補とする。眼候補が抽出された後は、図３で述べたよ
うに眼候補の瞬きの有無を判定し、瞬きがある場合にそ
の眼候補近傍の画像をテンプレート（このテンプレート
は初回発見時に使用した初期テンプレートと異なり、ト
ラッキングや再発見に使用されるテンプレートであるの
で、追跡テンプレート（第２テンプレート）と適宜称す
る）。なお、追跡テンプレートとしては、具体的には眼
の部分だけでなく眉及び眼鏡を着用している場合には眼
鏡の縁部分も含まれる領域をカバーするテンプレートで
あることが相関値演算の観点から好ましい（テンプレー
トに含まれる情報量が多いほど相関値に差が生じ易
い）。

【００２５】図６及び図７には、図２におけるＳ１０３
の処理、すなわち顔画像内で眼の部分をトラッキングす
る追跡処理の詳細フローチャートが示されている。ま
ず、取得した顔画像を処理して顔画像内における縦エッ
ジ（上下方向のエッジ）及び横エッジ（横方向のエッ
ジ）を抽出する（Ｓ４０１）。次に、抽出された縦エッ
ジのみをラベリングし（Ｓ４０２）、所定の長さ以下の
縦エッジを除外する。そして、前回の眼の検出位置から
決定されるトラッキングウインドウ（例えば、検出され
た眼の中心を中心とする上下左右の所定画素数の範囲）
内で、横エッジの中の上エッジをラベリングし、各ラベ
ル毎にその面積（画素数）、重心位置、幅（横方向の長
さ）、高さ（上下方向の長さ）を算出する（Ｓ４０
３）。

【００２６】トラッキングウインドウ内の上エッジの面
積などを算出した後、上エッジのうち所定値以上の明度
を有するエッジは運転者が着用している眼鏡に外部光源
（本実施形態の場合には赤外投光器など）が投影された
ために生じた偽エッジであるとして除去する（Ｓ４０
４）。そして、偽エッジを除去した後、Ｓ４０２で得ら
れた縦エッジと上エッジが交差しているか否かを判定
し、交差している場合（運転者が眼鏡を着用している場
合には起こり得る）には上エッジを縦エッジの交差位置
で左右に分割してラベリングし、分割後の上エッジの面
積や重心位置、幅などを再算出する（Ｓ４０５）。次
に、ラベリングされた上エッジのうち、面積（画素数）
が所定値以上で、かつ幅（横方向の長さ）が所定値α以
上の上エッジのみを抽出する（Ｓ４０６）。

【００２７】そして、図７に移行し、Ｓ４０６で抽出し
た上エッジの数（ラベル数）が１より大きいか否かを判
定する（Ｓ５０１）。抽出した上エッジの数が２以上で
ある場合には、顔画像内で最も下方にある上エッジを選
択する（Ｓ５０２）。最も下方の上エッジを選択するの
は、これが上瞼であると考えられるからである。上瞼の
特徴を有する上エッジを選択した後、トラッキングウイ
ンドウ（このトラッキングウインドウはＳ４０３のトラ
ッキングウインドウと同一である）内の下エッジをラベ
リングし、上エッジと同様にその面積（画素数）、重心
位置、幅（横方向長さ）、高さ（上下方向長さ）を算出
する（Ｓ５０３）。

【００２８】次に、ラベリングした下エッジの中で横方
向長さが所定値β以上のエッジがあるか否かを判定し
（Ｓ５０４）、あればその下エッジはＳ５０２で選択さ
れた上エッジ（上瞼と考えられる上エッジ）の下にある
か否かを判定する（Ｓ５０５）。上瞼と考えられる上エ
ッジの下方に下エッジが存在する場合には、これら上下
エッジをペアとして眼のエッジであると確定し（Ｓ５０
６）、図３のＳ２０６でメモリに格納した追跡テンプレ
ートを用いた正規化相関演算を行う。そして、相関値が
所定値γを超えている場合に（Ｓ５０７）、上下ペアは
真の眼であるとして上下ペアを囲む新たなトラッキング
ウインドウを設定する（Ｓ５０８）。

【００２９】一方、Ｓ５０１にてラベルの数が１以下で
あると判定された場合には、さらにラベルの数が１か０
かを判定し（Ｓ５０９）、ラベルの数が１である場合に
はこの上エッジを上瞼の特徴を有するエッジと判定して
上述したＳ５０３以降の処理を実行する。また、ラベル
の数が０である、すなわち上瞼の特徴を有するエッジが
存在しない場合には、トラッキング不能としてフラグを
たてる（Ｓ５１０）。Ｓ５０４にて横方向長さが所定値
以上の下エッジが存在しない場合や上エッジの下方に下
エッジが存在しない場合、あるいは追跡テンプレートを
用いた相関値が所定値γに達しない場合にも、トラッキ
ング不能としてトラッキングミスのフラグをたてる。な
お、トラッキングミスのフラグが設定された場合には、
図２のＳ１０４でＮＯ、すなわち眼を見失ったと判定さ
れることになるから、Ｓ１０６に移行して眼の再発見処
理を実行する。

【００３０】図８及び図９には、以上述べたトラッキン
グ処理（追跡処理）が模式的に示されている。図８
（ａ）は運転者が眼鏡を着用している場合の眼の画像で
ある。同図（ｂ）は、（ａ）の画像を処理して横エッジ
を抽出したものであり、この横エッジには上エッジ（明
（白）から暗（黒）に変化）と下エッジ（暗（黒）から
明（白）に変化）が含まれる。同図（ｃ）は前回のトラ
ッキングウインドウ２００内に２つの上エッジ２０２、
２０４が存在している場合である。この場合、最も下方
の上エッジ２０４が上瞼の特徴を有するエッジとして選
択され、その後（ｄ）に示すように上エッジの下方に位
置する下エッジ２０６が抽出されて新たなトラッキング
ウインドウ２０８が設定される。

【００３１】図９（ａ）〜（ｃ）は、図６におけるＳ４
０５の処理を説明したものであり、同図（ａ）は図８
（ａ）と同様の眼画像であり、同図（ｂ）は（ａ）の画
像を処理して横エッジ及び縦エッジを抽出したものであ
る。図に示されているように、横エッジと眼鏡の縁に相
当する縦エッジが点２１０で交差している。このように
横エッジと縦エッジが交差している場合には、眼と眼鏡
の縁（つるの部分）がくっついて生じると考えられ、こ
のままでは上瞼の特徴を有する上エッジを抽出すること
ができずトラッキングも不能となるので、（ｃ）に示す
ように交差点２１０で横エッジを左右に分割し、２つの
横エッジを生成する。これにより、運転者が眼鏡を着用
していても上瞼の特徴を有する上エッジを抽出できるよ
うになり、トラッキングを確実に行うことができる。

【００３２】図１０には、図２におけるＳ１０６の処
理、すなわちトラッキング不能となって眼を見失った場
合の眼の再発見処理の詳細フローチャートが示されてい
る。まず、取得した顔画像から横エッジを抽出し（Ｓ６
０１）、上下のエッジをペアとする（Ｓ６０２）。これ
らＳ６０１とＳ６０２の処理は、図４におけるＳ３０１
とＳ３０２の処理と同様である。上下エッジのペアを形
成した後、メモリに格納されている追跡テンプレートを
用いて顔画像全体を対象とした上下エッジペアの相関演
算を行う（Ｓ６０３）。上下エッジペアと追跡テンプレ
ートとの相関演算を行う際には、Ｓ６０２にて抽出した
上下エッジのうち、上エッジの重心位置を追跡テンプレ
ートに含まれる上瞼のエッジの重心位置をあわせ、これ
を中心に上下左右の所定画素数を走査範囲として相関演
算を行い、最大となる値をその上下エッジペアと追跡テ
ンプレートとの相関値とする。

【００３３】上下エッジペアと追跡テンプレートとの相
関演算を行って相関値を算出した後、得られた相関値が
所定のしきい値以上か否かを判定する（Ｓ６０４）。所
定のしきい値以上でない場合には、その上下エッジペア
は眼部でないとして次の上下エッジペアを対象として同
様の相関演算処理及びしきい値との大小比較処理を行
う。

【００３４】以上の処理を顔画像内の全ての上下エッジ
ペアを対象として行い、相関値が所定のしきい値以上と
なった場合には、その上下エッジペアが真の眼部である
と判定して眼を再発見する（Ｓ６０５）。顔画像内の上
下のエッジペアとしては眼の他に眉が考えられるが、眉
と追跡テンプレートの相関値よりも眼と追跡テンプレー
トの相関値の方が高くなるので、眉を眼と誤判定するこ
とはない。また、眼の再発見を初回発見時と同様のアル
ゴリズムで行うのではなく、既に得られた追跡テンプレ
ート（第２テンプレート）を用いて行うことで、迅速か
つ確実に眼を再発見できる。

【００３５】図１１には、眼部の再発見処理が模式的に
示されている。（ａ）は眼部画像であり、（ｂ）は
（ａ）から上瞼の特徴を有する上エッジと下瞼の特徴を
有する下エッジを抽出したものである。これらの上下エ
ッジペアのうち、上瞼の特徴を有する上エッジの重心位
置２１２を算出し、この位置に追跡テンプレート内の上
瞼の重心位置を合致させ、所定範囲内の相関演算を行う
（通常、重心位置をあわせたときの相関値が最も高くな
る）。重心位置を中心とする所定範囲内の相関演算のみ
を行うことで、演算量を削減することができるとともに
確実にマッチングをとることができる。

【００３６】なお、上述した眼の再発見処理では、上下
のエッジペアを抽出して追跡テンプレートとの相関演算
を行っているが、上エッジのみを抽出して追跡テンプレ
ートとの相関演算を行うことも可能である。

【００３７】

【発明の効果】以上説明したように、本発明によれば、
顔画像から確実に眼部を検出することができる。

【００３８】また、適切なトラッキングウインドウを設
定することで継続的に眼部を検出できる。

【００３９】さらに、一度検出した眼部を見失った場合
でも、迅速かつ確実に再発見することができる。

【図面の簡単な説明】

【図１】本発明の実施形態の構成ブロック図である。

【図２】本発明の実施形態の全体処理フローチャート
である。

【図３】図２における眼発見（初回発見）処理の詳細
フローチャートである。

【図４】図３における眼候補抽出処理の詳細フローチ
ャートである。

【図５】図４の処理の模式的説明図である。

【図６】図２におけるトラッキング（追跡）処理の詳
細フローチャート（その１）である。

【図７】図２におけるトラッキング（追跡）処理の詳
細フローチャートで（その２）である。

【図８】図６及び図７の処理の模式的説明図（その
１）である。

【図９】図６及び図７の処理の模式的説明図（その
２）である。

【図１０】図２における眼再発見処理の詳細フローチ
ャートである。

【図１１】図１０の処理の模式的説明図である。

【符号の説明】

１０画像取得装置、１４画像処理装置、１００初
期テンプレート（第１テンプレート）、２００,２０８
トラッキングウインドウ。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 3D037 FA05 5B057 AA19 CA12 CA16 CB08 CB12 CB16 CC03 CE09 DA08 DB02 DB09 DC14 DC16 DC34 DC36

Claims

【特許請求の範囲】

【請求項１】顔画像を取得する画像取得手段と、前記顔画像から上瞼の特徴を有するエッジを抽出する抽
出手段と、前記エッジに基づいて前記顔画像から眼部を検出する検
出手段と、を有することを特徴とする眼部検出装置。
【請求項２】請求項１記載の装置において、前記抽出手段は、さらに前記エッジの下方に位置し、下
瞼の特徴を有するエッジを抽出し、前記検出手段は、前記上瞼の特徴を有するエッジと下瞼
の特徴を有するエッジのペアに基づいて眼部を検出する
ことを特徴とする眼部検出装置。
【請求項３】請求項１、２のいずれかに記載の装置に
おいて、前記検出手段は、前記エッジに基づいて作成された第１
テンプレートを用いて眼部を検出することを特徴とする
眼部検出装置。
【請求項４】請求項３記載の装置において、前記第１テンプレートは、前記エッジと等しい長さの黒
矩形領域を有するテンプレートであることを特徴とする
眼部検出装置。
【請求項５】請求項１、２のいずれかに記載の装置に
おいて、さらに、検出された前記眼部を含む所定領域を第２テンプレート
として記憶する記憶手段を有し、前記検出手段は、検出された眼部近傍に存在する上瞼の
特徴を有するエッジの検出位置及び前記第２テンプレー
トに基づいてトラッキングウインドウを設定することを
特徴とする眼部検出装置。
【請求項６】請求項５記載の装置において、前記検出手段は、検出された眼部が未検出状態となった
場合に前記顔画像内において上瞼の特徴を有するエッジ
と前記第２テンプレートに基づいて眼部を再発見するこ
とを特徴とする眼部検出装置。
【請求項７】請求項５記載の装置において、前記検出手段は、検出された眼部が未検出状態となった
場合に前記顔画像内において上瞼の特徴を有するエッジ
と下瞼の特徴を有するエッジのペアと前記第２テンプレ
ートに基づいて眼部を再発見することを特徴とする眼部
検出装置。
【請求項８】請求項６、７のいずれかに記載の装置に
おいて、前記検出手段は、前記エッジの重心位置と前記第２テン
プレート内の上瞼の重心位置を中心とする所定範囲内の
相関演算により眼部を再発見することを特徴とする眼部
検出装置。