JP2000331172A - 顔画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来の顔画像処理装置では、２値データをも
とに作成したＸ・Ｙ軸ヒストグラムを用いた目評価関数
値と、目候補領域と顔重心または左右目候補領域の位置
関係により、目領域を判定しているため、誤検出を起こ
しやすかった。 【解決手段】 ＣＣＤカメラによって撮影された多値顔
画像データが記憶される画像メモリから、顔画像入力手
段２０によって顔画像データをＣＰＵに入力し、候補抽
出手段２１によって顔画像を２値化して目候補を抽出
し、さらに、目検索領域設定手段２２によって２値化さ
れた顔画像データから目の存在する範囲を示す目検索領
域を推定して、この推定された目検索領域内に含まれる
目候補について、目確定手段２３によって、画像メモリ
に記憶されている多値顔画像を用いて細線部分を抽出
し、目検索領域全体に対する細線部分の割合から目を判
別するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、目候補画像よ
り、目が細線部分をもつ特徴を用いて、目と他の像を判
別する顔画像処理装置に関するものである。

【０００２】

【従来の技術】従来の運転者の顔画像を処理する画像処
理装置は、例えば特開平８−１７５２１８号公報（眉領
域及び目領域を含むテンプレートによるマッチングによ
り目領域を判定する）、及び特開平８−３００９７８号
公報に記載されている。以下、特開平８−３００９７８
号公報につき、詳細に説明する。図１４は、特開平８−
３００９７８号公報に示される従来の顔画像処理装置の
全体構成を示す図である。図において、１は運転者を撮
像するカメラ、２は撮像に用いられる近赤外照明、３は
近赤外照明２を制御する照明制御手段、４はカメラ１の
撮像した画像を処理する顔画像処理装置で、画像入力手
段５、濃淡レベル変換手段６、浮動２値化手段７、目存
在領域設定手段８、候補領域設定手段９、目領域判定手
段１０から構成されている。１１は顔画像処理装置４に
よって画像処理された結果を用いて、まばたきを検出す
る瞬目検出手段、１２は画像処理結果から居眠り状態を
判定する居眠り判定手段、１３は警報手段である。

【０００３】図１５は、従来の顔画像処理装置の目領域
判定手段の動作の流れを示すフローチャートである。図
において、１４は目評価関数演算手段、１５は目領域選
定手段である。特開平８−３００９７８号公報における
実施例１では、目領域判定手段１０は、目候補領域の顔
横方向幅ＥＡＷを読み出し、ＥＡＷが予め設定した所定
範囲内にある場合のみ、目領域であるとし、領域のＸ軸
ヒストグラムＳＵＭＸを読み出し、ＳＵＭＸの最大値Ｓ
ＵＭＸＭＡＸを算出後、さらに評価関数ＥＦＶ１＝Σｙ
（ＳＵＭＸＭＡＸ−ＳＵＭＸ）／ΣｙＳＵＭＸ、評価関
数ＥＦＶ２＝ＳＵＭＸＭＡＸ−Ｃ（Ｃ：定数）を算出
後、目評価関数値ＥＦＶ＝ＥＦＶ１×ＥＦＶ２（または
Ｃ１×ＥＦＶ１＋Ｃ２×ＥＦＶ２（重みＣ１＞重みＣ２
がベター）が、所定値ＥＦＶＭＩＮより大きいものを目
領域として判定する。目領域が複数ある場合は、目領域
の代表点と顔重心との距離が最小のものを最終的に目領
域として判定する。実施例３では、Ｘ軸ヒストグラムの
度数分布曲線の重心位置ＭＣ、ピーク値ＰＨ、半値幅Ｈ
Ｗとする時、眉領域ではシングルピーク、目領域ではツ
インピークを示すことを利用し、目評価関数値ＨＷ／Ｐ
Ｈが最大でＭＣの左右にピークが存在する目候補領域を
目領域として判定する。実施例４では、実施例１におけ
る目評価関数値の時間的変化を用いて目領域を判定す
る。実施例５では、左右目候補領域代表点のＸ座標ＸＥ
Ｃと顔重心のＸ座標ＸＦＣの偏差ＤＸ、及び左右目候補
領域代表点のＹ座標ＹＥＣと顔重心のＹ座標ＹＦＣの偏
差ＤＹがともに所定値より小さく、なおかつ最小値の組
み合わせのものを目領域として判定する方法が述べられ
ている。

【０００４】

【発明が解決しようとする課題】しかしながら、画像を
多値データのまますべての処理を行うと、非常に時間が
かかり、２値化においても眼鏡装着の有無や天候・髪等
の付属情報によって顔の状態（眉と目の関係等）は変化
し不安定である。ところが上記従来装置では、２値デー
タをもとに作成したＸ・Ｙ軸ヒストグラムを用いた目評
価関数値と、目候補領域と顔重心または左右目候補領域
の位置関係により、目領域を判定しているため、誤検出
を起こしやすい。

【０００５】この発明は、上記のような課題を解決する
ためになされたもので、眉や眼鏡フレームにはほとんど
存在しない細線部分の割合を算出することで、目を判別
するようにした顔画像処理装置を得ることを目的にして
いる。

【０００６】

【課題を解決するための手段】この発明に係わる顔画像
処理装置においては、カメラによって撮影されマトリッ
クス状に配置された多数の画素によって表示されるよう
に構成された顔画像が記憶される画像メモリと、この画
像メモリに記憶された顔画像を２値化すると共に目候補
を抽出する候補抽出手段と、この候補抽出手段によって
２値化された顔画像内で目の存在する範囲を示す目検索
領域を推定する目検索領域設定手段と、この目検索領域
設定手段によって推定された目検索領域内に含まれる目
候補について、画像メモリに記憶されている顔画像を用
いて細線部分を抽出し、目候補の画像全体に対する細線
部分の割合によって目を判別する目確定手段を備えたも
のである。また、目確定手段は、顔画像中の特定画素
と、この特定画素から顔の縦方向の所定長さの位置にあ
る２画素との輝度の比較を行って細線部分を抽出するも
のである。

【０００７】また、目確定手段は、顔画像中の特定画素
と、この特定画素から顔の縦方向の所定長さの位置にあ
る２画素及び顔の横方向の所定長さの位置にある画素と
の輝度の比較を行って細線部分を抽出するものである。
さらに、横方向の所定長さの位置にある画素は、特定画
素から顔の外側にあるものである。

【０００８】また、目確定手段は、目候補の重心から外
側に特定画素がある場合は、顔の外側に向けて横方向の
所定長さの位置にある画素との輝度の比較を行うと共
に、目候補の重心から内側に特定画素がある場合は、顔
の内側に向けて横方向の所定長さの位置にある画素との
輝度の比較を行うものである。また、目確定手段は、特
定画素とこの特定画素に縦方向に隣接する画素との輝度
の差分値を算出し、算出された差分値のピークからピー
クまでの長さによって細線部分を抽出するものである。

【０００９】さらにまた、目検索領域設定手段は、鼻孔
領域を設定し、設定された鼻孔領域に基づき、目検索領
域を推定するものである。また、候補抽出手段は、顔画
像を眉及び目の幅に対応した長さのＭＡＸ／ＭＩＮフィ
ルタを通して、目候補を抽出するものである。

【００１０】

【発明の実施の形態】実施の形態１．以下、この発明の
実施の形態１を図にそって説明する。図１は、この発明
の実施の形態１による顔画像処理装置の構成を示す図で
ある。図において、１７は顔画像を撮影するＣＣＤカメ
ラ、１８はＣＣＤカメラ１７から出力され、マトリック
ス状に配置された多数の画素によって表示されるように
構成された顔画像の多値データを記憶する画像メモリ、
１９は画像メモリ１８のデータをもとに画像処理を行う
ＣＰＵである。図２は、図１におけるＣＰＵ内の処理の
概要を示すフローチャートである。図において、２０は
顔画像入力手段、２１は候補抽出手段、２２は目検索領
域設定手段、２３は目確定手段であり、顔画像入力手段
２０で画像メモリ１８より顔画像データをＣＰＵ１９に
入力し、入力された画像内で候補抽出手段２１により、
２値化を行い目候補を抽出し（２値化データは別メモリ
に保存し、入力画像データも後に参照できるようにす
る）、目検索領域設定手段２２により目が存在する範囲
を示す目検索領域を推定する。さらに、設定した目検索
領域内の目候補から目確定手段２３により目を確定す
る。各手段の詳細については後述する。

【００１１】図３は、この発明の実施の形態１による顔
画像処理装置におけるカメラよりの入力画像を示す図で
あり、顔画像入力手段２０によってＣＰＵ１９に入力さ
れる。図において、２５はＣＣＤカメラ１７より入力さ
れた顔画像である。図４は、この発明の実施の形態１に
よる顔画像処理装置の候補抽出手段２１によって２値化
された２値化画像を示す図である。図において、２６は
顔画像２５を２値化した画像、２７は処理方向を示して
いる。図５は、この発明の実施の形態１による顔画像処
理装置の候補抽出手段２１に用いられるＭＡＸ／ＭＩＮ
フィルタの説明図であり、図５（ａ）はＭＡＸフィルタ
及びＭＩＮフィルタをかける前後の画像信号を示す図、
図５（ｂ）は図５（ａ）に対応させて輝度値を模式化し
たものである。図５（ｃ）はＭＡＸ／ＭＩＮフィルタ処
理後の画像信号を示す図、図５（ｄ）は図５（ｃ）に対
応させて輝度値を模式化したものである。図において、
２８は入力画像の一部分の画像信号、２９はＭＡＸフィ
ルタをかけた後の画像信号、３０はＭＩＮフィルタをか
けた後の画像信号、３１は画像信号２８に対応する輝度
値、３２は画像信号２９に対応する輝度値、３３は画像
信号３０に対応する輝度値である。ここでは各輝度値を
囲む１枠は１画素を表し、簡単のため輝度値を０〜２０
までの値とした。

【００１２】図６は、この発明の実施の形態１による顔
画像処理装置の候補抽出手段２１の説明図であり、図６
（ａ）は入力画像にＭＡＸ／ＭＩＮフィルタをかけた後
の画像信号を示す図、図６（ｂ）は２値化後の信号を示
す図である。図において、３５はＭＡＸ／ＭＩＮフィル
タをかけた後の画像信号、３６は２値化するときの閾値
である。図７は、この発明の実施の形態１による顔画像
処理装置の目検索領域設定手段の流れを示すフローチャ
ートである。図において、３７は鼻孔領域設定手段、３
８は鼻孔検索手段、３９は鼻孔確定手段、４０は目領域
推定手段であり、詳細については、後述する。図８は、
この発明の実施の形態１による顔画像処理装置の鼻孔領
域設定手段、鼻孔検索手段、鼻孔確定手段の一部を示す
図であり、図８（ａ）は入力画像上で、鼻孔検索領域を
示す図、図８（ｂ）は２値化画像とＸ軸方向、Ｙ軸方向
のヒストグラムを表す図である。

【００１３】図９は、この発明の実施の形態１による顔
画像処理装置の目検索領域設定手段２２で設定された目
検索領域を示す図である。図１０は、この発明の実施の
形態１による顔画像処理装置の目確定手段２３を説明す
る顔画像の細線部分を示す図であり、図１０（ａ）は、
入力画像をもとに候補の細線部分の検出を説明する図、
図１０（ｂ）は、輝度値を表す図である。

【００１４】以下、図２をもとに、図４〜図１０を用い
て図２に示す各手段の詳細について説明する。顔画像入
力手段２０によって、画像メモリ１８より顔画像データ
がＣＰＵ１９に入力される。次いで、候補抽出手段２１
により、２値化を行い、目候補を抽出する。候補抽出手
段２１では、目候補を抽出するためにＭＡＸ／ＭＩＮフ
ィルタを用いる。最初に入力画像にＭＡＸフィルタをか
けるが、ＭＡＸフィルタは所定の長さ（画素数ａとす
る。以下フィルターサイズという）をもち、フィルタ中
央の画素の輝度値をフィルタ内の最大輝度値に変換す
る。例えばａを５とし、図５（ｂ）輝度模式３１の太線
部にＭＡＸフィルタをかけると、ここでは最大輝度は９
であるので、フィルタの中央の画素３１ａの輝度値は７
から９に変換される。１画素ずつ右にシフトして同様に
ＭＡＸフィルタをかけると、図５（ｂ）の輝度模式３１
は輝度模式３２のように変換される。

【００１５】次に、ＭＡＸフィルタ処理後の画像にＭＩ
Ｎフィルタをかける。ＭＩＮフィルタもＭＡＸフィルタ
と同じフィルターサイズをもち、フィルタ中央の画素の
輝度値をフィルタ内の最小輝度値に変換するものであ
る。ＭＡＸフィルタ処理後の図５（ｂ）の輝度模式３２
に、１画素ずつ右にシフトしてＭＩＮフィルタをかける
と、図５（ｂ）の輝度模式３３のように変換される。そ
して、ＭＡＮ／ＭＩＸフィルタ処理後の画像から，入力
画像をひくとフィルターサイズ以下の幅の低輝度の領域
が抽出される。図では、図５（ｂ）の輝度模式３３から
輝度模式３１をひいた図５（ｄ）が得られ、画像信号に
なおすと図５（ｃ）になる。ただし、ＭＡＸフィルタ、
ＭＩＮフィルタは共に、最初にかけたフィルタの中央か
ら変換がはじまり、最後にかけたフィルタの中央で変換
が終わるため、ＭＡＸフィルタ処理後のデータは、図５
（ｂ）３２ａ〜３２ｂ、ＭＩＮフィルタ処理後のデータ
は図５（ｂ）３３ａ〜３３ｂとなり、ＭＡＸ／ＭＩＮフ
ィルタ処理後の画像は結局、処理開始位置、処理終了位
置よりそれぞれａ−１画素ずつ小さくなる。

【００１６】実施の形態１では、顔縦方向に沿って一行
ずつ処理を行う（処理方向：図４の２７）。図６（ａ）
の画像信号３５は入力画像に眉、及び目の幅に対応した
長さのＭＡＸ／ＭＩＮフィルタをかけた後の画像信号で
ある。ここでは眉及び目より幅の狭い鼻、口等も抽出さ
れる。眉及び目等の顔画像の特徴点は周りとの輝度差が
大きいため、差分後の輝度値が大きくなる（３５ａ）
が、影や衣服などは周りとの輝度差が小さい（３５
ｂ）。そこで図６（ａ）のように閾値３６を設定し、こ
れをもとに２値化を行う。図６（ｂ）は２値化後の信号
である。以上の処理によって得られた画像を示したもの
が図４である。

【００１７】候補抽出手段２１により抽出された２値化
画像内で、目候補が存在する範囲を示す目検索領域を推
定する目検索領域設定手段２２は、例えば図７のフロー
チャートに示すように、鼻孔領域設定手段３７、鼻孔検
索手段３８、鼻孔確定手段３９、目領域推定手段４０か
らなり、鼻孔検索モード中は図８（ａ）鼻孔検索領域５
ｎ、鼻孔追跡モード中は鼻孔追跡領域５ｎｎに示すよう
な領域を設定する。鼻孔検索モードとは鼻孔位置学習が
未（未だ目を見つけていない状態）をさし、鼻孔追跡モ
ードとは鼻孔学習済の状態を指す。検索領域５ｎは画面
内で通常の運転姿勢で顔が入る範囲に限定し設定する。
追跡領域５ｎｎは、鼻孔学習位置（または、鼻孔前回位
置）５ｇｎから所定幅の領域を設定する。鼻孔検索手段
３８では、図８（ａ）に示すような、等円が顔横方向に
二つ並ぶような領域を検索する。検索は例えば図８
（ｂ）に示すような、Ｘ軸方向ヒストグラム及びＹ軸方
向ヒストグラムを用いて行う。鼻孔確定手段３９では、
検索した候補中より最も鼻孔らしいものを選択し、その
位置を算出する。鼻孔確定後は目領域推定手段４０によ
り、鼻孔位置を基準に左右の目が存在すると思われる領
域である図９の５ｒ５ｌを設定する。５ｒ５ｌは目が十
分入る大きさとし、図２の目確定手段２３により、眉と
目の判別を行う。なお、鼻孔確定手段３９により確定し
た鼻孔位置は、メモリ内に保存し、鼻孔追跡モード時の
鼻孔領域設定に用いる。

【００１８】次に、目確定手段２３により上記で抽出し
た領域中の目候補及び目位置を確定する。目候補は目検
索領域設定手段２２によって推定された目検索領域内に
存在する要素ブロックを、例えばＸ軸ヒストグラム及び
Ｙ軸ヒストグラムを用いて抽出する。次に抽出した要素
ブロックに対して、似た形状である眉及び目の判別を行
うために、図１０（ａ）に示すように、入力画像データ
（多値）をもとに各候補の細線部分を検出する。検出
は、各顔縦方向ラインにつき順次走査し、少なくとも図
１０（ａ）に示すような２点以上から構成されるフィル
タ点（４１ａ、４１ｂ）を通過する点（４１）をもつラ
インを細線ラインとしてカウントする。通過は注目画素
（４１）の輝度値がフィルタ点（４１ａ、４１ｂ）の輝
度値より所定値小さいことが条件である（図１０
（ｂ））。

【００１９】細線割合は各候補の顔横方向ライン数に対
する細線ライン数で表す。目が最も細線部分（瞼ライ
ン）が多いと推定されることから、細線割合が所定値以
上でかつ最大値をとるものを目として判定する。フィル
タ点４１ａまたは４１ｂは注目点よりそれぞれ固定のＯ
ＦＳＴを持つ点、または注目点より所定範囲内に存在す
る画素の最明点、または注目点より所定範囲内に存在す
る画素輝度値の平均値等が考えられる。 （図１０（ａ）で、 眉：細線割合＝（細線ライン数１９×１００）／顔縦方
向ライン数４１＝４６％ 目：細線割合＝（細線ライン数２６×１００）／顔縦方
向ライン数３６＝７２％） このとき、眼鏡フレームの細いものは目候補抽出時にカ
ットできるため、あまり問題なく、太いものや眉などは
顔縦方向に幅が太い部分が多く、フィルタを通過しにく
いため、候補に入りにくいと思われる。よって精度良く
目が抽出できる。また、細線条件通過点があれば、そこ
でそのラインの処理は終了するので、処理は比較的高速
に行える。

【００２０】実施の形態２．図１１は、この発明の実施
の形態２による顔画像処理装置の顔画像の細線部分を示
す図である。実施の形態２は、実施の形態１の目確定手
段２３を次のように変更したものである。目候補は、目
検索領域設定手段２２によって推定された目検索領域内
に存在する要素ブロックを、例えばＸ軸方向ヒストグラ
ム及びＹ軸方向ヒストグラムを用いて抽出する。次に、
抽出した要素ブロックに対して、似た形状である眉及び
目の判別を行うために、図１１（ａ）に示すように、入
力画像データ（多値）をもとに、各候補の細線部分を検
出する。検出は、各顔縦方向ラインにつき順次走査し、
少なくとも図１１（ａ）に示すような３点以上から構成
されるフィルタ点（４２ａ、４２ｂ、４２ｃ）を通過す
る点（４２）をもつラインを、細線ラインとしてカウン
トする（但し、図１１（ａ）に示すのは左目であり、右
目に関してはフィルタ点４２ｃを顔縦方向線に対し対照
にする必要がある）。通過は注目画素（４２）の輝度値
がフィルタ点（４２ａ、４２ｂ、４２ｃ）の輝度値より
所定値小さいことが条件である（図１１（ｂ））。細線
割合は、各候補の顔横方向ライン数に対する細線ライン
数で表す。目が最も細線部分（瞼ライン）が多く、また
目尻ラインの曲率が高いためフィルタ点４２ｃの条件を
満たしやすいと推定されることから、細線割合が所定値
以上でかつ最大値をとるものを目として判定する。

【００２１】フィルタ点４２ａ、４２ｂ、４２ｃは、注
目点よりそれぞれ固定のＯＦＳＴを持つ点、または注目
点より所定範囲内に存在する画素の最明点、または注目
点より所定範囲内に存在する画素輝度値の平均値が考え
られる。 （図１１（ａ）で、 眉：細線割合＝（細線ライン数１５×１００）／顔縦方
向ライン数４１＝３６％ 目：細線割合＝（細線ライン数２１×１００）／顔縦方
向ライン数３６＝５８％） ここで眼鏡フレームの細いものは、目候補抽出時にカッ
トできるため、あまり問題なく、太いものや眉などは顔
縦方向に幅が太い部分が多く、フィルタを通過しにくい
ため、候補に入りにくいと思われる。また顔横方向ライ
ン（４２ｃ）もみるため、目に比べ曲率の少ない眉は、
フィルタを通過しにくく候補に入りにくいと思われる。
よって、精度良く目が抽出できる。また、細線条件通過
点があればそこでそのラインの処理は終了するので、処
理は比較的高速に行える。

【００２２】実施の形態３．図１２は、この発明の実施
の形態３による顔画像処理装置の顔画像の細線部分を示
す図である。実施の形態３は、実施の形態１の目確定手
段２３を次のように変更したものである。目候補は、目
検索領域設定手段２２によって確定された目検索領域内
に存在する要素ブロックを、例えばＸ軸方向ヒストグラ
ム及びＹ軸方向ヒストグラムを用いて抽出する。次に抽
出した要素ブロックに対して、似た形状である眉及び目
の判別を行うために図１２（ａ）に示すように、入力画
像データ（多値）をもとに各候補の細線部分を検出す
る。検出は、各顔縦方向ラインにつき順次走査し、少な
くとも図に示すような３点以上から構成されるフィルタ
点４３、４３ａ、４３ｂ、４３ｃまたは４４、４４ａ、
４４ｂ、４４ｃを通過する点（４３、４４）をもつライ
ンを細線ラインとしてカウントする。但し、フィルタ点
４３は目候補の重心位置より顔横方向左側半分、４４は
顔右側半分に対して用い、通過は注目画素（４３または
４４）の輝度値がフィルタ点（４３ａ、４３ｂ、４３ｃ
または４４ａ、４４ｂ、４４ｃ）の輝度値より所定値小
さいことが条件である（図１２（ｂ））。細線割合は各
候補の顔横方向ライン数に対する細線ライン数で表す。
目が最も細線部分（瞼ライン）が多く、また目尻ライン
の曲率が高いためフィルタ点の条件を満たしやすいと推
定されることから、細線割合が所定値以上でかつ最大値
をとるものを目として判定する。

【００２３】フィルタ点４３ａ、４３ｂ、４３ｃまたは
４４ａ、４４ｂ、４４ｃは、注目点よりそれぞれ固定の
ＯＦＳＴを持つ点、または注目点より所定範囲内に存在
する画素の最明点、または注目点より所定範囲内に存在
する画素輝度値の平均値等が考えられる。 （図１２（ａ）で、 眉：細線割合＝（細線ライン数１９×１００）／顔縦方
向ライン４１＝４６％ 目：細線割合＝（細線ライン数２６×１００）／顔縦方
向ライン数３６＝７２％） ここで、眼鏡フレームの細いものは、目候補抽出時にカ
ットできるため、あまり問題なく、太いものや眉などは
顔縦方向に幅が太い部分が多く、フィルタを通過しにく
いため、候補に入りにくいと思われる。また、顔横方向
ライン（４３ｃまたは４４ｃ）もみるため、目に比べ曲
率の少ない眉はフィルタを通過しにくく候補に入りにく
いと思われる。よって、精度良く目が抽出できる。ま
た、細線条件通過点があれば、そこでそのラインの処理
は終了するので、処理は比較的高速に行える。

【００２４】実施の形態４．図１３は、この発明の実施
の形態４による顔画像処理装置の顔画像の細線部分を示
す図である。実施の形態４は、実施の形態１の目確定手
段２３を次のように変更したものである。目候補は、目
検索領域設定手段２２によって推定された目検索領域内
に存在する要素ブロックを、例えばＸ軸方向ヒストグラ
ム及びＹ軸方向ヒストグラムを用いて抽出する。次に抽
出した要素ブロックに対して、似た形状である眉及び目
の判別を行うために、図１３（ａ）に示すように、入力
画像データ（多値）をもとに各候補の細線部分を検出す
る。検出は、各顔縦方向ラインにつき順次走査し、注目
画素と前画素の輝度の差分（＝微分値 図１３（ｂ））
を算出し、微分値のピーク４５ａからピーク４５ｂまで
の幅が所定以下のラインを、細線ラインとしてカウント
する。

【００２５】細線割合は各候補の顔横方向ライン数に対
する細線ライン数で表す。目が最も細線部分（瞼ライ
ン）が多いと推定されることから、細線割合が所定値以
上でかつ最大値をとるものを目として判定する。 （図１３（ａ）で、 眉：細線割合＝（細線ライン数１６×１００）／顔縦方
向ライン数４１＝３９％ 目：細線割合＝（細線ライン数２４×１００）／顔縦方
向ライン数３６＝６６％） ここで、眼鏡フレームの細いものは目候補抽出時にカッ
トできるため、あまり問題なく、太いものや眉などは顔
縦方向に幅が太い部分が多く、候補に入りにくいと思わ
れる。よって、精度良く目が抽出できる。また、細線条
件通過点があれば、そこでそのラインの処理は終了する
ので、処理は比較的高速に行える。

【００２６】

【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に示すような効果を奏する。カメラ
によって撮影されマトリックス状に配置された多数の画
素によって表示されるように構成された顔画像が記憶さ
れる画像メモリと、この画像メモリに記憶された顔画像
を２値化すると共に目候補を抽出する候補抽出手段と、
この候補抽出手段によって２値化された顔画像内で目の
存在する範囲を示す目検索領域を推定する目検索領域設
定手段と、この目検索領域設定手段によって推定された
目検索領域内に含まれる目候補について、画像メモリに
記憶されている顔画像を用いて細線部分を抽出し、目候
補の画像全体に対する細線部分の割合によって目を判別
する目確定手段を備えたので、細線部分の抽出を画像メ
モリに入力されている多値顔画像で行うことにより、正
確に目を判別することができると共に、２値化画像を用
いて目検索領域を推定するので、高速に処理することが
できる。また、目確定手段は、顔画像中の特定画素と、
この特定画素から顔の縦方向の所定長さの位置にある２
画素との輝度の比較を行って細線部分を抽出するので、
精度よく細線部分を抽出できる。

【００２７】また、目確定手段は、顔画像中の特定画素
と、この特定画素から顔の縦方向の所定長さの位置にあ
る２画素及び顔の横方向の所定長さの位置にある画素と
の輝度の比較を行って細線部分を抽出するので、より正
確に細線部分を抽出することができる。さらに、横方向
の所定長さの位置にある画素は、特定画素から顔の外側
にあるので、細線部分抽出の確実度が増す。

【００２８】また、目確定手段は、目候補の重心から外
側に特定画素がある場合は、顔の外側に向けて横方向の
所定長さの位置にある画素との輝度の比較を行うと共
に、目候補の重心から内側に特定画素がある場合は、顔
の内側に向けて横方向の所定長さの位置にある画素との
輝度の比較を行うので、細線部分抽出の確実度が増す。
また、目確定手段は、特定画素とこの特定画素に縦方向
に隣接する画素との輝度の差分値を算出し、算出された
差分値のピークからピークまでの長さによって細線部分
を抽出するので、精度よく細線部分を抽出することがで
きる。

【００２９】さらにまた、目検索領域設定手段は、鼻孔
領域を設定し、設定された鼻孔領域に基づき、目検索領
域を推定するので、確実に目検索領域を推定することが
できる。また、候補抽出手段は、顔画像を眉及び目の幅
に対応した長さのＭＡＸ／ＭＩＮフィルタを通して、目
候補を抽出するので、効率よく目候補を抽出することが
できる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による顔画像処理装
置の構成を示す図である。

【図２】 この発明の実施の形態１による顔画像処理装
置の処理の流れを示すフローチャートである。

【図３】 この発明の実施の形態１による顔画像処理装
置におけるカメラよりの入力画像を示す図である。

【図４】 この発明の実施の形態１による顔画像処理装
置の２値化画像を示す図である。

【図５】 この発明の実施の形態１による顔画像処理装
置のＭＡＸ／ＭＩＮフィルタの説明図である。

【図６】 この発明の実施の形態１による顔画像処理装
置の候補抽出手段の説明図である。

【図７】 この発明の実施の形態１による顔画像処理装
置の目検索領域設定手段の流れを示すフローチャートで
ある。

【図８】 この発明の実施の形態１による顔画像処理装
置の鼻孔領域設定手段、鼻孔検索手段、鼻孔確定手段の
一部を示す図である。

【図９】 この発明の実施の形態１による顔画像処理装
置の目検索領域を示す図である。

【図１０】 この発明の実施の形態１による顔画像処理
装置の顔画像の細線部分を示す図である。

【図１１】 この発明の実施の形態２による顔画像処理
装置の顔画像の細線部分を示す図である。

【図１２】 この発明の実施の形態３による顔画像処理
装置の顔画像の細線部分を示す図である。

【図１３】 この発明の実施の形態４による顔画像処理
装置の顔画像の細線部分を示す図である。

【図１４】 従来の顔画像処理装置の装置全体の構成を
示す図である。

【図１５】 従来の顔画像処理装置の目領域判定手段の
動作の流れを示すフローチャートである。

【符号の説明】

１７ ＣＣＤカメラ、 １８ 画像メモリ、 １９ Ｃ
ＰＵ、２０ 顔画像入力手段、 ２１ 候補抽出手段、
２２ 目検索領域設定手段、 ２３ 目確定手段、３７
鼻孔領域設定手段、 ３８ 鼻孔検索手段、３９ 鼻
孔確定手段、 ４０ 目領域推定手段。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 カメラによって撮影されマトリックス状
   に配置された多数の画素によって表示されるように構成
   された顔画像が記憶される画像メモリ、この画像メモリ
   に記憶された顔画像を２値化すると共に目候補を抽出す
   る候補抽出手段、この候補抽出手段によって２値化され
   た顔画像内で目の存在する範囲を示す目検索領域を推定
   する目検索領域設定手段、この目検索領域設定手段によ
   って推定された目検索領域内に含まれる目候補につい
   て、上記画像メモリに記憶されている顔画像を用いて細
   線部分を抽出し、上記目候補の画像全体に対する細線部
   分の割合によって目を判別する目確定手段を備えたこと
   を特徴とする顔画像処理装置。
2. 【請求項２】 目確定手段は、顔画像中の特定画素と、
   この特定画素から顔の縦方向の所定長さの位置にある２
   画素との輝度の比較を行って細線部分を抽出することを
   特徴とする請求項１記載の顔画像処理装置。
3. 【請求項３】 目確定手段は、顔画像中の特定画素と、
   この特定画素から顔の縦方向の所定長さの位置にある２
   画素及び顔の横方向の所定長さの位置にある画素との輝
   度の比較を行って細線部分を抽出することを特徴とする
   請求項１記載の顔画像処理装置。
4. 【請求項４】 横方向の所定長さの位置にある画素は、
   特定画素から顔の外側に向けてあることを特徴とする請
   求項３記載の顔画像処理装置。
5. 【請求項５】 目確定手段は、目候補の重心から外側に
   特定画素がある場合は、顔の外側に向けて横方向の所定
   長さの位置にある画素との輝度の比較を行うと共に、上
   記目候補の重心から内側に特定画素がある場合は、顔の
   内側に向けて横方向の所定長さの位置にある画素との輝
   度の比較を行うことを特徴とする請求項３記載の顔画像
   処理装置。
6. 【請求項６】 目確定手段は、特定画素とこの特定画素
   に縦方向に隣接する画素との輝度の差分値を算出し、算
   出された差分値のピークからピークまでの長さによって
   細線部分を抽出することを特徴とする請求項１記載の顔
   画像処理装置。
7. 【請求項７】 目検索領域設定手段は、鼻孔領域を設定
   し、設定された鼻孔領域に基づき、目検索領域を推定す
   ることを特徴とする請求項１〜請求項６のいずれか一項
   記載の顔画像処理装置。
8. 【請求項８】 候補抽出手段は、顔画像を眉及び目の幅
   に対応した長さのＭＡＸ／ＭＩＮフィルタを通して、目
   候補を抽出することを特徴とする請求項１〜請求項７の
   いずれか一項記載の顔画像処理装置。