JP2000339476A - 目位置及び顔位置検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 安定して目位置、顔位置を検出する。 【解決手段】 ＴＶカメラ１０１は被験者の顔画像を撮
影する。エッジ検出部１０２は、顔画像データから顔の
エッジ画像を検出する。顔領域検出部１１は、顔画像デ
ータとエッジ画像から顔の中心線を求め、この中心線に
基づき顔領域を決定する。顔領域分割部１２は、顔領域
を左目領域と右目領域と鼻領域とに分割する。目位置検
出部１３は、左目領域と右目領域と鼻領域の画像データ
とエッジ情報から目の位置を検出する。顔位置検出部１
４は、目位置検出部１３で求めた目位置と鼻の位置に基
づき、顔の位置を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔画像を利用する
ヒューマンインタフェースシステムにおいて、顔画像か
ら目及び顔位置を検出する目位置及び顔位置検出装置に
関するものである。

【０００２】

【従来の技術】顔をヒューマンインタフェースに利用す
る場合、顔画像から目や口といった顔部品の位置を正確
に知る必要がある。例えば、このような従来技術とし
て、文献：“横山太郎，呉海元，谷内田正彦、「色彩画
像からの顔の発見と顔部品の同定」，情報処理学会研究
会資料ＣＶＩＭ１００−１１，ｐｐ８５−９２”に示さ
れたものがあった。

【０００３】この文献に示された従来技術では、画像デ
ータから肌色情報を用いて顔領域を特定した後に、エッ
ジ検出フィルタによるフィルタ処理を施し、更に適当な
閾値で２値化して２値エッジ画像を生成して、その画像
の各画素をｘ軸方向、ｙ軸方向へ投影して得られる投影
ヒストグラムを元に顔の各部品の位置を求めている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来の技術では、例えば眼鏡によるエッジの影響によって
目や眉の位置を正しく検出できない等、安定した目位置
や顔位置の検出処理が行えない問題があった。

【０００５】

【課題を解決するための手段】本発明は、前述の課題を
解決するため次の構成を採用する。 〈構成１〉被験者を撮影した画像データから顔の中心線
を求め、中心線に基づいて顔領域を決定する顔領域検出
部と、顔領域検出部で得られた顔領域を左目領域と右目
領域と鼻領域とに分割する顔領域分割部と、左目領域と
右目領域と鼻領域における画像データから目の位置を検
出する目位置検出部と、左目領域と右目領域と鼻領域に
おける画像データから顔の位置を検出する顔位置検出部
とを備えたことを特徴とする目位置及び顔位置検出装
置。

【０００６】〈構成２〉構成１に記載の目位置及び顔位
置検出装置において、顔領域検出部は、顔画像データか
ら顔中心線を検出する顔中心線検出処理部と、顔中心検
出部で得られた顔中心線と、顔画像データとから顔の横
幅を検出する顔横幅検出処理部と、顔横幅検出処理部で
得られた顔の横幅情報と、顔中心検出部で得られた顔中
心線と、顔画像データとから顔の縦幅を検出する顔縦幅
検出処理部と、顔縦幅検出処理部で得られた顔の縦幅情
報と、顔横幅検出処理部で得られた顔の横幅情報と、顔
画像データとから、再度顔中心線を検出する顔中心線再
検出処理部と、顔中心線再検出処理部で得られた顔中心
線と、顔画像データから顔の横幅を再度検出する顔横幅
再検出処理部とを備えたことを特徴とする目位置及び顔
位置検出装置。

【０００７】〈構成３〉構成２に記載の目位置及び顔位
置検出装置において、顔縦幅検出処理部は、顔中心線と
顔横幅の情報に基づいて決定したエッジ探索領域内で、
上側に横エッジが集中的に現れ、その下側に横エッジと
縦エッジがほとんど存在しないという特徴をもった領域
を探索することで目のｙ座標候補位置を決定し、その位
置に基づいて顔の縦幅を決定するよう構成されているこ
とを特徴とする目位置及び顔位置検出装置。

【０００８】〈構成４〉構成２または３に記載の目位置
及び顔位置検出装置において、顔領域分割部は、顔領域
検出部で求められた顔中心線と、顔横幅再検出処理部で
求められた顔横幅の情報とから鼻領域を決定し、かつ、
顔中心線と、顔縦幅検出処理部で求められた顔縦幅と顔
横幅の情報から左目領域と右目領域を決定するよう構成
されていることを特徴とする目位置及び顔位置検出装
置。

【０００９】〈構成５〉構成１〜４のいずれかに記載の
目位置及び顔位置検出装置において、目位置検出部は、
鼻領域から眼鏡の有無を検出して、眼鏡が検出された場
合はその情報を反映させて左右の目位置を探索する範囲
を絞り込み、その絞り込まれた左目探索領域と右目探索
領域からそれぞれ左目と右目の位置を検出するよう構成
されていることを特徴とする目位置及び顔位置検出装
置。

【００１０】〈構成６〉構成１〜５のいずれかに記載の
目位置及び顔位置検出装置において、目位置検出部は、
特定の領域の画素値が他の領域の画素値より高い値を示
す目検出フィルタによって各画素の目らしさ値を求め、
目らしさ値を横方向に投影加算処理して目らしさ値投影
ヒストグラムを作成し、このヒストグラムに基づいて瞳
のｙ座標候補位置を決定するよう構成されていることを
特徴とする目位置及び顔位置検出装置。

【００１１】〈構成７〉構成６に記載の目位置及び顔位
置検出装置において、目位置検出部は、目らしさ値投影
ヒストグラムに基づいて決定された瞳のｙ座標候補位置
と、顔領域検出部で求められた顔中心線と顔横幅の情報
によって検出される瞳のｘ座標候補位置とから決定され
る瞳の候補位置の付近で、目検出フィルタによる目らし
さ値が最も高い値を取る位置を瞳中心とするよう構成さ
れていることを特徴とする目位置及び顔位置検出装置。

【００１２】〈構成８〉構成６または７に記載の目位置
及び顔位置検出装置において、目検出フィルタは、中央
部が黒くその周りが白い部分で覆われている領域の中央
の部分に対して高い値となるよう構成されていることを
特徴とする目位置及び顔位置検出装置。

【００１３】〈構成９〉構成１〜８のいずれかに記載の
目位置及び顔位置検出装置において、顔位置検出部は、
顔領域分割部によって得られる鼻領域中からエッジ情報
を用いて鼻位置を探索し、得られた鼻位置と、目位置検
出部で求められた左右の目位置の３点に基づいて顔領域
を決定するよう構成されていることを特徴とする目位置
及び顔位置検出装置。

【００１４】〈構成１０〉被験者を撮影するカメラと、
カメラにより撮影された被験者の画像データから横方向
と縦方向のエッジ画像データを求めるエッジ検出部と、
横方向と縦方向のエッジ画像データに基づいて被験者迄
の距離を算出し、カメラの焦点制御を行うオートフォー
カス制御部と、オートフォーカス制御部で算出した被験
者迄の距離に基づき、被験者の画像データと、エッジ画
像データから顔の中心線及び顔領域を決定する顔領域検
出部と、得られた顔領域を左目領域と右目領域と鼻領域
とに分割する顔領域分割部と、左目領域と右目領域と鼻
領域における画像データ及びエッジ情報から目の位置を
検出する目位置検出部と、左目領域と右目領域と鼻領域
における画像データ及びエッジ情報から顔の位置を検出
する顔位置検出部とを備えたことを特徴とする目位置及
び顔位置検出装置。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態を具体
例を用いて詳細に説明する。 《具体例１》 〈構成〉図１は本発明の目位置及び顔位置検出装置の具
体例１を示す構成図である。図の装置は、ＴＶカメラ１
０１、エッジ検出部１０２、目・顔位置検出部１０３か
らなる。

【００１６】ＴＶカメラ１０１は、被験者の顔画像を撮
影するためのカメラである。エッジ検出部１０２は、Ｔ
Ｖカメラ１０１からの濃淡画像に対してエッジ検出処理
を行う機能を有している。

【００１７】目・顔位置検出部１０３は、ＴＶカメラ１
０１で撮影された濃淡画像と、エッジ検出部１０２でエ
ッジ検出された画像とから目位置及び顔位置を検出する
機能部であり、顔領域検出部１１、顔領域分割部１２、
目位置検出部１３、顔位置検出部１４からなる。

【００１８】顔領域検出部１１は、濃淡顔画像とエッジ
顔画像を用いて顔領域を決定し、その顔領域の位置情報
を濃淡顔画像とエッジ顔画像と共に送出する機能を有し
ている。顔領域分割部１２は、顔領域から眼鏡の影響を
受けずに安定して目の位置を検出するために、顔領域を
特定の領域に分割して、その分割顔領域の位置情報を、
濃淡顔画像とエッジ顔画像と共に送出する機能を有して
いる。目位置検出部１３は、分割顔領域中の濃淡情報と
エッジ情報を利用して左右の目位置を検出してその目位
置を出力する機能部である。顔位置検出部１４は、目位
置検出部１３から送られてくる目位置情報とエッジ情報
から鼻の位置を推定して、両目と鼻の位置に基づいて正
確な顔位置を検出してその情報を出力する機能部であ
る。

【００１９】〈動作〉先ず、ＴＶカメラ１０１で撮影さ
れた濃淡顔画像はエッジ検出部１０２に送られ、エッジ
顔画像を作成する。エッジ検出部１０２では、後の処理
で利用するための２種類のエッジ画像を作成する。

【００２０】図２は、縦エッジ検出フィルタと横エッジ
検出フィルタの説明図である。上記２種類のエッジ画像
のうち、一つのエッジ画像は縦方向のエッジを強調した
画像であり、図２の（ａ）や（ｂ）に示すような画像フ
ィルタ（これ以外にも同様な働きを行うsobelフィルタ
等を利用してもよい）を、単独あるいは組み合わせて用
いることでフィルタ処理を行い、その後で予め定められ
た閾値で２値化処理を行って縦エッジ画像を生成する。

【００２１】もう一つのエッジ画像は横方向のエッジを
強調した画像であり、図２の（ｃ）や（ｄ）に示すよう
な画像フィルタ（これ以外にも同様な働きを行う画像フ
ィルタを利用してもよい）を、単独あるいは組み合わせ
て用いることでフィルタ処理を行い、その後で同様に２
値化処理を行って横エッジ画像を生成する。ここで、生
成された二つのエッジ顔画像は、濃淡顔画像とあわせて
次の目・顔位置検出部１０３における顔領域検出部１１
に送られる。

【００２２】顔領域検出部１１では次のような手順に従
って顔領域を決定する。図３は、顔領域検出部１１にお
ける各機能部の構成とその処理手順を示す説明図であ
る。図示のように、顔領域検出部１１は、顔中心線検出
処理部２１、顔横幅検出処理部２２、顔縦幅検出処理部
２３、顔中心線再検出処理部２４、顔横幅再検出処理部
２５からなる。

【００２３】顔中心線検出処理部２１は、濃淡顔画像と
エッジ顔画像から顔中心線を検出する機能を有してい
る。顔横幅検出処理部２２は、顔中心線検出処理部２１
で得られた顔中心線と、濃淡顔画像とエッジ顔画像とか
ら顔の横幅を検出する機能を有している。顔縦幅検出処
理部２３は、顔横幅検出処理部２２で得られた顔の横幅
情報と、顔中心線検出処理部２１で得られた顔中心線
と、濃淡顔画像とエッジ顔画像とから顔の縦幅を検出す
る機能を有している。顔中心線再検出処理部２４は、顔
縦幅検出処理部２３で得られた顔の縦幅情報と、顔横幅
検出処理部２２で得られた顔の横幅情報と、濃淡顔画像
とエッジ顔画像とから、再度顔中心線を検出する機能を
有している。顔横幅再検出処理部２５は、顔中心線再検
出処理部２４で得られた顔中心線と、濃淡顔画像とエッ
ジ顔画像とから顔の横幅を再度検出する機能を有してい
る。

【００２４】このように構成された顔中心線検出処理部
２１〜顔横幅再検出処理部２５では次のような処理を行
う。先ず、顔中心線検出処理部２１では、送られてくる
濃淡顔画像の濃淡情報を利用して顔の中心線（後述する
図４参照）を決定する。この処理では、特願平７−３４
９１５２号明細書で開示されているように、例えば、最
も左右の画素値の対称性が高いｘ座標を求めることによ
って、顔の中心線を検出する。

【００２５】顔中心線が決定すると、次に顔横幅検出処
理部２２において顔の横幅を決定する処理を行う。図４
は、顔中心線と縦エッジ投影ヒストグラムの説明図であ
る。顔の横幅を決定する処理は、先ず、図４に示すよう
に縦エッジ顔画像全体を縦方向に投影加算処理を行い、
縦エッジ投影ヒストグラムを求める。顔画像の場合、縦
エッジは通常顔輪郭の部分に多く現れるため、縦エッジ
投影ヒストグラムの値が高いところを顔中心線から左右
方向に探索することで顔の横幅を決定する。

【００２６】顔横幅が決定すると、次に顔中心線と顔横
幅から顔縦幅検出処理部２３において顔の縦幅を決定す
る。顔の縦幅を決定する場合、目の付近に横エッジが集
中的に現れ、その下の頬の部分にはエッジがほとんど現
れないことを利用して、目のｙ座標候補位置を検出し、
その位置に基づいて顔の縦幅を決定する。その手法を次
に説明する。

【００２７】図５は、顔中心線と目探索領域内の横エッ
ジ投影ヒストグラムと縦横エッジ投影ヒストグラムの説
明図である。先ず、顔中心線と顔の横幅から目のｙ座標
候補位置を探索するためのエッジ探索領域を決定する。
図５に示すように、顔中心線のｘ座標をｘ０、被験者の
右側の顔幅をＲ、左側の顔幅をＬとすると、被験者の右
側領域におけるエッジ探索領域は、 ｘ０−（α＊Ｒ＋β）≦ｘ≦ｘ０−（γ＊Ｒ＋δ）…（１） の範囲で現される領域である（但し、α，β，γ，δは
定数）。同様に左側顔領域におけるエッジ探索領域は、 ｘ０＋（γ＊Ｌ＋δ）≦ｘ≦ｘ０＋（α＊Ｌ＋β）…（２） の範囲である。このように横幅によって探索範囲を設定
することで、画像上の顔の大きさが異なっても対応でき
るようになる。

【００２８】次に、左右のエッジ探索領域内におけるエ
ッジ情報を利用して目のｙ座標候補位置を決定する。そ
の処理は図５に示すように、先ず、左右のエッジ探索領
域内における横エッジを横方向に投影加算処理を行い、
横エッジ投影ヒストグラムを作成する。同様に縦エッジ
と横エッジを横方向に投影加算処理を行い、縦横エッジ
投影ヒストグラムも作成する。そのとき、目付近には目
や眉によって横エッジが発生するため横エッジ投影ヒス
トグラムの値が高くなる。但し、横エッジ投影ヒストグ
ラムは目・眉の位置以外にも服の襟付近や背景上に横方
向の直線等がある場合にも高い値を示す結果となるた
め、目の下の頬の領域にはエッジがほとんど存在しない
ということを利用して、目のｙ座標候補位置を決定す
る。

【００２９】具体的には、横エッジ投影ヒストグラムの
値が集中的に高くなった部分の下に、縦横エッジ投影ヒ
ストグラムの値が集中的に低くなる部分を探索すること
で目のｙ軸上での候補位置を決定する。このような処理
によって目のｙ座標候補位置が決定される。図５では直
線ｙ＝ｙ０の位置となる。

【００３０】目のｙ座標候補位置が決定すると、前に求
められている顔の横幅情報も利用して顔の縦幅を決定す
る。具体的には図５の直線ｙ＝ｙ１が顔領域の上限、直
線ｙ＝ｙ２が顔領域の下限を表している。このｙ１とｙ
２の値は目のｙ座標候補位置ｙ０と左右の顔幅ＬとＲと
から以下の式によって決定される。

【００３１】 ｙ１＝ｙ０−ε（Ｒ＋Ｌ）＋φ…（３） ｙ２＝ｙ０−ζ（Ｒ＋Ｌ）＋χ…（４）

【００３２】但し、ε，ζ，φ，χは定数を表す。この
時、目のｙ座標候補位置ｙ０は眼鏡のフレームのエッジ
によって本来の目のｙ座標からずれていることがあるた
め、ｙ１とｙ２の位置はその可能性も考慮に入れて少し
大きめになるように、ε，ζ，φ，χを設定した方が良
い。ここで、顔の縦幅をＨとするとＨは以下の式から求
められる。 Ｈ＝ｙ２−ｙ１ …（５）

【００３３】顔縦幅検出処理部２３までの処理で顔領域
の横幅と縦幅が決定されたことになるが、顔中心線と横
幅については再度検出処理を行う。これは、顔中心線検
出処理と顔横幅検出処理は、探索領域を限定せず画像全
体を処理対象にしているため、顔以外の領域の影響で本
来の位置から若干ずれることがあるためである。

【００３４】そこで、顔縦幅検出処理部２３までの処理
で得られた顔領域を探索範囲として、顔中心線再検出処
理部２４と顔横幅再検出処理部２５において、再度、顔
中心線と顔横幅の検出処理を行う。

【００３５】顔中心線再検出処理部２４では、顔縦幅検
出処理部２３で得られた顔の縦幅ｙ＝ｙ１からｙ＝ｙ２
までの領域内で、顔中心線検出処理部２１で求められた
顔中心線のｘ座標：ｘ０の付近を顔中心線検出処理部２
１と同様のアルゴリズムで探索することによって顔中心
線を計算し、顔中心線のｘ座標：ｘ０′を再度求める。

【００３６】次に、顔横幅再検出処理部２５では、顔中
心線再検出処理部２４で得られた顔中心線ｘ＝ｘ０′に
基づいて、顔縦幅検出処理部２３で得られた顔の縦幅ｙ
＝ｙ１からｙ＝ｙ２までの領域内で、顔横幅検出処理部
２２と同様のアルゴリズムで顔の横幅を計算して、顔の
左右の位置を再度求め、得られた右側の顔幅をＲ′、左
側の顔幅をＬ′とする。

【００３７】最終的に顔領域検出部１１では、これらの
処理結果である顔領域情報、つまり顔の中心線位置と顔
の上下左右の位置情報が得られ、これらの情報が濃淡画
像とエッジ顔画像と共に次の顔領域分割部１２に送られ
る。

【００３８】顔領域分割部１２では、眼鏡の影響を受け
ずに安定して目の位置を検出するために顔領域を分割す
る。図６は、左右の目領域と鼻領域の説明図である。顔
領域の分割は、図示のように、顔中心線及び顔領域の位
置情報に基づいて顔領域を鼻領域、右目領域、左目領域
に分割する。鼻領域は眼鏡検出に利用され、右目領域、
左目領域は眼鏡の有無を反映して目の位置を決定するの
に利用される。

【００３９】右目領域と左目領域の幅は顔領域検出部１
１で用いた式（１），（２）と同様に顔中心線のｘ座標
によって決定される。但し、式（１），（２）では、顔
中心線のｘ座標に顔中心線検出処理部２１と顔横幅検出
処理部２２で得られたｘ０，Ｒ，Ｌを用いたが、ここで
は顔中心線再検出処理部２４で得られたｘ座標：ｘ０′
と顔横幅再検出処理部２５で得られた左右の顔横幅：
Ｒ′，Ｌ′を用いて、以下の式によって各領域の横幅を
決定する。 ｘ０′−（α＊Ｒ′＋β）≦ｘ≦ｘ０′−（γ＊Ｒ′＋δ）…（６） ｘ０′＋（γ＊Ｌ′＋δ）≦ｘ≦ｘ０′＋（α＊Ｌ′＋β）…（７）

【００４０】また、左右の目領域の縦幅については顔の
縦幅Ｈより以下の式から求められる範囲とする。 ｙ１≦ｙ≦ｙ１＊ω＋ψ …（８） 但し、ω，ψは定数である。また、鼻領域については、
ｘ０′，Ｒ′，Ｌ′に基づいて次の式から決定される。 ｘ０′−（η＊（Ｒ′＋Ｌ′）＋θ）≦ｘ≦ｘ０′＋（η＊（Ｒ′ ＋Ｌ′）＋θ） …（９） ｙ１≦ｙ≦ｙ２ …（１０） 但し、η，θは定数を表す。そして、ここで得られた右
目領域、左目領域、鼻領域の位置情報が、濃淡顔画像、
エッジ顔画像、顔領域とあわせて次の目位置検出部１３
に送られる。

【００４１】目位置検出部１３では、顔領域における右
目領域、左目領域、鼻領域内の濃淡顔情報、エッジ顔情
報を利用して、瞳中心の位置を決定する。

【００４２】図７は、目位置検出部１３の構成及びその
処理手順を示す説明図である。図示のように、目位置検
出部１３は、瞳ｙ座標候補位置検出処理部３１、瞳ｘ座
標候補位置検出処理部３２、瞳中心位置検出処理部３３
から構成されている。

【００４３】瞳ｙ座標候補位置検出処理部３１は、左右
の目領域から瞳のｙ座標候補を決定する機能を有してい
る。瞳ｘ座標候補位置検出処理部３２は、左右の顔横幅
Ｒ′，Ｌ′と目の一般的な位置情報に基づいて瞳のｘ座
標候補を決定する機能を有している。瞳中心位置検出処
理部３３は、瞳の候補位置の周辺を探索して瞳の中心位
置を決定する機能を有している。以下に、それぞれの処
理部における処理について詳しく説明する。

【００４４】瞳ｙ座標候補位置検出処理部３１では、先
ず、左右の目領域における各画素毎に「目らしさ値」を
計算する。目らしさ値は、次に示すような左右の目検出
フィルタによるフィルタ処理を行うことで求められる。

【００４５】図８は、左右の目検出フィルタの説明図で
ある。図８の（ａ）（ｂ）に示すような左右の目検出フ
ィルタは、図８における（ｃ）（ｄ）に示す目のような
領域、つまり中央の部分が黒く、その周りが白い部分で
覆われている領域の中央において高い値を示すようにな
っている。但し、この左右の目検出フィルタにおいて、
鼻に近い側の白い領域に対応する部分ではフィルタ処理
を行っていない。これは、左右の目において鼻に近い側
は白目の部分が画像上に明確に現れない場合が多いため
である。

【００４６】また、図８（ａ）（ｂ）の目検出フィルタ
では、中央の黒い領域に対応する部分の大きさを３×３
にして、その周りを１の幅で白い領域に対応するように
しているが、これは顔の大きさによって変化させること
も可能である。また、黒い部分と白い部分のフィルタの
重みを撮影環境に合わせて図８（ｅ）（ｆ）のように変
化させることも可能である。このように、目検出フィル
タによって目領域中の各画素での目らしさ値が求めら
れ、瞳中心付近では目らしさ値が高くなる。

【００４７】目領域中の各画素での目らしさ値が求めら
れると、この値を利用して瞳のｙ座標候補位置を求め
る。そのためには、左右の目領域中の各画素における目
らしさ値を横方向に投影加算処理して目らしさ値投影ヒ
ストグラムを作成する。この時、眼鏡をかけていない場
合であれば、図５に示した横エッジ投影ヒストグラムの
ときと同様に瞳のｙ座標付近でヒストグラムの値が高く
なるので、そこが瞳のｙ座標候補位置となる。

【００４８】しかし、眼鏡をかけている場合は、眼鏡の
種類によってはフレーム部分でもヒストグラムの値が高
くなる場合がある。

【００４９】図９は、眼鏡をかけた人の鼻領域における
横エッジ投影ヒストグラムの説明図である。このような
眼鏡をかけている場合は、先ず、鼻領域における横エッ
ジを利用して眼鏡検出処理を行う。そのためには、鼻領
域における横エッジを横方向に投影加算処理を行って横
エッジ投影ヒストグラムを作成する。眼鏡をかけている
場合は、鼻領域を上から探索していくと目領域の縦幅に
対応する範囲内に眼鏡のフレームの横エッジが最初に現
れるので、その位置を眼鏡フレーム位置（ｙ３）とす
る。そのとき目は、眼鏡フレーム位置より下の位置にあ
る筈なので、眼鏡フレーム位置から決まった下の位置
（ｙ４：この値も顔の横幅によって決められる）までを
瞳のｙ座標候補位置の探索範囲として、目らしさ値投影
ヒストグラムの値を調べて、ある閾値以上で、かつ、最
も高い値のｙ座標を瞳のｙ座標候補位置とする。ここで
得られた左右の瞳のｙ座標をそれぞれｙｒ，ｙｌ（但
し、ｙｒ＝ｙｌ）とする。

【００５０】左右の瞳のｙ座標候補位置が決まると、次
に瞳ｘ座標候補位置検出処理部３２において、顔の横幅
Ｒ′，Ｌ′と顔中心線からの一般的な目位置情報とから
瞳のｘ座標を決定する。具体的には、左右の瞳のｘ座標
をｘｒ，ｘｌとすると、ｘｒとｘｌは以下の式から求め
られる。 ｘｒ＝ｘ０′−ιＲ′＋κ ｘｌ＝ｘ０′−ιＬ′＋κ ここで、ι，κは定数であり、この値は何人かの実測値
データから決定される。

【００５１】ここまでの処理で求められる左右の瞳の候
補座標（ｘｒ，ｙｒ）、（ｘｌ，ｙｌ）は投影加算処理
による位置情報と一般的な目の位置情報に基づいて決定
されているので、正確に瞳の中心にはなっていないこと
がある。そこで、次に瞳中心位置検出処理部３３におい
て、瞳の中心を検出する。

【００５２】瞳中心位置検出処理部３３では、左右のそ
れぞれの瞳の候補位置（ｘｒ，ｙｒ）、（ｘｌ，ｙｌ）
付近で、目らしさ値が最も高い位置（ｅｘｒ，ｅｙ
ｒ）、（ｅｘｌ，ｅｙｌ）を検出することで行われる。
このようにして得られた（ｅｘｒ，ｅｙｒ）、（ｅｘ
ｌ，ｅｙｌ）を最終的な目位置として出力する。

【００５３】顔位置検出部１４では、左右の瞳中心位置
と鼻の位置とから顔の正確な位置を決定する。鼻の位置
は、図９に示す鼻領域中の横エッジ投影ヒストグラムを
利用して決定する。鼻領域中の横エッジ投影ヒストグラ
ムでは、主に眼鏡フレーム、鼻、口の部分ではヒストグ
ラムの値が高くなるが、ヒストグラムを上から探索して
いくと、鼻部分のエッジは瞳中心のｙ座標より下の位置
で初めて高くなる位置に現れる特徴がある。そこで、瞳
中心位置を探索の開始位置として下向きに鼻領域の横エ
ッジ投影ヒストグラムを探索していき、投影ヒストグラ
ムの値が閾値以上の値を初めに取る位置を鼻のｙ座標：
ｎｙとする。鼻のｘ座標は顔中心線のｘ座標であるｘ
０′とする。

【００５４】そして、最後に、両目の位置と鼻の位置の
３点から顔領域を決定する。図１０は、瞳中心と顔領域
を示す説明図である。顔領域の決定は、図１０に示すよ
うに、両目の位置（ｅｘｒ，ｅｙｒ）、（ｅｘｌ，ｅｙ
ｌ）の中点の座標を（ｆｘ０，ｆｙ０）として（ｆｘ
０，ｆｙ０）から、両目（ｅｘｒ，ｅｙｒ）、（ｅｘ
ｌ，ｅｙｌ）と、鼻（ｘ０′，ｎｙ）までの距離をＥ
Ｒ，ＥＬ，Ｎとすると、顔領域は（Ｆｘｌ，Ｆｙｌ）を
左上、（Ｆｘ２，Ｆｙ２）を右下の座標として以下の式
から決定される。

【００５５】 Ｆｘ１＝λ＊ＥＲ＋σ Ｆｘ２＝λ＊ＥＬ＋σ Ｆｙ１＝μ＊Ｎ＋τ Ｆｙ２＝ν＊Ｎ＋υ 但し、λ，μ，ν，σ，τ，υは定数である。そして、
最終的にこの位置情報が顔位置として出力される。

【００５６】〈効果〉以上のように、具体例１によれ
ば、顔領域の探索、目領域探索、目位置探索、顔位置探
索と粗い探索から細かい探索（coarse-to-fine探索）を
行うようにして最終的に目・顔位置を検出するので、高
速に、かつ、安定して目位置、顔位置を検出することが
できる。また、顔領域探索など粗い探索では入力画像を
ある程度間引いた画像に対して処理を行っても有効であ
り、その場合更に処理時間の短縮が可能となる。

【００５７】また、顔中心線検出処理や各領域検出処理
においては、入力画像の画素値そのものよりもエッジ情
報など各画素間の相対情報に基づいて探索処理を行うの
で、撮影環境が変化しても、安定して検出処理を行うこ
とができる。

【００５８】しかも、顔領域を縦方向に左目領域、右目
領域、鼻領域と分割して処理を行うことで、眼鏡の検出
が容易となり、安定した目の検出に役立つ。

【００５９】尚、上記具体例１では、濃淡画像を利用す
るとして説明したが、カラー画像を利用することも可能
である。その場合の処理時間は、濃淡画像に比べて増大
するが、カラーの情報を利用できる分、顔の中心線を検
出する処理、瞳の中心を検出する処理などの精度を向上
させることができる。

【００６０】《具体例２》 〈構成〉図１１は、本発明の目位置及び顔位置検出装置
の具体例２の構成図である。図示の装置は、ＴＶカメラ
２０１、エッジ検出部１０２、目・顔位置検出部２０
３、オートフォーカス制御部２０４からなる。また、目
・顔位置検出部２０３は、顔領域検出部４１、顔領域分
割部１２、目位置検出部１３、顔位置検出部１４から構
成されている。ここで、エッジ検出部１０２と、目・顔
位置検出部２０３における顔領域分割部１２〜顔位置検
出部１４は、具体例１の構成と同様であるため、同一符
号を付してその説明を省略する。

【００６１】具体例２が具体例１と異なる点は、オート
フォーカス制御部２０４が新たに加わり、その処理結果
がＴＶカメラ２０１の制御と顔領域検出部４１において
利用される点である。即ち、具体例２では具体例１の構
成にオートフォーカス制御部２０４を加えることでカメ
ラの制御を行い、なおかつそのカメラの制御時の情報を
利用して被撮影者までの距離を求めてその情報から顔候
補領域を決定するようにしている点を特徴とするもので
ある。ここで、オートフォーカス制御部２０４は、エッ
ジ検出部１０２で検出した縦方向のエッジ画像データと
横方向のエッジ画像データに基づいてＴＶカメラ２０１
のオートフォーカス制御を行うと共に被験者迄の距離を
求める機能を有している。また、目・顔位置検出部２０
３は、オートフォーカス制御部２０４で得られた被験者
迄の距離情報を用いて、画像データとエッジ画像データ
から目及び顔位置を検出する機能を有している。

【００６２】〈動作〉以下、図１１に示す目位置及び顔
位置検出装置の動作を詳細に説明する。先ず、ＴＶカメ
ラ２０１で撮影された濃淡顔画像はエッジ検出部１０２
に送られ、具体例１と同様に縦エッジ画像と横エッジ画
像を作成する。ここで生成された二つのエッジ顔画像は
オートフォーカス制御部２０４と目・顔位置検出部２０
３に送られる。また、目・顔位置検出部２０３には具体
例１と同様に濃淡顔画像もあわせて送られる。

【００６３】オートフォーカス制御部２０４では、エッ
ジ検出部１０２から送られてくる縦エッジ顔画像と横エ
ッジ顔画像の情報を用いてカメラの焦点制御を行う。そ
の焦点制御の手順は、例えば、特願平１０−２７５０４
０号明細書に記載された焦点制御アルゴリズムを用いて
行うことができる。即ち、画像のコントラストが最大と
なる結像系の位置までの移動量を、撮影された画像のコ
ントラストに関する評価値の関数として予め設定し、画
像のコントラストが最大となる結像系の位置までの移動
量を求める場合は、先ず、ＴＶカメラ２０１で撮影され
る画像の評価値を求め、次に、この評価値から前記の関
数に基づいてその移動量を決定するものである。ここ
で、エッジ検出部１０２から送られてくる縦エッジ顔画
像と横エッジ顔画像の情報は、画像のコントラストを示
す値に相当するため、この値を用いて焦点制御と被験者
迄の距離を算出することができる。

【００６４】尚、オートフォーカス制御部２０４におけ
るカメラの焦点制御と被験者迄の距離算出処理について
は、エッジ検出部１０２から送られてくる縦エッジ顔画
像と横エッジ顔画像の情報を用いるものであれば、他の
手法を用いてもよい。

【００６５】このような焦点制御処理によって被験者ま
での距離が推定され、その推定された距離情報によって
カメラのフォーカス位置が決定され、ＴＶカメラ２０１
ではそのフォーカス位置への制御を行う。また、この被
験者までの距離情報は、目・顔位置検出部２０３におけ
る顔領域検出部４１の中で顔領域を検出するのにも使わ
れる。

【００６６】目・顔位置検出部２０３では、具体例１と
同様に顔領域検出部４１で顔の領域を検出し、その検出
された顔領域を顔領域分割部１２で分割し、目位置検出
部１３で目の位置を検出してその結果を出力する。ま
た、目位置検出部１３の結果を利用して顔位置検出部１
４で顔位置を決定してその位置情報を出力する。ここで
は、顔領域検出部４１の動作のみが具体例１と異なり、
その他の処理部は具体例１と同様の処理を行うので、顔
領域検出部４１の動作について以下に詳しく説明する。

【００６７】図１２は、顔領域検出部４１の構成及びそ
の処理手順を示す説明図である。図示のように、顔領域
検出部４１は、顔中心線検出処理部２１、顔横幅検出処
理部５２、顔縦幅検出処理部２３、顔中心線再検出処理
部２４、顔横幅再検出処理部５５からなる。

【００６８】顔領域検出部４１が具体例１における顔領
域検出部１１と異なるのは、顔横幅検出処理部５２と顔
横幅再検出処理部５５において顔領域を決定する場合
に、オートフォーカス制御部２０４から得られる被験者
までの距離を利用する点にある。

【００６９】具体例１では、顔横幅検出処理部２２にお
いて、縦エッジ画像を縦方向に投影加算処理を行い、縦
エッジが集中的に現れるｘ座標を検出することで顔の横
幅を決定した。一方、具体例２では、オートフォーカス
制御部２０４から得られる被験者までの距離情報と顔中
心線検出処理部２１で求められた顔中心線に基づいて、
顔横幅検出処理部５２において人の一般的な横幅情報を
利用して顔の横幅を決定する。

【００７０】具体的には、被験者の右側の顔幅をＲ、左
側の顔幅をＬ、カメラから被験者までの距離をＤとし、
人の一般的な顔幅をＦとすると、Ｌ，Ｒは以下の式から
求められる。 Ｌ＝（ξＤ＋ο）Ｆ＋ρ Ｒ＝（ξＤ＋ο）Ｆ＋ρ 但し、ξ，ο，ρは定数である。この式から分かるよう
に、ここではＬ＝Ｒとなる。

【００７１】このようにして求められた左右の顔の横幅
Ｌ，Ｒを利用して、顔縦幅検出処理部２３で具体例１と
同様な処理を行い、顔の縦幅を決定し、更に、顔横幅再
検出処理部５５では、再度求められた顔中心線が前に求
めた顔中心線からずれた場合に、そのずれの分のみ補正
して、顔の横の位置を決定する。この時、顔の左右の横
幅のＲ，Ｌの長さは変化しないため、 Ｒ′＝Ｒ Ｌ′＝Ｌ となる。

【００７２】左右の顔の横幅Ｌ′，Ｒ′が求められる
と、後は具体例１と同様の処理を行うことで、目、顔の
位置が検出される。

【００７３】〈効果〉以上のように具体例２によれば、
エッジ画像をオートフォーカス制御に利用し、なおか
つ、オートフォーカス制御によって得られる被験者まで
の距離情報を利用して顔領域を決定するので、オートフ
ォーカスと顔領域を決定する処理が高速に行え、なおか
つ、具体例１で述べた利点も活かせるため、より高速に
目と顔の位置を検出することができる。

【００７４】《利用形態》以上の具体例では、各処理に
おいて値を求める場合、多くのパラメータ（各具体例に
おいてギリシャ文字で表している）を利用しているが、
これらのパラメータは撮影条件で決定されるので、明る
さなど撮影条件を数値化することで、これらのパラメー
タの値をある程度自動的に決定することが可能である。

【００７５】また、顔領域検出部１１では、例えば、特
願平７−３４９１５２号明細書に示されているように、
傾いた顔の中心線を検出することも可能である。そのよ
うに顔が傾いていることが検出された場合、その傾きに
応じて濃淡顔画像、縦エッジ顔画像、横エッジ顔画像も
傾けて目及び顔位置検出処理を行うことで、顔が傾いて
いる顔画像からも目及び顔の位置を検出することができ
る。

【図面の簡単な説明】

【図１】本発明の目位置及び顔位置検出装置の具体例１
を示す構成図である。

【図２】縦エッジ検出フィルタと横エッジ検出フィルタ
の説明図である。

【図３】顔領域検出部における各機能部の構成とその処
理手順を示す説明図である。

【図４】顔中心線と縦エッジ投影ヒストグラムの説明図
である。

【図５】顔中心線と目探索領域内の横エッジ投影ヒスト
グラムと縦横エッジ投影ヒストグラムの説明図である。

【図６】左右の目領域と鼻領域の説明図である。

【図７】目位置検出部の構成及びその処理手順を示す説
明図である。

【図８】左右の目検出フィルタの説明図である。

【図９】眼鏡をかけた人の鼻領域における横エッジ投影
ヒストグラムの説明図である。

【図１０】瞳中心と顔領域を示す説明図である。

【図１１】本発明の目位置及び顔位置検出装置の具体例
２の構成図である。

【図１２】具体例２の顔領域検出部の構成及びその処理
手順を示す説明図である。

【符号の説明】

１１、４１ 顔領域検出部 １２ 顔領域分割部 １３ 目位置検出部 １４ 顔位置検出部 ２１ 顔中心線検出処理部 ２２、５２ 顔横幅検出処理部 ２３ 顔縦幅検出処理部 ２４ 顔中心線再検出処理部 ２５、５５ 顔横幅再検出処理部 １０２ エッジ検出部 ２０１ ＴＶカメラ

フロントページの続き (72)発明者 藤井 明宏 東京都港区虎ノ門１丁目７番12号 沖電気 工業株式会社内 (72)発明者 塚本 明利 東京都港区虎ノ門１丁目７番12号 沖電気 工業株式会社内 (72)発明者 鳥越 真 東京都港区虎ノ門１丁目７番12号 沖電気 工業株式会社内 Ｆターム(参考） 5L096 BA18 BA20 CA02 EA43 FA06 GA55

Claims (10)

【特許請求の範囲】
1. 【請求項１】 被験者を撮影した画像データから顔の中
   心線を求め、当該中心線に基づいて顔領域を決定する顔
   領域検出部と、 前記顔領域検出部で得られた顔領域を左目領域と右目領
   域と鼻領域とに分割する顔領域分割部と、 前記左目領域と右目領域と鼻領域における画像データか
   ら目の位置を検出する目位置検出部と、 前記左目領域と右目領域と鼻領域における画像データか
   ら顔の位置を検出する顔位置検出部とを備えたことを特
   徴とする目位置及び顔位置検出装置。
2. 【請求項２】 請求項１に記載の目位置及び顔位置検出
   装置において、 顔領域検出部は、 顔画像データから顔中心線を検出する顔中心線検出処理
   部と、 前記顔中心検出部で得られた顔中心線と、顔画像データ
   とから顔の横幅を検出する顔横幅検出処理部と、 前記顔横幅検出処理部で得られた顔の横幅情報と、前記
   顔中心検出部で得られた顔中心線と、前記顔画像データ
   とから顔の縦幅を検出する顔縦幅検出処理部と、 前記顔縦幅検出処理部で得られた顔の縦幅情報と、前記
   顔横幅検出処理部で得られた顔の横幅情報と、前記顔画
   像データとから、再度顔中心線を検出する顔中心線再検
   出処理部と、 前記顔中心線再検出処理部で得られた顔中心線と、前記
   顔画像データから顔の横幅を再度検出する顔横幅再検出
   処理部とを備えたことを特徴とする目位置及び顔位置検
   出装置。
3. 【請求項３】 請求項２に記載の目位置及び顔位置検出
   装置において、 顔縦幅検出処理部は、 顔中心線と顔横幅の情報に基づいて決定したエッジ探索
   領域内で、上側に横エッジが集中的に現れ、その下側に
   横エッジと縦エッジがほとんど存在しないという特徴を
   もった領域を探索することで目のｙ座標候補位置を決定
   し、その位置に基づいて顔の縦幅を決定するよう構成さ
   れていることを特徴とする目位置及び顔位置検出装置。
4. 【請求項４】 請求項２または３に記載の目位置及び顔
   位置検出装置において、 顔領域分割部は、 顔領域検出部で求められた顔中心線と、顔横幅再検出処
   理部で求められた顔横幅の情報とから鼻領域を決定し、
   かつ、前記顔中心線と、顔縦幅検出処理部で求められた
   顔縦幅と前記顔横幅の情報から左目領域と右目領域を決
   定するよう構成されていることを特徴とする目位置及び
   顔位置検出装置。
5. 【請求項５】 請求項１〜４のいずれかに記載の目位置
   及び顔位置検出装置において、 目位置検出部は、 鼻領域から眼鏡の有無を検出して、眼鏡が検出された場
   合はその情報を反映させて左右の目位置を探索する範囲
   を絞り込み、その絞り込まれた左目探索領域と右目探索
   領域からそれぞれ左目と右目の位置を検出するよう構成
   されていることを特徴とする目位置及び顔位置検出装
   置。
6. 【請求項６】 請求項１〜５のいずれかに記載の目位置
   及び顔位置検出装置において、 目位置検出部は、 特定の領域の画素値が他の領域の画素値より高い値を示
   す目検出フィルタによって各画素の目らしさ値を求め、
   当該目らしさ値を横方向に投影加算処理して目らしさ値
   投影ヒストグラムを作成し、このヒストグラムに基づい
   て瞳のｙ座標候補位置を決定するよう構成されているこ
   とを特徴とする目位置及び顔位置検出装置。
7. 【請求項７】 請求項６に記載の目位置及び顔位置検出
   装置において、 目位置検出部は、 目らしさ値投影ヒストグラムに基づいて決定された瞳の
   ｙ座標候補位置と、顔領域検出部で求められた顔中心線
   と顔横幅の情報によって検出される瞳のｘ座標候補位置
   とから決定される瞳の候補位置の付近で、目検出フィル
   タによる目らしさ値が最も高い値を取る位置を瞳中心と
   するよう構成されていることを特徴とする目位置及び顔
   位置検出装置。
8. 【請求項８】 請求項６または７に記載の目位置及び顔
   位置検出装置において、 目検出フィルタは、中央部が黒くその周りが白い部分で
   覆われている領域の中央の部分に対して高い値となるよ
   う構成されていることを特徴とする目位置及び顔位置検
   出装置。
9. 【請求項９】 請求項１〜８のいずれかに記載の目位置
   及び顔位置検出装置において、 顔位置検出部は、 顔領域分割部によって得られる鼻領域中からエッジ情報
   を用いて鼻位置を探索し、得られた鼻位置と、目位置検
   出部で求められた左右の目位置の３点に基づいて顔領域
   を決定するよう構成されていることを特徴とする目位置
   及び顔位置検出装置。
10. 【請求項１０】 被験者を撮影するカメラと、 前記カメラにより撮影された被験者の画像データから横
    方向と縦方向のエッジ画像データを求めるエッジ検出部
    と、 前記横方向と縦方向のエッジ画像データに基づいて前記
    被験者迄の距離を算出し、前記カメラの焦点制御を行う
    オートフォーカス制御部と、 前記オートフォーカス制御部で算出した前記被験者迄の
    距離に基づき、当該被験者の画像データと、前記エッジ
    画像データから顔の中心線及び顔領域を決定する顔領域
    検出部と、 得られた顔領域を左目領域と右目領域と鼻領域とに分割
    する顔領域分割部と、 左目領域と右目領域と鼻領域における画像データ及びエ
    ッジ情報から目の位置を検出する目位置検出部と、 左目領域と右目領域と鼻領域における画像データ及びエ
    ッジ情報から顔の位置を検出する顔位置検出部とを備え
    たことを特徴とする目位置及び顔位置検出装置。