JP2002117408A - 顔画像処理方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】画像中から顔部品領域を容易かつ正確に抽出
し、これを基準として顔領域を容易かつ正確に抽出す
る。 【解決手段】顔部品を変化させない真顔の状態で撮影し
た顔画像を含む画像、顔部品を変化させた状態で撮影し
た顔画像を含む画像、これら２つの画像を差分して差分
画像を得る工程、差分画像から変化した顔部品領域を抽
出する工程によって顔部品領域を抽出する。この顔部品
領域を基準として顔領域を抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は人物の顔画像を利用
して個人の認識等を行う方法や装置に関わり、特に眼等
の顔部品の領域を容易かつ正確に抽出し、これを基準と
して顔領域を容易かつ高速に抽出する方法と装置に関す
る。

【０００２】

【従来の技術】近年、人物の顔画像を利用した技術の研
究開発が盛んに行なわれている。この研究開発の現状と
動向については赤松によって詳しく述べられている
［１］。例えば入力された顔画像が保存されている多数
の顔画像のどれに該当するかを認識することにより、入
力顔画像の人物を特定する研究がある。具体的な応用と
しては犯罪捜査や報道等の顔写真の識別などがある。あ
るいは入力された顔画像が保存されている特定の顔画像
と一致するかどうかを照合することにより、その顔画像
の人物を認証する研究がある。具体的な応用としては入
室管理、パソコンへのログイン管理、ＡＴＭにおける個
人認証等のセキュリティ確保などがある。

【０００３】このような顔画像の認識において共通して
必要となることは、画像全体の中からの顔の画像領域の
抽出であり、正確に顔画像の位置を検出することであ
る。入力された画像の中に顔画像があるかどうか未知の
場合はもちろんのこと、顔画像が存在することが前提に
なっている場合でも、画像全体の中から顔の領域を抽出
することが必要となる。画像全体の中で顔画像の位置や
大きさは一定とは限らないから、顔の領域を抽出する技
術が必要ということになる。

【０００４】画像の中から顔領域を抽出する技術はこれ
までに多くの論文や特許に記載されている。顔領域を抽
出するための手がかりとして、色、形、動きがある
［１］。色を利用する方法は、顔領域が肌色を有するこ
とに着目して、肌色領域を抽出して顔画像候補とするこ
とである。しかし顔以外にも肌色領域が存在すると区別
が困難なため、抽出した肌色領域にさらに処理を加えて
顔領域の抽出の確度を高めることが行なわれる。例えば
肌色領域の抽出に加え、ある範囲の面積比でその中に暗
い領域（眼や眉毛などに相当）が存在する場合には顔領
域とする方法がある［２］。あるいは抽出した肌色領域
に対して顔面特徴解析を行って眼、眉、鼻、口などの顔
面特徴が検出されれば、顔領域とする方法がある
［３］。

【０００５】形から顔領域を抽出する方法には以下のよ
うなものがある。入力画像を粗くモザイク化し、辞書の
モザイク画像で走査して大まかな顔領域を抽出し、モザ
イクの精細さを上げて、顔領域の抽出精度を上げていく
［４］。あるいは多数の顔画像サンプルからの濃淡顔画
像と入力画像から切り出された任意の濃淡画像との距離
により顔画像かどうかを判定して顔画像領域を抽出する
方法がある［５］。

【０００６】動きを利用する方法には、たとえば、固定
された背景に人が入ってくるような場合、入力画像と背
景画像との差分をとることによって顔画像を検出する方
法がある［６］。

【０００７】［１］赤松茂，“コンピュータによる顔の
認識”，信学論ＤＩＩ，Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎ
ｏ８，ｐｐ．２０３１−２０４６，１９９７年８月 ［２］徐剛，杉本岳夫，特開平１１−１５９７９「顔検
出及び顔追跡方法並びにその装置」，学校法人立命館，
公開１９９９年１月２２日，出願１９９８年４月２７
日，優先１９９７年４月３０日 ［３］エドウィン・フー、アリソン・レノン、特開２０
００−３４５２「デジタル画像における顔面の検出方
法、顔面検出装置、画像判定方法、画像判定装置および
コンピュータ可読な記録媒体」、キャノン（株）、公開
２０００年１月７日、出願１９９９年６月１０日、優先
１９９８年６月１０日 ［４］小杉信，“個人識別のための多重ピラミッドを用
いたシーン中の顔の探索・位置決め”，信学論Ｄ−Ｉ
Ｉ，Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．４，ｐｐ．６７
２−６８１，Ａｐｒｉｌ １９９４． ［５］Ｍ．Ｔｕｒｋ ａｎｄ Ａ．Ｐｅｎｔｌａｎ
ｄ，”Ｅｉｇｅｎｆａｃｅｓｆｏｒ ｒｅｃｏｇｎｉｔ
ｉｏｎ”，Ｊ．Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃ
ｉ．，Ｖｏｌ．３，Ｎｏ．１，ｐｐ７１−８６，Ｍａｒ
ｃｈ １９９１． ［６］渡辺太郎，特開平１１−１８５０２６「顔領域抽
出装置」，日本ビクター（株）、公開１９９９年７月９
日，出願１９９７年１２月２２日

【０００８】

【発明が解決しようとする課題】このように、入力され
た画像の中から顔画像領域を抽出する方法には、いろい
ろのものがある。それぞれの方法は目的とする適切な応
用が異なる。どのような目的にも適用できる一般的な方
法があるというわけではない。動きを利用する方法は静
止画像には対応できない。色や形を利用する方法は、抽
出のための処理が複雑で処理時間が長いという問題があ
る。モザイク画像を用いる方法では汎用ミニコンで５秒
と報告されている［４］。そこで本発明は、応用する範
囲には多少の制限があるものの、単純な操作によって画
像から高速かつ正確に顔領域を抽出することができる方
法ならびに装置を提供するものである。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に、本発明は人物顔の顔部品を変化させる前の顔を撮影
して画像を得る操作、顔部品を変化させた後の顔を撮影
して画像を得る操作、得られた２つの画像のデータの差
分をとって差分画像を得る操作、差分画像から変化した
顔部品領域を抽出する操作からなり、これら操作によっ
て顔部品領域を抽出することを特徴としている。さらに
は、このようにして得た顔部品領域から顔画像領域を抽
出することを特徴としている。

【００１０】顔部品が眼である場合には眼を開いたとき
の顔の画像と眼を閉じたときの顔の画像のデータの差分
をとり、眼領域を抽出する。顔部品が口である場合には
口を閉じたときの顔の画像と口を開けたときの顔の画像
のデータの差分をとり、口領域を抽出する。

【００１１】

【作用】眼や口等の顔部品の開閉等の変化は、その顔部
品の領域のみに変化をもたらし、他の領域にはほとんど
変化をもたらさない事実から、このような発明が着想さ
れたものである。例えば、眼を開け口を閉じ、特に感情
表現等をしていないふつうの顔を真顔とすれば、この真
顔で眼を閉じたとしても、眼の領域のみが変化するだけ
で、顔の他の領域は変化しない。したがって眼の開閉前
後の２つの顔の画像のデータの差分から、変化のあった
眼領域の画像のみが得られる。また真顔で口を開ける
と、口領域の変化以外には顎領域にわずかな変化がみら
れるだけである。したがって口の開閉に伴う２つの顔の
画像のデータの差分から、変化のあった口領域と顎領域
の画像のみを抽出することができる。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて詳しく説明する。図１に顔部品として眼を用い
た場合の本発明になる顔領域を抽出する方法の流れ図を
示す。また図２にこの流れに対応する模擬的な画像を示
す（図２では、便宜上、画像の画面の中で顔領域を比較
的大きく描いているが、実際は画面の大きさの数分の１
程度の場合も想定している）。まず眼を開いた顔を撮影
し、これを画像メモリａに記憶する。この画像は図２
（１）に相当する。次に眼を閉じた顔を撮影し、これを
別の画像メモリｂに記憶する。この画像は図２（２）に
相当する。この２つの画像メモリのデータから差分画像
を生成する。すなわち対応する画素の強度の差の絶対値
をその画素の強度とする画像を生成し、画像メモリに記
憶する。これは図２（３）に相当する。

【００１３】いま眼を開いた顔画像をｆ１（ｘ，ｙ），
眼を閉じた顔画像をｆ２（ｘ，ｙ）とすれば、ここで差
分画像は ｓ（ｘ，ｙ）＝｜ｆ１（ｘ，ｙ）−ｆ２（ｘ，ｙ）｜ である。ただし（ｘ，ｙ）は画素の座標を表す。

【００１４】続いて、この差分画像に基づき、眼領域の
抽出を行う。２つの画像は高々数秒のうちに撮影される
もので、その間は人はほぼ静止していることを期待して
おり、眼の開閉は基本的には顔の他の部分を動かすこと
はない。したがって差分画像は変化のあった眼領域のみ
が値をもち、他の領域は０値になることが期待される。
ただし、顔の微妙な変化や揺れなどが不可避であるの
で、図２（３）のように差分画像には微小な雑音成分が
存在することは避けられない。そこで良く知られている
雑音の除去等の前処理を行う。これによって残存してい
た微小な雑音成分が除去される。また顔全体が微妙に特
定方向に動いた場合には、差分画像に発生する輪郭的な
画像から移動量を求めて、この移動量を補正した上で、
差分画像を生成すれば良い。続いてさらに、良く知られ
たコントラスト調整等の前処理を行なった上で、良く知
られている２値化処理を行なう。こうして図２（４）に
示すように開いた眼に閉じた眼が重なった２値化画像が
得られる。ここでは、眼を開いた顔を撮影してから、眼
を閉じた顔を撮影したが、この順序が逆であっても良い
のは明かである。

【００１５】図２（４）の２値化画像から眼の領域のみ
が画像として抽出されていることが分る。図２（４）は
差分画像ｓ（ｘ，ｙ）の２値化画像で、ｓｂ（ｘ，ｙ）
とする。眼を開いた画像ｆ１（ｘ、ｙ）から眼領域の画
像ｆ１ｅ（ｘ、ｙ）を抽出するには、 ｆ１ｅ（ｘ，ｙ）＝ｆ１（ｘ、ｙ）＊ｓｂ（ｘ、ｙ） とすれば良い。ただし＊は対応する画素どうしの強度の
積をとることを示す。すなわちｓｂ（ｘ、ｙ）は変化の
あった眼領域のみ１値をもつから、ｆ１（ｘ、ｙ）の眼
領域のみが抽出される。ｆ１ｅ（ｘ，ｙ）を図３（１）
に示す。

【００１５】抽出された眼領域の画像すなわち図２
（４）あるいは図３（１）から眼領域の算出を行なう。
ここでいう算出とは画像全体の領域の中における眼領域
の大きさや位置の情報を得ることである。図２（４）あ
るいは図３（１）から眼領域を算出する方法は良く知ら
れた画像処理の技術を利用して行なわれるので、ここで
は記述しない。図３（１）では算出された瞳間隔ａある
いは目尻間隔ｂが示されている。

【００１６】続いて顔領域の算出を行う。例えば、図３
（１）の瞳間隔ａあるいは目尻間隔ｂから算出する。人
の顔の大きさは瞳間隔や目尻間隔の何倍かになる。例え
ば顔の上下方向が目尻間隔のｖ（＝（ｕ＋ｄ））倍、水
平方向がｈ倍として顔領域を算出する。ただしｕは眼か
ら上方向の顔の大きさ（眼から頭の先端）に対する割
合、ｄは眼から下方向の顔の大きさ（眼から顎の先端）
に対するものである。ｕ，ｄ，ｈには個人差があって、
一定の値を定めることは無理であるが、予め多数の顔画
像から計測して計算しておき、平均値あるいは最大値を
使用すれば概ね問題はない。すると図３（２）に示すよ
うに画像全体の中から横方向長さｈ×ｂ縦方向長さｖ×
ｂの顔領域を抽出することができる。

【００１７】瞳あるいは目尻の座標から顔に傾きがある
ことが計算される場合には、傾きを考慮して、顔領域を
算出し、顔領域を抽出すれば良い。当然、顔に傾きがあ
れば、これを修正することも容易である。

【００１８】このようにして顔領域が抽出できれば、こ
の顔画像と、例えばパソコンのログイン管理のために予
め記憶されているログインを許可されるべき特定の人物
の画像との照合を容易に行うことができる。このような
顔領域の抽出後の処理については、本発明の範囲外なの
で、記載してないが、予め登録された特定の顔画像に一
致するか否かの照合処理には、これまでに考案された様
々の技術［７］［８］が適用できることはいうまでもな
い。

【００１９】図４に本発明をパソコンのログイン管理に
利用する例を示す。ここで（１）はパソコンのディスプ
レー、（２）はパソコンのディスプレーに付設されたＣ
ＣＤカメラ、（３）はキーボードである。（４）はこの
パソコンにログインしようとする人を示す。ＣＣＤカメ
ラはディスプレーに付設されているが、電気的にパソコ
ンに接続されていれば、独立したディジタル・カメラあ
るいはビデオ・カメラで良い。パソコンは眼を開閉した
画像を取りこみ、先述したように差分画像を生成して顔
領域を抽出する。得られた顔画像をパソコン内に蓄積さ
れているログインを許可される顔画像と照合し、一致し
ていればログインを許可する。

【００２０】本発明による、このログイン管理の処理の
流れを図５に示す。顔をカメラに向け、眼を開けて顔を
撮像する。この際、カメラへの撮像のための信号はキー
ボードから入力することで良い。撮像された顔画像の情
報はパソコン内のメモリａに記憶される。しかる後、人
が眼を閉じ、キーボードに撮像のための信号を入力し、
眼を閉じた顔を撮像する。同様に顔画像の情報は別のメ
モリｂに記憶される。メモリａ，ｂの差分をとり差分画
像を生成してメモリｃに記憶する。眼領域の抽出から顔
領域の抽出までは図１と同様である。抽出された顔画像
とパソコンが記憶している顔画像（図示せず）との照合
が行なわれ、ログインの承認が求められる。この流れは
短い時間に終了することが期待でき、高々数秒である。

【００２１】ここでは、パソコンのログイン管理を例に
とって説明したが、ＡＴＭや入出管理等においてもほぼ
同様の流れとなる。

【００２２】以上、本発明を実施例に基づき具体的に説
明したが、本発明は前記実施例に限定されるものではな
い。たとえば、図６に示すように口の開閉時の画像の差
分から口領域を抽出することは、同様の方法によって行
なわれる。また瞳の移動、鼻孔の拡大、耳の移動なども
同様にして、瞳領域、鼻領域、耳領域の抽出に用いるこ
とができる。そして抽出したこれらの顔部品から顔領域
を抽出することができる。

【００２３】図７に本発明の方法に基づく顔画像処理装
置の実施例を示す。撮像手段１はＣＣＤカメラのような
もので、システム制御手段３の指示によって撮像制御手
段２を介して人物の顔部品の変化前の顔を撮影する。撮
影された画像のデータはシステム制御手段３の指示によ
って、撮像制御手段２、画像記憶制御手段４を介して画
像記憶手段５に記憶される。次ぎに、同様の動作によっ
て、顔部品の変化後の顔を撮影した画像が、別の画像記
憶手段６に記憶される。

【００２４】顔部品の変化と顔の撮影の指示設定は、人
がキーボードのような入力手段７に入力することによ
る。まずキーボード入力によって顔部品の変化前の顔が
撮影され、次ぎのキーボード入力によって顔部品変化後
の顔が撮影される。あるいは、ディスプレィのような出
力手段８に表示される予めプログラムされた指示に従う
ことでも良い。

【００２５】２つの画像が記憶されると、システム制御
手段３は処理の手順を示すプログラムが記憶されている
記憶手段（図示されていない）の指示にしたがって、画
像差分手段９に対して画像記憶手段５および６に記憶さ
れている画像の差分を実行させ、生成された差分画像を
画像記憶手段１０に記憶させ、顔部品領域抽出手段１１
に対してこの差分画像から顔部品領域の抽出を行なわせ
る。この結果は画像記憶手段１０に上書き記憶しても良
いし、あるいは図示していない別の画像記憶手段に記憶
しても良い。

【００２６】引き続き、システム制御手段３は顔部品領
域算出手段１２に指示して、抽出された顔部品の画像か
ら顔部品領域の算出を行なわせる。これに基づき顔領域
算出手段１３によって顔領域の算出がなされ、顔領域抽
出手段１４によって顔領域の抽出がなされ、画像記憶手
段１５に記憶される。このようにして、画像記憶手段１
５には所望の顔画像が記憶されることになり、人物の識
別や照合等に活用される。

【００２７】［７］たとえば、福井和広，山口修，特開
平９−２５１５３４「人物認証装置及び認証方法」，
（株）東芝，公開１９９７年９月２２日，出願１９９６
年３月１８日 ［８］たとえば、土居元紀，陳謙，眞渓歩，大城理，佐
藤宏介，千原国宏，“顔画像照合による解錠制御システ
ム”，信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎ
ｏ．８，ｐｐ．２２０３−２２０８，１９９７年８月

【００２８】

【発明の効果】本発明によれば、顔部品の状態の変化前
後の画像の差分画像から、容易かつ正確に変化した顔部
品領域を抽出することができ、そこを基準として顔領域
を容易かつ正確に抽出することができるので、顔画像の
識別や照合等の顔画像の処理が容易かつ正確となり、そ
のための装置が安価で高性能なものになる。

【００２９】

【図面の簡単な説明】

【図１】本発明の実施例の流れ図

【図２】本発明の実施例における眼領域の抽出過程の画
像

【図３】本発明の実施例における眼領域から顔領域を抽
出する方法を示す図

【図４】本発明をパソコンのログイン管理に利用する実
施例を示す図

【図５】パソコンのログイン管理における本発明の実施
例の流れ図

【図６】本発明による口領域の抽出の過程における画像

【図７】本発明の顔部品領域及び顔領域の抽出を行う顔
画像処理装置の実施例を示す図

【符号の説明】

１ 撮像手段 ２ 撮像制御手段 ３ システム制御手段 ４ 画像記憶制御手段 ５ 画像記憶手段 ６ 画像記憶手段 ７ 入力手段 ８ 出力手段 ９ 画像差分手段 １０ 画像記憶手段 １１ 顔部品領域抽出手段 １２ 顔部品領域算出手段 １３ 顔領域算出手段 １４ 顔領域抽出手段 １５ 画像記憶手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】人物顔の顔部品の変化する前の顔を撮影し
   た画像と変化した後の顔を撮影した画像のデータの差分
   をとることにより、画像全体の中から変化した顔部品領
   域を抽出することを特徴とする顔画像処理方法及び装
   置。
2. 【請求項２】請求項１の顔部品が眼であって、眼の開閉
   前後の顔の画像のデータの差分をとることにより、画像
   全体の中から眼領域を抽出することを特徴とする顔画像
   処理方法及び装置。
3. 【請求項３】請求項１の顔部品が口であって、口の開閉
   前後の顔の画像のデータの差分をとることにより、画像
   全体の中から口領域を抽出することを特徴とする顔画像
   処理方法及び装置。
4. 【請求項４】請求項１によって抽出された顔部品領域を
   基準として、画像全体の中から顔領域を抽出することを
   特徴とする顔画像処理方法及び装置。