JP2001331804A - 画像領域検出装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 表情や傾き、顔の向き等の変化により顔画像
が変化するような場合でも、少ない計算量及び計算時間
で且つ高い検出正解率で顔領域を検出可能とする。 【解決手段】 第１の相関演算部１２では、標準顔画像
辞書部１１に用意されている標準顔画像を入力画像の全
画像に渡って移動させながら各移動位置での画像領域毎
に第１の相関値を演算する。顔領域候補選定部１３で
は、入力画像から第１の相関値の高い画像領域候補を選
定する。目、口検出部１４では、選定された画像領域候
補中から目、口を対象領域としてその中心位置を検出す
る。アフィン変換部１５では、目、口の中心位置が予め
設定された位置になるように変換する。第２の相関演算
部１６では、アフィン変換後の画像領域候補と標準顔画
像との第２の相関値を演算する。最大相関領域選定部１
７では、予め設定された閾値より高い第２の相関値を持
つ画像領域候補を画像領域として選定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、顔画像を
用いて個人の認証を行うセキュリティシステム、或い
は、顔の表情や動きから人間の意図や感情をコンピュー
タに伝達させるマンマシンインターフェイス分野などに
好適な画像領域検出装置及び方法に関する。

【０００２】

【従来の技術】従来より、顔画像を用いて個人の認証を
行うセキュリティシステムや、顔の表情や動きから人間
の意図や感情をコンピュータに伝達させるマンマシンイ
ンターフェイスについての研究が行われている。

【０００３】特に、顔画像を用いて個人の認証を行うセ
キュリティシステムの一例として、最近は、例えばコン
ピュータへのログイン時の人物同定を、従来のパスワー
ドの入力によるものから、顔画像を取り込んで自動的に
行える（人物同定を自動的に行える）ようにすることが
研究されている。

【０００４】また、コンピュータと人との間のマンマシ
ンインターフェイスをより自然なものにするために、人
と人とのコミュニケーションを範にとり、コンピュータ
に顔画像から個人を特定させたり、表情や仕草を認識さ
せて人の意図や感情を推定させるような研究も行われて
いる。

【０００５】ところで、セキュリティシステムにおいて
顔画像を用いて認証を行う場合や、コンピュータと人と
の間のマンマシンインターフェイスにおいてコンピュー
タに顔画像から個人を特定させたりするような場合に
は、例えばビデオカメラ等により撮影された画像から、
顔画像の領域を検出する必要がある。

【０００６】従来は、例えばビデオカメラ等により撮影
された入力画像から顔画像の領域を検出するために、予
め登録された標準顔画像を入力画像の全画面に渡って移
動させながら、それぞれの移動位置での画像領域と標準
顔画像との相関値を計算し、最も高い相関値を有する画
像領域を顔領域として検出するようになされている。ま
た、相関値が予め設定された閾値より低い場合には、入
力画像内に顔（顔画像）は存在しないこととしている。

【０００７】

【発明が解決しようとする課題】しかしながら、たとえ
同一人物の顔であっても、顔の表情や傾き、顔の向き等
の変化によって顔画像も変化することになり、それら全
ての変化の態様に対して対応できるようにするのは非常
に困難である。すなわち、顔の表情、傾き、向き等の変
化に対してロバスト性を上げるためには、例えば、多数
の標準顔画像を予め用意（例えば同一人物に対しても多
数のパターンの標準顔画像を用意）しておき、それら多
数の標準顔画像を用いて、前述のように相関値計算等を
行わなければならず、計算量及び計算時間が増大してし
まうことになる。

【０００８】本発明は、上述の課題に鑑みてなされたも
のであり、例えば顔の表情や傾き、顔の向き等の変化に
よって顔画像が変化するような場合であっても、少ない
計算量及び少ない計算時間で且つ高い検出正解率で、入
力画像から顔領域を検出可能とする、画像領域検出装置
及び方法の提供を目的とする。

【０００９】

【課題を解決するための手段】請求項１に記載の本発明
に係る画像領域検出装置は、上述の課題を解決するため
の手段として、画像を入力する画像入力手段と、標準と
なる参照画像を記憶しておく参照画像記憶手段と、前記
参照画像を、入力画像の全画像に渡って移動させなが
ら、各移動位置での画像領域毎に第１の相関値を演算す
る第１の相関値演算手段と、前記入力画像から前記第１
の相関値の高い画像領域を画像領域候補として選定する
候補選定手段と、前記選定された前記画像領域候補中の
所定の対象領域の位置（例えば中心位置）を検出する位
置検出手段と、前記検出された前記対象領域の位置を、
予め設定された位置になるように変換する位置変換手段
と、前記位置変換後の画像領域候補と前記参照画像との
第２の相関値を演算する第２の相関値演算手段と、予め
設定された閾値より高い前記第２の相関値を持つ画像領
域候補を画像領域として選定する画像領域選定手段とを
有する。

【００１０】請求項２に記載の本発明に係る画像領域検
出方法は、上述の課題を解決するためのステップとし
て、画像を入力するステップと、標準となる参照画像
を、入力画像の全画像に渡って移動させながら、各移動
位置での画像領域毎に第１の相関値を演算するステップ
と、前記入力画像から前記第１の相関値の高い画像領域
を画像領域候補として選定するステップと、前記選定さ
れた前記画像領域候補中の所定の対象領域の位置（例え
ば中心位置）を検出するステップと、前記検出された前
記対象領域の位置を、予め設定された位置になるように
変換するステップと、前記位置変換後の画像領域候補と
前記参照画像との第２の相関値を演算するステップと、
予め設定された閾値より高い前記第２の相関値を持つ画
像領域候補を画像領域として選定するステップとを有す
る。

【００１１】すなわち、本発明の画像検出装置及び方法
では、各画像領域候補から所定の対象領域の位置を検出
し、それら検出された位置を予め設定された位置になる
ように正規化し、その正規化後の画像領域候補と標準と
なる参照画像との相関値を求め、その相関値に基づいて
所望の画像領域を検出するようにしている。

【００１２】

【発明の実施の形態】以下、本発明の好ましい実施の形
態について図面を参照しながら詳細に説明する。

【００１３】図１には、本発明の画像領域検出装置及び
方法の一実施の形態としての顔領域検出装置の概略構成
を示す。

【００１４】この図１に基づいて、本実施の形態の顔領
域検出装置の全体構成について説明する。

【００１５】画像入力部１０は、例えばビデオカメラ等
により撮影された図２に示すような入力画像２０を取り
込む。この画像入力部１０に取り込まれた入力画像２０
の信号は、第１の相関演算部１２に送られる。

【００１６】また、標準顔画像辞書部１１には、画像入
力部１０より入力された入力画像２０から顔画像を検出
するための基準となる参照画像、すなわち、標準的な顔
画像（以下、標準顔画像と呼ぶ。）が登録されており、
第１の相関演算部１２には当該標準顔画像辞書部１１か
らの標準顔画像の信号も送られる。

【００１７】第１の相関演算部１２では、標準顔画像辞
書部１１に登録されている標準顔画像を、入力画像２０
の全画像に渡って移動させながら、それら各移動位置で
の画像領域毎の第１の相関値を演算する。この第１の相
関演算部１２にて求められた第１の相関値は顔領域候補
選定部１３に送られる。

【００１８】顔領域候補選定部１３では、入力画像２０
から、第１の相関値が最も高くなっている画像領域を求
め、その画像領域を第１の顔領域候補として選定する。
なお、図２の例では、入力画像２０中で例えば第１の画
像領域２１が第１の顔領域候補として検出されていると
する。

【００１９】次に、顔領域候補選定部１３では、第１の
顔領域候補の境界の外側を一廻り大きく囲むように、こ
の境界の左右外側水平方向にＦｘ画素、この境界の上下
垂直方向にＦｙ画素離れた所までの領域を第１の禁止領
域２１Ｋとして、その第１の禁止領域以外から最も第１
の相関値の高い画像領域を求め、その画像領域を第２の
顔領域候補として選定する。なお、図２の例では、入力
画像２０中で例えば第２の画像領域３１が第２の顔領域
候補として検出されているとする。

【００２０】以下同様に、図示は省略するが、この第２
の顔領域候補についても、前述した第１の禁止領域２１
Ｋを設定したのと同様の方法で第２の禁止領域３１Ｋを
設定し、さらに、第１，第２の禁止領域２１Ｋ，３１Ｋ
を合わせた禁止領域２１Ｋ＋３１Ｋ以外から最も第１の
相関値の高い画像領域を求め、その画像領域を第３の顔
領域候補として選定するようなことを繰り返すことによ
り、予め設定した個数になるまで、或いは、予め設定し
た閾値より第１の相関値が小さくなるまで、顔領域候補
の選定を行う。

【００２１】このようにして顔領域候補選定部１３にて
選定された各顔領域候補の信号は、目、口検出部１４に
送られる。

【００２２】目、口検出部１４は、顔領域候補選定部１
３にて選定された各顔領域候補のそれぞれに対してテン
プレートマッチングやエッジ抽出処理、２値化処理等を
行うことにより、図３に示すように、顔の目や口と思わ
れる対象領域を抽出し、それら抽出された目や口と思わ
れる対象領域の中心位置を求める。なお、図３の例で
は、図２の顔領域候補２１を例に挙げており、また、左
右の目の中心位置２２，２３と口の中心位置２４をそれ
ぞれ×印で示している。当該目、口検出部１４にて検出
された目及び口の中心位置の情報と、各顔領域候補の信
号は、アフィン変換部１５に送られる。

【００２３】アフィン変換部１５は、各顔領域候補に対
して、目、口検出部１４で求めた目や口と思われる対象
領域の中心位置が予め設定した位置に来るようにアフィ
ン変換を行う。すなわち、アフィン変換部１５では、各
顔領域候補の画像から、図４に示すように、目や口と思
われる対象領域の中心位置が正規化された顔領域候補２
５を生成する。なお、図３の例では、図２の顔領域候補
２１について、目や口と思われる対象領域の中心位置を
正規化した顔領域候補２５を例に挙げている。このアフ
ィン変換部１５にて対象領域の中心位置がそれぞれ正規
化された各顔領域候補の信号は、第２の相関演算部１６
に送られる。

【００２４】第２の相関演算部１６では、アフィン変換
部１５でアフィン変換された各顔領域候補と、標準顔画
像辞書部１１に登録されている標準顔画像との間の相関
値（第２の相関値）を求める。当該第２の相関演算部１
６により、アフィン変換後の各顔領域候補に対してそれ
ぞれ求められた第２の相関値は、最大相関領域選定部１
７に送られる。

【００２５】最大相関領域選定部１７では、第２の相関
演算部１６で各顔領域候補毎に求めた第２の相関値の中
から、予め設定された閾値より高い第２の相関値を持つ
顔画像候補を選定する。当該最大相関領域選定部１７に
より選定された顔画像候補は、本実施の形態の顔領域検
出装置により、入力画像２０から検出された顔領域とし
て出力される。

【００２６】以上により、本実施の形態の顔画像検出装
置からは、入力画像２０から検出された顔画像の信号が
出力されることになる。すなわち、本実施の形態の顔画
像検出装置から出力された顔画像は、セキュリティシス
テムにおいて顔画像を用いて認証を行う場合や、コンピ
ュータと人との間のマンマシンインターフェイスにおい
てコンピュータに顔画像から個人を特定させたりするよ
うな場合に必要となる顔画像となっている。このため、
例えばコンピュータへのログイン時の人物同定を、従来
のパスワードの入力によるものから、顔画像を取り込ん
で自動的に行うようにする場合に、人物同定を自動的に
行えるようになる。

【００２７】また、本実施の形態の顔画像検出装置にお
いては、例えば顔の表情や傾き、顔の向き等の変化によ
って顔画像が変化するような場合であっても、目や口等
の位置を正規化して顔領域を検出するようにしているの
で、少数の標準顔画像を用いた少ない計算量及び少ない
計算時間で、入力画像２０から顔領域を検出可能となっ
ている。

【００２８】さらに、本実施の形態の場合は、従来のよ
うに顔の表情や傾き、顔の向き等の変化に対応するため
に例えば同一人物に対しても多数のパターンの標準顔画
像を用意しておくような必要もなく、標準顔画像の個数
は少数でよく、したがって標準顔画像辞書部１１の記憶
容量を節約することも可能であると共に、少数の標準顔
画像でも高い検出正解率を得ることが可能である。

【００２９】最後に、上述の実施の形態の説明は、本発
明の一例である。このため、本発明は上述の各実施の形
態に限定されることはなく、本発明に係る技術的思想を
逸脱しない範囲であれば、設計等に応じて種々の変更が
可能であることは勿論である。

【００３０】例えば、入力画像から検出される画像領域
は、人の顔領域に限定されず、例えば動物の顔領域や、
その他の様々な画像領域であってもよい。また、例えば
目のみ、或いは口のみのように、顔の一部分の画像領域
であっても良い。

【００３１】

【発明の効果】請求項１に記載の本発明に係る画像検出
装置は、画像を入力する手段と、標準となる参照画像を
記憶しておく手段と、参照画像を入力画像の全画像に渡
って移動させながら各移動位置での画像領域毎に第１の
相関値を演算する手段と、入力画像から第１の相関値の
高い画像領域候補を選定する手段と、選定された画像領
域候補中の所定の対象領域の位置を検出する手段と、検
出された対象領域の位置を予め設定された位置になるよ
うに変換する手段と、位置変換後の画像領域候補と参照
画像との第２の相関値を演算する手段と、予め設定され
た閾値より高い第２の相関値を持つ画像領域候補を画像
領域として選定する手段とを有することにより、例えば
入力画像から顔画像を検出するようなときに、顔の表情
や傾き、顔の向き等の変化によって顔画像が変化するよ
うな場合であっても、少数の参照画像を用いた少ない計
算量及び少ない計算時間で、且つ高い検出正解率で、入
力画像から顔領域を検出可能である。

【００３２】請求項２に記載の本発明に係る画像領域検
出方法は、標準となる参照画像を入力画像の全画像に渡
って移動させながら各移動位置での画像領域毎に第１の
相関値を演算し、入力画像から第１の相関値の高い画像
領域候補を選定し、選定された画像領域候補中の所定の
対象領域の位置を検出し、検出された対象領域の位置を
予め設定された位置になるように変換し、位置変換後の
画像領域候補と参照画像との第２の相関値を演算し、予
め設定された閾値より高い第２の相関値を持つ画像領域
候補を画像領域として選定することにより、例えば入力
画像から顔画像を検出するようなときに、顔の表情や傾
き、顔の向き等の変化によって顔画像が変化するような
場合であっても、少数の参照画像を用いた少ない計算量
及び少ない計算時間で、且つ高い検出正解率で、入力画
像から顔領域を検出可能である。

【図面の簡単な説明】

【図１】本発明実施の形態の顔画像検出装置の概略構成
を示すブロック図である。

【図２】入力画像と当該入力画像から選定される顔候補
領域の説明に用いる図である。

【図３】顔候補領域から検出される、目及び口の画像の
中心位置の説明に用いる図である。

【図４】アフィン変換により正規化された顔候補領域の
画像の説明に用いる図である。

【符号の説明】

１０…画像入力部、１１…標準顔画像辞書部、１２…第
１の相関演算部、１３…顔領域候補選定部、１４…目、
口検出部、１５…アフィン変換部、１６…第２の相関演
算部、１７…最大相関領域選定部、２０…入力画像、２
１，３１…顔領域候補、２２，２３…目の中心位置、２
４…口の中心位置、２５…アフィン変換後の顔領域候補

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像を入力する画像入力手段と、 標準となる参照画像を記憶しておく参照画像記憶手段
   と、 前記参照画像を、入力画像の全画像に渡って移動させな
   がら、各移動位置での画像領域毎に第１の相関値を演算
   する第１の相関値演算手段と、 前記入力画像から前記第１の相関値の高い画像領域を画
   像領域候補として選定する候補選定手段と、 前記選定された前記画像領域候補中の所定の対象領域の
   位置を検出する位置検出手段と、 前記検出された前記対象領域の位置を、予め設定された
   位置になるように変換する位置変換手段と、 前記位置変換後の画像領域候補と前記参照画像との第２
   の相関値を演算する第２の相関値演算手段と、 予め設定された閾値より高い前記第２の相関値を持つ画
   像領域候補を画像領域として選定する画像領域選定手段
   とを有することを特徴とする画像領域検出装置。
2. 【請求項２】 画像を入力するステップと、 標準となる参照画像を、入力画像の全画像に渡って移動
   させながら、各移動位置での画像領域毎に第１の相関値
   を演算するステップと、 前記入力画像から前記第１の相関値の高い画像領域を画
   像領域候補として選定するステップと、 前記選定された前記画像領域候補中の所定の対象領域の
   位置を検出するステップと、 前記検出された前記対象領域の位置を、予め設定された
   位置になるように変換するステップと、 前記位置変換後の画像領域候補と前記参照画像との第２
   の相関値を演算するステップと、 予め設定された閾値より高い前記第２の相関値を持つ画
   像領域候補を画像領域として選定するステップとを有す
   ることを特徴とする画像領域検出方法。