JP2003099777A - 顔画像検索装置 - Google Patents

Abstract

(57)【要約】 【課題】 矩形領域内に存在する画像が顔であるか否を
より精度良く判断するための顔画像検索装置４０を提供
する。 【解決手段】 外部から供給された画像の中から顔パタ
ーンを検索する顔画像検索装置４０において、前記顔パ
ターンと顔以外の非顔パターンとを蓄積するパターン蓄
積部２１と、パターン蓄積部２１に蓄積されている前記
非顔パターンの中から、前記顔パターンに近接する非顔
パターンを検索する近接パターン検索部２２と、前記顔
パターンと近接パターン検索部２２で検索された非顔パ
ターンとの差分情報を算出する差分演算部２３と、差分
演算部２３で算出された前記差分情報に基づいて、該差
分情報の特徴量を分析する分析部２４とから構成され
る。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、外部から供給され
た画像の中から顔パターンを検索する顔画像検索装置に
関する。 【０００２】 【従来の技術】従来から、人物、風景などが写実されて
いるスナップ写真を蓄積するデータベースの研究では、
データベースに蓄積されている画像中から精度良く顔領
域を検出する顔画像認識技術が注目されている。この顔
画像認識技術を用いて所定の画像から顔画像を検出する
方法としては、画像中の任意領域を矩形領域として選択
し、その選択された矩形領域内にある画像に基づいて、
前記矩形領域を構成する所定の成分が顔を構成するもの
であるかを判断することにより行われていた。 【０００３】また、所定の画像中から顔画像を検出する
には、顔パターンと顔以外の非顔パターンとを含む画像
を複数枚用意し、その複数枚用意された画像の中から、
顔パターンと非顔パターンとを正しく識別することがで
きるようにニューラルネットの学習をすることができる
識別器を製作することが必要となる。 【０００４】 【発明が解決しようとする課題】しかしながら、ニュー
ラルネットの学習をすることができる識別器は、ニュー
ラルネットの入力を単純にパターンの輝度値とすると、
輝度値は画素数分だけあるため、ニューラルネットのニ
ューロン数が大きくなって計数量が大きくなりニューラ
ルネットの学習等に大きな時間がかかっていた。 【０００５】一方、識別器は、顔パターンと非顔パター
ンの集合に対して主成分分析を行い、固有値と固有ベク
トルとを求めた後に、固有値の大きい方からその固有値
に対応する固有ベクトルを適当に数個選択し、その選択
された固有値に対応する固有ベクトルを新たな基底とし
てパターンを表現し直すことができる。 【０００６】これにより、識別器では、顔パターン及び
非顔パターンの集合に対して主成分分析を行い、その主
成分分析により求められた固有ベクトルに基づいて新た
にパターンを表現し直すことができるので、輝度値を用
いた識別よりもニューラルネットのニューロン数を少な
くすることができる。 【０００７】ところが、上記識別器は、顔パターン及び
非顔パターンの集合に対して主成分分析を行っているの
で、顔パターン及び非顔パターンの両者が混在した固有
ベクトルが算出されてしまうこととなり、顔パターンと
非顔パターンとの差異を明確に識別することが困難であ
った。 【０００８】そこで、本発明は以上の点に鑑みてなされ
たものであり、非顔パターンと顔パターンとの間の差分
情報を算出し、その算出された差分情報に基づいて、そ
の差分情報についての主成分分析を行い、その主成分分
析を行うことにより算出された固有値からその固有値に
対応する固有ベクトルを適当に選択し、選択された固有
ベクトルを新たな基底とすることにより、顔パターンな
どを含む画像の中から、顔パターンをより精度良く検索
することができる顔領域検出装置を提供することを課題
とする。 【０００９】 【課題を解決するための手段】本願に係る発明は上記課
題を解決すべくなされたものであり、請求項１に係る発
明は、外部から供給された画像の中からその画像におけ
る顔パターンである第一顔パターンを検索する顔画像検
索装置において、第二顔パターンと前記第二顔パターン
以外の非顔パターンとを予めそれぞれ複数蓄積したパタ
ーン蓄積手段と、前記パターン蓄積手段に蓄積されてい
る前記非顔パターンの中から、前記各第二顔パターンに
類似する非顔パターンをそれぞれ検索する検索手段と、
前記各第二顔パターンと前記検索手段で検索された前記
第二顔パターンに類似するそれぞれの非顔パターンとの
差分情報を算出する算出手段と、前記算出手段で算出さ
れた前記差分情報に基づいて、該差分情報の特徴量を分
析する分析手段と、前記分析手段で分析された前記差分
情報の特徴量に基づいて、前記外部から供給された画像
の中から、前記第一顔パターンの領域を識別する識別手
段とを有することを特徴とするものである。 【００１０】このような請求項１に係る発明によれば、
分析手段が、算出手段で算出された差分情報に基づいて
該差分情報の特徴量を分析するので、第二顔パターンと
非顔パターンとの差異を大きく表す特徴量を抽出するこ
とができる。また、識別手段は、分析手段で分析された
差分情報の特徴量に基づいて、外部から入力された画像
の中から、第一顔パターンの領域を識別することができ
るので、第一顔パターンと第一顔パターン以外の非顔パ
ターンとを精度良く識別することができる。 【００１１】 【発明の実施の形態】（顔画像検出装置の構成）本発明
の実施形態について図面を参照しながら説明する。図１
は、本実施形態に係る顔画像検出装置を示すブロック図
である。同図に示すように、本実施形態に係る顔画像検
出装置は、画像読込部１０と、特徴抽出部２０と、パタ
ーン識別部３０とを有している。 【００１２】前記画像読込部１０は、外部から供給され
た画像を読み込むことを行うものであり、本実施形態で
は、画像入力部１１と、画像領域設定部１２と、拡大縮
小部１３と、走査部１４とを有している。 【００１３】画像入力部１１は、顔パターンなどが含ま
れる画像を入力するものであり、例えば、テレビカメ
ラ、メカニカルスキャナ、ＣＣＤスキャナなどが挙げら
れる。具体的に画像入力部１１は、写真などの画像を２
次元又は３次元の格子点の配列に標本化し、その点の輝
度値を量子化してデジタル化するものである。画像は、
図１（ａ）に示すように、例えば、人物、或いは、建造
物などが写し出されているものが挙げられる。この画像
を画像入力部１１により入力されると、入力された画像
は、図１（ｂ）に示すように、Ａ_１〜Ａ_ｎ までの画素
領域に細分化される。 【００１４】入力画像をＡ_１〜Ａ_ｎ までの画素領域に
細分化した画像入力部１０は、Ａ_１〜Ａ_ｎまで細分化さ
れた画素に基づいて、そのＡ_１〜Ａ_ｎに対応する濃度情
報（輝度値）をデジタル化し、そのデジタル化したもの
をＡ_１〜Ａ_ｎ に対応するａ _１〜ａ_ｎ （ａ_１〜ａ_ｎの
画像ベクトルをａとする）の画像信号として画像領域設
定部１２へと出力する。 【００１５】画像領域設定部１２は、画像入力部１１に
より入力された画像から顔パターン領域を抽出するため
の矩形領域をユーザに設定させるものである。具体的に
画像領域設定部は、画像入力部１１から画像信号が入力
された場合は、パーソナルコンピュータなどにあるの画
面部（図示せず）に矩形領域を設定するための設定画面
を表示させて、その表示された設定画面に基づいてユー
ザに操作部（例えば、キーボード）を介して矩形領域
（例えば、５０×５０（ピクセル）など）を設定させ
る。尚、図３に示すように、矩形領域は、２０×２０の
領域、或いは３０×３０の領域などを意味する。 【００１６】画像領域設定部１２は、ユーザに顔パター
ン領域を抽出するための矩形領域を設定させた場合は、
前記矩形領域が設定されたことを示す矩形領域信号と、
画像入力部１１から入力された画像信号とを拡大縮小部
１３へと出力する。これにより、顔画像検索装置４０
は、画像領域設定部１２設定された矩形領域に基づい
て、その矩形領域内に存在する画像が顔パターンである
か否かを識別することができる。 【００１７】拡大縮小部１３は、画像領域設定部１２で
設定された矩形領域中にある画像を、所定の大きさに拡
大、或いは縮小するものである。具体的に拡大縮小部１
３は、画像領域設定部１２から、画像信号と設定信号と
が入力された場合は、入力された画像信号と設定信号と
に対応する矩形領域中の画像を、予め設定してある倍率
に拡大、或いは縮小し、その拡大、或いは縮小した矩形
領域を拡大縮小信号として走査部１４へと出力する。 【００１８】例えば、拡大縮小部１３は、図４（ａ）に
示すように、矩形領域に存在している小さい画像を、予
め設定されている倍率に拡大する。一方、図４（ｂ）に
示すように、拡大縮小部１３は、矩形領域に存在してい
る大きい画像を、予め設定されている倍率に縮小する。
これにより、拡大縮小部１３は、所定の大きさに拡大縮
小することができるので、画像入力部１１から入力され
た画像を、パターン認識部３０（詳述は後述する）で認
識しやすい大きさに変更することができる。 【００１９】走査部１４は、画像領域設定部１２で設定
した矩形領域を移動させるものである。具体的に走査部
１４は、拡大縮小部１３から拡大縮小信号が入力された
場合は、入力された拡大縮小信号を次元圧縮部３１へと
出力すると共に、画像中にある矩形領域を所定の条件の
下で移動させて、その移動させたことを示す移動信号を
画像領域設定部１２へと出力する。この矩形領域の移動
は、例えば、図５に示すように、実線で示した矩形領域
が現在の位置である場合は、１０画素づつ次の位置
（矢印方向）に矩形領域をスライドさせる。 【００２０】走査部１４から移動信号が入力された画像
領域設定部１４は、上記画像領域設定部１４で行われて
いた同様の処理を繰り返す。また、走査部１４は、前記
繰り返し処理により、矩形領域が全画像中を走査し終わ
ったと判断した場合は、矩形領域の移動を止める。 【００２１】尚、画像領域設定部１４及び拡大縮小部１
３で行われる繰り返し処理は、予め画像領域設定部１４
及び拡大縮小部１３で設定された設定内容を変更する必
要がない場合は、走査部１４から入力された移動信号に
基づいて、その移動信号に対応する移動後の矩形領域内
に存在する画像を読み込み、その読み込まれた画像を所
定の倍率に拡大又は縮小することを行う。 【００２２】前記特徴抽出部２０は、外部から供給され
た画像の中から、画像特有の特徴量を抽出するものであ
り、本実施形態では、パターン蓄積部２１と、近接パタ
ーン検索部２２と、差分演算部２３と、分析部２４とを
有している。 【００２３】パターン蓄積部２１は、第二顔パターンと
第二顔パターン以外の非顔パターンとを予めそれぞれ複
数蓄積する蓄積手段であり、例えば、ハードディスク、
ＣＤ−ＲＯＭなどが挙げられる。具体的にパターン蓄積
部２１は、例えば、風景、建造物などの非顔パターン
や、人物の顔を示した顔パターンが蓄積されている。こ
こで、第一顔パターンは、外部から供給された画像の中
に含まれる顔画像のことを意味し、第二顔パターンは、
パターン蓄積部２１に予め複数蓄積されている顔画像を
意味する。第一顔パターン及び第二顔パターンは、本実
施形態では、単に「顔パターン」とする。 【００２４】尚、パターン蓄積部２１は、画像入力部１
１から顔パターン及び非顔パターンの画像を蓄積するこ
とができる。 【００２５】近接パターン検索部２２は、パターン蓄積
部２１に予め複数蓄積されている非顔パターンの中か
ら、各第二顔パターンに類似する非顔パターンをそれぞ
れ検索する検索手段である。具体的に近接パターン検索
部２２は、パターン蓄積部２１に蓄積されている顔パタ
ーンと非顔パターンとに基づいて、非顔パターンの中か
ら、顔パターンに近接する非顔パターンを検索し、その
検索結果を差分演算部２３へと出力する。この近接パタ
ーン検索部２２が非顔パターンの中から顔パターンに近
接する非顔パターンを検索する方法は、以下の手順によ
り説明することができる。 【００２６】パターン蓄積部２１で蓄積されている顔パ
ターンのベクトルは、例えば、ベクトルｘi（i＝１，
２，・・・ｎ；顔パターンの枚数）で表現することがで
きる。従って、同図（ａ）に示す顔パターンのベクトル
は、ｘi＝（ｘ_i1、・・、ｘ_iｋ、・・ｘ_iｍ）になる。
添え字のｉｋ（ｋ＝１，２，・・・ｍ）は、ｉ枚目にお
ける顔パターンを構成する画素ｋを意味するものであ
る。一方、非顔パターンのベクトルは、上記と同様にベ
クトルｙj（j＝１，２，・・・ｐ；非顔パターンの枚
数）で表現することができる。従って、同図（ｂ）に示
す非顔パターンのベクトルは、ｙj＝（ｙ_i1、・・・ｙ
_iｍ）になる。添え字のｊｑ（ｑ＝１，２，・・・ｍ）
は、ｊ枚目における非顔パターンを構成する画素ｑを意
味するものである。 【００２７】近接パターン検索部２２は、上記顔パター
ンの集合中の各顔パターンベクトルｘi（i＝１，２，・
・・ｎ）と、非顔パターンベクトルｙj（j＝１，２，・
・・ｐ）とからユーグリット距離ｄijを求める。このユ
ーグリット距離ｄijの計算方法は、（数１）により求め
ることができる。 【００２８】 【数１】 具体的には、ユーグリット距離ｄijは、複数枚ある顔パ
ターンの中から、一枚の顔パターンを取り出し、その取
り出した顔パターンに対応するベクトルｘ₁＝（ｘ₁₁、
・・・ｘ_1ｍ）と、複数枚ある非顔パターンの中から、
一枚の非顔パターンを取り出し、その取り出した非顔パ
ターンに対応するベクトルｙ₁＝（ｙ₁₁、・・・ｙ_1ｍ）
とを用いることにより求められる。顔パターンに近接す
る非顔パターンは、ユーグリット距離ｄijの小さい数値
に対応する非顔パターンが該当する。 【００２９】これにより、顔パターンに近接する非顔パ
ターンの検索は、求められた複数のユーグリット距離ｄ
ijの中から、ユーグリット距離ｄijの小さい数値を数個
取得し、その数個取得したユーグリット距離ｄijの小さ
い数値に対応する非顔パターンをＬ個選出することによ
り行うことができる。尚、この選出された顔パターンに
近接する非顔パターンベクトルは、ｙ^＊ijとする。 【００３０】顔パターンベクトルｘ₁を用いて選出され
た顔パターンベクトルｘ₁に近接するＬ個の非顔パター
ンベクトルは、ｙ^＊ ₁₁、ｙ^＊ ₁₂、・・・ｙ^＊ _1Lで表現す
ることができる。また、顔パターンベクトルｘ_２を用い
て選出された顔パターンベクトルｘ_２に近接するＬ個の
非顔パターンベクトルは、ｙ^＊ ₂₁、ｙ^＊ ₂₂、・・・ｙ^＊
_2Lで表現することができる。更に、顔パターンベクトル
ｘ_nを用いて選出された顔パターンベクトルｘ_nに近接す
るＬ個の非顔パターンベクトルは、ｙ^＊ _n1、ｙ ^＊ _n2、・
・・ｙ^＊ _nLで表現することができる。 【００３１】差分演算部２３は、各第二顔パターンと近
接パターン検索部２２で検索された第二顔パターンに類
似するそれぞれの非顔パターンとの差分情報を算出する
算出手段である。具体的に差分演算部２３は、近接パタ
ーン検索部２２から検索結果が入力された場合は、入力
された検索結果に対応する顔パターンに近い非顔パター
ンベクトルｙ^＊ijと、顔パターンベクトルｘiとに基づ
いて両パターンベクトルの差分ベクトルｚijを算出し、
その算出された差分ベクトルｚijの結果を差分信号とし
て分析部２４へと出力する。差分ベクトルｚijの算出
は、以下の式により求めることができる。尚、差分情報
とは、本実施形態では、差分ベクトルｚijを意味するも
のとする。 【００３２】 【数２】 分析部２４は、差分演算部２３で算出された差分情報に
基づいて、差分情報の特徴量を分析する分析手段であ
る。具体的に分析部２４は、差分演算部２３から差分信
号が入力された場合は、入力された差分信号に基づい
て、その差分信号に対応する差分ベクトルｚkの特徴量
を抽出し、その抽出した特徴量を特徴信号として次元圧
縮部３１へと出力する。尚、ｚkの添え字ｋ（ｋ＝１，
２，・・・ｗ）は、ｗ＝ｎ×Ｌ個の集合のｋ番目のベク
トルを意味するものである。 【００３３】この特徴量の抽出は、本実施形態では、主
成分分析を用いて行うものとする。ここで、主成分分析
とは、多変量の計測値から変量間の相関を無くし、より
低次元の変量によって元の計測値の特性を記述する解析
手法を意味するものである。主成分分析は、例えば、画
像圧縮等の情報圧縮やパターン認識のための特徴抽出等
で利用することができるものである。 【００３４】この主成分分析を行うことにより求められ
る差分ベクトルｚkの特徴量は、次の手順で求めること
ができる。先ずは、差分ベクトルｚkの分散共分散行列
Ａを求める。この分散共分散行列Ａは、次の式により求
めることができる。 【００３５】 【数３】 上式により求める特徴量は、分散共分散行列Ａの固有ベ
クトルである。この固有ベクトルをｖg（g＝１，２，・
・・ｗ）とすると、λgｖg＝Ａｖg（λgは、固有値を意
味するものとする）の式が成り立つ。この式から求めら
れた複数ある固有値λgのうち、本実施形態で用いる固
有値λgは、固有値λgの大きい方からＥ（<Ｗ）個を用
いる。これにより、新しい基底は、Ｅ個選ばれた固有値
λに対応する固有ベクトルｖ*g（g＝１，２，・・・
Ｅ）とすることができる。 【００３６】前記パターン認識部３０は、分析部２４で
分析された差分情報の特徴量に基づいて、外部から供給
された画像の中から、顔パターンの領域を識別する識別
手段であり、本実施形態では、次元圧縮部３１と、識別
部３２とを有している。これにより、分析部２４は、差
分演算部２３で算出された差分情報に基づいて、その差
分情報の特徴量を分析するので、顔パターンと非顔パタ
ーンとの差異を大きく表す特徴量を抽出することができ
る。 【００３７】次元圧縮部３１は、特徴抽出部２０にある
情報データと、画像読込部１０で読み込まれた画像の情
報とを圧縮するものであり、本実施形態では、第一圧縮
部３１ａと、第二圧縮部３１ｂとを有している。 【００３８】第一圧縮部３１ａは、画像読込部１０で読
み込まれた画像の情報を圧縮するものである。具体的に
第一圧縮部３１ａは、走査部１４から画像信号が入力さ
れた場合は、入力された画像信号に対応する画像ベクト
ルａを、以下の算出方法により圧縮する。 【００３９】この圧縮を行うには、上記画像信号に対応
する画像ベクトルをａ＝（ａ_1、ａ _２、・・・、
ａ_ｍ）、第一圧縮部３１ａにより圧縮されたベクトルを
ａ’＝（ａ'_1、ａ'_２、・・・、ａ'_Ｅ）とすると、次の
式により求めることができる。 【００４０】 【数４】 上記の式によれば、右辺の圧縮後のベクトルａ’の次元
数はＥ個であり、一方、左辺の圧縮前の次元数はＷ（>
Ｅ）であるので、上記の式から求められた圧縮後の次元
数Ｅは、次元圧縮前の次元数ｗよりも少なくなる。この
ため、第一圧縮部３１ａで行われる画像ベクトルの圧縮
は、この次元数を減らすことにより行うものである。 【００４１】尚、第一圧縮部３１ａは、ある位置に存在
する矩形領域中の画像ベクトルａを圧縮するが、走査部
１４により矩形領域が特定方向にスライドした場合は、
その特定方向にスライドした後の矩形領域内に存在する
画像ベクトルａを圧縮する。このため、第一圧縮部３１
ａにより算出された圧縮後の次元ベクトルは、矩形領域
の位置により変化することになる。一方、第二圧縮部３
１ｂ（詳述は後述する）は、特徴抽出部２０から入力さ
れた情報データに基づいて、その情報データを圧縮する
が、その圧縮された算出結果は、変動させずに固定して
用いる。 【００４２】第二圧縮部３１ｂは、特徴抽出部２０にあ
る情報データを圧縮するものである。ここで、情報デー
タは、例えば、パターン蓄積部２１に蓄積されている顔
パターンベクトルｘij、非顔パターンベクトルｙij、分
析部で算出された特徴量ｚkなどが挙げられる。具体的
に第二圧縮部３１ｂは、パターン蓄積部２１から顔パタ
ーンベクトルｘijと非顔パターンベクトルｙijと、分析
部２４から特徴量ｚkとを有する情報データを取得し、
その取得した情報データに基づいて、その情報データの
圧縮を行う。 【００４３】この情報データの圧縮を行うには、情報デ
ータのベクトルをｈ＝（ｈ_１、ｈ_２、・・・ｈ_E）、第
二圧縮部３１ｂにより圧縮された情報データのベクトル
をｈ’＝（ｈ’_１、ｈ’_２、・・・ｈ’_E）とすると、
上記（数４）と同様に、次の式により求めることができ
る。第二圧縮部３１ｂで行われる情報データのベクトル
の圧縮は、以下の式により次元数を減らすことにより行
うものである。 【００４４】 【数５】 次元圧縮部３１は、第一圧縮部３１ａと、第二圧縮部３
１ｂとから算出された次元圧縮後のベクトルａ’、ｈ’
を識別部３２へと出力する。尚、上述の如く、第二圧縮
部３１ｂにより次元圧縮された後のベクトルｈ’は、固
定（詳述は後述する）されているものであるが、第一次
元圧縮部３１ａにより次元圧縮された後のベクトルａ’
は、矩形領域が位置する場所毎（例えば、数画素づつず
らした時の画像毎）に求められるものである。 【００４５】このため、次元圧縮後のベクトルａ’は、
矩形領域が位置する場所毎に求められるものであり、そ
の矩形領域の位置毎に対応して、識別部３２は、その位
置毎に対応する矩形領域に存在する画像が顔パターンで
あるか否かを識別する。 【００４６】識別部３２は、分析２４で分析された差分
情報の特徴量に基づいて、外部から供給された画像の中
から、第一顔パターンの領域を識別する識別手段であ
る。識別部３２を構成するニューラルネットワークは、
図７に示すように、本実施形態では、三層のパーセプト
ロンにより構成される。具体的に識別部３２は、第二圧
縮部３１ａからベクトルｈ’が入力された場合は、入力
されたベクトルｈ’を用いて、識別部３２を構成するニ
ューラルネットワークを、バックプロパゲイションによ
り学習させる。 【００４７】同図中の第一層目のニューロン数は、第一
圧縮部３１ａから入力されるベクトルａ’の次元数と
し、その第一層目には、第一圧縮部３１ａから入力され
たベクトルａ’が入力されるものとする。第二層目のニ
ューロン数は適当な数を用いるものとし、第三層目のニ
ューロン数は、一つのみとする。認識部３２が、顔画像
であるか否かの認識を行うには、矩形領域内にある画像
を顔であると認識し、その認識された結果が顔であるこ
とを示すために、第三層目に”１”を出力する。一方、
認識部３２は、矩形領域内にある画像を顔でないと認識
し、その認識された結果が顔でないことを示すために、
第三層目に”０”を出力する。 【００４８】（顔画像検索装置を用いた顔画像検索方
法）上記構成を有する顔画像検索装置による顔画像検索
方法は、以下の手順により実施することができる。図８
は、本実施形態に係る顔画像検索方法の手順を示すフロ
ー図である。 【００４９】同図に示すように、顔画像検索方法は、画
像を読み込むことを行う手順（同図中の領域）と、パ
ターン蓄積部２１に蓄積されているパターンの特徴量の
抽出を行う手順（同図中の領域）と、同図中の領域
と領域とにより行われた手順に基づいて、画像入力部
１１から入力された矩形領域内の画像が顔画像であるか
否かを識別することを行う手順（同図中の領域）とを
有している。 【００５０】同図中の領域では、先ず、画像入力部１
１が、画像を入力するステップを行う（Ｓ１０１）。具
体的には、画像入力部１１が、各種のパターンを含む画
像を入力して、その入力された画像を、Ａ_１〜Ａ_ｎ ま
での画素領域に細分化する。そして、入力画像をＡ_１〜
Ａ_ｎ までの画素領域に細分化した画像入力部１０は、
Ａ_１〜Ａ_ｎまで細分化された画素に基づいて、そのＡ_１
〜Ａ_ｎに対応する輝度値（濃度情報）をデジタル化し、
そのデジタル化したものをＡ_１〜Ａ_ｎ に対応するＢ_１
〜Ｂ_ｎ の画像信号として画像領域設定部１２へと出力
する。 【００５１】次いで、画像領域設定部１２が、矩形領域
を設定するステップを行う（Ｓ１０２）。具体的に画像
領域設定部１２は、画像入力部１１から画像信号が入力
された場合は、パーソナルコンピュータなどにあるの画
面部（図示せず）に矩形領域を設定するための設定画面
を表示させて、その表示された設定画面に基づいてユー
ザに操作部（例えば、キーボード）を介して矩形領域
（例えば、５０×５０（ピクセル）など）を設定させ
る。尚、図３に示すように、矩形領域は、２０×２０の
領域、或いは３０×３０の領域などの領域を意味す
る。 【００５２】その後、上記よりユーザに顔パターン領域
を抽出するための矩形領域を設定させた画像領域設定部
１２は、前記矩形領域が設定されたことを示す矩形領域
信号と、画像入力部１１から入力された画像信号とを拡
大縮小部１３へと出力する。これにより、顔画像検索装
置４０は、画像領域設定部１２設定された矩形領域に基
づいて、その矩形領域内に存在する画像が顔パターンで
あるか否かを識別することができる。 【００５３】次いで、拡大縮小部１３が所定の矩形領域
中にある画像を所定の大きさに変更するステップを行う
（Ｓ１０３）。具体的には、拡大縮小部１３が、画像領
域設定部１２から、画像信号と設定信号とが入力された
場合は、入力された画像信号と設定信号とに対応する矩
形領域中の画像を、予め設定してある倍率に拡大、或い
は縮小し、その拡大、或いは縮小した矩形領域にある画
像を拡大縮小信号として走査部１４へと出力する。 【００５４】例えば、拡大縮小部１３は、図４（ａ）に
示すように、矩形領域に存在している小さい画像を、予
め設定されている倍率に拡大する。一方、図４（ｂ）に
示すように、拡大縮小部１３は、矩形領域に存在してい
る大きい画像を、予め設定されている倍率に縮小する。
これにより、拡大縮小部１３は、所定の大きさに拡大縮
小することができるので、画像入力部１１から入力され
た画像を、パターン認識部３０で認識しやすい大きさに
変更することができる。 【００５５】次いで、走査部１４が、矩形領域をスライ
ドさせるステップを行う（Ｓ１０４）。具体的には、走
査部１４が、拡大縮小部１３から拡大縮小信号が入力さ
れた場合は、入力された拡大縮小信号を次元圧縮部３１
へと出力すると共に、画像中にある矩形領域を所定の条
件の下で移動させて、その移動させたことを示す移動信
号を画像領域設定部１２へと出力する。 【００５６】この矩形領域の移動は、例えば、図５に示
すように、実線で示した矩形領域が現在の位置である
場合は、１０画素づつ次の位置（矢印方向）に矩形領域
をスライドさせる。その後、走査部１４から移動信号が
入力された画像領域設定部１４は、上記画像領域設定部
１４で行われていた同様の処理を繰り返す。 【００５７】次いで、走査部１４は、全画像内を矩形領
域が移動したか否かを判断するステップを行う（Ｓ１０
５）。具体的には、走査部１４は、前記繰り返し処理
（Ｓ１０２〜Ｓ１０４）により、矩形領域が全画像中を
走査し終わった場合は、矩形領域の移動を止める。 【００５８】尚、（Ｓ１０２）及び（Ｓ１０３）で行わ
れる繰り返し処理は、予め画像領域設定部１４及び拡大
縮小部１３で設定された設定内容を変更する必要がない
場合は、走査部１４から入力された移動信号に基づい
て、その移動信号に対応する移動後の矩形領域内に存在
する画像を読み込み、その読み込まれた画像を所定の倍
率に拡大又は縮小することを行う。 【００５９】同図中の領域では、先ず、近接パターン
検索部２２が、パターン蓄積部２２に蓄積されている顔
パターンと非顔パターンとに近い非顔パターンを検索す
るステップを行う（Ｓ２０１）。具体的には、パターン
蓄積部２１に蓄積されている顔パターンベクトルｘijと
非顔パターンベクトルｙijとに基づいて、非顔パターン
ベクトルｙijの中から、顔パターンに近接する非顔パタ
ーンベクトルｙ^＊ijを検索し、その検索結果を差分演算
部２３へと出力する。 【００６０】次いで、差分演算部２３が、近接パターン
で検索された顔パターンに近い非顔パターンと、顔パタ
ーンとに基づいて、両者の差分情報を算出するステップ
を行う（Ｓ２０２）。具体的には、差分演算部２３が、
近接パターン検索部２２から検索結果が入力された場合
は、入力された検索結果に対応する顔パターンに近い非
顔パターンベクトルｙ^＊ijと、顔パターンベクトルｘi
とに基づいて両パターンの差分ベクトルｚijを算出し、
その算出された差分ベクトルｚijの結果を差分信号とし
て分析部２４へと出力する。差分ベクトルｚijの算出
は、上記で述べた算出方法（差分演算部２４の説明で示
した箇所）により求めることができる。尚、差分情報と
は、本実施形態では、差分ベクトルｚijを意味するもの
とする。 【００６１】その後、分析部２４が、差分演算部２３で
算出された差分情報に基づいて、その差分情報の特徴量
を抽出するステップを行う（Ｓ２０３）。具体的には、
分析部２４が、差分演算部２３から差分信号が入力され
た場合は、入力された差分信号に基づいて、その差分信
号に対応する差分ベクトルｚijの特徴量を抽出し、その
抽出した特徴量を特徴信号として次元圧縮部３１へと出
力する。差分ベクトルｚijの特徴量は、上記で述べた算
出方法（分析部２４の説明で示した箇所）により求める
ことができる。 【００６２】同図中の領域では、先ず、次元圧縮部３
１が、画像読込部１０と特徴抽出部２０とから入力され
た情報を圧縮するステップを行う（Ｓ３０１）。 【００６３】具体的には、先ず、第一圧縮部３１ａが、
走査部１４から画像信号が入力された場合は、入力され
た画像信号に対応する画像ベクトルａに基づいて、その
画像ベクトルａを、次元数の少ないベクトルａ’に変換
し、その変換したベクトルａ’を識別部３２へと出力す
る。 【００６４】また、第二圧縮部３１ｂが、パターン蓄積
部２１から顔パターンベクトルｘiと非顔パターンベク
トルｙjと、分析部２４から特徴量ｚijとを有する情報
データｈを取得し、その取得した情報データに基づい
て、その情報データを次元数の少ないベクトルｈ’に変
換し、その変換したベクトルｈ’を識別部３２へと出力
する。ここで、情報データは、例えば、パターン蓄積部
２１に蓄積されている顔パターンベクトルｘi、非顔パ
ターンベクトルｙj、分析部で算出された特徴量ｚkなど
が挙げられる。 【００６５】次いで、識別部３２が、次元圧縮部３１で
圧縮された情報に基づいて、その圧縮された情報に対応
する画像が顔画像であるか否かを識別するステップを行
う（Ｓ３０２）。具体的には、識別部３２が、第二圧縮
部３１ａからベクトルｈ’が入力された場合は、入力さ
れたベクトルｈ’を用いて、識別部３２を構成するニュ
ーラルネットワークを、バックプロパゲイションにより
学習させる。 【００６６】その後、認識部３２は、矩形領域内にある
画像を顔であると認識し、その認識された結果が顔であ
ることを示すために、第三層目に”１”を出力する。一
方、認識部３２は、同様に、矩形領域内にある画像を顔
でないと認識し、その認識された結果が顔でないことを
示すために、第三層目に”０”を出力する。 【００６７】尚、次元圧縮後のベクトルａ’は矩形領域
が位置する場所毎に求められるものであり、その矩形領
域の位置毎に応じて、識別部３２は、その位置の矩形領
域内に存在する画像データａに対応する次元圧縮後のベ
クトルａ’に基づいて、その位置毎に対応した矩形領域
内に存在する画像が顔パターンであるか否かを識別す
る。このため、識別部３２は、ある位置に存在する矩形
領域内の画像毎に顔画像であるか否かを認識する （顔画像検索装置による作用及び効果）このような本実
施形態に係る顔画像検索装置４０によれば、分析部２４
が、差分演算部２３で算出された差分情報に基づいて、
その差分情報の特徴量を分析するので、顔パターンと非
顔パターンとの差異を大きく表す特徴量を抽出すること
ができる。 【００６８】また、識別部３２は、分析部２４で分析さ
れた差分情報の特徴量に基づいて、外部から入力された
画像の中から、前記顔パターンの領域を識別することが
できるので、その領域内にある画像が顔パターンである
のか、或いは非顔パターンであるのかを精度良く識別す
ることができる。 【００６９】 【発明の効果】以上説明したように本発明の顔画像検索
装置４０によれば、特徴抽出部２０は、パターン蓄積部
２１に蓄積された非顔パターンの集合の中から、顔パタ
ーンに最も相関の近い非顔パターンを選出し、その選出
された非顔パターンと顔パターンとの間の差分情報を算
出し、その算出された差分情報に基づいて、その差分情
報について主成分分析を行い、その主成分分析を行うこ
とにより差分情報の特徴量を抽出することができるの
で、顔パターンと非顔パターンとの差を大きく特徴付け
るベクトルを求めることができる。 【００７０】また、パターン認識部３２は、矩形領域内
に存在する画像が顔パターンであるか否かの判断を行う
際に、分析部２４で算出された差分情報の特徴量を用い
て判断することができるので、矩形領域内に存在する画
像が顔であるか否をより精度良く判断することができ
る。

【図面の簡単な説明】 【図１】本実施形態に係る顔画像検索装置４０のブロッ
ク図を示したものである。 【図２】本実施形態における画像入力部１１により入力
された画像内容を示した図である。 【図３】本実施形態における画像入力部１１により入力
された画像の矩形領域を示した図である。 【図４】本実施形態における拡大縮小部１３により矩形
領域内にある画像が所定の倍率に拡大又は縮小されたこ
とを示した図である。 【図５】本実施形態における走査部１４により矩形領域
が特定の方向に移動されていく様子を示した図である。 【図６】本実施形態におけるパターン蓄積部２１に蓄積
されている顔パターン及び非顔パターンのベクトルを示
した図である。 【図７】本実施形態におけるパターン識別部３０を構成
するニューラルネットを示した図である。 【図８】本実施形態に係る顔画像検索方法の手順を示し
たフロー図である。 【符号の説明】 １０…画像読込部、１１…画像入力部、１２…画像領域
設定部、１３…拡大縮小部、１４…走査部、２０…特徴
抽出部、２１…パターン蓄積部、２３…差分演算部、２
４…分析部、３０…パターン識別部、３１ａ…第一圧縮
部、３１ｂ…第二圧縮部、３２…識別部、４０…顔画像
検索装置

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 CA08 CA12 CA16 CB20 CC02 CD02 CD05 DA12 DC01 DC40 5B075 ND08 PR06 QM08 QS03 UU40 5L096 BA18 CA02 DA02 EA03 FA05 GA08 GA57 HA08 JA11

Claims (1)

1. 【特許請求の範囲】 【請求項１】 外部から供給された画像の中からその画
   像における顔パターンである第一顔パターンを検索する
   顔画像検索装置において、 第二顔パターンと前記第二顔パターン以外の非顔パター
   ンとを予めそれぞれ複数蓄積したパターン蓄積手段と、 前記パターン蓄積手段に予め複数蓄積されている前記非
   顔パターンの中から、前記各第二顔パターンに類似する
   非顔パターンをそれぞれ検索する検索手段と、 前記各第二顔パターンと前記検索手段で検索された前記
   第二顔パターンに類似するそれぞれの非顔パターンとの
   差分情報を算出する算出手段と、 前記算出手段で算出された前記差分情報に基づいて、該
   差分情報の特徴量を分析する分析手段と、 前記分析手段で分析された前記差分情報の特徴量に基づ
   いて、前記外部から供給された画像の中から、前記第一
   顔パターンを識別する識別手段とを有することを特徴と
   する顔画像検索装置。