JP2000099722A - 人物顔認識装置及び人物顔認識方法 - Google Patents

Abstract

(57)【要約】 【課題】 人物の顔の画像に関して迅速で正確な認識処
理を行う人物顔認識装置とこの人物顔認識方法を提供す
る。 【解決手段】 対象の画像を取り込む取込部１と、予め
保存された輝度頻度に関する辞書データ７，８，９とこ
の対象画像の複数の単位領域ごとの輝度とを比較して、
対象画像の複数の単位領域ごとの信頼度を求める信頼度
計算部７，８，９と、予め保存された認識のための顔照
合辞書１２と対象画像とを、算出された信頼度に基づい
て単位領域ごとに比較し、対象画像を照合する照合部６
とを有する画像認識装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、対象の画像パタ
ーンを認識する画像認識装置であって、特に人間の顔を
認識する人物顔認識装置とその人物顔認識方法に関する
ものである。

【０００２】

【従来の技術】最近、入退出管理、ＡＴＭ機器や券売機
などの社会システムの個人照合、およびパソコン等ＯＡ
機器のパスワードといった分野において、非接触でユー
ザに負担の少ない個人照合のニーズがあるが、その際に
あまり特殊な装置を使用しないものとして画像認識よる
方法が注目されている。

【０００３】これは被験者の顔画像を複数用意して、切
り出し辞書とし、認識時には入力顔画像と辞書とのパタ
ーンマッチングを行って顔位置抽出と照合を行うものが
一般的である。辞書としては、各個人でのさまざまな状
況に対応させるために複数枚の画像を用意するものもあ
るが、そのままでは辞書サイズが膨大になるため、これ
らを統計的に特徴圧縮した辞書を作成しておく方式があ
り、統計的圧縮としては主成分の分析に類するものが使
われている。

【０００４】

【発明が解決しようとする課題】しかし上記した従来の
画像認識による方法では、照明変動が少なくない環境で
は正確な認識が困難であるという問題がある。照明変動
には、画面全体での輝度変化と、輝度勾配や影による部
分的変化とがあり、前者に対して、辞書、および入力画
像についてその画像ベクトルの大きさ（ノルム）による
正規化を行ったり、ヒストグラム平坦化を行ったりした
例があり、後者に対して、画面内輝度の平面当てはめを
した例があるが、それらをもってしても顔抽出に失敗し
たり、照合が不正確になるという問題がある。

【０００５】本発明は、上記問題を解決すべくなされる
ものであり、マッチングを行う領域の各小領域ごとの信
頼度を計算し、この信頼度に応じたマッチングを行うこ
とによって、迅速で正確なマッチングを実現し、これに
より、人物の顔の迅速で正確な認識処理を行う人物顔認
識装置とこの人物顔認識方法を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】本発明は、認識対象画像
の認識を行なう画像認識装置において、認識対象画像を
入力する画像入力手段と、この入力手段にて入力された
認識対象画像から照合用の辞書を作成する辞書作成手段
と、この作成手段にて作成した複数の辞書データに基づ
き認識対象画像における各画素の輝度頻度を求めて保持
する輝度頻度辞書と、認識対象画像の認識時には入力画
像と前記作成手段にて作成された辞書とを照合するとと
もに、この照合の際には前記輝度頻度辞書と入力画像の
各画素の輝度に基づき入力画像の各画素について信頼度
を加味して照合を行なう照合手段とを有することを有す
ることを特徴とする画像認識装置である。

【０００７】又本発明は、請求項１に記載の画像認識装
置において、前記照合手段は前記輝度頻度辞書に基づき
認識対象画像として尤もらしくない画素については照合
に用いないようにしたことを特徴とする画像認識装置で
ある。

【０００８】又本発明は、請求項１に記載の画像認識装
置において、前記照合手段は前記輝度頻度辞書に基づき
認識対象画像として尤もらしくない画素については照合
結果に対する寄与度を低くするようにしたことを特徴と
する画像認識装置である。

【０００９】又本発明は、請求項１に記載の画像認識装
置において、前記輝度頻度辞書は前記作成手段による辞
書データ作成時の切出し画像の輝度頻度を求めて保持す
る顔領域抽出用輝度頻度辞書を有し、前記抽出手段は前
記輝度頻度辞書に基づき認識対象画像の切出しを行なう
顔領域抽出手段を有することを特徴とする画像認識装置
である。

【００１０】又本発明は、請求項４に記載の画像認識装
置において、前記辞書作成手段は、認識対象画像中の特
定領域のパーツ画像に関するパーツ辞書を作成し、前記
前記輝度頻度辞書は前記作成手段によるパーツ辞書作成
時のパーツ画像の輝度頻度を求めて保持する類パーツ抽
出用輝度頻度辞書を有し、前記抽出手段は前記輝度頻度
辞書に基づき前記顔領域抽出手段にて抽出された認識対
象画像から類パーツ画像の切出しを行なう類パーツ抽出
手段を有することを特徴とする画像認識装置である。

【００１１】又本発明は、請求項５に記載の画像認識装
置において、前記辞書作成手段は認識対象画像中の特定
領域の認識対象画像に関する顔照合辞書を作成し、前記
前記輝度頻度辞書は前記作成手段による顔照合辞書の認
識対象画像の輝度頻度を求めて保持する顔照合用輝度頻
度辞書を有し、前記抽出手段は類パーツ抽出手段にて抽
出された類パーツ画像との関係から入力画像中の特定領
域の認識対象画像を照合用画像として選択する照合位置
決定手段を有し、前記照合手段は顔照合辞書と照合用画
像とを照合する際に前記顔照合用輝度頻度辞書に基づき
基づき認識対象画像として尤もらしい画素を用いて照合
を行なうようにしたことを特徴とする画像認識装置であ
る。

【００１２】又本発明は、認識対象画像の認識を行なう
画像認識方法において、入力された認識対象画像から照
合用の辞書を作成し、この作成した複数の辞書データに
基づき認識対象画像における各画素の輝度頻度を求めて
保持しておき、認識対象画像の認識時には入力画像と前
記辞書とを照合するとともに、この照合の際には前記輝
度頻度辞書と入力画像の各画素の輝度に基づき入力画像
の各両素について信頼度を加味して照合を行なうように
したことを特徴とする画像認識方法である。

【００１３】又本発明は、請求項７に記載の画像認識方
法において、前記入力画像と前記辞書とを照合する際に
は前記輝度頻度辞書に基づき認識対象画像として尤もら
しくない画素については照合に用いないようにしたこと
を特徴とする画像認識装置である。

【００１４】又本発明は、請求項７に記載の画像認識方
法において、前記入力画像と前記辞書とを照合する際に
は前記輝度頻度辞書に基づき認識対象画像として尤もら
しくない画素については照合結果に対する寄与度を低く
するようにしたことを特徴とする画像認識装置である。

【００１５】又本発明は、認識対象画像の認識を行なう
画像認識方法において、入力された画像から認識対象画
像領域を切出し、切出された認識対象画像領域の画像中
の特定領域の認識対象画像から照合用の顔照合辞書を作
成し、かっ切出された認識対象画像領域における各画素
の輝度頻度を求めて顔領域抽出用輝度頻度辞書を作成
し、認識対象画像の認識時には入力画像中の画像のうち
前記輝度頻度に基づき認識対象画像として尤もらしい領
域を認識対象画像として抽出し、この抽出された認識対
象画像中の特定領域の認識対象画像から照合用画像を選
択して前記顔照合辞書と照合するようにしたことを特徴
とする画像認識方法である。

【００１６】又本発明は、請求項１０に記載の画像認識
装置において、前記顔照合辞書を作成する際に、認識対
象画像中の特定領域のパーツ画像に関するパーツ辞書を
作成するとともに、パーツ辞書作成時のパーツ画像の輝
度頻度を求めてパーツ抽出用輝度頻度辞書を作成し、前
記顔照合辞書と入力画像との照合を行なう場合には、前
記顔領域抽出用輝度頻度辞書に基づき抽出された認識対
象画像からパーツ抽出用輝度頻度辞書及びパーツ辞書に
基づき入力画像から特定領域のパーツ画像を抽出し、抽
出されたパーツ画像の位置関係から照合用画像を入力画
像から選択して前記顔照合辞書と照合するようにしたこ
とを特徴とする画像認識方法である。

【００１７】又本発明は、請求項１０に記載の画像認識
方法において、前記顔照合辞書を作成する際に、顔照合
辞書の認識対象画像の輝度頻度を求めて保持する顔照合
用輝度頻度辞書を作成有し、前記顔照合辞書と照合用画
像とを照合する際には前記顔照合用輝度頻度辞書に基づ
き認識対象画像として尤もらしい画素を用いて照合を行
なうようにしたことを特徴とする画像認識方法である。

【００１８】又本発明は、認識対象画像の認識を行なう
画像認識装置において、認識対象画像を入力する画像入
力手段と、この入力手段にて入力されたサンプル画像か
ら特徴点を抽出する特徴点抽出手段と、この特徴点抽出
手段にて抽出された各特徴点近傍の部分画像の特徴量を
表す部分辞書パターンを形成して各特徴点の部分辞書を
作成する辞書作成手段と、認識対象画像の認識時には前
記入力手段にて入力された入力画像から前記特徴点抽出
手段にて各特徴点を抽出して各特徴点近傍の部分画像か
ら得られた特徴量と前記部分辞書の部分辞書パターンと
の照合を行なう照合手段とを有することを特徴とする画
像認識装置である。

【００１９】又本発明は、請求項１３の画像認識装置に
おいて、前記特徴点抽出手段は認識対象画像中の小領域
内における輝度変化が特異な点又は輝度の幾何学的変化
が特異な点を特徴点として抽出することを特徴とする画
像認識装置である。

【００２０】又本発明は、請求項１３の画像認識装置に
おいて、前記辞書作成手段による辞書構築時に、サンプ
ル画像から得られた複数の部分辞書パターンについての
冗長性を評価し、非冗長とされた部分辞書パターンのみ
を部分辞書に保持することを特徴とする画像認識装置で
ある。

【００２１】又本発明は、請求項１３の画像認識装置に
おいて、前記辞書作成手段による辞書構築時に、サンプ
ル画像から得られた複数の部分辞書パターン金てを保持
するのではなく、所定の間隔ごとに特徴量を示す部分辞
書パターンを保持しておき、その間の区間については補
完する近似関数を使用し特徴量を補完することを特徴と
する画像認識装置である。

【００２２】又本発明は、請求項１３の画像認識装置に
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき前記照合手
段は寄与係数を加味して照合を行なうようにしたことを
特徴とする画像認識装置である。

【００２３】又本発明は、請求項１３の画像認識装置に
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき、前記照合
手段による照合の際には、認識の用途に応じて寄与係数
の分布から認識に有効な部分辞書パターンの集合を選択
して使用するようにしたことを特徴とする画像認識装置
である。

【００２４】又本発明は、請求項１３の画像認識装置に
おいて、辞書データに基づき認識対象画像における各画
素の輝度頻度を求めて保持する輝度頻度辞書を有し、画
像の認識時には入力画像と前記作成手段にて作成された
辞書とを照合するとともに、この照合の際には前記輝度
頻度辞書と入力画像の各画素の輝度に基づき入力画像の
各画素について信頼度を加味して照合を行なう照合手段
とを有することを有することを特徴とする画像認識装置
である。

【００２５】又本発明は、入力された認識対象画像の認
識を行なう画像認識方法において、入力されたサンプル
画像から特徴点を抽出し、この抽出された各特徴点近傍
の部分画像の特徴量を表す部分辞書パターンを形成して
各特徴点の部分辞書を作成しておき、認識対象画像の認
識時には入力された入力画像から前記特徴点を抽出して
各特徴点近傍の部分画像から得られた特徴量と前記部分
辞書の部分辞書パターンとの照合を行なうようにしたこ
とを特徴とする画像認識方法。

【００２６】又本発明は、請求項２０の画像認識方法に
おいて、前記特徴点抽出においては認識対象画像中の小
領域内における輝度変化が特異な点又は輝度の幾何学的
変化が特異な点を特徴点として抽出することを特徴とす
る画像認識方法である。

【００２７】又本発明は、請求項２０の画像認識方法に
おいて、前記辞書作成時に、サンプル画像から得られた
複数の部分辞書パターンについての冗長性を評価し、非
冗長とされた部分辞書パターンのみを部分辞書に保持す
ることを特徴とする画像認識方法である。

【００２８】又本発明は、請求項２０の画像認識方法に
おいて、前記辞書作成時に、サンプル画像から得られた
複数の部分辞書パターン金てを保持するのではなく、所
定の間隔ごとに特徴量を示す部分辞書パターンを保持し
ておき、その間の区間については補完する近似関数を使
用し特徴量を補完することを特徴とする画像認識方法で
ある。

【００２９】又本発明は、請求項２０の画像認識方法に
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき前記照合手
段は寄与係数を加味して照合を行なうようにしたことを
特徴とする画像認識方法である。

【００３０】又本発明は、請求項２０の画像認識方法に
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき、前記照合
手段による照合の際には、認識の用途に応じて寄与係数
の分布から認識に有効な部分辞書パターンの集合を選択
して使用するようにしたことを特徴とする画像認識方法
である。

【００３１】又本発明は、請求項２０の画像認識方法に
おいて、辞書データに基づき認識対象画像における各画
素の輝度頻度を求めて保持する輝度頻度辞書を作成し、
画像の認識時には入力画像と前記辞書とを照合するとと
もに、この照合の際には前記輝度頻度辞書と入力画像の
各画素の輝度に基づき入力画像の各画素について信頼度
を加味して照合を行なうことを有することを特徴とする
画像認識方法である。

【００３２】又本発明は、人物の顔画像を含む対象の画
像を取り込む取込工程と、前記取込工程にて取り込んだ
対象画像に関し、この対象画像の所定領域内での輝度の
分布の特異点に基づいて、特徴点を検出する特徴点検出
工程と、予め格納された認識のための特徴点の複数基準
データに関して照合のための有効性を示す複数寄与係数
をそれぞれ算出し格納する寄与係数工程と、前記複数基
準データの冗長性を考慮し、冗長な基準データを削除す
る基準データ削除工程と、前記基準データ削除工程にて
冗長な基準データが削除された際の残りの複数基準デー
タと、前記特徴点検出工程にて検出した特徴点とを、前
記寄与係数工程にて格納している前記寄与係数に基づ
き、前記複数の単位領域ごとに比較し、前記対象画像を
照合する照合工程とを有することを特徴とする画像認識
方法である。

【００３３】

【発明の実施の形態】以下、図面を用いて本発明を詳細
に説明する。以下には、本方式を用いてビデオカメラか
ら入力された画像中に含まれる人物の顔領域を切り出
し、その姿勢を推定し、映像中の人物と辞書登録された
人物との照合を行うための装置の二つの実施形態が示さ
れる。

【００３４】（１）第１の実施形態の概要処理説明 図１は、本装置の実施形態の構成図である。図１におい
て、この人物顔認識装置は、画像入力部１と、これに接
続される画像蓄積部２と、これに接続されるユーザ操作
部１３と、これに接続される辞書作成部１４と、これに
接続される顔領域抽出用輝度頻度辞書７、顔パーツ抽出
用輝度頻度辞書８，照合用輝度頻度辞書９、顔領域抽出
部３、顔切り出し辞書１０、顔パーツ抽出部４、顔パー
ツ辞書１１、照合位置決定部５と、照合部６と、この照
合部６に接続される顔照合辞書１２と、照合部６に接続
される表示部１５とを有している。

【００３５】この人物顔認識装置は、上述の顔切り出
し、姿勢推定、顔照合の動作を行うために、複数撮影環
境下の複数人物での顔画像サンプルから作成した顔切出
辞書１０、目、口などの顔パーツ辞書１１を用いる。

【００３６】図２は、本発明に係る第１実施形態に係る
概略処理のフローチャートであり、以下、図２を用いて
動作を説明する。本実施形態のシステムは、モノクロ、
またはカラーのテレビカメラとＡ／Ｄ変換器とからなる
画像入力部１により数フレームごとに入力されたディジ
タル画像データを一度、画像蓄積部２に格納する（Ｓ１
１）。そして、顔領域抽出部３においては顔領域抽出部
用輝度頻度辞書７に基づき、各画素について顔領域抽出
用輝度信頼度を計算し（Ｓ１３）、この顔領域抽出用輝
度信頼度と顔切出用辞書１０とから、顔領域を抽出する
（Ｓ１５）。

【００３７】更に、顔パーツ抽出部４においては顔領域
内部の顔パーツ用輝度信頼度を計算し（Ｓ１７）、この
輝度信頼度と顔パーツ辞書とから、目、口を抽出する
（Ｓ１９）。更に照合位置決定部５においては、顔パー
ツ領域の位置と入力画像とから照合用画像を生成する
（Ｓ２１）。そして最終的に、照合部６において照合用
画像と登録済み辞書とのパターンマッチングを照合用信
頼度辞書に従って算出する（Ｓ２３）ことで、入力画像
中の人物と辞書内登録人物との照合を行う。

【００３８】つまり、顔領域抽出部３、顔パーツ抽出部
４、照合部６においては、入力画像と顔辞書とのパター
ンマッチングを行うが、その際、本発明の第１実施形態
の特徴である輝度信頼度を用いて、顔画像の辞書データ
のうち、輝度の分布の信頼度が一定水準であるものを中
心にマッチングを行うことで、迅速にしかも一定の認識
精度を確保する人物認識装置を実現するものである。

【００３９】なお、上記において画像入力部１がモノク
ロカメラからの入力を対象とした場合には、画像蓄積部
２は、８ｂｉｔｓのモノクロ階調画像として蓄積し、カ
ラー画像を対象とした場合には入力画像（ＲＧＢ）の色
成分を輝度成分Ｙに変換して蓄積する。このときの変換
式は一般に用いられている以下のようなもので差し支え
ない。

【００４０】 Ｙ＝０．３０・Ｒ＋０．５９・Ｇ＋０．１１・Ｂ (1) 以上が第１実施形態の概要であるが、以下に顔領域抽出
部３、顔パーツ抽出部４、照合位置決定部５、照合部６
の処理について詳細に説明する。

【００４１】（ａ）顔切り出し、照合辞書、顔パーツ辞
書の作成 まず初めに、複数撮影環境、複数人物の顔のサンプル画
像データを収集し、これらから顔が含まれる領域をマウ
スなどからなるユーザ操作部１３によってマニュアルで
切り出し、表示部１５で確認した画像ベクトルをＩi
（ｉ＝１，…Ｐ，Ｐ：全サンプル数）とし、これらのそ
れぞれを一定サイズＮに正規化し、各画像内の照明変動
を正規化した後、主成分分析して固有値の上位Ｋ次元
（ｋ＜Ｎ）を使用し、顔パターンを作成する。このとき
生成された辞書としては、上記主成分分析による固有ベ
クトル（Ｎ次元）を固有値が大なる方からｋ個集めたも
のとなる。

【００４２】ここでサイズについての正規化としては、
正規化画像のサイズが一定となるようにＩi を一定割合
で間引いたものとして良い。また照明変動に対する正規
化としては、本明細書の“従来の問題点”で述べた“画
像ベクトルの大きさによる正規化”（ベクトルの各成分
をベクトルのノルムで割っておく）、“ヒストグラム平
坦化”［１］、“画面内輝度の平面当てはめ”［１］な
どを使用して良い。

【００４３】以上において、辞書作成用サンプル画像デ
ータとして複数撮影環境、かつ各登録者ｊごと（ただし
ｊ＝１，…Ｐj ；ΣＰj ＝Ｐ）のデータのみを使用して
作成したものを顔照合用辞書１２とし、複数撮影環境、
かつ複数人のデータを全て使用して作成したものを顔切
り出し辞書１０とする。

【００４４】顔パーツ辞書１１も同ようにして作成され
るものであるが、サンプル画像としては、顔全体を用い
るのではなく、目、口の領域のみを使用する。 （ｂ）顔領域抽出、顔パーツ抽出 次に、顔領域抽出部３で行う入力画面内の顔位置の検出
について、図２に示すフローチャートに従って説明す
る。顔領域抽出部３では、画像蓄積部２に一時的に蓄積
された画像（原画）について、顔位置の検出が行われ
る。

【００４５】初めに、輝度頻度辞書７から顔領域抽出用
の輝度分布を取得する（Ｓ３１）。そして、原画をある
解像度に縮小した縮小画像を作成する（Ｓ３３）。次
に、縮小画像の画面ごとの顔領域抽出用輝度信頼度を算
出（更新）する（Ｓ３５）。そして、この縮小画像内を
ラスタスキャンして、前述の顔切り出し辞書１１内に蓄
積された特徴ベクトルサイズにしたがって、部分画像を
切り出し、特徴ベクトルとの間のマッチングをとる（Ｓ
３７）。更に、そして縮小率を複数変えた場合におい
て、前述のマッチングの評価がもっとも良いときの位置
を顔領域とする（Ｓ３９、Ｓ４１）。

【００４６】マッチング手法としては、文字や音声のパ
ターン認識手法として一般的なように、辞書内特徴ベク
トルと部分画像ベクトルとについての、内積最大なるも
のを検出するか、距離（例えばユークリッド距離、マハ
ラノビス汎距離等）最小なるものを検出するという方法
を使用して差し支えない。

【００４７】具体的には内積による方法では、 １／｜Ｖ｜ Σ （Ｖ，Ｄｋ） (2) ｋ＝１，Ｋ ただし、Ｖ：切り出し部分画像サイズ正規化画像ベクト
ル、Ｄｋ：顔切り出し辞書の第ｉ固有ベクトルであり、
｜Ｖ｜はＶのノルムである。（Ｖ，Ｄｋ）はＶとＤｋの
内積であるが、両者の次元数をＭ次元とすると （Ｖ，Ｄｋ）＝Σ ｖ（ｉ） × ｄｋ（ｉ） (3) ｉ＝ｌ，Ｍとなる。ただし、ｖ（ｉ），ｄｋ（ｉ）はそ
れぞれのベクトルの第ｉ要素。

【００４８】また距離による方法では、上述のＶと辞書
サンプルベクトルの代表値たとえば上記Ｄ１とをＤｋ
（ｋ＝１，…Ｋ）に射影してそれぞれ射影ベクトルＰ
Ｖ、ＰＤ１を作成し、それらのユークリッド距離１を求
める。

【００４９】ここに ＰＶ（ｋ）＝（Ｖ，Ｄｋ） (3) ′ ただし、ｋ＝１，…Ｋであり、ＰＤ１（ｋ）＝（Ｄ１，
Ｄｋ）である。

【００５０】以上で式（３）、式（３）′においてＶの
各要素は入力画像内から切り出された部分画像を一定サ
イズに正規化して作成した画像の各画素に相当するが、
これらについて後述の輝度頻度辞書から画素ごとに判定
した信頼度を用いて重み付けを行い、輝度として尤もら
しい画素のみを使用してマッチングを行うのが本実施形
態のポイントである。したがって、（３）、（３）′は
以下のようになる。

【００５１】 （Ｖ，Ｄｋ）＝ＰＶ（ｋ）＝Σ ｖ（ｉ）×Ｔ（ｉ）×ｄｋ（ｉ） (3) ″ ｉ＝１，Ｍ ここにＴ（ｉ）は上記信頼度である。上記で各解像度画
像が生成されるごとに輝度信頼度も後述の方法で更新す
る。

【００５２】顔パーツ抽出部４ではパーツとして目、口
を抽出するが、入力画像中で、上記顔領域抽出部３で検
出された顔領域内部に対して、これと同ようなパターン
マッチングを顔パーツ辞書１１を用いて行う。図４は、
顔パーツの抽出処理を示すフローチャートである。図４
において、注目パーツとして左目、右目、口のうちの一
種類を設定する（Ｓ５１）。このとき、目、口というパ
ーツごとに、注目パーツ用の別々の輝度頻度を使用して
信頼度を算出する（Ｓ５３）。そして、顔領域内部で輝
度信頼度と注目パーツ辞書とから、注目パーツを抽出す
る（Ｓ５５）。このようにして全パーツを抽出するまで
（Ｓ５７）、注目パーツを次々と替えていき、注目パー
ツの検出を続ける（Ｓ５９）。

【００５３】（ｃ）輝度頻度辞書の作成と信頼度判定 次に、輝度頻度辞書（７，８，９）の作成とその信頼度
の判定について、以下に述べる。

【００５４】前述の（ａ）のように、複数撮影環境にお
ける複数登録者についてのサンプル画像を収集し、顔領
域として切り出された画像Ｉi （ｉ＝１，…Ｐ，Ｐ：サ
ンプル数）について一定サイズＮに正規化した画像をＪ
i （ｉ＝１，…Ｐ，Ｐ：サンプル数）とする。

【００５５】まず、各Ｊi の各画素点（ｘ，ｙ）ごとに
全サンプルに対する輝度の頻度分布ｈ（ｘ，ｙ，Ｉ）を
作成し、輝度頻度辞書（７，８，９）とする。そして認
識時にはｈ（ｘ，ｙ，Ｉ）と入力部分画像の対応画素Ｉ
（ｘ，ｙ）とから信頼度ｗ（ｘ，ｙ）を算出する。ここ
で輝度頻度辞書としては、顔抽出用７、顔パーツ抽出用
８、顔照合用９として別々のものを以下のように準備す
る。

【００５６】上記のような信頼度の算法としては様々な
ものが考えられるが、たとえば輝度分布ｈ（ｘ，ｙ，
Ｉ）の平均Ｍｈと標準偏差σｈとから信頼度Ｔ（ｘ，
ｙ）を以下のように決定しても良い。

【００５７】 Ｔ（ｘ，ｙ）＝｛１／Σｈ（ｘ，ｙ，Ｉ）｝ × ｈ（ｘ，ｙ，Ｉ） ｉｆ ｜Ｉ−Ｍｈ｜＜α × σ Ｉ＝Ｉmin,…Ｉmax ＝０ ｅｌｓｅ (4) ただし上記でαは信頼度の範囲を決定するための任意の
定数であり、Ｉmax ，Ｉmin は観測画像の輝度値の最大
値と最小値である。

【００５８】また別手法としては文献［２］に示すよう
な事後確率変換による手法を用いても良い。ここで、事
象θ０を信頼できるもの、事象θ１を信頼できないもの
とする。ある部分画像内の画素の輝度を観測する前のθ
０、θ１の事前確率がそれぞれｗ０、ｗ１であるとき
（ただしｗ０＋ｗ１＝１）、事後確率ｗ１′は事象θｋ
のもとでの画素輝度Ｉの条件付き確率をＰ（Ｉ｜θｋ）
とするときベイズの定理から w1′＝｛w1 p(I｜θ1)｝/ ｛p(I ｜θ0)(1-W1)+p(I｜θ1)w1｝ (5) となり、このｗ１′を信頼度として用いる。

【００５９】ここで、顔辞書作成時の切り出し画像の頻
度分布ｈ（ｘ，ｙ，Ｉ）から ｐ（Ｉ｜θ０）＝｛１／Σh(x,y,I)｝ × h(x,y,I) (6) Ｉ＝Ｉmin,…Ｉmaxであり、ｐ（Ｉ｜θ１）は一般にデ
ータサンプルが無いため、 ｐ（Ｉ｜θ１）＝１／（Ｉmax −Ｉmin ） (7) と推定する。また上記は入力画像が更新されるたびにｗ
１＝ｗ１′と更新し、ｗ１の初期値＝１．０／２．０と
してよい。

【００６０】（ｄ）照合位置の決定 照合位置決定部５では、顔領域抽出部３で求められた顔
領域と顔パーツ抽出部４で求められた顔パーツとの関係
から、人の顔として経時変化の少ない領域として顔の目
と口の端が結ぶ四辺形領域を選択し、これが照合辞書１
２での顔パーツの位置に一致するようにアフィン変換や
［３］に示す幾何変換を用いて変形した切り出し領域か
らなる照合用画像を作成する。

【００６１】（ｅ）照合 最後に、図５のフローチャートを用いて照合の手順を説
明する。照合位置決定部５によって作成された照合用画
像について、照合辞書１２と（ｂ）で示したのと同一の
手法によってパターンマッチングを行うが、この際に
は、照合対象としては、照合辞書１２内の登録者ｊごと
の辞書Ｄj となる。

【００６２】つまり、注目登録済み人物の辞書として、
個人ｉのものＤｉを設定する（Ｓ６１）。そして、注目
人物の輝度信頼度を計算する（Ｓ６３）。更に、照合領
域内部で照度信頼度とＤｉとから注目人物との類似度
（距離）を算出する（Ｓ６５）。ここにおいても、切り
出し画像内での各画素について判定した信頼度を用いた
（３）″式に基づいたマッチングを行う。ここで、照合
用画像と辞書Ｄj とのマッチングを行うにあたり、輝度
頻度分布は個人辞書ごとに異なるため、照合用辞書ごと
に異なる分布を使用してもよいし、登録者全体の頻度分
布を１つ作成し、これのみを使用してもよい。

【００６３】更にこのマッチングを全登録者と照合する
までこれを行い（Ｓ６７，Ｓ７１）、最適なマッチング
が行われた人物のＩＤを出力することで、照合が終了す
る（Ｓ６９）。

【００６４】更に、このマッチングの際の信頼度の扱い
方であるが、その方法が少なくとも二つ考えられる。一
つは、信頼度の程度に応じて、この値を係数としこの大
きさに応じてマッチングを行う。つまり、辞書データの
なかで、信頼度の高い単位領域（メッシュ）について
は、原画像と１００％に近いマッチングを行う。一方、
信頼度が低い単位領域（メッシュ）については、低い程
度にマッチングの程度を減らしていくものである。こう
することにより、輝度の程度に応じた、最適なマッチン
グを実現することができる。

【００６５】もう一つは、信頼度に関するしきい値を設
け、この信頼度が一定値以下の値であれば、この信頼度
に関する辞書データの単位領域（メッシュ）について
は、原画像とのマッチングを行わない。一定値以上であ
れば、この辞書データの単位領域（メッシュ）は原画像
とのマッチングを行うというものである。

【００６６】（２）第２の実施形態の概要処理説明 次に、本発明の第２の実施形態について、以下に図面を
用いて詳細に説明する。

【００６７】第１の実施形態の特徴は、辞書データの輝
度に関する信頼度を求め、この信頼度に応じて辞書デー
タを扱うことで、本質的な識別精度を落とすことなく、
マッチングの頻度を減らしていくことで、認識処理の速
度を向上させるものである。

【００６８】一方、第２の実施形態においては、本発明
の第２のポイントとして、辞書データの各単位領域（メ
ッシュ）の内、識別処理に寄与する程度を表す寄与係数
なるものを計算し、これを各辞書データの各単位領域に
対応させてあらかじめ記憶させておく。そして、寄与係
数の低い単位領域については、例えばこれは、画面上の
顔領域以外の、例えば背景の画像がこれに対応するが、
原画像とのマッチングの際に、マッチングの対象としな
いようにして、マッチングに係る時間を短縮化し、認識
処理の迅速化を図るものである。

【００６９】図６は、第２の実施形態の構成図である。
図６において、この人物顔認識装置は、画像入力部１
と、これに接続される画像蓄積部２と、これに接続され
る特徴点抽出部１８と、これに接続される辞書作成部１
９と、これに接続される辞書再評価部２０と、これに接
続される部分特徴辞書２３と、これに接続される顔領域
抽出部２１と、これに接続される顔姿勢推定部２２と、
これに接続される照合部６と、辞書作成部１９に接続さ
れる顔領域抽出用寄与係数２４、顔姿勢推定用寄与係数
２５、照合用寄与係数２６と、更に辞書作成部１９に接
続される顔領域抽出用輝度頻度辞書２７、顔姿勢推定用
輝度頻度辞書２８、照合用輝度頻度辞書２９と、照合部
６０に接続される表示部３１と、これに接続されるユー
ザ操作部３０とをそれぞれ有する。

【００７０】このような構造において、第２の実施形態
の人物顔認識装置は、顔領域抽出、顔姿勢推定、照合の
各用途ごとに各辞書内射影データの認識有効性を示す寄
与係数が辞書作成部１９により作成される。更に、この
寄与係数の程度に応じて、辞書データの単位領域（メッ
シュ）が、識別のためのマッチングに使用されたり、使
用されなかったりして、実質的な識別精度を保持しなが
ら、照合処理の迅速化を図るものである。

【００７１】以下、第２の実施形態の処理の動作と、そ
の他の本発明のポイントを、図７，図８のフローチャー
トを用いて説明する。本実施形態のシステムは、モノク
ロ、またはカラーのテレビカメラとＡ／Ｄ変換器とから
なる画像入力部１６により数フレームごとに入力された
ディジタル画像データを一度、画像蓄積部１７に格納し
（Ｓ７１）、特徴点抽出手段１８で得られた特徴点周囲
の画像を切り出し、辞書作成手段１９によって前述の辞
書２３，２７，２８，２９を作成する。

【００７２】まず、画像入力部１６により数フレームご
とに入力されたデジタル画像を入力し画像蓄積部１７に
格納する。更に、本発明の第３ポイントとして、顔切り
出し、姿勢推定、顔照合の動作を行うために、特徴点抽
出部１８により、複数撮影環境下の複数人物での顔画像
サンプルから認識に有効な特徴点の抽出を効率的に行な
う（Ｓ７３）。そして、辞書作成部１９においては、特
徴点の近傍の小領域を窓としてもち、それら窓画像を主
成分分析した部分空間と、各窓をその空間へ射影した射
影ベクトルとを辞書２４として作成する（Ｓ７５）。こ
の方式によれば、入力画像に対しても同ような窓領域内
画像の前記部分空間への射影を計算し、それらと辞書内
射影とのマッチングを用いることで、認識時の顔画像の
部分的照明変動や他の物体による顔領域の一部の隠れに
対しても、誤認識の発生を抑制することができる。

【００７３】更に本発明の第４ポイントとして、辞書再
評価部２０において辞書内射影データの冗長性の評価と
圧縮を行う。つまり、辞書データ内に射影データが繰り
返し同様のパターンを描いて存在している場合、原画像
とのマッチングを行う際に、比較の意味があまりないよ
うなデータ、冗長性の高いデータを削除することで、辞
書データを削減し、これによりマッチング速度を向上さ
せていく（Ｓ７７）。

【００７４】次に本発明の第５ポイントとして上げられ
る、各サンプル内部の画像射影変動の近似関数表現を行
い、これにより、辞書データの効率的な削減を行う（Ｓ
７９）。つまり、辞書データが、近似関数により表すこ
とができる場合、これを近似関数に表すことで、データ
量を大幅に削減することができる。これにより、マッチ
ング速度を非常に向上させることができる。

【００７５】このような画像サンプルをマニュアルで用
途ごとに分類する（Ｓ８１）。そして、辞書作成部１９
においては、初めに上げた本発明の第２ポイントとして
の特徴である、寄与係数の算出を行う。つまり、辞書デ
ータの各単位領域（メッシュ）の内、識別処理に関与す
る程度を表す寄与係数を計算し、これを各辞書データの
各単位領域に対応させてあらかじめ記憶させておく（Ｓ
８３）。そして、寄与係数の低い単位領域については、
例えばこれは、画面上の顔領域以外の、例えば背景の画
像がこれに対応するが、原画像とのマッチングの際に、
マッチングの対象としないようにして、マッチングに係
る時間を短縮化し、認識処理の迅速化を図るものであ
る。

【００７６】そして、本発明の第６ポイントとして、全
辞書サンプルに対する統計分布からしきい値以上に寄与
係数の高いもののみを選択してマッチングに使用するこ
とで、処理速度向上を図るものである（Ｓ８５）。

【００７７】次に入力画像に対して、特徴点抽出部１８
で抽出された特徴点周囲の部分画像と辞書内射影データ
とのマッチングの結果から、顔領域推定部２１、顔姿勢
推定部２２、照合部２３において、顔が画面内のどこに
存在し、どういう向きで、だれの顔であるかを求める。
これらの各処理においては前述の辞書内の寄与係数にし
たがった重み付をおこなったマッチングを用いる。

【００７８】又、以上のマッチングにおいて、更に、本
発明の第７ポイントとして、第１の実施形態と同ような
手法を適用して、辞書作成部１９により輝度頻度を算出
し輝度頻度辞書（２７，２８，２９）に記憶しておく。
そして、輝度頻度分布に基づいた信頼度を算出して利用
することにより、辞書データの非常に洗練されたマッチ
ングが実現され、認識精度を保持したまま認識速度のみ
が向上することとなる。

【００７９】なお、第１の実施形態と同ように、画像入
力部１がモノクロカメラからの入力を対象とした場合に
は、画像蓄積部２は、８ｂｉｔｓのモノクロ階調画像と
して蓄積し、カラー画像を対象とした場合には入力画像
（ＲＧＢ）の色成分を（１）式にしたがって、輝度成分
Ｙに変換して蓄積する。

【００８０】次に図８は、顔画像の認識を行う際の動作
を説明したフローチャートであり、まず入力部１６によ
り認識たいそう画像である顔画像を画像蓄積部１７に記
憶し（Ｓ９１）、次に特徴点抽出部１８において、入力
顔画像内の特徴点を抽出して、その周囲の部分画像を切
り出す（Ｓ９３）。更に、顔領域抽出部においては切り
出された部分画像と辞書データとの間のマッチングが行
われ、顔領域が推定される（Ｓ９５）。この際には、顔
領域抽出用寄与係数２４及び顔領域抽出用輝度頻度辞書
２７に基づく輝度頻度を併用して顔領域が推定される。
更に顔姿勢推定用係数２５と顔姿勢推定用輝度頻度辞書
２８に基づき算出された輝度信頼度とに基づく部分画像
と辞書２３とのマッチングが行われ、顔姿勢が推定され
る（Ｓ９７）。

【００８１】さらに照合部６０においては、照合用寄与
係数２６と照合用輝度頻度辞書に基づき算出された輝度
信頼度とに基づき部分画像と辞書２３とのマッチングが
行われて、顔画像がだれであったのかが判定される（Ｓ
９９）。

【００８２】次に、上述した処理のうち「特徴点の抽
出」、「辞書の構築と圧縮」、「マッチング方法」の細
部を説明する。以上、第２の実施形態の処理動作の概要
を説明した。

【００８３】（ａ）入力画像からの特徴点抽出 更に、本発明の第３ポイントである、画像の特徴部分を
抽出することにより、画像認識を行う工程について、以
下に詳細に説明する。特徴点抽出部１８は本発明の第３
ポイントとして、以下の方法で画像内から認識に有効な
特徴を抽出する。

【００８４】入力画像と辞書画像のマッチング、および
連続フレーム間でのマッチングなどを行う際に、ある領
域を選択してその周囲をテンプレートとすることが一般
的である。この理由の１つは高速化のためであるが、も
う１つは、対象物に相当する全画素を追跡処理対象とし
た場合にくらべ、よりマッチング（主として距離や相関
による）に有効な点、すなわち他の点と区別が付くよう
な点を選択するためである。このようなものとして画像
内のエッジが良く知られている。

【００８５】ここではそのようなテクスチャ特異な有効
特徴を求めるために［４］の有効特徴点抽出手法を用
い、これに前処理を施すことで高速化する。辞書作成用
画像や認識用入力画像全面について、［４］の処理を行
う場合、各画素点についての２×２行列の固有値を求め
る必要があり、処理コストがかかる。そこで、あらかじ
め全処理領域内テクスチャが幾何学的に特徴的である点
として後述の方法でコーナー点を抽出し、有効特徴点抽
出領域をコーナー点近傍のみに限定する。

【００８６】以下の処理の工程を図９に基づき説明す
る。ここにおいてのコーナ検出は経験的に良い特徴量だ
とされるエッジを５×５画素のマスクサイズ内において
評価してコーナ点を判定する。

【００８７】まず、画像入力部１６により画像を入力し
たら（Ｓ１０１）、あらかじめ原画にｓｏｂｅｌ［５］
をかけ、判別分析２値化［６］を行う（Ｓ１０３）。そ
して、この画像中の各画素について、注目画素が１の場
合に図１０（ａ）のマスクによるｃｏｎｖｏｌｕｔｉｏ
ｎをとる。そして結果の画素値ｐの値によって、注目点
が“＋”型分岐点に近いか“×”型分岐点に近いかを判
定する。ここでは、以下のように場合分けした。

【００８８】 ｐ≧２×最大画素値 → “＋”型分岐点 ｐ≦−２×最大画素値 → “×”型分岐点 上記以外 → コーナー候補ではない 次に“＋”型、“×”型それぞれについて、図１０
（ｂ）のマスクによる場合分けで上記と同ようにして、
コーナー点を求める（Ｓ１０５）。すなわち“＋”型の
ときは以下のように場合分けし、 −最大画素値 ≦ｐ＜最大画素値 → コーナー点 上記以外 → コーナー点でない “×”型分岐点の場合は −最大画素値 ≦ｐ＜最大画素値 → コーナー点 上記以外 → コーナー点でない と場合分けする。

【００８９】最後にコーナと判定された注目点ｐ（ｘ，
ｙ）の周囲領域Ｗ内について次式にしたがって特徴点を
判定する（Ｓ１０７）。まず以下のＧｒａｄｉｅｎｔ
ｍａｔｒｉｘ Ｇを求める。

【００９０】 Ｇ＝Σ（ｇｘ^* ｇｘ ｇｘ^* ｇｙ）＝（ａ ｂ） (8) Ｗ（ｇｙ^* ｇｘ ｇｙ^* ｇｙ） （ｃ ｄ） 次にＧの固有値λ＋、λ−を求め、そのうちの大きい方
を注目点の画素値とする。上記処理を処理領域の全画素
について行った後、ある閾値λｔについて λ＞λｔ (9) なる画素値の部分を有効特徴点として抽出する。このと
きの閾値は、処理領域内部の各画素値について判別分析
によって求めたものを使用する。

【００９１】（ｂ）辞書の構築と圧縮 辞書作成部１９では、各顔画像サンプルについて、前節
（２）（ａ）の方法で抽出された認識有効特徴点の周囲
Ｗ×Ｈ画素の領域内部の部分画像を切り出し、それらを
主成分分析し、その内の第Ｋ固有ベクトルまでを求めた
行列（辞書空間行列）と、その空間への全顔サンプルに
ついての全部分画像ベクトルの射影とを求めて、辞書と
する。

【００９２】しかし、サンプル数が多い場合には上記辞
書は膨大になるため、上記した本発明の第４ポイント、
第５ポイントに従って、辞書容量を削減していく。ま
ず、本発明の第４ポイントとしての方法では、あるサン
プル画像Ｉ内部の各部分画像Ｗi （ｉ＝１，…ＮＩ）の
辞書空間への射影Ｐi を求め、他サンプル画像Ｊ（Ｊ≠
Ｉ）内の部分画像のうち、その射影とＰi との距離が最
小なるものｗj とその距離Ｐj を求める。これによっ
て、ｗj の属するサンプル画像が求められるため、画像
Ｉ内の部分画像Ｗi とマッチする他サンプル画像の頻度
分布が得られる。このとき、頻度分布最大なる他サンプ
ル画像Ｊmax が画像Ｉとマッチしたと定義する。またこ
のときのＩとＪmax との距離Ｄijを以下で定義する。

【００９３】 Ｄij＝１／ｊ Σ ｜Ｐi −Ｐj ｜ (10) ｊ＝１，…Ｋ ただし、Ｐj ：画像Ｊ内の部分画像のうち、画像Ｉ内の
部分画像と射影距離が最小となるもの、Ｋ：その数であ
る。また距離としてはユークリッド距離や絶対値距離を
用いて良い。

【００９４】以上を全サンプルについて計算した結果の
テーブルの例を図１１に示す。これらの距離（図中のＤ
12〜Ｄnn-1）の頻度分布を作成し、頻度分布の分散比を
最大にするように判別分析法［６］を適用して閾値を求
める。このとき閾値より距離が近かったサンプル画像内
の部分画像については、その射影を辞書から除外する。

【００９５】また本発明の第５ポイントとしての方法で
は、第３項の方法でサンプル画像単位で辞書削減を行っ
た後に適用するものとする。まず、辞書作成用の顔画像
サンプルをある個人について、あるパラメータ例えば照
明や方向の変動の順番にソートする。このようにすると
一般にとなりあうサンプル画像間内の部分画像の射影同
士も連続する。

【００９６】次に上述のサンプル画像の全部分画像につ
いて、各部分画像間での射影距離を求めるが、もし、あ
る部分画像ｗi からみたときに他の部分画像ｗj が最短
距離にあった場合に、同時にｗj からの最短距離部分画
像がｗi であるときには、両者を類似と見なす。そし
て、隣接するサンプル画像列中の部分画像ｗi1，ｗi2，
ｗi3，…ｗinが類似していた場合、これらをまとめて近
似関数で表現し、辞書サイズを削減する。近似関数とし
ては、よう々なものが考えられるが［７］などに用いら
れているキュービックスプラインなどを用いて良い。

【００９７】さらに辞書作成部１９では、本発明の第２
ポイントとして、各部分辞書パターンについて、顔抽出
姿勢推定、照合の用途に応じて、有効な認識のための寄
与係数を辞書サンプルから作成し、認識時に各用途ごと
に部分辞書パターンの認識結果への影響の仕方を調整可
能とする。以下に、寄与係数の算出方法の例をあげる。

【００９８】まず用途ごとにそろえた複数サンプルにつ
いての、前述の特徴点画像を求める。この画像の輝度分
布がサンプル画像内で特異性を示すため、最適認識のた
めには、その特徴点近傍部分画像における、その用途で
の認識寄与は高くあるべきである。そこで、前記特徴点
画像を用途サンプルごとに主成分分析して、上位Ｋ個の
固有値Ｐi 、固有ベクトルＶi （ｉ＝１…ｎ）を抽出し ΣＰi × Ｖi (11) ｉ＝１，ｋにより用途ごとの重み画像を作成する。

【００９９】最後に、各サンプル画像Ｉを上記重み画像
に重ね会わせたときの各部分画像ｗi 領域内の重み画素
値の総和Ｓによって以下のように各部分画像ごとの寄与
係数Ｃwiを算出する。

【０１００】 Ｃwi＝Ｓ／Ｐmax （１２） ここにＰｍａｘ は上記重み画像内の最大画素値であ
る。なお用途ごとのサンプルとしては、例えば以下のよ
うにする。

【０１０１】顔領域推定の場合：各サンプル画像の特徴
画像で顔領域外の値を０としたもの 顔姿勢推定 ：同上 顔照合 ：個人ごとのサンプル画像集合につい
て、特徴画像を作成したもの この場合には個人辞書ごとに個別寄与係数を作成 また上記では、用途ごとの寄与係数によって、用途に応
じて、冗長性の高い部分画像辞書の認識処理への影響を
なるべく少なくし、精度を向上するのが目的であるが、
さらに寄与の低い部分画像辞書でのマッチングによる処
理時間増大を防ぐためには、本発明の第６ポイントとし
て既に述べたように、これら係数の分布から閾値を統計
的に決定し、その閾値以下の寄与係数の部分画像辞書は
使用しなければ良い。このために、例えば、上述の部分
画像辞書ごとに求められた寄与係数の頻度分布をとり、
判別分析法［６］により閾値ＣＴを求め、各部分画像辞
書ごとに与えられた寄与係数Ｃwiについて Ｃwi＜ＣＴ (13) なる部分画像辞書はマッチングに使用しない。

【０１０２】（ｃ）マッチング方法 顔領域推定部２１、顔姿勢推定部２２、照合部２３、に
おいては、入力画像内について以下の手順でマッチング
を行う。

【０１０３】工程１：入力画像内から部分画像を抽出
し、それらの各々について、辞書内に登録された部分画
像辞書うち類似度最小なるものを求める（マッチン
グ）。 工程２：上記のマッチング部分辞書パターンの含まれる
サンプル用画像のうち、最も出現頻度の高いものＩとそ
のときの頻度Ｈを求める。

【０１０４】工程３：信頼度Ｔ＝（最大出現頻度Ｈ／入
力画像内の全局所ウインドウ数）を求める。 工程４：上記Ｉに相当する局所ウインドウについて、辞
書から座標のシフトをそれぞれ求め、その投票演算から
シフト量の頻度最大なるウインドウを選びそれらと辞書
からのアフィン変換を求める。

【０１０５】上記において、工程１，工程２，工程３の
処理を照合部２３が行い、また、工程１〜工程４を顔姿
勢推定部２２が行う。最後に顔領域推定部２１におい
て、工程１〜工程４に続いて、サンプル画像Ｉでの顔画
像領域に対して、上述のアフィン変換を施し、入力画像
内での顔領域を推定する。

【０１０６】なお、上記でのＩを推定値とし、推定信頼
度Ｔとアフィン変換係数によってリジェクトを行う。以
上で工程１においては、全節で述べた用途ごとの寄与係
数Ｃを用い、（３）″と同ように部分画像Ｉi の辞書空
間への射影Ｐi （ｋ）を求めると寄与係数を考慮したマ
ッチングが行える。

【０１０７】 Ｐi （ｋ）＝Σ Ｉ（ｊ） × Ｃ（ｉ） × ｄｋ（ｊ） (14) ｊ＝１，Ｍ ただし、Ｍは部分画像ベクトルの次元数、Ｃ（ｉ）は部
分画像Ｉi の寄与係数、ｄｋ（ｊ）は辞書空間の第ｋ固
有ベクトルのｊ番要素である。

【０１０８】さらに本発明の第７ポイントとしての輝度
の信頼度を（１）（ｃ）と同ように求め、認識時に入力
画像から、上記と同ように部分画像を切り出し、その領
域内の各座標（ｘ，ｙ）に対して（４）式のＴ（ｘ，
ｙ）や（５）式のｗ１′のように求め、それをＴ（ｉ）
とすると、 Ｐi （ｋ）＝Σ Ｉ（ｊ）×Ｃ（ｉ）×ｄｋ（ｊ）×Ｔ（ｉ） (15) ｊ＝１，Ｍのようにすることで、用途ごとの認識寄与に
加え、輝度の信頼度を考慮したロバストな認識が可能と
なる。

【０１０９】以上、本発明の人物認識装置によれば、以
下の効果が考えられる。つまり、入退出管理、ＡＴＭ機
器や券売機などの社会システムでの個人照合、およびパ
ソコン等ＯＡ機器のパスワードといった分野において、
非接触でユーザに負担の少ない個人照合部のニーズがあ
るが、その際にあまり特殊な装置を使用しないものとし
て画像認識よる方法が提案されているが従来装置では画
像認識では照明変動が少なくない環境では正確な認識が
困難であるという欠点がある。一方、本発明によれば、
辞書作成サンプル画像内の輝度分布の信頼性を入力画像
内の各画素輝度について検証し、輝度について信頼性の
高い画素、またはその周辺の画素のみを認識に利用する
ことで、輝度の大きな変化があっても安定な認識を行う
ことを可能とする。

【０１１０】また、顔辞書として顔のある領域全体の画
像とするのではなく、顔画像に含まれる部分特徴領域近
傍の部分領域を用いて作成し（部分辞書パターン）、そ
れらのマッチング結果を総合判定することによって多少
の輝度変動や、他物体による隠れなどによる変動を吸収
することができる。

【０１１１】この際、前記部分辞書パターンのデータサ
イズが大きくなって、本手法を実現するための装置規模
が大きくなることが問題となる。しかし、辞書作成サン
プル画像ごとの冗長性を統計的に評価して冗長なパター
ンを除去したり、特徴量変化が連続するようなサンプル
間においては、各部分辞書パターンも、それ自身ではな
く補完関数で近似して保持するなどにより辞書サイズを
小さくできる。

【０１１２】さらに顔抽出、姿勢推定、照合という各処
理に応じて、最適な部分パターンの寄与を考慮して使用
することにより、認識の精度と処理時間との両面から顔
認識性能を著しく向上することが可能となる。

【０１１３】なお、参考文献を以下に示す。 [1]K.Sung and T.Poggio.,Example-based Learning for
View-based Human FaceDetection. In Proceedings fr
om Image Understanding Workshop,pp.843-850,Novembe
r 1994. [2] 中井：事後確率を用いた移動物体検出手法，情処研
報，94-CV-90,pp.1-8,1994 [3] 山口、福井、前田、動画像を用いた顔認識システ
ム、信学技報、PRMU97-50,pp17-23,(1997) [4]Shi,Tomasi,Good Features to Track,IEEE Conferen
ce on Computer Visionand Pattern Recognition(CVPR9
4)Seattle,June 1994 [5] 高木、下田、“画像解析ハンドブック”、東京大学
出版会、pp.553-554、1991 [6] 大津、判別および最小二乗基準に基づく自動しきい
値選定法、信学論、Vol.J63-D,No.4,pp.349-356,1980 [6] 高木、下田：画像解析ハンドブック PP.578 [7] 村瀬、ネイヤー、“多重解像度と固有空間表現によ
る３次元物体のイメージスポッティング、情処論、Vol.
36 No.10,pp2234-2243,Oct,1995

【０１１４】

【発明の効果】以上、詳細に説明したとおり、本発明に
よれば、顔画像の認識処理を行うための辞書データに対
して輝度に関する信頼度を求め、これを関連づけて格納
しておくことで、認識処理の際に、例えば辞書データが
作成された際の照明が不適当な場合の認識にあまり適さ
ない辞書データの単位領域（メッシュ）に対しては、カ
メラからの原画像とのマッチング処理に用いず、又は用
いても低い程度でのマッチング処理を行う。これによ
り、確実な認識を実現するメッシュに関してはマッチン
グを確実に行い、信頼度の低いメッシュは省略等するこ
とで、全体として、識別精度を保持しながら、迅速な人
物の顔画像の識別処理を実現することができる。

【０１１５】又更に、辞書データの単位領域（メッシ
ュ）それぞれにつき、マッチング処理にどれ程寄与する
かという観点から、寄与係数をそれぞれ設け、マッチン
グの際には、この寄与係数に応じて有効な複数メッシュ
を選択的に基準としてマッチングを行う。これにより、
識別精度を保持しながら、辞書データを削減することに
よって、迅速な人物の顔画像の識別処理を実現すること
ができる。

【図面の簡単な説明】

【図１】本方法の第１実施形態に係る全体構成図。

【図２】本発明の第１実施形態に係る概略処理のフロー
チャート。

【図３】本発明の第１実施形態に係る顔領域抽出のフロ
ーチャート。

【図４】本発明の第１実施形態に係る顔パーツの抽出の
フローチャート。

【図５】本発明の第１実施形態に係る顔照合処理のフロ
ーチャート。

【図６】本方法の第２実施形態に係る全体構成図。

【図７】本発明の第２実施形態での辞書作成のフローチ
ャート。

【図８】本発明の第２実施形態での認識のフローチャー
ト。

【図９】本発明の第２実施形態に係る特徴点抽出手法。

【図１０】本発明の第２実施形態に係るコーナー抽出マ
スク。

【図１１】本発明の第２実施形態に係るサンプル画像間
の距離例。

【符号の説明】

１…画像入力部 ２…画像蓄積部 ３…顔領域抽出部 ４…顔パーツ抽出部 ５…照合位置決定部 ６…照合部 ７…顔領域抽出用輝度頻度辞書 ８…顔パーツ抽出用輝度頻度辞書 ９…照合用輝度頻度辞書 １０…顔切り出し辞書 １１…顔パーツ辞書 １２…顔照合辞書 １３…ユーザ操作部 １４…辞書

Claims (27)

【特許請求の範囲】
1. 【請求項１】認識対象画像の認識を行なう画像認識装置
   において、 認識対象画像を入力する画像入力手段と、 この入力手段にて入力された認識対象画像から照合用の
   辞書を作成する辞書作成手段と、 この作成手段にて作成した複数の辞書データに基づき認
   識対象画像における各画素の輝度頻度を求めて保持する
   輝度頻度辞書と、 認識対象画像の認識時には入力画像と前記作成手段にて
   作成された辞書とを照合するとともに、この照合の際に
   は前記輝度頻度辞書と入力画像の各画素の輝度に基づき
   入力画像の各画素について信頼度を加味して照合を行な
   う照合手段とを有することを有することを特徴とする画
   像認識装置。
2. 【請求項２】請求項１に記載の画像認識装置において、
   前記照合手段は前記輝度頻度辞書に基づき認識対象画像
   として尤もらしくない画素については照合に用いないよ
   うにしたことを特徴とする画像認識装置。
3. 【請求項３】請求項１に記載の画像認識装置において、
   前記照合手段は前記輝度頻度辞書に基づき認識対象画像
   として尤もらしくない画素については照合結果に対する
   寄与度を低くするようにしたことを特徴とする画像認識
   装置。
4. 【請求項４】請求項１に記載の画像認識装置において、
   前記輝度頻度辞書は前記作成手段による辞書データ作成
   時の切出し画像の輝度頻度を求めて保持する顔領域抽出
   用輝度頻度辞書を有し、前記抽出手段は前記輝度頻度辞
   書に基づき認識対象画像の切出しを行なう顔領域抽出手
   段を有することを特徴とする画像認識装置。
5. 【請求項５】請求項４に記載の画像認識装置において、
   前記辞書作成手段は、認識対象画像中の特定領域のパー
   ツ画像に関するパーツ辞書を作成し、前記前記輝度頻度
   辞書は前記作成手段によるパーツ辞書作成時のパーツ画
   像の輝度頻度を求めて保持する類パーツ抽出用輝度頻度
   辞書を有し、前記抽出手段は前記輝度頻度辞書に基づき
   前記顔領域抽出手段にて抽出された認識対象画像から類
   パーツ画像の切出しを行なう類パーツ抽出手段を有する
   ことを特徴とする画像認識装置。
6. 【請求項６】請求項５に記載の画像認識装置において、
   前記辞書作成手段は認識対象画像中の特定領域の認識対
   象画像に関する顔照合辞書を作成し、前記前記輝度頻度
   辞書は前記作成手段による顔照合辞書の認識対象画像の
   輝度頻度を求めて保持する顔照合用輝度頻度辞書を有
   し、前記抽出手段は類パーツ抽出手段にて抽出された類
   パーツ画像との関係から入力画像中の特定領域の認識対
   象画像を照合用画像として選択する照合位置決定手段を
   有し、前記照合手段は顔照合辞書と照合用画像とを照合
   する際に前記顔照合用輝度頻度辞書に基づき基づき認識
   対象画像として尤もらしい画素を用いて照合を行なうよ
   うにしたことを特徴とする画像認識装置。
7. 【請求項７】認識対象画像の認識を行なう画像認識方法
   において、入力された認識対象画像から照合用の辞書を
   作成し、この作成した複数の辞書データに基づき認識対
   象画像における各画素の輝度頻度を求めて保持してお
   き、認識対象画像の認識時には入力画像と前記辞書とを
   照合するとともに、この照合の際には前記輝度頻度辞書
   と入力画像の各画素の輝度に基づき入力画像の各両素に
   ついて信頼度を加味して照合を行なうようにしたことを
   特徴とする画像認識方法。
8. 【請求項８】請求項７に記載の画像認識方法において、
   前記入力画像と前記辞書とを照合する際には前記輝度頻
   度辞書に基づき認識対象画像として尤もらしくない画素
   については照合に用いないようにしたことを特徴とする
   画像認識装置。
9. 【請求項９】請求項７に記載の画像認識方法において、
   前記入力画像と前記辞書とを照合する際には前記輝度頻
   度辞書に基づき認識対象画像として尤もらしくない画素
   については照合結果に対する寄与度を低くするようにし
   たことを特徴とする画像認識装置。
10. 【請求項１０】認識対象画像の認識を行なう画像認識方
    法において、入力された画像から認識対象画像領域を切
    出し、切出された認識対象画像領域の画像中の特定領域
    の認識対象画像から照合用の顔照合辞書を作成し、かっ
    切出された認識対象画像領域における各画素の輝度頻度
    を求めて顔領域抽出用輝度頻度辞書を作成し、認識対象
    画像の認識時には入力画像中の画像のうち前記輝度頻度
    に基づき認識対象画像として尤もらしい領域を認識対象
    画像として抽出し、この抽出された認識対象画像中の特
    定領域の認識対象画像から照合用画像を選択して前記顔
    照合辞書と照合するようにしたことを特徴とする画像認
    識方法。
11. 【請求項１１】請求項１０に記載の画像認識装置におい
    て、前記顔照合辞書を作成する際に、認識対象画像中の
    特定領域のパーツ画像に関するパーツ辞書を作成すると
    ともに、パーツ辞書作成時のパーツ画像の輝度頻度を求
    めてパーツ抽出用輝度頻度辞書を作成し、前記顔照合辞
    書と入力画像との照合を行なう場合には、前記顔領域抽
    出用輝度頻度辞書に基づき抽出された認識対象画像から
    パーツ抽出用輝度頻度辞書及びパーツ辞書に基づき入力
    画像から特定領域のパーツ画像を抽出し、抽出されたパ
    ーツ画像の位置関係から照合用画像を入力画像から選択
    して前記顔照合辞書と照合するようにしたことを特徴と
    する画像認識方法。
12. 【請求項１２】請求項１０に記載の画像認識方法におい
    て、前記顔照合辞書を作成する際に、顔照合辞書の認識
    対象画像の輝度頻度を求めて保持する顔照合用輝度頻度
    辞書を作成有し、前記顔照合辞書と照合用画像とを照合
    する際には前記顔照合用輝度頻度辞書に基づき認識対象
    画像として尤もらしい画素を用いて照合を行なうように
    したことを特徴とする画像認識方法。
13. 【請求項１３】認識対象画像の認識を行なう画像認識装
    置において、 認識対象画像を入力する画像入力手段と、 この入力手段にて入力されたサンプル画像から特徴点を
    抽出する特徴点抽出手段と、 この特徴点抽出手段にて抽出された各特徴点近傍の部分
    画像の特徴量を表す部分辞書パターンを形成して各特徴
    点の部分辞書を作成する辞書作成手段と、 認識対象画像の認識時には前記入力手段にて入力された
    入力画像から前記特徴点抽出手段にて各特徴点を抽出し
    て各特徴点近傍の部分画像から得られた特徴量と前記部
    分辞書の部分辞書パターンとの照合を行なう照合手段と
    を有することを特徴とする画像認識装置。
14. 【請求項１４】請求項１３の画像認識装置において、前
    記特徴点抽出手段は認識対象画像中の小領域内における
    輝度変化が特異な点又は輝度の幾何学的変化が特異な点
    を特徴点として抽出することを特徴とする画像認識装
    置。
15. 【請求項１５】請求項１３の画像認識装置において、前
    記辞書作成手段による辞書構築時に、サンプル画像から
    得られた複数の部分辞書パターンについての冗長性を評
    価し、非冗長とされた部分辞書パターンのみを部分辞書
    に保持することを特徴とする画像認識装置。
16. 【請求項１６】請求項１３の画像認識装置において、前
    記辞書作成手段による辞書構築時に、サンプル画像から
    得られた複数の部分辞書パターン金てを保持するのでは
    なく、所定の間隔ごとに特徴量を示す部分辞書パターン
    を保持しておき、その間の区間については補完する近似
    関数を使用し特徴量を補完することを特徴とする画像認
    識装置。
17. 【請求項１７】請求項１３の画像認識装置において、各
    部分辞書パターンに対して用途に応じて認識に寄与する
    寄与係数を作成して保持しておき前記照合手段は寄与係
    数を加味して照合を行なうようにしたことを特徴とする
    画像認識装置。
18. 【請求項１８】請求項１３の画像認識装置において、各
    部分辞書パターンに対して用途に応じて認識に寄与する
    寄与係数を作成して保持しておき、前記照合手段による
    照合の際には、認識の用途に応じて寄与係数の分布から
    認識に有効な部分辞書パターンの集合を選択して使用す
    るようにしたことを特徴とする画像認識装置。
19. 【請求項１９】請求項１３の画像認識装置において、辞
    書データに基づき認識対象画像における各画素の輝度頻
    度を求めて保持する輝度頻度辞書を有し、画像の認識時
    には入力画像と前記作成手段にて作成された辞書とを照
    合するとともに、この照合の際には前記輝度頻度辞書と
    入力画像の各画素の輝度に基づき入力画像の各画素につ
    いて信頼度を加味して照合を行なう照合手段とを有する
    ことを有することを特徴とする画像認識装置。
20. 【請求項２０】入力された認識対象画像の認識を行なう
    画像認識方法において、入力されたサンプル画像から特
    徴点を抽出し、この抽出された各特徴点近傍の部分画像
    の特徴量を表す部分辞書パターンを形成して各特徴点の
    部分辞書を作成しておき、認識対象画像の認識時には入
    力された入力画像から前記特徴点を抽出して各特徴点近
    傍の部分画像から得られた特徴量と前記部分辞書の部分
    辞書パターンとの照合を行なうようにしたことを特徴と
    する画像認識方法。
21. 【請求項２１】請求項２０の画像認識方法において、前
    記特徴点抽出においては認識対象画像中の小領域内にお
    ける輝度変化が特異な点又は輝度の幾何学的変化が特異
    な点を特徴点として抽出することを特徴とする画像認識
    方法。
22. 【請求項２２】請求項２０の画像認識方法において、前
    記辞書作成時に、サンプル画像から得られた複数の部分
    辞書パターンについての冗長性を評価し、非冗長とされ
    た部分辞書パターンのみを部分辞書に保持することを特
    徴とする画像認識方法。
23. 【請求項２３】請求項２０の画像認識方法において、前
    記辞書作成時に、サンプル画像から得られた複数の部分
    辞書パターン金てを保持するのではなく、所定の間隔ご
    とに特徴量を示す部分辞書パターンを保持しておき、そ
    の間の区間については補完する近似関数を使用し特徴量
    を補完することを特徴とする画像認識方法。
24. 【請求項２４】請求項２０の画像認識方法において、各
    部分辞書パターンに対して用途に応じて認識に寄与する
    寄与係数を作成して保持しておき前記照合手段は寄与係
    数を加味して照合を行なうようにしたことを特徴とする
    画像認識方法。
25. 【請求項２５】請求項２０の画像認識方法において、各
    部分辞書パターンに対して用途に応じて認識に寄与する
    寄与係数を作成して保持しておき、前記照合手段による
    照合の際には、認識の用途に応じて寄与係数の分布から
    認識に有効な部分辞書パターンの集合を選択して使用す
    るようにしたことを特徴とする画像認識方法。
26. 【請求項２６】請求項２０の画像認識方法において、辞
    書データに基づき認識対象画像における各画素の輝度頻
    度を求めて保持する輝度頻度辞書を作成し、画像の認識
    時には入力画像と前記辞書とを照合するとともに、この
    照合の際には前記輝度頻度辞書と入力画像の各画素の輝
    度に基づき入力画像の各画素について信頼度を加味して
    照合を行なうことを有することを特徴とする画像認識方
    法。
27. 【請求項２７】人物の顔画像を含む対象の画像を取り込
    む取込工程と、 前記取込工程にて取り込んだ対象画像に関し、この対象
    画像の所定領域内での輝度の分布の特異点に基づいて、
    特徴点を検出する特徴点検出工程と、 予め格納された認識のための特徴点の複数基準データに
    関して照合のための有効性を示す複数寄与係数をそれぞ
    れ算出し格納する寄与係数工程と、 前記複数基準データの冗長性を考慮し、冗長な基準デー
    タを削除する基準データ削除工程と、 前記基準データ削除工程にて冗長な基準データが削除さ
    れた際の残りの複数基準データと、前記特徴点検出工程
    にて検出した特徴点とを、前記寄与係数工程にて格納し
    ている前記寄与係数に基づき、前記複数の単位領域ごと
    に比較し、前記対象画像を照合する照合工程と、 を有することを特徴とする画像認識方法。