JP2003099779A - 人物属性評価装置、人物属性評価方法及び人物属性評価プログラム - Google Patents

Abstract

(57)【要約】 【課題】 ある人物について、年齢や性別等の人物の属
性におけるクラス（年齢であれば、年齢又は年齢区分、
性別であれば、男女のいずれであるか）を高い精度で行
なうことができる装置や方法等を提供する。 【解決手段】 異なる年齢及び性別ごとに、平均顔にお
ける特徴点の座標を有する平均顔データを用意してお
き、推定対象の人物の顔を撮影して（Ｓ１０）得た顔画
像データについても特徴点を抽出して入力顔データを作
成する（Ｓ１１）。そして、各平均顔データについて
（Ｓ１２、Ｓ１５）、入力顔データが平均顔データと整
合するように入力顔データを正規化した上で（Ｓ１
３）、その後、所定の評価関数を用いて、平均顔データ
の座標と入力顔データの座標との間の距離に基づく評価
値を算出して（Ｓ１４）、該人物の年齢と性別を推定す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、年齢や性別等の人
物の属性を評価するための人物属性評価装置や方法等に
関するものであり、特に、顔画像の特徴から人物の性別
や年令を推定する装置や方法に関するものである。

【０００２】

【従来の技術】人間の顔の色調や局所的な形状には、性
別や年齢を示す特徴が現れることが知られている。人
は、経験的にこれらの特徴を使って性別や年齢を推定
し、コミュニケーションに利用している。

【０００３】また、従来から、映像や音声等さまざまな
メディアを通じて商品の提示・訴求が行われている。例
えば、種々の商品がコマーシャル等の宣伝媒体により広
告宣伝されているが、該広告宣伝は、視聴している視聴
者には等しく提供されているのが現状である。効果的な
広告を行なう方法としては、時間帯や場所等の定性的・
統計的情報に頼って、広告等を実行する以外に方法が無
く、いわば、情報の垂れ流し状態となっている。逆に言
えば、視聴者の属性を直接的に検知する手段は設けられ
ておらず、結果として、視聴者の属性に応じた情報の提
供はされていない。

【０００４】

【発明が解決しようとする課題】しかし、情報を視聴者
に等しく提供する場合、つまり、情報の垂れ流し状態の
場合よりは、視聴者の属性を検知し、その属性に応じた
提供を行えば、より効果的な情報の提供を行なうことが
できる。

【０００５】例えば、化粧品の広告を行う場合、視聴者
が男性であれば、男性向け化粧品を、女性であれば女性
向け化粧品の広告を提示すれば、より有効な商品訴求効
果が得られる。同様に、視聴者の年令に応じた商品を提
示することも商品訴求効果が大きい。ところが、従来の
手法ではこのような視聴者の属性を自動的に検知する手
段をもたなかったため、効率的な情報の提供が行われて
いるとは言い難かった。

【０００６】人物の顔から性別や年令を推定しようとす
る試みは、既に行われており、例えば、「顔の感性情報
と物理的特徴との関連について−年令／性の情報を中心
に−」（電子情報通信学会論文誌Ａ Vol.J79-A No.2 p
p.279-287 1996年2月）や「顔立ち印象の解析とそれに
基づく化粧方法の検討」（第5回日本顔学会大会、pp.40
2000年8月）等がある。

【０００７】しかし、これらの方法は、入力顔画像から
得られる特徴点の座標をモデル式に当てはめて推定結果
を得るものであり、高い精度での推定ができず、特に年
令については、年齢を細かい範囲で高精度に推定するこ
とが難しいという欠点があった。

【０００８】そこで、本発明は、ある人物について、年
齢や性別等の人物の属性におけるクラス（年齢であれ
ば、年齢又は年齢区分、性別であれば、男女のいずれで
あるか）を高い精度で行なうことができる装置や方法等
を提供することを目的とするものである。

【０００９】

【課題を解決するための手段】本発明は上記問題点を解
決するために創作されたものであって、第１には、人物
の属性を評価するための人物属性評価装置（「人属性評
価装置」としてもよい）であって、所定の属性における
異なるクラスごとに、平均的な顔の画像に関するデータ
である平均顔データを記憶する平均顔データ記憶手段
と、該人物の顔の画像である顔画像を入力する入力手段
と、該入力手段により入力された顔画像に関するデータ
である入力顔データが、該平均顔データ記憶手段に記憶
された平均顔データと整合するように、各平均顔データ
ごとに入力顔データを正規化して、各平均顔データごと
に、正規化された入力顔データを作成する正規化手段
と、該正規化手段により正規化された入力顔データと、
平均顔データとのずれの度合いを示す評価値を、各平均
顔データごとに算出する評価値算出手段と、を有するこ
とを特徴とする。

【００１０】この第１の構成の人物属性評価装置におい
ては、該入力手段により顔画像が入力されると、該正規
化手段が、該入力手段により入力された顔画像に関する
データである入力顔データが、該平均顔データ記憶手段
に記憶された平均顔データと整合するように、各平均顔
データごとに入力顔データを正規化して、各平均顔デー
タごとに、正規化された入力顔データを作成する。そし
て、評価値算出手段が、該正規化手段により正規化され
た入力顔データと、平均顔データとのずれの度合いを示
す評価値を、各平均顔データごとに算出する。この評価
値に基づいて、所定の属性におけるクラスが推定され
る。特に、本発明においては、該正規化手段により正規
化を行い、さらに、評価値算出手段により評価値を算出
するので、ある属性についてどのクラスに属するかを高
精度に推定することができる。

【００１１】また、第２には、上記第１の構成におい
て、上記平均顔データ記憶手段において記憶されている
平均顔データは、平均的な顔の画像における座標であっ
て、顔の特徴を表す座標を有するデータであり、また、
上記入力顔データが、該入力手段により入力された顔画
像における座標であって、顔の特徴を表す座標を有する
データであることを特徴とする。

【００１２】また、第３には、上記第１の構成におい
て、上記平均顔データ記憶手段において記憶されている
平均顔データは、平均的な顔の画像データであり、さら
に、人物属性評価装置が、該平均顔データ記憶手段に記
憶されている平均顔データから顔の特徴を表す座標を抽
出する抽出手段を有し、さらに、上記入力顔データが、
該入力手段により入力された顔画像における座標であっ
て、顔の特徴を表す座標を有するデータであることを特
徴とする。

【００１３】また、第４には、上記第２又は第３の構成
において、上記人物属性評価装置が、さらに、上記入力
手段により入力された顔画像から、該顔画像における座
標であって、顔の特徴を表す座標を抽出する第２抽出手
段を有することを特徴とする。

【００１４】また、第５には、人物の属性を評価するた
めの人物属性評価装置であって、所定の属性における異
なるクラスごとに、平均的な顔の画像における座標であ
って、顔の特徴を表す座標を有する平均顔データを記憶
する平均顔データ記憶手段と、該人物の顔画像を入力す
る入力手段と、該入力手段により入力された顔画像にお
ける座標であって、顔の特徴を表す座標を有する入力顔
データが平均顔データ記憶手段に記憶された平均顔デー
タと整合するように、各平均顔データごとに入力顔デー
タを正規化して、各平均顔データごとに、正規化された
入力顔データを作成する正規化手段と、該正規化手段に
より正規化された入力顔データにおける座標と、平均顔
データにおける座標とのずれの度合いを示す評価値を、
各平均顔データごとに算出する評価値算出手段と、を有
することを特徴とする。

【００１５】この第５の構成の人物属性評価装置におい
ては、入力手段により人物の顔画像が入力される。そし
て、正規化手段が、該入力手段により入力された顔画像
における座標であって、顔の特徴を表す座標を有する入
力顔データが平均顔データ記憶手段に記憶された平均顔
データと整合するように、各平均顔データごとに入力顔
データを正規化して、各平均顔データごとに、正規化さ
れた入力顔データを作成する。さらに、評価値算出手段
は、該正規化手段により正規化された入力顔データにお
ける座標と、平均顔データにおける座標とのずれの度合
いを示す評価値を、各平均顔データごとに算出する。こ
の評価値に基づいて、所定の属性におけるクラスが推定
される。特に、本発明においては、該正規化手段により
正規化を行い、さらに、評価値算出手段により評価値を
算出するので、ある属性についてどのクラスに属するか
を高精度に推定することができる。

【００１６】なお、この第５の構成において、入力手段
により入力された顔画像における座標であって、顔の特
徴を表す座標を有する入力顔データを記憶する入力顔デ
ータ記憶手段を、さらに設けておくことが好ましい。

【００１７】また、第６には、人物の属性を評価するた
めの人物属性評価装置であって、所定の属性における異
なるクラスごとに、平均的な顔の画像における座標であ
って、顔の特徴を表す座標を有する平均顔データを記憶
する平均顔データ記憶手段と、該人物の顔画像を入力す
る入力手段と、該入力手段により入力された顔画像か
ら、該顔画像における座標であって、顔の特徴を表す座
標を有する入力顔データを抽出する入力顔データ抽出手
段と、該入力顔データ抽出手段により抽出された入力顔
データが平均顔データ記憶手段に記憶された平均顔デー
タと整合するように、各平均顔データごとに入力顔デー
タを正規化して、各平均顔データごとに、正規化された
入力顔データを作成する正規化手段と、該正規化手段に
より正規化された入力顔データにおける座標と、平均顔
データにおける座標とのずれの度合いを示す評価値を、
各平均顔データごとに算出する評価値算出手段と、を有
することを特徴とする。

【００１８】この第６の構成の人物属性評価装置におい
ては、入力手段により人物の顔画像が入力されると、入
力顔データ抽出手段は、該入力手段により入力された顔
画像から、該顔画像における座標であって、顔の特徴を
表す座標を有する入力顔データを抽出する。そして、正
規化手段は、該入力顔データ抽出手段により抽出された
入力顔データが平均顔データ記憶手段に記憶された平均
顔データと整合するように、各平均顔データごとに入力
顔データを正規化して、各平均顔データごとに、正規化
された入力顔データを作成する。さらに、評価値算出手
段は、該正規化手段により正規化された入力顔データに
おける座標と、平均顔データにおける座標とのずれの度
合いを示す評価値を、各平均顔データごとに算出する。
この評価値に基づいて、所定の属性におけるクラスが推
定される。特に、本発明においては、該正規化手段によ
り正規化を行い、さらに、評価値算出手段により評価値
を算出するので、ある属性についてどのクラスに属する
かを高精度に推定することができる。

【００１９】また、第７には、上記第２から第６までの
いずれかの構成において、上記正規化手段は、平均顔デ
ータにおける座標と、該座標に対応する入力顔データに
おける座標との距離の和又は該距離の二乗和が最小とな
るように、入力顔データにおける座標を変換することを
特徴とする。

【００２０】また、第８には、上記第２から第６までの
いずれかの構成において、上記評価値算出手段は、平均
顔データにおける座標と、該座標に対応する座標で正規
化された入力顔データにおける座標との間の距離又は距
離の二乗和に基づく評価値を算出することを特徴とす
る。

【００２１】また、第９には、上記第１から第８までの
いずれかの構成において、上記人物属性評価装置が、さ
らに、上記評価値算出手段により算出された評価値に応
じて、所定の属性におけるクラスを推定する推定手段を
有することを特徴とする。

【００２２】なお、この第９の構成において、さらに、
属性の評価を行う人物に提供可能な複数のコンテンツを
有する記憶手段と、該推定手段により推定結果に応じ
て、記憶手段に記憶されたコンテンツから１又は複数の
コンテンツを選択する選択手段と、を有するようにして
もよい。

【００２３】また、第１０には、上記第１から第９まで
のいずれかの構成において、上記人物の属性が性別であ
り、上記クラスが男性及び女性であることを特徴とす
る。

【００２４】また、第１１には、上記第１から第１０ま
でのいずれかの構成において、上記人物の属性が年齢で
あり、上記クラスが年齢又は年齢を所定間隔ごとに区分
した年齢区分であることを特徴とする。

【００２５】また、第１２には、人物の属性を評価する
ための人物属性評価方法であって、該人物の顔の画像で
ある顔画像を入力する入力ステップと、該入力ステップ
において入力された顔画像に関するデータである入力顔
データが、所定の属性における異なるクラスごとに、平
均的な顔の画像に関するデータである平均顔データを記
憶する平均顔データ記憶手段に記憶された平均顔データ
と整合するように、各平均顔データごとに入力顔データ
を正規化して、各平均顔データごとに、正規化された入
力顔データを作成する正規化ステップと、該正規化手段
により正規化された入力顔データと、平均顔データとの
ずれの度合いを示す評価値を、各平均顔データごとに算
出する評価値算出ステップと、を有することを特徴とす
る。

【００２６】この第１２の構成の人物属性評価方法にお
いては、該入力ステップにおいて顔画像が入力される
と、該正規化ステップにおいて、該入力ステップで入力
された顔画像に関するデータである入力顔データが、該
平均顔データ記憶手段に記憶された平均顔データと整合
するように、各平均顔データごとに入力顔データを正規
化して、各平均顔データごとに、正規化された入力顔デ
ータを作成する。そして、評価値算出ステップにおい
て、該正規化手段により正規化された入力顔データと、
平均顔データとのずれの度合いを示す評価値を、各平均
顔データごとに算出する。この評価値に基づいて、所定
の属性におけるクラスが推定される。特に、本発明にお
いては、該正規化ステップにおいて正規化を行い、さら
に、評価値算出ステップにおいて評価値を算出するの
で、ある属性についてどのクラスに属するかを高精度に
推定することができる。

【００２７】また、第１３には、上記第１２の構成にお
いて、上記平均顔データ記憶手段において記憶されてい
る平均顔データは、平均的な顔の画像における座標であ
って、顔の特徴を表す座標を有するデータであり、ま
た、上記入力顔データが、該入力ステップにおいて入力
された顔画像における座標であって、顔の特徴を表す座
標を有するデータであることを特徴とする。

【００２８】また、第１４には、上記第１２の構成にお
いて、上記平均顔データ記憶手段において記憶されてい
る平均顔データは、平均的な顔の画像データであり、さ
らに、人物属性評価方法が、該平均顔データ記憶手段に
記憶されている平均顔データから顔の特徴を表す座標を
抽出する抽出ステップを有し、さらに、上記入力顔デー
タが、該入力ステップにおいて入力された顔画像におけ
る座標であって、顔の特徴を表す座標を有するデータで
あることを特徴とする。

【００２９】また、第１５には、上記第１３又は第１４
の構成において、上記人物属性評価方法が、さらに、上
記入力ステップにより入力された顔画像から、該顔画像
における座標であって、顔の特徴を表す座標を抽出する
第２抽出ステップを有することを特徴とする。

【００３０】また、第１６には、人物の属性を評価する
ための人物属性評価方法であって、該人物の顔画像を入
力する入力ステップと、該入力ステップにおいて入力さ
れた顔画像における座標であって、顔の特徴を表す座標
を有する入力顔データが、所定の属性における異なるク
ラスごとに、平均的な顔の画像における座標であって、
顔の特徴を表す座標を有する平均顔データを記憶する平
均顔データ記憶手段に記憶された平均顔データと整合す
るように、各平均顔データごとに入力顔データを正規化
して、各平均顔データごとに、正規化された入力顔デー
タを作成する正規化ステップと、該正規化ステップにお
いて正規化された入力顔データにおける座標と、平均顔
データにおける座標とのずれの度合いを示す評価値を、
各平均顔データごとに算出する評価値算出ステップと、
を有することを特徴とする。

【００３１】この第１６の構成の人物属性評価方法にお
いては、入力ステップにおいて人物の顔画像が入力され
る。そして、正規化ステップにおいて、該入力ステップ
で入力された顔画像における座標であって、顔の特徴を
表す座標を有する入力顔データが平均顔データ記憶手段
に記憶された平均顔データと整合するように、各平均顔
データごとに入力顔データを正規化して、各平均顔デー
タごとに、正規化された入力顔データを作成する。さら
に、評価値算出ステップにおいて、該正規化ステップで
正規化された入力顔データにおける座標と、平均顔デー
タにおける座標とのずれの度合いを示す評価値を、各平
均顔データごとに算出する。この評価値に基づいて、所
定の属性におけるクラスが推定される。特に、本発明に
おいては、該正規化ステップにおいて正規化を行い、さ
らに、評価値算出ステップにおいて評価値を算出するの
で、ある属性についてどのクラスに属するかを高精度に
推定することができる。

【００３２】また、第１７には、人物の属性を評価する
ための人物属性評価方法であって、該人物の顔画像を入
力する入力ステップと、該入力ステップにおいて入力さ
れた顔画像から、該顔画像における座標であって、顔の
特徴を表す座標を有する入力顔データを抽出する入力顔
データ抽出ステップと、該入力顔データ抽出ステップに
おいて抽出された入力顔データが、所定の属性における
異なるクラスごとに、平均的な顔の画像における座標で
あって、顔の特徴を表す座標を有する平均顔データを記
憶する平均顔データ記憶手段に記憶された平均顔データ
と整合するように、各平均顔データごとに入力顔データ
を正規化して、各平均顔データごとに、正規化された入
力顔データを作成する正規化ステップと、該正規化ステ
ップにより正規化された入力顔データにおける座標と、
平均顔データにおける座標とのずれの度合いを示す評価
値を、各平均顔データごとに算出する評価値算出ステッ
プと、を有することを特徴とする。

【００３３】この第１７の構成の人物属性評価方法にお
いては、入力ステップにおいて人物の顔画像が入力され
ると、入力顔データ抽出ステップにおいて、該入力ステ
ップで入力された顔画像から、該顔画像における座標で
あって、顔の特徴を表す座標を有する入力顔データを抽
出する。そして、正規化ステップにおいて、該入力顔デ
ータ抽出ステップで抽出された入力顔データが平均顔デ
ータ記憶手段に記憶された平均顔データと整合するよう
に、各平均顔データごとに入力顔データを正規化して、
各平均顔データごとに、正規化された入力顔データを作
成する。さらに、評価値算出ステップにおいて、該正規
化ステップで正規化された入力顔データにおける座標
と、平均顔データにおける座標とのずれの度合いを示す
評価値を、各平均顔データごとに算出する。この評価値
に基づいて、所定の属性におけるクラスが推定される。
特に、本発明においては、該正規化ステップにおいて正
規化を行い、さらに、評価値算出ステップにより評価値
を算出するので、ある属性についてどのクラスに属する
かを高精度に推定することができる。

【００３４】また、第１８には、上記第１３から第１７
までのいずれかの構成において、上記正規化ステップに
おいては、平均顔データにおける座標と、該座標に対応
する入力顔データにおける座標との距離の和又は該距離
の二乗和が最小となるように、入力顔データにおける座
標を変換することを特徴とする。

【００３５】また、第１９には、上記第１３から第１８
までのいずれかの構成において、上記評価値算出ステッ
プにおいては、平均顔データにおける座標と、該座標に
対応する座標で正規化された入力顔データにおける座標
との間の距離又は距離の二乗和に基づく評価値を算出す
ることを特徴とする。

【００３６】また、第２０には、上記第１３から第１９
までのいずれかの構成において、上記人物属性評価方法
が、さらに、上記評価値算出ステップにより算出された
評価値に応じて、所定の属性のクラスを推定する推定ス
テップを有することを特徴とする。

【００３７】なお、この第２０の構成において、さら
に、該推定ステップにおける推定結果に応じて、属性の
評価を行う人物に提供可能な複数のコンテンツを有する
記憶手段から１又は複数のコンテンツを選択する選択ス
テップを有するようにしてもよい。

【００３８】また、第２１には、上記第１３から第２０
までのいずれかの構成において、上記人物の属性が性別
であり、上記クラスが男性及び女性であることを特徴と
する。

【００３９】また、第２２には、上記第１３から第２１
までのいずれかの構成において、上記人物の属性が年齢
であり、上記クラスが年齢又は年齢を所定間隔ごとに区
分した年齢区分であることを特徴とする。

【００４０】また、第２３には、コンピュータ読取り可
能で、人物の属性を評価するための人物属性評価プログ
ラムであって、該人物の顔の画像である顔画像が入力さ
れた場合に、入力された顔画像に関するデータである入
力顔データが、所定の属性における異なるクラスごと
に、平均的な顔の画像に関するデータである平均顔デー
タを記憶する平均顔データ記憶手段に記憶された平均顔
データと整合するように、各平均顔データごとに入力顔
データを正規化して、各平均顔データごとに、正規化さ
れた入力顔データを作成する正規化ステップ（正規化処
理としてもよい）と、該正規化手段により正規化された
入力顔データと、平均顔データとのずれの度合いを示す
評価値を、各平均顔データごとに算出する評価値算出ス
テップ（評価値算出処理としてもよい）と、をコンピュ
ータに実行させるための人物属性評価プログラムであ
る。

【００４１】この第２３の構成の人物属性評価プログラ
ムにおいては、顔画像が入力されると、該正規化ステッ
プにおいて、入力された顔画像に関するデータである入
力顔データが、該平均顔データ記憶手段に記憶された平
均顔データと整合するように、各平均顔データごとに入
力顔データを正規化して、各平均顔データごとに、正規
化された入力顔データを作成する。そして、評価値算出
ステップにおいて、該正規化手段により正規化された入
力顔データと、平均顔データとのずれの度合いを示す評
価値を、各平均顔データごとに算出する。この評価値に
基づいて、所定の属性におけるクラスが推定される。特
に、本発明においては、該正規化ステップにおいて正規
化を行い、さらに、評価値算出ステップにおいて評価値
を算出するので、ある属性についてどのクラスに属する
かを高精度に推定することができる。

【００４２】また、第２４には、コンピュータ読取り可
能で、人物の属性を評価するための人物属性評価プログ
ラムであって、該人物の顔の画像である顔画像が入力さ
れた場合に、入力された顔画像における座標であって、
顔の特徴を表す座標を有する入力顔データが、所定の属
性における異なるクラスごとに、平均的な顔の画像にお
ける座標であって、顔の特徴を表す座標を有する平均顔
データを記憶する平均顔データ記憶手段に記憶された平
均顔データと整合するように、各平均顔データごとに入
力顔データを正規化して、各平均顔データごとに、正規
化された入力顔データを作成する正規化ステップ（正規
化処理としてもよい）と、該正規化ステップにおいて正
規化された入力顔データにおける座標と、平均顔データ
における座標とのずれの度合いを示す評価値を、各平均
顔データごとに算出する評価値算出ステップ（評価値算
出処理としてもよい）と、をコンピュータに実行させる
ための人物属性評価プログラムである。

【００４３】この第２４の構成の人物属性評価プログラ
ムにおいては、人物の顔画像が入力されると、正規化ス
テップにおいて、入力された顔画像における座標であっ
て、顔の特徴を表す座標を有する入力顔データが平均顔
データ記憶手段に記憶された平均顔データと整合するよ
うに、各平均顔データごとに入力顔データを正規化し
て、各平均顔データごとに、正規化された入力顔データ
を作成する。さらに、評価値算出ステップにおいて、該
正規化ステップで正規化された入力顔データにおける座
標と、平均顔データにおける座標とのずれの度合いを示
す評価値を、各平均顔データごとに算出する。この評価
値に基づいて、所定の属性におけるクラスが推定され
る。特に、本発明においては、該正規化ステップにおい
て正規化を行い、さらに、評価値算出ステップにおいて
評価値を算出するので、ある属性についてどのクラスに
属するかを高精度に推定することができる。

【００４４】また、第２５には、コンピュータ読取り可
能で、人物の属性を評価するための人物属性評価プログ
ラムであって、該人物の顔画像である顔画像が入力され
た場合に、入力された顔画像から、該顔画像における座
標であって、顔の特徴を表す座標を有する入力顔データ
を抽出する入力顔データ抽出ステップ（入力顔データ抽
出処理としてもよい）と、該入力顔データ抽出ステップ
において抽出された入力顔データが、所定の属性におけ
る異なるクラスごとに、平均的な顔の画像における座標
であって、顔の特徴を表す座標を有する平均顔データを
記憶する平均顔データ記憶手段に記憶された平均顔デー
タと整合するように、各平均顔データごとに入力顔デー
タを正規化して、各平均顔データごとに、正規化された
入力顔データを作成する正規化ステップ（正規化処理と
してもよい）と、該正規化ステップにより正規化された
入力顔データにおける座標と、平均顔データにおける座
標とのずれの度合いを示す評価値を、各平均顔データご
とに算出する評価値算出ステップ（評価値算出処理とし
てもよい）と、をコンピュータに実行させるための人物
属性評価プログラムである。

【００４５】この第２５の構成の人物属性評価プログラ
ムにおいては、人物の顔画像が入力されると、入力顔デ
ータ抽出ステップにおいて、入力された顔画像から、該
顔画像における座標であって、顔の特徴を表す座標を有
する入力顔データを抽出する。そして、正規化ステップ
において、該入力顔データ抽出ステップで抽出された入
力顔データが平均顔データ記憶手段に記憶された平均顔
データと整合するように、各平均顔データごとに入力顔
データを正規化して、各平均顔データごとに、正規化さ
れた入力顔データを作成する。さらに、評価値算出ステ
ップにおいて、該正規化ステップで正規化された入力顔
データにおける座標と、平均顔データにおける座標との
ずれの度合いを示す評価値を、各平均顔データごとに算
出する。この評価値に基づいて、所定の属性におけるク
ラスが推定される。特に、本発明においては、該正規化
ステップにおいて正規化を行い、さらに、評価値算出ス
テップにより評価値を算出するので、ある属性について
どのクラスに属するかを高精度に推定することができ
る。

【００４６】また、第２６には、上記第２４又は第２５
の構成において、上記正規化ステップにおいては、平均
顔データにおける座標と、該座標に対応する入力顔デー
タにおける座標との距離の和又は該距離の二乗和が最小
となるように、入力顔データにおける座標を変換するこ
とを特徴とする。

【００４７】また、第２７には、上記第２４から第２６
までのいずれかの構成において、上記評価値算出ステッ
プにおいては、平均顔データにおける座標と、該座標に
対応する座標で正規化された入力顔データにおける座標
と、の間の距離又は距離の二乗和に基づく評価値を算出
することを特徴とする。

【００４８】また、第２８には、上記第２４から第２７
までのいずれかの構成において、上記人物属性評価プロ
グラムが、さらに、上記評価値算出ステップにより算出
された評価値に応じて、所定の属性のクラスを推定する
推定ステップ（推定処理としてもよい）を有することを
特徴とする。

【００４９】なお、この第２８の構成において、さら
に、該推定ステップにおける推定結果に応じて、属性の
評価を行う人物に提供可能な複数のコンテンツを有する
記憶手段から１又は複数のコンテンツを選択する選択ス
テップ（選択処理としてもよい）を有するようにしても
よい。

【００５０】さらに、以下の構成としてもよい。すなわ
ち、第２９の構成として、「上記第２３の構成におい
て、上記平均顔データ記憶手段において記憶されている
平均顔データは、平均的な顔の画像における座標であっ
て、顔の特徴を表す座標を有し、また、上記入力顔デー
タが、入力された顔画像における座標であって、顔の特
徴を表す座標を有することを特徴とする人物属性評価プ
ログラム。」としてもよい。

【００５１】また、第３０の構成として、「上記第２３
の構成において、上記平均顔データ記憶手段において記
憶されている平均顔データは、平均的な顔の画像データ
であり、さらに、人物属性評価方法が、該平均顔データ
記憶手段に記憶されている平均顔データから顔の特徴を
表す座標を抽出する抽出ステップ（抽出処理としてもよ
い）を有し、さらに、上記入力顔データが、該入力ステ
ップにおいて入力された顔画像における座標であって、
顔の特徴を表す座標を有することを特徴とする人物属性
評価プログラム。」としてもよい。

【００５２】また、第３１の構成として、「上記第２９
又は第３０の構成において、上記人物属性評価方法が、
さらに、入力された顔画像から、該顔画像における座標
であって、顔の特徴を表す座標を抽出する第２抽出ステ
ップ（第２抽出処理としてもよい）を有することを特徴
とする人物属性評価プログラム。」としてもよい。

【００５３】また、第３２の構成として、「上記第２９
から第３１までのいずれかの構成又は第２４から第２８
までのいずれかの構成において、上記人物の属性が性別
であり、上記クラスが男性及び女性であることを特徴と
する人物属性評価プログラム。」としてもよい。

【００５４】また、第３３の構成として、「上記第２９
から第３２までのいずれかの構成又は第２４から第２８
までのいずれかの構成において、上記人物の属性が年齢
であり、上記クラスが年齢又は年齢を所定間隔ごとに区
分した年齢区分であることを特徴とする人物属性評価プ
ログラム。」としてもよい。

【００５５】なお、上記の各人物属性評価プログラムを
格納した記録媒体としてもよい。

【００５６】

【発明の実施の形態】本発明の実施の形態としての実施
例を図面を利用して説明する。本発明における人物属性
評価装置としての性別年齢推定装置Ａは、図１に示すよ
うに、カメラ１０と、ディスプレイ１２と、キーボード
１４と、ＲＯＭ１６と、ＲＡＭ１８と、外部記憶装置２
０と、通信装置２２と、ＣＰＵ２４とを有している。

【００５７】ここで、カメラ１０は、性別や年齢を推定
する対象としての人物を撮影するためのものであり、基
本的には、静止画像を撮影するためのものである。

【００５８】また、ディスプレイ１２は、各種情報を表
示するための表示装置であり、特に、性別・年齢の推定
結果等を表示するために用いられる。このディスプレイ
１２は、ＬＣＤやＣＲＴ等により構成される。また、キ
ーボード１４は、各種入力を行なうための入力装置であ
り、性別年齢推定装置Ａを操作するのに用いられる。

【００５９】また、ＲＯＭ１６は、各種プログラムデー
タやその他のデータを格納している記憶装置である。こ
のＲＯＭ１６に格納されているプログラムデータとして
は、性別年齢推定装置Ａが後述するように動作するため
にプログラムデータ、特に、人物属性評価プログラムが
記憶されていて、図５に示す処理フローに従って対象人
物の性別や年齢を推定する処理を行なうためのプログラ
ムが格納されている。特に、カメラ１０で撮影して入力
された顔画像を保存するためのプログラムや、入力され
た顔画像についての入力顔データに対して正規化を行な
うプログラムや、正規化された入力顔データについて評
価関数計算処理を行なうためのプログラムや、該評価関
数処理の結果に応じて性別・年齢を推定するためのプロ
グラム等が格納されている。

【００６０】また、ＲＯＭ１６には、図２に示すような
平均顔データ格納部が設けられていて、この平均顔デー
タ格納部には、複数の平均顔データが格納されている。
つまり、図２に示すように、男女のそれぞれについて、
１５才〜６４才について５才ごとに平均顔データが記憶
されている。すなわち、図２に示す例では、第１平均顔
データ〜第２０平均顔データが記憶されていて、第１平
均顔データは、１５才〜１９才の男についての平均顔デ
ータであり、第２平均顔データは、１５才〜１９才の女
についての平均顔データというようになっている。

【００６１】この平均顔データは、該当する性別及び年
齢の人物の平均的な顔についてのデータであり、平均顔
データ格納部に格納された各平均顔データの内容として
は、顔の特徴を示す点の座標のデータにより構成され
る。つまり、図３に示すように、顔の輪郭や、眉、目、
鼻、口の顔の各パーツの特徴点の座標のデータにより構
成され、顔の輪郭や各パーツについて、複数の座標のデ
ータが記憶されている。

【００６２】この平均顔データは、該当する性別及び年
齢の人物の顔画像を実際に入力することにより作成した
ものである。例えば、上記第１平均顔データは、１５才
〜１９才の複数の男性の顔画像を入手し、その顔画像か
ら作成したものである。つまり、性別及び年齢が該当す
る複数の人物の顔画像を取得し、この複数の顔画像から
平均顔の画像を作成し、その平均顔の画像において、顔
の輪郭や各パーツの輪郭の特徴点を座標で表したもので
ある。ここで、特徴点としては、例えば、顔や各パーツ
の輪郭を直線や曲線で近似化した場合に頂点となる座標
が挙げられる。

【００６３】具体的に、鼻の場合を例に取ると、図４
（図４は、平均顔の一例を示す）に示すように、鼻の輪
郭を直線で近似した場合に、点Ｊ１〜Ｊ５が特徴点の座
標となる。図４の例では、例えば、点Ｊ１は、鼻の上端
の中央の位置の点であり、また、点Ｊ２は、鼻の輪郭の
左側の上下方向の中間位置であり、点Ｊ３は、鼻の輪郭
の左下角部の位置の点であり、点Ｊ４は、鼻の輪郭の右
下角部の位置の点であり、点Ｊ５は、鼻の輪郭の左側の
上下方向の中間位置であるといえる。なお、図４におい
ては、鼻についての特徴点の取得の一例を示したが、図
４に示す例の場合には限らない。このＲＯＭ１６、特
に、平均顔データ格納部は、上記平均顔データ記憶手段
として機能する。また、本実施例では、性別や年齢が人
物の属性に当たり、図２に示す年齢の区分が、年齢の属
性におけるクラスに当たり、男女のいずれであるかが、
性別の属性におけるクラスに当たる。

【００６４】また、ＲＡＭ１８は、ＣＰＵ２４がプログ
ラムを実行する際のワークエリアや新たに追加されるプ
ログラムやデータを一時的に格納するエリアとして機能
する。また、外部記憶部装置２０は、追加のプログラム
やデータの保存に用いられるものであり、具体的には、
ハードディスクドライブ（ＨＤＤ）やフレキシブルディ
スクドライブ（ＦＤＤ）がこれに当たる。また、通信装
置２２は、電話回線やＬＡＮ等に接続され、プログラム
やデータの転送等に用いられる。

【００６５】また、ＣＰＵ２４は、性別年齢推定装置Ａ
における各部の動作を制御するためのものであり、特
に、ＲＯＭ１６に格納されたプログラムに従って処理を
行なう。

【００６６】上記構成に基づく性別年齢推定装置Ａの動
作について説明する。つまり、特に、人物属性評価方法
について説明する。まず、カメラ１０を用いて性別及び
年齢の推定を行なう対象人物の顔を撮影し、該人物の顔
画像データを入力する（Ｓ１０）。このカメラ１０やカ
メラ１０の制御をＣＰＵ２４が行なう場合のＣＰＵ２４
は、上記入力手段として機能する。また、ステップＳ１
０は、上記入力ステップに当たる。入力された顔画像デ
ータは、外部記憶装置２０に保存される（他の記憶装置
に保存してもよい）。

【００６７】そして、この入力された顔画像データにつ
いて特徴点を抽出して、入力顔データを作成する（Ｓ１
１）。この入力顔データも、上記平均顔データと同様
に、顔の特徴を示す点の座標のデータにより構成され
る。つまり、図６に示すように、顔の輪郭や、鼻、口、
目、眉等の顔の各パーツの特徴点の座標のデータにより
構成される。この特徴点としては、例えば、顔や各パー
ツの輪郭を直線又は曲線で近似化した場合に頂点となる
座標が挙げられる。

【００６８】例えば、情報処理振興事業協会（IPA）
「感性擬人化エージェントのための顔情報処理システ
ム」（http://tokyo.image-lab.or.jp/aa/ipa/）では、
これらの特徴点を含む顔モデルが使用されており、同シ
ステムのFaceFitツールにより設定する。前記モデルは
３次元モデルであり、顔の高さ情報ｚを含むが本発明で
は、２次元ｘ，ｙ座標を用いる。また、このような特徴
点を自動的に抽出することも可能であり、例えば、「似
顔絵作成システムＦＡＣＥ(FAce Caricature Equipmen
t)の開発」（第６回画像センシングシンポジウム後援論
文集、pp.359-364、2000年6月）や「マルチカメラによ
る視線検出のための顔部品抽出」（第６回画像センシン
グシンポジウム後援論文集、pp.359-364、2000年6月）
に手法が述べられている。

【００６９】なお、特徴点を抽出する場合の一例を具体
的に簡単に示すと、入力された顔画像データをディスプ
レイ１２に表示し、操作者が特徴点をマウスでクリック
する等して入力していく。その際、顔の輪郭、鼻、口等
の各項目において、平均顔データに記憶されている座標
に対応する位置の順序で入力していくことが好ましい。
つまり、クリックする位置を予め概ねルール化してお
き、そのルールに従って入力していく。

【００７０】例えば、鼻を例に取ると、図７（図７は、
入力顔の一例を示す）に示すように、まず、鼻の上端の
中央の位置の点Ｋ１をクリックして入力し、次に、鼻の
輪郭の左側の上下方向の中間位置の点Ｋ２をクリックし
て入力し、その後、鼻の輪郭の左下角部の位置の点Ｋ３
をクリックして入力し、その後、鼻の輪郭の右下角部の
位置の点の点Ｋ４をクリックして入力し、その後、鼻の
輪郭の左側の上下方向の中間位置の点Ｋ５を入力すると
いうようにルール化しておき、そのような順序で入力し
ていく。このようにすることにより、平均顔データにお
ける座標と入力顔データにおける座標とが互いに対応し
た位置のものとなる。つまり、上記の鼻の例では、平均
顔データにおける点Ｊ１についての座標（Ｘ_m61，
Ｙ_m61）（図３、図４参照）と入力顔データにおける点
Ｋ１についての座標（Ｘ_i61，Ｙ_i61）（図６、図７参
照）とが、ともに鼻の上端の中央の位置を示すものであ
り、両座標は、互いに対応した位置ついての座標を示す
ことになる（図３、図６参照）。なお、本実施例では、
座標のＸ座標、Ｙ座標において、下付け文字にｍを含む
座標は、平均顔データにおける座標を示し、下付け文字
にｉを含む座標は、入力顔データにおける座標を示して
いる。

【００７１】特徴点が入力されていくと、入力された座
標のデータが、外部記憶装置２０（又は他の記録装置）
に設けられた入力顔データ格納部に順次入力して記憶さ
れていき、図６に示すような入力顔データが作成され
る。この図７に示す入力顔データにおいては、各座標の
下付け数字で示される座標は、平均顔データにおいて同
じ下付け数字で示される座標と対応していることにな
る。例えば、図６における座標（Ｘ_i1，Ｙ_i1）は図３に
おける座標（Ｘ_m1，Ｙ_m1）と対応しており、また、図６
における座標（Ｘ_i61，Ｙ_i61）は図３における座標（Ｘ
_m61，Ｙ_m61）と対応している。よって、入力顔データに
おいて記憶される座標の数は、平均顔データにおいて記
憶されている座標も数は同じであり、さらに、顔の輪郭
や、眉、目等の各項目においても、入力顔データにおい
て記憶される座標の数は、平均顔データにおいて記憶さ
れている座標の数と同じである。

【００７２】なお、上記の説明では、入力顔データの作
成に際しては、操作者が、入力された顔画像データが表
示した状態でマニュアルで入力していくことにより作成
するものとして説明したが、これには限られず、入力顔
データを作成するプログラムを用意し、該プログラムに
より自動的に入力顔データを作成するようにしてもよ
い。この場合、このプログラム及び該プログラムに従い
動作するＣＰＵ２４が、上記第２抽出手段、入力顔デー
タ抽出手段に当たる。また、この場合の該プログラムに
より自動的に入力顔データを作成する工程が、上記第２
抽出ステップ、入力顔データ抽出ステップに当たる。

【００７３】次に、平均顔データを選択する（Ｓ１
２）。つまり、以後の処理において、入力顔データにつ
いての正規化を行い、正規化された入力顔データと平均
顔データとについて特徴点のずれの値を評価関数により
算出するが、このステップＳ１２では、比較対象とする
平均顔データを選択する。このステップＳ１２では、基
本的には、第１平均顔データから順次選択されることに
なる。なお、この平均顔データの選択は、自動で選択さ
れるようにするのが好ましい。つまり、最初のステップ
Ｓ１２においては、第１平均顔データを選択し、次に到
来するステップＳ１２においては、第２平均顔データを
選択し、最後の平均顔データが選択されるまで順次選択
していく。

【００７４】次に、上記ステップＳ１１で作成された入
力顔データを正規化する処理を行なう（Ｓ１３）。この
ステップＳ１３の顔データ正規化処理は、入力顔画像Ｉ
の特徴点Ｐikと平均顔Ｍの特徴点Ｐmkができるだけうま
く重なるように定めた基準に従って、入力顔画像に幾何
的な大域変形処理を行うものである。

【００７５】顔の局所的な形状には、性別や年令を示す
特徴が現れるということが知られている（例えば、「顔
・表情認知研究の最前線」（映像情報メディア学会誌、
Vol.54 No.9、pp.1245−1251、2000年9月）を参照）。
本発明は、この知見に基づいて入力顔画像Ｉの特徴点Ｐ
ikと平均顔Ｍの特徴点Ｐmkとの距離を利用して性別・年
令を推定する。しかし、入力顔画像Ｉと平均顔Ｍとは、
撮影条件や人物の姿勢等の影響で画像内における位置や
大きさ、傾き等の大局的な形状の異なりが大きいのが一
般的である。ステップＳ１３は、この大局的な形状の異
なりを排し、入力顔画像Ｉの特徴点Ｐikと平均顔Ｍの特
徴点Ｐmkができるだけうまく重なるように入力顔画像に
大局的な変形を加える処理である。本発明で用いる特徴
点の重なりを評価する基準を数１で表す。数１に示す式
は、特徴点間の２乗距離の和を表し、数１を最小化する
ことが最もよい重なりを与えるとする。

【００７６】

【数１】

【００７７】ここで、上記数１の式において、ｋは特徴
点が属する顔部品を示すための添え字であり、数１の評
価基準に寄与する顔部品は任意に設定できる。ここで、
顔部品とは、鼻、口等の顔の各パーツを示し、顔の輪郭
も含まれる。

【００７８】より具体的に説明すると、平均顔データに
おける各座標と、入力顔データにおける対応する座標と
の距離の二乗の和が最小となるように、入力顔データに
対して座標を変換する処理を行なう。例えば、図３に示
す平均顔データと図７に示す入力顔データを例にとって
説明すると、互いに対応する座標間の距離の二乗の和が
最小となるようにする。例えば、入力顔データ（図６参
照）における座標（Ｘ _i1，Ｙ_i1）と、平均顔データにお
けるこれに対応する座標（Ｘ_m1，Ｙ_m1）（図３参照）と
の間の距離の二乗は、（Ｘ_i1−Ｘ_m1）²＋（Ｙ_i1−
Ｙ_m1）²で表されるので、同じように他の対応する座標
同士についても距離の二乗を算出して、その和が最小に
なるようにする。すなわち、（Ｘ_i1−Ｘ_m1）²＋（Ｙ_i1
−Ｙ_m1）²＋（Ｘ _i2−Ｘ_m2）²＋（Ｙ_i2−Ｙ_m2）²＋・・
・・・＝Ｑとした場合に、このＱが最小となるように、
入力顔データにおける座標を変換する処理を行なう。

【００７９】ここで、座標を変換する処理としては、ア
フィン変換等の線形変換が用いられ、より具体的には、
各座標を平行に移動する移動処理（図８（ａ）参照）
や、各座標を所定の回転中心を軸に回転させる回転処理
（図８（ｂ）参照）や、各座標が占める領域を拡大又は
縮小する拡大縮小処理を行なう。この拡大縮小処理に
は、各座標が占める領域を均等に拡大縮小する処理の他
に、遠近状に拡大縮小する（つまり、ある方向に拡大縮
小比率を変化させる）非線形処理も考えられる。該処理
以外の他の非線形変換を用いてもよい。なお、ある方向
に拡大縮小比率を変化させる場合には、比率が比例して
変化するようにしてもよいし、比例以外の方法で変化す
るようにしてもよい。例えば、図８（ｃ）は、均等に縮
小する例を示し、一方、図８（ｄ）は、領域の上側に行
くほど縮小比率を大きくする例を示している。なお、図
８（ｄ）の例は、領域の上側に行くほど縮小比率が比例
して変化する場合を示している。

【００８０】上記の移動処理、回転処理、拡大縮小処理
を組み合わせて、上記Ｑの値が最小となるように、入力
顔データの座標を変換する。この変換された各座標によ
り、正規化された入力顔データが構成される（図９参
照）。正規化された入力顔データは、外部記憶装置２０
に格納される。なお、他の記憶装置に格納してもよい。

【００８１】図９は、入力顔データにおける各座標が、
正規化処理によって、正規化された入力顔データにおけ
る各座標に変換されたことを示している。例えば、入力
顔データにおける座標（Ｘ_i1，Ｙ_i1）は座標（Ｘ_n1，Ｙ
_n1）に変換され、また、入力顔データにおける座標（Ｘ
_i2，Ｙ_i2）は座標（Ｘ_n2，Ｙ_n2）に変換されている。

【００８２】このように正規化処理を行なうことによ
り、例えば、入力顔画像と平均顔画像の位置がずれてい
る場合や入力顔画像が傾いている場合には、できるだけ
近づけた状態のデータとすることができ、また、入力顔
データのもとになっている顔画像が、平均顔データのも
とになっている顔画像と大きさが異なる場合には、大き
さをできるだけ近づけた状態のデータとすることができ
る。また、上記のように、ある方向に拡大縮小比率を変
化させることにより、入力顔画像が正面を向いていない
場合に、正面を向いている状態に補正することができ
る。つまり、平均顔データとしては、基本的には、顔を
正面から撮影して得た画像に基づいて作成されているの
で、仮に入力顔データが正面を向いていない場合には、
これを補正することが望ましい。例えば、図８（ｄ）の
場合には、領域の上側ほど縮小比率を大きくすることに
より、顔を下から見上げたような状態となり、入力顔画
像が若干うつむいている場合には、図８（ｄ）に示すよ
うな処理を行なうことにより、正面を向いた状態になる
べく近い場合のデータとすることができる。

【００８３】なお、上記の正規化処理は、ＣＰＵ２４が
ＲＯＭ１６に格納された正規化を行なうためのプログラ
ムに基づいて実行する。この場合の該プログラムやＣＰ
Ｕ２４は、上記正規化手段として機能する。また、この
ステップＳ１３は、上記正規化ステップに当たる。

【００８４】なお、上記の説明では、正規化処理に際し
て、特徴点間の２乗距離の和を求めるとしたが、特徴点
間の距離の和としてもよい。つまり、数１の式におい
て、二乗を行わず、単に距離の和を取るようにしてもよ
い。

【００８５】次に、評価関数計算処理を行なう（Ｓ１
４）。つまり、上記のようにして得られた正規化された
入力顔データに対して所定の評価関数を用いて計算処理
を行なう。これは、上記ステップＳ１３における正規化
処理によって重ね合わせ切れなかった特徴点のずれ、す
なわち、入力顔Ｉと平均顔Ｍとの局所的な形状の差を計
算する処理である。

【００８６】この評価関数計算処理に用いる評価関する
としては、例えば、以下の数２に示す式を用いる。

【００８７】

【数２】

【００８８】この数２に示す式におけるｄｃ、ｄｂ、ｄ
ｅ、ｄｎ、ｄｍは、入力顔Ｉと平均顔Ｍとの距離をそれ
ぞれ、顔の輪郭、眉、目、鼻、口ごとに計算したもので
ある。

【００８９】つまり、ｄｃは「顔の輪郭」についての値
であり、以下の数３に示す式により表される。

【００９０】

【数３】

【００９１】また、ｄｂは「眉」についての値であり、
以下の数４に示す式により表される。

【００９２】

【数４】

【００９３】また、ｄｅは「目」についての値であり、
以下の数５に示す式により表される。

【００９４】

【数５】

【００９５】また、ｄｎは「鼻」についての値であり、
以下の数６に示す式により表される。

【００９６】

【数６】

【００９７】また、ｄｍは「口」についての値であり、
以下の数７に示す式により表される。

【００９８】

【数７】

【００９９】つまり、顔の輪郭や、顔の各パーツ、つま
り、眉、目、鼻、口のそれぞれについて、正規化された
入力顔データにおける座標と、平均顔データにおける座
標の距離の二乗の和を算出するのである。

【０１００】例えば、図３の平均顔データと、図９に示
す正規化された入力顔データの場合について、鼻の場合
を例に取ると、ｄｎ＝（Ｘ_n61−Ｘ_m61）²＋（Ｙ_n61−Ｙ
_m61）²＋（Ｘ_n62−Ｘ_m62）²＋（Ｙ_n62−Ｙ_m62）²＋・・
・・・＋（Ｘ_n65−Ｘ_m65）²＋（Ｙ_n65−Ｙ_m65）²とな
る。

【０１０１】また、数２に示す式において、Ｗ１〜Ｗ５
は重み付け係数であり、予め設定されたものである。

【０１０２】つまり、この評価関数の算出においては、
顔の輪郭や、顔の各パーツ、つまり、眉、目、鼻、口の
それぞれについて、正規化された入力顔データにおける
座標と、平均顔データにおける座標の距離の二乗の和を
算出し、算出された各二乗和に重み付けを行った後に加
算した値を算出し、該値に１を加えたものの逆数を取る
のである。

【０１０３】数２に示す評価関数によって算出された
値、つまり、評価関数値（評価値）は、外部記憶装置２
０等に保持しておく。この評価関数値は、「平均顔デー
タにおける座標と、該座標に対応する座標で正規化され
た入力顔データにおける座標との間の距離の二乗和に基
づく評価値」であるといえる。

【０１０４】なお、上記の評価関数計算処理は、ＣＰＵ
２４がＲＯＭ１６に格納された評価関数計算処理を行な
うためのプログラムに基づいて実行する。この場合の該
プログラムやＣＰＵ２４は、上記評価値算出手段として
機能する。また、このステップＳ１４は、上記評価値算
出ステップに当たる。

【０１０５】そして、上記の平均顔データの選択（Ｓ１
２）と、入力顔データの正規化（Ｓ１３）と、評価関数
の計算（Ｓ１４）を繰り返して、ステップＳ１２〜Ｓ１
４の処理を全ての平均顔データについて行っていく（Ｓ
１５）。つまり、ステップＳ１３の正規化処理や、ステ
ップＳ１４の評価関数計算処理は、各平均顔データごと
に行われることになる。全ての平均顔データについて評
価関数の計算が終了した時点では、平均顔データの数に
応じた数の評価関数値が保持されていることになる。

【０１０６】次に、上記で保持されている評価関数値を
比較して、性別及び年齢を推定する処理を行なう（Ｓ１
６）。すなわち、上記で保持されている評価関数値の中
で、最も評価の高い評価関数値を選択して、その評価関
数値に対応した性別と年齢を出力する。数２に示す評価
関数の場合には、評価関数値が最も大きい場合が最も評
価の高い場合であるといえる。

【０１０７】例えば、図２に示す第１平均顔データ〜第
２０平均顔データにおいて、第５平均顔データについて
の評価が最も高い場合には、入力顔データの人物は、２
５才〜２９才で、男性であると推定される。

【０１０８】なお、上記の推定処理は、ＣＰＵ２４がＲ
ＯＭ１６に格納された推定処理を行なうためのプログラ
ムに基づいて実行する。この場合の該プログラムやＣＰ
Ｕ２４は、上記推定手段として機能する。また、このス
テップＳ１６は、上記推定ステップに当たる。

【０１０９】そして、この推定結果の内容は表示等によ
り出力してもよいし、推定結果に応じたコンテンツを表
示等により出力してもよい。ここで、コンテンツとは、
例えば、商品の広告内容であり、年齢及び性別ごとに異
なるコンテンツを外部記憶装置２０等に記憶して用意し
ておき、推定結果に対応するコンテンツを出力するので
ある。例えば、化粧品の広告の場合、男性向け化粧品の
広告と、女性向け化粧品の広告とを複数の年齢区分に応
じて用意しておき、推定結果に応じて、広告を提供する
のである。

【０１１０】次に、数２に示す評価関数における重み係
数Ｗ１〜Ｗ５を決定する一手法について述べる。人物Ｊ
の性別をｇｊ、年令をａｊとし、それに対して図５に示
した性別・年令推定処理から得られる性別推定値をｇ’
ｊ、年令推定値をａ’ｊとする。ｇｊ及びｇ’ｊについ
ては、人物Ｊの性別が男性のときには０、女性のときに
は１を取るものとする。また、ａｊ及びａ’ｊは年令の
最も若いクラスに属するときを１として年令クラスが高
くなるにつれて１ずつ大きな値を取り、年令の最も高い
クラスのときにはｎを取るものとする。このとき人物Ｊ
の性別・年令推定結果の良さを与える指標ｈ_jを数８で
与える。

【０１１１】

【数８】

【０１１２】そして、年齢と性別が既知の顔画像データ
を複数集めてトレーニング用データ集合を作成してお
き、該トレーニング用データ集合に含まれる顔画像デー
タに対してこの指標ｈ_jを求め、ｈ_jを累積して得た値を
Ｈとするとき、Ｈを最小とする重み係数Ｗ１〜Ｗ５がト
レーニング用データ集合に対して最良の推定結果を与え
る重み係数となる。

【０１１３】例えば、年齢が２６才で性別が女性の顔画
像データがトレーニング用データ集合にある場合に、こ
の顔画像データを入力された顔画像データとして、上記
ステップＳ１１〜ステップＳ１６の処理を行い、性別及
び年齢を推定する。ここで、推定結果が、性別が女性
で、年齢が２５才〜２９才の場合には、ｈ_j＝（１−
１）²＋（３−３）²＝０となる。一方、仮に、推定結果
が、性別が男性で、年齢が２０才〜２４才となった場合
には、ｈ_j＝（１−０）²＋（３−２）²＝２となる。そ
して、トレーニング用データ集合にある複数の顔画像デ
ータについてこの指標ｈ_jを蓄積したものがＨとなる。
よって、このＨが最小となるように、重み係数Ｗ１〜Ｗ
５を決定する。

【０１１４】Ｈは、重み係数Ｗ１〜Ｗ５に対して非線形
な関数となり、Ｈの最小化を与える重み係数を探索する
手法としては、遺伝的アルゴリズムを用いることができ
る。遺伝的アルゴリズムについては、例えば、L.デービ
ス編「遺伝アルゴリズムハンドブック」（森北出版、19
94年）に詳しい。

【０１１５】なお、上記の例では、重み付け係数を決定
するための指標として、上記の数８に示す指標ｈ_jを例
に挙げたが、この他にもさまざまな指標を考えることが
できる。例えば、数９に示すように、ｈ_jが性別、年令
が一致するときには０、一致しないときには１を取るよ
うにしてもよい。

【０１１６】

【数９】

【０１１７】以上のように、本実施例の性別年齢推定装
置Ａによれば、異なる年齢及び性別について作成された
平均顔データと入力顔データとを比較して、人物の年齢
や性別を推定するので、年齢や性別を精度よく推定する
ことができる。特に、上記のように、正規化処理を行っ
た後に、評価関数による評価値を算出して推定を行なう
ので、より高精度な推定を行なうことができる。また、
特に、年齢については、平均顔データを細かい刻みで作
成しておけば、その分細かい範囲で推定することができ
る。例えば、図２の例では、平均顔データを５才刻みで
作成しているが、２才刻みや１才刻み等とすることによ
り、年齢をより細かく推定することができる。

【０１１８】なお、上記の説明では、平均顔データにお
ける年齢について、５才刻みで作成しているが、これに
は限られず、ｎ（ｎは整数）才刻みで作成してよい。

【０１１９】また、ＲＯＭ１６に格納させておく平均顔
データとしては、特徴点の座標データを格納させておく
ものとして説明したが、これには限られず、平均顔の顔
画像データ自体を格納しておき、ステップＳ１２におい
て平均顔データとして選択された際に、所定の抽出手段
により特徴点を抽出して、図３に示すような平均顔デー
タを作成するようにしてもよい。この場合の特徴点の抽
出は、上記抽出ステップに当たる。

【０１２０】また、平均顔データや入力顔データに記憶
される座標の数は、任意であり、図３、図６に示す場合
には限られない。つまり、図３、図６の例では、顔の輪
郭については、２０個の座標を記憶し、鼻については、
５個の座標を記憶するように示されているが、これには
限られない。

【０１２１】また、上記の説明において、平均顔データ
及び入力顔データにおいて設けられている項目は、「顔
の輪郭」、「眉」、「目」、「鼻」、「口」であるとし
たが、他の項目、例えば、「髪型」、「耳」等を入れて
もよい。

【０１２２】また、上記の説明において、評価関数の計
算において用いる評価関数は、数２に示す式であるとし
て説明したが、これには限られず、例えば、以下の数１
０に示すように、数２に示す式において、分母における
括弧内を二乗したものとしてもよい。

【０１２３】

【数１０】

【０１２４】さらに、評価関数としては、他にも以下の
数１１に示すようにしてもよい。この数１１に示す評価
関数は、数２の分母における括弧内の絶対値である。

【０１２５】

【数１１】

【０１２６】また、上記の説明では、平均顔データは、
異なる年齢と性別ごとに設けられていて、年齢と性別が
推定できるものとしているが、いずれか一方のみを推定
できる構成としてもよい。例えば、性別による異なる構
成とはせず、異なる年齢のみによる構成として、年齢の
みが推定できるようにしてもよい。また、逆に、異なる
性別のみによる構成とすることも考えられる。

【０１２７】また、本実施例では、人物の属性として、
年齢と性別を例にとって説明したが、他の属性でもよ
い。例えば、他の属性としては、出身地等が考えられ
る。

【０１２８】また、この性別年齢推定装置Ａの操作は、
ディスプレイ１２やキーボード１４を用いて行なうもの
として説明したが、通信装置２２を用いることにより、
他の端末を用いて操作するようにしてもよい。ステップ
Ｓ１０で入力された顔画像データの保存や、入力顔デー
タの保存や、正規化された入力顔データの保存について
も、通信装置２２を用いて外部の記憶装置に記憶するよ
うにしてもよい。

【０１２９】

【発明の効果】本発明に基づく人物属性評価装置、人物
属性評価方法及び人物属性評価プログラムによれば、あ
る属性（例えば、年齢や性別）における異なるクラスに
ついて作成された平均顔データと入力顔データとを比較
して、該属性においてその人物が属するクラスを推定す
るので、該クラスを精度よく推定することができる。特
に、上記のように、正規化処理を行った後に、評価関数
による評価値を算出して推定を行なうので、より高精度
な推定を行なうことができる。

【図面の簡単な説明】

【図１】本発明の実施例に基づく性別年齢推定装置Ａの
構成を示すブロック図である。

【図２】平均顔データ格納部の構成を示す説明図であ
る。

【図３】平均顔データの内容を説明するための説明図で
ある。

【図４】平均顔データの内容を説明するための説明図で
ある。

【図５】本発明の実施例に基づく性別年齢推定装置Ａの
動作を示すブロック図である。

【図６】入力顔データの内容を説明するための説明図で
ある。

【図７】入力顔データの内容を説明するための説明図で
ある。

【図８】正規化処理を説明するための説明図である。

【図９】正規化処理を説明するための説明図である。

【符号の説明】

Ａ 性別年齢推定装置Ａ １０ カメラ １２ ディスプレイ １４ キーボード １６ ＲＯＭ １８ ＲＡＭ ２０ 外部記憶装置 ２２ 通信装置 ２４ ＣＰＵ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 安本 護 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン内 Ｆターム(参考） 5B043 BA04 DA05 EA07 EA12 EA13 EA15 FA03 FA07 GA01 GA02 GA11

Claims (28)

【特許請求の範囲】
1. 【請求項１】 人物の属性を評価するための人物属性評
   価装置であって、 所定の属性における異なるクラスごとに、平均的な顔の
   画像に関するデータである平均顔データを記憶する平均
   顔データ記憶手段と、 該人物の顔の画像である顔画像を入力する入力手段と、 該入力手段により入力された顔画像に関するデータであ
   る入力顔データが、該平均顔データ記憶手段に記憶され
   た平均顔データと整合するように、各平均顔データごと
   に入力顔データを正規化して、各平均顔データごとに正
   規化された入力顔データを作成する正規化手段と、 該正規化手段により正規化された入力顔データと、平均
   顔データとのずれの度合いを示す評価値を、各平均顔デ
   ータごとに算出する評価値算出手段と、を有することを
   特徴とする人物属性評価装置。
2. 【請求項２】 上記平均顔データ記憶手段において記憶
   されている平均顔データは、平均的な顔の画像における
   座標であって、顔の特徴を表す座標を有するデータであ
   り、また、上記入力顔データが、該入力手段により入力
   された顔画像における座標であって、顔の特徴を表す座
   標を有するデータであることを特徴とする請求項１に記
   載の人物属性評価装置。
3. 【請求項３】 上記平均顔データ記憶手段において記憶
   されている平均顔データは、平均的な顔の画像データで
   あり、さらに、人物属性評価装置が、該平均顔データ記
   憶手段に記憶されている平均顔データから顔の特徴を表
   す座標を抽出する抽出手段を有し、さらに、上記入力顔
   データが、該入力手段により入力された顔画像における
   座標であって、顔の特徴を表す座標を有するデータであ
   ることを特徴とする請求項１に記載の人物属性評価装
   置。
4. 【請求項４】 上記人物属性評価装置が、さらに、上記
   入力手段により入力された顔画像から、該顔画像におけ
   る座標であって、顔の特徴を表す座標を抽出する第２抽
   出手段を有することを特徴とする請求項２又は３に記載
   の人物属性評価装置。
5. 【請求項５】 人物の属性を評価するための人物属性評
   価装置であって、 所定の属性における異なるクラスごとに、平均的な顔の
   画像における座標であって、顔の特徴を表す座標を有す
   る平均顔データを記憶する平均顔データ記憶手段と、 該人物の顔画像を入力する入力手段と、 該入力手段により入力された顔画像における座標であっ
   て、顔の特徴を表す座標を有する入力顔データが平均顔
   データ記憶手段に記憶された平均顔データと整合するよ
   うに、各平均顔データごとに入力顔データを正規化し
   て、各平均顔データごとに、正規化された入力顔データ
   を作成する正規化手段と、 該正規化手段により正規化された入力顔データにおける
   座標と、平均顔データにおける座標とのずれの度合いを
   示す評価値を、各平均顔データごとに算出する評価値算
   出手段と、を有することを特徴とする人物属性評価装
   置。
6. 【請求項６】 人物の属性を評価するための人物属性評
   価装置であって、 所定の属性における異なるクラスごとに、平均的な顔の
   画像における座標であって、顔の特徴を表す座標を有す
   る平均顔データを記憶する平均顔データ記憶手段と、 該人物の顔画像を入力する入力手段と、 該入力手段により入力された顔画像から、該顔画像にお
   ける座標であって、顔の特徴を表す座標を有する入力顔
   データを抽出する入力顔データ抽出手段と、 該入力顔データ抽出手段により抽出された入力顔データ
   が平均顔データ記憶手段に記憶された平均顔データと整
   合するように、各平均顔データごとに入力顔データを正
   規化して、各平均顔データごとに、正規化された入力顔
   データを作成する正規化手段と、 該正規化手段により正規化された入力顔データにおける
   座標と、平均顔データにおける座標とのずれの度合いを
   示す評価値を、各平均顔データごとに算出する評価値算
   出手段と、を有することを特徴とする人物属性評価装
   置。
7. 【請求項７】 上記正規化手段は、平均顔データにおけ
   る座標と、該座標に対応する入力顔データにおける座標
   との距離の和又は該距離の二乗和が最小となるように、
   入力顔データにおける座標を変換することを特徴とする
   ２又は３又は４又は５又は６に記載の人物属性評価装
   置。
8. 【請求項８】 上記評価値算出手段は、平均顔データに
   おける座標と、該座標に対応する座標で正規化された入
   力顔データにおける座標との間の距離又は距離の二乗和
   に基づく評価値を算出することを特徴とする請求項２又
   は３又は４又は５又は６又は７に記載の人物属性評価装
   置。
9. 【請求項９】 上記人物属性評価装置が、さらに、 上記評価値算出手段により算出された評価値に応じて、
   所定の属性のクラスを推定する推定手段を有することを
   特徴とする請求項１又は２又は３又は４又は５又は６又
   は７又は８に記載の人物属性評価装置。
10. 【請求項１０】 上記人物の属性が性別であり、上記ク
    ラスが男性及び女性であることを特徴とする請求項１又
    は２又は３又は４又は５又は６又は７又は８又は９に記
    載の人物属性評価装置。
11. 【請求項１１】 上記人物の属性が年齢であり、上記ク
    ラスが年齢又は年齢を所定間隔ごとに区分した年齢区分
    であることを特徴とする請求項１又は２又は３又は４又
    は５又は６又は７又は８又は９又は１０に記載の人物属
    性評価装置。
12. 【請求項１２】 人物の属性を評価するための人物属性
    評価方法であって、 該人物の顔の画像である顔画像を入力する入力ステップ
    と、 該入力ステップにおいて入力された顔画像に関するデー
    タである入力顔データが、所定の属性における異なるク
    ラスごとに、平均的な顔の画像に関するデータである平
    均顔データを記憶する平均顔データ記憶手段に記憶され
    た平均顔データと整合するように、各平均顔データごと
    に入力顔データを正規化して、各平均顔データごとに、
    正規化された入力顔データを作成する正規化ステップ
    と、 該正規化ステップにおいて正規化された入力顔データ
    と、平均顔データとのずれの度合いを示す評価値を、各
    平均顔データごとに算出する評価値算出ステップと、を
    有することを特徴とする人物属性評価方法。
13. 【請求項１３】 上記平均顔データ記憶手段において記
    憶されている平均顔データは、平均的な顔の画像におけ
    る座標であって、顔の特徴を表す座標を有するデータで
    あり、また、上記入力顔データが、該入力ステップにお
    いて入力された顔画像における座標であって、顔の特徴
    を表す座標を有するデータであることを特徴とする請求
    項１２に記載の人物属性評価方法。
14. 【請求項１４】 上記平均顔データ記憶手段において記
    憶されている平均顔データは、平均的な顔の画像データ
    であり、さらに、人物属性評価方法が、該平均顔データ
    記憶手段に記憶されている平均顔データから顔の特徴を
    表す座標を抽出する抽出ステップを有し、さらに、上記
    入力顔データが、該入力ステップにおいて入力された顔
    画像における座標であって、顔の特徴を表す座標を有す
    るデータであることを特徴とする請求項１２に記載の人
    物属性評価方法。
15. 【請求項１５】 上記人物属性評価方法が、さらに、上
    記入力ステップにより入力された顔画像から、該顔画像
    における座標であって、顔の特徴を表す座標を抽出する
    第２抽出ステップを有することを特徴とする請求項１３
    又は１４に記載の人物属性評価方法。
16. 【請求項１６】 人物の属性を評価するための人物属性
    評価方法であって、 該人物の顔画像を入力する入力ステップと、 該入力ステップにおいて入力された顔画像における座標
    であって、顔の特徴を表す座標を有する入力顔データ
    が、所定の属性における異なるクラスごとに、平均的な
    顔の画像における座標であって、顔の特徴を表す座標を
    有する平均顔データを記憶する平均顔データ記憶手段に
    記憶された平均顔データと整合するように、各平均顔デ
    ータごとに入力顔データを正規化して、各平均顔データ
    ごとに、正規化された入力顔データを作成する正規化ス
    テップと、 該正規化ステップにおいて正規化された入力顔データに
    おける座標と、平均顔データにおける座標とのずれの度
    合いを示す評価値を、各平均顔データごとに算出する評
    価値算出ステップと、を有することを特徴とする人物属
    性評価方法。
17. 【請求項１７】 人物の属性を評価するための人物属性
    評価方法であって、 該人物の顔画像を入力する入力ステップと、 該入力ステップにおいて入力された顔画像から、該顔画
    像における座標であって、顔の特徴を表す座標を有する
    入力顔データを抽出する入力顔データ抽出ステップと、 該入力顔データ抽出ステップにおいて抽出された入力顔
    データが、所定の属性における異なるクラスごとに、平
    均的な顔の画像における座標であって、顔の特徴を表す
    座標を有する平均顔データを記憶する平均顔データ記憶
    手段に記憶された平均顔データと整合するように、各平
    均顔データごとに入力顔データを正規化して、各平均顔
    データごとに、正規化された入力顔データを作成する正
    規化ステップと、 該正規化ステップにより正規化された入力顔データにお
    ける座標と、平均顔データにおける座標とのずれの度合
    いを示す評価値を、各平均顔データごとに算出する評価
    値算出ステップと、を有することを特徴とする人物属性
    評価方法。
18. 【請求項１８】 上記正規化ステップにおいては、平均
    顔データにおける座標と、該座標に対応する入力顔デー
    タにおける座標との距離の和又は該距離の二乗和が最小
    となるように、入力顔データにおける座標を変換するこ
    とを特徴とする請求項１３又は１４又は１５又は１６又
    は１７に記載の人物属性評価方法。
19. 【請求項１９】 上記評価値算出ステップにおいては、
    平均顔データにおける座標と、該座標に対応する座標で
    正規化された入力顔データにおける座標との間の距離又
    は距離の二乗和に基づく評価値を算出することを特徴と
    する請求項１３又は１４又は１５又は１６又は１７又は
    １８に記載の人物属性評価方法。
20. 【請求項２０】 上記人物属性評価方法が、さらに、 上記評価値算出ステップにより算出された評価値に応じ
    て、所定の属性のクラスを推定する推定ステップを有す
    ることを特徴とする請求項１３又は１４又は１５又は１
    ６又は１７又は１８又は１９に記載の人物属性評価方
    法。
21. 【請求項２１】 上記人物の属性が性別であり、上記ク
    ラスが男性及び女性であることを特徴とする請求項１３
    又は１４又は１５又は１６又は１７又は１８又は１９又
    は２０に記載の人物属性評価方法。
22. 【請求項２２】 上記人物の属性が年齢であり、上記ク
    ラスが年齢又は年齢を所定間隔ごとに区分した年齢区分
    であることを特徴とする請求項１３又は１４又は１５又
    は１６又は１７又は１８又は１９又は２０又は２１に記
    載の人物属性評価方法。
23. 【請求項２３】 コンピュータ読取り可能で、人物の属
    性を評価するための人物属性評価プログラムであって、 該人物の顔の画像である顔画像が入力された場合に、入
    力された顔画像に関するデータである入力顔データが、
    所定の属性における異なるクラスごとに、平均的な顔の
    画像に関するデータである平均顔データを記憶する平均
    顔データ記憶手段に記憶された平均顔データと整合する
    ように、各平均顔データごとに入力顔データを正規化し
    て、各平均顔データごとに、正規化された入力顔データ
    を作成する正規化ステップと、 該正規化手段により正規化された入力顔データと、平均
    顔データとのずれの度合いを示す評価値を、各平均顔デ
    ータごとに算出する評価値算出ステップと、をコンピュ
    ータに実行させるための人物属性評価プログラム。
24. 【請求項２４】 コンピュータ読取り可能で、人物の属
    性を評価するための人物属性評価プログラムであって、 該人物の顔の画像である顔画像が入力された場合に、入
    力された顔画像における座標であって、顔の特徴を表す
    座標を有する入力顔データが、所定の属性における異な
    るクラスごとに、平均的な顔の画像における座標であっ
    て、顔の特徴を表す座標を有する平均顔データを記憶す
    る平均顔データ記憶手段に記憶された平均顔データと整
    合するように、各平均顔データごとに入力顔データを正
    規化して、各平均顔データごとに、正規化された入力顔
    データを作成する正規化ステップと、 該正規化ステップにおいて正規化された入力顔データに
    おける座標と、平均顔データにおける座標とのずれの度
    合いを示す評価値を、各平均顔データごとに算出する評
    価値算出ステップと、をコンピュータに実行させるため
    の人物属性評価プログラム。
25. 【請求項２５】 コンピュータ読取り可能で、人物の属
    性を評価するための人物属性評価プログラムであって、 該人物の顔画像である顔画像が入力された場合に、入力
    された顔画像から、該顔画像における座標であって、顔
    の特徴を表す座標を有する入力顔データを抽出する入力
    顔データ抽出ステップと、 該入力顔データ抽出ステップにおいて抽出された入力顔
    データが、所定の属性における異なるクラスごとに、平
    均的な顔の画像における座標であって、顔の特徴を表す
    座標を有する平均顔データを記憶する平均顔データ記憶
    手段に記憶された平均顔データと整合するように、各平
    均顔データごとに入力顔データを正規化して、各平均顔
    データごとに、正規化された入力顔データを作成する正
    規化ステップと、 該正規化ステップにより正規化された入力顔データにお
    ける座標と、平均顔データにおける座標とのずれの度合
    いを示す評価値を、各平均顔データごとに算出する評価
    値算出ステップと、をコンピュータに実行させるための
    人物属性評価プログラム。
26. 【請求項２６】 上記正規化ステップにおいては、平均
    顔データにおける座標と、該座標に対応する入力顔デー
    タにおける座標との距離の和又は該距離の二乗和が最小
    となるように、入力顔データにおける座標を変換するこ
    とを特徴とする請求項２４又は２５に記載の人物属性評
    価プログラム。
27. 【請求項２７】 上記評価値算出ステップにおいては、
    平均顔データにおける座標と、該座標に対応する座標で
    正規化された入力顔データにおける座標と、の間の距離
    又は距離の二乗和に基づく評価値を算出することを特徴
    とする請求項２４又は２５又は２６に記載の人物属性評
    価プログラム。
28. 【請求項２８】 上記人物属性評価プログラムが、さら
    に、 上記評価値算出ステップにより算出された評価値に応じ
    て、所定の属性のクラスを推定する推定ステップを有す
    ることを特徴とする請求項２４又は２５又は２６又は２
    ７に記載の人物属性評価プログラム。