JP2004102359A

JP2004102359A - Image processing device, method and program

Info

Publication number: JP2004102359A
Application number: JP2002259311A
Authority: JP
Inventors: Shigeru Mukoda; 向田　茂; Miyuki Kamaike; 蒲池　みゆき; Keisuke Kinoshita; 木下　敬介; Kunihiro Chihara; 千原　國宏
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2002-09-04
Filing date: 2002-09-04
Publication date: 2004-04-02
Anticipated expiration: 2022-09-04
Also published as: JP3920747B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing device, method and program for extracting the characteristic of a specific attribute of an image without depending on subjectivity. <P>SOLUTION: A plurality of personal face images are stored. Coordinate values of a plurality of characteristic points of each stored face image are extracted. An age attribute value of each face image is acquired. The shape characteristic vector F<SB>i</SB>of each face image is configurated by using the coordinate values of the plurality of characteristic points and the age attribute value acquired for each face image. A characteristic value σ<SB>1</SB>of a first main component is calculated by analyzing the main component on the basis of the shape characteristic vector F<SB>i</SB>of the plurality of face images. A main component characteristic vector P<SB>max</SB>, P<SB>min</SB>of the first main component is configurated by using a characteristic value σ<SB>1</SB>of the first main component. A face shape vector F<SB>max</SB>, F<SB>min</SB>of the first main component is configurated by using the characteristic value σ<SB>1</SB>of the first main component. The face shape vector F<SB>max</SB>, F<SB>min</SB>of the first main component is reconfigurated by using the characteristic value σ<SB>1</SB>of the first main component, and the age characteristic vector F representing the age attribute characteristic is extracted. The face image of the desired age is composed by using the age characteristic vector F. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の所定の属性の特徴を抽出する画像処理装置、画像処理方法および画像処理プログラムに関する。
【０００２】
【従来の技術】
コミュニケーションにおいて、顔は重要な役割を果たしている。特に、顔からは、年齢、人種、性別、表情等の様々な情報を得ることができる。経験的には、相手の年齢から言葉遣いや態度を決めることもしばしばあり、年齢はコミュニケーションのための重要な要素の一つと言える。
【０００３】
顔の年齢変化を操作する顔画像合成手法には、顔の経年変化の骨格モデルから形状変化の特徴的な部分を変形パラメータとして用いることにより顔画像を合成する方法や、複数の顔画像を元に生成した異なる世代の平均顔の差分情報を用いて顔画像を合成する方法等が提案されている（例えば、非特許文献１、非特許文献２参照）。骨格モデルから変形パラメータを用いる方法では、人為的に設定した限られた変形パラメータのみを用いているため、経年変化に影響する特徴を的確に操作できているとは言いきれない。一方、異なる世代の平均顔の差分情報を用いる方法では、各世代の平均顔を作成する際に、十分な数のオリジナル顔画像を用いる必要がある。オリジナル顔画像の数が十分でないと、抽出した差分情報には年齢要素だけではなく、オリジナル顔画像のもつ個人特徴の要素の差が含まれてしまいかねない。
【０００４】
【非特許文献１】
中川雅通，宋續敏彦，角義恭，前原文雄，千原國宏，“骨格モデルを用いた顔画像の年齢変化シミュレーション，”信学論（Ａ），Ｖｏｌ．Ｊ８０−Ａ，Ｎｏ．８，ｐｐ．１３１２−１３１５，Ａｕｇ．　１９９７．
【非特許文献２】
Ｄ．Ａ．Ｒｏｗｌａｎｄ，　Ｄ．Ｉ．Ｐｅｒｒｅｔｔ，　“Ｍａｎｉｐｕｌａｔｉｎｇ　Ｆａｃｉａｌ　Ａｐｐｅａｒａｎｃｅ　ｔｈｒｏｕｇｈ　Ｓｈａｐｅ　ａｎｄ　Ｃｏｌｏｒ，　”　ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，　Ｖｏｌ．１５，　Ｎｏ．５，　ｐｐ．７０−７６，　Ｓｅｐ．１９９５．
【０００５】
【発明が解決しようとする課題】
近年、主成分分析（Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ：ＰＣＡ）を用いた年齢特徴抽出が試みられている。ＰＣＡは、複数の変量（変数）により構成される多次元空間（特徴ベクトル）を、できる限り少ない次元数の特徴ベクトルとして表現しようとする多変量解析手法である。
【０００６】
ＰＣＡを用いた顔画像合成も行われているが、従来手法の特徴抽出では、年齢や表情に関する主成分を指示および抽出することは難しい。年齢の異なる複数の顔画像をデータとして投入し分析する場合、ＰＣＡの性質から上位の主成分には年齢変化に関与する成分を含んだ結果が得られることは十分に考えられる。しかし、得られた結果から、年齢変化に強く関与する主成分を取得するには、主成分ごとにデータを復元し、もっともらしい主成分を主観で選択するという方法が取られてきた。したがって、主成分を選択する人により得られる結果が異なることになる。
【０００７】
本発明の目的は、画像の所定の属性の特徴を主観によらずに抽出することができる画像処理装置、画像処理方法および画像処理プログラムに関する。
【０００８】
【課題を解決するための手段および発明の効果】
第１の発明に係る画像処理装置は、複数の画像を記憶する画像記憶手段と、画像記憶手段に記憶された各画像の複数の形態的特徴を抽出する特徴抽出手段と、形態的特徴とは異なる各画像の属性を取得する属性取得手段と、特徴抽出手段により抽出された各画像の複数の形態的特徴および属性取得手段により取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルを構成する形態特徴ベクトル構成手段と、形態特徴ベクトル構成手段により構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分を算出する主成分分析手段とを備えたものである。
【０００９】
本発明に係る画像処理装置においては、複数の画像が画像記憶手段により記憶され、記憶された各画像の複数の形態的特徴が特徴抽出手段により抽出される。また、形態的特徴とは異なる各画像の属性が属性取得手段により取得される。抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルが形態特徴ベクトル構成手段により構成される。構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分が主成分分析手段により算出される。
【００１０】
このようにして得られた第１主成分は、形態特徴ベクトルに変量として加えられた属性と密接に関与している。したがって、第１主成分に基づいて画像の所定の特徴を主観によらずに確実に抽出することができる。
【００１１】
第２の発明に係る画像処理装置は、第１の発明に係る画像処理装置の構成において、主成分分析手段により算出された第１主成分の固有値を用いて第１主成分の変化範囲を決定する変化範囲決定手段と、変化範囲決定手段により決定された第１主成分の変化範囲での複数の形態的特徴の変化量を変量として用いて属性の特徴を示す属性特徴ベクトルを再構成する属性特徴ベクトル再構成手段とをさらに備えたことを特徴とする。
【００１２】
この場合、主成分分析手段により算出された第１主成分の固有値を用いて第１主成分の変化範囲が変化範囲決定手段により決定される。また、決定された第１主成分の変化範囲での複数の形態的特徴の変化量を変量として用いて属性の特徴を示す属性特徴ベクトルが属性特徴ベクトル再構成手段により再構成される。
【００１３】
このようにして得られた属性特徴ベクトルの各変量は、属性の変化による各形態的特徴の変化量を示している。したがって、画像の属性の特徴を各形態的特徴の変化量として抽出することができる。
【００１４】
第３の発明に係る画像処理装置は、第２の発明に係る画像処理装置の構成において、属性特徴ベクトル再構成手段により得られた属性特徴ベクトルを用いて特定の画像から属性が異なる他の画像を合成する画像合成手段をさらに備えたことを特徴とする。
【００１５】
この場合、属性特徴ベクトルの各変量が画像の属性の変化による各形態的特徴の変化量を示しているので、属性特徴ベクトルを用いて特定の画像から属性が異なる他の画像を合成することができる。
【００１６】
第４の発明に係る画像処理装置は、第３の発明に係る画像処理装置の構成において、画像合成手段は、特定の画像の複数の形態的特徴を変量とする形態特徴ベクトルを構成し、その形態特徴ベクトルの各変量を属性特徴ベクトルの対応する変量に基づいて修正し、修正された変量を有する形態特徴ベクトルから他の画像を合成することを特徴とする。
【００１７】
この場合、特定の画像の複数の形態的特徴を変量とする形態特徴ベクトルが構成され、その形態特徴ベクトルの各変量が属性特徴ベクトルの対応する変量に基づいて修正され、修正された変量を有する形態特徴ベクトルから他の画像が合成される。このようにして、属性特徴ベクトルを用いて特定の画像から属性が異なる他の画像を合成することができる。
【００１８】
第５の発明に係る画像処理装置は、第１〜第４のいずれかの発明に係る画像処理装置の構成において、複数の画像は、複数の顔画像であり、属性は、見かけの年齢、実年齢、性別、人種、表情または体形であることを特徴とする。
【００１９】
属性が見かけの年齢の場合、形態特徴ベクトルに見かけの年齢を変量として加えることにより、主成分分析により得られた第１主成分は見かけの年齢と密接に関与している。したがって、第１主成分に基づいて顔画像の見かけの年齢の特徴を主観によらずに確実に抽出することができる。属性が実年齢の場合、形態特徴ベクトルに実年齢を変量として加えることにより、主成分分析により得られた第１主成分は実年齢と密接に関与している。したがって、第１主成分に基づいて顔画像の実年齢の特徴を主観によらずに確実に抽出することができる。属性が性別の場合、形態特徴ベクトルに性別を変量として加えることにより、主成分分析により得られた第１主成分は性別と密接に関与している。したがって、第１主成分に基づいて顔画像の性別の特徴を主観によらずに確実に抽出することができる。属性が人種の場合、形態特徴ベクトルに人種を変量として加えることにより、主成分分析により得られた第１主成分は人種と密接に関与している。したがって、第１主成分に基づいて顔画像の人種の特徴を主観によらずに確実に抽出することができる。属性が表情の場合、形態特徴ベクトルに表情を変量として加えることにより、主成分分析により得られた第１主成分は表情と密接に関与している。したがって、第１主成分に基づいて顔画像の表情の特徴を主観によらずに確実に抽出することができる。属性が体形の場合、形態特徴ベクトルに体形を変量として加えることにより、主成分分析により得られた第１主成分は体形と密接に関与している。したがって、第１主成分に基づいて顔画像の体形の特徴を主観によらずに確実に抽出することができる。
【００２０】
第６の発明に係る画像処理装置は、第１〜第５のいずれかの発明に係る画像処理装置の構成において、複数の形態的特徴は、予め定められた複数の特徴点の座標値を含むことを特徴とする。
【００２１】
この場合、複数の形態的特徴が複数の特徴点の座標値により表される。したがって、第１主成分により画像の形状における属性の特徴を主観によらずに確実に抽出することができる。
【００２２】
第７の発明に係る画像処理方法は、複数の画像を記憶するステップと、記憶された各画像の複数の形態的特徴を抽出するステップと、形態的特徴とは異なる各画像の属性を取得するステップと、抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルを構成するステップと、構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分を算出するステップとを備えたものである。
【００２３】
本発明に係る画像処理方法においては、複数の画像が記憶され、記憶された各画像の複数の形態的特徴が抽出される。また、形態的特徴とは異なる各画像の属性が取得される。抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルが構成される。構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分が算出される。
【００２４】
このようにして得られた第１主成分は、形態特徴ベクトルに変量として加えられた属性と密接に関与している。したがって、第１主成分に基づいて画像の所定の特徴を主観によらずに確実に抽出することができる。
【００２５】
第８の発明に係る画像処理プログラムは、コンピュータ読み取り可能な画像処理プログラムであって、コンピュータ読み取り可能な画像処理プログラムであって、複数の画像を記憶する処理と、記憶された各画像の複数の形態的特徴を抽出する処理と、形態的特徴とは異なる各画像の属性を取得する処理と、抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルを構成する処理と、構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分を算出する処理とを、コンピュータに実行させるものである。
【００２６】
本発明に係る画像処理プログラムによれば、複数の画像が記憶され、記憶された各画像の複数の形態的特徴が抽出される。また、形態的特徴とは異なる各画像の属性が取得される。抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルが構成される。構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分が算出される。
【００２７】
このようにして得られた第１主成分は、形態特徴ベクトルに変量として加えられた属性と密接に関与している。したがって、第１主成分に基づいて画像の所定の特徴を主観によらずに確実に抽出することができる。
【００２８】
【発明の実施の形態】
以下、本発明の一実施の形態における画像処理方法の概念を説明する。ここでは、画像が個人の顔画像であり、複数の形態的特徴が目、口等の顔パーツ（顔部品）の形状特徴を構成するＬ個の特徴点（ｘ，ｙ）の２次元座標であり、属性が年齢である場合を説明する。ここで、Ｌは、２以上の整数であり、ｘは顔画像におけるｘ座標、ｙは顔画像におけるｙ座標である。
【００２９】
本実施の形態では、まず、個人の顔画像を表す特徴ベクトル（形状特徴ベクトル）として、Ｌ個の特徴点（ｘ，ｙ）の２次元座標だけでなく、画像には直接関係はないが、年齢特徴に強く影響を与える既知の属性値（年齢属性値）に重みを加えたものを変量ａとして加え、以下に示すように、主成分分析（ＰＣＡ）による次元圧縮を行う。
【００３０】
具体的には以下の手順で行う。個人の顔画像の形状特徴ベクトルは、次式のように、２Ｌ＋１次元のベクトルＦ_ｉ（ｉ＝１，２，・・・，Ｍ）として表す。ＭはＰＣＡに用いる個人の顔画像の数である。
【００３１】
Ｆ_ｉ＝［ｘ_１，ｙ_１，ｘ_２，ｙ_２，ｘ_３，ｙ_３，…，ｘ_Ｌ，ｙ_Ｌ，ａ］^Ｔ　…（１）
上式（１）において、Ｔは転置を示す。すべての顔画像の形状特徴ベクトルの平均値が形状特徴ベクトル空間の中心に配置されるように各要素（変量）から平均Ｆ_ＡＶを引く。
【００３２】
ΔＦ_ｉ＝Ｆ_ｉ−Ｆ_ＡＶ　…（２）
次に、上式（２）を用いて新たに顔特徴空間Ｇを次式（３）により定義する。
【００３３】
Ｇ＝［ΔＦ_１，ΔＦ_２…，ΔＦ_Ｍ］　…（３）
そして、次式（４）により顔特徴空間Ｇの共分散行列Ｓを求める。
【００３４】
Ｓ＝ＧＧ^Ｔ　…（４）
上式（４）より求められた共分散行列Ｓに対して次式（５）により特異値分解を行うことにより、各固有ベクトルを顔特徴空間Ｇの主成分として求めることができる。
【００３５】
Ｓ＝ＵＤＵ^Ｔ　…（５）
Ｕはユニタリ行列であり、各列が固有ベクトルとなる。すなわち、ユニタリ行列Ｕの第１列には第１番目〜第Ｍ番目の顔画像における第１主成分の主成分得点が順に並び、第２列には第１番目〜第Ｍ番目の顔画像における第２主成分の主成分得点が順に並び、第３列には第１番目〜第Ｍ番目の顔画像における第３主成分の主成分得点が順に並ぶ。同様に、ユニタリ行列Ｕの第Ｍ列には第１番目〜第Ｍ番目の顔画像における第（２Ｌ＋１）主成分の主成分得点が並ぶ。Ｄは対角行列であり、対角成分が各主成分の固有値である。すなわち、対角行列Ｄの対角成分は、第１主成分〜第（２Ｌ＋１）主成分の固有値λ_１〜λ_２Ｌ＋１である。
【００３６】
ここで得られた第１主成分は、後述するように、属性値として加えた成分（年齢）の影響を強く受けており、第１主成分の主成分得点の値は、年齢属性値を強く反映したものになる。
【００３７】
ここで、第１主成分の標準偏差をσ_１とし、その３倍を形状特徴の変化範囲とする。主成分の固有値は主成分の分散であることから、第１主成分の標準偏差σ_１は、第１主成分の固有値λ_１より次式（６）のようになる。
【００３８】
σ_１ ^２＝λ_１　…（６）
第１主成分の標準偏差σ_１の３倍の範囲、すなわち−（３／２）σ_１から＋（３／２）σ_１の範囲を顔形状（形状特徴）の変化範囲とする。この変化範囲にすべての顔画像のうち９０％以上が属する。＋（３／２）σ_１を第１主成分の主成分得点とし、他の主成分の主成分得点を０とする主成分特徴ベクトルをＰ_ｍａｘとする。また、−（３／２）σ_１を第１主成分の主成分得点とし、他の主成分の主成分得点を０とする主成分特徴ベクトルをＰ_ｍｉｎとする。主成分特徴ベクトルＰ_ｍａｘはＭ個の顔画像より求められる平均顔画像において最年長（または最年少）の顔画像に対応し、主成分特徴ベクトルＰ_ｍｉｎはＭ個の顔画像により求められる平均顔画像において最年少（または最年長）の顔画像に対応する。
【００３９】
Ｐ_ｍａｘ＝［＋（３／２）σ_１，０，０，…，０］^Ｔ　…（７）
Ｐ_ｍｉｎ＝［−（３／２）σ_１，０，０，…，０］^Ｔ　…（８）
上式（７），（８）の主成分特徴ベクトルＰ_ｍａｘ，Ｐ_ｍｉｎより顔形状ベクトルＦ_ｍａｘ，Ｆ_ｍｉｎを再構成する。顔形状ベクトルＦ_ｍａｘは最年長（または最年少）の平均顔画像を表し、顔形状ベクトルＦ_ｍｉｎは最年少（または最年長）の平均顔画像を表す。そして、次式のように、顔形状ベクトルＦ_ｍａｘと顔形状ベクトルＦ_ｍｉｎとの差を年齢特徴を表す特徴ベクトル（年齢特徴ベクトル）Ｆとして抽出する。
【００４０】
Ｆ＝Ｆ_ｍａｘ−Ｆ_ｍｉｎ　…（９）
ただし、年齢特徴ベクトルＦには属性値は必要ないため、年齢特徴ベクトルＦは年齢属性値を削除した２Ｌ次元のベクトルとする。
【００４１】
Ｆ＝［ｘ_１，ｙ_１，ｘ_２，ｙ_２，…，ｘ_２Ｌ，ｙ_２Ｌ］^Ｔ　…（１０）
上式（１０）の年齢特徴ベクトルＦは、最年長の平均顔画像と最年少の平均顔画像との間での各特徴点の移動量を表している。例えば、変量ｘ_１は１番目の特徴点のｘ座標の移動量を表し、変量ｙ_１は１番目の特徴点のｙ座標の移動量を表す。
【００４２】
上式（１０）の年齢特徴ベクトルＦを用いて次のようにして特定の個人のオリジナル顔画像からその個人の異なる年齢の顔画像を合成することができる。
【００４３】
まず、特定の個人のオリジナル顔画像の形状特徴ベクトルＦ^Ｉを次式のように構成する。
【００４４】
Ｆ^Ｉ＝［ｘ_１，ｙ_１，ｘ_２，ｙ_２，…，ｘ_２Ｌ，ｙ_２Ｌ］^Ｔ　…（１１）
上式（１１）の変量ｘ_１，ｙ_１，ｘ_２，ｙ_２，…，ｘ_２Ｌ，ｙ_２Ｌはオリジナル顔画像のＬ個の特徴点のｘ座標およびｙ座標である。
【００４５】
次に、上式（１０）の年齢特徴ベクトルＦの各変量ｘ_１，ｙ_１，ｘ_２，ｙ_２，…，ｘ_２Ｌ，ｙ_２Ｌに合成割合ｂを乗算し、次式の修正ベクトルＦ’を算出する。
【００４６】
Ｆ’＝［ｂｘ_１，ｂｙ_１，ｂｘ_２，ｂｙ_２，…，ｂｘ_２Ｌ，ｂｙ_２Ｌ］^Ｔ　…（１２）
上式（１１）のオリジナル顔画像の形状特徴ベクトルＦ^Ｉに上式（１２）の修正ベクトルＦ’を次式のように加算または減算し、年齢特徴をマッピングした形状特徴ベクトルＦ^Ｓを作成する。
【００４７】
Ｆ^Ｓ＝Ｆ^Ｉ±Ｆ’　…（１３）
上式（１３）の形状特徴ベクトルＦ^Ｓから顔画像を再構成することによりオリジナル顔画像に対して年齢が異なる顔画像を合成することができる。この場合、上式（１２）における合成割合ｂの値を任意に設定することにより、任意の年齢の顔画像を合成することが可能となる。
【００４８】
次に、図１を用いて本実施の形態の画像処理方法を実行するための画像処理装置の構成を説明する。図１は本実施の形態の画像処理方法を実施するための画像処理装置の構成を示すブロック図である。
【００４９】
画像処理装置５０は、ＣＰＵ（中央演算処理装置）５０１、ＲＯＭ（リードオンリメモリ）５０２、ＲＡＭ（ランダムアクセスメモリ）５０３、入力装置５０４、表示装置５０５、外部記憶装置５０６、記録媒体駆動装置５０７および印刷装置５０８を含む。
【００５０】
入力装置５０４は、キーボード、マウス、スキャナ、デジタルカメラ等からなり、各種指令、データおよび画像を入力するために用いられる。ＲＯＭ５０２にはシステムプログラムが記憶される。記録媒体駆動装置５０７は、ＣＤ−ＲＯＭドライブ、フロッピィディスクドライブ等からなり、ＣＤ−ＲＯＭ、フロッピィディスク等の記録媒体５０９に対してデータの読み書きを行う。記録媒体５０９には、画像処理プログラムが記憶されている。外部記憶装置５０６は、ハードディスク装置等からなり、記録媒体駆動装置５０７を介して記録媒体５０９から読み込まれた画像処理プログラムおよび各種データを記憶する。ＣＰＵ５０１は、外部記憶装置５０６に記憶された画像処理プログラムをＲＡＭ５０３上で実行する。
【００５１】
表示装置５０５は、液晶表示パネル、ＣＲＴ（陰極線管）等からなり、各種画像等を表示する。印刷装置５０８は、各種画像等を印刷する。
【００５２】
なお、画像処理プログラムを記録する記録媒体５０９として、ＲＯＭ等の半導体メモリ、ハードディスク等の種々の記録媒体を用いることができる。また、画像処理プログラムを通信回線等の通信媒体を介して外部記憶装置５０６にダウンロードし、ＲＡＭ５０３上で実行してもよい。
【００５３】
本実施の形態では、外部記憶装置５０６が画像記憶手段に相当し、ＣＰＵ５０１が特徴抽出手段、属性取得手段、形態特徴ベクトル構成手段、主成分分析手段、変化範囲決定手段、属性特徴ベクトル再構成手段および画像合成手段に相当する。
【００５４】
図２は図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。ここでは、ある年齢の個人のオリジナル顔画像からその個人の他の年齢の顔画像を合成する方法の例を示す。
【００５５】
まず、ＣＰＵ５０１は、入力装置５０４により入力された複数の個人の顔画像を画像データとして外部記憶装置５０６に記憶する（ステップＳ１）。この場合、予めデータベースに記憶された複数の個人の顔画像の画像データを用いてもよい。
【００５６】
次に、ＣＰＵ５０１は、外部記憶装置５０６に記憶された画像データに基づいて各顔画像の複数の特徴点の座標値を抽出する（ステップＳ２）。本実施の形態では、各特徴点のｘ座標およびｙ座標を抽出する。
【００５７】
次に、ＣＰＵ５０１は、各顔画像の年齢属性値を取得する（ステップＳ３）。年齢属性値は、各顔画像ごとに入力装置５０４により入力してもよく、あるいは各顔画像ごとに予めデータベースに記憶された年齢属性値を用いてもよい。本実施の形態では、後述する年齢知覚実験により得られた見かけの年齢を年齢属性値として用いる。
【００５８】
さらに、ＣＰＵ５０１は、各顔画像ごとに抽出された複数の特徴点の座標値および年齢属性値を用いて各顔画像の形状特徴ベクトルＦ_ｉ（式（１）参照）を構成する（ステップＳ４）。
【００５９】
次いで、ＣＰＵ５０１は、複数の顔画像の形状特徴ベクトルＦ_ｉから式（２）〜（６）に従って主成分分析により第１主成分の固有値σ_１を算出する（ステップＳ５）。また、ＣＰＵ５０１は、第１主成分の固有値σ_１を用いて式（７）の第１主成分の主成分特徴ベクトルＰ_ｍａｘ，Ｐ_ｍｉｎを構成する（ステップＳ６）。
【００６０】
次に、ＣＰＵ５０１は、第１主成分の固有値σ_１を用いて式（７）の第１主成分の顔形状ベクトルＦ_ｍａｘ，Ｆ_ｍｉｎを再構成し（ステップＳ７）、式（８）の年齢特徴を表す年齢特徴ベクトルＦを抽出する（ステップＳ８）。
【００６１】
次いで、ＣＰＵ５０１は、年齢特徴ベクトルＦを用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成する（ステップＳ９）。
【００６２】
このようにして、画像処理プログラムを画像処理装置において実行することにより複数の個人の顔画像を用いて年齢特徴に密接に関連する顔形状の特徴を年齢特徴ベクトルＦとして抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成することができる。
【００６３】
上記のように、本実施の形態の画像処理装置、画像処理方法および画像処理プログラムにより未知の顔画像を合成することができるので、それらを犯罪捜査等に利用することができる。
【００６４】
なお、上記実施の形態では、画像の形態的特徴として顔形状の特徴を表す複数の特徴点の座標値を用いているが、画像の形態的特徴として肌の色合い、しみ、しわ等のテクスチャ（肌合い）を用いることもできる。また、年齢の知覚は、顔内部の形状だけではなく、髪型等を考慮してもよい。
【００６５】
さらに、上記実施の形態では、属性として見かけの年齢を用いているが、属性として見かけの年齢の代わりに実年齢を用いてもよい。また、属性として表情、人種、性別、体形等の他の属性を用いてもよい。
【００６６】
属性が実年齢の場合、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて実年齢の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から実年齢の異なる顔画像を合成することができる。
【００６７】
属性が表情の場合、喜怒哀楽等の表情をそれぞれ異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて表情の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から表情の異なる顔画像を合成することができる。
【００６８】
属性が人種の場合、異なる複数の人種をそれぞれ異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて人種の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から人種の異なる顔画像を合成することができる。
【００６９】
属性が性別の場合、男女の性別を異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて性別の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から性別の異なる顔画像を合成することができる。
【００７０】
属性が体形の場合、異なる体形を異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて体形の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から体形の異なる顔画像を合成することができる。
【００７１】
また、上記実施の形態では、画像が個人の顔画像である場合を説明したが、これに限定されない。例えば、画像が動物の画像であってもよい。
【００７２】
【実施例】
１．予備実験
個人の顔の経年変化に関わる形状特徴について考える場合、ＰＣＡの変量に与える属性値として、実年齢を利用すればよい。しかし、顔の経年変化では、形状とともに、しみやしわ、肌のきめ等も変化することは経験的にも明らかである。本実施例では、経年変化により変化する顔の形状特徴ではなく、みかけの年齢、つまり若く見える顔や、老けて見える顔の形状の特徴について検討した。そして、見かけの年齢の属性値として、実年齢を与えたのでは不十分であるため、見かけの年齢の属性値を求めるために年齢知覚実験（年齢評定実験）を行った。
【００７３】
１−１．手続
年齢知覚実験における実験刺激には、ＡＴＲ（株式会社国際電気通信基礎技術研究所）の表情顔画像データベースから、日本人男女各１４２名の無表情、正面向き、実年齢が１０代後半から３０代後半の顔画像を用いた。また、顔画像は５１２×５１２ピクセルのカラー画像であり、顔が枠内に十分入る大きさであった。被験者は大学生（１８才〜２２才）の男性２５名および女性２２名であった。
【００７４】
実験は、次の手順で行われた。被験者は、モニタに表示される顔画像の年齢を推定し、表１に示す年齢評定カテゴリの中で最も適するカテゴリを選択するよう求められた。
【００７５】
【表１】

【００７６】
表１に示すように、年齢を８つのカテゴリに分類し、それらのカテゴリに年齢の若い順に０〜７の評定値を与えた。
【００７７】
１−２．結果
顔画像ごとに評定値の平均および標準偏差を求めた。図４は顔画像ごとの評定置の平均を降順に並び替えてプロットした図である。図４の横軸は、１４２名の顔画像を示し、縦軸は、各顔画像の評定値の平均を示す。三角印および丸印はそれぞれ男性および女性の顔画像の評定値の平均を表す。
【００７８】
個々の顔画像より得られた標準偏差から顔画像の性別ごとに平均を求めた。標準偏差の平均は、男性の顔画像では０．８５、女性の顔画像では０．８９であった。つまり、男女の顔とも±５才程度の誤差で年齢が推定されたことになる。
【００７９】
なお、男女で顔画像は異なり、顔画像間に関連もないため、顔画像間の比較には意味がない。
【００８０】
２．年齢特徴抽出実験
次に、上記の年齢知覚実験により得られた見かけの年齢属性値を用いて顔年齢特徴抽出実験を行った。顔情報に見かけの年齢属性値を付加する場合（以下、属性値付加条件と呼ぶ）と、顔情報に見かけの年齢属性値を付加しない場合（以下、属性値なし条件と呼ぶ）とで、抽出される形状特徴の比較を行った。
【００８１】
２−１．手続き
顔画像の形状特徴には、ＡＴＲの顔画像合成システム（ＦＵＴＯＮ）（蒲池みゆき，向田茂，吉川左紀子，加藤隆，尾田正臣，赤松茂，“顔・表情認知に関する心理実験のための顔画像合成システム−ＦＵＴＯＮ　Ｓｙｓｔｅｍ−，”信学技法，ＨＩＰ９７−３９，ｐｐ．７３−８０，Ｊａｎ．１９９８および向田茂，蒲池みゆき，赤松茂，“顔画像合成システム（ＦＵＴＯＮ　ｓｙｓｔｅｍ）におけるマニュアルサンプリングの評価，”信学技法，ＨＩＰ９９−４９，ｐｐ．１３−１８，Ｎｏｖ．１９９９参照）のデフォルト特徴点８３点の座標値を用いた。図５は顔特徴ベクトルの変量として用いた特徴点を示す図である。図５において、８３点の特徴点を黒丸で示し、各特徴点を識別するために符号を付している。
【００８２】
顔画像としては、予備実験で用いた男女の各１４２枚の顔画像を用いた。ただし、顔幅（特徴点Ｆｒ３，Ｆｌ３間の長さ）が２３０ピクセルになるように、また両目の瞳を結ぶ直線が水平になるように正規化した。
【００８３】
男女の顔画像ごとに、属性値なし条件および属性値付加条件のそれぞれにおいてＰＣＡによる次元圧縮を行った。
・属性値なし条件
従来手法の属性値なし条件では、顔情報（形状特徴ベクトルの変量）として、８３点の特徴点の座標値のみを用いた。１枚の顔画像を１６６次元の形状特徴ベクトルＦ_Ｎとして表した。
【００８４】
Ｆ_Ｎ＝（ｘ_１，ｙ_１，ｘ_２，ｙ_２，ｘ_３，ｙ_３，…，ｘ_８３，ｙ_８３）^Ｔ
・属性値付加条件
属性値付加条件では、顔情報として（形状特徴ベクトルの変量）、８３点の特徴点の座標値に加え，予備実験で得られた各顔画像の評定値の平均値を１００倍した値を、見かけの年齢属性値ａとして用いた。そして、１枚の顔画像を１６７次元の形状特徴ベクトルＦ_Ａとして表した。
【００８５】
Ｆ_Ａ＝（ｘ_１，ｙ_１，ｘ_２，ｙ_２，ｘ_３，ｙ_３，…，ｘ_８３，ｙ_８３，ａ）^Ｔ
得られた主成分ごとの固有値から、その主成分の変化量を決定し、主成分ごとに形状特徴ベクトルを再構成後、視覚的にその差を比較した。
【００８６】
２−３．結果
男女それぞれの顔画像について、属性値なし条件および属性値付加条件から得られた各主成分における主成分得点を分析した。もし、主成分が年齢変化に強く関与しているのであれば、顔画像を年齢順に並べたとき、主成分上の各顔画像の主成分得点は昇順あるいは降順に並んでいるはずである。そこで、男女の顔画像での各条件で得られた主成分のうち第１主成分から第３主成分までの主成分得点をプロットした。
【００８７】
図６（ａ）は男性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図、図６（ｂ）は女性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図である。また、図７（ａ）は男性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図、図７（ｂ）は女性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図である。図６および図７の横軸は見かけの年齢（評定値）の高い順に並べた顔画像を示し、縦軸は主成分得点（ＰＣ　ｓｃｏｒｅ）を示す。四角印は第１主成分の主成分得点を示し、丸印は第２主成分の主成分得点を示し、三角印は第３主成分の主成分得点を示す。
【００８８】
図６（ａ），（ｂ）に示すように、属性値なし条件では、男性の顔画像および女性の顔画像とも、年齢順に並べられた顔画像の主成分得点がほぼ昇順あるいは降順に並ぶ主成分を見つけることができなかった。
【００８９】
図７（ａ），（ｂ）に示すように、属性値付加条件では、男性の顔画像および女性の顔画像とも、第１主成分の主成分得点がほぼ順に並んだ形で示された。
【００９０】
これらの結果から、属性値付加条件で得られた第１主成分が顔画像の見かけの年齢に影響を与える特徴と密接に関係していることがわかった。
【００９１】
次に、各主成分がどのような形状変化に関わっているのかを視覚的に確認するために、確認する主成分の固有値から得られた変化範囲を用いて、それぞれ顔パーツの特徴点の座標を再構成した。以下に示すように、属性値付加条件での主成分の顔形状への影響を調べた。
【００９２】
図８、図９、図１０および図１１は男性の顔画像において属性値付加条件で得られた第１主成分、第２主成分、第３主成分および第４主成分をそれぞれ用いて再構成した顔形状を示す図である。また、図１２、図１３、図１４および図１５は女性の顔画像において属性値付加条件で得られた第１主成分、第２主成分、第３主成分および第４主成分をそれぞれ用いて再構成した顔形状を示す図である。図８〜図１１において、（ａ）および（ｂ）は見かけの年齢が両極端の顔形状を示している。
【００９３】
再構成した顔画像から各主成分の２枚の顔形状を比較した。各主成分が形状的な特徴の変化とどのように関係しているかを、主観的な印象として挙げると次のようになる。男性の顔画像について属性値付加条件で得られた第１主成分では、眉の内側が上下に変化、外側は内側とは逆向きに上下に変化する。鼻と口は上下に変化し、口の幅は若干狭まったり、広がったり、そしてあごがやや大きくなったり、小さくなったりする。第２主成分では、額が拡大縮小し、眉の外側が水平方向へ変化し（眉の大きさが変わる）、両目の間隔もやや広くなったり、狭くなったりし、そして、鼻、口およびあごが大きく上下に変化する。第３主成分では、眉の内側が上下に変化し、外側は若干水平方向に変化する。鼻と口は大きく上下に変化し、あごは四角くややえらの張ったような形や、少し小さく、とがった形に変化する。第４主成分では、額の大きさが急激に変化し、眉の内側が大きく上下に変化する。そして、鼻および口の左側が若干水平方向に変化し、あごの左側がごくわずか変化する。
【００９４】
一方、属性値なし条件では、第１主成分は属性値付加条件の第２主成分とほぼ同じ変化を示し、第２主成分は属性値付加条件の第３主成分とほぼ同じ変化を示した。以降の主成分についても同様であった。
【００９５】
女性の顔画像について属性値付加条件で得られた第１主成分では、口が上下に変化し、幅が広くなったり狭くなったりする。そして、あごがやや大きくなったり、小さくなったりする。第２主成分では、男性の顔画像について属性値付加条件で得られた第２主成分とほぼ同様であった。第３主成分では、額が拡大縮小し、眉の内側は若干上下に変化し、そして鼻と口は若干左側で水平方向に変化し、あごはややえらの張ったような形や、少し小さく、とがった形になる。第４主成分では、顔輪郭、鼻、口が若干右側で変化する。そして、顔輪郭については横幅が変化する。
【００９６】
一方、属性値なし条件では、男性の顔画像と同様に、第１主成分は属性値付加条件の第２主成分とほぼ同じ変化を示し、第２主成分は属性値付加条件の第３主成分とほぼ同じ変化を示した。以降の主成分についても同様であった。
【００９７】
２−３．考察
各主成分における主成分得点の分布から見ると、属性値なし条件と、属性値付加条件の第２主成分以降では、顔画像を見かけの年齢順に並べたときに、主成分得点が全く昇順あるいは降順になっていなかったことから、これらの主成分は見かけの年齢に影響を与える特徴と密接に関係しているとは言えない。一方、属性値付加条件の第１主成分では、見かけの年齢順に顔画像を並べたとき、男女の顔画像とも、主成分得点はほぼ順に並んでいたこと、さらには年齢知覚実験（年齢評定実験）で得られたデータ（評定値）の分布と第１主成分のデータ（主成分得点）の分布はよく似た分布を示していることから、属性値付加条件で得られた第１主成分は、見かけの年齢に影響を与える形状特徴と密接に関係していると言える。
【００９８】
各主成分の主成分得点の値を変え、顔パーツの特徴点座標に再構成させた特徴点の座標の変化についても、属性値付加条件の第１主成分は、解剖学的な知見による青年期の加齢変化とほぼ合っているように見える。
【００９９】
本発明に係る画像処理方法では、顔の形状情報である特徴点の座標値だけでなく、直接顔画像の構成には関係のない見かけの年齢という属性値を加えてＰＣＡを行うことにより、第１主成分の主成分得点が定量的にも年齢変化との関係を示していること、第１主成分から再構成した顔形状において定性的にも妥当な変形を観察できたことから、見かけの年齢に密接に関係する形状特徴を得られることを示している。
【０１００】
３−１．個人の顔画像へのマッピング
年齢特徴抽出実験により得られた見かけの年齢特徴を個人の顔画像へマッピングした。
【０１０１】
図１６〜図１９は４人のオリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。各図において、３枚の顔画像のうち、中央がオリジナル顔画像、左側が若く見えるように合成した顔画像、右側が老けて見えるように合成した画像である。合成割合は、いずれも年齢特徴抽出実験の属性値付加条件の第１主成分の変化量の±５０％とした。
【０１０２】
合成の手順は次の通りである。個人のオリジナル顔画像から、ＦＵＴＯＮで用いる８３点の特徴点を取得し、オリジナル顔画像の形状特徴ベクトルＦ^Ｉを特徴点の座標値を用いて、１６６次元のベクトルＦ^Ｉとする。
Ｆ^Ｉ＝（ｘ_１，ｙ_１，ｘ_２，ｘ_３，…，ｘ_１６６，ｙ_１６６）^Ｔ　…（１１）
オリジナル顔画像の形状特徴ベクトルＦ^Ｉと、見かけの年齢特徴ベクトルＦの各要素に合成割合０．５を乗じた修正ベクトルＦ’を加算あるいは減算し、年齢特徴をマッピングした顔形状ベクトルＦ^Ｓを作成した。
【０１０３】
Ｆ’＝（０．５ｘ_１，０．５ｙ_１，０．５ｘ_２，０．５ｙ_２…，０．５ｘ_８３，０．５ｙ_８３）^Ｔ　…（１２）
Ｆ^Ｓ＝Ｆ^Ｉ±Ｆ’　…（１３）
そして、顔形状がＦ^ＩからＦ^Ｓへと変化する形状モーフィング（顔合成技術）をＦＵＴＯＮで行った。
【０１０４】
ここで、抽出した見かけの年齢特徴は形状のみであったため、顔形状のみの合成となった。合成結果は、「オリジナル顔画像の人物が若く見られるならばこんな感じ」、「老けて見られるならばこんな感じ」という印象の顔画像となった。
【０１０５】
以上のように、上記実施例では、顔画像の形状特徴ベクトルに画像とは直接関係のない見かけの年齢という属性値を変量として加え、ＰＣＡを行うことにより、見かけの年齢変化に密接に関与する形状特徴を抽出することが可能であることが示された。
【図面の簡単な説明】
【図１】本発明の一実施の形態における画像処理方法を実施するための画像処理装置の構成を示すブロック図である。
【図２】図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。
【図３】図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。
【図４】顔画像ごとの評定置の平均を降順に並び替えてプロットした図である
【図５】形状特徴ベクトルの変量として用いた特徴点を示す図である。
【図６】男性および女性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図である。
【図７】男性および女性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図である。
【図８】男性の顔画像において属性付加条件で得られた第１主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図９】男性の顔画像において属性付加条件で得られた第２主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１０】男性の顔画像において属性付加条件で得られた第３主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１１】男性の顔画像において属性付加条件で得られた第４主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１２】女性の顔画像において属性付加条件で得られた第１主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１３】女性の顔画像において属性付加条件で得られた第２主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１４】女性の顔画像において属性付加条件で得られた第３主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１５】女性の顔画像において属性付加条件で得られた第４主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１６】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【図１７】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【図１８】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【図１９】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【符号の説明】
５０　画像処理装置
５０１　ＣＰＵ
５０２　ＲＯＭ
５０３　ＲＡＭ
５０４　入力装置
５０５　表示装置
５０６　外部記憶装置
５０７　記録媒体駆動装置
５０８　印刷装置
５０９　記録媒体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing method, and an image processing program for extracting characteristics of a predetermined attribute of an image.
[0002]
[Prior art]
Faces play an important role in communication. In particular, various information such as age, race, gender, and facial expression can be obtained from the face. Empirically, we often determine language and attitude based on the age of the other person, and age is one of the important factors for communication.
[0003]
The face image synthesis method for manipulating the age change of the face includes a method of synthesizing a face image by using a characteristic part of the shape change from a skeleton model of the aging of the face as a deformation parameter, or a method of synthesizing a plurality of face images. There is proposed a method of synthesizing a face image using difference information of average faces of different generations generated as described above (for example, see Non-Patent Documents 1 and 2). In the method using the deformation parameters from the skeletal model, since only limited deformation parameters set artificially are used, it cannot be said that the characteristics affecting the secular change can be accurately operated. On the other hand, in the method using the difference information of the average faces of different generations, it is necessary to use a sufficient number of original face images when creating the average face of each generation. If the number of the original face images is not sufficient, the extracted difference information may include not only the age element but also the difference of the element of the personal characteristic of the original face image.
[0004]
[Non-patent document 1]
Masamichi Nakagawa, Toshihiko Song, Yoshiyasu Kado, Fumio Maehara, Kunihiro Chihara, "Simulation of Age Change of Face Image Using Skeleton Model," IEICE (A), Vol. J80-A, No. 8, pp. 1312-1315, Aug. {1997.
[Non-patent document 2]
D. A. Rowland, D. I. Perrett, "Manipulating, Facial, Appearance, Through, Shape, and Color," "IEEE Computer, Graphics and Applications, Vol. 15, @No. 5, @pp. 70-76, {Sep. 1995.
[0005]
[Problems to be solved by the invention]
In recent years, age feature extraction using principal component analysis (Principal \ Component \ Analysis: PCA) has been attempted. PCA is a multivariate analysis method that attempts to represent a multidimensional space (feature vector) composed of a plurality of variables (variables) as a feature vector having as few dimensions as possible.
[0006]
Although face image synthesis using PCA is also performed, it is difficult to specify and extract principal components related to age and facial expression in the feature extraction of the conventional method. When inputting and analyzing a plurality of face images of different ages as data, it is sufficiently conceivable that a result including a component related to age change is obtained as a main principal component from the nature of PCA. However, in order to obtain principal components that are strongly involved in age change from the obtained results, a method has been adopted in which data is restored for each principal component and a plausible principal component is subjectively selected. Therefore, the result obtained differs depending on the person who selects the main component.
[0007]
An object of the present invention relates to an image processing apparatus, an image processing method, and an image processing program capable of extracting characteristics of a predetermined attribute of an image without subjectivity.
[0008]
Means for Solving the Problems and Effects of the Invention
An image processing apparatus according to a first aspect of the present invention includes: an image storage unit that stores a plurality of images; a feature extraction unit that extracts a plurality of morphological features of each image stored in the image storage unit; Attribute acquisition means for acquiring the attributes of different images, a plurality of morphological features of each image extracted by the feature extraction means, and morphological features for each image in which the attributes of each image acquired by the attribute acquisition means are variables A morphological feature vector constructing means for constructing a vector; and a principal component analyzing means for calculating a first principal component by principal component analysis from morphological feature vectors of a plurality of images constituted by the morphological feature vector constructing means. .
[0009]
In the image processing apparatus according to the present invention, a plurality of images are stored by the image storage unit, and a plurality of morphological features of each stored image are extracted by the feature extraction unit. Further, the attribute of each image different from the morphological feature is obtained by the attribute obtaining unit. A plurality of morphological features of each of the extracted images and a morphological feature vector for each of the images having the attribute of each of the obtained images as a variable are configured by a morphological feature vector constructing unit. A first principal component is calculated by principal component analysis means by principal component analysis from the morphological feature vectors of the plurality of configured images.
[0010]
The first principal component obtained in this manner is closely related to the attribute added as a variable to the morphological feature vector. Therefore, it is possible to reliably extract a predetermined feature of an image based on the first principal component without depending on subjectivity.
[0011]
An image processing device according to a second aspect of the present invention is the image processing device according to the first aspect, wherein the change range of the first principal component is determined using the eigenvalue of the first principal component calculated by the principal component analysis means. And an attribute for reconstructing an attribute feature vector indicating an attribute feature by using, as a variable, a change amount of a plurality of morphological features in a change range of the first principal component determined by the change range determining unit. A feature vector reconstructing unit.
[0012]
In this case, the change range of the first principal component is determined by the change range determination means using the eigenvalue of the first principal component calculated by the principal component analysis means. Also, an attribute feature vector indicating an attribute feature is reconstructed by the attribute feature vector reconstructing means using the determined change amounts of the plurality of morphological features in the change range of the first principal component as variables.
[0013]
Each variable of the attribute feature vector obtained in this way indicates the amount of change of each morphological feature due to the change of the attribute. Therefore, the feature of the attribute of the image can be extracted as the amount of change of each morphological feature.
[0014]
An image processing apparatus according to a third aspect of the present invention is the image processing apparatus according to the second aspect of the invention, wherein the other image having a different attribute from a specific image using the attribute feature vector obtained by the attribute feature vector reconstructing means. The image processing apparatus further comprises an image synthesizing means for synthesizing.
[0015]
In this case, since each variable of the attribute feature vector indicates the amount of change of each morphological feature due to the change of the attribute of the image, it is possible to synthesize another image having a different attribute from the specific image using the attribute feature vector. it can.
[0016]
An image processing apparatus according to a fourth invention is the image processing apparatus according to the third invention, wherein the image synthesizing means forms a morphological feature vector having a plurality of morphological features of a specific image as variables. The method is characterized in that each variable of the morphological feature vector is corrected based on the corresponding variate of the attribute feature vector, and another image is synthesized from the morphological feature vector having the corrected variate.
[0017]
In this case, a morphological feature vector having a plurality of morphological features of a specific image as a variate is constructed, and each variate of the morphological feature vector is modified based on the corresponding variate of the attribute feature vector, and has the modified variate. Another image is synthesized from the morphological feature vector. In this manner, another image having different attributes from a specific image can be synthesized using the attribute feature vector.
[0018]
An image processing apparatus according to a fifth aspect is the image processing apparatus according to any one of the first to fourth aspects, wherein the plurality of images are a plurality of face images, and the attributes are apparent age, actual It is characterized by age, gender, race, facial expression or body shape.
[0019]
When the attribute is apparent age, the first principal component obtained by the principal component analysis is closely related to the apparent age by adding the apparent age to the morphological feature vector as a variable. Therefore, the feature of the apparent age of the face image can be reliably extracted based on the first principal component irrespective of subjectivity. When the attribute is the actual age, the first principal component obtained by the principal component analysis is closely related to the actual age by adding the actual age to the morphological feature vector as a variable. Therefore, it is possible to reliably extract the characteristics of the actual age of the face image based on the first principal component without depending on the subjectivity. When the attribute is gender, the first principal component obtained by principal component analysis is closely related to gender by adding gender to the morphological feature vector as a variable. Therefore, the gender feature of the face image can be reliably extracted based on the first principal component without depending on subjectivity. When the attribute is race, the first principal component obtained by principal component analysis is closely related to race by adding race to the morphological feature vector as a variable. Therefore, it is possible to reliably extract the racial features of the face image based on the first principal component without depending on the subjectivity. When the attribute is an expression, the first principal component obtained by the principal component analysis is closely related to the expression by adding the expression to the morphological feature vector as a variable. Therefore, the features of the facial expression of the face image can be reliably extracted based on the first principal component irrespective of subjectivity. When the attribute is body shape, the first principal component obtained by principal component analysis is closely related to the body shape by adding the body shape to the morphological feature vector as a variable. Therefore, the features of the body shape of the face image can be reliably extracted based on the first principal component irrespective of subjectivity.
[0020]
An image processing device according to a sixth aspect is the image processing device according to any one of the first to fifth aspects, wherein the plurality of morphological features include predetermined coordinate values of a plurality of feature points. It is characterized by the following.
[0021]
In this case, a plurality of morphological features are represented by coordinate values of a plurality of feature points. Therefore, the feature of the attribute in the shape of the image can be reliably extracted by the first principal component without depending on the subjectivity.
[0022]
An image processing method according to a seventh aspect is a step of storing a plurality of images, a step of extracting a plurality of morphological features of each of the stored images, and acquiring an attribute of each image different from the morphological features. A step of constructing a morphological feature vector for each image having a plurality of morphological features of each of the extracted images and an attribute of each of the acquired images as variables, and Calculating a first principal component by principal component analysis.
[0023]
In the image processing method according to the present invention, a plurality of images are stored, and a plurality of morphological features of each stored image are extracted. Also, attributes of each image different from the morphological features are obtained. A plurality of morphological features of each of the extracted images and a morphological feature vector of each of the images, each of which has the attribute of each of the obtained images as a variable, are configured. A first principal component is calculated from the morphological feature vectors of the plurality of configured images by principal component analysis.
[0024]
The first principal component obtained in this manner is closely related to the attribute added as a variable to the morphological feature vector. Therefore, it is possible to reliably extract a predetermined feature of an image based on the first principal component without depending on subjectivity.
[0025]
An image processing program according to an eighth aspect of the present invention is a computer-readable image processing program, a computer-readable image processing program, a process of storing a plurality of images, and a process of storing a plurality of images. A process of extracting a morphological feature, a process of acquiring an attribute of each image different from the morphological feature, and each image having a plurality of morphological features of each extracted image and an attribute of each acquired image as a variable And causing the computer to execute a process of forming a morphological feature vector for each image and a process of calculating a first principal component by principal component analysis from the morphological feature vectors of the plurality of images.
[0026]
According to the image processing program of the present invention, a plurality of images are stored, and a plurality of morphological features of each stored image are extracted. Also, attributes of each image different from the morphological features are obtained. A plurality of morphological features of each of the extracted images and a morphological feature vector of each of the images, each of which has the attribute of each of the obtained images as a variable, are configured. A first principal component is calculated from the morphological feature vectors of the plurality of configured images by principal component analysis.
[0027]
The first principal component obtained in this manner is closely related to the attribute added as a variable to the morphological feature vector. Therefore, it is possible to reliably extract a predetermined feature of an image based on the first principal component without depending on subjectivity.
[0028]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the concept of an image processing method according to an embodiment of the present invention will be described. Here, the image is a face image of an individual, and a plurality of morphological features are represented by two-dimensional coordinates of L feature points (x, y) constituting the shape features of face parts (face parts) such as eyes and mouth. Yes, the case where the attribute is age will be described. Here, L is an integer of 2 or more, x is the x coordinate in the face image, and y is the y coordinate in the face image.
[0029]
In the present embodiment, first, as a feature vector (shape feature vector) representing a face image of an individual, not only the two-dimensional coordinates of L feature points (x, y) but also the image is not directly related. A value obtained by adding a weight to a known attribute value (age attribute value) that strongly influences the age characteristic is added as a variable a, and dimension compression is performed by principal component analysis (PCA) as described below.
[0030]
Specifically, the following procedure is performed. The shape feature vector of an individual's face image is represented by a 2L + 1-dimensional vector F_i(I = 1, 2,..., M). M is the number of personal face images used for PCA.
[0031]
F_i= [X₁, Y₁, X₂, Y₂, X₃, Y₃, ..., x_L, Y_L, A]^T… (1)
In the above equation (1), T indicates transposition. From each element (variate), the average value of the shape feature vectors of all face images is set to the average_AVpull.
[0032]
ΔF_i= F_i-F_AV… (2)
Next, the face feature space G is newly defined by the following equation (3) using the above equation (2).
[0033]
G = [ΔF₁, ΔF₂..., ΔF_M]… (3)
Then, the covariance matrix S of the face feature space G is obtained by the following equation (4).
[0034]
S = GG^T… (4)
By performing singular value decomposition on the covariance matrix S obtained by the above equation (4) by the following equation (5), each eigenvector can be obtained as a main component of the face feature space G.
[0035]
S = UDU^T… (5)
U is a unitary matrix, and each column is an eigenvector. That is, in the first column of the unitary matrix U, the principal component scores of the first principal component in the first to Mth face images are arranged in order, and in the second column, the first to Mth face images in the first to Mth face images are arranged. The principal component scores of the second principal component are arranged in order, and the third column is arranged with the principal component scores of the third principal component in the first to Mth face images. Similarly, in the M-th column of the unitary matrix U, the principal component scores of the (2L + 1) -th principal component in the first to M-th face images are arranged. D is a diagonal matrix, and the diagonal components are eigenvalues of each principal component. That is, the diagonal components of the diagonal matrix D are the eigenvalues λ of the first to (2L + 1) th principal components.₁~ Λ_{2L + 1}It is.
[0036]
The first principal component obtained here is strongly influenced by the component (age) added as an attribute value, as described later, and the value of the principal component score of the first principal component has a strong age attribute value. It will reflect.
[0037]
Here, the standard deviation of the first principal component is σ₁And three times as the change range of the shape feature. Since the eigenvalue of the principal component is the variance of the principal component, the standard deviation σ of the first principal component₁Is the eigenvalue λ of the first principal component₁Thus, the following equation (6) is obtained.
[0038]
σ₁ ²= Λ₁… (6)
Standard deviation σ of the first principal component₁, Ie,-(3/2) σ₁To + (3/2) σ₁Is defined as a change range of the face shape (shape feature). 90% or more of all face images belong to this change range. + (3/2) σ₁Is the principal component score of the first principal component, and the principal component feature vector with the principal component scores of the other principal components being 0 is P_maxAnd Also,-(3/2) σ₁Is the principal component score of the first principal component, and the principal component feature vector with the principal component scores of the other principal components being 0 is P_minAnd Principal component feature vector P_maxCorresponds to the oldest (or youngest) face image in the average face image obtained from M face images, and the principal component feature vector P_minCorresponds to the youngest (or oldest) face image in the average face images obtained from the M face images.
[0039]
P_max= [+ (3/2) σ₁, 0,0, ..., 0]^T… (7)
P_min= [-(3/2) σ₁, 0,0, ..., 0]^T… (8)
Principal component feature vectors P in equations (7) and (8)_max, P_minMore face shape vector F_max, F_minTo reconfigure. Face shape vector F_maxRepresents the oldest (or youngest) average face image, and the face shape vector F_minRepresents the youngest (or oldest) average face image. Then, as shown in the following equation, the face shape vector F_maxAnd face shape vector F_minIs extracted as a feature vector (age feature vector) F representing an age feature.
[0040]
F = F_max-F_min… (9)
However, since the attribute value is not required for the age feature vector F, the age feature vector F is a 2L-dimensional vector from which the age attribute value has been deleted.
[0041]
F = [x₁, Y₁, X₂, Y₂, ..., x_2L, Y_2L]^T… (10)
The age feature vector F in the above equation (10) represents the movement amount of each feature point between the oldest average face image and the youngest average face image. For example, the variable x₁Represents the amount of movement of the x-coordinate of the first feature point, and the variable y₁Represents the movement amount of the y-coordinate of the first feature point.
[0042]
Using the age feature vector F of the above equation (10), a face image of a specific individual of different age can be synthesized from an original face image of the specific individual as follows.
[0043]
First, the shape feature vector F of an original face image of a specific individual^IIs configured as in the following equation.
[0044]
F^I= [X₁, Y₁, X₂, Y₂, ..., x_2L, Y_2L]^T… (11)
The variable x of the above equation (11)₁, Y₁, X₂, Y₂, ..., x_2L, Y_2LAre the x and y coordinates of the L feature points of the original face image.
[0045]
Next, each variable x of the age feature vector F in the above equation (10)₁, Y₁, X₂, Y₂, ..., x_2L, Y_2LIs multiplied by the combination ratio b to calculate a correction vector F 'of the following equation.
[0046]
F '= [bx₁, By₁, Bx₂, By₂, ..., bx_2L, By_2L]^T… (12)
The shape feature vector F of the original face image of the above equation (11)^IIs added or subtracted to the correction vector F 'of the above equation (12) as shown in the following equation, and the age feature is mapped to the shape feature vector F^SCreate
[0047]
F^S= F^I± F '... (13)
The shape feature vector F of the above equation (13)^SBy reconstructing a face image from, face images of different ages can be combined with the original face image. In this case, by arbitrarily setting the value of the combination ratio b in the above equation (12), it is possible to combine face images of any age.
[0048]
Next, a configuration of an image processing apparatus for executing the image processing method according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus for performing the image processing method according to the present embodiment.
[0049]
The image processing device 50 includes a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, an input device 504, a display device 505, an external storage device 506, a recording medium driving device 507, And a printing device 508.
[0050]
The input device 504 includes a keyboard, a mouse, a scanner, a digital camera, and the like, and is used to input various commands, data, and images. The ROM 502 stores a system program. The recording medium drive 507 includes a CD-ROM drive, a floppy disk drive and the like, and reads and writes data from and on a recording medium 509 such as a CD-ROM and a floppy disk. The recording medium 509 stores an image processing program. The external storage device 506 includes a hard disk device or the like, and stores an image processing program and various data read from the recording medium 509 via the recording medium driving device 507. The CPU 501 executes the image processing program stored in the external storage device 506 on the RAM 503.
[0051]
The display device 505 includes a liquid crystal display panel, a CRT (cathode ray tube), and the like, and displays various images and the like. The printing device 508 prints various images and the like.
[0052]
Note that as the recording medium 509 for recording the image processing program, various recording media such as a semiconductor memory such as a ROM and a hard disk can be used. Further, the image processing program may be downloaded to the external storage device 506 via a communication medium such as a communication line and executed on the RAM 503.
[0053]
In this embodiment, the external storage device 506 corresponds to an image storage unit, and the CPU 501 is a feature extraction unit, an attribute acquisition unit, a morphological feature vector configuration unit, a principal component analysis unit, a change range determination unit, an attribute feature vector reconfiguration unit. And image combining means.
[0054]
FIG. 2 is a flowchart showing the processing of the image processing program executed in the image processing apparatus of FIG. Here, an example of a method of synthesizing a face image of an individual of another age from an original face image of an individual of a certain age will be described.
[0055]
First, the CPU 501 stores, in the external storage device 506, face images of a plurality of individuals input by the input device 504 as image data (step S1). In this case, image data of face images of a plurality of individuals stored in a database in advance may be used.
[0056]
Next, the CPU 501 extracts coordinate values of a plurality of feature points of each face image based on the image data stored in the external storage device 506 (Step S2). In the present embodiment, the x coordinate and the y coordinate of each feature point are extracted.
[0057]
Next, the CPU 501 acquires an age attribute value of each face image (step S3). The age attribute value may be input by the input device 504 for each face image, or may be an age attribute value stored in a database in advance for each face image. In the present embodiment, an apparent age obtained by an age perception experiment described later is used as an age attribute value.
[0058]
Further, the CPU 501 uses the coordinate values and age attribute values of a plurality of feature points extracted for each face image to generate the shape feature vector F of each face image._i(See Equation (1)) (Step S4).
[0059]
Next, the CPU 501 determines the shape feature vectors F of the plurality of face images._iFrom the principal component analysis according to equations (2) to (6)₁Is calculated (step S5). Further, the CPU 501 calculates the eigenvalue σ of the first principal component.₁Using the principal component feature vector P of the first principal component in the equation (7)_max, P_min(Step S6).
[0060]
Next, the CPU 501 calculates the eigenvalue σ of the first principal component.₁Is used to calculate the face shape vector F of the first principal component of Expression (7)._max, F_minIs reconstructed (step S7), and an age feature vector F representing the age feature of Expression (8) is extracted (step S8).
[0061]
Next, the CPU 501 synthesizes a face image of a desired age from an original face image of a specific individual using the age feature vector F (step S9).
[0062]
In this way, by executing the image processing program in the image processing apparatus, it is possible to extract the face shape feature closely related to the age feature as the age feature vector F using the face images of a plurality of individuals. A face image of a desired age can be synthesized from an original face image of a specific individual using the extracted face shape features.
[0063]
As described above, an unknown face image can be synthesized by the image processing device, the image processing method, and the image processing program according to the present embodiment, so that they can be used for criminal investigation and the like.
[0064]
In the above embodiment, the coordinate values of a plurality of feature points representing the features of the face shape are used as the morphological features of the image. However, as the morphological features of the image, textures such as skin tone, spots, wrinkles, etc. Texture) can also be used. Moreover, the perception of age may consider not only the shape inside the face but also the hairstyle and the like.
[0065]
Further, in the above embodiment, the apparent age is used as the attribute, but the actual age may be used instead of the apparent age as the attribute. Other attributes such as facial expression, race, gender, and body shape may be used as attributes.
[0066]
When the attribute is real age, by applying the image processing method of the above embodiment, it is possible to extract facial shape features that are closely related to real age characteristics using a plurality of individual face images, Further, face images having different actual ages can be synthesized from original face images of a specific individual using the extracted face shape features.
[0067]
When the attribute is a facial expression, facial expressions such as emotions, emotions, and so on are represented by different values, and by applying the image processing method of the above embodiment, the facial expression is closely related to facial features using a plurality of individual face images. The facial shape features can be extracted, and a facial image with a different expression can be synthesized from an original facial image of a specific individual using the extracted facial shape features.
[0068]
If the attribute is race, different races are represented by different values, and by applying the image processing method of the above embodiment, by using the face images of a plurality of individuals, it is closely related to the characteristics of the race. The feature of the face shape to be extracted can be extracted, and a face image of a different race can be synthesized from the original face image of a specific individual using the extracted face shape feature.
[0069]
If the attribute is gender, the gender of the gender is represented by different values, and by applying the image processing method of the above embodiment, the face shape feature closely related to the gender feature using a plurality of individual face images Can be extracted, and face images having different genders can be synthesized from original face images of a specific individual using the extracted face shape features.
[0070]
When the attribute is a body shape, different body shapes are represented by different values, and by applying the image processing method of the above embodiment, a feature of the face shape closely related to the feature of the body shape using a plurality of face images of individuals. The face images having different body shapes can be synthesized from an original face image of a specific individual using the extracted face shape characteristics.
[0071]
Further, in the above embodiment, the case where the image is a face image of an individual has been described, but the present invention is not limited to this. For example, the image may be an image of an animal.
[0072]
【Example】
1. Preliminary experiment
When considering the shape characteristics related to the aging of the face of the individual, the actual age may be used as the attribute value given to the PCA variable. However, it is empirically clear that the aging of the face changes the shape, the wrinkles, the wrinkles, the texture of the skin, and the like. In the present embodiment, the apparent age, that is, the feature of the shape of the face that looks young and the shape of the face that looks old, instead of the shape feature of the face that changes with aging, was examined. Then, since it is not enough to give the actual age as the attribute value of the apparent age, an age perception experiment (age evaluation experiment) was performed to obtain the attribute value of the apparent age.
[0073]
1-1. procedure
The experimental stimulus in the age perception experiment was based on the facial expression image database of ATR (International Telecommunications Research Institute, Inc.). The latter half face image was used. The face image was a color image of 512 × 512 pixels, and was large enough for the face to fit in the frame. The subjects were 25 male and 22 female college students (18 to 22 years old).
[0074]
The experiment was performed in the following procedure. The subject was asked to estimate the age of the face image displayed on the monitor and to select the most appropriate category from the age rating categories shown in Table 1.
[0075]
[Table 1]

[0076]
As shown in Table 1, the ages were classified into eight categories, and the categories were given rating values of 0 to 7 in ascending age.
[0077]
1-2. result
The average and standard deviation of the rating values were determined for each face image. FIG. 4 is a diagram in which the average of the rating devices for each face image is rearranged in descending order and plotted. The horizontal axis in FIG. 4 shows the face images of 142 persons, and the vertical axis shows the average of the rating values of each face image. The triangles and circles represent the average of the rating values of the male and female face images, respectively.
[0078]
An average was determined for each gender of the face image from the standard deviation obtained from each face image. The average of the standard deviation was 0.85 for a male face image and 0.89 for a female face image. In other words, the age of both male and female faces is estimated with an error of about ± 5 years.
[0079]
It should be noted that since face images are different between men and women and there is no relation between the face images, comparison between the face images is meaningless.
[0080]
2. Age feature extraction experiment
Next, a face age feature extraction experiment was performed using the apparent age attribute value obtained by the above age perception experiment. Extraction is performed when an apparent age attribute value is added to face information (hereinafter, referred to as an attribute value addition condition) and when no apparent age attribute value is added to face information (hereinafter, referred to as an attribute value no condition). The comparison of the shape features performed was performed.
[0081]
2-1. procedure
The facial image features include the ATR face image synthesis system (FUTON) (Miyuki Kamachi, Shigeru Mukada, Sakinoko Yoshikawa, Takashi Kato, Masaomi Oda, Shigeru Akamatsu, "Face image synthesis for facial and facial expression recognition psychological experiments." System-FUTON @ System-, "Electronics Technique, HIP97-39, pp.73-80, Jan. 1998 and Shigeru Mukaita, Miyuki Kamachi, Shigeru Akamatsu," Evaluation of Manual Sampling in Face Image Synthesis System (FUTON @ system), " The coordinates of 83 default feature points of IEICE, HIP99-49, pp. 13-18, Nov. 1999) were used. FIG. 5 is a diagram showing feature points used as variables of the face feature vector. In FIG. 5, 83 feature points are indicated by black circles, and reference numerals are assigned to identify each feature point.
[0082]
As the face images, 142 face images of both men and women used in the preliminary experiment were used. However, the face width (the length between the feature points Fr3 and F13) was normalized such that it was 230 pixels, and the straight line connecting the pupils of both eyes was horizontal.
[0083]
Dimensional compression by PCA was performed for each of the gender face images under the attribute value-free condition and the attribute value addition condition.
-Condition without attribute value
Under the condition of no attribute value in the conventional method, only coordinate values of 83 feature points were used as face information (variation of shape feature vector). One face image is converted to a 166-dimensional shape feature vector F_NExpressed as
[0084]
F_N= (X₁, Y₁, X₂, Y₂, X₃, Y₃, ..., x₈₃, Y₈₃)^T
・ Attribute value addition condition
In the attribute value addition condition, as the face information (variation of the shape feature vector), a value obtained by multiplying the average value of the rating values of each face image obtained by the preliminary experiment by 100 in addition to the coordinate values of the 83 feature points, It was used as an apparent age attribute value a. Then, one face image is transformed into a 167-dimensional shape feature vector F._AExpressed as
[0085]
F_A= (X₁, Y₁, X₂, Y₂, X₃, Y₃, ..., x₈₃, Y₈₃, A)^T
The amount of change of the principal component was determined from the obtained eigenvalue for each principal component, and the difference was visually compared after reconstructing the shape feature vector for each principal component.
[0086]
2-3. result
The principal component score of each principal component obtained from the no-attribute-value condition and the attribute-value addition condition was analyzed for the face images of both men and women. If the principal components are strongly involved in the age change, when the face images are arranged in age order, the principal component scores of each face image on the principal components should be arranged in ascending or descending order. Therefore, the principal component scores from the first principal component to the third principal component among the principal components obtained under the respective conditions in the face images of men and women are plotted.
[0087]
FIG. 6A is a diagram showing the principal component scores of the upper principal components obtained under the condition without attribute values in a male face image, and FIG. 6B is the diagram showing the higher principal components obtained under the condition without attribute values in a female face image. It is a figure which shows the principal component score of a main component. FIG. 7A is a diagram showing the principal component scores of the upper principal components obtained under the attribute value addition condition in the male face image, and FIG. 7B is obtained by the attribute value addition condition in the female face image. It is a figure which shows the principal component score of the upper main component. 6 and 7, the horizontal axes indicate face images arranged in descending order of apparent age (evaluation value), and the vertical axes indicate principal component scores (PC） score). Squares indicate the principal component scores of the first principal component, circles indicate the principal component scores of the second principal component, and triangles indicate the principal component scores of the third principal component.
[0088]
As shown in FIGS. 6A and 6B, under the condition with no attribute value, both the male face image and the female face image have the main component scores of the face images arranged in chronological order in almost ascending or descending order. No ingredients could be found.
[0089]
As shown in FIGS. 7A and 7B, under the attribute value addition condition, both the male face image and the female face image are shown in such a manner that the principal component scores of the first principal component are arranged in almost order.
[0090]
From these results, it was found that the first principal component obtained under the attribute value addition condition was closely related to a feature affecting the apparent age of the face image.
[0091]
Next, in order to visually confirm what kind of shape change each principal component is involved in, using the change range obtained from the eigenvalue of the principal component to be checked, the coordinates of the feature points of the face parts are Was reconstructed. As shown below, the influence of the principal component on the face shape under the attribute value addition condition was examined.
[0092]
FIGS. 8, 9, 10 and 11 show reconstruction using a first principal component, a second principal component, a third principal component, and a fourth principal component, respectively, obtained under the attribute value addition condition in a male face image. It is a figure which shows the face shape. FIGS. 12, 13, 14, and 15 show the first principal component, the second principal component, the third principal component, and the fourth principal component, respectively, obtained under the attribute value addition condition in the female face image. It is a figure showing the reconstructed face shape. 8A to 11B, (a) and (b) show face shapes of which the apparent age is extreme.
[0093]
Two face shapes of each principal component were compared from the reconstructed face image. The following is a subjective impression of how each principal component is related to a change in the shape characteristic. In the first principal component obtained from the male face image under the attribute value addition condition, the inside of the eyebrow changes vertically and the outside changes vertically in the opposite direction to the inside. The nose and mouth change up and down, the width of the mouth is slightly narrowed or widened, and the chin is slightly larger or smaller. In the second principal component, the forehead expands or contracts, the outside of the eyebrows changes horizontally (the size of the eyebrows changes), the distance between the eyes becomes slightly wider or narrower, and the nose, mouth and The chin changes greatly up and down. In the third principal component, the inside of the eyebrow changes vertically, and the outside changes slightly in the horizontal direction. The nose and mouth change greatly up and down, and the chin changes into a square, slightly gilled shape, or a slightly smaller, pointed shape. In the fourth principal component, the size of the forehead changes rapidly, and the inside of the eyebrows changes greatly up and down. The left side of the nose and mouth slightly changes in the horizontal direction, and the left side of the chin changes very slightly.
[0094]
On the other hand, under the condition without attribute value, the first principal component showed almost the same change as the second principal component of the attribute value addition condition, and the second principal component showed almost the same change as the third principal component of the attribute value addition condition. . The same applies to the subsequent main components.
[0095]
In the first principal component obtained under the attribute value addition condition for the female face image, the mouth changes up and down, and becomes wider or narrower. And the chin becomes slightly larger or smaller. The second principal component was almost the same as the second principal component obtained under the attribute value addition condition for the male face image. In the third principal component, the forehead expands and contracts, the inside of the eyebrows changes slightly up and down, and the nose and mouth change slightly horizontally on the left side, and the chin is slightly gilled and slightly smaller , In a pointed form. In the fourth principal component, the face outline, the nose, and the mouth slightly change on the right side. Then, the width of the face contour changes.
[0096]
On the other hand, in the condition with no attribute value, the first principal component shows almost the same change as the second principal component in the attribute value addition condition, and the second principal component shows the third main component in the attribute value addition condition, similarly to the male face image. It showed almost the same change as the components. The same applies to the subsequent main components.
[0097]
2-3. Consideration
From the distribution of the principal component scores in each principal component, when the face images are arranged in the order of apparent age in the second principal component and subsequent conditions of the attribute value no condition and the attribute value addition condition, the principal component scores are completely ascending or Because they were not in descending order, they could not be said to be closely related to features that affect apparent age. On the other hand, in the first principal component of the attribute value addition condition, when the face images were arranged in the order of apparent age, the principal component scores were almost arranged in both male and female face images, and furthermore, the age perception experiment (the age evaluation experiment) ) And the distribution of the data of the first principal component (principal component score) are very similar to the distribution of the first principal component obtained under the attribute value addition condition. Can be said to be closely related to shape features that affect apparent age.
[0098]
The first principal component of the attribute value addition condition is based on the anatomical knowledge of the youth based on the change of the coordinates of the feature points reconstructed into the feature point coordinates of the face parts by changing the value of the principal component score of each principal component. It seems to be almost in line with the aging change of the period.
[0099]
In the image processing method according to the present invention, the PCA is performed by adding not only the coordinate value of the feature point, which is the face shape information, but also the attribute value of apparent age that is not directly related to the configuration of the face image. The fact that the principal component score of one principal component quantitatively indicates a relationship with age change, and that a qualitatively appropriate deformation was observed in the face shape reconstructed from the first principal component. It shows that shape features closely related to age can be obtained.
[0100]
3-1. Mapping to personal face images
The apparent age features obtained by the age feature extraction experiment were mapped to individual face images.
[0101]
FIGS. 16 to 19 are diagrams showing the results of synthesizing face images of different ages by mapping age shape features to four original face images. In each figure, of the three face images, the center is an original face image, the left side is a face image synthesized to look younger, and the right side is an image synthesized to look older. The combination ratio was ± 50% of the variation of the first principal component in the attribute value addition condition of the age feature extraction experiment.
[0102]
The procedure of the synthesis is as follows. From the personal original face image, 83 feature points used in FUTON are acquired, and the shape feature vector F of the original face image is obtained.^IIs calculated using the coordinate values of the feature points as a 166-dimensional vector F^IAnd
F^I= (X₁, Y₁, X₂, X₃, ..., x₁₆₆, Y₁₆₆)^T… (11)
Shape feature vector F of original face image^IAnd a correction vector F ′ obtained by multiplying each element of the apparent age feature vector F by the composition ratio 0.5, and adding or subtracting the face shape vector F to which the age feature is mapped.^SIt was created.
[0103]
F '= (0.5x₁, 0.5y₁, 0.5x₂, 0.5y₂…, 0.5x₈₃, 0.5y₈₃)^T… (12)
F^S= F^I± F '... (13)
And the face shape is F^ITo F^SThe shape morphing (face synthesis technology) that changes to FUTON was performed.
[0104]
Here, since the extracted apparent age feature is only the shape, only the face shape is synthesized. The synthesized result is a face image with the impression that "If the person of the original face image is seen young, it looks like this" and "If it is old, it looks like this".
[0105]
As described above, in the above embodiment, by adding the attribute value of apparent age, which is not directly related to the image, to the shape feature vector of the face image as a variable, and performing PCA, it is closely related to the apparent age change. It was shown that it was possible to extract shape features.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus for performing an image processing method according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a process of an image processing program executed in the image processing apparatus of FIG. 1;
FIG. 3 is a flowchart illustrating processing of an image processing program executed in the image processing apparatus of FIG. 1;
FIG. 4 is a diagram in which averages of rating devices for each face image are rearranged in descending order and plotted.
FIG. 5 is a diagram showing feature points used as variables of a shape feature vector.
FIG. 6 is a diagram illustrating principal component scores of higher-order principal components obtained under conditions without attribute values in male and female face images.
FIG. 7 is a diagram showing principal component scores of higher-order principal components obtained under the attribute value addition condition in male and female face images.
FIG. 8 is a diagram showing a face shape reconstructed using a first principal component obtained under an attribute addition condition in a male face image.
FIG. 9 is a diagram showing a face shape reconstructed using a second principal component obtained under the attribute addition condition in a male face image.
FIG. 10 is a diagram illustrating a face shape reconstructed in a male face image using third principal components obtained under attribute addition conditions.
FIG. 11 is a diagram illustrating a face shape reconstructed using a fourth principal component obtained under the attribute addition condition in a male face image.
FIG. 12 is a diagram illustrating a face shape reconstructed using a first principal component obtained under an attribute addition condition in a female face image.
FIG. 13 is a diagram illustrating a face shape reconstructed using a second principal component obtained under the attribute addition condition in a female face image.
FIG. 14 is a diagram showing a face shape reconstructed using a third principal component obtained under the attribute addition condition in a female face image.
FIG. 15 is a diagram showing a face shape reconstructed using a fourth principal component obtained under an attribute addition condition in a female face image.
FIG. 16 is a diagram showing a result of synthesizing face images of different ages by mapping an age shape feature to an original face image.
FIG. 17 is a diagram showing a result of synthesizing face images of different ages by mapping an age shape feature to an original face image.
FIG. 18 is a diagram illustrating a result of synthesizing face images of different ages by mapping an age shape feature to an original face image.
FIG. 19 is a diagram illustrating a result of synthesizing face images of different ages by mapping an age shape feature to an original face image.
[Explanation of symbols]
50 image processing device
501 CPU
502 @ ROM
503 @ RAM
504 input device
505 display device
506 external storage device
507 Recording medium drive
508 printing device
509 recording medium

Claims

Image storage means for storing a plurality of images;
Feature extraction means for extracting a plurality of morphological features of each image stored in the image storage means,
Attribute acquisition means for acquiring an attribute of each image different from the morphological feature;
A morphological feature vector configuration unit configured to configure a morphological feature vector for each image having a plurality of morphological features of each image extracted by the feature extraction unit and an attribute of each image acquired by the attribute acquisition unit as a variable;
An image processing apparatus comprising: a principal component analysis unit that calculates a first principal component by principal component analysis from the morphological feature vectors of a plurality of images configured by the morphological feature vector configuration unit.

Change range determining means for determining a change range of the first principal component using the eigenvalue of the first principal component calculated by the principal component analysis means;
Attribute feature vector reconstructing means for reconstructing an attribute feature vector indicating an attribute feature by using, as a variable, a variation of the plurality of morphological features in a variation range of the first principal component determined by the variation range determining means. The image processing apparatus according to claim 1, further comprising:

3. The image processing apparatus according to claim 2, further comprising an image synthesizing unit that synthesizes another image having the different attribute from a specific image by using the attribute feature vector obtained by the attribute feature vector reconstructing unit. apparatus.

The image synthesizing means configures a morphological feature vector having the plurality of morphological features of the specific image as variables, and corrects each variable of the morphological feature vector based on a corresponding variable of the attribute feature vector. The image processing apparatus according to claim 3, wherein the other image is synthesized from a morphological feature vector having a corrected variable.

The plurality of images are a plurality of face images,
The image processing apparatus according to claim 1, wherein the attribute is apparent age, real age, gender, race, facial expression, or body shape.

The image processing apparatus according to claim 1, wherein the plurality of morphological features include predetermined coordinate values of a plurality of feature points.

Storing a plurality of images;
Extracting a plurality of morphological features of each of the stored images;
Obtaining attributes of each image different from the morphological features;
Constructing a morphological feature vector for each image having a plurality of morphological features of each of the extracted images and an attribute of each of the obtained images as variables;
Calculating a first principal component by principal component analysis from the morphological feature vectors of the plurality of images configured as described above.

A computer-readable image processing program,
A process of storing a plurality of images;
A process of extracting a plurality of morphological features of each of the stored images;
A process of acquiring an attribute of each image different from the morphological feature;
A process of configuring a morphological feature vector for each image using a plurality of morphological features of each of the extracted images and a variable of the attribute of each of the obtained images;
Processing of calculating a first principal component by principal component analysis from the morphological feature vectors of the plurality of configured images,
An image processing program that is executed by the computer.