JP2007128171A - 顔画像合成装置、顔画像合成方法および顔画像合成プログラム - Google Patents

Abstract

【課題】若年者の顔画像を年齢操作することが可能で、かつ年齢操作後の顔画像に不自然さを残さない顔画像合成装置、顔画像合成方法および顔画像合成プログラムを提供する。
【解決手段】最初に、ＣＰＵは各対象者のしみ成分およびしわ成分を年齢形状特徴に合成する。次に、ＣＰＵはマッチング係数Ｐの最大値を検出する。マッチング係数Ｐとは、一方の対象者のしわ成分の面積をＡとし、他方の対象者のしわ成分の面積をＢとし、これらが重なり合ってできたしわ成分の面積をＣとした場合に、Ｐ＝Ｃ／Ａ＋Ｃ／Ｂにより算出される値をいう。次に、ＣＰＵはマッチング係数Ｐの最大値が所定値（例えば、０．５）以上であるか否かを判別する。マッチング係数Ｐの最大値が所定値以上である場合に、ＣＰＵはしわ成分の輝度を積算し、この積算結果に基づいてしわモデルのしわ成分を設定する。
【選択図】図３

Description

本発明は、顔画像合成装置、顔画像合成方法および顔画像合成プログラムに関する。

従来から、顔画像におけるしみおよびしわを操作することにより、顔画像の年齢印象を変化させること（加齢処理）が可能な顔画像合成装置およびその方法が提案されている（例えば、特許文献１参照）。

このような顔画像合成装置においては、例えば目、鼻、口等の顔パーツ（顔部品）の形状を操作することにより年齢印象の異なる顔画像が合成される。

従来、第１の方法としてコンピュータグラフィックス（ＣＧ）によるしみおよびしわを顔画像に合成する方法と、第２の方法としてしみおよびしわを有する顔画像からしみおよびしわを抽出し、抽出したしみおよびしわを操作する方法とがある。
特開２００５−９２３４９号公報

しかしながら、従来のコンピュータグラフィックス（ＣＧ）によるしみおよびしわを顔画像に合成した場合、合成後の顔画像には不自然さが残る。

また、しみおよびしわがほとんどない若年者から、しみおよびしわを抽出することが非常に困難である。その結果、若年者を対象とした加齢処理を行うことができない。

本発明の目的は、若年者の顔画像を年齢操作することが可能で、かつ年齢操作後の顔画像に不自然さを残さない顔画像合成装置、顔画像合成方法および顔画像合成プログラムを提供することである。

第１の発明に係る顔画像合成装置は、対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成装置であって、予め複数人の顔画像を記憶する記憶手段と、記憶手段に記憶された複数人の顔画像から複数人のしみまたはしわを検出する検出手段と、検出手段により検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成する作成手段と、対象者の顔画像からしみまたはしわを有しない顔形状を抽出する抽出手段と、作成手段により作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを抽出手段により抽出された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成する適用手段とを備えたものである。

本発明に係る顔画像合成装置においては、記憶手段により予め複数人の顔画像が記憶され、検出手段によりそれらの顔画像から複数人のしみまたはしわが検出される。また、検出手段により検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルが作成手段により作成される。

一方、抽出手段により対象者の顔画像からしみまたはしわを有しない顔形状が抽出される。さらに、作成手段により作成されたしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルが、抽出手段により抽出された対象者の顔形状に合致するよう変形された後、変形後のしみモデルまたはしわモデルが対象者の顔画像に適用手段により適用される。それにより、指定された年齢または年齢層に対応する対象者の顔画像が合成される。

このように、指定された年齢または年齢層に対応するしみモデルまたはしわモデルが対象者の顔画像に適用されることによって、従来のコンピュータグラフィックス（ＣＧ）によるしみおよびしわのモデルを顔画像に合成した場合のような合成後の顔画像に残る不自然さの発生を防止することができる。それにより、対象者の顔画像を所望の年齢または年齢層に対応する自然な顔画像に年齢操作することができる。

また、作成手段により作成されたしみモデルまたはしわモデルを用いることにより、しみおよびしわがほとんどない若年者の顔画像に対しても年齢操作を容易に行うことが可能となる。

作成手段は、複数人のしわを重ね合わせた後、重なり合う領域をしわモデルとして作成してもよい。

この場合、複数人のしわのうち共通する領域をしわモデルとすることにより、所望の年齢または年齢層に相応の自然な顔画像を得ることができる。

作成手段は、顔画像の複数に分割された領域ごとに複数人からしみの数または面積を抽出し、抽出された領域ごとのしみの数または面積を領域ごとに昇順または降順に並べた場合に、略中央に位置するしみの数または面積を有する対象者の領域を選択し、選択された領域のしみを結合したものをしみモデルとして作成してもよい。

この場合、しみの位置は人ごとに異なるが、しみの数および面積は同じ年齢または年齢層の人に共通している。したがって、顔画像の複数に分割された領域ごとに、その領域ごとで略中央に位置される標準的なしみの数または面積を有する対象者の領域が選択され、選択された領域のしみが結合されたものをしみモデルとして用いることにより、しみモデルの信頼性を向上することができる。

顔画像合成装置は、記憶手段に記憶された複数人の顔画像から年齢形状特徴を生成する生成手段と、生成手段により生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて抽出手段により抽出された対象者の顔形状を変形させる変形手段とをさらに備えてもよい。

この場合、記憶手段に記憶された複数人の顔画像から年齢形状特徴が生成手段により生成される。また、生成手段により生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて抽出手段により抽出された対象者の顔形状が変形手段により変形される。それにより、対象者の顔形状を指定された年齢または年齢層に対応する顔形状に年齢操作することができる。その結果、所望の年齢または年齢層に相応のより自然な顔画像を得ることができる。

検出手段は、記憶手段に記憶された各顔画像において各画素の輝度と周辺領域の輝度との差に基づいて小塊を抽出し、抽出された小塊からしみまたはしわを検出してもよい。

この場合、記憶手段に記憶された各顔画像において各画素の輝度と周辺領域の輝度との差に基づいて小塊が検出手段により検出され、検出された小塊からしみまたはしわが検出手段により検出される。ここで、小塊とは、顔画像内で周辺領域の輝度に比べてより低いまたは高い輝度を有する画素が連結した領域をいう。

しみは皮膚表面の色の異なる部分であるため、各画素の輝度と周辺領域の輝度との差に基づいてしみに相当する小塊を検出することができる。また、しわは皮膚表面の凹凸により構成される陰影であるため、各画素の輝度と周辺領域の輝度との差に基づいてしわに相当する小塊を検出することができる。このように検出された小塊を用いることで、しみおよびしわを容易に検出することが可能となる。

第２の発明に係る顔画像合成方法は、対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成方法であって、予め複数人の顔画像を記憶するステップと、記憶された複数人の顔画像から複数人のしみまたはしわを検出するステップと、検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成するステップと、対象者の顔画像からしみまたはしわを有しない顔形状を抽出するステップと、作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを抽出された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを対象者の顔画像に
適用することにより指定された年齢または年齢層に対応する顔画像を合成するステップとを備えたものである。

本発明に係る顔画像合成方法においては、予め複数人の顔画像が記憶され、それらの顔画像から複数人のしみまたはしわが検出される。また、検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルが作成される。

一方、対象者の顔画像からしみまたはしわを有しない顔形状が抽出される。さらに、作成されたしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルが、抽出された対象者の顔形状に合致するよう変形された後、変形後のしみモデルまたはしわモデルが対象者の顔画像に適用される。それにより、指定された年齢または年齢層に対応する対象者の顔画像が合成される。

このように、指定された年齢または年齢層に対応するしみモデルまたはしわモデルが対象者の顔画像に適用されることによって、従来のコンピュータグラフィックス（ＣＧ）によるしみおよびしわのモデルを顔画像に合成した場合のような合成後の顔画像に残る不自然さの発生を防止することができる。それにより、対象者の顔画像を所望の年齢または年齢層に対応する自然な顔画像に年齢操作することができる。

また、作成されたしみモデルまたはしわモデルを用いることにより、しみおよびしわがほとんどない若年者の顔画像に対しても年齢操作を容易に行うことが可能となる。

第３の発明に係る顔画像合成プログラムは、コンピュータにより実行可能で、対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成プログラムであって、予め複数人の顔画像を記憶する処理と、記憶された複数人の顔画像から複数人のしみまたはしわを検出する処理と、検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成する処理と、対象者の顔画像からしみまたはしわを有しない顔形状を抽出する処理と、作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを抽出された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成する処理とを、コンピュータに実行させるものである。

本発明に係る顔画像合成プログラムにおいては、予め複数人の顔画像が記憶され、それらの顔画像から複数人のしみまたはしわが検出される。また、検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルが作成される。

一方、対象者の顔画像からしみまたはしわを有しない顔形状が抽出される。さらに、作成されたしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルが、抽出された対象者の顔形状に合致するよう変形された後、変形後のしみモデルまたはしわモデルが対象者の顔画像に適用される。それにより、指定された年齢または年齢層に対応する対象者の顔画像が合成される。

このように、指定された年齢または年齢層に対応するしみモデルまたはしわモデルが対象者の顔画像に適用されることによって、従来のコンピュータグラフィックス（ＣＧ）によるしみおよびしわのモデルを顔画像に合成した場合のような合成後の顔画像に残る不自然さの発生を防止することができる。それにより、対象者の顔画像を所望の年齢または年齢層に対応する自然な顔画像に年齢操作することができる。

また、作成されたしみモデルまたはしわモデルを用いることにより、しみおよびしわがほとんどない若年者の顔画像に対しても年齢操作を容易に行うことが可能となる。

本発明によれば、コンピュータグラフィックス（ＣＧ）によるしみおよびしわのモデルを顔画像に合成した場合のような合成後の顔画像に残る不自然さの発生を防止することができる。それにより、対象者の顔画像を所望の年齢または年齢層に対応する自然な顔画像に年齢操作することができる。また、しみおよびしわがほとんどない若年者の顔画像に対しても年齢操作を容易に行うことが可能となる。

（１）基本思想
最初に、本発明に係る顔画像合成装置および顔画像合成方法の基本思想について説明する。

しみおよびしわは、人が生きて行く過程で外界から受ける様々な影響から皮膚が変化し、蓄積されたものである。しみは、皮膚内部の組織が変化し、色素が沈着したものである。一方、しわは、皮膚が曲がることを繰り返し、固定化された皮膚上の溝である。

このような理由で、しみは皮膚の凹凸でできた陰影ではなく、画像上において皮膚表面の色の異なる部分として存在する。しわは皮膚上の溝であるから、画像上において皮膚表面上の凹凸により構成される陰影である。

（２）顔画像合成装置の構成
次に、図１のブロック図を用いて本実施の形態の顔画像合成方法を実行するための顔画像合成装置の構成を説明する。

画像処理装置５０は、ＣＰＵ（中央演算処理装置）５０１、ＲＯＭ（リードオンリメモリ）５０２、ＲＡＭ（ランダムアクセスメモリ）５０３、入力装置５０４、表示装置５０５、外部記憶装置５０６、記録媒体駆動装置５０７および印刷装置５０８を含む。

入力装置５０４は、キーボード、マウス、スキャナ、デジタルカメラ等からなり、各種指令、データおよび画像を入力するために用いられる。ＲＯＭ５０２にはシステムプログラムが記憶される。記録媒体駆動装置５０７は、ＣＤ（コンパクトディスク）ドライブ、ＤＶＤ（デジタルバーサタイルディスク）ドライブ、ＦＤ（フレキシブルディスク）ドライブ等からなり、ＣＤ、ＤＶＤ、ＦＤ等の記録媒体５０９に対してデータの読み書きを行う。

記録媒体５０９には、顔画像合成プログラムが記録されている。この顔画像合成プログラムは、各種画像処理プログラムを含む。

外部記憶装置５０６は、ハードディスク装置等からなり、記録媒体駆動装置５０７を介して記録媒体５０９から読み込まれた顔画像合成プログラムおよび各種データを記憶する。ＣＰＵ５０１は、外部記憶装置５０６に記憶された顔画像合成プログラムをＲＡＭ５０３上で実行する。

表示装置５０５は、液晶表示パネル、ＣＲＴ（陰極線管）等からなり、各種画像等を表示する。印刷装置５０８は、各種画像等を印刷する。

なお、顔画像合成プログラムを記録する記録媒体５０９として、ＲＯＭ等の半導体メモリ、ハードディスク等の種々の記録媒体を用いることができる。また、顔画像合成プログラムを通信回線等の通信媒体を介して外部記憶装置５０６にダウンロードし、ＲＡＭ５０３上で実行してもよい。

（３）しみ／しわモデル作成処理
以下、図２のフローチャートを参照しながら、図１の顔画像合成装置によるしみ／しわモデル作成処理について説明する。

ここでは、各年齢または各年齢層の複数の対象者の顔画像に基づいて各年齢または各年齢層のしみ／しわモデルを作成する処理について説明する。この場合、デジタルカメラ等により得られた対象者の顔画像（以下、原画像と称する）が画像データとして外部記憶装置５０６に記憶されているものとする。

画像データは、赤色画像データ、緑色画像データおよび青色画像データからなる。後述するしみおよびしわの検出は、緑色画像データを用いて行われる。この場合、赤色画像データは肌の色に近いため、肌の色と異なる緑色画像データを用いることにより、しみおよびしわを正確に検出することができる。

また、原画像における顔パーツ（目、鼻、口等）の位置を示す位置情報も予め取得され、外部記憶装置５０６に記憶されているものとする。顔パーツの位置情報は、人の入力操作により取得されてもよく、原画像から自動的に取得されてもよい。

最初に、ＣＰＵ５０１は、対象者の人数Ｍおよび年齢Ｎを取得する（ステップＳ１）。なお、ＣＰＵ５０１は、上記年齢Ｎの代わりに対象者の年齢層を取得してもよい。例えば取得された年齢層が２０歳台の場合には、上記対象者の年齢が２０歳〜２９歳に限定される。

次に、ＣＰＵ５０１は、外部記憶装置５０６から原画像を取得する（ステップＳ２）。取得された原画像は、ＲＡＭ５０３の第１のバッファ領域に記憶される。

続いて、ＣＰＵ５０１は、取得した原画像から明領域を検出し、２値化された明領域画像を作成する（ステップＳ３）。ここで、明領域とは、原画像において平均輝度よりも高い輝度を有する領域をいう。明領域画像の作成処理の詳細については後述する。明領域画像は、ＲＡＭ５０３の第２のバッファ領域に画像データとして記憶される。

さらに、ＣＰＵ５０１は、原画像から暗領域を検出し、２値化された暗領域画像を作成する（ステップＳ４）。ここで、暗領域とは、原画像において平均輝度よりも低い輝度を有する領域をいう。暗領域画像の作成処理の詳細については後述する。暗領域画像は、ＲＡＭ５０３の第３のバッファ領域に画像データとして記憶される。

次いで、ＣＰＵ５０１は、明領域画像および暗領域画像の各々において、ブロッブ（小塊）の抽出およびラベリングを行う（ステップＳ５）。なお、ブロッブとは、明領域画像または暗領域画像において“１”の値を有する画素が連結する小さな塊の領域をいう。ここで、値が“１”の注目画素の周辺（８個の近傍）に値が“１”の画素がある場合に、値が“１”の周辺の画素と注目画素とを連結領域とみなす。そして、複数のブロッブにそれぞれラベルが付される（ラベリング）。ブロッブの抽出およびラベリングの詳細については後述する。ラベリングされた明領域画像および暗領域画像は、ＲＡＭ５０３の第４および第５のバッファ領域にそれぞれ画像データとして記憶される。

次に、しみおよびしわを検出し、しみ成分およびしわ成分を生成する（ステップＳ６）。この場合、ブロッブの形状および大きさからしみおよびしわをそれ以外の領域（例えば顔パーツ）から区別することができる。例えば、しみは、顔の大きさに比べて小さく、かつ円に近いかまたは多少歪んだ形状を有する。しわは、線状または細長い形状を有するが、顔の大きさと比較して著しく長くなることはない。しみとして検出されたブロッブに基づいてしみ成分が生成され、しわとして検出されたブロッブに基づいてしわ成分が生成される。しみおよびしわの検出ならびにしみ成分およびしわ成分の生成処理の詳細については後述する。しみ成分およびしわ成分は、ＲＡＭ５０３の第６および第７のバッファ領域にそれぞれ画像データとして記憶される。

続いて、ＣＰＵ５０１は対象者の顔形状を抽出する（ステップＳ７）。そして、ＣＰＵ５０１は、対象者の人数Ｍから１を減算（ステップＳ８）した後、上記人数Ｍが０となったか否かを判別する（ステップＳ９）。人数Ｍが０となっていない場合、ＣＰＵ５０１は、ステップＳ２の処理に戻り、ステップＳ２〜Ｓ８の処理を繰り返す。

上記ステップＳ９の処理において、人数Ｍが０となった場合、つまり全ての対象者について上記ステップＳ２〜Ｓ８の処理が終了した場合には、ＣＰＵ５０１は、これらの対象者の年齢形状特徴（平均顔形状）を作成する（ステップＳ１０）。

次に、ＣＰＵ５０１は、しわモデル作成処理（ステップＳ１１）およびしみモデル作成処理（ステップＳ１２）を行う。なお、しみモデル作成処理が終了すれば、しみ／しわモデル作成処理が終了することとなる。

（４）しわモデル作成処理
図３は、しわモデル作成処理を示すフローチャートである。しわモデル作成処理で用いられるしわ成分は複数の階調を有する多値画像である。

図３に示すように、最初に、ＣＰＵ５０１は、各対象者のしわ成分を、上記ステップＳ１０の処理で作成した年齢形状特徴に合成する（ステップＳ２１）。

次に、ＣＰＵ５０１は、マッチング係数Ｐの最大値を検出する（ステップＳ２２）。ここで、マッチング係数Ｐについて説明する。図４は、マッチング係数Ｐを説明するための説明図である。なお、図４（ａ），（ｂ）および後述の図４（ｃ）においては、年齢形状特徴は図示されていない。

年齢形状特徴に図４（ａ）に示す一方の対象者のしわ成分を合成する（上述のステップＳ２１）。この一方の対象者のしわ成分の面積をＡとする。

同様に、一方の対象者のしわ成分が合成された年齢形状特徴に、図４（ｂ）に示す他方の対象者のしわ成分を合成する（上述のステップＳ２１）。この他方の対象者のしわ成分の面積をＢとする。

ここで、上記一方および他方の対象者の各しわ成分が年齢形状特徴のほぼ同じ位置にあるものとして、一方の対象者のしわ成分が合成された年齢形状特徴に、他方の対象者のしわ成分を合成すると、図４（ｃ）に示すように、面積Ａを有する一方の対象者のしわ成分と面積Ｂを有する他方の対象者のしわ成分とが重なり合う。この重なり合ってできたしわ成分（以下、重なりしわ成分と呼ぶ：図４（ｃ）において黒色の領域）の面積をＣとする。

このように算出された重なりしわ成分の面積Ｃを用いて、ＣＰＵ５０１はマッチング係数Ｐを下記式に基づいて算出する。

Ｐ＝Ｃ／Ａ＋Ｃ／Ｂ ・・・（１）
次に、ＣＰＵ５０１は、一方の対象者のしわ成分または他方の対象者のしわ成分の位置をずらすことにより、重なりの度合いが最も大きくなる位置を検出し、その位置おける上記マッチング係数Ｐを当該マッチング係数Ｐの最大値として検出する（上述のステップＳ２２）。なお、しわ成分の位置をずらす処理は、例えば９画素×９画素の領域上で行われる。

次に、ＣＰＵ５０１は、マッチング係数Ｐの最大値が所定値（例えば、０．５）以上であるか否かを判別する（図３のステップＳ２３）。マッチング係数Ｐの最大値が所定値以上である場合に、ＣＰＵ５０１は、ずらした後のしわ成分の輝度を積算する（ステップＳ２４）。

次に、上記ステップＳ２４の処理後、および上記ステップＳ２３においてマッチング係数Ｐの最大値が所定値未満である場合に、ＣＰＵ５０１は、全てのしわ成分について処理が終了したか否かを判別する（ステップＳ２５）。全てのしわ成分について処理が終了した場合、ＣＰＵ５０１は、全ての対象者の処理が終了したか否かを判別する（ステップＳ２６）。

上記ステップＳ２６の処理において全ての対象者の処理が終了した場合、ＣＰＵ５０１は、積算されたしわ成分の輝度を対象者の人数で割った後（ステップＳ２７）、所定の基準値（例えば、輝度が３）以下のしわ成分の領域を消去する（ステップＳ２８）。これにより、輝度が基準値を超える領域がしわモデルのしわ成分として設定される。

一方、上記ステップＳ２５の処理において全てのしわ成分について処理が終了していない場合、ＣＰＵ５０１はステップＳ２２の処理に戻り、ステップＳ２２〜Ｓ２５の処理を繰り返す。

また、上記ステップＳ２６の処理において全ての対象者の処理が終了していない場合、ＣＰＵ５０１はステップＳ２２の処理に戻り、ステップＳ２２〜Ｓ２６の処理を繰り返す。これにより、複数の対象者のしわ成分の輝度がマッチング係数Ｐを最大とする状態で積算される。

次に、上記ステップＳ２８の処理の後、ＣＰＵ５０１は、上記のように作成されたしわモデルを外部記憶装置５０６に記憶させる（ステップＳ２９）。なお、しわモデル作成処理では、重なりしわ成分の領域を除く領域のうち基準値を超えない領域も、しわモデルのしわ成分の一部として設定してもよい。

（５）しみモデル作成処理
以下、しみモデル作成処理（ステップＳ１２）について図面を参照しながら説明する。

図５は、対象者の原画像を簡略化した模式図である。

図５の対象者の原画像を複数の領域に区画する。例えば、頭の先端部から目の中心までの範囲を領域Ｆ１とし、目の中心から口の中心までの範囲を領域Ｆ２とし、口の中心からあごの先端部までの範囲を領域Ｆ３とする。

例えば、対象者Ａ、対象者Ｂ、対象者Ｃ、対象者Ｄおよび対象者Ｅがいる場合において、領域Ｆ１における対象者Ａのしみの数を１２個、対象者Ｂのしみの数を２０個、対象者Ｃのしみの数を５個、対象者Ｄのしみの数を１０個、対象者Ｅのしみの数を８個とする。領域Ｆ１において対象者Ａ〜Ｅが有するしみの数を多い順（または少ない順）に並べた場合に、１０個のしみを有する対象者Ｄが中間に位置する。

このような結果に基づいて、領域Ｆ１では対象者Ｄのしみをしみモデルのしみ成分として設定する。領域Ｆ２および領域Ｆ３においても同様に、各対象者が有するしみの数を多い順（または少ない順）に並べた場合に、中間に位置する対象者のしみをしみモデルのしみ成分としてそれぞれ設定する。なお、上記の例では、しみの数に基づいてしみモデルを設定したが、これに限定されるものではなく、しみの面積（総面積）に基づいてしみモデルを設定してもよい。

しみの位置は人ごとに異なるが、しみの数および面積は同じ年齢または年齢層の人に共通している。したがって、本実施の形態の方法を用いることにより、信頼性が向上されたしみモデルを作成することができる。

上記の例では、説明の簡略化のため対象者の人数を５名（対象者Ａ〜Ｅ）としたが、実際には１００名以上を対象者とすることが好ましい。また、対象者の数が偶数の場合には、上記中間に位置する対象者として複数人（例えば２人）のしみをしみモデルのしみ成分として設定してもよい。

しみ／しわモデル作成処理により作成されたしわモデルおよびしみモデルを、それぞれ図６（ａ）および図６（ｂ）に示す。

（６）モデル適用処理
次に、しみモデルおよびしわモデルを、ある対象者の原画像に適用するためのモデル適用処理について説明する。

図７は、モデル適用処理を示すフローチャートである。

図７に示すように、ＣＰＵ５０１は、対象者の原画像を取得する（ステップＳ３１）。本例の場合、ＣＰＵ５０１は、図８（ａ）に示す２０歳の女性の原画像を取得するものとする。

次に、ＣＰＵ５０１は年齢操作後の年齢を取得する（ステップＳ３２）。この場合、作業者が画像処理装置５０の入力装置５０４を操作することにより、年齢操作後の年齢が決定される。例えば、作業者は年齢操作後の年齢として４０歳代、５０歳代、６０歳代および７０歳代を選択することができる。

続いて、ＣＰＵ５０１は、対応する年齢形状特徴、しみモデルおよびしわモデルを選択（ステップＳ３３）した後、上記年齢形状特徴に基づいて原画像の顔形状を変形する（ステップＳ３４）。

次に、ＣＰＵ５０１は、しみモデルおよびしわモデルを変形された顔形状に合致するよう変形する（ステップＳ３５）。

その後、ＣＰＵ５０１は、原画像に変形されたしみモデルおよびしわモデルを適用する（ステップＳ３６）。

４０歳代のしみモデルおよびしわモデルを原画像に適用した結果を図８（ｂ）に示し、７０歳代のしみモデルおよびしわモデルを原画像に適用した結果を図８（ｃ）に示す。

（７）本実施の形態における効果
このように、本実施の形態においては、しみ／しわモデル作成処理によりしみモデルおよびしわモデルを作成し、これらを対象者の原画像に適用することによって、コンピュータグラフィックス（ＣＧ）によるしみおよびしわを顔画像に合成した場合のような合成後の顔画像に残る不自然さの発生を防止することができる。それにより、年齢操作後の結果における信頼性を向上することができる。

また、しみ／しわモデル作成処理により作成したしみモデルおよびしわモデルを用いることにより、しみおよびしわがほとんどない若年者の原画像に対しても年齢操作を容易に行うことが可能となる。

（８）明領域画像および暗領域画像の作成
次に、図２のしみ／しわモデル作成処理における明領域画像の作成（ステップＳ３）および暗領域画像の作成（ステップＳ４）について説明する。

図９は、注目画素および周辺画素の一例を示す図である。また、図１０および図１１は、明領域画像の作成処理を示すフローチャートである。さらに、図１２および図１３は、暗領域画像の作成処理を示すフローチャートである。

図９に示すように、原画像１００の水平方向をＸ方向とし、垂直方向をＹ方向とする。図９の例では、原画像１００のＸ方向の画素数は５１２であり、Ｙ方向の画素数も５１２である。注目画素３００の周囲の１０画素×１０画素の領域を周辺領域２００と呼ぶ。

明領域画像の作成処理および暗領域画像の作成処理では、注目画素３００を１画素ずつシフトさせながら、周辺領域２００内の輝度の平均値に基づいて注目画素３００の値を決定する。

図１０および図１１の明領域画像作成処理においては、まず、ＣＰＵ５０１は、注目画素３００および周辺領域２００を設定する（ステップＳ４１）。

次に、周辺領域２００内の画素の輝度の平均値を算出する（ステップＳ４２）。そして、注目画素３００の輝度値と平均値との差を算出する（ステップＳ４３）。

次いで、注目画素３００の輝度値と平均値との差が正の所定値以上か否かを判別する（ステップＳ４４）。

注目画素３００の輝度値と平均値との差が正の所定値以上の場合には、“１”を注目画素３００の画素値に設定する（ステップＳ４５）。注目画素３００の輝度値と平均値との差が正の所定値より低い場合には、“０”を注目画素３００の画素値に設定する（ステップＳ４６）。

その後、注目画素３００がＸ方向の最後の画素か否かを判別する（図１１のステップＳ４７）。注目画素３００がＸ方向の最後の画素でない場合は、注目画素３００および周辺領域２００をＸ方向に１画素分シフトする（ステップＳ４８）。そして、ステップＳ４２に戻り、ステップＳ４２〜Ｓ４７の処理を繰り返す。

ステップＳ４７において注目画素３００がＸ方向の最後の画素の場合には、注目画素３００がＹ方向の最後の画素か否かを判別する（ステップＳ４９）。注目画素３００がＹ方向の最後の画素でない場合は、注目画素３００をＸ方向の最初の画素に戻し、注目画素３００および周辺領域２００をＹ方向に１画素分シフトする（ステップＳ５０）。そして、ステップＳ４２に戻り、ステップＳ４２〜Ｓ４９の処理を繰り返す。

ステップＳ４９において注目画素３００がＹ方向の最後の画素の場合には、明領域画像作成処理を終了する。

このようにして、原画像１００において平均輝度よりも高い輝度を有する明領域を示す明領域画像が作成される。

次に、図１２および図１３の暗領域画像作成処理においては、まず、ＣＰＵ５０１は、注目画素３００および周辺領域２００を設定する（ステップＳ５１）。

次に、周辺領域２００内の画素の輝度の平均値を算出する（ステップＳ５２）。そして、注目画素３００の輝度値と平均値との差を算出する（ステップＳ５３）。

次いで、注目画素３００の輝度値と平均値との差が負の所定値以下か否かを判別する（ステップＳ５４）。

注目画素３００の輝度値と平均値との差が負の所定値以下の場合には、“１”を注目画素３００の画素値に設定する（ステップＳ５５）。注目画素３００の輝度値と平均値との差が負の所定値よりも高い場合には、“０”を注目画素３００の画素値に設定する（ステップＳ５６）。

その後、注目画素３００がＸ方向の最後の画素か否かを判別する（図１３のステップＳ５７）。注目画素３００がＸ方向の最後の画素でない場合は、注目画素３００および周辺領域２００をＸ方向に１画素分シフトする（ステップＳ５８）。そして、ステップＳ５２に戻り、ステップＳ５２〜Ｓ５７の処理を繰り返す。

ステップＳ５７において注目画素３００がＸ方向の最後の画素の場合には、注目画素３００がＹ方向の最後の画素か否かを判別する（ステップＳ５９）。注目画素３００がＹ方向の最後の画素でない場合は、注目画素３００をＸ方向の最初の画素に戻し、注目画素３００および周辺領域２００をＹ方向に１画素分シフトする（ステップＳ６０）。そして、ステップＳ５２に戻り、ステップＳ５２〜Ｓ５９の処理を繰り返す。

ステップＳ５９において注目画素３００がＹ方向の最後の画素の場合には、暗領域画像作成処理を終了する。

このようにして、原画像１００において平均輝度よりも低い輝度を有する暗領域を示す暗領域画像が作成される。

図１４は、原画像の一例を示す図であり、図１５は、明領域画像の一例を示す図である。上記の明領域画像の作成処理により、図１４の原画像１００から図１５の明領域画像６００が作成される。なお、図１４中の各数字は輝度を示す。

（９）ブロッブの抽出およびラベリング
次に、ブロッブの抽出およびラベリングについて説明する。図１６および図１７は、ブロッブの抽出およびラベリングを説明するための図である。

ここで、ブロッブの抽出とは、明領域画像または暗領域画像において値が“１”の画素の連結領域をブロッブとして抽出することをいう。また、ラベリングとは、個々のブロッブを識別するために各ブロッブにラベルを付すことをいう。

図１５に示した明領域画像６００において、注目画素をＸ方向に１画素分シフトしつつ、注目画素の左側、左斜め上、上側または右斜め上に値が“１”の画素が存在するか否かを調べる。最初に注目画素の値が“１”となったときに、その注目画素にラベル“Ａ”を付す。次に、注目画素の値が“１”であり、左側、左斜め上、上側または右斜め上に値が“１”の画素が存在する場合に、注目画素に値が“１”の画素と同じラベル“Ａ”を付す。注目画素の値が“１”であり、左側、左斜め上、上側または右斜め上に値が“１”の画素が存在しない場合には、注目画素に別のラベル“Ｂ”を付す。

注目画素をＸ方向の最後の画素までシフトした後、注目画素をＸ方向の最初の画素に戻しかつＹ方向に１画素分シフトし、上記の処理を行う。注目画素がＸ方向およびＹ方向の最後の画素になるまで上記の処理を繰り返す。

上記の処理により、図１６に示すように、明領域画像６００のブロッブ６０１にラベル“Ａ”および“Ｂ”が付され、ブロッブ６０２にラベル“Ｃ”が付されている。

次に、図１６の明領域画像６００において、注目画素をＸ方向およびＹ方向の最初の画素に戻し、注目画素をＸ方向に１画素分シフトしつつ、注目画素の左側、左斜め上、上側または右斜め上にラベルが付された画素が存在するか否かを調べる。注目画素にラベルが付されており、かつ左側、左斜め上、上側または右斜め上に異なるラベルが付された画素が存在する場合には、注目画素のラベルと同じラベルを持つ画素を全て左側、左斜め上、上側または右斜め上の画素と同じラベルに変更する。

注目画素をＸ方向の最後の画素までシフトした後、注目画素をＸ方向の最初の画素に戻しかつＹ方向に１画素分シフトし、上記の処理を行う。注目画素がＸ方向およびＹ方向の最後の画素になるまで上記の処理を繰り返す。

その結果、図１７に示すように、ブロッブ６０１内のラベル“Ｂ”がラベル“Ａ”に変更される。

このようにして、値が“１”の画素の連結領域をブロッブとして抽出することができるとともに、ラベルにより個々のブロッブを識別することができる。

図１７の明領域画像６００では、ラベル“Ａ”によりブロッブ６０１が識別され、ラベル“Ｃ”によりブロッブ６０２が識別される。

暗領域画像についても、同様にしてブロッブの抽出およびラベリングが行われる。

（１０）しみ成分およびしわ成分の生成
次に、ラベリングされたブロッブからしみおよびしわを検出する処理ならびにしみ成分およびしわ成分を生成する処理について説明する。

（ａ）しみの検出
一般的な顔の知識より、しみは顔に対して大きな領域を占めるものではなく、十分に小さい。しかし、著しく小さいブロッブは観察者が知覚できないであろうことから、しみとはしない。また、しみの形状は、円に近いか、または円から多少歪んだ形状である。

ここで、しみとして検出されなかったブロッブはすべて除去する（画素値を０とする）。

（ｂ）しわの検出
一般的な顔の知識より、しわは顔の大きさと比較して著しく長いものではない。また、しわの形状は、直線状または曲線状である。一方、顔パーツの輪郭線も同様な形状を示している場合がある。しかし、人が顔を観察する場合にもこれらの局所的な画像のみからはしわと顔パーツの輪郭線とを識別することが難しいことがしばしばある。人は、このような場合に、顔という知識を利用していると考えられる。そこで、ブロッブに、顔パーツの一部が含まれていれば、そのブロッブは顔パーツの輪郭線とみなす。

ここで、しわとして検出されなかったブロッブはすべて除去する（画素値を０とする）。

図１８は原画像の基準長さを説明するための図である。図１９はしみおよびしわの検出処理を示すフローチャートである。図２０はブロッブの例を示す図である。

しみおよびしわの検出処理では、図１８に示すように、原画像の両眼の中心間の水平方向の距離Ｌ１と、両眼の間の中点と口との間の垂直方向の距離Ｌ２に係数を乗算した値とを比較し、それらのうち長い方の距離を基準長さとし、抽出されたブロッブの寸法を規格化する。

ここでは、図２０（ａ）〜（ｈ）のブロッブＢ１〜Ｂ８からしみおよびしわを検出するものとする。図２０において、各ブロッブＢ１〜Ｂ８が内接する長方形の領域を処理領域７００と呼ぶ。

各ブロッブＢ１〜Ｂ８の横の長さｗは、ブロッブＢ１〜Ｂ８のＸ方向の最大座標と最小座標との差であり、処理領域７００の横の長さに相当する。また、各ブロッブＢ１〜Ｂ８の縦の長さｈは、ブロッブＢ１〜Ｂ８のＹ方向の最大座標と最小座標との差であり、処理領域７００の縦の長さに相当する。

まず、ＣＰＵ５０１は、ブロッブの画素数が所定値Ｐ１以上であるか否かを判別する（ステップＳ７１）。ブロッブの画素数が所定値Ｐ１よりも少ない場合には、そのブロッブを排除する（ステップＳ７９）。それにより、小さすぎるブロッブが排除される。

ブロッブの画素数が所定値Ｐ１以上の場合には、ＣＰＵ５０１は、ブロッブの縦横比と密度との関係値ｆａが所定値Ｋ以上であるか否かを判別する（ステップＳ７２）。所定値Ｋは０よりも大きく１よりも小さい値に設定される。

ここで、関係値ｆａは次式により求められる。

ｆａ＝α［１−｜（４／π）｛ｔａｎ^-1（ｗ／ｈ）−（π／４）｝｜］＋（１−α）（βｓ／ｗｈ） …（２）
上式（２）において、ｗはブロッブの横の長さ、ｈはブロッブの縦の長さ、ｓはブロックの画素数、αおよびβはそれぞれ所定の係数である。

上式（２）の第１項の［１−｜（４／π）・｛ｔａｎ^−１（ｗ／ｈ）−（π／４）｝｜］において、ｔａｎ^−１（ｗ／ｈ）の値はＸ方向に対して処理領域７００の対角線がなす角度を表す。ブロッブの縦横比ｗ／ｈが１の場合には、対角線の角度が４５度となり、第１項の上記の値は１となる。ブロッブの縦横比ｗ／ｈが０または∞に近い場合には、対角線の角度が９０度または０度に近くなり、第１項の上記の値は約０となる。

例えば、図２０（ａ），（ｂ），（ｃ）のブロッブＢ１，Ｂ２，Ｂ３では、第１項の上記の値は１となり、図２０（ｄ）のブロッブＢ４では、第１項の上記の値は０となる。

また、上式（２）の第２項において、ｓ／ｗｈの値は、処理領域７００内のブロッブの密度を表す。

例えば、図２０（ａ），（ｄ）のブロッブＢ１，Ｂ４では、第２項の上記の値は１に近くなり、図２０（ｂ），（ｇ），（ｈ）のブロッブＢ２，Ｂ７，Ｂ８では、第２項の上記の値は０に近くなる。

係数αは、縦横比および密度の重みを調整するために用いられ、０＜α＜１となるように設定される。したがって、形状が正方形または円形に近くかつ密度が高い場合には、関係値ｆａは１に近くなる。

例えば、図２０（ａ）のブロッブＢ１では、関係値ｆａが１に近くなる。

ブロッブの縦横比と密度との関係値ｆａが所定値Ｋ以上の場合には、ＣＰＵ５０１は、ブロッブの画素数が所定値Ｐ２以下であるか否かを判別する（ステップＳ７７）。所定値Ｐ２は所定値Ｐ１よりも大きい値に設定される。

ブロッブの画素数が所定値Ｐ２以下でない場合、すなわち所定値Ｐ２よりも大きい場合には、ＣＰＵ５０１はそのブロッブを排除する。それにより、大きすぎるブロッブが排除される。

ステップＳ７７においてブロッブの画素数が所定値Ｐ２以下の場合には、ＣＰＵ５０１は、そのブロッブをしみと判定する（ステップＳ７８）。この場合、図２０（ａ）のブロッブＢ１がしみと判定される。

それにより、画素数が所定値Ｐ１以上所定値Ｐ２以下であり、かつ縦横比と密度との関係値ｆａが所定値Ｋ以上のブロッブがしみと判定される。例えば、図２０（ａ）のブロッブＢ１は、画素数が所定値Ｐ１以上所定値Ｐ２以下の場合にしみと判定され、画素数が所定値Ｐ１よりも小さいかまたは所定値Ｐ２よりも大きい場合に排除される。

ステップＳ７２において縦横比と密度との関係値ｆａが所定値Ｋよりも小さい場合には、ＣＰＵ５０１は、ブロッブの大きさと密度との関係値ｆｂが所定値Ｌ以上であるか否かを判別する（ステップＳ７３）。所定値Ｌは０よりも大きく１よりも小さい値に設定される。

ここで、関係値ｆｂは次式により求められる。

ｆｂ＝ｍａｘ（ｗ，ｈ）／ｓ …（３）
上式（３）において、ｍａｘ（ｗ，ｈ）はブロッブの横の長さｗおよび縦の長さｈのうち長い方の値を示す。また、ｓはブロッブの画素数である。

細い線では、関係値ｆｂは１に近くなり、太い線では、関係値ｆｂは０に近くなる。

ブロッブの大きさと密度との関係値ｆｂが所定値Ｌ以上でない場合、すなわち
所定値Ｌよりも小さい場合には、ＣＰＵ５０１はそのブロッブを排除する（ステップＳ７６）。

例えば、図２０（ｃ）のブロッブＢ３では、関係値ｆｂが０に近くなる。したがって、ブロッブＢ３は排除される。

ステップＳ７３においてブロッブの大きさと密度との関係値ｆｂが所定値Ｌ以上の場合には、ＣＰＵ５０１はブロッブのばらつきの度合いｆｃが所定値Ｍ以上であるか否かを判別する（ステップＳ７４）。所定値Ｍは０よりも大きく１よりも小さい値に設定される。例えば、所定値Ｍは０．１２である。

この場合、ブロッブのばらつきの度合いｆｃは、ブロッブ内の画素のうちブロッブの重心からの距離が標準偏差σの２倍よりも長い画素の割合で定義される。ばらつきの度合いｆｃは次式により求められる。

ｆｃ＝ｕ／ｓ …（４）
上式（４）において、ｓはブロッブの画素数である。また、ｕは、ブロッブの重心Ｗ０を中心とする円Ｃ外の画素の数である。

ブロッブのばらつきの度合いｆｃが所定値Ｍよりも小さい場合には、ＣＰＵ５０１はそのブロッブを排除する。

例えば、図２０（ｅ），（ｆ），（ｈ）のブロッブＢ５，Ｂ６，Ｂ８では、ばらつきの度合いｆｃの値が小さくなる。したがって、ブロッブＢ５，Ｂ６，Ｂ８は排除される。

ステップＳ７４においてブロッブのばらつきの度合いｆｃが所定値Ｍ以上の場合には、ＣＰＵ５０１は、ブロッブをしわと判定する（ステップＳ７５）。

それにより、画素数が所定値Ｐ１以上であり、縦横比と密度との関係値ｆａが所定値Ｋよりも小さく、大きさと密度との関係値ｆｂが所定値Ｌ以上であり、かつばらつきの度合いｆｃが所定値Ｍ以上であるブロッブがしわと判定される。

例えば、図２０（ｂ），（ｄ），（ｇ）のブロッブＢ２，Ｂ４，Ｂ７では、ばらつきの度合いｆｃが大きくなる。したがって、ブロッブＢ２，Ｂ４，Ｂ７はしわと判定される。

上記のようにしてしみまたはしわとして検出されたブロッブについて、原画像に基づいてしみ成分またはしわ成分を生成する。

まず、しみとして検出されたブロッブと、しわとして検出されたブロッブとを振り分ける。

しみ成分の生成では、しみとして検出されたブロッブ外の画素の値を“０”とする。ブロッブ内の各画素について、その画素を中心に含む１０画素×１０画素の周辺領域内の画素の輝度の中央値を算出し、原画像の輝度値と中央値との差の絶対値を算出し、差の絶対値をしみ成分の画素の値とする。しみ成分の生成では、暗領域画像に対応するしみ成分が生成される。

同様に、しわ成分の生成では、しわとして検出されたブロッブ外の画素の値を“０”とする。ブロッブ内の各画素について、その画素を中心に含む１０画素×１０画素の周辺領域内の画素の輝度の中央値を算出し、原画像の輝度値と中央値との差の絶対値を算出し、差の絶対値をしわ成分の画素の値とする。しわ成分の生成では、暗領域画像に対応するしわ成分および明領域画像に対応するしわ成分が生成される。

図２１はしみ成分またはしわ成分の一例を示す図である。ブロッブ６０１Ａ，６０２Ａ外の画素の値は“０”とされる。ブロッブ６０１Ａ，６０２Ａ内の各画素の値は、原画像において、その画素を中心に含む１０画素×１０画素の周辺領域内の画素の輝度の中央値を算出し、原画像の輝度値と中央値との差の絶対値を算出することにより得られる。

（１１）顔画像の形状の操作
次に、対象者の原画像の顔画像に対して年齢が異なる顔画像を合成する方法について説明する。この方法を用いて顔画像の形状を操作することにより、「ある顔画像の人物が若く見られるならばこんな感じ」、「老けて見られるならばこんな感じ」という印象を得ることができる。なお、上記方法を実施するための画像処理装置の構成は図１の画像処理装置５０の構成と同じである。

以下では、画像が個人の顔画像であり、複数の形態的特徴が目、口等の顔パーツ（顔部品）の形状特徴を構成するＬ個の特徴点（ｘ，ｙ）の２次元座標であり、属性が年齢である場合を説明する。ここで、Ｌは、２以上の整数であり、ｘは顔画像におけるｘ座標、ｙは顔画像におけるｙ座標である。

本実施の形態では、まず、個人の顔画像を表す特徴ベクトル（形状特徴ベクトル）として、Ｌ個の特徴点（ｘ，ｙ）の２次元座標だけでなく、画像には直接関係はないが、年齢特徴に強く影響を与える既知の属性値（年齢属性値）に重みを加えたものを変量ａとして加え、以下に示すように、主成分分析（ＰＣＡ）による次元圧縮を行う。

具体的には以下の手順で行う。個人の顔画像の形状特徴ベクトルは、次式のように、２Ｌ＋１次元のベクトルＦ_ｉ （ｉ＝１，２，・・・，Ｍ）として表す。Ｍは主成分分析に用いる個人の顔画像の数である。

Ｆ_ｉ＝［ｘ_１，ｙ_１，ｘ_２，ｙ_２，ｘ_３，ｙ_３，…，ｘ_Ｌ，ｙ_Ｌ，ａ］^Ｔ …（５）
上式（５）において、Ｔは転置を示す。すべての顔画像の形状特徴ベクトルの平均値が形状特徴ベクトル空間の中心に配置されるように各要素（変量）から平均Ｆ_ＡＶを引く。

ΔＦ_ｉ＝Ｆ_ｉ−Ｆ_ＡＶ …（６）
次に、上式（６）を用いて新たに顔特徴空間Ｇを次式（７）により定義する。

Ｇ＝［ΔＦ_１，ΔＦ_２…，ΔＦ_Ｍ］ …（７）
そして、次式（８）により顔特徴空間Ｇの共分散行列Ｓを求める。

Ｓ＝ＧＧ^Ｔ …（８）
上式（８）より求められた共分散行列Ｓに対して次式（９）により特異値分解を行うことにより、各固有ベクトルを顔特徴空間Ｇの主成分として求めることができる。

Ｓ＝ＵＤＵ^Ｔ …（９）
Ｕはユニタリ行列であり、各列が固有ベクトルとなる。すなわち、ユニタリ行列Ｕの第１列には第１番目〜第Ｍ番目の顔画像における第１主成分の主成分得点が順に並び、第２列には第１番目〜第Ｍ番目の顔画像における第２主成分の主成分得点が順に並び、第３列には第１番目〜第Ｍ番目の顔画像における第３主成分の主成分得点が順に並ぶ。同様に、ユニタリ行列Ｕの第Ｍ列には第１番目〜第Ｍ番目の顔画像における第（２Ｌ＋１）主成分の主成分得点が並ぶ。Ｄは対角行列であり、対角成分が各主成分の固有値である。すなわち、対角行列Ｄの対角成分は、第１主成分〜第（２Ｌ＋１）主成分の固有値λ_１ 〜λ_２Ｌ＋１である。

ここで得られた第１主成分は、後述するように、属性値として加えた成分（年齢）の影響を強く受けており、第１主成分の主成分得点の値は、年齢属性値を強く反映したものになる。

ここで、第１主成分の標準偏差をσ_１ とし、その３倍を形状特徴の変化範囲とする。主成分の固有値は主成分の分散であることから、第１主成分の標準偏差σ_１ は、第１主成分の固有値λ_１ より次式（１０）のようになる。

σ_１ ^２＝λ_１ …（１０）
第１主成分の標準偏差σ_１ の３倍の範囲、すなわち−（３／２）σ_１ から＋（３／２）σ_１ の範囲を顔形状（形状特徴）の変化範囲とする。この変化範囲にすべての顔画像のうち９０％以上が属する。＋（３／２）σ_１ を第１主成分の主成分得点とし、他の主成分の主成分得点を０とする主成分特徴ベクトルをＰ_ｍａｘ とする。また、−（３／２）σ_１ を第１主成分の主成分得点とし、他の主成分の主成分得点を０とする主成分特徴ベクトルをＰ_ｍｉｎ とする。主成分特徴ベクトルＰ_ｍａｘ はＭ個の顔画像より求められる平均顔画像において最年長（または最年少）の顔画像に対応し、主成分特徴ベクトルＰ_ｍｉｎ はＭ個の顔画像により求められる平均顔画像において最年少（または最年長）の顔画像に対応する。

Ｐ_ｍａｘ＝［＋（３／２）σ_１，０，０，…，０］^Ｔ …（１１）
Ｐ_ｍｉｎ＝［−（３／２）σ_１，０，０，…，０］^Ｔ …（１２）
上式（１１），（１２）の主成分特徴ベクトルＰ_ｍａｘ ，Ｐ_ｍｉｎ より顔形状ベクトルＦ_ｍａｘ ，Ｆ_ｍｉｎ を再構成する。顔形状ベクトルＦ_ｍａｘ は最年長（または最年少）の平均顔画像を表し、顔形状ベクトルＦ_ｍｉｎ は最年少（または最年長）の平均顔画像を表す。そして、次式のように、顔形状ベクトルＦ_ｍａｘ と顔形状ベクトルＦ_ｍｉｎ との差を年齢特徴を表す特徴ベクトル（年齢特徴ベクトル）Ｆとして抽出する。

Ｆ＝Ｆ_ｍａｘ−Ｆ_ｍｉｎ …（１３）
ただし、年齢特徴ベクトルＦには属性値は必要ないため、年齢特徴ベクトルＦは年齢属性値を削除した２Ｌ次元のベクトルとする。

Ｆ＝［ｘ_１，ｙ_１，ｘ_２，ｙ_２，…，ｘ_２Ｌ，ｙ_２Ｌ］^Ｔ …（１４）
上式（１４）の年齢特徴ベクトルＦは、最年長の平均顔画像と最年少の平均顔画像との間での各特徴点の移動量を表している。例えば、変量ｘ_１ は１番目の特徴点のｘ座標の移動量を表し、変量ｙ_１ は１番目の特徴点のｙ座標の移動量を表す。

上式（１４）の年齢特徴ベクトルＦを用いて次のようにして特定の個人のオリジナル顔画像からその個人の異なる年齢の顔画像を合成することができる。

まず、特定の個人のオリジナル顔画像の形状特徴ベクトルＦ^Ｉを次式のように構成する。

Ｆ^Ｉ＝［ｘ_１，ｙ_１，ｘ_２，ｙ_２，…，ｘ_２Ｌ，ｙ_２Ｌ］^Ｔ …（１５）
上式（１５）の変量ｘ_１，ｙ_１，ｘ_２，ｙ_２，…，ｘ_２Ｌ，ｙ_２Ｌはオリジナル顔画像のＬ個の特徴点のｘ座標およびｙ座標である。

次に、上式（１４）の年齢特徴ベクトルＦの各変量ｘ_１ ，ｙ_１ ，ｘ_２ ，ｙ_２ ，…，ｘ_２Ｌ，ｙ_２Ｌに合成割合ｂを乗算し、次式の修正ベクトルＦ’を算出する。

Ｆ’＝［ｂｘ_１，ｂｙ_１，ｂｘ_２，ｂｙ_２，…，ｂｘ_２Ｌ，ｂｙ_２Ｌ］^Ｔ …（１６）
上式（１５）のオリジナル顔画像の形状特徴ベクトルＦ^Ｉ に上式（１６）の修正ベクトルＦ’を次式のように加算または減算し、年齢特徴をマッピングした形状特徴ベクトルＦ^Ｓ を作成する。

Ｆ^Ｓ＝Ｆ^Ｉ±Ｆ’ …（１７）
上式（１７）の形状特徴ベクトルＦ^Ｓ から顔画像を再構成することによりオリジナル顔画像に対して年齢が異なる顔画像を合成することができる。この場合、上式（１６）における合成割合ｂの値を任意に設定することにより、任意の年齢の顔画像を合成することが可能となる。

図２２および図２３は図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。ここでは、ある年齢の個人のオリジナル顔画像からその個人の他の年齢の顔画像を合成する方法の例を示す。

まず、ＣＰＵ５０１は、入力装置５０４により入力された複数の個人の顔画像を画像データとして外部記憶装置５０６に記憶する（ステップＳ９１）。この場合、予めデータベースに記憶された複数の個人の顔画像の画像データを用いてもよい。

次に、ＣＰＵ５０１は、外部記憶装置５０６に記憶された画像データに基づいて各顔画像の複数の特徴点の座標値を抽出する（ステップＳ９２）。本実施の形態では、各特徴点のｘ座標およびｙ座標を抽出する。

次に、ＣＰＵ５０１は、各顔画像の年齢属性値を取得する（ステップＳ９３）。年齢属性値は、各顔画像ごとに入力装置５０４により入力してもよく、あるいは各顔画像ごとに予めデータベースに記憶された年齢属性値を用いてもよい。本実施の形態では、後述する年齢知覚実験により得られた見かけの年齢を年齢属性値として用いる。

さらに、ＣＰＵ５０１は、各顔画像ごとに抽出された複数の特徴点の座標値および年齢属性値を用いて各顔画像の形状特徴ベクトルＦ_ｉ （式（５）参照）を構成する（ステップＳ９４）。

次いで、ＣＰＵ５０１は、複数の顔画像の形状特徴ベクトルＦ_ｉ から式（６）〜（１０）に従って主成分分析により第１主成分の固有値σ_１ を算出する（ステップＳ９５）。また、ＣＰＵ５０１は、第１主成分の固有値σ_１ を用いて式（１１）の第１主成分の主成分特徴ベクトルＰ_ｍａｘ ，Ｐ_ｍｉｎ を構成する（図２３のステップＳ９６）。

次に、ＣＰＵ５０１は、第１主成分の固有値σ_１を用いて式（１１）の第１主成分の顔形状ベクトルＦ_ｍａｘ ，Ｆ_ｍｉｎ を再構成し（ステップＳ９７）、式（１２）の年齢特徴を表す年齢特徴ベクトルＦを抽出する（ステップＳ９８）。

次いで、ＣＰＵ５０１は、年齢特徴ベクトルＦを用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成する（ステップＳ９９）。

このようにして、画像処理プログラムを画像処理装置において実行することにより複数の個人の顔画像を用いて年齢特徴に密接に関連する顔形状の特徴を年齢特徴ベクトルＦとして抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成することができる。

上記のように、本実施の形態の画像処理装置、画像処理方法および画像処理プログラムにより未知の顔画像を合成することができるので、それらを犯罪捜査等に利用することができる。

なお、上記実施の形態では、画像の形態的特徴として顔形状の特徴を表す複数の特徴点の座標値を用いているが、画像の形態的特徴として肌の色合い、しみ、しわ等のテクスチャ（肌合い）を用いることもできる。また、年齢の知覚は、顔内部の形状だけではなく、髪型等を考慮してもよい。

さらに、上記実施の形態では、属性として見かけの年齢を用いているが、属性として見かけの年齢の代わりに実年齢を用いてもよい。また、属性として表情、人種、性別、体形等の他の属性を用いてもよい。

属性が実年齢の場合、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて実年齢の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から実年齢の異なる顔画像を合成することができる。

属性が表情の場合、喜怒哀楽等の表情をそれぞれ異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて表情の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から表情の異なる顔画像を合成することができる。

属性が人種の場合、異なる複数の人種をそれぞれ異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて人種の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から人種の異なる顔画像を合成することができる。

属性が性別の場合、男女の性別を異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて性別の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から性別の異なる顔画像を合成することができる。

属性が体形の場合、異なる体形を異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて体形の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から体形の異なる顔画像を合成することができる。

また、上記実施の形態では、画像が個人の顔画像である場合を説明したが、これに限定されない。例えば、画像が動物の画像であってもよい。

（１２）請求項の各構成要素と実施の形態の各部との対応関係
本実施の形態においては、外部記憶装置５０６が記憶手段に相当し、ＣＰＵ５０１が検出手段、作成手段、抽出手段、適用手段、生成手段、変形手段およびコンピュータに相当する。

１．予備実験
個人の顔の経年変化に関わる形状特徴について考える場合、主成分分析の変量に与える属性値として、実年齢を利用すればよい。しかし、顔の経年変化では、形状とともに、しみやしわ、肌のきめ等も変化することは経験的にも明らかである。本実施例では、経年変化により変化する顔の形状特徴ではなく、みかけの年齢、つまり若く見える顔や、老けて見える顔の形状の特徴について検討した。そして、見かけの年齢の属性値として、実年齢を与えたのでは不十分であるため、見かけの年齢の属性値を求めるために年齢知覚実験（年齢評定実験）を行った。

１−１．手続
年齢知覚実験における実験刺激には、本願出願人が収集して作成した表情顔画像データベースから、日本人男女各１４２名の無表情、正面向き、実年齢が１０代後半から３０代後半の顔画像を用いた。また、顔画像は５１２×５１２ピクセルのカラー画像であり、顔が枠内に十分入る大きさであった。被験者は大学生（１８才〜２２才）の男性２５名および女性２２名であった。

実験は、次の手順で行われた。被験者は、モニタに表示される顔画像の年齢を推定し、表１に示す年齢評定カテゴリの中で最も適するカテゴリを選択するよう求められた。

表１に示すように、年齢を８つのカテゴリに分類し、それらのカテゴリに年齢の若い順に０〜７の評定値を与えた。

１−２．結果
顔画像ごとに評定値の平均および標準偏差を求めた。図２４は顔画像ごとの評定置の平均を降順に並び替えてプロットした図である。図２４の横軸は、１４２名の顔画像を示し、縦軸は、各顔画像の評定値の平均を示す。三角印および丸印はそれぞれ男性および女性の顔画像の評定値の平均を表す。

個々の顔画像より得られた標準偏差から顔画像の性別ごとに平均を求めた。標準偏差の平均は、男性の顔画像では０．８５、女性の顔画像では０．８９であった。つまり、男女の顔とも±５才程度の誤差で年齢が推定されたことになる。

なお、男女で顔画像は異なり、顔画像間に関連もないため、顔画像間の比較には意味がない。

２．年齢特徴抽出実験
次に、上記の年齢知覚実験により得られた見かけの年齢属性値を用いて顔年齢特徴抽出実験を行った。顔情報に見かけの年齢属性値を付加する場合（以下、属性値付加条件と呼ぶ）と、顔情報に見かけの年齢属性値を付加しない場合（以下、属性値なし条件と呼ぶ）とで、抽出される形状特徴の比較を行った。

２−１．手続き
顔画像の形状特徴には、本願出願人が開発した顔画像合成システム（ＦＵＴＯＮ）（蒲池みゆき，向田茂，吉川左紀子，加藤隆，尾田正臣，赤松茂，“顔・表情認知に関する心理実験のための顔画像合成システム−ＦＵＴＯＮ Ｓｙｓｔｅｍ−，”信学技法，ＨＩＰ９７−３９，ｐｐ．７３−８０，Ｊａｎ．１９９８および向田茂，蒲池みゆき，赤松茂，“顔画像合成システム（ＦＵＴＯＮ ｓｙｓｔｅｍ）におけるマニュアルサンプリングの評価，”信学技法，ＨＩＰ９９−４９，ｐｐ．１３−１８，Ｎｏｖ．１９９９参照）のデフォルト特徴点８３点の座標値を用いた。

図２５は顔特徴ベクトルの変量として用いた特徴点を示す図である。図２５において、８３点の特徴点を黒丸で示し、各特徴点を識別するために符号を付している。

顔画像としては、予備実験で用いた男女の各１４２枚の顔画像を用いた。ただし、顔幅（特徴点Ｆｒ３，Ｆｌ３間の長さ）が２３０ピクセルになるように、また両目の瞳を結ぶ直線が水平になるように正規化した。

男女の顔画像ごとに、属性値なし条件および属性値付加条件のそれぞれにおいて主成分分析による次元圧縮を行った。
・属性値なし条件
従来手法の属性値なし条件では、顔情報（形状特徴ベクトルの変量）として、８３点の特徴点の座標値のみを用いた。１枚の顔画像を１６６次元の形状特徴ベクトルＦ_Ｎ として表した。

Ｆ_Ｎ＝（ｘ_１，ｙ_１，ｘ_２，ｙ_２，ｘ_３，ｙ_３，…，ｘ_８３，ｙ_８３）^Ｔ
・属性値付加条件
属性値付加条件では、顔情報として（形状特徴ベクトルの変量）、８３点の特徴点の座標値に加え，予備実験で得られた各顔画像の評定値の平均値を１００倍した値を、見かけの年齢属性値ａとして用いた。そして、１枚の顔画像を１６７次元の形状特徴ベクトルＦ_Ａ として表した。

Ｆ_Ａ＝（ｘ_１，ｙ_１，ｘ_２，ｙ_２，ｘ_３，ｙ_３，…，ｘ_８３，ｙ_８３，ａ）^Ｔ
得られた主成分ごとの固有値から、その主成分の変化量を決定し、主成分ごとに形状特徴ベクトルを再構成後、視覚的にその差を比較した。

２−３．結果
男女それぞれの顔画像について、属性値なし条件および属性値付加条件から得られた各主成分における主成分得点を分析した。もし、主成分が年齢変化に強く関与しているのであれば、顔画像を年齢順に並べたとき、主成分上の各顔画像の主成分得点は昇順あるいは降順に並んでいるはずである。そこで、男女の顔画像での各条件で得られた主成分のうち第１主成分から第３主成分までの主成分得点をプロットした。

図２６（ａ）は男性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図、図２６（ｂ）は女性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図である。また、図２７（ａ）は男性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図、図２７（ｂ）は女性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図である。図２６および図２７の横軸は見かけの年齢（評定値）の高い順に並べた顔画像を示し、縦軸は主成分得点（PC score）を示す。四角印は第１主成分の主成分得点を示し、丸印は第２主成分の主成分得点を示し、三角印は第３主成分の主成分得点を示す。

図２６（ａ），（ｂ）に示すように、属性値なし条件では、男性の顔画像および女性の顔画像とも、年齢順に並べられた顔画像の主成分得点がほぼ昇順あるいは降順に並ぶ主成分を見つけることができなかった。

一方、図２７（ａ），（ｂ）に示すように、属性値付加条件では、男性の顔画像および女性の顔画像とも、第１主成分の主成分得点がほぼ順に並んだ形で示された。

これらの結果から、属性値付加条件で得られた第１主成分が顔画像の見かけの年齢に影響を与える特徴と密接に関係していることがわかった。

次に、各主成分がどのような形状変化に関わっているのかを視覚的に確認するために、確認する主成分の固有値から得られた変化範囲を用いて、それぞれ顔パーツの特徴点の座標を再構成した。以下に示すように、属性値付加条件での主成分の顔形状への影響を調べた。

図２８、図２９、図３０および図３１は男性の顔画像において属性値付加条件で得られた第１主成分、第２主成分、第３主成分および第４主成分をそれぞれ用いて再構成した顔形状を示す図である。また、図３２、図３３、図３４および図３５は女性の顔画像において属性値付加条件で得られた第１主成分、第２主成分、第３主成分および第４主成分をそれぞれ用いて再構成した顔形状を示す図である。図２８〜図３５において、（ａ）および（ｂ）は見かけの年齢が両極端の顔形状を示している。

再構成した顔画像から各主成分の２枚の顔形状を比較した。各主成分が形状的な特徴の変化とどのように関係しているかを、主観的な印象として挙げると次のようになる。男性の顔画像について属性値付加条件で得られた第１主成分では、眉の内側が上下に変化、外側は内側とは逆向きに上下に変化する。鼻と口は上下に変化し、口の幅は若干狭まったり、広がったり、そしてあごがやや大きくなったり、小さくなったりする。第２主成分では、額が拡大縮小し、眉の外側が水平方向へ変化し（眉の大きさが変わる）、両目の間隔もやや広くなったり、狭くなったりし、そして、鼻、口およびあごが大きく上下に変化する。第３主成分では、眉の内側が上下に変化し、外側は若干水平方向に変化する。鼻と口は大きく上下に変化し、あごは四角くややえらの張ったような形や、少し小さく、とがった形に変化する。第４主成分では、額の大きさが急激に変化し、眉の内側が大きく上下に変化する。そして、鼻および口の左側が若干水平方向に変化し、あごの左側がごくわずか変化する。

一方、属性値なし条件では、第１主成分は属性値付加条件の第２主成分とほぼ同じ変化を示し、第２主成分は属性値付加条件の第３主成分とほぼ同じ変化を示した。以降の主成分についても同様であった。

女性の顔画像について属性値付加条件で得られた第１主成分では、口が上下に変化し、幅が広くなったり狭くなったりする。そして、あごがやや大きくなったり、小さくなったりする。第２主成分では、男性の顔画像について属性値付加条件で得られた第２主成分とほぼ同様であった。第３主成分では、額が拡大縮小し、眉の内側は若干上下に変化し、そして鼻と口は若干左側で水平方向に変化し、あごはややえらの張ったような形や、少し小さく、とがった形になる。第４主成分では、顔輪郭、鼻、口が若干右側で変化する。そして、顔輪郭については横幅が変化する。

一方、属性値なし条件では、男性の顔画像と同様に、第１主成分は属性値付加条件の第２主成分とほぼ同じ変化を示し、第２主成分は属性値付加条件の第３主成分とほぼ同じ変化を示した。以降の主成分についても同様であった。

２−３．考察
各主成分における主成分得点の分布から見ると、属性値なし条件と、属性値付加条件の第２主成分以降では、顔画像を見かけの年齢順に並べたときに、主成分得点が全く昇順あるいは降順になっていなかったことから、これらの主成分は見かけの年齢に影響を与える特徴と密接に関係しているとは言えない。一方、属性値付加条件の第１主成分では、見かけの年齢順に顔画像を並べたとき、男女の顔画像とも、主成分得点はほぼ順に並んでいたこと、さらには年齢知覚実験（年齢評定実験）で得られたデータ（評定値）の分布と第１主成分のデータ（主成分得点）の分布はよく似た分布を示していることから、属性値付加条件で得られた第１主成分は、見かけの年齢に影響を与える形状特徴と密接に関係していると言える。

各主成分の主成分得点の値を変え、顔パーツの特徴点座標に再構成させた特徴点の座標の変化についても、属性値付加条件の第１主成分は、解剖学的な知見による青年期の加齢変化とほぼ合っているように見える。

本発明に係る画像処理方法では、顔の形状情報である特徴点の座標値だけでなく、直接顔画像の構成には関係のない見かけの年齢という属性値を加えて主成分分析を行うことにより、第１主成分の主成分得点が定量的にも年齢変化との関係を示していること、第１主成分から再構成した顔形状において定性的にも妥当な変形を観察できたことから、見かけの年齢に密接に関係する形状特徴を得られることを示している。

３−１．個人の顔画像へのマッピング
年齢特徴抽出実験により得られた見かけの年齢特徴を個人の顔画像へマッピングした。

図３６は対象者の顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。

図３６（ａ）は２０歳の対象者の原画像を示し、図３６（ｂ）は年齢が４０歳に見えるように合成した顔画像を示し、図３６（ｃ）は年齢が７０歳に見えるように合成した顔画像を示す。合成割合は、いずれも年齢特徴抽出実験の属性値付加条件の第１主成分の変化量の±５０％とした。

合成の手順は次の通りである。対象者の顔画像から、ＦＵＴＯＮで用いる８３点の特徴点を取得し、オリジナル顔画像の形状特徴ベクトルＦ^Ｉ を特徴点の座標値を用いて、１６６次元のベクトルＦ^Ｉとする。
Ｆ^Ｉ＝（ｘ_１，ｙ_１，ｘ_２，ｘ_３，…，ｘ_１６６，ｙ_１６６）^Ｔ …（１５）
オリジナル顔画像の形状特徴ベクトルＦ^Ｉと、見かけの年齢特徴ベクトルＦの各要素に合成割合０．５を乗じた修正ベクトルＦ’を加算あるいは減算し、年齢特徴をマッピングした顔形状ベクトルＦ^Ｓを作成した。

Ｆ’＝（０．５ｘ_１，０．５ｙ_１，０．５ｘ_２，０．５ｙ_２…，０．５ｘ_８３，０．５ｙ_８３）^Ｔ …（１６）
Ｆ^Ｓ＝Ｆ^Ｉ±Ｆ’ …（１７）
そして、顔形状がＦ^Ｉ からＦ^Ｓ へと変化する形状モーフィング（顔合成技術）をＦＵＴＯＮで行った。

以上のように、上記実施例では、顔画像の形状特徴ベクトルに画像とは直接関係のない見かけの年齢という属性値を変量として加え、主成分分析を行うことにより、見かけの年齢変化に密接に関与する形状特徴を抽出することが可能であることが示された。

本発明は、原画像から異なる年齢印象を有する顔画像を合成するために利用することができ、犯罪捜査、尋ね人の捜索およびスキンケアのシュミレーション等の種々の目的に利用するこができる。

本実施の形態の顔画像合成方法を実行するための顔画像合成装置の構成を示すブロック図である。 顔画像合成装置によるしみ／しわモデル作成処理を示すフローチャートである。 しわモデル作成処理を示すフローチャートである。 マッチング係数Ｐを説明するための説明図である。 対象者の原画像を簡略化した模式図である。 しみ／しわモデル作成処理により作成されたしわモデルおよびしみモデルを示す図である。 モデル適用処理を示すフローチャートである。 （ａ）は２０歳の女性の原画像の写真であり、（ｂ）は４０歳代のしみモデルおよびしわモデルを原画像に適用した結果の写真であり、（ｃ）は７０歳代のしみモデルおよびしわモデルを原画像に適用した結果の写真である。 注目画素および周辺画素の一例を示す図である。 明領域画像の作成処理を示すフローチャートである。 明領域画像の作成処理を示すフローチャートである。 暗領域画像の作成処理を示すフローチャートである。 暗領域画像の作成処理を示すフローチャートである。 原画像の一例を示す図である。 明領域画像の一例を示す図である。 ブロッブの抽出およびラベリングを説明するための図である。 ブロッブの抽出およびラベリングを説明するための図である。 原画像の基準長さを説明するための図である。 しみおよびしわの検出処理を示すフローチャートである。 ブロッブの例を示す図である。 しみ成分またはしわ成分の一例を示す図である。 図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。 図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。 顔画像ごとの評定置の平均を降順に並び替えてプロットした図である。 顔特徴ベクトルの変量として用いた特徴点を示す図である。 （ａ）は男性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図であり、（ｂ）は女性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図である。 （ａ）は男性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図であり、（ｂ）は女性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図である。 男性の顔画像において属性値付加条件で得られた第１主成分を用いて再構成した顔形状を示す図である。 男性の顔画像において属性値付加条件で得られた第２主成分を用いて再構成した顔形状を示す図である。 男性の顔画像において属性値付加条件で得られた第３主成分を用いて再構成した顔形状を示す図である。 男性の顔画像において属性値付加条件で得られた第４主成分を用いて再構成した顔形状を示す図である。 女性の顔画像において属性値付加条件で得られた第１主成分を用いて再構成した顔形状を示す図である。 女性の顔画像において属性値付加条件で得られた第２主成分を用いて再構成した顔形状を示す図である。 女性の顔画像において属性値付加条件で得られた第３主成分を用いて再構成した顔形状を示す図である。 女性の顔画像において属性値付加条件で得られた第４主成分を用いて再構成した顔形状を示す図である。 対象者の顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。

符号の説明

５０ 画像処理装置
１００ 原画像
２００ 周辺領域
３００ 注目画素
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ 入力装置
５０５ 表示装置
５０６ 外部記憶装置
５０７ 記録媒体駆動装置
５０８ 印刷装置
５０９ 記録媒体
６０１，６０２，６０１Ａ，６０２Ａ，Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７ ブロッブ
７００ 処理領域

Claims (7)

1. 対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成装置であって、
   予め複数人の顔画像を記憶する記憶手段と、
   前記記憶手段に記憶された複数人の顔画像から複数人のしみまたはしわを検出する検出手段と、
   前記検出手段により検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成する作成手段と、
   対象者の顔画像からしみまたはしわを有しない顔形状を抽出する抽出手段と、
   前記作成手段により作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを前記抽出手段により抽出された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを前記対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成する適用手段とを備えたことを特徴とする顔画像合成装置。
2. 前記作成手段は、複数人のしわを重ね合わせた後、重なり合う領域をしわモデルとして作成することを特徴とする請求項１記載の顔画像合成装置。
3. 前記作成手段は、顔画像の複数に分割された領域ごとに複数人からしみの数または面積を抽出し、抽出された前記領域ごとのしみの数または面積を前記領域ごとに昇順または降順に並べた場合に、略中央に位置する前記しみの数または面積を有する対象者の領域を選択し、選択された領域のしみを結合したものをしみモデルとして作成することを特徴とする請求項１または２記載の顔画像合成装置。
4. 前記記憶手段に記憶された複数人の顔画像から年齢形状特徴を生成する生成手段と、
   前記生成手段により生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて前記抽出手段により抽出された対象者の顔形状を変形させる変形手段とをさらに備えたことを特徴とする請求項１〜３のいずれかに記載の顔画像合成装置。
5. 前記検出手段は、前記記憶手段に記憶された各顔画像において各画素の輝度と周辺領域の輝度との差に基づいて小塊を抽出し、抽出された前記小塊からしみまたはしわを検出することを特徴とする請求項１〜４のいずれかに記載の顔画像合成装置。
6. 対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成方法であって、
   予め複数人の顔画像を記憶するステップと、
   前記記憶された複数人の顔画像から複数人のしみまたはしわを検出するステップと、
   前記検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成するステップと、
   対象者の顔画像からしみまたはしわを有しない顔形状を抽出するステップと、
   前記作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを抽出された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを前記対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成するステップとを備えたことを特徴とする顔画像合成方法。
7. コンピュータにより実行可能で、対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成プログラムであって、
   予め複数人の顔画像を記憶する処理と、
   前記記憶された複数人の顔画像から複数人のしみまたはしわを検出する処理と、
   前記検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成する処理と、
   対象者の顔画像からしみまたはしわを有しない顔形状を抽出する処理と、
   前記作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを抽出された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを前記対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成する処理とを、
   前記コンピュータに実行させることを特徴とする顔画像合成プログラム。

Images