JP2011070283A - 顔画像高解像度化装置、及びプログラム - Google Patents

Abstract

【課題】膨大な演算や、メモリなどを必要とすることなく、１つの入力画像のみを用いて高解像度化する。
【解決手段】拡大画像生成部１０１は、顔画像である入力画像から拡大画像を生成する。モデル生成部１０２は、複数の学習画像から統計処理によってモデルを生成する。輪郭位置情報取得部１０３は、拡大画像をモデルに適応させることによって顔器官の輪郭位置情報を抽出する。顔器官画像生成部１０４は、輪郭位置情報と学習画像とに基づいて顔器官の高解像度画像を生成する。高解像度画像生成部１０５は、高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する。画像修正部１０６は、顔高解像度画像を縮小した顔画像と入力画像との差分画像に基づいて顔高解像度画像を修正する。出力部１０７は、修正された顔高解像度画像を出力する。
【選択図】図１

Description

本発明は、１つの低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化装置、及びプログラムに関する。

画像の高解像度化手法には、一般に、主に共一次内挿法などの補間フィルタを用いることにより画素数を増やす手法が知られているが、さらに以下の手法がある。

予め鮮鋭な画像とそれをぼかした画像とを用意し、その局所的周波数特性をベクトル量子化器に学習させることにより、輪郭強調に関する既知情報を取得し、ウェーブレット展開により、画像の局所的周波数特性を抽出し、それをベクトル量子化器によって分類・加工することによって輪郭強調を行う（例えば、非特許文献１参照）。

また、複数枚の画像を用いて高解像度化を行う技術が知られている（例えば、非特許文献２参照）。動画像で撮影した場合、動画像のフレームを高解像度化する際に前後のフレームを参照する。カメラや、被写体にわずかでも動きがあれば、参照フレームの画素値は、処理フレームとは異なる位置で、同じ被写体の同じ輝度変化を標本化した値になっている。そこで、フレーム間の動きを検出し、その動きに合わせて、参照フレームの画素値を処理フレームの標本値として追加する。このようにして、処理フレームにおける標本点の密度を高めた後に、再構成処理によって高解像度画像の画素値を算出する。

「空間可変な加重係数を用いた学習型超解像処理」片山真太郎、呂健明、関屋大雄、谷萩、隆嗣 平成19年度電子情報通信学会東京支部学生会研究発表会 「再構成型超解像処理の高速化アルゴリズム」田中正行、奥富正敏 情処研究報告 2004-CVIM-146

しかしながら、上述した共一次内挿法などの補間フィルタを用いた手法では、高い周波数成分は生成されず、出力画像がぼやけたものになってしまう。

また、非特許文献１の手法では、パッチ毎に高解像度化を行うため、見た目には滑らかに見えるパーツの輪郭線にエッジ等などの特徴抽出が行われると、パッチ隣接部分でノイズが乗ってしまう場合があり、顔認識用の画像としては適さないという問題がある。

また、非特許文献２では、動きを正確に検出できれば、高周波成分を復元することが可能である。しかし、高解像度の画像を取り扱うために多くのフレームが必要となり、また多くのフレーム間で動き検出を行うために膨大な演算とメモリとが必要となるという問題がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、膨大な演算や、メモリなどを必要とすることなく、１つの入力画像のみを用いて高解像度化することができる顔画像高解像度化装置、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、１つの低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化装置であって、入力画像である低解像度の顔画像に補間処理を施して拡大画像を生成する拡大画像生成手段と、複数の学習画像に基づいて、統計処理によってモデルを生成するモデル生成手段と、前記拡大画像生成手段により生成された拡大画像を、前記モデル生成手段により生成されたモデルに適応させることによって、顔画像を構成する目、鼻、口といった顔器官の輪郭位置情報を抽出する輪郭位置情報取得手段と、前記輪郭位置情報取得手段により取得した輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する顔器官画像生成手段と、前記顔器官画像生成手段により生成された高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する高解像度画像生成手段と、前記高解像度画像生成手段により取得した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像に基づいて、前記高解像度画像生成手段により取得した顔高解像度画像を修正する画像修正手段と、前記画像修正手段により修正された顔高解像度画像を出力する出力手段とを備えることを特徴とする顔画像高解像度化装置である。

本発明は、上記の発明において、前記モデル生成手段は、前記複数の学習画像における顔器官の輪郭を構成する複数点の座標を設定し、前記座標が設定された全ての学習画像を前記入力画像のサイズに縮小し、前記縮小された全ての学習画像を、元サイズまで拡大してぼかし画像を生成し、前記全てのぼかし画像の顔器官部分を、所定のマッピング手法により共通形状に変形することにより前記モデルを生成することを特徴とする。

本発明は、上記の発明において、前記顔器官画像生成手段は、前記輪郭位置情報取得手段により取得した輪郭位置情報に基づいて、前記学習画像の顔器官の輪郭位置情報を変形させることにより、顔器官の高解像度画像を生成することを特徴とする。

本発明は、上記の発明において、前記高解像度画像取得手段は、前記拡大画像生成手段により拡大された入力画像の拡大画像に、前記顔器官画像生成手段により生成された高解像度化された顔器官画像を貼り付けて高解像度画像を取得することを特徴とする。

本発明は、上記の発明において、前記高解像度画像取得手段は、前記拡大画像生成手段により拡大された入力画像の拡大画像にモルフォロジ処理を施し、該モルフォロジ処理された拡大画像に、前記顔器官画像生成手段により生成された高解像度化された顔器官画像を貼り付けて高解像度画像を取得することを特徴とする。

本発明は、上記の発明において、前記画像修正手段は、前記複数の学習画像毎に、各学習画像を前記入力画像と同じサイズに縮小して第１縮小画像を作成し、前記第１縮小画像に高解像度化を行って第１高解像度画像を作成し、該第１高解像度画像を前記入力画像のサイズに縮小した第２縮小画像を作成し、前記第１縮小画像と前記第２縮小画像との差分である第１差分画像を作成し、前記各学習画像と前記第１高解像度画像との差分である第２差分画像を求め、前記入力画像と同じサイズの前記第１差分画像の各領域のパターンとその領域に該当する前記第２差分画像上のパターンとを関連付けて差分パターン学習データとして保存しておき、前記第１差分画像中の領域のパターンと類似するパターンを、前記差分パターン学習データ内から探索し、その類似するパターンに関連付けられたデータに基づいて、前記第２差分画像を生成し、前記高解像度画像取得手段により取得した顔高解像度画像を、前記第２差分画像に基づいて修正することを特徴とする。

本発明は、上記の発明において、前記画像修正手段は、前記高解像度画像取得手段により取得した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像における画素値に基づいて、前記輪郭位置情報取得手段により取得した輪郭位置情報を修正することにより、前記高解像度画像取得手段により取得した顔高解像度画像を修正することを特徴とする。

また、上述した課題を解決するために、本発明は、１つの低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化装置のコンピュータに、入力画像である低解像度の顔画像に補間処理を施して拡大画像を生成する拡大画像生成機能、複数の学習画像に基づいて、統計処理によってモデルを生成するモデル生成機能、前記拡大画像生成機能により生成された拡大画像を、前記モデル生成手段により生成されたモデルに適応させることによって、顔画像を構成する目、鼻、口といった顔器官の輪郭位置情報を抽出する輪郭位置情報取得機能、前記輪郭位置情報取得機能により取得した輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する顔器官画像生成機能、前記顔器官画像生成機能により生成された高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する高解像度画像生成機能、前記高解像度画像生成機能により生成した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像に基づいて、前記高解像度画像生成機能により取得した顔高解像度画像を修正する画像修正機能、前記画像修正手段により修正された顔高解像度画像を出力する出力機能を実行させることを特徴とするプログラムである。

この発明によれば、膨大な演算や、メモリなどを必要とすることなく、１つの入力画像のみを用いて高解像度化することができる。

本発明の実施形態による顔画像高解像度化装置の構成を示すブロック図である。 モデル生成部１０２による目の輪郭位置情報取得例を説明するための概念図である。 顔器官画像生成部１０４による顔器官の輪郭座標変形を説明するための概念図である。 高解像度画像生成部１０５によるモルフォロジ処理を説明するための概念図である。 画像修正部１０６の動作を説明するための概念図である。 関連付けられた差分パターン学習データの一例を示す概念図である。 輪郭情報を用いた画像修正を説明するための概念図である。

以下、本発明の一実施形態を、図面を参照して説明する。
本発明では、１つの画像のみを用いて高解像度化することとし、認識に必要となる顔器官の輪郭線を高精度に復元することができるよう、顔器官毎に高解像度化を行う。また、画素値のみを元に復元するのではなく、まず顔器官の輪郭位置情報を抽出することにより、輪郭部分をぼかすことなく、またノイズを乗せることなく復元することを可能にする。複数の学習画像に基づいて統計処理によって生成されたモデルに適応させることによって、顔器官の輪郭情報を抽出し、抽出された輪郭情報を元に学習画像を変形させ、その変形画像を元に目といった顔器官の高解像度化画像を生成する。以下、詳細に説明する。

図１は、本発明の実施形態による顔画像高解像度化装置の構成を示すブロック図である。図において、顔画像高解像度化装置は、拡大画像生成部１０１、モデル生成部１０２、輪郭位置情報取得部１０３、顔器官画像生成部１０４、高解像度画像生成部１０５、画像修正部１０６、及び出力部１０７から構成される。

拡大画像生成部１０１は、入力された低解像度の顔画像を用いて補間処理を行って拡大画像を生成する。モデル生成部１０２は、複数の学習画像に基づいてＡＡＭ等の統計処理によってモデルを生成する。輪郭位置情報取得部１０３は、拡大画像生成部１０１によって生成された拡大画像を、生成されたモデルに適応させることによって、目、鼻、口といった顔器官の輪郭情報を抽出する。

顔器官画像生成部１０４は、輪郭情報を元にして学習画像を変形させることにより顔器官の画像を生成する。高解像度画像生成部１０５は、高解像度化した顔器官画像を組み合わせることにより、顔の高解像度画像を取得する。画像修正部１０６は、高解像度化した画像を再度縮小し、入力画像との差分をとることにより、その差分値を元に高解像度化した画像を修正する。出力部１０７は、修正を行った顔画像を高解像度画像として出力する。

次に、上述した拡大画像生成部１０１について説明する。
拡大画像生成部１０１は、入力された低解像度顔画像を近隣の画素の情報を用いて補間することにより拡大する。補間の手法には、最近傍補間法や、線形補間法（参考文献１：C言語で学ぶ実践画像処理 オーム社 平成11年12月8日初版 pp.131〜135）などがあり、どの補間手法を用いて拡大を行ってもよい。入力された低解像度の顔画像は、既に顔検出器や、顔向き推定器を経て得られた画像とし、顔の大きさや、向いている方向が既知のものとする。

次に、上述したモデル生成部１０２について説明する。
ここでは、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ、参考文献２：T.F. Cootes, Active Appearance Models Computer Vision- ECCV 1998, Vol. II, LNCS 1407, pp.484-498,1998）を用いた統計モデルの構築方法について説明する。まず、顔の各器官の輪郭を構成する点の座標を入力する。ここでは、目について説明する。図２に示す目２０１に対して、輪郭中の点（Ｌ_０〜Ｌ_１１）の座標を、次式（１）で示すように与える。手作業で設定してもよいし、認識処理等によって自動的に設定するようにしてもよい。

各点の座標を並べたベクトルを、次式（２）に示すように、ｘで表し、これらの平均をｘ´と表す。

ｘは、形状を表し、ｘ´は、平均形状を表している。ｘはｘ´からの偏差を主成分分析して得られる固有ベクトルＰ_ｓを用いて、次式（３）と表すことができる。

次に、全ての学習画像を、最近傍法や、線形補間法など（参考文献１）により、入力画像のサイズに縮小し、さらに拡大画像生成部１０１で入力画像に対して施した手法と同じ補間手法を用いて、元のサイズまで拡大を行ったぼかし画像を生成する。拡大画像生成部１０１で生成された画像をモデルにフィッテングさせるため、なるべく同じ状態になるよう学習画像をぼかしておく。

次に、それら全てのぼかし画像上の顔器官部分を、所定のマッピング手法（参考文献３：ディジタル映像処理 オーム社出版局 社団法人 映像情報メディア学会 編者 平成12年4月25日 第1版発行 pp.11７、参考文献４：(1998). Journal of Applied Statistics, 25, 155-171 A review of image warping methods C.A. Glasbey）などにより、共通の形状（例えば、平均形状ｘ´）に変形する。これにより、形状について正規化された明度分布ｇを得る。明度分布ｇについても、それらの平均した平均明度分布ｇ´からの偏差を主成分分析して得られる固有ベクトルＰｇを用いて、次式（４）と表すことができる。

最後に、形状とテクスチャ間の単位を正規化する行列Ｗを用いて、次式（５）を作成する。

行列Ｗは、形状パラメータを単位変動させたときの明度分布の変動量を求めることにより得られるものである。

これを主成分分析すると、数式（６）と表すことができる。

Ｑは、固有ベクトルであり、ｃは、物体の画像上の形状と明度分布との両方を表し、入力画像を最も良く近似するｃを求めれば、顔器官の輪郭位置情報が得られる。

これらのモデルは、予め作っておけばよく、学習画像を顔の向きごとに用意してモデルを作成しておいてもよいし、正面顔などのある特定の向きしか入力されないことが分かっている場合などには、その向きで撮影された学習画像を元にモデルを生成しておけばよい。

次に、輪郭位置情報取得部１０３について説明する。
入力画像上の顔器官部分の画像を最も良く近似するＡＡＭを探索することにより輪郭の座標値を取得する。例えば、目の領域画像Ｉ_{ｉｎ＿ｅｙｅ}とし、ＡＡＭで合成された画像Ｉ_{ｍ＿ｅｙｅ}とすると、数式（６）のｃを変えて、差分ベクトルδＩ_ｅｙｅ＝Ｉ_{ｉｎ＿ｅｙｅ}−Ｉ_{ｍ＿ｅｙｅ}を最小化することで、入力を最もよく近似するＡＡＭを求める。ｃから数式（６）及び数式（３）と逆変形することにより、輪郭の点座標ｘを求めることができる。

次に、顔器官画像生成部１０４について説明する。
顔器官画像生成部１０４は、ぼかしていない元の学習画像において、顔器官の輪郭座標を、輪郭位置情報取得部１０３により算出した入力画像の顔器官輪郭の座標値に合うよう変形する。図３は、顔器官画像生成部１０４による顔器官の輪郭座標変形を説明するための概念図である。３０１に学習画像上の右目の画像を示し、３０２に入力画像上の右目輪郭位置座標に合わせて変形を行った右目画像を示す。それらの変形画像の平均画像を作成し、顔器官の画像を生成する。平均画像ではなく、ある特定の学習画像を変形させた顔器官画像をそのまま用いても良い。

次に、高解像度画像生成部１０５について説明する。
高解像度画像生成部１０５は、拡大画像生成部１０１で生成された入力画像を線形拡大した拡大画像に、顔器官画像生成部１０４で生成された顔器官画像を貼り付けるか、あるいは、線形拡大した画像にモルフォロジ処理を施した画像に、顔器官画像生成部１０４で生成された顔器官画像を貼り付けることで、高解像度画像を生成する。

モルフォロジ（参考文献５：コンピュータ画像処理 オーム社出版局 田村秀行編者 平成１４年１２月２０第１版発行 pp.１６２）とは、与えられた２値画像、または濃淡画像からの特徴抽出を目的とした集合的操作からなる対象図形の変形手法の理論体系であり、その演算は、処理対象画像と構造要素との間の集合演算で定義されている。

ここでは、まず、３×３のマスク内の最大値に、そのマスク内の画素全てを置き換える処理を画像全部に施す膨張処理を行い、膨張処理を施した画像において、３×３のマスク内の画素全てを、マスク内の最小値に置き換える処理を施す。図４には、モルフォロジ処理を施した画像４０１が示されている。この画像に顔器官画像生成部１０４で生成された高解像度化した目、鼻、口などの顔器官画像を貼り付けてもよい。

次に、画像修正部１０６について説明する。
図５は、画像修正部１０６の動作を説明するための概念図である。画像修正部１０６は、まず、作成した高解像度画像Ｉ_ｍｈを入力画像と同じサイズに縮小し、高解像度縮小画像Ｉ_ｍｓと、入力画像Ｉ_ｉｎとの差分画像Ｒを取得する。ここでは、各画素値を、次式（７）で表すとする。

この差分画像Ｒを元に高解像度画像Ｉ_ｍｈを修正する。修正の方法としては、例えば、この差分画像Ｒ（図５の５０１）を、線形補間法により高解像度画像Ｉ_ｍｈと同じサイズまで拡大を行って差分拡大画像Ｒ_ｈ（図５の５０２）を作成し、各画素で次式（８）に示す計算を行い、修正画像を作成してもよい。あるいは、以下で説明する差分パターン学習データを元に修復してもよい。

次に、差分パターン学習データの作成の仕方の一例を説明する。
まず、入力画像サイズの差分画像を作成する。すなわち、学習画像Ｉを入力画像と同じサイズに縮小することにより縮小画像Ｉ_ｓを作成し、上述した方法（拡大画像生成部１０１〜高解像度画像生成部１０５）で高解像度化を行い、高解像度画像Ｉ_ｈを作成する。次に、作成した高解像度画像Ｉ_ｈを入力画像のサイズに縮小した縮小画像Ｉ_ｈｓを作成し、初めに縮小した画像Ｉ_ｓとＩ_ｈｓとの差分画像を作成する。

次に、上記入力画像サイズの差分画像と対応付けるために、元の解像度の学習画像Ｉと作成した高解像度化画像Ｉ_ｈとの差分画像とを求める。

最後に、低解像度（入力画像と同じサイズ）の差分画像の各領域のパターンとその領域に該当する高解像度の差分画像上のパターンとを関連付けて保存し、差分パターン学習データとする。

図６は、関連付けられた差分パターン学習データの一例を示す概念図である。６０１は、低解像度の差分画像中の領域のパターン、６０２は、その領域に該当する高解像度の差分画像中のパターンを示している。低解像度の差分画像上のある領域中のパターンと類似するパターンを正規化相関などの手法（参考文献６：コンピュータ画像処理 オーム社出版局 田村秀行編者 平成14年12月２０第1版発行 pp.253−255）により、差分パターン学習データ内から探索し、その関連付けデータを元に、高解像度画像の差分画像を作成する。例えば、パターン６０１に類似したパターンには、パターン６０２を当てはめることにより、高解像度の差分画像を生成する。この差分画像を元に、高解像度画像Ｉ_ｍｈを、数式（８）などにより修正する。

また、輪郭情報を利用し、差分画像を元に輪郭位置を推定してもよい。例えば、差分画像において、目尻点にあたる画素値が入力画像より小さければ、目が大きく復元されたと推定できるので、輪郭座標点を内側にずらす。例えば、図７に示す右目領域の差分画像７０１において、目尻点（輪郭点Ｌ_０）にあたる画素Ｍの値が閾値未満（例えば、１２８未満）のときは、同図（ｂ）に示す画像７０２の輪郭点Ｌ_０のｘ座標を４、Ｌ_１を２、Ｌ_１１を２だけ増やすなどの処理を施し、画像７０３とする。同様に、差分画像上の目尻点に隣接する外側（画素Ｎ）の画素値が大きければ、目が小さく復元されたと推定できるので、輪郭座標点を外側にずらすといった処理を行ってもよい。目尻のみでなく、それぞれの輪郭座標点で、同様の処理を施してもよい。

上述したように、画像修正部１０６では、差分画像Ｒを元に作成した高解像度画像に修正を施すが、閾値等を設定し、該閾値に基づいて修復が必要ないと判定した場合などには、この処理を施す必要はない。そして、出力部１０７では、上述した高解像度化された画像を出力する。

上述した実施形態によれば、パーツ毎に輪郭位置情報を取得することにより、輪郭部分をぼかすことなく、また、ノイズを乗せることなく、高解像度化することを可能にする。このように、より精度良く、輪郭部分を高解像度化することにより、認識といった処理に適した画像を生成することができるといった効果が得られる。

なお、上述した拡大画像生成部１０１、モデル生成部１０２、輪郭位置情報取得部１０３、顔器官画像生成部１０４、高解像度画像生成部１０５、画像修正部１０６、及び出力部１０７などによる処理を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１０１ 拡大画像生成部
１０２ モデル生成部
１０３ 輪郭位置情報取得部
１０４ 顔器官画像生成部
１０５ 高解像度画像生成部
１０６ 画像修正部
１０７ 出力部

Claims (8)

1. １つの低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化装置であって、
   入力画像である低解像度の顔画像に補間処理を施して拡大画像を生成する拡大画像生成手段と、
   複数の学習画像に基づいて、統計処理によってモデルを生成するモデル生成手段と、
   前記拡大画像生成手段により生成された拡大画像を、前記モデル生成手段により生成されたモデルに適応させることによって、顔画像を構成する目、鼻、口といった顔器官の輪郭位置情報を抽出する輪郭位置情報取得手段と、
   前記輪郭位置情報取得手段により取得した輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する顔器官画像生成手段と、
   前記顔器官画像生成手段により生成された高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する高解像度画像生成手段と、
   前記高解像度画像生成手段により取得した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像に基づいて、前記高解像度画像生成手段により取得した顔高解像度画像を修正する画像修正手段と、
   前記画像修正手段により修正された顔高解像度画像を出力する出力手段と
   を備えることを特徴とする顔画像高解像度化装置。
2. 前記モデル生成手段は、
   前記複数の学習画像における顔器官の輪郭を構成する複数点の座標を設定し、
   前記座標が設定された全ての学習画像を前記入力画像のサイズに縮小し、
   前記縮小された全ての学習画像を、元サイズまで拡大してぼかし画像を生成し、
   前記全てのぼかし画像の顔器官部分を、所定のマッピング手法により共通形状に変形することにより前記モデルを生成する
   ことを特徴とする請求項１記載の顔画像高解像度化装置。
3. 前記顔器官画像生成手段は、
   前記輪郭位置情報取得手段により取得した輪郭位置情報に基づいて、前記学習画像の顔器官の輪郭位置情報を変形させることにより、顔器官の高解像度画像を生成する
   ことを特徴とする請求項１記載の顔画像高解像度化装置。
4. 前記高解像度画像取得手段は、
   前記拡大画像生成手段により拡大された入力画像の拡大画像に、前記顔器官画像生成手段により生成された高解像度化された顔器官画像を貼り付けて高解像度画像を取得する
   ことを特徴とする請求項１記載の顔画像高解像度化装置。
5. 前記高解像度画像取得手段は、
   前記拡大画像生成手段により拡大された入力画像の拡大画像にモルフォロジ処理を施し、該モルフォロジ処理された拡大画像に、前記顔器官画像生成手段により生成された高解像度化された顔器官画像を貼り付けて高解像度画像を取得する
   ことを特徴とする請求項１記載の顔画像高解像度化装置。
6. 前記画像修正手段は、
   前記複数の学習画像毎に、各学習画像を前記入力画像と同じサイズに縮小して第１縮小画像を作成し、
   前記第１縮小画像に高解像度化を行って第１高解像度画像を作成し、該第１高解像度画像を前記入力画像のサイズに縮小した第２縮小画像を作成し、前記第１縮小画像と前記第２縮小画像との差分である第１差分画像を作成し、前記各学習画像と前記第１高解像度画像との差分である第２差分画像を求め、前記入力画像と同じサイズの前記第１差分画像の各領域のパターンとその領域に該当する前記第２差分画像上のパターンとを関連付けて差分パターン学習データとして保存しておき、
   前記第１差分画像中の領域のパターンと類似するパターンを、前記差分パターン学習データ内から探索し、その類似するパターンに関連付けられたデータに基づいて、前記第２差分画像を生成し、前記高解像度画像取得手段により取得した顔高解像度画像を、前記第２差分画像に基づいて修正する
   ことを特徴とする請求項１記載の顔画像高解像度化装置。
7. 前記画像修正手段は、
   前記高解像度画像取得手段により取得した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像における画素値に基づいて、前記輪郭位置情報取得手段により取得した輪郭位置情報を修正することにより、前記高解像度画像取得手段により取得した顔高解像度画像を修正する
   ことを特徴とする請求項１記載の顔画像高解像度化装置。
8. １つの低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化装置のコンピュータに、
   入力画像である低解像度の顔画像に補間処理を施して拡大画像を生成する拡大画像生成機能、
   複数の学習画像に基づいて、統計処理によってモデルを生成するモデル生成機能、
   前記拡大画像生成機能により生成された拡大画像を、前記モデル生成手段により生成されたモデルに適応させることによって、顔画像を構成する目、鼻、口といった顔器官の輪郭位置情報を抽出する輪郭位置情報取得機能、
   前記輪郭位置情報取得機能により取得した輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する顔器官画像生成機能、
   前記顔器官画像生成機能により生成された高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する高解像度画像生成機能、
   前記高解像度画像生成機能により生成した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像に基づいて、前記高解像度画像生成機能により取得した顔高解像度画像を修正する画像修正機能、
   前記画像修正手段により修正された顔高解像度画像を出力する出力機能
   を実行させることを特徴とするプログラム。

Images