JP2010286959A - 顔画像高解像度化方法、顔画像高解像度化装置、及びそのプログラム - Google Patents

Abstract

【課題】ノイズを強調することなく、顔画像を鮮鋭化させた高解像度画像を得る。
【解決手段】１枚の顔画像からこの顔画像の解像度を高くした画像を生成する顔画像高解像度化装置１である。顔画像高解像度化装置１は、入力された顔画像を用いて補間処理を行い、拡大画像を生成する拡大画像生成手段２と、拡大画像に対してモルフォロジー演算を施し、前記拡大画像から顔の特徴部位を抽出した画像である演算画像を生成するモルフォロジー演算手段３と、演算画像に基づいて、前記抽出された特徴部位においてエッジを強調する箇所を決めるマスク画像を生成するマスク画像生成手段４と、マスク画像に基づいて、拡大画像のエッジを強調するエッジ強調手段５とを備える。
【選択図】図１

Description

本発明は、１枚の低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化方法、及びその装置に関するものである。さらに、前記顔画像高解像度化装置としてコンピュータを機能させるためのプログラムに関するものである。

情報技術の発達に伴い、様々な用途でデジタル画像が扱われている。しかしながら、画像取得システムにコスト、サイズ、消費電力等の制限があり、必ずしも望む解像度の画像を得ることができない場合がある。

そこで、低解像度の画像から高周波情報を復元した高解像度画像を推定する画像の高解像度化手法が注目を集めている。

画像の高解像度化手法には、共一次内挿法などの補間フィルタを用いることにより画素数を増やす手法がある。さらに、他の画像の高解像度化手法には以下の手法がある。

非特許文献１に記載の画像の高解像度化手法は、予め鮮鋭な画像とそれをぼかした画像を用意し、その局所的周波数特性をベクトル量子化器に学習させることにより輪郭強調に関する既知情報を得る。そして、ウェーブレット展開により画像の局所的周波数特性を抽出し、それをベクトル量子化器によって分類・加工することによって輪郭強調を行うことで画像を高解像度化している。

非特許文献２に記載の画像の高解像度化手法は、複数枚の画像を用いて画像の高解像度化を行うものである。

動画像で撮影した場合、動画像のフレームを高解像度化する際に前後のフレームを参照する。そして、カメラや被写体にわずかでも動きがあれば、前記参照フレームの画素値は現処理フレームとは異なる位置で同じ被写体の同じ輝度変化を標本化した値になっている。

そこで、フレーム間の動きを検出し、その動きに合わせて前記参照フレームの画素値を現処理フレームの標本値として追加する。このようにして、現処理フレームにおける標本点の密度を高めた後に、再構成処理によって高解像度画像の画素値を算出することで画像を高解像度化している。

片山真太郎、呂健明、関屋大雄、谷萩隆嗣、「空間可変な加重係数を用いた学習型超解像処理」、平成１９年度電子情報通信学会東京支部学生会研究発表会 田中正行、奥富正敏、「再構成型超解像処理の高速化アルゴリズム」、情処研究報告、社団法人情報処理学会、平成１６年１１月１２日、２００４−ＣＶＩＭ−１４６ 社団法人映像情報メディア学会編、「ディジタル映像処理」、株式会社オーム社、平成１２年４月２５日、第１版、ｐｐ．１１０ 田村秀行、「コンピュータ画像処理」、株式会社オーム社、平成１４年１２月２０、第1版、ｐｐ．１６２

しかしながら、上記従来技術において、共一次内挿法など補間フィルタを用いた手法では、高い周波数成分は生成されず、出力画像はぼやけたものになってしまう。

また、非特許文献１に記載の画像の高解像度化手法では、学習用データが必要となり、対象とする物体のたくさんのサンプルが必要となるうえ、学習用データ内に入力画像と似たデータがない場合には高解像度化がうまく機能しないといった問題がある。

一方、非特許文献２に記載の画像の高解像度化手法のように、複数枚の画像を用いた画像の高解像度化手法では、動きを正確に検出できれば高周波成分を復元することが可能である。

しかし、この手法は、高解像度化に多くのフレームが必要となり、また多くのフレーム間で動き検出を行うために膨大な演算とメモリが必要となる。よって、リアルタイムに顔認識処理を施したい場合など不向きであった。

そこで、本発明は、顔器官の位置はおおよそ決まっていることを利用し、目といった顔の特徴部位の輪郭にのみ注目してエッジ強調することで、ノイズを強調することなく必要な箇所のみ鮮鋭化し、顔認識などにも有効な高解像度画像を生成するものである。

また、マスク画像をモルフォロジー演算により作成することにより、照明変動を受けずに顔の特徴部位の輪郭を選択することができ、影などへの耐久性を強くする効果がある。

すなわち、上記課題を解決する本発明の顔画像高解像度化方法は、１枚の顔画像に基づいて、前記顔画像の解像度が高い画像を生成する顔画像高解像度化方法であって、拡大画像生成手段が、入力された顔画像を用いて補間処理を行い、拡大画像を生成する拡大画像生成ステップと、モルフォロジー演算手段が、前記拡大画像に対してモルフォロジー演算を施し、前記拡大画像から顔の特徴部位を抽出した演算画像を生成するモルフォロジー演算ステップと、マスク画像生成手段が、前記演算画像に基づいて、前記抽出された特徴部位においてエッジを強調する箇所を決めるマスク画像を生成するマスク画像生成ステップと、エッジ強調手段が、前記マスク画像に基づいて、前記拡大画像のエッジを強調するエッジ強調ステップとを有することを特徴としている。

また、上記課題を解決する顔画像高解像度化装置は、１枚の顔画像に基づいて、前記顔画像の解像度が高い画像を生成する顔画像高解像度化装置であって、入力された顔画像を用いて補間処理を行い、拡大画像を生成する拡大画像生成手段と、前記顔の拡大画像に対してモルフォロジー演算を施し、前記拡大画像から顔の特徴部位を抽出した演算画像を生成するモルフォロジー演算手段と、前記演算画像に基づいて、前記抽出された特徴部位においてエッジを強調する箇所を決めるマスク画像を生成するマスク画像生成手段と、前記マスク画像に基づいて、前記拡大画像のエッジを強調するエッジ強調手段と、を備えたことを特徴としている。

以上述べた顔画像高解像度化方法及び、顔画像高解像度化装置はコンピュータとプログラムによっても実現でき、前記プログラムを記録媒体に記録して提供する、又は、ネットワークを通じて提供することもできる。

以上の発明によれば、１枚の画像に基づいて画像を高解像度化することができる。

本発明の実施形態に係る顔画像高解像度化装置の概略構成図。 本発明の実施形態に係る顔画像高解像度化装置における顔画像高解像度化処理のフローチャート。 モルフォロジー演算画像の説明図。 マスク画像の例を示し、（ａ）２値のマスク画像の説明図、（ｂ）３値のマスク画像の説明図。 目の輪郭情報取得処理のフローチャート。 目の輪郭情報取得処理の例を示し、（ａ）トップハット処理を施した画像の説明図、（ｂ）モルフォロジー演算画像を２値化した２値化画像の説明図、（ｃ）目の輪郭情報を取得するための４点を決める説明図、（ｄ）ペジエ曲線を描いた説明図。 鮮鋭化フィルタ例を示した説明図。 鮮鋭化処理例を示した説明図。 多値マスクにより鮮鋭化処理した場合の例を示した説明図。 目の輪郭情報を利用した鮮鋭化処理例を示した説明図。

本発明に係る顔画像高解像度化装置及び、この装置による顔画像高解像度化方法、そして前記顔画像高解像度化装置としてコンピュータを機能させるためのプログラムは、１枚の顔画像のみを用いて、当該顔画像を高解像度化する技術に関するものである。つまり、特徴抽出した顔の特徴部位についてマスク処理を行い、顔の特徴部位の輪郭に着目してエッジ強調することにより、ノイズにロバストな顔画像の鮮鋭化を実現するものである。

以下、具体的な実施例を挙げて、本発明に係る顔画像高解像度化装置について詳細に説明する。

本発明の実施形態に係る顔画像高解像度化装置の構成について図１を参照して説明する。

本発明の実施形態に係る顔画像高解像度化装置１は、通常のコンピュータのハードウェアリソース、例えばＣＰＵ、メモリ（ＲＡＭ）、ハードディスクドライブ、通信デバイス等を備える。

このハードウェアリソースとソフトウェアリソース（ＯＳ、アプリケーション）との協働の結果、顔画像高解像度化装置１は、入力された顔画像を用いて補間処理を行い、拡大画像を生成する拡大画像生成手段２と、前記拡大画像に対してモルフォロジー演算を施し、モルフォロジー演算画像（演算画像）を生成するモルフォロジー演算手段３と、前記モルフォロジー演算画像に基づきマスク画像を生成するマスク画像生成手段４と、前記マスク画像に基づき前記拡大画像にエッジ強調フィルタをかけるエッジ強調手段５と、前記エッジ強調を行った顔画像を高解像度画像として出力する出力手段６とを実装する。

拡大画像生成手段２は、図示省略の画像入力手段によって入力された顔画像を近隣の画素の情報を用いて補間することにより拡大する。補間の手法には、最近傍補間法や線形補間法（例えば、非特許文献３）などがあり、どの補間手法を用いて拡大を行ってもよい。

なお、拡大画像生成手段２に入力される画像は、記録媒体に格納された画像ファイル、カメラ等の撮像装置により撮影された画像、監視カメラからの動画からの１フレーム等である。

そして、拡大画像生成手段２に入力される画像の入力形態は、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体を利用する形態、又はネットワークを介してリモートなデータ資源を利用する形態でもどちらでもよい。さらに、処理の必要に応じてリアルタイムで画像を取得する方法も可能であり、本発明は必ずしも記憶装置を必要としない。

モルフォロジー演算手段３は、モルフォロジー演算（例えば、非特許文献４）により拡大画像生成手段２で生成された顔の拡大画像から特徴部位（顔器官）の抽出を行う。

モルフォロジーは、与えられた２値画像または濃淡画像からの特徴抽出を目的とした集合的操作からなる対象図形の変形手法の理論体系であり、その演算は処理対象画像と構造要素との間の集合演算で定義されている。

主に、モルフォロジー演算の、Ｄｉｌａｔｉｏｎ、Ｅｒｏｓｉｏｎ、Ｏｐｅｎｉｎｇ、Ｃｌｏｓｉｎｇの基本演算と、それらを組み合わせたモルフォロジーグラジエント（Ｄａｉｌａｔｉｏｎした画像からＥｒｏｓｉｏｎした画像を減算することで、エッジを検出する）、トップハット変換（元画像からＯｐｅｎｉｎｇした画像を減算する）、ブラックハット変換（Ｃｌｏｓｉｎｇした画像から元画像を減算する）の７種類の演算があるが、必要に応じて使い分けても良い。

マスク画像生成手段４は、モルフォロジー演算手段３により生成された画像を用いて、前記拡大画像において輪郭を強調する処理（鮮鋭化処理）を施す箇所を決めるためのマスク画像を生成する。

輪郭を強調するために用いるフィルタ（鮮鋭化フィルタ）をかける箇所ごとに２値や３値画像あるいは多値画像を生成し、それぞれのマスク画像の画素値に合わせて施す鮮鋭化フィルタを決める。

エッジ強調手段５は、マスク画像生成手段４により生成されたマスク画像に基づいて、拡大画像生成手段２で作成された拡大画像において、濃度値の変化を強調（その部分を微分）することで鮮明な画像を得る。例えば、２値化画像をマスクとした場合、画素値が０にあたる部分のみにエッジ強調フィルタをかけるなどの処理を行う。

出力手段６は、上記の鮮鋭化された画像を高解像度画像として、表示手段（図示省略）に出力する。なお、出力手段６は印刷手段を備え、鮮鋭化された画像を印刷して出力してもよい。

以上説明した顔画像高解像度化装置１による顔画像の高解像度化の過程（ステップＳ１〜Ｓ５）について図２を参照して説明する。

Ｓ１：拡大画像生成手段２が、入力された顔画像を用いて補間処理を行い、拡大画像を生成する。

拡大画像生成手段２は、入力された顔画像から近隣の画素の情報を用いて補間することにより拡大画像を生成する。生成された拡大画像は、図示省略のメモリに保存される。なお、画素の表色系は、ＲＧＢ、ＹＣｂＣｒ等、任意のものでよい。

Ｓ２：モルフォロジー演算手段３が、ステップＳ１で生成された拡大画像に対してモルフォロジー演算を施し、前記拡大画像から顔器官（特徴部位）を抽出した演算画像を生成する。

ステップＳ２では、モルフォロジー演算手段３がトップハット処理を行う場合について説明する。

まず、３×３のマスク内の最大値にそのマスク内の画素すべて置き換える処理を画像全部に施し膨張処理を行い、膨張処理を施した画像において３×３のマスク内の画素すべてをマスク内の最小値に置き換える処理を施す。その処理画像と入力画像との差分をとりモルフォロジー演算画像を生成する。

図３にモルフォロジー演算により生成された画像７を示す。本実施形態では顔の目鼻口といった顔器官（特徴部位）の輪郭部分を選択したいので、トップハット処理を行い、顔の特徴部位の輪郭部分を黒く表示した。

このとき、黒目の箇所は顔領域の中で最も暗くなる場合が多いので、例えば２画素×２画素の４画素四方ずつの画素値の合計を算出し、最も値が小さくなる２箇所を黒目と決定する。

Ｓ３：マスク画像生成手段４が、ステップＳ２で生成された演算画像に基づいて、ステップ１で生成されメモリに記憶された拡大画像においてエッジ強調フィルタをかける箇所を決めるためのマスク画像を生成する。

図４（ａ）に、２値のマスク画像８を示す。マスク画像が２値の場合は、前記モルフォロジー演算画像においてある閾値以下の画素値を０とし２値画像を作成する。あるいは、モルフォロジー演算画像中のある閾値以上の画素値を２５５としてもよい。

また、図４（ｂ）に３値のマスク画像９を示す。３値化する場合には、画素値の閾値で３つの領域に分割してもよく、また３値各々のとる画素数を決めて、決められた画素数に基づいて３つに分割してもよい。

画素値の閾値で分割する場合は、例えば、２５６色のグレースケールの平均顔画像を対象とした場合、画素値１００未満、１００以上２００未満、２００以上２５６未満の領域というように分割する。

画素数により決める場合は、例えば、画素値が暗い方（小さいもの）から１００個の画素領域をすべて画素値０、画素値が明るい方（大きいもの）から２００個の画素領域をすべて画素値２５５、残りを画素値１２８とし３値化を行ってもよい。

目の輪郭に着眼して鮮鋭化を行いたいときは、さらに、目の輪郭情報をマスクとして取得してもよい。

この場合、マスク画像生成手段４は、ステップＳ２で生成された演算画像に２値化処理を施す２値化処理手段（図示省略）、前記２値化処理手段において２値化された顔画像より顔の特徴部位の領域を抽出する領域抽出手段（図示省略）、及び前記領域抽出手段により抽出された特徴部位の領域から前記特徴部位の輪郭を抽出する輪郭抽出手段（図示省略）を備える。

ただし、領域抽出手段、輪郭抽出手段が抽出する情報は、目に限定するものではなく、顔の特徴部位であれば鼻、口等でもよい。

これら、２値化処理手段、領域抽出手段、輪郭抽出手段が目の輪郭を抽出する処理方法を図５参照して説明する。

目の輪郭情報をマスクとして取得する処理方法は、２値化処理手段による２値化処理ステップＳ１１、領域抽出手段による目領域抽出ステップＳ１２、輪郭抽出手段による目の輪郭情報抽出ステップＳ１３からなる。

２値化処理ステップＳ１１は、上記マスク画像生成手段４の２値化処理と同様に行えばよい。

目の領域抽出処理ステップＳ１２は、２値化処理ステップＳ１１で作成された２値化画像から目領域の抽出を行う。

次に、図６を参照して、目の領域抽出処理ステップＳ１３について説明する。

例えば、上記に説明したようにトップハット処理を施した画像１０中の４画素の画素値の合計が小さい２箇所を黒目１１とした場合（図６（ａ））、トップハット処理を施したモルフォロジー演算画像を２値化した２値化画像１２中の黒目が含まれる領域を目の領域１３とする（図６（ｂ））。

以上のように目の領域を決定してもよいし、予め目にあたる部分がわかっている場合は、指定された領域内にありかつトップハット処理を施した画像中の２値化した際に画素値が０になる領域を目の領域と決定してもよい。

そして、目の輪郭情報抽出処理ステップＳ１３は、目の領域抽出処理ステップＳ１２で決定された目の領域から、目の輪郭情報を抽出する。

例えば、目の輪郭情報は各目の領域から４点を選択し、その点に基づいて輪郭を決定する。

具体的には、図６（ｃ）に示すように、黒目領域よりｘ座標が小さくかつｙ座標が目の領域内で最小値を示す点の中でｘ座標が最小な点１４、黒目領域よりｘ座標が小さくかつ目の領域内でｙ座標が最大値を示す点の中でｘ座標が最小の点１５、同様に、黒目領域よりｘ座標が大きくかつｙ座標が目の領域内で最小値を示す点の中でｘ座標が最大な点１６、黒目領域よりｘ座標が大きくかつ目の領域内でｙ座標が目の領域内で最大値を示す点の中でｘ座標が最大な点１７を選択する。

次に上記４点から目の輪郭情報を取得する。４点に基づいてペジエ曲線を描いてもよいし、その他の曲線を描いてもよい。

ペジエ曲線を描く場合は、点１５の座標を（ｘ１、ｙ１）、点１４の座標を（ｘ２、ｙ２）、点１６の座標を（ｘ３、ｙ３）、点１７の座標を（ｘ４、ｙ４）とすると、
ｘ＝（１−ｔ）³ｘ₁＋３（１−ｔ²）ｔｘ₂＋３（１−ｔ）ｔ²ｘ₃＋ｔ³ｘ₄
ｙ＝（１−ｔ）³ｙ₁＋３（１−ｔ²）ｔｙ₂＋３（１−ｔ）ｔ²ｙ₃＋ｔ³ｙ₄
０≦ｔ≦１
で表される。図６（ｄ）に、４点に基づいてペジエ曲線を描いた例１８を示す。

Ｓ４：エッジ強調手段５が、ステップＳ３で生成されたマスク画像に基づいて、ステップ１で生成されメモリに記憶されている拡大画像にエッジ強調フィルタをかける。

図７にエッジ強調フィルタ１９〜２１を例示する。エッジ強調フィルタは公知のものを用いればよい。

例えば、マスク部分は、本来、顔器官等の輪郭にあたり、その部分の濃淡変化がゆるやかだとぼけたような画像になる。そこで、マスク部分に鮮鋭化フィルタ（エッジ強調フィルタ）を施し、顔器官などの輪郭にあたるエッジ箇所を強調することにより鮮鋭化された画像を得ることができる。また、マスク部分を選択することにより、雑音などは強調しないというメリットがある。

図８に元の顔画像２２、全体に鮮鋭化フィルタを施した場合の顔画像２３、顔器官を選択して鮮鋭化フィルタを施した場合の顔画像２４を示す。

全体に鮮鋭化フィルタを施した場合の顔画像２３と比較して、顔器官を選択して鮮鋭化フィルタを施した場合の顔画像２４では、頬などの雑音が強調されず、ノイズによる高周波がのらないので、認識などに適した画像となっている。

マスク画像が３値又は多値の場合は、それぞれの画素値に応じた鮮鋭化フィルタをかけるとよい。

さらに、マスク画像の３値あるいは多値の値により、図７の鮮鋭化フィルタ２１のｋの値を決定してもよい。

マスクを３値化した場合の顔画像の例を図９に示す。３値化することにより、エッジがよりぼけてしまっているところにより強い鮮鋭化フィルタ（例えば、図７の鮮鋭化フィルタ２１のｋの値を大きくしたフィルタ）をかけるなどの調節を行うことができる。

図９に、２値（画素値を０か２５５で表現）の顔の口部分のマスク２５、２値のマスク（口の部分）による鮮鋭化の結果２６、３値（画素値を０、１２８、２５５で表現）の口の部分のマスク２７、に３値のマスク（口の部分）による鮮鋭化の結果２８、高解像度の原画（口部分）２９を示す。

３値のマスクでは、画素値が１２８の画素にはより強い鮮鋭化フィルタを施している。このように３値にすることにより、よりくっきり口の輪郭が現れる場合もある。

同様に、鼻部分も３値にし、鮮鋭化の強さを調節することにより、弱いエッジでも輪郭線として表現できる場合がある。

また、上記にペジエ曲線を例示して説明した場合のように、目の輪郭情報がわかっている場合は、目の輪郭に沿って鮮鋭化フィルタを施しても良い。

ペジエ曲線に基づいて目の輪郭情報を取得した場合の鮮鋭化の結果を図１０に示す。

図１０に、線形補間処理で拡大した場合の目の画像３０、目の輪郭に沿って（ペジエ曲線上の画素に）鮮鋭化フィルタを施した場合の目の画像３１、高解像度の元画像の目部分３２を示す。

ペジエ曲線上の画素に鮮鋭化フィルタを施した場合の画像３１では、目の輪郭が線形補間処理で拡大した場合の画像３０にくらべくっきり現れ、かつ余計な雑音がのっていないことがわかる。

顔認識処理等を行う場合は、目の輪郭に着眼することも多い。そこで、目の輪郭の高解像度化が高精度に行われていれば、認識率の向上につながる。

Ｓ５：出力手段６が、ステップＳ４で鮮鋭化された画像を高解像度画像として、表示手段に出力する。

ステップＳ５では、出力手段６が、エッジ強調手段５で鮮鋭化された画像を高解像度画像として、表示手段（図示省略）に出力する。

なお、上記各ステップで得られた画像を適宜表示装置に表示して、変換された画像を確認できるようにしてもよい。

さらに、本発明に係る顔画像高解像度化装置１は、エッジ強調手段５で鮮鋭化された画像を再度、前記画像入力手段により、拡大画像生成手段２に入力して、目的とする解像度になるまで高解像度変換処理を段階的に行ってもよい。

入力された低解像度画像の解像度と目的とする高解像度画像の解像度が２倍程度ならばステップＳ１〜Ｓ４に示した高解像度化処理を行い、ステップＳ５に示した方法で高解像度画像を出力する。

目的とする高解像度画像の解像度が大きい場合は、顔画像高解像化装置１は、２０×２０をまずステップＳ１〜Ｓ４に示した高解像度化処理により４０×４０の高解像度画像を作成する。

さらに、作成された４０×４０の高解像度画像にステップＳ１〜Ｓ４に示した高解像度化処理を施し、８０×８０の高解像度画像を得、ステップＳ５に示した方法で高解像度画像を出力する。

このように多段階にわけて高解像度化処理することにより、拡大画像にモルフォロジー演算を施した場合に顔器官の輪郭等の位置をマスク画像として作成できる精度があがり、より鮮鋭化処理の効果があがる。

以上に述べたように、本発明に係る顔画像高解像度化装置によれば、学習や複数枚の画像を用意する必要なく、適切に顔器官部分を抽出することが可能である。

したがって、目といった顔器官の輪郭にのみ注目してエッジ強調することが可能となり、余計なノイズを強調することなく、必要な箇所のみ鮮鋭化することができる。

さらに、学習画像を用意する必要もなく、処理内に繰り返し演算などの煩雑な処理も含まれないため、簡易に所望の顔画像の解像度を変換することができ、携帯電話などやゲーム機等に組み込むことが可能である。

このように、高解像度化を可能にしたことにより、監視カメラなどに写された小さな顔領域を鮮鋭化（高解像度化）することができ、顔認識などの処理が可能となり防犯対策等にも有効である。

また、近年、ストレージ等に私用の画像や映像を蓄積することも多くなってきているが、顔画像を高解像度化し認識することができれば、顔画像を検索等のメタデータとして付与することもでき、画像や映像の検索・編集を簡易にするといった効果もある。

なお、本発明は、上述の実施形態に限定されるものでなく、顔画像高解像度化装置１を構成する各手段２〜５の一部もしくは全部として、コンピュータを機能させるプログラムとして構成することもできる。このプログラムは、Ｓ１〜Ｓ５（Ｓ１１〜Ｓ１３も含む）の全ステップあるいは一部のステップをコンピュータに実行させる。

このプログラムは、Ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＭＯ、ＨＤＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）などの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。

１…顔画像高解像度化装置
２…拡大画像生成手段
３…モルフォロジー演算手段
４…マスク画像生成手段
５…エッジ強調手段

Claims (9)

1. １枚の顔画像に基づいて、前記顔画像の解像度が高い画像を生成する顔画像高解像度化方法であって、
   拡大画像生成手段が、入力された顔画像を用いて補間処理を行い、拡大画像を生成する拡大画像生成ステップと、
   モルフォロジー演算手段が、前記拡大画像に対してモルフォロジー演算を施し、前記拡大画像から顔の特徴部位を抽出した演算画像を生成するモルフォロジー演算ステップと、
   マスク画像生成手段が、前記演算画像に基づいて、前記抽出された特徴部位においてエッジを強調する箇所を決めるマスク画像を生成するマスク画像生成ステップと、
   エッジ強調手段が、前記生成されたマスク画像に基づいて、前記拡大画像のエッジを強調するエッジ強調ステップと、
   を有する
   ことを特徴とする顔画像高解像度化方法。
2. 前記マスク画像生成ステップは、
   前記演算画像を２値化し、２値演算画像を生成するステップと、
   前記２値演算画像中から顔の特徴部位にあたる領域を抽出する特徴領域抽出ステップと、
   この抽出された特徴領域中から前記特徴部位の輪郭にあたる部分を抽出する輪郭抽出ステップ、
   からなることを特徴とする請求項１に記載の顔画像高解像度化方法。
3. 前記エッジ強調手段ステップは、
   前記抽出された特徴部位の輪郭に沿って、前記拡大画像にエッジ強調フィルタをかけるステップ、
   からなる
   ことを特徴とする請求項２に記載の顔画像高解像度化方法。
4. 画像入力手段が、前記エッジ強調手段により生成された画像を、再度、前記入力画像として、前記拡大画像生成手段に入力する画像入力ステップ
   を有する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の顔画像高解像度化方法。
5. １枚の顔画像に基づいて、前記顔画像の解像度が高い画像を生成する顔画像高解像度化装置であって、
   入力された顔画像を用いて補間処理を行い、拡大画像を生成する拡大画像生成手段と、
   前記顔の拡大画像に対してモルフォロジー演算を施し、前記拡大画像から顔の特徴部位を抽出した演算画像を生成するモルフォロジー演算手段と
   前記演算画像に基づいて、前記抽出された特徴部位においてエッジを強調する箇所を決めるマスク画像を生成するマスク画像生成手段と、
   前記マスク画像に基づいて、前記拡大画像のエッジを強調するエッジ強調手段と、
   を備えた
   ことを特徴とする顔画像高解像度化装置。
6. 前記マスク画像生成手段は、
   前記演算画像を２値化し、２値演算画像を生成する２値演算画像生成手段と、
   前記２値演算画像中から顔の特徴部位にあたる領域を抽出する特徴領域抽出手段と、
   この抽出された特徴領域中から前記特徴部位の輪郭にあたる部分を抽出する輪郭抽出手段と、
   を備えた
   ことを特徴とする請求項５に記載の顔画像高解像度化装置。
7. 前記エッジ強調手段が、前記抽出された特徴部位の輪郭に沿って、前記拡大画像にエッジ強調フィルタをかける
   ことを特徴とする請求項６に記載の顔画像高解像度化装置。
8. 前記エッジ強調手段により生成された画像が、再度、前記入力画像として、前記拡大画像生成手段に入力される
   ことを特徴とする請求項５から請求項７のいずれか１項に記載の顔画像高解像度化装置。
9. コンピュータを、請求項５から請求項８に記載の顔画像高解像度化装置の各手段として機能させるためのプログラム。

Images