JP2016174306A - 画像処理装置、画面処理方法及びプログラム - Google Patents

Abstract

【課題】より良好な高解像度画像を生成する。
【解決手段】第１実施形態の画像処理装置は、第１の画像と、第１の画像よりも解像度の高い第２の画像と、が関連付けられた辞書情報を記憶する記憶部と、入力画像を受け付ける受付部と、入力画像を、重複領域を有する複数の分割領域に分割する分割部と、分割領域毎に、分割領域と類似する第１の画像に関連付けられた第２の画像を選択する選択部と、分割領域のそれぞれに、選択部により選択された第２の画像を重畳し、重複領域に対応する領域については、複数の第２の画像の画素値を、重みを付けて重畳することによって出力画像を生成する生成部と、を備える。
【選択図】図１

Description

本発明は画像処理装置、画像処理方法及びプログラムに関する。

製品コストの削減を目的とした安価な撮像素子の利用、及び、伝送効率の向上又は画像データサイズの削減等を目的とした画像の圧縮等、画像の品質（解像度）を意図的に低下させる処理が従来から行われている。このような処理によって生成される低解像度画像は、視認が困難になる問題、及び、印刷物の低品質化の問題等の原因となる。

これらの問題を改善するためには、被写体の解像度（被写体を表現している画素数）を増加させる必要があり、拡大時に不足する画素を複数の画素の平均値等から算出する補間技術が使用されてきた。しかしながら補間技術では、エッジ部分等で隣接する画素値の変化量が緩やかな、ぼけた画像になる問題が発生する。そこで補間技術で拡大された画像に、失われた高周波成分を他の画像から抽出して内挿することで、高解像度化（エッジのシャープネスの向上及びテクスチャの復元等）する超解像技術が知られている。例えば特許文献１には、低解像度画像から超解像度画像を生成する方法の発明が開示されている。

しかしながら従来の技術では、生成された高解像度画像に、部分的に諧調の連続性が不自然な箇所が含まれてしまう可能性があった。

本発明は、上記に鑑みてなされたものであって、より良好な高解像度画像を生成することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１の画像と、前記第１の画像よりも解像度の高い第２の画像と、が関連付けられた辞書情報を記憶する記憶部と、入力画像を受け付ける受付部と、前記入力画像を、重複領域を有する複数の分割領域に分割する分割部と、前記分割領域毎に、前記分割領域と類似する前記第１の画像に関連付けられた前記第２の画像を選択する選択部と、前記分割領域のそれぞれに、前記選択部により選択された前記第２の画像を重畳し、前記重複領域に対応する領域については、複数の前記第２の画像の画素値を、重みを付けて重畳することによって出力画像を生成する生成部と、を備える。

本発明によれば、より良好な高解像度画像を生成することができるという効果を奏する。

図１は第１実施形態の画像処理装置の機能構成の例を示す図である。 図２は第１実施形態の複数の分割画像の例を示す概念図である。 図３は第１実施形態の辞書情報の利用方法の概要を示す図である。 図４は第１実施形態の重みの付け方の例を示す図である。 図５は第１実施形態の単位領域に対応する領域の例を示す図である。 図６は第１実施形態の画像処理方法の例を示すフローチャートである。 図７は第２実施形態の辞書情報の利用方法の概要を示す図である。 図８は第１及び第２実施形態の画像処理装置のハードウェア構成の例を示す図である。

以下に添付図面を参照して、画像処理装置、画像処理方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
図１は第１実施形態の画像処理装置１の機能構成の例を示す図である。第１実施形態の画像処理装置１は、記憶部１１、受付部１２、変換部１３、分割部１４、選択部１５及び生成部１６を備える。画像処理装置１は、例えばデジタルカメラ、パーソナルコンピュータ、スマートデバイス及びＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）等である。

記憶部１１は辞書情報を記憶する。辞書情報は、第１の画像（低解像度画像）と、第１の画像よりも解像度の高い第２の画像（高解像度画像）と、が関連付けられた情報である。ここで辞書情報の作成方法の例について説明する。辞書情報の作成は、画像処理装置１により行われてもよいし、他の装置で作成された辞書情報を受付部１２により受け付けてもよい。

第１の画像（低解像度画像）は、受付部１２により受け付けられる入力画像に相当する解像度を有する画像として、第２の画像（高解像度画像）から作成される。

一般に、デジタル画像はＣＣＤ及びＣＭＯＳ等の撮像素子を通して計測された光量の強弱で画素値が決定され、当該画素値の配列により表されている。デジタル画像は、手ブレ等によるボケ、サンプリング等による情報の欠落、及び、ノイズの混入等の劣化過程を経て生成されている。この劣化過程をモデル化したモデルは、画像の観測モデルと呼ばれる。画像の観測モデルでは、ボケを生成する平滑化フィルタ関数（メディアンフィルタ及びガウシアンフィルタ等）、及び、画素の間引きを行うダウンサンプリング関数を用いて劣化過程が模擬される。

第２の画像（高解像度画像）は、例えばデジタルカメラ等により撮影された画像、及び、ウェブ上から取得された画像等である。これらの第２の画像（高解像度画像）を観測モデルに従って劣化させることで、第２の画像（高解像度画像）よりも相対的に解像度が低い第１の画像（低解像度画像）を生成する。

具体的には、第１の画像（低解像度画像）は、第２の画像（高解像度画像）に平滑化フィルタの一種であるガウシアンフィルタをかけてボケを模擬し、バイキュービック補間による縮小で画素の間引きを模擬することにより生成される。無論、この観測モデルは一例であって、受付部１２により受け付けられる入力画像を模擬できる観測モデルであれば、任意の観測モデルを辞書情報の作成に使用することが可能である。

受付部１２は入力画像を受け付けると、入力画像を変換部１３に入力する。入力画像は、例えば安価な撮像素子により撮像された低解像度の画像である。また受付部１２は新たな辞書情報を受け付けた場合、当該辞書情報を記憶部１１に記憶する。

変換部１３は、受付部１２から入力画像を受け付けると、当該入力画像のデータ形式を、処理対象の画像のデータ形式に変換する。具体的には、変換部１３は、入力画像がＲＧＢ画像である場合、ＲＧＢ画像をＹＩＱ、ＹＵＶ、及び、ＹＣｂＣｒ等の色形式の画像に変換する。そして変換部１３は、入力画像の明度成分を示す画像を、処理対象の画像として分割部１４に入力する。なお変換部１３は、入力画像がグレースケールの画像である場合、入力画像の形式を変換せずに、分割部１４に入力する。

また変換部１３は、生成部１６により画像処理された明度成分を示す画像を受け付けると、変換前の画像に含まれる色度成分と、当該明度成分を示す画像と、を使用して逆変換することにより、元の入力画像のデータ形式に変換する。

なお変換部１３により変換される処理対象の画像のデータ形式は任意でよい。例えば入力画像がカラー画像である場合、明度成分等の特定の成分だけでなく、全ての色チャネルの画像を、チャネルごとに処理対象の画像のデータ形式にしてもよい。この場合、変換部１３は、後述の生成部１６により、それぞれ別々に画像処理された各色チャネルの画像を受け付けると、当該各色チャネルの画像を使用して逆変換することにより、元の入力画像のデータ形式に変換する。

以下の説明では、入力画像がグレースケールの画像である場合を例にして説明する。すなわち、処理対象の画像が入力画像そのもの（１チャネルの画像）である場合の例について説明する。

分割部１４は、変換部１３から処理対象の画像として、入力画像を受け付けると、当該処理対象の画像を、重複領域を有する複数の分割領域に分割する。

図２は第１実施形態の複数の分割領域ａ〜ｄの例を示す概念図である。図２の例は、入力画像の一部の領域を示し、分割部１４が、当該領域を６×６画素サイズの分割領域ａ〜ｄに分割する場合を示す。また図２の例は、分割部１４が、各分割領域の端の２画素が当該分割領域に隣接する他の分割領域にも含まれるように入力画像を分割することにより、重複領域１１０を形成する場合を示す。なお分割領域ａ〜ｄのサイズ、及び、重複領域１１０のサイズは任意でよい。

図１に戻り、選択部１５は、分割領域毎に、当該分割領域と類似する第１の画像に関連付けられた第２の画像を記憶部１１より選択する。

具体的には、選択部１５は、例えばラスタスキャンにより入力画像から各分割領域を抽出する。なお分割領域は、第１の画像と同じ大きさの領域として抽出される。次に選択部１５は、例えばＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、及び、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）等の尺度を利用して、分割領域と記憶部１１に蓄積された第１の画像とが類似するか否かを判定する。次に選択部１５は、類似すると判定された第１の画像に関連付けられた第２の画像を選択する。

生成部１６は、分割領域のそれぞれを、選択部１５により選択された第２の画像に置き換える。このとき生成部１６は、重複領域に対応する第２の画像の領域については、複数の第２の画像の画素値を、重みを付けて重畳する。これにより生成部１６は入力画像から出力画像を生成する。重複領域に含まれる１以上の画素毎に重みを付ける方法の詳細については後述する。

図３は第１実施形態の辞書情報１００の利用方法の概要を示す図である。選択部１５は、入力画像１０１の分割領域１０２毎に、当該分割領域１０２に類似する第１の画像１０３を辞書から探索し、探索された第１の画像に対応付けられた第２の画像１０４を選択する。次に生成部１６は、分割領域１０２のそれぞれを、選択部１５により選択された第２の画像１０４に置き換える。前記の置き換え処理では、第２の画像から抽出された分割領域の中心画素間の間隔が、第１の画像から抽出された分割領域の中心画素間の間隔と対応するように置き換える。例えば、第１の画像において隣接する分割領域の画素の中心が３ピクセル離れていたと仮定して、２倍拡大の場合を例に挙げると、第２の画像において隣接する分割領域の画素の中心は６ピクセル離れることになる。

第１実施形態の説明では、分割領域のサイズを６×６画素（図２参照）としているので、第１の画像のサイズは６×６画素である。このとき第２の画像のサイズは、例えば３倍拡大を例に取ると１８×１８画素である。なお第１の画像及び第２の画像のサイズは任意でよい。例えば第１の画像のサイズを３×３画素とし、第２の画像のサイズを９×９画素としてもよい。また例えば第１の画像のサイズは５×５画素とし、第２の画像のサイズは１５×１５画素としてもよい。また、入力画像１０１と出力画像１０５は同サイズとしても構わない。例えば、画像を補間技術で出力画像と同サイズに拡大した上で前記の分割、探索、置き換え処理を行っても良い。この場合、前記第１の画像と前記第２の画像のサイズは同サイズにすることが望ましい。

次に生成部１６が重複領域１１０に含まれる１以上の画素毎に、重みを付ける方法について説明する。

図４は第１実施形態の重みの付け方の例を示す図である。図４の例は、生成部１６が、４画素（２×２）を一括りとした単位領域１１１ａ〜ｉの例を示す。重み付けは単位領域ごとに行い、単位領域同士は重ねても重ねなくても良い。以下、単位領域１１１ａ〜ｉを区別しない場合は、単に単位領域１１１という。なお単位領域１１１は、４画素に限らず、１以上の画素を含む任意のサイズの領域でよい。

生成部１６は単位領域１１１毎に重みを付ける。具体的には、まず生成部１６は、重複領域１１０の単位領域１１１毎に、単位領域１１１に対応する領域に重畳される第２の画像１０４の信頼性を示す第１の部分信頼度を算出する。

図５は第１実施形態の単位領域１１１ａ〜ｇに対応する領域１２１ａ〜ｇの例を示す図である。図５の例は、生成部１６が、分割領域ａを、選択部１５により選択された第２の画像Ａに置き換え、分割領域ｂを、選択部１５により選択された第２の画像Ｂに置き換えた場合を示す。すなわち図５の領域１２０は、図４に示す重複領域１１０に対応する領域のうち、第２の画像Ａが有する重複領域（領域１２１ａ〜ｅ）と、第２の画像Ｂが有する重複領域（領域１２１ａ，ｂ，ｅ〜ｇ）を示す。単位領域１１１ａ〜ｇに対応する領域１２１ａ〜ｇを区別しない場合は、単に単位領域１１１に対応する領域１２１という。図５の例では、２×２画素の単位領域１１１（例えば領域１１１ａ）に６×６画素の領域１２１（例えば領域１２１ａ）が対応する場合を示す。

第２の画像１０４の第１の部分信頼度は、重複領域の単位領域毎に、単位領域を有する分割領域に類似する第１の画像１０３の単位領域に対応する領域と、単位領域と、の類似度により算出される。例えば第２の画像Ａの第１の部分信頼度は、重複領域１１０の単位領域１１１ａ〜ｅ毎に算出される。単位領域１１１ａの場合、生成部１６が、単位領域１１１ａを有する分割領域ａに類似する第１の画像１０３の単位領域１１１ａに対応する領域と、単位領域１１１ａと、の類似度により第１の部分信頼度を算出する。

類似度は、単位領域１１１が１画素である場合は、例えば画素値の差分の逆数である。ただし画素値が同一の場合は、差分が０になるため類似度を１とする。また単位領域１１１が図４のように１画素でない場合、例えばＳＳＤ、ＳＡＤ、及びＮＣＣ等の尺度を利用して類似度を決定する。例えば、ＳＳＤのような相違度を使用した場合、二画像が類似していると値が小さくなるため、高い重みを付与するために二画像値の差分の逆数を用いる方法が考えられる。

生成部１６は、単位領域１１１に対応する領域１２１毎に、複数の第２の画像の画素値を、第１の部分信頼度に基づく重みを付けて重畳する。なお第１実施形態の説明では、第１の部分信頼度の値をそのまま重みとして使用する場合について説明する。

例えば単位領域１１１ａ（図４参照）に対応する領域１２１ａ（図５参照）に重畳される第２の画像１０４は、第２の画像Ａ及び第２の画像Ｂである。領域１２１ａに使用される第２の画像Ａの第１の部分信頼度が０．９であり、領域１２１ａに使用される第２の画像Ｂの第１の部分信頼度が０．６である場合、生成部１６は、領域１２１ａに含まれる画素の画素値を、下記式（１）により決定する。重みの和（０．９＋０．６）で割ることにより画素値の値を正規化し、画素値が上限２５５を超えないようにする。

（領域１２１ａに含まれる画素の画素値）
＝｛（第２の画像Ａの画素値）×０．９＋（第２の画像Ｂの画素値）×０．６｝
÷（０．９＋０．６） ・・・（１）

また例えば単位領域１１１ｅ（図４参照）に対応する領域１２１ｅ（図５参照）に重畳される第２の画像１０４は、第２の画像Ａ〜Ｄである。領域１２１ａに使用される第２の画像Ａの第１の部分信頼度が０．８であり、領域１２１ｅに使用される第２の画像Ｂの第１の部分信頼度が０．７であり、領域１２１ｅに使用される第２の画像Ｃの第１の部分信頼度が０．５であり、領域１２１ｅに使用される第２の画像Ｄの第１の部分信頼度が０．４である場合、生成部１６は、領域１２１ｅに含まれる画素の画素値を、下記式（２）により決定する。

（領域１２１ｅに含まれる画素の画素値）
＝｛（第２の画像Ａの画素値）×０．８＋（第２の画像Ｂの画素値）×０．７
＋（第２の画像Ｃの画素値）×０．５＋（第２の画像Ｄの画素値）×０．４｝
÷（０．８＋０．７＋０．５＋０．４） ・・・（２）

次に第１実施形態の画像処理方法について説明する。

図６は第１実施形態の画像処理方法の例を示すフローチャートである。図６の説明では、入力画像がグレースケールの画像の場合について説明する。すなわち変換部１３が入力画像のデータ形式を変換しない場合について説明する。

はじめに、受付部１２が入力画像１０１を受け付ける（ステップＳ１）。次に、分割部１４が、入力画像１０１を複数の分割領域１０２に分割する（ステップＳ２）。次に、選択部１５が、分割領域１０２毎に、当該分割領域１０２と類似する第１の画像１０３に対応付けられた第２の画像１０４を選択する（ステップＳ３）。次に、生成部１６が、重複領域１１０の単位領域１１１毎に、第２の画像１０４の第１の部分信頼度を算出する（ステップＳ４）。

次に、生成部１６が、出力画像１０５を生成する（ステップＳ５）。具体的には、生成部１６は、分割領域１０２のそれぞれを、選択部１５により選択された第２の画像１０４に置き換える。このとき生成部１６は、重複領域１１０に対応する第２の画像１０４の領域については、単位領域１１１に対応する領域１２１毎に複数の第２の画像の画素値を、第１の部分信頼度に基づく重みを付けて重畳する。

以上説明したように、第１実施形態の画像処理装置１では、分割部１４が、入力画像１０１を、重複領域を有する複数の分割領域１０２に分割する。そして生成部１６が、分割領域１０２のそれぞれを、選択部１５により選択された第２の画像１０４に置き換える。このとき生成部１６は、重複領域に対応する領域については、複数の第２の画像１０４の画素値を、第１の部分信頼度に基づく重みを付けて重畳する。これにより第１実施形態の画像処理装置１によれば、部分的に諧調の連続性が不自然な箇所が含まれていない出力画像１０５を生成することができる。

（第１実施形態の変形例１）
次に第１実施形態の変形例１について説明する。第１実施形態の変形例１では、生成部１６が、更に第２の部分信頼度に基づく重みを分割領域ごとに付与して単位領域へ重畳する場合について説明する。第１実施形態の変形例１の画像処理装置１の構成は、第１実施形態の画像処理装置１の構成（図１参照）と同じである。第１実施形態の変形例１の説明では、第１実施形態と同じ説明については省略し、第１実施形態と異なる箇所について説明する。

生成部１６は、分割領域ごとに、更に第１の情報量を算出する。第１の情報量は、分割領域に含まれる情報の量である。第１の情報量は任意に定められてよい。また、第１の情報量は、分割領域全体から算出してもよいし、複数の分割領域が重なる部分領域（単位領域）のみから算出してもよい。下記では、情報量は複数の分割領域が重なる部分領域から算出するものとして説明する。例えば分割領域ａの第１の情報量は、分割領域ａに含まれる画素の値又は並びを定量化できる尺度を用いて算出する。一例としては、分割領域ａに含まれる画素値の和、分割領域ａに含まれる類似画素の数、及び、分割領域ａの画像の複雑さを定量化できる分散のような尺度等である。ここで分割領域ａに含まれる類似画素とは、上述の画素間の類似度が所定の閾値より大きい画素を指す。なお閾値は適宜定められてよい。また、第１の情報量は、分割領域だけでなく、第１の画像のみ、または分割領域と第１の画像の両方から算出することが可能である。下記では情報量の計測は分割領域に対してのみ行うものとする。

生成部１６は、分割領域毎に、第１の情報量に基づいて、分割領域を辞書と照合することで得られる第２の画像１０４の信頼性を示す第２の部分信頼度を算出する。生成部１６は、第１の情報量が多いほど、第２の部分信頼度を高く算出する。第２の部分信頼度の値の範囲は、例えば０〜１である。情報量を分割領域内の単位領域と第１の画像内の単位領域の両方から算出した場合は、各々の信頼度を平均するなどして第２の画像の重み付けに使用する。

そして単位領域１１１に対応する領域１２１では、生成部１６が、分割領域と第１の画像の類似度から算出した第１の部分信頼度及び分割領域の情報量を計測することで算出された第２の部分信頼度に基づいて、複数の第２の画像１０４の画素値を重畳する。

ここで第１の部分信頼度及び第２の部分信頼度に基づく重みを付けて重畳する方法について、単位領域１１１ａに対応する領域１２１ａで複数の第２の画像１０４（第２の画像Ａ及びＢ）を重畳する場合を例にして説明する。生成部１６は、例えば領域１２１ａに使用される第２の画像Ａの第１の部分信頼度が０．９であり、領域１２１ａに使用される第２の画像Ｂの第１の部分信頼度が０．６であり、第２の画像Ａの第２の部分信頼度が０．８であり、第２の画像Ｂの第２の部分信頼度が０．３の場合、下記式（３）により画素値を決定する。

（領域１２１ａに含まれる画素の画素値）
＝｛（第２の画像Ａの画素値）×０．９×０．８
＋（第２の画像Ｂの画素値）×０．６×０．３｝
÷（０．９×０．８＋０．６×０．３）・・・（３）

すなわち生成部１６は、第１の部分信頼度による重みが使用された上述の式（１）による演算結果に、単位領域全体の情報量を重みとした第２の部分信頼度を反映する。

これにより第２の部分信頼度が高いほど、単位領域１１１に含まれる画素に寄与する第２の画像１０４の画素の影響が大きくなる。すなわち第２の画像１０４を重畳することによって、高解像度化の効果よりも、ノイズの混入する可能性の方が高い第１の情報量が少ない単位領域１１１については、第２の画像１０４の画素の影響が小さくなる。

以上説明したように、第１実施形態の変形例１の画像処理装置１によれば、生成部１６が、更に、単位領域１１１に対応する領域１２１に重畳される複数の第２の画像１０４の画素値に、第１の情報量に応じた第２の部分信頼度に基づく重みを付与することにより、複数の第２の画像１０４を重畳する。これにより第１実施形態の変形例１の画像処理装置１によれば、より良好な高解像度画像として出力画像１０５を生成することができる。

（第１実施形態の変形例２）
次に第１実施形態の変形例２について説明する。第１実施形態の変形例２では、生成部１６が、更に第３の部分信頼度に基づく重みを付与する場合について説明する。第１実施形態の変形例２の画像処理装置１の構成は、第１実施形態の画像処理装置１の構成（図１参照）と同じである。第１実施形態の変形例２の説明では、第１実施形態と同じ説明については省略し、第１実施形態と異なる箇所について説明する。

生成部１６は、単位領域１１１（図４参照）に対応する領域１２１（図５参照）毎に、更に、第２の画像１０４の第２の情報量を算出する。例えば単位領域１１１に対応する領域１２１では、第２の画像Ａの第２の情報量と、第２の画像Ｂの第２の情報量とが算出される。

第２の情報量は、単位領域１１１に対応する領域１２１に使用される第２の画像１０４の領域に含まれる情報の量である。第１の情報量と同様に、第２の情報量も第２の画像全体、または単位領域に該当する画素群のみから算出することが可能である。第２の情報量は任意に定められてよい。例えば第２の画像Ａの第２の情報量は、第２の画像に含まれる画素値の和、第２の画像に含まれる類似画素の数、及び、第２の画像の複雑さを定量化できる分散のような尺度等である。ここで第２の画像に含まれる類似画素とは、上述の類似度が閾値より大きい画素を指す。なお閾値は適宜定められてよい。

生成部１６は、第２の情報量に基づいて、第２の画像１０４の信頼性を示す第３の部分信頼度を第２の画像ごとに算出する。生成部１６は、第２の情報量が多いほど、第３の部分信頼度を高く算出する。第３の部分信頼度の値の範囲は、例えば０〜１である。

そして単位領域１１１に対応する領域１２１では、生成部１６が、複数の第２の画像１０４の画素値を、第１の部分信頼度、第２の部分信頼度及び第３の部分信頼度に基づく重みを付けて重畳する。

ここで第１の部分信頼度、第２の部分信頼度及び第３の部分信頼度に基づく重みを付けて重畳する方法について、単位領域１１１ａに対応する領域１２１ａで複数の第２の画像１０４（第２の画像Ａ及びＢ）を重畳する場合を例にして説明する。生成部１６は、例えば領域１２１ａに使用される第２の画像Ａの第１の部分信頼度が０．９であり、領域１２１ａに使用される第２の画像Ｂの第１の部分信頼度が０．６であり、第２の画像Ａの第２の部分信頼度が０．８であり、第２の画像Ｂの第２の部分信頼度が０．３であり、第２の画像Ａの第３の部分信頼度が０．７であり、第２の画像Ｂの第３の部分信頼度が０．５の場合、下記式（４）により画素値を決定する。

（領域１２１ａに含まれる画素の画素値）
＝｛（第２の画像Ａの画素値）×０．９×０．８×０．７
＋（第２の画像Ｂの画素値）×０．６×０．３×０．５｝
÷（０．９×０．８×０．７＋０．６×０．３×０．５）・・・（４）

これにより第３の部分信頼度が高いほど、単位領域１１１に含まれる画素に寄与する第２の画像１０４の画素の影響が大きくなる。すなわち生成部１６は、第２の画像１０４を重畳することによって、高解像度化の効果よりも、ノイズの混入する可能性の方が高い第１の情報量が少ない単位領域１１１については、第２の画像１０４の画素の影響が小さくなる。

以上説明したように、第１実施形態の変形例２の画像処理装置１によれば、生成部１６が、更に、単位領域１１１に対応する領域１２１に重畳される複数の第２の画像１０４の画素値に、第２の情報量に応じた第３の部分信頼度に基づく重みを付与することにより、複数の第２の画像１０４を重畳する。これにより第１実施形態の変形例１の画像処理装置１によれば、より良好な高解像度画像として出力画像１０５を生成することができる。

なお生成部１６は、上述の第１〜３の部分信頼度を単独で使用して重みを算出してもよい。また生成部１６は、上述の第１〜３の部分信頼度を任意に組み合わせることにより重みを算出してもよい。

（第２実施形態）
上述した第１実施形態では、分割領域を第２の画像で置き換えることで超解像処理を行った。第２実施形態では、重み付けの方法は第１実施形態と同様として、図３の辞書情報１００の利用方法を別の方法に変えた実施形態について説明する。

図７は第２実施形態の辞書情報２００の利用方法の概要を示す図である。まず、変換部１３が、入力画像１０１を補間技術で目標画像サイズの補間拡大画像２０１に拡大する。超解像処理は、この補間拡大画像２０１をベースに実施する。辞書情報２００は非特許文献２を参考にして、画像から抽出された分割領域を周波数解析して低周波、高周波分割領域に変換し、１個以上の低周波、高周波分割領域ペアを蓄積することで構築される。ここで、高周波成分は補間拡大画像中に失われた高周波成分を指している。従って、高周波成分を補間拡大画像に加算することで超解像結果が生成される。

次に、第１実施形態と同様にして、選択部１５が、分割領域２０２ごとに、辞書情報２００を探索し、当該分割領域２０２と類似する第１の画像２０３に対応付けられた第２の画像２０４（高周波部分領域）を選択する。次に、生成部１６が、第１実施形態１で説明した重み付けを行い、各々の結果を抽出した位置と同じ位置に重畳することで一枚の出力画像２０５（復元高周波画像）を生成する。最後に、生成部１６が、この出力画像２０５（復元高周波画像）を補間拡大画像２０１に加算することで、高解像度画像を復元する。

第１実施形態と大きく異なる点としては、第１実施形態では、分割領域１０２の画像の置き換えによって超解像結果画像を生成していたが、第２実施形態では、補間拡大画像２０１の分割領域２０２に、出力画像２０５（復元高周波画像）を加えている点である。従って、超解像結果に元の画像情報が含まれるか否かという点で異なっている。なお、図７では、入力画像１０１を補間拡大することを前提に説明したが、補間拡大された画像を入力としても構わない。つまり、超解像処理において必ずしも補間処理は必要になるとは限らない。補間拡大画像を入力画像とする場合、補間技術による拡大処理は省略される。

最後に第１及び第２実施形態の画像処理装置１のハードウェア構成の例について説明する。

図８は第１及び第２実施形態の画像処理装置１のハードウェア構成の例を示す図である。第１及び第２実施形態の画像処理装置１は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して互いに接続されている。

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２はＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置３０３はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や光学ドライブ等である。

表示装置３０４は画像処理装置１の状態等を表示する。表示装置３０４は、例えば、液晶ディスプレイである。入力装置３０５は画像処理装置１を操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。通信装置３０６はネットワークに接続するためのインタフェースである。

第１及び第２実施形態の画像処理装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また第１及び第２実施形態の画像処理装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１及び第２実施形態の画像処理装置１で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また第１及び第２実施形態の画像処理装置１のプログラムを、主記憶装置３０２のＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１及び第２実施形態の画像処理装置１で実行されるプログラムは、上述した図１の受付部１２、変換部１３、分割部１４、選択部１５及び生成部１６を含むモジュール構成となっている。受付部１２、変換部１３、分割部１４、選択部１５及び生成部１６は、制御装置３０１が上記記憶媒体からプログラムを読み出して実行することにより、主記憶装置３０２上にロードされる。すなわち受付部１２、変換部１３、分割部１４、選択部１５及び生成部１６は主記憶装置３０２上に生成される。なお上述した図１の受付部１２、変換部１３、分割部１４、選択部１５及び生成部１６の一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

１ 画像処理装置
１１ 記憶部
１２ 受付部
１３ 変換部
１４ 分割部
１５ 選択部
１６ 生成部
１０１ 入力画像
１０２ 分割領域
１０３ 第１の画像
１０４ 第２の画像
１０５ 出力画像
１１０ 重複領域
１１１ 単位領域
１２１ 単位領域に対応する領域
２０１ 補間拡大画像
２０２ 分割領域
２０３ 第１の画像
２０４ 第２の画像
２０５ 出力画像

特開２００３−０１８３９８号公報

Ｗ．Ｔ．Ｆｒｅｅｍａｎ，Ｅ．Ｃ．Ｐａｓｚｔｏｒ，Ｏ．Ｔ．Ｃａｒｍｉｃｈａｅｌ Ｌｅａｒｎｉｎｇ Ｌｏｗ−Ｌｅｖｅｌ Ｖｉｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，４０（１），ｐｐ．２５−４７，２０００．

Claims (9)

1. 第１の画像と、前記第１の画像よりも高解像度である第２の画像と、が関連付けられた辞書情報を記憶する記憶部と、
   入力画像を受け付ける受付部と、
   前記入力画像を、重複領域を有する複数の分割領域に分割する分割部と、
   前記分割領域毎に、前記分割領域と類似する前記第１の画像に関連付けられた前記第２の画像を選択する選択部と、
   前記分割領域のそれぞれに、前記選択部により選択された前記第２の画像を重畳し、前記重複領域に対応する領域については、複数の前記第２の画像の画素値を、重みを付けて重畳することによって出力画像を生成する生成部と、
   を備える画像処理装置。
2. 前記生成部は、前記重複領域の１以上の画素を示す単位領域毎に、前記単位領域に対応する領域に重畳される前記第２の画像の信頼性を示す部分信頼度を算出し、前記重複領域に対応する領域については、前記単位領域に対応する領域毎に、前記複数の第２の画像の画素値を、前記部分信頼度に基づく重みを付けて重畳する、
   請求項１に記載の画像処理装置。
3. 前記部分信頼度は、前記単位領域毎に、前記単位領域を有する前記分割領域に類似する前記第１の画像の前記単位領域に対応する領域と、前記単位領域と、の類似度が高いほど高く算出される第１の部分信頼度を含む、
   請求項２に記載の画像処理装置。
4. 前記部分信頼度は、前記単位領域毎に、前記単位領域に含まれる第１の情報量が多いほど高く算出される第２の部分信頼度を更に含む、
   請求項３に記載の画像処理装置。
5. 前記第１の情報量は、前記単位分割領域または第１の画像の前記単位領域に対応する領域に含まれる画素の値又は並びを定量化できる尺度である、
   請求項４に記載の画像処理装置。
6. 前記生成部は、前記単位領域に対応する前記第２の画像の領域毎に、前記単位領域に対応する前記第２の画像の領域に含まれる第２の情報量が多いほど高く算出される第３の部分信頼度を算出し、前記重複領域に対応する領域については、前記単位領域に対応する領域毎に、前記複数の第２の画像の画素値を、前記第３の部分信頼度に更に基づく重みを付けて重畳する、
   請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２の情報量は、前記単位領域に対応する前記第２の画像の領域に含まれる画素の画素値の和、類似画素の数、または、画像の複雑さを定量化できる分散、などの画像の画素値又は並びを定量化できる尺度である
   請求項６に記載の画像処理装置。
8. 第１の画像と、前記第１の画像よりも解像度の高い第２の画像と、が関連付けられた辞書情報を記憶する記憶部を備える画像処理装置の画像処理方法であって、
   受付部が、入力画像を受け付けるステップと、
   分割部が、前記入力画像を複数の分割領域に分割するステップと、
   選択部が、前記分割領域毎に、前記分割領域と類似する前記第１の画像に関連付けられた前記第２の画像を選択するステップと、
   生成部が、前記分割領域のそれぞれに、前記選択するステップにより選択された前記第２の画像を重畳し、前記重複領域に対応する領域については、複数の前記第２の画像の画素値を、重みを付けて重畳することによって出力画像を生成するステップと、
   を含む画像処理方法。
9. 第１の画像と、前記第１の画像よりも解像度の高い第２の画像と、が関連付けられた辞書情報を記憶する記憶部を備えるコンピュータを、
   入力画像を受け付ける受付部と、
   前記入力画像を、重複領域を有する複数の分割領域に分割する分割部と、
   前記分割領域毎に、前記分割領域と類似する前記第１の画像に関連付けられた前記第２の画像を選択する選択部と、
   前記分割領域のそれぞれに、前記選択部により選択された前記第２の画像を重畳し、前記重複領域に対応する領域については、複数の前記第２の画像の画素値を、重みを付けて重畳することによって出力画像を生成する生成部、
   として機能させるためのプログラム。

Images