JP2017220200A - 超解像装置及びプログラム - Google Patents

Abstract

【課題】フレーム間の相関の低い領域や静止領域を含むフレーム画像であっても、高速且つ高精細な超解像画像を生成する。【解決手段】超解像装置１は、被超解像画像に対して複数階層の周波数分解処理を行い低周波成分画像と高周波成分画像とに分解する周波数分解部１１と、被超解像画像の分割ブロックごとに低周波成分画像内で最も類似度が高い類似ブロックの位置を示す位置合わせ情報を生成する階層型位置合わせ部１２と、位置合わせ情報に従って類似ブロックと同じ空間位相位置の高周波成分画像内のブロックを被超解像画像の高周波成分に割り付けて超解像高周波成分画像を生成する超解像高周波成分画像生成部１３と、被超解像画像を低周波成分、超解像高周波成分画像を高周波成分として周波数再構成を行って超解像画像を生成する周波数再構成部１４とを備え、階層型位置合わせ部１２は階層数の大きい低周波成分画像から順に類似ブロックを決定する。【選択図】図１

Description

本発明は、被超解像画像を超解像処理する超解像装置及びプログラムに関する。

従来、複数フレームの同一の動オブジェクト間で位置合わせを行うことにより、画素密度を高めてレジストレーション超解像を行う方法が知られている。この位置合わせは小数画素精度で行い、標本位置のずれた同一オブジェクトの画素情報から画素密度を高めることができる。

例えば、特許文献１には、ｎ枚の画像フレームを合成することにより、当該入力画像フレーム上の被写体が移動する方向に応じて画像フレームを構成する画素数を増加させる画像高解像度化方法が開示されている。また、特許文献２には、動画像データ内に記録されているフレーム画像間の動き情報を利用して、連続する２フレーム以上の画像から動きベクトルを算出し、累積加算及び方向変換による演算を行って、複雑な演算なく高精度な位置合わせを可能とする画像処理方法が開示されている。

特開２００８−１０９３７５号公報

田中正行、奥富正敏、"複数画像からの「超」解像技術"、第１５回画像センシングシンポジウム（ＳＳＩＩ２００９）公演論文集（招待講演）、pp.OS4-02-1-23, Jan.2009. Y Matsuo and S. Sakaida, "A Super-resolution Method Using Spatio-Temporal Registration of Multi-Scale Components in Consideration of Color-Sampling Patterns of UHDTV Cameras", Proceedings of IEEE ISM, pp. 311-314, Dec. 2015

従来技術では、位置合わせ精度が高い場合は、高画質な超解像画像が得られる。しかし、フレームレートが低い、オブジェクトが複雑（不規則）な動きをする、オクルージョンが発生する場合などは位置合わせ精度が低くなりやすい。さらに、静止領域では原理上、位置合わせにより画素密度向上を向上させることができない。

そこで、単一の被超解像画像を周波数分解して、被超解像画像とその低周波成分画像との間で相似オブジェクトの位置合わせを行い、位置合わせされた箇所では被超解像画像とその低周波成分画像が類似しているため、被超解像画像のナイキスト周波数を超える超解像高周波成分は被超解像画像の高周波成分に類似しているとして該高周波成分を割り付けて超解像画像を生成する手法が考えられる。ただし、この手法では位置合わせに膨大な時間を要する。

かかる事情に鑑みてなされた本発明の目的は、フレーム間の相関の低い領域や静止領域を含むフレーム画像であっても、高速且つ高精細な超解像画像を生成することが可能な超解像装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る超解像装置は、被超解像画像を超解像処理して超解像画像を生成する超解像装置であって、被超解像画像に対して複数階層の周波数分解処理を行い、階層ごとに低周波成分画像と高周波成分画像とに分解する周波数分解部と、 前記被超解像画像を分割した分割ブロックごとに、前記低周波成分画像内で前記分割ブロックと最も類似度が高い類似ブロックを決定し、該類似ブロックの位置を示す位置合わせ情報を生成する階層型位置合わせ部と、前記位置合わせ情報に従って、前記類似ブロックと同じ空間位相位置の前記高周波成分画像内のブロックを前記被超解像画像の標本化周波数を超える高周波成分に割り付けて、前記被超解像画像の高周波成分を推定した超解像高周波成分画像を生成する超解像高周波成分画像生成部と、前記被超解像画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部と、を備え、前記階層型位置合わせ部は、階層数の大きい低周波成分画像から順に前記類似ブロックを決定することを特徴とする。

さらに、本発明に係る超解像装置において、前記超解像高周波成分画像生成部は、前記類似ブロックと同じ空間位相位置の前記高周波成分画像内のブロックのパワーを前記被超解像画像のパワーに基づいて補正した後に、前記被超解像画像の標本化周波数を超える高周波成分に割り付けて、前記超解像高周波成分画像を生成することを特徴とする。

さらに、本発明に係る超解像装置において、前記階層型位置合わせ部は、類似ブロックを決定する際に、最上位階層の低周波成分画像については全範囲を探索範囲とし、最上位階層以外の階層の低周波成分画像については階層数が１つ大きい類似ブロックの位置を基準に探索範囲を決定することを特徴とする。

さらに、本発明に係る超解像装置において、前記周波数分解部は、前記被超解像画像に対してデシメーションを伴う複数階層のウェーブレット分解処理を行うことを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。

本発明によれば、同一フレーム内の相似オブジェクト間や、複数フレーム間の相似オブジェクト間でもレジストレーション超解像を行うことができ、フレーム間の相関の低い領域や静止領域を含むフレーム画像であっても、高速且つ高精細な超解像画質を得ることができるようになる。

本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。 本発明の第１の実施形態に係る超解像装置の周波数分解部におけるウェーブレット変換処理の一例を示す図である。 本発明の第１の実施形態に係る超解像装置の位置合わせ部における位置合わせ処理の一例を示す図である。 本発明の第１の実施形態に係る超解像装置の超解像高周波成分画像生成部における割り付け処理の一例を示す図である。 本発明の第１の実施形態に係る超解像装置の周波数再構成部における周波数再構成処理の一例を示す図である。 本発明の第２の実施形態に係る超解像装置における第１の超解像高周波成分画像生成部の構成例を示すブロック図である。 本発明の第２の実施形態に係る超解像装置における第１の超解像高周波成分画像生成部のゲイン補正処理の一例を示す図である。 本発明の第２の実施形態に係る超解像装置における第２の超解像高周波成分画像生成部の構成例を示すブロック図である。 本発明の第２の実施形態に係る超解像装置における第２の超解像高周波成分画像生成部のゲイン補正処理の一例を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。図１に示す例では、超解像装置１は、周波数分解部１１と、階層型位置合わせ部１２と、超解像高周波成分画像生成部１３と、周波数再構成部１４とを備える。超解像装置１は、被超解像画像（原画像）Ｉを超解像処理して超解像画像Ｉ^ＳＲを生成する。

周波数分解部１１は、被超解像画像Ｉと、周波数分解パラメータとを入力する。周波数分解パラメータは、周波数分解処理に用いるフィルタを指定するパラメータと、階層数（分解階数）ｎを指定するパラメータとを含む。そして、周波数分解部１１は、周波数分解パラメータに基づいて被超解像画像Ｉに対して複数階層の周波数分解処理を行い、階層ごとに低周波成分画像と高周波成分画像とに分解する。そして、生成した各階層の低周波成分画像（ＬＬ^ｎ）を階層型位置合わせ部１２に出力し、各分解階数の高周波成分画像（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）を超解像高周波成分画像生成部１３に出力する。

周波数分解処理は、例えばCohen-Daubechies-Feauveau（ＣＤＦ）９／７ウェーブレットを用いたウェーブレット変換により行う。周波数分解部１１は、被超解像画像の参照画像の候補を増やすために、複数のフレーム画像を特性の異なる複数のフィルタを用いて周波数分解を行ってもよい。また、周波数分解部１１は入力映像を拡大した後に、複数階の周波数分解を行ってもよい。拡大処理は、例えばLanczos３フィルタなどの線形拡大フィルタを用いて行うことができる。被超解像画像を水平方向及び垂直方向に各ｍ倍に拡大処理してからｎ階周波数分解する際に、倍率ｍ及び階層数ｎは任意の値とすることができる。

図２は、周波数分解部１１におけるウェーブレット変換処理の一例を示す図である。図２に示す例では、周波数分解部１１は被超解像画像Ｉに対してデシメーションを伴う３階（ｎ＝３）ウェーブレット変換処理を行い、ウェーブレット分解画像（１階ウェーブレット分解画像Ｗ１、２階ウェーブレット分解画像Ｗ２、及び３階ウェーブレット分解画像Ｗ３）を生成する。デシメーションを伴う複数階層のウェーブレット分解処理を行うことにより、処理を高速化することができる。

階層型位置合わせ部１２は、被超解像画像Ｉと、周波数分解部１１により生成された各階層の低周波成分画像ＬＬ^ｎとを入力する。階層型位置合わせ部１２は、被超解像画像Ｉを所定のサイズ（ａ×ａ画素）の分割ブロックＢ_ｉ，ｊに分割し、分割ブロックＢ_ｉ，ｊごとに低周波成分画像内で分割ブロックＢ_ｉ，ｊと最も類似度（相関性）が高い類似ブロックＭ_ｉ，ｊをブロックマッチングにより決定する。そして、類似ブロックＭ_ｉ，ｊの位置を示す位置合わせ情報を生成し、超解像高周波成分画像生成部１３に出力する。ここで、添え字のｉは、水平方向のインデックスであり、ｊは垂直方向のインデックスである。

階層型位置合わせ部１２は、階層数ｎの大きい低周波成分画像から順に類似ブロックＭ_ｉ，ｊを決定する。例えばｎ＝３の場合、ｎ＝３の低周波成分画像内の類似ブロックＭ_ｉ，ｊ ^３を決定した後に、ｎ＝２の低周波成分画像内の類似ブロックＭ_ｉ，ｊ ^２を決定し、最後にｎ＝１の低周波成分画像内の類似ブロックＭ_ｉ，ｊ ^１を決定する。このようにすることで、類似ブロックＭ_ｉ，ｊ ^３の位置を利用して類似ブロックＭ_ｉ，ｊ ^２の位置を推定し、類似ブロックＭ_ｉ，ｊ ^２の位置を利用して類似ブロックＭ_ｉ，ｊ ^１の位置を推定することができるため、位置合わせに要する時間を短縮することができる。

例えば、階層型位置合わせ部１２は、類似ブロックＭ_ｉ，ｊを決定する際に、最上位階層の低周波成分画像については全範囲を探索範囲とし、最上位階層以外の階層の低周波成分画像については階層数が１つ大きい類似ブロックの位置を基準に探索範囲を決定する。

図３は、階層型位置合わせ部１２における階層型の位置合わせ処理の一例を示す図である。この例では、階層数ｎ＝３とする。階層型位置合わせ部１２は、被超解像画像Ｉを基準フレーム画像、低周波成分画像ＬＬ^３を参照フレーム画像として、分割ブロックＢ_１，１について低周波成分画像ＬＬ^３の全体を探索範囲とするブロックマッチングを行い、低周波成分画像ＬＬ^３内で分割ブロックＢ_１，１と最も類似度が高い類似ブロックＭ_１，１ ^３を決定する。

次に、階層型位置合わせ部１２は、被超解像画像Ｉを基準フレーム画像、低周波成分画像ＬＬ^２を参照フレーム画像として、分割ブロックＢ_１，１についてブロックマッチングを行い、低周波成分画像ＬＬ^２内で分割ブロックＢ_１，１と最も類似度が高い類似ブロックＭ_１，１ ^２を決定する。このとき、探索範囲は、例えば類似ブロックＭ_１，１ ^３の中心位置に対応する座標を水平方向及び垂直方向ともに２倍した位置を中心とする所定のサイズ（ｂ×ｂ画素、ｂ＞ａ）の範囲とする。

次に、階層型位置合わせ部１２は、被超解像画像Ｉを基準フレーム画像、低周波成分画像ＬＬ^１を参照フレーム画像として、分割ブロックＢ_１，１についてブロックマッチングを行い、低周波成分画像ＬＬ^１内で分割ブロックＢ_１，１と最も類似度が高い類似ブロックＭ_１，１ ^１を決定する。このとき、探索範囲は、例えば類似ブロックＭ_１，１ ^２の中心位置に対応する座標を水平方向及び垂直方向ともに２倍した位置を中心とする所定のサイズ（ｂ×ｂ画素、ｂ＞ａ）の範囲とする。以上の処理を｛Ｂ_ｉ，ｊ｜∀ｉ，ｊ｝について行い、類似ブロックＭ_ｉ，ｊ ^ｎの位置を示す位置合わせ情報を超解像高周波成分画像生成部１３に出力する。

階層型位置合わせ部１２が、図３に示すように被超解像画像Ｉとはサイズが異なる低周波成分画像とも位置合わせを行う理由は、同一フレーム内に形状が相似で大きさが異なる画像が存在する場合に、相似する画像間で位置合わせをし、その高周波成分を割り付けることができるからである。

超解像高周波成分画像生成部１３は、周波数分解部１１により生成された周波数分解画像の高周波成分（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）と、階層型位置合わせ部１２により生成された位置合わせ情報とを入力する。超解像高周波成分画像生成部１３は、初めに被超解像画像Ｉと同じサイズの０行列を超解像高周波成分（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）として用意する。そして、位置合わせ情報に従って、類似ブロックＭ_ｉ，ｊ ^ｎと同じ空間位相位置の高周波成分画像（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）内のブロックを、被超解像画像Ｉの標本化周波数を超える未知の高周波成分に割り付けて、被超解像画像Ｉの高周波成分を推定した超解像高周波成分画像を生成し、周波数再構成部１４に出力する。

図４は、超解像高周波成分画像生成部１３における割り付け処理の一例を示す図である。ここの例では、類似ブロックＭ_１，１ ^１に対する割り付けを行う例を示している。超解像高周波成分画像生成部１３は、位置合わせ情報に従って、１階ウェーブレット分解画像Ｗ１の高周波成分画像（ＬＨ^１，ＨＬ^１，ＨＨ^１）を、被超解像画像Ｉの標本化周波数を超える未知の超解像高周波成分（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）の小数画素位置に割り付ける。ここで、割り付ける際には、同じ位相位置の位置合わせ情報に従うこととする。これは、被超解像画像Ｉの分割ブロックＢ_ｉ，ｊが低周波成分画像ＬＬ^ｎの類似ブロックＭ_ｉ，ｊに類似していれば、分割ブロックＢ_ｉ，ｊと同位相位置の超解像高周波画像のブロックについても同様に、類似ブロックＭ_ｉ，ｊと同位相位置の、高周波成分画像（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）内のブロックにそれぞれ類似する可能性が高いためである。

超解像高周波成分画像生成部１３は、上記割り付け後、超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）に対して、割り付けられた画素の距離に応じた重み付け、ＭＬ（Maximum Likelihood）推定、又はＭＡＰ（Maximum A Posterior）推定などにより、再構成処理を行うようにしてもよい。ＭＡＰ推定は、低解像度画像を条件としたときの事後確率を最大にする高解像画像を推定して再構成する手法である。ＭＡＰ推定の詳細については、例えば、E. Levitan and G. Herman: "A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography", IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。

周波数再構成部１４は、被超解像画像Ｉと、超解像高周波成分画像生成部１３により生成された超解像高周波成分画像と、周波数再構成パラメータとを入力する。周波数再構成パラメータは、周波数再構成処理に用いるフィルタを指示するパラメータを含む。周波数再構成パラメータは、例えば周波数分解部１１で用いたフィルタと同一のフィルタを指示する。周波数再構成部１４は、被超解像画像Ｉを低周波成分とし、超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）を高周波成分として周波数再構成を行って超解像画像Ｉ^ＳＲを生成し、外部に出力する。

図５は、周波数再構成部１４における周波数再構成処理の一例を示す図である。この例では、１階ウェーブレット再構成を行い、超解像画像Ｉ^ＳＲを生成する。

上述したように、本実施形態に係る超解像装置１は、周波数分解部１１により、被超解像画像Ｉに対して複数階層の周波数分解処理を行い、階層型位置合わせ部１２により、被超解像画像Ｉと低周波成分画像ＬＬ^ｎとの間で階層型の位置合わせを行って類似ブロックＭ_ｉ，ｊ ^ｎの位置を示す位置合わせ情報を生成する。次に、超解像高周波成分画像生成部１３により、位置合わせ情報に従って、類似ブロックＭ_ｉ，ｊ ^ｎと同じ空間位相位置の高周波成分画像（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）内のブロックを、被超解像画像Ｉの標本化周波数を超える高周波成分に割り付けて超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）を生成する。そして、周波数再構成部１４により、被超解像画像Ｉを低周波成分とし、超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）を高周波成分として周波数再構成を行い、超解像画像Ｉ^ＳＲを生成する。

なお、上述した超解像装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

このようにして、超解像装置１及びそのプログラムは、位置合わせを被超解像画像に近接する他のフレームの周波数分解画像との間でも行うことにより、同一フレーム内の相似オブジェクト間、及び複数フレーム間の相似オブジェクト間でレジストレーション超解像を行うことができ、静止領域や位置合わせ精度が低い領域でも高い超解像画質が得ることができる。また、階層型位置合わせ部１２により階層型の位置合わせを行うため、位置合わせに要する時間を短縮し、処理を高速化することができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る超解像装置について説明する。第２の実施形態の超解像装置２は第１の実施形態の超解像装置１と比較して、超解像高周波成分画像生成部１３の処理が相違する。その他の構成については第１の実施形態と同一であるため、説明を省略する。

第２の実施形態に係る超解像装置２の超解像高周波成分画像生成部１３は、上述した類似ブロックＭ_ｉ，ｊ ^ｎ（被超解像画像Ｉ内のブロックＢ_ｉ，ｊに類似する低周波成分画像ＬＬ^ｎ内のブロック）と同じ空間位相位置の高周波成分画像内のブロックのパワーを被超解像画像Ｉのパワーに基づいて補正した後に、被超解像画像Ｉの標本化周波数を超える高周波成分に割り付けて、超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）を生成する。このため、超解像画像Ｉ^ＳＲの高周波成分の過強調を防止することができる。以下、超解像高周波成分画像生成部１３の形態として２つの例（１３−１及び１３−２）を説明する。

図６は、超解像高周波成分画像生成部１３−１の構成例を示す図である。超解像高周波成分画像生成部１３は、ゲイン補正部１３１−１と、画像割付部１３２−１とを備える。

ゲイン補正部１３１−１は、周波数分解部１１により生成された高周波成分画像（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）のパワーのＲＭＳ（二乗平均平方根）を算出する。また、高周波成分画像（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）に基づいて、超解像画像Ｉ^ＳＲの高周波成分画像である超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）のパワーのＲＭＳの推定値である推定ＲＭＳを算出する。そして、高周波成分画像（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）のパワーのＲＭＳが推定ＲＭＳと等しくなるようにゲイン補正を行ってゲイン補正高周波成分画像（ｃＬＨ^ｎ，ｃＨＬ^ｎ，ｃＨＨ^ｎ）を生成し、画像割付部１３２−１に出力する。

図７は、ゲイン補正部１３１−１におけるゲイン補正処理の一例を示す図である。この例では、階層数ｎ＝３とする。図７（ａ）は被超解像画像Ｉのパワースペクトルであり、図７（ｂ）は、超解像画像Ｉ^ＳＲの推定したパワースペクトルである。超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）のパワースペクトルの形状は、被超解像画像Ｉの帯域のパワースペクトルがなだらかに連続するものと仮定する。このため、超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）のパワースペクトルは、｛ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ｜ｎ∈１，２，３｝のパワースペクトルを関数近似で外挿した値とすることにより、超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）のパワーのＲＭＳを推定することができる。

画像割付部１３２−１は、超解像装置１と同様に、被超解像画像Ｉと同じサイズの０行列を超解像高周波成分（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）として用意し、位置合わせ情報に従って、低周波成分画像ＬＬ^ｎ内の類似ブロックＭ_ｉ，ｊ ^ｎと同じ空間位相位置のゲイン補正高周波成分画像（ｃＬＨ^ｎ，ｃＨＬ^ｎ，ｃＨＨ^ｎ）内のブロックを、被超解像画像Ｉの標本化周波数を超える未知の高周波成分に割り付けて、被超解像画像Ｉの高周波成分を推定した超解像高周波成分画像を生成し、周波数再構成部１４に出力する。

図８は、超解像高周波成分画像生成部１３−２の構成例を示す図である。超解像高周波成分画像生成部１３−２は、ゲイン補正部１３１−２と、画像割付部１３２−２とを備える。

ゲイン補正部１３１−２は、被超解像画像Ｉ内のブロックＢ_ｉ，ｊと、ブロックＢ_ｉ，ｊに類似する低周波成分画像ＬＬ^ｎ内の類似ブロックＭ_ｉ，ｊ ^ｎと、類似ブロックＭ_ｉ，ｊ ^ｎと同じ空間位相位置の高周波成分画像（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）内のブロックＡ_ｉ，ｊ ^ｎとから、ブロックＡ_ｉ，ｊ ^ｎを補正したブロックｃＡ_ｉ，ｊ ^ｎを生成し、画像割付部１３２−２に出力する。

図９は、ゲイン補正部１３１−２におけるゲイン補正処理の一例を示す図である。ブロックＢ_ｉ，ｊ、類似ブロックＭ_ｉ，ｊ ^ｎ、及びブロックＡ_ｉ，ｊ ^ｎのパワーをそれぞれＰ（Ｂ_ｉ，ｊ）、Ｐ（Ｍ_ｉ，ｊ ^ｎ）、Ｐ（Ａ_ｉ，ｊ ^ｎ）とすると、以下の式（１）によりゲイン補正係数Ｃを求める。そしてブロックＡ_ｉ，ｊ ^ｎの各画素に補正係数Ｃを乗じたブロックをブロックｃＡ_ｉ，ｊ ^ｎとする。このように、ゲイン補正部１３１−２は、簡易な演算により、ブロックＡ_ｉ，ｊ ^ｎごとにゲインを補正することができる。

画像割付部１３２−２は、被超解像画像Ｉと同じサイズの０行列を超解像高周波成分（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）として用意し、位置合わせ情報に従って、ブロックｃＡ_ｉ，ｊ ^ｎを、被超解像画像Ｉの標本化周波数を超える未知の高周波成分に割り付けて、被超解像画像Ｉの高周波成分を推定した超解像高周波成分画像を生成し、周波数再構成部１４に出力する。なお、便宜上ゲイン補正部１３１−２と画像割付部１３２−２とに分けて記載したが、これらの処理は一つにまとめて行ってもよい。

このように、本実施形態に係る超解像装置２は、周波数分解部１１により、被超解像画像Ｉに対して複数階層の周波数分解処理を行い、階層型位置合わせ部１２により、被超解像画像Ｉと低周波成分画像ＬＬ^ｎとの間で階層型の位置合わせを行って類似ブロックＭ_ｉ，ｊ ^ｎの位置を示す位置合わせ情報を生成する。次に、超解像高周波成分画像生成部１３により、類似ブロックＭ_ｉ，ｊ ^ｎと同じ空間位相位置の高周波成分画像（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）内のブロックのパワーを、被超解像画像Ｉのパワーに基づいて補正した後に、位置合わせ情報に従って、被超解像画像Ｉの標本化周波数を超える高周波成分に割り付けて超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）を生成する。そして、周波数再構成部１４により、被超解像画像Ｉを低周波成分とし、超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）を高周波成分として周波数再構成を行い、超解像画像Ｉ^ＳＲを生成する。

なお、上述した超解像装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

超解像装置２及びそのプログラムは、高周波成分画像（ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ）及び超解像高周波成分画像（ＬＨ^ＳＲ，ＨＬ^ＳＲ，ＨＨ^ＳＲ）のスペクトルパワー差を考慮してゲイン補正を行う。そのため、超解像画像Ｉ^ＳＲの高周波成分が過強調されることなく、更に超解像画像Ｉ^ＳＲの画質を向上させることができるようになる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ 超解像装置
１１ 周波数分解部
１２ 階層型位置合わせ部
１３，１３−１，１３−２ 超解像高周波成分画像生成部
１３１−１，１３１−２ ゲイン補正部
１３２−１，１３２−２ 画像割付部
１４ 周波数再構成部

Claims (5)

1. 被超解像画像を超解像処理して超解像画像を生成する超解像装置であって、
   被超解像画像に対して複数階層の周波数分解処理を行い、階層ごとに低周波成分画像と高周波成分画像とに分解する周波数分解部と、
   前記被超解像画像を分割した分割ブロックごとに、前記低周波成分画像内で前記分割ブロックと最も類似度が高い類似ブロックを決定し、該類似ブロックの位置を示す位置合わせ情報を生成する階層型位置合わせ部と、
   前記位置合わせ情報に従って、前記類似ブロックと同じ空間位相位置の前記高周波成分画像内のブロックを前記被超解像画像の標本化周波数を超える高周波成分に割り付けて、前記被超解像画像の高周波成分を推定した超解像高周波成分画像を生成する超解像高周波成分画像生成部と、
   前記被超解像画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部と、を備え、
   前記階層型位置合わせ部は、階層数の大きい低周波成分画像から順に前記類似ブロックを決定することを特徴とする超解像装置。
2. 前記超解像高周波成分画像生成部は、前記類似ブロックと同じ空間位相位置の前記高周波成分画像内のブロックのパワーを前記被超解像画像のパワーに基づいて補正した後に、前記被超解像画像の標本化周波数を超える高周波成分に割り付けて、前記超解像高周波成分画像を生成することを特徴とする、請求項１に記載の超解像装置。
3. 前記階層型位置合わせ部は、類似ブロックを決定する際に、最上位階層の低周波成分画像については全範囲を探索範囲とし、最上位階層以外の階層の低周波成分画像については階層数が１つ大きい類似ブロックの位置を基準に探索範囲を決定することを特徴とする、請求項１又は２に記載の超解像装置。
4. 前記周波数分解部は、前記被超解像画像に対してデシメーションを伴う複数階層のウェーブレット分解処理を行うことを特徴とする、請求項１から３のいずれか一項に記載の超解像装置。
5. コンピュータを、請求項１から４のいずれか一項に記載の超解像装置として機能させるためのプログラム。
   

Images