JP2015203952A - 超解像装置及びプログラム - Google Patents

Abstract

【課題】単一フレームの原画像から高精細な超解像画像を生成する。【解決手段】超解像装置１は、原画像又は原画像の変換画像を、第１のパラメータ及び第２のパラメータを用いて周波数分解し、第１の周波数分解画像及び第２の周波数分解画像を生成する周波数分解部１１と、第２の周波数分解画像の低周波成分と原画像との間でブロックマッチングを行いレジストレーション情報を生成するレジストレーション部１２と、レジストレーション情報に従って、第２の周波数分解画像の高周波成分を第１の周波数分解画像の高周波成分に割り付けて、原画像の超解像高周波成分を生成する超解像高周波成分生成部１３と、原画像を低周波成分、超解像高周波成分を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部１４と、を備える。【選択図】図１

Description

本発明は、単一フレームの原画像を超解像処理する超解像装置及びプログラムに関する。

単一フレームの原画像を用いて超解像処理する従来技術として、例えば、入力された低解像画像をウェーブレット分解し、高域成分から更なる高域情報をフィルタ処理によって生成して、入力低解像画像と生成された更なる高域情報とをウェーブレット再構成することによって高解像画像を得る技術が知られている（例えば、特許文献１参照）。また、Total variation interpolationなどの非線形フィルタを用いる方法も知られている（例えば、非特許文献１参照）。

また、複数フレームの原画像を用いて超解像処理する従来技術として、複数フレーム間の位置合わせを行い、解像度を高める方法が知られている（例えば、特許文献２参照）。

特開２０１１−４３４５号公報 特開２００７−２５７２８７号公報

S.D.Babacan,R.Molina,and A.K.Katsaggelos, "Total variation super resolution using a variational approach, "Proceedings of IEEE International Conference on Image Processing(ICIP 2008), PP.641-644, 2008.

線形フィルタを用いて超解像処理する従来の方法では、疑似的な超解像高周波成分を生成することは可能であるが、真の高周波成分を生成することは困難であった。また、複数フレーム間の位置合わせを行って超解像処理する方法では、オクルージョンやシーンチェンジのある動画、２４ｆｐｓのデジタルシネマのようにフレームレートの低い動画像、動きの速いオブジェクトを含む画像などのフレーム間相関の低い画像においては、レジストレーションの精度及び確度が大幅に低下してしまうという問題があった。

かかる事情に鑑みてなされた本発明の目的は、単一フレーム内の類似箇所を探索して、その空間高周波成分から原画像の標本化周波数を超える超解像高周波成分を生成することにより、フレーム間の相関に関わらず高精細な超解像画像を生成することが可能な超解像装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る超解像装置は、単一フレームの原画像を超解像処理して超解像画像を生成する超解像装置であって、原画像を第１のパラメータを用いて周波数分解して第１の周波数分解画像を生成するとともに、前記原画像を第２のパラメータを用いて周波数分解して第２の周波数分解画像を生成する周波数分解部と、前記第２の周波数分解画像の低周波成分と、前記原画像との間でブロックマッチングを行い、対応する位置関係を示すレジストレーション情報を生成するレジストレーション部と、前記レジストレーション情報に従って、前記第２の周波数分解画像の高周波成分を前記第１の周波数分解画像の高周波成分に割り付けて、前記原画像の超解像高周波成分を生成する超解像高周波成分生成部と、前記原画像を低周波成分とし、前記超解像高周波成分を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部と、を備えることを特徴とする。

さらに、本発明に係る超解像装置において、前記周波数分解部は、前記原画像をデシメーション無しで周波数分解して前記第１の周波数分解画像を生成するとともに、前記原画像をデシメーション有りで周波数分解して前記第２の周波数分解画像を生成することを特徴とする。

さらに、本発明に係る超解像装置において、前記周波数分解部は、前記原画像に代えて、前記原画像に幾何変換及び／又はコントラスト変換を行った複数の変換画像を、前記第２のパラメータを用いて周波数分解して前記第２の周波数分解画像を複数生成し、前記レジストレーション部は、前記複数の第２の周波数分解画像の低周波成分と、前記原画像との間でブロックマッチングを行い、前記レジストレーション情報を生成し、前記超解像高周波成分生成部は、前記レジストレーション情報に従って、前記複数の第２の周波数分解画像の高周波成分を前記第１の周波数分解画像の高周波成分に割り付けて、前記原画像の超解像高周波成分を生成することを特徴とする。

さらに、本発明に係る超解像装置において、前記周波数分解部は、ウェーブレット分解を行い、ウェーブレットフィルタを規定するパラメータを用いて周波数分解時の周波数特性を可変とすることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。

本発明によれば高精細な超解像画像を生成することができるようになる。また、単一フレームのみを用いて超解像処理を行うため、フレーム間の相関に関わらず精度を維持することができる。

本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。 本発明の第１の実施形態に係る超解像装置における周波数分解部の処理を説明する図である。 本発明の第１の実施形態に係る超解像装置におけるレジストレーション部の処理を説明する図である。 本発明の第１の実施形態に係る超解像装置における超解像高周波成分生成部の処理を説明する図である。 本発明の第１の実施形態に係る超解像装置における周波数再構成部の処理を説明する図である。 本発明の第２の実施形態に係る超解像装置の構成例を示すブロック図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。図１に示す例では、超解像装置１は、周波数分解部１１と、レジストレーション部１２と、超解像高周波成分生成部１３と、周波数再構成部１４とを備える。

周波数分解部１１は、原画像を第１の周波数分解パラメータを用いて周波数分解、例えば、デシメーション無しで１階ウェーブレット分解して第１の周波数分解画像を生成し、第１の周波数分解画像のうち高周波成分を超解像高周波成分生成部１３に出力する。

また、周波数分解部１１は、原画像を第２の周波数分解パラメータを用いて周波数分解、例えば、デシメーション有りで１階ウェーブレット分解して第２の周波数分解画像を生成し、第２の周波数分解画像のうち低周波成分をレジストレーション部１２に出力し、第２の周波数分解画像のうち高周波成分を超解像高周波成分生成部１３に出力する。ここで、第１の周波数分解パラメータ及び第２の周波数分解パラメータは、周波数分解に用いるフィルタ、例えばウェーブレットフィルタを規定するためのパラメータである。周波数分解パラメータの値を変えることにより、周波数分解時の周波数特性を可変とすることができる。

図２は、周波数分解部１１の処理を説明する図である。図２（ａ）は、原画像を第１の周波数分解パラメータを用いて周波数分解する例として、原画像をデシメーション無しで１階周波数分解して第１の周波数分割画像を生成する様子を示している。デシメーション無しであるため、各周波数成分（低周波成分ＬＬ^０，水平高周波成分ＬＨ^０，垂直高周波成分ＨＬ^０，斜め高周波成分ＨＨ^０）の画像サイズは原画像サイズと等しくなる。周波数分解部１１は、ＬＨ^０，ＨＬ^０，ＨＨ^０を高周波成分初期値として超解像高周波成分生成部１３に出力する。

図２（ｂ）は、原画像を第２の周波数分解パラメータを用いて周波数分解する例として、原画像をデシメーション有りで１階周波数分解して第２の周波数分割画像を生成する様子を示している。デシメーション有りの１階分解であるため、各周波数成分（低周波成分ＬＬ^１，水平高周波成分ＬＨ^１，垂直高周波成ＨＬ^１，斜め高周波成分ＨＨ^１）の画像サイズは原画像サイズから縦・横１／２縮小される。周波数分解部１１は、ＬＬ^１を低周波成分としてレジストレーション部１２に出力し、ＬＨ^１，ＨＬ^１，ＨＨ^１を高周波成分として超解像高周波成分生成部１３に出力する。

レジストレーション部１２は、レジストレーションパラメータを用いて、原画像と、周波数分解部１１により生成された第２の周波数分解画像の低周波成分との間で、ブロックマッチングを行い、該低周波成分の各ブロックに対応する位置関係を示すレジストレーション情報を超解像高周波成分生成部１３に出力する。

図３は、レジストレーション部１２の処理を説明する図である。レジストレーション部１２は、第２の周波数分解画像の低周波成分ＬＬ^１を所定のサイズ、例えば、４画素×４画素のブロックに分割して原画像Ｏとの間でブロックマッチングを行い、レジストレーション情報を出力する。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えば式（１）に示すパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。

ここで、探索位置における画素位置をｘとしたとき、ＳＳＤ(ｘ)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(−1)は中心位置から−ｘ方向又は−ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。

レジストレーション部１２は、図３に示すように原画像をデシメーション有りで周波数分解した画像の低周波成分と原画像との間でレジストレーション（位置合わせ）を行うのが好適である。その理由は、同一フレーム内に形状が相似で大きさが異なる画像が存在する場合に、相似する画像間で位置合わせをし、その高周波成分を割り付けることができるからである。なお、局所的にみれば同一フレーム内に相似する画像が存在する可能性は高いため、原画像のサイズに対するブロックマッチングを行う際のブロックサイズを小さくするほど、位置合わせの確度を高くすることができる。

レジストレーションパラメータは、ブロックマッチングを行う際のブロックサイズ及び探索範囲を含む。探索範囲は精度向上のためには原画像全体とするのがよいが、処理速度向上のために探索範囲を対象ブロックの近傍の範囲に限定してもよい。また、レジストレーションパラメータに閾値を含め、ＳＡＤ又はＳＳＤの評価関数値が閥値を超えた場合は、レジストレーション結果として採用しないようにしてもよい。

超解像高周波成分生成部１３は、周波数分解部１１により生成された第１の周波数分解画像の高周波成分及び第２の周波数分解画像の高周波成分、並びにレジストレーション部１２により生成されたレジストレーション情報を入力して、原画像の超解像高周波成分を生成し、周波数再構成部１４に出力する。

図４は、超解像高周波成分生成部１３の処理を説明する図である。超解像高周波成分生成部１３は、レジストレーション情報に従って、第２の周波数分解画像の高周波成分（ＬＨ^１，ＨＬ^１，ＨＨ^１）を、第１の周波数分解画像の高周波成分（ＬＨ^０，ＨＬ^０，ＨＨ^０）の小数画素位置に割り付ける。ここで、第２の周波数分解画像の高周波成分（ＬＨ^１，ＨＬ^１，ＨＨ^１）を割り付ける際には、第２の周波数分解画像の低周波成分ＬＬ^１と同じ位相位置のレジストレーション情報に従うこととする。これは、第２の周波数分解画像の低周波成分（ＬＬ^１）のあるブロックＰが原画像のあるブロックＱに対応（類似）していれば、各高周波成分（ＬＨ^１，ＨＬ^１，ＨＨ^１）のブロックＰと同位相位置のブロックについても同様にブロックＱに対応する可能性が高いためである。つまり、原画像とデシメーション有りで周波数分解した画像の低周波成分が同じであれば、原画像の標本化周波数を超える高周波成分はデシメーション有りで周波数分解した画像の高周波成分とほぼ同じであると推測できるからである。

そして、超解像高周波成分生成部１３は、上記割り付け後、再構成処理、例えばＭＡＰ（Maximum A Posterior）推定に基づく再構成処理を行い、超解像高周波成分（ＬＨ^０’，ＨＬ^０’，ＨＨ^０’）を生成する。ＭＡＰ推定に基づく再構成処理とは、低解像度画像を条件としたときの事後確率を最大にする高解像画像を推定して再構成する処理であり、ここでは第１の周波数分解画像を高解像度画像の初期値とし、高解像度画像から、割り付けられる第２の周波数分解画像を推定し、推定した値と実際の値の誤差を最小にするように高解像度画像を更新する。ＭＡＰ推定に基づく再構成処理の詳細については、例えば、E. Levitan and G. Herman: "A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography", IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。なお、その他の方法として、ＭＬ（Maximum Likelihood）推定や、割り付けられた画素の距離に応じた重み付けにより再構成処理を行い、超解像高周波成分を生成してもよい。

周波数再構成部１４は、周波数再構成パラメータを用いて、原画像及び超解像高周波成分生成部１３により生成された超解像高周波成分を周波数再構成して超解像画像を生成し、外部に出力する。ここで、周波数再構成パラメータは、周波数再構成に用いるフィルタを規定するためのパラメータである。

図５は、周波数再構成部１４の処理を説明する図である。周波数再構成部１４は、原画像Ｏを空間低周波成分とし、超解像高周波成分生成部１３により生成された超解像高周波成分（水平高周波成分ＬＨ^０’，垂直高周波成分ＨＬ^０’，斜め高周波成分ＨＨ^０’）を空間高周波成分として周波数再構成、例えば、ウェーブレット再構成を行い、超解像画像Ｏ_ＳＲを生成する。

上述したように、第１の実施形態の超解像装置１は、周波数分解部１１により、原画像を第１のパラメータ及び第２のパラメータを用いて周波数分解して第１の周波数分解画像及び第２の周波数分解画像を生成し、レジストレーション部１２により、第２の周波数分解画像の低周波成分と原画像との間でブロックマッチングを行い対応する位置関係を示すレジストレーション情報を生成し、超解像高周波成分生成部１３により、レジストレーション情報に従って第２の周波数分解画像の高周波成分を第１の周波数分解画像の高周波成分に割り付けて原画像の超解像高周波成分を生成し、周波数再構成部１４により、原画像を低周波成分、超解像高周波成分を高周波成分として周波数再構成を行い、超解像画像を生成する。

すなわち、本発明では単一フレーム内で、原画像と低周波成分間で類似箇所を探索してレジストレーション（位置合わせ）を行い、高周波成分から原画像の標本化周波数を超える超解像高周波成分を生成する。かかる構成により、超解像装置１は、単一フレームの原画像から高精細な超解像画像を生成することができるようになる。特に、本発明は、原画像がデジタルシネマやスーパーハイビジョンなどの高解像度画像である場合ほど同一フレーム内に類似するオブジェクトが多く存在するため、高い効果を得ることができる。

また、単一フレームのみを用いて超解像処理を行うため、フレーム間の画像の相関に関わらず精度を維持することができる。さらに、本発明によれば、単一フレーム画像のみをメモリに蓄えて処理するため、複数フレームを用いて超解像処理を行う場合と比較して、処理時間を短縮することができる。なお、本発明を複数フレーム超解像と組み合わせて用いることも、もちろん可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図６は、第２の実施形態に係る超解像装置の構成例を示すブロック図である。図６に示す例では、超解像装置２は、周波数分解部１１と、レジストレーション部１２と、超解像高周波成分生成部１３と、周波数再構成部１４と、幾何変換部１５と、コントラスト変換部１６とを備える。第２の実施形態の超解像装置２は、第１の実施形態の超解像装置１と比較して、幾何変換部１５及びコントラスト変換部１６を更に備える点が相違する。その他の構成については第１の実施形態と同様であるため、同一の参照番号を付して適宜説明を省略する。

幾何変換部１５は、幾何変換パラメータを用いて、原画像を幾何変換（例えば、アフィン変換）して複数の幾何変換画像を生成し、コントラスト変換部１６に出力する。式（２）にアフィン変換の式を示す。水平・垂直移動はレジストレーション部１２で行うため、幾何変換部１５では回転、拡大縮小、及びスキューを行う。ここで、幾何変換パラメータは、幾何変換を規定するパラメータであり、式（２）における回転角θ、拡大・縮小率ｓ_ｘ，ｓ_ｙ、スキューδなどを含む。

コントラスト変換部１６は、コントラスト変換パラメータを用いて、幾何変換部１５により生成された幾何変換画像をコントラスト変換して複数の変換画像を生成し、周波数分解部１１に出力する。ここで、コントラスト変換パラメータは、コントラスト変換を規定するパラメータである。コントラスト変換は、例えば入力レベルｘ、出力レベルｙとして傾きｍを用いたｙ＝ｍｘの一次関数による線形変換や、パラメータγを用いたガンマ変換による非線形変換により行う。

図６に示した超解像装置２は幾何変換部１５及びコントラスト変換部１６を備えるが、幾何変換部１５及びコントラスト変換部１６のいずれか一方のみを備える構成としてもよい。また、幾何変換部１５による処理を行った後にコントラスト変換部１６による処理を行ってもよいし、コントラスト変換部１６による処理を行った後に幾何変換部１５による処理を行ってもよい。幾何変換部１５及び／又はコントラスト変換部１６により、複数の変換画像を生成する。生成する変換画像数が多いほど、レジストレーションする際の位置合わせ候補が増えるため、超解像画像の画質を向上させることができる。

周波数分解部１１は、原画像を第１の周波数分解パラメータを用いて周波数分解して第１の周波数分解画像を生成し、第１の周波数分解画像のうち高周波成分を超解像高周波成分生成部１３に出力する。また、周波数分解部１１は、幾何変換部１５及び／又はコントラスト変換部１６により生成された複数の変換画像を第２の周波数分解パラメータを用いて周波数分解して複数の第２の周波数分解画像を生成し、複数の第２の周波数分解画像のうち低周波成分をレジストレーション部１２に出力し、第２の周波数分解画像のうち高周波成分を超解像高周波成分生成部１３に出力する。

レジストレーション部１２は、複数の第２の周波数分解画像の低周波成分と、原画像との間でブロックマッチングを行い、レジストレーション情報を生成する。

超解像高周波成分生成部１３は、周波数分解部１１により生成された第１の周波数分解画像の高周波成分及び複数の第２の周波数分解画像の高周波成分、並びにレジストレーション部１２により生成されたレジストレーション情報を入力して、原画像の超解像高周波成分を生成し、周波数再構成部１４に出力する。

周波数再構成部１４は、周波数再構成パラメータを用いて、原画像及び超解像高周波成分生成部１３により生成された超解像高周波成分を周波数再構成して超解像画像を生成し、外部に出力する。

上述したように、第２の実施形態の超解像装置２は、第１の実施形態の超解像装置１に加え、幾何変換部１５及び／又はコントラスト変換部１６を更に備える。そして、幾何変換パラメータ及び／又はコントラスト変換パラメータを調整して複数の変換画像を生成し、該複数の変換画像を周波数分解部して複数の第２の周波数分解画像を生成する。また、第１の実施形態と同様に、原画像を周波数分解して１つの第１の周波数分解画像を生成する。第２の実施形態では、レジストレーションする際の位置合わせ候補が増えるので、多くのデータを第１の周波数分解画像に割り付けることができる。そのため、ブロックマッチングの精度（レジストレーション精度）を高めることができ、超解像装置２は超解像装置１よりも更に高画質の超解像画像を生成することができる。

なお、上述した超解像装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置１，２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１，２ 超解像装置
１１ 周波数分解部
１２ レジストレーション部
１３ 超解像高周波成分生成部
１４ 周波数再構成部
１５ 幾何変換部
１６ コントラスト変換部

Claims (5)

1. 単一フレームの原画像を超解像処理して超解像画像を生成する超解像装置であって、
   原画像を第１のパラメータを用いて周波数分解して第１の周波数分解画像を生成するとともに、前記原画像を第２のパラメータを用いて周波数分解して第２の周波数分解画像を生成する周波数分解部と、
   前記第２の周波数分解画像の低周波成分と、前記原画像との間でブロックマッチングを行い、対応する位置関係を示すレジストレーション情報を生成するレジストレーション部と、
   前記レジストレーション情報に従って、前記第２の周波数分解画像の高周波成分を前記第１の周波数分解画像の高周波成分に割り付けて、前記原画像の超解像高周波成分を生成する超解像高周波成分生成部と、
   前記原画像を低周波成分とし、前記超解像高周波成分を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部と、
   を備えることを特徴とする超解像装置。
2. 前記周波数分解部は、前記原画像をデシメーション無しで周波数分解して前記第１の周波数分解画像を生成するとともに、前記原画像をデシメーション有りで周波数分解して前記第２の周波数分解画像を生成することを特徴とする、請求項１に記載の超解像装置。
3. 前記周波数分解部は、前記原画像に代えて、前記原画像に幾何変換及び／又はコントラスト変換を行った複数の変換画像を、前記第２のパラメータを用いて周波数分解して複数の第２の周波数分解画像を生成し、
   前記レジストレーション部は、前記複数の第２の周波数分解画像の低周波成分と、前記原画像との間でブロックマッチングを行い、前記レジストレーション情報を生成し、
   前記超解像高周波成分生成部は、前記レジストレーション情報に従って、前記複数の第２の周波数分解画像の高周波成分を前記第１の周波数分解画像の高周波成分に割り付けて、前記原画像の超解像高周波成分を生成することを特徴とする、請求項１又は２に記載の超解像装置。
4. 前記周波数分解部は、ウェーブレット分解を行い、ウェーブレットフィルタを規定するパラメータを用いて周波数分解時の周波数特性を可変とすることを特徴とする、請求項１から３のいずれか一項に記載の超解像装置。
5. コンピュータを、請求項１から４のいずれか一項に記載の超解像装置として機能させるためのプログラム。

Images