JP2019021125A

JP2019021125A - 超解像装置及びプログラム

Info

Publication number: JP2019021125A
Application number: JP2017140163A
Authority: JP
Inventors: 康孝松尾; Yasutaka Matsuo; 境田　慎一; Shinichi Sakaida; 慎一境田
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2017-07-19
Filing date: 2017-07-19
Publication date: 2019-02-07
Anticipated expiration: 2037-07-19
Also published as: JP6955386B2

Abstract

【課題】高確度かつ高精度にｎオクターブの超解像拡大を行う。【解決手段】調超解像装置１は、原画像に対してｎ階周波数分解処理を行って周波数分解画像を生成する周波数分解部１１と、原画像内の参照元ブロックと、前記周波数分解部により生成されたｎ階低周波成分画像において前記参照元ブロックに類似する参照先ブロックとの位置関係を示す位置合わせ情報を生成する位置合わせ部１２と、０からｎ−１までの整数をｋとし、位置合わせ情報に従って、周波数分解部１１により生成された（ｎ−ｋ）階高周波成分画像を（ｋ＋１）オクターブ超解像高周波成分に割り付けて（ｋ＋１）オクターブ超解像高周波成分画像を生成するオクターブ割付部１３と、原画像を低周波成分とし、（ｋ＋１）オクターブ超解像高周波成分画像を高周波成分としてｎ階周波数再構成処理して超解像画像を生成する周波数再構成部１４と、を備える。【選択図】図１

Description

本発明は、入力画像の解像度を２オクターブ以上超解像拡大する超解像装置及びプログラムに関する。

従来、画像を空間方向に空間超解像処理して元の画像よりも解像度の高い画像を生成する空間超解像技術が知られている。空間超解像技術としては、学習型と再構成型が知られている（例えば、非特許文献１参照）。

学習型は、低周波成分と高周波成分の組をデータベースとして保持し、原画像と低周波成分のマッチングにより高周波成分を超解像成分として設定する方式である。ただし、自然画像などを高画質に超解像するためには、膨大なデータベースが必要という課題がある。さらに、繰り返し演算が必要であるため、リアルタイム処理が困難となる。

一方、再構成型は、線形・非線形フィルタ処理、又は複数フレーム間のレジストレーションにより超解像成分を生成する方式である。ここで、線形・非線形フィルタ処理では、確度や精度の高い超解像高周波成分を生成することが困難であった。そこで、例えば、複数の低解像度画像の位置合わせによるレジストレーション超解像において、物体に遮蔽が生じるなどの場合でもロバストに超解像処理を行えるようにする方法が提案されている（例えば、非特許文献２参照）。

奥富正敏，田中正行，竹島秀則，松本信幸，"画像超解像処理技術の最新動向"，電子情報通信学会誌，Vol. 93，No. 8，pp. 693-698，2010. 田中正行，矢口陽一，吉川英治，奥富正敏，"位置ずれ量を考慮した画素選択に基づくロバスト超解像処理"，電子情報通信学会論文誌D，Vol. J92-D，No. 5，pp. 650-660，May 2009.

しかし、従来の複数フレーム間レジストレーション処理では、レジストレーションの確度や精度が高い場合は、確度や精度の高い超解像高周波成分が生成できるが、２オクターブ以上も超解像拡大する場合には、相当離れた時間位置の画像フレームからもレジストレーションを行う必要があるため、確度や精度の高い超解像高周波成分の生成が困難であるという課題がある。

かかる事情に鑑みてなされた本発明の目的は、高確度かつ高精度に２オクターブ以上の超解像拡大を行うことが可能な超解像装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る超解像装置は、原画像をｎオクターブ超解像拡大した超解像画像を生成する超解像装置であって、原画像に対してｎ階周波数分解処理を行って周波数分解画像を生成する周波数分解部と、前記原画像内の参照元ブロックと、前記周波数分解部により生成されたｎ階低周波成分画像において前記参照元ブロックに類似する参照先ブロックとの位置関係を示す位置合わせ情報を生成する位置合わせ部と、０からｎ−１までの整数をｋとし、前記位置合わせ情報に従って、前記周波数分解部により生成された（ｎ−ｋ）階高周波成分画像を（ｋ＋１）オクターブ超解像高周波成分に割り付けて（ｋ＋１）オクターブ超解像高周波成分画像を生成するオクターブ割付部と、前記原画像を低周波成分とし、前記（ｋ＋１）オクターブ超解像高周波成分画像を高周波成分としてｎ階周波数再構成処理して超解像画像を生成する周波数再構成部と、を備えることを特徴とする。

さらに、本発明に係る超解像装置において、前記参照元ブロックについてサイズを水平・垂直方向に各２倍にした第１ブロックと、（ｎ−１）階低周波画像ＬＬ^ｎ−１において前記参照先ブロックと同じ位相位置の第２ブロックとについて類似度を計算し、該類似度が閾値を超える場合にのみ、前記位置合わせ情報を前記オクターブ割付部に出力する類似度判定部を更に備えること特徴とする。

さらに、本発明に係る超解像装置において、前記参照元ブロックについてサイズを水平・垂直方向に各２倍にした第１ブロックと、（ｎ−１）階低周波画像ＬＬ^ｎ−１において前記参照先ブロックと同じ位相位置の第２ブロック及び該第２ブロックの位相をずらしたブロックからなる第２ブロック群とについて類似度を計算し、該第２ブロック群のうち前記第１ブロックとの類似度が最大となるブロックの位置を示す位相情報を位置合わせ情報に含める位相調整部を更に備えること特徴とする。

さらに、本発明に係る超解像装置において、前記位相調整部は、前記類似度が最大となるブロックの類似度が閾値を超える場合にのみ、前記位置合わせ情報を前記オクターブ割付部に出力すること特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。

本発明によれば、高確度かつ高精度に２オクターブ以上の超解像拡大を行うことが可能となる。

本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。本発明の第１の実施形態に係る超解像装置における位置合わせ部の処理の概要を示す図である。本発明の第１の実施形態に係る超解像装置におけるオクターブ割付部の処理の概要を示す図である。本発明の第２の実施形態に係る超解像装置の構成例を示すブロック図である。本発明の第２の実施形態に係る超解像装置の類似度判定部の処理の概要を示す図である。本発明の第３の実施形態に係る超解像装置の構成例を示すブロック図である。本発明の第３の実施形態に係る超解像装置の位相調整部の処理の概要を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１に、本発明の第１の実施形態に係る超解像装置の構成例を示す。図１に示す超解像装置１は、周波数分解部１１と、位置合わせ部１２と、オクターブ割付部１３と、周波数再構成部１４とを備える。

超解像装置１は、原画像を入力して超解像処理し、２オクターブ以上超解像拡大された超解像画像を生成する。ｎオクターブ超解像拡大した場合には、超解像画像のサイズは原画像の垂直・水平方向に各２^ｎ倍となる。

周波数分解部１１は、入力された原画像に対して複数階層の周波数分解（多重解像度分解）処理を行って周波数分解画像を生成する。周波数分解部１１は、原画像に対してｎ階周波数分解を行うと、ｎ階低周波成分画像ＬＬ^ｎを位置合わせ部１２に出力し、原画像の高周波成分画像をオクターブ割付部１３に出力する。分解階数ｎが２である場合、高周波成分画像は、１階高周波成分画像ＬＨ^１，ＨＬ^１，ＨＨ^１と、２階高周波成分画像ＬＨ^２，ＨＬ^２，ＨＨ^２とからなる。

周波数分解部１１は、原画像の階調値が不連続なことを考慮して、線形位相性を有し、タップ長が閾値以上のウェーブレット（例えば、ＣＤＦ９／７）を用いたウェーブレット分解処理を行うようにしてもよい。

位置合わせ部１２は、原画像ＬＬ^０内の参照元ブロックと、周波数分解部１１により生成されたｎ階低周波成分画像ＬＬ^ｎにおいて参照元ブロックに類似する参照先ブロックとの位置関係を示す位置合わせ情報を生成し、オクターブ割付部１３に出力する。

図２は、位置合わせ部１２における位置合わせ処理の概要を示す図である。位置合わせ部１２は、原画像ＬＬ^０を基準フレームとし、ｎ階低周波成分画像ＬＬ^ｎ（図２ではｎ＝２）を参照フレームとして、両フレーム間でブロックマッチングを行い、探索範囲内で類似度（相関性）の最も高いブロックの位置関係を示す位置合わせ情報を生成する。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えば式（１）に示すパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。なお、ＳＡＤ又はＳＳＤの評価関数値が閾値を超えた場合は、位置合わせ情報として採用しないようにしてもよい。

ここで、探索位置における画素位置をｘとしたとき、ＳＳＤ(ｘ)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(−1)は中心位置から−ｘ方向又は−ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。

オクターブ割付部１３は、原画像のナイキスト周波数を超える、超解像画像の高周波成分（超解像高周波成分画像）を推定するために、まず初期値を設定する。超解像高周波成分画像は、超解像画像の水平高周波成分である超解像水平高周波成分画像と、超解像画像の垂直高周波成分である超解像垂直高周波成分画像と、超解像画像の対角高周波成分である超解像対角高周波成分画像とからなる。例えば、初期値として、超解像水平高周波成分画像、超解像垂直高周波成分画像、超解像対角高周波成分画像の全画素の値を０とする。

次に、オクターブ割付部１３は、０からｎ−１までの整数をｋとすると、位置合わせ部１２により生成された位置合わせ情報に従って、（ｎ−ｋ）階高周波成分画像を（ｋ＋１）オクターブ超解像高周波成分に割り付けて（ｋ＋１）オクターブ超解像高周波成分画像を生成し、周波数再構成部１４に出力する。ここで、（ｎ−ｋ）階高周波成分画像を割り付ける際には、ｎ階低周波成分画像ＬＬ^ｎ内の同じ位相位置の位置合わせ情報に従うこととする。これは、原画像ＬＬ^０内のあるブロックＰがｎ階低周波成分画像ＬＬ^ｎ内のブロックＱに類似していれば、未知の（ｋ＋１）オクターブ超解像画像内における、ブロックＰと同じ位相位置のブロックは、（ｎ−ｋ）階高周波成分画像内における、ブロックＱと同じ位相位置のブロックとそれぞれ類似する可能性が高いためである。

図３を参照して、分解階数ｎが２である場合のオクターブ割付部１３の処理を説明する。ｎ＝２のとき、ｋ＝０，１である。オクターブ割付部１３は、原画像ＬＬ^０と２階低周波成分画像ＬＬ^２との間の位置合わせ情報に基づいて、参照先ブロックと同じ位相位置の２階水平高周波成分画像ＬＨ^２内のブロックを、参照元ブロックと同じ位相位置の１オクターブ超解像水平高周波成分に割り付けていくことにより、１オクターブ超解像水平高周波成分画像ＬＨ^０を生成する。同様にして、１オクターブ超解像垂直高周波成分画像ＨＬ^０及び１オクターブ超解像対角成分画像ＨＨ^０を生成する。さらに、オクターブ割付部１３は、原画像ＬＬ^０と２階低周波成分画像ＬＬ^２との間の位置合わせ情報に基づいて、参照先ブロックと同じ位相位置の１階水平高周波成分画像ＬＨ^１内のブロックを、参照元ブロックと同じ位相位置の２オクターブ超解像水平高周波成分に割り付けていくことにより、２オクターブ超解像水平高周波成分画像ＬＨ^−１を生成する。同様にして、２オクターブ超解像垂直高周波成分画像ＨＬ^−１及び２オクターブ超解像対角成分画像ＨＨ^−１を生成する。なお、同じ位相位置の１階高周波成分画像内のブロックと２階低周波成分画像ＬＬ^２内のブロックのサイズを比較すると、１階高周波成分画像内のブロックのサイズは、２階低周波成分画像ＬＬ^２のブロックに対して水平・垂直方向に各２倍となる。

また、位置合わせ部１２において、類似するブロックの位置関係を小数画素精度で求めた場合には、オクターブ割付部１３は、小数画素位置を通常の画素位置に合わせるために、割り付け後の超解像水平高周波成分画像、超解像垂直高周波成分画像、及び超解像対角高周波成分画像に対して、光学系の解像度劣化過程を模擬した点広がり関数（Point spread function；ＰＳＦ）を用いた補間を行う。式（２）に、点広がり関数を示す。ここで、ｗはガウス関数の半値幅（分散値）である。

オクターブ割付部１３は、水平、垂直、対角超解像高周波成分として候補が複数存在する場合には、それらの値を平均するか、最大事後確率（Maximum a posteriori；ＭＡＰ）再構成を行い、未知の値を推定する。ＭＡＰ再構成の詳細については、例えば、E. Levitan and G. Herman: “A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography”, IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。また、その他の方法として、ＭＬ法や、割り付けられた画素の距離に応じた重み付けにより、超解像高周波成分画像を推定してもよい。

周波数再構成部１４は、原画像を低周波成分とし、オクターブ割付部１３により割り付けられた（ｋ＋１）オクターブ超解像高周波成分画像を高周波成分として、ｎ階周波数再構成処理して超解像画像を生成し、外部に出力する。なお、周波数分解部１１が周波数分解処理としてウェーブレット分解処理を行った場合には、周波数再構成部１４は、同じウェーブレットを用いてウェーブレット再構成処理を行う。図３の例では、２階ウェーブレット再構成処理を行うことで、原画像に対して水平方向の画素数が２倍、垂直方向の画素数が２倍の２オクターブ超解像画像が生成される。

なお、上述した超解像装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述したように、第１の実施形態に係る発明は、原画像内の参照元ブロックと、ｎ階低周波成分画像において参照元ブロックに類似する参照先ブロックとの位置関係を示す位置合わせ情報を生成し、位置合わせ情報に従って、（ｎ−ｋ）階高周波成分画像を（ｋ＋１）オクターブ超解像高周波成分に割り付けて（ｋ＋１）オクターブ超解像高周波成分画像を生成する。これにより、高精度かつ高確度なｎオクターブの超解像拡大を行うことが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図４に、本発明の第２の実施形態に係る超解像装置の構成例を示す。図４に示す超解像装置２は、周波数分解部１１と、位置合わせ部１２と、オクターブ割付部１３と、周波数再構成部１４と、類似度判定部１５とを備える。超解像装置２は、第１の実施形態に係る超解像装置１と比較して、更に類似度判定部１５を備える点が相違する。

周波数分解部１１は、第１の実施形態と同様に、入力された原画像に対して複数階層の周波数分解処理を行って周波数分解画像を生成する。そして、ｎ階低周波成分画像ＬＬ^ｎを位置合わせ部１２に出力し、高周波成分画像をオクターブ割付部１３に出力し、（ｎ−ｊ）階低周波成分画像ＬＬ^ｎ−ｊを類似度判定部１５に出力する。ここで、ｊは１からｎ−１までの整数である。

位置合わせ部１２は、第１の実施形態と同様に、原画像ＬＬ^０内の参照元ブロックと、ｎ階低周波成分画像ＬＬ^ｎ内において参照元ブロックと類似する参照先ブロックとの位置関係を示す位置合わせ情報を生成し、類似度判定部１５に出力する。

類似度判定部１５は、オクターブ割付部１３における確度を向上させるために、位置合わせ情報の判定を行う。具体的には、原画像ＬＬ^０内の参照元ブロックについてサイズを水平・垂直方向に各２倍にした第１ブロックと、（ｎ−１）階低周波画像ＬＬ^ｎ−１において、ｎ階低周波画像ＬＬ^ｎ内の参照先ブロックと同じ位相位置の第２ブロックとについて類似度を計算し、該類似度が閾値を超える場合にのみ、位置合わせ部１２から入力された位置合わせ情報をオクターブ割付部１３に出力する。類似度が閾値を超えれば、同じ空間位相位置の高周波成分画像ＬＨ^ｎ−１，ＨＬ^ｎ−１，ＨＨ^ｎ−１内の成分は、原画像ＬＬ^０のナイキスト周波数を超える未知の超解像水平高周波成分ＬＨ^−１，超解像垂直高周波成分ＨＬ^−１，超解像対角高周波成分ＨＨ^−１に似ていると仮定できる。類似度をＳＳＤ又はＳＡＤにより算出する場合には、値が小さいほど類似度が高くなる。

図５を参照して、分解階数ｎが２である場合の類似度判定部１５の処理を説明する。ｎ＝２の場合、類似度判定部１５は、原画像ＬＬ^０内の参照元ブロックについてサイズを水平・垂直方向に各２倍にした第１ブロックＡと、１階低周波画像ＬＬ^１において、２階低周波画像ＬＬ^２内の参照先ブロックと同じ位相位置の第２ブロックＢとの類似度を求める。そして、類似度が閾値を超えるか否かを判定する。なお、１階低周波画像ＬＬ^１において２階低周波画像ＬＬ^２内の参照先ブロックと同じ位相位置のブロックのサイズは、参照先ブロックに対して水平・垂直方向に各２倍となる。そのため、比較対象の原画像ＬＬ^０内の参照元ブロックについてもサイズを水平・垂直方向に各２倍している。

また、ｎが３以上である場合には、類似度判定部１５は、１からｎ−１までの整数をｊとすると、原画像ＬＬ^０内の参照元ブロックについてサイズを水平・垂直方向に各２^ｊ倍にした第１ブロックと、（ｎ−ｊ）階低周波画像ＬＬ^ｎ−ｊにおいて、ｎ階低周波画像ＬＬ^ｎ内の参照先ブロックと同じ位相位置の第２ブロックとについて類似度を計算し、該類似度が閾値を超える場合にのみ、位置合わせ部１２から入力された位置合わせ情報をオクターブ割付部１３に出力するようにしてもよい。

オクターブ割付部１３は、第１の実施形態と同様に、類似度判定部１５から入力された位置合わせ情報に従って、（ｎ−ｋ）階高周波成分画像を（ｋ＋１）オクターブ超解像高周波成分に割り付けて（ｋ＋１）オクターブ超解像高周波成分画像を生成し、周波数再構成部１４に出力する。

周波数再構成部１４は、第１の実施形態と同様に、原画像を低周波成分とし、オクターブ割付部１３により割り付けられた（ｋ＋１）オクターブ超解像高周波成分画像を高周波成分として、ｎ階周波数再構成処理してｎオクターブの超解像画像を生成し、外部に出力する。

なお、上述した超解像装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述したように、第２の実施形態に係る発明は、参照元ブロックについてサイズを水平・垂直方向に各２倍にした第１ブロックと、（ｎ−１）階低周波画像ＬＬ^ｎ−１において参照先ブロックと同じ位相位置の第２ブロックとについて類似度を計算し、該類似度が閾値を超える場合にのみ、位置合わせ情報を用いて割り付けを行う。これにより、確度の高い位置合わせ情報のみを用いて割り付けを行うことができるため、高精度かつ高確度なｎオクターブの超解像拡大を行うことが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図６に、本発明の第３の実施形態に係る超解像装置の構成例を示す。図６に示す超解像装置３は、周波数分解部１１と、位置合わせ部１２と、オクターブ割付部１３と、周波数再構成部１４と、位相調整部１６とを備える。超解像装置２は、第１の実施形態に係る超解像装置１と比較して、更に位相調整部１６を備える点が相違する。

周波数分解部１１は、第１の実施形態と同様に、入力された原画像に対して複数階層の周波数分解処理を行って周波数分解画像を生成する。そして、ｎ階低周波成分画像ＬＬ^ｎを位置合わせ部１２に出力し、高周波成分画像をオクターブ割付部１３に出力し、（ｎ−ｊ）階低周波成分画像ＬＬ^ｎ−ｊを位相調整部１６に出力する。

位置合わせ部１２は、第１の実施形態と同様に、原画像ＬＬ^０内の参照元ブロックと、ｎ階低周波成分画像ＬＬ^ｎ内において参照元ブロックと類似する参照先ブロックとの位置関係を示す位置合わせ情報を生成し、位相調整部１６に出力する。

位相調整部１６は、オクターブ割付部１３における確度を向上させるために、位相調整を行う。具体的には、原画像ＬＬ^０内の参照元ブロックについてサイズを水平・垂直方向に各２倍にした第１ブロックと、（ｎ−１）階低周波画像ＬＬ^ｎ−１において、ｎ階低周波画像ＬＬ^ｎ内の参照先ブロックと同じ位相位置の第２ブロック及び該第２ブロックを水平方向、垂直方向、対角方向に各１画素ずらした第２ブロック群とについて類似度を計算し、第２ブロック群のうち第１ブロックとの類似度が最大となるブロックの位置を示す位相情報を位置合わせ情報に含めてオクターブ割付部１３に出力する。

図７を参照して、分解階数ｎが２である場合の位相調整部１６の処理を説明する。ｎ＝２の場合、位相調整部１６は、原画像ＬＬ^０内の参照元ブロックについてサイズを水平・垂直方向に各２倍にした第１ブロックＡと、１階低周波画像ＬＬ^１において、２階低周波画像ＬＬ^２内の参照先ブロックと同じ位相位置の第２ブロックＢ１、第２ブロックＢ１を水平方向に１画素ずらした第２ブロックＢ２、第２ブロックＢ１を垂直方向に１画素ずらした第２ブロックＢ３、及び第２ブロックＢ１を対角方向に１画素（すなわち、水平・垂直方向に各１画素）ずらした第２ブロックＢ４とについてそれぞれ類似度を求める。そして、第２ブロック群Ｂ１〜Ｂ４のうち、第１ブロックＡとの類似度が最大となるブロックの位置を示す位相情報を生成する。

また、ｎが３以上である場合には、位相調整部１６は、１からｎ−１までの整数をｊとすると、原画像ＬＬ^０内の参照元ブロックについてサイズを水平・垂直方向に各２^ｊ倍にした第１ブロックと、（ｎ−ｊ）階低周波画像ＬＬ^ｎーｊにおいて、ｎ階低周波画像ＬＬ^ｎ内の参照先ブロックと同じ位相位置のブロック及び該ブロックを水平方向、垂直方向、対角方向に各１画素からｊ画素までずらした計（ｊ＋１）^２種類の第２ブロック群とについて類似度を計算し、該類似度が閾値を超える場合にのみ、位置合わせ部１２から入力された位置合わせ情報をオクターブ割付部１３に出力するようにしてもよい。

さらに、上述のようにして求めた類似度が高くない場合には位置合わせ情報の確度が高くないと考えられるため、位相調整部１６は、第２ブロック群のうち第１ブロックとの類似度が最大となるブロックの類似度が閾値を超える場合にのみ、位置合わせ情報をオクターブ割付部１３に出力するようにしてもよい。この場合、位相調整部１６は、位相調整に加え、位置合わせ情報の判定も同時に行うこととなる。

オクターブ割付部１３は、位置合わせ部１２により生成された位置合わせ情報に従って、ｎ階高周波成分画像を１オクターブ超解像高周波成分に割り付けて１オクターブ超解像高周波成分画像を生成し、周波数再構成部１４に出力する。また、位相調整部１６により生成された位相情報に従って、０を除くｋについて、（ｎ−ｋ）階高周波成分画像を（ｋ＋１）オクターブ超解像高周波成分に割り付けて（ｋ＋１）オクターブ超解像高周波成分画像を生成し、周波数再構成部１４に出力する。

なお、上述した超解像装置３として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置３の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述したように、第３の実施形態に係る発明は、参照元ブロックについてサイズを水平・垂直方向に各２倍にした第１ブロックと、（ｎ−１）階低周波画像ＬＬ^ｎ−１において参照先ブロックと同じ位相位置の第２ブロック及び該第２ブロックの位相をずらしたブロックからなる第２ブロック群とについて類似度を計算し、該第２ブロック群のうち第１ブロックとの類似度が最大となるブロックの位置を示す位相情報を位置合わせ情報に含める。これにより、位置合わせ情報の確度を高めることができるため、高精度かつ高確度なｎオクターブの超解像拡大を行うことが可能となる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

１，２，３超解像装置
１１周波数分解部
１２位置合わせ部
１３オクターブ割付部
１４周波数再構成部
１５類似度判定部
１６位相調整部

Claims

原画像をｎオクターブ超解像拡大した超解像画像を生成する超解像装置であって、
原画像に対してｎ階周波数分解処理を行って周波数分解画像を生成する周波数分解部と、
前記原画像内の参照元ブロックと、前記周波数分解部により生成されたｎ階低周波成分画像において前記参照元ブロックに類似する参照先ブロックとの位置関係を示す位置合わせ情報を生成する位置合わせ部と、
０からｎ−１までの整数をｋとし、前記位置合わせ情報に従って、前記周波数分解部により生成された（ｎ−ｋ）階高周波成分画像を（ｋ＋１）オクターブ超解像高周波成分に割り付けて（ｋ＋１）オクターブ超解像高周波成分画像を生成するオクターブ割付部と、
前記原画像を低周波成分とし、前記（ｋ＋１）オクターブ超解像高周波成分画像を高周波成分としてｎ階周波数再構成処理して超解像画像を生成する周波数再構成部と、
を備えることを特徴とする超解像装置。
前記参照元ブロックについてサイズを水平・垂直方向に各２倍にした第１ブロックと、（ｎ−１）階低周波画像ＬＬ^ｎ−１において前記参照先ブロックと同じ位相位置の第２ブロックとについて類似度を計算し、該類似度が閾値を超える場合にのみ、前記位置合わせ情報を前記オクターブ割付部に出力する類似度判定部を更に備えること特徴とする、請求項１に記載の超解像装置。
前記参照元ブロックについてサイズを水平・垂直方向に各２倍にした第１ブロックと、（ｎ−１）階低周波画像ＬＬ^ｎ−１において前記参照先ブロックと同じ位相位置の第２ブロック及び該第２ブロックの位相をずらしたブロックからなる第２ブロック群とについて類似度を計算し、該第２ブロック群のうち前記第１ブロックとの類似度が最大となるブロックの位置を示す位相情報を位置合わせ情報に含める位相調整部を更に備えること特徴とする、請求項１に記載の超解像装置。
前記位相調整部は、前記類似度が最大となるブロックの類似度が閾値を超える場合にのみ、前記位置合わせ情報を前記オクターブ割付部に出力すること特徴とする、請求項３に記載の超解像装置。
コンピュータを、請求項１から４のいずれか一項に記載の超解像装置として機能させるためのプログラム。