JP2015230542A - 超解像画像最適化装置及びプログラム - Google Patents

Abstract

【課題】超解像画像群から原画像との差分値が最も少ない最適な超解像画像を決定する。【解決手段】超解像画像最適化装置１は、Ｎ枚の超解像画像をフィルタ処理してＮ枚の第１の低域超解像画像を生成する第１ＬＰＦ処理部１１と、各第１の低域超解像画像を縮小処理してＭ通りの位相の異なる縮小画像を生成する第１縮小処理部１２と、第１の縮小画像ごとに超解像処理し、Ｍ枚を対とするＮ組の第１の超解像画像を生成する超解像処理部１３と、第１の超解像画像ごとにフィルタ処理し、Ｍ枚を対とするＮ組の第２の低域超解像画像を生成する第２ＬＰＦ処理部１４と、第２の低域超解像画像ごとに、原画像と同位相となるように縮小処理し、Ｍ枚を対とするＮ組の第２の縮小画像を生成する第２縮小処理部１５と、Ｍ枚を対とする第２の縮小画像の組ごとに原画像との差分値を算出し、該差分値が最小となる超解像画像を出力する最適化部１６と、を備える。【選択図】図１

Description

本発明は、複数の超解像画像から最適な超解像画像を決定する超解像画像最適化装置及びプログラムに関する。

原画像から超解像画像を推定する場合、超解像画像の正解は不明なため、厳密には超解像画像のパラメータを最適化する方法は存在しないが、例えば原画像をバックプロジェクション法により超解像処理して超解像画像を生成し、これを点拡がり関数を用いて縮小した画像と原画像の差分を最小とするようにパラメータを選択する方法が知られている（特許文献１参照）。

特開２００７−１９３５０８号公報

特許文献１には、バックプロジェクション法を用いて超解像処理のパラメータ（超解像パラメータ）を最適化する技術が記載されている。しかし、超解像パラメータを最適化する従来技術は、点拡がり関数を用いる超解像のように、逆関数や位相特性が明確なフィルタを用いて超解像処理を行う場合のみで有効である。よって、位置合わせ（レジストレーション）により超解像処理を行うレジストレーション超解像などには、従来の超解像パラメータの最適化法をそのまま用いることができないという課題がある。

かかる事情に鑑みてなされた本発明の目的は、超解像処理の方法によらず、複数の超解像画像から原画像との差分値が最も少ない最適な超解像画像を決定することが可能な超解像画像最適化装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る超解像画像最適化装置は、複数の超解像画像から最適な超解像画像を決定する超解像画像最適化装置であって、Ｎ枚の超解像画像をそれぞれローパスフィルタ処理して、Ｎ枚の第１の低域超解像画像を生成する第１ＬＰＦ処理部１１と、前記第１の低域超解像画像ごとに、縮小処理してＭ通りの位相の異なる縮小画像を生成し、Ｍ枚を対とするＮ組の第１の縮小画像を出力する第１縮小処理部１２と、前記第１の縮小画像ごとに超解像処理して、Ｍ枚を対とするＮ組の第１の超解像画像を生成する超解像処理部１３と、前記第１の超解像画像ごとにローパスフィルタ処理して、Ｍ枚を対とするＮ組の第２の低域超解像画像を生成する第２ＬＰＦ処理部１４と、前記第２の低域超解像画像ごとに、原画像と同じ位相となるように縮小処理して縮小画像を生成し、Ｍ枚を対とするＮ組の第２の縮小画像を生成する第２縮小処理部１５と、前記Ｍ枚を対とする第２の縮小画像の組ごとに前記原画像との差分値を算出し、該差分値が最小となる前記第２の縮小画像の組に対応する超解像画像を最適な超解像画像として出力する最適化部１６と、を備えることを特徴とする。

さらに、本発明に係る超解像画像最適化装置において、前記第１ＬＰＦ処理部及び前記第２ＬＰＦ処理部は、前記複数の超解像画像の生成に用いられたパラメータが未知の場合には、点拡がり関数又はガウシアン関数を用いてローパスフィルタ処理を行うことを特徴とする。

さらに、本発明に係る超解像画像最適化装置において、前記超解像処理部は、前記複数の超解像画像の生成に用いられたパラメータが未知の場合には、点拡がり関数又はガウシアン関数を用いて超解像処理を行うことを特徴とする。

さらに、本発明に係る超解像画像最適化装置において、前記最適化部は、前記Ｍ枚を対とする第２の縮小画像の組と前記原画像との差分値を領域ごとに算出し、該領域ごとに最適な超解像画像を出力することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像画像最適化装置として機能させることを特徴とする。

本発明によれば、超解像処理の方法によらず、複数の超解像画像から原画像との差分値が最も少ない最適な超解像画像を決定することが可能となる。

本発明の一実施形態に係る超解像画像最適化装置の処理概要を説明する図である。 本発明の一実施形態に係る超解像画像最適化装置の構成例を示すブロック図である。 本発明の一実施形態に係る超解像画像最適化装置における第１縮小処理部の処理を説明する図である。 本発明の一実施形態に係る超解像画像最適化装置における第２縮小処理部の処理を説明する図である。 本発明の一実施形態に係る超解像画像最適化装置における最適化部の処理の第１の例を説明する図である。 本発明の一実施形態に係る超解像画像最適化装置における最適化部の処理の第２の例を説明する図である。 本発明の一実施形態に係る超解像画像最適化装置に超解像画像を入力する超解像装置の構成例を示すブロック図である。 図６に示す超解像装置における周波数分解部の処理を説明する図である。 図６に示す超解像装置におけるレジストレーション部の処理を説明する図である。 図６に示す超解像装置における超解像高周波成分生成部の処理を説明する図である。 図６に示す超解像装置における周波数再構成部の処理を説明する図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

本発明に係る超解像画像最適化装置は、原画像と、原画像を超解像処理した複数の超解像画像とを入力し、複数の超解像画像のうち、原画像との誤差が最も少ない超解像画像を決定して出力する。超解像処理に使用したパラメータ（以下、「超解像パラメータ」という）が既知である場合には、超解像パラメータも入力する。

図１は、本発明の一実施形態に係る超解像画像最適化装置の処理概要を説明する図である。図１では、超解像画像が原画像を水平方向及び垂直方向に各２倍に超解像処理した画像である場合を例に説明する。

まず、超解像画像最適化装置は、縮小時におけるエイリアシングの発生を防止するために超解像画像群をローパスフィルタ処理し（ステップＳ１１）、その後、縮小処理する（ステップＳ１２）。

つまり、ステップＳ１１では、複数（Ｎ枚）の超解像画像をそれぞれローパスフィルタ処理して、Ｎ枚の第１の低域超解像画像を生成する。原画像は、より解像度の高い画像がカメラの光学系等で縮小劣化して生成されたと考えることができるので、縮小劣化過程を模擬したフィルタを用いて超解像画像をローパスフィルタ処理してもよい。

ステップＳ１２では、第１の低域超解像画像ごとに、縮小処理してＭ通りの位相の異なる縮小画像を生成し、Ｍ枚を対とするＮ組の、つまりＭ×Ｎ枚の第１の縮小画像を出力する。図１ではＭ＝４であり、１枚の第１の低域超解像画像Ｏ’からは４枚の第１の縮小画像ａ，ｂ，ｃ，ｄが生成される様子を示している。

原画像と縮小画像とを比較するには位相が揃っていることが望ましいが、第１の縮小画像には原画像と位相が異なるものが含まれている。そのため、更に第１の縮小画像を超解像処理し（ステップＳ１３）、ローパスフィルタ処理（ステップＳ１４）を行った後、再び縮小処理（ステップＳ１５）を行うことにより、原画像と同じ位相の第２の縮小画像を生成する。

つまり、ステップＳ１３では、第１の縮小画像ごとに超解像処理して、Ｍ枚を対とするＮ組の第１の超解像画像を生成する。図１では第１の縮小画像ａ，ｂ，ｃ，ｄからはそれぞれ第１の超解像画像Ａ，Ｂ，Ｃ，Ｄが生成される様子を示している。

ステップＳ１４では、第１の超解像画像ごとにローパスフィルタ処理して、Ｍ枚を対とするＮ組の第２の低域超解像画像を生成する。図１では第１の超解像画像Ａ，Ｂ，Ｃ，Ｄからはそれぞれ第２の低域超解像画像Ａ’，Ｂ’，Ｃ’，Ｄ’が生成される様子を示している。

ステップＳ１５では、第２の低域超解像画像ごとに、原画像と同じ位相となるように縮小処理して、Ｍ枚を対とするＮ組の第２の縮小画像を生成する。図１では第２の低域超解像画像Ａ’，Ｂ’，Ｃ’，Ｄ’からはそれぞれ第２の縮小画像ａ’，ｂ’，ｃ’，ｄ’が生成される様子を示している。

最後に、ステップＳ１６では、Ｍ枚を対とする第２の縮小画像の組ごとに原画像との差分値を求め、差分値が最小となる第２の縮小画像の組に対応する超解像画像、つまり差分値が最小となる第２の縮小画像の組の生成に用いられた超解像画像を最適な超解像画像（最適超解像画像）として出力する。

図２は、本発明の一実施形態に係る超解像画像最適化装置の構成例を示すブロック図である。超解像装置２は、原画像から複数の超解像画像を生成する。

超解像画像最適化装置１は、複数の超解像画像を入力し、最適な超解像画像を決定する。なお、超解像パラメータは既知である場合のみ超解像画像最適化装置１に入力される。図２に示す例では、超解像画像最適化装置１は、第１ＬＰＦ処理部１１と、第１縮小処理部１２と、超解像処理部１３と、第２ＬＰＦ処理部１４と、第２縮小処理部１５と、最適化部１６とを備える。

第１ＬＰＦ処理部１１は、超解像装置２から入力されるＮ枚の超解像画像に対してそれぞれローパスフィルタ処理を行い、Ｎ枚の第１の低域超解像画像を第１縮小処理部１２に出力する。超解像装置２にてウェーブレット変換を用いて原画像を超解像処理して超解像画像を生成していた場合は、第１ＬＰＦ処理部１１は、超解像処理に使用されたウェーブレットを用いてローパスフィルタ処理を行うのが好適である。例えば、該ウェーブレットを用いて超解像画像をデシメーション無しでウェーブレット分解し、低周波成分を第１の低域超解像画像とする。

また、第１ＬＰＦ処理部１１は、超解像画像最適化装置１に入力される超解像画像群の生成に用いられたパラメータが未知の場合には、超解像画像から原画像への縮小劣化過程をカメラ光学系の劣化として模擬した劣化関数を用いてローパスフィルタ処理を行う。例えば、劣化関数として点拡がり関数（ＰＳＦ：Point spread function）、又はガウシアン関数を用い、分散値をパラメータとして可変とする。なお、超解像画像最適化装置１に入力される超解像画像群の生成に用いられたパラメータが既知の場合であっても、劣化関数を用いてローパスフィルタ処理を行ってもよい。

第１縮小処理部１２は、第１ＬＰＦ処理部１１により生成されたＮ枚の第１の低域超解像画像に対して、それぞれ１／Ｍ倍に縮小処理してＭ通りの位相の異なる縮小画像を生成し、Ｍ枚を対とするＮ組の第１の縮小画像を超解像処理部１３に出力する。

図３は、第１縮小処理部１２の処理を説明する図である。ここでは、第１の低域超解像画像Ｏ’を１/４倍して原画像サイズに縮小する例を示している。この場合、第１縮小処理部１２は、水平方向及び垂直方向に１画素ずつ位相をずらして画素間引きを行い、１枚の低域超解像画像Ｏ’に対して４枚の第１の縮小画像ａ，ｂ，ｃ，ｄを得る。第１の低域超解像画像Ｏ’における原画像ｏの画素位置をａ１，ａ２，ａ３，ａ４，・・・とすると、第１の縮小画像ａは第１の低域超解像画像Ｏ’と位相が同じであるが、第１の縮小画像ｂ，ｃ，ｄは原画像ｏと位相が異なる。

超解像処理部１３は、第１縮小処理部１２により生成された第１の縮小画像をそれぞれ超解像処理して、Ｍ枚を対とするＮ組の第１の超解像画像を生成し、第２ＬＰＦ処理部１４に出力する。超解像処理部１３は、超解像画像最適化装置１に入力される超解像画像群の生成に用いられたパラメータが既知の場合には、同じパラメータを用いて超解像処理を行う。また、超解像画像群の生成に用いられたパラメータが未知の場合には、縮小劣化過程を模擬した点拡がり関数又はガウシアン関数などの劣化関数を用いて超解像処理を行う。なお、超解像画像群の生成に用いられたパラメータが既知の場合であっても、劣化関数を用いて超解像処理を行ってもよい。

第２ＬＰＦ処理部１４は、超解像処理部１３により生成された第１の超解像画像を、第１ＬＰＦ処理部１１と同様にそれぞれローパスフィルタ処理して、Ｍ枚を対とするＮ組の第２の低域超解像画像を生成し、第２縮小処理部１５に出力する。

第２縮小処理部１５は、第２ＬＰＦ処理部１４により生成された第２の低域超解像画像をそれぞれ原画像と同じ位相となるように１／Ｍ倍に縮小処理してＭ枚を対とするＮ組の第２の縮小画像を生成し、最適化部１６に出力する。

図４は、第２縮小処理部１５の処理を説明する図である。ここでは、第２の低域超解像画像を１／４倍して原画像サイズに縮小する例を示している。この場合、第２縮小処理部１５は、原画像と同じ位相となるように画素間引きを行い、４枚の第２の低域超解像画像Ａ’〜Ｄ’に対して４枚の第２の縮小画像ａ’〜ｄ’を得る。第２の低域超解像画像Ａ’〜Ｄ’における原画像ｏの画素位置をｈ１，ｈ２，ｈ３，ｈ４，・・・とすると、第２の縮小画像ａ’〜ｄ’は原画像ｏと同じ位相となる。

最適化部１６は、原画像ｏと第２の縮小画像との差分値を、Ｍ枚を対とする第２の縮小画像の組ごとに算出し、差分値が最小となる第２の縮小画像の組に対応する超解像画像を最適超解像画像として出力する。

図５は、最適化部１６の処理の第１の例を説明する図である。例えば、Ｎ枚の超解像画像Ｏ_nから第２の縮小画像ａ_n’，ｂ_n’，ｃ_n’，ｄ_n’が生成されたとする。添え字のｎは超解像画像を識別するための番号であり、ｎ＝１，２，・・・，Ｎである。この場合、最適化部１６は、原画像ｏと第２の縮小画像のｎ番目の組との差分値を、原画像ｏと第２の縮小画像ａ_n’，ｂ_n’，ｃ_n’，ｄ_n’との各差分値の最小値又は各差分値の平均値とする。ここで、差分値は、例えばＰＳＮＲ（Peak Signal to Noise Ratio）又はＳＳＩＭ（Structural Similarity）を用いて評価することができる。そして、最適化部１６は、第２の縮小画像の組ごとに原画像ｏとの差分値を算出し、差分値が最小となる第２の縮小画像の組に対応する超解像画像Ｏ_nを最適超解像画像として外部に出力する。図５では、ｎ＝ｋのときに、原画像ｏと第２の縮小画像の組｛ａ_k’，ｂ_k’，ｃ_k’，ｄ_k’｝との差分値が最小となり、超解像画像Ｏ_kを最適超解像画像とする例を示している。

図６は、最適化部１６の処理の第２の例を説明する図である。最適化部１６は、原画像を複数の領域に分割し、領域ごとに原画像ｏと第２の縮小画像の各組との差分値を算出し、領域ごとに差分値が最小となる第２の縮小画像の組に対応する最適超解像画像を出力するようにしてもよい。図６では、原画像ｏを９つの領域に分割し、右上の領域については原画像ｏと第２の縮小画像の組との差分値が最小となるのはｎ＝１の場合であり、右下の領域については原画像ｏと第２の縮小画像の組との差分値が最小となるのはｎ＝２の場合であり、左下の領域については原画像ｏと第２の縮小画像の組との差分値が最小となるのはｎ＝Ｎの場合である例を示している。このようにして領域ごとに最適超解像画像を決定する場合、最適化部１６は、領域ごとに決定された最適超解像画像の識別情報を最適超解像パラメータとして、最適超解像画像とともに外部に出力するようにしてもよい。

（超解像装置）
次に、超解像装置２ついて説明する。本発明では超解像処理の方法は問われないが、以下に一例を示す。

図７は、超解像装置２の構成例を示すブロック図である。図７に示す例では、超解像装置２は、周波数分解部２１と、レジストレーション部２２と、超解像高周波成分生成部２３と、周波数再構成部２４とを備える。

周波数分解部２１は、原画像を第１の周波数分解パラメータを用いて周波数分解、例えば、デシメーション無しで１階ウェーブレット分解して第１の周波数分解画像を生成し、第１の周波数分解画像のうち高周波成分を超解像高周波成分生成部２３に出力する。

また、周波数分解部２１は、原画像を第２の周波数分解パラメータを用いて周波数分解、例えば、デシメーション有りで１階ウェーブレット分解して第２の周波数分解画像を生成し、第２の周波数分解画像のうち低周波成分をレジストレーション部２２に出力し、第２の周波数分解画像のうち高周波成分を超解像高周波成分生成部２３に出力する。ここで、第１の周波数分解パラメータ及び第２の周波数分解パラメータは、周波数分解に用いるフィルタ、例えばウェーブレットフィルタを規定するためのパラメータである。周波数分解パラメータの値を変えることにより、周波数分解時の周波数特性を可変とすることができる。

図８は、周波数分解部２１の処理を説明する図である。図８（ａ）は、原画像を第１の周波数分解パラメータを用いて周波数分解する例として、原画像をデシメーション無しで１階周波数分解して第１の周波数分割画像を生成する様子を示している。デシメーション無しであるため、各周波数成分（低周波成分ＬＬ⁰，水平高周波成分ＬＨ⁰，垂直高周波成分ＨＬ⁰，斜め高周波成分ＨＨ⁰）の画像サイズは原画像サイズと等しくなる。周波数分解部２１は、ＬＨ⁰，ＨＬ⁰，ＨＨ⁰を高周波成分初期値として超解像高周波成分生成部２３に出力する。

図８（ｂ）は、原画像を第２の周波数分解パラメータを用いて周波数分解する例として、原画像をデシメーション有りで１階周波数分解して第２の周波数分割画像を生成する様子を示している。デシメーション有りの１階分解であるため、各周波数成分（低周波成分ＬＬ¹，水平高周波成分ＬＨ¹，垂直高周波成ＨＬ¹，斜め高周波成分ＨＨ¹）の画像サイズは原画像サイズから縦・横それぞれ１／２に縮小される。周波数分解部２１は、ＬＬ¹を低周波成分としてレジストレーション部２２に出力し、ＬＨ¹，ＨＬ¹，ＨＨ¹を高周波成分として超解像高周波成分生成部２３に出力する。

レジストレーション部２２は、レジストレーションパラメータを用いて、原画像と、周波数分解部２１により生成された第２の周波数分解画像の低周波成分との間でブロックマッチングを行い、該低周波成分の各ブロックに対応する位置関係を示すレジストレーション情報を超解像高周波成分生成部２３に出力する。

図９は、レジストレーション部２２の処理を説明する図である。レジストレーション部２２は、第２の周波数分解画像の低周波成分ＬＬ¹を所定のサイズ、例えば、４画素×４画素のブロックに分割して原画像Ｏとの間でブロックマッチングを行い、レジストレーション情報を出力する。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えばパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。

レジストレーション部２２は、図９に示すように原画像をデシメーション有りで周波数分解した画像の低周波成分と原画像との間でレジストレーション（位置合わせ）を行うのが好適である。その理由は、同一フレーム内に形状が相似で大きさが異なる画像が存在する場合に、相似する画像間で位置合わせをし、その高周波成分を割り付けることができるからである。なお、局所的にみれば同一フレーム内に相似する画像が存在する可能性は高いため、原画像のサイズに対するブロックマッチングを行う際のブロックサイズを小さくするほど、位置合わせの確度を高くすることができる。

レジストレーションパラメータは、ブロックマッチングを行う際のブロックサイズ及び探索範囲を含む。探索範囲は精度向上のためには原画像全体とするのがよいが、処理速度向上のために探索範囲を対象ブロックの近傍の範囲に限定してもよい。また、レジストレーションパラメータに閾値を含め、ＳＡＤ又はＳＳＤの評価関数値が閥値を超えた場合は、レジストレーション結果として採用しないようにしてもよい。

超解像高周波成分生成部２３は、周波数分解部２１により生成された第１の周波数分解画像の高周波成分及び第２の周波数分解画像の高周波成分、並びにレジストレーション部２２により生成されたレジストレーション情報を入力して、原画像の超解像高周波成分を生成し、周波数再構成部２４に出力する。

図１０は、超解像高周波成分生成部２３の処理を説明する図である。超解像高周波成分生成部２３は、レジストレーション情報に従って、第２の周波数分解画像の高周波成分（ＬＨ¹，ＨＬ¹，ＨＨ¹）を、第１の周波数分解画像の高周波成分（ＬＨ⁰，ＨＬ⁰，ＨＨ⁰）の小数画素位置に割り付ける。ここで、第２の周波数分解画像の高周波成分（ＬＨ¹，ＨＬ¹，ＨＨ¹）を割り付ける際には、第２の周波数分解画像の低周波成分ＬＬ¹と同じ位相位置のレジストレーション情報に従うこととする。これは、第２の周波数分解画像の低周波成分（ＬＬ¹）のあるブロックＰが原画像のあるブロックＱに対応（類似）していれば、各高周波成分（ＬＨ¹，ＨＬ¹，ＨＨ¹）のブロックＰと同位相位置のブロックについても同様にブロックＱに対応する可能性が高いためである。つまり、原画像とデシメーション有りで周波数分解した画像の低周波成分が同じであれば、原画像の標本化周波数を超える高周波成分はデシメーション有りで周波数分解した画像の高周波成分とほぼ同じであると推測できるからである。

そして、超解像高周波成分生成部２３は、上記割り付け後、再構成処理、例えばＭＡＰ（Maximum A Posterior）推定に基づく再構成処理を行い、超解像高周波成分（ＬＨ⁰’，ＨＬ⁰’，ＨＨ⁰’）を生成する。ＭＡＰ推定に基づく再構成処理とは、低解像度画像を条件としたときの事後確率を最大にする高解像度画像を推定して再構成する処理であり、ここでは第１の周波数分解画像を高解像度画像の初期値とし、高解像度画像から、割り付けられる第２の周波数分解画像を推定し、推定した値と実際の値の誤差を最小にするように高解像度画像を更新する。その他の方法として、ＭＬ（Maximum Likelihood）推定や、割り付けられた画素の距離に応じた重み付けにより再構成処理を行い、超解像高周波成分を生成してもよい。

周波数再構成部２４は、周波数再構成パラメータを用いて、原画像及び超解像高周波成分生成部２３により生成された超解像高周波成分を周波数再構成して超解像画像を生成し、外部に出力する。ここで、周波数再構成パラメータは、周波数再構成に用いるフィルタを規定するためのパラメータである。

図１１は、周波数再構成部２４の処理を説明する図である。周波数再構成部２４は、原画像Ｏを空間低周波成分とし、超解像高周波成分生成部２３により生成された超解像高周波成分（水平高周波成分ＬＨ⁰’，垂直高周波成分ＨＬ⁰’，斜め高周波成分ＨＨ⁰’）を空間高周波成分として周波数再構成、例えば、ウェーブレット再構成を行い、超解像画像Ｏ_SRを生成する。

上述したように、本発明に係る超解像画像最適化装置１は、入力される超解像画像群に対して、第１ＬＰＦ処理部１１によるローパスフィルタ処理及び第１縮小処理部１２による縮小処理を行って、第１の縮小画像群を生成する。次に、超解像処理部１３により第１の縮小画像群に対して超解像処理を行った後、第２ＬＰＦ処理部１４によるローパスフィルタ処理及び第２縮小処理部１５による縮小処理を行って、原画像と同じ位相の第２の縮小画像群を生成する。最後に、最適化部１６により、原画像と第２の縮小画像群の差分値が最小となる超解像画像を最適化超解像画像として出力する。このような構成により、超解像画像最適化装置１は、入力される超解像画像群の超解像処理の方法によらず、超解像画像群から原画像との差分値が最も少ない最適な超解像画像を決定することが可能となる。

なお、上述した超解像画像最適化装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像画像最適化装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ 超解像画像最適化装置
２ 超解像装置
１１ 第１ＬＰＦ処理部
１２ 第１縮小処理部
１３ 超解像処理部
１４ 第２ＬＰＦ処理部
１５ 第２縮小処理部
１６ 最適化部

Claims (5)

1. 複数の超解像画像から最適な超解像画像を決定する超解像画像最適化装置であって、
   Ｎ枚の超解像画像をそれぞれローパスフィルタ処理して、Ｎ枚の第１の低域超解像画像を生成する第１ＬＰＦ処理部と、
   前記第１の低域超解像画像ごとに、縮小処理してＭ通りの位相の異なる縮小画像を生成し、Ｍ枚を対とするＮ組の第１の縮小画像を出力する第１縮小処理部と、
   前記第１の縮小画像ごとに超解像処理して、Ｍ枚を対とするＮ組の第１の超解像画像を生成する超解像処理部と、
   前記第１の超解像画像ごとにローパスフィルタ処理して、Ｍ枚を対とするＮ組の第２の低域超解像画像を生成する第２ＬＰＦ処理部と、
   前記第２の低域超解像画像ごとに、原画像と同じ位相となるように縮小処理して縮小画像を生成し、Ｍ枚を対とするＮ組の第２の縮小画像を生成する第２縮小処理部と、
   前記Ｍ枚を対とする第２の縮小画像の組ごとに前記原画像との差分値を算出し、該差分値が最小となる前記第２の縮小画像の組に対応する超解像画像を最適な超解像画像として出力する最適化部と、
   を備えることを特徴とする超解像画像最適化装置。
2. 前記第１ＬＰＦ処理部及び前記第２ＬＰＦ処理部は、前記複数の超解像画像の生成に用いられたパラメータが未知の場合には、点拡がり関数又はガウシアン関数を用いてローパスフィルタ処理を行うことを特徴とする、請求項１に記載の超解像画像最適化装置。
3. 前記超解像処理部は、前記複数の超解像画像の生成に用いられたパラメータが未知の場合には、点拡がり関数又はガウシアン関数を用いて超解像処理を行うことを特徴とする、請求項１又は２に記載の超解像画像最適化装置。
4. 前記最適化部は、前記Ｍ枚を対とする第２の縮小画像の組と前記原画像との差分値を領域ごとに算出し、該領域ごとに最適な超解像画像を出力することを特徴とする、請求項１から３のいずれか一項に記載の超解像画像最適化装置。
5. コンピュータを、請求項１から４のいずれか一項に記載の超解像画像最適化装置として機能させるためのプログラム。

Images