JP2010061541A - 劣化画像復元方法、劣化画像復元装置、及び、プログラム - Google Patents

Abstract

【課題】劣化画像を復元する装置等における処理量を低減し、好適な復元画像を得る劣化画像復元方法、劣化画像復元装置、及び、プログラムを提供すること。
【解決手段】一の画像が所定の劣化過程により劣化した劣化画像が入力される劣化画像入力ステップと、前記劣化画像と前記一の画像との間の二乗誤差を最小化する反復式を所定の反復回数により展開して得られる、前記劣化画像を復元するフィルタ処理のフィルタ係数を記憶手段から読み出す係数読出ステップと、前記劣化画像に対し前記フィルタ係数による前記フィルタ処理を行うことにより前記劣化画像の復元画像を取得する復元画像取得ステップと、を有する劣化画像復元装置。
【選択図】図６

Description

本発明は、劣化画像復元方法、劣化画像復元装置、及び、プログラムに関する。

従来から、劣化した画像を復元する画像復元技術として、一般化逆フィルタを用いる方法、及び、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法（Ｌａｎｄｗｅｂｅｒ法ともいう）等がある（非特許文献１参照）。両方法とも、劣化過程が既知であるとして、劣化過程により劣化させたものと入力画像の二乗誤差が最小となるように、求めたい復元画像を決定する。

一般化逆フィルタは、二乗誤差が最小となる条件を解いた結果、逆行列を計算することになる。そのままでは計算困難なことも多いので、離散フーリエ変換を施し周波数空間上で計算を行い、再び実空間に戻す。これは、周波数空間上では逆行列演算が除算となることによる。

Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法は、反復法により初期解から徐々に真の解へ収束させていくことにより、二乗誤差が最小となる復元画像を得る。例えば、特開２００２−３００４５９号公報（特許文献１）では、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法をベースとし、局所的な畳み込み演算を行うことにより、大規模な行列計算をする必要が無く省メモリな構成が示されている。

特開２００２−３００４５９号公報 Ｍ．Ｒ．Ｂａｎｈａｍ ａｎｄ Ａ．Ｋ．Ｋａｔｓａｇｇｅｌｏｓ，"Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ"，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，ｐｐ．２４−４１，１９９７ Ｊ．Ｂｉｅｍｏｎｄ，Ｒ．Ｌ．Ｌａｇｅｎｄｉｊｋ，Ｒ．Ｍ．Ｍｅｒｓｅｒｅａｕ，"Ｉｔｅｒａｔｉｖｅ ｍｅｔｈｏｄｓ ｆｏｒ ｉｍａｇｅ ｄｅｂｌｕｒｒｉｎｇ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，Ｖｏｌｕｍｅ ７８，Ｉｓｓｕｅ ５，Ｐａｇｅ（ｓ）：８５６−８８３，Ｍａｙ １９９０

しかしながら、一般化逆フィルタは一回の処理で復元画像を求めることができるが、大規模な行列演算が必要となるため、計算量が多いという課題がある。また、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法は反復解法であるため、望ましい復元結果を得るためには、数回から数十回程度の反復が必要となる。これは、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法をベースとしている特許文献１に記載の画像復元装置等でも同様である。反復回数が増えれば計算量が増加し、装置等による実現が困難となる。

本発明は、上記の点に鑑み、劣化画像を復元する装置等における処理量を低減し、好適な復元画像を得る劣化画像復元方法、劣化画像復元装置、及び、プログラムを提供することを目的としている。

上記目的を達成するために、本発明の劣化画像復元方法は所定の劣化過程により劣化した劣化画像を入力する劣化画像入力ステップと、前記劣化画像と復元画像を前記劣化過程により劣化させた画像との間の二乗誤差を最小化する反復式を所定の反復回数に応じて展開した、前記劣化画像を復元するフィルタ処理のフィルタ係数を記憶手段から読み出す係数読出ステップと、前記劣化画像に対し前記フィルタ係数による前記フィルタ処理を行うことにより前記劣化画像の復元画像を取得する復元画像取得ステップと、を有する。

なお、上記課題を解決するため、本発明は、上記劣化画像復元方法を実現する劣化画像復元装置、及び、上記劣化画像復元方法をコンピュータに実行させるためのプログラムとしてもよい。

本発明の劣化画像復元方法、劣化画像復元装置、及び、プログラムによれば、劣化画像を復元する装置等における処理量を低減し、好適な復元画像を得る劣化画像復元方法、劣化画像復元装置、及び、プログラムを提供することが可能になる。

以下、本実施の形態を図面に基づき説明する。

〔実施の形態〕
図１は、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法による劣化画像を復元する劣化画像復元装置１０の機能構成を示すブロック図である。図１の劣化画像復元装置１０は、画像の劣化である「ボケ」を補正する機能を有する。劣化画像復元装置１０は、ボケ再現部１１、ボケ補正部１２、判定部１３、及び、フレームメモリ１４を有する。

ボケ再現部１１は、入力画像に対し所定の画像劣化を加える。所定の画像劣化とは、例えば、カメラのレンズボケ等による画像の変化である。カメラのレンズボケによる画像の変化は、例えば、点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ（以下、「ＰＳＦ」という。））によって表される。

図２は、ガウス関数により近似的に表現されたＰＳＦの図である。ガウス関数によるＰＳＦは、次式（１）により表される。

なお、Ｑは、正規化定数である。また、自然数ｒ≧１は、ＰＳＦの半径である。σ＞０は、ガウス関数の標準偏差であり、ボケの大きさを示す。

ボケ補正部１２は、ボケ再現部１１による劣化を加えられた画像と、入力画像との間の二乗誤差が最小になるように補正を行う。判定部１３は、ボケ再現部１１とボケ補正部１２とによるボケの再現とボケの補正とが、所定の反復回数を超えているか否かを判定する。所定の反復回数を超えていない場合には、ボケ補正部１２によりボケの補正が行われた画像を、フレームメモリ１４に格納させる。所定の反復回数を超えている場合には、ボケ補正部１２によりボケの補正が行われた画像を、復元画像として出力させる。

本実施の形態では、画像の劣化課程をモデルにより実現することにより、ボケの補正を行う。以下、画像の劣化過程のモデル化と、その劣化課程によるボケの補正について、説明する。

入力画像を列ベクトルとして、ベクトル状に並べたものをｙとする。例えば、画像の水平方向の画素値を垂直方向に1画素ずつずらしながら順につなげれば、画像を列ベクトルで表現できる。画像の大きさを横Ｍ_１画素、縦Ｍ_２画素とすると、ｙは、Ｍ_１×Ｍ_２サイズの列ベクトルとなる。

また、劣化画像復元装置１０の出力となる復元画像をｘと表す。ｘもＭ_１×Ｍ_２サイズの列ベクトルとなる。復元画像を劣化させそれにノイズをのせたものが入力画像になる、と考えると画像の劣化過程は次式（２）のモデル化をすることができる。

なお、Ｈは点応答関数で、復元画像の各点に関してＰＳＦを並べたものであり、（（Ｍ_１×Ｍ_２）×（Ｍ_１×Ｍ_２））サイズの行列である。またｎはノイズである。

ボケ補正部１２が行うボケ補正は、復元画像を劣化させたものと入力画像との二乗誤差が最小となるように復元画像を選ぶことであり、次式（３）で表される最小二乗問題として定式化できる。

また、式（３）は、以下のように書き直すことができる。

ここで、ｘ^Ｔはｘの転置を表す。式（４）を解くことにより、劣化過程が与えられたときに、入力画像に最も近いと思われる復元画像が得られる。式（４）の最適性必要条件は、式（４）をｘに関して微分することにより得られる次式（５）で表される。

式（５）を、ｘに関して解くと、式（６）が得られる。式（６）が、一般化逆フィルタの式である。式（５）に対して勾配法を構成すると式（７）が得られる。

式（７）を離散化すると、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法の方程式である式（８）及び式（９）が得られる。

式（８）及び式（９）において、上付数字は、反復回数（以下、「イテレーション」ともいう。）を表し、α＞０は、ステップサイズを表す。式（８）及び式（９）を、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法による反復数式という。なお、式（８）及び式（９）は、非特許文献２の８６７ページ、（７４）式と同等である。

一般化逆フィルタは、最適性必要条件を満たすｘを、逆行列を計算することにより直接求める。一方、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法は、入力画像を初期解として反復解法により逐次的に解を更新し、それを繰り返すことにより最適性必要条件を満たすｘを求める方法である。

一般化逆フィルタによる復元画像を求める処理は、ノイズの無い場合には、一回の処理で理想的な復元画像を求めることができるが、ノイズのある場合には、復元画像にノイズが発散してしまい望ましい画像を得ることができない。

それに対してＲｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法では、反復を途中で止めることができるため、復元画像にノイズを発散させないことが可能である。したがって、完全な復元ではなくてある程度の復元にはなるものの、ノイズが発散しない望ましい画像を得ることができる。しかし、反復処理が必須であるため計算量が多くなってしまうという課題がある。

本実施の形態では、式（８）及び式（９）を、初期解ｘ^（０）＝ｙに関して再帰的に展開し、一つ以上の所定のイテレーションにおける解ｘ^（ｎ）と入力画像ｙとの関係式を求める。

以下では、実際に展開を行うことによりフィルタリング係数を導く。ｎ＝１のときは、式（８）及び式（９）より、入力画像ｙとの関係式である次式（１０）が導かれる。

ここでＩは単位行列である。
次にｎ＝２、及び、ｎ＝３についても同様に、それぞれ、次式（１１）、及び、式（１２）が得られる。

ｎ＝４以降についても同様に再帰的な展開により、所定のイテレーションｎにおける復元画像ｘ^（ｎ）と入力画像ｙとの関係式を導くことができる。

これらの関係式は、点応答関数が決まると一意に決定できるため、事前に計算しておくことが可能である。つまり入力画像ｙに前記関係式を計算すると任意のイテレーションにおける解ｘ^（ｎ）が1回の処理で計算できる。また、入力画像ｙとこれらの関係式の計算は、フィルタリングとして定式化できる。よって任意のイテレーションにおける前記関係式に相当するフィルタ係数を、ルックアップテーブル（以下、「ＬＵＴ」という。）に格納しておくことにより、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法による画像復元は、入力画像ｙに対するフィルタリング演算として実現できる。任意のイテレーションの画像復元を１回のフィルタリング処理で実現できるため大きな計算量削減効果が期待できる。

なお、これらの関係式については規則性があり、次式（１３）のように2項定理によって定式化することができる。

ここで、Ｘ^（ｎ）を復元行列とする。Ｘ^（ｎ）ｙは、一回の畳み込み処理であるから、これにより1回の処理でnイテレーションの処理が可能となる。しかし、復元行列Ｘ^（ｎ）は、（（Ｍ_１×Ｍ_２）×（Ｍ_１×Ｍ_２））の行列であり、ｘ^（ｎ）のある一画素を処理する畳み込み演算は（Ｍ_１×Ｍ_２）個の積和演算、すなわち、画面全体の積和演算となる。これは、非常に大きな計算量である。

本実施の形態では、さらに上式（１３）による処理を、画面全体の処理から局所処理へと発展させる。そうすることにより画面全体の畳み込みから、局所領域の畳み込みとなり、局所的なフィルタリングが実現できる。

任意の画素位置（ｉ，ｊ）^Ｔを中心とした局所矩形領域（以下、「ローカルカーネル」という。）内の入力画像を列ベクトルとしてベクトル状に並べたものをｙ_ｉとする。例えば、ローカルカーネル内で、画像の水平方向の画素値を垂直方向に1画素ずつずらしながら順につなげれば、画像を列ベクトルで表現できる。同様に、画素位置（ｉ，ｊ）^Ｔのローカルカーネル内の復元画像をｘ_ｉ ^（ｎ）とする。同様に、点応答関数は、画素位置（ｉ，ｊ）^Ｔのローカルカーネル内で生成したものをＨ_ｉとする。ローカルカーネルは、例えば、（（２Ｌ＋１），（２Ｌ＋１））サイズの正方領域とする。

このとき、ｙ_ｉとｘ_ｉ ^（ｎ）とは、（（２Ｌ＋１）＊（２Ｌ＋１））の列ベクトル、Ｈ_ｉは、（（２Ｌ＋１）＊（２Ｌ＋１）×（２Ｌ＋１）＊（２Ｌ＋１））の行列である。このとき、画素位置（ｉ，ｊ）^Ｔのローカルカーネルの復元行列は、次式（１４）となる。

さらに、画素位置（ｉ，ｊ）^Ｔの復元画素ｘ_ｉ ^（ｎ）に関するフィルタリングを行う場合には、復元行列Ｘ_ｉ ^（ｎ）全体は必要無く、復元画素ｘ_ｉ ^（ｎ）に相当する部分、すなわち、復元行列Ｘ_ｉ ^（ｎ）の第Ｌ＋１行のデータがあれば良い。復元行列Ｘ_ｉ ^（ｎ）の第Ｌ＋１行のデータを取り出し、元のローカルカーネルの画素配置と同じように並べ直した行列をｗ_ｉ ^（ｎ）とし、これを復元フィルタ係数とする。

復元フィルタ係数を使うと、復元フィルタリングは次式（１５）となる。

ここでｙ_ｉは画素位置（ｉ，ｊ）^Ｔの入力画素、＊＊はフィルタ係数ｗ_ｉ ^（ｎ）を使ったローカルカーネルに対する畳み込み演算を表す。

図３は、ローカルカーネルによる復元フィルタリングを説明する図である。図３（ａ）は、画面全体の処理を説明する図であり、式（１４）に示す行列演算の図である。なお、図中、「画面」を「フレーム」と表記する。

図３（ｂ）は、ローカルカーネルに対応する復元行列を説明する図である。図３（ｂ）では、図３（ａ）における復元画素ｘ_ｉ ^（ｎ）に相当する、復元行列Ｘ_ｉ ^（ｎ）の第Ｌ＋１行のデータからなる復元行列が示されている。図３（ｃ）は、図３（ｂ）の行列演算を、復元画素毎のフィルタリング処理として表記したものであり、式（１５）に対応する。

図４は、式（１３）による復元行列から得られる復元フィルタ係数が、ＬＵＴに格納された、劣化画像復元装置の機能構成を示すブロック図である。図４の劣化画像復元装置２００は、復元フィルタリング部２１０、及び、ＬＵＴ保持部２９０を有する。

復元フィルタリング部２１０は、入力される入力画像に対し、ＬＵＴ保持部２９０に格納された復元フィルタ係数を用いて、劣化画像の復元を行う。ＬＵＴ保持部２９０は、所定のイテレーションにおける復元フィルタ係数を保持する。

なお、図中、ステップＳ２１は、ボケ再現部１１による所定の入力画像に対する画像を劣化させる処理であり、ステップＳ２２は、ステップＳ２１において劣化された画像に対する所定のイテレーションにおける復元行列及び復元フィルタ係数を生成する処理である。ステップＳ２１とステップＳ２２の処理とが、入力画像の復元に先んじて行われることにより、ＬＵＴ保持部２９０に保持する復元フィルタ係数が取得され、ＬＵＴ保持部２９０に保持される。

図５は、復元フィルタ係数における打ち切り誤差の補正を説明する図である。図５において、復元フィルタ係数ｗ^（ｎ）のうち、ローカルカーネルｋに対応する部分を用いてフィルタリング処理を行った場合に、打ち切り誤差ｃ１及びｃ２が生じる。より詳細には、本来画像全体処理において復元行列が持っていた、中心から外れた領域の振幅成分が、ローカルカーネルに限定してしまうことによって残ったものが、打ち切り誤差ｃ１及びｃ２である。打ち切り誤差ｃ１及びｃ２が残ったままだとフィルタ係数の総和が1とはならず、フィルタリングの結果がずれてきてしまう。

そこで、復元フィルタ係数ｗ_ｉ ^（ｎ）の和をＱとすると、打ち切り誤差ｃは、ｃ＝１−Ｑで表され、次式（１６）となる。また、打ち切り誤差ｃを用いる復元フィルタ係数の補正は、例えば、次式（１７）で表される。

なお、ω_ｊは、復元フィルタ係数ｗ_ｉ ^（ｎ）の、ｊ番目の要素である。式（１７）のように復元フィルタ係数の全要素に補正する他に、復元フィルタ係数内で振幅が最大のものに対して、ローカルカーネル全体に対応する打ち切り誤差補正係数を適用することにより補正してもよい。

打ち切り誤差を補正した復元フィルタ係数ｗ_ｉ ^（ｎ）‘によるローカルカーネル内の入力画像ｙ_ｉに対するフィルタリングは、次式（１８）で表される。

図６は、図４の復元フィルタリング部２１０における処理の詳細を説明するフロー図である。図６では、劣化した入力画像ｙに対し、復元処理が行われることにより、出力画像ｘが得られる。

図６では、各処理に先んじて、入力画像ｙが、劣化画像復元装置に入力される。ステップＳ１０１では、出力画像の変数ｘが定義される。例えば、出力画像ｘに対応するデータ領域がメモリ上に確保される。ステップＳ１０１に続いてステップＳ１０２に進み、ＬＵＴ保持部２９０から復元フィルタ係数ｗが読み出される。

ステップＳ１０２に続くステップＳ１０３からステップＳ１０７では、ステップＳ１０２で取得された復元フィルタ係数ｗにより、入力画像ｙに対する復元画像ｘを取得する処理が行われる。

ステップＳ１０２に続くステップＳ１０３では、入力画像の一画面に対する復元処理が開始される。ここでは、画面内の画素位置（ｉ，ｊ）が初期化される。ステップＳ１０３に続いてステップＳ１０４に進み、一の画素に対するローカルカーネルによる復元フィルタリング処理のループが開始される。

より詳細には、例えば、ローカルカーネルの半径をＬとし、画面の横方向に、−Ｌ≦ｋ≦Ｌ，画面の縦方向に、−Ｌ≦ｌ≦Ｌの範囲の入力画素ｙによるフィルタリング処理が行われる。そこで、ステップＳ１０３に続くステップＳ１０４では、ローカルカーネルの中心画素ｘ（ｉ，ｊ）の値を０に初期化する。

ステップＳ１０４に続いてステップＳ１０５に進み、次式（１９）による復元フィルタリング処理が行われる。より詳細には、ローカルカーネル内の各入力画素に対して復元フィルタリング係数を乗じた値が演算され、既に演算されている値に加算される。
ｘ（ｉ，ｊ）＋＝ｗ（ｋ，ｌ）＊ｙ（ｉ＋ｋ，ｊ＋ｉ）・・・・（１９）

ステップＳ１０５に続いてステップＳ１０６に進み、ローカルカーネル内の全ての入力画素ｙに対する式（１９）の演算が行われている場合には、ステップＳ１０７に進み、行われていない場合には、ステップＳ１０４に戻って処理を繰り返す。ステップＳ１０６に続くステップＳ１０７では、処理中の一画面内の全画素に対し、ローカルカーネルによる復元処理が行われたか否かが判断される。全画素に対する復元処理が終了している場合には、処理を終了し、出力画像ｘを出力する。一方、復元処理が終了していない画素が残っている場合には、ステップＳ１０３に戻って処理を繰り返す。

なお、ステップＳ１０４からステップＳ１０６の処理において、ローカルカーネルの端が、画面の外に存在する場合には、画面の外の画素値は、画面内の画素のミラーリング処理により取得されてもよく、また、所定の画素値を用いてもよい。

以上のように本実施の形態によれば、任意のイテレーションの画像復元処理を、一回のフィルタリング処理として実現できるため、計算量を大幅に削減できる。

図７は、一以上のイテレーションのそれぞれに対応する復元フィルタ係数を用いる劣化画像復元装置３００を説明する図である。図４の劣化画像復元装置２００では、所定の回数の反復復元処理を、1回のフィルタリング処理で等価に実現する。これにより少ない計算量で復元性能を高めることができる。しかしながら、等価に実現するイテレーションを大きくし過ぎるとノイズの影響も大きくなり望ましい復元画像とならなくなってしまうことがある。

図７の劣化画像復元装置３００は、一つ以上複数のイテレーションを実現した復元フィルタ係数を用意しておき、ノイズ量を推定し、推定されたノイズ量に応じて前記複数の復元フィルタ係数からいずれか一つを選択し復元フィルタリングを行う。

劣化画像復元装置３００は、復元フィルタリング部３１０、ノイズ量推定部３２０、セレクタ３３０、ＬＵＴ保持部３９０ａ、ＬＵＴ保持部３９０ｂ、ＬＵＴ保持部３９０ｃ、及び、ＬＵＴ保持部３９０ｄを有する。

ＬＵＴ保持部３９０ａないし３９０ｄは、各々、異なるイテレーションに対応する復元フィルタ係数を保持する。図中では、ｎ＝１、５、１０、Ｎを、それぞれ、ＬＵＴ保持部３９０ａないし３９０ｄが保持する復元フィルタ係数のイテレーションとしている。

ノイズ量推定部３２０は、劣化された入力画像のノイズ量を、ローカルカーネルに対応する矩形領域毎に推定する。セレクタ３３０は、ノイズ量推定部３２０により推定されたノイズ量に基づいて、ＬＵＴ保持部３９０ａないし３９０ｄのうち、一のＬＵＴ保持部から、復元フィルタ係数を取得する。

より詳細には、次のように、復元フィルタ係数を取得するＬＵＴ保持部を決定する。イテレーションが小さいものは、復元性能も小さいがノイズを大きく増幅しない。またイテレーションが大きいものは、復元性能は高いがノイズも大きく増幅してしまう。そこで推定されたノイズ量が大きい場合にはイテレーションが小さい復元フィルタを選択し、推定されたノイズ量が小さい場合にはイテレーションが大きい復元フィルタを選択する。なお、ノイズ量の値とイテレーションの値との対応は、例えば、複数の所定のノイズ量の値を閾値とすることにより、各々、対応づけるとよい。このようにすることにより、復元性能とノイズ増幅のバランスを取ることが可能となる。

復元フィルタリング部３１０は、入力画像に対し、セレクタ３３０により取得された復元フィルタ係数による処理を行い、出力画像を出力する。

なお、図中、ステップＳ３１は、ボケ再現部１１による所定の入力画像に対する画像を劣化させる処理であり、ステップＳ３２は、ステップＳ３１において劣化された画像に対する異なる複数のイテレーションにおける復元行列及び復元フィルタ係数を生成する処理である。ステップＳ３１とステップＳ３２の処理とが、入力画像の復元に先んじて行われることにより、ＬＵＴ保持部３９０ａないし３９０ｄのそれぞれに保持される、異なるイテレーションに対応する復元フィルタ係数が取得される。

図８は、劣化画像復元装置１００のハードウェア構成を示したブロック図である。図８に示すように、劣化画像復元装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、操作部１０２、表示部１０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０５、信号入力部１０６、及び、記憶部１０７を有し、各部はバス１０８により接続されている。

ＣＰＵ１０１は、ＲＡＭ１０５の所定領域を作業領域として、ＲＯＭ１０４等に予め記憶された各種プログラムとの協働により各種処理を実行し、劣化画像復元装置１００を構成する各部の動作を統括的に制御する。ＣＰＵ１０１は、また、ＲＯＭ１０４等に予め記憶されたプログラムとの協働により、本実施形態に係る劣化画像復元方法を実行する。

操作部１０２は、各種入力キー等を備え、ユーザーから操作入力された情報を入力信号として受け付け、その入力信号をＣＰＵ１０１に出力する。

表示部１０３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示手段により構成され、ＣＰＵ１０１からの表示信号に基づいて、各種情報を表示する。なお、表示部１０３は、操作部１０２と一体的にタッチパネルを構成する態様としてもよい。

ＲＯＭ１０４は、劣化画像復元装置１００の制御に係るプログラムや各種設定情報等を書き換え不可能に記憶する。ＲＡＭ１０５は、例えば、ＳＤＲＡＭ等の記憶手段であって、ＣＰＵ１０１の作業エリアとして機能し、バッファ等の役割を果たす。

信号入力部１０６は、動画像や音声を電気信号に変換し、映像信号としてＣＰＵ１０１に出力するものである。信号入力部１０６は、放送番組受信機（チューナー）等を用いるとよい。

記憶部１０７は、磁気的又は光学的に記録可能な記憶媒体を有し、信号入力部１０６を介して取得された映像信号、又は、図示しない通信部やＩ／Ｆ（インターフェース）等を介して外部から入力される映像信号等のデータを記憶する。

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。

Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法による劣化画像を復元する機能構成を示すブロック図である。 ガウス関数により近似的に表現されたＰＳＦの図である。 ローカルカーネルによる復元フィルタリングを説明する図である。 復元フィルタ係数がＬＵＴに格納された機能構成を示すブロック図である。 打ち切り誤差の補正を説明する図である。 復元フィルタリング部における処理の詳細を説明するフロー図である。 一以上のイテレーションのそれぞれに対応する復元フィルタ係数を用いる機能構成を説明する図である。 劣化画像復元装置のハードウェア構成を示したブロック図である。

符号の説明

１０ 劣化画像復元装置
１１ ボケ再現部
１２ ボケ補正部
１３ 判定部
１４ フレームメモリ
１００ 劣化画像復元装置
１０２ 操作部
１０３ 表示部
１０６ 信号入力部
１０７ 記憶部
１０８ バス
２００ 劣化画像復元装置
２１０ 復元フィルタリング部
２９０ ＬＵＴ保持部
３００ 劣化画像復元装置
３１０ 復元フィルタリング部
３２０ ノイズ量推定部
３３０ セレクタ
３９０ａ ＬＵＴ保持部
３９０ｂ ＬＵＴ保持部
３９０ｃ ＬＵＴ保持部
３９０ｄ ＬＵＴ保持部

Claims (6)

1. 所定の劣化過程により劣化した劣化画像を入力する劣化画像入力ステップと、
   前記劣化画像と復元画像を前記劣化過程により劣化させた画像との間の二乗誤差を最小化する反復式を所定の反復回数に応じて展開した、前記劣化画像を復元するフィルタ処理のフィルタ係数を記憶手段から読み出す係数読出ステップと、
   前記劣化画像に対し前記フィルタ係数による前記フィルタ処理を行うことにより前記劣化画像の復元画像を取得する復元画像取得ステップと、
   を有する劣化画像復元方法。
2. 前記フィルタ処理は、前記フィルタ係数のうち前記劣化画像中の局所領域に対応するフィルタ係数により行われる局所的なフィルタ処理を、前記劣化画像が有する画素毎に該画素を中心とする局所領域毎の畳み込み演算により行う請求項１記載の劣化画像復元方法。
3. 前記局所的なフィルタ処理に用いられるフィルタ係数は、前記局所領域毎に正規化したフィルタ係数である請求項２記載の劣化画像復元方法。
4. 前記記憶手段に、異なる前記所定の反復回数のそれぞれに対応するフィルタ係数が保持されている場合に、
   前記係数読出ステップにおいて、前記劣化画像の劣化度に基づいて、一つの所定の反復回数に対応するフィルタ係数を読み出す請求項１ないし３何れか一項に記載の劣化画像復元方法。
5. 所定の劣化過程により劣化した劣化画像を入力する画像入力手段と、
   前記劣化画像と復元画像を前記劣化過程により劣化させた画像との間の二乗誤差を最小化する反復式を所定の反復回数に応じて展開した、前記劣化画像を復元するフィルタ処理のフィルタ係数が格納された記憶手段と、
   前記劣化画像に対し前記フィルタ係数による前記フィルタ処理を行うことにより前記劣化画像の復元画像を取得する復元画像取得手段と、
   を有する劣化画像復元装置。
6. コンピュータに、
   所定の劣化過程により劣化した劣化画像を入力する劣化画像入力ステップと、
   前記劣化画像と復元画像を前記劣化過程により劣化させた画像との間の二乗誤差を最小化する反復式を所定の反復回数に応じて展開して得られる、前記劣化画像を復元するフィルタ処理のフィルタ係数を記憶手段から読み出す係数読出ステップと、
   前記劣化画像に対し前記フィルタ係数による前記フィルタ処理を行うことにより前記劣化画像の復元画像を取得する復元画像取得ステップと、
   を実行させるためのプログラム。

Images