JP2014526111A - 画像のノイズ除去、圧縮および補間のための異方性勾配の正則化 - Google Patents

Abstract

異方性勾配の正則化を使用した画像のノイズの除去が、最初に、画像のエッジ方向を選択することにより開始される。その後、異方性勾配のノルムが、選択されたエッジ方向に沿った異方性勾配のノルムから画像について規定される。画像の画素が調整されて画像についての異方性勾配のノルムが最小化され、それにより画像のノイズが除去される。

Description

本発明は、ビデオ画像を復元するための技術に関し、より詳細には、画像のノイズを除去するための技術に関する。

画像の復元は概して、ノイズのあるまたは他の欠陥のある画像から（未知の）原画像を推定する処理を構成する。理想的には、推定される画像には実質的にノイズが含まれないはずであるため、画像の復元により、ノイズ除去された形式が構成される。画像の復元中、勾配画像解析等の種々のツールが有用であることが分かる。自然画像中の隣接画素間の違いは小さく現れることが多いが、自然画像が歪曲すると通常画像勾配における明度値のｌ１およびｌ２ノルムは増加するため、勾配画像解析は画像歪曲の尺度を提供することができる。

画像勾配はまた、画像の復元、特に画像のノイズ除去、においてある役割を担う。全変動（ＴＶ）は、画像勾配を利用するものであり、画像エッジを保存しながらノイズ除去を実行する能力があるため、画像のノイズ除去のための一般的なツールとして機能する。加えて、ＴＶノイズ除去は、低解像度のバージョンから非常に良好に高解像度画像を生成し、完成どの低い情報を伴う画像を回復させるのに役立つ。

典型的には、全変動の計算は、水平勾配画像および垂直勾配画像によって決まる。画像を、その水平勾配画像

および垂直勾配画像

より、以下のように定義することができる。

そして、全変動（ＴＶ）は以下により計算される。

又は、

古典的ＴＶノイズ除去では、Ｒｕｄｉｎ−Ｏｓｈｅｒ−Ｆａｔｅｍｉ（ＲＯＦ）のノイズ除去モデル

を最少化しようとする。ここで、ｎはノイズのある画像であり、ＴＶ（ｆ）はｆの全変動を表し、λはノイズ除去強度を制御するパラメータである。

従来のＴＶ正則化では、方程式（２）で提供されるように、画像の内容を考慮しない。むしろ、従来のＴＶノイズ除去は、水平方向および垂直方向の両方向から等しい強度で画像を平滑化する働きをする。従って、エッジは、特に斜めのエッジが、ＴＶノイズ除去の後、多かれ少なかれ平滑化される。

改良版のＴＶは、方向性全変動と称され、エッジ方向とそれに直交する方向に沿った一対の勾配画像のｌ２ノルムを利用する。方向性ＴＶ正則化は、従来のＴＶ正則化よりも主観的品質および客観的品質の両方において性能が優れ、かつ、斜めのテクスチャおよびエッジの保存において特に良好である。対照的に、既存のＴＶ正則化技術では、実際に全方向に沿った平滑性を推測する。換言すると、既存のＴＶ正則化技術では、２つの直交する方向に沿った勾配のノルムを最小化することにより、全方向に沿って画像を平滑化しようとする。その結果、既存のＴＶ正則化技術では、必然的にエッジおよびテクスチャがぼやけ、取り去られさえする。異なったより大きな重みを課すことによりエッジに沿った平滑化に重点を置く提案が存在するが、他の方向に沿った勾配のノルムを最小化することには困難を伴う。

従って、上記の不都合を克服するノイズ除去の技術の必要性がある。

簡潔には、本原理の好ましい実施形態によると、異方性勾配の正則化を使用して画像のノイズを除去する方法が、最初に、画像のエッジ方向を選択することにより開始される。その後、異方性勾配のノルムが、選択されたエッジ方向に沿った異方性勾配のノルムから画像について規定される。画像の画素が調整されて画像についての異方性勾配のノルムが最小化され、それにより画像のノイズが除去される。

異方性勾配の正則化を使用して画像のノイズ除去を達成するための本原理によるシステムのブロック概略図である。 異方性画像勾配の候補方向を示すベクトル図である。

図１は、以下でさらに詳細に検討する方法で異方性勾配の正則化を使用して画像のノイズ除去を達成するための本原理による、システム１０を示す。システム１０には、画像のノイズ除去異方性勾配の正則化を行うソフトウェアを実行するコンピュータの形式の、プロセッサ１２が含まれる。プロセッサ１２は、操作者の入力を受け取るための１つまたは複数の従来型のデータ入力装置への接続を享受する。実際には、そのようなデータ入力装置には、キーボード１４およびコンピュータマウス１６が含まれる。プロセッサが生成する出力情報は、モニタ１８上に表示される。加えて、そのような出力情報はまた、ネットワークリンク２０を介して１つまたは複数の送信先に送信可能である。

プロセッサ１２は、プロセッサの内部のまたはプロセッサから分離したハードドライブまたは他の不揮発性記憶装置上に常駐可能なデータベース２２その接続を享受する。データベース２２は、未加工画像情報に加えて処理された画像情報を格納するほか、ソフトウェアおよび／またはプロセッサで使用するためのデータを格納することができる。

システム１０には、プロセッサ１２に１つまたは複数の入来画像に関連するデータを供給するための画像取得装置２４がさらに含まれる。画像取得装置２４は、入来画像に応じて、多くの異なる形態をとることができる。例えば、入来画像が「ライブ」である場合、画像取得装置２４はテレビカメラから成ってよい。画像が前もって記録されている場合は、画像取得装置２４は、そのような画像を格納するための記憶装置から成ってよい。画像が別の場所から生じるものであるような状況では、画像取得装置２４は、プロセッサ１２を、そのような画像を受信するためのネットワーク（図示せず）に連結させるためのネットワークアダプタから成ってよい。図２では、画像取得装置２４がプロセッサから分離して示されるが、画像がどのように生じるかに応じて、画像取得装置２４の機能性をプロセッサ１２内に与えても良い。

本原理の異方性勾配の正則化のノイズ除去技術の実行は、まず、画像勾配を生成させるための候補方向を定義することにより開始される。図２に示すように、８個の候補方向（ａからｈ）が最初に選択されて、画像勾配が生成される。方向性勾配が以下のように定義される。

次に、各方向に沿った勾配のｌ２ノルムの計算が、関係

に従って行われ、ここで、

である。Ｅ_ｋは、方向決定のための機構として機能することができる。

選択されたエッジ方向は、

であり、ここでｔｈは予め定義された閾値である。

方向決定は、以下のステップに従って行われる。

ａ）画像をｎ×ｎ個のブロックの単位で事前処理し、全ての候補方向性勾配を得る。ここでｎはブロックのサイズである。

ｂ）各方向性勾配についてＥ_ｋを計算し、

に従い画像エッジに沿って存在する可能性が最も高い方向を選択する。
ｃ）ステップｂ）で選択された方向がｔｈ２個より多い場合、ｔｈ２個の方向を最大のＥ_ｋと共に保持し、残りを破棄する。典型的にはｔｈ２＝３である。

次に、各画像領域についての検出された方向に沿って、勾配のｌ２ノルムの計算が行われる。画像領域ｆ_ｌの異方性勾配のノルム（ＡＧＮ）が以下のように定義される。

ここで、ｐ、ｑおよびｒは、検出されたエッジ方向であり、α、β、およびγは、勾配に対する重み付けである。一般に、より高い強度を用いたより小さいノルムの方向に沿った画像領域の平滑化（例えば、画像領域内の画素の調整）は、依然として好ましい。

しかし、全ての画像領域について３方向を使用する必要はない。画像領域において検出されたエッジ方向が２個のみの場合、他の重みを０に設定することができる。

画像全体に対して、以下のように、全ての画像領域のＡＧＮの合計から異方性勾配のノルムが計算される。

なお、画像領域の境界画素の勾配には他の画像領域内の画素を必要とするものがあるため、画像のＡＧＮの計算が画像領域を超えて行われることがある。

上記で検討した異方性勾配の正則化技術は、エッジおよびテクスチャを向上させる傾向がある。本技術は、実際のエッジをよりシャープにするが、偽のエッジを生成することも可能である。この問題には、正則化ループにおいて強度適応を利用することにより対処することができる。画像のノイズ除去のための異方性勾配の正則化は、以下のように公式化することができる。

ここで、λは強度パラメータである。
基本的に、画像の平滑な領域に対しては、より小さいλを使用することが可能であり、その逆の場合も同様である。文献においては、λは常に、定数として選択されるか、または、ノイズのある画像ｎとその反復画像ｆ_ｎとの間の差異から反復して推定される。例えば、ｎ番目の反復において、適切なλを以下のように選択することができる。

他の方法では、一定の乗数を使用してλを更新する。例えば、以下の関係を考える。

ここで、λは、ノイズが小さくなるので各反復後に小さくなる。
しかし、λを画像の各領域の内容に従って計算することにより、より良好な結果が得られる。

正則化強度適応の実装は、以下のようにして行われる。λ_０を初期値とすると、λ_ｎが各反復後に更新される。ｎ番目の反復において、勾配の最大ノルムの最小値に対する割合が計算される。

閾値をｔｈとすると、ρは、領域が平滑であるか複雑であるかを概算で示すことができる。
ρ＞ｔｈの場合、領域は比較的平滑である。その時、λ_ｎ＝η_１λ_ｎ−１である。
ρ≦ｔｈの場合、領域は比較的複雑である。その時、λ_ｎ＝η_２λ_ｎ−１である。
ここで、１＞η_２＞η_１＞０である。実際には、η_１＝０．８５、η_２＝０．９５と設定する。
有利には、適応強度を用いた異方性勾配の正則化により、明らかな偽のテクスチャは生成されない。

ノイズのある画像内の画像領域のテクスチャ／エッジの方向について、以下のように画像の異方性勾配のノルム（ＡＧＮ）を最小化することにより異方性勾配の正則化ノイズ除去が行われる。

ここで、ｎは入力されたノイズのある画像である。エッジ方向は上記で検討したように決定される。異方性勾配の正則化ノイズ除去は、従来のＴＶノイズ除去より著しく性能が優れる。

画像エッジを高解像度でシャープに保持することは、補間／超解像においては依然として重大な問題である。直感的なバイリニア／バイキュービック補間では、通常、補間中にぼけが取り込まれる。全変動（ＴＶ）正則化に基づく補間では、より良好な解決方法が提供されるが、これはＴＶ正則化において、以下の関係を使用して、アップサンプリング処理中に以前の情報として自然画像の強度持続性を利用するためである。

ここで、Φはダウンサンプリング行列であり、ｙは低解像度画像であり、ｆはアップサンプリングされたバージョンである。

全変動（ＴＶ）正則化では、画像内のテクスチャおよびエッジを検出および保護しないため、ＴＶ正則化では、シャープな（斜めの）エッジを持つ高解像度画像を生成することができない。しかし、上記で検討したように、本原理のノイズ除去技術は、以下の関係に従ってＡＧＮの最小化に依存する。

本原理の復元技術では、全ての可能性のあるエッジを検出し、かつ、異方性勾配を生成する。そして、異方性勾配のノルムおよびダウンサンプリングされたバージョンと入力画像との間の差を最小化することにより、補間が発生する。このように、アップサンプリングされた画像では、よりエッジがシャープであり、よりぼけが少ない。

上記では画像のノイズを除去するための技術について記述した。

Claims (12)

1. 画像のノイズを除去するための方法であって、
   画像についてのエッジ方向を選択するステップと、
   前記選択されたエッジ方向に沿った異方性勾配のノルムから前記画像についての異方性勾配のノルムを規定するステップと、
   画像の画素を調整して前記画像についての異方性勾配のノルムを最小化し、それによって画像のノイズを除去するステップと
   を含む、前記方法。
2. 前記エッジ方向を選択するステップが、
   前記画像を領域に分割するステップと、
   各画像領域についての複数の最初の方向のそれぞれに沿って勾配ノルムを規定するステップと、
   前記勾配ノルムに従い画像エッジに沿って存在する可能性が最も高いエッジ方向を選択するステップと
   を含む、請求項１に記載の方法。
3. 前記異方性勾配のノルムを規定するステップが、
   前記選択された方向に沿って各画像領域についての異方性勾配のノルムを規定するステップと、
   前記画像領域についての前記異方性勾配のノルムを合計して、前記画像について前記異方性勾配のノルムを算出するステップと
   を含む、請求項２に記載の方法。
4. 各画像領域について前記異方性勾配のノルムを規定するステップが、前記各領域を、より小さい勾配ノルムおよび高い強度を有する方向に沿って平滑化するステップをさらに含む、請求項３に記載の方法。
5. 前記画像の画素が調整されて、以下の関係に従って前記異方性勾配のノルムを最小化し、
   

   

   ここで、ｆは画像領域を表し、ｎは画像のノイズを表し、λは、所与の画像領域の平滑化に応じて反復的に更新される画像の強度パラメータを表す、請求項１に記載の方法。
6. 前記画像の画素が調整されて、以下の関係に従って前記異方性勾配のノルムを最小化し、
   

   

   ここで、ｆは前記画像のアップサンプリングされる行列であり、Φは前記画像のダウンサンプリングされる行列である、請求項１に記載の方法。
7. 画像のノイズを除去するための装置であって、
   前記画像についてのエッジ方向を選択する手段と、
   前記選択されたエッジ方向に沿って異方性勾配のノルムから前記画像についての前記異方性勾配のノルムを規定する手段と、
   画像の画素を調整して前記画像について前記異方性勾配のノルムを最小化し、それによって画像のノイズを除去する手段と
   を含む、前記装置。
8. 前記エッジ方向を選択する手段が、
   前記画像を領域に分割する手段と、
   各画像領域についての複数の最初の方向のそれぞれに沿って勾配ノルムを規定する手段と、
   前記勾配ノルムに従って画像エッジに沿って存在する可能性が最も高いエッジ方向を選択する手段と
   を含む、請求項７に記載の装置。
9. 前記異方性勾配のノルムを規定する手段が、
   前記選択された方向に沿った各画像領域についての異方性勾配のノルムを規定する手段と、
   前記画像領域について前記異方性勾配のノルムを合計して、前記画像についての前記異方性勾配のノルムを算出する手段と
   を含む、請求項８に記載の装置。
10. 各画像領域についての前記異方性勾配のノルムを規定する手段が、前記各領域を、より小さい勾配ノルムおよび高い強度を有する方向に沿って平滑化する手段をさらに含む。請求項９に記載の装置。
11. 前記画像の画素を調整する手段が、以下の関係に従って前記異方性勾配のノルムを最小化し、
    

    

    ここで、ｆは画像領域を表し、ｎは画像のノイズを表し、λは、所与の画像領域の平滑化に応じて反復的に更新される画像の強度パラメータを表す、請求項７に記載の装置。
12. 前記画像の画素を調整する手段が、以下の関係に従って前記異方性勾配のノルムを最小化し、
    

    

    ここで、ｆは前記画像のアップサンプリングされる行列であり、Φは前記画像のダウンサンプリングされる行列である、請求項７に記載の装置。

Images