JP2012138043A - 画像ノイズ除去方法及び画像ノイズ除去装置 - Google Patents

Abstract

【課題】画像自体の輝度分布変化に対応し、画像暗部に存在する輝度変化の再現性を向上し、良好なノイズ除去画像を得る。
【解決手段】ノルム第一変分計算部１２は、対象画像におけるノイズとして定義した局所的な輝度変化に反応する画像ノルムを設定し、その画像ノルムのノイズ抑制項であるノルム第一変分を画素毎に計算する。輝度平均値計算部１３は、対象画像の処理対象画素及びその周辺画素の輝度平均値を計算する。ε計算部１４は、ノルム第一変分によるノイズ抑制の度合いを設定する調整用パラメータεを、輝度平均値に応じた値に計算する。乗算部１５は、ノルム第一変分と調整用パラメータεとを乗算する。加算部１６は、乗算結果に処理対象画素を加算してノイズ除去された処理対象画素データを生成する。
【選択図】図１

Description

本発明は画像ノイズ除去方法及び画像ノイズ除去装置に係り、特に入力画像に混入、発生したノイズや、高域回復等の画像処理により強調されたノイズを削減する画像ノイズ除去方法及び画像ノイズ除去装置に関する。

一般的に、画像におけるノイズは、局所的で微小な振幅を持つ輝度変化と考えることができる。従って、画像におけるノイズは、画像内の一様な輝度領域、例えば、雲の無い青空等では非常に目立ち、画像劣化の要因の一つである。このため、従来から、局所的な輝度変化というノイズの性質を利用した様々な画像ノイズ除去方法が用いられてきた。最も単純な画像ノイズ除去方法としては周辺画素との微分、差分を計算し、その計算結果を対象画素値から減じるという高域除去フィルタによる輝度変化分除去手法がある。

また、平滑化ノルムを用いた画像ノイズ除去方法がある。この画像ノイズ除去方法では、横方向の画素数Ｍ画素、縦方向の画素数Ｎ画素の画像Ｉの平滑化ノルムＥ（Ｉ）を次式により定義する。

この平滑化ノルムは、輝度値の変化割合の強さを示す画素単位の勾配強度の二乗を画像全体で積分した意味を持つ量である。平滑化ノルムは、画素単位の輝度変化に強く反応するため、画素単位の輝度変化をノイズと考えると、元画像Ｉとの誤差がある閾値ＴＨ以内という条件下で、この平滑化ノルムを最小にする画像Ｉ’がノイズ除去画像となる。画像Ｉと画像Ｉ’との間の誤差Ｅrr(I,I')は次式で表わされる。

そこで、以下の最小化問題を解くことで、ノイズ除去画像Ｉ’を求めることができる。

これらのノイズ除去方法は、良好なノイズ除去結果が得られるが、ノイズに起因する輝度変化よりも、画像内物体のエッジに起因する不連続な輝度変化に強く反応するため、ノイズだけでなくエッジの先鋭さも除去してしまい、所謂ボケた画像になるという欠点をもつ。

この欠点を解消するため、トータル・バリエーション(Total Variation)ノルム（以下、ＴＶノルムと略す）と呼ばれる画像ノルムを用いた画像ノイズ除去方法が従来知られている（例えば、非特許文献１参照）。この従来の画像ノイズ除去方法によれば、ＴＶノルムが画素単位の勾配強度の絶対値を画像全体で積分したノルムで、前述の平滑化ノルムと比較してエッジの不連続変化への反応が小さいため、ＴＶノルムを最小化してもエッジのボケが無くノイズのみ除去された良好な結果を得ることができる。

一般的に、ＴＶノルムの最小化による画像ノイズ除去方法の場合、最小化問題の解は、画素単位の時間発展アルゴリズムの収束解となり、以下の漸化式として定式化できる。

G_n+1(x,y)＝G_n(x,y)＋ε(f(G_n)) （４）
ここで、上式中、G_n(x,y)は第ｎ回目の漸化処理時に相当する画像の(x,y)位置の画素値を示し、f(G_n)はＴＶノルムにより求められたノイズ抑制項である。一般に、ノイズ抑制項はＴＶノルムの第一変分に相当するdiv(▽G_n(x,y)/|▽G_n(x,y)|)となる。また、εは調整用パラメータで結果的にノイズ抑制の度合いを設定する値となる。

また、適応制御のため画像からノイズの分散を抽出、設定し、分散値に応じてノイズ除去を行う画像ノイズ除去方法も従来知られている（例えば、特許文献１参照）。

特開２０１０−２１１５５２号公報

Jean-Francois Aujol,etal,"Image Decomposition into a Bounded Variation Component and an Oscillating Component",Journal of Mathematical Imaging and Vision 22,p.71-88,2005

非特許文献１記載の従来の画像ノイズ除去方法では、画面内のノイズの特性や原画の輝度分布が、空間、時間方向で一定であれば、調整用パラメータεは固定値でよく、良好なノイズ除去が期待できる。しかしながら、非特許文献１記載の従来の画像ノイズ除去方法では、対象が自然画であったり、ノイズ特性が動的に変化する場合は、調整パラメータεを適応的に制御し、画面及びノイズ特性の変化に追従しないとノイズが除去しきれなかったり必要なテクスチャ成分まで消えてしまう。

また、特許文献１記載の従来の画像ノイズ除去方法では、分散に起因するノイズ特性の変化には追従できるものの、画像自体の輝度分布変化には対応できないという問題がある。

画像自体の輝度分布変化で最も問題になるのは、影などの暗部において、輝度のダイナミックレンジが低くなった物体描写の再現性である。ＴＶノルムのような微分系のノルムの場合、輝度の変化量は反映されるが、輝度値自体の値は反映されない。従って、低ダイナミックレンジとなる暗部では相対的に反応が強くなりすぎ、結果、ノイズだけでなく暗部物体自体の輝度変化まで除去されてしまい、精細感の無い平坦な画像となる。

本発明は以上の点に鑑みなされたもので、画像自体の輝度分布変化に対応し、画像暗部に存在する輝度変化の再現性を向上し、良好なノイズ除去画像を得ることができる画像ノイズ除去方法及び画像ノイズ除去装置を提供することを目的とする。

上記目的を達成するため、本発明の画像ノイズ除去方法は、対象画像におけるノイズとして定義した局所的な輝度変化に反応する画像ノルムを設定し、その画像ノルムのノイズ抑制項を画素毎に計算するノイズ抑制項計算ステップと、対象画像の処理対象画素及びその周辺画素の輝度平均値を計算する輝度平均値計算ステップと、ノイズ抑制項によるノイズ抑制の度合いを設定する調整用パラメータを、輝度平均値に応じた値に計算する調整用パラメータ計算ステップと、ノイズ抑制項計算手段により計算されたノイズ抑制項と調整用パラメータ計算手段により計算された調整用パラメータとを乗算し、その乗算結果に処理対象画素を加算してノイズ除去された処理対象画素データを生成する演算ステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明の画像ノイズ除去方法は、上記演算ステップが、ノイズ抑制項を積算して画面全体の画像における総和量を求める機能を更に有し、総和量と調整用パラメータとの乗算結果が、予め設定した閾値未満となるまで、加算ステップにより得られた前処理対象画素データを次の処理対象画素として、ノイズ抑制項計算ステップ、輝度平均値計算ステップ、調整用パラメータ計算ステップ及び演算ステップによる各動作を繰り返し行わせ、総和量と調整用パラメータとの乗算結果が閾値未満となった時の演算ステップにより得られる演算結果を、ノイズ除去された画像データとして出力する出力ステップを更に含むことを特徴とする。

また、上記の目的を達成するため、本発明の画像ノイズ除去装置は、対象画像におけるノイズとして定義した局所的な輝度変化に反応する画像ノルムを設定し、その画像ノルムのノイズ抑制項を画素毎に計算するノイズ抑制項計算手段と、対象画像の処理対象画素及びその周辺画素の輝度平均値を計算する輝度平均値計算手段と、ノイズ抑制項によるノイズ抑制の度合いを設定する調整用パラメータを、輝度平均値に応じた値に計算する調整用パラメータ計算手段と、ノイズ抑制項計算手段により計算されたノイズ抑制項と調整用パラメータ計算手段により計算された調整用パラメータとを乗算し、その乗算結果に処理対象画素を加算してノイズ除去された処理対象画素データを生成する演算手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明の画像ノイズ除去装置は、上記演算手段が、ノイズ抑制項を積算して画面全体の画像における総和量を求める機能を更に有し、総和量と調整用パラメータとの乗算結果が、予め設定した閾値未満となるまで、演算手段により得られた前処理対象画素データを次の処理対象画素として、ノイズ抑制項計算手段、輝度平均値計算手段、調整用パラメータ計算手段及び演算手段による各動作を繰り返し行わせ、総和量と調整用パラメータとの乗算結果が閾値未満となった時の演算手段からの演算結果を、ノイズ除去された画像データとして出力する出力手段を更に有することを特徴とする。

本発明によれば、処理対象画素を含めた周辺画素の輝度平均値に応じた調整用パラメータによりノルム抑制項を適応制御することで、画像自体の輝度分布変化に対応し、画像暗部に存在する輝度変化の再現性を向上し、良好なノイズ除去画像を得ることができる。

本発明の画像ノイズ除去装置の一実施の形態のブロック図である。 本発明の画像ノイズ除去方法の一実施の形態のフローチャートである。 対象画素を含めた周辺画素の定義を説明する図である。

次に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明になる画像ノイズ除去装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の画像ノイズ除去装置１０は、原画像又は後述のフレームメモリ１７からの画素データをフレーム単位で記憶するフレームメモリ１１と、フレームメモリ１１からの画素データＡに対して所定のノルム第一変分計算を行うノルム第一変分計算部１２と、フレームメモリ１１からの画素データＡの輝度平均値を計算する輝度平均値計算部１３と、調整パラメータεを計算するε計算部１４と、乗算部１５と、加算部１６と、加算部１６で得られた加算結果Ａ’をフレーム単位で記憶してフレームメモリ１１へ出力するフレームメモリ１７と、加算結果Ａ’が所定の条件を満足するかどうかを判断し、満足するとき、その加算結果Ａ’を外部へ出力する出力部１８とより構成される。

ノルム第一変分計算部１２は、対象画像におけるノイズとして定義した局所的な輝度変化に反応する画像ノルムを設定したとき、その画像ノルムのノイズ抑制項である第一変分をフレームメモリ１１からの画素データＡの画素毎に計算する、本発明のノイズ抑制項計算手段を構成している。

ε計算部１４は、輝度平均値計算部１３からの輝度平均値に基づいて、調整パラメータεを計算する。乗算部１５は、ノルム第一変分計算部１２とε計算部１４の各出力データを乗算する。加算部１６は、フレームメモリ１１から読み出された画素データＡと乗算部１５から出力された乗算結果とを加算して加算結果Ａ’を得る。乗算部１４と加算部１５とは、本発明の演算手段を構成している。

次に、本実施の形態の画像ノイズ除去装置１０の動作について、図２のフローチャート等を併せ参照して説明する。

本実施の形態の画像ノイズ除去装置１０は、対象画像におけるノイズを局所的な輝度変化と定義し、輝度変化に反応する画像ノルムを設定し、この画像ノルムを最小化することで画像ノイズを低減、除去する装置である。ここで、本実施の形態で用いる画像ノルムは輝度変化に反応するノルムであれば制限は無いが、特に効果がある微分系のノルムであるＴＶノルムを用いるものとする。また、本実施の形態では、簡略のためモノクロ画像を対象として説明するが、本実施の形態と同じ手法を赤（Ｒ）、緑（Ｇ）、青（Ｂ）等の色要素毎に行うか、輝度-色分離して輝度要素にのみ処理を行うことでカラー画像に容易に拡張できる。

まず、フレームメモリ１１は原画像を１フレーム分格納する。フレームメモリ１１に格納された画像の画素値は、（４）式の漸化式におけるＧ_n(x,y)で表わされる。原画像の場合、上記のＧ_n(x,y)は、Ｇ₀(x,y)＝(ｘ，y）で表わされる（ステップＳ１）。

ノルム第一変分計算部１２は、フレームメモリ１１から読み出された画素データＡを順次入力され、第一変分を計算する（ステップＳ２）。（４）式にＴＶノルムの第一変分を代入した処理式を（５）式に示す。

Ｇ_n+1(x,y)＝Ｇ_n(x,y)＋ε(div(▽G_n(x,y)/|▽G_n(x,y)|)) （５）
（５）式中、右辺第二項の調整パラメータεと乗算されるdiv(▽G_n(x,y)/|▽G_n(x,y)|が第一変分であり、その具体的な離散式は前述した非特許文献１に開示されている。なお、このとき第一変分計算のアルゴリズムに必要な対象画素の周辺画素のデータも同時にノルム第一変分計算部１２に入力される。非特許文献１の第一変分計算式を用いる場合、上記の周辺画素は対象画素の上下左右各１画素である。

また、同時にフレームメモリ１１から読み出された画素データＡは、調整パラメータεの適応制御のために、輝度平均値計算部１３にも入力される。輝度平均値計算部１３は、次式で表わされる平均値Ｅ_n(x,y)を計算する（ステップＳ３）。

Ｅ_n(x,y)＝｛ΣP_n(x,y)｝／９ （６）
ただし、（６）式中、P_n(x,y)は対象画素の周辺画素の集合を示す。周辺画素の定義は任意であるが、ここでは図３に示すような対象画素を含めた９画素としている。図３において、対象画素は横方向３画素及び縦方向３画素の計９画素の中心位置にある画素Ｇ_n(x,y)であり、それ以外の８画素が周辺画素である。

次に、ε計算部１４は、輝度平均値計算部１３により計算された平均値Ｅ_n(x,y)を用いて、調整パラメータεを次式により計算する（ステップＳ４）。

ε＝Ｅ_n(x,y)／２５６ （７）
ここで、Ｅ_n(x,y)を変数として調整パラメータεを求める関数は任意であるが、暗部で抑制項を弱めるという目的からすると比例関係が基本である。なお、（７）式中、「２５６」の除算は、８ビット画像のダイナミックレンジで０から１に正規化した意味である。（７）式は単純な正比例関係の式であるので、暗部であればノイズ抑制項の影響が少なくなり、その結果、暗部物体の再現性が上がると同時に、明部のノイズ除去能力は保持される。なお、（７）式の値に特許文献１に記載された分散量を加えることで、ノイズ変化にも対応できる。

次に、乗算部１５は、ノルム第一変分計算部１２により計算されたノルム第一変分と、ε計算部１４で計算された調整パラメータεとを乗算し、ノイズ抑制項を示す乗算結果を得る（ステップＳ５）。この乗算部１５により得られる乗算結果（ノイズ抑制項）は、（５）式の右辺第二項で表わされる。

次に、加算部１６は、乗算部により得られる乗算結果（ノイズ抑制項）とフレームメモリ１１から読み出された画素データＡ（ここでは、Ｇ_n(x,y)）とを加算して、（５）式で表わされる加算後画素データＡ’を生成する（ステップＳ６）。また、同時に加算部１６は、乗算結果（ノイズ抑制項）を積算し、画面全体での総和量を求める。

フレームメモリ１７は、加算部１６から出力された加算後画素データＡ’を１フレーム分格納した後、フレームメモリ１１に供給して格納させる。フレームメモリ１１は、フレームメモリ１７から入力された加算後画素データＡ’を次の処理対象画素データＧ_n(x,y)としてノルム第一変分計算部１２、輝度平均値計算部１３及び加算部１６に供給し、上述した動作を繰り返させる。

出力部１８は、加算部１６からの画面全体のノイズ抑制項の総和量が次式の不等式を満足するか否かを判定する（ステップＳ７）。

Σ｛Ｇ_n+1(x,y)−Ｇ_n(x,y)｝＜ＴＨ （８）
（８）式の左辺はノイズ抑制項の画面全体の総和量を示し、また右辺のＴＨは所定の閾値を示す。

出力部１８は、画面全体のノイズ抑制項の総和量が閾値ＴＨ未満になるまで（５）式の演算結果を求める上記の処理を繰り返させ、画面全体のノイズ抑制項の総和量が閾値ＴＨ未満になった時に、その時点のフレームメモリ１７の格納画像データをノイズ除去処理された画像データＧ_n+1(x,y)として外部へ出力する。

このように、本実施の形態の画像ノイズ除去装置１０は、入力のフレームメモリ１１と出力のフレームメモリ１７の格納画像データを交互に交換しながら反復処理を行い、画面全体のノイズ抑制項の総和量が閾値ＴＨ未満になった時に、その時点のフレームメモリ１７からノイズ除去された画像データを得ることができる。動画の場合は、次の入力画像を原画像としてフレームメモリ１１に格納し、上記処理を繰り返す。

なお、本発明は上記の実施の形態に限定されるものではなく、例えば、処理量を削減したい場合、実施の形態のような閾値による収束判定ではなく、ある固定回数で繰返しを打ち切ってもよい。

１０ 画像ノイズ除去装置
１１、１７ フレームメモリ
１２ ノルム第一変分計算部
１３ 輝度平均値計算部
１４ ε計算部
１５ 乗算部
１６ 加算部
１８ 出力部

Claims (4)

1. 対象画像におけるノイズとして定義した局所的な輝度変化に反応する画像ノルムを設定し、その画像ノルムのノイズ抑制項を画素毎に計算するノイズ抑制項計算ステップと、
   前記対象画像の処理対象画素及びその周辺画素の輝度平均値を計算する輝度平均値計算ステップと、
   前記ノイズ抑制項によるノイズ抑制の度合いを設定する調整用パラメータを、前記輝度平均値に応じた値に計算する調整用パラメータ計算ステップと、
   前記ノイズ抑制項計算手段により計算された前記ノイズ抑制項と前記調整用パラメータ計算手段により計算された前記調整用パラメータとを乗算し、その乗算結果に前記処理対象画素を加算してノイズ除去された処理対象画素データを生成する演算ステップと
   を含むことを特徴とする画像ノイズ除去方法。
2. 前記演算ステップは、前記ノイズ抑制項を積算して画面全体の画像における総和量を求める機能を更に有し、
   前記総和量と前記調整用パラメータとの乗算結果が、予め設定した閾値未満となるまで、前記加算ステップにより得られた前処理対象画素データを次の処理対象画素として、前記ノイズ抑制項計算ステップ、前記輝度平均値計算ステップ、前記調整用パラメータ計算ステップ及び前記演算ステップによる各動作を繰り返し行わせ、前記総和量と前記調整用パラメータとの乗算結果が前記閾値未満となった時の前記演算ステップにより得られる演算結果を、ノイズ除去された画像データとして出力する出力ステップを
   更に含むことを特徴とする請求項１記載の画像ノイズ除去方法。
3. 対象画像におけるノイズとして定義した局所的な輝度変化に反応する画像ノルムを設定し、その画像ノルムのノイズ抑制項を画素毎に計算するノイズ抑制項計算手段と、
   前記対象画像の処理対象画素及びその周辺画素の輝度平均値を計算する輝度平均値計算手段と、
   前記ノイズ抑制項によるノイズ抑制の度合いを設定する調整用パラメータを、前記輝度平均値に応じた値に計算する調整用パラメータ計算手段と、
   前記ノイズ抑制項計算手段により計算された前記ノイズ抑制項と前記調整用パラメータ計算手段により計算された前記調整用パラメータとを乗算し、その乗算結果に前記処理対象画素を加算してノイズ除去された処理対象画素データを生成する演算手段と
   を有することを特徴とする画像ノイズ除去装置。
4. 前記演算手段は、前記ノイズ抑制項を積算して画面全体の画像における総和量を求める機能を更に有し、
   前記総和量と前記調整用パラメータとの乗算結果が、予め設定した閾値未満となるまで、前記演算手段により得られた前処理対象画素データを次の処理対象画素として、前記ノイズ抑制項計算手段、前記輝度平均値計算手段、前記調整用パラメータ計算手段及び前記演算手段による各動作を繰り返し行わせ、前記総和量と前記調整用パラメータとの乗算結果が前記閾値未満となった時の前記演算手段からの演算結果を、ノイズ除去された画像データとして出力する出力手段を
   更に有することを特徴とする請求項３記載の画像ノイズ除去装置。

Images