JP2016165065A

JP2016165065A - 画像用ノイズ低減装置、画像用符号化装置、及びプログラム

Info

Publication number: JP2016165065A
Application number: JP2015044938A
Authority: JP
Inventors: 泰子森田; Yasuko Morita; 境田　慎一; Shinichi Sakaida; 慎一境田
Original assignee: Nippon Hoso Kyokai NHK
Current assignee: Japan Broadcasting Corp
Priority date: 2015-03-06
Filing date: 2015-03-06
Publication date: 2016-09-08

Abstract

【課題】高周波ノイズを含む複数種類のノイズ低減処理を、高速に行うことができる画像用ノイズ低減装置、画像用符号化装置、及びプログラムを提供する。【解決手段】原画像を初期値としてN-1回(N≧1）反復計算を適用した結果である画像に、当該画像の上下左右方向の画素値変動と重みづけ情報から得られるオフセット値を足してN回反復計算を適用した結果の画像を作成することにより、ノイズが低減された画像を得る画像用ノイズ低減装置において、前記重みづけ情報を、原画像を平滑化処理した後の上下左右方向の画素値変動からエッジ部分か否かを示す情報とする。【選択図】図１

Description

本発明は画像処理に関し、特に、画像用ノイズ低減装置、画像用符号化装置、及びプログラムに関するものである。

近年、4K(空間解像度/フレーム周波数：3840x2160/60pなど）、8K（空間解像度/フレーム周波数：7680x4320/60p, 7680x4320/120pなど）といった超高解像度映像の普及が進んでいる。

しかし、超高解像度映像をカメラで撮影すると、センサーの密度が高いために１画素あたりの光量を十分にとることができず、暗部のノイズが目立つという問題点がある。さらに、ノイズを含む映像はHEVC（High Efficiency Video Coding）/H.265などの既存の映像符号化方式では圧縮効率が悪く、ビットレートを低く設定した際に画質劣化が目立つという問題点がある。

図７に8Kカメラで撮影した画像の切り出し部分（640x480画素）を示す。図７にはランダムな縦線状のノイズと粒状のノイズが見られる。

画像のノイズを低減する方法として、非特許文献１には偏微分方程式（PDE: Partial Differential Equation)に基づく様々な手法が記載されている。PDEに基づく最も基本的なノイズ低減手法として、数式（１）に示す熱拡散方程式を用いた手法が知られている。

図９は、図７の画像に対して数式（２）の処理を適用した結果の画像である。dt=0.01とし、反復計算は100回行った。

図９に見られるように、熱拡散方程式を用いた手法では画像が平滑化されてノイズが低減されるものの、エッジ部分もぼけてしまうという問題点がある。これは画像のエッジ部分と平坦な部分が考慮されずに常に等方向に画素値が拡散され、平滑化されるためである。

画像のエッジ部分では画素値の拡散が生じないように改善したPDEによる手法として、数式（３）で示されるPerona, Malikによる非等方拡散法（PMD法: Perona-Malik Anisotropic Diffusion）が知られている。

Perona, Malikは、次式（４）のようにPMDを離散化して、反復法で表すことを提案した。

数式（４）において▽はgradと異なる演算であり、N, S, E, W (North, South, East, West)はそれぞれ上、下、右、左の画素との差を示す。関数ｇ₁，ｇ₂は関数ｇの具体例で画素値を拡散する際の重み付けを決定する関数であり、Ｋは定数である。λの範囲は、第１式が収束する範囲を意味する。

図１０は、図７の画像に対して数式（４）の処理を適用した結果の画像である。変化量λ=0.05とし、関数ｇはｇ₂，Ｋ=30として、反復演算を100回行った。なお、このλは、上記のλの範囲内で適宜選択することができる。

図１０に見られるようにPMDではエッジが保存されるため、図９に比べてぼけ感が少ない。しかし、粒状のノイズが残るという問題点がある。これはPMDでは原画像に高周波ノイズがある場合にエッジとの区別がつかないためである。

この問題点を解決するために、Catteらは次式（５）で示される正則化PMD法を提案した。

数式（５）において、Ｇσは例えばガウシアンフィルタのような平滑化処理を示す。平滑化処理を行った後にエッジ部分の判定を行うため、エッジと高周波ノイズとの区別がつきやすくなる。数式（３）と数式（４）の関係より、数式（５）を離散化すると、次式（６）のようになる。

図１１は、図７の画像に対して数式（６）の処理を適用した結果の画像である。λ=0.01、関数ｇはｇ₂，Ｋ=30、平滑化処理Ｇはσ=1.0の5x5ガウシアンフィルタとして、反復演算を80回（Ｎ＝80）行った。正則化PMD法を用いるとエッジを保ちながら高周波ノイズを低減することができる。

図１２は、数式（６）の処理、すなわち、正則化PMD法による画像用ノイズ低減装置の動作を示すフローチャートである。

まず、ステップ１（以下、Ｓ１のように表記する。）において、ループ計算を行なうための繰り返し回数Ｍを１と初期設定し、Ｓ２へ進む。

Ｓ２において、画像ｕ^M-1の取り込みを行う。画像ｕ^M-1の取り込みは、処理装置の記憶部に、画像ｕ^M-1のデータを読み込んで保存する等の通常の処理を行うことで実現できる。なお、Ｍ＝１のときの画像ｕ⁰は、原画像を用いる。

Ｓ３では、画像ｕ^M-1の各画素について、上下左右の画素との差▽_Nｕ，▽_Sｕ，▽_Eｕ，▽_Wｕ（数式（４）を参照）をそれぞれ計算する。なお、Ｓ３以降の処理ステップは、例えば演算処理装置を利用して実現できる。

Ｓ４では、画像ｕ^M-1に対して、ガウシアンフィルタＧを適用し、Ｓ５へ進む。

Ｓ５において、Ｓ４の処理結果の画像に対して、各画素の上下左右の画素との差▽をそれぞれ計算し、Ｓ６へ進む。

次にＳ６において、Ｓ５の結果に基づいて関数ｇを計算し、係数ｃ_N，ｃ_S，ｃ_E，ｃ_Wをそれぞれ求め、Ｓ７へ進む。これら係数ｃが、エッジ部分か否かを示す重み付け情報となる。

Ｓ７では、Ｓ２で得た画像ｕ^M-1と、Ｓ３で計算した差▽と、Ｓ６で求めた係数ｃを利用し、さらに変化量λを用いて、数式（６）の第１式に基づいて各画素値を計算し、画像ｕ^Mを作成する。

次に、Ｓ８において、Ｍに１を加えて、Ｓ９に進む。

Ｓ９では、繰り返し回数の判定を行う。Ｍと予定された繰り返し回数Ｎとを比較し、ＭがＮを上回っていれば処理を終了する。ＭがＮを上回っていなければ、新たなＭに基づいて、Ｓ２からＳ９までのステップを繰り返す。このようにして、数式（６）の処理が実現できる。

Gilles Aubert and Pierre Kornprobst, "Mathematical problems in image processing: Partial Differential Equations and the Calculus of Variations," Springer, Applied Mathematical Sciences, Vol 147, 2006

熱拡散方程式を使用した方法では高周波ノイズを低減することができるが、エッジがぼやけるという問題点がある。一方、PMD法はエッジを保ったままノイズを低減することができるが、高周波ノイズを低減できないという問題点がある。

正則化PMD法ではエッジを保ったまま高周波ノイズを低減することができるが、平滑化処理を反復ごとに行うために計算量が多く、特に動画像のリアルタイム処理には向いていないという問題がある。

従って、上記のような問題点に鑑みてなされた本発明の目的は、より高速に高周波ノイズを含む複数種類のノイズ低減処理を行うことができる画像用ノイズ低減装置、画像用符号化装置、及びプログラムを提供することにある。

上記課題を解決するために本発明に係る画像用ノイズ低減装置は、第１の画像を平滑化処理した後の上下左右方向の画素値変動からエッジ部分か否かを示す重みづけ情報を求め、原画像を初期値としてN-1回(N≧1）反復計算を適用した結果である第２の画像に、前記第２の画像の上下左右方向の画素値変動と前記重みづけ情報から得られるオフセット値を足してN回反復計算を適用した結果の画像を作成することにより、ノイズが低減された画像を得る画像用ノイズ低減装置であって、前記第１の画像は原画像であることを特徴とする。

また、前記画像用ノイズ低減装置において、前記平滑化処理は畳み込み演算であることが望ましい。

また、前記画像用ノイズ低減装置において、前記画像は動画像であって、前記平滑化処理は前記原画像と連続するフレームの平均化処理であることが望ましい。

また、前記画像用ノイズ低減装置において、前記画像は動画像であって、前記平滑化処理は所定のブロックごとに、畳み込み演算と、前記原画像と連続するフレームの平均化処理とを選択可能であることが望ましい。

また、上記課題を解決するため、本発明に係る画像用符号化装置は、前記画像用ノイズ低減装置を、プレフィルタに備えたことを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記画像用ノイズ低減装置、又は上記画像用符号化装置として機能させることを特徴とする。

本発明における画像用ノイズ低減装置、画像用符号化装置、及びプログラムによれば、ノイズ低減処理を高速に行うことができ、画質が向上するとともに、圧縮した際の符号化効率がよくなるという効果がある。

実施例１の画像用ノイズ低減装置の動作を示すフローチャートである。実施例１のノイズ低減処理を行った結果の画像である。実施例２の画像用ノイズ低減装置の動作を示すフローチャートである。実施例２のノイズ低減処理を行った結果の画像である。本発明の画像用符号化装置のブロック図である。本発明による符号化実験の結果を示すグラフである。画像用ノイズ低減処理を行う対象としての原画像である。ラプラシアンについて説明する図である。熱拡散方程式に基づくノイズ低減処理を行った結果の画像である。 PMD法に基づくノイズ低減処理を行った結果の画像である。正則化PMD法に基づくノイズ低減処理を行った結果の画像である。正則化PMD法の画像用ノイズ低減装置の動作を示すフローチャートである。

以下、本発明の実施の形態について説明する。

（実施の形態１）
実施の形態１として、画像用ノイズ低減装置について説明する。

本発明の実施例１は、平滑化処理としてフィルタの畳み込み演算を利用し、関数ｇを求めて画像のノイズ低減を行う装置である。

動画像の各フレームに対して本発明の実施例１のノイズ低減処理を適用する場合を考える。一般に、静止画に対して数式（６）を適用する際には、より鮮明な画像を得るために、変化量λを微小(0.01〜0.05程度）にして反復計算を100回程度行っている。しかし、動画像では１フレームあたりの表示時間が短いことや動きぼけがあるため、静止画に適用する場合よりも鮮明で無くても良い。したがって、動画像に適用する際には変化量λを大きく（0.05〜0.2程度）とり、反復計算は10回程度とする。

数式（７）に、本発明の実施例１による演算を示す。数式（７）は関数ｇの計算に常に原画像ｕ₀を使用している点で、数式（６）と異なる。

ここで、数式（７）の第１式のように反復演算を行う場合において、右辺第２項は、前の画素値（右辺第１項）に対して加算（又は差し引き演算）していく差分であり、「オフセット値」と呼ばれる。他の式においても同様である。

図１は、数式（７）の処理、すなわち、実施例１の画像用ノイズ低減装置の動作を示すフローチャートである。

まず、Ｓ１において、原画像ｕ₀の取り込みを行う。原画像ｕ₀の取り込みは、ノイズ低減装置の記憶部に、画像ｕ₀のデータを読み込んで保存する等の通常の処理を行うことで実現できる。なお、以降の処理ステップは、例えば演算処理装置を利用して実現できる。

次に、Ｓ２では、画像ｕ₀に対して、ガウシアンフィルタＧを用いた畳み込み演算を適用し、Ｓ３へ進む。

Ｓ３において、Ｓ２の処理結果の画像に対して、各画素の上下左右の画素との差▽をそれぞれ計算し、Ｓ４へ進む。

次にＳ４において、Ｓ３の結果に基づいて関数ｇを計算し、係数ｃ_N，ｃ_S，ｃ_E，ｃ_Wをそれぞれ求め、Ｓ５へ進む。これら係数ｃが、エッジ部分か否かを示す重み付け情報となる。

Ｓ５において、ループ計算を行なうための繰り返し回数Ｍを１と初期設定し、Ｓ６へ進む。

Ｓ６では、画像ｕ^M-1の取り込みを行う。なお、Ｍ＝１のときの画像ｕ⁰は、原画像を用いる。

Ｓ７では、画像ｕ^M-1の各画素について、上下左右の画素との差▽_Nｕ，▽_Sｕ，▽_Eｕ，▽_Wｕ（数４を参照）をそれぞれ計算し、Ｓ８へ進む。

Ｓ８では、Ｓ４で求めた係数ｃと、Ｓ６で得た画像ｕ^M-1と、Ｓ７で計算した差▽とを利用し、さらに変化量λを用いて、数式（７）の第１式に基づいて各画素値にオフセット値を加える計算をし、画像ｕ^Mを作成する。

次に、Ｓ９において、Ｍに１を加えて、Ｓ１０に進む。

Ｓ１０では、繰り返し回数の判定を行う。Ｍと予定された繰り返し回数Ｎとを比較し、ＭがＮを上回っていれば処理を終了する。ＭがＮを上回っていなければ、Ｓ６に戻り、新たなＭに基づいて、Ｓ６からＳ１０までのステップを繰り返す。

図１のフローチャートから明らかなように、計算量を減らすために関数ｇの計算をループ内で更新せず、原画像に基づいて計算（Ｓ１〜Ｓ４）した後は常に同じ値をとるようにしている。

図２は、図７の画像に対して数式（７）の処理（図１のフローチャートの処理）を適用した結果の画像である。図１のＳ４において関数ｇはｇ₂，Ｋ=30とし、Ｓ８においてλ=0.05、平滑化処理Ｇはσ=1.0の5x5ガウシアンフィルタとして、反復演算を10回（Ｎ＝10）行った。反復計算の回数が少ないため、関数ｇ（係数ｃ）が常に同じ値でも影響は少ない。

従来例（図１２の処理）と本実施例（図１の処理）を8Kカラー画像１枚のRGB各コンポーネントに適用して計算時間を比較した。反復計算の回数をＮ＝10として３回実行した平均で、本実施例は従来例の2.90倍速く、高速化が図られていることが確かめられた。

本実施例では、平滑化フィルタとしてσ=1.0の5x5のガウシアンフィルタを用いたが、σはこの他の値でも良いし、フィルタは3x3など他のサイズでも良い。また、例えば3x3や5x5など各係数が1/(N×N)となるようなN×N平滑化フィルタの畳み込み演算を行っても良い。本実施例では関数ｇはｇ₂，Ｋ=30としたが、他の関数やパラメータを使用しても良い。本実施例をカラー画像に適用する場合は、RGB, YUVの各コンポーネントに対して同様の処理を行っても良いし、RGB画像のGのみやYUV画像の輝度値Yのみに適用しても良い。

本実施例は、動画像を例として説明したが、静止画像に適用することもできる。

本発明の実施例２は、平滑化処理としてフレーム間の平均値を利用し、関数ｇを求めて画像のノイズ低減を行う装置である。

動画像に対して本発明の実施例２のノイズ低減処理を適用する場合を示す。数式（８）は、本発明の実施例２による演算である。数式（８）において、ν₀はｕ₀に連続するフレーム（１フレーム前または１フレーム後）を示す。

図３は、数式（８）の処理、すなわち、実施例２の画像用ノイズ低減装置の動作を示すフローチャートである。

まず、Ｓ１において、原画像ｕ₀と、原画像ｕ₀に連続するフレームの画像ν₀の取り込みを行う。これらの画像ｕ₀，ν₀のデータは、例えばノイズ低減装置の記憶部に保存される。

次に、Ｓ２では、画像ｕ₀と画像ν₀の平均値を画素毎に計算し、Ｓ３へ進む。なお、以降の処理ステップは、例えば演算処理装置を利用して実現できる。

Ｓ８では、Ｓ４で求めた係数ｃと、Ｓ６で得た画像ｕ^M-1と、Ｓ７で計算した差▽とを利用し、さらに変化量λを用いて、数式（８）の第１式に基づいて各画素値にオフセット値を加える計算をし、画像ｕ^Mを作成する。

次に、Ｓ９において、Ｍに１を加えて、Ｓ１０に進む。

実施例１と同様に、計算量を減らすために関数ｇの計算をループ内で更新せず、常に同じ値をとるようにしている。実施例１と異なる点は、平滑化処理として連続する動画像のフレームの平均をとる処理を行っていることである。これにより、畳み込み演算よりも積和演算の回数が減少するため、ガウシアンフィルタを適用するよりも高速に処理を行うことができる。

図４は、図７の画像に対して数式（８）の処理（図３のフローチャートの処理）を適用した結果である。図３のＳ４において関数ｇはｇ₂，Ｋ=30とし、Ｓ８においてλ=0.05として、反復計算を10回（Ｎ＝10）行った。本実施例は実施例１に比べてパラメータが少なく、調整が容易である。

従来例（図１２の処理）と本実施例（図３の処理）を8Kカラー画像１枚のRGB各コンポーネントに適用して計算時間を比較した。連続するフレームはノイズ低減処理を行うフレームの１フレーム後として、平均画素値を計算した。反復計算の回数をＮ＝10として３回実行した平均で、本実施例は従来例の3.02倍速く、実施例１よりもさらに高速化がはかられていることが確かめられた。

本実施例では連続する２フレームの平均をとって平滑化を行ったが、連続するNフレーム（N≧2)や近いフレーム（GOP (Group Of Picture)サイズに合わせて±8フレームなど）との平均をとって、画像の平滑化を行っても良い。これらの場合には連続するNフレーム内、近いフレーム内、GOP内で同じ平滑化値を使用しても良い。これによって演算量を減らすことができ、さらに高速化をはかることができる。

本発明の実施例３は、画像の平滑化処理の手段をブロック毎に選択可能にし、関数ｇを求めて画像のノイズ低減を行う装置である。

実施例１では、各フレーム全体でフィルタによる畳み込み演算を行って画像を平滑化し、また、実施例２では連続するフレーム全体の平均をとって画像を平滑化したが、本実施例３では、例えば16x16など所定の画素ブロックごとに、フレーム間の平均値とフィルタによる畳み込み演算による平滑化を切り換えることができる。画素ブロックのサイズは、画像に応じて適宜選択することができる。

図１又は図３のフローチャートにおける、Ｓ１からＳ４までのステップを画素ブロック毎にそれぞれ選択した手段によって行い、得られたｇの値（重み付け係数ｃ）を画素ブロック毎に保存した後は、Ｓ５以降のステップは、画像全体で行うことが効率的である。

平滑化手段の選択にあたっては、連続するフレームの差分を取って動画の静動判定をし、動きが少ない部分は連続フレームの平均をとり、動きが大きい部分は畳み込み演算をするとエッジ部分を検出する精度が良くなる。

以上の実施例では、関数ｇはｇ₂，Ｋ=30としたが、他の関数やパラメータを使用しても良い。本実施例をカラー画像に適用する場合は、RGB, YUVの各コンポーネントに対して同様の処理を行っても良いし、RGB画像のGのみやYUV画像の輝度値Yのみに適用しても良い。

（実施の形態２）
実施の形態２として、実施の形態１に示した画像用ノイズ低減装置を、プレフィルタとして用いた画像用符号化装置（映像符号化装置）について説明する。

図５は、実施の形態２の画像用符号化装置１００の一例を示すブロック図である。実施例１〜３の画像用ノイズ低減装置を、映像符号化処理の前段に適用し、プレフィルタとして用いている。

画像用符号化装置１００は、プレフィルタ１１０と映像符号化部１２０とを備える。プレフィルタ１１０は、実施例１〜３の画像用ノイズ低減装置と同等のものであり、図１や図３等に示されたフローチャートの各ステップを行う。プレフィルタ１１０は、原画像ｕ₀を入力とし、ノイズ低減画像ｕ^Nを出力とする。また、プレフィルタ（画像用ノイズ低減装置）１１０は、変化量λ、反復回数Ｎ、関数ｇ等を、外部より設定することができるように構成することが望ましい。

映像符号化部１２０は、ノイズ低減画像ｕ^Nに対して符号化処理を行い、符号化データを出力する。符号化処理としては、公知のHEVC/H.265方式やAVC/H.264方式等を選択することができる。

プレフィルタ無しの原画像とプレフィルタ有りの従来例（図１２）、実施例１（図１）、実施例２（図３）をそれぞれ適用した8K画像１枚を用いてHEVC/H.265方式による符号化実験を行った。

プレフィルタ有りの条件では反復演算の回数は10回とし、関数ｇはｇ₂，Ｋ=30とした。実験には図７の切り出し元となった8Kカラー画像を使用し、RGB各コンポーネントにプレフィルタを適用した後、YUV420画像に変換した。符号化にはHEVC標準化に使用されている参照ソフトウェアHM(HEVC test Model)バージョン12.1を使用し、共通実験条件のうち画面内予測のみを用いるIntra条件に設定した。共通実験条件に合わせて22, 27, 32, 37の４種類のQP（符号化品質のパラメータ）を設定して実験を行った。

図６に実験結果のグラフを示す。グラフの縦軸はPSNR (Peak signal-to-noise ratio)を示し、数字が大きくなるほど画質が高品質であることを意味する。グラフの横軸はビットレートを示す。

図６に見られるように、プレフィルタ有りの条件では無しの条件に比べて極めて高品質になっており、従来例、実施例１、実施例２の結果はほぼ同等である。符号化効率を計算したところ、いずれも4.4倍（同じPSNRになるときのビットレートが平均でプレフィルタ無しの4.4分の1）であり、実施例１および２とも高速化がはかられているが、従来法と変わらない品質となることが確かめられた。

本実施例では関数ｇはｇ₂，Ｋ=30としたが、他の関数やパラメータを使用しても良い。本実施例ではRGBカラー画像の各コンポーネントにプレフィルタを適用したが、Gのみに適用しても良いし、YUV変換した後に各コンポーネントや輝度値Yのみに適用しても良い。

なお、上述した画像用ノイズ低減装置、又は画像用符号化装置として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像用ノイズ低減装置、又は画像用符号化装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロックやステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１００画像用符号化装置
１１０プレフィルタ（画像用ノイズ低減装置）
１２０映像符号化部

Claims

第１の画像を平滑化処理した後の上下左右方向の画素値変動からエッジ部分か否かを示す重みづけ情報を求め、
原画像を初期値としてN-1回(N≧1）反復計算を適用した結果である第２の画像に、前記第２の画像の上下左右方向の画素値変動と前記重みづけ情報から得られるオフセット値を足してN回反復計算を適用した結果の画像を作成することにより、ノイズが低減された画像を得る画像用ノイズ低減装置であって、
前記第１の画像は原画像であることを特徴とする画像用ノイズ低減装置。
請求項１に記載の画像用ノイズ低減装置において、前記平滑化処理は畳み込み演算である画像用ノイズ低減装置。
請求項１に記載の画像用ノイズ低減装置において、前記画像は動画像であって、前記平滑化処理は前記原画像と連続するフレームの平均化処理である画像用ノイズ低減装置。
請求項１に記載の画像用ノイズ低減装置において、前記画像は動画像であって、前記平滑化処理は所定のブロックごとに、畳み込み演算と、前記原画像と連続するフレームの平均化処理とを選択可能である画像用ノイズ低減装置。
請求項１から４のいずれか一項に記載の画像用ノイズ低減装置を、プレフィルタに備えた画像用符号化装置。
コンピュータを、請求項１から４のいずれか一項に記載の画像用ノイズ低減装置、又は請求項５に記載の画像用符号化装置として機能させるためのプログラム。