JP2013055652A - Ｔｖカメラの使用により得られた画像におけるノイズ低減の方法 - Google Patents

Abstract

【課題】タイミング相互依存性を有する、フレームグループからのフレーム映像流の生成と、前記フレームグループの処理によって得られた出力フレームシリーズからの画像の生成と、重み係数を考慮した平均値の使用とを含む、ＴＶカメラの使用により得られた画像におけるノイズ低減の方法を提供する。
【解決手段】ノイズ低減のために、処理中のフレームに対して時間的に前後して時間対称的に並置されたフレームが使用される。３つの値から１つの値を選択するために、処理中のフレームの意味を有するこれらの値の差異係数が計算され、次に最小の差異係数が規定され、適切な画素値が平均化のために使用される。平均化の際、選択された画素値に、処理中のフレームからの隔たりの程度に依存する係数が乗算される。この方法で用いられるフレームの量、および処理中のフレームからの隔たりの程度に対する関数係数依存性が、ノイズ低減のためのパラメータを規定する。
【選択図】図１

Description

この方法は、デジタル画像処理、すなわち、ＴＶカメラの使用により得られた画像を処理し、画像ノイズ低減用を対象としたシステムに言及する。

ＴＶカメラの使用により得られた画像の品質は、ノイズによって劣化するおそれがある。このノイズは低減しなければならず、それは画像品質の向上をもたらすであろう。

ＴＶカメラの使用により得られた画像におけるノイズ低減の方法は、２００９年６月１８日公開の特許ＵＳ２００９１５４８２５から公知であり、タイミング相互依存性を有する、フレーム映像流からの出力フレームの生成と、１つのグループのフレームにおけるフレーム要素の接近して隣接する値の平均化と、出力フレームを形成するための、重み係数を考慮した平均値の使用とを含む。

画像におけるノイズ低減の方法は特許ＥＰ０２８９１５２から公知であり、フレーム映像流からの画像の生成を含む。各映像フレームは、以下の方法によってフレーム映像流から形成される。前のフレームの適切な要素を含む処理中の各フレームの比較が行なわれる。この比較は、重み係数を考慮して、使用された関係を定義することをもたらし、出力フレームの平均化された要素を形成する。

この発明は、ＴＶカメラの使用により得られた画像におけるノイズ低減をもたらした。
タイミング相互依存性を有する、フレームのグループからなる映像流の生成と、少なくとも１つのグループの画素における適切な画素の接近して隣接する値の平均化による前記フレームグループの処理によって得られた出力フレームのシーケンスからの映像画像の生成と、出力フレームを形成するための、重み係数を考慮した平均値の使用とを、映像チャネルに含む、ＴＶカメラの使用により得られた画像におけるノイズ低減の方法における技術的結果は、奇数、すなわち２Ｎ＋１個のフレームを含むフレームのグループを処理することによって達成され、ここで、Ｎ≧１であり、フレームは、番号が−Ｎ以上Ｎ以下の処理中のフレームに対して時間対称的に並置され、ここで、０はノイズが低減されつつある処理中のフレームの番号であり、１は次のフレームの番号であり、−Ｎは最も古いフレームの番号であり、Ｎは最も新しいフレームの番号であり、前記方法はさらに、処理中のフレームに対して時間対称的に並置されたフレーム画素の値、およびそれらの平均値を規定することと、前記差異係数を、最小の差異係数に対応する画素値が選択されるように重み係数を考慮して、処理中のフレームの画素値を用いて、処理中のフレームの画素値として計算することとによって達成される。

請求されている方法の特定の実施形態では、
重み係数の値は、処理中のフレームからのフレーム対の隔たりとの相関関係において選択可能であり、
重み係数の値は、係数の関数としての釣鐘曲線の幅に等しい１つのパラメータを考慮してフレーム番号を介して計算可能であり、その幅はノイズ低減の程度を規定し、
処理のために用いられるフレームの量は、ノイズ低減のパラメータとして機能し、
処理のために用いられるフレームの量は、釣鐘曲線の幅の２倍となるよう選択され、
１行における処理された画素および隣接する２つの画素について差異係数が計算され、３つの値のうちの１つが、メジアンフィルタを用いて、結果値として選択される。

請求されている方法の顕著な特徴は、ノイズ低減のために、処理中のフレームに対して時間的に前後して時間対称的に並置されたフレームが使用される、ということである。任意の画素の平均値の計算のために、一方または他方のフレームの適切な画素値か、もしくはこれら双方のフレームの平均化された画素値が使用される、ということが理解される。３つの値から１つの値を選択するために、処理中のフレームの意味を有するこれらの値の差異係数が計算され、次に最小の差異係数が規定され、適切な画素値が平均化のために使用される。平均化の際、選択された画素値に、処理中のフレームからの隔たりの程度に依存する係数が乗算される。この方法で用いられるフレームの量、および処理中のフレームからの隔たりの程度に対する関数係数依存性が、ノイズ低減のためのパラメータを規定する。

３つの値から１つの値を選択するために、処理中のフレームの意味を有するこれらの値の差異係数が計算され、次に最小の差異係数が規定され、適切な画素値が平均化のために使用される。平均化の際、選択された画素値に、処理中のフレームからの隔たりの程度に依存する係数が乗算される。この方法で用いられるフレームの量、および処理中のフレームからの隔たりの程度に対する関数係数依存性が、ノイズ低減のためのパラメータを規定する。

この方法では、以下の優先順位規則が実行される。
Ｎ個のフレームを含むシーケンスが得られ、ここで、Ｎはフレーム番号である。次に、奇数のフレームが同時に処理される。すなわち、Ｎ＋１個のフレームが、番号が−Ｎ以上Ｎ以下の処理中のフレームに対して時間対称的に並置され、ここで、０はノイズが低減されつつある現在のフレームの番号であり、−１は前のフレームの番号であり、１は次のフレームの番号であり、−Ｎは最も古いフレームの番号であり、Ｎは最も新しいフレームの番号である。

処理中のフレームの各画素について、新しい値が以下のように計算される。
明確にするために、以下の表記を導入する：
Ｐ−Ｎ（ｘ，ｙ）は、最も古いフレームの画素値であり、
Ｐ−Ｎ＋１（ｘ，ｙ）は、次のフレームの画素値であり、
Ｐ０（ｘ，ｙ）は、処理中のフレームの画素値であり、
ＰＮ（ｘ，ｙ）は、最も新しいフレームの画素値である。

ここで、
ｙは、画像行番号、
ｘは、画像行における画素位置である。

以下のアルゴリズムが、出力フレームを計算するために使用される。
フレーム対ＫＭの係数が計算され、ここで、Ｍは、処理中のフレームに対して時間対称的に並置されたフレーム対の番号であり、これに応じて、Ｍは１からＮへと変化し、画素値と係数との積の和ΣＰＫは０と等しく、係数ΣＫの和は０と等しく、処理中の画素のＰ０（ｘ，ｙ）値は係数Ｋ０によって乗算されてΣＰＫに加算され、処理中のフレームに対して時間対称的に並置されたすべてのフレーム対について、つまり１〜ＮのすべてのＭ値について、Ｋ０がΣＫに加算され、以下の演算が実行される：
− 画素値の差異係数が、まずフレーム番号０および−Ｍで、次に０およびＭで、０およびフレーム番号−ＭとＭとについての平均画素値で、計算される：

− Ｄ−Ｍ、ＤＭ、ＤＡの最小値が求められる：
− 最小値がＤ−Ｍであることが判明した場合、ΣＰＫがＰ−Ｍ（ｘ，ｙ）＊ＫＭに加算され、ＫＭがΣＫに加算される。最小値がＤＭであることが判明した場合、ΣＰＫにＰＭ（ｘ，ｙ）＊ＫＭが加算され、またΣＫにＫＭが加算される。最小値がＤＡであることが判明した場合、ΣＰＫに（Ｐ−Ｍ（ｘ，ｙ）＋ＰＭ（ｘ，ｙ））＊ＫＭが加算され、ΣＫに２＊ＫＭが加算される。

すべてのＭ個のフレーム対の処理後、結果として生じる画素値は以下のように算出可能である。

ノイズ低減の要求される程度が、ＫＭ係数選択を決定する。特殊な係数の組が２つある。第１の組は、すべての係数が１に等しい、ノイズ低減の最大の程度に対応する。第２の組は、１に等しいＫ０を除き、すべての係数が０に等しい、ノイズ低減の完全な欠如に対応する。ノイズ低減中間値については、現在のフレーム（フレーム「０」）に並置されたフレームの係数がＫ０に近い値を有し、移動すると減少するように、係数は計算される。他の変形も異なるように展開可能である。

この方法の実施形態のうちの１つは、フレーム番号依存性を介した係数値が釣鐘曲線によって与えられるということであり、釣鐘形状の幅がノイズ低減の程度を決定するであろう。そのような関数の例は、
ｉ＜Ｒについては、

ｉ≧Ｒについては、

である。
ここで、Ｒは、ノイズ低減の程度を決定するパラメータである。Ｒ＞＞Ｎでは、すべての係数が等しく、ノイズ低減の程度は最小である。Ｒ＜１では、平均を除くすべての値が「０」に等しく、ノイズ低減器は実質的にオフであろう。Ｒ＝２とは、係数が０．５で平均フレームがオンになり、０．２５で２つの隣接するフレームがオンになること、すなわち釣鐘の幅が２になることを意味する。

この方法は、画像出力において遅延Ｎがあると仮定している。したがって、セル番号を選択する際、所望の最大のノイズ低減の程度と画像出力における最小の遅延との折り合いを考慮に入れる必要がある。

請求されている方法では、明度ジャンプテーリング（brightness jump tailing）といったアーチファクトは、それらの平均フレーム対称並置によって著しく減少する。すなわち、アーチファクトは２つの辺によって分割され、その可視性が大幅に低減する。加えて、平均フレーム対称並置を有するフレームのフィルタリングによって明度を徐々に変化させると、ノイズ低減の程度は、画像変更の場合でさえ著しく増加する。また、画像が平均に対する変更を止めるか、または現在のフレームまで変更しない場合、ノイズ低減の程度は高水準に留まったままである。さらに、請求されている形態では、選択されたセル番号によって修正時間が限定される。

請求されているこの方法は、公知のハードウェアの使用により実現可能である。この方法の実施形態の例を図１および図２に示す。

図１は、Ｎ＝３についての処理ブロック図を示し、ここで、１はグループ処理モジュール、２は乗算器、３は加算器、４は除算器である。フレーム画素−３÷３は３つのグループに分割され、それらは各々、処理中のフレームと、それに対して時間対称的に並置された２つのフレームとを包含している。すべてのグループからの映像流が、モジュール１（グループ処理モジュール）に転送される。それに応じて、重み係数Ｋ１〜Ｋ３もすべてのモジュールに転送される。また、処理中のフレームの画素と係数Ｋ０とが、乗算器２に転送される。モジュール１の出力から、画素値と、前記画素値を計算するために使用される係数値とが、加算器３に転送される。画素値は一方の加算器に転送され、係数値は別の加算器に転送される。加算器３の出力から、総画素値および総係数値が除算器４に転送される。除算器４の出力から、ノイズ低減の結果値が読出される。

図２は、グループ処理モジュール１のブロック図を示しており、ここで、５は算術平均算出器、６は差異係数算出器、７は差異係数半値算出器、８は最小差異係数選択部である。処理中のフレームの画素値、フレームに対して時間対称的に並置された画素値、およびこのグループの画素値を乗算するための係数という４つの値が、グループ処理モジュールに転送される。対称フレームの画素値は、算術平均算出器５に転送される。得られた平均値と処理中のフレームの画素値とが、差異係数半値算出器７に転送される。差異係数算出器６に、対称フレームの画素値が転送される。得られた３つの差異値が、最小差異係数選択部８に転送される。どの差異値が最小であると判明したかに依存して、対称フレームのうちの一方の画素値か、またはこれら双方のフレームの平均値が、選択部８に転送される。加えて、選択部８で平均値が選択された場合、係数Ｋに２を乗算する。

チャネルにおけるノイズは、差異係数の計算におけるエラー、ひいてはノイズ低減器の誤動作を引起すおそれがあるため、ノイズの多い映像チャネルについて、１行における隣接する３つの画素に対して差異が計算される。その目的のために、処理中のフレームおよび２つの隣接する画素についての差異係数が計算され、次に、メディアンフィルタによってさらなる処理用の値が選択される。

請求されている方法は、前記方法を実行するための指針が備わった媒体データとして、ソフトウェアで実現される。

１：グループ処理モジュール、２：乗算器、３：加算器、４：除算器、５：算術平均算出器、６：差異係数算出器、７：差異係数半値算出器、８：最小差異係数選択部。

図１は、Ｎ＝３についての処理ブロック図を示す。 図２は、グループ処理モジュール１のブロック図を示す。

Claims (6)

1. ＴＶカメラの使用により得られた画像におけるノイズ低減の方法であって、タイミング相互依存性を有する、フレームグループからのフレーム映像流の生成と、１つのグループのフレームにおける接近して隣接する画素値の平均化の使用による前記フレームグループの処理によって得られた出力フレームシリーズからの画像の生成と、出力フレームを形成するための、重み係数を考慮した平均値の使用とを含み、
   前記方法は、２Ｎ＋１個のフレームを含むフレームグループを処理することを含み、ここで、Ｎ≧１であり、フレームは、番号が−Ｎ以上Ｎ以下の処理中のフレームに対して時間対称的に並置され、ここで、０はノイズが低減されつつある処理中のフレームの番号であり、−１は前のフレームの番号であり、１は次のフレームの番号であり、−Ｎは最も古いフレームの番号であり、Ｎは最も新しいフレームの番号であり、前記方法はさらに、
   処理中のフレームに対して時間対称的に並置されたフレーム画素の値、およびそれらの平均値を規定することと、
   これらの値の差異係数を、最小の差異係数に対応する画素値が選択されるように重み係数を考慮して、処理中のフレームの画素値を用いて、出力フレームの画素値として計算することとを含むことを特徴とする、方法。
2. 処理中のフレームからのフレーム対の隔たりの程度に依存して重み係数を選択することを特徴とする、請求項１に記載の方法。
3. 重み係数は、係数の関数としての釣鐘曲線の幅に等しいパラメータを考慮してフレーム番号を介して計算され、その幅はノイズ低減の程度を規定する、ということを特徴とする、請求項１に記載の方法。
4. 処理のために用いられるフレームの量は、ノイズ低減のパラメータとして機能する、ということを特徴とする、請求項１〜３に記載の方法。
5. 処理のために用いられるフレームの量は、釣鐘曲線の幅の２倍となるよう選択される、ということを特徴とする、請求項１〜３に記載の方法。
6. １行における処理された画素および隣接する２つの画素について差異係数が計算され、３つの値のうちの１つが、メジアンフィルタを用いて、結果値として選択される、ということを特徴とする、請求項１〜３に記載の方法。