JP2008118647A - 高速かつ効率的なノイズ低減装置、方法及びソフトウェア - Google Patents

Abstract

【課題】ノイズ低減の技術分野に関し、特に時間領域のノイズ低減用フィルタ、並びに画像シーケンスに対する時間領域のノイズ低減装置、方法、及びコンピュータソフトウェアを提供する。
【解決手段】時間領域のノイズ低減を行うフィルタは、有限インパルス応答フィルタの特性と無限インパルス応答フィルタの特性を切り替えるように動作することができる。映像信号に対する時間領域のノイズ低減装置は、フレームインデックスの順に並べられた画像フレームを有し、映像信号の画像フレームを連続的にフィルタリングするフィルタと、前記フィルタのフィルタ係数はフレーム計数インデックスの関数であることと、前記フレーム計数インデックスはあるオフセット分だけ移動したフレームインデックスに相当することとを備える。
【選択図】図４

Description

本発明は、ノイズ低減（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）の技術分野に関する。本発明は、特に時間領域のノイズ低減用フィルタ、並びに画像シーケンスに対する時間領域のノイズ低減装置、方法、及びコンピュータソフトウェアに関する。

所与の画像シーケンスについて、時間領域（ｔｅｍｐｏｒａｌ ｄｏｍａｉｎ）のノイズ低減は、空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）のノイズ低減よりも優位に立つことができる。画像シーケンスは、例えば映像信号の一連の画像フレームとして与えられる。ここで“画像フレーム”、または短縮した“フレーム”という用語は、これ以降は“一連の画像の中の１枚の画像”を意味し、一般の映像信号の意味合いのみに限定して理解してはならない。空間的フィルタリングは画像をぼやけさせる傾向があるのに対し、時間的フィルタリングにはそういった傾向は無い。これは空間的フィルタリングに対して時間的フィルタリングが備える１つの利点である。通常、時間的フィルタリングによって達成されるノイズ低減の効果は、空間的フィルタリングによって達成される効果よりも遥かに強力である。しかし、時間領域のノイズ低減を行う際、シーン変更が発生したとき、または画像シーケンスの中で動きが存在しているときに問題が生じる。シーン変更の概念には、画像シーケンスの開始時といった特別な場合を含んでもよい。実際、３つ全ての場合―シーンの開始時、シーン変更、及び動きの存在―において、画像間の相関が減少する。技術的には、程度の差こそあるものの、シーン変更は画像全体に影響を及ぼす１つの動きととらえることができる。従来の時間領域のノイズ低減技術において生じる問題については、後述の例により詳細に説明を行う。

時間領域のノイズ低減には、再帰フィルタが広く用いられている。図１には一次再帰フィルタが示されている。図１において、Ｔは遅延時間を表す。Ｔは、例えばフレーム／フィールド周期の半分の値などである。遅延は、フレームメモリ／フィールドメモリによって実現可能である。変数ｃは、ゼロから１までの間の値をとる再帰フィルタのゼロ次のフィルタ係数である。１−ｃは再帰フィルタの一次のフィルタ係数である。一次再帰フィルタの場合には、一次のフィルタ係数は完全にゼロ次のフィルタ係数から決定されるため、フィルタを完全に測定するためには、ゼロ時のフィルタ係数のみを特定すれば十分である。フィルタ係数ｃが小さくなれば、そのフィルタの平滑化、ノイズ低減効果、またはノイズ低減の強さはより強くなり、その逆もまた成立する。図１は、次のフィルタ式を図として表現したものである。

ここで、ｙ（ｔ）は時刻ｔにおけるフィルタ出力、ｙ（ｔ−Ｔ）は時刻ｔ−Ｔにおけるフィルタ出力、ｘ（ｔ）は時刻ｔにおけるフィルタ入力、ｔ＝０，Ｔ，２Ｔ，３Ｔ・・・、ｃ∈［０，１］である。ノイズ低減の実践において、ゼロの代わりに小さな正の値がｃの下限として用いられる。自明なこととして、シーケンス中の最初の画像に対しては時間的なノイズ低減を行うことはできず、通常はフィルタについてｙ（０）＝ｘ（０）として初期化が行われる。一次再帰フィルタの出力は、入力そのものと前回のフィルタ出力の和となる。高次の再帰フィルタの場合には、出力は入力そのものと過去の複数のフィルタ出力の和となる。即ち、最新の出力と過去の出力の間の変化は、最新の入力と過去の入力の間の変化と比較して低減され、結果としてノイズが低減されるのである。

フィルタリングは画素単位で、即ち式（１）に表したフィルタリング処理は画像内の各画素について実行される。各入力画像が複数のｘ（ｔ）として与えられ、それらに対応する出力画像が複数のｙ（ｔ）として関連付けられる。入力画像は、“原画像（ｏｒｉｇｉｎａｌ ｉｍａｇｅ）”または“未フィルタ画像（ｕｎｆｉｌｔｅｒｉｎｇ ｉｍａｇｅ）”とも呼ばれ、対応する出力画像は
“フィルタ済み画像（ｆｉｌｔｅｒｅｄ ｉｍａｇｅ）”と呼ばれる。画素について述べる際にも同様の考え方が採られ、即ち“未フィルタ画素”、“フィルタ済み画素”などとなる。

動きの補正が実施されない場合には、時間的ノイズ低減フィルタを用いて動き領域のノイズの低減を試行すべきではない。試行した場合、動きに対する副作用（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔｓ）が発生し得る。動きを扱うためには、時間的再帰フィルタは適応的に実装され、即ち、例えばフィルタ係数ｃは連続した２つの画像における２つの画素間の値の差異に対して適合され、当の画素間の値の差異は閾値と比較される。この差異が予決定された閾値よりも小さい場合には、差異は動きよりもむしろノイズによって生じたものと推定され、よってノイズ低減を強くするためにフィルタ係数ｃに小さい値が選択される。差異が大きくなった場合、特に予決定された閾値を超える場合には、差異はノイズからまたはノイズのみから生じたのではなく動きによるものだと推定される。この場合は、実際の入力に対するフィルタリングが弱まるように、フィルタ係数ｃには大きな値が選択される。フィルタ係数ｃに上限値１が選択された場合（即ちｃ＝１）、入力ｘ（ｔ）に対して実質的にフィルタリングは行われず、ｙ（ｔ）＝ｘ（ｔ）のままとなり、つまりフィルタ済み画像は未フィルタ画像と同一となる。

適応的な時間的再帰フィルタの欠点は、ノイズ低減の効果が達成されるまで、即ちフィルタの収束までに多くの画像を要することである。これは画像シーケンス内に動きやシーン変更が無い場合でさえも同じである。時間的再帰フィルタの遅い収束速度は、アナログの時代には大きな問題ではなかった。しかしデジタルの時代では、遅い収束速度は符号化の効率に直接影響し、転じて伝送頻度に影響を及ぼすこととなる。医学面への応用においては、遅い収束速度は放射量の増加を意味し、それは避けなければならない。またいくつかの応用領域においては、最先端の適応的な時間的再帰フィルタでさえも全く適用し得ない状況である。

よって本発明の目的は、従来技術と比較してより良い時間領域のノイズ低減を実現させることである。本発明のもう１つの目的は、発明の詳細な説明の中で明らかとなる。

前記目的は、請求項１、請求項２０、及び請求項３６に記載された、映像信号に対して時間領域のノイズ低減を行う装置、方法、及びソフトウェア製品によって、並びに請求項２に記載された時間領域のノイズ低減を行うフィルタによって解決される。

映像信号に対して時間領域のノイズ低減を行う装置は、フレームインデックスの順に並べられた画像フレームを含み、映像信号の画像フレームを連続的にフィルタリングするフィルタを含み、前記フィルタのフィルタ係数はフレーム計数インデックスの関数であり、前記フレーム計数インデックスはあるオフセット（ｏｆｆｓｅｔ：移動量）分だけ移動（ｓｈｉｆｔ）したフレームインデックスに相当する。フィルタ係数をフレーム計数インデックスに依存させることにより、適応的な時間的フィルタを高速に収束させることができる。

時間領域のノイズ低減を行うフィルタは、有限インパルス応答フィルタ（以下、ＦＩＲフィルタ：Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ ｆｉｌｔｅｒ）の特性と無限インパルス応答フィルタ（以下、ＩＩＲフィルタ：Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ ｆｉｌｔｅｒ）の特性を切り替えるように動作することができる。好適には、ＦＩＲフィルタの特性は平均化フィルタのインパルス応答特性となる。時間領域のノイズ低減を行うフィルタは、好適には、フレームインデックスの順に並べられた画像フレームを含む映像信号に対して時間領域のノイズ低減を行う装置の中で使用され、前記フィルタは映像信号の画像フレームを連続的にフィルタリングするように動作し、前記フィルタのフィルタ係数はフレーム計数インデックスの関数であり、前記フレーム計数インデックスは所定の補正値によりシフトされたフレームインデックスに相当する。

好適には、フィルタ係数の依存は、フィルタによるノイズ低減の強さが一定ではなくフレーム計数インデックスと共に単調増加するように行われる。これにより高いノイズ低減が達成されるという利点がもたらされる。フィルタの高い順応性（ａｄａｐｔａｂｉｌｉｔｙ）は、瞬間的な収束速度に対応する。ノイズ低減の強さ及びフィルタの高い順応性は相反する性質であるために、フィルタの収束速度を当初高くし、好適には映像信号に対して時間領域のノイズ低減を行う装置をフィルタの順応性が一定ではなくフレーム計数インデックスと共に単調減少するようにフィルタ係数を依存させる形で特徴付けることができる。

好適には、フィルタ係数はゼロ次のフィルタ係数となる。

好適には、フィルタ係数は一定ではなく、フレーム計数インデックスと共に単調減少する関数となる。よく知られた“一定ではない”という数学的概念は部分的には一定となることを許容する。よく知られた“単調減少”という数学的概念は“増加しない”という意味を有することが知られている。

好適には、そしてフレーム計数インデックスに対する依存以外のフィルタ係数の依存に基づいてフィルタ係数をゼロ値に設定しない限りは、フィルタ係数の絶対値は予決定された正の値よりも大きい値をとる。このフィルタ係数の制約は、フィルタの順応性の最低限度が保証されることを意味し、即ちフィルタが入力信号に追随することが可能となる。よって、フレーム計数インデックスに対する依存は最低限度の順応性の保証のために必要とされる。しかしながら、順応性が全くまたは非常に小さい程度しか求められない場合もあり得るため、フィルタ係数の絶対値が予決定された正の値を下回ることは許容される。

好適には、フィルタ係数は、フレーム計数インデックスから独立した第一の要素と、一定ではなく単調減少するフレーム計数インデックスの関数としての第二の要素を含む。この場合、第二の要素の絶対値が、好適には予決定された正の値よりも大きい値をとる。

好適には、フィルタ係数は、フレーム計数インデックスが最大値に至るまでフレーム計数インデックスに反比例する。この場合、フレーム計数インデックスが当該最大値を超えた後はフィルタ係数がフレーム計数インデックスから独立させられるという利点がある。この特別なフィルタ係数の依存によって、前述の実装をコンピュータ上で効果的に行うことが可能となる。

好適には、映像信号に対して時間領域のノイズ低減を行う装置は、シーン変更を検知し、シーン変更が検知されたときにフレーム計数インデックスをリセットするようにフィルタが適合されるシーン変更検知装置を含む。

好適には、映像信号に対して時間領域のノイズ低減を行う装置は、動きを検知し、動きが検知されたときにフレーム計数インデックスをリセットするようにフィルタが適合される動き検知部を含む。動き検知は、動き補正なしの画像シーケンス及び動き補正有りの画像シーケンス上で実行することができる。この場合、動きの発生確率が相対的に高い場合にはフィルタ係数を相対的に高い値とし、または代わりに動きの発生確率が相対的に高い場合にはフィルタ係数を相対的に低い値とするといったように、フィルタ係数を動き検知部から提供される動き検知情報に依存させられるという利点がある。前記代替案は様々な適用事例に対応する。動き検知を含む装置の場合、有利な点として複数の動きベクトルを決定する動き解析部を含み、各動きベクトルは画像シーケンス内に現れる動きタイプ（ｍｏｔｉｏｎ ｔｙｐｅ）によって特徴付けられ、処理部は動きベクトルごとに分けられたフレーム計数インデックスの処理と、第一の画像フレーム内の第一の画素とそれに対応する第二の画像フレーム内の画素群の値の差異の計算とを行い、対応する画素群の各画素は異なる動きベクトルによって第一の画素からシフトされ、処理部はさらに画素値の差異を最小にする動きベクトルに対応するフレーム計測インデックスを選択し、フィルタ係数は選択されたフレーム計測インデックスの関数であって、フィルタは第一の画素をフィルタリングするよう適合される。

好適には、フィルタは再帰フィルタである。

本発明は同様に、映像信号に対して時間領域のノイズ低減を行う方法であって、映像信号の画像フレームがフレームインデックスの順に並べられ、前記フィルタのフィルタ係数はフレーム計数インデックスの関数であり、前記フレーム計数インデックスは所定の補正値によりシフトされたフレームインデックスに相当する方法としてもよい。時間領域のノイズ低減方法の有利な実施形態は、それぞれの従属請求項の中で定義される。

本発明は同様に、コンピュータ機器上で実行された際に前記時間領域のノイズ低減方法を実行することのできるプログラム情報を含むソフトウェア製品としてもよい。

画像シーケンス内の画像を平均化するフィルタ、即ち平均化フィルタは、ｎが１から始まる画像フレームの計数結果であって式（１）のフィルタ係数が１／ｎとして定義される場合に、再帰フィルタによって実装することができる。ここでｎはフレーム計数インデックスと呼ばれる。ここで留意すべき点として、フレーム計数インデックスは必ずしも整数である必要はなく、例えばフレーム時間として与えられてもよい。以下の実施形態を線形変換によって非整数の場合に適用することは、いわゆる当業者にとって容易であり、以下に述べる点以外のことを考慮しなくてもよい。さらに留意すべき点として、平均化フィルタはＦＩＲフィルタである一方、再帰フィルタはＩＩＲフィルタである。ＩＩＲフィルタによるＦＩＲフィルタの実装は、フィルタ係数ｃをフレームインデックスまたは時間に依存させることにより可能となる。図２は、図１においてｃ＝１／ｎとなる再帰フィルタを数学的には同等の異なる形での実装を示しており、一次フィルタ係数１−ｃが排除され、それにより計算コストの大きい乗算が１回だけしか求められないようになっている。図２のフィルタは次式で表される。

ＦＩＲフィルタによるノイズ低減効果は、再帰フィルタによるものと比較して取るに足りないものである。しかし、再帰フィルタの収束は遅い。ＦＩＲフィルタのノイズ低減効果は、再帰フィルタよりも早く得ることができ、例えば約７ｄＢのノイズ低減を５つのフレーム経過後に達成される。ここで、仮にｎが所与の最大値ｎ_ｍａｘを超えることが許されず、しかしｎ_ｍａｘに到達した後は一定とすると、式（２）に示したフィルタは、画像シーケンスの開始時には平均化フィルタ、画像シーケンスの残りに対しては再帰フィルタとなるように実装される。つまり、平均化フィルタの高速な収束が再帰フィルタの能力としての強いノイズ低減と組み合わせられる。ｃ＝１／ｎという形でフィルタ係数ｃをフレーム計数インデックスに依存させることにより、順応性と瞬間的な収束速度はフレーム計数インデックスと共に減少し、ノイズ低減の強さはフレーム計数インデックスと共に増加する。式（２）においてｎが画像フレームを１から計数して上限をｎ_ｍａｘとする場合の再帰フィルタを採用した時間領域のノイズ低減方法は、本発明に係る第一の実施形態を構成する。

シーン変更と動きを扱うために、フィルタ係数ｃ＝１／ｎを要素ｋによってシーン及び動きの検知結果に依存させ、ｃ＝ｋ／ｎとする。この適合的なフィルタは次式で表現され、平均化フィルタと適合的な再帰フィルタを組み合わせたように見える。

図３は、式（３）に対応するフィルタを示している。フィルタ係数ｃは２つの要素によって構成される。一方の要素はフレーム計数インデックスから独立しており、他方の要素は一定ではなくフレーム計数インデックスの関数として単調減少となっている。一般的に、フィルタリングは画素単位で、対応する画素間で実行される。“対応する”とは典型的には“画像上の同じ位置の”を意味し、その位置は例えば横方向と縦方向の座標ｘ及びｙによって表現されるが、それに限定することを意味するのではない。後述する第七の実施形態は、画像上の異なる位置の画素を対応付ける例として開示されている。

動き検知は、連続した２つの画像フレームにおける対応する画素間の差異を取得することにより実装することができる。ここで、時宜を得て用いることができる画像には未フィルタ画像または対応するフィルタ済み画像があり得るが、フィルタ済み画像を用いる方が有利である。フィルタ済み画像を用いる１つの利点は、含まれるノイズがより少ないことであって、取得できる差異が正しい（ノイズの無い）画素値の差異としてのより良い評価となる。この差異を表す信号は、図２及び図３において“ｄｉｆｆ”と表されている。対応する２つの画素は、ここでは同じ画像上の場所に位置しているが、画像上の異なる場所に位置していてもよい。後述する第七の実施形態は、画像上の異なる位置の画素を対応付ける例として開示されている。一般的に、動き検知は、動き補正なしの画像シーケンス及び動き補正有りの画像シーケンス上で実行することができる。

式（３）においてｎが画像フレームを１から計数して上限をｎ_ｍａｘとする場合の再帰フィルタを採用した時間領域のノイズ低減方法は、本発明に係る第二の実施形態を構成する。

次に、ノイズ低減を目的とする式（３）の組合せフィルタ（ｃｏｍｂｉｎｅｄ ｆｉｌｔｅｒ）に関するいくつかの適用事例について、より詳細に説明する。

（Ｉ）
考慮すべき第一の適用事例は、動画の画像シーケンスなどの画像シーケンスに対する時間的ノイズ低減である。この適用事例は、本発明に係る第三の実施形態に相当する。ここでは、全ての画像が同じ強調度を以って表示され、その意味で等しく見えるものとする。この場合、ｋは［１，ｎ]の範囲から選択され、即ちｋは１及びｎを含んでそれらの間の全ての値をとる可能性があり、一方ｎは画像フレームを１から計数して上限をｎ_ｍａｘとする。

まず、シーン変更及び動きの検知結果に対するｋの依存について説明する。シーン変更も動きも無い場合は、ｋ＝１が選択される。ｋ＝１は、式（３）を参照すると、最も強いノイズ低減を意味している。シーン変更又は動きがあった場合には、ｋ＝ｎが選択される。ｋ＝ｎは、式（３）を参照すると、ノイズ低減が行われないことを意味している。“シーン変更が起こったのかどうか”、及び“動きが発生したのかどうか”という判定は常に確定的に行えるわけではないため、ｋが前述の間にある全ての値をとる可能性もあるのである。即ち、シーン変更または動きが起こった可能性が相対的に高い場合にはｋを相対的に大きい値とし、シーン変更または動きが起こった可能性が相対的に低い場合にはｋを相対的に小さいとする。ｋの選択処理は、参照用テーブルによって実装することができる。参照用テーブルは、シーン変更検知及び動き検知の所与の出力に対してｋの値を提供する。

次に、シーン変更及び動きの検知結果に対するｎの依存について説明する。前述の通り、ｎは画像フレームを１から計数するが、ｎ_ｍａｘが上限であってｎ_ｍａｘに達した後は一定となる（ｎ∈［１，ｎ_ｍａｘ］）。シーン変更または動きが検知された場合は、ｎは自身の初期値、即ちｎ＝１にリセットされる。よって、フレーム計数インデックスは、全体を通した画像のフレームインデックスをあるオフセット分だけ移動した値に相当する。フレーム計数インデックスは、相対的フレームインデックスとして理解することもできる。ｎはシーン変更または動きによってリセットされるため、オフセットは変化する値である。オフセットはゼロ値をとり得る。既に示した通り、シーン変更及び動きの検知はシーン変更及び動きの発生確率を示すものでしかない。それ故、シーン変更及び動きの発生確率が所与の閾値よりも高い場合には、フレーム計数インデックスｎはその初期値、即ちｎ＝１に設定される。そうでない場合には、何も行われず、即ちｎは前述の通り１つ加算されるか一定のままかどちらかの振る舞いをする。ｎはレジスタによって実装してもよい。３ビットのレジスタは２＾３＝８までのｎ_ｍａｘを提供し、４ビットのレジスタは２＾４＝１６までのｎ_ｍａｘを提供し、５ビットのレジスタは２＾５＝３２までのｎ_ｍａｘを提供する。よってｎ_ｍａｘが［５，８］、［９，１６］または［１７，３２］の範囲に含まれるｎは、好適にはそれぞれ３、４及び５ビットのレジスタによって実装される。ｎ_ｍａｘ＝１６の値は、特に映像などの多くの適用場面に向けて良好な値を示している。

シーン変更及び動き検知の出力に対するｋ及びｎの依存について説明を行ってきたが、ｋ及び／またはｎがシーン変更のみに依存する場合を検討することも実践的にまたは論理的に意味のあることである。ここでは、ｋ及び／またはｎが単純に動きが全く検知されなかった場合のように振る舞う。もちろん、この制限された振る舞いの技術的な実装は、シーン変更及び動きに完全に依存した場合と比較すると複雑性が小さいが、それは動き検知及び動き検知結果の出力に対するｋ及び／またはｎの依存を実装しなくてよいためである。

したがって、まず純粋にシーン変更のみの場合（第四の実施形態に相当）について検討する。シーン変更が起こった場合、例えばシーケンスの開始時の場合、ｋはｎに等しい。よってｙ（ｔ）＝ｘ（ｔ）であって、これはノイズ低減が行われず動きの副作用が回避されることを意味する。加えて、ｎは自身の初期状態にリセットされる。これ以上のシーン変更が起こらないと仮定すると、ｋは１と等しくなる。よってフィルタはｎ_ｍａｘに到達するまで平均化フィルタのように作用し、ノイズ低減の効果は素早く現れる。換言すると、フィルタの収束は速く、一定のフィルタ定数１／ｎ_ｍａｘを伴う再帰フィルタよりも速い。ｎ_ｍａｘに到達したときは、フィルタは、時間に対して不変のフィルタ係数ｃ＝１／ｎ_ｍａｘを伴う再帰フィルタのように作用し、再帰フィルタの高いノイズ低減能力が発揮される。フィルタの出力信号中の定常的なノイズは残留ノイズ（ｒｅｓｉｄｕａｌ ｎｏｉｓｅ）と呼ばれる。未フィルタ画像に現れるノイズとフィルタ済み画像の残留ノイズの比は、係数ｃで与えられる。４ビットのレジスタを用いる場合、ｎ_ｍａｘの値は１６となり得る。この場合、ノイズは１／１６の割合で低減され、これは元のノイズレベルの６．２５％に相当する。

ここまで詳細に検討を行った純粋にシーン変更のみの場合について、図４のフローチャートに総括している。ステップＳ２は画像シーケンスの開始を示す。方法は、ステップＳ４においてフレーム計数インデックスを初期化、即ちｎを１に設定するところから開始される。さらにｋ＝ｎに設定され、よってｃ＝１となり、画像シーケンスの最初の画像に対してはノイズ低減は行われない。その後、方法はステップＳ６に進み、シーン変更が発生したかどうかが判定される。もし発生していれば、方法はステップＳ４に戻る。もし発生していなければ、方法はステップＳ８に進む。ステップＳ８では、ｎに１が加算され、フィルタ係数ｃ＝ｋ／ｎ＝１／ｎが決定される。その後方法はステップＳ１０へ進み、ステップＳ８にて決定されたフィルタ係数により定義される再帰フィルタによって最新の画像がフィルタリング処理される。その後、方法はステップＳ１２へ進み、フレーム計数インデックスがｎ_ｍａｘに達したかどうかが判定される。もし達していなければ、方法はステップＳ６に戻り、達していれば方法はステップＳ１４へ進む。ステップＳ１４では、シーン変更が発生したかどうかを判定する。もし発生していれば方法はステップＳ４に戻り、発生していなければ方法はステップＳ１６へ進む。ステップＳ１６では、ｃの値が決定される。ここでｎ＝ｎ_ｍａｘかつｋ＝１であることからｃ＝１／ｎ_ｍａｘとなり、方法はステップＳ１８へ進む。ステップＳ１８では、ステップＳ１６にて決定されたフィルタ係数により定義される再帰フィルタによって最新の画像フレームがフィルタリング処理される。その後、方法はステップＳ２０へ進み、シーン変更が発生したかどうかが判定される。もし発生していなければ、方法はステップＳ１８に戻る。もし発生していれば、方法はステップＳ４に戻る。分岐ステップＳ６、Ｓ１４、Ｓ２０は、画像フレームシーケンスを連続してフィルタリング処理するプロセスの中で、１つの画像フレームから次の画像フレームへ処理が進行することをそれぞれ示している。

既に触れたとおり、シーン変更が発生したかどうかの判定は常に確定的に行われるわけではない。よって、実際にはｋは１からｎなどのように急激に変更されるのではなく、シーン変更の検知結果に依存して［１，ｎ］の範囲で滑らかに変更される。そこでは、シーン変更の発生した確率が相対的に高い場合に、相対的に大きいｋの値が選択される。ｋの値として適切な中間の値を選択することで、判定の不確かさが考慮に入れられる。ｎの振る舞いに対しては不確かさの影響は及ぼさず、シーン検知処理の不確かさはｋのみに考慮される。そのためフローチャートの構造は変わらず、ステップＳ６，Ｓ１４，Ｓ２０のみが、追加的に範囲［１，ｎ］のｋの値をシーン変更検知結果に依存して選択するように変更される。よって、ステップＳ８及びＳ１６では、ｋは必ずしも１ではなく、ｃはそれぞれｋ／ｎ、ｋ／ｎ_ｍａｘとして与えられる。

次に、第五の実施形態に相当する、ｋが動き検知結果に依存しｎは依存しない場合について検討する。この場合、フレーム計数インデックスを保持するレジスタは、図４に示したシーン変更のみの場合のように動作する。静的な画像領域では、組合せフィルタの利点は維持される。しかしながら、動き領域では組合せフィルタの利点は消滅する。それにも関わらず、従来技術における適合的な時間的再帰フィルタとは異なり、フィルタは同じようにノイズを低減し、動きによる副作用を回避する。

さらに、ｋ及びｎが動き検知結果に依存する場合について検討する。動きの場合を扱う際には、画像上に静的領域と動的領域が現れ、原理的に各画素ごとに異なるフレーム計数インデックスｎが必要となるため、ハードウェアの複雑さが増すことになる。例えば各ｎはそれぞれ１つのレジスタに実装される。フレーム計数インデックスｎはもはや最後にシーン変更があってからの画像フレーム番号と同じではなく、静的領域では相対的な画像フレーム番号と同等であっても、動き領域では相対的な画像フレーム番号よりも小さい値となる。

動きを処理する最も直接的な手法（第六の実施形態に相当）は、画像内の画素ごとにフレーム計数インデックスｎを備えることである。シーン変更が画像全体に影響を与えるのに対して動きは動きの検知された画素のみに影響を与えるという違いはあるものの、ｋ及びｎの動きへの適合は、前述の純粋なシーン変更のみの場合におけるシーン変更へのｋとｎの適合と変わりはない。つまり、動きの発生した確率が相対的に高い場合には相対的に大きいｋの値が選択され、動きが（十分高い確率で）検知された場合にはｎがリセットされる。しかしながら、この直接的な手法は、多くの記憶領域を要する（ｍｅｍｏｒｙ ｉｎｔｅｎｓｉｖｅ）。例えば、各フレーム計数インデックスについて４ビットのレジスタを実装し、画素の深度が８ビットである場合、全ての画素のフレーム計数インデックスを実装するためには、２^４／２^８＝１／１６の割合の画像の記憶領域が要求されることになる。第七の実施形態も動きを考慮に入れるものの、要求される記憶領域はこれよりも少ない。

以下に説明する第七の実施形態は、画素数よりも少ないフレーム計数インデックスを用いる。フレーム計数インデックスの数は、画像シーケンス内の実際のまたは予想される動きタイプ（ｍｏｔｉｏｎ ｔｙｐｅ）の数から決定する。動きタイプは、動き速度（ｍｏｔｉｏｎ ｖｅｌｏｃｉｔｙ）と動き方向（ｍｏｔｉｏｎ ｄｉｒｅｃｔｉｏｎ）とにより特徴付けられる。動き方向及び対応する動き速度として与えられる情報は“動きベクトル”と呼ばれ、例えば横方向の移動量ｄｘと縦方向の移動量ｄｙとして与えられる。同じ動き速度かつ同じ動き方向を持つ全ての移動体は、同じ動きタイプに属する。実際の動きに対応する動きタイプに加えて、動きが無いことに対応する動きタイプもある。この動きタイプは、長さゼロの動きベクトルに対応する。各動きタイプｍについて、フレーム計数インデックスｎ_ｍを持つものとする。

ここで、各画素について１つのｎ_ｍが選択される。ｎ_ｍの選択は、どの動きタイプを選択すれば最良のノイズ抑制効果が得られるかという要因によって左右される。即ち、対応する２つの画素間の差異が最小となる動きベクトルに応じたｎ_ｍが選択される。対応する２つの画素は、動きタイプを表現する動きベクトルの分だけ位置がずらされる。但し留意すべき点として、動きタイプには動き無しに相当する動きタイプも含むため、これには空間的位置が変わらない画素も含まれる。

経験則として、ある画像シーケンス中の動きタイプはしばしば４つを超えない数となる。これら厳密な意味での動きタイプに加え、動きの無い領域も存在する。よって、５つの動きタイプに対応する５つのフレーム計数インデックスがあれば、通常は画像シーケンス中の動きを表現するのに十分である。

（ＩＩ）
考慮すべき第二の適用事例（第八の実施形態に相当）は、画像シーケンスから単一の画像を得る際に画像シーケンスに対して時間的ノイズ低減を行う場合である。そうしたシーケンスは、例えば診断（ｄｉａｇｎｏｓｉｓ）または監視（ｍｏｎｉｔｏｒｉｎｇ）といった状況で発生し得る。

この場合、画像シーケンスをフィルタリングすることにより、または画像シーケンスの一部をフィルタリングすることにより単一の画像が得られる。後述の場合のように、シーケンス全体から“複数の単一の画像”を得てもよい。典型的には、参照フレームと呼ばれる１つの画像フレームが中心となり、シーケンス中の他の画像フレームは時間的ノイズ低減の手法によって参照フレームの品質を向上させるサポート用に用いられる。

式（１）で表したような最新の適合的な時間的再帰フィルタは実際の入力に追随するため、画像がすぐ隣り同士に位置していなければ参照画像のノイズを低減することはできない。例えば、フレームｊが参照画像であってフレームｊ−１にて動きが発生し、しかしフレームｊ−Ｊ（Ｊ≠１）はフレームｊと同じシーンを映している場合に、最新の適合的な時間的再帰フィルタはフレームｊとフレームｊ−Ｊの間の相関を活用することができない。直接隣り合うフレーム間の相関のみを、時間的ノイズ低減のために活用できる。一例として、背景（閉塞領域）による遮蔽（ｃｏｖｅｒｉｎｇ）と露出（ｕｎｃｏｖｅｒｉｎｇ）が画像シーケンス内で発生した場合がある。最新の適合的な時間的再帰フィルタが用いられる場合、全ての画像をノイズ低減のために活用することができないため、これによりノイズの効果的な低減が妨げられる。

こうした画像シーケンスを処理する場合、式（３）に表されたフィルタが再度用いられる。この第二の適用事例では、ｋは範囲［０，ｎ］の中から選択される。第一の適用事例にあったとおり、ｋの値を大きくするとノイズ低減は弱くなり、ｋの値を小さくするとノイズ低減は強くなる。特に、ここでｋ＝ｎとするとノイズ低減は行われないことになり、ｋ＝０とすると最も強くノイズを低減することになる。後者の場合はｙ（ｔ）＝ｙ（ｔ−Ｔ）が維持され、即ち信号は固定化される。しかしながら、ｋの選択処理は、第一の適用事例とは逆になる。即ち、動きが検知されるとｋ＝０が選択される。動きが検知されない場合はｋ＝ｎが選択される。動き検知が確定的な結果を出力しないときには、ｋは中間的な値となる。つまり、動きの発生確率が相対的に高い場合にはｋは相対的に小さい値とする。よって、フィルタ出力は維持され、最新の適合的な時間的再帰フィルタのように破棄されたり変更されたりすることはない。結果として、参照画像に対して後続の画像に相関がある場合には、後続の画像はどのフレーム番号を持つかに関わらず参照画像のノイズ低減に寄与し、即ちフレームが直接隣り合っているかどうかは問題ではない。これは、フレームが直接隣り合うことを必要とする最新の適合的な時間的再帰フィルタと対照的である。第二の適用事例のために、画像シーケンス全体が通常は記憶される。よって、次の画像だけでなく過去の画像も、それらが参照画像と相関がある限り、参照画像のノイズ低減に寄与する。

本実施形態におけるシーン変更検知結果へのｋの依存は、対応する第一の適用事例におけるいずれの実施形態と同じようにしてもよく、即ちシーン変更の発生確率が相対的に高い場合には相対的に大きいｋの値が選択される。本実施形態におけるシーン変更検知結果及び／または動き検知結果へのフレーム計数インデックスｎの依存は、対応する第一の適用事例におけるいずれの実施形態と同じようにしてもよい。留意すべき点として、フレーム計数インデックスｎが動き検知から独立する場合、即ち動きが検知されてもｎがリセットされない場合もここに含まれる。また、動きが検知されたときにｎがリセットされる場合もここに含まれる。さらに、シーン変更が検知されたときにｎがリセットされる場合も含まれる。これに対し、シーン変更の検知時にｎをリセットしないという応用の枠組みも存在し、シーン変更の発生確率が相対的に高い場合に相対的に小さいｋの値を選択するという枠組みも存在する。さらに、他の、または修正された依存の枠組みを用いることも可能である。

本発明の実践的な実装の様子が図５に示されている。図５は、前述の第一から第七の実施形態のいずれをも実装可能な、映像信号に対して時間領域のノイズ低減を行う装置１０を示している。前記装置は、映像信号の画像フレームを連続的にフィルタリング処理するフィルタ１と、シーン変更を検知するシーン検知部２と、動きを検知する動き検知部３と、複数の動きベクトルを判定する画像解析部４と、動きベクトルはそれぞれ画像シーケンス中に現れる動きタイプによって特徴付けられることと、処理部５とを備えている。装置１０は、シーン検知部２と、動き検知部３と、画像解析部４と、処理部５とを備えていることから、装置１０は第七の実施形態を実装することができる。ここで、処理部５はｋ及びｎの値を選択するために必要な情報をシーン検知部２、動き検知部３、及び画像解析部４から収集し、フィルタ１のフィルタ係数ｃを決定する。シーン検知部２、動き検知部３、画像解析部４、及び処理部５は、例えばソフトウェア、プログラム可能なＤＳＰプロセッサ、汎用目的のプロセッサ、専用の若しくは組み込み型のディスクリート回路や集積回路、またはそれらの組合せとして実装することができる。装置１０のコンポーネント１〜５は、リソース（例えばフレームメモリなど）を共有し、または様々な中間処理結果（例えば画素値の差異など）を共有してもよい。

本発明及び本発明に係る実施形態は、空間的フィルタリングの枠組みと組み合わせることができる。本発明をここまで再帰フィルタに言及しながら説明してきたが、本発明を実装するにあたって非再帰フィルタを用いることもできる。本発明をここまで特定の実施形態に言及しながら説明してきたが、これは説明を目的としたものであって、本発明の特許請求の範囲に基づく技術的範囲から外れることなく様々な変化形に想到し得ることは、いわゆる当業者にとって容易に明らかとなる。

従来の最新の時間領域の再帰フィルタを図示している。 再帰フィルタによって実装される平均化フィルタを図示している。 本発明に係る実施形態を構成する時間に依存した適合的な時間領域の再帰フィルタを図示している。 図３の再帰フィルタのフィルタ係数ｃの決定プロセスを描いたフロー図である。 本発明に係る実施形態の機能集合を示している。

符号の説明

１ フィルタ
２ シーン検知部
３ 動き検知部
４ 画像解析部
５ 処理部
１０ 装置

Claims (36)

1. 映像信号に対する時間領域のノイズ低減装置（１０）であって、フレームインデックスの順に並べられた画像フレームを有し、
   映像信号の画像フレームを連続的にフィルタリングするフィルタ（１）と、
   前記フィルタ（１）のフィルタ係数はフレーム計数インデックスの関数であって、前記フレーム計数インデックスはあるオフセット分だけ移動したフレームインデックスに相当することと、
   を備える装置（１０）。
2. 時間領域のノイズ低減フィルタ（１）であって、有限インパルス応答フィルタの特性と無限インパルス応答フィルタの特性を切り替えるように動作するフィルタ（１）。
3. 前記有限インパルス応答フィルタの特性は、平均化フィルタのインパルス応答特性であることを特徴とする、請求項２に記載の時間領域のノイズ低減フィルタ（１）。
4. 映像信号に対する時間領域のノイズ低減装置（１０）であって、フレームインデックスの順に並べられた画像フレームを有し、
   映像信号の画像フレームを連続的にフィルタリングする請求項２または請求項３に記載のいずれかのフィルタ（１）と、
   前記フィルタ（１）のフィルタ係数はフレーム計数インデックスの関数であって、前記フレーム計数インデックスはあるオフセット分だけ移動したフレームインデックスに相当することと、
   を備える装置（１０）。
5. 前記フィルタ係数は、前記フィルタ（１）のノイズ低減の強さが一定ではなく単調増加する形で前記フレーム計数インデックスに依存することを特徴とする、請求項１または請求項４のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
6. 前記フィルタ係数は、前記フィルタ（１）の順応性が一定ではなく単調減少する形で前記フレーム計数インデックスに依存することを特徴とする、請求項１、請求項４または請求項５のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
7. 前記フィルタ係数は、ゼロ次のフィルタ係数であることを特徴とする、請求項１、請求項４、請求項５または請求項６のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
8. 前記フィルタ係数は、一定ではなく前記フレーム計数インデックスの関数として単調減少することを特徴とする、請求項１、または請求項４〜７のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
9. 前記フィルタ係数の絶対値は、前記フレーム計数インデックスに対する依存以外のフィルタ係数の何らかの依存に基づいてフィルタ係数がゼロ値に設定されない限り、予決定された正の値よりも大きい値をとることを特徴とする、請求項１、または請求項４〜８のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
10. 前記フィルタ係数は、前記フレーム計数インデックスから独立した第一の要素と、一定ではなく前記フレーム計数インデックスの関数として単調減少する第二の要素とを含むことを特徴とする、請求項１、または請求項４〜９のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
11. 前記第二の要素の絶対値は、予決定された正の値よりも大きいことを特徴とする、請求項１０に記載の映像信号に対する時間領域のノイズ低減装置（１０）。
12. 前記フィルタ係数は、前記フレーム計数インデックスが最大値に至るまで前記フレーム計数インデックスに反比例することを特徴とする、請求項１、または請求項４〜１１のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
13. 前記フィルタ係数は、前記フレーム計数インデックスが当該最大値を超えた後は前記フレーム計数インデックスから独立することを特徴とする、請求項１２に記載の映像信号に対する時間領域のノイズ低減装置（１０）。
14. さらにシーン変更を検知するシーン変更検知部（２）を備え、
    シーン変更が検知された際に前記フレーム計数インデックスがリセットされるように前記フィルタが適合される、
    請求項１、または請求項４〜１３のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
15. さらに動きを検知する動き検知部（３）を備え、
    動きが検知された際に前記フレーム計数インデックスがリセットされるように前記フィルタが適合される、
    請求項１、または請求項４〜１４のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
16. 前記フィルタ係数は、前記動き検知部（３）から提供される動き検知情報に対して、動きの発生した確率が相対的に高い場合には相対的に大きい値をとるように依存することを特徴とする、請求項１５に記載の映像信号に対する時間領域のノイズ低減装置（１０）。
17. 前記フィルタ係数は、前記動き検知部（３）から提供される動き検知情報に対して、動きの発生した確率が相対的に高い場合には相対的に小さい値をとるように依存することを特徴とする、請求項１５に記載の映像信号に対する時間領域のノイズ低減装置（１０）。
18. さらに、それぞれ画像シーケンス中に現れる動きタイプを特徴付ける動きベクトルを複数個決定する画像解析部（４）と、
    処理部（５）と、
    前記処理部（５）は動きベクトルごとに別々のフレーム計数インデックスを操作することと、
    前記処理部（５）は第一の画像フレーム内の第一の画素とそれに対応する第二の画像フレーム内の画素群の値の差異の計算し、対応する画素群の各画素は異なる動きベクトルによって前記第一の画素からシフトされることと、
    前記処理部（５）は画素値の差異を最小にする動きベクトルに対応するフレーム計測インデックスを選択することと、
    前記フィルタ係数は前記選択されたフレーム計測インデックスの関数であって、前記フィルタは前記第一の画素をフィルタリングするよう適合されることと、
    を備える、請求項１５〜１７のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
19. 前記フィルタ（１）は、再帰フィルタであることを特徴とする、請求項１、または請求項４〜１８のいずれかに記載の映像信号に対する時間領域のノイズ低減装置（１０）。
20. 映像信号に対する時間領域のノイズ低減方法であって、フレームインデックスの順に画像フレームが並べられて連続的にフィルタによってフィルタリングされ、
    前記フィルタのフィルタ係数をフレーム計数インデックスの関数とし、前記フレーム計数インデックスはあるオフセット分だけ移動したフレームインデックスに相当する、
    方法。
21. 前記フィルタ係数は、前記フィルタのノイズ低減の強さが一定ではなく単調増加する形で前記フレーム計数インデックスに依存することを特徴とする、請求項２０に記載の映像信号に対する時間領域のノイズ低減方法。
22. 前記フィルタ係数は、前記フィルタの順応性が一定ではなく単調減少する形で前記フレーム計数インデックスに依存することを特徴とする、請求項２０または請求項２１のいずれかに記載の映像信号に対する時間領域のノイズ低減方法。
23. 前記フィルタ係数は、ゼロ次のフィルタ係数であることを特徴とする、請求項２０、請求項２１または請求項２２のいずれかに記載の映像信号に対する時間領域のノイズ低減方法。
24. 前記フィルタ係数は、一定ではなく前記フレーム計数インデックスの関数として単調減少することを特徴とする、請求項２０〜２３のいずれかに記載の映像信号に対する時間領域のノイズ低減方法。
25. 前記フィルタ係数の絶対値は、前記フレーム計数インデックスに対する依存以外のフィルタ係数の何らかの依存に基づいてフィルタ係数がゼロ値に設定されない限り、予決定された正の値よりも大きい値をとることを特徴とする、請求項２０〜２４のいずれかに記載の映像信号に対する時間領域のノイズ低減方法。
26. 前記フィルタ係数は、前記フレーム計数インデックスから独立した第一の要素と、一定ではなく前記フレーム計数インデックスの関数として単調減少する第二の要素とを含むことを特徴とする、請求項２０〜２５のいずれかに記載の映像信号に対する時間領域のノイズ低減方法。
27. 前記第二の要素の絶対値は、予決定された正の値よりも大きいことを特徴とする、請求項２６に記載の映像信号に対する時間領域のノイズ低減方法。
28. 前記フィルタ係数は、前記フレーム計数インデックスが最大値に至るまで前記フレーム計数インデックスに反比例することを特徴とする、請求項２０〜２７のいずれかに記載の映像信号に対する時間領域のノイズ低減方法。
29. 前記フィルタ係数は、前記フレーム計数インデックスが当該最大値を超えた後は前記フレーム計数インデックスから独立することを特徴とする、請求項２８に記載の映像信号に対する時間領域のノイズ低減方法。
30. さらにシーン変更を検知するステップと、
    シーン変更が検知された際に前記フレーム計数インデックスをリセットするステップと、
    を備える請求項２０〜２９のいずれかに記載の映像信号に対する時間領域のノイズ低減方法。
31. さらに動きを検知するステップと、
    動きが検知された際に前記フレーム計数インデックスをリセットするステップと、
    を備える請求項２０〜３０のいずれかに記載の映像信号に対する時間領域のノイズ低減方法。
32. 前記フィルタ係数は、前記動き検知の出力に対して、動きの発生した確率が相対的に高い場合には相対的に大きい値をとるように依存することを特徴とする、請求項３１に記載の映像信号に対する時間領域のノイズ低減方法。
33. 前記フィルタ係数は、前記動き検知の出力に対して、動きの発生した確率が相対的に高い場合には相対的に小さい値をとるように依存することを特徴とする、請求項３１に記載の映像信号に対する時間領域のノイズ低減方法。
34. さらに、それぞれ画像シーケンス中に現れる動きタイプを特徴付ける動きベクトルを複数個決定するステップと、
    動きベクトルごとに別々のフレーム計数インデックスを操作するステップと、
    第一の画像フレーム内の第一の画素とそれに対応する第二の画像フレーム内の画素群の値の差異の計算し、対応する画素群の各画素を異なる動きベクトルによって前記第一の画素からシフトするステップと、
    画素値の差異を最小にする動きベクトルに対応するフレーム計測インデックスを選択するステップと、
    前記フィルタ係数は前記選択されたフレーム計測インデックスの関数であって、前記フィルタは前記第一の画素をフィルタリングするために用いられることと、
    を備える、請求項３１〜３３のいずれかに記載の映像信号に対する時間領域のノイズ低減方法。
35. 前記フィルタ（１）は、再帰フィルタであることを特徴とする、請求項２０〜３４のいずれかに記載の映像信号に対する時間領域のノイズ低減方法。
36. コンピュータ機器上で実行された際に、請求項２０〜３５のいずれかに記載の映像信号に対する時間領域のノイズ低減方法を実行することのできるプログラム情報を含む、ソフトウェア製品。

Images