JP2003535521A - 符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム - Google Patents

符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム

Info

Publication number
JP2003535521A
JP2003535521A JP2001588253A JP2001588253A JP2003535521A JP 2003535521 A JP2003535521 A JP 2003535521A JP 2001588253 A JP2001588253 A JP 2001588253A JP 2001588253 A JP2001588253 A JP 2001588253A JP 2003535521 A JP2003535521 A JP 2003535521A
Authority
JP
Japan
Prior art keywords
motion
image
noise level
recursive
compensated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001588253A
Other languages
English (en)
Other versions
JP4753522B2 (ja
Inventor
オリヴィエ ルムール
ジャン−イヴ バボノー
ジュアン モロンタ
ドミニク トゥーシャイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority claimed from PCT/EP2001/005564 external-priority patent/WO2001093593A1/fr
Publication of JP2003535521A publication Critical patent/JP2003535521A/ja
Application granted granted Critical
Publication of JP4753522B2 publication Critical patent/JP4753522B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

(57)【要約】 本発明は、動き補償再帰フィルタリングする装置及び方法と、それに対応する符号化システムとに関する。その装置は、特に、ブロック的動き推定モジュール(2)と、再帰ノイズレベル(σrec)を決定する手段(3)と、予測エラー(ε)を計算するモジュール(4)と、再帰的ノイズレベルの関数と予測エラーの関数としての再帰係数(α)を計算するモジュール(5)と、動き補償された画像を計算する手段(6)と、再帰係数によって、現入力画像と予め記憶されたフィルタされ及び動き補償された画像との重みを出力するフィルタリング手段(7、8)とを含む。装置はまた、固定化ノイズレベル(σimm)を決定する手段(3)と、動き推定に用いられるブロックの境界を構成する領域を処理し、FDsが固定化ノイズレベルに依存するスレッショルドよりも低い領域に係合する動きベクトル(d)を零にする組立体(11、12)とを含み、

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、動き補償再帰フィルタリングをする装置及び方法と、それに対応す
る符号化システムとに関する。
【0002】
【従来の技術】
デジタルビデオ信号に適用されるノイズ低減技術に関する。これら技術は、一
般的に、サンプルの行列形式をとるデジタルビデオ画像に適用される。各サンプ
ルは、輝度信号と、色信号に対するクロミナンス信号とから構成される。
【0003】 ビデオ画像シーケンスの取得は、今日まではアナログ形式で一般的に実行され
ており、アナログ形式で一度取得され且つ送信及び記憶され得る画像は、これら
コンテンツ内のノイズの明らかな割合を表すようになされている。一度デジタル
化されると、これら画像はまた、記憶/編集操作を受け、逆に、デジタル特性の
このときにノイズを導入する。最後に、一般的な画像シーケンスは連続転送され
、その結果、高いランダム特性の空間・時空間ノイズとなる。
【0004】 高い効率の操作を得るために、再帰フィルタリングを呼び出すノイズ低減方法
は、ビデオシーケンス画像の非常に強い時間相関を考慮する。従って、動き及び
変位の概念は、ノイズ低減を効果的に達成するために重要である。
【0005】 「変位」は、場面における対象物の位置の変化を意味するものとして理解され
る。「動き」は、ビデオシーケンスにおける対象物の全ての変位を意味すると理
解される。
【0006】 動きは、一般に、単なる画像対画像の差によって又は動き推定器を用いること
によって検出される。第1の場合、異なる時点における画素対画素の画像差又は
FDs(フレーム差)が用いられる。
【0007】 (動き推定器を用いる)第2の場合、変位は、異なる時点における画像差を考
慮する。これら変位は、画素(画素的動き推定)又はブロック(ブロック的動き
推定)に適用される動きベクトルフィールドによって表される。従って、動き補
償された画像差は、DFDs(変位フレーム差)と称され、画素的又はブロック
的に得られる。第2の方法は、より大きい複雑さのコストについて、第1の場合
よりも良い結果が得られる。
【0008】 動き補償再帰フィルタリングによってノイズ低減の公知技術によれば、先行し
て動き補償され且つフィルタされた入力信号を用いることによって得られた、現
画像信号u及び予測信号vの重み付けが行われる。得られた重み付けられた信号
は、フィルタされた信号として出力部から出力され、後の時点で記録される。現
入力信号uの重み係数と、予測信号vの重み係数とは、再帰係数αの計算に基づ
く。高効率システムにおいて、この係数は、ノイズ推定及び現予測エラーに基づ
いて計算され、現信号uと予測信号vとの間の差に等しくなる。
【0009】 通常、再帰係数αの決定は、ノイズレベル推定に基づき、動き推定器から出力
されるDFDsに対する情報から得られる。特に、DFDsは、ビデオシーケン
スに含まれたノイズの量として公正に表されている。DFDsは、動き補償が理
想的になる場合(即ち、補償が完全であるならば動き及び変形の性質は何でもよ
い)における正確な式を与える。
【0010】 これら技術は、有利な効果を提供する。ノイズの低減は、画像全体に渡って適
用し、ノイズレベルの推定は画像全体に渡って行われ、ノイズと使用信号との間
の混乱のリスクは最小にされる。しかしながら、動き推定器は理想的でないため
に、実際のノイズレベルの推定は偏ることになる。特に、推定器の精度は、一方
で実装的な制約(動きベクトルの符号化精度、これらベクトルの最大偏位等)、
他方で動き推定器に対する本質的な制約(例えば、確実に推定する回転動き、又
は同質性(homothety)から発生するものとの違い)から生じる特定数の要因によ
って限定される。更に、画素ブロック(一般に「ブロック整合」と称される)の
概念に基づく動き補償アルゴリズムの使用は、これら欠点のいくつかを強める。
この精度の欠落はまた、実際のノイズレベルの(DFDsにおける増加について
の)過推定を引き起こす源及びその品質(ノイズ的その他)に依存する。この結
果、フィルタリングは、ぼけ効果を生じ、かなり厳しい。最後に、ノイズの存在
及び静的領域において、ノイズに対する動き推定器の感度は、これら領域のフィ
ルタリングの現実の歪みを引き起こすベクトルフィールドの均一性(homogeneity
)の欠落を生じるかもしれない。時間的なちらつき及び遊走(swarming)効果とし
て明らかなこの劣化は、有害であって且つ決して許容できない。
【0011】
【発明が解決しようとする課題】
本発明は、ブロック的な動き補償に基づいて動き補償再帰フィルタリングをす
る装置に関し、良い画像品質を得ることが可能となり、前述で明らかにされた不
利益を削減することを考慮する。
【0012】 本発明はまた、このような装置を含む符号化システムと、それに対応する動き
補償再帰フィルタリングをする方法とに関する。
【0013】
【課題を解決するための手段】
このために、本発明は、符号化前にビデオ画像を動き補償再帰フィルタリング
する装置に関する。この装置は、 ・少なくとも1つの入力画像を記憶する手段と、 ・現入力画像と、記憶する手段に予め記憶された少なくとも1つの入力画像と
に基づいて、ブロック的な動きベクトルと、動き補償された画像の変化を表す量
とを出力するブロック的な動き補償モジュールと、 ・少なくとも動き補償された画像の変化を表す量の関数として、再帰化ノイズ
レベルを決定する手段と、 ・現入力画像と、フィルタリング及び動き補償によって予め予測された画像と
の間の予測エラーを計算するモジュールと、 ・再帰化ノイズレベルと予測エラーとの関数として、再帰係数を計算するモジ
ュールと、 ・フィルタされた画像及び動きベクトルに基づいて、動き補償された画像を計
算する手段と、 ・再帰係数によって、現入力画像と、予め記憶されたフィルタされ且つ動き補
償された画像との重みを出力するフィルタリング手段と、 ・動き補償された画像を計算する手段から出力された、少なくとも1つのフィ
ルタされ且つ動き補償された画像を記憶する手段と を含む。
【0014】 本発明によれば、フィルタリング装置は、 ・少なくとも動き補償された画像の変化を表す量の関数として、固定化ノイズ
レベルを決定する手段と、 ・動き補償に用いられるブロックの境界を構成する領域を処理する組立体とを
含み、 組立体は、 ・現入力画像と、入力画像を記憶する手段に予め記憶された少なくとも1つ
の入力画像とに基づいて、空間的に保存された画像の変化を表す量の、領域にお
ける計算手段と、 ・空間的に保存された画像の変化を表す量が、固定化ノイズレベルに依存す
るスレッショルドよりも下になるとき、領域に係る動きベクトルを零にする手段
とを含む。
【0015】 文言「動き補償された画像の変化を表す量」とは、動き推定を考慮することに
よって画像シーケンス(好ましくはブロック的な)の定量的な時間的補償となる
量を意味する。これら量はDFDsからなるのが効果的である。文言「空間的に
保存された画像の変化を表す量」とは、一方で、動き補償なしに画像シーケンス
(好ましくはブロック的な)の定量的な補正の量を意味する。それらがFDsか
らなるのが効果的である。
【0016】 それゆえ、本発明の装置は、ブロック的な動きフィルタリングと、これらブロ
ックの境界を形成する領域に適用される静的フィルタリングとの間の結合に基づ
く。従って、静的フィルタリングは、直接的なブロック的処理よりも細粒度で実
装される。この装置は、処理された各ブロックにおいて、静的領域及び動きの領
域に区別することによって、ビデオ信号の品質を改善することができる。
【0017】 従って、領域を処理する組立体は、動き推定に用いられるブロックのサブブロ
ックからなる領域を用いる。
【0018】 (ブロック整合型の)ブロック的な動き推定の使用は、高度に集積され且つ証
明された解決法の効果を更に表す。例えば、MPEG2ビデオ圧縮規格について
、動き推定は、ブロック16×8ピクセルのサイズで動作する動き推定である。
【0019】 動き補償された画像を計算する手段は、領域を処理する組立体によって後段の
先行処理の後で、(出力画像である)フィルタされた画像と動きベクトルとを用
いる。
【0020】 本質的な本発明の装置で用いられた2つのノイズレベルは、以下の機能を有す
る。 ・再帰化ノイズレベル(σrec)は、再帰フィルタの再帰係数の計算をしよう
とするものである。 ・固定化ノイズレベル(σimm)は、静的フィルタリングの静的領域を検出し
ようとするものである。;この固定化ノイズレベルに依存するスレッショルドと
して、異なる時点で(スレッショルド内の)空間的識別である画像領域を、検出
することができる。
【0021】 固定化ノイズレベルσimmに依存するスレッショルドは、(最大を示すMAX
)と等しくなるという効果を有する。 MAX(k×σimm;S0) kは乗算器係数であり、S0はスレッショルドの下限値を表す。従って、この
スレッショルドが小さすぎるものとなるとき、小さいノイズの存在でさえ固定領
域を検出することができるために、スレッショルドレベルが下値に強制される。
係数kは、1と2との間であることが好ましく、効果的な実施形態では1.5で
ある。
【0022】 スレッショルドの決定の他のモードにおいて、それは、固定化ノイズレベルσimm の直線関数であり、特別な実施形態においてそれらと等しくなる。
【0023】 ノイズレベルの決定に関する第1の実施形態において、再帰化ノイズレベルと
固定化ノイズレベルとを決定する手段は、再帰化ノイズレベル及び固定化ノイズ
レベルの両方を構成するノイズレベルを発生する。従って、2つのノイズレベル
は、再帰係数の計算と、静的フィルタリングとに対して同一となる。そのとき、
この決定における空間的に保存された画像の変化を表す量を含むことを避けるこ
とが好ましい。特に、1つは、ノイズレベルの推定における静的領域の検出のフ
ィードバックの予想に反する効果を避ける。
【0024】 他の実施形態において、再帰化及び固定化ノイズレベルは異なる。この形式は
、後者よりも大きいことが好ましい。
【0025】 従って、第2の実施形態において、再帰化ノイズレベルを決定する手段は、動
き補償された画像の変化を表す量の関数と、空間的に保存された画像の変化を表
す量の関数との両方について、再帰化ノイズレベルを決定する。従って、DFD
s及びFDsの組み合わせによる再帰化ノイズレベルと、DFDsにのみ依存す
ることが好ましい固定化ノイズレベルとを決定する点で効果的である。再帰化ノ
イズレベルを決定するこのような技術は、例えば、特許EP957367に記載
されている。このような組み合わせの他の効果的な実装は、フィールドの全ての
ブロックに対する平均を考慮する代わりに、ブロックの静的処理領域に対して計
算されたFDsの直接使用によって再帰化ノイズレベルを決定することからなる
【0026】 好ましくは、再帰化ノイズレベル及び/又は固定化ノイズレベルを決定する手
段は、動きベクトルの関数として、動き補償された画像の変化を表す量の重みを
用いて、1つの又は両方のノイズレベルを決定するようになされており、この重
みは他の手段を結合したものととなり得る。
【0027】 それゆえ、再帰化ノイズレベル及び/又は固定化ノイズレベルを決定する手段
は、動き補償された画像の変化を表す量をクラスに分散するのが効果的である。
これらクラスは、値を増加することによってランク(ranked)にされた動きベクト
ルのノルムによってデリミタ(delimited)された範囲と、それに対応する重み係
数とに対してそれぞれ係合される。
【0028】 各重み係数は、これら量の総計に、即ち、考慮されたクラスの部分和に適用さ
れるのが好ましい。そのとき、再帰化ノイズレベル及び/又は固定化ノイズレベ
ルは、関係する重み係数によって重み付けされた総計の和によって与えられる。
【0029】 この実施形態は、ヒストグラムの形式で動き補償された画像(好ましくはDF
Ds)の変化を表す量のクラスを通して、ノイズレベルの推定における更に実質
的な改善を提供する。ノイズ推定の強健性(roustness)がそれらによって改善さ
れ、従って、システムの効率を全体的に増加するようにもたらす。
【0030】 クラスに分散する再帰化ノイズレベル及び/又は固定化ノイズレベルを決定す
る手段の第1の実施形態において、これら手段は、計数システムと、比較器とを
有する。 ・計数システムは、クラスのオーダと等しいか又はそれよりも小さいオーダの
全てのクラスにおいて動き補償された画像の変化を表す量の数の総計を、クラス
の各々について計数する。 ・比較器は、 ・クラスそれぞれについての総計と、最大オーダのクラスについての総計と
の比を、プリセット値と比較し、 ・該比が、プリセット値と等しいか又はそれよりも大きいときに、最小オー
ダのクラスを出力する。
【0031】 更に、再帰化ノイズレベル及び/又は固定化ノイズレベルを決定する手段は、
前記最大オーダよりも大きいオーダのクラスに、零重み係数を割り当てる。
【0032】 従って、クラスは、全数の計算量の所定の割合、例えば10%まで考慮される
。それゆえ、最低ノルムを有する動きベクトルに対応するクラスだけが、ノイズ
レベルの計算の中に参加する。これは、弱い動きが、画像シーケンス内に含まれ
たノイズの量を実質的に表すものであるために、信頼性の良い結果を得ることが
できる。考慮されたクラスで用いられる重み係数は、同一であることが効果的で
あり、この量は、これらクラスに対して得られた部分和の手段をとる。
【0033】 クラスへの分散と共に、再帰化ノイズレベル及び/又は固定化ノイズレベルを
決定する手段の第2の実施形態において、これら手段は、クラスに重み係数1/
(i-1)を割り当てる。iは、クラスのオーダを示す。
【0034】 量の重み付けに補足的な手段は、ノイズレベルを決定するために、これらレベ
ルの時間的変動の限定からなるのが効果的である。従って、ノイズレベルは、予
め計算されたノイズレベルを含む値の範囲から外れることから防止される。
【0035】 本発明はまた、本発明に従う再帰フィルタリング装置を含む符号化システムに
関する。
【0036】 符号化前にビデオ画像を動き補償再帰フィルタリングする方法にも適用される
。この処理は、以下のようになる。 ・現入力画像が記憶され、 ・ブロック的な動き補償は、現入力画像と、予め記憶された少なくとも1つの
入力画像とに基づいて、動きベクトルと、動き補償された画像の変化を表す量と
を出力するようにされ、 ・再帰化ノイズレベルは、少なくとも動き補償された画像の変化を表す量の関
数として決定され、 ・予測エラーは、現入力画像と、フィルタリング及び動き補償によって予め予
測された画像との間で計算され、 ・再帰化ノイズレベル及び予測エラーの関数として計算され、 ・現入力画像と、再帰係数によって予め記憶されたフィルタされ且つ動き補償
された画像との重みを出力することによって、現入力画像がフィルタされ、 ・現フィルタされた画像及び動きベクトルに基づいて、動き補償された画像が
計算され、 ・フィルタされ且つ動き補償された画像が記憶される。
【0037】 本発明によれば、 ・固定化ノイズレベルが、少なくとも動き補償された画像の変化を表す量の関
数として決定され、 ・動き補償された画像を計算する前に、動き推定に用いられるブロックの境界
からなる領域は、 ・現入力画像と、記憶手段に予め記憶された少なくとも1つの入力画像とに
基づいて、空間的に保存された画像の変化を表す量を、領域において計算し、 ・空間的に保存された画像の変化を表す量が、固定化ノイズレベルに依存す
るスレッショルドよりも低いとき、領域に係合した零動きベクトルに影響する。
【0038】 本発明は、図面を参照して、何ら限定するものではない実施形態及び実装の効
果的な例を用いて十分に理解され且つ説明される。
【0039】
【発明の実施の形態】 本発明による動き補償再帰フィルタリング装置(図1)は、強健性ノイズレベ
ル推定と高効率サブブロック処理とを提供する。
【0040】 発明者らは、以下のように表す。 ・xは横座標であり、yは縦座標であり、tは時間である。 ・u(x、y;t)は、現入力信号である ・u(x、y;t−T)は、遅延Tによって遅延された入力信号である(Tは
例えば1つのビデオフレームの遅延を表す) ・d(dx,dy)は変位ベクトルであり、dxは横軸に沿った変位のオフセ
ット(シフト)を意味し、dyは縦軸に沿った変位のオフセットを意味する。 ・v(x,y;t)は、フィルタの出力である。 ・v(x+dx,y+dy;t−T)は、遅延Tによって遅延されたフィルタ
の動き補償出力であり、一般的に(フィルタリングを有する)予測と称される。 ・αは、現サンプルに対する再帰係数である。 ・σrecは、全体画像に対して推定された再帰化ノイズレベルである。 ・σimmは、全体画像に対して推定された固定化ノイズレベルである。 ・εは、現サンプルに対する予測エラーである。 ・NLは、非線形フィルタα=f(ε,σrec)である。 ・FD(x,y;t):FD(x,y;t)=u(x,y;t−T)は、画素
に対して又は画素ブロックに対して適用される。 ・DFD(x,y;t):DFD(x,y;t)=u(x,y;t)−u(x
+dx,y+dy;t−T)は、画素に対して又は画素ブロックに対して適用さ
れる。
【0041】 フィルタリング装置は、入力画像(信号u(x,y;t))を記憶するように
されたメモリ1と、現入力画像(信号u(x,y;t))から及びメモリ1に予
め記憶された入力画像(信号u(x,y;t−T))から、ブロック的に動きベ
クトルd及びDFDsを出力するようになされたブロック的動き推定器2とを含
む。
【0042】 装置はまた、DFDsと、動き推定器2から受信した動きベクトルdとの関数
として、再帰化ノイズレベルσrecと固定化ノイズレベルσimmとを決定するユニ
ット3を備える。再帰化ノイズレベルσrecは、再帰係数αを計算するために用
いられるのに対して、固定化ノイズレベルσimmは、以下に詳述されるように、
予めフィルタされた画像の動き補償を改良することによってフィルタリングを改
善するために提供する。
【0043】 また、現入力画像(信号u(x,y;t))と、フィルタされた画像に基づく
動き補償によって予め予測された画像(信号v(x,y;t−T))とを差し引
くことを可能にするフィルタ加算器4も含む。従って、加算器4は、予測エラー
εを出力する。
【0044】 再帰係数αを計算するモジュール5は、再帰化ノイズレベルσrecをユニット
3から受信し、予測エラーεを計算モジュール4から受信し、非線形フィルタ関
数(NL)によって再帰係数αを計算する。乗算器7は、加算器4の出力である
予測エラーεを、計算モジュール5から受信された再帰係数αによって乗算する
ことができる。更に、第2の加算器8は、乗算器7からのこの出力結果を受信し
、この出力結果を、フィルタされた画像に基づく動き補償によって予め予測され
た画像(信号v(x,y;t−T))に加算する。この加算結果は、装置の出力
部から出力された現フィルタされた画像(信号v(x,y;t))を構成する。
発明者は、以下の式を得た。 v(x,y;t)=α×u(x,y;t)+(1−α)×v(x+dx,y
+dy;t−T)
【0045】 装置は、更に、装置の出力画像(信号v(x,y;t))と、動き推定器2に
よって計算された動きベクトルdとに基づいて動き補償された画像を、計算し且
つ記憶するユニット6を備える。しかしながら、現動きベクトルdと零ベクトル
との間の選択は、以下に記載されるように、前述した方法で行われる。ユニット
6は、加算器4及び8の両方の入力部に遅延(遅延T)をもたらすように用いら
れる出力部を有する。
【0046】 再帰フィルタリング装置はまた、決定ユニット11と選択ユニット12とを含
む。
【0047】 決定ユニット11は、現入力画像(信号(x,y;t))と、メモリ1に予め
記憶された入力画像(信号(x,y;t−T))と、固定化ノイズレベルσimm
とをそれぞれ受信する3つの入力部を有する。それは、選択ユニット12に接続
される制御出力と共に備えられる。決定ユニット11は、各ブロックの種々の領
域に渡ってFDsを計算し、FDsを固定化ノイズレベルσimmと(又はこのノ
イズレベルに依存するスレッショルドと)比較するようになされる。これら領域
は、例えば4×4画素のような動き補償に用いられるブロックのものよりも小さ
いサイズのサブブロックであるのが好ましい。FDsが固定化ノイズレベルσim m よりも小さいか(よりもそれぞれ大きいか)否かに依存して、処理される画像
の領域は、静的に(それぞれ非静的に)発せられる。そのとき、決定ユニット1
1は、その制御出力部を介して、静的に宣言された領域の動きベクトルdを零に
する命令を、選択ユニット12へ与える。また、表された例において、静的に宣
言された領域のFDsは、少なくとも1つのノイズレベルの推定において参加す
るように、ユニット3へ送信される。
【0048】 選択ユニット12は、動き推定器2から出力された動きベクトルdを受信する
入力部と、動きベクトルを零にする入力部と、決定ユニット11に接続された制
御入力部とを含む。それは、現動きベクトルdと零ベクトルとの間で選択をする
。この選択は、決定ユニット11から出力された結果によって条件付けられる。
従って、静的領域の存在において、動きベクトルは零になされる。逆の場合、現
動きベクトルdが選択される。出力される動きベクトルは、動き補償ユニット6
への出力部によって送信される。
【0049】 静的領域の処理方法は、空間的に及び時間的に同一である領域(動き領域のば
らつき)において、ノイズの存在する中でブロック的動き推定器2によって導出
された欠陥に対処する特別な効果を有する。この処理方法は、同一空間位置を占
有する2つのサブブロックの間の差の分析、その他異なる時点の分析に基づく。
固定化ノイズレベルσimmに依存するスレッショルドを有する各領域のFDの比
較は、ノイズ的又は非ノイズ的なビデオシーケンスに対して、空間的及び時間的
に同じとなる領域を検出することが可能となる。従って、空間的及び時間的に実
際に同じとなる領域における時間的なちらつき及遊走の現象は、強く減衰される
。この様相は別として、この処理方法はまた、動きの対象物の「クリッピング」
を行うことも可能となる。特に、ブロック的動き推定は、ブロックの実際の内部
において、対象物又はこの対象物の一部と場面の背景との間で見分けられない。
サブブロック処理方法は、各ブロックの実際の内部における空間的及び時間的に
同じ領域における零変位ベクトルdを課すことによってこの様相を改善する。
【0050】 ノイズレベルを決定するユニット3の特別な実施形態が、ここに詳述される。
これら実施形態は、記載された装置に本質的に適する。これら実施形態によれば
、ユニット3は、予測ノイズレベルσpredictedを決定する組立体20を含む(
図2)。これは、再帰化ノイズレベルσrec及び固定化ノイズレベルσimmを計算
するために用いられる。実施形態の1つにおいて、これら2つのノイズレベルは
、予測ノイズレベルσpredictedと同じであり且つ等しい。他の実施形態におい
て、それらは互いに異なる。
【0051】 組立体20は、DFDsと動きベクトルdのノルム||d||とをそれぞれ受信す
る2つの入力部と、予測ノイズレベルσpredictedを与える出力部とを有する。
それは、増加する値の範囲[0;β1[...[βn-1;βn[に動きベクトルdのノ
ルム||d||を分散する第1の回路21を含む(βiはi番目の区切)。動きベク
トルの最大係数(modulus)から得られた(同じ動的な振れ(swing)又はその他の)
N個の範囲に薄く切られたものが、これに対して用いられる。
【0052】 組立体20はまた、考慮された種々の領域における動きベクトルdのノルム||
d||の帰属関係範囲に従って、DFDsを向ける第2の回路22を含む。第3の
計数及び総計回路23は、i=1...Nであって、アキュムレータAiとカウンタ
Ciとから各々構成されたN個の対を含む。これら対の各々は、分散回路21の
範囲の1つに係合する。従って、各対は、ノルム||d||の範囲の1つに対応して
、DFDsに対する帰属関係クラスを規定する。アキュムレータAiとカウンタ
Ciとは、それらに向けられたDFDsの値を総計する関数と、それらの計数の
値を総計する関数とをそれぞれ有する。それらは、部分和Siと番号Cptiとをそ
れぞれの出力部から出力する。
【0053】 第3の回路23の下流段にある、クラスを用いるモジュール25は、部分和S
iの関数と、各クラスの番号Cptiの関数として、予測ノイズレベルσpredicted
を出力することが可能となる。
【0054】 予測ノイズレベルσpredictedを計算する、モジュール25内で用いられる第
1の方法によれば、DFDsの10%だけが考慮される。総計されたDFDsの
10%よりも大きい数が得られるまで、第1のクラス(クラス1)から始まり、
続くクラスに渡って部分和を総計する。そのとき、予測ノイズレベルσpredicte d は、考慮された連続クラスの部分和の手段と等しくなる。それは、最小変位を
表す画素のブロックの少なくとも10%から発生するノイズレベルを意味する。
【0055】 第2の方法によれば、部分和の重み付け手段が計算される。重み付けは、最小
の動きベクトルの係数を表すクラスに有利である。重み付け係数(φi)は、以
下の式のように有利である。 φi=1/2(i-1) iは、クラスのインデックスを表し、1からN(クラス番号)の間にある。
【0056】 有利な点として、モジュール25だけは、予め計算された予測ノイズレベルσprec の関数として、変動の特定範囲(Δσlow及びΔσhigh)を許容する(ME
Dは、パラメータの3つの値の間の中間値を示す)。 σpredicted=MED[σprec−Δσlow,σpredicted,σprec+Δσhigh
【0057】 従って、予測ノイズレベルσpredictedは、弱い動きに関するDFDsを排他
的又は本質的に考慮することによって、動きベクトルdの係数に基づいて行われ
た、DFDsのクラスから発生する。
【0058】 従って、非常に信頼性の高いノイズレベルが得られる。特に、DFDsは、一
方で動き推定器のためのエラーに、他方で強い動きに、非常に影響されやすい。
強い動きは、場合によっては形状と対象物との歪みを導出し、それらの結果は、
動きを強く増加することによってDFDsの歪曲となる。
【0059】 種々の実施形態において、静的フィルタリングは、サブブロックの代わりに、
考慮されたブロックの画素上で行われる。
【図面の簡単な説明】
【図1】 本発明による再帰フィルタリング装置の機能構成図である。
【図2】 図1の装置に結合された、予測ノイズレベルを計算する組立体の構成図である
【符号の説明】
1 メモリ 2 ブロック的な動き補償部 3 ノイズレベル推定部 4 加算器 5 非線形フィルタ 6 動き補償部 7 乗算器 8 加算器 11 決定ユニット、サブブロック処理部 12 選択ユニット 20 組立体 21 分散回路 22 第2の回路 23 計数・総計回路 25 比較器
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE,TR),OA(BF ,BJ,CF,CG,CI,CM,GA,GN,GW, ML,MR,NE,SN,TD,TG),AP(GH,G M,KE,LS,MW,MZ,SD,SL,SZ,TZ ,UG,ZW),EA(AM,AZ,BY,KG,KZ, MD,RU,TJ,TM),AE,AG,AL,AM, AT,AU,AZ,BA,BB,BG,BR,BY,B Z,CA,CH,CN,CR,CU,CZ,DE,DK ,DM,DZ,EE,ES,FI,GB,GD,GE, GH,GM,HR,HU,ID,IL,IN,IS,J P,KE,KG,KP,KR,KZ,LC,LK,LR ,LS,LT,LU,LV,MA,MD,MG,MK, MN,MW,MX,MZ,NO,NZ,PL,PT,R O,RU,SD,SE,SG,SI,SK,SL,TJ ,TM,TR,TT,TZ,UA,UG,US,UZ, VN,YU,ZA,ZW (72)発明者 バボノー ジャン−イヴ フランス国, 35590 レルミタージュ, ラ ミュッセ (72)発明者 モロンタ ジュアン フランス国, 35000 レーヌ, リュ デ ブレスト, 37番地 (72)発明者 トゥーシャイ ドミニク フランス国, 35340 ラ ブーグジエー ル, アレ デ グランド フォンテー ヌ, 7番地 Fターム(参考) 5C059 KK03 MA00 MA01 NN01 PP04 PP25 UA02 UA11 UA33

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 符号化前にビデオ画像を動き補償再帰フィルタリングする装
    置であって、 少なくとも1つの入力画像を記憶する手段(1)と、 現入力画像と、前記記憶する手段に予め記憶された少なくとも1つの入力画像
    とに基づいて、ブロック的な動きベクトル(d)と、動き補償された画像の変化
    を表す量(DFD)とを出力するブロック的な動き補償モジュール(2)と、 少なくとも前記動き補償された画像の変化を表す量(DFD)の関数として、
    再帰化ノイズレベル(σrec)を決定する手段(3)と、 現入力画像と、フィルタリング及び動き補償によって予め予測された画像との
    間の予測エラー(ε)を計算するモジュール(4)と、 前記再帰化ノイズレベル(σrec)と前記予測エラー(ε)との関数として、
    再帰係数(α)を計算するモジュール(5)と、 フィルタされた画像及び前記動きベクトル(d)に基づいて、動き補償された
    画像を計算する手段(6)と、 前記再帰係数(α)によって、前記現入力画像と、予め記憶されたフィルタさ
    れ且つ動き補償された画像との重みを出力するフィルタリング手段(7、8)と
    、 前記動き補償された画像を計算する手段(6)から出力された、少なくとも1
    つのフィルタされ且つ動き補償された画像を記憶する手段(6)と を含む装置において、 少なくとも前記動き補償された画像の変化を表す量(DFD)の関数として、
    固定化ノイズレベル(σimm)を決定する手段(3)と、 前記動き補償に用いられる前記ブロックの境界を構成する領域を処理する組立
    体(11、12)とを含み、 前記組立体(11、12)は、 現入力画像と、入力画像を記憶する前記手段(1)に予め記憶された少なくと
    も1つの入力画像とに基づいて、空間的に保存された画像の変化を表す量(FD
    )の、前記領域における計算手段(11)と、 前記空間的に保存された画像の変化を表す量(FD)が、前記固定化ノイズレ
    ベル(σimm)に依存するスレッショルドよりも下になるとき、前記領域に係る
    前記動きベクトル(d)を零にする手段(12)とを含む ことを特徴とする再帰フィルタリング装置。
  2. 【請求項2】 前記領域(11、12)を処理する前記組立体は、前記動き
    補償に用いられる前記ブロックのサブブロックを含む領域を用いることを特徴と
    する請求項1に記載の再帰フィルタリング装置。
  3. 【請求項3】 前記再帰化ノイズレベル(σrec)及び前記固定化ノイズレ
    ベル(σimm)を決定する前記手段(3)は、該再帰化ノイズレベル及び該固定
    化ノイズレベルの両方からなるノイズレベルを出力することを特徴とする請求項
    1又は2に記載の再帰フィルタリング装置。
  4. 【請求項4】 前記再帰化ノイズレベル(σrec)を決定する前記手段(3
    )は、前記動き補償された画像の変化を表す量(DFD)と、前記空間的に保存
    された画像の変化を表す量(FD)との両方の関数として、前記再帰化ノイズレ
    ベルを決定することを特徴とする請求項1又は2に記載の再帰フィルタリング装
    置。
  5. 【請求項5】 前記再帰化ノイズレベル(σrec)及び/又は固定化ノイズ
    レベル(σimm)を決定する前記手段(3)は、前記動きベクトル(d)の関数
    として、少なくとも前記動き補償された画像の変化を表す量(DFD)の重みを
    用いて、少なくとも1つのノイズレベルを決定することを特徴とする請求項1か
    ら4のいずれか1項に記載の再帰フィルタリング装置。
  6. 【請求項6】 前記再帰化ノイズレベル(σrec)及び/又は固定化ノイズ
    レベル(σimm)を決定する前記手段(3)は、値を増加することによってラン
    クにされた動きベクトルのノルム(||d||)によってデリミタされた範囲([0
    ;β1[...[βn-1;βn[)に対してそれぞれ係合したクラスに、前記動き補償さ
    れた画像の変化を表す量(DFD)を分散させることを特徴とする請求項5に記
    載の再帰フィルタリング装置。
  7. 【請求項7】 前記再帰化ノイズレベル(σrec)及び/又は固定化ノイズ
    レベル(σimm)を決定する前記手段(3)は、 前記クラスのオーダと等しいか又はそれよりも小さいオーダの全てのクラスに
    おいて前記動き補償された画像の変化を表す量(DFD)の数の総計を、前記ク
    ラスの各々について計数する計数システム(23)と、 前記クラスそれぞれについての前記総計と、最大オーダのクラスについての前
    記総計との比を、プリセット値と比較し、該比が、プリセット値と等しいか又は
    それよりも大きいときに、最小オーダのクラスを出力する比較器(25)と を有し、 前記再帰化ノイズレベル(σrec)及び/又は固定化ノイズレベル(σimm)を
    決定する前記手段(3)は、前記最小オーダよりも大きいオーダのクラスに零重
    み係数を割り当てる ことを特徴とする請求項6に記載の再帰フィルタリング装置。
  8. 【請求項8】 前記再帰化ノイズレベル(σrec)及び/又は固定化ノイズ
    レベル(σimm)を決定する前記手段(3)は、前記クラスに前記重み係数1/
    (i-1)を割り当て、iはクラスのオーダを意味することを特徴とする請求項6に
    記載の再帰フィルタリング装置。
  9. 【請求項9】 請求項1から8のいずれか1項に記載の再帰フィルタリング
    装置を含むことを特徴とする符号化システム。
  10. 【請求項10】 符号化前にビデオ画像を動き補償再帰フィルタリングする
    方法であって、 現入力画像が記憶され、 ブロック的な動き補償は、前記現入力画像と、予め記憶された少なくとも1つ
    の入力画像とに基づいて、動きベクトル(d)と、動き補償された画像の変化を
    表す量(DFD)とを出力するようにされ、 再帰化ノイズレベル(σrec)は、少なくとも前記動き補償された画像の変化
    を表す量(DFD)の関数として決定され、 予測エラー(ε)は、前記現入力画像と、フィルタリング及び動き補償によっ
    て予め予測された画像との間で計算され、 前記再帰化ノイズレベル(σrec)及び前記予測エラー(ε)の関数として計
    算され、 前記現入力画像と、前記再帰係数(α)によって予め記憶されたフィルタされ
    且つ動き補償された画像との重みを出力することによって、前記現入力画像がフ
    ィルタされ、 前記現フィルタされた画像及び前記動きベクトル(d)に基づいて、動き補償
    された画像が計算され、 前記フィルタされ且つ動き補償された画像が記憶される 方法において、 固定化ノイズレベル(σimm)が、少なくとも前記動き補償された画像の変化
    を表す量(DFD)の関数として決定され、 前記動き補償された画像を計算する前に、動き推定に用いられる前記ブロック
    の境界からなる領域は、 前記現入力画像と、前記記憶手段に予め記憶された少なくとも1つの入力画像
    とに基づいて、空間的に保存された画像の変化を表す量(FD)を、前記領域に
    おいて計算し、 前記空間的に保存された画像の変化を表す量(FD)が、前記固定化ノイズレ
    ベル(σimm)に依存するスレッショルドよりも低いとき、前記領域に係合した
    零動きベクトル(d)に影響する ようにすることを特徴とする方法。
JP2001588253A 2000-05-31 2001-05-16 符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム Expired - Lifetime JP4753522B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP00401558.2 2000-05-31
EP00401558 2000-05-31
FR0009684A FR2809916B1 (fr) 2000-05-31 2000-07-24 Dispositif et procede de filtrage recursif compense en mouvement d'images video avant codage et systeme de codage correspondant
FR00/09684 2000-07-24
PCT/EP2001/005564 WO2001093593A1 (fr) 2000-05-31 2001-05-16 Dispositif et procede de codage video avec filtrage recursif compense en mouvement

Publications (2)

Publication Number Publication Date
JP2003535521A true JP2003535521A (ja) 2003-11-25
JP4753522B2 JP4753522B2 (ja) 2011-08-24

Family

ID=8173714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001588253A Expired - Lifetime JP4753522B2 (ja) 2000-05-31 2001-05-16 符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム

Country Status (2)

Country Link
JP (1) JP4753522B2 (ja)
FR (1) FR2809916B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502551A (ja) * 2013-11-01 2017-01-19 華為技術有限公司Huawei Technologies Co.,Ltd. 雑音画像のためのテンポラルノイズリダクション方法及び関係する装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184705B2 (en) 2008-06-25 2012-05-22 Aptina Imaging Corporation Method and apparatus for motion compensated filtering of video signals
JP5430234B2 (ja) * 2009-06-04 2014-02-26 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163410A (ja) * 1994-12-01 1996-06-21 Oki Electric Ind Co Ltd ノイズ低減回路
JPH09130648A (ja) * 1995-10-27 1997-05-16 Toshiba Corp 動画像信号処理装置
JP2000069487A (ja) * 1998-04-14 2000-03-03 Thomson Multimedia Sa ビデオシ―ケンスのノイズレベルの推定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI87713C (fi) * 1991-10-02 1993-02-10 Nokia Oy Ab Foerfarande foer prediktiv videokompressionskodning
EP0735747B1 (en) * 1995-03-31 1999-11-03 THOMSON multimedia Method and apparatus for motion compensated frame rate upconversion
US5832234A (en) * 1995-09-29 1998-11-03 Intel Corporation Encoding images using block-based macroblock-level statistics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163410A (ja) * 1994-12-01 1996-06-21 Oki Electric Ind Co Ltd ノイズ低減回路
JPH09130648A (ja) * 1995-10-27 1997-05-16 Toshiba Corp 動画像信号処理装置
JP2000069487A (ja) * 1998-04-14 2000-03-03 Thomson Multimedia Sa ビデオシ―ケンスのノイズレベルの推定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502551A (ja) * 2013-11-01 2017-01-19 華為技術有限公司Huawei Technologies Co.,Ltd. 雑音画像のためのテンポラルノイズリダクション方法及び関係する装置
US9721330B2 (en) 2013-11-01 2017-08-01 Huawei Technologies Co., Ltd. Temporal noise reduction method for noisy image and related apparatus

Also Published As

Publication number Publication date
FR2809916A1 (fr) 2001-12-07
FR2809916B1 (fr) 2002-08-16
JP4753522B2 (ja) 2011-08-24

Similar Documents

Publication Publication Date Title
EP0614312B1 (en) Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
CN102317974B (zh) 图像序列的质量评估
JP4463341B2 (ja) ビデオシーケンスのノイズレベルの推定方法
EP0549471B1 (en) Motion detection and estimation apparatus and method thereof
US6396876B1 (en) Preprocessing process and device for motion estimation
JP3679324B2 (ja) ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法
US6738099B2 (en) Robust camera motion estimation for video sequences
US7046307B1 (en) Video signal noise level estimator
US6404461B1 (en) Method for detecting static areas in a sequence of video pictures
JPH09163217A (ja) カメラ映像の動きベクトル検出装置および動きベクトル検出方法
Bosco et al. Fast method for noise level estimation and integrated noise reduction
US6944230B2 (en) Device and method for motion-compensated recursive filtering of video images
JP2002522836A (ja) 静止画像生成方法および装置
JP2004088234A (ja) ノイズ低減装置
JP2005518689A (ja) ノイズレベルを推定する装置および方法、当該装置を含むノイズリダクションシステムおよび符号化システム
JP2003535521A (ja) 符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム
JP3458581B2 (ja) ディジタル画像品質評価装置
US20050094035A1 (en) Device and method for noise reduction of a video signal
US12125173B2 (en) Video denoising method and device, and computer readable storage medium
CN113038144B (zh) 一种去除块效应的方法、装置和计算机可读存储介质
US20220351335A1 (en) Video denoising method and device, and computer readable storage medium
EP0950899B1 (en) Method for estimating the noise level in a video sequence
JPH06113266A (ja) 視覚モデルを用いた動画像のブロックマッチング動き推定方法
JPS62104387A (ja) 高能率符号化及び復号化方法
Schulte et al. Noise reduction of video sequences using fuzzy logic motion detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100929

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110524

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4753522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term