JP2003535521A - 符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム - Google Patents
符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システムInfo
- Publication number
- JP2003535521A JP2003535521A JP2001588253A JP2001588253A JP2003535521A JP 2003535521 A JP2003535521 A JP 2003535521A JP 2001588253 A JP2001588253 A JP 2001588253A JP 2001588253 A JP2001588253 A JP 2001588253A JP 2003535521 A JP2003535521 A JP 2003535521A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image
- noise level
- recursive
- compensated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims abstract description 128
- 239000013598 vector Substances 0.000 claims abstract description 44
- 230000008859 change Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 17
- 230000003068 static effect Effects 0.000 description 12
- 238000006073 displacement reaction Methods 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
る符号化システムとに関する。
般的に、サンプルの行列形式をとるデジタルビデオ画像に適用される。各サンプ
ルは、輝度信号と、色信号に対するクロミナンス信号とから構成される。
ており、アナログ形式で一度取得され且つ送信及び記憶され得る画像は、これら
コンテンツ内のノイズの明らかな割合を表すようになされている。一度デジタル
化されると、これら画像はまた、記憶/編集操作を受け、逆に、デジタル特性の
このときにノイズを導入する。最後に、一般的な画像シーケンスは連続転送され
、その結果、高いランダム特性の空間・時空間ノイズとなる。
は、ビデオシーケンス画像の非常に強い時間相関を考慮する。従って、動き及び
変位の概念は、ノイズ低減を効果的に達成するために重要である。
る。「動き」は、ビデオシーケンスにおける対象物の全ての変位を意味すると理
解される。
によって検出される。第1の場合、異なる時点における画素対画素の画像差又は
FDs(フレーム差)が用いられる。
慮する。これら変位は、画素(画素的動き推定)又はブロック(ブロック的動き
推定)に適用される動きベクトルフィールドによって表される。従って、動き補
償された画像差は、DFDs(変位フレーム差)と称され、画素的又はブロック
的に得られる。第2の方法は、より大きい複雑さのコストについて、第1の場合
よりも良い結果が得られる。
て動き補償され且つフィルタされた入力信号を用いることによって得られた、現
画像信号u及び予測信号vの重み付けが行われる。得られた重み付けられた信号
は、フィルタされた信号として出力部から出力され、後の時点で記録される。現
入力信号uの重み係数と、予測信号vの重み係数とは、再帰係数αの計算に基づ
く。高効率システムにおいて、この係数は、ノイズ推定及び現予測エラーに基づ
いて計算され、現信号uと予測信号vとの間の差に等しくなる。
されるDFDsに対する情報から得られる。特に、DFDsは、ビデオシーケン
スに含まれたノイズの量として公正に表されている。DFDsは、動き補償が理
想的になる場合(即ち、補償が完全であるならば動き及び変形の性質は何でもよ
い)における正確な式を与える。
用し、ノイズレベルの推定は画像全体に渡って行われ、ノイズと使用信号との間
の混乱のリスクは最小にされる。しかしながら、動き推定器は理想的でないため
に、実際のノイズレベルの推定は偏ることになる。特に、推定器の精度は、一方
で実装的な制約(動きベクトルの符号化精度、これらベクトルの最大偏位等)、
他方で動き推定器に対する本質的な制約(例えば、確実に推定する回転動き、又
は同質性(homothety)から発生するものとの違い)から生じる特定数の要因によ
って限定される。更に、画素ブロック(一般に「ブロック整合」と称される)の
概念に基づく動き補償アルゴリズムの使用は、これら欠点のいくつかを強める。
この精度の欠落はまた、実際のノイズレベルの(DFDsにおける増加について
の)過推定を引き起こす源及びその品質(ノイズ的その他)に依存する。この結
果、フィルタリングは、ぼけ効果を生じ、かなり厳しい。最後に、ノイズの存在
及び静的領域において、ノイズに対する動き推定器の感度は、これら領域のフィ
ルタリングの現実の歪みを引き起こすベクトルフィールドの均一性(homogeneity
)の欠落を生じるかもしれない。時間的なちらつき及び遊走(swarming)効果とし
て明らかなこの劣化は、有害であって且つ決して許容できない。
る装置に関し、良い画像品質を得ることが可能となり、前述で明らかにされた不
利益を削減することを考慮する。
補償再帰フィルタリングをする方法とに関する。
する装置に関する。この装置は、 ・少なくとも1つの入力画像を記憶する手段と、 ・現入力画像と、記憶する手段に予め記憶された少なくとも1つの入力画像と
に基づいて、ブロック的な動きベクトルと、動き補償された画像の変化を表す量
とを出力するブロック的な動き補償モジュールと、 ・少なくとも動き補償された画像の変化を表す量の関数として、再帰化ノイズ
レベルを決定する手段と、 ・現入力画像と、フィルタリング及び動き補償によって予め予測された画像と
の間の予測エラーを計算するモジュールと、 ・再帰化ノイズレベルと予測エラーとの関数として、再帰係数を計算するモジ
ュールと、 ・フィルタされた画像及び動きベクトルに基づいて、動き補償された画像を計
算する手段と、 ・再帰係数によって、現入力画像と、予め記憶されたフィルタされ且つ動き補
償された画像との重みを出力するフィルタリング手段と、 ・動き補償された画像を計算する手段から出力された、少なくとも1つのフィ
ルタされ且つ動き補償された画像を記憶する手段と を含む。
レベルを決定する手段と、 ・動き補償に用いられるブロックの境界を構成する領域を処理する組立体とを
含み、 組立体は、 ・現入力画像と、入力画像を記憶する手段に予め記憶された少なくとも1つ
の入力画像とに基づいて、空間的に保存された画像の変化を表す量の、領域にお
ける計算手段と、 ・空間的に保存された画像の変化を表す量が、固定化ノイズレベルに依存す
るスレッショルドよりも下になるとき、領域に係る動きベクトルを零にする手段
とを含む。
よって画像シーケンス(好ましくはブロック的な)の定量的な時間的補償となる
量を意味する。これら量はDFDsからなるのが効果的である。文言「空間的に
保存された画像の変化を表す量」とは、一方で、動き補償なしに画像シーケンス
(好ましくはブロック的な)の定量的な補正の量を意味する。それらがFDsか
らなるのが効果的である。
ックの境界を形成する領域に適用される静的フィルタリングとの間の結合に基づ
く。従って、静的フィルタリングは、直接的なブロック的処理よりも細粒度で実
装される。この装置は、処理された各ブロックにおいて、静的領域及び動きの領
域に区別することによって、ビデオ信号の品質を改善することができる。
ックからなる領域を用いる。
明された解決法の効果を更に表す。例えば、MPEG2ビデオ圧縮規格について
、動き推定は、ブロック16×8ピクセルのサイズで動作する動き推定である。
先行処理の後で、(出力画像である)フィルタされた画像と動きベクトルとを用
いる。
る。 ・再帰化ノイズレベル(σrec)は、再帰フィルタの再帰係数の計算をしよう
とするものである。 ・固定化ノイズレベル(σimm)は、静的フィルタリングの静的領域を検出し
ようとするものである。;この固定化ノイズレベルに依存するスレッショルドと
して、異なる時点で(スレッショルド内の)空間的識別である画像領域を、検出
することができる。
)と等しくなるという効果を有する。 MAX(k×σimm;S0) kは乗算器係数であり、S0はスレッショルドの下限値を表す。従って、この
スレッショルドが小さすぎるものとなるとき、小さいノイズの存在でさえ固定領
域を検出することができるために、スレッショルドレベルが下値に強制される。
係数kは、1と2との間であることが好ましく、効果的な実施形態では1.5で
ある。
固定化ノイズレベルとを決定する手段は、再帰化ノイズレベル及び固定化ノイズ
レベルの両方を構成するノイズレベルを発生する。従って、2つのノイズレベル
は、再帰係数の計算と、静的フィルタリングとに対して同一となる。そのとき、
この決定における空間的に保存された画像の変化を表す量を含むことを避けるこ
とが好ましい。特に、1つは、ノイズレベルの推定における静的領域の検出のフ
ィードバックの予想に反する効果を避ける。
、後者よりも大きいことが好ましい。
き補償された画像の変化を表す量の関数と、空間的に保存された画像の変化を表
す量の関数との両方について、再帰化ノイズレベルを決定する。従って、DFD
s及びFDsの組み合わせによる再帰化ノイズレベルと、DFDsにのみ依存す
ることが好ましい固定化ノイズレベルとを決定する点で効果的である。再帰化ノ
イズレベルを決定するこのような技術は、例えば、特許EP957367に記載
されている。このような組み合わせの他の効果的な実装は、フィールドの全ての
ブロックに対する平均を考慮する代わりに、ブロックの静的処理領域に対して計
算されたFDsの直接使用によって再帰化ノイズレベルを決定することからなる
。
段は、動きベクトルの関数として、動き補償された画像の変化を表す量の重みを
用いて、1つの又は両方のノイズレベルを決定するようになされており、この重
みは他の手段を結合したものととなり得る。
は、動き補償された画像の変化を表す量をクラスに分散するのが効果的である。
これらクラスは、値を増加することによってランク(ranked)にされた動きベクト
ルのノルムによってデリミタ(delimited)された範囲と、それに対応する重み係
数とに対してそれぞれ係合される。
れるのが好ましい。そのとき、再帰化ノイズレベル及び/又は固定化ノイズレベ
ルは、関係する重み係数によって重み付けされた総計の和によって与えられる。
Ds)の変化を表す量のクラスを通して、ノイズレベルの推定における更に実質
的な改善を提供する。ノイズ推定の強健性(roustness)がそれらによって改善さ
れ、従って、システムの効率を全体的に増加するようにもたらす。
る手段の第1の実施形態において、これら手段は、計数システムと、比較器とを
有する。 ・計数システムは、クラスのオーダと等しいか又はそれよりも小さいオーダの
全てのクラスにおいて動き補償された画像の変化を表す量の数の総計を、クラス
の各々について計数する。 ・比較器は、 ・クラスそれぞれについての総計と、最大オーダのクラスについての総計と
の比を、プリセット値と比較し、 ・該比が、プリセット値と等しいか又はそれよりも大きいときに、最小オー
ダのクラスを出力する。
前記最大オーダよりも大きいオーダのクラスに、零重み係数を割り当てる。
。それゆえ、最低ノルムを有する動きベクトルに対応するクラスだけが、ノイズ
レベルの計算の中に参加する。これは、弱い動きが、画像シーケンス内に含まれ
たノイズの量を実質的に表すものであるために、信頼性の良い結果を得ることが
できる。考慮されたクラスで用いられる重み係数は、同一であることが効果的で
あり、この量は、これらクラスに対して得られた部分和の手段をとる。
決定する手段の第2の実施形態において、これら手段は、クラスに重み係数1/
2(i-1)を割り当てる。iは、クラスのオーダを示す。
ルの時間的変動の限定からなるのが効果的である。従って、ノイズレベルは、予
め計算されたノイズレベルを含む値の範囲から外れることから防止される。
関する。
。この処理は、以下のようになる。 ・現入力画像が記憶され、 ・ブロック的な動き補償は、現入力画像と、予め記憶された少なくとも1つの
入力画像とに基づいて、動きベクトルと、動き補償された画像の変化を表す量と
を出力するようにされ、 ・再帰化ノイズレベルは、少なくとも動き補償された画像の変化を表す量の関
数として決定され、 ・予測エラーは、現入力画像と、フィルタリング及び動き補償によって予め予
測された画像との間で計算され、 ・再帰化ノイズレベル及び予測エラーの関数として計算され、 ・現入力画像と、再帰係数によって予め記憶されたフィルタされ且つ動き補償
された画像との重みを出力することによって、現入力画像がフィルタされ、 ・現フィルタされた画像及び動きベクトルに基づいて、動き補償された画像が
計算され、 ・フィルタされ且つ動き補償された画像が記憶される。
数として決定され、 ・動き補償された画像を計算する前に、動き推定に用いられるブロックの境界
からなる領域は、 ・現入力画像と、記憶手段に予め記憶された少なくとも1つの入力画像とに
基づいて、空間的に保存された画像の変化を表す量を、領域において計算し、 ・空間的に保存された画像の変化を表す量が、固定化ノイズレベルに依存す
るスレッショルドよりも低いとき、領域に係合した零動きベクトルに影響する。
果的な例を用いて十分に理解され且つ説明される。
ル推定と高効率サブブロック処理とを提供する。
例えば1つのビデオフレームの遅延を表す) ・d(dx,dy)は変位ベクトルであり、dxは横軸に沿った変位のオフセ
ット(シフト)を意味し、dyは縦軸に沿った変位のオフセットを意味する。 ・v(x,y;t)は、フィルタの出力である。 ・v(x+dx,y+dy;t−T)は、遅延Tによって遅延されたフィルタ
の動き補償出力であり、一般的に(フィルタリングを有する)予測と称される。 ・αは、現サンプルに対する再帰係数である。 ・σrecは、全体画像に対して推定された再帰化ノイズレベルである。 ・σimmは、全体画像に対して推定された固定化ノイズレベルである。 ・εは、現サンプルに対する予測エラーである。 ・NLは、非線形フィルタα=f(ε,σrec)である。 ・FD(x,y;t):FD(x,y;t)=u(x,y;t−T)は、画素
に対して又は画素ブロックに対して適用される。 ・DFD(x,y;t):DFD(x,y;t)=u(x,y;t)−u(x
+dx,y+dy;t−T)は、画素に対して又は画素ブロックに対して適用さ
れる。
されたメモリ1と、現入力画像(信号u(x,y;t))から及びメモリ1に予
め記憶された入力画像(信号u(x,y;t−T))から、ブロック的に動きベ
クトルd及びDFDsを出力するようになされたブロック的動き推定器2とを含
む。
として、再帰化ノイズレベルσrecと固定化ノイズレベルσimmとを決定するユニ
ット3を備える。再帰化ノイズレベルσrecは、再帰係数αを計算するために用
いられるのに対して、固定化ノイズレベルσimmは、以下に詳述されるように、
予めフィルタされた画像の動き補償を改良することによってフィルタリングを改
善するために提供する。
動き補償によって予め予測された画像(信号v(x,y;t−T))とを差し引
くことを可能にするフィルタ加算器4も含む。従って、加算器4は、予測エラー
εを出力する。
3から受信し、予測エラーεを計算モジュール4から受信し、非線形フィルタ関
数(NL)によって再帰係数αを計算する。乗算器7は、加算器4の出力である
予測エラーεを、計算モジュール5から受信された再帰係数αによって乗算する
ことができる。更に、第2の加算器8は、乗算器7からのこの出力結果を受信し
、この出力結果を、フィルタされた画像に基づく動き補償によって予め予測され
た画像(信号v(x,y;t−T))に加算する。この加算結果は、装置の出力
部から出力された現フィルタされた画像(信号v(x,y;t))を構成する。
発明者は、以下の式を得た。 v(x,y;t)=α×u(x,y;t)+(1−α)×v(x+dx,y
+dy;t−T)
よって計算された動きベクトルdとに基づいて動き補償された画像を、計算し且
つ記憶するユニット6を備える。しかしながら、現動きベクトルdと零ベクトル
との間の選択は、以下に記載されるように、前述した方法で行われる。ユニット
6は、加算器4及び8の両方の入力部に遅延(遅延T)をもたらすように用いら
れる出力部を有する。
む。
記憶された入力画像(信号(x,y;t−T))と、固定化ノイズレベルσimm
とをそれぞれ受信する3つの入力部を有する。それは、選択ユニット12に接続
される制御出力と共に備えられる。決定ユニット11は、各ブロックの種々の領
域に渡ってFDsを計算し、FDsを固定化ノイズレベルσimmと(又はこのノ
イズレベルに依存するスレッショルドと)比較するようになされる。これら領域
は、例えば4×4画素のような動き補償に用いられるブロックのものよりも小さ
いサイズのサブブロックであるのが好ましい。FDsが固定化ノイズレベルσim m よりも小さいか(よりもそれぞれ大きいか)否かに依存して、処理される画像
の領域は、静的に(それぞれ非静的に)発せられる。そのとき、決定ユニット1
1は、その制御出力部を介して、静的に宣言された領域の動きベクトルdを零に
する命令を、選択ユニット12へ与える。また、表された例において、静的に宣
言された領域のFDsは、少なくとも1つのノイズレベルの推定において参加す
るように、ユニット3へ送信される。
入力部と、動きベクトルを零にする入力部と、決定ユニット11に接続された制
御入力部とを含む。それは、現動きベクトルdと零ベクトルとの間で選択をする
。この選択は、決定ユニット11から出力された結果によって条件付けられる。
従って、静的領域の存在において、動きベクトルは零になされる。逆の場合、現
動きベクトルdが選択される。出力される動きベクトルは、動き補償ユニット6
への出力部によって送信される。
らつき)において、ノイズの存在する中でブロック的動き推定器2によって導出
された欠陥に対処する特別な効果を有する。この処理方法は、同一空間位置を占
有する2つのサブブロックの間の差の分析、その他異なる時点の分析に基づく。
固定化ノイズレベルσimmに依存するスレッショルドを有する各領域のFDの比
較は、ノイズ的又は非ノイズ的なビデオシーケンスに対して、空間的及び時間的
に同じとなる領域を検出することが可能となる。従って、空間的及び時間的に実
際に同じとなる領域における時間的なちらつき及遊走の現象は、強く減衰される
。この様相は別として、この処理方法はまた、動きの対象物の「クリッピング」
を行うことも可能となる。特に、ブロック的動き推定は、ブロックの実際の内部
において、対象物又はこの対象物の一部と場面の背景との間で見分けられない。
サブブロック処理方法は、各ブロックの実際の内部における空間的及び時間的に
同じ領域における零変位ベクトルdを課すことによってこの様相を改善する。
これら実施形態は、記載された装置に本質的に適する。これら実施形態によれば
、ユニット3は、予測ノイズレベルσpredictedを決定する組立体20を含む(
図2)。これは、再帰化ノイズレベルσrec及び固定化ノイズレベルσimmを計算
するために用いられる。実施形態の1つにおいて、これら2つのノイズレベルは
、予測ノイズレベルσpredictedと同じであり且つ等しい。他の実施形態におい
て、それらは互いに異なる。
る2つの入力部と、予測ノイズレベルσpredictedを与える出力部とを有する。
それは、増加する値の範囲[0;β1[...[βn-1;βn[に動きベクトルdのノ
ルム||d||を分散する第1の回路21を含む(βiはi番目の区切)。動きベク
トルの最大係数(modulus)から得られた(同じ動的な振れ(swing)又はその他の)
N個の範囲に薄く切られたものが、これに対して用いられる。
d||の帰属関係範囲に従って、DFDsを向ける第2の回路22を含む。第3の
計数及び総計回路23は、i=1...Nであって、アキュムレータAiとカウンタ
Ciとから各々構成されたN個の対を含む。これら対の各々は、分散回路21の
範囲の1つに係合する。従って、各対は、ノルム||d||の範囲の1つに対応して
、DFDsに対する帰属関係クラスを規定する。アキュムレータAiとカウンタ
Ciとは、それらに向けられたDFDsの値を総計する関数と、それらの計数の
値を総計する関数とをそれぞれ有する。それらは、部分和Siと番号Cptiとをそ
れぞれの出力部から出力する。
iの関数と、各クラスの番号Cptiの関数として、予測ノイズレベルσpredicted
を出力することが可能となる。
1の方法によれば、DFDsの10%だけが考慮される。総計されたDFDsの
10%よりも大きい数が得られるまで、第1のクラス(クラス1)から始まり、
続くクラスに渡って部分和を総計する。そのとき、予測ノイズレベルσpredicte d は、考慮された連続クラスの部分和の手段と等しくなる。それは、最小変位を
表す画素のブロックの少なくとも10%から発生するノイズレベルを意味する。
の動きベクトルの係数を表すクラスに有利である。重み付け係数(φi)は、以
下の式のように有利である。 φi=1/2(i-1) iは、クラスのインデックスを表し、1からN(クラス番号)の間にある。
Dは、パラメータの3つの値の間の中間値を示す)。 σpredicted=MED[σprec−Δσlow,σpredicted,σprec+Δσhigh]
的又は本質的に考慮することによって、動きベクトルdの係数に基づいて行われ
た、DFDsのクラスから発生する。
方で動き推定器のためのエラーに、他方で強い動きに、非常に影響されやすい。
強い動きは、場合によっては形状と対象物との歪みを導出し、それらの結果は、
動きを強く増加することによってDFDsの歪曲となる。
考慮されたブロックの画素上で行われる。
。
Claims (10)
- 【請求項1】 符号化前にビデオ画像を動き補償再帰フィルタリングする装
置であって、 少なくとも1つの入力画像を記憶する手段(1)と、 現入力画像と、前記記憶する手段に予め記憶された少なくとも1つの入力画像
とに基づいて、ブロック的な動きベクトル(d)と、動き補償された画像の変化
を表す量(DFD)とを出力するブロック的な動き補償モジュール(2)と、 少なくとも前記動き補償された画像の変化を表す量(DFD)の関数として、
再帰化ノイズレベル(σrec)を決定する手段(3)と、 現入力画像と、フィルタリング及び動き補償によって予め予測された画像との
間の予測エラー(ε)を計算するモジュール(4)と、 前記再帰化ノイズレベル(σrec)と前記予測エラー(ε)との関数として、
再帰係数(α)を計算するモジュール(5)と、 フィルタされた画像及び前記動きベクトル(d)に基づいて、動き補償された
画像を計算する手段(6)と、 前記再帰係数(α)によって、前記現入力画像と、予め記憶されたフィルタさ
れ且つ動き補償された画像との重みを出力するフィルタリング手段(7、8)と
、 前記動き補償された画像を計算する手段(6)から出力された、少なくとも1
つのフィルタされ且つ動き補償された画像を記憶する手段(6)と を含む装置において、 少なくとも前記動き補償された画像の変化を表す量(DFD)の関数として、
固定化ノイズレベル(σimm)を決定する手段(3)と、 前記動き補償に用いられる前記ブロックの境界を構成する領域を処理する組立
体(11、12)とを含み、 前記組立体(11、12)は、 現入力画像と、入力画像を記憶する前記手段(1)に予め記憶された少なくと
も1つの入力画像とに基づいて、空間的に保存された画像の変化を表す量(FD
)の、前記領域における計算手段(11)と、 前記空間的に保存された画像の変化を表す量(FD)が、前記固定化ノイズレ
ベル(σimm)に依存するスレッショルドよりも下になるとき、前記領域に係る
前記動きベクトル(d)を零にする手段(12)とを含む ことを特徴とする再帰フィルタリング装置。 - 【請求項2】 前記領域(11、12)を処理する前記組立体は、前記動き
補償に用いられる前記ブロックのサブブロックを含む領域を用いることを特徴と
する請求項1に記載の再帰フィルタリング装置。 - 【請求項3】 前記再帰化ノイズレベル(σrec)及び前記固定化ノイズレ
ベル(σimm)を決定する前記手段(3)は、該再帰化ノイズレベル及び該固定
化ノイズレベルの両方からなるノイズレベルを出力することを特徴とする請求項
1又は2に記載の再帰フィルタリング装置。 - 【請求項4】 前記再帰化ノイズレベル(σrec)を決定する前記手段(3
)は、前記動き補償された画像の変化を表す量(DFD)と、前記空間的に保存
された画像の変化を表す量(FD)との両方の関数として、前記再帰化ノイズレ
ベルを決定することを特徴とする請求項1又は2に記載の再帰フィルタリング装
置。 - 【請求項5】 前記再帰化ノイズレベル(σrec)及び/又は固定化ノイズ
レベル(σimm)を決定する前記手段(3)は、前記動きベクトル(d)の関数
として、少なくとも前記動き補償された画像の変化を表す量(DFD)の重みを
用いて、少なくとも1つのノイズレベルを決定することを特徴とする請求項1か
ら4のいずれか1項に記載の再帰フィルタリング装置。 - 【請求項6】 前記再帰化ノイズレベル(σrec)及び/又は固定化ノイズ
レベル(σimm)を決定する前記手段(3)は、値を増加することによってラン
クにされた動きベクトルのノルム(||d||)によってデリミタされた範囲([0
;β1[...[βn-1;βn[)に対してそれぞれ係合したクラスに、前記動き補償さ
れた画像の変化を表す量(DFD)を分散させることを特徴とする請求項5に記
載の再帰フィルタリング装置。 - 【請求項7】 前記再帰化ノイズレベル(σrec)及び/又は固定化ノイズ
レベル(σimm)を決定する前記手段(3)は、 前記クラスのオーダと等しいか又はそれよりも小さいオーダの全てのクラスに
おいて前記動き補償された画像の変化を表す量(DFD)の数の総計を、前記ク
ラスの各々について計数する計数システム(23)と、 前記クラスそれぞれについての前記総計と、最大オーダのクラスについての前
記総計との比を、プリセット値と比較し、該比が、プリセット値と等しいか又は
それよりも大きいときに、最小オーダのクラスを出力する比較器(25)と を有し、 前記再帰化ノイズレベル(σrec)及び/又は固定化ノイズレベル(σimm)を
決定する前記手段(3)は、前記最小オーダよりも大きいオーダのクラスに零重
み係数を割り当てる ことを特徴とする請求項6に記載の再帰フィルタリング装置。 - 【請求項8】 前記再帰化ノイズレベル(σrec)及び/又は固定化ノイズ
レベル(σimm)を決定する前記手段(3)は、前記クラスに前記重み係数1/
2(i-1)を割り当て、iはクラスのオーダを意味することを特徴とする請求項6に
記載の再帰フィルタリング装置。 - 【請求項9】 請求項1から8のいずれか1項に記載の再帰フィルタリング
装置を含むことを特徴とする符号化システム。 - 【請求項10】 符号化前にビデオ画像を動き補償再帰フィルタリングする
方法であって、 現入力画像が記憶され、 ブロック的な動き補償は、前記現入力画像と、予め記憶された少なくとも1つ
の入力画像とに基づいて、動きベクトル(d)と、動き補償された画像の変化を
表す量(DFD)とを出力するようにされ、 再帰化ノイズレベル(σrec)は、少なくとも前記動き補償された画像の変化
を表す量(DFD)の関数として決定され、 予測エラー(ε)は、前記現入力画像と、フィルタリング及び動き補償によっ
て予め予測された画像との間で計算され、 前記再帰化ノイズレベル(σrec)及び前記予測エラー(ε)の関数として計
算され、 前記現入力画像と、前記再帰係数(α)によって予め記憶されたフィルタされ
且つ動き補償された画像との重みを出力することによって、前記現入力画像がフ
ィルタされ、 前記現フィルタされた画像及び前記動きベクトル(d)に基づいて、動き補償
された画像が計算され、 前記フィルタされ且つ動き補償された画像が記憶される 方法において、 固定化ノイズレベル(σimm)が、少なくとも前記動き補償された画像の変化
を表す量(DFD)の関数として決定され、 前記動き補償された画像を計算する前に、動き推定に用いられる前記ブロック
の境界からなる領域は、 前記現入力画像と、前記記憶手段に予め記憶された少なくとも1つの入力画像
とに基づいて、空間的に保存された画像の変化を表す量(FD)を、前記領域に
おいて計算し、 前記空間的に保存された画像の変化を表す量(FD)が、前記固定化ノイズレ
ベル(σimm)に依存するスレッショルドよりも低いとき、前記領域に係合した
零動きベクトル(d)に影響する ようにすることを特徴とする方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP00401558.2 | 2000-05-31 | ||
EP00401558 | 2000-05-31 | ||
FR0009684A FR2809916B1 (fr) | 2000-05-31 | 2000-07-24 | Dispositif et procede de filtrage recursif compense en mouvement d'images video avant codage et systeme de codage correspondant |
FR00/09684 | 2000-07-24 | ||
PCT/EP2001/005564 WO2001093593A1 (fr) | 2000-05-31 | 2001-05-16 | Dispositif et procede de codage video avec filtrage recursif compense en mouvement |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003535521A true JP2003535521A (ja) | 2003-11-25 |
JP4753522B2 JP4753522B2 (ja) | 2011-08-24 |
Family
ID=8173714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001588253A Expired - Lifetime JP4753522B2 (ja) | 2000-05-31 | 2001-05-16 | 符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4753522B2 (ja) |
FR (1) | FR2809916B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017502551A (ja) * | 2013-11-01 | 2017-01-19 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 雑音画像のためのテンポラルノイズリダクション方法及び関係する装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8184705B2 (en) | 2008-06-25 | 2012-05-22 | Aptina Imaging Corporation | Method and apparatus for motion compensated filtering of video signals |
JP5430234B2 (ja) * | 2009-06-04 | 2014-02-26 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08163410A (ja) * | 1994-12-01 | 1996-06-21 | Oki Electric Ind Co Ltd | ノイズ低減回路 |
JPH09130648A (ja) * | 1995-10-27 | 1997-05-16 | Toshiba Corp | 動画像信号処理装置 |
JP2000069487A (ja) * | 1998-04-14 | 2000-03-03 | Thomson Multimedia Sa | ビデオシ―ケンスのノイズレベルの推定方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI87713C (fi) * | 1991-10-02 | 1993-02-10 | Nokia Oy Ab | Foerfarande foer prediktiv videokompressionskodning |
EP0735747B1 (en) * | 1995-03-31 | 1999-11-03 | THOMSON multimedia | Method and apparatus for motion compensated frame rate upconversion |
US5832234A (en) * | 1995-09-29 | 1998-11-03 | Intel Corporation | Encoding images using block-based macroblock-level statistics |
-
2000
- 2000-07-24 FR FR0009684A patent/FR2809916B1/fr not_active Expired - Fee Related
-
2001
- 2001-05-16 JP JP2001588253A patent/JP4753522B2/ja not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08163410A (ja) * | 1994-12-01 | 1996-06-21 | Oki Electric Ind Co Ltd | ノイズ低減回路 |
JPH09130648A (ja) * | 1995-10-27 | 1997-05-16 | Toshiba Corp | 動画像信号処理装置 |
JP2000069487A (ja) * | 1998-04-14 | 2000-03-03 | Thomson Multimedia Sa | ビデオシ―ケンスのノイズレベルの推定方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017502551A (ja) * | 2013-11-01 | 2017-01-19 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 雑音画像のためのテンポラルノイズリダクション方法及び関係する装置 |
US9721330B2 (en) | 2013-11-01 | 2017-08-01 | Huawei Technologies Co., Ltd. | Temporal noise reduction method for noisy image and related apparatus |
Also Published As
Publication number | Publication date |
---|---|
FR2809916A1 (fr) | 2001-12-07 |
FR2809916B1 (fr) | 2002-08-16 |
JP4753522B2 (ja) | 2011-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0614312B1 (en) | Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction | |
CN102317974B (zh) | 图像序列的质量评估 | |
JP4463341B2 (ja) | ビデオシーケンスのノイズレベルの推定方法 | |
EP0549471B1 (en) | Motion detection and estimation apparatus and method thereof | |
US6396876B1 (en) | Preprocessing process and device for motion estimation | |
JP3679324B2 (ja) | ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法 | |
US6738099B2 (en) | Robust camera motion estimation for video sequences | |
US7046307B1 (en) | Video signal noise level estimator | |
US6404461B1 (en) | Method for detecting static areas in a sequence of video pictures | |
JPH09163217A (ja) | カメラ映像の動きベクトル検出装置および動きベクトル検出方法 | |
Bosco et al. | Fast method for noise level estimation and integrated noise reduction | |
US6944230B2 (en) | Device and method for motion-compensated recursive filtering of video images | |
JP2002522836A (ja) | 静止画像生成方法および装置 | |
JP2004088234A (ja) | ノイズ低減装置 | |
JP2005518689A (ja) | ノイズレベルを推定する装置および方法、当該装置を含むノイズリダクションシステムおよび符号化システム | |
JP2003535521A (ja) | 符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム | |
JP3458581B2 (ja) | ディジタル画像品質評価装置 | |
US20050094035A1 (en) | Device and method for noise reduction of a video signal | |
US12125173B2 (en) | Video denoising method and device, and computer readable storage medium | |
CN113038144B (zh) | 一种去除块效应的方法、装置和计算机可读存储介质 | |
US20220351335A1 (en) | Video denoising method and device, and computer readable storage medium | |
EP0950899B1 (en) | Method for estimating the noise level in a video sequence | |
JPH06113266A (ja) | 視覚モデルを用いた動画像のブロックマッチング動き推定方法 | |
JPS62104387A (ja) | 高能率符号化及び復号化方法 | |
Schulte et al. | Noise reduction of video sequences using fuzzy logic motion detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100929 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100929 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110513 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110524 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4753522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |