JP2005518689A - ノイズレベルを推定する装置および方法、当該装置を含むノイズリダクションシステムおよび符号化システム - Google Patents

ノイズレベルを推定する装置および方法、当該装置を含むノイズリダクションシステムおよび符号化システム Download PDF

Info

Publication number
JP2005518689A
JP2005518689A JP2003524268A JP2003524268A JP2005518689A JP 2005518689 A JP2005518689 A JP 2005518689A JP 2003524268 A JP2003524268 A JP 2003524268A JP 2003524268 A JP2003524268 A JP 2003524268A JP 2005518689 A JP2005518689 A JP 2005518689A
Authority
JP
Japan
Prior art keywords
dfd
noise level
image
local
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003524268A
Other languages
English (en)
Inventor
ル ムル オリヴィエ
バボノー ジャン−イヴ
ジュロード ジョルジュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nextream SA
Original Assignee
Nextream France SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nextream France SA filed Critical Nextream France SA
Publication of JP2005518689A publication Critical patent/JP2005518689A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本発明は、符号化の前にビデオ画像のノイズレベルを推定する装置と方法に関する。この装置は、例えば、少なくとも1つの入力画像を記憶する手段と、ブロックに関する動き推定モジュールと、画像毎に大域的ノイズレベルを推定する手段とを有しており、ここで上のブロックに関する動き推定モジュールを設計して、この動き推定モジュールにより、目下の入力画像と、上記の記憶手段に前に記憶された少なくとも1つの入力画像とに基づいて、動き補償がなされた画像の変化を表す第1の量がブロック関して作成されるようにし、上記の大域的ノイズレベルを推定する手段により、上記の動き補償がなされた画像の変化を表す少なくともいくつかの量の関数として推定が行われる。この装置は、動き補償がなされた画像の変化を表す第2の量および上記大域的ノイズレベルの関数として、前記画像のブロック毎に局所的ノイズレベルを推定する手段を有する。

Description

本発明は、ノイズレベルを推定する装置および方法に関し、またこのような装置を含むノイズリダクションシステムおよび符号化システムに関する。
本発明は、ディジタルビデオ信号に適用されるノイズレベル推定技術に関連する。このノイズレベル推定技術は、ノイズリダクション技術で使用される。ノイズリダクション技術は一般に、サンプルの行列の形態をとるディジタルビデオ画像に適用され、各サンプルは輝度信号からなり、またカラー信号についてクロミナンス信号からなる。
ビデオ画像列の収集は、今日においてもなお広くアナログ形式で行われているため、これらの画像が一旦、収集され、場合によっては転送されてアナログ形式で保存されると、この画像のコンテンツには、はっきりとわかる程度のノイズが示されてしまうのである。一旦ディジタル化されると、これらの画像には記憶/編集操作が行われることが多く、この操作により、今度はディジタル特有のノイズが取り込まれてしまうのである。結局、画像列には一般的に一連の変換が行われるのであり、これによって極めてランダムな性質の空間時間的ノイズが生じてしまうのである。
高性能の機能を得るため、反復的なフィルタリングを要求するノイズリダクション技術により、ビデオ列の画像の極めて強い時間的相関が考慮される。このため、効果的なノイズリダクションの微調整において動きおよび変位の概念が重要である。
上記の用語「変位」(displacement)はシーンにおける物体の位置の変化を意味すると理解されたい。この位置の変化は局所的でありかつこの物体に固有である。上記の用語「動き」とはビデオ列における物体の変位のすべてのなす集合と理解されたい。
動きはふつう、画像間の単純な差分形成によって、または動き推定器を使用して検出される。
動き推定器が使用される場合、変位は、別の瞬間における画像の差分を計算することによって、ならびにフレーム内で空間的に移動することによって考慮される。これらの変位は、ピクセルに適用される動きベクトル場によって表される(ピクセルに関する動き推定)か、またはブロックに適用される動きベクトル場によって表される(ブロックに関する動き推定)。これにより、DFD(Displacement Frame Difference)と称される、動き補償がなされた画像差分がピクセルまたはブロックに関して得られるのである。
公知のシステムではノイズレベルの推定は、画像フレームのレベルで行われる。この推定により、ノイズはこのフレームにわたって均一され、結果的にフィルタリングもまた均一に行われ、これによって、ノイズのないゾーンにわたる精細度の損失、ぼけの出現、所定のテクスチャ(例えば芝)のスムージングなどの欠陥が生じてしまう可能性がある。このようなシステムは、例えば、Thomson Multimedia Companyの名義で2000年6月24日に提出された仏国特許明細書第009684号に記載されている。
本発明が関連しているのは、ノイズの局所的な推定に基づいており、したがってノイズの極めてランダムな特徴を考慮するノイズレベル推定装置である。この場合に上に示したマイナスの影響は格段に低減され、画像品質の向上に貢献することができる。
また本発明は、このような装置を含むノイズリダクションシステムおよび符号化システムならびに相応する、動き補償がなされた反復的なフィルタリング方法に関する。
この目的のため、本発明は、符号化の前にビデオ画像のノイズレベルを推定する装置に関し、ここでこの装置は、
− 少なくとも1つの入力画像を記憶する手段と、
− ブロックに関する動き推定モジュールと、
− 画像毎に大域的ノイズレベルを推定する手段とを有しており、
ここで上記のブロックに関する動き推定モジュールを設計して、この動き推定モジュールにより、目下の入力画像と、上記の記憶手段に前に記憶された少なくとも1つの入力画像とに基づいて、動き補償がなされた画像の変化を表す量がブロックに関して作成されるようにし、
上記の大域的ノイズレベルを推定する手段により、上記の動き補償がなされた画像の変化を表す量の関数として推定が行なわれ、
ここで本発明によればこの装置は、
動き補償がなされた画像の変化を表す少なくともいくつかの量および前記の大域的ノイズレベルの関数として画像のブロック毎に局所的なノイズレベルを推定する手段を有する。
上記の「動き補償がなされた画像の変化を表す量」とは、動き推定を考慮することによって、画像列における(有利にはブロックに関する)時間的な変更を測定する量のことであると理解されたい。これらの量は有利には複数のDFDから構成される。
上記のDFDは、ビデオ列に含まれるノイズの量を極めて良好に表す。動き補償が理想的である場合(すなわち動きおよび変形の性質に拘わらず、補償が完全な場合)にはこれらのDFDにより、これに対する精確な表現さえも得られるのである。
ノイズが極めてランダムであるという性質を考慮することによって、局所的ノイズレベルの推定により、フィルタリングのアーチファクトを低減することが可能である。このアーチファクトは、このフレームにわたる均一なノイズレベルの直接的な結果であり、このフレームにわたる均一なノイズレベルは、ノイズのあるブロックおよびノイズのないブロックについて同じフィルタリングを行ってしまうことと同じことである。
したがって上記の局所的なレベルにおけるノイズレベルの推定により、例えば、この画像のノイズのないゾーンにわたる精細度の大きな損失、ぼけの出現および例えば芝などの所定のテクスチャのスムージングなどを低減することができるのである。
フレームの大域的ノイズレベルの関数として、局所的ノイズレベルを推定することにより、このフレームの大域的ノイズレベルを基準にして目下のブロックのノイズレベルを決定するができ、またこれによって大域的ノイズレベルの推定を改善することができる。
上記の大域的ノイズレベルを決定する、上記の動き補償がなされた画像の変化を表す量は、有利には最小量および平均量であり、これらは上記のブロックに関する動き推定モジュールで計算される。
上記の局所的ノイズレベルを決定するための、上記の動き補償がなされた画像の変化を表す量は、局所的な量および平均量であり、これらは上記のブロックに関する動き推定モジュールで計算される。
有利な1実施形態によれば、局所的ノイズレベルの推定手段を設計して、この手段により、平均DFDと局所的DFDとの間の差分の関数として、また平均DFDに対するこの差分の比較の関数として上記の局所的ノイズレベルが決定されるようにする。
有利には、この局所的ノイズレベルは、上記の差分値と、あらかじめ定めた少なくとも1つの閾値との間の比較の関数としてそれぞれ異なって調整される。
これにより、あらかじめ定めた閾値の関数としてノイズレベルを調整することができ、したがって局所的ノイズレベルにおける変動を制限することができるのである。ここでこれは局所的ノイズレベルが、あらかじめ定めた値の範囲から逸脱しないようにすることによって行われる。
本発明はまた、本発明によるノイズレベル推定装置を含むノイズリダクション装置に関する。
本発明はまた、本発明によるノイズレベル推定装置を含む符号化システムに関する。
また本発明は符号化の前にビデオ画像のノイズレベルを推定する方法に関し、ここでは、
− 少なくとも1つの目下の入力画像を記憶し、
− ブロックに関する動き補償を行い、これによって目下の入力画像と、上記の記憶手段に前に記憶された少なくとも1つの入力画像とに基づいて、動き補償がなされた画像の変化を表す量をブロックに関して作成し、
− 上記の動き補償がなされた画像の変化を表す少なくともいくつかの量の関数として、画像毎に大域的ノイズレベルを決定する。本発明によれば、
− 動き補償がなされた画像の変化を表す量および大域的ノイズレベルの関数として、画像のブロック毎に局所的なノイズレベルを決定する。
本発明は、いずれも制限的でない有利な実施形態および実施のモードによって、よりよく理解できまた説明することができる。ここでは添付の図を参照する。これらの図において、
− 図1は、本発明による局所的ノイズレベル推定モジュールを含むノイズレベル推定装置を示しており、
− 図2は、ブロックに対して局所的ノイズレベルを推定するモジュールの機能の仕方の流れ図を示しており、
− 図3は、あらかじめ定めた閾値の関数として局所的ノイズレベルを得るためになされた大域的ノイズレベルの変更を示す線図である。
以下の記号を使用する。すなわち、
− x,yおよびtは、横座標、縦座標および時間をそれぞれを表し、
− u(x,y;t)は、目下の入力信号を表し、
− u(x,y;t−T)は、遅延Tだけ遅らされた入力信号を表し(Tは例えば1ビデオフレームの遅延を表す)、
− d(dx,dy)は変位ベクトルを表しており、dxは横座標軸に沿った変位におけるオフセット(シフト)であり、またdyは縦座標軸に沿った変位におけるオフセットである、
− v(x,y;t)はフィルタの出力を表しており、
− σglobalは、画像全体に対して推定されるノイズレベルを表しており、
− σlocalは、画像の1ブロックに対して推定されるノイズレベルを表しており、
− DFD(x,y;t):DFD(x,y;t) = u(x,y;t)−
u(x+dx,y+dy;t)
これはピクセルまたはピクセルのブロックに適用される。
このフィルタリング装置は、入力画像(信号u(x,y;t))を記憶するために設計されたメモリ1と、ブロックに関する動き推定器2とを含んでおり、ここでこの推定器は、目下の入力画像(信号u(x,y;t))およびメモリ1に前に記憶された入力画像(信号u(x,y;t−T))に基づいて、動きベクトルd(dx,dy)およびDFDをブロックに関して作成するために設計されている。
この装置にはまたモジュール3が設けられており、これは平均DFD(DFDmean)および最小DFD(DFDmin)の関数として、この画像の大域的なノイズレベルを推定する。
これはまた、時点tに対して局所的DFDを記憶するメモリ5を含む。平均DFDは、このフレームの局所的DFDをすべて横断し終えた後、計算される。
この装置はまた、ノイズレベルσglobalと、局所的DFD(DFD(x,y;t))と、平均DFD(DFDmean)との関数として、ブロックに対する局所的ノイズレベルを推定するモジュール4を含んでおり、ここでノイズレベルσglobalは、画像の大域的なノイズレベルを推定するモジュール3によって計算される。このモジュールの機能は図2に詳しく説明されている。
平均DFD(DFDmean)および最小DFD(DFDmin)は、局所的DFD(DFD(x,y;t))の計算の前に前もって計算される。
この装置は最後に変位ベクトルd(dx,dy)および局所的ノイズレベルσlocal(x,y,t)の関数として、動き適合および/または動き補償されたノイズレベルを低減するモジュール6を含む。
モジュール6により、目下フィルタリングされた画像v(x,y;t)が出力される。
モジュール6は、ノイズリダクションモジュールまたはより一般的に画像処理モジュールに適用されるフィルタリングモジュールとすることが可能である。
ブロックに関する動き推定モジュール2による最小DFD(DFDmin)の出力は、種々異なる方法で計算可能である。
第1実施形態によれば、これは、フレームの最小DFDとすることができる。この解決手段は簡単かつ安上がりであるが、不精確である。それは、小さな最小DFDを得るために、DFDのうちの1つが小さければ十分だからである。したがって、
Figure 2005518689
が得られ、ここで
− resXおよびresYはそれぞれ、水平方向および垂直方向の解像度であり、
− blockXおよびblockYはそれぞれ、一般に大きさ16ピクセルの水平方向のブロックのサイズおよび大きさ8ピクセルの垂直方向のブロックの大きさである。
第2実施形態では、DFDminはこのフレームの最小DFDのパーセンテージである。したがってこの実施形態では、DFDminは値の集合に基づいて計算され、前の実施形態のように単一の値を表さない。このため、この解決手段はより精確であるが、より複雑である。それはこのフレームのすべてのDFDをランク付けしなければならないからである。
上記の平均DFD,DFDmeanは、このフレームの全DFDの平均である。したがって平均DFDは、局所的DFDの総和をこのフレームのDFDの個数で割ったものである。したがって、
Figure 2005518689
が得られる。
説明のための例として、解像度720*288および16*8のブロックを有するフレームに対して、(720/16)*(288/8)個のDFD、すなわち1620個のDFDがある。この場合、これらの1620個のDFDについて平均を計算し、これを平均DFDに割り当てる。
このモジュールは、入力として処理中のブロックの局所的DFD DFD(x,y;t)と、平均DFD DFDmeanと、大域的ノイズレベルσglobalとを受け取る。
このモジュールは、目下のブロックの局所的DFD DFD(x,y;t)および平均DFD DFDmeanの関数としてノイズレベルの局所的な適合化を行う。この適合化は、一方では平均DFDと局所的DFDとの間の差分(ERROR_DFD)によって、他方では平均DFDに対するこの差分の比(Ratio_DFD)によって制御される。
平均DFDと局所的DFDと間の差分により、適合の変化の方向が決定される。例えば誤差が正(局所的DFDが平均DFDより小さいことを意味する)の場合、ノイズレベルを小さくしなければならない。逆に誤差が負の場合、ノイズレベルを大きくすることになる。な
平均DFDと局所的DFDとの間の差分の平均DFDに対する比により、平均DFDについて正規化された形態で、発生した誤差が示される。
画像において眼に見えるアーチファクトを発生させるバイナリ補正(binary correction)が行われないようにするため、1つの解決手段は、閾値の関数として補正を行うことである。したがって誤差ERROR_DFDの変化の範囲をいくつかのゾーンに分割する。
以下に説明とした示した例では2つの閾値が定められ、これによって図3に示したようにこの範囲が4つのゾーンに分割される。
− 誤差が0と閾値1(S1)との間にある場合、局所的DFDは、平均DFDよりも小さい。したがってノイズレベルを減少させなればならない。0に近い誤差に対して、この減少分は小さく、閾値1に近い誤差に対してこの減少分はこの区間について最大である。このことは図2のステップE9に示した通りである。
− 誤差が0と閾値2(S2)との間にある場合、局所的DFDは、平均DFDよりも大きい。したがってノイズレベルを増大させなければならない。0に近い誤差に対して、この増大分は小さく、閾値2(S2)に近い誤差に対してこの増大分はこの区間について最大である。このことは図2のステップE4に示した通りである。
− 誤差が閾値1(S1)よりも大きい場合、ノイズレベルの減少は、パラメタの関数として最大値に制限される。このことは図2のステップE10に示した通りである。
− 誤差が閾値2(S2)よりも小さい場合、局所的DFDは平均DFDよりも大きく、したがって局所的ノイズレベルを増大させなければならない。このノイズレベルの局所的な適合を行うため、2つのケースを考慮する。すなわち、
− 大きな動きがある場合、動き推定器により十分に補償が行われなかったという仮定がなされる。したがって局所的DFDは、ノイズと有効信号との混合物である。ノイズレベルの局所的な増大は、最大値によって制限される。これは図2のステップE6に示した通りである。
− 逆のケース、すなわちわずかな動きしかない場合、この動き推定器は極めて信頼性が高いとみなされる。動き補償の品質は良好であると考えられる。この結果、局所的DFDはノイズを表す。したがって局所的ノイズレベルの増大は制限されない。これは図2のステップE7に示した通りである。
重み付け係数βおよびβにより、局所的な調整の影響をより大きなまたはより小さく強調付けることができる。この重み付けは様々に変更可能であり、ここの例示な実施形態は単なる説明として示されている。
ここで図2を説明する。この図は、1ブロックに対して局所的なノイズレベルを推定するモジュール4の実施形態を示している。
モジュール4は、入力として平均DFD DFDmeanおよび局所的DFD(DFD(x,y;t))を受け取り、ステップE1中にERROR_DFDと称される、この平均DFDと局所的DFDとの間の差分を計算する。
ステップE2において比較テストが行われて、この差分が正であるか負であるかが決定される。
この差分が負の場合、ステップE3に進み、この差分と閾値S2とが比較される。
ERROR_DFDが閾値S2よりも大きいかまたは等しい場合、ステップE4に進む。ステップE4では局所的ノイズレベルが増大される。例として、この増大はつぎの式を使用して行うことができる。すなわち、
σlocal = σglobal−Ratio_DFD×β
である。
ERROR_DFDがS2よりも小さい場合、ステップE5に進む。ステップE5においてテストが行われ、変位ベクトルの値d(x,y)と動き閾値S3とが比較される。d(x,y)がS3よりも大きい場合、ステップE7に進む。ステップE7では局所的ノイズレベルは増大され、閾値化(threshold)される。例として、これは、
σlocal = σglobal+β/2
のように行うことができる。
d(x,y)がS3よりも小さいかこれに等しい場合、ステップE6に進み、ここでは局所的ノイズレベルが増大される。例として、これは、
σlocal = σreal−Ratio_DFD×β
にしたがって行うことがことができる。
ステップE2ではERROR_DFDが負の場合、ステップE8に進み、この差分と、閾値S1とが比較される。
ERROR_DFDが閾値S1よりも小さいか等しい場合、ステップE9に進む。ステップE9では局所的ノイズレベルが減少される。例としてこの減少はつぎの式を使用して実行可能である。すなわち、
σlocal = σglobal−Ratio_DFD×β
である。
ERROR_DFDが閾値S1よりも大きい場合、ステップE10に進む。ステップE10では局所的ノイズレベルが減少され、例として示したつぎの式にしたがって閾値化が実行される。すなわち、
σlocal = σglobal−β/2
である。
つぎにステップE11に進み、このステップでは、局所的ノイズレベルの値はスムージングされ、ここでこれは最小値αminおよび最大値αmaxを設定することによって行われる。得られたノイズレベルの最終値は、ステップE4,E6,E7,E9またはE10中に得られた値か、この値がαmaxよりも大きい場合はαmaxであるか、またはこの値がαminより小さい場合はαminである。
ある特定の実施形態では、例として、以下の値を種々異なる閾値に対して採用することができる。
対称にするため、S1=|S2|かつβ=βとすることができる。
S1 = 0.5×DFD_mean,
S2 = -0.5×DFD_mean,
β = β = 6 (これらの係数はβに類似している)
S3 = 20,
αmin = 3.5
αmax = 15.5
本発明による局所的ノイズレベル推定モジュールを含むノイズレベル推定装置を示す図である ブロックに対して局所的ノイズレベルを推定するモジュールの機能の仕方を示す流れ図である あらかじめ定めた閾値の関数として局所的ノイズレベルを得るためになされた大域的ノイズレベルの変更を示す線図である。

Claims (8)

  1. 符号化の前にビデオ画像のノイズレベルを推定する装置であって、
    該装置は、
    − 少なくとも1つの入力画像u(x,y,t)を記憶する手段(1)と、
    − ブロックに関する動き推定モジュール(2)と、
    − 画像毎に大域的ノイズレベル(σglobal)を推定する手段(3)とを有しており、
    ここで前記のブロックに関する動き推定モジュールを設計して、該動き推定モジュールにより、目下の入力画像(u(x,y;t))と、上記の記憶手段に前に記憶された少なくとも1つの入力画像(u(x,y;t−T))とに基づいて、動き補償がなされた画像の変化を表す第1の量(DFD)がブロックに関して作成されるようにし、
    前記の大域的ノイズレベルを推定する手段により、前記の動き補償がなされた画像の変化を表す少なくともいくつかの第1の量(DFD)の関数として推定が行われる形式の、符号化の前にビデオ画像のノイズレベルを推定する装置において、
    該装置は、動き補償がなされた画像の変化を表す第2の量(DFD)および前記大域的ノイズレベル(σglobal)の関数として前記画像のブロック毎に局所的ノイズレベル(σlocal)を推定する手段(4)を有することを特徴とする、
    符号化の前にビデオ画像のノイズレベルを推定する装置。
  2. 前記の大域的ノイズレベル(σglobal)を決定するための、動き補償された画像の変化を表すいくつかの第1の量(DFD)は、前記のブロックに関する動き推定モジュール(4)によって計算される最小量(DFDmin)および平均量(DFDmean)である、
    請求項1に記載の装置。
  3. 前記の局所的ノイズレベル(σlocal)を決定するための、動き補償された画像の変化を表す第2量(DFD)は、前記のブロックに関する動き推定モジュール(2)によって計算される局所的な量(DFD(x,y;t))および平均量(DFDmean)である、
    請求項2に記載の装置。
  4. 前記の局所的ノイズレベル(σlocal)を推定するための手段(4)を設計して、当該手段により、前記の平均DFD(DFDmean)と局所的DFD(DFD(x,y;t))との間の差分(ERROR_DFD)の関数として、また前記平均DFD(DFDmean)に対する前記差分の比の関数として、局所的ノイズレベルが決定されるようにした、
    請求項1または2に記載の装置。
  5. 前記局所的ノイズレベル(σlocal)は、前記差分値(ERROR_DFD)と、あらかじめ定めた少なくとも1つの閾値(S1,S2,S3)との間の比較の関数としてそれぞれ異なって調整される、
    請求項4に記載の装置。
  6. ノイズリダクションシステムにおいて、
    該ノイズリダクションシステムは、請求項1から5までのいずれか1項に記載のノイズレベル推定装置を含むことを特徴とする、
    ノイズリダクションシステム。
  7. 符号化システムにおいて、
    該符号化システムは、請求項1から5までのいずれ1項に記載のノイズレベル推定装置を含むことを特徴とする、
    符号化システム。
  8. 符号化の前にビデオ画像のノイズレベルを推定する方法であって、
    − 少なくとも1つの入力画像(u(x,y;t))を記憶し、
    − ブロックに関する動き補償を行い、これによって目下の入力画像(u(x,y;t))と前記記憶手段(1)に前に記憶された少なくとも1つの入力画像(u(x,y;t−T))とに基づいて、動き補償がなされた画像の変化を表す第1の量(DFD)をブロックに関して作成し、
    − 当該の動き補償がなされた画像の変化を表す少なくともいくつかの量(DFD)の関数として、画像(u(x,y;t))毎に大域的ノイズレベル(σglobal)を決定する形式の、符号化の前にビデオ画像のノイズレベルを推定する方法において、
    − 動き補償がなされた画像の変化を表す第2の量(DFD)および前記大域的ノイズレベル(σglobal)の関数として、画像のブロック毎に局所的ノイズレベル(σlocal)を決定する(E4,E6,E7,E10,E11)ことを特徴とする、
    符号化の前にビデオ画像のノイズレベルを推定する方法。
JP2003524268A 2001-08-21 2002-08-06 ノイズレベルを推定する装置および方法、当該装置を含むノイズリダクションシステムおよび符号化システム Pending JP2005518689A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0110977A FR2828977B1 (fr) 2001-08-21 2001-08-21 Dispositif et procede d'estimation du niveau de bruit, systeme de reduction de bruit et systeme de codage comprenant un tel dispositif
PCT/EP2002/008810 WO2003019947A1 (en) 2001-08-21 2002-08-06 Device and process for estimating noise level, noise reduction system and coding system comprising such a device

Publications (1)

Publication Number Publication Date
JP2005518689A true JP2005518689A (ja) 2005-06-23

Family

ID=8866642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003524268A Pending JP2005518689A (ja) 2001-08-21 2002-08-06 ノイズレベルを推定する装置および方法、当該装置を含むノイズリダクションシステムおよび符号化システム

Country Status (7)

Country Link
US (1) US7515638B2 (ja)
EP (1) EP1419658A1 (ja)
JP (1) JP2005518689A (ja)
KR (1) KR20040054676A (ja)
CN (1) CN1266943C (ja)
FR (1) FR2828977B1 (ja)
WO (1) WO2003019947A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050119422A (ko) * 2004-06-16 2005-12-21 삼성전자주식회사 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체
JP4483516B2 (ja) * 2004-10-08 2010-06-16 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2008073416A1 (en) * 2006-12-11 2008-06-19 Cinnafilm, Inc. Real-time film effects processing for digital video
TW200901751A (en) * 2007-06-20 2009-01-01 Sunplus Technology Co Ltd System and method for estimating noise in a video frame
US8938005B2 (en) * 2007-11-05 2015-01-20 Canon Kabushiki Kaisha Image encoding apparatus, method of controlling the same, and computer program
US20100026897A1 (en) * 2008-07-30 2010-02-04 Cinnafilm, Inc. Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution
CN101504769B (zh) * 2009-03-23 2014-07-16 上海视涛电子科技有限公司 一种基于编码器框架的自适应性的噪声强度估计的方法
US8279345B2 (en) * 2009-07-21 2012-10-02 Qualcomm Incorporated System and method for random noise estimation in a sequence of images
US9215355B2 (en) * 2011-09-30 2015-12-15 Apple Inc. Scene adaptive temporal filtering
US10200698B2 (en) * 2016-08-09 2019-02-05 Intel Corporation Determining chroma quantization parameters for video coding
US10674045B2 (en) * 2017-05-31 2020-06-02 Google Llc Mutual noise estimation for videos
CN110095193B (zh) * 2019-05-14 2021-03-12 武汉高芯科技有限公司 一种红外热像仪噪声等效温差测试方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3613343A1 (de) * 1986-04-19 1987-10-22 Philips Patentverwaltung Hybrid-codierer
DE3788674D1 (de) * 1986-04-19 1994-02-17 Philips Patentverwaltung Hybrid-Codierer für Videosignale.
GB8829063D0 (en) * 1988-12-13 1989-01-25 British Telecomm Predictive coding and decoding
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
JP3178026B2 (ja) * 1991-08-23 2001-06-18 ソニー株式会社 ディジタル信号符号化装置及び復号化装置
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
TW297202B (ja) * 1993-10-13 1997-02-01 Rca Thomson Licensing Corp
JP3266416B2 (ja) * 1994-04-18 2002-03-18 ケイディーディーアイ株式会社 動き補償フレーム間符号化復号装置
US5764307A (en) * 1995-07-24 1998-06-09 Motorola, Inc. Method and apparatus for spatially adaptive filtering for video encoding
JPH09163373A (ja) * 1995-12-08 1997-06-20 Toshiba Corp 雑音低減装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5923775A (en) * 1996-04-04 1999-07-13 Eastman Kodak Company Apparatus and method for signal dependent noise estimation and reduction in digital images
US6005626A (en) * 1997-01-09 1999-12-21 Sun Microsystems, Inc. Digital video signal encoder and encoding method
EP0957367A1 (en) * 1998-04-14 1999-11-17 THOMSON multimedia Method for estimating the noise level in a video sequence
JP4344964B2 (ja) * 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
US6668090B1 (en) * 2000-05-26 2003-12-23 Eastman Kodak Company Producing a compressed digital image organized into layers corresponding to increasing visual quality levels and providing rate-control of such compressed digital image
US6847408B1 (en) * 2000-07-27 2005-01-25 Richard W. Webb Method and apparatus for reducing noise in an image sequence

Also Published As

Publication number Publication date
WO2003019947A1 (en) 2003-03-06
FR2828977A1 (fr) 2003-02-28
FR2828977B1 (fr) 2003-12-05
CN1266943C (zh) 2006-07-26
EP1419658A1 (en) 2004-05-19
CN1545812A (zh) 2004-11-10
US7515638B2 (en) 2009-04-07
US20040179602A1 (en) 2004-09-16
KR20040054676A (ko) 2004-06-25

Similar Documents

Publication Publication Date Title
JP4463341B2 (ja) ビデオシーケンスのノイズレベルの推定方法
US8570386B2 (en) Method of merging images and relative method of generating an output image of enhanced quality
Van Roosmalen Restoration of archived film and video
US7103214B2 (en) Image processing apparatus and method
US6738099B2 (en) Robust camera motion estimation for video sequences
US20070070250A1 (en) Methods for adaptive noise reduction based on global motion estimation
US20030052979A1 (en) Image processing method and apparatus
JPH07274044A (ja) 時間可変フィルタ係数を用いたビデオ信号ノイズ低減システムおよびノイズ低減方法
Van Roosmalen et al. Correction of intensity flicker in old film sequences
JP2005518689A (ja) ノイズレベルを推定する装置および方法、当該装置を含むノイズリダクションシステムおよび符号化システム
US20020094130A1 (en) Noise filtering an image sequence
US20090074318A1 (en) Noise-reduction method and apparatus
CN109658361B (zh) 一种顾及运动估计误差的运动场景超分辨率重建方法
US11677938B2 (en) Method to reduce contour artifacts on recursive temporal filters
US20070139560A1 (en) Method and system for non-linear blending in motion-based video processing
US8090210B2 (en) Recursive 3D super precision method for smoothly changing area
JP4039245B2 (ja) 画像の暗領域の空間平滑化方法及び装置
US20050094035A1 (en) Device and method for noise reduction of a video signal
Wong et al. Improved flicker removal through motion vectors compensation
KR20060109257A (ko) 확장된 잡음 적응 움직임 검출 방법 및 장치
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
US20050286638A1 (en) Image flow knowledge assisted latency-free in-loop temporal filter
JP4753522B2 (ja) 符号化前にビデオ画像を動き補償再帰フィルタリングする装置、方法及びそれに対応する符号化システム
RU2364937C1 (ru) Способ и устройство фильтрования шума видеосигналов
KR100711196B1 (ko) 움직임 예측 정보 검출장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071102

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080204

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080303

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080507