JP2011512086A - 空間処理及び時間処理を用いた、ビデオシーケンス中の雑音及びちらつきの少なくとも一方の低減 - Google Patents
空間処理及び時間処理を用いた、ビデオシーケンス中の雑音及びちらつきの少なくとも一方の低減 Download PDFInfo
- Publication number
- JP2011512086A JP2011512086A JP2010545258A JP2010545258A JP2011512086A JP 2011512086 A JP2011512086 A JP 2011512086A JP 2010545258 A JP2010545258 A JP 2010545258A JP 2010545258 A JP2010545258 A JP 2010545258A JP 2011512086 A JP2011512086 A JP 2011512086A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- pixel
- frame
- subframe
- processing logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 164
- 230000002123 temporal effect Effects 0.000 title claims abstract description 14
- 230000009467 reduction Effects 0.000 title description 8
- 238000000034 method Methods 0.000 claims abstract description 89
- 238000004519 manufacturing process Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 53
- 239000013598 vector Substances 0.000 description 44
- 230000009466 transformation Effects 0.000 description 28
- 238000006243 chemical reaction Methods 0.000 description 25
- 230000003044 adaptive effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000005457 optimization Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 230000006978 adaptation Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/147—Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/145—Square transforms, e.g. Hadamard, Walsh, Haar, Hough, Slant transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Complex Calculations (AREA)
- Picture Signal Circuits (AREA)
Abstract
【解決手段】本明細書では、ビデオシーケンス中のちらつきと雑音の両方の少なくとも一方を低減するための方法及び装置を開示する。一実施形態では、本方法は、入力ビデオを受け取るステップと、空間処理及び時間処理を使用して入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、を含む。
【選択図】図1B
Description
[0014]図1Aに、入力ビデオ中の雑音及びちらつきの少なくとも一方を低減するための、雑音ちらつき低減モジュールの一実施形態を示す。図1Aを参照すると、雑音ちらつき低減ブロック101が、入力ビデオ100を受け取る。入力ビデオ100は、雑音及びちらつきの少なくとも一方を含む。雑音ちらつき低減ブロック101はまた、本明細書でOPと呼ぶオプショナルパラメータのベクトルと、しきい値パラメータ
も受け取る。これらの入力に応答して、雑音ちらつき低減ブロック101は、雑音及びちらつきが低減された出力ビデオ102を生成する。
は、本明細書に述べる技法を使用した後で出力される過去フレームを示し、
は、画像処理プロセスによって使用されるしきい値パラメータを示す。さらに、他のオプショナルパラメータを含む、OPで示されるベクトルを供給することができる。ユーザ又はアルゴリズムは、主観的/客観的品質の最適化を使用して、又はモデルベースの技法を使用して、又は他の方法を使用して、最も望ましいパラメータを決定することができる。較正アルゴリズムを使用することもできる。このようなアルゴリズムはまた、ビデオ処理パイプラインと入力ビデオのいずれか又は両方に関する部分的/完全な知識を利用することができる。一実施形態では、ピクセルをラスタ走査順に構成することによって全てのビデオフレームがベクトルで表され、Nは各ビデオフレーム中のピクセルの数を表す。
として形成され、ここで、
は、全ての要素が1に等しいM2×1ベクトルである。一実施形態では、選択されないピクセルの場合、piは0のベクトルである。選択されたピクセルのセットは、所定とすることもでき、或いはベクトルOP内で信号伝達することもできる。この実施形態では、画像中の各ピクセルにつき、サブフレームが形成され処理される。すなわち、選択されたピクセルのセットは、フレーム中のピクセルのセット全体である。しかし、別の実施形態では、画像中の全てのピクセルに対してではなく、ピクセルの選択されたサブセットのみに対して処理が実施されてもよい。サブセットは、所定とすることもでき、或いはサイド情報の一部として信号伝達することもできる。図13に、このようなサブセットの例を示す。本明細書に述べる教示により他のサブセットを使用してもよい。サブフレームと呼ばれるM2×1ベクトルziが、piの要素に対応する位置におけるフレームxのピクセル値を用いて形成される。ピクセルiは、サブフレームziに対するピボットと呼ばれる。図4に、ピクセルにラスタ走査順に番号が付けられたときの、ピクセルiにおける例示的なサブフレームziを示す。図4を参照すると、ピクセルのラスタ走査順序付けは、この順序で「1」からピクセルに番号を付けることによって行われる。サブフレームがピクセルiでピボットされるのが示されている。サブフレームは、ワープ行と呼ばれるM個のベクトルに編成される。第1のワープ行は、この順序でサブフレーム要素1〜Mを有し、第2のワープ行は、要素(M+1)〜2Mを有し、以下同様である。
が形成され、ここで、miは整数であり、
は、全ての要素が1に等しいM2×1ベクトルである。処理ロジックはまた、
の要素に対応する位置における過去の出力フレーム
のピクセル値を用いて、
(やはりサブフレームである)で示されるM2×1ベクトルも形成する(処理ブロック203)。
ii.全ての可能な値から、ziと
との間のp−ノルム(p≧0)である
が最小限になるようなmiを選択する。
の幅であり、jh,jv∈{−J,−(J−1),...,−1,0,1,...,J−1,J}である。Jは、0以上の任意の整数である。一実施形態では、オプション「iii」が使用されるときは、Jの値は2に設定され、2−ノルムが使用される。
の幅であり、kh,kvは、セット{−K,−(K−1),...,−1,0,1,...,K−1,K}からのランダム生成された値である。Kは、0以上の任意の整数である。
が処理されて、例えば輝度変化や場面フェードなどの問題が補償された後で、サブフレーム
が形成される。
を計算する(処理ブロック601)。
[0033]次に、処理ロジックは、
を使用して、フレーム
からサブフレーム
を形成する(処理ブロック602)。次いで処理ロジックは、各jにつき、p−ノルム
を計算する(処理ブロック603)。
に従って
を設定し、
を使用してサブフレーム
を形成する(処理ブロック604)。
[0035]図2の処理ブロック204の一部として、処理ロジックはまた、空間変換の選択及び適用を実施する。より具体的には、処理ロジックは、ピクセル適応ワープ空間変換Hiを使用して、サブフレームzi及び
を、ei及び
にそれぞれ変換する。この変換は「ワープ」と呼ばれる。その理由は、変換基底のサポートが、サブフレーム形状に合致するようにワープしたからである。この変換はピクセル適応と呼ばれる。その理由は、サブフレームタイプの選択がピクセルごとに異なることに加えて、異なるピクセルにおいてピボットされるサブフレームが、異なる変換を使用することができるからである。変換Hiは、分離DCT、非分離DCT、2次元ガボールウェーブレット、ステアラブル(Steerable)ピラミッド、2次元有向ウェーブレット、カーブレット(Curvelet)、及びコンタレット(Contourlet)などの、変換のライブラリから選択することができる。一実施形態では、使用される空間変換は、非適応方式の正規直交分離2次元DCTである。別の実施形態では、使用される空間変換は、非適応方式の正規直交分離2次元アダマール変換である。
よりも大きいei中の係数の数が最も少ない変換である。
に適用することによって変換係数
を生成する(処理ブロック702)。
ej=Hj×zi
を使用して変換係数ejを計算する(処理ブロック703)。変換係数ejは、変換Hjに対応する。
よりも大きいej中の係数の数をカウントし(処理ブロック705)、最少カウントの変換Hkを変換のライブラリから選択し、変換Hiを、最少カウントに対応する変換(Hk)に等しく設定し、次いで、係数eiを変換係数ekに等しく設定し、変換Hiをサブフレーム
に適用することによって変換係数
を生成する(処理ブロック706)。
[0042]図2の処理ブロック204の一部として、処理ロジックはまた、しきい値処理を実施する。より具体的には、処理ロジックは、eiの選択された要素に適応しきい値
を適用してaiを得る。一実施形態では、eiの全ての要素が選択される。別の実施形態では、第1の要素(通常はDC要素)を除いた全ての要素が選択される。さらに別の実施形態では、どの要素も選択されない。変換係数eiはまた、マスタしきい値
を使用してしきい値処理されて、
が得られる。しきい値処理操作は、例えばハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。ハードしきい値処理操作は、
として定義され、ここで、Tは、使用されるしきい値である。同様に、Tをしきい値とするソフトしきい値処理操作は、以下のように定義される。
代替実施形態では、しきい値
が、以下の方法のうちの1つで計算される。
ここで、f( )は関数を表す。
ここで、f( )は関数を表す。
関数f( )は、図11に示すような単調減少階段関数である。一実施形態では、関数のステップ位置(f1,f2,...,fn及びE1,E2,...,En)が訓練セットに対して調整されて、再構築画像/ビデオ品質における局所最適が達成される。一実施形態では、このしきい値計算は、ハードしきい値処理で使用される。
(6)
の可能な値に対して探索を実施して、
であるようなai中の0でない要素の数を最小限にする。Elocalはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像/ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
(7)
の可能な値に対してジョイント探索を実施して、
であるような、全てのk∈{1,2,...,N}にわたって合計されたak中の0でない要素の総数を最小限にする。Eglobalはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像/ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
の値は、ベクトルOP内で信号伝達することができる。別の実施形態では、
を計算するのに使用されるオプションの選択を、ベクトルOP内で信号伝達することができる。
の選択された要素に適応しきい値
が適用されて、
が得られる。一実施形態では、
の全ての要素が選択される。別の実施形態では、第1の要素(通常はDC要素)を除いた全ての要素が選択される。さらに別の実施形態では、どの要素も選択されない。変換係数
はまた、マスタしきい値
を使用してしきい値処理されて、
が得られる。しきい値処理操作は、前述のハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。
は、以下の方法のうちの1つで計算される。
ここで、f( )は関数を表す。
ここで、f( )は関数を表す。
関数f( )は、図11に示すような単調減少階段関数である。関数のステップ位置(f1,f2,...,fn及びE1,E2,...,En)が訓練セットに対して調整されて、局所最適が達成される。一実施形態では、このしきい値計算が使用され、ハードしきい値処理がしきい値処理操作に使用される。
(6)
の可能な値に対して探索を実施して、
であるような
中の0でない要素の数を最小限にする。Elocalはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像/ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
(7)
の可能な値に対してジョイント探索を実施して、
であるような、全てのk∈{1,2,...,N}にわたって合計された
中の0でない要素の総数を最小限にする。Eglobalはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像/ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
の値は、ベクトルOP内で信号伝達される。別の実施形態では、
を計算するのに使用されるオプションの選択が、ベクトルOP内で信号伝達される。
[0045]処理ブロック205で、処理ロジックは、しきい値処理の結果、すなわちベクトルai及び
を使用して、M2×2行列
を形成する。本明細書において、関数h( )は、輝度変化に合致するための、
の全ての要素の恒等関数若しくは単純な線形スケーリング、又は、フェードなどのより複雑な場面特性を取り込むためのより一般的な関数とすることができる。処理ロジックは、ピクセル適応時間変換Giを使用して、
をbiに変換する。
変換Giは、変換のライブラリから選択することができる。変換は、ピクセル適応と呼ばれる。その理由は、異なるピクセルにおいてピボットされるサブフレームが、異なる変換を使用することができるからである。適応の場合、選択される変換は、絶対値がマスタしきい値
よりも大きいbi中の係数の数が最も少ない変換である。
に適用することによって変換係数biを生成する(処理ブロック802)。一実施形態では、使用されるデフォルト時間変換はハール変換、すなわち
である。時間変換の選択は、ベクトルOP内で信号伝達することができる。
を使用して変換係数bjを計算する(処理ブロック803)。
よりも大きいbj中の係数の数をカウントし(処理ブロック805)、次いで、最少カウントの変換Gkを変換のライブラリから選択し、変換Giを、最少カウントに対応する変換(Gk)に等しく設定し、次いで、係数biを変換係数bkに等しく設定する(処理ブロック806)。
[0050]変換係数biを生成した後、
を使用して変換係数biがしきい値処理されて、ciが得られる(図2の処理ブロック206)。しきい値処理操作は、前述のように、ハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。しきい値処理の選択は、ベクトルOP内で信号伝達することができる。
及び係数biを入力として使用して、処理ロジックが、各要素bij∈biにつき、以下の式
に従って対応する要素cij∈ciを計算することによって開始する(処理ブロック901)。このようにして、処理ロジックは、絶対値がマスタしきい値
よりも小さい全ての係数を0に設定し、これらの係数はciとして記憶される。
[0055]しきい値処理の後、処理ロジックは、
を使用して係数を逆変換して(時間変換により)、
を得る(処理ブロック207)。処理ロジックはまた、diに逆変換(空間)
を適用して、処理済みサブフレーム
を得る(処理ブロック208)。
及び、行列
は計算されない。ベクトルdiは、di=aiとして得られ、diに逆変換(空間)
が適用されて、処理済みサブフレーム
が得られる。
を使用するのではなく、画像処理の結果として出力された過去フレームのセット
を使用することができる。NPFが、セット中の過去フレームの数を示すものとする。この場合、セット中の各過去フレームは、前述と同様にして、
の1つの列に貢献する。出力フレーム
は、
の形で第2の列に貢献し、出力フレーム
は、
の形で第3の列に貢献し、以下同様である。一実施形態では、
、bi、ci、及びdiは、サイズM2×(NPF+1)であり、Giは、サイズ(NPF+1)×(NPF+1)である。
[0058]しきい値処理された係数に逆変換を適用した後、全ての処理済みサブフレームが重み付き方式で結合されて、フレームyが形成される。一実施形態では、各処理済みサブフレーム
につき、重みwiが計算される。代替実施形態では、ei及びaiに基づく重みが、以下の方法のうちの1つで計算される。
(1) wi=1
(2) wi=f(ei,ai) ここで、f( )は関数を表す。
(3) MSEオプション1:
ここで、eminは定数である。
(4) L−pノルム(p≧0)オプション1:
ここで、nminは定数である。
(5) 調整重みオプション1:
ここで、ft( )は、セット{1,2,...,M2}(
の可能な値のセット)から[0,1]へのマッピングを表す。シミュレーテッドアニーリングなどの最適化アルゴリズムを使用してft( )が調整されて、訓練ビデオのセットに対する最良の性能(PSNRなどのメトリクスを使用して、又は主観的スコアを使用して測定される)が得られる。
(6) 他の実施形態では、bi及びciに基づく重み付けのための重みを、以下の方法のうちの1つで計算することができる。
(7) wi=f(bi,ci) ここで、f( )は関数を表す。
(8) MSEオプション2:
ここで、eminは定数である。
(9) L−pノルム(p≧0)オプション2:
ここで、nminは定数である。
(10) 調整重みオプション2:
ここで、ft( )は、セット{1,2,...,2M2}(
の可能な値のセット)から[0,1]へのマッピングを表す。シミュレーテッドアニーリングなどの最適化アルゴリズムを使用してft( )が調整されて、訓練ビデオのセットに対する最良の性能(PSNRなどのメトリクスを使用して、又は主観的スコアを使用して測定される)が得られる。
(全てのピクセルに対応する)が共に結合されてyが形成される。このプロセスの一実施形態を、j番目のピクセルの値であるyjについて述べる。
1.yj=0及びnj=0に設定する。ここで、njは、j番目のピクセルに対する正規化係数である。
2.各処理済みサブフレーム
につき、
a.ピクセルjがpiの一部である場合、
i)k=pi中のピクセルjのインデックス
ii)
ここで、
は、処理済みサブフレーム
中のピクセルjの値である。
iii)nj=nj+wi
3.
中のピクセルjの値である
を使用して、且つ前述のように重みwiを使用して、yj及びnjを更新する。一実施形態では、重みは、以下に従って計算される。
[0064]処理ブロック1004で、kは、pi中のピクセルjのインデックスに等しい。一実施形態では、処理ロジックは、以下の式に基づいてyj及びnjを更新する。
nj=nj+wi
処理ロジックがyj及びnjを更新した後、プロセスは処理ブロック1005に移行する。
[0067]yjを更新した後、処理ロジックは、インデックスiを1に等しく設定し(処理ブロック1008)、インデックスjがNに等しいかどうかチェックする(処理ブロック1009)。そうである場合は、プロセスは終了する。そうでない場合は、プロセスは処理ブロック1010に移行し、インデックスjが1つインクリメントされる。インデックスjを1つインクリメントした後、プロセスは処理ブロック1003に移行する。
にコピーし、図2に示すようにプロセスを繰り返す(処理ブロック212)。
が形成される。代替実施形態では、以下の方法のうちの1つで向上因子α(i,j)を計算することができる。
b.α(i,j)=α0*iβ*jδ+α1
ここで、パラメータ(α0、α1、β、及びδ)は訓練セットに対して調整されて、再構築画像/ビデオ品質における局所最適が達成される。一実施形態では、これらのパラメータはベクトルOP内で信号伝達することができる。上記操作は、図2の処理ブロック210の後に行われることに留意されたい。向上P×Pブロックは、逆変換され結合されて、フレームyの向上バージョンが形成される。
[0070]代替の一実施形態では、図2に述べたプロセスを修正して、より複雑度の低いアルゴリズムを得ることができ、以下、このアルゴリズムを低複雑度(lower−complexity)技法と呼ぶ。図12に、低複雑度技法をフローチャートによって示す。この実施形態では、フレームyは、現在の入力フレームxに対応する低複雑度技法の出力であり、処理すべきフレームがまだある場合は、現在の入力フレームxを更新し、yを
にコピーし、図12に示すようにプロセスを繰り返す。
であるように、現在の入力フレームx及び過去の出力フレーム
を使用してフレーム
を形成することによって開始し、ここで、wz、wyは実数であり、mは整数である(処理ブロック1201)。本明細書において、表記(j)は、当該フレーム中のピクセルj(ラスタ走査順に番号が付けられた)の値を示す。例えば、
は、フレーム
の5番目のピクセルの値を表す。一実施形態では、wz=0.5であり、wy=0.5である。一実施形態では、値wz及びwyはベクトルOP内で信号伝達される。
i) m=0
ii) 全ての可能な値から、
のp−ノルム(p≧0)である
が最小限になるようなmを選択する。
iii) 上記「ii」に基づいてmを選択するが、探索セットを{j:j=jh+W×jv}に制限する。ここで、Wはフレームxの幅であり、jh、jv∈{−J,−(J−1),...,−1,0,1,...,J−1,J}である。Jは、0以上の任意の整数である。
の代わりに、
の処理済みバージョンを使用して輝度変化や場面フェードなどの問題が補償されて、フレーム
が形成される。この場合、処理は、強度補償及び非線形予測フィルタなどの技法を含むが、これらに限定されない。
のピクセル値を用いて、
で示されるM2×1ベクトル(やはりサブフレームである)が形成される(処理ブロック1202)。
に適用して、ベクトルei及び
をそれぞれ得る(処理ブロック1203)。
から適応しきい値
を計算し、eiの選択された要素に適応しきい値
を適用してaiを得る(処理ブロック1203)。一実施形態では、eiの全ての要素が選択される。別の実施形態では、第1の要素(通常はDC要素)を除いた全ての要素が選択される。しきい値処理操作は、前述のように、ハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。
を適用した後、処理ロジックは、ai、ei、
を使用して、且つ、しきい値
を使用して、ベクトルdiを形成する(処理ブロック1204)。aij、eij、
、及びdijが、それぞれベクトルai、ei、
及びdi中のj番目の要素を表すものとし、ここで、j∈{1,2,...,M2}である。代替実施形態では、値dijは、以下の方法のうちの1つで計算される。
一実施形態では、dijを計算するのに使用されるオプションの選択が、ベクトルOP内で信号伝達される。
を生成し(処理ブロック1205)、処理ブロックの残り1206、1207、1208、及び1209は、図2中のそれぞれの相当ブロック209、210、211、及び212として作用して、プロセスは完了する。
[0083]図14は、本明細書に述べた操作の1つ又は複数を実施することのできる例示的なコンピュータシステムのブロック図である。図14を参照すると、コンピュータシステム1400は、例示的なクライアント又はサーバコンピュータシステムを含むことができる。コンピュータシステム1400は、情報を通信するための通信機構又はバス1411と、情報を処理するための、バス1411に結合されたプロセッサ1412とを備える。プロセッサ1412は、マイクロプロセッサに限定されないが、例えばペンティアム(登録商標)(Pentium(登録商標))、パワーPC(登録商標)(PowerPC(登録商標))、アルファ(登録商標)(Alpha(登録商標))などのマイクロプロセッサを含む。
Claims (2)
- 入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含む方法。 - 命令を記憶した1つ又は複数のコンピュータ読み取り可能な記憶媒体、を有する製造品であって、
前記命令は、システムによって当該命令が実行されたとき、
入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含む方法を、前記システムに実行させる、製造品。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US2645308P | 2008-02-05 | 2008-02-05 | |
US61/026,453 | 2008-02-05 | ||
US12/233,468 US8731062B2 (en) | 2008-02-05 | 2008-09-18 | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
US12/233,468 | 2008-09-18 | ||
PCT/US2009/032888 WO2009100032A1 (en) | 2008-02-05 | 2009-02-02 | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011512086A true JP2011512086A (ja) | 2011-04-14 |
JP5419897B2 JP5419897B2 (ja) | 2014-02-19 |
Family
ID=40931208
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010545259A Active JP5517954B2 (ja) | 2008-02-05 | 2009-02-02 | 変換の高速でメモリ効率の良い実施のための方法 |
JP2010545258A Active JP5419897B2 (ja) | 2008-02-05 | 2009-02-02 | 空間処理及び時間処理を用いた、ビデオシーケンス中の雑音及びちらつきの少なくとも一方の低減 |
JP2014018738A Active JP5734475B2 (ja) | 2008-02-05 | 2014-02-03 | 変換の高速でメモリ効率の良い実施のための方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010545259A Active JP5517954B2 (ja) | 2008-02-05 | 2009-02-02 | 変換の高速でメモリ効率の良い実施のための方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014018738A Active JP5734475B2 (ja) | 2008-02-05 | 2014-02-03 | 変換の高速でメモリ効率の良い実施のための方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8731062B2 (ja) |
EP (2) | EP2243298B1 (ja) |
JP (3) | JP5517954B2 (ja) |
KR (2) | KR101291869B1 (ja) |
CN (2) | CN102378978B (ja) |
WO (2) | WO2009100034A2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8311088B2 (en) * | 2005-02-07 | 2012-11-13 | Broadcom Corporation | Method and system for image processing in a microprocessor for portable video communication devices |
US8305497B2 (en) * | 2007-07-27 | 2012-11-06 | Lsi Corporation | Joint mosquito and aliasing noise reduction in video signals |
US8731062B2 (en) | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
JP4801186B2 (ja) * | 2009-04-23 | 2011-10-26 | 株式会社エヌ・ティ・ティ・ドコモ | 画像処理装置、画像処理方法および画像処理プログラム |
KR101682147B1 (ko) * | 2010-04-05 | 2016-12-05 | 삼성전자주식회사 | 변환 및 역변환에 기초한 보간 방법 및 장치 |
EP2442567A1 (en) * | 2010-10-14 | 2012-04-18 | Morpho Inc. | Image Processing Device, Image Processing Method and Image Processing Program |
FR2978273B1 (fr) * | 2011-07-22 | 2013-08-09 | Thales Sa | Procede de reduction du bruit dans une sequence d'images fluoroscopiques par filtrage temporel et spatial |
EA017302B1 (ru) * | 2011-10-07 | 2012-11-30 | Закрытое Акционерное Общество "Импульс" | Способ подавления шума серий цифровых рентгенограмм |
US9924200B2 (en) | 2013-01-24 | 2018-03-20 | Microsoft Technology Licensing, Llc | Adaptive noise reduction engine for streaming video |
US9357236B2 (en) * | 2014-03-13 | 2016-05-31 | Intel Corporation | Color compression using a selective color transform |
US9939253B2 (en) * | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
US10102613B2 (en) * | 2014-09-25 | 2018-10-16 | Google Llc | Frequency-domain denoising |
CN106028014B (zh) * | 2016-05-27 | 2017-12-08 | 京东方科技集团股份有限公司 | 一种校正视频闪烁的方法及设备 |
EP3557484B1 (en) * | 2016-12-14 | 2021-11-17 | Shanghai Cambricon Information Technology Co., Ltd | Neural network convolution operation device and method |
TWI748035B (zh) * | 2017-01-20 | 2021-12-01 | 日商半導體能源硏究所股份有限公司 | 顯示系統及電子裝置 |
CN106791283B (zh) * | 2017-01-25 | 2019-11-19 | 京东方科技集团股份有限公司 | 一种校正视频闪烁的方法、装置及视频设备 |
US11134272B2 (en) * | 2017-06-29 | 2021-09-28 | Qualcomm Incorporated | Memory reduction for non-separable transforms |
KR102444054B1 (ko) | 2017-09-14 | 2022-09-19 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 |
EP4274207A4 (en) | 2021-04-13 | 2024-07-10 | Samsung Electronics Co Ltd | ELECTRONIC DEVICE AND ITS CONTROL METHOD |
CN114020211B (zh) * | 2021-10-12 | 2024-03-15 | 深圳市广和通无线股份有限公司 | 存储空间管理方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63260277A (ja) * | 1987-04-16 | 1988-10-27 | Victor Co Of Japan Ltd | 動き適応形画質改善装置 |
JPH0723926A (ja) * | 1993-07-09 | 1995-01-27 | Hitachi Ltd | 動画像の画質改善方法 |
JP2002238049A (ja) * | 2000-11-27 | 2002-08-23 | Sony Internatl Europ Gmbh | 符号化歪み低減方法 |
JP2003134352A (ja) * | 2001-10-26 | 2003-05-09 | Konica Corp | 画像処理方法及び装置並びにプログラム |
WO2006031214A1 (en) * | 2004-09-09 | 2006-03-23 | Silicon Optix Inc. | System and method for representing a general two dimensional spatial transformation |
JP2007017905A (ja) * | 2005-07-11 | 2007-01-25 | Ntt Docomo Inc | 信号符号化装置、信号復号化装置、信号符号化方法、及び信号復号化方法。 |
JP2007049664A (ja) * | 2005-07-15 | 2007-02-22 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
JP2007329528A (ja) * | 2006-06-06 | 2007-12-20 | Sony Corp | 動きベクトル復号化方法および復号化装置 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4447886A (en) * | 1981-07-31 | 1984-05-08 | Meeker G William | Triangle and pyramid signal transforms and apparatus |
US4442454A (en) * | 1982-11-15 | 1984-04-10 | Eastman Kodak Company | Image processing method using a block overlap transformation procedure |
JPH01201773A (ja) * | 1988-02-05 | 1989-08-14 | Matsushita Electric Ind Co Ltd | ディジタル信号処理装置 |
JPH0379182A (ja) * | 1989-08-23 | 1991-04-04 | Fujitsu Ltd | 画像符号化制御方式 |
JP3302731B2 (ja) | 1992-06-02 | 2002-07-15 | 大日本印刷株式会社 | 画像拡大方法 |
JP3392946B2 (ja) * | 1993-07-15 | 2003-03-31 | ペンタックス株式会社 | 電子スチルカメラ及び画像再生装置 |
US5666163A (en) * | 1994-07-12 | 1997-09-09 | Sony Corporation | Electronic image resolution enhancement by frequency-domain extrapolation |
JPH08294001A (ja) | 1995-04-20 | 1996-11-05 | Seiko Epson Corp | 画像処理方法および画像処理装置 |
JP3378167B2 (ja) | 1997-03-21 | 2003-02-17 | シャープ株式会社 | 画像処理方法 |
US5859788A (en) * | 1997-08-15 | 1999-01-12 | The Aerospace Corporation | Modulated lapped transform method |
US6438275B1 (en) * | 1999-04-21 | 2002-08-20 | Intel Corporation | Method for motion compensated frame rate upsampling based on piecewise affine warping |
AUPQ156299A0 (en) * | 1999-07-12 | 1999-08-05 | Canon Kabushiki Kaisha | Method and apparatus for discrete wavelet transforms and compressed bitstream ordering for block entropy coding of subband image data |
KR100327385B1 (en) | 2000-07-18 | 2002-03-13 | Lg Electronics Inc | Spatio-temporal three-dimensional noise filter |
US6898323B2 (en) * | 2001-02-15 | 2005-05-24 | Ricoh Company, Ltd. | Memory usage scheme for performing wavelet processing |
JP3887178B2 (ja) * | 2001-04-09 | 2007-02-28 | 株式会社エヌ・ティ・ティ・ドコモ | 信号符号化方法及び装置並びに復号方法及び装置 |
US7206459B2 (en) * | 2001-07-31 | 2007-04-17 | Ricoh Co., Ltd. | Enhancement of compressed images |
US7120308B2 (en) * | 2001-11-26 | 2006-10-10 | Seiko Epson Corporation | Iterated de-noising for image recovery |
WO2003090028A2 (en) * | 2002-04-19 | 2003-10-30 | Droplet Technology, Inc. | Wavelet transform system, method and computer program product |
US7940844B2 (en) * | 2002-06-18 | 2011-05-10 | Qualcomm Incorporated | Video encoding and decoding techniques |
JP3902990B2 (ja) * | 2002-07-02 | 2007-04-11 | キヤノン株式会社 | アダマール変換処理方法及びその装置 |
US20050030393A1 (en) * | 2003-05-07 | 2005-02-10 | Tull Damon L. | Method and device for sensor level image distortion abatement |
US7352909B2 (en) * | 2003-06-02 | 2008-04-01 | Seiko Epson Corporation | Weighted overcomplete de-noising |
US20050105817A1 (en) | 2003-11-17 | 2005-05-19 | Guleryuz Onur G. | Inter and intra band prediction of singularity coefficients using estimates based on nonlinear approximants |
KR100564592B1 (ko) | 2003-12-11 | 2006-03-28 | 삼성전자주식회사 | 동영상 데이터 잡음제거방법 |
GB2415876B (en) * | 2004-06-30 | 2007-12-05 | Voxar Ltd | Imaging volume data |
WO2006010276A1 (en) * | 2004-07-30 | 2006-02-02 | Algolith Inc | Apparatus and method for adaptive 3d artifact reducing for encoded image signal |
US7554611B2 (en) * | 2005-04-19 | 2009-06-30 | Samsung Electronics Co., Ltd. | Method and apparatus of bidirectional temporal noise reduction |
US8050331B2 (en) | 2005-05-20 | 2011-11-01 | Ntt Docomo, Inc. | Method and apparatus for noise filtering in video coding |
US20060288065A1 (en) * | 2005-06-17 | 2006-12-21 | Docomo Communications Laboratories Usa, Inc. | Method and apparatus for lapped transform coding and decoding |
US20070074251A1 (en) * | 2005-09-27 | 2007-03-29 | Oguz Seyfullah H | Method and apparatus for using random field models to improve picture and video compression and frame rate up conversion |
US8135234B2 (en) | 2006-01-31 | 2012-03-13 | Thomson Licensing | Method and apparatus for edge-based spatio-temporal filtering |
US20080007649A1 (en) * | 2006-06-23 | 2008-01-10 | Broadcom Corporation, A California Corporation | Adaptive video processing using sub-frame metadata |
US8385424B2 (en) * | 2006-06-26 | 2013-02-26 | Qualcomm Incorporated | Reduction of errors during computation of inverse discrete cosine transform |
CN100454972C (zh) | 2006-12-28 | 2009-01-21 | 上海广电(集团)有限公司中央研究院 | 一种视频图像3d降噪方法 |
US8743963B2 (en) * | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
US20090060368A1 (en) * | 2007-08-27 | 2009-03-05 | David Drezner | Method and System for an Adaptive HVS Filter |
US8731062B2 (en) | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
-
2008
- 2008-09-18 US US12/233,468 patent/US8731062B2/en active Active
- 2008-09-26 US US12/239,195 patent/US8837579B2/en active Active
-
2009
- 2009-02-02 KR KR1020107017838A patent/KR101291869B1/ko active IP Right Grant
- 2009-02-02 WO PCT/US2009/032890 patent/WO2009100034A2/en active Application Filing
- 2009-02-02 KR KR1020107017926A patent/KR101137753B1/ko active IP Right Grant
- 2009-02-02 EP EP09708388.5A patent/EP2243298B1/en active Active
- 2009-02-02 CN CN200980103959.5A patent/CN102378978B/zh active Active
- 2009-02-02 EP EP09708583.1A patent/EP2240869B1/en active Active
- 2009-02-02 JP JP2010545259A patent/JP5517954B2/ja active Active
- 2009-02-02 CN CN2009801039523A patent/CN101933330B/zh active Active
- 2009-02-02 JP JP2010545258A patent/JP5419897B2/ja active Active
- 2009-02-02 WO PCT/US2009/032888 patent/WO2009100032A1/en active Application Filing
-
2014
- 2014-02-03 JP JP2014018738A patent/JP5734475B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63260277A (ja) * | 1987-04-16 | 1988-10-27 | Victor Co Of Japan Ltd | 動き適応形画質改善装置 |
JPH0723926A (ja) * | 1993-07-09 | 1995-01-27 | Hitachi Ltd | 動画像の画質改善方法 |
JP2002238049A (ja) * | 2000-11-27 | 2002-08-23 | Sony Internatl Europ Gmbh | 符号化歪み低減方法 |
JP2003134352A (ja) * | 2001-10-26 | 2003-05-09 | Konica Corp | 画像処理方法及び装置並びにプログラム |
WO2006031214A1 (en) * | 2004-09-09 | 2006-03-23 | Silicon Optix Inc. | System and method for representing a general two dimensional spatial transformation |
JP2007017905A (ja) * | 2005-07-11 | 2007-01-25 | Ntt Docomo Inc | 信号符号化装置、信号復号化装置、信号符号化方法、及び信号復号化方法。 |
JP2007049664A (ja) * | 2005-07-15 | 2007-02-22 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
JP2007329528A (ja) * | 2006-06-06 | 2007-12-20 | Sony Corp | 動きベクトル復号化方法および復号化装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5517954B2 (ja) | 2014-06-11 |
EP2243298B1 (en) | 2021-10-06 |
EP2240869B1 (en) | 2019-08-07 |
KR20100114068A (ko) | 2010-10-22 |
WO2009100034A3 (en) | 2012-11-01 |
KR101291869B1 (ko) | 2013-07-31 |
CN101933330B (zh) | 2013-03-13 |
KR101137753B1 (ko) | 2012-04-24 |
JP5419897B2 (ja) | 2014-02-19 |
JP2014112414A (ja) | 2014-06-19 |
JP5734475B2 (ja) | 2015-06-17 |
WO2009100034A2 (en) | 2009-08-13 |
EP2243298A1 (en) | 2010-10-27 |
US8837579B2 (en) | 2014-09-16 |
CN101933330A (zh) | 2010-12-29 |
CN102378978B (zh) | 2015-10-21 |
JP2011527033A (ja) | 2011-10-20 |
CN102378978A (zh) | 2012-03-14 |
KR20100112162A (ko) | 2010-10-18 |
WO2009100032A1 (en) | 2009-08-13 |
US20090195697A1 (en) | 2009-08-06 |
US8731062B2 (en) | 2014-05-20 |
EP2240869A2 (en) | 2010-10-20 |
US20090195535A1 (en) | 2009-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5419897B2 (ja) | 空間処理及び時間処理を用いた、ビデオシーケンス中の雑音及びちらつきの少なくとも一方の低減 | |
CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
Heckel et al. | Deep decoder: Concise image representations from untrained non-convolutional networks | |
Yu et al. | A unified learning framework for single image super-resolution | |
US8743963B2 (en) | Image/video quality enhancement and super-resolution using sparse transformations | |
JP4920599B2 (ja) | ハイブリッドビデオ圧縮の量子化雑音除去用の非線形ループ内デノイズフィルタ | |
CN101959008B (zh) | 用于图像和视频处理的方法和装置 | |
JP5331486B2 (ja) | デジタル画像の解像度向上方法及び装置 | |
US20090185078A1 (en) | Systems and methods for video processing based on motion-aligned spatio-temporal steering kernel regression | |
CN111866521A (zh) | 一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法 | |
CN108765330B (zh) | 基于全局和局部先验联合约束的图像去噪方法和装置 | |
CN111369466B (zh) | 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法 | |
JP2011524714A (ja) | スパース変換を使用する画像/ビデオ品質向上及び超解像 | |
CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
CN114820352A (zh) | 一种高光谱图像去噪方法、装置及存储介质 | |
CN115809966A (zh) | 一种低照度图像的增强方法和系统 | |
CN115082296B (zh) | 一种基于小波域图像生成框架的图像生成方法 | |
Sadaka et al. | Efficient super-resolution driven by saliency selectivity | |
Krishna et al. | A Trained CNN based Resolution Enhancement of Digital Images | |
Ramsook et al. | A differentiable VMAF proxy as a loss function for video noise reduction | |
CN114998138B (zh) | 一种基于注意力机制的高动态范围图像去伪影方法 | |
WO2023044653A1 (zh) | 一种显示设备系统及自适应增强画质的方法 | |
Chen et al. | A new framework based on spatio-temporal information for enhancing compressed video | |
Koh et al. | 60‐2: Self‐supervised Perceptual Motion Deblurring using a Conditional Generative Neural Network Guided by Optical Flow | |
Jagdale et al. | Video resolution enhancement and quality assessment strategy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5419897 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |