CN101933330A - 使用空间和时间处理在视频序列中的噪声和/或闪烁减少 - Google Patents
使用空间和时间处理在视频序列中的噪声和/或闪烁减少 Download PDFInfo
- Publication number
- CN101933330A CN101933330A CN2009801039523A CN200980103952A CN101933330A CN 101933330 A CN101933330 A CN 101933330A CN 2009801039523 A CN2009801039523 A CN 2009801039523A CN 200980103952 A CN200980103952 A CN 200980103952A CN 101933330 A CN101933330 A CN 101933330A
- Authority
- CN
- China
- Prior art keywords
- processing
- pixel
- subframe
- frame
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 197
- 230000002123 temporal effect Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 61
- 239000013598 vector Substances 0.000 description 44
- 230000003044 adaptive effect Effects 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 230000009466 transformation Effects 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 10
- 230000007704 transition Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000002922 simulated annealing Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- LTXREWYXXSTFRX-QGZVFWFLSA-N Linagliptin Chemical compound N=1C=2N(C)C(=O)N(CC=3N=C4C=CC=CC4=C(C)N=3)C(=O)C=2N(CC#CC)C=1N1CCC[C@@H](N)C1 LTXREWYXXSTFRX-QGZVFWFLSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/147—Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/145—Square transforms, e.g. Hadamard, Walsh, Haar, Hough, Slant transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Complex Calculations (AREA)
- Picture Signal Circuits (AREA)
Abstract
在此公开了一种方法和装置,用于减少视频序列中的闪烁或噪声二者中的至少一个。在一个实施例中,所述方法包括:接收输入视频;以及使用空间和时间处理执行操作以减少所述输入视频中的噪声和闪烁中的一个或两者。
Description
优先权
本专利申请要求于2008年2月5日提交的题为“FlickerReduction in Video Sequences Using Temporal Processing”的对应临时专利申请序列号61/026,453的优先权,并且通过引用而将其合并。
相关申请
本申请涉及于2008年6月17日提交的、美国专利申请序列号12/140,829的、转让给本发明的法人受让人的、题为“Image/VideoQuality Enhancement and Super-Resolution Using SparseTransformations”的共同未决申请。
技术领域
本发明通常涉及视频序列的处理,更具体地说,本发明涉及减少视频序列的噪声和/或闪烁。
背景技术
蚊式噪声和时间闪烁由于相机限制而在获取期间产生。视频处理途径中的模块(例如压缩、下采样和上采样)导致成块伪像、混叠、振铃现象和时间闪烁。图像和视频信号处理如今广泛用在多种应用中。这些技术中的某些已经用于减少噪声和时间闪烁。
发明内容
在此公开了一种方法和装置,用于减少视频序列中的闪烁和噪声二者中的至少一个。在一个实施例中,所述方法包括:接收输入视频;以及使用空间和时间处理执行操作以减少所述输入视频中的噪声和闪烁中的一个或两者。
附图说明
从以下给出的详细描述以及从本发明的各个实施例的附图将更充分地理解本发明,然而,这些不应看作将本发明限制为具体实施例,而是仅用于解释和理解。
图1A-图1B示出用于减少输入视频中的噪声和/或闪烁的噪声和闪烁减少模块的一个实施例。
图2示出用于对视频序列执行图像处理的处理的一个实施例的流程图。
图3A-图3M示出对应于子帧类型库的掩模的示例。
图4示出当像素是按光栅扫描顺序的编号时在像素i处的示例子帧。
图5是子帧类型选择处理的一个实施例的流程图。
图6是从过去输出帧起的子帧形成处理的一个实施例的流程图。
图7是空间变换选择处理的一个实施例的流程图。
图8是时间变换选择处理的一个实施例的流程图。
图9是用于阈值化变换系数的阈值化处理的一个实施例的流程图。
图10是用于组合子帧以创建帧的处理的一个实施例的流程图。
图11示出单调递减阶梯函数。
图12是示出用于对视频序列执行图像处理的处理的另一实施例的流程图。
图13A-图13E示出所选像素的示例子集。
图14是计算机系统的一个实施例的框图。
具体实施方式
描述了一种用于压缩/未压缩视频序列中的噪声和/或闪烁减少的方法和装置。为此,视频序列由有序放置的、在此称为帧的多幅图像构成。
在一个实施例中,在此所公开的技术包括但不限于:从输入视频的当前帧选择在特定像素处的子帧,并且从满足准则的输出视频的过去帧找到另一子帧;选择像素自适应扭曲(warped)空间变换,并且将子帧变换到空间变换域;得到保留细节的自适应阈值,并且使用硬阈值化(如果变换系数的量值小于阈值,则设置为零)或其它阈值化技术(例如软阈值化)阈值化来自当前帧和过去帧的子帧的变换系数;使用时间变换进一步变换空间变换系数,并且阈值化时间变换系数的所选子集;首先在时间上然后在空间上逆变换时间变换系数,以得到属于当前帧和过去帧二者的处理的子帧;以及组合属于来自输入视频的当前帧的处理的子帧,以获得用于输出视频的当前帧。这些操作可以对于输入视频的所有帧重复。
在以下描述中,阐述大量细节来提供本发明的更透彻的解释。然而,本领域技术人员应理解,可以在没有这些具体细节的情况下实施本发明。在其它情况下,公知结构和设备以框图形式而并非详细地示出,以免模糊本发明。
以下的详细描述的某些部分是关于计算机存储器内对数据比特的操作的算法和符号表示而提出的。这些算法描述和表示是数据处理领域技术人员用于将它们的工作的内容最有效地传达给本领域其它技术人员的手段。算法在此通常被认为是带来期望结果的自身一致的步骤序列。各步骤是要求物理量的物理操控的步骤。通常,虽然并非必需的,但这些量采用的形式是能够被存储、传递、组合、比较并且另外受操控的电信号或磁信号。通常已经证明方便的是,原则上出于共用的原因,将这些信号指代为比特、值、元素、符号、字符、项、数字等。
然而,应注意,所有这些术语及相似的术语关联于适当的物理量,并且仅仅是应用于这些量的方便的标记。除非关于以下讨论而明显地另外具体声明,否则应理解,在整个说明书中,利用例如“处理”或“计算”或“运算”或“确定”或“显示”等的术语的讨论指的是计算机系统或相似的电子计算设备的动作或处理,所述计算机系统或相似的电子计算设备操控计算机系统寄存器和存储器内的物理(电子)量所表示的数据,并且将其变换为计算机系统存储器或寄存器或其它这种信息存储、传输或显示设备内的物理量所相似表示的其它数据。
本发明还涉及用于执行在此的操作的装置。该装置可以因所需的目的而得以具体地构建,或者其可以包括由计算机中存储的计算机程序有选择地激活或者重新配置的通用计算机。所述计算机程序可以存储于计算机可读存储介质中,例如但不限于任何类型的盘(包括软盘、光盘、CD-ROM和磁光盘)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光学卡、或适合于存储电子指令的任何类型的介质并且均耦合到计算机系统总线。
在此提出的算法和显示并非固有地涉及任何特定计算机或其它装置。可以通过根据在此的教导的程序来使用各种通用系统,或者可能证明方便的是,构建更专用的装置来执行所需的方法步骤。各种所述系统所需的结构将据以下描述而明显。此外,本发明并非是参照任何特定编程语言而描述的。应理解,各种计算机编程语言可以用于实现在此描述的本发明的教导。
机器可读介质包括用于以机器(例如计算机)可读的形式存储或者发送信息的任何机构。例如,机器可读介质包括只读存储器(“ROM”);随机存取存储器(“RAM”);磁盘存储介质;光存储介质;闪存设备;电、光、声或其它形式的传播信号(例如载波、红外信号、数字信号等);等等。
概述
图1A示出用于减少输入视频中的噪声和/或闪烁的噪声和闪烁减少模块的一个实施例。参照图1A,噪声和闪烁减少块101接收输入视频100。输入视频100包括噪声和/或闪烁。噪声和闪烁减少块101还接收可选参数的矢量(在此称为OP)、以及阈值参数 响应于这些输入,噪声和闪烁减少块101生成具有减少了的噪声和闪烁的输出视频102。
图1B示出用于对视频序列执行图像处理的处理的一个实施例的流程图。处理由处理逻辑执行,处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。
参照图1B,处理开始于处理逻辑接收输入视频(处理块111)。
响应于接收输入视频,处理逻辑执行操作,以使用空间和时间处理减少输入视频中的噪声和闪烁中的一个或二者(处理块112)。在一个实施例中,这些操作包括:通过系数的自适应阈值化来应用空间变换和时间变换。在一个实施例中,应用空间变换和时间变换包括:将至少一个扭曲变换应用于子帧,以创建变换系数。
图2示出用于对视频序列执行图像处理的处理的一个实施例的更详细的流程图。处理由处理逻辑执行,处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。
在以下描述的处理中,x表示来自受在此所描述的各技术所处理的输入视频的当前帧,表示在使用在此描述的各技术之后输出的过去帧, 表示图像处理过程所使用的阈值参数。此外,可以提供包含其它可选参数的由OP所表示的矢量。用户或算法可以使用主观/客观质量的优化,使用基于模型的技术或者使用其它方法来确定最期望的参数。也可以使用校准算法。这些算法也可以利用对于视频处理管道或输入视频或者它们二者的部分/完整知识。在一个实施例中,通过按光栅扫描顺序布置像素来将所有视频帧表示为矢量,并且N表示每个视频帧中的像素的数量。
在已经获得帧x之后,图2的处理块202的子帧选择处理开始。子帧类型S定义为M2×1整数值矢量。为此,M可以是大于零的任何整数。{S1,S2,S3,...}是子帧类型库。对于其中像素按光栅扫描顺序被编号的来自帧x的所选像素的集合中的每个像素i,子帧类型si选自所述库,矢量pi形成为其中,是M2×1矢量,其中所有元素等于1。在一个实施例中,对于未选的像素,pi是零矢量。所选像素的集合在矢量OP内可以是预定的或信号通知(signaled)的。在该实施例中,子帧被形成并且被处理,以用于图像中的每个像素。也就是说,所选像素的集合是帧中的像素的整个集合。然而,在另一实施例中,可以仅对像素的所选集合而不对图像中的所有像素执行处理。该子集可以是预定的或作为边信息的一部分而被信号通知的。图13A-E示出这些子集的示例;可以通过在此描述的各种教导来使用其它子集。称为子帧的M2×1矢量zi是以在与pi的各元素对应的各位置处的帧x的像素值形成的。像素i称为子帧zi的主元(pivot)。图4示出当像素按光栅扫描顺序被编号时在像素i处的示例子帧zi。参照图4,通过从“1”开始以此顺序对像素进行编号来产生像素的光栅扫描排序。子帧示出为以像素i为主元。子帧被组织为M个矢量,称为扭曲行。第一扭曲行按顺序具有子帧元素1至M;第二扭曲行具有元素(M+1)至2M;以此类推。
在一个实施例中,M等于4,子帧类型库对应于图3A-3M所示的掩模的集合。参照图3A-图3M,通过该子帧库,掩模对应于箭头所示的不同方向。图3A中的掩模在此称为常规掩模,因为其对应于常规的水平或垂直方向。其它掩模称为方向性掩模,因为它们对应于非常规的方向。掩模中的像素(“a”至“p”)的差分位置Ω定义为Ω=CC+W×CR,其中,W是帧y的宽度。CC是从像素“a”的列开始向右水平移动以得到感兴趣的当前像素的列所需的列的数量。CR是从像素“a”的行开始向下垂直移动以得到感兴趣的当前像素的行所需的行的数量。例如,在图3H中的掩模的情况下,像素“c”具有CC=-1和CR=2。与掩模对应的子帧类型是包含从“a”到“p”排序的该掩模中的像素的差分位置的矢量。
在一个实施例中,通过总是选取与常规掩模对应的子帧类型来进行用于像素的子帧类型的选取。在另一实施例中,对于每个所选像素,通过以下操作进行用于像素的子帧类型的选取:(1)对于每个子帧类型,在所形成的子帧上评估2-D DCT,以及(2)对于给定阈值T,选取使得量值大于T的非零变换系数的数量最小化的子帧类型。在又一实施例中,通过对于每个所选像素选取使得在所有扭曲行上平均化的像素值的扭曲行方差最小化的子帧类型来进行用于像素的子帧类型的选取。在又一实施例中,通过对于K×L像素的块具有用于子帧类型的每个像素投票(基于使得在所有扭曲行上平均化的像素值的扭曲行方差最小化的子帧类型)并且选取具有对于K×L(其中,K和L可以是大于0的任何整数)块中的所有像素的最多投票的子帧类型,来进行用于像素的子帧类型的选取。在一个实施例中,K和L皆设置为4。在又一实施例中,通过对于每个像素形成K×L像素的块并且使用该块中的在先投票方案选取子帧类型来进行用于像素的子帧类型的选取。在每种情况下,所选取的子帧类型用于当前像素。因此,通过使用每个掩模的这些所测量的统计之一,执行子帧的选择。
注意,可以使用除了图3A-图3M中的掩模之外的掩模。
图5是子帧选择处理的一个实施例的流程图。处理由处理逻辑执行,处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。
参照图5,处理开始于处理逻辑接收帧x并且确定子帧是否为像素自适应的(处理块501)。如果子帧并非像素自适应的,则处理逻辑选取用于所有像素的常规子帧类型(处理块502)。如果帧x的子帧是像素自适应的,则处理逻辑对于每个像素标记使得扭曲行方差最小的子帧类型(处理块503)。使用上述子帧类型库(510)来完成该操作。因此,对于每个像素,标记使得子帧类型库当中扭曲行方差最小的子帧类型。
接下来,处理逻辑确定选取是否为基于块的(处理块504)。如果处理逻辑确定选取是基于块的,则处理逻辑对每个块中的标记的每个子帧类型的像素的数量进行计数(处理块506),并且对于在块中的所有像素,处理逻辑选取该块中的最多像素所标记的子帧类型(处理块507)。换句话说,如果选取是基于块的,则对于该块中的所有像素选取块中的最多像素所标记的子帧类型。如果处理逻辑确定选取不是基于块的,则处理逻辑对于每个像素选取该像素所标记的子帧类型(处理块505)。换句话说,每个像素选取自身所标记的子帧类型。
对于每个像素的子帧类型的选取可以在矢量OP内被信号通知。
mi的选取可以是以多种不同方式进行的。在替换实施例中,mi的选取是通过以下方式之一而得以执行的:
i.mi=i
iii.基于以上的“ii”选取mi,但将搜索集合限制为{j:j=i+jh+W×jv},其中,W是帧的宽度,并且jh,jv∈{-J,-(J-1),...,-1,0,1,...,J-1,J}。J是大于或等于零的任何整数。在一个实施例中,当使用选项“iii”时,J的值被设置为2,并且使用2-范数。
iv.基于以上的“iii”计算mi,将值k=kh+W×kv加到mi,其中,W是帧的宽度,并且kh,kv是从集合{-K,-(K-1),...,-1,0,1,...,K-1,K}随机生成的值。K是大于或等于零的任何整数。
mi的选取可以在矢量OP内被信号通知。
图6是从过去输出帧起的子帧形成处理的一个实施例的流程图。处理由处理逻辑执行,处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。
参照图6,处理开始于处理逻辑使用搜索集合{m1,m2,...},并且对于每个值mj,根据以下公式计算
(处理块601)。
(处理块603)。
空间变换选择和应用
作为图2的处理块204,处理逻辑还执行空间变换选择和应用。更具体地说,处理逻辑使用像素自适应扭曲空间变换Hi分别将子帧zi和变换为ei和该变换称为“扭曲”,因为变换基础的支持已经扭曲,以匹配子帧形状。该变换称为像素自适应的,因为在不同像素处的主元化的子帧可以使用不同的变换,还有这样的事实:子帧类型的选取可以根据像素而变化。可以从变换库(例如可分离DCT、非可分离DCT、2-D Gabor小波、Steerable pyramids、2-D方向小波、Curvelets和Contourlets)选取Hi。在一个实施例中,所使用的空间变换是非自适应方式的正交可分离2D-DCT。在另一实施例中,所使用的空间变换是非自适应方式的正交可分离2D-Hadamard变换。
应注意,可分离变换在其受扭曲之后变为不可分离的。变换的选取可以是事前固定的,或者可以对于在不同像素处主元化的不同子帧是自适应的。在自适应的情况下,所选取的变换是具有最少数量的绝对值大于主阈值的ei中的系数的变换。
图7示出用于子帧的空间变换选择处理的一个实施例的流程图。处理由处理逻辑执行,处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。
参照图7,处理开始于处理逻辑测试变换是否为像素自适应的(处理块701)。这种测试可以通过参照列表而得以执行。在一个实施例中,列表可以使得变换为非自适应的。在另一实施例,列表可以在矢量OP内被信号通知。如果处理逻辑确定变换为非自适应的,则处理逻辑选择2-D正交可分离DCT,以用作变换Hi,通过将变换应用于子帧zi而生成变换系数ei,并且通过将变换应用于子帧而生成变换系数(处理块702)。
如果处理逻辑确定变换是像素自适应的,则对于变换库{H1,H2,....}中的每个变换Hj(处理块704),处理逻辑使用公式计算变换系数ej:
ej=Hj×zi
(处理块703)。
变换系数ej对应于变换Hj。
接下来,对于每个j,处理逻辑对具有大于阈值的绝对值的ej中的系数的数量进行计数(处理块705),并且从具有最少计数的变换的库选取变换Hk,将变换Hi设置为与最少计数对应的变换(Hk)相等,然后设置系数ei等于变换系数ek,并且通过将变换Hi应用于子帧而生成变换系数(处理块706)。
空间变换的选取可以在矢量OP内被信号通知。
阈值化
作为图2的处理块204的一部分,处理逻辑还执行阈值化。更具体地说,处理逻辑对ei的所选元素应用自适应阈值以得到ai。在一个实施例则,选择ei的所有元素。在另一实施例中,选择除了第一元素(通常是DC元素)之外的所有元素。在又一实施例中,不选择元素。还使用主阈值来阈值化变换系数ei,以得到可以通过各种方式(例如硬阈值化和软阈值化)来完成阈值化操作。硬阈值化操作定义为其中,T是所使用的阈值。相似地,具有T作为阈值的软阈值化操作定义为
·
·
· 其中,f()表示函数。
· 其中,f()表示函数。
·函数f()是图11所示的单调递减阶梯函数。在一个实施例中,函数(f1,f2,...,fn和E1,E2,...,En)的阶梯位置在训练集合上被调谐,从而实现重构图像/视频质量的局部优化。在一个实施例中,以硬阈值化来使用该阈值计算。
·对的可能值执行搜索,以使得ai中的非零元素的数量最小化,从而||ei-ai||2<Elocal。Elocal可以是边信息的一部分,或者可以使用默认值。这可以看作对于算法的设置。在一个实施例中,可以通过在训练集合上调谐并且选取实现重构图像/视频质量的局部优化的值来获得默认值。
·对的可能值执行联合搜索以使得在所有k∈{1,2,...,N}上求和的ak中的非零元素的总数量最小化,从而Eglobal可以是边信息的一部分,或者可以使用默认值。这可以看作对于算法的设置。在一个实施例中,可以通过在训练集合上调谐并且选取实现重构图像/视频质量的局部优化的值来获得默认值。
自适应阈值应用于的所选元素,以得到在一个实施例中,选择的所有元素。在另一实施例中,选择除了第一元素(通常是DC元素)之外的所有元素。在又一实施例中,不选择元素。还使用主阈值来阈值化变换系数以得到可以通过各种方式(例如上述硬阈值化和软阈值化)来完成阈值化操作。
在替换实施例中,按以下方式之一计算阈值
·
·
· 其中,f()表示函数。
· 其中,f()表示函数。
·函数f()是图11所示的单调递减阶梯函数。函数(f1,f2,...,fn和E1,E2,...,En)的阶梯位置在训练集合上被调谐,从而实现局部优化。在一个实施例中,使用该阈值计算,并且硬阈值化用于阈值化操作。
·对的可能值执行搜索,以使得中的非零元素的数量最小化,从而Elocal可以是边信息的一部分,或者可以使用默认值。这可以看作对于算法的设置。在一个实施例中,可以通过在训练集合上调谐并且选取实现重构图像/视频质量的局部优化的值来获得默认值。
·对的可能值执行联合搜索以使得在所有k∈{1,2,...,N}上求和的中的非零元素的总数量最小化,从而Eglobal可以是边信息的一部分,或者可以使用默认值。这可以看作对于算法的设置。在一个实施例中,可以通过在训练集合上调谐并且选取实现重构图像/视频质量的局部优化的值来获得默认值。
时间变换选择和应用
处理块205中的处理逻辑使用阈值化的结果(即矢量ai和)来形成M2×2矩阵 在此,函数h()可以是单位函数或的所有元素的简单线性比量以用于匹配亮度改变,或者是更通用的函数,用于捕获更复杂的场景特征,例如渐变。处理逻辑使用像素自适应时间变换Gi将变换为bi;变换Gi可以是从变换库选取的。变换称为像素自适应的,因为在不同像素处主元化的子帧可以使用不同变换。在自适应的情况下,所选取的变换是具有最少数量的绝对值大于主阈值的bi中的系数的变换。
图8是时间变换选择处理的一个实施例的流程图。处理由处理逻辑执行,处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。
参照图8,处理开始于处理逻辑测试变换是否为像素自适应的(处理块801)。这种测试可以通过参照列表而得以执行。在一个实施例中,列表可以使得变换为非自适应的。在另一实施例,列表可以在矢量OP内信号通知。如果处理逻辑确定变换不是像素自适应的,则处理逻辑基于默认时间变换选择变换Gi,并且通过将变换Gi应用于矩阵而生成变换系数bi(处理块802)。在一个实施例中,所使用的默认时间变换是Haar变换,即:时间变换的选取可以在矢量OP内信号通知。
如果处理逻辑确定变换是像素自适应的,则对于变换库{G1,G2,...}中的每个变换Gj(处理块804),处理逻辑使用如下公式计算变换系数bj:
(处理块803)。
变换系数bj对应于变换Gj。
接下来,对于每个j,处理逻辑对具有大于主阈值的绝对值的bj中的系数的数量计算计数(处理块805),然后从具有最小计数的变换库选取变换Gk,设置变换Gi等于与最小计数对应的变换(Gk),然后设置系数bi等于变换系数bk(处理块806)。
在时间变换之后的阈值化
在一个实施例中,如图9所示使用硬阈值化。参照图9,硬阈值化是由处理逻辑执行的,处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。硬阈值化开始于使用主阈值和系数bi作为输入,并且处理逻辑对于每个元素bij∈bi根据以下等式计算对应元素cij∈ci:
在一个实施例中,事先选择的bi的某些元素没有被阈值化并且直接被拷贝到ci中它们的相应位置。在特定实施例中,bi的第一列的元素未被阈值化。未被阈值化的元素的集合的选取可以在矢量OP内被信号通知。
在一个实施例中,元素cij∈ci是通过使用等式cij=cij*αj0+αj1而被可选地增强的,其中,参数αj0、αj1在训练集合上被调谐,从而实现重构图像/视频质量的局部优化。注意,这种操作出现在图2中的处理块206之后。在一个实施例,参数可以在矢量OP内被信号通知。
逆变换
在另一实施例中,可以使用作为图像处理的结果而输出的过去帧的集合而不是仅使用紧接着的过去输出帧设NPF表示集合中过去帧的数量。在此情况下,集合中的每个过去帧以相同方式贡献于的一列,如上所述。输出帧以的形式贡献于第二列,输出帧以的形式贡献于第三列,以此类推。在一个实施例中,bi、ci和di的大小是M2×(NPF+1),而Gi的大小是(NPF+1)×(NPF+1)。
组合子帧
在将逆变换应用于阈值系数之后,以加权方式组合所有处理的子帧,以形成帧y。在一个实施例中,对于每个处理的子帧计算权重wi。
在替换实施例中,按以下方式之一计算基于ei和ai的权重:
·wi=1
·wi=f(ei,ai)其中,f()表示函数。
·L-p范数(p≥0)选项1:其中,nmin是常数。
·调谐权重选项1:wi=ft(||ai||0)其中,ft()表示从集合{1,2,...,M2}(||ai||0的可能值的集合)到[0,1]的映射。ft()是使用优化算法(例如模拟退火(simulated annealing))而被调谐的,以得到关于训练视频集合的最佳性能(使用例如PSNR的矩阵或使用主观得分而测量的)。
·在其它实施例中,可以按以下方式之一计算用于基于bi和ci进行加权的权重:
·wi=f(bi,ci)其中,f()表示函数。
·调谐权重选项2:wi=ft(||ci||0)其中,ft()表示从集合{1,2,...,2M2}(||ci||0的可能值的集合)到[0,1]的映射。fi()是使用优化算法(例如模拟退火)而被调谐的,以得到关于训练视频集合的最佳性能(使用例如PSNR的矩阵或使用主观得分而测量的)。
映射ft()和/或计算的权重可以在矢量OP内被信号通知。
1.设置yj=0和nj=0,其中,nj是第j像素的归一化系数。
a.如果像素j是pi的一部分,则
i.k=pi中的像素j的位标。
iii.nj=nj+wi
3.
图10是用于组合所有处理的子帧以形成帧y的处理的一个实施例的流程图。处理由处理逻辑执行,处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。
参照图10,处理开始于,对于帧y中的每个像素m=1∶N将其值ym及其归一化因子nm设置为零(处理块1001)。接下来,处理逻辑将像素位标j和子帧位标i归一化为1(处理块1002)。
在初始化之后,处理逻辑确定是否像素j∈pi(处理块1003)。如果是,则处理过渡到处理块1004。如果否,则处理过渡到处理块1005。
在处理块1004,k等于pi中的像素j的位标。在一个实施例中,处理逻辑基于以下等式更新yj和nj:
nj=nj+wi
在处理逻辑更新yj和nj之后,处理过渡到处理块1005。
在处理块1005,处理逻辑检查是否位标i=N,帧中的像素的总数。如果是,则处理过渡到处理块1007。如果否,则处理过渡到处理块1006。在处理块1006,位标增加1,处理过渡到处理块1003。
在处理块1007之后,处理逻辑根据以下等式更新yj:
在更新yj之后,处理逻辑设置位标i等于1(处理块1008),并且检查位标j是否等于N(处理块1009)。如果是,则处理结束。如果否,则处理过渡到处理块1010,此时,位标j增加1。在将位标j增加1之后,处理过渡到处理块1003。
在一个实施例中,帧y在像素域或变换域经历进一步的图像/视频处理。在一个实施例中,对帧y执行非锐化掩模,以增强高频细节。在另一实施例中,从帧y形成多个大小P×P像素的块,其中,P是整数,并且每个P×P块f经历块变换,例如2-D DCT、2-D Hadamard等,以产生另一P×P块h。P×P块h的元素h(i,j),0≤i,j≤P-1受处理,以形成增强的P×P块从而h(i,j)=h(i,j)*α(i,j)。在替换实施例中,可以按以下方式之一计算增强因子α(i,j):
a.α(i,j)=α0*(i+j)β+α1
b.α(i,j)=α0*iβ*jδ+α1
其中,参数(α0、α1、β和δ)在训练集合上调谐,从而实现重构图像/视频质量的局部优化。在一个实施例,参数可以在矢量OP内被信号通知。注意,上述操作出现在图2的处理块210之后。增强的P×P块被逆变换并且组合,以形成帧y的增强版本。
替换图像处理实施例。
在替换实施例中,图2描述的处理可以修改为得到更低复杂度的算法,下文中称为更低复杂度技术。图12中的流程图示出更低复杂度技术。在该实施例中,帧y是与当前输入帧x对应的更低复杂度技术的输出,如果存在更多的帧待处理,则我们更新当前输入帧x,将y拷贝成并且重复图12所示的处理。
其中,wz、wy是实数,m是整数(处理块1201)。为此,记号(j)表示感兴趣的帧中的像素j的值(按光栅扫描顺序而编号的)。例如,表示帧的第5像素的值。在一个实施例中,wz=0.5并且wy=0.5。在一个实施例,值wz和wy在矢量OP内被信号通知。
在替换实施例中,可以按以下方式之一进行m的选取:
i.m=0
iii.基于以上”ii”选取m,但将搜索集合限制为{j:j=jh+W×jv},其中,W是帧x的宽度,并且jh,jv∈{-J,-(J-1),...,-1,0,1,...,J-1,J}。J是大于或等于零的任何整数。
在一个实施例,m的选取可以在矢量OP内被信号通知。
处理逻辑在与pi的元素对应的位置处形成具有帧x的像素值的、称为子帧的M2×1矢量zj。像素i称为子帧zi的主元(处理块1202)。(也是子帧)所表示的M2×1矢量是在与pi的元素对应的位置处以帧的像素值形成的(处理块1202)。
处理逻辑使用上述相同处理从计算自适应阈值并且将自适应阈值应用于ei的所选元素,以得到ai(处理块1203)。在一个实施例则,选择ei的所有元素。在另一实施例中,选择除了第一元素(通常是DC元素)之外的所有元素。可以通过各种方式(例如上述硬阈值化和软阈值化)来完成阈值化操作。
在将自适应阈值应用于ei的所选元素之后,处理逻辑使用ai、ei、并且使用阈值形成矢量di(处理块1204)。设aij、eij、和dij分别表示矢量ai、ei、和di中的第j元素,其中,j∈{1,2,...,M2}。在替换实施例中,按以下方式之一计算值dij:
iii.dij=eij
在一个实施例中,用于计算dij的选项的选取在矢量OP内信号通知。
对于上述实施例,可选参数矢量OP或其部分可以通过包括但不限于编解码器、相机、超级分辨率处理器等的任何模块而被信号通知。用于构建参数矢量OP的一种简单方式如下:使用矢量中的两个元素来信号通知每个选取。对于第n选取,和OP(2*n)=表示所述选取的值。OP(2*n)需要被设置,并且仅当OP(2*n-1)=1时被使用。
在此描述的技术可以用于以任何色彩表示方式(包括,但不限于RGB、YUV、YCbCr、YCoCg和CMYK)来处理视频序列。各技术可以应用于色彩表示方式中的色彩信道的任何子集(包括空集合或所有信道集合)。在一个实施例中,仅YUV色彩表示方式中的“Y”信道是使用在此描述的技术而被处理的。使用2-D低通滤波器(例如LeGall 5/3小波的LL带滤波器)对U和V信道进行滤波。
在此描述的技术可以用于仅处理视频序列中的预先选定的帧集合。在一个实施例中,其它帧被处理。在另一实施例中,属于视频序列的一个或多个部分的所有帧被处理。为处理所选择的帧的集合可以在OP内被信号通知。
除了将在此描述的各技术应用于压缩/未压缩视频序列之外,各技术还可以应用于经受了例如非线性去噪滤波的后处理的压缩视频序列。此外,各技术可以应用于通过对低分辨率压缩/未压缩视频序列进行超级分辨而获得的视频序列。各技术也可以应用于帧率转换模块已经处理或将要处理的视频序列。
计算机系统的示例
图14是示例性计算机系统的框图,其可以执行在此描述的一个或多个操作。参照图14,计算机系统1400可以包括示例性客户机或服务器计算机系统。计算机系统1400包括用于传递信息的通信机构或总线1411、以及用于处理信息的与总线1411耦合的处理器1412。处理器1412包括微处理器,但不限于微处理器,例如PentiumTM、PowerPCTM、AlphaTM等。
系统1400还包括耦合到总线1411的随机存取存储器(RAM)或其它动态存储设备1404(称为主存储器),用于存储信息以及待由处理器1412执行的指令。主存储器1404还可以用于在处理器1412执行指令期间存储临时变量或其它中间信息。
计算机系统1400还包括:耦合到总线1411的只读存储器(ROM)和/或其它静态存储设备1406,用于存储静态信息和用于处理器1412的指令;以及数据存储设备1407,例如磁盘或光盘及其对应盘驱动器。数据存储设备1407耦合到总线1411,用于存储信息和指令。
计算机系统1400也可以耦合到显示设备1421(例如阴极射线管(CRT)或液晶显示器(LCD)),所述显示设备1421耦合到总线1411,用于将信息显示给计算机用户。字母数字输入设备1422包括字母数字和其它键,它也可以耦合到总线1411,用于将信息和命令选择传递给处理器1412。附加用户输入设备是光标控制器1423(例如鼠标,轨迹球、轨迹板、指示笔或光标方向键),光标控制器1423耦合到总线1411,用于将方向信息和命令选择传递给处理器1412,并且用于控制显示1421上的光标移动。
可以耦合到总线1411的另一设备是硬拷贝设备1424,其可以用于在介质(例如纸张、膜或相似类型的介质)上标记信息。可以耦合到总线1411的另一设备是有线/无线通信能力1425,用于到电话或手持掌上设备的通信。
注意,系统1400的任何或所有组件以及关联硬件可以用在本发明中。然而,可以理解,计算机系统的其它配置可以包括所述设备中的某些或全部。
虽然在已经阅读前面的描述之后本发明的很多改动和修改对于本领域技术人员将毫无疑问地变得清楚,但应理解,通过说明的方式的示出和描述的任何特定实施例绝非意图被看作是限制性的。因此,对于各个实施例的细节的参考并非意图限制权利要求的范围,权利要求本身仅记载了被看作对于本发明必要的那些特征。
Claims (2)
1.一种方法,包括:
接收输入视频;以及
使用空间和时间处理执行操作以减少所述输入视频中的噪声和闪烁中的一个或两者。
2.一种制造的物品,具有一个或多个计算机可读存储介质,其中存储指令,当由系统执行时,所述指令使得所述系统执行包括以下步骤的方法:
接收输入视频;以及
使用空间和时间处理执行操作以减少所述输入视频中的噪声和闪烁中的一个或两者。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US2645308P | 2008-02-05 | 2008-02-05 | |
US61/026,453 | 2008-02-05 | ||
US12/233,468 US8731062B2 (en) | 2008-02-05 | 2008-09-18 | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
US12/233,468 | 2008-09-18 | ||
PCT/US2009/032888 WO2009100032A1 (en) | 2008-02-05 | 2009-02-02 | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101933330A true CN101933330A (zh) | 2010-12-29 |
CN101933330B CN101933330B (zh) | 2013-03-13 |
Family
ID=40931208
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980103959.5A Active CN102378978B (zh) | 2008-02-05 | 2009-02-02 | 变换的快速和存储有效实现的方法 |
CN2009801039523A Active CN101933330B (zh) | 2008-02-05 | 2009-02-02 | 使用空间和时间处理减少视频序列中的噪声和/或闪烁 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980103959.5A Active CN102378978B (zh) | 2008-02-05 | 2009-02-02 | 变换的快速和存储有效实现的方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8731062B2 (zh) |
EP (2) | EP2243298B1 (zh) |
JP (3) | JP5517954B2 (zh) |
KR (2) | KR101291869B1 (zh) |
CN (2) | CN102378978B (zh) |
WO (2) | WO2009100034A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110072033A (zh) * | 2014-03-13 | 2019-07-30 | 英特尔公司 | 使用选择性色彩变换的色彩压缩 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8311088B2 (en) * | 2005-02-07 | 2012-11-13 | Broadcom Corporation | Method and system for image processing in a microprocessor for portable video communication devices |
US8305497B2 (en) * | 2007-07-27 | 2012-11-06 | Lsi Corporation | Joint mosquito and aliasing noise reduction in video signals |
US8731062B2 (en) | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
JP4801186B2 (ja) * | 2009-04-23 | 2011-10-26 | 株式会社エヌ・ティ・ティ・ドコモ | 画像処理装置、画像処理方法および画像処理プログラム |
KR101682147B1 (ko) * | 2010-04-05 | 2016-12-05 | 삼성전자주식회사 | 변환 및 역변환에 기초한 보간 방법 및 장치 |
EP2442567A1 (en) * | 2010-10-14 | 2012-04-18 | Morpho Inc. | Image Processing Device, Image Processing Method and Image Processing Program |
FR2978273B1 (fr) * | 2011-07-22 | 2013-08-09 | Thales Sa | Procede de reduction du bruit dans une sequence d'images fluoroscopiques par filtrage temporel et spatial |
EA017302B1 (ru) * | 2011-10-07 | 2012-11-30 | Закрытое Акционерное Общество "Импульс" | Способ подавления шума серий цифровых рентгенограмм |
US9924200B2 (en) | 2013-01-24 | 2018-03-20 | Microsoft Technology Licensing, Llc | Adaptive noise reduction engine for streaming video |
US9939253B2 (en) * | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
US10102613B2 (en) * | 2014-09-25 | 2018-10-16 | Google Llc | Frequency-domain denoising |
CN106028014B (zh) * | 2016-05-27 | 2017-12-08 | 京东方科技集团股份有限公司 | 一种校正视频闪烁的方法及设备 |
EP3557484B1 (en) * | 2016-12-14 | 2021-11-17 | Shanghai Cambricon Information Technology Co., Ltd | Neural network convolution operation device and method |
TWI748035B (zh) * | 2017-01-20 | 2021-12-01 | 日商半導體能源硏究所股份有限公司 | 顯示系統及電子裝置 |
CN106791283B (zh) * | 2017-01-25 | 2019-11-19 | 京东方科技集团股份有限公司 | 一种校正视频闪烁的方法、装置及视频设备 |
US11134272B2 (en) * | 2017-06-29 | 2021-09-28 | Qualcomm Incorporated | Memory reduction for non-separable transforms |
KR102444054B1 (ko) | 2017-09-14 | 2022-09-19 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 |
EP4274207A4 (en) | 2021-04-13 | 2024-07-10 | Samsung Electronics Co Ltd | ELECTRONIC DEVICE AND ITS CONTROL METHOD |
CN114020211B (zh) * | 2021-10-12 | 2024-03-15 | 深圳市广和通无线股份有限公司 | 存储空间管理方法、装置、设备及存储介质 |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4447886A (en) * | 1981-07-31 | 1984-05-08 | Meeker G William | Triangle and pyramid signal transforms and apparatus |
US4442454A (en) * | 1982-11-15 | 1984-04-10 | Eastman Kodak Company | Image processing method using a block overlap transformation procedure |
JP2637978B2 (ja) * | 1987-04-16 | 1997-08-06 | 日本ビクター株式会社 | 動き適応形画質改善装置 |
JPH01201773A (ja) * | 1988-02-05 | 1989-08-14 | Matsushita Electric Ind Co Ltd | ディジタル信号処理装置 |
JPH0379182A (ja) * | 1989-08-23 | 1991-04-04 | Fujitsu Ltd | 画像符号化制御方式 |
JP3302731B2 (ja) | 1992-06-02 | 2002-07-15 | 大日本印刷株式会社 | 画像拡大方法 |
JP3222273B2 (ja) * | 1993-07-09 | 2001-10-22 | 株式会社日立製作所 | 核磁気共鳴診断装置における動画像の画質改善方法 |
JP3392946B2 (ja) * | 1993-07-15 | 2003-03-31 | ペンタックス株式会社 | 電子スチルカメラ及び画像再生装置 |
US5666163A (en) * | 1994-07-12 | 1997-09-09 | Sony Corporation | Electronic image resolution enhancement by frequency-domain extrapolation |
JPH08294001A (ja) | 1995-04-20 | 1996-11-05 | Seiko Epson Corp | 画像処理方法および画像処理装置 |
JP3378167B2 (ja) | 1997-03-21 | 2003-02-17 | シャープ株式会社 | 画像処理方法 |
US5859788A (en) * | 1997-08-15 | 1999-01-12 | The Aerospace Corporation | Modulated lapped transform method |
US6438275B1 (en) * | 1999-04-21 | 2002-08-20 | Intel Corporation | Method for motion compensated frame rate upsampling based on piecewise affine warping |
AUPQ156299A0 (en) * | 1999-07-12 | 1999-08-05 | Canon Kabushiki Kaisha | Method and apparatus for discrete wavelet transforms and compressed bitstream ordering for block entropy coding of subband image data |
KR100327385B1 (en) | 2000-07-18 | 2002-03-13 | Lg Electronics Inc | Spatio-temporal three-dimensional noise filter |
EP1209624A1 (en) * | 2000-11-27 | 2002-05-29 | Sony International (Europe) GmbH | Method for compressed imaging artefact reduction |
US6898323B2 (en) * | 2001-02-15 | 2005-05-24 | Ricoh Company, Ltd. | Memory usage scheme for performing wavelet processing |
JP3887178B2 (ja) * | 2001-04-09 | 2007-02-28 | 株式会社エヌ・ティ・ティ・ドコモ | 信号符号化方法及び装置並びに復号方法及び装置 |
US7206459B2 (en) * | 2001-07-31 | 2007-04-17 | Ricoh Co., Ltd. | Enhancement of compressed images |
JP2003134352A (ja) * | 2001-10-26 | 2003-05-09 | Konica Corp | 画像処理方法及び装置並びにプログラム |
US7120308B2 (en) * | 2001-11-26 | 2006-10-10 | Seiko Epson Corporation | Iterated de-noising for image recovery |
WO2003090028A2 (en) * | 2002-04-19 | 2003-10-30 | Droplet Technology, Inc. | Wavelet transform system, method and computer program product |
US7940844B2 (en) * | 2002-06-18 | 2011-05-10 | Qualcomm Incorporated | Video encoding and decoding techniques |
JP3902990B2 (ja) * | 2002-07-02 | 2007-04-11 | キヤノン株式会社 | アダマール変換処理方法及びその装置 |
US20050030393A1 (en) * | 2003-05-07 | 2005-02-10 | Tull Damon L. | Method and device for sensor level image distortion abatement |
US7352909B2 (en) * | 2003-06-02 | 2008-04-01 | Seiko Epson Corporation | Weighted overcomplete de-noising |
US20050105817A1 (en) | 2003-11-17 | 2005-05-19 | Guleryuz Onur G. | Inter and intra band prediction of singularity coefficients using estimates based on nonlinear approximants |
KR100564592B1 (ko) | 2003-12-11 | 2006-03-28 | 삼성전자주식회사 | 동영상 데이터 잡음제거방법 |
GB2415876B (en) * | 2004-06-30 | 2007-12-05 | Voxar Ltd | Imaging volume data |
WO2006010276A1 (en) * | 2004-07-30 | 2006-02-02 | Algolith Inc | Apparatus and method for adaptive 3d artifact reducing for encoded image signal |
JP2008512767A (ja) * | 2004-09-09 | 2008-04-24 | シリコン オプティックス インコーポレイテッド | 一般的な2次元空間変換の表現システム及び方法 |
US7554611B2 (en) * | 2005-04-19 | 2009-06-30 | Samsung Electronics Co., Ltd. | Method and apparatus of bidirectional temporal noise reduction |
US8050331B2 (en) | 2005-05-20 | 2011-11-01 | Ntt Docomo, Inc. | Method and apparatus for noise filtering in video coding |
US20060288065A1 (en) * | 2005-06-17 | 2006-12-21 | Docomo Communications Laboratories Usa, Inc. | Method and apparatus for lapped transform coding and decoding |
JP4699117B2 (ja) * | 2005-07-11 | 2011-06-08 | 株式会社エヌ・ティ・ティ・ドコモ | 信号符号化装置、信号復号化装置、信号符号化方法、及び信号復号化方法。 |
JP4743604B2 (ja) * | 2005-07-15 | 2011-08-10 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
US20070074251A1 (en) * | 2005-09-27 | 2007-03-29 | Oguz Seyfullah H | Method and apparatus for using random field models to improve picture and video compression and frame rate up conversion |
US8135234B2 (en) | 2006-01-31 | 2012-03-13 | Thomson Licensing | Method and apparatus for edge-based spatio-temporal filtering |
JP4760552B2 (ja) * | 2006-06-06 | 2011-08-31 | ソニー株式会社 | 動きベクトル復号化方法および復号化装置 |
US20080007649A1 (en) * | 2006-06-23 | 2008-01-10 | Broadcom Corporation, A California Corporation | Adaptive video processing using sub-frame metadata |
US8385424B2 (en) * | 2006-06-26 | 2013-02-26 | Qualcomm Incorporated | Reduction of errors during computation of inverse discrete cosine transform |
CN100454972C (zh) | 2006-12-28 | 2009-01-21 | 上海广电(集团)有限公司中央研究院 | 一种视频图像3d降噪方法 |
US8743963B2 (en) * | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
US20090060368A1 (en) * | 2007-08-27 | 2009-03-05 | David Drezner | Method and System for an Adaptive HVS Filter |
US8731062B2 (en) | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
-
2008
- 2008-09-18 US US12/233,468 patent/US8731062B2/en active Active
- 2008-09-26 US US12/239,195 patent/US8837579B2/en active Active
-
2009
- 2009-02-02 KR KR1020107017838A patent/KR101291869B1/ko active IP Right Grant
- 2009-02-02 WO PCT/US2009/032890 patent/WO2009100034A2/en active Application Filing
- 2009-02-02 KR KR1020107017926A patent/KR101137753B1/ko active IP Right Grant
- 2009-02-02 EP EP09708388.5A patent/EP2243298B1/en active Active
- 2009-02-02 CN CN200980103959.5A patent/CN102378978B/zh active Active
- 2009-02-02 EP EP09708583.1A patent/EP2240869B1/en active Active
- 2009-02-02 JP JP2010545259A patent/JP5517954B2/ja active Active
- 2009-02-02 CN CN2009801039523A patent/CN101933330B/zh active Active
- 2009-02-02 JP JP2010545258A patent/JP5419897B2/ja active Active
- 2009-02-02 WO PCT/US2009/032888 patent/WO2009100032A1/en active Application Filing
-
2014
- 2014-02-03 JP JP2014018738A patent/JP5734475B2/ja active Active
Non-Patent Citations (2)
Title |
---|
GUPTA N ET AL: "《Wavelet domain-based video noise reduction using temporal discrete cosine transform and hierarchically adapted thresholding》", 《IET IMAGE PROCESSING》 * |
NAM IK CHO ET AL: "《Warped Discrete Cosine Transform and Its Application in Image Compression》", 《IEEE TRANS. ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110072033A (zh) * | 2014-03-13 | 2019-07-30 | 英特尔公司 | 使用选择性色彩变换的色彩压缩 |
CN110072033B (zh) * | 2014-03-13 | 2021-10-12 | 英特尔公司 | 使用选择性色彩变换的色彩压缩 |
Also Published As
Publication number | Publication date |
---|---|
JP5517954B2 (ja) | 2014-06-11 |
EP2243298B1 (en) | 2021-10-06 |
EP2240869B1 (en) | 2019-08-07 |
KR20100114068A (ko) | 2010-10-22 |
WO2009100034A3 (en) | 2012-11-01 |
KR101291869B1 (ko) | 2013-07-31 |
CN101933330B (zh) | 2013-03-13 |
KR101137753B1 (ko) | 2012-04-24 |
JP5419897B2 (ja) | 2014-02-19 |
JP2014112414A (ja) | 2014-06-19 |
JP5734475B2 (ja) | 2015-06-17 |
WO2009100034A2 (en) | 2009-08-13 |
EP2243298A1 (en) | 2010-10-27 |
US8837579B2 (en) | 2014-09-16 |
CN102378978B (zh) | 2015-10-21 |
JP2011527033A (ja) | 2011-10-20 |
CN102378978A (zh) | 2012-03-14 |
KR20100112162A (ko) | 2010-10-18 |
WO2009100032A1 (en) | 2009-08-13 |
JP2011512086A (ja) | 2011-04-14 |
US20090195697A1 (en) | 2009-08-06 |
US8731062B2 (en) | 2014-05-20 |
EP2240869A2 (en) | 2010-10-20 |
US20090195535A1 (en) | 2009-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101933330B (zh) | 使用空间和时间处理减少视频序列中的噪声和/或闪烁 | |
US8594464B2 (en) | Adaptive super resolution for video enhancement | |
Gao et al. | Biologically inspired image quality assessment | |
US10198801B2 (en) | Image enhancement using self-examples and external examples | |
CN102047287B (zh) | 利用稀疏变换的图像/视频质量增强和超分辨率 | |
US20110142330A1 (en) | Image processing apparatus and method | |
US20110038548A1 (en) | Method and system for determining a quality measure for an image using multi-level decomposition of images | |
WO2018058090A1 (en) | Method for no-reference image quality assessment | |
US9189838B2 (en) | Method and apparatus for image processing | |
WO2014070273A1 (en) | Recursive conditional means image denoising | |
Hsu et al. | A high-capacity QRD-based blind color image watermarking algorithm incorporated with AI technologies | |
CN111226256A (zh) | 用于图像动态范围调整的系统和方法 | |
Zhu et al. | Generative high-capacity image hiding based on residual CNN in wavelet domain | |
US7061539B2 (en) | Information signal processing device, information signal processing method, image signal processing device, image display comprising the same, and information providing medium | |
CN112132757A (zh) | 一种基于神经网络的通用图像复原方法 | |
US20210209735A1 (en) | Machine learning-based denoising of an image | |
Ramsook et al. | A differentiable VMAF proxy as a loss function for video noise reduction | |
CN111383172B (zh) | 神经网络模型的训练方法、装置及智能终端 | |
CN117611954B (zh) | 一种红外视频图像有效性评价方法、设备及存储设备 | |
EP4231643A1 (en) | Method for image compression and apparatus for implementing the same | |
CN108416756B (zh) | 一种基于机器学习的区域感知图像去噪方法 | |
Fan et al. | A hybrid parallel projection approach to object-based image restoration | |
CN115908096A (zh) | 一种抗隐写分析彩色图像隐写方法、装置及电子设备 | |
CN117408911A (zh) | 一种无监督遥感红外焦平面成像非均匀校正方法 | |
Li et al. | Color image restoration based on framelet regularization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |