CN102067605B - 用集成的时间滤波器降噪的视频编码器 - Google Patents

用集成的时间滤波器降噪的视频编码器 Download PDF

Info

Publication number
CN102067605B
CN102067605B CN200980123913.XA CN200980123913A CN102067605B CN 102067605 B CN102067605 B CN 102067605B CN 200980123913 A CN200980123913 A CN 200980123913A CN 102067605 B CN102067605 B CN 102067605B
Authority
CN
China
Prior art keywords
frame
frame data
module
motion compensation
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980123913.XA
Other languages
English (en)
Other versions
CN102067605A (zh
Inventor
Y·多尔金
E·D·平哈索
V·平托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Zoran Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoran Corp filed Critical Zoran Corp
Publication of CN102067605A publication Critical patent/CN102067605A/zh
Application granted granted Critical
Publication of CN102067605B publication Critical patent/CN102067605B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

一种有传送编码帧序列的输出的带集成的时间滤波器的视频编码器，其中包括：接收输入帧数据的输入端；接收从该输入端输入的帧数据并产生滤波帧数据的时间滤波器；接收起源于编码帧序列的重建帧和来自时间滤波器的滤波帧数据并产生残留误差信号输出的移动处理模块；以及接收输入帧数据和残留误差信号并产生编码帧序列的编码器模块。视频的编码方法包括：接收要实质上同时编码进入移动预估程序和时间滤波器的当前帧；接收先前编码的参考帧；依据先前编码的参考帧产生重建的移动补偿参考帧；以及依据移动补偿参考帧和当前帧确定在移动补偿参考帧和当前帧之间是否该掺混和该完成多少掺混。

Description

用集成的时间滤波器降噪的视频编码器
发明领域
本发明一般地涉及给视频数据编码的领域，更具体地说涉及在给视频数据编码的系统和方法中使用集成的时间滤波器。
现有技术
传统的以紧凑的数字格式给视频数据编码的系统和方法是作为当软件在专用处理器上运行的时候或当在软件通用处理器上运行的时候完成各种不同类型的信号处理的特殊用途集成电路和/或集成电路系统实现的。
数字视频信号是为了描述帧序列中每个象素的色调、色饱和度和亮度最后被解码的数字数值(按照惯例二进制数字(即，位)的序列被组织成字节、字、象素、帧，等等)在数字电路里面的电流和电压的表示法。现代的数字视频信号已经被设计成表现分辨率非常高的移动帧序列。因为这样的分辨率非常高的帧序列将需要非常高的带宽(即，信息承载量)把所表现的大量信息从来源传送到显示装置，所以现代的系统为了传输对信号进行编码或压缩。
数字压缩和移动补偿技术能大幅度地减少所需要的视频信道带宽。传统的视频编解码器除了其它功能之外在完成移动补偿之后通过将被传送的最后一帧与当前帧进行比较给帧序列编码并获取差异。
传统的时间滤波器配置和传统的视频编解码器分别展示在图6和图7的方框图中。
简要地说，如图6的方框图所示，传统的时间滤波器配置接受输入帧数据101进入移动预估和移动补偿模块603。输入帧数据101也被时间滤波器605接收并且被储存在旧帧的存储器606中。旧帧的存储器606可能保存时间滤波之前(即，输入帧数据101)或时间滤波之后(替代数据路径607)的帧，举例来说，使用无限脉冲响应(IIR)时间滤波器，但是在任一情况下这些帧都比要对它进行操作的当前帧陈旧。旧帧是在移动预估和移动补偿模块603的操作期间从存储器606取回的，因为旧帧形成预估和补偿的基础。
在图7的方框图所示的传统的成熟的视频编解码器中，输入帧数据101被收进移动预估和移动补偿模块703，同时也被收进入残差计算模块707。残差计算模块707计算移动补偿旧帧和现行当前帧之差，被称为残留误差。然后，用变换/量化/熵编码模块709给残留误差编码。关于旧帧的编码残留误差被重建模块711反馈和解码。重建帧被储存在存储器713，供移动预估和移动补偿模块703存取。从存储器713取回的重建帧被用于模块703所做的移动预估和补偿。
发明内容
有输出传送编码帧序列的带集成时间滤波器的视频编码器包括：接收输入帧数据的输入端；接收从输入端输入的帧数据并且产生滤波帧数据的时间滤波器；接收起源于编码帧序列和滤波帧数据的重建帧并产生残留误差信号输出的移动处理模块；以及接收输入帧数据和残留误差信号并产生编码帧序列的编码器模块。在一种变化中，移动处理模块进一步包括：接收重建帧和输入帧数据并且产生预估移动矢量的移动预估模块；以及接收预估的移动矢量并且产生移动补偿帧数据的移动补偿模块；其中时间滤波器进一步接收用来滤波的移动补偿帧数据。在另一种变化中，该编码器进一步包括：接收编码帧序列并且把重建帧提供给移动预估模块的帧重建模块。在另外一种变化中，该编码器进一步包括：时间滤波器用以决定究竟接收提供给移动预估模块的重建帧还是接收交替重建帧的开关。
给视频编码的方法包括：接收实质上同时进入移动预估模块和时间滤波器要编码的当前帧；对当前帧进行时间滤波；接收先前编码帧；依据先前编码帧产生重建帧；以及依据重建帧和当前帧确定在重建帧和当前帧之间是否该掺混和该完成多少掺混。在一种变化中，该方法包括：通过使用重建帧掺混进行时间滤波。在另一种变化中，该方法包括：依据提供给移动预估模块的重建帧或没有移动补偿的交替重建帧有选择地对当前帧进行时间滤波。
依照实施方案的其它方面，视频编码器包括：为接收来自移动预估单元的预估移动矢量而构造和安排的移动补偿单元；与所述的移动补偿单元耦合的残差计算单元；以及与所述的移动补偿单元耦合并且能够接收当前视频帧的时间滤波器单元，该时间滤波器单元能够确定对移动补偿参考帧和所述的当前视频帧之间的掺混的需求和所述掺混的强度水平。在一种变化中，掺混完成到象素水平。
对视频帧进行视频编码的另一种方法包括：接收待编码的当前视频帧；接收先前编码的参考帧；依据所述的先前编码的参考帧通过使用移动预估和补偿产生移动补偿参考帧；以及基于所述的移动补偿参考帧和所述的当前视频帧确定掺混是否是必需的而且如果是必需的则确定所述的掺混强度。依照变化，掺混完成到象素水平。
附图说明
附图不打算按比例绘制。在这些附图中，在各种不同的附图中举例说明的每个同一的或几乎同一的组成部分是用相似的数字表示的。为了清楚，可能并非每个组成部分都被标示在每张附图中。在展示数据和程序流的方框图中，虚线指出数据流，而实线指出数据和程序两种流动。在附图中：
图1是某实施方案的诸方面的方框图；
图2是图1的实施方案的诸方面的比较详细的方框图；
图3是另一个实施方案的诸方面的方框图；
图4是另外一个实施方案的诸方面的方框图；
图5是某实施方案的另外一些方面的流程图；
图6是传统的视频编码器的方框图；而
图7是传统的视频编解码器的方框图。
具体实施方式
这项发明在其应用方面不局限于在下面的描述中陈述的和在附图中举例说明的组成部分的构造和安排的细节。本发明能够有其它的实施方案而且能够以各种不同的方式实践和实施。
本发明的诸方面的实施方案能围绕着与位流一样给叫做数字视频位流的帧流编码的数字信号处理反馈回路构成。编码包括为了预测当前帧的内容使用先前编码的帧(被称为参考帧)完成移动预估和移动补偿，其中参考帧可能已经为了完成这项预测已被重建。预测结果和真实的当前帧之间的差异是作为编码信息压缩和传送的。在这样的系统中，接收当前帧并且把它与已经应用移动预估和补偿的参考帧进行比较，以确定是否已经发生和已经发生多少不同于预估和补偿的移动，即，残留差异。然后，完成该残留差异的编码和量化用于输出。在反馈路径中，该当前帧也被解码和重建以便形成用于下一个当前帧的参考帧。为了消除用空间滤波没有消除的噪声(如果有)，将使用时间滤波。
依照实施方案的诸方面，时间滤波能在所描述系统的若干不同的级之一完成。为完成时间滤波选定的级的业已发现有利的特征(但并非所有的需要都被包括在任何一个选定的级之中)包括使用同一读取接收当前帧作为移动预估和/或补偿模块以及要么对该当前帧完成时间滤波运算并把结果提供给残差计算单元进行最后的残差计算要么把关于所需掺混的决定提供给残差计算单元，由后者同时完成掺混/插值和残差计算。
所述结构是由配置成形成对它们的输入完成特定的功能产生输出的模块的专用或通用硬件和/或软件构成的。现在将要讨论的这样的个别模块的落实对于熟练的技术人员是众所周知的。类似的模块是也能构成传统的编码器的硬件和/或软件元素。
移动预估器
移动预估器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的数字信号处理器(DSP)上运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。移动预估器把当前帧与一个或多个先前帧进行比较以便预估在先前帧和当前帧之间是否有、哪里有和/或有多少移动可能已经发生。移动是作为矢量表示的，从而指出象素块或个别象素从一帧到另一帧的位移的方向和幅度。
移动补偿器
移动补偿器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。移动补偿器把移动矢量应用于参考帧产生有移动补偿的预测帧。预测帧可能不同于当前帧，那个差异被称为残留误差。
残差计算器
残差计算器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。残差计算器逐个象素确定当前帧和预测帧之间的差异，然后将该差异编码成数字视频位流。用时间滤波器指导的掺混也能用残差计算器完成。
时间滤波器
时间滤波器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。时间滤波器通过确定掺混、插值、和/或其它补偿技术应该被用到什么程度来除去时间噪声。与变更象素或子象素数值在一帧的某行或某区域内的空间变化速率空间滤波相比较，时间滤波比较和变更一个或多个象素或子象素在一段时间内的变化速率。
掺混(所描述的可仿效的技术)是接收两个以上输入数值、应用一个或多个掺混参数并且在输出产生标量数值的计算，该标量值可能，举例来说，是输入数值之间的界限。在收到两个以上输入数值的实施方案中，它们能表示两帧或多帧的同一部分，例如，两帧或多帧中对应象素的亮度数值。作为替代，它们能表示在较大区域里的数值，例如，在两帧中对应的3×3的象素区域里的亮度数值，从而把时间和空间滤波效应结合起来。这个程序(为了简单，用双输入的情况来举例说明)可以用方程：O＝f(A、B、bp1、bp2、…、bpn)来表示：
其中：A，B是输入数值；
Bp1、bp2、…、bpn是掺混参数(可能有任意个，n个)；
O是在下列范围的输出结果：如果A＜B，则A＜O＜B，如果A＞B，则B＜O＜A。
依照已经尝试过的一个模型，掺混函数可以表示成：
O＝bp1×A+(1-bp1)×B。
量化器
量化器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。量化器采取先前计算的结果(该结果可能有更重要的数值或可能包括比例因子或相似的东西)，而后把该结果减少到有限的量子数之一，即，能被编码的特定数值。
逆量化器
逆量化器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。逆量化器获取量子序列，而且基于状态信息、其它的先验信息、插值法或其它技术把数值扩充回可能有更重要的数值或可能包括比例因子或类似的东西的数值序列。
变换/逆变换
包括变换/逆变换运算的各种不同的矩阵运算可能是需要的而且可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。
编码器
编码器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。编码器可能为了减少在数值序列中包含的冗余，借此把该序列压缩成数目较少的数值；为了增加在数值序列中包含的冗余，借此逐渐增加对可能在该序列的传输期间引进的该序列的错误的抵抗力；或只是为了将信息的一种表示法翻译成该信息的另一种表示法对输入数值序列完成各种不同的变换。用于视频处理的一些编码器包括熵编码器、变换编码器(例如，离散余弦变换(DCT)编码器)和移动预估和补偿编码器。在这份讨论中，编码器的特定功能将在一定条件下被识别，而且单词“编码器”或“译码器”当单独提及功能清楚的时候可能不被使用。
现在参照图1描述某实施方案的诸方面。图1所示的组成部分前面已经逐个描述过了。这些块中每个块的替代构造是熟悉这项技术的人已知的。
帧是被系统100捕获并且作为输入帧数据101被提供给完成移动预估和移动补偿的移动处理模块103的。输入帧数据101也被提供给时间滤波器模块105和残差计算器模块107。在先前帧和当前正在处理的输入帧数据101之间发生的移动是预估的，而是补偿是加给先前帧的每个象素的，从而产生补偿帧，该补偿帧连同输入帧数据101和经时间滤波105的帧数据和/或元数据(例如，掺混系数)一起被提供给残差计算器模块107。然后，残差计算器模块107在帧数据的各种不同版本之间进行掺混或插值，产生能用编码模块109编码的残差数值。为了完成与将来帧进行比较，在给后续帧编码期间，编码帧用帧重建模块111重建，产生重建帧113。重建帧113起源于经时间滤波的而且在被重建之前完成编码程序的整个平衡的输入数据。这些重建帧113是移动处理模块103用来与输入帧数据101进行比较的先前帧。
依照一些实施方案，经过时间滤波105的帧数据可能是虚拟的，即，时间滤波器模块105提供滤波系数作为它的输出，而真实的滤波运算是在飞行时连同残差计算一起在残差计算器模块107中完成的。依照其它的实施方案，时间滤波器模块105把适当的滤波系数应用于输入帧数据101直接产生滤波帧数据。
图1的各种不同的模块可能是作为集成的专用硬件模块或作为集成的软件模块实现的，或者可能为了易于落实在功能上被进一步分解。举例来说，移动处理模块103可能被分解成分开的移动预估模块和移动补偿模块。举例来说，见图2，分别为210和220。
现在参照图2描述把图1的几个模块作为实现低级功能性的独立模块举例说明的实施方案的诸方面。图2所示的组成部分已经在上面个别地描述过。这些块中每个块的替代构造是熟悉这项技术的人已知的。
帧被系统200捕获并且被作为输入帧数据101提供给移动预估模块210，后者的输出与移动补偿模块220耦合，该移动补偿模块也能非必选地直接接收输入帧数据101。移动预估是相对于先前帧按编码次序完成的。移动补偿模块220完成插值，如果有必要，在残差计算模块230中借助残差计算完成减法。依照本发明，时间滤波器模块225与移动补偿模块220耦合，而且进一步接收输入帧数据101和把输出提供给残差计算模块230。时间滤波器模块225能够对一定数目的象素(直到对每个象素)检查在移动补偿基准和当前帧之间是否加和以那种强度加掺混。掺混可能依照需要被应用于帧的某个部份或整个帧。与现有技术的解决办法相反，残差计算模块130现在使用来自时间滤波器模块225的输出和来自移动补偿模块220的基准完成掺混，而且可能进一步使用输入帧数据101完成同一件事。所以，在一个实施方案中，掺混是由时间滤波器模块225完成的。然后，系统200让规则的压缩流继续通过变换模块240(例如，离散余弦变换(DCT))、量化模块250、逆量化模块280和逆变换模块245(例如，逆DCT(IDCT))。与熵编码模块270耦合完成对残差系数重新排序的重新排序模块260与量子化模块250的输出连接。帧重建模块111接收逆变换的输出和移动补偿帧，而且可能把重建帧在存储器114中存档。存储器114进一步与移动预估模块210和移动补偿模块220耦合。当系统200作为集成电路被实现的时候，存储器114可能是外部的或内部的存储器。
依照实施方案的替代方面的系统300是用图3举例说明的。列举的替代选择允许不同的帧或其某些部分在一个或多个移动预估和移动比较模块中充当参考帧。
帧被系统300捕获并且被作为输入帧数据101提供给移动处理模块103。输入帧数据101也被提供给时间滤波器模块305和残差计算器模块107。发生在先前的输入帧和当前正在处理的输入帧数据101之间的移动是预估的，而补偿被应用于参考帧的每个象素，从而产生补偿帧，该补偿帧连同输入帧数据101和经过时间滤波305的帧数据一起被提供给残差计算器模块107。然后，残差计算器模块107在帧数据的各种不同的版本之间进行掺混或插值，产生能用编码模块109编码的残差数值。为了完成与将来帧比较，将编码帧用帧重建模块111重建，产生重建帧113。重建帧113起源于经过时间滤波并且在重建之前完成编码程序的整个平衡的输入数据。这些重建帧113是移动处理模块103用来与输入帧数据101进行比较的先前帧。开关306是在硬件中或通过选择使用软件读的储存器位置提供的，所以提供给时间滤波器的重建帧113可能与提供给移动处理模块103的那些相同，或者可能是与目前提供给移动处理模块103的那些不同的重建帧或其储存在存储器114中的某些部分，例如，没有移动补偿的重建帧。
依照某实施方案的另一些方面的系统400展示在图4中。在这个实施方案中，时间滤波器接收移动预估信息，而不是移动补偿信息。
帧被系统400捕获并且被当做输入帧数据101提供给移动预估模块402，后者的输出与移动补偿模块403耦合，该移动补偿模块也能非必选地直接接收输入帧数据101。移动预估是相对于先前帧按编码次序完成的。移动补偿模块403完成插值，如果有必要，在残差计算器模块107中借助残差计算完成减法。依照本发明，时间滤波器模块405与移动预估模块402耦合，而且进一步接收输入帧数据101和把输出提供给残差计算器模块107。时间滤波器模块405能够对每个象素检查在基准和当前帧之间是否加和加哪种强度的掺混。掺混可能依照需要被应用于帧的某部份或整个帧。与现有技术的解决办法相反，残差计算器模块107，现在使用来自时间滤波器模块405的输出和来自移动补偿模块403的基准完成掺混，而且可能进一步使用输入帧数据101来完成同一件事。所以，在一个实施方案中，掺混是时间滤波器模块405完成的。然后，系统400让规则的压缩流继续通过编码模块109。帧重建模块111接收编码模块109的输出和移动补偿帧而且可能把重建帧在存储器114中存档。存储器114进一步与移动预估模块402和移动补偿模块403耦合。当系统400作为集成电路实现的时候，存储器114可能是外部的或内部的存储器。
如同就图5的流程图500进一步描述的那样，本发明现在使带时间滤波的视频编码的完成成为可能。在S510，接收要编码的帧。在S520，接收一个或多个先前编码的参考帧。人们应该注意到，接收这样的帧可能是从存储器114得到的。在S530，使用移动预估从参考帧产生移动补偿参考帧。在S540，确定掺混是否是必需的，如果是必需的，则以S250继续运行；否则，以S570继续运行。在S550，确定必需的掺混强度。在所揭示的本发明的一个实施方案中，而且没有限制其一般原则的意图，掺混完成到象素水平。在S560，完成帧之间的掺混。在S570，检查是否有附加的帧需要处理，如果有，以S510继续运行；否则，运行结束。
依照关于所描述的各种不同的实施方案的变化，依据先前编码的参考帧产生移动补偿参考帧能在移动预估器模块和移动补偿器模块中同时进行，而且在提供时间滤波器模块的时间滤波器模块中接收不同于移动预估器模块和移动补偿器模块的参考帧。
使用实施方案的诸方面的原则，能节约可观的带宽。传统的系统对时间滤波器的带宽要求是：输入MB(384字节)+参考MB(384字节)+输出MB(384字节)＝1.125KB/MB。加之，依照对视频编码器的要求，带宽为：输入MB(384字节)+参考MB(384字节)+输出码/MB(～10字节)＝0.76KB/MB。因此，传统系统所需要的总带宽是每MB大约1.885KB。反之，上述的实施方案的诸方面有对组合的时间滤波器和编码器的带宽要求：输入MB(384字节)+参考MB(384字节)+输出码/MB(～1O字节)＝0.76KB/MB。使用上述的实施方案的诸方面节约带宽大约60％，因为实施方案的诸方面是只使用传统系统的大约40％的带宽获得类似的结果。
上述的较低的带宽需求也能对要求编码设备有较低的耗电量作出贡献。较低的带宽导致这样的设备的个别开关元素(例如，个别的晶体管)以更有效的操作区域操作更多的时间，因为与为了支持高带宽它们以非常高的频率操作的时候相比它们以较低的频率操作。
实施方案的其它方面的优点是能支持比特率较低的高质量视频。时间滤波器甚至能被比特率控制用来降低比特率而没有任何可观的质量牺牲。
实施方案的另一些其它方面的优点是由于比较少的噪声和在帧之间的较平滑的过渡感觉得到视频质量较高。
实施方案的另一些其它方面的另一个优点是减少编码流中所需位元数目并因此减少所需带宽的潜力较大，因为时间滤波减少为了表现预测的当前帧和真实的当前帧之间的差异需要编码的残差数据的数量，因此减少对压缩的需求。
至此已经描述了这项发明的至少一个实施方案的一些方面，人们将领会到各种不同的变化、修改和改进对于熟悉这项技术的人将很容易发生。这样的变化、修改和改进倾向于作为这份揭示的一部份，而且倾向于在本发明的精神和范围之内。因此，前面的描述和附图仅仅是作为范例。

Claims (2)

1.一种带集成的时间滤波器的视频编码器，其中包括：
接收输入帧数据的输入端；
提供编码帧数据的序列的输出端；
接收所述编码帧数据的序列并且提供重建帧数据的帧重建模块；
接收来自输入端的输入帧数据和所述重建帧数据并产生滤波帧数据的时间滤波器；
移动处理模块，其具有接收所述重建帧数据和所述输入帧数据的输入端，并提供移动补偿帧数据；
残留计算模块，其用于接收所述移动补偿帧数据和滤波帧数据，并产生残留误差信号输出；以及
编码器模块，其接收所述残留误差信号并产生所述编码帧数据的序列。
2.根据权利要求1的视频编码器，进一步包括：
开关，通过该开关，时间滤波器接收提供给移动处理模块的重建帧数据或者替换的重建帧数据。
CN200980123913.XA 2008-08-01 2009-07-29 用集成的时间滤波器降噪的视频编码器 Expired - Fee Related CN102067605B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US8551808P 2008-08-01 2008-08-01
US61/085,518 2008-08-01
PCT/US2009/052166 WO2010014760A1 (en) 2008-08-01 2009-07-29 Video encoder with an integrated temporal filter for denoising

Publications (2)

Publication Number Publication Date
CN102067605A CN102067605A (zh) 2011-05-18
CN102067605B true CN102067605B (zh) 2014-05-07

Family

ID=41151874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980123913.XA Expired - Fee Related CN102067605B (zh) 2008-08-01 2009-07-29 用集成的时间滤波器降噪的视频编码器

Country Status (5)

Country Link
US (1) US9414091B2 (zh)
JP (1) JP2011530222A (zh)
KR (1) KR101563554B1 (zh)
CN (1) CN102067605B (zh)
WO (1) WO2010014760A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
KR101306242B1 (ko) 2012-03-26 2013-09-09 엠텍비젼 주식회사 영상의 시간적 잡음 제거 방법 및 장치
TW201406166A (zh) 2012-07-27 2014-02-01 Novatek Microelectronics Corp 視訊編碼方法與視訊編碼裝置
US10080017B2 (en) * 2012-12-26 2018-09-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Reduction of I-pulsing artifacts
US10057590B2 (en) * 2014-01-13 2018-08-21 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
US20150381979A1 (en) * 2014-06-25 2015-12-31 Arris Enterprises, Inc. Method for using a decoder or look-ahead encoder to control an adaptive pre-filter
US10477235B2 (en) 2017-07-11 2019-11-12 Novatek Microelectronics Corp. Video encoding apparatus and video encoding method that perform filtering operation during video encoding process
US10951885B2 (en) 2018-08-30 2021-03-16 Google Llc Adaptive temporal filtering for alternate frame reference rendering
US11343495B2 (en) * 2020-06-03 2022-05-24 Tencent America LLC Methods of simplification of temporal filtering

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669326A (zh) * 2002-07-15 2005-09-14 皇家飞利浦电子股份有限公司 使用根据单个和多个参考帧的运动补偿滤波的基于小波的编码
CN1717937A (zh) * 2002-11-27 2006-01-04 皇家飞利浦电子股份有限公司 视频编码方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5539663A (en) * 1993-11-24 1996-07-23 Intel Corporation Process, apparatus and system for encoding and decoding video signals using temporal filtering
JP3392307B2 (ja) 1995-11-02 2003-03-31 松下電器産業株式会社 画像信号平滑化装置および画像信号平滑化方法
ES2180919T3 (es) * 1996-02-19 2003-02-16 Koninkl Philips Electronics Nv Metodo y disposicion para codificar una señal de video.
JP2924866B2 (ja) * 1997-07-09 1999-07-26 日本ビクター株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、並びに動画像復号方法
KR20010041900A (ko) * 1999-01-15 2001-05-25 요트.게.아. 롤페즈 화상 시퀀스를 코딩하고 노이즈 필터링하는 방법 및 장치
US6625310B2 (en) 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US6816552B2 (en) 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
KR100782829B1 (ko) * 2003-06-10 2007-12-06 렌슬러 폴리테크닉 인스티튜트 움직임 보상 시간 필터링에서 ｉ-블록들을 처리하는 방법
KR100631768B1 (ko) * 2004-04-14 2006-10-09 삼성전자주식회사 비디오 코딩에서 프레임간 예측방법 및 비디오 인코더와,비디오 디코딩방법 및 비디오 디코더
US7512182B2 (en) * 2004-08-30 2009-03-31 General Instrument Corporation Method and apparatus for performing motion compensated temporal filtering in video encoding
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
US7751484B2 (en) * 2005-04-27 2010-07-06 Lsi Corporation Method for composite video artifacts reduction
KR100772405B1 (ko) 2005-09-27 2007-11-01 삼성전자주식회사 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
US7702131B2 (en) 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
JP2008011117A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法
US20080063064A1 (en) * 2006-09-13 2008-03-13 Macinnis Alexander Method and System for Motion Compensated Temporal Filtering Using IIR Filtering
KR100950182B1 (ko) 2007-11-14 2010-03-29 (주)씨디네트웍스 서버의 로드 밸런싱 방법 및 그 장치
CL2008003507A1 (es) 2007-11-26 2009-11-27 Neuroderm Ltd Composicion farmaceutica que comprende nicotina y un inhibidor de la desensibilizacion del receptor de acetilcolina nicotinico (nachr) opipramol; kit farmaceutico; dispositivo medico; y uso para tratar una enfermedad o trastorno del sistema nervioso central o periferico.
US8406491B2 (en) 2008-05-08 2013-03-26 Ut-Battelle, Llc Image registration method for medical image sequences
JP5317604B2 (ja) 2008-09-22 2013-10-16 Ｊｘ日鉱日石エネルギー株式会社 軽油組成物

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669326A (zh) * 2002-07-15 2005-09-14 皇家飞利浦电子股份有限公司 使用根据单个和多个参考帧的运动补偿滤波的基于小波的编码
CN1717937A (zh) * 2002-11-27 2006-01-04 皇家飞利浦电子股份有限公司 视频编码方法

Also Published As

Publication number Publication date
KR101563554B1 (ko) 2015-10-27
US9414091B2 (en) 2016-08-09
KR20110037957A (ko) 2011-04-13
US20100027665A1 (en) 2010-02-04
JP2011530222A (ja) 2011-12-15
CN102067605A (zh) 2011-05-18
WO2010014760A1 (en) 2010-02-04

Similar Documents

Publication Publication Date Title
CN102067605B (zh) 用集成的时间滤波器降噪的视频编码器
CN102150428B (zh) 用于使用自适应分段的视频编码的系统和方法
CN104885471B (zh) 用于下一代视频的编码/未编码的数据的内容自适应熵编码
CN103428497B (zh) 用于增强层视频编码的适应性量化
TWI324887B (en) Method an apparatus for weighted prediction for scalable video coding
CN102144391B (zh) 用于层间残余视频编码和解码的跳过模式
CN103782598A (zh) 用于无损编码的快速编码方法
CN103650496A (zh) 用于在hevc中编码的基于像素的帧内预测
CN104041035A (zh) 用于复合视频的无损编码及相关信号表示方法
JP2019522448A (ja) 画像を圧縮する方法および装置技術分野
CN101601299A (zh) 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JP2012526426A (ja) スケーラブルビデオ符号化方法、符号器及びコンピュータプログラム
CN103220510A (zh) 在hevc中的采样自适应偏移中的灵活带偏移模式
CN105814890A (zh) 视频编解码器中的句法元素编码所用的方法和设备
KR101037421B1 (ko) 화상 데이터 압축 장치, 압축 방법 및 프로그램을 기록한 기록 매체 및 화상 데이터 복원 장치, 복원 방법 및 프로그램을 기록한 기록 매체
CN114467306A (zh) 图像预测方法、编码器、解码器以及存储介质
CN101682787A (zh) 空间增强的变换编码
US20170150166A1 (en) System and method for efficient multi-bitrate and multi-spatial resolution media encoding
CN107454397A (zh) 对预测值执行色彩空间转换的图像编码/解码方法及装置
CN102026002B (zh) 帧率下采样转码方法和装置以及矢量重建方法和装置
US20060133491A1 (en) Video codec
CN107205151B (zh) 基于混合失真度量准则的编解码装置及方法
CN103581690A (zh) 视频译码方法、视频译码器、视频编码方法和视频编码器
CN102833542B (zh) 一种提高可伸缩视频编码质量增强层编码速度装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: GAOTONG TECHNOLOGY INC.

Free format text: FORMER OWNER: ZORAN CORP.

Effective date: 20140930

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140930

Address after: American California

Patentee after: QUALCOMM TECHNOLOGIES, INC.

Address before: American California

Patentee before: Zoran Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171121

Address after: American California

Patentee after: Qualcomm Inc.

Address before: American California

Patentee before: QUALCOMM TECHNOLOGIES, INC.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140507

Termination date: 20180729

CF01 Termination of patent right due to non-payment of annual fee