CN102084655B - 通过过滤器选择进行的视频编码 - Google Patents

通过过滤器选择进行的视频编码 Download PDF

Info

Publication number
CN102084655B
CN102084655B CN200980126311.XA CN200980126311A CN102084655B CN 102084655 B CN102084655 B CN 102084655B CN 200980126311 A CN200980126311 A CN 200980126311A CN 102084655 B CN102084655 B CN 102084655B
Authority
CN
China
Prior art keywords
filter
frame
substituting
acquiescence
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980126311.XA
Other languages
English (en)
Other versions
CN102084655A (zh
Inventor
乔瓦尼·莫塔
马尔塔·卡切维奇
叶琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102084655A publication Critical patent/CN102084655A/zh
Application granted granted Critical
Publication of CN102084655B publication Critical patent/CN102084655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述一种用于在编码器中的多个可用过滤器之间进行选择以提供具有低错误和失真率的帧的方法和装置。对于每一全像素位置和子像素位置，通过估计使用每一过滤器的速率失真增益而确定在内插期间是使用替代性过滤器还是默认过滤器且用信号向解码器通知对每一全像素位置和子像素位置应用的最佳过滤器。在一个实施例中，识别参考帧和当前帧，使用默认过滤器内插所述参考帧以产生默认经内插帧，使用替代性过滤器内插所述参考帧以产生替代性经内插帧，针对每一子像素位置基于最小成本而确定是使用所述默认过滤器还是所述替代性过滤器来产生最终参考帧。

Description

通过过滤器选择进行的视频编码
相关申请案
本申请案主张2008年7月7日申请的美国临时申请案61/078,642的优先权，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本申请案涉及视频编码，更具体来说，涉及用于在视频压缩系统中内插参考帧的技术。
背景技术
可将数字视频能力并入广泛的装置中，包括数字电视、数字直播系统、无线通信装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、数码相机、数字记录装置、蜂窝式或卫星无线电电话等。这些和其它数字视频装置可在产生、修改、发射、存储、记录和播放全运动视频序列方面提供优于常规模拟视频系统的显著改进。
已建立若干不同视频编码标准以用于传送数字视频序列。运动图片专家组(MPEG)(例如)已开发出包括MPEG-1、MPEG-2和MPEG-4的若干标准。其它标准包括ITUH.263、由加利福尼亚州库珀蒂诺市的Apple Computer开发的QuickTimeTM技术、由华盛顿州雷蒙德市的Microsoft公司开发的用于Windows.TM的视频、由Intel公司开发的IndeoTM、来自华盛顿州西雅图市的RealNetworks有限公司的RealVideoTM，和由SuperMac有限公司开发的CinepakTM。这些和其它标准(包括仍待开发的标准)将继续演进。
视频编码标准通过以压缩方式编码数据来实现增加的发射速率。压缩可减少需要发射的数据的总量以用于图像帧的有效发射。MPEG标准(例如)利用经设计以促进比在无压缩的情况下可实现的带宽窄的带宽上的视频和图像发射的图形和视频压缩技术。具体来说，MPEG标准并入有利用连续图像帧之间的类似性(称作时间或帧间相关)的视频编码技术，以提供帧间压缩。帧间压缩技术通过使用运动补偿预测(即，通过在估计场景的运动后从一帧预测另一帧)来利用跨越帧的数据冗余。另外，视频编码技术可利用图像帧内的类似性(称作空间或帧内相关)。帧压缩通常基于用于压缩静态图像的常规过程，例如离散余弦变换(DCT)编码。离散余弦变换(DCT)编码还用于压缩运动补偿预测。
一种DCT技术被称为自适应块大小离散余弦变换(ABSDCT)方法。此技术揭示于标题为“自适应块大小图像压缩方法和系统(Adaptive Block Size Image CompressionMethod And System)”的第5,021,891号美国专利中，所述申请案已转让给本发明的受让人且以引用的方式并入本文中。DCT技术还揭示于标题为“自适应块大小图像压缩方法和系统(Adaptive Block Size Image Compression Method And System)”的第5,107,345号美国专利中，所述申请案已转让给本发明的受让人且以引用的方式并入本文中。另外，ABSDCT技术结合差分四叉树变换技术(Differential Quadtree Transform technique)的使用论述于标题为“自适应块大小图像压缩方法和系统(Adaptive Block Size ImageCompression Method And System)”的第5,452,104号美国专利中，所述申请案也已转让给本发明的受让人且以引用的方式并入本文中。这些专利中所揭示的系统利用称作“帧内帧”编码的编码，其中编码图像数据的每一帧而不考虑任何其它帧的内容。通过使用ABSDCT技术，可实现的数据速率可从每秒大约15亿位减小到每秒约5000万位，而不具有可辨别的图像质量的降级。
ABSDCT技术可用于压缩黑色和白色或彩色图像或表示图像的信号。色彩输入信号可呈YIQ格式，其中Y为每一4×4像素块的辉度或亮度(样本)，且I和Q为每一4×4像素块的色度或色彩(样本)。还可使用其它已知格式，例如YUV、YC.sub.bC.sub.y或RGB格式。由于眼睛对色彩的低空间敏感性，所以大多数研究已展示以因子四在水平和垂直方向上对色彩分量进行子取样是合理的。因此，可通过四个辉度分量和两个色度分量来表示视频信号。
为了支持压缩技术，许多数字视频装置包括用于压缩数字视频序列的编码器，和用于解压缩数字视频序列的解码器。在许多情况下，编码器和解码器包含对界定视频图像序列的帧内的像素块进行操作的集成的编码器/解码器(CODEC)。在MPEG-4标准中，例如，发送装置的编码器通常将待发射的视频图像帧划分成包含较小图像块的宏块。对于图像帧中的每一宏块，编码器搜索紧接在前面的视频帧的宏块以识别最类似的宏块，且编码所述宏块之间的差异以连同指示来自先前帧的哪个宏块曾用于编码的运动向量一起发射。接收装置的解码器接收运动向量和经编码的差异，且执行运动补偿以产生视频序列。运动向量可依据由编码器选择的精度等级而具有全像素精度、二分之一像素精度或四分之一像素精度。当使用具有分数像素值的运动向量时，获得较佳预测块。进行内插以确定分数像素(子像素)的值。在一个实例中，像素值包括表示辉度、色度或色彩分量的强度的位。
视频编码过程在计算上为密集的。具体来说，比较视频块与先前所发射的视频块的过程需要大量计算。高度需要改进的编码技术，尤其用于计算资源更有限且功率消耗为关注点的无线装置或其它便携式视频装置中。
发明内容
一个实施例是一种编码数字视频的方法，所述方法包括：识别参考帧和当前帧；使用默认过滤器内插所述参考帧以产生默认经内插帧；使用替代性过滤器内插所述参考帧以产生替代性经内插帧；针对每一子像素位置，基于较低和错误而确定是使用默认过滤器还是替代性过滤器来产生最终参考帧。
另一实施例是视频编码装置，其包括：运动补偿单元，其经配置以使用默认过滤器内插第一参考帧以产生默认经内插帧且经配置以使用替代性过滤器内插第二参考帧以产生替代性经内插帧；参考帧存储装置，其经配置以存储所述默认经内插帧且存储所述替代性经内插帧；过滤器决策单元，其经配置以接收当前帧，接收默认经内插帧，接收替代性经内插帧，且针对每一全像素位置和子像素位置而确定在最终帧中是使用默认过滤器还是替代性过滤器，且产生最终帧。
又一实施例是一种视频编码装置，其包括：用于接收当前帧的装置、用于将多个经内插参考帧存储于参考帧存储装置中的装置、用于接收来自所述参考帧存储装置的所述多个经内插参考帧的装置、用于产生最终帧的装置，和用于针对最终帧中的每一全像素位置和子像素位置而确定是使用默认过滤器还是替代性过滤器的装置。
一个其它实施例是一种视频编码装置，其包括：运动补偿单元，其经配置以使用默认过滤器内插第一参考帧以产生默认经内插帧，且经配置以使用替代性过滤器内插第二参考帧以产生替代性经内插帧；过滤器决策单元，其经配置以接收当前帧，接收所述默认经内插帧，接收所述替代性经内插帧，针对每一全像素位置和子像素位置而确定在最终帧中是使用默认过滤器还是替代性过滤器，且产生最终帧。
另一实施例是一种视频编码装置，其包括：用于接收当前帧的装置、用于接收多个经内插参考帧的装置、用于产生最终帧的装置，和用于针对最终帧中的每一全像素位置和子像素位置而确定是使用默认过滤器还是替代性过滤器的装置。
附图说明
在附图中以实例而非限制的方式来说明本申请案的上述方面和许多伴随的优点，其中。
图1为说明视频编码和解码系统的框图。
图2为说明视频编码器的框图。
图3为说明参考帧存储装置和过滤器决策单元的框图。
图4为描述确定过滤器的最佳组合的过程的流程图。
图5为展示用于内插的分数像素位置的视频帧的框图。
图6为说明视频运动估计的框图。
图7为说明包括帧内帧、经预测帧和双向帧的视频帧的框图。
图8为说明包含B切片的视频帧的框图，B切片包含两个运动向量。
图9为描述产生最终参考帧的过程的流程图。
具体实施方式
现将参看诸图描述本申请案的特定实施例。本文中所呈现的描述中所使用的术语无意以任何限制或约束的方式来解释，仅因为其是结合本申请案的某些特定实施例的详细描述而利用的。
在一个实施例中，系统使用多个过滤器内插给定视频块或帧以产生多个参考帧。对于每一过滤器，系统接着从所述给定参考帧计算运动向量。接着进行计算以针对每一像素确定哪个过滤器提供最低错误和失真率。在一些实施例中，检查用于视频帧内的每一子像素或整数像素的过滤器中的一者或过滤器组合的预期性能。接着，针对视频帧中的每一位置选择用于编码所述子像素和整数像素值的最佳过滤器。
在一个实施例中，系统使用多个过滤器针对单一帧中的所有可用位置累加绝对差和(SAD)错误测量。通过测量SAD，系统可确定是使用对应于那个位置的自适应过滤器(例如，自适应内插过滤器(AIF))有利还是使用默认内插过滤器或根本不使用过滤器来编码像素值可能更便利(在SAD和经加权的位成本方面)。
在另一实施例中，使用导致最小计算成本(或SAD加上由非默认内插过滤器所使用的经加权的编码位)的对可用过滤器的组合使用最佳选择准则的过程。给定矩阵和向量，可能有可能计算对应于决策向量中的每一者的错误且选择用于每一子像素位置的指示最小计算成本的过滤器。
在又一实施例中，利用迭代过程。此过程包括从可能的解(任何有效决策向量)开始以及寻找替代性过滤器提供最大错误减小的位置。接着用新过滤器选择的值更新此新位置且重复所述过程，直到可能无更多改进、改进可忽略(低于预定阈值)或达到迭代的最大数目为止。
在再一实施例中，使用简化的试探法来使用对称类别(symmetry class)寻找最小成本的近似值。此方法仅考虑两个参考块的位置使用相同过滤器的错误贡献(errorcontribution)。此在所述位置相同时或在其属于对称类别时发生。
在另一实施例中，使用量化表，其改进在全像素位置上使用的过滤器系数的编码，其中量化精度取决于使用不均匀量化过程的系数位置。
块匹配为最常用的运动估计方法。通常将视频帧中的每一宏块(即，16×16像素)与来自先前帧的相同大小的经移位区域进行比较，且选择导致最小错误的移位作为用于那个宏块的最佳运动向量。
帧内帧(或I-帧)为不参考任何其它帧进行译码的帧，且可由编码器产生以产生随机存取点。帧内帧通常需要比其它图片类型多的位来编码。常常，I-帧用于随机存取且用作用于解码其它帧的参考。
经预测帧(或P帧)需要某一(某些)其它帧的先前解码以便进行解码且可含有图像数据与运动向量位移两者。在H.264中，在解码期间经预测帧可使用多个先前经解码的帧作为参考，且相对于用于其预测的所述帧可具有任何的任意显示次序关系。而且，通常，经预测帧需要比帧内帧编码少的位来编码。
双向经预测帧(或B帧)需要某一(某些)其它帧的先前解码以便进行解码，可含有图像数据与运动向量位移两者，且包括通过将使用两个不同的先前经解码的参考区域获得的预测平均化而形成预测的一些预测模式。在H.264中，双向经预测帧可用作或可不用作用于解码其它图片的参考。B帧通常需要比帧内帧或经预测帧编码少的位来编码。
图1为说明视频编码和解码系统10的框图。如图1中所展示，系统10包括经由通信信道16将经编码的视频发射到接收装置14的源装置12。源装置12可包括视频源18、视频编码器20和发射器22。发射器22可为有线/无线发射器。接收装置14可包括接收器24、视频解码器26和视频显示装置28。在一些方面中，接收器24可为无线接收器，例如无线通信装置手持机中的无线接收器。系统10可经配置以支持运动补偿预测块的替代性过滤(或自适应过滤)，以改进视觉质量与处理效率两者。
在图1的实例中，通信信道16可包含任何无线或有线通信媒体(例如，射频(RF)频谱或一个或一个以上物理传输线)，或无线与有线媒体的任何组合。信道16可形成基于包的网络(例如，局域网、广域网，或例如因特网的全球网络)的一部分。通信信道16一般表示用于将视频数据从源装置12发射到接收装置14的任何合适的通信媒体或不同通信媒体的集合。
源装置12产生用于发射到目的地装置14的视频。然而，在一些情况下，装置12、14可以大体上对称的方式操作。举例来说，装置12、14中的每一者可包括视频编码和解码组件。因此，系统10可支持视频装置12、14之间的(例如)用于视频串流、视频广播或视频电话的单向或双向视频发射。
视频源18可包括视频俘获装置，例如一个或一个以上视频相机、含有先前俘获的视频的视频档案或者来自视频内容提供者的实况转播视频馈送。作为另一替代情况，视频源18可产生基于计算机图形的数据作为源视频，或产生实况转播视频与计算机产生的视频的组合。在一些情况下，如果视频源18为相机，则源装置12与接收装置14可形成所谓的相机电话或视频电话，包括卫星或移动无线电话，或其它无线通信装置。因此，在一些方面中，本申请案中所描述的技术可实施于移动无线通信装置手持机(例如，移动电话手持机)内。在每一情况下，可由视频编码器20编码经俘获、经预先俘获或计算机产生的视频以用于经由发射器22、信道16和接收器24而从视频源装置12发射到视频接收装置14的视频解码器26。显示器装置28可包括多种显示器装置中的任一者，例如液晶显示器(LCD)、等离子显示器或有机发光二极管(OLED)显示器。
在本申请案的一些方面中，视频编码器20和视频解码器26可经配置以支持用于空间、时间和/或信噪比(SNR)可缩放性(scalability)的可缩放视频译码。编码器20和解码器26可通过支持基础层和一个或一个以上可缩放增强层的编码、发射和解码而支持各种程度的可缩放性。对于可缩放译码，基础层载运具有最小质量等级的视频数据。一个或一个以上增强层载运额外位流以支持较高空间、时间或SNR等级。
视频编码器20和视频解码器26可根据例如MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分(AVC)的视频压缩标准来操作。尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器22可分别与音频编码器和解码器集成，且包括适当的MUX-DEMUX单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频与视频两者的编码。如果适用，则MUX-DEMUX单元可遵循ITU H.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。
H.264标准由ITU-T视频译码专家组和ISO/IEC运动图片专家组(MPEG)开发，作为被称为联合视频小组(JVT)的合作伙伴的产品。H.264标准描述于日期为2005年3月的ITU-T推荐H.264“用于通用视听服务的高级视频译码(Advanced Video coding forGeneric Audiovisual Services)”中，其在本文中可称作H.264标准或H.264规范，或H.264/AVC标准或规范。在一些方面中，可将本申请案中所描述的技术应用于一般遵循H.264标准的装置，或一般不遵循H.264标准的其它装置。
联合视频小组(JVT)继续致力于将可缩放视频译码(SVC)扩展到H.264/MPEG-4AVC。H.264/MPEG-4AVC与演进的SVC扩展两者的规范为联合草案(Joint Draft，JD)的形式。由JVT产生的联合可缩放视频模型(JSVM)实施用于在可缩放视频中使用的工具，其可用于系统10内，以用于本申请案中所描述的各种译码任务。
在一些方面中，对于视频广播，实施例涉及使用待公开为技术标准TIA-1099的仅前向链路(FLO)空中接口规范“用于陆地移动多媒体多播的仅前向链路空中接口规范(Forward Link Only Air Interface Specification for Terrestrial Mobile MultimediaMulticast)”(“FLO规范”)的对增强型H.264视频译码的应用以在陆地移动多媒体多播(TM3)系统中递送实时视频服务。FLO规范包括界定位流语法和语义的实例和适合于FLO空中接口的解码过程。或者，可根据例如DVB-H(数字视频广播-手持式)、ISDB-T(综合业务数字广播-陆地型)或DMB(数字媒体广播)的其它标准来广播视频。因此，在一些情况下，源装置12可为移动无线终端(例如，无线通信装置手持机)、视频串流服务器或视频广播服务器。然而，本申请案中所描述的技术不限于任何特定类型的广播、多播或点对点系统。
视频编码器20和视频解码器26各自可经实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。因此，本文中所描述的技术可实施于一个或一个以上集成电路装置内，其可被统称为集成电路装置。此类集成电路装置可提供于通信装置(例如，无线通信装置手持机)内。视频编码器20和视频解码器26中的每一者可包括于一个或一个以上编码器或解码器中，所述一个或一个以上编码器或解码器中的任一者可作为组合的编码器/解码器(CODEC)的部分而集成于相应移动装置、订户装置、广播装置、服务器等中。另外，视频源装置12和视频接收装置14各自可包括用于发射和接收经编码的视频的适当调制、解调、频率转换、过滤和放大器组件，包括(当适用时)足以支持无线通信的射频(RF)无线组件和天线。然而，为了易于说明，图1中未展示所述组件。
如上文所提及，视频包括一系列视频帧。视频编码器20对个别视频帧内的像素块进行操作以便编码视频数据。视频块可具有固定或不同的大小，且可根据指定译码标准而在大小上不同。作为实例，ITU-T H.264标准支持各种块大小(例如，用于辉度分量的16×16、8×8、4×4，和用于色度分量的8×8)的帧内预测。ITU-T H.264标准还支持各种块大小(例如，用于辉度分量的16×16、16×8、8×16、8×8、8×4、4×8和4×4以及用于色度分量的对应的经缩放大小)的帧间预测。较小视频块可提供较佳分辨率，且可用于视频帧的包括较高层级的细节的位置。一般来说，可将宏块和各种较小块视为视频块。在一些情况下，较小块可被称作子块。在预测后，可对8×8残余块或4×4残余块执行变换。而且，如果使用帧内子16×16预测模式，则可向用于色度分量或辉度分量的4×4块的DC系数应用额外变换。
图2为说明视频编码器20的更多细节的框图。视频编码器20可执行视频帧内的块的帧内译码和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧中的空间冗余。帧间译码依赖于时间预测来减少或移除邻近帧内的视频中的时间冗余。对于帧间译码，视频编码器20执行运动估计以追踪两个或两个以上邻近帧之间的匹配视频块的移动。
如图2中所展示，视频编码器20接收待编码的视频帧内的当前视频块21。在图2的实例中，视频编码器20包括运动估计单元23、参考帧存储装置25、运动补偿单元27、块变换单元29、量化单元31、反量化单元33、反变换单元35和熵译码单元37。视频编码器20还包括加法器39和加法器41。图2说明用于视频块的帧间译码的视频编码器20的时间预测组件。尽管为了易于说明在图2中未展示，但视频编码器20还可包括用于一些视频块的帧内译码的空间预测组件。
运动估计单元23将视频块21与一个或一个以上邻近视频帧中的块进行比较以产生一个或一个以上运动向量。所述邻近帧可从参考帧存储装置25中检索到。可对具有可变大小(例如16×16、16×8、8×16、8×8或更小的块大小)的块执行运动估计。运动估计单元23识别邻近帧中与当前视频块21最紧密匹配的块(例如，基于速率失真模型)，且确定块之间的位移。在此基础上，运动估计单元23产生指示所述位移的量值和轨迹的运动向量。
运动向量可具有二分之一像素或四分之一像素的精度，或者甚至更精细的精度，从而允许视频编码器20追踪具有比整数像素位置高的精度的运动且获得较佳预测块。当使用具有分数像素值的运动向量时，可在运动补偿单元27中执行内插操作。举例来说，在H.264/AVC标准中，为了获得在二分之一像素位置处的辉度信号，可使用具有系数(1，-5，20，20，-5，1)/32的6分接头维纳(Wiener)过滤器。为了获得在四分之一像素位置处的辉度信号，可使用对在整数像素位置处的值和在二分之一像素位置处的内插值的双线性过滤。双线性过滤器还可用于对色度分量的分数像素内插中，色度分量可具有高达1/8像素精度。
运动估计单元23使用速率失真模型识别视频块的最佳运动向量。通过使用所得运动向量，运动补偿单元27通过运动补偿而形成预测视频块。视频编码器20通过在加法器39处从原始的、当前视频块21减去由运动补偿单元27产生的预测视频块而形成残余视频块。块变换单元29对残余块应用变换。量化单元31量化变换系数以进一步减小位速率。熵译码单元37熵译码经量化的系数以进一步减小位速率。视频解码器26执行反操作以重建经编码的视频。
反量化单元33和反变换单元35分别应用反量化和反变换，以重建残余块。加法器41将经重建的残余块添加到由运动补偿单元27产生的运动补偿预测块以产生用于在参考帧存储装置25中存储的经重建视频块(或用于当前帧的过滤器决策)。包含过滤器决策单元44的运动补偿单元经配置以接收来自参考帧存储装置25的参考帧，接收当前帧且产生待存储于过滤器参考帧存储装置25中的经重建视频块。所述经重建视频块可由运动估计单元23和运动补偿单元27使用以编码后续视频帧中的块。
当对当前视频帧21中的给定块执行运动补偿时，运动补偿单元27可使用一组固定的过滤器来内插来自参考帧的参考块。如果当前块是单向预测的，则需要一个参考块，或者如果当前块是双向预测的，则需要两个参考块。在H.264中，在一些情况下，可使用在前向和后向方向上的多个参考帧。由运动补偿单元27使用的实际过滤器取决于运动向量的分数部分。举例来说，如果运动向量指向给定维度中的参考帧中的二分之一像素位置，则为了获得所述二分之一像素位置的值，可在具有二分之一像素运动向量的那个维度中使用默认内插过滤器。如果两个运动向量分量均指向整数位置，则可在不执行任何内插过滤操作的情况下直接使用来自参考帧存储装置25中的参考帧的像素值。
图3为说明如图2中所展示的参考帧存储装置25和过滤器决策单元44的框图。图3的参考帧存储装置25和过滤器决策单元44的说明性框图包括当前帧30、参考帧存储装置25，和过滤器决策单元44。可将当前帧30发射到过滤器决策单元44以用于产生待存储于参考帧存储装置25中的最终(或经重建)参考帧。参考帧存储装置25可维持一组参考帧且将所述所维持的参考帧发射到运动补偿单元27。在一个实施例中，将用默认过滤器32、34和36内插的一组参考帧存储于参考帧存储装置25中且将其发送到过滤器决策单元44。在另一实施例中，将用替代性过滤器(或非默认过滤器)38、40和42内插的一组参考帧存储于参考帧存储装置25中且将其发送到过滤器决策单元44。在另一实施例中，如果存储器容量有限，则可在需要时在运作中产生经内插的帧。在一个实施例中，实时地产生经内插的帧，只要原始(非内插)帧、内插过滤器和过滤器选择是可用的。驻留于视频编码器20中的替代性过滤器(未展示)可为自适应内插过滤器、可分离自适应内插过滤器、固定过滤器。在另一实施例中，替代性过滤器可为提供大的译码增益(尤其对具有高分辨率(例如，720p)的视频序列)的自适应内插过滤器(AIF)。视频编码器20具有用以内插参考帧中的块的一组固定的替代性过滤器。在又一实施例中，视频编码器20可支持2D不可分离的自适应内插过滤器、可分离的自适应内插过滤器、定向自适应内插过滤器，和增强型自适应内插过滤器。2D不可分离的自适应内插过滤器使用二维矩阵来内插帧。可分离的自适应内插过滤器使用垂直接着水平扫描来内插帧。定向自适应内插过滤器使用对角线扫描来内插帧。
在另一实施例中，可通过将全像素位置过滤器和过滤器偏移添加到每一全像素位置和子像素位置来使用增强型自适应内插过滤器(E-AIF)。对于全像素位置和每一子像素位置，E-AIF还估计替代性过滤器与默认内插相比的预期速率失真增益，且决定是否使用替代性过滤器且用信号向解码器通知替代性过滤器。
过滤器决策单元44可比较使用用默认过滤器32、34、36内插的参考帧编码所接收的当前帧30的和位开销(或成本)与使用用替代性过滤器38、40、42内插的参考帧来编码所接收的当前帧30的和位开销(或成本)。在一个实施例中，过滤器决策单元44可使用缩放因子(未展示)来重建像素位置以确定对应于使用默认过滤器或替代性过滤器的绝对错误。在另一实施例中，过滤器决策单元44可针对每一像素比较绝对错误值，在可用的过滤器之间进行选择，且产生最小化位错误率和失真的决策向量。
过滤器决策单元44还可接收运动向量(或运动向量数据)48。在一个实施例中，过滤器决策单元可接收当前帧30、运动向量48、经内插的参考帧(例如，用默认过滤器32、34、36内插的参考帧和用替代性过滤器38、40、42内插的参考帧)，以便产生待存储于参考帧存储装置25中的最终(或经重建)参考帧45、46、47。结果，过滤器决策单元44提供经内插的参考帧45、46和47，其中使用默认过滤器或替代性过滤器内插每一全像素或子像素。在另一实施例中，过滤器决策单元44可将决策阵列(未展示)输出到参考帧存储装置25。所述决策阵列(未展示)可提供描述经重建参考帧45、46、47的决策值。在一个实施例中，由决策阵列(未展示)提供的决策值可为(例如)[a(1)、b(0)、c(1)、d(0)...]；其中子像素位置由α字符来识别且过滤器选择决策是以二进制(0或1)的格式来识别(当使用视频编码器20中可用的默认过滤器或替代性过滤器时)。在另一实施例中，由决策阵列提供的决策值可为(例如)[a(1)、b(2)、c(3)、d(4)...]，其中子像素位置由α字符来识别且过滤器选择决策是使用用于识别待针对每一子像素位置使用的实际过滤器类型的数字格式来识别。在一个实施例中，可将多个默认过滤器和多个自适应内插过滤器彼此进行比较，以便确定用于编码每一子像素位置的最有效过滤器。在另一实施例中，将多个自适应内插过滤器彼此进行比较，以便确定待在针对每一子像素位置进行编码期间应用的最有效自适应过滤器。
图4描绘用于使用图3中所展示的系统确定过滤器的最佳组合的说明性过程50。所述过程开始于框51，其中视频编码器20计算参考帧到当前帧的运动向量。所述参考帧可为帧内帧或经预测帧。当前帧30可为双向经预测帧。在一个实施例中，当前帧参考先前帧内帧且应用使用块匹配的有限搜索以计算描述先前位移的运动向量。在另一实施例中，当前帧参考将来的经预测帧且应用使用块匹配的有限搜索以计算描述经预测位移的运动向量。在计算运动向量数据后，将其发射到如图3中所描述的过滤器决策单元44。
过程50接着进行到框52且计算替代性过滤器的系数。在一个实施例中，选择自适应内插过滤器且发送通常为包含系数向量和偏移向量的两个向量的系数。举例来说，包含六个系数的系数向量可为[1，0，1，0，1，1]，且对应偏移向量为[-1，0，2，1，3，0]。针对每一子像素位置发送一个偏移值加上用于全像素位置的一个偏移。因此，可存在两个向量，一个向量用于过滤器选择，且具有相同维度的另一向量用于偏移。在另一实施例中，使用一组固定的预先计算的过滤器来代替自适应地确定用于每一帧的系数。
过程50接着进行到框53且产生使用替代性过滤器的参考帧。在一个实施例中，产生使用增强型自适应内插过滤器的参考帧且将其存储于参考帧存储装置25中。可使用自适应内插过滤器、增强型自适应内插过滤器或非默认过滤器的组合来内插参考帧。
过程50接着进行到框54且在过滤器的每个组合可用的情况下计算每一块的错误。在一个实施例中，将当前帧30与使用替代性内插过滤器的经内插参考帧进行比较且确定速率和失真错误。在另一实施例中，将当前帧30与使用默认H.264过滤器的经内插参考帧进行比较且确定速率和失真错误。
过程50接着进行到框55且确定编码过滤器系数的成本。在一个实施例中，图3的过滤器决策单元44确定针对每一子像素位置使用默认内插过滤器对使用替代性内插过滤器编码过滤器系数的成本，其中以位开销来确定所述成本。
如果考虑一些位置为对称的，则可确定单一过滤器且从一个以上子像素位置进行选择。举例来说，子像素位置′a′和′c′可使用为彼此为镜像的过滤器。
过程50接着进行到框56且确定过滤器的最佳组合。在一个实施例中，针对最终帧中的每一全像素位置和子像素位置，基于比较时具有较低错误和低失真率的过滤器而关于是使用默认过滤器还是替代性过滤器作出确定。
下文描述用于确定每一像素的失真率的数学计算。
SADStd，计算基于默认内插过滤器的运动补偿预测错误的绝对差和；
SADAIF，计算基于替代性内插过滤器的运动补偿预测错误；
λ·nBits，计算编码过滤器系数所必需的辅助信息(side information)的成本(以位为单位)，将其乘以缩放因子λ并将结果添加到SADAIF；
最终，比较SADStd与SADAIF+λ·nBits且使用最低值来确定是应使用替代性内插过滤器还是默认内插过滤器。
在一个实施例中，如果过滤器选择使用预定且预先计算的过滤器，则编码器仅接收与过滤器选择有关的信息。举例来说，使用寻找为最佳成本的局部最小近似值的成本的迭代方法，不需要发射辅助信息(例如，成本(以位为单位))。
图5为展示用于内插的分数像素位置的视频帧的框图。而且，图5说明视频帧中的一组分数像素(或子像素)位置。在图5中，存在总共15个子像素位置，在图5中标记为“a”到“o”。此外，此框图可用于提供对称数据且可导致减少计算开销。举例来说，1/2像素位置′a′61和′c′63可为对称的，从而减少了内插处理中所涉及的计算开销。在又一实例中，子像素位置′C3′65可与子像素′C4′69对称，从而导致减少内插处理期间的计算开销。
简化的试探法仅考虑两个参考块的位置使用相同过滤器的错误贡献。此在所述位置相同时或在其属于相同对称类别(例如，图5中的e、g、m和o)时发生。
通过此方法，有可能累加向量中的错误且可将问题陈述为：
min D = ( d 1 , d 2 , . . . , d n ) Σ i = 1 n ( C d i , i + d i · λ · nBit s i )
归因于所述决策的独立性，可通过独立地最小化每一di来寻找解。
图6为说明运动估计的框图。一般来说，运动估计用于确定与参考帧相比当前帧中的每一宏块的运动向量。计算运动向量的过程包含执行确定当前帧中的宏块与来自参考帧的像素块之间的最佳匹配的搜索算法。一般使用此项技术中众所周知的绝对差和(SAD)计算来执行所述搜索算法。具体来说，运动估计比较当前帧中的每一宏块与其在先前帧中的周围区域且试图找到由最小SAD指示的匹配。
此外，图6说明一组顺序视频帧之间的关系。图6描绘作为参考帧的帧内帧(或I-帧)60和作为当前帧的经预测帧(或P帧)62。经预测帧(P帧)62界定第一宏块66且通过界定帧内帧60(或参考帧)中的第二宏块64而执行运动估计。比较第一宏块66与第二宏块64内的像素且计算绝对差和(SAD)，并将运动向量68确定为结果。
图7为说明包括帧内帧、经预测帧和双向经预测帧的视频帧的框图。如所说明，帧内帧70不参考任何其它帧(除了其本身之外)。在一个实施例中，帧内帧为帧序列中所接收的第一帧。一般来说，帧内帧不参考任何前面的帧且不具有参考将来的帧的能力。另一方面，经预测帧可参考先前帧内帧或将来的经预测帧。如图中所展示，第一经预测帧76参考帧内帧70且不参考第一B帧72或第二B帧74。B帧通常参考帧内帧或经预测帧(过去的与将来的)。如图7中所展示，第一B帧72参考第一帧内帧70与第一经预测帧76两者以确定最佳运动向量。如图7中所展示，第二B帧74参考第一帧内帧70与第一经预测帧76两者。
图8为说明包含双向经预测切片的视频帧的框图，所述双向经预测切片包含两个运动向量。在一个实施例中，第一双向经预测帧72参考界定具有16×16的大小的第二帧内帧宏块806的帧内帧70(前一帧)和界定具有16×16的大小的第三经预测宏块810的第一经预测帧76(将来的帧)来界定具有16×16的大小的第一双向经预测宏块814。在另一实施例中，参考帧还可为两个双向经预测帧、两个经预测帧，或经预测帧与双向经预测帧的组合。第一双向经预测帧72计算并识别两个运动向量：如图8中所说明的第一帧内运动向量820和第二经预测运动向量822。帧内帧70识别关于第一双向经预测帧72具有最小绝对差和值的第一帧内像素808。如图8中所展示，第一经预测帧76识别关于第一经预测帧72具有最小绝对差和值的第一经预测像素812。
在识别第一帧内像素808和第一经预测像素812后，即刻接着建构矩阵，如下文所描述；其中′a′表示第一帧内像素808且′b′表示第一经预测像素812。
矩阵C含有在预测期间所累加的错误，其中′a′和′b′为子像素位置。因此，在图8中，第一帧内运动向量820指向子像素位置′a′且第二经预测运动向量822指向子像素位置′b′。对于矩阵C＝[0，0，a，b]，编码器将添加通过向第一帧内像素808与第一经预测像素812两者应用默认过滤器(选择0)而计算的预测错误。对于矩阵C＝[1，0，a，b]，将通过添加通过用自适应过滤器内插第一帧内像素808且用默认过滤器内插第一经预测像素812(选择10)而获得的预测错误来更新编码器。对于矩阵C＝[0，1，a，b]，编码器将添加通过用默认过滤器内插第一帧内像素808且用自适应过滤器内插第一经预测像素812(选择01)而获得的预测错误。最终，对于矩阵C＝[1，1，a，b]，将用从用自适应过滤器内插两个像素(选择11)而获得的预测错误来更新编码器。
对于每一全像素位置和子像素位置，可计算决策向量D＝(d1，d2，...，dn)，其中di∈{0，1}且i＝1、...、n。
用于每一子像素位置的过滤器旗标′1′或′0′表示经发送以指示针对所述子像素位置是使用默认过滤器还是替代性过滤器的一组唯一的过滤器系数。如果过滤器旗标经设定到′1′，则对用于此子像素位置的替代性过滤器系数进行预测、量化、译码且将其应用到对应子像素位置。如果过滤器旗标经设定到′0′，则使用默认内插过滤器来内插此子像素位置和其对称的子像素位置。
在试探式解中，使用对称类别，如果帧内像素808与经预测像素812两者均指向相同子像素位置，则累加错误。举例来说，可将矩阵简化为：
在双预测块中，用于预测中的两个参考块的全像素位置或子像素位置可不同，因此必须针对位置的每一组合收集SAD错误。有可能在所有块中进行迭代且在单一回合中，将原始像素与经内插像素之间的绝对差累加到四维矩阵中，其中表示在过滤器决策为di，dj∈{0，1}时针对位置i，j＝1、...、n所累加的绝对差和。
对于经编码的每一块，位置i和j指代第二帧内帧宏块806(A)和第三经预测宏块810(B)。接着，针对块814中的每一像素，通过使用pixStdX和pixAifX(用默认过滤器内插的像素和用替代性过滤器内插的像素)来计算四个预测：
pix_00＝(1-b_scaling)*pixStdA+b_scaling*pixStdB；
pix_01＝(1-b_scaling)*pixStdA+b_scaling*pixAifB；
pix_10＝(1-b_scaling)*pixAifA+b_scaling*pixStdB；
pix_11＝(1-b_scaling)*pixAifA+b_scaling*pixAifB；
最终将经重建像素计算为：
rec_00＝max(0，min(max_pixel_value，(int)(pix_00+0.5)))；
rec_01＝max(0，min(max_pixel_value，(int)(pix_01+0.5)))；
rec_10＝max(0，min(max_pixel_value，(int)(pix_10+0.5)))；
rec_11＝max(0，min(max_pixel_value，(int)(pix_11+0.5)))；
且用于确定对应于使用默认过滤器或替代性内插过滤器的绝对错误。所述错误将在矩阵中经累加为：
C[0][0][i][j]+＝(double)abs(orig-rec_00)；
C[1][1][i][j]+＝(double)abs(orig-rec_11)；
C[0][1][i][j]+＝(double)abs(orig-rec_01)；
C[1][0][i][j]+＝(double)abs(orig-rec_10)；
缩放因子b-scaling可为0.5或根据当前帧和参考帧序列进行计算。此第二方法可用于更多地加权源自时间上较靠近的参考帧的预测的贡献。
如果两个参考块中的一者丢失，则仅针对两个位置中的一者累加错误贡献。此外，当i＝j且对于两个参考块来说位置相同时，不累加对C[0][1]和C[1][0]的错误贡献。
对于每一所使用的替代性过滤器，可明确地用信号通知过滤器系数，因此每一位置i＝1、...、n(全像素或子像素)具有相关联的加权成本λ·nBitsi，其中加权因子反映位对速率失真性能的贡献。如果过滤器是预定的或预先计算的且可为编码器所用，则可能不需要发射例如成本(以位为单位)的信息。
在此体系的情况下，应用程序由寻找将最小化以下项的二进制决策向量D＝(d1，d2，...，dn)组成：
min D = ( d 1 , d 2 , . . . , d n ) Σ i = 1 n Σ j = 1 n C d i , d j , i , j + Σ i = 1 n d i · λ · nB its i
给定矩阵和向量λ·nBitsi，有可能彻底地计算对应于2n个决策向量中的每一者的错误且选择最小者。
紧密近似最佳策略的迭代方法包括从可能的解(任何有效决策向量)开始和寻找替代性过滤器具有最大错误减小的位置。接着用新过滤器选择的值更新此新位置且重复所述过程，直到可能无更多改进、改进可忽略(低于预定阈值)或达到迭代的最大数目为止。可将所述三个停止准则组合在一起。
所述方法的伪码描述如下：
D[0，..，n-1]＝{0，0，0，...，0}；    //开始解
SAD＝ComputeSAD(D，C)；                      //C为成本矩阵
       while(不满足停止准则)
{(P，F)＝FindPosition(D，C，SAD)；//寻找位置和过滤器
                                        //最大程度上减小SAD
        D[P]＝F；                   //更新D
        SAD＝ComputeSAD(D，C)；             //更新SAD}
此方法在许多情况下能够在8到10次迭代中收敛到局部最小值。如果n为位置的数目且k为对于每一位置可用的选择(过滤器)的数目，则每一迭代具有n·(k-1)个可能性(所述n个位置中的每一者上剩余k-1个过滤器)。如果将迭代的最大数目限制为至多c，则此方法将具有在位置和过滤器的数目上为线性的计算复杂性。
使用不均匀量化(即，量化精度)的方法取决于系数位置。已发现，与具有较大量值的系数(这些为较接近过滤器中心的系数)相比，具有较小量值的系数(这些为较远离过滤器中心的系数)需要较佳精度。
矩阵QFP用于指定整数像素过滤器的系数的量化精度。矩阵中的位的数目包括用于符号的1个位，因此(例如)将用9个位(其中1个位用于符号且8个位用于错误量值)来量化中心系数。
Q FP = 11 11 11 11 11 11 10 10 10 11 11 10 9 10 11 11 10 10 10 11 11 11 11 11 11
已靠实验发现，QFP提供对P-帧的最佳量化，而较佳通过使用由描述的较精细量化来编码B-帧：
Q ^ FP 12 12 12 12 12 12 11 11 11 12 12 11 10 11 12 12 11 11 11 12 12 12 12 12 12
图9为描述使用图3中所展示的系统基于过滤器选择决策而产生最终参考帧的过程92的流程图。所述过程通过识别一组参考帧和当前帧而开始于框93。举例来说，所述组参考帧存储于参考帧存储装置25中且所述当前帧被发射到视频编码器26内的运动补偿单元27。在一个实施例中，所述组参考帧包含帧内帧和经预测帧。
过程92接着进行到框94且使用默认过滤器内插所述组参考帧以产生默认经内插帧。可使用默认过滤器来内插参考帧存储装置25中的先前所识别的所述组参考帧且将其发射到参考帧存储装置25以用于存储和稍后检索。默认过滤器可为驻留于视频编码器26内的由标准组织宣告为合乎规范的任何默认过滤器(即，H.264过滤器)。在一个实施例中，使用默认H.264过滤器内插所述组参考帧且将其存储于视频编码器26内的参考帧存储装置25中。
过程92接着进行到框95且使用替代性过滤器内插所述组参考帧以产生替代性经内插帧。可使用替代性过滤器来内插参考帧存储装置25中的先前所识别的所述组参考帧且将其发射到参考帧存储装置25以用于存储和稍后检索。替代性过滤器可驻留于运动补偿单元27内，或可驻留于编码器内的另一组件中。替代性过滤器可为驻留于视频编码器20内的任何自适应过滤器(即，2D自适应内插过滤器、E-AIF等)。换句话说，替代性过滤器为在视频编码器20中可用的未被标记为默认过滤器的任何过滤器。在一个实施例中，使用增强型自适应内插过滤器内插所述组参考帧且将其存储于视频编码器20内的参考帧存储装置25中。
过程92接着进行到框96且针对每一子像素位置比较使用默认过滤器内插的参考帧是否具有比使用替代性过滤器内插的参考帧低的和错误；其中所述较低和错误是基于错误率与失真的最低组合。子像素位置可为像素的二分之一、像素的四分之一、像素的八分之一，或小于一的任何分数值。在一个实施例中，在比较两个经内插参考帧后确定使用默认过滤器具有比使用替代性过滤器低的和错误的子像素位置。
过程92接着进行到框97，其中如果替代性过滤器具有较低和错误值，则选择替代性过滤器。在一个实施例中，针对待在最终帧中产生的每一子像素位置，如果确定替代性过滤器(例如，自适应内插过滤器)具有较低错误率和失真率，则选择替代性过滤器。
否则，过程92进行到框98，其中如果替代性过滤器不具有较低和错误值，则选择默认过滤器。在一个实施例中，针对待在最终帧中产生的每一子像素位置，如果确定默认过滤器具有较低错误和失真率，则选择默认过滤器。
过程92接着进行到框99，其中针对每一子像素位置，选择默认过滤器或替代性过滤器的最佳组合来产生最终参考帧。在一个实施例中，针对每一子像素位置仅使用默认过滤器来产生最终参考帧。在另一实施例中，使用经确定具有较低和错误率的替代性过滤器来产生最终参考帧。在另一实施例中，针对每一子像素位置使用经确定具有较低和错误率的替代性过滤器与默认过滤器的组合来产生最终参考帧。
除非另有特别规定或另外在如所使用的上下文内理解，否则例如“可或可能”的条件语言一般意欲传达尽管某些实施例不包括某些特征、元件和/或步骤，但其它实施例包括某些特征、元件和/或步骤。因此，此类条件语言一般不意欲暗示：特征、元件和/或步骤是以一个或一个以上实施例所需的任何方式或一个或一个以上实施例一定包括用于在具有或不具有用户输入或提示的情况下决定这些特征、元件和/或步骤是否包括于任何特定实施例中或将在任何特定实施例中执行的逻辑。
本文中所描述的和/或附图中所描绘的流程图中的任何过程描述、元件或块应被理解为潜在地表示包括用于实施过程中的特定逻辑功能或步骤的一个或一个以上可执行指令的模块、区段或代码部分。替代实施方案包括于本文中所描述的实施例的范围内，其中可依据所涉及的功能性而删除元件或功能，不以所展示或所论述的次序(包括大体上同时或以相反次序)执行元件或功能，如所属领域的技术人员将理解。
本文中所描述的技术可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，则可至少部分通过计算机可读媒体上的一个或一个以上所存储或所发射的指令或代码来实现所述技术。计算机可读媒体可包括计算机存储媒体、通信媒体或两者，且可包括促进将计算机程序从一处传递到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。
以实例而非限制的方式，所述计算机可读媒体可包含RAM(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、ROM、电可擦除可编程只读存储器(EEPROM)、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于以指令或数据结构的形式载运或存储所要程序代码且可由计算机存取的任何其它媒体。
而且，将任何连接适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外、无线电和微波等无线技术从网站、服务器或其它远程源发射软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外、无线电和微波等无线技术包括在媒体的定义中。如本文中所使用，磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘(例如)用激光以光学方式再现数据。上述各者的组合也应包括在计算机可读媒体的范围内。
与计算机程序产品的计算机可读媒体相关联的代码可由计算机(例如，由一个或一个以上处理器)来执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内，或并入组合的视频编码器-解码器(CODEC)中。
已描述各种方面。这些和其它方面在所附权利要求书的范围内。

Claims (23)

1.一种编码数字视频的方法，所述方法包含：
识别参考帧和当前帧；
使用默认过滤器内插所述参考帧以产生默认经内插帧；
使用替代性过滤器内插所述参考帧以产生替代性经内插帧；
针对每一子像素位置，基于较低和错误而确定是使用所述默认过滤器还是所述替代性过滤器来产生最终参考帧，其中如果所述替代性过滤器具有较低和错误值，则选择所述替代性过滤器，且如果所述替代性过滤器不具有较低和错误值，则选择所述默认过滤器，其中所述较低和错误基于错误率与失真的最低组合，其中所述确定包含迭代过程，且所述迭代过程具有最大数目；
设定用于所述子像素位置的多个旗标，其中每一旗标指示是否应将所述默认过滤器和所述替代性过滤器用于相应的子像素位置；以及
发送所述旗标。
2.根据权利要求1所述的方法，其中所述参考帧为经预测帧。
3.根据权利要求1所述的方法，其中所述参考帧为双向经预测帧。
4.根据权利要求1所述的方法，其中所述默认过滤器为H.264过滤器。
5.根据权利要求1所述的方法，其中所述替代性过滤器为自适应内插过滤器。
6.根据权利要求1所述的方法，其中所述参考帧为帧内帧。
7.根据权利要求1所述的方法，其中所述默认过滤器为H.264默认过滤器。
8.一种视频编码装置，其包含：
运动补偿单元，其经配置以使用默认过滤器内插第一参考帧以产生默认经内插帧，且使用替代性过滤器内插第二参考帧以产生替代性经内插帧；
参考帧存储装置，其经配置以存储所述默认经内插帧和所述替代性经内插帧；
过滤器决策单元，其经配置以：
接收当前帧、所述默认经内插帧和所述替代性经内插帧；
针对每一全像素位置和子像素位置，确定在最终帧中是使用默认过滤器还是替代性过滤器，其中如果所述替代性过滤器具有较低和错误值，则选择所述替代性过滤器，且如果所述替代性过滤器不具有所述较低和错误值，则选择所述默认过滤器，其中所述较低和错误基于错误率与失真的最低组合，其中所述确定包含迭代过程，且所述迭代过程具有最大数目；以及
产生所述最终帧，
其中设定用于所述子像素位置的多个旗标，其中每一旗标指示是否应将所述默认过滤器和所述替代性过滤器用于相应的子像素位置，且其中发送所述经编码的旗标。
9.根据权利要求8所述的视频编码装置，其中所述经内插参考帧是使用H.264过滤器产生的。
10.根据权利要求8所述的视频编码装置，其中所述最终参考帧是使用经确定具有低错误率和低失真率的过滤器的组合产生的。
11.根据权利要求8所述的视频编码装置，其中所述子像素位置为1/2像素、1/4像素或1/8像素。
12.根据权利要求8所述的视频编码装置，其中所述默认过滤器为H.264过滤器。
13.根据权利要求8所述的视频编码装置，其中所述替代性过滤器为自适应内插过滤器。
14.一种视频编码装置，其包含：
用于接收当前帧的装置；
用于将多个经内插参考帧存储于参考帧存储装置中的装置；
用于接收来自所述参考帧存储装置的所述多个经内插参考帧的装置；
用于产生最终帧的装置；
用于针对所述最终帧中的每一全像素位置和子像素位置而确定是使用默认过滤器还是替代性过滤器的装置，其中如果所述替代性过滤器具有较低和错误值，则选择所述替代性过滤器，且如果所述替代性过滤器不具有所述较低和错误值，则选择所述默认过滤器，其中所述较低和错误基于错误率与失真的最低组合，其中所述确定包含迭代过程，且所述迭代过程具有最大数目；
用于设定用于所述子像素位置的多个旗标的装置，其中每一旗标指示是否应将所述默认过滤器和所述替代性过滤器用于相应的子像素位置；以及
用于发送所述旗标的装置。
15.根据权利要求14所述的视频编码装置，其中所述多个经内插参考帧是使用H.264过滤器产生的。
16.根据权利要求14所述的视频编码装置，其中所述最终参考帧是使用经确定具有低错误率和低失真率的过滤器的组合产生的。
17.根据权利要求14所述的视频编码装置，其中所述子像素位置为1/2像素、1/4像素或1/8像素。
18.根据权利要求14所述的视频编码装置，其中所述默认过滤器为H.264过滤器。
19.根据权利要求14所述的视频编码装置，其中所述替代性过滤器为自适应内插过滤器。
20.一种视频编码装置，其包含：
运动补偿单元，其经配置以使用默认过滤器内插第一参考帧以产生默认经内插帧，且使用替代性过滤器内插第二参考帧以产生替代性经内插帧；
过滤器决策单元，其经配置以接收当前帧、所述默认经内插帧和所述替代性经内插帧，
其中所述过滤器决策单元进一步经配置以针对每一全像素位置和子像素位置而确定在最终帧中是使用默认过滤器还是替代性过滤器，且产生所述最终帧，其中如果所述替代性过滤器具有较低和错误值，则选择所述替代性过滤器，且如果所述替代性过滤器不具有所述较低和错误值，则选择所述默认过滤器，其中所述较低和错误基于错误率与失真的最低组合，其中所述确定包含迭代过程，且所述迭代过程具有最大数目，且
其中用于所述子像素位置的多个旗标经设定，其中每一旗标指示是否应将所述默认过滤器和所述替代性过滤器用于相应的子像素位置，且其中所述经编码的旗标经发送。
21.根据权利要求20所述的视频编码装置，其中所述替代性过滤器为多个预先计算的过滤器中的一者。
22.一种视频编码装置，其包含：
用于接收当前帧的装置；
用于接收多个经内插参考帧的装置；
用于产生最终帧的装置；
用于针对所述最终帧中的每一全像素位置和子像素位置而确定是使用默认过滤器还是替代性过滤器的装置，其中如果所述替代性过滤器具有较低和错误值，则选择所述替代性过滤器，且如果所述替代性过滤器不具有所述较低和错误值，则选择所述默认过滤器，其中所述较低和错误基于错误率与失真的最低组合，其中所述确定包含迭代过程，且所述迭代过程具有最大数目；
用于设定用于所述子像素位置的多个旗标的装置，其中每一旗标指示是否应将所述默认过滤器和所述替代性过滤器用于相应的子像素位置；以及
用于发送所述旗标的装置。
23.根据权利要求22所述的视频编码装置，其中所述替代性过滤器为多个预先计算的内插过滤器中的一者。
CN200980126311.XA 2008-07-07 2009-06-26 通过过滤器选择进行的视频编码 Active CN102084655B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US7864208P 2008-07-07 2008-07-07
US61/078,642 2008-07-07
US12/208,269 US8811484B2 (en) 2008-07-07 2008-09-10 Video encoding by filter selection
US12/208,269 2008-09-10
PCT/US2009/048829 WO2010005808A1 (en) 2008-07-07 2009-06-26 Video encoding by filter selection

Publications (2)

Publication Number Publication Date
CN102084655A CN102084655A (zh) 2011-06-01
CN102084655B true CN102084655B (zh) 2015-02-11

Family

ID=41464385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980126311.XA Active CN102084655B (zh) 2008-07-07 2009-06-26 通过过滤器选择进行的视频编码

Country Status (10)

Country Link
US (1) US8811484B2 (zh)
EP (1) EP2311263A1 (zh)
JP (1) JP5280531B2 (zh)
KR (1) KR101269334B1 (zh)
CN (1) CN102084655B (zh)
BR (1) BRPI0914218A2 (zh)
CA (1) CA2729287A1 (zh)
RU (1) RU2491758C2 (zh)
TW (1) TWI401961B (zh)
WO (1) WO2010005808A1 (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US8811485B1 (en) * 2009-05-12 2014-08-19 Accumulus Technologies Inc. System for generating difference measurements in a video processor
WO2010134079A1 (en) * 2009-05-20 2010-11-25 Nissimyan, Nissim Video encoding
CN102037732B (zh) * 2009-07-06 2013-03-27 联发科技（新加坡）私人有限公司 一种执行单循环自适应内插滤波的方法、编码器和译码器
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
EP2494781A1 (en) 2009-10-29 2012-09-05 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for processing a video sequence
CN102714732A (zh) * 2010-01-12 2012-10-03 夏普株式会社 编码装置、解码装置及数据结构
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
US8553763B2 (en) * 2010-06-10 2013-10-08 Sony Corporation Iterative computation of adaptive interpolation filter
US9154807B2 (en) 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
US20120008686A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
US20120008687A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Video coding using vector quantized deblocking filters
JP5513333B2 (ja) * 2010-09-22 2014-06-04 Ｋｄｄｉ株式会社 動画像符号化装置、動画像符号化方法、およびプログラム
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
EP2622857A1 (en) 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US20130194386A1 (en) * 2010-10-12 2013-08-01 Dolby Laboratories Licensing Corporation Joint Layer Optimization for a Frame-Compatible Video Delivery
EP3541075B1 (en) 2010-10-20 2021-03-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Error resilient rate distortion optimization for image and video encoding
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US8761245B2 (en) * 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US9172972B2 (en) 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
US9432693B2 (en) 2011-01-07 2016-08-30 Nokia Technologies Oy Motion prediction in video coding
US9049454B2 (en) 2011-01-19 2015-06-02 Google Technology Holdings Llc. High efficiency low complexity interpolation filters
JP5670226B2 (ja) * 2011-03-04 2015-02-18 Kddi株式会社 動画像符号化装置、動画像符号化方法、およびプログラム
US9313519B2 (en) * 2011-03-11 2016-04-12 Google Technology Holdings LLC Interpolation filter selection using prediction unit (PU) size
US9143799B2 (en) * 2011-05-27 2015-09-22 Cisco Technology, Inc. Method, apparatus and computer program product for image motion prediction
JP5552092B2 (ja) * 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US9264725B2 (en) 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
MX2013015056A (es) 2011-07-01 2014-06-23 Motorola Mobility Llc Filtro de interpolacion de sub-pixel conjunto para prediccion temporal.
US9159139B2 (en) * 2011-07-14 2015-10-13 Technische Universitat Berlin Method and device for processing pixels contained in a video sequence
JP5649539B2 (ja) * 2011-09-15 2015-01-07 日本放送協会 動画像符号化装置及びそのプログラム
JP5649540B2 (ja) * 2011-09-15 2015-01-07 日本放送協会 動画像符号化装置及びそのプログラム
JP5711098B2 (ja) * 2011-11-07 2015-04-30 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
US20130142251A1 (en) * 2011-12-06 2013-06-06 Sony Corporation Syntax extension of adaptive loop filter in hevc
US8824811B2 (en) * 2012-03-06 2014-09-02 Htc Corporation LCD module, portable electronic devices and displaying method thereof
US9232230B2 (en) * 2012-03-21 2016-01-05 Vixs Systems, Inc. Method and device to identify motion vector candidates using a scaled motion search
WO2013163751A1 (en) 2012-04-30 2013-11-07 Mcmaster University De-interlacing and frame rate upconversion for high definition video
US9769473B2 (en) * 2012-06-08 2017-09-19 Apple Inc. Predictive video coder with low power reference picture transformation
TWI504197B (zh) * 2012-07-03 2015-10-11 Aten Int Co Ltd 遠端管理方法及使用該方法之遠端管理裝置
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
KR102276914B1 (ko) * 2013-10-24 2021-07-13 삼성전자주식회사 비디오 인코딩 장치 그리고 이의 구동 방법
EP3090547A4 (en) * 2014-01-01 2017-07-12 LG Electronics Inc. Method and apparatus for encoding, decoding a video signal using an adaptive prediction filter
KR102332782B1 (ko) * 2014-12-15 2021-11-30 삼성전자주식회사 시각 특성을 고려한 영상 데이터 압축
AU2015409727B2 (en) 2015-09-25 2019-09-12 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
JP2018530244A (ja) 2015-09-25 2018-10-11 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 選択可能な補間フィルタを用いるビデオ動き補償のための装置および方法
WO2017052405A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2017052407A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
EP3354027A1 (en) 2015-09-25 2018-08-01 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
CN106604030A (zh) * 2015-10-16 2017-04-26 中兴通讯股份有限公司 参考图像的处理方法及装置、编码器以及解码器
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
US10404979B2 (en) * 2016-03-17 2019-09-03 Mediatek Inc. Video coding with interpolated reference pictures
WO2018097700A1 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 필터링을 위한 방법 및 장치
KR20180061069A (ko) * 2016-11-28 2018-06-07 한국전자통신연구원 필터링을 위한 방법 및 장치
US20200014918A1 (en) * 2018-07-08 2020-01-09 Mellanox Technologies, Ltd. Application accelerator
US20200014945A1 (en) * 2018-07-08 2020-01-09 Mellanox Technologies, Ltd. Application acceleration
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US11438577B2 (en) 2018-03-25 2022-09-06 B1 Institute Of Image Technology, Inc. Image encoding/decoding method and device
US11451773B2 (en) 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
KR20210100183A (ko) 2018-12-21 2021-08-13 후아웨이 테크놀러지 컴퍼니 리미티드 예측 코딩을 위한 보간 필터링 방법 및 장치
WO2020200236A1 (en) * 2019-04-01 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Using interpolation filters for history based motion vector prediction
BR112022002147A2 (pt) * 2019-08-06 2022-04-19 Op Solutions Llc Gerenciamento de resolução adaptativa com base em bloco
CN114270856A (zh) 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 视频处理中的备选插值滤波器的选择性使用
CN114424528A (zh) * 2019-09-24 2022-04-29 阿里巴巴集团控股有限公司 视频编码的运动补偿方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1408697A1 (en) * 2002-07-11 2004-04-14 Matsushita Electric Industrial Co., Ltd. Filtering intensity decision method, moving picture encoding method, and moving picture decoding method
CN1615645A (zh) * 2002-01-14 2005-05-11 诺基亚有限公司 编码动态滤波器
CN1625902A (zh) * 2002-04-24 2005-06-08 日本电气株式会社 运动图片编码和解码方法以及使用该方法的设备和程序
CN101141559A (zh) * 2007-07-24 2008-03-12 浙江大学 串行输入并行输出的视频图像亮度插值的方法和装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107345A (en) 1990-02-27 1992-04-21 Qualcomm Incorporated Adaptive block size image compression method and system
US5021891A (en) 1990-02-27 1991-06-04 Qualcomm, Inc. Adaptive block size image compression method and system
AU658432B2 (en) 1991-06-04 1995-04-13 Qualcomm Incorporated Adaptive block size image compression method and system
GB2327822B (en) * 1997-07-25 2002-02-27 Ibm Good quality video for the internet at very low bandwidth
US6775325B1 (en) * 1998-10-07 2004-08-10 Sarnoff Corporation Method and apparatus for converting the bitrate of an encoded bitstream without full re-encoding
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
KR100557911B1 (ko) 2001-09-18 2006-03-10 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
CA2491679A1 (en) * 2002-07-09 2004-01-15 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
US7408988B2 (en) * 2002-12-20 2008-08-05 Lsi Corporation Motion estimation engine with parallel interpolation and search hardware
JP4080951B2 (ja) * 2003-05-30 2008-04-23 株式会社東芝 フレーム補間方法及び装置並びに画像表示システム
US20060114995A1 (en) * 2004-12-01 2006-06-01 Joshua Robey Method and system for high speed video encoding using parallel encoders
WO2006109135A2 (en) * 2005-04-11 2006-10-19 Nokia Corporation Method and apparatus for update step in video coding based on motion compensated temporal filtering
US20090022220A1 (en) 2005-04-13 2009-01-22 Universitaet Hannover Method and apparatus for enhanced video coding
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US7778494B2 (en) * 2005-10-13 2010-08-17 Texas Instruments Incorporated FIR-based interpolation in advanced video codecs on VLIW processor
US7873229B2 (en) * 2006-02-08 2011-01-18 Moxair, Inc. Distributed processing for video enhancement and display power management
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
US20080075165A1 (en) * 2006-09-26 2008-03-27 Nokia Corporation Adaptive interpolation filters for video coding
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US8050324B2 (en) * 2006-11-29 2011-11-01 General Instrument Corporation Method and apparatus for selecting a reference frame for motion estimation in video encoding
JP2008154015A (ja) * 2006-12-19 2008-07-03 Hitachi Ltd 復号化方法および符号化方法
US8509316B2 (en) * 2007-01-09 2013-08-13 Core Wireless Licensing, S.a.r.l. Adaptive interpolation filters for video coding
KR100898176B1 (ko) * 2007-06-12 2009-05-19 한국전자통신연구원 비디오 인코딩을 위한 인터 모드 결정 방법
US20090010326A1 (en) * 2007-07-05 2009-01-08 Andreas Rossholm Method and apparatus for parallel video decoding
EP2048886A1 (en) 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US8611423B2 (en) * 2008-02-11 2013-12-17 Csr Technology Inc. Determination of optimal frame types in video encoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1615645A (zh) * 2002-01-14 2005-05-11 诺基亚有限公司 编码动态滤波器
CN1625902A (zh) * 2002-04-24 2005-06-08 日本电气株式会社 运动图片编码和解码方法以及使用该方法的设备和程序
EP1408697A1 (en) * 2002-07-11 2004-04-14 Matsushita Electric Industrial Co., Ltd. Filtering intensity decision method, moving picture encoding method, and moving picture decoding method
CN101141559A (zh) * 2007-07-24 2008-03-12 浙江大学 串行输入并行输出的视频图像亮度插值的方法和装置

Also Published As

Publication number Publication date
JP2011527553A (ja) 2011-10-27
RU2491758C2 (ru) 2013-08-27
US20100002770A1 (en) 2010-01-07
CN102084655A (zh) 2011-06-01
RU2011104078A (ru) 2012-08-20
JP5280531B2 (ja) 2013-09-04
KR101269334B1 (ko) 2013-05-29
WO2010005808A1 (en) 2010-01-14
EP2311263A1 (en) 2011-04-20
CA2729287A1 (en) 2010-01-14
TW201008291A (en) 2010-02-16
US8811484B2 (en) 2014-08-19
KR20110026020A (ko) 2011-03-14
BRPI0914218A2 (pt) 2015-11-03
TWI401961B (zh) 2013-07-11

Similar Documents

Publication Publication Date Title
CN102084655B (zh) 通过过滤器选择进行的视频编码
CN102265619B (zh) 切换式内插滤波器中的偏移计算方法
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US8073048B2 (en) Method and apparatus for minimizing number of reference pictures used for inter-coding
CN101523922B (zh) 具有用于经运动补偿预测的自适应滤波的视频编码
US8630346B2 (en) System and method for introducing virtual zero motion vector candidates in areas of a video sequence involving overlays
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
US8817872B2 (en) Method and apparatus for encoding/decoding multi-layer video using weighted prediction
US7426308B2 (en) Intraframe and interframe interlace coding and decoding
US7848426B2 (en) Motion vector estimation method and encoding mode determining method
EP1737243A2 (en) Video coding method and apparatus using multi-layer based weighted prediction
US9392280B1 (en) Apparatus and method for using an alternate reference frame to decode a video frame
US20060245495A1 (en) Video coding method and apparatus supporting fast fine granular scalability
US20030156646A1 (en) Multi-resolution motion estimation and compensation
US20100232507A1 (en) Method and apparatus for encoding and decoding the compensated illumination change
US8781004B1 (en) System and method for encoding video using variable loop filter
JP2013513999A (ja) 符号化ビットストリームのマージ
JP2006217560A (ja) 参考フレームバッファメモリのサイズとアクセス量を減らす方法
US8542735B2 (en) Method and device for coding a scalable video stream, a data stream, and an associated decoding method and device
US20090028241A1 (en) Device and method of coding moving image and device and method of decoding moving image
EP1889487A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
Ratnottar et al. Comparative study of motion estimation & motion compensation for video compression
JP2005012838A (ja) 画像符号化装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant