CN101523922A - 具有用于经运动补偿预测的自适应滤波的视频编码 - Google Patents

具有用于经运动补偿预测的自适应滤波的视频编码 Download PDF

Info

Publication number
CN101523922A
CN101523922A CNA2007800380009A CN200780038000A CN101523922A CN 101523922 A CN101523922 A CN 101523922A CN A2007800380009 A CNA2007800380009 A CN A2007800380009A CN 200780038000 A CN200780038000 A CN 200780038000A CN 101523922 A CN101523922 A CN 101523922A
Authority
CN
China
Prior art keywords
filter
block
video
motion
filter mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800380009A
Other languages
English (en)
Other versions
CN101523922B (zh
Inventor
叶琰
鲍易亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101523922A publication Critical patent/CN101523922A/zh
Application granted granted Critical
Publication of CN101523922B publication Critical patent/CN101523922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

本发明是针对支持正常单层视频编码或具有例如信噪比(SNR)可缩放性和空间可缩放性等特征的可缩放视频编码的视频编码技术。视频编码装置可在包含运动补偿模块和滤波器的视频解码器中实施这些技术。所述运动补偿模块从数字视频信号解码预测帧，其中所述运动补偿模块从编码在所述数字视频信号中的运动向量确定帧间编码帧的每一区块。所述滤波器基于从所述数字视频信号编码或推断的信号自适应地对帧间编码区块中的一者或一者以上进行滤波。在一些情况下，所述视频解码器可基于所述信号自适应地应用不同滤波器功能，一者在水平方向上，且另一者在垂直方向上。通过实施这些技术，所述视频解码器可增加所得经解码数字视频信号的视觉质量，同时降低复杂性。

Description

具有用于经运动补偿预测的自适应滤波的视频编码
本申请案主张2006年10月13日申请的第60/829,494号美国临时申请案和2007年5月15日申请的第60/938,151号美国临时申请案的权益，所述临时申请案的每一者的完整内容以引用的方式并入本文中。
技术领域
本发明涉及数字视频，且更明确地说，涉及数字视频的编码。
背景技术
可将数字视频能力并入较宽范围的装置中，包含数字电视、数字直播系统、无线通信装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、数码相机、数字记录装置、视频游戏装置、蜂窝式或卫星无线电电话等。数字视频装置通常实施视频压缩技术，例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分(高级视频编码(AVC))，以便更高效地传输和接收数字视频信号。视频压缩技术执行空间和时间预测以减少或去除视频信号中固有的冗余。可缩放视频编码技术经由基础层和一个或一个以上增强层来实现额外特征，例如空间、时间和/或信噪比(SNR)可缩放性。
在视频编码中，视频压缩大体上包含运动估计和运动补偿。运动估计追踪视频对象在连续视频帧之间的移动。运动估计产生运动向量，所述运动向量指示视频区块相对于一个或一个以上参考帧中的相应视频区块的位移。运动补偿使用运动向量来从一个或一个以上参考帧产生一预测视频区块。另外，运动补偿通过从原始视频区块减去预测视频区块来形成残余视频区块。视频编码器应用变换、量化和熵编码处理来进一步减小残余区块的位速率。视频解码器执行逆操作以使用所述区块中的每一者的运动向量和残余信息来重构经编码的视频。
发明内容
一般来说，本发明是针对支持视频解码器中的经运动补偿预测区块的自适应滤波的视频编码技术。可应用经运动补偿预测区块的自适应滤波来提高预测准确性。另外或替代地，可应用自适应滤波来降低复杂性。
在一个方面中，本发明提供一种视频编码装置，其包括：运动补偿模块，其将运动补偿应用于视频帧内的区块以产生预测视频区块；以及控制模块，其自适应地调整所述运动补偿以基于滤波器模式决策将第一滤波器模式或第二滤波器模式应用于所述区块中的每一者。
在另一方面中，本发明提供一种方法，其包括：将运动补偿应用于视频帧内的区块以产生预测视频区块；以及自适应地调整所述运动补偿以基于滤波器模式决策将第一滤波器模式或第二滤波器模式应用于所述区块中的每一者。
在另一方面中，本发明提供一种视频编码装置，其包括运动补偿模块，所述运动补偿模块对视频帧内的区块执行运动补偿以产生视频区块，其中所述运动补偿模块包含滤波器，且所述运动补偿模块针对指向整数像素位置的运动向量将所述滤波器应用于区块。
在一额外方面中，本发明提供一种集成电路装置，其包括：运动补偿模块，其将运动补偿应用于视频帧内的区块以产生预测视频区块；以及控制模块，其自适应地调整所述运动补偿以基于滤波器模式决策将第一滤波器模式或第二滤波器模式应用于所述区块中的每一者。
在另一方面中，本发明提供一种无线通信装置手持机，其包括：运动补偿模块，其将运动补偿应用于视频帧内的区块以产生预测视频区块；以及控制模块，其自适应地调整所述运动补偿以基于滤波器模式决策将第一滤波器模式或第二滤波器模式应用于所述区块中的每一者。
在另一方面中，本发明提供一种方法，其包括：对视频帧内的区块执行运动补偿以产生预测视频区块；以及针对指向整数像素位置的运动向量将滤波器应用于区块。
在另一方面中，本发明提供一种集成电路装置，其包括运动补偿模块，所述运动补偿模块对视频帧内的区块执行运动补偿以产生预测视频区块，其中所述运动补偿模块包含滤波器，且所述运动补偿模块针对指向整数像素位置的运动向量将所述滤波器应用于区块。
在另一方面中，本发明提供一种无线通信装置手持机，其包括运动补偿模块，所述运动补偿模块对视频帧内的区块执行运动补偿以产生预测视频区块，其中所述运动补偿模块包含滤波器，且所述运动补偿模块针对指向整数像素位置的运动向量将所述滤波器应用于区块。
本发明中所描述的技术可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，那么可在一个或一个以上处理器(例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP))中执行所述软件。执行所述技术的软件可最初存储在计算机可读媒体中，且加载在处理器中并在处理器中执行。因此，本发明还涵盖一种包括计算机可读媒体的计算机程序产品，所述计算机可读媒体包括用以执行如本发明中所描述的技术的指令。
附图和以下描述中陈述本发明的一个或一个以上方面的细节。其它特征、目标和优势将从所述描述和图式且从权利要求书中显而易见。
附图说明
图1是说明视频编码与解码系统的框图。
图2是说明视频编码器的实例的框图。
图3是说明通过具有不同运动向量的较小子区块形成一预测区块的图。
图4是说明经配置以支持自适应滤波以产生预测区块的视频解码器的实例的框图。
图5是说明经配置以支持自适应滤波以产生预测区块的视频解码器的另一实例的框图。
图6是说明经配置以支持使用自适应滤波来产生预测区块的可缩放视频编码(SVC)的视频解码器的实例的框图。
图7是说明经平滑参考处理在SVC增强层编码中的应用的图。
图8是说明使用自适应运动补偿的经平滑参考处理在SVC增强层编码中的应用的图。
图9是说明用于亮度1/2像素内插的一维、六分接头滤波器的实例特性的图。
图10是说明经配置以支持不同自适应滤波器在预测区块的垂直和水平维度中应用以适应具有整数或分数像素精确度的运动向量分量的视频解码器的实例的框图。
图11是说明视频解码器在以帧间编码帧的区块级执行自适应运动补偿的过程中的示范性操作的流程图。
图12是说明视频解码器在以帧间编码帧的区块级使用组合式经平滑运动补偿单元来执行平滑和运动补偿的过程中的示范性操作的流程图。
图13是说明视频解码器在于垂直和水平维度中用不同滤波器来执行自适应运动补偿的过程中的示范性操作的流程图。
具体实施方式
大体上，本发明是针对支持视频解码器中的经运动补偿预测区块的自适应滤波的视频编码技术。可应用经运动补偿预测区块的自适应滤波来提高预测准确性且/或降低复杂性。可动态地调整滤波模式，例如，以帧级、程序片级、宏区块(MB)级或区块级。滤波模式决策可由编码器在经编码的位流中明确地表明。或者，可基于视频序列的统计数据和/或特性在解码器侧确定模式决策。
在第一滤波模式下，视频解码器可应用规则运动补偿以形成经运动补偿预测区块。在第二滤波模式下，视频解码器可将规则运动补偿加上额外滤波器应用于所述经运动补偿预测区块。额外滤波器可具有不同特性。举例来说，所述额外滤波器可为低通滤波器，在以下论述中，其也可被称为平滑滤波器。在一些情况下，平滑滤波器可为3分接头滤波器。在第二滤波模式下，视频解码器可应用与规则运动补偿滤波器级联的额外滤波器或通过使用组合所述规则运动补偿滤波器与所述额外滤波器的不同滤波器。
在一些情况下，可在经运动补偿预测区块的水平和垂直方向上应用不同滤波器。举例来说，对于具有整数像素精确度的运动向量分量，可应用例如3分接头滤波器的平滑滤波器，而对于具有分数像素精确度的运动向量分量，可应用例如2分接头滤波器的内插滤波器(例如，双线性滤波器)。所述不同滤波器可以是分离的或形成组合式滤波器的一部分。
自适应滤波可提高视觉质量和编码效率。举例来说，可以MB或区块级来应用自适应滤波，从而提供个别区块的精调谐滤波。宏区块(MB)可指代视频帧的16乘16像素区域，而区块或子区块可用于指代较小区域。而且，当需要时(而非全部时间)，可应用额外或不同滤波，从而降低复杂性。
另外，可将视频编码技术应用于单层视频或多层可缩放视频。如上文所提及，运动补偿滤波器与额外滤波器可被组合，而不是被级联地应用，从而进一步降低复杂性。举例来说，对于可缩放视频编码，经组合的运动补偿滤波器模块可代替经级联的运动补偿滤波器与额外滤波器(例如，平滑滤波器)。
图1是说明视频编码与解码系统10的框图。如图1中所示，系统10包含源装置12，其经由通信信道16向接收装置14传输经编码的视频。源装置12可包含视频源18、视频编码器20和传输器22。在一些方面中，传输器22可为无线传输器。接收装置14可包含接收器24、视频解码器26和视频显示装置28。在一些方面中，接收器24可为无线接收器，例如无线通信装置手持机中的无线接收器。系统10可经配置以支持经运动补偿预测区块的自适应滤波以改进视觉质量和处理效率两者。
视频解码器26可将运动补偿应用于视频帧内的区块以产生预测视频区块，且自适应地调整运动补偿以基于滤波器模式决策将第一滤波器模式或第二滤波器模式应用于所述区块中的每一者。在第二滤波器模式下，视频解码器26可自适应地将额外滤波应用于一些视频区块。在第一滤波器模式下，视频解码器26可应用规则运动补偿，其可包含内插滤波(如果运动向量在垂直维度、水平维度或两者中参考分数像素位置)。在第二滤波器模式下，视频解码器26可将运动补偿加上额外滤波器应用于经运动补偿预测区块。举例来说，额外滤波器可为平滑滤波器。或者，在第二滤波器模式下，视频解码器26可应用不同的滤波器，所述滤波器组合规则运动补偿与额外滤波(例如，平滑)。
视频解码器26可在逐区块、逐宏区块、逐程序片或逐帧基础上自适应地调整运动补偿。滤波器模式决策可基于(例如，由视频编码器20)编码在视频帧中的信号。举例来说，视频编码器20可在经编码的视频中包含指示视频解码器26应调整运动补偿以应用第一滤波器模式还是第二滤波器模式的旗标、命令或其它指令。或者，视频解码器26可基于对视频帧的一个或一个以上特性的分析做出滤波器模式决策。举例来说，视频解码器26可分析在解码后获得的经重构的视频区块，以确定是否应应用第二滤波模式。
在第一滤波器模式下，对于具有分数像素值的运动向量，视频解码器26可(例如)用内插滤波来应用规则运动补偿。举例来说，在H.264/MPEG-4第10部分(高级视频编码(AVC))方案中，用于在1/2像素位置处内插一像素的运动补偿滤波器可包括6分接头滤波器。分接头的数目通常指示数学上表示滤波器所需的系数的数目。与具有较低分接头数目的滤波器相比，具有较高分接头数目的滤波器通常包括较复杂的滤波器。因此，与2分接头滤波器或3分接头滤波器相比，6分接头滤波器包括较复杂的滤波器。
在第二滤波器模式下，视频解码器26可应用额外滤波器，例如平滑滤波器。举例来说，所述平滑滤波器可包括3分接头滤波器。可在第二滤波器模式下提供所述平滑滤波器作为额外滤波器，例如，除运动补偿滤波器之外。或者，可将平滑滤波器与用于规则运动补偿的内插滤波器组合。运动补偿中所使用的组合式滤波器因此表示不同的滤波器(例如，2分接头滤波器)，用于在局部像素位置处内插一像素。示范性2分接头滤波器为双线性滤波器。因此，视频解码器26所应用的第二滤波器模式可包含通过使用运动补偿滤波器和额外平滑滤波器，或通过使用组合运动补偿与平滑的不同滤波器，而应用运动补偿滤波器和平滑滤波器两者。在每一情况下，例如平滑的额外滤波是在第二滤波器模式下提供的。
在第二滤波器模式下，视频解码器26可将平滑滤波器应用于两个分量都具有整数像素精确度的运动向量的两个维度。或者，对于在水平维度和垂直维度中具有整数像素精确度的运动向量，可在水平维度或垂直维度或两者中应用例如3分接头滤波器的平滑滤波器。如果运动向量在此些维度中具有分数精确度，那么可应用例如双线性滤波器的2分接头运动补偿滤波器以在所述维度的至少一者中进行内插。对于在两个维度中都具有分数像素精确度的运动向量，可针对垂直维度和水平维度两者应用2分接头内插滤波器。类似地，对于在两个维度中都具有整数像素精确度的运动向量，可在垂直维度和水平维度两者中应用平滑滤波器。
举例来说，当运动向量在水平维度中指向整数像素位置且在垂直维度中指向分数像素位置时，视频解码器26可在水平维度中应用平滑滤波器，且在垂直维度中应用例如双线性滤波器的2分接头滤波器。或者，当运动向量在垂直维度中指向整数像素位置且在水平维度中指向分数像素位置时，视频解码器26可在垂直维度中应用平滑滤波器，且在水平维度中应用例如双线性滤波器的2分接头滤波器。或者，视频解码器26可在两个维度中都应用平滑滤波器或内插滤波器，视运动向量的整数精确度或分数精确度而定。
自适应滤波器调整(例如，以帧级、程序片级、宏区块(MB)级或区块级)可提高编码效率和处理效率两者。通过自适应滤波，当需要时(而不是以全部时间为基础)，可将额外或不同滤波应用于帧、程序片、MB或区块，从而减少处理额外开销。明确地说，第一滤波模式可省略额外滤波器，而第二滤波模式可能需要额外滤波器来提高编码效率。如上文所提及，在一些方面中，额外滤波器可为平滑滤波器。平滑滤波器可对减少或消除来自经运动补偿预测区块的量化噪声或其它假影有用。
视频解码器26可将自适应滤波技术应用于单层视频或多层可缩放视频。在一些情况下，视频解码器26可组合运动补偿滤波器与平滑滤波器，而不是应用级联的滤波器，从而进一步降低复杂性。举例来说，对于可缩放视频编码(SVC)，视频解码器26可经配置以应用支持简化处理的组合式经平滑运动补偿滤波器模块。
在图1的实例中，通信信道16可包括任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线，或者无线与有线媒体的任何组合。信道16可形成基于分组的网络(例如，局域网络、广域网络或例如因特网的全局网络)的一部分。通信信道16通常表示任何合适的通信媒体或者不同通信媒体的集合，用于将视频数据从源装置12传输到接收装置14。
源装置12产生用于传输到目的装置14的视频。然而，在一些情况下，装置12、14可以大体上对称的方式操作。举例来说，装置12、14中的每一者可包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单路或双路视频传输，以(例如)用于视频流式传输、视频广播或视频电话。
视频源18可包含视频捕捉装置，例如一个或一个以上视频相机、含有先前捕捉到的视频的视频档案或者来自视频内容提供者的直播视频馈入。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频与计算机产生的视频的组合。在一些情况下，如果视频源18是相机，那么源装置12和接收装置14可形成所谓的相机电话或视频电话，包含卫星或移动无线电话，或其它无线通信装置。因此，在一些方面中，本发明中所描述的技术可在移动无线通信装置手持机(例如，移动电话手持机)内实施。在每一情况下，被捕捉到、预捕捉到或计算机产生的视频可由视频编码器20编码，以用于经由传输器22、信道16和接收器24从视频源装置12传输到视频接收装置14的视频解码器26。显示装置28可包含多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器或有机发光二极管(OLED)显示器。
在本发明的一些方面中，视频编码器20和视频解码器26可经配置以支持可缩放视频编码以获得空间、时间和/或信噪比(SNR)可缩放性。编码器20和解码器26可通过支持基础层和一个或一个以上可缩放增强层的编码、传输和解码，来支持各种程度的可缩放性。对于可缩放编码，基础层携载具有最小质量级的视频数据。一个或一个以上增强层携载额外位流以支持较高的空间、时间或SNR级。
视频编码器20和视频解码器26可根据例如MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分(AVC)等视频压缩标准而操作。尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器22可分别与音频编码器和解码器整合，且包含适当的MUX-DEMUX单元或其它硬件和软件，以处置共用数据流或单独数据流中的音频和视频两者的编码。如果适用的话，MUX-DEMUX单元可遵照ITU H.223多路复用器协议或其它协议(例如，用户数据报协议(UDP))。
H.264标准由ITU-T视频编码专家组和ISO/IEC运动图像专家组(MPEG)开发，作为被称为联合视频团队(JVT)的合作组织的产品。日期为2005年3月的ITU-T建议H.264“一般视听服务的高级视频编码(Advanced video coding for generic audiovisualservices)”中描述H.264标准，所述标准在本文中可被称为H.264标准或H.264规范，或者H.264/AVC标准或规范。在一些方面中，本发明中所描述的技术可应用于大体遵照H.264标准的装置，或者并不大体遵照H.264标准的其它装置。
联合视频团队(JVT)继续从事对H.264/MPEG-4 AVC的可缩放视频编码(SVC)扩展。H.264/MPEG-4AVC和演进式SVC扩展两者的规范呈联合草案(JD)的形式。由JVT创建的联合可缩放视频模型(JSVM)实施供可缩放视频中使用的工具，所述工具可在系统10内用于本发明中所描述的各种编码任务。关于SVC的详细信息可在联合草案文献中找到，且明确地说，在联合草案7(JD7)中找到，JD7的作者是托马斯·韦根(Thomas Wiegand)、加里·沙利文(Gary Sullivan)、朱利安·赖歇(Julien Reichel)、黑寇·施瓦茨(Heiko Schwarz)和马蒂亚斯·维恩(Mathias Wien)(“SVC修订的联合草案7(第2版)(Joint Draft 7 of SVC Amendment(revision 2))”，JVT-T201r2，2006年7月，克拉根福，奥地利)。
在一些方面中，对于视频广播，本发明涵盖对增强型H.264视频编码的应用，以使用待作为技术标准TIA-1099(“FLO规范”)出版的仅前向链路(FLO)空中接口规范(“用于地面移动多媒体多播的仅前向链路空中接口规范(Forward Link Only Air InterfaceSpecification for Terrestrial Mobile Multimedia Multicast)”)来在地面移动多媒体多播(TM3)系统中传递实时视频服务。FLO规范包含界定适合FLO空中接口的位流语法和语义以及解码处理的实例。或者，可根据例如DVB-H(数字视频广播-手持型)、ISDB-T(整合服务数字广播-地面型)或DMB(数字媒体广播)等其它标准来广播视频。因此，在一些情况下，源装置12可以是移动无线终端，例如无线通信装置手持机、视频流式传输服务器或视频广播服务器。然而，本发明中所描述的技术不限于任何特定类型的广播、多播或点对点系统。
可将视频编码器20和视频解码器26每一者实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。因此，本文中所描述的技术可在一个或一个以上集成电路装置内实施，所述一个或一个以上集成电路装置被总称为集成电路装置。此集成电路装置可提供于通信装置(例如，无线通信装置手持机)内。视频编码器20和视频解码器26中的每一者可包含在一个或一个以上编码器或解码器中，其任一者可作为组合式编码器/解码器(CODEC)的一部分整合在相应的移动装置、订户装置、广播装置、服务器或类似物中。另外，视频源装置12和视频接收装置14每一者可根据情况包含用于传输和接收经编码视频的适当调制、解调、频率转换、滤波和放大器组件，包含足以支持无线通信的射频(RF)无线组件和天线。然而，为了易于说明，图1中未展示此些组件。
视频序列包含一系列视频帧。视频编码器20对个别视频帧内的像素区块进行操作，以便对视频数据进行编码。视频区块可具有固定或变化的大小，且可根据指定的编码标准在大小上有所不同。举例来说，ITU-T H.264标准支持各种区块大小(例如，对于亮度分量为16乘16、8乘8、4乘4，且对于色度分量为8×8)的帧内预测，以及各种区块大小(例如，对于亮度分量为16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4，且对于色度分量为对应的经按比例缩放的大小)的帧间预测。较小的视频区块可提供较佳的分辨率，且可用于视频帧的包含较高细节等级的位置。一般来说，可将宏区块和各种较小区块视为视频区块。在一些情况下，较小区块可被称为子区块。在预测后，如果使用帧内_16×16预测模式，那么可对8×8残余区块或4×4残余区块执行变换，且可将额外变换应用于色度分量或亮度分量的4×4区块的DC系数。
图2是说明视频编码器20的实例的框图。视频编码器20可执行视频帧内的区块的帧内编码和帧间编码。内部编码依靠空间预测来减少或去除给定视频帧内的视频中的空间冗余。帧间编码依靠时间预测来减少或去除邻近帧内的视频中的时间冗余。对于帧间编码，视频编码器20执行运动估计以跟踪匹配视频区块在两个或两个以上邻近帧之间的移动。
如图2中所示，视频编码器20接收待编码的视频帧内的当前视频区块21。在图2的实例中，视频编码器20包含运动估计单元23、参考帧存储器25、运动补偿单元27、区块变换单元29、量化单元31、逆量化单元33、逆变换单元35和熵编码单元37。视频编码器20还包含加法器39和加法器41。图2说明用于视频区块的帧间编码的视频编码器20的时间预测组件。尽管为了易于说明在图2中未展示，但视频编码器20还可包含用于一些视频区块的帧内编码的空间预测组件。
运动估计单元23将视频区块21与一个或一个以上邻近视频帧中的区块进行比较以产生一个或一个以上运动向量。可从参考帧存储器25检索所述邻近帧。对于可变大小(例如，16×16、16×8、8×16、8×8或更小的区块大小)的区块，可执行运动估计。运动估计单元23(例如)基于速率失真模型而识别邻近帧中最接近匹配当前视频区块21的区块，且确定所述区块之间的位移。在此基础上，运动估计单元23产生指示所述位移的量值和轨线的运动向量。
运动向量可具有半像素或四分之一像素精确度，或者甚至更细的精确度，从而允许视频编码器20跟踪具有高于整数像素位置的精确度的运动，且获得较佳的预测区块。当使用具有分数像素值的运动向量时，可在运动补偿单元27中进行内插操作。举例来说，在AVC/H.264标准中，为了获得半像素位置处的亮度信号，可使用具有系数(1，-5，20，20，-5，1)/32的6分接头维纳(Wiener)滤波器。为了获得四分之一像素位置处的亮度信号，可使用对整数像素位置处的值和半像素位置处的内插值的双线性滤波。双线性滤波器还可用于对色度分量的分数像素内插中，色度分量可具有至多达1/8像素精确度。
运动估计单元23使用速率失真模型来识别用于视频区块的最佳运动向量。使用所得的运动向量，运动补偿单元27通过运动补偿而形成预测视频区块。在加法器39处，视频编码器20通过从原始当前视频区块21减去由运动补偿单元27产生的预测视频区块而形成残余视频区块。区块变换单元29将变换应用于残余区块。量化单元31量化变换系数以进一步减小位速率。熵编码单元37对经量化的系数进行熵编码以更进一步减小位速率。视频解码器26执行逆操作以重构经编码的视频。
逆量化单元33和逆变换单元35分别应用逆量化和逆变换，以重构残余区块。加法器41使经重构的残余区块与由运动补偿单元27产生的经运动补偿的预测区块相加，以产生经重构视频区块以存储在参考帧存储器25中。所述经重构视频区块由运动估计单元23和运动补偿单元27用来对后续视频帧中的区块进行编码。
当对当前视频帧21中的给定区块执行运动补偿时，运动补偿单元27可使用一组固定的滤波器来内插来自参考帧的参考区块。如果当前区块是被单向预测的，那么需要一个参考区块，或者如果当前区块是被双向预测的，那么需要两个参考区块。在H.264中，在一些情况下，可使用前向和后向方向上的多个参考帧。运动补偿单元27中所使用的实际滤波器视运动向量的分数部分而定。举例来说，如果运动向量指向给定维度中的参考帧中的半像素位置，那么为了获得所述半像素位置的值，在所述具有半像素运动向量的维度中使用例如(1，-5，20，20，-5，1)/32的6分接头滤波器。如果两个运动向量分量都指向整数位置，那么可在不执行任何内插滤波操作的情况下，直接使用来自参考帧存储器25中的参考帧的像素值。
图3是说明通过具有不同运动向量的区块形成一预测区块的图。在图3的实例中，8×16预测区块43由来自参考帧49的两个8×8子区块45、47的组合形成，每一子区块具有不同的运动向量(MV)。举例来说，8×8区块45具有子区块运动向量(0，-6)，且8×8子区块47具有区块运动向量(-2，-6)。
如上文所论述，通过取得由运动补偿单元27产生的经运动补偿预测视频区块与由逆量化单元33和逆变换单元35产生的经重构残余区块的总和来形成经重构的视频区块，其中如果有必要的话，执行额外的剪裁(clipping)操作。经重构的区块接着存储在参考帧存储器25中，以供未来预测使用。经重构的区块在直接用于产生预测视频区块时，可能含有量化噪声和不合需要的假影。
对预测视频区块应用平滑操作可减轻此些假影。而且，预测视频区块可由以不同运动向量运动补偿的子区块形成，(例如)如图3中所示。因此，沿这些子区块的边界可能存在不连续性。在解块滤波器参数视运动信息而定的情况下，应用环内去块滤波器(例如，如在AVC/H.264中)可减轻经重构区块内的不连续性问题。然而，去块滤波器可能具有较高的计算复杂性。另外，例如H.264中的去块滤波器经设计以用于改进当前帧的视觉质量而不是更改所述帧以使得可较佳地预测未来帧。因此，将平滑操作应用于从运动补偿获得的预测区块(例如，经由低通滤波器)可提供对当前区块的较佳预测。
视可能存在于个别预测区块中的噪声的性质和量值而定，应用额外平滑滤波可能是有益的或可能是无益的。如果为了更改参考区块以使其更接近地匹配当前区块而应用平滑滤波器，那么上述情况也是真的，因为参考帧中且当前帧中的对象可能经历不同的空间变换。因此，依据区块的实际内容，平滑可对编码处理具有不同影响。
根据本发明的各个方面，有可能自适应地决定应使用规则预测区块还是经滤波(经平滑)的预测区块。根据第一滤波器模式，规则预测区块的使用可涉及运动补偿的应用。如果相关运动向量指定分数像素值，那么第一滤波器模式可涉及内插滤波器的应用。根据第二滤波器模式，预测区块的平滑可涉及额外滤波器的应用。滤波器模式决策可经编码且在经编码的视频位流中发送。或者，可使用接收到的视频的统计数据和/或特性在视频解码器处推断出滤波器模式决策。
在一些情况下，额外滤波(例如用于对预测性区块进行平滑的低通滤波)可改进数字视频(当显示于显示装置28上时)的所得视觉质量。举例来说，平滑滤波器(例如3分接头[1，2，1]滤波器)的应用可减少出现在预测性帧中的量化噪声和假影数目。而且，此平滑滤波器的应用可产生运动模糊的效应，使得参考帧与当前帧较佳地相互匹配。
系统10可经配置以支持经补偿以产生预测区块的运动的自适应滤波，其改进视觉质量和处理效率两者。举例来说，视频解码器26可自适应地调整运动补偿以在无额外滤波的情况下应用第一滤波器模式或在具有额外滤波的情况下应用第二滤波器模式。可在逐区块、逐宏区块、逐程序片或逐帧基础上调适滤波器模式，且滤波器模式可基于编码于视频帧中的信号或对视频帧的一个或一个以上特性的分析。在一些情况下，视频解码器26可组合运动补偿滤波器与平滑滤波器，而不是应用级联的滤波器，从而进一步降低复杂性。
图4是说明经配置以支持自适应滤波以产生预测区块的视频解码器26a的实例的框图。在图4的实例中，视频解码器26a基于由编码在视频位流中的滤波器模式信号指示的滤波器模式决策而实施自适应滤波。如图4中所示，视频解码器26A包含运动补偿模块30、熵解码模块32、逆量化模块34、逆变换模块36、加法器S1、去块滤波器38、参考帧存储器40、运动补偿单元42、平滑滤波器44和控制模块46。
在第一滤波器模式下，视频解码器26A执行规则运动补偿，其可包含对分数像素值的内插滤波。在第二滤波器模式下，视频解码器26A用额外滤波来执行运动补偿。平滑滤波器44表示将在第二滤波器模式下应用的示范性额外滤波器。然而，本发明不应限于平滑滤波器44，而是可包含包括不同滤波特性的其它额外滤波器。尽管图4中未展示，但视频解码器26A还支持经帧内编码(I)区块的解码。然而，为了易于说明，图4集中在经帧间编码(P或B)区块的解码。
在图4的实例中，熵解码模块32将熵解码应用于经编码的视频以产生经量化的变换系数、运动向量和滤波器模式信号。逆量化模块34和逆变换模块36将变换系数转换为残余区块信息。运动补偿模块30形成预测性区块，其与所述残余区块信息求和，如由加法器S1表示。去块滤波器38对所得的经求和区块进行滤波以去除“块状”假影。“块状”假影常以较低的位速率出现。示范性逆量化、逆变换和去块滤波器技术在H.264/MPEG-4第10部分AVC标准中被描述，尽管本发明中所描述的技术可与其它视频压缩标准或技术一起使用。由去块滤波器38滤波的视频帧存储于参考帧存储器40中。参考帧存储器40可包括能够存储用于进一步预测的参考帧的存储器。
运动补偿模块30包括运动补偿单元42，其从熵解码模块32接收运动向量且从参考帧存储器40接收参考帧以产生预测性区块。举例来说，运动补偿单元42将运动向量应用于参考帧以选择匹配区块，且提供所选择的区块作为预测性区块，以用于与逆变换模块36所产生的残余信息求和，如由加法器S1表示。在一些情况下，运动补偿单元42可应用内插滤波器来从参考帧中的区块产生预测性区块。举例来说，为了获得分数像素位置处的视频数据，运动补偿单元42可包含内插滤波器。因此，第一滤波器模式可以是在具有或不具有内插滤波(视适用的运动向量指向整数像素值还是分数像素值而定)的情况下执行规则运动补偿的模式。运动补偿模块30可直接在第一滤波器模式下提供预测性区块，或在第二滤波器模式44下将平滑滤波器44应用于预测性区块。因此，第二滤波器模式可以是大体上与第一滤波器模式相同的模式，但外加了平滑滤波器44或其它滤波器。
控制模块46从熵解码模块32接收滤波器模式信号，且控制运动补偿模块30内的切换器50以选择不应用额外平滑滤波器44的第一滤波器模式或将额外平滑滤波器44应用于由运动补偿单元42产生的预测性区块的第二滤波模式。控制模块46从经解码的位流检索滤波器模式信号，以确定编码器已指示第一滤波器模式还是第二滤波器模式，并做出适当的滤波器模式决策。
尽管出于说明的目的，第一滤波器模式或第二滤波器模式的选择由切换器50表示，但所述选择可以是软件功能且无需由实际切换器实现。另外，尽管在图4的实例中，控制模块46从经熵解码的位流检索滤波器模式信号，但可在逆量化或逆变换之前或之后，从经解码的视频信号的统计数据和/或特性确定滤波器模式信号。
熵解码模块32将运动向量传输到运动补偿单元42，运动补偿单元42执行运动补偿技术以从存储在参考帧存储器40中的参考帧产生预测性区块。如上文所述的平滑滤波器44是可根据本发明的原理自适应地应用的额外滤波器的实例。在一些方面中，视频解码器26A可基于滤波器模式决策以经预测帧的区块级自适应地应用平滑滤波器44。换句话说，编码器20可在逐区块基础上调整滤波器模式信号。或者，可在逐帧、逐程序片或逐宏区块基础上调整滤波器模式信号。因此，运动补偿模块30可以帧、程序片、宏区块或区块级自适应地应用平滑滤波器44。
视频编码器20可基于对正被编码的数字视频的一个或一个以上特性的分析而产生滤波器模式决策。预测性区块的特定统计数据可用于确定将使用的滤波器模式。举例来说，预测性区块中的低通频率分量和高通频率分量的量可用于导出滤波器模式。如果预测性区块中存在大量的高通频率分量，那么可应用第二滤波器模式，(例如)以提供平滑。或者，如果预测性区块中的高频分量的量并不大，那么可应用第一滤波器模式。可使用预测性区块和/或相邻视频区块的其它统计数据或特性。举例来说，如果预测性区块在运动补偿期间由较小的(例如，4×4)区块分区形成，那么可应用第二滤波器模式。或者，如果预测性区块并非由较小的区块分区形成，那么可应用第一滤波器模式。
当经编码的位流中未传输滤波器模式信号时，解码器侧的控制模块46可使用源装置12中的编码器在视频的编码期间可用来决定滤波器模式的视频信号的大体上相同的统计数据/或特性(如上所述)，基于对经由信道16接收到的经编码视频的分析而推断出滤波器模式信号。因此，如同编码器，解码器26A可分析预测性区块以确定高频分量和低频分量的存在，且/或确定区块是否由较小的区块分区组成。在此基础上，解码器26以与编码器大体上相同的方式选择适当的滤波器模式。一般来说，编码器20和解码器26应使用相同的信息，且遵循同一逻辑以导出滤波器模式，以便防止解码器中的漂移。
图5是说明视频解码器26B的另一示范性方面的框图。视频解码器26B可大体上类似于图4的视频解码器26A。然而，视频解码器26B进一步包含经平滑运动补偿模块52，所述模块组合与规则运动补偿相关联的内插滤波与额外的平滑。当控制模块46产生指示第一滤波器模式的滤波器模式决策时，运动补偿模块30选择运动补偿单元42以在无额外滤波的情况下产生预测性区块。在此情况下，运动补偿单元42执行规则运动补偿，其可包含对具有分数像素精确度的运动向量的内插滤波。然而，当控制模块46产生指示第二滤波器模式的滤波器模式决策时，运动补偿模块30选择经平滑运动补偿滤波器52。因此，控制模块46选择应使用规则预测区块还是经平滑预测区块。
实际上，经平滑运动补偿滤波器52可组合运动补偿单元42与平滑滤波器的特征。以此方式，在第二滤波器模式下，平滑可结合内插滤波而应用，而不是以级联的方式。在具有单个滤波器模块而不是两个或两个以上滤波器模块的情况下，可降低处理复杂性。为了获得分数像素位置处的视频，运动补偿单元42可包含内插滤波器的功能性。当应用例如平滑滤波器的额外滤波器时，可将其与运动补偿单元42中的内插滤波器组合以形成经平滑运动补偿滤波器48，且从而降低系统复杂性。经平滑运动补偿模块52基于多个假定和近似法(将在下文对其进行描述)而组合运动补偿单元42与平滑滤波器的功能性。
检视内插滤波器与平滑滤波器的此组合的替代方式为，当将产生经平滑预测区块时，运动补偿模块30在第二滤波器模式下调用不同的经修改滤波器，即，经平滑运动补偿滤波器52。换句话说，用以产生S(MC(参考区块，运动向量)的平滑滤波器S与运动补偿MC的级联由为数学近似法S(MC())的组合式滤波器MC′(参考区块，运动向量)代替。
此数学近似法可在用于在需要平滑时在第二滤波器模式下应用的经平滑运动补偿滤波器52中实施。如何形成在经平滑运动补偿滤波器52的MC′中使用的滤波器的实例可从对H.264/AVC的可缩放视频编码(SVC)扩展的框架获得。在本发明中，对经运动补偿的预测执行额外滤波的方法可被称为自适应运动补偿。在一些情况下，滤波器模式信号可为H.264/AVC标准中所指定的经平滑预测(smoothedPred)旗标。明确地说，控制模块46可将经平滑预测(smoothedPred)旗标的状态理解为滤波器模式决策的指示。
图6到图8说明实例经平滑运动补偿滤波器52的导出的情况。然而，所述技术不应限于此示范性导出，且可应用于上文所论述的一般框架。经平滑运动滤波器52可大体上类似于下文参看图6而论述的经平滑运动滤波器52。
图6是说明另一示范性视频解码器26C的框图。在图6中，视频解码器26C可经配置以支持可缩放视频编码(SVC)。举例来说，视频解码器26C可遵从H.264/MPEG-4第10部分AVC标准的SVC扩展。视频解码器26C可大体上类似于图5的视频解码器26B，但进一步经配置以支援SVC。如在图5的实例中，图6的实例中的滤波器模式信号可为H.264/MPEG-4第10部分AVC标准中所指定的经平滑预测(smoothedPred)旗标。在此实例中，控制模块46可将经平滑预测(smoothedPred)旗标的状态理解为滤波器模式决策的指示。在图6的实例中，视频解码器26C进一步包含切换器54的功能性，切换器54可根据对AVC/H.264的SVC扩展将残余预测(ResPred)旗标作为输入而接收，如下文更详细地描述。
由来自ISO/IEC MPEG和ITU-T VCEG的视频编码专家组成的联合视频团队(JVT)目前正从事于对H.264/AVC的SVC扩展。被称为JSVM(联合可缩放视频模型)的常见软件正由参与者使用。JSVM支持经组合的可缩放性。位流可具有SNR可缩放性、细粒度可缩放性(FGS)、空间可缩放性和时间可缩放性。空间可缩放性允许视频解码器26C通过对来自SVC位流的增强层位流进行解码来重构和显示较高空间分辨率的视频信号，例如，共用中间格式(CIF)，而不是四分之一共用中间格式(QCIF)。
SVC支持用以改进编码性能的许多层间预测技术。举例来说，当对增强层宏区块进行编码时，可使用来自基础或先前层的对应的宏区块模式、运动信息和残余信号。明确地说，可添加BL跳过(BLskip)旗标作为宏区块(MB)级语法元素。如果当前MB是中间MB，且BL跳过(BLskip)旗标被设置为1，那么增强层MB将继承来自对应的基础或先前层MB的MB模式、运动向量和参考图片索引。
当使用空间可缩放性时，增强层表示空间分辨率高于基础或先前层位流的空间分辨率的视频信号。在此情况下，在将基础或先前层MB信息用于层间预测中之前，对所述信息进行上取样。举例来说，当空间可缩放性因子为2∶1(二元空间可缩放性)时，在每一维度中通过因子2对基础或先前层MB信息进行上取样。如果基础或先前层MB具有模式_8×8(MODE_8×8)(具有四个8×8区块的经层间预测的宏区块)，那么经上取样的视频信号在对应位置处将具有四个宏区块(其具有模式_16×16)。
SVC中还支持另一层间预测方法，残余预测。可使基础或先前层中的一些残余区块与对应的增强层残余区块相关。对于这些区块，应用残余预测可减小增强层残余能量并改进编码性能。在SVC中，使用一位旗标残余预测(ResPred)来指示残余预测是否被使用。如同BL跳过(BLskip)，残余预测(ResPred)也被编码为宏区块级语法元素。如果残余预测(ResPred)＝1，那么在从增强层残余减去基础或先前层残余区块之后对增强层残余进行编码。
因此，为了适当地对增强层进行解码，视频解码器26C可将基础或先前层残余区块添加到增强层。参看图6，举例来说，如果残余预测(ResPred)＝1，那么切换器54将基础或先前层残余(图6中的“基础层残余”)提供到加法器S1，加法器S1对增强层残余(图6中的“残余”)与预测区块(图6中的“预测”)进行求和。与SVC情况对比，图5展示类似的技术，但不包含用以将基础层残余提供给此加法器的切换器58的表示。然而，类似于图4的切换器50，切换器54仅用于说明的目的，且是否提供基础层残余的选择可为软件功能，且无需由实际切换器实现。
如果使用空间可缩放性，那么在将基础或先前层残余信号用于层间预测之前，对所述信号进行上取样。在二元空间可缩放性的情况下，SVC使用双线性滤波器来对残余信号进行上取样。关于SVC中所使用的层间预测的更多细节可(例如)在托马斯·韦根(Thomas Wiegand)、加里·沙利文(Gary Sullivan)、朱利安·赖歇(Julien Reichel)、黑寇·施瓦茨(Heiko Schwarz)和马蒂亚斯·维恩(Mathias Wien)的“SVC修订的联合草案7(第2版)(Joint Draft 7 of SVC Amendment(revision 2))”(JVT-T201r2，2006年7月，克拉根福，奥地利)(JD7)中找到。
基于残余预测，被称为经平滑参考(SR)的技术可应用于视频解码器中以进一步改进编码性能以获得空间可缩放性。韩振宇(Woo-Jin Han)的“经修改的使用经平滑参考的内BL设计(Modified IntraBL design using smoothed reference)”(JVT-R091r1，2006年1月，曼谷，泰国)中描述SR技术的实例。如本发明中所描述的支持经运动补偿预测区块的自适应滤波的视频编码技术可实现类似于SR技术的编码增益，但具有显著较低的复杂性。针对上下文，下文结合图7而描述实例SR技术，图7是说明SVC增强层编码中的经平滑参考(SR)处理的应用的图。
现在将参考H.264/MPEG-4第10部分AVC标准来描述根据本发明某些方面的经平滑运动补偿滤波器52的实例实施方案的导出。首先，以下等式(1)将对H.264/MPEG-4第10部分AVC标准的SVC扩展的经平滑参考运算部分地描述为：
O-S(P+UR(Rb))                                   (1)
其中O表示当前编码层中的原始区块，S表示平滑滤波器的应用，P表示预测性区块，UR表示当前层与基础或先前层之间的上取样运算，且Rb表示经重构的残余区块。根据本发明，通过典型的数学运算，可如下简化等式(1)，从而得出以下等式(2)：
O-S(P)-S(UR(Rb))                                (2)
通过注意到如果有视觉质量的任何改进，那么使经上取样的经重构残余区块平滑的效应或者等式(2)的S(UR(Rb))部分常得出较小值，等式(2)可被进一步简化为以下等式(3)。已用实验方法观察到，通过仅使预测信号P平滑，可保持来自SR处理的性能增益。因此，基于S(UR(Rb))可充分表示为UR(Rb)的假定，得出以下等式(3)：
O-S(P)-UR(Rb)。                                (3)
根据以上等式(3)，可将SVC中的经平滑参考视为图4的视频解码器26A的示范性方面中所示的较一般框架的特殊情况。与应用经级联的运动补偿MC()与平滑S()的SR技术相反，平滑运动补偿滤波器52可经配置以支持经修改的运动补偿MC′()，其在本文中被称为经平滑运动补偿。
图7是说明SVC增强层编码中的经平滑参考(SR)处理的示范性应用的图。更明确地说，图7展示视频解码器中的运动补偿处理，其涉及增强层(层N)中的前向参考帧51A、当前帧51B和后向参考帧51C，以及基础或先前层(层N-1)中的前向参考帧53A、当前帧53B和后向参考帧53C。图7说明双向预测。然而，可使用一个方向上的预测。
首先，当为增强层中的给定MB 55B设置残余预测(ResPred)旗标和BL跳过(BLskip)旗标两者时，额外旗标经平滑参考(SmoothedRef)由编码器20发送。当经平滑参考(SmoothedRef)＝1时，来自基础或先前层(层N-1)中的对应宏区块57B的可能经上取样的运动向量Umv(MVb)用于对增强层(层N)中的当前视频区块55B进行编码，其中Umv()是对运动向量的上取样运算。将此步骤指示为图7的图中的“运动再使用”59A、59B。如果增强层的分辨率与基础层的分辨率相同，那么Umv(MVb)＝MVb。或者，需要上取样运算Umv()以从基础层(或先前层)的空间分辨率上取样到适用的增强层的分辨率。
第二，使用运动再使用运算59A、59B中所导出的运动向量，经由通过规则运动补偿滤波68进行的运动补偿，来产生预测区块(P)61。第三，对来自基础或先前层(层N-1)的对应的经重构残余区块57B(Rb)进行上取样以获得UR(Rb)，其中UR()为对残余的上取样运算。从指向基础或先前层N-1中的参考帧53A、53C中的对应区块57A、57C的运动向量获得经重构的残余区块57B。如果未使用空间可缩放性，那么UR(r)＝r。将经上取样的区块UR(Rb)添加到预测区块61(P)。此添加因为残余预测(ResPred)旗标被设置而发生，从而致使切换器(例如，图6的切换器54)将基础层残余(其在此情况下为经上取样的区块UR(Rb))提供给加法器S1。
第四，将平滑滤波器63(S)应用于区块P+UR(Rb)以获得经平滑区块65(S(P+UR(Rb)))。举例来说，可将具有系数[1，2，1]的3分接头低通滤波器用作平滑滤波器63。首先在水平方向上且接着在垂直方向上对宏区块(MB)进行滤波。第五，预测残差O-S(P+UR(Rb))(其中O为当前层(层N)中的原始区块)为预测残余，且在例如变换、量化和熵编码67等典型步骤中进行编码。如在SVC中的SR处理可带来较高复杂性。SR将额外滤波操作(例如，平滑滤波器63)添加在运动补偿中所使用的任何分数像素内插滤波器之上，从而呈现非常高的计算复杂性。
对于不同的预测区块，假若噪声的量和类型不同，额外平滑滤波的应用并不总是必需的。根据本发明的各个方面，有可能自适应地决定应使用规则预测区块还是经滤波(经平滑)的预测区块。根据第一滤波器模式，规则预测区块的使用可涉及运动补偿的应用。如果相关运动向量指定分数像素值，那么第一滤波器模式可涉及内插滤波器的应用。根据第二滤波器模式，预测区块的平滑可涉及额外滤波器的应用。如本发明中所描述，第一滤波器模式或第二滤波器模式的选择可基于滤波器模式决策。通过选择性地应用第一滤波器模式或第二滤波器模式，可为一些区块降低计算复杂性。
图8是说明使用自适应运动补偿的经平滑参考(SR)处理在SVC增强层编码中的示范性应用的图。更明确地说，图8展示视频解码器中的另一运动补偿处理，其涉及增强层(层N)中的前向参考帧51A、当前帧51B和后向参考帧51C，以及基础或先前层(层N-1)中的前向参考帧53A、当前帧53B和后向参考帧53C。图8说明双向预测。然而，可使用一个方向上的预测。图8中所示的运动补偿处理可大体上类似于图7中所示的运动补偿处理。然而，在图8中，运动补偿处理包括自适应运动补偿(MC)滤波69，其替代图7的规则运动补偿滤波68和平滑滤波器63。
如上文所述，自适应运动补偿滤波69可应用不同的滤波器，其表示两个(例如，内插滤波器与平滑滤波器滤波器)的组合。举例来说，可将由自适应运动补偿滤波69提供的不同滤波器用作图5或图6的实例中的经平滑运动补偿滤波器52。数学上，在图8的实例中，用以产生S(MC(参考区块，运动向量)的平滑滤波器63与规则运动补偿滤波68的级联由为数学近似法S(MC())的组合式滤波器MC′(参考区块，运动向量)或高级运动补偿滤波69或者经级联的规则运动补偿滤波68与平滑滤波器63代替。通过组合这两个滤波器的应用，可降低视频解码器的复杂性，同时仍可能产生与以上参看图7而产生的相同预测视觉区块61相比，视觉质量相等和更高的预测视频区块61。
可通过对实例情况(二元空间可缩放性)的考虑，进一步描述应用经平滑运动补偿滤波器52的自适应运动补偿滤波69。在二元空间可缩放性中，基础或任何先前层中的1/4像素运动向量经上取样以变为增强层中的1/2像素运动向量。对于1/2像素精确度运动向量，在H.264/MPEG-4第10部分AVC和SVC运动补偿处理MC()中使用6分接头滤波器。
图9是用于亮度1/2像素内插的一维、六分接头滤波器的实例的图。在图9中，灰色框表示整数像素位置，黑色框表示1/2像素位置，且白色框表示1/4像素位置。为了内插由a、b和c表示的1/2像素位置，可使用以下等式(4)：
a＝(A-5*B+20*C+20*D-5*E+F+16)>>5
b＝(B-5*C+20*D+20*E-5*F+G+16)>>5
c＝(C-5*D+20*E+20*F-5*G+H+16)>>5              (4)
其中，A、B、C、D、E、F、G和H表示整数像素位置。
通过假定使用具有系数[1，4，1]的略有不同的平滑滤波器来代替SVC扩展中所界定的常规[1，2，1]滤波器，中心1/2像素位置或b的等式缩减为以下等式(5)：
b ′ = ( a + 4 * b + c + 3 ) / 6
= ( A - B + C + 95 * D + 95 * E + F - G + H + 16 + 96 ) / 192
Figure A200780038000D00243
在以上等式(5)以及以下等式(6)和(7)中，省略了舍入偏差以不失一般性地简化论述内容。在实际实施方案中，可在等式(5)到(7)的每一者中执行除法之前使用舍入偏差。等式(5)导致低复杂性2分接头滤波器：(D+E)/2。此2分接头滤波器可在组合式经平滑运动补偿滤波器MC′()中用于1/2像素内插。对于整数像素运动向量，经平滑运动补偿滤波器MC′()可应用3分接头[1，2，1]平滑滤波器以获得平滑效应。以此方式，MC′()中所使用的滤波器(即，经平滑运动补偿滤波器52)的复杂性可显著小于与额外平滑操作(即，平滑滤波器44)级联的正常运动补偿滤波器MC()(即，位于运动补偿单元42中)的组合复杂性。总之，经平滑运动补偿模块52中的经平滑运动补偿滤波器MC′()可经配置以提供以下滤波器功能：
(1)如果基础运动向量的两个分量(垂直和水平)(在上取样之后)都具有整数精确度，那么在垂直方向和水平方向上应用平滑滤波器；
(2)如果基础运动向量的一个分量具有整数精确度且另一分量具有分数(例如，1/2)像素精确度，那么使用2分接头滤波器(例如双线性滤波器)的内插首先对1/2像素分量进行，其结合平滑滤波器对另一维度中的另一分量的应用；以及
(3)如果基础运动向量的两个分量都具有分数像素精确度，那么在两个维度(即，垂直和水平)中都执行使用2分接头滤波器的内插。
SVC还可支持经扩展的空间可缩放性(ESS)，其中基础与增强层视频维度之间的比例缩放因子可以是任意的。对于ESS，基础或先前层运动向量通过比例缩放因子而上取样，且被舍入到最近的1/4像素位置。对于具有1/4像素精确度的运动向量，可在内插中使用双线性滤波器。类似于以上等式(5)，根据以下等式(6)，MC()中的双线性滤波器与S()中的平滑滤波器的组合可大致由MC′()中经加权的平均滤波器近似表示。因为平滑滤波器可与1/2像素内插中的双线性滤波器组合，所以平滑滤波器可与1/4像素内插中的双线性滤波器组合，从而得出以下等式(6)中所界定的MC′()中的经加权平均滤波器：
e ′ = ( d + 4 * e + f + 3 ) / 6
= ( 233 * D + 127 * E + 33 * C + F - B - G + A + H + 192 ) / 384
Figure A200780038000D00253
Figure A200780038000D00254
其中e′表示将近似表示的1/4像素位置，且d、e和f表示1/4像素位置。此外，可通过使用2分接头滤波器的内插来近似表示经级联的滤波操作。尽管此经加权平均滤波器可改进视觉质量，但此改进可能不准许由经加权平均滤波器引入的增加的复杂性。因此，在一些情况下，经平滑运动补偿模块52不能实施此经加权平均滤波器。相反，经平滑运动补偿模块52可实施具有较低实施复杂性的2分接头滤波器，例如由以下等式(7)界定的双线性滤波器：
Figure A200780038000D00255
在此情况下，在ESS的情况下，用于在局部像素位置处进行内插的2分接头滤波器变为用于1/2像素位置和1/4像素位置两者的双线性滤波器。注意，SVC中的空间可缩放性的以上实例仅充当用以说明可用于经平滑补偿模块52的组合MC′()中的滤波器(如图5和图6中所示)的实例，且无意限制本发明的范围。上文所论述的局部自适应运动补偿滤波器和具有特殊特性的滤波器的概念可应用于一般单层或多层视频编码系统。
图10是说明经配置以支持不同滤波器在预测区块的垂直维度和水平维度中的应用以适应具有整数像素精确度或分数像素精确度的运动向量分量的视频解码器26D的另一示范性方面的框图。在图10中，视频解码器26D大体上与图6的实例中的视频解码器26C一致，但进一步说明不同滤波器功能对整数和分数像素精确度运动向量的应用，例如，在垂直维度和水平维度中。在图10的实例中，当一个维度中的运动向量指向整数像素位置且另一维度中的运动向量指向分数像素位置时，视频解码器26D通过在预测性区块的水平维度和垂直维度中自适应地应用不同滤波器功能来实施自适应运动补偿。举例来说，实际上，经平滑运动补偿模块52所实施的组合式滤波器可对具有整数像素精确度的运动向量分量应用平滑滤波器，且对具有分数像素精确度的运动向量分量应用例如2分接头滤波器的内插滤波器，其可为双线性滤波器。因此，图10进一步说明经平滑运动补偿滤波器52的操作，例如，如上文关于经平滑运动补偿滤波器MC′()而描述。
类似于图6中所示的视频解码器26C，图10的视频解码器26D包括运动补偿模块30、熵解码模块32、逆量化模块34、逆变换模块36、去块滤波器38、参考帧存储器40、运动补偿单元42和切换器54。如上文所述，如果在对SVC视频流进行解码的过程中使用解码器26D，且使用残余预测模式并指示额外滤波，那么可使用适当的上取样(如果基础层具有与增强层的分辨率不同的分辨率)，将基础层(或先前层)残余添加到当前层处的经重构残余以及预测以获得经重构的视频。在这些实施例中，根据H.264/MPEG4第10部分的SVC扩展，视频解码器26D可包含切换器54的功能性，以提供用于与增强层残余和预测区块求和的基础层残余。
另外，在图10的实例中，运动补偿模块30包含经平滑运动补偿滤波器52。在图10的实例中，经平滑运动补偿滤波器52进一步包含平滑滤波器56和2分接头滤波器58，其中2分接头滤波器58可包括双线性滤波器。平滑滤波器56可由3分接头滤波器形成。
控制单元46基于从经编码的视频位流获得的滤波器模式信号而产生滤波器模式决策。滤波器模式决策可在逐区块基础上改变，以经由运动补偿单元42应用规则运动补偿或经由经平滑运动补偿滤波器52应用运动补偿加上由平滑滤波器56或2分接头滤波器58表示的额外滤波。明确地说，对于第二滤波模式，当经编码的视频位流中的滤波器模式信号指示应应用额外滤波时，或在一些替代实施方案中，当控制模块46从对接收到的视频的分析推断出应应用额外滤波时，控制模块46经由经平滑运动补偿滤波器52自适应地应用额外滤波器56、58中的一者或两者。当选择第二滤波器模式时，在经预测区块的适当维度中，经平滑运动补偿滤波器52应用平滑滤波器56和2分接头滤波器58，例如，双线性滤波器。
平滑滤波器56和2分接头滤波器58在第二滤波模式下的应用视与经预测区块相关联的运动向量而定。举例来说，如果运动向量指向存储于参考帧存储器40中的参考帧的水平维度中的分数像素位置，且选择第二滤波器模式，那么经平滑运动补偿滤波器52应用2分接头滤波器58(例如，双线性滤波器)作为预测性区块的水平维度中的水平滤波器。然而，如果运动向量指向所述参考帧的水平维度中的整数像素位置，且选择第二滤波器模式，那么经平滑运动补偿滤波器52应用平滑滤波器56(例如，3分接头滤波器)作为预测性区块的水平维度中的水平滤波器。
如果运动向量还指向所述参考帧的垂直维度中的分数像素位置，且选择第二滤波器模式，那么经平滑运动补偿滤波器52应用2分接头滤波器58(例如，双线性滤波器)作为预测性区块的垂直维度中的垂直滤波器。此外，如果运动向量指向所述参考帧的垂直维度中的整数像素位置，且选择第二滤波器模式，那么经平滑运动补偿滤波器52应用平滑滤波器56作为预测性区块的垂直维度中的垂直滤波器。因此，经平滑运动补偿滤波器52可在水平维度中应用例如双线性滤波器的2分接头滤波器58，且在垂直维度中应用例如低通滤波器的平滑滤波器；在水平维度中应用例如低通滤波器的平滑滤波器56，且在垂直维度中应用例如双线性滤波器的2分接头滤波器；在水平维度和垂直维度两者中应用例如双线性滤波器的2分接头滤波器；或在水平维度和垂直维度两者中应用例如3分接头低通滤波器的平滑滤波器。
以此方式，在第二滤波器模式下，视频解码器26D可基于运动向量是指向分数像素位置还是整数像素位置而在预测性区块的水平维度和垂直维度中自适应地应用不同滤波器。在第一滤波器模式下，运动补偿单元42在无额外滤波的情况下应用规则运动补偿。在一些情况下，例如对于分数精确度运动向量分量，第一滤波器模式下的规则运动补偿可包含内插滤波。在第二滤波模式下，因为额外滤波可通过以区块级在不同维度中自适应地使用经平滑运动补偿滤波器52来实现且适合于特定情况，所以图10的视频解码器26D可提供优于常规视频解码器的经改进的编码效率和处理效率。
总之，对于第二滤波模式，如果运动向量的两个分量(垂直和水平)都具有整数精确度，那么经平滑运动补偿滤波器52在垂直和水平维度两者中都应用平滑滤波器56。如果基础运动向量的一个分量具有整数精确度且另一分量具有分数像素精确度，那么对于一个维度中的分数像素分量，经平滑运动补偿滤波器52应用2分接头滤波器58，且对于另一维度中的另一整数像素分量，应用平滑滤波器56。如果运动向量的两个分量都具有分数像素精确度，那么经平滑运动补偿滤波器52在两个维度(即，垂直和水平)中都应用2分接头滤波器58。因此，根据水平维度或垂直维度中的相关运动向量分量具有分数像素精确度还是整数像素精确度，水平滤波可包括2分接头滤波器58或平滑滤波器56中的一者，且垂直滤波可包括2分接头滤波器或平滑滤波器中的一者。可在应用垂直滤波之前应用水平滤波，或反之亦然。
图11是说明图4的视频解码器26A在以帧间编码帧的区块级执行自适应运动补偿的过程中的示范性操作的流程图。如图11中所示，视频解码器26A(例如)经由信道16接收经编码的数字视频(70)，且执行运动补偿以形成经预测的区块(72)。第一滤波器模式下的运动补偿可涉及使用与数字视频一起接收到的运动向量在一个或一个以上参考帧中选择对应的区块，以及内插滤波(如果运动向量指向分数像素位置)。在第二滤波器模式下，在自适应基础上，额外滤波(例如，经由平滑滤波器44进行平滑以去除量化噪声或其它假影)可连同规则运动补偿一起应用于经预测的区块。可通过在规则运动补偿滤波器之后应用额外滤波器，或通过应用组合规则运动补偿与例如平滑的额外滤波两者的不同滤波器，来实现所述额外滤波。然而，在图4的实例中，通过结合运动补偿单元42(例如，在级联基础上)应用平滑滤波器44来实现所述额外滤波。
如上文所述，运动补偿模块30可基于与经编码的数字视频一起提供的滤波器模式信号而自适应地应用第一滤波器模式或第二滤波器模式。在一些情况下，滤波器模式信号可为经编码的信号，例如，如联合草案7(JD7)中所指定的经平滑_参考(smoothed_reference)旗标。以此方式，视频解码器26A可做出滤波器模式决策，如由视频编码器20引导。或者，视频解码器26可分析经编码的数字视频的特性以确定是否应应用额外滤波模式。
第一滤波器模式可涉及规则运动补偿(例如，使用任何必要的内插滤波器)，而第二滤波器模式涉及规则运动补偿加上额外滤波(例如，平滑)。举例来说，可使用2分接头滤波器来应用内插，且可通过使用3分接头滤波器来应用平滑。如果指示第二滤波器模式(74)，那么运动补偿模块30将额外滤波器应用于经预测的区块(76)。值得注意的是，可在逐区块基础上做出滤波器模式决策，其中术语“区块”可指代宏区块或较小区块(例如，子区块)。或者，滤波器模式决策可根据情况以帧或程序片级做出，且应用于给定帧或程序片内的所有区块。如果未指示第二滤波器模式(74)，那么不应用额外滤波，从而在逐区块自适应运动补偿的情况下，为一些区块省去了处理复杂性。
在规则运动补偿(72)或运动补偿加上额外滤波(76)之后，视频解码器26A对经编码的数字视频中所提供的经预测区块与残余数据进行求和(78)，且基于总和而形成经解码区块(80)。在视频解码器遵照H.264/AVC的SVC扩展的情况下，例如类似于图6的视频解码器26C或图10的视频解码器26D的视频解码器，视频解码器可进一步包含提供用于求和(例如，如由S1指示)的基础层残余的切换器54的功能性。在此情况下，将运动补偿应用于SVC帧的增强层中的区块。在这些情况下，视频解码器26C可对基础层残余与经编码的数字视频中所提供的经预测区块和残余数据进行求和(78)，以基于总和而形成经解码区块(80)。在任一情况下，所述总和可由去块滤波器38处理以去除块化假影。经解码的区块可用于形成视频帧以驱动显示装置28，且可被添加到参考帧存储器以形成用于对后续帧进行解码的参考帧。通过在区块级处应用额外滤波，经解码的数字视频可展现出增强的编码效率。然而，通过在自适应基础上而不是全部时间应用额外滤波，视频解码器26C可实现显著的性能增益，而无过多的处理复杂性。
图12是说明图5的视频解码器26B在使用组合式经平滑运动补偿单元执行平滑和运动补偿的过程中的示范性操作的流程图。图12中所示的处理可适合应用于SVC编码。如图12中所示，刚一经由信道16接收到数字视频(82)，视频解码器26B(图5)或视频解码器26C(图6)就确定是否指示第二滤波器模式(84)。此外，第二滤波器模式可由包含于经编码的视频位流中的滤波器模式信号指示。可在帧、程序片、宏区块或子区块基础上指示第二滤波器模式。或者，视频解码器26B可经配置以基于对数字视频的一个和一个以上特性的分析而确定是否应应用第二滤波器模式。
如果指示第二滤波器模式(84)，那么运动补偿模块30执行组合式平滑与规则运动补偿(即，经平滑运动补偿)以形成经预测区块(86)。可经由图5中的运动补偿模块30的经平滑运动补偿滤波器52(图5或图6)来执行经平滑运动补偿。如果未指示第二滤波器模式(84)，那么运动补偿模块30在无额外滤波的情况下(例如)经由运动补偿模块30的运动补偿单元42来执行规则运动补偿以形成经预测区块(88)。视频解码器26B或26C接着对经预测区块与残余数据进行求和(90)，且基于总和而形成解码区块(92)。
此外，在视频解码器遵照H.264/AVC的SVC扩展的情况下，例如类似于图6的视频解码器26C或图10的视频解码器26D，视频解码器可进一步包含提供用于求和的基础层残余的切换器54的功能性。在此情况下，将运动补偿应用于SVC帧的增强层中的区块。在这些情况下，视频解码器可对基础层残余与经编码的数字视频中所提供的经预测区块和残余数据进行求和(90)，以基于总和而形成经解码区块(92)。在任一情况下，所述总和可由去块滤波器38处理以去除块化假影。经解码区块可用于形成视频帧以驱动显示装置28，且可被添加到参考帧存储器以形成用于后续帧的解码的参考帧。
图12说明在单个滤波器模块中组合平滑与规则运动补偿而不是以级联方式将规则运动补偿和平滑作为单独的滤波操作而应用的组合式经平滑运动补偿单元52的使用。以此方式，在图12的实例中，通过组合规则运动补偿与平滑，可降低处理复杂性。此处理可在每一帧中的区块上且在与视频序列相关联的多个帧和程序片上继续。此外，可在逐帧、逐程序片、逐宏区块或逐区块基础上确定关于是应用经平滑运动补偿单元52还是规则运动补偿单元42的滤波器模式决策。
图13是说明图10的视频解码器26D在于垂直维度和水平维度中用不同滤波器来执行自适应运动补偿的过程中的示范性操作的流程图。在图13的实例中，视频解码器26D应用自适应滤波器模式，类似于图12。明确地说，在第一滤波器模式下，运动补偿模块30可应用规则运动补偿单元42。在第二滤波器模式下，运动补偿模块30可应用经平滑运动补偿滤波器52，平滑运动补偿滤波器52组合规则运动补偿与例如平滑的额外滤波。然而，如图10中所示，经平滑运动补偿滤波器52的应用可进一步涉及不同滤波器56、58在水平维度和垂直维度中的应用。刚一接收到数字视频(94)，视频解码器26就确定是否指示第二滤波器模式(96)。如果未指示第二滤波器模式，那么运动补偿模块30(例如)经由运动补偿单元42(图10)来应用规则运动补偿(98)。如果指示第二滤波器模式(96)，那么运动补偿模块30可应用经平滑运动补偿滤波器52，从而实际上提供规则运动补偿和额外滤波两者。
额外滤波可由经平滑运动补偿单元52在相关指向整数像素位置的运动向量的维度中(即，在整数维度中)所应用的平滑滤波器(例如3分接头滤波器)提供(100)。另外，在预测区块的相关运动向量指向分数像素位置的维度(即，分数维度)中，经平滑运动补偿单元52可应用内插滤波器(例如，2分接头滤波器，例如双线性滤波器)(102)。因此，当指示第二滤波器模式时，经平滑运动补偿单元52可在不同维度中应用不同滤波器。如果未指示第二滤波器模式(96)，那么替代地应用规则运动补偿(98)。
在任一情况下，视频解码器对经预测区块与适用的残余数据进行求和(104)，且基于总和而形成经解码区块(106)。如先前所论述，在视频解码器遵照H.264/AVC的SVC扩展的情况下，例如类似于图10的视频解码器26D，视频解码器26D可进一步包含提供用于求和的基础层残余的切换器54的功能性。在此情况下，将运动补偿应用于SVC帧的增强层中的区块。在这些情况下，视频解码器26D可对基础层残余与经编码的数字视频中所提供的经预测区块和残余数据进行求和(104)，以基于总和而形成经解码区块(106)。在任一情况下，所述总和可由去块滤波器38处理以去除块化假影。经解码区块可用于形成视频帧以驱动显示装置28，且可被添加到参考帧存储器以形成用于后续帧的解码的参考帧。如上文所述，经平滑运动补偿滤波器52有效地应用运动补偿和平滑操作两者，因此相对于级联方式下每一操作的独立应用而降低复杂性。另外，平滑运动补偿滤波器52经配置以依据适用的运动向量而在水平维度和垂直维度中自适应地应用不同滤波器。
本发明中所描述的任何装置可表示各种类型的装置，例如，无线电话、蜂窝式电话、膝上型计算机、无线多媒体装置、无线通信个人计算机(PC)卡、个人数字助理(PDA)、外部或内部调制解调器、游戏装置或经由无线或有线信道通信的任何装置。此装置可具有各种名称，例如接入终端(AT)、接入单元、订户单元、移动台、移动装置、移动单元、移动电话、移动设备、远程台、远程终端机、远程单元、用户装置、用户装备、手持型装置或类似名称。在一个方面中，如本发明中所描述的装置可以是无线通信装置手持机或形成无线通信装置手持机的一部分。
本文所描述的技术可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，那么所述技术可至少部分地由计算机可读媒体上的一个或一个以上所存储或所传输的指令或代码来实现。计算机可读媒体可包含计算机存储媒体、通信媒体或两者，且可包含促进计算机程序从一处到另一处的传送的任何媒体。存储媒体可以是可由计算机存取的任何可用媒体。
作为实例而非限制，此计算机可读媒体可包括数据存储媒体，例如RAM(例如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、ROM、电可擦除可编程只读存储器(EEPROM)、EEPROM、快闪存储器、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或可用于以指令或数据结构的形式携载或存储所需程序代码且可由计算机存取的任何其它计算机可读数据存储媒体。
而且，任何连接均被适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程来源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含于媒体的定义中。如本文所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学盘、数字多功能光盘(DVD)、软盘和蓝光光盘(blu-raydisc)，其中磁盘通常以磁性方式再现数据，而光盘(例如)用激光以光学方式再现数据。以上各项的组合也应被视为计算机可读媒体。
与计算机程序产品的计算机可读媒体相关联的代码可由计算机执行，例如，由一个或一个以上处理器执行，例如，一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。在一些方面中，本文所描述的功能性可在经配置用于编码和解码的专用软件模块或硬件模块内提供，或并入组合式视频编码器-解码器(CODEC)中。因此，本发明涵盖一种经配置以实施本发明中所描述的技术的集成电路装置。此些集成电路装置可具有多种应用，包含在无线通信装置手持机内的使用。
已描述了本发明的各个方面。这些和其它方面在所附权利要求的范围内。

Claims (25)

1.一种方法，其包括：
将运动补偿应用于视频帧内的区块，以产生预测视频区块；以及
自适应地调整所述运动补偿，以基于滤波器模式决策将第一滤波器模式或第二滤波器模式应用于所述区块中的每一者。
2.根据权利要求1所述的方法，其进一步包括针对指向整数像素位置的运动向量，将3分接头滤波器应用于所述区块。
3.根据权利要求1所述的方法，其进一步包括基于编码在视频位流中的信号或所述视频帧的一个或一个以上特性中的一者而产生所述滤波器模式决策。
4.根据权利要求1所述的方法，其中所述区块包括可缩放视频编码帧的增强层中的区块。
5.根据权利要求1所述的方法，其进一步包括在所述第一滤波器模式下应用运动补偿滤波器，且在所述第二滤波器模式下应用3分接头滤波器。
6.根据权利要求5所述的方法，其进一步包括在所述第二滤波器模式下应用所述3分接头滤波器和所述运动补偿滤波器，其中所述运动补偿滤波器包含2分接头滤波器。
7.根据权利要求5所述的方法，其进一步包括在所述第二滤波器模式下应用组合所述3分接头滤波器与内插滤波器的滤波器。
8.根据权利要求7所述的方法，其中所述内插滤波器包含2分接头滤波器，所述方法进一步包括，在所述第二滤波器模式下，在水平维度和垂直维度的一者中应用所述3分接头滤波器，且在所述水平维度和所述垂直维度的另一者中应用所述2分接头滤波器。
9.根据权利要求7所述的方法，其中所述内插滤波器包含2分接头滤波器，所述方法进一步包括，在所述第二滤波器模式下：
当运动向量在所述水平维度中指向整数像素位置且在所述垂直维度中指向分数像素位置时，在所述水平维度中应用所述3分接头滤波器，且在所述垂直维度中应用所述2分接头滤波器；以及
当运动向量在所述垂直维度中指向整数像素位置且在所述水平维度中指向分数像素位置时，在所述垂直维度中应用所述3分接头滤波器，且在所述水平维度中应用所述2分接头滤波器。
10.根据权利要求1所述的方法，其进一步包括在逐区块、逐宏区块、逐程序片或逐帧中的一者的基础上自适应地调整所述运动补偿。
11.一种视频编码装置，其包括：
运动补偿模块，其将运动补偿应用于视频帧内的区块以产生预测视频区块；以及控制模块，其自适应地调整所述运动补偿，以基于滤波器模式决策将第一滤波器模式或第二滤波器模式应用于所述区块中的每一者。
12.根据权利要求11所述的装置，其中所述控制模块针对指向整数像素位置的运动向量将3分接头滤波器应用于所述区块。
13.根据权利要求11所述的装置，其中所述控制模块基于编码在视频位流中的信号或所述视频帧的一个或一个以上特性中的一者而产生所述滤波器模式决策。
14.根据权利要求11所述的装置，其中所述区块包括可缩放视频编码帧的增强层中的区块。
15.根据权利要求11所述的装置，其中所述运动补偿模块在所述第一滤波器模式下应用运动补偿滤波器，且在所述第二滤波器模式下应用3分接头滤波器。
16.根据权利要求15所述的装置，其中所述运动补偿模块在所述第二滤波器模式下应用所述3分接头滤波器和所述运动补偿滤波器，其中所述运动补偿滤波器包含2分接头滤波器。
17.根据权利要求15所述的装置，其中所述运动补偿模块在所述第二滤波器模式下应用组合所述3分接头滤波器与内插滤波器的滤波器。
18.根据权利要求17所述的装置，其中所述内插滤波器包含2分接头滤波器，且其中所述运动补偿模块在所述第二滤波器模式下，在水平维度和垂直维度的一者中应用所述3分接头滤波器，且在所述水平维度和所述垂直维度的另一者中应用所述2分接头滤波器。
19.根据权利要求17所述的装置，其中所述内插滤波器包含2分接头滤波器，且其中所述运动补偿模块在所述第二滤波器模式下，当运动向量在所述水平维度中指向整数像素位置且在所述垂直维度中指向分数像素位置时，在所述水平维度中应用所述3分接头滤波器且在所述垂直维度中应用所述2分接头滤波器，且当运动向量在所述垂直维度中指向整数像素位置且在所述水平维度中指向分数像素位置时，在所述垂直维度中应用所述3分接头滤波器且在所述水平维度中应用所述2分接头滤波器。
20.根据权利要求11所述的装置，其中所述控制模块在逐区块、逐宏区块、逐程序片或逐帧中的一者的基础上自适应地调整所述运动补偿。
21.根据权利要求11所述的装置，其中所述装置为无线通信装置手持机或集成电路装置中的一者。
22.一种视频编码装置，其包括：
用于将运动补偿应用于视频帧内的区块以产生预测视频区块的装置；以及
用于自适应地调整所述运动补偿以基于滤波器模式决策将第一滤波器模式或第二滤波器模式应用于所述区块中的每一者的装置。
23.根据权利要求22所述的装置，其进一步包括用于针对指向整数像素位置的运动向量将3分接头滤波器应用于所述区块的装置。
24.一种包括计算机可读媒体的计算机程序产品，所述计算机可读媒体包括致使处理器执行以下操作的指令：
将运动补偿应用于视频帧内的区块以产生预测视频区块；以及
自适应地调整所述运动补偿以基于滤波器模式决策将第一滤波器模式或第二滤波器模式应用于所述区块中的每一者。
25.根据权利要求24所述的计算机程序产品，其进一步包括针对指向整数像素位置的运动向量致使所述处理器将3分接头滤波器应用于所述区块的指令。
CN2007800380009A 2006-10-13 2007-10-11 具有用于经运动补偿预测的自适应滤波的视频编码 Active CN101523922B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US82949406P 2006-10-13 2006-10-13
US60/829,494 2006-10-13
US93815107P 2007-05-15 2007-05-15
US60/938,151 2007-05-15
US11/869,062 US9014280B2 (en) 2006-10-13 2007-10-09 Video coding with adaptive filtering for motion compensated prediction
US11/869,062 2007-10-09
PCT/US2007/081145 WO2008048864A2 (en) 2006-10-13 2007-10-11 Video coding with adaptive filtering for motion compensated prediction

Publications (2)

Publication Number Publication Date
CN101523922A true CN101523922A (zh) 2009-09-02
CN101523922B CN101523922B (zh) 2012-09-26

Family

ID=39303089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800380009A Active CN101523922B (zh) 2006-10-13 2007-10-11 具有用于经运动补偿预测的自适应滤波的视频编码

Country Status (7)

Country Link
US (1) US9014280B2 (zh)
EP (1) EP2092753A2 (zh)
JP (2) JP5450073B2 (zh)
KR (1) KR101065227B1 (zh)
CN (1) CN101523922B (zh)
TW (1) TWI399099B (zh)
WO (1) WO2008048864A2 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783951A (zh) * 2010-03-02 2010-07-21 西安交通大学 基于人类视觉系统的视频编码帧间预测模式快速确定方法
CN103238320A (zh) * 2010-09-30 2013-08-07 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN103299624A (zh) * 2011-01-10 2013-09-11 高通股份有限公司 自适应地执行平滑操作
CN103609124A (zh) * 2011-06-15 2014-02-26 华为技术有限公司 用于非正方形预测单元的依赖于模式的帧内平滑滤波器的表映射方法
CN103703773A (zh) * 2011-05-20 2014-04-02 株式会社Kt 在显示屏内进行帧内预测的方法和装置
CN103765884A (zh) * 2011-06-28 2014-04-30 三星电子株式会社 使用非对称插值滤波器的图像插值的方法及其设备
CN104126301A (zh) * 2012-02-22 2014-10-29 高通股份有限公司 在视频译码中使用码簿对环路滤波器参数进行译码
CN104380730A (zh) * 2012-01-19 2015-02-25 华为技术有限公司 模式依赖帧内平滑的简化
CN104584550A (zh) * 2012-08-31 2015-04-29 高通股份有限公司 用于可缩放视频译码的帧内预测改善
CN104718759A (zh) * 2012-01-24 2015-06-17 华为技术有限公司 Lm模式的简化
CN104854866A (zh) * 2012-11-13 2015-08-19 英特尔公司 下一代视频的内容自适应、特性补偿预测
CN104994396A (zh) * 2010-04-09 2015-10-21 韩国电子通信研究院 视频解码设备
CN105144719A (zh) * 2012-12-28 2015-12-09 高通股份有限公司 使用一般化残差预测对视频信息进行可缩放及多视图/3d译码的装置及方法
CN105247868A (zh) * 2013-05-31 2016-01-13 高通股份有限公司 使用缩放因数的再取样
CN106791878A (zh) * 2010-12-07 2017-05-31 索尼公司 图像处理设备和图像处理方法
CN112154667A (zh) * 2018-04-04 2020-12-29 英国广播公司 视频的编码和解码
US11805267B2 (en) 2011-01-07 2023-10-31 Nokia Technologies Oy Motion prediction in video coding

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
EP2082585A2 (en) * 2006-10-18 2009-07-29 Thomson Licensing Method and apparatus for video coding using prediction data refinement
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
JP2010514300A (ja) * 2006-12-21 2010-04-30 トムソン ライセンシング ビデオ画像のブロックを復号化する方法
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US20080225952A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8228991B2 (en) 2007-09-20 2012-07-24 Harmonic Inc. System and method for adaptive video compression motion compensation
MX2010003531A (es) * 2007-10-05 2010-04-14 Nokia Corp Codificacion de video con filtros direccionales de interpolacion adaptable alineados a pixeles.
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
KR101648818B1 (ko) * 2008-06-12 2016-08-17 톰슨 라이센싱 움직임 보상 보간 및 참조 픽쳐 필터링에 대한 국부적 적응형 필터링을 위한 방법 및 장치
EP2136565A1 (en) 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US8705627B2 (en) * 2008-07-25 2014-04-22 Sony Corporation Image processing apparatus and method
RU2494568C2 (ru) * 2008-07-25 2013-09-27 Сони Корпорейшн Способ и устройство обработки изображения
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8548041B2 (en) 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
WO2010038212A2 (en) * 2008-10-01 2010-04-08 Nxp B.V. Embedded video compression for hybrid contents
IT1394145B1 (it) * 2009-05-04 2012-05-25 St Microelectronics Srl Procedimento e dispositivo per la codifica video digitale, relativo segnale e prodotto informatico
JP2011030177A (ja) * 2009-06-29 2011-02-10 Sony Corp 復号装置、復号制御装置、復号方法およびそのプログラム
KR101788292B1 (ko) 2009-07-07 2017-10-19 톰슨 라이센싱 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR101418101B1 (ko) 2009-09-23 2014-07-16 에스케이 텔레콤주식회사 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
US9172980B2 (en) * 2010-03-25 2015-10-27 Mediatek Inc. Method for adaptively performing video decoding, and associated adaptive complexity video decoder and adaptive audio/video playback system
US10063873B2 (en) 2010-03-25 2018-08-28 Mediatek Inc. Method for adaptively performing video decoding, and associated adaptive complexity video decoder and adaptive audio/video playback system
US8259808B2 (en) * 2010-03-25 2012-09-04 Mediatek Inc. Low complexity video decoder
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
KR102159896B1 (ko) 2010-04-13 2020-09-25 지이 비디오 컴프레션, 엘엘씨 샘플 배열 멀티트리 세부분할에서 계승
US9445129B2 (en) 2010-04-13 2016-09-13 Sun Patent Trust Image coding method and image decoding method
CN106231335B (zh) 2010-04-13 2019-07-02 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
CN106067985B (zh) 2010-04-13 2019-06-28 Ge视频压缩有限责任公司 跨平面预测
TWI678916B (zh) 2010-04-13 2019-12-01 美商Ｇｅ影像壓縮有限公司 樣本區域合倂技術
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
EP2398240A1 (en) * 2010-06-16 2011-12-21 Canon Kabushiki Kaisha A method and device for encoding and decoding a video signal
WO2011158867A1 (ja) * 2010-06-17 2011-12-22 シャープ株式会社 画像復号装置、及び画像符号化装置
US9247265B2 (en) 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9363533B2 (en) * 2010-09-29 2016-06-07 Electronics And Telecommunications Research Institute Method and apparatus for video-encoding/decoding using filter information prediction
USRE49308E1 (en) * 2010-09-29 2022-11-22 Electronics And Telecommunications Research Instit Method and apparatus for video-encoding/decoding using filter information prediction
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
EP2622857A1 (en) * 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
KR20120045369A (ko) * 2010-10-29 2012-05-09 에스케이 텔레콤주식회사 쿼드 트리 기반으로 블록 필터 정보를 부호화/복호화하는 영상 부호화/복호화 장치 및 방법
US20120183041A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Interpolation filter for intra prediction of hevc
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
TW201246920A (en) * 2011-05-12 2012-11-16 Sunplus Technology Co Ltd Apparatus for refining motion vector
US9686544B2 (en) 2011-06-15 2017-06-20 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
JP5649524B2 (ja) 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
US9179148B2 (en) * 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter
TWI601419B (zh) 2011-06-30 2017-10-01 三星電子股份有限公司 視訊解碼方法
CN103095374B (zh) * 2011-10-28 2016-04-20 富士通株式会社 偏振复用光通信系统的自适应非线性均衡的方法和装置
CN107835413A (zh) * 2011-11-08 2018-03-23 株式会社Kt 对视频信号进行解码的方法
EP2777273B1 (en) 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
EP3657795A1 (en) 2011-11-11 2020-05-27 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate and update
EP2781091B1 (en) 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
EP2803190B1 (en) 2012-01-09 2017-10-25 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for multiple layered video coding systems
US9420280B2 (en) 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
US9854259B2 (en) * 2012-07-09 2017-12-26 Qualcomm Incorporated Smoothing of difference reference picture
KR20140016823A (ko) * 2012-07-24 2014-02-10 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
MX340603B (es) 2012-09-03 2016-07-15 Sony Corp Dispositivo y metodo de procesamiento de imagenes.
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
WO2014053519A1 (en) 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
TW201507443A (zh) * 2013-05-15 2015-02-16 Vid Scale Inc 基於單迴路解碼之多層視訊編碼
US20150023436A1 (en) 2013-07-22 2015-01-22 Texas Instruments Incorporated Method and apparatus for noise reduction in video systems
JP6306884B2 (ja) * 2013-12-27 2018-04-04 日本電信電話株式会社 予測画像生成方法、画像再構成方法、予測画像生成装置、画像再構成装置、予測画像生成プログラム、画像再構成プログラム及び記録媒体
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9438910B1 (en) 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding
US20160050442A1 (en) * 2014-08-15 2016-02-18 Samsung Electronics Co., Ltd. In-loop filtering in video coding
WO2016072722A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 영상 특성을 반영한 보간 필터를 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP6535744B2 (ja) * 2015-08-20 2019-06-26 日本放送協会 画像符号化装置、画像復号化装置、及びこれらのプログラム
BR112018006031A2 (pt) 2015-09-25 2018-10-09 Huawei Tech Co Ltd codificador de vídeo, decodificador de vídeo e métodos para codificação e decodificação preditiva
WO2017052405A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
AU2015410095C1 (en) 2015-09-25 2020-01-16 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
KR102192778B1 (ko) * 2015-09-25 2020-12-18 후아웨이 테크놀러지 컴퍼니 리미티드 선택 가능한 보간 필터를 구비한 비디오 모션 보상 장치 및 방법
WO2017052406A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
US10110926B2 (en) 2015-10-15 2018-10-23 Cisco Technology, Inc. Efficient loop filter for video codec
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
US11044480B2 (en) * 2019-01-24 2021-06-22 Google Llc More accurate 2-tap interpolation filters for video compression

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JP2606523B2 (ja) 1992-02-28 1997-05-07 日本ビクター株式会社 予測符号化装置及び復号化装置
JP3165296B2 (ja) 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JP3392307B2 (ja) 1995-11-02 2003-03-31 松下電器産業株式会社 画像信号平滑化装置および画像信号平滑化方法
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
JP2001204029A (ja) 1999-08-25 2001-07-27 Matsushita Electric Ind Co Ltd ノイズ検出方法、ノイズ検出装置及び画像復号化装置
JP3964391B2 (ja) 2001-06-29 2007-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR100656296B1 (ko) 2001-09-12 2006-12-11 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
US7031552B2 (en) * 2002-04-05 2006-04-18 Seiko Epson Corporation Adaptive post-filtering for reducing noise in highly compressed image/video coding
JP4102973B2 (ja) 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
KR101117840B1 (ko) 2004-04-02 2012-03-15 톰슨 라이센싱 복잡도 가변 비디오 디코더를 위한 방법 및 장치
US7724307B2 (en) * 2004-07-28 2010-05-25 Broadcom Corporation Method and system for noise reduction in digital video
KR20060043051A (ko) 2004-09-23 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US20060169368A1 (en) 2004-10-05 2006-08-03 Tenaris Conncections A.G. (A Liechtenstein Corporation) Low carbon alloy steel tube having ultra high strength and excellent toughness at low temperature and method of manufacturing the same
US20060088104A1 (en) 2004-10-27 2006-04-27 Stephen Molloy Non-integer pixel sharing for video encoding
JP2006254320A (ja) 2005-03-14 2006-09-21 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP2005312072A (ja) 2005-05-19 2005-11-04 Mitsubishi Electric Corp 映像信号復号化装置

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783951A (zh) * 2010-03-02 2010-07-21 西安交通大学 基于人类视觉系统的视频编码帧间预测模式快速确定方法
CN104994396B (zh) * 2010-04-09 2018-11-06 韩国电子通信研究院 视频解码设备
CN104994396A (zh) * 2010-04-09 2015-10-21 韩国电子通信研究院 视频解码设备
US9253507B2 (en) 2010-09-30 2016-02-02 Samsung Electronics Co., Ltd. Method and device for interpolating images by using a smoothing interpolation filter
CN103238320B (zh) * 2010-09-30 2016-06-01 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN105072443A (zh) * 2010-09-30 2015-11-18 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN105049843A (zh) * 2010-09-30 2015-11-11 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN105072443B (zh) * 2010-09-30 2018-07-27 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
US9179167B2 (en) 2010-09-30 2015-11-03 Samsung Electronics Co., Ltd. Method and device for interpolating images by using a smoothing interpolation filter
CN103238320A (zh) * 2010-09-30 2013-08-07 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
US9277247B2 (en) 2010-09-30 2016-03-01 Samsung Electronics Co., Ltd. Method and device for interpolating images by using a smoothing interpolation filter
CN104980738B (zh) * 2010-09-30 2017-04-12 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN104980738A (zh) * 2010-09-30 2015-10-14 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN106791878A (zh) * 2010-12-07 2017-05-31 索尼公司 图像处理设备和图像处理方法
CN106791878B (zh) * 2010-12-07 2019-05-14 索尼公司 图像处理设备和图像处理方法
US11805267B2 (en) 2011-01-07 2023-10-31 Nokia Technologies Oy Motion prediction in video coding
US9807424B2 (en) 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
US10257543B2 (en) 2011-01-10 2019-04-09 Qualcomm Incorporated Identification of samples in a transition zone
CN103299624B (zh) * 2011-01-10 2016-05-25 高通股份有限公司 自适应地执行平滑操作
CN103299624A (zh) * 2011-01-10 2013-09-11 高通股份有限公司 自适应地执行平滑操作
US9749639B2 (en) 2011-05-20 2017-08-29 Kt Corporation Method and apparatus for intra prediction within display screen
CN107592530A (zh) * 2011-05-20 2018-01-16 株式会社Kt 视频解码方法
CN107613295B (zh) * 2011-05-20 2020-05-12 株式会社Kt 视频解码方法
US9584815B2 (en) 2011-05-20 2017-02-28 Kt Corporation Method and apparatus for intra prediction within display screen
CN107592530B (zh) * 2011-05-20 2020-03-06 株式会社Kt 视频解码方法
CN103703773A (zh) * 2011-05-20 2014-04-02 株式会社Kt 在显示屏内进行帧内预测的方法和装置
US10158862B2 (en) 2011-05-20 2018-12-18 Kt Corporation Method and apparatus for intra prediction within display screen
CN107613295A (zh) * 2011-05-20 2018-01-19 株式会社Kt 视频解码方法
US9843808B2 (en) 2011-05-20 2017-12-12 Kt Corporation Method and apparatus for intra prediction within display screen
CN104378645B (zh) * 2011-05-20 2017-11-14 株式会社Kt 对视频信号进行解码的方法
US9749640B2 (en) 2011-05-20 2017-08-29 Kt Corporation Method and apparatus for intra prediction within display screen
US9756341B2 (en) 2011-05-20 2017-09-05 Kt Corporation Method and apparatus for intra prediction within display screen
CN103703773B (zh) * 2011-05-20 2017-11-07 株式会社Kt 在显示屏内进行帧内预测的方法和装置
CN104378645A (zh) * 2011-05-20 2015-02-25 株式会社Kt 对视频信号进行解码的方法
US9602839B2 (en) 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
CN103609124A (zh) * 2011-06-15 2014-02-26 华为技术有限公司 用于非正方形预测单元的依赖于模式的帧内平滑滤波器的表映射方法
US11190809B2 (en) 2011-06-15 2021-11-30 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
US10645422B2 (en) 2011-06-15 2020-05-05 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
CN103609124B (zh) * 2011-06-15 2017-04-12 华为技术有限公司 用于非正方形预测单元的依赖于模式的帧内平滑滤波器的表映射方法
US10015522B2 (en) 2011-06-15 2018-07-03 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
CN103765884B (zh) * 2011-06-28 2017-03-22 三星电子株式会社 使用非对称插值滤波器的图像插值的方法及其设备
CN103765884A (zh) * 2011-06-28 2014-04-30 三星电子株式会社 使用非对称插值滤波器的图像插值的方法及其设备
CN104380730A (zh) * 2012-01-19 2015-02-25 华为技术有限公司 模式依赖帧内平滑的简化
CN104380730B (zh) * 2012-01-19 2017-12-22 华为技术有限公司 模式依赖帧内平滑的简化
US9807385B2 (en) 2012-01-19 2017-10-31 Futurewei Technologies, Inc. Simplification of mode dependent intra smoothing
CN104718759A (zh) * 2012-01-24 2015-06-17 华为技术有限公司 Lm模式的简化
CN104718759B (zh) * 2012-01-24 2019-01-18 华为技术有限公司 Lm模式的简化
CN104126301A (zh) * 2012-02-22 2014-10-29 高通股份有限公司 在视频译码中使用码簿对环路滤波器参数进行译码
CN104584550B (zh) * 2012-08-31 2018-09-21 高通股份有限公司 用于可缩放视频译码的帧内预测改善
CN104584550A (zh) * 2012-08-31 2015-04-29 高通股份有限公司 用于可缩放视频译码的帧内预测改善
CN104854866A (zh) * 2012-11-13 2015-08-19 英特尔公司 下一代视频的内容自适应、特性补偿预测
CN104854866B (zh) * 2012-11-13 2019-05-31 英特尔公司 下一代视频的内容自适应、特性补偿预测
US9762929B2 (en) 2012-11-13 2017-09-12 Intel Corporation Content adaptive, characteristics compensated prediction for next generation video
CN105144719A (zh) * 2012-12-28 2015-12-09 高通股份有限公司 使用一般化残差预测对视频信息进行可缩放及多视图/3d译码的装置及方法
CN105247868B (zh) * 2013-05-31 2018-07-03 高通股份有限公司 使用缩放因数的再取样
CN105247868A (zh) * 2013-05-31 2016-01-13 高通股份有限公司 使用缩放因数的再取样
CN112154667A (zh) * 2018-04-04 2020-12-29 英国广播公司 视频的编码和解码

Also Published As

Publication number Publication date
US20080089417A1 (en) 2008-04-17
TWI399099B (zh) 2013-06-11
WO2008048864A3 (en) 2008-08-07
US9014280B2 (en) 2015-04-21
JP5450073B2 (ja) 2014-03-26
CN101523922B (zh) 2012-09-26
JP2014039289A (ja) 2014-02-27
TW200835349A (en) 2008-08-16
EP2092753A2 (en) 2009-08-26
KR101065227B1 (ko) 2011-09-16
JP2010507286A (ja) 2010-03-04
KR20090079939A (ko) 2009-07-22
WO2008048864A2 (en) 2008-04-24

Similar Documents

Publication Publication Date Title
CN101523922B (zh) 具有用于经运动补偿预测的自适应滤波的视频编码
CN102084655B (zh) 通过过滤器选择进行的视频编码
CN102474600B (zh) 解码视频数据的方法、装置和设备
CN101622880B (zh) 一种视频译码方法及用于视频编码的装置
KR101044934B1 (ko) 움직임 벡터 추정방법 및 부호화 모드 결정방법
CN101578870B (zh) 对可缩放视频译码(svc)方案的增强层进行译码的方法和装置
US8873622B2 (en) Apparatus and method for generating a coded video sequence by using an intermediate layer motion data prediction
CN101491098B (zh) 使用自适应可变长度码的视频压缩
CN102265619B (zh) 切换式内插滤波器中的偏移计算方法
KR100593350B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치,화상 복호 방법, 및 통신 장치
CN101578882B (zh) 用于可缩放视频译码的自适应上取样方法及设备
CN102474623B (zh) 在视频编码中的非零舍入及预测模式选择方法
US8085847B2 (en) Method for compressing/decompressing motion vectors of unsynchronized picture and apparatus using the same
CN101946515A (zh) Cabac译码器的二回合量化
GB2434050A (en) Encoding at a higher quality level based on mixed image prediction factors for different quality levels
Liu et al. A comparison between SVC and transcoding
BEDANTA SPATIALLY SCALABLE VIDEO CODING (SSVC) USING MOTION COMPENSATED RECURSIVE TEMPORAL FILTERING (MCRTF)
Li Computationally efficient and adaptive scalable video coding
Lange Multiresolution Representation of Motion Vectors in Video Compression

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant