CN101999230B - 子像素分辨率下的偏移 - Google Patents

子像素分辨率下的偏移 Download PDF

Info

Publication number
CN101999230B
CN101999230B CN200980112681.8A CN200980112681A CN101999230B CN 101999230 B CN101999230 B CN 101999230B CN 200980112681 A CN200980112681 A CN 200980112681A CN 101999230 B CN101999230 B CN 101999230B
Authority
CN
China
Prior art keywords
decoding
deviant
video block
pixel positions
integer pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980112681.8A
Other languages
English (en)
Other versions
CN101999230A (zh
Inventor
马尔塔·卡切维奇
叶琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101999230A publication Critical patent/CN101999230A/zh
Application granted granted Critical
Publication of CN101999230B publication Critical patent/CN101999230B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述在视频编码和解码过程期间所应用的技术。在一个实例中，一种对视频数据进行编码的方法包含：计算所述视频数据的经译码的单元的多个偏移值，其中所述偏移值与多个不同整数像素位置和子整数像素位置相关联；将所述偏移值应用于预测视频块以产生偏移预测视频块；以及基于所述偏移预测视频块而对所述经译码的单元的视频块进行编码。在另一实例中，一种对视频数据进行解码的方法包含：接收所述视频数据的经译码的单元的多个偏移值，其中所述偏移值与多个不同整数像素位置和子整数像素位置相关联；将所述偏移值应用于预测视频块以产生偏移预测视频块；以及基于所述偏移预测视频块而对所述经译码的单元的视频块进行解码。

Description

子像素分辨率下的偏移
本申请案主张2008年4月11日申请的第61/044,240号、2008年4月10日申请的第61/044,023号和2008年4月10日申请的第61/044,020号美国临时申请案的权益，上述所有临时申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及数字视频译码，且更特定来说，涉及偏移应用于在所述视频译码中所使用的预测数据的技术。
背景技术
数字视频能力可并入到广泛范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话等。数字视频装置实施例如MPEG-2、MPEG-4或ITU-T H.264/MPEG-4第10部分：高级视频译码(AVC)所界定的标准中所描述的视频压缩技术的视频压缩技术，以更有效地发射和接收数字视频信息。视频压缩技术可执行空间预测和/或时间预测以减小或移除视频序列中所固有的冗余。
基于块的帧间译码是非常有用的译码技术，其依赖于时间预测来减小或移除视频序列的连续经译码的单元的视频块之间的时间冗余。经译码的单元可包含视频帧、视频帧的片段、图片的群组或视频块的另一所界定单元。对于帧间译码，视频编码器执行运动估计和运动补偿以追踪两个或两个以上邻近经译码的单元的相应视频块的移动。运动估计产生运动向量，所述运动向量指示视频块相对于一个或一个以上参考帧或其它经译码的单元中的相应预测视频块的位移。运动补偿使用运动向量以从参考帧或其它经译码的单元产生预测视频块。在运动补偿之后，通过从正经译码的原始视频块减去预测视频块来形成残余视频块。
视频编码器还可应用变换、量化和熵译码过程来进一步减小与残余块的通信相关联的位速率。变换技术可包含离散余弦变换(DCT)或概念上类似的过程。或者，可使用小波变换、整数变换或其它类型的变换。在DCT过程中，作为一实例，将像素值的集合转换为可表示频域中的像素值的能量的变换系数。将量化应用于变换系数，且量化大体涉及限制与任何给定变换系数相关联的位的数目的过程。熵译码包含共同地压缩经量化的变换系数的序列的一个或一个以上过程。熵译码的实例包括(但不限于)内容自适应可变长度译码(CAVLC)和上下文自适应二进制算术译码(CABAC)。
可由可用以产生或识别预测块的预测信息和指示正经译码的块与预测块之间的差的数据的残余块表示经译码的视频块。预测信息可包含用以识别数据的预测块的所述一个或一个以上运动向量。给定运动向量，解码器能够重建用以对残余块进行译码的预测块。因此，给定残余块的集合和运动向量的集合(以及有可能某一额外语法)，解码器可能能够重建最初经编码的视频帧。因为连续视频帧或其它类型的经译码的单元常常为非常类似的，所以基于运动估计和运动补偿的帧间译码可实现非常良好的压缩。经编码的视频序列可包含残余数据的块、运动向量，以及有可能其它类型的语法。
已开发出内插和外插技术以便改进可在帧间译码中实现的压缩的等级。在此状况下，在运动补偿期间所产生的用以对视频块进行译码的预测数据可从视频帧或用于运动估计中的其它经译码的单元的视频块的像素内插或外插。常常执行内插或外插以产生预测半像素值(半像元(half-pel))和预测四分之一像素值(四分之一像元(quarter-pel))。此类内插或外插常常产生预测块，所述预测块甚至比在视频译码中所使用的预测帧或其它经译码的单元的实际视频块更类似于正经译码的视频块。
发明内容
大体来说，本发明描述在视频编码和解码过程期间由编码器和解码器所应用的技术。根据所述技术，编码器产生每一经译码的单元的多个偏移值，且将所述偏移值应用于用以对经译码的单元的视频块进行译码的预测数据。特定来说，不同偏移值可对于与经译码的单元相关联的每一整数和子整数像素位置而界定。子整数像素位置可对应于基于在整数像素位置处的数据而内插或外插的经内插或外插数据。通过占据在不同像素位置(整数像素位置和各种子整数像素位置)处的不同偏移，所得偏移预测数据可提供比原始预测数据更好的压缩。以此方式，本发明的技术可改进视频译码。
编码器可对每一经译码的单元的不同偏移值进行编码，所述不同偏移值可接着作为经编码的位流的一部分而传送到解码器。以此方式，解码器可接收在每一经译码的单元的编码器处所界定的不同偏移值。因此，解码器可产生预测数据，且接着基于所述预测数据和所述偏移值而重建偏移预测数据。可接着基于偏移预测数据对经译码的单元的视频数据(例如，视频块)进行解码。通过提供对于与经译码的单元相关联的不同整数像素位置和子整数像素位置的单独偏移值，译码可相对于将单一偏移值应用于经译码的单元的技术而得以改进。
在一个实例中，本发明提供一种对视频数据进行编码的方法。所述方法包含：计算视频数据的经译码的单元的多个偏移值，其中偏移值与多个不同整数像素位置和子整数像素位置相关联；将偏移值应用于预测视频块以产生偏移预测视频块；以及基于偏移预测视频块而对经译码的单元的视频块进行编码。
在另一实例中，本发明提供一种对视频数据进行解码的方法。所述方法包含：接收视频数据的经译码的单元的多个偏移值，其中偏移值与多个不同整数像素位置和子整数像素位置相关联；将偏移值应用于预测视频块以产生偏移预测视频块；以及基于偏移预测视频块而对经译码的单元的视频块进行解码。
在另一实例中，本发明提供一种对视频数据进行编码的设备。所述设备包含进行以下动作的视频编码器：计算视频数据的经译码的单元的多个偏移值，其中偏移值与多个不同整数像素位置和子整数像素位置相关联；将偏移值应用于预测视频块以产生偏移预测视频块；以及基于偏移预测视频块而对经译码的单元的视频块进行编码。
在另一实例中，本发明提供一种对视频数据进行解码的设备。所述设备包含进行以下动作的视频解码器：接收视频数据的经译码的单元的多个偏移值，其中偏移值与多个不同整数像素位置和子整数像素位置相关联；将偏移值应用于预测视频块以产生偏移预测视频块；以及基于偏移预测视频块而对经译码的单元的视频块进行解码。
在另一实例中，本发明提供一种对视频数据进行编码的装置，所述装置包含：用于计算视频数据的经译码的单元的多个偏移值的装置，其中偏移值与多个不同整数像素位置和子整数像素位置相关联；用于将偏移值应用于预测视频块以产生偏移预测视频块的装置；以及用于基于偏移预测视频块而对经译码的单元的视频块进行编码的装置。
在另一实例中，本发明提供一种对视频数据进行解码的装置，所述装置包含：用于接收视频数据的经译码的单元的多个偏移值的装置，其中偏移值与多个不同整数像素位置和子整数像素位置相关联；用于将偏移值应用于预测视频块以产生偏移预测视频块的装置；以及用于基于偏移预测视频块而对经译码的单元的视频块进行解码的装置。
在另一实例中，本发明提供一种包含视频编码器和无线发射器的装置。视频编码器：计算视频数据的经译码的单元的多个偏移值，其中偏移值与多个不同整数像素位置和子整数像素位置相关联；将偏移值应用于预测视频块以产生偏移预测视频块；以及基于偏移预测视频块而对经译码的单元的视频块进行编码。无线发射器将经编码的数据发送到另一装置。
在另一实例中，本发明提供一种包含无线接收器和视频解码器的装置。无线接收器从另一装置接收经编码的视频数据。视频解码器：接收视频数据的经译码的单元的多个偏移值，其中偏移值与多个不同整数像素位置和子整数像素位置相关联；将偏移值应用于预测视频块以产生偏移预测视频块；以及基于偏移预测视频块而对经译码的单元的视频块进行解码。
本发明中所描述的技术可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么软件可执行于例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)等一个或一个以上处理器中。执行所述技术的软件最初可存储于计算机可读媒体中且经载入并执行于处理器中。
因此，本发明还涵盖一种计算机可读媒体，其包含在执行后便致使一装置对视频数据进行编码的指令。特定来说，所述指令致使所述装置：计算视频数据的经译码的单元的多个偏移值，其中偏移值与多个不同整数像素位置和子整数像素位置相关联；将偏移值应用于预测视频块以产生偏移预测视频块；以及基于偏移预测视频块而对经译码的单元的视频块进行编码。
另外，本发明还涵盖一种计算机可读媒体，其包含在执行后便致使一装置对视频数据进行解码的指令。在此状况下，在接收视频数据的经译码的单元的多个偏移值后，其中偏移值与多个不同整数像素位置和子整数像素位置相关联，所述指令便致使所述装置将偏移值应用于预测视频块以产生偏移预测视频块，且基于偏移预测视频块而对经译码的单元的视频块进行解码。
在附图和以下描述内容中阐述本发明的一个或一个以上方面的细节。本发明中所描述的技术的其它特征、目的和优点将从所述描述内容和图式且从权利要求书显而易见。
附图说明
图1是说明视频编码和解码系统的示范性框图。
图2是说明符合本发明的视频编码器的实例的框图。
图3是说明符合本发明的视频解码器的实例的框图。
图4是说明可包含预测视频块的像素的整数像素和各种子整数像素的概念图。
图5到图7是说明符合本发明的技术的流程图。
具体实施方式
本发明描述由编码器和解码器所执行的技术以便在视频译码的运动补偿过程期间对预测视频块添加偏移。根据本发明的一个方面，编码器可产生每一经译码的单元的多个偏移值，且将所述偏移值应用于用以对经译码的单元的视频块进行译码的预测数据。特定来说，编码器可界定整数像素位置和不同子整数像素位置的不同偏移值。适当的偏移值可基于与相应预测数据相关联的像素位置而应用于所述预测数据。子整数像素位置可对应于基于在整数像素位置处的数据而内插或外插的经内插或外插数据。通过占据在不同像素位置(整数像素位置和子整数像素位置)处的不同偏移，所得偏移预测数据可提供比原始预测数据更好的压缩。以此方式，本发明的技术可改进视频质量。举例来说，偏移到预测数据的添加可在视频序列的帧之间的照明改变期间(例如，在帧之间的闪光、黑暗天空或其它类型的照明改变期间)改进译码。
ITU-T H.264标准支持子整数像素到四分之一像素分辨率的分数内插。在此状况下，对于每一整数像素位置存在十五个可能的子整数像素位置。因此，在此状况下，根据本发明，可对于经译码的单元的每一可能的整数和子整数像素位置产生十六个不同的偏移值。对应的偏移值可基于与任何预测数据相关联的像素位置而应用于所述预测数据。特定来说，偏移值可经应用以调整预测视频块的像素值，且用以进行此像素值调整的偏移值可视与所述预测视频块相关联的位置(例如，整数位置或若干可能的子像素位置中的一者)而定。
不同偏移值可经编码作为每一经译码的单元的位流的一部分。解码器可接收由每一经译码的单元的编码器界定的不同偏移值。因此，解码器可产生预测数据且接着基于所述预测数据和所述偏移值而重建偏移预测数据。解码器可基于偏移预测数据(基于预测数据和偏移值而产生)对经译码的单元的视频数据(例如，视频块)进行解码。如编码一样，偏移到预测数据的添加可通过改进在照明改变或其它视频效应期间的视频质量而改进视频解码。
图1是说明可实施本发明的技术的一个示范性视频编码和解码系统10的框图。如图1中所展示，系统10包括源装置12，其经由通信信道15将经编码的视频发射到目的地装置16。源装置12和目的地装置16可包含广泛范围的装置中的任一者。在一些状况下，源装置12和目的地装置16包含无线通信装置(例如无线手机，所谓的蜂窝式或卫星无线电电话)或可经由通信信道15传送视频信息的任何无线装置(在所述状况下，通信信道15为无线的)。然而，本发明的涉及在运动补偿期间偏移到预测数据的添加的技术未必限于无线应用或设定。
在图1的实例中，源装置12可包括视频源20、视频编码器22、调制器/解调器(调制解调器)23和发射器24。目的地装置16可包括接收器26、调制解调器27、视频解码器28和显示装置30。根据本发明，源装置12的视频编码器22可经配置以应用本发明的作为视频编码过程的一部分的偏移技术中的一者或一者以上。类似地，目的地装置16的视频解码器28可经配置以应用本发明的作为视频解码过程的一部分的偏移技术中的一者或一者以上。
图1的所说明的系统10仅为示范性的。可由支持对子像素分辨率的运动补偿内插的任何编码装置来执行本发明的偏移技术。源装置12和目的地装置16仅为其中源装置12产生用于发射到目的地装置16的经译码的视频数据的此类译码装置的实例。装置12、16可以实质上对称的方式操作，以使得装置12、16中的每一者包括视频编码和解码组件。因此，系统10可支持视频装置12、16之间的单向或双向视频发射，例如以用于视频串流、视频重放、视频广播或视频电话。
源装置12的视频源20可包括例如视频相机等视频俘获装置、含有先前俘获的视频的视频档案，或来自视频内容提供者的视频馈给。作为另一替代，视频源20可产生基于计算机图形的数据作为源视频，或直播视频、所存档的视频与计算机产生的视频的组合。在一些状况下，如果视频源20为视频相机，那么源装置12和目的地装置16可形成所谓的相机电话或视频电话。在每一状况下，可由视频编码器22对经俘获、经预俘获或计算机产生的视频进行编码。可接着由调制解调器23根据例如码分多址(CDMA)或另一通信标准等通信标准调制经编码的视频信息，且将其经由发射器24发射到目的地装置16。调制解调器23可包括各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包括经设计以用于发射数据的电路，包括放大器、滤波器和一个或一个以上天线。
目的地装置16的接收器26经由信道15接收信息，且调制解调器27解调所述信息。再次，视频编码过程可实施本文中所描述的技术中的一者或一者以上以在运动补偿期间将偏移添加到预测数据。由视频解码器28所执行的视频解码过程还可在其解码过程的运动补偿阶段期间执行此类技术。经由信道15所传送的信息可包括由视频编码器22所界定的偏移信息，其也由视频解码器28使用。显示装置30将经解码的视频数据显示给用户，且可包含例如阴极射线管、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置等多种显示装置中的任一者。
在图1的实例中，通信信道15可包含任何无线或有线通信媒体，例如射频(RF)频谱或者一个或一个以上物理发射线，或无线媒体与有线媒体的任何组合。通信信道15可形成例如局域网、广域网或全球网络(例如，因特网)等基于包的网络的一部分。通信信道15大体表示用于将视频数据从源装置12发射到目的地装置16的任何合适的通信媒体或不同通信媒体的集合。通信信道15可包括路由器、开关、基站，或可对促进从源装置12向目的地装置16通信有用的任何其它设备。
视频编码器22和视频解码器28可根据视频压缩标准(例如ITU-T H.264标准，或者描述为MPEG-4第10部分：高级视频译码(AVC))而操作。然而，本发明的技术不限于任何特定译码标准。尽管未展示在图1中，但在一些方面中，视频编码器22和视频解码器28可各自与音频编码器和解码器集成，且可包括适当的MUX-DEMUX(多路复用-多路分解)单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频与视频两者的编码。如果适用，那么MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
ITU-T H.264/MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)连同ISO/IEC移动图片专家组(MPEG)制定以作为被称作联合视频组(JVT)的集体伙伴关系的产品。在一些方面中，可将本发明中所描述的技术应用于大体符合H.264标准的装置。H.264标准由ITU-T研究团体描述于ITU-T推荐标准H.264“用于一般视听服务的高级视频译码(Advanced Video Coding for generic audiovisual services)”中且标注日期2005年3月，其在本文中可被称作H.264标准或H.264规范，或H.264/AVC标准或规范。联合视频组(JVT)继续致力于对H.264/MPEG-4 AVC的扩展。
可将视频编码器22和视频解码器28每一者实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。可将视频编码器22和视频解码器28中的每一者包括于一个或一个以上编码器或解码器中，所述一个或一个以上编码器或解码器的任一者可在相应移动装置、订户装置、广播装置、服务器等中集成为组合的编码器/解码器(CODEC)的一部分。
视频序列通常包括一系列视频帧。视频编码器22对个别视频帧内的视频块操作以便对视频数据进行编码。视频块可具有固定或变化的大小，且其大小可根据所规定的译码标准而不同。每一视频帧包括一系列片段。每一片段可包括可布置成子块的一系列宏块(macroblock)。作为一实例，ITU-T H.264标准支持各种块大小的帧内预测(例如，对于亮度分量来说为16×16、8×8或4×4，且对于色度分量来说为8×8)以及各种块大小的帧间预测(例如，对于亮度分量来说为16×16、16×8、8×16、8×8、8×4、4×8和4×4，且对于色度分量来说为相应的经缩放的大小)。视频块可包含像素数据的块或变换系数的块，(例如)在例如离散余弦变换或概念上类似的变换过程等变换过程之后。
较小视频块可提供较好分辨率，且可用于包括高阶细节的视频帧的位置。大体来说，可认为宏块和各种子块为视频块。另外，可认为片段为一系列视频块，例如宏块和/或子块。每一片段可为视频帧的可独立解码单元。或者，帧本身可为可解码单元，或可将帧的其它部分界定为可解码单元。术语“经译码的单元”指代视频帧的任何可独立解码单元，例如整个帧、帧的片段，或根据所使用的译码技术所界定的另一可独立解码单元。
在基于帧间预测译码(其包括内插和本发明的用以界定不同整数像素位置和子整数像素位置的偏移值的技术)之后，且在任何变换(例如，H.264/AVC中所使用的4×4或8×8整数变换，或离散余弦变换DCT)之后，可执行量化。量化大体指代系数经量化以可能减少用以表示系数的数据的量的过程。量化过程可减小与所述系数中的一些或全部相关联的位深度。举例来说，可在量化期间将16位值下舍入为15位值。在量化之后，可(例如)根据内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码方法执行熵译码。
根据本发明的技术，视频编码器22可计算视频数据的经译码的单元(例如，帧或帧的可独立解码部分(例如，片段))的多个偏移值。不同偏移值与多个不同整数像素位置和子整数像素位置(与视频块相关联)相关联。子整数像素位置可界定通常基于在整数像素位置处的数据而内插或外插的经内插或外插数据的位置。视频编码器22可将偏移值应用于预测视频块以产生偏移预测视频块，且基于所述偏移预测视频块对经译码的单元的视频块进行编码。视频编码器22还可对作为包括经译码的单元的经译码的视频块的译码位流的一部分的偏移值进行编码，且源装置12的发射器24可将经译码的位流发射到目的地装置16的接收器26。特定来说，视频编码器可通过调整预测视频块的像素而应用偏移值，且可通过基于偏移预测视频块产生残余块而基于偏移预测视频块对视频块进行编码。举例来说，可通过从适当的偏移预测视频块减去待译码的块而产生残余块。由于基于预测视频块的位置而将偏移添加到偏移预测视频块的像素值，所以可改进译码效率，尤其在闪光或背景光照改变期间。
在目的地装置16中，视频解码器28接收视频数据的每一经译码的单元的所述多个偏移值。视频解码器28将偏移值应用于预测视频块以产生偏移预测视频块，且基于所述偏移预测视频块对经译码的单元的视频块进行解码。以此方式，偏移值在视频编码器22处经界定并应用以作为编码过程的一部分，且作为经编码的位流的一部分而从源装置12传送到目的地装置16。偏移值接着应用于视频解码器28处的预测数据以作为解码过程的一部分以便重建视频序列。在此状况下，在视频重建期间产生并使用对预测数据的偏移。
图2是说明可执行符合本发明的偏移技术的视频编码器50的实例的框图。视频编码器50可对应于装置20的视频编码器22或不同装置的视频编码器。尽管为了说明便利起见，帧内译码组件未展示于图2中，但视频编码器50可执行视频帧内的块的帧内和帧间译码。帧内译码依赖于空间预测来减小或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测来减小或移除视频序列的邻近帧内的视频中的时间冗余。帧内模式(I模式)可指代基于空间的压缩模式，且例如预测(P模式)或双向(B模式)等帧间模式可指代基于时间的压缩模式。本发明的技术在帧间译码期间应用，且因此，为了说明的简易性和便利起见，例如空间预测单元等帧内译码单元未在图2中说明。
如图2中所展示，视频编码器50接收视频帧内的待编码的当前视频块。在图2的实例中，视频编码器50包括运动估计单元32、运动补偿单元35、参考帧存储装置34、加法器48、变换单元38、量化单元40和熵译码单元46。对于视频块重建，视频编码器50还包括逆量化单元42、逆变换单元44和加法器51。还可包括解块滤波器(未图示)以对块边界进行滤波以从经重建的视频移除块效应假影(blockiness artifact)。视需要，解块滤波器通常将对加法器51的输出进行滤波。
在编码过程期间，视频编码器50接收待译码的视频块，且运动估计单元32和运动补偿单元35执行帧间预测译码。运动估计单元32和运动补偿单元35可为高度集成的，但为了概念的目的而单独说明。通常认为运动估计为产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示预测帧(或其它经译码的单元)内的预测块相对于当前帧(或其它经译码的单元)内正译码的当前块的位移。通常认为运动补偿为基于由运动估计所确定的运动向量而取得或产生预测块的过程。再次，运动估计单元32和运动补偿单元35可为功能上集成的。为了论证的目的，本发明中所描述的偏移技术经描述为由运动补偿单元35执行。
运动估计单元32通过将待译码的视频块与预测经译码的单元(例如，先前帧)的视频块进行比较而选择所述待译码的视频块的适当运动向量。在此点处，运动补偿单元35可执行内插以便以子像素分辨率产生预测数据。特定来说，一旦运动估计单元32已选择待译码的视频块的运动向量，运动补偿单元35就产生与所述运动向量相关联的预测视频块。运动补偿单元35可产生具有子像素分辨率的任何预测视频块的一个或一个以上型式，例如有可能应用若干不同内插滤波器以产生经内插的数据的不同集合。举例来说，运动补偿单元35可应用多个预界定的内插滤波器以便产生待译码的视频块的多个不同经内插的预测数据。运动补偿单元35接着选择实现最高压缩等级的经内插的预测数据(例如，与内插滤波器中的一者相关联的经内插的视频块)。在一些状况下，用以产生预测数据的内插滤波器可由作为一个或一个以上内插语法元素而经译码的数据指示，且传送到熵译码单元46以用于包括在经译码的位流中。
根据本发明，运动补偿单元35可执行相对于经译码的单元的第二译码遍次以便将偏移添加到预测数据，且借此改进可实现的压缩的等级。特定来说，预测视频块的像素值可根据与预测视频块的整数像素位置或非整数像素位置相关联的偏移而向上或向下偏移。由运动补偿单元35所执行的内插可界定不同视频块的若干可能的子整数像素位置处的经内插的数据。并非界定给定经译码的单元的单一偏移值，运动补偿单元可界定每一可能的整数像素位置和子整数像素位置的不同偏移值。预测数据可接着基于与所述预测数据相关联的像素位置而应用位置特定偏移。
在一个实例中，运动补偿单元35可计算分别与经译码的单元的基于在每一整数像素位置和子整数像素位置处的预测视频块而编码的视频块相关联的第一量度(例如，平均值)集合。运动补偿单元35还可计算分别与预测视频块(例如，实际上用以对经译码的单元的视频块进行编码的那些预测块)的每一整数像素位置和子整数像素位置相关联的第二量度(例如，平均值)集合。即，第一量度集合由正译码的数据界定，且第二量度集合由用于预测译码的预测数据界定。运动补偿单元35接着基于第一量度集合和第二量度集合而计算所述多个偏移值。偏移值可包含用以使对应的视频块的所有像素值向上或向下偏离的绝对值或带正负号的值，其再次可对视频编码中所遭遇的场景改变或闪光为非常有用的。
第一量度集合可包含与经译码的单元的基于在每一整数像素位置和子整数像素位置处的预测视频块而译码的相应视频块相关联的第一平均值集合，且第二量度集合可包含分别与用以对经译码的单元的相应视频块进行编码的预测视频块的每一整数像素位置和子整数像素位置相关联的第二平均值集合。在此状况下，所述多个偏移值可包含第一平均值集合与第二平均值集合之间的差。以此方式，若干不同偏移值可基于第一译码遍次中所译码的实际数据而对于若干不同整数像素位置和子整数像素位置来界定。
换句话说，第一量度集合可包含平均值集合，所述平均值对应于给定经译码的单元的相应视频块的像素值的平均值，基于每一相应整数像素位置和子整数像素位置而对所述相应视频块进行译码。第二量度集合可包含平均值集合，所述平均值对应于实际上用以预测在所述经译码的单元中正经译码的当前块的预测块的每一整数像素位置和子整数像素位置处的像素值的平均值。在界定第二量度集合的过程中，不包括经考虑但实际上未用于预测经译码的视频块的任何预测块的像素值。所述多个偏移值可包含第一平均值集合与第二平均值集合之间的差。每一宏块位置可由单一像素(例如，相应宏块的左上角中的相应像素)界定。然而，每一宏块可界定促成第一平均值集合中的特定平均值的十六个像素值。本发明的技术当然也可应用于其它大小的视频块。大体来说，任何给定位置的偏移可经计算为具有对应于所述像素位置或子像素位置的运动向量精确度的当前帧(或其它经译码的单元)中的所有像素的平均值与对应于所述像素位置或子像素位置且用于预测当前帧的视频块的预测数据的经内插值的平均值之间的差。因此，可将每一相应偏移视作经译码的单元的像素相对于预测数据的平均差，所述预测数据在针对在译码方案中经界定的每一相应整数、经内插或外插位置对经译码的单元进行译码的过程中使用。
本发明的偏移技术可相对于亮度块、色度块或所述两者而应用。不同偏移可对于与每一类型的视频块(例如，亮度块和色度块)相关联的每一整数像素位置和子整数像素位置而界定。此外，不同偏移可经指派到具有每一特定大小的每一块，每一块的分区或子分区。
一旦界定偏移值，运动补偿单元35就可执行第二译码遍次以便基于预测数据和偏移对视频数据进行译码。特定来说，运动补偿单元35可将偏移值应用于原始预测视频块以产生偏移预测视频块，且基于所述偏移预测视频块对经译码的单元的视频块进行编码。通过根据预测块的像素位置(整数位置或多个可能子整数像素位置中的一者)而以基于位置的方式将偏移添加到预测块的像素值，预测块可更类似于正经译码的块，这可改进译码效率。此外，由于偏移值对于不同像素位置不同地界定，所以本发明的技术可提供用以实现与不同类型的内插相关联的数据的译码当中的分段的能力。
一旦运动补偿单元35已产生偏移预测数据(例如，可为经内插的数据或基于整数的数据的偏移预测视频块)，视频编码器50就通过从正经译码的原始视频块减去所述偏移预测数据而形成残余视频块。加法器48表示执行此减法运算的组件。变换单元38对残余块应用例如离散余弦变换(DCT)或概念上类似的变换等变换，从而产生包含残余变换块系数的视频块。变换单元38(例如)可执行其它变换，例如由H.264标准界定的概念上类似于DCT的变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何状况下，变换单元38将变换应用于残余块，从而产生残余变换系数的块。变换可将残余信息从像素域转换到频域。
量化单元40量化残余变换系数以进一步减小位速率。量化过程可减小与所述系数中的一些或全部相关联的位深度。举例来说，可在量化期间将16位值下舍入为15位值。另外，量化单元40还可使用本发明的技术来量化不同偏移以将所要数目的位分配到不同偏移的相应整数和分数部分。特定来说，量化单元40可对于偏移值中的每一者将第一数目的位指派到给定偏移值的整数部分，且将第二数目的位指派到给定偏移值的分数部分，其中基于整数部分的量值而确定位的第一数目和第二数目。熵译码单元46可与第二数目的位不同地对第一数目的位进行编码。
在量化之后，熵译码单元46对经量化的变换系数进行熵译码。举例来说，熵译码单元46可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码方法。在由熵译码单元46进行熵译码之后，可将经编码的视频发射到另一装置或加以存档以供稍后发射或检索。经译码的位流可包括经熵译码的残余块、此类块的运动向量，和包括识别在经译码的单元内的不同整数像素位置和子整数像素位置处的所述多个不同偏移的偏移值的其它语法。
逆量化单元42和逆变换单元44分别应用逆量化和逆变换以重建像素域中的残余块(例如)以稍后用作参考块。求和器51将经重建的残余块加到由运动补偿单元35产生的经运动补偿的预测块以产生经重建的视频块以供存储在参考帧存储装置34中。经重建的视频块可由运动估计单元32和运动补偿单元35用作参考块以对后续视频帧中的块进行帧间编码。
图3是说明视频解码器60的实例的框图，所述视频解码器60对以本文中所描述的方式进行编码的视频序列进行解码。视频解码器60包括在解码期间执行本发明的偏移技术的运动补偿单元55。特定来说，在解码侧，运动补偿单元55可从熵解码单元52接收语法元素，所述语法元素识别(例如)界定整数像素位置和一个或一个以上非整数像素位置的不同偏移的经译码的单元的多个偏移值。运动补偿单元55可基于从熵解码单元52所接收的运动向量而产生预测数据，且可(基于预测数据的像素位置)将适当偏移添加到此类预测数据以产生偏移预测数据。预测数据可为经内插的数据，在所述状况下，非整数位置的偏移值中的对应一者可应用于预测数据以产生偏移预测数据。基于此偏移预测数据，可对视频数据(例如，经重建的残余视频块)进行解码。特定来说，解码器可将偏移预测数据与残余视频块组合以产生经编码的原始视频块。
熵解码单元52对所接收位流进行熵解码以产生经量化的系数和语法(例如，经译码的单元的运动向量和多个偏移值)。语法从熵译码单元52转发到运动补偿单元55。逆量化单元56逆量化(即，解量化)经量化块系数。逆量化过程可为如由H.264解码所界定的常规过程。逆变换单元58将逆变换(例如，逆DCT或概念上类似的逆变换过程)应用于变换系数以便产生在像素域中的残余块。运动补偿单元55产生经运动补偿的块，从而有可能基于也可包括于语法中的内插滤波器系数的一个或一个以上集合而执行内插。一旦运动补偿单元55基于运动向量产生预测块，就可将每一预测块的适当偏移添加到预测块以产生用于由编码器所执行的原始编码中的偏移预测块。
求和器64通过使残余块与由运动补偿单元55所产生的对应的偏移预测块相加而对残余块进行解码以形成经解码的块。视需要，还可应用解块滤波器以对经解码的块进行滤波以便移除块效应假影。接着将经解码的视频块存储于参考帧存储装置62中，参考帧存储装置62提供用于后续运动补偿的参考块且还对驱动显示装置(例如，图1的装置28)产生经解码的视频。
再次，本发明的技术涉及将偏移应用于经运动补偿的预测数据，其中不同偏移用于由内插所界定的整数像素位置和不同的子整数像素位置。编码器使用本发明的技术以界定和应用不同的偏移值，且解码器解译从编码器所发送的语法元素以便识别由编码器所界定和使用的相同偏移值。将适当偏移应用于预测数据的像素值，且基于经界定以用于此类预测数据的像素位置(例如，整数像素位置或若干可能的非整数像素位置中的一者)来选择适当偏移。
图4是说明与预测数据相关联的整数像素位置和与经内插的预测数据相关联的子整数像素位置的概念图。在图4的概念说明中，不同框表示像素。大写字母(在具有实线的框中)表示整数像素位置，而小写字母(在具有虚线的框中)表示子整数经内插的像素位置。像素位置“aa”、“bb”、“cc”、“dd”、“ee”、“ff”、“gg”、“hh”、“ii”和“jj”是用于分数内插中的半像素位置，各种分数位置与像素位置“C3”相关联。每一像素可对应于视频块的右上角像素，以使得所述像素界定所述视频块。对于内插或外插，使视频块的像素中的每一者以相对于具有距相应子整数像素相同空间距离的不同整数像素的相同方式内插或外插。
每一整数像素位置具有相关联的15个不同的分数(“子整数”)位置。在图4的实例中，与像素“C3”相关联的这15个不同的分数位置经说明为子整数像素位置“a”、“b”、“c”、“d”、“e”、“f”、“g”、“h”、“i”、“j”、“k”、“l”、“m”、“n”和“o”。类似地，与像素“E5”相关联的15个不同的分数位置经说明为子整数像素位置“a′”、“b′”、“c′”、“d′”、“e′”、“f′”、“g′”、“h′”、“i′”、“j′”、“k′”、“l′”、“m′”、“n′”和“o′”。为了简易性起见，未展示其它分数位置中的大多数(不同于上文所提及的用以产生15个不同的分数位置中的与像素“C3”相关联的一者或一者以上的那些分数位置)。
在ITU H.264/AVC标准中，举例来说，为了在半像素位置处获得亮度信号，通常使用具有系数[1，-5，20，20，-5，1]的6分接头温纳滤波器(Wiener filter)。接着，为了在四分之一像素位置处获得亮度信号，使用双线性滤波器。双线性滤波器还可用于对于色度分量的分数像素内插中，色度分量可具有H.264/AVC中的高达1/8像素精确度。
在运动估计之后，例如，有可能使用速率失真模型以便使译码速率和视频质量平衡而可识别给定视频块的最佳运动向量。使用最佳运动向量在运动补偿期间形成预测视频块。如上文所概述，通过从原始视频块减去预测视频块来形成残余视频块。接着对残余块应用变换，且变换系数经量化和熵译码以进一步减小位速率。
然而，并非使用预测视频块来产生残余块，本发明的技术将偏移添加到预测视频块。此外，偏移可为位置特定的，因为不同偏移对于不同整数像素位置和子整数像素位置而界定。由于像素“b”和“b′”界定相对于整数像素C3和E5的相同子整数像素位置，所以与由这两个像素所识别的视频块相关联的偏移可为相同的。然而，由于像素“c”和“d′”界定相对于整数像素C3和E5的不同子整数像素位置，所以与由像素“c”和“d′”所识别的视频块相关联的偏移可为不同的。十六个不同像素位置“C3”、“a”、“b”、“c”、“d”、“e”、“f”、“g”、“h”、“i”、“j”、“k”、“l”、“m”、“n”和“o”中的每一者可界定不同偏移。此外，这些不同偏移还可分别应用于十六个不同像素位置“E5”、“a′”、“b′”、“c′”、“d′”、“e′”、“f′”、“g′”、“h′”、“i′”、“j′”、“k′”、“l′”、“m′”、“n′”和“o′”中的每一者。偏移可界定本质上使预测块的每一像素值向上或向下偏离以产生偏移预测块的带正负号的值。可将所述偏移称作DC偏移，因为其包含经译码的单元的所有像素相对于所有对应的预测像素(用于在每一相应样本位置处的预测译码)的平均值的平均差，所述平均差基于特定样本位置(整数位置或特定子整数位置)而预测。
再次，图4展示具有大写字母的实线框中的整数像素样本(也称作全像素)。对于任何给定整数像素样本，可存在15个子像素位置，其对于整数像素样本“C3”而展示且在图4中标记为“a”到“o”。根据H.264/AVC，运动补偿单元35可首先使用一维6分接头温纳滤波器来计算半像素位置“b”、“h”和“j”。可首先在水平方向上且接着在垂直方向上应用内插滤波器，或反之亦然。运动补偿单元35可接着使用双线性滤波器和已经计算的半像素样本对剩余的四分之一像素位置进行滤波。
经应用以产生经内插的数据的实际滤波器可经受广泛多种实施方案。作为一个实例，运动补偿单元35可使用自适应内插滤波来界定经内插的值。在另一实例中，可应用内插滤波器的若干集合，且可选择产生最佳预测数据的集合。根据本发明，偏移的添加在产生用于译码中的任何经内插的预测数据之后发生。
ITU-T SG16/Q.6/VCEG(视频译码专家组)委员会已探索出提供比H.264/AVC高的译码效率的译码技术。此探索包括在KTA(关键技术区域)论坛上所进行的工作。将已采用到KTA中的译码工具中的一者称作自适应内插滤波器(AIF)。AIF经由H.264/AVC而提供较大译码增益，尤其在具有高分辨率(例如，720p)的视频序列上。在AIF中，通过最小化预测错误能量而对于每一视频帧分析性地计算用于每一子像素位置的内插滤波器。每一帧的分析性地导出的自适应滤波器系数接着经预测、量化、译码和在视频位流中发送。本发明的偏移技术可在AIF方案以及许多其它内插方案内工作。
三种不同类型的AIF方案已采用到KTA中。第一种为二维不可分离AIF(NS-AIF)，第二种为可分离AIF(S-AIF)，且第三种为具有定向滤波器的AIF(DAIF)。然而，所有三种AIF方案使用同一分析过程以导出滤波器系数，其通过使用作为一实例的不可分离AIF而在下文解释。
假设6×6二维不可分离滤波器具有系数其中i，j＝0...5，且SP表示图4中所展示的15个子像素位置(a到o)中的一者。注意，15个子像素位置中的6个“a”、“b”、“c”、“d”、“h”和“i”为一维子像素位置，且运动补偿单元35可使用6分接头滤波器以内插此类数据。并且，假设在参考帧中的整数像素位置(图4中的A1到F6)处的预测像素采取像素值Pi，j，其中i，j＝0...5。即，A1采取值P0，0、...，A6采取值P5，0、...，F1采取值P5，0...，且F6采取值P5，5。接着，在子像素位置SP(SP∈{a、...、o})处的经内插的值pSP可由运动补偿单元35使用以下等式计算。
p SP = Σ i = 0 5 Σ j = 0 5 P i , j h i , j SP
设Sx，y为当前视频帧中在位置(x，y)处的像素值。
其中(mvx，mvy)为运动向量，为运动向量的整数分量，且FO为滤波器偏移。举例来说，在6分接头滤波器的状况下，FO＝6/2-1＝2。对于每一子像素位置SP，当前帧中的实际像素值与经内插的值之间的预测错误能量(eSP)2可对于具有对应于子像素位置SP的运动向量精确度的所有像素而由运动补偿单元35累积。预测错误能量(eSP)2可由运动补偿单元35使用以下等式计算：
( e SP ) 2 = Σ x Σ y ( S x , y - p x , y SP ) 2 = Σ x Σ y ( s x , y - Σ i = 0 5 Σ j = 0 5 h i , j SP P x ~ + i , y ~ + j ) 2 - - - ( 2 )
对于子像素位置“a”...“o”中的每一者，运动补偿单元35可通过计算相对于滤波器系数的(eSP)2的导数而设立等式的个别集合。在此状况下，等式的数目等于用于当前子像素位置SP的滤波器系数的数目。对于使用6×6分接头二维滤波器的每一二维子像素位置“e”、“f”、“g”、“i”、“j”、“k”、“m”、“n”和“o”，具有36个未知数的36个等式的系统可由运动补偿单元35求解。对于可能仅需要一维滤波器的剩余子像素位置“a”、“b”、“c”、“d”、“h”和“l”，6个等式的系统可由运动补偿单元35求解。
0 = ( ∂ e SP ) 2 ∂ h k , l SP
= ∂ ∂ h k , l SP ( Σ x Σ y ( s x , y - Σ i Σ j h i , j SP P x ~ + i , y ~ + j ) 2 ) - - - ( 3 )
= Σ x Σ y ( s x , y - Σ i Σ j h i , j SP P x ~ + i , y ~ + j ) P x ~ + k , y ~ + l
l∈{0；5}
总的来说，导出和应用AIF滤波器的一个实例过程可具有可由运动补偿单元35执行的以下步骤：
1.可对于待译码的每一视频帧估计运动向量(mvx，mvy)。在运动估计期间，可应用固定内插滤波器(例如，H.264/AVC的内插过程)。
2.使用这些运动向量，每一子像素位置SP的预测错误能量可在当前视频帧上累积。接着，可通过如同在上文的两个预测能量等式中最小化预测错误能量而独立地对于每一子像素位置SP来计算自适应滤波器系数
3.可接着估计新的运动向量。在此运动估计过程期间，可应用步骤2中所计算的自适应内插滤波器。使用自适应内插滤波器，由混叠(aliasing)、相机噪声等所引起的运动估计错误减少，且实现更好的运动预测。
所有三种现有AIF方案使用如上文给定的同一分析过程。这些方案之间的差异主要在于所使用的独特滤波器系数的数目、内插滤波器为可分离的还是不可分离的，以及使用何种滤波器支持(即，用以内插的整数像素位置)。在这些方案中的每一者中，对AIF滤波器的某些对称约束经强加以减少需要在视频位流中发送的滤波器系数的数目。
根据H.264/AVC，运动补偿单元35通过中间舍入运算(intermediate roundingoperation)而执行内插。在此状况下，半像素位置(b、h和j)在其用以获得四分之一像素位置之前经滤波和舍入。此外，在用以获得四分之一像素值的双线性滤波期间，可由运动补偿单元35使用向上舍入(即，(a+b+l)＞＞l可用于常规双线性滤波器中)。在内插期间由运动补偿单元35进行的此类频繁和偏离舍入运算可能降低内插滤波器的精确度。特定来说，模拟已展示，直接从用于H.264/AVC中的6分接头温纳滤波器和双线性滤波器所导出的较高精确度内插滤波器提供优于H.264/AVC的显著增益，尤其对于高清晰度视频序列，例如720p序列。由AIF方案(NS-AIF、S-AIF和DAIF)所实现的增益的显著部分可来自这些AIF方案使用比H.264/AVC高的精确度滤波器的事实。
在一些状况下，并非使用自适应内插滤波，运动补偿单元35可通过偏移(SIFO)方案而使用相对简单的交换内插滤波器。在此状况下，替代于自适应地导出每一帧的滤波器系数(其为编码器侧的代价非常高的过程)，运动补偿单元35可在多个固定滤波器之间选择，例如，所述多个固定滤波器可分别由内插滤波器系数的多个不同预界定的集合界定。可对于每一经译码的单元级(例如，帧级或片段级)或对于每一子像素位置(样本级)进行内插滤波器的选择。此外，根据本发明，DC偏移也可在预测之后添加，且还可对于如本文中所描述的每一可能的整数或分数像素位置界定DC偏移。
因此，运动补偿单元35可使用固定滤波器的不同集合以便界定内插数据的若干可能的替代。作为实例，运动补偿单元35可使用标准ITU-T H.264滤波器集合、基于H.264/AVC但具有较高精确度(在无1/2像素位置的中间舍入和1/4像素位置的偏离舍入的情况下)的滤波器集合或定制内插滤波器的集合。可通过使用训练视频序列的集合来预界定定制内插滤波器的所述集合。举例来说，可由将用于AIF方案中的分析过程应用于训练视频集合的运动补偿单元35导出最小化预测错误能量的自适应滤波器。接着，对于每一子像素位置的平均滤波器可经计算且用作定制内插滤波器。可接着使对于特定子像素位置的平均滤波器正规化，以使得所有滤波器系数合计达到1.0。接着还可使平均滤波器量化到特定定点精确度(例如，13位精确度)。
通过在滤波器系数中具有定点精确度，可消除或避免跨越不同平台的浮动。在此状况下，可从以本文中所描述的任何方式所获得的滤波器系数导出真实的定点实施。定制滤波器可具有不同特性。具体来说，定制滤波器可为不可分离滤波器或可分离滤波器，且其可具有不同滤波器大小(例如，6×6、4×4或其它大小)。
提供最佳预测(即，较小预测错误能量)的滤波器集合可由运动补偿单元35选择且经应用以产生经内插的数据。当使用多个参考帧时，可对于不同参考帧选择不同滤波器集合。在一个实例中，运动补偿单元35可对于1/2像素位置(位置b、h和l)应用标准滤波器，且运动补偿单元35可对于其它1/4像素位置应用定制滤波器集合。
不管所执行的内插或所使用的内插滤波器的类型如何，一旦预测数据由运动补偿单元35产生或内插，DC偏移就可基于与经内插(或未经内插)的数据相关联的样本位置而应用于预测数据。特定来说，本发明提供不同DC偏移对于不同整数或子整数像素位置的使用。再次，在图4中所展示的实例数据中，这意味着十六个不同像素位置“C3”、“a”、“b”、“c”、“d”、“e”、“f”、“g”、“h”、“i”、“j”、“k”、“l”、“m”、“n”和“o”中的每一者可界定其自身的不同偏移。因此，对于十六个可能的整数和子整数位置，可存在十六个不同偏移。此外，这些不同偏移还可分别应用于十六个不同像素位置“E5”、“a′”、“b′”、“c′”、“d′”、“e′”、“f′”、“g′”、“h′”、“i′”、“j′”、“k′”、“l′”、“m′”、“n′”和“o′”中的每一者。
将DC偏移添加到预测数据的像素可有助于俘获在不同视频帧之间的照明改变的效应。可由例如视频序列中的闪光或黑暗天空等因素引起照明改变。H.264/AVC使用加权预测，其可允许将偏移添加到预测像素值。然而，由H.264/AVC加权预测所界定的DC偏移可仅在帧级上被允许，从而意味着对于一给定帧仅界定一个偏移值，而不管内插还是未内插视频块的预测数据。
根据本发明，可对于与经内插和未经内插的数据相关联的不同样本位置而不同地界定DC偏移。因此，可对于图4中所展示的15个子像素位置(“a”、“b”、“c”、“d”、“e”、“f”、“g”、“h”、“i”、“j”、“k”、“l”、“m”、“n”和“o”)中的每一者界定不同DC偏移，且可对于整数像素位置界定另一DC偏移。当使用基于样本的DC偏移时，可对总共16个DC偏移进行译码且在视频位流中发送。通过应用基于样本的DC偏移，运动补偿单元35可经提供为简单但有效的运动分段工具。举例来说，将含有黑暗天空的视频帧作为静止背景且将移动物件作为前景。在此状况下，背景和前景可具有不同程度的照明改变，且通过使用由识别给定视频块的像素的位置所界定的位置特定DC偏移值，运动补偿单元35可能能够以比在无此类位置特定DC偏移值的情况下可实现的更有效的方式俘获前景和背景中的不同程度的照明改变。
此外，当经译码的单元的视频块使用(例如)用于双向预测的多个不同参考帧时，可对于与不同参考帧相关联的每一整数和子整数位置计算并发送不同DC偏移。在一些状况下，一些参考帧可包含单一基于帧的DC偏移，而其它参考帧可具有若干位置特定DC偏移。一些方案可仅相对于时间距离距正经译码的当前帧最近的参考帧使用位置特定DC偏移，且所有其它参考帧可使用单一基于帧的DC偏移。
为了对DC偏移进行译码，每帧的1位可用以指示使用单一基于帧的DC偏移还是使用若干位置特定DC偏移。如果DC偏移仅具有整数精确度，那么可使用带正负号的指数哥伦布码(Golomb code)对这些偏移的值进行译码。如果DC偏移具有分数精确度，那么可使用带正负号的指数哥伦布码对整数偏移的值进行译码，且可使用相对于由带正负号的指数哥伦布码所界定的整数偏移的残余差而对非整数偏移的值进行译码。
举例来说，可通过首先对整数偏移进行译码且接着对每一分数偏移进行译码而进行偏移的译码。在此状况下，对整数偏移和分数偏移不同地进行译码。可使用带正负号的指数哥伦布码对整数偏移进行译码。视整数偏移的量值而定，可与整数偏移不同地量化分数偏移。举例来说，当整数偏移具有较大量值时，可对分数偏移应用较粗糙等级的量化。在量化之后，可使用固定长度码对分数偏移进行译码。作为一实例，以下伪码可说明可如何使用基于整数偏移值所界定的不同固定长度码对给定分数偏移进行译码。
Let offsetI be the integer offset
Let offsetF be the fractional offset
Let offsetFbits be the number of bits used to quantize offsetF
Let abs(a)be the absolute value of a
       if(abs(offsetI)＝0)
            offsetFbits＝5
       else if(abs(offsetI)＜3)
            offsetFbits＝4
else if(abs(offsetI)＜7)
            offsetFbits＝2
else
            offsetFbits＝0
在此状况下，视频编码器可包括量化单元(例如，视频编码器50的单元40)，所述量化单元对于偏移值中的每一者将第一数目的位指派到给定偏移值的整数部分，且将第二数目的位指派到给定偏移值的分数部分，其中位的第一数目和第二数目基于整数部分的量值而确定。在此状况下，偏移值可从运动补偿单元35转发到量化单元40，且量化单元40可应用与上文伪码一致的量化。在任何状况下，视频编码器50可与第二数目的位不同地对第一数目的位进行编码。
大体来说，可如下计算若干位置特定DC偏移：
1.对于待译码的视频帧的每一视频块估计运动向量。
2.对于每一像素位置和子像素位置，可将所述位置的DC偏移计算为当前帧中的具有对应于所述像素位置或子像素位置的运动向量精确度的所有像素的平均值与用以对当前帧中的每一相应像素位置或子像素位置的像素进行译码的经内插的值的平均值之间的差。
如果单一基于帧的DC偏移用于一些帧，那么帧级DC偏移的计算可为类似的。在此状况下，可将帧级DC偏移界定为当前帧中的经帧间预测的所有像素的平均值与用以预测那些像素的经内插的值的平均值之间的差。
如上文所提及，DC偏移值可经译码作为每一经译码的单元的位流的一部分。因此，在解码器侧，解码器仅将适当的DC偏移值应用于任何所产生的预测视频块的像素。可在对于与每一预测视频块相关联的特定整数或子整数像素位置的语法中界定由解码器所使用的DC偏移值。举例来说，例如经译码的单元的标头文件等语法元素可包括用以指定所述经译码的单元的所述多个偏移值中的每一者的旗标或值。在本发明中可互换地使用术语“偏移”与“DC偏移”。在对于每一相同的相应像素位置而界定整个偏移(例如，一个偏移对于整数位置，且若干不同偏移对于每一可能的子像素位置)的程度内将偏移称作DC偏移。
图5是说明可由编码装置执行的编码技术的流程图。将从视频编码器50(图2)和源装置12(图1)的角度描述图5的技术。图2的视频编码器50可对应于图1的视频编码器22。
如图5中所展示，视频编码器50的运动补偿单元35计算视频数据的经译码的单元的对于整数像素位置和子整数像素位置的多个偏移值(101)。运动补偿单元35接着将偏移值应用于预测视频块以产生偏移预测视频块(102)，且视频编码器50(例如)通过调用加法器48从正译码的视频块减去所述偏移预测视频块且借此产生残余视频块而基于所述偏移预测视频块对经译码的单元的视频块进行编码(103)。运动补偿单元35可将偏移值转发到对偏移值进行编码(104)的熵译码单元46。特定来说，熵译码单元46可对作为经译码的位流的一部分的偏移值进行熵编码，所述经译码的位流包括经译码的单元的经译码的视频块。可接着将经编码的位流发射到另一装置(105)。特定来说，位流可由调制解调器23(图1)调制且经由发射器24发射到目的地装置16(105)。
如上文所提及，经译码的单元可包含视频帧、视频帧的片段，或视频块的另一可独立解码单元。偏移值可包括整数像素位置的一个偏移值和不同子整数像素位置的若干偏移值。举例来说，与允许经内插的数据的15个不同子整数位置的ITU-T H.264标准一致，偏移值可同样地包括十五个不同子整数像素位置的十五个不同偏移值。
如上文所描述，计算所述多个偏移值可包括：计算与经译码的单元的相应视频块相关联的第一量度集合，所述相应视频块基于在每一整数像素位置和子整数像素位置处的预测视频块而编码；计算与实际上用以对经译码的单元进行编码的预测视频块的每一整数像素位置和子整数像素位置相关联的第二量度集合；以及基于第一量度集合和第二量度集合而计算所述多个偏移值。第一量度集合可包含与具有针对经译码的单元的视频块的每一整数像素位置和子整数像素位置的运动向量精确度的像素相关联的第一平均值集合。第二量度集合可包含与每一整数像素位置和子整数像素位置处的用于编码中的预测像素相关联的第二平均值集合。所述多个偏移值可包含第一平均值集合与第二平均值集合之间的差。可对于视频数据的每一经译码的单元重复图5中所展示的方法，在所述状况下，运动补偿单元35可重新计算视频数据的不同经译码的单元的所述多个偏移值。
图6是说明可由解码装置执行的解码技术的流程图。将从视频解码器60(图3)的角度描述图6的技术。图3的视频解码器60可对应于图1的视频解码器28。
如图6中所展示，运动补偿单元55接收经译码的单元的经编码的视频数据，其包括对于不同整数像素位置和子整数像素位置的多个偏移值(111)。熵解码单元52可接收经编码的位流且可对所述位流进行熵解码以便产生残余视频块、运动向量和所述多个偏移值。运动补偿单元55将偏移值应用于预测视频块以产生偏移预测视频块(112)。特定来说，运动补偿单元55可使用运动向量以首先产生预测视频块，且可接着将偏移值应用于预测视频块以产生偏移预测视频块(112)。视频解码器60可接着(例如)通过调用加法器64使残余块加到用以对此类残余块进行译码的偏移预测视频块而基于所述偏移预测视频块对经译码的单元的视频块进行解码(113)。
再次，经译码的单元可为视频帧、视频帧的片段，或视频块的另一可独立解码单元。偏移值可包括整数像素位置的一个偏移值和不同子整数像素位置的若干偏移值，例如，一个偏移值对于整数像素位置且十五个不同偏移值对于十五个不同子整数像素位置。偏移值可包含第一平均值集合与第二平均值集合之间的差，所述第一平均值集合与经译码的单元的基于相应整数像素分辨率和子整数像素分辨率下的预测视频块而编码的相应视频块相关联，且所述第二平均值集合与实际上用于编码中的预测视频块的每一整数像素位置和子整数像素位置相关联。可对于视频数据的不同经译码的单元重复图6的技术。
图7是说明可由编码装置执行的编码技术的另一流程图。将从视频编码器50和源装置12(图1)的角度描述图7的技术。图2的视频编码器50可对应于图1的视频编码器22。如图7中所展示，运动补偿单元35在包括预测块到子整数分辨率的内插的第一预测译码遍次中产生经译码的单元的视频块的运动向量(121)。运动补偿单元35计算与经译码的单元的分别基于每一整数像素位置和子整数像素位置预测的相应视频块相关联的第一量度集合(122)，且计算与用于此类译码的预测视频块的每一整数像素位置和子整数像素位置相关联的第二量度集合(123)。
运动补偿单元35基于第一量度集合和第二量度集合而计算多个偏移值(124)。第一量度集合和第二量度集合可包含平均值，且偏移值可包含此类平均值之间的差。在任何状况下，运动补偿单元35将偏移值应用于预测视频块以产生偏移预测视频块(125)。视频编码器60接着(例如)通过调用加法器48从正译码的经译码的单元的视频块减去偏移预测视频块而基于偏移预测视频块在第二译码遍次中对经译码的单元的视频块进行编码(126)。另外，熵译码单元46对偏移值进行编码(127)。特定来说，熵译码单元46可对作为经译码的位流的一部分的偏移值进行熵编码，所述经译码的位流包括经译码的单元的经译码的视频块。可接着将经编码的位流发射到另一装置(128)。特定来说，位流可由调制解调器23(图1)调制且经由发射器24发射到目的地装置16(105)。
本发明的技术可体现于包括无线手机和集成电路(IC)或IC的集合(即，芯片组)的广泛多种装置或设备中。已描述经提供以强调功能方面的任何组件、模块或单元，且其未必需要由不同硬件单元等实现。
因此，本文中所描述的技术可以硬件、软件、固件或其任何组合来实施。经描述为模块或组件的任何特征可一起实施于集成式逻辑装置中或单独实施为离散但可共同操作的逻辑装置。如果以软件实施，那么可至少部分地由包含指令的计算机可读媒体来实现所述技术，所述指令在经执行时执行上文中所描述的方法中的一者或一者以上。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或作为替代，可至少部分地由计算机可读通信媒体来实现所述技术，所述计算机可读通信媒体以指令或数据结构的形式携载或传送代码且可由计算机存取、读取和/或执行。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行所述代码。因此，如本文中所使用的术语“处理器”可指代上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内，或并入于组合的视频编码器-解码器(CODEC)中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
已描述本发明的各个方面。这些和其它方面在所附权利要求书的范围内。

Claims (37)

1.一种对视频数据进行编码的方法，所述方法包含：
计算所述视频数据的经译码的单元的多个DC偏移值，其中所述多个DC偏移值与多个不同整数像素位置和子整数像素位置相关联，其中所述多个DC偏移值包括整数像素位置的一个DC偏移值和不同子整数像素位置的若干DC偏移值；
将所述DC偏移值应用于预测视频块以根据所述DC偏移值使所述预测视频块偏离且借此产生偏移预测视频块；以及
基于所述偏移预测视频块而对所述经译码的单元的视频块进行编码。
2.根据权利要求1所述的方法，其进一步包含对作为经译码的位流的一部分的所述DC偏移值进行编码，所述经译码的位流包括所述经译码的单元的经译码的视频块。
3.根据权利要求2所述的方法，其中对所述DC偏移值进行编码包含对于所述DC偏移值中的每一者将第一数目的位指派到给定DC偏移值的整数部分，且将第二数目的位指派到所述给定DC偏移值的分数部分，其中位的所述第一数目和所述第二数目基于所述整数部分的量值而确定。
4.根据权利要求3所述的方法，其进一步包含与所述第二数目的位不同地对所述第一数目的位进行编码。
5.根据权利要求2所述的方法，其进一步包含将所述经译码的位流从源装置发射到目的地装置。
6.根据权利要求1所述的方法，其中所述经译码的单元包含视频帧和视频帧的片段中的一者。
7.根据权利要求1所述的方法，其中所述DC偏移值包括十五个不同子整数像素位置的十五个不同DC偏移值。
8.根据权利要求1所述的方法，其中计算所述多个DC偏移值包括：
计算与所述经译码的单元的相应视频块相关联的第一量度集合，所述相应视频块基于在每一整数像素位置和子整数像素位置处的所述预测视频块而编码；
计算与所述预测视频块的每一整数像素位置和子整数像素位置相关联的第二量度集合；以及
基于所述第一量度集合和所述第二量度集合而计算所述多个DC偏移值，
其中所述第一量度集合包含第一平均值集合，所述第一平均值集合对应于经译码的单元的相应视频块的像素值的平均值，所述相应视频块基于在每一整数像素位置和子整数像素位置处的所述预测视频块而译码，以及
所述第二量度集合包含第二平均值集合，所述第二平均值集合对应于所述预测视频块的每一整数像素位置和子整数像素位置处的像素值的平均值。
9.根据权利要求8所述的方法，其中：
所述多个DC偏移值包含所述第一平均值集合与所述第二平均值集合之间的差。
10.根据权利要求1所述的方法，其进一步包含重新计算所述视频数据的不同经译码的单元的所述多个DC偏移值。
11.一种对视频数据进行解码的方法，所述方法包含：
接收所述视频数据的经译码的单元的多个DC偏移值，其中所述多个DC偏移值与多个不同整数像素位置和子整数像素位置相关联，其中所述多个DC偏移值包括整数像素位置的一个DC偏移值和不同子整数像素位置的若干DC偏移值；
将所述DC偏移值应用于预测视频块以根据所述DC偏移值使所述预测视频块偏离且借此产生偏移预测视频块；以及
基于所述偏移预测视频块而对所述经译码的单元的视频块进行解码。
12.根据权利要求11所述的方法，其中所述经译码的单元包含视频帧和视频帧的片段中的一者。
13.根据权利要求11所述的方法，其中所述DC偏移值包括十五个不同子整数像素位置的十五个不同DC偏移值。
14.根据权利要求11所述的方法，其中所述DC偏移值包含第一平均值集合与第二平均值集合之间的差，所述第一平均值集合与所述经译码的单元的基于在每一整数像素位置和子整数像素位置处的所述预测视频块而编码的相应视频块相关联，且所述第二平均值集合与所述预测视频块的每一整数像素位置和子整数像素位置相关联，其中所述第一平均值集合和所述第二平均值集合是像素值的平均值。
15.根据权利要求11所述的方法，其中对于所述视频数据的不同经译码的单元重复所述方法。
16.一种对视频数据进行编码的设备，所述设备包含进行以下动作的视频编码器：
计算所述视频数据的经译码的单元的多个DC偏移值，其中所述多个DC偏移值与多个不同整数像素位置和子整数像素位置相关联，其中所述多个DC偏移值包括整数像素位置的一个DC偏移值和不同子整数像素位置的若干DC偏移值；
将所述DC偏移值应用于预测视频块以根据所述DC偏移值使所述预测视频块偏离且借此产生偏移预测视频块；以及
基于所述偏移预测视频块而对所述经译码的单元的视频块进行编码。
17.根据权利要求16所述的设备，其中所述视频编码器包括熵译码单元，所述熵译码单元对作为经译码的位流的一部分的所述DC偏移值进行编码，所述经译码的位流包括所述经译码的单元的经译码的视频块。
18.根据权利要求16所述的设备，其中所述视频编码器包括量化单元，所述量化单元对于所述DC偏移值中的每一者将第一数目的位指派到给定DC偏移值的整数部分，且将第二数目的位指派到所述给定DC偏移值的分数部分，其中位的所述第一数目和所述第二数目基于所述整数部分的量值而确定。
19.根据权利要求18所述的设备，其中所述视频编码器与所述第二数目的位不同地对所述第一数目的位进行编码。
20.根据权利要求16所述的设备，其中所述经译码的单元包含视频帧和视频帧的片段中的一者。
21.根据权利要求16所述的设备，其中所述DC偏移值包括十五个不同子整数像素位置的十五个不同DC偏移值。
22.根据权利要求16所述的设备，其中所述视频编码器：
计算与所述经译码的单元的相应视频块相关联的第一量度集合，所述相应视频块基于在每一整数像素位置和子整数像素位置处的所述预测视频块而编码；
计算与所述预测视频块的每一整数像素位置和子整数像素位置相关联的第二量度集合；以及
基于所述第一量度集合和所述第二量度集合而计算所述多个DC偏移值，
其中所述第一量度集合包含第一平均值集合，所述第一平均值集合对应于经译码的单元的相应视频块的像素值的平均值，所述相应视频块基于在每一整数像素位置和子整数像素位置处的所述预测视频块而译码，以及
所述第二量度集合包含第二平均值集合，所述第二平均值集合对应于所述预测视频块的每一整数像素位置和子整数像素位置处的像素值的平均值。
23.根据权利要求22所述的设备，其中：
所述多个DC偏移值包含所述第一平均值集合与所述第二平均值集合之间的差。
24.根据权利要求16所述的设备，其中所述视频编码器重新计算所述视频数据的不同经译码的单元的所述DC偏移值。
25.根据权利要求16所述的设备，其中所述设备包含集成电路。
26.根据权利要求16所述的设备，其中所述设备包含微处理器。
27.根据权利要求16所述的设备，其进一步包含将经译码的位流发送到另一装置的无线发射器，其中所述经译码的位流包括所述多个DC偏移值，且其中所述设备包含无线通信手机。
28.一种对视频数据进行解码的设备，所述设备包含进行以下动作的视频解码器：
接收所述视频数据的经译码的单元的多个DC偏移值，其中所述多个DC偏移值与多个不同整数像素位置和子整数像素位置相关联，其中所述多个DC偏移值包括整数像素位置的一个DC偏移值和不同子整数像素位置的若干DC偏移值；
将所述DC偏移值应用于预测视频块以根据所述DC偏移值使所述预测视频块偏离且借此产生偏移预测视频块；以及
基于所述偏移预测视频块而对所述经译码的单元的视频块进行解码。
29.根据权利要求28所述的设备，其中所述经译码的单元包含视频帧和视频帧的片段中的一者。
30.根据权利要求28所述的设备，其中所述DC偏移值包括十五个不同子整数像素位置的十五个不同DC偏移值。
31.根据权利要求28所述的设备，其中所述DC偏移值包含第一平均值集合与第二平均值集合之间的差，所述第一平均值集合与所述经译码的单元的基于在每一整数像素位置和子整数像素位置处的所述预测视频块而编码的相应视频块相关联，且所述第二平均值集合与所述预测视频块的每一整数像素位置和子整数像素位置相关联，其中所述第一平均值集合和所述第二平均值集合是像素值的平均值。
32.根据权利要求28所述的设备，其中所述视频解码器接收并应用所述视频数据的不同经译码的单元的不同的多个DC偏移值。
33.根据权利要求28所述的设备，其中所述设备包含集成电路。
34.根据权利要求28所述的设备，其中所述设备包含微处理器。
35.根据权利要求28所述的设备，其进一步包含从另一装置接收经译码的位流的无线接收器，其中所述经译码的位流包括所述多个DC偏移值，且其中所述设备包含无线通信手机。
36.一种对视频数据进行编码的装置，所述装置包含：
用于计算所述视频数据的经译码的单元的多个DC偏移值的装置，其中所述多个DC偏移值与多个不同整数像素位置和子整数像素位置相关联，其中所述多个DC偏移值包括整数像素位置的一个DC偏移值和不同子整数像素位置的若干DC偏移值；
用于将所述DC偏移值应用于预测视频块以根据所述DC偏移值使所述预测视频块偏离且借此产生偏移预测视频块的装置；以及
用于基于所述偏移预测视频块而对所述经译码的单元的视频块进行编码的装置。
37.一种对视频数据进行解码的装置，所述装置包含：
用于接收所述视频数据的经译码的单元的多个DC偏移值的装置，其中所述多个DC偏移值与多个不同整数像素位置和子整数像素位置相关联，其中所述多个DC偏移值包括整数像素位置的一个DC偏移值和不同子整数像素位置的若干DC偏移值；
用于将所述DC偏移值应用于预测视频块以根据所述DC偏移值使所述预测视频块偏离且借此产生偏移预测视频块的装置；以及
用于基于所述偏移预测视频块而对所述经译码的单元的视频块进行解码的装置。
CN200980112681.8A 2008-04-10 2009-04-10 子像素分辨率下的偏移 Expired - Fee Related CN101999230B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US4402308P 2008-04-10 2008-04-10
US4402008P 2008-04-10 2008-04-10
US61/044,023 2008-04-10
US61/044,020 2008-04-10
US4424008P 2008-04-11 2008-04-11
US61/044,240 2008-04-11
US12/420,280 US8804831B2 (en) 2008-04-10 2009-04-08 Offsets at sub-pixel resolution
US12/420,280 2009-04-08
PCT/US2009/040279 WO2009126937A1 (en) 2008-04-10 2009-04-10 Offsets at sub-pixel resolution

Publications (2)

Publication Number Publication Date
CN101999230A CN101999230A (zh) 2011-03-30
CN101999230B true CN101999230B (zh) 2014-12-17

Family

ID=40810532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980112681.8A Expired - Fee Related CN101999230B (zh) 2008-04-10 2009-04-10 子像素分辨率下的偏移

Country Status (8)

Country Link
US (1) US8804831B2 (zh)
EP (1) EP2304959B1 (zh)
JP (1) JP5166601B2 (zh)
KR (1) KR101242853B1 (zh)
CN (1) CN101999230B (zh)
CA (1) CA2720129A1 (zh)
TW (1) TW201010442A (zh)
WO (1) WO2009126937A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456279B1 (ko) 2008-01-03 2014-11-04 한국전자통신연구원 참조 블록 파형 정보에 기반하여 인트라 영상을 부호화하는 장치 및 복호화 하는 장치
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
EP2136565A1 (en) * 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
US8306122B2 (en) * 2008-06-23 2012-11-06 Broadcom Corporation Method and apparatus for processing image data
KR101441903B1 (ko) * 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
NO330275B1 (no) * 2008-12-19 2011-03-21 Tandberg Telecom As Fremgangsmate i en videokodings-/-dekodingsprosess
CN104506877B (zh) * 2009-06-19 2018-01-19 三菱电机株式会社 图像解码装置以及图像解码方法
US20110142135A1 (en) * 2009-12-14 2011-06-16 Madhukar Budagavi Adaptive Use of Quarter-Pel Motion Compensation
US9237178B2 (en) * 2010-02-03 2016-01-12 Futurewei Technologies, Inc. Combined binary string for signaling byte range of media fragments in adaptive streaming
US20110200108A1 (en) * 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
FR2956552B1 (fr) * 2010-02-18 2012-12-28 Canon Kk Procede de codage ou de decodage d'une sequence video, dispositifs associes
FR2957744B1 (fr) * 2010-03-19 2012-05-25 Canon Kk Procede de traitement d'une sequence video et dispositif associe
US9219921B2 (en) 2010-04-12 2015-12-22 Qualcomm Incorporated Mixed tap filters
US20120008686A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
US20120063515A1 (en) * 2010-09-09 2012-03-15 Qualcomm Incorporated Efficient Coding of Video Parameters for Weighted Motion Compensated Prediction in Video Coding
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US10045046B2 (en) 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US9172972B2 (en) 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
KR20120095611A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오 부호화/복호화 방법 및 장치
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
CN103069805B (zh) 2011-06-27 2017-05-31 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
US9641866B2 (en) 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
JP5882450B2 (ja) * 2011-08-31 2016-03-09 メディアテック インコーポレイテッド 制約付きフィルタ係数を有する適応ループフィルタの方法及び装置
KR20130034566A (ko) * 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US20140301719A1 (en) * 2013-04-08 2014-10-09 Broadcom Corporation Processing cache for multiple bit precisions
KR20150045819A (ko) * 2013-10-21 2015-04-29 삼성전자주식회사 움직임 보상을 수행하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR101479525B1 (ko) 2014-03-31 2015-01-09 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US10785475B2 (en) * 2014-11-05 2020-09-22 Mediatek Singapore Pte. Ltd. Method and apparatus of video coding with prediction offset
US10575007B2 (en) 2016-04-12 2020-02-25 Microsoft Technology Licensing, Llc Efficient decoding and rendering of blocks in a graphics pipeline
US10157480B2 (en) 2016-06-24 2018-12-18 Microsoft Technology Licensing, Llc Efficient decoding and rendering of inter-coded blocks in a graphics pipeline
US11197010B2 (en) 2016-10-07 2021-12-07 Microsoft Technology Licensing, Llc Browser-based video decoder using multiple CPU threads
US10249049B1 (en) * 2017-04-28 2019-04-02 Ambarella, Inc. Local maxima sub-integer position estimation in video processing
US10672164B2 (en) * 2017-10-16 2020-06-02 Adobe Inc. Predicting patch displacement maps using a neural network
KR102357142B1 (ko) 2017-11-07 2022-02-08 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
CN117692632A (zh) * 2018-07-31 2024-03-12 寰发股份有限公司 用于视频编解码的利用运动向量差的合并方法和装置
KR20210078351A (ko) 2019-12-18 2021-06-28 김학진 스마트폰 화면보호필름 장착 보조장치

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2938412B2 (ja) 1996-09-03 1999-08-23 日本電信電話株式会社 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体
US6539058B1 (en) 1998-04-13 2003-03-25 Hitachi America, Ltd. Methods and apparatus for reducing drift due to averaging in reduced resolution video decoders
JP2000106675A (ja) 1998-07-29 2000-04-11 Matsushita Electric Ind Co Ltd 映像符号化方法、映像符号化装置及び動きベクトル検出装置
US6529638B1 (en) 1999-02-01 2003-03-04 Sharp Laboratories Of America, Inc. Block boundary artifact reduction for block-based image compression
DE10120395A1 (de) 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
KR100557911B1 (ko) 2001-09-18 2006-03-10 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
EP2373035B1 (en) 2001-11-30 2015-11-25 NTT DoCoMo, Inc. Moving picture encoding device, moving picture decoding device, moving picture encoding method, moving picture decoding method, program, and computer readable recording medium storing program
SG149694A1 (en) 2002-01-14 2009-02-27 Nokia Corp Coding dynamic filters
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
JP4015934B2 (ja) 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US7129962B1 (en) 2002-03-25 2006-10-31 Matrox Graphics Inc. Efficient video processing method and system
US7620109B2 (en) 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7305034B2 (en) 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
KR20050018948A (ko) 2002-07-09 2005-02-28 노키아 코포레이션 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
AU2002364104A1 (en) 2002-08-15 2004-03-03 On2.Com Imprroved video compression system
DE10240404A1 (de) 2002-09-02 2004-03-18 Austriamicrosystems Ag Hall-Sensor und Verfahren zu dessen Betrieb
US20040076333A1 (en) 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
KR100534207B1 (ko) 2002-12-09 2005-12-08 삼성전자주식회사 비디오 부호화기의 움직임 추정기 및 그 방법
RU2305377C2 (ru) 2003-05-20 2007-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации
WO2005004492A2 (en) 2003-06-25 2005-01-13 Thomson Licensing S.A. Method and apparatus for weighted prediction estimation using a displaced frame differential
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
NO319629B1 (no) 2003-11-28 2005-09-05 Tandberg Telecom As Fremgangsmate for korrigering av interpolerte pikselverdier
EP1578137A2 (en) 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
JP4709143B2 (ja) 2004-04-21 2011-06-22 パナソニック株式会社 動き補償装置、画面間予測符号化装置、画面間予測復号化装置、動き補償方法、および集積回路
CN1717056A (zh) 2004-07-02 2006-01-04 三菱电机株式会社 用于小波视频编码中的高通时间滤波帧的帧内预测
EP1617672A1 (en) 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US8284837B2 (en) 2004-09-16 2012-10-09 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
US7653132B2 (en) 2004-12-21 2010-01-26 Stmicroelectronics, Inc. Method and system for fast implementation of subpixel interpolation
US8218634B2 (en) 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
JP2008536414A (ja) 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
EP1746839A1 (en) 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
KR100754841B1 (ko) 2005-10-28 2007-09-04 경희대학교 산학협력단 비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법
KR101293086B1 (ko) 2006-02-17 2013-08-06 톰슨 라이센싱 비디오 데이터 밝기 변화를 다루는 지역화된 가중 예측
US8582663B2 (en) 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
WO2008084378A2 (en) 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
MX2009010527A (es) 2007-04-09 2009-10-26 Nokia Corp Vectores de movimiento de alta precision para codificacion de video con baja complejidad de codificacion y decodificacion.
US20090257499A1 (en) 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Localized Weighted Prediction for Video Coding;peng yin;《Circuits and Systems》;20050526;第4366页第2栏公式5，第4365页第1栏第2段 *
维基百科.Golomb Coding.《Golomb Coding》.2008,overview部分,simple algorithm部分. *

Also Published As

Publication number Publication date
JP5166601B2 (ja) 2013-03-21
JP2011517242A (ja) 2011-05-26
CN101999230A (zh) 2011-03-30
EP2304959A1 (en) 2011-04-06
US20090257500A1 (en) 2009-10-15
US8804831B2 (en) 2014-08-12
CA2720129A1 (en) 2009-10-15
KR20110005846A (ko) 2011-01-19
TW201010442A (en) 2010-03-01
KR101242853B1 (ko) 2013-03-12
WO2009126937A1 (en) 2009-10-15
EP2304959B1 (en) 2015-05-20

Similar Documents

Publication Publication Date Title
CN101999230B (zh) 子像素分辨率下的偏移
TWI542222B (zh) 用於基於固定濾波器或適應性濾波器用於視訊編碼之由率失真定義之內插之方法、裝置、器件及電腦可讀儲存媒體
US20190028736A1 (en) Advanced interpolation techniques for motion compensation in video coding
TWI468017B (zh) 用於視訊寫碼中運動補償之進階內插技術
CN102017629B (zh) 用于视频译码中的子像素分辨率的内插滤波器支持
CN102342101B (zh) 用于在视频译码中进行内插滤波、环路内滤波和环路后滤波的组合方案
CN102474621B (zh) 视频编码中的非零舍入与预测模式选择技术
JP5180366B2 (ja) ビデオコーディングにおけるサブピクセル位置の補間フィルタリングに対する対称性
CN102474623B (zh) 在视频编码中的非零舍入及预测模式选择方法
TWI523528B (zh) 用於視訊編碼中整體像素位置之似內插濾波之方法、裝置、器件及電腦可讀儲存媒體
KR101469338B1 (ko) 혼합된 탭 필터들
JP2011517237A (ja) ビデオ・コーディングにおける補間のための予測技法
RU2505938C2 (ru) Интерполяция на основе искажений в зависимости от скорости передачи для кодирования видео на основе неперестраиваемого фильтра или адаптивного фильтра
Murmu Fast motion estimation algorithm in H. 264 standard

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141217

Termination date: 20210410

CF01 Termination of patent right due to non-payment of annual fee