CN1981535B - 预测帧里的加权预测方法和设备 - Google Patents

预测帧里的加权预测方法和设备 Download PDF

Info

Publication number
CN1981535B
CN1981535B CN2005800222754A CN200580022275A CN1981535B CN 1981535 B CN1981535 B CN 1981535B CN 2005800222754 A CN2005800222754 A CN 2005800222754A CN 200580022275 A CN200580022275 A CN 200580022275A CN 1981535 B CN1981535 B CN 1981535B
Authority
CN
China
Prior art keywords
frame
zone
weight parameter
module
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800222754A
Other languages
English (en)
Other versions
CN1981535A (zh
Inventor
肯特·G·沃克
维贾亚拉克施密·R·拉维德朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN1981535A publication Critical patent/CN1981535A/zh
Application granted granted Critical
Publication of CN1981535B publication Critical patent/CN1981535B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

用于构造加权双向预测视频画面的一种方法和设备，包括：在第一和第二参考帧中找出第一和第二预测区域的位置，接收与第一和第二预测区域相关的第一和第二权参数，其中权参数和用于对权参数进行编码的加权方法可以是来自加权双向预测的几种不同编解码器设计。还包括：修改权参数，让它们与位结构和加权方法一致，将权参数应用于第一和第二预测区域，并且将它们合并起来形成加权双向预测画面。选择位结构来支持多种编码位结构和方法，其中编码位结构和方法可以在例如比特数，是带符号的还是无符号的，以及支持偏移等特征上不同。

Description

预测帧里的加权预测方法和设备
根据35U.S.C.§119的优先权要求
本专利申请要求2004年5月4日递交的，标题为“Method andApparatus for Weighted Prediction in Predictive Frames”，转让给本受让人的第60/568,154号临时申请的优先权，在这里明确地将其引入作为参考。
技术领域
本发明涉及对压缩视频数据进行解码的方法和设备，其中的视频数据使用了各种加权预测方法来进行编码。
背景技术
在MPEG-1、MPEG-2、MPEG-4(一起叫做MPEG-x)、H.261、H.262、H.263和H.264(一起叫做H.26x)这种混合编码器中，存在空域、时域和信噪比(SNR)可分级性。在混合编码中，通过运动补偿预测(MCP)消除时间冗余性。通常将视频划分成一系列的画面组(GOP)，其中每个GOP都以帧内编码帧(I)开始，后面跟着前向或后向预测编码帧(P)和双向预测帧(B)。P帧和B帧都是帧间的。
B帧能够显著地降低比特率，还能提供时域可分级性能力(也就是说，可以选择针对I帧和P帧之间的帧引入双向预测，即使没有这些B帧，这个比特流也是可以播放的，但是，如果在解码和回放中包括B帧，就能够看到时间平滑性和更高的帧速率)。B帧是从多个帧预测的，并且可以从用于预测它们的帧的简单平均计算出来。但是，也可以使用加权预测来计算B帧，例如，基于时间的加权平均，或者基于亮度这种参数的加权平均。加权预测给予这些帧之一以更多的强调，或者给予这些帧的特定特性以更多的强调，用于更加有效地预测B帧。不同的编解码器以不同的方式实现加权预测。Real Video 9提供14比特无符号加权因子与各个前向和后向预测相乘，还支持直接模式，在直接模式中，基于B帧相对于两个参考帧的相对时间位置来导出时间权。在简单可分级类中，MPEG-4支持过去的和未来的参考帧的简单平均。Windows Media Video 9也支持MPEG-4中一样的简单平均。H.264加权预测支持过去和未来帧的简单平均，基于到过去和未来帧的时间距离的直接模式加权，以及基于过去和未来帧亮度(或其它参数)的加权预测。
如同上面所讨论的一样，不同的视频编解码实现方式可以有各自不同的加权模式，例如直接模式、亮度加权和简单平均，以及给加权因子的不同比特分配。有必要用单个解码器设计来对多种类型加权双向预测视频比特流进行解码，通过这种解码器设计能够得到高效、低成本的软件、固件和硬件设计。
发明内容
本说明书描述能够通过使用新颖的数字信号处理对加权双向预测编码视频进行解码的视频解码系统。有效、新颖的解码器设计支持用单个解码器对多个加权双向编码方案进行解码。预处理器识别具体编码方案中使用的加权因子，修改权因子，使它们与通用比特结构一致，以便利用通用公式进行解码。
根据一个方面，公开了一种用于构造当前帧的方法，包括：接收与第一帧的一个区域相联系的第一权参数；接收与第二帧的一个区域相联系的第二权参数；将所述第一权参数修改成与位结构一致，其中，所述位结构支持多个编码位结构；将所述第二权参数修改成与所述位结构一致；通过将所述修改过的第一权参数应用于第一帧的所述区域来计算第一预测分量；通过将所述修改过的第二权参数应用于第二帧的所述区域来计算第二预测分量；接收与第一帧的所述区域相联系的第一偏移参数；接收与第二帧的所述区域相联系的第二偏移参数；通过组合所述第一预测分量和所述第二预测分量来计算组合加权预测；将所述组合加权预测加上一舍入因子；通过将所述组合加权预测移位一定位数来对所述组合加权预测进行归一化，其中所述移位的位数基于在归一化运算中使用的、与所述第一权参数和所述第二权参数相联系的分母的以二为底的对数；接收与所述组合加权预测相联系的残留误差；以及将所述残留误差、所述第一偏移参数和所述第二偏移参数与所述组合加权预测组合起来，其中所述第一帧是前一参考帧和后一参考帧中的一个，所述第二帧是所述前一参考帧和所述后一参考帧中的另一个，其中，第一帧的所述区域和第二帧的所述区域是相对于所述当前帧中的区域的最佳匹配预测区域。
根据另一个方面，公开了一种用于构造当前帧的设备，包括：接收与第一帧的一个区域相联系的第一权参数的模块；接收与第二帧的一个区域相联系的第二权参数的模块；将所述第一权参数修改成与位结构一致的模块，其中，所述位结构支持多个编码位结构；将所述第二权参数修改成与所述位结构一致的模块；通过将修改过的所述第一权参数应用于第一帧的所述区域来计算第一预测分量的模块；通过将修改过的所述第二权参数应用于第二帧的所述区域来计算第二预测分量的模块；接收与第一帧的所述区域相联系的第一偏移参数的模块；接收与第二帧的所述区域相联系的第二偏移参数的模块；通过组合所述第一预测分量和所述第二预测分量来计算组合加权预测的模块；将所述组合加权预测加上一舍入因子的模块；通过将所述组合加权预测移位一定位数来对所述组合加权预测进行归一化的模块，其中所述移位的位数基于在归一化运算中使用的、与所述第一权参数和所述第二权参数相联系的分母的以二为底的对数；接收与所述组合加权预测相联系的残留误差的模块；以及将所述残留误差、所述第一偏移参数和所述第二偏移参数与所述组合加权预测组合起来的模块；其中所述第一帧是前一参考帧和后一参考帧中的一个，所述第二帧是所述前一参考帧和所述后一参考帧中的另一个，其中，第一帧的所述区域和第二帧的所述区域是相对于所述当前帧中的区域的最佳匹配预测区域。
根据再另一方面，公开了一种用于构造当前帧的电子装置，该电子装置包括：预处理器，用于：接收与第一帧的一个区域相联系的第一权参数，接收与第二帧的一个区域相联系的第二权参数，将所述第一权参数修改成与位结构一致，其中，所述位结构支持多个编码位结构；将所述第二权参数修改成与所述位结构一致；预测解码器，用于：通过将所述修改过的第一权参数应用于第一帧的所述区域来计算第一预测分量，通过将所述修改过的第二权参数应用于第二帧的所述区域来计算第二预测分量，接收与第一帧的所述区域相联系的第一偏移参数；接收与第二帧的所述区域相联系的第二偏移参数；通过组合所述第一预测分量和所述第二预测分量来计算组合加权预测；将所述组合加权预测加上一舍入因子；通过将所述组合加权预测移位一定位数来对所述组合加权预测进行归一化，其中所述移位的位数基于在归一化运算中使用的、与所述第一权参数和所述第二权参数相联系的分母的以二为底的对数；接收与所述组合加权预测相联系的残留误差；以及将所述残留误差、所述第一偏移参数和所述第二偏移参数与所述组合加权预测组合起来；其中所述第一帧是前一参考帧和后一参考帧中的一个，所述第二帧是所述前一参考帧和所述后一参考帧中的另一个，其中，第一帧的所述区域和第二帧的所述区域是相对于所述当前帧中的区域的最佳匹配预测区域。
附图说明
图1是用于对流式画面进行编码和解码的一般通信系统的一个框图；
图2A说明常规的MPEG-4简单类数据流；
图2B说明包括双向预测帧的常规编码数据流；
图3说明MPEG-4中P帧构造过程的一个实例；
图4说明MPEG-4中B帧构造过程的一个实例；
图5说明加权B帧构造过程的一个实例；
图6说明H.264的直接模式双向预测中使用的权的时间预测的一个实例；
图7说明H.264中P帧构造过程的一个实例；
图8是说明解码器过程一个实例的流程图，该解码器过程用于对加权双向预测视频数据的多个编码器实现进行解码；
图9说明运动补偿中使用的半像素内插实例；以及
图10是一个实施例的流程图。
具体实施方式
要注意，可以将这些实例描述为过程，将这个过程描述为流程图、流程示意图、结构示意图或框图。尽管流程图可能将操作描述为一个顺序过程，但是许多操作都可以并行或者同时进行，并且这一过程可以重复。另外，可以重新安排操作的顺序。当操作完成的时候，过程终止。过程可以对应于方法、函数、程序、子程序等等。当过程对应于函数的时候，它的终止对应于函数返回调用函数或主函数。
下面描述重构加权双向预测视频数据的方法、设备和系统。单个解码器能够对利用加权双向预测的不同实现进行过编码的加权双向预测视频数据进行解码。此外，还通过最大限度地重复使用解码器软件、固件或硬件，对加权双向预测视频数据的不同实现进行解码，将解码器的复杂性保持为最低限度，以降低成本。
叫做MPEG-x和H.26x的一对视频编码标准描述了数据处理和操作技术(在这里叫做混合编码)，这些技术非常适合于使用固定或可变长度源编码技术对视频、音频和其它信息进行压缩和分发。具体而言，上面提及的标准，以及其它混合编码标准和技术，采用帧内编码技术(例如游程编码、霍夫曼编码等等)和帧间编码技术(例如前向和后向预测编码、运动补偿等等)对数据例如视频信息进行压缩。具体而言，在视频处理系统情况下，混合视频编码系统的特征在于利用帧内和/或帧间运动补偿编码，对视频帧进行基于预测的压缩编码。
帧内编码指的是对一个画面(一场或一帧)进行编码，而不参考任何其它画面，但是，可以将帧内编码画面用作其它画面的参考。帧内、帧内编码帧和I帧这些术语都是指利用帧内编码形成的视频对象的实例，整个本申请都使用这种帧内编码。
帧间或预测编码指的是参考另一个画面来对画面(一场或一帧)进行编码。与帧内编码相比较，帧间编码或预测画面可以具有更高的效率。整个本申请中将使用的帧间编码画面的实例是预测帧(前向或后向预测，也叫做P帧)和双向预测帧(也叫作B帧)。用于帧间编码的其它术语包括高通编码、残留编码、运动补偿内插和本领域普通技术人员熟知的那些。
图1是用于对流化画面进行编码和解码的一般通信系统的框图。系统100包括多种编码器装置105、110和115以及解码器装置155。每一个编码器装置都分别包括帧内编码和预测编码模块120、125和130。这些编码模块进行各种编码，包括上面讨论的帧内编码和帧间编码。每个编码器装置都分别包括一种不同的加权预测模块135、140和145。每个加权预测模块都通过多种方法之一进行加权双向预测。这些加权预测方法在表示权和其它参数的方式方面存在差异。通过网络150发送编码器装置产生的数据。网络150可以是有线系统的一部分，比如电话、电缆和光纤，或者是无线系统的一部分。在无线通信系统情形中，网络150可以包括例如码分多址(CDMA或CDMA2000)通信系统的一部分，系统100也可以是频分多址(FDMA)系统、时分多址(TDMA)系统、宽带码分多址(WCDMA)、高数据率(1xEV-DO或1xEV-DO Gold多播)系统，或者一般地，采用多种技术组合的任意无线通信系统，其中的时分多址系统有例如GSM/GPRS(通用分组无线电业务)/EDGE(增强型数据GSM环境)或者用于服务行业的TETRA(陆地干线无线电)移动电话技术。
解码器装置155可以直接通过网络150接收各种编码数据，或者在编码器或其它中间装置将数据储存在存储器模块175或外部存储器存储模块180以后，从存储器模块175或外部存储器存储模块180接收各种编码数据。解码器装置155包括帧内解码模块160、预测解码模块165、预处理器模块170、存储器模块175和通信部件190。通信部件190包含用于通过网络150接收编码数据的逻辑，以及用于从外部存储模块180或存储器模块175接收编码数据的逻辑。帧内解码模块160和预测解码模块165分别对收到的帧内编码和帧间编码数据进行解码。预测解码模块165包括对加权预测模块135、140和145的所有各种加权预测编码进行解码的逻辑。代替有分开的代码部分对各种加权预测进行解码，解码器装置155使用预处理器模块170来处理加权预测参数，从而能够用单独一种解码方法来对所有类型的加权预测进行解码。在解码以后，解码器装置155可以将这些画面数据储存在存储器模块175或外部存储模块180上，或者在显示器185上显示它。显示器185可以集成在解码器装置中，如同电话或个人数字助理(PDA)中一样，或者可以是分开的外围装置。下面更加全面地描述编码器和解码器装置进行的编码、解码、预处理和加权预测处理。
在典型的MPEG解码器里，是参照参考帧(可以将其中的帧内编码帧或另一个预测帧作为参考帧)对预测编码像素块(也就是包括一个或多个运动矢量或残留误差分量的块)进行解码的。图2A说明常规的MPEG-4简单类数据流，这个图描述GOP对帧的依赖性。GOP10由初始I帧12，后面跟随几个前向预测P帧14组成。图2B说明包括双向预测帧的常规编码数据流，这个图说明GOP的帧依赖性。GOP 20由I帧22A、前向预测P帧24和双向预测B帧26组成。每个B帧都可以将参考的前向和后向运动矢量以及残留误差组合到I帧22A中或者预测P帧24中(也可以使用后向预测P帧，但是在这个实例中不说明这种情况)。I帧22B标志着下一个GOP的开始。
图3、4、5和7说明各种帧间编码过程，包括用于构造P帧、B帧、加权B帧和H.264预测帧的那些过程。图1中描述的编码器装置105、110和115以及解码器装置155能够整个或部分地执行这些过程。
P帧(或任意帧间编码段)能够利用当前画面中一个区域与参考画面一个最佳匹配预测区域之间的时间冗余性。可以用运动矢量对参考帧中的最佳匹配预测区域进行编码。当前区域和最佳匹配参考预测区域之间的差叫做残留误差(或预测误差)。图3说明例如MPEG-4中P帧构造过程的一个实例。过程300包括由5×5个宏块组成的当前画面305，在这个实例中宏块的数量是任意的。一个宏块由16×16个像素组成。像素可以用一个8比特亮度值(Y)和两个8比特色度值(Cr和Cb)来定义。在MPEG中，Y、Cr和Cb分量可以按照4:2:0格式储存，其中在X和Y方向上对Cr和Cb分量按照采样率为应有采样率的二分之一进行欠采样。因此，每个宏块将由256个Y分量、64个Cr分量和64个Cb分量组成。在与当前画面305不同的时刻，从参考画面310预测当前画面305的宏块315。在参考画面310中进行搜索，以找出与正在编码的当前宏块315的Y、Cr和Cb值最接近的最佳匹配宏块320。用运动矢量325对参考画面310中最佳匹配宏块320的位置进行编码。参考画面310可以是构造当前画面305之前解码器将已经重构的I帧或P帧。从当前宏块315减去最佳匹配宏块320(计算Y、Cr和Cg分量中每一个的差)，得到残留误差330。用2D离散余弦变换(DCT)335对残留误差330编码，然后进行量化340。可以通过例如给高频系数分配较少的比特，给低频系数分配较多的比特，进行量化340来提供空间压缩。残留误差330的量化系数，以及运动矢量325和参考画面310标识信息，是表示当前宏块315的编码信息。可以将编码信息储存在存储器里供将来使用，或者为了例如纠错或图像增强的目的对它们进行操作，或者通过网络345进行发送。
残留误差330的编码量化系数，与编码运动矢量325一起，能够用于在编码器中重构当前宏块315，用作参考帧的一部分，用于随后的运动估计和补偿。编码器可以模仿解码器的这一P帧重构程序。解码器的模拟将导致在编码器和解码器中利用同一参考画面进行工作。在这里给出这一重构过程，不管是为了进一步的帧间编码在编码器中进行，还是在解码器中进行。可以在重构了参考帧(或者被参考画面或帧的一部分)以后开始P帧的重构。将编码量化系数解除量化350，然后进行2D逆DCT，也就是IDCT，355，得到解码后的或重构出来的残留误差360。对编码运动矢量325进行解码，然后用于确定已经重构出来的参考画面310中已经重构出来的最佳匹配宏块365的位置。然后将重构出来的残留误差360加到重构出来的最佳匹配宏块365上，形成重构出未的宏块370。重构出来的宏块370可以储存在存储器中，独立地显示，或者在画面中与重构出来的其它宏块一起显示，或者为了图像增强进行进一步处理。
B帧(或者利用双向预测编码的任意段)可以利用当前画面中一个区域与前一画面中最佳匹配预测区域和后一画面中最佳匹配预测区域之间的时间冗余性。将后一最佳匹配预测区域和后向最佳匹配预测区域组合起来形成组合的双向预测区域。当前画面区域和最佳匹配的组合双向预测区域之间的差是残留误差(或预测误差)。可以用两个运动矢量对后一参考画面中最佳匹配预测区域和前一参考画面中最佳匹配预测区域的位置进行编码。图4说明例如MPEG-4中B帧构造过程的一个实例。过程400包括由5×5个宏块组成的当前画面405，在这个实例中宏块的数目是任意的。参考当前画面405前一个时间点处的前一参考画面410，并且参考后一时间点处的后一参考画面475来预测当前画面405的编码宏块415。在前一参考画面410里进行搜索，以确定最接近正在编码的当前宏块415的最佳匹配宏块420的位置。用运动矢量425对最佳匹配宏块420的位置进行编码。前一参考画面410可以是构造当前画面405之前解码器将已经重构的I帧或P帧。在后一参考画面475中进行搜索，来确定最接近当前宏块415的最佳匹配宏块480的位置。用运动矢量485对最佳匹配宏块480的位置进行编码。后一参考画面475可以是构造当前画面405之前解码器将已经重构的I帧或P帧。将最佳匹配宏块420和最佳匹配宏块480进行平均，以形成组合的双向宏块，从当前宏块415中减去这个双向宏块，得到残留误差430。下面讨论将最佳匹配宏块组合起来的其它方法。用例如DCT 435(其它的2D变换包括哈达马特变换或整数变换，如同H.264中一样)对残留误差430进行编码，然后进行量化440。残留误差430的量化系数，与运动矢量425和485以及参考画面标识信息一起，是表示当前宏块415的编码信息。可以将编码信息储存在存储器里供将来使用，或者为了例如纠错或图像增强的目的进行操作，或者通过网络445发送。
由于不将B帧用作参考帧，因此，为了保持其时域分级特性，在编码器中可能不需要B帧的宏块重构。在解码器中，B帧段的重构可以在前一参考帧(或者正被参考的画面或帧的一部分)和后一参考帧(或者正被参考的画面或帧的一部分)都已经重构以后开始。将编码量化系数解除量化450，然后进行2D IDCT 455，得到已经解码或重构出来的残留误差460。将编码运动矢量425和485进行解码，并用于找出已经重构的前一参考帧410中已经重构的最佳匹配宏块465的位置，并且找出后一参考帧475中已经重构的最佳匹配前向宏块490的位置。将重构出来的最佳匹配宏块465和490进行平均，形成组合的双向宏块。然后将重构出来的残留误差460加到组合的双向宏块上，形成重构出来的宏块470。可以将重构出来的宏块470储存在存储器里，单独显示，或者与重构出来的其它宏块一起储存在画面里，或者为了图像增强的目的进行进一步处理。
通过在组合之前将加权因子应用于一个或两个参考画面，B帧(或者利用双向预测编码的任意段)能够进一步利用时间冗余性。这些加权因子能够与当前画面的段更好地匹配，从而减小残留误差，并同时降低比特率。另外，当一个场景渐变到另一个场景，或者存在亮度的逐渐变化，例如逐渐变黑和/或从黑渐变过来，或者交叉渐变的时候，加权因子是有益的。图5说明加权B帧构造过程的一个实例。过程500包括由5×5个宏块构成的当前画面505，在这个实例中，宏块数量是任意的。对当前画面505的宏块515的编码是参考当前画面505前一个时刻点的前一参考画面510，并且参考后一个时刻点的后一参考画面575预测出来的。在前一参考画面510中进行搜索，找出与正在编码的当前宏块515最接近的最佳匹配宏块520的位置。用运动矢量525对最佳匹配宏块520进行编码。前一参考画面510可以是构造当前画面505之前解码器将已经重构出来的I帧或P帧。在后一参考画面575中进行搜索，找出与当前宏块515最接近的最佳匹配宏块580的位置。用运动矢量585对最佳匹配宏块580的位置进行编码。前向参考画面可以是构造当前画面505以前解码器将已经重构出来的I帧或P帧。可以选择加权因子w1和w2，从而使最佳匹配后一宏块和最佳匹配前一宏块的加权线性组合能够得到比图4中采用相等权更小的残留误差。将加权因子w1乘以最佳匹配宏块520的Y、Cr和Cb值，形成加权的最佳匹配前一宏块，将加权因子w2乘以最佳匹配宏块580的Y、Cr和Cb值，形成加权的最佳匹配后一个宏块。将加权的最佳匹配前向宏块和加权的最佳匹配后向宏块组合起来，形成加权的组合双向宏块，将这个双向宏块从当前宏块515中减去，得到残留误差530。将在下面讨论选择用于将最佳匹配前向宏块和最佳匹配后向宏块组合起来的权的其它方法。用DCT 535对残留误差530编码，然后进行量化540。残留误差530的量化系数、运动矢量525和585、权和参考帧标识信息，是表示当前宏块515的编码信息。可以将编码信息储存在存储器中供将来使用，或者为了例如纠错或图像增强的目的对它们进行操作，或者通过网络545进行发送。
B帧段的重构可以在后向参考帧(或者被参考的画面或帧的一部分)和前向参考帧(或者被参考的画面或帧的一部分)都已经重构以后开始。对编码量化系数解除量化550，然后进行IDCT 555，得到已经解码的或重构出来的残留误差560。对编码运动矢量525和585进行解码，并将其用于在前一参考画面510中找出重构出来的最佳匹配宏块565的位置，并且在后一参考画面575中找出重构出来的最佳匹配宏块590的位置。将编码的权w1解码，应用于重构出来的最佳匹配前一宏块565，将编码的权w2解码，应用于重构出来的最佳匹配后一个宏块590，形成组合加权预测宏块。然后将重构出来的残留误差560加到组合加权预测宏块上去，形成重构出来的宏块570。可以将重构出来的宏块570储存在存储器里，单独显示，或者在一个画面里与重构出来的其它宏块一起显示，或者为了画面增强的目的对其进行进一步处理。
图5中权w1和w2的应用被示出为首先乘以最佳匹配参考宏块(也就是亮度Y)以及色度Cr和Cb(参数)，将这些乘过的宏块加起来，然后除以加起来的权(将组合加权预测归一化)。也可以用所包括的归一化因子来导出这些权。例如，可以将权w1导出为等于w1/(w1+w2)，将w2导出为等于w2/(w1+w2)。然后可以将这些归一化的加权因子用于修改参考画面参数，接下来可以将这些修改过的参数加在一起，但不需要除以(w1+w2)。图1的预处理器模块170或图8的预处理器810这种归一化手段能够实现归一化功能。
导出具有所包括的归一化因子的权能够节省除法运算，而在数字信号处理中除法运算是复杂运算。进行归一化而不进行除法运算的另一种方式是采用移位。可以用公分母来导出这些权，基于分母以2为底的对数，将除法运算表示为将组合加权预测右移一个数量的比特。例如，w1可能等于12，w2可能等于4，其分母是16。可以将分母16解释为右移4位。右移4位等效于除以16，因此w1变成归一化权0.75，w2变成归一化权0.25。
可以将导出权的另一种方法用于实现H.264中叫做“直接模式”的一种双向预测技术。在直接模式中，不为正在进行双向预测的宏块(或者子宏块这种任意其它区域)发送运动矢量。取而代之，从一个参考帧到另一个参考帧的共同定位的宏块的运动矢量导出这些运动矢量。这些运动矢量和权的导出可以基于当前帧到两个参考帧的时间位置。图6说明H.264的直接模式双向预测中使用的运动矢量和权的时间预测的一个实例。通过两个宏块的线性组合来形成位于当前帧630中的当前宏块605，其中一个宏块位于后一参考帧635中，另一个宏块位于前一参考帧640中。从运动矢量MVC 625导出前向运动矢量MV0615和后向运动矢量MV1620，这个运动矢量MVC 625为后一参考帧中的共同定位宏块610确定前一参考帧中最佳匹配宏块的位置。按照如下公式计算前向和后向运动矢量：
MV 0 = TB TD MV C - - - ( 1 )
MV 1 = TB - TD TD MV C - - - ( 2 )
其中TB 645是当前帧和前一参考帧之间的时间距离，TD 650是前一参考帧和后一参考帧之间的时间距离。在一个实例中，通过权w1来修改最佳匹配的前一宏块，用权w2来修改最佳匹配的后一个宏块，其中w1和w2按照以下公式计算：
w1＝(TB/TD)            (3)
w2＝((TD-TB)/TD)       (4)
然后按照上面讨论的图5所示的方式将修改过的宏块组合起来。这个实例使用了后一参考帧635中的共同定位宏块，但是作为本领域里的普通技术人员会了解，前一参考帧640中的共同定位宏块可以与参考后一参考帧635的运动矢量一起使用。
另外，代替图4所描述的平均宏块技术，或者图5所描述的组合的加权预测宏块技术(其中两个权都不是零)，双向构造可以单独基于前向或后向最佳匹配宏块(其中的一个权被设置成等于零)计算组合的双向预测。
H.264给上面讨论的P帧构造和B帧构造的MPEG-4实例一些选择。图7说明H.264中P帧构造过程的一个实例。过程700包括由5×5个宏块组成的当前画面705，在这个实施例里宏块的数量是任意的。从与当前画面705不同时刻的参考画面710预测当前画面705的宏块715。可以将宏块划分成更小的子宏块段(例如，在这个实例中描述了四个子宏块，但是H.264允许小到4×4个像素的子宏块划分。因此对于单个宏块可以有16个运动矢量)，并且为了时间冗余性每个子宏块段都可以单独利用。在参考画面中进行搜索，以确定每个子宏块的最佳匹配子宏块的位置，得到与正在编码的当前宏块715最接近的复合最佳匹配宏块720。可以用四个运动矢量725a～725d对参考画面中最佳匹配宏块的位置进行编码。这个参考画面可以是构造当前画面705之前解码器将已经重构出来的I帧或P帧。从当前宏块715减去复合最佳匹配宏块705，得到残留误差730。可以利用与MPEG-4中使用的DCT略为不同的前向2D变换735对残留误差730进行编码，然后将它量化740。残留误差730的量化系数、运动矢量725a～725d以及参考帧标识信息，是表示当前宏块715的编码信息。在具有多个子宏块段的加权双向预测帧的情况下，将这些权也进行编码。编码信息可以储存在存储器中供将来使用，或者为了例如纠错或图像增强的目的对它们进行操作，或者通过网络745发送。
也可以将编码量化系数、运动矢量、权和残留误差用于在编码器中重构当前宏块，用做后续运动估计和补偿的参考帧。对于这一P帧重构，编码器可以模拟解码器的程序。解码器的模拟将导致编码器和解码器用同一个参考画面工作。这里给出重构过程，不管是在编码器中为了进一步进行帧间编码还是在解码器中。可以在重构了参考帧(或者被参考的画面或帧的一部分)以后开始P帧的重构。将编码量化系数解除量化750，然后进行2D逆变换755，得到已经解码或重构出来的残留误差760。将编码运动矢量725a～725d进行解码，并用于确定构成重构出来的最佳匹配复合宏块765的重构出来的最佳匹配子宏块的位置。然后将重构出来的残留误差760加到重构出来的最佳匹配复合宏块760上，以形成重构出来的宏块770。也可以将分块滤波器775用作编码或解码过程的一部分，用于例如沿着宏块或子宏块边缘的像素增强。重构出来的宏块可以储存在存储器中，单独显示，与重构出来的其它宏块一起在画面中显示，或者为了图像增强的目的进行进一步的处理。本领域普通技术人员会明白H.264中的B帧构造，包括加权双向预测，也能够采用利用类似方法的多个子宏块。
不同的编码器以不同的方式使用双向预测。如同上面所讨论的一样，双向预测可以作为两帧的平均(一种形式的加权双向预测，其中两个权都等于0.5)，两帧的加权平均或者在时间上导出的两帧的加权平均来实现。另外，不同的编码器可以支持具有权参数不同编码比特结构的加权双向预测。权参数比特结构可以以各种方式改变，例如，表示每个权的比特数，以及带符号或无符号权参数的使用。一些实施还支持加到亮度或色度值上的偏移值。下面将更加详细地讨论比特结构和偏移。
多功能解码器，比如图1中描述的解码器装置155，应该能够对通过多种实施方式，利用各种编码比特结构和各种加权/未加权预测方法编码的视频进行解码。实现这种多功能性的一种途径是通过针对不同的编码器实现具有不同的解码器模块，简单地将解码器的输入标识为一种类型或另一种类型，然后使用为这种指定编码器设计的解码器模块。这种方法不是很有效，或者说并不节省成本。更加有效的解码器会重复使用单个模块来对多种编码器实现进行解码。这可以通过所公开的方法的新的预处理和模块设计特征来实现，下面将讨论这些。
下面将讨论最主要的加权双向预测实现。在这一讨论中将广泛使用数字信号处理功能符号，比如左移(＜＜)和右移(＞＞)。这些符号在本领域里是熟知的。本领域里的普通技术人员明白移位操作可以用其它方法实现，例如，通过乘法或除法运算应用缩放因子。这些实现包括MPEG-4简单可分级类中双向平均的一个实例，Real Video 9.0编码器中的加权双向预测的一个实例，Windows Media Video 9.0编码器中加权双向平均的一个实例，以及H.264中通用加权双向预测的一个实例。这些仅仅是能够使用所公开的方法进行解码的加权双向预测的实现实例。本领域里的普通技术人员明白，可以采用其它的双向预测实现，而不会偏离所公开方法的实质和范围。
MPEG-4实现
在MPEG-4简单类中没有对B帧的任何支持。但是，为了支持有限的可分级性，MPEG-4简单可分级类不支持B帧。将下面的平均机制用于合并从两个参考帧的预测：
predij＝(pred1ij+pred2ij+1)＞＞1     (5)
其中pred1ij和pred2ij是来自两个参考帧(一个过去的，一个未来的)的预测块的8比特亮度和色度样本，predij是得到的用于画面重构，加到残留误差的已解码逆变换上去的预测。如同能够看到的一样，在B帧的MPEG-4简单可分级类实现中没有任何加权预测。
RV9实现
Real Videl 9.0(RV9)是支持B帧的一个流行编码器。在RV9实现中使用了以下等式来计算所得到的用于B帧的预测：
predij＝((((pred1ij＜＜7)w1)＞＞16+((pred2ij＜＜7)w2)＞＞16)+16)＞＞5
                                                                  (6)
其中pred1ij和pred2ij是来自两个参考帧(一个过去的，一个未来的)预测块的8比特亮度和色度样本，predij是得到的用于画面重构，加到残留误差的已解码逆变换上去的预测。在RV9实现中，权w1和w2是与各个预测pred1ij和pred2ij相乘的14比特的无符号权(范围是0～16383)。
在不为宏块发送运动矢量，但是可以从未来的参考帧共同定位宏块的运动矢量导出运动矢量的直接模式双向预测中，w1和w2是相对于上面讨论的两个参考帧，作为B帧的相对时间位置计算出来的。对于上面讨论的，以及图5中所描述的直接模式，按照如下方式计算(6)中使用的权：
w1＝(TB＜＜14)/TD        (7)
w2＝((TD-TB)＜＜14)TD    (8)
其中TB是当前帧和前一参考帧之间的时间距离，TD是前一参考帧和后一参考帧之间的时间距离。
MPEG-4(5)的简单平均方法可以通过将w1和w2都设置成8192，利用(6)来模拟，这个8192等于14比特表示的一半。
WMV9实现
Windows Media Video 9.0(WMV9)是支持B帧的另一个流行的视频编码器。WMV9利用上面的(5)以类似于MPEG-4的方式实现B帧，其中pred1ij和pred2ij是来自两个参考帧(一个过去的，一个未来的)的预测块的8比特亮度和色度样本，predij是得到的用于画面重构，加到残留误差的已解码逆变换上去的预测。因此，WMV9平均过程和MPEG-4中的过程相同。
H.264实现
H.264视频压缩标准为单向和双向预测区域提供加权和不加权的预测。在H.264中通过将变量predFlagL0和predFlagL1中的一个或两个设置成1来激活加权预测。不激活加权预测的时候，或者predFlagL0＝0并且predFlagL1＝0的时候，按照以下方式执行类似于上面的MPEG-4的简单平均：
Final_pred＝(pred0+pred1+1)＞＞1    (8)
其中pred0和pred1是来自两个参考帧(一个过去的，一个未来的)的预测块的8比特亮度和色度(也叫做luma和chroma)样本，Final_pred是得到的用于画面重构，加到残留误差的已解码逆变换上去的预测。
如果两个参考划分中只有一个要加权，就按照如下方式导出最后的预测样本值：
Figure GSB00000742296100171
其中变量的描述、比特数和值的范围都在表1中给出。从上面的Case1产生加权前向P帧预测，从Case 2产生加权后向P帧预测。在上面列出的其它加权预测实现中不提供加性偏移o0和o1。将Clip1[_]函数定义如下：
Clip1(x)＝Clip3(0，255，x)    (11)
Clip 3 ( x , y , z ) = x ; z < x y ; z > y z ; otherwise - - - ( 12 )
如果两个参考划分都要加权，就按照如下方式导出最终预测样本值：
Case 3：If predFlagL0＝1 and predFlagL1＝1
Final_pred＝Clip1[(((pred0)w0+(pred1)w1+2logWD)＞＞(logWD+1))(13)
+((o0+o1+1)＞＞1)]
其中变量的描述、比特数和值的范围都在表1中给出。
表1
Figure GSB00000742296100181
亮度和色度(Cb和Cr)样本值都用上面的公式(9)、(10)和(13)来计算。分别为亮度参数和分别为色度参数导出权变量w0、w1和logWD。
满足MPEG-4、RV9、WMV9和H.264要求的单一实现
上面给出的四种实现全部是广泛使用和接受的视频压缩形式。如同所说明的一样，每一种形式都以它自己的方式实现加权预测，其中的一些差别显著。下面的公式(18)是嵌入硬件使用的通用公式的一个实例，这里的嵌入硬件有例如图1的解码器155一样的解码器装置的微处理器，用于对按照上面四种实现中任意一种编码的加权预测帧进行解码。这样的通用公式以最少的预处理和软件、固件或硬件的最大重复利用来处理标准格式中任意一种的视频压缩数据。为了实现这一通用公式，必须从不同压缩标准使用的不同权因子导出具有特定比特结构的通用权预测因子。
在这个实例中，外部DSP或者其它类型的处理器(例如预处理器)将编码权参数修改为通用权参数。下面参考公式组(19)～(21)来描述预处理器通过修改编码权参数来导出通用权参数所进行的计算。下面在公式(14)～(17)中说明用于预测帧解码的通用公式(18)的导出。
H.264实现是最复杂的，是一个良好的起点。通过对加权因子变量和偏移变量进行适当的操作，上面的公式(9)、(10)和(13)表示的三种情形可以简化成如下一个公式：
Final_pred＝Clip1[(((pred0)w0+(pred1)w1+2LWD-1)＞＞(LWD))
                                                        (14)
                                      +((o0+o1+1)＞＞1)]
对于三种情况，将其中的变量LWD、w0、w1、o0和o1定义为：
对于情形1：w1＝0，w0由编码器确定；
o1＝0，o0由编码器确定；
LWD＝logWD。
对于情形2：w0＝0，w1由编码器确定；
o0＝0，o1由编码器确定；
LWD＝logWD。
对于情形3：LWD＝logWD+1；
w0、w1、o0和o1由编码器确定。
利用表1里列出的比特数，表2中位宽度的得出说明对于加权预测样本，公式(14)得到8比特值。
表2
Figure GSB00000742296100191
Figure GSB00000742296100201
可以修改公式(14)以消除LWD位的可变移位。修改权w0和w1，有一个外部数字信号处理器(DSP)或者其它类型的处理器程序修改的权参数w0′和w1′。由于LWD具有最大值8，因此通过将表2中Op.3里的每一项乘以28-LWD，并且将表2中Op.4的右移增加(8-LWD)比特，能够完成权的修改，同时保持所有移位操作的变量为正：
Final_pred＝
Clip1[(((pred0)w0*28-LWD+(pred1)w1*28-LWD+27)＞＞(8))    (15)
+((o0+o1+1)＞＞1)]
用修改过的权替换权w0和w1得到：
Final_pred＝Clip1[(((pred0)w0′+(pred1)w1′+27)＞＞8)+((o0+o1+1)＞＞1)] (16)
其中w0’＝w0＜＜(8-LWD)并且w1’＝w1＜＜(8-LWD)
利用下面定义的变量，可以由DSP或者其它预处理器用公式(16)来处理在上面的公式9、10和13中列出的情形1、2和3：
对于情形1： w 1 &prime; = w 1 = 0 o 1 = 0 LWD = log WD ;
对于情形2： w 0 &prime; = w 0 = 0 o 0 = 0 LWD = log WD ;
对于情形3：LWD＝logWD+1。
除了预处理器对修改过的权进行左移以外，还可以增加权的位数。可以这样做来确保与多种实施的兼容性。DSP或预处理器可以在RV9实现中一样的无符号变量情形里对权进行零扩展，或者在H.264实现中一样的带符号变量情形里的符号扩展。表3说明对于公式(16)的变量以及运算使用8比特带符号权所得到的位宽的导出，将其中的权符号扩展到9比特。表3中的偏移操作数4也可以在预处理器中进行。
表3
Figure GSB00000742296100211
具有表3所示位宽度以及表1所示编码变量的公式16可以在微处理器中实现，并且用于实现上面给出的所有加权双向预测实现，只有RV9实现除外。此外，需要进一步修改公式(16)来支持RV9的14比特无符号权。
可以将公式(16)中的权w0′和w1′左移6比特，以便匹配RV9权的14比特宽度，得到：
Final_pred＝Clip1[((((pred0)w0′＜＜6)＞＞6+((pred1)w1′＜＜6)＞＞6+27)＞＞8)
                                                                            (17)
                                                        +((o0+o1+1)＞＞1)]
可以将它表示为：
predij＝((((pred0)wA)＞＞6+((pred1)wB)＞＞6)+27)＞＞8+Offset    (18)
其中wA、wB和Offset可以由预处理器根据使用了什么样的实现对权参数进行编码来进行计算(见下面的预处理器计算)。表4说明对于公式(18)的变量和运算，利用能够支持上面描述的加权预测的所有实例的15比特权wA和wB以及8比特的偏移，位宽度导出的实例。
表4
在嵌入式硬件例如微处理器里实现公式18，并且使用外部DSP或其它类型的处理器作为预处理器用于修改编码权参数，是节省成本的，并且是处理加权预测的多种实现的有效方法。预处理器例如图1中描述的预处理器170和图8中描述的预处理器810可以用于修改编码权参数。修改编码权参数的时候，预处理器为列出的各种实现进行以下计算，并且将修改过的变量提供给嵌入式微处理器：
利用8比特带符号权w0和w1，8比特带符号偏移o0和o1以及logWD，利用公式组(19)计算基于H.264编码加权预测的修改过的加权预测因子wA和wB：
wA＝sign_extend((w0′＜＜6)，15)
wB＝sign_extend((w1′＜＜6)，15)
offset＝(o0+o1+1)＞＞1     公式组(19)
w0′＝w0＜＜(8-LWD)
w1′＝w1＜＜(8-LWD)
其中LWD、w0和w1依赖于上面描述的，并且在公式(9)、(10)和(13)中列出的3种情形：
对于情形1：w1＝0，w0由编码器确定；
o1＝0，o0由编码器确定；
LWD＝logWD，由编码器确定；
编码器确定pred0。
对于情形2：W0＝0，w1由编码器确定；
o0＝0，o1由编码器确定；
LWD＝logWD，由编码器确定；
编码器确定pred1。
对于情形3：LWD＝logWD+1；
编码器确定pred0、pred1、LogWD、w0、w1、o0和o1。
利用14比特无符号权w1和w2，利用下面的公式组(20)来计算基于RV9编码加权预测的修改过的加权预测因子wA和wB：
wA＝zero_extend(w1，15)
wB＝zero_extend(w2，15)
Offset＝0            公式组(20)
pred0＝pred1ij
pred1＝pred2ij
利用下面的公式组(21)来计算基于WMV9或者MPEG-4编码的简单平均预测的修改过的加权预测因子wA和wB：
wA＝zero_extend(16383，15)
wB＝zero_extend(16383，15)
Offset＝0        公式组(21)
pred0＝pred1ij
pred1＝pred2ij
本领域普通技术人员会明白，可以用类似的方式实现其它的加权预测实现。可以将公式(18)中权变量wA和wB的位结构选择得更大，以支持超过14比特的编码权。如果丢失较低位是可以接收的，就可以将公式(18)中权变量wA和wB的位结构选择得小于14比特。还可以用类似的方式支持不同大小的偏移。如上所述，带符号的和无符号的变量都能够得到支持。可以将位结构选择手段(例如图1的预处理器模块170)用于选择适当的位结构，这种适当的位结构是支持具有多种编码位结构的权变量和偏移所必需的。
图8是用于对加权双向预测视频数据的多个编码器实现进行解码的解码器过程的一个实例的流程图。过程800可以用图1里描述的解码器装置155这种装置来执行。这个过程可以用三个主要部件来执行，这三个部件包括预测解码部件165、预处理器部件170(例如预测解码部件165外部的DSP)以及用于储存各种数据的至少一个存储器模块175。预测解码部件165和外部预处理器部件175的组合允许微处理器的简单硬件设计，这种设计能够根据正在解码的编码器实施，利用在预处理器中完成的实施专用计算来实现加权预测的几个实例。
解码器装置通过网络(例如图1中的网络150)或者从图1所示的外部存储部件180这种外部存储器，接收编码视频数据。象图1中的通信部件190这种接收手段可以完成接收任务。帧间编码画面的解码可以在一个或多个参考画面已经解码，并且储存在图1所示存储器模块175这种存储器中的时候开始。进行如上所述H.264实现中的情形1或情形2的时候，只有一个参考帧(过去或未来)。进行双向预测解码的时候，将过去的和未来的参考画面都储存在存储器里。提取步骤810和815分别从存储器里访问第一参考画面(例如过去的参考画面)和第二参考画面(例如未来的参考画面)。在为像素内插作准备的时候，利用零填充解码出来的画面的边界边缘(也可以使用反射)。步骤830中的填充操作允许多抽头滤波器在没有足够数量的像素存在的边界区域像素之间正确地进行内插。步骤835的像素内插用于为运动补偿实现更好的匹配参考区域。编码器可以进行像素内插来找出最佳匹配参考宏块(或任意大小的段)的位置，并且用运动矢量指向所述像素或内插出来的像素。在双向预测情形里，有两个运动矢量。还有，使用上面讨论的直接模式的时候，解码器通过未来参考画面中共同定位的宏块的运动矢量的时间内插来计算运动矢量。解码器使用运动矢量来进行运动补偿区域定位，也就是步骤840，从内插出来的像素中间找出最佳匹配区域。将在下面更加详细地讨论步骤835的像素内插。步骤840输出的两个最佳匹配预测区域pred0和pred1的亮度和色度值分别用修改过的权wA和wB(下面讨论权的修改)相乘(步骤845)。应用了这些权以后，在步骤855和860中将两个加权区域都右移6比特，并且在步骤865中加到舍入因子(roundingfactor)27上去，然后在步骤870中右移8位，形成组合加权预测。图1中预测解码模块165这种计算手段可以为了计算组合加权预测执行乘法步骤845和850，移位步骤855、860和870以及相加步骤865。在步骤820中通过网络或者从外部存储器接收与加权预测区域对应的量化残留误差DCT系数。在步骤875中进行逆量化，并且在步骤880中进行逆变换(例如逆DCT或者逆小波变换)，能够得到已解码残留误差，在步骤885中将这个解码出来的残留误差加到组合加权预测和预处理器修改过的偏移(下面将讨论偏移修改)上去，来形成输出画面。象图1所示预测解码模块165这种残留误差和偏移组合手段可以执行相加步骤885。可以在步骤825中将输出画面储存在存储器中和/或显示在图1中显示部件185这种显示手段上。
在步骤827中收到与加权预测区域相对应的权参数。在步骤852中将图1中预处理器部件170这种预处理器用于修改收到的编码权wA和wB，以便匹配作为嵌入式微处理器代码设计目标的通用权预测因子的位结构。还将预处理器用于修改收到的任意偏移，步骤856，嵌入式微处理器将使用这些偏移，从而使这些偏移与作为嵌入式微处理器代码的设计目标的位结构相一致。这些修改将依赖于采用了哪种形式的加权预测来对数据进行编码(上面的公式组(19)～(21)里列出的修改实例)。预处理器可以从输入比特流接收标识正在接收的编码数据的类型的标志(例如H.264、RV9、WMV9或者MPEG-4编码视频数据)。上面利用公式18讨论了对权和偏移进行的依赖于编码器的修改，它是图8中描述的一个实例。图1所示预处理器模块170这种修改手段可以对权和偏移进行修改。当这些权之一等于零的时候，例如上面给出的H.264实现中情形1和情形2里，象图1所示预处理器模块170这种零权标识手段将对应的权参数设置为零。
在一些情况中，视频编码器有可能在运动补偿分析期间为宏块指定一个空区域。空区域指的是考虑中的宏块没有参考画面。加权预测逻辑可以为参考画面的存在和关系对参考清单ID进行检查。在空区域的情形中，图1所示预处理器模块170这种空区域定位和标识手段可以将对应的权设置为零，或者进行本领域普通技术人员公知的其它操作，来处理这种空区域情形。
像素内插可以用来提高运动补偿预测编码的性能。图9说明用于运动补偿的半像素内插的一个实例。给出的这个实例是半像素内插，其中内插出来的像素位于所有原始整数像素之间。将整数像素910描述为圆圈，用大写的A～T标记，将内插出来的或者半像素920描述为正方形，用小写的a～o标记。半像素内插可以用双线性滤波器来实现，例如具有权[0.5，0.5]的两抽头FIR滤波器。例如，可以将内插出来的像素922计算为整数像素912和整数像素914的平均，内插出来的像素924可以是整数像素912和整数像素916的平均，内插出来的像素926可以是两个内插出来的像素(例如922和928或者924和930)的平均。亮度(Y)和色度(Cr和Cb)分量都可以用这种方式进行内插。其它顺序的像素内插由各种标准支持。H.264支持四分之一像素内插，以及八分之一像素内插。本领域普通技术人员明白这些其它像素内插方法，在这里没有详细讨论它们。
上面描述的实施例的实例包括：一种构造预测画面的方法，包括：将与第一帧的一个区域相联系的第一权参数修改成与位结构一致，将与第二帧的一个区域相联系的第二权参数修改成与所述位结构一致，通过将修改过的所述第一权参数应用于第一帧的所述区域来计算第一预测分量，通过将修改过的所述第二权参数应用于第二帧的所述区域来计算第二预测分量，以及通过组合所述第一预测分量和所述第二预测分量来计算组合加权预测。
一种用于构造预测画面的设备，包括：将与第一帧的一个区域相联系的第一权参数修改成与位结构一致的模块，将与第二帧的一个区域相联系的第二权参数修改成与所述位结构一致的模块，通过将修改过的所述第一权参数应用于第一帧的所述区域来计算第一预测分量的模块，通过将修改过的所述第二权参数应用于第二帧的所述区域来计算第二预测分量的模块，以及通过组合所述第一预测分量和所述第二预测分量来计算组合加权预测的模块。
一种用于构造预测画面的电子装置，该电子装置被配置成将与第一帧的一个区域相联系的第一权参数修改成与位结构一致，将与第二帧的一个区域相联系的第二权参数修改成与所述位结构一致，通过将修改过的所述第一权参数应用于第一帧的所述区域来计算第一预测分量，通过将修改过的所述第二权参数应用于第二帧的所述区域来计算第二预测分量，以及通过组合所述第一预测分量和所述第二预测分量来计算组合加权预测。
一种计算机可读介质，包含让计算机执行一种用于构造预测画面的方法的模块，该方法包括：将与第一帧的一个区域相联系的第一权参数修改成与位结构一致，将与第二帧的一个区域相联系的第二权参数修改成与所述位结构一致，通过将修改过的所述第一权参数应用于第一帧的所述区域来计算第一预测分量，通过将修改过的所述第二权参数应用于第二帧的所述区域来计算第二预测分量，以及通过组合所述第一预测分量和所述第二预测分量来计算组合加权预测。
本领域里的普通技术人员明白，信息和信号可以用多种不同技术中的任意一种来进行表示。例如，整个以上描述中都可能引用的数据、指令、命令、信息、信号、比特、码元和码片可以表示为电压、电流、电磁波、磁场或粒子、光场或粒子，或者它们的任意组合。
本领域技术人员还明白，与这里公开的实例相联系而描述的各种说明性的逻辑块、模块和算法步骤，可以实现为电子硬件、计算机软件或者这两者的组合。为了清楚地说明硬件和软件的这种可交换性，上面已经就功能一般性地描述了各种说明性的组件、块、模块、电路和步骤。将这种功能实现为硬件还是软件取决于具体的应用和对整个系统的设计限制。对于每一种具体应用，熟练人员可以用不同的方式来实现所描述的功能，但是，不应该将这种实现决定解释为偏离这里公开的方法的范围。
与这里所公开的实例相联系而描述的各种说明性的逻辑块、模块和电路可以用以下方式实现：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或者设计成实现这里所描述的功能的它们的任意组合。通用处理器可以是微处理器，但是，这一处理器也可以是任何常规处理器、控制器、微控制器或者状态机。还可以将处理器实现为计算装置的组合，例如DSP和微处理器的组合，多个微处理器，一个或多个微处理器与DSP内核相结合，或者任意其它这种结构。
与这里所公开的实例联系起来所描述的方法或算法步骤可以直接用硬件、处理器执行的软件模块实现，或者用这两者的组合实现。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可拆除盘、CD-ROM或者本领域里公知的任意其它形式的存储介质中。将一种示例性的存储介质连接到处理器，从而使处理器能够从这一存储介质读取信息，将信息写入其中。在替换方案中，可以将存储介质集成到处理器中。处理器和存储介质可以驻留在专用集成电路(ASIC)中。ASIC可以驻留在无线调制解调器中。在替换方案中，处理器和存储介质可以驻留在无线调制解调器的离散组件中。
提供所公开实例的以上描述的目的是让本领域里的普通技术人员能够制造或使用所公开的实例。对这些实例的各种修改对于本领域技术人员而言是显而易见的，并且可以将这里所给出的原理应用于其它实例，而不会偏离这里所公开的方法的实质或范围。
因此，这里描述了用于重构已经用不同的加权双向预测实现进行编码的加权双向预测视频数据的方法、设备和系统。

Claims (49)

1.一种用于构造当前帧的方法，包括：
接收与第一帧的一个区域相联系的第一权参数；
接收与第二帧的一个区域相联系的第二权参数；
将所述第一权参数修改成与位结构一致，其中，所述位结构支持多个编码位结构；
将所述第二权参数修改成与所述位结构一致；
通过将所述修改过的第一权参数应用于第一帧的所述区域来计算第一预测分量；
通过将所述修改过的第二权参数应用于第二帧的所述区域来计算第二预测分量；
接收与第一帧的所述区域相联系的第一偏移参数；
接收与第二帧的所述区域相联系的第二偏移参数；
通过组合所述第一预测分量和所述第二预测分量来计算组合加权预测；
将所述组合加权预测加上一舍入因子；
通过将所述组合加权预测移位一定位数来对所述组合加权预测进行归一化，其中所述移位的位数基于在归一化运算中使用的、与所述第一权参数和所述第二权参数相联系的分母的以二为底的对数；
接收与所述组合加权预测相联系的残留误差；以及
将所述残留误差、所述第一偏移参数和所述第二偏移参数与所述组合加权预测组合起来，
其中所述第一帧是前一参考帧和后一参考帧中的一个，所述第二帧是所述前一参考帧和所述后一参考帧中的另一个，
其中，第一帧的所述区域和第二帧的所述区域是相对于所述当前帧中的区域的最佳匹配预测区域。
2.如权利要求1所述的方法，还包括：
选择所述位结构来支持多个编码位结构，其中所述多个编码位结构中的至少两个具有不同的位数。
3.如权利要求1所述的方法，还包括：
选择所述位结构来支持多个编码位结构，其中所述多个编码位结构中的至少一个是带符号的，所述多个编码位结构中的至少一个是无符号的。
4.如权利要求1所述的方法，还包括：
通过使用第一运动矢量找出第一帧的所述区域的位置；以及
通过使用第二运动矢量找出第二帧的所述区域的位置。
5.如权利要求1所述的方法，还包括：
通过使用所述第一帧和所述第二帧之间已解码运动矢量的直接模式时间内插，找出第一帧的所述区域的位置和找出第二帧的所述区域的位置。
6.如权利要求1所述的方法，还包括：
通过标识第一帧的所述区域为空区域来找出第一帧的所述区域的位置；以及
计算所述第一预测分量等于零。
7.如权利要求1所述的方法，还包括：
通过标识第二帧的所述区域为空区域来找出第二帧的所述区域的位置；以及
计算所述第二预测分量等于零。
8.如权利要求1所述的方法，其中所述修改的第一权参数和所述修改的第二权参数是同样的编码位结构。
9.如权利要求1所述的方法，还包括：
标识所述第一权参数为零；以及
计算所述第一预测分量等于零。
10.如权利要求1所述的方法，还包括：
标识所述第二权参数为零；以及
计算所述第二预测分量等于零。
11.如权利要求1所述的方法，其中所述修改的第一权参数和所述修改的第二权参数是带符号的。
12.如权利要求1所述的方法，还包括：
通过网络接收表示所述第一权参数、所述第二权参数、第一帧的所述区域和第二帧的所述区域的编码视频数据。
13.如权利要求1所述的方法，还包括：
通过无线网络接收表示所述第一权参数、所述第二权参数、第一帧的所述区域和第二帧的所述区域的编码视频数据。
14.如权利要求1所述的方法，还包括：
通过执行从以下各项构成的组中选择出来的操作来修改所述第一权参数：移位、符号扩展、零扩展、以及通过乘法或除法运算应用缩放因子；以及
通过执行从以下各项构成的组中选择出来的操作来修改所述第二权参数：移位、符号扩展、零扩展、以及通过乘法或除法运算应用缩放因子。
15.如权利要求1所述的方法，还包括：
通过移位来修改所述第一权参数；以及
通过移位来修改所述第二权参数。
16.如权利要求15所述的方法，其中，通过移位来修改所述第一权参数以及通过移位来修改所述第二权参数包括：左移6位。
17.如权利要求16所述的方法，其中，对所述组合加权预测进行归一化包括：将所述组合加权预测右移8位。
18.如权利要求17所述的方法，其中，所述加上一舍入因子的步骤包括：将所述组合加权预测加上27。
19.一种用于构造当前帧的设备，包括：
接收与第一帧的一个区域相联系的第一权参数的模块；
接收与第二帧的一个区域相联系的第二权参数的模块；
将所述第一权参数修改成与位结构一致的模块，其中，所述位结构支持多个编码位结构；
将所述第二权参数修改成与所述位结构一致的模块；
通过将修改过的所述第一权参数应用于第一帧的所述区域来计算第一预测分量的模块；
通过将修改过的所述第二权参数应用于第二帧的所述区域来计算第二预测分量的模块；
接收与第一帧的所述区域相联系的第一偏移参数的模块；
接收与第二帧的所述区域相联系的第二偏移参数的模块；
通过组合所述第一预测分量和所述第二预测分量来计算组合加权预测的模块；
将所述组合加权预测加上一舍入因子的模块；
通过将所述组合加权预测移位一定位数来对所述组合加权预测进行归一化的模块，其中所述移位的位数基于在归一化运算中使用的、与所述第一权参数和所述第二权参数相联系的分母的以二为底的对数；
接收与所述组合加权预测相联系的残留误差的模块；以及
将所述残留误差、所述第一偏移参数和所述第二偏移参数与所述组合加权预测组合起来的模块；
其中所述第一帧是前一参考帧和后一参考帧中的一个，所述第二帧是所述前一参考帧和所述后一参考帧中的另一个，
其中，第一帧的所述区域和第二帧的所述区域是相对于所述当前帧中的区域的最佳匹配预测区域。
20.如权利要求19所述的设备，还包括：
选择所述位结构来支持多个编码位结构的模块，其中所述多个编码位结构中的至少两个具有不同的位数。
21.如权利要求19所述的设备，还包括：
选择所述位结构来支持多个编码位结构的模块，其中所述多个编码位结构中的至少一个是带符号的，所述多个编码位结构中的至少一个是无符号的。
22.如权利要求19所述的设备，还包括：
通过使用运动矢量找出第一帧的所述区域的位置的模块。
23.如权利要求19所述的设备，还包括：
通过使用运动矢量找出第二帧的所述区域的位置的模块。
24.如权利要求19所述的设备，还包括：
通过使用所述第一帧和所述第二帧之间已解码运动矢量的直接模式时间内插，找出第一帧的所述区域的位置和找出第二帧的所述区域的位置的模块。
25.如权利要求19所述的设备，还包括：
通过标识第一帧的所述区域为空区域来找出第一帧的所述区域的位置的模块；以及
计算所述第一预测分量等于零的模块。
26.如权利要求19所述的设备，还包括：
通过标识第二帧的所述区域为空区域来找出第二帧的所述区域的位置的模块；以及
计算所述第二预测分量等于零的模块。
27.如权利要求19所述的设备，其中所述修改的第一权参数和所述修改的第二权参数是同样的编码位结构。
28.如权利要求19所述的设备，还包括：
标识所述第一权参数为零的模块；以及
计算所述第一预测分量等于零的模块。
29.如权利要求19所述的设备，还包括：
标识所述第二权参数为零的模块；以及
计算所述第二预测分量等于零的模块。
30.如权利要求19所述的设备，其中所述修改的第一权参数和所述修改的第二权参数是带符号的。
31.如权利要求19所述的设备，其中，用于对所述组合加权预测进行归一化的模块包括：
用于将所述组合加权预测右移8位的模块。
32.如权利要求19所述的设备，还包括：
通过网络接收表示所述第一权参数、所述第二权参数、第一帧的所述区域和第二帧的所述区域的编码视频数据的模块。
33.如权利要求19所述的设备，还包括：
通过无线网络接收表示所述第一权参数、所述第二权参数、第一帧的所述区域和第二帧的所述区域的编码视频数据的模块。
34.如权利要求19所述的设备，还包括：
用于通过执行从以下各项构成的组中选择出来的操作来修改所述第一权参数的模块：移位、符号扩展、零扩展、以及通过乘法或除法运算应用缩放因子；以及
用于通过执行从以下各项构成的组中选择出来的操作来修改所述第二权参数的模块：移位、符号扩展、零扩展、以及通过乘法或除法运算应用缩放因子。
35.一种用于构造当前帧的电子装置，该电子装置包括：
预处理器，用于：
接收与第一帧的一个区域相联系的第一权参数，
接收与第二帧的一个区域相联系的第二权参数，
将所述第一权参数修改成与位结构一致，其中，所述位结构支持多个编码位结构；
将所述第二权参数修改成与所述位结构一致；
预测解码器，用于：
通过将所述修改过的第一权参数应用于第一帧的所述区域来计算第一预测分量，
通过将所述修改过的第二权参数应用于第二帧的所述区域来计算第二预测分量，
接收与第一帧的所述区域相联系的第一偏移参数；
接收与第二帧的所述区域相联系的第二偏移参数；
通过组合所述第一预测分量和所述第二预测分量来计算组合加权预测；
将所述组合加权预测加上一舍入因子；
通过将所述组合加权预测移位一定位数来对所述组合加权预测进行归一化，其中所述移位的位数基于在归一化运算中使用的、与所述第一权参数和所述第二权参数相联系的分母的以二为底的对数；
接收与所述组合加权预测相联系的残留误差；以及
将所述残留误差、所述第一偏移参数和所述第二偏移参数与所述组合加权预测组合起来；
其中所述第一帧是前一参考帧和后一参考帧中的一个，所述第二帧是所述前一参考帧和所述后一参考帧中的另一个，
其中，第一帧的所述区域和第二帧的所述区域是相对于所述当前帧中的区域的最佳匹配预测区域。
36.如权利要求35所述的电子装置，其中所述位结构支持多个编码位结构，其中所述多个编码位结构中的至少两个具有不同的位数。
37.如权利要求35所述的电子装置，其中所述位结构支持多个编码位结构，其中所述多个编码位结构中的至少一个是带符号的，所述多个编码位结构中的至少一个是无符号的。
38.如权利要求35所述的电子装置，其中，所述预测解码器还被配置成使用运动矢量找出第一帧的所述区域的位置。
39.如权利要求35所述的电子装置，其中，所述预测解码器还被配置成使用运动矢量找出第二帧的所述区域的位置。
40.如权利要求35所述的电子装置，其中，所述预测解码器还被配置成通过使用所述第一帧和所述第二帧之间已解码运动矢量的直接模式时间内插，找出第一帧的所述区域的位置和找出第二帧的所述区域的位置。
41.如权利要求35所述的电子装置，其中，所述预测解码器还被配置成通过标识第一帧的所述区域为空区域来找出第一帧的所述区域的位置，以及计算所述第一预测分量等于零。
42.如权利要求35所述的电子装置，其中，所述预测解码器还被配置成通过标识第二帧的所述区域为空区域来找出第二帧的所述区域的位置，以及计算所述第二预测分量等于零。
43.如权利要求35所述的电子装置，其中，所述修改的第一权参数和所述修改的第二权参数是同样的编码位结构。
44.如权利要求35所述的电子装置，其中，所述预测解码器还被配置成标识所述第一权参数为零，以及计算所述第一预测分量等于零。
45.如权利要求35所述的电子装置，其中，所述预测解码器还被配置成标识所述第二权参数为零，以及计算所述第二预测分量等于零。
46.如权利要求35所述的电子装置，其中，所述第一权参数和所述第二权参数是带符号的。
47.如权利要求35所述的电子装置，还被配置成通过网络接收表示所述第一权参数、所述第二权参数、第一帧的所述区域和第二帧的所述区域的编码视频数据。
48.如权利要求35所述的电子装置，还被配置成通过无线网络接收表示所述第一权参数、所述第二权参数、第一帧的所述区域和第二帧的所述区域的编码视频数据。
49.如权利要求35所述的电子装置，其中，所述预处理器还被配置成：
通过执行从以下各项构成的组中选择出来的操作来修改所述第一权参数：移位、符号扩展、零扩展、以及通过乘法或除法运算应用缩放因子；以及
通过执行从以下各项构成的组中选择出来的操作来修改所述第二权参数：移位、符号扩展、零扩展、以及通过乘法或除法运算应用缩放因子。
CN2005800222754A 2004-05-04 2005-05-04 预测帧里的加权预测方法和设备 Expired - Fee Related CN1981535B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US56815404P 2004-05-04 2004-05-04
US60/568,154 2004-05-04
PCT/US2005/015449 WO2005109898A1 (en) 2004-05-04 2005-05-04 Method and apparatus for weighted prediction in predictive frames

Publications (2)

Publication Number Publication Date
CN1981535A CN1981535A (zh) 2007-06-13
CN1981535B true CN1981535B (zh) 2012-05-30

Family

ID=34969071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800222754A Expired - Fee Related CN1981535B (zh) 2004-05-04 2005-05-04 预测帧里的加权预测方法和设备

Country Status (8)

Country Link
US (1) US8731054B2 (zh)
EP (2) EP2230852A3 (zh)
JP (1) JP4659823B2 (zh)
KR (1) KR100866293B1 (zh)
CN (1) CN1981535B (zh)
CA (1) CA2565669A1 (zh)
TW (1) TW200607353A (zh)
WO (1) WO2005109898A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365583A (zh) * 2019-07-17 2019-10-22 南京航空航天大学 一种基于桥接域迁移学习的符号预测方法及系统

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1843037B (zh) * 2003-08-26 2010-09-22 汤姆森特许公司 用于编码混合内部-相互编码块的方法和装置
US7991053B2 (en) * 2004-05-04 2011-08-02 Qualcomm Incorporated Method and apparatus to enable acquisition of media in streaming applications
US8085846B2 (en) * 2004-08-24 2011-12-27 Thomson Licensing Method and apparatus for decoding hybrid intra-inter coded blocks
WO2006057182A1 (ja) * 2004-11-26 2006-06-01 Matsushita Electric Industrial Co., Ltd. 復号化回路、復号化装置、及び復号化システム
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
US8239766B2 (en) * 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
US7881320B1 (en) * 2005-12-12 2011-02-01 Xilinx, Inc. Parsing data from multiple digital bitstreams
KR101406156B1 (ko) * 2006-02-02 2014-06-13 톰슨 라이센싱 움직임 보상 예측을 위한 적응 가중 선택 방법 및 장치
US8218641B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
US8218640B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
US8213518B1 (en) 2006-10-31 2012-07-03 Sony Computer Entertainment Inc. Multi-threaded streaming data decoding
US8494053B2 (en) * 2007-01-03 2013-07-23 International Business Machines Corporation Method and apparatus of temporal filtering for side information interpolation and extrapolation in Wyner-Ziv video compression systems
US20080260029A1 (en) * 2007-04-17 2008-10-23 Bo Zhang Statistical methods for prediction weights estimation in video coding
KR101366244B1 (ko) * 2007-04-24 2014-02-21 삼성전자주식회사 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치
US8416197B2 (en) * 2007-06-15 2013-04-09 Ricoh Co., Ltd Pen tracking and low latency display updates on electronic paper displays
US8319766B2 (en) * 2007-06-15 2012-11-27 Ricoh Co., Ltd. Spatially masked update for electronic paper displays
US8355018B2 (en) * 2007-06-15 2013-01-15 Ricoh Co., Ltd. Independent pixel waveforms for updating electronic paper displays
US8913000B2 (en) * 2007-06-15 2014-12-16 Ricoh Co., Ltd. Video playback on electronic paper displays
US8279232B2 (en) * 2007-06-15 2012-10-02 Ricoh Co., Ltd. Full framebuffer for electronic paper displays
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8203547B2 (en) * 2007-06-15 2012-06-19 Ricoh Co. Ltd Video playback on electronic paper displays
KR101408698B1 (ko) * 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
US8306366B2 (en) * 2007-08-23 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
EP2188978A2 (en) * 2007-09-10 2010-05-26 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
EP2154893A1 (en) * 2008-08-13 2010-02-17 Thomson Licensing Method for modifying a reference block of a reference image, method for encoding or decoding a block of an image by help of a reference block and device therefor and storage medium or signal carrying a block encoded by help of a modified reference block
US8325801B2 (en) 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
JP2011061320A (ja) * 2009-09-07 2011-03-24 Sony Corp 動き補償装置、符号化装置、復号装置、これらにおける処理方法およびプログラム
JP5562346B2 (ja) * 2009-10-20 2014-07-30 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP2011147049A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
US8711933B2 (en) * 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
US9420294B2 (en) 2011-02-23 2016-08-16 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
MX2013014726A (es) * 2011-06-24 2014-02-27 Ntt Docomo Inc Metodo y aparato para prediccion de compensacion de movimiento.
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
DK3217667T3 (da) * 2011-10-17 2020-11-16 Toshiba Kk Kodningsfremgangsmåde og afkodningsfremgangsmåde
US10390041B2 (en) * 2012-03-30 2019-08-20 Sun Patent Trust Predictive image coding and decoding using two reference pictures
CA2873487A1 (en) * 2012-05-14 2013-11-21 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
CN103813174B (zh) * 2012-11-12 2016-04-27 腾讯科技（深圳）有限公司 一种混合分辨率编解码方法和装置
EP3078196B1 (en) * 2013-12-06 2023-04-05 MediaTek Inc. Method and apparatus for motion boundary processing
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
WO2017123487A1 (en) * 2016-01-15 2017-07-20 Vid Scale, Inc. System and method for enhanced motion compensation using adaptive filtering
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
CN106358041B (zh) 2016-08-30 2019-05-10 北京奇艺世纪科技有限公司 一种帧间预测编码方法及装置
US10904568B2 (en) 2017-03-09 2021-01-26 Kt Corporation Video signal processing method and device for intra prediction of coding or prediction blocks based on sample position based parameters
KR20210072098A (ko) * 2018-10-24 2021-06-16 후아웨이 테크놀러지 컴퍼니 리미티드 현재 블록에 대한 모션 정보를 결정하는 방법, 히스토리 기반 모션 벡터 예측기 목록을 구성하고 업데이트하는 방법, 및 비 일시적 컴퓨터 판독 가능형 저장 매체, 및 비디오 인코딩/디코딩 방법 및 장치
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
US10803876B2 (en) 2018-12-21 2020-10-13 Microsoft Technology Licensing, Llc Combined forward and backward extrapolation of lost network data
US10784988B2 (en) * 2018-12-21 2020-09-22 Microsoft Technology Licensing, Llc Conditional forward error correction for network data
US11683501B2 (en) * 2019-01-17 2023-06-20 Tencent America LLC Method and apparatus for video coding
EP4022900A4 (en) 2019-09-23 2022-11-09 Huawei Technologies Co., Ltd. WEIGHTED PREDICTION METHOD AND APPARATUS FOR NON-RECTANGULAR PARTITIONING MODES
WO2020251423A2 (en) * 2019-10-07 2020-12-17 Huawei Technologies Co., Ltd. Method and apparatus of harmonizing weighted prediction and bi-prediction with coding-unit-level weight

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1405735A (zh) * 2002-11-08 2003-03-26 北京工业大学 基于感知器的彩色图像无损压缩方法
EP1365591A2 (en) * 2002-05-14 2003-11-26 Broadcom Corporation Bitstream transcoding method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2288520B (en) 1994-03-24 1998-10-14 Discovision Ass Pipeline
US6151075A (en) * 1997-06-11 2000-11-21 Lg Electronics Inc. Device and method for converting frame rate
US6167084A (en) * 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
US6944226B1 (en) * 2000-10-03 2005-09-13 Matsushita Electric Corporation Of America System and associated method for transcoding discrete cosine transform coded signals
CA2574127A1 (en) 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
US7376186B2 (en) * 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
EP2320659B1 (en) * 2002-08-08 2014-10-01 Panasonic Intellectual Property Corporation of America Moving picture encoding method and decoding method
CA2763080C (en) * 2002-10-01 2014-12-02 Panasonic Corporation Picture coding apparatus, picture decoding apparatus and the methods
KR100604032B1 (ko) * 2003-01-08 2006-07-24 엘지전자 주식회사 복수 코덱을 지원하는 장치와 방법
US7327786B2 (en) * 2003-06-02 2008-02-05 Lsi Logic Corporation Method for improving rate-distortion performance of a video compression system through parallel coefficient cancellation in the transform

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1365591A2 (en) * 2002-05-14 2003-11-26 Broadcom Corporation Bitstream transcoding method
CN1405735A (zh) * 2002-11-08 2003-03-26 北京工业大学 基于感知器的彩色图像无损压缩方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
ITU-T VCEG,DOCUMENT JVT-B075.2002,24(PART 3),全文. *
ITU-T VCEG,DOCUMENT JVT-G050r1.2003,24(PART 3),全文. *
KIKUCHI Yoshihiro,CHUJOH Takeshi.IMPROVED MULTIPLE FRAME MOTION COMPENSATIONUSING FRAME INTERPOLATION.JVT OF ISO/IEC MPEG&amp *
KIKUCHIYoshihiro CHUJOH Takeshi.IMPROVED MULTIPLE FRAME MOTION COMPENSATIONUSING FRAME INTERPOLATION.JVT OF ISO/IEC MPEG&ITU-T VCEG
Talla Deepu ET AL.ANATOMY OF A PORTABLE DIGITAL MEDIAPROCESSOR.IEEE COMPUTER SOCIETY,MICRO,IEEE24 2.2004,24(PART 3),全文.
Talla Deepu ET AL.ANATOMY OF A PORTABLE DIGITAL MEDIAPROCESSOR.IEEE COMPUTER SOCIETY,MICRO,IEEE24 2.2004,24(PART 3),全文. *
WIEGAND Thomas.DRAFT ITU-T RECOMMENDATION AND FINALDRAFTINTERNATIONAL STANDARD OF JOINTVIDEO SPECIFICATION.JVT OF ISO/IEC MPEG&amp *
WIEGAND Thomas.DRAFT ITU-T RECOMMENDATION AND FINALDRAFTINTERNATIONAL STANDARD OF JOINTVIDEO SPECIFICATION.JVT OF ISO/IEC MPEG&ITU-T VCEG,DOCUMENT JVT-G050r1.2003,24(PART 3),全文.
YANG Kun-Min.design of a multifunction video decoder based on amotion compensated predictive interpolative coder.PROCEEDINGS OF THE SPIE,SPIE,BELLINGHAM,VA,US1360 PART 3.1990,24(PART 3),全文.
YANG Kun-Min.design of a multifunction video decoder based on amotion compensated predictive interpolative coder.PROCEEDINGS OF THE SPIE,SPIE,BELLINGHAM,VA,US1360 PART 3.1990,24(PART 3),全文. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365583A (zh) * 2019-07-17 2019-10-22 南京航空航天大学 一种基于桥接域迁移学习的符号预测方法及系统
CN110365583B (zh) * 2019-07-17 2020-05-22 南京航空航天大学 一种基于桥接域迁移学习的符号预测方法及系统

Also Published As

Publication number Publication date
JP4659823B2 (ja) 2011-03-30
US20050281334A1 (en) 2005-12-22
EP1747679A1 (en) 2007-01-31
EP2230852A3 (en) 2011-12-28
CN1981535A (zh) 2007-06-13
CA2565669A1 (en) 2005-11-17
TW200607353A (en) 2006-02-16
EP2230852A2 (en) 2010-09-22
US8731054B2 (en) 2014-05-20
JP2007536816A (ja) 2007-12-13
WO2005109898A1 (en) 2005-11-17
KR100866293B1 (ko) 2008-10-31
KR20070036059A (ko) 2007-04-02

Similar Documents

Publication Publication Date Title
CN1981535B (zh) 预测帧里的加权预测方法和设备
US11659210B2 (en) Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
US20230267649A1 (en) Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform
US9055298B2 (en) Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information
CA3014052C (en) Low-complexity intra prediction for video coding
KR100813963B1 (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
KR101550166B1 (ko) 변환-기반 디지털 미디어 코덱에서의 계산 복잡도 및 정밀도 제어
US11102474B2 (en) Devices and methods for intra prediction video coding based on a plurality of reference pixel values
US20050276493A1 (en) Selecting macroblock coding modes for video encoding
US20120250769A1 (en) Hybrid video coding
Suh et al. An efficient hardware architecture of intra prediction and TQ/IQIT module for H. 264 encoder
CN104519367A (zh) 视频解码处理装置及其操作方法
CN101310536B (zh) 启用对h.264和其它变换编码信息的高效部分解码的视频编码方法
KR20140124448A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
US8189672B2 (en) Method for interpolating chrominance signal in video encoder and decoder
Kim et al. Transform with residual rearrangement for HEVC intra coding
KR101525325B1 (ko) 인트라 예측 모드 결정 방법 및 그 장치
KR20040091939A (ko) 인트라 휘도 예측 모드 결정방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1103900

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1103900

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20150504

EXPY Termination of patent right or utility model