CN107950026A - 基于视频编解码中的相邻区域导出预测偏移的方法及装置 - Google Patents

基于视频编解码中的相邻区域导出预测偏移的方法及装置 Download PDF

Info

Publication number
CN107950026A
CN107950026A CN201680051629.6A CN201680051629A CN107950026A CN 107950026 A CN107950026 A CN 107950026A CN 201680051629 A CN201680051629 A CN 201680051629A CN 107950026 A CN107950026 A CN 107950026A
Authority
CN
China
Prior art keywords
current block
coding
prediction
adjacent
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680051629.6A
Other languages
English (en)
Inventor
徐志玮
陈庆晔
黄晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN107950026A publication Critical patent/CN107950026A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种使用具有从相邻重构像素导出的偏移的帧间预测的视频编解码的方法以及装置。根据本发明，决定当前块的一个或多个第一相邻区域中的NRP(相邻重构像素)以及对应于所述当前块的运动补偿参考块的一个或多个第二相邻区域中的EMCP(扩展的运动补偿预测子)。决定所述NRP的第一像素值与所述EMCP的第二像素值之间的一个或多个预测偏移。使用包括所述预测偏移的信息将所述当前块编码或者解码。所述预测偏移可以对应于用于整个块的单个偏移，个体偏移也可以被用于所述当前块的像素。

Description

基于视频编解码中的相邻区域导出预测偏移的方法及装置
相关引用
本申请要求递交于2015年9月6日，号码为PCT/CN2015/088962的PCT专利申请的优先权，该PCT专利申请全文通过引用纳入其中。
技术领域
本发明涉及视频编解码，特别地，本发明涉及基于当前块与参考块的相邻像素来预测所述当前块以及所述参考块之间的偏移(offset)，以提高编解码效率。
背景技术
视频数据需要大量存储空间以存储该视频数据或需要宽带宽(bandwidth)以传输该视频数据。随着高分辨率以及更高的帧率的发展，如果视频数据以未压缩格式进行存储或传输，那么存储或传输带宽的需求将是非常可怕的。因此，视频数据通常使用视频编解码技术来以压缩格式进行存储或传输，使用诸如H.264/AVC以及新兴的HEVC(HighEfficiency Video Coding)标准的新的视频压缩格式，编解码效率已经得到大幅度的提高。
图1示出了示例性的包含环路处理的自适应帧间/帧内视频编码系统。对于帧间预测，运动估计(ME)/运动补偿(MC)112用于基于来自于其他一个或多个图像的视频数据来提供预测数据。开关114选择帧内预测110或帧间预测的数据，并且所选择的预测数据被提供给加法器116以形成预测误差，也叫残差。所述预测误差然后由转换(T)118紧接着是量化(Q)120进行处理，转换的以及量化的残差然后由熵编码器122进行编码以被包括于对应于压缩的视频数据的视频比特流中。当使用帧间预测模式的时候，也必须在编码器末端重构一个或多个参考图像。因此，所述转换的以及量化的残差由逆量化(IQ)124以及逆转换(IT)126进行处理以恢复所述残差，所述残差然后在重构(REC)128被添加回预测数据136来重构视频数据，重构的视频数据存储于参考图像缓冲器134中并用于其他帧的预测。然而，可以在所述重构的视频数据存储于参考图像缓冲器之前，将环路滤波器130(例如去块滤波器和/或样本自适应偏移(sample adaptive offset，SAO))应用于所述重构的视频数据。
图2示出了对应于图1中的编码器系统的视频解码器的系统框图。因为编码器也包括用于重构视频数据的本地解码器(local decoder)，除了熵解码器210以外，一些解码器元件也已经用于编码器中。此外，解码器侧仅需要运动补偿220，开关146选择帧内预测或帧间预测并且所选择的预测数据被提供给重构(REC)128以与恢复的残差进行组合。除了在压缩的残差上执行熵解码以外，熵解码210也用于边信息(side information)的熵解码以及将所述边信息提供到各自的块。例如，帧内模式信息被提供到帧内预测110，帧间模式信息被提供到运动补偿220，环路滤波信息被提供到环路滤波器130以及残差被提供到逆量化124。所述残差由IQ124、IT126以及随后的重构进程进行处理以重构所述视频数据。同样，来自于REC128的重构的视频数据经过包括如图2所示的IQ124以及IT126的一系列处理以后，容易受到伪影(artifacts)的影响，所述重构的视频数据进一步由环路滤波器130进行处理。
在高效视频编码(HEVC)系统中，H.264/AVC中的固定尺寸的宏块(macroblock)被灵活的块所代替，称为编码单元(coding unit，CU)，CU中的像素共享相同的编解码参数以提高编解码效率。CU可以开始于最大的CU(LCU)，在HEVC中也被称为编码树单元(codedtree unit，CTU)，每个CU都是2N×2N的正方形块并且可以递归地拆分成四个更小的CU直到达到预定的最小尺寸。一旦完成CU分层树(hierarchical tree)的拆分，根据预测类型以及PU分割，每一叶CU进一步被拆分成一个或多个预测单元(prediction unit，PU)。此外，用于转换编解码的基础单元是正方形尺寸，叫做转换单元(Transform Unit，TU)。
在HEVC中，帧内与帧间预测被应用于每一块(也就是PU)，帧内预测模式使用空间相邻的重构像素以生成定向预测子(directional predictor)，另一方面，帧间预测模式使用时间重构的参考帧(temporal reconstructed reference frames)以生成运动补偿预测子(motion compensated predictor)，预测残差使用转换、量化以及熵编码进行编码。更精确的预测子将导致更小的预测残差，其反过来将导致较少的压缩数据(也就是更高的压缩率)。
帧间预测将探索帧之间像素的相关性，并且如果场景是静止的或者运动是平移的(translational)，则将是有效的，在这种情况下，运动估计可以容易的在时间相邻帧(temporal neighbouring frame)中找到具有相似的像素值的相似的块。对于HEVC中的帧间预测，所述帧间预测可以是单向预测(uni-prediction)或双向预测(bi-prediction)，对于单向预测，由一个先前编码的图像中一个参考块来预测当前块，对于双向预测，由两个先前编码的图像中的两个参考块来预测当前块，对来自两个参考块的预测求平均以形成用于双向预测的最终预测子。
通常场景可能涉及到照明条件的变化，在这种情况下，即使场景是静止的以及内容是相似的，帧之间的像素值也是不同的。期望开发一种能够预测当前块与参考块之间的偏移的方法。
发明内容
本发明公开了一种使用具有从相邻重构像素导出的偏移的帧间预测的视频编解码的方法以及装置。根据本发明，决定当前块的一个或多个第一相邻区域中的NRP(相邻重构像素)以及对应于所述当前块的运动补偿参考块的一个或多个第二相邻区域中的EMCP(扩展的运动补偿预测子)。决定所述NRP的第一像素值与所述EMCP的第二像素值之间的一个或多个预测偏移。使用包括所述一个或多个预测偏移的信息将所述当前块编码至比特流中或者从编码的当前块中解码所述当前块。
所述当前块的所述第一相邻区域与所述运动补偿参考块的所述第二相邻区域具有相同的尺寸以及形状。所述当前块的每一所述第一相邻区域以及所述运动补偿参考块的每一所述第二相邻区域分别由所述当前块的先前重构的区域以及所述运动补偿参考块的对应的区域中的一个或多个选择的像素组成。例如，所述当前块的所述第一相邻区域由所述当前块上方的上第一相邻区域以及所述当前块左边的左第一相邻区域组成，以及所述运动补偿参考块的所述一个或多个第二相邻区域由所述运动补偿参考块上方的上第二相邻区域以及所述运动补偿参考块左边的左第二相邻区域组成。
为了减少所需要的计算，可以使用所述NPR以及所述EMCP的子采样图案来计算用于所述NPR以及所述EMCP的平均像素值。
在一个实施例中，所述预测偏移可以对应于的单个偏移(single offset)，以及所述单个偏移被应用于所述整个当前块。所述单个偏移可以导出为所述NRP的平均第一像素值与所述EMCP的平均第二像素值之间的差异。
在另一个实施例中，所述预测偏移可以对应与个体偏移(individual offset)，以及所述个体偏移被应用于所述当前块的个体像素。可以基于所述NRP与对应的EMCP之间的差异单独地决定用于所述NRP中像素位置的所述个体偏移。因此，可以从多个相邻像素的多个个体偏移的加权总和中导出用于所述当前块中像素位置的所述个体偏移，所述多个相邻像素的所述多个个体偏移是预先决定的。根据使用所述多个相邻像素的相同配置的扫描次序顺序地导出用于所述当前块中多个像素位置的多个个体偏移。可以基于一个或多个编解码参数决定用于所述相邻像素的所述多个个体偏移的所述加权总和的权重因子。例如，用于所述当前块中多个像素位置的所述多个个体偏移可以导出为上相邻像素与左相邻像素的平均偏移，在一个实施例中，所述EMCP在为分数像素(fractional-pel)运动向量导出分数像素参考像素所需要的相邻参考像素区域内。
使用基于所述运动补偿参考块以及所述一个或多个预测偏移的帧间预测可以对当前块进行编码或解码，基于所述当前块的块位置以及相关的运动向量可以决定所述运动补偿参考块。
可以明确地发信或者隐含地决定旗标来指示所述一个或多个预测偏移是否用于对所述当前块进行编码或解码，基于所述当前块的相邻像素或块的统计，可以隐含地决定所述旗标。
当单个偏移像素值用于整个块的时候，可以使用定向模式，其适应性地使用上相邻区域或左相邻区域来导出所述单个偏移像素值。在一个示例中，根据空间合并候选的方向，适应性地选择所述上相邻区域或所述左相邻区域，在另一个示例中，可以使用强制模式，如果所述偏移像素值是0，其强制所述偏移像素值为非0值。
所述预测偏移是否用于对所述当前块的编码或解码可以取决于一个或多个编解码参数，例如，所述一个或多个预测偏移是否用于对所述当前块的编码或解码取决于PU(预测单元)尺寸、CU(编码单元)尺寸或者两者。
附图说明
图1示出了示例性的使用转换、量化以及环路处理的帧间/帧内视频编码系统。
图2示出了示例性的使用转换、量化以及环路处理的帧间/帧内视频解码系统。
图3示出了根据本发明一个实施例的偏移导出的示例，其中N个上相邻线(line)以及N个左相邻线用于导出一个或多个预测偏移。
图4示出了导出用于当前块的多个个体偏移(individual offset)的示例，其中首先导出多个相邻重构像素的多个个体偏移，以及通过对上相邻像素以及左相邻像素的所述多个个体偏移求平均来导出用于所述当前块的多个个体偏移。
图5示出了根据本发明一实施例的用于视频编解码系统的示例性流程图，所述视频编解码系统使用从所述当前块以及参考块对应的区域中的多个相邻重构像素导出的一个或多个帧间预测偏移。
具体实施方式
下文的描述是实施本发明的最佳实施方式，所做的这些描述是为了说明本发明的基本原理，因此不应该做限制性理解。本发明的范围由参考所附权利要求来最佳决定。
如之前所提到的，传统的帧间预测是静态的，以及不能适应底层视频(underlyingvideo)中的局部特性，特别地，传统的帧间预测没有适当地处理当前块和参考块之间的偏移。因此，在本发明的一个实施例中，添加预测偏移以提高运动补偿预测子的准确性，通过这种偏移，可以处理帧之间不同的照明条件。
在一个实施例中，使用相邻重构像素(neighbouring reconstructed pixel，NRP)以及扩展的运动补偿预测子(extended motion compensated predictor，EMCP)导出偏移。图3示出了根据本发明一个实施例的偏移导出的示例，在图3中，所述相邻重构像素(NRP)包括在当前块310上方的N个上相邻线312以及在所述当前块310左边的N个左相邻的线(也就是垂直线)314。所述扩展的运动补偿预测子(EMCP)包括在运动补偿参考块320上方的N个上相邻线322以及在所述运动补偿参考块320左边的N个左相邻线(也就是垂直线)324，所述运动补偿参考块320根据所述当前块310的位置以及运动向量(MV)330所确定。
在上述示例中，为NRP以及EMCP选择的图案(pattern)是当前PU的N个左相邻线以及N个上相邻线，其中N是预定义的值。然而，相邻区域的图案可以是任何尺寸及形状，其可以根据编码参数所决定，例如PU或CU尺寸，只要它们对于NRP以及EMCP是相同的。虽然相邻区域的图案可以是任何尺寸以及形状，但是相邻区域的图案应该在所述当前块的先前的重构像素的区域内。
对于有具有分数像素精度(fractional-pel accuracy)的运动向量的运动补偿，在对应的参考块外的相邻参考像素将需要在分数像素位置导出参考像素，在这种情况下，用于在分数像素位置计算相邻参考像素的在所述对应的参考块外的所述相邻参考像素可以用作为EMCP像素。
偏移可以被计算为NRP平均像素值减去EMCP的平均像素值，换句话说，所述偏移值(Offset)可以导出为：
Offset＝NPR的平均值-EMCP的平均值 (1)
所导出的偏移将被具体用于每一PU并和运动补偿预测子一起被应用于整个PU，换句话说，根据这一实施例，通过添加所述偏移到所述运动补偿预测子来生成改进的预测子。这一偏移导出方法被称为相邻导出的预测偏移(Neighbouring-derived PredictionOffset，NPO)。在一个实施例中，NPO仅应用于在跳过模式(skip mode)或2N×2N合并模式(merge mode)中编码的块。所述合并模式是用于MVP(运动向量预测，motion vectorprediction)的技术，其中可以使用MVP预测用于块的运动向量，合并候选列表可以用于对合并模式中的块进行编解码。当所述合并模式用于编码块的时候，块的运动信息(例如运动向量)可以由合并MV列表中的一个候选MV所表示，当在合并模式中对块进行编码的时候，通过发信合并索引(merge index)而不是实际地传输，将所述运动信息与相邻块的运动信息“合并”。然而，仍会传输预测残差。在所述预测残差是0或者非常小的情况下，所述预测残差被跳过(也就是跳过模式)，以及通过具有合并索引的跳过模式对块进行编码以确定在合并列表中的合并MV。
如果方程式(1)所示，基于NPR中的多个像素以及EMCP中的多个像素计算平均值，其可能涉及许多运算。为了减少所需要的运算来导出NPR中多个像素以及EMCP中多个像素的平均值，根据本发明一个实施例，所述平均值可以基于NPR以及EMCP中子采样像素(subsampled pixel)来计算。例如，每一2×2像素组中的一个像素(例如左上方像素)可以被用于计算NPR以及EMCP中像素的平均值。只要相同的子采样图案(subsampling pattern)用于NPR以及EMCP两者，可以使用任何子采样图案。
在另一个实施例中，使用用于当前PU的每一像素的个体偏移而不是用于整个PU的单个偏移(single offset)。根据这一实施例，NRP中每一像素减去EMCP中每一对应的像素(也就是322以及)以分别地生成用于NRP中多个像素(也就是312以及314)的偏移。在计算了多个相邻区域中的多个个体偏移以后，可以基于所述多个相邻区域中的所述多个个体偏移导出用于当前PU中每一位置的个体偏移。例如，用于所述当前PU中每一位置的个体偏移可以导出为左边以及上方像素的平均偏移，其中左边以及上方像素的个体偏移已经被导出。这一偏移导出方法被称为基于像素或像素自适应相邻导出的预测偏移(Pixel-Based orPixel-Adaptive Neighbouring-derived Prediction Offset，PA-NPO)。
个体偏移导出的示例如图4所示，其中在多个上相邻位置中的个体偏移是6，4，2，和-2，以及在多个左相邻位置的个体偏移是6，6，6，和6。对于当前PU中的每一位置，如插图410所示，位于当前位置411的个体偏移被计算为上偏移与左偏移(也就是具有偏移A以及B的位置)的平均值，所导出的多个个体偏移如插图420所示。对于在左上角的第一位置421，由对来自于左边的偏移(也就是6)以及上方的偏移(也就是6)求平均以生成个体偏移6，对于下一个位置422，偏移等于(6+4)/2＝5，对于接下来两个位置(423以及424)的个体偏移可以相应地被分别导出为3和0。为了确保相邻的多个个体偏移已经被导出，可以根据光栅扫描次序(raster scanning order)顺序地执行用于当前块(例如PU)的多个个体偏移的导出。例如，因为相邻的多个个体偏移已经被获得(也就是5和4)，用于位置428个体偏移可以被导出为4。因为相邻像素与边界像素更高度地关联，因此偏移也一样。这一方法可以根据像素位置对偏移进行适配，所导出的偏移可以适用于PU，并且可以和运动补偿预测子一起独立地应用于每一PU位置。
用于当前块的每一像素的个体偏移可以被计算为左边以及上方偏移的加权平均值，权重可以是预定的值或者可以取决于编解码参数。
上述的相邻导出的预测偏移方法可以一直应用于编解码系统中，该相邻导出的预测偏移方法也可以明确地打开或关闭。例如，可以明确发信或导出或隐含发信一旗标，如基于其相邻块的统计。可以根据CU尺寸、PU尺寸或者其他编解码参数确定是否应用相邻导出的预测偏移方法。
本发明还提出了用于发信所述偏移方法的语法设计，例如，可以使用变长代码(variable length code)发信语法元素，其可以被上下文编码(context coded)。如果代码对应于“0”，其指示没有使用偏移，如果代码对应于“10”，其指示使用NPO，如果代码对应于“11”，其指示使用PA-NPO。
当选择NPO的时候，如果导出的偏移是“0”，本发明的一个实施例使用“强制NPO”，当代码对应于“0”，其指示没有使用偏移。因此，没有偏移模式以及具有0偏移的NPO模式意味着相同的情况。为了不浪费NPO模式中的偏移值，“强制NPO”模式使用非0偏移值，例如，如果偏移值是0，所述偏移值强制为“+1”。
当选择NPO的时候，本发明的一个实施例使用“定向NPO”，其中根据空间合并候选的方向从左边或上方的边界中导出偏移。例如，如果在合并模式中对当前块进行编码，如果当前块是与左边的块“合并”的，相邻区域的图案可以对应于左边的区域，以及如果当前块与上方的块“合并”的，相邻区域的图案可以对应于上方的区域。也可以使用其他标准来选择相邻区域的图案的“方向”。
在另一个实施例中，当选择PA-NPO的时候，根据空间合并候选的方向，可以应用5/3或3/5的权重而不是使用1/1的权重来导出左边以及上方偏移的加权平均值。
图5示出了根据本发明实施例的视频编解码系统的示例性流程图，所述视频编解码系统使用从当前块的相邻重构像素以及参考块的对应区域所导出的一个或多个帧间预测偏移。根据这一实施例，在步骤510中，接收与当前图像中当前块有关的输入数据；在步骤520中，决定所述当前块的一个或多个第一相邻区域中的NRP(相邻重构像素)；在步骤530中，也决定对应于所述当前块的运动补偿参考块的一个或多个第二相邻区域中的EMCP(扩展的运动补偿预测子)；在步骤540中导出所述NRP的第一像素值与所述EMCP的第二像素值之间的一个或多个预测偏移；在步骤550中，使用包括所述一个或多个预测偏移的信息将所述当前块编码至视频比特流中或者从编码的当前块中解码所述当前块。
所示的流程图旨在根据本发明举例说明视频编解码的示例，本领域技术人员可以在不背离本发明的精神的情况下，修改每个步骤、重新排列这些步骤、拆分步骤或者组合这些步骤以实施本发明。在本发明中，已经使用了特定的语法和语义以说明实施本发明实施例的示例，本领域技术人员可以在不背离本发明的精神的情况下，通过用相等的语法和语义来替换这些语法和语义来实施本发明。
上文所示之描述能够使本领域普通技术人员能够实施本发明，如在特定应用及其要求的上下文所提供的。对所描述的实施例的各种修改对本领域技术人员将是显而易见的，并且文中所定义的基本原则可以被应用于其他实施例。因此，本发明并不旨于被限制于所示和所描述的特定实施例中，而是由文中所公开的原则以及新颖性特征组成的最宽的范围。在上文的细节描述中，举例说明的各种具体细节是为了提供本发明深入的理解，然而，本领域技术人员能够理解，可以实施本发明。
上文所描述的本发明的实施例可以以各种各样的硬件、软件代码或两者的组合来实施，例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电子电路，或者是集成到视频压缩软件以执行文中所述描述的进程的程序代码。本发明的实施例也可以是在数字信号处理器(DSP)上执行的以执行文中所述描述的进程的程序代码。本发明也涉及由计算机处理器、数字信号处理器、微处理器或者场可编程门阵列(FPGA)所执行的许多功能，这些处理器根据本发明可以被配置为执行特定的任务，通过执行定义由本发明执行的特定方法的机器可读软件代码或固件代码。软件代码或固件代码可以以不同的程序语言以及不同的格式或风格进行开发，软件代码也可以为不同的目标平台所编译，然而，软件代码不同的代码格式、风格以及语法以及配置代码的其他手段以执行与本发明相关的任务将不背离本发明的精神以及范围。
本发明可以在不背离它的精神或基本特征的情况下，以其他特定的形式实施本发明。所描述的示例的所有方面被认为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而非上述的描述所指示，在权利要求的等同的含义和范围内的所有变化都包括在它们的范围内。

Claims (24)

1.一种使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，所述方法包括：
接收与当前图像中的当前块有关的输入数据；
决定所述当前块的一个或多个第一相邻区域中的NRP(相邻重构像素)；
决定对应于所述当前块的运动补偿参考块的一个或多个第二相邻区域中的EMCP(扩展的运动补偿预测子)；
导出所述NRP的第一像素值与所述EMCP的第二像素值之间的一个或多个预测偏移；以及
使用包括所述一个或多个预测偏移的信息将所述当前块编码至视频比特流或者从编码的当前块中解码所述当前块。
2.如权利要求1所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述当前块的所述一个或多个第一相邻区域与所述运动补偿参考块的所述一个或多个第二相邻区域具有相同的尺寸与形状。
3.如权利要求2所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述当前块的每一所述一个或多个第一相邻区域以及所述运动补偿参考块的每一所述一个或多个第二相邻区域分别由所述当前块的先前重构的区域以及所述运动补偿参考块的对应区域中一个或多个选择的像素所组成。
4.如权利要求2所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述当前块的所述一个或多个第一相邻区域由所述当前块上方的上第一相邻区域以及所述当前块左边的左第一相邻区域组成，以及所述运动补偿参考块的所述一个或多个第二相邻区域由所述运动补偿参考块上方的上第二相邻区域以及所述运动补偿参考块左边的左第二参考区域组成。
5.如权利要求4所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述一个或多个预测偏移对应于单个偏移，以及所述单个偏移被应用于整个所述当前块。
6.如权利要求1所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中使用相同的子采样图案对所述当前块的所述一个或多个第一相邻区域以及所述运动补偿参考块的所述一个或多个第二相邻区域进行子采样，以减少计算所述NPR以及所述EMCP平均像素值所需要的计算。
7.如权利要求1所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述EMCP在为分数像素运动向量导出分数像素参考像素所需要的相邻参考像素区域内。
8.如权利要求1所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述一个或多个预测偏移对应于单个偏移，以及所述单个偏移被应用于整个所述当前块。
9.如权利要求8所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述单个偏移导出为所述NRP的平均第一像素值与所述EMCP的平均第二像素值之间的差异。
10.如权利要求9所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述当前块的所述一个或多个第一相邻区域由所述当前块上方的上第一相邻区域以及所述当前块左边的左第一相邻区域组合，以及所述运动补偿参考块的所述一个或多个第二相邻区域由所述运动补偿参考块上方的上第二相邻区域以及所述运动补偿参考块左边的左第二相邻区域组成，并且其中适应性地选择所述上第一相邻区域与所述上第二相邻区域或者所述左第一相邻区域与所述左第二相邻区域，以决定所述NRP的所述平均第一像素值以及所述EMCP的所述平均第二像素值。
11.如权利要求10所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中根据空间合并候选的方向，适应性地选择所述上第一相邻区域与所述上第二相邻区域或者所述左第一相邻区域与所述左第二相邻区域。
12.如权利要求9所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中如果所述单个偏移是0，所述单个偏移被强制具有非0值。
13.如权利要求1所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述一个或多个预测偏移对应于多个个体偏移，以及所述多个个体偏移被应用于所述当前块的多个个体像素。
14.如权利要求13所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中基于所述NRP与对应的EMCP之间的差异，单独地决定用于所述NRP中多个像素位置的所述多个个体偏移，以及从多个相邻像素的多个个体偏移的加权总和导出用于所述当前块中所述多个像素位置的所述多个个体偏移，以及其中所述多个相邻像素的所述多个个体偏移是预先决定的。
15.如权利要求14所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中根据使用所述多个相邻像素相同配置的扫描次序顺序地导出用于所述当前块中所述多个像素位置的所述多个个体偏移。
16.如权利要求14所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中根据一个或多个编解码参数决定用于所述多个相邻像素的所述多个个体偏移的所述加权总和的权重因子。
17.如权利要求14所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中用于所述当前块中所述多个像素位置的所述多个个体偏移被导出为上相邻像素以及左相邻像素的平均偏移。
18.如权利要求1所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中基于所述运动补偿参考块以及所述一个或多个预测偏移来使用帧间预测对所述当前块进行编码或解码。
19.如权利要求18所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中基于所述当前块的块位置以及相关的运动向量决定所述运动补偿参考块。
20.如权利要求1所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中明确地发信或隐含地决定一旗标来指示所述一个或多个偏移预测是否用于对所述当前块的编码或解码。
21.如权利要求20所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中基于所述当前块的多个相邻像素或多个块的统计隐含地决定所述旗标。
22.如权利要求1所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述一个或多个预测偏移是否用于对所述当前块的编码或解码取决于一个或多个编解码参数。
23.如权利要求22所述的使用自适应偏移进行视频编解码的帧间预测的方法，其特征在于，其中所述一个或多个预测偏移是否用于对所述当前块的编码或解码取决于PU(预测单元)尺寸、CU(编码单元)尺寸或者两者。
24.一种用于视频编解码中的帧间预测的装置，所述装置包括一个或多个电子电路或者处理器，其特征在于，所述一个或多个电子电路或处理器用于：
接收与当前图像中的当前块有关的输入数据；
决定所述当前块的一个或多个第一相邻区域中的NRP(相邻重构像素)；
决定对应于所述当前块的运动补偿参考块的一个或多个第二相邻区域中的EMCP(扩展的运动补偿预测子)；
导出所述NRP的第一像素值与所述EMCP的第二像素值之间的一个或多个预测偏移；以及
使用包括所述一个或多个预测偏移的信息将所述当前块编码至视频比特流或者从编码的当前块中解码所述当前块。
CN201680051629.6A 2015-09-06 2016-09-06 基于视频编解码中的相邻区域导出预测偏移的方法及装置 Pending CN107950026A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2015/088962 WO2017035833A1 (en) 2015-09-06 2015-09-06 Neighboring-derived prediction offset (npo)
CNPCT/CN2015/088962 2015-09-06
PCT/CN2016/098183 WO2017036422A1 (en) 2015-09-06 2016-09-06 Method and apparatus of prediction offset derived based on neighbouring area in video coding

Publications (1)

Publication Number Publication Date
CN107950026A true CN107950026A (zh) 2018-04-20

Family

ID=58186557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680051629.6A Pending CN107950026A (zh) 2015-09-06 2016-09-06 基于视频编解码中的相邻区域导出预测偏移的方法及装置

Country Status (7)

Country Link
US (1) US20180249155A1 (zh)
EP (1) EP3338449A4 (zh)
CN (1) CN107950026A (zh)
AU (1) AU2016316317B2 (zh)
BR (1) BR112018004467A2 (zh)
IL (1) IL257543A (zh)
WO (2) WO2017035833A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114143554A (zh) * 2018-09-13 2022-03-04 华为技术有限公司 一种预测运动信息的解码方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113812161B (zh) * 2019-05-14 2024-02-06 北京字节跳动网络技术有限公司 视频编解码中的缩放方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474622A (zh) * 2009-07-02 2012-05-23 高通股份有限公司 用于视频译码的模板匹配
CN102763418A (zh) * 2009-12-20 2012-10-31 Lg电子株式会社 视频信号解码方法和设备
US20150195569A1 (en) * 2012-07-11 2015-07-09 Lg Electronics Inc. Method and apparatus for processing video signal

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
US8085852B2 (en) * 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
CN101281650B (zh) * 2008-05-05 2010-05-12 北京航空航天大学 用于视频稳定的快速全局运动估计方法
KR20120000485A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
US9008170B2 (en) * 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US20140071235A1 (en) * 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
EP2920964B1 (en) * 2013-03-26 2018-05-09 MediaTek Inc. Method of cross color intra prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474622A (zh) * 2009-07-02 2012-05-23 高通股份有限公司 用于视频译码的模板匹配
CN102763418A (zh) * 2009-12-20 2012-10-31 Lg电子株式会社 视频信号解码方法和设备
US20150195569A1 (en) * 2012-07-11 2015-07-09 Lg Electronics Inc. Method and apparatus for processing video signal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114143554A (zh) * 2018-09-13 2022-03-04 华为技术有限公司 一种预测运动信息的解码方法及装置
CN114143554B (zh) * 2018-09-13 2024-04-12 华为技术有限公司 一种预测运动信息的解码方法及装置

Also Published As

Publication number Publication date
BR112018004467A2 (pt) 2018-09-25
IL257543A (en) 2018-04-30
AU2016316317A1 (en) 2018-03-08
WO2017036422A1 (en) 2017-03-09
US20180249155A1 (en) 2018-08-30
EP3338449A4 (en) 2019-01-30
EP3338449A1 (en) 2018-06-27
WO2017035833A1 (en) 2017-03-09
AU2016316317B2 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
US11889107B2 (en) Image encoding method and image decoding method
US11647219B2 (en) Image encoding and decoding method with merge flag and motion vectors
CN108028931B (zh) 用于视频编解码的自适应帧间预测的方法及装置
CN107211124B (zh) 用于译码视频数据的方法、装置和计算机可读存储媒体
RU2683495C1 (ru) Нововведения в предсказание блочных векторов и оценку восстановленных значений отсчетов в области перекрытия
CN105723707B (zh) 用于视频译码的色彩残差预测
US9473777B2 (en) Video encoding device and encoding method thereof, video decoding device and decoding method thereof, and directional intra-prediction method to be used thereto
CN108353184A (zh) 用于视频编解码的使用平均运动矢量的帧间预测的方法和装置
WO2010143583A1 (ja) 画像処理装置および方法
KR101420957B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
TW201742465A (zh) 用於視訊寫碼之仿射運動預測
KR20170071594A (ko) 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법
WO2012172668A1 (ja) 動画像符号化方法及び装置並びに動画復号化方法及び装置
JP6271734B2 (ja) サブｐｕレベル高度残差予測
CN110050467A (zh) 视频信号的解码方法及其装置
KR20140138544A (ko) 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치
JP6503014B2 (ja) 動画像符号化方法及び動画像復号化方法
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
CN107950026A (zh) 基于视频编解码中的相邻区域导出预测偏移的方法及装置
CN114424534A (zh) 视频编码的色度直接模式产生方法和装置
JP5893178B2 (ja) 動画像符号化方法及び動画像復号化方法
KR20220071944A (ko) 성분 간 참조를 이용하는 잔차신호 생성방법과 장치
KR102125969B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
WO2014189345A1 (ko) 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180420