CN107079165B - 使用预测残差的视频编码方法及装置 - Google Patents

使用预测残差的视频编码方法及装置 Download PDF

Info

Publication number
CN107079165B
CN107079165B CN201580060217.4A CN201580060217A CN107079165B CN 107079165 B CN107079165 B CN 107079165B CN 201580060217 A CN201580060217 A CN 201580060217A CN 107079165 B CN107079165 B CN 107079165B
Authority
CN
China
Prior art keywords
current block
prediction
block
encoding
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580060217.4A
Other languages
English (en)
Other versions
CN107079165A (zh
Inventor
黄晗
陈庆晔
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Singapore Pte Ltd
Original Assignee
MediaTek Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/CN2014/090357 external-priority patent/WO2016070363A1/en
Priority claimed from PCT/CN2015/076865 external-priority patent/WO2016165122A1/en
Application filed by MediaTek Singapore Pte Ltd filed Critical MediaTek Singapore Pte Ltd
Publication of CN107079165A publication Critical patent/CN107079165A/zh
Application granted granted Critical
Publication of CN107079165B publication Critical patent/CN107079165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种在视频编码系统中使用预测偏移的视频编码和解码的方法和装置。从一个或多个编码块的重构残差信号导出当前块的预测偏移。在编码器侧，通过从当前块的原始信号中减去预测信号和预测偏移来计算当前块的残差信号，并且对残差信号进行编码以生成编码比特流。在解码器侧，从输入数据获得当前块的残差信号，通过将预测信号和预测偏移相加到残差信号来计算当前块的重构信号，并使用重构的信号解码当前块。

Description

使用预测残差的视频编码方法及装置
【交叉引用】
本申请要求申请日为2014年11月5日，PCT申请号为PCT/CN2014/090357，名称为“Merge with Inter Prediction Offset”的PCT专利申请，以及申请日为2015年4月17日，PCT申请号为PCT/CN2015/076865，名称为“Inter Prediction Offset”的PCT专利申请的优先权。上述PCT专利申请的全部内容通过引用并入本文。
【技术领域】
本发明涉及图像和视频编码。具体地，本发明涉及使用帧间预测偏移(interprediction offset)来提高具有运动补偿的视频编码效率的技术。
【背景技术】
运动补偿预测(Motion compensation prediction，简写为MCP)是视频编码中有效的帧间编码技术，其利用视频序列的图像中的时间冗余(temporal redundancy)。运动补偿预测技术通常应用于基于块的配置，其中为每个块确定运动矢量(motion vector,简写为MV)和参考图像索引等运动信息。除了运动补偿预测之外，帧内预测(intra prediction)也是利用当前图像中的空间冗余(spatial redundancy)的另一种预测技术。根据模式选择，从运动补偿预测产生帧间预测值，或者从帧内预测生成帧内预测值。原始信号与帧间预测值或帧内预测值之间的差异称为预测误差或预测残差(residual)信号。通过变换、量化和熵编码进一步处理预测残差信号以产生压缩视频比特流。在编码处理的各个阶段，特别是在量化过程中，引入了编码伪像(coding artifacts)。为了减轻编码伪像，诸如去块滤波器(deblocking filter，简写为DF)和采样自适应偏移(sample adaptive offset，简写为SAO)之类的环路处理(in-loop processing)已经被应用于重构的视频以增强图像质量。
图1示出了基于具有自适应间隔和运动补偿预测的高效率视频编码(HighEfficiency Video Coding，简写为HEVC)的视频编码器100的示例性系统框图。帧内预测110基于当前图像的重构视频数据提供帧内预测值，而运动补偿预测(MCP)112执行运动估计(motion estimation，简写为ME)和运动补偿(motion compensation，简写为MC)，以基于来自其他(一个或多个)图像的视频数据提供帧间预测值。开关114从帧内预测110和运动补偿预测112中选择一个输出，并将所选择的预测值提供给加法器116以形成预测误差，也称为预测残差信号。预测残差信号进一步通过变换(Transformation，简写为T)118以及随后的量化(Quantization，简写为Q)120进行处理。然后由熵编码器134对经变换和量化的残差信号进行编码以形成编码视频比特流。然后，经编码的视频比特流包装有诸如运动信息的边信息(side information)。与边信息相关联的数据也被提供给熵编码器134。当使用运动补偿预测模式时，也必须在编码器端重构参考一个或多个图像。通过逆量化(InverseQuantization，简写为IQ)122和逆变换(Inverse Transformation，简写为IT)124来处理经变换和量化的残差信号，以恢复参考一个或多个图像的预测残差信号。如图1所示，通过在重构(Reconstruction，简写为REC)126处加回预测值来恢复预测残差信号，以产生重构的视频数据。重构的视频数据可以存储在参考图像缓冲器(Ref.Pict.buffer)132中，并用于预测其它图像。
由于编码处理，来自REC 126的重构的视频数据可能受到各种损害，因此，在重构的视频数据被存储在参考图像缓冲器132中之前，环路处理去块滤波器(DeblockingFilter，简写为DF)128和采样自适应偏移(SAO)130被应用于重构的视频数据，以进一步提高图像质量。来自DF 128的DF信息和来自SAO 130的SAO信息被提供给熵编码器134，用于并入编码视频比特流。
图2示出了用于图1的编码器100的相应的解码器200。编码视频比特流由熵解码器210解码以恢复经变换和量化的残差信号、DF和SAO信息，以及其他系统信息。解码器200的解码处理类似于编码器100处的重构循环(reconstruction loop)，除了解码器200仅需要用于运动补偿预测的运动补偿(MC)214。开关216根据解码的模式信息从帧内预测212选择帧内预测值或从MC 214选择帧间预测值。通过逆量化(IQ)220和逆变换(IT)222来恢复经变换和量化的残差信号。通过在REC 218中加回预测值来重构恢复的经变换和量化的残差信号以产生重构的视频。重构的视频由DF 224和SAO 226进一步处理以产生最终解码的视频。如果当前解码的图像是参考图像，则当前解码图像的重构视频也存储在参考图像缓冲器228中。
在HEVC中，允许两种模式用于运动补偿预测，一种是高级运动矢量预测(AdvancedMotion Vector Prediction，简写为AMVP)模式，另一种是合并模式(merge mode)。AMVP模式包括基于来自相邻预测块和一个或多个参考图片的数据导出几个最可能的候选。合并模式允许从时间上或空间上相邻的预测块继承运动矢量，因此运动信息仅由合并索引标志(signaled by a merge index)。AMVP和合并模式以有时称为运动矢量竞赛(motionvector competition，简写为MVC)方案的方式发送索引信息以选择几个可用候选中的一个。在解码器侧，AMVP运动矢量预测值(motion vector predictor，简写为MVP)候选列表或合并候选列表的构造过程包括导出空间候选和一个时间候选。由解码索引引用的构造候选列表中的候选者用于导出运动信息。在合并模式中，从候选者继承的运动信息包括一个或多个参考图像的一个或多个运动矢量和参考图像索引。
【发明内容】
公开了一种在视频编码系统中使用预测偏移进行视频编码和解码的方法和装置。根据本发明的视频编码器的实施例接收与当前图像中的当前块相关联的输入数据；从一个或多个编码块的重构残差信号得出所述当前块的预测偏移；通过从所述当前块的原始信号中减去预测信号和所述预测偏移来计算所述当前块的残差信号；以及对所述当前块的所述残差信号进行编码以产生编码比特流。根据本发明的视频解码器的实施例接收与当前图像中的当前块相关联的输入数据；从所述输入数据获取所述当前块的残差信号；从一个或多个编码块的重构残差信号得出所述当前块的预测偏移；通过将预测信号和所述预测偏移加到所述当前块的所述残差信号上来计算所述当前块的重构信号；以及使用所述当前块的所述重构信号来解码所述当前块。
在部分实施例中，预测偏移被导出为所述一个或多个编码块的所述重构残差信号的平均值，并且在所述平均值被用于导出所述当前块的所述预测偏移之前，所述一个或多个编码块的所述重构残差信号的所述平均值被预先计算并存储。如果所述一个或多个编码块用预测偏移编码，则从编码块的重构残差信号和施加到编码块的预测偏移导出当前块的预测偏移。编码块是编码块(CB)、预测块(PB)、4×4块、或具有预定义块大小的块。
在另一个实施例中，所述方法包含通过多个将候选编码块的运动信息与所述当前块的运动信息进行比较，从所述多个候选编码块中选择所述一个或多个编码块。如果第一编码块的第一运动矢量和第一参考图像索引等于所述当前块的当前运动矢量和当前运动矢量，则从所述多个候选编码块中选择所述第一编码块以导出所述预测偏移。在部分实施例中，预测偏移是从编码块的重构残差信号的近似平均值或平均值(average value ormean value)导出的。当将预测偏移技术应用于合并模式时，使用合并候选的运动信息对当前块进行编码，通过合并候选的运动信息获得预测信号，并且从合并候选的重构残差信号导出当前块的预测偏移。
在视频编码器和解码器的一些实施例中，该方法还包括确定当前块的类别，并且仅当当前块属于预定类别时才导出并应用预测偏移。否则不应用预测偏移技术，即通过从编码器端的当前块的原始信号中减去预测信号来计算当前块的残差信号，并且通过将预测信号与解码器端的当前块的残差信号相加来计算当前块的重构信号。如果当前块是以合并模式编码的、2Nx2N分区、亮度分量或其组合，则当前块属于预定类别。在一个实施例中，使用语法元素来通知是否应用预测偏移技术。在另一个实施例中，如果预测偏移量不足够可靠，则预测偏移量被设置为零或预设值，例如，如果预测偏移大于第一阈值，如果所述一个或多个编码块小于当前块，或者如果所述一个或多个编码块的方差大于第二阈值。
本发明的其他方面和特征对于本领域普通技术人员在对具体实施方案的以下描述进行审阅后将变得显而易见。
【附图说明】
图1示出了基于高效率视频编码(HEVC)标准的视频编码器的示例性系统框图。
图2示出了基于HEVC标准的视频解码器的示例性系统框图。
图3a示出了使用编码单元(CU)级别的相邻编码块的预测偏移导出的示例。
图3b示出了使用4×4块级相邻编码块的预测偏移导出的示例。
图4a和4b示出了两个示例性的预测偏移导出方法。
图5示出了由HEVC标准定义的当前块的空间合并候选的位置。
图6示出了根据本发明的实施例的具有预测偏移的视频编码器的示例性系统框图。
图7示出了根据本发明的实施例的具有预测偏移的视频解码器的示例性系统框图。
【具体实施方式】
将容易理解，如本文中的图中一般描述和示出的本发明的组件可以以各种各样的不同配置进行布置和设计。因此，如附图所示的本发明的系统和方法的实施例的以下更详细的描述并不旨在限制如所要求保护的本发明的范围，而是仅代表本发明的选定实施例。
贯穿本说明书对“实施例”、“一些实施例”或类似语言的引用意味着结合实施例描述的特定特征、结构、或特性可以包括在本发明的至少一个实施例中。因此，贯穿本说明书的各个地方的短语“在一个实施例中”或“在一些实施例中”的出现不一定全部指代相同的实施例，这些实施例可以单独地或结合一个或多个其他实施例来实现。
此外，所描述的特征、结构、或特性可以以任何合适的方式组合在一个或多个实施例中。然而，相关领域的技术人员将认识到，可以在没有一个或多个具体细节，或其他方法、组件等的情况下实现本发明。在其他情况下，公知的结构或操作未被详细地示出或描述以避免模糊本发明的方面。在下面的讨论和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应被解释为“包括但不限于...”。
为了提高编码效率，从一个或多个编码块导出当前块的预测偏移，并用于计算残差信号。该预测偏移也可以被描述为从已经编码的块导出以预测当前块的原始残差信号的残差预测值。通过应用预测偏移，在编码器侧计算出的当前块的新的残差信号变为：
Resix＝Origx–Predx–Offsetx (1)
其中Resix和Origx分别是当前块x的残差信号和原始信号，Predx和Offsetx是当前块x的预测信号和从当前块x的已经编码的(一个或多个)块导出的预测偏移。
在解码器侧通过以下方式计算当前块的重构信号：
Recox＝Resi’x+Predx+Offsetx (2)
其中Recox和Resi’x分别是当前块x的重构信号，和重构的残差信号。
预测偏移被设计为预测残差信号，这有助于编码器进一步减小最终残差信号的绝对值，从而减少编码残差信号所需的比特数。预测偏移技术可以用于诸如HEVC标准中的AMVP和合并模式等运动补偿预测，因此将预测偏移称为帧间预测偏移。然而，预测偏移技术也可以应用于帧内预测，例如，针对帧间的帧内编码块导出预测偏移，以进一步减少编码残差信号所需的比特。
第一实施例。使用一个或多个编码块，优选地一个或多个相邻编码块来导出预测偏移Offsetx。在本实施例中，将当前块x的预测偏移Offsetx导出为编码块y的重构残差信号的平均值：
Offsetx＝平均值(Resi’y) (3)
其中Resi'y是编码块y的重构残差信号，并且编码块y优选地是位于当前块x旁边的相邻编码块。
第二实施例。用于预测偏移导出的一个或多个编码块包括编码块(CB)、预测块(PB)、变换块(TB)、4×4块、或具有其他预定义块大小的块。换句话说，可以在编码单元(CU)级、预测单元(PU)级、变换单元(TU)级、或4×4块级中导出预测偏移。图3a示出了使用CU级相邻编码块的预测偏移导出的示例。在该示例中，当前块310的预测偏移来自左CU 312的重构残差信号、上CU 314的重构残差信号，或左CU 312及以上CU 314的重构残差信号。在一个实施例中，当前块310以合并模式编码，并且如果当前块310合并到左CU 312，则左CU312的重构残差信号的平均值(或DC值)作为当前块310的预测偏移。如果当前块310被合并到上述CU 314，则将上CU 314的重构残差信号的平均值作为当前块310的预测偏移。图3b示出了使用4×4块级相邻编码块的预测偏移导出的示例。如图3b所示，在图3b中，左4×4分区316和上方4×4分区318是当前块320的相邻编码块。图3b中的当前块320的预测偏移从至少一个左4×4相邻块的重构残差信号、至少一个上方4×4相邻块的重构残差信号或两者导出。在合并模式的实施例中，当当前块320合并到左块时，所有左侧4×4分区316的重构残差信号用于导出当前块320的预测偏移，例如所有左4x4分区316的一个或多个重构残差信号的平均值的平均值被计算为当前块320的预测偏移。或者，当当前块320合并到上述块时，使用所有上述4×4分区318的重构残差信号，例如，计算所有上述4×4分区318的多个重构残差信号的平均值的平均值作为当前块320的预测偏移。在合并模式的另一实施例中，当当前块320合并到左块时，使用位于特定位置的左4x4分区316之间的一个或多个4×4分区的重构残差信号导出当前块320的预测偏移，并且当当前块320合并到上述块时，使用位于特定位置的上述4×4分区318中的一个或多个4×4分区的重构残差信号。
第三实施例。在本实施例中，通过将编码块的运动信息与当前块的运动信息进行比较来选择用于导出预测偏移的编码块。例如，如果第一编码块具有等于当前块的当前运动矢量和当前参考图像索引的第一运动矢量和第一参考图像索引，则使用第一编码块来导出当前块的预测偏移。
可以通过图4a和图4b所示的两个示例性预测偏移导出方法来进一步说明第三实施例。如图4a所示，获得相邻块A 412的运动信息和相邻块B 414的运动信息，以与当前块410的运动信息进行比较。块A 412和块B 414可以是分别位于当前块410的左边界和顶边界附近的左4×4块和上4×4块。如果块A 412和块B 414的运动信息都与当前块410的运动信息匹配，则使用块A 412和块B 414的重构残差信号来计算当前块410的预测偏移。例如，计算来自块A 412的重构残差信号的平均值和来自块B 414的重构残差信号的平均值的平均值作为当前块410的预测偏移。如果仅仅块A 412的运动信息匹配当前块410的运动信息，从块A 412的重构残差信号导出当前块410的预测偏移。类似地，如果块B 414的运动信息与当前块410的运动信息相匹配，则从块B的重构残差信号导出当前块410的预测偏移。当运动矢量、参考图像索引、或者运动矢量和参考图像索引相同或者差异在预定阈值内时，两个运动信息匹配。以下伪代码描述了上面讨论的预测偏移导出的示例。
Figure BDA0001286936310000071
其中MV_curr表示当前块410的运动矢量，MV_A表示块A 412的运动矢量，MV_B表示块B 414的运动矢量，DC_A表示块A 412的重构残差信号的平均值，DC_B表示块B 414的重构残差信号的平均值，而offset是当前块410的预测偏移。
如图4b所示，用于导出当前块420的预测偏移的编码块从块A 422至块C 426从块B424中选择。具有与当前块420匹配的运动信息的任何相邻编码块用于计算当前块420的预测偏移。预测偏移计算描述如下：
Figure BDA0001286936310000081
其中MV_i表示相邻编码块i的运动矢量，DC_i表示块i的残差信号的平均值。块i是块A 422和块B 424之间的任何块，包括块C426。通常，当从多个编码块的平均值而不是单个编码块得出时预测偏移，预测偏移更加鲁棒(robust)。为了降低实现的复杂度，可以使用查找表来代替划分操作(dividing operation)。如图4a和4b所示，相邻的编码块A、B、和C是4×4块或任何其它预定义的块大小。
第四实施例。在本实施例中，如果预测偏移Offsety已经被应用于用于导出当前块x的预测偏移Offsetx的编码块y，则通过编码块y的重构残差信号和编码块y的预测偏移Offsety来计算当前块x的预测偏移Offsetx。
Offsetx＝平均值(Resi’y)+Offsety (4)
换句话说，通过将最近计算的预测偏移、平均值(Resi'y)，与先前的预测偏移Offsety相加来更新预测偏移Offsetx。可以以CU级、PU级、TU级、或4×4块级别计算预测偏移。
第五实施例。在一个实施例中，在使用平均值来导出当前块的预测偏移之前，预先计算并存储编码块的重构残差信号的平均值。例如，当重构相邻块y的残差信号时，立即获得残差信号的平均值并将其存储在缓冲器中。例如，为了导出基于4×4块的预测偏移，计算并存储编码块的四个底行和四个右列的4×4分区的平均值(或DC值)。这些存储的平均值可用于以编码顺序计算后续块的预测偏移。
第六实施例。根据第六实施例，当前块被以合并模式编码。用于导出预测偏移的编码块与在合并模式中选择的合并候选者相同。图5示出了在HEVC标准中定义的当前块的空间合并候选a0、a1、b0、b1和b2的位置。如果当前块510合并到空间相邻编码块b2 520，则合并候选b2 520中的残差信号的平均值用于计算当前块510的预测偏移。在本实施例中，预测偏移和当前块510的运动信息都从合并候选b2 520导出。合并候选的运动信息用于运动补偿，合并候选的残差信号用于预测偏移导出。在一个实施例中，如果合并候选b2 520也以合并模式编码，则根据等式(4)，使用合并候选b2 520的残差信号和预测偏移两者导出当前块510的预测偏移，其中Offsetx是当前块510的预测偏移，平均值(Resi’y)表示合并候选b2520的残差信号的平均值，Offsety表示合并候选b2 520的预测偏移。
第七实施例。在第七实施例中，编码器根据标准自适应地应用预测偏移技术。例如，编码器确定类别，并且仅当当前块属于预定类别时，预测偏移技术被应用于当前块；否则，预测偏移技术不适用于当前块。当应用预测偏移技术时，基于预测偏移、原始信号和预测信号计算残差信号，而当不应用预测偏移技术时，仅基于原始信号与预测信号之间的差来计算残差信号。解码器还可以隐含地确定是否根据与编码器相同的标准来应用预测偏移技术。在一个实施例中，预定类别是用于YUV或YCbCr视频格式的亮度分量(Y分量)而根据另一实施例，预测偏移技术被应用于RGB、YUV、或YCbCr视频格式的所有组件中。示例性预定义类别是合并模式，其中预测偏移技术被限制为仅应用于合并模式。另一示例性预定义类别是预定分区大小，其中预测偏移技术被约束以应用具有预定分区大小的块。例如，预定的分区大小是2Nx2N。在一个实施例中，预定类别是合并2Nx2N模式，其中预测偏移技术仅应用于以合并2Nx2N模式编码的块。在另一个实施例中，编码器和解码器根据模式选择的统计确定是否应用预测偏移技术。
第八实施例。在该实施例中，在编码视频比特流中明确地(explicitly)发送一个或多个语法元素，以指示是否使用预测偏移技术。语法元素可被编码并且并入视频比特流中。例如，语法元素通过并入序列参数集(Sequence Parameter Set，简写为SPS)、视图参数集(View Parameter Set，简写为VPS)、图像参数集(Picture Parameter Set，简写为PPS参数集)、自适应参数集(Adaptive Parameter Set，简写为APS)、片头(slice header)、最大编码单元(Largest Coding Unit，简写为LCU)中，以序列级别、视图级别、图像级别、片级别、块级别或其他级别发送。解码器从视频比特流接收语法元素，并根据语法元素自适应地应用预测偏移技术。
第九实施例。在第九实施例中，基于一个或多个预定准则将预测偏移设置为零或预设值。例如，如果导出的预测偏移大于第一阈值，则将预测偏移设置为零或预设值。另一个例子是比较当前块和用于导出预测偏移的编码块的块大小，如果编码块小于当前块，则将预测偏移设置为零或预设值。在又一示例中，计算编码块的方差以确定预测偏移是否被设置为零。例如，如果编码块的方差大于第二阈值，则将预测偏移设置为零。根据预定义的标准将预测偏移设置为零或预设值的原因是消除使用不是良好预测值的残差信号来预测当前块的预测偏移。
图6示出了体现预测偏移技术的视频编码器600的系统框图。图6所示的功能块中的大部分功能块与图1所示的功能块相同，因此省略与这些功能块有关的说明。如图6所示，预测偏移导出610从重构(REC)126接收一个或多个编码块的重构残差信号，以导出当前块的预测偏移。预测偏移导出的一个例子是计算编码块的重构残差信号的平均值。从预测偏移导出610导出的预测偏移被提供给加法器116。加法器116通过从原始信号中减去预测值和预测偏移来产生残差信号。预测值是开关114的输出，开关114从内部预测110和运动补偿预测(MCP)112接收预测值。在一个实施例中，预测偏移技术仅适用于帧间预测，例如仅适用于合并模式，当以合并模式中编码当前块时，加法器116基于预测值和预测偏移产生残差信号。否则，当当前块在诸如帧内和AMVP模式的其它模式中被编码时，加法器通过从原始信号中减去预测值来产生残差。在编码到熵编码器134中的视频比特流之前，通过变换(T)118和量化(Q)120进一步处理残差信号。
图7示出了体现预测偏移技术的视频解码器700的系统框图。类似地，图7的大多数功能块7与图2中讨论的相应的功能块相同。重构(REC)218通过加上预测值、重构残差信号和预测偏移来产生当前块的重构信号。预测值是开关216从帧内预测212和运动补偿(MC)214的输出中选择的输出。从逆变换(IT)222接收重构的残差信号。当应用预测偏移技术时，预测偏移由预测偏移导出710计算，并且提供给REC 218以导出残差信号。预测偏移导出710基于从IT 222接收的一个或多个编码块的重构残差信号，计算当前块的预测偏移。
虽然描述了具有预测偏移的视频编码方法的第一实施例至第九实施例，但是本发明不限于这些实施例。在每个实施例中，具有预测偏移的视频编码方法的选择是说明各种实施例的示例，并且不应被理解为对本发明的任何实施例的限制或要求。呈现上述描述以使得本领域普通技术人员能够在特定应用及其要求的上下文中实施本发明。对所描述的实施例的各种修改对于本领域技术人员将是显而易见的，并且本文定义的一般原理可以应用于其他实施例。因此，本发明不旨在限于所示出和描述的具体实施例，而是符合与本文所公开的原理和新颖特征相一致的最广范围。在上述详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以实施本发明。
如上所述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的电路或集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的实施例也可以是要在数字信号处理器(DSP)上执行以执行本文所述的处理的程序代码。本发明还可以涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的许多功能。可以通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来将这些处理器配置成执行根据本发明的特定任务。软件代码或固件代码可以以不同的编程语言和不同的格式或风格开发。也可以为不同的目标平台编译软件代码。然而，根据本发明的不同的代码格式，软件代码的样式和语言以及配置代码的其他方式将不会脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此，本发明的范围由所附权利要求而不是前面的描述来指示。属于权利要求的等同物的含义和范围内的所有变化将被包括在其范围内。

Claims (24)

1.一种编码方法，使用预测偏移编码视频编码系统中的视频数据，包括：
接收与当前图像中的当前块相关联的输入数据；
从一个或多个编码块的重构残差信号得出所述当前块的预测偏移；
通过从所述当前块的原始信号中减去预测信号和所述预测偏移来计算所述当前块的残差信号；以及
对所述当前块的所述残差信号进行编码以产生编码比特流；
其中通过将多个候选编码块的运动信息与所述当前块的运动信息进行比较，从所述多个候选编码块中选择所述一个或多个编码块，其中如果第一编码块的第一运动矢量和第一参考图像索引等于所述当前块的当前运动矢量和当前参考图像索引，则从所述多个候选编码块中选择所述第一编码块以导出所述预测偏移。
2.根据权利要求1所述的编码方法，其特征在于，所述预测偏移被导出为所述一个或多个编码块的所述重构残差信号的平均值。
3.根据权利要求2所述的编码方法，其特征在于，在所述平均值被用于导出所述当前块的所述预测偏移之前，所述一个或多个编码块的所述重构残差信号的所述平均值被预先计算并存储。
4.根据权利要求1所述的编码方法，其特征在于，如果所述一个或多个编码块用预测偏移编码，则从施加到所述一个或多个编码块的先前预测偏移进一步导出所述当前块的所述预测偏移。
5.根据权利要求1所述的编码方法，其特征在于，所述一个或多个编码块包括编码块、预测块、4×4块、或具有预定义块大小的块。
6.根据权利要求1所述的编码方法，其特征在于，如果第一编码块的第一运动矢量和第一参考图像索引等于所述当前块的当前运动矢量和当前参考图像索引，则从所述多个候选编码块中选择所述第一编码块以导出所述预测偏移。
7.根据权利要求1所述的编码方法，其特征在于，使用合并候选的运动信息以合并模式对所述当前块进行编码，通过所述合并候选的所述运动信息获得所述预测信号，并且从所述合并候选的所述重构残差信号导出所述当前块的所述预测偏移。
8.根据权利要求1所述的编码方法，其特征在于，还包括确定类别，并且仅当所述当前块属于预定义类别时才导出并应用所述预测偏移，否则通过从所述当前块的所述原始信号中仅减去所述预测信号来计算所述当前块的所述残差信号。
9.根据权利要求8所述的编码方法，其特征在于，其中如果所述当前块是亮度分量、预定分区大小、以合并模式编码的、或其组合，则所述当前块属于预定类别。
10.根据权利要求1所述的编码方法，其特征在于，还包括结合语法元素以明确地指示是否应用所述预测偏移。
11.根据权利要求1所述的编码方法，其特征在于，如果所述预测偏移大于第一阈值，或者如果所述一个或多个编码块小于所述当前块，或者如果所述一个或多个编码块的方差大于第二阈值，则所述预测偏移设置为零或预设值。
12.一种解码方法，使用预测偏移对视频编码系统中的视频比特流进行解码，其特征在于，所述解码方法包括：
接收与当前图像中的当前块相关联的输入数据；
从所述输入数据获取所述当前块的残差信号；
从一个或多个编码块的重构残差信号得出所述当前块的预测偏移；
通过将预测信号和所述预测偏移加到所述当前块的所述残差信号上来计算所述当前块的重构信号；以及
使用所述当前块的所述重构信号来解码所述当前块；
其中通过将多个候选编码块的运动信息与所述当前块的运动信息进行比较，从所述多个候选编码块中选择所述一个或多个编码块，其中如果第一编码块的第一运动矢量和第一参考图像索引等于所述当前块的当前运动矢量和当前参考图像索引，则从所述多个候选编码块中选择所述第一编码块以导出所述预测偏移。
13.根据权利要求12所述的解码方法，其特征在于，所述预测偏移被导出为所述一个或多个编码块的所述重构残差信号的平均值。
14.根据权利要求13所述的解码方法，其特征在于，在所述平均值被用于导出所述当前块的所述预测偏移之前，所述一个或多个编码块的所述重构残差信号的所述平均值被预先计算和存储。
15.根据权利要求12所述的解码方法，其特征在于，如果所述一个或多个编码块用预测偏移编码，则从施加到所述一个或多个编码块的先前预测偏移进一步导出所述当前块的所述预测偏移。
16.根据权利要求12所述的解码方法，其特征在于，所述一个或多个编码块包括编码块、预测块、4×4块、或具有预定义块大小的块。
17.根据权利要求12所述的解码方法，其特征在于，所述一个或多个编码块包括多个编码块，并且通过对所述多个编码块的多个重构残差信号的多个平均值进行平均而导出所述预测偏移。
18.根据权利要求12所述的解码方法，其特征在于，使用合并候选的运动信息以合并模式对所述当前块进行编码，通过所述合并候选的所述运动信息获得所述预测信号，并且从所述合并候选的所述重构残差信号导出所述当前块的所述预测偏移。
19.根据权利要求12所述的解码方法，其特征在于，还包括确定类别，并且仅当所述当前块属于预定义类别时才导出并应用所述预测偏移，否则，通过仅将所述预测信号与所述当前块的所述残差信号相加来计算所述当前块的所述重构信号。
20.根据权利要求12所述的解码方法，其特征在于，如果所述当前块是亮度分量、预定分区大小、以合并模式编码的、或其组合，则所述当前块属于预定类别。
21.根据权利要求12所述的解码方法，其特征在于，还包括从所述输入数据中检索语法元素以确定是否应用所述预测偏移。
22.根据权利要求12所述的解码方法，其特征在于，如果所述预测偏移大于第一阈值，或者如果所述一个或多个编码块小于所述当前块，或者如果所述一个或多个编码块的方差大于第二阈值，则所述预测偏移设置为零或预设值。
23.一种编码装置，用预测偏移编码视频数据，所述编码装置包括一个或多个电子电路，其特征在于，其被配置为：
接收与当前图像中的当前块相关联的输入数据；
从一个或多个编码块的重构残差信号得出所述当前块的预测偏移；
通过从所述当前块的原始信号中减去预测信号和所述预测偏移来计算所述当前块的残差信号；以及
对所述当前块的所述残差信号进行编码以产生编码比特流；
其中通过将多个候选编码块的运动信息与所述当前块的运动信息进行比较，从所述多个候选编码块中选择所述一个或多个编码块，其中如果第一编码块的第一运动矢量和第一参考图像索引等于所述当前块的当前运动矢量和当前参考图像索引，则从所述多个候选编码块中选择所述第一编码块以导出所述预测偏移。
24.一种解码装置，用预测偏移解码视频比特流，所述解码装置包括一个或多个电子电路，其特征在于，其被配置为：
接收与当前图像中的当前块相关联的输入数据；
从所述输入数据获取所述当前块的残差信号；
从一个或多个编码块的重构残差信号得出所述当前块的预测偏移；
通过将预测信号和所述预测偏移加到所述当前块的所述残差信号上来计算所述当前块的重构信号；以及
使用所述当前块的所述重构信号来解码所述当前块；
其中通过将多个候选编码块的运动信息与所述当前块的运动信息进行比较，从所述多个候选编码块中选择所述一个或多个编码块，其中如果第一编码块的第一运动矢量和第一参考图像索引等于所述当前块的当前运动矢量和当前参考图像索引，则从所述多个候选编码块中选择所述第一编码块以导出所述预测偏移。
CN201580060217.4A 2014-11-05 2015-11-04 使用预测残差的视频编码方法及装置 Active CN107079165B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CNPCT/CN2014/090357 2014-11-05
PCT/CN2014/090357 WO2016070363A1 (en) 2014-11-05 2014-11-05 Merge with inter prediction offset
CNPCT/CN2015/076865 2015-04-17
PCT/CN2015/076865 WO2016165122A1 (en) 2015-04-17 2015-04-17 Inter prediction offset
PCT/CN2015/093763 WO2016070808A1 (en) 2014-11-05 2015-11-04 Method and apparatus of video coding with prediction offset

Publications (2)

Publication Number Publication Date
CN107079165A CN107079165A (zh) 2017-08-18
CN107079165B true CN107079165B (zh) 2020-06-19

Family

ID=55908595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580060217.4A Active CN107079165B (zh) 2014-11-05 2015-11-04 使用预测残差的视频编码方法及装置

Country Status (4)

Country Link
US (1) US10785475B2 (zh)
EP (1) EP3202151B1 (zh)
CN (1) CN107079165B (zh)
WO (1) WO2016070808A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3907999B1 (en) * 2010-09-02 2023-11-22 LG Electronics, Inc. Inter prediction
CN113810705B (zh) * 2016-04-29 2024-05-10 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
EP4007277A1 (en) * 2017-03-16 2022-06-01 HFI Innovation Inc. Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
US11317099B2 (en) * 2018-10-05 2022-04-26 Tencent America LLC Method and apparatus for signaling an offset in video coding for intra block copy and/or inter prediction
US11343539B2 (en) 2018-10-08 2022-05-24 Hfi Innovation Inc. Method and apparatus of last significant coefficient coding in image and video coding
KR20200054111A (ko) * 2018-11-08 2020-05-19 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 영상 신호 부호화/복호화 방법 및 이를 위한 장치
JP7391958B2 (ja) 2018-11-08 2023-12-05 オッポ広東移動通信有限公司 ビデオ信号符号化／復号方法及び前記方法に用いられる機器
US10904553B2 (en) * 2019-01-22 2021-01-26 Tencent America LLC Method and apparatus for video coding
PL3972258T3 (pl) * 2019-06-25 2024-07-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Sposób przetwarzania informacji oraz urządzenie, aparatura i nośnik danych
AU2019467372B2 (en) 2019-09-24 2022-05-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image coding/decoding method, coder, decoder, and storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101403338B1 (ko) * 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US20120230405A1 (en) * 2009-10-28 2012-09-13 Media Tek Singapore Pte. Ltd. Video coding methods and video encoders and decoders with localized weighted prediction
TW201119407A (en) 2009-11-19 2011-06-01 Thomson Licensing Method for coding and method for reconstruction of a block of an image
PL2725797T3 (pl) * 2011-06-23 2019-01-31 Huawei Technologies Co., Ltd. Urządzenie do dekodowania przesunięcia, urządzenie do kodowania przesunięcia, urządzenie do filtrowania obrazu i struktura danych
CN103379340B (zh) 2012-04-19 2017-09-01 乐金电子(中国)研究开发中心有限公司 一种残差预测方法及装置
WO2014047885A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Enhanced reference region utilization for scalable video coding
US20160050419A1 (en) 2013-03-22 2016-02-18 Xin Zhao Depth modeling modes for depth map intra coding

Also Published As

Publication number Publication date
EP3202151A1 (en) 2017-08-09
US10785475B2 (en) 2020-09-22
CN107079165A (zh) 2017-08-18
US20170310958A1 (en) 2017-10-26
WO2016070808A1 (en) 2016-05-12
EP3202151A4 (en) 2018-03-21
EP3202151B1 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
CN107079165B (zh) 使用预测残差的视频编码方法及装置
CN108353184B (zh) 一种视频编解码的方法及装置
US10999595B2 (en) Method and apparatus of motion vector prediction or merge candidate derivation for video coding
JP6701270B2 (ja) 符号化装置、復号方法、符号化方法、復号方法、及びプログラム
CN112400319B (zh) 一种视频编码/解码方法及装置
EP3550841B1 (en) Video encoding and decoding with improved error resilience
WO2020228578A1 (en) Method and apparatus of luma most probable mode list derivation for video coding
US20180332292A1 (en) Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
JP2013523010A (ja) ビデオ符号化およびビデオ復号化のための暗示的適応型動きベクトル予測器選択の方法および装置
KR20210099008A (ko) 이미지를 디블록킹하기 위한 방법 및 장치
US10298951B2 (en) Method and apparatus of motion vector prediction
US11785242B2 (en) Video processing methods and apparatuses of determining motion vectors for storage in video coding systems
EP3909241A1 (en) System and method for improving combined inter and intra prediction
WO2012168242A2 (en) Method and device for encoding a sequence of images and method and device for decoding a sequence of image
US20140056348A1 (en) Methods and device for reconstructing and coding an image block
CN117121482A (zh) 具有显式运动信令的几何分区模式
WO2017036422A1 (en) Method and apparatus of prediction offset derived based on neighbouring area in video coding
CN112544079A (zh) 视频编解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant