CN108111846A - 用于可伸缩视频编码的帧间层预测方法及装置 - Google Patents

用于可伸缩视频编码的帧间层预测方法及装置 Download PDF

Info

Publication number
CN108111846A
CN108111846A CN201810151613.3A CN201810151613A CN108111846A CN 108111846 A CN108111846 A CN 108111846A CN 201810151613 A CN201810151613 A CN 201810151613A CN 108111846 A CN108111846 A CN 108111846A
Authority
CN
China
Prior art keywords
layer
block
interframe
primary layer
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810151613.3A
Other languages
English (en)
Other versions
CN108111846B (zh
Inventor
庄子德
陈震中
刘杉
陈庆晔
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN108111846A publication Critical patent/CN108111846A/zh
Application granted granted Critical
Publication of CN108111846B publication Critical patent/CN108111846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明提出一种用于可伸缩视频编码的帧间层预测方法。该方法包括：接收与当前增强层区块相关的输入数据；决定基本层区块；基于基本层运动信息，得到两个或多个帧间层候选，其中将该两个或多个帧间层候选添加至合并候选清单或先进运动矢量预测候选清单；得到最后的运动矢量预测子；以及使用该最后的运动矢量预测子，应用编码或解码于该当前增强层区块相关的该输入数据，其中基于先进运动矢量预测以合并模式或帧间模式编码该当前增强层区块。本发明所提出的用于可伸缩视频编码的帧间层预测方法，可改善帧间层编码效率。

Description

用于可伸缩视频编码的帧间层预测方法及装置
本申请是申请日为2013年10月29日，申请号为201380059903.0，发明名称为“用于可伸缩视频编码的帧间层预测方法及装置”的专利申请的分案申请
交叉引用
本发明主张在2012年11月15日提出的申请号为61/726,837、标题为“Methods ofInter-layer texture prediction transform and multiple Inter-layer motioncandidates for Scalable Video Coding”的美国临时专利申请的优先权。因此在全文中合并参考这些美国临时专利申请案。
技术领域
本发明是有关于可伸缩视频编码(scalable video coding,以下简称为SVC)，特别是有关于包括自适应变换或多个帧间层运动候选的帧间层纹理编码。
背景技术
压缩的数字视频已经广泛地应用于各种应用中。例如,对于数字网络的视频流和对于数字通道的视频传输。通常，单一的视频内容可以通过不同特性的网络来传输。举例来说，现场直播的体育赛事可以载入高宽带数据流格式，并通过收费视频服务的宽带网络传输。在这样的应用中，压缩的视频通常保存高分辨率和高品质，以使得视频内容适合于高清晰度设备，例如，高清晰度电视或高清晰度显示器。相同的内容也可以载入蜂窝数据网络，以使得该内容可以在便携式设备(例如，智能手机或通过网络连接的便携式媒体设备)上进行观看。在此应用中，由于网络带宽问题和在智能手机或便携式设备上的低分辨率显示，视频内容通常被压缩为低分辨率和低比特率。因此，对于不同的网络环境和不同的应用，视频分辨率和视频品质的要求是完全不同的。即使对于相同类型的网络，用户可能由于不同的网络基础设施和网络流量状况而感受到不同的可用带宽。因此，用户可能希望当可用带宽较宽时，接收高品质视频，当网络拥塞发生时，接收较低品质但是很流畅的视频。在另一种情况下，高端媒体播放器可以处理的高分辨率和高比特率的已压缩视频，然而由于限制的计算资源，低成本的媒体播放器仅能够处理低分辨率和低比特率的已压缩视频。相应地，需要以可伸缩的方法构造压缩的视频，以使得可以从相同的已压缩比特流处得到不同的时空分辨率及/或不同品质的视频。
ISO/IEC MPEG和ITU-T VCEG的联合视频工作组(joint video team,JVT)标准化对于H.264/AVC标准的可伸缩视频编码扩展。H.264/AVC SVC比特流包括从低帧率、低分辨率、和低品质到高帧率、高清晰度和高品质的视频信息。此种单一的比特流能够适应各种应用并能够在不同配置的设备上显示。相应地，H.264/AVC SVC适用于各种视频应用，例如，视频广播、视频数据流、以及视频监控，以适合网络基础设施，交通条件，用户偏好等。
在SVC中，提供三种可伸缩类型，即时间可伸缩，空间可伸缩和品质可伸缩。SVC采用多层编码结构来实现三维可伸缩。SVC的主要目标是产生一个可伸缩比特流，以容易和迅速地适应各种传输信道、不同的显示能力、和不同的计算资源相关的比特率要求，而无需反式编码(trans-coding)或重编码(re-encoding)。SVC设计的一个重要特征是，在比特流层(bitstream level)提供这种可伸缩性。换言之，对于取得缩减空间及/或时间分辨率的视频的比特流，可以简单地通过从需要打算解码的视频的可伸缩比特流中提取网络抽象层(以下简称为NAL)单元(或网络数据包)而获得。可另外减小用于品质精化的NAL单元从而减小比特率及/或降低相应视频品质。
图1为用于可伸缩视频编码系统的预测结构的示例的示意图。如图1所示，在SVC中，基于金字塔编码(pyramid coding)支持空间可伸缩。在具有空间可伸缩性的SVC系统中，首先降采样视频序列，以获得不同的空间分辨率(层)的较小图片。例如，原始分辨率的图片110可以通过空间抽取120处理，而获得分辨率降低的图片111。如图1所示，分辨率降低的图片111可进一步通过空间抽取121处理，而获得分辨率进一步减小的图象112。除二阶(dyadic)空间分辨率之外，该空间分辨率在每一层减小一半，SVC还支持任意分辨率的比率，这被称为扩展空间可缩放(extended spatial scalability,ESS)。图1中的SVC系统描述了三层空间可伸缩系统的示意图，其中第0层对应于具有最低空间分辨率的图片，第2层对应于具有最高空间分辨率的图片。不需要参考其他层，可以编码第0层，即单层的编码。例如，使用编码运动补偿和帧内预测130编码最底层图片112。
运动补偿和帧内预测130将生成语法元素和编码相关信息(例如，运动信息)，以进一步用于基本层熵编码140。图1实际上描述了一个联合SVC系统，该系统提供空间可伸缩和品质可伸缩(也称为SNR可伸缩)。该系统也可提供时间可伸缩，这并没有明确显示出来。对于每一个单层编码，编码残差(residual coding errors)可以使用SNR增强层编码150而改善。图1中SNR增强层可以提供多个品质层(level)(品质可伸缩)。支持分辨率层的每一个品质层，可以由各自的单层运动补偿和帧内预测进行编码，例如非可伸缩编码系统。基于一个或多个的较低空间层，也可以使用帧间层编码来编码每个较高空间层。举例来说，在宏块或其他区块单元的基础上，使用根据第0层视频的帧间层预测或者使用单层编码，来自适应编码第1层视频。同样地，使用基于重构的第1层视频的帧间层预测或使用单层编码，来自适应编码第2层视频。如图1所示,第1层图片111可以通过运动补偿和帧内预测131、基本层熵编码141和SNR增强层编码151来编码。如图1所示，运动补偿和帧内预测131也利用重建的基本层视频数据，其中在空间第1层中的编码块可使用重建的基本层视频数据作为附加的帧内预测数据(即，不涉及运动补偿)。相似地，第2层图片110可以通过运动补偿和帧内预测132、基本层熵编码142和SNR增强层编码152来编码。来自所有空间层的基本层比特流和SNR增强层比特流通过复用器160复用产生可伸缩的比特流。由于帧间层编码，可以提高编码效率。此外，编码空间第1层需要的信息取决于重建的第0层(帧间层预测)。SVC系统中较高层被称为增强层。H.264SVC提供三种类型的帧间层预测工具：帧间层运动预测、帧间层帧内预测、以及帧间层残差预测。
在SVC中，增强层(EL)可以重新使用在基本层(BL)中的运动信息，以减少帧间层运动数据冗余。例如，增强层宏块编码可以使用一个标志，例如在语法元素mb_type之前的标志base_mode_flag被确定为指示增强层运动信息是否是直接来自于基本层。如果标志base_mode_flag等于1时，增强层宏块的分割数据以及相关的参考索引和运动矢量来自基本层中同一位置的8×8区块相应的数据。基本层的参考图片索引直接用于增强层。增强层的运动矢量是自与基本层相关的数据来进行缩放的。此外，已缩放的基本层运动矢量可以被用作增强层的附加的运动矢量预测子(predictor)。
帧间层残差预测使用上采样的基本层残差信息，以减少所需编码增强层残差的信息。可使用双线性滤波器来区块式(block-wise)上采样基本层的同一位置的残差，以及基本层的同一位置的残差可用作在增强层中对应宏块的残差的预测。参考层残差的上采样以变换区块为基础来完成，以确保滤波没有穿越变换区块的边界。
与帧间层残差预测相似，帧间层帧内预测降低增强层的冗余纹理信息。通过区块式上采样同一位置的基本层重建信号，来产生增强层的预测。在帧间层帧内预测(ILIP，也称为帧间层纹理预测)上采样过程中，分别将4抽头和2抽头FIR滤波器应用于亮度和色度组分。不同于帧间层残差预测，帧间层帧内预测的滤波总是穿越子区块的边界。为简化解码，帧间层帧内预测可以仅应用基本层中的帧内编码宏块。
如图1所示，在较低层重建的视频用于较高层的编码，较低层视频对应于较低空间或时间分辨率，或较低品质(即，较低SNR)。当在较低层中的较低空间分辨率视频用于较高层编码时，通常上采样较低空间分辨率视频，以匹配较高层的空间分辨率。上采样过程人为地增加了空间分辨率。然而，也会引入不需要的伪迹(artifacts)。因此，需要开发一种新技术，以使用自较低层的重建的视频来改善帧间层编码效率。
发明内容
本发明提出一种用于可伸缩视频编码的帧间层预测方法。视频数据被配置成基本层和增强层，以及增强层视频数据比基本层视频数据具有更高的空间分辨率或更好的视频品质。该方法包括：接收与该增强层视频数据的当前增强层区块相关的输入数据；决定该基本层中对应的基本层区块；基于与对应的基本层视频数据相关的基本层运动信息，得到两个或多个帧间层候选，其中将该两个或多个帧间层候选添加至合并候选清单或先进运动矢量预测候选清单；自该合并候选清单或该先进运动矢量预测候选清单得到最后的运动矢量预测子；以及使用该最后的运动矢量预测子，应用编码或解码于该当前增强层区块相关的该输入数据，其中基于先进运动矢量预测以合并模式或帧间模式编码该当前增强层区块。
本发明所提出的用于可伸缩视频编码的帧间层预测方法和装置，可改善帧间层编码效率。
附图说明
图1为用于可伸缩视频编码系统的预测结构的示例的示意图。
图2为包括帧间层(inter-layer)帧内预测的两层可伸缩视频编码系统的示范性方框图。
图3为上采样基本层纹理区块和利用上采样的基本层区块以用于增强层区块预测的示例的示意图。
图4为基于对应的基本层区块和该基本层区块的相邻区块的运动信息得到增强层区块的多个候选的示例的示意图。
图5为根据本发明实施方式的用于可伸缩视频编码系统的根据变换单元尺寸的自适应变换类型选择的方法的示范性流程图。
图6为根据本发明实施方式的用于可伸缩视频编码系统的基于对应基本层区块和该基本层区块的相邻区块的运动信息将多个候选添加至合并或先进运动矢量预测候选清单以用于增强层区块的推导的方法的示范性流程图。
具体实施方式
在H.264/AVC中，仅将离散余弦变换(discrete cosine transform,以下简称为DCT)用于帧间层纹理预测编码区块。在HEVC中，DCT和离散正弦变换discrete sinetransform,以下简称为DST)均可以用于帧间层纹理预测编码区块。本发明实施方式应用变换至通过帧间层纹理预测处理的增强层视频数据的变换单元，其中变换类型依据变换单元的尺寸。举例来说，若变换单元尺寸为4x4，则应用DST。若变换单元尺寸大于4x4，则应用DCT。将DCT和DST称为在此揭露的两个不同的变换类型。其他变换类型，例如哈达玛变换(Hadamard transform)，也可以用于实践本发明。在可伸缩视频编码中依赖变换单元尺寸的变换可以应用于通过帧间层帧内预测(以下简称为ILIP,也称为帧间层纹理预测)处理的增强层的编码单元。ILIP可用于移除层之间的纹理冗余(texture redundancy)。图2为包括帧间层(inter-layer)帧内预测的两层可伸缩视频编码系统的示范性方框图。如图2所示，上采样重建的基本层(BL)采样，以产生预测子(predictor)以用于同一位置的增强层采样。如图2所示，帧间层预测过程包括基于对应的增强层区块的位置来识别在较低层(例如，基本层)中同一位置的区块和插值该同一位置的较低层区块，以产生增强层的预测采样。在可伸缩视频编码中，通过使用预定系数将插值过程用于帧间层预测，以基于较低层像素产生用于增强层的预测采样。
图2中的示例由两个层构成。然而，可伸缩视频系统可由多个层构成。通过对输入图片应用空间抽取(spatial decimation)210来形成基本层图片。基本层处理过程包括基本层预测220(在图2中也称为模式决策)。通过基本层预测220来预测基本层输入，其中使用减法器222来产生基本层输入数据和基本层预测的差值。减法器222的输出对应于基本层预测残差(residues)，以及通过变换/量化(transform/quantization,在图2中标记为T/Q)230和熵编码270处理该残差来产生用于基本层的已压缩的比特流。为形成基本层预测，重建的基本层数据必须在基本层产生。相应地，使用逆变换/逆量化(inverse transform/inverse quantization,在图2中标记为IT/IQ)240来恢复基本层残差。通过使用重建(reconstruction)250将已恢复的基本层残差和基本层预测数据合并以形成重建的基本层数据。在重建的基本层数据存入基本层预测中的缓冲器之前，通过环路滤波器260来处理重建的基本层数据。在基本层中，基本层预测220使用帧间(Inter)/帧内(Intra)预测221。增强层处理器由与基本层处理器相似的处理模块组成。增强层处理器包括增强层预测225(在图2中也称为模式决策)、减法器228、变换/量化235、熵编码275、逆变换/逆量化245、重建255以及环路滤波器265。然而，增强层预测也利用重建的基本层数据作为帧间层预测。相应地，除帧间/帧内预测226之外，增强层预测225包括帧间层预测227。在重建的基本层数据用于帧间层预测之前，利用上采样212和紧随其后的帧间层滤波器214来插值重建的基本层数据。利用熵编码290将采样自适应偏移(Sample Adaptive Offset,SAO)信息来熵编码。利用复用器280将来自基本层和增强层的已压缩的比特流合并。
在图2中，编码器提供上采样基本层和增强比特流的增强层之间的不同信息。将不同信息增加至预测器作为帧间层预测。图3为上采样基本层纹理区块和利用上采样的基本层区块以用于增强层区块预测的示例的示意图。如图3所示，在基于可伸缩扩展的HEVC中，当在增强层中的编码单元被编码为ILIP时，上采样基本层中对应的纹理并作为增强层中编码单元的纹理预测子。区块310对应于2Nx2N重建的基本层区块。区块312对应于2Nx2N重建的基本层区块的NxN子区块。将区块312上采样至2Nx2N区块320。然后，将已上采样的基本层区块320用于同一位置的增强层区块330的预测。在区块331中的预测子来自其他模式。基于在HEVC标准中采用的上采样滤波器和移相，产生帧间层纹理预测采样的上采样过程。对于HEVC的主要编码配置文件(profile)来说，DST用于亮度组分的4x4编码单元的帧内预测残差。
在现有的可伸缩视频编码标准中，在相同层中的帧间层纹理(帧内)预测(ILIP)和帧内预测使用DCT。本发明实施方式基于变换单元尺寸选择DST或DCT用于亮度帧间层纹理(帧内)预测。举例来说，若通过帧间层纹理(帧内)预测来预测编码单元并且变换单元尺寸为4x4，则将DST用于亮度组分，以及将DCT用于其他变换单元尺寸(即，变换单元尺寸大于4x4)。
在本发明的其他实施方式中，当使用基于上采样滤波器的DCT时，将分离的上采样滤波器用于上采样帧间层预测的重建基本层信号。滤波器系数之和为128，即，7比特精度。基于上采样滤波器两个方向(即，水平和垂直方向)使用相同的一维DCT。将8抽头一维DCT滤波器用于亮度组分，以及将4抽头一维DCT滤波器用于色度组分。根据上采样比率，上采样像素的位置与不同的滤波器相位相关。将一组滤波器系数用于每一个滤波器相位的像素。滤波器系数如表1和表2所示。下采样序列的相位可以根据下采样方法来移动。在此基础上，用于上采样的位置和滤波器系数由下采样视频序列的相位来确定。
表1
相位 滤波器系数
0 {0,128,0,0},
1/4 {-12,112,36,-8},
1/3 {-13,101,50,-10},
3/8 {-14,96,57,-11},
1/2 {-13,77,77,-13},
7/12 {-12,64,90,-14},
2/3 {-10,50,101,-13},
7/8 {-4,17,122,-7},
11/12 {-3,11,125,-5}
表2
在HEVC中，相邻区块的运动信息和时间配置区块可用于导出合并候选和先进运动矢量预测(Advanced motion vector prediction)候选。先进运动矢量预测为在HEVC中用于帧间预测的编码工具。运动信息包括帧间预测方向(inter_pred_idc)，参考索引(refIdx)，运动矢量(MVS)，运动矢量预测子(MVP)，运动矢量预测索引，合并索引，合并候选等。对于HEVC的可伸缩视频编码扩展，在基本层中的对应区块的运动信息可以用作增强层运动信息预测的帧间层预测子或帧间层候选。举例来说，可伸缩的基本层运动信息可以增加至增强层的先进运动矢量预测候选清单及/或合并候选清单，以作为一个预测候选。若增强层区块的分辨率为基本层区块的分辨率的两倍，则基本层区块的运动矢量通过两个用于增强层区块的因子来缩放。
基本层中对应区块的所选用的运动信息可对应于在基本层中对应区块当中其中一个的运动信息。举例来说，如图4所示在基本层中同一位置区块中的位置a-h相关的运动信息可用于导出帧间层预测。在图4中，区块410对应于增强层中的当前区块以及区块420为基本层中对应的区块。在基本层中位置a、位置b、位置g和位置h处的运动信息为在增强层中位置A、位置B、位置G和位置H处对应的运动信息。位置c、位置d、位置e、位置f处的运动信息为在增强层中位置C、位置D、位置E和位置F处对应的运动信息。位置A、位置B、位置G和位置H为在增强层中的当前区块的四个角的像素，以及位置C、位置D，位置E和位置F和在增强层中的当前区块的四个中心的像素。
不仅在基本层中对应区块的运动信息而且在基本层中对应区块的相邻区块的运动信息可以用作增强层的帧间层候选，而包括于合并/先进运动矢量预测候选清单中。如图4所示，在基本层中相邻的候选，包括相邻的基本层区块位置t(右下)、位置a0(左下)、位置a1(左)、位置b0(右上)、位置b1(上)，和位置b2(左上)，可用作增强层的候选，而包括在合并/先进运动矢量预测候选清单的导出中。同一位置的增强层相邻区块分别对应于相邻的增强层区块位置T(右下)，位置A0(左下)、位置A1(左)，位置B0(右上)，位置B1(顶部)和位置B2(左上)。
在H.264/AVC中，仅有一个帧间层候选用于运动矢量预测。本发明的实施方式使用两个或多个增强层的帧间层候选，而包括在合并/先进运动矢量预测候选清单的导出中。帧间层候选为在基本层对应区块中的运动信息(例如，在图4中与位置a-位置h相关的运动信息)，或在基本层对应区块的相邻区块的运动信息(例如，图4中的位置a0,位置a1、位置a2、位置b0、位置b1、位置b2和位置t)。举例来说，可以使用包括于合并候选清单或先进运动矢量预测候选清单中的两个增强层的帧间层候选，其中在图4中一个候选对应于位置c以及另一个候选对应于位置t。在其他示例中，在图4中一个候选对应于位置f以及另一候选对应于位置h。根据本发明的实施方式，针对两个或多个帧间层候选的第一帧间层候选，冗余校验两个或多个帧间层候选的第二帧间层候选，其中两个或多个帧间层候选的第二帧间层候选在两个或多个帧间层候选的第一帧间层候选之后得到。例如，为减低候选冗余(redundancy)，后一个帧间层候选可以与前一个帧间层候选或任意增强层候选执行冗余校验。
图5为根据本发明实施方式的用于可伸缩视频编码系统的根据变换单元尺寸的自适应变换类型选择的方法的示范性流程图。视频数据被配置成基本层和增强层，其中增强层视频数据比基本层的视频数据具有更高的空间分辨率和更好的视频品质。如步骤510所示，系统接收与增强层视频数据相关的输入数据，其中增强层视频数据被分割为(具有变换单元尺寸的)变换单元。对于编码来说，输入数据对应于将要编码的帧间层预测处理的视频数据。对于解码来说，输入数据对应于将要解码的已编码的帧间层预测处理的视频数据。可以自存储器(例如，计算机存储器、缓存(RAM或DRAM)或其他媒体)读取输入数据。也可以自处理器(例如，控制器、中央处理器、数字信号处理器或产生输入数据的电子电路)接收输入数据。如步骤520所示，根据当前变换单元尺寸，将对应于增强层视频数据的当前变换单元的输入数据，应用第一类型的变换/逆变换或第二类型的变换/逆变换。
图6为根据本发明实施方式的用于可伸缩视频编码系统的基于对应基本层区块和该基本层区块的相邻区块的运动信息将多个候选添加至合并或先进运动矢量预测候选清单以用于增强层区块的推导的方法的示范性流程图。如步骤610所示，系统接收与增强层视频数据的当前增强层区块相关的输入数据，以及如步骤620所示，确定基本层中对应的基本层区块。如步骤630所示，基于与对应的基本层视频数据相关的基本层运动信息得到两个或多个帧间层候选，其中将该两个或多个帧间层候选添加至合并候选清单或先进运动矢量预测候选清单中，以及其中对应的基本层视频数据包括对应的基本层区块。如步骤640所示，自合并候选清单或先进运动矢量预测候选清单得到最后的运动矢量预测子。如步骤650所示，然后使用最后的运动矢量预测子，对与当前增强层区块相关的输入数据应用编码或解码，其中基于先进运动矢量预测以合并模式或帧间模式编码当前增强层区块。
以上所示的流程图仅是用于解释可伸缩视频编码的示例。本领域技术人员可以修改每一个步骤、对每一个步骤重新排序、分解一个步骤、或将步骤进行组合，以在不脱离本发明精神的前提下实现本发明。
在提供特定应用和其需求的情况下，以上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说，各种修饰是清楚的，以及在此定义的基本原理可以应用与其他实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细节。然而，本领域技术人员能够理解本发明可以实现。
以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(Digital SignalProcessor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。

Claims (7)

1.一种用于可伸缩视频编码的帧间层预测方法，其特征在于，视频数据被配置成基本层和增强层，以及增强层视频数据比基本层视频数据具有更高的空间分辨率或更好的视频品质，该方法包括：
接收与该增强层视频数据的当前增强层区块相关的输入数据；
决定该基本层中对应的基本层区块；
基于与对应的基本层视频数据相关的基本层运动信息，得到两个或多个帧间层候选，其中将该两个或多个帧间层候选添加至合并候选清单或先进运动矢量预测候选清单；
自该合并候选清单或该先进运动矢量预测候选清单得到最后的运动矢量预测子；以及
使用该最后的运动矢量预测子，应用编码或解码于该当前增强层区块相关的该输入数据，其中基于先进运动矢量预测以合并模式或帧间模式编码该当前增强层区块。
2.根据权利要求1所述的用于可伸缩视频编码的帧间层预测方法，其特征在于，基于与在该对应的基本层区块中选择的基本层视频数据相关的缩放的基本层运动信息得到该两个或多个帧间层候选中的至少一个。
3.根据权利要求2所述的用于可伸缩视频编码的帧间层预测方法，其特征在于，在该对应的基本层区块中选择的基本层视频数据对应于基本层四个角的像素和基本层四个中心的像素的位置中的至少一个，其中该基本层四个角的像素和该基本层四个中心的像素分别与该当前增强层区块的增强层四个角的像素和增强层四个中心的像素的位置相同。
4.根据权利要求1所述的用于可伸缩视频编码的帧间层预测方法，其特征在于，基于与该对应的基本层区块的一个或多个相邻基本层区块相关的第二缩放的基本层运动信息，得到该两个或多个帧间层候选中的至少一个。
5.根据权利要求4所述的用于可伸缩视频编码的帧间层预测方法，其特征在于，该对应的基本层区块的该一个或多个相邻基本层区块对应于左下基本层区块、左基本层区块、右上基本层区块、上基本层区块、以及左上基本层区块，其中该左下基本层区块、该左基本层区块、该右上基本层区块、该上基本层区块、以及该左上基本层区块分别对应于该当前增强层区块的相同位置的左下增强层区块、左增强层区块、右上增强层区块、上增强层区块、以及左上增强层区块。
6.根据权利要求1所述的用于可伸缩视频编码的帧间层预测方法，其特征在于，该基本层运动信息包括帧间预测方向、参考图片索引、以及运动矢量。
7.根据权利要求1所述的用于可伸缩视频编码的帧间层预测方法，其特征在于，针对该两个或多个帧间层候选的第一帧间层候选，冗余校验该两个或多个帧间层候选的第二帧间层候选，其中该两个或多个帧间层候选的第二帧间层候选在该两个或多个帧间层候选的第一帧间层候选之后得到。
CN201810151613.3A 2012-11-15 2013-10-29 用于可伸缩视频编码的帧间层预测方法及装置 Active CN108111846B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261726837P 2012-11-15 2012-11-15
US61/726,837 2012-11-15
CN201380059903.0A CN104813667B (zh) 2012-11-15 2013-10-29 用于可伸缩视频编码的帧间层预测方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380059903.0A Division CN104813667B (zh) 2012-11-15 2013-10-29 用于可伸缩视频编码的帧间层预测方法及装置

Publications (2)

Publication Number Publication Date
CN108111846A true CN108111846A (zh) 2018-06-01
CN108111846B CN108111846B (zh) 2021-11-19

Family

ID=50730579

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810151613.3A Active CN108111846B (zh) 2012-11-15 2013-10-29 用于可伸缩视频编码的帧间层预测方法及装置
CN201380059903.0A Active CN104813667B (zh) 2012-11-15 2013-10-29 用于可伸缩视频编码的帧间层预测方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380059903.0A Active CN104813667B (zh) 2012-11-15 2013-10-29 用于可伸缩视频编码的帧间层预测方法及装置

Country Status (4)

Country Link
US (3) US9955177B2 (zh)
EP (1) EP2920966B1 (zh)
CN (2) CN108111846B (zh)
WO (1) WO2014075552A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020043004A1 (zh) * 2018-08-28 2020-03-05 华为技术有限公司 候选运动信息列表的构建方法、帧间预测方法及装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106933B1 (en) 2010-05-18 2015-08-11 Google Inc. Apparatus and method for encoding video using different second-stage transform
WO2014075552A1 (en) 2012-11-15 2014-05-22 Mediatek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates
US9380307B2 (en) * 2012-11-19 2016-06-28 Qualcomm Incorporated Method and system for intra base layer (BL) transform in video coding
GB2509704B (en) * 2013-01-04 2016-06-01 Canon Kk Method and device for processing prediction information for encoding or decoding at least part of an image
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
CN105165011A (zh) * 2013-02-25 2015-12-16 三星电子株式会社 用于考虑存储器带宽和计算量的可伸缩视频编码的装置和方法以及用于可伸缩视频解码的装置和方法
WO2014163466A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 정수 픽셀의 위치와 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US10085034B2 (en) * 2013-07-12 2018-09-25 Sony Corporation Image coding apparatus and method
US10171821B2 (en) * 2013-07-16 2019-01-01 Samsung Electronics Co., Ltd. Scalable video encoding method and apparatus and scalable video decoding method and apparatus using up-sampling filter accompanied by conversion of bit depth and color format
CN105850126B (zh) 2013-12-24 2019-03-26 株式会社Kt 用于对多层视频信号进行编码/解码的方法和装置
KR20150110295A (ko) 2014-03-24 2015-10-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
EP3202146B1 (en) * 2014-11-28 2022-08-17 HFI Innovation Inc. Method and apparatus of alternative transform for video coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
CN108353184B (zh) 2015-11-05 2022-02-01 联发科技股份有限公司 一种视频编解码的方法及装置
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US10616583B2 (en) * 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
US20190191191A1 (en) * 2017-12-19 2019-06-20 Western Digital Technologies, Inc. Hybrid techniques for content distribution with edge devices
EP3843391A4 (en) 2018-08-24 2022-06-01 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND APPARATUS, AND VIDEO CODING METHOD AND APPARATUS
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
US11330296B2 (en) * 2020-09-14 2022-05-10 Apple Inc. Systems and methods for encoding image data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
US20100111198A1 (en) * 2008-10-31 2010-05-06 Canon Kabushiki Kaisha Rate-distortion control in dvc with no feedback channel
CN101873484A (zh) * 2009-08-13 2010-10-27 杭州海康威视软件有限公司 分层视频编码中编码模式选择方法及装置
CN102088605A (zh) * 2011-02-23 2011-06-08 浙江大学 可伸缩视频编码快速层间预测选择方法
CN102595135A (zh) * 2012-02-24 2012-07-18 中国科学技术大学 一种可伸缩视频编码的方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703734B1 (ko) * 2004-12-03 2007-04-05 삼성전자주식회사 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN102685496B (zh) * 2006-07-10 2014-11-05 夏普株式会社 用于组合多层比特流中的层的方法和系统
KR100927733B1 (ko) 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
EP1933565A1 (en) * 2006-12-14 2008-06-18 THOMSON Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
US8665968B2 (en) * 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
KR101943049B1 (ko) * 2011-06-30 2019-01-29 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
AU2011236109B2 (en) * 2011-10-18 2015-02-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
KR20130050405A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
WO2013116539A1 (en) * 2012-02-01 2013-08-08 Futurewei Technologies, Inc. Scalable video coding extensions for high efficiency video coding
US9549180B2 (en) * 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
US20130294513A1 (en) * 2012-05-07 2013-11-07 Qualcomm Incorporated Inter layer merge list construction for video coding
US20150229967A1 (en) * 2012-08-21 2015-08-13 Samsung Electronics Co., Ltd. Inter-layer video coding method and device for predictive information based on tree structure coding unit, and inter-layer video decoding method and device for predictive informationbased on tree structure coding unit
US20140092956A1 (en) * 2012-09-29 2014-04-03 Motorola Mobility Llc Adaptive transform options for scalable extension
KR102257542B1 (ko) * 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
WO2014075552A1 (en) 2012-11-15 2014-05-22 Mediatek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
US20100111198A1 (en) * 2008-10-31 2010-05-06 Canon Kabushiki Kaisha Rate-distortion control in dvc with no feedback channel
CN101873484A (zh) * 2009-08-13 2010-10-27 杭州海康威视软件有限公司 分层视频编码中编码模式选择方法及装置
CN102088605A (zh) * 2011-02-23 2011-06-08 浙江大学 可伸缩视频编码快速层间预测选择方法
CN102595135A (zh) * 2012-02-24 2012-07-18 中国科学技术大学 一种可伸缩视频编码的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN: "Description of scalable video coding technology proposal by Qualcomm (configuration 1)", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11，11TH MEETING: SHANGHAI, CN, 10-19 OCT., 2012，NO. JCTVC-K0035》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020043004A1 (zh) * 2018-08-28 2020-03-05 华为技术有限公司 候选运动信息列表的构建方法、帧间预测方法及装置
US11895319B2 (en) 2018-08-28 2024-02-06 Huawei Technologies Co., Ltd. Method for constructing candidate motion information list, inter prediction method, and apparatus

Also Published As

Publication number Publication date
CN104813667B (zh) 2018-03-16
US11223837B2 (en) 2022-01-11
US20190373273A1 (en) 2019-12-05
CN104813667A (zh) 2015-07-29
EP2920966B1 (en) 2019-12-18
US10440375B2 (en) 2019-10-08
US20150296211A1 (en) 2015-10-15
CN108111846B (zh) 2021-11-19
WO2014075552A1 (en) 2014-05-22
EP2920966A1 (en) 2015-09-23
US9955177B2 (en) 2018-04-24
EP2920966A4 (en) 2017-01-04
US20180205960A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
CN104813667B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
CN104396249B (zh) 可伸缩视频编码的层间预测的方法和设备
CN104247423B (zh) 可伸缩视频编码系统的帧内模式编码方法和装置
KR20210061991A (ko) 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
CN103597827B (zh) 可伸缩视频编码方法及其装置
CN104380745B (zh) 图层间与视图间自适应帧内预测方法及其装置
CN105052144B (zh) 用于可伸缩视频编码的层间预测方法
CN105103563B (zh) 关于缩放列表数据信令的方法和装置
CN104335585A (zh) 图像解码方法和使用其的装置
JP6055098B2 (ja) 映像復号方法及びそれを利用する装置
KR20130045784A (ko) 인터 예측 모드 스케일러블 코딩 방법 및 장치
WO2012173440A2 (ko) 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
CN103518374B (zh) 可伸缩视频编码方法及其装置
KR20120008321A (ko) 서브샘플링을 이용한 적응적 스캐닝 및 확장된 템플릿 매칭 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant