CN104247423A - 在可伸缩视频编码中的帧内模式推导和编码的方法和装置 - Google Patents

在可伸缩视频编码中的帧内模式推导和编码的方法和装置 Download PDF

Info

Publication number
CN104247423A
CN104247423A CN201380010197.0A CN201380010197A CN104247423A CN 104247423 A CN104247423 A CN 104247423A CN 201380010197 A CN201380010197 A CN 201380010197A CN 104247423 A CN104247423 A CN 104247423A
Authority
CN
China
Prior art keywords
mode
coding
block
pattern
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380010197.0A
Other languages
English (en)
Other versions
CN104247423B (zh
Inventor
刘杉
国玫
庄子德
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Singapore Pte Ltd
Original Assignee
MediaTek Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/CN2012/073253 external-priority patent/WO2013143103A1/en
Application filed by MediaTek Singapore Pte Ltd filed Critical MediaTek Singapore Pte Ltd
Publication of CN104247423A publication Critical patent/CN104247423A/zh
Application granted granted Critical
Publication of CN104247423B publication Critical patent/CN104247423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭示了一种可伸缩视频编码系统的帧内模式编码方法和装置。对于在增强层中的当前帧内编码区块，基于与在基本层中的同一位置的区块相关的基本层编码模式和与在增强层中的当前区块的相邻区块相关的相邻编码模式，将预测编码应用于当前帧内模式。在增强层中的当前区块的相邻区块包括靠近当前区块左侧的左区块和靠近当前区块上方的顶区块。自相邻编码模式和基本层编码模式得到一个或多个最可能模式，然后该一个或多个最可能模式用于当前帧内模式的预测编码。

Description

在可伸缩视频编码中的帧内模式推导和编码的方法和装置
技术领域
本发明是有关于可伸缩视频编码，特别是有关于用于增强层的区块的帧内模式编码技术。
背景技术
视频流媒体已经成为当今的主流视频传输。由无处不在的高速互联网和移动网络支持，可以传送视频内容至终端使用者，以使得使用者在具有不同品质的不同平台上观看。为满足各种视频流应用的不同需要，可能需要以不同分辨率、帧率(frame rate)、及/或品质来处理或存储视频源。这将导致相当复杂的系统并需要高的总体带宽或大的总体存储空间。可伸缩视频编码是一个满足不同分辨率、帧率、品质、及/或比特率需要的方案。除了各种专有开发致力于解决此问题之外，可伸缩视频编码的现有的视频标准也可解决此问题。ISO/IECMPEG和ITU-T VCEG的联合视频工作组(joint video team,JVT)已经标准化一个对于H.264/AVC标准的可伸缩视频编码(Scalable Video Coding,SVC)的扩展。H.264/AVC可伸缩视频编码比特流包含从低帧率(frame-rate)、低分辨率、低品质到高帧率、高清晰度、高品质的视频信息。此种单一的比特流可通过适当地配置比特流的可伸缩来适应具体的应用。举例来说，对应于高清晰度的完整的比特流可以通过高速网络来传送，以提供大屏幕观看的充分的品质。对应于高清晰度视频的低分辨率版本的部分比特流可以通过传统蜂窝网络来传送，以在手持/移动设备上观看。相应地，使用H.264/AVC可伸缩视频编码产生的比特流适合各种视频应用，例如视频广播、视频流、和监控(surveillance)。
在可伸缩视频编码中，提供三种可伸缩类型，即时间可伸缩、空间可伸缩以及品质可伸缩。可伸缩视频编码使用多层编码结构以实现三维可伸缩。可伸缩视频编码的概念是产生一个可伸缩比特流，其中该可伸缩比特流可在无反式编码(transcoding)或重编码(re-encoding)的情况下简单快速地适用多种传输信道、各种显示能力及/或不同计算资源的比特率。可伸缩视频编码设计的重要特点是在比特流层(bitstream level)提供可伸缩性。可以通过丢弃不需要解码目标分辨率的网络提取层(NAL)单元(或网络数据包)来简单取得缩减空间及/或时间分辨率的比特流，可另外减小用于品质精化的NAL单元从而减小比特率及/或降低相应视频品质。
在H.264/AVC可伸缩视频编码的扩展中，基于金字塔编码(pyramid coding)支持空间可伸缩。首先，降采样(down-sample)视频序列以取得不同空间分辨率(层)的较小图像。最低层(即，具有最低空间分辨率的层)称为基本层(baselayer,BL)。在基本层之上的任意一层称为增强层(enhancement layer,EL)。除了二元的空间分辨率(dyadic spatial resolution)，H.264/AVC可伸缩视频编码的扩展也支持任意分辨率，其称为扩展空间可伸缩(Extended Spatial Scalability,ESS)。已在文献在中揭露各种层间预测方案(inter-layer prediction schemes)，以改善增强层(具有较高分辨率的视频层)的编码效率。在可伸缩视频编码中，采用三种层间预测工具，包括层间运动预测(inter-layer motion prediction)、层间帧内预测(inter-layer Intra prediction)以及层间残差预测(inter-layer residualprediction)(例如，C.Andrew Segall和Gary J.Sullivan,“Spatial ScalabilityWithinthe H.264/AVC Scalable Video Coding Extension”,IEEE Transactions on Circuitsand Systems for Video Technology,Vol.17,No.9,Pages 1121-1135,2007.09)。
图1为根据H.264/AVC可伸缩视频编码的空间可伸缩设计的示意图。基本层编码器110接收较低分辨率视频序列作为输入，并使用现有的H.264/AVC视频编码来编码该低分辨率序列。编码模式选择112在帧内预测(Intra-prediction)和运动补偿帧间预测(motion-compensated Inter-prediction)之间选择预测模式。增强层编码器120接收较高分辨率序列作为输入。该较高分辨率序列可用与现有的H.264/AVC编码相似的结构来编码。然而，层间预测130可用作附加的编码模式。此外，增强层的模式选择122可以在帧内预测、运动补偿帧间预测和层间预测之间选择预测模式。对于在基本层内的帧内编码区块，重建的区块提供对于增强层的预测。对于在基本层内的帧间编码区块，基本层的运动向量和残差信息(residual difference information)可用于预测增强层。虽然如图1所示的两个分辨率层作为根据H.264/AVC可伸缩视频编码的空间可伸缩的示例，但是可以添加更多的分辨率层，其中较高分辨率的增强层可使用基本层或先前传输的增强层以用于层间预测。此外，可伸缩视频编码增强的其他形式(例如，时间或品质)也可以出现于系统中。
在H.264/AVC可伸缩视频编码中，与较低层相关的重建区块、运动向量、或残差信息用于层间编码。必要时可以利用与较低层相关的其他编码信息，来进一步改善编码效率及/或降低系统复杂性。
高效率视频编码(High Efficiency Video Coding, 以下简称HEVC)是先进的视频编码系统，其是在来自国际电信联盟远程通信标准化组织(ITU-T)研究组的视频编码专家组成的视频编码联合工作组(JCT-VC)开发的。在HEVC测试模型版本6.0(HM-6.0)中，帧内编码预测单元可以为64x64、32x32、16x16、8x8、或4x4。如图2A所示，总共有35个预测模式(即，模式0～模式34)用于所有的预测单元尺寸。此外，当允许基于亮度帧内预测的色度帧内预测时(即，当chroma_pred_from_luma_enabled_flag＝1时)，仅将模式35(即，Intra_FromLuma)用于色度组分(chroma component)。本发明的公开内容中，帧内预测模式也被称为帧内模式(Intra mode)。
如图2B所示，对于在HM-6.0中的编码亮度组分的帧内预测模式编码，基于相邻预测单元(预测单元220和预测单元230)的帧内模式得到对于当前亮度预测单元210的三种最可能模式(most probable mode, 简称为MPM，标记为candModeList[x]，其中x＝0～2)。左侧预测单元220的帧内模式(标记为candIntraPredModeA)和上方预测单元230的帧内模式(标记为candIntraPredModeB)用于得到最可能模式candModeList[x]，如下所示：
若靠近当前预测单元的左侧或上方的相邻预测单元是不可用的或不是帧内编码，则设置candIntraPredModeA或candIntraPredModeB为Intra_DC。Intra_Planar和Intra_DC分别对应于平面模式(Planar mode)和直流模式(DCmode)。因此，本发明的公开内容中，Intra_Planar/Intra_DC分别和平面模式/直流模式可以互换使用。
若当前帧内模式(标记为IntraPredMode)等于在candModeList中的任意一个最有可能的模式，前置标志(preceding flag)prev_intra_pred_flag的值设置为1以指示此种情况。然后发送一个索引(index)以确定在candModeList中的该模式(即，IntraPredMode)。若当前帧内模式不等于在candModeList中的任意一个最有可能的模式，则当前帧内模式是剩余模式中的一个。发送等于IntraPredMode的剩余模式(标记为rem_intra_luma_pred_mode)以确定当前帧内模式(IntraPredMode)。通过前置标志prev_intra_pred_flag来指示剩余模式的发生，其中前置标志prev_intra_pred_flag等于0。
在HM-6.0中，对于编码色度预测单元的帧内模式可以具有依靠chroma_pred_from_luma_enabled_flag的5或6个候选模式。若chroma_pred_from_luma_enabled_flag等于1，则使用如表1所示的6个可能的色度模式；否则使用如表2所示的5个候选模式。
表1
表2
为支持在帧内模式中已编码区块的空间可伸缩，H.264/AVC的可伸缩扩展包括基于来自基本层的层间信息的帧内编码宏块(Intra-coded macroblock)的新的帧内编码类型(标记为Intra_BL)。当根据Intra_BL的编码类型编码在较高层中的宏块以及在其参考层(reference layer)中的同一位置的8x8子宏块为帧内编码时，可以自在参考层中对应的重建区块(reconstructed block)得到在较高层中的宏块的预测信号。上采样(up-sample)在参考层中的8x8子宏块以产生预测。
来自国际电信联盟远程通信标准化组织(ITU-T)研究组的视频编码专家组成的视频编码联合工作组(JCT-VC)开发HEVC的可伸缩扩展。相似于H.264/AVC可伸缩视频编码的Intra_BL的层间纹理预测技术可以应用于编码增强层图像。一种编码工具，层间差分编码(inter-layer differential coding)方法，也用于HEVC的可伸缩扩展(称为SHVC)。其中，使用运动补偿帧间编码和帧内预测编码方法来压缩在增强层和重建的基本层的原始视频数据之间的残差。重建的基本层需被上采样或缩放(scaled)至与增强层的原始视频数据具有相同的空间分辨率，以形成在增强层的残差。在此情况下，用于运动补偿或帧内预测的参考采样为在增强层的已重建的视频数据和在基本层的对应重建的视频数据之间的重建残差。再次，在基本层的重建视频数据需被上采样或缩放以匹配在增强层的重建视频数据的空间分辨率。
一个示范性的两层HEVC可伸缩视频编码系统如图3所示。现有的HEVC编码器可用作基本层编码器310，其中运动补偿预测(motion compensatedPrediction,M.C.Pred.)312用于帧间编码。除了运动补偿/层间预测322还支持除帧间预测(Inter-frame prediction)之外的层间预测之外，增强层编码器320相似于现有的HEVC编码器。通过对较高分辨率视频输入数据应用空间抽取(spatial decimation)330而自较高分辨率输入视频数据得到基本层编码器310的输入。另一方面，为使用重建的基本层数据以用于层间预测，重建的基本层数据需被上采样324上采样或缩放。
必要时通过利用自不同层的帧内模式的相关性，改善可伸缩视频编码系统的编码效率或降低可伸缩视频编码系统的复杂性，而不会对视频品质或性能造成任何显著的影响。
在可伸缩视频编码中，增强层可重用(reuse)基本层的运动信息以减小如上所述的层间运动数据冗余。在增强层宏块编码中，在mb_type指示是否直接从基本层中取得增强层运动信息之前，可以编码标志base_mode_flag。如果base_mode_flag等于1，则从基本层的同一位置8x8区块的对应数据中取得增强层宏块的分割数据以及相关参考索引与运动矢量。在增强层中直接使用基本层的参考索引。基于基本层的宏块分割和运动向量的缩放数据，确定增强层的宏块分割和运动向量。此外，缩放的基本层运动向量可以用作增强层的附加的运动向量预测值。
层间残差编码可以使用上采样基本层残差信息来预测，以减少增强层残差需要的信息。可使用双线性滤波器(bilinear filter)以区块式(block-wise)上采样基本层的同一位置的残差(co-located residual)，以及按比例放大(up-scaled)区块可以用做在增强层中当前宏块的残差的预测。以变换区块为基础完成参考层残差的上采样，以确保不在跨越变换区块边界处应用滤波。
层间纹理预测降低增强层的冗余纹理信息。通过块式上采样同一位置的重建的基本层区块，产生增强层中的预测。在层间纹理预测的上采样过程中，分别对亮度和色度组分应用4抽头和2抽头FIR滤波器。不同于层间残差预测的滤波，总是在跨越子区块边界处执行用于层间纹理预测的滤波。为了简化解码，可将层间纹理预测限定于基本层的帧内编码宏块。
尽管层间残差预测和层间纹理预测用于可伸缩视频编码，需要进一步改善其性能。
发明内容
本发明揭示了一种可伸缩视频编码系统的帧内模式编码方法和装置。视频数据被配置于基本层和增强层，其中增强层具有比基础层更高的空间分辨率或更好的视频品质。在当前区块之前，编码在基本层中、对应于在增强层中的当前区块的同一位置的区块。对于以帧内模式编码的当前增强层区块来说，本发明的实施方式基于与在基本层中同一位置的区块相关的基本层编码模式和与在增强层中当前区块的相邻区块相关的相邻编码模式，应用预测编码至当前帧内模式。在增强层中当前区块的相邻区块包括靠近当前区块左侧的左区块和靠近当前区块上方的顶区块。其中，左区块与左区块编码模式相关，以及顶区块与顶区块编码模式相关。自相邻编码模式和基本层编码模式得到一个或多个最可能模式，以及一个或多个最可能模式用于当前帧内模式的预测编码。在一些实施方式中，基本层编码模式用于得到最可能模式的第一最可能模式。
在一些实施方式中，最可能模式用于编码当前帧内模式。若基本层编码模式、左区块编码模式、以及顶区块编码模式均不是帧内模式，则三个最可能模式对应于{平面模式、直流模式、垂直模式}。若基本层编码模式、左区块编码模式、以及顶区块编码模式中的一个或多个为帧内模式，以及基本层编码模式、左区块编码模式、以及顶区块编码模式对应于相同帧内模式并且相同帧内模式为平面模式或直流模式，则三个最可能模式对应于{平面模式、直流模式、垂直模式}。若基本层编码模式、左区块编码模式、以及顶区块编码模式中的一个或多个为帧内模式，以及基本层编码模式、左区块编码模式、以及顶区块编码模式对应于相同帧内模式并且相同帧内模式既不是平面模式也不是直流模式，则三个最可能模式对应于{相同帧内模式、相同帧内模式-1、相同帧内模式+1}。若基本层编码模式、左区块编码模式、以及顶区块编码模式中的两个或多于两个为帧内模式，以及基本层编码模式、左区块编码模式、以及顶区块编码模式对应于第一帧内模式和第二帧内模式并且第一帧内模式不同于第二帧内模式；若第一帧内模式和第二帧内模式均不等于平面模式，则三个最可能模式对应于{第一帧内模式、第二帧内模式、平面模式}；否则，若第一帧内模式和第二帧内模式均不等于直流模式，三个最可能模式对应于{第一帧内模式、第二帧内模式、直流模式}；以及否则三个最可能模式对应于{第一帧内模式、第二帧内模式、垂直模式}。若基本层编码模式、左区块编码模式、以及顶区块编码模式对应于三个不同的帧内模式，则三个最可能模式对应于{基本层编码模式、左区块编码模式、顶区块编码模式}。
在另一实施方式中，若基本层编码模式、左区块编码模式、或顶区块编码模式为平面模式或直流模式，则平面模式或直流模式排除于三个最可能模式的初始分配之外。相应地，若基本层编码模式、左区块编码模式、以及顶区块编码模式中的任意一个均不是帧内模式，则三个最可能模式对应于{直流模式、垂直模式、水平模式}。若基本层编码模式、左区块编码模式、以及顶区块编码模式中多个编码模式中一个为帧内模式，但不是直流或平面，以及基本层编码模式、左区块编码模式、以及顶区块编码模式对应于相同的角度帧内模式，则三个最可能模式对应于{相同的角度帧内模式、相同的角度帧内模式-1、相同的角度帧内模式+1}。若基本层编码模式、左区块编码模式、以及顶区块编码模式中的两个编码模式中的两个或多个为帧内模式，以及基本层编码模式、左区块编码模式、以及顶区块编码模式对应于第一角度帧内模式以及第二角度帧内模式，以及第一角度帧内模式不同于第二角度帧内模式，则三个最可能模式对应于{第一角度帧内模式、第二角度帧内模式、直流模式}。若基本层编码模式、左区块编码模式、以及顶区块编码模式对应于三个不同的帧内模式，则三个最可能模式对应于{基本层编码模式、左区块编码模式、顶区块编码模式}。
在又一实施方式中，仅一个最可能模式用于当前帧内模式的帧内模式编码。若基本层编码模式对应于不等于平面模式或直流模式的第一帧内模式，则最可能模式对应于基本层编码模式。若基本层编码模式不是任意帧内模式以及左区块编码模式对应于不等于平面模式或直流模式的第二帧内模式，则最可能模式对应于左区块编码模式。若基本层编码模式和左区块编码模式不是任意帧内模式以及顶区块编码模式对应于不等于平面模式或直流模式的第三帧内模式，则最可能模式对应于顶区块编码模式。如此一来，增强层允许33个角度帧内预测模式。针对一个最可能模式的情况，32个剩余模式可以用5个二进制固定长度编码来表示。
在又一实施方式中，若与在增强层中的当前区块的一个相邻区块相关的一个相邻编码模式不是帧内模式，以及若相邻基本层编码模式为帧内模式，则通过相邻基本层编码模式代替相邻编码模式以用于当前帧内模式的预测编码。其中，相邻基本层编码模式与在基本层中的相邻同一位置的区块相关，相邻同一位置的区块对应于在增强层中当前区块的相邻区块。
附图说明
图1为基于H.264/AVC可伸缩编码标准的用于两层可伸缩编码的示范性系统的方框图。
图2A为HEVC测试模型版本6.0(HM-6.0)采用的35个帧内预测模式的示意图。
图2B为根据HEVC测试模型版本6.0(HM-6.0)的用于得到帧内预测模式的相邻区块的示意图。
图3为基于正在开发的HEVC可伸缩编码标准的两层可伸缩编码的系统方框图。
图4为根据本发明一实施方式的增强层LCU(largest coding unit,以下简称为LCU)继承对应的基本层LCU的LCU结构的示意图。
图5为根据本发明一实施方式的增强层LCU继承对应的基本层CU的CU结构的示意图，其中增强层LCU的尺寸与基本层LCU的尺寸相同。
图6为根据本发明一实施方式的增强层LCU继承对应的基本层LCU的LCU结构的示意图，其中系统使用任意缩放因子(scaling factor)。
图7为基于与对应的基本层CU相关的控制参数增强层LCU得到增强层LCU的控制参数的示意图，其中增强层LCU具有与基本层LCU相同的尺寸以及空间缩放因子为1.5。
图8为用最可能模式推导以确定基本层帧内模式的4x4单元的像素位置标记的示意图。
图9为用最可能模式推导确定基本层帧内模式的最大单元中选择4x4单元(A、B或C)的示意图。
图10为基于对应于当前区块的在基本层中的同一位置的区块的预测模式确定在增强层中的当前区块的预测模式的示意图。
图11为包括本发明一实施方式的在增强层中编码帧内编码的可伸缩编码系统的流程图。
具体实施方式
在HEVC编码中，图像被分区为最大编码单元(largest coding unit,以下简称为LCU)或编码树块(coding tree block,以下简称为CTB)，其中每一个LCU(或CTB)可以使用四叉树(quadtree)来自适应地被分区为编码区块(codingblock)。一个LCU的尺寸可以从一组容许尺寸(allowable size)中进行选择，以及与LCU的尺寸相关的信息必须包含于比特流中，以使得解码器可以恢复相同的信息。以光栅扫描顺序一个LCU接着一个LCU来编码或解码图像。在本发明的一个实施方式中，，可使用基本层的LCU尺寸在垂直和水平方向上均乘以缩放因子(scaling factor)a来推导出增强层的LCU尺寸，而不需要在二元的(dyadic)空间可伸缩系统中以信号表明。参数a为空间可伸缩因子(spatialscalability factor)，即增强层(enhancement layer,EL)图像分辨率与基本层(baselayer,BL)图像分辨率的比例。举例来说，若对于2倍的空间可伸缩来说，如果基本层LCU的尺寸为64，则增强层LCU的尺寸被推断为128。根据本发明的LCU尺寸推断(inference)的示例如图4所示。基本层LCU 410的尺寸为2Nx2N。增强层LCU 420的尺寸被推断为(2Nxa)x(2Nxa)，其中在此示例中a对应为2。由于品质可伸缩(SNR scalability)或时间可伸缩，增强层图像分辨率可以与基本层图像分辨率相同。在增强层图像分辨率与基本层图像分辨率相同的情况下，不需要发信号通知，增强层LCU尺寸被推断为与基本层LCU尺寸相同。
若增强层LCU与其对应的基本层LCU为相同类型的切片(slice)(即，帧内切片(Intra slice)或帧间切片(Inter slice))，则不需要发信号通知，增强层LCU继承对应的基本层LCU的CTB结构，包括编码单元分割(coding unitsplits,CU splits)、编码单元(coding unit,以下简称为CU)预测模式、分区模式(partition mode)、参考图像索引(reference picture indices)和(缩放的)运动向量。可以基于任意已知的方法来得到对应的基本层LCU的位置，例如Segall等揭示的方法(C.Andrew Segall和Gary J.Sullivan,“Spatial Scalability within theH.264/AVC Scalable Video Coding Extension”,IEEE Transactions on Circuits andSystems for Video Technology,Vol.17,No.9,Pages 1121-1135,2007.09)。增强层可以使用基本层CTB作为初始的CTB(initial CTB)并进一步使用指示分割的“split_flag”来分割CTB。如虚线(422、424、426和428)所示，图4说明了基于自基本层CTB继承的CTB结构而进一步分割增强层LCU。
最大深度数(maximum number of depths)可以指定在序列参数集(SequenceParameter Set,以下简称SPS)、图像参数集(Picture Parameter Set,以下简称PPS)、自适应参数集(Adaptive Parameter Set,以下简称APS)或切片头(sliceheader)中，其中该最大深度数为增强层CU能够被进一步分割而超过其对应的基本层CU的最大深度数。在一个实施方式中，长度为1比特的语法元素“max_num_split_el_bl_minus1”指定在SPS中，以详细说明可以分割增强层CU以超过增强层CU对应的基本层CU的最大深度数。在此实施方式中，最大分割深度可以为1或2。若该语法元素长度为2比特，则允许最大深度数为1～4。相似地，语法标志可以包含于PPS、APS及/或切片头中，以指示可以进一步分割增强层CU以超过增强层CU对应的基本层CU的最大深度数。
最小深度数(minimum number of depths)也可以指定在SPS、PPS、APS或切片头中，其中该最小深度数为增强层CU需要进一步被分割以超过其对应的基本层CU的最小深度数。在一个实施方式中，长度为1比特的语法元素“min_num_split_el_bl_minus1”包含于SPS中。这个1比特的语法元素指定进一步分割增强层CU以超过对应的基本层CU的最小深度数为0还是1。相似地，语法标志可以包含于PPS、APS及/或切片头中。
根据本发明一实施方式，在增强层的LCU的尺寸与基本层的LCU的尺寸相同的情况下，若增强层LCU的切片类型与其对应的基本层的CU的切片类型(即，帧内切片或帧间切片)相同，则不需要发信号通知，增强层的LCU可以继承其对应的基本层CU的CU结构。CU结构包括CU分割、CU预测模式和分区模式、参考图像索引(reference picture indices)和(缩放的)运动向量。可以基于任意已知的方法得到增强层的LCU的对应的基本层的CU的位置。例如，Segall等人揭露的方法(C.Andrew Segall和Gary J.Sullivan,“Spatial Scalabilitywithin the H.264/AVC Scalable Video Coding Extension”,IEEE Transactions onCircuits and Systems for Video Technology,Vol.17,No.9,Pages 1121-1135,2007.09)。允许进一步分割并通过“split_flag”来发信号通知分割。在如图5所示的示例中描述了基本层LCU 510和增强层LCU 520。在增强层LCU 520中的实线指示自对应的基本层CU 512继承的四叉树分割。在增强层LCU 520中的虚线指示通过“split_flag”发信号通知进一步分割。使用如上所述相同的方法，进一步分割增强层CU以超过增强层CU对应的基本层CU的最大深度数可以包含于SPS、PPS、APS或切片头中。相似地，使用如上所述相同的方法，需要进一步分割增强层CU以超过增强层CU对应的基本层CU的最小深度数可以包含于SPS、PPS、APS或切片头中。
虽然本发明的实施方式描述的是具有二元的(dyadic)空间可伸缩的系统，但是本发明也可以应用于具有任意比例(arbitrary-ratio)空间可伸缩的系统。举例来说，若使用1.5倍的空间缩放因子，则不需要发信号通知，可以推断尺寸为64的基本层LCU对应的增强层LCU的尺寸为96。若增强层LCU的切片类型与其对应的基本层的编码单元的切片类型(即，帧内切片或帧间切片)相同，则不需要发信号通知，增强层LCU可以继承对应的基本层的LCU结构，包括CU分割、CU预测模式和分区模式、参考图像索引(reference picture indices)和(缩放的)运动向量。可以基于任意已知的方法得到对应的基本层LCU的位置。例如，Segall等人揭露的方法(C.Andrew Segall和Gary J.Sullivan,“SpatialScalability within the H.264/AVC Scalable Video Coding Extension”,IEEETransactions on Circuits and Systems for Video Technology,Vol.17,No.9,Pages1121-1135,2007.09)。进一步允许四叉树分割并通过“split_flag”来发信号通知四叉树分割。在图6所示的示例中，在增强层LCU 620中的实线指示自对应的基本层LCU 610继承的分割。在增强层LCU 620中的虚线(622、624和626)指示通过“split_flag”发信号通知进一步四叉树分割。使用如上所述相同的方法，增强层CU可进一步超过增强层CU对应的基本层CU的最大深度数、以及需要进一步分割增强层CU以超过对应的基本层CU的最小深度数可以包含于SPS、PPS、APS或切片头中。
增强层的最小编码单元(smallest CU,以下简称为SCU)可以表示为基本层SCU乘以空间缩放因子a。在1.5倍的空间可伸缩的情况下，若基本层SCU的尺寸为8x8(630)，则不需要发信号通知，增强层SCU的尺寸推断为12x12(640)。当在增强层中选择NxN分区模式以用于12x12 CU时，基于码率－失真性能(R-D)决策或继承自基本层中对应的8x8 CU分区模式，将在增强层中的12x12CU分割为九个4x4预测单元。如图6所示，可以应用合并过程以自这九个4x4预测单元形成较大的预测单元(大于4x4，但小于12x12)。
如图7所示，另一个实施方式可以应用于增强层LCU的尺寸等于基本层LCU尺寸的情况。增强层中的CU“split_flag”可以使用在当前HEVC中描述的相同方法或其他相似方法来明确地以信号表示。增强层CU的预测模式、预测分区模式、参考图片索引、运动向量、滤波器参数以及变换尺寸等(在本发明的公开内容中称为控制参数)可以从对应的基本层CU来预测。如图7所示的示例中，描述了基本层LCU 710和增强层LCU 720以及空间缩放因子为1.5。在基本层LCU 710中对应于增强层LCU 720的投射的(projected)增强层LCU通过虚线712来表示。基于与基本层CU相关的控制参数能够得到增强层编码单元的控制参数，其中该基本层CU覆盖投射的增强层CU(虚线712)。举例来说，可以自与基本层CU0、基本层CU1、基本层CU2和基本层CU3相关的控制参数预测增强层CU0的控制参数，以及可以自与基本层CU1、基本层CU3、基本层CU4相关的控制参数预测增强层CU1的控制参数。在另一实施方式中，可以自与基本层CU相关的控制参数预测增强层CU的控制参数，其中该基本层CU具有与投射的增强层CU的最大重叠面积。相应地举例来说，可以自与基本层CU0相关控制参数预测增强层CU0的控制参数，以及可以自与基本层CU4相关控制参数预测增强层CU1的控制参数。在又一实施方式中，当增强层CU覆盖数个基本层CU并且这些覆盖面积具有相似的尺寸时，可以自与这些基本层CU相关的控制参数的组合预测增强层CU的控制参数。举例来说，与这些基本层CU相关的运动向量的平均值可以用作增强层CU的运动向量或运动向量预测值。
当CU以帧内预测模式编码时，与基本层区块相关的信息可以用于增强层CU的帧内预测。根据本发明的实施方式，可以使用现有的非可伸缩HEVC中定义的35个模式以用于增强层亮度帧内预测。进一步，根据本发明的实施方式，扩展如在现有的非可伸缩HEVC主配置文件中定义的3个最可能模式的帧内模式编码方法至增强层帧内模式编码。如下所述，得到对于增强层CU的3个最可能模式。
如上所述，增强层CU的CTB结构可以继承自对应的基本层CU的CTB结构。若对应的基本层CU使用帧内预测，则选择用于基本层CU的帧内预测模式作为当前增强层CU的一个最可能模式，称为Mode_BL。然而，对于图7中描述的CTB结构推导，若投射的增强层CU仅覆盖一个基本层CU以及若基本层CU为帧内预测，则以此基本层CU的预测模式作为Mode_BL。若投射的增强层CU覆盖两个或多个基本层CU以及仅该两个或多个基本层CU中的一个CU为帧内预测，则以该帧内预测的基本层CU的预测模式作为Mode_BL。若投射的增强层CU覆盖两个或多个基本层CU以及若该两个或多个基本层CU为帧内预测，则基于与该两个或多个基本层CU相关的帧内预测模式得到Mode_BL。举例来说，覆盖投射的增强层CU最多的基本层CU的预测模式作为Mode_BL。若两个或多个基本层CU具有与投射的增强层CU相似的覆盖尺寸，则这些预测模式的平均值(使用在现有HEVC中定义的模式编号)可以作为Mode_BL。
在增强层中、与上方和左侧相邻预测单元相关的帧内预测模式，分别称为Mode_Top和Mode_Left，也可以作为最可能模式。若Mode_BL、Mode_Top和Mode_Left均不相同，则Mode_BL被分配给MPM0，Mode_Left被分配给MPM1，以及Mode_Top被分配给MPM2。为方便起见，若MPM0＝mode_A、MPM1＝mode_B、以及MPM2＝mode_C，最可能模式集合也可以表示为{mode_A,mode_B,mode_C}。若三种最可能模式中的一个或多个丢失或等同，则在顺序集合{Mode_BL、Mode_Left、Mode_Top、平面、直流、垂直}中的前三个不同模式被分别分配给MPM0、MPM1和MPM2。若所有的三种最可能模式相同，则最可能模式的取得过程描述如下：
若Mode_BL<2(即，Mode_BL＝＝Mode_Left＝＝Mode_Top＝＝平面或直流)，MPM0设置为平面，MPM1设置为直流，MPM2设置为垂直。
否则，
MPM0设置为Mode_BL，MPM1和MPM2被分别设置为Mode_BL的左相邻模式(left neighboring mode)和右相邻模式(rightneighboring mode)。用于检索左相邻模式和右相邻模式的检索方法与现有HEVC中描述的相同。
一旦使用以上描述的方法得到三种最可能模式，则这三种最可能模式可以与现有的HEVC描述的相同的方式编码以用于亮度帧内模式编码。可以使用5个二进制(5-bin)固定长度编码(fixed length codes,FLC)来编码32个剩余的模式。
本发明的一方面处理帧内编码区块的空间可伸缩。在一个实施方式中，若靠近当前预测单元的左侧或上方的相邻预测单元不可用或不是帧内编码，则根据在参考层中的同一位置(co-located)的预测单元的帧内模式，确定在增强层中的当前预测单元的帧内模式编码的candIntraPredModeA或candIntraPredModeB的值。当当前的预测单元在参考层中仅具有一个同一位置的预测单元时，candIntraPredModeA或candIntraPredModeB可以被设置为同一位置的预测单元的帧内模式。此外，同一位置的预测单元的帧内模式可以基于其方向而首先被映射至一个代表模式(representing mode)。然后，将映射结果分配至candIntraPredModeA或candIntraPredModeB。表3和表4描述了基于方向映射的两个示例。
表3
帧内预测模式 映射至
0(Intra_Planar) 0(Intra_Planar)
1(Intra_DC) 1(Intra_DC)
2～17 10(水平预测)
18～34 26(垂直预测)
表4
帧内预测模式 映射至
0(Intra_Planar) 0(Intra_Planar)
1(Intra_DC) 1(Intra_DC)
2～14 10(水平预测)
15～21 18(对角线预测)
22～34 26(垂直预测)
当在参考层中多于一个预测单元对应于当前预测单元时，candIntraPredModeA或candIntraPredModeB的值可以被设置为模式IM_D。其中，基于同一位置的多个预测单元得到模式IM_D。参考层中同一位置的多个预测单元的多个帧内模式被标记为IM_L[x]，其中x＝0,…,(k-1)，以及k为与同一位置的多个预测单元相关的帧内模式数。可以使用下列任意一种方法。
帧内模式选择方法1根据参考层中同一位置的多个预测单元的位置，自IM_L得到IM_D。包含在较高层中位置(i,j)处的采样的、在较低层中的预测单元的帧内模式被选择为IM_D。其中，对于NxN预测单元，0≤i≤(N-1)以及0≤j≤(N-1)。可以选择预测单元中的任意采样以确定IM_D。举例来说，在(0,0)、(1,1)、(N/2,N/2)、(N/2-1,N/2-1)或(N-1,N-1)处的采样可以用于确定IM_D。
帧内模式选择方法2基于在IM_L中的帧内模式的发生频率来得到IM_D。具有最高发生频率的帧内模式被选择为IM_D。
帧内模式选择方法3根据候选帧内预测模式的确定的顺序(certain order)存储在IM_L中的帧内模式，其中候选帧内预测模式的确定的顺序与帧内预测模式的优先级相关。排序后，在存储清单的上方的帧内模式被选择为IM_D。
帧内模式选择方法4根据上述的选择方法首先选择IM_D。然后基于方向将IM_D映射至代表模式。举例来说，可以使用如表3和表4所示的基于方向的映射。
帧内模式选择方法5根据方向将IM_L中的帧内模式映射至代表模式。此后，具有最高发生频率的一个帧内模式被选择为IM_D。举例来说，可以使用如表3和表4所示的基于方向的映射。
在另一实施方式中，可以基于在较低参考层中的同一位置的预测单元的帧内模式(即，IM_L)和在较高层中的相邻预测单元的帧内模式(即，candIntraPredModeA和candIntraPredModeB)得到在较高层中的帧内编码预测单元的最可能模式(即，candModeList)。在IM_L的帧内模式根据帧内模式的位置或发生频率或帧内模式的优先级排序。其中，自IM_L移除任意重复(duplicate)的模式。首先将candIntraPredModeA和candIntraPredModeB放置于可能的最可能模式P_MPM的清单中。若candIntraPredModeA与candIntraPredModeB相同，则仅candIntraPredModeA与candIntraPredModeB中的一个包括于清单中。此后，跟随(follow)相邻的预测单元的帧内模式，在IM_L中的帧内模式被引入至P_MPM清单中。若在IM_L中的任意帧内模式与candIntraPredModeA或candIntraPredModeB相同，则自P_MPM移除重复的帧内模式。在增强层中允许的最可能模式的数目被标记为m。若在P_MPM中的帧内模式数小于m，则在将P_MPM中的帧内模式的映射结果进一步添加至P_MPM中自IM_L的帧内模式之后的位置。最后，在P_MPM中前m个帧内模式可用作最可能模式并将在P_MPM中前m个帧内模式包括于candModeList中。
在又一实施方式中，将Intra_BL以信号发送以用于在较高层中的每一个编码单元。发送一个标志以指示当前预测单元是否用Intra_BL模式编码。若该标志指示当前预测单元用Intra_BL编码，则基于在较低参考层中同一位置的预测单元得到当前预测单元的帧内模式预测值。否则，自在增强层中相邻预测单元产生当前预测单元的帧内模式预测值。
在又一实施方式中，Intra_BL用作在较高层中的一个帧内预测模式。若相邻于当前预测单元的左侧或上方的相邻预测单元不可用或不是帧内编码，则candIntraPredModeA或candIntraPredModeB的值设置为Intra_BL。此外，Intra_BL被用作一个最可能模式并将Intra_BL放置于candModeList的首位。
当Intra_BL被视为一个帧内预测模式时，总共有36个候选帧内预测模式用于亮度组分。选择其中四个为最可能模式，而其他候选帧内预测模式用固定长度的二进制化(binarization)来编码。放置Intra_BL于candModeList的首位，随后是相邻区块的帧内模式和在参考层中的同一位置的区块的帧内模式。使用2比特的标志来将四个最可能模式发信号。
在又一实施方式中，Intra_Planar、Intra_DC或两者的组合可以排除于较高层中的帧内预测之外。因此，存在有34或33个帧内模式。若Intra_BL被用作一个附加的帧内模式，则模式的总的数目会是35个或34个。若允许一个或两个最可能模式，最多将有33个或34个候选帧内模式。可以使用以上描述的最可能模式选择方法。对于色度组分的帧内模式编码，Intra_Planar、Intra_DC或两者的组合可以在较高层排除。
本发明的一方面利用在不同层中的帧内模式的相关性，以改善编码效率或降低系统复杂性。在一个实施方式中，平面模式和直流模式均被排除于增强层的帧内编码之外。由于平面模式和直流模式均被排除，存在有33个角度帧内预测模式(angular Intra prediction modes)可用于亮度组分的帧内模式编码。在增强层的亮度组分的帧内模式编码期间，一个最可能模式(标记为candModeList[x]，x＝0)用于每一个亮度预测单元。可以自在基本层对应的部分的帧内模式(标记为candIntraPredModeBL)、靠近于当前预测单元左侧的相邻预测单元的帧内模式(标记为candIntraPredModeA)、以及靠近当前预测单元上方的相邻预测单元的帧内模式(标记为candIntraPredModeB)得到最可能模式。
在基本层的对应部分的帧内模式(即，candIntraPredModeBL)推导如下。首先，在增强层的当前单元中选择像素P_EL。如图8所示，若当前单元为4x4，则选择在位置(0,0),(1,1),(2,2)或(3,3)处的像素为P_EL。然而，其他任意位置也可以用作P_EL。若当前单元大于4x4，则在当前单元中的一个4x4单元可以用作P_EL。在图9中，描述了在较大单元中选择4x4单元(A、B或C)用于确定P_EL的示例。在选择4x4单元之后，已选择的4x4单元中的在位置(0,0),(1,1),(2,2)或(3,3)处的像素被选择为P_EL。在基本层的对应于P_EL像素被计算为：
PosY_BL＝PosY_EL*(Width_BL/Width_EL),以及
PosX_BL＝PosX_EL*(Width_BL/Width_EL),
其中，PosY_EL和PosX_EL表示P_EL的坐标，PosY_BL和PosX_BL表示在基本层对应于P_EL的像素的坐标，以及Width_BL和Width_EL分别表示在基本层和增强层的帧的宽度。最后，在基本层的像素(PosX_BL、PosY_BL)的帧内模式用作candIntraPredModeBL。
得到最可能模式candModeList[0]如下所示：
根据本发明的一实施方式，对于色度组分，自增强层的层间帧内模式编码移除平面模式和直流模式。因此，色度预测单元具有依赖chroma_pred_from_luma_enabled_flag的3个或4个候选模式。若chroma_pred_from_luma_enabled_flag等于1，则存在如表5所示的4个可能的色度模式。否则，存在如表6所示的3个候选。色度模式的二进制化如表7和表8所示。
表5
表6
表7
intra_chroma_pred_mode的值 前缀(prefix) 后缀(suffix)
3 0 n/a
0 1 10
1 1 11
2 1 0
表8
intra_chroma_pred_mode的值 前缀(prefix) 后缀(suffix)
2 0 n/a
0 1 0
1 1 1
在另一实施方式中，仅自增强层的层间帧内模式编码移除平面模式。因此，存在有33个角度帧内预测模式加上直流模式可用于亮度组分的帧内模式编码。在增强层的亮度组分的帧内模式编码期间，两个最可能模式(记为candModeList[x]，x＝0～1)用于每一个亮度预测单元。自在基本层的对应部分的帧内模式(记为candIntraPredModeBL)、靠近当前预测单元左侧的相邻预测单元的帧内模式(记为candIntraPredModeA)、以及靠近当前预测单元的上方的相邻预测单元的帧内模式(记为candIntraPredModeB)，得到两个最可能模式。
相似于移除平面模式和直流模式的情况，基本层对应的帧内模式(即，candIntraPredModeBL)的推导如下。首先，在增强层的当前单元中选择像素P_EL。如图8所示，若当前单元为4x4，则选择在位置(0,0),(1,1),(2,2)或(3,3)处的像素为P_EL。然而，其他任意位置也可以用作P_EL。若当前单元大于4x4，则在当前单元中的一个4x4单元可以用作P_EL。图9描述了在较大单元中选择4x4单元(A、B、C)用于确定P_EL的示例。在选择4x4单元之后，已选择的4x4单元中的在位置(0,0),(1,1),(2,2)或(3,3)处的像素被选择为P_EL。在基本层的对应于P_EL像素被计算为：
PosY_BL＝PosY_EL*(Width_BL/Width_EL)以及
PosX_BL＝PosX_EL*(Width_BL/Width_EL),
其中，PosY_EL和PosX_EL表示P_EL的坐标，PosY_BL和PosX_BL表示在基本层对应于P_EL的像素的坐标，以及Width_BL和Width_EL分别表示在基本层和增强层的帧的宽度。最后，在基本层的像素的帧内模式(PosX_BL、PosY_BL)用作candIntraPredModeBL。
得到两个最可能模式candModeList[0]和candModeList[1]如下所示：
根据本发明的一实施方式，对于色度组分，移除平面模式。因此，色度预测单元具有依赖chroma_pred_from_luma_enabled_flag的4个或5个候选模式。若chroma_pred_from_luma_enabled_flag等于1，则存在如表9所示的5个可能的色度模式。否则，存在如表10所示的4个候选模式。色度模式的二进制化如表11和表12所示。
表9
表10
表11
intra_chroma_pred_mode的值 前缀(prefix) 后缀(suffix)
4 0 n/a
0 1 10
1 1 110
2 1 111
3 1 0
表12
intra_chroma_pred_mode的值 前缀(prefix) 后缀(suffix)
3 0 n/a
0 1 0
1 1 10
2 1 11
在又一实施方式中，仅自增强层的层间帧内模式编码移除直流模式。帧内模式编码的过程与仅移除平面模式的过程相同。除了将平面模式由直流模式代替之外，两个最可能模式的推导与以上描述的移除平面模式的两个最可能模式的推导相同。
根据本发明的一实施方式，对于色度组分，移除直流模式。因此，色度预测单元具有依赖chroma_pred_from_luma_enabled_flag的4个或5个候选模式。若chroma_pred_from_luma_enabled_flag等于1，则存在如表13所示的5个可能的色度模式。否则，存在如表14所示的4个候选模式。色度帧内模式的二进制化如先前的表11和表12所示。
表13
表14
在又一实施方式中，没有自增强层的层间帧内模式移除直流模式或平面模式。因此，存在有33个角度帧内预测模式加上平面模式和直流模式可用于亮度组分的帧内模式编码，这与在HEVC中是相同的。在增强层的亮度组分的帧内模式编码期间，使用三个最可能模式(记为candModeList[x]，x＝0～2)。这三个最可能模式用于每一个亮度预测单元。自在基本层的对应部分的帧内模式(记为candIntraPredModeBL)、靠近当前预测单元左侧的相邻预测单元的帧内模式(记为candIntraPredModeA)、以及一个靠近当前预测单元的上方的相邻预测单元(记为candIntraPredModeB)，得到三个最可能模式。可以用与具有平面模式、直流模式、或将平面模式和直流模式移除相同的方法来得到在基本层的对应部分的帧内模式(即，candIntraPredModeBL)。
得到三个最可能模式(candModeList[x]，其中x＝0～2)如下所示：
如上所述收集初始的最可能模式之后，有两种实施方式得到最后的最可能模式。在第一实施方式中，
在第二实施方式中，最后的最可能模式如下所示：
在H.264/AVC可伸缩视频编码，仅一个上下文(context)用于层间纹理预测标志，以及仅一个上下文用于层间残差预测标志。根据本发明的实施方式，也使用相邻信息(neighboring information)，以用于得到层间纹理预测标志、层间差分编码标志、和层间残差预测标志的上下文信息(context formation)。举例来说，上方区块和左侧区块的信息可以用于得到层间纹理预测标志的上下文。若上方区块和左侧区块的层间纹理预测标志均为假(false)，使用context#0。否则，若上方区块和左侧区块的层间纹理预测标志均为真，使用context#2。否则使用context#1。
若相邻信息与自当前区块上方的一行区块中的一个区块相关，则可能需要线缓冲器来存储相邻信息。为消除线缓冲器的需求，一个实施方式仅使用左侧区域的相邻信息以得到层间纹理预测标志的上下文。若左侧区块的层间纹理预测标志为假，则使用context#0。否则，使用context#1。
在H.264/AVC可伸缩视频编码，使用层间纹理预测编码区块的帧内可用标志为0。层间纹理预测编码区块的对应的帧内模式被认为是直流模式。使用直流模式作为默认帧内模式将降低层间纹理预测编码区块的编码效率。本发明的实施方式使用基本层帧内预测模式以得到用于层间纹理预测编码区块的帧内模式预测。
在一个实施方式中，若相邻区块为层间纹理预测编码区块，则相邻区块的对应的基本层帧内预测模式用于最可能模式推导。
在另一实施方式中，若使用层间纹理预测编码区块，则此区块的帧内预测模式被设置为在基本层中的同一位置区块的帧内预测模式。在此区块中的最小单元的帧内预测模式可以不同或相同。若不同的帧内预测模式用于最小单元，则在增强层中的每一个最小单元的帧内预测模式被设置为在基本层中的同一位置的最小单元的帧内预测模式。若相同的帧内预测模式用于在区块中的最小单元，则此区块的帧内预测模式被设置为在基本层中的同一位置的区块的帧内预测模式。自在当前区块中的预定义的点/块/最小单元得到在基本层中的同一位置的区块。举例来说，如图10所示，对应于当前区块的在基本层中的同一位置的区块可以为在基本层中的上方左侧的点/块/最小单元(1010)或中心点/块/最小单元(1020)。由于使用基本层帧内预测模式，与基本层相关的编码信息可以用于增强层。相应地，模式依赖变换(mode dependent transform)和模式依赖系数的扫描可以应用于层间纹理预测编码区块。
在HEVC中，区块可以为帧内编码(即，MODE_INTRA)或帧间编码(即，MODE_INTER或MODE_MERGE)。编码帧内编码区块和帧间编码区块的系数是不同的。一个主要的不同是帧内编码区块不需要编码标志no_residual_syntax_flag。标志no_residual_syntax_flag用于指示区块是否具有至少一个非零系数。若no_residual_syntax_flag为真，则编码器可以设置在此区块中的所有系数的值为零并跳过系数解码。
在层间纹理预测编码区块通常视为帧内编码区块。在一个实施方式中，层间纹理预测编码区块被视为帧间区块。相应地，层间纹理预测编码区块的预测模式被设置为MODE_INTER。编码标志no_residual_syntax_flag以用于层间纹理预测编码区块。应用帧间区块的残差编码以用于系数编码。由于预测模式被设置为MODE_INTER，帧间预测方向(inter_pred_idc)不为0，以及参考帧索引(refIdx)不能全不可用。因此，这些条件可以必须加以避免。举例来说，inter_pred_idc可以被设置为1，LIST_0的refIdex可以被设置为0，以及MV可以被设置为(0,0)。
在另一实施方式中，层间纹理预测编码区块被视为帧内区块。层间纹理预测编码区块的预测模式被设置为MODE_INTRA，以及编码一个no_residual_syntax_flag以用于层间纹理预测编码区块。包含本发明实施方式的用于编码单元的一个示范性语法设计如表15所示。包括的附加的语法元素以粗体字表示。若测试条件满足，则包括标志no_residual_syntax_flag。语法元素BLPredFlag包括于测试条件中，其中语法元素BLPredFlag指示在层间纹理预测中是否编码区块。
表15
图11为包括本发明一实施方式的在增强层中编码帧内编码的可伸缩编码系统的流程图。此过程应用于视频数据被配置在基本层和增强层中的系统。与基本层相比，增强层具有较高的空间分辨率或较佳的视频质量。在编码当前区块之前，编码在基本层中、对应于增强层中的当前区块的同一位置区块，以及当前区块是帧内编码的。如步骤1110所示，该过程开始于自媒体或处理器接收与在增强层中的当前区块的当前帧内模式相关的信息。在此示例中，对于编码器来说，已经确定在增强层中的当前区块的当前帧内模式并存储于媒体中，以及需要自媒体恢复当前帧内模式。媒体可以为计算机存储器，缓冲器(RAM或DRAM)或其他存储设备/媒体。在基于硬件的实现中，通过处理器(例如，控制器、中央处理器、数字信号处理器或电子电路)可以确定在增强层中的当前区块当前帧内模式。在解码器中，与在增强层中的当前区块的当前帧内模式相关的信息对应至与当前帧内模式相关的编码数据。已编码的帧内模式需要被预测性地解码。在步骤1120中确定与在基本层中同一位置区块相关的基本层编码模式。确定编码模式的方式是在现有技术中已知的。举例来说，可以使用在HEVC相关软件中描述的模式确定方法。在步骤1130中，确定与在增强层中当前区块的一个或多个相邻区块相关的一个或多个相邻编码模式。例如根据图2B选择相邻区块并且也可以使用其他相邻区块。然后，如步骤1140所示，基于与在基本层中的与同一位置区块相关的基本层编码模式和与在增强层中的当前区块的一个或多个相邻区块相关的所述一个或多个相邻编码模式，将编码应用至当前帧内模式。在编码器中，使用包括与在基本层中同一位置区块相关的基本层编码模式和与在增强层中当前区块的一个或多个相邻区块相关的所述一个或多个相邻编码模式的预测，来编码当前帧内模式。在解码器中，使用包括与在基本层中的同一位置的区块相关的基本层编码模式和与在增强层中的当前区块的一个或多个相邻区块相关的所述一个或多个相邻编码模式，来解码已解码的当前帧内。在该过程结束时，当前帧内模式被编码(在编码器中)或解码(在解码器中)。
在提供特定应用和其需求的情况下，以上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说，各种修饰是清楚的，以及在此定义的基本原理可以应用与其他实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细节。然而，本领域技术人员能够理解本发明可以实现。
以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(Digital Signal Processor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FieldProgrammable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。

Claims (23)

1.一种可伸缩视频编码系统的帧内模式编码方法，其特征在于，视频数据被配置于基本层和增强层，其中该增强层具有比该基础层更高的空间分辨率或更好的视频品质，在编码当前区块之前，编码在该基本层中、对应于在该增强层中的该当前区块的同一位置的区块，以及该当前区块是帧内编码的，该可伸缩视频编码系统的帧内模式编码方法包括：
自媒体或处理器接收与在该增强层中的该当前区块的当前帧内模式相关的信息；
确定与在该基本层中的该同一位置的区块相关的基本层编码模式；
确定与在该增强层中该当前区块的一个或多个相邻区块相关的一个或多个相邻编码模式；以及
基于与在该基本层中的该同一位置的区块相关的该基本层编码模式和与在该增强层中该当前区块的一个或多个相邻区块相关的该一个或多个相邻编码模式，应用预测编码至该当前帧内模式。
2.根据权利要求1所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，在该增强层中该当前区块的该一个或多个相邻区块包括靠近该当前区块的左侧的左区块和靠近该当前区块的上方的顶区块，该左区块与左区块编码模式相关，以及该顶区块与顶区块编码模式相关。
3.根据权利要求2所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，基于该基本层编码模式、该左区块编码模式和该顶区块编码模式得到一个或多个最可能模式。
4.根据权利要求3所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，该一个或多个最可能模式为三个最可能模式。
5.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式均不是帧内模式，则该三个最可能模式对应于{平面模式、直流模式、垂直模式}。
6.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式对应于相同帧内模式以及该相同帧内模式为该平面模式或该直流模式，则该三个最可能模式对应于{平面模式、直流模式、垂直模式}。
7.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式中的一个或多个对应于相同帧内模式以及该相同帧内模式既不是平面模式也不是直流模式，则该三个最可能模式对应于{该相同帧内模式、该相同帧内模式-1、该相同帧内模式+1}。
8.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式中的两个或多于两个是多个帧内模式，其中该多个帧内模式包含第一帧内模式和第二帧内模式，以及该第一帧内模式不同于该第二帧内模式；若该第一帧内模式和该第二帧内模式均不等于平面模式，则该三个最可能模式对应于{该第一帧内模式、该第二帧内模式、平面模式}；若该第一帧内模式和该第二帧内模式均不等于直流模式，则该三个最可能模式对应于{该第一帧内模式、该第二帧内模式、直流模式}；以及若该第一帧内模式或该第二帧内模式等于该平面模式或直流模式，则该三个最可能模式对应于{该第一帧内模式、该第二帧内模式、垂直模式}。
9.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式对应于三个不同的帧内模式，则该三个最可能模式对应于{该基本层编码模式、该左区块编码模式、该顶区块编码模式}。
10.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、或该顶区块编码模式为平面模式，则该平面模式排除于该三个最可能模式之外；以及若该基本层编码模式、该左区块编码模式、或该顶区块编码模式为直流模式，则该直流模式排除于该三个最可能模式的初始分配之外。
11.根据权利要求10所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式中的任意一个均不是不等于平面模式或直流模式的帧内模式，则该三个最可能模式对应于{该直流模式、垂直模式、水平模式}。
12.根据权利要求10所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式对应于相同的角度帧内模式，则该三个最可能模式对应于{该相同的角度帧内模式、该相同的角度帧内模式-1、该相同的角度帧内模式+1}。
13.根据权利要求10所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式对应于第一角度帧内模式以及第二角度帧内模式，以及该第一角度帧内模式不同于该第二角度帧内模式；则该三个最可能模式对应于{该第一角度帧内模式、该第二角度帧内模式、该直流模式}。
14.根据权利要求10所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式对应于三个不同的角度帧内模式，则该三个最可能模式对应于{该基本层编码模式、该左区块编码模式、该顶区块编码模式}。
15.根据权利要求3所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，该一个或多个最可能模式为一个最可能模式。
16.根据权利要求15所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式对应于不等于平面模式或直流模式的第一帧内模式，则该一个最可能模式对应于该基本层编码模式；若该基本层编码模式不是任意帧内模式以及该左区块编码模式对应于不等于该平面模式或该直流模式的第二帧内模式，则该一个最可能模式对应于该左区块编码模式；以及若该基本层编码模式和该左区块编码模式不是任意帧内模式以及该顶区块编码模式对应于不等于该平面模式或该直流模式的第三帧内模式，则该一个最可能模式对应于该顶区块编码模式。
17.根据权利要求15所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，33个角度帧内预测模式用于该增强层，以及32个剩余模式用5个二进制固定长度编码来表示。
18.根据权利要求1所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，自与在该增强层中该当前区块的一个或多个相邻区块相关的该一个或多个相邻编码模式和与在该基本层中该同一位置的区块相关的该基本层编码模式得到一个或多个最可能模式，以及该一个或多个最可能模式用于该当前帧内模式的预测编码。
19.根据权利要求1所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若与在该增强层中的该当前区块的一个相邻区块相关的一个相邻编码模式不是帧内模式，则在该当前帧内模式的预测编码期间通过相邻基本层编码模式代替该相邻编码模式，其中该相邻基本层编码模式与在该基本层中的相邻同一位置的区块相关，该相邻同一位置的区块对应于在该增强层中该当前区块的该相邻区块。
20.一种可伸缩视频编码系统的帧内模式编码装置，其特征在于，视频数据被配置于基本层和增强层，其中该增强层具有比该基础层更高的空间分辨率或更好的视频品质，在当前区块之前，编码在该基本层中对应于在该增强层中的该当前区块的同一位置的区块以及该当前区块是帧内编码的，该可伸缩视频编码系统的帧内模式编码装置包括：
确定在该增强层中的该当前区块的当前帧内模式的装置；
确定与在该基本层同一位置的区块相关的基本层编码模式的装置；
确定与在该增强层中该当前区块的一个或多个相邻区块相关的一个或多个相邻编码模式的装置；以及
基于与在该基本层中与该同一位置的区块相关的该基本层编码模式和与在该增强层中该当前区块的一个或多个相邻区块相关该一个或多个相邻编码模式，应用预测模式至当前帧内模式的装置。
21.根据权利要求20所述的可伸缩视频编码系统的帧内模式编码装置，其特征在于，该基本层编码模式是用于两个或多个最可能模式的第一最可能模式。
22.根据权利要求21所述的可伸缩视频编码系统的帧内模式编码装置，其特征在于，在该增强层中的该当前区块的该一个或多个相邻区块包括靠近该当前区块左侧的左区块以及靠近该当前区块的上方的顶区块，该左区块与左区块编码模式相关，以及该顶区块与顶区块编码模式相关，以及自该基本层编码模式、该左区块编码模式、以及该顶区块编码模式得到一个或多个最可能模式。
23.根据权利要求20所述的可伸缩视频编码系统的帧内模式编码装置，其特征在于，自与在增强层中的该当前区块的一个或多个相邻区块相关的该一个或多个相邻编码模式和与在基本层中的该同一位置的区块相关的该基本层编码模式得到一个或多个最可能模式，以及该一个或多个最可能模式用于该当前帧内模式的预测编码。
CN201380010197.0A 2012-03-21 2013-03-11 可伸缩视频编码系统的帧内模式编码方法和装置 Active CN104247423B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261613737P 2012-03-21 2012-03-21
US61/613,737 2012-03-21
PCT/CN2012/073253 WO2013143103A1 (en) 2012-03-29 2012-03-29 Methods and apparatuses of intra mode coding for scalable extension of high efficiency video coding (hevc)
CNPCT/CN2012/073253 2012-03-29
US201261676678P 2012-07-27 2012-07-27
US61/676,678 2012-07-27
PCT/CN2013/072403 WO2013139212A1 (en) 2012-03-21 2013-03-11 Method and apparatus for intra mode derivation and coding in scalable video coding

Publications (2)

Publication Number Publication Date
CN104247423A true CN104247423A (zh) 2014-12-24
CN104247423B CN104247423B (zh) 2018-08-07

Family

ID=49221844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380010197.0A Active CN104247423B (zh) 2012-03-21 2013-03-11 可伸缩视频编码系统的帧内模式编码方法和装置

Country Status (4)

Country Link
US (1) US10091515B2 (zh)
EP (1) EP2829065B1 (zh)
CN (1) CN104247423B (zh)
WO (1) WO2013139212A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084577A1 (en) * 2015-11-18 2017-05-26 Mediatek Inc. Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
TWI619380B (zh) * 2016-03-18 2018-03-21 聯發科技股份有限公司 圖像和視訊處理中畫面內預測方法和裝置
CN109510986A (zh) * 2018-10-26 2019-03-22 西安科锐盛创新科技有限公司 带宽压缩中自适应纹理渐变预测方法
CN109561309A (zh) * 2018-10-26 2019-04-02 西安科锐盛创新科技有限公司 带宽压缩中自适应纹理渐变预测的方法
CN109618155A (zh) * 2018-10-26 2019-04-12 西安科锐盛创新科技有限公司 压缩编码方法
CN114424552A (zh) * 2019-09-29 2022-04-29 华为技术有限公司 一种低延迟信源信道联合编码方法及相关设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2797323A4 (en) 2011-10-24 2015-11-04 Infobridge Pte Ltd METHOD AND APPARATUS FOR INTRA PREDICTION MODE DECODING
JP5900612B2 (ja) * 2012-05-15 2016-04-06 ソニー株式会社 画像処理装置及び画像処理方法
WO2014029261A1 (en) 2012-08-23 2014-02-27 Mediatek Inc. Method and apparatus of interlayer texture prediction
US20140064359A1 (en) * 2012-08-31 2014-03-06 Qualcomm Incorporated Intra prediction most probable mode order improvement for scalable video coding
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
US9998735B2 (en) 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US10110895B2 (en) * 2013-12-13 2018-10-23 Qualcomm Incorporated Signaling of simplified depth coding (SDC) for depth intra- and inter-prediction modes in 3D video coding
CN105657420B (zh) * 2015-12-30 2018-03-20 邦彦技术股份有限公司 一种面向hevc的快速帧内预测模式判决方法和装置
US10630985B2 (en) * 2016-05-27 2020-04-21 Samsung Electronics Co., Ltd. Method for scanning coding blocks inside a video frame by video codecs
US10750169B2 (en) 2016-10-07 2020-08-18 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
EP3782364A4 (en) * 2018-04-24 2022-04-20 HFI Innovation Inc. ALTERNATE TRANSFORM JUMP MODE METHODS AND APPARATUS FOR IMAGE AND VIDEO CODING
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
US10638161B2 (en) * 2018-07-13 2020-04-28 Tencent America LLC Methods and apparatus for most probable mode derivation
CN112740689B (zh) 2018-09-18 2024-04-12 华为技术有限公司 视频编码器、视频解码器及对应方法
WO2020057530A1 (en) 2018-09-18 2020-03-26 Huawei Technologies Co., Ltd. Coding method, device, system
US11172197B2 (en) * 2019-01-13 2021-11-09 Tencent America LLC Most probable mode list generation scheme
CN114342408A (zh) * 2019-08-26 2022-04-12 北京字节跳动网络技术有限公司 视频编码中帧内编码模式的扩展
CN111277824B (zh) * 2020-02-12 2023-07-25 腾讯科技（深圳）有限公司 图像预测处理方法、装置、终端及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120450A1 (en) * 2004-12-03 2006-06-08 Samsung Electronics Co., Ltd. Method and apparatus for multi-layered video encoding and decoding
WO2008047929A1 (en) * 2006-10-16 2008-04-24 Sharp Kabushiki Kaisha Methods and systems for signaling multi-layer bitstream data
CN101204094A (zh) * 2005-04-15 2008-06-18 Lg电子株式会社 可缩放地编码和解码视频信号的方法
US20080260043A1 (en) * 2006-10-19 2008-10-23 Vincent Bottreau Device and method for coding a sequence of images in scalable format and corresponding decoding device and method
CN101945270A (zh) * 2009-07-06 2011-01-12 联发科技（新加坡）私人有限公司 视频编码器、进行内部预测及进行视频数据压缩的方法
CN102025995A (zh) * 2010-12-10 2011-04-20 浙江大学 一种可伸缩视频编码的空间增强层快速模式选择方法
CN102088608A (zh) * 2011-02-28 2011-06-08 浙江大学 一种基于部分重建的可伸缩视频编码质量优化方法
US20110164677A1 (en) * 2008-09-26 2011-07-07 Dolby Laboratories Licensing Corporation Complexity Allocation for Video and Image Coding Applications

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
US7289674B2 (en) * 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100987765B1 (ko) * 2003-09-30 2010-10-13 삼성전자주식회사 동영상 부호화기에서의 예측 수행 방법 및 장치
EP1558039A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
JP2008516556A (ja) * 2004-10-13 2008-05-15 トムソン ライセンシング コンプレクシティスケーラブル映像符号化復号化方法及び装置
KR100679025B1 (ko) * 2004-11-12 2007-02-05 삼성전자주식회사 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
US20060153300A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
JP4050754B2 (ja) * 2005-03-23 2008-02-20 株式会社東芝 ビデオエンコーダ及び動画像信号の符号化方法
EP1711018A1 (en) * 2005-04-08 2006-10-11 Thomson Licensing Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures
KR100878811B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
JP5008664B2 (ja) * 2005-07-11 2012-08-22 トムソン ライセンシング マクロブロック適応型レイヤ間テクスチャ内予測の方法及び装置
CN101822060B (zh) * 2007-10-19 2014-08-06 汤姆森许可贸易公司 组合的空间和比特深度可缩放性
KR101306834B1 (ko) * 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
WO2010087157A1 (ja) * 2009-01-29 2010-08-05 パナソニック株式会社 画像符号化方法及び画像復号方法
JP5564061B2 (ja) * 2009-02-06 2014-07-30 トムソン ライセンシング ビデオ・エンコーダおよびデコーダにおける暗黙的および半暗黙的イントラ・モード信号伝達方法および装置
KR101702553B1 (ko) * 2009-07-04 2017-02-03 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
US9578325B2 (en) * 2010-01-13 2017-02-21 Texas Instruments Incorporated Drift reduction for quality scalable video coding
KR101040087B1 (ko) * 2010-01-13 2011-06-09 전자부품연구원 Ｈ.264 ｓｖｃ를 위한 효율적인 부호화 방법
KR20120129944A (ko) * 2010-02-10 2012-11-28 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US8923395B2 (en) * 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
GB2491391B (en) * 2011-06-02 2014-09-03 Canon Kk Encoding mode values representing prediction modes
US20120314767A1 (en) * 2011-06-13 2012-12-13 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
ES2657197T3 (es) * 2011-06-28 2018-03-01 Samsung Electronics Co., Ltd. Aparato de decodificación de video con intra predicción
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US9154796B2 (en) * 2011-11-04 2015-10-06 Qualcomm Incorporated Intra-mode video coding
KR101827939B1 (ko) * 2011-12-13 2018-02-12 주식회사 스카이미디어테크 적응적인 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
US20130188719A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using motion vector for intra-coded block
US9420285B2 (en) * 2012-04-12 2016-08-16 Qualcomm Incorporated Inter-layer mode derivation for prediction in scalable video coding
WO2014047881A1 (en) 2012-09-28 2014-04-03 Intel Corporation Inter-layer intra mode prediction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120450A1 (en) * 2004-12-03 2006-06-08 Samsung Electronics Co., Ltd. Method and apparatus for multi-layered video encoding and decoding
CN101204094A (zh) * 2005-04-15 2008-06-18 Lg电子株式会社 可缩放地编码和解码视频信号的方法
WO2008047929A1 (en) * 2006-10-16 2008-04-24 Sharp Kabushiki Kaisha Methods and systems for signaling multi-layer bitstream data
US20080260043A1 (en) * 2006-10-19 2008-10-23 Vincent Bottreau Device and method for coding a sequence of images in scalable format and corresponding decoding device and method
US20110164677A1 (en) * 2008-09-26 2011-07-07 Dolby Laboratories Licensing Corporation Complexity Allocation for Video and Image Coding Applications
CN101945270A (zh) * 2009-07-06 2011-01-12 联发科技（新加坡）私人有限公司 视频编码器、进行内部预测及进行视频数据压缩的方法
CN102025995A (zh) * 2010-12-10 2011-04-20 浙江大学 一种可伸缩视频编码的空间增强层快速模式选择方法
CN102088608A (zh) * 2011-02-28 2011-06-08 浙江大学 一种基于部分重建的可伸缩视频编码质量优化方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084577A1 (en) * 2015-11-18 2017-05-26 Mediatek Inc. Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
CN109076237A (zh) * 2015-11-18 2018-12-21 联发科技股份有限公司 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置
TWI619380B (zh) * 2016-03-18 2018-03-21 聯發科技股份有限公司 圖像和視訊處理中畫面內預測方法和裝置
CN109510986A (zh) * 2018-10-26 2019-03-22 西安科锐盛创新科技有限公司 带宽压缩中自适应纹理渐变预测方法
CN109561309A (zh) * 2018-10-26 2019-04-02 西安科锐盛创新科技有限公司 带宽压缩中自适应纹理渐变预测的方法
CN109618155A (zh) * 2018-10-26 2019-04-12 西安科锐盛创新科技有限公司 压缩编码方法
CN114424552A (zh) * 2019-09-29 2022-04-29 华为技术有限公司 一种低延迟信源信道联合编码方法及相关设备

Also Published As

Publication number Publication date
US10091515B2 (en) 2018-10-02
EP2829065A1 (en) 2015-01-28
US20150304670A1 (en) 2015-10-22
WO2013139212A1 (en) 2013-09-26
EP2829065B1 (en) 2020-05-13
EP2829065A4 (en) 2015-11-11
CN104247423B (zh) 2018-08-07

Similar Documents

Publication Publication Date Title
CN104247423B (zh) 可伸缩视频编码系统的帧内模式编码方法和装置
CN104205838B (zh) 可伸缩视频编码的方法以及装置
US11388393B2 (en) Method for encoding video information and method for decoding video information, and apparatus using same
AU2015230740B2 (en) Method and apparatus of scalable video coding
US9860528B2 (en) Method and apparatus of scalable video coding
CN105103563A (zh) 在可伸缩视频编码中的量化矩阵信令和表示的方法和装置
KR101466574B1 (ko) 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
RU2575411C2 (ru) Способ и устройство масштабируемого кодирования видео
CN103518374B (zh) 可伸缩视频编码方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant