CN107079170A - 用于多层视频译码的poc值设计 - Google Patents
用于多层视频译码的poc值设计 Download PDFInfo
- Publication number
- CN107079170A CN107079170A CN201480062201.2A CN201480062201A CN107079170A CN 107079170 A CN107079170 A CN 107079170A CN 201480062201 A CN201480062201 A CN 201480062201A CN 107079170 A CN107079170 A CN 107079170A
- Authority
- CN
- China
- Prior art keywords
- poc
- picture
- reset
- values
- decoded picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
- H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
在一个实例中,一种用于译码视频数据的装置包含:存储器,其包括经解码图片缓冲器DPB,其经配置以存储视频数据;以及视频译码器,其经配置以:译码表示图片次序计数POC复位周期识别符的值的数据,其中所述数据包含于与视频数据层的经译码图片相关联的切片的切片段标头中,且其中所述POC复位周期识别符的所述值指示包含所述经译码图片切片的POC复位周期;且使所述层中处于所述POC复位周期中的所述经译码图片的POC值以及所述层中当前存储在所述DPB中的一或多个图片的POC值的至少一部分复位。
Description
本申请案主张2013年11月19日申请的第61/906,373号美国临时申请案的权益,所述申请案特此以全文引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到多种多样的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置等。数字视频装置实施视频译码技术,例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效视频译码(HEVC)标准以及此类标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码,视频切片(即,视频帧或视频帧的一部分)可分割成视频块,视频块还可被称作树块、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧,且参考图片可被称作参考帧。
空间或时间预测产生待译码块的预测性块。残差数据表示待译码原始块与预测性块的间的像素差。根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残差数据来编码经帧间译码块。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩,可将残差数据从像素域变换到变换域,从而产生残差变换系数,可接着量化所述残差变换系数。可扫描一开始按二维阵列排列的经量化变换系数,以便产生变换系数的一维向量,且可应用熵译码来实现更多压缩。
发明内容
一般来说,本发明描述用于多层视频译码中的改进的图片次序计数(POC)信令和导出的技术。明确地说,本发明描述了可改进容错性并为缺失-并置-图片情形提供支持的POC信令和导出设计,在所述情形中,在一个存取单元中,一个层中存在IRAP图片,但另一层中完全无图片。当译码单层视频数据或多层视频数据时,可使用这些技术。一般来说,这些技术包含发信号通知POC复位周期识别符,其指示其中出现切片的POC复位周期。如下文更详细地论述,视频译码器可经配置以在首次获得具有新POC复位周期识别符的切片后即刻执行POC值复位。视频译码器可经配置以每POC复位周期执行POC值复位(例如,POC复位周期中的图片,以及与包含当前存储在经解码图片缓冲器中的新POC复位周期识别符的图片相同的层中的图片的POC值复位)一次。以此方式,如果POC锚图片丢失或损毁或根本不存在,那么仍可恢复同一层中的后续图片的POC值,且因此可正确地识别参考图片,且可以正确次序输出图片。
在一个实例中,一种解码视频数据的方法包含:通过视频解码器来解码表示图片次序计数(POC)复位周期识别符的值的数据,其中所述数据与视频数据层的经译码图片相关联,且其中所述POC复位周期识别符的值指示包含所述经译码图片的POC复位周期;以及通过视频解码器使经译码图片的POC值以及所述层中当前存储在视频解码器的经解码图片缓冲器(DPB)中的一或多个图片的POC值的至少一部分复位。
在另一实例中,一种编码视频数据的方法包含:通过视频编码器来编码表示图片次序计数(POC)复位周期识别符的值的数据,其中所述数据与视频数据层的经译码图片相关联,且其中所述POC复位周期识别符的值指示包含所述经译码图片的POC复位周期;以及通过所述视频编码器来使所述经译码图片的POC值以及所述层中当前存储在视频解码器的经解码图片缓冲器(DPB)中的一或多个图片的POC值的至少一部分复位。
在另一实例中,一种用于译码视频数据的装置包含:存储器,其包括经解码图片缓冲器(DPB),其经配置以存储视频数据;以及视频译码器,其经配置以:译码表示图片次序计数(POC)复位周期识别符的值的数据,其中所述数据与视频数据层的经译码图片相关联,且其中所述POC复位周期识别符的值指示包含所述经译码图片的POC复位周期;且使经译码图片的POC值以及所述层中当前存储在DPB中的一或多个图片的POC值的至少一部分复位。
在另一实例中,一种用于译码视频数据的装置包含:用于译码表示图片次序计数(POC)复位周期识别符的值的装置,其中所述数据与视频数据层的经译码图片相关联,且其中所述POC复位周期识别符的值指示包含所述经译码图片的POC复位周期;以及用于使经译码图片的POC值以及所述层中当前存储在视频解码器的经解码图片缓冲器(DPB)中的一或多个图片的POC值的至少一部分复位的装置。
在另一实例中,一种上面存储有指令的计算机可读存储媒体,所述指令在被执行时,致使用于译码视频数据的装置的处理器译码表示图片次序计数(POC)复位周期识别符的值的数据,其中所述数据与视频数据层的经译码图片相关联,且其中所述POC复位周期识别符的值指示包含所述经译码图片的POC复位周期;且使所述经译码图片的POC值以及所述层中当前存储在视频解码器的经解码图片缓冲器(DPB)中的一或多个图片的POC值的至少一部分复位。
附图和以下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。
附图说明
图1是说明根据本发明的技术的可利用用于译码POC值信息的技术的实例视频编码和解码系统的框图。
图2是说明根据本发明的技术的可实施用于译码POC值信息的技术的视频编码器的实例的框图。
图3是说明根据本发明的技术的可实施用于译码POC值信息的技术的视频解码器的实例的框图。
图4是说明根据本发明的技术的用于编码指示切片的POC复位周期的数据的实例方法的流程图。
图5是说明根据本发明的技术的用于解码指示切片的POC复位周期的数据的实例方法的流程图。
具体实施方式
一般来说,本发明描述用于视频译码的图片次序计数(POC)值设计,其可有益于多层视频译码。本发明描述对多层视频译码中的POC值的信令和导出的各种设计改进。本发明的技术还可应用于单层视频译码。
POC值通常用以识别图片,且用以控制经解码图片以正确次序输出。举例来说,当相对于参考图片对当前图片的块进行帧间预测时,可使用所述参考图片的POC值来识别所述参考图片。更明确地说,将包含于参考图片列表中的POC值参考图片可在参数集中发信号通知,例如在序列参数集(SPS)、图片参数集合(PPS)和/或对应于所述块的切片标头中。以此方式,视频编码器可通过发信号通知对应于参考图片列表中的参考图片的位置的指向参考图片列表中的索引来识别参考图片,且视频解码器可通过构建参考图片列表(基于POC值)并使用参考索引来识别参考图片列表中的参考图片的位置,来识别参考图片。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也被称为ISO/IEC MPEG-4AVC),包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。近来,新的视频译码标准(即高效视频译码(HEVC))的设计已由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)定案。最新的HEVC草案说明书(且下文中被称作HEVC WD)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1003-v1.zip获得。HEVC的多视图扩展(即MV-HEVC)也正由JCT-3V开发。下文中被称作MV-HEVC WD6的最新MV-HEVC工作草案(WD)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1004-v3.zip获得。被称为SHVC的对HEVC的可缩放扩展也正由JCT-VC开发。HEVC的一个最近工作草案(WD)(下文中被称作SHVC WD4)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1008-v1.zip获得。
特定经译码图片的由PicOrderCntVal表示的POC值表示所述图片相对于同一经译码视频序列中的其它图片在图片输出过程中的相对次序。POC值包含最低有效位(LSB)和最高有效位(MSB);POC是通过串接MSB与LSB来获得的。LSB可在切片标头中发信号通知,且解码器可基于当前图片的NAL单元类型以及解码次序中不是NAL单元类型随机存取跳过前沿(RASL)或随机存取可解码前沿(RADL)或不是子层非参考图片但具有等于0的temporal_id值的先前图片的MSB和LSB,来计算MSB。具有等于0的TemporalId和等于当前图片的nuh_layer_id的nuh_layer_id且不是RASL图片、RADL图片或子层非参考图片的此类图片在下文中将被称作POC锚图片。
当当前图片是具有等于值1的NoRaslOutputFlag的IRAP图片,或作为位流的第一图片的CRA图片时,推断POC MSB的值将等于0。在多层位流(例如具有一个以上层的SHVC或MV-HEVC位流)中,可存在其中一个或一个以上图片是IRAP图片且一或多个图片是非IRAP图片的存取单元;此类AU被称作非对准IRAP AU。当解码含有非对准IRAP AU的位流时,基于发信号通知的POC LSB值为所述图片导出的POC通常很可能将违反存取单元中的所有图片应具有相同的PicOrderCntVal值的位流要求。
在MV-HEVC WD5中,可使用旗标poc_reset_flag来使图片的POC复位,使得即使在位流中存在非对准IRAP AU时,也将调整当前图片以及DPB中的图片的PicOrderCntVal的值,使得AU中的所有图片的POC相同。
陈等人在2014年4月4日申请的“可包含非对准IRAP图片的多层位流的跨层POC对准(CROSS-LAYER POC ALIGNMENT FOR MULTI-LAYER BITSTREAMS THAT MAY INCLUDE NON-ALIGNED IRAP PICTURES)”第14/245,115号美国专利申请案描述实现POC复位的另一方法,其使用两个旗标:poc_msb_reset_flag和poc_lsb_reset_flag。前者旗标使PicOrderCntVal的MSB复位,且后者旗标使PicOrderCntVal的LSB复位。这两个旗标都在切片标头中发信号通知。
2013年10月14日申请的第61/890,868号美国临时申请案提出含有当包含POC MSB或POC复位指示的图片丢失时用于恢复正确POC值的信息的SEI消息。
可在http://phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O0275-v3.zip获得的文献JCTVC-O0275v3以及可在http://phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O0176-v3.zip获得的JCTVC-O0176v3提出用于在多层视频译码中发信号通知和导出POC值的某一其它方法。
现有的POC设计,即,现有的用于在多层视频译码中发信号通知和导出POC值的方法可遇到以下问题:在一些方法中,特定层的图片的POC导出取决于来自较低层的图片的信息,例如由NAL单元类型指示的图片类型。因此,如果此较低层图片丢失,那么无法正确地导出一些图片(例如特定层的图片)的POC值。在缺乏本发明的技术的情况下,将不支持例如其中一个存取单元在一个层中包含IRAP图片但针对另一层完全无图片的那些情况(被称作缺失-并置-图片情形)的使用情况。一些方法在明确指定一些SEI消息的POC相关持久性范围或一些SEI消息语法元素的POC相关语义时有问题。
本发明中所描述的POC值设计包含各个方面,其中的任一者或全部可单独或以任何组合实施。本发明的技术可克服上文所论述问题中的一或多者。在一个实例中,视频译码器(例如视频编码器和视频解码器)可译码(编码或解码)例如视频数据切片的POC复位周期识别符。POC复位周期识别符可形成切片的切片段标头的一部分,以识别所述切片所对应的POC复位周期。
本发明的某些技术是基于有时当前切片(或包含当前切片的当前图片)的POC值可能不是可确定的认识,因为具有参考POC值(即,为导出当前切片或当前图片的POC值充当参考的POC值)的图片丢失或因为其它原因而未接收到。举例来说,存取单元可包含基础层图片的图片的数据,但可不包含增强层图片的数据(例如归因于丢失或省略)。这可导致不可正确地确定的POC值。因此,视频译码器可每POC复位周期执行POC值复位至多一次,这可允许视频解码器确定POC值,即使在接收到包含基础层的图片的数据但不包含增强层的图片的数据的存取单元之后也是如此。一般来说,POC值复位可包含:确定POC复位周期的锚POC值的值;以及至少部分地基于所述锚POC值,调整同一层中且当前存储在经解码图片缓冲器(DPB)中的图片的POC值。以此方式,即使再无法确定实际锚POC值(例如归因于丢失或其它错误)时,也可确定POC复位周期的POC值,且恰当地参考DPB中的先前经解码图片的POC值,其可用作参考图片来解码后续图片。POC复位可仅包含使POC值的最高有效位(MSB)复位,或POC值的全复位(包含使MSB和最低有效位(LSB)两者复位)。
本发明的技术还可支持其中存取单元(即,包含特定时刻的所有网络抽象层(NAL)单元的数据单元)针对一个层包含数据但针对另一层不包含数据的技术。举例来说,不同的视频数据层可具有不同的帧速率,例如出于时间可缩放性的目的。存取单元具有其数据的层的图片可为帧内随机存取点(IRAP)图片,并因此充当所述层的POC锚图片。通常,希望POC值在若干层之间对准。因此,本发明的技术可用于保持POC值在视频译码层之间的对准,即使图片不是在每一层处在每一时刻均提供也是如此。
举例来说,视频译码器可经配置以每POC复位周期执行POC复位至多一次。多个图片可属于同一POC复位周期。此外,多个图片可指示POC值将在POC复位周期期间复位。然而,并非响应于指示POC值的每一图片将复位而使POC值复位,视频译码器可经配置以确定POC值在POC复位周期期间是否已复位(例如由于POC复位周期的先前图片指示POC值将复位)。接着,仅当POC值在对应的POC复位周期内尚未复位时,视频译码器才可使POC值复位。
此外,视频译码器可经配置以译码切片段标头中的POC LSB值。当更新与经解码图片缓冲器(DPB)中的切片相同的层中的图片的POC值且用于导出当前图片的POC MSB值时,视频译码器可使用此POC LSB值。POC锚图片可具有POC复位类型值,其指示POC锚图片的POC值将完全复位,或仅POC锚图片的POC值的MSB将复位。视频译码器可将POC锚图片的LSBPOC值设定为等于切片段标头中发信号通知的POC LSB值。POC锚图片可对应于包含所述切片的POC复位周期的第一图片。视频译码器还可使DPB中的其它图片的POC值递减POC LSB值。
视频译码器还可经配置以译码切片段标头中的两位指示(例如poc_reset_idc语法元素的值),以指示包含所述切片的图片的POC复位类型。所述指示可指示POC复位类型不是POC复位,仅使POC值的MSB值复位,使POC值的MSB和LSB值两者复位(还被称作全复位),或发信号通知额外信息以指示复位类型,其中额外信息可指示是将执行全复位还是仅MSB复位,以及POC LSB值,如上文所论述。视频译码器可配置有POC锚图片(POC复位周期的开头处的那些图片)必须具有指示全复位、MSB复位的POC复位类型或发信号通知额外信息的限制。视频译码器可译码同一POC复位周期的具有指示发信号通知额外信息的POC复位类型的多个图片,这可改进容错性或提供对缺失-并置-图片情形的支持。以此方式,视频译码器可经配置以基于POC复位类型(例如表示POC复位类型的语法元素的值)执行POC复位(例如全复位或仅MSB复位)。
此外,视频译码器可经配置以译码参数集(例如PPS或SPS)中的指示,其指示POC复位信息是否在对应的切片段标头中发信号通知。举例来说,当PPS中的slice_segment_header_extension_present_flag语法元素等于1时,PPS可包含此指示,所述指示的所述值可指示切片段标头是否将包含POC复位信息(例如POC复位周期识别符和/或POC复位类型指示符)。
图1是说明根据本发明的技术的可利用用于译码POC值信息的技术的实例视频编码和解码系统10的框图。如图1中所示,系统10包含源装置12,其提供稍后将由目的地装置14解码的经编码的视频数据。明确地说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括多种多样的装置中的任一者,包含桌上型计算机、笔记本型(即,膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下,可装备源装置12和目的地装置14以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中,计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14。可根据通信标准(例如,无线通信协议)调制经编码的视频数据,并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如,局域网、广域网或全球网络,例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。
在一些实例中,经编码数据可从输出接口22输出到存储装置。类似地,经编码数据可由输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码的视频数据的合适数字存储媒体。在另一实例中,存储装置可对应于可存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置经由流式传输或下载来存取所存储的视频数据。文件服务器可为任何类型的能够存储经编码的视频数据且将经编码的视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接式存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含无线通道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等),或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的发射可为流式传输发射、下载发射或其组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者,例如空中电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如,经由HTTP的动态自适应流式传输(DASH))、编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频传输,以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
在图1的实例中,源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明,源装置12的视频编码器20可经配置以应用根据本发明的技术的用于译码POC值信息的技术。在其它实例中,源装置和目的地装置可包括其它组件或布置。举例来说,源装置12可从外部视频源18(例如外部相机)接收视频数据。同样,目的地装置14可与外部显示装置介接,而非包含集成式显示装置。
图1所说明的系统10仅为一个实例。根据本发明的技术的用于译码POC值信息的技术可由任何数字视频编码和/或解码装置执行。尽管本发明的技术一般由视频编码装置来执行,但是所述技术也可由视频编码器/解码器(通常被称作“编码解码器”)来执行。此外,本发明的技术还可由视频预处理器执行。源装置12和目的地装置14仅为源装置12产生经译码视频数据以供发射到目的地装置14的此类译码装置的实例。在一些实例中,装置12、14可以大体上对称的方式操作,使得装置12、14中的每一者包含视频编码和解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频传播以例如用于视频流式传输、视频重放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置,例如摄像机、含有先前所捕获视频的视频存档和/或用于接收来自视频内容提供者的视频的视频馈送接口。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18是视频摄像机,那么源装置12和目的地装置14可形成所谓的摄像机电话或视频电话。然而,如上文所提到,本发明中所描述的技术可大体上适用于视频译码,且可应用于无线和/或有线应用。在每一情况下,所俘获、预先俘获或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体,例如无线广播或有线网络发射,或存储媒体(即,非暂时性存储媒体),例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中,网络服务器(未图示)可从源装置12接收经编码视频数据,并且(例如)经由网络传输将经编码视频数据提供到目的地装置14。类似地,媒体生产设施(例如,光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据,且生产含有经编码的视频数据的光盘。因此,在各种实例中,计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息,所述语法信息还供视频解码器30使用,所述语法信息包含描述块和其它经译码单元(例如,GOP)的特性和/或处理的语法元素。显示装置32将经解码视频数据显示给用户,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据一种视频译码标准(例如目前正在开发的高效视频译码(HEVC)标准)来操作,且可符合HEVC测试模型(HM)。或者,视频编码器20和视频解码器30可根据其它专有或业界标准来操作,所述标准例如是ITU-T H.264标准,也被称为MPEG-4,第10部分,高级视频译码(AVC),或此类标准的扩展。然而,本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。尽管图1中未展示,但在一些方面中,视频编码器20和视频解码器30可分别各自与音频编码器和解码器集成,并且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件,以处置对共同数据流或单独数据流中的音频和视频两者的编码。如果适用,那么多路复用器-多路分用器单元可符合ITU H.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。
ITU-T H.264/MPEG-4(AVC)标准是作为被称为联合视频小组(JVT)的集体联盟的产品而由ITU-T视频译码专家组(VCEG)连同ISO/IEC移动图片专家组(MPEG)制定。在一些方面中,本发明中描述的技术可应用于大体符合H.264标准的装置。H.264标准描述于ITU-T研究组的日期为2005年3月的“ITU-T推荐H.264,用于通用视听服务的高级视频译码”(ITU-TRecommendation H.264,Advanced Video Coding for generic audiovisual services)中,其在本文中可称为H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者,例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件固件或其任何组合。当部分地用软件实施所述技术时,装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码裝置根据例如ITU-T H.264/AVC相对于现有裝置的几个额外能力。举例来说,虽然H.264提供了九个帧内预测编码模式,但HM可提供多达三十三个帧内预测编码模式。
一般来说,HM的工作模型描述视频帧或图片可分成包含亮度和色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可定义LCU的大小,LCU是就像素数目来说的最大译码单元)。切片包含按译码次序的若干连续树块。视频帧或图片可被分割成一或多个切片。每一树块可根据四叉树分裂成若干译码单元(CU)。一般来说,四叉树数据结构每CU包含一个节点,其中根节点对应于所述树块。如果一个CU分裂成四个子CU,那么对应于CU的节点包含四个叶节点,其中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说,四叉树中的节点可包含分裂旗标,其指示对应于所述节点的所述CU是否分裂成若干子CU。用于CU的语法元素可递归地来定义,且可取决于CU是否分裂成数个子CU。如果CU不进一步分裂,那么将其称为叶CU。在本发明中,叶CU的四个子CU也将被称作叶CU,即使不存在原始叶CU的明确分裂时也是如此。举例来说,如果16x16大小的CU不进一步分裂,那么这四个8x8子CU将也被称作叶CU,虽然16x16CU从未分裂。
CU具有与H.264标准的宏块类似的目的,除了CU不具有大小区别。举例来说,树块可分裂成四个子节点(也称为子CU),且每一子节点又可为父节点且可分裂成另外四个子节点。最终的未经分裂子节点(被称作四叉树的叶节点)包括译码节点,还被称作叶CU。与经译码位流相关联的语法数据可定义树块可分裂的最大次数,被称作最大CU深度,且还可定义译码节点的最小大小。因此,位流还可定义最小译码单元(SCU)。本发明使用术语“块”来指HEVC的上下文中的CU、PU或TU中的任一者,或者其它标准的上下文中的类似数据结构(例如,其在H.264/AVC中的宏块和子块)。
CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小,并且形状必须是正方形。CU的大小可介于8×8个像素至多达具有最大64×64个像素或更大的树块大小的范围内。每一CU可含有一或多个PU和一或多个TU。举例来说,与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可以分割成非正方形形状。举例来说,与CU相关联的语法数据还可描述根据四叉树将CU分割成一或多个TU。ATU可为正方形或非正方形(例如,矩形)形状。
HEVC标准允许根据TU的变换,TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定,但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中,对应于CU的残差样本可使用被称为“残差四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数,所述变换系数可经量化。
叶CU可包含一或多个预测单元(PU)。一般来说,PU表示对应于相对应的CU的全部或一部分的空间区域,并且可包含用于检索PU的参考样本的数据。此外,PU包含与预测有关的数据。举例来说,当PU经帧内模式编码时,用于PU的数据可包含在残差四分树(RQT)中,残差四分树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例,当PU经帧间模式编码时,PU可包含定义PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片,和/或运动向量的参考图片列表(例如,列表0、列表1或列表C)。
经帧间预测PU(更明确地说PU对应于的CU的经帧间预测部分)的运动信息可包含参考图片列表识别符和对应于参考图片在参考图片列表中的位置的参考索引。视频编码器20(例如)可构建参考图片列表(包含对原先构建的参考图片列表作出的任何修改),且在参考图片列表中的参考图片当中执行运动搜索,以识别接近匹配的块(例如基于绝对差总和(SAD)度量,或相似度量),还被称作参考块。为了发信号通知参考块的位置,视频编码器20可编码所述PU的参考图片列表识别符和参考索引。此外,视频编码器20可编码表示待包含于参考图片列表中的参考图片的数据,例如通过在切片标头中和/或参数集(例如图片参数集合或序列参数集)中发信号通知表示参考图片的POC值的数据。
视频编码器20和视频解码器30可通常经配置以根据视频译码标准或对视频译码标准的扩展(例如MV-HEVC或SHVC)来操作。出于实例的目的,下文相对于MV-HEVC来描述本发明的技术,但应理解,这些技术可适用于其它视频译码标准或扩展,例如SHVC。
POC复位周期可如下定义,例如在MV-HEVC的子条款F.3中:
F.3.1图片次序计数(POC)复位周期:层内按解码次序的全部具有大于0的poc_reset_idc和相同poc_reset_period_id值的图片的序列。
或者,以上定义中的短语“在层内”可省略,例如如下:
F.3.2图片次序计数(POC)复位周期:按解码次序的全部具有大于0的poc_reset_idc和相同的poc_reset_period_id值的图片的序列。
在一个实例中,MV-HEVC(或另一适用标准或标准扩展)可要求POC复位周期中的图片在层内按解码次序连续。然而,允许这些图片与同一层中具有等于0的poc_reset_idc的图片交错可增加灵活性,且允许使用相同开销来实现对群集包丢失的较好容错性。
视频编码器20可将切片指派给相应POC的复位周期。每一POC复位周期可包含一或多个切片。因此,当POC值针对POC复位周期而复位(包含使在译码次序中在POC复位周期之前的参考图片的POC值复位)时,视频编码器20可基于复位的POC值来发信号通知将包含于参考图片列表中的参考图片的POC值。
一般来说,当执行POC复位时,视频编码器20和视频解码器30分别使POC锚图片和当前存储在经解码图片缓冲器(DPB)中的其它图片的POC值复位。接着,视频编码器20和视频解码器30可分别基于POC锚图片的经复位的POC值确定POC复位周期中的其它图片的POC值。在一些实例中,视频编码器20和视频解码器30分别可执行POC锚图片的POC复位,即在POC锚图片的译码期间。
根据本发明的技术,可基于在切片段标头中发信号通知的POC复位周期识别符来指定层特定POC复位周期。就是说,视频编码器20和视频解码器30可分别译码表示切片段标头中的POC复位周期识别符的数据。属于包含至少一个IRAP图片的存取单元的每一非IRAP图片可为含有非IRAP图片的层中的POC复位周期的开头。就是说,视频编码器20可将含有至少一个IRAP图片的存取单元的非IRAP图片的POC复位类型设定为指示所述非IRAP图片是新POC复位周期的开头。此外,视频编码器20可基于POC复位类型来执行POC复位。在此存取单元中,每一图片将为含有所述图片的层中的POC复位周期的开头。POC复位,仅POC MSB或POCMSB和POC LSB两者,以及DPB中的同一层图片的POC值的更新可仅对每一POC复位周期内的第一图片适用。
视频编码器20可在视频解码器30可用来导出包含具有切片段标头的切片的层中的图片的POC值的切片段标头中发信号通知POC LSB值。在切片段标头中发信号通知的POCLSB值可用于导出增量POC值,其用于更新DPB中的同一层图片的POC值,且还用于导出当前图片的POC值的POC MSB。在当前图片具有发信号通知的此POC LSB值时,且在位流中存在与所述当前图片相关联的POC锚图片时,所述POC锚图片具有全POC复位或POC MSB复位的指示。为当前图片发信号通知的此LSB值等于POC锚图片的POC LSB值,POC锚图片也是POC复位周期的作为当前图片的第一图片。
视频编码器20和视频解码器30分别可译码切片段标头的两位指示语法元素,其指示具有切片段标头的切片的POC复位的类型。对于不具有POC值或POC MSB值复位的图片的此指示,视频编码器20和视频解码器30可分别译码值0。对于仅具有POC MSB复位的图片的此指示,视频编码器20和视频解码器30可分别译码值1。对于具有全POC复位的图片的此指示,视频编码器20和视频解码器30可分别译码值2。对于具有全POC复位或POC MSB复位且具有发信号通知的额外信息的图片的此指示,视频编码器20和视频解码器30可分别译码值3。视频编码器20和视频解码器30可分别配置有对于两位指示具有值1或2的图片必定是POC复位周期的开头的限制。或者,在一些实例中,对于两位指示具有值3的图片也可为POC复位周期的开头。视频编码器20和视频解码器30可分别配置有属于POC复位周期但不是POC复位周期中的第一图片的图片对于两位指示必定具有值3的限制。
通过作为POC复位周期的开头的对于两位指示具有值3的图片来支持其中一个存取单元在一个层中包含IRAP图片但对于另一层完全无图片的使用情况。换句话说,通过提供如对于两位指示由值3指示的额外信令信息,视频编码器20和视频解码器30分别可译码包含在一个层中具有IRAP图片且在另一层中不具有图片的至少一个存取单元的视频数据。
本发明的技术可增强容错性。举例来说,可通过具有按解码次序在图片之后且对于两位指示指派值3的一或多个同一层图片,来克服POC复位周期的开头处的图片的丢失。额外信息可包含开始POC复位周期的POC锚图片的POC LSB值。因此,可应用用于支持缺失-并置-图片情形的相同过程来解决容错性问题。
下表是根据本发明的技术的切片段标头的语法的实例。可相对于例如MV-HEVC的切片语法标头来修改所述切片语法标头。在下文的实例语法表和语义中,使用斜体字来表示对MV-HEVC的添加,且使用前面带“去除”的加括号文本(例如[去除:“去除文本”])来表示从MV-HEVC的删除。此外,关于“要求”的陈述应理解为形成标准或标准扩展的文本的一部分,而不是出于本发明的技术的目的的要求。
或者,可使用不同数目的位(例如译码为u(14))来发信号通知poc_reset_period_id。
当存在时,切片片段标头语法元素slice_pic_parameter_set_id、pic_output_flag、no_output_of_prior_pics_flag、slice_pic_order_cnt_lsb、short_term_ref_pic_set_sps_flag、short_term_ref_pic_set_idx、num_long_term_sps、num_long_term_pics、slice_temporal_mvp_enabled_flag、discardable_flag、cross_layer_bla_flag、inter_layer_pred_enabled_flag、num_inter_layer_ref_pics_minus1、poc_reset_idc、poc_reset_period_id、full_poc_reset_flag和poc_lsb_val的值在经译码图片的所有切片段标头中将相同。当存在时,对于i的每一可能值,切片段标头语法元素lt_idx_sps[i]、poc_lsb_lt[i]、used_by_curr_pic_lt_flag[i]、delta_poc_msb_present_flag[i]、delta_poc_msb_cycle_lt[i]和inter_layer_pred_layer_idc[i]的值在经译码图片的所有切片段标头中将相同。
[去除:“等于1的poc_reset_flag指定为当前图片导出的图片次序计数等于0。等于0的poc_reset_flag指定为当前图片导出的图片次序计数可或可不等于0。当不存在时,推断poc_reset_flag的值等于0。
注-当poc_reset_flag在基础层图片中等于1时,取决于应用了子条款8.3.1或子条款F.8.3.1的解码过程,不同地导出PicOrderCntVal。此外,当具有等于1的poc_reset_flag的基础层图片根据子条款8.3.1或F.8.3.1为prevTid0Pic时,在子条款8.3.1和F.8.3.1中不同地导出变量prevPicOrderCntLsb。为了避免在子条款8.3.1或F.8.3.1中的一者中不当地更新PicOrderCntMsb,当prevTid0Pic是具有等于1的poc_reset_flag的基础层图片,且以下条件中的任一者对于用子条款8.3.1或F.8.3.1中的一者导出的prevPicOrderCntLsb为真时,prevTid0Pic的pic_order_cnt_lsb的值将使得相同条件对于用子条款8.3.1或F.8.3.1中的另一者导出的prevPicOrderCntLsb也为真:
-(slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2))
-(slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2))”]。
slice_segment_header_extension_length指定切片段标头扩展数据以字节为单位的长度,不包含用于发信号通知slice_segment_header_extension_length本身的位。如果poc_reset_info_present_flag等于0,那么slice_segment_header_extension_length的值将在0到256的范围内,包含0和256。否则,当poc_reset_idc小于3时,slice_segment_header_extension_length的值将在1到256的范围内,包含1和256,且当poc_reset_idc等于3时,在1+Ceil((log2_max_pic_order_cnt_lsb_minus4+5)/8)到256的范围内。
poc_reset_idc等于0指定当前图片的图片次序计数值的最高有效位和最低有效位均不复位。poc_reset_idc等于1指定仅可复位当前图片的图片次序计数值的最高有效位。poc_reset_idc等于2指定当前图片的图片次序计数的最高有效位和最低有效位均不复位。poc_reset_idc等于3指定可复位当前图片的图片次序计数值的仅最高有效位或最高有效位和最低有效位两者,且发信号通知额外图片次序计数信息。当不存在时,推断poc_reset_poc的值等于0。
这是以下约束适用的位流一致性的要求:
-对于RASL图片、RADL图片、子层非参考图片或具有大于0的TemporalId的图片,poc_reset_idc的值将不等于1或2。
-当存取单元中的图片的poc_reset_idc的值等于1时,存取单元中的所有图片的poc_reset_idc的值将等于1。(或者,可写入此元素:当存在时,存取单元中的所有图片的poc_reset_idc的值将相同)。
-当存取单元中的图片的poc_reset_idc的值等于2时,存取单元中的所有图片的poc_reset_idc的值将等于2。(或者,可全部忽略此元素)
-当存取单元中的一个图片是具有nal_unit_type的特定值的IRAP图片,且相同存取单元中存在具有nal_unit_type的不同值的至少一个其它图片,对于存取单元中的所有图片,poc_reset_idc的值将等于1或2。
-当存取单元中具有等于0的nuh_layer_id的图片是IDR图片且同一存取单元中存在至少一个非IDR图片时,对于存取单元中的所有图片,poc_reset_idc的值将等于1。
-当存取单元中具有等于0的nuh_layer_id的图片不是IDR图片时,对于存取单元中的任一图片,poc_reset_idc的值将不等于1。
poc_reset_period_id识别POC复位周期。同一层中将不存在按解码次序连续的具有等于1或2的poc_reset_period_id和poc_reset_idc的相同值的两个图片。
注-层中的多个图片具有相同的poc_reset_period_id值且具有等于1或2的poc_reset_idc不受禁止,除非此类图片出现在按解码次序的两个连续存取单元中。为了使这两个图片出现在位流中的可能性最小化(归因于图片损失、位流提取、搜寻或拼接操作),编码器应针对每一POC复位周期将poc_reset_period_id的值设定为随机值(经受以上指定的约束)。
在一些实例中,在以上的“注”之后,可另外插入以下内容:
这是以下约束适用的位流一致性的要求:
-当相同POC复位周期中存在具有等于1和3的poc_reset_idc的图片时,所述POC复位周期中具有相等3的poc_reset_idc的所有图片按解码次序将在具有等于1的poc_reset_idc的图片之后。
-当同一POC复位周期中存在具有等于2和3的poc_reset_idc的图片时,所述POC复位周期中具有相等3的poc_reset_idc的所有图片按解码次序中将在具有等于2的poc_reset_idc的图片之后。
当同一层中按解码次序的先前图片并不属于同一POC复位周期时,等于1的full_poc_reset_flag指定当前图片的图片次序计数值的最高有效位和最低有效位两者复位。当同一层中按解码次序的先前图片不属于同一POC重设周期时,等于0的full_poc_reset_flag指定复位当前图片的图片次序计数值的仅最高有效位。
poc_lsb_val指定可用以导出当当前图片的图片次序计数的值。poc_lsb_val语法元素的长度是log2_max_pic_order_cnt_lsb_minus4+4个位。
位流一致性的要求是:当poc_reset_idc等于3时,且位流中存在位于与当前图片相同的层中、具有等于1或2的poc_reset_idc且属于同一POC复位周期的按解码次序的先前图片picA时,picA将为按解码次序在与当前图片相同的层中;不是RASL图片、RADL图片或子层非参考图片;且具有等于0的TemporalId的先前图片相同的图片,且当前图片的poc_lsb_val的值将等于picA的slice_pic_order_cnt_lsb的值。
变量numRsvBits和BytesInSliceSegmtHdrExt是如下导出的:
slice_segment_header_extension_reserved_bits可具有任何值。slice_segment_header_extension_reserved_bits语法元素的长度等于numRsvBits个位。解码器将忽略slice_segment_header_extension_reserved_bits的值。其值并不影响解码器对本说明书的此版本中指定的简档的符合性。
视频解码器30可执行用于开始存取单元中的第一图片的解码的以下解码过程:
将PocResetFlag的值设定成0。
将变量DeltaPocVal设定成0。
对于从0到63(包含0和63)的i的所有值,将变量UpdateSubDpbFlag[i]设定成等于0。
视频解码器30可执行用于结束存取单元中的最后一个图片的解码的以下解码过程:
如果PocResetFlag等于1,那么以下适用:
-对于从0到63(包含0和63)的i的所有值,如果UpdateSubDpbFlag[i]等于0,那么在DPB中且具有等于i的nuh_layer_id的每一图片的PicOrderCntVal递减DeltaPocVal。
视频编码器20和视频解码器30可分别译码包含于PPS中的指示,用于控制POC复位信息在对应于PPS的图片的切片的切片段标头中的存在。举例来说,PPS可包含slice_segment_header_extension_present_flag语法元素。在slice_segment_header_extension_present_flag等于1的条件下,POC复位信息可存在于对应于PPS的图片的切片中。一般来说,当图片的切片包含具有与PPS的识别符的值相等的值的PPS识别符语法元素时,可将图片称为对应于PPS。
下表提供PPS的语法的一个实例。本实例表示PPS的经修改语法,以执行本发明的技术。在表中以斜体字且以PPS的语法元素的语义来显示所添加的相对于MV-HEVC的标的物。因此,视频编码器20和视频解码器30分别可根据以下语法和语义来译码PPS:
等于0的pps_extension_flag指定无pps_extension_data_flag语法元素存在于PPS RBSP语法结构中。当slice_segment_header_extension_present_flag等于0时,pps_extension_flag在遵守本说明书的此版本的位流中将等于0,保留pps_extension_flag的值1,用于由ITU-T|ISO/IEC未来使用,且解码器将忽略PPS NAL单元中在pps_extension_flag的值1后的所有数据。
等于0的poc_reset_info_present_flag指定语法元素poc_reset_idc不存在于参考PPS的切片的切片段标头中。等于1的poc_reset_info_present_flag指定语法元素poc_reset_idc存在于参考PPS的切片的切片段标头中。
等于0的pps_extension2_flag指定无pps_extension_data_flag语法元素存在于PPS RBSP语法结构中。pps_extension2_flag在符合本说明书的此版本的位流中将等于0。保留pps_extension2_flag的值1以供ITU-T|ISO/IEC未来使用。解码器将忽略PPS NAL单元中在pps_extension2_flag的值1后的所有数据。
可将数学函数的以下定义添加到MV-HEVC,例如添加到MV-HEVC的子条款5.8:
视频解码器30可对POC值执行以下解码过程。可在MV-HEVC的经修改版本或对视频译码标准的其它扩展中描述此过程。下文相对于MV-HEVC来展示变化,其中使用[去除:“”]来展示表示添加和删除的斜体文本。
此过程的输出为PicOrderCntVal,当前图片的图片次序计数。使用图片次序计数来识别图片,以用于在合并模式和运动向量预测中导出运动参数,且用于解码器一致性检查(参看MV-HEVC的子条款C.5)。每一经译码图片与一图片次序计数变量(标示为PicOrderCntVal)相关联。
[去除:“如果FirstPicInLayerDecodedFlag[nuh_layer_id]等于0或当前图片是具有等于1的NoRaslOutputFlag的IRAP图片,那么将变量PicOrderCntMsb设定成等于0。[Ed.(MH):当增强层中的第一图片处于按解码次序在具有等于1的NoClrasOutputFlag的初始IRAP存取单元之后且按输出次序在其之前的存取单元中时,增强层中的第一图片的PicOrderCntVal不同于同一存取单元中的基础层图片的PicOrderCntVal。][Ed.(MH):等于0的PicOrderCntMsb的此导出强加以下约束:至多达最高层的逐层启动必须在0到MaxPicOrder Lsb-1(包含0和MaxPicOrder Lsb-1)的POC范围内发生。]否则,如下导出PicOrderCntMsb:
将变量prevPicOrderCntLsb设定为等于PrevPicOrderCnt[nuh_layer_id]&(MaxPicOrderCntLsb-1)。
将变量prevPicOrderCntMsb设定为等于PrevPicOrderCnt[nuh_layer_id]-prevPicOrderCntLsb.
如下导出PicOrderCntMsb:
如下导出PicOrderCntVal:
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb (F-24)
当poc_reset_flag等于1时,以下步骤以所列次序应用:
在DPB中且与当前图片属于同一层的每一图片的PicOrderCntVal递减PicOrderCntVal。
PrevPicOrderCnt[nuh_layer_id]递减PicOrderCntVal。
将PicOrderCntVal设定为等于0。
当当前图片不是RASL图片、RADL图片或子层非参考图片,且当前图片具有等于0的TemporalId时,将PrevPicOrderCnt[nuh_layer_id]设定为等于PicOrderCntVal”]。
如果FirstPicInLayerDecodedFlag[nuh_layer_id]等于1,poc_reset_idc大于0,且当前图片是POC复位周期中按解码次序的第一图片,那么以下适用:(或者,此元素可写为:如果FirstPicInLayerDecodedFlag[nuh_layer_id]等于1且poc_reset_idc大于0,或FirstPicInLayerDecodedFlag[nuh_layer_id]等于1且poc_reset_idc等于3且当前图片包含于POC复位周期中按解码次序的第一图片存取单元中,且所述POC复位周期中不存在具有等于1或2的poc_reset_idc的图片,那么以下适用:)
-如下导出变量pocMsbDelta和pocLsbDelta:
-在DPB中且属于与当前图像相同的层的每一图片的PicOrderCntVal递减pocMsbDelta+pocLsbDelta。
在一些实例中,可另外执行以下三个步骤:
-PocResetFlag=1
-DeltaPocVal=pocMsbDelta+pocLsbDelta
-UpdateSubDpbFlag[nuh_layer_id]=1
-如下导出当前图片的PicOrderCntVal:
-如下导出PrevPicOrderCnt[nuh_layer_id]的值:
-如果当前图像不是RASL图片、RADL图片或子层非参考图片,且当前图片具有等于0的TemporalId,那么将PrevPicOrderCnt[nuh_layer_id]设定成等于PicOrderCntVal。
-否则,当poc_reset_idc等于3时,设定PrevPicOrderCnt[nuh_layer_id]等于full_poc_reset_flag?0:poc_lsb_val。
否则,以下适用:
-如下导出当前图片的PicOrderCntVal:
-如下导出PrevPicOrderCnt[nuh_layer_id]的值:
-如果当前图像不是RASL图片、RADL图片或子层非参考图片,且当前图片具有等于0的TemporalId,那么将PrevPicOrderCnt[nuh_layer_id]设定成等于PicOrderCntVal。
-否则,当FirstPicInLayerDecodedFlag[nuh_layer_id]等于0且poc_reset_idc等于3时,设定PrevPicOrderCnt[nuh_layer_id]等于full_poc_reset_flag?0:poc_lsb_val。
根据MV-HEVC,PicOrderCntVal的值将在-231到231-1(包含-231和231-1)的范围内。同样地,根据MV-HEVC,在一个CVS中,同一层中的任何两个经译码图片的PicOrderCntVal值将不相同。
如下指定函数PicOrderCnt(picX):
PicOrderCnt(picX)=图片picX的PicOrderCntVal (F-25)
如下指定函数DiffPicOrderCnt(picA,picB):
DiffPicOrderCnt(picA,picB)=PicOrderCnt(picA)-PicOrderCnt(picB) (F-26)
根据MV-HEVC,位流将不含有产生用于解码过程中的不在-215到215-1(包含-215和215-1)的范围内的DiffPicOrderCnt(picA,picB)的值的数据。
注意-令X为当前图片且Y和Z为同一序列中的两个其它图片,当DiffPicOrderCnt(X,Y)和DiffPicOrderCnt(X,Z)为正或两者都为负时,Y和Z被视为在从X的相同输出次序方向上。
根据MV-HEVC,以下SEI消息具有POC相关持续范围:
·恢复点SEI消息
·渐进细化段开始SEI消息
在一些实例中,可进一步将此SEI消息的持续范围的结束限制为按解码次序早于下一图片,其在与同所述SEI消息相关联的图片相同的层中,且更新图片在DPB中的图片次序计数值。或者,提出将此SEI消息的持续范围的结束进一步限制为按解码次序早于下一图片,其在与同SEI消息相关联的图片相同的层中,具有等于1的poc_msb_reset_flag,且对于所述图片,同一层中按解码次序的前一图片具有等于0的poc_msb_reset_flag。在此情况下,可进一步添加限制,使得当对于其中实际需要POC MSB复位的图片picA之后的图片集合,将poc_msb_reset_flag设定成1时,所述图片集合按解码次序必须紧接在picA之后,且按解码次序必须连续。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可使用RQT(也称为TU四叉树结构)来指定,如上文所论述。举例来说,分裂旗标可指示叶CU是否分裂成四个变换单元。接着,每一变换单元可进一步分裂成更多个子TU。当TU未进一步分裂时,其可被称作叶TU。通常,对于帧内译码,属于一叶CU的所有叶TU共享相同的帧内预测模式。也就是说,通常应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码,视频编码器可使用帧内预测模式将每一叶TU的残差值计算为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因此,TU可大于或小于PU。对于帧内译码,PU可与相同CU的对应叶TU并置。在一些实例中,叶TU的最大大小可对应于对应的叶CU的大小。
此外,叶CU的TU还可与相应的四叉树数据结构(被称作残差四叉树(RQT))相关联。就是说,叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU,而CU四叉树的根节点一般对应于树块(或LCU)。未经分裂的RQT的TU被称作叶TU。一般来说,除非另外提到,否则本发明分别使用术语CU和TU来指叶CU和叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一者或一者以上的标头或其它地方中的语法数据,其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可与CU内的译码节点相对应。视频块可具有固定或变化的大小,并且根据指定译码标准可在大小上有所不同。
作为实例,HM支持各种PU大小的预测。假设特定CU的大小为2N×2N,那么HM支持2N×2N或N×N的PU大小的帧内预测,以及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于在2N×nU、2N×nD、nL×2N和nR×2N的PU大小下的帧间预测的不对称分割。在不对称分割中,不分割CU的一个方向,但是将另一方向分割成25%和75%。CU的对应于25%分区的部分由“n”后面接着“上”、“下”、“左”或“右”的指示来指示。因此,例如,“2N×nU”是指经水平分割的2N×2N CU,其中顶部为2N×0.5N PU,而底部为2N×1.5N PU。
在本发明中,“NxN”与“N乘N”可互换使用以指依据垂直尺寸和水平尺寸的视频块的像素尺寸,例如,16x16像素或16乘16像素。一般来说,16x16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样,NxN块通常在垂直方向上具有N个像素,并且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可布置成行和列。此外,块未必需要在水平方向上与在竖直方向上具有相同数目个像素。举例来说,块可包括NxM个像素,其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后,视频编码器20可计算用于CU的TU的残差数据。PU可包括描述在空间域(还称为像素域)中产生预测性像素数据的方法或模式的语法数据,并且TU可包括在对残差视频数据应用了变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)变换域中的系数。残差数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残差数据的TU,并且接着变换TU以产生用于CU的变换系数。
在进行用于产生变换系数的任何变换之后,视频编码器20可执行变换系数的量化。量化通常指代对变换系数进行量化以可能减少用以表示所述系数的数据的量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说,n位值可在量化期间被下舍入到m位值,其中n大于m。
在量化之后,视频编码器可扫描变换系数,从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面,并且将较低能量(并且因此较高频率)的系数放置在阵列的后面。在一些实例中,视频编码器20可利用预定义的扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中,视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法熵编码一维向量。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为了执行CABAC,视频编码器20可向待发射的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC,视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经构造以使得相对较短的代码对应于较有可能的符号,而较长的代码对应于不太可能符号。以此方式,使用VLC可例如实现优于针对待发射的每一符号使用等长度码字的位节省。概率确定可基于指派给符号的上下文。
视频编码器20可例如在帧标头、块标头、切片标头或GOP标头中进一步将例如基于块的语法数据、基于帧的语法数据和基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目,且帧语法数据可指示用以对对应帧进行编码的编码/预测模式。
视频编码器20和视频解码器30各自可实施为多种合适的编码器或解码器电路中的任一者,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置(例如,蜂窝式电话)。
以此方式,视频编码器20和视频解码器30分别表示视频译码器的实例,其经配置以:译码表示图片次序计数(POC)复位周期识别符的值的视频译码器的实例,其中所述数据与视频数据层的经译码图片相关联,且其中POC复位周期识别符的值指示包含所述经译码图片的POC复位周期;且使所述经译码图片的POC值以及所述层中当前存储在视频解码器的经解码图片缓冲器(DPB)中的一或多个图片的POC值的至少一部分复位。
图2是说明根据本发明的技术的可实施用于译码POC值信息的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依靠空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。
如图2中所展示,视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中,视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46和分割单元48。为了视频块重构,视频编码器20还包含逆量化单元58、逆变换单元60和求和器62。还可包含去块滤波器(图2中未图示)以便对块边界进行滤波,以从经重构视频去除成块性假影。在需要时,去块滤波器将通常对求和器62的输出进行滤波。除了去块滤波器外,还可使用额外滤波器(回路中或回路后)。为简洁起见未图示此些滤波器,但是必要时,此些滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。
在编码过程期间,视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42和运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次,例如,以针对每一视频数据块选择适当的译码模式。
此外,分割单元48可基于前述译码遍次中的前述划分方案的评估将视频数据块分割成若干子块。举例来说,分割单元48可起初将帧或切片分割成LCU,并且基于速率失真分析(例如,速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可基于误差结果选择译码模式中的一者(帧内或帧间),且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残差块数据,且提供到求和器62以重建经编码块用作参考帧。模式选择单元40还将语法元素(例如,运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供给熵编码单元56。
运动估计单元42和运动补偿单元44可高度集成,但出于概念的目的分别加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程,所述过程估计视频块的运动。举例来说,运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片(或其它经译码单元)内的预测性块相对于当前图片(或其它经译码单元)内正被译码的当前块的位移。预测性块是被发现在像素差方面与待译码块紧密匹配的块,像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1),其中的每一个识别存储在参考帧存储器64中的一个或多个参考图片。运动估计单元42向熵编码单元56和运动补偿单元44发送计算出的运动向量。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来取或产生预测性块。并且,在一些实例中,运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后,运动补偿单元44可即刻在参考图片列表中的一者中定位所述运动向量指向的预测块。求和器50通过从正被编码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残差视频块,如下文所论述。一般来说,运动估计单元42相对于亮度分量执行运动估计,并且运动补偿单元44对于色度分量和亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
运动估计单元42检索存储在参考图片存储器64的经解码图片缓冲器(DPB)中的参考图片。模式选择单元40可确定哪些参考图片将用以编码图片、图片的切片和/或图片序列。视频编码器20可编码用以编码所述图片、切片或序列的参考图片的图片次序计数(POC)值。视频编码器20可编码指示将包含于切片标头和/或参数集(例如图片参数集(PPS)和/或序列参数集(SPS))中的参考图片列表中的参考图片的POC值。
以此方式,视频解码器(例如视频解码器30)可通过包含切片标头和/或参数集中所指示的参考图片来再现参考图片列表。此外,在使用运动估计单元42所产生的运动向量来编码块之后,视频编码器20可编码所述块的运动信息,其中所述运动信息可包含表示所述运动向量的数据、参考图片列表的识别符,以及识别所述参考图片列表中的参考图片的参考索引。
在一些实例中,视频编码器20可计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说,视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索,并且输出具有分数像素精度的运动向量。
根据本发明的技术,视频编码器20还可形成POC复位周期,并编码图片的切片的POC复位周期识别符的值,以将所述切片指派给相应的POC复位周期。视频编码器20可在每一视频数据层内将切片个别地指派给POC复位周期。此外,视频编码器20可确定切片的POC复位类型,且编码所述切片的POC复位类型的指示的值(例如两位值)。
如相对于图1所论述,视频编码器20可根据适用视频译码标准所建立的限制来配置。举例来说,视频编码器20可确保每一POC复位周期中的第一图片具有指示POC值将完全或部分复位的POC复位类型。此外,在一些实例中,视频编码器20可编码指示POC LSB值的额外信息,其可指示POC复位周期的POC锚图片的POC LSB值。
视频编码器20还可基于POC锚图片的复位,使参考图片存储器64的DPB中且与切片POC锚图片相同的层中的参考图片的POC值递减。因此,当编码切片标头和/或参数集中的POC值以指示将包含于参考图片列表中的参考图片时,视频编码器20可使用递减的POC值。视频编码器20使DPB中的图片的POC值递减的量可为POC锚图片递减的相同量。POC锚图片的POC复位可仅限于使POC MSB复位或使POC锚图片的全POC值复位。
在编码切片的POC复位信息之前,视频编码器20可确定POC复位信息对于所述切片是否为必需。举例来说,如果包含所述切片的图片是I图片,视频编码器20可确定POC复位信息不是必需的。如果确定POC复位信息不是必需的,那么视频编码器20可避免编码POC复位信息。此外,视频编码器20可基于所述确定来编码图片的PPS,其指示是否在包含于图片中的切片的切片段标头中编码POC复位信息。
作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案,帧内预测单元46可对当前块进行帧内预测。具体来说,帧内预测单元46可确定用于对当前块进行编码的帧内预测模式。在一些实例中,帧内预测单元46可(例如)在单独的编码编次期间使用各种帧内预测模式来编码当前块,并且帧内预测单元46(或在一些实例中为模式选择单元40)可从受测模式中选择适当的帧内预测模式来使用。
举例来说,帧内预测单元46可使用速率-失真分析来计算针对各种受测帧内预测模式的速率-失真值,且从所述受测模式当中选择具有最好速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量,以及用于产生经编码块的位速率(也就是说,位的数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率,以确定哪个帧内预测模式对于所述块展现最佳速率失真值。
在选择用于块的帧内预测模式后,帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20在所发射的位流中可包含配置数据,其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表),对用于各种块的上下文进行编码的定义,以及对最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。
视频编码器20通过从正译码原始视频块减去来自模式选择单元40的预测数据来形成残差视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残差块,从而产生包括残差变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何情况下,变换处理单元52将所述变换应用于残差块,从而产生残差变换系数块。所述变换可将残差信息从像素值域转换到变换域(例如,频域)。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步降低位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。或者,熵编码单元56可执行所述扫描。
在量化之后,熵编码单元56对经量化的变换系数进行熵译码。举例来说,熵编码单元256可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下,上下文可以基于相邻块。在由熵编码单元56进行熵译码之后,可将经编码位流发射到另一装置(例如,视频解码器30),或者将所述经编码位流存档以用于稍后发射或检索。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换来在像素域中重构残差块,(例如)以供稍后用作参考块。运动补偿单元44可通过将残差块添加到参考图片存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构的残差块来计算用于在运动估计中使用的子整数像素值。求和器62将经重构的残差块添加到由运动补偿单元44产生的经运动补偿的预测块,以产生经重建构的视频块以供存储在参考图片存储器64中。经重构的视频块可由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
以此方式,图2的视频编码器20表示视频编码器的实例,其经配置以:编码表示图片次序计数(POC)复位周期识别符的值的数据的视频编码器的实例,其中所述数据与视频数据层的经译码图片相关联,且其中所述POC复位周期识别符的值指示包含所述经译码图片的POC复位周期;使经译码图片的POC值和所述层的当前存储在视频解码器的经解码图片缓冲器(DPB)中的一或多个图片的POC值的至少一部分复位。
视频编码器20进一步表示,其经配置以:建构包含一或多个参考图片的参考图片列表;使用所述参考图片中的一者来编码切片的块;编码所述块的运动信息,其中所述运动信息包含参考图片列表的识别符以及指向参考图片列表中的对应于所述参考图片中的所述一者的参考索引;以及编码表示包含于参考图片列表中的参考图片的一或多个POC值。
图3是说明根据本发明的技术的可实施用于译码POC值信息的技术的视频解码器30的实例的框图。在图3的实例中,视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考图片存储器82和求和器80。在一些实例中,视频解码器30可执行总体上与相对于视频编码器20(图2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据,而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。
当将视频切片译码为经帧内译码(I)切片时,帧内预测单元74可基于发信号通知的帧内预测模式以及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视频帧译码为经帧间译码(即,B、P或GPB)切片时,运动补偿单元72基于从熵解码单元70接收到的运动向量和其它语法元素产生用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考图片存储器82的经解码图片缓冲器(DPB)中的参考图片使用默认建构技术来建构参考帧列表,列表0和列表1。
更明确地说,视频解码器30可解码含有指示的图片参数集合(PPS),所述指示用于指示对应于PPS的图片的切片是否包含图片次序计数(POC)复位信息。假定所述切片包含POC复位信息,视频解码器30可解码包含POC复位信息的所述图片的切片的切片段标头。POC复位信息可包含POC复位周期识别符和POC复位类型。
POC复位周期识别符可指示所述切片所对应于的POC复位周期。视频解码器30可每POC复位周期使对应视频编码层中的图片的POC值复位一次。以此方式,不管是否恰当地接收到POC复位周期的所有图片还是POC复位周期的某一图片是否丢失(例如归因于数据讹用或数据丢失),视频解码器30均将恰当地复位POC值。
POC复位类型可指示包含所述切片的图片的POC值完全复位还是仅POC值的MSB复位。此外,POC复位类型可指示将不执行POC复位,或发信号通知额外信息。如果POC复位类型指示发信号通知额外信息,那么视频解码器30可解码额外信息,其可指示POC LSB值以及POC值是完全复位还是仅MSB复位。以此方式,视频解码器30可基于POC复位类型来执行POC复位。视频解码器30可使存储在DPB中且在同一层中的图片的POC值递减额外信息的POCLSB值。
在执行POC复位之后,视频解码器30可解码将包含于参考图片列表中的参考图片的POC值。视频解码器30可解码切片段标头中和/或来自参数集(例如PPS或SPS)的这些POC值。视频解码器30接着可建构包含经解码POC值所识别的参考图片的参考图片列表。
在建构切片的参考图片列表之后,视频解码器30可解码所述切片的块。运动补偿单元72通过剖析运动向量和其它语法元素来确定用于当前视频切片的视频块的预测信息,并且使用所述预测信息来产生用于正被解码的当前视频块的预测性块。举例来说,运动补偿单元72使用所述所接收的语法元素中的一些来确定用以译码视频切片的视频块的预测模式(例如帧内或帧间预测)、帧间预测切片类型(例如B切片、P切片或GPB切片)、所述切片的每一经帧间编码视频块的运动向量、所述切片的每一经帧间译码视频块的帧间预测状态,以及用以解码当前视频切片中的视频块的其它信息。经帧间预测的块的运动信息可包含参考图片列表识别符和参考索引,以识别所述参考图片列表中将用于预测所述块的参考图片。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可以使用如视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的经内插值。在此情况下,运动补偿单元72可根据接收到的语法元素来确定由视频编码器20使用的内插滤波器,并使用所述内插滤波器来产生预测性块。
逆量化单元76使在位流中提供且由熵解码单元70解码的经量化变换系数逆量化,即去量化。逆量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QPY来确定应应用的量化程度和同样的逆量化程度。
逆变换处理单元78将逆变换(例如,逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数以便产生像素域中的残差块。
在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测性块后,视频解码器30通过对来自逆变换处理单元78的残差块与由运动补偿单元72产生的对应预测性块进行求和来形成经解码的视频块。求和器80表示执行此求和运算的一或多个组件。视需要,还可应用去块滤波器来对经解码块进行滤波,以便去除成块假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中,参考图片存储器82存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后呈现在显示装置(例如,图1的显示装置32)上。
以此方式,图3的视频解码器30表示视频解码器的实例,其经配置以:解码表示图片次序计数(POC)复位周期识别符的值的数据,其中所述数据与视频数据层的经译码图片相关联,且其中POC复位周期识别符的值指示包含所述经译码图片的POC复位周期;使所述经译码图片的POC值以及所述层中当前存储在视频解码器的经解码图片缓冲器(DPB)中的一或多个图片的POC值的至少一部分复位。
视频解码器30进一步表示视频解码器的实例,其经配置以:解码表示将包含于参考图片列表中的参考图片的一或多个POC值;至少部分地基于经解码的一或多个POC值来建构所述参考图片列表;解码所述切片的块的运动信息,其中所述运动信息包含参考图片列表的识别符以及指向所述参考图片列表中的参考索引;以及使用对应于所述参考图片列表中的所述参考索引的参考图片中的一者来解码所述块。
图4是说明根据本发明的技术的用于编码指示切片的POC复位周期的数据的实例方法的流程图。另外,图4的方法包含编码当前块。当前块可包括当前CU或当前CU的一部分。尽管相对于视频编码器20(图1和2)来描述,但应理解,其它装置可经配置以执行类似于图4的方法的方法。
在此实例中,视频编码器20最初使与包含当前块的当前切片位于同一层中且当前在经解码图片缓冲器(DPB)中的参考图片的POC值复位(150)。视频编码器20接着形成包含所述参考图片中的至少一些的参考图片列表(152)。视频编码器20进一步发信号通知包含于参考图片列表中的参考图片的POC值(154)。举例来说,视频编码器20可编码参数集(例如SPS或PPS)中和/或切片的切片标头中的参考图片的POC值(或POC值的部分,例如POC LSB值)。一些参考图片(例如长期参考图片)可在参数集中发信号通知,而其它参考图片(例如短期参考图片)可在切片标头中发信号通知。
应理解,形成参考图片列表和发信号通知哪些图片包含于参考图片列表中的步骤可经由若干不同编码遍次执行多次,以便确定为例如当前切片块得出最佳速率失真特性的所述组参考图片。就是说,视频编码器20可基于当前切片中的所有块的特性且不仅基于单个块的个别特性,来选择包含于参考图片列表中的所述组参考图片。
视频编码器20接着可将当前切片指派给POC复位周期(156)。举例来说,如果当前切片形成锚图片的一部分,那么视频编码器20可发信号通知当前切片形成具有不同于先前POC复位周期识别符的POC复位周期识别符的新POC复位周期的开头。或者,如果当前切片并不形成锚图片的一部分,那么视频编码器20可发信号通知形成现有POC复位周期的一部分的当前切片。
视频编码器20接着可预测当前切片的当前块(158)。举例来说,视频编码器20可计算用于当前块的一或多个预测单元(PU)。更明确地说,运动估计单元42可例如基于SAD、SSD、MAD、MSD或其它错误计算度量来执行运动搜索以在参考图片列表的参考图片中寻找当前块,以识别用作参考块的匹配块。运动估计单元42可基于所述运动搜索产生当前块的运动向量。视频编码器20接着可编码所述块的运动信息(160),其可包含运动向量的运动向量差值、参考图片列表识别符和参考索引,其一起识别所述参考块。
视频编码器20接着可计算当前块的残差块,例如以产生变换单元(TU)(162)。为了计算残差块,视频编码器20可计算原始的未经译码的块与当前块的经预测块之间的差。视频编码器20可接着变换且量化残差块的系数(164)。接下来,视频编码器20可扫描残差块的经量化变换系数(166)。在扫描期间,或在扫描以后,视频编码器20可对所述系数进行熵编码(168)。举例来说,视频编码器20可使用CAVLC或CABAC对系数进行编码。视频编码器20接着可输出所述块的经熵译码数据(170)。
以此方式,图4的方法表示一种方法的实例,其包含:通过视频编码器来编码表示图片次序计数(POC)复位周期识别符的值的数据,其中所述数据与视频数据层的经译码图片相关联,且其中POC复位周期识别符的值指示包含所述经译码图片的POC复位周期;通过所述视频编码器来使经译码图片的POC值以及所述层中当前存储在视频解码器的经解码图片缓冲器(DPB)的一或多个图片的POC值的至少一部分复位。在此实例中,所述方法进一步包含:建构包含一或多个参考图片的参考图片列表;使用所述参考图片中的一者来编码切片的块;编码所述块的运动信息,其中所述运动信息包含参考图片列表的识别符以及指向参考图片列表中的对应于所述参考图片中的所述一者的参考索引;以及编码表示包含于参考图片列表中的参考图片的一或多个POC值。
图5是说明根据本发明的技术的用于解码指示切片的POC复位周期的数据的实例方法的流程图。另外,图4的方法包含编码当前块。当前块可包括当前CU或当前CU的一部分。尽管关于视频解码器30(图1和3)进行描述,但应理解,其它装置可经配置以执行与图5的方法类似的方法。
最初,视频解码器30例如从当前切片的切片段标头解码当前切片的POC复位周期识别符(200)。视频解码器30可进一步解码POC复位类型指示符。图5的方法是基于POC复位周期识别符指示当前切片是新POC复位周期的一部分的假定。基于所述切片是新POC复位周期的一部分,视频解码器30使DPB中也是与当前切片相同的层的一部分的参考图片的POC值复位(202)。视频解码器30接着例如切片段标头和/或参数集(例如PPS或SPS)解码将包含于参考图片列表中的参考图片的POC值(204)。视频解码器30接着形成参考图片列表(206)。
接下来,视频解码器30解码当前块的运动信息(208)。所述运动信息可包含(例如)参考图片列表识别符和指向参考图片列表中的参考索引。视频解码器30接着例如通过使用帧间预测模式计算当前块的经预测块来预测当前块(200)。更明确地说,视频解码器30使用参考图片列表识别符来识别将使用哪一参考图片列表,且使用参考索引来识别参考图片列表中的参考索引。视频解码器30接着解码当前块的运动向量,且识别所识别参考图片中的参考块。
视频解码器30还可接收当前块的经熵译码数据,例如对应于当前块的残差块的系数的经熵译码数据(212)。视频解码器30可对经熵译码数据进行熵解码以再现残差块的系数(214)。视频解码器30可接着逆扫描经再现系数(216)以创建经量化变换系数块。就是说,使用逆扫描,视频解码器30将一维向量转换为二维矩阵。视频解码器30接着可逆量化且逆变换所述系数以产生残差块(218)。视频解码器30可最终通过组合经预测块与残差块来对当前块进行解码(220)。
以此方式,图5的方法表示一种方法的实例,其包含:通过视频解码器来解码表示图片次序计数(POC)复位周期识别符的值的数据,其中所述数据是视频数据层的经译码图片,且其中POC复位周期识别符的值指示包含所述经译码图片的POC复位周期;以及通过所述视频解码器来使所述经译码图片的POC值以及所述层的当前存储在视频解码器的经解码图片缓冲器(DPB)中的一或多个图片的POC值的至少一部分复位。此实例中的所述方法进一步包含:解码表示将包含于参考图片列表中的参考图片的一或多个POC值;至少部分地基于所述经解码的一或多个POC值来构建参考图片列表;解码所述切片的块的运动信息,其中所述运动信息包含参考图片列表的识别符以及指向所述参考图片列表中的参考索引;以及使用对应于参考图片列表中的参考索引的参考图片中的一者来解码所述块。
将认识到,取决于实例,本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行、可添加、合并或全部省略(例如,实践所述技术并不需要所有的所描述动作或事件)。此外,在某些实例中,可同时(例如,经由多线程处理、中断处理或多个处理器)而非循序地执行动作或事件。
在一或多个实例中,所描述的功能可用硬件、软件、固件或其任何组合来实施。如果以软件实施,那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输,并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体,或包含促进将计算机程序从一处传送到另一处的任何媒体(例如,根据一种通信协议)的通信媒体。以此方式,计算机可读媒体大体上可对应于(1)非暂时形的有形计算机可读存储媒体,或(2)通信媒体,例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的任何其它媒体。并且,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而,应理解,所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体,而是实际上针对非暂时性的有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上各项的组合也应包括在计算机可读媒体的范围内。
指令可由一或多个处理器执行,所述一或多个处理器例如为一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供,或者并入在组合编解码器中。并且,可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在各种各样的装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。实际上,如上文所描述,各种单元可结合合适的软件和/或固件组合在编码解码器硬件单元中,或者通过互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些和其它实例在所附权利要求书的范围内。
Claims (45)
1.一种解码视频数据的方法,所述方法包括:
通过视频解码器来解码表示图片次序计数POC复位周期识别符的值的数据,其中所述数据与视频数据层的经译码图片相关联,且其中所述POC复位周期识别符的所述值指示包含所述经译码图片的POC复位周期;以及
至少部分地基于所述POC复位周期识别符,通过所述视频解码器来使所述经译码图片的POC值以及所述层中当前存储在所述视频解码器的经解码图片缓冲器DPB中的一或多个图片的POC值的至少一部分复位。
2.根据权利要求1所述的方法,其中表示所述POC复位周期识别符的所述值的所述数据包含于所述经译码图片的切片的切片段标头中。
3.根据权利要求1所述的方法,其中所述图片包括所述POC复位周期的POC锚图片,且其中复位包括:
当所述POC锚图片的POC复位类型的指示指示所述POC锚图片的所述POC值将完全复位时,使所述POC锚图片的所述POC值的所有位复位;或
当所述POC锚图片的所述POC复位类型的所述指示指示所述POC锚图片的所述POC值的最高有效位MSB将复位时,使所述POC值的所述MSB复位。
4.根据权利要求1所述的方法,其中使所述层中当前存储在所述DPB中的所述一或多个图片的所述POC值的所述至少一部分复位包括:
解码表示POC最低有效位LSB值的数据,其中所述数据包含于所述经译码图片中;以及
使所述层中当前存储在所述DPB中的所述一或多个图片的POC值递减所述POC LSB值。
5.根据权利要求4所述的方法,其中所述POC LSB值等于包含所述经译码图片的所述POC复位周期的POC锚图片的POC LSB值。
6.根据权利要求1所述的方法,其进一步包括解码表示将对所述经译码图片执行的POC复位的类型的指示的两位值的数据,其中所述数据包含于所述经译码图片中。
7.根据权利要求6所述的方法,其进一步包含:
当所述指示的所述值为0时,确定所述经译码图片的所述POC值将不复位;
当所述指示的所述值为1时,确定仅所述经译码图片的所述POC值的最高有效位MSB将复位;
当所述指示的所述值为2时,确定所述经译码图片的所述POC值的MSB和最低有效位LSB两者将复位;以及
当所述指示的所述值为3时,确定为所述经译码图片发信号通知额外POC复位信息。
8.根据权利要求7所述的方法,其进一步包括当所述指示的所述值为3时,解码所述额外POC复位信息,其中所述额外POC复位信息指示所述经译码图片的所述POC值的POC MSB是否将复位,或所述经译码图片的所述POC值的POC MSB和POC LSB是否将复位,且其中所述额外POC复位信息指示锚POC LSB值。
9.根据权利要求1所述的方法,其进一步包括:
解码表示将对所述经译码图片执行的POC复位的类型的指示的值的数据,其中所述指示的所述值指示为所述经译码图片发信号通知额外POC复位信息,其中所述数据包含于所述经译码图片中;
解码所述额外POC复位信息,其中所述额外POC复位信息指示锚POC最低有效位LSB值;以及
响应于确定包含所述经译码图片的所述POC复位周期的POC锚图片丢失,当计算按解码次序在所述POC锚图片之后的图片的POC值时,使用等于所述锚POC LSB值的POC值。
10.根据权利要求1所述的方法,其进一步包括解码对应于所述经译码图片的图片参数集合PPS的数据,其中所述PPS的所述数据含有指示是否在所述经译码图片中发信号通知POC复位信息的指示,且其中解码表示所述POC复位周期识别符的所述值的所述数据包括当在所述经译码图片中发信号通知指示所述POC复位信息的所述PPS的所述数据时,解码表示所述POC复位周期识别符的所述值的所述数据。
11.根据权利要求10所述的方法,其中当所述PPS的slice_segment_header_extension_present_flag语法元素等于1时,在所述PPS中发信号通知指示是否发信号通知所述POC复位信息的所述PPS的所述数据。
12.根据权利要求1所述的方法,其进一步包括:
解码表示将包含于参考图片列表中的参考图片的一或多个POC值;
至少部分地基于所述经解码的一或多个POC值来建构所述参考图片列表;
解码所述经译码图片的块的运动信息,其中所述运动信息包含所述参考图片列表的识别符以及指向所述参考图片列表中的参考索引;以及
使用所述参考图片列表中对应于所述参考索引的所述参考图片中的一者来解码所述块。
13.一种对视频数据进行编码的方法,所述方法包括:
通过视频编码器来编码表示图片次序计数POC复位周期识别符的值的数据,其中所述数据与视频数据层的经译码图片相关联,且其中所述POC复位周期识别符的所述值指示包含所述经译码图片的POC复位周期;以及
至少部分地基于所述POC复位周期识别符,通过所述视频编码器来使所述经译码图片的POC值以及所述层中当前存储在所述视频解码器的经解码图片缓冲器DPB中的一或多个图片的POC值的至少一部分复位。
14.根据权利要求13所述的方法,其中表示所述POC复位周期识别符的所述值的所述数据包含于所述经译码图片的切片的切片段标头中。
15.根据权利要求13所述的方法,其中所述图片包括所述POC复位周期的POC锚图片,所述方法进一步包括:
确定使所述POC锚图片的所述POC值的所有位复位还是使所述POC值的最高有效位MSB复位;以及
编码表示使所述POC锚图片的所述POC值的所有位复位还是使所述POC值的最高有效位MSB复位的指示的数据,
其中复位包括基于所述确定来使所述POC值复位。
16.根据权利要求13所述的方法,其中使所述层中当前存储在所述DPB中的所述一或多个图片的所述POC值的所述至少一部分复位包括:
确定所述POC复位周期的POC锚图片的POC最低有效位LSB值;以及
使所述层中当前存储在所述DPB中的所述一或多个图片的POC值递减所述POC LSB值,
所述方法进一步包括编码表示所述POC LSB值的数据,其中所述数据包含于所述经译码图片中。
17.根据权利要求13所述的方法,其进一步包括编码表示将对所述经译码图片执行的POC复位的类型的指示的两位值的数据,其中所述数据包含于所述经译码图片中。
18.根据权利要求17所述的方法,其进一步包括:
响应于确定所述经译码图片的所述POC值将不复位,为所述指示的所述值编码0;
响应于确定仅所述经译码图片的所述POC值的最高有效位MSB将复位,为所述指示的所述值编码1;
响应于确定所述经译码图片的所述POC值的MSB和最低有效位LSB两者将复位,为所述指示的所述值编码2;以及
响应于确定将为所述经译码图片发信号通知额外POC复位信息,为所述指示的所述值编码3。
19.根据权利要求18所述的方法,其进一步包括响应于确定将发信号通知所述额外POC复位信息,编码所述额外POC复位信息,其中所述额外POC复位信息指示所述经译码图片的所述POC值的POC MSB是否将复位,或所述经译码图片的所述POC值的POC MSB和POC LSB是否将复位,且其中所述额外POC复位信息指示锚POC LSB值。
20.根据权利要求13所述的方法,其进一步包括:
编码表示将为所述经译码图片执行的POC复位的类型的指示的值的数据,其中所述指示的所述值指示为所述经译码图片发信号通知额外POC复位信息,其中所述数据包含于所述经译码图片中;以及
编码所述额外POC复位信息,其中所述额外POC复位信息指示锚POC最低有效位LSB值。
21.根据权利要求13所述的方法,其进一步包括:
确定是否编码POC复位信息;以及
编码对应于所述经译码图片的图片参数集合PPS的数据,其中所述PPS的所述数据指示是否在所述经译码图片中发信号通知所述POC复位信息,且其中编码表示所述POC复位周期识别符的所述值的所述数据包括响应于确定编码所述POC复位信息而编码表示所述POC复位周期识别符的所述值的所述数据。
22.根据权利要求21所述的方法,其中指示是否发信号通知所述POC复位信息的所述PPS的所述数据包括表示所述PPS的slice_segment_header_extension_present_flag语法元素的数据。
23.根据权利要求13所述的方法,其进一步包括:
建构包含一或多个参考图片的参考图片列表;
使用所述参考图片中的一者来编码所述经译码图片的块;
编码所述块的运动信息,其中所述运动信息包含所述参考图片列表的识别符以及指向所述参考图片列表中的对应于所述参考图片中的所述一者的参考索引;以及
编码表示包含于所述参考图片列表中的所述参考图片的一或多个POC值。
24.一种用于对视频数据进行译码的装置,所述装置包括:
存储器,其包括经配置以存储视频数据的经解码图片缓冲器DPB;以及
视频译码器,其经配置以:译码表示图片次序计数POC复位周期识别符的值的数据,其中所述数据与视频数据层的经译码图片相关联,且其中所述POC复位周期识别符的所述值指示包含所述经译码图片的POC复位周期;且使所述经译码图片的POC值以及所述层中当前存储在所述DPB中的一或多个图片的POC值的至少一部分复位。
25.根据权利要求24所述的装置,其中表示所述POC复位周期识别符的所述值的所述数据包含于所述经译码图片的切片的切片段标头中。
26.根据权利要求24所述的装置,其中所述图片包括所述POC复位周期的POC锚图片,且其中所述视频译码器经配置以:
当所述POC锚图片的POC复位类型的指示指示所述POC锚图片的所述POC值将完全复位时,使所述POC锚图片的所述POC值的所有位复位;或
当所述POC锚图片的所述POC复位类型的所述指示指示所述POC锚图片的所述POC值的最高有效位MSB将复位时,使所述POC值的所述MSB复位。
27.根据权利要求24所述的装置,其中所述视频解码器经配置以:解码表示POC最低有效位LSB值的数据,其中所述数据包含于所述经译码图片中;且使所述层中当前存储在所述DPB中的所述一或多个图片的POC值递减所述POC LSB值。
28.根据权利要求27所述的装置,其中所述POC LSB值等于包含所述经译码图片的所述POC复位周期的POC锚图片的POC LSB值。
29.根据权利要求24所述的装置,其中所述视频译码器进一步经配置以译码表示将对所述经译码图片执行的POC复位的类型的指示的两位值的数据,其中所述数据包含于所述经译码图片中。
30.根据权利要求29所述的装置,其中所述视频译码器进一步经配置以:
当所述指示的所述值为0时,确定所述经译码图片的所述POC值将不复位;
当所述指示的所述值为1时,确定仅所述经译码图片的所述POC值的最高有效位MSB将复位;
当所述指示的所述值为2时,确定所述经译码图片的所述POC值的MSB和最低有效位LSB两者将复位;以及
当所述指示的所述值为3时,确定为所述经译码图片发信号通知额外POC复位信息。
31.根据权利要求30所述的装置,其中所述视频译码器进一步经配置以在所述指示的所述值为3时,译码所述额外POC复位信息,其中所述额外POC复位信息指示所述经译码图片的所述POC值的POC MSB是否将复位,或所述经译码图片的所述POC值的POC MSB和POC LSB是否将复位,且其中所述额外POC复位信息指示锚POC LSB值。
32.根据权利要求24所述的装置,其中所述视频译码器包括视频解码器,其经配置以:解码表示将对所述经译码图片执行的POC复位的类型的指示的值的数据,其中所述指示的所述值指示为所述经译码图片发信号通知所述额外POC复位信息,其中所述数据包含于所述经译码图片中;解码所述额外POC复位信息,其中所述额外POC复位信息指示锚POC最低有效位LSB值;且响应于确定包含所述经译码图片的所述POC复位周期的POC锚图片丢失,当计算按解码次序在所述POC锚图片之后的图片的POC值时,使用等于所述锚POC LSB值的POC值。
33.根据权利要求24所述的装置,其中所述视频译码器包括视频编码器,其经配置以:建构包含一或多个参考图片的参考图片列表,使用所述参考图片中的一者来编码所述经译码图片的块;编码所述块的运动信息,其中所述运动信息包含所述参考图片列表的识别符以及指向所述参考图片列表中的对应于所述参考图片中的所述一者的参考索引;且编码表示包含于所述参考图片列表中的所述参考图片的一或多个POC值。
34.根据权利要求24所述的装置,其中所述视频译码器经配置以译码对应于所述经译码图片的图片参数集合PPS的数据,其中所述PPS的所述数据指示是否在所述经译码图片中发信号通知POC复位信息,且其中所述视频译码器经配置以在所述PPS的所述数据指示在所述经译码图片中发信号通知所述POC复位信息时,译码表示所述POC复位周期识别符的所述值的所述数据。
35.根据权利要求24所述的装置,其中所述装置包括以下各项中的至少一者:
集成电路;
微处理器;以及
无线通信装置。
36.一种用于对视频数据进行译码的装置,所述装置包括:
用于译码表示图片次序计数POC复位周期识别符的值的数据的装置,其中所述数据与经译码图片相关联,且其中所述POC复位周期识别符的所述值指示包含所述经译码图片的POC复位周期;以及
用于使所述经译码图片的POC值以及所述层中当前存储在所述视频解码器的经解码图片缓冲器DPB中的一或多个图片的POC值的至少一部分复位的装置。
37.一种上面存储有指令的计算机可读存储媒体,所述指令在被执行时致使用于对视频数据进行译码的装置的处理器:
译码表示图片次序计数POC复位周期识别符的值的数据,其中所述数据与视频数据层的经译码图片相关联,且其中所述POC复位周期识别符的所述值指示包含所述经译码图片的POC复位周期;以及
使所述经译码图片的POC值以及所述层中当前存储在所述视频解码器的经解码图片缓冲器DPB中的一或多个图片的POC值的至少一部分复位。
38.根据权利要求37所述的计算机可读存储媒体,其中表示所述POC复位周期识别符的所述值的所述数据包含于所述经译码图片的切片的切片段标头中。
39.根据权利要求37所述的计算机可读存储媒体,其中所述图片包括所述POC复位周期的POC锚图片,且其中致使所述处理器复位的所述指令包括致使所述处理器进行以下操作的指令:
当所述POC锚图片的POC复位类型的指示指示所述POC锚图片的所述POC值将完全复位时,使所述POC锚图片的所述POC值的所有位复位;或
当所述POC锚图片的所述POC复位类型的所述指示指示所述POC锚图片的所述POC值的最高有效位MSB将复位时,使所述POC值的所述MSB复位。
40.根据权利要求37所述的计算机可读存储媒体,其中致使所述处理器使所述层中当前存储在所述DPB中的所述一或多个图片的所述POC值的所述至少一部分复位的所述指令包括致使所述处理器进行以下操作的指令:
译码表示POC最低有效位LSB值的数据,其中所述数据包含于所述经译码图片中;以及
使所述层中当前存储在所述DPB中的所述一或多个图片的POC值递减所述POC LSB值。
41.根据权利要求37所述的计算机可读存储媒体,其进一步包括致使所述处理器译码表示将对所述经译码图片执行的POC复位的类型的指示的两位值的数据的指令,其中所述数据包含于所述经译码图片中。
42.根据权利要求41所述的计算机可读存储媒体,其进一步包括致使所述处理器进行以下操作的指令:
当所述指示的所述值为0时,确定所述经译码图片的所述POC值将不复位;
当所述指示的所述值为1时,确定仅所述经译码图片的所述POC值的最高有效位MSB将复位;
当所述指示的所述值为2时,确定所述经译码图片的所述POC值的MSB和最低有效位LSB两者将复位;以及
当所述指示的所述值为3时,确定为所述经译码图片发信号通知额外POC复位信息。
43.根据权利要求42所述的计算机可读存储媒体,其进一步包括致使所述处理器进行以下操作的指令:当所述指示的所述值为3时,译码所述额外POC复位信息,其中所述额外POC复位信息指示所述经译码图片的所述POC值的POC MSB是否将复位,或所述经译码图片的所述POC值的POC MSB和POC LSB是否将复位,且其中所述额外POC复位信息指示锚POCLSB值。
44.根据权利要求37所述的计算机可读存储媒体,其进一步包括致使所述处理器进行以下操作的指令:
译码表示将为所述经译码图片执行的POC复位的类型的指示的值的数据,其中所述指示的所述值指示为所述经译码图片发信号通知额外POC复位信息,其中所述数据包含于所述经译码图片中;以及
译码所述额外POC复位信息,其中所述额外POC复位信息指示锚POC最低有效位LSB值。
45.根据权利要求37所述的计算机可读存储媒体,其进一步包括致使所述处理器译码对应于所述经译码图片的图片参数集合PPS的数据的指令,其中所述PPS的所述数据指示是否在所述经译码图片发信号通知POC复位信息,且其中致使所述处理器译码表示所述POC复位周期识别符的所述值的所述数据的所述指令包括致使所述处理器在所述PPS的所述数据指示在所述经译码图片中发信号通知所述POC复位信息时,译码表示所述POC复位周期识别符的所述值的所述数据的指令。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361906373P | 2013-11-19 | 2013-11-19 | |
US61/906,373 | 2013-11-19 | ||
US14/543,470 | 2014-11-17 | ||
US14/543,470 US9628820B2 (en) | 2013-11-19 | 2014-11-17 | POC value design for multi-layer video coding |
PCT/US2014/066130 WO2015077220A1 (en) | 2013-11-19 | 2014-11-18 | Poc value design for multi-layer video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107079170A true CN107079170A (zh) | 2017-08-18 |
CN107079170B CN107079170B (zh) | 2020-04-21 |
Family
ID=53173281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480062201.2A Active CN107079170B (zh) | 2013-11-19 | 2014-11-18 | 用于多层视频译码的poc值设计 |
Country Status (10)
Country | Link |
---|---|
US (1) | US9628820B2 (zh) |
EP (1) | EP3072298B1 (zh) |
JP (1) | JP6453355B2 (zh) |
KR (1) | KR102002207B1 (zh) |
CN (1) | CN107079170B (zh) |
BR (1) | BR112016011311B1 (zh) |
ES (1) | ES2696723T3 (zh) |
HU (1) | HUE039280T2 (zh) |
MX (1) | MX355823B (zh) |
WO (1) | WO2015077220A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111149361A (zh) * | 2017-09-26 | 2020-05-12 | 高通股份有限公司 | 具有在用于视频译码的随机存取配置中的未来参考帧的自适应图片群组结构 |
CN111295883A (zh) * | 2017-11-07 | 2020-06-16 | 高通股份有限公司 | 视频译码中的增强参考图片管理 |
CN111149361B (zh) * | 2017-09-26 | 2024-05-31 | 高通股份有限公司 | 具有在用于视频译码的随机存取配置中的未来参考帧的自适应图片群组结构 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MX348561B (es) * | 2013-07-12 | 2017-06-20 | Sony Corp | Aparato y método para la codificación de imágenes. |
HUE032227T2 (en) * | 2013-10-14 | 2017-09-28 | ERICSSON TELEFON AB L M (publ) | Scaling an image sequence in scalable video |
US9674544B2 (en) | 2013-11-25 | 2017-06-06 | Qualcomm Incorporated | POC value design for multi-layer video coding |
US9942546B2 (en) | 2013-12-12 | 2018-04-10 | Qualcomm Incorporated | POC value design for multi-layer video coding |
CN104754358B (zh) * | 2013-12-27 | 2019-02-19 | 中兴通讯股份有限公司 | 码流的生成和处理方法、装置及系统 |
US10115377B2 (en) | 2015-09-24 | 2018-10-30 | Intel Corporation | Techniques for video playback decoding surface prediction |
US11356698B2 (en) | 2019-12-30 | 2022-06-07 | Tencent America LLC | Method for parameter set reference constraints in coded video stream |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013044075A2 (en) * | 2011-09-23 | 2013-03-28 | Qualcomm Incorporated | Reference picture signaling and decoded picture buffer management |
US20130094772A1 (en) * | 2011-10-13 | 2013-04-18 | Sharp Laboratories Of America, Inc. | Tracking a reference picture based on a designated picture on an electronic device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130037161A (ko) * | 2011-10-05 | 2013-04-15 | 한국전자통신연구원 | 스케일러블 비디오 코딩을 위한 향상된 계층간 움직임 정보 예측 방법 및 그 장치 |
KR102094503B1 (ko) * | 2012-04-15 | 2020-03-30 | 삼성전자주식회사 | 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치 |
US9532052B2 (en) | 2013-04-08 | 2016-12-27 | Qualcomm Incorporated | Cross-layer POC alignment for multi-layer bitstreams that may include non-aligned IRAP pictures |
-
2014
- 2014-11-17 US US14/543,470 patent/US9628820B2/en active Active
- 2014-11-18 JP JP2016554545A patent/JP6453355B2/ja active Active
- 2014-11-18 HU HUE14806516A patent/HUE039280T2/hu unknown
- 2014-11-18 MX MX2016006370A patent/MX355823B/es active IP Right Grant
- 2014-11-18 KR KR1020167016119A patent/KR102002207B1/ko active IP Right Grant
- 2014-11-18 BR BR112016011311-0A patent/BR112016011311B1/pt active IP Right Grant
- 2014-11-18 CN CN201480062201.2A patent/CN107079170B/zh active Active
- 2014-11-18 EP EP14806516.2A patent/EP3072298B1/en active Active
- 2014-11-18 ES ES14806516T patent/ES2696723T3/es active Active
- 2014-11-18 WO PCT/US2014/066130 patent/WO2015077220A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013044075A2 (en) * | 2011-09-23 | 2013-03-28 | Qualcomm Incorporated | Reference picture signaling and decoded picture buffer management |
US20130094772A1 (en) * | 2011-10-13 | 2013-04-18 | Sharp Laboratories Of America, Inc. | Tracking a reference picture based on a designated picture on an electronic device |
Non-Patent Citations (1)
Title |
---|
YING CHEN: "《MV-HEVC/SHVC HLS: Cross-layer POC alignment》", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111149361A (zh) * | 2017-09-26 | 2020-05-12 | 高通股份有限公司 | 具有在用于视频译码的随机存取配置中的未来参考帧的自适应图片群组结构 |
CN111149361B (zh) * | 2017-09-26 | 2024-05-31 | 高通股份有限公司 | 具有在用于视频译码的随机存取配置中的未来参考帧的自适应图片群组结构 |
CN111295883A (zh) * | 2017-11-07 | 2020-06-16 | 高通股份有限公司 | 视频译码中的增强参考图片管理 |
CN111295883B (zh) * | 2017-11-07 | 2022-04-15 | 高通股份有限公司 | 视频译码中的增强参考图片管理 |
Also Published As
Publication number | Publication date |
---|---|
JP6453355B2 (ja) | 2019-01-16 |
ES2696723T3 (es) | 2019-01-17 |
US20150139320A1 (en) | 2015-05-21 |
MX2016006370A (es) | 2016-09-16 |
EP3072298A1 (en) | 2016-09-28 |
WO2015077220A1 (en) | 2015-05-28 |
MX355823B (es) | 2018-05-02 |
JP2017501655A (ja) | 2017-01-12 |
BR112016011311B1 (pt) | 2023-05-16 |
CN107079170B (zh) | 2020-04-21 |
KR102002207B1 (ko) | 2019-07-19 |
WO2015077220A9 (en) | 2017-04-27 |
US9628820B2 (en) | 2017-04-18 |
HUE039280T2 (hu) | 2018-12-28 |
EP3072298B1 (en) | 2018-08-15 |
BR112016011311A2 (zh) | 2017-08-08 |
KR20160085890A (ko) | 2016-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104823449B (zh) | 在视频译码中用信号表示关注区和逐渐解码刷新 | |
CN104885469B (zh) | 用于处理视频数据的方法和设备 | |
CN104704843B (zh) | 视频性质的指示 | |
CN105794211B (zh) | 一种编解码视频数据的方法、装置及可读存储媒体 | |
CN106464918B (zh) | 用信号表示用于位流分区的hrd参数 | |
CN104365106B (zh) | 发信用于视频译码的长期参考图片的数据 | |
CN105122812B (zh) | 用于三维(3d)视频译码的高级合并模式 | |
CN103828374B (zh) | 参考图片信令和经解码图片缓冲器管理 | |
CN103947210B (zh) | 视频译码中借助高级经解码图片缓冲器(dpb)管理的随机存取 | |
CN105191310B (zh) | 用于视频译码的并行处理 | |
CN105052156B (zh) | Irap存取单元与位流切换及拼接 | |
CN104054348B (zh) | 在视频译码中波前平行处理的子流 | |
CN103999463B (zh) | 对识别长期参考帧的图片次序计数值进行译码 | |
CN104584557B (zh) | 对视频数据进行编码、解码的方法、装置以及计算机可读介质 | |
CN104396265B (zh) | 在视频译码中从清晰随机存取图片的全面随机存取 | |
CN104521237B (zh) | 用于可缩放视频译码及3d视频译码的多假设运动补偿 | |
CN104969555B (zh) | 一种编码或解码视频数据的方法及装置 | |
CN104025602B (zh) | 三维视频译码中用信号通知视图合成预测支持 | |
CN104429082B (zh) | 用于视频译码的长期参考图片的信令 | |
CN105122814B (zh) | 可包含未对准irap图片的多层位流的跨层poc对准 | |
CN104412599B (zh) | 对视频译码发信长期参考图片 | |
CN107079170A (zh) | 用于多层视频译码的poc值设计 | |
CN106664425A (zh) | 视频译码中的跨分量预测 | |
CN108353167A (zh) | 译码视频数据的正负号信息 | |
CN106664426A (zh) | 视频译码中的语法元素的值范围 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |