CN104272745A - 具有对流调适及拼接的增强支持的视频译码 - Google Patents

具有对流调适及拼接的增强支持的视频译码 Download PDF

Info

Publication number
CN104272745A
CN104272745A CN201380020649.3A CN201380020649A CN104272745A CN 104272745 A CN104272745 A CN 104272745A CN 201380020649 A CN201380020649 A CN 201380020649A CN 104272745 A CN104272745 A CN 104272745A
Authority
CN
China
Prior art keywords
picture
nal unit
chain rupture
video
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380020649.3A
Other languages
English (en)
Other versions
CN104272745B (zh
Inventor
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104272745A publication Critical patent/CN104272745A/zh
Application granted granted Critical
Publication of CN104272745B publication Critical patent/CN104272745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明描述用于基于清洁随机存取CRA图片的对流调适及拼接的增强支持的各种技术。作为在切片标头中使用旗标来指示存在断链图片的替代，可使用相异的网络抽象层NAL单元类型来指示断链图片的存在。在一些实施方案中，可使用第一相异的NAL单元类型来指示具有前导图片的断链图片的存在，而第二相异的NAL单元类型指示不具有前导图片的断链图片的存在。在一些实施方案中，可使用第三相异的NAL单元类型来指示具有可解码的前导图片的断链图片的存在。

Description

具有对流调适及拼接的增强支持的视频译码
本申请案主张以下申请案的权益：
2012年4月20日申请的美国临时专利申请案61/636,566；
2012年5月4日申请的美国临时专利申请案61/643,100；及
2012年7月2日申请的美国临时专利申请案61/667,371，
所述申请案中的每一者的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码，且更特定来说，涉及与随机地存取经译码视频数据相关的技术。
背景技术
数字视频能力可并入到较广范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频会议装置、视频串流装置、转码器、路由器或其它网络装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、目前在开发中的高效率视频译码(HEVC)标准定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术。视频装置可通过实施此些视频压缩技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割为若干视频块，所述视频块还可被称作树块、译码树单元(CTU)、译码单元(CU)和/或译码节点。使用空间预测相对于同一图片中的相邻块中的参考样本来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。视频序列还可被称作位流。
空间或时间预测产生对待译码的块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本块的运动向量以及指示经译码块与所述预测性块之间的差的残差数据来编码经帧间译码块。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换为变换域，从而产生残差变换系数，所述残差变换系数随后可被量化。起初布置在二维阵列中的经量化变换系数可依序扫描以产生变换系数的一维向量，且可应用熵译码以实现更多的压缩。
发明内容
本发明描述用于基于清洁随机存取(CRA)图片对流调适及拼接的增强支持的各种技术。作为在切片标头中使用旗标来指示存在断链图片的替代，本发明提出可使用相异的网络抽象层(NAL)单元类型来指示断链图片的存在。在本发明的技术的一些实施方案中，可使用第一相异NAL单元类型来指示具有前导图片的断链图片的存在，而第二相异NAL单元类型指示不具有前导图片的断链图片的存在。另外，在一些实施方案中，可使用第三相异NAL单元类型来指示具有可解码的前导图片的断链图片的存在。
在一个实例中，一种用于处理视频数据的方法包含接收包括所述视频数据的一部分的第一网络抽象层(NAL)单元，且基于所述第一NAL单元的NAL单元类型，检测断链图片。
在另一实例中，一种用于处理视频数据的方法包含接收包括所述视频数据的一部分的网络抽象层(NAL)单元，确定所述NAL单元包括断链图片且将所述NAL单元的NAL单元类型设定为指示所述NAL单元包括所述断链图片的NAL单元类型。
在另一实例中，一种用于处理视频数据的装置包含一或多个处理器，所述一或多个处理器经配置以接收包括所述视频数据的一部分的第一网络抽象层(NAL)单元，且基于所述第一NAL单元的NAL单元类型，检测断链图片。
在另一实例中，一种用于处理视频数据的装置包含一或多个来采取，所述一或多个处理器经配置以接收包括所述视频数据的一部分的网络抽象层(NAL)单元；确定所述NAL单元包括断链图片；及将所述NAL单元的NAL单元类型设定为指示所述NAL单元包括所述断链图片的NAL单元类型。
在另一实例中，一种用于处理视频数据的装置包含：用于接收包括所述视频数据的一部分的第一网络抽象层(NAL)单元的装置；及用于基于所述第一NAL单元的NAL单元类型来检测断链图片的装置。
在另一实例中，一种用于处理视频数据的装置包含：用于接收包括所述视频数据的一部分的第一网络抽象层(NAL)单元的装置；用于确定所述NAL单元包括断链图片的装置；及用于将所述NAL单元的NAL单元类型设定为指示所述NAL单元包括所述断链图片的NAL单元类型的装置。
在另一实例中，一种计算机可读存储媒体存储指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器接收包括所述视频数据的一部分的第一网络抽象层(NAL)单元；及基于所述第一NAL单元的NAL单元类型，检测断链图片。
在另一实例中，一种计算机可读存储媒体存储指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器：接收包括所述视频数据的一部分的网络抽象层(NAL)单元；确定所述NAL单元包括断链图片；及将所述NAL单元的NAL单元类型设定为指示所述NAL单元包括所述断链图片的NAL单元类型。
一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。
附图说明
图1为说明可利用本发明中所描述的技术的实例性视频编码及解码系统的框图。
图2A及2B是说明清洁随机存取图片概念的概念图。
图3是说明可实施本发明中所描述的技术的实例视频编码器的框图。
图4是说明可实施本发明中所描述的技术的实例视频解码器的框图。
图5是说明形成用于传送视频数据的网络的部分的一组实例装置的框图。
图6是说明根据本发明中所描述的技术的包含RAP图片的实例视频序列的图。
图7是说明根据本发明中所描述的一或多个实例的用于译码RAP的实例方法的流程图。
图8是说明根据本发明中所描述的一或多个实例的用于译码RAP的实例方法的流程图。
图9是说明根据本发明中所描述的一或多个实例的用于译码RAP的实例方法的流程图。
图10是说明根据本发明中所描述的一或多个实例的用于解码切片的实例方法的流程图。
图11是说明根据本发明中所描述的一或多个实例的用于编码切片的实例方法的流程图。
图12是说明本发明的实例视频处理技术的流程图。
具体实施方式
本发明描述用于基于清洁随机存取(CRA)图片的对流调适及拼接的增强支持的各种技术。随机存取一般是指对从不是位流中的第一经译码图片的经译码图片开始的视频位流的解码。对位流的随机存取对于许多视频应用可为合意的，例如广播及串流。举例来说，随机存取可使得用户能够在不同通道之间切换、跳转到视频的特定部分，或切换到不同位流以用于流调适(例如，对位速率、帧速率、空间分辨率等的调适)。可通过将随机存取图片(还被称作随机存取点(RAP)图片)以规则或不规则(但通常是规则的)间隔插入到视频位流中来实现随机存取。
预期本发明的技术可结合多种不同的译码标准来实施。为了阐释的目的，将主要参考新兴的高效率视频译码(HEVC)标准来描述本发明的技术。被称作“HEVC工作草案6(HEVC Working Draft 6)”或“WD6”的HEVC的一个中间草案描述于布洛斯(Bross)等人的文献JCTVC-H1003“高效率视频译码(HEVC)文本规范草案6(High efficiency videocoding(HEVC)text specification draft 6)”，ITU-T SG16 WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)第8次会议：美国加州圣何塞市，2012年2月，其至2013年3月11日为止可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/8_San％20Jose/wg11/JCTVC-H1003-v22.zip下载。HEVC标准不断演进，且被称作“HEVC工作草案10”或“WD10”的所述标准的较新草案描述于布洛斯(Bross)等人的文献JCTVC-L1003_v18“高效率视频译码(HEVC)文本规范草案10(High EfficiencyVideo Coding(HEVC)Text Specification Draft 10)”中，ITU-T SG16 WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)第12次会议：瑞士日内瓦，2013年1月14日到23日，其至2013年3月11日为止可从http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v18.zip下载。WD6和WD10的全部内容以引用的方式并入本文中。
即时解码刷新(IDR)图片可用于随机存取。然而，因为IDR图片开始经译码视频序列且始终清理经解码图片缓冲器(DPB)，所以在解码次序中在IDR后面的图片无法使用在IDR图片之前解码的图片作为参考图片。因此，依赖于IDR图片以用于随机存取的位流可具有显著较低的译码效率。为了提高译码效率，引入CRA图片的概念以允许在解码次序中在CRA图片后面但在输出次序中在CRA图片前面的图片使用在CRA图片之前解码的图片作为参考图片(例如用于帧间预测的参考图片)。
在解码次序中在CRA图片后面但在输出次序中在CRA图片前面的图片被称作CRA图片的前导图片。如果解码从当前CRA图片之前的IDR或CRA图片开始，那么CRA图片的前导图片可被正确地解码。然而，在出现从CRA图片的随机存取时，CRA图片的前导图片无法被正确地解码。因此，通常在随机存取解码期间丢弃(即从位流移除)这些前导图片。为防止错误从取决于解码开始处而可能不可用的参考图片传播，在解码次序及输出次序两者中在CRA图片后面的所有图片不将在解码次序或输出次序中在CRA图片前面的任何图片(其包含前导图片)用作参考图片。
在H.264/AVC中通过在补充增强信息(SEI)消息中使用恢复点来支持类似于上文所描述的随机存取功能性的随机存取功能性。H.264/AVC视频解码器实施方案可支持或可不支持此类功能性。在HEVC中，开始于CRA图片的位流被视为相符位流。在位流开始于CRA图片时，CRA图片的前导图片可指不可用的参考图片，且因此可不能够被正确地解码。然而，HEVC指定不输出开始的CRA图片的前导图片，因此名称“清洁随机存取”。为了建立位流相符性，HEVC指定解码过程产生不可用的参考图片以用于解码非输出的前导图片，但相符的解码器实施方案不必遵循所述解码过程，只要所述解码器与在从经译码视频序列的开头执行所述解码过程时相比可产生相同的输出即可。
在新兴的HEVC标准的某些版本中，相符位流可能完全不含有IDR图片，且因此，可含有经译码视频序列的子集或不完整的经译码视频序列。在HEVC中，经译码视频序列被定义为存取单元序列，其由在解码次序中的IDR存取单元及后面的包含所有后续的存取单元直到但不包含任何后续的IDR存取单元的零个或更多的非IDR存取单元组成。
已在各种HEVC提议中引入“具有断链的CRA图片”的概念。与CRA概念相比，具有断链的CRA图片另外提出允许不处于位流的开头的CRA图片具有不可解码的前导图片，就像开始位流的CRA图片那样。在HEVC WD6中，允许开始位流的CRA图片在解码次序(还被称作位流次序)中在由于遗失先前的参考图片而无法被解码的前导图片后面。然而，不允许在位流中间的CRA图片具有此类不可解码的前导图片。已提出通过添加指示此类不可解码的前导图片的潜在存在的“断链”旗标来移除此约束条件。
已提出“断链”旗标作为切片标头或用于图片层级信息的某一其它地方(例如调适参数集(APS))中的CRA图片的图片层级信息。在断链旗标等于1时，允许位流含有CRA图片的由于遗失前面的参考图片而不可解码的前导图片，即使位流开始于在位流次序中较早的IDR图片或CRA图片也如此。
对于具有等于1的“断链”旗标的CRA图片，另外允许CRA图片具有如上文所提及的不可解码的前导图片。现有的“具有断链的CRA图片”方法及其它现有的视频随机存取方法与各种潜在问题及缺点相关联。举例来说，切片标头或APS中的“断链”旗标的信令需要实体(例如，服务器、媒体感知网络元件(MANE)或视频编辑器/剪接器)，所述实体在需要时将正常的CRA图片改变为断链CRA(BLC)图片，从而能够熵编码且分析切片标头和/或APS以编码所述旗标。此还需要实体(例如，服务器、MANE或视频编辑器)，所述实体在需要时识别BLC图片以能够熵解码并分析切片标头和/或APS以找到旗标。例如在HEVC标准的最新版本中，BLC图片有时还被称作断链存取(BLA)图片。在本发明中，这些术语可被视为可互换的。
本发明描述可解决上文所描述的缺点的技术。本发明提出，作为使用切片标头中的旗标来指示BLC图片存在的替代，可使用相异的网络抽象层(NAL)单元类型来指示BLC图片的存在。在本发明的技术的一些实施方案中，第一相异的NAL单元类型可用于指示具有前导图片的BLC(也称为BLA)图片的存在，而第二相异的NAL单元类型指示不具有前导图片的BLC图片的存在。另外，在某一实施方案中，第三相异的NAL单元类型可用于指示具有可解码的前导图片的断链图片的存在。
经译码视频数据被组织为NAL单元，其中的每一者实际上是含有整数数目的字节的包。每一NAL单元的第一字节是含有NAL单元中的数据的类型的指示的标头字节，且剩余的字节含有由所述标头指示的类型的有效负载数据。NAL单元可一般被划分成两个主要类别：含有视频译码层数据的NAL单元及不包含视频译码层数据的NAL单元。这两个类别的NAL单元一般分别被称作VCL NAL单元及非VCL NAL单元。非VLCNAL单元包含(例如)用于补充增强信息的NAL单元类型及用于参数集信息的NAL单元类型。
根据本发明的技术，在一个实例中，等于2的NAL单元类型(其在HEVC WD6中保留)可用于指示断链图片(例如，BLC图片(另外被称作BLA图片))的存在。通过使用专用的NAL单元类型，如本发明中所描述，实体(例如，服务器、MANE或视频编辑器/剪接器)可在需要时将正常的CRA图片(对此，如果此类图片不开始位流，那么所有相关联的前导图片必须是可解码的(即，可被正确地解码))改变为BLC图片，而不对切片标头语法、APS语法或其它位流语法进行熵编码或解码。另外，通过实施本发明的技术，实体(例如，服务器、MANE或视频编辑器)可在需要时识别BLC图片而不对切片标头语法、APS语法或其它位流语法进行熵解码。
使用一或多个相异的NAL单元类型来指示断链图片的存在是本发明中引入的一种技术。下文还将引入额外的技术。可替代地或与已经引入的专用NAL单元结合地使用这些额外的技术。
图1为说明可利用本发明中所描述的技术的实例性视频编码及解码系统10的框图。如图1中所说明，系统10包含源装置12，所述源装置产生经编码视频，目的地装置14可稍后对所述经编码视频数据进行解码。源装置12和目的地装置14可包括广泛多种装置中的任一者，包含桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话)、所谓的“智能”平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置等。在一些情况下，源装置12和目的地装置14可经装备以用于无线通信。
在一些情况下，视频编码器20可编码在随机存取点或流调适点(例如，时间层切换点)之后的图片。举例来说，此可为用于调适位速率、帧速率或空间分辨率的切换点。这些图片中的一或多者可为视频序列中的CRA图片的前导图片。如果对视频序列的解码是从视频序列中的当前CRA图片之前的RAP图片开始，那么解码器可正确地解码CRA图片的前导图片。然而，在出现从CRA图片的随机存取时，CRA图片的前导图片无法被正确地解码。举例来说，前导图片可指向不可用的用于预测参考的块。因此，前导图片可不可在视频解码器30处解码。因此，目的地装置14可通常在随机存取解码期间丢弃这些前导图片。
在另一实例中，对于BLA，即BLC图片，编码器20可编码旗标，例如no_output_of_prior_pics_flag(其可更准确地被称作语法元素)，使得不输出DPB中的任何先前图片。在一些实例中，此旗标或语法元素可在熵解码之前早早地在切片标头中，使得其可更容易地被解码且所述信息在译码过程中较早地可用。举例来说，由于(例如)不需要对no_output_of_prior_pics_flag熵解码，使得较不复杂的装置(例如MANE)可存取所述信息而不需要熵解码器。作为说明，no_output_of_prior_pics旗标可呈现为非经熵译码语法元素，例如，作为固定长度u(1)元素，而不是经熵译码语法元素，例如，可变长度ue(v)元素。(例如)紧接在first_slice_segment_in_pic旗标之后且在任何经熵译码语法元素之前可呈现no_output_of_prior_pics旗标。
在一个实例中，在(例如)使用存储在参考图片缓冲器中的图片可产生不正确经解码图片时，视频解码器30可将这些图片标记为不用于参考。举例来说，在解码次序或输出次序中在BLA或BLC图片前面的参考图片可不能用于在解码次序中在BLA或BLC图片后面的前导图片的参考。因此，响应于接收到在解码次序或输出次序中在BLA或BLC图片前面的参考图片可不能用于在解码次序中在BLA或BLC图片后面的前导图片的参考，视频解码器30可将所述参考图片标记为不用于参考。
在一实例中，视频编码器20可经配置以包含经指派以指示BLA或BLC图片何时具有且不具有前导图片的NAL单元类型。举例来说，在一个标准中，包含NAL单元类型16，BLA_W_LP(具有前导图片的BLA)；17，BLA_W_DLP(具有可解码的前导图片的BLA)；及18，BLA_N_LP(不具有前导图片的BLA)。具有等于BLA_W_LP的NAL单元类型的BLA图片可具有存在于位流中的相关联的可解码或不可解码的前导图片。具有等于BLA_W_DLP的NAL单元类型的BLA图片不具有存在于位流中的相关联的不可解码的前导图片，但可具有位流中的相关联的可解码的前导图片。具有等于BLA_N_LP的NAL单元类型的BLA图片可不具有存在于位流中的相关联的前导图片(可解码或不可解码)。
在一实例中，视频编码器20可处理经指派以指示何时BLA图片具有及不具有前导图片的NAL单元类型。举例来说，视频编码器20可根据多个不同网络抽象层(NAL)单元类型中的一者来编码图片。所述多个NAL单元类型包含以下各者中的一或多者：(1)断链存取(BLA)图片的经译码切片，其中BLA图片是位流中的具有相关联的前导图片的BLA图片；(2)BLA图片的经译码切片，其中BLA图片是位流中的具有相关联的可解码的前导图片的BLA图片；及(3)BLA图片的经译码切片，其中BLA图片是位流中的不具有相关联的前导图片的BLA图片。
目的地装置14可接收经编码视频数据。所述目的地装置可经由链路16对所接收的数据进行解码。链路16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括用以使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。可根据例如无线通信协议等通信标准来调制经编码的视频数据，且将其发射到目的地装置14。所述通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多条物理传输线。通信媒体可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信媒体可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
或者，可从输出接口22将经编码数据输出到存储装置34。类似地，可通过输入接口从存储装置34存取经编码数据。存储装置34可包含多种分布式或局部存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在进一步的实例中，存储装置34可对应于文件服务器或可保留由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载而存取来自存储装置34的所存储的视频数据。文件服务器可为能够存储经编码视频数据和将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例性文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接式存储(NAS)装置，或局部磁盘驱动器。目的地装置14可通过任何标准的数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或适合于存取存储于文件服务器上的经编码视频数据的以上两者的组合。经编码视频数据从存储装置34的传输可为流式传输、下载传输，或两者的组合。
本发明的技术不一定受限于无线应用或环境。所述技术可应用于支持多种多媒体应用(例如，空中电视广播、有线电视传输、卫星电视发射、流式视频传输(例如，经由因特网))中的任一者的视频译码、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机、含有先前俘获的视频的视频存档、用以从视频内容提供者接收视频的视频馈送接口)的源，和/或用于产生计算机图形数据以作为源视频的计算机图形系统的源，或此些源的组合。作为一个实例，如果视频源18为摄像机，则源装置12与目的地装置14可形成所谓的相机电话或视频电话。然而，一般来说，本发明中所描述的技术可适用于视频译码，且可适用于无线及/或有线应用。
可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。还(或替代地)可将经编码视频数据存储到存储装置34上以供稍后由目的地装置14或其它装置存取以进行解码和/或回放。
目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传送或在存储装置34上提供的经编码视频数据可包含由视频编码器20产生以供例如视频解码器30等视频解码器在解码视频数据中使用的多种语法元素。此些语法元素可与在通信媒体上传输、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。
在一些实例中，目的地装置14的视频编码器30可解码在随机存取点或流调适点(例如，时间层切换点)之后的图片。举例来说，此可为用于调适位速率、帧速率(即，时间层切换点)或空间分辨率的切换点。这些图片中的一或多者可为前导图片。在出现从断链(即，BLA或BLC)图片的随机存取时，前导图片无法被正确地解码。
在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，视频解码器30可不将在解码次序或输出次序中在断链图片前面的任何图片(其包含前导图片)用作参考图片。
在各种实例中，视频解码器30可在解码BLA或BLC图片时在解码BLA图片之前将DPB中的任何参考图片标记为不用于参考。举例来说，视频解码器30可将经解码图片缓冲器(DPB)中的参考图片标记为不用于参考。
在另一实例中，编码器20可在位流中包含且解码器30可接收旗标或其它语法元素(例如，no_output_of_prior_pics_flag)以用于待解码的BLA图片。所述旗标在等于1时指示不输出DPB中的先前图片中的任一者进行显示。具体来说，当no_output_of_prior_pics_flag等于1时，解码器30清空经解码图片缓冲器中的所有图片存储缓冲器而不输出其含有的图片。在一些实例中，此旗标或语法元素可在熵解码之前非常早地呈现在切片标头中，使得其可更容易地被解码而不需要熵译码，且所述信息在译码过程中较早地可用。举例来说，由于(例如)不需要对no_output_of_prior_pics_flag熵解码，使得较不复杂的装置(例如MANE)可存取所述信息而不需要解码器。
在另一实例中，视频解码器30可处理经指派以指示何时BLA或BLC图片具有及不具有前导图片的NAL单元类型。再者，如上文所提及，BLA图片在概念上与BLC图片相同，原因在于BLA及BLC图片表示断链CRA图片，但是以不同的术语表示。在一个实例中，视频解码器30可根据多个不同网络抽象层(NAL)单元类型中的一者来解码图片。所述多个NAL单元类型包含以下各者中的一或多者：(1)断链存取(BLA)图片的经译码切片，其中BLA图片是位流中的具有相关联的前导图片的BLA图片；(2)BLA图片的经译码切片，其中BLA图片是位流中的具有相关联的可解码的前导图片的BLA图片；及(3)BLA图片的经译码切片，其中BLA图片是位流中的不具有相关联的前导图片的BLA图片。响应于检测到BLA图片，视频解码器30可激活一或多个新参数集。稍后将在本发明中更详细地阐释参数集。
在一些实例中，视频解码器30经配置以在检测到BLA NAL单元类型的情况下将所有参考图片标记为不用于参考。如果解码器30检测到BLANAL单元类型，那么参考图片对于解码BLA图片及在解码次序或输出次序中在BLA图片后面的任何图片是无效的。
显示装置32可与目的地装置14一起集成，或在目的地装置14外部。在一些实例中，目的地装置14可包含集成式显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频压缩标准来操作，例如目前在开发中的高效率视频译码(HEVC)标准，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据例如ITU-T H.264标准(或者被称作MPEG4第10部分，高级视频译码(AVC))或此类标准的扩展等其它专有或产业标准而操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。HM假设相对于根据(例如)ITU-T H.264/AVC的现有装置的视频译码装置的额外能力。举例来说，尽管H.264提供九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包括适当的MUX-DEMUX单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适的编码器电路中的任一者。当所述技术部分地在软件中实施时，一装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，所述视频编码器和视频解码器中的任一者可在相应装置中被集成为组合式编码器/解码器(CODEC)的一部分。
一般来说，HM的工作模型描述视频帧或图片可以被划分为包含明度和色度样本两者的一连串树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含呈译码次序的多个连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树而分裂成多个译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父节点且分裂成另外四个子节点。最终的未分裂的子节点(作为四叉树的叶节点)包括译码节点，即经译码视频块。与经译码位流相关联的语法数据可界定树块可分裂的最大次数，且还可界定译码节点的最小大小。
CU包含译码节点和与译码节点相关联的预测单元(PU)及变换单元(TU)。所述CU的大小对应于译码节点的大小且在形状上必须是正方形。CU的大小的范围可从8×8像素直到具有最大64×64像素或更大的树块的大小。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述(例如)将CU分割为一或多个PU。分割模式在CU被跳过、被直接模式编码、被帧内预测模式编码还是被帧间预测模式编码之间可不同。可将PU的形状分割为非正方形。与CU相关联的语法数据还可描述(例如)根据四叉树将CU分割为一或多个TU。TU的形状可为正方形或非正方形。
HEVC标准允许根据TU的变换，其对于不同的CU可不同。所述TU的大小通常基于针对经分割LCU而界定的给定CU内的PU的大小而设定，但可能不总是这样。TU通常与PU是相同大小或小于PU。在一些实例中，可使用被称为“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本细分为更小的单元。RQT的叶节点可被称作变换单元(TU)。可将与TU相关联的像素差值变换以产生变换系数，所述变换系数可经量化。
一般来说，PU包含与预测过程相关的数据。举例来说，在对PU进行帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，在对PU进行帧间模式编码时，PU可包含界定PU的运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
一般来说，TU用于变换和量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。所述残余值包括像素差值，所述像素差值可被变换为变换系数、使用TU经量化且经扫描以产生串行化变换系数以用于熵译码。本发明通常使用术语“视频块”来指代CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指代树块，即，LCU或CU，其包含译码节点及PU和TU。
一视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可在GOP的标头、图片中的一或多者的标头或其它地方中包含语法数据，所述语法数据描述包含于GOP中的图片的数目。图片的每一切片可包含切片语法数据，所述切片语法数据描述相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码单元。视频块可具有固定或变化的大小，且大小可根据指定的译码标准而不同。
作为一实例，HM支持按各种PU大小的预测。假定特定CU的大小为2N×2N，HM支持按2N×2N或N×N的PU大小的帧内预测，以及按2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于按2N×nU、2N×nD、nL×2N和nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未被分割，而另一方向被分割为25％和75％。CU的对应于25％分区的部分由“n”继之以“向上”、“向下”、“左边”或“右边”的指示来指示。因此，例如，“2N×nU”指代被水平地分割成在顶部具有2N×0.5N PU且在底部具有2N×1.5N PU的2N×2N CU。
在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将具有在垂直方向上的16个像素(y＝16)和在水平方向上的16个像素(x＝16)。同样地，N×N块一般具有在垂直方向上的N个像素和在水平方向上的N个像素，其中N表示非负整数值。一块中的像素可布置在若干行和若干列中。此外，块无需一定在水平方向上具有与在垂直方向上相同数目的像素。举例来说，块可包括N×M个像素，其中M不一定等于N。
在使用CU的PU进行帧内预测译码或帧间预测译码之后，视频编码器20可计算用于CU的TU的残余数据。PU可包括空间域(还被称作像素域)中的像素数据，且TU可包括在变换域(例如，在对残余视频数据应用例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换之后)中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU，且随后变换TU以产生CU的变换系数。
在进行任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化一般指代将变换系数量化以可能地减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间下舍入到m位值，其中n大于m。
在一些实例中，视频编码器20可利用预先界定的扫描次序来扫描经量化变换系数以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来熵编码所述一维向量。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵译码，以供视频解码器30在解码视频数据中使用。
为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待发射的符号。所述上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待发射的符号选择可变长度码。可将VLC中的码字建构成使得相对较短的代码对应于更有可能的符号，而较长的代码对应于较不可能的符号。以此方式，与(例如)针对待发射的每一符号使用相等长度的码字相比，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。
视频编码器20可经配置而以分层方式译码视频数据。举例来说，视频编码器20可以分层的方式将视频数据分类为包含多个层、给定层内的图片序列、序列内的图片、图片内的片及切片内的块(例如，宏块或译码树单元)。视频参数集(VPS)可跨越相应的层用信号通知多个序列的不频繁改变的参数。序列参数集(SPS)可用于用信号通知图片序列的不频繁改变的参数，且图片参数集(PPS)可用于用信号通知个别图片的不频繁改变的参数。
如上文所介绍，本发明描述用于基于CRA图片对流调适及拼接的增强支持的技术。CRA图片是使用帧内译码技术译码的图片，使得CRA图片的解码不取决于来自其它图片的信息。
随机存取一般是指开始解码从不是位流中的第一经译码图片的经译码图片开始的视频位流的能力。在许多视频应用(例如广播及流式传输)中，对经译码视频数据的位流的随机存取可为合意的。可例如使用HTTP动态自适应串流(DASH)执行经由网络对视频数据的流式传输。举例来说，视频数据的观看者可能希望在不同通道之间切换、跳转到视频的特定部分、执行所谓的“特技模式”(例如快进或快退)，或切换到不同的位流(例如，DASH中的不同表示)以用于流调适(例如，位速率(以便适应波动的网络带宽)、帧速率、空间分辨率等的调适)。
可通过以规则间隔将随机存取图片或随机存取点多次插入到视频数据位流中来启用随机存取特征。IDR单元可用于随机存取。然而，因为IDR单元通常开始经译码视频序列且清理DPB，所以在解码次序中在IDR单元后面的图片无法使用在IDR单元之前解码的图片作为参考。因此，依赖于IDR单元以用于随机存取的位流有时具有显著较低的译码效率。为了提高与IDR单元相关联的译码效率，在HEVC中引入CRA图片的概念以允许在解码次序中在CRA图片后面但在输出次序中在CRA图片前面的图片使用在CRA图片之前解码的图片作为参考。
图2A及2B是说明CRA图片的概念的概念图。图2A展示图片202的序列，其中从左到右的次序指示解码图片的次序。每一图片还具有表示图片的显示次序的图片次序计数(POC)值。POC值是相对于CRA图片204而展示，使得负值指示在CRA图片204之前显示的图片，且正值指示在CRA图片204之后显示的图片。图片202的序列包含CRA图片204。图片202的序列进一步包含一连串滞后图片206、一连串前导图片208及一连串正常图片210。滞后图片206在解码次序中在CRA图片204之前但在显示次序中在其之后(即，滞后图片206的POC高于CRA图片204的POC)。滞后图片208在解码次序中在CRA图片204后面但在输出次序中在CRA图片204前面。正常图片210在解码次序及输出次序两者中都在CRA图片204后面。
图2B展示图片203的序列。图片203的序列包括与图片202的序列相同的图片，但图片203的序列以显示次序展示图片，使得图片从左到右的排序对应于将输出图片的次序。在解码次序中在CRA图片后面但在输出次序中在CRA图片前面的图片被称作CRA图片的前导图片(例如，前导图片208)。如果解码从当前CRA图片之前的IDR单元或CRA图片开始，那么CRA图片的前导图片可被正确地解码。然而，在出现从CRA图片的随机存取时，CRA图片的前导图片无法被正确地解码。因此，通常在随机存取解码期间丢弃这些前导图片。为防止错误从取决于解码开始处而可能不可用的参考图片传播，在解码次序及输出次序两者中在CRA图片后面的所有图片应不将在解码次序或输出次序中在CRA图片前面的任何图片(其包含前导图片)用作参考。
在H.264/AVC中使用恢复点补充增强信息(SEI)消息来支持类似的随机存取功能性。H.264/AVC解码器实施方案可支持或可不支持所述功能性。在HEVC中，开始于CRA图片的位流被视为相符位流。在位流开始于CRA图片时，CRA图片的前导图片可指不可用的参考图片，且因此无法被正确地解码。然而，HEVC指定不输出开始的CRA图片的前导图片，因此名称“清洁随机存取”。为了建立位流相符要求，HEVC规定解码过程产生不可用的参考图片以用于解码非输出的前导图片。然而，相符解码器实施方案不必遵循所述解码过程，只要解码器与在从经译码视频序列的开头执行所述解码过程时相比可产生相同的输出即可。
值得注意的是，在HEVC中，相符位流可能完全不含有IDR单元，且因此，可含有经译码视频序列的子集或不完整的经译码视频序列。在HEVC中，经译码视频序列被定义为存取单元序列，其由在解码次序中的IDR存取单元及后面的包含所有后续的存取单元直到但不包含任何后续的IDR存取单元的零个或更多的非IDR存取单元组成。
在JCTVC-I0404(从http：//phenix.int-evry.fr//jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I0404-v1.zip可得)中引入“具有断链的CRA图片”的概念。与HEVC WD6中包含的CRA概念相比，在JCTVC-I0404中提出另外允许不处于位流的开头的CRA图片具有不可解码的前导图片，就像开始位流的CRA图片那样。在HEVC WD6中，允许开始位流的CRA图片(在位流次序(还被称作解码次序)中)在由于遗失先前的参考图片而无法被解码的前导图片后面。然而，不允许在位流中间或在除位流开始之外的某处的CRA图片具有此类不可解码的前导图片。在JCTVC-I0404中提出通过添加指示此类不可解码的前导图片的潜在存在的“断链”旗标来移除此约束条件。
在JCTVC-I0404中提出“断链”旗标作为切片标头或用于图片层级信息的某一其它地方(例如调适参数集(APS))中的CRA图片的图片层级信息。在断链旗标等于1时，将允许位流含有CRA图片的由于遗失前面的参考图片而不可解码的前导图片，即使位流开始于在位流次序中较早的IDR图片或CRA图片也如此。
对于具有等于1的“断链”旗标的CRA图片，除了允许具有如上文所提及的不可解码的前导图片之外，可将图片次序计数(POC)最高有效位(MSB)设定成0，其含有对IDR图片以相同的方式作用的no_output_of_prior_pics_flag及以与IDR图片的idr_pic_id相同的方式作用的random_access_pic_id。而且，当前idr_pic_id(如HEVC WD 6中)被重新命名为random_access_pic_id，且应使其约束条件适用于CRA图片及IDR图片两者而非仅适用于IDR图片。与IDR图片一样，具有等于1的broken_link_flag的CRA图片可激活不同的序列参数集(SPS)、改变图片大小等。
在JCTVC I0404中的“具有断链的CRA图片”方法及其它现有的视频随机存取方法在一些情况下可能与若干问题或缺点相关联。举例来说，切片标头或APS中的“断链”旗标的信令需要实体(例如，服务器、MANE或视频编辑器/剪接器)，所述实体在需要时将正常的CRA图片改变为BLC图片，从而能够熵译码且分析切片标头和/或APS以编码所述旗标。此还要求在需要时识别BLC图片以能够熵解码并分析切片标头和/或APS以找到旗标的实体。
作为另一实例，允许断链CRA(BLC)图片在参数集ID与有效SPS、PPS或APS相同的情况下不激活SPS、图片参数集(PPS)或APS(在由所述图片参考时)。然而，因为BLC图片通常源自在解码次序中不同于先前图片的不同位流，所以BLC图片一般使用不同的SPS原始位序列有效负载(RBSP)、PPS RBSP及APS RBSP，且有可能在解码次序中的BLC图片及所述先前图片涉及(直接或间接地)SPS或PPS ID的相同值。它们还可能涉及APS ID的相同值。在解码中使用先前图片的有效SPS、PPS或APS可在一些情况下导致对BLC图片及随后的图片(不仅仅是前导图片)被不正确地解码。
作为另一实例，在正常的CRA图片中不包含random_access_pic_id及no_output_of_prior_pics_flag要求在需要时将正常的CRA图片改变为BLC图片以能够熵编码并分析切片标头和/或APS以编码语法元素的实体。作为又另一实例，由于BLC图片通常源自在解码次序中不同于先前图片的不同位流，所以如果no_output_of_prior_pics_flag等于0，那么经解码图片缓冲器可溢出；因此在解码次序中的所有随后的图片可被不正确地解码或解码器可甚至崩溃。
作为另一实例，在第一位流的一部分及第二位流的一部分(其中第二位流的一部分从CRA图片picA开始)被拼接或级联时，在解码从先前的CRA图片或IDR图片或BLC图片开始时的情况下，有可能不将CRA图片改变为BLC图片，而是保持picA为CRA图片，CRA图片picA的前导图片的解码质量尽管不完美但却可接受(例如，在前导图片中的一或多者的检查和不与在经解码图片散列SEI消息(如在HVEC WD6中)中用信号发送的检查和匹配时)。然而，缺乏用以在位流中指示以上信息的机制。
本发明描述可在一些情况下改善上文所论述的缺点中的一些缺点的技术。可个别地或与其它所描述的技术组合地实施本文中所描述的各种技术。以下技术是基于如JCTVC-I0404中所陈述的具有断链的CRA图片的概念。
根据一个技术，作为使用切片标头中的旗标来指示具有断链的CRA图片(即，BLC图片)的替代，可使用相异的网络抽象层(NAL)单元类型(例如，在HEVC WD6中保留的等于2的NAL单元类型)来指示NAL单元属于断链图片(其可被称作BLC或BLA图片)。一个BLC图片可包括一个以上NAL单元。此技术对于网络实体可较不复杂，因为所述技术可不要求实体在需要时熵编码或解码以将正常CRA图片(例如，通过改变NAL单元类型)改变为BLC图片。另外，其可不要求实体在需要时熵译码以识别BLC图片。对于不开始位流的正常CRA图片，所有相关联的前导图片可需要是可解码的(即，可被准确地解码)。
根据另一技术，作为允许BLC图片激活不同的SPS的替代，要求BLC图片激活SPS，即使BLC图片参考的SPS ID(间接通过PPS(如HEVC WD6中)或任何其它手段，例如间接通过如JCTVC-I0338中所描述的群组参数集，或例如在SPS ID直接包含于切片标头中时直接地，或间接地通过缓冲周期SEI消息)与在解码次序中的先前图片的有效SPS的SPS ID相同也如此。这是因为BLC图片通常来自与在解码次序中的先前图片不同的位流中，且通常使用相同或不同的SPS ID来应用不同的SPS RBSP。
还需要BLC图片激活PPS，即使BLC图片所参考(通过如JCTVC-I0338中所描述的群组参数集间接地，或例如在PPS ID直接包含在切片标头中时(如HEVC WD6中)直接地)的PPS ID与在解码次序中的前一图片的有效PPS的PPS ID相同也如此。这再次是因为BLC图片通常来自与在解码次序中的前一图片不同的位流中，且通常使用相同或不同的PPS ID来应用不同的PPS RBSP。
BLC图片在参考APS的情况下也需要激活APS，即使BLC图片所参考的APS ID与在解码次序中的前一图片的有效PPS的APS ID相同也如此。这再次是因为BLC图片通常来自与在解码次序中的前一图片不同的位流中，且通常使用相同或不同的APS ID来应用不同的APS RBSP。
如本发明中所使用，可将BLC图片界定为经译码图片，对于其，NAL单元类型是用于BCL图片的NAL单元类型(例如，在HEVC WD6中保留的等于2的NAL单元类型)。可将BLC图片视为特殊类型的CRA图片。应用在非BLC CRA图片开始位流及相关联的前导图片时的用于非BLC CRA图片的相同解码过程来解码BLC图片及相关联的前导图片，即使BLC图片不是位流中的第一图片也如此。或者，可从CRA图片排除BLC图片，即，可不将BLC图片视为CRA图片。在那种情况下，应用在CRA图片开始位流及相关联的前导图片时的用于CRA图片的相同解码过程来解码BLC图片及相关联的前导图片，即使BLC图片不是位流中的第一图片也如此。在本文献的以下描述中，假设此替代方案适用。BLC存取单元可被界定为其中经译码图片是BLC图片的存取单元。可如下将经译码视频序列的定义改变为：存取单元的序列，其在解码次序中包含IDR存取单元或BLC存取单元及紧随的包含所有后续的存取单元直到但不包含任何后续的IDR或BLC存取单元的零个或更多的非IDR及非BLC存取单元。
根据另一技术，作为使random_access_pic_id及no_output_of_prior_pics_flag中的任一者或两者用于仅IDR图片及BLC图片(如JCTVC-I0404中)的替代，所述两个字段中的任一者或两者对于所有IDR图片、BLC图片及所有CRA图片可始终存在。对于每一CRA图片，可需要no_output_of_prior_pics_flag等于0。此技术可在一些情况下使得网络实体在需要时更容易将CRA图片改变为BLC图片。替代地，对于BLC图片，可需要no_output_of_prior_pics_flag等于1。替代地，每一BLC图片可不具有用信号发送的no_output_of_prior_pics_flag，但图片输出行为可与在其具有等于1的no_output_of_prior_pics_flag的情况下相同。替代地，每一BLC图片可具有用信号发送的no_output_of_prior_pics_flag，但图片输出行为可与在其具有等于1的no_output_of_prior_pics_flag的情况下相同，而不管用信号发送的no_output_of_prior_pics_flag的值如何。
根据另一技术，可例如在切片标头中用信号发送BLC图片的POC MSB值。如果其被用信号发送，那么在解码过程中所述值将仍被视为等于0，而不管所述值如何。替代地，在解码过程中使用用信号发送的POC MSB值，但随后拼接器需要检查且可能改变所述值以与在解码次序中较早的图片的POC值一致。
根据另一技术，在第一位流的一部分及第二位流的一部分(其中第二位流的一部分从CRA图片picA开始)被拼接或级联时，在解码从先前的CRA图片或IDR图片或BLC图片开始时的情况下，拼接器可保持picA为CRA图片，CRA图片picA的前导图片的解码质量尽管不完美但却可接受(例如，在前导图片中的一或多者的检查和不与在经解码图片散列SEI消息(如在HVEC WD6中)中用信号发送的检查和匹配时)。可在位流中用信号发送以上信息的指示。所述信息可通过与picA相关联的指示用信号发送(例如，作为NAL单元标头或切片标头或参考的APS中的旗标)或通过与picA相关联的SEI消息用信号发送。所述旗标可命名为exact_match_flag，值1指示与picA相关联的每一前导图片的检查和与在经解码图片散列SEI消息中用信号发送的检查和(如果存在)匹配，且值0指示与picA相关联的每一前导图片的检查和可与或可不与在经解码图片散列SEI消息中用信号发送的检查和(如果存在)匹配。
图3是说明可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20可经配置以将视频输出到后处理实体27。后处理实体27既定表示可处理来自视频编码器20的经编码视频数据的视频实体的实例，例如MANE或拼接/编辑装置。在一些情况下，后处理实体可为网络实体的实例。在一些视频编码系统中，后处理实体27及视频编码器20可为单独装置的若干部分，而在其它情况下，关于后处理实体27所描述的功能性可由包括视频编码器20的相同装置执行。
视频编码器20可执行对视频切片内的视频块的帧内译码和帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的压缩模式中的任一者。帧间模式(例如单向预测(P模式)或双向预测(B模式))可指代若干基于时间的压缩模式中的任一者。
在图3的实例中，视频编码器20包含分割单元35、预测处理单元41、滤波器单元63、图片存储器64、求和器50、变换处理单元52、量化单元54以及熵编码单元56。预测处理模块41包含运动估计单元42、运动补偿单元44和帧内预测处理单元46。对于视频块重构，视频编码器20还包含反量化单元58、反变换处理单元60，以及求和器62。滤波器单元63既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。虽然滤波器单元63在图3中被说明为环路内滤波器，但在其它配置中，滤波器单元63可实施为环路后滤波器。
如图3中所说明，视频编码器20接收视频数据，且分割单元35将所述数据分割为视频块。此分割还可包含分割为切片、瓦片或其它更大的单元，以及(例如)根据LCU和CU的四叉树结构的视频块分割。视频编码器20一般说明对将被编码的视频切片内的视频块进行编码的组件。可将所述切片划分为多个视频块(且可能划分为被称作瓦片的多组视频块)。预测处理单元41可针对当前视频块基于误差结果(例如，译码速率和失真水平)来选择多个可能的译码模式中的一者，例如多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元41将所得的经帧内译码或经帧间译码的块提供到求和器50以产生残余块数据，且提供到求和器62以重构经编码块以用作参考图片。
如上文所论述，在一些情况下，视频编码器20可编码随机存取点或流调适点(例如，时间层切换点)，例如BLA或BLC图片。举例来说，所述编码可发生在熵编码单元56内，所述熵编码单元可执行熵编码及非熵编码两者。这些图片中的一或多者可为CRA图片的前导图片。如果解码从当前CRA图片之前的RAP图片开始，那么CRA图片的前导图片可被正确地解码。然而，在出现从CRA图片的随机存取时，CRA图片的前导图片无法被正确地解码。举例来说，前导图片可指向不可用的用于预测参考的块。因此，前导图片可不可在视频解码器30处解码。因此，通常在随机存取解码期间丢弃这些前导图片。
在一实例中，视频编码器20可在切片标头中提供旗标，例如no_output_of_prior_pics_flag或语法元素，使得不输出DPB中的先前图片中的任一者，即，在BLA或BLC图片之前的图片。在一些实例中，此旗标(或语法元素)可在熵编码之前早早地在切片标头中，使得其可(例如)在解码器30处更容易地被解码且所述信息可在译码过程中较早地可用。所述语法元素或旗标可由熵编码单元56(其可执行非熵编码)编码(例如)在BLA或BLC图片的切片标头中。此对于例如MANE等中间装置可为有用的，使得由语法元素或旗标提供的所述信息可以在不熵解码的情况下可用于中间装置，但其还可有助于解码器在熵解码之前存取此类信息。
举例来说，视频编码器20(例如，熵编码单元56)可包含语法元素，所述语法元素指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片。所述语法元素在设定时可致使在解码次序中在当前图片之前且在解码所述当前图片时驻留在图片存储缓冲器中的图片从图片存储缓冲器清空而不输出。在一些实例中，所述语法元素可为多个语法元素中的一者。另外，所述多个语法元素可包含经熵译码切片标头语法元素及非经熵译码切片标头语法元素。在一实例中，指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片的语法元素包含于任何经熵译码切片标头语法元素之前的切片标头中，使得所述语法元素自身未被熵译码。
在一些实例中，所述语法元素可为no_output_of_prior_pics_flag且no_output_of_prior_pics_flag可包含于紧接在first_slice_in_pic_flag之后的切片标头中。first_slice_in_pic_flag可为指示切片是否在解码次序中是图片的第一切片的旗标。
在一实例中，视频编码器20可经配置以包含经指派以指示BLA或BLC图片何时具有且不具有前导图片的NAL单元类型。举例来说，在一个标准中，包含NAL单元类型16，BLA_W_LP(具有前导图片的BLA)；17，BLA_W_DLP(具有可解码的前导图片的BLA)；及18，BLA_N_LP(不具有前导图片的BLA)。这些NAL单元类型可由熵编码单元56(其可执行非熵编码)编码。因此，基于NAL单元类型，解码器可知晓BLA图片何时具有前导图片及前导图片何时不可解码，例如，在解码从较早的RAP图片开始时。因此，此信息可能用于确定前导图片何时可被标记为不用于参考，其可触发解码器将经解码图片缓冲器中的参考图片标记为不用于参考。
预测处理单元41内的帧内预测处理单元46相对于在与待译码的当前块相同的帧或切片中的一或多个相邻块执行对当前视频块的帧内预测译码，以提供空间压缩。预测处理单元41内的运动估计单元42和运动补偿单元44相对于一或多个参考图片中的一或多个用于预测参考的块执行对当前视频块的帧间预测译码以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定模式来确定视频切片的帧间预测模式。所述预定模式可将序列中的视频切片指定为P切片、B切片或GPB切片。运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，运动向量估计视频块的运动。运动向量(例如)可指示当前视频帧内的视频块的PU相对于参考图片内的预测块或图片的移位。
预测块是经发现在像素差异方面紧密地匹配待译码的视频块的PU的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储于图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于完整像素位置和分数像素位置的运动搜索，且以分数像素位置输出运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算经帧间译码切片中的视频块的PU的运动向量。可从第一参考图片列表(列表0)或第二参考图片列表(列表1)来选择所述参考图片，所述列表中的每一者识别存储于图片存储器64中的一或多个参考图片。运动估计单元42将计算出的运动向量发送到熵编码单元56和运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于通过运动估计所确定的运动向量获取或产生预测块，可能执行到子像素精度的内插。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻定位运动向量在所述参考图片列表中的一者中所指向的预测块。视频编码器20通过从正经译码的当前视频块的像素值减去预测块的像素值从而形成像素差值，而形成残余视频块。像素差值形成块的残余数据，且可包含亮度差分量与色度差分量两者。求和器50表示执行此减法运算的组件。运动补偿单元44还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块中使用。
帧内预测单元46可对当前块进行帧内预测，以作为如上文所描述的由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案。具体来说，帧内预测单元46可确定用以对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独编码回合期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(在一些实例中，或为模式选择单元40)可从所测试的模式中选择将使用的适当的帧内预测模式。举例来说，帧内预测单元46可使用对各种所测试的帧内预测模式的速率-失真分析来计算速率-失真值，且在所测试的模式中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与曾被编码以产生所述经编码块的原始未经编码块之间的失真(或误差)量，以及用于产生所述经编码块的位速率(即，位数目)。帧内预测单元46可根据各种经编码块的失真和速率计算比率，以确定哪一帧内预测模式展现出用于所述块的最佳的速率-失真值。
在任何情况下，在选择了用于块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供给熵编码单元56。熵编码单元56可根据本发明的技术对指示所述选定帧内预测模式的信息进行编码。视频编码器20将配置数据包含于所发射的位流中。所述位流可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(还被称作码字映射表)、各种块的编码上下文的定义，及最可能帧内预测模式的指示、帧内预测模式索引表，及经修改的帧内预测模式索引表，以用于所述上下文中的每一者。
在预测处理单元41经由帧间预测或帧内预测产生当前视频块的预测块之后，视频编码器20通过从当前视频块减去预测块而形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中且应用于变换处理单元52。变换处理单元52可使用变换(例如，离散余弦变换(DCT)或概念上类似的变换)来将残余视频数据变换为残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域(例如，频域)。
变换处理单元52可将所得的变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在熵编码单元56进行的熵编码之后，可将经编码位流发射到视频解码器30或进行存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正经译码的当前视频切片的运动向量和其它语法元素进行熵编码。
反量化单元58和反变换处理单元60分别应用反量化和反变换以在像素域中重构残余块，以用于稍后用作参考图片的参考块。运动补偿单元44可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测块而计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算子整数像素值以在运动估计中使用。求和器62将经重构的残余块添加到由运动补偿单元44产生的经运动补偿的预测块以产生参考块以供存储在图片存储器64中。参考块可由运动估计单元42和运动补偿单元44用作用以对后续视频帧或图片中的块进行帧间预测的参考块。
图4是说明可实施上文所描述的针对基于断链RAP图片对流调适及拼接的增强支持而描述的技术的实例视频解码器30的框图。在图4的实例中，视频解码器30包含熵解码单元80、预测处理单元81、反量化单元86、反变换单元88、求和器90、滤波器单元91及图片存储器92。预测处理单元81包含运动补偿单元82和帧内预测处理单元84。视频解码器30在一些实例中可执行一般与关于来自图3的视频编码器20所描述的编码回合互逆的解码回合。
在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片和相关联的语法元素的视频块的经编码视频位流。视频解码器30可从网络实体29接收经编码视频位流。网络实体29可例如为服务器、MANE、视频编辑器/拼接器，或经配置以实施上文所描述的技术中的一或多者的其它此类装置。网络实体29可包含或可不包含视频编码器20。如上文所描述，本发明中所描述的技术中的一些技术可在网络29将经编码视频位流发射到视频解码器30之前由网络实体29实施。在一些视频解码系统中，网络实体29及视频解码器30可为单独装置的若干部分，而在其它情况下，关于网络实体29所描述的功能性可由包括视频解码器30的相同装置执行。
网络实体29表示视频处理装置的一实例，其经配置以接收包括视频数据的一部分的第一网络抽象层(NAL)单元，且基于所述第一NAL单元的NAL单元类型，检测断链图片。网络实体29还可表示视频处理装置的一实例，其经配置以接收包括所述视频数据的一部分的网络抽象层(NAL)单元；确定所述NAL单元包括断链图片；及将所述NAL单元的NAL单元类型设定为指示所述NAL单元包括所述断链图片的NAL单元类型。
如上文所论述，在一些实例中，视频解码器30可解码断链RAP图片，例如BLA图片，或在随机存取点或流调适点(例如，时间层切换点)之后的图片，例如前导图片。在出现从断链RAP图片的随机存取时，前导图片无法被正确地解码。
在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，视频解码器30可不将在解码次序或输出次序中在断链RAP图片前面的任何图片(其包含前导图片)用作参考图片。举例来说，预测处理单元81可不将存储于图片存储器92中的在解码次序或输出次序中在断链RAP图片前面的任何图片(其包含前导图片)用作参考图片
在各种实例中，视频解码器30可在将BLA图片解码为不用于参考之前将DPB中的任何参考图片标记为不用于参考。举例来说，可执行熵解码及菲熵解码的熵解码单元80可将图片存储器92(有时称作经解码图片缓冲器(DPB))中的参考图片标记为不用于参考。视频解码器30(例如，熵解码单元80)可确定当前图片是BLA或BLC图片，且在解码BLA或BLC图片之前将图片存储缓冲器中的参考图片标记为不用于参考。确定当前图片是BLA或BCL图片可包含确定当前图片是CRA图片且确定当前图片是RAP图片。在当前图片是CRA图片和RAP图片两者时，当前CRA图片是BLA图片。在一些实例中，由解码器30进行的此确定可能是基于具有BLA NAL单元类型的图片而作出。
在另一实例中，在解码BLA图片时，解码器30可在经编码位流中接收旗标或语法元素，例如no_output_of_prior_pics_flag，使得不输出DPB中的先前图片中的任一者。在一些实例中，此旗标可在熵解码之前早早地呈现在BLA图片的切片的切片标头中，使得其可更容易地被解码且所述信息在译码过程中较早地可用。所述旗标或语法元素可由熵解码单元80(其可执行熵解码及非熵解码两者)解码。在熵编码之前早早地将旗标或其它语法元素放置在切片标头中可允许较不复杂的装置(例如，MANE)存取所述信息而不需要熵解码器，这是因为(例如)在此实例中不需要将no_output_of_prior_pics_flag熵解码。
在一实例中，视频解码器30可将语法元素(例如，no_output_of_prior_pics_flag)放置在位流中以供解码器接收。所述语法元素可指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片。所述语法元素在设定时可致使在解码次序中在当前图片之前且在解码所述当前图片时驻留在图片存储缓冲器中的图片从图片存储缓冲器清空而不输出。在一些实例中，所述语法元素可为多个语法元素中的一者。另外，所述多个语法元素可包含一或多个经熵译码切片标头语法元素及一或多个非经熵译码切片标头语法元素。在一实例中，指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片的语法元素包含于任何经熵译码切片标头语法元素之前(例如，在任何ue(v)元素之前)的切片标头中(例如，作为u(1)元素)。在一些实例中，所述语法元素可为no_output_of_prior_pics_flag且no_output_of_prior_pics_flag可包含于切片标头中，紧接在first_slice_in_pic_flag之后且在任何经熵译码元素之前。first_slice_in_pic_flag可为指示切片是否在解码次序中是图片的第一切片的旗标。
在另一实例中，视频解码器30可处理经指派以指示何时BLA图片具有及不具有前导图片的NAL单元类型。视频解码器30可经配置以包含经指派以指示何时BLA图片具有及不具有前导图片的NAL单元类型。举例来说，可执行熵解码及非熵解码的熵解码单元80可处理所述NAL单元类型。
在一个实例中，视频解码器30(例如，熵解码单元80)可根据多个不同的网络抽象层(NAL)单元类型中的一者来解码图片。所述多个NAL单元类型包含以下各者中的一或多者：(1)断链图片(例如，被称作BLA或BLC)的经译码切片，其中所述断链图片是位流中的具有相关联的前导图片(可解码或不可解码)的断链图片；(2)断链图片的经译码切片，其中所述断链图片是位流中的具有相关联的可解码的前导图片的BLA图片；及(3)断链图片的经译码切片，其中断链图片是位流中的不具有相关联的前导图片的断链图片。在一实例中，所述前导图片包括在显示次序中在随机存取图片(RAP)前面但在解码次序中在所述随机存取图片后面的图片。
视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测处理单元81。视频解码器30可在视频切片层级和/或视频块层级处接收语法元素。
当将视频切片译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用信号通知的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当将视帧帧译码为经帧间译码(即，B、P或GPB)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其它语法元素而产生用于当前视频切片的视频块的用于预测参考的块。可从参考图片列表中的一者内的参考图片中的一者产生用于预测参考的块。视频解码器30可基于存储于图片存储器92中的参考图片使用默认建构技术来建构参考帧列表，列表0和列表1。
运动补偿单元82通过解析运动向量和其它语法元素而确定当前视频切片的视频块的预测信息，且使用所述预测信息产生正用于被解码的当前视频块的用于预测参考的块。举例来说，运动补偿单元82使用所接收的语法元素中的一些语法元素来确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的建构信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态，及用以对当前视频切片中的视频块进行解码的其它信息。当将DPB中的图片标记为不用于参考时，不存在可用的参考图片。因此，视频解码器30将不能够解码参考用于帧间预测的较早的参考图片的前导图片。
运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可从所接收的语法元素来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生用于预测参考的块。
反量化单元86将提供于位流中且由熵解码单元80解码的经量化的变换系数反量化(即，解量化)。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数，以确定应应用的量化程度以及同样的反量化程度。反变换处理单元88对变换系数应用反变换(例如，反DCT、反整数变换，或概念上类似的反变换过程)，以便产生像素域中的残余块。
在运动补偿单元82基于运动向量和其它语法元素产生当前视频块的预测块之后，视频解码器30通过对来自反变换处理单元88的残余块与由运动补偿单元82产生的对应的用于预测参考的块求和而形成经解码视频块。求和器90代表执行此求和操作的组件。在需要时，还可使用环路滤波器(在译码环路中或在译码环路之后)来平滑像素转变或以其它方式提高视频质量。滤波器单元91既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。虽然滤波器单元91在图4中被说明为环路内滤波器，但在其它配置中，滤波器单元91可实施为环路后滤波器。接着将给定帧或图片中的经解码视频块存储于图片存储器92中，所述图片存储器存储用于后续运动补偿的参考图片。图片存储器92还存储经解码视频以供稍后在显示装置(例如，图1的显示装置32)上呈现。
以此方式，图4的视频解码器30表示视频处理装置的一实例，其经配置以接收包括视频数据的一部分的第一网络抽象层(NAL)单元，且基于所述第一NAL单元的NAL单元类型，检测断链图片。
图5是说明形成网络100的部分的一组实例装置的框图。在此实例中，网络10包含路由装置104A、104B(路由装置104)及发射装置106。路由装置104及转码装置106既定表示可形成网络100的部分的少量装置。例如交换机、集线器、防火墙、桥接器及其它此类装置等其它网络装置也可包含于网络100内。另外，可沿着服务器装置102与客户端装置108之间的网络路径提供额外的网络装置。在一些实例中，服务器装置102可对应于源装置12(图1)，而客户端装置108可对应于目的地装置14(图1)。
一般来说，路由装置104实施一或多个路由协议以通过网络100交换网络数据。在一些实例中，路由装置104可经配置以执行代理或高速缓冲操作。因此，在一些实例中，路由装置104可被称作代理装置。一般来说，路由装置104执行路由协议以通过网络100发现路线。通过执行此类路由协议，路由装置104B可经由路由装置104A发现从自身到服务器装置102的网络路线。
本发明的技术可由例如此些路由装置104及转码装置106等网络装置实施，但还可由客户端装置108实施。以此方式，路由装置104、转码装置106及客户端装置108表示经配置以执行本发明的技术的装置的实例。另外，图1的装置及图3中所说明的编码器及图4中所说明的解码器也是可经配置以执行本发明的技术的示范性装置。
举例来说，服务器装置102可包含编码器以编码在随机存取点或流调适点(例如，时间层切换点或其它流调适点)之后的图片。举例来说，此点可为用于调适位速率、帧速率(即，时间层切换点)或空间分辨率的切换点。类似地，客户端装置108可解码在随机存取点或流调适点(例如，时间层切换点)之后的图片。再次，此可为用于调适位速率、帧速率(即，时间层切换点)或空间分辨率的切换点。这些图片中的一或多者可为前导图片。在出现从BLA图片的随机存取时，前导图片无法在客户端装置108处被正确地解码。
在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，客户端装置108可不将存储在经解码图片缓冲器(DPB)中的在解码次序或输出次序中在BLA图片前面的图片(其包含前导图片)应用为参考图片。
在各种实例中，客户端装置108可在解码BLA图片之前将DPB中的所有参考图片标记为不用于参考。举例来说，客户端装置108可将解码图片缓冲器(DPB)中的参考图片标记为不用于参考。
在另一实例中，服务器装置102、客户端装置108或两者可将语法元素或旗标包含于切片标头中且将旗标编码到位流中，例如，no_output_of_prior_pics_flag，使得不从DPB输出DPB中的由视频解码器30处理以解码前导图片的先前图片中的任一者(例如)以呈现在显示器监视器上。在一些实例中，此旗标可在熵解码之前早早地在切片标头中，使得其可更容易地被解码且所述信息在译码过程中较早地可用。在一实例中，在需要(例如)拼接或通道切换或流调适(例如，时间层切换)时，这些网络元件装置中的一者可将CRA转换为断链图片。在无熵译码的情况下使得旗标可以可存取允许不具有熵解码的能力的网络元件存取所述旗标。
所述多个NAL单元类型包含以下各者中的一或多者：(1)断链图片的经译码切片，其中所述断链图片是位流中的具有相关联的前导图片(可解码或不可解码)的断链图片；(2)断链图片的经译码切片，其中所述断链图片是位流中的具有相关联的可解码的前导图片的断链图片；及(3)断链图片的经译码切片，其中断链图片是位流中的不具有相关联的前导图片的断链图片。在一实例中，所述前导图片包括在显示次序中在随机存取图片(RAP)前面但在解码次序中在所述随机存取图片后面的图片。
在各种实例中，构成网络100的路由装置104A、104B及转码装置106还可对在随机存取点或流调适点(例如，时间层切换点)之后的图片执行一些处理。举例来说，此可为用于调适位速率、帧速率(即，时间层切换点)或空间分辨率的切换点。如上文所论述，这些图片中的一或多者可为无法被正确地解码的前导图片。
在一实例中，路由装置104A、104B及转码装置106中的一或多者可不将在解码次序或输出次序中在CRA图片前面的任何图片(其包含前导图片)用作参考图片在另一实例中，路由装置104A、104B及转码装置106中的一或多者可在解码BLA图片之前将DPB中的所有参考图片标记为不用于参考。举例来说，路由装置104A、104B及转码装置106中的一或多者可将经解码图片缓冲器(DPB)中的参考图片标记为不用于参考。在另一实例中，路由装置104A、104B及转码装置106或串流服务器中的一或多者可使用旗标(例如，no_output_of_prior_pics_flag)，使得不输出DPB中的先前图片中的任一者。另外，路由装置104A、104B及转码装置106可处理经指派以指示何时BLA图片具有及不具有前导图片的NAL单元类型。
图6是说明根据本发明中所描述的技术的实例的图。图6说明在前导图片是可解码及不可解码时的情况的实例。前导图片的可解码性可基于预测块的位置。另外，前导图片的可解码性可基于当前CRA图片是否为不是BLA图片的CRA图片或当前CRA图片是否为也是BLA图片的CRA图片。(BLA图片是CRA图片的子集)。
图6的部分200说明在解码次序中的一系列图片。起初，视频解码器30(图1及4)或客户端装置108(图5)例如可将位置202处的RAP图片解码为视频序列中的第一图片。视频解码器30或客户端装置108可随后解码位置204处的可充当参考图片的图片或图片的一部分。如图6中所说明，位置204是在解码次序中的参考图片的可能位置。如果参考图片位于位置204处且位置206处的图片为不是BLA图片的CRA图片，那么位置208处的前导图片将可解码。相反，如果参考图片位于位置204处且位置206处的图片为也是断链图片的CRA图片，那么位置208处的前导图片将不可解码。(被称作BLA或BLC图片的断链图片是CRA图片的子集)。
如果位置202处的RAP图片是在其处解码开始的RAP图片且位置206处的当前CRA图片不是断链图片，那么如上文所描述，位置208处的前导图片是可解码的。相反，如果位置206处的当前CRA图片是RAP，那么位置206处的当前CRA图片也是断链图片，且位置208处的前导图片是不可解码的。这是因为位置204处的预测块不可用于作为位置206处的当前CRA图片的断链图片。因此，位置204处的预测块可(1)被标记为不用于参考及(2)no_output_of_prior_pics_flag可指示不应输出直到且包含位置208处的前导图片的先前图片。
如图6中所说明，位置210是在解码次序中的参考图片的另一可能位置。如果参考图片位于位置210处，那么208处的前导图片将为可解码的。
图6的部分212说明在输出次序中的一系列图片。起初，视频解码器30(图1及4)或客户端装置108(图5)RAP图片202。视频解码器30或客户端装置108可随后解码位置204处的可充当预测块的图片或图片的一部分。如图6中所说明，位置204是在输出次序中的预测块的可能位置。
在输出次序中，前导图片208可在位置206处的当前CRA图片之前输出，如图6中所说明。如图6中所说明，位置210是在输出次序中的预测块的另一可能位置。
图7是说明根据本发明中所描述的一或多个实例的用于译码RAP的实例方法的流程图。如图7中所说明，在一些实例中，例如视频编码器20或视频解码器30等视频译码器可译码视频序列中的用于随机存取点或流调适点(例如，时间层切换点)的BLA图片。举例来说，此可为用于调适位速率、帧速率或空间分辨率的切换点。BLA图片可包含一或多个前导图片。在出现从BLA图片的随机存取时，前导图片无法(例如，由解码器30、MANE，或其它解码装置)被正确地解码。
在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，视频译码器可不将在解码次序或输出次序中在BLA图片前面的任何图片(其包含前导图片)用作参考图片。
举例来说，视频解码器30可接收且解码语法元素，所述语法元素指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片(700)。所述语法元素可包含于由编码器20或中间网络元件编码的视频位流中。视频解码器30可确定语法元素是否指示应发生先前图片的不输出；例如，视频解码器30可检查语法元素(702)以确定其是否被设定，即，等于1。当视频解码器30接收到被设定的语法元素时，视频解码器30可致使在解码次序中在当前图片之前且在解码所述当前图片时驻留在图片存储缓冲器中的图片从图片存储缓冲器清空而不输出(704)。
在一些实例中，所述语法元素可为多个语法元素中的一者。另外，所述多个语法元素可包含经熵译码切片标头语法元素及非经熵译码切片标头语法元素。在一实例中，所述语法元素可指示图片存储缓冲器被清空而不从经解码图片缓冲器输出任何图片包含于任何经熵译码切片标头语法元素之前的切片标头中。在另一实例中，所述语法元素可指示图片存储缓冲器中的数据应被忽略和/或覆写而不从图片存储缓冲器输出任何图片包含于任何经熵译码切片标头语法元素之前的切片标头中。在一些实例中，所述语法元素可为no_output_of_prior_pics_flag且no_output_of_prior_pics_flag可包含于紧接在first_slice_in_pic_flag之后的切片标头中。first_slice_in_pic_flag可为指示切片是否在解码次序中是图片的第一切片的旗标。
图8是说明根据本发明中所描述的一或多个实例的实例方法的流程图。在所说明的实施例中，视频译码器可确定当前图片是CRA图片(800)。视频译码器还可确定当前图片是RAP图片(802)。视频译码器可在当前图片是CRA图片和RAP图片两者时，确定当前图片是BLA图片(804)。在一些实例中，视频译码器可使用NAL单元类型来确定当前图片是否为BLA图片。视频译码器可将参考图片标记为不用于参考(806)。
在各种实例中，视频译码器可在解码BLA图片之前将DPB中的所有参考图片标记为不用于参考。举例来说，视频解码器30可将图片存储器92(有时被称作经解码图片缓冲器(DPB))中的参考图片标记为不用于参考。因此，所述图片将不用于帧间译码，这将避免可能的错误，且在一些实例中可解决空间调适的问题。另外，一般将不把这些图片输出到(例如)可在其处观看所述图片的监视器或屏幕。
视频解码器30可确定当前图片是断链图片，且在解码BLA图片之前将图片存储缓冲器中的参考图片标记为不用于参考。在一实例中，当断链图片包括不可解码的断链图片时(其在一些实例中可基于NAL单元类型来确定)，可发生对图片存储缓冲器中的参考图片的标记。在一些实例中，可独立地或以任何组合来使用以下各者中的一或多者：(1)将DPB中的图片标记为不用于参考，(2)使用语法元素，例如no_output_of_prior_pics_flag，及(3)使用指示断链图片的类型的NAL单元类型。
图9是说明根据本发明中所描述的一或多个实例的实例方法的流程图。图9的技术可由视频处理装置执行，所述视频处理装置例如为视频解码器30、网络实体29、路由装置104、转码装置106或某一其它此类视频处理装置。视频处理装置可处理NAL单元，其中指派NAL单元的NAL单元类型以指示BLA图片何时具有及不具有前导图片。在一些情况下，视频处理装置可例如检测图片是CRA图片且确定所述CRA图片是否为不具有前导图片的BLA图片、具有可解码的前导图片的BLA图片，或具有不可解码的前导图片的BLA图片。基于所述确定，视频处理装置可设定视频数据的NAL单元类型以指示NAL单元包含不具有前导图片的BLA图片、具有可解码的前导图片的BLA图片，或具有不可解码的前导图片的BLA图片。
在一个实例中，视频处理装置可根据包含以下各者中的一或多者的多个不同网络抽象层(NAL)单元类型中的一者来译码图片。视频处理装置可确定BLA图片不具有相关联的前导图片(900)且将NAL单元设定为指示所述NAL单元包括不具有相关联的前导图片的BLA图片的NAL单元类型(902)。视频处理装置可例如使用指示所述BLA图片是在位流中不具有相关联的前导图片的BLA图片的NAL单元类型来译码BLA图片的经译码切片或整个BLA图片。视频处理装置可确定BLA图片具有相关联的可解码的前导图片(904)且将NAL单元设定为指示所述NAL单元包括具有相关联的可解码的前导图片的BLA图片的NAL单元类型(906)。视频处理装置可例如使用指示所述BLA图片是在位流中具有相关联的可解码的前导图片的BLA图片的NAL单元类型来译码BLA图片的经译码切片或整个BLA图片。视频处理装置可确定BLA图片具有相关联的前导图片(908)且将NAL单元设定为指示所述NAL单元包括具有相关联的前导图片的BLA图片的NAL单元类型(910)。视频处理装置可例如使用指示所述BLA图片是在位流中不具有相关联的前导图片的BLA图片的NAL单元类型来译码BLA图片的经译码切片或整个BLA图片。在一实例中，如果视频解码器30检测到BLA NAL单元类型，那么视频解码器30可例如将DPB中的图片标记为不用于参考。
在一些实例中，可独立地或以任何组合来使用以下各者中的一或多者：(1)将DPB中的图片标记为不用于参考，(2)使用语法元素，例如no_output_of_prior_pics_flag，及(3)使用指示BLA图片的NAL单元类型。举例来说，在一些情况下，可使用这些所有三者。在其它实例中，可能与将DPB中的图片标记为不用于参考结合地使用实例性NAL单元类型。在另一实例中，可能使用不输出先前图片语法元素及将图片标记为不用于参考。在另一实例中，可能使用不输出先前图片语法元素及NAL单元类型。
如本文中所使用，BLC是指断链清洁随机存取，BLCL是指在位流中具有相关联的前导图片的BLC图片，且BLCNL是指在位流中不具有相关联的前导图片的BLC图片。如本文中所论述，BLC图片一般与BLA图片相同。CRA是指清洁随机存取，CRAL是指在位流中具有相关联的前导图片的CRA图片，且CRANL是指在位流中不具有相关联的前导图片的CRA图片。IDR是指即时解码刷新，LPR是指与随机存取点图片相关联的前导图片，NSP是指无特殊普通，RAP是指随机存取点，且RPS是指参考图片集。如本文中所使用，TLA是指时间层存取，TLAL是指也是LRP图片的TLA图片，TLANL是指不是LRP图片的TLA图片。
BLA存取单元是指其中经译码图片是BLA图片的存取单元。BLC图片是其中在不使用RPS语法将RPS导出为空的同时经译码切片的切片标头包含RPS语法的RAP图片。BLCL存取单元是其中经译码图片是BLCL图片的存取单元。BLCL图片是相关联的LPR图片存在于位流中的BLA图片。在一些实例中，BLCL存取单元可等效于BLA_W_DLP与BLA_W_LP的组合。BLCNL存取单元是其中经译码图片是BLCNL图片的存取单元。在一些实例中，BLCNL存取单元可等效于BLA_N_LP。BLCNL图片是相关联的LPR图片不存在于位流中的BLA图片。
在一实例中，CRA存取单元是其中经译码图片是CRA图片的存取单元。CRA图片是其中经译码切片的切片标头包含RPS语法且RPS语法用于导出RPS的RAP图片。CRAL存取单元是其中经译码图片是CRAL图片的存取单元。CRAL图片是相关联的LPR图片存在于位流中的CRA图片。CRANL存取单元是其中经译码图片是CRANL图片的存取单元。CRANL图片是相关联的LPR图片不存在于位流中的CRA图片。
在一实例中，IDR存取单元是其中经译码图片是IDR图片的存取单元。IDR图片是其中经译码切片的切片标头不包含RPS语法且将RPS导出为空的RAP图片。
在一实例中，如果在解码次序中的所有前面的存取单元不存在，假设被经译码图片参考的每一参数集且在解码次序中的所有后续经译码图片在其激活之前存在，在解码次序中的IDR图片及所有后续经译码图片可被正确地解码。或者，在另一实例中，IDR图片可如HEVC中通过在前面添加所界定。
在其它实例中，IDR图片可为仅含有I切片的经译码图片。另外，对于实例性IDR图片，在解码次序中在IDR图片后面的所有经译码图片不使用从在解码次序中在IDR图片前面的任何图片的帧间预测。在一实例中，在解码次序中在IDR图片前面的任何图片在输出次序中也在IDR图片前面。
前导图片是经译码图片，其不是RAP图片且在解码次序中在某一其它特定图片后面且在输出次序中在所述特定图片前面。LPR图片是与RAP图片相关联的前导图片或RAP图片的前导图片。
图片次序计数可为与每一经译码图片相关联的变量且具有随着在输出次序中相对于在解码次序中的先前RAP图片增加的图片位置而增加的值。
在一实例中，RAP存取单元是其中经译码图片是RAP图片的存取单元。RAP图片可为仅含有I切片的经译码图片。对于RAP图片，在解码次序及输出次序两者中在RAP图片后面的所有经译码图片不使用从在解码次序或输出次序中在RAP图片前面的任何图片的帧间预测。在解码次序中在RAP图片前面的任何图片的输出应在RAP图片的输出前面。如果在解码次序中的所有前面的存取单元不存在，假设被经译码图片参考的每一参数集且在解码次序中的所有后续经译码图片在其激活之前存在，在解码次序及输出次序两者中的RAP图片及所有后续经译码图片可被正确地解码。
或者，可与前面的论述一致地界定RAP图片且如下。RAP图片可为仅含有I切片的经译码图片，且对于其，在解码次序及输出次序两者中在RAP图片后面的所有经译码图片不使用从在解码次序或输出次序中在RAP图片前面的任何图片的帧间预测。在解码次序中在RAP图片前面的任何图片在输出次序中也在RAP图片前面。
TLA存取单元是其中经译码图片是TLA图片的存取单元。TLA图片是经译码图片，对于其，TLA图片及具有大于或等于TLA图片的temporal_id的temporal_id的所有经译码图片。在解码次序中在TLA图片后面的TLA图片不应使用从在解码次序中在TAL图片前面的具有大于或等于TLA图片的temporal_id的temporal_id的任何图片的帧间预测。TLAL存取单元是其中经译码图片是TLA图片的存取单元。
在一些实例中，可界定后面的相异的VCL NAL单元类型。作为第一实例，可针对IDR图片的经译码切片提供NAL单元类型(例如，nal_unit_type＝5)。对于此NAL单元类型，HEVC WD6中的IDR图片概念适用。此VCL NAL单元类型与其它类型的VCLNAL单元相比之下的独特特征是，在切片标头中不包含参考图片集(RPS)语法。
一些实例包含BLCNL图片(在位流中不具有相关联的前导图片的BLC图片，例如，nal_unit_type＝2)的经译码切片。与IDR图片的经译码切片相比，BLCNL图片的经译码切片在切片标头中包含RPS语法，但RPS语法不用于RPS导出，而是将所有RPS子集导出为空。
一些实例包含BLCL图片(在位流中具有相关联的前导图片的BLC图片，例如，nal_unit_type＝3)的经译码切片。与BLCNL图片相比，在位流中存在与BLCL图片相关联的前导图片。
一些实例包含CRANL图片(在位流中不具有相关联的前导图片的CRA图片，例如，nal_unit_type＝15)的经译码切片。与BLCNL图片的经译码切片相比，CRANL图片的经译码切片在切片标头中包含RPS语法，且RPS语法用于RPS导出。
一些实例包含CRAL图片(在位流中具有相关联的前导图片的CRA图片，例如，nal_unit_type＝4)的经译码切片。与CRANL图片相比，在位流中存在与CRAL图片相关联的前导图片。
一些实例包含TLANL图片(不是LFR图片的TLA图片，例如，nal_unit_type＝16)的经译码切片。一些实例包含TLAL图片(也是是LPR图片的TLA图片，例如，nal_unit_type＝17)的经译码切片。一些实例包含NSP图片(无特殊普通图片-不是以上各者中的任一者，例如，nal_unit_type＝1)的经译码切片。
在解码每一BLC图片(BLCL或BLCNL)图片的切片数据之后，解码器30必须将经解码图片缓冲器(DPB)中的所有参考图片标记为“不用于参考”，如上文所描述。仅在此就绪的情况下，如当前在HEVC WD 6中针对开始位流的CRA图片的前导图片而指定的当前解码过程可直接由解码器30应用于BLA图片的前导图片，而不管所述BLA图片是否改变空间分辨率。
在不具有以上情况的情况下，如果BLA图片确实改变空间分辨率，那么如当前在HEVC WD 6中针对开始位流的CRA图片的前导图片而指定的当前解码过程可直接由解码器30应用于BLA图片的前导图片。然而，如果BLA图片改变空间分辨率，那么如当前在HEVC WD 6中针对开始位流的CRA图片的前导图片而指定的当前解码过程无法直接应用于BLA图片的前导图片，因为可能出现以下情形：空间分辨率对于当前图片及用于当前图片的参考图片是不同的。
确保在解码每一BLA图片的切片数据之前将DPB中的所有参考图片标记为“不用于参考”的一种方式是将每一BLA图片的RPS导出为空，而不管切片标头中的RPS信令是否指示非空RPS。举例来说，即使存在RPS，视频解码器30可超驰此且在所述图片是BLA图片的情况下将所述RPS导出或视为孔。
实际上，如果切片标头中的RPS信令不指示用于BLA图片或CRA(CRAL或CRANL)图片的空RPS，那么所述图片本该被译码为IDR图片。
在一些实例中，可将RAP图片界定为仅含有I切片的经译码图片。对于RAP图片，在解码次序及输出次序两者中在RAP图片后面的所有经译码图片不使用从在解码次序或输出次序中在RAP图片前面的任何图片的帧间预测。另外，在解码次序中在RAP图片前面的任何图片的输出可在RAP图片的输出前面。
为了确保在解码次序中在RAP图片前面的任何图片的输出应在RAP图片的输出前面，一种方式是让视频编码器20在发射到(例如)视频解码器30的经译码位流中将no_output_of_prior_pics_flag设定为等于1，如上文所论述。在另一实例中，视频解码器30可针对BLA图片推断出no_output_of_prior_pics_flag等于1(不管其值如何)。如此，允许BLA图片处的拼接操作，其中在所拼接的位流中，早于BLA图片的图片的POC值大于BLA图片的POC值。具体来说，如果将BLA图片的POC值导出为等于其POCLSB(通过假设POC MSB等于0)，以上情况可容易发生。确保此的另一方式是确保在解码次序中在BLA图片前面的图片的输出时间早于BLA图片的输出时间。
一些实例允许视频编码器20和/或位流拼接器确定使用本文中所描述的方式中的哪一者。因此，在一些实例中，视频编码器20(例如)可在BLA图片的切片标头中包含no_output_of_prior_pics_flag。在其它实例中，视频编码器20可包含指示存储于视频解码器30处的缓冲器中的图片是否可用于参考的NAL单元类型。因此，例如，当在解码中使用此些图片将导致不正确地解码图片时，视频解码器30可将图片标记为不用于参考。
为了实现通过网络元件将CRA简单地改写为BLA图片，除了将no_output_of_prior_pics_flag放入CRA图片的切片标头中之外，还可将no_output_of_prior_pics_flag尽可能早地包含在切片标头中。此可在任何经熵译码切片标头参数之前，例如，在一些实例中，紧接在first_slice_in_pic_flag之后，如上文所论述。
在一实例中，两个背对背的BLA图片具有相同的POC LSB，且仅可能通过random_access_pic_id(或重新命名为rap_pic_id)来区分它们。因此，可能优选地针对rap_pic_id使用固定长度译码，且将rap_pic_id相对早地放入切片标头中，优选地不在任何经熵译码切片标头参数之后，例如，紧接在(例如)用于CRA图片及BLA图片的first_slice_in_pic_flag及no_output_of_prior_pics_flag之后。可用于图片边界方向的其它切片标头语法元素(例如，pic_parameter_set_id及POC LSB(即，pic_order_cnt_lsb))可为类似的。
特定类型(例如，SPS)或所有类型的所有参数集可存在于位流的开头中，即，包含在位流中的第一存取单元中。如果如此，那么获取特定类型的所有参数集且在带外将其发送会是便利的。举例来说，译码器可将在会话协商期间使用的参数包含在会话描述协议(SDP)中。因此，编码器将特定类型或所有类型的所有参数集存在于位流的开头中的指示包含在位流中可为有益的。所述指示可包含在SEI消息、存取单元定界符或参数集中。举例来说，相异的NAL单元类型可用于SPS、图片参数集(PPS)或调适参数集(APS)以指示所有的SPS(或PPS或APS)存在于位流的开头中。
语法元素slice_type可基于所述NAL单元类型指示含有切片的图片是IDR图片、CRA图片还是BLA图片而有条件地存在于切片标头中。举例来说，如果所述NAL单元类型指示含有切片的图片是IDR图片、CRA图片或BLA图片，那么slice_type不存在于切片标头中。否则，编码器将slice_type插入切片标头中。当不存在时，slice_type的值指示切片是I切片。
图10是说明根据本发明中所描述的一或多个实例的用于解码切片的实例方法的流程图。在一个实例中，视频解码器30可解码视频数据，包含接收视频数据序列的待解码的当前图片的切片(1000)。视频解码器30可在切片的切片标头中接收至少一个经熵译码语法元素及至少一个未经熵译码语法元素。所述未经熵译码语法元素在切片标头中可在经熵译码语法元素之前。另外，所述未经熵译码语法元素可指示在解码次序中在当前图片之前的图片是否将从图片存储缓冲器清空而不被输出(1002)。在一个实例中，所述语法元素可为no_output_of_prior_pics_flag。可将no_output_of_prior_pics_flag设定为“1”，例如，以指示何时在解码次序中在当前图片之前的图片将从图片存储缓冲器清空而不被输出。视频解码器30可基于未经熵译码语法元素来解码切片(1004)。
图11是说明根据本发明中所描述的一或多个实例的用于编码切片的实例方法的流程图。编码器20可编码视频数据。视频编码器20可编码视频数据序列的当前图片的切片(1100)。
视频编码器20将至少一个经熵译码语法元素及至少一个未经熵译码语法元素编码在切片的切片标头中，其中所述未经熵编码语法元素在切片标头中在所述经熵编码语法元素之前，且指示在解码次序中在当前图片之前的图片是否将从图片存储缓冲器清空而不被输出(1102)。在一个实例中，所述语法元素可为no_output_of_prior_pics_flag。可将no_output_of_prior_pics_flag设定为“1”，例如，以指示何时在解码次序中在当前图片之前的图片将从图片存储缓冲器清空而不被输出。
图12是说明本发明中所描述的用于处理视频数据的实例技术的流程图。图12的技术可由视频处理装置执行，所述视频处理装置例如为视频解码器30、网络实体29、路由装置104、转码装置106或某一其它此类视频处理装置。视频处理装置可在视频数据中接收NAL单元(1210)且基于第一NAL单元的NAL单元类型，检测断链图片(1220)。所述NAL单元类型可为指示断链图片包括具有前导图片的断链图片的NAL单元类型，或所述NAL单元类型可为指示断链图片包括不具有前导图片的断链图片的不同NAL单元类型。视频处理实体可检测断链图片而不执行对NAL单元中的视频位流数据的语法元素的熵解码。
基于所检测到的NAL单元的类型，视频处理装置可执行多种操作中的一或多者。举例来说，MANE可基于NAL单元类型而执行用于NAL单元的一或多个路由决策。作为一个实例，如果视频处理装置是MANE，那么视频处理装置可响应于指示具有前导图片的断链图片的NAL单元而丢弃所述前导图片且发射不具有前导图片的NAL单元。在其中NAL单元指示不具有前导图片的断链图片的情况下，视频处理装置可发射NAL单元而不必丢弃任何前导图片。所述MANE可例如潜在地经由一或多个路由装置将NAL单元发射到视频解码器。
举例来说，如果视频处理装置是与MANE相对的视频解码器，那么视频解码器可执行多种不同操作中的一或多者。举例来说，响应于检测到断链图片，视频解码器可激活视频数据的一或多个新参数集。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码和/或数据结构来用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
在又其它实例中，本发明预期一种包括存储于其上的数据结构的计算机可读媒体，其中所述数据结构包含与本发明一致的经编码位流。具体来说，所述数据结构可包含本文中所描述的NAL单元设计。
举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是针对于非瞬时的、有形存储媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。以上各者的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内，或并入组合式编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的若干功能性方面，但不一定需要通过不同的硬件单元来实现。而是，如上文所描述，各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过互操作的硬件单元的集合(包含如上文所描述的一或多个处理器)来提供。
已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (41)

1.一种用于处理视频数据的方法，所述方法包括：
接收包括所述视频数据的一部分的第一网络抽象层NAL单元；及
基于所述第一NAL单元的NAL单元类型，检测断链图片。
2.根据权利要求1所述的方法，其中所述NAL单元类型是第一NAL单元类型，且检测所述断链图片包括检测具有前导图片的断链图片。
3.根据权利要求2所述的方法，其进一步包括：
丢弃所述前导图片；及
将所述第一NAL单元发射到视频处理装置。
4.根据权利要求1所述的方法，其中所述NAL单元类型是第一NAL单元类型，且检测所述断链图片包括检测不具有前导图片的断链图片。
5.根据权利要求4所述的方法，其进一步包括：
将所述第一NAL单元发射到视频处理装置。
6.根据权利要求4所述的方法，其进一步包括：
接收第二NAL单元；
确定所述第二NAL单元的NAL单元类型；及
基于所述第二NAL单元的所述NAL单元类型，检测具有前导图片的断链图片，其中所述第二NAL单元的所述NAL单元类型不同于所述第一NAL单元类型。
7.根据权利要求1所述的方法，其中所述NAL单元类型是第一NAL单元类型，且检测所述断链图片包括检测具有可解码的前导图片的断链图片。
8.根据权利要求1所述的方法，其中所述方法由视频处理实体执行，且其中所述视频处理实体检测所述断链图片而不执行对所述NAL单元中的视频位流数据的语法元素的熵解码。
9.根据权利要求1所述的方法，其进一步包括：
响应于检测到断链图片，激活一或多个新参数集以用于对所述视频数据进行译码。
10.根据权利要求9所述的方法，其中所述一或多个新参数集包括调适参数集APS、序列参数集SPS及图片参数集PPS中的一或多者。
11.根据权利要求9所述的方法，其中所述一或多个参数集中的一者的识别ID与先前经解码图片的有效参数集相同。
12.根据权利要求1所述的方法，其中所述方法由视频解码器执行。
13.根据权利要求1所述的方法，其中所述方法由媒体感知网络元件MANE执行。
14.一种用于处理视频数据的方法，所述方法包括：
接收包括所述视频数据的一部分的网络抽象层NAL单元；
确定所述NAL单元包括断链图片；及
将所述NAL单元的NAL单元类型设定为指示所述NAL单元包括所述断链图片的NAL单元类型。
15.根据权利要求14所述的方法，其中确定所述NAL单元包括所述断链图片包括确定所述NAL单元包括具有前导图片的断链图片，且其中所述NAL单元类型指示所述NAL单元包括具有前导图片的所述断链图片。
16.根据权利要求15所述的方法，其中确定所述NAL单元包括具有前导图片的所述断链图片包括确定所述NAL单元包括具有可解码的前导图片的断链图片，且其中第一NAL单元类型指示所述NAL单元包括具有可解码的前导图片的所述断链图片。
17.根据权利要求15所述的方法，其中确定所述NAL单元包括具有前导图片的所述断链图片包括确定所述NAL单元包括具有不可解码的前导图片的断链图片，且其中所述第一NAL单元类型指示所述NAL单元包括具有可解码或不可解码的前导图片的所述断链图片。
18.根据权利要求14所述的方法，其中确定所述NAL单元包括所述断链图片包括确定所述NAL单元包括不具有前导图片的断链图片，且其中所述第一NAL单元类型指示所述NAL单元包括不具有前导图片的所述断链图片。
19.一种用于处理视频数据的装置，所述装置包括一或多个处理器，所述一或多个处理器经配置以：
接收包括所述视频数据的一部分的第一网络抽象层NAL单元；及
基于所述第一NAL单元的NAL单元类型，检测断链图片。
20.根据权利要求19所述的装置，其中所述NAL单元类型是第一NAL单元类型，且检测所述断链图片包括检测具有前导图片的断链图片。
21.根据权利要求20所述的装置，其中所述一或多个处理器进一步经配置以：
丢弃所述前导图片；及
将所述第一NAL单元发射到视频处理装置。
22.根据权利要求19所述的装置，其中所述NAL单元类型是第一NAL单元类型，且检测所述断链图片包括检测不具有前导图片的断链图片。
23.根据权利要求22所述的装置，其中所述一或多个处理器进一步经配置以：
将所述第一NAL单元发射到视频处理装置。
24.根据权利要求22所述的装置，其中所述一或多个处理器进一步经配置以：
接收第二NAL单元；
确定所述第二NAL单元的NAL单元类型；及
基于所述第二NAL单元的所述NAL单元类型，检测具有前导图片的断链图片，其中所述第二NAL单元的所述NAL单元类型不同于所述第一NAL单元类型。
25.根据权利要求19所述的装置，其中所述NAL单元类型是第一NAL单元类型，且检测所述断链图片包括检测具有可解码的前导图片的断链图片。
26.根据权利要求19所述的装置，其中所述装置包括视频处理实体，且其中所述视频处理实体经配置以检测所述断链图片而不执行对所述NAL单元中的视频位流数据的语法元素的熵解码。
27.根据权利要求19所述的装置，其中所述一或多个处理器进一步经配置以：
响应于检测到断链图片，激活一或多个新参数集以用于对所述视频数据进行译码。
28.根据权利要求27所述的装置，其中所述一或多个新参数集包括调适参数集APS、序列参数集SPS及图片参数集PPS中的一或多者。
29.根据权利要求27所述的装置，其中所述一或多个参数集中的一者的识别ID与先前经解码图片的有效参数集相同。
30.根据权利要求19所述的装置，其中所述装置包括视频解码器。
31.根据权利要求19所述的装置，其中所述装置包括媒体感知网络元件MANE。
32.根据权利要求19所述的装置，其中所述装置包括以下各者中的至少一者：
集成电路；
微处理器；及，
无线通信装置，其包括视频解码器。
33.一种用于处理视频数据的装置，所述装置包括一或多个处理器，所述一或多个处理器经配置以：
接收包括所述视频数据的一部分的网络抽象层NAL单元；
确定所述NAL单元包括断链图片；及
将所述NAL单元的NAL单元类型设定为指示所述NAL单元包括所述断链图片的NAL单元类型。
34.根据权利要求33所述的装置，其中所述一或多个处理器经配置以通过确定所述NAL单元包括具有前导图片的断链图片来确定所述NAL单元包括所述断链图片，且其中所述NAL单元类型指示所述NAL单元包括具有前导图片的所述断链图片。
35.根据权利要求34所述的装置，其中所述一或多个处理器经配置以通过确定所述NAL单元包括具有可解码的前导图片的断链图片来确定所述NAL单元包括具有前导图片的所述断链图片，且其中第一NAL单元类型指示所述NAL单元包括具有可解码的前导图片的所述断链图片。
36.根据权利要求34所述的装置，其中所述一或多个处理器经配置以通过确定所述NAL单元包括具有不可解码的前导图片的断链图片来确定所述NAL单元包括具有前导图片的所述断链图片，且其中所述第一NAL单元类型指示所述NAL单元包括具有可解码或不可解码的前导图片的所述断链图片。
37.根据权利要求33所述的装置，其中所述一或多个处理器经配置以通过确定所述NAL单元包括不具有前导图片的断链图片来确定所述NAL单元包括所述断链图片，且其中所述第一NAL单元类型指示所述NAL单元包括具有前导图片的所述断链图片。
38.一种用于处理视频数据的装置，所述装置包括：
用于接收包括所述视频数据的一部分的第一网络抽象层NAL单元的装置；及
用于基于所述第一NAL单元的NAL单元类型来检测断链图片的装置。
39.一种用于处理视频数据的装置，所述装置包括：
用于接收包括所述视频数据的一部分的网络抽象层NAL单元的装置；
用于确定所述NAL单元包括断链图片的装置；及
用于将所述NAL单元的NAL单元类型设定为指示所述NAL单元包括所述断链图片的NAL单元类型的装置。
40.一种存储指令的计算机可读存储媒体，所述指令在由一或多个处理器执行时致使所述一个或多个处理器：
接收包括视频数据的一部分的第一网络抽象层NAL单元；及
基于所述第一NAL单元的NAL单元类型，检测断链图片。
41.一种存储指令的计算机可读存储媒体，所述指令在由一或多个处理器执行时致使所述一个或多个处理器：
接收包括视频数据的一部分的网络抽象层NAL单元；
确定所述NAL单元包括断链图片；及
将所述NAL单元的NAL单元类型设定为指示所述NAL单元包括所述断链图片的NAL单元类型。
CN201380020649.3A 2012-04-20 2013-04-09 具有对流调适及拼接的增强支持的视频译码 Active CN104272745B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261636566P 2012-04-20 2012-04-20
US61/636,566 2012-04-20
US201261643100P 2012-05-04 2012-05-04
US61/643,100 2012-05-04
US201261667371P 2012-07-02 2012-07-02
US61/667,371 2012-07-02
US13/797,458 2013-03-12
US13/797,458 US9979959B2 (en) 2012-04-20 2013-03-12 Video coding with enhanced support for stream adaptation and splicing
PCT/US2013/035809 WO2013158415A1 (en) 2012-04-20 2013-04-09 Video coding with enhanced support for stream adaptation and splicing

Publications (2)

Publication Number Publication Date
CN104272745A true CN104272745A (zh) 2015-01-07
CN104272745B CN104272745B (zh) 2018-06-15

Family

ID=49380095

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380020649.3A Active CN104272745B (zh) 2012-04-20 2013-04-09 具有对流调适及拼接的增强支持的视频译码
CN201380020797.5A Active CN104247430B (zh) 2012-04-20 2013-04-11 标记视频序列中具有断链图片的参考图片
CN201380020817.9A Active CN104272746B (zh) 2012-04-20 2013-04-11 用于视频序列中的随机存取点图片的经解码图片缓冲器处理

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201380020797.5A Active CN104247430B (zh) 2012-04-20 2013-04-11 标记视频序列中具有断链图片的参考图片
CN201380020817.9A Active CN104272746B (zh) 2012-04-20 2013-04-11 用于视频序列中的随机存取点图片的经解码图片缓冲器处理

Country Status (24)

Country Link
US (3) US9979958B2 (zh)
EP (3) EP2839642B1 (zh)
JP (3) JP6284924B2 (zh)
KR (3) KR102061378B1 (zh)
CN (3) CN104272745B (zh)
AU (2) AU2013249666B2 (zh)
BR (2) BR112014026026B1 (zh)
CA (2) CA2868521C (zh)
DK (3) DK2839642T3 (zh)
ES (3) ES2750175T3 (zh)
HK (2) HK1201113A1 (zh)
HU (3) HUE045842T2 (zh)
IL (2) IL234834B (zh)
MY (2) MY168214A (zh)
PH (2) PH12014502201B1 (zh)
PL (1) PL2839643T3 (zh)
PT (2) PT2839643T (zh)
RU (2) RU2630173C2 (zh)
SG (4) SG11201405987WA (zh)
SI (3) SI2839642T1 (zh)
TR (1) TR201815255T4 (zh)
UA (2) UA116775C2 (zh)
WO (3) WO2013158415A1 (zh)
ZA (1) ZA201408512B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141583A (zh) * 2015-10-07 2018-06-08 高通股份有限公司 使用背景图片执行预测性随机存取的方法和系统
CN108141584A (zh) * 2015-10-07 2018-06-08 高通股份有限公司 使用背景图片对预测性随机存取图片进行译码的方法和系统
CN109075951A (zh) * 2016-05-09 2018-12-21 高通股份有限公司 用于无线通信中的统一和非统一码元历时的具有码元边界对齐的可缩放参数集
CN109739667A (zh) * 2019-01-10 2019-05-10 广州华多网络科技有限公司 一种消息的消费方法、装置及设备
CN110446047A (zh) * 2019-08-16 2019-11-12 苏州浪潮智能科技有限公司 视频码流的解码方法及装置

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3410725T3 (pl) 2011-06-30 2022-02-21 Telefonaktiebolaget Lm Ericsson (Publ) Sygnalizacja obrazu referencyjnego
US20130272619A1 (en) * 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9351016B2 (en) 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US10491913B2 (en) * 2012-04-24 2019-11-26 Telefonaktiebolaget L M Ericsson (Publ) Identifying a parameter set for decoding a multi-layer video representation
EP4436173A2 (en) * 2012-06-25 2024-09-25 Huawei Technologies Co., Ltd. Method for signaling a gradual temporal layer access picture
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
US9479776B2 (en) 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
EP2863630A4 (en) 2012-07-03 2016-03-09 Samsung Electronics Co Ltd Method and apparatus for video coding with temporal scalability and method and apparatus for video decoding with temporal scalability
WO2014010300A1 (ja) * 2012-07-10 2014-01-16 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
JP2014039252A (ja) * 2012-08-10 2014-02-27 Panasonic Corp 画像復号方法および画像復号装置
US9992490B2 (en) * 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
KR20140043239A (ko) * 2012-09-27 2014-04-08 한국전자통신연구원 계층간 전환을 이용한 영상 부호화/복호화 방법 및 그 장치
JP6094126B2 (ja) * 2012-10-01 2017-03-15 富士通株式会社 動画像復号装置
US10419778B2 (en) 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
EP3061253A4 (en) 2013-10-25 2016-08-31 Microsoft Technology Licensing Llc PAIRING OF BLOCKS BY HASHING VIDEO AND IMAGE CODING
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
CN106105210B (zh) * 2014-01-03 2019-04-26 三星电子株式会社 管理用于对多层视频进行编码和解码的缓冲器的方法和设备
US9826232B2 (en) * 2014-01-08 2017-11-21 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
KR101785886B1 (ko) * 2014-02-03 2017-10-16 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법
KR102185245B1 (ko) * 2014-03-04 2020-12-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반 블록 매칭을 위한 해시 테이블 구성 및 이용가능성 검사
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
US10681372B2 (en) * 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
JP6462119B2 (ja) 2014-09-30 2019-01-30 マイクロソフト テクノロジー ライセンシング，エルエルシー コンピューティングデバイス
WO2016066093A1 (en) 2014-10-31 2016-05-06 Mediatek Inc. Method of improved directional intra prediction for video coding
US10516882B2 (en) 2015-01-29 2019-12-24 Vid Scale, Inc. Intra-block copy searching
EP3254462A1 (en) * 2015-02-05 2017-12-13 Cisco Technology, Inc. Method and system for processing hevc coded video in broadcast and streaming applications
WO2016133440A1 (en) * 2015-02-19 2016-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Methods, encoder and decoder for coding of video sequences
CN104768011B (zh) 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置
US10148983B2 (en) * 2015-09-25 2018-12-04 Qualcomm Incorporated Methods and systems of improved video stream switching and random access
US10097608B2 (en) * 2015-12-26 2018-10-09 Intel Corporation Technologies for wireless transmission of digital media
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
GB2594615B (en) * 2017-03-20 2022-11-30 Canon Kk Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
CN107194961B (zh) * 2017-05-19 2020-09-22 西安电子科技大学 群体图像编码中多参考图像的确定方法
EP3780608A4 (en) * 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
EP3996463B1 (en) 2018-04-05 2023-08-16 Telefonaktiebolaget LM Ericsson (publ) Multi-stage sidelink control information
CN110401622B (zh) * 2018-04-25 2022-04-29 中国移动通信有限公司研究院 一种语音质量评估方法、装置、电子设备和存储介质
US11889118B2 (en) * 2019-02-24 2024-01-30 Sharp Kabushiki Kaisha Systems and methods for signaling types of pictures and associated information in video coding
US12096032B2 (en) * 2019-06-24 2024-09-17 Interdigital Vc Holdings, Inc. Method and apparatus for signaling decoding data using high level syntax elements
AU2020354368A1 (en) * 2019-09-24 2022-04-14 Huawei Technologies Co., Ltd. Temporal identifier constraints for SEI messages
KR20220100710A (ko) * 2019-12-23 2022-07-15 엘지전자 주식회사 Nal 유닛 타입 기반 영상 또는 비디오 코딩
WO2021133721A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Techniques for implementing a decoding order within a coded picture
KR20220156831A (ko) 2020-03-20 2022-11-28 바이트댄스 아이엔씨 서브픽처의 레퍼런스 픽처 목록에 대한 제약
BR112022021342A2 (pt) * 2020-04-20 2022-12-13 Bytedance Inc Método de processamento de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
US12041386B2 (en) * 2020-09-29 2024-07-16 Lemon Inc. Dependent random access point indication in video bitstreams
WO2024030279A1 (en) * 2022-08-01 2024-02-08 Innopeak Technology, Inc. Encoding method, decoding method, encoder and decoder

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101822061A (zh) * 2007-10-11 2010-09-01 松下电器产业株式会社 视频编码方法以及视频解码方法

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US62009A (en) * 1867-02-12 Charles t
JP3358835B2 (ja) * 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
US5515107A (en) 1994-03-30 1996-05-07 Sigma Designs, Incorporated Method of encoding a stream of motion picture data
KR20050052484A (ko) 1997-03-17 2005-06-02 마츠시타 덴끼 산교 가부시키가이샤 데이터 처리방법
KR100574186B1 (ko) 1997-10-03 2006-04-27 소니 가부시끼 가이샤 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템
JPH11177921A (ja) 1997-12-11 1999-07-02 Sony Corp ディジタルデータ編集方法、ディジタルデータ編集装置
TW416220B (en) 1998-01-23 2000-12-21 Matsushita Electric Ind Co Ltd Image transmitting method, image processing method, image processing device, and data storing medium
JP3672185B2 (ja) * 1999-02-09 2005-07-13 ソニー株式会社 コーディングシステム及びこれを用いた装置並びに記録媒体
CN1288915C (zh) 2002-01-23 2006-12-06 诺基亚有限公司 视频序列的编码和解码方法及相关的视频编码器和解码器
RU2321967C2 (ru) * 2002-07-15 2008-04-10 Нокиа Корпорейшн Способ маскирования ошибок в видеопоследовательностях
US7953194B2 (en) * 2002-09-27 2011-05-31 Broadcom Corporation Handling video transition errors in video on demand streams
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
CN1739299A (zh) 2003-01-20 2006-02-22 松下电器产业株式会社 图像编码方法
US8194751B2 (en) 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
BRPI0406424B1 (pt) 2003-03-03 2018-11-21 Godo Kaisha Ip Bridge 1 método de codificação de imagem e método de decodificação de imagem
US7724818B2 (en) 2003-04-30 2010-05-25 Nokia Corporation Method for coding sequences of pictures
EP1496707A1 (en) 2003-07-09 2005-01-12 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images with delayed reference picture refresh
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7466984B2 (en) 2004-02-19 2008-12-16 Research In Motion Limited Apparatus, and associated method, for improvement in facilitating routing of data by a mobile node operable in a packet radio communication system
ATE555475T1 (de) 2004-04-28 2012-05-15 Panasonic Corp Stream-erzeugungsvorrichtung für bewegliche bilder, kodierungsvorrichtung für bewegliche bilder, multiplex-vorrichtung für bewegliche bilder und decodierungsvorrichtung für bewegliche bilder
EP2190192B1 (en) 2004-06-02 2014-08-06 Panasonic Corporation Picture coding apparatus and picture decoding apparatus
JP4617773B2 (ja) 2004-08-23 2011-01-26 ソニー株式会社 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム
US8050328B2 (en) 2005-01-17 2011-11-01 Panasonic Corporation Image decoding method
US20070030894A1 (en) 2005-08-03 2007-02-08 Nokia Corporation Method, device, and module for improved encoding mode control in video encoding
US9210447B2 (en) * 2005-12-07 2015-12-08 Thomson Licensing Llc Method and apparatus for video error concealment using reference frame selection rules
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
JP2007214814A (ja) 2006-02-08 2007-08-23 Sony Corp 復号化方法、復号化プログラムおよび復号化装置
KR100934674B1 (ko) 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
JP2008010110A (ja) * 2006-06-30 2008-01-17 Sony Corp ファイル分割装置、ファイル分割方法及びファイル分割プログラム
WO2008018626A2 (en) 2006-08-10 2008-02-14 Canon Kabushiki Kaisha Image decoding apparatus
CA2666452C (en) 2006-10-16 2014-12-16 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
WO2008084443A1 (en) 2007-01-09 2008-07-17 Nokia Corporation System and method for implementing improved decoded picture buffer management for scalable video coding and multiview video coding
CN101257624B (zh) 2007-02-27 2011-08-24 华为技术有限公司 实现随机访问的方法及解码器
US8958486B2 (en) * 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8107754B2 (en) * 2007-12-07 2012-01-31 Mediatek Inc. Systems and methods for randomly accessing compressed images
US20110090921A1 (en) 2008-07-01 2011-04-21 Shemimon Manalikudy Anthru Network abstraction layer (nal)-aware multiplexer
JP2010041354A (ja) 2008-08-05 2010-02-18 Victor Co Of Japan Ltd 動画像符号化方法、符号化装置及び符号化プログラム
US20100098156A1 (en) 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
KR101260613B1 (ko) 2008-12-26 2013-05-03 닛뽕빅터 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램
CN102047670B (zh) * 2009-03-26 2014-03-12 松下电器产业株式会社 编码装置及方法、错误检测装置及方法、解码装置及方法
JP5227875B2 (ja) 2009-04-06 2013-07-03 株式会社日立製作所 動画像符号化装置
WO2010123198A2 (ko) 2009-04-21 2010-10-28 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
US20110222837A1 (en) 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
EP3618431B1 (en) 2010-07-21 2023-01-18 Telefonaktiebolaget LM Ericsson (publ) Picture coding and decoding
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
JP5341952B2 (ja) * 2011-05-30 2013-11-13 株式会社東芝 ビデオサーバ及びデータ収録再生方法
PL3410725T3 (pl) 2011-06-30 2022-02-21 Telefonaktiebolaget Lm Ericsson (Publ) Sygnalizacja obrazu referencyjnego
EP2687012A1 (en) 2011-06-30 2014-01-22 Telefonaktiebolaget L M Ericsson (PUBL) Absolute or explicit reference picture signaling
US20140169449A1 (en) 2011-07-05 2014-06-19 Telefonaktiebolaget L M Ericsson (Publ) Reference picture management for layered video
US9277228B2 (en) * 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
CA2846425A1 (en) 2011-08-30 2013-03-07 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
KR101649207B1 (ko) 2011-08-31 2016-08-19 노키아 테크놀로지스 오와이 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
ES2685431T3 (es) 2011-09-07 2018-10-09 Sun Patent Trust Procedimiento de decodificación de imágenes y aparato de decodificación de imágenes
ES2844148T3 (es) 2011-09-19 2021-07-21 Sun Patent Trust Procedimiento de descodificación de imágenes, dispositivo de descodificación de imágenes
BR122021007881B1 (pt) 2011-10-28 2023-03-21 Samsung Electronics Co., Ltd Método de decodificação de vídeo, e método de codificação de vídeo
US10447990B2 (en) * 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US20130272619A1 (en) 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9532055B2 (en) 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US9319679B2 (en) 2012-06-07 2016-04-19 Qualcomm Incorporated Signaling data for long term reference pictures for video coding
US9332255B2 (en) 2012-06-28 2016-05-03 Qualcomm Incorporated Signaling long-term reference pictures for video coding
US10230972B2 (en) 2012-07-01 2019-03-12 Sharp Kabushiki Kaisha Device for signaling a long-term reference picture in a parameter set
US9479776B2 (en) 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
US20140301477A1 (en) 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101822061A (zh) * 2007-10-11 2010-09-01 松下电器产业株式会社 视频编码方法以及视频解码方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GARY J. SULLIVAN: "CRA pictures with broken links", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 9TH MEETING: GENEVA》 *
RICKARD SJOBERG, 等: "Overview of HEVC High-Level Syntax and Reference Picture Management", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
SACHIN DESHPANDE, 等: "On Leading Pictures", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 9TH MEETING: GENEVA, SWITZERLAND》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141583A (zh) * 2015-10-07 2018-06-08 高通股份有限公司 使用背景图片执行预测性随机存取的方法和系统
CN108141584A (zh) * 2015-10-07 2018-06-08 高通股份有限公司 使用背景图片对预测性随机存取图片进行译码的方法和系统
CN109075951A (zh) * 2016-05-09 2018-12-21 高通股份有限公司 用于无线通信中的统一和非统一码元历时的具有码元边界对齐的可缩放参数集
TWI700014B (zh) * 2016-05-09 2020-07-21 美商高通公司 用於無線通訊中的統一和非統一符號持續時間的具有符號邊界對準的可縮放的參數集
CN109075951B (zh) * 2016-05-09 2020-07-31 高通股份有限公司 用于无线通信中的可缩放参数集的方法和装置
CN109739667A (zh) * 2019-01-10 2019-05-10 广州华多网络科技有限公司 一种消息的消费方法、装置及设备
CN110446047A (zh) * 2019-08-16 2019-11-12 苏州浪潮智能科技有限公司 视频码流的解码方法及装置

Also Published As

Publication number Publication date
AU2013249666B2 (en) 2017-06-15
CA2868521A1 (en) 2013-10-24
ES2750175T3 (es) 2020-03-25
JP2015517277A (ja) 2015-06-18
TR201815255T4 (tr) 2018-11-21
US20130279575A1 (en) 2013-10-24
EP2839644A1 (en) 2015-02-25
PT2839644T (pt) 2018-12-04
US9979958B2 (en) 2018-05-22
WO2013158462A1 (en) 2013-10-24
KR20150013546A (ko) 2015-02-05
IL234836B (en) 2018-11-29
ES2701786T3 (es) 2019-02-25
AU2013249619B2 (en) 2017-06-15
MY168214A (en) 2018-10-15
WO2013158461A1 (en) 2013-10-24
UA115982C2 (uk) 2018-01-25
KR102061378B1 (ko) 2019-12-31
CA2868529A1 (en) 2013-10-24
HUE041322T2 (hu) 2019-05-28
JP2015517278A (ja) 2015-06-18
BR112014026026A2 (pt) 2017-06-27
KR20150008136A (ko) 2015-01-21
KR102115051B1 (ko) 2020-05-25
PL2839643T3 (pl) 2019-03-29
DK2839644T3 (en) 2018-12-10
EP2839642B1 (en) 2019-07-24
SI2839644T1 (sl) 2018-12-31
KR20150013547A (ko) 2015-02-05
EP2839643A1 (en) 2015-02-25
CA2868529C (en) 2019-05-07
SG11201405987WA (en) 2014-11-27
HK1201113A1 (zh) 2015-08-21
BR112014026135A8 (pt) 2021-06-22
JP2015517279A (ja) 2015-06-18
EP2839642A1 (en) 2015-02-25
JP6234997B2 (ja) 2017-11-22
SI2839642T1 (sl) 2019-09-30
IL234834A0 (en) 2014-12-31
US10051264B2 (en) 2018-08-14
IL234834B (en) 2019-11-28
PT2839643T (pt) 2018-12-19
JP6664959B2 (ja) 2020-03-13
CN104272746B (zh) 2018-01-23
CN104247430A (zh) 2014-12-24
BR112014026026B1 (pt) 2023-03-14
DK2839643T3 (da) 2019-01-02
UA116775C2 (uk) 2018-05-10
SG11201406007VA (en) 2014-11-27
DK2839642T3 (da) 2019-10-14
PH12014502201A1 (en) 2014-12-10
CA2868521C (en) 2020-03-10
BR112014026026A8 (pt) 2021-06-22
BR112014026135A2 (pt) 2017-06-27
KR102115050B1 (ko) 2020-05-25
PH12014502202A1 (en) 2014-12-10
CN104272746A (zh) 2015-01-07
US9979959B2 (en) 2018-05-22
RU2630173C2 (ru) 2017-09-05
JP6284924B2 (ja) 2018-02-28
SG10201608770QA (en) 2016-12-29
AU2013249666A1 (en) 2014-10-30
WO2013158415A1 (en) 2013-10-24
HUE045842T2 (hu) 2020-01-28
PH12014502202B1 (en) 2014-12-10
ES2699656T3 (es) 2019-02-12
HK1201663A1 (zh) 2015-09-04
RU2014146625A (ru) 2016-06-10
AU2013249619A1 (en) 2014-10-30
RU2014146588A (ru) 2016-06-10
CN104247430B (zh) 2017-12-29
SG10201608666QA (en) 2016-12-29
ZA201408512B (en) 2019-09-25
SI2839643T1 (sl) 2019-01-31
PH12014502201B1 (en) 2014-12-10
US20130279564A1 (en) 2013-10-24
HUE040542T2 (hu) 2019-03-28
MY170383A (en) 2019-07-27
RU2630181C2 (ru) 2017-09-05
US20130279599A1 (en) 2013-10-24
CN104272745B (zh) 2018-06-15
EP2839644B1 (en) 2018-08-29
BR112014026135B1 (pt) 2023-03-14
EP2839643B1 (en) 2018-09-12

Similar Documents

Publication Publication Date Title
CN104272745A (zh) 具有对流调适及拼接的增强支持的视频译码
JP6771493B2 (ja) ビデオコーディングのためのパレットバイパスビンのグループ化
KR102014587B1 (ko) 다중-계층 비디오 코덱들에 대한 특정 hevc sei 메시지들의 이용
TWI556630B (zh) 用於處理視訊資料之方法及器件及電腦可讀取儲存媒體
KR101881239B1 (ko) 멀티-계층 비디오 코덱들에 대한 레벨 정의들
KR102084822B1 (ko) Irap 액세스 단위들과 비트스트림 스위칭 및 스플라이싱
KR101741348B1 (ko) 비디오 코딩에서 시간 스케일러빌리티 지원 하의 점진적 디코딩 리프레시
KR101743852B1 (ko) 비디오 코딩에서의 관심 영역들 및 점진적 디코딩 리프레시의 시그널링
TWI575936B (zh) 用於高效率視訊寫碼（ｈｅｖｃ）及延伸之視訊參數集
TWI532383B (zh) 在視訊寫碼中長期參考圖像之隨機存取及發信
KR101807913B1 (ko) 비디오 코딩에서 코드북을 사용한 루프 필터 파라미터들의 코딩
KR102296654B1 (ko) 다계층 코딩에서 복구 포인트 보충 향상 정보 (sei) 메시지들 및 영역 리프레쉬 정보 sei 메시지들을 코딩하는 방법
KR101578314B1 (ko) 비디오 코딩을 위한 단편화된 파라미터 세트
TWI543593B (zh) 具有一固定長度寫碼之視訊參數集識別之補充增強資訊訊息
US9686542B2 (en) Network abstraction layer header design
RU2656827C2 (ru) Усовершенствованная сигнализация идентификаторов слоев для рабочих точек видеокодера
CN104322071A (zh) 参数集译码
CN104429082A (zh) 用于视频译码的长期参考图片的信令
CN105379271A (zh) 帧内随机接入点图片的改进的跨层对齐
KR20170028905A (ko) 팔레트 모드 코딩을 위한 방법
CN105230016A (zh) 用于视频译码的具有解码次序编号的单个网络抽象层单元包
KR20140131525A (ko) 병렬 모션 추정 범위 사이즈의 묵시적 도출
KR102312764B1 (ko) 멀티 계층 코딩에서 레퍼런스 픽처 세트 (ｒｐｓ) 를 코딩하기 위한 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1201663

Country of ref document: HK

GR01 Patent grant