CN105637883B - 用于视频信息的可缩放译码的装置和方法 - Google Patents

用于视频信息的可缩放译码的装置和方法 Download PDF

Info

Publication number
CN105637883B
CN105637883B CN201480056410.6A CN201480056410A CN105637883B CN 105637883 B CN105637883 B CN 105637883B CN 201480056410 A CN201480056410 A CN 201480056410A CN 105637883 B CN105637883 B CN 105637883B
Authority
CN
China
Prior art keywords
picture
video
parameter sets
block
irap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480056410.6A
Other languages
English (en)
Other versions
CN105637883A (zh
Inventor
瓦迪姆·谢廖金
阿达许·克里许纳·瑞玛苏布雷蒙尼安
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105637883A publication Critical patent/CN105637883A/zh
Application granted granted Critical
Publication of CN105637883B publication Critical patent/CN105637883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种经配置以对视频信息进行译码的设备包含存储器单元和与存储器单元通信的处理器。所述存储器单元经配置以存储与参考层RL和增强层EL相关联的视频信息，所述RL具有第一存取单元中的RL图片，且所述EL具有所述第一存取单元中的第一EL图片，其中所述第一EL图片与第一参数集合相关联。所述处理器经配置以：确定所述第一EL图片是否为帧内随机存取点IRAP图片；确定所述第一存取单元是否紧跟在第一视频信息与包含所述第一EL图片的第二视频信息接合处的拼接点之后；以及基于所述第一EL图片是否为帧内随机存取点IRAP图片以及所述第一存取单元是否紧跟在拼接点之后的所述确定而执行以下各项中的一者：(1)避免使所述第一EL图片与不同于所述第一参数集合的第二参数集合关联，或(2)使所述第一EL图片与不同于所述第一参数集合的第二参数集合关联。所述处理器可对所述视频信息进行编码或解码。

Description

用于视频信息的可缩放译码的装置和方法
技术领域
本发明涉及视频译码及压缩领域，确切地说，涉及可缩放视频译码(SVC)、多视图视频译码(MVC)或3D视频译码(3DV)。
背景技术
数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测编码图片的经帧内译码(I)切片中的视频块。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致待译码块的预测性块。残余数据表示待译码原始块与预测性块的间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据编码的。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵编码以实现更多压缩。
发明内容
可缩放视频译码(SVC)是指其中使用基础层(BL)(有时被称作参考层(RL))及一或多个可缩放增强层(EL)的视频译码。在SVC中，基础层可携载具有基础质量水平的视频数据。所述一或多个增强层可携载额外的视频数据以支持(举例来说)较高的空间、时间及/或信噪比(SNR)水平。可相对于先前编码的层来定义增强层。举例来说，底层可充当BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，中间层(例如，既不是最低层也不是最高层的层)可为中间层下方的层的EL，例如基础层或任何介入的增强层，且同时充当中间层上方的一或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信息对另一视图的信息(例如，运动估计、运动向量预测和/或其它冗余)进行译码(例如，编码或解码)。
在SVC中，由编码器或解码器使用的参数基于可利用它们的译码层级(例如，视频层级、序列层级、图片层级、切片层级等)而分组为参数集。举例来说，可由位流中的一或多个经译码视频序列利用的参数可包含在视频参数集(VPS)中，且由经译码视频序列中的一或多个图片利用的参数可包含在序列参数集(SPS)中。类似地，由图片中的一或多个切片利用的参数可包含在图片参数集(PPS)中，且对单个切片特定的其它参数可包含在切片标头中。类似地，可在各种译码层级提供特定层在给定时间正在使用哪一参数集的指示。举例来说，如果特定层中的切片的切片标头参考PPS，那么针对所述切片或含有所述切片的图片激活PPS。类似地，如果PPS参考SPS，那么针对所述图片或含有所述图片的经译码视频序列激活SPS，且如果SPS参考VPS，那么针对经译码视频序列或含有所述经译码视频序列的视频层激活VPS。
通常，参数集针对利用所述参数集的整个译码层级保持有效(例如，当前正用于解码位流的特定片段)。举例来说，经激活SPS可针对初始激活所述SPS的整个序列保持有效，且经激活PPS可针对初始激活所述PPS的整个图片保持有效。然而，在一些现存译码方案中，可在另一参数集当前有效的译码层级当中激活参数集。在此情况下，应在特定译码层级(例如，序列、图片、切片等)的译码过程的持续时间中保持恒定的一些参数(例如，图片分辨率)可通过新参数集的激活而更改且可导致不合需要的结果。
因此，更高效地管理参数集的激活且进而改善译码准确性和错误恢复的译码方案是需要的。
本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。
在一个方面中，一种经配置以对视频信息进行译码(例如，编码或解码)的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置以存储与参考层(RL)和增强层(EL)相关联的视频信息，所述RL具有第一存取单元中的RL图片，且所述EL具有所述第一存取单元中的第一EL图片，其中所述第一EL图片与第一参数集合相关联。所述处理器经配置以：确定所述第一EL图片是否为帧内随机存取点(IRAP)图片；确定所述第一存取单元是否紧跟在第一视频信息与包含所述第一EL图片的第二视频信息接合处的拼接点之后；以及基于所述第一EL图片是否为帧内随机存取点(IRAP)图片以及所述第一存取单元是否紧跟在拼接点之后的所述确定而执行以下各项中的一者：(1)避免使所述第一EL图片与不同于所述第一参数集合的第二参数集合关联，或(2)使所述第一EL图片与不同于所述第一参数集合的第二参数集合关联。
在另一方面中，一种对视频信息进行编码的方法包括：确定增强层(EL)的第一存取单元中的第一增强层图片是否为帧内随机存取点(IRAP)图片，所述第一EL图片与第一参数集合相关联；确定所述第一存取单元是否紧跟在第一视频信息与包含所述第一EL图片的第二视频信息接合处的拼接点之后；以及基于所述第一EL图片是否为帧内随机存取点(IRAP)图片以及所述第一存取单元是否紧跟在拼接点之后的所述确定而执行以下各项中的一者：(1)避免使所述第一EL图片与不同于所述第一参数集合的第二参数集合关联，或(2)使所述第一EL图片与不同于所述第一参数集合的第二参数集合关联。
在另一方面中，一种非暂时性计算机可读媒体包括当执行时致使设备执行过程的代码。所述过程包含：存储与参考层(RL)和增强层(EL)相关联的视频信息，所述RL具有第一存取单元中的RL图片，且所述EL具有所述第一存取单元中的第一EL图片，其中所述第一EL图片与第一参数集合相关联；确定所述第一EL图片是否为帧内随机存取点(IRAP)图片；确定所述第一存取单元是否紧跟在第一视频信息与包含所述第一EL图片的第二视频信息接合处的拼接点之后；以及基于所述第一EL图片是否为帧内随机存取点(IRAP)图片以及所述第一存取单元是否紧跟在拼接点之后的所述确定而执行以下各项中的一者：(1)避免使所述第一EL图片与不同于所述第一参数集合的第二参数集合关联，或(2)使所述第一EL图片与不同于所述第一参数集合的第二参数集合关联。
在另一方面中，一种经配置以对视频信息进行译码的视频译码装置包括：用于存储与参考层(RL)和增强层(EL)相关联的视频信息的装置，所述RL具有第一存取单元中的RL图片，且所述EL具有所述第一存取单元中的第一EL图片，其中所述第一EL图片与第一参数集合相关联；用于确定所述第一EL图片是否为帧内随机存取点(IRAP)图片的装置；用于确定所述第一存取单元是否紧跟在第一视频信息与包含所述第一EL图片的第二视频信息接合处的拼接点之后的装置；以及用于基于所述第一EL图片是否为帧内随机存取点(IRAP)图片以及所述第一存取单元是否紧跟在拼接点之后的所述确定而执行以下各项中的一者的装置：(1)避免使所述第一EL图片与不同于所述第一参数集合的第二参数集合关联，或(2)使所述第一EL图片与不同于所述第一参数集合的第二参数集合关联。
附图说明
图1A是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。
图1B是说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码系统的框图。
图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
图4是说明根据本发明的一个实施例的不同层中的图片的实例配置的框图。
图5说明根据本发明的一个实施例的说明对视频信息进行译码的方法的流程图。
具体实施方式
本文中描述的某些实施例涉及在高级视频编解码器的情况下的针对例如HEVC(高效率视频译码)等可缩放视频译码的层间预测。更确切地说，本发明涉及用于改善HEVC的可缩放视频译码(SVC)扩展中的层间预测的性能的系统及方法。
在以下描述中，描述与某些实施例有关的H.264/AVC技术；还论述HEVC标准和相关技术。虽然本文中在HEVC和/或H.264标准的上下文中描述某些实施例，但所属领域的技术人员可了解，本文中揭示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文中所揭示的实施例可适用于以下标准中的一或多者:ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也称作ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
在许多方面，HEVC通常遵循先前视频译码标准的框架。HEVC中的预测单元不同于在某些先前视频译码标准中的预测单元(例如，宏块)。事实上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的阶层式结构替换，阶层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块，例如译码单元(CU)、预测单元(PU)和变换单元(TU)。CU可指区分裂的基本单元。可认为CU类似于宏块的概念，但HEVC不约束CU的最大大小，且可允许递归分裂成四个相等大小的CU以改善内容适应性。PU可认为是帧间/帧内预测的基本单元，且单个PU可含有多个任意形状分区以有效地译码不规则图像图案。TU可认为是变换的基本单元。可独立于PU界定TU；然而，TU的大小可受限于所述TU属于的CU的大小。此块结构分离为三个不同概念可允许根据单元的相应作用来优化每一单元，这可得到改善的译码效率。
仅出于说明的目的，用仅包含两个层(例如，比如基础层等较低层，和比如增强层等较高层)的实例来描述本文中揭示的某些实施例。应理解，这些实例可适用于包含多个基础层及/或增强层的配置。此外，为了易于解释，参照某些实施例，以下揭示内容包含术语“帧”或“块”。然而，这些术语不打算具有限制性。例如，下文描述的技术可供任何合适的视频单元(例如，块(例如，CU、PU、TU、宏块等)、切片、帧等)使用。
视频译码标准
例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一像素通常含有明度及色度信息。在无压缩的情况下，将从图像编码器传达到图像解码器的信息的绝对量将使实时图象传输不可能。为了减少待发射的信息的量，已开发出例如JPEG、MPEG及H.263标准等数个不同压缩方法。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
此外，存在一种新的视频译码标准，即高效视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。对HEVC草案10的完全引用为布罗斯(Bross)等人的文件JCTVC-L1003，“高效率视频译码(HEVC)文本说明书草案10(High Efficiency Video Coding(HEVC)Text SpecificationDraft 10)”，ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到2013年1月23日。对HEVC的多视图扩展(即，MV-HEVC)及对HEVC的可扩展扩展(名为SHVC)也正分别由JCT-3V(3D视频译码扩展开发ITU-T/ISO/IEC联合合作小组)及JCT-VC开发。
下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。相反，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。
尽管本文描述了特定方面，但这些方面的许多变化及排列落在本发明的范围内。尽管提到了优选方面的一些益处及优点，但本发明的范围不希望限于特定益处、用途或目标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络及发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。具体实施方式和图式仅说明本发明，而不是限制由所附权利要求书和其等效物界定的本发明的范围。
附图说明若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”等)开始的元件未必暗示所述元件具有特定次序。而是，此些序数词仅用于指代相同或类似类型的不同元件。
视频译码系统
图1A是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码和视频解码。除了视频编码器和视频解码器外，本申请案中描述的方面可扩展到其它相关装置，例如，转码器(例如，可解码位流且重新编码另一位流的装置)及中间框(例如，可修改、变换及/或另外操纵位流的装置)。
如图1A中所示，视频译码系统10包含源模块12，其产生在稍后时间由目的地模块14解码的经编码视频数据。在图1A的实例中，源模块12和目的地模块14在单独的装置上，具体来说，源模块12是源装置的部分，且目的地模块14是目的地装置的部分。然而，注意，源模块12与目的地模块14可在同一装置上或为同一装置的部分，如在图1B的实施中所展示。
再次参考图1A，源模块12和目的地模块14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”平板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似物。在一些情况下，源模块12和目的地模块14可经装备以用于无线通信。
目的地模块14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源模块12移动到目的地模块14的任何类型媒体或装置。在图1A的实例中，链路16可包括使得源模块12能够实时将经编码视频数据直接发射到目的地模块14的通信媒体。经编码视频数据可根据例如无线通信协议等通信标准加以调制，且发射到目的地模块14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源模块12到目的地模块14的通信的设备。
替代地，经编码数据可从输出接口22输出到任选的存储装置31。类似地，可通过输入接口28从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文件服务器或可保持由源模块12产生的经编码视频的另一中间存储装置。目的地模块14可经由流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的地模块14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地模块14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置31的发射可为流式传输发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、例如经由因特网的流式传输视频发射(例如，HTTP动态自适应流式传输(DASH)等)、用于存储于数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图1A的实例中，源模块12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源模块12中，视频源18可包含来源，例如视频俘获装置，例如摄像机，包含先前俘获的视频的视频存档，用于从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源模块12和目的地模块14可形成所谓的相机电话或视频电话，如图1B的实例中所说明。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。
可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。经编码视频数据可经由源模块12的输出接口22直接发射到目的地模块14。经编码视频数据还可(或替代地)存储到存储装置31上用于稍后由目的地模块14或其它装置存取以用于解码和/或重放。图1A和1B中说明的视频编码器20可包括图2A中说明的视频编码器20、图2B中说明的视频编码器23或本文中描述的任一其它视频编码器。
在图1A的实例中，目的地模块14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地模块14的输入接口28可经由链路16接收经编码视频数据。经由链路16传送或在存储装置31上提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30的视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。图1A和图1B中说明的视频解码器30可包括图3A中说明的视频解码器30、图3B中说明的视频解码器33或本文中描述的任一其它视频解码器。
显示装置32可与目的地模块14集成或在目的地模块14外部。在一些实例中，目的地模块14可包含集成显示装置，并且还经配置以与外部显示装置介接。在其它实例中，目的地模块14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在相关方面，图1B展示实例视频编码和解码系统10'，其中源模块12和目的地模块14在装置或用户装置11上或为其部分。装置11可为电话手持机，例如“智能”电话或类似者。装置11可包含与源模块12和目的地模块14操作通信的任选的控制器/处理器模块13。图1B的系统10′可进一步包含视频编码器20与输出接口22之间的视频处理单元21。在一些实施方案中，视频处理单元21是单独的单元，如图1B中所说明；然而，在其它实施方案中，视频处理单元21可实施为视频编码器20和/或处理器/控制器模块13的一部分。系统10′还可包含任选的跟踪器29，其可跟踪视频序列中的所关注对象。待跟踪的对象或兴趣可通过结合本发明的一或多个方面描述的技术来分段。在相关方面中，跟踪可由显示装置32单独或与跟踪器29结合而执行。图1B的系统10′及其组件另外类似于图1A的系统10及其组件。
视频编码器20和视频解码器30可根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。但是，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。
尽管图1A和1B的实例中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么多路复用器-多路分用器单元可以符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分用软件实施时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中并使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。
视频译码过程
如上文简要提及，视频编码器20编码视频数据。视频数据可以包括一或多个图片。图片中的每一者为形成视频的部分的静态图像。在一些情况下，图片可被称为视频“帧”。当视频编码器20编码视频数据时，视频编码器20可产生位流。位流可以包含形成视频数据的经译码表示的位序列。位流可包含经译码图片和相关联数据。经译码的图片是图片的经译码的表示。
为产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对所述图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数据。所述相关联数据可包含视频参数集(VPS)、序列参数集、图片参数集、调适参数集及其它语法结构。序列参数集(SPS)可含有适用于零或更多个图片序列的参数。图片参数集(PPS)可含有适用于零或零个以上图片的参数。自适应参数集(APS)可含有适用于零或更多个图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。
为产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可被称作最大译码单元(LCU)。HEVC的树块可广泛类似于例如H.264/AVC等先前标准的宏块。然而，树块不必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割将树块的视频块分割成与CU相关联的视频块(因此名称为“树块”)。
在一些实例中，视频编码器20可将图片分割成多个切片。所述切片中的每一者可包含整数数目个CU。在一些情况下，一个切片包括整数数目个树块。在其它情况下，切片的边界可在树块内。
作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可称为“经译码切片”。
为产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包括表示树块的经编码版本的数据。
当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树块执行编码操作(即，编码)。举例来说，视频编码器20可按如下次序来编码切片的树块：跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行，以此类推，直到视频编码器20已编码切片中的树块的每一者。
作为根据光栅扫描次序编码树块的结果，可已编码在给定树块的上方和左边的树块，但尚未编码在给定树块的下方和右边的树块。因此，当对给定树块进行编码时，视频编码器20可能能够存取通过对给定树块的上方和左边的树块进行编码而产生的信息。然而，当编码给定树块时，视频编码器20可能不能够存取通过编码在给定树块的下方和右边的树块而产生的信息。
为产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一者或一者以上分割成四个大小相等的子子块，以此类推。经分割CU可为视频块被分割成与其它CU相关联的视频块的CU。未分割CU可为其视频块未被分割成与其它CU相关联的视频块的CU。
位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8像素直到具有最大64×64个像素或更大的树块的视频块的大小(例如，树块的大小)。
视频编码器20可根据z扫描次序对(例如，编码)树块的每一CU执行编码操作。换句话说，视频编码器20可将左上CU、右上CU、左下CU和接着右下CU按此次序编码。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序对与经分割的CU的视频块的子块相关联的CU进行编码。换句话说，视频编码器20可对与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU，且接着是与右下子块相关联的CU按所述顺序进行编码。
作为根据z扫描次序编码树块的CU的结果，可已编码在给定CU的上方、左上方、右上方、左边的左下方的CU。尚未对给定CU的右下方的CU进行编码。因此，当对给定CU进行编码时，视频编码器20可能能够存取通过对与给定CU相邻的一些CU进行编码而产生的信息。然而，当对给定CU进行编码时，视频编码器20可能不能够存取通过对与给定CU相邻的其它CU进行编码而产生的信息。
当视频编码器20对进行未分割的CU编码时，视频编码器20可产生用于所述CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生用于CU的每一PU的经预测视频块。PU的经预测视频块可为样本块。视频编码器20可使用帧内预测或帧间预测来产生用于PU的预测视频块。
当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预测来产生CU的PU的经预测视频块，那么CU为经帧内预测的CU。当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本来产生所述PU的经预测视频块。如果视频编码器20使用帧间预测来产生CU的PU的经预测视频块，那么所述CU为经帧间预测CU。
此外，当视频编码器20使用帧间预测来产生用于PU的经预测视频块时，视频编码器20可产生用于所述PU的运动信息。用于PU的运动信息可指示所述PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为除与PU相关联的图片以外的图片。在一些情况下，PU的参考块也可被称作PU的“参考样本”。视频编码器20可基于PU的参考块产生所述PU的预测视频块。
在视频编码器20产生用于CU的一或多个PU的经预测视频块之后，视频编码器20可基于用于CU的所述PU的预测视频块产生所述CU的残余数据。CU的残余数据可指示用于CU的PU的预测视频块中的样本与CU的原始视频块之间的差。
此外，作为对未分割的CU执行编码操作的部分，视频编码器20可对CU的残余数据执行递归四叉树分割以将CU的残余数据分割成与CU的变换单元(TU)相关联的一或多个残余数据块(例如，残余视频块)。CU的每一TU可与不同残余视频块相关联。
视频编码器20可对与TU相关联的残余视频块应用一或多个变换以产生与TU相关联的变换系数块(例如，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。
在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化处理。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。
视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何与所述CU相关联的变换系数块进行量化。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。
在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应性二进制算术译码(CABAC)操作的熵编码操作应用于这些语法元素中的一些。还可使用例如内容自适应可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码等其它熵译码技术。
由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有NAL单元中的数据类型的指示及含有数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息(SEI)、存取单元分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。
视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对所述位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语法元素。视频解码器30可基于从位流提取的语法元素重构视频数据的图片。基于语法元素重构视频数据的过程可与由视频编码器20执行以产生语法元素的过程大体互逆。
在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生用于CU的PU的经预测视频块。另外，视频解码器30可对与CU的TU相关联的变换系数块进行逆量化。视频解码器30可对变换系数块执行逆变换以重构与CU的TU相关联的残余视频块。在产生经预测视频块且重构残余视频块之后，视频解码器30可基于经预测视频块及残余视频块重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素重构CU的视频块。
视频编码器
图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以处理视频帧的单层(例如针对HEVC)。此外，视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，预测处理单元100可经配置以执行本发明中描述的技术中的任一者或全部。在另一实施例中，视频编码器20包含任选层间预测单元128，所述层间预测单元经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测处理单元100(例如，帧间预测单元121及/或帧内预测单元126)执行，在此情况下可省略层间预测单元128。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。
出于解释的目的，本发明以HEVC译码为背景来描述视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。图2A中所描绘的实例是针对单层编解码器。然而，如将关于图2B进一步描述，可复制视频编码器20中的一些或全部以用于多层编解码器的处理。
视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测以减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依靠时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。
在图2A的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换单元110、重构单元112、滤波器单元113、经解码图片缓冲器114和熵编码单元116。预测处理单元100包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126及层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释的目的而在图2A的实例中分开来表示。
视频编码器20可以接收视频数据。视频编码器20可从各种源接收视频数据。举例来说，视频编码器20可从视频源18(例如，图1A或1B中所展示)或另一源接收视频数据。视频数据可表示一系列图片。为编码视频数据，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的部分，视频编码器20可对切片中的树块执行编码操作。
作为对树块执行编码操作的部分，预测处理单元100可对树块的视频块执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测处理单元100可将树块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。
与CU相关联的视频块的大小范围可从8x8样本高达最大64x64像素或更大的树块大小。在本发明中，“NxN”和“N乘N”可互换使用来指代在垂直和水平尺寸方面的视频块的样本尺寸，例如，16x16样本或16乘16样本。一般来说，16x16视频块在垂直方向上具有16个样本(y＝16)，且在水平方向上具有16个样本(x＝16)。同样，NxN块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。
此外，作为对树块执行编码操作的部分，预测处理单元100可产生用于所述树块的阶层式四叉树数据结构。例如，树块可对应于四叉树数据结构的根节点。如果预测处理单元100将树块的视频块分割成四个子块，则所述根节点在所述四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测处理单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中每一者对应于与子子块中的一者相关联的CU。
四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含分裂旗标，所述分裂旗标指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。用于CU的语法元素可递归地界定，且可取决于所述CU的视频块是否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于用于对应树块的四叉树数据结构的数据。
视频编码器20可对树块的每一未分割CU执行编码操作。当视频编码器20对未分割CU执行编码操作时，视频编码器20产生表示未分割CU的经编码表示的数据。
作为对CU执行编码操作的部分，预测处理单元100可在CU的一或多个PU之间分割CU的视频块。视频编码器20及视频解码器30可支持各种PU大小。假定特定CU的大小为2Nx2N，则视频编码器20及视频解码器30可支持2Nx2N或NxN的PU大小，及2Nx2N、2NxN、Nx2N、NxN、2NxnU、nLx2N、nRx2N或类似的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的不对称分割。在一些实例中，预测处理单元100可执行几何分割以沿并不按直角与CU的视频块的侧会合的边界来在CU的PU间分割CU的视频块。
帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生用于所述PU的运动信息。运动补偿单元124可基于运动信息和除与CU相关联的图片(例如，参考图片)之外的图片的经解码样本产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可称作经帧间预测视频块。
切片可为I切片、P切片，或B切片。运动估计单元122和运动补偿单元124可取决于PU处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU都是经帧内预测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124不对PU执行帧间预测。
如果PU在P切片中，那么含有所述PU的图片与被称作“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如样本块。运动估计单元122可使用多种度量来确定参考图片中的一组样本如何紧密地对应于PU的视频块中的样本。例如，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的一组样本对应于PU的视频块中的样本的接近程度。
在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有参考块的参考图片的参考索引，以及指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以不同精确度产生运动向量。举例来说，运动估计单元122可以四分之一样本精确度、八分之一样本精确度或其它分数样本精确度产生运动向量。在分数样本精确度的情况下，参考块值可从参考图片中的整数位置样本值内插。运动估计单元122可将参考索引及运动向量输出为PU的运动信息。运动补偿单元124可基于由PU的运动信息识别的参考块而产生PU的经预测视频块。
如果PU处于B切片中，那么含有PU的图片可与被称作“列表0”和“列表1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。
此外，如果PU在B切片中，那么运动估计单元122可对PU执行单向预测或双向预测。当运动估计单元122对PU执行单向预测时，运动估计单元122可搜索列表0或列表1中的参考图片以找出用于所述PU的参考块。运动估计单元122可接着产生指示列表0或列表1中的含有参考块的参考图片的参考索引和指示PU与所述参考块之间的空间位移的运动向量。运动估计单元122可输出参考索引、预测方向指示符和运动向量作为所述PU的运动信息。预测方向指示符可指示参考索引指示列表0还是列表1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块来产生PU的经预测视频块。
当运动估计单元122针对PU执行双向预测时，运动估计单元122可搜索列表0中的参考图片以找到用于所述PU的参考块，且还可搜索列表1中的参考图片以找到用于所述PU的另一参考块。运动估计单元122可接着产生指示列表0和列表1中的含有参考块的参考图片的参考索引，以及指示所述参考块与PU之间的空间位移的运动向量。运动估计单元122可输出PU的参考索引及运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。
在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。实际上，运动估计单元122可参考另一PU的运动信息用信号表示PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU和运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量及运动向量差来确定PU的运动向量。通过在用信号表示第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能够使用较少的位用信号表示第二PU的运动信息。
如下文参考图4进一步论述，预测处理单元100可经配置以通过执行图4中说明的方法对PU(或任何其它参考层和/或增强层块或视频单元)进行译码(例如，编码或解码)。举例来说，帧间预测单元121(例如，经由运动估计单元122和/或运动补偿单元124)、帧内预测单元126或层间预测单元128可经配置以一起或分开地执行图4中说明的方法。
作为对CU执行编码操作的部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块和各种语法元素。帧内预测单元126可对I切片、P切片以及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式以产生用于PU的预测数据的多个集合。当帧内预测单元126使用帧内预测模式来产生用于PU的预测数据的集合时，帧内预测单元126可在与帧内预测模式相关联的方向和/或梯度上跨PU的视频块从相邻PU的视频块扩展样本。相邻PU可在所述PU的上方、右上方、左上方或左侧，假定对于PU、CU和树块采用从左到右、从上到下的编码次序。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如33个方向性帧内预测模式。
预测处理单元100可从由运动补偿单元124针对PU产生的预测数据或由帧内预测单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测处理单元100基于预测数据集合的速率/失真量度来选择用于PU的预测数据。
如果预测处理单元100选择由帧内预测单元126产生的预测数据，那么预测处理单元100可用信号表示用以产生用于PU的预测数据的帧内预测模式，即，选定帧内预测模式。预测处理单元100可以各种方式用信号表示所选帧内预测模式。举例来说，有可能所选帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测处理单元100可产生用以指示选定帧内预测模式与相邻PU的帧内预测模式相同的语法元素。
如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，EL中的当前块)。此预测可称作层间预测。层间预测单元128利用预测方法减少层间冗余，借此改进译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的协同定位块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。以下更详细地论述层间预测方案中的每一者。
在预测处理单元100选择用于CU的PU的预测数据之后，残余产生单元102可通过从CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块而产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说，残余数据可包含对应于CU的PU的经预测视频块中的样本的明度分量与CU的原始视频块中的样本的明度分量之间的差的残余视频块。另外，CU的残余数据可包含对应于CU的PU的预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。
预测处理单元100可执行四叉树分割以将CU的残余视频块分割成子块。每一未划分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小及位置可基于或可不基于与CU的PU相关联的视频块的大小及位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与残余视频块中的每一者相关联的节点。CU的TU可以对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用到与CU的每一TU相关联的残余视频块而产生用于所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换处理单元104可将各种变换应用到与TU相关联的残余视频块。举例来说，变换处理单元104可将离散余弦变换(DCT)、方向性变换或概念上类似的变换应用到与TU相关联的残余视频块。
在变换处理单元104产生与TU相关联的变换系数块之后，量化单元106可量化所述变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而对与CU的TU相关联的变换系数块进行量化。
视频编码器20可以各种方式使QP值与CU相关联。例如，视频编码器20可对与CU相关联的树块执行速率失真分析。在速率失真分析中，视频编码器20可通过对树块执行多次编码操作而产生所述树块的多个经译码表示。在视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率和失真量度的树块的经译码表示中的CU相关联时，视频编码器20可用信号表示所述给定QP值与CU相关联。
逆量化单元108和逆变换单元110可分别将逆量化及逆变换应用于变换系数块以从变换系数块重构残余视频块。重构单元112可以将经重构的残余视频块添加到来自由预测处理单元100产生的一或多个预测视频块的对应样本，以产生与TU相关联的经重构视频块。通过以此方式重构CU的每一TU的视频块，视频编码器20可重构CU的视频块。
在重构单元112重构CU的视频块之后，滤波器单元113可执行解块操作以减小与所述CU相关联的视频块中的成块假象。在执行一或多个解块操作之后，滤波器单元113可将CU的经重构视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可使用含有经重构视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测单元126可使用经解码图片缓冲器114中的经重构视频块对处于与CU相同图片中的其它PU执行帧内预测。
熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块且可从预测处理单元100接收语法元素。当熵编码单元116接收到数据时，熵编码单元116可以执行一或多个熵编码操作以产生经熵编码数据。举例来说，视频编码器20可对所述数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作，或另一类型的熵编码操作。熵编码单元116可输出包含经熵编码数据的位流。
作为对数据执行熵编码操作的一部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示特定二进制数具有特定值的概率的估计。在CABAC的情况下，术语“二进位”用以指语法元素的二进制化版本的位。
多层视频编码器
图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器23的实例的框图。视频编码器23可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。此外，视频编码器23可经配置以执行本发明的技术中的任一者或全部。
视频编码器23包含视频编码器20A及视频编码器20B，其中的每一者可经配置为视频编码器20且可执行上文相对于视频编码器20所描述的功能。此外，如再使用参考数字所指示，视频编码器20A和20B可包含系统及子系统中的至少一些作为视频编码器20。虽然将视频编码器23说明为包含两个视频编码器20A和20B，但视频编码器23不受此限制且可包含任何数目的视频编码器20层。在一些实施例中，视频编码器23可包含用于存取单元中的每一图片或帧的视频编码器20。例如，包含五个图片的存取单元可由包含五个编码器层的视频编码器处理或编码。在一些实施例中，视频编码器23可包含比存取单元中的帧更多的编码器层。在一些此类情况下，当处理一些存取单元时，一些视频编码器层可能不在作用中。
除了视频编码器20A及20B之外，视频编码器23可包含再取样单元90。在一些情况下，再取样单元90可对所接收的视频帧的基础层上取样以例如创建增强层。再取样单元90可对与帧的所接收的基础层相关联的特定信息上取样，但不对其它信息上取样。举例来说，再取样单元90可上取样基础层的空间大小或像素数目，但切片的数目或图片次序计数可保持恒定。在一些情况下，再取样单元90可不处理所接收的视频及/或可为任选的。例如，在一些情况下，预测处理单元100可执行上取样。在一些实施例中，再取样单元90经配置以对层进行上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片边界规则及/或光栅扫描规则。虽然主要描述为对基础层或存取单元中的较低层进行上取样，但在一些情况下，再取样单元90可对层进行下取样。例如，如果在视频的流式传输期间减小带宽，那么可对帧进行下取样而不是上取样。
再取样单元90可经配置以从较低层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)且对所述图片(或所接收的图片信息)上取样。可接着将所述经上取样图片提供到较高层编码器(例如，视频编码器20B)的预测处理单元100，所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的图片。在一些情况下，较高层编码器为从较低层编码器去除的一个层。在其它情况下，在图2B的层0视频编码器与层1编码器之间可存在一或多个较高层编码器。
在一些情况下，可省略或绕过再取样单元90。在这些情况下，可直接或在至少不提供到再取样单元90的情况下将来自视频编码器20A的经解码图片缓冲器114的图片提供到视频编码器20B的预测处理单元100。举例来说，如果提供到视频编码器20B的视频数据和来自视频编码器20A的经解码图片缓冲器114的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频编码器20B而没有任何再取样。
在一些实施例中，视频编码器23使用下取样单元94下取样待提供到较低层编码器的视频数据，随后将所述视频数据提供到视频编码器20A。替代地，下取样单元94可为能够对视频数据上取样或下取样的再取样单元90。在另外其它实施例中，可省略下取样单元94。
如图2B中所说明，视频编码器23可进一步包含多路复用器98或mux。多路复用器98可从视频编码器23输出组合的位流。可通过从视频编码器20A和20B中的每一者取得位流且交替在给定时间输出哪一位流来创造组合的位流。虽然在一些情况下，可一次一个位地交替来自两个(或在两个以上视频编码器层的情况下，两个以上)位流的位，但在许多情况下，不同地组合所述位流。举例来说，可通过一次一个块地交替选定位流来产生输出位流。在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块来产生输出位流。举例来说，可从视频编码器20B输出用于从视频编码器20A输出的每一块的两个块。在一些实施例中，可预编程来自多路复用器98的输出流。在其它实施例中，多路复用器98可基于从视频编码器23外部的系统(例如从包含源模块12的源装置上的处理器)接收的控制信号来组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定来自视频编码器23的所要分辨率输出的任何其它因素而产生控制信号。
视频解码器
图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以处理视频帧的单层(例如针对HEVC)。此外，视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162和/或帧内预测单元164可经配置以执行本发明中描述的技术中的任一者或全部。在一个实施例中，视频解码器30可任选地包含层间预测单元166，所述层间预测单元经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测处理单元152(例如，运动补偿单元162及/或帧内预测单元164)执行，在此情况下，可省略层间预测单元166。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。
出于解释的目的，本发明描述在HEVC译码的背景下的视频解码器30。然而，本发明的技术可以适用于其它译码标准或方法。图3A中所描绘的实例是针对单层编解码器。然而，如将关于图3B进一步描述，可复制视频编码器30中的一些或全部以用于多层编解码器的处理。
在图3A的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换单元156、重构单元158、滤波器单元159和经解码图片缓冲器160。预测处理单元152包含运动补偿单元162、帧内预测单元164和层间预测单元166。在一些实例中，视频解码器30可执行一般与相对于图2A的视频编码器20描述的编码遍次互逆的解码遍次。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。
视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。对位流执行剖析操作的结果是，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的一部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换单元156、重构单元158及滤波器单元159可执行重构操作，重构操作基于从位流提取的语法元素产生经解码视频数据。
如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取且熵解码序列参数集、从图片参数集NAL单元提取且熵解码图片参数集、从SEI NAL单元提取且熵解码SEI数据等等。
此外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的部分，熵解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取且熵解码经译码切片。经译码切片中的每一者可包含切片标头以及切片数据。切片标头可以含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。
作为从经译码切片NAL单元提取切片数据的部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。
在熵解码单元150对未分割的CU执行剖析操作之后，视频解码器30可对未分割的CU执行重构操作。为对未经分割CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残余视频块。
作为对TU执行重构操作的一部分，逆量化单元154可对与TU相关联的变换系数块进行逆量化(例如，解量化)。逆量化单元154可以类似于针对HEVC所提议或由H.264解码标准定义的逆量化过程的方式来逆量化变换系数块。逆量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定逆量化单元154应用的逆量化的程度。
在逆量化单元154逆量化变换系数块之后，逆变换单元156可产生用于与变换系数块相关联的TU的残余视频块。逆变换单元156可将逆变换应用到变换系数块以便产生所述TU的残余视频块。举例来说，逆变换单元156可将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。在一些实例中，逆变换单元156可基于来自视频编码器20的信令而确定适用于变换系数块的逆变换。在这些实例中，逆变换单元156可基于在用于与变换系数块相关联的树块的四叉树的根节点处的用信号表示的变换来确定逆变换。在其它实例中，逆变换单元156可从例如块大小、译码模式或类似者等一或多个译码特性推断逆变换。在一些实例中，逆变换单元156可应用级联的逆变换。
在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而精炼PU的预测视频块。用于将用于以子样本精确度进行运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收的语法元素确定由视频编码器20使用之的内插滤波器且使用所述内插滤波器来产生经预测视频块。
如下文参考图4进一步论述，所述预测处理单元152可通过执行图4中说明的方法对PU(或任何其它参考层和/或增强层块或视频单元)进行译码(例如，编码或解码)。举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或分开地执行图4中说明的方法。
如果PU是使用帧内预测编码，那么帧内预测单元164可执行帧内预测以产生用于PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧内预测模式。位流可包含帧内预测模块164可用以确定PU的帧内预测模式的语法元素。
在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，可能有可能当前PU的帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可随后使用帧内预测模式基于在空间上相邻的PU的视频块而产生用于PU的预测数据(例如，经预测样本)。
如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配置以使用在SVC中可用的一或多个不同层(例如，基础层或参考层)预测当前块(例如，EL中的当前块)。此预测可称作层间预测。层间预测单元166利用预测方法减少层间冗余，借此改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的位于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。以下更详细地论述层间预测方案中的每一者。
重构单元158可使用与CU的TU相关联的残余视频块及CU的PU的预测视频块(即，帧内预测数据或帧间预测数据，如果适用)来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素而产生所预测的视频块及残余视频块，且可基于所预测的视频块及残余视频块而产生视频块。
在重构单元158重构CU的视频块之后，滤波器单元159可执行解块操作以减少与所述CU相关联的成块假象。在滤波器单元159执行解块操作以减小与CU相关联的成块假象之后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片以用于后续运动补偿、帧内预测和在例如图1A或1B的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测操作。
多层解码器
图3B为说明可实施根据本发明中描述的方面的技术的多层视频解码器33的实例的框图。视频解码器33可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。另外，视频解码器33可经配置以执行本发明的技术中的任一者或全部。
视频解码器33包含视频解码器30A和视频解码器30B，其中的每一者可经配置为视频解码器30并可执行上文关于视频解码器30所描述的功能。此外，如再使用参考数字所指示，视频解码器30A和30B可包含系统及子系统中的至少一些作为视频解码器30。虽然将视频解码器33说明为包含两个视频解码器30A和30B，但视频解码器33不被如此限制并且可包含任何数目的视频解码器30层。在一些实施例中，视频解码器33可包含用于存取单元中的每一图片或帧的视频解码器30。举例来说，可由包含五个解码器层的视频解码器处理或解码包含五个图片的存取单元。在一些实施例中，视频解码器33可包含比存取单元中的帧多的解码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可能不在作用中。
除了视频解码器30A及30B之外，视频解码器33还可包含上取样单元92。在一些实施例中，上取样单元92可上取样所接收的视频帧的基础层以创建将添加到用于帧或存取单元的参考图片列表的经增强层。此经增强层可存储在经解码图片缓冲器160中。在一些实施例中，上取样单元92可包含关于图2A的再取样单元90描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以对层进行上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片边界规则和/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以对所接收的视频帧的层上取样及/或下取样的再取样单元。
上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器160接收图片或帧(或与图片相关联的图片信息)并对所述图片(或所接收的图片信息)上取样。随后可将此经上取样图片提供到较高层解码器(例如，视频解码器30B)的预测处理单元152，所述较高层解码器经配置以与较低层解码器解码在相同的存取单元中的图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。
在一些情况下，可省略或绕过上取样单元92。在此些情况下，可直接或在至少不提供到上取样单元92的情况下将来自视频解码器30A的经解码图片缓冲器160的图片提供到视频解码器30B的预测处理单元152。例如，如果提供到视频解码器30B的视频数据及来自视频解码器30A的经解码图片缓冲器160的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频解码器30B而不需要上取样。另外，在一些实施例中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器160接收的参考图片上取样或下取样的再取样单元90。
如图3B中所说明，视频解码器33可进一步包含多路分用器99或demux。多路分用器99可将经编码视频位流分裂为多个位流，其中由多路分用器99输出的每一位流被提供到不同的视频解码器30A和30B。可通过接收位流来产生多个位流，且视频解码器30A和30B中的每一者在给定时间接收位流的一部分。虽然在一些情况下，可在视频解码器(例如，在图3B的实例中的视频解码器30A及30B)中的每一者之间一次一个位地交替来自在多路分用器99处接收的位流的位，但在许多情况下，不同地划分所述位流。举例来说，可通过一次一个块地交替哪一视频解码器接收位流而划分所述位流。在另一实例中，可通过到视频解码器30A和30B中的每一者的块的非1:1比率来划分位流。举例来说，可针对提供到视频解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由多路分用器99对位流的划分。在其它实施例中，多路分用器99可基于从视频解码器33外部的系统(例如从包含目的地模块14的目的地装置上的处理器)接收的控制信号来划分位流。可基于来自输入接口28的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定可由视频解码器33获得的分辨率的任何其它因素而产生控制信号。
帧内随机存取点(IRAP)图片
一些视频译码方案可提供贯穿位流的各种随机存取点以使得可从那些随机存取点中的任一者开始解码位流而无需解码在位流中在那些随机存取点之前的任何图片。在此些视频译码方案中，在输出次序中跟随随机存取点的全部图片(例如，包含在与提供随机存取点的图片相同的存取单元中的那些图片)可正确地经解码而无需使用在随机存取点之前的任何图片。举例来说，即使位流的一部分在发射期间或在解码期间丢失，解码器也可从下一随机存取点开始恢复解码位流。对随机存取的支持可促进例如动态流式传输服务、搜寻操作、信道切换等。
在一些译码方案中，此些随机存取点可由称为帧内随机存取点(IRAP)图片的图片提供。举例来说，包含于存取单元(“auA”)中的增强层(“层A”)中的随机存取点(例如，由增强层IRAP图片提供)可提供层特定的随机存取以使得对于层A(例如，作为用以预测层A的层的参考层)的具有包含于在层B中且按解码次序在auA之前的存取单元(“auB”)中的随机存取点(或包含于auA中的随机存取点)的每一参考层(“层B”)，层A中在输出次序中跟随auB的图片(包含位于auB中的那些图片)可正确解码而无需解码层A中在auB之前的任何图片。
IRAP图片可使用帧内预测经译码(例如，无需参考其它图片或层间预测而译码)，且可包含例如瞬时解码器刷新(IDR)图片、清洁随机存取(CRA)图片和断链存取(BLA)图片。当位流中存在IDR图片时，按解码次序在IDR图片之前的所有图片不由跟随IDR图片的图片用于预测。当在位流中存在CRA图片时，跟随CRA图片的图片可或可不将按解码次序在CRA图片之前的图片用于预测。按解码次序跟随CRA图片但使用按解码次序在CRA图片之前的图片的那些图片可被称作随机存取跳过前导(RASL)图片。可按解码次序跟随IRAP图片且按输出次序在IRAP图片之前的另一类型的图片为随机存取可解码前导(RADL)图片，其可不含有对按解码次序在IRAP图片之前的任何图片的参考。如果在CRA图片之前的图片不可用，那么RASL图片可由解码器丢弃。BLA图片对解码器指示在BLA图片之前的图片可能不对解码器可用(例如，因为两个位流经拼接在一起且BLA图片为按解码次序的第二位流的第一图片)。含有作为IRAP图片的基础层图片(例如，具有“0”的层ID值)的存取单元(例如，由跨越多个层的与相同输出时间相关联的全部经译码图片组成的图片群组)可被称为IRAP存取单元。
网络抽象层(NAL)单元和参数集
如上文所论述，由编码器或解码器使用的参数可基于可利用它们的译码层级而分组为参数集。举例来说，由位流中的一或多个经译码视频序列利用的参数可包含在视频参数集(VPS)中，且由经译码视频序列中的一或多个图片利用的参数可包含在序列参数集(SPS)中。类似地，由图片中的一或多个切片利用的参数可包含在图片参数集(PPS)中，且对单个切片特定的其它参数可包含在切片标头中。类似地，在给定时间特定层正在使用(例如，有效)哪一参数集的指示可在各种译码层级提供。举例来说，如果特定层中的切片的切片标头参考PPS，那么针对所述切片或含有所述切片的图片激活PPS。类似地，如果PPS参考SPS，那么针对所述图片或含有所述图片的经译码视频序列激活SPS，且如果SPS参考VPS，那么针对经译码视频序列或含有所述经译码视频序列的视频层激活VPS。
可以参数集NAL单元(例如，SPS NAL单元、PPS NAL单元等)的形式在位流中提供此些参数集。NAL单元可包括原始字节序列有效负载(RBSP)和NAL单元标头。RBSP可指定参数集ID(例如，SPS ID)，且NAL单元标头可指定层ID，其可指示哪些层可使用SPS。
序列参数集(SPS)原始字节序列有效负载(RBSP)的激活
SPS RBSP包含可由一或多个图片参数集(PPS)RBSP或含有有效参数集SEI消息的一或多个SEI NAL单元参考的参数。每一SPS RBSP可初始地视为在解码过程的开始针对任何层都不有效。对于每一层，在解码过程期间的任何给定时刻至多一个SPS RBSP被视为有效，且用于特定层的任何特定SPS RBSP的激活导致用于所述特定层的先前有效SPS RBSP(如果存在)的减活。
一个SPS RBSP可为用于一个以上层的有效SPS RBSP。举例来说，如果基础层和增强层两者含有参考PPS的图片，所述PPS又参考具有3的SPS ID的SPS，那么具有3的SPS ID的SPS是用于参考层和增强层两者的有效SPS RBSP。
当SPS RBSP(例如，具有特定SPS ID)尚未已经针对具有X的层ID(例如，nuh_layer_id)的特定非基础层(例如，具有非零层ID值或大于0的层ID)有效，且通过图片参数集(PPS)RBSP的激活(例如，其中PPS ID等于SPS RBSP的特定SPS ID)来参考SPS RBSP时，针对所述特定非基础层激活SPS RBSP。此SPS可被称为用于特定非基础层的有效SPS RBSP，直到其通过用于所述特定非基础层的另一SPS RBSP的激活而减活。
层初始化图片(LIP)
在一些译码方案中，层初始化图片(“LIP图片”)可经界定为作为具有设定成值“1”的NoRaslOutputFlag旗标(例如，在值设定成“1”的情况下指示将不输出RASL图片且在值设定成“0”的情况下指示将输出RASL图片的旗标)的IRAP图片的图片或含有初始IRAP存取单元的图片，所述初始IRAP存取单元是其中基础层图片(例如，具有“0”的层ID值或在位流中界定的最小层ID的图片)具有设定成值“1”的NoRaslOutputFlag的IRAP存取单元。
在一些实施例中，可在每一LIP图片处激活SPS。举例来说，具有设定成值“1”的NoRaslOutputFlag旗标的每一IRAP图片或包含于初始IRAP存取单元中的每一图片，可不同(例如，指定不同图片分辨率等)于先前激活的SPS的新SPS。然而，在LIP图片不是IRAP图片(例如，包含于初始IRAP存取单元中的任何图片)且初始IRAP存取单元中的基础层图片是具有设定成值“0”的旗标NoClrasOutputFlag旗标(例如，在值设定成“1”的情况下指示将不输出交叉层随机存取跳过图片且在值设定成“0”的情况下指示将输出交叉层随机存取跳过图片的旗标)的IDR图片的情况中，不应允许LIP图片激活新SPS。如果在此情况下在此LIP图片处激活新SPS，具体来说当新SPS的SPS RBSP的内容不同于在初始IRAP存取单元之前先前有效的SPS的内容时，在不同图片分辨率和错误恢复中可存在问题。举例来说，新SPS可更新分辨率且使用时间预测来参考不同大小的图片。
在一些实施例中，NoClRasOutputFlag和NoRaslOutputFlag可为基于包含在位流中的信息导出的变量。举例来说，NoRaslOutputFlag可针对每个IRAP图片(例如，BL和/或EL中)导出，且NoClRasOutputFlag可仅针对最低层图片(例如，BL图片)导出。NoClRasOutputFlag和NoRaslOutputFlag中的每一者的值可指示位流中的一些图片由于某些参考图片的不可用性而可能不可正确解码。参考图片的此不可用性可在随机存取点处发生。交叉层随机存取跳过(CL-RAS)图片以某些方式为RASL图片的多层等效物。如果解码器在随机存取点(例如，具有BL IRAP图片的存取单元)处开始解码位流，且存取单元中的EL图片不是IRAP图片，那么所述EL图片是CL-RAS图片。EL中的全部图片可为CL-RAS图片(例如，可解码但不可正确解码)直到IRAP图片在EL中发生。当位流中提供此EL IRAP图片时，所述EL可称为已经初始化。
有效SPS RBSP的持续时间
为了防止由作为除在拼接点处外的非IRAP图片的LIP图片对新SPS的激活(可造成上述问题)，可迫使经激活SPS RBSP保持有效达某一时间周期。在一些实施例中，用于特定层的经激活SPS RBSP将针对所述特定层的整个经译码层范围视频序列(CLVS)保持有效。CLVS可指代在同一层(例如，具有相同层ID值)中的经译码图片的序列，其按解码次序由具有等于“1”的值的NoRaslOutputFlag的IRAP图片或具有等于“0”(例如，指示所述图片是层中的第一图片)的值的FirstPicInLayerDecodedFlag的图片组成，接着是全部经译码图片(如果存在)直到但排除具有等于值“1”的NoRaslOutputFlag的下一IRAP图片或具有等于值“0”的FirstPicInLayerDecodedFlag的下一图片。
在一些实施例中，用于特定层的经激活SPS RBSP将如下针对特定层中按解码次序的图片序列保持有效：(1)如果特定nuh_layer_id值等于0，那么经激活SPS将针对整个CVS保持有效；以及(2)否则(例如，特定层的层ID不等于0)，经激活SPS从特定层中作为IRAP图片的LIP图片或不是IRAP图片且包含于含有作为IRAP图片且具有“1”的NoClrasOutputFlag值的基础层图片的IRAP存取单元中的LIP图片开始保持有效，直到特定层中作为IRAP图片的下一LIP图片或含有作为IRAP图片且具有“1”的NoClrasOutputFlag值的基础层图片的初始IRAP存取单元。
包含拼接点的位流
参考图4，将描述具有拼接点的实例位流。图4展示通过拼接位流410和420而产生的多层位流400。位流410包含增强层(EL)410A和基础层(BL)410B，且位流420包含EL 420A和BL 420B。EL 410A包含EL图片412A，且BL 410B包含BL图片412B。EL420A包含EL图片422A、424A和426A，且BL 420B包含BL图片422B、424B和426B。多层位流400进一步包含存取单元(AU)430-460。AU 430包含EL图片412A和BL图片412B，AU 440包含EL图片422A和BL图片422B，AU 450包含EL图片424A和BL图片424B，且AU 460包含EL图片426A和BL图片426B。在图4的实例中，BL图片422B是IRAP图片，且AU 440中的对应EL图片422A是后置图片(例如，非IRAP图片)，且因此，AU 440是未经对准IRAP AU。并且，应注意AU 440是紧跟在拼接点470之后的存取单元。
虽然图4的实例说明其中两个不同位流接合在一起的情况，但在一些实施例中，当位流的一部分移除时拼接点可存在。举例来说，位流可具有部分A、B和C，部分B在部分A与C之间。如果部分B从位流移除，那么剩余部分A和C可接合在一起，且它们接合在一起的点可被称为拼接点。更一般化地，如本申请案中所论述的拼接点可视为当一或多个用信号表示或导出的参数或旗标具有预定值时存在。举例来说，在未接收到在特定位置存在拼接点的特定指示的情况下，解码器可确定旗标(例如，NoClrasOutputFlag)的值，且基于旗标的所述值执行本申请案中描述的一或多种技术。
限制新参数集的激活
图5是说明根据本发明的实施例的用于对视频信息进行译码的方法500的流程图。图5中说明的步骤可由编码器(例如，如图2A或图2B中所示的视频编码器)、解码器(例如，如图3A或图3B中所示的视频解码器)或任何其它组件执行。为方便起见，将方法500描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法500开始于框501。在框505处，译码器确定增强层(EL)图片是否是IRAP图片。举例来说，如果EL图片是IDR图片、CRA图片或BLA图片中的任一者，那么译码器可确定EL图片为IRAP图片。在一些实施例中，译码器通过检查与EL图片相关联的NAL单元类型而确定EL图片是IRAP图片。如果译码器确定EL图片是IRAP图片，那么方法500前进到框520。如果译码器确定EL图片不是IRAP图片，那么过程500前进到框510。
在框510处，译码器确定EL图片是否在拼接点处。拼接点可指示两个位流接合处的点。举例来说，第一位流的最后图片可按译码次序紧接着跟随有第二位流的第一图片。在一些实施例中，译码器可通过确定EL图片是否是按译码次序跟随拼接点的第一图片而确定EL图片是否在拼接点处。如果译码器确定EL图片在拼接点处，那么方法500前进到框520。如果译码器确定EL图片不在拼接点处，那么方法500前进到框515。如上文参考图4所论述，510中的确定可包括确定一或多个用信号表示或导出的参数或旗标是否具有预定值。举例来说，在未接收到在特定位置存在拼接点的特定指示的情况下，编码器或解码器可确定旗标(例如，NoClrasOutputFlag)的值，且基于所述确定前进到框515或框520。
在框515处，译码器不允许新参数集的激活。举例来说，译码器可防止EL图片激活新SPS。译码器可通过致使先前经激活参数集保持有效直到EL中的下一IRAP图片经处理而不允许新参数集的激活。替代地，译码器可通过致使先前经激活参数集保持有效直到下一拼接点而不允许新参数集的激活。在又另一实例中，译码器可通过致使先前经激活参数集保持有效直到含有EL图片的经译码视频序列的结束而不允许新参数集的激活。
在框520处，译码器允许新参数集的激活。举例来说，译码器可致使增强层与具有与针对EL先前经激活的参数集不同的参数的新参数集相关联。方法500在525处结束。
如上文所论述，图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128和/或层间预测单元166)可用以实施本发明中论述的技术中的任一者，例如确定EL图片是否是IRAP图片，确定EL图片是否在拼接点处，以及不允许或允许新参数集的激活。
在方法500中，可移除(例如，不执行)图5中所示的框中的一或多者和/或可切换所述方法执行的次序。举例来说，虽然图5中展示框510，但其可移除以简化译码过程。因此，本发明的实施例不限于图5展示的实例或不受到图5中展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化。
对从不激活的参数集的约束
在一些译码方案中，可存在针对有效参数集(例如，有效PPS或有效SPS)指定的位流符合性约束(例如，可经确定为适用且随后由例如译码器附加的约束)，以斜体字展示：“pps_scaling_list_ref_layer_id指定有效PPS与同当前PPS相同的按比例缩放列表数据相关联的层的nuh_layer_id的值。pps_scaling_list_ref_layer_id的值将在0到62(包含性)的范围内。当avc_base_layer_flag等于1时，位流符合性的要求是pps_scaling_list_ref_layer_id将大于0。位流符合性的要求是当具有等于nuhLayerIdA的nuh_layer_id的PPS针对具有等于nuhLayerIdB的nuh_layer_id的层有效且PPS中的pps_infer_scaling_list_flag等于1时，pps_infer_scaling_list_flag将针对对于具有等于pps_scaling_list_ref_layer_id的nuh_layer_id的层有效的PPS等于0。位流符合性的要求是当具有等于nuhLayerIdA的nuh_layer_id的PPS针对具有等于nuhLayerIdB的nuh_layer_id的层有效时，具有等于pps_scaling_list_ref_layer_id的nuh_layer_id的层将为具有等于nuhLayerIdB的nuh_layer_id的层的直接或间接参考层。”
在一些译码方案中，然而可能需要从不由任何层激活的参数集满足以下约束，以斜体字展示：“对语法元素的值与从VPS、SPS和PPS中的那些语法元素和其它语法元素导出的变量的值之间的关系表达的全部约束是仅应用于有效VPS、有效SPS和有效PPS的约束的表达。如果位流中从不激活的任何VPS RBSP、SPS RBSP和PPS RBSP存在，那么如果其通过在原本相符的位流中的参考而激活，则其语法元素将具有将符合指定约束的值。”
然而，对于例如从不激活的例如VPS、SPS、PPS等参数集，即使考虑第二斜体约束，也可能难以检查是否针对在位流中但从不激活的参数集满足以上第一斜体约束。这是因为即使在针对一个层经激活的情况下给定参数集满足约束，同一参数集也可能在针对另一层经激活的情况下未能满足约束。可通过位流针对单个层用信号表示多个参数集(例如，在激活之前，无论它们是否经激活)，因此无法确定特定位流是否是符合的，除非那些参数集针对一或多个层经激活。
对从不激活的参数集的约束的改变
在一些实施例中，从位流符合性检查排除位流符合性约束取决于来自其它参数集的其它语法元素的从不激活的参数集的语法元素的符合性检查。上文所论述的约束可如下经修改：“如果位流中从不激活的任何VPS RBSP、SPS RBSP和PPS RBSP存在，那么所述特定参数集RBSP的语法元素将具有将符合那些指定约束的不取决于另一参数集RBSP的任何语法元素的值的值。”
在一些实施例中，根据某种规则可从位流符合性检查跳过从不激活的参数集的一些特定语法元素。举例来说，符合性检查仅针对用信号表示此参数集的层检查从不激活的参数集的符合性约束。上文所论述的约束可如下经修改：“如果位流中从不激活的任何VPSRBSP、SPS RBSP和PPS RBSP存在，那么在其通过以原本符合的位流中的参数集中用信号表示的层Id参考而经激活的情况下其语法元素将具有将符合指定约束的值。”
SPS视频可用性信息(VUI)
SPS VUI包含例如样本纵横比、上方扫描、源视频格式(PAL/NTSC等、样本值范围、源颜色格式)、字段/帧信息、位流限制(包含交叉层位流限制)。此信息可包含交叉层位流限制，其可不为层特定的而是应用于全部层。因此，在一些现存译码方案中，此信息可在每一SPS中重复。
在一些实施例中，全部SPS VUI信息可包含在VPS VUI中，且如果针对特定层，SPS的任何VUI参数必须具有与VPS VUI中不同的值，那么整个SPS VUI可直接在SPS中用信号表示。否则，SPS不含VUI参数且VUI是从VPS推断。
可实施以促进上述信息的处置的语法和语义的实例改变，可做出以下改变，其中以斜体字展示添加：
表1：vps_vui()的实例语法
sps_vui_in_vps_flag的语义可如下阅读：“等于1的sps_vui_in_vps_flag指定vui_parameters()语法结构存在于VPS中且应用于参考所述VPS且具有等于1的sps_vui_from_vps_flag的全部SPS。等于0的sps_vui_in_vps_flag指定vui_parameters()语法结构不存在于VPS中。当vps_vui_present_flag等于0时，sps_vui_in_vps_flag的值推断为等于0。”
表2：seq_parameter_set_rbsp()的实例语法
sps_vui_from_vps_flag的语义可如下阅读：“等于1的sps_vui_from_vps_flag指定适用于SPS的vui_parameters()语法结构推断为与所述SPS参考的VPS中相同。等于0的sps_vui_from_vps_flag指定适用于SPS的vui_parameters()语法结构不是从所述SPS参考的VPS推断。当不存在时，sps_vui_from_vps_flag的值推断为等于0。当sps_vui_in_vps_flag等于0时，sps_vui_from_vps_flag的值将等于0。”
vui_parameters_present_flag的语义可如下阅读：“等于1的vui_parameters_present_flag指定如附录E中指定的vui_parameters()语法结构存在。等于0的vui_parameters_present_flag指定如附录E中指定的vui_parameters()语法结构不存在。当不存在时，vui_parameters_present_flag的值推断为等于0。”
其它考虑
可使用多种不同技术和技艺中的任一者来表示本文中所揭示的信息和信号。例如，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或或其任何组合来表示贯穿以上描述可能参考的数据、指令、命令、信息、信号、位、符号和码片。
结合本文揭示的实施例所描述的各种说明性逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清晰地说明硬件与软件的此可互换性，以上已大体就其功能性来描述了各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但这样的实施方案决策不应被解释为会引起脱离本发明的范围。
本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。所述技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机及其它装置中的应用的多种用途。被描述为模块或组件的任何特征可一起实施于集成逻辑装置中或分开来实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体及类似物。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传达程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。
程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如，一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指前述结构中的任一者、前述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(编解码器)中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以配合合适的软件和/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (29)

1.一种经配置以对视频信息进行译码的设备，所述设备包括：
存储器，其经配置以存储与参考层RL和增强层EL相关联的视频数据，所述RL具有第一存取单元中的RL图片，且所述EL具有所述第一存取单元中的第一EL图片，其中在译码次序上紧邻在所述第一EL图片之前的第二EL图片与第一参数集合相关联；以及
处理器，其与所述存储器通信，所述处理器经配置以：
确定所述第一EL图片不是帧内随机存取点IRAP图片；
确定与所述RL图片相关联的旗标具有指示允许将输出交叉层随机存取跳过图片的值；
基于所述第一EL图片不是IRAP图片以及与所述RL图片相关联的所述旗标具有指示允许将输出交叉层随机存取跳过图片的值的确定而不激活所述第一EL图片处的不同于所述第一参数集合的第二参数集合以使得所述第一参数集合在所述第一EL图片处保持有效；以及
基于所述第一参数集合来编码或解码位流中的所述第一EL图片。
2.根据权利要求1所述的设备，其中所述第一EL图片在译码次序上并不紧跟在拼接点之后且所述第二EL图片在译码次序上并不紧邻在拼接点之前。
3.根据权利要求1所述的设备，其中所述处理器进一步经配置以：
确定所述第一EL图片经指示不为IRAP图片。
4.根据权利要求1所述的设备，其中所述处理器进一步经配置以确定包含在所述位流中的与所述RL图片相关联的所述旗标具有为0的值。
5.根据权利要求1所述的设备，其中所述处理器进一步经配置以：
响应于所述第一EL图片不是IRAP图片且所述第一存取单元不紧跟在拼接点之后的确定，确定在译码次序上在所述第一存取单元之后的第二存取单元紧跟在拼接点之后，所述第二存取单元包含在所述EL中的第三EL图片；及
致使所述EL保持与所述第一参数集合相关联至少直到所述第三EL图片至少经部分译码。
6.根据权利要求1所述的设备，其中所述处理器进一步经配置以：
基于所述EL中的在译码次序上在所述第一EL图片之后的第三EL图片是IRAP图片的确定而致使所述第三EL图片与所述第二参数集合相关联。
7.根据权利要求1所述的设备，其中所述处理器进一步经配置以：
确定所述EL中的在译码次序上在所述第一EL图片之后的第三EL图片是IRAP图片；及
致使所述EL保持与所述第一参数集合相关联至少直到所述第三EL图片至少经部分译码。
8.根据权利要求1所述的设备，其中所述处理器进一步经配置以至少部分基于与所述第一EL图片相关联的标头信息来确定所述第一EL图片不是IRAP图片。
9.根据权利要求1所述的设备，其中所述处理器进一步经配置以至少部分基于指示所述第一EL图片是否为IRAP图片的旗标或语法元素来确定所述第一EL图片不是IRAP图片。
10.根据权利要求1所述的设备，其中所述RL图片与所述第一参数集合相关联，且其中所述处理器进一步经配置以致使所述RL保持与所述第一参数集合相关联至少直到新的经译码视频序列至少经部分处理。
11.根据权利要求1所述的设备，其中所述设备包括经配置以编码所述位流中的所述第一EL图片的编码器或经配置以解码在所述位流中接收的所述第一EL图片的解码器中的至少一者。
12.根据权利要求1所述的设备，其中所述设备包括选自由以下各项组成的群组的装置：计算机、机顶盒、电话手持机、智能电话、智能板、相机、显示装置、数字媒体播放器以及视频游戏控制台。
13.根据权利要求1所述的设备，其中所述设备包括选自由以下各项组成的群组的装置：笔记本计算机、平板计算机、汽车内计算机以及电视机。
14.一种对视频信息进行编码的方法，所述方法包括：
确定增强层EL的第一存取单元中的第一EL图片不是帧内随机存取点IRAP图片，其中在译码次序上紧邻在所述第一EL图片之前的第二EL图片与第一参数集合相关联；
确定与在参考层RL的第一存取单元中的RL图片相关联的旗标具有指示允许将输出交叉层随机存取跳过图片的值；
基于所述第一EL图片不是IRAP图片以及与所述RL图片相关联的所述旗标具有指示允许将输出交叉层随机存取跳过图片的值的确定而不激活所述第一EL图片处的不同于所述第一参数集合的第二参数集合以使得所述第一参数集合在所述第一EL图片处保持有效；以及
基于所述第一参数集合来编码位流中的所述第一EL图片。
15.根据权利要求14所述的方法，其中所述第一EL图片在译码次序上并不紧跟在拼接点之后且所述第二EL图片在译码次序上并不紧邻在拼接点之前。
16.根据权利要求14所述的方法，其进一步包括：
确定所述第一EL图片经指示不为IRAP图片。
17.根据权利要求14所述的方法，其进一步包括确定包含在所述位流中的与所述RL图片相关联的所述旗标具有为0的值。
18.根据权利要求14所述的方法，其进一步包括：
响应于确定所述第一EL图片不是IRAP图片且所述第一存取单元不紧跟在拼接点之后，确定在译码次序上在所述第一存取单元之后的第二存取单元紧跟在拼接点之后，所述第二存取单元包含在所述EL中的第三EL图片；及
致使所述EL保持与所述第一参数集合相关联至少直到所述第三EL图片至少经部分译码。
19.根据权利要求14所述的方法，其进一步包括基于所述EL中的在译码次序上在所述第一EL图片之后的第三EL图片是IRAP图片的确定而致使所述第三EL图片与所述第二参数集合相关联。
20.根据权利要求14所述的方法，其进一步包括：
确定所述EL中的在译码次序上在所述第一EL图片之后的第三EL图片是IRAP图片；及
致使所述EL保持与所述第一参数集合相关联至少直到所述第三EL图片至少经部分译码。
21.根据权利要求14所述的方法，其进一步包括至少部分基于与所述第一EL图片相关联的标头信息来确定所述第一EL图片不是IRAP图片。
22.根据权利要求14所述的方法，其进一步包括至少部分基于指示所述第一EL图片是否为IRAP图片的旗标或语法元素来确定所述第一EL图片不是IRAP图片。
23.根据权利要求14所述的方法，其进一步包括致使与所述第一参数集合相关联的所述RL保持与所述第一参数集合相关联至少直到新的经译码视频序列至少经部分处理。
24.一种非暂时性计算机可读介质，其上存储有计算机程序，所述计算机程序在执行时致使处理器进行以下操作：
存储与参考层RL和增强层EL相关联的视频数据，所述RL具有第一存取单元中的RL图片，且所述EL具有所述第一存取单元中的第一EL图片，其中在译码次序上紧邻在所述第一EL图片之前的第二EL图片与第一参数集合相关联；
确定所述第一EL图片不是帧内随机存取点IRAP图片；
确定与所述RL图片相关联的旗标具有指示允许将输出交叉层随机存取跳过图片的值；
基于所述第一EL图片不是IRAP图片以及与所述RL图片相关联的所述旗标具有指示允许将输出交叉层随机存取跳过图片的值的确定而不激活所述第一EL图片处的不同于所述第一参数集合的第二参数集合以使得所述第一参数集合在所述第一EL图片处保持有效；以及
基于所述第一参数集合来编码或解码位流中的所述第一EL图片。
25.根据权利要求24所述的非暂时性计算机可读介质，其中所述第一EL图片在译码次序上并不紧跟在拼接点之后且所述第二EL图片在译码次序上并不紧邻在拼接点之前。
26.根据权利要求24所述的计算机可读介质，其中所述计算机程序进一步致使所述处理器进行以下操作：
响应于所述第一EL图片不是IRAP图片且所述第一存取单元不紧跟在拼接点之后的确定，确定在译码次序上在所述第一存取单元之后的第二存取单元紧跟在拼接点之后，所述第二存取单元包含在所述EL中的第三EL图片；及
致使所述EL保持与所述第一参数集合相关联至少直到所述第三EL图片至少经部分译码。
27.一种经配置以对视频信息进行译码的视频译码装置，所述视频译码装置包括：
用于存储与参考层RL和增强层EL相关联的视频数据的装置，所述RL具有第一存取单元中的RL图片，且所述EL具有所述第一存取单元中的第一EL图片，其中在译码次序上紧邻在所述第一EL图片之前的第二EL图片与第一参数集合相关联；
用于确定所述第一EL图片不是帧内随机存取点IRAP图片的装置；
用于确定与所述RL图片相关联的旗标具有指示允许将输出交叉层随机存取跳过图片的值的装置；
用于基于所述第一EL图片不是IRAP图片以及与所述RL图片相关联的所述旗标具有指示允许将输出交叉层随机存取跳过图片的值的确定而不激活避所述第一EL图片处的不同于所述第一参数集合的第二参数集合以使得所述第一参数集合在所述第一EL图片处保持有效的装置；以及
用于基于所述第一参数集合来编码或解码位流中的所述第一EL图片的装置。
28.根据权利要求27所述的视频译码装置，其中所述第一EL图片在译码次序上并不紧跟在拼接点之后且所述第二EL图片在译码次序上并不紧邻在拼接点之前。
29.根据权利要求27所述的视频译码装置，其进一步包括：
用于响应于所述第一EL图片不是IRAP图片且所述第一存取单元不紧跟在拼接点之后的确定而确定在译码次序上在所述第一存取单元之后的第二存取单元紧跟在拼接点之后的装置，所述第二存取单元包含在所述EL中的第三EL图片；及
用于致使所述EL保持与所述第一参数集合相关联至少直到所述第三EL图片至少经部分译码的装置。
CN201480056410.6A 2013-10-15 2014-10-15 用于视频信息的可缩放译码的装置和方法 Active CN105637883B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361891264P 2013-10-15 2013-10-15
US61/891,264 2013-10-15
US14/514,153 US10264272B2 (en) 2013-10-15 2014-10-14 Device and method for scalable coding of video information
US14/514,153 2014-10-14
PCT/US2014/060660 WO2015057818A2 (en) 2013-10-15 2014-10-15 Device and method for scalable coding of video information

Publications (2)

Publication Number Publication Date
CN105637883A CN105637883A (zh) 2016-06-01
CN105637883B true CN105637883B (zh) 2019-06-07

Family

ID=52809650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480056410.6A Active CN105637883B (zh) 2013-10-15 2014-10-15 用于视频信息的可缩放译码的装置和方法

Country Status (8)

Country Link
US (1) US10264272B2 (zh)
EP (1) EP3058742A2 (zh)
JP (1) JP6938150B2 (zh)
KR (1) KR102353200B1 (zh)
CN (1) CN105637883B (zh)
BR (1) BR112016008337B1 (zh)
MX (1) MX366940B (zh)
WO (1) WO2015057818A2 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8991402B2 (en) 2007-12-18 2015-03-31 Pax Labs, Inc. Aerosol devices and methods for inhaling a substance and uses thereof
US10356415B2 (en) 2014-06-20 2019-07-16 Qualcomm Incorporated Systems and methods for constraining representation format parameters for a parameter set
JP6300114B2 (ja) * 2014-08-06 2018-03-28 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
US10075671B2 (en) 2016-09-26 2018-09-11 Samsung Display Co., Ltd. System and method for electronic data communication
US10616383B2 (en) 2016-09-26 2020-04-07 Samsung Display Co., Ltd. System and method for electronic data communication
US10469857B2 (en) 2016-09-26 2019-11-05 Samsung Display Co., Ltd. System and method for electronic data communication
US10523895B2 (en) 2016-09-26 2019-12-31 Samsung Display Co., Ltd. System and method for electronic data communication
JP7104485B2 (ja) * 2018-02-20 2022-07-21 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング
US10491912B1 (en) * 2018-07-09 2019-11-26 Tencent America LLC Method and apparatus for video coding
US10904574B2 (en) 2018-09-13 2021-01-26 Tencent America LLC Method and device using an out of band end of stream NAL unit in decoding
US11539957B2 (en) * 2019-06-20 2022-12-27 Tencent America LLC Layered random access with reference picture resampling
AU2020321174A1 (en) 2019-10-07 2022-04-28 Huawei Technologies Co., Ltd. DPB size based reference picture entry constraints
KR102143173B1 (ko) 2019-12-05 2020-08-10 국방과학연구소 자기 방전이 없는 복합 고체 전해질, 이를 갖는 전지 단위 셀, 그리고 이의 제조 방법
KR20230015392A (ko) * 2020-05-22 2023-01-31 엘지전자 주식회사 Gci를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US12041386B2 (en) 2020-09-29 2024-07-16 Lemon Inc. Dependent random access point indication in video bitstreams
KR102605098B1 (ko) 2023-03-24 2023-11-24 국방과학연구소 복합 고체 전해질, 이를 포함하는 열전지 및 이의 제조방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232615A (zh) * 2002-07-16 2008-07-30 诺基亚有限公司 用于在视频编码中随机存取和逐步更新图像的方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415069B2 (en) * 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
US20050254526A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Parameter sets update in streaming applications
JP4207072B2 (ja) * 2006-04-07 2009-01-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4221676B2 (ja) * 2006-09-05 2009-02-12 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
WO2009114557A1 (en) * 2008-03-10 2009-09-17 Vidyo, Inc. System and method for recovering the decoding order of layered media in packet-based communication
CN102106156B (zh) * 2008-07-26 2013-06-19 汤姆逊许可证公司 使用可分级视频编码(svc)的用于快速信道改变的实时传输协议(rtp)打包方法
US20120050475A1 (en) * 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
MX337078B (es) * 2011-07-02 2016-02-11 Samsung Electronics Co Ltd Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video.
US9277228B2 (en) * 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
KR101649207B1 (ko) * 2011-08-31 2016-08-19 노키아 테크놀로지스 오와이 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
WO2013109178A1 (en) * 2012-01-20 2013-07-25 Telefonaktiebolaget L M Ericsson (Publ) Sub-bitstream extraction
US9426460B2 (en) * 2012-04-13 2016-08-23 Sharp Kabushiki Kaisha Electronic devices for signaling multiple initial buffering parameters
KR102094503B1 (ko) * 2012-04-15 2020-03-30 삼성전자주식회사 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
CN103959792B (zh) * 2012-04-23 2017-06-23 Lg电子株式会社 视频编码方法、视频解码方法以及实现该方法的装置
WO2014003379A1 (ko) * 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
JP6019824B2 (ja) * 2012-07-02 2016-11-02 富士通株式会社 動画像符号化装置及び動画像符号化方法ならびに動画像符号化用コンピュータプログラム
US9374583B2 (en) * 2012-09-20 2016-06-21 Qualcomm Incorporated Video coding with improved random access point picture behaviors
KR101561012B1 (ko) * 2012-09-28 2015-10-15 텔레폰악티에볼라겟엘엠에릭슨(펍) 비디오 시퀀스의 픽처의 디코딩 및 인코딩
GB2506590B (en) * 2012-09-28 2016-05-04 Canon Kk Method and device for deriving a set of enabled coding modes
US20150288975A1 (en) * 2012-09-28 2015-10-08 Samsung Electronics Co., Ltd. Method and apparatus for encoding video and method and appartaus for decoding video for random access
US20140092995A1 (en) * 2012-09-28 2014-04-03 Sharp Laboratories Of America, Inc. Electronic devices for signaling a random access point picture message
WO2014059051A1 (en) * 2012-10-09 2014-04-17 Rodriguez Arturo A Providing a common set of parameters for sub-layers of coded video
KR20140123914A (ko) * 2013-04-12 2014-10-23 삼성전자주식회사 랜덤 엑세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 엑세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
US10070125B2 (en) * 2013-07-31 2018-09-04 Nokia Technologies Oy Method and apparatus for video coding and decoding
US20160255353A1 (en) * 2013-10-11 2016-09-01 Sharp Kabushiki Kaisha Highest temporal sub-layer list

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232615A (zh) * 2002-07-16 2008-07-30 诺基亚有限公司 用于在视频编码中随机存取和逐步更新图像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"MV-HEVC/SHVC HLS: Step-wise layer access (STLA) pictures";Miska M. Hannuksela;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Incheon, KR, 18–26 Apr. 2013》;20130426;第1-4页

Also Published As

Publication number Publication date
US20150103928A1 (en) 2015-04-16
CN105637883A (zh) 2016-06-01
WO2015057818A3 (en) 2015-07-16
MX366940B (es) 2019-07-31
EP3058742A2 (en) 2016-08-24
MX2016004722A (es) 2016-07-26
BR112016008337A2 (zh) 2017-08-01
JP2016539545A (ja) 2016-12-15
JP6938150B2 (ja) 2021-09-22
BR112016008337B1 (pt) 2024-01-02
US10264272B2 (en) 2019-04-16
WO2015057818A2 (en) 2015-04-23
KR102353200B1 (ko) 2022-01-18
KR20160072153A (ko) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105637883B (zh) 用于视频信息的可缩放译码的装置和方法
CN105637881B (zh) 用于视频信息的可缩放译码的装置和方法
CN106233727B (zh) 译码视频信息的方法及设备
CN106105223B (zh) 译码视频信息的设备和方法及计算机可读存储介质
CN105900426B (zh) 用于对视频信息进行译码的设备、方法和计算机可读媒体
CN105556967B (zh) 用于视频信息的可缩放译码的装置和方法
CN106165429B (zh) 多层译码中的一致性窗口信息
CN106416258B (zh) 视频编码器、视频解码器及其可操作的方法
CN106416255B (zh) 用于编码视频信息的方法、设备及计算机可读媒体
CN105637862B (zh) 用于视频信息的可缩放译码的装置和方法
CN106105209B (zh) 多层视频编解码器的级别定义
CN106464917B (zh) 用信号表示用于位流分区的hrd参数
CN106105197B (zh) 针对帧内块复制的基于散列的编码器搜索
CN105850130B (zh) 用于译码视频信息的方法和设备及计算机可读存储介质
CN106464909B (zh) 可缩放视频译码中的位流符合性约束
CN105900429B (zh) 一种译码视频信息的方法、设备、装置及计算机可读媒体
CN105379278B (zh) 用于视频信息的可缩放译码的装置和方法
CN105850138B (zh) 在多层译码中译码恢复点补充增强信息(sei)消息和区刷新信息sei消息的方法
CN106537917B (zh) 用于译码视频信息的设备、方法及计算机可读介质
CN105379272B (zh) 在vps中用信号通知位速率信息及图片速率信息
CN105052153B (zh) 用于视频信息的可缩放译码的装置和方法
CN105830446B (zh) 用于对多层位流的视频信息进行解码的方法和装置
CN104685880B (zh) 用于译码视频信息的设备、装置和方法及计算机可读介质
CN105009589A (zh) 用于视频信息的可缩放译码的装置和方法
CN106105222A (zh) 用于对视频信息进行可缩放译码的装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant