CN105637882B - 用于视频信息的可缩放译码的装置和方法 - Google Patents

用于视频信息的可缩放译码的装置和方法 Download PDF

Info

Publication number
CN105637882B
CN105637882B CN201480056243.5A CN201480056243A CN105637882B CN 105637882 B CN105637882 B CN 105637882B CN 201480056243 A CN201480056243 A CN 201480056243A CN 105637882 B CN105637882 B CN 105637882B
Authority
CN
China
Prior art keywords
picture
video
poc
access unit
reset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480056243.5A
Other languages
English (en)
Other versions
CN105637882A (zh
Inventor
阿达许·克里许纳·瑞玛苏布雷蒙尼安
陈颖
王益魁
伏努·亨利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105637882A publication Critical patent/CN105637882A/zh
Application granted granted Critical
Publication of CN105637882B publication Critical patent/CN105637882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种经配置以对视频信息进行译码的设备包含存储器单元和与所述存储器单元通信的处理器。所述存储器单元经配置以将与具有第一图片的第一视频层相关联的视频信息存储在第一存取单元中。所述处理器经配置以确定所述第一存取单元中的所述第一图片是否为帧内随机存取点IRAP图片，且响应于确定所述第一存取单元中的所述第一图片是IRAP图片，在位流中提供指示以复位所述第一存取单元中的至少一个其它图片的图片次序计数POC，其中所述至少一个其它图片不是IRAP图片。所述处理器可对所述视频信息进行编码或解码。

Description

用于视频信息的可缩放译码的装置和方法
技术领域
本发明涉及视频译码及压缩领域，确切地说，涉及可缩放视频译码(SVC)、多视图视频译码(MVC)或3D视频译码(3DV)。
背景技术
数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测编码图片的经帧内译码(I)切片中的视频块。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致待译码块的预测性块。残余数据表示待译码原始块与预测性块的间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据编码的。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵编码以实现更多压缩。
发明内容
可缩放视频译码(SVC)是指其中使用基础层(BL)(有时被称作参考层(RL))及一或多个可缩放增强层(EL)的视频译码。在SVC中，基础层可携载具有基础质量水平的视频数据。所述一或多个增强层可携载额外的视频数据以支持(举例来说)较高的空间、时间及/或信噪比(SNR)水平。可相对于先前编码的层来定义增强层。举例来说，底层可充当BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，中间层(例如，既不是最低层也不是最高层的层)可为中间层下方的层的EL，例如基础层或任何介入的增强层，且同时充当中间层上方的一或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信息对另一视图的信息(例如，运动估计、运动向量预测和/或其它冗余)进行译码(例如，编码或解码)。
在SVC中，图片次序计数(POC)可用以指示图片将输出或显示的次序。此外，在一些实施方案中，每当位流中出现某些类型的图片时，POC的值可复位(例如，设定成零，设定成位流中用信号表示的某个值，或从包含在位流中的信息导出)。举例来说，当位流中出现某些随机存取点图片时，POC可复位。当特定图片的POC复位时，按解码次序在特定图片之前的任何图片的POC也可以复位以例如维持那些图片将输出或显示的相对次序。按解码次序跟随特定图片的任何图片的POC可在位流中用信号表示，其中假定POC复位结合特定图片而发生。举例来说，如果在按解码次序和输出次序紧邻于图片B之前的图片A处将POC复位到0的值，那么针对图片B在位流中用信号表示的POC可具有1的值。
然而，在某些情况下，特定图片可能不可用于解码器。举例来说，特定图片可能在发射期间丢失或可从位流移除以满足带宽约束。在此情况下，解码器可能不知道使按解码次序在特定图片之前的图片的POC复位。这是成问题的，因为如同POC复位在特定图片处执行那样来用信号表示或导出按解码次序跟随特定图片的图片的POC。因此，在此情况下，在特定图片之前的图片与跟随特定图片的图片之间的相对次序可变为不正确。
因此，需要用于导出POC值的改进的译码方法，尤其在某些图片变为不可用的情况下。
本发明的系统、方法及装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。
在一个方面中，一种经配置以对视频信息进行译码(例如，编码或解码)的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置以将与具有第一图片的第一视频层相关联的视频信息存储在第一存取单元中。所述处理器经配置以确定所述第一存取单元中的所述第一图片是否为帧内随机存取点(IRAP)图片，且响应于确定所述第一存取单元中的所述第一图片是IRAP图片，在位流中提供指示以复位所述第一存取单元中的至少一个其它图片的图片次序计数(POC)，其中所述至少一个其它图片不是IRAP图片。
在另一方面中，一种对视频信息进行编码的方法包括：确定第一视频层的第一存取单元中的第一图片是否为帧内随机存取点(IRAP)图片，且响应于确定所述第一存取单元中的所述第一图片是IRAP图片，在位流中提供指示以复位所述第一存取单元中的至少一个其它图片的图片次序计数(POC)，其中所述至少一个其它图片不是IRAP图片。
在另一方面中，一种非暂时性计算机可读媒体包括当执行时致使设备执行过程的代码。所述过程包含将与具有第一图片的第一视频层相关联的视频信息存储在第一存取单元中，确定所述第一存取单元中的所述第一图片是否为帧内随机存取点(IRAP)图片，且响应于确定所述第一存取单元中的所述第一图片是IRAP图片，在位流中提供指示以复位所述第一存取单元中的至少一个其它图片的图片次序计数(POC)，其中所述至少一个其它图片不是IRAP图片。
在另一方面中，一种经配置以对视频信息进行译码的视频译码装置包括：用于将与具有第一图片的第一视频层相关联的视频信息存储在第一存取单元中的装置，用于确定所述第一存取单元中的所述第一图片是否为帧内随机存取点(IRAP)图片的装置，以及用于响应于确定所述第一存取单元中的所述第一图片是IRAP图片而在位流中提供指示以复位所述第一存取单元中的至少一个其它图片的图片次序计数(POC)的装置，其中所述至少一个其它图片不是IRAP图片。
附图说明
图1A是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。
图1B是说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码系统的框图。
图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
图4是说明根据本发明的一个实施例的不同层中的图片的实例配置的框图。
图5是说明根据本发明的一个实施例的不同层中的图片的POC值的表。
图6是说明根据本发明的一个实施例的不同层中的图片的实例配置的框图。
图7是说明根据本发明的一个实施例的不同层中的图片的POC值的表。
图8是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
图9是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
图10是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
图11是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
图12是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
具体实施方式
本文中描述的某些实施例涉及在高级视频编解码器的情况下的针对例如HEVC(高效率视频译码)等可缩放视频译码的层间预测。更确切地说，本发明涉及用于改善HEVC的可缩放视频译码(SVC)扩展中的层间预测的性能的系统及方法。
在以下描述中，描述与某些实施例有关的H.264/AVC技术；还论述HEVC标准和相关技术。虽然本文中在HEVC和/或H.264标准的上下文中描述某些实施例，但所属领域的技术人员可了解，本文中揭示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文中所揭示的实施例可适用于以下标准中的一或多者:ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也称作ISO/IEC MPEG-4AVC),包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
在许多方面，HEVC通常遵循先前视频译码标准的框架。HEVC中的预测单元不同于在某些先前视频译码标准中的预测单元(例如，宏块)。事实上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的阶层式结构替换，阶层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块，例如译码单元(CU)、预测单元(PU)和变换单元(TU)。CU可指区分裂的基本单元。可认为CU类似于宏块的概念，但HEVC不约束CU的最大大小，且可允许递归分裂成四个相等大小的CU以改善内容适应性。PU可认为是帧间/帧内预测的基本单元，且单个PU可含有多个任意形状分区以有效地译码不规则图像图案。TU可认为是变换的基本单元。可独立于PU界定TU；然而，TU的大小可受限于所述TU属于的CU的大小。此块结构分离为三个不同概念可允许根据单元的相应作用来优化每一单元，这可得到改善的译码效率。
仅出于说明的目的，用仅包含两个层(例如，比如基础层等较低层，和比如增强层等较高层)的实例来描述本文中揭示的某些实施例。应理解，这些实例可适用于包含多个基础层及/或增强层的配置。此外，为了易于解释，参照某些实施例，以下揭示内容包含术语“帧”或“块”。然而，这些术语不打算具有限制性。例如，下文描述的技术可供任何合适的视频单元(例如，块(例如，CU、PU、TU、宏块等)、切片、帧等)使用。
视频译码标准
例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一像素通常含有明度及色度信息。在无压缩的情况下，将从图像编码器传达到图像解码器的信息的绝对量将使实时图象传输不可能。为了减少待发射的信息的量，已开发出例如JPEG、MPEG及H.263标准等数个不同压缩方法。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
此外，存在一种新的视频译码标准，即高效视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。对HEVC草案10的完全引用为布罗斯(Bross)等人的文件JCTVC-L1003，“高效率视频译码(HEVC)文本说明书草案10(High Efficiency Video Coding(HEVC)Text SpecificationDraft 10)”，ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到2013年1月23日。对HEVC的多视图扩展(即，MV-HEVC)及对HEVC的可扩展扩展(名为SHVC)也正分别由JCT-3V(3D视频译码扩展开发ITU-T/ISO/IEC联合合作小组)及JCT-VC开发。
下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。相反，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。
尽管本文描述了特定方面，但这些方面的许多变化及排列落在本发明的范围内。尽管提到了优选方面的一些益处及优点，但本发明的范围不希望限于特定益处、用途或目标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络及发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。具体实施方式和图式仅说明本发明，而不是限制由所附权利要求书和其等效物界定的本发明的范围。
附图说明若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”等)开始的元件未必暗示所述元件具有特定次序。而是，此些序数词仅用于指代相同或类似类型的不同元件。
视频译码系统
图1A是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码和视频解码。除了视频编码器和视频解码器外，本申请案中描述的方面可扩展到其它相关装置，例如，转码器(例如，可解码位流且重新编码另一位流的装置)及中间框(例如，可修改、变换及/或另外操纵位流的装置)。
如图1A中所示，视频译码系统10包含源模块12，其产生在稍后时间由目的地模块14解码的经编码视频数据。在图1A的实例中，源模块12和目的地模块14在单独的装置上，具体来说，源模块12是源装置的部分，且目的地模块14是目的地装置的部分。然而，注意，源模块12与目的地模块14可在同一装置上或为同一装置的部分，如在图1B的实施中所展示。
再次参考图1A，源模块12和目的地模块14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”平板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似物。在一些情况下，源模块12和目的地模块14可经装备以用于无线通信。
目的地模块14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源模块12移动到目的地模块14的任何类型媒体或装置。在图1A的实例中，链路16可包括使得源模块12能够实时将经编码视频数据直接发射到目的地模块14的通信媒体。经编码视频数据可根据例如无线通信协议等通信标准加以调制，且发射到目的地模块14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源模块12到目的地模块14的通信的设备。
替代地，经编码数据可从输出接口22输出到任选的存储装置31。类似地，可通过输入接口28从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文件服务器或可保持由源模块12产生的经编码视频的另一中间存储装置。目的地模块14可经由流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的地模块14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地模块14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置31的发射可为流式传输发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、例如经由因特网的流式传输视频发射(例如，HTTP动态自适应流式传输(DASH)等)、用于存储于数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图1A的实例中，源模块12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源模块12中，视频源18可包含来源，例如视频俘获装置，例如摄像机，包含先前俘获的视频的视频存档，用于从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源模块12和目的地模块14可形成所谓的相机电话或视频电话，如图1B的实例中所说明。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。
可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。经编码视频数据可经由源模块12的输出接口22直接发射到目的地模块14。经编码视频数据还可(或替代地)存储到存储装置31上用于稍后由目的地模块14或其它装置存取以用于解码和/或重放。图1A和1B中说明的视频编码器20可包括图2A中说明的视频编码器20、图2B中说明的视频编码器23或本文中描述的任一其它视频编码器。
在图1A的实例中，目的地模块14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地模块14的输入接口28可经由链路16接收经编码视频数据。经由链路16传送或在存储装置31上提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30的视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。图1A和图1B中说明的视频解码器30可包括图3A中说明的视频解码器30、图3B中说明的视频解码器33或本文中描述的任一其它视频解码器。
显示装置32可与目的地模块14集成或在目的地模块14外部。在一些实例中，目的地模块14可包含集成显示装置，并且还经配置以与外部显示装置介接。在其它实例中，目的地模块14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在相关方面，图1B展示实例视频编码和解码系统10'，其中源模块12和目的地模块14在装置或用户装置11上或为其部分。装置11可为电话手持机，例如“智能”电话或类似者。装置11可包含与源模块12和目的地模块14操作通信的任选的控制器/处理器模块13。图1B的系统10′可进一步包含视频编码器20与输出接口22之间的视频处理单元21。在一些实施方案中，视频处理单元21是单独的单元，如图1B中所说明；然而，在其它实施方案中，视频处理单元21可实施为视频编码器20和/或处理器/控制器模块13的一部分。系统10′还可包含任选的跟踪器29，其可跟踪视频序列中的所关注对象。待跟踪的对象或兴趣可通过结合本发明的一或多个方面描述的技术来分段。在相关方面中，跟踪可由显示装置32单独或与跟踪器29结合而执行。图1B的系统10′及其组件另外类似于图1A的系统10及其组件。
视频编码器20和视频解码器30可根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。但是，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。
尽管图1A和1B的实例中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么多路复用器-多路分用器单元可以符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分用软件实施时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中并使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。
视频译码过程
如上文简要提及，视频编码器20编码视频数据。视频数据可以包括一或多个图片。图片中的每一者为形成视频的部分的静态图像。在一些情况下，图片可被称为视频“帧”。当视频编码器20编码视频数据时，视频编码器20可产生位流。位流可以包含形成视频数据的经译码表示的位序列。位流可包含经译码图片和相关联数据。经译码的图片是图片的经译码的表示。
为产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对所述图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数据。所述相关联数据可包含视频参数集(VPS)、序列参数集、图片参数集、调适参数集及其它语法结构。序列参数集(SPS)可含有适用于零或更多个图片序列的参数。图片参数集(PPS)可含有适用于零或零个以上图片的参数。自适应参数集(APS)可含有适用于零或更多个图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。
为产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可被称作最大译码单元(LCU)。HEVC的树块可广泛类似于例如H.264/AVC等先前标准的宏块。然而，树块不必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割将树块的视频块分割成与CU相关联的视频块(因此名称为“树块”)。
在一些实例中，视频编码器20可将图片分割成多个切片。所述切片中的每一者可包含整数数目个CU。在一些情况下，一个切片包括整数数目个树块。在其它情况下，切片的边界可在树块内。
作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可称为“经译码切片”。
为产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包括表示树块的经编码版本的数据。
当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树块执行编码操作(即，编码)。举例来说，视频编码器20可按如下次序来编码切片的树块：跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行，以此类推，直到视频编码器20已编码切片中的树块的每一者。
作为根据光栅扫描次序编码树块的结果，可已编码在给定树块的上方和左边的树块，但尚未编码在给定树块的下方和右边的树块。因此，当对给定树块进行编码时，视频编码器20可能能够存取通过对给定树块的上方和左边的树块进行编码而产生的信息。然而，当编码给定树块时，视频编码器20可能不能够存取通过编码在给定树块的下方和右边的树块而产生的信息。
为产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一者或一者以上分割成四个大小相等的子子块，以此类推。经分割CU可为视频块被分割成与其它CU相关联的视频块的CU。未分割CU可为其视频块未被分割成与其它CU相关联的视频块的CU。
位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8像素直到具有最大64×64个像素或更大的树块的视频块的大小(例如，树块的大小)。
视频编码器20可根据z扫描次序对(例如，编码)树块的每一CU执行编码操作。换句话说，视频编码器20可将左上CU、右上CU、左下CU和接着右下CU按此次序编码。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序对与经分割的CU的视频块的子块相关联的CU进行编码。换句话说，视频编码器20可对与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU，且接着是与右下子块相关联的CU按所述顺序进行编码。
作为根据z扫描次序编码树块的CU的结果，可已编码在给定CU的上方、左上方、右上方、左边的左下方的CU。尚未对给定CU的右下方的CU进行编码。因此，当对给定CU进行编码时，视频编码器20可能能够存取通过对与给定CU相邻的一些CU进行编码而产生的信息。然而，当对给定CU进行编码时，视频编码器20可能不能够存取通过对与给定CU相邻的其它CU进行编码而产生的信息。
当视频编码器20对进行未分割的CU编码时，视频编码器20可产生用于所述CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生用于CU的每一PU的经预测视频块。PU的经预测视频块可为样本块。视频编码器20可使用帧内预测或帧间预测来产生用于PU的预测视频块。
当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预测来产生CU的PU的经预测视频块，那么CU为经帧内预测的CU。当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本来产生所述PU的经预测视频块。如果视频编码器20使用帧间预测来产生CU的PU的经预测视频块，那么所述CU为经帧间预测CU。
此外，当视频编码器20使用帧间预测来产生用于PU的经预测视频块时，视频编码器20可产生用于所述PU的运动信息。用于PU的运动信息可指示所述PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为除与PU相关联的图片以外的图片。在一些情况下，PU的参考块也可被称作PU的“参考样本”。视频编码器20可基于PU的参考块产生所述PU的预测视频块。
在视频编码器20产生用于CU的一或多个PU的经预测视频块之后，视频编码器20可基于用于CU的所述PU的预测视频块产生所述CU的残余数据。CU的残余数据可指示用于CU的PU的预测视频块中的样本与CU的原始视频块之间的差。
此外，作为对未分割的CU执行编码操作的部分，视频编码器20可对CU的残余数据执行递归四叉树分割以将CU的残余数据分割成与CU的变换单元(TU)相关联的一或多个残余数据块(例如，残余视频块)。CU的每一TU可与不同残余视频块相关联。
视频编码器20可对与TU相关联的残余视频块应用一或多个变换以产生与TU相关联的变换系数块(例如，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。
在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化处理。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。
视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何与所述CU相关联的变换系数块进行量化。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。
在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应性二进制算术译码(CABAC)操作的熵编码操作应用于这些语法元素中的一些。还可使用例如内容自适应可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码等其它熵译码技术。
由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有NAL单元中的数据类型的指示及含有数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息(SEI)、存取单元分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。
视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对所述位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语法元素。视频解码器30可基于从位流提取的语法元素重构视频数据的图片。基于语法元素重构视频数据的过程可与由视频编码器20执行以产生语法元素的过程大体互逆。
在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生用于CU的PU的经预测视频块。另外，视频解码器30可对与CU的TU相关联的变换系数块进行逆量化。视频解码器30可对变换系数块执行逆变换以重构与CU的TU相关联的残余视频块。在产生经预测视频块且重构残余视频块之后，视频解码器30可基于经预测视频块及残余视频块重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素重构CU的视频块。
视频编码器
图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以处理视频帧的单层(例如针对HEVC)。此外，视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，预测处理单元100可经配置以执行本发明中描述的技术中的任一者或全部。在另一实施例中，视频编码器20包含任选层间预测单元128，所述层间预测单元经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测处理单元100(例如，帧间预测单元121及/或帧内预测单元126)执行，在此情况下可省略层间预测单元128。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。
出于解释的目的，本发明描述在HEVC译码的上下文中的视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。图2A中所描绘的实例是针对单层编解码器。然而，如将关于图2B进一步描述，可复制视频编码器20中的一些或全部以用于多层编解码器的处理。
视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测以减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依靠时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。
在图2A的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换单元110、重构单元112、滤波器单元113、经解码图片缓冲器114和熵编码单元116。预测处理单元100包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126及层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释的目的而在图2A的实例中分开来表示。
视频编码器20可以接收视频数据。视频编码器20可从各种源接收视频数据。举例来说，视频编码器20可从视频源18(例如，图1A或1B中所展示)或另一源接收视频数据。视频数据可表示一系列图片。为编码视频数据，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的部分，视频编码器20可对切片中的树块执行编码操作。
作为对树块执行编码操作的部分，预测处理单元100可对树块的视频块执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测处理单元100可将树块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。
与CU相关联的视频块的大小范围可从8x8样本高达最大64x64像素或更大的树块大小。在本发明中，“NxN”和“N乘N”可互换使用来指代在垂直和水平尺寸方面的视频块的样本尺寸，例如，16x16样本或16乘16样本。一般来说，16x16视频块在垂直方向上具有16个样本(y＝16)，且在水平方向上具有16个样本(x＝16)。同样，NxN块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。
此外，作为对树块执行编码操作的部分，预测处理单元100可产生用于所述树块的阶层式四叉树数据结构。例如，树块可对应于四叉树数据结构的根节点。如果预测处理单元100将树块的视频块分割成四个子块，则所述根节点在所述四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测处理单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中每一者对应于与子子块中的一者相关联的CU。
四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含分裂旗标，所述分裂旗标指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。用于CU的语法元素可递归地界定，且可取决于所述CU的视频块是否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于用于对应树块的四叉树数据结构的数据。
视频编码器20可对树块的每一未分割CU执行编码操作。当视频编码器20对未分割CU执行编码操作时，视频编码器20产生表示未分割CU的经编码表示的数据。
作为对CU执行编码操作的部分，预测处理单元100可在CU的一或多个PU之间分割CU的视频块。视频编码器20及视频解码器30可支持各种PU大小。假定特定CU的大小为2Nx2N，则视频编码器20及视频解码器30可支持2Nx2N或NxN的PU大小，及2Nx2N、2NxN、Nx2N、NxN、2NxnU、nLx2N、nRx2N或类似的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的不对称分割。在一些实例中，预测处理单元100可执行几何分割以沿并不按直角与CU的视频块的侧会合的边界来在CU的PU间分割CU的视频块。
帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生用于所述PU的运动信息。运动补偿单元124可基于运动信息和除与CU相关联的图片(例如，参考图片)之外的图片的经解码样本产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可称作经帧间预测视频块。
切片可为I切片、P切片，或B切片。运动估计单元122和运动补偿单元124可取决于PU处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU都是经帧内预测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124不对PU执行帧间预测。
如果PU在P切片中，那么含有所述PU的图片与被称作“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如样本块。运动估计单元122可使用多种度量来确定参考图片中的一组样本如何紧密地对应于PU的视频块中的样本。例如，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的一组样本对应于PU的视频块中的样本的接近程度。
在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有参考块的参考图片的参考索引，以及指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以不同精确度产生运动向量。举例来说，运动估计单元122可以四分之一样本精确度、八分之一样本精确度或其它分数样本精确度产生运动向量。在分数样本精确度的情况下，参考块值可从参考图片中的整数位置样本值内插。运动估计单元122可将参考索引及运动向量输出为PU的运动信息。运动补偿单元124可基于由PU的运动信息识别的参考块而产生PU的经预测视频块。
如果PU处于B切片中，那么含有PU的图片可与被称作“列表0”和“列表1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。
此外，如果PU在B切片中，那么运动估计单元122可对PU执行单向预测或双向预测。当运动估计单元122对PU执行单向预测时，运动估计单元122可搜索列表0或列表1中的参考图片以找出用于所述PU的参考块。运动估计单元122可接着产生指示列表0或列表1中的含有参考块的参考图片的参考索引和指示PU与所述参考块之间的空间位移的运动向量。运动估计单元122可输出参考索引、预测方向指示符和运动向量作为所述PU的运动信息。预测方向指示符可指示参考索引指示列表0还是列表1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块来产生PU的经预测视频块。
当运动估计单元122针对PU执行双向预测时，运动估计单元122可搜索列表0中的参考图片以找到用于所述PU的参考块，且还可搜索列表1中的参考图片以找到用于所述PU的另一参考块。运动估计单元122可接着产生指示列表0和列表1中的含有参考块的参考图片的参考索引，以及指示所述参考块与PU之间的空间位移的运动向量。运动估计单元122可输出PU的参考索引及运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。
在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。实际上，运动估计单元122可参考另一PU的运动信息用信号表示PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU和运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量及运动向量差来确定PU的运动向量。通过在用信号表示第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能够使用较少的位用信号表示第二PU的运动信息。
如下文参考图8到12进一步论述，预测处理单元100可经配置以通过执行图8到12中说明的方法对PU(或任何其它参考层和/或增强层块或视频单元)进行译码(例如，编码或解码)。举例来说，帧间预测单元121(例如，经由运动估计单元122和/或运动补偿单元124)、帧内预测单元126或层间预测单元128可经配置以一起或分开地执行图8到12中说明的方法。
作为对CU执行编码操作的部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块和各种语法元素。帧内预测单元126可对I切片、P切片以及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式以产生用于PU的预测数据的多个集合。当帧内预测单元126使用帧内预测模式来产生用于PU的预测数据的集合时，帧内预测单元126可在与帧内预测模式相关联的方向和/或梯度上跨PU的视频块从相邻PU的视频块扩展样本。相邻PU可在所述PU的上方、右上方、左上方或左侧，假定对于PU、CU和树块采用从左到右、从上到下的编码次序。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如33个方向性帧内预测模式。
预测处理单元100可从由运动补偿单元124针对PU产生的预测数据或由帧内预测单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测处理单元100基于预测数据集合的速率/失真量度来选择用于PU的预测数据。
如果预测处理单元100选择由帧内预测单元126产生的预测数据，那么预测处理单元100可用信号表示用以产生用于PU的预测数据的帧内预测模式，即，选定帧内预测模式。预测处理单元100可以各种方式用信号表示所选帧内预测模式。举例来说，有可能所选帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测处理单元100可产生用以指示选定帧内预测模式与相邻PU的帧内预测模式相同的语法元素。
如上文所论述,视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，EL中的当前块)。此预测可称作层间预测。层间预测单元128利用预测方法减少层间冗余，借此改进译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的协同定位块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。以下更详细地论述层间预测方案中的每一者。
在预测处理单元100选择用于CU的PU的预测数据之后，残余产生单元102可通过从CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块而产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说，残余数据可包含对应于CU的PU的经预测视频块中的样本的明度分量与CU的原始视频块中的样本的明度分量之间的差的残余视频块。另外，CU的残余数据可包含对应于CU的PU的预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。
预测处理单元100可执行四叉树分割以将CU的残余视频块分割成子块。每一未划分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小及位置可基于或可不基于与CU的PU相关联的视频块的大小及位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与残余视频块中的每一者相关联的节点。CU的TU可以对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用到与CU的每一TU相关联的残余视频块而产生用于所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换处理单元104可将各种变换应用到与TU相关联的残余视频块。举例来说，变换处理单元104可将离散余弦变换(DCT)、方向性变换或概念上类似的变换应用到与TU相关联的残余视频块。
在变换处理单元104产生与TU相关联的变换系数块之后，量化单元106可量化所述变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而对与CU的TU相关联的变换系数块进行量化。
视频编码器20可以各种方式使QP值与CU相关联。例如，视频编码器20可对与CU相关联的树块执行速率失真分析。在速率失真分析中，视频编码器20可通过对树块执行多次编码操作而产生所述树块的多个经译码表示。在视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率和失真量度的树块的经译码表示中的CU相关联时，视频编码器20可用信号表示所述给定QP值与CU相关联。
逆量化单元108和逆变换单元110可分别将逆量化及逆变换应用于变换系数块以从变换系数块重构残余视频块。重构单元112可以将经重构的残余视频块添加到来自由预测处理单元100产生的一或多个预测视频块的对应样本，以产生与TU相关联的经重构视频块。通过以此方式重构CU的每一TU的视频块，视频编码器20可重构CU的视频块。
在重构单元112重构CU的视频块之后，滤波器单元113可执行解块操作以减小与所述CU相关联的视频块中的成块假象。在执行一或多个解块操作之后，滤波器单元113可将CU的经重构视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可使用含有经重构视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测单元126可使用经解码图片缓冲器114中的经重构视频块对处于与CU相同图片中的其它PU执行帧内预测。
熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块且可从预测处理单元100接收语法元素。当熵编码单元116接收到数据时，熵编码单元116可以执行一或多个熵编码操作以产生经熵编码数据。举例来说，视频编码器20可对所述数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作，或另一类型的熵编码操作。熵编码单元116可输出包含经熵编码数据的位流。
作为对数据执行熵编码操作的一部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示特定二进制数具有特定值的概率的估计。在CABAC的情况下，术语“二进位”用以指语法元素的二进制化版本的位。
多层视频编码器
图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器23的实例的框图。视频编码器23可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。此外，视频编码器23可经配置以执行本发明的技术中的任一者或全部。
视频编码器23包含视频编码器20A及视频编码器20B，其中的每一者可经配置为视频编码器20且可执行上文相对于视频编码器20所描述的功能。此外，如再使用参考数字所指示，视频编码器20A和20B可包含系统及子系统中的至少一些作为视频编码器20。虽然将视频编码器23说明为包含两个视频编码器20A和20B，但视频编码器23不受此限制且可包含任何数目的视频编码器20层。在一些实施例中，视频编码器23可包含用于存取单元中的每一图片或帧的视频编码器20。例如，包含五个图片的存取单元可由包含五个编码器层的视频编码器处理或编码。在一些实施例中，视频编码器23可包含比存取单元中的帧更多的编码器层。在一些此类情况下，当处理一些存取单元时，一些视频编码器层可能不在作用中。
除了视频编码器20A及20B之外，视频编码器23可包含再取样单元90。在一些情况下，再取样单元90可对所接收的视频帧的基础层上取样以例如创建增强层。再取样单元90可对与帧的所接收的基础层相关联的特定信息上取样，但不对其它信息上取样。举例来说，再取样单元90可上取样基础层的空间大小或像素数目，但切片的数目或图片次序计数可保持恒定。在一些情况下，再取样单元90可不处理所接收的视频及/或可为任选的。例如，在一些情况下，预测处理单元100可执行上取样。在一些实施例中，再取样单元90经配置以对层进行上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片边界规则及/或光栅扫描规则。虽然主要描述为对基础层或存取单元中的较低层进行上取样，但在一些情况下，再取样单元90可对层进行下取样。例如，如果在视频的流式传输期间减小带宽，那么可对帧进行下取样而不是上取样。
再取样单元90可经配置以从较低层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)且对所述图片(或所接收的图片信息)上取样。可接着将所述经上取样图片提供到较高层编码器(例如，视频编码器20B)的预测处理单元100，所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的图片。在一些情况下，较高层编码器为从较低层编码器去除的一个层。在其它情况下，在图2B的层0视频编码器与层1编码器之间可存在一或多个较高层编码器。
在一些情况下，可省略或绕过再取样单元90。在这些情况下，可直接或在至少不提供到再取样单元90的情况下将来自视频编码器20A的经解码图片缓冲器114的图片提供到视频编码器20B的预测处理单元100。举例来说，如果提供到视频编码器20B的视频数据和来自视频编码器20A的经解码图片缓冲器114的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频编码器20B而没有任何再取样。
在一些实施例中，视频编码器23使用下取样单元94下取样待提供到较低层编码器的视频数据，随后将所述视频数据提供到视频编码器20A。替代地，下取样单元94可为能够对视频数据上取样或下取样的再取样单元90。在另外其它实施例中,可省略下取样单元94。
如图2B中所说明，视频编码器23可进一步包含多路复用器98或mux。多路复用器98可从视频编码器23输出组合的位流。可通过从视频编码器20A和20B中的每一者取得位流且交替在给定时间输出哪一位流来创造组合的位流。虽然在一些情况下，可一次一个位地交替来自两个(或在两个以上视频编码器层的情况下，两个以上)位流的位，但在许多情况下，不同地组合所述位流。举例来说，可通过一次一个块地交替选定位流来产生输出位流。在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块来产生输出位流。举例来说，可从视频编码器20B输出用于从视频编码器20A输出的每一块的两个块。在一些实施例中，可预编程来自多路复用器98的输出流。在其它实施例中，多路复用器98可基于从视频编码器23外部的系统(例如从包含源模块12的源装置上的处理器)接收的控制信号来组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定来自视频编码器23的所要分辨率输出的任何其它因素而产生控制信号。
视频解码器
图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以处理视频帧的单层(例如针对HEVC)。此外，视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162和/或帧内预测单元164可经配置以执行本发明中描述的技术中的任一者或全部。在一个实施例中，视频解码器30可任选地包含层间预测单元166，所述层间预测单元经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测处理单元152(例如，运动补偿单元162及/或帧内预测单元164)执行，在此情况下，可省略层间预测单元166。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。
出于解释的目的，本发明描述在HEVC译码的背景下的视频解码器30。然而，本发明的技术可以适用于其它译码标准或方法。图3A中所描绘的实例是针对单层编解码器。然而，如将关于图3B进一步描述，可复制视频编码器30中的一些或全部以用于多层编解码器的处理。
在图3A的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换单元156、重构单元158、滤波器单元159和经解码图片缓冲器160。预测处理单元152包含运动补偿单元162、帧内预测单元164和层间预测单元166。在一些实例中，视频解码器30可执行一般与相对于图2A的视频编码器20描述的编码遍次互逆的解码遍次。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。
视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。对位流执行剖析操作的结果是，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的一部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换单元156、重构单元158及滤波器单元159可执行重构操作，重构操作基于从位流提取的语法元素产生经解码视频数据。
如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取且熵解码序列参数集、从图片参数集NAL单元提取且熵解码图片参数集、从SEI NAL单元提取且熵解码SEI数据等等。
此外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的部分，熵解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取且熵解码经译码切片。经译码切片中的每一者可包含切片标头以及切片数据。切片标头可以含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。
作为从经译码切片NAL单元提取切片数据的部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。
在熵解码单元150对未分割的CU执行剖析操作之后，视频解码器30可对未分割的CU执行重构操作。为对未经分割CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残余视频块。
作为对TU执行重构操作的一部分，逆量化单元154可对与TU相关联的变换系数块进行逆量化(例如，解量化)。逆量化单元154可以类似于针对HEVC所提议或由H.264解码标准定义的逆量化过程的方式来逆量化变换系数块。逆量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定逆量化单元154应用的逆量化的程度。
在逆量化单元154逆量化变换系数块之后，逆变换单元156可产生用于与变换系数块相关联的TU的残余视频块。逆变换单元156可将逆变换应用到变换系数块以便产生所述TU的残余视频块。举例来说，逆变换单元156可将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。在一些实例中，逆变换单元156可基于来自视频编码器20的信令而确定适用于变换系数块的逆变换。在这些实例中，逆变换单元156可基于在用于与变换系数块相关联的树块的四叉树的根节点处的用信号表示的变换来确定逆变换。在其它实例中，逆变换单元156可从例如块大小、译码模式或类似者等一或多个译码特性推断逆变换。在一些实例中，逆变换单元156可应用级联的逆变换。
在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而精炼PU的预测视频块。用于将用于以子样本精确度进行运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收的语法元素确定由视频编码器20使用之的内插滤波器且使用所述内插滤波器来产生经预测视频块。
如下文参考图8到12进一步论述，所述预测处理单元152可通过执行图8到12中说明的方法对PU(或任何其它参考层和/或增强层块或视频单元)进行译码(例如，编码或解码)。举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或分开地执行图8到12中说明的方法。
如果PU是使用帧内预测编码，那么帧内预测单元164可执行帧内预测以产生用于PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧内预测模式。位流可包含帧内预测模块164可用以确定PU的帧内预测模式的语法元素。
在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，可能有可能当前PU的帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可随后使用帧内预测模式基于在空间上相邻的PU的视频块而产生用于PU的预测数据(例如，经预测样本)。
如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配置以使用在SVC中可用的一或多个不同层(例如，基础层或参考层)预测当前块(例如，EL中的当前块)。此预测可称作层间预测。层间预测单元166利用预测方法减少层间冗余，借此改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的位于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。以下更详细地论述层间预测方案中的每一者。
重构单元158可使用与CU的TU相关联的残余视频块及CU的PU的预测视频块(即，帧内预测数据或帧间预测数据，如果适用)来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素而产生所预测的视频块及残余视频块，且可基于所预测的视频块及残余视频块而产生视频块。
在重构单元158重构CU的视频块之后，滤波器单元159可执行解块操作以减少与所述CU相关联的成块假象。在滤波器单元159执行解块操作以减小与CU相关联的成块假象之后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片以用于后续运动补偿、帧内预测和在例如图1A或1B的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测操作。
多层解码器
图3B为说明可实施根据本发明中描述的方面的技术的多层视频解码器33的实例的框图。视频解码器33可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。另外，视频解码器33可经配置以执行本发明的技术中的任一者或全部。
视频解码器33包含视频解码器30A和视频解码器30B，其中的每一者可经配置为视频解码器30并可执行上文关于视频解码器30所描述的功能。此外，如再使用参考数字所指示，视频解码器30A和30B可包含系统及子系统中的至少一些作为视频解码器30。虽然将视频解码器33说明为包含两个视频解码器30A和30B，但视频解码器33不被如此限制并且可包含任何数目的视频解码器30层。在一些实施例中，视频解码器33可包含用于存取单元中的每一图片或帧的视频解码器30。举例来说，可由包含五个解码器层的视频解码器处理或解码包含五个图片的存取单元。在一些实施例中，视频解码器33可包含比存取单元中的帧多的解码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可能不在作用中。
除了视频解码器30A及30B之外，视频解码器33还可包含上取样单元92。在一些实施例中，上取样单元92可上取样所接收的视频帧的基础层以创建将添加到用于帧或存取单元的参考图片列表的经增强层。此经增强层可存储在经解码图片缓冲器160中。在一些实施例中，上取样单元92可包含关于图2A的再取样单元90描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以对层进行上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片边界规则和/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以对所接收的视频帧的层上取样及/或下取样的再取样单元。
上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器160接收图片或帧(或与图片相关联的图片信息)并对所述图片(或所接收的图片信息)上取样。随后可将此经上取样图片提供到较高层解码器(例如，视频解码器30B)的预测处理单元152，所述较高层解码器经配置以解码与较低层解码器相同的存取单元中的图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。
在一些情况下，可省略或绕过上取样单元92。在此些情况下，可直接或在至少不提供到上取样单元92的情况下将来自视频解码器30A的经解码图片缓冲器160的图片提供到视频解码器30B的预测处理单元152。例如，如果提供到视频解码器30B的视频数据及来自视频解码器30A的经解码图片缓冲器160的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频解码器30B而不需要上取样。另外，在一些实施例中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器160接收的参考图片上取样或下取样的再取样单元90。
如图3B中所说明，视频解码器33可进一步包含多路分用器99或demux。多路分用器99可将经编码视频位流分裂为多个位流，其中由多路分用器99输出的每一位流被提供到不同的视频解码器30A和30B。可通过接收位流来产生多个位流，且视频解码器30A和30B中的每一者在给定时间接收位流的一部分。虽然在一些情况下，可在视频解码器(例如，在图3B的实例中的视频解码器30A及30B)中的每一者之间一次一个位地交替来自在多路分用器99处接收的位流的位，但在许多情况下，不同地划分所述位流。举例来说，可通过一次一个块地交替哪一视频解码器接收位流而划分所述位流。在另一实例中，可通过到视频解码器30A和30B中的每一者的块的非1:1比率来划分位流。举例来说，可针对提供到视频解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由多路分用器99对位流的划分。在其它实施例中，多路分用器99可基于从视频解码器33外部的系统(例如从包含目的地模块14的目的地装置上的处理器)接收的控制信号来划分位流。可基于来自输入接口28的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定可由视频解码器33获得的分辨率的任何其它因素而产生控制信号。
帧内随机存取点(IRAP)图片
一些视频译码方案可提供贯穿位流的各种随机存取点以使得可从那些随机存取点中的任一者开始解码位流而无需解码在位流中在那些随机存取点之前的任何图片。在此些视频译码方案中，在输出次序中跟随随机存取点的全部图片(例如，包含在与提供随机存取点的图片相同的存取单元中的那些图片)可正确地经解码而无需使用在随机存取点之前的任何图片。举例来说，即使位流的一部分在发射期间或在解码期间丢失，解码器也可从下一随机存取点开始恢复解码位流。对随机存取的支持可促进例如动态流式传输服务、搜寻操作、信道切换等。
在一些译码方案中，此些随机存取点可由称为帧内随机存取点(IRAP)图片的图片提供。举例来说，包含于存取单元(“auA”)中的增强层(“层A”)中的随机存取点(例如，由增强层IRAP图片提供)可提供层特定的随机存取以使得对于层A(例如，作为用以预测层A的层的参考层)的具有包含于在层B中且按解码次序在auA之前的存取单元(“auB”)中的随机存取点(或包含于auA中的随机存取点)的每一参考层(“层B”)，层A中在输出次序中跟随auB的图片(包含位于auB中的那些图片)可正确解码而无需解码层A中在auB之前的任何图片。
IRAP图片可使用帧内预测经译码(例如，无需参考其它图片而译码)，且可包含例如瞬时解码器刷新(IDR)图片、清洁随机存取(CRA)图片和断链存取(BLA)图片。当位流中存在IDR图片时，按解码次序在IDR图片之前的所有图片不由按解码次序跟随IDR图片的图片用于预测。当在位流中存在CRA图片时，跟随CRA图片的图片可或可不将按解码次序在CRA图片之前的图片用于预测。按解码次序跟随CRA图片但使用按解码次序在CRA图片之前的图片的那些图片可被称作随机存取跳过前导(RASL)图片。按解码次序跟随IRAP图片且按输出次序在IRAP图片之前的另一类型的图片为随机存取可解码前导(RADL)图片，其可不含有对按解码次序在IRAP图片之前的任何图片的参考。如果在CRA图片之前的图片不可用，那么RASL图片可由解码器丢弃。BLA图片对解码器指示在BLA图片之前的图片可能不对解码器可用(例如，因为两个位流经拼接在一起且BLA图片为按解码次序的第二位流的第一图片)。含有作为IRAP图片的基础层图片(例如，具有0的层ID值的图片)的存取单元(例如，由跨越多个层的与相同输出时间相关联的全部经译码图片组成的图片群组)可被称为IRAP存取单元。
IRAP图片的跨层对准
在SVC中，可能不需要跨不同层对准(例如，在同一存取单元中含有)IRAP图片。举例来说，如果需要对准IRAP图片，那么含有至少一个IRAP图片的任一存取单元将仅含有IRAP图片。另一方面，如果不需要对准IRAP图片，那么在单个存取单元中，一个图片(例如，第一层中)可为IRAP图片，且另一图片(例如，第二层中)可为非IRAP图片。在位流中具有此些非对准IRAP图片可提供一些优点。举例来说，在两层位流中，如果在基础层中存在比在增强层中多的IRAP图片，那么在广播及多播应用中，可实现低调入延迟和高译码效率。
在一些视频译码方案中，图片次序计数(POC)可用以跟踪显示经解码图片的相对次序。每当在位流中出现某些类型的图片时，此些译码方案中的一些可使POC值被复位(例如，设定为零或设定为在位流中用信号表示的某一值)。举例来说，可复位某些IRAP图片的POC值，从而使按解码次序在那些IRAP图片之前的其它图片的POC值也被复位。当不需要跨不同层对准IRAP图片时，此可成问题。举例来说，当一个图片(“picA”)是IRAP图片且同一存取单元中的另一图片(“picB”)时不是IRAP图片时，含有picA的层中的由于picA为IRAP图片而复位的图片(“picC”)的POC值可不同于含有picB的层中的未复位的图片(“picD”)的POC值，其中picC和picD在同一存取单元中。此使picC及picD具有不同POC值，即使其属于同一存取单元(例如，同一输出时间)。因此，在此实例中，用于导出picC及picD的POC值的导出过程可经修改以产生与POC值及存取单元的定义一致的POC值。
图片次序计数(POC)
如上文所论述，特定经译码图片的图片次序计数(POC)的值(例如，HEVC中的PicOrderCntVal)表示在图片输出过程中的特定经译码图片相对于在同一经译码视频序列中的其它图片的相对次序。在一些实施例中，POC包括最低有效位(LSB)及最高有效位(MSB)，且可通过串接MSB与LSB来获得POC。在其它实施例中，可通过将MSB值与LSB值相加来获得POC。LSB可在切片标头中用信号表示，且MSB可由编码器或解码器基于当前图片的NAL单元类型及按解码次序一或多个先前图片的MSB及LSB计算，所述一或多个先前图片(1)并非RASL或RADL图片，(2)不可抛弃(例如，标记为“不可抛弃”的图片，其指示无其它图片取决于其，进而允许将其丢弃以满足带宽约束)，(3)并非子层非参考图片(例如，不用于由同一时间子层或同一层中的其它图片参考的图片)，(4)具有等于值0的时间ID(例如，时间子层ID)。在(1)-(4)中描述的此些图片可在本文中被称作POC锚图片。类似地，具有大于0的时间ID值的图片、RASL或RADL图片、可抛弃图片或子层非参考图片可被称作非POC锚图片。POC锚图片可进一步包含编码器及/或解码器可不选择以从位流移除(例如，以满足带宽约束)的图片。POC锚图片可进一步包含除了编码器及/或解码器可经配置以从位流移除(例如，以满足带宽约束)的图片类型之外的任何图片。非POC锚图片可包含并非POC锚图片的任一图片。
当当前图片是(1)具有等于1的NoRaslOutputFlag(例如，指示在设定成1的情况下将不输出RASL图片且指示在设定成0的情况下将输出RASL图片的旗标)的IRAP图片，或(2)作为位流的第一图片的CRA图片时，POC MSB的值推断为等于0。如上文所描述，在多层位流(例如，具有一个以上层的SHVC或MV-HEVC位流)中，可存在其中一或多个图片是IRAP图片且一或多个其它图片是非IRAP图片的存取单元(AU)，且此些AU可被称为“未经对准IRAP AU”。当解码含有未经对准的IRAP AU的位流时，基于在位流中用信号表示的POC LSB值导出的POC将违反存取单元中的所有图片应具有相同POC值的位流一致性要求是可能的(且很可能)。
在一些实施例中，可使用POC复位旗标(例如，poc_reset_flag)复位图片的POC，使得甚至当未经对准的IRAP AU存在于位流中时，仍调整当前图片及DPB中的图片的POC值，使得AU中的所有图片的POC相同。
在一些实施例中，替代单一POC复位旗标，可使用两个旗标：POC MSB复位旗标(例如，poc_msb_reset_flag)及POC LSB复位旗标(例如，poc_lsb_reset_flag)。前者(即，poc_msb_reset_flag)复位POC的MSB，且后者(即，poc-lsb_reset_flag)复位POC的LSB。这些旗标两者都可在切片标头中用信号表示。
举例来说，如果特定图片具有233的POC值，且POC的MSB和LSB分别构成1位和7位，那么MSB将为“1”(例如，具有128的值)且LSB将为“1101001”(例如，具有105的值)。因此，如果仅POC的MSB经复位(例如，响应于处理具有值1的poc_msb_reset_flag)，那么POC值变为105，且如果仅LSB经复位(例如，响应于处理具有值1的poc_lsb_reset_flag)，那么POC值变为128。如果MSB及LSB两者都经复位(例如，响应于处理poc_msb_reset_flag及poc_lsb_reset_flag，各具有值1)，那么POC值变为0。
POC值的复位
参看图4到7，将描述复位在未经对准IRAP AU中的POC值(例如，LSB及MSB)的动机。如以上所描述，在一些译码方案中，某些一致性约束可指定单一AU中的所有经译码图片的POC应相同。在无POC值的适当复位的情况下，位流中的未经对准IRAP AU可产生违反此些一致性约束的POC值。
图4展示包含增强层(EL)410及基础层(BL)420的多层位流400。EL 410包含EL图片412到418，且BL包含BL图片422到428。多层位流400进一步包含存取单元(AU)430到460。AU430包含EL图片412及BL图片422，AU 440包含EL图片414及BL图片424，AU 450包含EL图片416及BL图片426，且AU 460包含EL图片418及BL图片428。在图4的实例中，EL图片414为IDR图片，且AU 440中的对应的BL图片424为后置图片(例如，非IRAP图片)，且因此，AU 440是未经对准IRAP AU。在一些实施例中，如果图片是不在基础层中的IDR图片，那么在给定图片处执行MSB复位。此IDR图片可具有非零POC LSB值。
图5展示表500，其说明可结合图4的多层位流400用信号表示或导出的POC值。如图5中所展示，EL 410中的POC的MSB在EL图片414处复位，而BL 420中的POC的MSB未经复位。因此，如果在未经对准IRAP AU 440中的BL图片424处不在BL 420中执行复位，那么AU 440到460中的BL图片与EL图片的POC值将不匹配(即，等效)，如由一致性约束指定。在具有及无复位的情况下的POC值的差异在图5中以粗体突出显示。
图6展示多层位流600，其包含增强层(EL)610及基础层(BL)620。EL 610包含EL图片612到618，且BL包含BL图片622到628。多层位流600进一步包含存取单元(AU)630到660。AU 630包含EL图片612及BL图片622，AU 640包含EL图片614及BL图片624，AU 650包含EL图片616及BL图片626，且AU 660包含EL图片618及BL图片628。在图6的实例中，BL图片624为IDR图片，且AU 640中的对应的EL图片614为后置图片(例如，非IRAP图片)，且因此，AU 640为未对准IRAP AU。在一些实施例中，如果图片为基础层中的IDR图片，那么针对给定图片执行MSB复位及LSB复位。举例来说，位流可包含应复位此BL IDR图片的POC MSB及POC LSB的指示。替代地，解码器可在于位流中无应执行POC复位的任何指示的情况下执行此BL IDR图片的POC MSB及POC LSB的复位。
图7展示表700，其说明可结合图6的多层位流600用信号表示或导出的POC值。如图7中所展示，BL 620中的POC的MSB及LSB在BL图片624处复位，而EL 610中的POC的MSB或LSB都未经复位。因此，如果在未经对准IRAP AU 640中的EL图片614处不在EL 610中执行POC的MSB及LSB的复位，那么AU 640到660中的BL图片与EL图片的POC值将不匹配，如由一致性约束指定。在具有及无复位的情况下的POC值的差异在图7中以粗体突出显示。
本文中描述的实施例不限于图4及6中说明的实例位流配置，且本文中描述的技术可扩展到具有任何数目个层、存取单元及图片的任何多层位流。并且，在图4到7中说明的实例中，使用七个位表示POC的LSB。然而，本文中描述的技术可扩展到具有任何形式的POC值表示的情境。
先前图片的复位和复位图片的损耗
当在一特定图片处执行MSB复位或LSB复位时，也基于在所述特定图片处执行的复位而复位同一层中按解码次序在所述特定图片之前的其它图片。举例来说，在图6的实例中，EL图片614具有POC值241(例如，“1110001”的LSB+“1”的MSB，其为113+128)。当在EL图片614处执行MSB及LSB复位时，EL图片614的POC值变为0，且也基于EL图片614的原始POC值241复位EL 610中按解码次序在EL图片614之前的EL图片612。举例来说，通过从EL图片612的预先复位的POC值(其为240(例如，“1110000”的LSB+“1”的MSB，其为112+128))减去EL图片614的预先复位的POC值(其为值241)来计算EL图片612的新POC值。因此，在复位之后，根据将在EL图片614之前输出EL图片612的事实，EL图片612的POC值变为-1，其中较小POC值表示按输出次序的较早位置。如图7中所示，后续AU 650和660的用信号表示的LSB值经相应地调整(例如，分别调整到1和2)，其中假设在EL图片614处执行复位。
然而，即使在位流中(例如，在切片标头中)用信号表示以上描述的MSB及/或LSB的适当POC复位，使得解码器可处理信号且因此执行POC复位，如果用信号表示此POC复位的图片在位流的发射期间丢失或从位流移除以便满足带宽约束，那么仍无法恰当地执行既定在特定图片处执行的POC复位。
举例来说，在图6的实例中，如果EL图片614不可为解码器所用，则解码器将不知道(即，将不确定)复位AU 640处的EL 610中的POC的MSB及LSB。因此，按解码次序在不可用的EL图片614之前的任何图片的POC值将仍具有其原始、预先复位的POC值，这是由于在EL图片614处的复位从不发生(即，不执行复位操作)。另一方面，按解码次序跟随不可用的EL图片614的图片的POC值将已经确定或用信号表示，如同实际上发生复位(即，执行了复位操作)。因此，在图7的实例中，EL图片612、616及618将分别具有POC值240、1及2，如果假定EL图片612按输出次序在EL图片616及618之前，那么其将不正确。因此，甚至当用信号表示POC复位的图片变得不可用时，导致正确POC值的译码方法仍为需要的。
实例和实施方案
以下将描述可用以解决以上描述的某些问题的若干方法。可独立地应用这些方法中的一些，且其中的一些可组合地应用。此外，以下还提供可用以实施本文中描述的方法中的一或多者的实例语法及语义。当再现HEVC规范的某些部分以说明可经并入以实施本文所描述的方法中的一或多者的添加和删除时，分别以斜体字和删除线展示此些修改。
用信号表示用于POC导出的值
在一些实施例中，针对跟随POC MSB和/或POC LSB将被复位的图片的一或多个图片用信号表示含有用于正确POC导出的信息的SEI消息。举例来说，SEI消息可与跟随POCMSB、POC LSB或两者将被复位的另一图片picB的图片picA相关联。因此，甚至当picB完全丢失时，与picA相关联的SEI消息可用以导出用于同一层中的其它图片的正确POC值。
在一些实施例中，在跟随POC MSB和/或POC LSB将被复位的图片的一或多个图片的切片标头中用信号表示用于正确POC导出的信息。举例来说，所述信息可包含于跟随POCMSB、POC LSB或两者将被复位的另一图片picB的图片picA的切片标头中。因此，甚至当picB完全丢失时，包含在picA的切片标头中的信息也可用以导出用于同一层中的其它图片的正确POC值。
基于用信号表示的值的正确POC的导出
图8是说明根据本发明的实施例的用于对视频信息进行译码的方法800的流程图。图8中说明的步骤可由编码器(例如，如图2A或图2B中所示的视频编码器)、解码器(例如，如图3A或图3B中所示的视频解码器)或任何其它组件执行。为方便起见，将方法800描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法800开始于框801。在框805处，译码器处理与图片相关联的POC导出信息。在一些实施例中，POC导出信息的处理可包含在位流中用信号表示POC导出信息。如上文所描述，POC导出信息可在图片的切片标头中用信号表示和/或用信号表示为与图片相关联的SEI消息。在一些实施例中，POC导出信息的处理可包含处理包含在位流中的POC导出信息。举例来说，POC导出信息可包含：POC复位类型，其指示同一层中的先前POC复位图片(例如，将执行POC复位处的图片)的POC值是否将通过复位所述POC值的最高有效位(MSB)和最低有效位(LSB)或者通过仅复位POC值的MSB而复位；POC复位值，其指示也在POC导出信息所关联的图片之前的丢失或移除的图片的POC值；以及POC复位ID，其识别对于其提供POC导出信息的POC复位。举例来说，如果用信号表示的POC复位具有1的POC复位ID值且具有1的POC复位ID的另一POC复位已经执行，那么解码器可跳过结合特定图片用信号表示的POC复位。
在框810处，译码器确定按解码次序在所述图片之前的另一图片的POC。在图7中所示的实例中，即使含有POC值复位指令的EL图片614丢失或另外移除，EL图片612的POC值也将使用例如与EL图片616和/或618相关联的POC导出信息正确地复位。方法800在815处结束。
如上文所论述，图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128和/或层间预测单元166)可用以实施本发明中论述的技术中的任一者，例如处理与一或多个图片相关联的POC导出信息，且确定按解码次序在所述一或多个图片之前的另一图片的POC。
停用非POC锚图片中的POC复位
在一些实施例中，符合性约束可例如由译码器应用(例如，符合性约束可确定为适用且随后基于操作的性能而附加)到位流以使得当切片片段属于不是POC锚图片的图片时poc_lsb_reset_flag或poc_msb_reset_flag的值都不设定成等于1。如上文所描述，此图片可为子层非参考图片、可抛弃图片、RASL图片、RADL图片或具有大于0的时间ID的图片。举例来说，子层非参考图片可指代不用于由最高时间层的其它图片参考的图片。可抛弃图片可指代不用于由任何其它图片参考的图片。举例来说，此些可抛弃图片可标记为“可抛弃的”。此些可抛弃图片可由编码器或解码器从位流移除以便满足带宽约束。在一些实施例中，可抛弃图片包含可通过选择(例如，通过解码器或一些中间框)从位流移除的任何图片。RASL和RADL图片指代前导图片，且如果解码过程在与RASL图片相关联的IRAP图片处开始则可不输出RASL图片。具有大于0的时间ID的图片可为在帧速率向下切换到足够低的值的情况下可从位流移除的图片。举例来说，如果位流含有三个时间子层，那么可显示来自全部三个时间子层的图片以便以90帧每秒(fps)操作，可显示来自较低两个时间子层的图片以便以60fps操作，且可显示来自最低时间子层的图片以便以30fps操作。如上文所论述，位流约束或其它性能约束可致使从位流移除或丢弃一或多个图片(例如，译码器可评估此些约束并且基于此评估而根据约束执行操作以使得致使从位流移除或从位流丢弃一或多个图片)，且在此实例中，来自最高时间子层的图片可在从次最高时间子层移除图片之前移除，以此类推。举例来说，最低时间子层中的图片可不从位流移除直到所有其它时间子层中的图片被移除。因此，具有大于0的时间ID的图片(其中0的时间ID对应于最低时间子层)更可能从位流移除。
如本文中所描述，这些图片(例如，子层非参考图片、可抛弃图片、RASL图片、RADL图片、具有大于0的时间ID的图片及类似物)可被称为非POC锚图片。在一些实施例中，因为这些图片更可能从位流移除(例如，以满足某些带宽约束)，所以可引入指定这些图片无法触发POC复位的约束以减少POC复位图片可从位流移除的可能性。举例来说，如果不允许可抛弃图片触发POC复位(例如，通过用信号表示POC MSB复位、POC LSB复位或这两者)，那么即使可抛弃图片被抛弃，所述可抛弃图片对解码器的不可用性也将不导致上述关于POC复位的问题。
在一些实施例中，译码器可确定应结合特定图片用信号表示POC复位，随后确定特定图片是子层非参考图片、可抛弃图片、RASL图片、RADL图片、具有大于0的时间ID的图片或原本可能从位流移除的图片，且因此避免在特定图片中用信号表示POC复位或用信号表示在特定图片处将不执行POC复位。在一些实施例中，译码器可确定应结合特定图片用信号表示POC复位，且随后防止所述特定图片为非POC锚图片(例如，通过防止所述特定图片具有某些图片类型)。在一些实施例中，是否应在特定图片处执行POC复位的确定可至少部分地基于所述特定图片是否为子层非参考图片、可抛弃图片、RASL图片、RADL图片、具有大于0的时间ID的图片或原本可能从位流移除的图片。在此类实施例中，如果特定图片不是POC锚图片，那么译码器在位流中指示在特定图片处将不执行POC复位。替代地，译码器可简单地不在位流中提供在特定图片处将执行POC复位的任何指示。类似地，如果特定图片是POC锚图片，那么译码器在特定图片处确定需要POC复位的情况下在位流中指示在所述特定图片处将执行POC复位。替代地，译码器可简单地不在位流中提供在特定图片处将不执行POC复位或不应执行POC复位的任何指示。
非POC锚图片中的POC复位的停用
图9是说明根据本发明的实施例的用于译码视频信息的方法900的流程图。图9中说明的步骤可由编码器(例如，如图2A或图2B中所示的视频编码器)、解码器(例如，如图3A或图3B中所示的视频解码器)或任何其它组件执行。为方便起见，将方法900描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法900开始于框901。在框905处，译码器确定图片是否为POC锚图片。举例来说，POC锚图片可包含如下的任何图片：(1)不是RASL或RADL图片，(2)不可抛弃(例如，标记为“可抛弃”的图片，指示没有其它图片取决于它们，进而允许丢弃它们以满足带宽约束)，(3)不是子层非参考图片(例如，不用于由较高时间层中的其它图片参考的图片)，(4)具有等于0的时间ID(例如，时间子层ID)，和/或(5)原本可能从位流移除的任何其它图片。如果译码器确定图片不是POC锚图片，那么方法900前进到910。另一方面，如果译码器确定图片是POC锚图片，那么方法900前进到915。
在框910处，译码器针对图片用信号表示在所述图片处将不执行POC复位。举例来说，译码器可用信号表示指示POC LSB复位或POC MSB复位都将不结合所述图片执行的一或多个旗标。在一些实施例中，译码器可不在位流中用信号表示或另外提供在所述图片处将执行POC复位的任何指示。举例来说，在解码过程期间，如果在位流中未提供指示将执行POC复位的信号或指示，那么解码器可不在所述图片处执行POC复位。
在框915处，译码器用信号表示所述图片的POC复位。举例来说，译码器可在位流中用信号表示指示将执行POC LSB复位、POC MSB复位或这两者的一或多个旗标。在一些实施例中，译码器可不在位流中用信号表示或另外提供在所述图片处将不执行POC复位的任何指示。举例来说，在解码过程期间，解码器可从位流中的其它信号或指示推断或确定将执行POC复位，且如果位流中未提供停用POC复位的额外信号或指示，那么解码器应如所推断或确定而执行POC复位。方法900在920处结束。
如上文所论述，图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128和/或层间预测单元166)可用以实施本发明中论述的技术中的任一者，例如确定图片是否是POC锚图片、启用POC复位、停用POC复位、在位流中提供将执行POC复位的指示，以及在位流中提供将不执行POC复位的指示。
在方法900中，图9中所示的框中的一或多者可移除(例如，不执行)和/或所述方法执行的次序可切换。举例来说，虽然图9中展示框910，但可移除框910，且如果译码器确定图片不是POC锚图片，那么方法900可结束而无需执行任何额外操作。替代地，可移除框915，且如果译码器确定图片是POC锚图片，那么方法900可结束而无需执行任何额外操作。因此，本发明的实施例不限于图9展示的实例或不受到图9中展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化。
未经对准IRAP AU中的IRAP图片
在一些实施例中，符合性约束可应用于位流以使得当存取单元含有作为具有等于1的NoRaslOutputFlag的IRAP图片的至少一个图片时，将针对存取单元中不是IRAP图片的全部图片执行POC MSB(例如，POC的MSB)复位。在此类实施例中，与非IRAP图片相关联的poc_msb_reset_flag可设定成1(例如，指示在此些非IRAP图片处将执行POC MSB复位)。举例来说，如果图片A是存取单元中紧跟在拼接点(例如，由1的NoRaslOutputFlag值指示)之后的IRAP图片，且与图片A在同一存取单元中的图片B是非IRAP图片，那么可在位流中针对图片B用信号表示POC MSB复位。
图10是说明根据本发明的实施例的用于译码视频信息的方法1000的流程图。图10中说明的步骤可由编码器(例如，如图2A或图2B中所示的视频编码器)、解码器(例如，如图3A或图3B中所示的视频解码器)或任何其它组件执行。为方便起见，将方法1000描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法1000开始于框1001。在框1005处，译码器确定图片是否是IRAP图片。如上文所描述，在一些实施例中，IRAP图片可为IDR图片、CRA图片或BLA图片。在一些实施例中，译码器可进一步基于包含在位流中的信息确定所述图片是否在紧跟在拼接点之后的存取单元中。在一些实施例中，译码器可进一步确定按解码次序在所述图片之前的图片是否应输出，而不是确定所述图片是否在紧跟在拼接点之后的存取单元中。举例来说，所述图片是否在紧跟在拼接点之后的存取单元中或按解码次序在所述图片之前的图片是否应输出可由一个或多个变量指示，所述变量是在位流中用信号表示或指示或者从可用于译码器的其它信息(例如，NoRaslOutputFlag)导出。举例来说，对于IDR图片和CRA图片，NoRaslOutputFlag可从包含在位流中的其它信息导出。对于BLA图片，此些BLA图片的存在可向解码器指示BLA图片紧跟在拼接点之后。如果译码器确定图片是IRAP图片，那么方法1000前进到框1010。否则，方法1000在1015处结束。
在框1010处，译码器针对存取单元中的全部其它非IRAP图片启用POC MSB复位。在一些实施例中，译码器针对存取单元中按解码次序紧跟在拼接点之后的全部其它非IRAP图片启用POC MSB复位。举例来说，译码器可用信号表示具有值1的POC MSB复位旗标(例如，poc_msb_reset_flag)，指示将针对非IRAP图片中的每一者执行POC MSB复位。方法1000在1015处结束。
如上文所论述，图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128和/或层间预测单元166)可用以实施本发明中论述的技术中的任一者，例如确定图片是否是IRAP图片，以及针对存取单元中的全部其它非IRAP图片启用POC MSB复位。
在方法1000中，图10中所示的框中的一或多者可移除(例如，不执行)和/或所述方法执行的次序可切换。因此，本发明的实施例不限于图10展示的实例或不受到图10中展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化。
未经对准IRAP AU中的基础层IDR图片
在一些实施例中，符合性约束可应用于位流以使得当存取单元A含有作为IDR图片的基础层图片时，将针对存取单元A中不是IDR图片或具有在位流中用信号表示的非零POCLSB值的全部增强层图片执行POC LSB(例如，POC的LSB)复位。在此类实施例中，与EL图片相关联的poc_lsb_reset_flag(例如，指示在此些EL图片处将执行POC LSB复位)。举例来说，如果基础层中的图片A是IDR图片，且与图片A在同一存取单元中的图片B不是IDR图片，那么可在位流中针对图片B用信号表示POC LSB复位。在另一实例中，如果基础层中的图片A是IDR图片，且与图片A在同一存取单元中的图片C具有在位流中用信号表示的0的POC LSB值，那么可不需要在位流中针对图片C用信号表示POC LSB复位。
图11是说明根据本发明的实施例的用于译码视频信息的方法1100的流程图。图11中说明的步骤可由编码器(例如，如图2A或图2B中所示的视频编码器)、解码器(例如，如图3A或图3B中所示的视频解码器)或任何其它组件执行。为方便起见，将方法1100描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法1100开始于框1101。在框1105处，译码器确定图片是否是基础层IDR图片。在一些实施例中，BL IDR图片的POC自动复位到0。如果译码器确定图片是BL IDR图片，那么方法1100前进到框1110。否则，方法1100在1115结束。
在框1110处，译码器针对存取单元中的全部其它非IDR图片启用POC LSB复位。举例来说，译码器可用信号表示具有值1的POC LSB复位旗标(例如，poc_lsb_reset_flag)，指示将针对与BL IDR图片在同一存取单元中的非IDR图片中的每一者执行POC LSB复位。方法1100在1115结束。
如上文所论述，图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128和/或层间预测单元166)可用以实施本发明中论述的技术中的任一者，例如确定图片是否是BL IDR图片，以及针对存取单元中的全部其它非IDR图片启用POC LSB复位。
在方法1100中，图11中所示的框中的一或多者可移除(例如，不执行)和/或方法执行的次序可切换。因此，本发明的实施例不限于图11展示的实例或不受到图11中展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化。
后续图片中的信令备份复位
在一些实施例中，对于复位其POC MSB值以便对准导出的POC(例如，PicOrderCntVal)与作为具有等于1的NoRaslOutputFlag且与picA在同一存取单元中的IRAP图片的另一图片的每一图片picA，可与按解码次序跟随picA的与picA在同一层中的一或多个图片结合而在位流中提供将关于所述一或多个图片执行POC MSB复位的指示。举例来说，可针对所述一或多个图片中的每一者用信号表示具有值1的poc_msb_reset_flag。
图12是说明根据本发明的实施例的用于译码视频信息的方法1200的流程图。图12中说明的步骤可由编码器(例如，如图2A或图2B中所示的视频编码器)、解码器(例如，如图3A或图3B中所示的视频解码器)或任何其它组件执行。为方便起见，将方法1200描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法1200开始于框1201。在框1205处，译码器确定是否将在特定图片处执行POCMSB复位。如上文所描述，在一些实施例中，可执行POC MSB复位以便防止不同层中的图片具有未经对准IRAP存取单元中的不一致POC值。在一些实施例中，译码器进一步确定特定图片是否是未经对准IRAP存取单元中的非IRAP图片。如果译码器确定将在特定图片处执行POCMSB复位，那么方法1200前进到框1210。否则，方法1200在1215结束。
在框1210处，译码器针对按解码次序跟随特定图片的一或多个图片启用POC MSB复位。在一些实施例中，所述一或多个图片可与特定图片在同一层中。举例来说，译码器可针对按解码次序紧跟在特定图片之后的图片用信号表示具有值1的POC MSB复位旗标(例如，poc_msb_reset_flag)，指示针对按解码次序紧跟在特定图片之后的图片将执行POCMSB复位。如上文所描述，如果具有将执行POC MSB复位的指示的特定图片丢失，那么按解码次序紧跟在特定图片之后的图片处POC MSB的备份复位基于与按解码次序紧跟在特定图片之后的图片相关联的指示。在一些实施例中，译码器可进一步提供可使用以使得POC MSB复位不执行超过一次的指示或变量。此指示或变量(例如，POC复位ID)可帮助确定POC MSB复位是否已执行。在一些实施例中，译码器仅当特定图片是未经对准IRAP存取单元中的非IRAP图片时才针对所述一或多个图片启用POC MSB复位。方法1200在1215结束。
如上文所论述，图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128和/或层间预测单元166)可用以实施本发明中论述的技术中的任一者，例如确定是否在特定图片处将执行POC MSB复位，以及针对按解码次序跟随特定图片的一或多个图片启用POC MSB复位。
在方法1200中，图12中所示的框中的一或多者可移除(例如，不执行)和/或所述方法执行的次序可切换。因此，本发明的实施例不限于图12展示的实例或不受到图12中展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化。
用信号表示先前图片的POC值
在一些实施例中，对于复位其POC值以便对准导出的PicOrderCntVal与具有等于0的nuh_layer_id且与picA在同一存取单元中的IDR图片的图片picA，针对按解码次序跟随picA且具有与picA相同的nuh_layer_id的一或多个图片用信号表示在POC复位之前picA的PicOrderCntVal的值。
实例实施方案：切片片段标头语法
以下实例切片片段标头语法可用以实施本文所描述的实施例中的一或多者。
表1.实例切片片段标头语法
实例实施方案：切片片段标头语义
以下实例语义可用以实施本文所描述的实施例中的一或多者。对HEVC规范中的现存语言的改变以斜体字展示。
等于1的poc_msb_reset_flag指定当前图片的导出图片次序计数的MSB值等于0。等于0的poc_msb_reset_flag指定当前图片的导出图片次序计数的MSB值可或可不等于0。
在当前图片不是具有等于1的NoRaslOutputFlag的IRAP图片且当前存取单元中的至少一个图片是具有等于1的NoRaslOutputFlag的IRAP图片时，poc_msb_reset_flag将存在且值将等于1。
当不存在时，推断poc_msb_reset_flag的值等于0。
等于1的poc_lsb_reset_flag指定当前图片的导出图片次序计数等于0。等于0的poc_lsb_reset_flag指定当前图片的导出图片次序计数可或可不等于0。
在当前图片不是IDR图片或slice_pic_order_cnt_lsb不等于0且当前存取单元中具有等于0的nuh_layer_id的图片是IDR图片时，poc_lsb_reset_flag将存在且值将等于1。
当不存在时，推断poc_lsb_reset_flag的值等于0。
当poc_msb_reset_flag的值等于0时，poc_lsb_reset_flag的值将等于0。
位流符合性的要求在于，在当前存取单元中存在具有等于1的NoRaslOutputFlag的IRAP图片时，当前图片将具有等于0的discardable_flag和大于0的TemporalId，且将不为子层非参考图片、RASL图片或RADL图片。
替代地，以下约束可添加到poc_msb_reset_flag和poc_lsb_reset_flag的语义：
位流符合性的要求在于，对于具有小于16的nal_unit_type的值和具有nal_unit_type％2＝0的切片，poc_lsb_reset_flag和poc_msb_reset_flag两者的值将等于0。
位流符合性的要求在于，当poc_lsb_reset_flag或poc_msb_reset_flag或这两者的值等于1时，discardable_flag当存在时的值将等于0。
位流符合性的要求在于，当存取单元含有作为具有等于1的NoRaslOutputFlag的IRAP图片的图片时，那么以下条件适用：(1)如果具有等于0的nuh_layer_id的图片是IDR图片，那么针对所述存取单元中具有不等于0的nuh_layer_id的全部图片，poc_lsb_reset_flag和poc_msb_reset_flag的值将均设定成等于1；以及(2)否则，针对所述存取单元中不是具有等于1的NoRaslOutputFlag的IRAP图片的全部图片，poc_lsb_reset_flag的值将设定成等于1且poc_msb_reset_flag的值将设定成等于1。
实例实施方案：用于POC和参考图片集的解码过程
下文描述用于每一切片的POC的实例导出。当poc_lsb_reset_flag或poc_msb_reset_flag的值设定成1时，当前图片以及DPB中被标记为“用于参考”或被需要以用于输出的全部图片的POC递减。
用于图片次序计数的解码过程
此过程的输出为PicOrderCntVal，当前图片的图片次序计数。
图片次序计数用以识别图片，用于导出合并模式和运动向量预测中的运动参数，且用于解码器符合性检查。
每一经译码图片与一图片次序计数变量(标示为PicOrderCntVal)相关联。
在当前图片不是具有等于1的NoRaslOutputFlag的IRAP图片时，如下导出变量prevPicOrderCntLsb和prevPicOrderCntMsb：
假设prevTid0Pic为具有等于0的TemporalId和等于当前图片的nuh_layer_id的nuh_layer_id且不是RASL图片、RADL图片或子层非参考图片的按解码次序的前一图片，且假设prevPicOrderCnt等于prevTid0Pic的PicOrderCntVal。
变量prevPicOrderCntLsb设定成等于prevPicOrderCnt&
(MaxPicOrderCntLsb-1)。
变量prevPicOrderCntMsb设定成等于prevPicOrderCnt-
prevPicOrderCntLsb。
如下导出当前图片的变量PicOrderCntMsb：
如果当前图片是具有等于1的NoRaslOutputFlag的IRAP图片，那么PicOrderCntMsb设定成等于0。
否则，如下导出PicOrderCntMsb：
如下导出PicOrderCntVal：
PicOrderCntVal＝(poc_msb_reset_flag？0:PicOrderCntMsb)+
(poc_lsb_reset_flag？0:slice_pic_order_cnt_lsb)
应注意，具有等于0的nuh_layer_id的全部IDR图片将具有等于0的PicOrderCntVal，因为slice_pic_order_cnt_lsb推断为对于IDR图片为0且prevPicOrderCntLsb和prevPicOrderCntMsb均设定成等于0。
当poc_msb_reset_flag等于1时，在DPB中且属于与当前图片同一层的每一图片的PicOrderCntVal递减PicOrderCntMsb。
当poc_lsb_reset_flag等于1时，在DPB中且属于与当前图片同一层的每一图片的PicOrderCntVal递减slice_pic_order_cnt_lsb。
PicOrderCntVal的值将在-231到231-1的范围(包含性)内。在一个CVS中，同一层中任何两个经译码图片的PicOrderCntVal值不应相同。
如下指定函数PicOrderCnt(picX)：
PicOrderCnt(picX)＝图片picX的PicOrderCntVal
如下指定函数DiffPicOrderCnt(picA,picB)：
DiffPicOrderCnt(picA,picB)＝PicOrderCnt(picA)-PicOrderCnt(picB)
位流将不含有产生用于解码过程中的不在-215到215-1的范围(包含性)内的DiffPicOrderCnt(picA,picB)的值的数据。
应注意如果X是当前图片且Y和Z是同一序列中的两个其它图片，那么当DiffPicOrderCnt(X，Y)和DiffPicOrderCnt(X，Z)均为正或均为负时Y和Z被认为是在从X的相同输出次序方向中。
用于参考图片集的解码过程
用于参考图片集的解码过程相同于MV-HEVC WD5中界定的解码过程。
实例实施方案：一般SEI有效负载语法
以下实例SEI有效负载语法可用以实施本文所描述的实施例中的一或多者。在以下实例中，“XXX”可用表示可结合实例语法利用的有效负载类型的任何值代替。举例来说，“XXX”可用1与255之间尚未由另一SEI消息使用的任何值代替。在另一实例中，“XXX”的值不限于255，且具有较高值。对HEVC规范中的现存语言的改变以斜体字展示。
表2.实例SEI有效负载语法
实例实施方案：POC复位信息SEI消息语法
以下实例POC复位信息语法可用以实施本文所描述的实施例中的一或多者。对HEVC规范中的现存语言的改变以斜体字展示。
表3.实例POC复位信息语法
在一些实施例中，poc_reset_value、poc_reset_id或这两者是使用指数-哥伦布码(例如，ue(v)译码)经译码。
实例实施方案：POC复位信息SEI消息语义
以下实例POC复位信息语义可用以实施本文所描述的实施例中的一或多者：“POC复位信息SEI消息提供甚至当与相关联图片在同一层中且具有等于1的poc_lsb_reset_flag或poc_msb_reset_flag的按解码次序的前一图片丢失时也实现相关联图片的正确POC导出的信息。包含于SEI消息中的信息也可用以导出DPB中与相关联图片在同一层中的其它图片的POC值。POC复位图片经界定为具有等于1的poc_msb_reset_flag或poc_lsb_reset_flag或这两者的值的图片。相关联POC复位图片指代与相关联图片在同一层中且具有等于1的poc_lsb_reset_flag或poc_msb_reset_flag的按解码次序的前一图片。POC复位信息SEI消息的相关联图片指代与SEI消息相关联的图片。非嵌套式POC复位信息SEI消息与按解码次序的第一VCL NAL单元是含有非嵌套式POC复位信息SEI消息的SEI NAL单元的相关联VCLNAL单元的图片相关联。含有非嵌套式POC复位信息SEI消息的SEI NAL单元的nuh_layer_id将等于相关联图片的nuh_layer_id。”
替代地，SEI消息的关联可如下界定：“非嵌套式POC复位信息SEI消息与解码中的下一存取单元中的图片picA相关联，其中picA具有与含有非嵌套式POC复位信息SEI消息的SEI NAL单元相同的nuh_layer_id的值。”
替代地，SEI消息的关联可如下界定：“非嵌套式POC复位信息SEI消息与具有与SEINAL单元相同的值nuh_layer_id的图片picA相关联，且按解码次序在SEI消息之前且在具有与SEI NAL单元相同的nuh_layer_id的值且具有等于1的poc_lsb_reset_flag或poc_msb_reset_flag的值的第一图片之前。”
替代地，可用信号表示指示POC复位信息的消除的空SEI消息(poc_reset_info_cancel())且可如下界定SEI消息的关联：“非嵌套式POC复位信息SEI消息与具有与SEINAL单元相同的nuh_layer_id的值、按解码次序在SEI消息之前且包含于含有poc_reset_info_cancel()SEI消息的存取单元中的第一图片picA相关联。含有poc_reset_info_cancel()SEI消息的SEI NAL单元的nuh_layer_id的值将等于相关联图片的nuh_layer_id。”
以下语义可以用于poc_reset_type_flag、poc_reset_value和poc_reset_id：“等于1的poc_reset_type_flag指示对于相关联POC复位图片来说POC MSB经复位且POC LSB未经复位。等于0的poc_reset_type_flag指定针对相关联POC复位图片来说POC MSB和POCLSB两者经复位；poc_reset_value指示在POC复位之前相关联POC复位图片的POC值适用(即，假定poc_msb_reset_flag和poc_lsb_reset_flag两者等于0的导出的POC值)；以及poc_reset_id指定与相关联图片在同一层中的POC复位图片的识别符。位流中特定层的任何两个连续POC复位图片都不应具有相同的poc_reset_id的值。”
应注意，当相关联POC复位图片丢失时，此值也可用以如下导出DPB中同一层的相关联图片和其它经解码图片的POC值。当poc_reset_type_flag的值等于0时，可通过将prevPicOrderCntLsb设定为等于poc_reset_value％MaxPicOrderCntLsb且将prevPicOrderCntMsb设定为等于0且遵循用于图片次序计数的解码过程的其余部分来导出相关联图片的POC，且DPB中属于与相关联图片同一层的全部图片的PicOrderCntVal的值递减poc_reset_value-poc_reset_value％MaxPicOrderCntLsb。当poc_reset_type_flag的值等于1时，可通过将prevPicOrderCntLsb和prevPicOrderCntMsb两者设定为等于0且遵循用于图片次序计数的解码过程的其余部分来导出相关联图片的POC，且DPB中属于与相关联图片同一层的全部图片的PicOrderCntVal的值递减poc_reset_value。
在一些实施例中，结合SEI消息与上述相似的那些语法元素包含在切片片段标头语法中，且结合POC复位信息SEI消息语义在上述实例语义中使用短语“当前图片”而不是短语“相关联图片”。
其它考虑
可使用多种不同技术和技艺中的任一者来表示本文中所揭示的信息和信号。例如，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或或其任何组合来表示贯穿以上描述可能参考的数据、指令、命令、信息、信号、位、符号和码片。
结合本文揭示的实施例所描述的各种说明性逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清晰地说明硬件与软件的此可互换性，以上已大体就其功能性来描述了各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但这样的实施方案决策不应被解释为会引起脱离本发明的范围。
本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。所述技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机及其它装置中的应用的多种用途。被描述为模块或组件的任何特征可一起实施于集成逻辑装置中或分开来实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体及类似物。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传达程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。
程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如，一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指前述结构中的任一者、前述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(编解码器)中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以配合合适的软件和/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (23)

1.一种经配置以对视频信息进行译码的设备，所述设备包括：
存储器单元，其经配置以存储与具有第一存取单元的第一视频层相关联的视频信息；以及
处理器，其与所述存储器单元通信，所述处理器经配置以：
确定所述第一存取单元是否具有作为帧内随机存取点IRAP图片的至少一个图片，所述IRAP图片与所述至少一个图片的随机存取跳过前导RASL图片将不输出的第一指示相关联；以及
响应于确定所述第一存取单元具有作为与所述第一指示相关联的IRAP图片的至少一个图片，在位流中提供第二指示以仅复位所述第一存取单元中不是与所述第一指示相关联的IRAP图片的每一图片的图片次序计数POC的一或多个最高有效位MSB。
2.根据权利要求1所述的设备，其中所述处理器经配置以用信号表示一或多个旗标，所述一或多个旗标指示所述第一存取单元中不是与所述第一指示相关联的IRAP图片的所述每一图片的所述POC的所述一或多个MSB将被复位。
3.根据权利要求1所述的设备，其中所述第一视频层是基础层，且其中所述处理器进一步经配置以确定所述第一存取单元是否具有所述第一视频层中作为瞬时解码器刷新IDR图片的图片，且响应于确定所述第一存取单元具有所述第一视频层中作为IDR图片的图片，用信号表示一或多个旗标，所述一或多个旗标指示所述第一存取单元中不是IDR图片的每一图片的一或多个最低有效位LSB将被复位。
4.根据权利要求1所述的设备，其中所述处理器进一步经配置以用信号表示与按解码次序跟随所述每一图片中的一者且与所述每一图片中的所述一者在同一视频层中的一或多个图片相关联的一或多个旗标，所述一或多个旗标指示所述一或多个图片中的每一者的POC将被复位。
5.根据权利要求4所述的设备，其中所述处理器进一步经配置以通过指示所述一或多个图片中的每一者的所述POC的一或多个MSB将被复位而用信号表示所述一或多个旗标。
6.根据权利要求1所述的设备，其中所述处理器进一步经配置以确定所述第一存取单元是否紧跟在拼接点之后，且其中所述处理器经配置以进一步响应于确定所述第一存取单元紧跟在拼接点之后而在所述位流中提供所述第二指示。
7.根据权利要求1所述的设备，其中所述设备包括编码器，且其中所述处理器进一步经配置以在所述位流中对所述视频信息进行编码。
8.根据权利要求1所述的设备，其中所述设备包括解码器，且其中所述处理器进一步经配置以在所述位流中对所述视频信息进行解码。
9.根据权利要求1所述的设备，其中所述设备包括选自由以下各项组成的群组的装置：计算机、机顶盒、电话手持机、智能电话、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台，以及汽车内计算机。
10.一种对视频信息进行编码的方法，所述方法包括：
确定第一视频层的第一存取单元是否具有作为帧内随机存取点IRAP图片的至少一个图片，所述IRAP图片与所述至少一个图片的随机存取跳过前导RASL图片将不输出的第一指示相关联；以及
响应于确定所述第一存取单元具有作为与所述第一指示相关联的IRAP图片的至少一个图片，在位流中提供第二指示以仅复位所述第一存取单元中不是与所述第一指示相关联的IRAP图片的每一图片的图片次序计数POC的一或多个最高有效位MSB。
11.根据权利要求10所述的方法，其中在所述位流中提供所述指示包括用信号表示一或多个旗标，所述一或多个旗标指示所述第一存取单元中不是与所述第一指示相关联的IRAP图片的所述每一图片的所述POC的所述一或多个MSB将被复位。
12.根据权利要求10所述的方法，其中所述第一视频层是基础层，且其中所述方法进一步包括确定所述第一存取单元是否具有所述第一视频层中作为瞬时解码器刷新IDR图片的图片，且响应于确定所述第一存取单元具有所述第一视频层中作为IDR图片的图片，用信号表示一或多个旗标，所述一或多个旗标指示所述第一存取单元中不是IDR图片的每一图片的一或多个最低有效位LSB将被复位。
13.根据权利要求10所述的方法，其进一步包括用信号表示与按解码次序跟随所述每一图片中的一者且与所述每一图片中的所述一者在同一视频层中的一或多个图片相关联的一或多个旗标，所述一或多个旗标指示所述一或多个图片中的每一者的POC将被复位。
14.根据权利要求13所述的方法，其中用信号表示所述一或多个旗标包括指示所述一或多个图片中的每一者的所述POC的一或多个MSB将被复位。
15.根据权利要求10所述的方法，其进一步包括确定所述第一存取单元是否紧跟在拼接点之后，其中提供所述第二指示包括响应于确定所述第一存取单元紧跟在拼接点之后而在所述位流中提供所述第二指示。
16.一种非暂时性计算机可读媒体，其包括在执行时致使设备进行以下操作的代码：
存储与具有第一存取单元的第一视频层相关联的视频信息；
确定所述第一存取单元是否具有作为帧内随机存取点IRAP图片的至少一个图片，所述IRAP图片与所述至少一个图片的随机存取跳过前导RASL图片将不输出的第一指示相关联；以及
响应于确定所述第一存取单元具有作为与所述第一指示相关联的IRAP图片的至少一个图片，在位流中提供第二指示以仅复位所述第一存取单元中不是与所述第一指示相关联的IRAP图片的每一图片的图片次序计数POC的一或多个最高有效位MSB。
17.根据权利要求16所述的计算机可读媒体，其中所述代码致使所述设备用信号表示一或多个旗标，所述一或多个旗标指示所述第一存取单元中不是与所述第一指示相关联的IRAP图片的所述每一图片的所述POC的所述一或多个MSB。
18.根据权利要求16所述的计算机可读媒体，其中所述第一视频层是基础层，且其中所述代码进一步致使所述设备确定所述第一存取单元是否具有所述第一视频层中作为瞬时解码器刷新IDR图片的图片，且响应于确定所述第一存取单元具有所述第一视频层中作为IDR图片的图片，用信号表示一或多个旗标，所述一或多个旗标指示所述第一存取单元中不是IDR图片的每一图片的一或多个最低有效位LSB将被复位。
19.根据权利要求16所述的计算机可读媒体，其中所述代码进一步致使所述设备用信号表示与按解码次序跟随所述每一图片中的一者且与所述每一图片中的所述一者在同一视频层中的一或多个图片相关联的一或多个旗标，所述一或多个旗标指示所述一或多个图片中的每一者的POC将被复位。
20.一种经配置以对视频信息进行译码的视频译码装置，所述视频译码装置包括：
用于存储与具有第一存取单元的第一视频层相关联的视频信息的装置；
用于确定所述第一存取单元是否具有作为帧内随机存取点IRAP图片的至少一个图片的装置，所述IRAP图片与所述至少一个图片的随机存取跳过前导RASL图片将不输出的第一指示相关联；以及
用于响应于确定所述第一存取单元具有作为与所述第一指示相关联的IRAP图片的至少一个图片而在位流中提供第二指示的装置，提供第二指示以仅复位所述第一存取单元中不是与所述第一指示相关联的IRAP图片的每一图片的图片次序计数POC的一或多个最高有效位MSB。
21.根据权利要求20所述的视频译码装置，其中所述用于提供所述指示的装置用信号表示一或多个旗标，所述一或多个旗标指示所述第一存取单元中不是与所述第一指示相关联的IRAP图片的所述每一图片的所述POC的所述一或多个MSB。
22.根据权利要求20所述的视频译码装置，其中所述第一视频层是基础层，且其中所述视频译码装置进一步包括用于确定所述第一存取单元是否具有所述第一视频层中作为瞬时解码器刷新IDR图片的图片的装置，以及用于响应于确定所述第一存取单元具有所述第一视频层中作为IDR图片的图片而用信号表示一或多个旗标的装置，所述一或多个旗标指示所述第一存取单元中不是IDR图片的每一图片的一或多个最低有效位LSB将被复位。
23.根据权利要求20所述的视频译码装置，其进一步包括用于用信号表示与按解码次序跟随所述每一图片中的一者且与所述每一图片中的所述一者在同一视频层中的一或多个图片相关联的一或多个旗标的装置，所述一或多个旗标指示所述一或多个图片中的每一者的POC将被复位。
CN201480056243.5A 2013-10-14 2014-10-14 用于视频信息的可缩放译码的装置和方法 Active CN105637882B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361890868P 2013-10-14 2013-10-14
US61/890,868 2013-10-14
US14/513,030 US10212435B2 (en) 2013-10-14 2014-10-13 Device and method for scalable coding of video information
US14/513,030 2014-10-13
PCT/US2014/060492 WO2015057711A1 (en) 2013-10-14 2014-10-14 Device and method for scalable coding of video information

Publications (2)

Publication Number Publication Date
CN105637882A CN105637882A (zh) 2016-06-01
CN105637882B true CN105637882B (zh) 2018-12-04

Family

ID=52809632

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480056225.7A Active CN105637880B (zh) 2013-10-14 2014-10-14 用于视频信息的可缩放译码的装置和方法
CN201480056241.6A Active CN105637881B (zh) 2013-10-14 2014-10-14 用于视频信息的可缩放译码的装置和方法
CN201480056243.5A Active CN105637882B (zh) 2013-10-14 2014-10-14 用于视频信息的可缩放译码的装置和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201480056225.7A Active CN105637880B (zh) 2013-10-14 2014-10-14 用于视频信息的可缩放译码的装置和方法
CN201480056241.6A Active CN105637881B (zh) 2013-10-14 2014-10-14 用于视频信息的可缩放译码的装置和方法

Country Status (10)

Country Link
US (3) US9979971B2 (zh)
EP (3) EP3058741B1 (zh)
JP (3) JP6580576B2 (zh)
KR (3) KR102250638B1 (zh)
CN (3) CN105637880B (zh)
BR (3) BR112016008235B1 (zh)
ES (2) ES2744201T3 (zh)
HU (1) HUE044813T2 (zh)
MX (3) MX358539B (zh)
WO (3) WO2015057705A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3138672T3 (pl) 2011-11-10 2020-05-18 Packsize Llc Maszyna przekształcająca
KR20190053290A (ko) * 2012-06-25 2019-05-17 닛본 덴끼 가부시끼가이샤 비디오 인코딩/디코딩 장치, 방법 및 프로그램
US9979971B2 (en) 2013-10-14 2018-05-22 Qualcomm Incorporated Device and method for scalable coding of video information
WO2015105399A1 (ko) * 2014-01-13 2015-07-16 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치.
US10093438B2 (en) 2014-12-29 2018-10-09 Packsize Llc Converting machine
US10850469B2 (en) 2016-06-16 2020-12-01 Packsize Llc Box forming machine
WO2017218296A1 (en) 2016-06-16 2017-12-21 Packsize Llc A box template production system and method
US11242214B2 (en) 2017-01-18 2022-02-08 Packsize Llc Converting machine with fold sensing mechanism
SE541921C2 (en) 2017-03-06 2020-01-07 Packsize Llc A box erecting method and system
SE540672C2 (en) 2017-06-08 2018-10-09 Packsize Llc Tool head positioning mechanism for a converting machine, and method for positioning a plurality of tool heads in a converting machine
US11173685B2 (en) 2017-12-18 2021-11-16 Packsize Llc Method for erecting boxes
US11247427B2 (en) 2018-04-05 2022-02-15 Avercon BVBA Packaging machine infeed, separation, and creasing mechanisms
US11305903B2 (en) 2018-04-05 2022-04-19 Avercon BVBA Box template folding process and mechanisms
US11634244B2 (en) 2018-06-21 2023-04-25 Packsize Llc Packaging machine and systems
SE543046C2 (en) 2018-09-05 2020-09-29 Packsize Llc A box erecting method and system
CN110933411B (zh) 2018-09-19 2023-12-12 北京字节跳动网络技术有限公司 用于帧内编码的邻近的相邻块的选择
WO2020093999A1 (en) * 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
US11524474B2 (en) 2018-11-30 2022-12-13 Packsize Llc Adjustable cutting and creasing heads for creating angled cuts and creases
DE112020000348T5 (de) 2019-01-07 2021-09-16 Packsize Llc Kartonaufrichtungsmaschine
US11701854B2 (en) 2019-03-14 2023-07-18 Packsize Llc Packaging machine and systems
US10986353B2 (en) * 2019-03-15 2021-04-20 Tencent America LLC Decoded picture buffer management for video coding
US11539957B2 (en) * 2019-06-20 2022-12-27 Tencent America LLC Layered random access with reference picture resampling
KR20220063278A (ko) 2019-09-24 2022-05-17 후아웨이 테크놀러지 컴퍼니 리미티드 모든 계층에 대한 스케일러블 네스팅 sei 메시지
WO2021134015A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Profile, tier and layer indication in video coding
EP4062634A4 (en) 2019-12-26 2022-12-28 ByteDance Inc. LIMITATIONS ON SIGNALING HYPOTHETICAL REFERENCE DECODER PARAMETERS IN VIDEO BITSTREAMS
WO2021133721A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Techniques for implementing a decoding order within a coded picture
CN114902567A (zh) 2019-12-27 2022-08-12 字节跳动有限公司 视频编解码中的子图像信令
US11356698B2 (en) 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
EP4074052A4 (en) 2020-01-09 2023-05-31 ByteDance Inc. PROCESSING OF FILLER DATA UNITS IN VIDEO STREAMS
KR20230017819A (ko) * 2020-05-22 2023-02-06 엘지전자 주식회사 영상 코딩 방법 및 그 장치
US12041386B2 (en) 2020-09-29 2024-07-16 Lemon Inc. Dependent random access point indication in video bitstreams

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101208958A (zh) * 2005-06-24 2008-06-25 三星电子株式会社 使用基于多层的加权预测的视频编码方法和装置
CN102100069A (zh) * 2008-07-16 2011-06-15 汤姆逊许可证公司 用于快速信道改变以增大编码效率的可分级视频编码方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IN2014MN01853A (zh) 2006-11-14 2015-07-03 Qualcomm Inc
JP5535646B2 (ja) 2007-01-05 2014-07-02 トムソン ライセンシング スケーラブル映像符号化用の仮想リファレンスデコーダ
KR20090004659A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR20090004658A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
JP4935746B2 (ja) 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
WO2010041855A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
TW201032597A (en) * 2009-01-28 2010-09-01 Nokia Corp Method and apparatus for video coding and decoding
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US20130089152A1 (en) 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US8787688B2 (en) * 2011-10-13 2014-07-22 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
KR102094503B1 (ko) 2012-04-15 2020-03-30 삼성전자주식회사 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치
US9532055B2 (en) 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
WO2013162258A1 (ko) * 2012-04-23 2013-10-31 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
CN108540813B (zh) * 2012-09-28 2021-03-16 杜比国际公司 图像解码装置
US20140092976A1 (en) * 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures
US9532052B2 (en) 2013-04-08 2016-12-27 Qualcomm Incorporated Cross-layer POC alignment for multi-layer bitstreams that may include non-aligned IRAP pictures
EP3056008A4 (en) * 2013-10-10 2017-03-22 Sharp Kabushiki Kaisha Alignment of picture order count
KR20150043222A (ko) 2013-10-12 2015-04-22 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 그 장치, 멀티 레이어 비디오 복호화 방법 및 그 장치
US9979971B2 (en) 2013-10-14 2018-05-22 Qualcomm Incorporated Device and method for scalable coding of video information
EP3078195A4 (en) * 2013-12-02 2017-08-09 Nokia Technologies OY Video encoding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101208958A (zh) * 2005-06-24 2008-06-25 三星电子株式会社 使用基于多层的加权预测的视频编码方法和装置
CN102100069A (zh) * 2008-07-16 2011-06-15 汤姆逊许可证公司 用于快速信道改变以增大编码效率的可分级视频编码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BoG report on random access and cross-layer alignment of pictures types1;Jill Boyce;《Joint Collaborative Team on Video Coding (JCTVC) of ITU-T SG 16 WP3 and ISO/IEC JCT 1/SC 29/WG11 14th Meeting: Vienna》;20130802;全文 *
MV_HEVC/SHVC HLS:Cross-layer POC alignment;Ying Chen, Ye-Kui Wang, Adarsh K. Ramasubramonian;《Joint Collaborative Team on Video Coding (JCTVC) of ITU-T SG 16 WP3 and ISO/IEC JCT 1/SC 29/WG11 14th Meeting: Vienna》;20130802;全文 *

Also Published As

Publication number Publication date
CN105637880B (zh) 2018-08-24
KR20160072142A (ko) 2016-06-22
CN105637880A (zh) 2016-06-01
US20150103923A1 (en) 2015-04-16
KR102312763B1 (ko) 2021-10-13
ES2744201T3 (es) 2020-02-24
JP2016539601A (ja) 2016-12-15
BR112016008225A2 (zh) 2017-08-01
KR20160071413A (ko) 2016-06-21
CN105637881B (zh) 2019-04-02
US10212435B2 (en) 2019-02-19
MX360311B (es) 2018-10-29
EP3058745A1 (en) 2016-08-24
JP6486952B2 (ja) 2019-03-20
KR20160070786A (ko) 2016-06-20
EP3058744A1 (en) 2016-08-24
BR112016008235A2 (zh) 2017-08-01
BR112016008225B1 (pt) 2023-04-18
BR112016008235B1 (pt) 2023-04-18
MX2016004642A (es) 2016-08-05
KR102250638B1 (ko) 2021-05-10
MX2016004631A (es) 2016-08-05
BR112016008237A2 (zh) 2017-08-01
WO2015057705A1 (en) 2015-04-23
CN105637882A (zh) 2016-06-01
JP6542239B2 (ja) 2019-07-10
US9979971B2 (en) 2018-05-22
JP2016539600A (ja) 2016-12-15
US20150103903A1 (en) 2015-04-16
EP3058741A1 (en) 2016-08-24
MX2016004635A (es) 2016-08-05
EP3058741B1 (en) 2021-10-06
WO2015057711A1 (en) 2015-04-23
US20150103922A1 (en) 2015-04-16
MX358539B (es) 2018-08-24
BR112016008237B1 (pt) 2023-04-18
ES2895442T3 (es) 2022-02-21
JP2016537932A (ja) 2016-12-01
EP3058744B1 (en) 2019-06-05
KR102220256B1 (ko) 2021-02-24
JP6580576B2 (ja) 2019-09-25
EP3058745B1 (en) 2020-02-12
WO2015057714A1 (en) 2015-04-23
MX365607B (es) 2019-06-07
CN105637881A (zh) 2016-06-01
HUE044813T2 (hu) 2019-11-28
US9900605B2 (en) 2018-02-20

Similar Documents

Publication Publication Date Title
CN105637882B (zh) 用于视频信息的可缩放译码的装置和方法
CN105637883B (zh) 用于视频信息的可缩放译码的装置和方法
CN106165429B (zh) 多层译码中的一致性窗口信息
CN106464902B (zh) 译码视频信息的方法和设备
CN106233727B (zh) 译码视频信息的方法及设备
CN105556967B (zh) 用于视频信息的可缩放译码的装置和方法
CN106416258B (zh) 视频编码器、视频解码器及其可操作的方法
CN106105209B (zh) 多层视频编解码器的级别定义
CN106105223B (zh) 译码视频信息的设备和方法及计算机可读存储介质
CN105830447B (zh) 用于视频信息的可缩放译码的装置及方法
CN106105197B (zh) 针对帧内块复制的基于散列的编码器搜索
CN105900426B (zh) 用于对视频信息进行译码的设备、方法和计算机可读媒体
CN106464910B (zh) 可缩放视频译码中的位流符合性约束
CN105900429B (zh) 一种译码视频信息的方法、设备、装置及计算机可读媒体
CN105637862B (zh) 用于视频信息的可缩放译码的装置和方法
CN105850138B (zh) 在多层译码中译码恢复点补充增强信息(sei)消息和区刷新信息sei消息的方法
CN105379278B (zh) 用于视频信息的可缩放译码的装置和方法
CN106537917B (zh) 用于译码视频信息的设备、方法及计算机可读介质
CN105830446B (zh) 用于对多层位流的视频信息进行解码的方法和装置
CN105379272B (zh) 在vps中用信号通知位速率信息及图片速率信息
CN104956676B (zh) 层间语法预测控制
CN105052153B (zh) 用于视频信息的可缩放译码的装置和方法
KR20150065841A (ko) 고효율 비디오 코딩에 기초한 스케일러블 코딩을 위한 모션 필드 업샘플링
CN106105222A (zh) 用于对视频信息进行可缩放译码的装置和方法
CN105359528A (zh) 用于视频信息的可缩放译码的装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant