CN105247867A - 用于不同层间预测类型的参考图片的独立重新采样及选择 - Google Patents

用于不同层间预测类型的参考图片的独立重新采样及选择 Download PDF

Info

Publication number
CN105247867A
CN105247867A CN201480031088.1A CN201480031088A CN105247867A CN 105247867 A CN105247867 A CN 105247867A CN 201480031088 A CN201480031088 A CN 201480031088A CN 105247867 A CN105247867 A CN 105247867A
Authority
CN
China
Prior art keywords
picture
resampling
predict
photo current
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480031088.1A
Other languages
English (en)
Other versions
CN105247867B (zh
Inventor
瓦迪姆·谢廖金
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105247867A publication Critical patent/CN105247867A/zh
Application granted granted Critical
Publication of CN105247867B publication Critical patent/CN105247867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种根据某些方面的用于译码视频信息的设备包含计算硬件。所述计算硬件经配置以：识别待使用至少一类型的层间预测ILP加以预测的当前图片，所述类型的ILP包括层间运动预测ILMP或层间样本预测ILSP中的一或多者；且控制：(1)可被重新采样且用以使用ILMP来预测所述当前图片的图片的数目及(2)可被重新采样且用以使用ILSP来预测所述当前图片的图片的数目，其中所述计算硬件经配置以独立于可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目来控制可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目。

Description

用于不同层间预测类型的参考图片的独立重新采样及选择
技术领域
本发明是关于视频译码及压缩的领域。明确地说，本发明是关于可缩放视频译码(SVC)，包含用于高级视频译码(AVC)的SVC以及用于高效率视频译码(HEVC)的SVC(其也称为可缩放HEVC(SHVC))。本发明也是关于3D视频译码，例如HEVC的多视图延伸(称为MV-HEVC)。各种实施例是关于用于独立控制层间运动预测参考重新采样及层间样本预测参考重新采样及用于关于层间预测类型的处理位流限制的系统及方法。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电传会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如在由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4部分10高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的延伸中所描述的视频译码技术。视频装置可通过实施这些视频译码技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，可将视频片段(即，视频帧或视频帧的一部分)分割成视频块，所述视频块也可被称为树型块、译码单元(CU)及/或译码节点。使用相对于在同一图片中的相邻块中的参考样本的空间预测来编码图片的帧内译码(I)片段中的视频块。图片的帧间译码(P或B)片段中的视频块可使用相对于在同一图片中的相邻块中的参考样本的空间预测或相对于在其它参考图片中的参考样本的时间预测。可将图片称为帧，且可将参考图片称为参考帧。
空间或时间预测引起待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差异的残余数据来编码帧间译码块。根据帧内译码模式及残余数据来编码帧内译码块。为进行进一步压缩，可将残余数据自像素域变换到变换域，从而引起残余变换系数，可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化的变换系数以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
发明内容
一般来说，本发明描述关于可缩放视频译码(SVC)的技术。下文所描述的各种技术提供用于独立控制层间运动预测参考重新采样及层间样本预测参考重新采样的方法及装置。下文所描述的各种技术提供用于关于层间预测类型的处理位流限制的方法及装置。
根据某些方面的用于译码视频信息的设备包含存储器及计算硬件。存储器单元经配置以存储视频信息。计算硬件经配置以：识别待使用至少一类型的层间预测(ILP)加以预测的当前图片，所述类型的ILP包括层间运动预测(ILMP)或层间样本预测(ILSP)中的一或多者；及控制：(1)可被重新采样且用以使用ILMP来预测当前图片的图片的数目及(2)可被重新采样且用以使用ILSP来预测当前图片的图片的数目，其中计算硬件经配置以独立于可被重新采样且用以使用ILSP来预测当前图片的图片的数目来控制可被重新采样且用以使用ILMP来预测当前图片的图片的数目。
根据某些方面的用于译码视频信息的设备包含存储器及计算硬件。存储器单元经配置以存储视频信息。计算硬件经配置以：识别待使用至少一类型的层间预测(ILP)加以预测的当前图片，所述类型的ILP包括层间运动预测(ILMP)或层间样本预测(ILSP)或两者；在当前图片将使用至少ILMP加以预测时：处理与当前图片相关联的并置参考索引值，其中所述并置参考索引值指示用于使用ILMP来预测当前图片的第一参考图片；及确定由并置参考索引值指示的第一参考图片针对ILMP是否启用；及在当前图片将使用至少ILSP加以预测时：处理与当前图片中的块相关联的参考索引值，其中所述参考索引值指示用于使用ILSP来预测当前图片中的所述块的第二参考图片；及确定由参考索引值指示的第二参考图片针对ILSP是否启用。
在随附图式及以下描述中陈述一或多个实例的细节，所述随附图式及所述描述并不意欲限定本文中所描述的发明性概念的完整范畴。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书显而易见。
附图说明
贯穿所述图式，可再使用参考数字来指示被参考元件之间的对应性。提供所述图式以说明本文中所描述的实例实施例且所述图式并不意欲限定本发明的范畴。
图1为说明实例视频编码及解码系统的框图，所述视频编码及解码系统可利用根据本发明中所描述的方面的技术。
图2A为说明视频编码器的实例的框图，所述视频编码器可实施根据本发明中所描述的方面的技术。
图2B为说明视频编码器的实例的框图，所述视频编码器可实施根据本发明中所描述的方面的技术。
图3A为说明视频解码器的实例的框图，所述视频解码器可实施根据本发明中所描述的方面的技术。
图3B为说明视频解码器的实例的框图，所述视频解码器可实施根据本发明中所描述的方面的技术。
图4为根据本发明的方面的流程图，其说明用于独立控制层间运动预测参考重新采样及层间样本预测参考重新采样的实例方法。
图5为流程图，其说明用于关于层间预测类型的处理位流限制的实例方法。
具体实施方式
本发明中所描述的技术大体来说是关于可缩放视频译码(SHVC、SVC)及多视图/3D视频译码(例如，多视图译码+深度(MVC+D))。举例来说，所述技术可是关于高效率视频译码(HEVC)可缩放视频译码(SVC，有时称为SHVC)延伸，及可与高效率视频译码(HEVC)可缩放视频译码(SVC，有时称为SHVC)延伸一起使用或在高效率视频译码(HEVC)可缩放视频译码(SVC，有时称为SHVC)延伸内使用。在SHVC、SVC延伸中，可存在视频信息的多个层。位于视频信息的最低层级处的层可充当基础层(BL)或参考层(RL)，且位于视频信息的最顶部(或最高层)处的层可充当增强型层(EL)。“增强型层”有时被称为“增强层”，且这些术语可互换使用。基础层有时被称为“参考层”，且这些术语也可互换使用。在基础层与顶层之间的所有层可充当额外EL及/或参考层。举例来说，给定层对于位于所述给定层下面(例如，先于所述给定层)的层(例如，基础层或任何介入的增强层)来说可为EL。进一步，所述给定层也可充当位于所述给定层上面(例如，后起于所述给定层)的一或多个增强层的RL。在基础层(例如，具有(例如)层识别(ID)集或等于“1”的最低层)与顶层(或最高层)中间的任何层可由高于所述给定层的层用作层间预测的参考且可将低于所述给定层的层用作层间预测的参考。举例来说，可将低于所述给定层的层用作层间预测的参考来确定给定层。
出于简单性，仅就两个层来呈现实例：BL及EL；然而，应充分理解，下文所描述的思想及实施例也适用于具有多个层的状况。另外，出于解释容易性，常使用术语“帧”或“块”。然而，这些术语并不意谓为限定性的。举例来说，可将下文所描述的技术与多种视频单元(包含(但不限于)像素、块(例如，CU、PU、TU、宏块等)、图块、帧、图片等)中的任一者一起使用。
视频译码
视频译码标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual及ITU-TH.264(也已知为ISO/IECMPEG-4AVC)(包含所述ITU-TH.264的可缩放视频译码(SVC)及多视图视频译码(MVC)与多视图译码+深度(MVC+D)延伸)。最新HEVC草案规范(且在下文中称为HEVCWD10)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。也正由JCT-3V开发HEVC的多视图延伸(即，MV-HEVC)。MV-HEVCWD3的新近工作草案(WD)(下文中为WD3)可自http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1004-v4.zip获得。也正由JCT-VC开发HEVC的可缩放延伸(命名为SHVC)。SHVC的新近工作草案(WD)(且在下文中称为SHVCWD2)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M1008-v1.zip获得。
在SVC及SHVC中，视频信息可被提供作为多个层。位于最底部层级处的层可仅充当基础层(BL)且位于最顶部层级处的层可充当增强层(EL)。在顶层与底层之间的所有层可充当增强层与参考层两者。举例来说，中间的层对于位于其下面的层来说可为EL，且同时对于位于其上面的层来说可作为RL。出于描述的简单性，可在说明下文所描述的技术中假定存在两个层(BL及EL)。然而，本文中所描述的所有技术也适用于具有多个(两个以上)层的状况。
可缩放视频译码(SVC)可用以提供质量(也称为信噪(SNR))可扩充性、空间可扩充性及/或时间可扩充性。举例来说，在一个实施例中，参考层(例如，基础层)包含足以以第一质量等级来显示视频的视频信息且增强层包含相对于参考层的额外视频信息使得参考层及增强层一同包含足以以高于第一等级的第二质量等级(例如，较少噪声、较大分辨率、较好的帧速率等)来显示视频的视频信息。增强型层可具有不同于基础层的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比。换句话说，EL的空间纵横可等于BL的空间纵横的1.0、1.5或2.0倍。在一些实例中，EL的缩放因数可大于BL。举例来说，EL中的图片大小可大于BL中的图片大小。以此方式，有可能(虽然非为限定)EL的空间分辨率大于BL的空间分辨率。
在SVC(其对于H.264来说指SVC延伸且对于H.265来说指SHVC延伸(如上文所论述))中，可使用为SVC所提供的不同层来执行当前块的预测。可将此预测称为层间预测。可在SVC中利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的并置块的重建来预测增强层中的当前块。层间运动预测使用基础层的运动信息(包含运动向量)来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。
概述
在SHVC中，可将层间预测(ILP)中所使用的层间参考图片(ILRP)用于层间运动预测(ILMP)、层间样本预测(ILSP)或两者。可将ILRP被用于的ILP的类型称为层间预测类型(例如，ILMP、ILSP或两者)。对于仅用于ILSP的参考图片来说，如果参考层图片具有不同于当前图片的图片大小，则参考层图片应予以样本重新采样以产生ILRP，但未予以运动重新采样，因为未使用运动信息。对于仅用于ILMP的参考图片来说，如果参考层图片具有不同于当前图片的图片大小，则参考层图片应予以运动重新采样以产生ILRP，但未予以样本重新采样，因为未使用来自参考层图片的样本。对于用于ILSP与ILMP两者的参考图片来说，如果参考图片具有不同于当前图片的大小，则参考层图片应予以样本重新采样及运动重新采样。
在SHVC工作草案(WD)的早期版本中，如果参考层图片具有不同于当前图片的大小，则调用重新采样过程以导出层间参考图片而不检查参考层图片的层间预测类型(例如，ILMP、ILSP或两者)。此可导致样本重新采样仅用于ILMP的ILRP(即使不需要来自所述ILRP的样本)。此外，在一些SHVC简档中，可将可被重新采样以用于解码任何特定图片的层间参考图片的数目限定于某一数目(例如，1)。然而，在计数重新采样图片的数目中未分开地考虑所述两个重新采样过程(例如，样本重新采样及运动重新采样)。因此，如果针对仅用于层间运动预测的图片来调用样本重新采样过程，则当解码特定图片时可不再针对用于层间样本预测的另一图片来调用样本重新采样过程。因此，有利之举将为：不样本重新采样仅用于ILMP的ILRP且也不将仅用于ILMP的ILRP的样本重新采样计入关于针对特定图片而被重新采样的ILRP的数目的限度。在另一实例中，如果针对仅用于ILSP的图片来调用运动重新采样过程，则当解码特定图片时可不再针对用于ILMP的另一图片来调用运动重新采样过程。也有利之举将为：不运动重新采样仅用于ILSP的ILRP且也不将仅用于ILSP的ILRP的运动重新采样计入关于针对特定图片而被重新采样的ILRP的数目的限度。为促进论述，关于针对特定图片而被重新采样的ILRP的数目的限度也可被称为“重新采样图片计数”。
为解决这些及其它挑战，所述技术可避免针对仅用于层间运动预测的层间参考图片来调用重新采样过程。所述技术也可不将仅用于层间运动预测的层间参考图片计入重新采样图片计数(即使当ILRP具有不同于当前图片的图片大小时)。
在某些实施例中，所述技术可关于对重新采样图片的数目的限制而与用于层间样本预测的层间参考图片分开地来计数用于层间运动预测的层间参考图片。举例来说，所述技术可针对用于ILMP的ILRP而具有重新采样图片计数，且针对用于ILSP的ILRP而具有另一重新采样图片计数。
另外，所述技术也可提供及/或关于层间预测类型的处理位流限制。举例来说，所述技术可提供及/或处理并置参考索引(例如，collocated_ref_idx)可仅指用于至少ILMP的ILRP的位流限制。所述技术也可提供及/或处理参考索引(例如，ref_idx)可仅指用于至少ILSP的ILRP的位流限制。可使用一或多个旗标来实施所述位流限制。
下文中参看随附图式来更完整地描述新颖系统、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应被理解为限于贯穿本发明所呈现的任何特定结构或功能。相反，提供这些方面使得本发明将为详尽且完整的，且将向所属领域技术人员充分地传达本发明的范畴。基于本文中的教示，所属领域技术人员应了解，本发明的范畴意欲涵盖本文中所揭示的新颖系统、设备及方法的任何方面，而不管所述方面是独立于本发明的任何其它方面而实施或是与本发明的任何其它方面组合地加以实施。举例来说，可使用本文中所陈述的任何数目个方面来实施一种设备或可实践一种方法。另外，本发明的范畴意欲涵盖除本文中所陈述的本发明的各种方面之外或不同于本文中所陈述的本发明的各种方面的使用其它结构、功能性或结构与功能性加以实践的此设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所揭示的任何方面。
虽然本文中描述特定方面，但这些方面的许多变化及排列属于本发明的范畴内。虽然提及优选方面的一些益处及优势，但本发明的范畴并不意欲限于特定益处、用途或目标。相反，本发明的方面意欲广泛适用于不同无线技术、系统配置、网络及发射协议，其中一些通过实例在诸图中且在优选方面的以下描述中加以说明。实施方式及图式仅仅说明本发明而非限定本发明，本发明的范畴由所附权利要求书及其均等物来定义。
视频译码系统
图1为说明实例视频译码系统10的框图，所述视频译码系统可利用根据本发明中所描述的方面的技术。如本文中所描述使用，术语“视频译码器”一般地指视频编码器与视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指视频编码及视频解码。
如图1中所示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。目的地装置14可解码由源装置12产生的经编码视频数据。源装置12可经由通信信道16将视频数据提供到目的地装置14，所述通信信道可包含计算机可读存储媒体或其它通信信道。源装置12及目的地装置14可包含广泛范围的装置，包含台式计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智慧”电话、所谓的“智慧”平板)、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、视频流式传输装置或其类似者。可装备源装置12及目的地装置14以用于达成无线通信。
目的地装置14可经由通信信道16来接收待解码的经编码视频数据。通信信道16可包括能够将经编码视频数据从源装置12移到目的地装置14的一种类型的媒体或装置。举例来说，通信信道16可包括用以使得源装置12能够实时直接将经编码视频数据发射到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)来调制经编码视频数据，且将经编码视频数据发射到目的地装置14。通信媒体可包括无线或有线通信媒体(例如射频(RF)频谱或一或多个实体发射线)。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全域网络)的部分。通信媒体可包含路由器、开关、基站，或可对促进从源装置12到目的地装置14的通信有用的其它设备。
在一些实施例中，可将经编码数据从输出接口22输出到存储装置。在这些实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储装置或计算机可读存储媒体。举例来说，目的地装置14可经由磁盘存取或卡存取来存取计算机可读存储媒体。类似地，可通过输入接口28自计算机可读存储媒体来存取经编码数据。计算机可读存储媒体可包含多种分散式或局部存取式数据存储媒体(例如，硬驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储视频数据的其它数字存储媒体)中的任一者。计算机可读存储媒体可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载而从计算机可读存储媒体来存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将那个经编码视频数据发射到目的地装置14的服务器类型。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘机。目的地装置14可经由标准数据连接(包含因特网连接)来存取经编码视频数据。此数据连接可包含适合于存取被存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等)或两者的组合。经编码视频数据从计算机可读存储媒体的发射可为流式传输发射、下载发射或两者的组合。
本发明的技术可应用除无线应用或设定之外的应用或设定。可将所述技术应用于视频译码而支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如，经由HTTP的动态自适应性流式传输(DASH))、被编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实施例中，系统10可经配置成支持单向或双向视频发射以支持例如视频串流、视频播放、视频广播及/或视频电话的应用。
在图1中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。源装置12的视频编码器20可经配置以应用用于译码位流(包含符合多个标准或标准延伸的视频数据)的技术。在其它实施例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部摄像机)接收视频数据。同样地，目的地装置14可与外部显示装置建立接口连接，而非包含集成式显示装置。
源装置12的视频源18可包含视频俘获装置，例如视频摄像机、含有先前俘获的视频的视频存档及/或用以从视频内容提供者接收视频的视频馈送接口。视频源18可产生基于计算机图形的数据以作为源视频，或直播视频、封存视频及经计算机产生的视频的组合。在一些实施例中，如果视频源18为视频摄像机，则源装置12及目的装置14可形成所谓的摄像机电话或视频电话。可通过视频编码器20来编码经俘获、经预先俘获或经计算机产生的视频。经编码视频信息可通过输出接口22而被输出至通信信道16，所述通信信道可包含计算机可读存储媒体，如上文所论述。
计算机可读存储媒体可包含：暂态无线广播或有线网络发射；或存储媒体(例如，非暂时性存储媒体)，例如硬磁盘、随身盘、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。网络服务器(未图示)可自源装置12接收经编码视频数据且将经编码视频数据提供到目的地装置14(例如，经由网络发射)。媒体制造设施(例如，光盘冲压设施)的计算装置可自源装置12接收经编码视频数据且制造含有所述经编码视频数据的光盘。因此，通信信道16可被理解为包含各种形式的一或多个计算机可读存储媒体。
目的地装置14的输入接口28可从通信信道16接收信息。通信信道16的信息可包含由视频编码器20定义的语法信息，所述语法信息可由视频解码器30使用且包含描述块及其它译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32向使用者显示经解码视频数据，且可包含多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据视频译码标准(例如，目前正在发展的高效率视频译码(HEVC)标准)进行操作，且可符合HEVC测试模型(HM)。替代地，视频编码器20及视频解码器30可根据其它专属或工业标准(例如，ITU-TH.264标准，替代地被称作MPEG-4，第10部分，高级视频译码(AVC))或这些标准的延伸而操作。然而，本发明的技术并不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2及ITU-TH.263。虽然未展示于图1中，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件以处置共同数据流或独立数据流中的音频及视频两者的编码。如果适用，则MUX-DEMUX单元可符合ITUH.223多路复用器协议或例如使用者数据报协议(UDP)的其它协议。
图1仅仅为实例且本发明的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器加以撷取、经由网络加以流式传输或其类似者。编码装置可编码数据并将数据存储到存储器，及/或解码装置可从存储器撷取数据并解码数据。在许多实例中，编码及解码由彼此不通信的装置来执行，但所述装置仅编码到存储器的数据及/或撷取及解码来自存储器的数据。
视频编码器20及视频解码器30可各自实施为多种合适编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、特殊应用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于软件的指令存储于非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中任一者可集成为各别装置中的组合式编码器/解码器(编解码器(CODEC))的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置(例如，蜂窝式电话)。
JCT-VC正致力于HEVC标准及其延伸的开发且版本1已最后定下来。HEVC标准化努力是基于视频译码装置的演进模型(称作HEVC测试模型(HM))。HM根据(例如)ITU-TH.264/AVC假设视频译码装置相对于现有装置的若干额外能力。举例来说，H.264提供九个帧内预测编码模式，而HM可提供多达三十三个帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可划分成包含亮度样本与色度样本两者的树型块或最大译码单元(LCU)序列。位流内的语法数据可定义LCU的大小，LCU就像素的数目来说为最大译码单元。图块包含按译码次序的诸多连续树型块。可将视频帧或图片分割成一或多个图块。每一树型块可根据四分树而分裂成若干译码单元(CU)。一般来说，四分树数据结构每CU包含一个节点，其中根节点对应于树型块。如果将CU分裂成四个子CU，则对应于所述CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于子CU中的一者。
所述四分树数据结构中的每一节点可为所述对应CU提供语法数据。举例来说，所述四分树中的节点可包含分裂旗标，从而指示是否将对应于所述节点的CU分裂成子CU。可递回地定义CU的语法元素，且所述语法元素可取决于是否将所述CU分裂成子CU。如果CU未经进一步分裂，则其被称为叶CU。在本发明中，即使不存在原始叶CU的明显分裂，叶CU的四个子CU也将被称为叶CU。举例来说，如果16×16大小的CU未经进一步分裂，则四个8×8子CU也将被称为叶CU，尽管所述16×16CU从未经分裂。
除CU不具有大小差别外，CU具有与H.264标准的宏块类似的用途。举例来说，可将树型块分裂为四个子节点(也称为子CU)，且每一子节点又可为上代节点且可被分裂为另外四个子节点。被称为四分树的叶节点的最终的未分裂子节点包括译码节点，所述译码节点也被称为叶CU。与经译码位流相关联的语法数据可定义可分裂树型块的最大次数(其被称为最大CU深度)，且也可定义所述译码节点的最小大小。因此，位流也可定义最小译码单元(SCU)。本发明使用术语“块”来指HEVC的上下文中的CU、PU或TU中的任一者或其它标准的上下文中的类似数据结构(例如，H.264/AVC中的宏块及其子块)。
CU包含译码节点及与所述译码节点相关联的若干预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小，且形状必须为正方形。CU的大小可在从8×8像素直到具有最大64×64像素或大于64×64像素的树型块的大小的范围内。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述(例如)CU到一或多个PU的分割。分割模式可在CU被跳过或是经直接模式编码、经帧内预测模式编码抑或经帧间预测模式编码之间而不同。PU的形状可分割成非正方形。与CU相关联的语法数据也可描述(例如)CU根据四分树到一或多个TU的分割。TU的形状可为正方形或非正方形(例如，矩形)。
HEVC标准允许根据TU进行变换，所述变换对于不同CU来说可为不同的。通常基于在针对已分割LCU所定义的给定CU内的PU的大小来对TU设定大小，尽管可能并非总是此状况。TU通常为与PU相同的大小或小于PU。在一些实例中，可使用称作“残余四分树”(RQT)的四分树结构将对应于CU的残余样本再分成若干较小单元。可将RQT的叶节点称为变换单元(TU)。与TU相关联的像素差值可经变换以产生可加以量化的变换系数。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的所有或一部分的空间区域，且可包含用于撷取PU的参考样本的数据。此外，PU包含关于预测的数据。举例来说，当PU经帧内模式编码时，PU的数据可被包含于残余四分树(RQT)中，所述RQT可包含描述用于对应于所述PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU也可包含一或多个变换单元(TU)。如上文所论述，可使用RQT(也称为TU四分树结构)来指定所述变换单元。举例来说，分裂旗标可指示叶CU是否被分裂为四个变换单元。接着，可将每一变换单元进一步分裂为进一步的子TU。当TU未被进一步分裂时，可将其称为叶TU。大体来说，为达成帧内译码，属于叶CU的所有叶TU共享相同的帧内预测模式。亦即，大体应用相同的帧内预测模式以计算叶CU的所有TU的预测值。为达成帧内译码，视频编码器可将使用帧内预测模式的每一叶TU的残余值计算为在CU的对应于所述TU的部分与原始块之间的差。TU未必限定于PU的大小。因此，TU可大于或小于PU。为达成帧内译码，PU可与用于同一CU的对应叶TU并置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
此外，叶CU的TU也可与各别四分树数据结构(称为残余四分树(RQT))相关联。亦即，叶CU可包含指示所述叶CU如何被分割为TU的四分树。TU四分树的根节点大体对应于叶CU，而CU四分树的根节点大体对应于树型块(或LCU)。将RQT的未被分裂的TU称为叶TU。一般来说，除非另有指示，否则本发明分别使用术语CU及TU来指叶CU及叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)大体包括系列视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或别处的语法数据，所述语法数据描述包含于GOP中的图片的数目。图片的每一图块可包含描述所述各别图块的编码模式的图块语法数据。视频编码器20通常对个别视频图块内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而在大小方面不同。
作为实例，HM支持以各种PU大小进行的预测。假定特定CU的大小为2N×2N，则HM支持以2N×2N或N×N的PU大小进行的帧内预测，及以2N×2N、2N×N、N×2N或N×N的对称PU大小进行的帧间预测。HM也支持以2N×nU、2N×nD、nL×2N及nR×2N的PU大小进行的帧间预测的不对称分割。在不对称分割中，CU的一个方向未分割，而另一方向则分割成25％及75％。CU的对应于25％分割的部分由“n”继之以“U(上)”、“D(下)”、“L(左)”或“R(右)”的指示来指示。因此，举例来说，“2N×nU”指水平上以顶部的2N×0.5NPU及底部的2N×1.5NPU分割的2N×2NCU。
在本发明中，“N×N”与“N乘N”可互换地使用以指视频块在垂直尺寸及水平尺寸方面的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块在垂直方向上将具有16个像素(y＝16)且在水平方向上将具有16个像素(x＝16)。同样地，N×N块大体在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。可按行及列来布置块中的像素。此外，块未必需要在水平方向上与在垂直方向上具有相同数目个像素。举例来说，块可包括N×M像素，其中M未必等于N。
在使用CU的PU进行帧内预测或帧间预测译码之后，视频编码器20可计算用于CU的TU的残余数据。所述PU可包括描述在空间域(也称为像素域)中产生预测性像素数据的方法或模式的语法数据，且所述TU可包括在将变换(例如，离散正弦变换(DST)、离散余弦变换(DCT)、整数变换、子波变换或概念上类似的变换)应用于残余视频数据之后在变换域中的系数。所述残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU，且接着变换所述TU以产生CU的变换系数。
在进行任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化意欲具有其最广的普通意义的广义术语。在一个实施例中，量化指如下的过程：将变换系数量化以可能地减少用以表示所述系数的数据的量，从而提供进一步压缩。量化过程可减少与所述系数中的一些或所有相关联的位深度。举例来说，可在量化期间将n位值降值舍位到m位值，其中n大于m。
在量化之后，视频编码器可扫描所述变换系数，从而自包含所述经量化的变换系数的二维矩阵产生一维向量。所述扫描可经设计以将较高能量(且因此较低频率)系数置于阵列前部，及将较低能量(且因此较高频率)系数置于阵列后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可加以熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来熵编码所述一维向量。视频编码器20也可熵编码与经编码视频数据相关联的供由视频解码器30用于解码视频数据的语法元素。
为执行CABAC，视频编码器20可将上下文模型内的上下文指派给待发射的符号。所述上下文可能是关于(例如)符号的相邻值是否为非零。为执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。可将VLC中的码字建构成使得相对较短码对应于更有可能的符号，而较长码对应于较不可能的符号。以此方式，相对于(例如)针对待发射的每一符号使用相等长度码字，使用VLC可达成位节省。概率确定可基于被指派给符号的上下文。
视频编码器20可进一步(例如)在帧标头、块标头、图块标头或GOP标头中将语法数据(例如，基于块的语法数据、基于帧的语法数据及基于GOP的语法数据)发送至视频解码器30。GOP语法数据可描述各别GOP中的诸多帧，且帧语法数据可指示用以编码对应帧的编码/预测模式。
视频编码器
图2A为说明视频编码器的实例的框图，所述视频编码器可实施根据本发明中所描述的方面的技术。视频编码器20可经配置以处理视频位流的单一层(例如，用于HEVC)。进一步，视频编码器20可经配置以执行本发明的技术中的任一者或全部，包含(但不限于)独立控制层间运动预测参考重新采样及层间样本预测参考重新采样的方法、关于层间预测类型的处理位流限制的方法，及上下文关于图4至5予以更详细描述的相关过程。作为一个实例，层间预测单元66(当提供时)可经配置以执行本发明中所描述的技术中的任一者或全部。然而，本发明的方面并未如此受限。在一些实例中，可在视频编码器20的各种组件当中共享本发明中所描述的技术。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中所描述的技术中的任一者或全部。
出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。图2A的编码器20说明编解码器的单一层。然而，如将关于图2B予以进一步描述，视频编码器20中的一些或全部可经复制以用于根据多层编解码器进行处理。
视频编码器20可执行视频图块内的视频块的帧内预测、帧间预测及层间预测(有时称为帧内译码、帧间译码或层间译码)。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。层间译码依赖于在基于同一视频译码序列内的不同层内的视频的预测。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一者。
如图2A中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图2A的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46、层间预测单元66及分割单元48。参考帧存储器64可包含解码图片缓冲器。解码图片缓冲器为具有其普通意义的广义术语，且在一些实施例中指参考帧的受视频编解码器管理的数据结构。
为达成视频块重建，视频编码器20也包含反量化单元58、反变换单元60及求和器62。也可包含解块滤波器(图2A中未图示)以滤波块边界从而自重建的视频移除成块性伪影。如果需要，解块滤波器将通常滤波求和器62的输出。也可使用除解块滤波器之外的额外滤波器(回路中或回路后)。出于简洁性未展示这些滤波器，但如果需要，则这些滤波器可滤波求和器50的输出(作为回路中滤波器)。
在编码过程期间，视频编码器20接收待译码的视频帧或图块。可将所述帧或图块分割为多个视频块。运动估计单元42及运动补偿单元44执行接收的视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地执行接收的视频块相对于在与待译码的块相同的帧或图块中的一或多个相邻块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，(例如)以选择用于视频数据的每一块的适当译码模式。
此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割为子块。举例来说，分割单元48可最初将帧或图块分割成LCU，且基于速率-失真分析(例如，速率-失真最佳化等)来将所述LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割为子CU的四分树数据结构。四分树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可(例如)基于误差结果来选择所述译码模式(帧内预测模式、帧间预测模式或层间预测模式)中的一者，且将所得帧内译码块、帧间译码块或层间译码块提供到求和器50以产生残余块数据及提供到求和器62以重建供用作参考帧的经编码块。模式选择单元40也将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此语法信息)提供到熵编码单元56。
运动估计单元42及运动补偿单元44可经高度集成，但为概念目的而分开地予以说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示在当前视频帧或图片内的视频块的PU相对于在参考帧(或其它经译码单元)内的预测性块(关于在所述当前帧(或其它经译码单元)内正被译码的当前块来说)的位移。预测性块为依据像素差被发现紧密地匹配待译码的块的块，所述像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差度量予以确定。在一些实例中，视频编码器20可计算存储于参考帧存储器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分率像素位置的值。因此，运动估计单元42可执行关于全像素位置及分率像素位置的运动搜索且输出具有分率像素精确度的运动向量。
运动估计单元42计算帧间译码图块中的视频块的PU的运动向量(通过比较所述PU的位置与参考图片的预测性块的位置)。所述参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储于参考帧存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送至熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来提取或产生预测性块。在一些实例中，运动估计单元42及运动补偿单元44可在功能上被集成。在接收当前视频块的PU的运动向量之后，运动补偿单元44即可在参考图片列表中的一者中定位所述运动向量所指向的预测性块。求和器50通过自正被译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值，如下文所论述。在一些实施例中，运动估计单元42可关于亮度分量来执行运动估计，且运动补偿单元44可将基于亮度分量所计算的运动向量用于色度分量与亮度分量两者。模式选择单元40可产生与所述视频块及所述视频图块相关联的语法元素以供视频解码器30用于解码所述视频图块的所述视频块。
如上文所描述，作为由运动估计单元42及运动补偿单元44执行的帧间预测的替代例，帧内预测单元46可帧内预测或计算当前块。明确地说，帧内预测单元46可确定待用以编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在分开的编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可自所测试的模式选择待使用的适当帧内预测模式。
举例来说，帧内预测单元46可使用针对各种所测试的帧内预测模式的速率-失真分析来计算速率-失真值，且在所测试的模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体确定经编码块与原始、未编码块(其被编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位速率(也即，位的数目)。帧内预测单元46可自各种经编码块的失真及速率来计算比率以确定哪一帧内预测模式展现所述块的最佳速率-失真值。
在针对块来选择帧内预测模式之后，帧内预测单元46可将指示针对所述块所选择的帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所选的帧内预测模式的信息。视频编码器20可在所发射的位流中包含以下各者：配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也称为码字映射表)；各种块的编码上下文的定义；及待用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
视频编码器20可包含层间预测单元66。层间预测单元66经配置以使用可用于SVC中的一或多个不同层(例如，基础层或参考层)来预测当前块(例如，EL中的当前块)。可将此预测称为层间预测。层间预测单元66利用预测方法以减少层间冗余，借此改良译码效率及减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的并置块的重建来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。当基础层及增强层具有不同空间分辨率时，可由层间预测单元66执行空间运动向量缩放及/或层间位置映射(使用时间缩放功能)，如下文予以更详细描述。
视频编码器20通过自正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将变换(例如，离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。举例来说，也可使用离散正弦变换(DST)、子波变换、整数变换、子频带变换或其它类型的变换。
变换处理单元52可将变换应用于残余块，从而产生残余变换系数的块。所述变换可将残余信息自像素值域变换至转换域(例如，频域)。变换处理单元52可将所得变换系数发送至量化单元54。量化单元54量化所述变换系数以进一步减小位速率。量化过程可减小与所述系数中的一些或所有相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56熵编码经量化的变换系数。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或加以存档以供稍后发射或撷取。
反量化单元58及反变换单元60分别应用反量化及反变换，以在像素域中重建残余块(例如，以供稍后用作参考块)。运动补偿单元44可通过将所述残余块添加到参考帧存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44也可将一或多个内插滤波器应用于经重建的残余块以计算供用于运动估计的次整数像素值。求和器62将经重建的残余块添加到由运动补偿单元44产生的经运动补偿的预测块以产生供存储于参考帧存储器64中的经重建的视频块。所述经重建的视频块可由运动估计单元42及运动补偿单元44用作参考块以帧间译码随后视频帧中的块。
多层视频编码器
图2B为说明多层视频编码器21的实例的框图，所述多层视频编码器可实施根据本发明中所描述的方面的技术。视频编码器21可经配置以处理多层视频帧(例如，用于SHVC及多视图译码)。进一步，视频编码器21可经配置以执行本发明的技术中的任一者或全部。
视频编码器21包含视频编码器20A及视频编码器20B，所述视频编码器中的每一者可被配置为图2A的视频编码器20且可执行上文关于视频编码器20所描述的功能。进一步，如通过参考数字的再使用所指示，视频编码器20A及20B可将系统及子系统中的至少一些包含作为视频编码器20。虽然视频编码器21被说明为包含两个视频编码器20A及20B，但视频编码器21并不受限于此且可包含任何数目的视频编码器20层。在一些实施例中，视频编码器21可包含用于存取单元中的每一图片或帧的视频编码器20。举例来说，可通过包含五个编码器层的视频编码器来处理或编码包含五个图片的存取单元。在一些实施例中，视频编码器21可包含多于存取单元中的帧的编码器层。在一些这些状况下，当处理一些存取单元时，视频编码器层中的一些可停用。
除视频编码器20A及20B之外，视频编码器21也可包含重新采样单元90。在一些状况下，重新采样单元90可增频采样接收的视频帧的基础层以(例如)产生增强层。重新采样单元90可增频采样与帧的接收的基础层相关联的特定信息，但不增频采样其它信息。举例来说，重新采样单元90可增频采样基础层的空间大小或像素数目，但图块的数目或图片次序计数可保持不变。在一些状况下，重新采样单元90可不处理接收的视频及/或可为任选的。举例来说，在一些状况下，模式选择单元40可执行增频采样。在一些实施例中，重新采样单元90经配置成增频采样一层且重组织、重定义、修改或调整一或多个图块以遵从一组图块边界规则及/或光栅扫描规则。虽然主要被描述为增频采样基础层或存取单元中的较低层，但在一些状况下，重新采样单元90可降频采样一层。举例来说，如果在视频的流式传输期间带宽被减小，则可降频采样而非增频采样帧。重新采样单元90也可经进一步配置以执行剪切及/或填充操作。
重新采样单元90可经配置以从较低层编码器(例如，视频编码器20A)的解码图片缓冲器114接收图片或帧(或与所述图片相关联的图片信息)及增频采样所述图片(或接收的图片信息)。此增频采样的图片可接着被提供到较高层编码器(例如，视频编码器20B)的模式选择单元40，所述较高层编码器经配置以编码在与较低层编码器相同的存取单元中的图片。在一些状况下，较高层编码器为自较低层编码器移除的一个层。在其它状况下，在图2B的层0视频编码器与层1编码器之间可存在一或多个较高层编码器。
在一些状况下，可省略或绕过重新采样单元90。在这些状况下，可直接或至少在不提供到重新采样单元90、视频编码器20B的模式选择单元40的情况下提供来自视频编码器20A的解码图片缓冲器64的图片。举例来说，如果被提供到视频编码器20B的视频数据与来自视频编码器20A的解码图片缓冲器64的参考图片具有相同大小或分辨率，则可将参考图片提供到视频编码器20B而不进行任何重新采样。
在一些实施例中，在将视频数据提供到视频编码器20A之前，视频编码器21使用降频采样单元94来降频采样待提供到较低层编码器的视频数据。替代地，降频采样单元94可为能够增频采样或降频采样视频数据的重新采样单元90。在又其它实施例中，可省略降频采样单元94。
如图2B中所说明，视频编码器21可进一步包含多路复用器(multiplexor，mux)98。多路复用器98可输出来自视频编码器21的经组合的位流。可通过从视频编码器20A及20B中的每一者取得位流且交替在给定时间输出哪一位流来产生所述经组合的位流。虽然在一些状况下来自两个(或两个以上，在两个以上的视频编码器层的状况下)位流的位可一次一个位加以交替，但在许多状况下所述位流是以不同方式加以组合。举例来说，可通过一次一个块交替所选位流来产生输出位流。在另一实例中，可通过从视频编码器20A及20B中的每一者输出非1:1比率的块来产生输出位流。例如，可针对自视频编码器20A输出的每一块而从视频编码器20B输出两个块。在一些实施例中，来自多路复用器98的输出串流可经预先编程。在其它实施例中，多路复用器98可基于从位于视频编码器21外部的系统(例如，从位于源装置12上的处理器)接收的控制信号而组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率、基于信道16的带宽、基于与使用者相关联的订购(例如，付费订购对免费订购)或基于用于确定自视频编码器21所要的分辨率输出的任何其它因素来产生所述控制信号。
视频解码器
图3A为说明视频解码器的实例的框图，所述视频解码器可实施根据本发明中所描述的方面的技术。视频解码器30可经配置以处理视频位流的单一层(例如，用于HEVC)。进一步，视频解码器30可经配置以执行本发明的技术中的任一者或全部，包含(但不限于)独立控制层间运动预测参考重新采样及层间样本预测参考重新采样的方法、关于层间预测类型的处理位流限制的方法，及上下文关于图4到5予以更详细描述的相关过程。作为一个实例，层间预测单元75可经配置以执行本发明中所描述的技术中的任一者或全部。然而，本发明的方面并未如此受限。在一些实例中，可在视频解码器30的各种组件当中共享本发明中所描述的技术。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中所描述的技术中的任一者或全部。
出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。图3A的解码器30说明编解码器的单一层。然而，如将关于图3B予以进一步描述，视频解码器30中的一些或全部可经复制以用于根据多层编解码器进行处理。
在图3A的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、层间预测单元75、反量化单元76、反变换单元78、参考帧存储器82及求和器80。在一些实施例中，运动补偿单元72及/或帧内预测单元74可经配置以执行层间预测，在所述状况下，可省略层间预测单元75。在一些实例中，视频解码器30可执行大体与关于视频编码器20(图2A)所描述的编码遍次互反的解码遍次。运动补偿单元72可基于自熵解码单元70接收的运动向量来产生预测数据，而帧内预测单元74可基于自熵解码单元70接收的帧内预测模式指示符来产生预测数据。参考帧存储器82可包含解码图片缓冲器。解码图片缓冲器为具有其普通意义的广义术语，且在一些实施例中指参考帧的受视频编解码器管理的数据结构。
在解码过程期间，视频解码器30自视频编码器20接收经编码视频位流，所述经编码视频位流表示经编码视频图块的视频块及相关联的语法元素。视频解码器30的熵解码单元70熵解码所述位流以产生量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可在视频图块层级及/或视频块层级处接收语法元素。
当视频图块经译码为帧内译码(I)图块时，帧内预测单元74可基于所发信的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生用于当前视频图块的视频块的预测数据。当视频帧经译码为帧间译码(例如，B、P或GPB)图块时，运动补偿单元72基于自熵解码单元70接收的运动向量及其它语法元素来产生用于当前视频图块的视频块的预测性块。可自参考图片列表中的一者内的参考图片中的一者来产生所述预测性块。视频解码器30可基于存储于参考帧存储器82中的参考图片使用默认建构技术来建构参考帧列表(列表0及列表1)。运动补偿单元72通过剖析运动向量及其它语法元素来确定用于当前视频图块的视频块的预测信息，且使用所述预测信息来产生用于正解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收的语法元素中的一些来确定用以译码视频图块的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测图块类型(例如，B图块、P图块或GPB图块)、用于图块的参考图片列表中的一或多者的建构信息、用于图块的每一帧间编码视频块的运动向量、用于图块的每一帧间译码视频块的帧间预测状态，及用以解码当前视频图块中的视频块的其它信息。
运动补偿单元72也可基于内插滤波器来执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器，以计算参考块的次整数像素的内插值。在此状况下，运动补偿单元72可自接收的语法元素来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
视频解码器30也可包含层间预测单元75。层间预测单元75经配置以使用可用于SVC中的一或多个不同层(例如，基础层或参考层)来预测当前块(例如，EL中的当前块)。可将此预测称为层间预测。层间预测单元75利用若干预测方法以减少层间冗余，借此改良译码效率及减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的并置块的重建来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。当基础层与增强层具有不同空间分辨率时，可由层间预测单元75执行空间运动向量缩放及/或层间位置映射(使用时间缩放功能)，如下文予以更详细描述。
反量化单元76反量化(例如，解量化)被提供于位流中且由熵解码单元70解码的经量化的变换系数。反量化过程可包含将通过视频解码器30计算的量化参数QPY用于视频图块中的每一视频块以确定量化程度及同样地应加以应用的反量化的程度。
反变换单元78将反变换(例如，反DCT、反DST、反整数变换或概念上类似的反变换过程)应用于变换系数以便在像素域中产生残余块。
在运动补偿单元72基于运动向量及其它语法元素来产生用于当前视频块的预测性块之后，视频解码器30通过对来自反变换单元78的残余块与由运动补偿单元72所产生的对应预测性块求和而形成经解码的视频块。求和器90表示执行此加法运算的一或多个组件。如果需要，也可应用解块滤波器来对经解码块滤波以便移除成块性伪影。也可使用其它回路滤波器(在译码回路中抑或在译码回路之后)以使像素转变平滑，或以其它方式改良视频质量。给定帧或图片中的经解码视频块接着被存储于参考帧存储器82中，所述参考帧存储器存储用于随后的运动补偿的参考图片。参考帧存储器82也存储供稍后呈现于显示装置(例如，图1的显示装置32)上的经解码视频。
多层解码器
图3B为说明多层视频解码器31的实例的框图，所述多层视频解码器可实施根据本发明中所描述的方面的技术。视频解码器31可经配置以处理多层视频帧(例如，用于SHVC及多视图译码)。进一步，视频解码器31可经配置以执行本发明的技术中的任一者或全部。
视频解码器31包含视频解码器30A及视频解码器30B，所述视频解码器中的每一者可被配置为图3A的视频解码器30且可执行上文关于视频解码器30所描述的功能。进一步，如通过参考数字的再使用所指示，视频解码器30A及30B可将系统及子系统中的至少一些包含作为视频解码器30。虽然视频解码器31被说明为包含两个视频编码器30A及30B，但视频解码器31并不受限于此且可包含任何数目的视频解码器30层。在一些实施例中，视频解码器31可包含用于存取单元中的每一图片或帧的视频解码器30。举例来说，可通过包含五个解码器层的视频解码器来处理或解码包含五个图片的存取单元。在一些实施例中，视频解码器31可包含多于存取单元中的帧的解码器层。在一些这些状况下，当处理一些存取单元时，视频解码器层中的一些可停用。
除视频解码器30A及30B之外，视频解码器31也可包含增频采样单元92。在一些实施例中，增频采样单元92可增频采样接收的视频帧的基础层以产生待加至帧或存取单元的参考图片列表的增强型层。此增强型层可存储于参考帧存储器82中(例如，位于其的解码图片缓冲器等中)。在一些实施例中，增频采样单元92可包含关于图2A的重新采样单元90所描述的实施例中的一些或全部。在一些实施例中，增频采样单元92经配置成增频采样层且重组织、重定义、修改或调整一或多个图块以遵从一组图块边界规则及/或光栅扫描规则。在一些状况下，增频采样单元92可为经配置成增频采样及/或降频采样接收的视频帧的层的重新采样单元。
增频采样单元92可经配置以自较低层解码器(例如，视频解码器30A)的解码图片缓冲器82接收图片或帧(或与所述图片相关联的图片信息)及增频采样所述图片(或接收的图片信息)。此增频采样的图片可接着被提供到较高层解码器(例如，视频解码器30B)的模式选择单元71，所述较高层解码器经配置以解码在与较低层解码器相同的存取单元中的图片。在一些状况下，较高层解码器为自较低层解码器移除的一个层。在其它状况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。
在一些状况下，可省略或绕过增频采样单元92。在这些状况下，可直接或至少在不被提供到增频采样单元92、视频解码器30B的模式选择单元71的情况下提供来自视频解码器30A的解码图片缓冲器82的图片。举例来说，如果被提供到视频解码器30B的视频数据与来自视频解码器30A的解码图片缓冲器82的参考图片具有相同大小或分辨率，则可将参考图片提供到视频解码器30B而不进行增频采样。进一步，在一些实施例中，增频采样单元92可为经配置以增频采样或降频采样自视频解码器30A的解码图片缓冲器82接收的参考图片的重新采样单元90。
如图3B中所说明，视频解码器31可进一步包含解多路复用器(demultiplexor、demux)99。解多路复用器99可将经编码视频位流分裂成多个位流，其中由解多路复用器99输出的每一位流被提供到不同视频解码器30A及30B。可通过接收位流来产生多个位流且视频解码器30A及30B中的每一者在给定时间接收所述位流的一部分。虽然在一些状况下来自解多路复用器99处接收的位流的位可在视频解码器(例如，在图3B的实例中的视频解码器30A及30B)中的每一者之间一次一个位加以交替，但在许多状况下所述位流是以不同方式加以划分。举例来说，可通过一次一个块交替哪一视频解码器接收位流来划分位流。在另一实例中，可通过到视频解码器30A及30B中的每一者的非1:1比率的块来划分位流。例如，可针对被提供到视频解码器30A的每一块而将两个块提供到视频解码器30B。在一些实施例中，位流通过解多路复用器99所进行的划分可经预先编程。在其它实施例中，解多路复用器99可基于从位于视频解码器31外部的系统(例如，从位于目的地装置14上的处理器)接收的控制信号来划分位流。可基于来自输入接口28的视频的分辨率或位速率、基于信道16的带宽、基于与使用者相关联的订购(例如，付费订购对免费订购)或基于用于确定可通过视频解码器31获得的分辨率的任何其它因素来产生所述控制信号。
参考层类型
在MV-HEVC及SHVC的实施中，存在指定可将何层用于层间预测的direct_dependency_flag语法元素。等于0的direct_dependency_flag[i][j]指定具有索引j的层对于具有索引i的层来说非为直接参考层。等于1的direct_dependency_flag[i][j]指定具有索引j的层对于具有索引i的层来说可为直接参考层。当对于在0到vps_max_layers_minus1的范围中的i及j来说不存在direct_dependency_flag[i][j]时，推断其等于0。
另外，可应用两种类型的层间预测：层间运动预测、层间样本预测或两者。为指定何层间预测类型可用于某一特定层，发信direct_dependency_type。
direct_dependency_type[i][j]用以导出变量NumSamplePredRefLayers[i]、NumMotionPredRefLayers[i]、SamplePredEnabledFlag[i][j]及MotionPredEnabledFlag[i][j]。变量NumSamplePredRefLayers[i]可指可被用于针对具有索引i的层的样本预测的参考层的数目。变量NumMotionPredRefLayers[i]可指可被用于针对具有索引i的层的运动预测的参考层的数目。变量SamplePredEnabledFlag[i][j]可指使用具有索引j的层进行的样本预测针对具有索引i的层是否启用。变量MotionPredEnabledFlag[i][j]可指使用具有索引j的层进行的运动预测针对具有索引i的层是否启用。在位流中，direct_dependency_type[i][j]应在0到2(包含0及2)的范围中。虽然direct_dependency_type[i][j]的值应在0到2(包含0及2)的范围中，但解码器应允许在3至232-2(包含3及232-2)的范围中的direct_dependency_type[i][j]值出现于语法中。
如下所述地导出变量NumSamplePredRefLayers[i]、NumMotionPredRefLayers[i]、SamplePredEnabledFlag[i][j]、MotionPredEnabledFlag[i][j]、NumDirectRefLayers[i]、RefLayerId[i][j]、MotionPredRefLayerId[i][j]及SamplePredRefLayerId[i][j]：
关于通过重新采样而被用于层间参考的图片的数目的限制
在一个SHVC实施中，将需要被重新采样以用于解码任何特定图片的层间参考图片的数目限定为高达一。举例来说，当参考与增强层具有不同图片大小时，调用重新采样过程。
然而，对被重新采样的层间参考图片的数目具有限定可产生例如以下各者的问题：
·当解码当前图片时，仅用于层间运动预测(非用于样本预测)的图片在其具有不同于当前图片的空间分辨率时也被重新采样。然而，此图片的重新采样可不必要地浪费计算资源。
·如果在解码当前图片时存在仅用于层间运动预测的图片，则根据通过重新采样而被用于层间参考的图片的数目不能大于一的限制没有用于层间样本预测的其它图片可被样本重新采样。换句话说，当存在此图片时，如果不存在具有与当前图片相同分辨率的其它较低层图片，则即使存在具有不同空间分辨率的另一低层图片，样本的层间预测仍不能被用于当前图片。
·对于经指示为未被用于层间样本预测或经指示为未被用于层间运动预测的某些直接参考层的图片来说遗漏了位流符合性限制。
·用于层间参考的图片被包含到初始参考图片列表(在参考图片列表修改命令之前)中而未在经指示用于所述图片的不同层间预测类型之间产生差异，此项为次最佳的。
·发信于图块标头中的collocated_ref_idx及发信于块(例如，CU、PU等)层级处的参考索引的译码可不必要地使用更多位。
多层视频译码中的层间预测类型
为解决这些及其它挑战，根据某些方面的技术可独立地控制待被重新采样以用于层间运动预测的参考图片的数目及待被重新采样以用于层间样本预测的参考图片的数目。所述技术也可提供及/或关于层间预测类型的处理位流限制。更具体来说，所述技术可提供及/或处理并置参考索引(例如，collocated_ref_idx)可仅指用于至少ILMP的ILRP的位流限制。所述技术也可提供及/或处理参考索引(例如，ref_idx)可仅指用于至少ILSP的ILRP的位流限制。
以此方式，当解码当前图片时，仅用于ILMP中的ILRP无需被样本重新采样。而且，仅用于ILMP中的ILRP不必防止另一ILRP用于ILP中。举例来说，用于ILSP中的ILRP可被样本重新采样且用于ILP中。此可导致更准确预测及更有效译码。举例来说，可使用一或多种ILP类型(例如，在以上实例中为ILSP)。另外，可通过避免调用不必要的重新采样过程来降低计算复杂性。下文描述关于所述技术的某些细节。
经指示为未被用于层间样本预测的图片
根据某些方面，所述技术可自重新采样过程排除层间参考图片(如果所述层间参考图片经指示为仅用于层间运动预测)。对于此类型的图片来说，无需将样本(像素)信息存储于存储器中。
另外，经指示为仅用于层间运动预测的层间参考图片未被计数为需要样本重新采样过程的图片，因为样本将不被用于帧间预测目的。因此，对于当前图片来说，可将具有不同空间分辨率的另一低层图片用于样本的层间预测。
此外，可未由发信于块(例如，CU、PU等)层级处的参考索引来引用经指示为未被用于层间样本预测的图片。举例来说，此图片不能被用于帧间预测。
此外，可调整用于参考索引发信中的参考图片的总数目(仅包含可用于帧间预测的图片)，使得发信于块(例如，CU、PU等)层级中的参考索引可使用较少位。
经指示为未被用于层间运动预测的图片
根据某些方面，对于经指示为未被用于层间运动预测(例如，经指示为仅用于层间样本预测)的图片来说，不需要导出运动信息且此图片不能被用于时间运动向量(TMVP)导出。举例来说，在TMVP导出中，不能将此图片用作并置图片。并且可不存储此图片的运动信息。
可暗示(例如)由collocated_ref_idx语法元素定义的并置图片不能为经指示为未被用于层间运动预测的图片。换句话说，collocated_red_idx不应指向仅用于层间样本预测或根本不被用于层间预测的较低层图片。
另外，可调整用以定义collocated_ref_idx范围的参考图片的总数目以仅包含可用于TMVP导出的图片，使得collocated_ref_idx的发信可使用较少位。
代替不将此类型的参考图片用作并置图片的做法，可将默认运动信息指派给仅层间样本预测图片。默认运动信息可至少包含预测模式、运动向量、参考索引及参考图片图片次序计数(POC)。举例来说，可将帧内预测模式(其不指定运动信息)指派用于仅层间样本预测图片。在此状况下，如果此图片被用作并置图片(归因于正指派的帧内预测模式)，则无TMVP可被导出。因此，可指派默认运动信息。
关于样本重新采样及运动重新采样的层间图片的数目的分开限制
在一个实施例中，与层间样本预测分开地来将用于层间运动预测的层间参考图片计入关于重新采样图片的数目的限制。在SHVC的早期版本中，仅可使用一个重新采样图片；不分开地计数样本重新采样图片及运动重新采样图片；且结果，在一些状况下可仅使用一种ILP类型(例如，仅ILMP或仅ILSP)，如上文所提及。如果分开地计数样本重新采样图片及运动重新采样图片，则可应用高达一个样本重新采样且可应用高达一个运动重新采样。
在另一实施例中，可以不同数目来分开地限制及/或限定样本重新采样的层间图片的数目与运动重新采样的层间图片的数目。举例来说，可限制使用一个样本重新采样的层间图片及两个运动重新采样的层间图片。
可如以下实例中所示来实施上文所提及的技术。在SHVC的早期版本的上下文中提供所述实例。以斜体字来指示自SHVC的早期版本的改变。在某些实施例中，所述技术可不将仅用于层间运动预测的图片计入重新采样的图片数目。
实例1
表1-实例1
在实例1中，与样本重新采样过程分开地来呼叫运动重新采样过程，其中ILRP仅用于ILMP。在此实例中，当将ILRP图片用于ILMP与ILSP两者时，经由样本重新采样过程来调用运动重新采样过程。实例2中提供替代描述。在上下文的实例与描述中，呈斜体字的部分可指示SHVC的早期版本的改变。下划线中的部分可指示仅特定用于SHVC且不存在于MV-HEVC中的部分。
实例2
在实例2中，提供替代描述，其中取决于ILRP是否被用于ILMP及/或ILSP来独立地呼叫两个过程(例如，运动重新采样及样本重新采样)。运动重新采样过程的调用在部分G.8.1.4中自样本重新采样而被移除且移至分开部分G.8.1.5(例如)以便改良说明书文字的可读性。
表2-实例2
位流限制
如上文所解释，所述技术也可提供及/或关于层间预测类型的处理位流限制。术语或表达“位流限制”为意欲具有其最广的普通意义的广义术语及/或表达。在一个实施例中，位流限制可指编码器或解码器应遵循以顺从某一标准的规则。举例来说，符合某一标准的位流不应含有违犯所述限制的元素(例如，语法元素)。在限制违犯的状况下，位流被视为不符合且可不通过解码器加以解码。
更具体来说，所述技术可提供及/或处理并置参考索引(例如，collocated_ref_idx)可仅指用于至少ILMP的ILRP的位流限制。所述技术也可提供及/或处理参考索引(例如，ref_idx)可仅指用于至少ILSP的ILRP的位流限制。在一些实施例中，可如下定义所述位流限制。举例来说，
·collocated_ref_idx指定用于时间运动向量预测的并置图片的参考索引。
-当slice_type等于P时或当slice_type等于B且collocated_from_l0等于1时，collocated_ref_idx指列表0中的图片，且collocated_ref_idx的值应在0到num_ref_idx_l0_active_minus1(包含0及num_ref_idx_l0_active_minus1)的范围中。
-当slice_type等于B且collocated_from_l0等于0时，collocated_ref_idx指列表1中的图片，且collocated_ref_idx的值应在0到num_ref_idx_l1_active_minus1(包含0及num_ref_idx_l1_active_minus1)的范围中。
-位流符合性的要求为：由collocated_ref_idx引用的图片对于经译码图片的所有图块来说应相同。
-假设refLayerId为由collocated_ref_idx引用的图片的nuh_layer_id的值，且currLayerId为当前图片的nuh_layer_id的值。位流符合性的要求为MotionPredEnabledFlag[currLayerId][refLayerId]应等于1。
·ref_idx_l0[x0][y0]指定用于当前预测单元的列表0参考图片索引。阵列索引x0,y0指定被考虑的预测块的左上亮度样本相对于图片的左上亮度样本的位置(x0,y0)。
-当不存在ref_idx_l0[x0][y0]时，推断其等于0。
-假设refLayerId为由ref_idx_l0[x0][y0]引用的图片的nuh_layer_id的值，且currLayerId为当前图片的nuh_layer_id的值。位流符合性的要求为SamplePredEnabledFlag[currLayerId][refLayerId]应等于1。
-ref_idx_l1[x0][y0]具有与ref_idx_l0相同的语义，其中l0及列表0分别由l1及列表1来代替。
下文参看图4及图5来解释关于所述技术的某些细节。贯穿本发明所使用的各种术语为具有其普通意义的广义术语。另外，在一些实施例中，某些术语是关于以下视频概念。图片可指视频图片，如在当前标准(例如，HEVC、SHVC)中使用所述术语。可通过计算硬件来实施关于图4及图5所描述的方法。在一些实施例中，计算硬件可包含包括计算机硬件的一或多个计算装置。
用于独立控制层间运动预测参考重新采样及层间样本预测参考重新采样的方法
图4为根据本发明的方面的流程图，其说明用于独立控制层间运动预测参考重新采样及层间样本预测参考重新采样的实例方法。取决于实施例，可通过编码器(例如，如图2A、2B等中所示的编码器)、解码器(例如，如图3A、3B等中所示的解码器)或任何其它组件来执行过程400。过程400的框是关于图3B中的解码器31来描述的，但可通过其它组件(例如，如上文所提及的编码器)来执行过程400。取决于实施例，解码器31的层1视频解码器30B及/或解码器31的层0解码器30A可执行过程400。关于图4所描述的所有实施例可分开地或彼此组合地加以实施。上文解释了关于过程400的某些细节。
过程400始于框401处。解码器31可包含用于存储视频信息的存储器(例如，参考帧存储器82)。
在框402处，解码器31识别待使用至少一类型的层间预测(ILP)加以预测的当前图片，所述类型的ILP包括层间运动预测(ILMP)或层间样本预测(ILSP)中的一或多者。
在框403处，解码器31控制：(1)可被重新采样且用以使用ILMP来预测当前图片的图片的数目及(2)可被重新采样且用以使用ILSP来预测当前图片的图片的数目。可被重新采样且用以使用ILMP来预测当前图片的图片的数目可独立于可被重新采样且用以使用ILSP来预测当前图片的图片的数目加以控制。举例来说，解码器31可独立于可被重新采样且用以使用ILSP来预测当前图片的图片的数目来控制可被重新采样且用以使用ILMP来预测当前图片的图片的数目。
术语或表达“独立受控”、“独立控制”或其变化为意欲具有其最广的普通意义的广义术语及/或表达。为促进论述，将在以下描述中使用术语或表达“独立控制”。在一个实施例中，独立控制可指在不影响或设定可被重新采样且用以使用ILSP来预测当前图片的图片的数目情况下影响或设定可被重新采样且用以使用ILMP来预测当前图片的图片的数目。
在另一实施例中，独立控制可指对可被重新采样且用以使用ILMP来预测当前图片的图片的数目及可被重新采样且用以使用ILSP来预测当前图片的图片的数目具有分开的限定。取决于实施例，关于可被重新采样且用以使用ILMP来预测当前图片的图片的数目与可被重新采样且用以使用ILSP来预测当前图片的图片的数目的限定可为相同或不同。在又一实施例中，独立控制可指不将可被重新采样(例如，样本重新采样、运动重新采样或两者)且用以使用ILMP来预测当前图片的图片计入关于可被重新采样且用以使用ILP来预测当前图片的图片的数目的限度。
在一些实施例中，可被重新采样且用以使用ILMP来预测当前图片的图片的数目与可被重新采样且用以使用ILSP来预测当前图片的图片的数目为相同的(例如，两者等于1)。在其它实施例中，可被重新采样且用以使用ILMP来预测当前图片的图片的数目与可被重新采样且用以使用ILSP来预测当前图片的图片的数目为不同的。
在某些实施例中，解码器31使用至少一重新采样图片来预测当前图片。取决于实施例，所述至少一重新采样图片可用以使用ILMP、ILSP或两者来预测当前图片。
过程400结束于框404处。取决于实施例，可在过程400中添加及/或省略框，且取决于实施例可按不同次序来执行过程400的框。可分开地或以其任何组合来实施关于本发明中的重新采样所描述的任何特征及/或实施例。举例来说，可以与结合图5所描述的任何特征及/或实施例的任何组合来实施结合图4所描述的任何特征及/或实施例，且反之亦然。
用于关于层间预测类型的处理位流限制的方法
图5为流程图，其说明用于关于层间预测类型的处理位流限制的实例方法。取决于实施例，可通过编码器(例如，如图2A、2B中所示的编码器等)、解码器(例如，如图3A、3B中所示的解码器等)或任何其它组件来执行过程500。过程500的框是关于图3B中的编码器21来描述的，但可通过其它组件(例如，如上文所提及的解码器)来执行过程500。取决于实施例，编码器21的层1视频编码器20B及/或编码器21的层0编码器20A可执行过程500。关于图5所描述的所有实施例可分开地或彼此组合地加以实施。上文解释了关于过程500的某些细节(例如，关于图4)。
过程500始于框501处。编码器21可包含用于存储视频信息的存储器(例如，参考帧存储器82)。
在框502处，编码器21识别待使用至少一类型的层间预测(ILP)加以预测的当前图片。ILP类型可包含层间运动预测(ILMP)或层间样本预测(ILSP)或两者。
在框503处，在当前图片将使用至少ILMP加以预测时，编码器21处理与当前图片相关联的并置参考索引值，其中所述并置参考索引值指示用于使用ILP来预测当前图片的第一参考图片。在一些实施例中，并置参考索引值可指并置参考索引的值。在某些实施例中，并置参考索引也可被称为并置参考索引值。
在框504处，编码器21确定由并置参考索引值指示的第一参考图片针对ILMP是否启用。举例来说，在当前图片将使用至少ILMP加以预测时，编码器21可确定第一参考图片针对ILMP是否启用。在一些实施例中，编码器21通过确定用于第一参考图片的运动预测启用旗标的值来确定第一参考图片针对ILMP是否启用。举例来说，当运动预测启用旗标值等于1时，编码器21可确定第一参考图片针对ILMP启用。在另一实例中，当运动预测启用旗标值等于0时，编码器21可确定第一参考图片针对ILMP不启用。在其它实施例中，运动预测启用旗标值的其它值可用以确定第一参考图片针对ILMP是否启用(例如，等于2、3等)。
在框505处，在当前图片将使用至少ILSP加以预测时，编码器21处理与当前图片中的块相关联的参考索引值，其中所述参考索引值指示用于使用ILP来预测当前图片中的所述块的第二参考图片。在一些实施例中，参考索引值可指参考索引的值。在某些实施例中，参考索引也可被称为参考索引值。
在框506处，编码器21确定由参考索引值指示的第二参考图片针对ILSP是否启用。举例来说，在当前图片将使用至少ILSP加以预测时，编码器21可确定第二参考图片针对ILSP是否启用。在一些实施例中，编码器21通过确定用于第一参考图片的样本预测启用旗标的值来确定第二参考图片针对ILMP是否启用。举例来说，当样本预测启用旗标值等于1时，编码器21可确定第二参考图片针对ILSP启用。在另一实例中，当样本预测启用旗标值等于0时，编码器21可确定第二参考图片针对ILSP不启用。在其它实施例中，样本预测启用旗标值的其它值可用以确定第二参考图片针对ILSP是否启用(例如，等于2、3等)。
在某些实施例中，编码器21在第一参考图片针对ILMP启用时在位流中发信并置参考索引值，或在第二参考图片针对ILSP启用时在位流中发信参考索引值，或以上两者。举例来说，编码器21仅发信指示针对ILMP启用的参考图片的并置参考索引值。或者，编码器21发信指示针对ILSP启用的参考图片的参考索引值。或者，编码器21可完成以上两项。以此方式，可在位流中仅发信参考对应的参考图片类型(例如，针对并置参考索引启用的ILMP、针对参考索引启用的ILSP等)的索引值。
在一些实施例中，第一参考图片与第二参考图片可为相同的。举例来说，可将参考图片用于ILMP与ILSP两者(例如，具有运动信息与样本两者)。
过程500结束于框507处。取决于实施例，可在过程500中添加及/或省略框，且取决于实施例可按不同次序来执行过程500的框。可分开地或以其任何组合来实施关于本发明中的重新采样所描述的任何特征及/或实施例。举例来说，可以与结合图4所描述的任何特征及/或实施例的任何组合来实施结合图5所描述的任何特征及/或实施例，且反之亦然。
参考图片列表中的层间图片次序
在一个实施中，三种类型的层间图片为有可能的。仅运动层间图片、仅样本层间预测及两者一起。所有这些类型的图片被包含到层间参考图片集中。然而，具有这些类型的图片可未同等地促成译码效率。举例来说，用于层间样本预测的图片可比仅用于层间运动预测的图片重要。因此，与仅用于层间运动预测的图片相比，具有用于层间样本预测的图片的较小参考索引可为有利的。
在一个实施例中，建议将仅用于层间运动预测的图片置于参考图片集的结尾且将初始层间参考图片列表置于用于层间样本预测的图片后面。因此，在参考图片列表(在所有时间参考图片后面)中及在层间参考图片集中的次序可通过将图片划分成两个子集而为如下：用于层间样本预测的图片、仅用于层间运动预测的图片。类似于以上两个部分，替代地，在参考图片列表(在所有时间参考图片后面)中及在层间参考图片集中的次序可通过将图片划分成三个子集而为如下：用于层间样本及运动预测的图片、仅用于层间样本预测的图片及仅用于层间运动预测的图片。另外，在每一子集中，可按层间图片的nuh_layer_id的下降次序来完成排序。替代地，次序可遵循用于层间预测的参考层的明确发信次序，所述明确发信次序可在VPS中或别处发信。
对于上文所描述的二子集状况来说，可指派另一类型的参考图片集。举例来说，样本层间参考图片集可包含仅用于层间样本预测或用于层间样本预测及层间运动预测两者的图片，且运动层间参考图片集可包含仅用于层间运动预测的图片。另外，可应用排序且可将运动层间参考图片集置于在样本层间参考图片集后面的初始参考图片列表中。类似地，对于三子集状况来说，当将用于层间预测的图片置于初始参考图片列表中时，可应用以下新的层间参考图片集及排序：样本及运动层间参考图片集、仅样本层间参考图片集及仅运动层间参考图片集。类似于所述子集，在每一新的层间参考图片集中，可按层间图片的nuh_layer_id的下降次序来完成图片排序。
参考索引发信
所述技术可提供发信PU层级的参考索引及图块层级的并置参考索引的最佳化。举例来说，可调整用于参考索引发信中的参考图片的总数目(仅包含可用于帧间预测的图片)，使得于块(例如，CU、PU等)层级发信的参考索引可使用较少位。另外，可调整用以定义collocated_ref_idx范围的参考图片的总数目以仅包含可用于TMVP导出的图片，使得collocated_ref_idx的发信可使用较少位。
在一些实施例中，如下所述地导出变量NumOnlySampleRefIdxLX及NumOnlyMotionRefIdxLX(其中X等于0及1)：
1.PU参考发信
在一个实施例中，ref_idx_l0[x0][y0]指定用于当前预测单元的列表0参考图片索引。阵列索引x0、y0指定被考虑的预测块的左上亮度样本相对于图片的左上亮度样本的位置(x0,y0)。ref_idx_l1[x0][y0]具有与ref_idx_l0相同的语义，其中l0及列表0分别由l1及列表1替换。在某些实施例中，可如下所述地自SHVC的早期版本改变译码过程(改变以粗体及斜体字指示)：
如下调整ref_idx_lX[x0][y0，其中X等于0及1：
2.并置参考索引发信
在一个实施例中，collocated_ref_idx指定用于时间运动向量预测的并置图片的参考索引。
当slice_type等于P时或当slice_type等于B且collocated_from_l0等于1时，collocated_ref_idx指列表0中的图片，且collocated_ref_idx的值应在0到num_ref_idx_l0_active_minus1-NumOnlySampleRefIdxL0(包含0及num_ref_idx_l0_active_minus1-NumOnlySampleRefIdxL0)的范围中。
当slice_type等于B且collocated_from_l0等于0时，collocated_ref_idx指列表1中的图片，且collocated_ref_idx的值应在0到num_ref_idx_l1_active_minus1-NumOnlySampleRefIdxL1(包含0及num_ref_idx_l1_active_minus1-NumOnlySampleRefIdxL1)的范围中。
位流符合性的要求为：对于经译码图片的所有图块来说，由collocated_ref_idx引用的图片应相同。
如下调整collocated_ref_idx：
其中X等于collocated_from_l0。
术语
虽然以上揭示内容已描述特定实施例，但许多变化为可能的。举例来说，如上文所提及，可将以上技术应用于3D视频编码。在3D视频的一些实施例中，参考层(例如，基础层)包含足以显示视频的第一视图的视频信息且增强层包含相对于参考层的额外视频信息使得参考层与增强层一同包含足以显示视频的第二视图的视频信息。这些两个视图可用以产生立体图像。如上文所论述，根据本发明的方面，当编码或解码增强层中的视频单元时，来自参考层的运动信息可用以识别额外隐式假设。此可为3D视频位流提供更大的译码效率。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行、可添加、合并或完全省略(例如，对于实践所述技术来说并非所有所描述的动作或实践皆为必要的)。此外，在某些实例中，动作或事件可(例如)经由多线程处理、中断处理或多个处理器同时而非顺序地执行。
本文中所揭示的信息及信号可使用多种不同的技艺及技术中的任一者来表示。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示可贯穿以上描述所引用的数据、指令、命令、信息、信号、位、符号及芯片。
结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块、电路及算法步骤可被实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，上文已大体在功能性方面描述了各种说明性组件、块、模块、电路及步骤。此功能性经实施为硬件或是软件取决于特定应用及强加于整个系统的设计限制而定。所属领域技术人员可针对每一特定应用而以变化的方式实施所描述的功能性，但不应将这些实施决策解释为导致背离本发明的范畴。
可以硬件、软件、固件或其任何组合来实施本文中所描述的技术。所述技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置听筒或集成电路装置，其具有包含在无线通信装置听筒及其它装置中的应用的多种用途。描述为模块或组件的任何特征可一起实施于集成逻辑装置中或分开地实施为离散但可共同操作的逻辑装置。如果以软件实施，则所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在被执行时执行上文所述的方法中的一或多者的指令。计算机可读取数据存储媒体可形成计算机程序产品的部分，所述计算机程序产品可包含包装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可抹除可编程只读存储器(EEPROM)、FLASH存储器、磁性或光学数据存储媒体，及其类似者。另外或替代地，可至少部分地通过计算机可读通信媒体来实现所述技术，所述计算机可读通信媒体载运或传达呈指令或数据结构的形式且可由计算机存取、读取及/或执行的程序代码(例如，所传播的信号或波)。
程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、特殊应用集成电路(ASIC)、场可编程逻辑阵列(FPGA)，或其它等效的集成或离散逻辑电路。此处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器，但在替代例中，处理器可为任何习知的处理器、控制器、微控制器或状态机。处理器也可经实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此配置。因此，如本文中所使用，术语“处理器”可指上述结构中的任一者、上述结构的任一组合，或适合于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面中，本文中所描述的功能性可提供于为编码及解码而配置的专用软件模块或硬件模块内，或并入于经组合的视频编码器-解码器(CODEC)中。
本文中所论述的译码技术可为实例视频编码及解码系统中的实施例。系统包含源装置，所述源装置提供待在较迟时间由目的地装置解码的经编码视频数据。明确地说，源装置经由计算机可读媒体将视频数据提供到目的地装置。源装置及目的地装置可包括广泛范围的装置中的任一者，包含台式计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智慧”电话)、所谓的“智慧”平板、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些实例中，可装备源装置及目的地装置以用于达成无线通信。
目的地装置可经由计算机可读媒体来接收待解码的经编码视频数据。计算机可读媒体可包括能够将经编码视频数据自源装置移到目的地装置的任何类型的媒体或装置。在一个实例中，计算机可读媒体可包括用以使得源装置12能够实时直接将经编码视频数据发射至目的地装置的通信媒体。可根据通信标准(例如，无线通信协议)来调制经编码视频数据，且将经编码视频数据发射至目的地装置。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多条实体发射线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全域网络)的部分。通信媒体可包含路由器、开关、基站，或可对促进自源装置到目的地装置的通信有用的任何其它设备。
在一些实例中，可将经编码数据自输出接口输出至存储装置。类似地，可通过输入接口自存储装置存取经编码数据。存储装置可包含多种分散式或局部存取式数据存储媒体中的任一者，例如硬盘机、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在进一步的实例中，存储装置可对应于文件服务器或可存储由源装置产生的经编码视频的另一中间存储装置。目的地装置可经由流式传输或下载而自存储装置来存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将那个经编码视频数据发射至目的地装置的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘机。目的地装置可经由任何标准数据连接(包含因特网连接)来存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或两者的组合。经编码视频数据自存储装置的发射可为流式传输发射、下载发射或其组合。
本发明的技术未必限于无线应用或设定。可将所述技术应用于支持多种多媒体应用中的任一者的视频译码，所述多媒体应用例如空中电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如经由HTTP的动态自适应性流式传输(DASH))、编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统可配置成支持单向或双向视频发射以支持例如视频串流、视频播放、视频广播及/或视频电话的应用。
在一个实例中，源装置包含视频源、视频编码器及输出接口。目的地装置可包含输入接口、视频解码器及显示装置。源装置的视频编码器可经配置以应用本文中所揭示的技术。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置可自外部视频源(例如，外部摄像机)接收视频数据。同样地，目的地装置可与外部显示装置建立接口，而非包含集成式显示装置。
以上实例系统仅仅为一个实例。可通过任何数字视频编码及/或解码装置来执行用于并行处理视频数据的技术。虽然通常通过视频编码装置来执行本发明的技术，但也可通过视频编码器/解码器(通常被称为“编解码器(CODEC)”)来执行所述技术。另外，也可通过视频预处理器来执行本发明的技术。源装置及目的地装置仅仅为这些译码装置的实例，其中源装置产生供发射到目的地装置的经译码视频数据。在一些实例中，源装置及目的地装置可以实质上对称的方式操作，使得所述装置中的每一者包含视频编码及解码组件。因此，实例系统可支持视频装置之间的单向或双向视频发射(例如，用于视频串流、视频播放、视频广播或视频电话)。
视频源可包含视频俘获装置，例如视频摄像机、含有先前俘获的视频的视频存档及/或用以自视频内容提供者接收视频的视频馈送接口。作为进一步替代例，视频源可产生基于计算机图形的数据以作为源视频或直播视频、存档视频及计算机产生的视频的组合。在一些状况下，如果视频源为视频摄像机，则源装置及目的装置可形成所谓的摄像机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般可适用于视频译码，且可应用于无线及/或有线应用。在每一状况下，可通过视频编码器来编码经俘获、经预先俘获或经计算机产生的视频。经编码视频信息可接着通过输出接口而被输出至计算机可读媒体上。
如所注释，计算机可读媒体可包含：暂时性媒体，例如无线广播或有线网络发射；或存储媒体(例如，非暂时性存储媒体)，例如硬磁盘、随身盘、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置接收经编码视频数据且将经编码视频数据提供到目的地装置(例如，经由网络发射)。类似地，媒体制造设施(例如，光盘冲压设施)的计算装置可自源装置接收经编码视频数据且制造含有所述经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体可被理解为包含各种形式的一或多个计算机可读媒体。
目的地装置的输入接口自计算机可读媒体接收信息。计算机可读媒体的信息可包含由视频编码器定义的语法信息，所述语法信息也由视频解码器使用且包含描述块及其它译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置向使用者显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。已描述本发明的各种实施例。这些及其它实施例是在以下权利要求书的范畴内。
已描述本发明的各种实施例。这些及其它实施例是在以下权利要求书的范畴内。

Claims (27)

1.一种经配置以译码视频信息的设备，所述设备包括：
存储器，其经配置以存储视频信息；以及
计算硬件，其操作地耦接到所述存储器且经配置以：
识别待使用至少一类型的层间预测ILP加以预测的当前图片，所述类型的ILP包括层间运动预测ILMP或层间样本预测ILSP中的一或多者；以及
控制：(1)可被重新采样且用以使用ILMP来预测所述当前图片的图片的数目及(2)可被重新采样且用以使用ILSP来预测所述当前图片的图片的数目，其中所述计算硬件经配置以独立于可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目来控制可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目。
2.根据权利要求1所述的设备，其中可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目与可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目为相同的。
3.根据权利要求1所述的设备，其中可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目与可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目为不同的。
4.根据权利要求1所述的设备，其中所述计算硬件经进一步配置以使用至少一重新采样图片来预测所述当前图片。
5.根据权利要求4所述的设备，其中所述至少一重新采样图片用以使用ILMP来预测所述当前图片。
6.根据权利要求4所述的设备，其中所述至少一重新采样图片用以使用ILSP来预测所述当前图片。
7.根据权利要求1所述的设备，其中所述计算硬件经进一步配置以控制可被重新采样且用以使用ILP来预测所述当前图片的图片的数目，其中可被重新采样且用以使用ILP来预测所述当前图片的所述数目个图片仅包含可被重新采样且用以使用ILSP来预测所述当前图片的所述数目个图片。
8.根据权利要求1所述的设备，其中所述计算硬件经进一步配置以编码位流中的一或多个语法元素。
9.根据权利要求1所述的设备，其中所述计算硬件经进一步配置以解码位流中的一或多个语法元素。
10.根据权利要求1所述的设备，其中所述设备是选自由以下各者中的一或多者组成的群：台式计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、智能平板、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。
11.一种译码视频信息的方法，所述方法包括：
识别待使用至少一类型的层间预测ILP加以预测的当前图片，所述类型的ILP包括层间运动预测ILMP或层间样本预测ILSP中的一或多者；以及
控制：(1)可被重新采样且用以使用ILMP来预测所述当前图片的图片的数目及(2)可被重新采样且用以使用ILSP来预测所述当前图片的图片的数目，其中所述计算硬件经配置以独立于可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目来控制可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目。
12.根据权利要求11所述的方法，其中可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目与可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目为相同的。
13.根据权利要求11所述的方法，其中可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目与可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目为不同的。
14.根据权利要求11所述的方法，其进一步包括使用至少一重新采样图片来预测所述当前图片。
15.根据权利要求14所述的方法，其中所述至少一重新采样图片用以使用ILMP来预测所述当前图片。
16.根据权利要求14所述的方法，其中所述至少一重新采样图片用以使用ILSP来预测所述当前图片。
17.根据权利要求11所述的方法，其进一步包括控制可被重新采样且用以使用ILP来预测所述当前图片的图片的数目，其中可被重新采样且用以使用ILP来预测所述当前图片的所述数目个图片仅包含可被重新采样且用以使用ILSP来预测所述当前图片的所述数目个图片。
18.根据权利要求11所述的方法，其进一步包括编码位流中的一或多个语法元素。
19.根据权利要求11所述的方法，其进一步包括解码位流中的一或多个语法元素。
20.一种包括指令的非暂时性计算机可读媒体，所述指令在执行于包括计算机硬件的计算硬件上时使所述计算硬件：
识别待使用至少一类型的层间预测ILP加以预测的当前图片，所述类型的ILP包括层间运动预测ILMP或层间样本预测ILSP中的一或多者；以及
控制：(1)可被重新采样且用以使用ILMP来预测所述当前图片的图片的数目及(2)可被重新采样且用以使用ILSP来预测所述当前图片的图片的数目，其中所述计算硬件经配置以独立于可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目来控制可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目。
21.根据权利要求20所述的计算机可读媒体，其中可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目与可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目为相同的。
22.根据权利要求20所述的计算机可读媒体，其中可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目与可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目为不同的。
23.根据权利要求20所述的计算机可读媒体，其中所述计算硬件经进一步配置以控制可被重新采样且用以使用ILP来预测所述当前图片的图片的数目，其中可被重新采样且用以使用ILP来预测所述当前图片的所述数目个图片仅包含可被重新采样且用以使用ILSP来预测所述当前图片的所述数目个图片。
24.一种经配置以译码视频信息的设备，所述设备包括：
用于识别待使用至少一类型的层间预测ILP加以预测的当前图片的装置，所述类型的ILP包括层间运动预测ILMP或层间样本预测ILSP中的一或多者；以及
用于控制以下各者的装置：(1)可被重新采样且用以使用ILMP来预测所述当前图片的图片的数目及(2)可被重新采样且用以使用ILSP来预测所述当前图片的图片的数目，其中所述计算硬件经配置以独立于可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目来控制可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目。
25.根据权利要求24所述的设备，其中可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目与可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目为相同的。
26.根据权利要求24的设备，其中可被重新采样且用以使用ILMP来预测所述当前图片的图片的所述数目与可被重新采样且用以使用ILSP来预测所述当前图片的图片的所述数目为不同的。
27.根据权利要求24所述的设备，其中用于控制的所述装置经进一步配置以控制可被重新采样且用以使用ILP来预测所述当前图片的图片的数目，其中可被重新采样且用以使用ILP来预测所述当前图片的所述数目个图片仅包含可被重新采样且用以使用ILSP来预测所述当前图片的所述数目个图片。
CN201480031088.1A 2013-06-11 2014-06-09 用于不同层间预测类型的参考图片的独立重新采样及选择 Active CN105247867B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361833836P 2013-06-11 2013-06-11
US61/833,836 2013-06-11
US201361859702P 2013-07-29 2013-07-29
US61/859,702 2013-07-29
US14/298,308 US9509999B2 (en) 2013-06-11 2014-06-06 Inter-layer prediction types in multi-layer video coding
US14/298,308 2014-06-06
PCT/US2014/041497 WO2014200894A1 (en) 2013-06-11 2014-06-09 Independent resampling and selection of reference pictures for different inter-layer prediction types

Publications (2)

Publication Number Publication Date
CN105247867A true CN105247867A (zh) 2016-01-13
CN105247867B CN105247867B (zh) 2018-12-18

Family

ID=52005455

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480031088.1A Active CN105247867B (zh) 2013-06-11 2014-06-09 用于不同层间预测类型的参考图片的独立重新采样及选择
CN201480031037.9A Active CN105474647B (zh) 2013-06-11 2014-06-09 关于多层视频译码中的层间预测类型的处理位流限制

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480031037.9A Active CN105474647B (zh) 2013-06-11 2014-06-09 关于多层视频译码中的层间预测类型的处理位流限制

Country Status (9)

Country Link
US (2) US9509999B2 (zh)
EP (2) EP3008904A1 (zh)
JP (2) JP6388929B2 (zh)
KR (2) KR102323931B1 (zh)
CN (2) CN105247867B (zh)
BR (2) BR112015030986B1 (zh)
CA (2) CA2910969C (zh)
TW (2) TWI594621B (zh)
WO (2) WO2014200894A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114788264A (zh) * 2019-12-30 2022-07-22 阿里巴巴集团控股有限公司 用于发出虚拟边界和环绕运动补偿的信号的方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110035286B (zh) * 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US9509999B2 (en) 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
US9510001B2 (en) * 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
KR20150075042A (ko) * 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150110294A (ko) 2014-03-24 2015-10-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US9589543B2 (en) * 2015-03-18 2017-03-07 Intel Corporation Static frame image quality improvement for sink displays
US10834419B2 (en) * 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
JP7248013B2 (ja) * 2018-03-30 2023-03-29 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
WO2020103942A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block temporal motion vector prediction
US10778977B2 (en) * 2018-12-05 2020-09-15 Qualcomm Incorporated Triangle motion information for video coding
CN113273205A (zh) 2018-12-21 2021-08-17 北京字节跳动网络技术有限公司 使用更高比特深度精度的运动矢量推导
EP4262208A3 (en) * 2019-02-20 2024-01-17 Beijing Dajia Internet Information Technology Co., Ltd. Constrained motion vector derivation for long-term reference pictures in video coding
CN113875246A (zh) 2019-05-12 2021-12-31 北京字节跳动网络技术有限公司 用于参考图片重采样的信令
CN117714698A (zh) 2019-06-28 2024-03-15 字节跳动有限公司 屏幕内容编解码中的色度帧内模式推导
KR20220043109A (ko) 2019-08-13 2022-04-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측의 모션 정밀도
WO2021036977A1 (en) 2019-08-23 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Clipping in reference picture resampling
WO2021052491A1 (en) * 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Deriving reference sample positions in video coding
US11418813B2 (en) * 2019-09-20 2022-08-16 Tencent America LLC Signaling of inter layer prediction in video bitstream
US11310492B2 (en) * 2019-09-20 2022-04-19 Tencent America LLC Signaling of inter layer prediction in video bitstream
CN114424553A (zh) * 2019-09-22 2022-04-29 北京字节跳动网络技术有限公司 基于子块的帧间预测的缩放方法
WO2021073488A1 (en) 2019-10-13 2021-04-22 Beijing Bytedance Network Technology Co., Ltd. Interplay between reference picture resampling and video coding tools
JP7394985B2 (ja) 2019-10-23 2023-12-08 北京字節跳動網絡技術有限公司 ビデオ・データを処理する方法、装置及び記憶方法
EP4035379A4 (en) 2019-10-23 2023-03-15 Beijing Bytedance Network Technology Co., Ltd. CALCULATION FOR MULTIPLE CODING TOOLS
JP2023506220A (ja) 2019-12-12 2023-02-15 エルジー エレクトロニクス インコーポレイティド ループフィルタリングを制御するための映像コーディング装置及び方法
US20230007266A1 (en) * 2019-12-12 2023-01-05 Lg Electronics Inc. Apparatus and method for coding image on basis of signaling of information for filtering
CN115176466A (zh) 2020-02-14 2022-10-11 抖音视界有限公司 视频比特流中的子图片信息信令

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120039387A1 (en) * 2004-03-31 2012-02-16 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in multi-layer structure
EP2495976A2 (en) * 2011-03-04 2012-09-05 ViXS Systems Inc. General video decoding device for decoding multilayer video and methods for use therewith
US20120230416A1 (en) * 2007-11-28 2012-09-13 Tsai Sheng Group Llc Fast motion estimation in scalable video coding
CN102726046A (zh) * 2010-01-27 2012-10-10 杜比实验室特许公司 用于图像和视频编解码中的参考处理的方法和系统
CN103026706A (zh) * 2010-07-21 2013-04-03 杜比实验室特许公司 用于多层帧兼容视频传输的系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267291A1 (en) * 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
JP5112332B2 (ja) * 2006-01-05 2013-01-09 トムソン ライセンシング インターレイヤ動き予測方法
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
KR101352978B1 (ko) * 2006-01-16 2014-01-28 고려대학교 산학협력단 향상된 계층간 참조 영상 지정, 복호 방법 및 그 장치
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
CN102547277B (zh) * 2007-01-18 2014-12-03 弗劳恩霍夫应用研究促进协会 产生质量可缩放视频数据流的设备及其方法
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
JP6110410B2 (ja) * 2012-01-31 2017-04-05 ヴィド スケール インコーポレイテッド スケーラブルな高効率ビデオコーディング（ｈｅｖｃ）のための参照ピクチャセット（ｒｐｓ）シグナリング
US9509999B2 (en) 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120039387A1 (en) * 2004-03-31 2012-02-16 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in multi-layer structure
US20120230416A1 (en) * 2007-11-28 2012-09-13 Tsai Sheng Group Llc Fast motion estimation in scalable video coding
CN102726046A (zh) * 2010-01-27 2012-10-10 杜比实验室特许公司 用于图像和视频编解码中的参考处理的方法和系统
CN103026706A (zh) * 2010-07-21 2013-04-03 杜比实验室特许公司 用于多层帧兼容视频传输的系统及方法
EP2495976A2 (en) * 2011-03-04 2012-09-05 ViXS Systems Inc. General video decoding device for decoding multilayer video and methods for use therewith

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN JIANLE: "SHVC Working Draft 2", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 13TH MEETING:INCHEON, KR》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114788264A (zh) * 2019-12-30 2022-07-22 阿里巴巴集团控股有限公司 用于发出虚拟边界和环绕运动补偿的信号的方法
US11671613B2 (en) 2019-12-30 2023-06-06 Alibaba Group Holding Limited Methods for signaling virtual boundaries and wrap-around motion compensation

Also Published As

Publication number Publication date
BR112015031009B1 (pt) 2022-12-13
JP6224236B2 (ja) 2017-11-01
US20140362910A1 (en) 2014-12-11
US9509999B2 (en) 2016-11-29
KR20160019904A (ko) 2016-02-22
CA2910964A1 (en) 2014-12-18
BR112015030986A2 (zh) 2017-07-25
KR20160019068A (ko) 2016-02-18
TWI594621B (zh) 2017-08-01
JP6388929B2 (ja) 2018-09-12
EP3008901A1 (en) 2016-04-20
EP3008904A1 (en) 2016-04-20
US20140362902A1 (en) 2014-12-11
JP2016524877A (ja) 2016-08-18
TW201503665A (zh) 2015-01-16
CA2910964C (en) 2018-05-29
TW201511529A (zh) 2015-03-16
BR112015030986B1 (pt) 2023-04-11
US9432667B2 (en) 2016-08-30
KR102323931B1 (ko) 2021-11-08
KR102323932B1 (ko) 2021-11-08
CA2910969A1 (en) 2014-12-18
JP2016524876A (ja) 2016-08-18
CN105474647A (zh) 2016-04-06
CN105247867B (zh) 2018-12-18
TWI594622B (zh) 2017-08-01
CN105474647B (zh) 2019-02-22
BR112015031009A2 (zh) 2017-07-25
WO2014200894A1 (en) 2014-12-18
CA2910969C (en) 2017-10-17
WO2014200899A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
CN105247867A (zh) 用于不同层间预测类型的参考图片的独立重新采样及选择
CN106416259B (zh) 用于视频编码或视频解码的方法和装置
CN105191315B (zh) 一种用于对视频信息进行译码的方法和设备
CN105432085A (zh) 对多层视频译码的层间预测信令的优化
CN107660341A (zh) 切片级帧内块复制及其它视频译码改进
CN105284113A (zh) 分量间滤波
CN106464919A (zh) 视频译码中用于第0个输出层集合的简档、层次、层级
CN108353167A (zh) 译码视频数据的正负号信息
CN105379278B (zh) 用于视频信息的可缩放译码的装置和方法
CN105103560A (zh) 用于仅高级语法可缩放视频译码的层间参考图片限制
CN106664425A (zh) 视频译码中的跨分量预测
CN103563378A (zh) 存储器高效的上下文建模
CN106464917A (zh) 用信号表示用于位流分区的hrd参数
CN104429076B (zh) 用于可缩放视频译码和3d视频译码的一般化残差预测
CN105144716A (zh) 层间图片信令及相关过程
CN104471942A (zh) 重新使用参数集用于视频译码
CN105379272B (zh) 在vps中用信号通知位速率信息及图片速率信息
CN104704833A (zh) 多视图或3维视频译码中的高级视图间残差预测
CN105247868A (zh) 使用缩放因数的再取样
CN104221381A (zh) 用于视频译码的波前并行处理
CN103621082A (zh) 视频译码中的量化
CN105359532A (zh) 帧内运动补偿延伸
CN105052153B (zh) 用于视频信息的可缩放译码的装置和方法
CN104380747A (zh) 视频译码中的参数集更新
CN104396243A (zh) 用于视频压缩的自适应上取样滤波器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant