CN107787583A - 在块内复制模式中的参考图片列表构建 - Google Patents

在块内复制模式中的参考图片列表构建 Download PDF

Info

Publication number
CN107787583A
CN107787583A CN201680034225.6A CN201680034225A CN107787583A CN 107787583 A CN107787583 A CN 107787583A CN 201680034225 A CN201680034225 A CN 201680034225A CN 107787583 A CN107787583 A CN 107787583A
Authority
CN
China
Prior art keywords
reference picture
block
photo current
video
picture list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680034225.6A
Other languages
English (en)
Inventor
瓦迪姆·谢廖金
克里希纳坎斯·拉帕卡
王业奎
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107787583A publication Critical patent/CN107787583A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种经配置以构建参考图片列表的设备包含存储器及与所述存储器通信的一或多个处理器。所述存储器经配置以存储一或多个参考图片。所述一或多个处理器经配置以确定(i)表示可用于在帧间模式或块内复制模式中的至少一者中进行预测的参考图片的总数的第一数目，及(ii)表示待包含于所述参考图片列表中的参考图片的总数的第二数目；及响应于确定所述第二数目大于或等于所述第一数目，抑制用待预测的当前图片替换所述参考图片列表中的参考图片。所述一或多个处理器可基于所述参考图片列表编码或解码所述当前图片。

Description

在块内复制模式中的参考图片列表构建
技术领域
本发明涉及视频译码及压缩的领域，且特定而言，涉及屏幕内容译码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及类似者。数字视频装置实施视频压缩技术，例如，在由动画专家组2(MPEG-2)、MPEG-4、国际电报联合会电信标准化部门(ITU-T)H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、高效率视频译码(HEVC)标准及这些标准的扩展定义的标准中描述的视频压缩技术。视频装置可通过实施这类视频译码技术来更有效地传输、接收、编码、解码及/或存储数字视频信息。
随着高速因特网存取的盛行，例如远程台式共享、虚拟台式基础设施及无线显示器的新兴视频应用需要屏幕内容的高压缩效率。然而，额外帧内及帧间视频译码工具主要地经设计用于天然内容。与天然内容比较，屏幕内容具有显著不同特性(例如，锐边及较少或无噪声)，其使那些传统译码工具不够。
发明内容
在视频译码中，可将先前解码的图片用作用于译码其它图片的预测符。这些先前解码的图片可添加到参考图片列表，且使用参考索引在参考图片内参考。所述参考图片列表可用于在帧间模式中译码图片、切片或块，其中时间上相邻的图片可添加到参考图片且用作用于当前图片/切片/块的预测符。在一些情况下，所述参考图片列表也可用于在块内复制模式中译码图片/切片/块，其中图片内的先前重建的块可用以译码同一图片内的另一块。在这些情况下，当前图片可添加到参考图片列表且使用参考索引来参考。
在一些实施中，当启用块内复制模式供使用时，当前图片可始终添加到参考图片列表。举例来说，在参考图片列表构建过程的末尾，译码器(例如，编码器或解码器)可用当前图片替换参考图片列表中的参考图片中的一者，使得当前图片可用于在帧间模式中或在块内复制模式中译码块。然而，在一些情况下，将当前图片自动添加到参考图片列表可导致某些劣势，甚至当启用块内复制模式供使用时也是如此。
因此，需要用于帧间模式及块内复制模式的改进的参考图片列表构建方法。
本发明的系统、方法及装置各具有若干创新方面，其中无单一者单独负责本文中所公开的合乎需要属性。
在一个方面中，一种构建参考图片列表的方法包括：确定(i)表示可用于在帧间模式或块内复制模式中的至少一者中进行预测的参考图片的总数的第一数目，及(ii)表示待包含于所述参考图片列表中的参考图片的总数的第二数目；及响应于确定所述第二数目大于或等于所述第一数目，抑制用待预测的当前图片替换所述参考图片列表中的参考图片。
在另一方面中，一种用于构建参考图片列表的设备包含存储器及与所述存储器通信的一或多个处理器。所述存储器经配置以存储一或多个参考图片。所述一或多个处理器经配置以确定(i)表示可用于在帧间模式或块内复制模式中的至少一者中进行预测的参考图片的总数的第一数目，及(ii)表示待包含于所述参考图片列表中的参考图片的总数的第二数目；及响应于确定所述第二数目大于或等于所述第一数目，抑制用待预测的当前图片替换所述参考图片列表中的参考图片。
在另一方面中，非暂时性物理计算机存储器包括在执行时使设备进行以下操作的代码：确定(i)表示可用于在帧间模式或块内复制模式中的至少一者中进行预测的参考图片的总数的第一数目，及(ii)表示待包含于所述参考图片列表中的参考图片的总数的第二数目；及响应于确定所述第二数目大于或等于所述第一数目，抑制用待预测的当前图片替换所述参考图片列表中的参考图片。
在另一方面中，一种经配置以构建参考图片列表的视频译码装置包括：用于存储一或多个参考图片的装置；用于确定以下的装置：(i)表示可用于在帧间模式或块内复制模式中的至少一者中进行预测的参考图片的总数的第一数目，及(ii)表示待包含于所述参考图片列表中的参考图片的总数的第二数目；以及用于响应于确定所述第二数目大于或等于所述第一数目抑制用待预测的当前图片替换所述参考图片列表中的参考图片的装置。
附图说明
图1A为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。
图1B为说明可执行根据本发明中描述的方面的技术的另一实例视频编码及解码系统的框图。
图2为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图3为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
图4为根据本发明中描述的方面的实例参考图片列表构建过程。
图5为说明根据本发明的方面的用于构建参考图片列表的方法的流程图。
具体实施方式
在以下描述中，描述与某些实施例有关的H.264/高级视频译码(AVC)技术，且还讨论HEVC标准及有关技术。虽然本文中在HEVC和/或H.264标准的情况下描述某些实施例，但所属领域的一般技术人员将了解，本文中公开的系统及方法可适用于任一合适的视频译码标准。举例来说，本文中公开的实施例可适用于以下标准中的一或多者：国际电信联合会(ITU)电信标准化部门(ITU-T)H.261、国际标准化组织/国际电工委员会(ISO/IEC)MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称为ISO/IEC MPEG-4AVC)，包含范围扩展。
在许多方面，HEVC通常遵循先前视频译码标准的构架。HEVC中的预测的单元不同于在某些先前视频译码标准中的预测的单元(例如，宏块)。事实上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四分树方案的阶层式结构替换，阶层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块——译码单元(CU)、预测单元(PU)及变换单元(TU)。CU可指区域分裂的基本单元。可考虑CU类似于宏块的概念，但HEVC不限制CU的最大大小，且可允许递归分裂成四个相等大小CU以改进内容适应性。可将PU考虑为帧间/帧内预测的基本单元，且单一PU可含有多个任意形状分割区以有效地译码不规则图像图案。可将TU考虑为变换的基本单元。可独立于PU定义TU；然而，TU的大小可限于TU属于的CU的大小。块结构到三个不同概念的这种分离可允许将每一单元根据所述单元的相应角色而优化，其可产生改进的译码效率。
视频译码标准
例如视频图像、TV图像、静态图像或由视频记录器或计算机产生的图像的数字图像可包含按水平线及垂直线排列的像素或样本。单一图像中的像素的数目通常有数万个。每一像素通常含有亮度及色度信息。在不压缩的情况下，将从图像编码器传送到图像解码器的信息的绝对数量将致使实时图像传输不切实际。为了减少待传输的信息的量，已开发许多不同压缩方法，例如，JPEG、MPEG及H.263标准。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称为ISO/IECMPEG-4AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。
此外，视频译码标准(即，HEVC)已由ITU-T视频译码专家组(VCEG)及ISO/IEC MPEG的关于视频译码的联合合作小组(JCT-VC)开发。HEVC规范可在ITU网站上的标题“推荐ITU-T H.265”下获得。HEVC屏幕内容译码的草案可在JCT-VC文件管理系统上的文件编号JCTVC-W0105-v3处获得。
初始考虑
下文参看附图更充分地描述新颖系统、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何具体结构或功能。相反地，提供这些方面，使得本发明将为透彻且完整的，且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解本发明的范围打算涵盖本文中公开的新颖系统、设备及方法的任何方面，不管是独立于本发明的任何其它方面或与本发明的任何其它方面组合地实施。举例来说，可使用本文中所阐述的任何数目的方面来实施设备或可使用本文中所阐述的任何数目个方面来实践方法。另外，本发明的范围打算涵盖使用除本文中所阐明的本发明的各种方面之外的或不同于本文中所阐明的本发明的各种方面的其它结构、功能性或结构与功能性来实践的所述设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所公开的任何方面。
尽管本文中描述特定方面，但这些方面的许多变化及排列属于本发明的范围内。尽管提及优选方面的一些益处及优点，但本发明的范围不打算限于特定益处、用途或目标。相反地，本发明的方面打算可广泛适用于不同无线技术、系统配置、网络及传输协议，其中一些通过实例在诸图中且在优选方面的以下描述中加以说明。实施方式及图式仅对本发明进行说明而非限制，本发明的范围由所附权利要求书及其等效内容定义。
附图说明实例。由附图中的参考数字指示的元件对应于在以下描述中由相同参考数字指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”等等)开始的元件未必暗示所述元件具有特定次序。相反地，这些序数词仅用以指相同或类似类型的不同元件。
视频译码系统
图1A为说明可利用根据本发明中描述的方面的技术的实例视频译码系统10的框图。如本文描述所使用，术语“视频译码器”或“译码器”一般指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般指视频编码及视频解码。除了视频编码器及视频解码器外，本申请案中描述的方面可扩展到其它相关装置，例如，转码器(例如，可解码位流且重新编码另一位流的装置)及中间体(例如，可修改、变换及/或另外操纵位流的装置)。
如图1A中所展示，视频译码系统10包含源装置12，其产生稍后由目的地装置14解码的经编码视频数据。在图1A的实例中，源装置12及目的地装置14构成单独的装置。然而，应注意，源装置12与目的地装置14可在同一装置上或为同一装置的部分，如在图1B的实例中所展示。
再次参看图1A，源装置12及目的地装置14可分别包括广泛范围的装置中的任一者，包含台式计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能型”电话的电话手机、所谓的“智能型”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在各种实施例中，源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可通过链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在图1A的实例中，链路16可包括通信媒体以使源装置12能够实时地将经编码视频数据传输到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将其传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全球网络)的一部分。通信媒体可包含路由器、交换器、基站或任何其它可适用于有助于从源装置12到目的地装置14的通信的设备。
替代地，可将经编码数据从输出接口22输出到存储装置31(任选地存在)。类似地，经编码数据可由(例如)目的地装置14的输入接口28从存储装置31存取。存储装置31可包含多种分散式或本机存取的数据存储媒体中的任一者，例如，硬盘驱动器、闪存存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适数字存储媒体。在再一实例中，存储装置31可对应于可保持由源装置12所产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可通过流式传输或下载从存储装置31存取存储的视频数据。文件服务器可为能够存储经编码视频数据并将所述经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)存取经编码视频数据。这可包含无线信道(例如，无线局域网(WLAN)连接)、有线连接(例如，数字用户线(DSL)、电缆调制解调器等)或适合于存取存储于文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置31的传输可为流式传输、下载传输或两者的组合。
本发明的技术并不限于无线应用或环境。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如，空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，通过因特网(例如，通过超文本传送协议[HTTP]的动态自适应流式传输等))、数字视频的编码以供存储在数据存储媒体上、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
在图1A的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或传输器。在源装置12中，视频源18可包含例如视频捕捉装置(例如，摄像机)、含有先前所捕捉视频的视频存档、从视频内容提供者接收视频的视频馈入接口及/或用于将计算机图形数据产生为源视频的计算机图形系统的源，或这些源的组合。作为一个实例，如果视频源18为摄像机，那么源装置12及目的地装置14可形成所谓的“相机电话”或“视频电话”，如在图1B的实例中所说明。然而，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。
经捕捉、预先捕捉或计算机产生的视频可由视频编码器20编码。可通过源装置12的输出接口22将经编码视频数据传输到目的地装置14。经编码视频数据也可(或替代地)存储到存储装置31上供稍后由目的地装置14或其它装置存取，用于解码及/或播放。图1A及1B中说明的视频编码器20可包括图2中说明的视频编码器20或本文所描述的任何其它视频编码器。
在图1A的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28可通过链路16及/或从存储装置31接收经编码视频数据。通过链路16传递或在存储装置31上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素，用于由例如视频解码器30的视频解码器在解码视频数据过程中使用。这些语法元素可与在通信媒体上传输、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。图1A及1B中说明的视频解码器30可包括图3中说明的视频解码器30或本文所描述的任何其它视频解码器。
显示装置32可与目的地装置14集成或在目的地装置14的外部。在一些实例中，目的地装置14可包含集成式显示装置且也经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在有关方面中，图1B展示实例视频译码系统10′，其中源装置12及目的地装置14在装置11上或为装置11的部分。装置11可为电话手机，例如，“智能型”电话或类似者。装置11可包含与源装置12及目的地装置14操作性通信的一控制器/处理器装置13(任选地存在)。图1B的视频译码系统10′及其组件另外类似于图1A的视频译码系统10及其组件。
视频编码器20及视频解码器30可根据例如HEVC的视频压缩标准操作，且可遵守HEVC测试模型(HM)。替代地，视频编码器20及视频解码器30可根据其它专有或行业标准(例如，ITU-T H.264标准，替代地被称作MPEG-4第10部分AVC)或这些标准的扩展来操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-TH.263。
虽未在图1A及1B的实例中展示，但视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件，以处置在共同数据流或分开的数据流中的音频及视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX单元可遵守ITU H.223多路复用器协议或其它协议(例如，用户数据报协议(UDP))。
视频编码器20及视频解码器30各自可实施为多种合适编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器的部分。
视频译码过程
如以上简要地提到，视频编码器20编码视频数据。视频数据可包括一或多个图片。图片中的每一者为形成视频的部分的静态图像。在一些情况下，图片可被称作视频“帧”。当视频编码器20编码视频数据时，视频编码器20可产生位流。位流可包含形成视频数据的经译码表示的一连串位。位流可包含经译码图片及相关联的数据。经译码图片为图片的经译码表示。
为了产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对图片执行编码操作时，视频编码器20可产生一系列经译码图片及相关联的数据。相关联的数据可包含视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、自适应参数集(APS)及其它语法结构。SPS可含有适用于零或多个图片序列的参数。PPS可含有适用于零或多个图片的参数。APS可含有适用于零或多个图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。
为了产生经译码图片，视频编码器20可将图片分割成相等大小的视频块。视频块可为样本的二维阵列。视频块中的每一者与树型块相关联。在一些情况下，树型块可被称作最大译码单元(LCU)。HEVC的树型块可广泛地类似于例如H.264/AVC的先前标准的宏块。然而，树型块未必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四分树分割来将树型块的视频块分割成与CU相关联的视频块(因此名为“树型块”)。
在一些实例中，视频编码器20可将一图片分割成多个切片。切片中的每一者可包含整数数目个CU。在一些情况下，切片包括整数数目个树型块。在其它情况下，切片的边界可在树型块内。
作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称作“经译码切片”。
为了产生经译码切片，视频编码器20可对切片中的每一树型块执行编码操作。当视频编码器20对树型块执行编码操作时，视频编码器20可产生经译码树型块。经译码树型块可包括表示树型块的经编码型式的数据。
当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树型块执行编码操作(例如，编码)。举例来说，视频编码器20可按如下次序来编码切片的树型块：跨切片中的树型块的最顶行从左到右进行，接着跨树型块的下一较低行从左到右进行，以此类推，直到视频编码器20已编码切片中的树型块中的每一者。
作为根据光栅扫描次序编码树型块的结果，可已编码在给定树型块的上方及左边的树型块，但尚未编码在给定树型块的下方及右边的树型块。因此，当编码给定树型块时，视频编码器20可能能够存取通过编码在给定树型块的上方及左边的树型块而产生的信息。然而，当编码给定树型块时，视频编码器20可能不能够存取通过编码在给定树型块的下方及右边的树型块而产生的信息。
为了产生经译码树型块，视频编码器20可对树型块的视频块递归地执行四分树分割以将视频块划分成逐渐更小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树型块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。经分割的CU可为视频块经分割成与其它CU相关联的视频块的CU。未分割的CU可为视频块未被分割成与其它CU相关联的视频块的CU。
位流中的一或多个语法元素可指示视频编码器20可分割树型块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8个像素直到具有最大64×64个像素或更大的树型块的视频块的大小(即，树型块的大小)。
视频编码器20可根据z扫描次序对树型块的每一CU执行编码操作(例如，编码)。换句话说，视频编码器20可将左上CU、右上CU、左下CU及接着右下CU按所述次序编码。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序编码与经分割的CU的视频块的子块相关联的CU。换句话说，视频编码器20可将与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU及接着将与右下子块相关联的CU按所述次序编码。
作为根据z扫描次序编码树型块的CU的结果，可已编码在给定CU的上方、上方且在左边、上方且在右边、左边以及下方且在左边的CU。尚未编码在给定CU的下方且在右边的CU。因此，当编码给定CU时，视频编码器20可能能够存取通过编码邻接给定CU的一些CU而产生的信息。然而，当编码给定CU时，视频编码器20可能不能够存取通过编码邻接给定CU的其它CU而产生的信息。
当视频编码器20编码未分割的CU时，视频编码器20可产生用于CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生用于CU的每一PU的经预测视频块。PU的经预测视频块可为样本的块。视频编码器20可使用帧内预测或帧间预测产生PU的经预测视频块。
当视频编码器20使用帧内预测产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本产生PU的经预测视频块。如果视频编码器20使用帧内预测产生CU的PU的经预测视频块，那么CU为经帧内预测的CU。当视频编码器20使用帧间预测产生PU的经预测视频块时，视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本产生PU的经预测视频块。如果视频编码器20使用帧间预测产生CU的PU的经预测视频块，那么CU为经帧间预测的CU。
此外，当视频编码器20使用帧间预测产生PU的经预测视频块时，视频编码器20可产生用于PU的运动信息。用于PU的运动信息可指示PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为不同于与PU相关联的图片的图片。在一些情况下，PU的参考块也可被称作PU的“参考样本”。视频编码器20可基于PU的参考块产生PU的经预测视频块。
在视频编码器20产生用于CU的一或多个PU的经预测视频块后，视频编码器20可基于用于CU的PU的经预测视频块产生CU的残余数据。CU的残余数据可指示用于CU的PU的经预测视频块中的样本与CU的原始视频块之间的差异。
此外，作为对未分割的CU执行编码操作的部分，视频编码器20可对CU的残余数据执行递归四分树分割以将CU的残余数据分割成与CU的变换单元(TU)相关联的一或多个残余数据块(例如，残余视频块)。CU的每一TU可与不同残余视频块相关联。
视频编码器20可将一或多个变换应用到与TU相关联的残余视频块以产生与TU相关联的变换系数块(例如，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。
在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化过程。量化大体上指变换系数经量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将n位变换系数舍入到m位变换系数，其中n大于m。
视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何量化与CU相关联的变换系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。
在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化的变换系数块中的变换系数的语法元素集合。视频编码器20可将例如上下文自适应性二进制算术译码(CABAC)运算的熵编码操作应用于这些语法元素中的一些。也可使用例如上下文自适应性可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码的其它熵译码技术。
由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。NAL单元中的每一者可为含有NAL单元中的数据的类型的指示及含有数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、SEI、存取单元分隔符号、填料数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。
视频解码器30可接收由视频编码器20产生的位流。所述位流可包括由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对所述位流执行剖析运算。当视频解码器30执行剖析运算时，视频解码器30可从位流提取语法元素。视频解码器30可基于从位流提取的语法元素，重建视频数据的图片。基于语法元素重建视频数据的过程可与由视频编码器20执行以产生语法元素的过程大体互逆。
在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生用于CU的PU的经预测视频块。此外，视频解码器30可反量化与CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行反变换以重建与CU的TU相关联的残余视频块。在产生经预测视频块且重建残余视频块后，视频解码器30可基于经预测视频块及残余视频块重建CU的视频块。以这种方式，视频解码器30可基于位流中的语法元素，重建CU的视频块。
视频编码器
图2为说明可实施根据本发明中描述的方面的技术的视频编码器20的实例的框图。视频编码器20可经配置以处理视频帧的单一层，例如，针对HEVC。另外，视频编码器20可经配置以执行本发明的技术中的任一者或全部。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件间共享。在一些实例中，另外或替代地，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。
出于解释的目的，本发明描述在HEVC译码的情况下的视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。图2中描绘的实例针对单层编码解码器。然而，在某些实施例中，可复制视频编码器20中的一些或全部以用于多层编码解码器的处理。
视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一者。
在图2的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换单元110、重建单元112、滤波器单元113、经解码图片缓冲器114及熵编码单元116。预测处理单元100包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126及层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释的目的而在图2的实例中分开来表示。
视频编码器20可接收视频数据。视频编码器20可从各种源接收视频数据。举例来说，视频编码器20可从视频源18(例如，图1A或1B中所展示)或另一来源接收视频数据。视频数据可表示一系列图片。为了编码视频数据，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的部分，视频编码器20可对切片中的树型块执行编码操作。
作为对树型块执行编码操作的部分，预测处理单元100可对树型块的视频块执行四分树分割以将所述视频块划分成逐渐更小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测处理单元100可将树型块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。
与CU相关联的视频块的大小范围可从8×8个样本直到具有最大64×64个样本或更大的树型块的大小。在本发明中，“N×N”与“N乘N”可互换地使用以指视频块就垂直维度及水平维度而言的样本尺寸，例如，16×16样本或16乘16样本。一般来说，16×16视频块在垂直方向上具有十六个样本(y＝16)且在水平方向上具有十六个样本(x＝16)。同样地，N×N块通常在垂直方向上具有N个样本且在水平方向上具有N个样本，其中N表示非负整数值。
此外，作为对树型块执行编码操作的部分，预测处理单元100可产生用于所述树型块的阶层式四分树数据结构。举例来说，树型块可对应于四分树数据结构的根节点。如果预测处理单元100将树型块的视频块分割成四个子块，那么所述根节点在所述四分树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测处理单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中的每一者对应于与子子块中的一者相关联的CU。
四分树数据结构的每一节点可含有用于对应的树型块或CU的语法数据(例如，语法元素)。举例来说，四分树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。用于CU的语法元素可经递归地定义，且可取决于CU的视频块是否分裂成子块。视频块未分割的CU可对应于四分树数据结构中的叶节点。经译码树型块可包含基于用于对应的树型块的四分树数据结构的数据。
视频编码器20可对树型块中的每一未分割的CU执行编码操作。当视频编码器20对未分割的CU执行编码操作时，视频编码器20产生表示未分割的CU的经编码表示的数据。
作为对CU执行编码操作的部分，预测处理单元100可在所述CU的一或多个PU间分割CU的视频块。视频编码器20及视频解码器30可支持各种PU大小。假定特定CU的大小为2N×2N，那么视频编码器20及视频解码器30可支持2N×2N或N×N的PU大小，及在2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N或类似大小的对称PU大小中的帧间预测。视频编码器20及视频解码器30也可支持针对2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。在一些实例中，预测处理单元100可执行几何分割以沿并不按直角与CU的视频块的侧会合的边界来在CU的PU间分割CU的视频块。
帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生用于PU的运动信息。运动补偿单元124可基于运动信息及不同于与CU相关联的图片的图片(例如，参考图片)的经解码样本产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可被称作经帧间预测视频块。
切片可为I切片、P切片或B切片。运动估计单元122及运动补偿单元124可取决于PU处于I切片、P切片或是B切片中而对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么运动估计单元122及运动补偿单元124不对PU执行帧间预测。
如果PU在P切片中，那么含有所述PU的图片与被称作“列表0”的参考图片的列表相关联。列表0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如，样本的块。运动估计单元122可使用多种度量来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。举例来说，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。
在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有参考块的参考图片的参考索引及指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以变化的精确度产生运动向量。举例来说，运动估计单元122可以四分之一样本精确度、八分之一样本精确度或其它分数样本精确度产生运动向量。在分数样本精确度的情况下，参考块值可从参考图片中的整数位置样本值内插。运动估计单元122可将参考索引及运动向量输出为PU的运动信息。运动补偿单元124可基于由PU的运动信息识别的参考块产生PU的经预测视频块。
如果PU在B切片中，那么含有PU的图片可与被称作“列表0”及“列表1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。
此外，如果PU在B切片中，那么运动估计单元122可针对PU执行单向预测或双向预测。当运动估计单元122针对PU执行单向预测时，运动估计单元122可搜索列表0或列表1的参考图片以找出用于PU的参考块。运动估计单元122可接着产生指示列表0或列表1中含有参考块的参考图片的参考索引及指示PU与参考块之间的空间位移的运动向量。运动估计单元122可输出参考索引、预测方向指示符及运动向量，作为用于PU的运动信息。预测方向指示符可指示参考索引指示列表0或是列表1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块产生PU的经预测视频块。
当运动估计单元122针对PU执行双向预测时，运动估计单元122可在列表0中搜索参考图片以找出用于PU的参考块，且也可在列表1中搜索参考图片以找出用于PU的另一参考块。运动估计单元122可接着产生指示列表0或列表1中含有参考块的参考图片的参考索引及指示参考块与PU之间的空间位移的运动向量。运动估计单元122可将PU的参考索引及运动向量作为PU的运动信息输出。运动补偿单元124可基于由PU的运动信息指示的参考块产生PU的经预测视频块。
在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。相反地，运动估计单元122可参照另一PU的运动信息来传信PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息充分类似于相邻PU的运动信息。在这个实例中，运动估计单元122可在与PU相关联的语法结构中指示对视频解码器30指示PU具有与相邻PU相同的运动信息的值。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU及运动向量差(MVD)。运动向量差指示PU的运动向量与指示的相邻PU的运动向量之间的差。视频解码器30可使用指示的相邻PU的运动向量及运动向量差来确定PU的运动向量。通过在传信第二PU的运动信息时参照第一PU的运动信息，视频编码器20可能能够使用较少位信号传信第二PU的运动信息。
作为对CU执行编码操作的部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块及各种语法元素。帧内预测单元126可对I切片中、P切片及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式来产生用于PU的预测数据的多个集合。当帧内预测单元126使用帧内预测模式产生用于PU的一组预测数据时，帧内预测单元126可在与帧内预测模式相关联的方向及/或梯度上将样本跨PU的视频块从相邻PU的视频块扩展。对于PU、CU及树型块，假定从左到右、从上而下的编码次序，那么相邻PU可在PU上方、右上方、左上方或左边。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如，33个方向帧内预测模式。
预测处理单元100可从由运动补偿单元124针对PU产生的预测数据或由帧内预测单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测处理单元100基于预测数据的集合的速率/失真度量而选择用于PU的预测数据。
如果预测处理单元100选择由帧内预测单元126产生的预测数据，那么预测处理单元100可传信用以产生用于PU的预测数据的帧内预测模式，例如，选定帧内预测模式。预测处理单元100可以各种方式传信选定帧内预测模式。举例来说，选定帧内预测模式与相邻PU的帧内预测模式相同可为可能的。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测处理单元100可产生指示选定帧内预测模式与相邻PU的帧内预测模式相同的语法元素。
如上文所讨论，视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用在SHVC中可用的一或多个不同层(例如，基础层或参考层)预测当前块(例如，EL中的当前块)。所述预测可被称作层间预测。层间预测单元128利用预测方法减少层间冗余，借此改进译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的同置型块的重建预测增强层中的当前块。层间运动预测使用基础层的运动信息预测增强层中的运动。层间残余预测使用基础层的残余预测增强层的残余。
在预测处理单元100选择用于CU的PU的预测数据后，残余产生单元102可通过从CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说，残余数据可包含对应于CU的PU的经预测视频块中的样本的亮度分量与CU的原始视频块中的样本的亮度分量之间的差的残余视频块。此外，CU的残余数据可包含对应于CU的PU的经预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。
预测处理单元100可执行四分树分割以将CU的残余视频块分割成子块。每一未划分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小及位置可或可不基于与CU的PU相关联的视频块的大小及位置。被称为“残余四分树”(RQT)的四分树结构可包含与残余视频块中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用到与TU相关联的残余视频块针对CU中的每一TU产生一或多个变换系数块。变换系数块中的每一者可为变换系数的2D矩阵。变换处理单元104可将各种变换应用到与TU相关联的残余视频块。举例来说，变换处理单元104可将离散余弦变换(DCT)、方向变换或概念上类似的变换应用到与TU相关联的残余视频块。
在变换处理单元104产生与TU相关联的变换系数块后，量化单元106可量化变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而量化与CU的TU相关联的变换系数块。
视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可对与CU相关联的树型块执行速率-失真分析。在速率-失真分析中，视频编码器20可通过对树型块多次执行编码操作而产生树型块的多个经译码表示。当视频编码器20产生树型块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率及失真度量的树型块的经译码表示中的CU相关联时，视频编码器20可传信所述给定QP值与CU相关联。
反量化单元108及反变换单元110可分别将反量化及反变换应用于变换系数块，以从变换系数块重建残余视频块。重建单元112可将经重建的残余视频块添加到来自由预测处理单元100产生的一或多个经预测视频块的对应的样本以产生与TU相关联的经重建的视频块。通过以这种方式重建用于CU的每一TU的视频块，视频编码器20可重建CU的视频块。
在重建单元112重建CU的视频块后，滤波器单元113可执行解块操作以减少与CU相关联的视频块中的块伪影。在执行了所述一或多个解块操作后，滤波器单元113可将CU的经重建的视频块存储在经解码图片缓冲器114中。运动估计单元122及运动补偿单元124可使用含有经重建的视频块的参考图片对随后图片的PU执行帧间预测。此外，帧内预测单元126可使用经解码图片缓冲器114中的经重建的视频块来对与CU处于相同图片中的其它PU执行帧内预测。
熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块，且可从预测处理单元100接收语法元素。当熵编码单元116接收到数据时，熵编码单元116可执行一或多个熵编码操作以产生经熵编码的数据。举例来说，视频编码器20可对数据执行CAVLC操作、CABAC操作、变量到变量(V2V)长度译码操作、基于语法的上下文适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作或另一类型的熵编码操作。熵编码单元116可输出包含经熵编码数据的位流。
作为对数据执行熵编码操作的部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示特定二进制具有特定值的概率的估计。在CABAC的情况下，术语“二进制”用以指语法元素的二进制化的型式的位。
视频解码器
图3为说明可实施根据本发明中描述的方面的技术的视频解码器30的实例的框图。视频解码器30可经配置以处理视频帧的单一层，例如，针对HEVC。另外，视频解码器30可经配置以执行本发明的技术中的任一者或全部。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。
出于解释的目的，本发明描述在HEVC译码的情况下的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。图3中描绘的实例针对单层编码解码器。然而，在某些实施中，可复制视频解码器30中的一些或全部以用于多层编码解码器的处理。
在图3的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测处理单元152、反量化单元154、反变换单元156、重建单元158、滤波器单元159及经解码图片缓冲器160。预测处理单元152包含运动补偿单元162、帧内预测单元164及层间预测单元166。在一些实例中，视频解码器30可执行大体与关于图2的视频编码器20描述的编码遍次互逆的解码遍次。在其它实例中，视频解码器30可包含更多、更少或不同功能的组件。
视频解码器30可接收包括经编码视频数据的位流。位流可包含多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。作为对位流执行剖析操作的结果，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的部分，熵解码单元150可熵解码位流中的经熵编码语法元素。预测处理单元152、反量化单元154、反变换单元156、重建单元158及滤波器单元159可执行重建操作，重建操作基于从位流提取的语法元素产生经解码视频数据。
如上文所讨论，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操作的部分，熵解码单元150可执行剖析操作，所述剖析操作提取且熵解码来自序列参数集NAL单元的序列参数集、来自图片参数集NAL单元的图片参数集、来自SEI NAL单元的SEI数据等等。
此外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的部分，熵解码单元150可执行剖析操作，所述剖析操作提取且熵解码来自经译码切片NAL单元的经译码切片。经译码片段中的每一者可包括片段标头及片段数据。切片标头可含有涉及切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。
作为从经译码切片NAL单元提取切片数据的部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。
在熵解码单元150对未分割的CU执行剖析操作后，视频解码器30可对未分割的CU执行重建操作。为了对未分割CU执行重建操作，视频解码器30可对CU的每一TU执行重建操作。通过针对CU的每一TU执行重建操作，视频解码器30可重建与CU相关联的残余视频块。
作为对TU执行重建操作的部分，反量化单元154可反量化(例如，解量化)与TU相关联的变换系数块。反量化单元154可以类似于针对HEVC提议或由H.264解码标准定义的反量化过程的方式来反量化变换系数块。反量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定反量化单元154应用的反量化的程度。
在反量化单元154反量化变换系数块后，反变换单元156可产生用于与变换系数块相关联的TU的残余视频块。反变换单元156可将反变换应用到变换系数块以便产生用于TU的残余视频块。举例来说，反变换单元156可将反DCT、反整数变换、反Karhunen-Loeve变换(KLT)、反旋转变换、反方向变换或另一反变换应用于变换系数块。在一些实例中，反变换单元156可基于来自视频编码器20的传信而确定应用于变换系数块的反变换。在这些实例中，反变换单元156可基于在四分树的根节点处的传信的变换确定用于与变换系数块相关联的树型块的反变换。在其它实例中，反变换单元156可从一或多个译码特性(例如，块大小、译码模式或类似者)推断反变换。在一些实例中，反变换单元156可应用级联的反变换。
在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而改进PU的经预测视频块。用于将用于以子样本精确度进行运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生经预测视频块。
如果PU是使用帧内预测编码，那么帧内预测单元164可执行帧内预测以产生用于PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧内预测模式。位流可包含帧内预测单元164可用以确定PU的帧内预测模式的语法元素。
在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，当前PU的帧内预测模式与相邻PU的帧内预测模式相同可为可能的。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在这个实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可接着使用帧内预测模式来基于空间相邻PU的视频块产生用于PU的预测数据(例如，经预测样本)。
如上文所讨论，视频解码器30也可包含层间预测单元166。层间预测单元166经配置以使用在SHVC中可用的一或多个不同层(例如，基础层或参考层)预测当前块(例如，增强层中的当前块)。所述预测可被称作层间预测。层间预测单元166利用预测方法减少层间冗余，借此改进译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的同置型块的重建预测增强层中的当前块。层间运动预测使用基础层的运动信息预测增强层中的运动。层间残余预测使用基础层的残余预测增强层的残余。以下更详细地讨论层间预测方案中的每一者。
重建单元158可使用与CU的TU相关联的残余视频块及CU的PU的经预测视频块(例如，适用的帧内预测数据或帧间预测数据)来重建CU的视频块。因此，视频解码器30可基于位流中的语法元素而产生经预测视频块及残余视频块，且可基于经预测视频块及残余视频块而产生视频块。
在重建单元158重建CU的视频块后，滤波器单元159可执行解块操作以减少与CU相关联的块伪影。在滤波器单元159执行解块操作以减少与CU相关联的块伪影后，视频解码器30可将CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供用于随后运动补偿、帧内预测及在显示装置(例如，图1A或1B的显示装置32)上呈现的参考图片。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测操作。
块内复制(IBC)模式
块内复制(IBC)模式为允许基于包含当前块的相同图片内的类似重建的块预测当前块(例如，译码单元、预测单元等)的译码模式。指向当前图片内的预测符块的位置的块向量可在关于在IBC模式中译码的当前块的位流中传信。
IBC模式及帧间模式的统一
在一些实施中，将IBC模式与帧间模式(例如，允许基于在不同于包含当前块的当前图片的图片中的类似重建的块预测当前块的译码模式)统一。由于IBC模式及帧间模式两者涉及识别预测符块的位置的向量，因此可使用包含当前图片的参考图片列表实施IBC模式。举例来说，通过将当前图片添加到与给定切片相关联的参考图片列表，使用同一参考图片列表，可通过参照在所述参考图片列表中的当前图片在IBC模式中译码给定切片中的一个块，且可通过参照在所述参考图片列表中的时间图片在帧间模式中译码给定切片中的另一块。
IBC模式中的参考图片标记
在IBC模式的一些实施中，在解码当前切片前，将当前图片标记为长期参考图片。接着，在当前图片的解码完成之后，将当前图片标记为短期参考图片。
IBC模式与帧间模式之间的差异
与IBC模式相关联的传信及译码方法(包含合并模式传信、高级运动向量预测(AMVP)传信、AMVP导出及运动向量差(MVD)译码)可与关联于帧间模式的方法相同。在一些实施例中，与在帧间模式中不同，用于IBC模式的运动向量可能需要为整数运动向量。在一些实施例中，可能需要用于仅亮度分量而非色度分量的运动向量为整数运动向量。替代地，可能需要用于仅色度分量而非亮度分量的运动向量为整数运动向量。
在一些情况下，可通过检查对应的参考图片将在IBC模式中译码的块与常规经帧间译码块区分开来。如果块仅将当前图片用作参考图片，那么在IBC模式中译码所述块。如果所述块将不同于包含所述块的当前图片的任一图片用作参考图片，那么在帧间模式中译码所述块。
是否允许IBC模式的传信
在一些实施例中，指示是否允许将IBC模式用于译码块的旗标可在位流中(例如，在VPS、SPS、PPS、切片标头等中)传信。所述旗标可指示是否可将包含待译码(例如，编码或解码)的块的当前图片用作参考图片来译码块(或自身译码)。替代地或另外，所述旗标可指示是否可将当前图片添加到当前图片的参考图片列表。举例来说，可将所述旗标叫作“curr_pic_as_ref_enabled_flag”或“curr_pic_ref_enable_flag”。
参考图片列表构建
表1到3说明用于构建包含待译码的当前块的当前切片的参考图片列表的实例过程。举例来说，变量NumPicTotalCurr可指示可供用作用于当前图片的预测的参考的图片的总数。在一些实施例中，变量NumPicTotalCurr指示可供用作用于当前图片的预测的参考的唯一图片的总数。变量NumPicTotalCurr可如下导出：
表1.NumPicTotalCurr的导出
可设定变量NumRpsCurrTempList0等于Max(num_ref_idx_l0_active_minus1+1,NumPicTotalCurr)，其中num_ref_idx_l0_active_minus1+1表示在切片中指定的参考图片的数目(例如，由切片中的块参考的参考图片的数目)。可在给定切片的切片片段标头中传信num_ref_idx_l0_active_minus1。在一些实施例中，num_ref_idx_l0_active_minus1+1小于NumPicTotalCurr。替代地，num_ref_idx_l0_active_minus1+1可大于NumPicTotalCurr。变量NumRpsCurrTempList0可指示待用于产生用于切片的参考图片列表(例如，RefPicList0)的临时参考图片列表(例如，RefPicListTemp0)的大小。临时列表RefPicListTemp0可如下构建：
表2.RefPicListTemp0的构建
基于以上构建的临时列表RefPicListTemp0，与切片相关联的参考图片列表RefPicList0可如下构建：
表3.RefPicList0的构建
旗标ref_pic_list_modification_flag_l0可指示参考图片列表(例如，列表0)经明确的指定(例如，由在位流中传信的list_entry_l0[]中的索引值的列表)或是隐含地确定(例如，以与临时列表RefPicListTemp0相同的次序或基于不同于list_entry_l0值的值)。
当前图片到参考图片列表的添加
在IBC模式的一些实施中，当参考图片列表修改(RPLM)不存在时，将当前图片强制性地添加到与包含待译码的当前块的切片相关联的参考图片列表。举例来说，可使用参考图片列表修改重排序参考图片列表中的参考图片。表4说明用于将当前图片添加到参考图片列表的实例过程：
if(curr_pic_as_ref_enabled_flag&&！ref_pic_list_modification_flag_l0)
RefPicList0[num_ref_idx_l0_active_minus1]＝CurrPic
表4.添加CurrPic作为RefPicList0的最后一个元素
当前图片作为最后一个元素
如表2中所说明，在RefPicListTemp0构建过程的WHILE循环中，当NumPicTotalCurr小于num_ref_idx_l0_active_minus1+1时，可将同一参考图片多次添加到临时列表RefPicListTemp0。在这种情况下，在RefPicListTemp0构建过程的IF条款中添加的当前图片被至少一次添加到临时列表RefPicListTemp0。
图4说明参考图片列表(例如，RefPicList0)构建过程400。图4展示可供用作用于当前图片的预测的参考的图片的列表410、在将当前图片添加到如表3中所描述而构建的参考图片列表前的参考图片列表420及在将当前图片添加到根据表4的构建的参考图片列表后的参考图片列表430。
在图4的实例中，变量NumPicTotalCurr等于2，意味着可供用作用于当前图片的预测的参考的图片的数目为2(其可包含当前图片C以及时间图片T，如图4中所说明)。在图4的实例中，变量num_ref_idx_l0_active_minus1+1等于5，意味着由切片参考的图片的数目为5。因此，在图4的实例中，为NumPicTotalCurr及num_ref_idx_l0_active_minus1+1中的较大者的变量NumRpsCurrTempList0等于5。因此，参考图片列表420及430皆包含5个图片。
重复参考图片列表中的模式
在图4的实例中，参考图片列表420包括{T,C,T,C,T}，且参考图片列表430包括{T,C,T,C,C}，其中时间图片T的最后一个执行个体由当前图片C的执行个体替换。然而，在一些实施中，可存在参考图片列表包含参考图片的重复序列(例如，T,C,T,C...)的良好原因。举例来说，参考图片的重复序列可用于加权的预测。在图4的实例中，重复序列被添加到参考图片列表的末尾的当前图片破坏。因此，在这些情况下，可能需要通过抑制用当前图片自动替换参考图片列表中的参考图片(例如，用当前图片替换参考图片列表中的最后一个图片)来抑制破坏参考图片的重复序列，如果进行替换，那么将破坏参考图片列表中的参考图片的重复序列。
在一些实施例中，如果当前图片已包含在参考图片列表中，那么译码器抑制在参考图片列表中用当前图片替换参考图片。举例来说，在一些实施例中，译码器用当前图片替换参考图片列表中的最后一个参考图片，除非当前图片已包含在参考图片列表中。在一些实施例中，如果可供用作用于当前图片的预测的参考的图片的总数(例如，NumPicTotalCurr)不大于(例如，小于或等于)由切片中的块参考的图片的数目(例如，num_ref_idx_l0_active_minus1+1)，那么译码器抑制用当前图片替换参考图片列表中的参考图片。在一个实例中，译码器抑制将参考图片列表的最后一个元素设定到当前图片。表5说明用于将当前图片添加到参考图片列表的实例过程：
Table 5.如果CurrPic在参考图片列表中，那么抑制添加CurrPic
在一些实施例中，译码器可确定NumRpsCurrTempList0是否大于num_ref_idx_l0_active_minus1+1，且如果NumRpsCurrTempList0不大于(例如，小于或等于)num_ref_idx_l0_active_minus1+1，那么抑制用当前图片替换参考图片列表中的参考图片。在一些实施例中，译码器可确定NumRpsCurrTempList0是否等于num_ref_idx_l0_active_minus1+1，且如果NumRpsCurrTempList0等于num_ref_idx_l0_active_minus1+1，那么抑制用当前图片替换参考图片列表中的参考图片。
在一些实施例中，译码器可确定num_ref_idx_l0_active_minus1+1是否大于NumPicTotalCurr，且如果num_ref_idx_l0_active_minus1+1大于NumPicTotalCurr，那么抑制用当前图片替换参考图片列表中的参考图片。在一些实施例中，译码器可确定num_ref_idx_l0_active_minus1+1是否大于NumRpsCurrTempList0，且如果num_ref_idx_l0_active_minus1+1大于NumRpsCurrTempList0，那么抑制用当前图片替换参考图片列表中的参考图片。
用于将当前图片添加到参考图片列表的实例过程
图5为说明根据本发明的方面的用于构建与包含当前块的切片相关联的参考图片列表的方法500的流程图。图5中说明的步骤可由视频编码器(例如，视频编码器20)、视频解码器(例如，视频解码器30)或任一其它组件执行。为方便起见，方法500经描述为由视频译码器(也简单地被称作译码器)执行，所述视频译码器可为视频编码器20、视频解码器30或另一组件。
在框502处，译码器确定表示可用于在帧间模式或块内复制模式中的至少一者中进行预测的参考图片的总数的第一数目，及(ii)表示待包含于参考图片列表中的参考图片的总数的第二数目。在一些实施例中，可用于帧间模式或块内复制模式中的至少一者中的预测的参考图片包含所有经解码图片。在另一实施例中，参考图片包含经解码图片缓冲器中的所有经解码图片。在另一实施例中，参考图片包含可供用于在于帧间模式中预测当前图片中的块时使用的所有参考图片及当前图片。在又一实施例中，参考图片包含(i)可用于预测当前图片且按输出次序在当前图片前的短期参考图片的总数(例如，由NumPocStCurrBefore指示)，(ii)可用于预测当前图片且按输出次序在当前图片后的短期参考图片的总数(例如，由NumPocStCurrAfter指示)，(iii)可用于预测当前图片的长期参考图片的总数(例如，由NumPocLtCurr指示)，及(iv)当前图片。在这些实施例中的一些中，当前图片是否包含于总数中是基于是否允许将当前图片用于预测当前图片中的块(例如，由curr_pic_as_ref_enabled_flag的值指示)。在一些实施例中，第一数目由HEVC的变量NumPicTotalCurr指示，且第二数目由HEVC的变量num_ref_idx_l0_active_minus1+1指示。虽未在图5中说明，但在框502前，译码器可根据表1到3中说明的过程构建参考图片列表。
在框504处，译码器确定第二数目是否大于或等于第一数目。如果译码器确定第二数目大于或等于第一数目，那么方法500继续前进到框506。否则，方法500继续前进到框508。
在框506处，译码器抑制用待预测的当前图片替换参考图片列表中的参考图片。在一些实施例中，译码器抑制用当前图片替换参考图片列表的最后一个位置中的参考图片。在另一实施例中，译码器抑制用当前图片替换参考图片列表的最后一个位置中并非当前图片的参考图片。
在框508处，译码器用当前图片替换参考图片列表中的参考图片。在一些实施例中，译码器用当前图片替换参考图片列表的最后一个位置中的参考图片。在另一实施例中，译码器用当前图片替换参考图片列表的最后一个位置中并非当前图片的参考图片。在另一实施例中，译码器用当前图片替换参考图片列表的最后一个位置中的参考图片，而不管参考图片是否为当前图片。
虽未在图5中说明，但译码器可使用参考图片列表确定用于当前图片中的当前块的预测块。另外，译码器可基于预测块编码当前块。替代地或另外，译码器可基于预测块解码当前块。
在一些实施例中，译码器包含于设备中，所述设备还包含经配置以捕捉当前图片(或对应于当前图片的图像数据或视频数据)的相机。在一些实施例中，译码器包含于设备中，所述设备还包含经配置以显示当前图片(或对应于当前图片的图像数据或视频数据)的显示器。
其它参考图片列表
本文中基于作为实例的参考图片列表0来描述参考图片列表构建的一或多项技术。然而，类似技术可扩展到其它类型的参考图片列表。举例来说，可通过分别用list1或l1替换list0或l0将本发明的技术扩展到参考图片列表1。
其它考虑
可使用多种不同技术及技艺中的任一者来表示本文中公开的信息及信号。举例来说，可由电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或其任何组合表示贯穿以上描述可能提及的数据、指令、命令、信息、信号、位、符号及码片。
结合本文中所公开的实施例而描述的各种说明性逻辑块及算法步骤可被实施为电子硬件、计算机软件或两者的组合。为了清晰地说明硬件与软件的这种可互换性，上文已大体按其功能性描述了各种说明性组件、块及步骤。所述功能性实施为硬件还是软件取决于特定应用及强加于整个系统上的设计约束。对于每一特定应用而言，所属领域的技术人员可以变化的方式实施所描述的功能性，但不应将这些实施决策解释为引起脱离本发明的范围。
因此，本文中描述的技术可以硬件、软件、固件或其任何组合实施。这些技术可实施于多种装置中的任一者中，例如，通用计算机、无线通信装置手机或具有多种用途(包含在无线通信装置手机及其它装置中的应用)的集成电路装置。可将描述为装置或组件的任何特征一起实施于集成式逻辑装置中或分开来实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分由计算机可读数据存储媒体实现，所述计算机可读数据存储媒体包括包含当执行时执行以上描述的方法中的一或多者的指令的程序码。计算机可读数据存储媒体可形成计算机程序产品的部分，计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如，随机存取存储器(RAM)，例如，同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器、磁性或光学数据存储媒体及类似者。所述技术另外或替代地可至少部分由计算机可读通信媒体实现，所述计算机可读通信媒体携载或传递呈指令或数据结构的形式且可由计算机存取、读取及/或执行的程序码，例如，传播的信号或波。
程序码可由可包含一或多个处理器的处理器执行，例如，一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成式或离散逻辑电路。所述处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器；但在替代例中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心或任何其它这种配置。因此，如本文中所使用的术语“处理器”可指前述结构、前述结构的任何组合或适合于实施本文中描述的技术的任何其它结构或设备中的任一者。此外，在一些方面中，本文中描述的功能性可提供于经配置用于编码及解码的专用软件或硬件内，或并入于组合的视频编码器解码器(编码解码器)中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
可在广泛多种装置或设备中实施本发明的技术，所述装置或设备包含无线手机、集成电路(IC)或IC的集合(例如，芯片组)。在本发明中描述各种组件或单元以强调经配置以执行所公开技术的装置的功能方面，但未必需要由不同硬件单元来实现。相反，如上所述，各种单元可与合适的软件及/或固件一起组合在编码解码器硬件单元中或由互操作硬件单元的集合提供，硬件单元包含如上文所描述的一或多个处理器。
虽然已经结合各种不同实施例描述了前文，但可在不脱离本发明的教示的情况下将来自一个实施例的特征或元件与其它实施例组合。然而，相应实施例之间的特征的组合不必限于此。已描述了本发明的各种实施例。这些及其它实施例在以下权利要求书的范围内。

Claims (30)

1.一种用于构建参考图片列表的方法，所述方法包括：
确定(i)表示可用于在帧间模式或块内复制模式中的至少一者中进行预测的参考图片的总数的第一数目，及(ii)表示待包含于所述参考图片列表中的参考图片的总数的第二数目；及
响应于确定所述第二数目大于或等于所述第一数目，抑制用待预测的当前图片替换所述参考图片列表中的参考图片。
2.根据权利要求1所述的方法，其进一步包括响应于确定所述第二数目不大于或等于所述第一数目，用所述当前图片替换所述参考图片列表中的参考图片。
3.根据权利要求1所述的方法，其进一步包括将所述第一数目确定为以下各者的总和：(i)可供用于在于帧间模式中预测所述当前图片中的块时使用的参考图片的总数，及(ii)基于是否允许将所述当前图片用于预测所述当前图片中的块的值。
4.根据权利要求1所述的方法，其进一步包括将所述第一数目确定为以下各者的总和：(i)可用于预测所述当前图片且按输出次序在所述当前图片前的短期参考图片的总数，(ii)可用于预测所述当前图片且按输出次序在所述当前图片后的短期参考图片的总数，(iii)可用于预测所述当前图片的长期参考图片的总数，及(iv)基于是否允许将所述当前图片用于预测所述当前图片中的块的值。
5.根据权利要求1所述的方法，其进一步包括响应于确定所述参考图片列表包含在不同于所述参考图片列表的最后一个位置的位置处的所述当前图片，抑制用所述当前图片替换在所述参考图片列表的所述最后一个位置处的参考图片。
6.根据权利要求1所述的方法，其进一步包括响应于确定所述参考图片列表包含含有所述当前图片的参考图片序列使得所述参考图片序列的至少一部分在所述参考图片列表内经重复大于一次，抑制用所述当前图片替换所述参考图片列表中的参考图片。
7.根据权利要求1所述的方法，其中在高效率视频译码HEVC标准中，所述第一数目由变量NumPicTotalCurr的值指示。
8.根据权利要求1所述的方法，其中在所述高效率视频译码HEVC标准中，所述第二数目由变量num_ref_idx_l0_active_minus1的值与1的总和指示。
9.根据权利要求1所述的方法，其中在所述高效率视频译码HEVC标准中，所述第一数目由变量NumRpsCurrTempList0的值指示。
10.根据权利要求1所述的方法，其进一步包括使用所述参考图片列表确定用于所述当前图片中的当前块的预测块。
11.根据权利要求10所述的方法，其进一步包括基于所述预测块编码所述当前块。
12.根据权利要求10所述的方法，其进一步包括基于所述预测块解码所述当前块。
13.一种设备，其经配置以构建参考图片列表，所述设备包括：
存储器，其经配置以存储一或多个参考图片；
一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以：
确定(i)表示可用于在帧间模式或块内复制模式中的至少一者中进行预测的参考图片的总数的第一数目，及(ii)表示待包含于所述参考图片列表中的参考图片的总数的第二数目；及
响应于确定所述第二数目大于或等于所述第一数目，抑制用待预测的当前图片替换所述参考图片列表中的参考图片。
14.根据权利要求13所述的设备，其中所述一或多个处理器经进一步配置以响应于确定所述第二数目不大于或等于所述第一数目，用所述当前图片替换所述参考图片列表中的参考图片。
15.根据权利要求13所述的设备，其中所述一或多个处理器经进一步配置以将所述第一数目确定为以下各者的总和：(i)可供用于在于帧间模式中预测所述当前图片中的块时使用的参考图片的总数，及(ii)基于是否允许将所述当前图片用于预测所述当前图片中的块的值。
16.根据权利要求13所述的设备，其中所述一或多个处理器经进一步配置以将所述第一数目确定为以下各者的总和：(i)可用于预测所述当前图片且按输出次序在所述当前图片前的短期参考图片的总数，(ii)可用于预测所述当前图片且按输出次序在所述当前图片后的短期参考图片的总数，(iii)可用于预测所述当前图片的长期参考图片的总数，及(iv)基于是否允许将所述当前图片用于预测所述当前图片中的块的值。
17.根据权利要求13所述的设备，其中所述一或多个处理器经进一步配置以响应于确定所述参考图片列表包含在不同于所述参考图片列表的最后一个位置的位置处的所述当前图片，抑制用所述当前图片替换在所述参考图片列表的所述最后一个位置处的参考图片。
18.根据权利要求13所述的设备，其中所述一或多个处理器经进一步配置以响应于确定所述参考图片列表包含含有所述当前图片的参考图片序列使得所述参考图片序列的至少一部分在所述参考图片列表内经重复大于一次，抑制用所述当前图片替换所述参考图片列表中的参考图片。
19.根据权利要求13所述的设备，其中在高效率视频译码HEVC标准中，所述第一数目由变量NumPicTotalCurr的值指示。
20.根据权利要求13所述的设备，其中在所述高效率视频译码HEVC标准中，所述第二数目由变量num_ref_idx_l0_active_minus1的值与1的总和指示。
21.根据权利要求13所述的设备，其中在所述高效率视频译码HEVC标准中，所述第一数目由变量NumRpsCurrTempList0的值指示。
22.根据权利要求13所述的设备，其中所述一或多个处理器经进一步配置以使用所述参考图片列表确定用于所述当前图片中的当前块的预测块。
23.根据权利要求22所述的设备，其中所述设备包括经配置以基于所述预测块编码所述当前块的视频编码器及经配置以捕捉所述当前图片的相机。
24.根据权利要求22所述的设备，其中所述设备包括经配置以基于所述预测块解码所述当前块的视频解码器及经配置以显示所述当前图片的显示器。
25.一种非暂时性物理计算机存储器，其包括在执行时使设备进行以下操作的代码：
确定(i)表示可用于在帧间模式或块内复制模式中的至少一者中进行预测的参考图片的总数的第一数目，及(ii)表示待包含于参考图片列表中的参考图片的总数的第二数目；及
响应于确定所述第二数目大于或等于所述第一数目，抑制用待预测的当前图片替换所述参考图片列表中的参考图片。
26.根据权利要求25所述的非暂时性物理计算机存储器，其中所述代码进一步使所述设备响应于确定所述第二数目不大于或等于所述第一数目，用所述当前图片替换所述参考图片列表中的参考图片。
27.根据权利要求25所述的非暂时性物理计算机存储器，其中所述代码进一步使所述设备将所述第一数目确定为以下各者的总和：(i)可用于预测所述当前图片且按输出次序在所述当前图片前的短期参考图片的总数，(ii)可用于预测所述当前图片且按输出次序在所述当前图片后的短期参考图片的总数，(iii)可用于预测所述当前图片的长期参考图片的总数，及(iv)基于是否允许将所述当前图片用于预测所述当前图片中的块的值。
28.一种视频译码装置，其经配置以构建参考图片列表，所述视频译码装置包括：
用于存储一或多个参考图片的装置；
用于确定以下各者的装置：(i)表示可用于在帧间模式或块内复制模式中的至少一者中进行预测的参考图片的总数的第一数目，及(ii)表示待包含于所述参考图片列表中的参考图片的总数的第二数目；及
用于响应于确定所述第二数目大于或等于所述第一数目抑制用待预测的当前图片替换所述参考图片列表中的参考图片的装置。
29.根据权利要求28所述的视频译码装置，其进一步包括用于响应于确定所述第二数目不大于或等于所述第一数目用所述当前图片替换所述参考图片列表中的参考图片的装置。
30.根据权利要求28所述的视频译码装置，其进一步包括用于将所述第一数目确定为以下各者的总和的装置：(i)可用于预测所述当前图片且按输出次序在所述当前图片前的短期参考图片的总数，(ii)可用于预测所述当前图片且按输出次序在所述当前图片后的短期参考图片的总数，(iii)可用于预测所述当前图片的长期参考图片的总数，及(iv)基于是否允许将所述当前图片用于预测所述当前图片中的块的值。
CN201680034225.6A 2015-06-23 2016-06-21 在块内复制模式中的参考图片列表构建 Pending CN107787583A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562183676P 2015-06-23 2015-06-23
US62/183,676 2015-06-23
US15/187,694 US10178403B2 (en) 2015-06-23 2016-06-20 Reference picture list construction in intra block copy mode
US15/187,694 2016-06-20
PCT/US2016/038498 WO2016209804A1 (en) 2015-06-23 2016-06-21 Reference picture list construction in intra block copy mode

Publications (1)

Publication Number Publication Date
CN107787583A true CN107787583A (zh) 2018-03-09

Family

ID=56550314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680034225.6A Pending CN107787583A (zh) 2015-06-23 2016-06-21 在块内复制模式中的参考图片列表构建

Country Status (9)

Country Link
US (1) US10178403B2 (zh)
EP (1) EP3314891A1 (zh)
JP (1) JP2018524906A (zh)
KR (1) KR20180019596A (zh)
CN (1) CN107787583A (zh)
AU (1) AU2016284060A1 (zh)
BR (1) BR112017027808A2 (zh)
TW (1) TW201713116A (zh)
WO (1) WO2016209804A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113812155A (zh) * 2019-05-11 2021-12-17 北京字节跳动网络技术有限公司 多种帧间编解码方法之间的交互
CN114710675A (zh) * 2018-09-21 2022-07-05 腾讯美国有限责任公司 视频解码的方法、装置及可读介质
CN116708772A (zh) * 2019-01-06 2023-09-05 北京达佳互联信息技术有限公司 视频解码方法、计算设备和介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2547053B (en) * 2016-02-08 2020-07-08 Canon Kk Methods, devices, and computer programs for combining the use of intra-layer prediction and inter-layer prediction with scalability & screen content features
EP3854099A4 (en) * 2018-09-21 2022-06-29 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding
EP3861744A4 (en) 2018-11-13 2021-12-08 Beijing Bytedance Network Technology Co. Ltd. CREATION OF LIST OF MOVEMENT CANDIDATES BASED ON A HISTORY, FOR AN IN-BLOCK COPY
CN113170184A (zh) * 2018-11-22 2021-07-23 北京字节跳动网络技术有限公司 默认运动候选的配置方法
KR20210094530A (ko) 2018-11-29 2021-07-29 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 화면 내 블록 복사 모드 및 화면 간 예측 도구들 간의 상호작용
WO2020125798A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra block copy mode with dual tree partition
CN113261290B (zh) 2018-12-28 2024-03-12 北京字节跳动网络技术有限公司 基于修改历史的运动预测
EP3918801A4 (en) * 2019-01-28 2022-06-15 OP Solutions, LLC ONLINE AND OFFLINE CHOICE OF EXTENDED LONG-TERM REFERENCE IMAGE STORAGE
WO2020156545A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Prediction using intra-buffer samples for intra block copy in video coding
KR102662448B1 (ko) 2019-02-02 2024-05-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼내 데이터 저장
CN113647109B (zh) 2019-02-17 2024-07-05 北京字节跳动网络技术有限公司 帧内块复制（ibc）模式和非ibc帧间模式的运动候选列表构建
JP7405861B2 (ja) 2019-03-01 2023-12-26 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのための方向に基づく予測
EP3915252A4 (en) 2019-03-04 2022-03-23 Beijing Bytedance Network Technology Co., Ltd. IMPLEMENTATION OF ASPECTS IN AN INTRA BLOCK COPY IN VIDEO ENCODING
US11240516B2 (en) 2019-03-20 2022-02-01 Tencent America LLC Coding mode signaling for small blocks
MX2022000102A (es) 2019-07-06 2022-02-03 Beijing Bytedance Network Tech Co Ltd Bufer de prediccion virtual para la copia intra-bloque en codificacion de video.
JP7359934B2 (ja) 2019-07-10 2023-10-11 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのサンプル識別
CN117579816A (zh) 2019-07-11 2024-02-20 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的比特流一致性约束
EP3991423A4 (en) 2019-07-25 2022-09-07 Beijing Bytedance Network Technology Co., Ltd. MAPPING RESTRICTION FOR INTRABLOC COPY VIRTUAL BUFFER
KR20220036936A (ko) 2019-07-25 2022-03-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 블록 복사 가상 버퍼에 대한 크기 제한
CN114342410A (zh) 2019-09-05 2022-04-12 北京字节跳动网络技术有限公司 帧内块复制模式下块矢量的范围约束
CN117459723A (zh) 2019-09-23 2024-01-26 北京字节跳动网络技术有限公司 基于虚拟管线数据单元设置帧内块复制虚拟缓冲区
CN115362674A (zh) 2020-03-18 2022-11-18 抖音视界有限公司 帧内块复制缓冲区和调色板预测值更新
US11849129B2 (en) * 2022-03-18 2023-12-19 Qualcomm Incorporated Intra-block copy decoding using dynamic re-mapping of on-chip memory

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103650497A (zh) * 2012-03-02 2014-03-19 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
WO2015009629A2 (en) * 2013-07-15 2015-01-22 Qualcomm Incorporated Device and method for scalable coding of video information
CN104380747A (zh) * 2012-04-27 2015-02-25 高通股份有限公司 视频译码中的参数集更新
US20150092839A1 (en) * 2011-03-31 2015-04-02 Qualcomm Incorporated Combined reference picture list construction and mapping
CN104662906A (zh) * 2012-09-30 2015-05-27 微软公司 参考图片列表修改信息的有条件信号通知

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483484B2 (en) * 2003-10-09 2009-01-27 Samsung Electronics Co., Ltd. Apparatus and method for detecting opaque logos within digital video signals
JP4769717B2 (ja) * 2005-01-17 2011-09-07 パナソニック株式会社 画像復号化方法
TWI578758B (zh) * 2012-01-31 2017-04-11 Ｖｉｄ衡器股份有限公司 視訊資料解碼的裝置及方法
TW201408071A (zh) * 2012-04-09 2014-02-16 Vid Scale Inc 視訊編碼加權預測參數傳訊
US9167248B2 (en) * 2012-07-13 2015-10-20 Qualcomm Incorporated Reference picture list modification for video coding
EP2934010A4 (en) * 2012-12-14 2016-05-25 Lg Electronics Inc METHOD OF VIDEO CODING, METHOD OF VIDEO DECODING AND DEVICE THEREFOR
US9351009B2 (en) * 2013-04-05 2016-05-24 Sharp Kabushiki Kaisha Marking pictures for inter-layer prediction
US9699480B2 (en) * 2014-06-13 2017-07-04 Sharp Laboratories Of America, Inc. Level limits
WO2016048834A1 (en) * 2014-09-26 2016-03-31 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
KR20170084251A (ko) * 2014-11-20 2017-07-19 에이치에프아이 이노베이션 인크. 모션 벡터 및 블록 벡터 해상도 제어의 방법
WO2016200984A1 (en) * 2015-06-08 2016-12-15 Vid Scale, Inc. Intra block copy mode for screen content coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092839A1 (en) * 2011-03-31 2015-04-02 Qualcomm Incorporated Combined reference picture list construction and mapping
CN103650497A (zh) * 2012-03-02 2014-03-19 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN104380747A (zh) * 2012-04-27 2015-02-25 高通股份有限公司 视频译码中的参数集更新
CN104662906A (zh) * 2012-09-30 2015-05-27 微软公司 参考图片列表修改信息的有条件信号通知
WO2015009629A2 (en) * 2013-07-15 2015-01-22 Qualcomm Incorporated Device and method for scalable coding of video information

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOSHI R ET.AL: "HEVC Screen Content Coding Draft 2", 《JCTVC MEETING》 *
XU X ET.AL: "On reference picture list construction for intra block copy", 《JCTVC MEETING》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710675A (zh) * 2018-09-21 2022-07-05 腾讯美国有限责任公司 视频解码的方法、装置及可读介质
US12010340B2 (en) 2018-09-21 2024-06-11 Tencent America LLC Intra block copy search range
CN116708772A (zh) * 2019-01-06 2023-09-05 北京达佳互联信息技术有限公司 视频解码方法、计算设备和介质
CN116708772B (zh) * 2019-01-06 2024-01-23 北京达佳互联信息技术有限公司 视频解码方法、计算设备和介质
CN113812155A (zh) * 2019-05-11 2021-12-17 北京字节跳动网络技术有限公司 多种帧间编解码方法之间的交互
US11509904B2 (en) 2019-05-11 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Interactions among multiple intra coding methods
CN113812155B (zh) * 2019-05-11 2023-10-27 北京字节跳动网络技术有限公司 多种帧间编解码方法之间的交互
US11876971B2 (en) 2019-05-11 2024-01-16 Beijing Bytedance Network Technology Co., Ltd. Interactions among multiple intra coding methods

Also Published As

Publication number Publication date
TW201713116A (zh) 2017-04-01
US20160381373A1 (en) 2016-12-29
JP2018524906A (ja) 2018-08-30
BR112017027808A2 (pt) 2018-08-28
WO2016209804A1 (en) 2016-12-29
US10178403B2 (en) 2019-01-08
KR20180019596A (ko) 2018-02-26
EP3314891A1 (en) 2018-05-02
AU2016284060A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
CN107787583A (zh) 在块内复制模式中的参考图片列表构建
CN105874797B (zh) 视频数据的编解码方法、装置、设备和存储媒体
CN106797479B (zh) 对于并行处理的帧内块复制预测限制
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
CN106416255B (zh) 用于编码视频信息的方法、设备及计算机可读媒体
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN105474645B (zh) 对视频数据进行解码的方法、对视频数据进行编码的方法、视频解码装置及视频编码装置
CN106105197B (zh) 针对帧内块复制的基于散列的编码器搜索
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN106664428B (zh) 用于调色板模式译码的方法和设备
CN105027571B (zh) 三维视频译码中导出的视差向量
CN110100436A (zh) 使用导出色度模式译码视频数据
CN108353167A (zh) 译码视频数据的正负号信息
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN105379278B (zh) 用于视频信息的可缩放译码的装置和方法
CN108028932A (zh) 用于视频译码的调色板预测初始化及合并
CN107690807A (zh) 使用增强型上下文自适应二进制算术译码设计来译码数据
CN108141605A (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
CN106105200A (zh) 基于调色板的视频译码
CN107710764A (zh) 确定用于视频译码的照明补偿状态的系统及方法
CN107592972A (zh) 用于视频数据中特定图片内的帧间译码的搜索区域确定
CN106464919A (zh) 视频译码中用于第0个输出层集合的简档、层次、层级
CN106664425A (zh) 视频译码中的跨分量预测
CN106797484A (zh) 用于基于调色板的视频译码的调色板索引二进制化
CN106105204A (zh) 在颜色空间变换译码中修改位深度

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180309