CN109565603B - 使用解耦树结构的视频内译码 - Google Patents

使用解耦树结构的视频内译码 Download PDF

Info

Publication number
CN109565603B
CN109565603B CN201780048556.XA CN201780048556A CN109565603B CN 109565603 B CN109565603 B CN 109565603B CN 201780048556 A CN201780048556 A CN 201780048556A CN 109565603 B CN109565603 B CN 109565603B
Authority
CN
China
Prior art keywords
mode
candidate list
video
modes
chroma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780048556.XA
Other languages
English (en)
Other versions
CN109565603A (zh
Inventor
张莉
钱威俊
陈建乐
赵欣
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN202311088846.0A priority Critical patent/CN117319647A/zh
Publication of CN109565603A publication Critical patent/CN109565603A/zh
Application granted granted Critical
Publication of CN109565603B publication Critical patent/CN109565603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种实例装置，其包含存储器及与所述存储器通信的处理电路。装置的所述处理电路经配置以针对存储至所述存储器的视频数据的色度块形成最可能模式MPM候选者列表，使得所述MPM候选者列表包含与相关联于所述色度块的所述视频数据的亮度块相关联的一或多个导出模式DM，及可用于译码所述视频数据的亮度分量的多个亮度预测模式。所述处理电路经进一步配置以从所述MPM候选者列表选择模式，及根据选自所述MPM候选者列表的所述模式来译码所述色度块。

Description

使用解耦树结构的视频内译码
本申请案主张2016年8月15日申请的美国临时申请案第62/375,383号及2016年10月5日申请的美国临时申请案第62/404,572的权益，所述美国临时申请案中的每一者特此以全文引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入至广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式处理装置等等。数字视频装置实施视频译码技术，例如描述于由各种视频译码标准定义的标准中的视频译码技术。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可伸缩视频译码(SVC)及多视图视频译码(MVC)扩展。
另外，已由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)新近开发出新的视频译码标准(即，高效率视频译码(HEVC))。最新的HEVC草案规范，在下文被称作“HEVC WD”，可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip获得。HEVC的规范及其扩展(格式范围(RExt)、可伸缩性(SHVC)及多视图(MV-HEVC)扩展及屏幕内容扩展)可从http://phenix.int-evry.fr/jct/doc_end_user/current_document.php？id＝10481获得。ITU-TVCEG(Q6/16)及ISO/IEC MPEG(JTC 1/SC 29/WG 11)现在正研究对于将压缩能力显著超过当前HEVC标准(包含其当前扩展及针对屏幕内容译码及高动态范围译码的近期扩展)的压缩能力的未来视频译码技术标准化的潜在需要。
所述专家组正共同致力于联合合作工作(被称为联合视频探索小组(Joint VideoExploration Team，JVET))中的此探索活动，以评估由所述专家组在此领域中的专家建议的压缩技术设计。JVET在2015年10月19日至21日期间第一次会面。参考软件的最新版本(即，联合探索模型3(JEM 3))可从https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-3.0/下载。JEM3的算法描述进一步描述于J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce(JVET-C1001，日内瓦，2016年1月)的“Algorithm description of Joint Exploration Test Model 3”中。
视频装置可通过实施此类视频译码技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的部分)分割为视频块，对于一些技术，视频块也可被称作树型块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码经帧间译码块。根据帧内译码模式及残余数据来编码经帧内译码块。为进行进一步压缩，可将残余数据从像素域变换至变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初布置为二维阵列的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多的压缩。
发明内容
一般来说，本发明描述与使用帧内预测(在一些情况下根据提供亮度分量及色度分量的不同拆分信息的树结构)译码(例如，解码或编码)视频数据相关的技术。即，根据与所描述技术兼容的各种分割方案，亮度分割树结构可从对应色度分割树结构解耦。所描述技术可用于高级视频编解码器的情形中，例如HEVC的扩展或下一代视频译码标准。
在一个实例中，一种用于译码视频数据的装置包含存储器及与所述存储器通信的处理电路。所述装置的所述存储器经配置以存储视频数据。所述处理电路经配置以确定可用于预测存储至所述存储器的所述视频数据的亮度块的多个导出模式(DM)还可用于预测存储至所述存储器的所述视频数据的色度块，所述色度块对应于所述亮度块。所述处理电路经进一步配置以形成关于所述色度块的预测模式的候选者列表，所述候选者列表包含可用于预测所述色度块的所述多个DM中的一或多个DM。所述处理电路经进一步配置以确定使用所述候选者列表的所述一或多个DM中的任何DM来译码所述色度块，及译码基于使用所述候选者列表的所述一或多个DM中的任何DM来译码所述色度块的所述确定而译码识别将用于译码所述色度块的所述候选者列表的选定DM的指示。所述处理电路经进一步配置以根据所述候选者列表的所述选定DM来译码所述色度块。
在另一实例中，一种译码视频数据的方法包含确定可用于预测所述视频数据的亮度块的多个导出模式(DM)还可用于预测所述视频数据的色度块，所述色度块对应于所述亮度块。所述方法进一步包含：形成关于所述色度块的预测模式的候选者列表，所述候选者列表包含可用于预测所述色度块的所述多个DM中的一或多个DM；及确定使用所述候选者列表的所述一或多个DM中的任何DM来译码所述色度块。所述方法进一步包含：基于使用所述候选者列表的所述一或多个DM中的任何DM来译码所述色度块的所述确定而译码识别将用于译码所述色度块的所述候选者列表的选定DM的指示；及根据所述候选者列表的所述选定DM来译码所述色度块。
在另一实例中，一种设备包含用于确定可用于预测所述视频数据的亮度块的多个导出模式(DM)还可用于预测所述视频数据的色度块的装置，所述色度块对应于所述亮度块。所述方法进一步包含：形成关于所述色度块的预测模式的候选者列表，所述候选者列表包含可用于预测所述色度块的所述多个DM中的一或多个DM；及确定使用所述候选者列表的所述一或多个DM中的任何DM来译码所述色度块。所述设备进一步包含：用于形成关于所述色度块的预测模式的候选者列表的装置，所述候选者列表包含可用于预测所述色度块的所述多个DM中的一或多个DM；及用于确定使用所述候选者列表的所述一或多个DM中的任何DM来译码所述色度块的装置。所述设备进一步包含：用于基于使用所述候选者列表的所述一或多个DM中的任何DM来译码所述色度块的所述确定而译码识别将用于译码所述色度块的所述候选者列表的选定DM的指示的装置；及用于根据所述候选者列表的所述选定DM来译码所述色度块的装置。
在另一实例中，一种非暂时性计算机可读存储媒体被编码有指令，所述指令在执行时致使计算装置的处理器确定可用于预测所述视频数据的亮度块的多个导出模式(DM)还可用于预测所述视频数据的色度块，所述色度块对应于所述亮度块。所述指令在执行时进一步致使所述处理器进行以下操作：形成关于所述色度块的预测模式的候选者列表，所述候选者列表包含可用于预测所述色度块的所述多个DM中的一或多个DM；及确定使用所述候选者列表的所述一或多个DM中的任何DM来译码所述色度块。所述指令在执行时进一步致使所述处理器进行以下操作：形成关于所述色度块的预测模式的候选者列表，所述候选者列表包含可用于预测所述色度块的所述多个DM中的一或多个DM；及确定使用所述候选者列表的所述一或多个DM中的任何DM来译码所述色度块。所述指令在执行时进一步致使所述处理器进行以下操作：基于使用所述候选者列表的所述一或多个DM中的任何DM来译码所述色度块的所述确定而译码识别将用于译码所述色度块的所述候选者列表的选定DM的指示；及根据所述候选者列表的所述选定DM来译码所述色度块。
在另一实例中，一种用于译码视频数据的装置包含存储器及与所述存储器通信的处理电路。所述装置的所述存储器经配置以存储视频数据。所述处理电路经配置以进行以下操作：针对存储至所述存储器的所述视频数据的色度块形成最可能模式(MPM)候选者列表，使得所述MPM候选者列表包含与相关联于所述色度块的所述视频数据的亮度块相关联的一或多个导出模式(DM)，及可用于译码所述视频数据的亮度分量的多个亮度预测模式。所述处理电路经进一步配置以进行以下操作：从所述MPM候选者列表选择模式；及根据选自所述MPM候选者列表的所述模式来译码所述色度块。
在另一实例中，一种译码视频数据的方法包含：针对所述视频数据的色度块形成最可能模式(MPM)候选者列表，使得所述MPM候选者列表包含与相关联于所述色度块的所述视频数据的亮度块相关联的一或多个导出模式(DM)，及可用于译码所述视频数据的亮度分量的多个亮度预测模式。所述方法进一步包含：从所述MPM候选者列表选择模式；及根据选自所述MPM候选者列表的所述模式来译码所述色度块。
在另一实例中，一种设备包含用于进行以下操作的装置：针对所述视频数据的色度块形成最可能模式(MPM)候选者列表，使得所述MPM候选者列表包含与相关联于所述色度块的所述视频数据的亮度块相关联的一或多个导出模式(DM)，及可用于译码所述视频数据的亮度分量的多个亮度预测模式。所述设备进一步包含：用于从所述MPM候选者列表选择模式的装置；及用于根据选自所述MPM候选者列表的所述模式来译码所述色度块的装置。
在另一实例中，一种非暂时性计算机可读存储媒体被编码有指令，所述指令在执行时致使计算装置的处理器进行以下操作：针对存储至所述存储器的所述视频数据的色度块形成最可能模式(MPM)候选者列表，使得所述MPM候选者列表包含与相关联于所述色度块的所述视频数据的亮度块相关联的一或多个导出模式(DM)，及可用于译码所述视频数据的亮度分量的多个亮度预测模式。所述指令在执行时致使所述计算装置的所述处理器进行以下操作：从所述MPM候选者列表选择模式；及根据选自所述MPM候选者列表的所述模式来译码所述色度块。
在以下附图及具体实施方式中阐述一或多个实例的细节。其它特征、目标及优点将从具体实施方式及附图以及从权利要求书显而易见。
附图说明
图1为绘示可经配置以执行本发明的技术的实例视频编码及解码系统的框图。
图2为绘示可经配置以执行本发明的技术的视频编码器的实例的框图。
图3为绘示可经配置以执行本发明的技术的视频解码器的实例的框图。
图4为绘示帧内预测的方面的概念图。
图5为绘示用于亮度块的帧内预测模式的概念图。
图6为绘示平面模式的方面的概念图。
图7为绘示根据HEVC的角度模式的方面的概念图。
图8为绘示图片中的标称竖直及水平位置亮度样本及色度样本的实例的概念图。
图9为绘示用于导出在根据线性模型(LM)模式的预测中所使用的参数的样本的位置的概念图。
图10为绘示四叉树二叉树(QTBT)结构的概念图。
图11A及11B绘示用于根据QTBT分割方案的对应亮度块及色度块的独立分割结构的实例。
图12A及12B绘示根据本发明的一或多个方面的用于色度预测模式的自适应排序的相邻块选择。
图13A及13B为绘示视频编码装置及解码装置可用于根据上文所描述的基于多个DM模式选择的技术来选择色度帧内预测模式的块位置的实例的概念图。
图14为绘示根据本发明的方面的视频解码装置的处理电路可执行的实例过程的流程图。
图15为绘示根据本发明的方面的视频编码装置的处理电路可执行的实例过程的流程图。
图16为绘示根据本发明的方面的视频解码装置的处理电路可执行的实例过程的流程图。
图17为绘示根据本发明的方面的视频编码装置的处理电路可执行的实例过程的流程图。
具体实施方式
图1为绘示可经配置以执行关于运动向量预测的本发明的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，其提供稍后将由目的地装置14解码的经编码视频数据。具体地说，源装置12经由计算机可读媒体16将视频数据提供至目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、电话手机(例如所谓的“智能”电话)、所谓的“智能”平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置等等。在一些情况下，源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动至目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接发射至目的地装置14。可根据通信标准(例如无线通信协议)调制经编码视频数据，且将其发射至目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于数据包的网络(例如局域网、广域网或全局网络，例如因特网)的部分。通信媒体可包含路由器、交换机、基站，或可适用于促进从源装置12至目的地装置14的通信的任何其它设备。
在一些实例中，经编码数据可从输出接口22输出至存储装置。类似地，经编码数据可由输入接口从存储装置存取。存储装置可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、蓝光(Blu-ray)光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在再一实例中，存储装置可对应于可存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式处理或下载从存储装置存取存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射至目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码视频数据。此连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等等)或两者的组合。来自存储装置的经编码视频数据的发射可为流式处理发射、下载发射或其组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、因特网流式处理视频发射(例如经由HTTP的动态自适应流式处理(DASH))、经编码至数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式处理、视频回放、视频广播及/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用关于运动向量预测的本发明的技术。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成显示装置。
图1的所绘示系统10仅为一个实例。关于运动向量预测的本发明的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术通常由视频编码装置执行，但所述技术还可由视频编码器/解码器(通常被称作“CODEC”)执行。此外，本发明的技术还可由视频预处理器执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据用于发射至目的地装置14的这些译码装置的实例。在一些实例中，装置12、14可以基本上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持例如视频装置12、14之间的单向或双向视频传播，以用于视频流式处理、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置，例如视频相机、含有先前捕获的视频的视频存档，及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代例，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频及计算机产生的视频的组合。在一些情况下，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般可适用于视频译码，且可适用于无线及/或有线应用。在每一情况下，捕获、预捕获或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出至计算机可读媒体16上。
计算机可读媒体16可包含暂时性媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、闪存驱动器、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据，且例如经由网络发射将经编码视频数据提供至目的地装置14。类似地，媒体产生设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，可将计算机可读媒体16理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息还供视频解码器30使用，包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据视频译码标准(例如高效率视频译码(HEVC)标准、HEVC标准的扩展或后续标准，例如ITU-TH.266)而操作。替代地，视频编码器20及视频解码器30可根据其它专有或行业标准(例如ITU-T H.264标准，替代地被称作MPEG-4，第10部分，高级视频译码(AVC))或这些标准的扩展而操作。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件，以处置共同数据流或单独数据流中的音频及视频两者的编码。适用时，MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30各自可被实施为多种合适编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固体或其任何组合。当所述技术部分地以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，一或多个编码器或解码器中的任一者可被集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IECMPEG-4AVC)，包含其可伸缩视频译码(SVC)及多视图视频译码(MVC)扩展。MVC的一个联合草案描述于2010年3月的“用于通用视听服务的高级视频译码”(ITU-T标准H.264)中。
另外，存在新开发的视频译码标准，即，ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)所开发的高效率视频译码(HEVC)。HEVC的最近草案可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。HEVC标准还在标准ITU-T H.265及国际标准ISO/IEC23008-2中联合提出，两者皆名为“高效率视频译码”且两者皆于2014年10月公开。
JCT-VC开发了HEVC标准。HEVC标准化努力是基于视频译码装置的演进模型，被称作HEVC测试模型(HM)。HM根据(例如)ITU-T H.264/AVC假定视频译码装置相对于现有装置的若干额外能力。举例来说，尽管H.264提供九个帧内预测编码模式，但HEVC HM可提供多达三十三个帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可划分成包含亮度样本及色度样本两者的树型块或最大译码单元(LCU)的序列。位流内的语法数据可定义LCU的大小，LCU就像素的数目来说为最大译码单元。切片包含按译码次序的数个连续树型块。视频帧或图片可分割成一或多个切片。每一树型块可根据四叉树而分裂成若干译码单元(CU)。一般来说，四叉树数据结构每个CU包含一个节点，其中根节点对应于树型块。如果CU分裂成四个子CU，那么对应于所述CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU是否分裂成子CU。针对CU的语法元素可经递归地定义，且可取决于CU是否分裂成子CU。如果CU不进一步分裂，那么所述CU被称作叶CU。在本发明中，即使不存在原始叶CU的明显分裂，叶CU的四个子CU也将被称作叶CU。举例来说，如果16×16大小的CU未进一步分裂，那么四个8×8子CU也将被称作叶CU，尽管16×16CU从未分裂。
除了CU不具有大小区别之外，CU具有与H.264标准的宏块类似的用途。举例来说，树型块可分裂成四个子节点(也被称作子CU)，且每一子节点又可为上代节点且可被分裂成另外四个子节点。被称作四叉树的叶节点的最终未分裂子节点包括译码节点，所述译码节点也被称作叶CU。与经译码位流相关联的语法数据可定义树型块可分裂的最大次数(其被称作最大CU深度)，且还可定义所述译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”来指HEVC的上下文中的CU、PU或TU中的任一者，或其它标准的上下文中的类似数据结构(例如，H.264/AVC中的宏块及其子块)。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须为正方形。CU的大小可在8×8像素直至具有最大64×64像素或更多像素的树型块的大小的范围内。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述例如将CU分割成一或多个PU。分割模式可在CU经跳过或直接模式编码、帧内预测模式编码或帧间预测模式编码之间不同。PU可分割成非正方形形状。与CU相关联的语法数据还可描述例如根据四叉树将CU分割成一或多个TU。TU可为正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU的变换，所述变换对于不同CU可不同。通常基于针对经分割LCU所定义的给定CU内的PU的大小来对TU设定大小，但可并非总是此情况。TU的大小通常与PU相同或比PU小。在一些实例中，可使用被称为“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本再分为较小单元。RQT的叶节点可被称作变换单元(TU)。与TU相关联的像素差值可经变换以产生可加以量化的变换系数。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，PU的数据可包含于残余四叉树(RQT)中，所述RQT可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述例如运动向量的水平分量、运动向量的竖直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。如上文所论述，可使用RQT(也被称作TU四叉树结构)来指定所述变换单元。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，可将每一变换单元进一步分裂为其它若干子TU。当TU未进一步分裂时，可将其称作叶TU。大体来说，对于帧内译码，属于叶CU的所有叶TU共享相同的帧内预测模式。即，一般应用同一帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式将每一叶TU的残余值计算为CU的对应于TU的部分与原始块之间的差。TU未必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可与同一CU的对应叶TU共置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
此外，叶CU的TU还可与相应四叉树数据结构(被称作残余四叉树(RQT))相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点通常对应于叶CU，而CU四叉树的根节点通常对应于树型块(或LCU)。将RQT的未被分裂的TU称作叶TU。一般来说，除非另有指示，否则本发明分别使用术语CU及TU来指叶CU及叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)大体上包括一系列视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或别处中的语法数据，所述语法数据描述包含于GOP中的图片的数目。图片的每一切片可包含描述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。
作为实例，HM支持各种PU大小的预测。假定特定CU的大小为2N×2N，HM支持2N×2N或N×N(在8×8CU的情况下)的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未分割，而另一方向被分割成25％及75％。CU的对应于25％分割的部分由“n”随后“上(Up)”、“下(Down)”、“左(Left)”或“右(Right)”的指示来指示。因此，例如，“2N×nU”是指水平地以顶部的2N×0.5N PU及底部的2N×1.5N PU分割的2N×2N CU。
在本发明中，“N×N”与“N乘N”可互换地使用以指视频块在竖直维度及水平维度方面的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块在竖直方向上将具有16个像素(y＝16)且在水平方向上将具有16个像素(x＝16)。同样地，N×N块通常在竖直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列来布置。此外，块未必需要在水平方向上与竖直方向上具有相同数目个像素。举例来说，块可包括N×M个像素，其中M未必等于N。
在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括描述在空间域(也被称作像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可包括在对残余视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或在概念上类似的变换)之后变换域中的系数。残余数据可对应于未经编码的图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU，且接着变换所述TU以产生CU的变换系数。
在用以产生变换系数的任何变换之后，视频编码器20可对变换系数执行量化。量化通常指将变换系数量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减小与系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值降值舍位至m位值，其中n大于m。
在量化之后，视频编码器可扫描变换系数，从而从包含经量化变换系数的二维矩阵产生一维向量。所述扫描可经设计以将较高能量(且因此较低频率)系数置于阵列前部，及将较低能量(且因此较高频率)系数置于阵列后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来对一维向量进行熵编码。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为执行CABAC，视频编码器20可将上下文模型内的上下文指派至待发射的符号。所述上下文可能是关于(例如)符号的相邻值是否为非零。为执行CAVLC，视频编码器20可选择可变长度码用于待发射的符号。
可将VLC中的码字构造成使得相对较短码对应于更有可能的符号，而较长码对应于较不可能的符号。以此方式，相对于(例如)针对待发射的每一符号使用相等长度码字，使用VLC可实现位节省。概率确定可基于经指派至符号的上下文。
根据本发明的一或多种技术，视频编码器20及/或视频解码器30可实施本发明的技术中的一或多者。举例来说，视频编码器20及/或视频解码器30可在运动估计及补偿中使用仿射模型。
图2为绘示可经配置以执行关于运动向量预测的本发明的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减小或移除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。帧间模式(例如单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一者。
如图2所展示，视频编码器20接收待编码的视频切片内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构，视频编码器20还包含反量化单元58、反变换单元60及求和器62。还可包含解块滤波器(图2中未展示)以便对块边界进行滤波，以从经重构视频移除块效应假影。需要时，解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见而未展示此类滤波器，但需要时，此类滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。
在编码处理期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44执行所接收的视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地执行所接收的视频块相对于与待译码块同帧或切片中的一或多个相邻块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，例如，以选择用于每一视频数据块的适当译码模式。
此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估计而将视频数据的块分割成子块。举例来说，分割单元48可首先将帧或切片分割成LCU，且基于位率-失真分析(例如，位率-失真优化)来将所述LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割为子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可(例如)基于误差结果而选择译码模式(帧内或帧间)中的一者，且将所得的经帧内译码块或经帧间译码块提供至求和器50以产生残余块数据，及提供至求和器62以重构经编码块以用作参考帧。模式选择单元40还将语法元素(例如运动向量、帧内模式指示符、分区信息及其它此类语法信息)提供至熵编码单元56。
运动估计单元42及运动补偿单元44可高度集成，但出于概念目的而单独绘示。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片(或其它经译码单元)内的预测性块相对于在当前图片(或其它经译码单元)内正经译码的当前块的位移。预测性块为就像素差来说被发现紧密地匹配于待译码块的块，像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差度量予以确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行关于全像素位置及分数像素位置的运动搜索且输出具有分数像素精度的运动向量。
运动估计单元42通过将PU的位置与参考图片的预测性块的位置比较而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将经计算运动向量发送至熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。再次，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一者中定位运动向量指向的预测性块。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值，如下文所论述。一般来说，运动估计单元42相对于亮度分量执行运动估计，且运动补偿单元44将基于所述亮度分量所计算的运动向量用于色度分量及亮度分量两者。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
视频编码器20可经配置以执行上文关于图1所论述的本发明的各种技术中的任一者，且如下文将更详细地所描述。举例来说，运动补偿单元44可经配置以根据本发明的技术使用AMVP或合并模式来译码用于视频数据的块的运动信息。
假定运动补偿单元44选择执行合并模式，运动补偿单元44可形成包含合并候选者集合的候选者列表。运动补偿单元44可基于特定的预定次序将候选者添加至候选者列表。如上文所论述，运动补偿单元44还可添加额外候选者且执行对候选者列表的修剪。最终，模式选择单元40可确定哪些候选者将用于编码当前块的运动信息，且编码表示所选择候选者的合并索引。
如上文所描述，作为由运动估计单元42及运动补偿单元44执行的帧间预测的替代例，帧内预测单元46可对当前块进行帧内预测。具体地说，帧内预测单元46可确定待用以编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可例如在单独编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可从所测试模式中选择适当帧内预测模式来使用。
举例来说，帧内预测单元46可使用对于各种所测试帧内预测模式的位率-失真分析来计算位率-失真值，且在所测试模式中选择具有最佳位率-失真特性的帧内预测模式。位率-失真分析大体上确定经编码块与原始、未编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位率(即，位的数目)。帧内预测单元46可根据各种经编码块的失真及位率来计算比率，以确定哪一帧内预测模式展现所述块的最佳位率-失真值。
在针对块选择帧内预测模式之后，帧内预测单元46可将指示用于块的所选帧内预测模式的信息提供至熵编码单元56。熵编码单元56可编码指示所选帧内预测模式的信息。视频编码器20可在经发射位流中包含以下各者：配置数据，其可包含多个帧内预测模式索引表及多个经修改帧内预测模式索引表(也被称作码字映射表)；各种块的编码上下文的定义；及待用于所述上下文中的每一者的最可能帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示。
视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将变换(例如离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子带变换或其它类型的变换。
在任何情况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数块。变换可将残余信息从像素值域转换至变换域，例如频域。变换处理单元52可将所得变换系数发送至量化单元54。量化单元54量化变换系数以进一步减小位率。量化过程可减小与系数中的一些或全部相关联的位深度。量化程度可通过调整量化参数来修改。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在由熵译码单元56进行熵译码之后，可将经编码位流发射至另一装置(例如，视频解码器30)或加以存档以供稍后发射或检索。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重构残余块，例如，以供稍后用作参考块。运动补偿单元44可通过将残余块与参考图片存储器64的帧中的一者的预测性块相加来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算用于在运动估计中使用的次整数像素值。求和器62将经重构残余块与由运动补偿单元44产生的运动补偿预测块相加，以产生经重构视频块以存储于参考图片存储器64中。经重构视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
图3为绘示可经配置以执行本发明的运动向量预测技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包括熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考图片存储器82及求和器80。在一些实例中，视频解码器30可执行与关于视频编码器20(图2)所描述的编码遍次大体上互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量来产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符来产生预测数据。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发至运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测处理单元74可基于用信号传送帧内预测模式及来自当前帧或图片的先前经解码块的数据来产生用于当前视频切片的视频块的预测数据。当视频帧经译码为帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素而产生用于当前视频切片的视频块的预测性块。预测性块可由参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于参考图片存储器82中的参考图片，使用默认构造技术来构造参考帧列表：列表0及列表1。
运动补偿单元72通过剖析运动向量及其它语法元素来确定当前视频切片的视频块的预测信息，且使用所述预测信息产生用于正经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些来确定用于译码视频切片的视频块的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、所述切片的参考图片列表中的一或多者的构造信息、所述切片的每一经帧间编码视频块的运动向量、所述切片的每一经帧间译码视频块的帧间预测状态及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元72还可执行基于内插滤波器的内插。运动补偿单元72可使用如由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的次整数像素的内插值。在此情况下，运动补偿单元72可从接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器产生预测性块。
视频解码器30可经配置以执行上文关于图1所论述的本发明的各种技术中的任一者，如下文将更详细地所论述。举例来说，运动补偿单元72可经配置以确定根据本发明的技术使用AMVP或合并模式来执行运动向量预测。熵解码单元70可解码表示运动信息如何用于当前块的译码的一或多个语法元素。
假定语法元素指示合并模式被执行，运动补偿单元72可形成包含合并候选者集合的候选者列表。运动补偿单元72可基于特定的预定次序将候选者添加至候选者列表。如上文所论述，运动补偿单元72还可添加额外候选者及执行候选者列表的修剪。最后，运动补偿单元72可解码表示哪一候选者被用于译码当前块的运动信息的合并索引。
反量化单元76反量化(即，解量化)提供于位流中且由熵解码单元70熵解码的经量化变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QPY以确定应当应用的量化程度及类似地确定应当应用的反量化程度。
反变换单元78将反变换(例如，反DCT、反整数变换或在概念上类似的反变换过程)应用于变换系数，以便在像素域中产生残余块。
在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过对来自反变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码视频块。求和器80表示执行此求和运算的一或多个组件。必要时，还可应用解块滤波器对经解码块进行滤波以便移除块效应假影。还可使用其它环路滤波器(在译码环路内或在译码环路后)以使像素转变平滑，或以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储于参考图片存储器82中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后在显示装置(例如图1的显示装置32)上呈现。
图4为绘示帧内预测的方面的概念图。视频编码器20及/或视频解码器30可实施帧内预测以通过使用块的空间相邻经重构图像样本来执行图像块预测。用于16×16图像块的帧内预测的典型实例展示于图4中。如图4中所绘示，通过帧内预测，16×16图像块(呈实线正方形)是根据沿着选定预测方向(如箭头所指示)位于最近上方行及左边列中的上方及左边相邻经重构样本(参考样本)来预测。在HEVC，对于亮度块的帧内预测，包含35个模式。
图5为绘示用于亮度块的帧内预测模式的概念图。所述模式包含平面模式、DC模式及33个角度模式，如图5中所指示。定义于HEVC中的帧内预测的35个模式被加索引，如下表1中所展示：
帧内预测模式 相关联名称
0 INTRA_PLANAR
1 INTRA_DC
2..34 INTRA_ANGULAR2..INTRA_ANGULAR34
表1-帧内预测模式及相关联名称的规范
图6为绘示平面模式的方面的概念图。对于通常为最常使用的帧内预测模式的平面模式，预测样本是如图6中所展示而产生。为了对N×N块执行平面预测，对于定位在(x,y)的每一样本，视频编码器20及/或视频解码器30可利用双线性滤波器使用四个特定相邻经重构样本(即，参考样本)来计算预测值。四个参考样本包含右上方经重构样本TR、左下方经重构样本BL、位于当前样本的同一列(rx,-1)处(表示为T)及当前样本的同一行(r-1,y)处(表示为L)的两个经重构样本。平面模式如以下方程式中所展示而公式化：pxy＝(N-x-1)·L+(N-y-1)·T+x·TR+y·BL。
对于DC模式，简单地用相邻经重构样本的平均值填充预测块。一般来说，针对模型化平滑地变化及恒定图片区域应用平面模式及DC模式两者。
图7为绘示根据HEVC的角度模式的方面的概念图。对于总共包含33个不同预测方向的HEVC中的角度帧内预测模式，帧内预测过程描述如下。对于每一给定角度帧内预测，可相应地识别帧内预测方向。举例来说，根据图5，帧内模式18对应于纯水平预测方向，且帧内模式26对应于纯竖直预测方向。给定特定帧内预测方向，针对预测块的每一样本，首先将样本的坐标(x,y)沿着预测方向投影至相邻经重构样本的行/列，如图7中的实例中所展示。假设(x,y)对经投影至两个相邻经重构样本L与R之间的分数位置α，那么使用双抽头双线性内插滤波器来计算用于(x,y)的预测值，如以下方程式中所展示而公式化：pxy＝(1-α)·L+α·R。为避免浮点运算，在HEVC中，实际上使用如pxy＝((32-a)·L+a·R+16)>>5的整数算术来近似上述计算，其中a为等于32*α的整数。
下文大体上描述了色度编码及解码的方面。色度信号中的结构常常遵循对应亮度信号的结构。如所描述，根据HEVC，每一亮度块对应于一个色度块，而每一色度预测块可基于等于2N×2N或N×N的亮度预测块的分区大小而对应于一个或四个亮度预测块。利用色度信号结构的这些特性及一般趋势，HEVC提供视频编码器20可用以向视频解码器30指示色度PU是与对应选定亮度PU使用同一预测模式预测的情况或例子的机制。下表2规定视频编码器20可使用以用信号传送用于色度PU的色度模式的模式布置。举例来说，一个经帧内编码的色度PU可使用选自五个(5)模式中的一者的模式来预测，所述模式包含平面模式(INTRA_PLANAR)、竖直模式(INTRA_ANGULAR26)、水平模式(INTRA_ANGULAR10)、DC模式(INTRA_DC)及导出模式(DM)。DM经设定为用于预测对应选定亮度PU的帧内预测模式。举例来说，如果对应选定亮度PU是用具有等于11的索引的帧内模式译码，那么DM经设定为具有等于11的索引的帧内模式。
表2-色度帧内预测模式及相关联名称的规范
如果在经编码视频位流中指示导出模式将用于PU，那么视频解码器30可使用用于对应亮度PU的预测模式来执行针对色度PU的预测。为了缓解可能在导出模式指预测模式中的始终存在的一者时出现的冗余问题，视频编码器20及视频解码器30可使用指定替代模式作为重复模式的替代物。如上文的表2中所展示，视频编码器20及视频解码器30可使用也被称作“角度(34)模式”的“INTRA_ANGULAR34”色度替代模式作为替代物以移除冗余。举例来说，色度PU与亮度PU之间的关系为一对一或多对一，视频编码器20及视频解码器30可通过选择可适用于单个对应亮度PU的预测模式来确定用于色度PU的预测模式。
然而，在一些情况下，一个色度PU可对应于多个亮度PU。认为单个色度PU对应于多个亮度PU的情境是关于色度编码及解码的例外或“特殊情况”。举例来说，在这些特殊情况中的一些中，一个色度PU可对应于四个亮度PU。在色度-亮度关系是一对多的特殊情况下，视频编码器20及视频解码器30可通过选择用于对应左上方亮度PU的预测模式来确定用于色度PU的预测模式。
视频编码器20及视频解码器30可熵译码(分别为熵编码及熵解码)指示用于视频数据块的色度预测模式的数据。根据色度模式译码，视频编码器20可指派1-b语法元素(0)至单个最常出现的导出模式，同时指派3-b语法元素(分别为100、101、110及111)至剩余四个模式中的每一者。视频编码器20及视频解码器3可通过一个上下文模型仅译码第一二进位(bin)，且可对剩余两个二进位(需要时)进行旁路译码。
视频编码器20及视频解码器30可根据上下文自适应二进制算术译码(CABAC)来熵译码(分别为熵编码及熵解码)视频数据。CABAC是如下熵译码方法：首先在H.264/AVC中介绍，且描述于D.Marpe、H.Schwarz及T.Wiegand的“Context-based adaptive binaryarithmetic coding in the H.264/AVC video compression standard”(IEEETrans.Circuits Syst.Video Technol.，2003年7月，第7期第13卷，第620至636页)中。CABAC现在用于高效率视频译码(HEVC)视频译码标准中。视频编码器20可视频解码器30可以与针对HEVC所执行的CABAC类似的方式将CABAC用于熵译码。
CABAC涉及三个主要功能：二进制化、上下文模型化及算术译码。二进制化功能将语法元素映射至被称作二进位串的二进制符号(二进位)。上下文模型化功能估计二进位的概率。算术译码功能(也被称作二进制算术译码)基于估计的概率而将二进位压缩至位。
视频编码器20及视频解码器30可使用HEVC中所提供的若干不同二进制化过程中的一或多者执行用于CABAC的二进制化。HEVC中所提供的二进制化过程包含一元(U)、截短一元(TU)、k阶指数哥伦布(EGk)及固定长度(FL)技术。这些二进制化过程的细节描述于V.Sze及M.Budagavi的“High throughput CABAC entropy coding in HEVC”(IEEETransactions on Circuits and Systems for Video Technology(TCSVT)，2012年12月，第12期，第22卷，第1778至1791页)中。
根据基于一元的编码，视频编码器20可用信号传送长度N+1的二进位串，其中“N”表示整数值，其中前N个二进位(值)为1，且其中最后二进位(值)为0。根据基于一元的解码，视频解码器30可搜索二进位的0值。在到0值二进位后，视频解码器30可确定语法元素是完整的。
根据截短一元译码，视频编码器20可比一元译码的情况少编码一个二进位。举例来说，视频编码器20可设定语法元素的最大可能值的最大值。最大值在本文中由“cMax”指示。当(N+1)<cMax时，如同一元译码，视频编码器20可实施相同用信号传送。然而，当(N+1)＝cMax时，视频编码器20可将所有二进位设定为相应值1。视频解码器30可搜索0值二进位，直至已检验了cMax数目个二进位，以确定何时语法元素是完整的。一元及截短一元译码中所使用的二进位串的方面及其间的对比绘示于下面的表3中。对比二进位值绘示于表3中，使用粗斜体调出。
表3-一元及截短一元的二进位串实例
视频编码器20及视频解码器30还可执行CABAC的上下文模型化方面。上下文模型化提供相对准确的概率估计，其是实现高效率译码的方面。因此，上下文模型化是自适应过程，且有时被描述为“高度自适应”。不同上下文模型可用于不同二进位，其中上下文模型的概率可基于先前已译码二进位的值来更新。具有类似分布的二进位常常共享同一上下文模型。视频编码器20及/或视频解码器30可基于包含以下各者的一或多个因素来选择用于每一二进位的上下文模型化：语法元素的类型、语法元素中的二进位位置(binIdx)、亮度/色度、相邻信息等等。
视频编码器20及视频解码器30可在二进位译码(二进位编码或二进位解码，视具体情况而定)的每一实例之后执行上下文切换。视频编码器20及视频解码器30可将概率模型作为7位条目(6个位用于概率状态且1个位用于最可能符号(MPS))存储于上下文存储器中，且可使用由上下文选择逻辑计算的上下文索引来寻址概率模型。HEVC提供与H.264/AVC相同的概率更新方法。然而，基于HEVC的上下文选择逻辑是关于H.264/AVC上下文选择逻辑经修改，以改善输送量。视频编码器20及视频解码器30还可将概率表示分别用于CABAC熵编码及解码。对于CABAC，64个代表性概率值pσ∈[0.01875,0.5]是通过以下递归方程式针对最不可能符号(LPS)导出：
pσ＝α*pσ-1，对于所有σ＝1,…,63，
其中
在上述方程式中，所述组概率中的所选缩放因数α≈0.9492与基数N＝64两者表示概率表示的准确度与适应速度之间的折中方案。上述方程式中所使用的参数已展示出概率表示准确度与较快适应需要之间的相对良好折中方案。MPS的概率等于1减去LPS的概率(即，(1-LPS))。因此，可由CABAC表示的概率范围是[0.01875,0.98125]。范围的上限(MPS概率)等于一减去下限(即，一减去LPS概率)。即，1-0.01875＝0.98125。
在编码或解码特定切片之前，视频编码器20及视频解码器30可基于一些预定义值来初始化概率模型。举例来说，给定由“qp”指示的输入量化参数及由“initVal”指示的预定义值，视频编码器20及/或视频解码器30可导出概率模型(由“state”及“MPS”指示)的7位条目如下：
qp＝Clip3(0,51,qp)；
slope＝(initVal>>4)*5-45；
offset＝((initVal&15)<<3)-16；
initState＝min(max(1,(((slope*qp)>>4)+offset)),126)；
MPS＝(initState>＝64)；
state index＝((mpState？(initState-64):(63-initState))<<1)+MPS；
导出的状态索引隐含地包含MPS信息。即，当状态索引为偶数值时，MPS值等于0。相反地，当状态索引为奇数值时，MPS值等于1。“initVal”的值在具有8位精度的范围[0,255]内。
预定义initVal是切片相依性的。即，视频编码器20可将三组上下文初始化参数分别用于特别用于I切片、P切片及B切片的译码的概率模型。以此方式，视频编码器20经启用以针对这三个切片类型在三个初始化表之间选择，使得可潜在地实现对不同译码情境及/或不同类型视频内容的更好配合。
JEM3.0的新近进展包含关于帧内模式译码的发展。根据JEM3.0的这些新近发展，视频编码器20及视频解码器30可执行具有6个最可能模式(MPM)的帧内模式译码。如V.Seregin、X.Zhao、A.Said、M.Karczewicz的“Neighbor based intra most probablemodes list derivation”(JVET-C0055，日内瓦，2016年5月)中所描述，HEVC中的33个角度模式已扩展至65个角度模式，加上具有6个最可能模式(MPM)的DC及平面模式。视频编码器20可编码用以指示帧内亮度模式是否包含于MPM候选者列表中的一位旗标(例如，“MPM旗标”)，所述MPM候选者列表包含6个模式(如上文所引用的JVET-C0055中所描述)。如果帧内亮度模式包含于MPM候选者列表中(由此导致视频编码器20将MPM旗标设定为正值)，那么视频编码器20可进一步编码及用信号传送MPM候选者的索引，以指示列表中的哪个MPM候选者是帧内亮度模式。否则(即，如果视频编码器20将MPM旗标设定为负值)，视频编码器20可进一步用信号传送剩余帧内亮度模式的索引。
根据JEM3.0进步的这些方面，视频解码器30可在接收到用信号传送的经编码视频位流后解码MPM旗标，以确定帧内亮度模式是否包含于MPM候选者列表中。如果视频解码器30确定MPM旗标经设定为正值，那么视频解码器30可解码接收的索引以从MPM候选者列表识别帧内亮度模式。相反地，如果视频解码器30确定MPM旗标经设定为负值，那么视频解码器30可接收且解码剩余帧内亮度模式的索引。
关于自适应多核心变换还已实现新近JEM3.0进展。除了用于HEVC中的DCT-II及4×4DST-VII之外，自适应多变换(AMT)方案还被用于经帧间译码块及经帧内译码块两者的残余译码。AMT利用除了HEVC目前所定义的变换之外的来自DCT/DST家族的多个选定变换。JEM3.0的新引入变换矩阵为DST-VII、DCT-VIII、DST-I及DCT-V。
对于帧内残余译码，由于不同帧内预测模式的不同残余统计数据，视频编码器20及视频解码器30可使用模式相依性变换候选者选择过程。三个变换子集已如下表4中所展示而定义，且视频编码器20及/或视频解码器30可基于帧内预测模式来选择变换子集，如下表5中所指定。
表4：三个预定义的变换候选者集合
表5：用于每一帧内预测模式的选定水平(H)及竖直(V)变换集合
根据子集合概念，视频解码器30可首先基于下表6识别变换子集。举例来说，为了识别变换子集，视频解码器30可使用CU的帧内预测模式，其在CU层级AMT旗标设定为值1的情况下用信号传送。随后，针对水平及竖直变换中的每一者，视频解码器30可根据下表7选择经识别变换子集中的两个变换候选者中的一者。用于水平及竖直变换中的每一者的选定变换候选者是基于明确地用信号传送具有旗标的数据而选择。然而，对于帧间预测残余，视频解码器30可针对所有帧间模式且针对水平及竖直变两者使用仅一个变换集合，其由DST-VII及DCT-VIII组成。
表6-色度帧内预测模式及相关联名称的规范
表7-用于每一色度模式的二进位串
关于用于视频译码的LM(线性模型)预测模式已实现新近JEM3.0进展。本发明的视频译码装置(例如视频编码器20及视频解码器30)在视频编码及视频解码时可处理颜色空间及颜色格式的方面。颜色视频在多媒体系统中发挥主要作用，其中各种颜色空间用以有效表示颜色。颜色空间使用多个分量利用数字值指定颜色。常用颜色空间为“RGB”颜色空间，其中将颜色表示为三原色分量值(即，红色、绿色及蓝色)的组合。对于颜色视频压缩，已广泛地使用YCbCr颜色空间，如A.Ford及A.Roberts的“Colour space conversions”(Tech.Rep，伦敦，威斯敏斯特大学，1998年8月)中所描述。YCbCr可经由线性变换从RGB颜色空间相对容易地转换。在RGB至YCbCr转换中，不同分量之间的冗余(即，交叉分量冗余)在所得YCbCr颜色空间中显著减小。
YCbCr的一个优点为与黑白TV的反向兼容性，这是因为Y信号传达亮度信息。另外，色度带宽可通过以4:2:0色度取样格式次取样Cb及Cr分量而减少，与RGB中的次取样相比，主观影响显著较小。由于这些优点，YCbCr已为视频压缩中的主要颜色空间。还存在可用于视频压缩的其它颜色空间，例如YCoCg。出于说明目的，不管所使用的实际颜色空间如何，在整个本发明中使用Y、Cb、Cr信号来表示视频压缩方案中的三个颜色分量。在4:2:0取样中，两个色度阵列(Cb及Cr)中的每一者的高度及宽度均为亮度阵列(Y)的一半。
图8为绘示图片中的标称竖直及水平位置亮度样本及色度样本的实例的概念图。图片中的亮度样本及色度样本的标称竖直及水平相对位置是大体上对应于如4:2:0取样格式所提供的位置而展示于图8中。
用于视频译码的LM预测模式的方面将在以下段落中论述。尽管交叉分量冗余在YCbCr颜色空间中显著减小，但三个颜色分量之间的相关性在YCbCr颜色空间中仍然存在。已研究各种技术以通过进一步减小颜色分量之间的相关性来改善视频译码性能。关于4:2:0色度视频译码，在HEVC标准开发期间研究了线性模型(LM)预测模式。LM预测模式的方面描述于J.Chen、V.Seregin、W.-J.Han、J.-S.Kim及B.-M.Joen的“CE6.a.4:Chroma intraprediction by reconstructed luma samples”(ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(Joint Collaborative Team on Video Coding，JCT-VC)，JCTVC-E266，第5次会议，日内瓦，2011年3月16日至23日)中。
在根据LM预测模式执行预测时，视频编码器20及视频解码器30可通过使用以下方程式(1)中所展示的线性模型，基于同一块的减少取样的经重构亮度样本来预测色度样本。
predC(i,j)＝α·recL(i,j)+β (1)
其中predC(i,j)表示块中的色度样本的预测且recL(i,j)表示同一块的减少取样的重构亮度样本。参数α及β是从当前块周围的因果性重构样本导出。
图9为绘示用于导出在根据线性模型(LM)模式的预测中所使用的参数的样本的位置的概念图。图9中所描绘的选定参考样本的实例是关于如上文的方程式(1)中所使用的α及β的导出。如果色度块大小由N×N(其中N为整数)表示，那么i及j均在范围[0,N]内。
视频编码器20及视频解码器30可通过根据以下方程式(2)减小或潜在地最小化当前块周围的相邻经重构亮度样本及色度样本之间的回归误差来导出方程式(1)中的参数α及β。
参数α及β如下所述而解出。
β＝(∑yi-α·∑xi)/I (4)
其中xi表示减少取样的经重构亮度参考样本，yi表示经重构色度参考样本，且I表示参考样本的量(例如，计数)。对于目标N×N色度块，当左方及上方因果样本两者可用时，所涉及样本的总数(I)等于2N。当仅左方或上方因果样本可用时，所涉及样本的总数(I)等于N。
总体来说，当应用LM预测模式时，视频编码器20及/或视频解码器30可按列于如下的次序调用以下步骤：
a)减少取样相邻亮度样本；
b)导出线性参数(即，α及β)；及
c)减少取样当前亮度块且从减少取样的亮度块及线性参数导出预测。
为了进一步改善译码效率，视频编码器20及/或视频解码器30可利用减少取样滤波器(1,2,1)及(1,1)来导出对应亮度块内的相邻样本xi及减少取样的亮度样本recL(i,j)。
关于色度分量之间的预测还已实现新近JEM3.0进展。在JEM中，LM预测模式经扩展至两个色度分量之间的预测。举例来说，可从Cb分量预测Cr分量。替代使用经重构样本信号，视频编码器20及/或视频解码器30在剩余域中可应用交叉分量预测。举例来说，视频编码器20及/或视频解码器30可通过将加权的经重构Cb残余与原始Cr帧内预测相加从而形成最终Cr预测来实施交叉分量预测的剩余域应用。此操作的实例展示于以下方程式(3)中：
视频编码器20及/或视频解码器30可导出缩放因数α，如在LM模式中的导出。然而，一个不同之处在于相对于误差函数中的默认α值增加了回归成本，使得导出的缩放因数偏向默认值(-0.5)。LM预测模式是作为一个额外色度帧内预测模式而添加。就此来说，视频编码器20可针对色度分量增加多一次RD成本检查，以用于选择色度帧内预测模式。
四叉树二叉树(QTBT)结构的方面描述于以下段落中。在VCEG提议COM16-C966(J.An、Y.-W Chen、K.Zhang、H.Huang、Y.-W.Huang及S.Lei的“Block partitioningstructure for next generation video coding”(International TelecommunicationUnion，COM16-C966，2015年9月))中，针对超过HEVC的未来视频译码标准建议QTBT分割方案。展示COM16-C966中所建议的QTBT结构的模拟比HEVC中所使用的四叉树结构更有效率。在COM16-C966的建议QTBT结构中，首先根据四叉树结构来分割译码树型块(CTB)，其中一个节点的四叉树拆分可反复，直至所述节点达到最小允许的四叉树叶节点大小(MinQTSize)。
根据QTBT结构，如果四叉树叶节点大小不大于最大允许的二叉树型根节点大小(MaxBTSize)，那么可根据二叉树结构进一步分割四叉树叶节点。给定节点的二叉树拆分可反复，直至所述节点达到最小允许的二叉树叶节点大小(MinBTSize)，或直至反复拆分达到最大允许的二叉树深度(MaxBTDepth)。二叉树叶节点即为CU，其在无任何进一步分割的情况下可用于预测(例如图片内或图片间预测)及变换。
根据二叉树拆分，视频编码器20及/或视频解码器30可实施两个拆分类型，即，对称水平拆分及对称竖直拆分。在QTBT分割结构的一个实例中，CTU大小经设定为128×128(即，128×128亮度样本及两个对应64×64色度样本)，MinQTSize经设定为16×16，MaxBTSize经设定为64×64，MinBTSize(对于宽度及高度两者)经设定为4，且MaxBTDepth经设定为4。视频编码器20及/或视频解码器30可首先将QTBT方案的四叉树分割部分应用于CTU，以产生四叉树叶节点。四叉树叶节点可具有从16×16(即，MinQTSize)至128×128(即，CTU大小)的大小。
如果叶四叉树节点为128×128，那么视频编码器20及/或视频解码器30不能使用QTBT方案的二叉树部分将叶四叉树节点进一步拆分，这是因为节点大小超过MaxBTSize(在此情况下，64×64)。在其它方面(即，如果节点大小不超过64×64的MaxBTSize)，视频编码器20及/或视频解码器30可使用QTBT结构的二叉树分割部分将叶四叉树节点进一步分割。因此，四叉树叶节点还为QTBT方案的二叉树部分的根节点，且因此具有二叉树深度0。当反复二叉树分割达到使二叉树深度达到MaxBTDepth(即，4)时，视频编码器20及/或视频解码器30关于叶节点不执行任何种类的进一步拆分。当QTBT方案的二叉树部分产生具有等于MinBTSize(即，4)的宽度的二叉树节点时，视频编码器20及/或视频解码器30可不执行节点的进一步水平拆分。类似地，当QTBT方案的二叉树部分产生具有等于MinBTSize(即，4)的高度的二叉树节点时，视频编码器20及/或视频解码器30可不执行节点的进一步竖直拆分。QTBT方案的二叉树部分的叶节点(在分割完全达到二叉树分割的情况下)即无任何其它分割的情况下通过预测及变换进一步处理的CU。
图10为绘示QTBT分割方案的方面的概念图。图10的左侧的框图绘示根据QTBT分割结构分割块162的实例。QTBT分割方案的四叉树分割方面是使用块162中的实线绘示，而QTBT分割方案的二叉树分割方面是使用块162中的虚线绘示。块162在仅调用QTBT方案的四叉树部分的情况下分割成正方形叶节点，在调用QTBT方案的二叉树部分(无论其是否与四叉树分割部分组合地调用)的任何情况下分割成非正方形的矩形叶节点。与HEVC的分割技术(其中多个变换是可能的)相比，QTBT分割方案提供一系统，由此，PU大小始终等于CU大小。
图10的右侧的示意图绘示树结构164。树结构164是用于关于图10中的块162所绘示的分割的对应树结构。同样在树结构164的情况下，在图10的QTBT分割方案的支持下，实线指示四叉树拆分，且虚线指示二叉树拆分。对于使用树结构164中的虚线所绘示的二叉树型部的每一拆分(即，非叶)节点，视频编码器20可用信号传送相应一位旗标以指示哪个拆分类型(即，水平或竖直)被使用。根据QTBT分割的一些实施方案，视频编码器20可将旗标设定为值零(0)以指示水平拆分，且设定为值一(1)以指示竖直拆分。应了解，对于QTBT分割结构的四叉树拆分部分，不需要指示拆分类型，这是因为四叉树拆分始终将块水平地且竖直地拆分成大小相等的4个子块。
图11A及11B绘示用于根据QTBT分割方案的对应亮度块及色度块的独立分割结构的实例。QTBT块分割技术准许且支持具有独立的基于QTBT的分割结构的对应亮度块及色度块的特征。根据QTBT分割方案，对于P切片及B切片，一个CTU中的对应亮度CTU及色度CTU共享同一基于QTBT的分割结构。然而，对于I切片，亮度CTU可根据第一基于QTBT的分割结构分割成CU，且色度CTU是根据第二基于QTBT的分割结构分割成色度CU，第二基于QTBT的分割结构与第一基于QTBT的分割结构可不相同或可并非不相同。因此，I切片中的CU可由亮度分量的译码块或两个色度分量的译码块组成，而对于P切片及B切片中的CU，CU可由所有三个颜色分量的译码块组成。
用于I切片的由QTBT支持的独立树结构包含与色度译码有关的方面。举例来说，JEM允许每个PU六个(6)色度模式。DM模式的使用指示：视频编码器20及/或视频解码器30将与用于对应亮度PU相同的预测模式用于色度PU。如上所述，对于I切片，用于亮度块及对应色度的基于QTBT的分割结构可不同。因而，当DM模式用于I切片中时，视频编码器20及/或视频解码器30可继承覆盖左上方位置的PU的亮度预测模式以针对色度PU执行预测。与HEVC的分割技术(其中亮度块及其对应色度块始终共享同一树结构)相比，JEM3.0的基于的QTBT分割准许如图11A及11B中所展示的亮度树结构与色度树结构之间的可能差异。
图11A及11B绘示I切片中的一个CTU的QTBT分割结构的实例。图11A绘示亮度块172，其中左分割区174使用上部及下部书名号调出。图11B绘示对应色度块176，其中左分割区178使用上部及下部书名号调出。相应左分割区174及178包含更细分割区，如图11A及11B中所展示。L(i)(其中“i”表示相应分割区内所绘示的相应整数值)指示：用于相应分割区的亮度帧内预测模式具有等于i的索引。在图11A及11B中所绘示的实例中，视频编码器20及/或视频解码器30可根据DM模式来编码/解码色度块176的左分割区。因此，视频编码器20及/或视频解码器30可选择LM模式根据左上方对应亮度块分割区来预测色度块176的左分割区178。在图11A及11B中所绘示的使用情况情境下，视频编码器20及/或视频解码器30可选择具有等于1的索引的帧内预测模式来编码/解码色度块176的左分割区178，这是因为“i”在亮度块172的左上方分割区中具有值1。
上文的表7规定视频编码器20可用于用信号传送色度模式的模式布置。为了移除在导出模式(DM)指始终存在的模式中的一者时可能出现的色度模式用信号传送中的可能冗余，视频编码器20可使用角度(在总共存在67个帧内模式时为66)模式来替代如下表7.1中所展示的重复模式。在下表7.1中所绘示的使用情况情境下，角度模式(表示为INTRA_ANGULAR66)被称为“替代模式”。
表7.1-色度帧内预测模式及相关联名称的规范
如上文所论述，视频编码器20及视频解码器30可执行色度预测模式的熵译码。在色度模式译码中，1-b语法元素(0)经指派至最常出现的导出模式，两个二进位(10)经指派至LM模式，而4-b语法元素(1100、1101、1110、1111)经指派至剩余四个模式。前两个二进位是用一个上下文模型译码且剩余两个二进位(需要时)可经旁路译码。
表7.2-用于每一色度模式的二进位串
本发明的技术涉及改善上文所论述的各种技术的性能。如上所述，JEM3.0支持用于针对同一CTU的色度块分割及亮度块分割的独立树结构。然而，一个色度PU可对应于多个亮度PU。根据JEM3.0的QTBT分割方面而从用于色度译码的多个亮度PU仅继承亮度帧内预测模式中的一者可提供次佳结果，所述结果可通过本发明的各种技术来改善或可能优化。另外，对于JEM中的给定PU，可能色度模式的总数为六(6)。然而，针对亮度译码，可能模式的总数为六十七(67)。本发明的各种技术可通过增大色度模式的总数来改善译码效率。
本发明的各种技术在下文以详细列举方式列出。应了解，视频编码器20及/或视频解码器30可应用下文所论述的各种技术，个别地或以所描述技术中的两者或多者的各种组合。尽管描述为由视频编码器20及/或视频解码器30执行，但应了解，图2中所绘示的视频编码器20的一或多个组件及/或图3中所绘示的视频解码器30的一或多个组件可执行本发明的各种技术。
下文的描述将一个色度块的尺寸表示为W*H(其中“W”为色度块的宽度且“H”为色度块的高度)。色度块中的左上方像素相对于整个切片的位置是由元组(x,y)表示，其中“x”及“y”分别为水平偏移及竖直偏移。对应于给定色度块的亮度块具有等于2W*2H的大小(对于4:2:0颜色格式)或W*H(对于4:4:4颜色格式)。对应亮度块中的左上方像素相对于整个切片的位置是由元组(2x,2y)(对于4:2:0)或(x,y)(对于4:4:4)表示。下文给出的实例是关于4:2:0颜色格式来描述。应了解，本文中所描述的技术还可扩展至其它颜色格式。
根据本发明的某些方面，关于色度译码可添加多个DM模式，由此增大可供视频编码器20及视频解码器30使用(来自亮度块)的可用色度编码及解码模式的数目。即，根据本发明的这些方面，视频编码器20及视频解码器30可具有比单个选项更多的DM选项用以继承用于对应亮度块的译码模式。举例来说，根据本发明的技术，视频编码器20及/或视频解码器30可基于对应亮度块中所使用的帧内预测模式而产生含有用于色度块的DM帧内预测模式的候选者列表。尽管通过在DM候选者列表中维持相同总数的可能色度模式保持了译码及带宽效率，针对应用多个DM的本发明的技术提供潜在的精度增强，这是因为所述DM与现有技术中所使用的默认模式相比提供较佳准确度。
在此实例中，视频编码器20可用信号传送如目前在JEM3.0中所阐述的色度模式。然而，如果视频编码器20选择DM模式用于色度块的色度译码，那么视频编码器20可实施额外用信号传送。更具体地说，根据此实例，视频编码器20可编码及用信号传送指示DM模式经选择用于色度块的编码的旗标。基于色度块已在DM模式下编码，那么视频编码器20可编码及用信号传送索引值，以指示候选者列表的哪个模式被用作DM模式。基于候选者列表的大小，视频编码器20可编码及用信号传送零(0)与五(5)之间的索引值。即，视频编码器20可产生色度预测模式的候选者列表，其包含总共六个(6)候选者，即，导致候选者列表大小为六(6)。
基于接收到设定为指示经编码色度块是使用DM模式来编码的值的旗标，视频解码器30可确定用于色度块的解码模式包含于候选者列表中。随后，视频解码器30可接收及解码识别色度模式候选者列表中的条目的索引。基于指示经编码色度块是使用DM模式来编码的旗标，且使用针对经编码色度块的所接收的索引值，视频解码器30可从色度模式候选者列表选择特定模式用于解码色度块。以此方式，在DM模式经选择用于译码色度块的例子中，视频编码器20及视频解码器30可增大可用于编码及解码色度块的候选者模式的数目。基于候选者列表的大小，视频解码器30可解码零(0)与五(5)之间的索引值。即，视频解码器30可产生色度预测模式的候选者列表，其包含总共六个(6)候选者，即，导致候选者列表大小为六(6)。
在一些实例中，视频编码器20可首先编码及用信号传送指示色度块是否以线性模型(LM)模式来编码的旗标。在这些实例中，视频编码器20可在用信号传送旗标(用以指示色度块是否经LM编码)后跟随指示候选者列表中的所有DM候选者的数据。根据此实施方案，视频解码器30可在经编码视频位流中接收指示色度块是否以LM模式来编码的经编码旗标。视频解码器30可从在经编码视频位流中的LM旗标之后开始的位置剖析指示候选者列表中的所有DM候选者的数据。因此将了解，根据本发明的各种实例，视频解码器30可构造DM候选者列表，或替代地，可在经编码视频位流中接收整个DM候选者列表。在任一情境下，视频解码器30可使用用信号传送索引从候选者列表选择适当DM模式。
视频编码器20还可实施关于DM候选者列表的DM的精简。即，视频编码器20可确定包含于所述列表中的DM中的两个是否相同。如果视频编码器20确定单个DM的多个实例(即，多个相同DM)包含于候选者列表中，那么视频编码器20可通过移除同一DM的所有其它实例来移除冗余。即，视频编码器20可精简所述列表，使得此相同DM的仅一个实例保持在候选者列表中。
在本发明的基于DM候选者列表的技术的一些实例中，视频编码器20可针对默认模式中的一或多者来精简候选者列表中的DM候选者。根据本发明的精简技术，如果视频编码器20确定默认模式中的一者(例如，默认模式列表中的第K模式)与DM候选者列表中的DM模式中的一者相同，那么视频编码器20可用替代模式替换候选者列表中的此DM模式。除了替换候选者列表中的经精简DM模式之外，视频编码器20还可将替代模式设定为具有等于((最大帧内模式索引)-1-K)的值的索引的模式。在视频编码器20用信号传送指示包含于候选者列表中的所有DM模式的数据的一些实施方案中，视频编码器20可用信号传送反映经精简DM候选者列表的数据。
在视频解码器30还执行DM候选者列表构造的一些实例中，视频解码器30还可执行精简以完成DM候选者列表。举例来说，如果视频解码器30确定默认模式中的一者(例如，默认模式列表中的第K模式)与DM候选者列表中的DM模式中的一者相同，那么视频解码器30可用替代模式替换候选者列表中的此DM模式。除了替换候选者列表中的经精简DM模式之外，视频解码器30还可将替代模式设定为具有等于((最大帧内模式索引)-1-K)的值的索引的模式。
通过实施上文所描述的基于DM候选者列表的技术中的一或多者，视频编码器20及视频解码器30可增大可能色度预测模式的数目。经由上文所描述的基于DM候选者列表的技术可获得的增大数目的色度模式可在维持精度同时改善译码效率。如上所述，在各种实例中，视频解码器30可经由经编码视频位流接收整个DM候选者列表。或替代地，可构造DM候选者列表且使用所用信号传送索引而从关于色度块的DM候选者列表选择预测模式。因为视频解码器30可接收显式用信号传送的DM候选者列表，或替代地构造DM候选者列表，所以各种基于DM候选者列表的技术在本文中被描述为由视频编码器20且视情况由视频解码器30执行。
在一些实例中，视频编码器20可将DM候选者列表的大小(即，包含于DM候选者列表中的候选者的总数)固定在特定范围内，例如在图案块内、在切片内、在图片内或在序列内。在一些此类实例中，如果视频解码器30经配置以构造DM候选者列表且使用所用信号传送索引来选择候选者，那么视频解码器30还可将DM候选者列表的大小(即，包含于DM候选者列表中的候选者的总数)固定在特定范围内，例如在图案块内、在切片内、在图片内或在序列内。
在一些实例中，视频编码器20可按含元数据的数据结构来用信号传送候选者列表的大小，所述数据结构可关于对应经编码视频数据在带外用信号传送。作为一些非限制性实例，视频编码器20可在切片标头、图片参数集合(PPS)或序列参数集(SPS)中的任一者中用信号传送候选者列表的大小。根据一些实例，视频编码器20(且视情况，视频解码器30)可经配置以预定义候选者列表的大小，使得候选者列表的大小对于所有块大小相同。替代地，视频编码器20(且视情况，视频解码器30)可经配置以预定义候选者列表的大小，使得候选者列表的大小视块的大小而变化。
根据一些实例，视频编码器20(且视情况，视频解码器30)可构造DM候选者列表以包含(例如，含有)至多三个部分。在这些实例中，DM候选者列表的三个部分包含以下各者：(i)第一部分，其包含与相对于对应亮度块的特定位置相关联的亮度帧内预测模式的候选者；(ii)第二部分，其包含从对应亮度块内的所有亮度块的函数导出的候选者，例如，如上文的一个实例中所描述的最常使用的亮度帧内预测模式；及(iii)第三部分，其包含从具有模式索引的特定偏移的选定亮度帧内预测模式导出的候选者。
在一个实例中，视频编码器20(且视情况，视频解码器30)可按次序将来自前两个部分的候选者插入至DM候选者列表中，直至候选者的总数等于预定义列表大小(即，DM模式的预定义总数)。在关于包含于DM候选者列表中的模式执行精简过程之后，如果候选者列表的大小仍然小于DM模式的预定义总数，那么视频编码器20(且视情况，视频解码器30)可插入来自所述列表的第三部分的候选者。在一个此类实例中，视频编码器20(且视情况，视频解码器30)可按第一部分、继之以第二部分、继之以第三部分的次序将来自三个部分(或两个部分，视精简的结果而定)的候选者插入至候选者列表中。在另一替代实例中，视频编码器20(且视情况，视频解码器30)可在来自第一部分的候选者之前插入来自第二部分的候选者。在又一替代实例中，视频编码器20(且视情况，视频解码器30)可在来自第一部分的候选者当中插入来自第二部分的候选者(例如，通过交错或交织第一部分及第二部分的候选者)。
根据一些实例，DM候选者列表的第一部分的候选者是继承自特定位置的用于译码对应亮度块的模式。举例来说，候选者列表的第一部分可包含继承自对应亮度块中的以下位置的模式：中心位置、左上方位置、右上方位置、左下方位置及右下方位置。即，在此实例中，候选者列表的第一部分可包含继承自对应亮度块的四个边角的模式。在一个此类实例中，视频编码器20(且视情况，视频解码器30)可按以下次序将继承自对应亮度块的四个边角位置的模式插入至DM候选者列表：中心、左上方、右上方、左下方及右下方。在另一此类实例中，视频编码器20(且视情况，视频解码器30)可按以下次序将继承自对应亮度块的四个边角位置的模式插入至DM候选者列表：中心、左上方、右下方、左下方及右上方。在其它实例中，次序可变化，且应了解，上文所描述的次序是非限制性实例。
在一个实例中，视频编码器20(且视情况，视频解码器30)可形成DM候选者列表的第一部分以包含对应亮度块的所有位置的帧内预测模式。在此实例中，第二部分可变为非必要的，这是因为第一部分包含对应亮度块的所有帧内预测模式。另外，视频编码器20(且视情况，视频解码器30)可按某一次序遍历对应亮度块内的所有单元。替代地或另外，视频编码器20(且视情况，视频解码器30)可按基于对应亮度块内的出现的减小数目的次序将附加模式添加至DM候选者列表。
在一个实例中，视频编码器20(且视情况，视频解码器30)可为了形成第三部分而将偏移应用于已插入至所述列表的前一或多个候选者。另外，在形成第三部分时，视频编码器20(且视情况，视频解码器30)可进一步应用或执行对已插入候选者的精简。在一个替代实例中，视频编码器20(且视情况，视频解码器30)可形成第三部分以包含来自相邻块的一或多个帧内色度模式。
根据本文中所描述的技术的一些实施方案，视频编码器20(且视情况，视频解码器30)可从CU至CU或从PU至PU或从TU至TU而自适应地改变候选者列表的大小。在一个实例中，视频编码器20(且视情况，视频解码器30)可仅添加来自第一部分的候选者，如关于三部分DM候选者列表形成实施方案所描述。替代地，视频编码器20(且视情况，视频解码器30)可仅将来自第一部分及第二部分的候选者添加至DM候选者列表。在一些实例中，视频编码器20(且视情况，视频解码器30)可执行精简以移除相同的帧内预测模式。III。
在视频编码器20精简DM候选者列表的实例中，如果最终精简后DM候选者列表中的候选者的数目等于1，那么视频编码器20可不用信号传送DM索引。在一些实例中，视频编码器20(且视情况，视频解码器30)可使用截短一元二进制化将DM候选者列表内的DM索引值二进制化。替代地，视频编码器20(且视情况，视频解码器30)可使用一元二进制化将DM候选者列表内的DM索引值二进制化。
在一些实例中，视频编码器20(且视情况，视频解码器30)可设定上下文模型索引等于二进位索引。替代地，用于译码DM索引值的上下文模型的总数可小于最大候选者数目。在此情况下，视频编码器20可设定上下文模型索引设定等于min(K,二进位索引)，其中K表示正整数。替代地，视频编码器20可用上下文模型仅编码前几个二进位，且可用于旁路模式编码剩余二进位。在此实例中，视频解码器30可用上下文模型解码仅前几个二进位，且可用旁路模式解码剩余二进位。
替代地，视频编码器20(且视情况，视频解码器30)可视DM候选者的总数或CU、PU或TU大小中的一或多者来确定经上下文译码的二进位的数目。替代地，对于前M个二进位(例如，M等于1)，上下文模型化可进一步取决于最终(例如精简后)DM候选者列表中的DM候选者的总数或CU/PU/TU大小或对应亮度块的拆分信息。
在一些实例中，视频编码器20(且视情况，视频解码器30)可在二进制化之前进一步重排序候选者列表中的候选者。在一个实例中，当CU/PU/TU的宽度大于CU/PU/TU的高度时，重排序可基于用于候选者的实际帧内模式与水平帧内预测模式之间的帧内预测模式索引差。所述差越小，将指派的将指派至DM候选者列表中的候选者的索引将越小。在另一实例中，当CU/PU/TU的高度大于CU/PU/TU的宽度时，重排序可基于用于候选者的实际帧内模式与竖直帧内预测模式之间的帧内预测模式索引差。还在此实例中，所述差越小，针对DM候选者列表中的候选者将指派的索引越小。
替代地，此外，视频编码器20(且视情况，视频解码器30)可相对于默认模式执行所述列表中的所有DM候选者的精简。如果默认模式中的一者(例如，默认模式列表中的第K模式)与DM候选者列表中的DM模式中的一者相同，那么视频编码器20(且视情况，视频解码器30)可用替代模式替换DM候选者列表中的此DM模式。除了替换候选者列表中的经精简DM模式之外，视频编码器20(且视情况，视频解码器30)还可将替代模式设定成具有等于((最大帧内模式索引)-1-K)的值的索引的模式。
根据本发明的一些技术，视频编码器20及视频解码器30可统一亮度及色度帧内预测模式。即，对于每一色度块，除了线性模型(LM)模式及译码色度分量所特有的其它模式之外，视频编码器20及/或视频解码器30还可从可用亮度预测模式的池选择预测模式。可用亮度预测模式的池在本文中经描述为包含总共“N”个预测模式，其中“N”表示正整数值。在一些实例中，“N”的值等于六十七(67)，对应于67个不同的可用亮度预测模式。
另外，关于色度帧内预测模式的编码及用信号传送，视频编码器20还可用信号传送最可能模式(MPM)旗标，且视MPM旗标的值而用信号传送MPM索引(对应于MPM候选者列表中的MPM候选者的索引)。举例来说，视频编码器20可通过首先将用于色度块的一或多个DM模式添加至MPM候选者列表来构造MPM候选者列表。如上所述，视频编码器20可识别用于色度块的多个DM模式。然而，应了解，在一些情境下，视频编码器20可识别用于色度块的单个DM模式。在将DM模式添加至MPM候选者列表之后，视频编码器20可将来自相邻块的其它色度模式添加至MPM候选者列表。替代地或另外，视频编码器20可添加默认模式，例如通过使用描述于V.Seregin、X.Zhao、A.Said、M.Karczewicz的“Neighbor based intra mostprobable modes list derivation”(JVET-C0055，日内瓦，2016年5月(在下文中，“Seregin”)中的亮度MPM候选者列表构造过程。
替代地，视频编码器20可构造色度MPM候选者列表，其方式与用于亮度模式MPM候选者列表的方式相同。举例来说，视频编码器20可按描述于Seregin中的次序来检查若干相邻块。在这些实施方案中，视频编码器20可处理LM模式及/或其它色度特定帧内预测模式，其方式与视频编码器20处理其它帧内预测模式相同。此外，视频编码器20可精简MPM候选者列表以移除由相同帧内预测模式从多个源添加所产生的冗余。
在一个实例中，视频编码器20可首先用信号传送旗标以指示仅适用于色度分量的一或多个色度特定模式(例如仅用于译码色度分量的LM模式及/或其它预测模式)的使用。如果选定预测模式并非色度特定模式(即，视频编码器20将上述旗标设定至停用状态)，那么视频编码器20可进一步用信号传送MPM旗标。在此实例实施方案中，当将继承自相邻块的色度预测模式添加至MPM列表时，视频编码器20可不考虑色度特定模式(例如，LM模式)，在此色度特定模式是取自相邻块的情况下。
此实施方案的实例使用情况描述于下文。视频编码器20可使用LM模式来帧内预测色度块，且因此可用信号传送经设定至启用状态的LM旗标。基于色度块已使用LM预测模式经编码，视频编码器20可用信号传送指示用于色度块的MPM候选者列表内的位置的MPM索引。此实例使用情况说明，视频编码器20可使用一位旗标首先为视频解码器30提供用于色度块的预测模式根本是否为MPM候选者列表中的候选者的指示。当且仅当用于色度块的预测模式是来自MPM候选者列表的候选者时，视频编码器20才可用信号传送索引以向视频解码器30指示MPM候选者列表的哪个模式是用以预测色度块。以此方式，视频编码器20可通过首先使用一位旗标、接着基于旗标的值确定根本是否用信号传送索引值来节省带宽。
上述技术的解码器侧方面论述于下文。视频解码器30可在经编码视频位流中接收MPM旗标。如果MPM旗标的值经设定至启用状态，那么视频解码器30还可接收关于相关色度块的MPM索引，其对应于MPM候选者列表中的特定MPM候选者的索引。举例来说，视频解码器30可通过首先将用于色度块的一或多个DM模式添加至MPM候选者列表来构造MPM候选者列表。如上所述，视频解码器30可识别用于色度块的重构的多个DM模式。然而，应了解，在一些情境下，视频解码器30可识别用于色度块的单个DM模式。在将DM模式添加至MPM候选者列表之后，视频解码器30可将来自相邻块的其它色度模式添加至MPM候选者列表。替代地或另外，视频解码器30可添加默认模式，例如通过使用描述于Seregin中的亮度MPM候选者列表构造过程。
替代地，视频解码器30可构造色度MPM候选者列表，其方式与用于亮度模式MPM候选者列表的方式相同。举例来说，视频解码器30可按描述于Seregin中的次序来检查若干相邻块。在这些实施方案中，视频解码器30可处理LM模式及/或其它色度特定帧内预测模式，其方式与视频解码器30处理其它帧内预测模式相同。此外，视频解码器30可精简MPM候选者列表以移除由相同帧内预测模式从多个源添加所产生的冗余。
在一个实例中，视频编码器20可首先用信号传送旗标以指示仅适用于色度分量的一或多个色度特定模式(例如仅用于译码色度分量的LM模式及/或其它预测模式)的使用。如果选定预测模式并非色度特定模式(即，视频解码器30确定上述旗标经设定至停用状态)，那么视频解码器30可进一步接收MPM旗标。在此实例实施方案中，当将继承自相邻块的色度预测模式添加至MPM列表时，视频解码器30可不考虑色度特定模式(例如，LM模式)，在此色度特定模式是取自相邻块的情况下。
此实施方案的实例使用情况描述于下文。视频解码器30可接收经设定至启用状态的LM旗标，且可因此使用LM模式帧内预测来重构色度块。基于色度块已使用LM预测模式经编码，视频解码器30可接收指示用于色度块的MPM候选者列表内的位置的MPM索引。此实例使用情况说明，视频解码器30可使用一位旗标来首先确定用于色度块的预测模式根本是否为MPM候选者列表中的候选者。如果预测模式并非来自MPM候选者列表的候选者，那么视频解码器30避免需要视频编码器20用信号传送指示MPM候选者列表的哪个模式是用以预测色度块的索引。以此方式，视频解码器30可通过减小需要视频编码器20用信号传送索引值的实例的数目来节省带宽，此与用信号传送一位旗标相比可更加带宽密集。
在一些实例中，除了LM模式之外，视频编码器20及/或视频解码器30还可将其它色度特有或色度特定帧内预测模式添加至MPM列表，且添加剩余帧内预测模式作为所述列表的默认模式。替代地，视频编码器20可首先用信号传送MPM旗标，且在构造MPM列表时，视频编码器20及/或视频解码器30可始终考虑相邻块的色度预测模式，而不管相邻块是否是使用LM模式所预测。在另一实例中，如果LM模式未添加至MPM列表，那么视频编码器20及/或视频解码器30可添加LM模式作为第一默认模式。在另一实例中，视频编码器20及/或视频解码器30可仅使用来自MPM候选者列表的LM及模式，且可将默认模式一起移除。在一些实例中，仅当添加的默认模式的总数小于由“K”表示的预定整数值时，视频编码器20(且视情况，视频解码器30)才可添加现有默认模式。在一个此类实例中，K经设定至值四(4)。
在一些实例中，当仅允许一个DM时，替代从具有对应亮度块的左上方边角取得亮度帧内预测模式，视频编码器20及/或视频解码器30可使用以下规则中的一或多者来选择亮度帧内预测模式作为DM模式。在此规则的一个实例中，亮度帧内预测模式是对应亮度块内最常使用的模式。在一个实例中，基于某一扫描次序，视频编码器20及/或视频解码器30可遍历对应亮度块内的每一单元的帧内预测模式，且记录现有亮度预测模式的出现次数。视频编码器20及/或视频解码器30可选择具有最大出现次数的模式。即，视频编码器20及/或视频解码器30可选择覆盖对应亮度块的大小(即，面积)最多的亮度帧内预测模式。当两个预测模式在对应亮度块中具有相同使用量时，视频编码器20及/或视频解码器30可选择基于扫描次序首先检测到的预测模式。此处，将单元定义为用于亮度/色度帧内预测的最小PU/TU大小。在一些实例中，扫描次序可为光栅/Z形/对角线/Z形扫描次序或译码次序。
替代地，视频编码器20及/或视频解码器30可从亮度块的中心位置开始扫描，且按某一次序遍历至边界。替代地或另外，扫描/单元可取决于PU/TU大小。替代地，基于某一扫描次序，视频编码器20及/或视频解码器30可遍历对应亮度块内的每一PU/TU/CU的帧内预测模式，且记录所记录的现有亮度预测模式的出现次数。视频编码器20及/或视频解码器30可选择具有最大出现次数的模式。当两个模式在亮度块中具有相同使用量时，视频编码器20及/或视频解码器30可选择基于扫描次序首先出现(即，首先检测到)的预测模式。在一些实例中，扫描次序可为光栅/Z形/对角线/Z形扫描次序或译码次序。替代地，扫描可取决于PU/TU大小。
在另一替代例中，对于上文关于单个经允许DM模式所描述的实例，如果视频编码器20及/或视频解码器30确定两个或多个模式在对应亮度块中具有相等出现次数，那么视频编码器20及/或视频解码器30可选择在亮度块中具有相等出现次数的所述模式中的一者。所述选择可取决于这些多个亮度模式的模式索引及/或PU/TU大小。替代地，针对特定块大小，例如大于32×32的块大小，视频编码器20及/或视频解码器30可根据此基于单个DM的规则仅评估对应亮度块的亮度帧内预测模式的部分(例如，部分子集)。
作为关于单个DM模式情境的此规则的另一实例，视频编码器20及/或视频解码器30可选择与对应亮度块的中心位置相关联的亮度帧内预测模式。在一个实例中，视频编码器20及/或视频解码器30可根据用于4:2:0颜色格式的坐标元组(2x+W-1,2y+H-1)来界定中心位置。替代地，视频编码器20及/或视频解码器30可如下所述而界定中心位置：
-如果W及H均等于2，那么视频编码器20及/或视频解码器30可使用位置(2x,2y)作为中心位置。
-否则，如果H等于2，那么视频编码器20及/或视频解码器30可使用位置(2x+(2*W/4/2-1)*4,2y)作为中心位置。
-否则，如果W等于2，那么视频编码器20及/或视频解码器30可使用位置(2x,2y+(2*H/4/2-1)*4)作为中心位置。
-否则(例如，H及W均不等于4)，那么使用(2x+(2*W/4/2-1)*4,2y+(2*H/4/2-1)*4)作为中心位置。
根据本发明的技术的一些实例，替代将同一默认模式用于所有块，视频编码器20及/或视频解码器30可将从对应亮度块导出的所述模式看作默认模式。在一个实例中，默认模式的总数经增大以包含从对应亮度块导出的更多模式。在另一实例中，当添加的默认模式的总数小于K(在一个非限制性实例中，K经设定至4)时，仅添加现有默认模式。
图12A及12B绘示根据本发明的一或多个方面的用于色度预测模式的自适应排序的相邻块选择。根据本发明的技术的一些实例，视频编码器20及/或视频解码器30可应用色度模式的自适应排序，使得次序可取决于相邻块的色度模式。在一个实例中，视频编码器20及/或视频解码器30将自适应排序仅应用于特定模式，例如DM模式及/或LM模式。在另一实例中，相邻块为五个相邻块，如图12A中所描绘。替代地，视频编码器20及/或视频解码器30可使用仅两个相邻块，例如，如图12A中所展示的A1及B1，或图12B中所展示的上方块(A)及左边块(L)。在一个实例中，当所有可用相邻经帧内译码块是用LM模式译码时，视频编码器20及/或视频解码器30可使LM模式处于DM模式之前。替代地，当可用相邻经帧内译码块中的至少一者是用LM模式译码时，视频编码器20及/或视频解码器30可使LM模式处于DM模式之前。
根据本发明的一些实例，视频编码器20及/或视频解码器30可使用亮度信息在熵译码之前对色度语法值重排序。在一个实例中，亮度块的NSST索引可用以更新色度NSST索引的译码次序。在此情况下，视频编码器20及/或视频解码器30可首先编码/解码指示色度块的索引与对应亮度块的NSST索引是否相同的二进位。在另一实例中，视频编码器20及/或视频解码器30可使用亮度块的自适应多重变换(AMT)索引来更新色度AMT索引的译码次序。在此情况下，视频编码器20及/或视频解码器30可首先编码/解码二进位以指示色度块的索引与对应亮度块的AMT索引是否相同。视频编码器20及/或视频解码器30可将另一(例如，类似)方式用于任何其它语法，关于所述方式，方法可适用于亮度分量及色度分量两者，而索引/模式对于亮度分量及色度分量可不同。
根据本发明的一些实例，视频编码器20及/或视频解码器30可针对一个色度块导出LM参数的多个集合，使得导出是基于对应亮度块的亮度帧内预测模式。在一个实例中，视频编码器20及/或视频解码器30可导出参数的至多K个集合，例如，其中“K”表示整数值。在一个实例中，“K”经设定至值二(2)。在另一实例中，视频编码器20及/或视频解码器30可基于位于对应亮度块中的样本的帧内预测模式而将相邻亮度/色度样本分类成K个集合。视频编码器20及/或视频解码器30可基于位于对应亮度块中的样本的帧内预测模式而将对应亮度块内的亮度样本样本分类成K个集合。在另一实例中，当认为两个帧内预测模式“远离”时，例如，在模式索引的绝对值大于阈值的情况下，视频编码器20及/或视频解码器30可将对应子块及相邻样本看作使用了不同参数。
根据本发明的一些实例，视频编码器20及/或视频解码器30可将复合式DM模式用于编码/解码当前色度块。根据本发明的复合式DM模式，视频编码器20可使用从两个或多个经识别帧内预测模式产生的预测块的加权和而产生预测块。视频编码器20可识别用于编码共置亮度块或用于编码相邻色度块或用于编码对应亮度块的相邻块的两个或多个帧内预测模式。接着，视频编码器可产生经识别帧内预测模式中的每一者的预测块，且可导出两个或多个所产生预测块的加权和以作为此复合式DM模式的预测块。
在一个实例中，用于产生此复合式DM模式的预测块的权重取决于应用于对应亮度块的每一经识别帧内预测模式的面积大小。替代地，每一经识别帧内预测模式的预测块的权重可取决于当前像素的位置及当前经识别帧内预测模式是否覆盖当前像素。在另一替代例中，所述权重对于每一经识别帧内预测模式是相同的。在另一替代例中，视频编码器20及/或视频解码器30仍然可利用预定义权重的集合。在又一替代例中，或另外，视频编码器20可用信号传送用于每一CTU/CU/PU/TU的权重的索引。当用信号传送默认模式(如表7.1中所展示的非DM模式及非LM模式)时，如果默认模式已经识别用于产生复合式DM模式，那么视频编码器20可用未识别用于产生复合式DM模式的其它帧内预测模式来替换所述默认模式。
图13A及13B为绘示视频编码器20及视频解码器30可用于根据上文所描述的基于多个DM模式选择的技术来选择色度帧内预测模式的块位置的实例的概念图。关于针对色度译码的基于多个DM模式的选择的一个实例实施方案描述于下文。如上所述，根据本发明的方面，视频编码器20(且视情况，视频解码器30)可执行DM模式的选择。即，在一些实例中，视频编码器20可显式地用信号传送DM候选者列表，由此消除对视频解码器30还形成DM候选者列表的需要。在其它实例中，视频编码器20可仅用信号传送来自DM候选者列表的选定候选者的索引，从而使视频解码器30能够从视频解码器30还形成的DM候选者列表选择候选者。
图13A绘示亮度分量(亮度块202)的子块中所使用的预测模式。图13B绘示根据HEVC技术的关于色度块204的亮度模式继承。如所展示，根据HEVC技术，来自亮度块202的左上方子块的预测模式(即，模式L(1))是相对于色度块204的左边区域继承。如图13A中所展示，(例如，由视频编码器20，且视情况，视频解码器30)获得用于位于中心(C0)、左上方(TL)、右上方(TR)、左下方(BL)及右下方(BR)处的子块的亮度模式。所述模式由首字母缩写词DMC、DMTL、DMTR、DMBL、DMBR表示。在一些替代例中，视频编码器20(且视情况，视频解码器30)可用对位置C1及/或C2及/或C3处所使用的模式的选择来替换C0选择。另外，视频编码器20(且视情况，视频解码器30)可将覆盖亮度块202的大部分面积的亮度模式作为额外DM模式添加至DM候选者列表。覆盖亮度块202的最大面积的亮度模式由首字母缩写词“DMM”表示。
视频编码器20(且视情况，视频解码器30)可使用下文所论述的一或多种技术来构造DM候选者列表。包含DMC、DMTL、DMTR、DMBL及DMBL的来自候选者群组的数个候选者(由“N”表示)可根据预定次序添加至DM候选者列表。在一个实例中，“N”经设定至六(6)且次序可如下：DMC、DMM、DMTL、DMTR、DMBL、DMBR。在一个替代例中，“N”经设定至五(5)且次序可如下：DMC、DMTL、DMTR、DMBL、DMBR。在形成候选者列表时，在将每一此类候选者添加至DM候选者列表之前，视频编码器20(且视情况，视频解码器30)可相对于所有候选者或先前添加的候选者的部分子集(例如，真子集)精简每一候选者。虽然上文论述了两个实例次序，但应了解，根据本发明的方面，视频编码器20(且视情况，视频解码器30)还可使用各种其它次序。假设候选者列表中的DM模式的总数为“M”(其中“M”为正整数)，默认模式的总数由“F”来表示，那么DM候选者列表的特定候选者由DMi来表示。在此记法中，下标“i”表示范围介于0至M-1)的整数值。
视频编码器20(且视情况，视频解码器30)可在DM候选者及默认模式中使用应用精简。即，在形成DM候选者列表时，视频编码器20(且视情况，视频解码器30)可相对于默认模式精简DM候选者。在一个替代例中，对于每一DMi，视频编码器20(且视情况，视频解码器30)可比较DMi与默认模式中的每一者。如果发现任何默认模式与DMi相同，那么视频编码器20(且视情况，视频解码器30)可用替代模式替换第一此类默认模式(其被发现与DMi相同)。举例来说，视频编码器20(且视情况，视频解码器30)可用具有等于(K-1-i)的索引值的模式替换经精简的默认模式，其中“K”是用于对应亮度块的亮度预测模式的总数。用于这些操作的实例伪码在下文给出：
举例来说，默认模式可为：模式0(平面)、模式50(竖直方向)、模式18(水平方向)及模式1(DC)，且DM候选者列表是{模式0，模式63，模式50，模式1}。在精简过程之后，所述默认模式由以下集合替换：{模式66，模式64，模式18，模式63}。在另一替代例中，视频编码器20(且视情况，视频解码器30)可应用完全精简，其中每一默认模式相对于所有DM模式进行精简。即，对于每一默认模式，所述默认模式将与所有DM模式进行比较。如果逐步骤比较指示DM模式中的一者与目前在检验中的默认模式相同，那么所述默认模式将由最后非DM模式替换。用于此实例的实例伪码在下文给出：
视频编码器20可实施本发明的基于多个DM模式的技术的各种方面，以实施色度模式的用信号传送。视频编码器20可根据包含以下部分的过程来编码色度模式。作为一个部分，视频编码器20可编码及用信号传送一位旗标以指示仅可适用于色度分量的预测模式中的任一者(例如，LM，其是色度编码特有的)的使用。如果色度块是根据此色度特定模式经编码(由此致使视频编码器20将所述旗标设定至启用状态)，那么视频编码器20可另外编码及用信号传送特定模式的索引。
另外，视频编码器20可编码及用信号传送旗标以指示从对应亮度块导出的模式的使用。即，如果视频编码器20基于用于对应亮度块的预测模式来选择用于编码色度块的预测模式，那么视频编码器20可将所述旗标设定至启用状态。随后，如果色度块是使用继承自对应亮度块的预测模式经编码，那么视频编码器20可另外编码及用信号传送选自对应亮度块的模式的索引。
如果视频编码器20确定色度块既不根据色度特定预测模式也不根据亮度块导出的预测模式经编码，那么视频编码器20可编码及用信号传送识别剩余模式的信息。视频编码器20可根据不同次序实施色度编码的上文所列出的部分/选项。不同次序的实例是在以下表7.3及表7.4或表8中给出。
表7.3-色度帧内预测模式及相关联名称的规范
表7.4-用于每一色度模式的二进位串
表8-用于每一色度模式的二进位串
如上所述，本发明的方面涉及亮度模式及色度模式的统一。亮度模式及色度模式的统一的实例实施方案描述于下文。最可能模式(MPM)候选者的总允许数目在下文由Nmpm表示。视频编码器20及/或视频解码器30可构造色度帧内模式的模式列表以包含以下部分：
-LM模式；及
-MPM模式。
MPM模式部分可包含DM候选者列表及色度模式部分。视频编码器20(且视情况，视频解码器30)可使用与上文关于DM多个DM模式所描述的相同技术来形成统一候选者列表的DM候选者列表部分。关于MPM模式的色度模式部分，视频编码器20(且视情况，视频解码器30)可从目前经译码色度块的相邻块导出色度模式。举例来说，为了从相邻块导出色度模式，视频编码器20(且视情况，视频解码器30)可再使用用于亮度模式的MPM构造过程。如果MPM候选者的总数在执行上文所描述的列表构造过程之后仍小于Nmpm，那么视频编码器20(且视情况，视频解码器30)可根据上文所引用的JVET-C0055实施各种步骤。
举例来说，如果MPM候选者的总数在执行上文所阐述的列表构造过程之后小于Nmpm的值，那么视频编码器20(且视情况，视频解码器30)可添加以下模式：左边(L)、上方(A)、平面、DC、左下(BL)、右上(AR)及左上(AL)模式。如果MPM候选者列表仍不完整(即，如果MPM候选者的总数小于Nmpm的值)，那么视频编码器20(且视情况，视频解码器30)可添加-1及+1至已包含的角度模式。如果MPM列表仍不完整，MPM候选者列表仍不完整(即，MPM候选者的总数小于Nmpm的值)，那么视频编码器20(且视情况，视频解码器30)可添加默认模式，即，竖直、水平、2及对角线模式。
视频编码器20及/或视频解码器30可识别的非MPM模式包含未包含于上文所描述的MPM候选者列表构造过程中的任何剩余帧内预测模式。与上文(例如，在引用JVET-C0055的部分)所描述的基于亮度的MPM列表构造过程的差别在于，当添加一个候选者时，所添加的候选者并非LM模式。替代地或另外，平面及DC模式可在所有空间相邻者之后添加。替代地，视频编码器20及/或视频解码器30可实施一或多个其它MPM列表构造技术来替换JVET-C0055的技术。
关于亮度模式及色度模式的统一，视频编码器20可实施本发明的各种色度模式用信号传送技术。视频编码器20可根据包含以下部分的过程来编码色度模式。作为一个部分，视频编码器20可编码及用信号传送一位旗标以指示仅可适用于色度分量的预测模式中的任一者(例如，LM，其是色度编码特有的)的使用。如果色度块是根据此色度特定模式经编码(由此致使视频编码器20将所述旗标设定至启用状态)，那么视频编码器20可另外编码及用信号传送特定模式的索引。
另外，视频编码器20可编码及用信号传送旗标以指示包含于MPM候选者列表中的模式的使用。即，如果视频编码器20选择预测模式用于编码色度块，且选定预测模式包含于MPM候选者列表中，那么视频编码器20可将所述旗标设定至启用状态。随后，如果色度块是使用包含于MPM候选者列表中的预测模式经编码，那么视频编码器20可另外编码及用信号传送所述模式的索引，其指示模式在MPM候选者列表中的位置。
如果视频编码器20确定色度块既不根据色度特定预测模式也不根据包含于MPM候选者列表中的预测模式经编码，那么视频编码器20可编码及用信号传送识别剩余模式的信息。视频编码器20可根据不同次序实施色度编码的上文所列出的部分/选项。不同次序的实例在以下表8.1或表9中给出。
表8.1-用于每一色度模式的二进位串
如果色度帧内模式的模式列表仅包含LM部分及MPM部分(如同亮度MPM，包含多个DM模式及来自空间相邻者的模式)，那么视频编码器20可以另一经修改方式来实施色度模式的用信号传送，如下表9中所展示：
表9
在另一替代例中，视频编码器20(且视情况，视频解码器30)可总是添加默认模式(例如平面、DC、水平、竖直模式)至MPM候选者列表。在一个实例中，可首先用上述技术中的一或多者构造MPM候选者列表的Nmpm个候选者。接着，默认模式的缺失模式可替换最后一或多个MPM候选者。
图14为绘示根据本发明的方面的视频解码器30的处理电路可执行的实例过程220的流程图。过程220可在视频解码器30的处理电路进行以下操作时开始：确定可用于预测视频数据的亮度块的多个导出模式(DM)还可用于预测视频数据的色度块，色度块对应于亮度块(222)。视频解码器30可形成关于色度块的预测模式的候选者列表，候选者列表包含可用于预测色度块的多个DM中的一或多个DM(224)。在一些非限制性实例中，视频解码器30的处理电路可在经编码视频位流中接收指示候选者列表的一或多个DM中的每一相应DM的数据，且重构指示一或多个DM中的每一相应DM的所接收数据，从而形成候选者列表。在其它实例中，视频解码器30的处理电路可构造候选者列表。
视频解码器30的处理电路可确定使用候选者列表的一或多个DM中的任何DM来解码色度块(226)。在一些非限制性实例中，视频解码器30的处理电路可在经编码视频位流中接收指示色度块是使用DM中的一者进行编码的一位旗标。基于使用候选者列表的一或多个DM中的任何DM来解码色度块的确定，视频解码器30的处理电路可解码识别将用于解码色度块的候选者列表的选定DM的指示(228)。举例来说，视频解码器30的处理电路可重构指示识别候选者列表中的选定DM的位置的索引值的数据(在经编码视频位流中接收)。随后，视频解码器30的处理电路可根据选定DM来解码色度块(230)。在各种实例中，包含亮度块及色度块的视频数据可存储至视频解码器30的存储器。
在一些实例中，包含于候选者列表中的一或多个DM可包含以下各者中的一或多者：第一预测模式，其与对应亮度块的中心位置相关联；第二预测模式，其与对应亮度块的左上方位置相关联；第三预测模式，其与对应亮度块的右上方位置相关联；第四预测模式，其与对应亮度块的左下方位置相关联；或第五预测模式，其与对应亮度块的右下方位置相关联。在一些实例中，候选者列表可进一步包含不同于一或多个DM中的每一者的一或多个色度帧内预测模式。在一些此类实例中，色度帧内预测模式中的每一者对应于用以预测色度块的相邻色度块的模式。在一些实例中，候选者列表的至少一个相应色度帧内预测模式是仅用于预测色度数据的色度特定预测模式。
图15为绘示根据本发明的方面的视频编码器20的处理电路可执行的实例过程240的流程图。过程240可在视频编码器20的处理电路进行以下操作时开始：确定可用于预测视频数据的亮度块的多个导出模式(DM)还可用于预测视频数据的色度块，色度块对应于亮度块(242)。在各种实例中，包含亮度块及色度块的视频数据可存储至视频编码器20的存储器。视频编码器20可形成关于色度块的预测模式的候选者列表，候选者列表包含可用于预测色度块的多个DM中的一或多个DM(244)。
视频编码器20的处理电路可确定使用候选者列表的一或多个DM中的任何DM来编码色度块(246)。基于使用候选者列表的一或多个DM中的任何DM来编码色度块的确定，视频编码器20的处理电路可编码识别将用于解码色度块的候选者列表的选定DM的指示(248)。举例来说，视频编码器20的处理电路可编码指示识别候选者列表中的选定DM的位置的索引值的数据，且在经编码视频位流中用信号传送经编码数据。随后，视频编码器20的处理电路可根据选定DM来编码色度块(250)。在一些实例中，视频编码器20的处理电路可在经编码视频位流中用信号传送指示色度块是否使用线性模型(LM)模式进行编码的一位旗标。在这些实例中，视频编码器20的处理电路可在经编码视频位流中用信号传送指示候选者列表的一或多个DM中的每一相应DM的数据。
在一些实例中，包含于候选者列表中的一或多个DM可包含以下各者中的一或多者：第一预测模式，其与对应亮度块的中心位置相关联；第二预测模式，其与对应亮度块的左上方位置相关联；第三预测模式，其与对应亮度块的右上方位置相关联；第四预测模式，其与对应亮度块的左下方位置相关联；或第五预测模式，其与对应亮度块的右下方位置相关联。在一些实例中，候选者列表可进一步包含不同于一或多个DM中的每一者的一或多个色度帧内预测模式。在一些此类实例中，色度帧内预测模式中的每一者对应于用以预测色度块的相邻色度块的模式。在一些实例中，候选者列表的至少一个相应色度帧内预测模式是仅用于预测色度数据的色度特定预测模式。在一些实例中，视频编码器20的处理电路可确定一或多个DM中的至少两个DM相同，且可将至少两个相同DM中的仅一个DM包含于候选者列表中。
图16为绘示根据本发明的方面的视频解码器30的处理电路可执行的实例过程260的流程图。过程260可在视频解码器30的处理电路进行以下操作时开始：针对存储至视频解码器30的存储器的视频数据的色度块形成最可能模式(MPM)候选者列表，使得MPM候选者列表包含与相关联于色度块的视频数据的亮度块相关联的一或多个导出模式(DM)，及可用于解码视频数据的亮度分量的多个亮度预测模式(262)。在一些实例中，视频解码器30的处理电路可将一或多个DM添加至MPM候选者列表，且可在MPM候选者列表的出现在MPM候选者列表中的所有一或DM的位置之后的位置添加继承自色度块的相邻色度块的一或多个色度模式。
在一些实例中，视频解码器30的处理电路可响应于LM模式是用以预测色度块的一或多个相邻色度块的确定而从MPM候选者列表省略LM模式的任何额外实例。在一些实例中，视频解码器30的处理电路可在经编码视频位流中接收指示色度块是否使用LM模式进行编码的一位旗标。在一个情境下，视频解码器30的处理电路可确定所接收的一位旗标经设定至停用状态，可接收对应于MPM候选者列表的特定模式的MPM索引，且基于所接收的一位旗标经设定至停用状态可选择对应于所接收的MPM索引的特定模式。在另一情境下，视频解码器30的处理电路可确定所接收的一位旗标经设定至启用状态，且基于所接收的一位旗标经设定至启用状态，可从MPM候选者列表选择LM模式。
在一些实例中，视频解码器30的处理电路可确定与色度块相关联的默认模式的数目是否符合预定阈值。基于默认模式的数目符合预定阈值的确定，视频解码器30的处理电路可将默认模式中的每一默认模式添加至MPM候选者列表，且可从MPM候选者列表省略所有默认模式。视频解码器30的处理电路可从MPM候选者列表选择模式(264)。随后，视频解码器30的处理电路可根据选自MPM候选者列表的模式来解码色度块(266)。
在一些实例中，为了形成MPM候选者列表，视频解码器30的处理电路可将一或多个DM添加至MPM候选者列表，且可在MPM候选者列表的出现在MPM候选者列表中的所有一或DM的位置之后的位置添加继承自色度块的相邻色度块的一或多个色度模式。在一些实例中，为了形成MPM候选者列表，视频解码器30的处理电路可将一或多个线性模型(LM)模式添加至MPM候选者列表。在一个此类实例中，视频解码器30的处理电路可确定一或多个LM模式包括第一模式的第一实例及第一LM模式的一或多个额外实例，且可响应于第一LM模式是用以预测色度块的一或多个相邻色度块的确定而从MPM候选者列表省略LM模式的一或多个额外实例。
在一些实例中，视频解码器30的处理电路可在经编码视频位流中接收指示色度块是否使用LM模式进行编码的一位旗标，其中从MPM候选者列表选择模式是基于一位旗标的值。在一些此类实例中，视频解码器30的处理电路可确定一或多个LM模式包含多个LM模式，且可确定所接收的一位旗标经设定至启用状态。在一些此类实例中，视频解码器30装置处理电路可接收对应于MPM候选者列表中的多个LM模式的特定LM模式的位置的LM索引，且可基于所接收的一位旗标经设定至启用状态而选择对应于所接收的LM索引的特定LM模式用于译码色度块。在一些实例中，为了从MPM候选者列表选择模式，视频解码器30的处理电路可确定所接收的一位旗标经设定至停用状态，可接收对应于MPM候选者列表的特定模式的MPM索引，且可基于所接收的一位旗标经设定至停用状态，选择对应于所接收的MPM索引的特定模式。
在一些实例中，视频解码器30的处理电路可确定与色度块相关联的默认模式的数目是否符合预定阈值。在这些实例中，视频解码器30的处理电路可执行以下各者中的一者：(i)添加，基于默认模式的数目不符合预定阈值的确定，将默认模式中的每一默认模式添加至MPM候选者列表；或(ii)基于默认模式的数目符合预定阈值的确定，从MPM候选者列表省略所有默认模式。
图17为绘示根据本发明的方面的视频编码器20的处理电路可执行的实例过程280的流程图。过程280可在视频编码器20的处理电路进行以下操作时开始：针对存储至视频编码器20的存储器的视频数据的色度块形成最可能模式(MPM)候选者列表，使得MPM候选者列表包含线性模型(LM)模式、与相关联于色度块的视频数据的亮度块相关联的一或多个导出模式(DM)，及可用于解码亮度块的多个亮度预测模式(282)。在一些实例中，视频编码器20的处理电路可将一或多个DM添加至MPM候选者列表，且可在出现在MPM候选者列表中的所有一或DM的位置之后的MPM候选者列表的位置添加继承自色度块的相邻色度块的一或多个色度模式。
在一些实例中，视频编码器20的处理电路可响应于LM模式是用以预测色度块的一或多个相邻色度块的确定而从MPM候选者列表省略LM模式的任何额外实例。在一些实例中，视频编码器20的处理电路可在经编码视频位流中用信号传送指示色度块是否使用LM模式进行编码的一位旗标。在一个情境下，视频编码器20的处理电路可基于色度块未使用LM模式进行编码的确定而将一位旗标设定至停用状态。在此情境下，基于色度块未使用LM模式进行编码的确定及色度块是使用MPM候选者列表的特定模式进行编码的确定，视频编码器20的处理电路可在经编码视频位流中用信号传送对应于MPM候选者列表的特定模式的MPM索引。在另一情境下，视频编码器20的处理电路可基于色度块是使用LM模式进行编码的确定而将一位旗标设定至启用状态。
在一些实例中，视频编码器20的处理电路可确定与色度块相关联的默认模式的数目是否符合预定阈值。基于默认模式的数目符合预定阈值的确定，视频编码器20的处理电路可将默认模式的每一默认模式添加至MPM候选者列表，且可从MPM候选者列表省略所有默认模式。视频编码器20的处理电路可从MPM候选者列表选择模式(284)。随后，视频编码器20的处理电路可根据选自MPM候选者列表的模式来编码色度块。
在一些实例中，为了形成MPM候选者列表，视频编码器20的处理电路可将一或多个线性模型(LM)模式添加至MPM候选者列表。在一些实例中，视频编码器20的处理电路可在经编码视频位流中用信号传送指示色度块是否使用MPM候选者列表的一或多个LM模式中的任一者进行编码的一位旗标。在一些实例中，视频编码器20的处理电路可设定基于色度块未使用候选者列表的任何LM模式进行编码的确定而将一位旗标设定至停用状态，且可基于色度块未使用MPM候选者列表的任何LM模式进行编码的确定且基于色度块是使用MPM候选者列表的特定模式进行编码的确定，在经编码视频位流中用信号传送对应于MPM候选者列表的特定模式的MPM索引。在一些实例中，视频编码器20的处理电路可基于色度块是使用MPM候选者列表的一或多个LM模式中的特定LM模式进行编码的确定而将一位旗标设定至启用状态。
在一些实例中，视频编码器20的处理电路可确定与色度块相关联的默认模式的数目是否符合预定阈值。随后，视频编码器20的处理电路可执行以下各者中的一者：(i)基于默认模式的数目不符合预定阈值的确定，将默认模式中的每一默认模式添加至MPM候选者列表；或(ii)基于默认模式的数目符合预定阈值的确定，从MPM候选者列表省略所有默认模式。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行、可被添加、合并或完全省去(例如，并非所有所描述动作或事件是实践所述技术所必要的)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述功能可以硬件、软件、固体或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射，且由基于硬件的处理单元执行。计算机可读媒体可包含：计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体；或通信媒体，其包含(例如)根据通信协议促进计算机程序从一处传送至另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、闪速存储器，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源发射指令，那么同轴电缆、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是涉及非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器是例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入组合式编解码器中。此外，所述技术可完全实施于一或多个电路或逻辑元件中。
可以多种装置或设备来实施本发明的技术，所述装置或设备包含无线手机、集成电路(IC)或IC的集合(例如，芯片组)。在本发明中描述了各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。更确切地说，如上所述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适的软件及/或固体来提供所述单元。
已描述了各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (18)

1.一种译码视频数据的方法，所述方法包括：
至少部分通过以下操作来针对所述视频数据的色度块形成最可能模式MPM候选者列表：
将所述视频数据的亮度块相关联的一或多个导出模式DM、对应于所述色度块的所述亮度块，及能够用于译码所述视频数据的亮度分量的多个亮度预测模式添加至所述MPM候选者列表；
将一或多个线性模型LM模式添加至所述MPM候选者列表；
确定所述一或多个LM模式是否包括第一LM模式的第一实例及所述第一LM模式的一或多个额外实例；及
响应于所述第一LM模式是用以预测所述色度块的一或多个相邻色度块的确定而从所述MPM候选者列表省略所述LM模式的所述一或多个额外实例；从所述MPM候选者列表选择模式；及
根据选自所述MPM候选者列表的所述模式来译码所述色度块。
2.根据权利要求1所述的方法，其中形成所述MPM候选者列表包括：
在所述MPM候选者列表的出现在所述MPM候选者列表中的所有所述一或多个导出模式DM的位置之后的位置添加继承自所述色度块的相邻色度块的一或多个色度模式。
3.根据权利要求1所述的方法，其中译码所述色度块包括解码所述色度块，所述方法进一步包括在经编码视频位流中接收指示所述色度块是否使用所述一或多个LM模式中的特定LM模式进行编码的一位旗标，其中从所述MPM候选者列表选择所述模式是基于所述一位旗标的值。
4.根据权利要求3所述的方法，其进一步包括：
确定所述一或多个LM模式包含多个LM模式；
确定所述接收的一位旗标经设定至启用状态；
接收对应于所述MPM候选者列表中的所述多个LM模式中的所述特定LM模式的位置的LM索引；及
基于所述接收的一位旗标经设定至所述启用状态，选择对应于所述接收的LM索引的所述特定LM模式用于译码所述色度块。
5.根据权利要求3所述的方法，其中从所述MPM候选者列表选择所述模式包括：确定所述接收的一位旗标经设定至停用状态；
接收对应于所述MPM候选者列表的特定模式的MPM索引；及
基于所述接收的一位旗标经设定至所述停用状态，选择对应于所述接收的MPM索引的所述特定模式。
6.根据权利要求1所述的方法，其中译码所述色度块包括编码所述色度块，所述方法进一步包括：
在经编码视频位流中用信号传送指示所述色度块是否使用所述MPM候选者列表的所述一或多个LM模式中的任一者进行编码的一位旗标。
7.根据权利要求6所述的方法，其进一步包括：
基于所述色度块未使用所述MPM候选者列表的任何LM模式进行编码的确定，将所述一位旗标设定至停用状态；及
基于所述色度块未使用所述MPM候选者列表的任何LM模式进行编码的所述确定且基于所述色度块是使用所述MPM候选者列表的特定模式进行编码的确定，在所述经编码视频位流中用信号传送对应于所述MPM候选者列表的所述特定模式的MPM索引。
8.根据权利要求6所述的方法，其进一步包括：
基于所述色度块是使用所述MPM候选者列表的所述一或多个LM模式中的特定LM模式进行编码的确定，将所述一位旗标设定至启用状态。
9.根据权利要求1所述的方法，其进一步包括：
确定与所述色度块相关联的默认模式的数目是否符合预定阈值；及
执行以下各者中的一者：
基于默认模式的所述数目不符合所述预定阈值的确定，将所述默认模式中的每一默认模式添加至所述MPM候选者列表，或
基于默认模式的所述数目符合所述预定阈值的确定，从所述MPM候选者列表省略所有所述默认模式。
10.一种译码视频数据的装置，其包括：
存储器，其经配置以存储视频数据；及
与所述存储器通信的处理电路，所述处理电路经配置以进行以下操作：
针对存储至所述存储器装置的所述视频数据的色度块形成最可能模式MPM候选者列表，其中为了形成所述MPM候选者列表，所述处理电路经配置以进行以下操作：
将所述视频数据的亮度块相关联的一或多个导出模式DM、对应于所述色度块的所述亮度块，及能够用于译码所述视频数据的亮度分量的多个亮度预测模式添加至所述MPM候选者列表；
将一或多个线性模型LM模式添加至所述MPM候选者列表；
确定所述一或多个LM模式是否包括第一LM模式的第一实例及所述第一LM模式的一或多个额外实例；及
响应于所述第一LM模式是用以预测所述色度块的一或多个相邻色度块的确定而从所述MPM候选者列表省略所述LM模式的所述一或多个额外实例；从所述MPM候选者列表选择模式；及
根据选自所述MPM候选者列表的所述模式来译码所述色度块。
11.根据权利要求10所述的装置，其中为了形成所述MPM候选者列表，所述处理电路经进一步配置以进行以下操作：
在所述MPM候选者列表的出现在所述MPM候选者列表中的所有所述一或多个导出模式DM的位置之后的位置添加继承自所述色度块的相邻色度块的一或多个色度模式。
12.根据权利要求10所述的装置，其中为了译码所述色度块，所述处理电路经配置以解码所述色度块，其中所述处理电路经进一步配置以在经编码视频位流中接收指示所述色度块是否使用所述一或多个LM模式中的特定LM模式进行编码的一位旗标，且其中为了从所述MPM候选者列表选择所述模式，所述处理电路经配置以基于所述一位旗标的值来选择所述模式。
13.根据权利要求12所述的装置，其中所述处理电路经进一步配置以进行以下操作：确定所述一或多个LM模式包含多个LM模式；
确定所述接收的一位旗标经设定至启用状态；
接收对应于所述MPM候选者列表中的所述多个LM模式的所述特定LM模式的位置的LM索引；及
基于所述接收的一位旗标经设定至所述启用状态，选择对应于所述接收的LM索引的所述特定LM模式用于译码所述色度块。
14.根据权利要求12所述的装置，其中为了从所述MPM候选者列表选择所述模式，所述处理电路经配置以进行以下操作：
确定所述接收的一位旗标经设定至停用状态；
接收对应于所述MPM候选者列表的特定模式的MPM索引；及
基于所述接收的一位旗标经设定至所述停用状态，选择对应于所述接收的MPM索引的所述特定模式。
15.根据权利要求10所述的装置，其中为了译码所述色度块，所述处理电路经配置以编码所述色度块，且其中所述处理电路经进一步配置以在经编码视频位流中用信号传送指示所述色度块是否使用所述一或多个LM模式中的任一LM模式进行编码的一位旗标。
16.根据权利要求15所述的装置，其中所述处理电路经进一步配置以进行以下操作：
基于所述色度块未使用所述一或多个LM模式中的任一LM模式进行编码的确定，将所述一位旗标设定至停用状态；及
基于所述色度块未使用所述一或多个LM模式中的任一LM模式进行编码的所述确定且基于所述色度块是使用所述MPM候选者列表的特定模式进行编码的确定，在所述经编码视频位流中用信号传送对应于所述MPM候选者列表的所述特定模式的MPM索引。
17.根据权利要求15所述的装置，其中所述处理电路经进一步配置以进行以下操作：
基于所述色度块使用所述一或多个LM模式中的特定LM模式进行编码的确定，将所述一位旗标设定至启用状态。
18.根据权利要求10所述的装置，其中所述处理电路经进一步配置以进行以下操作：
确定与所述色度块相关联的默认模式的数目是否符合预定阈值；
基于默认模式的所述数目不符合所述预定阈值的确定，将所述默认模式中的每一默认模式添加至所述MPM候选者列表；及
基于默认模式的所述数目符合所述预定阈值的确定，从所述MPM候选者列表省略所有所述默认模式。
CN201780048556.XA 2016-08-15 2017-08-15 使用解耦树结构的视频内译码 Active CN109565603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311088846.0A CN117319647A (zh) 2016-08-15 2017-08-15 解码视频数据的方法、装置及计算机可读存储媒体

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662375383P 2016-08-15 2016-08-15
US62/375,383 2016-08-15
US201662404572P 2016-10-05 2016-10-05
US62/404,572 2016-10-05
US15/676,345 US10368107B2 (en) 2016-08-15 2017-08-14 Intra video coding using a decoupled tree structure
US15/676,345 2017-08-14
PCT/US2017/046962 WO2018035130A1 (en) 2016-08-15 2017-08-15 Intra video coding using a decoupled tree structure

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311088846.0A Division CN117319647A (zh) 2016-08-15 2017-08-15 解码视频数据的方法、装置及计算机可读存储媒体

Publications (2)

Publication Number Publication Date
CN109565603A CN109565603A (zh) 2019-04-02
CN109565603B true CN109565603B (zh) 2023-10-10

Family

ID=59714130

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780048556.XA Active CN109565603B (zh) 2016-08-15 2017-08-15 使用解耦树结构的视频内译码
CN202311088846.0A Pending CN117319647A (zh) 2016-08-15 2017-08-15 解码视频数据的方法、装置及计算机可读存储媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311088846.0A Pending CN117319647A (zh) 2016-08-15 2017-08-15 解码视频数据的方法、装置及计算机可读存储媒体

Country Status (9)

Country Link
US (3) US10368107B2 (zh)
EP (1) EP3497933A1 (zh)
JP (1) JP6995839B2 (zh)
KR (1) KR102495160B1 (zh)
CN (2) CN109565603B (zh)
BR (1) BR112019002896A2 (zh)
SG (1) SG11201900111YA (zh)
TW (1) TWI761362B (zh)
WO (1) WO2018035130A1 (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015069734A1 (en) 2013-11-05 2015-05-14 Arris Enterprises, Inc. Bit depth variable for high precision data in weighted prediction syntax and semantics
US10715818B2 (en) 2016-08-04 2020-07-14 Intel Corporation Techniques for hardware video encoding
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
WO2018064948A1 (en) * 2016-10-04 2018-04-12 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
US10554974B2 (en) * 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
US10567772B2 (en) * 2017-07-11 2020-02-18 Google Llc Sub8×8 block processing
EP4415366A2 (en) * 2017-08-03 2024-08-14 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks in an inter prediction slice of video data
MX2020003722A (es) * 2017-10-09 2020-09-18 Arris Entpr Llc Predicción de peso en planos desiguales adaptativa.
CN111543057B (zh) * 2017-12-29 2022-05-03 鸿颖创新有限公司 基于包含不同模式组的模式列表以编码视频数据的设备及方法
CN110113600B (zh) * 2018-02-01 2022-08-26 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机可读存储介质和计算机设备
US11012715B2 (en) 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
US10771781B2 (en) * 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
WO2019194484A1 (ko) 2018-04-01 2019-10-10 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
US11109057B2 (en) * 2018-04-16 2021-08-31 Mediatek Inc. Overlapped block motion compensation based on blended predictors
US10609402B2 (en) * 2018-05-02 2020-03-31 Tencent America LLC Method and apparatus for prediction and transform for small blocks
US10462486B1 (en) * 2018-05-07 2019-10-29 Tencent America, Llc Fast method for implementing discrete sine transform type VII (DST 7)
US10986340B2 (en) 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
WO2019234606A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and atmvp
WO2019244118A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
KR102550806B1 (ko) 2018-07-11 2023-06-30 후아웨이 테크놀러지 컴퍼니 리미티드 루마 인트라 모드 시그널링
US11509890B2 (en) * 2018-07-24 2022-11-22 Hfi Innovation Inc. Methods and apparatus for entropy coding and decoding aspects of video data
CN116347109A (zh) * 2018-08-17 2023-06-27 北京字节跳动网络技术有限公司 一种处理视频数据的方法和装置
JP7410149B2 (ja) * 2018-08-24 2024-01-09 中興通訊股▲ふん▼有限公司 視覚メディアエンコードおよびデコードのための平面予測モード
KR20230156813A (ko) * 2018-08-27 2023-11-14 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측 방법 및 장치
TWI824006B (zh) 2018-09-12 2023-12-01 大陸商北京字節跳動網絡技術有限公司 交叉分量線性建模中的下採樣
WO2020058896A1 (en) 2018-09-19 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Intra mode coding based on history information
BR112021005220A2 (pt) * 2018-09-21 2021-06-15 Huawei Technologies Co., Ltd derivação de modo de intrapredição com base em blocos vizinhos
CN117768651A (zh) 2018-09-24 2024-03-26 北京字节跳动网络技术有限公司 处理视频数据的方法、装置、介质、以及比特流存储方法
WO2020094057A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position based intra prediction
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
CN113170192B (zh) * 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
WO2020116848A1 (ko) * 2018-12-05 2020-06-11 엘지전자 주식회사 크로마 인트라 예측 모드를 도출하기 위한 영상 예측 방법 및 장치
BR112021010428A2 (pt) 2018-12-07 2021-08-24 Beijing Bytedance Network Technology Co., Ltd. Método para processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
US11323748B2 (en) * 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
WO2020125794A1 (en) * 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Two step cross-component prediction mode
CA3113787C (en) * 2018-12-25 2024-02-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Decoding prediction method, apparatus and computer storage medium which use reference samples adjacent to at least one side of decoding block
EP3881535A4 (en) 2018-12-29 2022-03-16 Zhejiang Dahua Technology Co., Ltd. INTRA-PREDICTION SYSTEMS AND METHODS
CN113228644B (zh) * 2018-12-30 2023-11-17 寰发股份有限公司 带有约束的亮度-色度单独的编码树编码的方法和设备
JP7305769B2 (ja) * 2019-01-02 2023-07-10 オッポ広東移動通信有限公司 予測方向の決定方法、デコーダ及びコンピュータ記憶媒体
WO2020141856A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
JP7309884B2 (ja) 2019-01-02 2023-07-18 オッポ広東移動通信有限公司 クロマイントラ予測方法および装置、並びにコンピュータ記憶媒体
US11190568B2 (en) * 2019-01-09 2021-11-30 Bose Corporation Multimedia communication encoding system
US11095915B2 (en) * 2019-01-31 2021-08-17 Qualcomm Incorporated Shared motion vector predictor list for intra block copy mode in video coding
WO2020169101A1 (en) * 2019-02-22 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Neighbouring sample selection for intra prediction
CN113491121B (zh) 2019-02-24 2022-12-06 北京字节跳动网络技术有限公司 对视频数据进行编解码的方法、设备及计算机可读介质
US11025913B2 (en) 2019-03-01 2021-06-01 Intel Corporation Encoding video using palette prediction and intra-block copy
CN114040205A (zh) * 2019-03-12 2022-02-11 浙江大华技术股份有限公司 帧内色度预测模式的选择方法、图像处理设备及存储设备
CN118075478A (zh) * 2019-03-21 2024-05-24 Sk电信有限公司 编解码视频数据的当前块的方法及提供视频数据的方法
CN117880494A (zh) 2019-03-24 2024-04-12 北京字节跳动网络技术有限公司 用于帧内预测的参数推导的条件
EP3935854A4 (en) 2019-04-12 2022-06-01 Beijing Bytedance Network Technology Co., Ltd. CHROMINANCE CODING MODE DETERMINATION BASED ON MATRIX-BASED INTRA PREDICTION
KR20210145757A (ko) 2019-04-16 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 코딩 모드에서의 행렬 도출
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
CN113812150B (zh) 2019-05-01 2023-11-28 北京字节跳动网络技术有限公司 使用滤波的基于矩阵的帧内预测
US11284093B2 (en) * 2019-05-09 2022-03-22 Qualcomm Incorporated Affine linear weighted intra prediction in video coding
CN117412039A (zh) 2019-05-22 2024-01-16 北京字节跳动网络技术有限公司 使用上采样的基于矩阵的帧内预测
US12058313B2 (en) 2019-05-27 2024-08-06 Sk Telecom Co., Ltd. Intra mode candidate configuration method and video decoding apparatus
WO2020239017A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. One-step downsampling process in matrix-based intra prediction
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
US10855983B2 (en) 2019-06-13 2020-12-01 Intel Corporation Encoding video using two-stage intra search
US11070825B2 (en) * 2019-06-13 2021-07-20 Mediatek Inc. Method and apparatus of encoding or decoding video data with adaptive colour transform
CN117478871A (zh) * 2019-06-25 2024-01-30 北京大学 一种视频图像处理方法、设备及存储介质
KR20220011182A (ko) * 2019-06-25 2022-01-27 에스지 디제이아이 테크놀러지 코., 엘티디 비디오 이미지 처리 방법, 장치 및 저장 매체
EP4042689A4 (en) 2019-10-28 2023-06-07 Beijing Bytedance Network Technology Co., Ltd. SIGNALING AND SYNTAX ANALYSIS BASED ON A COLOR COMPONENT
CN114902678A (zh) * 2019-10-29 2022-08-12 Lg电子株式会社 基于变换的图像编码方法及其设备
AU2020376689B2 (en) 2019-10-29 2024-02-15 Lg Electronics Inc. Image coding method based on transform and apparatus therefor
US11265558B2 (en) * 2019-11-22 2022-03-01 Qualcomm Incorporated Cross-component adaptive loop filter
US11330266B2 (en) * 2020-05-18 2022-05-10 Tencent America LLC Signaling method for chroma intra prediction mode
EP4349011A1 (en) * 2021-06-03 2024-04-10 QUALCOMM Incorporated Derived intra prediction modes and most probable modes in video coding
US20230113104A1 (en) * 2021-10-11 2023-04-13 Tencent America LLC On intra mode propagation
WO2023200155A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2023234579A1 (ko) * 2022-05-30 2023-12-07 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024148103A1 (en) * 2023-01-03 2024-07-11 Bytedance Inc. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104737537A (zh) * 2012-09-07 2015-06-24 高通股份有限公司 用于可缩放视频译码的加权预测模式
WO2016115736A1 (en) * 2015-01-23 2016-07-28 Mediatek Singapore Pte. Ltd. Additional intra prediction modes using cross-chroma-component prediction

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1032698A (en) 1904-02-09 1912-07-16 Brown & Sharpe Mfg Gearing for metal-working machines.
US20060233253A1 (en) * 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications
US8050331B2 (en) * 2005-05-20 2011-11-01 Ntt Docomo, Inc. Method and apparatus for noise filtering in video coding
US20070206117A1 (en) * 2005-10-17 2007-09-06 Qualcomm Incorporated Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video
US20070171987A1 (en) * 2006-01-20 2007-07-26 Nokia Corporation Method for optical flow field estimation using adaptive Filting
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
AU2011345535B2 (en) 2010-12-23 2015-08-20 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
JP5636507B2 (ja) 2011-01-07 2014-12-03 メディア テック シンガポール ピーティーイー．リミテッド 改良されたイントラ予測モード符号化の方法及び装置
EP3624451A1 (en) * 2011-06-17 2020-03-18 HFI Innovation Inc. Method and apparatus for coding of intra prediction mode
EP2727363B1 (en) 2011-06-28 2020-11-18 HFI Innovation Inc. Method and apparatus of intra mode coding
CN102857768B (zh) 2011-07-01 2014-12-10 华为技术有限公司 色度预测模式候选集的确定方法及设备
JP2013058939A (ja) 2011-09-08 2013-03-28 Sharp Corp 画像復号装置、および画像符号化装置
WO2013042884A1 (ko) * 2011-09-19 2013-03-28 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
FR2982446A1 (fr) * 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
WO2013102293A1 (en) * 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US20130177083A1 (en) * 2012-01-05 2013-07-11 Qualcomm Incorporated Motion vector candidate index signaling in video coding
KR20130085603A (ko) 2012-01-20 2013-07-30 주식회사 팬택 색차 블록의 화면 내 예측 모드 방법 및 이러한 방법을 사용하는 장치
CN104093024B (zh) 2012-01-20 2017-08-04 华为技术有限公司 编解码方法和装置
WO2013115568A1 (ko) 2012-01-30 2013-08-08 한국전자통신연구원 인트라 예측 모드 부호화/복호화 방법 및 장치
US9131073B1 (en) * 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
AU2013250143B2 (en) * 2012-04-16 2015-11-12 Electronics And Telecommunications Research Institute Encoding method and decoding method, and device using same
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN104488270B (zh) * 2012-06-29 2018-05-18 韩国电子通信研究院 一种利用解码设备的视频解码方法
US20140064359A1 (en) * 2012-08-31 2014-03-06 Qualcomm Incorporated Intra prediction most probable mode order improvement for scalable video coding
US10003792B2 (en) 2013-05-27 2018-06-19 Microsoft Technology Licensing, Llc Video encoder for images
WO2015002444A1 (ko) * 2013-07-01 2015-01-08 삼성전자 주식회사 필터링을 수반한 비디오 부호화 및 복호화 방법 및 그 장치
US20150016516A1 (en) 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
WO2015008417A1 (ja) * 2013-07-19 2015-01-22 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US9270999B2 (en) 2013-09-25 2016-02-23 Apple Inc. Delayed chroma processing in block processing pipelines
US20180176588A1 (en) * 2014-03-14 2018-06-21 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
US20150365703A1 (en) * 2014-06-13 2015-12-17 Atul Puri System and method for highly content adaptive quality restoration filtering for video coding
WO2015195849A1 (en) * 2014-06-19 2015-12-23 Vid Scale, Inc. Systems and methods for model parameter optimization in three dimensional based color mapping
US9838662B2 (en) * 2014-10-10 2017-12-05 Qualcomm Incorporated Harmonization of cross-component prediction and adaptive color transform in video coding
WO2016074147A1 (en) 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
WO2017007989A1 (en) * 2015-07-08 2017-01-12 Vid Scale, Inc. Enhanced chroma coding using cross plane filtering
EP3417618A4 (en) * 2016-02-17 2019-07-24 Telefonaktiebolaget LM Ericsson (publ) METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
US10455228B2 (en) 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
KR20190015216A (ko) * 2016-05-05 2019-02-13 브이아이디 스케일, 인크. 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
EP3453174A1 (en) * 2016-05-06 2019-03-13 VID SCALE, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US20180359486A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Non-local adaptive loop filter processing
KR20200120605A (ko) * 2018-03-12 2020-10-21 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US20210058620A1 (en) * 2019-08-23 2021-02-25 Qualcomm Incorporated Chroma quantization parameter (qp) derivation for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104737537A (zh) * 2012-09-07 2015-06-24 高通股份有限公司 用于可缩放视频译码的加权预测模式
WO2016115736A1 (en) * 2015-01-23 2016-07-28 Mediatek Singapore Pte. Ltd. Additional intra prediction modes using cross-chroma-component prediction

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Algorithm Description of Joint Exploration Test Model 3;jianle chen;《JEVT》;20160601;第2部分、附图5 *
CE6.c Report on SDIP chroma extension scheme;Jin Song;《JCTVC》;20111130;第1-2章 *
dongdong zhang et al,.Fast intra mode decision for HEVC based on texture characteristic from RMD and MPM.《IEEE Visual Communications and Image Processing Conference》.2015,全文. *
Jin Song.CE6.c Report on SDIP chroma extension scheme.《JCTVC》.2011, *
基于H.264/AVC的可伸缩视频编码及其相关技术研究;李志刚;《中国优秀博士论文电子期刊》;全文 *
新一代视频编码帧内预测模式选择的优化;祝世平;《光学精密工程》;全文 *

Also Published As

Publication number Publication date
KR20190035739A (ko) 2019-04-03
WO2018035130A1 (en) 2018-02-22
US10368107B2 (en) 2019-07-30
SG11201900111YA (en) 2019-02-27
EP3497933A1 (en) 2019-06-19
KR102495160B1 (ko) 2023-02-01
TW201811055A (zh) 2018-03-16
CN109565603A (zh) 2019-04-02
JP6995839B2 (ja) 2022-01-17
JP2019525659A (ja) 2019-09-05
US20190313130A1 (en) 2019-10-10
US20220256203A1 (en) 2022-08-11
US11743509B2 (en) 2023-08-29
TWI761362B (zh) 2022-04-21
US11310536B2 (en) 2022-04-19
CN117319647A (zh) 2023-12-29
BR112019002896A2 (pt) 2019-05-14
US20180063553A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
CN109565603B (zh) 使用解耦树结构的视频内译码
CN109565599B (zh) 使用解耦树结构的视频内译码
CN110100436B (zh) 使用导出色度模式译码视频数据
KR102600724B1 (ko) 개량된 컨텍스트-적응 2 진 산술 코딩 (cabac) 설계를 이용한 데이터의 코딩
JP6543716B2 (ja) 適応型成分間残差予測
RU2601843C2 (ru) Расширенная сигнализация режима внутреннего предсказания для кодирования видео, использующего режим соседства
JP5587508B2 (ja) ビデオコード化のためのイントラ平滑化フィルタ
EP3375187A1 (en) Coding sign information of video data
JP2022523789A (ja) 変換スキップモードのための係数コーディング
CN116349226A (zh) 用于视频编解码期间进行滤波的多神经网络模型
US9648353B2 (en) Multiple base layer reference pictures for SHVC
JP2022525024A (ja) ビデオコーディングにおける暗黙的な変換選択
CN111149361B (zh) 具有在用于视频译码的随机存取配置中的未来参考帧的自适应图片群组结构
RU2793272C2 (ru) Сокращение числа регулярно-кодированных элементов разрешения для декодирования коэффициентов с использованием порогового значения и параметра райса
CN116636209A (zh) 视频译码中用于最可能模式列表构建的解码器侧帧内模式推导

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40000797

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant