CN109716774B - 用于视频译码的可变数目的帧内模式 - Google Patents

用于视频译码的可变数目的帧内模式 Download PDF

Info

Publication number
CN109716774B
CN109716774B CN201780057804.7A CN201780057804A CN109716774B CN 109716774 B CN109716774 B CN 109716774B CN 201780057804 A CN201780057804 A CN 201780057804A CN 109716774 B CN109716774 B CN 109716774B
Authority
CN
China
Prior art keywords
intra
block
video data
mode
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780057804.7A
Other languages
English (en)
Other versions
CN109716774A (zh
Inventor
瓦迪姆·谢廖金
胡楠
钱威俊
马尔塔·卡切维奇
赵欣
维贾亚拉加万·提鲁马莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109716774A publication Critical patent/CN109716774A/zh
Application granted granted Critical
Publication of CN109716774B publication Critical patent/CN109716774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频译码器，其确定第一视频数据块经帧内模式译码；基于所述第一块的第一高度和第一宽度，识别用于所述第一视频数据块的N个可用帧内预测模式的群组；从所述N个可用帧内预测模式的群组选择用于对所述第一视频数据块进行译码的第一帧内预测模式；以及使用所述第一帧内预测模式对所述第一块进行译码。一种视频译码器，其产生用于所述块的第一最可能模式MPM候选列表；对指示用于对所述块进行译码的实际帧内预测模式并不包含于所述第一MPM候选列表中的第一旗标进行译码；通过基于所述第一MPM候选列表中的帧内预测模式导出至少一个候选帧内预测模式而产生第二MPM候选列表。

Description

用于视频译码的可变数目的帧内模式
本申请要求2016年10月4日申请的美国临时专利申请62/404,128的权益，所述美国临时专利申请的全部内容以引用的方式并入本文中。
技术领域
本公开涉及视频编码和视频解码。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频译码(AVC)定义的标准、最近已完成的高效率视频译码(HEVC)标准及此些标准的扩展中所描述的技术。视频装置通过实施此类视频压缩技术可以更高效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的部分)分割成若干视频块(其也可被称作树块)、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测，或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待译码块的预测块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据来编码的。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初按二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
发明内容
本公开描述涉及帧内预测的技术，且更具体地说涉及帧内预测模式从视频编码器到视频解码器的传信的技术。
在一个实例中，一种用于对视频数据进行译码的方法包含确定第一视频数据块经帧内模式译码，其中所述第一视频数据块具有第一高度和第一宽度；基于所述第一高度和所述第一宽度，识别用于所述第一视频数据块的N个可用帧内预测模式的群组，其中N是大于二的整数值；从所述N个可用帧内预测模式的群组选择用于对所述第一视频数据块进行译码的第一帧内预测模式；以及使用所述第一帧内预测模式对所述第一块进行译码。
在另一实例中，一种用于对视频数据进行译码的装置包含被配置成存储所述视频数据的存储器，和一或多个处理器，其被配置成：确定第一视频数据块经帧内模式译码，其中所述第一视频数据块具有第一高度和第一宽度；基于所述第一高度和所述第一宽度，识别用于所述第一视频数据块的N个可用帧内预测模式的群组，其中N是大于二的整数值；从所述N个可用帧内预测模式的群组选择用于对所述第一视频数据块进行译码的第一帧内预测模式；以及使用所述第一帧内预测模式对所述第一块进行译码。
在另一实例中，一种用于对视频数据进行译码的方法包含确定视频数据块经帧内模式译码；产生用于所述块的第一最可能模式(most probable mode，MPM)候选列表；对指示用于对所述块进行译码的实际帧内预测模式并不包含于所述第一MPM候选列表中的第一旗标进行译码；产生用于所述块的第二MPM候选列表，其中产生用于所述块的所述第二MPM候选列表包括：基于所述第一MPM候选列表中的帧内预测模式导出至少一个候选帧内预测模式以用于包含在所述第二MPM候选列表中；以及对指示用于对所述块进行译码的实际帧内预测模式是否包含于所述第二MPM候选列表中的第二旗标进行译码。
在另一实例中，一种用于对视频数据进行译码的装置包含被配置成存储所述视频数据的存储器；和一或多个处理器，其被配置成确定视频数据块经帧内模式译码；产生用于所述块的第一最可能模式(MPM)候选列表；对指示用于对所述块进行译码的实际帧内预测模式并不包含于所述第一MPM候选列表中的第一旗标进行译码；产生用于所述块的第二MPM候选列表，其中产生用于所述块的所述第二MPM候选列表包括：基于所述第一MPM候选列表中的帧内预测模式导出至少一个候选帧内预测模式以用于包含在所述第二MPM候选列表中；以及对指示用于对所述块进行译码的实际帧内预测模式是否包含于所述第二MPM候选列表中的第二旗标进行译码。
在附图和以下描述中阐述本公开的一或多个方面的细节。本公开中所描述的技术的其它特征、目标及优点将从描述和图式以及权利要求书而显而易见。
附图说明
图1是说明可利用本公开中描述的技术的实例视频编码和解码系统的框图。
图2是说明视频数据块的帧内预测的实例的概念图。
图3是说明帧内预测模式和对应模式索引的实例的概念图。
图4是说明JEM中所定义的帧内预测模式和对应模式索引的实例的概念图。
图5是说明根据本公开的实例的JEM中所定义的帧内预测模式的实例的概念图。
图6是说明可实施本公开中描述的技术的实例视频编码器的框图。
图7是说明可实施本公开中描述的技术的实例视频解码器的框图。
图8是说明根据本公开的技术的实例视频译码过程的流程图。
图9是说明根据本公开的技术的实例视频译码过程的流程图。
具体实施方式
包含最近开发的高效视频译码(HEVC)标准在内的各种视频译码标准包含用于视频块的预测性译码模式，其中基于已经译码的视频数据块来预测当前正译码的块。在帧内预测模式中，基于与当前块在相同图片中的一或多个先前经译码相邻块来预测当前块，而在帧间预测模式中，基于不同图片中的已经译码块来预测当前块。在帧间预测模式中，确定先前经译码图片块作为预测块使用的过程有时被称作运动估计，其通常由视频编码器执行，且识别和检索预测块的过程有时被称作运动补偿，其由视频编码器和视频解码器两者执行。HEVC和HEVC的后继标准的扩展还可使用额外译码模式，例如帧内块副本、词典和调色板译码模式。
本公开描述涉及帧内预测的技术，并且更具体地说涉及预测方向(即，帧内预测模式)的选择和预测方向的译码的技术。本公开的技术可以与现有视频编解码器，例如HEVC中的任一者结合使用，或可为用于具有压缩能力的未来视频译码技术中的高效译码工具，未来视频译码技术可超过当前HEVC标准和其扩展。本公开的技术可例如结合当前在开发中的H.266标准或HEVC的其它后继标准使用。
本公开有时可指代视频译码器。视频译码器希望是指代视频编码或视频解码的通用术语。同样，术语视频译码希望是指代视频编码或视频解码的通用术语。本公开的某些技术可相对于视频编码或视频解码来描述，但除非明确地陈述，否则不应假设那些技术同样不适用于视频编码或视频解码中的另一个。例如，本公开描述用于产生最可能模式(MPM)候选列表和用于确定对与所述MPM候选列表相关联的某些信息进行熵译码的上下文的技术。用于产生所述MPM候选列表并确定所述上下文的技术由视频编码器和视频解码器两者执行，使得视频解码器可确定与视频编码器相同的MPM候选列表或相同的上下文，其中几乎没有或没有从所述视频编码器到所述视频解码器的显式传信。因此，即使相对于视频编码器或视频解码器中的一个描述本公开的某些技术，通常应假设所述技术也适用于视频编码器或视频解码器中的另一个。
本公开也可以使用例如当前块、当前图片等术语。在本公开的上下文中，当前术语意图识别相较于例如先前或已经译码的块或图片或待译码块或图片的当前正被译码的块或图片。
图1是说明可利用本公开中描述的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其产生稍后将由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括各种各样裝置中的任一者，包含台式计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括通信媒体，其用于使得源装置12能够直接将经编码视频数据实时地发射到目的地装置14。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
在另一实例中，经编码数据可从输出接口22输出到存储装置26。类似地，经编码数据可通过输入接口从存储装置26存取。存储装置26可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置26可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置26经由流式传输或下载来存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置和本地磁盘驱动器。目的地装置14可经由包含因特网连接的任何标准数据连接来存取经编码的视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置26的发射可以是流式发射、下载发射或两者的组合。
本公开的技术未必限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如，经由因特网)、对数字视频进行编码以存储于数据存储媒体上、对存储于数据存储媒体上的数字视频进行解码，或其它应用。在一些实例中，系统10可被配置成支持单向或双向视频发射，以支持例如视频流式传输、视频重放、视频广播和/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如视频捕获装置的源，例如摄像机；含有先前所捕获的视频的视频存档；从视频内容提供者接收视频的视频馈送接口；和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类源的组合。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，本公开中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。
经捕获、预先捕获或计算机产生的视频可由视频编码器20编码。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。经编码视频数据还可(或替代地)存储在存储装置26上以供稍后由目的地装置14或其它装置存取，用于解码和/或回放。
目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或提供于存储装置26上的经编码视频数据可包含由视频编码器20产生以供视频解码器(例如视频解码器30)用于解码视频数据的多种语法元素。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14的外部。在一些实例中，目的地装置14可包含集成显示装置且还被配置成与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频压缩标准，例如最近完成的HEVC标准操作。视频编码器20和视频解码器30可另外根据HEVC扩展，例如范围扩展、多视图扩展(MV-HEVC)或已由关于视频译码的联合合作小组(JCT-VC)以及关于3D视频译码扩展开发(JCT-3V)的ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的联合合作小组开发的可缩放扩展(SHVC)操作。
视频编码器20和视频解码器30也可以根据其它专有或行业标准(例如ITU-TH.264标准，替代地被称为ISO/IEC MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展，例如可缩放视频译码(SVC)和多视图视频译码(MVC)扩展)操作。然而，本公开的技术不限于任何特定译码标准。视频压缩标准的其它实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263和ISO/IEC MPEG-4 Visual。
ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)现在正在研究对具有显著超出当前HEVC标准(包含其用于屏幕内容译码和高动态范围译码的当前扩展和近期扩展)的压缩能力的未来视频译码技术的标准化的潜在需要。专家组正以已知为联合视频探索小组(JVET)的联合合作尝试共同进行此探索活动以评估所提议的压缩技术设计。JVET最初在2015年10月19日到21日期间会面。参考软件的一个版本(即联合探索模型2(JEM2))可从以下下载：https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-2.0/。用于JEM2的算法描述于J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce的“联合探索测试模型2的算法描述(Algorithm description of Joint Exploration TestModel 2)”(JVET-B1001，圣地亚哥，2016年3月)中，其描述以引用的方式并入本文中。参考软件的另一版本(即，联合探索模型3(JEM3))可从以下下载：https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-3.0/。JEM3的算法描述描述于J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce的“联合探索测试模型3的算法描述(Algorithm description of Joint Exploration Test Model 3)”(JVET-C1001，日内瓦，2016年5月26日到6月1日)中，且其以引入的方式并入本文中。
为了易于解释，本公开的技术可利用HEVC术语。然而，不应假设本公开的技术限于HEVC，且实际上，明确地预计本公开的技术可以HEVC的后续标准和其扩展实施。
虽然图1中未展示，但在一些实例中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成在一起，且可包含适当的MUX-DEMUX单元，或其它硬件和软件，以处置共用数据流或独立数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器以硬件执行所述指令以执行本公开的技术。视频编码器20和视频解码器30中的每一个可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(CODEC)的部分。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称为“帧”。在一个实例方法中，图片可包含三个样本阵列，标示为SL、SCb和SCr。在此实例方法中，SL为明度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中还可称为“色度(chroma)”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。
为了产生图片的经编码表示，视频编码器20可以产生一组译码树单元(CTU)。CTU中的每一个可包括明度样本的译码树块、色度样本的两个对应的译码树块，以及用于对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单个译码树块和用于对所述译码树块的样本进行译码的语法结构。译码树块可为样本的NxN块。CTU也可以被称为“树块”或“最大译码单元”(LCU)。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。切片可包含按光栅扫描次序连续排序的整数数目的CTU。
为了产生经译码CTU，视频编码器20可在CTU的译码树块上以递归方式执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块可为样本的NxN块。CU可包含具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块和色度样本的两个对应译码块，以及用于对译码块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包括单个译码块和用以对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块是对其施加相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括明度样本的预测块、色度样本的两个对应预测块和用以预测预测块的语法结构。在单色图片或具有三个单独颜色平面的图片中，PU可包括单个预测块和用于预测预测块的语法结构。视频编码器20可产生用于CU的每一PU的明度预测块、Cb预测块及Cr预测块的预测性明度块、Cb块和Cr块。
视频编码器20可使用帧内预测或帧间预测以产生PU的预测块。如果视频编码器20使用帧内预测以产生PU的预测块，那么视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测块。如果视频编码器20使用帧间预测产生PU的预测块，那么视频编码器20可基于除与PU相关联的图片以外的一或多个图片的经解码样本产生PU的预测块。
在视频编码器20产生CU的一或多个PU的预测性明度、Cb和Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一个中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器20可以产生CU的Cb残余块。CU的Cb残余块中的每一样本可以指示CU的预测性Cb块中的一个中的Cb样本与CU的原始Cb译码块中对应的样本之间的差异。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一个中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四叉树分割将CU的明度、Cb和Cr残余块分解成一或多个明度、Cb和Cr变换块。变换块是对其施加相同变换的样本的矩形(例如，正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块，和用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块和Cr变换块相关联。与TU相关联的明度变换块可以是CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包括单个变换块和用于对变换块的样本进行变换的语法结构。
视频编码器20可以将一或多个变换施加到TU的明度变换块从而为TU产生明度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换施加到TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换施加到TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可以量化系数块。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量，从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片和相关联数据的表示的位序列的位流。所述位流可包括网络抽象层(NAL)单元序列。NAL单元是含有NAL单元中的数据类型的指示和含有所述数据的呈按需要穿插有仿效阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一个包含NAL单元标头，且包封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可包封不同类型的RBSP。举例来说，第一类型的NAL单元可包封PPS的RBSP，第二类型的NAL单元可包封经译码切片的RBSP，第三类型的NAL单元可包封SEI消息的RBSP，等等。包封视频译码数据的RBSP(与参数集和SEI消息的RBSP相反)的NAL单元可被称作VCL NAL单元。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析位流以从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重构视频数据的图片。重构视频数据的方法可大体上与由视频编码器20执行的方法互逆。另外，视频解码器30可逆量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行逆变换以重构与当前CU的TU相关联的变换块。通过将用于当前CU的PU的预测块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可以重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可重构所述图片。
图2是说明如可通过视频编码器20或视频解码器30执行的视频数据块的帧内预测的实例的概念图。对于帧内预测，使用在空间上相邻的重构图像样本预测视频数据块(例如，PU)。在图2中展示对图像块40，例如16×16图像块的帧内预测的典型实例。对于帧内预测，视频编码器20或视频解码器30通过沿着选定预测方向(如由箭头42指示)复制左上方相邻重构样本(参考样本)而预测图像块40。
图3是说明HEVC标准中所使用的帧内预测模式和对应模式索引的实例的概念图。在HEVC中，存在用于明度块的帧内预测的35个模式，包含平面模式(即，平面帧内预测模式)、DC模式，和33个角度模式(即，角度帧内预测模式)，如图3中所指示。如HEVC中所定义的35个帧内预测模式如下表1中所示经索引化。
表1-帧内预测模式和相关联名称的规范
帧内预测模式 相关联名称
<u>0</u> INTRA_PLANAR
1 INTRA_DC
2..34 INTRA_ANGULAR2..INTRA_ANGULAR34
图4是说明JEM中所定义的帧内预测模式和对应模式索引的实例的概念图。JEM-3.0中的一个帧内相关译码工具为67个帧内预测模式的引入，如图4中所示。相较于HEVC中的帧内预测模式，引入32个额外角度帧内预测角度，如由图4中的点线所示。通过实线展示HEVC的33个角度帧内预测模式。帧内模式索引0和1指代HEVC中的相同平面和DC模式。帧内模式索引2到66指代不同帧内预测角度，其中索引18、34和50分别对应于纯水平预测、对角线预测，和纯竖直预测。关于67个帧内预测模式，可相对于HEVC的35个帧内预测模式实现更高的帧内预测准确度。
为了传信帧内模式，视频编码器20和视频解码器30可建立MPM列表。视频编码器20传信指示用于对所述块进行译码的实际帧内预测模式是否为所述MPM列表中的模式中的一个的旗标。如果实际模式为所述MPM列表中的模式中的一个，那么视频编码器20还可产生指示索引值的语法元素以用于包含在经编码视频数据的位流中，其中所述索引值指示所述MPM列表中的哪一条目对应于实际帧内预测模式。当对经编码视频数据进行解码时，视频解码器30可对旗标和索引值进行解码以确定所述列表中对应于用于对所述块进行译码的帧内预测模式的所述条目。当视频编码器20和视频解码器30被配置成产生相同MPM列表时，视频解码器30可确定由视频编码器20使用的帧内预测模式以对所述块进行编码。如果用于对所述块进行译码的实际帧内模式并非来自MPM列表的所选模式，那么视频编码器20可明确地传信用于对所述块进行译码的所述模式的模式索引。可通过去除MPM和所选模式减小模式索引的最大值。可例如通过采用每个第4模式，即均匀地取样而建立所选模式的列表。
JEM中的帧内预测模式传信的当前实施方案可能有一些问题，所述问题可通过本公开的各方面得以解决。作为一个实例，尽管JEM中的帧内角度方向的数目相较于HEVC的帧内角度方向的数目加倍，但仍然可能需要更精确的预测方向。然而，增大用于较小块大小的方向的数目可能无法明显地改进预测质量，且实际上可能不合需要地增大信令开销。在JEM中，具有均匀取样的所选模式的MPM列表可能无法最有效地表示用于特定块的最佳帧内预测模式，由于此MPM列表并不取决于相邻列表或已经选择的MPM列表。在JEM中，帧内模式的数目已经增大，这还可能增大帧内模式信令成本。在JEM中，针对帧内预测启用矩形块，但JEM并不考虑用于帧内模式信令的块形状和对应边缘特征。作为潜在问题的另一实例，当引入更多角度帧内模式时，可需要进一步改善MPM索引的上下文模型。
为了有可能解决上文所提及的问题，本公开引入涉及帧内预测模式和帧内预测模式的传信的若干技术。可个别地应用所公开技术，或除非相反地陈述，否则所公开技术还可以任何组合形式应用。可通过视频编码器20或视频解码器30应用以下技术。在一些情况下，视频解码器30可执行与由视频编码器20执行的编码过程互逆的解码过程。作为一个实例，如果视频编码器20发射某些信息，那么视频解码器30可接收此信息。在建立MPM列表的情况下，视频编码器20和视频解码器30可执行相同技术以便建立相同列表。
根据本公开的技术，视频编码器20和视频解码器30可被配置成使用可变数目的帧内模式，使得并非所有经帧内译码块均具有相同可用帧内模式。图5是说明根据本公开的实例的可包含于JEM中的帧内预测模式的实例的概念图。图5展示由本公开引入的131个帧内模式。图5中的数字2、34、66、98和130表示角度模式的模式索引，且数字0和1分别表示平面和DC模式的模式索引。尽管图5中未明确地展示，但其它角度模式也具有相关联索引。实线(例如，用附图标记53标记的模式)表示HEVC中的35个模式(33个角度模式，加上DC和平面模式)。JEM的当前实施方案利用67个帧内模式，其中额外模式对应于33个HEVC角度模式之间的额外角度模式。用附图标记55标记的模式为包含于JEM的当前版本中的额外模式的实例。本公开提议在33个HEVC角度模式与额外32个JEM角度模式之间添加额外模式。用附图标记57标记的模式为由本公开提议的额外角度模式的实例。
然而，仅仅增大帧内模式预测方向的数目可能并不有助于改进译码性能，由于增大方向数目还会归因于额外可变性而增大信令开销。其次，更多种帧内模式方向可能并非对于所有块大小都是高效的。例如，对于小的块大小，在较少开销情况下较少帧内方向可为优选的，且对于较大的块，更多帧内方向可更佳。
在一个实例中，视频编码器20和视频解码器30可取决于正经译码块的大小(例如，高度和宽度)利用不同模式分组。可按照块大小或块面积(宽度*高度)传信帧内模式的数目。可在CTU层级、在块层级或其它层级以视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头、块群组传信按照块大小或块面积的帧内模式方向的所选数目。在一个实例中，可以SPS帧内模式方向的数目的传信。
在一个实例中，为了传信帧内模式的数目，视频编码器20可传信指示块大小或块面积的阈值，且对于小于或不大于所述阈值的块，视频编码器20可使用某一数目的帧内模式。所述阈值可相对于默认数目传信或作为待传信阈值与最小可能的块大小或面积之间的差。例如，最小块大小可为4×4，因此传信log2(对应于帧内模式的某一数目的块大小)-log2(4)。可使用任何其它大小替代4。信令中的最小块大小可取决于其指示的帧内模式的数目，如将在下文所描述。
如上文所描述，各种块大小可具有不同帧内模式数目。例如，传信指示块大小或块面积的第一阈值，且如果所述块大小或块面积小于或不大于所述第一阈值，那么帧内模式的数目等于第一数目。例如，第一阈值可为32(块面积)，传信值为log2(32)-log2(16)＝1，16为4×4块的面积且在此实例中被视为对于第一数目个帧内模式的最小块，且对于面积不大于第一阈值32的块，可使用第一数目个帧内模式，例如等于35个帧内模式。
类似地，视频编码器20可传信第二阈值以指示使用第二数目个帧内模式。例如，第二阈值可设置成等于256，且传信值为log2(256)-log2(64)＝2，64为8×8块的面积且在此实例中被设置为对于第二数目个帧内模式的最小块，且例如将第二数目个帧内模式设置成等于67个模式。对于小于或不大于第二阈值的块，可使用第二数目个帧内模式，任选地不包含在相对于第一阈值进行比较时已经分配了帧内模式数目的块。
其它块可使用默认帧内模式数目，例如131个帧内模式。上述实例可由下表概述。
块面积(宽度*高度) 35个模式 67个模式 131个模式
<＝32 X - -
>32且<＝256 - X -
>256 - - X
在一个实例中，传信阈值可取决于图片大小(例如，图片分辨率)。尽管可在一个实例中利用两个阈值，但对于其它帧内模式数目可使用多于或少于两个阈值。在另一实例中，帧内模式的数目可取决于其它经解码信息，包含但不限于块宽度和/或高度；块宽度(高度)与高度(宽度)的比率；哪一(哪些)排的参考样本用于帧内预测；图片相依性预测组合(PDPC)(如美国专利公开案2017/0094285中所描述，2017年3月30日公开)，增强型多重变换(EMT)(如美国专利公开案2016/0219290中所描述，2016年7月28日公开)或初始变换、不可分离的辅助变换(NSST)的类型(如美国专利公开案2017/0094313和美国专利公开案2017/0094314中所描述，均在2017年3月30日公开)或辅助变换模式的类型是否应用于当前块；当前块是在帧内切片中经译码还是在帧间(P或B)切片中经译码；相邻重构值；相邻帧内模式。例如，如果大部分相邻块使用平面或DC模式，那么当前块可相较于用于当前块的默认数目而使用较小数目个帧内模式，否则针对当前块应用默认数目个帧内模式。
在另一实例中，视频编码器20和视频解码器30可在编码和解码过程期间更新帧内模式的数目。例如，计数器可用于计数MPM模式用作所选帧内模式的频率，且如果极其频繁使用MPM模式，那么可减小帧内模式的总数目(例如，从131减小到67)，否则如果不频繁使用MPM模式，那么可增大帧内模式的总数目(例如，从35增大到67)。
MPM的数目可取决于帧内模式的总数目。例如，如果帧内模式的总数目等于第一值，例如67，那么某一数目个MPM(例如6)可用于帧内模式译码。如果帧内模式的总数目等于第二值，例如131，那么第二数目个MPM，例如7或5个MPM可用于帧内模式译码。
所使用的帧内内插滤波器(类型和长度)可取决于帧内模式的总数目。例如，如果帧内模式的总数目等于第一数目，例如67，那么可应用具有某一滤波器长度的第一滤波器，例如4抽头三次内插滤波器，且接着对于等于第二数目，例如131的帧内模式总数目，可应用具有另一滤波器长度的另一滤波器，例如6抽头六次内插滤波器。
例如，当帧内模式的数目从67个模式增大到131个模式时，可例如通过将模式相依性帧内平滑阈值乘以2以使角度方向的数目加倍而扩展所述阈值以增大方向的数目。
根据本公开的技术，视频编码器20和视频解码器30可以被配置成执行帧内模式转换。当可使用多于一个的帧内模式数目时，帧内模式可需要从一个帧内模式范围转换成另一范围。例如，当前块可使用131个模式，但相邻块可使用67个模式。当针对当前块建立MPM列表时，如果用于相邻块的帧内模式的数目不同，那么帧内模式可映射到使用当前帧内模式数目的帧内模式。
例如，相邻块可具有水平模式，水平模式数目在35个帧内模式情况下为10，在67个帧内模式情况下为18，且在131个帧内模式情况下为34。因而，如果相邻块使用67个帧内模式，那么视频编码器20和/或视频解码器30可将水平模式数目10或18映射到例如34。
在一个实例中，帧内模式的所选择的子集，例如来自131个模式的67个模式可不包含每隔一个的模式(除了DC和平面模式之外)。换句话说，所选择的子集可仅包含JEM中目前利用的67个模式而不包含本公开所提议的额外64个角度模式。在一个实例中，选择每隔一个的模式可仅应用于角度模式，而平面模式(模式0)和DC模式(模式1)通常更为常见且可始终包含于较小子集中。在一个实例中，可例如基于离线实验和/或训练从与图像特性最佳拟合的131个模式选择67个模式的子集。以此方式选择67个模式可更好地预测准确度，这可引起译码性能的改进。所选的67个模式可存储在查找表(LUT)中。可使用查找表执行较大帧内模式集合(即，131个模式)与较小帧内模式集合(即，67个模式)之间的映射，且反之亦然。可应用类似方法以从131个模式选择35个模式的子集，且查找表可用于执行此映射。
视频编码器20和/或视频解码器30通常可根据查找表执行映射或转换过程，且输入或一个索引为待转换模式且输出或第二索引为经转换模式。转换可在两个方向上进行，从较大帧内模式集合转换为较小帧内模式集合或从较小集合转换为较大集合。较小帧内模式集合可为较大帧内模式集合的子集，且较大帧内模式集合可为较小帧内模式集合的超集。可例如基于较大集合中最频繁使用的模式或基于所选方向的邻域导出子集。例如，所选方向可为水平、竖直、对角线或其它模式。最频繁使用的模式的一些实例可为DC模式或平面模式。
在一个实例中，块所存储的帧内模式可被设置成由最大帧内模式数目表示的模式数目，例如131个帧内模式，即使所述块使用较少帧内模式数目。可执行从由最大帧内模式数目表示的模式到用于块的所要帧内模式数目内的模式的映射或转换过程以导出实际模式。
映射或转换规则对于视频编码器20和视频解码器30可固定，或可例如使用传信索引的规则的列表在位流中指示。在另一实例中，可在编码和解码过程期间更新转换规则。
在一个实例中，替代使用基于LUT的映射，映射过程可基于闭合形式表达式。为了将由131个模式数目表示的模式转换为由67个模式数目表示的模式，可通过设置位移＝1施加以下操作(((模式-2)>>位移)<<位移)+2；此将舍入为最接近的每隔一个的模式，其更接近于零。例如，67个模式将包含图5中排53和55所参考的模式，但不包含排57所参考的模式。类似地，在一个实例中，如果从131个模式转换为35个模式，那么位移值可替代1为2。在此实例中，所述模式将包含图5中排53所参考的模式，但不包含排55和57所参考的模式。在另一实例中，可在进行右移操作以舍入为最接近的模式之前添加1<<(位移-1)的偏移值。可归因于非角度模式(DC和平面模式)的数目加上负2，由于非角度模式在角度方向的数目增大时可能并不扩展且可分别映射到DC和平面模式，无论帧内模式的数目如何。
在一个实例中，可在MPM列表构建期间进行映射，由于并非所有相邻帧内模式均可适用于当前块。并且，当计算MPM列表导出中导出的模式步骤时，例如，加上或减去1可用于使用所有131个帧内模式的块。在另一实例中，加上或减去二可用于数目小两倍的模式(67)，且步骤加上或减去4可用于数目小四倍的模式(35)，以此类推。映射规则，例如基于闭合形式表达式或基于LUT的映射规则可在步骤加上或减去2、加上或减去4用于计算导出模式时应用。
在一个实例中，自适应方法可用于在译码时选择帧内模式，而不是使用固定较小帧内模式集合(例如，67)。编码器20和解码器30使用相同方法更新例如起始于初始集合的帧内模式集合。在一个实例中，视频编码器20可起始于初始帧内模式集合。初始集合可以是任何集合，例如从离线实验或从均匀取样如上文所描述的较大模式习得的集合。接着，编码器20可跟踪已经译码区域中出现的较大帧内模式集合(例如，131)中频繁使用和不频繁使用的译码模式两者。接着，可通过添加频繁使用的帧内模式和去除不频繁使用的帧内模式而更新初始集合。可在各种粒度层级，例如针对每一CU、PU、TU或CTU或块或单元的群组执行更新过程。当基于已经译码区域进行更新步骤时，解码器30可遵循相同方法。
另外，应用于当前块的帧内内插滤波器可取决于帧内模式转换/映射过程。可针对由较大帧内模式数目表示的模式进行帧内模式转换或映射以将其转换为由较小帧内模式数目表示的模式，例如模式可从131个帧内模式集合映射到来自67个帧内模式集合的模式。在转换期间，待映射模式和经映射模式的帧内模式方向可能未必匹配，例如当待映射帧内模式方向并不存在于较小模式集合中时。然而，可存在一些其它参数或导出过程，基于帧内模式信息导出参数或施加导出过程。在一个实例中，替代使用经映射或经转换帧内模式，来自较大集合的模式可用于导出此类参数。例如，帧内内插滤波器(例如，用于导出非整数样本以执行帧内预测)可取决于帧内模式，且在此类情况下，来自较大帧内模式集合的未经转换模式可用于确定滤波器。通过此帧内内插滤波器选择方法，可改进预测准确度，但帧内模式的总数目可不改变。
此外，上述映射规则还可用于涉及帧内模式，例如PDPC、EMT或初始变换、NSST或辅助变换等的其它工具。
视频编码器20和视频解码器30可以被配置成执行各种帧内模式译码技术，在下文中更详细地描述。当可使用不同帧内模式数目时，为了传信模式，还可改变MPM列表大小。在另一实例中，MPM列表大小对于所有帧内模式数目可相同。当较小模式集合(例如，67或35)存储在LUT中时，可传信LUT中对应于模式的索引而不是模值本身。解码器30可根据经解码索引且使用LUT对实际模式进行解码。
如果模式并非MPM，那么所述模式可进一步被分类为来自所选模式集合的模式，或并不来自所选模式集合的模式，例如JEM中目前使用的模式。类似地，所选模式的数目可根据帧内模式的数目而不同。例如，所选模式的数目对于131个模式可为32，对于67个模式可为16，对于35个模式可为8。如果待译码模式为所选模式中的一个，那么可传信所选模式集合中所述模式的索引而不是模值本身。
类似地，未被选择的模式的最大模式数目可根据所使用的帧内模式数目而不同。例如，最大模式数目对于131个模式和为6的MPM列表大小可为93；对于67个模式和6个MPM模式可为45，且对于35个模式和6个MPM模式可为21。一般来说，模值可经计算为(模式的数目)-(MPM模式)-(所选模式的数目)。
为了传信模式，包含于MPM列表中的模式和待传信模式可从由最大帧内模式数目(131)表示的模式转换为由所要帧内模式数目表示的模式。在此实例中，如果模式并非MPM，那么可通过减去MPM模式调整待传信帧内模式值，如HEVC和JEM中目前所进行的。
色度分量可应用用于明度分量的帧内模式(DM模式)以导出色度帧内预测。在此实例中，用于色度分量的帧内模式可转换成对应于用于色度的模式数目的帧内模式。用于色度的模式数目可为块大小或块面积相依的。例如，在DM模式，即来自对应明度分量的块的帧内模式(来自一个帧内模式范围(例如，131)，但对应色度块可具有来自另一帧内模式范围(例如，67)的模式)中，在导出色度帧内预测之前，对于在上述实例中所描述的实例，明度模式可接着从为131的模式转换成为67的模式。例如，当明度和色度分量单独地经译码时，可出现不同明度和色度块大小，但明度信息可用于对色度分量进行译码。在另一实例中，可使用未经转换的帧内模式，由于色度帧内模式传信可能并不取决于帧内模式的总数目，且可传信指示是否可使用明度帧内模式的旗标。
可增大MPM列表大小，例如从6个模式增大到7个模式。为了对MPM索引进行译码，用于表示MPM索引的二进制化可例如取决于MPM索引而不同。例如，一个二进制化方法可用于较小MPM索引，即小于某一阈值，且另一二进制化方法可用于其它MPM索引，其中其它MPM索引可经译码为实际MPM索引减去所述阈值。在一个实例中，一元或截断一元代码可用作第一二进制化方法且固定长度二进制代码或截断二进制代码可用作第二二进制化方法。
除上文所描述的MPM列表之外，视频编码器20和视频解码器30还可被配置成建立辅助MPM列表。如上文所描述，可从帧内模式的可能范围均匀地选择所选模式。在本公开中，所选模式可从MPM模式导出，因此形成辅助MPM列表。
当使用两个MPM列表时，视频编码器20可例如产生指示用于对视频块进行译码的实际帧内预测模式是否包含于第一MPM列表中的第一语法元素。如果所述实际帧内预测模式包含于第一MPM列表中，那么视频编码器20可产生指示第一列表中哪一条目对应于所述实际帧内预测模式的语法元素。如果所述实际帧内预测模式并不包含于第一MPM列表中，那么视频编码器20可产生指示用于对视频块进行译码的实际帧内预测模式是否包含于第二MPM列表中的第二语法元素。如果所述实际帧内预测模式包含于第二MPM列表中，那么视频编码器20可产生指示第二列表中哪一条目对应于所述实际帧内预测模式的语法元素。如果所述实际帧内预测模式并不包含于第二MPM列表中，那么视频编码器20可产生指示剩余模式中的哪一个对应于实际帧内预测模式的语法元素。通过产生与视频编码器20相同的第一与第二MPM列表且通过接收由视频编码器20产生的各种语法，视频解码器30可确定用于对所述块进行译码的帧内预测模式。
从每一MPM模式导出的模式的数目可取决于MPM索引，或所述模式可均匀地从所有MPM导出。例如，对于MPM模式0，导出四个辅助模式。视频编码器20和视频解码器30可例如通过将偏移-+1、-+2、-+3、……施加到MPM模式0值而导出辅助模式。在一些实施方案中，在辅助MPM列表中，视频编码器20和视频解码器30可仅包含独特模式，即，尚未添加到MPM列表或辅助MPM列表的模式。可针对所有MPM模式，或仅针对某些MPM模式重复此导出。例如，对于MPM模式1，重复所述过程且例如3个辅助独特模式可经导出且添加到辅助MPM列表，且继续所述过程直到最后一个MPM模式为止。一般来说，导出可被描述为从所有可能帧内模式选择给定模式周围的模式的子集。
经导出辅助模式的数目可取决于MPM模式索引，且经导出模式的数目对于MPM模式0或具有较小MPM索引的模式可最大。例如，经导出模式的数目对于6个MPM模式为{4，3，3，2，2，2}，其中每一值为从每一MPM模式导出的辅助模式的数目，即四个模式从第一MPM模式导出，三个模式从第二和第三MPM模式导出，且两个模式从第四和后续MPM模式导出。
在另一实例中，所述导出可仅应用于某些MPM模式。例如，所述导出可仅应用于角度模式(并非DC或平面模式的模式)。一般来说，所述导出可应用于MPM模式的子集。在以上实例中，{4，3，3，2，2，2}可仅应用于角度MPM模式(例如，既不是平面模式也不是DC模式)，其中每一值为从每一角度MPM模式导出的辅助模式的数目。在另一实例中，并非所有MPM模式均用于产生辅助模式。在此实例中，仅可涉及来自相邻块的MPM模式。
基于MPM模式产生的辅助模式可有可能无法填满第二MPM列表。因此，默认辅助MPM列表可用于填充列表中的剩余模式。在一个实例中，此默认第二MPM列表可通过子取样角度模式导出，例如以每次可任选地加倍的子样本步长均匀地导出。例如，对于65个角度模式，默认第二MPM列表可为{2，18，34，50，66；10，26，42，58；6，14，22，30，38，46，54，62等等}，其中初始步长可为16或8。如上文所描述，辅助MPM列表中模式的数目可取决于可用于当前块的帧内模式的数目。
在另一实例中，视频编码器20可产生且视频解码器30可接收指示实际模式属于子集的旗标，而不是传信指示帧内模式为所选模式中的一个的旗标或索引。子集的数目可为2或更多，子集的大小可不同。例如，在对角线模式之后的模式(类竖直模式)可置于竖直子集中，且其它模式可置于水平子集中。旗标或索引(在使用超过2个子集的情况下)指示待译码模式属于哪一子集。作为第二步骤，可从所述子集去除属于所选择的子集的所有MPM模式，由于待译码模式并非MPM模式，因此减小子集大小。在此之后，可例如使用截断二进制化传信子集中的模值或模式索引，其中最大值可为子集大小。所述旗标或索引可经上下文译码，且所述上下文可取决于子集类型或子集索引，取决于MPM列表中的模式，或可取决于包含于帧内模式子集中的帧内模式的数目。
为了传信帧内预测模式，视频编码器20和视频解码器30还可被配置成执行MPM的调换和上下文模型化。视频编码器20和视频解码器30可以被配置成基于块形状调换模式。在JEM中，矩形块可用于帧内译码：水平块(块高度小于块宽度)和竖直块(块高度大于块宽度)。
可取决于相邻块位置和当前块的形状较频繁选择相邻帧内模式(例如，用于相邻块的帧内模式)。类似地，一些帧内模式方向可取决于当前块形状而更优选。例如，来自左侧相邻块的帧内模式或竖直角度模式(例如对于67个帧内模式的情况如图4上所示的索引大于对角线模式34的模式)对于竖直形状块可更优选；类似地，用于顶部相邻块的帧内模式或水平帧内模式(例如对于67个帧内模式的情况如图4上所示的索引小于对角线模式34的角度模式)对于水平形状块可更优选。
因此，视频编码器20和视频解码器30在帧内模式译码期间可考虑块形状。例如，包含于MPM列表中或分配有MPM索引的模式可取决于当前块形状和/或MPM模式与优选帧内模式的距离，优选模式(例如，水平或竖直模式)可取决于如上文所提及的当前块形状。例如，对于竖直形状块，如果前两个MPM均为角度MPM，那么更接近于优选模式，例如竖直模式的MPM可设置为第一MPM且另一个可设置为第二MPM。类似地，当传信未包含在第一或辅助MPM列表中的其它帧内模式时，可基于所述模式与优选模式，例如竖直和水平方向的模式的距离向帧内模式分配码字。作为实例，对于竖直块，更接近于竖直方向的帧内模式相较于更远离竖直方向的模式可分配有较短码字。
在一个实例中，对应于一个块形状的优选模式在传信之前可映射到对应于另一块形状的优选模式。那些优选模式可具有较小模式索引或可分配较短码字。以此方式，不同块形状的优选模式可共同经译码且任选地共享相同上下文模型化，这可能产生更高效译码。例如，竖直帧内模式方向(例如具有较大模式索引的模式)在帧内模式传信之前可映射到水平帧内模式方向(例如具有较短模式索引的模式)。在一个实例中，其可通过索引再映射实现，其中例如对于具有ModeIndex的模式，再映射到NewModeIndex可实现为NewModeIndex＝MaxModeIndex-ModeIndex，其中MaxModeIndex为最大帧内模式索引。
视频解码器30可例如针对某些块形状执行逆映射，以将水平方向映射回到竖直方向。在一个实例中，所描述映射可仅适用于所选块形状或块大小，例如适用于高度大于或等于宽度的块。
对于正方形块，来自相邻块的MPM在可用且独特时还可通过属于所选择的模式子集的有利模式重新布置。例如，如果MPM1属于第一集合{平面，DC，2，水平，竖直，对角线1，对角线2}且MPM0并不属于所述集合，那么调换MPM0和MPM1。在此实例中，模式对角线1和对角线2可对应于对角线帧内模式，例如在一个实例中，分别对应于图4中的帧内模式2和66。
视频编码器20和视频解码器30可以被配置成执行上下文分组。在当前JEM中，将用于MPM索引译码的上下文分成3个群组，即平面和DC(非角度集合)、水平集合(从左下到右上对角线方向到对角线模式的模式(包含端点))，和竖直集合(从对角线模式到右上到左下对角线方向)。
可基于帧内MPM模式方向和/或当前块形状，和/或MPM列表中MPM模式的数目精炼上下文集合。
例如，当帧内模式的总数目为67(图4)时，用于MPM索引的上下文可以一定方式分组使得上下文模型取决于到优选帧内模式，例如竖直或水平方向的距离，如下表中所示。
Figure BDA0002000592100000191
Figure BDA0002000592100000201
在一个实例中，在更通用方法中，根据特定MPM模式(具有特定MPM索引的模式)与默认或预先选择的帧内模式的距离；换句话说，根据当前MPM模式与默认模式的距离分配用于对MPM索引进行译码的上下文。那些默认模式可以是例如水平、竖直、对角线或任何其它方向。
图6是说明可实施本公开中描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减小或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一者。
在图6的实例中，视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、求和器50、变换处理单元52、量化单元54、熵编码单元56。预测处理单元41包含运动估计单元(MEU)42、运动补偿单元(MCU)44和帧内预测单元46。对于视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60、求和器62、滤波器单元64和经解码图片缓冲器(DPB)66。
如图6中所示，视频编码器20接收视频数据，并将所接收到的视频数据存储在视频数据存储器33中。视频数据存储器33可存储待通过视频编码器20的组件进行编码的视频数据。存储在视频数据存储器33中的视频数据可例如从视频源18获得。DPB 66可为参考图片存储器，其存储参考视频数据以供在视频编码器20例如在帧内或帧间译码模式下对视频数据进行编码时使用。视频数据存储器33和DPB 66可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。视频数据存储器33和DPB 66可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器33可与视频编码器20的其它组件一起位于芯片上，或相对于那些组件在芯片外。
分割单元35从视频数据存储器33检索视频数据并将视频数据分割成视频块。此分割还可包含分割成切片、图块或其它较大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20一般说明对待编码的视频切片内的视频块进行编码的组件。可将切片划分成多个视频块(且可能划分成被称作图块的视频块的集合)。预测处理单元41可基于误差结果(例如，译码速率和失真水平)为当前视频块选择多个可能译码模式中的一个，例如多个帧内译码模式中的一或多个帧间译码模式中的一个。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，并提供到求和器62以重构经编码块以用作参考图片。
预测处理单元41内的帧内预测单元46可相对于与待译码当前块在相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测处理单元41内的运动估计单元42和运动补偿单元44相对于一或多个参考图片中的一或多个预测块执行当前视频块的帧间预测译码以提供时间压缩。
运动估计单元42可被配置成根据用于视频序列的预定模式来确定用于视频切片的帧间预测模式。预定模式可将序列中的视频切片指定为P切片或B切片。运动估计单元42和运动补偿单元44可高度集成，但出于概念的目的分别加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测块的位移。
预测块是被发现在像素差方面与待译码的视频块的PU密切匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储于DPB 66中的参考图片的子整数像素位置的值。例如，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较帧间译码切片中的视频块的PU的位置与参考图片的预测块的位置来计算所述PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一个识别存储在DPB 66中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。
通过运动补偿单元44执行的运动补偿可涉及基于通过运动估计(可能执行对子像素精确度的内插)确定的运动向量获取或产生预测块。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一个中定位所述运动向量指向的预测块。视频编码器20通过从正被译码的当前视频块的像素值中减去预测块的像素值来形成残余视频块，从而形成像素差值。像素差值形成用于所述块的残余数据，并且可包含明度和色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在对视频切片的视频块进行解码时使用。
在预测处理单元41经由帧内预测或帧间预测产生用于当前视频块的预测块之后，视频编码器20通过从当前视频块减去所述预测块而形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中，并可应用到变换处理单元52。变换处理单元52使用变换(例如，离散余弦变换(DCT)或在概念上类似的变换)来将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素值域转换到变换域，例如频域。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减小位率。量化过程可减小与系数中的一些或全部相关联的位深度。可以通过调节量化参数来修改量化程度。在一些实例中，量化单元54可接着对包含经量化变换系数的矩阵执行扫描。在另一实例中，熵编码单元56可执行扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56熵编码之后，经编码位流可发射到视频解码器30，或经存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正译码的当前视频切片的运动向量和其它语法元素进行熵编码。
逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以在像素域中重构残余块，以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块添加到参考图片列表中的一个内的参考图片中的一个的预测块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算子整数像素值以供用于运动估计。求和器62将经重构残余块添加到由运动补偿单元44产生的运动补偿预测块，从而产生经重构块。
滤波器单元64对经重构块(例如，求和器62的输出)进行滤波且将经滤波经重构块存储在DPB 66中以用作参考块。参考块可由运动估计单元42和运动补偿单元44用作用以对后续视频帧或图片中的块进行帧间预测的参考块。滤波器单元64可执行任何类型的滤波，例如解块滤波、SAO滤波和/或ALF，和/或其它类型的环路滤波器。举例来说，解块滤波器可应用解块滤波对块边界进行滤波，以从经重构视频去除成块效应假影。
图7是说明可实施本公开中描述的技术的实例视频解码器30的框图。例如，图7的视频解码器30可被配置成接收上文关于图6的视频编码器20所描述的信令。在图7的实例中，视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、逆量化单元86、逆变换处理单元88、求和器90和DPB 94。预测处理单元81包含运动补偿单元82和帧内预测单元84。在一些实例中，视频解码器30可执行通常与相对于来自图6的视频编码器20所描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收经编码视频位流，所述经编码视频位流表示具有经编码视频切片和相关联语法元素的视频块。视频解码器30将接收到的经编码视频位流存储在视频数据存储器78中。视频数据存储器78可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器78中的视频数据可例如经由链路16从存储装置26或从本地视频源(例如，相机)或通过对物理数据存储媒体进行存取来获得。视频数据存储器78可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。DPB 94可为参考图片存储器，其存储参考视频数据以供视频解码器30例如在帧内或帧间译码模式下对视频数据进行解码时使用。视频数据存储器78和DPB94可由多种存储器装置中的任一者形成，例如DRAM、SDRAM、MRAM、RRAM或其它类型的存储器装置。视频数据存储器78和DPB 94可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器78可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频解码器30的熵解码单元80对存储于视频数据存储器78中的视频数据进行熵解码以产生经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测处理单元81。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测单元84可基于经传信帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码切片(例如，B切片或P切片)时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其它语法元素而产生用于当前视频切片的视频块的预测块。所述预测块可由参考图片列表中的一个内的参考图片中的一个产生。视频解码器30可基于存储于DPB 94中的参考图片使用默认构建技术来构建参考帧列表，列表0和列表1。
运动补偿单元82通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正经解码的当前视频块的预测块。例如，运动补偿单元82使用所接收到的语法元素中的一些以确定用于对视频切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、用于切片的参考图片列表中的一或多个的构建信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，和用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元82还可基于内插滤波器而执行内插。运动补偿单元82可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可根据所接收的语法元素来确定由视频编码器20使用的内插滤波器，且使用所述内插滤波器来产生预测块。
逆量化单元86对在位流中提供且通过熵解码单元80解码的经量化变换系数进行反量化，即解量化。逆量化过程可包含将通过视频编码器20计算出的量化参数用于视频切片中的每一视频块以确定量化的程度，以及同样地，确定应该施加的逆量化的程度。逆变换处理单元88将逆变换，例如逆DCT、逆整数变换或在概念上类似的逆变换过程施加到变换系数，以便产生像素域中的残余块。
在预测处理单元使用例如帧内或帧间预测产生用于当前视频块的预测块之后，视频解码器30通过对来自逆变换处理单元88的残余块与由运动补偿单元82产生的对应预测块进行求和而形成经重构视频块。求和器90表示执行此求和运算的一或多个组件。滤波器单元92使用例如一种或多种滤波器技术对经重构视频块进行滤波。
滤波器单元92对经重构块(例如，求和器90的输出)进行滤波且将经滤波经重构块存储在DPB 94中以用作参考块。所述参考块可由运动补偿单元82用作用以对后续视频帧或图片中的块进行帧间预测的参考块。滤波器单元92可执行任何类型的滤波，例如解块滤波、SAO滤波和/或ALF，和/或其它类型的环路滤波器。举例来说，解块滤波器可应用解块滤波对块边界进行滤波，以从经重构视频去除成块效应假影。
图8是说明本公开中所描述的实例视频译码技术的流程图。图8的技术将参考通用视频译码器进行描述，通用视频译码器可例如对应于视频解码器，例如视频解码器30；或对应于视频编码器，例如视频编码器20。在图8的实例中，所述视频译码器确定第一视频数据块经帧内模式译码(100)。基于第一高度和第一宽度，视频译码器识别用于所述第一视频数据块的N个可用帧内预测模式的群组(102)。N是大于二的整数值。例如，视频译码器可基于第一高度和第一宽度确定第一块的面积，且基于所述面积确定N的值。在另一实例中，视频译码器可基于第一高度和第一宽度确定第一块的形状，且基于所述形状确定N的值。所述形状可例如对应于竖直矩形或水平矩形。
视频译码器从所述N个可用帧内预测模式的群组选择用于对第一视频数据块进行译码的第一帧内预测模式(104)。视频译码器使用所述第一帧内预测模式对所述第一块进行译码(106)。在视频译码器为视频编码器的实例中，所述视频译码器可通过使用所述第一帧内预测模式对所述第一块进行编码而使用所述第一帧内预测模式对所述第一块进行译码。在视频译码器为视频解码器的实例中，所述视频译码器可通过使用所述第一帧内预测模式对所述第一块进行解码而使用所述第一帧内预测模式对所述第一块进行译码。
除图8中所示的所述步骤之外，所述视频译码器还可确定第二视频数据块经帧内模式译码，其中所述第二视频数据块具有第二高度和第二宽度；并且基于所述第二高度和所述第二宽度，识别用于所述第二视频数据块的M个可用帧内预测模式的群组。M为不同于N的整数值且大于二。所述视频译码器从所述M个可用帧内预测模式的群组选择用于对所述第二视频数据块进行译码的第二帧内预测模式。所述视频译码器可传信视频数据中的阈值，且响应于所述第一块具有大于所述阈值的面积，确定N的值。响应于所述第二块具有小于所述阈值的面积，所述视频译码器确定M的值，其中M小于N。所述N个可用帧内预测模式的群组中的每一帧内预测模式均可具有0到N-1范围内的独特索引，且所述M个可用帧内预测模式的群组中的每一帧内预测模式均可具有0到M-1范围内的独特索引。
在一个实例中，所述第一高度可大于所述第一宽度，且所述视频译码器可确定第二视频数据块经帧内模式译码且具有第二高度和第二宽度，其中所述第二宽度大于所述第二高度。基于所述第二高度和所述第二宽度，所述视频译码器识别用于所述第二视频数据块的M个可用帧内预测模式的群组，其中所述M个可用帧内预测模式的群组包含未包含在所述N个可用帧内预测模式的群组中的至少一个帧内预测模式。所述视频译码器从所述M个可用帧内预测模式的群组选择用于对所述第二视频数据块进行译码的第二帧内预测模式。
图9是说明本公开中所描述的实例视频译码技术的流程图。图9的技术将参考通用视频译码器进行描述，通用视频译码器可例如对应于视频解码器，例如视频解码器30；或对应于视频编码器，例如视频编码器20。在图9的实例中，所述视频译码器确定视频数据块经帧内模式译码(120)。所述视频译码器产生用于所述块的第一MPM候选列表(122)。所述视频译码器接着对指示实际帧内预测模式是否包含于所述第一MPM列表中的旗标进行译码(124)。在视频编码器的情况下，所述视频编码器产生所述旗标以用于包含在经编码视频数据的位流中。在视频解码器的情况下，所述视频解码器接收所述位流中的所述旗标并对所述旗标进行解码。如果视频译码器对指示用于对所述块进行译码的实际帧内预测模式包含于所述第一MPM候选列表中(124，是)的第一旗标进行译码，那么所述视频译码器译码(例如，产生或接收)识别所述第一MPM候选列表中的哪一条目对应于用于对所述块进行译码的实际帧内预测模式的索引值(126)。
如果所述视频译码器对指示用于对所述块进行译码的实际帧内预测模式并不包含于所述第一MPM候选列表中(124，否)的第一旗标进行译码，那么所述视频译码器产生用于所述块的第二MPM候选列表(128)。根据本公开的技术，所述视频译码器可通过基于所述第一MPM候选列表中的帧内预测模式导出至少一个候选帧内预测模式以用于包含在所述第二MPM候选列表中而产生所述第二MPM候选列表。所述第一MPM候选列表中的所述帧内预测模式可例如对应于用于对所述块的相邻块进行译码的帧内预测模式或是基于用于对所述相邻块进行译码的所述帧内预测模式而导出。所述视频译码器可通过将偏移添加到所述第一MPM候选列表中的所述帧内预测模式基于所述第一MPM候选列表中的所述帧内预测模式导出所述至少一个候选帧内预测模式以用于包含在所述第二MPM候选列表中。所述视频译码器可产生所述第二MPM候选列表，使得所述第二MPM候选列表中的所有模式不同于所述第一MPM候选列表中的所有模式。所述视频译码器可通过添加至少一个默认候选到所述第二MPM候选列表而产生所述第二MPM候选列表。为了导出所述至少一个候选模式以用于包含在所述第二MPM候选列表中，所述视频译码器可通过基于所述第一MPM候选列表中的所述模式的模式索引确定M的整数值而导出M个候选模式，其中M为所述整数值。
所述视频译码器接着对指示实际帧内预测模式是否包含于所述第二MPM列表中的第二旗标进行译码(130)。如果视频译码器对指示用于对所述块进行译码的实际帧内预测模式包含于所述第二MPM候选列表中(130，是)的第二旗标进行译码，那么所述视频译码器译码(例如，产生或接收)识别所述第二MPM候选列表中的哪一条目对应于用于对所述块进行译码的实际帧内预测模式的索引值(132)。如果所述视频译码器对指示用于对所述块进行译码的实际帧内预测模式并不包含于所述第一MPM候选列表中(130，否)的第二旗标进行译码，那么所述视频译码器对识别剩余帧内预测模式中的哪一个对应于实际帧内预测模式的语法进行译码(134)。
在一或多个实例中，所描述功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于如数据存储媒体或通信媒体的有形媒体，通信媒体例如根据通信协议包含有助于将计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本公开中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且，适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字用户线(digital subscriber line，DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而实际上是针对非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含于计算机可读媒体的范围内。
指令可由一或多个处理器来执行，所述一或多个处理器例如一或多个DSP、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于被配置成用于编码和解码的专用硬件和/或软件模块内，或并入在组合编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。
本公开的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。本公开中描述各种组件、模块或单元是为了强调被配置成执行所公开的技术的装置的各功能方面，但未必需要通过不同硬件单元实现。确切地，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作性硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (18)

1.一种用于对视频数据进行译码的方法，所述方法包括：
确定第一视频数据块经帧内模式译码，其中所述第一视频数据块具有第一高度和第一宽度；
基于与具有大于阈值的面积的第一视频数据块相对应的所述第一高度和所述第一宽度，识别用于所述第一视频数据块的N个可用帧内预测模式的群组，其中N是大于二的整数值；
从所述N个可用帧内预测模式的群组选择用于对所述第一视频数据块进行译码的第一帧内预测模式；
使用所述第一帧内预测模式对所述第一视频数据块进行译码；
确定第二视频数据块经帧内模式译码，其中所述第二视频数据块具有第二高度和第二宽度；
基于与具有小于所述阈值的面积的第二视频数据块相对应的所述第二高度和所述第二宽度，识别用于所述第二视频数据块的M个可用帧内预测模式的群组，其中M为小于N的整数值且大于二；以及
从所述M个可用帧内预测模式的群组选择用于对所述第二视频数据块进行译码的第二帧内预测模式。
2.根据权利要求1所述的方法，其进一步包括：
传信所述视频数据中的所述阈值。
3.根据权利要求1所述的方法，其中所述N个可用帧内预测模式的群组中的每一帧内预测模式具有0到N-1范围内的独特索引，且其中所述M个可用帧内预测模式的群组中的每一帧内预测模式具有0到M-1范围内的独特索引。
4.根据权利要求1所述的方法，其中所述第一高度大于所述第一宽度，所述方法还包括：
确定第二视频数据块经帧内模式译码，其中所述第二视频数据块具有第二高度和第二宽度，且其中所述第二宽度大于所述第二高度；
基于所述第二高度和所述第二宽度，识别用于所述第二视频数据块的M个可用帧内预测模式的群组，其中所述M个可用帧内预测模式的群组包含未包含在所述N个可用帧内预测模式的群组中的至少一个帧内预测模式；以及
从所述M个可用帧内预测模式的群组选择用于对所述第二视频数据块进行译码的第二帧内预测模式。
5.根据权利要求1所述的方法，其中使用所述第一帧内预测模式对所述第一视频数据块进行译码包括以下中的一个：
使用所述第一帧内预测模式对所述第一视频数据块进行编码；或
使用所述第一帧内预测模式对所述第一视频数据块进行解码。
6.一种用于对视频数据进行译码的装置，所述装置包括：
存储器，其被配置成存储所述视频数据；和
一或多个处理器，其被配置成：
确定第一视频数据块经帧内模式译码，其中所述第一视频数据块具有第一高度和第一宽度；
基于与具有大于阈值的面积的第一视频数据块相对应的所述第一高度和所述第一宽度，识别用于所述第一视频数据块的N个可用帧内预测模式的群组，其中N是大于二的整数值；
从所述N个可用帧内预测模式的群组选择用于对所述第一视频数据块进行译码的第一帧内预测模式；
使用所述第一帧内预测模式对所述第一视频数据块块进行译码；
确定第二视频数据块经帧内模式译码，其中所述第二视频数据块具有第二高度和第二宽度；
基于与具有小于所述阈值的面积的第二视频数据块相对应的所述第二高度和所述第二宽度，识别用于所述第二视频数据块的M个可用帧内预测模式的群组，其中M为小于N的整数值且大于二；以及
从所述M个可用帧内预测模式的群组选择用于对所述第二视频数据块进行译码的第二帧内预测模式。
7.根据权利要求6所述的装置，其中所述一或多个处理器被进一步配置成：
传信所述视频数据中的所述阈值。
8.根据权利要求6所述的装置，其中所述N个可用帧内预测模式的群组中的每一帧内预测模式具有0到N-1范围内的独特索引，且其中所述M个可用帧内预测模式的群组中的每一帧内预测模式具有0到M-1范围内的独特索引。
9.根据权利要求6所述的装置，其中所述第一高度大于所述第一宽度，其中所述一或多个处理器被进一步配置成：
确定第二视频数据块经帧内模式译码，其中所述第二视频数据块具有第二高度和第二宽度，且其中所述第二宽度大于所述第二高度；
基于所述第二高度和所述第二宽度，识别用于所述第二视频数据块的M个可用帧内预测模式的群组，其中所述M个可用帧内预测模式的群组包含未包含在所述N个可用帧内预测模式的群组中的至少一个帧内预测模式；以及
从所述M个可用帧内预测模式的群组选择用于对所述第二视频数据块进行译码的第二帧内预测模式。
10.根据权利要求6所述的装置，其中为了使用所述第一帧内预测模式对所述第一视频数据块进行译码，所述一或多个处理器被进一步配置成进行以下操作中的至少一个：
使用所述第一帧内预测模式对所述第一视频数据块进行编码；或
使用所述第一帧内预测模式对所述第一视频数据块进行解码。
11.根据权利要求6所述的装置，其中所述装置包括被配置成对所述视频数据进行解码的无线通信装置，进一步包括被配置成接收经编码视频数据的接收器。
12.根据权利要求11所述的装置，其中所述无线通信装置包括电话手持机，且其中所述接收器被配置成根据无线通信标准来解调包括所述经编码视频数据的信号。
13.一种非暂时性计算机可读存储介质，其存储指令，所述指令在由一或多个处理器执行时，使一或多个处理器执行以下操作：
确定第一视频数据块经帧内模式译码，其中所述第一视频数据块具有第一高度和第一宽度；
基于与具有大于阈值的面积的第一视频数据块相对应的所述第一高度和所述第一宽度，识别用于所述第一视频数据块的N个可用帧内预测模式的群组，其中N是大于二的整数值；
从所述N个可用帧内预测模式的群组选择用于对所述第一视频数据块进行译码的第一帧内预测模式；
使用所述第一帧内预测模式对所述第一视频数据块进行译码；
确定第二视频数据块经帧内模式译码，其中所述第二视频数据块具有第二高度和第二宽度；
基于与具有小于所述阈值的面积的第二视频数据块相对应的所述第二高度和所述第二宽度，识别用于所述第二视频数据块的M个可用帧内预测模式的群组，其中M为小于N的整数值且大于二；以及
从所述M个可用帧内预测模式的群组选择用于对所述第二视频数据块进行译码的第二帧内预测模式。
14.根据权利要求13所述的非暂时性计算机可读存储介质，其存储进一步的指令，所述进一步的指令在被执行时，使所述一或多个处理器执行以下操作：
传信所述视频数据中的所述阈值。
15.根据权利要求13所述的非暂时性计算机可读存储介质，其中所述N个可用帧内预测模式的群组中的每一帧内预测模式具有0到N-1范围内的独特索引，且其中所述M个可用帧内预测模式的群组中的每一帧内预测模式具有0到M-1范围内的独特索引。
16.根据权利要求13所述的非暂时性计算机可读存储介质，其中所述第一高度大于所述第一宽度，其存储进一步的指令，所述进一步的指令在被执行时，使所述一或多个处理器执行以下操作：
确定第二视频数据块经帧内模式译码，其中所述第二视频数据块具有第二高度和第二宽度，且其中所述第二宽度大于所述第二高度；
基于所述第二高度和所述第二宽度，识别用于所述第二视频数据块的M个可用帧内预测模式的群组，其中所述M个可用帧内预测模式的群组包含未包含在所述N个可用帧内预测模式的群组中的至少一个帧内预测模式；以及
从所述M个可用帧内预测模式的群组选择用于对所述第二视频数据块进行译码的第二帧内预测模式。
17.根据权利要求13所述的非暂时性计算机可读存储介质，其存储进一步的指令，所述进一步的指令在被执行时，使所述一或多个处理器执行以下操作：
基于所述第一高度和所述第一宽度确定所述第一视频数据块的面积；以及
基于所述面积，确定N的值。
18.根据权利要求13所述的非暂时性计算机可读存储介质，其存储进一步的指令，所述进一步的指令在被执行时，使所述一或多个处理器使用所述第一帧内预测模式通过以下中的至少一个对所述第一视频数据块进行译码：
使用所述第一帧内预测模式对所述第一视频数据块进行编码；或
使用所述第一帧内预测模式对所述第一视频数据块进行解码。
CN201780057804.7A 2016-10-04 2017-10-04 用于视频译码的可变数目的帧内模式 Active CN109716774B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662404128P 2016-10-04 2016-10-04
US62/404,128 2016-10-04
US15/723,950 2017-10-03
US15/723,950 US10506228B2 (en) 2016-10-04 2017-10-03 Variable number of intra modes for video coding
PCT/US2017/055162 WO2018067714A1 (en) 2016-10-04 2017-10-04 Variable number of intra modes for video coding

Publications (2)

Publication Number Publication Date
CN109716774A CN109716774A (zh) 2019-05-03
CN109716774B true CN109716774B (zh) 2021-07-23

Family

ID=61758559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780057804.7A Active CN109716774B (zh) 2016-10-04 2017-10-04 用于视频译码的可变数目的帧内模式

Country Status (7)

Country Link
US (2) US10506228B2 (zh)
EP (1) EP3523978A1 (zh)
JP (1) JP6818135B2 (zh)
KR (1) KR102546382B1 (zh)
CN (1) CN109716774B (zh)
BR (1) BR112019006757A2 (zh)
WO (1) WO2018067714A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10506228B2 (en) 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
HUE062025T2 (hu) * 2016-12-23 2023-09-28 Huawei Tech Co Ltd Kódoló berendezés egy kiterjesztési irányú intra-predikciós mód jelzésére irányított intra-predikciós módok csoportján belül
CN116828172A (zh) * 2017-01-02 2023-09-29 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的发送方法以及存储介质
KR102528387B1 (ko) * 2017-01-09 2023-05-03 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2019023209A1 (en) * 2017-07-24 2019-01-31 Arris Enterprises Llc INTRA MODE JVET CODING
CN115174912A (zh) * 2017-07-24 2022-10-11 艾锐势有限责任公司 帧内模式jvet编译方法
WO2019072365A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. DEVICES AND METHODS FOR IMAGE AND VIDEO ENCODING
WO2019074985A1 (en) * 2017-10-09 2019-04-18 Arris Enterprises Llc PLANAR PLANAR WEATHER ADAPTIVE PREDICTION
CN118413646A (zh) * 2017-11-28 2024-07-30 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的传输方法和存储介质
EP3496401A1 (en) * 2017-12-05 2019-06-12 Thomson Licensing Method and apparatus for video encoding and decoding based on block shape
US10785479B2 (en) * 2018-03-30 2020-09-22 Hulu, LLC Intra prediction mode signaling for video coding
US10609402B2 (en) * 2018-05-02 2020-03-31 Tencent America LLC Method and apparatus for prediction and transform for small blocks
CA3103196A1 (en) 2018-06-14 2019-12-19 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
KR20230127354A (ko) * 2018-06-29 2023-08-31 후아웨이 테크놀러지 컴퍼니 리미티드 인트라-예측을 위한 디바이스 및 방법
KR102519380B1 (ko) * 2018-06-29 2023-04-06 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 이미지의 예측 블록의 인트라 예측을 위한 장치 및 방법
TWI731361B (zh) * 2018-07-01 2021-06-21 大陸商北京字節跳動網絡技術有限公司 依賴形狀的幀內編碼
US10284860B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
US10284844B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10701358B2 (en) * 2018-07-09 2020-06-30 Tencent America LLC Mode dependent primary and secondary transforms
US10404980B1 (en) * 2018-07-10 2019-09-03 Tencent America LLC Intra prediction with wide angle mode in video coding
KR20200006932A (ko) * 2018-07-11 2020-01-21 인텔렉추얼디스커버리 주식회사 화면내 예측 기반의 비디오 코딩 방법 및 장치
ES2966494T3 (es) * 2018-07-11 2024-04-22 Huawei Tech Co Ltd Señalización de modo intra luma
CN112840648B (zh) * 2018-08-12 2023-06-16 Lg电子株式会社 用于处理图像信号的方法和装置
AU2018217336A1 (en) * 2018-08-17 2020-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
AU2019330406B2 (en) * 2018-08-27 2023-02-02 Huawei Technologies Co., Ltd. Method and apparatus for intra prediction
JP2021509789A (ja) * 2018-09-02 2021-04-01 エルジー エレクトロニクス インコーポレイティド ビデオ信号の符号化／復号方法及びそのための装置
PL3818715T3 (pl) * 2018-09-03 2024-08-12 Huawei Technologies Co., Ltd. Sposób i aparat do predykcji wewnątrzobrazowej
WO2020050685A1 (ko) * 2018-09-07 2020-03-12 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
US10771778B2 (en) 2018-09-14 2020-09-08 Tencent America LLC Method and device for MPM list generation for multi-line intra prediction
WO2020060185A1 (ko) * 2018-09-19 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP7040629B2 (ja) 2018-09-20 2022-03-23 富士通株式会社 符号化装置、符号化方法、符号化プログラム、復号装置、復号方法及び復号プログラム
MX2021003297A (es) * 2018-09-21 2021-05-13 Huawei Tech Co Ltd Derivacion de modo de intraprediccion basada en bloques vecinos.
BR112021005523A2 (pt) * 2018-09-28 2021-06-29 Jvckenwood Corporation dispositivo de decodificação de imagem, método de decodificação de imagem, e programa de decodificação de imagem
CN112823522A (zh) * 2018-10-01 2021-05-18 交互数字Vc控股公司 用于广角帧内预测的方向
WO2020071871A1 (ko) * 2018-10-05 2020-04-09 엘지전자 주식회사 영상 서비스 처리 방법 및 그 장치
CN112823523B (zh) * 2018-10-09 2023-10-20 Lg 电子株式会社 使用mpm列表的基于帧内预测的图像编译方法及其设备
WO2020102000A1 (en) * 2018-11-14 2020-05-22 Interdigital Vc Holdings, Inc. Adaptation of selection of most probable mode candidates depending on block shape
US11012711B2 (en) * 2018-11-29 2021-05-18 Tencent America LLC Adaptive most probable modes for multiple reference line intra prediction
US11032551B2 (en) 2018-12-04 2021-06-08 Tencent America LLC Simplified most probable mode list generation scheme
US11470340B2 (en) 2018-12-10 2022-10-11 Tencent America LLC Simplified merge list construction for small coding blocks
WO2020141123A1 (en) * 2019-01-01 2020-07-09 Telefonaktiebolaget Lm Ericsson (Publ) History-based intra most probable mode derivation
US11095915B2 (en) * 2019-01-31 2021-08-17 Qualcomm Incorporated Shared motion vector predictor list for intra block copy mode in video coding
EP3922018A4 (en) 2019-03-12 2022-06-08 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE CODING
US11405638B2 (en) * 2019-03-17 2022-08-02 Tencent America LLC Method and apparatus for video coding by determining intra prediction direction based on coded information of neighboring blocks
US11240516B2 (en) 2019-03-20 2022-02-01 Tencent America LLC Coding mode signaling for small blocks
US11997256B2 (en) * 2019-03-26 2024-05-28 Lg Electronics Inc. Intra prediction method on basis of MPM list and apparatus therefor
CN113678440B (zh) * 2019-04-12 2023-12-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测与其它编码工具之间的交互
WO2020224660A1 (en) * 2019-05-09 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Most probable mode list construction for screen content coding
CN114051735B (zh) 2019-05-31 2024-07-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
WO2020254264A1 (en) * 2019-06-20 2020-12-24 Interdigital Vc Holdings France, Sas Method and device for picture encoding and decoding using position dependent intra prediction combination
WO2021029720A1 (ko) * 2019-08-13 2021-02-18 한국전자통신연구원 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2021054790A1 (ko) * 2019-09-18 2021-03-25 한국전자통신연구원 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
CN117579823A (zh) * 2019-10-28 2024-02-20 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
CN114979656A (zh) * 2021-02-21 2022-08-30 腾讯科技（深圳）有限公司 视频编解码方法、装置、计算机可读介质及电子设备
US20230008488A1 (en) 2021-07-07 2023-01-12 Tencent America LLC Entropy coding for intra prediction modes
US20230069984A1 (en) * 2021-08-24 2023-03-09 Tencent America LLC Hardware friendly design for intra mode coding
CN116472711A (zh) * 2021-08-24 2023-07-21 腾讯美国有限责任公司 用于帧内模式编码的硬件友好设计

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103262542A (zh) * 2010-10-26 2013-08-21 数码士有限公司 自适应帧内预测编码和解码方法
CN103299622A (zh) * 2011-01-07 2013-09-11 联发科技（新加坡）私人有限公司 改进型帧内亮度预测模式编码方法及装置
CN103563389A (zh) * 2011-06-03 2014-02-05 高通股份有限公司 具有方向性分区的帧内预测模式译码

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386048B2 (en) 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
KR100940444B1 (ko) 2007-12-18 2010-02-10 한국전자통신연구원 공간적 에지 검출을 이용한 인트라 예측 모드 구성 방법
CN101605255B (zh) 2008-06-12 2011-05-04 华为技术有限公司 一种视频编解码的方法及装置
KR101527085B1 (ko) 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
US8902978B2 (en) 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
US8923395B2 (en) 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
KR101505755B1 (ko) 2010-11-25 2015-03-24 엘지전자 주식회사 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
WO2012092761A1 (en) * 2011-01-07 2012-07-12 Mediatek Singapore Pte. Ltd. Method and apparatus for improved intra prediction mode coding
JP5781313B2 (ja) 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
CN102685474B (zh) 2011-03-10 2014-11-05 华为技术有限公司 预测模式的编解码方法、编解码设备及网络系统
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CN107197280B (zh) 2011-06-17 2020-06-16 Jvc 建伍株式会社 图像编码装置、图像编码方法以及记录介质
WO2012171463A1 (en) 2011-06-17 2012-12-20 Mediatek Inc. Method and apparatus for coding of intra prediction mode
PL3313076T3 (pl) 2011-06-28 2019-07-31 Samsung Electronics Co., Ltd. Sposób i urządzenie do kodowania wideo z predykcją wewnątrzramkową
EP2764694A4 (en) 2011-10-07 2015-11-25 Pantech Co Ltd METHODS AND APPARATUSES FOR INTRA PREDICTION MODE CODING AND DECODING USING INTRA CANDIDATE PREDICTION MODES
US9154796B2 (en) 2011-11-04 2015-10-06 Qualcomm Incorporated Intra-mode video coding
KR20130049525A (ko) 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
EP2774360B1 (en) * 2011-11-04 2017-08-02 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
KR102511107B1 (ko) 2011-12-05 2023-03-17 엘지전자 주식회사 인트라 예측 방법 및 장치
US20130163664A1 (en) * 2011-12-22 2013-06-27 Qualcomm Incorporated Unified partition mode table for intra-mode coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
JPWO2014054267A1 (ja) * 2012-10-01 2016-08-25 パナソニックＩｐマネジメント株式会社 画像符号化装置及び画像符号化方法
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
CN115134595A (zh) * 2015-06-05 2022-09-30 杜比实验室特许公司 用于执行帧间预测的图像编解码方法、比特流存储方法
US10425648B2 (en) 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
US10681379B2 (en) 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
US10506228B2 (en) 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103262542A (zh) * 2010-10-26 2013-08-21 数码士有限公司 自适应帧内预测编码和解码方法
CN103299622A (zh) * 2011-01-07 2013-09-11 联发科技（新加坡）私人有限公司 改进型帧内亮度预测模式编码方法及装置
CN103563389A (zh) * 2011-06-03 2014-02-05 高通股份有限公司 具有方向性分区的帧内预测模式译码

Also Published As

Publication number Publication date
CN109716774A (zh) 2019-05-03
US11431968B2 (en) 2022-08-30
US20180098064A1 (en) 2018-04-05
KR102546382B1 (ko) 2023-06-21
BR112019006757A2 (pt) 2019-07-02
US10506228B2 (en) 2019-12-10
JP6818135B2 (ja) 2021-01-20
KR20190055113A (ko) 2019-05-22
WO2018067714A1 (en) 2018-04-12
EP3523978A1 (en) 2019-08-14
JP2019530367A (ja) 2019-10-17
US20200068194A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
CN109716774B (zh) 用于视频译码的可变数目的帧内模式
CN109792538B (zh) 用于对视频数据进行译码的方法和装置
CN109076228B (zh) 滤波信息的发信号
CN112243587B (zh) 基于块的自适应环路滤波器(alf)设计和信令通知
CN109076235B (zh) 用于在视频译码中的并置参考索引的一致性约束
CN109076218B (zh) 基于多个滤波器混淆的视频编码/解码方法、装置
CN108605127B (zh) 滤波视频数据的经解码块的方法和装置及存储介质
CN108141605B (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
CN107211154B (zh) 用于译码视频数据的方法和装置以及计算机可读存储介质
CN110892724B (zh) 视频译码中的经改进帧内预测
CN110393009B (zh) 帧内预测模式传播
CN110337814B (zh) 译码存取单元的mcts-eis sei消息
US9699472B2 (en) Restriction of prediction units in B slices to uni-directional inter prediction
CN110089116B (zh) 通过光照补偿和整数运动向量限制进行编码优化
KR102334126B1 (ko) 인트라 블록 복사를 위한 레지듀얼 예측
CN111373756B (zh) 具有远相邻像素的帧内预测
CN113615189A (zh) 在视频译码中具有自适应参数集（aps）的基于块的自适应环路滤波器（alf）
CN109792542B (zh) 图像/视频译码中的所存储数据的存储量和带宽减小
KR20190007427A (ko) 인트라 예측 모드들의 이웃 기반의 시그널링
US20130202038A1 (en) Restriction of prediction units in b slices to uni-directional inter prediction
MX2013014123A (es) Modelado de contexto eficiente de memoria.
CN114501000B (zh) 用于视频编码的方法和电子装置
JP2024120053A (ja) ４：４：４色フォーマットにおけるビデオコーディングの方法及び装置
EP3883244A1 (en) Inter-frame prediction method and related device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant