CN116614625B - 一种视频编码的方法、装置和介质 - Google Patents

一种视频编码的方法、装置和介质 Download PDF

Info

Publication number
CN116614625B
CN116614625B CN202310458665.6A CN202310458665A CN116614625B CN 116614625 B CN116614625 B CN 116614625B CN 202310458665 A CN202310458665 A CN 202310458665A CN 116614625 B CN116614625 B CN 116614625B
Authority
CN
China
Prior art keywords
chroma
video
residual
block
act
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310458665.6A
Other languages
English (en)
Other versions
CN116614625A (zh
Inventor
修晓宇
陈漪纹
马宗全
朱弘正
陈伟
郭哲玮
王祥林
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202310458665.6A priority Critical patent/CN116614625B/zh
Publication of CN116614625A publication Critical patent/CN116614625A/zh
Application granted granted Critical
Publication of CN116614625B publication Critical patent/CN116614625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

公开了一种视频编码的方法，包括：确定是否对编解码单元的第一色度分量和第二色度分量中的至少一个的残差样点执行色度残差缩放，确定条件包括：第一色度分量的经量化的变换系数是否包含非零色度经量化的变换系数、第二色度分量的经量化的变换系数是否包含非零色度经量化的变换系数、以及ACT是否应用于编解码单元；根据确定对第一色度分量和第二色度分量中的至少一个的残差样点执行色度残差缩放：基于对应缩放参数进行缩放；以及使用缩放后的色度残差样点重建编解码单元的色度样点；以及选择性地将第一色度分量的第一编解码块标志CBF、第二色度分量的第二CBF、以及指示ACT是否应用于编解码单元的第三语法元素编码到视频比特流中。

Description

一种视频编码的方法、装置和介质
本申请是中国专利申请第202180042158.3号的分案申请，该中国专利申请为2021年06月14日提交的国际专利申请PCT/US2021/037197的中国国家阶段申请，该国际专利申请要求2020年06月12日提交的美国专利申请第63/038,692号的优先权。
技术领域
本申请总体上涉及视频数据编解码和压缩，并且具体地涉及根据自适应颜色变换(ACT)过程有条件地应用色度残差缩放过程的方法和系统。
背景
如数字电视、膝上型计算机或台式计算机、平板计算机、数字相机、数字记录设备、数字媒体播放器、视频游戏机、智能电话、视频电话会议设备、视频流式传输设备等各种电子设备都支持数字视频。电子设备通过实施如由MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分、高级视频编解码(AVC)、高效率视频编解码(HEVC)和通用视频编解码(VVC)标准定义的视频压缩/解压缩标准来发送、接收、编码、解码和/或存储数字视频数据。视频压缩典型地包括执行空间(帧内)预测和/或时间(帧间)预测以减少或去除视频数据中固有的冗余。对于基于块的视频编解码，将视频帧分割为一个或多个条带，每个条带具有多个视频块，所述视频块也可以被称为编解码树单元(CTU)。每个CTU可以包含一个编解码单元(CU)或递归地分割成较小的CU，直到达到预设的最小CU尺寸。每个CU(也称为叶CU)包含一个或多个变换单元(TU)，并且每个CU还包含一个或多个预测单元(PU)。可以以帧内、帧间或帧内块复制(IBC)模式对每个CU进行编解码。相对于同一视频帧内的相邻块中的参考样点，使用空间预测对视频帧的帧内编解码(I)条带中的视频块进行编码。视频帧的帧间编解码(P(前向预测图片)或B(双向预测图片))条带中的视频块可以相对于同一视频帧内的相邻块中的参考样点使用空间预测或相对于其他先前和/或未来参考视频帧中的参考样点使用时间预测。
基于先前已编码的参考块(例如，相邻块)的空间和时间预测产生待编解码的当前视频块的预测块。查找参考块的过程可以通过块匹配算法来完成。表示待编解码的当前块与预测块之间的像素差的残差数据被称为残差块或预测误差。根据指向形成预测块的参考帧中的参考块的运动矢量、以及残差块来对帧间编码块进行编码。确定运动矢量的过程典型地被称为运动估计。根据帧内预测模式和残差块对帧内编解码块进行编码。为了进一步压缩，将残差块从像素域变换到变换域，例如频域，从而产生残差变换系数，然后可以对所述残差变换系数进行量化。可以扫描最初布置为二维阵列的量化变换系数，以产生变换系数的一维矢量，并且然后将其熵编码为视频比特流，以实现更多的压缩。
然后将已编码视频比特流保存在计算机可读存储介质(例如，闪速存储器)中，以被具有数字视频能力的另一电子设备访问，或者直接以有线或无线方式传输到该电子设备。然后，电子设备通过例如解析已编码视频比特流以从比特流获得语法元素并且至少部分地基于从比特流获得的语法元素将数字视频数据从已编码视频比特流重建为其原始格式来执行视频解压缩(其是与上文描述的视频压缩相反的过程)，并且在电子设备的显示器上渲染重建数字视频数据。
随着数字视频质量从高清到4K×2K或甚至8K×4K，待编码/解码的视频数据量呈指数增长。关于如何在保持已解码视频数据的图像质量的同时更高效地对视频数据进行编码/解码方面一直存在挑战。
某些视频内容(例如，屏幕内容视频)以4:4:4色度格式进行编码，其中，所有三个分量(亮度分量和两个色度分量)具有相同的分辨率。虽然4:4:4色度格式与4:2:0色度格式和4:2:2色度格式相比包括更多冗余(这不利于实现良好的压缩效率)，但是对于许多需要高保真度以在解码视频中保留颜色信息(比如尖锐边缘)的应用来说，4:4:4色度格式仍然是首选编码格式。鉴于4:4:4色度格式视频中存在的冗余，有证据表明可以通过利用4:4:4视频的三个颜色分量(例如YCbCr域中的Y、Cb和Cr；或RGB域中的G、B和R)之间的相关性来实现显著的编解码改进。由于这些相关性，在开发HEVC屏幕内容编解码(SCC)扩展期间，采用了自适应颜色空间变换(ACT)工具来利用三个颜色分量之间的相关性。
发明内容
本申请描述与视频数据编码和解码有关的实施方式，并且更具体地涉及根据自适应颜色变换(ACT)过程有条件地应用色度残差缩放过程的方法和系统。
对于最初以4:4:4颜色格式捕获的视频信号，如果已解码视频信号期望高保证度并且原始颜色空间(例如，RGB视频)中存在丰富的信息冗余，则在原始空间中对视频进行编码是优选的。尽管当前的VVC标准中的一些分量间编解码工具(例如，跨分量线性模型预测(CCLM))可以提高4:4:4视频编解码的效率，但这三个分量之间的冗余并没有完全消除。这是因为仅利用了Y/G分量来预测Cb/B分量和Cr/R分量，而没有考虑Cb/B分量与Cr/R分量之间的相关性。相应地，对三个颜色分量进行进一步去相关可以提高4:4:4视频编解码的编解码性能。
在当前VVC标准中，现有帧间和帧内工具的设计主要专注于以4:2:0色度格式捕获的视频。因此，为了实现更好的复杂性/性能折衷，这些编解码工具中的大多数仅适用于亮度分量，而对于色度分量被禁用(例如，位置相关帧内预测组合(PDPC)、多参考线(MRL)和子分割预测(ISP))，或者对亮度分量和色度分量使用不同的操作(例如，应用于运动补偿预测的内插滤波器)。然而，与4:2:0视频相比，4:4:4色度格式的视频信号表现出非常不同的特性。例如，4:4:4YCbCr和RGB视频的Cb/B分量和Cr/R分量比4:2:0视频中的色度分量表现出更丰富的颜色信息并拥有更多的高频信息(例如，边缘和纹理)。考虑到这一点，对于4:2:0和4:4:4视频，使用VVC中一些现有编解码工具的相同设计可能总是最佳的。
根据本申请的第一方面，一种对利用色度残差缩放来编解码的视频块进行解码的方法包括：从比特流接收与编解码单元相关联的多个语法元素，其中，所述语法元素包括所述编解码单元的第一色度分量的残差样点的第一编解码块标志(CBF)、所述编解码单元的第二色度分量的残差样点的第二CBF、以及指示自适应颜色变换(ACT)是否应用于所述编解码单元的第三语法元素；根据所述第一CBF、所述第二CBF和所述第三语法元素确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放；根据确定对所述第一色度分量和所述第二色度分量中的至少一个的残差样点执行所述色度残差缩放，基于对应缩放参数来对所述第一色度分量和所述第二色度分量中的至少一个的残差样点进行缩放；以及使用所述亮度和缩放后的色度残差样点来重建所述编解码单元的样点。
在一些实施例中，根据所述第一CBF、所述第二CBF和所述第三语法元素确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放包括：根据从所述第三语法元素确定所述ACT应用于所述编解码单元来：将逆ACT应用于所述编解码单元的亮度和色度残差样点；以及确定在所述逆ACT之后对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放而不管所述第一CBF和所述第二CBF如何。
根据本申请的第二方面，一种对利用色度残差缩放来编解码的视频块进行解码的方法包括：从比特流接收与编解码单元相关联的多个语法元素，其中，所述语法元素包括所述编解码单元的第一色度分量的残差样点的第一编解码块标志(CBF)、所述编解码单元的第二色度分量的残差样点的第二CBF、以及指示自适应颜色变换(ACT)是否应用于所述编解码单元的第三语法元素；根据所述第一CBF和所述第二CBF确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放；根据确定对所述第一色度分量和所述第二色度分量中的至少一个的残差样点执行所述色度残差缩放，基于对应缩放参数来对所述第一色度分量和所述第二色度分量中的至少一个的残差样点进行缩放；以及根据从所述第三语法元素确定所述ACT应用于所述编解码单元，在缩放之后将逆ACT应用于所述编解码单元的亮度和色度残差样点。
根据本申请的第三方面，一种电子装置包括一个或多个处理单元、存储器以及存储在所述存储器中的多个程序。所述程序当由所述一个或多个处理单元执行时使所述电子装置执行如上文描述的对视频数据进行解码的方法。
根据本申请的第四方面，一种非暂态计算机可读存储介质存储用于由具有一个或多个处理单元的电子装置执行的多个程序。所述程序当由所述一个或多个处理单元执行时使所述电子装置执行如上文描述的对视频数据进行解码的方法。
附图说明
被包括在内以提供对实施方式的进一步理解并且并入本文并构成说明书的一部分的附图图示了所描述的实施方式，并且与说明书一起用于解释基本原理。相似的附图标记指代对应的部分。
图1是图示了根据本公开的一些实施方式的示例性视频编码和解码系统的框图。
图2是图示了根据本公开的一些实施方式的示例性视频编码器的框图。
图3是图示了根据本公开的一些实施方式的示例性视频解码器的框图。
图4A至图4E是图示了根据本公开的一些实施方式的如何将帧递归地分割成具有不同尺寸和形状的多个视频块的框图。
图5A和图5B是图示了根据本公开的一些实施方式的应用自适应颜色空间变换(ACT)技术来在RGB颜色空间与YCgCo颜色空间之间变换残差的示例的框图。
图6是根据本公开的一些实施方式的在示例性视频数据解码过程中应用利用色度缩放的亮度映射(LMCS)技术的框图。
图7是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过所述过程实施逆自适应颜色空间变换(ACT)技术。
图8A和图8B是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过所述过程实施逆自适应颜色空间变换(ACT)和色度残差缩放技术。
图9是图示了根据本公开的一些实施方式的示例性过程的流程图，视频解码器通过所述过程通过有条件地对编解码单元的残差执行色度残差缩放操作来对视频数据进行解码。
具体实施方式
现在将详细参考具体实施方式，附图中图示了这些实施方式的示例。在以下详细描述中，阐述了许多非限制性的具体细节，以便帮助理解本文提出的主题。但是对于本领域的普通技术人员将显而易见的是，在不脱离权利要求的范围的情况下，可以使用各种替代性方案，并且可以在没有这些具体细节的情况下实践主题。例如，对于本领域普通技术人员将显而易见的是，本文提出的主题可以在具有数字视频能力的许多类型的电子设备上实施。
在一些实施例中，提供了提高4:4:4视频的VVC标准的编解码效率的方法。通常，本公开中的技术的主要特征总结如下。
在一些实施例中，实施这些方法以改进在残差域中实现自适应颜色空间转换的现有ACT设计。特别是，对处理ACT与VVC中一些现有编解码工具的相互作用进行了特殊考虑。
图1是图示了根据本公开的一些实施方式的用于并行地对视频块进行编码和解码的示例性系统10的框图。如图1所示，系统10包括源设备12，所述源设备生成并编码待由目的地设备14在稍后时间解码的视频数据。源设备12和目的地设备14可以包括多种电子设备中的任何一种，所述多种电子设备包括台式计算机或膝上型计算机、平板计算机、智能电话、机顶盒、数字电视、相机、显示设备、数字媒体播放器、视频游戏机、视频流式传输设备等。在一些实施方式中，源设备12和目的地设备14配备有无线通信能力。
在一些实施方式中，目的地设备14可以经由链路16接收待解码的已编码视频数据。链路16可以包括能够将已编码视频数据从源设备12移到目的地设备14的任何类型的通信介质或设备。在一个示例中，链路16可以包括用于使源设备12能够实时地将已编码视频数据直接传输到目的地设备14的通信介质。已编码视频数据可以根据如无线通信协议等通信标准来调制并被传输到目的地设备14。通信介质可以包括任何无线或有线通信介质，如射频(RF)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络(如局域网、广域网、或全球网(如因特网))的一部分。通信介质可以包括路由器、交换机、基站或可以用于促进从源设备12到目的地设备14的通信的任何其他设备。
在一些其他实施方式中，已编码视频数据可以从输出接口22传输到存储设备32。随后，存储设备32中的已编码视频数据可以由目的地设备14经由输入接口28访问。存储设备32可以包括各种分布式或本地访问的数据存储介质中的任一种，如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性存储器或非易失性存储器或用于存储已编码视频数据的任何其他合适的数字存储介质。在进一步示例中，存储设备32可以对应于可以保持由源设备12生成的已编码视频数据的文件服务器或另一个中间存储设备。目的地设备14可以经由流式传输或下载从存储设备32访问所存储的视频数据。文件服务器可以是能够存储已编码视频数据并且将已编码视频数据传输到目的地设备14的任何类型的计算机。示例性文件服务器包括web服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)设备、或本地磁盘驱动器。目的地设备14可以通过任何标准数据连接访问已编码视频数据，所述连接包括适于访问存储在文件服务器上的已编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。从存储设备32传输已编码视频数据可以是流式传输、下载传输或两者的组合。
如图1所示，源设备12包括视频源18、视频编码器20和输出接口22。视频源18可以包括如视频捕获设备等源，例如摄像机、包含先前捕获的视频的视频档案、用于从视频内容提供方接收视频的视频馈送接口和/或用于生成计算机图形数据作为源视频的计算机图形系统或这些源的组合。作为一个示例，如果视频源18是安全监控系统的摄像机，则源设备12和目的地设备14可以形成拍照电话或视频电话。然而，本申请中描述的实施方式通常可以适用于视频编解码并且可以应用于无线和/或有线应用。
捕获的、预先捕获的或计算机生成的视频可以由视频编码器20进行编码。已编码视频数据可以经由源设备12的输出接口22直接传输到目的地设备14。已编码视频数据也可以(或替代性地)存储到存储设备32上，以供目的地设备14或其他设备以后访问，以进行解码和/或回放。输出接口22可以进一步包括调制解调器和/或发射器。
目的地设备14包括输入接口28、视频解码器30和显示设备34。输入接口28可以包括接收器和/或调制解调器，并且通过链路16接收已编码视频数据。通过链路16传送的或提供在存储设备32上的已编码视频数据可以包括由视频编码器20生成的各种语法元素，以供视频解码器30在对视频数据进行解码时使用。这种语法元素可以被包括于在通信介质上传输的、存储在存储介质上的、或存储在文件服务器中的已编码视频数据内。
在一些实施方式中，目的地设备14可以包括显示设备34，所述显示设备可以是集成显示设备和被配置为与目的地设备14通信的外部显示设备。显示设备34向用户显示已解码视频数据并且可以包括各种显示设备中的任何一种，如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示设备。
视频编码器20和视频解码器30可以根据专有或行业标准(如VVC、HEVC、MPEG-4第10部分、高级视频编解码(AVC)、AVS或这种标准的扩展)进行操作。应当理解，本申请不限于特定的视频编码/解码标准，并且可以适用于其他视频编码/解码标准。通常设想，源设备12的视频编码器20可以被配置为根据这些当前或未来标准中的任何一种来对视频数据进行编码。类似地，通常还设想，目的地设备14的视频解码器30可以被配置为根据这些当前或未来标准中的任何一种来对视频数据进行解码。
视频编码器20和视频解码器30各自可以实施为各种适合的编码器电路中的任何一种，如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或其任何组合。当部分地在软件中实施时，电子设备可以将用于软件的指令存储在合适的非暂态计算机可读介质中并且使用一个或多个处理器在硬件中执行指令以执行本公开中公开的视频编码/解码操作。视频编码器20和视频解码器30中的每一个可以包括在一个或多个编码器或解码器中，所述一个或多个编码器或解码器中的任一个可以集成为相应设备中的组合编码器/解码器(CODEC)的一部分。
图2是图示了根据本申请中描述的一些实施方式的示例性视频编码器20的框图。视频编码器20可以执行对视频帧内的视频块的帧内预测编解码和帧间预测编解码。帧内预测编解码依赖于空间预测来减少或去除给定视频帧或图片内的视频数据的空间冗余。帧间预测编解码依赖于时间预测以减少或去除视频序列的邻近视频帧或图片内的视频数据的时间冗余。
如图2所示，视频编码器20包括视频数据存储器40、预测处理单元41、已解码图片缓冲器(DPB)64、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41进一步包括运动估计单元42、运动补偿单元44、分割单元45、帧内预测处理单元46和帧内块复制(BC)单元48。在一些实施方式中，视频编码器20还包括用于视频块重建的反量化单元58、逆变换处理单元60和加法器62。比如去块滤波器(未示出)等环路滤波器可以位于求和器62与DPB 64之间，以对块边界进行滤波，以从重建的视频中去除块效应伪像。除了去块滤波器之外，还可以使用另一个环路滤波器(未示出)来对加法器62的输出进行滤波。在将重建的CU置于参考图像存储中并用作对未来的视频块进行编解码的参考之前，如样值偏移补偿(SAO)和自适应环路滤波器(ALF)等进一步的环路滤波可以应用于重建的CU。视频编码器20可以采用固定或可编程硬件单元的形式，或者可以在所图示的固定或可编程硬件单元中的一个或多个之中进行划分。
视频数据存储器40可以存储待由视频编码器20的部件编码的视频数据。视频数据存储器40中的视频数据可以例如从视频源18获得。DPB 64是缓冲器，所述缓冲器存储参考视频数据以供视频编码器20在对视频数据进行编码(例如，在帧内预测编解码模式或帧间预测编解码模式下)时使用。视频数据存储器40和DPB 64可以由多种存储器设备中的任何一种形成。在各个示例中，视频数据存储器40可以与视频编码器20的其他部件一起在片上，或者相对于那些部件在片外。
如图2所示，在接收到视频数据之后，预测处理单元41内的分割单元45将视频数据分割为视频块。该分割还可以包括根据预定义的分割结构(如与视频数据相关联的四叉树结构)将视频帧分割为条带、瓦片、或其他更大的编解码单元(CU)。视频帧可以被划分成多个视频块(或称为瓦片的视频块集)。预测处理单元41可以基于误差结果(例如，编码率和失真级别)为当前视频块选择多个可能的预测编解码模式之一，如多个帧内预测编解码模式之一或多个帧间预测编解码模式之一。预测处理单元41可以将所得的帧内预测编解码块或帧间预测编解码块提供给加法器50以生成残差块，并且提供给加法器62以重建编码块以随后用作参考帧的一部分。预测处理单元41还将如运动矢量、帧内模式指示符、分割信息和其他这种语法信息等语法元素提供给熵编解码单元56。
为了为当前视频块选择适当的帧内预测编解码模式，预测处理单元41内的帧内预测处理单元46可以相对于与待编解码的当前块相同的帧中的一个或多个相邻块执行对当前视频块的帧内预测编解码，以提供空间预测。预测处理单元41内的运动估计单元42和运动补偿单元44相对于一个或多个参考帧中的一个或多个预测块执行对当前视频块的帧间预测编解码，以提供时间预测。视频编码器20可以执行多个编解码通道，例如，以便为视频数据的每个块选择适当的编解码模式。
在一些实施方式中，运动估计单元42根据视频帧序列内的预定模式通过生成运动矢量来确定当前视频帧的帧间预测模式，所述运动矢量指示当前视频帧内的视频块的预测单元(PU)相对于参考视频帧内的预测块的位移。由运动估计单元42执行的运动估计是生成运动矢量的过程，所述过程估计了视频块的运动。运动矢量例如可以指示当前视频帧或图片内的视频块的PU相对于参考帧内的预测块(或其他已编解码单元)的位移，所述预测块相对于在当前帧内编解码的当前块(或其他已编解码单元)。预定模式可以将序列中的视频帧指定为P帧或B帧。帧内BC单元48可以以与由运动估计单元42确定运动矢量以进行帧间预测的方式类似的方式确定用于进行帧内BC编解码的矢量，例如，块矢量，或者可以利用运动估计单元42来确定块矢量。
预测块是就像素差而言被认为与待编解码的视频块的PU紧密匹配的参考帧的块，所述像素差可以由绝对差和(SAD)、平方差和(SSD)或其他差值度量来确定。在一些实施方式中，视频编码器20可以计算存储在DPB 64中的参考帧的子整数像素位置的值。例如，视频编码器20可以插入参考帧的四分之一像素位置、八分之一像素位置或其他分数像素位置的值。因此，运动估计单元42可以相对于全像素位置和分数像素位置执行运动搜索并且以分数像素精度输出运动矢量。
运动估计单元42通过将PU的位置与从第一参考帧列表(列表0)或第二参考帧列表(列表1)中选择的参考帧的预测块的位置进行比较来计算帧间预测编解码帧中的视频块的PU的运动矢量，所述列表中的每一个标识存储在DPB 64中的一个或多个参考帧。运动估计单元42将计算的运动矢量发送到运动补偿单元44，并且然后发送到熵编码单元56。
由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动矢量来获取或生成预测块。在接收当前视频块的PU的运动矢量后，运动补偿单元44可以在参考帧列表中的一个中定位运动矢量所指向的预测块，从DPB 64取得预测块并且将预测块转发到加法器50。然后，加法器50通过从被编解码的当前视频块的像素值中减去由运动补偿单元44提供的预测块的像素值来形成具有像素差值的残差视频块。形成残差视频块的像素差值可以包括亮度差分量或色度差分量或两者。运动补偿单元44还可以生成与视频帧的视频块相关联的语法元素，以供视频解码器30在对视频帧的视频块进行解码时使用。语法元素可以包括例如定义用于标识预测块的运动矢量的语法元素、指示预测模式的任何标志、或本文描述的任何其他语法信息。注意，运动估计单元42和运动补偿单元44可以是高度集成的，但是出于概念性目的而分别图示。
在一些实施方式中，帧内BC单元48可以以与上文结合运动估计单元42和运动补偿单元44所描述的方式类似的方式来生成矢量并且获取预测块，但是其中预测块与被编解码的当前块处于同一帧中，并且其中相对于运动矢量，所述矢量被称为块矢量。特别地，帧内BC单元48可以确定用于对当前块进行编码的帧内预测模式。在一些示例中，帧内BC单元48可以例如在单独的编码通道期间使用各种帧内预测模式对当前块进行编码，并且通过率失真分析来测试其性能。接下来，帧内BC单元48可以在各种测试的帧内预测模式中选择适当的帧内预测模式来使用并相应地生成帧内模式指示符。例如，帧内BC单元48可以使用针对各种测试的帧内预测模式的率失真分析来计算率失真值并且在测试的模式中选择具有最佳率失真特性的帧内预测模式作为要使用的适当的帧内预测模式。率失真分析通常确定已编码块与原始的未编码块(被编码以产生已编码块)之间的失真(或误差)量以及用于产生已编码块的比特率(即，比特数)。帧内BC单元48可以根据各个已编码块的失真和速率来计算比值，以确定哪个帧内预测模式展现出块的最佳率失真值。
在其他示例中，帧内BC单元48可以全部或部分地使用运动估计单元42和运动补偿单元44，以根据本文描述的实施方式执行用于帧内BC预测的这种功能。在任一种情况下，对于帧内块复制，预测块可以是就像素差而言被认为与待编解码的块紧密匹配的块，所述像素差可以由绝对差和(SAD)、平方差和(SSD)或其他差值度量来确定，并且预测块的识别可以包括计算子整数像素位置的值。
无论预测块是根据帧内预测来自同一帧还是根据帧间预测来自不同帧，视频编码器20都可以通过从被编解码的当前视频块的像素值中减去预测块的像素值从而形成像素差值来形成残差视频块。形成残差视频块的像素差值可以包括亮度分量差值和色度分量差值。
如上文描述的，帧内预测处理单元46可以对当前视频块进行帧内预测，作为由运动估计单元42和运动补偿单元44执行的帧间预测、或由帧内BC单元48执行的帧内块复制预测的替代方案。特别地，帧内预测处理单元46可以确定用于对当前块进行编码的帧内预测模式。为此，帧内预测处理单元46可以例如在单独的编码通道期间使用各种帧内预测模式对当前块进行编码，并且帧内预测处理单元46(或者在一些示例中，为模式选择单元)可以从测试的帧内预测模式中选择适当的帧内预测模式来使用。帧内预测处理单元46可以将指示块的所选帧内预测模式的信息提供给熵编码单元56。熵编码单元56可以对指示比特流中的所选帧内预测模式的信息进行编码。
在预测处理单元41经由帧间预测或帧内预测确定当前视频块的预测块之后，求和器50通过从当前视频块中减去预测块来形成残差视频块。残差块中的残差视频数据可以被包括在一个或多个变换单元(TU)中，并且被提供给变换处理单元52。变换处理单元52使用如离散余弦变换(DCT)或概念上类似的变换等变换将残差视频数据变换为残差变换系数。
变换处理单元52可以将所得的变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步降低比特率。量化过程还可以减小与系数中的一些或所有系数相关联的比特深度。量化程度可以通过调整量化参数来修改。在一些示例中，量化单元54然后可以对包括量化变换系数的矩阵执行扫描。替代性地，熵编码单元56可以执行扫描。
量化之后，熵编码单元56使用例如上下文自适应可变长度编解码(CAVLC)、上下文自适应二进制算术编解码(CABAC)、基于语法的上下文自适应二进制算术编解码(SBAC)、概率区间分割熵(PIPE)编解码或其他熵编码方法或技术将量化变换系数熵编码为视频比特流。然后可以将已编码比特流传输到视频解码器30，或将其存档在存储设备32中，以供以后传输到视频解码器30或由视频解码器取得。熵编码单元56还可以对被编解码的当前视频帧的运动矢量和其他语法元素进行熵编码。
反量化单元58和逆变换处理单元60分别应用反量化和逆变换以在像素域中重建残差视频块，以生成用于预测其他视频块的参考块。如上所述，运动补偿单元44可以从DPB64中存储的帧的一个或多个参考块中生成运动补偿的预测块。运动补偿单元44还可以将一个或多个内插滤波器应用于预测块以计算用于在运动估计中使用的子整数像素值。
求和器62将重建的残差块添加到由运动补偿单元44产生的运动补偿的预测块，以产生参考块用于存储在DPB 64中。参考块然后可以由帧内BC单元48、运动估计单元42和运动补偿单元44用作预测块，以对后续视频帧中的另一个视频块进行帧间预测。
图3是图示了根据本申请的一些实施方式的示例性视频解码器30的框图。视频解码器30包括视频数据存储器79、熵解码单元80、预测处理单元81、反量化单元86、逆变换处理单元88、加法器90和DPB 92。预测处理单元81进一步包括运动补偿单元82、帧内预测处理单元84和帧内BC单元85。视频解码器30可以执行与上文结合图2关于视频编码器20所描述的编码过程相反的解码过程。例如，运动补偿单元82可以基于从熵解码单元80接收到的运动矢量生成预测数据，而帧内预测单元84可以基于从熵解码单元80接收到的帧内预测模式指示符生成预测数据。
在一些示例中，视频解码器30的单元可以被指派执行本申请的实施方式。同样，在一些示例中，本公开的实施方式可以在视频解码器30的一个或多个单元之间进行划分。例如，帧内BC单元85可以单独或与视频解码器30的其他单元(如运动补偿单元82、帧内预测处理单元84和熵解码单元80)组合执行本申请的实施方式。在一些示例中，视频解码器30可以不包括帧内BC单元85，并且帧内BC单元85的功能可以由预测处理单元81的其他部件(如运动补偿单元82)执行。
视频数据存储器79可以存储待由视频解码器30的其他部件解码的视频数据，比如已编码视频比特流。例如，可以经由对视频数据进行有线或无线网络传送或者通过访问物理数据存储介质(例如，闪存驱动器或硬盘)从存储设备32、本地视频源(如相机)获得存储在视频数据存储器79中的视频数据。视频数据存储器79可以包括存储来自已编码视频比特流的已编码视频数据的编解码图片缓冲器(CPB)。视频解码器30的解码图片缓冲器(DPB)92存储参考视频数据，以供视频解码器30对视频数据进行解码时使用(例如，在帧内预测编解码模式或帧间预测编解码模式下)。视频数据存储器79和DPB 92可以由多种存储器设备中的任一种形成，如动态随机存取存储器(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其他类型的存储器设备。为了说明目的，在图3中将视频数据存储器79和DPB 92描绘为视频解码器30的两个不同部件。但是对于本领域技术人员将显而易见的是，视频数据存储器79和DPB 92可以由相同的存储器设备或单独的存储器设备提供。在一些示例中，视频数据存储器79可以与视频解码器30的其他部件一起在片上，或者相对于那些部件在片外。
在解码过程期间，视频解码器30接收表示已编码视频帧的视频块和相关联语法元素的已编码视频比特流。视频解码器30可以在视频帧级别和/或视频块级别接收语法元素。视频解码器30的熵解码单元80对比特流进行熵解码以生成量化的系数、运动矢量或帧内预测模式指示符和其他语法元素。熵解码单元80然后将运动矢量和其他语法元素转发到预测处理单元81。
当视频帧被编解码为帧内预测编解码(I)帧或用于其他类型的帧中的帧内编解码预测块时，预测处理单元81的帧内预测处理单元84可以基于用信号发送的帧内预测模式和来自当前帧的先前解码块的参考数据来生成当前视频帧的视频块的预测数据。
当视频帧被编解码为帧间预测编解码(即，B或P)帧时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收到的运动矢量和其他语法元素产生当前视频帧的视频块的一个或多个预测块。每个预测块可以从参考帧列表之一内的参考帧产生。视频解码器30可以基于存储在DPB 92中的参考帧使用默认构造技术构造参考帧列表：列表0和列表1。
在一些示例中，当根据本文描述的帧内BC模式对视频块进行编解码时，预测处理单元81的帧内BC单元85基于从熵解码单元80接收到的块矢量和其他语法元素，为当前视频块产生预测块。预测块可以处于与由视频编码器20定义的当前视频块相同的图片的重建的区域内。
运动补偿单元82和/或帧内BC单元85通过解析运动矢量和其他语法元素来确定当前视频帧的视频块的预测信息，并且然后使用预测信息来产生被解码的当前视频块的预测块。例如，运动补偿单元82使用接收到的语法元素中的一些来确定用于对视频帧的视频块进行编解码的预测模式(例如，帧内预测或帧间预测)、帧间预测帧类型(例如，B或P)、帧的参考帧列表中的一个或多个参考帧列表的构造信息、帧的每个帧间预测编码视频块的运动矢量、帧的每个帧间预测编解码视频块的帧间预测状态以及用于对当前视频帧中的视频块进行解码的其他信息。
类似地，帧内BC单元85可以使用接收到的语法元素中的一些(例如，标志)来确定当前视频块是使用以下各项预测的：帧内BC模式、关于帧的视频块处于重建的区域内并且应存储在DPB 92中的构造信息、帧的每个帧内BC预测视频块的块矢量、帧的每个帧内BC预测视频块的帧内BC预测状态以及用于对当前视频帧中的视频块进行解码的其他信息。
运动补偿单元82还可以如由视频编码器20在对视频块进行编码期间使用的那样使用内插滤波器来执行内插以计算参考块的子整数像素的内插值。在这种情况下，运动补偿单元82可以从接收到的语法元素确定由视频编码器20使用的内插滤波器并且使用内插滤波器来产生预测块。
反量化单元86使用由视频编码器20针对视频帧中的每个视频块计算的用于确定量化程度的相同的量化参数，对在比特流中提供的并且由熵解码单元80进行熵解码的量化变换系数进行反量化。逆变换处理单元88将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数，以便在像素域中重建残差块。
在运动补偿单元82或帧内BC单元85基于矢量和其他语法元素生成当前视频块的预测块之后，求和器90通过对来自逆变换处理单元88的残差块以及由运动补偿单元82和帧内BC单元85生成的对应预测块求和来重建当前视频块的已解码视频块。环路滤波器(未示出)可以定位在加法器90与DPB 92之间，以进一步处理已解码视频块。在将重建的CU置于参考图像存储中之前，可以将如去块滤波器、样值偏移补偿(SAO)和自适应环路滤波器(ALF)等环路滤波应用于所述重建的CU。然后将给定帧中的已解码视频块存储在DPB 92中，所述DPB存储用于对接下来的视频块进行后续运动补偿的参考帧。DPB 92或与DPB 92分开的存储器设备还可以存储已解码视频以供稍后呈现在如图1的显示设备34等显示设备上。
在典型的视频编解码过程中，视频序列典型地包括帧或图片的有序集合。每个帧可以包括三个样点阵列，分别表示为SL、SCb和SCr。SL是亮度样点的二维阵列。SCb是Cb色度样点的二维阵列。SCr是Cr色度样点的二维阵列。在其他实例中，帧可以是单色的，并且因此仅包括亮度样点的一个二维阵列。
如图4A所示，视频编码器20(或更具体地，分割单元45)通过首先将帧分割为一组编解码树单元(CTU)来生成帧的已编码表示。视频帧可以包括从左到右以及从上到下以光栅扫描顺序连续排序的整数个CTU。每个CTU是最大的逻辑编解码单元，并且由视频编码器20在序列参数集中用信号发送CTU的宽度和高度，使得视频序列中的所有CTU具有相同的尺寸，即128×128、64×64、32×32和16×16中的一个。但是应当注意，本申请不必限于特定的尺寸。如图4B所示，每个CTU可以包括亮度样点的一个编解码树块(CTB)、色度样点的两个对应的编解码树块以及用于对编解码树块的样点进行编解码的语法元素。语法元素描述像素的编解码块的不同类型的单元的属性以及可以如何在视频解码器30处重建视频序列，所述语法元素包括帧间预测或帧内预测、帧内预测模式、运动矢量和其他参数。在单色图片或具有三个单独的色彩平面的图片中，CTU可以包括单个编解码树块和用于对编解码树块的样点进行编解码的语法元素。编码树块可以是N×N样点块。
为了实现更好的性能，视频编码器20可以对CTU的编解码树块递归地执行树分割(如二叉树分割、三叉树分割、四叉树分割或两者的组合)，并且将CTU分割为较小的编解码单元(CU)。如图4C描绘的，首先将64×64CTU 400划分为四个较小的CU，每个CU的块尺寸为32×32。在四个较小的CU中，CU 410和CU 420按块尺寸各自划分为四个16×16的CU。两个16×16CU 430和440按块尺寸各自进一步划分为四个8×8的CU。图4D描绘了图示了如图4C中所描绘的CTU 400的划分过程的最终结果的四叉树数据结构，四叉树的每个叶节点对应于相应尺寸在32×32至8×8范围内的一个CU。类似于图4B描绘的CTU，每个CU可以包括亮度样点的编解码块(CB)和相同尺寸的帧的色度样点的两个对应的编解码块，以及用于对编解码块的样点进行编解码的语法元素。在单色图片或具有三个单独的色彩平面的图片中，CU可以包括单个编解码块和用于对编解码块的样点进行编解码的语法结构。应当注意，图4C和图4D中描绘的四叉树分割仅用于说明目的，并且可以将一个CTU分割成多个CU以适应基于四叉树/三叉树/二叉树分割的不同的局部特性。在多类型树结构中，一个CTU被四叉树结构分割，并且每个四叉树叶CU可以进一步被二叉树结构或三叉树结构分割。如图4E所示，有五种分割类型，即四元分割、水平二元分割、垂直二元分割、水平三元分割以及垂直三元分割。
在一些实施方式中，视频编码器20可以进一步将CU的编解码块分割为一个或多个M×N预测块(PB)。预测块是应用相同预测(帧间或帧内)的矩形(正方形或非正方形)样点块。CU的预测单元(PU)可以包括亮度样点的预测块、色度样点的两个对应的预测块以及用于对预测块进行预测的语法元素。在单色图片或具有三个单独的色彩平面的图片中，PU可以包括单个预测块和用于对预测块进行预测的语法结构。视频编码器20可以生成CU的每个PU的亮度、Cb和Cr预测块的预测亮度、Cb和Cr块。
视频编码器20可以使用帧内预测或帧间预测来生成PU的预测块。如果视频编码器20使用帧内预测来生成PU的预测块，则视频编码器20可以基于与PU相关联的帧的已解码样点来生成PU的预测块。如果视频编码器20使用帧间预测来生成PU的预测块，则视频编码器20可以基于除与PU相关联的帧之外的一个或多个帧的已解码样点来生成PU的预测块。
在视频编码器20生成CU的一个或多个PU的预测亮度、Cb和Cr块之后，视频编码器20可以通过从其原始亮度编解码块中减去CU的预测亮度块来生成CU的亮度残差块，使得CU的亮度残差块中的每个样点指示CU的预测亮度块之一中的亮度样点与CU的原始亮度编解码块中的对应样点之间的差。类似地，视频编码器20可以分别生成CU的Cb残差块和Cr残差块，使得CU的Cb残差块中的每个样点指示CU的预测Cb块之一中的Cb样点与CU的原始Cb编解码块中的对应样点之间的差，并且CU的Cr残差块中的每个样点可以指示CU的预测Cr块之一中的Cr样点与CU的原始Cr编解码块中的对应样点之间的差。
此外，如图4C所图示的，视频编码器20可以使用四叉树分割来将CU的亮度、Cb和Cr残差块分解为一个或多个亮度、Cb和Cr变换块。变换块是应用相同变换的矩形(正方形或非正方形)样点块。CU的变换单元(TU)可以包括亮度样点的变换块、色度样点的两个对应的变换块以及用于对变换块样点进行变换的语法元素。因此，CU的每个TU可以与亮度变换块、Cb变换块和Cr变换块相关联。在一些示例中，与TU相关联的亮度变换块可以是CU的亮度残差块的子块。Cb变换块可以是CU的Cb残差块的子块。Cr变换块可以是CU的Cr残差块的子块。在单色图片或具有三个单独的色彩平面的图片中，TU可以包括单个变换块和用于对变换块的样点进行变换的语法结构。
视频编码器20可以将一个或多个变换应用于TU的亮度变换块以生成TU的亮度系数块。系数块可以是变换系数的二维阵列。变换系数可以是标量。视频编码器20可以将一个或多个变换应用于TU的Cb变换块以生成TU的Cb系数块。视频编码器20可以将一个或多个变换应用于TU的Cr变换块以生成TU的Cr系数块。
在生成系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可以对系数块进行量化。量化通常是指对变换系数进行量化以可能减少用于表示变换系数的数据量从而提供进一步压缩的过程。在视频编码器20对系数块进行量化之后，视频编码器20可以对指示量化变换系数的语法元素进行熵编码。例如，视频编码器20可以对指示量化变换系数的语法元素执行上下文自适应二进制算术编解码(CABAC)。最终，视频编码器20可以输出包括形成编解码帧和相关联数据的表示的比特序列的比特流，所述比特流被保存在存储设备32中或被传输到目的地设备14。
在接收到由视频编码器20生成的比特流之后，视频解码器30可以解析所述比特流以从所述比特流中获得语法元素。视频解码器30可以至少部分地基于从比特流获得的语法元素来重建视频数据的帧。重建视频数据的过程通常与由视频编码器20执行的编码过程是相反的。例如，视频解码器30可以对与当前CU的TU相关联的系数块执行逆变换以重建与当前CU的TU相关联的残差块。视频解码器30还通过将当前CU的PU的预测块的样点添加到当前CU的TU的变换块的对应样点来重建当前CU的编解码块。在重建帧的每个CU的编解码块之后，视频解码器30可以重建帧。
如上所述，视频编解码主要使用两种模式来实现视频压缩，即，帧内预测(intra-frame prediction或intra-prediction)以及帧间预测(inter-frame prediction或inter-prediction)。基于调色板的编解码是许多视频编解码标准采用的另一编解码方案。在可能特别适用于屏幕生成内容编解码的基于调色板的编解码中，视频编解码器(例如，视频编码器20或视频解码器30)形成表示给定块的视频数据的颜色的调色板表。调色板表包括给定块中最主要的(例如，经常使用的)像素值。给定块的视频数据中不经常表示的像素值不包括在调色板表中，或者作为逸出颜色包括在调色板表中。
调色板表中的每个条目包括在调色板表中的对应像素值的索引。可以对块中样点的调色板索引进行编解码，以指示调色板表中的哪个条目要用于预测或重建哪个样点。调色板模式开始于为图片、条带、瓦片或视频块的其他这种分组的第一块生成调色板预测值的过程。如下文将解释的，后续视频块的调色板预测值典型地通过更新先前使用的调色板预测值来生成。出于说明的目的，假设调色板预测值是在图片级别定义的。换句话说，图片可以包括多个编解码块，每个编解码块具有自己的调色板表，但是对于整个图片有一个调色板预测值。
为了减少在视频比特流中用信号发送调色板条目所需要的位，视频解码器可以利用调色板预测值来确定用于重建视频块的调色板表中的新调色板条目。例如，调色板预测值可以包括来自先前使用的调色板表的调色板条目，或者甚至可以通过包括最近使用的调色板表的所有条目来用最近使用的调色板表初始化。在一些实施方式中，调色板预测值可以包括少于来自最近使用的调色板表的所有条目，并且然后结合来自其他先前使用的调色板表的一些条目。调色板预测值可以具有与用于编解码不同块的调色板表相同的尺寸，或者可以比用于编解码不同块的调色板表更大或更小。在一个示例中，调色板预测值被实施为包括64个调色板条目的先进先出(FIFO)表。
为了从调色板预测值生成视频数据块的调色板表，视频解码器可以从已编码视频比特流接收调色板预测值的每个条目的一比特标志。一比特标志可以具有指示调色板预测值的相关联条目将被包括在调色板表中的第一值(例如，二进制一)或者指示调色板预测值的相关联条目将不被包括在调色板表中的第二值(例如，二进制零)。如果调色板预测值的尺寸大于用于视频数据块的调色板表，则一旦达到调色板表的最大尺寸，视频解码器就可以停止接收更多的标志。
在一些实施方式中，调色板表中的一些条目可以是直接在已编码视频比特流中用信号发送的而不是使用调色板预测值来确定的。对于这种条目，视频解码器可以从已编码视频比特流接收三个单独的m比特值，所述m比特值指示与所述条目相关联的亮度分量和两个色度分量的像素值，其中m表示视频数据的比特深度。与直接用信号发送的调色板条目所需的多个m比特值相比，从调色板预测值得到的那些调色板条目只需要一比特标志。因此，使用调色板预测值用信号发送一些或所有调色板条目可以显著减少用信号传输新调色板表的条目所需的比特数，从而提高调色板模式编解码的整体编解码效率。
在许多实例中，基于用于对一个或多个先前已编解码的块进行编解码的调色板表来确定一个块的调色板预测值。但是，当对图片、条带或瓦片中的第一编解码树单元进行编解码时，先前编解码的块的调色板表可能不可用。因此，无法使用先前使用的调色板表的条目来生成调色板预测值。在这种情况下，可以在序列参数集(SPS)和/或图片参数集(PPS)中用信号发送一系列调色板预测值初始值，所述初始值是当先前使用的调色板表不可用时用于生成调色板预测值的值。SPS通常是指应用于被称为已编解码视频序列(CVS)的一系列连续编解码视频图片的语法元素的语法结构，如由在PPS中找到的语法元素的内容确定的，所述内容指的是在每个条带分段头部中找到的语法元素。PPS通常是指应用于CVS内的一个或多个单独图片的语法元素的语法结构，如由在每个条带分段头部中找到的语法元素确定的。因此，SPS通常被认为是比PPS更高级别的语法结构，这意味着与PPS中包括的语法元素相比，SPS中包括的语法元素通常不那么频繁地变化并且应用于视频数据的更大部分。
图5A至图5B是图示了根据本公开的一些实施方式的应用 适应颜色空间变换(ACT)技术以使残差在RGB颜色空间与YCgCo颜色空间之间变换的示例的框图。
在HEVC屏幕内容编解码扩展中，应用ACT以将残差从一个颜色空间(例如，RGB) 适应地变换到另一颜色空间(例如，YCgCo)中，使得三个颜色分量(例如，R、G和B)之间的相关性(例如，冗余)在YCgCo颜色空间中显著地降低。进一步地，在现有ACT设计中，通过针对每个TU用信号发送一个标志tu_act_enabled_flag在变换单元(TU)级执行不同颜色空间的适应。当标记tu_act_enabled_flag等于一时，它指示在YCgCo空间中对当前TU的残差进行编解码；否则(即，标志等于0)，它指示在原始颜色空间中对当前TU的残差进行编解码(即，未进行颜色空间转换)。此外，根据当前TU是以无损模式还是以有损模式进行编解码，应用不同的颜色空间变换公式。具体来说，在图5A中定义了有损模式的RGB颜色空间与YCgCo颜色空间之间的前向和逆颜色空间变换公式。
对于无损模式，使用RGB-YCgCo变换(还称作YCgCo-LS)的可逆版本。基于图5B中描绘的提升操作和相关描述来实施RGB-YCgCo变换的可逆版本。
如图5A所示，在有损模式中使用的前向和逆颜色变换矩阵是未归一化的。因此，YCgCo信号的幅度小于原始信号在应用颜色变换后的幅度。为了补偿由前向颜色变换引起的幅度下降，将调整后的量化参数应用于YCgCo域中的残差。具体来说，当应用颜色空间变换时，将用于量化YCgCo域残差的QP值QPY、QPCg和QPCo分别设置为QP-5、QP-5和QP-3，其中，QP是在原始颜色空间中使用的量化参数。
图6是根据本公开的一些实施方式的在示例性视频数据解码过程中应用利用色度缩放的亮度映射(LMCS)技术的框图。
在VVC中，使用LMCS作为在环路滤波器(例如，去块滤波器、SAO和ALF)之前应用的新编解码工具。通常，LMCS有两个主要模块：1)基于 适应分段线性模型对亮度分量进行环路映射；2)亮度相关色度残差缩放。图6示出了在应用LMCS的情况下的经修改解码过程。在图6中，在映射域中执行的解码模块包括熵解码块、反量化块、逆变换块、亮度帧内预测模块和亮度样点重建模块(即，添加了亮度预测样点和亮度残差样点)。在原始(即非映射)域中执行的解码模块包括运动补偿预测模块、色度帧内预测模块、色度样点重建模块(即，色度预测样点加上色度残差样点)、以及如去块模块、SAO模块、和ALF模块等所有环路滤波器模块。LMCS引入的新操作模块包括亮度样点的前向映射模块610、亮度样点的逆映射模块620、和色度残差缩放模块630。
LMCS的环路映射可以调整输入信号的动态范围以提高编解码效率。现有LMCS设计中的亮度样点的环路映射建立在两个映射函数之上：一个前向映射函数FwdMap以及一个对应的逆映射函数InvMap。前向映射函数使用一个具有十六个相等尺寸分段的分段线性模型用信号从编码器传输到解码器。逆映射函数可以直接从前向映射函数得到，因此不需要用信号发送。
在条带级用信号发送亮度映射模型的参数。首先用信号发送存在标志，以指示是否要用信号传输当前条带的亮度映射模型。如果当前条带中存在亮度映射模型，则进一步用信号发送对应的分段线性模型参数。此外，在条带级别，用信号发送另一个LMCS控制标志，以便为条带启用/禁用LMCS。
色度残差缩放模块630被设计为在将环路映射应用于亮度信号时补偿亮度信号与其对应的色度信号之间的量化精度的相互作用。还在条带头中用信号发送是为当前条带启用还是禁用色度残差缩放。当启用亮度映射时，用信号发送额外的标志，以指示是否应用亮度相关色度残差缩放。当不使用亮度映射时，总是禁用亮度相关色度残差缩放，并且不需要额外的标志。此外，对于包含少于或等于四个色度样点的CU，始终禁用色度残差缩放。
图7是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过所述过程实施逆自适应颜色空间变换(ACT)技术。
与HEVC SCC中的ACT设计类似，VVC中的ACT将4:4:4色度格式的一个CU的帧内/帧间预测残差从原始颜色空间(例如，RGB颜色空间)转换到YCgCo颜色空间中。结果，可以减少三个颜色分量之间的冗余，以获得更好的编解码效率。图7描绘了如何通过添加逆ACT模块710在VVC框架中应用逆ACT的解码流程图。当处理启用ACT来编码的CU时，熵解码、反量化和基于DCT/DST的逆变换首先应用于CU。在这之后，如图7中所描绘的，调用逆ACT以将已解码残差从YCgCo颜色空间转换到原始颜色空间(例如，RGB和YCbCr)。此外，由于有损模式下的ACT未被归一化，因此将(-5，-5，-3)的QP调整应用于Y、Cg和Co分量，以补偿变换残差的变化幅度。
在一些实施例中，ACT方法重复使用HEVC的相同ACT核心变换来进行不同颜色空间之间的颜色转换。具体地，根据当前CU是以有损方式还是无损方式编解码，应用两种不同版本的颜色变换。有损情况的前向和逆颜色变换使用如图5A中描绘的可逆YCgCo变换矩阵。对于无损情况，应用如图5B所示的可逆颜色变换YCgCo-LS。此外，与现有的ACT设计不同，ACT方案引入了以下更改，以处理其与VVC标准中其他编解码工具的相互作用。
例如，由于HEVC中的一个CU的残差可以被分割成多个TU，因此针对每个TU单独地用信号发送ACT控制标志以指示是否需要应用颜色空间转换。然而，如上文结合图4E所描述的，在VVC中应用嵌套有二元和三元分割结构的一个四叉树以取代多分割类型概念，从而去除HEVC中单独的CU、PU和TU分割。这意味着在大多数情况下，一个CU叶节点也被用作预测和变换处理的单元而无需进一步分割，除非最大支持的变换尺寸小于CU的一个分量的宽度或高度。基于这样的分割结构，自适应地启用和禁用CU级别的ACT。具体来说，针对每个CU用信号发送一个标志cu_act_enabled_flag以在原始颜色空间与YCgCo颜色空间之间进行选择以对CU的残差进行编解码。如果标志等于1，则指示CU内的所有TU的残差都是在YCgCo颜色空间中编解码的。否则，如果标志cu_act_enabled_flag等于0，则在原始颜色空间中对CU的所有残差进行编解码。
在一些实施例中，存在禁用ACT的不同情景。当针对一个CU启用ACT时，需要访问所有三个分量的残差以进行颜色空间转换。然而，VVC设计不能保证每个CU总是包含三个分量的信息。根据本公开的实施例，在CU不包含所有三个分量的信息的那些情况下，应该强制禁用ACT。
首先，在一些实施例中，当应用分离树分割结构时，基于分离的分割结构来将在一个CTU内部的亮度和色度样点分割成多个CU。结果，亮度分割树中的CU仅包含亮度分量的编解码信息，而色度分割树中的CU仅包含两个色度分量的编解码信息。根据当前的VVC，单树分割结构与分离树分割结构之间的切换是在条带级别进行的。因此，根据本公开的实施例，当发现分离树应用于一个条带时，对于条带内的所有CU(包括亮度CU和色度CU)，将始终禁用ACT，而不用信号发送被推断为零的ACT标志。
其次，在一些实施例中，当启用ISP模式(下文进一步描述的)时，TU分割仅应用于亮度样点，同时对色度样点进行编解码而不进一步分割成多个TU。假设N是一个帧内CU的ISP子分割(即，TU)的数量，根据当前ISP设计，仅最后一个TU包含亮度分量和色度分量两者，而前N-1个ISP TU仅由亮度分量构成。根据本公开的实施例，在ISP模式下ACT被禁用。有两种方法来针对ISP模式禁用ACT。在第一方法中，在用信号发送ISP模式的语法之前用信号发送ACT启用/禁用标志(即，cu_act_enabled_flag)。在这样的情况下，当标志cu_act_enabled_flag等于一时，将不在比特流中用信号发送ISP模式，而是始终将其推断为零(即，关断)。在第二种方法中，使用ISP模式信令来绕过ACT标志的信令。具体来说，在这个方法中，在标志cu_act_enabled_flag之前用信号发送ISP模式。当选择ISP模式时，标志cu_act_enabled_flag不用信号发送并且被推断为零。否则(不选择ISP模式)，仍将用信号发送标志cu_act_enabled_flag以自适应地选择颜色空间来对CU进行残差编解码。
在一些实施例中，除了针对亮度和色度分割结构不对齐的CU强制禁用ACT，还针对应用ACT的CU禁用LMCS。在一个实施例中，当一个CU选择YCgCo颜色空间来编解码其残差时(即ACT为一)，亮度映射和色度残差缩放都被禁用。在另一个实施例中，当为一个CU启用ACT时，仅禁用色度残差缩放，而仍然可以应用亮度映射来调整输出亮度样点的动态范围。在最后一个实施例中，对于应用ACT来编解码其残差的CU，亮度映射和色度残差缩放都被启用。可能有多种方法来为应用ACT的CU启用色度残差缩放。在一种方法中，在解码时的逆ACT之前应用色度残差缩放。通过这种方法，这意味着当应用ACT时，将色度残差缩放应用于YCgCo域中的色度残差(即Cg和Co残差)。在另一种方法中，在逆ACT之后应用色度残差缩放。具体地，通过第二种方法，将色度缩放应用于原始颜色空间中的残差。假设输入视频是以RGB格式捕获的，这意味着将色度残差缩放应用于B和R分量的残差。
在一些实施例中，将语法元素(例如，sps_act_enabled_flag)添加到序列参数集(SPS)以指示是否在序列级启用ACT。此外，由于将颜色空间转换应用于亮度和色度分量具有相同分辨率(例如，4:4:4色度格式4:4:4)的视频内容，因此需要添加一个比特流一致性要求，使得ACT只能针对4:4:4色度格式被启用。表1说明了添加了上述语法的修改的SPS语法表。
表1修改的SPS语法表
具体来说，sps_act_enabled_flag等于1指示启用ACT并且sps_act_enabled_flag等于0指示禁用ACT，使得flag cu_act_enabled_flag不针对引用SPS的CU来用信号发送而是被推断为0。当ChromaArrayType不等于3时，比特流一致性的要求是，sps_act_enabled_flag的值应等于0。
在另一实施例中，不总是用信号发送sps_act_enabed_flag，而是该标志的信令是以输入信号的色度类型为条件的。具体来说，鉴于ACT只能在亮度和色度分量处于相同分辨率时应用，所以标志sps_act_enabled_flag仅在以4:4:4色度格式捕获输入视频时用信号发送。有了这样的更改，修改的SPS语法表为：
表2带信令条件的修改的SPS语法表
在一些实施例中，在下表中图示了用于使用ACT对视频数据进行解码的语法设计规范。
/>
/>
/>
/>
/>
/>
/>
表3信令ACT模式规范
标志cu_act_enabled_flag等于1指示在YCgCo颜色空间中对编解码单元的残差进行编解码，并且标志cu_act_enabled_flag等于0指示在原始颜色空间(例如，RGB或YCbCr)中对编解码单元的残差进行编解码。当不存在标志cu_act_enabled_flag时，推断其等于0。
在一些实施例中，ACT信令是以编解码块标志(CBF)为条件的。如图5A和图5B中所指示的，ACT只有在当前CU包含至少一个非零系数时才能影响已解码残差。如果从熵解码获得的所有系数都是零，则在应用或不应用逆ACT的情况下重建残差将是相同的。对于帧间模式和帧内块复制(IBC)模式，关于一个CU是否包含非零系数的信息由CU根编解码块标志(CBF)(即，cu_cbf)指示。当该标志等于一时，意味着残差语法元素存在于当前CU的比特流中。否则(即，标志等于0)，意味着将不用信号发送当前CU的残差语法元素，并且推断CU的所有残差为零。因此，针对帧间模式和IBC模式，提出了当当前CU的根CBF标志cu_cbf等于一时仅用信号发送标志cu_act_enabled_flag。否则(即，标志cu_cbf等于0)，将不用信号发送标志cu_act_enabled_flag，并且总是禁用ACT以对当前CU的残差进行解码。另一方面，不同于帧间和IBC模式，不针对帧内模式用信号发送根CBF标志，即，没有任何cu_cbf的标志可以用于调节帧内CU的标志cu_act_enabled_flag的存在。
在一些实施例中，使用ACT标志以在将ACT应用于一个帧内CU时有条件地启用/禁用亮度分量的CBF信令。具体来说，鉴于使用ACT的一个帧内CU，解码器总是假设至少一个分量包含非零系数。因此，当针对一个帧内CU启用ACT并且其变换块(除了其最后一个变换块)中不存在非零残差时，在无信令的情况下推断其最后一个变换块的CBF为一。对于包含仅一个TU的帧内CU，意味着如果其两个色度分量的CBF(如由tu_cbf_cb和tu_cbf_cr指示)为零，则在无信令的情况下总是推断最后一个分量的CBF标志(即，tu_cbf_luma)为一。在一个实施例中，仅针对包含仅一单个TU的帧内CU启用亮度CBF的这种推断规则来进行残差编解码。
图8A和图8B是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过所述过程实施逆自适应颜色空间变换(ACT)和色度残差缩放技术。在一些实施例中，使用ACT(例如，图7中的逆ACT 710)和色度残差缩放(例如，图6中的色度残差缩放630)两者来对视频比特流进行编解码。在一些其他实施例中，使用色度残差缩放但不同时使用ACT对视频比特流进行编解码，因此不需要逆ACT 710。
更具体来说，图8A描绘了视频编解码器在逆ACT 710之前执行色度残差缩放630的实施例。结果，视频编解码器在颜色空间变换域中执行亮度映射以及色度残差缩放630。例如，假设输入视频是以RGB格式捕获的并且被变换到YCgCo颜色空间中，则视频编解码器根据YCgCo颜色空间中的亮度残差Y对色度残差Cg和Co执行色度残差缩放630。
在一些实施例中，当在如图8A所示的YCgCo域中应用色度残差缩放时，被馈送到色度残差缩放模块中的对应色度残差样点是在YCgCo域中。对应地，可以使用当前块的色度CBF标志(即，tu_cb_cbf和tu_cr_cbf)来指示是否存在需要缩放的任何非零色度残差样点。在这种情况下，为了避免解码器处的不必要色度缩放，可以添加关于色度CBF标志的附加检查条件以确保仅在两个色度CBF标志中的至少一个不是零时调用色度残差缩放。
图8B描绘了视频编解码器在逆ACT 710之后执行色度残差缩放630的替代性实施例。结果，视频编解码器在原始颜色空间域中执行亮度映射以及色度残差缩放630。例如，假设输入视频是以RGB格式捕获的，则视频编解码器对B和R分量应用色度残差缩放。
在一些实施例中，当在如图8B所示的RGB域中应用色度残差缩放时，馈送到色度残差缩放模块中的对应残差样点是在RGB域中。在这种情况下，色度CBF标志不能指示对应B和R残差样点是否全为零。因此，在这个方法中，当将ACT应用于一个CU时，不能使用两个色度CBF标志来决定是否应绕过色度残差缩放。当不将ACT应用于一个CU时，仍可以使用YCgCo空间中的两个色度CBF标志来决定是否可以绕过色度残差缩放。
在一些实施例中，下面内容示出了当将关于检查CU级ACT标志的所实施信令条件应用于解码器处的色度残差缩放时对当前VVC规范的改变：
8.7.5.3利用亮度相关色度残差缩放过程针对色度样点的图片重建
-如果以下条件中的一个或多个为真，则将recSamples[xCurr+i][yCurr+j]设置为等于Clip1(predSamples[i][j]+resSamples[i][j])：
-ph_chroma_residual_scale_flag等于0。
-sh_lmcs_used_flag等于0。
-nCurrSw*nCurrSh小于或等于4。
-tu_cb_coded_flag[xCurr][yCurr]等于0，并且tu_cr_coded_flag[xCurr][yCurr]等于0，并且cu_act_enabled_flag[xCurr*SubWidthC][yCurr*SubHeightC]等于0。
-否则，以下情况适用：
-当前亮度位置(xCurrY，yCurrY)是如下得到的：
(xCurrY，yCurrY)＝(xCurr*SubWidthC，yCurr*SubHeightC) (1234)
-指定亮度位置(xCuCb，yCuCb)为编解码单元的包含在(xCurrY/sizeY*sizeY，yCurrY/sizeY*sizeY)的亮度样点的左上亮度样点位置。
-变量availL和availT是如下得到的：
-以设置为等于(xCuCb，yCuCb)的位置(xCurr，yCurr)、设置为等于(xCuCb-1，yCuCb)的相邻亮度位置(xNbY，yNbY)、设置为等于FALSE(伪)的checkPredModeY以及设置为等于0的cIdx作为输入来调用在第6.4.4条中指定的相邻块可用性的得到过程，并且将输出指派给availL。
-以设置为等于(xCuCb，yCuCb)的位置(xCurr，yCurr)、设置为等于(xCuCb，yCuCb-1)的相邻亮度位置(xNbY，yNbY)、设置为等于FALSE(伪)的checkPredModeY以及设置为等于0的cIdx作为输入来调用在第6.4.4条中指定的相邻块可用性的得到过程，并且将输出指派给availT。
-变量currPic指定当前图片中的重建亮度样点的阵列。
-为了得到变量varScale，以下有序步骤适用：
1.变量invAvgLuma是如下得到的：
-阵列recLuma[i](其中，i＝0..(2*sizeY-1))和变量cnt是如下得到的：
-将变量cnt设置为等于0。
-当availL等于TRUE(真)时，将阵列recLuma[i](其中，i＝0..sizeY-1)设置为等于currPic[xCuCb-1][Min(yCuCb+i，pps_pic_height_in_luma_samples-1)](其中，i＝0..sizeY-1)，并且将cnt设置为等于sizeY。
-当availT等于TRUE(真)时，将阵列recLuma[cnt+i](其中，i＝0..sizeY-1)设置为等于currPic[Min(xCuCb+i，pps_pic_width_in_luma_samples-1)][yCuCb-1](其中，i＝0..sizeY-1)，并且将cnt设置为等于(cnt+sizeY)。
-变量invAvgLuma是如下得到的：
-如果cnt大于0，则以下情况适用：
-否则(cnt等于0)，以下情况适用：
invAvgLuma＝1＜＜(BitDepth-1) (1236)
2.变量idxYInv是通过以设置为等于invAvgLuma的变量lumaSample作为输入并且以idxYInv作为输出来调用如第8.8.2.3条中指定的亮度样点的分段函数索引过程的标识而得到的。
3.变量varScale是如下得到的：
varScale＝ChromaScaleCoeff[idxYInv] (1237)
图9是图示了根据本公开的一些实施方式的示例性过程的流程图900，视频解码器(例如，视频解码器30)通过所述过程通过有条件地对编解码单元的残差执行色度残差缩放操作来对视频数据进行解码。
视频解码器30从比特流接收与编解码单元相关联的多个语法元素，其中，所述语法元素包括所述编解码单元的第一色度分量的残差样点的第一编解码块标志(CBF)、所述编解码单元的第二色度分量的残差样点的第二CBF、以及指示自适应颜色变换(ACT)是否应用于所述编解码单元的第三语法元素(910)。
视频解码器30然后根据所述第一CBF、所述第二CBF和所述第三语法元素确定是否对所述第一色度分量和所述第二色度分量的残差样点执行色度残差缩放(920)。
根据确定对所述第一色度分量和所述第二色度分量中的至少一个的残差样点执行所述色度残差缩放，视频解码器30另外基于对应的缩放来对所述第一色度分量和所述第二色度分量中的至少一个的残差样点进行缩放(930)。
视频解码器30进一步使用亮度残差样点和缩放后的色度残差样点重建编解码单元的样点(940)。
在一些实施例中，根据所述第一CBF、所述第二CBF和所述第三语法元素确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放(920)包括：根据从所述第三语法元素确定所述ACT应用于所述编解码单元来：将逆ACT应用于所述编解码单元的亮度和色度残差样点；以及确定在所述逆ACT之后对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放而不管所述第一CBF和所述第二CBF如何。
在一些实施例中，在应用所述逆ACT之前将逆变换应用于所述编解码单元的残差样点。
在一些实施例中，在应用所述逆变换之前将反量化应用于所述编解码单元的残差样点。
在一些实施例中，根据所述第一CBF、所述第二CBF和所述第三语法元素确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放(920)包括：根据从所述第三语法元素确定所述ACT不应用于所述编解码单元来：当与所述色度分量相关联的所述CBF不为零时，确定对所述编解码单元的色度分量的残差样点执行所述色度残差缩放；或当与所述色度分量相关联的所述CBF为零时确定绕过对所述编解码单元的色度分量的残差样点的所述色度残差缩放。
在一些实施例中，当非零色度残差样点不存在于第一色度分量的残差样点中时，第一CBF为0。在一些实施例中，当非零色度残差样点不存在于第二色度分量的残差样点中时，第二CBF为0。
在一些实施例中，对应缩放参数是从在同位位置的重建亮度样点得到的。
在一些实施例中，所述逆ACT的输入是在YCbCo空间中。
在一些实施例中，所述逆ACT的输出是在RGB空间中。
在一些实施例中，一种对利用色度残差缩放来编解码的视频块进行解码的方法包括：从比特流接收与编解码单元相关联的多个语法元素，其中，所述语法元素包括所述编解码单元的第一色度分量的残差样点的第一编解码块标志(CBF)、所述编解码单元的第二色度分量的残差样点的第二CBF、以及指示自适应颜色变换(ACT)是否应用于所述编解码单元的第三语法元素；根据所述第一CBF和所述第二CBF确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放；根据确定对所述第一色度分量和所述第二色度分量中的至少一个的残差样点执行所述色度残差缩放，基于对应缩放参数来对所述第一色度分量和所述第二色度分量中的至少一个的残差样点进行缩放；以及根据从所述第三语法元素确定所述ACT应用于所述编解码单元，在缩放之后将逆ACT应用于所述编解码单元的亮度和色度残差样点。在一些实施例中，在执行所述色度残差缩放之前将逆变换应用于所述编解码单元的残差样点。在一些实施例中，在应用所述逆变换之前将反量化应用于所述编解码单元的残差样点。
在一些实施例中，根据所述第一CBF和所述第二CBF确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放包括：当与所述色度分量相关联的CBF不为零时确定对所述编解码单元的色度分量的残差样点执行所述色度残差缩放；当与所述色度分量相关联的CBF为零时确定绕过对所述编解码单元的色度分量的残差样点的所述色度残差缩放。
进一步实施例还包括组合或以其他方式重新布置在各种其他实施例中的上述实施例的各种子集。
在一个或多个实例中，所描述的功能可以在硬件、软件、固件或其任何组合中实施。如果在软件中实施，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质进行传输并且由基于硬件的处理单元执行。计算机可读介质可以包括对应于如数据存储介质等有形介质的计算机可读存储介质或包括有助于例如根据通信协议将计算机程序从一个地方转移到另一个地方的任何介质的通信介质。以这种方式，计算机可读介质通常可以对应于(1)非暂态的有形计算机可读存储介质或者(2)如信号或载波等通信介质。数据存储介质可以是可以被一个或多个计算机或者一个或多个处理器访问以取得用于实施本申请中描述的实施方式的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
在对本文中实施方式的描述中使用的术语仅出于描述特定实施方式的目的，并且不旨在限制权利要求的范围。如对实施方式的描述和所附权利要求中使用的，单数形式“一个(a)”、“一种(an)”和“所述(the)”旨在也包括复数形式，除非上下文另有明确指示。还将理解的是，本文所使用的术语“和/或”是指并涵盖相关联列举项目中的一个或多个项目的任何和所有可能组合。将进一步理解的是，当在本说明书中使用术语“包括(comprises)”和/或“包括(comprising)”时，其指定陈述的特征、元件和/或部件的存在，但不排除一个或多个其他特征、元件、部件和/或其组的存在或添加。
还应理解，尽管术语第一、第二等在本文中可以用来描述各种要素，但是这些要素不应该受这些术语的限制。这些术语仅仅是用来将一个要素与另一个要素进行区分。例如，在不偏离实施方式的范围的情况下，第一电极可以被称为第二电极，并且类似地，第二电极可以被称为第一电极。第一电极和第二电极都是电极，但是第一电极和第二电极不是同一电极。
已经出于说明和描述的目的呈现了对本申请的描述，并且描述不旨在是穷举的或以所公开的形式限于本发明。受益于前述描述和相关联附图中呈现的教导，许多修改、变体和替代性实施方式对于本领域普通技术人员将是显而易见的。选择并描述实施例以便最好地解释本发明的原理、实际应用，并且使本领域其他技术人员能够理解本发明的各种实施方式并且最好地利用基本原理以及具有适合于预期的特定用途的各种修改的各种实施方式。因此，应当理解，权利要求的范围不应受限于所公开的实施方式的具体示例，并且修改和其他实施方式旨在包括在所附权利要求的范围内。

Claims (11)

1.一种视频编码的方法，所述方法包括：
根据以下各项条件中的至少一个，确定是否对编解码单元的第一色度分量和第二色度分量中的至少一个色度分量的残差样点执行色度残差缩放，所述各项条件包括：所述第一色度分量的经量化的变换系数是否包含非零色度经量化的变换系数、所述第二色度分量的经量化的变换系数是否包含非零色度经量化的变换系数、以及自适应颜色变换ACT是否应用于所述编解码单元；
根据确定对所述第一色度分量和所述第二色度分量中的至少一个色度分量的残差样点执行所述色度残差缩放：
基于对应缩放参数来对所述第一色度分量和所述第二色度分量中的至少一个色度分量的残差样点进行缩放；以及
使用缩放后的色度残差样点重建所述编解码单元的色度样点；以及将所述编解码单元的第一色度分量的第一编解码块标志CBF、所述编解码单元的第二色度分量的第二CBF、以及指示自适应颜色变换ACT是否应用于所述编解码单元的第三语法元素中的至少一个编码到视频比特流中，
其中，根据确定所述ACT应用于所述编解码单元，将逆ACT应用于所述编解码单元的亮度残差样点和色度残差样点；并且
其中，确定是否对所述编解码单元的第一色度分量和第二色度分量中的至少一个色度分量的残差样点执行色度残差缩放包括：
根据确定所述ACT应用于所述编解码单元，确定在所述逆ACT之后对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放而不管所述第一色度分量的经量化的变换系数是否包含非零色度经量化的变换系数和所述第二色度分量的经量化的变换系数是否包含非零色度经量化的变换系数。
2.根据权利要求1所述的方法，其中，确定是否对所述编解码单元的第一色度分量和第二色度分量中的至少一个色度分量的残差样点执行色度残差缩放包括：
根据确定所述ACT不应用于所述编解码单元：
当所述编解码单元的所述第一色度分量和所述第二色度分量中的一个色度分量的经量化的变换系数包含非零色度经量化的变换系数时，确定对所述编解码单元的所述一个色度分量的残差样点执行所述色度残差缩放；以及
当所述一个色度分量的经量化的变换系数不包含任何非零色度经量化的变换系数时，确定不对所述编解码单元的所述一个色度分量的残差样点执行所述色度残差缩放。
3.根据权利要求1所述的方法，进一步包括：在应用所述逆ACT之前将逆变换应用于所述编解码单元的变换系数。
4.根据权利要求3所述的方法，进一步包括：在应用所述逆变换之前将反量化应用于所述编解码单元的经量化的变换系数。
5.根据权利要求1所述的方法，其中，
当非零色度经量化的变换系数不存在于所述第一色度分量的经量化的变换系数中时，所述第一编解码块标志CBF为零；并且
当非零色度经量化的变换系数不存在于所述第二色度分量的经量化的变换系数中时，所述第二CBF为零。
6.根据权利要求1所述的方法，其中，所述对应缩放参数是从重建亮度样点得到的。
7.根据权利要求1所述的方法，其中，所述逆ACT的输入是在YCgCo空间中。
8.根据权利要求1所述的方法，其中，所述逆ACT的输出是在RGB空间中。
9.根据权利要求1所述的方法，其中，所述第一编解码块标志CBF、所述第二CBF或所述第三语法元素不存在于所述视频比特流中时，被推断为零。
10.一种电子装置，包括：
一个或多个处理单元；
存储器，所述存储器耦接到所述一个或多个处理单元；以及
存储在所述存储器中的多个程序，所述多个程序当由所述一个或多个处理单元执行时使所述电子装置执行如权利要求1至9中任一项所述的方法。
11.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储用于由具有一个或多个处理单元的电子装置执行的多个程序，其中，所述多个程序当由所述一个或多个处理单元执行时使所述电子装置执行如权利要求1至9中任一项所述的方法以生成视频比特流并且发送所述视频比特流。
CN202310458665.6A 2020-06-12 2021-06-14 一种视频编码的方法、装置和介质 Active CN116614625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310458665.6A CN116614625B (zh) 2020-06-12 2021-06-14 一种视频编码的方法、装置和介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063038692P 2020-06-12 2020-06-12
US63/038,692 2020-06-12
CN202180042158.3A CN115769584A (zh) 2020-06-12 2021-06-14 以4:4:4颜色格式进行视频编解码的方法和装置
CN202310458665.6A CN116614625B (zh) 2020-06-12 2021-06-14 一种视频编码的方法、装置和介质
PCT/US2021/037197 WO2021252995A1 (en) 2020-06-12 2021-06-14 Methods and apparatus of video coding in 4:4:4 color format

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202180042158.3A Division CN115769584A (zh) 2020-06-12 2021-06-14 以4:4:4颜色格式进行视频编解码的方法和装置

Publications (2)

Publication Number Publication Date
CN116614625A CN116614625A (zh) 2023-08-18
CN116614625B true CN116614625B (zh) 2024-03-26

Family

ID=78846615

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180042158.3A Pending CN115769584A (zh) 2020-06-12 2021-06-14 以4:4:4颜色格式进行视频编解码的方法和装置
CN202310458665.6A Active CN116614625B (zh) 2020-06-12 2021-06-14 一种视频编码的方法、装置和介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202180042158.3A Pending CN115769584A (zh) 2020-06-12 2021-06-14 以4:4:4颜色格式进行视频编解码的方法和装置

Country Status (7)

Country Link
US (1) US20230109849A1 (zh)
EP (1) EP4158893A4 (zh)
JP (1) JP2023523094A (zh)
KR (3) KR102663297B1 (zh)
CN (2) CN115769584A (zh)
MX (1) MX2022015862A (zh)
WO (1) WO2021252995A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2022003464A (es) 2020-12-17 2022-10-21 Japan Broadcasting Corp Dispositivo decodificador, programa y método de decodificación.

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685872A (zh) * 2012-09-28 2015-06-03 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统
CN107079157A (zh) * 2014-09-12 2017-08-18 Vid拓展公司 用于视频编码的分量间去相关

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
WO2019076290A1 (en) * 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. VARIANT TRANSFORMERS IN SPACE FOR VIDEO CODING

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685872A (zh) * 2012-09-28 2015-06-03 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统
CN107079157A (zh) * 2014-09-12 2017-08-18 Vid拓展公司 用于视频编码的分量间去相关

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Mismatch between text specification and reference software on chroma residual scaling when ACT is enabled;XIU and Xiaoyu etal;《Joint Video ExpertsTeam》;第1章节 *
Versatile Video Coding (Draft 9);BROSS, Benjamin et al;《oint Video ExpertsTeam (JVET)》;第70-79、175-189、341-342页 *

Also Published As

Publication number Publication date
JP2023523094A (ja) 2023-06-01
EP4158893A4 (en) 2023-11-22
WO2021252995A1 (en) 2021-12-16
CN115769584A (zh) 2023-03-07
KR20230010061A (ko) 2023-01-17
KR20240059002A (ko) 2024-05-07
MX2022015862A (es) 2023-01-30
KR20240059003A (ko) 2024-05-07
CN116614625A (zh) 2023-08-18
US20230109849A1 (en) 2023-04-13
KR102663297B1 (ko) 2024-05-14
EP4158893A1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
CN114710679B (zh) 视频编解码中的小色度块大小限制
US20220201301A1 (en) Methods and apparatus of video coding in 4:4:4 chroma format
CN115209139B (zh) 视频编解码中的预测模式信令
US20230109849A1 (en) Methods and apparatus of video coding in 4:4:4 color format
US20220303580A1 (en) Methods and apparatus of video coding in 4:4:4 chroma format
CN116320457A (zh) 以4:4:4色度格式进行视频编解码的方法和装置
CN116055737B (zh) 一种视频编码的方法、装置和介质
CN118118672A (zh) 一种视频解码的方法、装置和介质
CN118075461A (zh) 一种视频解码的方法、装置和介质
KR20240068073A (ko) 4:4:4 색 포맷의 비디오 코딩 방법 및 장치
CN115066903A (zh) 4：4：4色度格式视频编解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant