CN113728634A - 自适应环路滤波器(alf)参数的自适应参数集(aps) - Google Patents

自适应环路滤波器(alf)参数的自适应参数集(aps) Download PDF

Info

Publication number
CN113728634A
CN113728634A CN202080029522.8A CN202080029522A CN113728634A CN 113728634 A CN113728634 A CN 113728634A CN 202080029522 A CN202080029522 A CN 202080029522A CN 113728634 A CN113728634 A CN 113728634A
Authority
CN
China
Prior art keywords
parameter set
adaptive parameter
value
adaptive
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080029522.8A
Other languages
English (en)
Inventor
V.塞雷金
N.胡
M.Z.科班
M.卡尔切维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN113728634A publication Critical patent/CN113728634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

描述了用于自适应环路滤波器(ALF)参数的自适应参数集(APS)的技术。一个示例包括从比特流获得与NAL单元相关联的APS ID值和APS类型值。识别与至少一个图片的至少一部分相关联的第一APS,其中第一APS由APS类型值和APS标识符值的组合来唯一地识别,并且第一APS的APS标识符值在基于APS类型值的范围内。然后,使用具有参数的自适应环路滤波器重构该至少一个图片的该部分,该参数是由APS类型值和APS标识符值唯一地识别的第一APS定义的。

Description

自适应环路滤波器(ALF)参数的自适应参数集(APS)
技术领域
本申请涉及视频译码。例如,本申请涉及用于提供自适应环路滤波器 (ALF)参数的自适应参数集(APS)的系统、方法和计算机可读介质。
背景技术
许多设备和系统允许对视频数据进行处理和输出以供消费。数字视频数据包括大量的数据,以满足消费者和视频提供商的需求。例如,视频数据的消费者期望具有高的保真度、分辨率、帧速率等的最高质量的视频。因此,满足这些需求所需的大量视频数据给处理和存储视频数据的通信网络和设备带来了负担。
可以使用各种视频译码技术来压缩视频数据。根据一个或多个视频译码标准执行视频译码。例如,视频译码标准包括多功能视频译码(VVC)、高效视频译码(HEVC)、先进视频译码(AVC)、移动图片专家组(MPEG)译码等。视频译码通常利用利用视频图像或序列中存在的冗余的预测方法(例如,帧间预测、帧内预测等)。视频译码技术的一个重要目标是将视频数据压缩成使用较低比特率的形式,同时避免或最小化视频质量的降低。随着不断发展的视频服务变得可用,需要具有更高译码效率的编码技术。
发明内容
本文描述了用于改进视频处理的系统和方法。数字视频数据包括大量数据以满足消费者和视频提供商的需求,这给处理和存储视频数据的通信网络和设备带来了负担。视频处理的一些示例使用用于视频译码的自适应参数集 (APS)来通知编码和解码设备用于处理图片的一些部分的参数。比特流中的APS信令和存储器中的存储增加了视频处理系统的资源成本,考虑到网络和设备的负担,有效的资源使用是有价值的。本文描述的示例提高了具有 APS结构的视频处理网络和设备的性能,该APS结构允许提高信令效率、处理效率和存储器使用效率。
在一些示例中,APS由APS类型值和APS标识符值的组合来唯一地识别,这可以允许基于APS类型分配缓冲存储器。由于不同的APS类型可能具有不同数量的参数(例如,具有不同的存储器使用),APS类型值可以用于将缓冲器的存储器分配与APS精确匹配,避免了在APS类型未被识别并且共享缓冲器用于所有APS类型时可能发生的存储器空间浪费。在其他示例中,不同的APS类型可以具有不同数量的最大标识符值(例如,不同的标识符空间)。如果系统中的每个APS类型具有不同的最大标识符值,则可以从最大标识符值中识别APS类型,这可以提高设备确定APS类型的效率。在各种示例中,不同的最大标识符值也可以用于通过将信令与最大标识符值相匹配,而不是让所有APS类型使用相同的信令,来提高信令效率。
在一些示例中,可以提供指示亮度和色度滤波器的使用的标志,这些标志可以被独立地信令通知。在一些示例中,亮度滤波器和色度滤波器的存在的独立信令通过提高解析操作的效率来改善设备的操作。在一些示例中,独立标志信令还可以允许亮度和色度标志,其指示是要使用亮度还是色度滤波器,而不是指示参数是否存在。在一些示例中,当参数不与当前图片一起使用时,独立的标志信令通知可以允许参数的信令通知以供稍后的图片使用。
在本文呈现的示例的上下文中描述了另外的改进。
根据至少一个示例,提供了一种用于解码视频数据的装置。该装置包括存储器和在电路中实现的处理器。该处理器被配置为:从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集类型值;识别与至少一个图片的至少一部分相关联的第一自适应参数集,该第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及使用具有参数的自适应环路滤波器重构该至少一个图片的该部分,该参数是由自适应参数集类型值和自适应参数集标识符值唯一地识别的第一自适应参数集定义的。
在另一个示例中,提供了一种解码视频数据的方法。该方法包括:从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集类型值;识别与至少一个图片的至少一部分相关联的第一自适应参数集,该第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及使用具有参数的自适应环路滤波器重构该至少一个图片的该部分,该参数是由自适应参数集类型值和自适应参数集标识符值唯一地识别的第一自适应参数集定义的。
在另一个示例中,提供了一种用于译码视频数据的非暂时性计算机可读介质。该非暂时性计算机可读介质可以包括存储在其上的指令,当该指令由一个或多个处理器执行时,使得该一个或多个处理器:从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集类型值;识别与至少一个图片的至少一部分相关联的第一自适应参数集,该第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及使用具有参数的自适应环路滤波器重构该至少一个图片的该部分,该参数是由自适应参数集类型值和自适应参数集标识符值唯一地识别的第一自适应参数集定义的。
在另一个示例中,提供了一种用于解码视频数据的装置。该装置包括:用于从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集标识符值的部件;用于从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集类型值的部件;用于识别与至少一个图片的至少一部分相关联的第一自适应参数集的部件,该第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及用于使用具有参数的自适应环路滤波器重构该至少一个图片的该部分的部件,该参数是由自适应参数集类型值和自适应参数集标识符值唯一地识别的第一自适应参数集定义的。
在一些方面,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量是由自适应参数集类型值定义的。
在一些方面,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且其中,该多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联,标识符值的第二数量不同于标识符值的第一数量。在一些方面,自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。在一些方面,不同数量的比特用于不同类型的自适应参数集标识符。
在一些方面,上述方法、装置和计算机可读介质可以包括:确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集标识符值;确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集类型值;识别与该至少一个图片的至少第二部分相关联的第二自适应参数集,该第二自适应参数集由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别,其中第二自适应参数集的自适应参数集标识符值范围基于第二自适应参数集类型值;以及使用具有参数的自适应环路滤波器重构视频比特流的该至少一个图片的该至少第二部分,该参数是由第二自适应参数集类型值和和第二自适应参数集标识符值唯一地识别的第二自适应参数集定义的。
在一些方面,第二自适应参数集的自适应参数集标识符值和第一自适应参数集的自适应参数集标识符值是相同的值。在一些情况下,第一自适应参数集类型值是自适应环路滤波器亮度类型,第二自适应参数集类型值是自适应环路滤波器色度类型。
在一些方面,上述方法、装置和计算机可读介质可以包括识别与第一自适应参数集相关联的至少一个标志。该至少一个标志包括指示亮度滤波器数据被包括在第一自适应参数集中的第一标志或指示色度滤波器数据被包括在第一自适应参数集中的第二标志中的至少一个或多个。在一些情况下,第一标志的值和第二标志的值被独立设置。
在一些方面,上述方法、装置和计算机可读介质可以包括:为第一自适应参数集类型配置第一自适应参数集缓冲器;以及为第二自适应参数集类型配置第二自适应参数集缓冲器。
在一些方面,上述方法、装置和计算机可读介质可以包括:将具有第一自适应参数集类型的第一自适应参数集的接收比特存储在第一自适应参数集缓冲器中;以及将具有第二自适应参数集类型的第二自适应参数集的接收比特存储在第二自适应参数集缓冲器中。
在一些方面,上述方法、装置和计算机可读介质可以包括为多个自适应参数集类型中的第一自适应参数集类型配置第一缓冲器。该第一缓冲器具有小于最大标识符值的第一标识符设置范围。在一些方面,上述方法、装置和计算机可读介质可以包括为多个自适应参数集类型中的第二自适应参数集类型配置第二缓冲器。该第二缓冲器具有小于最大标识符值的第二标识符设置范围。第二标识符设置范围不同于第一标识符设置范围。
在一些方面,上述方法、装置和计算机可读介质可以包括使用自适应参数集类型值来解释自适应参数集标识符值。
在一些方面,第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,自适应参数集类型值和自适应参数集标识符值由比特流中的一系列连续比特表示。在一些示例中,比特流中的该一系列连续比特中的第一比特部分表示自适应参数集类型值,而比特流中的该一系列连续比特中的第二比特部分表示自适应参数集类型标识符值。在一些示例中,比特流中的该一系列连续比特中的第一比特部分表示自适应参数集类型标识符值,并且比特流中的第一比特部分之后的第二比特部分表示自适应参数集类型值。
在一些方面,第一自适应参数集包括亮度滤波器系数和色度滤波器系数。亮度滤波器系数与第二自适应参数集类型值相关联,色度滤波器系数与不同于第二自适应参数集类型值的第三自适应参数集类型值相关联。在一些情况下,亮度滤波器系数与亮度滤波器信令通知标志相关联,而色度滤波器系数与不同于亮度滤波器信令通知标志并且独立于亮度滤波器信令通知标志操作的色度滤波器信令通知标志相关联。
根据至少一个其他示例,提供了一种用于编码视频数据的装置。该装置包括处理器和在电路中实现的存储器。该装置被配置为:确定与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;确定与自适应参数集网络抽象层单元相关联的自适应参数集类型值;识别与所述至少一个图片的部分相关联的第一自适应参数集,该第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及生成比特流,该比特流包括编码的自适应参数集标识符值、自适应参数集类型值和该至少一个图片的该部分。
在另一个示例中,提供了一种编码视频数据的方法。该方法包括:确定与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;确定与自适应参数集网络抽象层单元相关联的自适应参数集类型值;识别与所述至少一个图片的部分相关联的第一自适应参数集,该第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及生成比特流,该比特流包括编码的自适应参数集标识符值、自适应参数集类型值和该至少一个图片的该部分。
在其他示例中,提供了一种用于译码视频数据的非暂时性计算机可读介质。该非暂时性计算机可读介质可以包括存储在其上的指令,当该指令被一个或多个处理器执行时,使得该一个或多个处理器:确定与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;确定与自适应参数集网络抽象层单元相关联的自适应参数集类型值;识别与至少一个图片的部分相关联的第一自适应参数集,该第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及生成比特流,该比特流包括编码的自适应参数集标识符值、自适应参数集类型值和该至少一个图片的该部分。
在另一个示例中,提供了一种用于编码视频数据的装置。该装置包括:用于确定与自适应参数集网络抽象层单元相关联的自适应参数集标识符值的部件;用于确定与自适应参数集网络抽象层单元相关联的自适应参数集类型值的部件;用于识别与至少一个图片的部分相关联的第一自适应参数集的部件,该第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及用于生成比特流的部件,该比特流包括编码的自适应参数集标识符值、自适应参数集类型值和该至少一个图片的该部分。
在一些方面,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量由自适应参数集类型值定义。
在一些方面,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且其中,该多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联,标识符值的第二数量不同于标识符值的第一数量。在一些方面,自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。在一些方面,不同数量的比特用于不同类型的自适应参数集标识符。
在一些方面,上述方法、装置和计算机可读介质可以包括:确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集标识符值;确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集类型值;识别与该至少一个图片的至少第二部分相关联的第二自适应参数集,该第二自适应参数集由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别,其中第二自适应参数集的自适应参数集标识符值范围基于第二自适应参数集类型值;以及在比特流中包括自适应环路滤波器的参数,该参数是由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别的第二自适应参数集定义的。可以使用具有参数的自适应环路滤波器来重构(例如,通过编码设备和/或解码设备)该至少一个图片的该至少第二部分,该参数是由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别的第二自适应参数集定义的。
在一些方面,第二自适应参数集的自适应参数集标识符值和第一自适应参数集的自适应参数集标识符值是相同的值。在一些情况下,第一自适应参数集类型值是自适应环路滤波器亮度类型,而第二自适应参数集类型值是自适应环路滤波器色度类型。
在一些方面,上述方法、装置和计算机可读介质可以包括为与第一自适应参数集相关联的至少一个标志设置值。该至少一个标志包括指示亮度滤波器数据被包括在第一自适应参数集中的第一标志或指示色度滤波器数据被包括在第一自适应参数集中的第二标志中的至少一个或多个。在一些情况下,第一标志的值和第二标志的值被独立设置。
在一些方面,第一自适应参数集由比特流中的一系列连续比特表示的自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别。在一些示例中,比特流中的该一系列连续比特中的第一比特部分表示自适应参数集类型值,而比特流中的该一系列连续比特中的第二比特部分表示自适应参数集类型标识符值。在一些示例中,比特流中的该一系列连续比特中的第一比特部分表示自适应参数集类型标识符值,而比特流中的第一比特部分之后的第二比特部分表示自适应参数集类型值。
在一些方面,第一自适应参数集包括亮度滤波器系数和色度滤波器系数。亮度滤波器系数与第二自适应参数集类型值相关联,而色度滤波器系数与不同于第二自适应参数集类型值的第三自适应参数集类型值相关联。在一些情况下,亮度滤波器系数与亮度滤波器信令通知标志相关联,色度滤波器系数与不同于亮度滤波器信令通知标志并且独立于亮度滤波器信令通知标志操作的色度滤波器信令通知标志相关联。
在一些方面,装置包括相机、移动设备(例如,移动电话或所谓的“智能手机”或其他移动设备)、可穿戴设备、扩展现实设备(例如,虚拟现实 (VR)设备、增强现实(AR)设备或混合现实(MR)设备)、个人计算机、膝上型计算机、电视、服务器计算机或其他设备。在一些方面,装置包括用于捕获一个或多个图像的一个或多个相机。在一些方面,装置包括显示器,用于显示一个或多个图像(例如,一个或多个重构图片)、通知和/或其他可显示数据。例如,装置可以包括显示器,该显示器被配置为显示至少一个图片(例如,在该至少一个图片被重构之后)。在另一个示例中,装置可以包括具有显示器的移动设备,该显示器被配置为显示至少一个图片(例如,在该至少一个图片被重构之后)。
本发明内容不旨在标识所要求保护的主题的关键或基本特征,也不旨在单独用于确定所要求保护的主题的范围。应通过参考本专利的整个说明书的适当部分、任何或所有附图和每项权利要求来理解主题。
在参考以下说明书、权利要求书和附图时,上述以及其他特征和实施例将变得更加显而易见。
附图说明
下面参考以下附图详细描述本申请的示例性示例:
图1是示出根据一些示例的编码设备和解码设备的示例的框图;
图2是示出用于执行本公开的技术的滤波器单元的示例实现方式的图。
图3是示出根据一些示例的可以由视频编码器在比特流中发送并由视频解码器接收的参数的不同示例的图。
图4是示出根据一些示例的用于三种自适应参数集(APS)类型的缓冲器的示例的框图。
图5是示出根据本文描述的各种示例的示例方法的流程图。
图6是示出根据本文描述的各种示例的示例方法的流程图。
图7是示出根据一些示例的示例视频编码设备的框图。
图8是示出根据一些示例的示例视频解码设备的框图。
具体实施方式
下面提供本公开的某些方面和示例。这些方面和示例中的一些可以独立地应用,并且它们中的一些可以组合应用,这对于本领域技术人员来说将是显而易见的。在下面的描述中,出于解释的目的,阐述了具体细节,以便提供对本申请的示例的透彻理解。然而,显而易见的是,可以在没有这些具体细节的情况下实践各种示例。附图和描述并不旨在限制。
随后的描述仅提供示例性示例,并不旨在限制本公开的范围、适用性或配置。相反,示例性示例的随后的描述将为本领域技术人员提供实现示例性示例的使能描述。应当理解,在不脱离如所附权利要求中阐述的本申请的精神和范围的情况下,可以对元件的功能和布置进行各种改变。
视频译码设备实现视频压缩技术以有效地编码和解码视频数据。视频压缩技术可包括应用不同的预测模式,包括空域预测(例如,帧之内的预测或帧内预测)、时域预测(例如,帧之间的预测或帧间预测)、层间预测(跨视频数据的不同层)和/或其他预测技术,以减少或移除视频序列中固有的冗余。视频编码器可以将原始视频序列的每个图片划分成称为视频块或译码单元的矩形区域(下面更详细地描述)。能够使用特定预测模式对这些视频块进行编码。
可以以一种或多种方式将视频划分为一组或多组较小的块。块可以包括译码树块、预测块、变换块和/或其他合适的块。除非另有规定,否则通常对“块”的引用可指这样的视频块(例如,译码树块、译码块、预测块、变换块或其他合适的块或子块,正如普通技术人员将理解的那样)。此外,这些块中的每一个在本文中还可以互换地称为“单元”(例如,译码树单元(CTU)、译码单元、预测单元(PU)、变换单元(TU)等)。在一些情况下,单元可以指示在比特流中编码的译码逻辑单元,而块可以指示过程所针对的视频帧缓冲器的一部分。
对于帧间预测模式,视频编码器可以在位于另一时域位置的帧(或图片) 中搜索与正在被编码的块相似的块,该帧被称为参考帧或参考图片。视频编码器可以将搜索限制为距要编码的块的确定的空域位移。在一些系统中,使用包括水平位移分量和垂直位移分量的二维(2D)运动矢量来定位最佳匹配。对于帧内预测模式,视频编码器可以基于来自同一图片内先前编码的相邻块的数据,使用空域预测技术来形成预测块。
视频编码器可以确定预测误差。例如,可以将预测确定为正被编码的块与预测块中的像素值之间的差。预测误差也可以被称为残差。视频编码器还可以对预测误差应用变换(例如,离散余弦变换(DCT)或其他合适的变换) 来生成变换系数。在变换之后,视频编码器可以对变换系数进行量化。在一些示例中,量化的变换系数和运动矢量是使用语法元素来表示的,并且与控制信息一起形成视频序列的译码的表示。在一些情况下,视频编码器可对语法元素进行熵译码,从而进一步减少用于其表示的比特数量。
视频解码器可以使用上面讨论的语法元素和控制信息,来构建用于解码当前帧的预测性的数据(例如,预测性的块)。例如,视频解码器可以将预测的块和压缩的预测误差相加。视频解码器可以通过使用量化的系数对变换基函数进行加权来确定压缩的预测误差。重构帧与原始帧之间的差被称为重构误差。
本文描述的技术可以应用于任何现有的视频译码器(例如,高效视频译码(HEVC)、先进视频译码(AVC)或其他合适的现有视频译码器),和/或可以是用于正在开发的任何视频译码标准和/或未来视频译码标准的有效译码工具,诸如,例如多功能视频译码(VVC)、联合探索模型(JEM)和/或正在开发或将要开发的其他视频译码标准。
图1是示出了包括编码设备104和解码设备112的系统100的示例的框图。编码设备104可以是源设备的一部分,并且解码设备112可以是接收设备的一部分。源设备和/或接收设备可以包括电子设备,例如移动或固定电话手持机(例如,智能手机、蜂窝电话等)、台式计算机、膝上型计算机或笔记本计算机、平板计算机、机顶盒、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备、互联网协议(IP)相机或任何其他合适的电子设备。在一些示例中,源设备和接收设备可以包括用于无线通信的一个或多个无线收发器。本文描述的编码技术适用于各种多媒体应用中的视频译码,多媒体应用包括流式视频传输(例如,通过互联网)、电视广播或传输、用于存储在数据存储介质上的数字视频的编码、存储在数据存储介质上的数字视频的解码或其他应用。在一些示例中,系统100可以支持单向或双向视频传输以支持诸如视频会议、视频流、视频回放、视频广播、游戏和/或视频电话之类的应用。
编码设备104(或编码器)可以用于使用视频译码标准或协议对视频数据进行编码以生成编码的视频比特流。视频译码标准的示例包括ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU- T H.263、ISO/IEC MPEG-4视觉、ITU-T H.264(也被称为ISO/IEC MPEG-4 AVC),包括其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展,以及HEVC或ITU-T H.265。存在处理多层视频译码的HEVC的各种扩展,包括范围和屏幕内容译码扩展、3D视频译码(3D-HEVC)和多视图扩展(MV- HEVC)以及可缩放扩展(SHVC)。HEVC及其扩展已经由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合协作团队(JCT-VC)以及3D视频译码扩展开发联合协作团队(JCT-3V)开发。MPEG和ITU-T VCEG还组建了联合探索视频团队(JVET),为下一代视频译码标准探索新的译码工具。参考软件被称为为JEM(联合探索模型)。由 JVET开发的新的视频编译码标准被称为多功能视频译码(VVC)。
2013年,ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组 (MPEG)的视频编码联合协作团队(JCT-VC)最终确定了HEVC。联合视频专家团队(JVET)(由MPEG和ITU-T研究组16的VCEG组成的合作团队)正在研究新的VVC视频编码标准。VVC的目标是在压缩性能上比现有的HEVC标准提供显著的改进,有助于部署更高质量的视频服务和新兴应用 (例如,360°全方位沉浸式多媒体、高动态范围(HDR)视频等)。
本文描述的许多示例提供了使用JEM模型、VVC、HEVC标准和/或其扩展的示例。然而,本文描述的技术和系统也可以适用于其他译码标准,例如AVC、MPEG、JPEG(或用于静态图像的其他译码标准)、其扩展或已经可用或尚未可用或开发的其他合适的译码标准。因此,尽管可以参考特定视频译码标准来描述本文描述的技术和系统,但本领域的普通技术人员将理解,不应将描述解释为仅适用于该特定标准。
参考图1,视频源102可以向编码设备104提供视频数据。视频源102 可以是源设备的一部分,或者可以是除源设备之外的设备的一部分。视频源 102可以包括视频捕获设备(例如,摄像机、相机电话、视频电话等)、包含存储的视频的视频档案、提供视频数据的视频服务器或内容提供商、从视频服务器或内容提供商接收视频的视频馈送接口、用于生成计算机图形视频数据的计算机图形系统、这些源的组合或任何其它合适的视频源。
来自视频源102的视频数据可以包括一个或多个输入图片或帧。图片或帧是静态图像,在一些情况下,其是视频的一部分。在一些示例中,来自视频源102的数据可以是不属于视频的一部分的静态图像。编码设备104的编码器引擎106(或编码器)对视频数据进行编码以生成编码的视频比特流。在一些示例中,编码的视频比特流(或“视频比特流”或“比特流”)是一系列一个或多个译码的视频序列。译码的视频序列(CVS)包括一系列接入单元(AU),其从具有基本层中的随机接入点图片并且具有某些属性的AU开始,直到并且不包括具有基本层中的随机接入点图片并且具有某些属性的下一AU。例如,启动CVS的随机接入点图片的某些属性可以包括RASL标志 (例如,NoRaslOutputFlag)等于1。否则,随机接入点图片(具有RASL标志等于0)不启动CVS。接入单元(AU)包括一个或多个译码的图片和与共享相同输出时间的译码的图片相对应的控制信息。图片的译码的条带在比特流级别被封装到称为网络抽象层(NAL)单元的数据单元中。例如,HEVC 视频比特流可以包括一个或多个包括NAL单元的CVS。每个NAL单元都有NAL单元头部。在一个示例中,头部对于H.264/AVC(除了多层扩展外) 是一个字节,对于HEVC是两个字节。NAL单元头部中的语法元素采用指定的比特,因此对所有类型的系统和传输层(例如传输流、实时传输(RTP) 协议、文件格式等)都是可见的。
HEVC标准中存在两类NAL单元,包括视频译码层(VCL)NAL单元和非VCL NAL单元。VCL NAL单元包括译码的图片数据的一个条带或条带片段(如下所述),并且非VCL NAL单元包括与一个或多个译码的图片相关的控制信息。在一些情况下,NAL单元可以被称为分组。HEVC AU包括包含译码的图片数据的VCL NAL单元和对应于该译码的图片数据的非VCL NAL单元(如果有的话)。
NAL单元可以包含形成视频数据的译码的表示的比特序列(例如,编码的视频比特流、比特流的CVS等),例如视频中图片的译码的表示。编码器引擎106通过将每个图片划分成多个条带来生成图片的译码的表示。条带独立于其他条带,使得条带中的信息在不依赖于来自同一图片内其他条带的数据的情况下被译码。条带包括一个或多个条带片段,条带片段包括独立条带片段和一个或多个依赖于先前条带片段的从属条带片段(如果存在)。随后条带被划分成亮度样点和色度样点的译码树块(CTB)。亮度样点的CTB和色度样点的一个或多个CTB,连同样点的语法,被称为译码树单元(CTU)。 CTU是HEVC编码的基本处理单元。CTU可以被分割成多个不同大小的译码单元(CU)。CU包含被称为译码块(CB)的亮度和色度样点阵列。
亮度和色度CB可以被进一步分割为预测块(PB)。PB是亮度分量或色度分量的样点块,其使用相同的运动参数进行帧间预测或帧内块复制预测 (当可用或为使用而启用时)。亮度PB和一个或多个色度PB连同相关联的语法一起,形成预测单元(PU)。对于帧间预测,在比特流中为每个PU信令通知运动参数的集合(例如,一个或多个运动矢量、参考索引等),并将该运动参数的集合用于亮度PB和一个或多个色度PB的帧间预测。运动参数也可以被称为运动信息。CB也可以被划分成一个或多个变换块(TB)。TB 表示在其上应用二维变换以对预测残差信号进行译码的颜色分量的正方形的样点块。变换单元(TU)表示亮度和色度样点的TB以及对应的语法元素。
CU的大小对应于译码模式的大小,并且可以是正方形的形状。例如, CU的大小可以是8×8样点、16×16样点、32×32样点、64×64样点、或者达到对应CTU的尺寸的任何其他合适的大小。短语“N×N”在本文中用于指代在垂直和水平维度方面,视频块的像素维度(例如,8像素×8像素)。块中的像素可以按行和列排列。在一些示例中,块在水平方向上可以不具有与在垂直方向上相同数量的像素。例如,与CU相关联的语法数据可以描述CU 到一个或多个PU的划分。在CU是帧内预测模式编码还是帧间预测模式编码之间,划分模式可以不同。PU可以被划分成非正方形的形状。例如,与 CU相关联的语法数据还可以描述根据CTU的CU到一个或多个TU的划分。TU可以是正方形或非正方形的形状。
根据HEVC标准,可以使用变换单元(TU)执行变换。针对不同的CU, TU可以变化。可以基于给定CU内的PU的大小来确定TU的大小。TU可以与PU大小相同或小于PU。在一些示例中,可以使用被称为残差四叉树 (RQT)的四叉树结构将对应于CU的残差样点细分为更小的单元。RQT的叶节可以对应于TU。可以变换与TU相关联的像素差值以产生变换系数。然后可以由编码器引擎106量化变换系数。
一旦视频数据的图片被划分成CU,编码器引擎106就使用预测模式来预测每个PU。然后从原始视频数据中减去预测单元或预测块以获取残差(如下所述)。对于每个CU,可以使用语法数据在比特流内信令通知预测模式。预测模式可以包括帧内预测(或图片内预测)或帧间预测(或图片间预测)。帧内预测利用图片内空域相邻样点之间的相关性。例如,使用帧内预测,从同一图片中的相邻图像数据预测每个PU,例如,使用DC预测来寻找PU的平均值、使用平面预测来将平面表面拟合到PU、使用方向预测来从相邻数据外推或使用任何其他合适类型的预测。帧间预测使用图片之间的时域相关性,以便推导出图像样点块的运动补偿的预测。例如,使用帧间预测,使用来自一个或多个参考图片(按输出顺序在当前图片之前或之后)中的图像数据的运动补偿预测来预测每个PU。例如,可以在CU级别做出是使用图片间预测还是使用图片内预测来对图片区域进行译码的决定。
在一些示例中,为图片的一个或多个条带分配条带类型。条带类型包括 I条带、P条带和B条带。I条带(帧内,可独立解码)是仅由帧内预测进行译码的图片的条带,并且因此是可独立解码的,因为I条带仅需要帧内的数据来预测该条带的任何预测单元或预测块。P条带(单向预测的帧)是可以用帧内预测和单向帧间预测进行译码的图片的条带。P条带内的每个预测单元或预测块用帧内预测或帧间预测进行译码。当应用帧间预测时,预测单元或预测块仅由一个参考图片预测,并且因此参考样点仅来自一帧的一个参考区域。B条带(双向预测性的帧)是可以用帧内预测和帧间预测(例如,双向预测或单向预测)进行译码的图片的条带。B条带的预测单元或预测块可以是从两个参考图片双向预测的,其中每个图片贡献一个参考区域,并且两个参考区域的样点集被加权(例如,具有相等的权重或具有不同的权重)以产生双向预测的块的预测信号。如上所述,一个图片的条带是独立译码的。在一些情况下,一个图片可被译码为仅一个条带。
如上所述,图片内预测利用图片内空域相邻样点之间的相关性。图片间预测使用图片之间的时域相关性,以便推导出针对图像样点块的运动补偿预测。使用平移运动模型,由运动矢量(Δx,Δy)指示块在先前解码的图片(参考图片)中的位置,其中相对于当前块的位置,Δx指定参考块的水平位移,而Δy指定参考块的垂直位移。在一些情况下,运动矢量(Δx,Δy)可以是整数样点精度(也被称为整数精度),在这种情况下,运动矢量指向参考帧的整数像素网格(或整数像素采样网格)。在一些情况下,运动矢量(Δx,Δy)可以是分数样点精度(也被称为分数像素精度或非整数精度),以更准确地捕获潜在的对象的移动,而不受限于参考帧的整数像素网格。运动矢量的精度可以由运动矢量的量化级别来表示。例如,量化级别可以是整数精度(例如,1像素)或分数像素精度(例如,1/4像素、1/2像素或其他子像素值)。当对应的运动矢量具有分数样点精度时,对参考图片应用插值以推导出预测信号。例如,可以对整数位置处可用的样点进行滤波(例如,使用一个或多个插值滤波器)以估计分数位置处的值。先前解码的参考图片由到参考图片列表的参考索引 (refIdx)指示。运动矢量和参考索引可以被称为运动参数。可以执行两种图片间预测,包括单向预测和双向预测。
对于使用双向预测的帧间预测,两个运动参数集合(Δx0,y0,refIdx0和Δx1,y1,refIdx1)用于生成两个运动补偿预测(来自同一参考图片或者可能来自不同的参考图片)。例如,对于双向预测,每个预测块使用两个运动补偿预测信号,并且生成B预测单元。然后将这两个运动补偿预测组合以得到最终的运动补偿预测。例如,可以通过求平均来组合两个运动补偿预测。在另一个示例中,可以使用加权预测,在这种情况下,可以对每个运动补偿预测应用不同的权重。可用于双向预测的参考图片存储在两个单独的列表(表示为列表0和列表1)中。可以使用运动估计过程在编码器处推导出运动参数。
对于使用单向预测的帧间预测,一个运动参数集合(Δx0,y0,refIdx0) 用于从参考图片生成运动补偿预测。例如,对于单向预测,每个预测块最多使用一个运动补偿预测信号,并且生成P预测单元。
PU可以包括与预测过程相关的数据(例如,运动参数或其他合适的数据)。例如,当使用帧内预测对PU进行编码时,PU可以包括描述PU的帧内预测模式的数据。作为另一示例,当使用帧间预测对PU进行编码时,PU 可以包括定义PU的运动矢量的数据。定义PU的运动矢量的数据可以描述,例如,运动矢量的水平分量(Δx)、运动矢量的垂直分量(Δy)、运动矢量的分辨率(例如,整数精度、四分之一像素精度或八分之一像素精度)、运动矢量指向的参考图片、参考索引、运动矢量的参考图片列表(例如,列表0、列表1或列表C)或其任何组合。
然后编码设备104可以执行变换和量化。例如,在预测之后,编码器引擎106可以计算对应于PU的残差值。残差值可以包括正在被译码的当前像素块(PU)和用于预测当前块的预测块(例如,当前块的预测版本)之间的像素差值。例如,在生成预测块(例如,使用帧间预测或帧内预测)之后,编码器引擎106可以通过从当前块减去由预测单元生成的预测块来生成残差块。残差块包括量化当前块的像素值与预测块的像素值之间的差的像素差值的集合。在一些示例中,可以以二维块格式(例如,像素值的二维矩阵或阵列)来表示残差块。在这样的示例中,残差块是像素值的二维表示。
使用块变换对在执行预测之后可能剩余的任何残差数据进行变换,块变换可以基于离散余弦变换、离散正弦变换、整数变换、小波变换、其他合适的变换函数或其任何组合。在一些情况下,可以对每个CU中的残差数据应用一个或多个块变换(例如,大小为32×32、16×16、8×8、4×4或其他合适的大小)。在一些示例中,TU可以用于由编码器引擎106实现的变换和量化过程。具有一个或多个PU的给定CU也可以包括一个或多个TU。如下面进一步详细描述的,可以使用块变换将残值变换成变换系数,然后可以使用TU 对其进行量化和扫描以产生用于熵译码的序列化变换系数。
在一些示例中,在使用CU的PU进行帧内预测性或帧间预测性译码之后,编码器引擎106可以计算CU的TU的残差数据。PU可以包括空域(或像素域)中的像素数据。在应用块变换之后,TU可以包括变换域中的系数。如前所述,残差数据可以对应于未编码的图片的像素与对应于PU的预测值之间的像素差值。编码器引擎106可以形成包括CU的残差数据的TU,然后可以变换TU以产生CU的变换系数。
编码器引擎106可以执行变换系数的量化。量化通过对变换系数进行量化来提供进一步的压缩以减少用于表示系数的数据量。例如,量化可以减少与一些或全部系数相关联的比特深度。在一个示例中,具有n比特值的系数可以在量化期间向下舍入到m比特值,其中n大于m。
一旦执行量化,译码的视频比特流包括量化的变换系数、预测信息(例如,预测模式、运动矢量、块矢量等)、划分信息和任何其他合适的数据(例如其他语法数据)。然后译码的视频比特流的不同元素可以由编码器引擎106 进行熵编码。在一些示例中,编码器引擎106可利用预定义的扫描顺序来扫描量化的变换系数以产生可以被熵编码的序列化矢量。在一些示例中,编码器引擎106可以执行自适应扫描。在扫描量化的变换系数以形成矢量(例如,一维矢量)之后,编码器引擎106可以对该矢量进行熵编码。例如,编码器引擎106可以使用上下文自适应可变长度译码、上下文自适应二进制算术译码、基于语法的上下文自适应二进制算术译码、概率间隔划分熵译码或另一合适的熵编码技术。
编码设备104的输出110可以通过通信链路120将构成编码的视频比特流数据的NAL单元发送到接收设备的解码设备112。解码设备112的输入 114可以接收NAL单元。通信链路120可以包括由无线网络、有线网络或有线和无线网络的组合提供的信道。无线网络可以包括任何无线接口或无线接口的组合,并且可以包括任何合适的无线网络(例如,因特网或其他广域网、基于分组的网络、WiFiTM、射频(RF)、UWB、WiFi-直接、蜂窝、长期演进 (LTE)、WiMaxTM等)。有线网络可包括任何有线接口(例如,光纤、以太网、电力线以太网、同轴电缆上的以太网、数字信号线(DSL)等)。可以使用各种装备(例如基站、路由器、接入点、网桥、网关、交换机等)来实现有线网络和/或无线网络。可以根据诸如无线通信协议之类的通信标准来调制编码的视频比特流数据,并将其发送到接收设备。
在一些示例中,编码设备104可以将编码的视频比特流数据存储在存储 108中。输出110可从编码器引擎106或从存储108检索编码的视频比特流数据。存储108可以包括各种分布式或本地访问的数据存储介质中的任何一种。例如,存储108可以包括硬盘驱动器、存储盘、闪存、易失性或非易失性存储器、或者用于存储编码的视频数据的任何其他合适的数字存储介质。
解码设备112的输入114接收编码的视频比特流数据,并且可以将视频比特流数据提供给解码器引擎116,或者提供给存储118以供解码器引擎116 稍后使用。解码器引擎116可以通过熵解码(例如,使用熵解码器)和提取构成编码的视频数据的一个或多个译码的视频序列的元素来解码编码的视频比特流数据。然后解码器引擎116可以对编码的视频比特流数据重新缩放并且执行逆变换。然后,残差数据被传递到解码器引擎116的预测阶段。然后,解码器引擎116预测像素块(例如,PU)。在一些示例中,预测被加到逆变换的输出(残差数据)。
解码设备112可以将解码的视频输出到视频目的设备122,视频目的设备122可以包括用于向内容的消费者显示解码的视频数据的显示器或其他输出设备。在一些方面中,视频目的设备122可以是包括解码设备112的接收设备的一部分。在一些方面中,视频目的设备122可以是除接收设备之外的单独设备的一部分。
在一些示例中,视频编码设备104和/或视频解码设备112可以分别与音频编码设备和音频解码设备集成。视频编码设备104和/或视频解码设备 112还可以包括实现上述译码技术所必需的其他硬件或软件,例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码设备104和视频解码设备112可以被集成为相应设备中的组合编码器/解码器 (译码器)的一部分。下面参考图7描述编码设备104的具体细节的示例。下面参考图8描述解码设备112的具体细节的示例。
HEVC标准的扩展包括多视图视频译码扩展(被称为MV-HEVC)和可缩放视频译码扩展(被称为SHVC)。MV-HEVC和SHVC扩展共享分层译码的概念,其中在编码的视频比特流中包括不同的层。译码的视频序列中的每一层都由唯一的层标识符(ID)寻址。层ID可以存在于NAL单元的头部中,以识别与NAL单元相关联的层。在MV-HEVC中,不同的层可以表示视频比特流中同一场景的不同视图。在SHVC中,提供了不同的可缩放层,其以不同的空域分辨率(或图片分辨率)或以不同的重构保真度表示视频比特流。可缩放层可以包括基本层(层ID=0)和一个或多个增强层(层ID= 1、2、…n)。基本层可以符合HEVC的第一版本的简档(profile),并且表示比特流中的最低可用层。与基本层相比,增强层具有增加的空域分辨率、时域分辨率或帧速率和/或重构保真度(或质量)。增强层是按层次组织的,并且可以(或可以不)依赖于较低的层。在一些示例中,可以使用单个标准译码器对不同层进行译码(例如,使用HEVC、SHVC或其他译码标准对所有层进行编码)。在一些示例中,可以使用多标准译码器对不同层进行译码。例如,可以使用AVC对基本层进行译码,而可以使用HEVC标准的SHVC和 /或MV-HEVC扩展对一个或多个增强层进行译码。
通常,层包括VCLNAL单元集合和对应的非VCLNAL单元集合。NAL 单元被分配特定的层ID值。从层可以依赖于较低层的意义上讲,层可以是按层次的。层集是指在比特流中表示的包含自身的层的集合,这意味着层集中的层可以依赖于解码过程中的层集中的其他层,但不依赖于任何其他层进行解码。因此,层集中的层可以形成可以表示视频内容的独立比特流。层集中的层的集合可以通过子比特流提取过程的操作从另一个比特流获取。层集可以对应于解码器想要根据某些参数进行操作时要解码的层集合。
如前所述,HEVC比特流包括一组NAL单元,该组NAL单元包括VCL NAL单元和非VCLNAL单元。VCLNAL单元包括形成译码的视频比特流的译码的图像数据。例如,形成译码的视频比特流的比特序列存在于VCL NAL单元中。除了其他信息之外,非VCLNAL单元可以包含具有与编码的视频比特流相关的先进别信息的参数集。例如,参数集可以包括视频参数集(VPS)、序列参数集(SPS)和图片参数集(PPS)。参数集的目标示例包括比特率效率、错误恢复能力和提供系统层接口。每个条带参考单个活动的PPS、 SPS和VPS来访问解码设备112可以用于解码条带的信息。可以为每个参数集译码标识符(ID),包括VPS ID、SPS ID和PPSID。SPS包括SPS ID 和VPS ID。PPS包括PPS ID和SPS ID。每个条带头部都包括PPS ID。使用ID,可以为给定的条带识别活动参数集。
PPS包含适用于给定图片中所有条带的信息。正因为如此,图片中的所有条带都参考同一个PPS。不同图片中的条带也可能参考相同的PPS。SPS 包括适用于同一译码的视频序列(CVS)或比特流中所有图片的信息。如前所述,译码的视频序列是一系列接入单元(AU),其开始于基本层中的随机接入点图片(例如,瞬时解码参考(IDR)图片或断链接入(BLA)图片,或其他适当的随机接入点图片),并且具有某些属性(如上所述),直到并且不包括在基本层中具有随机接入点图片并且具有某些属性(或比特流的结尾) 的下一个AU。SPS中的信息在译码的视频序列中可以不因图片改变而改变。译码的视频序列中的图片可以使用相同的SPS。VPS包括适用于译码的视频序列或比特流内所有层的信息。VPS包括语法结构,其语法元素适用于整个译码的视频序列。在一些示例中,VPS、SPS或PPS可以与译码比特流一起被带内传输。在一些示例中,VPS、SPS或PPS可以在与包含译码的视频数据的NAL单元不同的单独传输中被带外传输。
视频比特流还可以包括补充增强信息(SEI)消息。例如,SEI NAL单元可以是视频比特流的一部分。在一些情况下,SEI消息可以包含解码过程不使用的信息。例如,SEI消息中的信息对于解码器解码比特流的视频图片可能不是必需的,但是解码器可以使用该信息来改善图片的显示或处理(例如,解码的输出)。SEI消息中的信息可以是嵌入的元数据。在一个说明性示例中,解码器侧实体可以使用SEI消息中的信息来提高内容的可视性。在一些情况下,某些应用标准可能要求在比特流中存在这样的SEI消息,使得质量的提高可以被带到符合应用标准的所有设备(例如,用于帧兼容的平面立体3DTV视频格式的帧打包SEI消息的携带,其中针对视频的每一帧携带 SEI消息,恢复点SEI消息的处理,在DVB中平移扫描矩形SEI消息的使用,以及许多其他示例)。
图2示出了滤波器单元91的示例实现方式,该滤波器单元91可以如下文在图7和图8中描述的那样使用。滤波器单元63可以以相同的方式实现。滤波器单元63和91可以执行本公开的技术,可能结合视频编码设备104或视频解码设备112的其他组件来执行。在其他示例中,滤波器单元63可以是后处理单元,其可以在例如视频解码器设备112之外(例如,在解码的视频从视频解码器设备112输出之后)执行本公开的技术。在图2的示例中,滤波器单元91包括去块滤波器202、样点自适应偏移(SAO)滤波器204和自适应环路滤波器(ALF)/基于几何变换的自适应环路滤波器(GALF)滤波器206。例如,SAO滤波器204可被配置为确定块的样点的偏移值。 ALF/GALF滤波器206可以被配置为,例如,基于包括在与当前块相同的自适应参数集(APS)、不同的APS或预定义滤波器中的、用于滤波前一块的参数,来确定用于滤波当前块的参数。如下所述,一个或多个APS可以包括在编码的视频比特流中,并且可以携带滤波器系数以及其他信息。
滤波器单元91可以包括比图2所示的滤波器更少的滤波器和/或可以包括额外的滤波器。此外,图2所示的特定滤波器可以以不同的顺序来实现。 (在译码环路中或在译码环路之后的)其他环路滤波器也可以用于平滑像素转变或以其他方式提高视频质量。当在译码环路中时,给定的帧或图片中的解码的视频块然后被存储在解码图片缓冲器(DPB)中,该解码图片缓冲器存储用于后续运动补偿的参考图片。DPB可以是附加存储器的一部分或者与附加存储器分离,该附加存储器存储解码的视频以便稍后在显示设备(例如图1的视频目的地设备122的显示器)上呈现。
如上所述,APS可用于携带比特流中的滤波器系数。APS可以有相关联的类型,诸如ALF类型或LMCS类型。APS可以包含亮度滤波器参数的集合或色度滤波器参数的一个或多个集合,或其组合。片组(即,一个或多个片(tile)的组)可以在其片组头部中仅信令通知用于当前片组的APS的索引。APS可用于各种视频译码标准,例如VVC。目前在VVC使用的APS多达8个,然而,未来在VVC或其他视频译码标准中可能使用更多或更少的APS。
在一些示例中(例如,在某些VVC实现方式中,例如VVC草案7(JVET- P2001)),自适应环路滤波器(ALF)在ALF APS中被信令通知。一个ALF 可以包含亮度滤波器的集合和/或色度滤波器的集合。每个亮度滤波器集可以具有多个滤波器(例如,10个滤波器、20个滤波器、多达25个滤波器等)。每个色度滤波器集也可以具有多个滤波器(例如,10个滤波器、多达8个滤波器、15个滤波器等)。亮度译码树块可以参考ALF APS,并且可以使用亮度滤波器集。色度译码树块可以参考ALF APS,并且可以使用色度滤波器集中的一个色度滤波器。
图3示出了比特流300,并且示出了可以在比特流300中传输的参数的不同示例。在一个示例中,参数可以由视频编码器设备104传输,并由视频解码器设备112接收。如本文所述,比特流不仅包括作为APS一部分的这些参数,还包括图片数据(例如,视频数据或图像数据)和其他数据。比特流 300包括SPS 302、PPS 304、APS 306、APS 316、条带头部320和条带数据 330。比特流300的图片还可以包括图片头部,该图片头部包括与图片相关的信息。这些元素的细节已在上文描述。
在这样的比特流300中,每个APS与APS NAL单元相关联。作为比特流的一部分发送的与APS NAL单元相关联的APS可以包括由图3的APS 306示出的一些或全部以下内容:(1)APS标识值(ID),(2)任何APS类型值,(3)类型数据(例如,alf_luma_data(),alf_chroma_data(),或者在如下表所示的其他示例中的任何其他这样的数据),(3a)每个APS类型的类型标志(例如,alf_luma flag(s)和alf_chroma flag(s))。APS ID可以存在于图片头部中、图片条带的条带头部中,或者存在于图片头部和条带头部两者中。 APS数据的附加细节以及相关联的条带头部和参考APS数据的条带数据将在下面详细描述。例如,下面描述了关于使用APS ID和APS类型值来唯一地识别特定APS的细节,以及支持与该识别相关联的结构和过程,以改进用于译码和解码的系统和设备的操作(例如,使用APS类型特定的缓冲器)。
除了以上,如图3的条带头部320进一步所示,发送的每个APS可以从相关联的条带头部320中参考。条带头部可以包括条带图片参数集ID以及各种APS的标志。这可以包括类型特定的标志,例如图示的ALF启用标志以及亮度和色度子标志。如图所示,对于ALF类型,可以对(4)SPS类型(例如,ALF、LMCS等)启用标志进行解析以识别何时要处理(4a)条带类型启用标志。如示例所示,如果条带类型启用标志存在(例如,被标志、为真等),则对相关联的(4)(a)(i)APS类型亮度ids和(4)(a)(ii)APS类型色度 ids的单独标志进行处理。下面提供了这些标志的具体细节和描述。
上述比特流300参数可以用于实现前面讨论的一些滤波器信息信令技术。如上所述,自适应参数集(APS)用于信令通知自适应环路滤波器(ALF) 和采用色度缩放的亮度映射(LMCS)参数。在一些示例中,APS也可以用于信令通知缩放矩阵(例如,作为scaling_APS语法元素)。虽然下面的示例描述了ALF类型APS的方面(例如,num_alf_luma_aps_ids),但是显而易见的是,这样的结构和相关联的过程可以与任何APS类型一起使用。在一些情况下,在视频译码中使用自适应环路滤波,以通过使用自适应滤波器来最小化原始样点与解码的样点之间的均方误差,该自适应滤波器可以是基于维纳(Wiener)的自适应滤波器或其他合适的自适应滤波器。ALF是一种环路滤波器。除了贯穿整个说明书之外,在下面关于图7和图8对环路滤波器进行了描述。在现有视频译码方案的一些示例中,如下对APS进行信令通知:
Figure BDA0003308188390000221
表1 其中参数类型被信令通知为:
Figure BDA0003308188390000231
表2
在这样的示例中,存在标识APS的五比特adaptation_parameter_set_id字段,以及描述APS参数类型的三比特aps_params_type(例如,它是否包含与ALF相关的参数、与缩放矩阵相关的参数或与LMCS相关的参数)。然后,下面表3的alf_data()函数包含用于亮度和色度ALF滤波器两者的ALF 参数。如表1中所示,aps_params_type包括具有针对不同类型的值的 alf_luma_data()和alf_chroma()数据。因此,根据表1,可以在APS参数集中信令通知不同的类型。上面说明的一个示例包括一种亮度参数类型和一种色度参数类型。在其他示例中,可以存在各种不同的类型,包括多种亮度和色度类型。在一些示例中,为每个APS类型信令通知APS ID,APS类型可以是LMCS类型、ALF类型或一些其他类型。此外,不同的类型可以有相关联的ID,使得ID值为0的ALF类型不同于ID值为0的LMCS类型。虽然表 2显示了特定范围或值空间中的3个aps_params_type值(例如,0、1和2,具有不同的对应名称),保留了值3到7,但是在各种其他示例中,可以使用不同的值范围(例如,值空间)或最大值,以及附加的或不同的类型。在一些示例中,该APS类型特定的ID允许通过类型值和ID值的组合来唯一地识别信息。
此外,在一些示例中,该APS类型特定的ID允许最大值与APS类型相关联,并且每个类型可以具有不同数量的APS。在一些这样的示例中,最大 ID值因此是基于APS类型的。然后,APS开销可以与APS类型值相关联 (例如,2比特用于从0到3的最大ID值范围,3比特用于从0到7的最大 ID值范围,等等)。该最大ID值范围也可以被认为是对可以信令通知多少个ID的控制,用带有限制的码字来标识某个范围的APS集。因此,如上所述,在一些示例中,APS的最大数量由类型定义(例如,在类型特定的基础上),并且然后APS类型可以用于识别与APS类型相关联的最大标识值就是这样的示例。
上面的表1中使用了Alf_data()。下面的表3根据一些示例如下说明了 alf_data()函数的各个方面:
Figure BDA0003308188390000241
Figure BDA0003308188390000251
表3
表4是条带头部()数据的示例,其中APS(例如APS 306)可以通过使用slice_alf_aps_id[]标志在条带头部(例如条带头部320)中被参考如下。
Figure BDA0003308188390000252
Figure BDA0003308188390000261
表4
在一些示例中,用于亮度和色度分量的ALF滤波器参数在alf_data()中被捆绑在一起,并且由单个adaptation_parameter_set_id来参考(例如,作为图3的APS 306的一部分被参考)。然而,存在只有亮度或色度ALF滤波器参数要被更新的情况。在APS中分离亮度和色度ALF参数信令可能更好,并且只有要被更新的参数集(例如亮度和/或色度)可以由译码器发送以供解码器利用。
描述了用于为滤波器参数(例如,用于ALF滤波器、SAO滤波器、去块滤波器和/或其他滤波器)提供改进的APS的系统、方法、装置和计算机可读介质。在一些示例中,比特流可以包括用于亮度和色度滤波器两者的参数。然后一些示例可以包括各自用于亮度和色度滤波器的单独标志。例如,一个标志可以信令通知亮度滤波器参数的包含,而单独的标志可以指示色度滤波器标志的包含,这允许亮度和色度滤波器以及滤波器集的滤波器系数被分别信令通知。例如,可以在APS中用亮度和色度ALF滤波器的单独标志来分离亮度和色度ALF参数信令。
例如,一个标志可以被表示为alf_luma_filter_signaled,其指示亮度滤波器是否在APS中,而另一个标志可以被表示为alf_chroma_filter_signaled,其指示色度滤波器是否在APS中。这两个标志的信令通知可以是独立的,其中一个标志的信令通知独立于另一个标志的信令通知。在一个示例中,一个APS可以包含亮度和色度滤波器两者(例如,两个标志都为真)。在另一个示例中,一个APS仅包括一个或多个亮度滤波器而没有色度滤波器(例如, alf_luma_filter_signaled为真,alf_chroma_filter_signaled为假)。在另一个示例中,一个APS仅包括一个或多个色度滤波器,而没有亮度滤波器(例如, alf_luma_filter_signaled为假,alf_chroma_filter_signaled为真)。在一些情况下,以互斥的方式信令通知APS中的亮度和色度ALF类型,在这种情况下,只能存在其中的一种。因此,如上所述,当比特流包括标志时,针对该标志的相关参数解析比特流。类似地,如果不同类型也具有指示正在使用的类型的标志,则针对第二类型的参数解析比特流。如果亮度和色度的标志都被信令通知,则针对两个滤波器的参数解析比特流。在各种实现方式中,当亮度和色度标志被单独地信令通知时,仅针对被标志为存在的参数解析比特流。这种亮度和色度标志的单独信令通知通过限制用于识别和使用滤波器参数的操作,改善了执行解析的设备的操作。在一些示例中,标志并不控制APS 类型的系数是否存在,而是控制它们是否被使用。因此,可以为未来的图片信令通知系数。在这样的示例中,系数与滤波器是否被应用是分开的,因为系数可以与不使用相关联的滤波器类型的图片一起被发送,但是系数然后可以被用于滤波后面的图片的一个或多个部分。通过分离滤波器类型,包括额外的信令操作以改善译码和解码设备的操作。
在一个示例中,ALF的APS类型可以不被信令通知,而是可以被推断或导出。例如,如果已知ALF系数的数量,那么当每种类型的系数的数量为唯一时,可以从系数的数量推断或导出APS类型。在一个示例中,亮度ALF 可以使用一数量的滤波器系数,而色度ALF可以使用另一数量的滤波器系数。如果对于不同的亮度和色度ALF类型,系数的数量是不同的,则可以基于系数的数量来确定包括在比特流中的系数是用于亮度还是色度,而无需比特流中显式的APS类型信令。
基于上述技术,APS参数集语法(adaptation_parameter_set_rbsp())可以被修改如下:
Figure BDA0003308188390000271
Figure BDA0003308188390000281
表5
其中
Figure BDA0003308188390000282
表6
alf_luma_data()可以包括:
Figure BDA0003308188390000283
Figure BDA0003308188390000291
表7
相关联的APS可以从条带头部中参考如下:
Figure BDA0003308188390000292
Figure BDA0003308188390000301
表8
在一些示例中,例如在图3的条带头部320的示例中,与上面表中的语法相关联的语义可以如下:
num_alf_luma_aps_ids指定条带参考的亮度ALF APS的数量。 num_alf_luma_aps_ids的值应在0到maxNum的范围内(包括0和 maxNum)。对于IRAP或图片内类型,maxNum值应等于1,否则为7。
slice_alf_luma_aps_id[i]指定条带参考的第i个ALF APS的 adaptation_parameter_set_id。具有等于slice_alf_luma_aps_id[i]的adaptation_parameter_set_id的ALF APS NAL单元的TemporalId应小于或等于译码的条带NAL单元的TemporalId。如果当前图片是IRAP或帧内的,则slice_alf_luma_aps_id[i]不应参考针对其他图片而不是当前图像导出的APS。
num_alf_chroma_aps_ids指定条带参考的色度ALF APS的数量。 num_alf_chroma_aps_ids的值应在0到maxNum的范围内(包括0和 maxNum)。对于IRAP或图片内类型,maxNum值应等于1,否则为7。
slice_alf_chroma_aps_id[i]指定条带参考的第i个ALF APS的 adaptation_parameter_set_id。具有等于条带slice_alf_chroma_aps_id[i]的 adaptation_parameter_set_id的ALF APS NAL单元的TemporalId应小于或等于译码的条带NAL单元的TemporalId。
如果当前图片是IRAP,则Slice_alf_luma_aps_id[i]不应参考针对其他图片而不是当前图片导出的APS。
在一些情况下,num_alf_chroma_aps_ids不被信令通知,并且可以被推断为1。在一个示例中,当最大值为1时,例如,对于帧内随机接入图片(IRAP) 或图片内类型图片,当alf_chroma_idc>0时,num_alf_chroma_aps_ids不被信令通知,并且可以被推断为等于1。
在一些情况下,当针对亮度ALF和色度ALF参数分割APS类型时,当 num_alf_chroma_aps_ids的最大值为1时,例如,对于IRAP或图片内类型图片,当num_alf_luma_aps为1时,slice_alf_chroma_aps_id[i]不被信令通知,并且被推断为slice_alf_luma_aps_id[0]。
在一些情况下,当具有相同adaptation_parameter_set_id值的多个ALF APS被同一图片的两个或更多个条带参考时,具有相同 adaptation_parameter_set_id值的多个ALF APS可以或应当具有相同的内容。相比之下,其他类型可以具有相同的ID,但是当类型值(例如,ALF类型、 LMCS类型等)不同时,内容不同。
关于num_alf_chroma_aps_ids语法元素,maxNum等于7用作说明性示例。在一些情况下,可以为maxNum指定其他值。在一个示例中,最大值可以等于APS缓冲器的大小(例如,APS的最大允许数量)。
在一些示例中,当图片是IRAP(例如,具有IRAP图片类型)时,则该图片不能使用在一个或多个先前图片中使用的ALF滤波器,因为IRAP图片可能是解码过程中的起始点,并且关于一个或多个先前图片的信息可能不可用。这就是上面语义中对于IRAP图片将maxNum设置为1的原因。在一些情况下,将maxNum设置为1可能是不够的,因为仍然可以信令通知任何ID,包括先前图片APS的ID。为了解决这样的问题,可以添加译码器约束,使得对于IRAP图片,APS ID不应该参考针对一个或多个先前图片或从一个或多个先前图片导出的APS。这样的约束也可以应用于I_SLICE_TYPE。
如本文所述,num_alf_chroma_aps_ids和slice_alf_chroma_aps_id[i]支持用于色度的多个APS。在色度CTB中,可以信令通知APS索引i来识别 slice_alf_chroma_aps_id[i]。
在一个示例中,可以以与针对亮度所做的相似方式来执行该色度CTB信令通知,以信令通知是否使用第一APS(例如,slice_alf_chroma_aps_id[0]) 的标志,并且如果不使用,则信令通知APS索引减1。相对于VVC的修改的一个说明性示例如下所示,其中在“<插入>”和“<插入结束>”符号之间添加了带下划线的文本(例如“<插入>添加的文本<插入结束>”):
Figure BDA0003308188390000321
Figure BDA0003308188390000331
表9
上面和下面示出了相对于VVC语义的修改的一个说明性示例,其中添加用<插入>和<结束插入>符号之间的文本来说明(例如,“<插入>添加的文本<插入结束>”)。例如,在上面的表9中,相对于VVV语义的变化如下:
<插入>alf_chroma_ctb_use_first_aps_flag等于1指定使用具有等于slice_ alf_aps_id_chroma[0]的adaptive_parameter_set_id的APS中的滤波器信息。alf_ chroma_ctb_use_first_aps_flag等于0指定色度CTB不使用具有等于slice_alf_aps_id_ chroma[0]的adaptive_parameter_set_id的APS中的滤波器信息。当alf_chroma_ctb_use_ first_aps_flag不存在时,它被推断为等于1。
alf_chroma_prev_filter_idx_minus1加1指定应用于色度CTB的前一个滤波器。 alf_chroma_prev_filter_idx_minus1的值应在0到slice_num_alf_aps_ids_chroma-2的 范围内(包括0和slice_num_alf_aps_ids_chroma-2)。
表9中的AlfCtbFiltSetIdxC[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]是指定 位置(xCtb,yCtb)处色度Ctb的滤波器集索引的变量。在一些示例中,该滤波器集索引可以 被如下导出:
AlfCtbFiltSetIdxC[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]=alf_ctb_ chroma_use_first_aps_flag?0:alf_chroma_prev_filter_idx_minus1+1< 插入结束>
在一些示例中,当应用色度ALF时,从在CTB中信令通知的索引导出 APS ID如下:
<插入>i=<插入结束>
slice_alf_aps_id_chroma[AlfCtbFiltSetIdxC[xCtb>>Log2CtbSize][yCtb >>Log2CtbSize]]
f[j]=AlfCoeffC[<插入>i<插入结束>][j](8-1255)(f[j]= AlfCoeffC[i][j],不带强调)
c[j]=AlfClipC[<插入>i<插入结束>][j](8-1256)(c[j]= AlfClipC[i][j],不带强调)
在另一个替代的示例中,针对CTB仅信令通知APS索引。在上面的示例中,num_alf_chroma_aps_ids和slice_alf_chroma_aps_id[i]由所有色度分量共享。替代地,每个色度分量可以有自己的num_alf_chroma_aps_ids和/或 slice_alf_chroma_aps_id[i]。可以用不同的方式构建其他示例。
在又一示例中,色度CTB APS索引和/或第一APS使用标志的信令对于两个色度分量是共享的。在另一个示例中,按每个色度分量来信令通知APS 索引和/或第一APS使用标志。在一些示例中,上下文可以由两个色度分量共享。在一些示例中,一个色度分量有它自己的上下文。
在另一个示例中,为两个色度分量信令通知第一APS使用标志,但是按每个色度分量来信令通知APS索引,或者反之亦然(例如,每分量信令通知第一APS使用标志,但是APS索引是共享的)。在后一种情况下,可以共享 APS索引,除非色度(例如Cb或Cr)分量使用第一APS,在这种情况下,无论APS索引值如何,都会使用第一APS。
在又一示例中,信令通知标志,针对色度分量上述信令是共享的(例如,应用于两个色度分量)还是不共享的(例如,针对每个色度分量单独进行信令通知)。序列、图片、条带、片、片组、砖块标志和/或其他信令可以被信令通知,以指示该信令是否被共享。
在一些情况下,APS ID可以被扩展。例如,APS中的信息可以与一种或多种类型相关联,诸如LMCS类型、ALF亮度类型、ALF色度类型等。当使用更多类型时,可以增加APS缓冲器的数量,但是它也增加了APS ID 信令,例如可以被扩展到6比特(例如使用0到63范围内的ID值)或覆盖 0到127范围的7比特。在各种示例中,这种状况导致在信令中使用更多的比特来指示在条带、片和/或图片中使用哪些APS ID,因为APS ID没有考虑 APS类型,这是不期望的。
在一些示例中,定义了可以使用某种类型的APS ID的最大数量。在一个示例中,对于所有类型,APS ID的最大数量可以相等。然后,信令通知 APS ID和APS类型,考虑APS类型来信令通知APS ID,因此最大值控制 APS ID开销。在其他示例中,对于不同的类型,APS ID的最大数量可以不同。
在其中对于不同APS类型APS ID是单独的一些实现方式中,可以使用单独的APS缓冲器来存储每个APS类型的APS。由APS ID指定的APS更新和替换可以考虑APS类型来执行。例如,当具有ID的APS正在替换缓冲器中已存在的APS时,检查APS的类型,以识别使用的是哪个缓冲器。在一些情况下,不同的APS类型可以使用相同的APS ID,这在使用APS ID而不考虑APS类型时是不可能的。图4示出了3种类型的APS缓冲器的示例。每个缓冲器都有从0到最大数量的ID,这可以取决于APS的类型。
当从比特流中识别类型值时,遵循类型值和相关联的信令来识别比特流中的分量的条件。例如,当设备正在查看APS类型值的缓冲表时,传递相关联的APS值,这可以允许缓冲表和比特流数据的解析与APS类型值相匹配。然后基于APS类型(例如,针对ALF或LMCS的解析数据)来执行比特流的解析。
图4描述了缓冲器400,其包括APS类型1缓冲器410、APS类型2缓冲器420和APS类型3缓冲器430。虽然在图4中示出了三个不同的缓冲器,但是各种示例可以具有任意数量的不同缓冲器,这些缓冲器被定制为将信令通知的数据(例如,比特流中的数据)与APS类型相匹配,并且改善相关联的系统和设备操作。这种缓冲器允许信令数据中存在的APS与基于APS类型的缓冲器相匹配,并且可以通过避免在缓冲器与信令通知的数据(例如,具有特定大小和相关联的存储器使用的、特定类型的APS)不匹配的情况下浪费资源来改进编码和解码设备。例如,存在两种类型,LMCS类型和ALF 类型。在示例中,只使用了一个LMCS参数集,以及一个相关联的ID,但是与八个不同的APS相关联地使用了八个APS ID。LMCS的开销是类型值和一比特ID值,而ALF的开销是类型值和三比特ID值(例如,考虑到八个ALF ID)。在这样的系统中,APS类型1缓冲器410可以与LMCS数据匹配,APS类型2缓冲器420可以与ALF数据匹配。因此,开销可以与不同的APS类型相匹配。
当在比特流中的图片(和/或在图片的图片头部中)的条带数据(例如,条带头部320和条带数据330)中信令通知APS ID时,包括APS ID的数据指示在特定条带中使用了哪些APS ID。在一些示例中,APS ID的指示可以允许系统基于ID范围(例如,标识符空间)来考虑APS类型,因为APS类型与APS类型的ID的最大数量相匹配(例如,当每个APS类型具有与系统中其他APS类型不同的标识符空间时)。当针对一个或多个参数集信令通知 APS ID时,一个或多个先前的参数集可以在对应的缓冲器中被替换。在上面的示例中,由于只使用了一个LMCS参数集,每个新的LMCS参数集将替换缓冲器中的旧参数集。新的ALF参数集将替换先前存储的八个参数集中的一个参数集。这通过提供存储附加信息的能力来改进系统的操作。条带头部和/或图片头部将用基于条带头部和/或图片头中的信息从比特流中解析的相关联的滤波器参数,来信令通知APS ID。可以为条带内的块(例如,CTU、 CU、PU、CTB或其他块)标识滤波器。条带头部和/或图片头部(和/或其他信令信息)可以标识与每个块(例如,CTU、CTB等)相关联的滤波器或滤波器集。当新的APS被信令通知时,只有与新APS的APS类型相关联的缓冲器被更新。可以基于缓冲器类型,用基于信令通知的APS类型从比特流中添加的新信息,来更新缓冲器。
在一些实现方式中,从APS信令中移除APS类型,并且仅使用APS ID 来标识缓冲器中的APS。在这样的实现方式中,可以为使用APS的每个工具定义偏移值(对应于缓冲器中的起始点)。例如,LMCS的偏移值可以是 0,ALF亮度的偏移值可以是32,ALF色度的偏移值可以是64。当在条带、片或图片中信令通知APS ID时,APS ID是相对于每个特定工具可以使用的APS的最大值被信令通知的。在上面的示例中,对于每个类型,APS ID的最大值是32。为了重构绝对APS ID,偏移值被添加到信令通知的APS ID。
因此,使用相关联的ID值唯一地识别的APS类型值能够实现与APS类型特定的缓冲器(例如不同的缓冲器410、420和430)相关联的改进。由于不同类型的比特数量可能不同,缓冲器可以具有为特定的APS类型分配的存储器。这提供了对公共缓冲器的改进,在公共缓冲器中,存储器是基于最大类型的大小来分配的,而不是针对每个APS类型定制缓冲器。
在一些实现中,一种APS类型可以用作未来APS扩展的转义码(escape code)。例如,如果使用3种类型,则可以使用以下索引:00、01、10。值11 可用于指示转义值,这意味着如果解析该值,一些其他语法元素可以按照未来扩展中的定义被信令通知。
图5是示出根据一些示例的示例过程500的流程图。在一些示例中,过程500由解码设备(例如,解码设备112)执行。在其他示例中,过程500 可以被实现为非暂时性存储介质中的指令,当设备的处理器执行指令时,该指令使得设备执行过程500。在一些情况下,当过程500由视频解码器执行时,视频数据可以包括编码的视频比特流中所包括的译码的图片或译码的图片的部分(例如,一个或多个块),或者可以包括编码的视频比特流中所包括的多个译码的图片。
在框502,过程500从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集标识符值。如上所述,译码的图片条带(例如图片部分) 被封装在比特流级别中,成为被称为网络抽象层(NAL)单元的数据单元。 APS NAL单元的APS ID值由解码设备从比特流中获得。在框504,过程500 从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集类型值。值可以是与类型(例如APS亮度类型或APS色度类型)相关联的二进制数(例如0、11等)。在一些实现方式中,这可以涉及比特流中的第一和第二APS,其中第一APS具有亮度滤波器系数,而第二APS具有色度滤波器系数。每个系数集合还可以与APS类型的信令标志相关联。在其他示例中,具有不同滤波器系数的其他类型和其他标志可以存在于比特流中。
一些这样的示例还可以涉及独立地信令通知特定APS类型的存在或不存在的标志。在一些系统中,这可以进一步允许APS参数与未用特定滤波器编码的图片部分的数据一起存在,使得参数可用于使用APS类型的其他图片或图片部分。
在一些实现方式中,能够使用特定APS集类型的APS标识符的最大数量由APS集类型值定义。在一些示例中,这允许通过信令通知APS标识符的最大值或标识符空间来确定APS集类型值。在其他示例中,不同APS类型的APS标识符的最大数量是相同的,并因此无法从该信令中确定APS类型。
在一些示例中,多个APS类型中的第一APS类型与第一数量的标识符值相关联,并且多个APS类型中的第二APS类型与第二数量的标识符值相关联。标识符值的第二数量不同于标识符值的第一数量。在一些情况下,自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。在一些情况下,不同数量的比特用于不同类型的自适应参数集标识符。例如,在图片头部、条带头部或其他信令机制中,2比特可以用于LMCS APS类型ID (例如,LMCS_APS ID(ph_lmcs_aps_id)),3比特可以用于自适应环路滤波器(ALF)APS类型ID(ALF_APS ID(ph_alf_aps_id_luma[i])),并且在一些情况下可以用于缩放APS类型ID(SCALING_APS_ID (ph_scaling_list_aps_id))。
在框506,过程500识别与至少一个图片的至少一部分相关联的第一自适应参数集。在各种示例中,第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别。另外,在这样的示例中,第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内。在框508,然后具有参数的自适应环路滤波器被用于重构与框506中识别的第一自适应参数集相关联的至少一个图片的部分,该参数是由自适应参数集类型值和自适应参数集标识符值唯一地识别的第一自适应参数集定义的。如上所述,类型值和ID值的信令通知分别使能了通信系统和系统中的设备(例如,解码器设备112)的操作的改进,诸如使用具有被分配为精确匹配参数集中数据的存储器的缓冲器,而不是当较小的参数集(例如,具有使用较少比特的参数集结构的APS类型)被存储在通用缓冲器中时使用浪费存储器的通用缓冲器。在一些这样的示例中,第一自适应参数集可以包括具有不同 APS类型的亮度滤波器系数和色度滤波器系数。比特流中独立的亮度和色度标志可用于指示亮度或色度滤波器系数的存在或使用。
在各种示例中,不同类型的APS可以具有相同的相关联ID,因为每个 APS由ID和类型的组合来唯一地识别。在一些系统中,这可能涉及与第一 APS在同一比特流中的第二APS,该第一APS不同于第二APS,其具有属于不同类型的相同ID。
如上所述的过程500可以在各种设备中实现。在一些实现方式中,过程 500由移动设备的处理电路来执行,该移动设备具有耦合到处理器和存储器的相机,用于捕获和存储至少一个图片。在其他示例中,过程500由具有耦合到处理器的显示器的任何设备来执行,其中显示器被配置为显示使用过程 500生成的至少一个图片(例如,在至少一个图片的重构之后)。
图6是示出根据一些示例的过程600的示例的流程图。在一些示例中,过程600由编码设备(例如,编码设备104)执行。在其他示例中,过程600 可以被实现为非暂时性存储介质中的指令,当设备的处理器执行指令时,该指令使得设备执行过程600。在一些情况下,当过程600由视频编码器执行时,视频数据可以包括要在编码的视频比特流中编码的图片或图片的部分 (例如,一个或多个块),或者可以包括要在编码的视频比特流中编码的多个图片。
过程600可以获得至少一个图片的至少一部分的数据。例如,数据可以从存储器或从一个或多个图像传感器(例如,一个或多个相机)获得。块的图片将被编码并作为比特流的一部分根据使用本文描述的APS参数来传输。在框602,过程600确定与自适应参数集网络抽象层单元相关联的自适应参数集标识符值,并且过程600的框606确定与自适应参数集网络抽象层单元相关联的自适应参数集类型值。如本文所述,APS标识符值和APS类型值唯一地识别APS NAL单元的APS。
在框608,过程600识别与该至少一个图片的该部分相关联的第一自适应参数集。另外,第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内。如上所述,在一些示例中,APS集类型值与基于APS 类型的最大值相关联,并且最大值(例如,从0到5的值空间中的5、0的值空间中的0、0到3的值空间中的2等)可以用来区分APS类型。此外,如上所述,使用类型和ID值两者来唯一地识别APS能够改善执行过程600 的系统和设备的操作,诸如使用具有被分配为与特定APS类型的数据大小精确匹配的存储器的、类型特定的缓冲器。
图片的该部分可以包括在比特流中。在框612,包括生成比特流,以包括编码的自适应参数集标识符值、自适应参数集类型值和该至少一个图片的该部分。在一些示例中,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量由自适应参数集类型值定义。在一些情况下,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且该多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联。如上所述,标识符值的第二数量可以不同于标识符值的第一数量。在一些示例中,自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。在一些示例中,不同数量的比特用于不同类型的自适应参数集标识符。例如,如上所述,在图片头部、条带头部或其他信令机制中,2比特可以用于LMCS APS类型ID(例如,LMCS_APS ID(ph_lmcs_aps_id)),而3 比特可用于自适应环路滤波器(ALF)APS类型ID(ALF_APS ID (ph_alf_aps_id_luma[i])),并且在一些情况下可以用于缩放APS类型ID (SCALING_APS_ID(ph_scaling_list_aps_id))。
在一些示例中,过程600可以包括确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集标识符值,以及确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集类型值。过程600可以识别与至少一个图片的至少第二部分相关联的第二自适应参数集,其中第二自适应参数集由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别。第二自适应参数集的自适应参数集标识符值范围基于第二自适应参数集类型值。过程600可以在比特流中包括自适应环路滤波器的参数,该参数是由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别的第二自适应参数集定义的。可以使用具有参数的自适应环路滤波器来重构(例如,通过编码设备和/或解码设备)该至少一个图片的该至少第二部分,该参数是由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别的第二自适应参数集定义的。
在一些示例中,第二自适应参数集的自适应参数集标识符值和第一自适应参数集的自适应参数集标识符值是相同的值。在一些情况下,第一自适应参数集类型值是自适应环路滤波器亮度类型,而第二自适应参数集类型值是自适应环路滤波器色度类型。
在一些实现方式中,过程600可以包括为与第一自适应参数集相关联的至少一个标志设置值。该至少一个标志包括指示亮度滤波器数据被包括在第一自适应参数集中的第一标志、指示色度滤波器数据被包括在第一自适应参数集中的第二标志、或者第一标志和第二标志两者。在一些情况下,独立地设置第一标志的值和第二标志的值。
在一些情况下,第一自适应参数集由比特流中的一系列连续比特表示的自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别。例如,比特流中的一系列连续比特中的第一比特部分可以表示自适应参数集类型值,而比特流中的一系列连续比特中的第二比特部分可以表示自适应参数集类型标识符值。在另一个示例中,比特流中的一系列连续比特中的第一比特部分可以表示自适应参数集类型标识符值,而比特流中的第一比特部分之后的第二比特部分可以表示自适应参数集类型值。
在一些示例中,第一自适应参数集包括亮度滤波器系数和色度滤波器系数。亮度滤波器系数可以与第二自适应参数集类型值相关联,而色度滤波器系数可以与不同于第二自适应参数集类型值的第三自适应参数集类型值相关联。在一些情况下,亮度滤波器系数与亮度滤波器信令通知标志相关联,而色度滤波器系数与不同于亮度滤波器信令通知标志并且独立于亮度滤波器信令通知标志操作的色度滤波器信令通知标志相关联。
过程600可以在各种设备中实现。在一些实现方式中,过程600由移动设备的处理电路来执行,该移动设备具有耦合到处理器和存储器的相机,用于捕获和存储至少一个图片。在其他示例中,过程500由具有耦合到处理器的显示器的任何设备来执行,其中显示器被配置为在使用过程600在比特流中处理和传输至少一个图片之前显示该图片。
在一些实现方式中,本文描述的过程(或方法)(包括方法500和600) 可以由计算设备或装置(例如图1所示的系统100)来执行。例如,可以由图1和图7所示的编码设备104、另一视频源侧设备或视频传输设备、图1 和图8所示的解码设备112和/或另一客户端侧设备(例如播放器设备、显示器或任何其他客户端侧设备)来执行过程。在一些情况下,计算设备或装置可以包括一个或多个输入设备、一个或多个处理器、一个或多个微处理器、一个或多个微型计算机和/或被配置为执行本文所描述的过程的步骤的设备的其他(一个或多个)组件。
在一些示例中,计算设备或装置可以包括或可以是移动设备、台式计算机、服务器计算机和/或服务器系统或其他类型的计算设备。计算设备的组件 (例如,一个或多个输入设备、一个或多个输出设备、一个或多个处理器、一个或多个微处理器、一个或多个微型计算机和/或其他(一个或多个)组件) 可以在电路中实现。例如,组件可以包括和/或可以使用电子电路或其他电子硬件来实现,这些电子电路或其他电子硬件可以包括一个或多个可编程电子电路(例如微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU),和/或其他合适的电子电路),和/或可以包括计算机软件、固件或其任何组合和/或使用计算机软件、固件或其任何组合来实现,以执行本文所述的各种操作。在一些示例中,计算设备或装置可以包括被配置为捕获包括视频帧的视频数据(例如,视频序列)的相机。在一些示例中,捕获视频数据的相机或其他捕获设备与计算设备分开,在这种情况下,计算设备接收或获得捕获的视频数据。计算设备可以包括被配置为传送视频数据的网络接口。网络接口可以被配置为传送基于互联网协议(IP)的数据或其他类型的数据。在一些示例中,计算设备或装置可以包括显示器,用于显示输出视频内容,例如视频比特流的图片样点。
可以关于逻辑流程图来描述这些过程,逻辑流程图的操作表示可以在硬件、计算机指令或其组合中实现的操作序列。在计算机指令的上下文中,操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令,该计算机可执行指令在由一个或多个处理器执行时执行所述操作。通常,计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被解释为限制,并且可以以任何顺序和/或并行地组合任何数量的所描述的操作以实现该过程。
本文讨论的译码技术可以在示例视频编码和解码系统(例如,系统100) 中实现。在一些示例中,系统包括提供稍后将由目的设备进行解码的编码的视频数据的源设备。具体地,源设备经由计算机可读介质向目的设备提供视频数据。源设备和目的设备可包括各种设备中的任何一种,包括台式计算机、笔记本(即膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”手机的电话手持设备、所谓的“智能”平板、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流传输设备等。在一些情况下,源设备和目的设备可被配备用于无线通信。
目的设备可以接收要经由计算机可读介质解码的编码的视频数据。计算机可读介质可以包括能够将编码的视频数据从源设备移动到目的设备的任何类型的介质或设备。在一个示例中,计算机可读介质可以包括通信介质,以使源设备能够实时地将编码的视频数据直接传输到目的设备。编码的视频数据可以根据诸如无线通信协议的通信标准被调制,并被发送到目的设备。通信介质可以包括任何无线或有线通信介质,例如射频(RF)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络的一部分,例如局域网、广域网或诸如互联网的全球网络。通信介质可包括路由器、交换机、基站或可以用于促进从源设备到目的设备的通信的任何其它仪器。
在一些示例中,编码的数据可以从输出接口输出到存储设备。类似地,可以通过输入接口从存储设备访问编码的数据。存储设备可以包括各种分布式或本地访问的数据存储介质中的任何一种,例如硬盘驱动器、蓝光光盘、 DVD、CD-ROM、闪存、易失性或非易失性存储器,或者用于存储编码的视频数据的任何其它合适的数字存储介质。在另一示例中,存储设备可以对应于可以存储由源设备生成的编码的视频的文件服务器或另一中间存储设备。目的设备可以经由流式传输或下载从存储设备访问存储的视频数据。文件服务器可以是能够存储编码的视频数据并将该编码的视频数据传输到目的设备的任何类型的服务器。示例文件服务器包括web服务器(例如,用于网站)、 FTP服务器、网络附加存储(NAS)设备或本地磁盘驱动器。目的设备可以通过任何标准数据连接(包括互联网连接)访问编码的视频数据。这可以包括适于访问存储在文件服务器上的编码的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。来自存储设备的编码的视频数据的传输可以是流式传输、下载传输或其组合。
本公开的技术不一定限于无线应用或设置。该技术可应用于视频译码以支持各种多媒体应用中的任何一种,例如空中电视广播、过顶电视(例如,互联网流传输电视)传输、有线电视传输、卫星电视传输、互联网流式视频传输(例如基于HTTP的动态自适应流式传输(DASH))、被编码到数据存储介质上的数字视频、对存储在数据存储介质上的数字视频的解码或其它应用。在一些示例中,系统可被配置为支持单向或双向视频传输以支持诸如视频流式传输、视频回放、视频广播和/或视频电话之类的应用。
在一个示例中,源设备包括视频源、视频编码器和输出接口。目的设备可以包括输入接口、视频解码器和显示设备。源设备的视频编码器可以被配置为应用本文公开的技术。在其它示例中,源设备和目的设备可以包括其它组件或布置。例如,源设备可以从外部视频源(例如外部相机)接收视频数据。同样地,目的设备可以与外部显示设备接口,而不是包括集成的显示设备。
上面的示例系统只是一个示例。用于并行处理视频数据的技术可以由任何数字视频编码和/或解码设备来执行。尽管本公开的技术通常由视频编码设备来执行,但是这些技术也可以由视频编码器/解码器(通常被称为“译码器”) 来执行。此外,本公开的技术也可以由视频预处理器执行。源设备和目的设备仅仅是这样的译码设备的示例,在该译码设备中生成译码的视频数据以传输到目的设备。在一些示例中,源设备和目的设备可以以基本对称的方式操作,使得设备中的每一个包括视频编码和解码组件。因此,示例系统可支持视频设备之间的单向或双向视频传输,例如,用于视频流式传输、视频回放、视频广播或视频电话。
视频源可以包括视频捕获设备,例如摄像机、包含先前捕获的视频的视频档案和/或从视频内容提供商接收视频的视频馈送接口。作为另外的替代方案,视频源可以生成基于计算机图形的数据作为源视频,或者生成实时视频、存档视频和计算机生成的视频的组合。在一些情况下,如果视频源是摄像机,则源设备和目的设备可以形成所谓的照相电话或视频电话。然而,如上所述,本公开中描述的技术通常可以应用于视频译码,并且可以应用于无线和/或有线应用。在每种情况下,捕获的、预捕获的或计算机生成的视频可以由视频编码器编码。然后可以通过输出接口将编码的视频信息输出到计算机可读介质上。
如上所述,计算机可读介质可以包括诸如无线广播或有线网络传输的暂时性介质,或者诸如硬盘、闪存驱动器、压缩光盘、数字视频光盘、蓝光光盘或其他计算机可读介质的存储介质(即,非暂时性存储介质)。在一些示例中,网络服务器(未示出)可以例如经由网络传输从源设备接收编码的视频数据并将编码的视频数据提供给目的设备。类似地,诸如光盘冲压仪器之类的介质生产仪器的计算设备可以从源设备接收编码的视频数据,并产生包含编码的视频数据的光盘。因此,在各种示例中,计算机可读介质可以被理解为包括各种形式的一种或多种计算机可读介质。
目的设备的输入接口从计算机可读介质接收信息。计算机可读介质的信息可以包括由视频编码器定义的语法信息,该语法信息也由视频解码器使用,其包括描述块和其他译码单元(例如,图片组(GOP))的特性和/或处理的语法元素。显示设备向用户显示解码的视频数据,并且可以包括各种显示设备中的任何一种,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示设备。已经描述了本申请的各种示例。编码设备104和解码设备112的具体细节分别在图7 和图8中示出。
编码设备104和解码设备112的具体细节分别在图7和图8中示出。图 7是示出可以实现本公开中描述的技术中的一种或多种技术的示例编码设备 104的框图。编码设备104可以例如生成本文所述的语法结构(例如,VPS、 SPS、PPS或其他语法元素的语法结构)。编码设备104可以执行视频条带内的视频块的帧内预测和帧间预测译码。如前所述,帧内译码至少部分地依赖于空域预测来减少或消除给定视频帧或图片内的空域冗余。帧间译码至少部分地依赖于时域预测来减少或消除视频序列的相邻或周围帧内的时域冗余。帧内模式(I模式)可以指几种基于空域的压缩模式中的任意一种。诸如单向预测(P模式)或双向预测(B模式)的帧间模式可以指几种基于时域的压缩模式中的任意一种。
编码设备104包括划分单元35、预测处理单元41、滤波器单元63、图片存储器64、加法器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41包括运动估计单元42、运动补偿单元44和帧内预测处理单元46。对于视频块重构,编码设备104还包括逆量化单元58、逆变换处理单元60和加法器62。滤波器单元63旨在表示一个或多个环路滤波器,例如去块滤波器、自适应环路滤波器(ALF)和采样自适应偏移(SAO)滤波器。尽管滤波器单元63在图7中被示出为环路内滤波器,但是在其它配置中,滤波器单元63可以被实现为后环路滤波器。后处理设备57可以对由编码设备104生成的编码的视频数据执行附加处理。本公开的技术在一些情况下可以由编码设备104实现。然而,在其它情况下,本公开的技术中的一种或多种可由后处理设备57来实现。
如图7所示,编码设备104接收视频数据,并且划分单元35将数据划分成视频块。划分还可以包括划分成条带、条带片段、片或其他更大的单元,以及视频块划分(例如根据LCU和CU的四叉树结构)。编码设备104通常示出了对要被编码的视频条带内的视频块进行编码的组件。该条带可以被分为多个视频块(并且可能被分为被称为片的视频块的集合)。预测处理单元 41可以基于误差结果(例如,译码率和失真水平等)为当前视频块选择多种可能的译码模式中的一种,例如多种帧内预测译码模式中的一种或多种帧间预测译码模式中的一种。预测处理单元41可以将得到的帧内或帧间译码块提供给加法器50以生成残差块数据,并提供给加法器62以重构用作参考图片的编码块。
预测处理单元41内的帧内预测处理单元46可以执行当前视频块相对于与要被译码的当前块在同一帧或条带中的一个或多个相邻块的帧内预测性译码以提供空域压缩。预测处理单元41内的运动估计单元42和运动补偿单元44执行当前视频块相对于一个或多个参考图片中的一个或多个预测性块的帧间预测译码以提供时域压缩。
运动估计单元42可以被配置为根据视频序列的预定模式来确定视频条带的帧间预测模式。预定模式可以将序列中的视频条带指定为P条带、B条带或GPB条带。运动估计单元42和运动补偿单元44可以高度集成,但是出于概念目的而单独示出。由运动估计单元42执行的运动估计是生成运动矢量的过程,其估计视频块的运动。例如,运动矢量可以指示当前视频帧或图片内的视频块的预测单元(PU)相对于参考图片内的预测性块的位移。
预测性块是被发现在像素差方面与要被译码的视频块的PU紧密匹配的块,像素差可以由绝对差和(SAD)、平方差和(SSD)或其他差度量来确定。在一些示例中,编码设备104可以计算存储在图片存储器64中的参考图片的子整数像素位置的值。例如,编码设备104可以对参考图片的四分之一像素位置、八分之一像素位置或其他分数像素位置的值进行插值。因此,运动估计单元42可以执行相对于全像素位置和分数像素位置的运动搜索,并输出具有分数像素精度的运动矢量。
运动估计单元42通过将PU的位置与参考图片的预测性块的位置进行比较,来计算帧间译码的条带中的视频块的PU的运动矢量。可以从第一参考图片列表(列表0)或第二参考图片列表(列表1)中选择参考图片,每个参考图片列表识别存储在图片存储器64中的一个或多个参考图片。运动估计单元42将计算出的运动矢量发送到熵编码单元56和运动补偿单元44。
由运动补偿单元44执行的运动补偿可以涉及基于由运动估计确定的运动矢量获取或生成预测性块,可能执行子像素精度的插值。在接收到用于当前视频块的PU的运动矢量时,运动补偿单元44可以在参考图片列表中定位运动矢量指向的预测性块。编码设备104通过从正被译码的当前视频块的像素值减去预测性块的像素值、形成像素差值,来形成残差视频块。像素差值形成块的残差数据,并且可以包括亮度和色度差分量。加法器50表示执行该减法运算的一个或多个组件。运动补偿单元44还可以生成与视频块和视频条带相关联的语法元素,以供解码设备112在对视频条带的视频块进行解码时使用。
如上所述,帧内预测处理单元46可以对当前块进行帧内预测,作为由运动估计单元42和运动补偿单元44执行的帧间预测的替代。具体地,帧内预测处理单元46可以确定用于对当前块进行编码的帧内预测模式。在一些示例中,帧内预测处理单元46可以使用各种帧内预测模式(例如,在单独的编码遍期间)对当前块进行编码,并且帧内预测处理单元46可以从测试的模式中选择合适的帧内预测模式来使用。例如,帧内预测处理单元46可以使用针对各种测试的帧内预测模式的率失真分析来计算率失真值,并且可以在测试的模式中选择具有最佳率失真特性的帧内预测模式。率失真分析通常确定编码的块与被编码以产生编码的块的原始的、未编码的块之间的失真 (或误差)量,以及用于产生编码的块的比特率(即,比特的数量)。帧内预测处理单元46可以根据各种编码的块的失真和速率来计算比率,以确定哪个帧内预测模式表现出该块的最佳率失真值。
在任何情况下,在为块选择帧内预测模式之后,帧内预测处理单元46可以向熵编码单元56提供指示用于该块的所选择的帧内预测模式的信息。熵编码单元56可以对指示所选择的帧内预测模式的信息进行编码。编码设备104可以在所发送的比特流配置数据中包括用于各种块的编码上下文的定义以及用于每个上下文的最可能的帧内预测模式、帧内预测模式索引表和修改的帧内预测模式索引表的指示。比特流配置数据可以包括多个帧内预测模式索引表和多个修改的帧内预测模式索引表(也被称为码字映射表)。
在预测处理单元41经由帧间预测或帧内预测生成当前视频块的预测性块之后,编码设备104通过从当前视频块减去预测性块来形成残差视频块。残差块中的残差视频数据可以包括在一个或多个TU中并应用于变换处理单元52。变换处理单元52使用诸如离散余弦变换(DCT)或概念上类似的变换等变换将残差视频数据变换为残差变换系数。变换处理单元52可以将残差视频数据从像素域转换为变换域,例如频域。
变换处理单元52可以将得到的变换系数发送到量化单元54。量化单元 54对变换系数进行量化以进一步降低比特率。量化过程可减少与部分或全部系数相关联的比特深度。可以通过调整量化参数来修改量化程度。在一些示例中,然后量化单元54可以执行包括量化的变换系数的矩阵的扫描。或者,熵编码单元56可以执行扫描。
在量化之后,熵编码单元56对量化的变换系数进行熵编码。例如,熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码 (SBAC)、概率间隔划分熵(PIPE)译码或另一熵译码技术。在由熵编码单元56进行熵编码之后,编码的比特流可以被发送到解码设备112,或者被存档以供稍后由解码设备112传输或检索。熵编码单元56还可以对正被译码的当前视频条带的运动矢量和其他语法元素进行熵编码。
逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换来在像素域中重构残差块,以供稍后用作参考图片的参考块。运动补偿单元44可以通过将残差块添加到参考图片列表内的参考图片之一的预测块来计算参考块。运动补偿单元44还可以将一个或多个插值滤波器应用于重构的残差块,以计算用于运动估计的子整数像素值。加法器62将重构的残差块添加到由运动补偿单元44产生的运动补偿预测块中,以产生用于存储在图片存储器 64中的参考块。该参考块可由运动估计单元42和运动补偿单元44用作参考块,以对在随后的视频帧或图片中的块进行帧间预测。
以这种方式,图7的编码设备104表示被配置为执行本文所述的一种或多种技术(包括以上关于图5和图6所述的过程)的视频编码器的示例。在某些情况下,本公开的一些技术也可以由后处理设备57来实现。
图8是示出了示例解码设备112的框图。解码设备112包括熵解码单元 80、预测处理单元81、逆量化单元86、逆变换处理单元88、加法器90、滤波器单元91和图片存储器92。预测处理单元81包括运动补偿单元82和帧内预测处理单元84。在一些示例中,解码设备112可以执行通常与关于来自图7的编码设备104描述的编码过程相反的解码遍。
在解码过程中,解码设备112接收由编码设备104发送的表示编码的视频条带的视频块和相关联的语法元素的编码的视频比特流。在一些示例中,解码设备112可以从编码设备104接收编码的视频比特流。在一些示例中,解码设备112可以从网络实体79(例如服务器、媒体感知网络元件(MANE)、视频编辑器/拼接器,或者被配置为实现上述技术中的一种或多种技术的其他此类设备)接收编码的视频比特流。网络实体79可以包括也可以不包括编码设备104。在网络实体79将编码的视频比特流传输到解码设备112之前,可以由网络实体79实现本公开中描述的一些技术。在一些视频解码系统中,网络实体79和解码设备112可以是单独设备的一部分,而在其他情况下,可以由包括解码设备112的同一设备执行关于网络实体79描述的功能。
解码设备112的熵解码单元80对比特流进行熵解码,以生成量化系数、运动矢量和其他语法元素。熵解码单元80将运动矢量和其他语法元素转发到预测处理单元81。解码设备112可以在视频条带级别和/或视频块级别接收语法元素。熵解码单元80可以处理和解析诸如VPS、SPS和PPS的一个或多个参数集中的固定长度语法元素和可变长度语法元素二者。
当视频条带被译码为帧内译码(I)条带时,预测处理单元81的帧内预测处理单元84可以基于信令通知的帧内预测模式和来自当前帧或图片的先前解码块的数据为当前视频条带的视频块生成预测数据。当视频帧被译码为帧间译码(即B、P或GPB)条带时,预测处理单元81的运动补偿单元82 基于从熵解码单元80接收到的运动矢量和其他语法元素产生当前视频条带的视频块的预测性块。可以从参考图片列表内的参考图片中的一个产生预测性块。解码设备112可以基于存储在图片存储器92中的参考图片,使用默认构建技术来构建参考帧列表(列表0和列表1)。
运动补偿单元82通过解析运动矢量和其他语法元素来确定当前视频条带的视频块的预测信息,并使用该预测信息产生被解码的当前视频块的预测性块。例如,运动补偿单元82可以使用参数集中的一个或多个语法元素来确定用于对视频条带的视频块进行译码的预测模式(例如,帧内或帧间预测)、帧间预测条带类型(例如B条带、P条带或GPB条带)、用于条带的一个或多个参考图片列表的构建信息、条带的每个帧间编码的视频块的运动矢量、条带的每个帧间译码的视频块的帧间预测状态以及对当前视频条带中的视频块进行解码的其他信息。
运动补偿单元82还可以基于插值滤波器执行插值。运动补偿单元82可以使用如由编码设备104在视频块的编码期间使用的插值滤波器来计算参考块的子整数像素的插值。在这种情况下,运动补偿单元82可以从接收的语法元素确定由编码设备104使用的插值滤波器,并且可以使用该插值滤波器来产生预测性块。
逆量化单元86对比特流中提供的并由熵解码单元80进行解码的量化变换系数进行逆量化或去量化。逆量化过程可以包括使用由编码设备104为视频条带中的每个视频块计算的量化参数来确定量化程度,并且同样地确定应该应用的逆量化程度。逆变换处理单元88将逆变换(例如,逆DCT或其他适当的逆变换)、逆整数变换或概念上类似的逆变换过程应用于变换系数,以便在像素域中产生残差块。
在运动补偿单元82基于运动矢量和其他语法元素生成当前视频块的预测性块之后,解码设备112通过将来自逆变换处理单元88的残差块与由运动补偿单元82生成的对应的预测性块相加,来形成解码的视频块。加法器 90表示执行该求和运算的一个或多个组件。如果需要,环路滤波器(在译码环路中或在译码环路之后)也可用于平滑像素转变,或以其他方式提高视频质量。滤波器单元91旨在表示一个或多个环路滤波器,例如去块滤波器、自适应环路滤波器(ALF)和采样自适应偏移(SAO)滤波器。尽管滤波器单元91在图8中被示出为环路内滤波器,但是在其它配置中,滤波器单元 91可以被实现为后环路滤波器。然后,将给定帧或图片中的解码的视频块存储在图片存储器92中,图片存储器92存储用于后续运动补偿的参考图片。图片存储器92还存储解码的视频,用于稍后在显示设备(例如图1所示的视频目的设备122)上呈现。
以这种方式,图8的解码设备112表示被配置为执行本文所述的一种或多种技术(包括以上关于图5和/或图6所述的过程)的视频解码器的示例。
滤波器单元91对重构块(例如,加法器90的输出)进行滤波,并将滤波后的重构块存储在DPB 94中以用作参考块和/或输出滤波后的重构块(解码的视频)。该参考块可以由运动补偿单元82用作参考块来对后续视频帧或图片中的块进行帧间预测。滤波器单元91可以执行任何类型的滤波,诸如去块滤波、SAO滤波、峰值SAO滤波、ALF和/或GALF滤波,和/或其他类型的环路滤波器。去块滤波器例如可以将去块滤波应用于滤波器块边界,以从重构视频中去除块效应伪像。峰值SAO滤波器可以对重构的像素值应用偏移,以便提高整体译码质量。也可以使用附加的(环路中或环路后的) 环路滤波器。
此外,滤波器单元91可以被配置为执行本公开中与自适应环路滤波相关的任何技术。例如,如上所述,滤波器单元91可以被配置为基于用于滤波先前块的参数来确定用于滤波当前块的参数,该参数被包括在与当前块相同的APS、不同的APS或预定义的滤波器中。
如本文所使用的,术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备和能够存储、包含或携带(一个或多个)指令和/或数据的各种其他介质。计算机可读介质可以包括其中可以存储数据的非暂时性介质,并且不包括无线地或通过有线连接传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于磁盘或磁带,诸如压缩光盘 (CD)或数字通用磁盘(DVD)之类的光学存储介质、闪存、存储器或存储设备。计算机可读介质可以在其上存储有代码和/或机器可执行指令,它们可以表示过程、函数、子程序、程序、例程、子程序、模块、软件包、类,或指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容来耦合到另一代码段或硬件电路。可以经由任何合适的方式(包括内存共享、消息传递、令牌传递、网络传输等)传递、转发或发送信息、自变量、参数、数据等。
在一些示例中,计算机可读存储设备、介质和存储器可以包括包含比特流等的电缆或无线信号。然而,当提及时,非暂时性计算机可读存储介质明确地排除诸如能量,载波信号,电磁波和信号本身的介质。
在上述描述中提供了具体细节,以提供对本文提供的示例和示例的彻底理解。然而,本领域的普通技术人员将理解,可以在没有这些具体细节的情况下实践示例。为了解释清楚起见,在某些情况下,本技术可以被呈现为包括单独的功能块,这些单独的功能块包括包含设备、设备组件、以软件体现的方法中的步骤或例程、或者硬件和软件的组合的功能块。除了图中所示和 /或本文所述的那些组件之外,还可以使用附加组件。例如,电路、系统、网络、过程和其他组件可以以框图形式被示出为组件,以便不会在不必要的细节上使示例模糊。在其他情况下,可以在没有不必要的细节的情况下示出已知的电路、过程、算法、结构和技术,以避免使示例模糊。
各个示例可以在上面被描述为过程或方法,该过程和方法被描绘为流程图、流程图、数据流程图、结构图或框图。虽然流程图可以将操作描述为顺序过程,但许多操作可以并行或并发地执行。此外,可以重新安排操作顺序。过程在其操作完成时终止,但可能具有未包括在图中的附加步骤。过程可以对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时,其终止可以对应于函数返回到调用函数或主函数。
可以使用存储的或以其他方式从计算机可读介质中获取的计算机可执行指令来实现根据上述示例的过程和方法。这些指令可以包括,例如,使得或以其他方式配置通用计算机、专用计算机或处理设备以执行特定功能或功能组的指令和数据。可以通过网络访问使用的部分计算机资源。计算机可执行指令可以是例如二进制文件、中间格式指令(例如汇编语言、固件、源代码等)。可用于存储指令、所使用的信息,和/或在根据所述示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、设置有非易失性存储器的USB设备、网络存储设备等。
根据这些公开来实现过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合,并且可以采取各种形式因素的任何一种。当在软件、固件、中间件或微代码中实现时,执行必要任务的程序代码或代码段(例如,计算机程序产品)可以存储在计算机可读或机器可读介质中。(一个或多个)处理器可以执行必要的任务。典型的形式因素示例包括膝上型计算机、智能手机、移动电话、平板设备或其他小型形式因素个人计算机、个人数字助理、机架式设备、独立设备等。本文描述的功能还可以体现在外围设备或插件卡中。作为另外的示例,这种功能还可以在不同芯片之间的电路板上实现,或者在单个设备中执行的不同过程上实现。
指令、用于传送此类指令的介质、用于执行该指令的计算资源以及用于支持此类计算资源的其他结构是用于提供本公开中描述的功能的示例部件。
在前面的描述中,参考本申请的具体示例来描述本申请的各个方面,但是本领域技术人员将认识到本申请不限于此。因此,虽然本文已经详细描述了本申请的说明性示例,但是应当理解,本发明构思可以以其他方式不同地体现和应用,并且所附权利要求旨在被解释为包括这样的变体,除非受到现有技术的限制。可以单独地或联合地使用上述申请的各种特征和方面。此外,在不脱离本说明书更广泛的精神和范围的情况下,可以在本文所描述的那些环境和应用之外的任何数量的环境和应用中使用示例。因此,说明书和附图被认为是说明性的而不是限制性的。为了说明的目的,以特定顺序描述了方法。应当理解,在替代示例中,可以以与所描述的顺序不同的顺序来执行这些方法。
普通技术人员将理解,本文中使用的小于(“<”)和大于(“>”)符号或术语可以分别替换为小于或等于(“≤”)和大于或等于(“≥”)符号,而不脱离本说明书的范围。
在将组件描述为被“配置为”执行某些操作的情况下,这种配置可以例如通过设计电子电路或其他硬件来执行操作、通过编程可编程电子电路(例如微处理器或其他合适的电子电路)来执行操作,或其任何组合来完成。
短语“耦合到”是指物理上直接或间接连接到另一组件的任何组件,和 /或直接或间接与另一组件通信(例如,通过有线或无线连接连接到其它组件,和/或其他合适的通信接口)的任何组件。
描述集合“......中的至少一个”和/或集合“......中的一个或多个”的权利要求语言或其他语言指示集合中的一个成员或集合中的多个成员(以任何组合)满足该权利要求。例如,描述“A和B中的至少一个”或“A或B中的至少一个”的权利要求语言是指A、B或A和B。在另一示例中,描述“A、 B和C中的至少一个”或“A、B或C中的至少一个”的权利要求语言是指 A、B、C、或A和B、或A和C、或B和C、或A和B和C。语言集合“中的至少一个”和/或集合中的“一个或多个”不将集合限制为集合中列出的项目。例如,描述“A和B中的至少一个”或“A或B中的至少一个”的权利要求语言可以表示A、B或A和B,并且可以另外包括A和B的集合中未列出的项目。
结合本文公开的示例描述的各种说明性逻辑块、模块、电路和算法步骤可以实现为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件和软件的这种可互换性,上面已经大体上就其功能性描述了各种说明性组件、块、模块、电路和步骤。这些功能是实现为硬件还是软件取决于特定应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以不同的方式实现所描述的功能,但是这种实现方式决定不应被解释为导致偏离本申请的范围。
本文所描述的技术还可以在电子硬件、计算机软件、固件或其任何组合中实现。这些技术可以在各种设备(例如通用计算机、无线通信设备手持机或具有多种用途的集成电路设备,包括在无线通信设备手持机和其他设备中的应用)中的任何一种中实现。被描述为模块或组件的任何特征可以在集成逻辑设备中一起实现,或者单独地作为分立但可互操作的逻辑设备来实现。如果在软件中实现,则这些技术可以至少部分地由计算机可读数据存储介质实现,该计算机可读数据存储介质包括程序代码,该程序代码包括在被执行时执行上述方法中的一个或多个的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分,计算机程序产品可以包括包装材料。计算机可读介质可包括存储器或数据存储介质,例如随机存取存储器(RAM)(例如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁或光数据存储介质等。附加地或替代地,可以至少部分地由计算机可读通信介质来实现这些技术,该计算机可读通信介质以指令或数据结构的形式携带或传送程序代码,并且该程序代码可以由计算机(例如传播的信号或波)访问、读取和/或执行。
程序代码可由处理器执行,处理器可以包括一个或多个处理器,例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或分立逻辑电路。这样的处理器可以被配置为执行本公开中描述的任何技术。通用处理器可以是微处理器;但是在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心的结合、或任何其他这样的配置。因此,如本文所使用的术语“处理器”可指前述结构中的任何一个、前述结构的任何组合、或适于实现本文所述技术的任何其它结构或装置。另外,在一些方面中,本文所描述的功能可以在被配置用于编码和解码的专用软件模块或硬件模块内提供,或并入组合的视频编码器-解码器(译码器)中。
本公开的说明性示例包括:
示例1:一种处理视频数据的方法,该方法包括:获得编码的视频比特流,该编码的视频比特流包括与编码的视频比特流的至少一个图片相关联的自适应参数集,该自适应参数集包括用于该至少一个图片的自适应环路滤波器数据;以及解码来自自适应参数集的第一语法元素和第二语法元素中的至少一个,第一语法元素包括用于至少一个图片的亮度分量的自适应环路滤波器数据,而第二语法元素包括用于至少一个图片的色度分量的自适应环路滤波器数据。
示例2。根据示例1所述的方法,其中,编码的视频比特流包括第一标志和第二标志,第一标志指示亮度自适应环路滤波器是否在自适应参数集中被信令通知,而第二标志指示色度自适应环路滤波器是否在自适应参数集中被信令通知。
示例3。根据示例2所述的方法,其中,第一标志的信令通知独立于第二标志的信令通知。
示例4。根据示例2至3中任一示例所述的方法,其中,当第一标志被设置为第一值并且第二标志被设置为第二值时,自适应参数集包括第一语法元素而不包括第二语法元素。
示例5。根据示例2至3中任一示例所述的方法,其中,当第二标志被设置为第一值并且第一标志被设置为第二值时,自适应参数集包括第二语法元素而不包括第一语法元素。
示例6。根据示例2至5中任一示例所述的方法,其中,自适应参数集仅包括第一语法元素。
示例7。根据示例2至5中任一示例所述的方法,其中,自适应参数集仅包括第二语法元素。
示例8。根据示例2至3中任一示例所述的方法,其中,当第一标志被设置为第一值并且第二标志被设置为第一值时,自适应参数集包括第一语法元素和第二语法元素。
示例9。根据示例1至8中任一示例所述的方法,其中,定义了能够使用特定自适应参数集类型的自适应参数集标识符的最大数量。
示例10。根据示例1至9中任一示例所述的方法,其中,使用单独的自适应参数集缓冲器来存储不同自适应参数集类型的自适应参数集。
示例11。根据示例1至10中任一示例所述的方法,其中,第一自适应参数集缓冲器用于存储第一自适应参数集类型的一个或多个自适应参数集,并且其中第二自适应参数集缓冲器用于存储第二自适应参数集类型的一个或多个自适应参数集。
示例12。一种装置,包括被被配置为存储视频数据的存储器和被配置为根据示例1至11中的任一示例处理视频数据的处理器。
示例13。根据示例12所述的装置,其中,装置包括解码器。
示例14。根据示例12至13中任一示例所述的装置,其中,装置是移动设备。
示例15。根据示例12至14中任一示例所述的装置,还包括被配置为显示视频数据的显示器。
示例16。根据示例12至15中任一示例所述的装置,还包括被配置为捕获一个或多个图片的相机。
示例17。一种其上存储有指令的计算机可读介质,该指令在被处理器执行时执行示例1至11中任一示例所述的方法。
示例18。一种处理视频数据的方法,该方法包括:生成编码的视频比特流,该编码的视频比特流包括与编码的视频比特流的至少一个图片相关联的自适应参数集,该自适应参数集包括用于该至少一个图片的自适应环路滤波器数据;以及在自适应参数集中提供第一语法元素和第二语法元素中的至少一个,第一语法元素包括用于该至少一个图片的亮度分量的自适应环路滤波器数据,而第二语法元素包括用于该至少一个图片的色度分量的自适应环路滤波器数据。
示例19。根据示例18所述的方法,还包括在编码的视频比特流中提供第一标志和第二标志,第一标志指示亮度自适应环路滤波器是否在自适应参数集中被信令通知,而第二标志指示色度自适应环路滤波器是否在自适应参数集中被信令通知。
示例20。根据示例19所述的方法,其中,第一标志的信令通知独立于第二标志的信令通知。
示例21。根据示例19至20中任一示例所述的方法,其中,当第一标志被设置为第一值并且第二标志被设置为第二值时,自适应参数集包括第一语法元素而不包括第二语法元素。
示例22。根据示例19至20中任一示例所述的方法,其中,当第二标志被设置为第一值并且第一标志被设置为第二值时,自适应参数集包括第二语法元素而不包括第一语法元素。
示例23。根据示例18至22中任一示例所述的方法,其中,自适应参数集仅包括第一语法元素。
示例24。根据示例18至22中任一示例所述的方法,其中,自适应参数集仅包括第二语法元素。
示例25。根据示例19至20中任一示例所述的方法,其中,当第一标志被设置为第一值并且第二标志被设置为第一值时,自适应参数集包括第一语法元素和第二语法元素。
示例26。根据示例18至25中任一示例所述的方法,其中,定义了能够使用特定自适应参数集类型的自适应参数集标识符的最大数量。
示例27。根据示例18至26中任一示例所述的方法,其中,使用单独的自适应参数集缓冲器来存储不同自适应参数集类型的自适应参数集。
示例28。根据示例18至27中任一示例所述的方法,其中,第一自适应参数集缓冲器用于存储第一自适应参数集类型的一个或多个自适应参数集,并且其中第二自适应参数集缓冲器用于存储第二自适应参数集类型的一个或多个自适应参数集。
示例29。一种装置,包括被配置为存储视频数据的存储器和被配置为根据示例18至28中任一示例处理视频数据的处理器。
示例30。根据示例29所述的装置,其中,装置包括编码器。
示例31。根据示例29至30中任一示例所述的装置,其中,装置是移动设备。
示例32。根据示例29至31中任一示例所述的装置,还包括被配置为显示视频数据的显示器。
示例33。根据示例29至32中任一示例所述的装置,还包括被配置为捕获一个或多个图片的相机。
示例34。一种其上存储有指令的计算机可读介质,该指令在被处理器执行时执行示例18至28中任一示例所述的方法。
示例35。一种处理视频数据的方法,该方法包括:获得编码的视频比特流,该编码的视频比特流包括与编码的视频比特流的至少一个图片相关联的自适应参数集;以及确定自适应环路滤波器的滤波器系数的数量;以及基于自适应环路滤波器的滤波器系数的数量来导出自适应参数集的类型,该类型指示自适应参数集是否与亮度滤波器或色度滤波器中的一个或多个相关联。
示例36。根据示例35所述的方法,其中,亮度滤波器的滤波器系数的数量不同于色度滤波器的滤波器系数的数量。
示例37。根据示例35至36中任一示例所述的方法,还包括:确定自适应环路滤波器的滤波器系数的数量对应于亮度滤波器的滤波器系数的数量;以及将自适应参数集的类型导出为第一类型,第一类型指示自适应参数集与亮度滤波器相关联。
示例38。根据示例35至36中任一示例所述的方法,还包括:确定自适应环路滤波器的滤波器系数的数量对应于色度滤波器的滤波器系数的数量;以及将自适应参数集的类型导出为第二类型,第二类型指示自适应参数集与色度滤波器相关联。
示例39。一种装置,包括被配置为存储视频数据的存储器和被配置为根据示例35至38中任一示例处理视频数据的处理器。
示例40。根据示例39所述的装置,其中,装置包括解码器。
示例41。根据示例39至40中任一示例所述的装置,其中,装置是移动设备。
示例42。根据示例39至41中任一示例所述的装置,还包括被配置为显示视频数据的显示器。
示例43。根据示例39至42中任一示例所述的装置,还包括被配置为捕获一个或多个图片的相机。
示例44。一种其上存储有指令的计算机可读介质,该指令在被处理器执行时执行示例35至38中任一示例所述的方法。
示例45。一种处理视频数据的方法,该方法包括:生成编码的视频比特流,该编码的视频比特流包括用于图片的至少一个色度样点的多个自适应参数集,该多个自适应参数集包括自适应环路滤波器数据;以及在编码的视频比特流中提供索引,该索引指示应用于图片条带的多个自适应参数集中的自适应参数集的标识符。
示例46。根据示例45所述的方法,其中,至少一个色度样点包括色度样点的译码树块。
示例47。根据示例45至46中任一示例所述的方法,还包括当索引指示第一自适应参数集的标识符时,在编码的视频比特流中提供标志。
示例48。根据示例45至46中任一示例所述的方法,还包括当索引指示不同于第一自适应参数集的标识符时,在编码的视频比特流中提供索引减1。
示例49。一种装置,包括被配置为存储视频数据的存储器和被配置为根据示例18至28中任一示例处理视频数据的处理器。
示例50。根据示例49所述的装置,其中,装置包括编码器。
示例51。根据示例49至50中任一示例所述的装置,其中,装置是移动设备。
示例52。根据示例49至51中任一示例所述的装置,还包括被配置为显示视频数据的显示器。
示例53。根据示例49至52中任一示例所述的装置,还包括被配置为捕获一个或多个图片的相机。
示例54。一种其上存储有指令的计算机可读介质,该指令在被处理器执行时执行示例45至48中任一示例所述的方法。
示例55。一种处理视频数据的方法,该方法包括:获得编码的视频比特流,该编码的视频比特流包括用于图片的至少一个色度样点的多个自适应参数集,该多个自适应参数集包括自适应环路滤波器数据;以及从编码的视频比特流中解码索引,该索引指示应用于图片条带的多个自适应参数集中的自适应参数集的标识符。
示例56。根据示例55所述的方法,其中,至少一个色度样点包括色度样点的译码树块。
示例57。根据示例55至56中任一示例所述的方法,其中,当索引指示第一自适应参数集的标识符时,编码的视频比特流包括标志。
示例58。根据示例55至56中任一示例所述的方法,其中,当索引指示不同于第一自适应参数集的标识符时,编码的视频比特流包括索引减1。
示例59。一种装置,包括被配置为存储视频数据的存储器和被配置为根据示例55至58中任一示例处理视频数据的处理器。
示例60。根据示例59所述的装置,其中,装置包括解码器。
示例61。根据示例49至60中任一示例所述的装置,其中,装置是移动设备。
示例62。根据示例49至61中任一示例所述的装置,还包括被配置为显示视频数据的显示器。
示例63。根据示例49至62中任一示例所述的装置,还包括被配置为捕获一个或多个图片的相机。
示例64。一种其上存储有指令的计算机可读介质,该指令在被处理器执行时执行示例55至58中任一示例所述的方法。
示例65。一种用于解码视频数据的装置,该装置包括存储器以及在电路中实现的处理器。该处理器被配置为:从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集类型值;识别与至少一个图片的至少一部分相关联的第一自适应参数集,第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及使用具有参数的自适应环路滤波器重构该至少一个图片的该部分,该参数是由自适应参数集类型值和自适应参数集标识符值唯一地识别的第一自适应参数集定义的。
示例66。根据示例65所述的装置,其中,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量由自适应参数集类型值定义。
示例67。根据示例66所述的装置,其中,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且其中该多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联,标识符值的第二数量不同于标识符值的第一数量。
示例68。根据示例66至67中任一示例所述的装置,其中,自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。
示例69。根据示例66至68中任一示例所述的装置,其中,不同数量的比特用于不同类型的自适应参数集标识符。
示例70。根据示例65至69中任一示例所述的装置,其中,该处理器被配置为:确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集标识符值;确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集类型值;识别与该至少一个图片的至少第二部分相关联的第二自适应参数集,第二自适应参数集由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别,其中第二自适应参数集的自适应参数集标识符值范围基于第二自适应参数集类型值;以及使用具有参数的自适应环路滤波器重构视频比特流的该至少一个图片的该至少第二部分,该参数是由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别的第二自适应参数集定义的。
示例71。根据示例70所述的装置,其中,第二自适应参数集的自适应参数集标识符值和第一自适应参数集的自适应参数集标识符值是相同的值。
示例72。根据示例70至71中任一示例所述的装置,其中,第一自适应参数集类型值是自适应环路滤波器亮度类型,并且其中,第二自适应参数集类型值是自适应环路滤波器色度类型。
示例73。根据示例65至72中任一示例所述的装置,其中,处理器被配置为:识别与第一自适应参数集相关联的至少一个标志,该至少一个标志包括指示亮度滤波器数据被包括在第一自适应参数集中的第一标志或指示色度滤波器数据被包括在第一自适应参数集中的第二标志中的至少一个或多个。
示例74。根据示例73所述的装置,其中,第一标志的值和第二标志的值被独立设置。
示例75。根据示例65至74中任一示例所述的装置,其中,处理器被配置为:为第一自适应参数集类型配置第一自适应参数集缓冲器;以及为第二自适应参数集类型配置第二自适应参数集缓冲器。
示例76。根据示例75所述的装置,其中,处理器被配置为:将具有第一自适应参数集类型的第一自适应参数集的接收比特存储在第一自适应参数集缓冲器中;以及将具有第二自适应参数集类型的第二自适应参数集的接收比特存储在第二自适应参数集缓冲器中。
示例77。根据示例65至76中任一示例所述的装置,其中,处理器被配置为:为多个自适应参数集类型中的第一自适应参数集类型配置第一缓冲器,第一缓冲器具有小于最大标识符值的第一标识符设置范围。
示例78。根据示例77所述的装置,其中,处理器被配置为:为多个自适应参数集类型中的第二自适应参数集类型配置第二缓冲器,第二缓冲器具有小于最大标识符值的第二标识符设置范围,其中第二标识符设置范围不同于第一标识符设置范围。
示例79。根据示例65至78中任一示例所述的装置,其中,处理器被配置为:使用自适应参数集类型值来解释自适应参数集标识符值。
示例80。根据示例65至79中任一示例所述的装置,其中,第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,自适应参数集类型值和自适应参数集标识符值由比特流中的一系列连续比特表示。
示例81。根据示例80所述的装置,其中,比特流中的一系列连续比特中的第一比特部分表示自适应参数集类型值,而比特流中的一系列连续比特中的第二比特部分表示自适应参数集类型标识符值。
示例82。根据示例80所述的装置,其中,比特流中的一系列连续比特中的第一比特部分表示自适应参数集类型标识符值,并且其中比特流中的第一比特部分之后的第二比特部分表示自适应参数集类型值。
示例83。根据示例65至82中任一示例所述的装置,其中,第一自适应参数集包括亮度滤波器系数和色度滤波器系数,其中亮度滤波器系数与第二自适应参数集类型值相关联,并且其中色度滤波器系数与不同于第二自适应参数集类型值的第三自适应参数集类型值相关联。
示例84。根据示例83所述的装置,其中,亮度滤波器系数与亮度滤波器信令通知标志相关联,并且其中色度滤波器系数与不同于亮度滤波器信令通知标志并且独立于亮度滤波器信令通知标志操作的色度滤波器信令通知标志相关联。
示例85。根据示例65至84中任一示例所述的装置,其中,装置包括具有显示器的移动设备,该显示器被配置为显示该至少一个图片。
示例86。根据示例65至85中任一示例所述的装置,还包括耦合到处理器的显示器,该显示器被配置为显示该至少一个图片。
示例87。一种用于解码视频数据的方法,该方法包括:从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集类型值;识别与至少一个图片的至少一部分相关联的第一自适应参数集,第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及使用具有参数的自适应环路滤波器重构该至少一个图片的该部分,该参数是由自适应参数集类型值和自适应参数集标识符值唯一地识别的第一自适应参数集定义的。
示例88。根据示例87所述的方法,其中,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量由自适应参数集类型值定义。
示例89。根据示例88所述的方法,其中,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且其中该多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联,标识符值的第二数量不同于标识符值的第一数量。
示例90。根据示例88至89中任一示例所述的方法,其中,自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。
示例91。根据示例88至90中任一示例所述的方法,其中,不同数量的比特用于不同类型的自适应参数集标识符。
示例92。根据示例87至91中任一示例所述的方法,还包括:确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集标识符值;确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集类型值;识别与该至少一个图片的至少第二部分相关联的第二自适应参数集,第二自适应参数集由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别,其中第二自适应参数集的自适应参数集标识符值范围基于第二自适应参数集类型值;以及使用具有参数的自适应环路滤波器重构视频比特流的该至少一个图片的该至少第二部分,该参数是由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别的第二自适应参数集定义的。
示例93。根据示例92所述的方法,其中,第二自适应参数集的自适应参数集标识符值和第一自适应参数集的自适应参数集标识符值是相同的值。
示例94。根据示例92至93中任一示例所述的方法,其中,第一自适应参数集类型值是自适应环路滤波器亮度类型,并且其中第二自适应参数集类型值是自适应环路滤波器色度类型。
示例95。根据示例87至94中任一示例所述的方法,还包括:识别与第一自适应参数集相关联的至少一个标志,该至少一个标志包括指示亮度滤波器数据被包括在第一自适应参数集中的第一标志或指示色度滤波器数据被包括在第一自适应参数集中的第二标志中的至少一个或多个。
示例96。根据示例95所述的方法,其中,第一标志的值和第二标志的值被独立设置。
示例97。根据示例87至96中任一示例所述的方法,还包括:为第一自适应参数集类型配置第一自适应参数集缓冲器;以及为第二自适应参数集类型配置第二自适应参数集缓冲器。
示例98。根据示例97所述的方法,还包括:将具有第一自适应参数集类型的第一自适应参数集的接收比特存储在第一自适应参数集缓冲器中;以及将具有第二自适应参数集类型的第二自适应参数集的接收比特存储在第二自适应参数集缓冲器中。
示例99。根据示例87至98中任一示例所述的方法,还包括:为多个自适应参数集类型中的第一自适应参数集类型配置第一缓冲器,第一缓冲器具有小于最大标识符值的第一标识符设置范围。
示例100。根据示例99所述的方法,还包括:为多个自适应参数集类型中的第二自适应参数集类型配置第二缓冲器,第二缓冲器具有小于最大标识符值的第二标识符设置范围,其中第二标识符设置范围不同于第一标识符设置范围。
示例101。根据示例87至100中任一示例所述的方法,还包括:使用自适应参数集类型值来解释自适应参数集标识符值。
示例102。根据示例87至101中任一示例所述的方法,其中,第一自适应参数集由比特流中的一系列连续比特表示的自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别。
示例103。根据示例102所述的方法,其中,比特流中的一系列连续比特中的第一比特部分表示自适应参数集类型值,而比特流中的一系列连续比特中的第二比特部分表示自适应参数集类型标识符值。
示例104。根据示例102所述的方法,其中,比特流中的一系列连续比特中的第一比特部分表示自适应参数集类型标识符值,而其中比特流中的第一比特部分之后的第二比特部分表示自适应参数集类型值。
示例105。根据示例87至104中任一示例所述的方法,其中,第一自适应参数集包括亮度滤波器系数和色度滤波器系数,其中亮度滤波器系数与第二自适应参数集类型值相关联,并且其中色度滤波器系数与不同于第二自适应参数集类型值的第三自适应参数集类型值相关联。
示例106。根据示例105所述的方法,其中亮度滤波器系数与亮度滤波器信令通知标志相关联,并且其中色度滤波器系数与不同于亮度滤波器信令通知标志并且独立于亮度滤波器信令通知标志操作的色度滤波器信令通知标志相关联。
示例107。根据示例87至106中任一示例所述的方法,其中,该方法包括具有显示器的移动设备,该显示器被配置为显示该至少一个图片。
示例108。根据示例87至107中任一示例所述的方法,还包括耦合到处理器的显示器,该显示器被配置为显示该至少一个图片。
示例109。一种用于编码视频数据的装置,该装置包括存储器以及在电路中实现的处理器。该处理器被配置为:确定与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;确定与自适应参数集网络抽象层单元相关联的自适应参数集类型值;识别与至少一个图片的部分相关联的第一自适应参数集,第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及生成比特流,该比特流包括编码的自适应参数集标识符值、自适应参数集类型值和该至少一个图片的该部分。
示例110。根据示例109所述的装置,其中,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量由自适应参数集类型值定义。
示例111。根据示例109至110中任一示例所述的装置,其中,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且其中该多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联,标识符值的第二数量不同于标识符值的第一数量。
示例112。根据示例110至111中任一示例所述的装置,其中,自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。
示例113。根据示例110至112中任一示例所述的装置,其中,不同数量的比特用于不同类型的自适应参数集标识符。
示例114。根据示例109至113中任一示例所述的装置,其中,处理器被配置为:确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集标识符值;确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集类型值;识别与该至少一个图片的至少第二部分相关联的第二自适应参数集,第二自适应参数集由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别,其中第二自适应参数集的自适应参数集标识符值范围基于第二自适应参数集类型值;并且在比特流中包括自适应环路滤波器的参数,该参数是由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别的第二自适应参数集定义的。
示例115。根据示例114所述的装置,其中,第二自适应参数集的自适应参数集标识符值和第一自适应参数集的自适应参数集标识符值是相同的值。
示例116。根据示例114至115中任一示例所述的装置,其中,第一自适应参数集类型值是自适应环路滤波器亮度类型,并且其中,第二自适应参数集类型值是自适应环路滤波器色度类型。
示例117。根据示例109至116中任一示例所述的装置,其中,处理器被配置为:设置与第一自适应参数集相关联的至少一个标志的值,该至少一个标志包括指示亮度滤波器数据被包括在第一自适应参数集中的第一标志或指示色度滤波器数据被包括在第一自适应参数集中的第二标志中的至少一个或多个。
示例118。根据示例117所述的装置,其中独立地设置第一标志的值和第二标志的值。
示例119。根据示例109至118中任一示例所述的装置,其中,第一自适应参数集由比特流中的一系列连续比特表示的自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别。
示例120。根据示例119所述的装置,其中,比特流中的一系列连续比特中的第一比特部分表示自适应参数集类型值,而比特流中的一系列连续比特中的第二比特部分表示自适应参数集类型标识符值。
示例121。根据示例119所述的装置,其中,比特流中的一系列连续比特中的第一比特部分表示自适应参数集类型标识符值,而比特流中的第一比特部分之后的第二比特部分表示自适应参数集类型值。
示例122。根据示例109至121中任一示例所述的装置,其中,第一自适应参数集包括亮度滤波器系数和色度滤波器系数,其中亮度滤波器系数与第二自适应参数集类型值相关联,并且其中色度滤波器系数与不同于第二自适应参数集类型值的第三自适应参数集类型值相关联。
示例123。根据示例122所述的装置,其中,亮度滤波器系数与亮度滤波器信令通知标志相关联,并且其中色度滤波器系数与不同于亮度滤波器信令通知标志并且独立于亮度滤波器信令通知标志操作的色度滤波器信令通知标志相关联。
示例124。根据示例109至123中任一示例所述的装置,其中,装置包括具有相机的移动设备,所述相机被配置为捕获所述至少一个图片。
示例125。根据示例109至124中任一示例所述的装置,其中,所述装置包括具有显示器的移动设备,所述显示器被配置为显示该至少一个图片。
示例126。根据示例109至125中任一示例所述的装置,还包括耦合到处理器的显示器,该显示器被配置为显示该至少一个图片。
示例127。一种编码视频数据的方法,该方法包括:确定与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;确定与自适应参数集网络抽象层单元相关联的自适应参数集类型值;识别与至少一个图片的部分相关联的第一自适应参数集,第一自适应参数集由自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别,其中第一自适应参数集的自适应参数集标识符值在基于自适应参数集类型值的范围内;以及生成比特流,该比特流包括编码的自适应参数集标识符值、自适应参数集类型值和该至少一个图片的该部分。
示例128。根据示例127所述的方法,其中,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量由自适应参数集类型值定义。
示例129。根据示例127至128中任一示例所述的方法,其中,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且其中该多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联,标识符值的第二数量不同于标识符值的第一数量。
示例130。根据示例110至129中任一示例所述的方法,其中,自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。
示例131。根据示例110至130中任一示例所述的方法,其中,不同数量的比特用于不同类型的自适应参数集标识符。
示例132。根据示例127至131中任一示例所述的方法,其中,处理器被配置为:确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集标识符值;确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集类型值;识别与该至少一个图片的至少第二部分相关联的第二自适应参数集,第二自适应参数集由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别,其中第二自适应参数集的自适应参数集标识符值范围基于第二自适应参数集类型值;并且在比特流中包括自适应环路滤波器的参数,该参数是由第二自适应参数集类型值和第二自适应参数集标识符值唯一地识别的第二自适应参数集定义的。
示例133。根据示例132所述的方法,其中,第二自适应参数集的自适应参数集标识符值和第一自适应参数集的自适应参数集标识符值是相同的值。
示例134。根据示例132至133中任一示例所述的方法,其中,第一自适应参数集类型值是自适应环路滤波器亮度类型,并且其中第二自适应参数集类型值是自适应环路滤波器色度类型。
示例135。根据示例127至134中任一示例所述的方法,其中,处理器被配置为:为与所述第一自适应参数集相关联的至少一个标志设置值,该至少一个标志包括指示亮度滤波器数据被包括在第一自适应参数集中的第一标志或指示色度滤波器数据被包括在第一自适应参数集中的第二标志中的至少一个或多个。
示例136。根据示例135所述的方法,其中,第一标志的值和第二标志的值被独立设置。
示例137。根据示例127至136中任一示例所述的方法,其中,第一自适应参数集由比特流中的一系列连续比特表示的自适应参数集类型值和自适应参数集标识符值的组合来唯一地识别。
示例138。根据示例137所述的方法,其中,比特流中的一系列连续比特中的第一比特部分表示自适应参数集类型值,而比特流中的一系列连续比特中的第二比特部分表示自适应参数集类型标识符值。
示例139。根据示例137所述的方法,其中,比特流中的一系列连续比特中的第一比特部分表示自适应参数集类型标识符值,并且其中比特流中的第一比特部分之后的第二比特部分表示自适应参数集类型值。
示例140。根据示例127至139中任一示例所述的方法,其中,第一自适应参数集包括亮度滤波器系数和色度滤波器系数,其中亮度滤波器系数与第二自适应参数集类型值相关联,并且其中色度滤波器系数与不同于第二自适应参数集类型值的第三自适应参数集类型值相关联。
示例141。根据示例140所述的方法,其中,亮度滤波器系数与亮度滤波器信令通知标志相关联,并且其中色度滤波器系数与不同于亮度滤波器信令通知标志并且独立于亮度滤波器信令通知标志操作的色度滤波器信令通知标志相关联。

Claims (42)

1.一种用于解码视频数据的装置,所述装置包括:
存储器;以及
处理器,其在电路中被实现并且被配置为:
从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;
从所述比特流获得与所述自适应参数集网络抽象层单元相关联的自适应参数集类型值;
识别与至少一个图片的至少一部分相关联的第一自适应参数集,所述第一自适应参数集由所述自适应参数集类型值和所述自适应参数集标识符值的组合来唯一地识别,其中所述第一自适应参数集的自适应参数集标识符值在基于所述自适应参数集类型值的范围内;以及
使用具有参数的自适应环路滤波器重构所述至少一个图片的所述部分,所述参数是由所述自适应参数集类型值和所述自适应参数集标识符值唯一地识别的所述第一自适应参数集定义的。
2.根据权利要求1所述的装置,其中,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量是由所述自适应参数集类型值定义的。
3.根据权利要求2所述的装置,其中,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且其中,所述多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联,标识符值的所述第二数量不同于标识符值的所述第一数量。
4.根据权利要求2所述的装置,其中,所述自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。
5.根据权利要求2所述的装置,其中,不同数量的比特用于不同类型的自适应参数集标识符。
6.根据权利要求1所述的装置,其中,所述处理器被配置为:
确定与视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集标识符值;
确定与所述视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集类型值;
识别与所述至少一个图片的至少第二部分相关联的第二自适应参数集,所述第二自适应参数集由所述第二自适应参数集类型值和所述第二自适应参数集标识符值唯一地识别,其中所述第二自适应参数集的自适应参数集标识符值范围是基于所述第二自适应参数集类型值;以及
使用具有参数的自适应环路滤波器重构所述视频比特流的所述至少一个图片的所述至少第二部分,所述参数是由所述第二自适应参数集类型值和所述第二自适应参数集标识符值唯一地识别的所述第二自适应参数集定义的。
7.根据权利要求6所述的装置,其中,所述第二自适应参数集的自适应参数集标识符值和所述第一自适应参数集的自适应参数集标识符值是相同的值。
8.根据权利要求7所述的装置,其中,所述第一自适应参数集类型值是自适应环路滤波器亮度类型,并且其中,所述第二自适应参数集类型值是自适应环路滤波器色度类型。
9.根据权利要求1所述的装置,其中,所述处理器被配置为:
识别与所述第一自适应参数集相关联的至少一个标志,所述至少一个标志包括指示亮度滤波器数据被包括在所述第一自适应参数集中的第一标志或指示色度滤波器数据被包括在所述第一自适应参数集中的第二标志中的至少一个或多个。
10.根据权利要求9所述的装置,其中,所述第一标志的值和所述第二标志的值被独立设置。
11.根据权利要求1所述的装置,其中,所述处理器被配置为:
为第一自适应参数集类型配置第一自适应参数集缓冲器;以及
为第二自适应参数集类型配置第二自适应参数集缓冲器。
12.根据权利要求11所述的装置,其中,所述处理器被配置为:
将具有所述第一自适应参数集类型的第一自适应参数集的接收比特存储在所述第一自适应参数集缓冲器中;以及
将具有所述第二自适应参数集类型的第二自适应参数集的接收比特存储在所述第二自适应参数集缓冲器中。
13.根据权利要求1所述的装置,其中,所述处理器被配置为:
为多个自适应参数集类型中的第一自适应参数集类型配置第一缓冲器,所述第一缓冲器具有小于最大标识符值的第一标识符设置范围。
14.根据权利要求13所述的装置,其中,所述处理器被配置为:
为所述多个自适应参数集类型中的第二自适应参数集类型配置第二缓冲器,所述第二缓冲器具有小于最大标识符值的第二标识符设置范围,其中所述第二标识符设置范围不同于所述第一标识符设置范围。
15.根据权利要求1所述的装置,其中,所述处理器被配置为:
使用所述自适应参数集类型值解释所述自适应参数集标识符值。
16.根据权利要求1所述的装置,其中,所述第一自适应参数集由通过所述比特流中的一系列连续比特表示的所述自适应参数集类型值和所述自适应参数集标识符值的组合来唯一地识别。
17.根据权利要求16所述的装置,其中,所述比特流中的所述一系列连续比特中的第一比特部分表示所述自适应参数集类型值,并且所述比特流中的所述一系列连续比特中的第二比特部分表示自适应参数集类型标识符值。
18.根据权利要求16所述的装置,其中,所述比特流中的所述一系列连续比特中的第一比特部分表示所述自适应参数集类型标识符值,并且其中,所述比特流中的所述第一比特部分之后的第二比特部分表示所述自适应参数集类型值。
19.根据权利要求1所述的装置,其中,所述第一自适应参数集包括亮度滤波器系数和色度滤波器系数,其中所述亮度滤波器系数与第二自适应参数集类型值相关联,并且其中所述色度滤波器系数与不同于所述第二自适应参数集类型值的第三自适应参数集类型值相关联。
20.根据权利要求18所述的装置,其中,所述亮度滤波器系数与亮度滤波器信令通知标志相关联,并且其中,所述色度滤波器系数与不同于所述亮度滤波器信令通知标志并且独立于所述亮度滤波器信令通知标志操作的色度滤波器信令通知标志相关联。
21.根据权利要求1所述的装置,其中,所述装置包括具有显示器的移动设备,所述显示器被配置为显示所述至少一个图片。
22.根据权利要求1所述的装置,还包括耦合到所述处理器的显示器,所述显示器被配置为显示所述至少一个图片。
23.一种解码视频数据的方法,所述方法包括:
从比特流获得与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;
从所述比特流获得与所述自适应参数集网络抽象层单元相关联的自适应参数集类型值;
识别与至少一个图片的至少一部分相关联的第一自适应参数集,所述第一自适应参数集由所述自适应参数集类型值和所述自适应参数集标识符值的组合来唯一地识别,其中所述第一自适应参数集的自适应参数集标识符值在基于所述自适应参数集类型值的范围内;以及
使用具有参数的自适应环路滤波器重构所述至少一个图片的所述部分,所述参数是由所述自适应参数集类型值和所述自适应参数集标识符值唯一地识别的所述第一自适应参数集定义的。
24.根据权利要求23所述的方法,其中,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量是由所述自适应参数集类型值定义的。
25.根据权利要求24所述的方法,其中,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且其中,所述多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联,标识符值的所述第二数量不同于标识符值的所述第一数量。
26.根据权利要求24所述的方法,其中,所述自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。
27.根据权利要求24所述的方法,其中,不同数量的比特用于不同类型的自适应参数集标识符。
28.根据权利要求23所述的方法,还包括:
确定与所述视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集标识符值;
确定与所述视频比特流的第二自适应参数集网络抽象层单元相关联的第二自适应参数集类型值;
识别与所述至少一个图片的至少第二部分相关联的第二自适应参数集,所述第二自适应参数集由所述第二自适应参数集类型值和所述第二自适应参数集标识符值唯一地识别,其中所述第二自适应参数集的自适应参数集标识符值范围是基于所述第二自适应参数集类型值;以及
使用具有参数的自适应环路滤波器重构所述视频比特流的所述至少一个图片的所述至少第二部分,所述参数是由所述第二自适应参数集类型值和所述第二自适应参数集标识符值唯一地识别的所述第二自适应参数集定义的。
29.根据权利要求28所述的方法,其中,所述第二自适应参数集的自适应参数集标识符值和所述第一自适应参数集的自适应参数集标识符值是相同的值。
30.根据权利要求29所述的方法,其中,所述第一自适应参数集类型值是自适应环路滤波器亮度类型,并且其中,所述第二自适应参数集类型值是自适应环路滤波器色度类型。
31.根据权利要求23所述的方法,还包括:
识别与所述第一自适应参数集相关联的至少一个标志,所述至少一个标志包括指示亮度滤波器数据被包括在所述第一自适应参数集中的第一标志或指示色度滤波器数据被包括在所述第一自适应参数集中的第二标志中的至少一个或多个。
32.根据权利要求31所述的方法,其中,所述第一标志的值和所述第二标志的值被独立设置。
33.一种用于编码视频数据的装置,所述装置包括:
存储器;以及
处理器,其在电路中实现并且被配置为:
确定与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;
确定与所述自适应参数集网络抽象层单元相关联的自适应参数集类型值;
识别与至少一个图片的部分相关联的第一自适应参数集,所述第一自适应参数集由所述自适应参数集类型值和所述自适应参数集标识符值的组合来唯一地识别,其中所述第一自适应参数集的自适应参数集标识符值在基于所述自适应参数集类型值的范围内;以及
生成比特流,所述比特流包括编码的所述自适应参数集标识符值、所述自适应参数集类型值和所述至少一个图片的所述部分。
34.根据权利要求33所述的装置,其中,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量是由所述自适应参数集类型值定义的。
35.根据权利要求34所述的装置,其中,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且其中,所述多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联,标识符值的所述第二数量不同于标识符值的所述第一数量。
36.根据权利要求34所述的装置,其中,所述自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。
37.根据权利要求34所述的装置,其中,不同数量的比特用于不同类型的自适应参数集标识符。
38.一种编码视频数据的方法,所述方法包括:
确定与自适应参数集网络抽象层单元相关联的自适应参数集标识符值;
确定与所述自适应参数集网络抽象层单元相关联的自适应参数集类型值;
识别与至少一个图片的部分相关联的第一自适应参数集,所述第一自适应参数集由所述自适应参数集类型值和所述自适应参数集标识符值的组合来唯一地识别,其中所述第一自适应参数集的自适应参数集标识符值在基于所述自适应参数集类型值的范围内;以及
生成比特流,所述比特流包括编码的所述自适应参数集标识符值、所述自适应参数集类型值和所述至少一个图片的所述部分。
39.根据权利要求38所述的方法,其中,能够使用特定自适应参数集类型的自适应参数集标识符的最大数量由所述自适应参数集类型值定义。
40.根据权利要求39所述的方法,其中,多个自适应参数集类型的第一自适应参数集类型与第一数量的标识符值相关联,并且其中,所述多个自适应参数集类型的第二自适应参数集类型与第二数量的标识符值相关联,标识符值的所述第二数量不同于标识符值的所述第一数量。
41.根据权利要求39所述的方法,其中,所述自适应参数集标识符的最大数量对于每个自适应参数集类型是相同的值。
42.根据权利要求39所述的方法,其中,不同数量的比特用于不同类型的自适应参数集标识符。
CN202080029522.8A 2019-04-23 2020-04-08 自适应环路滤波器(alf)参数的自适应参数集(aps) Pending CN113728634A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962837711P 2019-04-23 2019-04-23
US62/837,711 2019-04-23
US201962865890P 2019-06-24 2019-06-24
US62/865,890 2019-06-24
US16/842,343 2020-04-07
US16/842,343 US11368684B2 (en) 2019-04-23 2020-04-07 Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters
PCT/US2020/027215 WO2020219269A1 (en) 2019-04-23 2020-04-08 Adaptation parameter sets (aps) for adaptive loop filter (alf) parameters

Publications (1)

Publication Number Publication Date
CN113728634A true CN113728634A (zh) 2021-11-30

Family

ID=72917474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080029522.8A Pending CN113728634A (zh) 2019-04-23 2020-04-08 自适应环路滤波器(alf)参数的自适应参数集(aps)

Country Status (5)

Country Link
US (1) US11368684B2 (zh)
EP (1) EP3959877A1 (zh)
CN (1) CN113728634A (zh)
TW (1) TW202046739A (zh)
WO (1) WO2020219269A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113711612B (zh) 2019-04-20 2023-05-26 北京字节跳动网络技术有限公司 视频编解码中的色度语法元素的信令
US11368684B2 (en) * 2019-04-23 2022-06-21 Qualcomm Incorporated Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters
US20220256201A1 (en) * 2019-05-03 2022-08-11 Mediatek Inc. Methods and Apparatuses of Syntax Signaling and Referencing Constraint in Video Coding System
KR102414543B1 (ko) * 2019-05-16 2022-06-28 엘지전자 주식회사 크로마 포멧에 기반하여 필터 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020239119A1 (en) * 2019-05-30 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering for chroma components
WO2020256513A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
CN114128272B (zh) 2019-06-20 2024-03-26 Lg电子株式会社 基于亮度样本的映射和色度样本的缩放的视频或图像编码
TW202106014A (zh) * 2019-06-20 2021-02-01 日商索尼股份有限公司 影像處理裝置及影像處理方法
CN114270823A (zh) * 2019-06-24 2022-04-01 Lg电子株式会社 基于亮度映射和色度缩放的视频或图像编码
EP4014485A4 (en) 2019-09-18 2022-10-26 Beijing Bytedance Network Technology Co., Ltd. TWO-PART SIGNALING OF ADAPTIVE LOOP FILTERS IN VIDEO CODING
US11432016B2 (en) * 2019-12-05 2022-08-30 Hfi Innovation Inc. Methods and apparatuses of syntax signaling constraint for cross-component adaptive loop filter in video coding system
WO2021191114A1 (en) * 2020-03-26 2021-09-30 Interdigital Vc Holdings France Signaling coding parameters in video coding
WO2023028965A1 (en) * 2021-09-02 2023-03-09 Nvidia Corporation Hardware codec accelerators for high-performance video encoding
WO2023062014A1 (en) * 2021-10-14 2023-04-20 Interdigital Vc Holdings France, Sas ALF APSs FOR MULTILAYER CODING AND DECODING

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130022104A1 (en) * 2011-07-18 2013-01-24 Qualcomm Incorporated Adaptation parameter sets for video coding
US20130113880A1 (en) * 2011-11-08 2013-05-09 Jie Zhao High Efficiency Video Coding (HEVC) Adaptive Loop Filter
WO2013070703A1 (en) * 2011-11-08 2013-05-16 Qualcomm Incorporated Parameter set groups for coded video data
WO2013109505A2 (en) * 2012-01-19 2013-07-25 Vid Scale, Inc. Methods, apparatus and systems for signaling video coding adaptation parameters
US20130259118A1 (en) * 2011-04-21 2013-10-03 Mediatek Inc. Method and Apparatus for Improved In-Loop Filtering

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807403B2 (en) * 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
GB2501125B (en) * 2012-04-13 2015-08-19 Canon Kk Method and device for providing adaptation parameters to a decoder
GB2580173B (en) * 2018-12-21 2022-07-27 Canon Kk A filter
SG11202109287PA (en) * 2019-02-27 2021-09-29 Huawei Tech Co Ltd Adaptation parameter set identifier value spaces in video coding
WO2020180122A1 (ko) * 2019-03-06 2020-09-10 엘지전자 주식회사 조건적으로 파싱되는 alf 모델 및 리셰이핑 모델 기반 비디오 또는 영상 코딩
US11159791B2 (en) * 2019-03-16 2021-10-26 Mediatek Inc. Method and apparatus for signaling adaptive loop filter parameters in video coding
EP3925215A4 (en) * 2019-03-24 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. ADAPTABLE MULTIPARAMETER LOOP FILTERING IN VIDEO PROCESSING
JP7405865B2 (ja) * 2019-04-15 2023-12-26 北京字節跳動網絡技術有限公司 非線形適応ループフィルタにおけるパラメータの時間的予測
US11368684B2 (en) * 2019-04-23 2022-06-21 Qualcomm Incorporated Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259118A1 (en) * 2011-04-21 2013-10-03 Mediatek Inc. Method and Apparatus for Improved In-Loop Filtering
US20130022104A1 (en) * 2011-07-18 2013-01-24 Qualcomm Incorporated Adaptation parameter sets for video coding
US20130113880A1 (en) * 2011-11-08 2013-05-09 Jie Zhao High Efficiency Video Coding (HEVC) Adaptive Loop Filter
WO2013070703A1 (en) * 2011-11-08 2013-05-16 Qualcomm Incorporated Parameter set groups for coded video data
WO2013109505A2 (en) * 2012-01-19 2013-07-25 Vid Scale, Inc. Methods, apparatus and systems for signaling video coding adaptation parameters

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MISKA M等: "AHG9 High-Level Syntax: APS loss detection", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: STOCKHOLM, SE, 11–20 JULY 2012 *

Also Published As

Publication number Publication date
EP3959877A1 (en) 2022-03-02
US11368684B2 (en) 2022-06-21
WO2020219269A1 (en) 2020-10-29
TW202046739A (zh) 2020-12-16
US20200344473A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
US10542261B2 (en) Systems and methods for processing a syntax structure assigned a minimum value in a parameter set
US11368684B2 (en) Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters
CN111201790B (zh) 基于色度量化参数偏移的编解码方法、装置、存储介质
US11190758B2 (en) Block-based quantized residual domain pulse code modulation assignment for intra prediction mode derivation
US11184607B2 (en) Same picture order count (POC) numbering for scalability support
CA2952460A1 (en) Systems and methods for selectively signaling different numbers of video signal information syntax structures in a parameter set
CN115699748A (zh) 经解码图片缓冲器(dpb)操作和接入单元定界符(aud)
WO2023107790A1 (en) Adaptive film grain synthesis
CN117769835A (zh) 绿色元数据信令

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination