CN115396666A - 基于神经网络的滤波的参数更新 - Google Patents

基于神经网络的滤波的参数更新 Download PDF

Info

Publication number
CN115396666A
CN115396666A CN202210554204.4A CN202210554204A CN115396666A CN 115396666 A CN115396666 A CN 115396666A CN 202210554204 A CN202210554204 A CN 202210554204A CN 115396666 A CN115396666 A CN 115396666A
Authority
CN
China
Prior art keywords
video
filter
parameters
bitstream
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210554204.4A
Other languages
English (en)
Inventor
李跃
张莉
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lemon Inc Cayman Island
Original Assignee
Lemon Inc Cayman Island
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lemon Inc Cayman Island filed Critical Lemon Inc Cayman Island
Publication of CN115396666A publication Critical patent/CN115396666A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种处理视频数据的方法，包括为视频和视频的比特流之间的转换，确定比特流包括指示符。该指示符指示神经网络(NN)滤波器模型的第一参数集包括与NN滤波器模型的第二参数集不同的滤波器参数。该方法还包括基于指示符来执行转换。还公开了对应的视频编解码装置和非暂时性计算机可读介质。

Description

基于神经网络的滤波的参数更新
相关申请的交叉引用
本专利申请要求Lemon有限公司于2021年5月24日提交的标题为“ParameterUpdate of Neural Network-Based Filtering(基于神经网络的滤波的参数更新)”的美国临时专利申请No.63/192,439的权益，其通过引用并入本文。
技术领域
本发明大体上涉及视频编解码，并且具体地，涉及图像/视频编解码中的环路滤波器。
背景技术
数字视频占据了互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。
发明内容
所公开的方面/实施例提供了允许在编解码过程期间改变或更新滤波器参数的技术。这样，单个NN滤波器模型可以与不同的滤波器参数集合相关联。此外，是否和/或如何改变或更新滤波器参数的指示可以被包括在比特流中。因此，相对于传统的视频编解码技术，改进了视频编解码过程。
第一方面涉及一种由编解码装置实施的方法。该方法包括：为视频和视频的比特流之间的转换，确定比特流包括指示符，其中该指示符指示神经网络(NN)滤波器模型的第一参数集包括与NN滤波器模型的第二参数集不同的滤波器参数；以及基于指示符来执行转换。
可选地，在任一前述方面，该方面的另一实施方式提供了将第一参数集或第二参数集的滤波器参数从第一值更新为第二值；以及使用第二值来处理视频的视频单元，其中该第二值是从编解码的信息中推导的。
可选地，在任一前述方面，该方面的另一实施方式提供了在编解码过程期间更新第一参数集或第二参数集中的滤波器参数中的一个或多个。
可选地，在任一前述方面，该方面的另一实施方式提供了更新第一参数集或第二参数集中的所有滤波器参数。
可选地，在任一前述方面，该方面的另一实施方式提供了更新第一参数集中的滤波器参数中的一个或多个，而保持第一参数集或第二参数集中的滤波器参数中的一个或多个。
可选地，在任一前述方面，该方面的另一实施方式提供了滤波器参数中的一个或多个与时域层、部分时域层、低时域层、高时域层、部分色彩分量、亮度分量、色度分量、条带类型、图片类型、条带、子图片、编解码树单元(CTU)行、CTU、或其组合相关联。
可选地，在任一前述方面，该方面的另一实施方式提供了仅更新第一参数集或第二参数集中的权重滤波器参数。
可选地，在任一前述方面，该方面的另一实施方式提供了仅更新第一参数集或第二参数集中的偏置滤波器参数。
可选地，在任一前述方面，该方面的另一实施方式提供了仅更新第一参数集或第二参数集中的最后k个时域层滤波器参数，其中k＝1,2,…N，并且其中N是时域层的总数。
可选地，在任一前述方面，该方面的另一实施方式提供了仅更新第一参数集或第二参数集中的前k个时域层滤波器参数，其中k＝1,2,…N，并且其中N是时域层的总数。
可选地，在任一前述方面，该方面的另一实施方式提供了仅更新第一参数集或第二参数集中的一些权重滤波器参数，并且更新第一参数集或第二参数集中的所有偏置滤波器参数。
可选地，在任一前述方面，该方面的另一实施方式提供了比特流指示是否或如何使用固定长度编解码、可变长度编解码或算术编解码之一来更新第一参数集和第二参数集中的至少一个。
可选地，在任一前述方面，该方面的另一实施方式提供了确定是否或如何基于编解码的信息来实时更新第一参数集或第二参数集中的滤波器参数。
可选地，在任一前述方面，该方面的另一实施方式提供了在每k个图片组(GOP)、每k秒或每k个随机访问点(RAP)的起始更新NN滤波器模型，其中k是零或正整数。
可选地，在任一前述方面，该方面的另一实施方式提供了根据比特流中指示的起始时间来更新NN滤波器模型。
可选地，在任一前述方面，该方面的另一实施方式提供了更新NN滤波器模型，其中关于NN滤波器模型被更新的信息被包括在比特流中。
可选地，在任一前述方面，该方面的另一实施方式提供了利用预测编解码来基于NN滤波器模型的第一滤波器参数确定NN滤波器模型的第二滤波器参数。
可选地，在任一前述方面，该方面的另一实施方式提供了比特流的第一层包括NN滤波器模型的第一滤波器参数，并且其中该方法还包括基于比特流的第一层中的第一滤波器参数来预测比特流的第二层的第二滤波器参数。
一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器：为视频和视频的比特流之间的转换，确定比特流包括指示符，其中该指示符指示神经网络(NN)滤波器模型的第一参数集包括与NN滤波器模型的第二参数集不同的滤波器参数；以及基于指示符来执行转换。
一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中该方法包括：确定比特流包括指示符，其中该指示符指示神经网络(NN)滤波器模型的第一参数集包括与NN滤波器模型的第二参数集不同的滤波器参数；以及基于指示符来生成比特流。
为了清楚的目的，前述实施例中的任何一个可以与其它前述实施例中的任何一个或多个组合，以在本公开的范围内创建新的实施例。
从结合附图和权利要求的以下详细描述中，这些和其他特征将被更清楚地理解。
附图说明
为了更完整地理解本公开，现在结合附图和详细描述参考以下简要描述，其中相同的附图标记表示相同的部分。
图1是图片的光栅扫描条带分割的示例。
图2是图片的矩形条带分割的示例。
图3是分割为片、图块(brick)和矩形条带的图片的示例。
图4A是跨底部图片界的编解码树块(CTB)的示例。
图4B是跨右边图片界的CTB的示例。
图4C是跨右下图片界的CTB的示例。
图5是编码器框图的示例。
图6是8×8样点块内的样点的图示。
图7是涉及滤波器开/关决定和强/弱滤波器选择的像素的示例。
图8示出了用于边缘偏移(EO)样点分类的四个一维(1-D)方向模式。
图9示出了基于几何变换的自适应环路滤波器(GALF)滤波器形状的示例。
图10示出了用于5×5菱形滤波器支持的相对坐标示例。
图11示出了用于5×5菱形滤波器支持的相对坐标的另一示例。
图12A是所提出的卷积神经网络(CNN)滤波器的示例架构。
图12B是残差块(ResBlock)的构建的示例。
图13是示出单向帧间预测的示例的示意图。
图14是示出双向帧间预测的示例的示意图。
图15是示出基于层的预测的示例的示意图。
图16示出了填充的视频单元，其中d1、d2、d3、d4分别是顶部、底部、左边和右边边界的填充维度。
图17示出了镜像填充，其中灰色块表示填充样点。
图18是示出示例视频处理系统的框图。
图19是视频处理装置的框图。
图20是示出视频编解码系统的示例的框图。
图21是示出视频编码器的示例的框图。
图22是示出视频解码器的示例的框图。
图23是根据本公开的实施例的用于编解码视频数据的方法。
具体实施方式
开始应该理解，尽管下面提供了一个或多个实施例的说明性实施方式，但是所公开的系统和/或方法可以使用任何数量的技术来实施，无论是当前已知的还是存在的。本公开不应该以任何方式限于以下示出的说明性实施方式、附图和技术，包括本文示出和描述的示例性设计和实施方式，而是可以在所附权利要求的范围及其等同物的全部范围内进行修改。
在某些描述中使用H.266术语仅是为了便于理解，而不是为了限制所公开技术的范围。因此，本文描述的技术也适用于其他视频编解码器协议和设计。
视频编解码标准主要是通过开发公知的国际电信联盟-电信(ITU-T)和国际标准化组织(ISO)/国际电工委员会(IEC)标准而演变的。ITU-T开发了H.261和H.263，ISO/IEC开发了运动图片专家组(MPEG)-1和MPEG-4视觉，并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(Advanced Video Coding，AVC)和H.265/高效视频编解码(HEVC)标准。
自H.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，视频编解码专家组(VCEG)和MPEG于2015年联合成立了联合视频探索团队(Joint Video Exploration Team，JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(Joint ExplorationModel，JEM)的参考软件中。
2018年4月，在VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间创建了联合视频专家团队(JVET)，其致力于研究多功能视频编解码(VVC)标准，目标为相较于HEVC有50％的比特率下降。VVC版本1于2020年7月完成。
讨论了色彩空间和色度子采样。色彩空间，也称为色彩模型(或色彩系统)，是一种抽象的数学模型，其简单地将色彩范围描述为数字元组，通常为3或4个值或色彩分量(例如，红绿蓝(RGB))。从根本上说，色彩空间是一个坐标系统和子空间的阐述。
对于视频压缩，最常用的色彩空间是YCbCr和RGB。Y’CbCr或Y Pb/Cb Pr/Cr，也写作YCBCR或Y’CBCR，是一个色彩空间系列，用作视频和数码摄影系统中色彩图像流水线的一部分。Y’是亮度分量，CB和CR(又名Cb和Cr)是蓝色差和红色差色度分量。Y’(带撇)不同于Y，Y是亮度，这意味着光强度是基于伽马校正的RGB原色非线性编码的。每个色彩分量(例如，R、B、G、Y等)可以被称为色彩通道或色彩通道类型。
色度子采样是利用人类视觉系统对色差的敏感度低于对亮度的敏感度，通过对色度信息实施比亮度信息更低的精度来对图像进行编码的实践。
讨论了色彩格式(诸如4:4:4、4:2:2和4:2:0)。
对于4:4:4色度子采样，三个Y’CbCr分量中的每一个具有相同的采样率，因此没有色度子采样。这种方案有时用于高端胶片扫描仪和电影后期制作。
对于4:2:2色度子采样，以亮度采样率的一半对两个色度分量进行采样:水平色度精度减半。这将未压缩视频信号的带宽减少了三分之一，但几乎没有视觉差异。
对于4:2:0色度子采样，与4:1:1相比，水平采样加倍，但由于在该方案中Cb和Cr通道仅在每条交替线上采样，垂直精度减半。因此，数据速率是相同的。Cb和Cr分别在水平和垂直方向上以2的因子进行子采样。4:2:0方案有三种变体，具有不同的水平和垂直选址(siting)。
在MPEG-2中，Cb和Cr在水平上共址。Cb和Cr在垂直方向的像素之间选址(间隙选址)。在联合图像专家组(JPEG)/JPEG文件交换格式(JFIF)、H.261和MPEG-1中，Cb和Cr是间隙选址的，位于交替亮度样点中间。在4:2:0DV中，Cb和Cr在水平方向上共址。在垂直方向上，它们在交替线上共址。
提供了视频单元的定义。图片被分成一个或多个片(tile)行和一个或多个片列。片是覆盖图片的矩形区域的编解码树单元(CTU)的序列。一个片被分成一个或多个图块(brick)，每个图块由片内的多个CTU行组成。未被分割成多个图块的片也称为图块。然而，作为片的真子集的图块不被称为片。条带包括图片的多个片或者片的多个图块。
支持两种条带模式，即光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式中，条带包括图片的片光栅扫描中的片序列。在矩形条带模式中，条带包括图片的多个图块，这些图块共同形成图片的矩形区域。矩形条带内的图块按照条带的图块光栅扫描顺序排列。
图1为图片100的光栅扫描条带分割的示例，其中图片被划分为十二个片102和三个光栅扫描条带104。如图所示，每个片102和光栅扫描条带104包括多个CTU 106。
图2为根据VVC规范对图片200进行矩形条带分割的示例，其中，图片被分为二十四个片202(六个片列203和四个片行205)和九个矩形条带204。如图所示，每个片202和矩形条带204包含多个CTU 206。
图3为根据VVC规范将图片300分割为片、图块和矩形条带的示例，其中图片300划分为四个片302(两个片列303和两个片行305)、十一个图块304(左上片包含一个图块，右上片包含五个图块，左下片包含两个图块，右下片包含三个图块)和四个矩形条带306。
讨论了CTU和编解码树块(CTB)尺寸。在VVC中，由语法元素log2_ctu_size_minus2在序列参数集(SPS)中信令通知的编解码树单元(CTU)尺寸可以小到4×4。序列参数集原始字节序列有效载荷(RBSP)语法如下。
Figure BDA0003654240510000071
Figure BDA0003654240510000081
log2_ctu_size_minus2 plus 2规定每个CTU的亮度编解码树块尺寸。
log2_min_luma_coding_block_size_minus2 plus 2规定最小亮度编解码块尺寸。
变量CtbLog2SizeY、CtbSizeY、MinCbLog2SizeY、MinCbSizeY、MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY、MaxTbSizeY、PicWidthInCtbsY、PicHeightInCtbsY、PicSizeInCtbsY、PicWidthInMinCbsY、PicHeightInMinCbsY、PicSizeInMinCbsY、PicSizeInSamplesY、PicWidthInSamplesC和PicHeightInSamplesC推导如下：
CtbLog2SizeY＝log2_ctu_size_minus2+2 (7-9)
CtbSizeY＝1<<CtbLog2SizeY (7-10)
MinCbLog2SizeY＝log2_min_luma_coding_block_size_minus2+2 (7-11)
MinCbSizeY＝1<<MinCbLog2SizeY (7-12)
MinTbLog2SizeY＝2 (7-13)
MaxTbLog2SizeY＝6 (7-14)
MinTbSizeY＝1<<MinTbLog2SizeY (7-15)
MaxTbSizeY＝1<<MaxTbLog2SizeY (7-16)
PicWidthInCtbsY＝Ceil(pic_width_in_luma_samples÷CtbSizeY) (7-17)
PicHeightInCtbsY＝Ceil(pic_height_in_luma_samples÷CtbSizeY) (7-18)
PicSizeInCtbsY＝PicWidthInCtbsY*PicHeightInCtbsY (7-19)
PicWidthInMinCbsY＝pic_width_in_luma_samples/MinCbSizeY (7-20)
PicHeightInMinCbsY＝pic_height_in_luma_samples/MinCbSizeY (7-21)
PicSizeInMinCbsY＝PicWidthInMinCbsY*PicHeightInMinCbsY (7-22)
PicSizeInSamplesY＝pic_width_in_luma_samples*pic_height_in_luma_samples (7-23)
PicWidthInSamplesC＝pic_width_in_luma_samples/SubWidthC (7-24)
PicHeightInSamplesC＝pic_height_in_luma_samples/SubHeightC (7-25)
图4A是跨越底部图片边界的CTB的示例。图4B是跨越右侧图片边界的CTB的示例。图4C是跨越右下图片边界的CTB的示例。在图4A-图4C中，分别有K＝M，L<N；K<M，L＝N；K<M，L<N。
参考图4A-图4C讨论了图片400中的CTU。假设由M×N指示CTB/最大编解码单元(LCU)尺寸(通常M等于N，如HEVC/VVC中所定义的)，并且对于位于图片(或片或条带或其他类型，以图片边界作为示例)边界的CTB，K×L个样点在图片边界内，其中K<M或L<N。对于图4A-图4C中所描绘的那些CTB 402，CTB尺寸仍然等于M x N，然而，CTB的底部边界/右侧边界在图片400之外。
讨论了典型视频编码器/解码器(又名编解码器)的编解码流程。图5是VVC的编码器框图的示例，其包含三个环内滤波块：去方块滤波器(DF)、样点自适应偏移(SAO)滤波器和自适应环路滤波器(ALF)。与使用预定义滤波器的DF不同，SAO滤波器和ALF借助于信令通知偏移和滤波器系数的编解码边信息，分别通过添加偏移以及应用有限脉冲响应(finiteimpulse response，FIR)滤波器而利用当前图片的原始样点来减少原始样点和重构样点之间的均方误差。ALF位于每一图片的最后处理阶段上，并且可以被视为尝试捕捉并且修复先前阶段建立的伪像的工具。
图5为编码器500的示意图。编码器500适用于实施VVC技术。编码器500包括三个环路滤波器，即，去方块滤波器(DF)502、样点自适应偏移(SAO)滤波器504和ALF 506。与使用预定义滤波器的DF 502不同，SAO滤波器504和ALF 506借助于信令通知偏移和滤波器系数的编解码边信息，分别通过添加偏移以及应用FIR滤波器而利用当前图片的原始样点来减少原始样点和重构样点之间的均方误差。ALF 506位于每一图片的最后处理阶段上，并且可以被视为尝试捕捉并且修复先前阶段建立的伪像的工具。
编码器500还包括帧内预测组件508和运动估计/补偿(ME/MC)组件510，其被配置为接收输入视频。帧内预测组件508被配置为执行帧内预测，而ME/MC组件510被配置为利用从参考图片缓冲区512获得的参考图片来执行帧间预测。来自帧间预测或帧内预测的残差块被馈送到变换组件514和量化组件516，以生成量化的残差变换系数，该系数被馈送到熵编解码组件518。熵编解码组件518对预测结果和量化的变换系数进行熵编解码，并将其发送到视频解码器(未示出)。从量化组件516输出的量化分量可以被馈送到反量化组件520、逆变换组件522和重构(REC)组件524。REC组件524能够将图像输出到DF 502、SAO 504和ALF506，以便在这些图像被存储在参考图片缓冲区512中之前进行滤波。
DF 502的输入是环内滤波器之前的重构样点。首先滤波图片中的垂直边缘。然后，利用由垂直边缘滤波过程修改的样点作为输入，对图像中的水平边缘进行滤波。每个CTU的CTB中的垂直边缘和水平边缘在编解码单元的基础上被单独处理。编解码单元中的编解码块的垂直边缘从编解码块左侧的边缘开始滤波，按照它们的几何顺序通过边缘向编解码块的右侧前进。编解码单元中编解码块的水平边缘从编解码块顶部的边缘开始滤波，按照它们的几何顺序通过边缘向编解码块的底部前进。
图6是8×8样点块604内的样点602的图示600。如图所示，图示600分别包括8×8网格上的水平块边界606和垂直块边界608。此外，图示600描绘了8×8个样点的非重叠块610，其可以被并行去方块。
讨论了边界决定。滤波应用于8×8块边界。此外，它必须是变换块边界或编解码子块边界(例如，由于使用仿射运动预测、可选时域运动矢量预测(ATMVP))。对于不是这种边界的那些边界，滤波器被禁用。
讨论了边界强度计算。对于变换块边界/编解码子块边界，如果它位于8×8网格中，则变换块边界/编解码子块边界可以被滤波，并且该边缘的bS[xDi][yDj](其中[xDi][yDj]表示坐标)的设置分别在表1和表2中定义。
表1.边界强度(当SPS帧内块复制(IBC)禁用时)
Figure BDA0003654240510000111
表2.边界强度(当SPS IBC启用时)
Figure BDA0003654240510000112
Figure BDA0003654240510000121
讨论了亮度分量的去方块决定。
图7为滤波器开/关决定和强/弱滤波器选择中涉及的像素的示例700。仅当条件1、条件2和条件3都为真时，才使用较宽较强的亮度滤波器。条件1是“大块条件”。这个条件检测P侧和Q侧的样点是否属于大块，分别用变量bSidePisLargeBlk和bSideQisLargeBlk表示。bSidePisLargeBlk和bSideQisLargeBlk的定义如下。
bSidePisLargeBlk＝((边类型为垂直的，并且p0属于宽度>＝32的CU)||(边类型为水平的，并且p0属于高度>＝32的CU))？TRUE:FLASE
bSideQisLargeBlk＝((边类型为垂直的，并且q0属于宽度>＝32的CU)||(边类型为水平的，并且q0属于高度>＝32的CU))？TRUE:FLASE
基于bSidePisLargeBlk和bSideQisLargeBlk，条件1定义如下。
条件1＝(bsidepislageblk||bsidepislageblk)？TRUE:FLASE
接下来，如果条件1为真，将进一步检查条件2。首先，推导出以下变量。
在HEVC中，首先导出dp0、dp3、dq0、dq3。
如果(p侧大于或等于32)
dp0＝(dp0+Abs(p50-2*p40+p30)+1)>>1
dp3＝(dp3+Abs(p53-2*p43+p33)+1)>>1
如果(q侧大于或等于32)
dq0＝(dq0+Abs(q50-2*q40+q30)+1)>>1
dq3＝(dq3+Abs(q53-2*q43+q33)+1)>>1
条件2＝(d<β)？TRUE:FALSE
其中d＝dp0+dq0+dp3+dq3。
如果条件1和条件2有效，则进一步检查任何块是否使用子块。
Figure BDA0003654240510000131
最后，如果条件1和条件2都有效，则所提出的去方块方法将检查条件3(大块强滤波条件)，其定义如下。
在条件3StrongFilterCondition中，推导出以下变量。
dpq是如在HEVC中推导出的。
Figure BDA0003654240510000132
Figure BDA0003654240510000141
如在HEVC中，StrongFilterCondition＝(dpq小于(β>>2)，sp3+sq3小于(3*β>>5)，并且Abs(p0-q0)小于(5*tC+1)>>1)？TRUE:FALSE。
讨论了亮度的较强去方块滤波器(为较大块设计)。
当边界任一侧的样点属于大块时，使用双线性滤波器。当垂直边缘的宽度>＝32且水平边缘的高度>＝32时，属于大块的样点被定义。
双线性滤波器如下所列。
然后，在上述HEVC去方块中，对于i＝0至Sp-1的块边界样点pi和j＝0至Sq-1的块边界样点qj由线性插值替换，pi和qj是用于对垂直边缘滤波的一行中的第i个样点，或者是用于对水平边缘滤波的一列中的第j个样点，如下所示。
pi′＝(fi*Middles,t+(64-fi)*Ps+32)＞＞6),clipped to pi±tcPDi
qj′＝(gj*Middles,t+(64-gj)*Qs+32)＞＞6),clipped to qj±tcPDj
其中，tcPDi和tcPDj术语是以下描述的位置相关的裁剪(clipping)并且以下给出gj、fi、Middles,t、Ps和Qs。
讨论了色度的去方块控制。
在块边界的两侧使用色度强滤波器。这里，当色度边缘的两侧都大于或等于8(色度位置)时，选择色度滤波器，并且满足具有三个条件的以下决定。首先是边界强度以及大块的决定。当色度采样域中与块边缘正交的块宽度或高度等于或大于8时，可以应用所提出的滤波器。对于HEVC亮度去方块决定，第二决定和第三决定基本上相同，分别是开/关决定和强滤波决定。
在第一决定中，对色度滤波修改边界强度(bS),并顺序检查条件。如果满足一个条件，则跳过其余优先级较低的决定。
当bS等于2时执行色度去方块，或当检测到大块边界时bS等于1。
第二决定和第三决定基本上与HEVC亮度强滤波决定相同，其如下所示。
在第二决定中：如在HEVC亮度去方块中那样推导出d。当d小于β时，第二决定为TRUE。
在第三决定中，StrongFilterCondition推导如下。
sp3＝Abs(p3-p0)，如在HEVC中推导出的
sq3＝Abs(q0-q3)，如在HEVC中推导出的
如在HEVC设计中，StrongFilterCondition＝(dpq小于(β>>2)，sp3+sq3小于(β>>3)，Abs(p0-q0)小于(5*tC+1)>>1)。
讨论了色度的强去方块滤波器。定义了以下色度的强去方块滤波器。
p2′＝(3*p3+2*p2+p1+p0+q0+4)>>3
p1′＝(2*p3+p2+2*p1+p0+q0+q1+4)>>3
p0′＝(p3+p2+p1+2*p0+q0+q1+q2+4)>>3
所提出的色度滤波器在4×4色度样点网格上执行去方块。
讨论了位置相关裁剪(tcPD)。位置相关裁剪tcPD应用于亮度滤波过程的输出样点，该过程涉及修改边界处的7、5和3个样点的强和长滤波器。假设量化误差分布，提出增加预计具有较高量化噪声的样点的裁剪值，因此预计重构样点值与真实样点值的偏差较大。
对于使用非对称滤波器滤波的每个P或Q边界，根据边界强度计算中的做出决定过程的结果，从提供给解码器作为边信息的两个表(即，下面制表的Tc7和Tc3)中选择位置相关阈值表。
Tc7＝{6,5,4,3,2,1,1}；Tc3＝{6,4,2}；
tcPD＝(Sp＝＝3)？Tc3:Tc7；
tcQD＝(Sq＝＝3)？Tc3:Tc7；
对于用短对称滤波器滤波的P或Q边界，应用较低幅度的位置相关阈值。
Tc3＝{3,2,1}；
在定义阈值后，根据tcP和tcQ裁剪值对滤波后的p’i和q’j样点值进行裁剪。
p”i＝Clip3(p’i+tcPi,p’i–tcPi,p’i)；
q”j＝Clip3(q’j+tcQj,q’j–tcQj,q’j)；
其中p’i和q’j是滤波后的样点值p”i和q”j是裁剪后的输出样点值，tcPi和tcQj是从VVC tc参数以及tcPD和tcQD推导出的裁剪阈值。函数Clip3是在VVC中规定的裁剪函数。
讨论子块去方块调整。
为了使用长滤波器和子块去方块来实现并行友好去方块，长滤波器被限制为在使用子块去方块(AFFINE或ATMVP或解码器侧运动矢量细化(DMVR))的一侧最多修改5个样点，如长滤波器的亮度控制中所示。此外，调整子块去方块，使得靠近编解码单元(CU)或隐式变换单元(TU)边界的8×8网格上的子块边界被限制为在每一侧最多修改两个样点。
以下内容适用于未与CU边界对齐的子块边界。
Figure BDA0003654240510000161
其中边缘(edge)等于0对应于CU边界，边缘等于2或等于orthogonalLength-2对应于来自CU边界的子块边界8个样点等。其中如果使用TU的隐式划分，则隐式TU为真。
讨论了样点自适应偏移(SAO)。SAO的输入是去方块(DB)后的重构样点。SAO的概念是通过首先用选择的分类器将区域样点分类成多个类别，获得每个类别的偏移，然后将该偏移加到该类别的每个样点，来减少区域的平均样点失真，其中，分类器索引和区域的偏移被编解码在比特流中。在HEVC和VVC中，区域(SAO参数信令通知的单元)被定义为CTU。
HEVC采用两种可以满足低复杂度要求的SAO类型。这两种类型是边缘偏移(EO)和频带(band)偏移(BO)，下面将详细讨论。SAO类型的索引被编解码(在[0，2]的范围内)。对于EO，样点分类基于当前样点和临近样点之间的比较，根据一维方向方案：水平、垂直、135°对角线和45°对角线。
图8示出了EO样点分类的四个一维(1-D)方向模式(pattern)800：水平(EO分类＝0)、垂直(EO分类＝1)、135°对角线(EO分类＝2)和45°对角线(EO分类＝3)。
对于给定的EO分类，CTB内的每个样点被分类为五个类别之一。标记为“c”的当前样点值与其沿所选择的1-D模式的两个临近样点值进行比较。每个样点的分类规则总结在表3中。类别1和4分别与沿着所选择的1-D模式的局部谷和局部峰相关联。类别2和3分别与沿着所选择的1-D方案的凹角和凸角相关联。如果当前样点不属于EO类别1-4，则它属于类别0，且不适用SAO。
表3：边缘偏移的样点分类规则
类别 条件
1 c<a并且c<b
2 (c<a&&c＝＝b)||(c＝＝a&&c<b)
3 (c>a&&c＝＝b)||(c＝＝a&&c>b)
4 c>a&&c>b
5 以上都不是
讨论了联合探索模型(JEM)中基于几何变换的自适应环路滤波器。DB的输入是DB和SAO之后的重构样点。样点分类和滤波过程基于DB和SAO之后的重构样点。
在JEM中，应用了具有基于块的滤波器自适应的基于几何变换的自适应环路滤波器(GALF)。对于亮度分量，基于局部梯度的方向和有效性(activity)，为每个2×2块选择25个滤波器中的一个。
讨论了滤波器的形状。图9示出了GALF滤波器形状900的示例，包括左边的5×5菱形、右边的7×7菱形、以及中间的9×9菱形。在JEM中，可以为亮度分量选择多达三种菱形滤波器形状(如图9所示)。在图片级别信令通知索引，以指示用于亮度分量的滤波器形状。每个方块代表一个样点，Ci(i为0～6(左)，0～12(中)，0～20(右))表示应用于该样点的系数。对于图片中的色度分量，总是使用5×5菱形。
讨论了块分类。每个2×2块被分成25类中的一类。分类索引C基于其方向性D和有效性
Figure BDA0003654240510000171
的量化值被推导出，如下所示。
Figure BDA0003654240510000181
为了计算D和
Figure BDA0003654240510000182
首先使用1-D拉普拉斯算子计算水平、垂直和两个对角线方向的梯度。
Figure BDA0003654240510000183
Figure BDA0003654240510000184
Figure BDA0003654240510000185
Figure BDA0003654240510000186
索引i和j指的是2×2块中左上样点的坐标，并且R(i,j)表示坐标(i，j)处的重构样点。
那么水平和垂直方向的梯度的最大值和最小值被设置为：
Figure BDA0003654240510000187
两个对角线方向的梯度的最大值和最小值设置为：
Figure BDA0003654240510000188
为了推导出方向性D的值，将这些值相互比较并与两个阈值t1和t2比较：
步骤1.如果
Figure BDA0003654240510000189
并且
Figure BDA00036542405100001810
为真，则D被设置为0。
步骤2.如果
Figure BDA00036542405100001811
则从步骤3继续；否则从步骤4继续。
步骤3.如果
Figure BDA00036542405100001812
则D被设置为2；否则D被设置为1。
步骤4.如果
Figure BDA00036542405100001813
则D被设置为4；否则D被设置为3。
有效性值A计算如下：
Figure BDA0003654240510000191
A被进一步量化到0至4的范围，并且量化值被表示为
Figure BDA0003654240510000192
对于图片中的两个色度分量，不应用分类方法，即，对于每个色度分量应用单组ALF系数。
讨论了滤波器系数的几何变换。
图10示出了用于5×5菱形滤波器支持的相对坐标1000的示例——分别为对角线、垂直翻转和旋转(从左到右)。
在对每个2×2块进行滤波之前，根据为该块计算的梯度值，对与坐标(k，l)相关联的滤波器系数f(k,l)应用诸如旋转或对角反翻转和垂直翻转之类的几何变换。这相当于将这些变换应用于滤波器支持区域中的样点。这个想法是通过对齐不同的块的方向性来使这些应用ALF的不同的块更加相似。
引入了三种几何变换，包括对角线、垂直翻转和旋转：
对角线：fD(k,l)＝f(l,k),
垂直翻转：fV(k,l)＝f(k,K-l-1),(9)
旋转：fR(k,l)＝f(K-l-1,k)
其中K是滤波器的尺寸，并且0≤k,l≤K-1是系数坐标，使得位置(0，0)位于左上角，并且位置(K-1，K-1)位于右下角。根据为该块计算的梯度值，将变换应用于滤波器系数f(k,l)。表4总结了变换和四个方向的四个梯度之间的关系。
表4：为一个块计算的梯度和变换之间的映射
梯度值 变换
g<sub>d2</sub>&lt;g<sub>d1</sub>且g<sub>h</sub>&lt;g<sub>v</sub> 无变换
g<sub>d2</sub>&lt;g<sub>d1</sub>且g<sub>v</sub>&lt;g<sub>h</sub> 对角线
g<sub>d1</sub>&lt;g<sub>d2</sub>且g<sub>h</sub>&lt;g<sub>v</sub> 垂直翻转
g<sub>d1</sub>&lt;g<sub>d2</sub>且g<sub>v</sub>&lt;g<sub>h</sub> 旋转
讨论了滤波器参数的信令通知。在JEM中，为第一CTU信令通知GALF滤波器参数，即，在第一CTU的条带标头之后和SAO参数之前。最多可以发送25组亮度滤波器系数。为了减少比特开销，可以合并不同分类的滤波器系数。此外，参考图片的GALF系数被存储并被允许重新用作当前图片的GALF系数。当前图片可以选择使用为参考图片存储的GALF系数，并绕过GALF系数信令。在这种情况下，只信令通知一个参考图片的索引，并且为当前图片继承所指示的参考图片的存储的GALF系数。
为了支持GALF时域预测，维护GALF滤波器集合的候选列表。在解码新序列的开始，候选列表是空的。在解码一个图片之后，相应的滤波器集合可以被添加到候选列表中。一旦候选列表的尺寸达到最大允许值(即，在当前的JEM中为6)，新的滤波器集合就按解码顺序覆盖最老的集合，也就是说，先入先出(FIFO)规则被应用来更新候选列表。为了避免重复，只有当相应的图片不使用GALF时域预测时，才能将该集合添加到列表中。为了支持时域可缩放性，存在多个滤波器集合的候选列表，并且每个候选列表与时域层相关联。更具体地，由时域层索引(TempIdx)分配的每个数组可以组成具有等于较低TempIdx的先前解码的图片的滤波器集合。例如，第k个数组被分配为与等于k的TempIdx相关联，并且第k个数组仅包含来自TempIdx小于或等于k的图片的滤波器集合。在对某个图片进行编解码之后，与该图片相关联的滤波器集合将被用于更新与等于或更高的TempIdx相关联的那些数组。
GALF系数的时域预测用于帧间编解码帧，以最小化信令开销。对于帧内帧，时域预测不可用，并且一组16个固定滤波器被分配给每个类别。为了指示固定滤波器的使用，信令通知每个类别的标志，并且如果需要，还通知所选固定滤波器的索引。即使当固定滤波器被选择用于给定类别时，自适应滤波器f(k,l)的系数仍然可以被发送用于该类别，在这种情况下，将被应用于重构图像的滤波器的系数是两组系数的总和。
亮度分量的滤波过程可以在CU级别进行控制。信令通知一个标志来指示GALF是否应用于CU的亮度分量。对于色度分量，是否应用GALF仅在图片级上指示。
讨论了滤波过程。在解码器侧，当对块启用GALF时，块内的每个样点R(i,j)被滤波，产生如下所示的样点值R′(i,j)，其中L表示滤波器长度，fm,n表示滤波器系数，f(k,l)表示解码的滤波器系数。
Figure BDA0003654240510000201
图11示出了假设当前样点的坐标(i,j)为(0,0)时，用于5×5菱形滤波器支持的相对坐标1100的另一示例。用相同色彩填充的不同坐标中的样点乘以相同的滤波器系数。
讨论了VVC中的基于几何变换的自适应环路滤波器(GALF)。在VVC测试模型4.0(VTM4.0)中，自适应环路滤波器的滤波过程执行如下：
O(x,y)＝∑(i,j)w(i,j).I(x+i,y+j) (11)
其中，样点I(x+i,y+j)是输入样点，O(x,y)是滤波后的输出样点(即，滤波结果)，并且w(i,j)表示滤波系数。实际上，在VTM4.0中，其是使用整数算术用于定点精度计算来实施的。
Figure BDA0003654240510000211
其中，L表示滤波器长度，并且其中，w(i,j)是定点精度的滤波器系数。
与JEM中的设计相比，VVC中GALF的当前设计有以下主要变化：
1)自适应滤波器形状被移除。亮度分量只允许7×7滤波器形状，色度分量只允许5×5滤波器形状。
2)将ALF参数的信令通知从条带/图片级别移到CTU级别。
3)在4×4级别而不是2×2来执行类别索引的计算。此外，如在JVET-L0147中提出的，利用为ALF分类的子采样拉普拉斯计算方法。更具体地，不需要为一个块内的每个样点计算水平/垂直/45对角线/135度梯度。而是，使用1:2子采样。
关于滤波重构，讨论了当前VVC中的非线性ALF。
等式(11)可以在不影响编解码效率的情况下，重新表达为以下表达式：
O(x,y)＝I(x,y)+∑(i,j)≠(0,0)w(i,j).(I(x+i,y+j)-I(x,y)) (13)
其中w(i,j)是与等式(11)中相同的滤波器系数[除了w(0,0)在等式(13)中等于1，而在等式(11)中等于1-∑(i,j)≠(0,0)w(i,j)]。
使用等式(13)的上述滤波器公式，VVC引入了非线性，以通过使用简单的裁剪函数来降低在临近样点值(I(x+i,y+j))与滤波后的当前样点值(I(x,y))相差太大时的影响，从而使ALF更有效。
更具体地，ALF滤波器修改如下：
O′(x,y)＝I(x,y)+∑(i,j)≠(0,0)w(i,j).K(I(x+i,y+j)-I(x,y),k(i,j)) (14)
其中，K(d,b)＝min(b,max(-b,d))是裁剪函数，并且k(i,j)是取决于(i,j)滤波器系数的裁剪参数。编码器执行优化以找到最佳的k(i,j)。
在JVET-N0242实施方式中，为每个ALF滤波器规定裁剪参数k(i,j)，并且为每个滤波器系数信令通知一个裁剪值。这意味着为每个亮度滤波器在比特流中最多可以信令通知12个裁剪值，为色度滤波器最多可以信令通知6个裁剪值。
为了限制信令通知成本和编码器复杂度，仅使用4个固定值，它们对于INTER和INTRA条带是相同的。
因为亮度的局部差值的方差通常高于色度的局部差值的方差，所以应用两组不同的亮度和色度滤波器。还引入了每组中的最大样点值(这里对于10比特-比特深度为1024)，以便在不必要时可以禁用裁剪。
表5提供了JVET-N0242测试中使用的裁剪值的集合。这4个值是通过在对数域中对亮度的样点值(以10比特编解码)的全范围和色度的从4至1024的范围进行粗略等分而选择的。
更准确地，裁剪值的亮度表是通过以下公式获得的：
Figure BDA0003654240510000221
其中M＝210且N＝4 (15)
类似地，裁剪值的色度表是通过以下公式获得的：
Figure BDA0003654240510000222
其中M＝210,N＝4且A＝4 (16)
表5:授权的裁剪值
Figure BDA0003654240510000223
通过使用Golomb编码方案，在“alf_data”语法元素中对与上表5中的裁剪值索引相对应的所选择的裁剪值进行编解码。该编码方案与滤波器索引的编码方案相同。
讨论了为视频编解码的基于卷积神经网络的环路滤波器。
在深度学习中，卷积神经网络(CNN或ConvNet)是一类深度神经网络，最常用于分析视觉图像。它们在图像和视频识别/处理、推荐系统、图像分类、医学图像分析、和自然语言处理中有非常成功的应用。
CNN是多层感知器的正则化版本。多层感知器通常意味着全连接网络，即，一层中的每个神经元都与下一层中的所有神经元相连。这些网络的“完全连接性”使得它们容易过度拟合数据。典型的正则化方法包括向损失函数添加某种形式的权重幅值度量。CNN采取了一种不同的正则化方法：它们利用数据中的层次方案，并使用更小和更简单的方案组装更复杂的方法。因此，在连通性和复杂度的尺度上，CNN处于较低的极端。
与其他图像分类/处理算法相比，CNN使用相对较少的预处理。这意味着网络学习传统算法中手工设计的滤波器。这种在特征设计中独立于现有知识和人工努力是一个主要的优势。
基于深度学习的图像/视频压缩通常有两种含义：完全基于神经网络的端到端压缩，以及由神经网络增强的传统框架。在Johannes
Figure BDA0003654240510000231
Valero Laparra和EeroP.Simoncelli的“End-to-end optimization of nonlinear transform codes forperceptual quality(为感知质量的非线性变换代码的端到端优化)”，2016年，图片编码研讨会(PCS)第1-5页，电气和电子工程师协会(IEEE)以及Lucas Theis、Wenzhe Shi、AndrewCunningham和Ferenc
Figure BDA0003654240510000232
的“Lossy image compression with compressiveautoencoders(使用压缩自动编解码器的有损图像压缩)”，arXiv前传arXiv:1703.00395(2017)中讨论了完全基于神经网络的端到端压缩。在Jiahao Li、Bin Li、Jizheng Xu、Ruiqin Xiong和Wen Gao的“Fully Connected Network-Based Intra Prediction forImage Coding(基于全连接网络的图像编解码帧内预测)”，IEEE图像处理汇刊27，7(2018)，3236–3247，Yuanying Dai、Dong Liu和Feng Wu的“A convolutional neural networkapproach for post-processing in HEVC intra coding(HEVC帧内编解码中的后处理的卷积神经网络方法)”，MMM.Springer,28–39，Rui Song、Dong Liu、Houqiang Li和Feng Wu的“Neural network-based arithmetic coding of intra prediction modes in HEVC(HEVC中帧内预测模式的基于神经网络的算术编解码)”，VCIP.IEEE,1–4和J.Pfaff、P.Helle、D.Maniry、S.Kaltenstadler、W.Samek、H.Schwarz、D.Marpe和T.Wiegand，“Neuralnetwork based intra prediction for video coding(为视频编解码的基于神经网络的帧内预测)”，数字图像处理应用XLI，第10752卷，国际光学和光子学会，1075213中讨论了由神经网络增强的传统框架。
端到端压缩通常采用类似自动编码器的结构，通过卷积神经网络或递归神经网络实现。虽然单纯依靠神经网络进行图像/视频压缩可以避免任何手动优化或手工设计，但压缩效率可能并不令人满意。因此，致力于第二种类型的压缩的研究在于以神经网络为辅助，通过替换或增强某些模块来增强传统的压缩框架。这样，他们可以继承高度优化的传统框架的优点。例如，在Jiahao Li、Bin Li、Jizheng Xu、Ruiqin Xiong和Wen Gao,“FullyConnected Network-Based Intra Prediction for Image Coding(为图像编解码的基于全连接网络的帧内预测)”，IEEE图像处理汇刊27，7(2018)，第3236-3247页中讨论的，在HEVC中所提出的帧内预测的全连接网络。
除了帧内预测，深度学习也用于增强其他模块。例如，HEVC的环内滤波器被卷积神经网络所取代，并且在Yuanying Dai、Dong Liu和Feng Wu,“A convolutional neuralnetwork approach for post-processing in HEVC intra coding(HEVC帧内编解码中的后处理的卷积神经网络方法)”MMM.Springer,28–39中取得了令人满意的结果。在RuiSong、Dong Liu、Houqiang Li和Feng Wu,“Neural network-based arithmetic coding ofintra prediction modes in HEVC(HEVC帧内预测模式的基于神经网络的算术编解码)”，VCIP.IEEE,1–4中的研究应用神经网络来改进算术编解码引擎。
讨论了基于卷积神经网络的环内滤波。在有损图像/视频压缩中，重构帧是原始帧的近似，因为量化过程是不可逆的，从而导致重构帧失真。为了减轻这种失真，可以训练卷积神经网络来学习从失真帧到原始帧的映射。实际上，在部署基于CNN的环内滤波之前，必须进行训练。
讨论了训练。训练过程的目的是找到包括权重和偏置的参数的最佳值。
首先，编解码器(例如，HM、JEM、VTM等)用于压缩训练数据集以生成失真的重构帧。然后，将重构的帧馈送到CNN，并使用CNN的输出和真实(groundtruth)帧(原始帧)计算成本。常用的成本函数包括绝对差值和(SAD)和均方误差(MSE)。接下来，通过反向传播算法推导出成本相对于每个参数的梯度。利用梯度，可以更新参数值。重复上述过程，直到满足收敛标准。在完成训练之后，推导出的最佳参数被保存以用于推断阶段。
讨论了卷积过程。在卷积过程中，滤波器在图像上从左到右、从上到下移动，水平移动时改变一个像素列，垂直移动时改变一个像素行。将滤波器应用到输入图像之间的移动量被称为步幅(stride)，并且它在高度和宽度维度上几乎总是对称的。对于高度和宽度移动，二维中的默认(多个)步幅是(1，1)。
图12A是所提出的CNN滤波器的示例架构1200，并且图12B是残差块(ResBlock)的构建1250的示例。在大多数深度卷积神经网络中，残差块被用作基本模块并被堆叠几次以构建最终网络，其中在一个示例中，残差块是通过组合卷积层、ReLU/PReLU激活函数和卷积层而获得的，如图12B所示。
讨论了推断。在推断阶段期间，失真的重构帧被馈送到CNN并由CNN模型处理，该CNN模型的参数已经在训练阶段中被确定。CNN的输入样点可以是DB之前或之后的重构样点、或者SAO之前或之后的重构样点、或者ALF之前或之后的重构样点。
当前基于CNN的环路滤波存在以下问题。首先，对于离线NN滤波器模型，网络参数是固定的。因此，离线NN滤波器模型无法适应不同的视频内容。第二，对于在线NN滤波器模型，所有网络参数都被更新并在比特流中被信令通知，这导致严重的过载。
本文公开了解决一个或多个前述问题的技术。例如，本公开提供了允许在编解码过程期间改变或更新滤波器参数的技术。这样，单个NN滤波器模型可以与不同的滤波器参数集合相关联。此外，是否和/或如何改变或更新滤波器参数的指示可以被包括在比特流中。因此，相对于传统的视频编解码技术，改进了视频编解码过程。
下面的详细实施例应该被认为是解释一般概念的示例。这些实施例不应该被狭义地解释。此外，这些实施例可以以任何方式组合。
一个或多个神经网络(NN)滤波器模型被训练为环内滤波技术或在后处理阶段使用的滤波技术的一部分，用于减少压缩期间引起的失真。具有不同特性的样点由不同的NN滤波器模型处理。本公开阐述如何决定不同视频单元的填充尺寸以实现更好的性能、以及如何处理位于视频单元边界处的样点。
在本公开中，NN滤波器可以是任何种类的NN滤波器，诸如卷积神经网络(CNN)滤波器。在以下讨论中，NN滤波器也可以被称为非CNN滤波器，例如，使用基于机器学习的解决方案的滤波器。
在以下讨论中，视频单元可以是序列、图片、条带、片、图块、子图片、CTU/CTB、CTU/CTB行、一个或多个CU/编解码块(CB)、一个或多个CTU/CTB、一个或多个虚拟流水线数据单元(VPDU)、图片/条带/片/图块内的子区域。父视频单元表示比视频单元大的单元。通常，父单元将包含几个视频单元，例如，当视频单元是CTU时，父单元可以是条带、CTU行、多个CTU等。在一些实施例中，视频单元可以是样点/像素。
图13是示出单向帧间预测1300的示例的示意图。单向帧间预测1300可以用于确定在分割图片时创建的编码和/或解码块的运动矢量。
单向帧间预测1300采用具有参考块1331的参考帧1330来预测当前帧1310中的当前块1311。如图所示，参考帧1330可以在时域上位于当前帧1310之后(例如，作为后续参考帧)，但是在一些示例中，也可以在时域上位于当前帧1310之前(例如，作为在前参考帧)。当前帧1310是在特定时间被编码/解码的示例帧/图片。当前帧1310包含与参考帧1330的参考块1331中的对象相匹配的当前块1311中的对象。参考帧1330是用作编码当前帧1310的参考的帧，并且参考块1331是参考帧1330中包含也被包含在当前帧1310的当前块1311中的对象的块。
当前块1311是在编解码过程中的指定点处被编码/解码的任何编解码单元。当前块1311可以是整个分割块，或者当采用仿射帧间预测模式时可以是子块。当前帧1310与参考帧1330分开某个时域距离(TD)1333。TD 1333指示视频序列中当前帧1310和参考帧1330之间的时间量，并且可以以帧为单位来测量。当前块1311的预测信息可以通过指示帧之间的方向和时域距离的参考索引来参考参考帧1330和/或参考块1331。在由TD 1333表示的时间段内，当前块1311中的对象从当前帧1310中的位置移动到参考帧1330中的另一位置(例如，参考块1331的位置)。例如，对象可以沿着运动轨迹1313移动，其是对象随时间移动的方向。运动矢量1335描述了对象在TD 1333内沿着运动轨迹1313移动的方向和幅度。因此，编码的运动矢量1335、参考块1331以及包括当前块1311和参考块1331之间的差的残差提供了足以重构当前块1311并将当前块1311放在当前帧1310中的信息。
图14是示出双向帧间预测1400的示例的示意图。双向帧间预测1400可以用于确定在分割图片时创建的编码和/或解码块的运动矢量。
双向帧间预测1400类似于单向帧间预测100，但是采用一对参考帧来预测当前帧1410中的当前块1411。因此，当前帧1410和当前块1411基本上分别类似于当前帧1310和当前块1311。当前帧1410在时域上位于视频序列中当前帧1410之前出现的在前参考帧1420和视频序列中当前帧1410之后出现的后续参考帧1430之间。在前参考帧1420和后续参考帧1430在其他方面基本上类似于参考帧1330。
当前块1411与在前参考帧1420中的在前参考块1421和后续参考帧1430中的后续参考块1431相匹配。这样的匹配指示在视频序列的过程中，对象沿着运动轨迹1413并经由当前块1411从在前参考块1421处的位置移动到后续参考块1431处的位置。当前帧1410与在前参考帧1420分开某个在前时域距离(TD0)1423，并且与后续参考帧1430分开某个后续时域距离(TD1)1433。TD0 1423以帧为单位指示视频序列中在前参考帧1420和当前帧1410之间的时间量。TD1 1433以帧为单位指示视频序列中当前帧1410和后续参考帧1430之间的时间量。因此，对象在由TD0 1423指示的时间段内沿着运动轨迹1413从在前参考块1421移动到当前块1411。对象还在由TD1 1433指示的时间段内沿着运动轨迹1413从当前块1411移动到后续参考块1431。当前块1411的预测信息可以通过指示帧之间的方向和时域距离的一对参考索引来参考在前参考帧1420和/或在前参考块1421以及后续参考帧1430和/或后续参考块1431。
在前运动矢量(MV0)1425描述了对象在TD0 1423内(例如，在前参考帧1420和当前帧1410之间)沿着运动轨迹1413的运动的方向和幅度。后续运动矢量(MV1)1435描述了对象在TD1 1433内(例如，当前帧1410和后续参考帧1430之间)沿着运动轨迹1413的运动的方向和幅度。这样，在双向帧间预测1400中，当前块1411可以通过采用在前参考块1421和/或后续参考块1431、MV0 1425和MV1 1435来编解码和重构。
在实施例中，帧间预测和/或双向帧间预测可以在逐样点(例如，逐像素)的基础上而不是逐块的基础上进行。也就是说，可以为当前块1411中的每个样点确定指向在前参考块1421和/或后续参考块1431中的每个样点的运动矢量。在这样的实施例中，图14中描绘的运动矢量1425和运动矢量1435表示与当前块1411、在前参考块1421和后续参考块1431中的多个样点相对应的多个运动矢量。
在Merge模式和高级运动矢量预测(AMVP)模式中，通过以候选列表确定模式定义的顺序将候选运动矢量添加到候选列表来生成候选列表。这样的候选运动矢量可以包括根据单向帧间预测1300、双向帧间预测1400或其组合的运动矢量。具体地，当对邻近块进行编码时，为这样的块生成运动矢量。这样的运动矢量被添加到当前块的候选列表中，并且从候选列表中选择当前块的运动矢量。然后，可以信令通知运动矢量，作为候选列表中所选择的运动矢量的索引。解码器可以使用与编码器相同的过程来构建候选列表，并且可以基于信令通知的索引来从候选列表中确定所选择的运动矢量。因此，候选运动矢量包括根据单向帧间预测1300和/或双向帧间预测1400生成的运动矢量，这取决于当对这样的相邻块进行编码时使用哪种方法。
条带是图片的片内的整数个完整片或整数个连续完整编解码树单元(CTU)行，其被排他地包含在单个网络抽象层(NAL)单元中。当条带包含使用帧内预测生成的一个或多个视频单元时，条带可以被称为I条带或I条带类型。当条带包含如图13所示的使用单向帧间预测生成的一个或多个视频单元时，条带可以被称为P条带或P条带类型。当条带包含如图14所示的使用双向帧间预测生成的一个或多个视频单元时，条带可以被称为B条带或B条带类型。
图15是示出基于层的预测1500的示例的示意图。基于层的预测1500与单向帧间预测和/或双向帧间预测兼容，但是也在不同层中的图片之间执行。
基于层的预测1500被应用于不同层(又名时域层)中的图片1511、1512、1513和1514与图片1515、1516、1517和1518之间。在所示的示例中，图片1511、1512、1513和1514是层N+1 1532的一部分，并且图片1515、1516、1517和1518是层N 1531的一部分。诸如层N1531和/或层N+1 1532的层是图片组，它们都与类似的特性值相关联，诸如类似的尺寸、质量、分辨率、信噪比、容量等。在所示的示例中，层N+1 1532与比层N 1531更大的图像尺寸相关联。因此，在此示例中，层N+1 1532中的图片1511、1512、1513和1514比层N 1531中的图片1515、1516、1517和1518具有更大的图片尺寸(例如，更大的高度和宽度，因此有更多的样点)。然而，这样的图片可以通过其他特性在层N+1 1532和层N 1531之间被分开。虽然仅示出了两个层，层N+1 1532和层N 1531，但是图片集合可以基于相关联的特性被分成任何数量的层。层N+1 1532和层N 1531也可以由层标识符(ID)表示。层ID是与图片相关联的数据项，并且表示图片是所指示的层的一部分。因此，每个图片1511-1518可以与对应的层标识符(ID)相关联，以指示层N+1 1532或层N 1531中的哪一个包括对应的图片。
不同层1531-1532中的图片1511-1518被配置为交替显示。这样，不同层1531-1532中的图片1511-1518可以共享相同的时域ID，并且可以被包括在相同的访问单元(AU)1506中。如本文所使用的，AU是与用于从解码图片缓冲区(DPB)输出的相同显示时间相关联的一个或多个编解码图片的集合。例如，如果期望较小的图片，解码器可以在当前显示时间解码并显示图片1515，或者如果期望较大的图片，解码器可以在当前显示时间解码并显示图片1511。这样，较高层N+1 1532处的图片1511-1514包含与较低层N 1531处的对应图片1515-1518基本相同的图像数据(尽管图片尺寸不同)。具体地，图片1511包含与图片1515基本相同的图像数据，并且图片1512包含与图片1516基本相同的图像数据，等等。
图片1511-1518可以通过参考相同层N 1531或N+1 1532中的其他图片1511-1518来编解码。参考相同层中的另一图片对图片进行编解码导致帧间预测1523，其兼容单向帧间预测和/或双向帧间预测。帧间预测1523由实线箭头描绘。例如，图片1513可以通过使用层N+1 1532中的图片1511、1512和/或1514中的一个或两个作为参考采用帧间预测1523来编解码，其中一个图片被参考用于单向帧间预测和/或两个图片被参考用于双向帧间预测。此外，图片1517可以通过使用层N 1531中的图片1515、1516和/或1518中的一个或两个作为参考采用帧间预测1523来编解码，其中一个图片被参考用于单向帧间预测和/或两个图片被参考用于双向帧间预测。当在执行帧间预测1523时图片用作相同层中的另一图片的参考时，该图片可以被称为参考图片。例如，图片1512可以是用于根据帧间预测1523对图片1513进行编解码的参考图片。帧间预测1523也可以被称为多层上下文中的帧内层预测。这样，帧间预测1523是通过参考参考图片中与当前图片不同的指示样点对当前图片的样点进行编解码的机制，其中参考图片和当前图片在相同层中。
图片1511-1518也可以通过参考不同层中的其他图片1511-1518来编解码。该过程被称为层间预测(inter-layer prediction)1521，并由虚线箭头描绘。层间预测1521是通过参考参考图片中的指示样点对当前图片的样点进行编解码的机制，其中当前图片和参考图片在不同的层中，因此具有不同的层ID。例如，较低层N 1531中的图片可以用作参考图片，以对较高层N+1 1532处的对应图片进行编解码。作为特定示例，图片1511可以根据层间预测1521，通过参考图片1515来编解码。在这种情况下，图片1515用作帧间层参考图片。帧间层参考图片是用于层间预测1521的参考图片。在大多数情况下，层间预测1521受到约束，使得当前图片(诸如图片1511)仅可以使用被包括在相同AU 1506中并且位于较低层的(多个)帧间层参考图片(诸如图片1515)。当多个层(例如，多于两个)可用时，层间预测1521可以基于比当前图片级别更低的多个帧间层参考图片来编码/解码当前图片。
视频编码器可以采用基于层的预测1500，经由帧间预测1523和层间预测1521的许多不同组合和/或排列来编码图片1511-1518。例如，图片1515可以根据帧内预测来编解码。然后，图片1516-1518可以通过使用图片1515作为参考图片，根据帧间预测1523来编解码。此外，图片1511可以通过使用图片1515作为帧间层参考图片，根据层间预测1521来编解码。然后，图片1512-1514可以通过使用图片1511作为参考图片，根据帧间预测1523来编解码。这样，对于不同的编解码机制，参考图片可以用作单层参考图片和帧间层参考图片。通过基于较低层N 1531图片对较高层N+1 1532图片进行编解码，较高层N+1 1532可以避免采用帧内预测，其具有比帧间预测1523和层间预测1521低得多的编解码效率。这样，帧内预测的低编解码效率可以被限制到最小/最低质量的图片，并且因此被限制到编解码最少量的视频数据。用作参考图片和/或帧间层参考图片的图片可以在参考图片列表结构中包含的(多个)参考图片列表的条目中被指示。
图15中的每个AU 1506可以包含几个图片。例如，一个AU 1506可以包含图片1511和1515。另一个AU 1506可以包含图片1512和1516。实际上，每个AU 1506是与用于从解码图片缓冲区(DPB)输出的相同显示时间(例如，相同的时域ID)相关联的一个或多个编解码图片的集合(例如，用于向用户显示)。每个访问单元分隔符(AUD)1508是用于指示AU(例如，AU1506)的起始或AU之间的边界的指示符或数据结构。
先前的H.26x视频编解码家族已经在与单层编解码的(多个)简表(profile)分开的(多个)简表中提供了对缩放性的支持。可缩放视频编解码(SVC)是提供对空域、时域和质量缩放性的支持的AVC/H.264的可缩放扩展。对于SVC，在增强层(EL)图片中的每个宏块(MB)中信令通知标志，以指示EL MB是否是使用来自较低层的并置块预测的。来自并置块的预测可以包括纹理、运动矢量和/或编解码模式。SVC的实施方式不能在其设计中直接重用未修改的H.264/AVC实施方式。SVC EL宏块语法和解码过程不同于H.264/AVC语法和解码过程。
可缩放HEVC(SHVC)是提供对空域和质量缩放性的支持的HEVC/H.265标准的扩展，多视图HEVC(MV-HEVC)是提供对多视图缩放性的支持的HEVC/H.265的扩展，并且3D HEVC(3D-HEVC)是提供对比MV-HEVC更高级且更高效的三维(3D)视频编解码的支持的HEVC/H.264的扩展。注意，时域缩放性被包括作为单层HEVC编解码器的组成部分。HEVC的多层扩展的设计采用了这样的思想，其中用于层间预测的解码图片仅来自相同的AU，并且被视为长期参考图片(LTRP)，并且与当前层中的其他时域参考图片一起被分配(多个)参考图片列表中的参考索引。通过设置参考索引的值以参考(多个)参考图片列表中的(多个)帧间层参考图片，在预测单元(PU)级别实现层间预测(ILP)。
值得注意的是，参考图片重采样和空域缩放性特征都要求对参考图片或其一部分的重采样。参考图片重采样(RPR)可以在图片级别或编解码块级别实现。然而，当RPR被称为编解码特征时，它是用于单层编解码的特征。即便如此，从编解码器设计的角度来看，对于单层编解码的RPR特征和多层编解码的空域缩放性特征，使用相同的重采样滤波器是可能的或者甚至是优选的。
在本公开中，NN滤波器的参数可以是在滤波过程中使用的参数，例如，滤波器系数、权重参数、偏置参数、缩放因子、推断块尺寸、网络深度等。在本公开中，NN滤波器包括模型/结构(例如，网络拓扑)和与模型/结构相关联的参数。在本公开中，当至少一个滤波器参数被改变(或者说更新)或者滤波结构/模型被改变时，将NN滤波器称为被“更新”。
提供了参数更新的讨论。
示例1
1.单个NN滤波器模型(具有一个或多个滤波器参数)可以与不同的滤波器参数集合相关联。
a.在一个示例中，可以信令通知第一滤波器参数集合中的至少一个参数与第二集合中的参数不同的指示。在实施例中，指示符为在比特流中编解码的标志、比特、字节、字段、信息顺序等。
b.在一个示例中，滤波器参数集合中的至少一个参数可以通过从编码/解码的信息(例如，根据重构样点)推导出的新的值来更新，并且更新后的参数用于处理视频单元。
示例2
2.可以在编码/解码过程期间更新与一个或多个NN滤波器模型相关联的NN滤波器的参数。
a.在一个示例中，所有NN滤波器都被更新。
b.在一个示例中，部分NN滤波器被更新。在实施例中，部分NN滤波器意味着仅NN滤波器的一部分被更新，而NN滤波器的另一部分被保持(即，不被更新)。
i.在一个示例中，部分时域层的NN滤波器被更新，而其他时域层的NN滤波器是固定的。在实施例中，部分时域层是每个访问单元中没有图片的时域层。
1)在一个示例中，低时域层的NN滤波器被更新，而高时域层的NN滤波器是固定的。在实施例中，在图13中，低时域层类似于层N 1531，并且高时域层类似于层N+1 1532。低时域层可以被称为基础层，并且高时域层可以被称为增强层。
2)在一个示例中，高时域层的NN滤波器被更新，而低时域层的NN滤波器是固定的。
ii.在一个示例中，用于部分色彩分量的NN滤波器被更新。在实施例中，部分色彩分量是色彩分量的某个部分(例如，R、G、B等)。
1)在一个示例中，亮度分量的NN滤波器被更新，而色度分量的NN滤波器是固定的。
iii.在一个示例中，第一类型的条带或图片(诸如帧间条带)的NN滤波器被更新，而第二类型的条带或图片(诸如帧内条带)的NN滤波器是固定的。条带类型可以是I条带或I条带类型、P条带或P条带类型、或者B条带或B条带类型。图片类型可以是例如帧内预测图片、单向帧间预测图片、双向帧间预测图片等。
iv.在一个示例中，一些特定区域(诸如条带、子图片、CTU行或CTU)的NN滤波器可以被更新。
c.在一个示例中，对于给定的滤波器，一些或所有参数可以被更新。
i.在一个示例中，仅滤波器中的权重参数被更新。
ii.在一个示例中，仅滤波器中的偏置(bias)参数被更新。
iii.在一个示例中，仅某些层的参数被更新。
1)在一个示例中，仅最后k个时域层的参数被更新，其中k＝1,2,...,N-1，其中N是层的总数。
2)在一个示例中，仅前k个时域层的参数被更新，其中k＝1,2,...,N-1，其中N是层的总数。
iv.在一个示例中，仅某些层的权重参数被更新，而所有层的偏置参数被更新。
d.在一个示例中，滤波器的结构(即，网络拓扑)可以被更新。
示例3
3.可以在比特流中(例如，在图片/条带/视频单元级别、或者在SEI消息中、或者在参数集(例如，APS)中)指示是否更新和/或如何更新NN滤波器的参数。
a.可替代地，可以例如根据解码信息来即时(on-the-fly)确定是否更新和/或如何更新。
b.在一个示例中，是否更新和/或如何更新的指示可以用固定长度、可变长度或算术编解码器来编解码。
示例4
4.NN滤波器可以在指定时刻被更新。
a.在一个示例中，在每k个图片组(GOP)的起始发生更新，其中k＝0,1,2,...。在实施例中，视频编解码图片组或GOP结构指定了排列帧内帧和帧间帧的顺序。GOP是编解码的视频流内的连续图片的集合。每个编解码的视频流由连续的GOP组成，其中可视帧从其生成。在压缩的视频流中遇到新的GOP意味着解码器不需要任何先前帧来解码接下来的帧，并且允许在视频中快速搜索。
b.在一个示例中，每k秒发生更新，k＝0,1,2,...。
c.在一个示例中，每k个RAP(随机访问点)发生更新，其中k＝0,1,2,...。在实施例中，随机访问点是比特流中除了比特流的开始之外的点，其中在该点可以开始解码过程。
d.在一个示例中，更新时刻可以从编码器信令通知给解码器。
提供了参数信令通知的讨论。
示例5
5.当NN滤波器的参数被更新时，在比特流中信令通知关于更新的信息。
a.在一个示例中，在比特流中直接信令通知更新后的参数。
b.在一个示例中，可以利用滤波器之间的参数的预测编解码。
i.在一个示例中，在比特流中信令通知新的参数和先前发送的参数之间的差。
ii.在一个示例中，可以在比特流中信令通知要根据哪个滤波器参数或滤波器进行预测的指示。
c.在一个示例中，可以预定义与一个或多个滤波器模型相关联的一个或多个默认滤波器(例如，滤波器参数集合)。
i.可替代地，可以利用更新后的滤波器中的参数相对于默认滤波器中的预定义的对应参数值的预测编解码。
d.在一个示例中，可以利用第一滤波器中的参数相对于第一滤波器中的另一参数的预测编解码。在实施例中，预测编解码利用空域或时域维度中的相关性或者上下文来改进相对于独立编解码的压缩性能。也就是说，预测编解码从一个或多个样点或值预测样点或值。
e.在一个示例中，使用来自NNR(神经网络表示)的技术来压缩更新后的参数(例如，新的参数或差)的指示。
i.在一个示例中，控制压缩比的量化步长对于不同的参数可以不同。
1)在一个示例中，较大的量化步长用于权重参数，而较小的量化步长用于偏置参数。
2)在一个示例中，较小的量化步长用于权重参数，而较大的量化步长用于偏置参数。
f.在一个示例中，当信令通知更新后的参数(例如，新的参数或差)的指示时，首先信令通知早期层中的参数，然后用作对后续层中的参数的预测。
g.在一个示例中，更新后的信息(诸如参数)的指示可以用固定长度编解码、可变长度编解码、一元编解码、截断一元编解码、截断二元编解码等进行二值化。
h.在一个示例中，更新后的信息(诸如参数)的指示可以用算术编解码器来编解码。
i.它可以用算术编解码器的至少一个上下文来编解码。
ii.它可以用旁路方法来编解码。
i.NN滤波器的结构或模型可以由码字表示，并在比特流中被信令通知。
提供了其他基于NN的工具的讨论。
示例6
6.本文公开的方法可以被应用于使用NN的其他技术，例如，超分辨率、帧内预测、帧间预测、虚拟参考帧生成等。
图18是示出可以在其中实施本文公开的各种技术的示例视频处理系统1800的框图。各种实施方式可以包括视频处理系统1800的一些或所有组件。视频处理系统1800可以包括用于接收视频内容的输入1802。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收，或者可以是压缩或编码格式。输入1802可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(Passive OpticalNetwork，PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
视频处理系统1800可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1804。编解码组件1804可以将来自输入1802的视频的平均比特率减小到编解码组件1804的输出，以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件1804的输出可以被存储，或者经由如由组件1806表示的通信连接而发送。在输入1802处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件1808用于生成像素值或传送到显示接口1810的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是将理解，编解码工具或操作在编码器处被使用，并且反转编解码结果的对应的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)、或高清晰度多媒体接口(HDMI)、或显示端口(Displayport)等。存储接口的示例包括SATA(串行高级技术附件)、外围组件互连(PCI)、集成驱动电子设备(IDE)接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。
图19是视频处理装置1900的框图。装置1900可以用于实施本文描述的一种或多种方法。装置1900可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1900可以包括一个或多个处理器1902、一个或多个存储器1904和视频处理硬件1906(又名视频处理电路)。(多个)处理器1902可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)1904可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1906可以用于在硬件电路系统中实施本文档中描述的一些技术。在一些实施例中，硬件1906可以部分或完全位于处理器1902(例如，图形处理器)内。
图20是示出可以利用本公开的技术的示例视频编解码系统2000的框图。如图20所示，视频编解码系统2000可以包括源设备2010和目标设备2020。源设备2010生成编码视频数据，其中该源设备2010可以被称为视频编码设备。目标设备2020可以解码由源设备2010生成的编码视频数据，目标设备2020可以被称为视频解码设备。
源设备2010可以包括视频源2012、视频编码器2014和输入/输出(I/O)接口2016。
视频源2012可以包括源，诸如视频捕捉设备、从视频内容提供器接收视频数据的接口、和/或用于生成视频数据的计算机图形系统、或这些源的组合。视频数据可以包括一个或多个图片。视频编码器2014对来自视频源2012的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口2016可以包括调制器/解调器(调制解调器)和/或发射器。编码视频数据可以通过网络2030经由I/O接口2016直接发送到目标设备2020。编码视频数据也可以存储在存储介质/服务器2040上，以供目标设备2020访问。
目标设备2020可以包括I/O接口2026、视频解码器2024和显示设备2022。
I/O接口2026可以包括接收器和/或调制解调器。I/O接口2026可以从源设备2010或存储介质/服务器2040获取编码视频数据。视频解码器2024可以对编码视频数据进行解码。显示设备2022可以向用户显示解码视频数据。显示设备2022可以与目标设备2020集成，或者可以在可以被配置为与外部显示设备接口的目标设备2020的外部。
视频编码器2014和视频解码器2024可以根据视频压缩标准进行操作，例如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他当前和/或另外的标准。
图21是示出视频编码器2100的示例的框图，该视频编码器2100可以是图20所示的视频编解码系统2000中的视频编码器2014。
视频编码器2100可以被配置为执行本公开的任何或所有技术。在图21的示例中，视频编码器2100包括多个功能组件。本公开中描述的技术可以在视频编码器2100的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器2100的功能组件可以包括分割单元2101、预测单元2102(其可以包括模式选择单元2103、运动估计单元2104、运动补偿单元2105和帧内预测单元2106)、残差生成单元2107、变换单元2108、量化单元2109、逆量化单元2110、逆变换单元2111、重构单元2112、缓冲区2113和熵编码单元2114。
在其他示例中，视频编码器2100可以包括更多、更少或不同的功能组件。在示例中，预测单元2102可以包括帧内块复制(IBC)单元。IBC单元可以执行IBC模式下的预测，其中至少一个参考图片是当前视频块所在的图片。
此外，诸如运动估计单元2104和运动补偿单元2105的一些组件可以高度集成，但是为了解释的目的，在图21的示例中分开表示。
分割单元2101可以将图片分割为一个或多个视频块。图20的视频编码器2014和视频解码器2024可以支持各种视频块尺寸。
模式选择单元2103可以基于误差结果选择编解码模式(例如，帧内或帧间)之一，并且将得到的帧内编解码块或帧间编解码块提供给残差生成单元2107以生成残差块数据，以及提供给重构单元2112以重构编码块以用作参考图片。在一些示例中，模式选择单元2103可以选择帧内和帧间预测模式的组合(CIIP)，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元2103还可以选择块的运动矢量的分辨率(例如，子像素或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元2104可以通过将来自缓冲区2113的一个或多个参考帧与当前视频块进行比较，来生成当前视频块的运动信息。运动补偿单元2105可以基于运动信息和来自缓冲区2113的除了与当前视频块相关联的图片之外的图片的解码样点，来确定当前视频块的预测视频块。
运动估计单元2104和运动补偿单元2105可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。I条带(或I帧)是最不可压缩的，但不需要其他视频帧来解码。S条带(或P帧)可以使用来自先前帧的数据来解压缩，并且比I帧更可压缩。B条带(或B帧)可以使用先前帧和前向帧用于数据参考，以得到最高的数据压缩量。
在一些示例中，运动估计单元2104可以对当前视频块执行单向预测，并且运动估计单元2104可以为当前视频块的参考视频块搜索列表0或列表1的参考图片。运动估计单元2104然后可以生成指示列表0或列表1中的参考图片的参考索引，该参考索引包含参考视频块和指示当前视频块和参考视频块之间的空域位移的运动矢量。运动估计单元2104可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元2105可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中，运动估计单元2104可以对当前视频块执行双向预测，运动估计单元2104可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中搜索当前视频块的另一个参考视频块。运动估计单元2104然后可以生成参考索引，该参考索引指示包含参考视频块的列表0和列表1中的参考图片以及指示参考视频块和当前视频块之间的空间位移的运动矢量。运动估计单元2104可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元2105可以基于由当前视频块的运动信息所指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中，运动估计单元2104可以输出完整的运动信息集，以用于解码器的解码处理。
在一些示例中，运动估计单元2104可以不输出当前视频的完整的运动信息集。而是，运动估计单元2104可以参考另一视频块的运动信息信令通知当前视频块的运动信息。例如，运动估计单元2104可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中，运动估计单元2104可以在与当前视频块相关联的语法结构中指示值，该值向视频解码器2024指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中，运动估计单元2104可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器2024可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所讨论的，视频编码器2014可以预测性地信令通知运动矢量。可以由视频编码器2014实施的预测信令通知技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令通知。
帧内预测单元2106可以对当前视频块执行帧内预测。当帧内预测单元2106对当前视频块执行帧内预测时，帧内预测单元2106可以基于同一图片中的其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元2107可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括与当前视频块中样点的不同样点分量相对应的残差视频块。
在其他示例中，例如，在跳过模式中，对于当前视频块可能没有残差数据，并且残差生成单元2107可以不执行减去操作。
变换单元2108可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。
在变换单元2108生成与当前视频块相关联的变换系数视频块之后，量化单元2109可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元2110和逆变换单元2111可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元2112可以将重构后的残差视频块添加到来自由预测单元2102生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重构视频块，用于存储在缓冲区2113中。
在重构单元2112重构视频块之后，可以执行环路滤波操作，以减少视频块中的视频块效应(blocking artifact)。
熵编码单元2114可以从视频编码器2100的其他功能组件接收数据。当熵编码单元2114接收到数据时，熵编码单元2114可以执行一个或多个熵编码操作，以生成熵编码数据，并输出包括该熵编码数据的比特流。
图22是示出视频解码器2200的示例的框图，视频解码器2200可以是图20所示的视频编解码系统2000中的视频解码器2024。
视频解码器2200可以被配置为执行本公开的任何或所有技术。在图22的示例中，视频解码器2200包括多个功能组件。本公开中描述的技术可以在视频解码器2200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在图22的示例中，视频解码器2200包括熵解码单元2201、运动补偿单元2202、帧内预测单元2203、逆量化单元2204、逆变换单元2205、重构单元2206和缓冲区2207。在一些示例中，视频解码器2200可以执行通常与针对视频编码器2014(图20)描述的编码过程相反的解码过程。
熵解码单元2201可以检索编码比特流。编码比特流可以包括熵编解码的视频数据(例如，视频数据的编码块)。熵解码单元2201可以解码熵编解码的视频数据，并且根据熵解码的视频数据，运动补偿单元2202可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元2202可以例如通过执行AMVP和Merge模式信令通知来确定这样的信息。
运动补偿单元2202可以产生运动补偿块，可能基于插值滤波器执行插值。要以子像素精度使用的插值滤波器的标识符可以被包括在语法元素中。
运动补偿单元2202可以使用如视频编码器2014在视频块的编码期间使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元2202可以根据接收到的语法信息来确定视频编码器2014使用的插值滤波器，并使用该插值滤波器来产生预测块。
运动补偿单元2202可以使用一些语法信息来确定用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)以及用于对编码视频序列进行解码的其他信息。
帧内预测单元2203可以使用例如在比特流中接收的帧内预测模式来从空间上相邻的块形成预测块。逆量化单元2204对在比特流中提供并由熵解码单元2201解码的量化后的视频块系数进行逆量化，即，解量化。逆变换单元2205应用逆变换。
重构单元2206可以将残差块与由运动补偿单元2202或帧内预测单元2203生成的对应预测块相加，以形成解码块。如果需要，还可以应用去方块滤波器来滤波解码块，以便移除块效应。解码的视频块然后被存储在缓冲区2207中，为随后的运动补偿/帧内预测提供参考块，并且还产生解码的视频以在显示设备上呈现。
图23是根据本公开实施例的处理视频数据的方法2300。方法2300可以由具有处理器和存储器的编解码装置(例如，编码器)执行。方法2300可以在视频编解码中使用的环路滤波过程期间被实施。
在框2302中，编解码装置为视频和视频的比特流之间的转换确定比特流包括指示符，其中该指示符指示神经网络(NN)滤波器模型的第一参数集包括与NN滤波器模型的第二参数集不同的滤波器参数。
在框2304中，编解码装置基于指示符来执行转换。当在编码器中实施时，转换包括接收视频(例如，视频单元)，并将视频编码为比特流。当在解码器中实施时，转换包括接收包括视频的比特流，并解码比特流以获得视频。
在实施例中，方法2300可以利用或并入本文公开的其他方法的一个或多个特征或过程。
接下来提供了一些实施例优选的解决方案列表。
以下解决方案示出了本公开中讨论的技术的一些实施例(例如，示例1)。
1.一种视频处理的方法，包括：根据规则，使用神经网络(NN)模型和/或用于根据NN模型的编解码工具的参数，为视频的视频块和视频的比特流之间的转换确定用于转换的编解码工具；以及使用所确定的编解码工具来执行转换。
2.根据权利要求1所述的方法，其中，编解码工具包括使用环路滤波器的环路滤波。
3.根据权利要求1-2中任一项所述的方法，其中，该规则指定用于编解码工具的参数来自不同的参数集合。
4.根据权利要求3所述的方法，其中，比特流包括第一参数集合中的至少一个参数与第二参数集合不同的指示。
5.根据权利要求1所述的方法，还包括：基于视频块的转换，更新用于编解码工具的参数。
6.根据权利要求5所述的方法，其中，该更新包括更新编解码工具的所有参数。
7.根据权利要求5所述的方法，其中，该更新包括更新一个NN模型的所有参数和更新另一NN模型的部分参数。
8.根据权利要求5所述的方法，其中，该更新包括更新编解码工具的网络拓扑。
9.根据权利要求5所述的方法，其中，该更新的信息被包括在比特流的语法结构或者补充增强消息(SEI)中。
10.根据权利要求5所述的方法，其中，该更新响应于比特流中的指定时刻。
11.根据权利要求10所述的方法，其中，指定时刻包括每k个图片组(GOP)的起始，其中k是非负整数。
12.根据权利要求10所述的方法，其中，指定时刻包括每k秒的起始。
13.根据权利要求1-12中任一项所述的方法，其中，该规则指定比特流包括对用于编解码工具的参数的更新的指示。
14.根据权利要求13所述的方法，其中，该规则指定在比特流中直接指示对参数的更新。
15.根据权利要求13所述的方法，其中，该规则指定在比特流中对参数的更新进行预测编解码。
16.根据权利要求1-15中任一项所述的方法，其中，该规则定义作为默认参数集合的参数集合。
17.根据权利要求13所述的方法，其中，该规则指定使用神经网络表示压缩技术来指示更新后的参数。
18.根据权利要求1-17中任一项所述的方法，其中，对参数的更新使用算术编解码来编解码。
19.根据权利要求1-18中任一项所述的方法，其中，编解码工具包括帧内预测或帧间预测。
20.根据权利要求1-18中任一项所述的方法，其中，编解码工具包括虚拟参考帧生成。
21.根据权利要求1-18中任一项所述的方法，其中，编解码工具包括超分辨率确定。
22.根据权利要求1-21中任一项所述的方法，其中，该转换包括从视频生成比特流。
23.根据权利要求1-21中任一项所述的方法，其中，该转换包括从比特流生成视频。
24.一种视频解码装置，包括被配置为实施根据权利要求1至23中的一项或多项所述的方法的处理器。
25.一种视频编码装置，包括被配置为实施根据权利要求1至23中的一项或多项所述的方法的处理器。
26.一种存储有计算机代码的计算机程序产品，该代码在由处理器执行时使得处理器实施根据权利要求1至23中任一项所述的方法。
27.一种计算机可读介质，其上存储有比特流，该比特流通过根据权利要求1至23中任一项所述的方法生成。
28.一种生成比特流的方法，包括：使用权利要求1-23中的一项或多项来生成比特流，并且将比特流写入计算机可读介质。
29.一种本文档中描述的方法、装置或系统。
本文档中描述的所公开的以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中、或者在它们中的一个或多个的组合中被实施。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品，即在计算机可读介质上编码的计算机程序指令的一个或多个模块，该计算机程序指令用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号，例如机器生成的电信号、光学信号或电磁信号。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且其可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上运行。
本文档书中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以被实施为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适合于运行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存设备；磁盘，例如内部硬盘或可换式磁盘；磁光盘；以及光盘只读存储器(CD ROM)和数字多功能盘只读存储器(DVD-ROM)磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
虽然本专利文档包含许多细节，但这些细节不应被解释为对任何主题或可能要求保护的范围的限制，而是作为指定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合实施。此外，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。
虽然本专利文档包含许多细节，但这些细节不应被解释为对任何主题或可能要求保护的范围的限制，而是作为指定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合实施。此外，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。

Claims (22)

1.一种处理视频数据的方法，包括：
为视频和视频的比特流之间的转换，确定所述比特流包括指示符，其中所述指示符指示神经网络(NN)滤波器模型的第一参数集包括与所述NN滤波器模型的第二参数集不同的滤波器参数；以及
基于所述指示符来执行所述转换。
2.根据权利要求1所述的方法，还包括：
将所述第一参数集或所述第二参数集的滤波器参数从第一值更新为第二值；以及
使用所述第二值来处理所述视频的视频单元，其中所述第二值是从编解码的信息中推导出的。
3.根据权利要求1所述的方法，还包括：在编解码过程期间，更新所述第一参数集或所述第二参数集中的滤波器参数中的一个或多个。
4.根据权利要求1所述的方法，还包括：更新所述第一参数集或所述第二参数集中的所有滤波器参数。
5.根据权利要求1所述的方法，还包括：更新所述第一参数集中的滤波器参数中的一个或多个，而保持所述第一参数集或所述第二参数集中的滤波器参数中的一个或多个。
6.根据权利要求5所述的方法，其中，所述滤波器参数中的一个或多个与时域层、部分时域层、低时域层、高时域层、部分色彩分量、亮度分量、色度分量、条带类型、图片类型、条带、子图片、编解码树单元(CTU)行、CTU、或其组合相关联。
7.根据权利要求1所述的方法，还包括：仅更新所述第一参数集或所述第二参数集中的权重滤波器参数。
8.根据权利要求1所述的方法，还包括：仅更新所述第一参数集或所述第二参数集中的偏置滤波器参数。
9.根据权利要求1所述的方法，还包括：仅更新所述第一参数集或所述第二参数集中的最后k个时域层滤波器参数，其中k＝1,2,…N，并且其中N是时域层的总数。
10.根据权利要求1所述的方法，还包括：仅更新所述第一参数集或所述第二参数集中的前k个时域层滤波器参数，其中k＝1,2,…N，并且其中N是时域层的总数。
11.根据权利要求1所述的方法，还包括：仅更新所述第一参数集或所述第二参数集中的一些权重滤波器参数，并且更新所述第一参数集或所述第二参数集中的所有偏置滤波器参数。
12.根据权利要求1所述的方法，其中，所述比特流指示是否或如何使用固定长度编解码、可变长度编解码或算术编解码之一来更新所述第一参数集和所述第二参数集中的至少一个。
13.根据权利要求1所述的方法，还包括：确定是否或如何基于编解码的信息来实时更新所述第一参数集或所述第二参数集中的滤波器参数。
14.根据权利要求1所述的方法，还包括：在每k个图片组(GOP)、每k秒或每k个随机访问点(RAP)的起始更新所述NN滤波器模型，其中k是零或正整数。
15.根据权利要求14所述的方法，还包括：根据所述比特流中指示的起始时间来更新所述NN滤波器模型。
16.根据权利要求1所述的方法，还包括：更新所述NN滤波器模型，其中关于所述NN滤波器模型被更新的信息被包括在所述比特流中。
17.根据权利要求1所述的方法，还包括：利用预测编解码来基于所述NN滤波器模型的第一滤波器参数确定所述NN滤波器模型的第二滤波器参数。
18.根据权利要求1所述的方法，其中，所述比特流的第一层包括所述NN滤波器模型的第一滤波器参数，并且其中，所述方法还包括：基于所述比特流的第一层中的第一滤波器参数来预测所述比特流的第二层的第二滤波器参数。
19.根据权利要求1所述的方法，其中，所述转换包括将所述视频编码为所述比特流。
20.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述视频。
21.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：
为视频和视频的比特流之间的转换，确定所述比特流包括指示符，其中所述指示符指示神经网络(NN)滤波器模型的第一参数集包括与所述NN滤波器模型的第二参数集不同的滤波器参数；以及
基于所述指示符来执行所述转换。
22.一种非暂时性计算机可读记录介质，存储通过由视频处理装置执行的方法生成的视频的比特流，其中所述方法包括：
确定所述比特流包括指示符，其中所述指示符指示神经网络(NN)滤波器模型的第一参数集包括与所述NN滤波器模型的第二参数集不同的滤波器参数；以及
基于所述指示符来生成所述比特流。
CN202210554204.4A 2021-05-24 2022-05-20 基于神经网络的滤波的参数更新 Pending CN115396666A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163192439P 2021-05-24 2021-05-24
US63/192,439 2021-05-24

Publications (1)

Publication Number Publication Date
CN115396666A true CN115396666A (zh) 2022-11-25

Family

ID=84115610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210554204.4A Pending CN115396666A (zh) 2021-05-24 2022-05-20 基于神经网络的滤波的参数更新

Country Status (2)

Country Link
US (1) US20220394288A1 (zh)
CN (1) CN115396666A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024146645A1 (en) * 2023-01-07 2024-07-11 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253863A1 (en) 2019-06-21 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Selective use of adaptive in-loop color-space transform and other video coding tools
WO2021088951A1 (en) * 2019-11-07 2021-05-14 Beijing Bytedance Network Technology Co., Ltd. Quantization properties of adaptive in-loop color-space transform for video coding
WO2023245194A1 (en) * 2022-06-17 2023-12-21 Bytedance Inc. Partitioning information in neural network-based video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024146645A1 (en) * 2023-01-07 2024-07-11 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
US20220394288A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
CN114339221B (zh) 用于视频编解码的基于卷积神经网络的滤波器
CN114630132B (zh) 视频编解码的基于神经网络的环路内滤波器中的模型选择
US20220329837A1 (en) Neural Network-Based Post Filter For Video Coding
US11792438B2 (en) Using neural network filtering in video coding
US20220394288A1 (en) Parameter Update of Neural Network-Based Filtering
US12022098B2 (en) Neural network-based in-loop filter with residual scaling for video coding
US20230051066A1 (en) Partitioning Information In Neural Network-Based Video Coding
US20220337853A1 (en) On Neural Network-Based Filtering for Imaging/Video Coding
US12095988B2 (en) External attention in neural network-based video coding
CN113615173A (zh) 对仿射译码块进行光流预测修正的方法及装置
KR20210088697A (ko) 인코더, 디코더 및 대응하는 디블록킹 필터 적응의 방법
US20240298020A1 (en) Unified Neural Network In-Loop Filter
CN117280693A (zh) 统一神经网络滤波器模型
US20220394309A1 (en) On Padding Methods For Neural Network-Based In-Loop Filter
CN112262574A (zh) 一种用于帧内预测的设备和方法
CN115225895A (zh) 统一神经网络环路滤波器信令通知
US20230023579A1 (en) Configurable Neural Network Model Depth In Neural Network-Based Video Coding
US20240244226A1 (en) Method, apparatus, and medium for video processing
WO2024148056A1 (en) On unified neural network for in-loop filtering for video coding
WO2024010860A1 (en) Geometric transform in neural network-based coding tools for video coding
CN118044195A (zh) 用于视频处理的方法、设备和介质
CN118266217A (zh) 用于视频处理的方法、设备和介质
CN118633289A (zh) 用于视频处理的方法、装置及介质
WO2023245194A1 (en) Partitioning information in neural network-based video coding
WO2023154574A1 (en) Methods and devices for geometric partitioning mode with adaptive blending

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination