CN116347107A - 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法 - Google Patents

面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法 Download PDF

Info

Publication number
CN116347107A
CN116347107A CN202310250176.1A CN202310250176A CN116347107A CN 116347107 A CN116347107 A CN 116347107A CN 202310250176 A CN202310250176 A CN 202310250176A CN 116347107 A CN116347107 A CN 116347107A
Authority
CN
China
Prior art keywords
cnn
image
ctu
network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310250176.1A
Other languages
English (en)
Inventor
刘鹏宇
金鹏程
陈善继
王偲荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202310250176.1A priority Critical patent/CN116347107A/zh
Publication of CN116347107A publication Critical patent/CN116347107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法，属于视频编码技术领域，本方法包含以下步骤：构建轻量级CTU质量三分类网络；构建三个不同复杂度的CNN滤波网络；构建滤波和分类数据集；训练轻量级CTU质量三分类网络模型和三个不同复杂度的CNN滤波网络模型；将轻量级CTU质量三分类网络与三个不同复杂度的CNN滤波网络耦合，并集成到VVC标准VTM6.0中。本发明充分利用了深度学习在图像滤波去噪方面的优势，改善了视频编码器中环路滤波器的性能，有效提升视频整体质量和压缩效率。

Description

面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法
技术领域
本发明涉及视频压缩编码领域，涉及VVC编码标准中环路滤波方法。
背景技术
近年来，视频业务快速发展，对高分辨率和高清晰度的需求不断提高。特别是新兴的视频应用，如8K视频、全景视频、虚拟现实(VR)视频等，给视频编码和传输带来了巨大挑战。在视频编码过程中，以H.264，HEVC，VVC为代表的基于块的视频编码标准由于采用了有损压缩技术，往往产生压缩噪声，引起输出帧失真，具体表现为画面模糊、振铃和块效应等。作为高效视频编码(HEVC)标准的后续标准，新一代多功能视频编码标准(VVC)于2020年7月由VCEG和MPEG合作成立的JVET小组确定，并发布了VVC测试模型VTM6.0，编码性能相比于HEVC提升30％以上。为了减少输出帧的压缩噪声，VVC在经过亮度映射与色度缩放(LMCS)过程后，采用了三个环路滤波器：即去块滤波器(DBF)，样本自适应偏移(SAO)滤波器和自适应环路滤波器(ALF)。尽管新一代多功能视频编码标准VVC在编码性能上超过了先前的高效视频编码标准HEVC，并且在HEVC已有的环路滤波器基础上增加了自适应环路滤波器(ALF)，环路滤波性能上有所改进，但输出帧仍会受到基于块的编码和有损压缩技术的影响，输出帧伴随模糊、振铃和块效应的问题依旧存在。
随着深度学习的快速发展，卷积神经网络(CNN)在图像超分辨率、图像恢复和图像分类方面表现出良好的性能，推动了它在编码优化方面的应用。近年来，研究者积极探索融合深度学习的视频编码方法。其中，基于CNN的环路滤波器已被提出来替代或者部分替代编码标准中的环路滤波器，以减少压缩噪声。与VVC标准中的环路滤波器相比，输出帧的主观质量得到了极大改善，编码器整体的编码效率也得到了提升。由于在视频编码中不同的量化步长(QP)对视频压缩质量有直接影响，目前大部分基于CNN的环路滤波器研究需要针对不同的量化参数QP来训练部署不同的模型，这无疑大大增加了训练模型的资源消耗和视频编解码器的内存负担，导致基于CNN的环路滤波器的编码器在实际应用中难以部署。大量数据表明即便在QP值相同的一帧图像中，因为纹理信息分布的不均匀导致其不同的CTU块的压缩质量也存在较大差异，进而导致滤波难度差异也较大，如果可以对不同压缩质量即面临不同滤波难度的CTU块加以区分处理，这将会大幅提升基于CNN的环路滤波器的性能。分类任务是深度学习中在图像处理中的常见任务,基于CNN的分类模型可以通过有监督的训练来对具有不同滤波难度的CTU块进行分类，从而更好地执行后续的滤波任务。在上述背景下，本发明提出了面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法，该方法包含一个轻量级CTU质量三分类网络和三个不同复杂度的CNN滤波网络，相较于VVC标准和现有基于CNN的环路滤波视频编码方法，对不同QP下的编码视频均保持了更加优秀的滤波性能。
发明内容
本发明要解决的技术问题是现有基于CNN对VVC环路滤波器进行改进的编码方法需要针对不同的量化参数QP来训练部署不同的模型，导致模型训练资源消耗大、视频编解码器内存负担过重。
提出了一种面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法，该方法可以通过一个轻量级CTU质量三分类网络和三个不同复杂度的CNN滤波网络有效地处理具有不同量化步长QP的编码视频。可有效提升压缩视频质量，提高视频压缩效率。
为实现上述目的，本发明采用如下的技术方案：
面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法，包含以下内容：
步骤1：构建轻量级CTU质量三分类网络；
轻量级CTU质量三分类网络只包含五个卷积层、一个平均池层和一个完全连接层。卷积层负责特征提取，池化层和完全连接层输出概率向量。
步骤2：构建三个不同复杂度的CNN滤波网络；
基于“Encoder-Decoder”思想进行该网络模型构建，通过抓取不同层次的特征，采用特征叠加的方式将各特征整合，从而能更好地对图像进行滤波。模型结构包括编码部分和解码部分。编码器由三次卷积操作和三次下采样操作组成，输入图像每次经过卷积操作再经过下采样，卷积层用于提取特征，下采样可以增加对输入图像的一些小扰动的鲁棒性，比如图像平移，旋转等，减少过拟合的风险，降低运算量，和增加感受野的大小。解码器由三次卷积操作和三次上采样操作以及跳跃连接组成。卷积操作用来提取更深层次的一些特征，上采样可以把抽象的特征再还原解码到原图的尺寸，跳跃连接通过拼接将底层的位置信息与深层的语义信息相融合，得到更加丰富的特征图。最终经过一个卷积层得到滤波后图像。
在所构建的网络框架的基础上，针对普通卷积层的抓取特征能力不足和跳跃连接的非线性映射能力不足的问题。通过设计卷积块代替卷积层来提升网络对特征的抓取能力，并在跳跃连接中加入同样的卷积块提升网络非线性映射的能力，来增加滤波网络的鲁棒性。
步骤3：构建分类和滤波数据集；
数据集来自于用于超分重建的公开数据集DIV2K，DIV2K包含1000张2k高分辨率图像，其中800张作为训练集，100张作为验证集，100张作为测试集。将这1000幅图像转换为格式YUV420，并由VTM-6.0在全帧内配置下进行编码，QP从[27，42]中随机选择，在压缩过程中关闭DBF、SAO和ALF，提取编码后图像。将编码后的图像与对应的原始图像切割成为128×128的子图像，将不够128×128的子图像部分舍弃。将原始图像与对应的编码后图像切割得到的128×128的子图像形成子图像对。计算得到的子图像对的峰值信噪比PSNR，并且按照PSNR从低到高排序子图像对。
对于分类数据集：按照子图像对PSRN的低中高将原始图像的子图像分成三等份并进行标注，标签为滤波难度简单，中等，难。
对于滤波数据集：将原始图像的子图像对作为真值，与对应编码后图像的子图像对形成子图像对，按照子图像对PSNR的低中高将子图像对分成三等份分别作为三个不同复杂度的滤波网络的数据集。
步骤4：训练轻量级CTU质量三分类网络模型和三个不同复杂度的CNN滤波网络模型；
训练轻量级CTU质量三分类网络时，网络训练的batch_size设置为32，epoch设置为100000，选用NLLLoss为损失函数，优化算法为随机梯度下降算法，动量为0.9，权值衰减为0.0001，初始学习率为0.001，在训练的预热阶段(即前10次迭代)线性地将学习率增加到0.001，之后以指数系数0.95对学习率进行衰减，当验证集上的损失不再降低时，停止模型的训练防止过拟合。
训练三个不同复杂度的CNN滤波网络时，网络训练的batch_size设置为32，epoch设置为100000，选用MSE损失函数，采用余弦退火学习策略用于调整学习速率。初始学习率设置为1e-3，最小值设置为1e-7.余弦周期为500k次迭代。
步骤5：将轻量级CTU质量三分类网络与三个不同复杂度的CNN滤波网络耦合并集成到VTM6.0中；
CTU经过熵解码后会经过轻量级CTU质量三分类网络，将输出三种不同PSNR级别的CTU块，然后选择进入到对应复杂度的CNN滤波网络中进行滤波。将分类模型和滤波模型通过libtorch推理集成到VTM6.0中，替代VTM6.0中的DB,SAO,ALF。
本发明与现有技术相比具有以下优点：
1.用卷积神经网络的方法替代了VTM6.0中传统环路滤波方法，相较于
VVC标准和现有基于CNN的环路滤波视频编码方法，对不同QP下的编码视频均保持了更加优秀的滤波性能。
2.用轻量级的CNN质量三分类网络加三个不同复杂度的CNN滤波网络实现了可以对可变QP值编码帧进行环路滤波。避免了为特定QP值训练和部署滤波网络的弊端。
附图说明
图1是本发明的自适应QP自适应环路滤波方法的流程图；
图2是本发明的轻量级CTU质量三分类网络的网络结构示意图；
图3是本发明的三个不同复杂度的CNN滤波网络结构示意图；
图4是本发明提供的基于卷积神经网络的QP自适应环路滤波方法的VTM6.0示意图。
具体实施方式
本发明主要实现的是VVC视频编码标准中基于卷积神经网络的QP自适应环路滤波方法。下面将结合附图详细介绍本发明采用的具体方法。
具体而言，VVC视频编码标准中基于卷积神经网络的QP自适应环路滤波方法的流程如图1所示，包括以下步骤：S1:构建轻量级CTU质量三分类网络。S2:构建三个不同复杂度的CNN滤波网络。S3:构建分类和滤波数据集。S4:训练轻量级CTU质量三分类网络模型和三个不同复杂度的CNN滤波网络模型。S5:将轻量级CTU质量三分类网络与三个不同复杂度的CNN滤波网络耦合，并集成到VTM6.0中。
对于S1:构建轻量级CTU质量三分类网络
在本发明中，轻量级CTU质量三分类网络的网络结构设计如图2所示，主要包括5个卷积层模块、1个全局平均池化层以及1个全连接层。5个卷积层模块：第一个卷积层采用3×3大小的卷积核，输出为128个通道。接下来依次由4个1×1卷积模块构成，其中每个卷积层后面依次非线性激活层(LeakyRelu层)，最后一个1×1卷积后面没有非线性激活层。
平均池化层和全连接层：轻量级CTU质量三分类网络最后是一个全局平均池化层以及全连接层。全局平均池化的核大小为2×2，目的是将前端网络输出的矩阵压缩为1×1大小，然后将其展开并输入至全连接层。全连接层是一个softmax函数的实现，它将高维向量映射到给定类别的低维向量中，低维向量元素之和为1，每个元素的值代表其对应类别的概率大小。
对于S2:构建三个不同复杂度的CNN滤波网络
在本发明中，三个不同复杂度的CNN滤波网络结构设计如图3所示，三个不同复杂度的CNN滤波网络均采用相同的网络结构，通过控制通道数的大小控制网络复杂度，如图3所示三个网络的初始通道数分别为8，16，32。网络整体结构由一个下采样部分(图3网络结构图左半部分)和一个上采样部分(图3网络结构图右半部分)组成，两者之间通过卷积块相连。输入图像经过下采样部分提取图像的重要特征，上采样部分则用于将这些特征重新映射到原始图像的分辨率上，最后经过一个3x3的卷积核输出滤波后的图像。网络结构的本质是通过下采样和上采样来捕捉图像中的重要细节，并通过连接下采样和上采样部分的卷积块将这些细节与原始图像的分辨率相结合。卷积块整体为一个类似残差结构的形状，左边是两个3x3的卷积，每个卷积层后面为非线性激活层(LeakyRelu层)，右边由1×1卷积层连接卷积块的输入和两层3×3卷积层后面的输出。
对于S3:构建分类和滤波数据集
数据集来源于来自于用于超分重建的公开数据集DIV2K，DIV2K包含1000张2k高分辨率图像，其中800张作为训练集，100张作为验证集，100张作为测试集。将这1000幅图像转换为格式YUV420，并由VTM-6.0在全帧内配置下进行编码，QP从[27，42]中随机选择，在压缩过程中关闭DBF、SAO和ALF，提取编码后图像。将编码后的图像与对应的原始图像切割成为128×128的子图像，将不够128×128的子图像部分舍弃。将原始图像与对应的编码后图像切割得到的128×128的子图像形成子图像对。计算得到的子图像对的PSNR，并且按照PSNR从低到高排序子图像对。对于分类数据集：按照子图像对PSNR的低中高将原始图像的子图像分成三等份并进行标注，标签为滤波难度简单，中等，难。对于滤波数据集：将原始图像的子图像对作为真值，与对应编码后图像的子图像对形成子图像对，按照子图像对PSNR的低中高将子图像对分成三等份分别作为三个不同复杂度的滤波网络的数据集。
对于S4:训练轻量级CTU质量三分类网络模型和三个不同复杂度的CNN滤波网络模型
训练轻量级CTU质量三分类网络模型时，网络训练的batch_size设置为32，epoch设置为100000，选用NLLLoss为损失函数，优化算法为随机梯度下降算法，动量为0.9，权值衰减为0.0001，初始学习率为0.001，在训练的预热阶段(即前10次迭代)线性地将学习率增加到0.001，之后以指数系数0.95对学习率进行衰减，当验证集上的损失不再降低时，停止模型的训练防止过拟合。训练滤波网络时，网络训练的batch_size设置为32，epoch设置为100000，选用MSE损失函数，采用余弦退火学习策略用于调整学习速率。初始学习率设置为1-3e，最小值设置为1-7e.余弦周期为500k次迭代。训练期间，使用测试集调整迭代次数、数据批次等超参数，当网络的损失不再下降后，使用测试集来评估网络的性能。
对于S5:将轻量级CTU质量三分类网络与三个不同复杂度的CNN滤波网络耦合，并集成到VTM6.0中
将处理后的图像输入到训练后的轻量级CTU质量三分类网络并输出所属类别，处理后的图像经过训练后的轻量级CTU质量三分类网络的推断后，输入到对应的滤波网络后输出滤波后的图像。将训练好的模型用libtorch集成到编码器VTM6.0中，替换VTM6.0中的环路滤波器。
以上具体实施方式仅用于说明本发明的技术方案，而非对其限制。本领域的技术人员应当理解：上述实施方式并不以任何形式限制本发明，凡采用等同替换或等效变换等方式所取得的相似技术方案，均属于本发明的保护范围。

Claims (6)

1.面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法，其特征在于，包括如下步骤，
步骤1：构建轻量级CTU质量三分类网络；
轻量级CTU质量三分类网络只包含五个卷积层、一个平均池层和一个完全连接层；卷积层负责特征提取，池化层和完全连接层输出概率向量；
步骤2：构建三个不同复杂度的CNN滤波网络；
CNN滤波网络结构包括编码部分和解码部分；所述编码器由三次卷积操作和三次下采样操作组成，输入图像每次经过卷积操作再经过下采样；所述解码器由三次卷积操作和三次上采样操作以及跳跃连接组成；经过一个卷积层得到滤波后图像；通过设计卷积块提升CNN滤波网络对特征的抓取能力；
步骤3：构建分类和滤波数据集；
将测试集的图像转换为格式YUV420，并由VTM-6.0在全帧内配置下进行编码，QP从[27，42]中随机选择，在压缩过程中关闭DBF、SAO和ALF，提取编码后图像；将编码后的图像与对应的原始图像切割成为128×128的子图像；将原始图像与对应的编码后图像切割得到的128×128的子图像形成子图像对；计算得到的子图像对的峰值信噪比PSNR，并且按照PSNR从低到高排序子图像对；
步骤4：训练轻量级CTU质量三分类网络和三个不同复杂度的CNN滤波网络；
步骤5：将轻量级CTU质量三分类网络与三个不同复杂度的CNN滤波网络耦合并集成到VTM6.0中；
CTU经过熵解码后会经过轻量级CTU质量三分类网络，将输出三种不同PSNR级别的CTU块，然后选择进入到对应复杂度的CNN滤波网络中进行滤波。
2.根据权利要求1所述的面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法，其特征在于，步骤3中，对于分类数据集：按照子图像对PSRN的低中高将原始图像的子图像分成三等份并进行标注，标签为滤波难度简单、中等、难；
对于滤波数据集：将原始图像的子图像对作为真值，与对应编码后图像的子图像对形成子图像对，按照子图像对PSNR的低中高将子图像对分成三等份分别作为三个不同复杂度的滤波网络的数据集。
3.根据权利要求1所述的面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法，其特征在于，步骤4中，训练轻量级CTU质量三分类网络时，网络训练的batch_size设置为32，epoch设置为100000，选用NLLLoss为损失函数，优化算法为随机梯度下降算法，动量为0.9，权值衰减为0.0001，初始学习率为0.001，在训练的预热阶段线性地将学习率增加到0.001，之后以指数系数0.95对学习率进行衰减，当验证集上的损失不再降低时，停止模型的训练防止过拟合；训练三个不同复杂度的CNN滤波网络时，网络训练的batch_size设置为32，epoch设置为100000，选用MSE损失函数，采用余弦退火学习策略用于调整学习速率；初始学习率设置为1e-3，最小值设置为1e-7.余弦周期为500k次迭代。
4.根据权利要求1所述的面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法，其特征在于，VVC编码标准中基于可变CNN的QP自适应环路滤波方法的整体结构为一个轻量级的CTU质量三分类网络加三个不同复杂度的CNN滤波网络，通关分类加滤波的形式构成整个基于可变CNN的QP自适应环路滤波方法；使用轻量级的CTU质量三分类网络将CTU按照滤波难度分成三类并按照分类的结果将分类器的输出输入到对应的三个不同复杂度的CNN滤波网络中来应对不同QP值的环路滤波。
5.根据权利要求1所述的面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法，其特征在于，轻量级CTU质量分类网络的网络结构设计主要包括5个卷积层模块、1个全局平均池化层以及1个全连接层；5个卷积层模块：第一个卷积层采用3x3大小的卷积核，输出为128个通道；接下来依次由4个1x1卷积模块构成，其中每个卷积层后面依次非线性激活层，最后一个1x1卷积后面没有非线性激活层；平均池化层和全连接层：轻量级CTU质量三分类网络最后是一个全局平均池化层以及全连接层；全局平均池化的核大小为2x2，目的是将前端网络输出的矩阵压缩为1x1大小，然后将其展开并输入至全连接层；全连接层是一个softmax函数，低维向量元素之和为1，每个元素的值代表其对应类别的概率大小。
6.根据权利要求1所述的面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法，其特征在于，三个不同复杂度的CNN滤波网络均采用相同的网络结构，三个网络结构的初始通道数分别为8，16，32；网络结构由一个下采样部分和一个上采样部分组成，并通过卷积块相连；输入图像经过下采样部分提取图像的重要特征，上采样部分则用于将这些特征重新映射到原始图像的分辨率上，最后经过一个3x3的卷积核输出滤波后的图像；卷积块的每个卷积层后面为非线性激活层，右边由1x1卷积层连接卷积块的输入和两层3x3卷积层后面的输出。
CN202310250176.1A 2023-03-15 2023-03-15 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法 Pending CN116347107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310250176.1A CN116347107A (zh) 2023-03-15 2023-03-15 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310250176.1A CN116347107A (zh) 2023-03-15 2023-03-15 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法

Publications (1)

Publication Number Publication Date
CN116347107A true CN116347107A (zh) 2023-06-27

Family

ID=86881611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310250176.1A Pending CN116347107A (zh) 2023-03-15 2023-03-15 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法

Country Status (1)

Country Link
CN (1) CN116347107A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760983A (zh) * 2023-08-09 2023-09-15 中国科学技术大学 用于视频编码的环路滤波方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760983A (zh) * 2023-08-09 2023-09-15 中国科学技术大学 用于视频编码的环路滤波方法及装置
CN116760983B (zh) * 2023-08-09 2023-11-28 中国科学技术大学 用于视频编码的环路滤波方法及装置

Similar Documents

Publication Publication Date Title
EP3342164B1 (en) Method and apparatus of neural network based processing in video coding
CN112203093B (zh) 一种基于深度神经网络的信号处理方法
CN110351568A (zh) 一种基于深度卷积网络的视频环路滤波器
CN109842799B (zh) 颜色分量的帧内预测方法、装置及计算机设备
CN111885280B (zh) 一种混合卷积神经网络视频编码环路滤波方法
CN108174225B (zh) 基于对抗生成网络的视频编解码环路内滤波实现方法及系统
CN110751597B (zh) 基于编码损伤修复的视频超分辨方法
CN110971901B (zh) 卷积神经网络的处理方法、装置、设备及存储介质
CN111711817B (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化方法
CN108921910A (zh) 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
CN110062232A (zh) 一种基于超分辨率的视频压缩方法及系统
CN116347107A (zh) 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法
CN115131675A (zh) 一种基于参考影像纹理迁移的遥感影像压缩方法及系统
CN112218094A (zh) 一种基于dct系数预测的jpeg图像去压缩效应方法
Jia et al. Residual guided deblocking with deep learning
CN113055674B (zh) 一种基于两阶段多帧协同的压缩视频质量增强方法
CN110677624B (zh) 基于深度学习的面向监控视频的前景和背景并行压缩方法
CN116508320A (zh) 基于机器学习的图像译码中的色度子采样格式处理方法
CN114173137A (zh) 视频编码方法、装置及电子设备
Hu et al. Combine traditional compression method with convolutional neural networks
CN112468826B (zh) 一种基于多层gan的vvc环路滤波方法及系统
CN114463453A (zh) 图像重建、编码解码方法、相关装置
CN114245126A (zh) 一种纹理协同的深度特征图压缩方法
CN115456903B (zh) 一种基于深度学习的全彩夜视增强方法和系统
CN114449296B (zh) 基于卷积神经网络的环路滤波方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination