CN113365079B - 一种基于超分辨率网络的视频编码分像素运动补偿方法 - Google Patents

一种基于超分辨率网络的视频编码分像素运动补偿方法 Download PDF

Info

Publication number
CN113365079B
CN113365079B CN202110607240.8A CN202110607240A CN113365079B CN 113365079 B CN113365079 B CN 113365079B CN 202110607240 A CN202110607240 A CN 202110607240A CN 113365079 B CN113365079 B CN 113365079B
Authority
CN
China
Prior art keywords
resolution
video coding
fsrcnn
layer
motion compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110607240.8A
Other languages
English (en)
Other versions
CN113365079A (zh
Inventor
杨敬民
陈圳森
吴苗志
张文杰
魏志森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minnan Normal University
Original Assignee
Minnan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minnan Normal University filed Critical Minnan Normal University
Priority to CN202110607240.8A priority Critical patent/CN113365079B/zh
Publication of CN113365079A publication Critical patent/CN113365079A/zh
Application granted granted Critical
Publication of CN113365079B publication Critical patent/CN113365079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于超分辨率网络的视频编码分像素运动补偿方法，具体包括以下步骤：S1、构建FSRCNN网络模型，并对所述FSRCNN网络模型进行训练，得到训练好的FSRCNN网络模型；S2、在所述FSRCNN网络模型中引入细节组件，并将所述细节组件与信道尺寸中的输入帧级联，然后输入到训练好的FSRCNN网络模型中，输出高分辨率帧；S3、构建高效视频编码标准HEVC，将训练好的FSRCNN网络模型替换所述HEVC中的亚像素运动补偿，得到视频编码的测试性能指标。本发明提高了互预测的效率，并实现了显著的比特节省，以实现更好的压缩效率和预测精度。

Description

一种基于超分辨率网络的视频编码分像素运动补偿方法
技术领域
本发明属于实时视频通信技术领域，特别是涉及一种基于超分辨率网络的视频编码分像素运动补偿方法。
背景技术
在视频编码中，通过分像素运动补偿来消除视频序列中的时间冗余，H.264/AVC和HEVC都是现代视频编码标准。它们使用基于块的运动补偿来进行相互间预测，有效地降低了自然视频中的时间冗余，提高了高效视频编码(HEVC)的互预测效率，并得到了广泛的应用。
然而，由于视频的空间分散，该块的平移可能不会与该像素对齐。在预测当前块时，仅在参考图像块中搜索还不够。换句话说，由于数字视频的空间采样，视频帧中相邻像素的位置是不连续的。因此，引入了亚像素运动补偿来解决这个问题。为了获得更有效的视频编码标准，采用分数插值方法进行子像素运动补偿。
传统的分数像素运动补偿方法通常从整数像素中插值分数像素。近年来，随着深度学习技术的不断发展，人们提出了图像分类、去噪和嵌入等许多方法。随后研究人员发现，将基于深度学习的网络结构应用于视频编码中，可以显著提高视频效率。而现有的基于深度学习的分数式插值方法要么只产生半像素，要么需要为相应的子像素位置训练相应的模型，其实用性有限。
发明内容
为了解决上述技术问题，本发明提供一种基于超分辨率网络的视频编码分像素运动补偿方法，提高了互预测的效率，并实现了显著的比特节省。
为实现上目的，本发明提出一种基于超分辨率网络的视频编码分像素运动补偿方法，具体包括以下步骤：
S1、构建FSRCNN网络模型，并对所述FSRCNN网络模型进行训练，得到训练好的FSRCNN网络模型；
S2、在所述FSRCNN网络模型中引入细节组件，并将所述细节组件与信道尺寸中的输入帧级联，然后输入到训练好的FSRCNN网络模型中，输出高分辨率帧；
S3、构建高效视频编码标准HEVC，将所述训练好的FSRCNN网络模型替换所述HEVC中的亚像素运动补偿，得到视频编码的测试性能指标。
优选地，所述FSRCNN网络模型，包括：特征提取层、收缩层、映射层、膨胀层和反褶积层；每层均包括敏感变量和不敏感变量。
优选地，所述特征提取层，具体为：提取原始图像的特征并设置卷积层过滤器的大小和低分辨率特征维数；所述低分辨率特征维数是第一个敏感变量。
优选地，所述收缩层，具体为：采用固定尺寸的滤波器对所述低分辨率特征维数进行降维；降维后的低分辨率特征维数是第二个敏感变量。
优选地，所述映射层，具体为：调整所有层的数量、所有层中过滤器的数量和映射层的数量；所述映射层的数量是第三个敏感变量。
优选地，所述膨胀层，具体为：引入一个层滤波器来扩展高分辨率的特征尺寸，并采用合同参数来表示。
优选地，所述反褶积层，具体为：引入一组反褶积滤波器来进行上采样和聚合前验处理明显的特征，并设置步幅和重建HR图像。
优选地，所述反褶积层的步幅为4。
优选地，所述细节组件是利用输入帧和相邻帧之间做减法运算得到。
优选地，对所述FSRCNN网络模型进行训练是通过不断调整参数集来减少训练集中的损失，其损失函数采用均方误差。
与现有技术相比，本发明的有益效果在于：
本发明通过构造细节组件和超分辨率网络来生成部分像素。与HEVC相比，该方法提高了互预测的效率，并实现了显著的比特节省，以实现更好的压缩效率和预测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法内部结构图；
图2为本发明FSRCNN网络模型图；
图3为本发明方法流程图；
图4为本发明实验结果性能对比图；其中，(a)为FourPeople的率失真曲线与HEVC的比较图；(b)为Kimono的率失真曲线与HEVC的比较图；(c)为BQTerrace的率失真曲线与HEVC的比较图；(d)为BQMall的率失真曲线与HEVC的比较图；
图5为本发明不同规格的测试视频比较图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
参照图1所示，本发明提出一种基于超分辨率网络的视频编码分像素运动补偿方法，使用超分辨率网络来解决分数像素运动补偿的问题。该方法用于替换HEVC中原始的分数阶插值方法。如图1所示，FSRCNN是一种高效的超分辨率网络结构，可以在不损失恢复质量的情况下实现高速运行的操作。因此，本发明采用FSRCNN作为网络的基础结构。为了得到更好的结果，采用了细节成分提取方法。该方法从相邻帧的原始输入中减去对齐的参考帧(即输入帧)。然后，将提取的细节组件与信道尺寸中的参考帧连接。级联后的结果被用作FSRCNN的输入。本发明将反褶积层的倍数设置为4，以最终生成分数像素。
具体包括以下步骤：
S1、构建FSRCNN网络模型，并对所述FSRCNN网络模型进行训练，得到训练好的FCRCNN网络模型；
FCRCNN网络模型的结构参考图2所示，FSRCNN网络模型由五个部分组成，包括：特征提取层、收缩层、映射层、膨胀层和反褶积层。j层(j＝1、2、3、4)的输出通过前一层的线性变换得到。每层后面是参数校正线性单位。计算公式如下
Oi＝max(0，Fi*Oi-1+Bi) (1)
其中，Qi代表每一层的操作，Fi和Bi分别代表卷积滤波器的核和第i层的偏置，而*表示卷积操作。
卷积层表示为Conv(fi、ni、ci)，反卷积层表示为DeConv(fi、ni、ci)。变量fi、ni和ci都是影响卷积网络的重要因素。
由于网络中的变量的数量非常大(即，{fi、ni、ci}6 i＝1)，因此很难详细研究所有的变量。如果一量的轻微变化对整体模型性能有重大影响，便称该变量为敏感变量。因此，对于不敏感的变量，本发明设置了一个适当的值。在超分辨率中，对于这些敏感变量对网络有很大的影响，需要后期根据具体情况进行调整。
对于FSRCNN，这五个层将执行以下五个步骤：
特征提取层：与大多数超分辨率模型的第一部分相似，但在输入图像上有所不同。FSRCNN直接提取原始图像的特征，而不使用其他插值方法。在这里，本发明将过滤器大小设置为f1，为5，这将减少信息损失。然后将c1设置为1。将低分辨率特征维数表示为d，其中d是第一个敏感变量，将卷积层表示为(5、d、1)。特征提取之后是一个映射步骤。此步骤直接将映射到高分辨率(HR)特征空间。
收缩层：采用固定尺寸的滤波器(f2＝1)应用降维数，将LR的特征维数从d降到s，同时降低了网络参数和计算复杂度。其中，s是第二个敏感变量，而s可以确定锋利的程度。第二个布局表示为曲线(1、s、d)。
映射层是非线性映射步骤。其中有两个最有影响的因素，层的数量和层中过滤器的数量。为了提高性能，保持网络规模尽可能小，本发明使用了一个中等固定尺寸的f3＝3。FSRCNN使用多个3×3层，而不是一个宽层。这样，在保持良好性能的同时，网络规模就不会太大。另一个敏感的变量是映射层的数量，本发明将其表示为m。它决定了映射的准确性和复杂性。为了保持一致性，所有映射层中的过滤器都设置为相同数，n3设置为s，因此，第三部分表示为m×曲线(3、s、s)。
膨胀层：FSRCNN降低了收缩层中LR的特征维数，提高了计算效率。为了保持与第二层的一致，需要一个层滤波器来扩展高分辨率的特征尺寸。第四部分表示为合同(1、d、s)。
反褶积层：它使用一组反褶积滤波器来进行上采样和聚合前验处理明显的特征。对于反褶积，如果设置步幅k＝n并输出重建的HR图像。反向网络用于通过HR图像生成LR图像来降低分辨率。在这里，本发明设置了k＝4，这是所需的升级因子。十积表示为转换(4、1、d)。
FSRCNN不采用常用的整流线性单元作为激活函数。相反，使用了前置ReLU。它们的负数部分有不同的系数。对于这两种类型的激活函数，本发明定义公式为：
f(xi)＝max(xi，0)+aimin(0，xi) (2)
在公式中，xi是激活f的输入信号，下标i表示第i个通道，ai是负部分的系数。ReLU中的ai被设置为零。PReLU与ReLU的不同在于参数是可学习的。卢的“死特征”由零梯度引起，前期可以避免。然后本发明可以测试不同的网络来利用所有的参数。
一个FSRCNN网络包含上述五个部分，即Conv(5,d,1)-PReLU-Conv(1,s,d)-PReLU-m×Conv(3,s,s)-PReLU-Conv(1,d,s)-PReLU-DeConv(4,1,d)。总体而言，有三个敏感变量控制性能和速度。计算复杂度为：
Figure BDA0003094362030000071
由于引入这些参数的计算成本可以忽略不计，因此排除了PReLU的参数。为了更直观，模型的参数见表1：
表1
Figure BDA0003094362030000081
本发明通过不断调整参数集来训练模型。其目标是在训练集中尽量减少损失的函数。在模型训练过程中，损失函数采用均方误差。设F表示生成分数像素的学习网络。PLU层学习参数集由Θ表示，包括卷积滤波器核、偏差和要学习的参数。损失函数表示为
Figure BDA0003094362030000082
其中，xs i和yi是训练数据中的第i个LR和HR子图像对。F(xs i，Θ)是指参数为Θ的xs i的网络输出。本发明使用随机梯度下降和标准的反向传播来优化所有参数的内存。
S2、在所述FCRCNN网络模型中引入细节组件，并将所述细节组件与信道尺寸中的输入帧级联，然后输入到训练好的FCRCNN网络模型中，输出高分辨率帧；参照图3所示。
所述细节组件是利用输入帧和相邻帧之间做减法运算得到。
S3、构建高效视频编码标准HEVC，将所述训练好的FSRCNN网络模型替换所述HEVC中的亚像素运动补偿，得到视频编码的测试性能指标。
将模型FCRCNN网络模型集成到HEVC中。在HEVC中，预测单元是相互预测的基本单元。在对预测单元进行运动估计时，可以重用HEVC编码器中现有的运动估计算法。本发明使用预测单元的方法对编码器进行运动补偿(包括编码器和解码器)。将训练后的模型应用于分数运动补偿。
为了验证本发明的技术效果，将HEVC和DCTIF两种分数像素运动补偿方法分别进行测试，进而比较两个通道的速率失真，具体为：
DCTIF可以自适应地用于运动补偿。由于视频内容的非平稳性，对每个局部区域可以选择不同的分数参考方法。在基于块的混合编码框架中，在编码器端选择了不同的分数参考方法。然后，所选的分数参考方法的信号被发送到解码器。
在HEVC的编码单位级上的推理方法。同一编码单元中的所有预测单元共享相同的分数参考方法。在编码器侧，对每个编码单元执行两个不同的编码过程。第一遍使用本发明的方法，第二遍采用DCTIF方法。进而比较这两个通道的速率失真。
由于训练方法具有很强的鲁棒性，因此本实验使用同样的方法来训练神经网络。
在基于学习的SR方法中，通常使用91-图像作为训练数据集。但是91个图像不能训练深度模型以达到最佳的性能。特别是对于大型网络结构，91个图像数据集很难满足要求。一些研究人员使用BSD500数据集。由于这个数据集中的图像格式并不最适合SR任务，所以本试验不采用它。因此，该模型使用一般100数据集进行训练。该数据集包含100张bmp格式的图像。这100张图像的大小从710×704(大)到131×112(小)不等。它们有清晰的边缘，高质量，所以非常适合训练。在接下来的实验中，不仅使用了91个图像的数据集。还将把这两个不同的数据集组合起来训练本发明的网络。为了获得一个更好的数据集，采用了数据增强的方法。以两种方式扩展了数据。
1)采用0.9、0.8、0.7和0.6的系数缩小了每张图像。
2)将每张图像旋转为90度、180度和270度。然后将有19倍的图像来训练模型。
本试验采用了高分辨率的像素网格的下采样，以获得了亚像素的位置样本。首先根据缩放因子采样原始训练图像，形成LR图像。然后，将LR训练图像剪切成一组×子像素子图像。同样，也从地面真实图像中裁剪相应的HR子图像(大小为2)。这些LR/HR子图像对是该模型的训练数据。
填充物对模型的性能结果只有轻微的影响。因此，根据过滤器的大小，全部采用零填充法图层结构。这样，不同的网络设计就不需要改变图像的大小。十卷积布局是影响子图像大小的另一个因素。在HR子图像上进行相同的裁剪。最后，对于×2、×3和×4，将LR/HR子图像的大小分别设置为102/192、72/192和62/212。
为了得到模型的最优参数，本发明用控制变量的方法设计了实验。本实验中，第一个敏感变量为LR特征维度d，第二个为收缩滤波器数s，第三个为映射深度m，具体选择m＝2、3、4、s＝12、16、d＝48、56，用2×2×3＝12不同组合进行实验。
如图表2所示，表2显示了集合5个数据集的平均PSNR。我们分别比较了表中的水平结果和垂直结果。首先，改变了m的值，测试了d和s的效果，显然，当m等于4时效果更好。其次，确定了m的值，然后观察了d和s的变化。当d、s、m分别为56、12和4时，该模型取得了最好的性能。它不需要大量的参数，并取得了良好的效果。
表2
Figure BDA0003094362030000111
为了评价该方法在视频编码中分数像素运动补偿中的效率，本发明进行了大量的实验。
一般的100个数据集来训练数据生成。然后使用5、14和BSD200数据集进行测试。另外，从BSD500数据集的验证集中选择25个不同的图像以进行验证。使用这种方法来测试该模型是否有效。
培训方法采用两步策略。首先，利用91个图像的数据集来启动训练模型。然后，当训练达到饱和时，用一般的100数据集来微调模型。
在训练过程中，将LR/HR子图像的大小设置为72/192。训练周期为10，随机梯度下降值为0.9。将输入图像的下采样倍数设置为4。该网络通过Adam在咖啡馆平台上进行标准的反向传播训练。该模型在一个单一的NVIDIA锗力GTX1050上进行训练。
当使用91个图像数据集进行训练时，卷积层和反卷积层的学习率分别设置为10-3,10-4。最后一层采用的学习率相对较小，对网络的收敛非常重要。在微调过程中，降低了各层的学习率。然后初始化卷积滤波器的权重。使用中为PLU设计的方法初始化。然后初始化反褶积滤波器。
在低延迟配置下，在HM16.8上进行了测试。也可以与香草中的HM相比较。速率失真用BD速率测量。通过以往的实验，在确保优异性能的前提下找到了最合适的参数。如上所述，使用之前准备的培训数据。通过计算bd率来量化不同方案之间的比特节省。测试期间，QP值设置为22、27、32和37。
本发明分别用B、C、D、E和F类测试了该方法的性能。表3显示了其实验结果。
表3
Figure BDA0003094362030000131
对于卢马分量，本发明的方法在LDP下的bd率平均降低了2.2％。
参照图4所示，本发明将使用本发明的方法计算的四个算例BQTerrace、BQMall、Kimono和FourPeople的率失真曲线与HEVC进行了比较。由于BD-rate越高说明效果越好，因此实验结果表明，在大多数QP的情况下，该方法可以有效地节省比特数，并且优于HEVC。
参照图5所示，从B类到E类提取了四个不同规格的测试视频以进行比较，图像序列从上到下依次为BQTerrace、BQMall、RaceHorses和FourPeople。随机选择了几帧图像，并将其与HEVC进行了比较。之后，比较区域被标记为红色突出显示的窗口，并放大比较区域以显示更多详细信息。在HM产生的结果中突出区域的皱纹相对难以观察。在本发明的方法所产生的结果中，可以清楚地观察到褶皱的模式。这表明，本发明在保留细节方面表现得很好。此外，由于本发明方法是由卢马组件训练和使用的，因此Y的比特保存得最多。
为了更好地比较，将现有的两种方法进行了比较。这两种方法都是基于深度的分数阶插值方法。有两种方法只替换HEVC中的半像素插值，分别称为CNNIF和VDIF。为了公平地比较，在HM16.4上测试了这两种方法。在HEVC的默认配置中测试这些方法。这三种方法中Y分量的BD率被降低，如表4所示。
表4
Figure BDA0003094362030000151
在C类中，本发明的方法平均节省了2.2％的比特率，而另外两种方法分别节省了0.9％和0.9％的比特率。在D类和E类中，本发明的方法比其他两种方法平均节省了1.3％和1.0％的bd率。根据该表，该方法在大多数情况下都优于CNNIF和VDIF。
综上，本文提出了一种基于超分辨率的运动补偿方法，该方法通过构造细节组件和超分辨率网络来生成部分像素。与HEVC相比，该方法提高了互预测的效率，并实现了显著的比特节省。由于本发明方法不考虑双向分像素运动补偿，因此还能够提高相互预测精度，以实现更好的压缩效率和预测精度。
以所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于超分辨率网络的视频编码分像素运动补偿方法，其特征在于，具体包括以下步骤：
S1、构建FSRCNN网络模型，并对所述FSRCNN网络模型进行训练，得到训练好的FSRCNN网络模型；
S2、在所述FSRCNN网络模型中引入细节组件，并将所述细节组件与信道尺寸中的输入帧级联，然后输入到训练好的FSRCNN网络模型中，输出高分辨率帧；所述细节组件是利用输入帧和相邻帧之间做减法运算得到；
S3、构建高效视频编码标准HEVC，将所述训练好的FSRCNN网络模型替换所述HEVC中的亚像素运动补偿，得到视频编码的测试性能指标。
2.根据权利要求1所述的基于超分辨率网络的视频编码分像素运动补偿方法，其特征在于，所述FSRCNN网络模型，包括：特征提取层、收缩层、映射层、膨胀层和反褶积层；每层均包括敏感变量和不敏感变量。
3.根据权利要求2所述的基于超分辨率网络的视频编码分像素运动补偿方法，其特征在于，所述特征提取层，具体为：提取原始图像的特征并设置卷积层过滤器的大小和低分辨率特征维数；所述低分辨率特征维数是第一个敏感变量。
4.根据权利要求3所述的基于超分辨率网络的视频编码分像素运动补偿方法，其特征在于，所述收缩层，具体为：采用固定尺寸的滤波器对所述低分辨率特征维数进行降维；降维后的低分辨率特征维数是第二个敏感变量。
5.根据权利要求2所述的基于超分辨率网络的视频编码分像素运动补偿方法，其特征在于，所述映射层，具体为：调整所有层的数量、所有层中过滤器的数量和映射层的数量；所述映射层的数量是第三个敏感变量。
6.根据权利要求2所述的基于超分辨率网络的视频编码分像素运动补偿方法，其特征在于，所述膨胀层，具体为：引入一个层滤波器来扩展高分辨率的特征尺寸，并采用合同参数来表示。
7.根据权利要求2所述的基于超分辨率网络的视频编码分像素运动补偿方法，其特征在于，所述反褶积层，具体为：引入一组反褶积滤波器来进行上采样和聚合前验处理明显的特征，并设置步幅和重建HR图像。
8.根据权利要求7所述的基于超分辨率网络的视频编码分像素运动补偿方法，其特征在于，所述反褶积层的步幅为4。
9.根据权利要求1所述的基于超分辨率网络的视频编码分像素运动补偿方法，其特征在于，对所述FSRCNN网络模型进行训练是通过不断调整参数集来减少训练集中的损失，其损失函数采用均方误差。
CN202110607240.8A 2021-06-01 2021-06-01 一种基于超分辨率网络的视频编码分像素运动补偿方法 Active CN113365079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110607240.8A CN113365079B (zh) 2021-06-01 2021-06-01 一种基于超分辨率网络的视频编码分像素运动补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110607240.8A CN113365079B (zh) 2021-06-01 2021-06-01 一种基于超分辨率网络的视频编码分像素运动补偿方法

Publications (2)

Publication Number Publication Date
CN113365079A CN113365079A (zh) 2021-09-07
CN113365079B true CN113365079B (zh) 2023-05-30

Family

ID=77530985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110607240.8A Active CN113365079B (zh) 2021-06-01 2021-06-01 一种基于超分辨率网络的视频编码分像素运动补偿方法

Country Status (1)

Country Link
CN (1) CN113365079B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108012157A (zh) * 2017-11-27 2018-05-08 上海交通大学 用于视频编码分数像素插值的卷积神经网络的构建方法
US10701394B1 (en) * 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
CN111510721A (zh) * 2020-04-10 2020-08-07 华侨大学 基于空间下采样的多描述编码高质量边重建方法
CN111726623A (zh) * 2020-05-26 2020-09-29 上海交通大学 提升空间可分级编码视频在丢包网络中重建质量的方法
CN112218072A (zh) * 2020-10-10 2021-01-12 南京大学 一种基于解构压缩和融合的视频编码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701394B1 (en) * 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
CN108012157A (zh) * 2017-11-27 2018-05-08 上海交通大学 用于视频编码分数像素插值的卷积神经网络的构建方法
CN111510721A (zh) * 2020-04-10 2020-08-07 华侨大学 基于空间下采样的多描述编码高质量边重建方法
CN111726623A (zh) * 2020-05-26 2020-09-29 上海交通大学 提升空间可分级编码视频在丢包网络中重建质量的方法
CN112218072A (zh) * 2020-10-10 2021-01-12 南京大学 一种基于解构压缩和融合的视频编码方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HEVC Image Quality Assessment of the Multi-view and Super-resolution Images Based on CNN;Norifumi 等;《2018 IEEE 7th Global Conference on Consumer Electronics (GCCE)》;全文 *
采用双网络结构的压缩视频超分辨率重建;周航 等;《电讯技术》;全文 *
采用双网络结构的压缩视频超分辨率重建;周航;何小海;王正勇;熊淑华;Karn Pradeep;;电讯技术(第01期);全文 *

Also Published As

Publication number Publication date
CN113365079A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN106709875B (zh) 一种基于联合深度网络的压缩低分辨率图像复原方法
CN108012157B (zh) 用于视频编码分数像素插值的卷积神经网络的构建方法
CN108830790B (zh) 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN110351568A (zh) 一种基于深度卷积网络的视频环路滤波器
CN108921910B (zh) 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN110136057B (zh) 一种图像超分辨率重建方法、装置及电子设备
CN115606179A (zh) 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器
CN113068031B (zh) 一种基于深度学习的环路滤波方法
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN115552905A (zh) 用于图像和视频编码的基于全局跳过连接的cnn滤波器
CN111667406A (zh) 一种基于时域相关性的视频图像超分辨率重建方法
CN113810715B (zh) 一种基于空洞卷积神经网络的视频压缩参考图像生成方法
CN112601095B (zh) 一种视频亮度和色度分数插值模型的创建方法及系统
CN113055674B (zh) 一种基于两阶段多帧协同的压缩视频质量增强方法
CN114202463A (zh) 面向云端融合的视频超分辨率方法及系统
CN113592746A (zh) 一种由粗到细地融合时空信息的压缩视频质量增强方法
Amaranageswarao et al. Residual learning based densely connected deep dilated network for joint deblocking and super resolution
CN113365079B (zh) 一种基于超分辨率网络的视频编码分像素运动补偿方法
CN115442613A (zh) 一种利用gan的基于帧间信息的噪声去除方法
CN116797462A (zh) 基于深度学习的实时视频超分辨率重建方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
Jin et al. Video intra prediction using convolutional encoder decoder network
CN106709873B (zh) 一种基于三次样条插值和迭代更新的超分辨率方法
CN115131254A (zh) 一种基于双域学习的恒定码率压缩视频质量增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant