CN110378466A - 基于神经网络差分的量化方法及系统 - Google Patents

基于神经网络差分的量化方法及系统 Download PDF

Info

Publication number
CN110378466A
CN110378466A CN201910478617.7A CN201910478617A CN110378466A CN 110378466 A CN110378466 A CN 110378466A CN 201910478617 A CN201910478617 A CN 201910478617A CN 110378466 A CN110378466 A CN 110378466A
Authority
CN
China
Prior art keywords
network model
layer
training
model
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910478617.7A
Other languages
English (en)
Other versions
CN110378466B (zh
Inventor
王苫社
赵政辉
马思伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201910478617.7A priority Critical patent/CN110378466B/zh
Publication of CN110378466A publication Critical patent/CN110378466A/zh
Application granted granted Critical
Publication of CN110378466B publication Critical patent/CN110378466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及数字信号处理领域,特别涉及一种基于神经网络差分的量化方法及系统。具体包括:训练网络模型,将网络模型进行初始化;将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量;对网络模型的训练参数表达形式的改变量进行聚类量化处理,得到对应的网络模型紧凑表达形式。本发明解决预训练模型存在的条件下,如何在低比特量化的情况下尽可能提升神经网络模型的性能。

Description

基于神经网络差分的量化方法及系统
技术领域
本发明涉及数字信号处理领域,特别涉及一种基于神经网络差分的量化方法及系统。
背景技术
随着深度学习的不断发展,在计算机视觉与自然语言处理领域的应用越来越广泛。在图像分类、图像识别与目标检测和图像质量增强等众多的问题上获得了广泛的应用。另一方面,随着网络模型应用的日渐增多,网络模型的分发与传输也逐渐成为重要的研究课题。在视频编码等相关领域,为了最大程度提升网络模型的性能,相关的技术提案指出在编码得到的码流中传输网络模型能够获得明显的性能提升,在众多应用中也涉及到网络模型的分发部署,因此如何降低网络模型的存储大小是一个重要的问题。另一方面,深度神经网络模型的参数量大,精度要求高,在降低网络模型存储的过程中性能损失比较严重。如何能够保持网络模型的性能是一个关键的问题。
在压缩网络模型的过程中,量化是非常重要的一个环节。因为网络模型往往使用浮点数表示,精度要求高。量化环节在最大程度保留神经网络模型性能的前提下,降低网络模型参数保存的精度,通过这样的方式能够显著的降低网络模型的大小,增加网络模型的传输鲁棒性。如何能够在低精度的条件下最大程度保持网络模型的性能,是量化环节的一个重要的研究课题。
发明内容
本发明实施例提供了一种基于神经网络差分的量化方法及系统,解决预训练模型存在的条件下,如何在低比特量化的情况下尽可能提升神经网络模型的性能。
根据本发明实施例的第一方面,一种基于神经网络差分的量化方法,具体包括:
训练网络模型,将网络模型进行初始化;
将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量;
对网络模型的训练参数表达形式的改变量进行聚类量化处理,得到对应的网络模型紧凑表达形式。
所述网络模型的卷积层的运算表示为:
其中,网络模型L(i)表示网络模型的第i层的输出结果,L(i-1)表示网络模型的第i-1层的输出结果,b(i)表示偏置项,运算表示卷积,函数σ(x)=max{x,0}表示激活函数;W(i)初始值为0;为预训练模型第i层的卷积参数表达形式,W(i)为新训练得到的模型的卷积参数表达形式。
对网络模型的训练参数表达形式的改变量进行聚类量化处理,具体为对每一层的参数W(i)进行k-means聚类。
所述对网络模型的训练参数表达形式的改变量进行聚类量化处理的优化,其中,损失函数为:
e(L(i),Ltrue)=||L(i)-Ltrue||2
其中,为网络模型的第i层的真实值;L(i)为网络模型的第i层的输出结果。
所述网络模型的卷积层,最后一层N的卷积层的运算表示为:
其中,网络模型L(N)表示网络模型的第i层的输出结果,L(N-1)表示网络模型的第N-1层的输出结果,b(N)表示偏置项,运算表示卷积,W(N)初始值为0;为预训练模型第i层的卷积参数表达形式,W(N)为新训练得到的模型的卷积参数表达形式。
一种基于神经网络差分的量化系统,具体包括:
初始化模块,将网络模型进行初始化;
变量设定模块,将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量;
聚类量化模块,对网络模型的训练参数表达形式的改变量进行聚类量化处理,得到对应的网络模型紧凑表达形式。
所述网络模型的卷积层的运算表示为:
其中,网络模型L(i)表示网络模型的第i层的输出结果,L(i-1)表示网络模型的第i-1层的输出结果,b(i)表示偏置项,运算表示卷积,函数σ(x)=max{x,0}表示激活函数;W(i)初始值为0;为预训练模型第i层的卷积参数表达形式,W(i)为新训练得到的模型的卷积参数表达形式。
对网络模型的训练参数表达形式的改变量进行聚类量化处理,具体为对每一层的参数W(i)进行k-means聚类。
所述对网络模型的训练参数表达形式的改变量进行聚类量化处理的优化,其中,损失函数为:
e(L(i),Ltrue)=||L(i)-Ltrue||2
其中,为网络模型的第i层的真实值;L(i)为网络模型的第i层的输出结果。
所述网络模型的卷积层,最后一层N的卷积层的运算表示为:
其中,网络模型L(N)表示网络模型的第i层的输出结果,L(N-1)表示网络模型的第N-1层的输出结果,b(N)表示偏置项,运算表示卷积,W(N)初始值为0;为预训练模型第i层的卷积参数表达形式,W(N)为新训练得到的模型的卷积参数表达形式。
本发明实施例提供的技术方案可以包括以下有益效果:本发明通过量化差分值,能够实现网络模型的极低比特压缩,并能够最大程度维持网络模型的性能。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本发明提供了一种基于神经网络差分的量化方法流程图;
图2是本发明提供了一种基于神经网络差分的量化系统模块图;
图3是使用预训练模型的基本方式;
图4是本发明使用的性能结果。
具体实施方式
实施例一
如图1、图3所示,本发明提供了一种基于神经网络差分的量化方法,具体包括:
在训练当前网络模型的过程中,选择相关问题的预训练网络模型与网络结构作为当前模型的初始化;
为了能够充分利用预训练模型降低网络模型的大小,将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量;
具体来说,假设预训练模型第i层的卷积参数表达为新训练得到的模型的卷积参数表示为W(i)。在这样的假设条件下,当前卷积层的运算表示为:
其中,网络模型L(i)表示网络模型的第i层的输出结果,L(i-1)表示网络模型的第i-1层的输出结果,b(i)表示偏置项,运算表示卷积,函数σ(x)=max{x,0}表示激活函数;与传统的卷积网络模型不同的是,当前网络模型的卷积核表示为预训练模型的参数与新训练参数的增量;W(i)初始值为0;
优选的,对于预训练模型最后一层N,卷积层的运算表示为:
其中,网络模型L(N)表示网络模型的最后一层第N层的输出结果,L(N-1)表示网络模型的倒数第二层第N-1层的输出结果,b(N)表示偏置项,运算表示卷积。
以下面的图像质量增强问题为例,网络模型采用了SRCNN的结构,有三层卷积组成,具体的数学表达形式如下:
其中激活函数σ(x)=max{x,0}增加网络模型的非线性表达能力,L(0)表示网络模型的输入图像。
在训练的过程中模型的改变量进行聚类量化处理,从而得到对应的网络模型紧凑表达形式;
训练的网络参数W(i)初始化为零,优化的损失函数为:
为网络模型的第i层的真实值;L(i)为网络模型的第i层的输出结果;
通过反向传播算法,我们能够逐层得到W(i)的梯度,由于是固定的常数,所以梯度具有如下关系:
因此网络模型的梯度可以通过传统的反向传播过程得到。
为了能够获得紧凑的网络模型参数的表达形式,在训练过程中引入了量化操作。具体来说,在训练的过程中,我们对每一层的参数W(i)进行k-means聚类。举例来说,如果我们将每一层的网络模型参数聚类为2类,那么W(i)中只会出现两个不同的浮点数值,这样我们通过记录两个浮点数值,以及使用{0,1}来表示使用的是哪一个浮点数,就能够显著的降低网络模型的存储大小。为了在反向传播的过程中保持参数的聚类结果不变,我们对梯度按照聚类得到的结果进行平均。这样保证了网络参数相同的聚类结果具有相同的梯度。通过使用随机梯度下降算法,网络模型能够学习得到紧凑的表达。
实施例二
本发明提供了一种基于神经网络差分的量化方法,
使用的网络结构为SRCNN网络模型,其中SRCNN为三层卷积神经网络模型。具体来说,第一层网络模型的卷积核大小为9×9,主要用于提取输入图像上面的纹理信息;第二层网络模型的卷积核大小为1×1,主要用于变换输入图像的特征;最后一层网络模型的卷积核大小为5×5,用于重建输出图像。在第一层网络模型与第二层网络模型之后,添加了ReLU激活函数来增加神经网络的非线性变换能力。
本发明测试的图像质量恢复问题的设置如下。本发明测试的图像分为两组,分别标志为高质量图像组与低质量图像组,两组图像通过HEVC标准的参考软件HM进行压缩编码。高质量图像组使用的量化参数为32,低质量图像组使用的量化参数为37。实验过程中,使用在高质量图像组上训练得到的网络模型作为低质量图像组的预训练模型参数。具体来说,网络模型能够表示为下面的公式:
其中网络模型中的初始化参数标记为该参数在训练过程中为不可训练常数。在预训练模型基础之上的增量为网络模型的训练参数W(i),在网络模型训练过程中计算W(i)的梯度,并使用随机梯度下降进行更新。
训练过程中通过反向传播计算W(i)和b(i)的梯度信息,并通过随机梯度下降算法进行参数更新。在图像质量增强的问题上,使用MSE作为训练的损失函数,并通过Adam优化算法更新网络模型的参数,网络模型的参数设置为0.001。
神经网络的量化操作能够极大的降低网络模型的存储与传输大小。在本发明中,量化的相关操作应用到了可变换的网络模型参数W(i)上,用来进一步降低网络模型的存储大小。在图像增强的过程中,我们在网络模型的一定数量的前向传播以及其之后的后向传播的过程应用了聚类与量化的处理方式。具体来说,针对网络模型中的某一个卷积层W(i)而言,在执行完一定数量的训练之后,对网络模型的参数进行聚类处理,将网络模型的参数聚类为2l个不同的数值,其中l表示量化的比特数,同时记录下来卷积参数内聚类结果。在图像增强的过程中,为了能够在反向传播的过程中保持参数的聚类结果,通过MSE损失函数反向传播得到的结果按照聚类的结果求平均,即具有相同数值的W(i)值具有相同的梯度值,从而在优化的过程中能够保持网络模型的量化效果不变。
如图2所示,本发明一种基于神经网络差分的量化系统,包括
初始化模块,将网络模型进行初始化;
变量设定模块,将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量;
聚类量化模块,对网络模型的训练参数表达形式的改变量进行聚类量化处理,得到对应的网络模型紧凑表达形式。
具体来说,假设预训练模型第i层的卷积参数表达为新训练得到的模型的卷积参数表示为W(i)。在这样的假设条件下,当前卷积层的运算表示为:
其中,网络模型L(i)表示网络模型的第i层的输出结果,L(i-1)表示网络模型的第i-1层的输出结果,b(i)表示偏置项,运算表示卷积,函数σ(x)=max{x,0}表示激活函数;与传统的卷积网络模型不同的是,当前网络模型的卷积核表示为预训练模型的参数与新训练参数的增量;W(i)初始值为0;
优选的,对于预训练模型最后一层N,卷积层的运算表示为:
其中,网络模型L(N)表示网络模型的最后一层第N层的输出结果,L(N-1)表示网络模型的倒数第二层第N-1层的输出结果,b(N)表示偏置项,运算表示卷积。
以下面的图像质量增强问题为例,网络模型采用了SRCNN的结构,有三层卷积组成,具体的数学表达形式如下:
其中激活函数σ(x)=max{x,0}增加网络模型的非线性表达能力,L(0)表示网络模型的输入图像。
聚类量化模块,在训练的过程中模型的改变量进行聚类量化处理,从而得到对应的网络模型紧凑表达形式;
训练的网络参数W(i)初始化为零,优化的损失函数为:
为网络模型的第i层的真实值;L(i)为网络模型的第i层的输出结果;
通过反向传播算法,我们能够逐层得到W(i)的梯度,由于是固定的常数,所以梯度具有如下关系:
因此网络模型的梯度可以通过传统的反向传播过程得到。
本发明在相关的问题上应用了提出的量化算法,证明了本发明专利的有效性。本文实验使用了图像增强问题作为实验的对象。网络模型使用了SRCNN模型作为实验的目标。在实验过程中,使用在较低是真的图像上训练得到的网络模型作为预训练模型,新的模型在高失真的图像数据集上面进行参数调整。
实验结果如图4所示,其中虚线表示网络模型的参数本发明使用的网络模型参数聚类与量化的实验结果,实线表示传统的量化方法的性能,即针对网络模型参数本事进行量化的效果。实验结果显示,通过对卷积网络模型进行新的参数表示形式,相应的网络模型参数即使在1比特量化的条件下,依然能够获得很好的性能保持,誉为经过量化的模型相比较,网络模型的性能下降很低,充分显示出了网络模型新的表达形式与对应的量化优化算法的优势。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于神经网络差分的量化方法,其特征在于,具体包括:
训练网络模型,将网络模型进行初始化;
将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量;
对网络模型的训练参数表达形式的改变量进行聚类量化处理,得到对应的网络模型紧凑表达形式。
2.如权利要求1所述的方法,其特征在于,所述网络模型的卷积层的运算表示为:
其中,网络模型L(i)表示网络模型的第i层的输出结果,L(i-1)表示网络模型的第i-1层的输出结果,b(i)表示偏置项,运算表示卷积,函数σ(x)=max{x,0}表示激活函数;W(i)初始值为0;为预训练模型第i层的卷积参数表达形式,W(i)为新训练得到的模型的卷积参数表达形式。
3.如权利要求1所述的方法,其特征在于,对网络模型的训练参数表达形式的改变量进行聚类量化处理,具体为对每一层的参数W(i)进行k-means聚类。
4.如权利要求1-3任意一项所述的方法,其特征在于,所述对网络模型的训练参数表达形式的改变量进行聚类量化处理的优化,其中,损失函数为:
e(L(i),Ltrue)=||L(i)-Ltrue||2
其中,为网络模型的第i层的真实值;L(i)为网络模型的第i层的输出结果。
5.如权利要求4所述的方法,其特征在于,所述网络模型的卷积层,最后一层N的卷积层的运算表示为:
其中,网络模型L(N)表示网络模型的第i层的输出结果,L(N-1)表示网络模型的第N-1层的输出结果,b(N)表示偏置项,运算表示卷积,W(N)初始值为0;为预训练模型第i层的卷积参数表达形式,W(N)为新训练得到的模型的卷积参数表达形式。
6.一种基于神经网络差分的量化系统,其特征在于,具体包括:
初始化模块,将网络模型进行初始化;
变量设定模块,将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量;
聚类量化模块,对网络模型的训练参数表达形式的改变量进行聚类量化处理,得到对应的网络模型紧凑表达形式。
7.如权利要求6所述的系统,其特征在于,所述网络模型的卷积层的运算表示为:
其中,网络模型L(i)表示网络模型的第i层的输出结果,L(i-1)表示网络模型的第i-1层的输出结果,b(i)表示偏置项,运算表示卷积,函数σ(x)=max{x,0}表示激活函数;W(i)初始值为0;为预训练模型第i层的卷积参数表达形式,W(i)为新训练得到的模型的卷积参数表达形式。
8.如权利要求1所述的系统,其特征在于,对网络模型的训练参数表达形式的改变量进行聚类量化处理,具体为对每一层的参数W(i)进行k-means聚类。
9.如权利要求6-8任意一项所述的系统,其特征在于,所述对网络模型的训练参数表达形式的改变量进行聚类量化处理的优化,其中,损失函数为:
e(L(i),Ltrue)=||L(i)-Ltrue||2
其中,为网络模型的第i层的真实值;L(i)为网络模型的第i层的输出结果。
10.如权利要求9所述的系统,其特征在于,所述网络模型的卷积层,最后一层N的卷积层的运算表示为:
其中,网络模型L(N)表示网络模型的第i层的输出结果,L(N-1)表示网络模型的第N-1层的输出结果,b(N)表示偏置项,运算表示卷积,W(N)初始值为0;为预训练模型第i层的卷积参数表达形式,W(N)为新训练得到的模型的卷积参数表达形式。
CN201910478617.7A 2019-06-03 2019-06-03 基于神经网络差分的量化方法及系统 Active CN110378466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910478617.7A CN110378466B (zh) 2019-06-03 2019-06-03 基于神经网络差分的量化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910478617.7A CN110378466B (zh) 2019-06-03 2019-06-03 基于神经网络差分的量化方法及系统

Publications (2)

Publication Number Publication Date
CN110378466A true CN110378466A (zh) 2019-10-25
CN110378466B CN110378466B (zh) 2021-10-08

Family

ID=68249773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910478617.7A Active CN110378466B (zh) 2019-06-03 2019-06-03 基于神经网络差分的量化方法及系统

Country Status (1)

Country Link
CN (1) CN110378466B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991751A (zh) * 2019-12-06 2020-04-10 讯飞智元信息科技有限公司 用户生活模式预测方法、装置、电子设备及存储介质
CN114925829A (zh) * 2022-07-18 2022-08-19 山东海量信息技术研究院 一种神经网络训练方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557812A (zh) * 2016-11-21 2017-04-05 北京大学 基于dct变换的深度卷积神经网络压缩与加速方案
CN107895190A (zh) * 2017-11-08 2018-04-10 清华大学 神经网络模型的权值量化方法及装置
CN107944555A (zh) * 2017-12-07 2018-04-20 广州华多网络科技有限公司 神经网络压缩和加速的方法、存储设备和终端
CN109543821A (zh) * 2018-11-26 2019-03-29 济南浪潮高新科技投资发展有限公司 一种限制权重分布提高量化效果的卷积神经网络训练方法
CN109635927A (zh) * 2018-12-05 2019-04-16 东软睿驰汽车技术(沈阳)有限公司 一种卷积神经网络训练方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557812A (zh) * 2016-11-21 2017-04-05 北京大学 基于dct变换的深度卷积神经网络压缩与加速方案
CN107895190A (zh) * 2017-11-08 2018-04-10 清华大学 神经网络模型的权值量化方法及装置
CN107944555A (zh) * 2017-12-07 2018-04-20 广州华多网络科技有限公司 神经网络压缩和加速的方法、存储设备和终端
CN109543821A (zh) * 2018-11-26 2019-03-29 济南浪潮高新科技投资发展有限公司 一种限制权重分布提高量化效果的卷积神经网络训练方法
CN109635927A (zh) * 2018-12-05 2019-04-16 东软睿驰汽车技术(沈阳)有限公司 一种卷积神经网络训练方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991751A (zh) * 2019-12-06 2020-04-10 讯飞智元信息科技有限公司 用户生活模式预测方法、装置、电子设备及存储介质
CN114925829A (zh) * 2022-07-18 2022-08-19 山东海量信息技术研究院 一种神经网络训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110378466B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
US10769757B2 (en) Image processing apparatuses and methods, image processing systems and training methods
CN110517329B (zh) 一种基于语义分析的深度学习图像压缩方法
CN112634276A (zh) 一种基于多尺度视觉特征提取的轻量级语义分割方法
CN111340814A (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN111738169B (zh) 一种基于端对端网络模型的手写公式识别方法
CN110930327B (zh) 基于级联深度残差网络的视频去噪方法
CN110909874A (zh) 一种神经网络模型的卷积运算优化方法和装置
CN115393396B (zh) 一种基于掩码预训练的无人机目标跟踪方法
CN107784296A (zh) 一种低分辨率图像的人脸识别方法
CN112464816A (zh) 基于二次迁移学习的地方手语识别方法、装置
CN110378466A (zh) 基于神经网络差分的量化方法及系统
CN113971735A (zh) 一种深度图像聚类方法、系统、设备、介质及终端
WO2020165490A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN108304915B (zh) 一种深度学习神经网络的分解与合成方法和系统
CN117152438A (zh) 一种基于改进DeepLabV3+网络的轻量级街景图像语义分割方法
CN115862015A (zh) 文字识别系统的训练方法及装置、文字识别方法及装置
CN113553917B (zh) 一种基于脉冲迁移学习的办公设备识别方法
CN113518229B (zh) 环路滤波网络的训练方法、装置、计算机设备和存储介质
CN107248140A (zh) 一种基于双向对齐稀疏表示的单幅图像超分辨率重建方法
CN113436198A (zh) 一种协同图像超分辨率重建的遥感图像语义分割方法
CN115546885A (zh) 一种基于增强时空特征的动作识别方法及系统
CN116601946A (zh) 针对文本块和非文本块使用不同压缩比对视频帧进行编码
CN116721018B (zh) 基于密集残差连接的生成对抗网络的图像超分辨重建方法
CN111612709A (zh) 一种基于DnCNNs改进的图像降噪方法
Hao A Parallel Network for Compressed Video Enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant