CN110378467A - 一种针对深度学习网络参数的量化方法 - Google Patents

一种针对深度学习网络参数的量化方法 Download PDF

Info

Publication number
CN110378467A
CN110378467A CN201910521633.XA CN201910521633A CN110378467A CN 110378467 A CN110378467 A CN 110378467A CN 201910521633 A CN201910521633 A CN 201910521633A CN 110378467 A CN110378467 A CN 110378467A
Authority
CN
China
Prior art keywords
parameter
network
deep learning
quantizer
network parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910521633.XA
Other languages
English (en)
Inventor
韦逸
赵明敏
赵民建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910521633.XA priority Critical patent/CN110378467A/zh
Publication of CN110378467A publication Critical patent/CN110378467A/zh
Priority to PCT/CN2020/096430 priority patent/WO2020253692A1/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种针对深度学习网络参数的量化方法。本方法包括如下步骤：(1)构建深度学习网络，产生训练数据；(2)利用大量训练数据对所构建的深度学习网络进行训练，确定网络参数；(3)提取出学习参数，确定超参数；(4)设计量化器，由超参数确定所设计软阶梯函数的具体表达式，并引入可学习参数，使之形状可调整；(5)将该带有学习参数的软阶梯函数引入深度学习网络，量化学习参数，通过相同的训练数据学习量化器参数，训练过程采用退火策略；(6)固定训练后的量化器参数，运用量化器对深度学习网络参数进行量化。本发明能够有效降低量化所引起的性能损失，大大降低了深度网络所需的存储开销。

Description

一种针对深度学习网络参数的量化方法
技术领域
本发明属于深度学习领域，是一种针对深度学习网络参数的量化方法。
背景技术
深度学习网络这一学科是自从2006年起，随着基于层叠的限制玻尔兹曼机的深度信念网络的学习算法的提出，而逐渐开创起来的，它在人工智能领域中是一门新兴的学科，其研究的主要内容，就是多层神经网络的建模和算法学习的问题。深度学习网络方法已经成功运用于其他很多领域，比如说图像处理，自然语言处理等。
深度学习是一种新兴的多层神经网络学习算法，因其缓解了传统网络训练中局部最小性，引起机器学习领域的广泛关注。随着近几年的发展，深度学习网络不仅仅指多层神经网络，而是泛指由复杂网络结构构成的多层网络，主要可将深度学习网络分为两种，一是模型驱动的深度学习网络，该类网络根据已知的知识和机制构建，通常是将已知的迭代算法展开成网络，比如LAMP和LISTA算法；二是数据驱动深度学习方法，此方法将网络看做是黑盒并依赖大量数据训练这个网络，常见的全连接网络以及深度卷积网络都属于此种方法。深度网络凭借其多层网络结构，在很多领域获得了很好的应用，但是与此同时，随着网络层次的增加，随之而来的是数量庞大的网络参数，不仅难以学习，在存储网络结构时需要大量的硬件开销。
对于大型深度网络，量化网络参数不是为一种压缩网络存储空间的方法。另外，在不同的应用中，训练所得的网络参数具有不同的分布，如果采用常用的量化器，容易引起较大的量化误差，本发明提出了专门针对深度学习网络的量化器，通过学习来确定量化函数。量化器通常表示为分离的硬阶梯函数，硬阶梯函数并非处处可导，且绝大部分区域导数为零，难以引入网络进行后向梯度传递过程，因此本发明专门设计了一种处处可导的软阶梯函数，并且引入了可学习参数以调整该阶梯函数的形状。该软阶梯函数可以引入训练完成后的网络中，固定网络参数，以训练量化器的参数。通过学习，可得到适应于网络参数的量化器，不仅减少了网络的存储开销，并且减少了由于量化引起的性能损失。
发明内容
本发明的目的是针对在大型深度网络中，由于网络结构复杂，层数深，网络中所包含的网络参数往往数量过多，这会引起巨大的存储开销。在参数更新的系统中，大量网络参数也给传输增加了巨大的负担。提出了一种针对深度学习网络参数的量化方法。本发明采用如下技术方案：
1.构建深度学习网络，并根据问题产生训练数据；
2.利用训练数据对所构建的深度学习网络进行训练，确定网络参数；大型深度网络所表示的映射过程为：
其中y表示输入信号，表示网络的输出信号，Θ为深度网络中所包含学习参数。训练数据为其中ym是输入数据，sm是标签，M是训练数据的数量。
3.提取步骤2所述的网络参数，根据网络参数界限和量化台阶数确定量化比特数和相邻量化台阶间隔；
4.设计量化器，所述量化器由带有可学习参数的处处可导的软阶梯函数构成，由步骤3所述的网络参数界限、量化台阶数和相邻量化台阶间隔确定软阶梯函数的函数表达式，并引入可学习参数作为量化器参数；
5.固定步骤2得到的网络参数，将步骤4所述的量化器引入深度学习网络并量化网络参数，采用步骤1所述的训练数据训练量化器参数，训练过程采用退火策略；
6.固定训练后的量化器参数，运用训练好的量化器对深度学习网络参数进行量化。
进一步的，所述的步骤3具体为：
提取训练后的网络参数，寻找界限，将绝对值最大的网络参数作为网络参数界限Gb；确定所需的量化台阶数2l+1，根据量化台阶数确认所需的量化比特数根据量化台阶数2l+1以及网络参数界限Gb确定相邻量化台阶间隔为
进一步的，所述的步骤4具体为：
设计可引入深度学习网络的处处可导的软阶梯函数Tanh Sum(x)，其由多个tanh(·)函数组成，该软阶梯函数的表达式为：
其中2l+1表示该软阶梯函数台阶数，一个2l+1台阶的Tanh Sum(x)函数由2l个tanh(·)函数组成；σ是为锐利系数，为超参数，决定了该软阶梯函数的平滑程度，σ越大，越接近硬阶梯函数；量化台阶数2l+1、网络参数界限Gb以及相邻量化台阶间隔G都是步骤3中所确定的超参数；
将可学习参数引入软阶梯函数，使其能够被学习并根据深度学习网络参数的特征调整形状，引入可学习参数后的软阶梯函数Qs(x)可表示为：
其中，w1t用于调整第t个台阶的高度，w2t用于调整第t个台阶的宽度，b1t用于调整第t个台阶在x轴方向的位置，b2t用于调整第t个台阶在y轴方向的位置；
将带有可学习参数的软阶梯函数作为量化器，选择L2范数作为代价函数对此量化器的可学习参数进行学习。
进一步的，所述的步骤5具体为：
固定步骤2得到的网络参数，将步骤4得到的带有可学习参数的软阶梯函数引入训练后的深度学习网络以量化网络参数，运用训练数据训练量化器参数；
采用L2函数作为损失函数
其中，为训练大型深度网络的训练数据，为量化器中所包含的学习参数，Θ是训练后的大型深度网络学习参数，{σ,l,Gb}是步骤4中所确定的超参数；
训练过程采用退火策略，依次增大σ，使软阶梯函数逐渐趋近于硬阶梯函数，训练过程中采用步骤1所述的训练数据进行训练，当归一化均方误差不再下降时训练终止。
本发明针对在大型深度网络中参数众多而导致存储开销巨大的情况，充分利用了深度学习的方法，因此本发明专门设计了一种处处可导的软阶梯函数，并且引入了可学习参数以调整该阶梯函数的形状。该软阶梯函数可以引入训练完成后的网络中，固定网络参数，以训练量化器的参数。通过学习，可得到适应于网络参数的量化器，将量化器的阶梯是非均匀的，其形状随着网络参数的具体分布作出了调整。将训练所得量化器引入网络中对网络参数进行量化，不仅能够大量减少了网络的存储开销，还尽可能降低了由于量化参数而导致的网络性能损失。
附图说明
图1是示例大型深度网络的网络结构示意图；
图2是量化器应用于大型深度网络的网络结构示意图；
图3是训练所得量化器具体形状；
图4是运用所训练量化器量化后的网络性能。
具体实施方式
为了使本发明的技术方案和优点变得更加清晰，接下来将结合附图对技术方案的具体实施方式作更加详细地说明：
此处将所发明的针对深度学习网络参数的量化方法应用于具体场景中以便更清晰的说明。考虑一个运用于无线通信领域大规模MIMO信号检测的深度网络LcgNetV，该网络由相同结构的多层构成，该网络可实现输入接收信号，检测出发射信号的功能。
(1)构建所需的深度学习网络结构LcgNetV，该网络由L层网络构成，每一层网络具有相同的结构，单层网络结构由图1所示，其中代表检测信号，为单层网络的输出，为网络各层之间的传递变量，第一层网络的输入即为接收信号yrm，最后一层网络的输出为由网络所得的检测信号，{α(i),β(i)}为第i层所包含的待学习的网络参数。根据问题产生训练数据M为训练数据的数量。
(2)利用大量训练数据对所构建的深度学习网络进行训练，确定网络参数的值。大型深度网络所表示的映射过程为：
其中y表示输入信号，表示网络的输出信号，Θ为深度网络中所包含学习参数。训练数据为其中ym是输入数据，sm是标签，M是训练数据的数量。
(3)提取训练后的网络参数，寻找界限，将绝对值最大的网络参数作为界限Gb。确定所需量化的阶梯数2l+1，根据阶梯数可确认所量化比特数根据量化阶梯数2l+1以及界限确定相邻阶梯间隔为此处我们选择量化台阶数2l+1为7和15，所对应的量化比特数为3bit和4bit。根据训练结果，Gb＝2.5。
(4)设计可引入网络的处处可导的软阶梯函数，由(3)所确认的超参数确定软阶梯函数的函数具体表达式，并引入可学习参数。具体做法如下:
为了赋予阶梯函数处处可导的能力使其能够引入网络训练，设计专门的软阶梯函数Tanh Sum(x)，其由多个tanh(·)函数组成，该软阶梯函数的表达式为：
其中2l+1表示该阶梯函数台阶数，一个2l+1台阶的Tanh Sum(x)函数由2l个tanh(·)函数组成；σ是为锐利系数，为超参数，需要在网络训练之前设置，锐利系数决定了该软阶梯函数的平滑程度，该系数越大，越接近硬阶梯函数；量化台阶数2l+1、网络参数界限Gb以及相邻阶梯间隔G都是步骤(3)中所确定的超参数。
将可学习参数引入该量化器，使其能够被学习并根据深度学习网络中参数的特征调整其形状，引入可学习参数后的软阶梯函数Qs(x)可表示为：
其中，w1t用于调整第t个阶梯的高度，w2t用于调整第t个阶梯的宽度，b1t用于调整第t个阶梯在x轴方向的位置，b2t用于调整第t个阶梯在y轴方向的位置。选择L2范数作为代价函数对此量化器的可学习参数进行学习。
(5)固定深度学习网络参数，将该带有可学习参数的软阶梯函数引入深度学习网络，量化网络参数，通过步骤(1)所述的训练数据学习量化器参数。引入量化器的深度网络模型如图2所示，该网络的所有参数都通过相同的量化器进行量化。
采用L2函数作为损失函数
其中，为训练大型深度网络的训练数据，为量化器中所包含的学习参数，Θ是训练后的大型深度网络学习参数，此处为{σ,l,Gb}是步骤(4)中所确定的超参数；
训练过程采用退火策略，即在训练过程中逐渐增加锐利系数σ的值，逐渐使软阶梯函数趋近于分离的硬阶梯函数，此处训练时锐利系数σ依次为{10,100,500}，当归一化均方误差不再下降时训练终止。
(6)训练所得软阶梯函数固化为量化器，对深度学习网络参数进行量化。
图3对比了在3bit量化(a)和4bit量化(b)下不同量化器的形状，其中hardquantizer表示的不同基于硬阶梯函数的量化器，soft quantizer表示的是本发明所提出的量化器。可以从图中看出，本发明所提出的量化器中，量化台阶是不均匀的，可见该量化器随着网络参数的具体分布作出了调整。
图4对比了所示例网络LcgNetV在不同量化器下的性能曲线，性能由不同性噪比下的检测误比特率衡量。LcgNetV曲线代表未经量化的检测性能，QLcgNetV hard 3bit和QLcgNetV hard 4bit表示的是用普通硬阶梯函数经过3bit和4bit量化后放入LcgNetV的检测性能，QLcgNetV soft 3bit和QLcgNetV soft 4bit表示的是用所提出量化器数经过3bit和4bit量化后放入LcgNetV的检测性能。从图中可以看出本发明所提供的量化器所提供的性能要明显好于用普通量化器提供的性能，用本发明所提出的量化器3bit量化的结果甚至超过了普通量化器4bit量化的结果。
本发明是一种应用于基于透镜天线的毫米波大规模MIMO系统，基于近似消息传播算法的深度学习波束域信道估计方法。针对基于近似消息传播算法的深度学习波束域信道估计方法，我们要求将作为发明进行保护。以上所述仅为特定应用场合的具体实施方式，但本发明的真实精神和范围不局限于此，任何熟悉本领域的技术人员可以修改、等同替换、改进等，实现不同应用场合的信道估计方法。本发明由权利要求书及其等效技术方案来限定。

Claims (4)

1.一种针对深度学习网络参数的量化方法，其特征在于包括以下步骤：
(1)构建深度学习网络，并根据问题产生训练数据；
(2)利用训练数据对所构建的深度学习网络进行训练，确定网络参数；
(3)提取步骤(2)所述的网络参数，根据网络参数界限和量化台阶数确定量化比特数和相邻量化台阶间隔；
(4)设计量化器，所述量化器由带有可学习参数的处处可导的软阶梯函数构成，由步骤(3)所述的网络参数界限、量化台阶数和相邻量化台阶间隔确定软阶梯函数的函数表达式，并引入可学习参数作为量化器参数；
(5)固定步骤(2)得到的网络参数，将步骤(4)所述的量化器引入深度学习网络并量化网络参数，采用步骤(1)所述的训练数据训练量化器参数，训练过程采用退火策略；
(6)固定训练后的量化器参数，运用训练好的量化器对深度学习网络参数进行量化。
2.如权利要求1所述的针对深度学习网络参数的量化方法，其特征在于所述的步骤(3)具体为：
提取训练后的网络参数，寻找界限，将绝对值最大的网络参数作为网络参数界限Gb；确定所需的量化台阶数2l+1，根据量化台阶数确认所需的量化比特数根据量化台阶数2l+1以及网络参数界限Gb确定相邻量化台阶间隔为
3.如权利要求1所述的针对深度学习网络参数的量化方法，其特征在于所述的步骤(4)具体为：
设计可引入深度学习网络的处处可导的软阶梯函数TanhSum(x)，其由多个tanh(·)函数组成，该软阶梯函数的表达式为：
其中2l+1表示该软阶梯函数台阶数，一个2l+1台阶的TanhSum(x)函数由2l个tanh(·)函数组成；σ是为锐利系数，为超参数，决定了该软阶梯函数的平滑程度，σ越大，越接近硬阶梯函数；量化台阶数2l+1、网络参数界限Gb以及相邻量化台阶间隔G都是步骤(3)中所确定的超参数；
将可学习参数引入软阶梯函数，使其能够被学习并根据深度学习网络参数的特征调整形状，引入可学习参数后的软阶梯函数Qs(x)可表示为：
其中，w1t用于调整第t个台阶的高度，w2t用于调整第t个台阶的宽度，b1t用于调整第t个台阶在x轴方向的位置，b2t用于调整第t个台阶在y轴方向的位置；
将带有可学习参数的软阶梯函数作为量化器，选择L2范数作为代价函数对此量化器的可学习参数进行学习。
4.如权利要求1所述的针对深度学习网络参数的量化方法，其特征在于所述的步骤(5)具体为：
固定步骤(2)得到的网络参数，将步骤(4)得到的带有可学习参数的软阶梯函数引入训练后的深度学习网络以量化网络参数，运用训练数据训练量化器参数；训练过程采用退火策略，依次增大σ，使软阶梯函数逐渐趋近于硬阶梯函数，训练过程中采用步骤(1)所述的训练数据进行训练，当归一化均方误差不再下降时训练终止。
CN201910521633.XA 2019-06-17 2019-06-17 一种针对深度学习网络参数的量化方法 Withdrawn CN110378467A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910521633.XA CN110378467A (zh) 2019-06-17 2019-06-17 一种针对深度学习网络参数的量化方法
PCT/CN2020/096430 WO2020253692A1 (zh) 2019-06-17 2020-06-16 一种针对深度学习网络参数的量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910521633.XA CN110378467A (zh) 2019-06-17 2019-06-17 一种针对深度学习网络参数的量化方法

Publications (1)

Publication Number Publication Date
CN110378467A true CN110378467A (zh) 2019-10-25

Family

ID=68249558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910521633.XA Withdrawn CN110378467A (zh) 2019-06-17 2019-06-17 一种针对深度学习网络参数的量化方法

Country Status (2)

Country Link
CN (1) CN110378467A (zh)
WO (1) WO2020253692A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253692A1 (zh) * 2019-06-17 2020-12-24 浙江大学 一种针对深度学习网络参数的量化方法
CN112564118A (zh) * 2020-11-23 2021-03-26 广西大学 一种分布式可拓展量子深宽度学习的实时电压控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399487A (zh) * 2013-07-30 2013-11-20 东北石油大学 一种基于非线性多入多出mimo系统的解耦控制方法及其装置
CN105790813A (zh) * 2016-05-17 2016-07-20 重庆邮电大学 一种大规模mimo下基于深度学习的码本选择方法
WO2016182671A1 (en) * 2015-05-08 2016-11-17 Qualcomm Incorporated Fixed point neural network based on floating point neural network quantization
CN106656461A (zh) * 2016-11-25 2017-05-10 中国石油大学(华东) 一种信号量化情形下的混沌神经网络保密通信方法
US20180107926A1 (en) * 2016-10-19 2018-04-19 Samsung Electronics Co., Ltd. Method and apparatus for neural network quantization
CN109670057A (zh) * 2019-01-03 2019-04-23 电子科技大学 一种渐进式的端到端深度特征量化系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11321609B2 (en) * 2016-10-19 2022-05-03 Samsung Electronics Co., Ltd Method and apparatus for neural network quantization
CN106980641B (zh) * 2017-02-09 2020-01-21 上海媒智科技有限公司 基于卷积神经网络的无监督哈希快速图片检索系统及方法
CN108717570A (zh) * 2018-05-23 2018-10-30 电子科技大学 一种脉冲神经网络参数量化方法
CN110378467A (zh) * 2019-06-17 2019-10-25 浙江大学 一种针对深度学习网络参数的量化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399487A (zh) * 2013-07-30 2013-11-20 东北石油大学 一种基于非线性多入多出mimo系统的解耦控制方法及其装置
WO2016182671A1 (en) * 2015-05-08 2016-11-17 Qualcomm Incorporated Fixed point neural network based on floating point neural network quantization
CN105790813A (zh) * 2016-05-17 2016-07-20 重庆邮电大学 一种大规模mimo下基于深度学习的码本选择方法
US20180107926A1 (en) * 2016-10-19 2018-04-19 Samsung Electronics Co., Ltd. Method and apparatus for neural network quantization
CN106656461A (zh) * 2016-11-25 2017-05-10 中国石油大学(华东) 一种信号量化情形下的混沌神经网络保密通信方法
CN109670057A (zh) * 2019-01-03 2019-04-23 电子科技大学 一种渐进式的端到端深度特征量化系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI WEI ET AL.: "Learned Conjugate Gradient Descent Network for Massive MIMO Detection", 《ARXIV:1906.03814V2 [EESS.SP]》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253692A1 (zh) * 2019-06-17 2020-12-24 浙江大学 一种针对深度学习网络参数的量化方法
CN112564118A (zh) * 2020-11-23 2021-03-26 广西大学 一种分布式可拓展量子深宽度学习的实时电压控制方法
CN112564118B (zh) * 2020-11-23 2022-03-18 广西大学 一种分布式可拓展量子深宽度学习的实时电压控制方法

Also Published As

Publication number Publication date
WO2020253692A1 (zh) 2020-12-24

Similar Documents

Publication Publication Date Title
CN109492582B (zh) 一种基于算法对抗性攻击的图像识别攻击方法
CN105205448A (zh) 基于深度学习的文字识别模型训练方法和识别方法
CN108648188B (zh) 一种基于生成对抗网络的无参考图像质量评价方法
CN109840322B (zh) 一种基于强化学习的完形填空型阅读理解分析模型及方法
CN110474716A (zh) 基于降噪自编码器的scma编解码器模型的建立方法
CN112000772B (zh) 面向智能问答基于语义特征立方体的句子对语义匹配方法
CN107730006A (zh) 一种基于可再生能源大数据深度学习的建筑近零能耗控制器
CN111477247B (zh) 基于gan的语音对抗样本生成方法
CN108847223A (zh) 一种基于深度残差神经网络的语音识别方法
CN108446766A (zh) 一种快速训练堆栈自编码深度神经网络的方法
CN112884131A (zh) 一种基于模仿学习的深度强化学习策略优化防御方法和装置
CN114491039B (zh) 基于梯度改进的元学习少样本文本分类方法
CN110378467A (zh) 一种针对深度学习网络参数的量化方法
CN110009706A (zh) 一种基于深层神经网络和迁移学习的数字岩心重构方法
WO2022126683A1 (zh) 面向多任务的预训练语言模型自动压缩方法及平台
CN109361404A (zh) 一种基于半监督深度学习网络的ldpc译码系统及译码方法
CN114611670A (zh) 一种基于师生协同的知识蒸馏方法
CN108549794A (zh) 一种蛋白质二级结构预测方法
CN113204645B (zh) 一种基于知识引导的方面级情感分析模型训练方法
CN109815496A (zh) 基于容量自适应收缩机制载体生成式文本隐写方法及装置
CN113381828A (zh) 基于条件生成对抗网络的稀疏码多址接入随机信道建模方法
CN112183742A (zh) 基于渐进式量化和Hessian信息的神经网络混合量化方法
CN114201987A (zh) 一种基于自适应识别网络的有源干扰识别方法
CN109740012A (zh) 基于深度神经网络对图像语义进行理解和问答的方法
CN115272774A (zh) 基于改进自适应差分进化算法的对抗样本攻击方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191025