CN109165735A - 基于生成对抗网络与自适应比例生成新样本的方法 - Google Patents
基于生成对抗网络与自适应比例生成新样本的方法 Download PDFInfo
- Publication number
- CN109165735A CN109165735A CN201810762313.9A CN201810762313A CN109165735A CN 109165735 A CN109165735 A CN 109165735A CN 201810762313 A CN201810762313 A CN 201810762313A CN 109165735 A CN109165735 A CN 109165735A
- Authority
- CN
- China
- Prior art keywords
- sample
- ratio
- noise
- network
- var
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 42
- 230000009286 beneficial effect Effects 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 6
- 238000012795 verification Methods 0.000 claims abstract description 6
- 230000005484 gravity Effects 0.000 claims abstract description 4
- 239000013589 supplement Substances 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 53
- 238000009826 distribution Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000004069 differentiation Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 4
- 208000001613 Gambling Diseases 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000000047 product Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络与自适应比例生成新样本的方法，包括以下步骤:S1，在输入样本上直接添加由生成对抗网络生成的与输入样本分布接近的噪声；S2根据样本方差构造自适应比例，将输入样本与生成对抗网络生成的噪声以该比例进行融合生成新样本,新样本根据自适应比例调节噪声与输入样本比重；S3通过像素相加的操作为新样本补充原样本信息，生成有益于提高DNN检测率的最终样本。采用本方法提高了DNN的准确率，成本相对较小的，复杂度也更低。
Description
技术领域
本发明属于深度神经网络的技术领域，具体涉及一种基于生成对抗网络与自适应比例生成新样本的方法。
背景技术
计算机视觉主要是利用机器试图建立能够从图像或者多维数据中获取“信息”的人工智能系统，具体来说是指利用摄影机和电脑等代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。而深度神经网络(DNN)是计算机视觉应用的基础，近几年随着计算机硬件能力的不断提高，DNN技术的发展也突飞猛进，尤其是在计算机视觉领域如图像分类，目标定位等，DNN的准确率甚至超过人眼。为了进一步提高DNN的准确率，大量的研究主要关注于构造更深更复杂的模型和采集更多的图片扩充训练集方面。然而，DNN本身具有非常庞大的参数，更深的模型将会大量增加网络参数，使得计算成本上升，训练难度也增大。采集更多的图片扩展训练集虽然能够明显提高网络性能，但是由于长尾现象，当数据达到一定量时，准确率的提升非常小，并且采集图片的成本非常昂贵。
因此，在常用数据集上，利用经典或者构造合理的DNN来提升性能就十分重要。简单神经网络的优化问题是凸优化问题，“凸优化”是指一种比较特殊的优化，具体是指求取最小值的目标函数为凸函数的一类优化问题，其通过一些常用算法如Gradient Descend(GD)、Stochastic Gradient Descend(SGD)等能够快速收敛到最小值；而DNN的优化问题则是一个非凸优化问题，网络中存在大量的鞍点，在模型参数中加入噪声扰动或者根据Hessian矩阵找出鞍点逃逸方向的方法能够提升模型性能，但是改变模型参数直接影响梯度更新算法性能，可能导致模型收敛下降，并且需要严格的理论证明改变后的优化算法的收敛性。
因此仍需要进一步研究一种新的方法来提高DNN的准确率。
发明内容
本发明的目的是为了解决上述问题，提供一种基于生成对抗网络与自适应比例生成新样本的方法，提高了DNN的准确率，成本相对较小的，复杂度也更低。
为了达到上述发明目的，本发明采用以下技术方案：
基于生成对抗网络与自适应比例生成新样本的方法，包括以下步骤:
S1，在输入样本上直接添加由生成对抗网络生成的与输入样本分布接近的噪声；
S2根据样本方差构造自适应比例，将输入样本与生成对抗网络生成的噪声以该比例进行融合生成新样本,新样本根据自适应比例调节噪声与输入样本比重；
S3通过像素相加的操作为新样本补充原样本信息，生成有益于提高DNN检测率的最终样本。
作为优选的技术方案，所述步骤S1具体包括：
步骤一，生成对抗网络中的生成网络使用四个卷积层对输入样本Xi进行下采样操作，得到低维隐变量，再将低维隐变量经过四次相反的卷积操作，对隐变量进行上采样操作，将其映射回高维数据空间，得到与输入样本相似的噪声；其中，Xi为输入样本，假设样本总数为N，i∈[1，N]，N是一个有限的实数，其大小等于训练集中样本的总数，训练集确定下来后，N的大小也随之确定。例如：假设训练集中有10000图片，N的大小就是10000；
步骤二，将输入样本与噪声共同送入生成对抗网络中的鉴别网络，鉴别网络与生成网络形成对抗机制，在二者的博弈过程中，噪声的分布与输入样本的分布越来越接近，最终生成网络与鉴别网络达到动态平衡，生成网络的输出就是所需要的最终的噪声。
作为优选的技术方案，所述步骤一具体为：
假设输入样本Xi的分布为Pdata，生成网络利用若干卷积层将输入样本映射到低维隐变量空间，得到分布为PZ(Zi)的低维隐变量Zi，然后生成网络根据低维隐变量Zi生成分布为Pg的新图片，该新图片就是本发明所需要添加到Xi上的噪声，用符号G(X)表示生成网路根据Xi生成新图片的过程；D(X)表示X来自于Pdata或Pg；训练鉴别网络时最大化拥有正确标签图片的概率；训练生成网络时，最小化log(1-D(G(X)))，相当于使生成图片的分布越接近真实分布。用公式(1)表示如下所示；
minGminDV(D，G) (1)
其中，
令V(D，G)关于D(X)的导数为0，有公式(2)；
那么，最优判别网络如公式(3)所示；
从公式(3)中可以看出，一个样本X来自真实分布Pdata和生成分布Pg的可能性是相对比例；如果Pdata(X)＝0，Pg(X)≠0，最优判别网络的概率0；如果Pdata(X)＝Pg(X)，说明样本是真假的概率各占一半，最优判别网络的概率为0.5；将最优判别网络带入V(D,G)，进行简单变换最终到公式(4)；
此时可以直观的看出生成对抗网络使用JS散度衡量真实分布与生成分布之间的距离，网路在优化JS散度时，相当于将生成分布Pg拉向真实分布Pdata，最终以假乱。在对抗机制下，Pg慢慢逼近Pdata，从而得到本方法所需的与输入样本相似的噪声。
作为优选的技术方案，所述步骤S2具体包括：
步骤三，提取一个批量上所有样本的方差，并将该批量上所有样本方差归一化，当前样本的方差vari与所有当前批量样本之和的比值就是自适应比例ratioi，将该自适应比例作为原样本的权重，将该1-ratioi作为步骤二中生成噪声的权重，生成新样本用公式表示为：
当损失函数比较陡峭时，新样本中的噪声比例减小，避免损失函数越过最小值；当损失函数比较平坦时，新样本中的噪声比例增大，有助于加快网络的收敛速度。
作为优选的技术方案，所述步骤三包括：输入样本与模型参数的关系的建立、模型参数与最小值的关系的建立、根据样本方差设计自适应比例。
作为优选的技术方案，所述输入样本与模型参数的关系的建立具体为：
假设第i个样本为Xi，经过一个线性模型后得到h(θ,Xi)；
h(θ，Xi)＝θTXi (5)
其中，θ表示模型参数(不包括输入样本)，假设样本总数为N，i∈[1，N]；
采用DNN中常用的损失函数最小均方误差(MSE)，假设损失函数为f(θ,X)，f(θ,X)表示预测值h(θ,Xi)与真实值yi之间差值的平方，
其中，系数1/2无限定意义，仅为了便于计算；
在GD算法中，每次迭代都用到所有样本，参数更新如下：
其中，j表示迭代次数，j≥0，η是一个超参数，根据具体应用，赋予其合适的常数值；
在SGD中使用一个样本进行梯度更新，即中的N等于1，每一次更新参数使用一个样本；在样本量很大的情况下(如几十万)，那么可能只用其中几万条或者几千条的样本，就能够将θ迭代到最优解，SGD参数更新如下，
θj+1＝θj-ηgj (10)
在模型训练时，SGD算法一般计算一个批量的梯度，此时将公式(9)中的gj写成公式(11)gB的形式,
其中，是一个大小为M的mini-batch(小批量)；
从公式(9)中可以看出由于那么gB是计算一个小批量上的gj，在数据集中所有样本独立同分布，那么模型参数θ的一阶导数方差var(gi)与样本Xi方差vari之间存在正比的关系，即那么DNN中通过卷积层和激活函数对输入样本进行变化，卷积操作可以看作是线性变化过程，激活函数虽然引入了一定的非线性，但是一般也是与输入样本成正比，所以var(gB)仍然近似正比于vari；
以SGD为例，继续分析,SGD相当于通过一个小批量估计gB来估计数据集的梯度gN,
由Chaudhari&Soatto定理可知，在回置抽样(有放回的抽样)中，大小为B的小批量的方差等于
当损失函数接近最小值时，D(θ,X)相当于Hessian矩阵的缩放版，即由于那么由于var(gB)≥0，在D(θ,X)为的缩放版，时，
作为优选的技术方案，所述模型参数与最小值的关系的建立具体为：
为了更直观的分析最小值与模型参数的θ关系，引入三种局部平滑序列；
假设θ*是为最小值时的模型参数，{θj}j≥0为参数更新过程，θ*的邻域为其中θ*的局部平滑序列定义为{Λ(θj)}j≥0，如公式(14)所示，
在{θj}j≥0中的前向邻域记为其中一个理想局部平滑序列为如公式(15)所示，
在{θj}j≥0中的后向邻域记为其中一个预测局部平滑序列为{L(θj)}j≥0，如公式(16)所示，
Λ(θj)控制θ*和θj之间的平滑度确保参数更新的收敛性，是一个理想局部平滑能够使θj快速移向θj+1，由于θ*和θj+1未知，Λ(θj)和不能直接被计算，L(θj)与θj、θj-1相关，通过预测平滑序列，从而构造预测噪声；当损失函数二阶连续可导，有下面公式，
将L(θj)的导数作为SGD等算法的自适应学习率，当L(θj)大的时候，即大，学习率降低，每次更新的步长为学习率与的乘积，在不变的情况下，参数更新时的步长减小；当L(θj)减小的时候，的值减小，学习率增大，参数更新时的步长增大；在每次迭代时，函数fθ(θ,Xi)的平滑度L(θj)与成反比，那么在整个网络的参数更新中，L(θ)与成反比：当大时，由于损失函数变化剧烈，函数波形陡峭，参数更新时的步长减小；当由于函数变化缓慢，函数波形平坦，参数更新时步长增大。
作为优选的技术方案，根据样本方差设计自适应比例具体为:
由于 与函数平滑度成反比，由于这里的vari≥0，可以将的绝对值去掉；下面提到的就是指去掉绝对值的Hessian矩阵；设计自适应比例为ratioi，将生成对抗网络生成的噪声与当前输入样本Xi融合生成新样本如公式(18)所示。
ratioi由根据样本方差生成，当样本方差vari增大时，ratioi增大，的值增大，损失函数比较“陡峭”，由公式(18)可知噪声的权重为1-ratioi，即新样本根据vari自动调小噪声的比例，减小加到样本上的噪声，因为如果此时ratioi过大，那么参数更新时可能越过最小值点；在vari值减小时，ratioi减小，值减小，损失函数比较平坦，噪声的比例大，扰动大，参数更新时变化幅度大，有助于加速函数收敛；在一个批量(大小为M)上提取样本方差，为了消除样本幅度不一致带来的影响，将所有样本的方差归一化，即vari∈[0,1]，i∈[1,2,…,M]，并且将归一化后的样本方差相加得到假设当前输入样本是Xi，那么该样本权重为ratioi＝vari/var，该样本所添加的噪声的权重为1-ratioi；当样本噪声vari增大时，样本权重ratioi增大，噪声权重1-ratioi随之减小；当样本噪声vari减小时，样本权重ratioi减小，噪声权重1-ratioi随之增大；从而添加到样本中的噪声能能够根据样本方差自适应调节比例，有益于网络收敛到局部最小值。
作为优选的技术方案，所述步骤S3具体包括：
步骤四：由于步骤三中，自适应比例小于等于1，所以由噪声与原样本生成的新样本丢失一部分真实信息，此时将与Xi进行像素相加，为补充原样本信息，最终生成有益于提高DNN检测率的新样本
本发明与现有技术相比，有益效果是：
采用本方法无需大量采集图片，准确率高，得到的模型收敛度高，DNN的收敛速度快，而且计算过程简单，有效降低了训练难度。
附图说明
图1为基于生成对抗网络与自适应比例生成新样本的结构示意图；
图2为图1中的自适应比例生成器模块的结构示意图。
具体实施方式
下面通过具体实施例对本发明的技术方案作进一步描述说明，使得本技术方案更加清楚、明白。
本发明将噪声与梯度更新算法解耦，提出一个基于生成对抗网络与自适应比例生成新样本的方法，在输入样本(原样本)上直接添加由生成对抗网络生成的与原样本分布接近的噪声，得到新样本，新样本根据自适应比例调节噪声与原样本比重，在DNN损失函数陡峭时，增大原样本比例，减小噪声比例，避免DNN跨过最小值；在DNN损失函数平坦时，减小原样本比例，增大噪声比例，有利于加快DNN的收敛速度。本发明先根据输入样本在对抗机制下生成与原样本分布接近的噪声；然后根据样本方差构造自适应比例，将原样本与生成对抗网络生成的噪声以该比例进行融合生成新样本，并使用像素相加操作进一步为新生成的样本补充原样本信息。
本实施例的内容可以结合附图1和附图2，可以更加直观来了解本发明的思路。为方便描述本实施例的内容，首先做以下术语定义：
定义1基于生成对抗网络生成噪声的方法。
假设输入样本Xi的分布为Pdata，生成网络利用若干卷积层将输入样本映射到低维隐变量空间，得到分布为PZ(Zi)的低维隐变量Zi，然后生成网络根据低维隐变量Zi生成分布为Pg新图片，该新图片就是本发明所需要添加到X上的噪声，用符号G(X)表示生成网路根据Xi生成新图片的过程；D(X)表示鉴别网络判断X来自于Pdata或Pg；训练鉴别网络时最大化拥有正确标签图片的概率；训练生成网络时，最小化log(1-D(G(X)))，相当于使生成图片的分布越接近真实分布。用公式(1)表示如下所示。
minGminDV(D，G) (I)其中，
令V(D,G)关于D(X)的导数为0，有公式(2)。
那么，最优判别网络如公式(3)所示。
从公式(3)中可以看出，一个样本X来自真实分布Pdata和生成分布Pg的可能性是相对比例。如果Pdata(X)＝0，Pg(X)≠0，最优判别网络的概率0；如果Pdata(X)＝Pg(X)，说明样本是真假的概率各占一半，最优判别网络的概率为0.5。将最优判别网络带入V(D,G)，进行简单变换最终到公式(4)。
此时可以直观的看出生成对抗网络使用JS散度衡量真实分布与生成分布之间的距离，网路在优化JS散度时，相当于将生成分布Pg拉向真实分布Pdata，最终以假乱。在对抗机制下，Pg慢慢逼近Pdata，从而得到本方法所需的与输入样本相似的噪声。
定义2输入样本与模型参数的关系。
假设第i个样本为Xi，经过一个线性模型后得到h(θ,Xi)。
h(θ，Xi)＝6TXi (5)
其中，θ表示模型参数(不包括输入样本)，假设样本总数为N，i∈[1，N]。
本发明以一般DNN中常用的损失函数：最小均方误差(MSE)为例，假设损失函数为f(θ,X)，f(θ,X)表示预测值h(θ,Xi)与真实值yi之间差值的平方。(本发明将MSE损失函数乘以系数1/2是为了便于计算，对整个分析过程及分析方法并无影响。)
在GD算法中，每次迭代都用到所有样本，参数更新如下：
其中，j表示迭代次数，j≥0，η为学习率，根据具体应用，赋予其合适的常数值。
在SGD中使用一个样本进行梯度更新，即中的N等于1，每一次更新参数使用一个样本。在样本量很大的情况下(如几十万)，那么可能只用其中几万条或者几千条的样本，就能够将θ迭代到最优解。SGD参数更新如下。
θj+1＝θj-ηgj (10)
在模型训练时，SGD算法一般计算一个批量的的梯度，此时将公式(9)中的gj写成公式(11)gB的形式。
其中，是一个大小为M的mini-batch(小批量)。
从公式(9)中可以看出由于那么gB是计算一个小批量上的gj，在数据集中所有样本独立同分布，那么模型参数θ的一阶导数方差var(gi)与样本Xi方差vari之间存在正比的关系，即那么DNN中通过卷积层和激活函数对输入样本进行变化，卷积操作可以看作是线性变化过程，激活函数虽然引入了一定的非线性，但是一般也是与输入样本成正比，所以var(gB)仍然近似正比于vari。
以SGD为例，继续分析。SGD相当于通过一个小批量估计gB来估计数据集的梯度gN。
由Chaudhari&Soatto定理可知，在回置抽样(有放回的抽样)中，大小为B的小批量的方差等于
当损失函数接近最小值时，D(θ,X)相当于Hessian矩阵的缩放版，即由于那么由于var(gB)≥0，在D(θ,X)为的缩放版，时，
定义3模型参数与最小值的关系。
为了更直观的分析最小值与模型参数的θ关系，引入三种局部平滑序列。
假设θ*是为最小值时的模型参数，{θj}j≥0为参数更新过程。θ*的邻域为其中θ*的局部平滑序列定义为{Λ(θj)}j≥0，如公式(14)所示。
在{θj}j≥0中的前向邻域记为其中一个理想局部平滑序列为如公式(15)所示。
在{θj}j≥0中的后向邻域记为其中一个预测局部平滑序列为{L(θj)}j≥0，如公式(16)所示。
Λ(θj)控制θ*和θj之间的平滑度确保参数更新的收敛性。是一个理想局部平滑能够使θj快速移向θj+1。由于θ*和θj+1未知，Λ(θj)和不能直接被计算，L(θj)与θj、θj-1相关，我们通过预测平滑序列，从而构造预测噪声。当损失函数二阶连续可导，有下面公式。
将L(θj)的导数作为SGD等算法的自适应学习率，当L(θj)大的时候，即大，学习率降低，每次更新的步长为学习率与的乘积，在不变的情况下，参数更新时的步长减小。当L(θj)减小的时候，的值减小，学习率增大，参数更新时的步长增大。在每次迭代时，函数fθ(θ,Xi)的平滑度L(θj)与成反比，那么在整个网络的参数更新中，L(θ)与成反比：当大时，由于损失函数变化剧烈，函数波形陡峭，参数更新时的步长减小；当由于函数变化缓慢，函数波形平坦，参数更新时步长增大。
定义4基于样本方差设计自适应比例的方法。
由于 与函数平滑度成反比，由于这里的var(Xi)≥0，可以将的绝对值去掉。下面提到的就是指去掉绝对值的Hessian矩阵。本发明设计自适应比例为ratioi，将生成对抗网络生成的噪声与当前输入样本Xi融合生成新样本如公式(18)所示。
ratioi由根据样本方差生成，当样本方差var(Xi)增大时，ratioi增大，的值增大，损失函数比较“陡峭”，由公式(18)可知噪声的权重为1-ratioi，即新样本根据vari自动调小噪声的比例，减小加到样本上的噪声，因为如果此时ratioi过大，那么参数更新时可能越过最小值点。在vari值减小时，ratioi减小，值减小，损失函数比较平坦，噪声的比例大，扰动大，参数更新时变化幅度大，有助于加速函数收敛。本发明在一个批量(大小为M)上提取样本方差，为了消除样本幅度不一致带来的影响，将所有样本的方差归一化，即vari∈[0,1]，i∈[1,2,…,M]，并且将归一化后的样本方差相加得到假设当前输入样本是Xi，那么该样本权重为ratioi＝vari/var，该样本所添加的噪声的权重为1-ratioi。当样本噪声vari增大时，样本权重ratioi增大，噪声权重1-ratioi随之减小。当样本噪声vari减小时，样本权重ratioi减小，噪声权重1-ratioi随之增大。从而添加到样本中的噪声能能够根据样本方差自适应调节比例，有益于网络收敛到局部最小值。
本方法的具体步骤如下：
步骤一：生成对抗网络中的生成网络使用四个卷积层对输入高维样本X进行下采样操作，得到低维隐变量，再将低维隐变量经过四次相反的卷积操作，对隐变量进行上采样操作，将其映射回高维数据空间，得到与输入样本相似的噪声。
步骤二：将输入样本和噪声共同送入生成对抗网络中的鉴别网络，鉴别网络与生成网络形成对抗机制，在二者的博弈过程中，噪声的分布与输入样本的分布越来越接近，最终生成网络与鉴别网络达到动态平衡，生成网络的输出就是本方法所需要的最终的噪声。
步骤三：提取一个批量上所有样本的方差，并将该批量上所有样本方差归一化，当前样本的方差vari与所有(当前批量)样本之和的比值就是自适应比例ratioi，将该自适应比例作为原样本的权重，将该1-ratioi作为步骤二中生成噪声的权重，生成新样本 当损失函数比较陡峭时，新样本中的噪声比例减小，避免损失函数越过最小值；当损失函数比较平坦时，新样本中的噪声比例增大，有助于加快网络的收敛速度。
步骤四：步骤三中，自适应比例小于等于1，所以生成的新样本丢失一部分真实信息，此时将与Xi进行像素相加，为补充原样本信息，最终生成有益于提高DNN检测率的新样本
以上为本发明的优选实施方式，并不限定本发明的保护范围，对于本领域技术人员根据本发明的设计思路做出的变形及改进，都应当视为本发明的保护范围之内。
Claims (9)
1.基于生成对抗网络与自适应比例生成新样本的方法，包括以下步骤:
S1，在输入样本上直接添加由生成对抗网络生成的与输入样本分布接近的噪声；
S2根据样本方差构造自适应比例，将输入样本与生成对抗网络生成的噪声以该比例进行融合生成新样本,新样本根据自适应比例调节噪声与输入样本比重；
S3通过像素相加的操作为新样本补充输入样本信息，生成有益于提高DNN检测率的最终样本。
2.根据权利要求1所述的基于生成对抗网络与自适应比例生成新样本的方法，其特征在于，所述步骤S1具体包括：
步骤一，生成对抗网络中的生成网络使用四个卷积层对输入样本Xi进行下采样操作，得到低维隐变量，再将低维隐变量经过四次相反的卷积操作，对隐变量进行上采样操作，将其映射回高维数据空间，得到与输入样本相似的噪声；其中，Xi为输入样本，假设样本总数为N，i∈[1，N]，N是一个有限的实数，其大小等于训练集中样本的总数，训练集确定下来后，N的大小也随之确定；例如：假设训练集中有10000图片，N的大小就是10000；
步骤二，将输入样本与噪声共同送入生成对抗网络中的鉴别网络，鉴别网络与生成网络形成对抗机制，在二者的博弈过程中，噪声的分布与输入样本的分布越来越接近，最终生成网络与鉴别网络达到动态平衡，生成网络的输出就是所需要的最终的噪声。
3.根据权利要求2所述的基于生成对抗网络与自适应比例生成新样本的方法，其特征在于，所述步骤一具体为：
假设输入样本Xi的分布为Pdata，生成网络利用若干卷积层将输入样本映射到低维隐变量空间，得到分布为PZ(Zi)的低维隐变量Zi，然后生成网络根据低维隐变量Zi生成分布为Pg的新图片，该新图片就是本发明所需要添加到Xi上的噪声，用符号G(X)表示生成网路根据Xi生成新图片的过程；D(X)表示鉴别网络判断X来自于Pdata或Pg；训练鉴别网络时最大化拥有正确标签图片的概率；训练生成网络时，最小化log(1-D(G(X)))，相当于使生成图片的分布越接近Pdata；用公式(1)表示如下所示；
minGminDV(D,G) (1)
其中，
令V(D,G)关于D(X)的导数为0，有公式(2)；
那么，最优判别网络如公式(3)所示；
从公式(3)中可以看出，一个样本X来自真实分布Pdata和生成分布Pg的可能性是相对比例；如果Pdata(X)＝0，Pg(X)≠0，最优判别网络的概率0；如果Pdata(X)＝Pg(X)，说明样本是真假的概率各占一半，最优判别网络的概率为0.5；将最优判别网络带入V(D,G)，进行简单变换最终到公式(4)；
此时可以直观的看出生成对抗网络使用JS散度衡量真实分布与生成分布之间的距离，网路在优化JS散度时，相当于将生成分布Pg拉向真实分布Pdata，最终以假乱。在对抗机制下，Pg慢慢逼近Pdata，从而得到本发明所需的与输入样本分布相似的噪声。
4.根据权利要求1-3任一所述的基于生成对抗网络与自适应比例生成新样本的方法，其特征在于，所述步骤S2具体包括：
步骤三，提取一个批量上所有样本的方差，并将该批量上所有样本方差归一化，当前样本的方差vari与所有当前批量样本之和的比值就是自适应比例ratioi，将该自适应比例作为输入样本的权重，将该1-ratioi作为步骤二中生成噪声的权重，生成新样本用公式表示为：
当损失函数比较陡峭时，新样本中的噪声比例减小，避免损失函数越过最小值；当损失函数比较平坦时，新样本中的噪声比例增大，有助于加快网络的收敛速度。
5.根据权利要求4所述的基于生成对抗网络与自适应比例生成新样本的方法，其特征在于，所述步骤三包括：输入样本与模型参数的关系的建立、模型参数与最小值的关系的建立、根据样本方差设计自适应比例。
6.根据权利要求5所述的基于生成对抗网络与自适应比例生成新样本的方法，其特征在于，所述输入样本与模型参数的关系的建立具体为：
假设第i个样本为Xi，经过一个线性模型后得到h(θ,Xi)；
h(θ,Xi)＝θTXi (5)
其中，θ表示模型参数(不包括输入样本)，假设样本总数为N，i∈[1，N]；
采用DNN中常用的损失函数最小均方误差(MSE)，假设损失函数为f(θ,X)，f(θ,X)表示预测值h(θ,Xi)与真实值yi之间差值的平方，
其中，系数1/2无限定意义，仅为了便于计算；
在GD算法中，每次迭代都用到所有样本，参数更新如下：
其中，j表示迭代次数，j≥0，η是一个超参数，根据具体应用，赋予其合适的常数值；
在SGD中使用一个样本进行梯度更新，即中的N等于1，每一次更新参数使用一个样本；在样本量很大的情况下(如几十万)，那么可能只用其中几万条或者几千条的样本，就能够将θ迭代到最优解，SGD参数更新如下：
θj+1＝θj-ηgj (10)
在模型训练时，SGD算法一般计算一个批量的梯度，此时将公式(9)中的gj写成公式(11)gB的形式,
其中，是一个大小为M的mini-batch(小批量)；
从公式(9)中可以看出||gj||∝||h(θ,Xi)||，由于||h(θ,Xi)||∝||Xi||，那么||gj||∝||Xi||，gB是计算一个小批量上的gj，gB∝gj；在数据集中所有样本独立同分布，那么模型参数θ的一阶导数方差var(gi)与样本Xi方差vari之间存在正比的关系，即var(gj)∝vari，那么var(gB)∝vari；DNN中通过卷积层和激活函数对输入样本进行变化，卷积操作可以看作是线性变化过程，激活函数虽然引入了一定的非线性，但是一般也是与输入样本成正比，所以var(gB)仍然近似正比于vari；
以SGD为例，继续分析，SGD相当于通过一个小批量估计gB来估计数据集的梯度gN，
由Chaudhari&Soatto定理可知，在回置抽样(有放回的抽样)中，大小为B的小批量的方差等于
当损失函数接近最小值时，D(θ,X)相当于Hessian矩阵的缩放版，即由于var(gB)∝vari，那么由于var(gB)≥0，在D(x)为的缩放版，时，
7.根据权利要求5所述的基于生成对抗网络与自适应比例生成新样本的方法，其特征在于，所述模型参数与最小值的关系的建立具体为：
为了更直观的分析最小值与模型参数的θ关系，引入三种局部平滑序列；
假设θ*是为最小值时的模型参数，{θj}j≥0为参数更新过程，θ*的邻域为其中θ*的局部平滑序列定义为{Λ{θj}j≥0，如公式(14)所示，
在{θj}j≥0中的前向邻域记为其中一个理想局部平滑序列为如公式(15)所示，
在{θj}j≥0中的后向邻域记为其中一个预测局部平滑序列为{L(θj)}j≥0，如公式(16)所示，
Λ(θj)控制θ*和θj之间的平滑度确保参数更新的收敛性，是一个理想局部平滑能够使θj快速移向θj+1，由于θ*和θj+1未知，Λ(θj)和不能直接被计算，L(θj)与θj、θj-1相关，通过预测平滑序列，从而构造预测噪声；当损失函数二阶连续可导，有下面公式，
将L(θj)的导数作为SGD等算法的自适应学习率，当L(θj)大的时候，即大，学习率降低，每次更新的步长为学习率与的乘积，在不变的情况下，参数更新时的步长减小；当L(θj)减小的时候，的值减小，学习率增大，参数更新时的步长增大；在每次迭代时，函数fθ(θ,Xi)的平滑度L(θj)与成反比，那么在整个网络的参数更新中，L(θ)与成反比：当大时，由于损失函数变化剧烈，函数波形陡峭，参数更新时的步长减小；当小时，由于函数变化缓慢，函数波形平坦，参数更新时步长增大。
8.根据权利要求5所述的基于生成对抗网络与自适应比例生成新样本的方法，其特征在于，根据样本方差设计自适应比例具体为:
由于 与函数平滑度成反比，由于这里的vari≥0，可以将的绝对值去掉；下面提到的就是指去掉绝对值的Hessian矩阵；设计自适应比例为ratioi，将生成对抗网络生成的噪声与当前输入样本Xi融合生成新样本如公式(18)所示。
ratioi由根据样本方差生成，当样本方差vari增大时，ratioi增大，的值增大，损失函数比较“陡峭”，由公式(18)可知噪声的权重为1-ratioi，即新样本根据vari自动调小噪声的比例，减小加到样本上的噪声，因为如果此时ratioi过大，那么参数更新时可能越过最小值点；在vari值减小时，ratioi减小，值减小，当损失函数比较平坦，噪声的比例大，扰动大，参数更新时变化幅度大，有助于加速函数收敛；在一个批量(大小为M)上提取样本方差，为了消除样本幅度不一致带来的影响，将所有样本的方差归一化，即vari∈[0,1]，i∈[1,2,…,M]，并且将归一化后的样本方差相加得到假设当前输入样本是Xi，那么该样本权重为ratioi＝vari/var，该样本所添加的噪声的权重为1-ratioi；当样本噪声vari增大时，样本权重ratioi增大，噪声权重1-ratioi随之减小；当样本噪声vari减小时，样本权重ratioi减小，噪声权重1-ratioi随之增大；从而添加到样本中的噪声能能够根据样本方差自适应调节比例，有益于网络收敛到局部最小值。
9.根据权利要求4所述的基于生成对抗网络与自适应比例生成新样本的方法，其特征在于，所述步骤S3具体包括：
步骤四：由于步骤三中，自适应比例小于等于1，所以由噪声与输入样本生成的新样本丢失一部分真实信息，此时将与Xi进行像素相加，为补充输入样本信息，最终生成有益于提高DNN检测率的新样本
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810762313.9A CN109165735B (zh) | 2018-07-12 | 2018-07-12 | 基于生成对抗网络与自适应比例生成样本图片的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810762313.9A CN109165735B (zh) | 2018-07-12 | 2018-07-12 | 基于生成对抗网络与自适应比例生成样本图片的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109165735A true CN109165735A (zh) | 2019-01-08 |
| CN109165735B CN109165735B (zh) | 2020-06-23 |
Family
ID=64897771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810762313.9A Expired - Fee Related CN109165735B (zh) | 2018-07-12 | 2018-07-12 | 基于生成对抗网络与自适应比例生成样本图片的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109165735B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815943A (zh) * | 2019-03-18 | 2019-05-28 | 北京石油化工学院 | 一种危化品仓储堆垛图片样本生成方法及系统 |
| CN109948663A (zh) * | 2019-02-27 | 2019-06-28 | 天津大学 | 一种基于模型抽取的步长自适应的对抗攻击方法 |
| CN110276377A (zh) * | 2019-05-17 | 2019-09-24 | 杭州电子科技大学 | 一种基于贝叶斯优化的对抗样本生成方法 |
| CN110298384A (zh) * | 2019-06-03 | 2019-10-01 | 西华大学 | 对抗样本图像生成方法和装置 |
| CN110781976A (zh) * | 2019-10-31 | 2020-02-11 | 重庆紫光华山智安科技有限公司 | 训练图像的扩充方法、训练方法及相关装置 |
| CN111160667A (zh) * | 2020-01-02 | 2020-05-15 | 北京工商大学 | 一种提高食品安全预测模型鲁棒性的方法及装置 |
| CN111488422A (zh) * | 2019-01-25 | 2020-08-04 | 深信服科技股份有限公司 | 一种结构化数据样本的增量方法、装置、电子设备及介质 |
| CN112462001A (zh) * | 2020-11-17 | 2021-03-09 | 吉林大学 | 一种基于条件生成对抗网络进行数据增广的气体传感器阵列模型校准方法 |
| CN112861759A (zh) * | 2021-02-24 | 2021-05-28 | 北京瑞莱智慧科技有限公司 | 一种对抗样本生成方法及装置 |
| CN113077013A (zh) * | 2021-04-28 | 2021-07-06 | 上海联麓半导体技术有限公司 | 基于生成对抗网络的高维数据故障异常检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107293289A (zh) * | 2017-06-13 | 2017-10-24 | 南京医科大学 | 一种基于深度卷积生成对抗网络的语音生成方法 |
| CN107437077A (zh) * | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
| CN108171266A (zh) * | 2017-12-25 | 2018-06-15 | 中国矿业大学 | 一种多目标深度卷积生成式对抗网络模型的学习方法 |
-
2018
- 2018-07-12 CN CN201810762313.9A patent/CN109165735B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107293289A (zh) * | 2017-06-13 | 2017-10-24 | 南京医科大学 | 一种基于深度卷积生成对抗网络的语音生成方法 |
| CN107437077A (zh) * | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
| CN108171266A (zh) * | 2017-12-25 | 2018-06-15 | 中国矿业大学 | 一种多目标深度卷积生成式对抗网络模型的学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| EMILY DENTON 等: "Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks", 《NIPS"15 PROCEEDINGS OF THE 28TH INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 * |
| MACIEJ ZIEBA 等: "TRAINING TRIPLET NETWORKS WITH GAN", 《WORKSHOP TRACK-ICLR 2017》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488422A (zh) * | 2019-01-25 | 2020-08-04 | 深信服科技股份有限公司 | 一种结构化数据样本的增量方法、装置、电子设备及介质 |
| CN109948663A (zh) * | 2019-02-27 | 2019-06-28 | 天津大学 | 一种基于模型抽取的步长自适应的对抗攻击方法 |
| CN109948663B (zh) * | 2019-02-27 | 2022-03-15 | 天津大学 | 一种基于模型抽取的步长自适应的对抗攻击方法 |
| CN109815943A (zh) * | 2019-03-18 | 2019-05-28 | 北京石油化工学院 | 一种危化品仓储堆垛图片样本生成方法及系统 |
| CN110276377B (zh) * | 2019-05-17 | 2021-04-06 | 杭州电子科技大学 | 一种基于贝叶斯优化的对抗样本生成方法 |
| CN110276377A (zh) * | 2019-05-17 | 2019-09-24 | 杭州电子科技大学 | 一种基于贝叶斯优化的对抗样本生成方法 |
| CN110298384B (zh) * | 2019-06-03 | 2021-03-12 | 西华大学 | 对抗样本图像生成方法和装置 |
| CN110298384A (zh) * | 2019-06-03 | 2019-10-01 | 西华大学 | 对抗样本图像生成方法和装置 |
| CN110781976A (zh) * | 2019-10-31 | 2020-02-11 | 重庆紫光华山智安科技有限公司 | 训练图像的扩充方法、训练方法及相关装置 |
| CN111160667A (zh) * | 2020-01-02 | 2020-05-15 | 北京工商大学 | 一种提高食品安全预测模型鲁棒性的方法及装置 |
| CN111160667B (zh) * | 2020-01-02 | 2023-05-30 | 北京工商大学 | 一种提高食品安全预测模型鲁棒性的方法及装置 |
| CN112462001A (zh) * | 2020-11-17 | 2021-03-09 | 吉林大学 | 一种基于条件生成对抗网络进行数据增广的气体传感器阵列模型校准方法 |
| CN112462001B (zh) * | 2020-11-17 | 2021-07-23 | 吉林大学 | 一种基于条件生成对抗网络进行数据增广的气体传感器阵列模型校准方法 |
| CN112861759A (zh) * | 2021-02-24 | 2021-05-28 | 北京瑞莱智慧科技有限公司 | 一种对抗样本生成方法及装置 |
| CN113077013A (zh) * | 2021-04-28 | 2021-07-06 | 上海联麓半导体技术有限公司 | 基于生成对抗网络的高维数据故障异常检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109165735B (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109165735A (zh) | 基于生成对抗网络与自适应比例生成新样本的方法 | |
| Xiong et al. | Short-term wind power forecasting based on Attention Mechanism and Deep Learning | |
| Long Li et al. | Multi-adapter RGBT tracking | |
| Binkowski et al. | Autoregressive convolutional neural networks for asynchronous time series | |
| CN108921051A (zh) | 基于循环神经网络注意力模型的行人属性识别网络及技术 | |
| Fu et al. | CLSA: A novel deep learning model for MOOC dropout prediction | |
| Hu et al. | Mixnorm: Test-time adaptation through online normalization estimation | |
| CN109992780A (zh) | 一种基于深度神经网络特定目标情感分类方法 | |
| CN109583419A (zh) | 一种基于深度卷积网络的情绪预测系统 | |
| Lin et al. | Temporal convolutional attention neural networks for time series forecasting | |
| CN105976397B (zh) | 一种目标跟踪方法 | |
| Wang et al. | Fire detection in infrared video surveillance based on convolutional neural network and SVM | |
| CN115424177A (zh) | 一种基于增量学习的孪生网络目标跟踪的方法 | |
| Qiao et al. | Effective ensemble learning approach for SST field prediction using attention-based PredRNN | |
| CN104463245B (zh) | 一种目标识别方法 | |
| Ballı et al. | An application of artificial neural networks for prediction and comparison with statistical methods | |
| CN116258504B (zh) | 银行客户关系管理系统及其方法 | |
| TW201928844A (zh) | 金融商品的相關性預測系統及其方法 | |
| Jiang et al. | Multi-feature deep learning for face gender recognition | |
| Cai et al. | Spike Timing Dependent Gradient for Direct Training of Fast and Efficient Binarized Spiking Neural Networks | |
| CN109214513A (zh) | 一种基于自适应深度置信网络的固液废弃物智能耦合处理方法 | |
| Liu et al. | Data assimilation network for generalizable person re-identification | |
| Zhang | Deep learning-based hybrid short-term solar forecast using sky images and meteorological data | |
| Yang et al. | Multi-task Meta Label Correction for Time Series Prediction | |
| Gao et al. | 3D Human Motion Prediction Based on Graph Convolution Network and Transformer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200623 |