CN109543827B - 生成式对抗网络装置及训练方法 - Google Patents

生成式对抗网络装置及训练方法 Download PDF

Info

Publication number
CN109543827B
CN109543827B CN201811461559.9A CN201811461559A CN109543827B CN 109543827 B CN109543827 B CN 109543827B CN 201811461559 A CN201811461559 A CN 201811461559A CN 109543827 B CN109543827 B CN 109543827B
Authority
CN
China
Prior art keywords
network
gradient
memristor array
sample
conductance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811461559.9A
Other languages
English (en)
Other versions
CN109543827A (zh
Inventor
林钰登
吴华强
高滨
钱鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201811461559.9A priority Critical patent/CN109543827B/zh
Publication of CN109543827A publication Critical patent/CN109543827A/zh
Priority to US16/699,727 priority patent/US11574199B2/en
Application granted granted Critical
Publication of CN109543827B publication Critical patent/CN109543827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Micromachines (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)

Abstract

一种生成式对抗网络装置及其训练方法。该生成式对抗网络装置包括生成网络和判别网络。生成网络配置为根据输入数据生成第一样本；判别网络与生成网络耦接，且配置为接收第一样本，并基于第一样本进行训练；生成网络包括第一忆阻器阵列作为第一权重值阵列。该生成式对抗网络装置可以省略对生成网络生成的假样本添加噪声的过程，从而节省训练时间，降低资源消耗，提高生成式对抗网络的训练速度。

Description

生成式对抗网络装置及训练方法
技术领域
本公开的实施例涉及一种生成式对抗网络装置及训练方法。
背景技术
在神经形态技术领域，可以通过构建类似人类大脑结构的计算架构来大幅提高计算机的数据处理能力和机器学习能力。与基于通用中央处理器(CPU)的串行软件实现方式相比，通过电路器件和硬件系统模拟生物神经活动的实现方式允许大量的并行计算，具有高运算速度、低功耗等优点，成为神经形态技术领域的重要研究方向。
忆阻器具有集成度高、功耗低、连续阻变、非挥发性和兼容CMOS工艺等特性，被广泛应用于神经网络电路中。由忆阻器构造的交叉阵列广泛应用于多层神经网络、自适应谐振网络以及卷积神经网络中，可以实现神经网络的权重调节。
发明内容
本公开至少一实施例提供一种生成式对抗网络装置，包括：生成网络和判别网络。所述生成网络配置为根据输入数据生成第一样本；所述判别网络与所述生成网络耦接，且配置为接收所述第一样本，并基于所述第一样本进行训练；所述生成网络包括第一忆阻器阵列作为第一权重值阵列。
例如，在本公开一实施例提供的生成式对抗网络装置中，所述判别网络还配置为接收作为真实样本的第二样本，并基于所述第二样本进行训练。
例如，在本公开一实施例提供的生成式对抗网络装置中，所述判别网络包括第二忆阻器阵列作为第二权重值阵列。
例如，本公开一实施例提供的生成式对抗网络装置，还包括代价函数单元。所述代价函数单元配置为根据判别网络代价函数得到所述判别网络的实际输出结果和所述判别网络的目标输出结果的距离；以及根据生成网络代价函数得到所述判别网络的实际输出结果和所述生成网络的目标输出结果的距离。
例如，本公开一实施例提供的生成式对抗网络装置，还包括计算单元。所述计算单元与所述代价函数单元耦接，且配置为根据所述判别网络代价函数获得的距离计算所述第一样本的梯度和所述第二样本的梯度，并将所述第一样本的梯度和所述第二样本的梯度相加得到第一梯度；以及，根据所述生成网络代价函数获得的距离计算所述第一样本的梯度，作为第二梯度。
例如，本公开一实施例提供的生成式对抗网络装置，还包括权重更新单元。所述权重更新单元与所述计算单元耦接，且配置为交替调整所述生成网络的第一忆阻器阵列的电导值和所述判别网络的第二忆阻器阵列的电导值；其中，根据所述第一梯度调整所述判别网络的第二忆阻器阵列的电导值；以及根据所述第二梯度调整所述生成网络的第一忆阻器阵列的电导值。
例如，在本公开一实施例提供的生成式对抗网络装置中，所述权重更新单元还配置为：获取所述判别网络的第二忆阻器阵列的初始电导值；基于所述第一梯度的符号调整所述判别网络的第二忆阻器阵列的初始电导值以获得调整后的电导值；判断所述判别网络中的调整后的电导值相对于所述初始电导值的变化方向，是否与所述第一梯度的符号一致；如果是或对所述第二忆阻器阵列的电导值的调整次数达到预定次数，则停止调整所述判别网络中的第二忆阻器阵列的电导值；如果否，则基于所述第一梯度的符号重新对所述第二忆阻器阵列的电导值进行调整。
例如，在本公开一实施例提供的生成式对抗网络装置中，所述权重更新单元还配置为：获取所述生成网络的第一忆阻器阵列的初始电导值；基于所述第二梯度的符号调整所述第一忆阻器阵列的初始电导值以获得调整后的电导值；判断所述第一忆阻器阵列中的调整后的电导值相对于所述初始电导值的变化方向，是否与所述第二梯度的符号一致；如果是或对所述第一忆阻器阵列的电导值的调整次数达到预定次数，则停止调整所述生成网络中的第一忆阻器阵列的电导值；如果否，则基于所述第二梯度的符号重新对所述第一忆阻器阵列的电导值进行调整。
例如，本公开一实施例提供的生成式对抗网络装置，还包括滤波单元，其中，所述滤波单元配置为对所述判别网络的第二忆阻器阵列的输出信号和所述生成网络的第一忆阻器阵列的输出信号进行滤波处理。
本公开至少一实施例还提供一种生成式对抗网络装置的训练方法，包括：使所述生成网络根据所述输入数据生成所述第一样本；将所述第一样本输入所述判别网络且使所述判别网络使用所述第一样本训练。
例如，本公开一实施例提供的训练方法，还包括：将作为真实样本的第二样本输入所述判别网络且使所述判别网络使用所述第二样本训练。
例如，在本公开一实施例提供的训练方法中，所述判别网络包括第二忆阻器阵列作为第二权重值阵列，所述训练方法还包括：根据判别网络代价函数得到所述判别网络的实际输出结果和所述判别网络的目标输出结果的距离；根据所述判别网络代价函数获得的距离计算所述第一样本的梯度和所述第二样本的梯度，并将所述第一样本的梯度和所述第二样本的梯度相加得到第一梯度；根据所述第一梯度调整所述判别网络的第二忆阻器阵列的电导值。
例如，在本公开一实施例提供的训练方法中，根据所述第一梯度调整所述判别网络的第二忆阻器阵列的电导值，包括：获取所述判别网络的第二忆阻器阵列的初始电导值；基于所述第一梯度的符号调整所述判别网络的第二忆阻器阵列的初始电导值以获得调整后的电导值；判断所述判别网络中的调整后的电导值相对于所述初始电导值的变化方向，是否与所述第一梯度的符号一致；如果是或对所述第二忆阻器阵列的电导值的调整次数达到预定次数，则停止调整所述判别网络中的第二忆阻器阵列的电导值；如果否，则基于所述第一梯度的符号重新对所述判别网络中的第二忆阻器阵列的电导值进行调整。
例如，本公开一实施例提供的训练方法，还包括：根据生成网络代价函数得到所述判别网络的实际输出结果和所述生成网络的目标输出结果的距离；根据所述生成网络代价函数获得的距离计算所述第一样本的梯度，作为第二梯度；根据所述第二梯度调整所述生成网络的第一忆阻器阵列的电导值。
例如，在本公开一实施例提供的训练方法中，根据所述第二梯度调整所述生成网络的第一忆阻器阵列的电导值，包括：获取所述生成网络的第一忆阻器阵列的初始电导值；基于所述第二梯度的符号调整所述第一忆阻器阵列的初始电导值以获得调整后的电导值；判断所述第一忆阻器阵列中的调整后的电导值相对于所述初始电导值的变化方向，是否与所述第二梯度的符号一致；如果是或对所述第一忆阻器阵列的电导值的调整次数达到预定次数，则停止调整所述生成网络中的第一忆阻器阵列的电导值；如果否，则基于所述第二梯度的符号重新对所述第一忆阻器阵列的电导值进行调整。
例如，本公开一实施例提供的训练方法，还包括：对所述判别网络的第二忆阻器阵列的输出信号和所述生成网络的第一忆阻器阵列的输出信号进行滤波处理。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为一种忆阻器单元电路的示意图；
图2为一种忆阻器阵列的示意图；
图3为本公开一实施例提供的一种生成式对抗网络装置的结构示意框图；
图4为本公开一实施例提供的一种包括忆阻器阵列的生成网络G的结构示意图；
图5为本公开一实施例提供的一种包括忆阻器阵列的判别网络D的结构示意图；
图6为本公开一实施例提供的一种包括忆阻器阵列的生成式对抗网络的结构示意图；
图7为本公开一实施例提供的一种调整忆阻器阵列的电导值的流程示意图；
图8为本公开一实施例提供的一种训练方法的流程框图；
图9为本公开一实施例提供的一种训练判别网络的流程框图；
图10为本公开一实施例提供的一种训练生成网络的流程框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
图1为一种忆阻器单元电路的示意图。如图1所示，该忆阻器单元电路采用1T1R结构，即该忆阻器单元电路包括一个晶体管M1和一个忆阻器R1。
需要说明的是，本公开的实施例中采用的晶体管均可以为薄膜晶体管或场效应晶体管(例如MOS场效应晶体管)或其他特性相同的开关器件。这里采用的晶体管的源极、漏极在结构上可以是对称的，所以其源极、漏极在结构上可以是没有区别的。在本公开的实施例中，为了区分晶体管除栅极之外的两极，直接描述了其中一极为第一极，而另一极为第二极。
本公开的实施例对采用的晶体管的类型不作限定，例如当晶体管M1采用N型晶体管时，其栅极和字线端WL连接，例如字线端WL输入高电平时晶体管M1导通；晶体管M1的第一极可以是源极并被配置为和源线端SL连接，例如晶体管M1可以通过源线端SL接收复位电压；晶体管M1的第二极可以是漏极并被配置为和忆阻器R1的第二极(例如负极)连接，忆阻器R1的第一极(例如正极)和位线端BL连接，例如忆阻器R1可以通过位线端BL接收置位电压。例如当晶体管M1采用P型晶体管时，其栅极和字线端WL连接，例如字线端WL输入低电平时晶体管M1导通；晶体管M1的第一极可以是漏极并配置为和源线端SL连接，例如晶体管M1可以通过源线端SL接收复位电压；晶体管M1的第二极可以是源极并配置为和忆阻器R1的第二极(例如负极)连接，忆阻器R1的第一极(例如正极)和位线端BL连接，例如忆阻器R1可以通过位线端BL接收置位电压。需要说明的是，阻变存储器结构还可以实现为其他结构，例如忆阻器R1的第二极与源线端SL连接的结构，本公开的实施例对此不作限制。下面各实施例均以晶体管M1采用N型晶体管为例进行说明。
字线端WL的作用是对晶体管M1的栅极施加相应电压，从而控制晶体管M1导通或关闭。在对忆阻器R1进行操作时，例如进行置位操作或复位操作，均需要先开启晶体管M1，即需要通过字线端WL对晶体管M1的栅极施加导通电压。在晶体管M1导通后，例如，可以通过在源线端SL和位线端BL向忆阻器R1施加电压，以改变忆阻器R1的阻态。例如，可以通过位线端BL施加置位电压，以使得该忆阻器R1处于低阻态；又例如，可以通过源线端SL施加复位电压，以使得该忆阻器R1处于高阻态。
需要说明的是，在本公开的实施例中，通过字线端WL和位线端BL同时施加电压，使得忆阻器R1的电阻值越来越小，即忆阻器R1从高阻态变为低阻态，将使得忆阻器R1从高阻态变为低阻态的操作称为置位操作；通过字线端WL和源线端SL同时施加电压，使得忆阻器R1的电阻值越来越大，即忆阻器R1从低阻态变为高阻态，将使得忆阻器R1从低阻态变为高阻态的操作称为复位操作。以下各实施例与此相同，不再赘述。
图2示出了一种忆阻器阵列，该忆阻器阵列由多个如图1中所示的忆阻器单元电路构成，例如多个忆阻器单元电路构成一个m行n列的阵列，m为大于1的整数，n为大于等于1的整数。图2中BL<1>、BL<2>……BL<m>分别表示第一行、第二行……第m行的位线，每一行的忆阻器单元电路中的忆阻器和该行对应的位线连接；图2中WL<1>、WL<2>……WL<n>分别表示第一列、第二列……第n列的字线，每一列的忆阻器单元电路中的晶体管的栅极和该列对应的字线连接；图2中SL<1>、SL<2>……SL<n>分别表示第一列、第二列……第n列的源线，每一列的忆阻器单元电路中的晶体管的源极和该列对应的源线连接。
图2所示的m行n列的忆阻器阵列可以表示一个m行n列大小的神经网络权重矩阵。例如，第一层神经元层具有m个神经元节点，与图2所示的忆阻器阵列的m行位线对应连接；第二层神经元层具有n个神经元节点，与图2所示的忆阻器阵列的n列源线对应连接。通过向第一层神经元层并行输入电压激励，可以在第二层神经元层得到由电压激励向量和忆阻器阵列的电导矩阵(电导为电阻的倒数)相乘得到的输出电流。
具体地，根据基尔霍夫定律，忆阻器阵列的输出电流可以根据下述公式得出：
Figure BDA0001888810100000071
其中，j＝1,…,n，k＝1,…,m。
在上述公式中，vk表示第一层神经元层中的神经元节点k输入的电压激励，ij表示第二层神经元层的神经元节点j的输出电流，gk,j表示忆阻器阵列的电导矩阵。
需要说明的是，例如在某些示例中，神经网络权重矩阵的每个权重也可以使用两个忆阻器来实现。也就是说，可以通过忆阻器阵列中的两列忆阻器实现一列输出电流的输出。在此情况下，表示一个m行n列大小的神经网络权重矩阵需要m行2n列的忆阻器阵列。
需要说明的是，忆阻器阵列输出的电流为模拟电流，在某些示例中，可以通过模数转换电路(ADC)将模拟电流转换为数字电压传递给第二层神经元层，从而第二层神经元层还可以通过另一忆阻器阵列与另一层神经元层连接。
生成式对抗网络(Generative Adversarial Networks，GAN)是神经形态技术领域的一种深度学习模型，可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。GAN基于博弈论中的零和博弈，将生成问题视作判别网络和生成网络这两个模块的对抗和博弈：生成网络根据给定的输入数据(例如，噪声序列)生成假样本，判别器分辨假样本和真实样本。生成器试图使生成的假样本更接近真实，相应地，判别器试图更完美地分辨真实样本和假样本。由此，两个网络在对抗中进步，在进步后继续对抗，由生成网络生成的假样本也越来越逼近真实样本，从而GAN可以获得期望的逼真的假样本。例如，该样本可以包括图片、视频、文字序列等。
然而，在对GAN进行训练时，一方面，当假样本和真实样本之间仅具有极小重叠甚至没有重叠时，GAN面临着梯度消失的问题；另一方面，GAN还存在模式坍塌(modecollapse)的问题，使得生成样本缺乏多样性。为了解决这两个问题，通常在对GAN进行训练时，需要对生成网络生成的假样本逐一添加噪声(例如，伪随机噪声)，然而，该添加噪声的过程一方面会增加生成式对抗网络的训练时间和资源消耗，降低GAN的训练效率；另一方面该添加的噪声由于是伪随机噪声，从而使得生成式对抗网络达不到良好的训练效果。
本公开至少一实施例提供一种生成式对抗网络装置，包括：生成网络和判别网络。生成网络配置为根据输入数据生成第一样本；判别网络与生成网络耦接，且配置为接收第一样本，并基于第一样本进行训练；生成网络包括第一忆阻器阵列作为第一权重值阵列。
本公开至少一实施例还提供对应于上述生成式对抗网络装置的训练方法。
本公开的实施例提供的生成式对抗网络装置及其训练方法，利用忆阻器阵列的天然本征噪声，可以克服生成式对抗网络的上述问题，省略对生成网络生成的假样本添加噪声的过程，从而节省训练时间，降低资源消耗，提高生成式对抗网络的训练速度。
下面结合附图对本公开的实施例进行详细说明。
图3示出了一种生成式对抗网络装置结构示意框图。如图3所示，该生成式对抗网络装置100包括生成网络G和判别网络D。例如，该生成式对抗网络装置100可以用于生成数字、人脸等物体对象,例如，用于构成各种逼真的室内外场景、从分割图像恢复原图像、给黑白图像上色、从物体轮廓恢复物体图像以及从低分辨率图像生成高分辨率图像等。此外,该生成式对抗网络还可以被应用到语音和语言处理、电脑病毒监测、棋类比赛程序等各个方面。
例如，生成网络G配置为根据输入数据z生成第一样本G(z)。例如，该第一样本为上述假样本。例如，该生成网络G包括第一忆阻器阵列作为第一权重值阵列。例如，可以采用图2所示的忆阻器阵列实现。例如，该输入数据可以是在例如高斯分布或均匀分布等数据分布中采样得到的数据。
例如，该判别网络D与所述生成网络G耦接，且配置为接收第一样本G(z)，并基于第一样本G(z)进行训练。
例如，生成网络G的具体结构如图4所示，该生成网络G包括逐一连接的N(N为大于等于3的整数)层神经元层以及连接其中任意相邻两层神经元层的第一忆阻器阵列。
例如，如图4所示，该生成网络G中，逐一连接的N层神经元层包括输入层11、至少一个隐含层12、输出层13。例如，输入层11包括第一层神经元层，至少一个隐含层12包括第二层至第N-1层神经元层，输出层13包括第N层神经元层。例如，结合图3和图4，输入层11接收输入数据z经由至少一个隐含层12前向传播到输出层13，输出层13输出第一样本G(z)。例如，如图4所示，生成网络G的层与层之间可以是全连接的结构；例如，在另一些示例中，生成网络G的层与层之间可以不是全连接的结构，例如生成网络G可以为卷积神经网络等本领域内常规的神经网络，本公开的实施例对此不作限制。例如，如图4所示，输入层11、至少一个隐含层12以及输出层13均可以包括多个神经元14，各层的神经元14的个数可以根据不同的应用情况设定。例如，当有M(M为大于1的整数)个输入数据时，输入层11有M个神经元14。
例如，如图4所示，生成网络G的任意相邻两层神经元层之间通过突触权重网络15连接。例如，隐藏层12也包括突触权重网络(图中未示出)。例如，该突触权重由如图2所示的忆阻器阵列实现。例如，在一些示例中，该生成网络G还包括采样保持电路(图中未示出)，将第一忆阻器阵列15输出的模拟电流转换为模拟电压后再进行传输。例如，在一些示例中，该生成网络G还包括模数转换电路(图中未示出)，将第一忆阻器阵列15输出的模拟电流转换为数字电压后再进行传输。
需要说明的是，由于忆阻器本身具有本征读写噪声，因此，生成网络G生成的第一样本G(z)本身就携带了随机噪声，可以直接输入判别网络D，而不需要额外对每个生成样本G(z)逐一添加噪声，从而可以减少训练时间，降低资源消耗，提高生成式对抗网络的训练速度。
例如，在本公开至少一个实施例中，如图3所示，判别网络D还配置为接收作为真实样本的第二样本x，并基于所述第二样本x进行训练。例如，该判别网络D作为分类网络，可以基于作为假样本的第一样本和作为真实样本的第二样本，对真假样本进行分类。
例如，在本公开至少一个实施例中，判别网络D包括第二忆阻器阵列作为第二权重值阵列。需要注意的是，该判别网络还可以实现为本领域内其他类型的神经网络，例如实现为软件实现的神经网络(例如，可以通过处理器和存储器实现)，在此不再赘述，且本公开的实施例对此不作限制。
例如，判别网络D的具体结构如图5所示，该判别网络D包括逐一连接的A(A为大于等于3的整数)层神经元层以及连接其任意相邻两层神经元层的第二忆阻器阵列。
例如，如图5所示，该判别网络D中，逐一连接的A层神经元层包括输入层21、至少一个隐含层22以及输出层23。例如，输入层21包括第一层神经元层，至少一个隐含层22包括第二层至第A-1层神经元层，输出层23包括第A层神经元层。例如，结合图3和图5，输入层21接收第一样本G(z)的数据和第二样本x的数据经由至少一个隐含层22前向传播到输出层23，输出层23输出判别网络D的实际输出结果。例如，如图5所示，判别网络D的层与层之间是全连接的结构；例如，在另一些示例中，判别网络D的层与层之间可以不是全连接的结构，例如判别网络D形成为逆卷积神经网络。例如，如图5所示，输入层21和至少一个隐含层22均可以包括多个神经元24，其中，至少一个隐含层22的神经元24的个数可以根据不同的应用情况设定。例如，如图5所示输出层23可以包括至少两个神经元24，用于输出针对第一样本G(z)和第二样本x的实际输出结果。
例如，如图5所示，生成网络G的相邻两层神经元层之间可以通过突触权重网络25连接。例如，隐藏层22也包括突触权重网络(图中未示出)。例如，该突触权重可以通过如图2所示的忆阻器阵列实现。例如，在一些示例中，该判别网络D还包括采样保持电路(图中未示出)，将第二忆阻器阵列25输出的模拟电流转换为模拟电压后再进行传输。例如，在一些示例中，该判别网络D还包括模数转换电路(图中未示出)，将第二忆阻器阵列15输出的模拟电流转换为数字电压后再进行传输。
需要说明的是，因为生成网络G生成的第一样本G(z)的数据维度应该与第二样本x的数据维度相同，所以生成网络G的输出层13的神经元14的个数由真实样本x的数据维度决定。例如，当第二样本x包括r*s个数据时，输出层13对应包括r*s个神经元14，其中r、s至少之一为大于1的整数。同时，由于判别网络D接收第一样本G(z)和第二样本x，因此，判别网络D的输入层21的神经元24的个数由第一样本G(z)和真实样本x的数据维度决定，即输入层21的神经元24的个数与生成网络G的输出层13的神经元14的个数相同。例如，在一些示例中，如图6所示，可以直接将生成网络G的输出层13作为判别网络D的输入层21，此时，生成网络G和判别网络D耦接成一个神经网络，输入层11作为该神经网络的输入层、输出层23作为该神经网络的输出层，其余各层作为该神经网络的隐含层。
例如，在本公开至少一个实施例中，如图3所示，生成式对抗网络装置100还包括代价函数单元110。例如，代价函数单元110可以通过例如硬件、软件、固件或其任意组合实现。该代价函数单元110配置为根据判别网络代价函数得到判别网络D的实际输出结果和判别网络D的目标输出结果的距离；以及根据生成网络代价函数得到判别网络D的实际输出结果和生成网络D的目标输出结果的距离。
例如，在一些示例中，生成式对抗网络模型的代价函数如下：
Figure BDA0001888810100000111
在上述公式中，D(x)表示判别网络D对第二样本x的实际输出结果，D(G(z))表示判别网络D对第一样本G(z)的实际输出结果，p2(x)表示第二样本的分布，p1(z)表示第一样本的分布，E表示期望。
例如，在该生成式对抗网络模型中，训练判别网络D的目标是使得判别网络D最大概率地对训练样本(生成样本G(z)和真实样本x)进行正确分类，即最大化log D(x)和log(1-D(G(z)))；若认为判别网络D的代价函数为-log D(x)-log(1-D(G(z)))，则训练判别网络D的目标是最小化该代价函数。训练生成网络G的目标是最小化log(1-D(G(z)))，即可以认为生成网络G的代价函数为-log(1-D(G(z)))。
例如，在训练判别网络D时，将第一样本G(z)和第二样本x输入判别网络D，得到判别网络D的实际输出结果。例如，判别网络D的实际输出结果为一个例如在0-1之间的概率值。例如，在训练判别网络D时，第一样本G(z)的目标输出结果为0，第二样本x的目标输出结果为1，从而，根据上述判别网络代价函数可以得到判别网络D的实际输出结果和判别网络D的目标输出结果的距离。
例如，在训练生成网络G时，将第一样本G(z)作为判别样本输入判别网络D，得到判别网络D的实际输出结果。例如，在训练生成网络G时，第一样本G(z)的目标输出结果为1，从而根据上述生成网络代价函数可以得到判别网络D的实际输出结果和生成网络G的目标输出结果的距离。
例如，在本公开至少一个实施例中，如图3所示，生成式对抗网络装置100还包括计算单元120。例如，计算单元120可以通过例如硬件、软件、固件或其任意组合实现。
例如，该计算单元120与代价函数单元110耦接，且配置为根据判别网络代价函数获得的距离计算第一样本G(z)的梯度和第二样本x的梯度，并将第一样本G(z)的梯度和第二样本x的梯度相加得到第一梯度；以及，根据生成网络代价函数获得的距离计算第一样本G(z)的梯度，作为第二梯度。例如，计算单元120可以基于反向传播(back propagation)等算法计算梯度。
例如，在训练判别网络时，基于该第一梯度更新判别网络D的权重参数(即第二忆阻器阵列的电导值)；在训练生成网络时，基于该第二梯度更新生成网络G的权重参数(即第一忆阻器阵列的电导值)。通过在获得真假样本对应的梯度之后，用其相加得到的第一梯度和来更新判别网络权重，可以使得判别网络的权重由原来需要更新2次(例如，通过第一样本的梯度更新一次，在通过第二样本的梯度更新一次)减少到1次，从而可以减弱写噪声在训练判别网络时产生的负面影响。
例如，在本公开至少一个实施例中，如图3所示，生成式对抗网络装置100还包括权重更新单元130。例如，权重更新单元130可以通过例如硬件、软件、固件或其任意组合实现。
例如，该权重更新单元130与计算单元120耦接，且配置为交替调整生成网络G的第一忆阻器阵列15的电导值和判别网络D的第二忆阻器阵列25的电导值。例如，根据上述第一梯度调整判别网络D的第二忆阻器阵列25的电导值；以及根据上述第二梯度调整生成网络G的第一忆阻器阵列15的电导值。
需要说明的是，由于生成网络G和判别网络D是两个相互对抗且相对独立的神经网络，在训练过程中，可以对生成网络G和判别网络D交替进行训练，即保持其中一个网络(例如生成网络)的权重值不变，训练另一个网络(例如，判别网络)并更新其权重值(即忆阻器阵列的电导值)使该网络对应的损失函数最小，直到达到纳什均衡。因此，在训练判别网络D时，保持生成网络G的第一忆阻器阵列15的电导值不变，仅根据上述第一梯度调整判别网络D的第二忆阻器阵列25的电导值；在训练生成网路G时，保持判别网络D的第二忆阻器阵列25的电导值不变，仅根据上述第二梯度调整生成网络G的第一忆阻器阵列15的电导值。
例如，在本公开至少一个实施例中，权重更新单元130还配置为根据如图7所示的流程图调整第一忆阻器阵列15或/和第二忆阻器阵列25的电导值。
例如，在一些示例中，在训练判别网络D时，参考图7，权重更新单元130还可以配置为：获取判别网络D的第二忆阻器阵列25的初始电导值；基于第一梯度的符号调整判别网络D的第二忆阻器阵列25的初始电导值以获得调整后的电导值；判断判别网络D中的调整后的电导值相对于初始电导值的变化方向，是否与第一梯度的符号一致；如果是或对第二忆阻器阵列25的电导值的调整次数达到预定次数，则停止调整判别网络D中的第二忆阻器阵列25的电导值；如果否，则基于第一梯度的符号重新对第二忆阻器阵列25的电导值进行调整。
例如，可以通过对第二忆阻器阵列25中的忆阻器施加置位操作或复位操作来调整其电导值。例如，若第一梯度的符号为正，则对忆阻器进行置位操作，使忆阻器电导值变大(电阻值变小)；若第一梯度的符号为负，则对忆阻器进行复位操作，使忆阻器电导值变小(电阻值变大)。
例如，在一些示例中，在训练生成网络G时，参考图7，权重更新单元130还配置为：获取生成网络G的第一忆阻器阵列15的初始电导值；基于第二梯度的符号调整生成网络G的第一忆阻器阵列15的初始电导值以获得调整后的电导值；判断生成网络G中的调整后的电导值相对于初始电导值的变化方向，是否与第二梯度的符号一致；如果是或对第一忆阻器阵列15的电导值的调整次数达到预定次数，则停止调整生成网络G中的第一忆阻器阵列15的电导值；如果否，则基于第二梯度的符号重新对第一忆阻器阵列15的电导值进行调整。
例如，可以通过对第一忆阻器阵列15中的忆阻器施加置位操作或复位操作来调整其电导值。例如，若第二梯度的符号为正，则对忆阻器进行置位操作，使忆阻器电导值变大(电阻值变小)；若第二梯度的符号为负，则对忆阻器进行复位操作，使忆阻器电导值变小(电阻值变大)。
例如，在本公开至少一个实施例中，如图3所示，生成式对抗网络装置100还包括滤波单元140。例如，可以通过该滤波单元140对中间的隐藏层的一层或多层的输出信号进行滤波来减弱忆阻器的读写噪声对该生成网络G和判别网络D的输出信号带来的影响。例如，滤波单元140可以通过例如硬件、软件、固件或其任意组合实现。
例如，该滤波单元140配置为对判别网络D的第二忆阻器阵列25的输出信号和生成网络G的第一忆阻器阵列15的输出信号进行滤波处理。例如，滤波单元140可以采用空间滤波或/和时间滤波的方法对判别网络D的第二忆阻器阵列25的输出信号和生成网络G的第一忆阻器阵列15的输出信号进行滤波处理，具体的滤波方式可以参考本领域内常规的滤波方法和技术，本公开对此不作限制。需要说明的是，判别网络D的第二忆阻器阵列25中忆阻器的本征读写噪声，在训练生成式对抗网络时，可以采用滤波单元140对判别网络D的第二忆阻器阵列25的输出信号进行滤波处理。例如，在一些示例中，滤波单元140可以对判别网络D的隐含层22的输出信号进行滤波处理。
需要说明的是，图3所示的生成式网络对抗装置的组件和结构只是示例性的，而非限制性的，根据需要，上述各个单元的具体结构和实现方式可以采用现有的各种可行的方案，在此不作限定。还需要说明的是，本公开的实施例并没有给出该生成式网络对抗装置的全部结构，为了实现该生成式网络对抗装置的功能，本领域技术人员可以理解，该生成式网络对抗装置还可以包括其他必要的结构、单元或者模块，本公开的实施例对此不作限制。
本公开至少一实施例还提供一种训练方法，该训练方法可以用于训练本公开的实施例提供的生成式对抗网络装置。例如，如图8所示，在一个示例中，该训练方法可以包括步骤S10至步骤S20；在另一个示例中，该训练方法还可以包括步骤S30。下面，参考图8对本公开至少一实施例提供的训练方法进行说明。
步骤S10：使生成网络G根据输入数据z生成第一样本G(z)；
步骤S20：将第一样本G(z)输入判别网络D且使判别网络D使用第一样本G(z)训练。
对于步骤S10，例如，可以采用图4所示的生成网络根据输入数据生成第一样本。例如，该第一样本为假样本。例如，该输入数据可以是在例如高斯分布或均匀分布等数据分布中采样得到的数据。该步骤S10的具体实现过程可参考图4所示的生成网络G的描述，在此不再赘述。
对于步骤S20，例如，该判别网络与生成网络耦接，且配置为接收第一样本，并基于第一样本进行训练。例如，该判别网络可以采用图5所示的神经网络架构，在此重复之处不再赘述。
例如，对该判别网络的具体训练过程将在下面进行详细地描述，在此不再赘述。
在本公开的一些实施例中，如图8所示，上述训练方法还可以包括步骤S30：将作为真实样本的第二样本x输入判别网络D且使判别网络D使用第二样本x训练。例如，该判别网络还配置为接收作为真实样本的第二样本，并基于第二样本进行训练。例如，该判别网络作为分类网络，可以基于第一样本和第二样本进行判别网络的分类训练。
例如，在一些实施例中，判别网络D包括第二忆阻器阵列作25为第二权重值阵列。图9为本公开一实施例提供的一种训练判别网络的流程框图。如图9所示，对判别网络的训练方法包括步骤S100-步骤S120。
步骤S100：根据判别网络代价函数得到判别网络D的实际输出结果和判别网络D的目标输出结果的距离。例如，在一些示例中，可以利用如图3所示的代价函数单元110，根据前述判别网络代价函数基于第一样本G(z)和第二样本x得到判别网络D的实际输出结果和判别网络D的目标输出结果的距离。例如，具体介绍可参考图3中所示的代价函数单元110的相关描述，在此不再赘述。
步骤S110：根据判别网络代价函数获得的距离计算第一样本G(z)的梯度和第二样本x的梯度，并将第一样本G(z)的梯度和第二样本x的梯度相加得到第一梯度。
例如，在一些示例中，可以利用如图3所示的计算单元120计算第一样本G(z)的梯度和第二样本x的梯度，并梯度相加得到第一梯度。例如，具体介绍可参考图3中所示的计算单元120的相关描述，在此不再赘述。
步骤S120：根据第一梯度调整判别网络D的第二忆阻器阵列25的电导值。
例如，在一些示例中，可以利用如图3所示的权重更新单元130调整判别网络D的第二忆阻器阵列25的电导值。
例如，在一些示例中，参考图7，步骤S120可以包括以下步骤：获取判别网络D的第二忆阻器阵列25的初始电导值；基于第一梯度的符号调整判别网络D的第二忆阻器阵列25的初始电导值以获得调整后的电导值；判断判别网络D中的调整后的电导值相对于初始电导值的变化方向，是否与第一梯度的符号一致；如果是或对第二忆阻器阵列25的电导值的调整次数达到预定次数，则停止调整判别网络D中的第二忆阻器阵列25的电导值；如果否，则基于第一梯度的符号重新对第二忆阻器阵列25的电导值进行调整。例如，可以通过对第二忆阻器阵列25中的忆阻器施加置位操作或复位操作来调整其电导值。
例如，基于第一梯度的符号调整判别网络D的第二忆阻器阵列25的初始电导值以获得调整后的电导值，可以包括：若第一梯度的符号为正，则对忆阻器进行置位操作，使忆阻器电导值变大(电阻值变小)；若第一梯度的符号为负，则对忆阻器进行复位操作，使忆阻器电导值变小(电阻值变大)。
图10为本公开一实施例提供的一种训练生成网络的流程框图。例如，如图10所示，在一些实施例中，对生成网络的训练方法可以包括步骤S200-步骤S220。
步骤S200：根据生成网络代价函数得到判别网络D的实际输出结果和生成网络G的目标输出结果的距离。
例如，在一些示例中，可以利用如图3所示的代价函数单元110，根据前述生成网络代价函数基于第一样本G(z)得到判别网络D的实际输出结果和生成网络G的目标输出结果的距离。例如，具体介绍可参考图3中所示的代价函数单元110的相关描述，在此不再赘述。
步骤S210：根据生成网络代价函数获得的距离计算第一样本G(z)的梯度，作为第二梯度。
例如，在一些示例中，可以利用如图3所示的计算单元120计算第一样本G(z)的梯度，作为第二梯度。例如，具体介绍可参考图3中所示的计算单元120的相关描述，在此不再赘述。
步骤S220：根据第二梯度调整生成网络G的第一忆阻器阵列15的电导值。
例如，在一些示例中，可以利用如图3所示的权重更新单元130调整生成网络G的第一忆阻器阵列15的电导值。例如，具体介绍可参考图3中所示的权重更新单元130的相关描述，在此不再赘述。
例如，在一些示例中，参考图7，步骤S220可以包括以下步骤：获取生成网络G的第一忆阻器阵列15的初始电导值；基于第二梯度的符号调整生成网络G的第一忆阻器阵列15的初始电导值以获得调整后的电导值；判断生成网络G中的调整后的电导值相对于初始电导值的变化方向，是否与第二梯度的符号一致；如果是或对第一忆阻器阵列15的电导值的调整次数达到预定次数，则停止调整生成网络G中的第一忆阻器阵列15的电导值；如果否，则基于第二梯度的符号重新对第一忆阻器阵列15的电导值进行调整。例如，可以通过对第一忆阻器阵列15中的忆阻器施加置位操作或复位操作来调整其电导值。
例如，基于第二梯度的符号调整生成网络G的第一忆阻器阵列15的初始电导值以获得调整后的电导值，包括：若第二梯度的符号为正，则对忆阻器进行置位操作，使忆阻器电导值变大(电阻值变小)；若第二梯度的符号为负，则对忆阻器进行复位操作，使忆阻器电导值变小(电阻值变大)。
例如，在一些实施例中，上述训练方法还可以包括对判别网络D的第二忆阻器阵列25的输出信号和生成网络G的第一忆阻器阵列15的输出信号进行滤波处理。例如，在一些示例中，可以利用如图3所示的滤波单元140对判别网络D的第二忆阻器阵列25的输出信号和生成网络G的第一忆阻器阵列15的输出信号进行滤波处理。例如，具体介绍可参考图3中所示的滤波单元140的相关描述，在此不再赘述。
需要说明的是，在本公开的实施例中，该训练方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的训练方法的流程包括特定顺序出现的多个操作，但是应该清楚地了解，多个操作的顺序并不受限制。上文描述的训练方法可以执行一次，也可以按照预定条件执行多次。
需要说明的是，关于本公开的实施例提供的训练方法的详细描述和技术效果可以参考本公开的实施例中对于生成式对抗网络装置的工作原理的描述，这里不再赘述。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种生成式对抗网络装置，包括：生成网络和判别网络；其中，
所述生成网络配置为根据输入数据生成第一样本；
所述判别网络与所述生成网络耦接，且配置为接收所述第一样本，并基于所述第一样本进行训练；
其中，所述生成网络包括第一忆阻器阵列作为第一权重值阵列，所述生成网络还配置为利用所述第一忆阻器阵列的本征噪声使所述第一样本携带随机噪声。
2.根据权利要求1所述的生成式对抗网络装置，其中，所述判别网络还配置为接收作为真实样本的第二样本，并基于所述第二样本进行训练。
3.根据权利要求2所述的生成式对抗网络装置，其中，所述判别网络包括第二忆阻器阵列作为第二权重值阵列。
4.根据权利要求3所述的生成式对抗网络装置，还包括代价函数单元,
其中，所述代价函数单元配置为根据判别网络代价函数得到所述判别网络的实际输出结果和所述判别网络的目标输出结果的距离；以及
根据生成网络代价函数得到所述判别网络的实际输出结果和所述生成网络的目标输出结果的距离。
5.根据权利要求4所述的生成式对抗网络装置，还包括计算单元，其中，
所述计算单元与所述代价函数单元耦接，且配置为根据所述判别网络代价函数获得的距离计算所述第一样本的梯度和所述第二样本的梯度，并将所述第一样本的梯度和所述第二样本的梯度相加得到第一梯度；以及，
根据所述生成网络代价函数获得的距离计算所述第一样本的梯度，作为第二梯度。
6.根据权利要求5所述的生成式对抗网络装置，还包括权重更新单元，其中，所述权重更新单元与所述计算单元耦接，且配置为交替调整所述生成网络的第一忆阻器阵列的电导值和所述判别网络的第二忆阻器阵列的电导值；其中，
根据所述第一梯度调整所述判别网络的第二忆阻器阵列的电导值；以及
根据所述第二梯度调整所述生成网络的第一忆阻器阵列的电导值。
7.根据权利要求6所述的生成式对抗网络装置，其中，所述权重更新单元还配置为：
获取所述判别网络的第二忆阻器阵列的初始电导值；
基于所述第一梯度的符号调整所述判别网络的第二忆阻器阵列的初始电导值以获得调整后的电导值；
判断所述判别网络中的调整后的电导值相对于所述初始电导值的变化方向，是否与所述第一梯度的符号一致；
如果是或对所述第二忆阻器阵列的电导值的调整次数达到预定次数，则停止调整所述判别网络中的第二忆阻器阵列的电导值；
如果否，则基于所述第一梯度的符号重新对所述第二忆阻器阵列的电导值进行调整。
8.根据权利要求6所述的生成式对抗网络装置，其中，所述权重更新单元还配置为：
获取所述生成网络的第一忆阻器阵列的初始电导值；
基于所述第二梯度的符号调整所述第一忆阻器阵列的初始电导值以获得调整后的电导值；
判断所述第一忆阻器阵列中的调整后的电导值相对于所述初始电导值的变化方向，是否与所述第二梯度的符号一致；
如果是或对所述第一忆阻器阵列的电导值的调整次数达到预定次数，则停止调整所述生成网络中的第一忆阻器阵列的电导值；
如果否，则基于所述第二梯度的符号重新对所述第一忆阻器阵列的电导值进行调整。
9.根据权利要求3-8任一所述的生成式对抗网络装置，还包括滤波单元，其中，所述滤波单元配置为对所述判别网络的第二忆阻器阵列的输出信号和所述生成网络的第一忆阻器阵列的输出信号进行滤波处理。
10.一种根据权利要求1所述的生成式对抗网络装置的训练方法，包括：
使所述生成网络根据所述输入数据生成所述第一样本；
将所述第一样本输入所述判别网络且使所述判别网络使用所述第一样本训练。
11.根据权利要求10所述的训练方法，还包括：
将作为真实样本的第二样本输入所述判别网络且使所述判别网络使用所述第二样本训练。
12.根据权利要求11所述的训练方法，其中，所述判别网络包括第二忆阻器阵列作为第二权重值阵列，所述训练方法还包括：
根据判别网络代价函数得到所述判别网络的实际输出结果和所述判别网络的目标输出结果的距离；
根据所述判别网络代价函数获得的距离计算所述第一样本的梯度和所述第二样本的梯度，并将所述第一样本的梯度和所述第二样本的梯度相加得到第一梯度；
根据所述第一梯度调整所述判别网络的第二忆阻器阵列的电导值。
13.根据权利要求12所述的训练方法，其中，根据所述第一梯度调整所述判别网络的第二忆阻器阵列的电导值，包括：
获取所述判别网络的第二忆阻器阵列的初始电导值；
基于所述第一梯度的符号调整所述判别网络的第二忆阻器阵列的初始电导值以获得调整后的电导值；
判断所述判别网络中的调整后的电导值相对于所述初始电导值的变化方向，是否与所述第一梯度的符号一致；
如果是或对所述第二忆阻器阵列的电导值的调整次数达到预定次数，则停止调整所述判别网络中的第二忆阻器阵列的电导值；
如果否，则基于所述第一梯度的符号重新对所述判别网络中的第二忆阻器阵列的电导值进行调整。
14.根据权利要求10或11所述的训练方法，还包括：
根据生成网络代价函数得到所述判别网络的实际输出结果和所述生成网络的目标输出结果的距离；
根据所述生成网络代价函数获得的距离计算所述第一样本的梯度，作为第二梯度；
根据所述第二梯度调整所述生成网络的第一忆阻器阵列的电导值。
15.根据权利要求14所述的训练方法，其中，根据所述第二梯度调整所述生成网络的第一忆阻器阵列的电导值，包括：
获取所述生成网络的第一忆阻器阵列的初始电导值；
基于所述第二梯度的符号调整所述第一忆阻器阵列的初始电导值以获得调整后的电导值；
判断所述第一忆阻器阵列中的调整后的电导值相对于所述初始电导值的变化方向，是否与所述第二梯度的符号一致；
如果是或对所述第一忆阻器阵列的电导值的调整次数达到预定次数，则停止调整所述生成网络中的第一忆阻器阵列的电导值；
如果否，则基于所述第二梯度的符号重新对所述第一忆阻器阵列的电导值进行调整。
16.根据权利要求12所述的训练方法，还包括：
对所述判别网络的第二忆阻器阵列的输出信号和所述生成网络的第一忆阻器阵列的输出信号进行滤波处理。
CN201811461559.9A 2018-12-02 2018-12-02 生成式对抗网络装置及训练方法 Active CN109543827B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811461559.9A CN109543827B (zh) 2018-12-02 2018-12-02 生成式对抗网络装置及训练方法
US16/699,727 US11574199B2 (en) 2018-12-02 2019-12-01 Generative adversarial network device and training method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811461559.9A CN109543827B (zh) 2018-12-02 2018-12-02 生成式对抗网络装置及训练方法

Publications (2)

Publication Number Publication Date
CN109543827A CN109543827A (zh) 2019-03-29
CN109543827B true CN109543827B (zh) 2020-12-29

Family

ID=65852541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811461559.9A Active CN109543827B (zh) 2018-12-02 2018-12-02 生成式对抗网络装置及训练方法

Country Status (2)

Country Link
US (1) US11574199B2 (zh)
CN (1) CN109543827B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210226A (zh) * 2019-06-06 2019-09-06 深信服科技股份有限公司 一种恶意文件检测方法、系统、设备及计算机存储介质
CN110515454B (zh) * 2019-07-24 2021-07-06 电子科技大学 一种基于内存计算的神经网络架构电子皮肤
US11152785B1 (en) * 2019-09-17 2021-10-19 X Development Llc Power grid assets prediction using generative adversarial networks
CN110910310B (zh) * 2019-10-25 2021-04-30 南京大学 一种基于身份信息的人脸图像重建方法
CN110796241B (zh) * 2019-11-01 2022-06-17 清华大学 基于忆阻器的神经网络的训练方法及其训练装置
CN110956256B (zh) * 2019-12-09 2022-05-17 清华大学 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
CN111861949B (zh) * 2020-04-21 2023-07-04 北京联合大学 一种基于生成对抗网络的多曝光图像融合方法及系统
CN111582473B (zh) * 2020-04-23 2023-08-25 中科物栖(南京)科技有限公司 一种对抗样本的生成方法及装置
CN111627080B (zh) * 2020-05-20 2022-11-18 广西师范大学 基于卷积神经与条件生成对抗性网络的灰度图像上色方法
CN111794741B (zh) * 2020-08-11 2023-08-18 中国石油天然气集团有限公司 滑动定向钻井模拟机实现方法
CN112101549B (zh) * 2020-09-22 2024-05-10 清华大学 基于忆阻器阵列的神经网络的训练方法和装置
CN112821879B (zh) * 2020-12-30 2023-07-04 广东技术师范大学 基于忆阻器的生理电信号滤波去噪电路及其控制方法
CN115481562B (zh) * 2021-06-15 2023-05-16 中国科学院微电子研究所 多并行度优化方法、装置、识别方法和电子设备
CN114067157B (zh) * 2021-11-17 2024-03-26 中国人民解放军国防科技大学 基于忆阻器的神经网络优化方法、装置及忆阻器阵列
CN114781628A (zh) * 2022-03-29 2022-07-22 清华大学 基于忆阻器噪声的数据增强方法、装置、电子设备及介质
CN114819093A (zh) * 2022-05-09 2022-07-29 清华大学 利用基于忆阻器阵列的环境模型的策略优化方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650922A (zh) * 2016-09-29 2017-05-10 清华大学 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统
CN107945204A (zh) * 2017-10-27 2018-04-20 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
CN108334816A (zh) * 2018-01-15 2018-07-27 桂林电子科技大学 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN108595916A (zh) * 2018-05-10 2018-09-28 浙江工业大学 基于生成对抗网络的基因表达全谱推断方法
CN108897740A (zh) * 2018-05-07 2018-11-27 内蒙古工业大学 一种基于对抗神经网络的蒙汉机器翻译方法
CN108921123A (zh) * 2018-07-17 2018-11-30 重庆科技学院 一种基于双重数据增强的人脸识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650922A (zh) * 2016-09-29 2017-05-10 清华大学 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统
CN107945204A (zh) * 2017-10-27 2018-04-20 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
CN108334816A (zh) * 2018-01-15 2018-07-27 桂林电子科技大学 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN108897740A (zh) * 2018-05-07 2018-11-27 内蒙古工业大学 一种基于对抗神经网络的蒙汉机器翻译方法
CN108595916A (zh) * 2018-05-10 2018-09-28 浙江工业大学 基于生成对抗网络的基因表达全谱推断方法
CN108921123A (zh) * 2018-07-17 2018-11-30 重庆科技学院 一种基于双重数据增强的人脸识别方法

Also Published As

Publication number Publication date
CN109543827A (zh) 2019-03-29
US11574199B2 (en) 2023-02-07
US20200175379A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
CN109543827B (zh) 生成式对抗网络装置及训练方法
Zhang et al. Memristor-based circuit design for multilayer neural networks
US10708522B2 (en) Image sensor with analog sample and hold circuit control for analog neural networks
Liu et al. Reduction and IR-drop compensations techniques for reliable neuromorphic computing systems
US10664745B2 (en) Resistive processing units and neural network training methods
CN110807519B (zh) 基于忆阻器的神经网络的并行加速方法及处理器、装置
CN109146070B (zh) 一种支撑基于rram的神经网络训练的外围电路及系统
Hu et al. Memristor crossbar based hardware realization of BSB recall function
CN112257815A (zh) 模型生成方法、目标检测方法、装置、电子设备及介质
US20190325291A1 (en) Resistive processing unit with multiple weight readers
CN112101549B (zh) 基于忆阻器阵列的神经网络的训练方法和装置
CN114861838B (zh) 一种基于神经元复杂动力学的脉冲神经类脑智能分类方法
KR20180096469A (ko) 딥 신경망을 이용한 정보 이전 방법 및 그 장치
US20210224647A1 (en) Model training apparatus and method
CN112823327A (zh) 模拟的交叉点阵列中匹配对称点作为零权重点的对准技术
CN114614865A (zh) 基于忆阻器阵列的预编码装置和信号处理方法
Song et al. ITT-RNA: Imperfection tolerable training for RRAM-crossbar-based deep neural-network accelerator
Afshar et al. Turn down that noise: synaptic encoding of afferent SNR in a single spiking neuron
US11610101B2 (en) Formation failure resilient neuromorphic device
WO2019096660A1 (en) Competitive machine learning accuracy on neuromorphic arrays with capacitor memory devices
Sun et al. Low-consumption neuromorphic memristor architecture based on convolutional neural networks
Eldebiky et al. Correctnet: Robustness enhancement of analog in-memory computing for neural networks by error suppression and compensation
CN110110651B (zh) 基于时空重要性和3d cnn的视频中行为识别方法
JP2024514063A (ja) ディープ・ニューラル・ネットワーク・トレーニング
Yonekawa et al. The parameter optimization of the pulse coupled neural network for the pattern recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant