CN116542291A - 一种记忆环路启发的脉冲记忆图像生成方法和系统 - Google Patents

一种记忆环路启发的脉冲记忆图像生成方法和系统 Download PDF

Info

Publication number
CN116542291A
CN116542291A CN202310760837.5A CN202310760837A CN116542291A CN 116542291 A CN116542291 A CN 116542291A CN 202310760837 A CN202310760837 A CN 202310760837A CN 116542291 A CN116542291 A CN 116542291A
Authority
CN
China
Prior art keywords
pulse
memory
model
loop
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310760837.5A
Other languages
English (en)
Other versions
CN116542291B (zh
Inventor
邓岳
王勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202310760837.5A priority Critical patent/CN116542291B/zh
Publication of CN116542291A publication Critical patent/CN116542291A/zh
Application granted granted Critical
Publication of CN116542291B publication Critical patent/CN116542291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种记忆环路启发的脉冲记忆图像生成方法和系统，属于图片生成技术领域。其方法包括，构建基于动态阈值的神经元模型，并以所述神经元模型为基本单元构建记忆环路的脉冲神经网络模型；以所述脉冲神经网络模型为解码器和编码器，构建记忆环路启发的脉冲记忆产生模型；训练所述脉冲记忆产生模型，并利用训练好的脉冲记忆产生模型完成图像生成任务。通过上述方法和包含上述方法的系统，本发明能够更好的考虑脉冲序列前后脉冲的影响，提高产生式模型的图像生成精度同时降低脉冲模型的时间延迟，提高模型的能效和稳态。

Description

一种记忆环路启发的脉冲记忆图像生成方法和系统
技术领域
本发明涉及图片生成技术领域，更具体的说是涉及一种记忆环路启发的脉冲记忆图像生成方法和系统。
背景技术
目前，对于图像生成任务而言，图像的像素间存在着相互作用，相互影响，每个像素之间不是完全独立的，传统的脉冲产生式模型仅仅采用继承发放神经元和经典的解码器编码器构建VAE模型，其没有考虑到像素和脉冲间的相互影响，从而降低了模型的重建效果，且时延变高。
因此，如何提高图像生成任务的产生精度同时降低脉冲模型的时间延迟，提供一种记忆环路启发的脉冲记忆图像生成方法和系统是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种记忆环路启发的脉冲记忆图像生成方法和系统，用于至少部分解决背景技术中存在的技术问题。
为了实现上述目的，本发明采用如下技术方案：
首先本发明公开了一种记忆环路启发的脉冲记忆图像生成方法，包括以下步骤：
构建基于动态阈值的神经元模型，并以所述神经元模型为基本单元构建记忆环路的脉冲神经网络模型；
以所述脉冲神经网络模型为解码器和编码器，构建记忆环路启发的脉冲记忆产生模型；
训练所述脉冲记忆产生模型，并利用训练好的脉冲记忆产生模型完成图像生成任务。
优选的，构建基于动态阈值的神经元模型步骤中，所述基于动态阈值的神经元模型包括以下建模公式：
；
；
；
；
；
第一个方程定义了神经元膜电位的变化：其中，表示神经元k在第t时刻时的膜电位，/>表示神经元k在t-1时刻时的膜电位，/>代表神经元k在t-1时刻的输出脉冲，/>代表神经元k在第t时刻时接收到的外部邻接神经元脉冲刺激，/>代表膜电位衰减常数；
第二个方程描绘了脉冲信号的产生：其中，表示神经元k在第t时刻时的脉冲输出，利用阶跃函数/>比较当前膜电位/>和膜电位阈值/>，当前膜电位/>高于膜电位阈值/>时神经元将发送脉冲信号；
第三个方程描述了膜电位阈值的动态更新：其中，表示与膜电位成正相关的动态能量阈值，/>表示与膜电位变化率成负相关的动态记忆阈值，其受到上一时刻神经元的发射脉冲控制；
第四个方程描绘了动态能量阈值：其中，，/>是两个超参数；/>和/>分别表示第/>层神经元的平均膜电位和平均阈值；
第五个方程描绘了动态记忆阈值：其中，和C是超参数。
优选的，以所述神经元模型为基本单元构建记忆环路的脉冲神经网络模型步骤中，具体包括：
构建脉冲神经网络模型，所述脉冲神经网络模型包括液体状态层，所述液体状态层包括若干随机环路和神经元，所述随机环路用于将液体状态层中的不同神经元互相连接以及将同一神经元进行自连接。
优选的，以所述脉冲神经网络模型为解码器和编码器，构建记忆环路启发的脉冲记忆产生模型，具体包括：
构建变分自编码器VAE模型，将所述脉冲神经网络模型作为VAE模型的编码器和解码器。
优选的，构建记忆环路启发的脉冲记忆产生模型步骤中，所述脉冲记忆产生模型的损失函数包括以下表达式：
；
式中，MSE表示均方误差函数；分别表示原始图像和生成图像；MMD表示最大平均差异函数；/>表示脉冲记忆产生模型的后验分布；/>表示脉冲记忆产生模型的先验分布；/>代表长度为T的隐脉冲向量；/>代表长度为T的编码器输出脉冲向量。
优选的，脉冲记忆产生模型的后验分布，具体采用以下公式表示：
；
式中，zt代表t时刻的隐脉冲向量；代表小于等于t时刻时的编码器输出脉冲向量；/>代表t时刻之前的隐脉冲向量。
优选的，脉冲记忆产生模型的先验分布，具体采用以下公式表示：
；
式中，zt代表t时刻的隐脉冲向量；代表t时刻之前的隐脉冲向量。
优选的，训练所述脉冲记忆产生模型，具体包括以下步骤：
将图像转为脉冲序列；
将脉冲序列送入到脉冲记忆产生模型的编码器中编码，生成隐空间向量；
以编码后的伯努利分布的参数采出符合参数定义的脉冲序列，将采样后的脉冲序列送入解码器后得到重建的图像；
利用损失函数对脉冲记忆产生模型进行训练。
优选的，利用训练好的脉冲记忆产生模型完成图像生成任务，具体包括以下步骤：
利用预定义的先验伯努利分布进行脉冲序列采样得到脉冲序列，并将得到的脉冲序列送入训练后的解码器中，生成所需要的图像。
其次，本发明还公开了一种记忆环路启发的脉冲记忆图像生成系统，该系统包括计算机程序，所述计算机程序运行时执行上述任意一项所述的记忆环路启发的脉冲记忆图像生成方法。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种记忆环路启发的脉冲记忆图像生成方法和系统，具有以下有益效果：
本发明在传统的集成发射神经元模型中引入受记忆影响的动态阈值，使得每个神经元形成一个小型的记忆自平衡系统。在此基础上，利用其搭建成更大的具有环路的记忆神经网络并将构建的记忆网络分别作为产生式模型的编码器和解码器，构建最终的具有记忆功能和自平衡功能的脉冲产生式模型。
本发明能够更好的考虑脉冲序列前后脉冲的影响，提高了产生式模型的图像生成精度同时降低脉冲模型的时间延迟，提高模型的能效和稳态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的方法整体流程示意图；
图2为本发明实施例提供的基于动态阈值的神经元模型结构示意图；
图3为本发明实施例提供的记忆环路的脉冲神经网络模型结构示意图；
图4为本发明实施例提供的记忆环路启发的脉冲记忆产生模型训练过程示意图；
图5为本发明实施例提供的记忆环路启发的脉冲记忆产生模型图片生成过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例公开了一种记忆环路启发的脉冲记忆图像生成方法，如图1所示，包括以下步骤：
首先构建基于动态阈值的神经元模型，其次以所述神经元模型为基本单元构建记忆环路的脉冲神经网络模型；
然后以上述脉冲神经网络模型为解码器和编码器，构建记忆环路启发的脉冲记忆产生模型；
训练构建的上述脉冲记忆产生模型，并利用训练好的脉冲记忆产生模型完成图像生成任务。
下面对本发明中的步骤进行详细说明：
本实施例中，首先设计基于动态阈值的脉冲神经元模型（memory circuitspiking model, MCS），脉冲神经元模型具体结构如图2所示，本实施例中，基于动态阈值的脉冲神经元（MCS）建模如下：
；
；
；
；
；
第一个方程定义了神经元膜电位的变化：其中，表示神经元k在第t时刻时的膜电位，/>表示神经元k在t-1时刻时的膜电位，/>代表神经元k在t-1时刻的输出脉冲，/>代表神经元k在第t时刻时接收到的外部邻接神经元脉冲刺激，/>代表膜电位衰减常数。
第二个方程描绘了脉冲信号的产生：其中，表示神经元k在第t时刻时的脉冲输出，利用阶跃函数/>比较当前膜电位/>和膜电位阈值/>，当前膜电位/>高于膜电位阈值/>时神经元将发送脉冲信号。
第三个方程描述了膜电位阈值的动态更新：其中，表示与膜电位成正相关的动态能量阈值，/>表示与膜电位变化率成负相关的动态记忆阈值，其受到上一时刻神经元的发射脉冲控制。
第四个方程描绘了动态能量阈值：其中，，/>是两个超参数；/>和/>分别表示第/>层神经元的平均膜电位和平均阈值。
第五个方程描绘了动态记忆阈值：其中，和C是超参数。
其次利用具有记忆的脉冲神经元模型搭建具有大量环路的液体状态神经网络模型(Liquid state model, LSM)，即搭建具有记忆环路的脉冲神经网络模型（memoryliquid state model, M-LSM）。
如图3所示，M-LSM主要由两部分组成，分别是液体状态层（即存在大量的记忆环路）和输出层。其工作流程即一组时间脉冲序列S(1,...,t)输入到液体状态层中，液体状态层包含了M个MCS神经元，经过MCS神经元的信息交互和状态更新后得到M维的状态向量，通过映射函数fM将其连接到输出层，最终得到输出y(t)。具体的建模公式如下：
；
；
其中，液体状态层包含大量的随机环路将液体状态层中的不同神经元互相连接以及同一神经元进行自连接，从而能够将之前的输出与当前的神经元状态联系起来，形成记忆。
输出层则不存在记忆的功能，其主要是整合液体状态机中的状态，输出所需要的数据和数据维度。
然后构建记忆环路启发的脉冲记忆产生式模型（memory spiking VAE,MS-VAE）：
本实施例中MS-VAE模型以通用产生式模型VAE为基本框架，编码器和解码器分别采用我们所设计的具有记忆环路的脉冲神经网络。在训练过程中编码器通过对输入脉冲数据进行编码，得到与先验伯努利分布近似的后验证伯努利分布。解码器则通过对从后验分布中采集到的脉冲序列进行解码，输出生成图像的像素值。编码器和解码器均使用具有记忆环路的脉冲神经网络，但其输入输出的维度不同，编码器的输入维度为图像的大小，输出维度定义为100。解码器输入维度为100，输出维度为图像的大小。
定义MS-VAE的后验分布和先验分布/>为：
；
；
其中代表长度为T的隐脉冲向量；/>代表长度为T的编码器输出脉冲向量，zt代表t时刻的隐脉冲向量(长度亦为t)，/>代表小于等于t时刻时的编码器输出脉冲向量，代表t时刻之前的隐脉冲向量。不同于常用的VAE模型，将分布定义为正态分布，由于这里是输出的二值化脉冲，因此我们将/>和/>定义为伯努利分布和/>，其中/>和/>分别时后验分布和先验分布的伯努利参数。
模型的损失函数包括两项，一项评估重建损失，通常使用平法差损失（MeanSquare Error, MSE）；另一项评估后验分布和先验分布直接的相似性，这里由于脉冲二值化，我们没有采用传统的KL散度，而是采取了最大平均差异( maximum-mean-discrepancy)MMD来作为评价的方式。模型的损失函数表示如下：
；
其中分别表示原始图像和生成图像，/>代表突触后电位函数，能够捕捉所需计算的脉冲序列的时间性质，/>和/>分别代表符合伯努利分布/>和的脉冲序列。/>计算方式表示如下：
；
其中是突触时间常数，/>为脉冲序列，设置/>。
如图4所示，以手写数字图像MNIST为例，在记忆环路启发的脉冲记忆产生式模型训练过程中，首先将数据集中的图像（MNIST）转为脉冲序列，接着将脉冲序列送入到编码器中编码为隐空间向量，之后以编码后的伯努利分布的参数采出符合分布脉冲序列，将采样后的脉冲序列送入解码器后得到重建的手写数字图像，之后利用定义的损失函数对模型进行误差回传，最终得到训练好的模型。
如图5所示。在训练模型后，直接利用定义好的先验伯努利分布进行脉冲序列采样，并将采样后的脉冲序列送入训练后的解码器中，生成MNIST图像。
对于图像生成任务，图像的像素间存在着相互作用，相互影响，像素间不是独立的，传统的脉冲产生式模型仅仅采用继承发放神经元和经典的解码器编码器构建VAE模型，其没有考虑到像素和脉冲间的相互影响，从而降低了模型的重建效果，且时延变高。对于本模型，由于在神经元层面和神经网络两个层面分别考虑了神经元的记忆能力和自稳态能力以及神经网络中不同神经元的记忆的彼此交互，更好的考虑的图像像素转换成脉冲序列后的不同时间序列的相互影响，更够更好的对图像进行重建。此外，记忆环路的引入能够更好的降低网络的时延，从而进一步降低模型的能耗。因此，记忆环路启发的脉冲产生式模型能够得到更高的重建精度，更低的脉冲时延以及更高的能源效率，更适用于实时生成任务。
实施例2
实施例2公开了一种记忆环路启发的脉冲记忆图像生成系统，该系统包括计算机程序，计算机程序运行时执行上述实施例1中的记忆环路启发的脉冲记忆图像生成方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种记忆环路启发的脉冲记忆图像生成方法，其特征在于，包括以下步骤：
构建基于动态阈值的神经元模型，并以所述神经元模型为基本单元构建记忆环路的脉冲神经网络模型；
以所述脉冲神经网络模型为解码器和编码器，构建记忆环路启发的脉冲记忆产生模型；
训练所述脉冲记忆产生模型，并利用训练好的脉冲记忆产生模型完成图像生成任务。
2.根据权利要求1所述的记忆环路启发的脉冲记忆图像生成方法，其特征在于，构建基于动态阈值的神经元模型步骤中，所述基于动态阈值的神经元模型包括以下建模公式：
；
；
；
；
；
第一个方程定义了神经元膜电位的变化：其中，表示神经元k在第t时刻时的膜电位，/>表示神经元k在t-1时刻时的膜电位，/>代表神经元k在t-1时刻的输出脉冲，/>代表神经元k在第t时刻时接收到的外部邻接神经元脉冲刺激，/>代表膜电位衰减常数；
第二个方程描绘了脉冲信号的产生：其中，表示神经元k在第t时刻时的脉冲输出，利用阶跃函数/>比较当前膜电位/>和膜电位阈值/>，当前膜电位/>高于膜电位阈值/>时神经元将发送脉冲信号；
第三个方程描述了膜电位阈值的动态更新：其中，表示与膜电位成正相关的动态能量阈值，/>表示与膜电位变化率成负相关的动态记忆阈值；
第四个方程描绘了动态能量阈值：其中，，/>是两个超参数；/>和/>分别表示第/>层神经元的平均膜电位和平均阈值；
第五个方程描绘了动态记忆阈值：其中，和C是超参数。
3.根据权利要求1所述的记忆环路启发的脉冲记忆图像生成方法，其特征在于，以所述神经元模型为基本单元构建记忆环路的脉冲神经网络模型步骤中，具体包括：
构建脉冲神经网络模型，所述脉冲神经网络模型包括液体状态层，所述液体状态层包括若干随机环路和神经元，所述随机环路用于将液体状态层中的不同神经元互相连接以及将同一神经元进行自连接。
4.根据权利要求1所述的记忆环路启发的脉冲记忆图像生成方法，其特征在于，以所述脉冲神经网络模型为解码器和编码器，构建记忆环路启发的脉冲记忆产生模型，具体包括：
构建变分自编码器VAE模型，将所述脉冲神经网络模型作为VAE模型的编码器和解码器。
5.根据权利要求1所述的记忆环路启发的脉冲记忆图像生成方法，其特征在于，构建记忆环路启发的脉冲记忆产生模型步骤中，所述脉冲记忆产生模型的损失函数包括以下表达式：
式中，MSE表示均方误差函数；分别表示原始图像和生成图像；MMD表示最大平均差异函数；/>表示脉冲记忆产生模型的后验分布；/>表示脉冲记忆产生模型的先验分布；/>代表长度为T的隐脉冲向量；/>代表长度为T的编码器输出脉冲向量。
6.根据权利要求5所述的记忆环路启发的脉冲记忆图像生成方法，其特征在于，脉冲记忆产生模型的后验分布，具体采用以下公式表示：
；
式中，zt代表t时刻的隐脉冲向量；代表小于等于t时刻时的编码器输出脉冲向量；代表t时刻之前的隐脉冲向量。
7.根据权利要求5所述的记忆环路启发的脉冲记忆图像生成方法，其特征在于，脉冲记忆产生模型的先验分布，具体采用以下公式表示：
；
式中，zt代表t时刻的隐脉冲向量；代表t时刻之前的隐脉冲向量。
8.根据权利要求1所述的记忆环路启发的脉冲记忆图像生成方法，其特征在于，训练所述脉冲记忆产生模型，具体包括以下步骤：
将图像转为脉冲序列；
将脉冲序列送入到脉冲记忆产生模型的编码器中编码，生成隐空间向量；
以编码后的伯努利分布的参数采出符合参数定义的脉冲序列，将采样后的脉冲序列送入解码器后得到重建的图像；
利用损失函数对脉冲记忆产生模型进行训练。
9.根据权利要求1所述的记忆环路启发的脉冲记忆图像生成方法，其特征在于，利用训练好的脉冲记忆产生模型完成图像生成任务，具体包括以下步骤：
利用预定义的先验伯努利分布进行脉冲序列采样得到脉冲序列，并将得到的脉冲序列送入训练后的解码器中，生成所需要的图像。
10.一种记忆环路启发的脉冲记忆图像生成系统，其特征在于，所述系统包括计算机程序，所述计算机程序运行时执行权利要求1-9任意一项所述的记忆环路启发的脉冲记忆图像生成方法。
CN202310760837.5A 2023-06-27 2023-06-27 一种记忆环路启发的脉冲记忆图像生成方法和系统 Active CN116542291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310760837.5A CN116542291B (zh) 2023-06-27 2023-06-27 一种记忆环路启发的脉冲记忆图像生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310760837.5A CN116542291B (zh) 2023-06-27 2023-06-27 一种记忆环路启发的脉冲记忆图像生成方法和系统

Publications (2)

Publication Number Publication Date
CN116542291A true CN116542291A (zh) 2023-08-04
CN116542291B CN116542291B (zh) 2023-11-21

Family

ID=87454417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310760837.5A Active CN116542291B (zh) 2023-06-27 2023-06-27 一种记忆环路启发的脉冲记忆图像生成方法和系统

Country Status (1)

Country Link
CN (1) CN116542291B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180499A1 (ja) * 2017-03-28 2018-10-04 株式会社日本人工知能研究開発機構 ニューラルネットワーク構造、電子回路、情報処理システム、方法、およびプログラム
CN110322010A (zh) * 2019-07-02 2019-10-11 深圳忆海原识科技有限公司 用于类脑智能与认知计算的脉冲神经网络运算系统及方法
CN110826602A (zh) * 2019-10-23 2020-02-21 中国科学院自动化研究所 基于膜电位调控脉冲神经网络的图像分类方法、系统
US20220019877A1 (en) * 2020-07-15 2022-01-20 International Business Machines Corporation Sparse modifiable bit length determinstic pulse generation for updating analog crossbar arrays
CN114118383A (zh) * 2021-12-09 2022-03-01 之江实验室 基于多突触可塑性脉冲神经网络快速记忆编码方法和装置
CN114596375A (zh) * 2020-11-19 2022-06-07 英业达科技有限公司 产生重建影像的方法
WO2022118340A1 (en) * 2020-12-03 2022-06-09 Indian Institute Of Technology Delhi Novel activation function with hardware realization for recurrent neuromorphic networks
CN115130651A (zh) * 2022-04-29 2022-09-30 北京航空航天大学 一种记忆环路多层异构机制启发的脉冲神经网络
CN116080688A (zh) * 2023-03-03 2023-05-09 北京航空航天大学 一种类脑启发的智能驾驶视觉辅助方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180499A1 (ja) * 2017-03-28 2018-10-04 株式会社日本人工知能研究開発機構 ニューラルネットワーク構造、電子回路、情報処理システム、方法、およびプログラム
CN110322010A (zh) * 2019-07-02 2019-10-11 深圳忆海原识科技有限公司 用于类脑智能与认知计算的脉冲神经网络运算系统及方法
CN110826602A (zh) * 2019-10-23 2020-02-21 中国科学院自动化研究所 基于膜电位调控脉冲神经网络的图像分类方法、系统
US20220019877A1 (en) * 2020-07-15 2022-01-20 International Business Machines Corporation Sparse modifiable bit length determinstic pulse generation for updating analog crossbar arrays
CN116134521A (zh) * 2020-07-15 2023-05-16 国际商业机器公司 用于更新模拟交叉型阵列的稀疏可修改比特长度确定性stic脉冲生成
CN114596375A (zh) * 2020-11-19 2022-06-07 英业达科技有限公司 产生重建影像的方法
WO2022118340A1 (en) * 2020-12-03 2022-06-09 Indian Institute Of Technology Delhi Novel activation function with hardware realization for recurrent neuromorphic networks
CN114118383A (zh) * 2021-12-09 2022-03-01 之江实验室 基于多突触可塑性脉冲神经网络快速记忆编码方法和装置
CN115130651A (zh) * 2022-04-29 2022-09-30 北京航空航天大学 一种记忆环路多层异构机制启发的脉冲神经网络
CN116080688A (zh) * 2023-03-03 2023-05-09 北京航空航天大学 一种类脑启发的智能驾驶视觉辅助方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SEN WAN ET AL.: "Human-in-the-Loop Low-Shot Learning", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS 》, vol. 32, no. 7, XP011865095, DOI: 10.1109/TNNLS.2020.3011559 *
贾川民;赵政辉;王苫社;马思伟;: "基于神经网络的图像视频编码", 电信科学, no. 05 *
陈贤富;姚海东;金燕晖;路烽;: "脉冲神经元环路振荡发放与环路选择", 计算机工程, no. 06 *

Also Published As

Publication number Publication date
CN116542291B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
He et al. Geo-pifu: Geometry and pixel aligned implicit functions for single-view human reconstruction
Shu et al. Multi-granularity anchor-contrastive representation learning for semi-supervised skeleton-based action recognition
Bora et al. Compressed sensing using generative models
CN107092959B (zh) 基于stdp非监督学习算法的脉冲神经网络模型构建方法
Cao et al. AI-sketcher: a deep generative model for producing high-quality sketches
Liu et al. Learning converged propagations with deep prior ensemble for image enhancement
Zhu et al. Multi-view perceptron: a deep model for learning face identity and view representations
CN110675326B (zh) 基于U-Net网络的计算鬼成像重建恢复的方法
Zimny et al. Points2nerf: Generating neural radiance fields from 3d point cloud
Zeng et al. Controllable mind visual diffusion model
Wang et al. Sequential point cloud upsampling by exploiting multi-scale temporal dependency
Wang et al. Unregularized auto-encoder with generative adversarial networks for image generation
Xia et al. Gait recognition based on Wasserstein generating adversarial image inpainting network
Shariff et al. Artificial (or) fake human face generator using generative adversarial network (GAN) machine learning model
Liu et al. Survey on gan‐based face hallucination with its model development
CN118397369A (zh) 一种基于人工智能的电子产品芯片级检测方法及装置
Dwivedi et al. POCO: 3D Pose and Shape Estimation with Confidence
Liu et al. Fully convolutional multi‐scale dense networks for monocular depth estimation
Maruani et al. Voromesh: Learning watertight surface meshes with voronoi diagrams
Zhang et al. Generating cartoon images from face photos with cycle-consistent adversarial networks
Lan et al. Efficient converted spiking neural network for 3d and 2d classification
CN116542291B (zh) 一种记忆环路启发的脉冲记忆图像生成方法和系统
Tang et al. A deep map transfer learning method for face recognition in an unrestricted smart city environment
Yan et al. Optimized single-image super-resolution reconstruction: A multimodal approach based on reversible guidance and cyclical knowledge distillation
CN115860113B (zh) 一种自对抗神经网络模型的训练方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant