CN115841142A - 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备 - Google Patents

基于深度脉冲神经网络的视觉皮层模拟方法及相关设备 Download PDF

Info

Publication number
CN115841142A
CN115841142A CN202310134058.4A CN202310134058A CN115841142A CN 115841142 A CN115841142 A CN 115841142A CN 202310134058 A CN202310134058 A CN 202310134058A CN 115841142 A CN115841142 A CN 115841142A
Authority
CN
China
Prior art keywords
neural network
deep
impulse
pulse
biological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310134058.4A
Other languages
English (en)
Other versions
CN115841142B (zh
Inventor
黄力炜
余柳涛
马征宇
叶钰敏
周晖晖
田永鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Peng Cheng Laboratory
Original Assignee
Peking University
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Peng Cheng Laboratory filed Critical Peking University
Priority to CN202310134058.4A priority Critical patent/CN115841142B/zh
Publication of CN115841142A publication Critical patent/CN115841142A/zh
Application granted granted Critical
Publication of CN115841142B publication Critical patent/CN115841142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了基于深度脉冲神经网络的视觉皮层模拟方法及相关设备，所述方法包括：将与生物实验中相同的图片刺激输入到预训练的深度脉冲神经网络，得到各层的脉冲响应；采用表征相似性分析RSA或者典型相关分析CCA度量深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性；选择最高的神经相似性得分作为深度脉冲神经网络的结构针对相应脑区的得分，并记录得分最高的层以与生物视觉系统进行对比。本发明利用深度脉冲神经网络对神经系统视觉皮层进行建模，可以直接与生物实验记录的时序信号进行比较，取得了相对于相似结构卷积神经网络更高的神经相似性得分，同时也在网络结构和信息处理机制方面更好地匹配了真实神经系统的性质。

Description

基于深度脉冲神经网络的视觉皮层模拟方法及相关设备
技术领域
本发明涉及生物视觉技术领域，尤其涉及一种基于深度脉冲神经网络的视觉皮层模拟方法、系统、终端及计算机可读存储介质。
背景技术
大脑是自然界最复杂的系统之一，借鉴和模仿大脑一直是人类技术创新的源泉。人类通过视觉从外界获取大约80%的信息。因此，探索视觉系统如何对外界信息进行编码与处理一直是神经科学中的研究重点，主要手段为实验方法和理论模型。近年来，借鉴了视觉神经系统分层结构的深度卷积神经网络（Deep neural network，DNN）在图片、语音、文本、游戏等多领域取得了巨大的成功，同时神经科学技术的发展产生了大量的神经生物学数据。研究人员开始利用深度卷积神经网络模拟视觉皮层对信息的加工处理过程，并测量深度卷积神经网络与视觉皮层之间的相似性，作为模拟效果的重要衡量指标（如图1所示）。研究表明，深度卷积神经网络模型在单神经元感受野特征、神经活动模式、决策行为特性等方面的相似性超越了传统的计算神经科学模型，成为目前生物视觉皮层的最佳计算模型。
尽管深度卷积神经网络模型结构一定程度上模拟了生物视觉系统，但它们极大地简化了真实神经元的计算特性，未利用神经元处理动态时序信息的能力，无法直接与生物实验记录的时序信号进行对比。研究表明，生物神经元响应的时序特性能够编码重要信息，对于神经系统实现各种感知、认知、运动功能至关重要。相比而言，脉冲神经网络（Spikingneural network，SNN）是一种更具生物学合理性的模型，能够利用脉冲信号编码信息、提取外界信息的时空特性，且其输出的脉冲信号可直接与生物实验记录的时序信号进行对比，但目前尚无研究探索深度脉冲神经网络（Deep SNN）在视觉皮层建模方面的表现。
近年来，深度卷积神经网络模型在灵长类和啮齿类动物视觉皮层的视觉加工机制建模中发挥着重要作用，是目前视觉皮层的最佳计算模型。尽管深度卷积神经网络模型结构受到生物视觉系统层级结构的启发，但它们极大地简化了真实神经元的计算特性。这一类模型未考虑真实神经元的动力学特性，未能利用神经元处理动态时序信息的能力，而外部世界通常是动态变化的。另一方面，这一类模型只能产生发放率数据，因而需要先将记录的响应数据转换为发放率后方可进行比较，会导致时序信息的损失，降低分析结果的准确性与可信度。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于深度脉冲神经网络的视觉皮层模拟方法、系统、终端及计算机可读存储介质，旨在解决现有技术中深度卷积神经网络模型未考虑真实神经元的动力学特性，未能利用神经元处理动态时序信息的能力，以及只能产生发放率数据，导致时序信息的损失，降低分析结果的准确性与可信度的问题。
为实现上述目的，本发明提供一种基于深度脉冲神经网络的视觉皮层模拟方法，所述基于深度脉冲神经网络的视觉皮层模拟方法包括如下步骤：
在ImageNet数据集上预训练深度脉冲神经网络，将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络，得到所述深度脉冲神经网络各层的脉冲响应；
采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性；
选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分，并记录得分最高的层以与生物视觉系统进行对比。
所述的基于深度脉冲神经网络的视觉皮层模拟方法，其中，所述在ImageNet数据集上预训练深度脉冲神经网络，具体包括：
基于ImageNet图像识别数据集，采用SpikingJelly惊蜇脉冲神经网络深度学习框架对所述深度脉冲神经网络进行预训练；
所述深度脉冲神经网络采用整合发放神经元作为脉冲神经元，所述脉冲神经元是膜电位的累积，当电位超过阈值时，所述脉冲神经元发放脉冲，动力学方程如下：
Figure SMS_1
；
Figure SMS_2
；
Figure SMS_3
；
其中，
Figure SMS_5
是脉冲神经元发放脉冲后的膜电位，/>
Figure SMS_9
是上一时刻脉冲神经元发放脉冲后的膜电位，/>
Figure SMS_11
是脉冲神经元充电后，发放脉冲前的膜电位，/>
Figure SMS_6
是单位阶跃函数，当
Figure SMS_8
大于发放阈值/>
Figure SMS_10
时，/>
Figure SMS_12
，即发放脉冲，同时，/>
Figure SMS_4
被重置为/>
Figure SMS_7
；
采用替代梯度法来近似反向传播时的导数，所取替代梯度函数的导数为：
Figure SMS_13
；
其中，
Figure SMS_14
是脉冲产生时，神经元膜电位/>
Figure SMS_15
与提前设定的发放阈值/>
Figure SMS_16
之间的差。
所述的基于深度脉冲神经网络的视觉皮层模拟方法，其中，所述典型相关分析CCA，具体包括：
下载生物实验视觉刺激与神经响应数据集，根据所述生物实验视觉刺激与神经响应数据集生成生物神经响应表征矩阵
Figure SMS_17
，根据深度脉冲神经网络的输出生成网络表征矩阵/>
Figure SMS_18
，其中，/>
Figure SMS_19
为视觉刺激数，/>
Figure SMS_20
和/>
Figure SMS_21
分别为生物神经元个数和网络特征个数；
对生物神经响应表征矩阵
Figure SMS_22
和网络表征矩阵/>
Figure SMS_23
，采用截断奇异值分解方法进行降维得到/>
Figure SMS_24
和/>
Figure SMS_25
，其中，/>
Figure SMS_26
和/>
Figure SMS_27
分别为降维后的生物神经元个数和网络特征个数；
对降维得到的
Figure SMS_28
和/>
Figure SMS_29
进行典型相关分析CCA：
Figure SMS_30
；/>
依次得到多个相关系数
Figure SMS_31
；
其中，
Figure SMS_33
表示计算使得相关系数/>
Figure SMS_37
最大的线性变换向量/>
Figure SMS_39
、/>
Figure SMS_35
，/>
Figure SMS_38
表示相关系数，/>
Figure SMS_40
表示依次计算k个相关系数，k为自定义的参数，表示总共计算的相关系数的个数，/>
Figure SMS_43
和/>
Figure SMS_32
分别表示通过/>
Figure SMS_36
和/>
Figure SMS_41
对于/>
Figure SMS_42
和/>
Figure SMS_34
进行线性变换后的结果；
计算所有相关系数的均值作为相似性度量标准。
所述的基于深度脉冲神经网络的视觉皮层模拟方法，其中，所述基于深度脉冲神经网络的视觉皮层模拟方法还包括：
当直接比较时序信息时，对
Figure SMS_44
和/>
Figure SMS_45
进行线性降维，得到
Figure SMS_46
和/>
Figure SMS_47
；
将刺激维度和特征维度按照顺序展平为一维，得到
Figure SMS_48
和
Figure SMS_49
；
对
Figure SMS_50
和/>
Figure SMS_51
进行典型相关分析，最大程度保留所有脉冲时序信息。
所述的基于深度脉冲神经网络的视觉皮层模拟方法，其中，所述表征相似性分析RSA，具体包括：
对于深度脉冲神经网络的响应矩阵
Figure SMS_52
，计算刺激/>
Figure SMS_53
的响应/>
Figure SMS_54
和刺激/>
Figure SMS_55
的响应/>
Figure SMS_56
的相关系数/>
Figure SMS_57
；
每对刺激均计算相关系数，得到表征相异性矩阵
Figure SMS_58
，其中/>
Figure SMS_59
，
Figure SMS_60
为视觉刺激数；
对生物神经响应矩阵计算得到表征相异性矩阵
Figure SMS_61
；
Figure SMS_62
和/>
Figure SMS_63
均为对称矩阵且对角线为0，在实际计算时，将/>
Figure SMS_64
和/>
Figure SMS_65
的上三角元素各排列拼接为一个向量，计算两个向量的斯皮尔曼相关系数作为相似性度量标准。
所述的基于深度脉冲神经网络的视觉皮层模拟方法，其中，所述深度脉冲神经网络包括SEW ResNet。
所述的基于深度脉冲神经网络的视觉皮层模拟方法，其中，所述深度脉冲神经网络的神经相似性得分稳定地高于相同结构的深度卷积神经网络。
此外，为实现上述目的，本发明还提供一种基于深度脉冲神经网络的视觉皮层模拟系统，其中，所述基于深度脉冲神经网络的视觉皮层模拟系统包括：
脉冲响应获取模块，用于在ImageNet数据集上预训练深度脉冲神经网络，将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络，得到所述深度脉冲神经网络各层的脉冲响应；
相似性分析模块，用于采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性；
相似性得分对比模块，用于选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分，并记录得分最高的层以与生物视觉系统进行对比。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度脉冲神经网络的视觉皮层模拟程序，所述基于深度脉冲神经网络的视觉皮层模拟程序被所述处理器执行时实现如上所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于深度脉冲神经网络的视觉皮层模拟程序，所述基于深度脉冲神经网络的视觉皮层模拟程序被处理器执行时实现如上所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
本发明中，在ImageNet数据集上预训练深度脉冲神经网络，将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络，得到所述深度脉冲神经网络各层的脉冲响应；采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性；选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分，并记录得分最高的层以与生物视觉系统进行对比。本发明利用深度脉冲神经网络对神经系统视觉皮层进行建模，可以直接与生物实验记录的时序信号进行比较，取得了相对于相似结构卷积神经网络更高的神经相似性得分，同时也在网络结构和信息处理机制方面更好地匹配了真实神经系统的性质。
附图说明
图1是现有技术中神经相似性测量的示意图；
图2是本发明基于深度脉冲神经网络的视觉皮层模拟方法的较佳实施例的流程图；
图3是本发明基于深度脉冲神经网络的视觉皮层模拟方法的较佳实施例中深度脉冲神经网络与深度卷积神经网络神经相似性对比的流程图；
图4是本发明基于深度脉冲神经网络的视觉皮层模拟方法的较佳实施例中深度脉冲神经网络SEW ResNet与几乎相同结构（具有相同深度）的深度卷积神经网络ResNet之间神经相似性得分比较的示意图；
图5是本发明基于深度脉冲神经网络的视觉皮层模拟方法的较佳实施例中不同深度的SEW ResNet模型针对不同脑区的相似性得分最高的层分布的示意图；
图6是本发明基于深度脉冲神经网络的视觉皮层模拟系统的较佳实施例的原理示意图；
图7为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
鉴于最新研究表明可通过替代梯度（surrogate gradient）的方法直接在大规模数据集如ImageNet上训练深度脉冲神经网络，本发明首次探索了深度脉冲神经网络在视觉皮层建模方面的潜力。基于深度脉冲神经网络对视觉皮层的模拟，本发明使用两种相似性度量方法（表征相似性分析RSA、典型相关分析CCA，其中RSA全称为 RepresentationalSimilarity Analysis，CCA全称为Canonical Correlation Analysis）对来自两个物种的两个神经表征数据集（小鼠视觉皮层；猕猴V4、IT视觉区域）进行了神经表征相似性的测量实验。结果表明，在两个神经数据集和两种相似性度量方法中，深度脉冲神经网络的神经相似性得分稳定地高于几乎相同结构（具有相同深度）的深度卷积神经网络；进一步地，对于深度脉冲神经网络而言，考虑时序信息的神经相似性得分高于忽略时序信息的得分，印证了时序信息对神经编码的重要性，并凸显了深度脉冲神经网络相对于深度卷积神经网络的独特优势。
进一步通过得分最高的层与生物视觉皮层区域的对比，发现了灵长类与小鼠视觉处理机制的异同，得到了与生理学和解剖学研究观测一致的结果。一方面，猕猴的视觉皮层表现出清晰的顺序层级，而小鼠视觉皮层可能被组织为平行结构；另一方面，小鼠视觉皮层区域和猕猴视觉皮层区域相比，其感受野大小的增加比率更小。
由于深度脉冲神经网络拥有生物可解释的脉冲神经元和计算高效的模型架构，它不仅能从功能上拟合生物系统，还能从结构上进行匹配，从而揭示视觉皮层的功能结构和计算机制。进一步而言，将生物启发的结构和功能引入人工神经网络，从能效、性能、可扩展性等方面提升现有的用于各类视觉任务的深度网络模型。
本发明较佳实施例所述的基于深度脉冲神经网络的视觉皮层模拟方法，如图2和图3所示，所述基于深度脉冲神经网络的视觉皮层模拟方法包括以下步骤：
步骤S10、在ImageNet数据集上预训练深度脉冲神经网络，将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络，得到所述深度脉冲神经网络各层的脉冲响应。
具体地，如图3所示，首先需要获取相应的数据集和预训练的模型（例如深度脉冲神经网络和深度卷积神经网络）。通过公开网址下载生物实验视觉刺激与神经响应数据集。通过SpikingJelly惊蜇脉冲神经网络深度学习框架，在ImageNet数据集（ ImageNet数据集仅仅是图片，一般用于训练深度网络）上预训练深度脉冲神经网络SEW ResNet；通过公开网络下载在ImageNet数据集上预训练的深度卷积神经网络ResNet作为对照。具体操作流程如下所述（图3）。基于在ImageNet数据集上预训练的深度脉冲神经网络，将与生物实验中相同的图片刺激输入到网络中，得到深度脉冲神经网络各层的响应；采用两种定量方法（表征相似性分析RSA和典型相关分析CCA）度量深度脉冲神经网络各层响应和真实生物神经响应之间的相似性；选择最高的神经相似性得分作为该网络结构针对相应脑区的得分，并记录得分最高的层以与生物视觉系统进行对比（利用深度脉冲神经网络模拟生物视觉皮层，一方面可以帮助理解生物视觉系统的工作原理，另一方面可以启发构建新的深度网络模型；神经相似性是一个对比网络模型和生物视觉系统的指标，分数越高表明模型模拟得更好；通过得分最高层与生物视觉系统对比，可以从结构角度验证模型的有效性）。对深度卷积神经网络进行同样的测量，获取针对各脑区的相似性得分，并记录相应得分最高的层。对深度脉冲神经网络和深度卷积神经网络的结果进行对比分析，展示深度脉冲神经网络的优势。
生物实验视觉刺激与神经响应数据集：
艾伦脑研究所小鼠视觉编码数据集（Allen Brain Observatory Visual Codingdataset）：该数据集由艾伦脑研究所（Allen Institute for Brain Science）公开发布，包括小鼠观察视觉刺激（包括电影、自然场景图片、静态光栅、移动光栅等）时通过Neuropixels电极同步记录的小鼠视觉皮层六个脑区的高时间分辨率脉冲信号。本发明以小鼠观察自然场景图片时的脉冲响应作为研究基础。实验中，共118张自然场景图片以随机的方式呈现给小鼠，每张图片持续250ms；重复该刺激施加的方案共50次，构成整个视觉刺激合集，相应的小鼠视觉皮层六个脑区的脉冲响应（时序信号）则作为分析用的神经信号。
猕猴V4、IT视觉区域数据集（Macaque-Synthetic）：该数据集由James DiCarlo实验室公开发布，记录了猕猴V4、IT视觉区域针对3200张图像刺激的神经响应。图像采用将3D目标物体投影至2D自然背景的方法合成，其中目标物体共包含8个大类（各大类由8个子类组成），且每张合成的图像随机选定目标物体的位置、尺寸、视角。神经信号包含88个V4神经元和168个IT神经元针对合成图像刺激的平均发放率，无时序信息。
为了获取预训练的深度卷积神经网络，直接通过PyTorch下载基于ImageNet图像识别数据集预训练的ResNet家族的模型（深度包括18，34，50，101和152，分类正确率分别为69.758%，73.314%，76.13%，77.374%和78.312%），用于下一步的神经相似性评估。为了获取预训练的深度脉冲神经网络，基于ImageNet图像识别数据集，采用SpikingJelly惊蜇脉冲神经网络深度学习框架对SEW ResNet（深度与ResNet保持一致）进行预训练，达到的图像识别准确率分别为63.18%，67.04%，67.78%，68.76%和69.26%，得到的预训练模型将用于下一步的神经相似性评估。SEW ResNet采用整合发放神经元（Integrate-and-Fire Neuron，IFNeuron）作为脉冲神经元，所述脉冲神经元是膜电位的累积，当电位超过阈值时，所述脉冲神经元发放脉冲，动力学方程如下：
Figure SMS_66
；
Figure SMS_67
；
Figure SMS_68
；
其中，
Figure SMS_70
是脉冲神经元发放脉冲后的膜电位，/>
Figure SMS_74
是上一时刻脉冲神经元发放脉冲后的膜电位，/>
Figure SMS_76
是脉冲神经元充电后，发放脉冲前的膜电位，/>
Figure SMS_71
是单位阶跃函数，当
Figure SMS_72
大于发放阈值/>
Figure SMS_75
时，/>
Figure SMS_77
，即发放脉冲，同时，/>
Figure SMS_69
被重置为/>
Figure SMS_73
。
由于单位阶跃函数在0处不可导，所以采用替代梯度法来近似反向传播时的导数，所取替代梯度函数的导数为：
Figure SMS_78
；
其中，
Figure SMS_79
是脉冲产生时，神经元膜电位/>
Figure SMS_80
与提前设定的发放阈值/>
Figure SMS_81
之间的差。
步骤S20、采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性。
具体地，将与生物实验中相同的图片刺激输入到网络模型中，得到深度脉冲神经网络（深度卷积神经网络）各层的脉冲响应（发放率响应，即图3中的激活强度）；与实验记录的神经信号进行比较，获取各层得分；选择最高得分作为该网络的整体得分，并记录得分最高的层。
其中，典型相关分析CCA方法利用线性组合之间的相关关系来反映两组变量之间的整体相关性，该方法能够从总体上把握两组变量之间的相关关系，并且无需仿真模型的特征数与生物神经元个数相等。然而，刺激个数远小于仿真模型特征数或生物神经元个数的情况会对典型相关分析结果造成较大影响。因此，通常先对模型特征数进行降维，最大程度地保留其包含的特征，再进行典型相关分析，以提高其鲁棒性。具体流程如下：下载生物实验视觉刺激与神经响应数据集，根据所述生物实验视觉刺激与神经响应数据集生成生物神经响应表征矩阵
Figure SMS_82
，根据深度脉冲神经网络的输出生成网络表征矩阵
Figure SMS_83
，其中，/>
Figure SMS_84
为视觉刺激数，/>
Figure SMS_85
和/>
Figure SMS_86
分别为生物神经元个数和网络特征个数；
对生物神经响应表征矩阵
Figure SMS_87
和网络表征矩阵/>
Figure SMS_88
，采用截断奇异值分解（Truncated singular value decomposition，TSVD）方法进行降维得到
Figure SMS_89
和/>
Figure SMS_90
，其中，/>
Figure SMS_91
和/>
Figure SMS_92
分别为降维后的生物神经元个数和网络特征个数（例如本发明中/>
Figure SMS_93
）；
对降维得到的
Figure SMS_94
和/>
Figure SMS_95
进行典型相关分析CCA：
Figure SMS_96
；
依次得到多个相关系数
Figure SMS_97
；
其中，
Figure SMS_100
表示计算使得相关系数/>
Figure SMS_102
最大的线性变换向量/>
Figure SMS_105
、/>
Figure SMS_101
，/>
Figure SMS_103
表示相关系数，/>
Figure SMS_106
表示依次计算k个相关系数，k为自定义的参数（例如k=40），表示总共计算的相关系数的个数，/>
Figure SMS_109
和/>
Figure SMS_98
分别表示通过/>
Figure SMS_104
和/>
Figure SMS_107
对于/>
Figure SMS_108
和/>
Figure SMS_99
进行线性变换后的结果；计算所有相关系数的均值作为相似性度量标准。
另外，对于直接比较时序信息的情况，由于时序数据比发放率形式的数据多出时间步长这一维，需采用新的方式进行典型相关分析，当直接比较时序信息时，对
Figure SMS_110
和/>
Figure SMS_111
进行线性降维，得到/>
Figure SMS_112
和/>
Figure SMS_113
；
将刺激维度和特征维度按照顺序展平为一维，得到
Figure SMS_114
和
Figure SMS_115
；
对
Figure SMS_116
和/>
Figure SMS_117
进行典型相关分析，此处无需保证
Figure SMS_118
，最大程度保留所有脉冲时序信息。
表征相似性分析RSA方法：对于深度脉冲神经网络（或者深度卷积神经网络）的响应矩阵
Figure SMS_120
，计算刺激/>
Figure SMS_124
的响应/>
Figure SMS_127
和刺激/>
Figure SMS_121
的响应/>
Figure SMS_125
的相关系数/>
Figure SMS_128
；每对刺激均计算相关系数，得到表征相异性矩阵/>
Figure SMS_131
，其中/>
Figure SMS_119
，/>
Figure SMS_123
为视觉刺激数；同样的，对生物神经响应矩阵计算得到表征相异性矩阵/>
Figure SMS_129
；由于/>
Figure SMS_132
和/>
Figure SMS_122
均为对称矩阵且对角线为0，在实际计算时，将/>
Figure SMS_126
和/>
Figure SMS_130
的上三角元素各排列拼接为一个向量，进一步计算两个向量的斯皮尔曼相关系数作为相似性度量标准。表征相似性分析方法通过计算表征相异性矩阵，解决了仿真模型的特征数与生物神经元个数不同、信号类别不同的问题。/>
步骤S30、选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分，并记录得分最高的层以与生物视觉系统进行对比。
具体地，为了对比深度脉冲神经网络和深度卷积神经网络的视觉皮层模拟效果，进行如下分析：将深度脉冲神经网络的神经相似性得分与深度卷积神经网络的得分进行比较；将得分最高的层（网络结构特点）与视觉皮层区域进行比较，揭示视觉皮层信息加工的机制。下述具体分析结果显示了深度脉冲神经网络的优势：
第一，在两个神经数据集和两种相似性度量方法中，通过测量模型输出的激活强度与由生物神经记录计算所得出的发放率，深度脉冲神经网络的神经相似性得分稳定地高于几乎相同结构（具有相同深度）的深度卷积神经网络（如图4所示，深度脉冲神经网络SEWResNet与几乎相同结构（具有相同深度）的深度卷积神经网络ResNet之间神经相似性得分的比较。第一、二行分别对应小鼠视觉编码数据集（Allen Brain）和猕猴V4、IT视觉区域数据集（Macaque-Synthetic）；第一、二列分别对应结合截断奇异值分解的典型相关分析方法（SVCCA）和表征相似性分析方法（RSA）。每一个子图中，横坐标表示两类模型，纵坐标表示神经相似性得分，线条旁边的数字表示模型深度，
Figure SMS_133
表示配对样本t检验的结果。由图4可知，深度脉冲神经网络的神经相似性得分稳定地高于几乎相同结构（具有相同深度）的深度卷积神经网络）。进一步地，基于小鼠视觉编码数据集和深度脉冲神经网络，将时间维度的信息加入分析，利用典型相关分析方法直接测量模型输出脉冲信号与生物神经脉冲信号的神经相似性，发现相似性得分高于忽略时序信息的测量得分（表1），印证了时序信息对于神经编码的重要性，也凸显了深度脉冲神经网络相对于深度卷积神经网络的独特优势。
Figure SMS_134
。
表1
其中，表1表示基于小鼠视觉编码数据集和深度脉冲神经网络，有无时序信息的神经相似性得分对比，配对样本t检验：t=2.36，
Figure SMS_135
＜0.1。
第二，进一步通过深度脉冲神经网络得分最高的层与生物视觉皮层区域的对比，发现了灵长类与小鼠视觉处理机制的异同，得到了与生理学和解剖学研究观测一致的结果：一方面，猕猴的视觉皮层表现出清晰的顺序层级，而小鼠视觉皮层可能被组织为平行结构；另一方面，小鼠视觉皮层区域和猕猴视觉皮层区域相比，其感受野大小的增加比率更小。具体地，参照图5，不同深度的SEW ResNet模型针对不同脑区的相似性得分最高的层的分布，左右两个子图分别对应小鼠视觉编码数据集（Allen Brain）和猕猴V4、IT视觉区域数据集（Macaque-Synthetic），横坐标表示不同脑区，纵坐标表示得分最高的层在整个网络中的深度
Figure SMS_136
，不同颜色的线条代表不同深度的网络。图5中揭示出灵长类与小鼠视觉处理机制的异同，得到了与生理学和解剖学研究观测一致的结果。一方面，对于猕猴视觉皮层，V4和IT对应的最相似模型层的深度有显著差异，且差异趋势与灵长类视觉皮层的信息处理层次一致，而对于小鼠视觉皮层，相似性分数最高的层的深度在小鼠皮层区域之间差异较小，说明小鼠的视觉皮层可能被组织为平行结构。另一方面，小鼠视觉皮层所对应的最相似层往往出现于网络中前部分，而猕猴IT区对应的最相似层则出现于网络的后部，说明小鼠视觉皮层对应的层所经过的下采样次数比猕猴视觉皮层的要更少，该结果从计算模型角度证实了小鼠视觉通路相比于猕猴视觉通路，其皮层区域的感受野大小的增加比率更小。
本发明基于在ImageNet数据集上预训练的深度脉冲神经网络，将与生物实验中相同的图片刺激输入到网络中，得到深度脉冲神经网络各层的响应；采用两种定量方法（表征相似性分析RSA和典型相关分析CCA）度量深度脉冲神经网络各层响应和真实生物神经响应之间的相似性；选择最高的神经相似性得分作为该网络结构针对相应脑区的得分，并记录得分最高的层以与生物视觉皮层进行对比。对深度卷积神经网络进行同样的测量，获取针对各脑区的相似性得分，并记录相应得分最高的层。进一步地，对两类网络的结果进行对比分析。
本发明首次利用深度脉冲神经网络对神经系统视觉皮层进行建模，可以直接与生物实验记录的时序信号进行比较，取得了相对于相似结构（同样深度）卷积神经网络更高的神经相似性得分，同时也在网络结构和信息处理机制方面更好地匹配了真实神经系统的性质。
鉴于近期研究实现了直接训练的深度脉冲神经网络，大幅提升了深度脉冲神经网络的表征能力，本发明首次利用深度脉冲神经网络对神经系统视觉皮层进行建模；除了利用表征相似性分析RSA方法进行神经相似性测量，本发明首次将深度脉冲神经网络模型输出的脉冲序列与实验记录的脉冲信号通过典型相关分析CCA方法直接进行比较，以充分利用时序信息。
有益效果：
（1）在两个神经数据集和两种相似性度量方法中，深度脉冲神经网络的神经相似性得分稳定地高于几乎相同结构（具有相同深度）的深度卷积神经网络；
（2）对于深度脉冲神经网络而言，考虑时序信息的神经相似性得分高于忽略时序信息的得分，印证了时序信息对神经编码的重要性，凸显了深度脉冲神经网络相对于深度卷积神经网络的独特优势；
（3）通过神经相似性得分最高的层与生物视觉皮层区域的对比，发现了灵长类与小鼠视觉皮层的功能层级和处理机制的异同，得到了与生理学和解剖学研究一致的结果。
进一步地，如图6所示，基于上述基于深度脉冲神经网络的视觉皮层模拟方法，本发明还相应提供了一种基于深度脉冲神经网络的视觉皮层模拟系统，其中，所述基于深度脉冲神经网络的视觉皮层模拟系统包括：
脉冲响应获取模块51，用于在ImageNet数据集上预训练深度脉冲神经网络，将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络，得到所述深度脉冲神经网络各层的脉冲响应；
相似性分析模块52，用于采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性；
相似性得分对比模块53，用于选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分，并记录得分最高的层以与生物视觉系统进行对比。
进一步地，如图7所示，基于上述基于深度脉冲神经网络的视觉皮层模拟方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图7仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于深度脉冲神经网络的视觉皮层模拟程序40，该基于深度脉冲神经网络的视觉皮层模拟程序40可被处理器10所执行，从而实现本申请中基于深度脉冲神经网络的视觉皮层模拟方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于深度脉冲神经网络的视觉皮层模拟方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于深度脉冲神经网络的视觉皮层模拟程序40时实现如上所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于深度脉冲神经网络的视觉皮层模拟程序，所述基于深度脉冲神经网络的视觉皮层模拟程序被处理器执行时实现如上所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
综上所述，本发明提供一种基于深度脉冲神经网络的视觉皮层模拟方法及相关设备，所述方法包括：在ImageNet数据集上预训练深度脉冲神经网络，将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络，得到所述深度脉冲神经网络各层的脉冲响应；采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性；选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分，并记录得分最高的层以与生物视觉系统进行对比。本发明利用深度脉冲神经网络对神经系统视觉皮层进行建模，可以直接与生物实验记录的时序信号进行比较，取得了相对于相似结构卷积神经网络更高的神经相似性得分，同时也在网络结构和信息处理机制方面更好地匹配了真实神经系统的性质。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于深度脉冲神经网络的视觉皮层模拟方法，其特征在于，所述基于深度脉冲神经网络的视觉皮层模拟方法包括：
在ImageNet数据集上预训练深度脉冲神经网络，将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络，得到所述深度脉冲神经网络各层的脉冲响应；
采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性；
选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分，并记录得分最高的层以与生物视觉系统进行对比。
2.根据权利要求1所述的基于深度脉冲神经网络的视觉皮层模拟方法，其特征在于，所述在ImageNet数据集上预训练深度脉冲神经网络，具体包括：
基于ImageNet图像识别数据集，采用SpikingJelly惊蜇脉冲神经网络深度学习框架对所述深度脉冲神经网络进行预训练；
所述深度脉冲神经网络采用整合发放神经元作为脉冲神经元，所述脉冲神经元是膜电位的累积，当电位超过阈值时，所述脉冲神经元发放脉冲，动力学方程如下：
Figure QLYQS_1
；
Figure QLYQS_2
；
Figure QLYQS_3
；
其中，
Figure QLYQS_6
是脉冲神经元发放脉冲后的膜电位，
Figure QLYQS_9
是上一时刻脉冲神经元发放脉冲后的膜电位，
Figure QLYQS_11
是脉冲神经元充电后，发放脉冲前的膜电位，
Figure QLYQS_5
是单位阶跃函数，当
Figure QLYQS_7
大于发放阈值
Figure QLYQS_10
时，
Figure QLYQS_12
，即发放脉冲，同时，
Figure QLYQS_4
被重置为
Figure QLYQS_8
；
采用替代梯度法来近似反向传播时的导数，所取替代梯度函数的导数为：
Figure QLYQS_13
；
其中，
Figure QLYQS_14
是脉冲产生时，神经元膜电位
Figure QLYQS_15
与提前设定的发放阈值
Figure QLYQS_16
之间的差。
3.根据权利要求1所述的基于深度脉冲神经网络的视觉皮层模拟方法，其特征在于，所述典型相关分析CCA，具体包括：
下载生物实验视觉刺激与神经响应数据集，根据所述生物实验视觉刺激与神经响应数据集生成生物神经响应表征矩阵
Figure QLYQS_17
，根据深度脉冲神经网络的输出生成网络表征矩阵
Figure QLYQS_18
，其中，
Figure QLYQS_19
为视觉刺激数，
Figure QLYQS_20
和
Figure QLYQS_21
分别为生物神经元个数和网络特征个数；
对生物神经响应表征矩阵
Figure QLYQS_22
和网络表征矩阵
Figure QLYQS_23
，采用截断奇异值分解方法进行降维得到
Figure QLYQS_24
和
Figure QLYQS_25
，其中，
Figure QLYQS_26
和
Figure QLYQS_27
分别为降维后的生物神经元个数和网络特征个数；
对降维得到的
Figure QLYQS_28
和
Figure QLYQS_29
进行典型相关分析CCA：
Figure QLYQS_30
；
依次得到多个相关系数
Figure QLYQS_31
；
其中，
Figure QLYQS_33
表示计算使得相关系数
Figure QLYQS_36
最大的线性变换向量
Figure QLYQS_39
、
Figure QLYQS_34
，
Figure QLYQS_37
表示相关系数，
Figure QLYQS_40
表示依次计算k个相关系数，k为自定义的参数，表示总共计算的相关系数的个数，
Figure QLYQS_42
和
Figure QLYQS_32
分别表示通过
Figure QLYQS_38
和
Figure QLYQS_41
对于
Figure QLYQS_43
和
Figure QLYQS_35
进行线性变换后的结果；
计算所有相关系数的均值作为相似性度量标准。
4.根据权利要求3所述的基于深度脉冲神经网络的视觉皮层模拟方法，其特征在于，所述基于深度脉冲神经网络的视觉皮层模拟方法还包括：
当直接比较时序信息时，对
Figure QLYQS_44
和
Figure QLYQS_45
进行线性降维，得到
Figure QLYQS_46
和
Figure QLYQS_47
；
将刺激维度和特征维度按照顺序展平为一维，得到
Figure QLYQS_48
和
Figure QLYQS_49
；
对
Figure QLYQS_50
和
Figure QLYQS_51
进行典型相关分析，最大程度保留所有脉冲时序信息。
5.根据权利要求1所述的基于深度脉冲神经网络的视觉皮层模拟方法，其特征在于，所述表征相似性分析RSA，具体包括：
对于深度脉冲神经网络的响应矩阵
Figure QLYQS_52
，计算刺激
Figure QLYQS_53
的响应
Figure QLYQS_54
和刺激
Figure QLYQS_55
的响应
Figure QLYQS_56
的相关系数
Figure QLYQS_57
；
每对刺激均计算相关系数，得到表征相异性矩阵
Figure QLYQS_58
，其中
Figure QLYQS_59
，
Figure QLYQS_60
为视觉刺激数；
对生物神经响应矩阵计算得到表征相异性矩阵
Figure QLYQS_61
；
Figure QLYQS_62
和
Figure QLYQS_63
均为对称矩阵且对角线为0，在实际计算时，将
Figure QLYQS_64
和
Figure QLYQS_65
的上三角元素各排列拼接为一个向量，计算两个向量的斯皮尔曼相关系数作为相似性度量标准。
6.根据权利要求1所述的基于深度脉冲神经网络的视觉皮层模拟方法，其特征在于，所述深度脉冲神经网络包括SEW ResNet。
7.根据权利要求1所述的基于深度脉冲神经网络的视觉皮层模拟方法，其特征在于，所述深度脉冲神经网络的神经相似性得分稳定地高于相同结构的深度卷积神经网络。
8.一种基于深度脉冲神经网络的视觉皮层模拟系统，其特征在于，所述基于深度脉冲神经网络的视觉皮层模拟系统包括：
脉冲响应获取模块，用于在ImageNet数据集上预训练深度脉冲神经网络，将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络，得到所述深度脉冲神经网络各层的脉冲响应；
相似性分析模块，用于采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性；
相似性得分对比模块，用于选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分，并记录得分最高的层以与生物视觉系统进行对比。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度脉冲神经网络的视觉皮层模拟程序，所述基于深度脉冲神经网络的视觉皮层模拟程序被所述处理器执行时实现如权利要求1-7任一项所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于深度脉冲神经网络的视觉皮层模拟程序，所述基于深度脉冲神经网络的视觉皮层模拟程序被处理器执行时实现如权利要求1-7任一项所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
CN202310134058.4A 2023-02-20 2023-02-20 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备 Active CN115841142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310134058.4A CN115841142B (zh) 2023-02-20 2023-02-20 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310134058.4A CN115841142B (zh) 2023-02-20 2023-02-20 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备

Publications (2)

Publication Number Publication Date
CN115841142A true CN115841142A (zh) 2023-03-24
CN115841142B CN115841142B (zh) 2023-06-06

Family

ID=85579885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310134058.4A Active CN115841142B (zh) 2023-02-20 2023-02-20 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备

Country Status (1)

Country Link
CN (1) CN115841142B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306289A (zh) * 2011-09-16 2012-01-04 兰州大学 基于脉冲耦合神经网络的虹膜特征提取方法
CN108197711A (zh) * 2017-12-13 2018-06-22 中国科学院自动化研究所 基于类脑多感觉注意切换的计算方法
CN108416391A (zh) * 2018-03-16 2018-08-17 重庆大学 基于视觉皮层处理机制及脉冲监督学习的图像分类方法
CN109102000A (zh) * 2018-09-05 2018-12-28 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN112906884A (zh) * 2021-02-05 2021-06-04 鹏城实验室 一种基于脉冲连续吸引子网络的类脑预测跟踪方法
WO2021143066A1 (zh) * 2020-01-19 2021-07-22 北京大学 一种目标识别方法、装置、系统及计算机可读存储介质
CN113988276A (zh) * 2021-12-27 2022-01-28 中科南京智能技术研究院 一种目标识别方法及系统
US20220273907A1 (en) * 2017-12-31 2022-09-01 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306289A (zh) * 2011-09-16 2012-01-04 兰州大学 基于脉冲耦合神经网络的虹膜特征提取方法
CN108197711A (zh) * 2017-12-13 2018-06-22 中国科学院自动化研究所 基于类脑多感觉注意切换的计算方法
US20220273907A1 (en) * 2017-12-31 2022-09-01 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
CN108416391A (zh) * 2018-03-16 2018-08-17 重庆大学 基于视觉皮层处理机制及脉冲监督学习的图像分类方法
CN109102000A (zh) * 2018-09-05 2018-12-28 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
WO2021143066A1 (zh) * 2020-01-19 2021-07-22 北京大学 一种目标识别方法、装置、系统及计算机可读存储介质
CN112906884A (zh) * 2021-02-05 2021-06-04 鹏城实验室 一种基于脉冲连续吸引子网络的类脑预测跟踪方法
CN113988276A (zh) * 2021-12-27 2022-01-28 中科南京智能技术研究院 一种目标识别方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
LIWEI HUANG等: "Deep Spiking Neural Networks with High Representation Similarity Model Visual Pathways of Macaque and Mouse" *
MICHAEL BEYELER等: "Efficient spiking neural network model of pattern motion selectivity in visual cortex" *
李晶玲: "生物启发的层次脉冲神经网络及其应用" *
赵俊红: "神经网络的正则化及在地质预测中的应用研究" *
赵松年等: "同步化响应:视-脑信息处理的新进展" *
邹冬兰: "视皮层假体中的视觉信息编码方法研究" *
陈晓艳等: "动态贝叶斯网络结构搜索法辨识生物神经网络连接" *

Also Published As

Publication number Publication date
CN115841142B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
O'Reilly et al. Computational cognitive neuroscience
US10963785B2 (en) Methods and systems for artificial cognition
Orchard et al. Converting static image datasets to spiking neuromorphic datasets using saccades
Carello et al. Inadequacies of the computer metaphor
Heitman et al. Testing pseudo-linear models of responses to natural scenes in primate retina
Cessac et al. PRANAS: a new platform for retinal analysis and simulation
CN108471943A (zh) 自动分类动物行为
CN111126263B (zh) 一种基于双半球差异性模型的脑电情感识别方法及装置
CN106068514A (zh) 用于在不受约束的媒体中识别面孔的系统和方法
CN106599872A (zh) 用于验证活体人脸图像的方法和设备
Snoek et al. A determinantal point process latent variable model for inhibition in neural spiking data
CN109816630A (zh) 基于迁移学习的fMRI视觉编码模型构建方法
Huang et al. A single-cell level and connectome-derived computational model of the Drosophila brain
Liu et al. Functional connectomics from neural dynamics: probabilistic graphical models for neuronal network of Caenorhabditis elegans
US20120093423A1 (en) Electronic system with simulated sense perception and method of providing simulated sense perception
Grabska-Barwinska et al. Demixing odors-fast inference in olfaction
CN111026267B (zh) Vr脑电意念控制接口系统
Mazzucato Neural mechanisms underlying the temporal organization of naturalistic animal behavior
Wohrer Model and large-scale simulator of a biological retina, with contrast gain control
CN115841142B (zh) 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备
EP2741242A1 (en) Methods and systems for artificial cognition
Preminger et al. Mapping dynamic memories of gradually changing objects
Pitkow et al. Neural computation in sensory systems
CN114548239A (zh) 一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法
Guyon et al. Design of the first neuronal connectomics challenge: From imaging to connectivity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant