CN116563616B - 一种基于神经网络的图像识别方法、计算机设备及介质 - Google Patents

一种基于神经网络的图像识别方法、计算机设备及介质 Download PDF

Info

Publication number
CN116563616B
CN116563616B CN202310445397.4A CN202310445397A CN116563616B CN 116563616 B CN116563616 B CN 116563616B CN 202310445397 A CN202310445397 A CN 202310445397A CN 116563616 B CN116563616 B CN 116563616B
Authority
CN
China
Prior art keywords
pixel point
central pixel
cell body
dendrite
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310445397.4A
Other languages
English (en)
Other versions
CN116563616A (zh
Inventor
黄鹏
李睿意
刘力锋
康晋锋
刘晓彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202310445397.4A priority Critical patent/CN116563616B/zh
Publication of CN116563616A publication Critical patent/CN116563616A/zh
Application granted granted Critical
Publication of CN116563616B publication Critical patent/CN116563616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于神经网络的图像识别方法、计算机设备及介质,涉及半导体器件及集成电路技术领域,方法包括:采用神经网络对目标图像进行识别,得到目标图像的输出类别;神经网络包括输入编码模块、树突模块、胞体模块和突触阵列模块。树突模块包括树突器件,树突模块将所述中心像素点的脉冲信号集合转换成电压信号,通过树突器件对电压信号进行运算。本发明在神经网络中添加树突模块,利用树突模块完成运算过程,使得单层网络就具备强大的信息处理功能,基于此,本发明采用具有树突模块结构的神经网络进行图像识别,降低了系统复杂度、提高了运算效率。

Description

一种基于神经网络的图像识别方法、计算机设备及介质
技术领域
本发明涉及半导体器件及集成电路领域,特别是涉及一种基于神经网络的图像识别方法、计算机设备及介质。
背景技术
图像识别属于神经网络在图像处理、模式识别、机器视觉综合领域的一个典型应用场景。神经网络计算模拟人类大脑的结构和信息处理方式,具有大规模并行、存算一体的特点,满足大数据时代对数据处理高速、低功耗的需求。图像识别需要进行大量运算,运算包括非线性和线性运算。目前,大部分神经网络计算系统在实现运算时,采用外围电路或多层神经网络,其系统复杂度高、运算效率低。因此,亟需一种系统复杂度低、运算效率高的基于神经网络的图像识别方法。
发明内容
本发明的目的是提供一种基于神经网络的图像识别方法、计算机设备及介质,可降低系统复杂度、提高运算效率。
为实现上述目的,本发明提供了如下方案:
一种基于神经网络的图像识别方法,所述方法包括:
获取目标图像;
采用神经网络对所述目标图像进行识别,得到所述目标图像的输出类别;所述神经网络包括输入编码模块、树突模块、胞体模块和突触阵列模块;
其中,所述输入编码模块用于以所述目标图像中的每一像素点为中心像素点,对所述中心像素点的灰度值以及所述中心像素点对应的邻近像素点的灰度值分别进行编码,得到每一所述中心像素点的脉冲信号集合;所述脉冲信号集合包括所述中心像素点的第一脉冲信号以及所述中心像素点对应的邻近像素点的第二脉冲信号;所述邻近像素点为以所述中心像素点为中心的预设大小的区域内除所述中心像素点之外的像素点;所有所述中心像素点的第一脉冲信号的幅值相同、频率不同;所述中心像素点对应的所有所述邻近像素点的第二脉冲信号的幅值不同、频率相同;
所述树突模块与所述中心像素点一一对应;所述树突模块,包括树突器件,用于将所述中心像素点的脉冲信号集合转换成电压信号,通过所述树突器件对所述电压信号进行运算,得到树突器件响应电流信号;
所述胞体模块包括前神经元胞体模块;所述前神经元胞体模块与所述中心像素点一一对应;所述前神经元胞体模块用于对所述中心像素点的树突器件响应电流信号进行编码,得到所述中心像素点对应的前神经元胞体脉冲信号;
所述突触阵列模块用于利用突触阵列对所有所述中心像素点对应的前神经元胞体脉冲信号进行转换,得到n个突触器件响应电流信号;所述突触阵列为m行n列,其中,m为中心像素点的数量,n为类别的数量;
所述胞体模块还包括后神经元胞体模块;所述后神经元胞体模块与所述突触器件响应电流信号一一对应;所述后神经元胞体模块用于将所述突触器件响应电流信号进行编码,得到后神经元胞体脉冲信号;所述目标图像的输出类别根据所有所述后神经元胞体脉冲信号的频率确定。
可选的,所述对所述中心像素点的灰度值以及所述中心像素点对应的邻近像素点的灰度值分别进行编码具体包括:
利用泊松采样或高斯采样对所述中心像素点的灰度值以及所述中心像素点对应的邻近像素点的灰度值分别进行编码。
可选的,所述树突模块还包括树突电阻并联电路和跨阻放大器;
其中,所述树突电阻并联电路用于将所述中心像素点的脉冲信号集合中的每一脉冲信号分别转换为电流信号,对所有所述电流信号进行线性相加,得到线性相加电流信号;
所述跨阻放大器用于将所述线性相加电流信号转换为电压信号。
可选的,所述树突器件包括从下到上依次层叠设置的衬底、底电极、介质层和顶电极。
可选的,所述介质层的厚度为几十纳米至几百纳米;
所述底电极和所述顶电极为惰性材料,所述惰性材料包括Pt、Pd、Au和W;所述介质层为硫系化合物或掺杂活性金属的氧化物,所述硫系化合物包括Ag2S和CuS,所述氧化物包括SiO2、HfO2、TiO2、TaO2和MgO,所述活性金属包括Ag和Cu。
可选的,所述前神经元胞体模块包括积分器和比较器;
其中,所述积分器,用于对所述中心像素点的树突器件响应电流信号进行积分,并将积分后的电流转化为膜电压;
所述比较器,用于将所述膜电压与阈值电压进行比较,当所述膜电压超过所述阈值电压时,输出高电平;当所述膜电压低于所述阈值电压时,输出低电平,得到所述中心像素点对应的前神经元胞体脉冲信号。
可选的,所述目标图像的输出类别根据所有所述后神经元胞体脉冲信号的频率确定具体包括:将频率最大的后神经元胞体脉冲信号对应的类别作为所述目标图像的输出类别。
可选的,所述突触阵列包括若干个突触单元;每一所述突触单元包括晶体管和突触器件;其中,位于一列的突触器件的顶电极相连接,作为所述突触阵列的位线,所述位线用于接收预设读电压信号;位于一行的晶体管栅极相连接,作为所述突触阵列的字线,所述字线用于接收所述前神经元胞体脉冲信号;位于一列的晶体管源极相连接,作为所述突触阵列的源线,所述源线用于输出突触器件响应电流信号。
本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述基于神经网络的图像识别方法的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适用于由处理器加载并执行上述基于神经网络的图像识别方法。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供的基于神经网络的图像识别方法、计算机设备及介质,该方法包括:获取目标图像;采用神经网络对目标图像进行识别,得到目标图像的输出类别;神经网络包括输入编码模块、树突模块、胞体模块和突触阵列模块;其中,输入编码模块用于以目标图像中的每一像素点为中心像素点,对中心像素点的灰度值以及中心像素点对应的邻近像素点的灰度值分别进行编码,得到每一中心像素点的脉冲信号集合;脉冲信号集合包括中心像素点的第一脉冲信号以及中心像素点对应的邻近像素点的第二脉冲信号;邻近像素点为以中心像素点为中心的预设大小的区域内除中心像素点之外的像素点;所有中心像素点的第一脉冲信号的幅值相同、频率不同;中心像素点对应的所有邻近像素点的第二脉冲信号的幅值不同、频率相同;树突模块与中心像素点一一对应;树突模块,包括树突器件,用于将中心像素点的脉冲信号集合转换成电压信号,通过树突器件对电压信号进行运算,得到树突器件响应电流信号;胞体模块包括前神经元胞体模块;前神经元胞体模块与中心像素点一一对应;前神经元胞体模块用于对中心像素点的树突器件响应电流信号进行编码,得到中心像素点对应的前神经元胞体脉冲信号;突触阵列模块用于利用突触阵列对所有中心像素点对应的前神经元胞体脉冲信号进行转换,得到n个突触器件响应电流信号;突触阵列为m行n列,其中,m为中心像素点的数量,n为类别的数量;胞体模块还包括后神经元胞体模块;后神经元胞体模块与突触器件响应电流信号一一对应;后神经元胞体模块用于将突触器件响应电流信号进行编码,得到后神经元胞体脉冲信号;目标图像的输出类别根据所有后神经元胞体脉冲信号的频率确定。本发明在神经网络中添加树突模块,利用树突模块完成运算过程,相较于采用外围电路或多层神经网络实现运算的方式,使得单层网络就具备强大的信息处理功能,采用具有树突模块结构的神经网络进行图像识别,降低了系统复杂度、提高了运算效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于神经网络的图像识别方法流程示意图;
图2为本发明实施例提供的忆阻树突器件的结构示意图;
图3为本发明实施例提供的忆阻树突器件的阻变及驰豫特性示意图;
图4为本发明实施例提供的忆阻树突器件时间非线性整合特性曲线;
图5为本发明实施例提供的忆阻树突器件空间非线性整合特性曲线;
图6为本发明实施例提供的忆阻树突器件增益调制特性实现方案示意图和特性曲线图;图6(a)为忆阻树突器件增益调制特性实现方案示意图;图6(b)为忆阻树突器件增益调制特性曲线图;
图7为本发明实施例提供的树突神经网络结构示意图;
图8为本发明实施例提供的神经网络输入编码及树突功能实现方案示意图;
图9为本发明实施例提供的神经网络胞体模块示意图;
图10为本发明实施例提供的神经网络忆阻突触阵列示意图;
图11是本发明提供的一种计算机设备的结构示意图。
符号说明:
1-衬底;2-底电极;3-介质层;4-顶电极;1000-计算机设备;1001-处理器;1002-通信总线;1003-用户接口;1004-网络接口;1005-存储器。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
神经元是神经网络的基本单元,通常采用极度简化的泄漏积分点火模型来实现。生物神经元结构复杂,主要由树突、胞体和轴突组成。树突在信息整合中起到至关重要的作用,具体表现为对多个分支不同时刻输入的非线性整合,使单个神经元具有复杂的运算功能。
本发明的目的是提供一种基于神经网络的图像识别方法、计算机设备及介质,利用忆阻器(树突器件)对脉冲幅值和频率的线性和非线性响应,模拟了树突时空线性和非线性特性,构建了具有树突结构的神经网络。主要内容包括:调节输入脉冲信号频率,模拟树突时间非线性;调节输入信号幅值范围,模拟树突空间超线性、亚线性和线性整合特性;结合器件电导对脉冲幅值和频率非线性响应,模拟远端树突输入对近端树突输入的增益调制特性;在神经网络输入层神经元中引入树突结构,构建具有树突时空线性和非线性的神经网络,利用树突模块完成运算过程,相较于采用外围电路或多层神经网络实现运算的方式,使单层网络就具备强大的信息处理功能,以在采用神经网络进行图像识别时,降低系统复杂度和提升运算效率。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供了一种基于神经网络的图像识别方法,所述方法包括:
S1:获取目标图像。
S2:采用神经网络对所述目标图像进行识别,得到所述目标图像的输出类别;所述神经网络包括输入编码模块、树突模块、胞体模块和突触阵列模块。
其中,所述输入编码模块用于以所述目标图像中的每一像素点为中心像素点,对所述中心像素点的灰度值以及所述中心像素点对应的邻近像素点的灰度值分别进行编码,得到每一所述中心像素点的脉冲信号集合;所述脉冲信号集合包括所述中心像素点的第一脉冲信号以及所述中心像素点对应的邻近像素点的第二脉冲信号;所述邻近像素点为以所述中心像素点为中心的预设大小的区域内除所述中心像素点之外的像素点;所有所述中心像素点的第一脉冲信号的幅值相同、频率不同;所述中心像素点对应的所有所述邻近像素点的第二脉冲信号的幅值不同、频率相同。
所述树突模块与所述中心像素点一一对应;所述树突模块,包括树突器件,用于将所述中心像素点的脉冲信号集合转换成电压信号,通过所述树突器件对所述电压信号进行运算,得到树突器件响应电流信号。
所述胞体模块包括前神经元胞体模块;所述前神经元胞体模块与所述中心像素点一一对应;所述前神经元胞体模块用于对所述中心像素点的树突器件响应电流信号进行编码,得到所述中心像素点对应的前神经元胞体脉冲信号。
所述突触阵列模块用于利用突触阵列对所有所述中心像素点对应的前神经元胞体脉冲信号进行转换,得到n个突触器件响应电流信号;所述突触阵列为m行n列,其中,m为中心像素点的数量,n为类别的数量。
所述胞体模块还包括后神经元胞体模块;所述后神经元胞体模块与所述突触器件响应电流信号一一对应;所述后神经元胞体模块用于将所述突触器件响应电流信号进行编码,得到后神经元胞体脉冲信号;所述目标图像的输出类别根据所有所述后神经元胞体脉冲信号的频率确定。
上述神经网络的结构如图7所示,其具体图像识别的过程如下:
其工作原理为:(1)输入编码。(2)树突响应。基于树突器件对脉冲幅值和频率的线性和非线性响应,实现对树突远端和近端输入的线性和非线性整合。(3)流经树突器件的电流信号经具有泄漏积分点火功能的前神经元胞体模块生成突触阵列模块的输入脉冲序列(前神经元胞体脉冲信号),以频率编码树突线性和非线性运算结果。(4)突触阵列模块将前神经元胞体脉冲信号与存储的权重(突触阵列)进行矩阵向量乘法运算。(5)输出层胞体(后神经元胞体模块)对突触阵列输出电流进行积分,输出频率最大的节点(后神经元胞体模块)对应神经网络的识别结果。
需要说明的是,本发明中的神经网络可以适用于图像识别、特征提取、时序预测等不同场景,例如图像识别中,每个后神经元胞体模块分别代表一个分类,经后神经元胞体模块得到多个频率不同的后神经元胞体脉冲信号,将频率最大的后神经元胞体脉冲信号对应的类别作为所述目标图像的输出类别;时序预测中,所有后神经元输出组成了最终的预测结果。
树突线性和非线性整合(线性和非线性运算)主要包括时间和空间两个方面。前者是对不同时刻输入的整合,通常时间间隔越小,即频率越大,神经元响应越剧烈;后者是对不同位置输入的整合,对于同一树突分支不同位置或多个分支的输入,随着电压幅值的增加,神经元响应呈超线性、线性或亚线性增长;特别的,当树突远端和近端同时存在输入时呈增益调制特性,具体表现为远端输入的微小变化将影响近端输入输出曲线的增益,即类似乘除运算的功能。需要说明的是,针对输入的目标图像不同,需要器件实现不同线性和非线性响应需求,例如,若目标图像的噪声较大,则需要树突器件实现超线性的响应,如此就可以将图像的噪声点消除掉;若输入的目标图像为高糊图像,则需要树突器件实现亚线性的响应,可以增大图像的对比度。
基于上述特性,树突时空线性和非线性运算的实现方法如下:对于时序信号,将不同时刻的输入编码为幅值相同、频率不同的脉冲序列,脉冲频率越小,自发扩散过程越充分,器件电导越小,电导随频率的增大呈超线性变化;对于空间信号,则映射为频率相同、幅值满足器件阻变条件的连续脉冲,器件电导随电压增大而增大,电导变化率呈先增后减的特点,即在小电压范围呈超线性,电压增大后呈线性,饱和部分则为亚线性,针对不同的线性和非线性响应需求,可将输入信号映射到不同的电压范围。增益调制特性的实现结合了幅值与频率非线性,兼具时空信息处理功能:将树突远端输入编码为频率相同、幅值不同的脉冲序列,树突近端输入编码为幅值相同、频率不同的脉冲序列,分别施加到电阻;流经电阻的总电流经跨阻放大器转换为满足器件线性和非线性响应需求的操作电压,并施加到树突器件;基于器件的阻变和驰豫特性,树突近端输入输出曲线的变化率受到树突远端输入的调制,调制信号幅值越大,曲线增益越大。
具体地,输入编码模块将目标图像编码为脉冲序列(脉冲信号),利用幅值和频率两个变量表达信息(表达像素点的灰度值信息),本实施例中区域的预设大小为3×3,目标图像(N×N)中的每个像素点及其周围邻近的8个像素点作为一个整体,每个预设大小的区域对应一个树突模块,共N×N树突模块,每个树突模块包括1个树突近端分支与8个树突远端分支,将每一空间位置(中心像素点)的输入与某一神经元的一个树突近端分支对应,其对应的8个邻近像素点与同一树突的8个树突远端分支一一对应,具体输入编码方式见图8。当中心像素点为目标图像最外围的像素点时,其在目标图像上的邻近像素点只有3个或5个,此时这一像素点仍然对应一个树突模块,其他缺少的邻近像素点位置自动补0。例如左上角的像素,周围只有3个近邻像素,那么其他5个位置的输入为0。本实施例以泊松采样或高斯采样的方式进行编码,具体地,编码方式可以如下:将某一中心像素点对应的8个邻近像素点的频率设为100Hz,将8个邻近像素点的灰度对应为各自的第二脉冲信号的幅值,由此8个树突远端分支输入编码为第二脉冲信号,8个第二脉冲信号的频率相同、幅值不同。将中心像素点的幅值设为1V,其灰度值对应为各自的第一脉冲信号的频率,因此树突近端分支输入编码为第一脉冲信号,所有第一脉冲信号幅值相同、频率不同。需要说明的是,同一个像素点作为不同中心像素点的邻近像素点时,其编码得到的第二脉冲信号的幅值和频率是相同的。
由于一中心像素点对应一树突模块,因此在对目标图像进行识别时,选择与目标图像像素点的数量对应的具有相同数量的树突模块的神经网络进行图像识别。
本实施例中的树突模块包括树突电阻并联电路、跨阻放大器和树突器件。如图8所示,所述树突电阻并联电路用于将所述中心像素点的脉冲信号集合中的每一脉冲信号分别转换为电流信号,对所有所述电流信号进行线性相加,得到线性相加电流信号。所述跨阻放大器用于将所述线性相加电流信号转换为电压信号。树突器件对该电压信号进行运算,得到树突器件响应电流信号。本实施例中的树突电阻并联电路包括9个并联连接的固定电阻R0,每一固定电阻R0对应一个中心像素点的脉冲信号集合中的一个脉冲信号。
在一些示例中,如图2所示,本实施例中的树突器件为忆阻器,树突器件包括从下到上依次层叠设置的衬底1、底电极2、介质层3和顶电极4。介质层3的厚度为几十纳米至几百纳米。底电极2和顶电极4为惰性材料,惰性材料可为Pt、Pd、Au和W等不易发生氧化还原的惰性材料。介质层3通常为硫系化合物或掺杂活性金属的氧化物,硫系化合物包括Ag2S和CuS等,氧化物包括SiO2、HfO2、TiO2、TaO2和MgO等,常用的活性金属为在介质层具有高扩散系数的Ag和Cu。树突器件制备流程如下:采用磁控溅射技术在衬底上淀积底电极;采用紫外光刻或电子束光刻技术定义器件图形;采用金属与介质层材料共溅射技术制备掺杂活性金属的介质层;采用磁控溅射技术生长顶电极;采用丙酮剥离技术,露出底电极。所述二端器件电学特性如下:在电压脉冲激励下,介质层中金属原子被氧化并在电场作用下运动形成导电通道连接电极,漂移过程受到电压幅值的调制,幅值越大,器件电导越大并最终趋于饱和;撤去外部激励后,金属原子在界面能最小化的驱动下自发扩散,电导逐渐越小。
如图3所示,其为忆阻树突器件的阻变及驰豫特性示意图,向树突器件顶电极施加电压脉冲,底电极接地,读取树突器件瞬态响应电流并计算电导。树突器件电导在电压脉冲下逐渐增大并趋于饱和(阻变过程);撤去外部激励后,电导呈指数衰减,一段时间后回到初始状态(驰豫过程)。图4为忆阻树突器件时间线性和非线性整合特性曲线。将器件底电极接地,向顶电极施加固定脉宽和幅值的连续脉冲信号,读取树突器件终态响应电流(树突器件响应电流信号)并计算电导。减小脉冲之间的时间间隔,即增大信号频率,树突器件电导呈超线性增长。图5为忆阻树突器件空间线性和非线性整合特性曲线,将树突器件底电极接地,向顶电极施加固定脉宽和频率的连续脉冲信号,读取树突器件终态响应电流并计算电导。增加脉冲幅值,电导逐渐增大并趋于饱和,电导变化速率呈先增后减的特点。电导变化区间包括:1为超线性响应区间,2为线性响应区间,3为亚线性响应区间,即在电压区间1呈超线性,2呈线性,3呈亚线性。图6(a)为忆阻树突器件增益调制特性实现方案示意图,图6(b)为忆阻树突器件增益调制特性曲线图,图6(b)为当一个中心像素点对应的8个邻近像素点对应的电压之和为V1、V2和V3时,忆阻树突器件的电导变化曲线。本实施例展示了远端树突分支输入对近端树突分支输入的增益调制:树突远端输入分支对应的第二脉冲信号的频率相同、幅值不同,树突近端输入分支对应的第一脉冲信号的幅值相同、频率不同;固定电阻将输入电压信号(此输入电压信号是由输入编码模块编码得到脉冲信号的幅值确定的)转换为电流信号,并根据基尔霍夫电流定律进行线性加和;跨阻放大器将电流信号转化为电压信号,针对不同的线性和非线性响应需求,可通过调节跨阻放大器中的反馈电阻映射到不同的电压范围,具体地,如图5所示,超线性响应区对应的电压范围区间为一个小的电压范围区间,如果需要树突器件实现超线性响应,需要映射到一个比较小的电压范围,则需要将跨阻放大器中的反馈电阻设置为一个比较小的电阻。同样地,如果需要树突器件实现亚线性响应,需要映射到一个一个大的电压范围区间,此时将跨阻放大器中的反馈电阻设置为一个比较大的电阻即可。然后将映射得到的电压施加到树突器件顶电极;树突器件底电极接地,读取树突器件终态响应电流并计算电导,经过幅值和频率的调制,实现对输入的时空线性和非线性整合。
在本实施例中,树突器件的衬底1选取n型掺杂的硅片,通过热氧化生长约300nm厚的SiO2绝缘层,并采用直流磁控溅射淀积20nm粘附层Ti;底电极2采用直流磁控溅射技术淀积100nm厚的Pt;介质层3采用反应磁控溅射技术,在Ar、O2、N2的气体氛围中共溅射Ag和Si,淀积20nm掺杂金属Ag的SiO2介质层;顶电极4采用直流磁控溅射技术淀积100nm厚的Pt。
经过上述树突模块中的树突器件的运算,可得到树突器件响应电流信号。将该树突器件响应电流信号输入至前神经元胞体模块中,进行相应处理,过程如下:
如图9所示,前神经元胞体模块包括积分器和比较器;其中,所述积分器,用于对所述中心像素点的树突器件响应电流信号进行积分,并将积分后的电流转化为膜电压。所述比较器,用于将所述膜电压与阈值电压进行比较,当所述膜电压超过所述阈值电压时,输出高电平;当所述膜电压低于所述阈值电压时,输出低电平,得到所述中心像素点对应的前神经元胞体脉冲信号。
具体地,在本实施例中,前神经元胞体模块中的积分器包括积分电容C、泄漏电阻R、第一运算放大器,比较器为第二运算放大器,积分电容对流经突触阵列的电流进行积分,并转化为膜电压Vm逐渐积累,比较器将膜电压与阈值电压Vth进行比较,在当前时刻膜电压超过阈值电压时,比较器输出高电平产生脉冲向下级传输,同时反馈到晶体管使之放电,膜电压归零,胞体电路重置为初始状态,再将下一时刻的膜电压与阈值电压进行比较。然后输出前神经元胞体脉冲信号,需要说明的是,此处的前神经元胞体脉冲信号幅值相同,其频率是由中心像素点的灰度值转换得到的。在本实施例中,后神经元胞体模块与前神经元胞体模块的结构相同。后神经元胞体模块输出后神经元胞体脉冲信号,所有后神经元胞体脉冲信号频率不同。
具体地:假设t0时刻的膜电压小于阈值,则将下一时刻t1的膜电压与t0时刻的膜电压相加,将相加之后的膜电压与阈值比较,大于阈值电压时,输出高电平,小于阈值电压时,再将t1到t3时刻的膜电压都加在一起,将t1到t3时刻相加后的膜电压与阈值电压比较,大于阈值电压时,输出高电平,小于阈值电压时,再将t1到t4时刻的膜电压都加在一起,直至遍历到最后一个时刻的膜电压。
突触阵列模块,通过突触阵列执行矩阵向量乘法运算。所述突触阵列包括若干个突触单元;每一所述突触单元包括相连接的晶体管和突触器件;其中,位于一列的突触器件的顶电极相连接,作为所述突触阵列的位线,所述位线用于接收预设读电压信号V0;位于一行的晶体管栅极相连接,作为所述突触阵列的字线,所述字线用于接收所述前神经元胞体脉冲信号;位于一列的晶体管源极相连接,作为所述突触阵列的源线,所述源线用于输出突触器件响应电流信号。突触器件响应电流信号反映了输入信号(前神经元胞体脉冲信号)与突触阵列所存储权值的矩阵向量乘法结果。
具体地,如图10所示,矩阵乘法实现方式为:前神经元胞体的输出x为一串频率不同的0、1脉冲序列;当输出为1时,对应WL开启,为0时,WL关断;同时,每个BL都输入恒定电压V0(预设读电压);对于每个WL开启的突触器件,预设读电压V0都直接施加到器件(图10中的方块)上,电流I=V0×G(器件电导),WL未开启的I=0;同一列上,流经每个器件的I经SL汇总,执行加和,因此SL上的电流y=∑I;由于每一列突触电导并不完全相同,因此每一列y不同;y=Wx,W为突触权重矩阵,x为输入,y为输出,即执行了矩阵向量乘法操作。突触矩阵没有固定的表达式,针对不同应用,突触矩阵W不同,需进行训练;但突触阵列实现了相同的功能,即矩阵向量乘法y=Wx。
本发明提出的基于神经网络的图像识别方法具有以下优点:采用具有阻变和驰豫特性的忆阻器作为树突器件,结构简单、易于集成,丰富了神经元结构和运算功能;在同一器件中实现时间和空间信息的整合(运算),同时具有超线性、亚线性、线性、增益调制四种线性和非线性响应功能,满足不同应用的需求;本发明构建了具有树突模块结构的神经网络,相较于多层网络和复杂的外围电路,利用树突器件完成运算过程,相较于采用外围电路或多层神经网络实现运算的方式,提高了单层神经网络的信息处理功能,减小了网络面积和功耗,降低了系统复杂度,提升了运算效率。
本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述基于神经网络的图像识别方法的步骤。
请参见图11,图11是本申请提供的一种计算机设备的结构示意图。如图11所示,计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图11所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现上述实施例所述的基于神经网络的图像识别方法,这里将不再进行赘述。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适用于由处理器加载并执行上述实施例所述的基于神经网络的图像识别方法,这里将不再进行赘述。
上述程序可被部署在一个计算机设备上执行,或者被部署位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。
上述计算机可读存储介质可以是上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smartmediacard,SMC),安全数字(securedigital,SD)卡,闪存卡(flashcard)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于神经网络的图像识别方法,其特征在于,所述方法包括:
获取目标图像;
采用神经网络对所述目标图像进行识别,得到所述目标图像的输出类别;所述神经网络包括输入编码模块、树突模块、胞体模块和突触阵列模块;
其中,所述输入编码模块用于以所述目标图像中的每一像素点为中心像素点,对所述中心像素点的灰度值以及所述中心像素点对应的邻近像素点的灰度值分别进行编码,得到每一所述中心像素点的脉冲信号集合;所述脉冲信号集合包括所述中心像素点的第一脉冲信号以及所述中心像素点对应的邻近像素点的第二脉冲信号;所述邻近像素点为以所述中心像素点为中心的预设大小的区域内除所述中心像素点之外的像素点;所有所述中心像素点的第一脉冲信号的幅值相同、频率不同;所述中心像素点对应的所有所述邻近像素点的第二脉冲信号的幅值不同、频率相同;
所述树突模块与所述中心像素点一一对应;所述树突模块,包括树突器件,用于将所述中心像素点的脉冲信号集合转换成电压信号,通过所述树突器件对所述电压信号进行运算,得到树突器件响应电流信号;
所述胞体模块包括前神经元胞体模块;所述前神经元胞体模块与所述中心像素点一一对应;所述前神经元胞体模块用于对所述中心像素点的树突器件响应电流信号进行编码,得到所述中心像素点对应的前神经元胞体脉冲信号;
所述突触阵列模块用于利用突触阵列对所有所述中心像素点对应的前神经元胞体脉冲信号进行转换,得到n个突触器件响应电流信号;所述突触阵列为m行n列,其中,m为中心像素点的数量,n为类别的数量;
所述胞体模块还包括后神经元胞体模块;所述后神经元胞体模块与所述突触器件响应电流信号一一对应;所述后神经元胞体模块用于将所述突触器件响应电流信号进行编码,得到后神经元胞体脉冲信号;所述目标图像的输出类别根据所有所述后神经元胞体脉冲信号的频率确定。
2.根据权利要求1所述的基于神经网络的图像识别方法,其特征在于,所述对所述中心像素点的灰度值以及所述中心像素点对应的邻近像素点的灰度值分别进行编码具体包括:
利用泊松采样或高斯采样对所述中心像素点的灰度值以及所述中心像素点对应的邻近像素点的灰度值分别进行编码。
3.根据权利要求1所述的基于神经网络的图像识别方法,其特征在于,所述树突模块还包括树突电阻并联电路和跨阻放大器;
其中,所述树突电阻并联电路用于将所述中心像素点的脉冲信号集合中的每一脉冲信号分别转换为电流信号,对所有所述电流信号进行线性相加,得到线性相加电流信号;
所述跨阻放大器用于将所述线性相加电流信号转换为电压信号。
4.根据权利要求1所述的基于神经网络的图像识别方法,其特征在于,所述树突器件包括从下到上依次层叠设置的衬底、底电极、介质层和顶电极。
5.根据权利要求4所述的基于神经网络的图像识别方法,其特征在于,所述介质层的厚度为几十纳米至几百纳米;
所述底电极和所述顶电极为惰性材料,所述惰性材料包括Pt、Pd、Au和W;所述介质层为硫系化合物或掺杂活性金属的氧化物,所述硫系化合物包括Ag2S和CuS,所述氧化物包括SiO2、HfO2、TiO2、TaO2和MgO,所述活性金属包括Ag和Cu。
6.根据权利要求1所述的基于神经网络的图像识别方法,其特征在于,所述前神经元胞体模块包括积分器和比较器;
其中,所述积分器,用于对所述中心像素点的树突器件响应电流信号进行积分,并将积分后的电流转化为膜电压;
所述比较器,用于将所述膜电压与阈值电压进行比较,当所述膜电压超过所述阈值电压时,输出高电平;当所述膜电压低于所述阈值电压时,输出低电平,得到所述中心像素点对应的前神经元胞体脉冲信号。
7.根据权利要求1所述的基于神经网络的图像识别方法,其特征在于,所述目标图像的输出类别根据所有所述后神经元胞体脉冲信号的频率确定具体包括:将频率最大的后神经元胞体脉冲信号对应的类别作为所述目标图像的输出类别。
8.根据权利要求1所述的基于神经网络的图像识别方法,其特征在于,所述突触阵列包括若干个突触单元;每一所述突触单元包括晶体管和突触器件;其中,位于一列的突触器件的顶电极相连接,作为所述突触阵列的位线,所述位线用于接收预设读电压信号;位于一行的晶体管栅极相连接,作为所述突触阵列的字线,所述字线用于接收所述前神经元胞体脉冲信号;位于一列的晶体管源极相连接,作为所述突触阵列的源线,所述源线用于输出突触器件响应电流信号。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1-8中任一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适用于由处理器加载并执行权利要求1-8任一项所述的方法。
CN202310445397.4A 2023-04-23 2023-04-23 一种基于神经网络的图像识别方法、计算机设备及介质 Active CN116563616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310445397.4A CN116563616B (zh) 2023-04-23 2023-04-23 一种基于神经网络的图像识别方法、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310445397.4A CN116563616B (zh) 2023-04-23 2023-04-23 一种基于神经网络的图像识别方法、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN116563616A CN116563616A (zh) 2023-08-08
CN116563616B true CN116563616B (zh) 2024-01-30

Family

ID=87487105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310445397.4A Active CN116563616B (zh) 2023-04-23 2023-04-23 一种基于神经网络的图像识别方法、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN116563616B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091530A (zh) * 2018-10-24 2020-05-01 华中科技大学 一种荧光图像中单神经元树突棘的自动检测方法及系统
CN111967586A (zh) * 2020-07-15 2020-11-20 北京大学 一种用于脉冲神经网络存内计算的芯片及计算方法
CN112017177A (zh) * 2020-09-08 2020-12-01 科大讯飞股份有限公司 一种参考影像确定方法、装置、设备及存储介质
CN112784976A (zh) * 2021-01-15 2021-05-11 中山大学 一种基于脉冲神经网络的图像识别系统及方法
CN114881921A (zh) * 2022-03-23 2022-08-09 清华大学 基于事件及视频融合的去遮挡成像方法及装置
JP2022177892A (ja) * 2021-05-19 2022-12-02 株式会社日立製作所 異常検知システム及びその方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8990132B2 (en) * 2010-01-19 2015-03-24 James Ting-Ho Lo Artificial neural networks based on a low-order model of biological neural networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091530A (zh) * 2018-10-24 2020-05-01 华中科技大学 一种荧光图像中单神经元树突棘的自动检测方法及系统
CN111967586A (zh) * 2020-07-15 2020-11-20 北京大学 一种用于脉冲神经网络存内计算的芯片及计算方法
CN112017177A (zh) * 2020-09-08 2020-12-01 科大讯飞股份有限公司 一种参考影像确定方法、装置、设备及存储介质
CN112784976A (zh) * 2021-01-15 2021-05-11 中山大学 一种基于脉冲神经网络的图像识别系统及方法
JP2022177892A (ja) * 2021-05-19 2022-12-02 株式会社日立製作所 異常検知システム及びその方法
CN114881921A (zh) * 2022-03-23 2022-08-09 清华大学 基于事件及视频融合的去遮挡成像方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Hardware Demonstration of SRDP Neuromorphic Computing with Online Unsupervised Learning Based on Memristor Synapses";Ruiyi Li etal.;《Micromachines》;第1-11页 *
"金属氧化物阻变机理与器件设计";康晋锋 等;《科技成果》;第1-2页 *

Also Published As

Publication number Publication date
CN116563616A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
Milano et al. In materia reservoir computing with a fully memristive architecture based on self-organizing nanowire networks
Wang et al. Networking retinomorphic sensor with memristive crossbar for brain-inspired visual perception
DE102019116305A1 (de) Pipelining zur verbesserung der inferenzgenauigkeit neuronaler netze
US10468098B2 (en) In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture
Jang et al. A learning‐rate modulable and reliable TiOx memristor array for robust, fast, and accurate neuromorphic computing
US11468300B2 (en) Circuit structure and driving method thereof, neural network
KR20190008670A (ko) 뉴런회로 및 이를 포함하는 뉴로모픽 시스템
CN111680792A (zh) 激活函数电路、忆阻神经网络及忆阻神经网络的控制方法
WO2020226740A1 (en) Transistorless all-memristor neuromorphic circuits for in-memory computing
Wang et al. Self-activation neural network based on self-selective memory device with rectified multilevel states
CN109448068B (zh) 一种基于忆阻器交叉阵列的图像重构系统
Dong et al. Hybrid dual‐complementary metal–oxide–semiconductor/memristor synapse‐based neural network with its applications in image super‐resolution
Li et al. Large memristor crossbars for analog computing
CN112488308A (zh) 基于动态忆阻器的储备池计算系统
Wang et al. Classification accuracy improvement for neuromorphic computing systems with one-level precision synapses
CN111950720A (zh) 一种新型类脑视觉系统
CN114365078A (zh) 重构mac运算
Saxena Neuromorphic computing: From devices to integrated circuits
CN116563616B (zh) 一种基于神经网络的图像识别方法、计算机设备及介质
Zhang et al. A quantized convolutional neural network implemented with memristor for image denoising and recognition
US11556770B2 (en) Auto weight scaling for RPUs
Milano et al. Speech recognition through physical reservoir computing with neuromorphic nanowire networks
Afshari et al. Unsupervised learning in hexagonal boron nitride memristor-based spiking neural networks
CN115117177A (zh) 一种神经形态光电传感器、其制备及调控方法
CN109978019B (zh) 图像模式识别模拟与数字混合忆阻设备及制备,实现stdp学习规则和图像模式识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant