CN106295799A - 一种深度学习多层神经网络的实现方法 - Google Patents

一种深度学习多层神经网络的实现方法 Download PDF

Info

Publication number
CN106295799A
CN106295799A CN201510237437.1A CN201510237437A CN106295799A CN 106295799 A CN106295799 A CN 106295799A CN 201510237437 A CN201510237437 A CN 201510237437A CN 106295799 A CN106295799 A CN 106295799A
Authority
CN
China
Prior art keywords
module
network
ram
neural network
synapse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510237437.1A
Other languages
English (en)
Other versions
CN106295799B (zh
Inventor
秦凯
周喜川
余磊
李胜力
谭跃
胡盛东
唐枋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Institute of Uranium Geology
Original Assignee
Beijing Research Institute of Uranium Geology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Institute of Uranium Geology filed Critical Beijing Research Institute of Uranium Geology
Priority to CN201510237437.1A priority Critical patent/CN106295799B/zh
Publication of CN106295799A publication Critical patent/CN106295799A/zh
Application granted granted Critical
Publication of CN106295799B publication Critical patent/CN106295799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于神经网络模型设计技术领域,具体涉及一种深度学习多层神经网络的实现方法。本发明的方法首先采用数字电路构建单层神经网络,之后将上一单层神经网络的输出作为下一单层神经网络的输入,采用串联的形式构建多层神经网络。本发明的方法解决了现有方法仅能构建浅层神经网络的技术问题,面向深度学习,建立了多层的神经网络硬件模型,通过脉冲大小实现信息传递,其模拟的神经元更加接近实际神经元。

Description

一种深度学习多层神经网络的实现方法
技术领域
本发明属于神经网络模型设计技术领域,具体涉及一种深度学习多层神经网络的实现方法。
背景技术
传统的通用处理器采用的是冯诺依曼结构,针对人工神经网络需使用内存存储权重值,因此需要很大的带宽与功耗来实现计算单元(CPU)和内存的通信;为了适应智能系统计算实时性的需求,传统处理器需要工作在G赫兹的频率上,导致了基于通用处理器建立的智能系统的功耗相较于生物系统。
第一代神经网络模型采用基于模拟集成电路的神经网络模型,但利用模拟电路来实现人工神经网络容易受到温度、噪声等影响,导致计算精度不高,结果不可靠。此外,传统模拟电路的实现工艺在2um工艺下单个突触所需面积达到4500um2,由于工艺的原因集成密度低,较数字电路采用的CMOS工艺集成度低至少一个量级,难以实现上亿神经元大规模的高密度集成。
第二代神经网络硬件模型采用基于软件的神经网络模型,其内部信息传送是基于神经脉冲频率进行编码,其模拟的神经元与实际神经元存在较大差距。此外,基于软件的神经网络模型一般运行在通用处理器或图形处理器上,由于处理器需要从内存频繁读写神经网络配置参数,使得大量能量浪费在总线通讯上,同时总线带宽也限制了极大规模神经网络计算的实时性。
与此同时,上述两代神经网络模型均主要针对浅层(层数<3)的神经网络,难以实现能够显著提高智能算法性能的多层神经网络模型。
发明内容
本发明需要解决的技术问题为:现有技术中的人工神经网络硬件模型主要基于单层或浅层的神经网络,难以实现能够显著提高智能算法性能的多层神经网络模型。
本发明采用了如下技术方案:
一种深度学习多层神经网络的实现方法,包括以下步骤:
步骤1采用数字电路构建单层神经网络;
步骤2将上一单层神经网络的输出作为下一单层神经网络的输入,采用串联的形式构建多层神经网络。
步骤1中,所述数字电路包括Freg模块、Encode模块、RAM模块、ACU模块和Breg模块:
a)Freg模块为前向寄存器模块,Freg模块仅在自身状态位FULL为‘0’时才响应数据输入,当完成输入数据读入时状态位FULL变更为‘1’;当本层网络完成计算,本层网络的Breg模块状态位FULL由‘0’变更为‘1’,表示本层计算结束,Freg模块才将自身状态位FULL由‘1’变更为‘0’,等待数据输入;
b)Encode模块逐位依次读取输入轴突信息,若输入轴突的连接信息为‘1’,则将该轴突对应地址发往RAM模块,并给予一次脉冲时钟驱动后级电路工作;
c)RAM模块中,在Encode模块的时钟激励下读取相应地址的值,其中,data_ram用来存储突触连接信息,G_ram用来存储突触的属性信息;
d)ACU模块在Encode模块的时钟激励下完成一次对RAM输出值的累加/减运算:当G_ram存储的突触属性信息为‘1’,即突触为兴奋性突触时,进行一次累加运算;若G_ram存储的突触属性信息为‘0’,即突触为抑制性突触时,进行一次累减运算;
e)Encode模块在完成最后一位输入轴突信息的编码工作后想ACU模块发送结束控制信号,ACU模块在接收到结束控制信号后将累加/减运算结果与阈值相比较:若累加/减运算结果大于阈值则输出‘1’,表示该神经元被激活;否则,输出‘0’,表示该神经元未被激活;
f)Breg模块为后向寄存器模块,其读入ACU模块的输出结果,并且置自身状态位FULL为‘1’等待下层网络读取ACU模块计算结果;当下层网络的Freg_模块状态位FULL输出为‘1’时,即下层网络读取了本层网络ACU模块计算结果,本层Breg模块状态位FULL由‘1’变更为‘0’。
本发明的有益效果是:
(1)本发明提供的一种深度学习多层神经网络的实现方法,面向深度学习,建立多层(层数>3)的神经网络硬件模型,通过脉冲大小来传递信息,其模拟的神经元更加接近实际神经元。
(2)本发明提供的一种深度学习多层神经网络的实现方法,基于CMOS集成电路的数字工艺实现,具有集成度高、功耗低的特点,非常适合建立极大规模神经网络模型。相较传统模拟电路工艺,本发明在synopsys40nm工艺下的单个突触面积从4500um2缩减到了0.019um2,集成密度提高了2.3x105倍。
(3)本发明提供的一种深度学习多层神经网络的实现方法,将存储单元与计算单元合二为一,避免了神经网络配置参数在总线上的传输,降低了硬件模型的功耗,提高了计算的实时性。
(4)本发明提供的一种深度学习多层神经网络的实现方法,采用大规模并行化计算,单层网络的输出节点都是并行输出,并且在FPGA综合下的最高频率达到了1GHz,使得单层网络在输入节点1024的情况下,计算耗时为1us。
(5)本发明提供的一种深度学习多层神经网络的实现方法,采用流水线设计,当连续输入数据量与网络层数比值达到一定规模时,单组数据的平均耗时约为单层计算耗时最长网络。
(6)本发明提供的一种深度学习多层神经网络的实现方法,使用1bit的存储单元实现一个突触的连接。由于目前片上SRAM具有很高的集成度,因此能够实现大规模神经网络的硬件模型,这同时也解决了由于集成度不够无法实现多层神经网络模型的缺点。
附图说明
图1为深度学习网络模型示意图;
图2为RBM模型图;
图3为RAM结构图;
图4为生物神经网络模型图;
图5为RAM映射生物神经元示意图;
图6为数字电路实现生物神经元示意图;
图7为数字电路实现多层神经网络模块图;
图8为传统设计与本发明流水线设计的工作时序对比图。
图中:1-突触,2-树突,3-细胞体,4-轴突。
具体实施方式
下面结合附图和实施例对本发明的一种深度学习多层神经网络的实现方法进行进一步说明。
本发明的设计目的是以硬件实现深度学习神经网络,具有强大的从少数样本集中学习数据集本质特征的能力。
深度学习神经网络的网络模型如图1所示,网络是由输入层、隐含层(多层)、输出层组成的多层神经网络,网络中只有相邻层节点之间有连接,同层和跨层节点之间无连接,这种分层结是比较接近人脑的结构。输入数据通过多层网络的逐层特征变换,最终将样本从原空间的特征表示转换到一个新的特征空间。
本发明使用限制玻尔兹曼模型(Restricted Boltzmann Machine,RBM)实现深度学习神经网络的单层网络。如图2所示构建一个RBM模型单层神经网络:每个隐含层对应一个存储有该隐藏层(h)参数信息的可视层(v),同一个隐含层的节点之间、同一个可视层的节点之间无连接;假设所有节点都是随机二进制变量节点(只能取‘0’或‘1’);同时假设全概率分布p(v,h)满足玻尔兹曼分布。由于深度学习神经网络中只有相邻节点之间存在连接,本发明通过将存储有上一层隐含层参数信息的可视层作为下一层隐含层的输入,即将多个单层网络串联起来就可以实现多层网络。
由于RBM模型的节点为二进制变量,可以用高低电平来表示,且通过量化网络权重,本发明就可以用数字电路实现深度学习网络;另外由于深度学习网络多层网络的连接方式为串联形式,也方便使用通用单层模块的串联来实现多层网络。
浅层神经网络在优先样本和计算单元下对复杂函数的表示能力有限;浅层神经网络是靠人工经验来提取样本特征,特征的好坏就成了系统性能的瓶颈,而且特征提取本身就对相关人员有着非常高要求。深度学习神经网络相较于浅层神经网络:1)强调了网络模型的结构深度,通常有超过5层甚至更多层;2)明确突出了特征学习的重要性,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间。与人工规则构造特征的方法相比,利用大数据来学习特征更加能够刻画数据的丰富内在信息,使得深度学习网络在语音、图像和视频方面的应用有着巨大的优势。
随机存取存储器(英文:Random Access Memory,RAM)又称作“随机存储器”,它的结构图如图3所示。其中RAM的主体为存储矩阵,它的每个交点为存储单元,每个地址与输出位对应着确定的存储单元。
生物神经元结构如图4所示,其最主要的部分为突触1、树突2、细胞体3、轴突4。突触1为神经元通过轴突4与其它神经元之间连接的接口;细胞体3为神经元的主体部分;轴突4用来传出神经元产生的电化学信号,相当于神经元的输出端,每个轴突4可与多个神经元建立突触1连接。
神经元受到的输入分为兴奋性输入和抑制性输入,兴奋性输入会使突触1后膜电位向正电位方向增大,而抑制性输入则会使突触1后膜电位向更负方向变化,若后膜电位超过一个电位阈值则神经元变化为兴奋状态,会通过轴突4向外产生一个脉冲。神经元会接受多个轴突4传来的输入,不同轴突4传来的输入大小和性质不同,神经元的接受的总输入大致为所有输入的代数和,亦称之为空间整合;此外,不同输入到达的时间也不同,在一定持续时间内神经元接受的输入会累加,亦称之为时间整合。
使用RAM来实现神经网络,本发明主要使用RAM来模拟神经元的结构功能以及神经元之间的连接。使用RAM的输入来代表输入轴突4;RAM的存储单元来代表突触1的连接;RAM的输出与计算单元ACU代表细胞体3,计算单元是基于神经元空间整合和时间整合特性来对所有突触1的输入进行累加并且判断结果是否大于阈值,如果大于阈值则表示该神经元被激活,计算单元则输出一个高电平脉冲。RAM输出的每一位及其对应的计算单元(细胞体3)和其对应的每一个存储单元(突触1)及计算单元的输出(轴突4)共同组成一个神经元,如图5中粗线部分所示。
本实施例中,代表突触1的RAM存储单元中,包括连接信息和属性信息:连接信息为‘1’表示有连接,为‘0’表示无连接;属性信息为‘1’表示兴奋性连接,为‘0’表示抑制性连接。
本发明的电路设计中采用标准的RAM的IP,标准的RAM模块使用地址访问存储地址,一次性读出多位存储信息,在设计中每一位访问地址代表一个神经元。所以需要将输入的轴突4编码为地址来访问RAM,本发明设计了Encode模块来实现对输入轴突4的地址编码;需要计算单元来完成神经元的输入响应,本发明设计了多通道计算模块ACU来完成对神经元对输入的累加和判断运算,在ACU模块中为每个神经元分配了独立的计算通道;需要两个RAM来存储突触1信息,data_ram用来存储突触1的连接信息,G_ram用来存储突触1的属性信息,data_ram和G_ram的地址一一对应。另外,本发明采用了流水线工作模式的设计,在每层网络最前方设置前向寄存器Freg模块,在每层网络最后方设置后向寄存器Breg模块,二者共同控制本层网络的数据输入、结果输出,保证了流水线工作时每层网络工作之间的独立性。
具体而言,本发明的一种深度学习多层神经网络的实现方法包括以下步骤:
步骤1构建单层神经网络
图6所示为使用数字电路实现一层神经网络的电路原理图,本发明是基于数字集成电路的设计,其中的模块均为基于硬件描述语言Verilog设计的数字电路模块,其工作流程如下所述:
a)Freg模块为前向寄存器模块,Freg模块仅在自身状态位FULL为‘0’时才响应数据输入,当完成输入数据读入时状态位FULL变更为‘1’;当本层网络完成计算,本层网络的Breg模块状态位FULL由‘0’变更为‘1’,表示本层计算结束,Freg模块才将自身状态位FULL由‘1’变更为‘0’,等待数据输入;
b)Encode模块逐位依次读取输入轴突4信息,若输入轴突4的连接信息为‘1’,则将该轴突4对应地址发往RAM模块,并给予一次脉冲时钟驱动后级电路工作;
c)RAM模块中,在Encode模块的时钟激励下读取相应地址的值,其中,data_ram用来存储突触1连接信息,G_ram用来存储突触1的属性信息;
d)ACU模块在Encode模块的时钟激励下完成一次对RAM输出值的累加/减运算:当G_ram存储的突触1属性信息为‘1’,即突触1为兴奋性突触1时,进行一次累加运算;若G_ram存储的突触1属性信息为‘0’,即突触1为抑制性突触1时,进行一次累减运算;
e)Encode模块在完成最后一位输入轴突4信息的编码工作后想ACU模块发送结束控制信号,ACU模块在接收到结束控制信号后将累加/减运算结果与阈值相比较:若累加/减运算结果大于阈值则输出‘1’,表示该神经元被激活;否则,输出‘0’,表示该神经元未被激活;本实施例中,所述阈值由技术人员根据经验预先设定,阈值大小及权值网络参数由软件通过基于DBN深度网络模型算法对样本离线训练得到,其中每一位输出位均对应着特定的阈值,此为本领域技术人员公知常识。
f)Breg模块为后向寄存器模块,其读入ACU模块的输出结果,并且置自身状态位FULL为‘1’等待下层网络读取ACU模块计算结果;当下层网络的Freg_模块状态位FULL输出为‘1’时,即下层网络读取了本层网络ACU模块计算结果,本层Breg模块状态位FULL由‘1’变更为‘0’。
相比于模拟电路实现的神经网络模型,本发明通过采用使用RAM的1bit来表示一个突触1的连接,极大的提高了硬件设计的密度,再加上数字电路工艺相较于模拟电路工艺的高集成度的特点,使得本设计相较于模拟电路设计可以实现大规模神经网络的实现;另外对比模拟电路受外界影响的不稳定性,本发明保证了结果的可靠性和可重复性。
相比于软件实现的神经网络模型,由于本发明采用储存单元和计算单元合二为一的设计,在轴突4数据输入完成的两个时钟内就可以得到神经元的计算结果;并且单层网络的各个神经元之间均相互独立并行工作,极大地提高了神经网络的实时性。另外由于采用事件触发电路设计,网络的每个模块仅在存在激励的时候才工作,极大地提高了网络的功效比,相比于软件实现的神经网络模型的巨大功耗,在同样网络大小下本发明显著降低了深度学习网络的功耗。
步骤2构建多层神经网络
本发明的设计目标是是以硬件实现深度学习神经网络,而深度学习的系统包括输入层、隐层(多层)、输出层组成的多层网络,只有相邻层节点之间有连接。也就是说某层网络的输入来自于上层网络的输出,而且其输出只为下层网络提供输入,每层神经网络的输出为代表神经元激活与否的‘1/0’信号。所以对比图6所示电路设计,只需要将多个单层网络输入对应输出串联起来即可实现多层神经网络。
图7所示为数字电路实现多层神经网络模块图,其中NET1、NET2、NET3模块为图6所示的单层网络模块:当一层网络完成数据计算后会发送同步信号给下层网络,每层网络直接通过Freg模块和Breg模块的状态位来实现通信,保证流水线工作时下层网络不会在自身正处理数据时被上层网络发来的新数据覆盖掉正处理的数据,引起数据冲突。
由此将多层神经网络的处理变为了流水线处理,每层网络为一级。由于深度学习的性质,即只有相邻层之间有连接,每一层网络的输入只与上层输出有关,所以在流水线处理的过程中不会出现数据相关(一级数据正在计算的时候其它级需要调用它的结果)的问题。流水线的设计使得多层神经网络在处理多组数据时的速度优势得到提高,相比较传统神经网络,流水线设计的多层神经网络的同一时间每层网络可以处理不同数据,每组数据计算耗时仅为单层计算耗时最长时间,特别适用于处理视频,声音等连续数据。
以四层网络为例,如图8为4层网络的传统设计和流水线设计的网络数据处理时序图,Ni代表第i层神经网络处理,Dataj表示第j组数据,一层网络完成计算为一个单位工作周期。传统多层神经网络同一时间内仅一层为网络处于工作状态;而流水线设计的多层神经网络的每层网络都是始终处于工作状态。由工作时序可以发现在同样的工作周期内,传统多层神经网络尚未完成第二组数据处理,流水线设计的多层神经网络已经输出了第四组数据的计算结果,这种优势在网络层数增大的时候越发明显。

Claims (2)

1.一种深度学习多层神经网络的实现方法,其特征在于:包括以下步骤:
步骤1采用数字电路构建单层神经网络;
步骤2将上一单层神经网络的输出作为下一单层神经网络的输入,采用串联的形式构建多层神经网络。
2.根据权利要求1所述的深度学习多层神经网络的实现方法,其特征在于:
步骤1中,所述数字电路包括Freg模块、Encode模块、RAM模块、ACU模块和Breg模块:
a)Freg模块为前向寄存器模块,Freg模块仅在自身状态位FULL为‘0’时才响应数据输入,当完成输入数据读入时状态位FULL变更为‘1’;当本层网络完成计算,本层网络的Breg模块状态位FULL由‘0’变更为‘1’,表示本层计算结束,Freg模块才将自身状态位FULL由‘1’变更为‘0’,等待数据输入;
b)Encode模块逐位依次读取输入轴突(4)信息,若输入轴突(4)的连接信息为‘1’,则将该轴突(4)对应地址发往RAM模块,并给予一次脉冲时钟驱动后级电路工作;
c)RAM模块中,在Encode模块的时钟激励下读取相应地址的值,其中,data_ram用来存储突触(1)连接信息,G_ram用来存储突触(1)的属性信息;
d)ACU模块在Encode模块的时钟激励下完成一次对RAM输出值的累加/减运算:当G_ram存储的突触(1)属性信息为‘1’,即突触(1)为兴奋性突触(1)时,进行一次累加运算;若G_ram存储的突触(1)属性信息为‘0’,即突触(1)为抑制性突触(1)时,进行一次累减运算;
e)Encode模块在完成最后一位输入轴突(4)信息的编码工作后想ACU模块发送结束控制信号,ACU模块在接收到结束控制信号后将累加/减运算结果与阈值相比较:若累加/减运算结果大于阈值则输出‘1’,表示该神经元被激活;否则,输出‘0’,表示该神经元未被激活;
f)Breg模块为后向寄存器模块,其读入ACU模块的输出结果,并且置自身状态位FULL为‘1’等待下层网络读取ACU模块计算结果;当下层网络的Freg_模块状态位FULL输出为‘1’时,即下层网络读取了本层网络ACU模块计算结果,本层Breg模块状态位FULL由‘1’变更为‘0’。
CN201510237437.1A 2015-05-12 2015-05-12 一种深度学习多层神经网络的实现方法 Active CN106295799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510237437.1A CN106295799B (zh) 2015-05-12 2015-05-12 一种深度学习多层神经网络的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510237437.1A CN106295799B (zh) 2015-05-12 2015-05-12 一种深度学习多层神经网络的实现方法

Publications (2)

Publication Number Publication Date
CN106295799A true CN106295799A (zh) 2017-01-04
CN106295799B CN106295799B (zh) 2018-11-02

Family

ID=57631316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510237437.1A Active CN106295799B (zh) 2015-05-12 2015-05-12 一种深度学习多层神经网络的实现方法

Country Status (1)

Country Link
CN (1) CN106295799B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273969A (zh) * 2017-05-11 2017-10-20 西安交通大学 一种参数化可扩展的神经网络全连接层多层互连结构
CN107563503A (zh) * 2017-09-14 2018-01-09 胡明建 一种可编码择阀值择函数人工神经元的设计方法
CN108848561A (zh) * 2018-04-11 2018-11-20 湖北工业大学 一种基于深度强化学习的异构蜂窝网络联合优化方法
CN108875919A (zh) * 2017-07-21 2018-11-23 北京旷视科技有限公司 数据处理装置、数据处理方法和存储介质产品
CN109325439A (zh) * 2018-09-18 2019-02-12 成都网阔信息技术股份有限公司 一种基于cnn的驾驶违规行为的识别方法
CN109409510A (zh) * 2018-09-14 2019-03-01 中国科学院深圳先进技术研究院 神经元电路、芯片、系统及其方法、存储介质
CN110147872A (zh) * 2018-05-18 2019-08-20 北京中科寒武纪科技有限公司 编码存储装置及方法、处理器及训练方法
CN110192207A (zh) * 2017-01-20 2019-08-30 国际商业机器公司 用于在硬件人工神经网络中神经元值无同步传输的系统,方法和制品
CN110363287A (zh) * 2019-07-01 2019-10-22 西安交通大学 一种面向内存计算和室内是否有人的神经网络设计方法
WO2019200545A1 (zh) * 2018-04-17 2019-10-24 深圳鲲云信息科技有限公司 网络模型的运行方法及相关产品
WO2020051918A1 (zh) * 2018-09-14 2020-03-19 中国科学院深圳先进技术研究院 神经元电路、芯片、系统及其方法、存储介质
CN111275742A (zh) * 2020-01-19 2020-06-12 北京大学 一种目标识别方法、装置、系统及计算机可读存储介质
CN112396136A (zh) * 2019-08-15 2021-02-23 北京神州泰岳软件股份有限公司 一种手写数字识别方法、装置、电子设备和可读存储介质
CN112597341A (zh) * 2018-05-25 2021-04-02 中科寒武纪科技股份有限公司 视频检索方法及视频检索映射关系生成方法、装置
CN113557536A (zh) * 2019-04-25 2021-10-26 欧姆龙株式会社 学习系统、数据生成装置、数据生成方法及数据生成程序
CN114492789A (zh) * 2022-01-25 2022-05-13 天津工业大学 一种数据样本的神经网络模型构建方法及装置
CN114615112A (zh) * 2022-02-25 2022-06-10 中国人民解放军国防科技大学 一种基于fpga的信道均衡器、网络接口以及网络设备
CN115050006A (zh) * 2022-06-21 2022-09-13 荆州职业技术学院 一种基于卷积神经网络的车道偏离预警方法及系统
US11995556B2 (en) 2018-05-18 2024-05-28 Cambricon Technologies Corporation Limited Video retrieval method, and method and apparatus for generating video retrieval mapping relationship

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007002731A2 (en) * 2005-06-28 2007-01-04 Neurosciences Research Foundation, Inc. Addressing scheme for neural modeling and brain-based devices using special purpose processor
JP2008027176A (ja) * 2006-07-20 2008-02-07 Kyushu Institute Of Technology データ生成回路及びデータ生成方法
CN103201610A (zh) * 2010-10-29 2013-07-10 国际商业机器公司 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络
CN103733209A (zh) * 2011-08-16 2014-04-16 高通股份有限公司 用于神经时间编码、学习和识别的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007002731A2 (en) * 2005-06-28 2007-01-04 Neurosciences Research Foundation, Inc. Addressing scheme for neural modeling and brain-based devices using special purpose processor
JP2008027176A (ja) * 2006-07-20 2008-02-07 Kyushu Institute Of Technology データ生成回路及びデータ生成方法
CN103201610A (zh) * 2010-10-29 2013-07-10 国际商业机器公司 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络
CN103733209A (zh) * 2011-08-16 2014-04-16 高通股份有限公司 用于神经时间编码、学习和识别的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱玉多: "基于FPGA的神经网络硬件实现研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110192207B (zh) * 2017-01-20 2023-10-24 国际商业机器公司 一种在硬件人工神经网络中实施的系统和方法
CN110192207A (zh) * 2017-01-20 2019-08-30 国际商业机器公司 用于在硬件人工神经网络中神经元值无同步传输的系统,方法和制品
CN107273969B (zh) * 2017-05-11 2020-06-19 西安交通大学 一种参数化可扩展的神经网络全连接层多层互连结构
CN107273969A (zh) * 2017-05-11 2017-10-20 西安交通大学 一种参数化可扩展的神经网络全连接层多层互连结构
CN108875919A (zh) * 2017-07-21 2018-11-23 北京旷视科技有限公司 数据处理装置、数据处理方法和存储介质产品
CN108875919B (zh) * 2017-07-21 2021-04-02 北京旷视科技有限公司 数据处理装置、数据处理方法和存储介质产品
CN107563503A (zh) * 2017-09-14 2018-01-09 胡明建 一种可编码择阀值择函数人工神经元的设计方法
CN108848561A (zh) * 2018-04-11 2018-11-20 湖北工业大学 一种基于深度强化学习的异构蜂窝网络联合优化方法
WO2019200545A1 (zh) * 2018-04-17 2019-10-24 深圳鲲云信息科技有限公司 网络模型的运行方法及相关产品
CN110147873A (zh) * 2018-05-18 2019-08-20 北京中科寒武纪科技有限公司 卷积神经网络的处理器及训练方法
CN110147873B (zh) * 2018-05-18 2020-02-18 中科寒武纪科技股份有限公司 卷积神经网络的处理器及训练方法
CN110147872A (zh) * 2018-05-18 2019-08-20 北京中科寒武纪科技有限公司 编码存储装置及方法、处理器及训练方法
US11995556B2 (en) 2018-05-18 2024-05-28 Cambricon Technologies Corporation Limited Video retrieval method, and method and apparatus for generating video retrieval mapping relationship
CN112597341A (zh) * 2018-05-25 2021-04-02 中科寒武纪科技股份有限公司 视频检索方法及视频检索映射关系生成方法、装置
WO2020051918A1 (zh) * 2018-09-14 2020-03-19 中国科学院深圳先进技术研究院 神经元电路、芯片、系统及其方法、存储介质
CN109409510A (zh) * 2018-09-14 2019-03-01 中国科学院深圳先进技术研究院 神经元电路、芯片、系统及其方法、存储介质
CN109325439A (zh) * 2018-09-18 2019-02-12 成都网阔信息技术股份有限公司 一种基于cnn的驾驶违规行为的识别方法
CN113557536A (zh) * 2019-04-25 2021-10-26 欧姆龙株式会社 学习系统、数据生成装置、数据生成方法及数据生成程序
CN113557536B (zh) * 2019-04-25 2024-05-31 欧姆龙株式会社 学习系统、数据生成装置、数据生成方法及存储介质
CN110363287B (zh) * 2019-07-01 2021-07-13 西安交通大学 一种面向内存计算和室内是否有人的神经网络设计方法
CN110363287A (zh) * 2019-07-01 2019-10-22 西安交通大学 一种面向内存计算和室内是否有人的神经网络设计方法
CN112396136A (zh) * 2019-08-15 2021-02-23 北京神州泰岳软件股份有限公司 一种手写数字识别方法、装置、电子设备和可读存储介质
CN111275742B (zh) * 2020-01-19 2022-01-11 北京大学 一种目标识别方法、装置、系统及计算机可读存储介质
CN111275742A (zh) * 2020-01-19 2020-06-12 北京大学 一种目标识别方法、装置、系统及计算机可读存储介质
CN114492789A (zh) * 2022-01-25 2022-05-13 天津工业大学 一种数据样本的神经网络模型构建方法及装置
CN114492789B (zh) * 2022-01-25 2024-05-14 天津工业大学 一种数据样本的神经网络模型构建方法及装置
CN114615112A (zh) * 2022-02-25 2022-06-10 中国人民解放军国防科技大学 一种基于fpga的信道均衡器、网络接口以及网络设备
CN114615112B (zh) * 2022-02-25 2023-09-01 中国人民解放军国防科技大学 一种基于fpga的信道均衡器、网络接口以及网络设备
CN115050006A (zh) * 2022-06-21 2022-09-13 荆州职业技术学院 一种基于卷积神经网络的车道偏离预警方法及系统

Also Published As

Publication number Publication date
CN106295799B (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN106295799A (zh) 一种深度学习多层神经网络的实现方法
Hu et al. Attention-based multi-context guiding for few-shot semantic segmentation
CN112100865B (zh) 基于并行cnn模型的航空发动机剩余寿命预测方法
Tao et al. An object detection system based on YOLO in traffic scene
Cheng et al. Facial expression recognition method based on improved VGG convolutional neural network
CN109508360B (zh) 一种基于元胞自动机的地理多元流数据时空自相关分析方法
Eluyode et al. Comparative study of biological and artificial neural networks
CN107437096A (zh) 基于参数高效的深度残差网络模型的图像分类方法
CN106982359A (zh) 一种双目视频监控方法、系统和计算机可读存储介质
CN104809501B (zh) 一种基于类脑协处理器的计算机系统
CN107423814A (zh) 一种采用深度卷积神经网络建立动态网络模型的方法
CN108230278A (zh) 一种基于生成对抗网络的图像去雨滴方法
CN109086802A (zh) 一种基于八元数卷积神经网络的图像分类方法
CN112149815B (zh) 用于大规模类脑计算网络的种群聚类及种群路由方法
CN107766935A (zh) 多层人造神经网络
CN108304364A (zh) 关键词提取方法和装置
CN109597965A (zh) 基于深度神经网络的数据处理方法、系统、终端及介质
CN108171319A (zh) 网络连接自适应深度卷积模型的构建方法
CN108416397A (zh) 一种基于ResNet-GCN网络的图像情感分类方法
CN105701540A (zh) 一种自生成神经网络构建方法
CN102034111A (zh) 一种对飞行器结构损伤状态进行多元化识别与检测的方法
Lizhe et al. BP network model optimized by adaptive genetic algorithms and the application on quality evaluation for class teaching
CN108073979A (zh) 一种导入人工智能超深度学习用于图像识别的方法
Zhou Application of Deep Learning in Ocean Big Data Mining
CN109635942B (zh) 一种仿脑兴奋态和抑制态工作状态神经网络电路结构及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant