CN109086881A - 卷积神经网络及具有其的神经网络系统 - Google Patents

卷积神经网络及具有其的神经网络系统 Download PDF

Info

Publication number
CN109086881A
CN109086881A CN201810365817.7A CN201810365817A CN109086881A CN 109086881 A CN109086881 A CN 109086881A CN 201810365817 A CN201810365817 A CN 201810365817A CN 109086881 A CN109086881 A CN 109086881A
Authority
CN
China
Prior art keywords
pixel
equipment
input
neuromorphic
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810365817.7A
Other languages
English (en)
Other versions
CN109086881B (zh
Inventor
李炯东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
Hynix Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hynix Semiconductor Inc filed Critical Hynix Semiconductor Inc
Publication of CN109086881A publication Critical patent/CN109086881A/zh
Application granted granted Critical
Publication of CN109086881B publication Critical patent/CN109086881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

描述了一种包括卷积神经网络的神经形态设备。卷积神经网络可以包括：具有多个输入像素的输入层；多个内核电阻器，每个内核电阻器与多个输入像素中的一个输入像素相对应；以及中间层，其具有电连接到多个内核电阻器的多个中间像素。

Description

卷积神经网络及具有其的神经网络系统
相关申请的交叉引用
本专利申请要求于2017年6月14日提交的申请号为10-2017-0074838的韩国专利申请的优先权，其全部内容通过引用合并于此。
技术领域
本公开涉及包括卷积神经网络的神经形态设备、具有卷积神经网络的神经网络系统以及包括具有卷积神经网络的神经网络系统的神经形态设备。
背景技术
近来，神经形态技术领域的设备受到了许多关注，该设备使用模仿人脑的芯片。基于神经形态技术的神经形态设备包括多个突触前神经元或电路、多个突触后神经元或电路以及多个突触或突触电路。根据神经形态设备的学习状态，神经形态设备输出具有各种电平、幅度和/或时间的脉冲或尖峰。
神经形态设备包括神经网络系统。神经网络系统使用冯·诺依曼体系结构(Von-Neumann architecture)来实现。当使用冯·诺依曼体系结构的神经网络系统计算或处理数据模式时，神经网络系统通过中央处理单元访问存储器件，这延迟了处理时间并且需要大功率消耗。本公开提供了使用硬件配置的卷积神经网络、具有卷积神经网络的神经网络系统以及包括具有卷积神经网络的神经网络系统的神经形态设备。
发明内容
本公开的实施例提供了一种卷积神经网络。
本公开的实施例提供了一种具有卷积神经网络的神经网络系统。
本公开的实施例提供了一种包括具有卷积神经网络的神经网络系统的神经形态设备。
本公开的实施例提供了一种使用硬件配置的卷积神经网络。
本公开的实施例提供了一种卷积神经网络，其包括具有滤波电阻器的滤波处理器。
本公开的实施例提供了一种卷积神经网络，其包括具有固定电阻值的内核电阻器。
本公开的实施例提供了一种能够使用池化处理器来压缩数据的神经网络系统。
本公开的目的不限于上述目的和实施例。本领域技术人员根据本公开可以理解其它目的和实施例。
在本公开的实施例中，神经形态设备可以包括卷积神经网络。卷积神经网络可以包括：具有多个输入像素的输入层；具有固定电阻值的多个内核电阻器，每个内核电阻器与多个输入像素中的一个输入像素相对应；以及中间层，其具有电连接到多个内核电阻器的多个中间像素。可以根据模式数据而预先确定固定电阻值。
在本公开实施例中，神经形态设备可以包括卷积神经网络。神经形态设备可以包括输入设备和输出设备；以及在输入设备与输出设备之间的多个卷积神经网络。多个卷积神经网络中的每个卷积神经网络可以包括：具有多个输入像素的输入层；的具有固定电阻值的多个内核电阻器，其电连接到多个输入像素；多个中间像素，其电连接到多个内核电阻器；多个池化处理器，其电连接到多个中间像素中的至少一个中间像素；以及输出层，其具有电连接到多个池化处理器中的一个池化处理器的输出像素。
在本公开实施例中，神经形态设备可以包括卷积神经网络。卷积神经网络可以包括：具有多个传感器的模式感测单元；具有多个输入像素的输入层，该多个输入像素具有数据值；具有多个中间像素的中间层；具有多个输出像素的输出层；滤波处理器，其将多个传感器电连接到多个输入像素；以及卷积处理器，其将多个输入像素电连接到多个中间像素。
附图说明
图1A至图1C为示意性地示出根据本公开的实施例的神经形态设备的神经网络系统的示图；
图2为示意性地示出根据本公开的实施例的神经网络系统的示图；
图3A和图3B为示意性地示出根据本公开的实施例的卷积神经网络的示图；
图4A为示意性地示出卷积神经网络的卷积处理器的示图；
图4B为示意性地描述使用卷积神经网络的卷积处理器的卷积处理方法的示图；
图5A和图5B为示出根据本公开的实施例的卷积神经网络的池化处理器和池化处理方法的示意图；
图6A和图6B为示出根据本公开的实施例的卷积神经网络的示意图；
图7A至图7C为示意性地示出根据本公开的各种实施例的神经元的特性的曲线图；
图8为示意性地示出根据本公开的实施例的神经形态设备的神经网络的一部分的示图；
图9为示意性地示出根据本公开的实施例的神经网络系统的示图；
图10为示意性地示出根据本公开的实施例的模式识别系统的示图。
具体实施方式
下面结合附图更详细地描述各种实施例。然而，本公开的实施例可以具有不同的形式，并且不应该解释为局限于本文中所阐述的实施例。相反，提供这些实施例使得本公开将是全面的和完整的，并且将权利要求的范围充分地传达给本领域技术人员。
在整个说明书中，相同的附图标记表示相同的元件。因此，虽然在对应的附图中没有提及或者描述相同或相似的附图标记，但是可以结合其它附图来对附图标记进行描述。此外，虽然元件没有用附图标记来表示，但可以结合其它附图来对元件进行描述。
图1A至图1C为示意性地示出根据本公开的实施例的神经形态设备的神经网络系统100A至100C的示图。
参考图1A，根据本公开的实施例的神经形态设备的神经网络系统100A可以包括输入设备110、多个神经元层130a至130c、多个突触层140a和140b以及输出设备120。输入设备110可以包括诸如扫描仪、相机、麦克风或感测各种模式数据的传感器的设备。输出设备120可以包括诸如显示器、打印机、扬声器或着各种视频或音频设备的设备。在本公开的一些实施例中，输入设备110和输出设备120中的一个可以包括储存模式数据的储存元件(诸如存储元件)。例如，从输入设备110提供给第一神经元层130a的模式数据可以被储存在输出设备120中，或由输出设备120输出。
多个神经元层130a至130c可以分别包括多个神经元135a至135c。尽管在图1A中示出了三个神经元层130a至130c和两个突触层140a和140b，但是在其它实施例中，神经网络系统100A可以包括更多的神经元层和更多的突触层。神经元层130a至130c可以通过突触层140a和140b彼此连接。具体地，第一神经元层130a的第一神经元135a可以通过第一突触145a连接到第二神经元层130b的第二神经元135b。第二神经元层130b的第二神经元135b可以通过第二突触145b连接到第三神经元层130c的第三神经元135c。
参考图1B，根据本公开的实施例的神经形态设备的神经网络系统100B可以包括数据压缩网络系统。例如，神经网络系统100B可以包括输入设备110、多个神经元层130a至130c、多个突触层140a和140b以及输出设备120。神经元层130a至130c中的神经元的数量和突触层140a和140b中的突触的数量可以从上部(靠近或朝向输入设备110)向下部(靠近或朝向输出设备120)减少。例如，神经网络系统100B可以包括压缩卷积系统和/或压缩池化系统。
参考图1C，根据本公开的实施例的神经形态设备的神经网络系统100C可以包括数据扩展网络系统。例如，神经网络系统100C可以包括输入设备110、多个神经元层130a至130c、多个突触层140a和140b以及输出设备120。神经元层130a至130c中的神经元的数量和突触层140a和140b中的突触的数量可以从上部(靠近或朝向输入设备110)向下部(靠近或朝向输出设备120)增加。例如，神经网络系统100B可以包括扩展卷积系统。
图2为示意性地示出根据本公开的实施例的神经网络系统的示图。参考图2，根据本公开的实施例的神经网络系统100可以包括输入设备110、多个卷积神经网络200以及输出设备120。输入设备110可以包括诸如扫描仪、相机、麦克风或感测各种模式数据的传感器的设备。输出设备120可以包括诸如显示器、打印机、扬声器或着各种视频或音频设备的设备。在本公开的一些实施例中，输入设备110和输出设备120中的一个可以包括储存模式数据的储存元件(诸如存储元件)。例如，从输入设备110提供给卷积神经网络200的模式数据可以被储存在输出设备120中，或者由输出设备120输出。可选地，可以将储存在输入设备110中的模式数据提供给卷积神经网络200，并输出到输出设备120。多个卷积神经网络200可以卷积处理从输入设备110提供的模式数据，并将处理后的模式数据提供给输出设备120。再参考图1A至图1C，卷积神经网络200可以对应于神经元层130a至130c和突触层140a和140b。下面进行更为详细的描述。
图3A和图3B为示意性地示出根据本公开的实施例的卷积神经网络的示图。参考图3A，根据本公开的实施例的卷积神经网络200A可以包括输入层210、卷积处理器220以及输出层250。输入层210可以包括将在卷积处理器220中处理的模式数据。输入层210可以包括从输入设备110提供的或者从前一个卷积神经网络200提供的模式数据。例如，输入层210包括图像模式数据。卷积处理器220可以卷积处理从输入层210提供的图像模式数据，并将卷积处理后的图像模式数据提供给输出层250。即，输出层250可以包括卷积处理后的图像模式数据。输出层250的卷积处理后的图像模式数据可以被提供给另一个卷积神经网络200或输出设备120。
参考图3B，根据本公开的实施例的卷积神经网络200B可以包括输入层210、卷积处理器220、中间层230、池化处理器240以及输出层250。卷积处理器220可以卷积处理从输入层210提供的图像模式数据，并将卷积处理后的图像模式数据提供给中间层230。即，中间层230可包括卷积处理后的图像模式数据。池化处理器240可以池化处理中间层230的卷积处理后的图像模式数据，并将池化处理后的图像数据提供给输出层250。即，输出层250可以包括已经经过卷积处理和池化处理的图像模式数据。
图2所示的卷积神经网络200中的每个卷积神经网络都可以包括图3A和图3B中所示的卷积神经网络200A或200B中的一种。
图4A为示意性地示出根据本公开的实施例的卷积神经网络200的卷积处理器220的示图，而图4B为示意性地描述使用卷积神经网络200的卷积处理器220的卷积处理方法的示图。在一个示例中，描述了对输入层210的3×3像素Pi的数据值进行卷积处理的方法。
参考图4A和4B，根据本公开的实施例的卷积神经网络200可以包括输入层210与中间层230之间的卷积处理器220。卷积处理器220可以包括与输入层210的多个输入像素Pi分别电连接并对应的多个内核电阻器R。例如，使用卷积处理器220的相应内核电阻器R1至R9对输入层210的九个像素Pi1至Pi9的每个数据值(例如，突触权重)进行算术运算(计算)，并将结果发送到中间层230的一个像素Pm。在其它示例中，N个分组的输入像素Pi可以通过相应的N个分组的内核电阻器R电连接到一个中间像素Pm，其中N为正整数。在图4B中所示的实施例中，N为9。
因此，中间层230的一个中间像素Pm可以电连接到分组的内核电阻器R1至R9中的全部。此外，中间层230的一个中间像素Pm可以电连接到输入层210的分组的输入像素Pi1至Pi9中的全部。再参考图3A，在本公开的实施例中，输出层250可以是中间层230。例如，输入层210的多个输入像素Pi1至Pi9的数据值可以是突触权重(即，电流值)，并且数据值可以用于下面的计算中，而结果被发送到中间层230的一个像素Pm。
Pm＝(Pi1/R1+Pi2/R2+Pi3/R3+Pi4/R4+Pi5/R5+Pi6/R6+Pi7/R7+Pi8/R8+Pi9/R9)
这个等式作为示例呈现。
根据本公开，可以使用卷积处理器220的内核电阻器R以各种方式对输入层210的多个像素Pi进行计算，并将结果发送到中间层230的一个像素Pm。此外，在输入层210的中心处的中心像素(例如，图4B中的像素Pi5)和外围像素(例如，图4B中的像素Pi1至Pi4和Pi6至Pi9)的数据值可以被卷积处理并被集中到中间层230的一个像素(例如，图4B中的像素Pm)。即，可以对输入层210的所有输入像素执行卷积神经网络220的卷积处理。尽管将卷积处理描述为是针对输入层210的3×3像素PiX而执行，但是也可以对M×M(其中M为奇数)像素PiX(例如5×5、7×7、9×9等)执行卷积处理。
在一个实施例中，内核电阻器RX可以包括具有根据输入层210中的各种类型的图像模式数据而预先确定的固定电阻值的电阻器件。具体地，卷积处理器220可以具有固定的内核电阻值，从而可以根据各种类型的图像模式数据来执行快速操作。因此，根据本公开的卷积神经网络200的卷积处理器220可以使用硬件配置来执行卷积处理，使得卷积处理器220的处理速度比使用软件的处理速度快。
在另一个实施例中，内核电阻器RX可以具有可变电阻器。例如，内核电阻器RX可以具有相变随机存取存储器(PCRAM)、电阻式随机存取存储器(ReRAM)、磁阻随机存取存储器(MRAM)、导电桥接随机存取存储器(CBRAM)或其它可变电阻元件中的一种。
图5A和图5B为示出根据本公开的实施例的卷积神经网络200的池化处理器240和描述卷积神经网络200的池化处理方法的示意图。为便于理解本公开，在一个示例中，描述了池化处理2×2中间像素Pm的数据值的方法。
参考图5A和图5B，根据本公开的实施例的卷积神经网络200可以包括中间层230和输出层250之间的池化处理器240。在图5B中，池化处理器240可以计算中间层230的多个像素Pm1至Pm4的值，并将所计算的值发送到输出层250的一个像素Po。例如，池化处理器240可以包括滤波器矩阵，该滤波器矩阵具有电连接到中间层230的像素Pm1至Pm4中的每个像素的电阻器、电容器、二极管或晶体管中的至少一种。输出或池化处理器240可以采用各种方法计算施加到滤波器矩阵的每个单元滤波器(电阻器、电容器、二极管或晶体管)的电压或电流，以确定最终的输出值。
在本公开的实施例中，池化处理器240可以包括最大池化处理器、最小池化处理器以及平均池化处理器中的至少一种。最大池化处理器可以选择中间层230的多个像素Pm1至Pm4的值之中的最大值，并将最大值发送(或输出)到输出层250的一个像素Po。最小池化处理器可以选择中间层230的多个像素Pm1至Pm4的值之中的最小值，并将最小值发送(或输出)到输出层250的一个像素Po。平均池化处理器可以对中间层230的多个像素Pm1至Pm4的值取平均，并将平均值发送(或输出)到输出层250的一个像素Po。在本公开的其它实施例中，池化处理器240可以包括各种池化处理器以执行各种计算操作。例如，池化处理器240可以是最大池化处理器。即，本实施例的池化处理器240可以将中间层230的分组的中间像素Pm1至Pm4之中的最大值发送到输出层250的一个像素Po。由于可以将多个中间层230的分组的中间像素Pm1至PmX的值发送到输出层250的一个输出像素Po，因此可以压缩图像模式数据(其中X为正整数，并且在一个实施例中，X为4)。
图6A和图6B为示出根据本公开的实施例的卷积神经网络200的示意图。参考图6A和6B，根据本公开的实施例的卷积神经网络200可以包括输入层210、卷积处理器220、中间层230、池化处理器240以及输出层250。为便于理解本发明，在一个示例中，两组3×3输入像素Pi分别作为输入像素组Pi_G1和Pi_G2被卷积处理，两组2×2中间像素Pm分别作为中间像素组Pm_G1和Pm_G2被池化处理。
参考图6A，在根据本公开的实施例的卷积神经网络200中，可以对输入层210的输入像素组Pi_G1和Pi_G2分别进行卷积处理，并将结果发送到相应的中间像素组Pm_G1和Pm_G2中的中间像素Pm中的一个。在图6B中，可以对输入层210的输入像素组Pi_G1和Pi_G2的数据模式进行卷积处理，并将结果发送到中间像素Pm1和Pm2。参考图6A和6B，可以对中间像素组Pm_G1和Pm_G2的值进行池化处理，并将结果分别发送到输出层250的输出像素Po1和Po2。输入层210的输入像素Pi的数量和中间层230的中间像素Pm的数量可以大致相等。即，在卷积处理期间，输入层210的输入像素组Pi_Gx的中心输入像素Pi可以与中间层230的一个中间像素Pm以一一对应的方式来对应。输出层250的输出像素Po的数量可以小于中间层230的中间像素Pm的数量。即，在池化处理期间，中间层230的多个中间像素Pm可以对应于输出层250的输出像素Po中的一个。
进一步参考图1A至图1C，输入层210可以对应于第一神经元层130a，卷积处理器220可以对应于第一突触层140a，中间层230可以对应于第二神经元层130b，池化处理器240可以对应于第二突触层140b，并且输出层250可以对应于第三神经元层130c。因此，神经元135a、135b和135c可以对应于输入或输出像素，突触145a可以对应于内核电阻器，并且突触145b可以对应于滤波器矩阵，其中每个滤波器矩阵都具有电阻器、电容器、二极管或晶体管中的至少一种。在本公开的一些实施例中，两个神经元层130a和130b和突触层140a或者两个神经元层130b和130c和突触层140b可以对应于单个卷积神经网络200。
当用于识别特定的图像模式数据时，根据本公开的各种实施例的神经形态设备的神经形态网络系统100和卷积神经网络200可以非常具有优势。具体而言，当学习或识别具有特定类型的各种图像模式时，使用已经设置好的或者预先设置的卷积处理器220和池化处理器240能够对数据进行快速处理而无需任何反馈。
例如，当学习或识别具有特定形状的图像模式时，可以预先获知用于学习或识别所必要的神经元(像素)以及不必要的神经元(像素)，可以将具有相对较低电阻值的内核电阻器连接到必要的神经元(像素)，而将具有相对较高电阻值的内核电阻器连接到不必要的神经元(像素)。因此，可以保持或放大必要的神经元(像素)的数据值，而去除或减小不必要的神经元(像素)的数据值。即，内核电阻器可以对应于神经形态设备的突触权重。
图7A至图7C为示意性地示出根据本公开的各种实施例的神经元的特性的曲线图。参考图7A，根据本公开的实施例的图1A至图1C中的诸如135a、135b或135c的神经元可以具有硬限幅函数输出特性。例如，当输入信号是负(-)值时，可以输出具有恒定负值(-α)的输出信号；而当输入信号是正(+)值时，可以输出具有恒定正值(+α)的输出信号。
参考图7B，根据本公开的实施例的图1A至图1C中的诸如135a、135b或135c的神经元可以具有阈值逻辑函数输出特性。例如，当输入信号是负(-)值时，输出信号可以是零；而当输入信号是正(+)值时，输出信号可以具有与输入信号值成比例的正(+)值，直到输出信号达到限定值(+α)。
参考图7C，根据本公开的实施例的图1A至图1C中的诸如135a、135b或135c的神经元可以具有S形函数(sigmoid functional)输出特性。例如，当输入信号从负(-)值变为正(+)值时，输出信号可以平滑地从负(-)值转变为正(+)值。输出信号可以分别具有有限负值(-α)和有限正值(+α)。
图8为示意性地示出根据本公开的实施例的神经形态设备的神经网络系统的一部分的示意图。参考图8，根据本公开的实施例的神经形态设备的神经网络系统还可以包括模式感测单元201与输入层210之间的滤波处理器205。
模式感测单元201可以包括第一传感器S1和第二传感器S2。第一传感器S1可以感测有效模式数据，而第二传感器S2可以感测无效模式数据。例如，如图8所示，当在模式感测单元201中感测到与字符“H”类似的图像模式时，模式感测单元201可以产生具有与字符“H”相对应的有效数据信息的第一感测信号和来自第二传感器S2的具有与字符“H”不对应的无效数据信息的第二感测信号。
滤波处理器205可以包括第一滤波电阻器F1和第二滤波电阻器F2。第一滤波电阻器F1可以连接到具有有效数据信息的第一传感器S1，而第二滤波电阻器F2可以连接到具有无效数据信息的第二传感器S2。在图8中，第一滤波电阻器F1由虚线表示，而第二滤波电阻器F2由实线表示。在本公开中，第一滤波电阻器F1可以具有相对较低的固定电阻值，而第二滤波电阻器F2可以具有相对较高的固定电阻值。
输入层210可以包括第一输入像素Pi1和第二输入像素Pi2。例如，第一输入像素Pi1可以通过第一滤波电阻器F1耦接到第一传感器S1，而第二输入像素Pi2可以通过第二滤波电阻器F2耦接到第二传感器S2。
因此，由模式感测单元201中的第一传感器S1感测到的第一信息可以通过滤波处理器205的第一滤波电阻器F1被发送到输入层210的第一输入像素Pi1，而由第二传感器S2感测到的第二信息可以通过滤波处理器205的第二滤波电阻器F2被发送到输入层210的第二输入像素Pi2。第一信息可以包括有效模式数据，而第二信息可以包括无效模式数据。第一滤波电阻器F1可以具有相对较低的电阻值，而第二滤波电阻器F2可以具有相对较高的电阻值。即，滤波处理器205可以通过将第一传感器S1的第一信息作为有效信号进行处理而将第二传感器S2的第二信息作为噪声进行处理来执行滤波操作。滤波处理器205可以将第一有效信息(有效模式数据)发送到输入层210的第一输入像素Pi1，而阻挡或减少发送到第二输入像素Pi2的第二信息(无效模式数据)。
当根据本公开的实施例的神经形态设备用于特定目的时，可以将专用于此目的的模式数据发送到输入层210。一些传感器(例如，第二传感器S2)的无效信息或任何无效模式数据可以被跳过，从而可以降低功耗并且可以提高数据处理速度。
在实施例中，当第一滤波电阻器F1和第二滤波电阻器F2具有固定电阻值时，只将与预定的第一传感器S1或第二传感器S2相对应的数据模式选择性地施加到输入层210的输入像素Pi1或Pi2。在其它实施例中，当第一滤波电阻器F1和第二滤波电阻器F2具有可变电阻值时，第一滤波电阻器F1和第二滤波电阻器F2的电阻值可以根据各种目的进行设定。即，滤波处理器205可以根据各种目的来将具有各种场形状的模式数据发送到输入层210。
图9为示意性地示出根据本公开的实施例的神经网络系统的示图。参考图9，根据本公开的实施例的神经网络系统可以包括模式感测单元201、滤波处理器205、输入层210、卷积神经网络220、中间层230、池化处理单元240以及输出层250。具体地，由模式感测单元201感测到的模式数据可以由滤波处理器205进行滤波，然后被发送到输入层210。如参考图8所描述的，输入层210可以包括具有有效信息(或有效模式数据)的第一输入像素Pi1和具有无效信息(或无效模式数据)的第二输入像素Pi2。在卷积神经网络220中，可以对第一输入像素Pi1的有效模式数据进行卷积处理，并且可以实质上跳过或忽略第二输入像素Pi2的无效模式数据。因此，可以进一步降低根据本公开的实施例的神经网络系统的功耗，并且可以进一步提高数据处理速度。
图10为示意性地示出根据本公开的实施例的模式识别系统900的示图。例如，模式识别系统900可以包括语音识别系统、成像识别系统、代码识别系统、信号识别系统以及用于识别各种模式的一种或更多种系统。
参考图10，根据本公开的实施例的模式识别系统900可以包括中央处理器(CPU)910、存储单元920、通信控制单元930、网络940、输出单元950、输入单元960、模数转换器(ADC)970、神经形态单元980和/或总线990。CPU 910可以产生并发送用于神经形态单元980的学习处理的各种信号，并且根据神经形态单元980的输出来执行用于识别模式的各种处理和功能。例如，CPU 910可以基于神经形态单元980的输出来执行用于识别语音和成像模式的处理和功能。
CPU 910可以通过总线990连接到存储单元920、通信控制单元930、输出单元950、ADC 970以及神经形态单元980。
存储单元920可以储存需要储存在模式识别系统900中的各种信息。存储单元920可以包括易失性存储器件(诸如DRAM或SRAM)、非易失性存储器(诸如PRAM、MRAM、ReRAM或NAND快闪存储器)以及各种存储单元(诸如硬盘驱动器(HDD)和固态驱动器(SSD))中的一种或更多种。
通信控制单元930可以通过网络940向另一个系统的通信控制单元发送数据和/或从其接收数据。例如，通信控制单元930可以通过网络940发送语音和/或图像识别数据。
输出单元950可以以各种方式输出数据。例如，输出单元950可以包括扬声器、打印机、监视器、显示面板、光束投影仪、全息摄影机或其它各种输出设备。输出单元950可以输出例如语音和/或图像识别数据。
输入单元960可以包括以下的任何一种：麦克风、相机、扫描仪、触摸板、键盘、鼠标、鼠标笔以及各种传感器中的一种或更多种。
ADC 970可以将从输入单元960输入的模拟数据转换为数字数据。
神经形态单元980可以使用从ADC 970输出的数据来执行学习或识别，并且输出与所识别的模式相对应的数据。神经形态单元980可以包括根据上述各种实施例的神经形态设备中的一种或更多种。
根据本公开的神经网络系统和神经形态设备可以以非常高的速度来计算，并且具有低功耗。
与传统神经网络和传统神经形态系统相比，根据本公开的神经网络系统和神经形态设备可以具有更简单的系统配置。
根据本公开的神经网络系统和神经形态设备可以专用于特定的数据模式。内核电阻器和/或滤波电阻器可以具有与特定数据模式相对应的固定电阻值，这允许更快的处理。
尽管出于说明的目的已经描述了各种实施例，但是对于本领域技术人员来说显而易见的是，可以在不脱离如所附权利要求中所限定的本公开的精神和范围的情况下做出各种变化和修改。

Claims (20)

1.一种包括卷积神经网络的神经形态设备，包括：
卷积神经网络，包括：
具有多个输入像素的输入层；
具有固定电阻值的多个内核电阻器，每个内核电阻器与所述多个输入像素中的一个输入像素相对应；以及
中间层，其具有电连接到所述多个内核电阻器的多个中间像素；
其中，固定电阻值根据模式数据而被预先确定。
2.如权利要求1所述的神经形态设备，
其中，所述多个内核电阻器中的每个内核电阻器电连接到所述多个输入像素中的一个输入像素和所述多个中间像素中的一个中间像素。
3.如权利要求2所述的神经形态设备，
其中，所述输入像素中的至少N个输入像素通过所述内核电阻器中的N个内核电阻器共同电连接到所述中间像素中的一个中间像素，其中N为正整数。
4.如权利要求1所述的神经形态设备，还包括：
至少一个池化处理器，其电连接到所述多个中间像素，以及
具有多个输出像素的输出层，
其中，所述多个输出像素中的一个输出像素电连接到所述至少一个池化处理器。
5.如权利要求4所述的神经形态设备，
其中，所述中间像素中的至少M个中间像素共同电连接到所述输出像素中的一个输出像素，其中M为正整数。
6.如权利要求4所述的神经形态设备，
其中，所述至少一个池化处理器将所述中间像素的M个中间像素的数据值的最大值或平均值发送到所述输出像素中的一个输出像素。
7.如权利要求4所述的神经形态设备，
其中，所述多个输出像素比所述多个中间像素具有更少的像素。
8.如权利要求1所述的神经形态设备，还包括：
具有多个传感器的模式感测单元；以及
滤波处理器，其具有将所述多个传感器电连接到所述多个输入像素的多个滤波电阻器。
9.如权利要求8所述的神经形态设备，
其中，所述多个滤波电阻器中的每个滤波电阻器将所述多个传感器中的每个传感器电连接到所述多个输入像素中的每个输入像素，
其中，滤波电阻器具有根据模式数据而预先确定的固定电阻值。
10.如权利要求8所述的神经形态设备，
其中，所述多个滤波电阻器包括具有比第二滤波电阻器更低的电阻值的第一滤波电阻器。
11.一种包括卷积神经网络的神经形态设备，包括：
输入设备和输出设备；以及
在输入设备与输出设备之间的多个卷积神经网络，
其中，所述多个卷积神经网络中的每个卷积神经网络包括：
具有多个输入像素的输入层；
具有固定电阻值的多个内核电阻器，其电连接到所述多个输入像素；
多个中间像素，其电连接到所述多个内核电阻器；
多个池化处理器，其电连接到所述多个中间像素中的至少一个中间像素；以及
输出层，其具有电连接到所述多个池化处理器中的一个池化处理器的输出像素。
12.如权利要求11所述的神经形态设备，
其中，所述多个输入像素的组N×N电连接到所述多个内核电阻器的组N×N，以及
其中，所述多个内核电阻器的所述组N×N共同电连接到所述多个中间像素中的一个中间像素，其中N为正整数。
13.如权利要求12所述的神经形态设备，
其中，所述多个中间像素的组M×M共同电连接到输出像素，其中M为正整数。
14.如权利要求11所述的神经形态设备，
其中，输入设备包括具有多个传感器的模式感测单元，以及
其中，所述多个卷积神经网络中的每个卷积神经网络包括将模式感测单元的所述多个传感器电连接到输入层的所述多个输入像素的滤波处理器。
15.如权利要求14所述的神经形态设备，
其中，滤波处理器包括将所述多个传感器连接到所述多个输入像素的多个滤波电阻器，滤波电阻器具有固定电阻值，以及
其中，所述多个滤波电阻器包括比多个第二滤波电阻器具有相对较低的电阻值的多个第一滤波电阻器。
16.一种包括卷积神经网络的神经形态设备，包括：
具有多个传感器的模式感测单元；
具有多个输入像素的输入层，所述多个输入像素具有数据值；
具有多个中间像素的中间层；
具有多个输出像素的输出层；
滤波处理器，其将所述多个传感器电连接到所述多个输入像素；以及
卷积处理器，其将所述多个输入像素电连接到所述多个中间像素。
17.如权利要求16所述的神经形态设备，
其中，滤波处理器包括具有固定电阻值的多个滤波电阻器，以及
其中，所述多个滤波电阻器中的每个滤波电阻器将所述多个传感器中的一个传感器电连接到所述多个输入像素中的一个输入像素。
18.如权利要求17所述的神经形态设备，
其中，所述多个传感器包括具有有效信息的多个第一传感器和具有无效信息的多个第二传感器，
其中，所述多个滤波电阻器包括电连接到所述多个第一传感器的多个第一滤波电阻器和电连接到所述多个第二传感器的多个第二滤波电阻器，以及
其中，所述多个第一滤波电阻器具有比所述多个第二滤波电阻器的电阻值更低的电阻值。
19.如权利要求16所述的神经形态设备，
其中，卷积处理器包括具有固定电阻值的内核电阻器，
其中，卷积处理器处理所述多个输入像素的数据值，并将处理后的数据值发送到所述多个中间像素中的一个中间像素。
20.如权利要求16所述的神经形态设备，还包括：
池化处理器，其将所述多个中间像素电连接到所述多个输出像素中的一个输出像素，
其中，池化处理器将所述多个中间像素的数据值的平均值发送到所述多个输出像素中的一个输出像素。
CN201810365817.7A 2017-06-14 2018-04-23 卷积神经网络及具有其的神经网络系统 Active CN109086881B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170074838A KR20180136202A (ko) 2017-06-14 2017-06-14 컨볼루션 신경망 및 컨볼루션 신경망을 가진 신경망 시스템
KR10-2017-0074838 2017-06-14

Publications (2)

Publication Number Publication Date
CN109086881A true CN109086881A (zh) 2018-12-25
CN109086881B CN109086881B (zh) 2022-05-24

Family

ID=64658165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810365817.7A Active CN109086881B (zh) 2017-06-14 2018-04-23 卷积神经网络及具有其的神经网络系统

Country Status (3)

Country Link
US (1) US10713531B2 (zh)
KR (1) KR20180136202A (zh)
CN (1) CN109086881B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017168665A1 (ja) * 2016-03-30 2017-10-05 株式会社ニコン 特徴抽出素子、特徴抽出システム、および判定装置
CN111027683A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及电子设备
US11765188B2 (en) * 2020-12-28 2023-09-19 Mellanox Technologies, Ltd. Real-time detection of network attacks
US11694733B2 (en) * 2021-08-19 2023-07-04 Apple Inc. Acceleration of in-memory-compute arrays

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283746A (en) * 1990-02-22 1994-02-01 At&T Bell Laboratories Manufacturing adjustment during article fabrication
US5491776A (en) * 1991-08-05 1996-02-13 Kawasaki Steel Corporation Signal processing apparatus and learning method therefor
US20030076992A1 (en) * 2001-06-26 2003-04-24 Banish Michele R. Neural network based element, image pre-processor, and method of pre-processing using a neural network
CN107368889A (zh) * 2017-06-01 2017-11-21 北京大学 基于阻变存储器三维交叉阵列的卷积、池化和激活电路

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293453A (en) * 1990-06-07 1994-03-08 Texas Instruments Incorporated Error control codeword generating system and method based on a neural network
US5091965A (en) * 1990-07-16 1992-02-25 Sony Corporation Video image processing apparatus
US5422982A (en) * 1991-05-02 1995-06-06 Dow Corning Corporation Neural networks containing variable resistors as synapses
US5157399A (en) * 1991-08-15 1992-10-20 Sony Corporation Neural network quantizer
US6894639B1 (en) * 1991-12-18 2005-05-17 Raytheon Company Generalized hebbian learning for principal component analysis and automatic target recognition, systems and method
US5249954A (en) * 1992-07-07 1993-10-05 Electric Power Research Institute, Inc. Integrated imaging sensor/neural network controller for combustion systems
US6198089B1 (en) * 1999-03-31 2001-03-06 The Hong Kong University Of Science And Technology Steerable and scalable spatial filters
US7359888B2 (en) * 2003-01-31 2008-04-15 Hewlett-Packard Development Company, L.P. Molecular-junction-nanowire-crossbar-based neural network
US7876974B2 (en) * 2003-08-29 2011-01-25 Vladimir Brajovic Method for improving digital images and an image sensor for sensing the same
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9345413B2 (en) * 2012-08-12 2016-05-24 David Schie Heart rate extraction using neural wavelet adaptive gain control and neural pattern processing
US11256982B2 (en) 2014-07-18 2022-02-22 University Of Southern California Noise-enhanced convolutional neural networks
FR3025344B1 (fr) * 2014-08-28 2017-11-24 Commissariat Energie Atomique Reseau de neurones convolutionnels
US10885429B2 (en) * 2015-07-06 2021-01-05 University Of Dayton On-chip training of memristor crossbar neuromorphic processing systems
US10074050B2 (en) * 2015-07-13 2018-09-11 Denso Corporation Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit
US10296430B2 (en) * 2016-04-06 2019-05-21 Nec Corporation Mobile phone with system failure prediction using long short-term memory neural networks
JP6846297B2 (ja) * 2016-06-20 2021-03-24 キオクシア株式会社 演算装置
US10176425B2 (en) * 2016-07-14 2019-01-08 University Of Dayton Analog neuromorphic circuits for dot-product operation implementing resistive memories
TWI654965B (zh) * 2016-07-15 2019-04-01 國立交通大學 電阻抗斷層攝影術影像之後處理系統與後處理方法
US11501130B2 (en) * 2016-09-09 2022-11-15 SK Hynix Inc. Neural network hardware accelerator architectures and operating method thereof
US9646243B1 (en) * 2016-09-12 2017-05-09 International Business Machines Corporation Convolutional neural networks using resistive processing unit array
CN108229669A (zh) * 2016-12-15 2018-06-29 许富菖 神经网络阵列的自学习
KR102578124B1 (ko) * 2016-12-16 2023-09-14 에스케이하이닉스 주식회사 신경망 장치의 정규화 장치 및 방법
WO2018120013A1 (en) * 2016-12-30 2018-07-05 Nokia Technologies Oy Artificial neural network
JP6794891B2 (ja) * 2017-03-22 2020-12-02 株式会社デンソー ニューラルネットワーク回路
US10909449B2 (en) * 2017-04-14 2021-02-02 Samsung Electronics Co., Ltd. Monolithic multi-bit weight cell for neuromorphic computing
US20180357532A1 (en) * 2017-06-09 2018-12-13 International Business Machines Corporation Convolutional neural network on analog neural network chip
US11301752B2 (en) * 2017-10-24 2022-04-12 International Business Machines Corporation Memory configuration for implementing a neural network
US11222259B2 (en) * 2017-12-13 2022-01-11 International Business Machines Corporation Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283746A (en) * 1990-02-22 1994-02-01 At&T Bell Laboratories Manufacturing adjustment during article fabrication
US5491776A (en) * 1991-08-05 1996-02-13 Kawasaki Steel Corporation Signal processing apparatus and learning method therefor
US20030076992A1 (en) * 2001-06-26 2003-04-24 Banish Michele R. Neural network based element, image pre-processor, and method of pre-processing using a neural network
CN107368889A (zh) * 2017-06-01 2017-11-21 北京大学 基于阻变存储器三维交叉阵列的卷积、池化和激活电路

Also Published As

Publication number Publication date
US10713531B2 (en) 2020-07-14
US20180365520A1 (en) 2018-12-20
KR20180136202A (ko) 2018-12-24
CN109086881B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN109086881A (zh) 卷积神经网络及具有其的神经网络系统
US11087208B2 (en) Analog neuromorphic circuits for dot-product operation implementing resistive memories
KR102571104B1 (ko) 신경망 하드웨어 가속기 아키텍처 및 그 동작 방법
US20190156201A1 (en) Device and method for distributing convolutional data of a convolutional neural network
JP7047062B2 (ja) 神経形態学的処理装置
JP6477922B2 (ja) メモリスタ神経形態学的回路及びメモリスタ神経形態学的回路をトレーニングするための方法
US9691479B1 (en) Method of operating and apparatus of memristor arrays with diagonal lines interconnect between memristor cells
JP2022540550A (ja) ニューラルネットワークアクセラレータにおいてスパースデータを読み取るおよび書き込むためのシステムおよび方法
CN107209871A (zh) 具有回调的卷积矩阵相乘以用于深度卷积神经网络的深度瓦片化
Liu et al. Memristor crossbar architectures for implementing deep neural networks
Payvand et al. On-chip error-triggered learning of multi-layer memristive spiking neural networks
US20210232897A1 (en) Device and method for calculating convolution in a convolutional neural network
US20150112910A1 (en) Hardware enhancements to radial basis function with restricted coulomb energy learning and/or k-nearest neighbor based neural network classifiers
WO2015167765A2 (en) Temporal spike encoding for temporal learning
US11593002B2 (en) Artificial neural networks in memory
US20200125936A1 (en) Artificial neural network circuit and method for switching trained weight in artificial neural network circuit
US20200210807A1 (en) Computer for spiking neural network with maximum aggregation
Yang et al. Memristor-based BAM circuit implementation for image associative memory and filling-in
Sun et al. Quaternary synapses network for memristor-based spiking convolutional neural networks
Truong et al. Comparative study on statistical-variation tolerance between complementary crossbar and twin crossbar of binary nano-scale memristors for pattern recognition
JP6901163B2 (ja) 重み符号固定学習装置
US11562240B2 (en) Efficient tile mapping for row-by-row convolutional neural network mapping for analog artificial intelligence network inference
US11694065B2 (en) Spiking neural unit
Tian et al. NIMBLE: A Neuromorphic Learning Scheme and Memristor Based Computing-in-Memory Engine for EMG Based Hand Gesture Recognition
Dawwd et al. A reconfigurable interconnected filter for face recognition based on convolution neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant