CN115130648A - 信息处理装置、隐藏节点的设定方法和信息处理装置的制造方法 - Google Patents

信息处理装置、隐藏节点的设定方法和信息处理装置的制造方法 Download PDF

Info

Publication number
CN115130648A
CN115130648A CN202210287668.3A CN202210287668A CN115130648A CN 115130648 A CN115130648 A CN 115130648A CN 202210287668 A CN202210287668 A CN 202210287668A CN 115130648 A CN115130648 A CN 115130648A
Authority
CN
China
Prior art keywords
storage layer
layer
information processing
nodes
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210287668.3A
Other languages
English (en)
Inventor
寺崎幸夫
中田一纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TDK Corp
Original Assignee
TDK Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TDK Corp filed Critical TDK Corp
Publication of CN115130648A publication Critical patent/CN115130648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)
  • Semiconductor Memories (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及信息处理装置、隐藏节点的设定方法和信息处理装置的制造方法。该信息处理装置包括储存层和读出层，储存层包括生成特征空间的多个节点，该特征空间包含输入至上述储存层的输入信号的信息，上述读出层进行对从上述储存层发送的信号分别施加结合权重的运算，从上述储存层向上述读出层发送的信号的数量比上述多个节点的数量少。

Description

信息处理装置、隐藏节点的设定方法和信息处理装置的制造 方法
技术领域
本发明涉及信息处理装置、隐藏节点的设定方法和信息处理装置的制造方法。
背景技术
神经形态器件是利用神经网络模仿人脑的元件。神经形态器件人工模仿人脑中的神经元与突触的关系。
神经形态器件例如具有分层级配置的节点(脑中的神经元)和在它们之间进行联系的传达单元(脑中的突触)。神经形态器件通过传达单元(突触)进行学习来提高问题的回答正确率。学习是从信息中发现将来可能使用的知识，在神经形态器件中对所输入的数据进行加权。
作为神经网络的一种，已知有循环神经网络。循环神经网络在内部包含递归结合，能够处理时间序列的数据。时间序列的数据是其值随着时间的经过而变化的数据，股票价格等就是其一个例子。循环神经网络还能够在内部具有非线性的激活部。激活部中的处理在数学上能够看作向非线性空间的投影。通过将数据投影至非线性空间，循环神经网络能够提取时间序列信号具有的复杂的信号变化的特征。通过将后级的层级的神经元中的处理结果返回给前级的层级的神经元，循环神经网络能够实现递归处理。循环神经网络通过进行递归处理，能够获得时间序列的数据的背景中的规则和控制因素。
储存计算是包含递归结合和非线性激活函数的循环神经网络的一种。储存计算是作为液体状态机的安装方法发展的神经网络。
储存计算大体由储存层和读出层构成。此处所谓的“层”是概念性的层，不需要作为物理结构物形成有层。储存层为包含大量非线性节点与节点间的递归结合的图结构。读出层在有很多的情况下，通过由单层构成的感知机构成。储存计算是储存层模仿人脑的神经元结合，将状态表现为干涉状态的转换。
作为储存计算的特征，能够列举储存层不是学习对象，而仅在读出层进行学习。储存计算，学习所需的计算量少，以少的计算机资源也能够实现。因此，作为或许能够应用于硬件资源存在制约的IoT(Internet of Things(物联网))和处理边缘处的时间序列信号的系统中的技术，储存计算受到瞩目。
近年来，在进行将该储存计算落实到物理的器件的研究。在Ryosho Nakane、Gouhei Tanaka and Akira Hirose，IEEE Access Vol.6 2018pp.4462-4469中，作为物理的器件研究的例子，记载有利用自旋波的储层元件。
发明内容
(1)第一方式的信息处理装置，包括储存层和读出层，储存层包括生成特征空间的多个节点，上述特征空间包含输入至上述储存层的输入信号的信息，上述读出层进行对从上述储存层发送的信号分别施加结合权重的运算，从上述储存层向上述读出层发送的信号的数量比上述多个节点的数量少。
(2)上述方式的信息处理装置也可以还包括连接上述储存层和上述读出层的连接部。也可以是上述连接部包括将上述多个节点中的任意节点与上述读出层连接的多个端子，上述多个端子的数量比上述多个节点的数量少。
(3)上述方式的信息处理装置中，上述连接部也可以包括多个配线。上述多个配线分别连接上述多个节点中的任意节点与上述多个端子的任意端子。
(4)上述方式的信息处理装置中，上述连接部也可以包括开关。上述开关切换上述多个节点与上述多个端子的电连接。
(5)上述方式的信息处理装置中，上述开关也可以随时间经过而切换上述多个节点与上述多个端子的电连接。
(6)上述方式的信息处理装置中，上述连接部也可以层叠于上述储存层。上述连接部包括多个配线层。
(7)上述方式的信息处理装置中，也可以是上述连接部层叠于上述储存层，上述连接部从层叠方向看，覆盖上述储存层的一部分。
(8)上述方式的信息处理装置中，也可以是上述储存层包括与上述多个节点中的任意节点连接的第1连接垫，上述连接部包括与上述多个端子的任意端子连接的第2连接垫，上述连接部经由上述第1连接垫和上述第2连接垫与上述储存层贴合。
(9)上述方式的信息处理装置中，上述多个节点也可以包含未与上述读出层连接的隐藏节点。
(10)上述方式的信息处理装置中，上述隐藏节点也可以基于在使用了基准信息处理装置的运算中、利用统计方法解析上述基准信息处理装置所包含的多个节点的变动量的结果来决定。上述基准信息处理装置包括与上述储存层相同结构的基准储存层和与上述读出层相同结构的基准读出层，上述基准储存层生成包含输入至上述基准储存层的输入信号的信息的特征空间，上述基准读出层进行对从上述基准储存层的各个节点发送的信号施加结合权重的运算。
(11)上述方式的信息处理装置中，上述隐藏节点也可以基于基准信息处理装置所包含的多个节点各自与其它节点结合的结合权重的统计量来决定。
(12)上述方式的信息处理装置中，上述隐藏节点也可以根据基准信息处理装置所包含的多个节点各自与基准读出层结合的结合权重的绝对值来决定。
(13)上述方式的信息处理装置中，上述基准储存层的多个节点与基准读出层之间的结合权重也可以通过包含范数正则化的学习决定。
(14)上述方式的信息处理装置中，上述储存层也可以具有在层叠方向上层叠的多个节点层。也可以是上述多个节点层分别具有上述多个节点中的任意节点，上述连接部还包括将上述多个端子的任意端子与上述多个节点中的任意节点相连，并贯通上述多个节点层的任意节点层的贯通配线。
(15)第2方式的信息处理装置，包括储存层和读出层，储存层包括生成特征空间的多个节点，上述特征空间包含输入至上述储存层的输入信号的信息，上述读出层进行对从上述储存层发送的信号分别施加结合权重的运算，输入上述输入信号的输入端子的数量比上述多个节点的数量少。
(16)第3方式的隐藏节点的设定方法，包括进行事前研讨的第1工序和决定隐藏节点的第2工序，上述第1工序使用具备基准储存层和基准读出层的基准信息处理装置进行，上述基准信息处理装置进行在上述基准储存层生成包含输入信号的信息的特征空间，对从上述基准储存层的各个节点向上述基准读出层发送的信号施加结合权重，使来自上述基准读出层的输出值与理想值的相互信息量变大的运算，上述第2工序基于上述第1工序中的运算后的上述基准储存层的各个节点间的结合权重、或者上述基准储存层的各个节点与上述基准读出层的结合权重，决定能够令上述基准储存层所包含的多个节点中的哪个节点成为上述隐藏节点。
(17)第4方式的信息处理装置的制造方法，包括：设计储存层和能够与上述储存层连接的读出层的工序；使用与上述储存层相同结构的基准储存层，进行上述方式的隐藏节点的设定方法，设定上述储存层的隐藏节点的工序；和将上述储存层所包含的多个节点中上述隐藏节点以外的节点与上述读出层连接的工序。
附图说明
图1是第1实施方式的信息处理装置的概念图。
图2是第1实施方式的信息处理装置的一部分的截面图。
图3是第1实施方式的基准信息处理装置的概念图。
图4表示基准信息处理装置中的各个节点与读出层之间的结合权重的分布。
图5表示第1实施方式的信息处理装置中的各个节点与读出层之间的结合权重的分布。
图6表示时间序列信号的预测任务中，将所有节点与读出层连接的情况下的推论结果与将一部分节点与读出层连接的情况下的推论结果的、输出值的差。
图7表示基准信息处理装置中的各个节点与读出层之间的结合权重的另一个例子的分布。
图8表示第1实施方式中的信息处理装置的各个节点与读出层之间的结合权重的另一个例子的分布。
图9表示时间序列信号的预测任务中，将所有节点与读出层连接的情况下的推论结果与将一部分节点与读出层连接的情况下的推论结果的、输出值的差。
图10是第1变形例的信息处理装置的一部分的截面图。
图11是第2变形例的信息处理装置的一部分的截面图。
图12是第3变形例的信息处理装置的一部分的截面图。
图13是第4变形例的信息处理装置的一部分的截面图。
图14是第5变形例的信息处理装置的一部分的截面图。
图15是第6变形例的信息处理装置的一部分的截面图。
图16是第7变形例的信息处理装置的一部分的截面图。
图17是第8变形例的信息处理装置的一部分的截面图。
图18是第9变形例的信息处理装置的一部分的截面图。
符号的说明
10…储存层、11、51…节点、11A…隐藏节点、11L…节点层、12、32、32A、32B、32C…绝缘层、13、34、38…端子、14…第1连接垫、20…读出层、30、70…连接部、30A、30B、30C…配线层、31、31A、31B、31C…配线、31S、31T…贯通配线、35…晶体管、35A…电阻变化元件、35B…组合电路、36…元件分离区域、37…第2连接垫、40、41…基板、50…基准储存层、60…基准读出层、100…信息处理装置、110…基准信息处理装置。
具体实施方式
以下，适当参照附图对本实施方式进行详细的说明。以下的说明中使用的附图，有时为了便于容易理解其特征而将作为特征的部分放大表示，各构成要素的尺寸比例等有时与实际不同。以下的说明中例示的材料、尺寸等只是一个例子，本发明并不被其限定，能够在获得本发明的效果的范围内适当地变更而实施。
据说储存计算的表现力是储存层所包含的节点的数量越多就越高。另一方面，如果从储存层所包含的节点分别向读出层发送信号，则信号的通信负荷、计算负荷变高。此外，在物理元件的情况下，承担用于信号通信的电连接的端子、配线的数量变得庞大。
本发明是鉴于上述情况而完成的，提供适合于实用化的信息处理装置、隐藏节点的设定方法和信息处理装置的制造方法。
图1是第1实施方式的信息处理装置100的概念图。信息处理装置100例如包括储存层10、读出层20、连接部30、比较电路Cp和学习器L。信息处理装置100能够进行提高对任务的回答正确率的学习和基于学习结果输出对任务的回答的运算(推论)的各个。比较电路Cp和学习器L在学习阶段使用，在推论阶段不需要。
在本说明书中，“层”有表示作为物理结构体的“层”的情况和表示作为概念的“层”的情况。例如，在图1、下述的图3的概念图中，“层”是指概念上的层，在下述的图2、图10～图15、图17、图18中，“层”是指作为结构物的层。
储存层10包括多个节点11。节点11的数量不特别限定。节点11的数量越多，储存层10的表现力越高。例如令节点11的数量为i个。i为任意的自然数。
节点11例如分别替换成物理上的器件。物理器件例如是能够将所输入的信号转换为振动、电磁场、磁场、自旋波等的器件。节点11例如是MEMS麦克风。MEMS麦克风能够将振动膜的振动转换为电信号。节点11例如也可以是自旋扭矩振荡器(STO)。自旋扭矩振荡器能够将电信号转换为高频信号。节点11也可以是被称为忆阻器的电阻变化型元件。作为忆阻器，例如提案有在磁壁的位置电阻值发生变化的磁壁移动型的磁阻效果元件等。此外，节点11也可以是具有相对于输入信号的电位的变化、输出状态带滞后地变化的滞后电路的施密特触发电路及具有其它非线性的响应特性的运算放大器等。
各个节点11与周围的节点11相互作用。在各个节点11之间，例如规定了结合权重vx。规定的结合权重vx的数量为节点11间的连接的组合的数量。x例如为任意的自然数。节点11之间的结合权重vx的各个原则上被规定，并不会通过学习而变动。节点11之间的结合权重vx的各个是任意的，既可以相互一致，也可以彼此不同。多个节点11之间的结合权重vx的一部分也可以通过学习而发生变动。
在储存层10输入信号Sin。输入的信号Sin的数量不被限定。信号Sin例如从设置在外部的传感器输入。信号Sin在储存层10内多个节点11间进行传输并相互作用。信号Sin相互作用是指，传输至某个节点11的信号影响到在其它节点11之间传输的信号。例如，信号Sin在节点11间进行传输时被施加结合权重vx，进行变化。储存层10将所输入的信号Sin投影至多维的非线性空间。
通过信号Sin在多个节点11间进行传输，多个节点11生成包含被输入至储存层10的信号Sin的信息的特征空间。在储存层10内，被输入的信号Sin置换成其它信号。被输入的信号Sin所包含的信息的至少一部分作为改变了形式的其它信号来保有。例如，被输入的信号Sin在储存层10内变化为非线性。作为该转换的一个例子，可列举从正交坐标系(x、y、z)到球面坐标系(r、θ、φ)的置换。通过被输入的信号Sin在储存层10内进行相互作用，储存层10的系统的状态随时间的经过而变化。
多个节点11中的一部分经由连接部30与读出层20连接。例如，i个节点11中j个(j为小于i的任意的自然数)的节点11与读出层20连接。其余的i-j个节点11有助于储存层10内的信号的相互作用，但不与读出层20连接。以下，将不与读出层20连接的节点11称为隐藏节点。
连接部30例如处在储存层10与读出层20之间。图2是第1实施方式所涉及的储存层10和连接部30的截面图。以下，将各层的层叠方向称为z方向，将与z方向正交的一个方向称为x方向，将与z方向和x方向正交的方向称为y方向。
储存层10包括多个节点11、绝缘层12和多个端子13。各个端子13分别与各个节点11连接。端子13与外部的传感器连接，被输入来自传感器的信号Sin。作为另一个实施方式，也可以是节点11自身作为状态根据外部的环境而变化的传感器发挥作用。例如，将压电元件呈矩阵状配置而成的器件，在其自身作为触觉传感器发挥作用的同时，相互作用。即，节点11同时实现作为传感器的功能和作为储存计算的节点的功能。
连接部30连接储存层10与读出层20。连接部30例如层叠于储存层10上。连接部30例如从z方向看覆盖储存层10。连接部30例如具有多个配线31、绝缘层32和多个端子34。读出层20与多个端子34分别连接。
多个配线31在绝缘层32内形成。配线31具有导电性，例如为Al、Ag、Cu等。绝缘层32是层间绝缘层，例如为氧化硅(SiOx)、氮化硅(SiNx)、碳化硅(SiC)、氮化铬、碳氮化硅(SiCN)、氮氧化硅(SiON)、氧化铝(Al2O3)、氧化锆(ZrOx)等。
配线31分别连接节点11中的任意节点与端子34的任意端子。配线31的第1端与节点11的任意节点连接。配线31的第2端与端子34的任意端子连接。
端子34的数量例如为j个。端子34分别与读出层20连接。端子34的数量与向读出层20发送的信号的数量一致。端子34的数量(j个)小于节点11的数量(i个)。节点11中未与端子34连接的节点11为隐藏节点11A。
对读出层20，从储存层10发送信号。从储存层10向读出层20发送的信号的数量(j个)小于储存层10中的节点11的数量(i个)。
读出层20例如具有积和运算电路、激活函数电路和输出电路。
积和运算电路对从储存层10向读出层20发送的各个信号乘以结合权重wj，并将相乘的结果相加。在各个端子34和读出层20中包含结合权重wj。结合权重wj通过学习而变动。
激活函数电路将积和运算结果代入激活函数f(x)进行运算。激活函数也可以不使用。
输出电路将运算结果作为信号Sout向外部输出。另外，在图1中输出电路以1个输出信号线显示，但并不限定于此。读出层20例如还能够应对作为一般机械学习的应用的多类分类问题等。在这种情况下输出电路具有与各类别对应的多个输出信号线。
比较电路Cp将运算结果与教师数据t进行比较。运算结果为来自读出层20的输出值。教师数据t是理想值。比较电路例如对运算结果与教师数据t的相互信息量的差进行比较。相互信息量是表示2个随机变数的相互依存的尺度的量。在像多类分类问题等那样、来自读出层20的输出存在多个的情况下，对各个输出值与相对于各个类别的概率分布(教师数据t)分别进行比较。
比较电路Cp以相互信息量变大(最大化)的方式，向学习器L发送数据Df，学习器L基于数据Df变更结合权重wj。即，比较电路Cp中的学习结果被反馈给读出层(积和运算电路)。各个端子34与读出层20的结合权重wj基于被反馈的数据Df变化。各个端子34与读出层20的结合权重wj，以运算结果与教师数据t的相互信息量变大(最大化)的方式调整。另外，在预先实施上述的计算，将其结果获得的权重反映至读出层20的结合权重，以推论专用使用信息处理装置100的情况下，也可以没有比较电路Cp。
接下来，对信息处理装置100的制造方法说明。首先，设计储存层10和读出层20。储存层10和读出层20分别能够使用公知的结构。构成节点11的物理器件没有特别限定。储存层10和读出层20能够根据赋予信息处理装置100的任务来设计。
接着，决定储存层10与读出层20的连接方式，形成连接部30。具体而言，决定将储存层10中的哪个节点11与读出层20连接。换言之，决定令节点11中哪个节点为隐藏节点11A。储存层10与读出层20的连接根据赋予信息处理装置100的任务而不同。在决定了赋予信息处理装置100的任务的基础上，从无数的储存层10与读出层20的连接状态中决定一个状态。
隐藏节点11A的设定方法具有进行事前研讨的第1工序和决定隐藏节点的第2工序。第1工序使用基准信息处理装置110进行。图3是第1实施方式的基准信息处理装置110的概念图。
基准信息处理装置110包括基准储存层50、基准读出层60、连接部70、比较电路Cp和学习器L。基准信息处理装置110在连接部70与基准储存层50的节点51全部连接，将其信息全部传达至基准读出层60这方面，与上述的信息处理装置100不同。
基准储存层50具有多个节点51。节点51分别为与各个节点11相同的结构。
节点51的数量与节点11的数量相同。节点51例如有i个。i个节点51经由连接部70而均与基准读出层60连接。从基准储存层50向基准读出层60发送的信号的数量(i个)与基准储存层50的节点51的数量(i个)一致。
基准读出层60为与读出层20相同的结构。
在第1工序中，进行使用基准信息处理装置110的运算。基准信息处理装置110以输入值与理想值的相互信息量变大(最大化)的方式进行运算，决定基准储存层50中的各个节点51与基准读出层60的结合权重wi。
第1工序的运算既可以通过模拟进行，也可以实际制作物理器件进行。
首先，向基准储存层50输入信号Sin。输入的信号Sin的数量例如与输入至信息处理装置100的信号Sin的数量相同。输入的信号Sin在基准储存层50内传输，基准储存层50生成包含所输入的信号Sin的信息的特征空间。然后，从基准储存层50的各个节点51经由连接部70向基准读出层60发送信号。
从基准储存层50发送的信号分别由基准读出层60的积和运算电路在乘以结合权重wi之后相加。然后将积和运算结果代入激活函数f(x)。
然后，比较电路Cp将运算结果与教师数据t进行比较。比较电路Cp以运算结果与教师数据的相互信息量变大(最大化)的方式，经由学习器L，将数据Df反馈给积和运算电路。运算结果为来自基准读出层60的输出值。教师数据t为理想值。例如，根据数据Df变更与结合权重wi对应的值并对来自基准读出层60的输出值与作为理想值的教师数据t进行比较。变更基准读出层60的结合权重wi，以获取输出值与理想值的一致概率变高的(相互信息量变大的)值。具体而言，设定连接部70的连接(配线层的连接状态)。配线层的连接状态例如为配线的拉线、配线的选择或配线层的电阻值等。
结合权重wi优选通过包含范数正则化的学习来决定。例如，能够使用范数最小化法或Group Lasso(组套索)等正则化技法。导入正则化项后的学习算法具有使权重的分布稀疏的效果，特别是使用Group Lasso的学习，已知组内的权重的大部分成零的效果。其结果，在设定隐藏节点时，更容易提示成为隐藏节点与隐藏节点以外的节点的边界的明确的基准。
接着，在第1工序之后，进行第2工序。在第2工序中，对在基准信息处理装置110的运算中对输出的信号Sout产生大的影响的节点51和对输出的信号Sout产生的影响小的节点51进行分类。
第一方法中，在使用基准信息处理装置110的运算中，基于利用统计方法解析多个节点51的变动量的结果，对节点51进行分类。
统计方法例如是指傅立叶解析、主成分解析的贡献率、非线性性能解析、谱半径等。例如，将输入的信号Sin转换为非线性的性能高的节点51，被分类为在基准信息处理装置110的运算中对输出的信号Sout产生的影响大的节点51，其它节点51被分类为对输出的信号Sout产生的影响小的节点51。此外，例如也可以从相对于输入信号的各节点51的状态的频率特性，决定与读出层连接的节点。
在第二方法中，基准信息处理装置110所包含的多个节点51分别基于与其它节点51结合的结合权重vx的统计量来分类节点51。
结合权重vx的统计量例如是作为基准的节点51与和作为基准的节点51结合的其它节点51之间的结合权重vx的总和，作为基准的节点51与以作为基准的节点51为中心规定的半径内所包含的节点51之间的结合权重vx的总和等。此外，例如也可以通过以储存层内的所有节点的谱半径为0.5以上1.0以下的方式进行调整，而对节点51进行分类。
例如，将结合权重vx的统计量为规定值以上的节点51分类为对输出的信号Sout产生的影响大的节点51，将规定值以下的节点51分类为对输出的信号Sout产生的影响小的节点51。
在第三方法中，基准信息处理装置110所包含的多个节点51分别基于基准读出层60的结合权重wi的绝对值来分类节点51。
例如，将结合权重wi的绝对值为规定值以上的节点51分类为对输出的信号Sout产生的影响大的节点51，将规定值以下的节点51分类为对输出的信号Sout产生的影响小的节点51。
分类的阈值例如也可以事先设定特定值。此外，在以删减全部节点51中规定的比例的节点51的方式进行设定的情况下，也可以将达到规定的比例的时点的统计量或绝对值作为分类的阈值。
在第2工序被分类的节点51中对输出的信号Sout产生的影响小的节点51能够看作能够作为隐藏节点的节点。
接着，根据上述的结果，连接储存层10与读出层20。不将储存层10中处于与能够作为隐藏节点的节点51相同的位置关系的节点11与读出层20连接，而将其以外的节点11与读出层20连接。未与读出层20连接的节点11成为隐藏节点11A。
通过按上述的顺序连接储存层10与读出层20，制作信息处理装置100。
第1实施方式所涉及的信息处理装置100中，在读出层20未连接有储存层10的节点11的全部，向读出层20传输的信号数少。因此，信息处理装置100能够降低运算负荷。
此外，当向读出层20传输的信号数少时，能够减少落入到物理器件时的端子34的数量。通过使端子34的数量为现实的数量，储存计算的向物理器件的应用变得容易。
此外，信息处理装置100尽管仅向读出层20传输在储存层10内生成的特征空间中的部分空间的信息，但储存层10的所有节点11与读出层20连接的情况和输出的信号Sout的误差小。
例如，制作具有500个节点的储存层，学习读出层的结合权重。
图4表示各个节点与读出层的结合权重wi的分布。横轴为各个节点与读出层的结合权重wi，纵轴为设定了规定的结合权重wi的配线的数量。图4是将所有节点与读出层连接的情况下的结合权重wi的分布。图4也对应于使用基准信息处理装置110的运算结果。
图5表示各个节点与读出层的结合权重wj的分布。横轴为各个节点与读出层的结合权重wj，纵轴为设定了规定的结合权重wj的配线的数。图5是不连接500个节点中的168个(约33％)的节点的情况下的结合权重wj的分布。将使用了基准信息处理装置110的运算设为事前研讨，自结合权重wj小的节点起依次将33％的节点不与读出层连接。
图6表示时间序列信号的预测任务中，连接所有节点与读出层的情况下的推论结果与连接一部分节点与读出层的情况下的推论结果的、输出值的差。图6是令节点与读出层的结合权重wi的分布为图4的情况下的运算结果与令节点与读出层的结合权重wj的分布为图5的情况下的运算结果的、差信号。如图6所示，二个运算结果的误差大约为5％以下。即，信息处理装置100可以说具有也能够作为现实器件进行充分利用的性能。
此外，以另一个例子进行同样的处理。在另一个例子中，在决定结合权重wi时的运算中，通过范数最小化进行正则化。范数最小化使得L2范数最小化。其它条件与上述的运算相同。
图7表示各个节点与读出层的结合权重wi的分布。横轴为各个节点与读出层的结合权重wi，纵轴为设定了规定的结合权重wi的配线的数量。图7是将所有节点与读出层连接的情况下的结合权重wi的分布。图7也对应于使用基准信息处理装置110的运算结果。在设定结合权重wi的学习运算中，由于使用了通过范数最小化进行的正则化，因此结合权重wi的分布稀疏化，成为零的配线的数量比图4的情况多。
图8表示各个节点与读出层的结合权重wj的分布。横轴为各个节点与读出层的结合权重wj，纵轴为设定了规定的结合权重wj的配线的数。图8是不连接500个节点中的136个(约27％)的节点的情况下的结合权重wj的分布。将使用了基准信息处理装置110的运算设为事前研讨，自结合权重wj小的节点起依次将27％的节点不与读出层连接。
图9表示时间序列信号的预测任务中，连接所有节点与读出层的情况下的推论结果与连接一部分节点与读出层的情况下的推论结果的、输出值的差。图9是令节点与读出层的结合权重wi的分布为图7的情况下的运算结果与令节点与读出层的结合权重wj的分布为图8的情况下的运算结果的、差信号。如图9所示，二个运算结果的误差大约为1％以下。即，信息处理装置100可以说具有也能够作为现实器件进行充分利用的性能。
以上，参照附图对本发明的实施方式进行了详细的说明，但各实施方式的各结构及其组合等只是一个例子，在不脱离本发明的主旨的范围内，能够进行结构的添加、省略、置换及其它变更。
例如，也可以如图10所示的信息处理装置那样，连接部30是从z方向看，不覆盖储存层10的全部，而覆盖一部分的结构。隐藏节点11A由于不需要与读出层20连接，所以在隐藏节点11A上也可以没有连接部30。
此外，例如，也可以如图11所示的信息处理装置那样，连接部30具有多个配线层30A、30B、30C。配线层30A具有多个配线31A和绝缘层32A。配线层30B具有多个配线31B和绝缘层32B。配线层30C具有多个配线31C和绝缘层32C。连接部30由多个配线层30A、30B、30C构成，由此能够实现更复杂的配线的连接、满足工艺制约的配线。
此外，例如，也可以如图12所示的信息处理装置那样，连接部30具有开关。开关与节点11的输出端连接。开关例如为晶体管35。在晶体管35之间具有元件分离区域36(STI：Shallow Trench Isolation)。各个晶体管35的源极与各个节点11分别连接。各个晶体管35的漏极与各个端子34连接。
在如图12所示的信息处理装置那样连接部30具有开关的情况下，端子34的数量既可以与节点11的数量相同，也可以比节点11少。在端子34的数量与节点11的数量相同的情况下，能够通过将一部分开关断开，使从储存层10向读出层20发送的信号的数量比多个节点11的数量少。对各个节点11，从端子13输入信号Sin。与断开的晶体管35连接的节点11成为隐藏节点。图12所示的信息处理装置能够通过切换晶体管35的接通、断开而根据任务切换隐藏节点。各晶体管的连接信息还能够储存在另外制作的非易失性存储器(未图示)中。
此外，例如也可以如图13所示的信息处理装置那样，连接部30与储存层10贴合。储存层10包括与节点11中的任意节点连接的第1连接垫14。连接部30包括与端子34电连接的第2连接垫37。以第1连接垫14与第2连接垫37对准的方式，贴合连接部30与储存层10。储存层10和连接部30在不同的基板40、41上形成，分别制作后被贴合。
此外，图12和图13表示开关为晶体管35的例子，但开关并不限定于晶体管。例如也可以如图14所示那样为电阻变化元件35A。电阻变化元件35A例如是像双向阈值开关(OTS：Ovonic Threshold Switch)那样利用晶体层的相变化的元件、像金属绝缘体转变(MIT)开关那样利用能带结构的变化的元件、像齐纳二极管和雪崩二极管那样利用屈服电压的元件、传导性随原子位置的变化而变化的元件、电阻值根据温度变化而变化的相变存储器(PCM)等。电阻变化元件35A还能够规定接通、断开以外的中间状态。
此外，例如也可以如图15所示那样为组合电路35B。组合电路35是切换节点11与端子34的连接关系的元件或装置。组合电路35例如与多个节点11和多个端子34连接。组合电路35例如为多路器(multiplexer)。组合电路35例如将来自多个节点11的其它输入向1个端子34输出。此外，组合电路35能够切换输出目的地的端子34。
此外，也可以如图16所示那样，当使用开关时，随着时间经过，切换多个节点11与读出层20的电连接。例如，也可以使用图15所示的组合电路35，按时间切换节点11与端子34的电连接。当切换节点11与端子34的电连接时，每一时刻成为隐藏节点11A的节点11发生变化。例如，在时刻t1，第1组的节点11与端子34连接，第1组以外的节点11成为隐藏节点11A，在时刻t1+α，与第1组不同的第2组的节点11与端子34连接，第2组以外的节点11成为隐藏节点11A。
当随着时间经过，储存层10与读出层20的连接发生变化时，信息处理装置100能够按时间处理不同的任务。例如，信息处理装置100能够在某个时刻t1进行检测第1故障模式的第1任务，在时刻t1+α进行检测第2故障模式的第2任务。
此外，例如也可以如图17所示那样，储存层10具有在层叠方向上层叠的多个节点层11L。节点层11L分别具有多个节点11的任意节点。配线31的一部分也可以为贯通任意节点层11L的贯通配线31S或贯通配线31T。贯通配线31S将多个端子34的任意端子与多个节点11中的任意节点相连。贯通配线31T将开关(例如组合电路35B)与多个节点11中的任意节点相连。
此外，例如也可以像图18所示的信息处理装置那样，连接部30位于信号Sin的输入侧。从连接部30的端子38输入的信号Sin发送至任意节点11。端子38例如分别与外部的传感器连接。连接部30将来自传感器的一部分信号向储存层10传送。
端子38比节点11的数量少。通过端子38的数量相对于节点11少，而容易实现储存层计算的向物理器件的应用。
此外，图18所示的信息处理装置显示出即使在储存层10的特征空间的生成中仅利用由传感器检知到的信息中的一部分的情况下，也能够作为现实器件进行充分利用的性能。
读出层的输出电路通过与相同结构的另外的信息处理装置的读出层连接，而也能够作为自编码器。在这种情况下，信息处理装置也能够作为维度压缩器或认证器来使用。

Claims (17)

1.一种信息处理装置，其特征在于：
包括储存层和读出层，
储存层包括生成特征空间的多个节点，所述特征空间包含输入至所述储存层的输入信号的信息，
所述读出层进行对从所述储存层发送的信号分别施加结合权重的运算，
从所述储存层向所述读出层发送的信号的数量比所述多个节点的数量少。
2.如权利要求1所述的信息处理装置，其特征在于：
还包括连接所述储存层和所述读出层的连接部，
所述连接部包括将所述多个节点中的任意节点与所述读出层连接的多个端子，
所述多个端子的数量比所述多个节点的数量少。
3.如权利要求2所述的信息处理装置，其特征在于：
所述连接部包括多个配线，
所述多个配线分别连接所述多个节点中的任意节点与所述多个端子的任意端子。
4.如权利要求2所述的信息处理装置，其特征在于：
所述连接部包括开关，
所述开关切换所述多个节点与所述多个端子的电连接。
5.如权利要求4所述的信息处理装置，其特征在于：
所述开关随时间经过而切换所述多个节点与所述多个端子的电连接。
6.如权利要求2所述的信息处理装置，其特征在于：
所述连接部层叠于所述储存层，
所述连接部包括多个配线层。
7.如权利要求2所述的信息处理装置，其特征在于：
所述连接部层叠于所述储存层，
所述连接部从层叠方向看，覆盖所述储存层的一部分。
8.如权利要求2所述的信息处理装置，其特征在于：
所述储存层包括与所述多个节点中的任意节点连接的第1连接垫，
所述连接部包括与所述多个端子的任意端子连接的第2连接垫，
所述连接部经由所述第1连接垫和所述第2连接垫而与所述储存层贴合。
9.如权利要求1所述的信息处理装置，其特征在于：
所述多个节点包含未与所述读出层连接的隐藏节点。
10.如权利要求9所述的信息处理装置，其特征在于：
所述隐藏节点基于在使用了基准信息处理装置的运算中、利用统计方法解析所述基准信息处理装置所包含的多个节点的变动量的结果来决定，
所述基准信息处理装置包括与所述储存层相同结构的基准储存层和与所述读出层相同结构的基准读出层，
所述基准储存层生成包含输入至所述基准储存层的输入信号的信息的特征空间，
所述基准读出层进行对从所述基准储存层的各个节点发送的信号施加结合权重的运算。
11.如权利要求9所述的信息处理装置，其特征在于：
所述隐藏节点基于基准信息处理装置所包含的多个节点分别与其它节点结合的结合权重的统计量来决定，
所述基准信息处理装置包括与所述储存层相同结构的基准储存层和与所述读出层相同结构的基准读出层，
所述基准储存层生成包含输入至所述基准储存层的输入信号的信息的特征空间，
所述基准读出层进行对从所述基准储存层的各个节点发送的信号施加结合权重的运算。
12.如权利要求9所述的信息处理装置，其特征在于：
所述隐藏节点根据基准信息处理装置所包含的多个节点分别与基准读出层结合的结合权重的绝对值来决定，
所述基准信息处理装置包括与所述储存层相同结构的基准储存层和与所述读出层相同结构的基准读出层，
所述基准储存层生成包含输入至所述基准储存层的输入信号的信息的特征空间，
所述基准读出层进行对从所述基准储存层的各个节点发送的信号施加结合权重的运算。
13.如权利要求12所述的信息处理装置，其特征在于：
所述基准储存层的多个节点与基准读出层之间的结合权重通过包含范数正则化的学习来决定。
14.如权利要求2所述的信息处理装置，其特征在于：
所述储存层具有在层叠方向上层叠的多个节点层，
所述多个节点层分别具有所述多个节点中的任意节点，
所述连接部还包括将所述多个端子的任意端子与所述多个节点中的任意节点相连，并贯通所述多个节点层的任意节点层的贯通配线。
15.一种信息处理装置，其特征在于：
包括储存层和读出层，
储存层包括生成特征空间的多个节点，所述特征空间包含输入至所述储存层的输入信号的信息，
所述读出层进行对从所述储存层发送的信号分别施加结合权重的运算，
输入所述输入信号的输入端子的数量比所述多个节点的数量少。
16.一种隐藏节点的设定方法，其特征在于：
包括进行事前研讨的第1工序和决定隐藏节点的第2工序，
所述第1工序使用具备基准储存层和基准读出层的基准信息处理装置来进行，
所述基准信息处理装置进行在所述基准储存层中生成包含输入信号的信息的特征空间，对从所述基准储存层的各个节点向所述基准读出层发送的信号施加结合权重，使来自所述基准读出层的输出值与理想值的相互信息量变大的运算，
所述第2工序基于所述第1工序中的运算后的所述基准储存层的各个节点间的结合权重、或者所述基准储存层的各个节点与所述基准读出层之间的结合权重，决定能够使所述基准储存层所包含的多个节点中的哪个节点为所述隐藏节点。
17.一种信息处理装置的制造方法，其特征在于：
包括：
设计储存层和能够与所述储存层连接的读出层的工序；
使用与所述储存层相同结构的基准储存层，进行权利要求16所述的隐藏节点的设定方法，设定所述储存层的隐藏节点的工序；和
将所述储存层所包含的多个节点中所述隐藏节点以外的节点与所述读出层连接的工序。
CN202210287668.3A 2021-03-25 2022-03-23 信息处理装置、隐藏节点的设定方法和信息处理装置的制造方法 Pending CN115130648A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
PCT/JP2021/012533 WO2022201425A1 (ja) 2021-03-25 2021-03-25 情報処理装置、隠れノードの設定方法及び情報処理装置の製造方法
JPPCT/JP2021/012533 2021-03-25
US17/496,934 US20220309339A1 (en) 2021-03-25 2021-10-08 Information processing device, method for setting hidden nodes, and method for manufacturing information processing device
US17/496,934 2021-10-08

Publications (1)

Publication Number Publication Date
CN115130648A true CN115130648A (zh) 2022-09-30

Family

ID=81206832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210287668.3A Pending CN115130648A (zh) 2021-03-25 2022-03-23 信息处理装置、隐藏节点的设定方法和信息处理装置的制造方法

Country Status (4)

Country Link
US (1) US20220309339A1 (zh)
JP (1) JP7028377B1 (zh)
CN (1) CN115130648A (zh)
WO (1) WO2022201425A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024018696A1 (ja) * 2022-07-20 2024-01-25 東京エレクトロン株式会社 リザーバ装置及びプロセス状態予測システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6501146B2 (ja) * 2014-03-18 2019-04-17 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路およびその学習方法
JP2018132830A (ja) * 2017-02-13 2018-08-23 ＬｅａｐＭｉｎｄ株式会社 ニューラルネットワーク構築方法、ニューラルネットワーク装置及びニューラルネットワーク装置更新方法

Also Published As

Publication number Publication date
JPWO2022201425A1 (zh) 2022-09-29
US20220309339A1 (en) 2022-09-29
JP7028377B1 (ja) 2022-03-02
WO2022201425A1 (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
Kan et al. Simple reservoir computing capitalizing on the nonlinear response of materials: theory and physical implementations
Yang et al. Online approximate optimal control for affine non‐linear systems with unknown internal dynamics using adaptive dynamic programming
US8204927B1 (en) System and method for cognitive processing for data fusion
Wei et al. Stability analysis of fractional order complex-valued memristive neural networks with time delays
US20210143834A1 (en) Reconfigurable dac implemented by memristor based neural network
US20200272891A1 (en) Controller of array including neuromorphic element, method of arithmetically operating discretization step size, and program
CN115130648A (zh) 信息处理装置、隐藏节点的设定方法和信息处理装置的制造方法
JP6521207B1 (ja) 積和演算器、積和演算方法、論理演算デバイスおよびニューロモーフィックデバイス
CN111461445A (zh) 短期风速预测方法、装置、计算机设备及存储介质
Lin et al. Function-link fuzzy cerebellar model articulation controller design for nonlinear chaotic systems using TOPSIS multiple attribute decision-making method
JPH04250584A (ja) 逆方向に流れるニューロン
Ruhm Sensor fusion and data fusion–Mapping and reconstruction
Pattanaik et al. Use of multilayer recursive model for non-linear dynamic system identification
Danilin et al. The research of fault tolerance of memristor-based artificial neural networks
JP6819847B1 (ja) リザボア素子および演算回路
Kalinin Application of neuro-fuzzy inference to detect network scanning
CN110729010B (zh) 半导体电路及其操作方法
CN115004196A (zh) 参数的设定方法和储备池元件的控制方法
GB2587021A (en) Physical implementation of artificial neural networks
Eshmuradov et al. Analysis of disconnected neural networks
US20180300612A1 (en) Neuromorphic device and a synapse network including a post-synaptic neuron having a subtracting circuit
US5566102A (en) Arithmetic element coupling network
Carpinteiro et al. A hierarchical hybrid neural model with time integrators in long-term load forecasting
Sarevska et al. Reliability of radial basis function–neural network smart antenna
US20230229900A1 (en) Controller of array including neuromorphic element, method of arithmetically operating discretization step size, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination