CN105900116A - 分层型神经网络装置、判别器学习方法以及判别方法 - Google Patents

分层型神经网络装置、判别器学习方法以及判别方法 Download PDF

Info

Publication number
CN105900116A
CN105900116A CN201480073042.6A CN201480073042A CN105900116A CN 105900116 A CN105900116 A CN 105900116A CN 201480073042 A CN201480073042 A CN 201480073042A CN 105900116 A CN105900116 A CN 105900116A
Authority
CN
China
Prior art keywords
weight
node
code
study
coupling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480073042.6A
Other languages
English (en)
Inventor
山崎贵司
松本涉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to CN202010084242.9A priority Critical patent/CN111242300A/zh
Publication of CN105900116A publication Critical patent/CN105900116A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

根据纠错码的校验矩阵，在分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分。

Description

分层型神经网络装置、判别器学习方法以及判别方法
技术领域
本发明涉及分层型神经网络装置、判别器学习方法以及判别方法。
背景技术
众所周知，神经网络具有学习能力，非线性、模式匹配性能良好，被用于控制、预测、诊断等众多领域中。
并且，对神经网络提出了许多构造，但得到实际应用的多数基本上是分层型特别是三层型的构造。分层型神经网络通常通过被称作误差反向传播法(Back PropagationMethod)的算法进行学习，并调整内部的耦合状态(节点间的权重)。在这样赋值与学习数据相同的输入数据时，进行与学习数据大致相同的输出。并且，具有在赋值接近学习数据的输入时进行接近学习数据的输出的特点。
当在分层型神经网络中处理复杂问题时，将增加中间层的节点数和层数，存在运算量增加的问题。作为该问题的解决方法有对节点之间进行疏耦合来削减运算量的例子，代表性的专利文献有以下2件。
在专利文献1中的构造如下：对于多个输入节点，通过使用学习数据的最大、最小、平均、标准方差的统计指标，或使用学习数据的输入节点之间或输入与输出之间的相关系数，形成特点相似的输入节点彼此的组，在这些组内将输入节点和中间节点耦合而形成疏耦合部分。
另外，在专利文献2记载的神经网络构造优化方法中，通过削减任意节点间的耦合，生成构造不同的多个神经网络，计算各个神经网络的评价值，并进行评价值的比较判定，由此变更成最佳构造的神经网络。
现有技术文献
专利文献
专利文献1：日本特开2011-54200号公报
专利文献2：日本特开平9-91263号公报
发明内容
发明要解决的问题
在以专利文献1、2为代表的现有技术中，在进行判别器学习之前需要用于形成疏耦合的事前学习，每当学习数据有变更和修改时就必须进行事前学习，疏耦合的形成需要较多的时间和运算量。因此，存在不能实现判别器学习和判别处理的高速化的问题。
本发明正是为了解决如上所述的问题而提出的，其目的在于，得到一种分层型神经网络装置、判别器学习方法以及判别方法，在分层型神经网络中，通过不依赖于学习数据而形成疏耦合，能够实现判别器学习和判别处理的高速化。
用于解决问题的手段
本发明的分层型神经网络装置具有：权重学习部，其根据纠错码的校验矩阵，在由具有节点的输入层、中间层以及输出层构成的分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行学习；以及判别处理部，其使用利用由权重学习部学习到的权重值更新耦合后的节点之间的权重后的分层型神经网络，求解分类问题或者回归问题。
发明效果
根据本发明具有如下的效果：在分层型神经网络中，通过不依赖于学习数据而形成疏耦合，能够实现判别器学习和判别处理的高速化。
附图说明
图1是表示本发明的实施方式1的分层型神经网络装置的结构的框图。
图2是表示实施方式1的分层型神经网络的构造的图。
图3是表示以往的分层型神经网络的构造的图。
图4是表示实施方式1的权重学习处理的流程图。
图5是表示伪随机码的校验矩阵的图。
图6是表示欧几里得几何码的校验矩阵的相对于行数或者列数的1的个数和1的比例的图。
图7是表示投影几何码的校验矩阵的相对于行数或者列数的1的个数和1的比例的图。
图8是表示差集循环码的校验矩阵的行数或者列数的1的个数和1的比例的图。
图9是表示空间耦合型码的校验矩阵的图。
图10是表示神经网络A、B中的输入节点和中间节点之间的耦合数的例子的图。
图11是表示本发明的实施方式2的分层型神经网络装置的结构的框图。
图12是表示实施方式2的分层型神经网络的构造的图。
图13是表示以往的分层型神经网络的构造的图。
图14是表示实施方式2的基于权重的事前学习和调整的权重学习处理的流程图。
图15是表示N＝5时的基于权重的事前学习和调整的权重学习处理的概要的图。
图16是表示权重的事前学习处理的流程图。
图17是表示权重的调整处理的流程图。
具体实施方式
下面，为了更详细地说明本发明，参照附图来说明用于实施本发明的方式。
实施方式1
图1是表示本发明的实施方式1的分层型神经网络装置的结构的框图。在图1中，分层型神经网络装置1是使用分层型神经网络进行判别的装置，其构成为具有判别器学习部2、权重存储部3、学习数据存储部4以及训练数据存储部5。
另外，分层型神经网络由输入层、中间层以及输出层构成，各层具有多个节点。并且，分层型神经网络作为判别器发挥作用，能够通过在输入层和中间层的节点之间以及中间层和输出层的节点之间设定任意的权重并调整节点之间的耦合状态，求解各式各样的问题(分类问题或者回归问题)。
判别器学习部2对分层型神经网络进行学习，使用学习到的分层型神经网络进行判别。其构成要素具有权重学习部20和判别处理部21。
权重学习部20根据纠错码的校验矩阵在分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行学习。即，权重学习部20在输入从判别处理部21输出的判别结果、从权重存储部3读出的节点之间的权重(判别器的权重)和从训练数据存储部5读出的训练数据时，使用这些数据进行权重学习。
并且，权重学习部20对纠错码的校验矩阵中的行要素分配一个层的节点，对列要素分配另一个层的节点，将矩阵要素维持1的节点之间耦合，不将矩阵要素为0的节点之间耦合。由此，不需利用学习数据，即可在节点之间生成疏耦合部分。
判别处理部21使用利用由权重学习部20学习到的权重值更新耦合后的节点之间的权重后的分层型神经网络，求解分类问题或者回归问题。例如，判别处理部21在从权重存储部3输入初始化后的权重或者学习中的权重并从学习数据存储部4输入学习数据时，将使用这些权重和学习数据的判别结果输出给权重学习部20。并且，判别处理部21在从权重存储部3输入已学习的权重并输入判别数据时，将使用这些权重和判别数据的判别结果输出给装置外部的显示器等传输装置。
在判别处理部21中，在分层型神经网络中的输入层和中间层的节点之间学习数据或者判别数据成为输入信号，并将该节点之间的权重相乘。利用阈值函数计算在中间层的节点分别合计该相乘结果而得到的值并进行输出。其中，在设阈值函数为f()，设中间层的第j个节点的阈值函数的输出值为Hj，设输入层的第i个节点的输入信号为Xi，设输入层的第i个节点与中间层的第j个节点之间的权重为Wji的情况下，用下式(1)表示阈值函数的输出值Hj。
Hj＝f(∑XiWji)……(1)
并且，在中间层和输出层的节点之间，将利用阈值函数计算出的输出信号作为输入信号，并将该节点之间的权重相乘。利用阈值函数计算在输出层的各节点合计该相乘结果得到的值，并作为判别结果进行输出。其中，在设输出层的第k个节点的阈值函数的输出值为Ok，设中间层的第j个节点与输出层的第k个节点之间的权重为Wkj的情况下，用下式(2)表示阈值函数的输出值Ok。其中，关于阈值函数f()，可以举出S型函数、tanh函数、max函数等。并且，节点之间的权重的相乘仅对具有节点之间的耦合的部分进行。
Ok＝f(∑XjWkj)……(1)
权重存储部3是存储分层型神经网络中的节点之间的权重的存储部。在权重存储部3中，在权重的初始化处理时存储分层型神经网络的全部节点之间的权重的初始值，在生成疏耦合时存储具有耦合的节点之间的权重学习值。判别处理部21通过从权重存储部3读出各节点及该节点之间的权重值构建分层型神经网络，使用该分层型神经网络求解分类问题或者回归问题。
学习数据存储部4是存储学习数据的存储部。学习数据是表示预先被判别为正常和异常的状态信息和特征量的数据。学习数据存在训练数据已知的情况(有训练学习)和对判别数据期望的训练数据未知的情况(无训练学习)。
训练数据存储部5是存储训练数据的存储部。训练数据是对判别数据期望的输出数据。并且，判别数据是判别对象的数据。
另外，权重学习部20和判别处理部21例如能够通过由微型计算机执行记述有该实施方式1特有的处理的程序，作为硬件和软件协作动作的具体单元而实现。
权重存储部3、学习数据存储部4以及训练数据存储部5例如被构筑成安装于作为分层型神经网络装置1发挥作用的计算机中的硬盘驱动(HDD)装置、USB存储器、能够由存储介质再现装置再现的存储介质(CD、DVD、BD)。
图2是表示实施方式1的分层型神经网络的构造的图，图3是表示以往的分层型神经网络的构造的图。如图3所示，以往的分层型神经网络将输入层和中间层的节点之间全部耦合，将中间层和输出层的节点之间全部耦合。与此相对，在实施方式1中，如图2所示，在输入层和中间层的节点之间的耦合以及中间层和输出层的节点之间的耦合中的至少一方形成有疏耦合部分。
下面，对动作进行说明。
图4是表示实施方式1的权重学习处理的流程图，按照该图4说明权重学习部20的权重学习的详细情况。
首先，权重学习部20将分层型神经网络的各层中的全部节点之间的权重初始化(步骤ST1)。具体而言，对各层中的全部节点之间的权重，以-0.5～+0.5的随机数赋予初始值。
然后，权重学习部20根据纠错码的校验矩阵，仅在分层型神经网络中的一部分节点之间进行耦合而生成疏耦合(步骤ST2)。纠错码的校验矩阵是与通常的分层型神经网络相比学习误差同等或者较小且稀疏的矩阵。例如，可举出伪随机码、有限几何码、循环码、伪循环码、低密度奇偶校验码(LDPC)以及空间耦合码中的任意码。
然后，权重学习部20计算在疏耦合部分耦合后的节点之间的权重的修正量，使得用于评价学习误差的评价函数的值减小(步骤ST3)。
另外，评价函数J例如能够用下式(3)表示。其中，设节点的输出信号为o，设训练数据为t。
J＝1/2·(o-t)2……(3)
然后，权重学习部20用在步骤ST3中求出的修正量，对从前的值更新耦合后的节点之间的权重值(步骤ST4)。
在节点之间的权重的更新结束时，权重学习部20确认是否满足权重学习的结束条件(步骤ST5)。其中，作为结束条件，例如可考虑计算训练数据与从判别处理部21输入的判别结果之间的误差的评价函数的值达到预先设定的阈值以下的情况。并且，也可以是学习次数达到阈值次数以上的情况。
在判断为满足结束条件而应该结束权重学习的情况下(步骤ST5：是)，权重学习部20结束权重学习。另一方面，在不满足结束条件的情况下(步骤ST5：否)，返回到步骤ST3的处理，反复上述的权重学习。
由此，判别处理部21能够使用利用由权重学习部20学习到的权重值更新在疏耦合部分耦合后的节点之间的权重后的分层型神经网络，求解分类问题或者回归问题。
下面，示出根据图5所示的伪随机码的校验矩阵在输入层和中间层的节点之间生成疏耦合部分时的一例。图5的矩阵是各行、各列各有4个1的15×15的矩阵。这表示对各列的要素分配的输入层的节点(以下记作输入节点)x1、x2、…、x15和对各行的要素分配的中间层的节点(以下记作中间节点)h1、h2、…、h15分别为15个，在对矩阵要素的值为1的部分进行耦合时，在1个中间节点耦合4个输入节点。例如，在中间节点h1耦合矩阵的要素维持1的输入节点x1、x3、x9、x10。
在中间节点或者输出节点(输出层的节点)的数量较少的情况下(例如21个以下)，根据欧几里得几何码或者投影几何码等有限几何码的校验矩阵或者差集循环码等循环码的校验矩阵，如上所述在矩阵要素维持1的节点之间进行耦合时，有望大幅削减运算量。这是因为，根据图6所示的欧几里得几何码的校验矩阵、图7所示的投影几何码的校验矩阵、图8所示的差集循环码的校验矩阵中示出相对于列数或者行数的1的个数的结果可知，在与节点数对应的列数或者行数为21个以下的情况下，相对于列数或者行数，1的个数格外少，能够在节点之间形成疏耦合部分。
另外，循环码是使代码字循环移动而生成的代码，成为有规律的排列。因此，适合于时间序列数据的学习判别，并且在进行硬件安装的情况下，具有比其它代码容易进行设计的特点。
并且，在中间节点或者输出节点的数量较多的情况下(例如超过21个)，在根据LDPC码的校验矩阵、空间耦合型码的校验矩阵以及伪循环码的校验矩阵中的任意校验矩阵进行节点间的耦合时，有望大幅削减运算量。这是因为，在LDPC码、空间耦合型码以及伪循环码的校验矩阵中，不依赖于行数或列数，行中包含的1的个数或列中包含的1的个数平均为3～6个。例如，在设行数为10000的情况下，也成为行中包含的1的个数平均是3～6个、节点之间的耦合数平均是3～6个的疏耦合。因此，能够大幅削减运算量。特别是图9所示的空间耦合型码的校验矩阵是呈带状排列1的矩阵，因而相比控制的难易程度的观点，更期望最大的运算量的削减效果。
如上所述，通过根据纠错码的校验矩阵使节点之间成为疏耦合，能够在维持判别性能的同时，高速地进行判别器学习和判别处理。
图10是表示神经网络A、B中的输入节点与中间节点之间的耦合数的例子的图。在图10中，神经网络A是将全部节点之间耦合的通常的分层型神经网络，神经网络B是根据本发明在节点之间形成疏耦合的分层型神经网络。
在神经网络B中示出针对1个中间节点耦合4个输入节点的情况。这样，在实施方式1中，对于神经网络A，在输入节点和中间节点是50个、100个、1000个时，能够将耦合分别削减至2/25、1/25、1/250。随之，能够削减输入节点和中间节点之间的积和运算，因而能够使判别器学习和判别处理高速化。
并且，由于不依赖于学习数据而生成疏耦合，因而即使是学习数据具有变更和修改的情况下，也能够节省进行事前学习的功夫。
如上所述，根据本实施方式1，具有：权重学习部20，其根据纠错码的校验矩阵，在由具有节点的输入层、中间层以及输出层构成的分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行学习；以及判别处理部21，其使用利用由权重学习部20学习到的权重值更新耦合后的节点之间的权重后的分层型神经网络，求解分类问题或者回归问题。这样，在分层型神经网络中，通过不依赖于学习数据而形成疏耦合，能够实现判别器学习和判别处理的高速化。
实施方式2
上述实施方式1示出使用一般的3层型的神经网络使判别器学习和判别处理高速化的情况。在本实施方式2中说明使用分层型神经网络的发展形式即近年来备受关注的深度神经网络使判别器学习和判别处理高速化的情况。
图11是表示本发明的实施方式2的分层型神经网络装置的结构的框图。图11所示的分层型神经网络装置1A是使用深度神经网络求解分类问题或者回归问题的装置，其构成为具有判别器学习部2A、权重存储部3、学习数据存储部4以及训练数据存储部5。深度神经网络由输入层、多层中间层以及输出层构成，各层具有多个节点。并且，深度神经网络作为判别器发挥作用，能够通过在输入层和中间层的节点之间以及中间层和输出层的节点之间设定任意权重并调整节点之间的耦合状态，求解各式各样的问题(分类问题或者回归问题)。
图12是表示实施方式2的深度神经网络的构造的图，图13是表示以往的深度神经网络的构造的图。如图13所示，以往的深度神经网络将输入层和中间层的节点之间全部耦合，将中间层彼此的节点之间全部耦合，将中间层和输出层的节点之间全部耦合。与此相对，在实施方式2中，如图12所示，在输入层和中间层的节点之间的耦合、中间层彼此的节点之间的耦合以及中间层和输出层的节点之间的耦合中的至少一方形成疏耦合部分。
判别器学习部2A对深度神经网络进行学习，使用学习到的深度神经网络求解分类问题或者回归问题。作为其结构，具有判别处理部21、权重事前学习部22以及权重调整部23。
权重事前学习部22根据纠错码的校验矩阵，在深度神经网络中的一部分节点之间进行耦合而生成疏耦合部分，对耦合后的节点之间的权重进行无训练学习。例如，权重事前学习部22在被输入初始化后的节点之间的权重和学习数据时进行权重的事前学习。
并且，权重事前学习部22对纠错码的校验矩阵中的行要素分配一个层的节点，对列要素分配另一个层的节点，将矩阵要素维持1的节点之间进行耦合，不将矩阵要素为0的节点之间耦合。由此，不需利用学习数据，即可在节点之间生成疏耦合部分。
权重调整部23通过有训练学习来微调整权重事前学习部22学习到的权重。即，权重调整部23仅对耦合后的节点之间进行权重的微调整。
实施方式2的判别处理部21在从权重存储部3输入事前学习到的权重或者学习中的权重并从学习数据存储部4输入学习数据时，将使用这些权重和学习数据的判别结果输出给权重调整部23。并且，判别处理部21在从权重存储部3输入已学习到的权重并输入判别数据时，将使用这些权重和判别数据的判别结果输出给装置外部的显示器等传输装置。
在判别处理部21中，在深度神经网络中的输入层和第1层中间层的节点之间，学习数据或者判别数据成为输入信号，将该节点之间的权重相乘。利用阈值函数计算在第1层中间层的中间节点分别合计该相乘结果得到的值并进行输出。其中，在设阈值函数为f()，设第1层中间层的第j个中间节点的阈值函数的输出值为H1，j，设第i个输入节点的输入信号为Xi，设第i个输入节点与第1层中间层的第j个中间节点之间的权重为W1，j，i的情况下，用下式(4)表示阈值函数的输出值H1，j。
H1，j＝f(∑XiW1，j，i)……(4)
并且，在第n-1层(n为2以上的整数)中间层的第j个中间节点与第n层中间层的第m个中间节点之间，将利用第n-1层中间节点的阈值函数计算出的输出信号作为输入信号，将该节点之间的权重相乘。利用阈值函数计算在第n层中间层的各中间节点合计该相乘结果得到的值并进行输出。其中，在设第n-1层中间层的第j个中间节点的阈值函数的输出值为Hn-1，j，设第n层中间层的第m个中间节点的阈值函数的输出值为Hn，m，设第n-1层中间层的第j个中间节点与第n层中间层的第m个中间节点之间的权重为Wn，m，n-1，j的情况下，能够用下式(5)表示阈值函数的输出值Hn， m。
Hn，m＝f(∑Hn-1，jWn，m，n-1，j)……(5)
在中间节点和输出节点之间，将利用中间节点的阈值函数计算出的输出信号作为输入信号，将该节点之间的权重相乘。利用阈值函数计算在输出层的各输出节点合计该相乘结果得到的值，并作为判别结果进行输出。
其中，在设输出层的第k个输出节点的阈值函数的输出值为Ok，设第N-1层中间层的第j个中间节点与输出层的第k个输出节点之间的权重为Wk，N-1，j的情况下，用下式(6)表示阈值函数的输出值Ok。
其中，关于阈值函数f()，可举出S型函数、tanh函数、max函数等。并且，仅对具有节点之间的耦合的部分进行节点之间的权重的相乘。
Ok＝f(∑HN-1，j Wk，N-1，j)……(6)
另外，判别处理部21、权重事前学习部22以及权重调整部23例如能够通过由微型计算机执行记述有实施方式2特有的处理的程序，作为硬件和软件协作动作的具体单元而实现。
下面，对动作进行说明。
图14是表示实施方式2的权重学习处理的流程图。
首先，权重事前学习部22将深度神经网络的各层中的全部节点之间的权重初始化(步骤ST1a)。具体而言，与实施方式1同样，对各层的全部节点之间的权重，以-0.5～+0.5的随机数赋予初始值。
然后，权重事前学习部22根据纠错码的校验矩阵，在深度神经网络中的一部分节点之间进行耦合而生成疏耦合(步骤ST2a)。纠错码的校验矩阵是与通常的深度神经网络相比学习误差同等或者较小且稀疏的矩阵。例如，可举出伪随机码、有限几何码、循环码、伪循环码、LDPC码以及空间耦合码中的任意码。
然后，权重事前学习部22按照图15所示，在设深度神经网络为N层(N为整数)的情况下，进行具有到第N-1层的耦合的节点之间的权重(W1、W2、…WN-2)的事前学习(步骤ST3a)。
在该事前学习中，首先在第1层和第2层的二层构造中，对第1层和第2层的节点之间的权重W1进行无训练学习。然后，在第2层和第3层的二层构造中，将通过权重W1的无训练学习而从第2层的节点输出的信号作为输入信号，对第2层和第3层的节点之间的权重W2进行无训练学习。反复该处理直到对第N-2层和第N-1层的节点之间的权重WN-2进行事前学习为止(参照图15，设N＝5的情况)。
使用图16说明权重的事前学习的详细情况。
首先，权重事前学习部22在对第2层的节点与第3层以上的节点之间的权重进行事前学习时，将在前段的事前学习中输出的信号初始设定成输入信号(步骤ST1b)。然后，权重事前学习部22计算耦合后的节点之间的权重的修正量，使得对数似然度增加(步骤ST2b)。
然后，权重事前学习部22利用计算出的权重的修正量更新并修正耦合后的节点之间的权重值(步骤ST3b)。
在节点之间的权重的更新结束时，权重事前学习部22确认是否满足当前的学习对象层的权重事前学习的结束条件(步骤ST4b)。其中，作为结束条件，例如可考虑学习次数达到阈值次数以上的情况。
在判定为满足当前的学习对象层的结束条件而应该结束权重事前学习的情况下(步骤ST4b：是)，权重事前学习部22进入步骤ST5b的处理。
另一方面，在不满足结束条件的情况下(步骤ST4b：否)，返回到步骤ST2b的处理，反复上述的权重事前学习。
在步骤ST5b中，在设深层神经网络为N层的情况下，权重事前学习部22确认在到第N-1层的全部层中耦合后的节点之间的权重的事前学习是否结束。在全部层的权重事前学习尚未结束的情况下(步骤ST5b：否)，返回到步骤ST1b的处理，将下一个层之间(更上方的层之间)作为学习对象，进行上述权重的事前学习。并且，如果全部层的权重事前学习已结束(步骤ST5b：是)，则权重事前学习部22结束事前学习。其中，在深层神经网络是N层的情况下，进行从W1到WN-2这N-2个权重的事前学习。
返回到图14的说明。
在权重事前学习部22对权重的事前学习结束时，权重调整部23通过有训练学习来微调整权重事前学习部22事前学习到的权重并进行优化(步骤ST4a)。下面，使用图17说明权重的微调整的详细情况。
首先，权重调整部23通过使用从训练数据存储部5读出的训练数据的有训练学习，优化权重事前学习部22事前学习到的节点之间的权重，并计算权重的修正量，以使评价上式(3)所示的学习误差的评价函数J的值减小(步骤ST1c)。
然后，权重调整部23使用在步骤ST1c中求出的修正量，更新权重事前学习部22事前学习到的节点之间的权重值(步骤ST2c)。
在节点之间的权重的更新结束时，权重调整部23确认是否满足权重的微调整的结束条件(步骤ST3c)。其中，作为结束条件，例如可考虑用于计算训练数据与从判别处理部21输入的判别结果之间的误差的评价函数的值达到预先设定的阈值以下的情况。并且，也可以是学习次数达到阈值次数以上的情况。
在判定为满足结束条件而应该结束权重的微调整的情况下(步骤ST3c：是)，权重调整部23结束权重的微调整。另一方面，在不满足结束条件的情况下(步骤ST3c：否)，返回到步骤ST1c的处理，反复上述权重的微调整。由此，判别处理部21能够使用利用由权重事前学习部22事前学习到的、并由权重调整部23优化调整后的权重值更新在疏耦合部分耦合后的节点之间的权重后的深度神经网络，求解分类问题或者回归问题。
在深度神经网络中，在中间节点或者输出节点的数量较少的情况下(例如21个以下)，与实施方式1同样，在欧几里得几何码或者投影几何码等有限几何码的校验矩阵或者差集循环码等循环码的校验矩阵中，对行要素分配一个层的节点，对列要素分配另一个层的节点，在矩阵要素维持1的节点之间进行耦合时，有望大幅削减运算量。这是因为，根据图6所示的欧几里得几何码的校验矩阵、图7所示的投影几何码的校验矩阵、图8所示的差集循环码的校验矩阵中示出相对于列数或者行数的1的个数的结果可知，在与节点数对应的列数或者行数为21个以下的情况下，相对于列数或者行数，1的个数格外少，能够在节点之间形成疏耦合部分。
另外，循环码是使代码字循环移动而生成的代码，成为有规律的排列。因此，适合于时间序列数据的学习判别，并且在进行硬件安装的情况下，具有比其它代码容易进行设计的特点。
并且，在深度神经网络中，在中间节点或者输出节点的数量较多的情况下(例如超过21个)，与实施方式1同样，在根据LDPC码的校验矩阵、空间耦合型码的校验矩阵以及伪循环码的校验矩阵中的任意校验矩阵进行节点间的耦合时，有望大幅削减运算量。这是因为，在LDPC码、空间耦合型码以及伪循环码的校验矩阵中，不依赖于行数或列数，行中包含的1的个数或列中包含的1的个数平均为3～6个。例如，在设行数为10000的情况下，也成为行中包含的1的个数平均是3～6个、节点之间的耦合数平均是3～6个的疏耦合。因此，能够大幅削减运算量。特别是图9所示的空间耦合型码的校验矩阵是矩阵要素的1呈带状排列的矩阵，因而相比控制的难易程度的观点，更期望最大运算量的削减效果。
如上所述，根据本实施方式2，具有：权重事前学习部22，其根据纠错码的校验矩阵，在由具有节点的输入层、中间层以及输出层构成的深度神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行无训练学习；权重调整部23，其通过有训练学习来调整权重事前学习部22学习到的权重；以及判别处理部21，其使用利用由权重调整部23调整后的权重值更新耦合后的节点之间的权重后的深度神经网络，求解分类问题或者回归问题。这样，在深度神经网络中，能够通过形成疏耦合，实现判别器学习和判别处理的高速化。特别是深度神经网络的中间层的层数比在实施方式1示出的分层型神经网络多，能够形成疏耦合部分的部位增多，因而节点之间的积和运算的削减效果增大。并且，不依赖于学习数据而生成疏耦合，因而能够节省在学习数据有变更或修正时进行事前学习的功夫。
另外，本发明能够在该发明的范围内进行各实施方式的自由组合、或者各实施方式的任意构成要素的变形、或者在各实施方式中省略任意构成要素。
产业上的可利用性
本发明的分层型神经网络装置通过在分层型神经网络中不依赖于学习数据而生成疏耦合，能够实现判别器学习和判别处理的高速化，因而能够适用于与各种控制、预测、诊断相关的信息处理。
标号说明
1、1A分层型神经网络装置；2、2A判别器学习部；3 权重存储部；4 学习数据存储部；5 训练数据存储部；20 权重学习部；21 判别处理部；22 权重事前学习部；23 权重调整部。

Claims (8)

1.一种分层型神经网络装置，该分层型神经网络装置具有：
权重学习部，其根据纠错码的校验矩阵，在由具有节点的输入层、中间层以及输出层构成的分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行学习；以及
判别处理部，其使用利用由所述权重学习部学习到的权重值更新耦合后的节点之间的权重后的分层型神经网络，求解分类问题或者回归问题。
2.根据权利要求1所述的分层型神经网络装置，其中，
所述纠错码是伪随机码、有限几何码、循环码、伪循环码、LDPC码以及空间耦合码中的任意码。
3.一种分层型神经网络装置，该分层型神经网络装置具有：
权重事前学习部，其根据纠错码的校验矩阵，在由具有节点的输入层、多层中间层以及输出层构成的深度神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行无训练学习；
权重调整部，其通过有训练学习来调整所述权重事前学习部学习到的权重；以及
判别处理部，其使用利用由所述权重调整部调整后的权重值更新耦合后的节点之间的权重后的深度神经网络，求解分类问题或者回归问题。
4.根据权利要求3所述的分层型神经网络装置，其中，
所述纠错码是伪随机码、有限几何码、循环码、伪循环码、LDPC码以及空间耦合码中的任意码。
5.一种对分层型神经网络进行学习的判别器学习方法，该分层型神经网络由具有节点的输入层、中间层以及输出层构成，其中，
权重学习部根据纠错码的校验矩阵，在所述分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行学习，
利用学习到的权重更新所述节点之间的权重值。
6.一种对深度神经网络进行学习的判别器学习方法，该深度神经网络由具有节点的输入层、多层中间层以及输出层构成，其中，
权重事前学习部根据纠错码的校验矩阵，在所述深度神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行无训练学习，
权重调整部通过有训练学习来调整由权重事前学习部事前学习到的权重，
利用调整后的权重更新所述节点之间的权重值。
7.一种判别方法，其中，该判别方法使用按照权利要求5所述的判别器学习方法更新了节点之间的权重值后的分层型神经网络进行判别。
8.一种判别方法，其中，该判别方法使用按照权利要求6所述的判别器学习方法更新了节点之间的权重值后的深度神经网络进行判别。
CN201480073042.6A 2014-02-10 2014-02-10 分层型神经网络装置、判别器学习方法以及判别方法 Pending CN105900116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010084242.9A CN111242300A (zh) 2014-02-10 2014-02-10 使用分层型神经网络的判别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/053056 WO2015118686A1 (ja) 2014-02-10 2014-02-10 階層型ニューラルネットワーク装置、判別器学習方法および判別方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010084242.9A Division CN111242300A (zh) 2014-02-10 2014-02-10 使用分层型神经网络的判别装置

Publications (1)

Publication Number Publication Date
CN105900116A true CN105900116A (zh) 2016-08-24

Family

ID=53777512

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480073042.6A Pending CN105900116A (zh) 2014-02-10 2014-02-10 分层型神经网络装置、判别器学习方法以及判别方法
CN202010084242.9A Pending CN111242300A (zh) 2014-02-10 2014-02-10 使用分层型神经网络的判别装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010084242.9A Pending CN111242300A (zh) 2014-02-10 2014-02-10 使用分层型神经网络的判别装置

Country Status (6)

Country Link
US (1) US10796223B2 (zh)
EP (1) EP3089081A4 (zh)
JP (1) JP5937284B2 (zh)
KR (1) KR101878579B1 (zh)
CN (2) CN105900116A (zh)
WO (1) WO2015118686A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933602A (zh) * 2017-05-26 2018-12-04 爱思开海力士有限公司 用于低密度奇偶校验解码的深度学习
CN109325583A (zh) * 2017-07-31 2019-02-12 财团法人工业技术研究院 深度神经网络、使用深度神经网络的方法及可读媒体
WO2019037409A1 (zh) * 2017-08-22 2019-02-28 华为技术有限公司 神经网络训练系统、方法和计算机可读存储介质
CN109428606A (zh) * 2017-08-29 2019-03-05 爱思开海力士有限公司 具有ldpc解码器的存储器系统及其操作方法
CN109995380A (zh) * 2018-01-02 2019-07-09 华为技术有限公司 译码方法及设备
CN110852432A (zh) * 2018-07-24 2020-02-28 三星电子株式会社 对象识别装置、电子装置和识别对象的方法
CN113168562A (zh) * 2019-05-15 2021-07-23 西部数据技术公司 优化的神经网络数据组织
CN113228057A (zh) * 2019-01-11 2021-08-06 三菱电机株式会社 推理装置和推理方法
CN113454654A (zh) * 2019-02-28 2021-09-28 三菱电机株式会社 数据处理装置、数据处理系统和数据处理方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3185184A1 (en) 2015-12-21 2017-06-28 Aiton Caldwell SA The method for analyzing a set of billing data in neural networks
CN108140144B (zh) * 2016-03-31 2021-06-01 富士通株式会社 一种对神经网络模型进行训练的方法、装置及电子设备
JP6707131B2 (ja) * 2016-06-24 2020-06-10 オリンパス株式会社 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
US10706327B2 (en) * 2016-08-03 2020-07-07 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
KR101828011B1 (ko) 2016-08-11 2018-02-21 서울대학교산학협력단 이미지에 포함된 객체의 상태를 분류하는 방법 및 분류 장치
US10572342B2 (en) * 2016-10-24 2020-02-25 SK Hynix Inc. Memory system with LDPC decoder and operating method thereof
US10685285B2 (en) * 2016-11-23 2020-06-16 Microsoft Technology Licensing, Llc Mirror deep neural networks that regularize to linear networks
EP3607495A4 (en) 2017-04-07 2020-11-25 Intel Corporation METHODS AND SYSTEMS USING IMPROVED TRAINING AND LEARNING FOR DEEP NEURAL NETWORKS
KR101880901B1 (ko) 2017-08-09 2018-07-23 펜타시큐리티시스템 주식회사 기계 학습 방법 및 장치
US10552251B2 (en) * 2017-09-06 2020-02-04 Western Digital Technologies, Inc. Storage of neural networks
US11301752B2 (en) * 2017-10-24 2022-04-12 International Business Machines Corporation Memory configuration for implementing a neural network
CN108230359B (zh) 2017-11-12 2021-01-26 北京市商汤科技开发有限公司 目标检测方法和装置、训练方法、电子设备、程序和介质
US11468332B2 (en) * 2017-11-13 2022-10-11 Raytheon Company Deep neural network processor with interleaved backpropagation
EP3518153A1 (en) * 2018-01-29 2019-07-31 Panasonic Intellectual Property Corporation of America Information processing method and information processing system
EP3518152A1 (en) * 2018-01-29 2019-07-31 Panasonic Intellectual Property Corporation of America Information processing method and information processing system
KR102501884B1 (ko) * 2018-07-06 2023-02-21 에임시스템 주식회사 기계 학습 기반의 설비 이상 진단 시스템 및 방법
CN109492764B (zh) * 2018-10-24 2024-07-26 平安科技（深圳）有限公司 生成式对抗网络的训练方法、相关设备及介质
US11210565B2 (en) * 2018-11-30 2021-12-28 Microsoft Technology Licensing, Llc Machine learning model with depth processing units
US10727868B2 (en) 2018-12-03 2020-07-28 Samsung Electronics Co., Ltd. Apparatus and method for offset optimization for low-density parity-check (LDPC) code
JP2020095428A (ja) 2018-12-12 2020-06-18 株式会社東芝 モデル学習システム、モデル学習方法、プログラム、及び記憶媒体
DE102019206720B4 (de) * 2019-05-09 2021-08-26 Volkswagen Aktiengesellschaft Überwachung eines KI-Moduls einer Fahrfunktion eines Fahrzeugs
US11468327B2 (en) * 2020-05-26 2022-10-11 GE Precision Healthcare LLC Differential learning for learning networks
WO2022091530A1 (ja) * 2020-11-02 2022-05-05 Ｓｏｉｎｎ株式会社 推定装置、推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2022164667A1 (en) * 2021-02-01 2022-08-04 Microsoft Technology Licensing, Llc Automated program repair using stack traces and back translations
US11604719B2 (en) * 2021-02-01 2023-03-14 Microsoft Technology Licensing, Llc. Automated program repair using stack traces and back translations
EP4329202A4 (en) * 2021-05-25 2024-10-16 Samsung Electronics Co Ltd SELF-CORRECTING MIN-SUM DECODER BASED ON NEURAL NETWORK AND ELECTRONIC DEVICE COMPRISING SAME

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2714600B2 (ja) 1988-08-12 1998-02-16 衛 田中 連想型ニューロコンピュータ
JPH0991263A (ja) 1995-09-20 1997-04-04 Hitachi Medical Corp ニューラルネットワーク構造最適化装置ならびに方法
JP2003317073A (ja) * 2002-04-24 2003-11-07 Fuji Xerox Co Ltd ニューラルネットワーク処理装置
JP2006163808A (ja) * 2004-12-07 2006-06-22 Fuji Electric Holdings Co Ltd ニューラルネットワークの構造
US7523375B2 (en) * 2005-09-21 2009-04-21 Distribution Control Systems Set of irregular LDPC codes with random structure and low encoding complexity
FR2964222A1 (fr) * 2010-08-25 2012-03-02 Inst Telecom Telecom Bretagne Dispositif d'apprentissage et de decodage de messages, mettant en œuvre un reseau de neurones, procedes d'apprentissage et de decodage et programmes d'ordinateur correspondants.
JP5234085B2 (ja) 2010-11-11 2013-07-10 富士電機株式会社 ニューラルネットワークの学習方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933602B (zh) * 2017-05-26 2021-09-10 爱思开海力士有限公司 用于低密度奇偶校验解码的深度学习
CN108933602A (zh) * 2017-05-26 2018-12-04 爱思开海力士有限公司 用于低密度奇偶校验解码的深度学习
CN109325583A (zh) * 2017-07-31 2019-02-12 财团法人工业技术研究院 深度神经网络、使用深度神经网络的方法及可读媒体
CN109325583B (zh) * 2017-07-31 2022-03-08 财团法人工业技术研究院 深度神经网络结构、使用深度神经网络的方法及可读媒体
WO2019037409A1 (zh) * 2017-08-22 2019-02-28 华为技术有限公司 神经网络训练系统、方法和计算机可读存储介质
CN109428606B (zh) * 2017-08-29 2022-05-10 爱思开海力士有限公司 具有ldpc解码器的存储器系统及其操作方法
CN109428606A (zh) * 2017-08-29 2019-03-05 爱思开海力士有限公司 具有ldpc解码器的存储器系统及其操作方法
CN109995380A (zh) * 2018-01-02 2019-07-09 华为技术有限公司 译码方法及设备
CN110852432A (zh) * 2018-07-24 2020-02-28 三星电子株式会社 对象识别装置、电子装置和识别对象的方法
CN113228057B (zh) * 2019-01-11 2024-05-31 三菱电机株式会社 推理装置和推理方法
CN113228057A (zh) * 2019-01-11 2021-08-06 三菱电机株式会社 推理装置和推理方法
CN113454654A (zh) * 2019-02-28 2021-09-28 三菱电机株式会社 数据处理装置、数据处理系统和数据处理方法
CN113168562B (zh) * 2019-05-15 2024-03-26 西部数据技术公司 优化的神经网络数据组织
CN113168562A (zh) * 2019-05-15 2021-07-23 西部数据技术公司 优化的神经网络数据组织

Also Published As

Publication number Publication date
US20160335536A1 (en) 2016-11-17
WO2015118686A1 (ja) 2015-08-13
JP5937284B2 (ja) 2016-06-22
EP3089081A1 (en) 2016-11-02
EP3089081A4 (en) 2017-09-20
CN111242300A (zh) 2020-06-05
JPWO2015118686A1 (ja) 2017-03-23
KR101878579B1 (ko) 2018-07-13
US10796223B2 (en) 2020-10-06
KR20160117537A (ko) 2016-10-10

Similar Documents

Publication Publication Date Title
CN105900116A (zh) 分层型神经网络装置、判别器学习方法以及判别方法
US10635978B2 (en) Ensembling of neural network models
US11100403B2 (en) Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation
KR102492318B1 (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
Okut Bayesian regularized neural networks for small n big p data
CN103049792B (zh) 深层神经网络的辨别预训练
US11074503B2 (en) Execution of a genetic algorithm having variable epoch size with selective execution of a training algorithm
KR102492205B1 (ko) 역강화학습 기반 배달 수단 탐지 장치 및 방법
CN106471525A (zh) 增强神经网络以生成附加输出
CN108465244B (zh) 用于竞速类ai模型的ai参数配置方法、装置、设备及存储介质
CN105279555A (zh) 一种基于进化算法的自适应学习神经网络实现方法
CN109328362A (zh) 渐进式神经网络
CN112001496B (zh) 神经网络结构搜索方法及系统、电子设备及存储介质
KR20160136381A (ko) 신경 네트워크들에서의 차분 인코딩
CN111144580A (zh) 一种基于模仿学习的层级强化学习训练方法和装置
CN112257751A (zh) 神经网络剪枝方法
CN106897744A (zh) 一种自适应设置深度置信网络参数的方法及系统
CN112163671A (zh) 一种新能源场景生成方法及系统
US20230018960A1 (en) Systems and methods of assigning a classification to a state or condition of an evaluation target
JP2016173843A (ja) 処理装置、判別方法およびプログラム
CN114065806B (zh) 基于脉冲神经网络的机械手触觉数据分类方法
CN107273976A (zh) 一种神经网络的优化方法、装置、计算机及存储介质
CN112131587A (zh) 一种智能合约伪随机数安全检验方法、系统、介质和装置
EP3912094A1 (en) Training in communication systems
JP7438544B2 (ja) ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160824