CN109272106A - 多项前递网络系统 - Google Patents

多项前递网络系统 Download PDF

Info

Publication number
CN109272106A
CN109272106A CN201710620775.2A CN201710620775A CN109272106A CN 109272106 A CN109272106 A CN 109272106A CN 201710620775 A CN201710620775 A CN 201710620775A CN 109272106 A CN109272106 A CN 109272106A
Authority
CN
China
Prior art keywords
layer
layers
neuron
network
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710620775.2A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Cambricon Information Technology Co Ltd
Original Assignee
Shanghai Cambricon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Cambricon Information Technology Co Ltd filed Critical Shanghai Cambricon Information Technology Co Ltd
Priority to CN201710620775.2A priority Critical patent/CN109272106A/zh
Publication of CN109272106A publication Critical patent/CN109272106A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种多项前递网络，其中包括整体网络构建单元，第一层为输入层，最后一层为输出层；基本连接单元，用于使除输入层外每一层连接单元连接至前一层连接单元；多项前递单元，用于使除输入层外至少一层的至少一个连接单元还连接至前多层的连接单元。通过将输入层的结果传递到后续更深的层中，从而保证输入信息可以高效的传递的整个网络，从而使得网络更加准确的反应输入数据集的特征，进而提高精度。

Description

多项前递网络系统
技术领域
本公开涉及计算机领域，进一步涉及人工智能领域。
背景技术
神经网络算法已成为许多不同领域中最先进的算法，如图像识别领域、语音识别领域和自然语言处理领域。这其中最为主要的网络主要是深度学习。这些网络的训练方法基本是采用反向传播算法(Back-propagation，BP)。反向传播算法是一个有监督的学习训练方法，误差(网络实际输出值和期望输出之间的误差)通过梯度从输出端反向传播回输入端，从而可以根据传播的梯度相应的修改。然而现在主流的神经网络中动辄十几层甚至于上百层，这使得输出端的误差反向传播的值越来越小(这被称之为梯度消失，gradientvanish)，输入端附近的权值基本不能进行高效的训练，从而使得整个网络的训练很难高效快速进行，也极大的影响了整个训练得到网络的精度(误差增加，accuracy degradation)。
上述现有技术存在如下技术缺陷，在现有的网络中，网络路径是固定的，连接参数也是也固定，并没有解决由于梯度消失带来训练低效的问题。
公开内容
根据本公开的一方面，提供一种多项前递网络的构建方法，其中包括：
构建含多层的神经网络，每一层均包含有神经元，第一层为输入层，最后一层为输出层；
除输入层外每一层的神经元通过含权重的突触连接至前一层的神经元；
除输入层外至少一层的至少一个神经元还通过含权重的突触连接至前多层的神经元。
在一些实施方式中，所述神经网络为BP深层神经网络。
在一些实施方式中，除输入层外的每一层的神经元连接到前一层以及前多层所有的神经元，其所连接的权重值保持一致，或相互独立，或分组独立。
在一些实施方式中，除输入层外的每一层的神经元连接到前一层的所有神经元以及前多层的部分神经元，其所连接的权重值保持一致，或相互独立，或分组独立。
在一些实施方式中，设定除输入层外某一层为第L层，则第L层神经元输出NL满足以下条件：
其中，Si，L是第i层和第L层的连接突触的权值，Fi是第i层连接到第L层所需要的计算函数，GL则是第L层神经元输出的计算函数，Ni为第i层神经元的输出。
在一些实施方式中，第L层中神经元的计算函数GL为y＝x，即
在一些实施方式中，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni×Si，L，其中ai为第i层至第L层的前递系数。
在一些实施方式中，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni*Si，L，其中ai为第i层至第L层的前递系数，Ni*Si，L表示两者之间进行卷积运算。
在一些实施方式中，第L层神经元的输出NL满足以下条件：
在一些实施方式中，第L层神经元的输出NL满足以下条件：
NL＝GL(aL-2×NL-2+FL-1(NL-1，SL-1，L))
其中，L-1层连接至第L层的计算函数为FL-1，第L-2层连接至第L层直接通过前递系数aL-2与L-1层的计算结果叠加。
在一些实施方式中，还包括对神经网络进行选择训练。
在一些实施方式中，所述选择训练包括：选择一个或几个样本进行训练；将所选择的样本输入多项前递网络，确定每个样本的输出，并根据期望输出确定相应的误差；将所所述误差逐层反向传播回输入层，并计算相应的权重值改变量，并根据权值改变量更新网络中的突触的权值；
重复以上步骤，直到在训练数据集上获得符合设定评估标准的结果。
在一些实施方式中，选择一个或几个样本包括：每次选择的样本数目固定，或者样本数目发生变化，变化的方式包括但不限于随机、递增或递减。
在一些实施方式中，根据期望输出确定相应的误差通过损失函数确定误差。
在一些实施方式中，所述评估标准为准确率和/或总误差。
在一些实施方式中，所述输入层的输入包括图片、视频、音频和/文字，所述输出层的输出包括分类结果和/或生成结果。
在一些实施方式中，多项前递网络的输出，其结果表示分类结果、生成结果。
根据本公开的另一方面，提供一种多项前递网络系统，其中包括：
整体网络构建单元：用于构建含多层的神经网络，每一层均包含有神经元，第一层为输入层，最后一层为输出层；
基本连接单元：用于使除输入层外每一层的神经元通过含权重的突触连接至前一层的神经元；
多项前递单元：用于使除输入层外至少一层的至少一个神经元还通过含权重的突触连接至前多层的神经元。
在一些实施方式中，所述神经网络为BP神经网络。
在一些实施方式中，除输入层外的每一层的神经元连接到前一层以及前多层所有的神经元，其所连接的权重值保持一致，或相互独立，或分组独立。
在一些实施方式中，除输入层外的每一层的神经元连接到前一层的所有神经元以及前多层的部分神经元，其所连接的权重值保持一致，或相互独立，或分组独立。
在一些实施方式中，设定除输入层外某一层为第L层，则第L层神经元的输出NL满足以下条件：
其中，Si，L是第i层和第L层的连接突触的权值，Fi是第i层连接到第L层的所需要的计算函数，GL则是第L层神经元输出的计算函数，Ni为第i层神经元的输出。
在一些实施方式中，第L层中神经元的计算函数GL为y＝x，即
在一些实施方式中，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni×Si，L，其中ai为第i层至第L层的前递系数。
在一些实施方式中，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni*Si，L，其中ai为第i层至第L层的前递系数，Ni*Si，L表示两者之间进行卷积运算。
在一些实施方式中，第L层神经元的输出NL满足以下条件：
在一些实施方式中，第L层神经元的输出NL满足以下条件：
NL＝GL(aL-2×NL-2+FL-1(NL-1，SL-1，L))
其中，L-1层连接至第L层的计算函数为FL-1，第L-2层连接至第L层直接通过前递系数aL-2与L-1层的计算结构叠加。
在一些实施方式中，还包括训练单元：用于对神经网络进行选择训练。
在一些实施方式中，所述训练单元中，所述选择训练方法包括：
选择一个或几个样本进行训练；将所选择的样本输入多项前递网络，确定每个样本的输出，并根据期望输出确定相应的误差；将所所述误差逐层反向传播回输入层，并计算相应的权重值改变量，并根据权值改变量更新网络中的突触的权值；重复以上过程，直到在训练数据集上获得符合设定评估标准的结果。
在一些实施方式中，所述训练单元中，选择一个或几个样本包括：每次选择的样本数目固定，或者样本数目发生变化，变化的方式包括但不限于随机、递增或递减。
在一些实施方式中，所述训练单元中，所述根据期望输出确定相应的误差通过损失函数确定误差。
在一些实施方式中，所述评估标准为准确率和/或总误差。
在一些实施方式中，所述整体网络构建单元中，对于输入层的输入包括图片、视频、音频和/文字，所述输出层的输出包括分类结果和/或生成结果。
在一些实施方式中，所述整体网络构建单元中，对于多项前递网络的输出，其结果表示分类结果、生成结果
根据本公开的再一方面，提供一种处理装置，包括：
存储单元，用于存储可执行指令；
处理器，用于执行所述可执行指令，在执行指令时进行以上任意所述的方法。
根据本公开的又一方面，提供一种电子装置，所述电子装置包括以上所述的处理装置，所述电子装置包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备交通工具、家用电器、和/或医疗设备。
通过上述技术方案，可知本公开多项前递网络系统及其构建方法、处理系统有益效果在于：
(1)多项前递网络，通过在当前层中引入前面层的输入，从而将前面层的信息传递到当前层，使得后续更深的层可以学习到输入的信息，从而易于构建更深层次的神经网络。
(2)通过将输入层的结果传递到后续更深的层中，从而保证输入信息可以高效的传递的整个网络，从而使得网络更加准确的反应输入数据集的特征，进而提高精度。
(3)训练过程中，前递连接的存在使得输出端的误差可以反向直接传播回输入层，从而保证误差可以被准确高效的利用，进而修改突触权值。
附图说明
图1是本公开实施例多项前递网络的构建流程图。
图2是本公开另一实施例多项前递网络的构建流程图。
图3是本公开实施例提供的训练多项前递网络的流程图。
图4是本公开实施例提供的多项前递网络系统的模块示意图。
图5是本公开实施例提供的多项前递网络的拓扑结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开作进一步的详细说明。
根据结合附图对本公开示例性实施例的以下详细描述，本公开的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。
在本公开中，术语“包括”和“含有”及其派生词意为包括而非限制。
在本公开书中，下述用于描述本公开原理的各种实施例只是说明，不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不脱离本公开的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同附图标记用于相同或相似的功能和操作。此外，尽管可能在不同实施例中描述了具有不同特征的方案，但是本领域技术人员应当意识到：可以将不同实施例的全部或部分特征相结合，以形成不脱离本公开的精神和范围的新的实施例。
根据本公开实施例的一方面，提供一种多项前递网络的构建方法。图1是本公开实施例多项前递网络的构建流程图，根据图1所示，本公开实施例的构建方法包括：
S101：构建含多层的神经网络，每一层均包含有神经元，第一层为输入层，最后一层为输出层；
S102：除输入层外每一层的神经元通过含权重的突触连接至前一层的神经元；
S103：除输入层外至少一层的至少一个神经元还通过含权重的突触连接至前多层的神经元。
其中，通过除输入层外至少一层的至少一个神经元还通过含权重的突触连接至前多层的神经元。即通过在当前层中引入前面层的输入，从而将前面层的信息传递到当前层，使得后续更深的层可以学习到输入的信息，从而易于构建更深层次的神经网络。
在一些实施例中，所述神经网络为BP深层神经网络。通过将输入层的结果传递到后续更深的层中，从而保证输入信息可以高效的传递的整个网络，从而使得网络更加准确的反应输入数据集的特征，进而提高精度。
在一些实施例中，除输入层外的每一层的神经元连接到前一层以及前多层所有的神经元，其所连接的权重值保持一致，或相互独立，或分组独立。神级网络的组织构成包括但不限于全连接层、卷积层、降采样层、归一化层、循环层、残差层、Batch Normalization层或者长短期层。
在一些实施例中，除输入层外的每一层的神经元连接到前一层的所有神经元以及前多层的部分神经元，其所连接的权重值保持一致，或相互独立，或分组独立。
在一些实施例中，设定除输入层外某一层为第L层，则第L层神经元的输出NL满足以下条件：
其中，Si，L是第i层和第L层的连接突触的权值，Fi是第i层连接到第L层的所需要的计算函数，GL则是第L层神经元输出的计算函数，Ni为第i层神经元的输出。可以看出第L层的输出与第1层至第L-1层的神经元输出都相关，也即每一层的输出有多项构成，故称之为多项前递网络。
对于上述公式，第L层中神经元的计算函数GL为y＝x。
作为优选，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni×Si，L，其中ai为第i层至第L层的前递系数。
作为优选，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni*Si，L，其中ai为第i层至第L层的前递系数，Ni*Si，L表示两者之间进行卷积运算。
作为优选，第L层神经元的输出NL满足以下条件：
作为优选，第L层神经元的输出NL满足以下条件：
NL＝GL(aL-2×NL-2+FL-1(NL-1，SL-1，L))
其中，L-1层连接至第L层的计算函数为FL-1，第L-2层连接至第L层直接通过前递系数aL-2与L-1层的计算结构叠加。
以下列举具体的实例进行解释说明，但应理解的是这些实例仅用解释本公开实施例，并非用于限定本公开。
实施例1
NL＝a0×N0+a1×N1+…aL-1×NL-1
其中a0为多项前递的系数，其余类似。在此实施例中，每层神经元输入到输出的计算函数GL为y＝x的简单映射；前面所有层的输出每层乘以一个的系数，并将所有乘积结果累加得到第L层的输出。本实施例中，每一层将结果前递到后续更深的层中，其耦合的方法是将输出乘以不同的系数输入到不同的层中。该实施例所对应的网络中每层都能获得前面所有层的信息，而每层的输出都可以传递至后续所有的层，这使得网络中每一层处理和获得信息都可以保留并传递。特别是在训练过程，反向传播的误差可以被高效的反映至输入层，从而保证网络的训练高效。
实施例2
NL＝GL(a0×N0×S0，L+a1×N1×S1，L+…aL-1×NL-1×SL-1，L)
其中a0为多项前递的系数，其余类似；S0，L是第0层到第L层的系数矩阵，其余类似。在此实施例中，一层前递到后续每个层中其通过一个独立的前递系数和一个独立连接矩阵，该矩阵和输出完成矩阵对位乘计算。该实施例对应的网络中每层都能获得前面所有层的信息，而每层的输出都可以传递至后续所有的层，而这其中包含了可以进行进一步筛选加权的权值系数，这使得网络中的针对不同的层信息可以被筛选性的保留。在训练过程，反向传播的误差可以被高效的反映至输入层，从而保证网络的训练高效。
实施例3
NL＝GL(a0×N0*S0，L+a1×N1*S1，L+…aL-1×NL-1*SL-1，L)
其中a0为多项前递的系数，其余类似；S0，L是第0层到第L层的系数矩阵，其余类似。在此实施例中，一层前递到后续每个层中其通过一个独立的前递系数和一个独立连接矩阵，该矩阵和输出完成卷积计算。该实施例中所对应的网络每层都能获得前面所有层的信息，而每层的输出都可以传递至后续所有的层，信息的传递通过卷积操作完成，也即前递信息经过可以训练的卷积核进行筛选特定的分量，这使得网络中每层的信息可以被筛选性的保留。在训练过程，反向传播的误差可以被高效的反映至输入层，从而保证网络的训练高效。
实施例4
4，NL＝GL(aL-2×NL-2×SL-2，L+aL-1×NL-1×SL-1，L)
其中各个变量含义与前述相同。在此实施例中，第L层只接受L-1层和L层的神经元输出。也即，L-2层前递输入给L层和L-1层。其中L-1层和L-2的传递处理计算一致，此实施例中为矩阵乘法。该实施例中所对应的网络每层都能获得前面固定数量层的信息，而每层的输出都可以传递至后续固定数量的层，这使得网络中每层的信息可以被筛选性的保留，在某些应用场景中可以排除掉距离过远的层可能存在的信息抽象层次不匹配。在训练过程，反向传播的误差可以被高效的反映至输入层，从而保证网络的训练高效。
实施例5
5，NL＝GL(aL-2×NL-2+FL-1(NL-1，SL-1，L)
其中各个变量含义与前述相同。在此实施例中，第L层只接受L-1层和L层的神经元输出。也即，L-2层前递输入给L层和L-1层。进一步的，其中L-1层和L-2层处理不一致，其中L-1的操作等同于常见的神经网络操作，包括但不限于卷积、将采样、全连接；其中L-2层的结果直接乘以一个系数和L-1层的计算结果叠加。该实施例中所对应的网络每层都能获得前面固定数量层的信息，而每层的输出都可以传递至后续固定数量的层，这使得网络中每层的信息可以被筛选性的保留，在某些应用场景中可以排除掉距离过远的层可能存在的信息抽象层次不匹配。而信息传递的操作则可以根据不同的应用场景自定义，如图像类应用中可以采用卷积等。在训练过程，反向传播的误差可以被高效的反映至输入层，从而保证网络的训练高效。
在一些实施例中，还包括对神经网络进行选择训练。图2是本公开另一实施例多项前递网络的构建流程图。如图2所示，S201-S203与S101-S103对应外，还包括步骤S204，对神经网络进行训练。其中所述选择训练方法包括：选择一个或几个样本进行训练；将所选择的样本输入多项前递网络，确定每个样本的输出，并根据期望输出确定相应的误差；将所所述误差逐层反向传播回输入层，并计算相应的权重值改变量，并根据权值改变量更新网络中的突触的权值；并且重复以上步骤，直到在训练数据集上获得符合设定评估标准的结果。
在一些实施例中，选择一个或几个样本包括：每次选择的样本数目固定，或者样本数目发生变化，变化的方式包括但不限于随机、递增或递减。
其中，可根据期望输出确定相应的误差通过损失函数确定误差。
在一些实施例中，所述评估标准为准确率和/或总误差。
图3是本公开实施例提供的多项前递网络的拓扑结构示意图。参照图3所示，首先选择样本子集，然后计算正向结果，介质计算反向传播梯度和权值更新量，依照更新量更新权值后判断是否满足训练要求，不满足的话重新开始选择样本子集，满足训练要求则结束训练。
一种具体的多项前递网络的训练方法实例可以分为以下步骤：
首先，选择训练数据集中的一个或几个样本，样本的选择方式包括但不限于随机，分组顺序。每次选择的样本数目可以固定，也可以发生变化，变化的方式包括但不限于随机、递增、递减或按照一定数学规则。
其次，将所选择的样本集合输入多项前递网络，计算得到每个样本的输出，并根据期望输出计算相应的误差，误差评估的方式包括但不限于不同的损失函数。
第三，将所计算的误差逐层反向传播回输入层，并计算相应的权值改变量，并根据权值改变量更新网络中的突触的权值。
第四，重复以上过程，直到在训练数据集上获得符合特定评估标准的结果，该评估标准可以是但不限于识别准确率、总误差。
在步骤S101中，所述输入层的输入可以包括图片、视频、音频和/文字，所述输出层的输出包括分类结果和/或生成结果。
其中，多项前递网络的输出，其结果表示分类结果、生成结果。
如图4所示，根据本公开实施例的另一方面，提供一种多项前递网络的构建系统，其中包括：
整体网络构建单元401：用于构建含多层的神经网络，每一层均包含有神经元，第一层为输入层，最后一层为输出层；
基本连接单元402：用于使除输入层外每一层的神经元通过含权重的突触连接至前一层的神经元；
多项前递单元403：用于使除输入层外至少一层的至少一个神经元还通过含权重的突触连接至前多层的神经元。
在一些实施例中，所述神经网络为BP深层神经网络。通过将输入层的结果传递到后续更深的层中，从而保证输入信息可以高效的传递的整个网络，从而使得网络更加准确的反应输入数据集的特征，进而提高精度。参见图5所示，其是本公开实施例提供的多项前递网络的拓扑结构示意图，例如输入层N1的结果传递到后续更深的层NL中，从而保证输入信息可以高效的传递的整个网络，从而使得网络更加准确的反应输入数据集的特征，进而提高精度
在一些实施例中，除输入层外的每一层的神经元连接到前一层以及前多层所有的神经元，其所连接的权重值保持一致，或相互独立，或分组独立。
在一些实施例中，除输入层外的每一层的神经元连接到前一层的所有神经元以及前多层的部分神经元，其所连接的权重值保持一致，或相互独立，或分组独立。
在一些实施例中，设定除输入层外某一层为第L层，则第L层神经元的输出NL满足以下条件：
其中，Si，L是第i层和第L层的连接突触的权值，Fi是第i层连接到第L层的所需要的计算函数，GL则是第L层神经元输出的计算函数，Ni为第i层神经元的输出。
在一些实施例中计算函数FI可以是任意形式，比如直接神经元对位相加、权值和神经元相乘、权值和神经元进行卷积操作等。
对于上述，第L层中神经元的计算函数GL为y＝x为映射。
作为优选，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni×Si，L，其中ai为第i层至第L层的前递系数。
作为优选，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni*Si，L，其中ai为第i层至第L层的前递系数，Ni*Si，L表示两者之间进行卷积运算。
作为优选，第L层神经元的输出NL满足以下条件：
作为优选，第L层神经元的输出NL满足以下条件：
NL＝GL(aL-2×NL-2+FL-1(NL-1，SL-1，L)
其中，L-1层连接至第L层的计算函数为FL-1，第L-2层连接至第L层直接通过前递系数aL-2与L-1层的计算结构叠加。
在一些实施例中，还包括对神经网络进行选择训练。其中所述选择训练方法包括：选择一个或几个样本进行训练；将所选择的样本输入多项前递网络，确定每个样本的输出，并根据期望输出确定相应的误差；将所所述误差逐层反向传播回输入层，并计算相应的权重值改变量，并根据权值改变量更新网络中的突触的权值；并且重复以上步骤，直到在训练数据集上获得符合设定评估标准的结果。
在一些实施例中，选择一个或几个样本包括：每次选择的样本数目固定，或者样本数目发生变化，变化的方式包括但不限于随机、递增或递减。
其中，可根据期望输出确定相应的误差通过损失函数确定误差。
在一些实施例中，所述评估标准为准确率和/或总误差。
根据本公开的一方面，提供一种处理装置，包括：存储单元，用于存储可执行指令；以及处理器，用于执行所述可执行指令，在执行指令时进行上述任意一种多项前递网络的构建方法。
其中，处理器可以是单个处理单元，但也可以包括两个或更多个处理单元。另外，处理器还可以包括通用处理器(CPU)或者图形处理器(GPU)；还可以包括在现场可编程逻辑门阵列(FPGA)或者专用集成电路(ASIC)，以对神经网络进行设置和运算。处理器还可以包括用于缓存用途的片上存储器(即包括处理装置中的存储器)。
在一些实施例里，公开了一种芯片，其包括了上述处理装置。
在一些实施例里，公开了一种芯片封装结构，其包括了上述芯片。
在一些实施例里，公开了一种板卡，其包括了上述芯片封装结构。
在一些实施例里，公开了一种电子装置，其包括了上述板卡。
电子装置包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
应该理解到，所揭露的相关装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
通过本公开的实施例，提供了多项前递网络系统及其构建方法、处理装置，以及芯片、芯片封装结构、板卡和电子装置。其中，通过在当前层中引入前面层的输入，从而将前面层的信息传递到当前层，使得后续更深的层可以学习到输入的信息，从而易于构建更深层次的神经网络。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (17)

1.一种多项前递网络系统，其中包括：
整体网络构建单元：用于构建含多层的神经网络，每一层均包含有神经元，第一层为输入层，最后一层为输出层；
基本连接单元：用于使除输入层外每一层的神经元通过含权重的突触连接至前一层的神经元；
多项前递单元：用于使除输入层外至少一层的至少一个神经元还通过含权重的突触连接至前多层的神经元。
2.根据权利要求1所述的系统，其特征在于，所述神经网络为BP神经网络。
3.根据权利要求1或2所述的系统，其特征在于，除输入层外的每一层的神经元连接到前一层以及前多层所有的神经元，其所连接的权重值保持一致，或相互独立，或分组独立。
4.根据权利要求1-3任一所述的系统，其特征在于，除输入层外的每一层的神经元连接到前一层的所有神经元以及前多层的部分神经元，其所连接的权重值保持一致，或相互独立，或分组独立。
5.根据权利要求1-4任一所述的系统，其特征在于，设定除输入层外某一层为第L层，则第L层神经元的输出NL满足以下条件：
其中，Si，L是第i层和第L层的连接突触的权值，Fi是第i层连接到第L层的所需要的计算函数，GL则是第L层神经元输出的计算函数，Ni为第i层神经元的输出。
6.根据权利要求5所述的系统，其特征在于，第L层中神经元的计算函数GL为y＝x，即
7.根据权利要求5所述的系统，其特征在于，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni×Si，L，其中ai为第i层至第L层的前递系数。
8.根据权利要求5所述的系统，其特征在于，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni*Si，L，其中ai为第i层至第L层的前递系数，Ni*Si，L表示两者之间进行卷积运算。
9.根据权利要求5所述的系统，其特征在于，第L层神经元的输出NL满足以下条件：
10.根据权利要求5所述的系统，其特征在于，第L层神经元的输出NL满足以下条件：
NL＝GL(aL-2×NL-2+FL-1(NL-1，SL-1，L))
其中，L-1层连接至第L层的计算函数为FL-1，第L-2层连接至第L层直接通过前递系数aL-2与L-1层的计算结构叠加。
11.根据权利要求1-10任一所述的系统，其特征在于，还包括训练单元：用于对神经网络进行选择训练。
12.根据权利要求1-11任一所述的系统，其特征在于，所述训练单元中，所述选择训练方法包括：
选择一个或几个样本进行训练；
将所选择的样本输入多项前递网络，确定每个样本的输出，并根据期望输出确定相应的误差；
将所所述误差逐层反向传播回输入层，并计算相应的权重值改变量，并根据权值改变量更新网络中的突触的权值；
重复以上过程，直到在训练数据集上获得符合设定评估标准的结果。
13.根据权利要求12任一所述的系统，其特征在于，所述训练单元中，选择一个或几个样本包括：每次选择的样本数目固定，或者样本数目发生变化，变化的方式包括但不限于随机、递增或递减。
14.根据权利要求12所述的系统，其特征在于，所述训练单元中，所述根据期望输出确定相应的误差通过损失函数确定误差。
15.根据权利要求12所述的系统，其特征在于，所述评估标准为准确率和/或总误差。
16.根据权利要求1-15任一所述的系统，其特征在于，所述整体网络构建单元中，对于输入层的输入包括图片、视频、音频和/文字，所述输出层的输出包括分类结果和/或生成结果。
17.根据权利要求1-16任一所述的系统，其特征在于，所述整体网络构建单元中，对于多项前递网络的输出，其结果表示分类结果、和/或生成结果。
CN201710620775.2A 2017-07-18 2017-07-18 多项前递网络系统 Pending CN109272106A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710620775.2A CN109272106A (zh) 2017-07-18 2017-07-18 多项前递网络系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710588297.1A CN109272105A (zh) 2017-07-18 2017-07-18 多项前递网络系统的构建方法和处理装置
CN201710620775.2A CN109272106A (zh) 2017-07-18 2017-07-18 多项前递网络系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710588297.1A Division CN109272105A (zh) 2017-07-18 2017-07-18 多项前递网络系统的构建方法和处理装置

Publications (1)

Publication Number Publication Date
CN109272106A true CN109272106A (zh) 2019-01-25

Family

ID=65148110

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710588297.1A Pending CN109272105A (zh) 2017-07-18 2017-07-18 多项前递网络系统的构建方法和处理装置
CN201710620775.2A Pending CN109272106A (zh) 2017-07-18 2017-07-18 多项前递网络系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710588297.1A Pending CN109272105A (zh) 2017-07-18 2017-07-18 多项前递网络系统的构建方法和处理装置

Country Status (1)

Country Link
CN (2) CN109272105A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101019123A (zh) * 2004-02-06 2007-08-15 科学与工业研究委员会 用于识别有治疗潜力的粘附素和粘附素样蛋白的计算方法
CN101814158A (zh) * 2009-02-20 2010-08-25 北京联合大学生物化学工程学院 基于人工神经网络的实验数据分析处理方法
JP2016218513A (ja) * 2015-05-14 2016-12-22 国立研究開発法人情報通信研究機構 ニューラルネットワーク及びそのためのコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101019123A (zh) * 2004-02-06 2007-08-15 科学与工业研究委员会 用于识别有治疗潜力的粘附素和粘附素样蛋白的计算方法
CN101814158A (zh) * 2009-02-20 2010-08-25 北京联合大学生物化学工程学院 基于人工神经网络的实验数据分析处理方法
JP2016218513A (ja) * 2015-05-14 2016-12-22 国立研究開発法人情報通信研究機構 ニューラルネットワーク及びそのためのコンピュータプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李彦民等: "前向神经网络拓扑结构和权值的进化", 《前向神经网络拓扑结构和权值的进化》 *
陈元: "基于BP神经网络的语音识别技术研究", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN109272105A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109902832A (zh) 机器学习模型的训练方法、异常预测方法及相关装置
WO2019111118A1 (en) Robust gradient weight compression schemes for deep learning applications
CN108510485A (zh) 一种基于卷积神经网络的无参照图像质量评估方法
CN108319599A (zh) 一种人机对话的方法和装置
CN109166144A (zh) 一种基于生成对抗网络的图像深度估计方法
CN108009594B (zh) 一种基于变分组卷积的图像识别方法
CN110445126A (zh) 一种非侵入式负荷分解方法及系统
CN109426553A (zh) 任务切分装置及方法、任务处理装置及方法、多核处理器
US20230196202A1 (en) System and method for automatic building of learning machines using learning machines
CN112508120B (zh) 学生模型训练方法、装置、设备、介质和程序产品
CN111311321A (zh) 用户消费行为预测模型训练方法、装置、设备及存储介质
CN113610989B (zh) 风格迁移模型训练方法和装置、风格迁移方法和装置
CN107181474A (zh) 一种基于函数展开的核自适应滤波器算法
CN108229536A (zh) 分类预测模型的优化方法、装置及终端设备
CN116707331A (zh) 基于模型预测的逆变器输出电压高精度调节方法及系统
CN105335595A (zh) 基于感受的多媒体处理
CN113971090B (zh) 分布式深度神经网络的分层联邦学习方法及装置
Xu et al. Distributed no-regret learning in multiagent systems: Challenges and recent developments
CN110007371A (zh) 风速预测方法及装置
CN109359542A (zh) 基于神经网络的车辆损伤级别的确定方法及终端设备
CN117113087A (zh) 模型训练方法、装置、电子设备以及存储介质
CN109190749A (zh) 一种用于智能电表寿命的预测方法及装置
CN109272106A (zh) 多项前递网络系统
CN115374863A (zh) 样本生成方法、装置、存储介质和设备
CN109493065A (zh) 一种基于行为增量更新的欺诈交易检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125