CN113159311A - 神经元网络的反向传播算法的学习方法 - Google Patents

神经元网络的反向传播算法的学习方法 Download PDF

Info

Publication number
CN113159311A
CN113159311A CN202011631825.5A CN202011631825A CN113159311A CN 113159311 A CN113159311 A CN 113159311A CN 202011631825 A CN202011631825 A CN 202011631825A CN 113159311 A CN113159311 A CN 113159311A
Authority
CN
China
Prior art keywords
hidden layer
layer
hidden
training
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011631825.5A
Other languages
English (en)
Inventor
孔繁生
周华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guanghua Lingang Engineering Application Technology Research and Development Shanghai Co Ltd
Original Assignee
Guanghua Lingang Engineering Application Technology Research and Development Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guanghua Lingang Engineering Application Technology Research and Development Shanghai Co Ltd filed Critical Guanghua Lingang Engineering Application Technology Research and Development Shanghai Co Ltd
Priority to CN202011631825.5A priority Critical patent/CN113159311A/zh
Priority to PCT/CN2021/073578 priority patent/WO2022141704A1/zh
Publication of CN113159311A publication Critical patent/CN113159311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供了一种神经元网络的反向传播算法的学习方法，包括如下步骤：提供一神经元网络，所述神经元网络包括输入层、隐藏层、和输出层，其中隐藏层为多层结构，包括第一隐藏层和第二隐藏层；为第一和第二隐藏层分别配置第一期待值和第二期待值；根据第一期待值对第一隐藏层执行训练，使第一隐藏层优化；保持第一隐藏层的优化结果，根据第二期待值对第二隐藏层执行训练，使第二隐藏层优化。本发明可以针对隐藏层中的每层进行单独的训练，保持上一隐藏层的优化结果的前提下，再对下面的隐藏层执行训练，逐层优化。这种优化方法可以不必在学习某一层的情况下，反复对其他层进行运算，因此可以节约总体的学习时间。

Description

神经元网络的反向传播算法的学习方法
技术领域
本发明涉及神经元网络领域，尤其涉及一种神经元网络的反向传播算法的学习方法。
背景技术
反向传播算法(即backpropagation算法)适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。这是BP算法得以应用的基础。
反向传播算法的基本流程如图1所示，流程框图如图2所示，包括输入层(inputlayer)，隐藏层(hidden layer)和输出层(output layer)，输出层值与期待结果(desiredvalue)，并将比较结果反向反馈给隐藏层，实现闭环的学习过程。为了提高神经元网络的计算能力，会对隐藏层设置为多层。层数越多整个网络的误差也就越小，但是会是整个网络复杂化，增加网络的训练时间，也有可能出现“过拟合”的情况。因此如何平衡层数和网络训练时间，是现有技术需要解决问题。
发明内容
本发明所要解决的技术问题是，提供一种神经元网络的反向传播算法的学习方法，可以降低学习时间。
为了解决上述问题，本发明提供了一种神经元网络的反向传播算法的学习方法，包括如下步骤：提供一神经元网络，所述神经元网络包括输入层、隐藏层、和输出层，其中隐藏层为多层结构，包括第一隐藏层和第二隐藏层；为第一和第二隐藏层分别配置第一期待值和第二期待值；根据第一期待值对第一隐藏层执行训练，使第一隐藏层优化；保持第一隐藏层的优化结果，根据第二期待值对第二隐藏层执行训练，使第二隐藏层优化。
本发明可以针对隐藏层中的每层进行单独的训练，保持上一隐藏层的优化结果的前提下，再对下面的隐藏层执行训练，逐层优化。这种优化方法可以不必在学习某一层的情况下，反复对其他层进行运算，因此可以节约总体的学习时间。
附图说明
附图1所示是现有技术中反向传播算法的基本流程。
附图2所示是现有技术中反向传播算法的流程框图。
附图3所示是本发明一具体实施方式所述方法的实施步骤示意图。
附图4所示是本发明一具体实施方式所述方法对应的神经元网络结构示意图。
具体实施方式
下面结合附图对本发明提供的一种神经元网络的反向传播算法的学习方法的具体实施方式做详细说明。
附图3所示是本具体实施方式所述方法的实施步骤示意图，包括：步骤S20，提供一神经元网络，所述神经元网络包括输入层、隐藏层、和输出层，其中隐藏层为多层结构，包括第一隐藏层和第二隐藏层；步骤S21，为第一和第二隐藏层分别配置第一期待值和第二期待值；步骤S22，根据第一期待值对第一隐藏层执行训练，使第一隐藏层优化；步骤S23，保持第一隐藏层的优化结果，根据第二期待值对第二隐藏层执行训练，使第二隐藏层优化。
附图4所示是上述方法对应的神经元网络结构示意图，所述神经元网络包括输入层X，隐藏层W1、W2、……Wn，输出层O1、O2、……On，以及期待值D1、D2、……Dn。对应于有n个隐藏层的网络，可以为每个隐藏层Wn都单独配置一个期待值Dn。
上述神经元网络进行学习训练时，可以针对隐藏层中的每层进行单独的训练，保持上一隐藏层的优化结果的前提下，再对下面的隐藏层执行训练，逐层优化。在每一层的学习过程中，仍然执行附图1和2所示的反向传播算法的执行流程。这种优化方法可以不必在学习某一层的情况下，反复对其他层进行运算，因此可以节约总体的学习时间。
作为一种优选的具体实施方式，在上述步骤执行之前，首先执行全局学习策略，即完整的循环迭代。至响应误差小于一预设范围后，开始执行所述逐层学习的步骤，以平衡学习时间和精度，达到最优效果。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种神经元网络的反向传播算法的学习方法，其特征在于，包括如下步骤：
提供一神经元网络，所述神经元网络包括输入层、隐藏层、和输出层，其中隐藏层为多层结构，包括第一隐藏层和第二隐藏层；
为第一和第二隐藏层分别配置第一期待值和第二期待值；
根据第一期待值对第一隐藏层执行训练，使第一隐藏层优化；
保持第一隐藏层的优化结果，根据第二期待值对第二隐藏层执行训练，使第二隐藏层优化。
2.根据权利要求1所述的方法，其特征在于，所述神经元网络还包括第三隐藏层；
为第三隐藏层配置第三期待值；
保持第一和第二隐藏层的优化结果，根据第三期待值对第三隐藏层执行训练，使第三隐藏层优化。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
执行全局学习策略，至相应误差小于一预设范围后，开始执行所述逐层学习的步骤。
CN202011631825.5A 2020-12-31 2020-12-31 神经元网络的反向传播算法的学习方法 Pending CN113159311A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011631825.5A CN113159311A (zh) 2020-12-31 2020-12-31 神经元网络的反向传播算法的学习方法
PCT/CN2021/073578 WO2022141704A1 (zh) 2020-12-31 2021-01-25 神经元网络的反向传播算法的学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011631825.5A CN113159311A (zh) 2020-12-31 2020-12-31 神经元网络的反向传播算法的学习方法

Publications (1)

Publication Number Publication Date
CN113159311A true CN113159311A (zh) 2021-07-23

Family

ID=76878572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011631825.5A Pending CN113159311A (zh) 2020-12-31 2020-12-31 神经元网络的反向传播算法的学习方法

Country Status (2)

Country Link
CN (1) CN113159311A (zh)
WO (1) WO2022141704A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404865A (zh) * 2015-11-16 2016-03-16 杭州电子科技大学 基于概率态受限玻尔兹曼机级联的人脸检测方法
CN106778921A (zh) * 2017-02-15 2017-05-31 张烜 基于深度学习编码模型的人员再识别方法
JP6857598B2 (ja) * 2017-12-26 2021-04-14 株式会社日立製作所 カバレッジテスト支援装置およびカバレッジテスト支援方法
CN110995365B (zh) * 2019-03-29 2022-06-21 国家无线电监测中心检测中心 射频基因库建立方法及违法违规无线电波检测方法
CN111814878B (zh) * 2020-07-09 2023-06-06 仲恺农业工程学院 基于ssda-helm-softmax的农业投入品实时分类预测方法

Also Published As

Publication number Publication date
WO2022141704A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
KR102555057B1 (ko) 웨이트 매트릭스를 포맷하는 방법, 포맷된 데이터를 사용하는 가속기 및 이를 포함하는 시스템
WO2021027265A1 (zh) 计算无人机集群重新编队的最短编队距离的方法
CN108764317B (zh) 一种基于多路特征加权的残差卷积神经网络图像分类方法
KR102061615B1 (ko) 인공 신경망 모델에서 메모리 효율성 및 학습 속도 향상을 위한 드롭아웃 방법과 이를 이용한 학습 방법
CN112036512A (zh) 基于网络裁剪的图像分类神经网络架构搜索方法和装置
US11551039B2 (en) Neural network categorization accuracy with categorical graph neural networks
CN110580519B (zh) 一种卷积运算装置及其方法
WO2020134828A1 (zh) 一种神经网络推理结构优化方法及装置
CN109919312B (zh) 卷积神经网络的运算方法、装置及dpu
CN111144556A (zh) 面向深度神经网络训练和推理的范围批处理归一化算法的硬件电路
KR20220131123A (ko) 인공 신경망의 가속 하드웨어를 위한 가지치기 기반의 훈련 방법 및 시스템
KR20210022455A (ko) 심층 신경망 학습 장치 및 그 방법
Liu et al. Learning to learn evolutionary algorithm: A learnable differential evolution
WO2020195940A1 (ja) ニューラルネットワークのモデル縮約装置
KR102256289B1 (ko) 인공 신경망에서 학습을 통한 로드 밸런싱 방법 및 시스템
KR102263598B1 (ko) 파이프라인 구조를 가지는 인공신경망용 연산 가속 장치
CN113159311A (zh) 神经元网络的反向传播算法的学习方法
CN112987665B (zh) 一种基于强化学习的流水车间调度方法
WO2022057459A1 (zh) 一种基于Tensorcore处理int4数据类型的方法、系统、设备及介质
CN109726801A (zh) 卷积神经网络的优化方法、装置、存储介质和系统
JP7044160B2 (ja) 学習装置、学習回路、学習方法および学習プログラム
CN115016937A (zh) 一种面向流水线并行训练的内存调度方法
KR20210157826A (ko) 심층 신경망 구조 학습 및 경량화 방법
CN112379688B (zh) 一种基于膜计算的多机器人有限时间同步控制方法
KR102090109B1 (ko) 학습 및 추론 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723

RJ01 Rejection of invention patent application after publication