CN115358389A - 神经网络的训练误差降低方法、装置、电子设备及介质 - Google Patents

神经网络的训练误差降低方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN115358389A
CN115358389A CN202211063580.XA CN202211063580A CN115358389A CN 115358389 A CN115358389 A CN 115358389A CN 202211063580 A CN202211063580 A CN 202211063580A CN 115358389 A CN115358389 A CN 115358389A
Authority
CN
China
Prior art keywords
neural network
training
error
output port
weight coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211063580.XA
Other languages
English (en)
Inventor
郑纪元
邓辰辰
王钰言
林珠
吴嘉敏
范静涛
方璐
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202211063580.XA priority Critical patent/CN115358389A/zh
Publication of CN115358389A publication Critical patent/CN115358389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Feedback Control In General (AREA)

Abstract

本申请涉及神经网络技术领域，特别涉及一种神经网络的训练误差降低方法、装置、电子设备及介质，其中，方法包括：确定目标神经网络的每个输出端口的优先级；根据优先级匹配目标神经网络的每个输出端口的误差权重系数，其中，优先级高的输出端口的误差权重系数大于优先级低的输出端口的误差权重系数；根据每个输出端口的误差权重系数计算目标神经网络的训练误差，以进行训练，直至在训练误差满足预设精度条件时，完成目标神经网络的训练。由此，解决了相关技术采用各个输出端口均一权重定义误差函数的训练方法，会导致训练输出结果从低位到高位精度依次递减，无法使所有端口都满足精度要求，且训练时间长，效率低等问题。

Description

神经网络的训练误差降低方法、装置、电子设备及介质
技术领域
本申请涉及神经网络技术领域，特别涉及一种神经网络的训练误差降低方法、装置、 电子设备及介质。
背景技术
全加器是算术逻辑运算单元的基本模块，而算术逻辑单元是以CPU(centralprocessing unit，中央处理器)、GPU(graphics processing unit，图形处理器)等通用处理器为代表的 高端芯片的核心基本单元，对整个计算系统的性能和功耗有着至关重要的作用。过去几十 年，集成电路工艺技术的进步是提高计算芯片性能和能效的主要措施之一。然而，随着摩 尔定律和登纳德缩放比例定律放缓甚至走向终结，这一方法正在逐渐失效，新一代高能效 计算芯片框架的开发已迫在眉睫。光具有物理空间最快的传播速度以及多维多尺度的优势， 采用光子替代传统电子进行信息处理的光计算有望构建新一代高性能计算机。与电子芯片 相比，光计算具有高速、并行、低功耗等颠覆性优势。尤其随着人工智能算法的深度发展， 光在介质中受限传播的物理过程在数学上的表达与深度神经网络算法具有高度的相似性， 采用光电神经网络实现以全加器为代表的算术逻辑运算有望突破传统电子芯片的能效瓶颈。
相关技术通过训练可以利用神经网络实现相应的算术逻辑运算，神经网络训练的本质 是网络权重参数的调优。训练过程由信号的正向传播与误差的反向传播两个过程组成。通 常误差函数中各个输出端口的误差所占权重是一样的，但由于全加器具有从低位逐级向高 位进位的特征，最高位的输出端口的信号由所有输入信号共同决定。输出端口的信号由同 等级别或更低位的输入信号决定，更高位的输入对输出并无影响。
因此，采用各个输出端口均一权重定义误差函数的训练方法，往往会使得训练得到的 输出结果从低位到高位精度依次递减。为了实现所有输出端口都满足精度要求，需要更长 的训练时间才能实现理想的精度，导致效率低，尤其是当网络规模大时高位输出的精度受 限。
发明内容
本申请提供一种神经网络的训练误差降低方法、装置、电子设备及介质，以解决相关 技术采用各个输出端口均一权重定义误差函数的训练方法，导致训练输出结果从低位到高 位精度依次递减，无法使所有端口都满足精度要求，且训练时间长，效率低等问题。
本申请第一方面实施例提供一种神经网络的训练误差降低方法，包括以下步骤：确定 目标神经网络的每个输出端口的优先级；根据所述优先级匹配所述目标神经网络的每个输 出端口的误差权重系数，其中，所述优先级高的输出端口的误差权重系数大于所述优先级 低的输出端口的误差权重系数；根据所述输出端口的误差权重系数计算所述目标神经网络 的训练误差，以进行训练，直至在所述训练误差满足预设精度条件时，完成所述目标神经 网络的训练。
可选地，在本申请的一个实施例中，根据所述每个输出端口的误差权重系数计算所述 目标神经网络的训练误差，包括：获取所述每个输出端口的预期输出值和训练输出值；根 据所述每个输出端口的所述预期输出值、所述训练输出值和所述误差权重系数计算得到所 述训练误差。
可选地，在本申请的一个实施例中，所述每个端口的训练误差根据对应端口的优先级 进行加权求和。
可选地，在本申请的一个实施例中，所述目标神经网络包括衍射神经网络、干涉神经 网络和散射神经网络中的一种或多种光学神经网络。
本申请第二方面实施例提供一种神经网络的训练误差降低装置，包括：确定模块，用 于确定目标神经网络的每个输出端口的优先级；匹配模块，用于根据所述优先级匹配所述 目标神经网络的每个输出端口的误差权重系数，其中，所述优先级高的输出端口的误差权 重系数大于所述优先级低的输出端口的误差权重系数；降低模块，用于根据所述每个输出 端口的误差权重系数计算所述目标神经网络的训练误差，以进行训练，直至在所述训练误 差满足预设精度条件时，完成所述目标神经网络的训练。
可选地，在本申请的一个实施例中，所述降低模块，进一步用于获取所述每个输出端 口的预期输出值和训练输出值；根据所述每个输出端口的所述预期输出值、所述训练输出 值和所述误差权重系数计算得到所述训练误差。
可选地，在本申请的一个实施例中，所述每个端口的训练误差根据对应端口的优先级 进行加权求和。
可选地，在本申请的一个实施例中，所述目标神经网络包括衍射神经网络、干涉神经 网络和散射神经网络中的一种或多种光学神经网络。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储 器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实 施例所述的神经网络的训练误差降低方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程 序被处理器执行，以用于实现如上述实施例所述的神经网络的训练误差降低方法。
由此，本申请至少具有如下有益效果：
根据目标神经网络的每个输出端口的优先级匹配误差权重系数，通过定义反向传播的 误差函数为输出端口按照从高到低进行优先级排序的加权求和的神经网络训练方法，对高 位输出对应的权重参数调整优化更充分，实现高位和低位输出的高精度拟合，降低训练复 杂度，从而减少训练时间，提高网络训练的效率，由此，解决了相关技术采用各个输出端 口均一权重定义误差函数的训练方法，会导致训练输出结果从低位到高位精度依次递减， 无法使所有端口都满足精度要求，且训练时间长，效率低等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和 容易理解，其中：
图1为根据本申请实施例提供的一种神经网络的训练误差降低方法的流程图；
图2为根据本申请实施例提供的基于光学神经网络的全加器示意图；
图3为根据本申请实施例提供的输出结果分布对比图；
图4为根据本申请实施例提供的神经网络的训练误差降低装置的方框示意图；
图5为根据本申请实施例的电子设备的结构示意图。
附图标记说明：确定模块-100、匹配模块-200、降低模块-300、存储器-501、处理器-502、 通信接口-503。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的神经网络的训练误差降低方法、装置、电子设备及 存储介质。针对上述背景技术中提到的问题，本申请提供了一种神经网络的训练误差降低 方法，在该方法中，根据目标神经网络的每个输出端口的优先级匹配误差权重系数，通过 定义反向传播的误差函数为输出端口按照从高到低进行优先级排序的加权求和的神经网络 训练方法，对高位输出对应的权重参数调整优化更充分，实现高位和低位输出的高精度拟 合，降低训练复杂度，从而减少训练时间，提高网络训练的效率，由此，解决了相关技术 采用各个输出端口均一权重定义误差函数的训练方法，会导致训练输出结果从低位到高位 精度依次递减，无法使所有端口都满足精度要求，且训练时间长，效率低等问题。
具体而言，图1为本申请实施例所提供的一种神经网络的训练误差降低方法的流程示 意图。
如图1所示，该神经网络的训练误差降低方法包括以下步骤：
在步骤S101中，确定目标神经网络的每个输出端口的优先级。
其中，目标神经网络包括但不限于衍射神经网络、干涉神经网络和散射神经网络中的 一种或多种光学神经网络。
可以理解的是，本申请实施例通过训练可以利用神经网络实现相应的算术逻辑运算， 由于存在从低位向高位进位的计算逻辑，最低位的输入也会影响最高位的输出，而高位的 输入不会对低位的输出有影响。因此，如果在同样训练强度下，高位输出需要更多的计算 资源，而低位输出的计算资源相比需要的计算资源更少。因此，本申请实施例首先可以确 定目标神经网络的每个输出端口的优先级，从而实现计算资源的差异性分配提高计算精度， 以及降低训练复杂度。
在步骤S102中，根据优先级匹配目标神经网络的每个输出端口的误差权重系数，其中， 优先级高的输出端口的误差权重系数大于优先级低的输出端口的误差权重系数。
可以理解的是，神经网络训练的本质是网络权重参数的调优，在本申请实施例中，误 差函数的设计根据输出端口的优先级(从高位到低位)进行加权求和。具体来说，训练过程由信号的正向传播与误差的反向传播两个过程组成。通常误差函数中各个输出端口的误差所占权重是一样的，但由于全加器具有从低位逐级向高位进位的特征，最高位的输出端口的信号由所有输入信号共同决定。输出端口的信号由同等级别或更低位的输入信号决定， 更高位的输入对输出并无影响，因此，训练过程中信号正向传播后输出层高位信号与预期 值的绝对差值在整体误差函数中的权重占比最大，而从高位到低位的信号误差值在整体误 差函数中逐级递减，最低位的权重最小。
在步骤S103中，根据每个输出端口的误差权重系数计算目标神经网络的训练误差，以 进行训练，直至在训练误差满足预设精度条件时，完成目标神经网络的训练。
当权重系数根据输出端口的位次高低进行差异化设计时，本申请实施例可以在误差反 向传播过程中保证低位输出端口准确性的前提下，对高位输出对应的权重参数调整优化更 充分，提高高位输出端口的收敛速度和训练精度。由此，根据计算特征差异化误差函数的 训练方法可以同时实现高位和低位输出的高精度拟合，降低训练复杂度，从而减少训练时 间，提高网络训练的效率。
在本申请的一个实施例中，根据每个输出端口的误差权重系数计算目标神经网络的训 练误差，包括：获取每个输出端口的预期输出值和训练输出值；根据每个输出端口的预期 输出值、训练输出值和误差权重系数计算得到训练误差。其中，每个端口的训练误差根据 对应端口的优先级进行加权求和。
如图2所示，全加器的输入是B2B1和A2A1，以及进位输入Cin，输出是S2S1和进位输 出Cout。输入端口的从高位到低位的排序依次是B2，A2，B1，A1，Cin，而输出端口的从高 位到低位的排序依次为Cout，S2，S1，依次定义为第一至第三输出端口。这个神经网络由三 个隐藏层组成。通常，误差函数E的定义为：
Figure BDA0003826969770000051
其中，yk是第k个输出端口的预期输出值，ak是第k个输出端口的训练输出值。因此，本申请实施例可以将误差函数E定义为：
Figure RE-GDA0003878170740000052
其中，yk是第k个输出端口的预期输出值，ak是第k个输出端口的训练输出值，nk是第k个输出端口的绝对误差的权重系数。
以一个基于神经网络的2比特全加器为例，在图2中k的数值为3，那么通常三个输出端口的误差在整体的误差函数中的权重是相同的。因此，本申请实施例可以将误差函数E定义为：
Figure BDA0003826969770000053
其中，y1、y2和y3分别是第一至第三输出端口的预期输出值，a1、a2和a3分别是第一至第三输出端口的训练输出值，n1、n2和n3分别是第一至第三输出端口绝对误差的权重系数，根据三个输出端口的位数高低，本申请实施例可以设定权重系数满足n1>n2>n3>0，具 体数值可以根据不同加法器进行差异化设置。
需要说明的是，本申请实施例不仅可以采用上述均方差的形式计算训练误差，而且还 可以采用多种计算方式计算训练误差，比如绝对值等其他形式，实现每个端口的训练误差 会根据对应端口的优先级进行加权求和。
具体而言，本申请实施例根据计算特征对误差函数进行差异化加权求和可以实现全部 输出端口快速收敛和高精度计算，图3是训练选用同样的误差函数阈值时，采用本申请实 施例方法之前和之后输出结果的分布对比图。可以看到在采用本申请实施例方法之前，即 使当误差函数已经达到系统精度要求时，图2中三个输出端口的结果分布不同，输出结构 的动态范围(均方误差)按照从高位到低位依次递减，因此造成最高位Cout的训练误差难 以进一步降低，影响系统的整体计算精度。在采用本申请实施例方法之后，三个输出端口 的动态范围能够基本实现一致，即所有端口在所有数据集上的输出结果误差都在精度范围 内，因此保证了系统的整体精度，同时大幅减少训练时间，提高训练效率，尤其是针对大 规模神经网络训练，性能提升更为明显。由此，本申请实施例采用这种方法训练光学神经 网络实现全加运算将有效提高系统的性能，降低功耗，实现能量效率的指数级增长。
根据本申请实施例提出的神经网络的训练误差降低方法，根据目标神经网络的每个输 出端口的优先级匹配误差权重系数，通过定义反向传播的误差函数为输出端口按照从高到 低进行优先级排序的加权求和的神经网络训练方法，对高位输出对应的权重参数调整优化 更充分，实现高位和低位输出的高精度拟合，降低训练复杂度，从而减少训练时间，提高 网络训练的效率，由此，解决了相关技术采用各个输出端口均一权重定义误差函数的训练 方法，会导致训练输出结果从低位到高位精度依次递减，无法使所有端口都满足精度要求， 且训练时间长，效率低等问题。
其次参照附图描述根据本申请实施例提出的一种神经网络的训练误差降低装置。
图4是本申请实施例的一种神经网络的训练误差降低装置的方框示意图。
如图4所示，该神经网络的训练误差降低装置10包括：确定模块100、匹配模块200和降低模块300。
其中，确定模块100，用于确定目标神经网络的每个输出端口的优先级；匹配模块200， 用于根据优先级匹配目标神经网络的每个输出端口的误差权重系数，其中，优先级高的输 出端口的误差权重系数大于优先级低的输出端口的误差权重系数；降低模块300，用于根 据每个输出端口的误差权重系数计算目标神经网络的训练误差，以进行训练，直至在训练 误差满足预设精度条件时，完成目标神经网络的训练。
在本申请的一个实施例中，降低模块，进一步用于获取每个输出端口的预期输出值和 训练输出值；根据每个输出端口的预期输出值、训练输出值和误差权重系数计算得到训练 误差。
在本申请的一个实施例中，每个端口的训练误差根据对应端口的优先级进行加权求和。
在本申请的一个实施例中，目标神经网络包括衍射神经网络、干涉神经网络和散射神 经网络中的一种或多种光学神经网络。
需要说明的是，前述对神经网络的训练误差降低方法实施例的解释说明也适用于该实 施例的神经网络的训练误差降低装置，此处不再赘述。
根据本申请实施例提出的神经网络的训练误差降低装置，根据目标神经网络的每个输 出端口的优先级匹配误差权重系数，通过定义反向传播的误差函数为输出端口按照从高到 低进行优先级排序的加权求和的神经网络训练方法，对高位输出对应的权重参数调整优化 更充分，实现高位和低位输出的高精度拟合，降低训练复杂度，从而减少训练时间，提高 网络训练的效率，由此，解决了相关技术采用各个输出端口均一权重定义误差函数的训练 方法，导致训练输出结果从低位到高位精度依次递减，无法使所有端口都满足精度要求， 且训练时间长，效率低等问题。
图5为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
处理器502执行程序时实现上述实施例中提供的神经网络的训练误差降低方法。
进一步地，电子设备还包括：
通信接口503，用于存储器501和处理器502之间的通信。
存储器501，用于存放可在处理器502上运行的计算机程序。
存储器501可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互 连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线 等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线 表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通 信。
处理器502可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施 例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处 理器执行时实现如上的神经网络的训练误差降低方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具 体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材 料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意 性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者 特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况 下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例 的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以 明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个， 例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个 或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分， 并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的 实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实 施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或 固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技 术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离 散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门 阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可 以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中， 该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的， 不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例 进行变化、修改、替换和变型。

Claims (10)

1.一种神经网络的训练误差降低方法，其特征在于，包括以下步骤：
确定目标神经网络的每个输出端口的优先级；
根据所述优先级匹配所述目标神经网络的每个输出端口的误差权重系数，其中，所述优先级高的输出端口的误差权重系数大于所述优先级低的输出端口的误差权重系数；
根据所述每个输出端口的误差权重系数计算所述目标神经网络的训练误差，以进行训练，直至在所述训练误差满足预设精度条件时，完成所述目标神经网络的训练。
2.根据权利要求1所述的方法，其特征在于，所述根据所述每个输出端口的误差权重系数计算所述目标神经网络的训练误差，包括：
获取所述每个输出端口的预期输出值和训练输出值；
根据所述每个输出端口的所述预期输出值、所述训练输出值和所述误差权重系数计算得到所述训练误差。
3.根据权利要求2所述的方法，其特征在于，所述每个端口的训练误差根据对应端口的优先级进行加权求和。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述目标神经网络包括衍射神经网络、干涉神经网络和散射神经网络中的一种或多种光学神经网络。
5.一种神经网络的训练误差降低装置，其特征在于，包括：
确定模块，用于确定目标神经网络的每个输出端口的优先级；
匹配模块，用于根据所述优先级匹配所述目标神经网络的每个输出端口的误差权重系数，其中，所述优先级高的输出端口的误差权重系数大于所述优先级低的输出端口的误差权重系数；
降低模块，用于根据所述每个输出端口的误差权重系数计算所述目标神经网络的训练误差，以进行训练，直至在所述训练误差满足预设精度条件时，完成所述目标神经网络的训练。
6.根据权利要求5所述的装置，其特征在于，所述降低模块，进一步用于：
获取所述每个输出端口的预期输出值和训练输出值；
根据所述每个输出端口的所述预期输出值、所述训练输出值和所述误差权重系数计算得到所述训练误差。
7.根据权利要求6所述的装置，其特征在于，所述每个端口的训练误差根据对应端口的优先级进行加权求和。
8.根据权利要求5-7任意一项所述的装置，其特征在于，所述目标神经网络包括衍射神经网络、干涉神经网络和散射神经网络中的一种或多种光学神经网络。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的神经网络的训练误差降低方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的神经网络的训练误差降低方法。
CN202211063580.XA 2022-09-01 2022-09-01 神经网络的训练误差降低方法、装置、电子设备及介质 Pending CN115358389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211063580.XA CN115358389A (zh) 2022-09-01 2022-09-01 神经网络的训练误差降低方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211063580.XA CN115358389A (zh) 2022-09-01 2022-09-01 神经网络的训练误差降低方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN115358389A true CN115358389A (zh) 2022-11-18

Family

ID=84005027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211063580.XA Pending CN115358389A (zh) 2022-09-01 2022-09-01 神经网络的训练误差降低方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115358389A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116384460A (zh) * 2023-03-29 2023-07-04 清华大学 鲁棒性光学神经网络训练方法、装置、电子设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005072693A (ja) * 2003-08-28 2005-03-17 Digital Electronics Corp ネットワーク通信装置
US20060112028A1 (en) * 2004-11-24 2006-05-25 Weimin Xiao Neural Network and Method of Training
US20160283842A1 (en) * 2014-03-06 2016-09-29 Progress, Inc. Neural network and method of neural network training
CN109416758A (zh) * 2016-06-09 2019-03-01 前进公司 神经网络及神经网络训练的方法
CN110198280A (zh) * 2019-05-28 2019-09-03 华南理工大学 一种基于bp神经网络的sdn链路分配方法
CN110597484A (zh) * 2019-08-02 2019-12-20 北京航空航天大学 基于存内计算的多比特全加器、多比特全加运算控制方法
CN112348178A (zh) * 2020-11-06 2021-02-09 大连大学 一种基于dna链置换的人工神经网络计算模型构建方法
CN114168106A (zh) * 2021-12-07 2022-03-11 广州小鹏自动驾驶科技有限公司 基于卷积神经网络的数据处理方法、装置及设备
CN114186667A (zh) * 2021-12-07 2022-03-15 华中科技大学 一种循环神经网络权重矩阵向忆阻阵列的映射方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005072693A (ja) * 2003-08-28 2005-03-17 Digital Electronics Corp ネットワーク通信装置
US20060112028A1 (en) * 2004-11-24 2006-05-25 Weimin Xiao Neural Network and Method of Training
US20160283842A1 (en) * 2014-03-06 2016-09-29 Progress, Inc. Neural network and method of neural network training
CN109416758A (zh) * 2016-06-09 2019-03-01 前进公司 神经网络及神经网络训练的方法
CN110198280A (zh) * 2019-05-28 2019-09-03 华南理工大学 一种基于bp神经网络的sdn链路分配方法
CN110597484A (zh) * 2019-08-02 2019-12-20 北京航空航天大学 基于存内计算的多比特全加器、多比特全加运算控制方法
CN112348178A (zh) * 2020-11-06 2021-02-09 大连大学 一种基于dna链置换的人工神经网络计算模型构建方法
CN114168106A (zh) * 2021-12-07 2022-03-11 广州小鹏自动驾驶科技有限公司 基于卷积神经网络的数据处理方法、装置及设备
CN114186667A (zh) * 2021-12-07 2022-03-15 华中科技大学 一种循环神经网络权重矩阵向忆阻阵列的映射方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANTING CHEN, YUNHE WANG: "Universal Adder Neural Networks", 《ARXIV:2105.14202V5》, 29 June 2021 (2021-06-29) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116384460A (zh) * 2023-03-29 2023-07-04 清华大学 鲁棒性光学神经网络训练方法、装置、电子设备及介质
CN116384460B (zh) * 2023-03-29 2024-06-11 清华大学 鲁棒性光学神经网络训练方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
TWI701612B (zh) 用於神經網路中激勵函數的電路系統及其處理方法
CN110413255B (zh) 人工神经网络调整方法和装置
CN109146067B (zh) 一种基于FPGA的Policy卷积神经网络加速器
Hickmann et al. Intel nervana neural network processor-t (nnp-t) fused floating point many-term dot product
US10642578B2 (en) Approximating functions
JP2019148972A (ja) 演算処理装置、情報処理装置、情報処理方法、およびプログラム
WO2020098368A1 (zh) 一种自适应量化方法及装置、设备、介质
WO2022111002A1 (zh) 用于训练神经网络的方法、设备和计算机可读存储介质
CN115358389A (zh) 神经网络的训练误差降低方法、装置、电子设备及介质
US20240126507A1 (en) Apparatus and method for processing floating-point numbers
US20230221924A1 (en) Apparatus and Method for Processing Floating-Point Numbers
TW202138999A (zh) 用於卷積運算的資料劃分方法及處理器
CN110110852B (zh) 一种深度学习网络移植到fpag平台的方法
CN114781618A (zh) 一种神经网络量化处理方法、装置、设备及可读存储介质
US20200311545A1 (en) Information processor, information processing method, and storage medium
US20210097397A1 (en) Information processing apparatus and information processing method
TW202129551A (zh) 運算裝置和運算方法
CN116523015A (zh) 对于工艺误差鲁棒的光学神经网络训练方法、装置及设备
WO2019205064A1 (zh) 神经网络加速装置与方法
WO2020008642A1 (ja) 学習装置、学習回路、学習方法および学習プログラム
TWI841838B (zh) 資訊處理電路及資訊處理電路之設計方法
CN115358381A (zh) 光学全加器及其神经网络设计方法、设备及介质
EP4345600A1 (en) Multiplication hardware block with adaptive fidelity control system
US20230205957A1 (en) Information processing circuit and method for designing information processing circuit
US20240160908A1 (en) Methods and systems for online selection of number formats for network parameters of a neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination