CN116976416A - 低比特随机配置网络轻量计算方法、系统、设备及终端 - Google Patents

低比特随机配置网络轻量计算方法、系统、设备及终端 Download PDF

Info

Publication number
CN116976416A
CN116976416A CN202310942736.XA CN202310942736A CN116976416A CN 116976416 A CN116976416 A CN 116976416A CN 202310942736 A CN202310942736 A CN 202310942736A CN 116976416 A CN116976416 A CN 116976416A
Authority
CN
China
Prior art keywords
hidden layer
random configuration
layer nodes
candidate hidden
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310942736.XA
Other languages
English (en)
Inventor
王殿辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Ruice Intelligent Technology Co ltd
China University of Mining and Technology CUMT
Original Assignee
Jiangsu Ruice Intelligent Technology Co ltd
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Ruice Intelligent Technology Co ltd, China University of Mining and Technology CUMT filed Critical Jiangsu Ruice Intelligent Technology Co ltd
Priority to CN202310942736.XA priority Critical patent/CN116976416A/zh
Publication of CN116976416A publication Critical patent/CN116976416A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于神经网络模型训练技术领域，公开了一种低比特随机配置网络轻量计算方法、系统、设备及终端，包括：使用量化的随机配置算法训练神经网络模型，随机配置多个三值化输入权重系数产生候选的隐层节点；通过随机配置算法的不等式约束条件筛选最优的候选隐层节点，通过所述最优的候选隐层节点更新随机配置网络的结构；通过最小二乘法得到输出权重，并通过隐层最大容许节点数和最大容许输出误差判断模型是否已经训练好。本发明在工业人工智能、智慧医疗、智慧交通、无人驾驶等计算资源限制的应用环境背景下具有良好的前景。

Description

低比特随机配置网络轻量计算方法、系统、设备及终端
技术领域
本发明属于神经网络模型训练技术领域，尤其涉及一种低比特随机配置网络轻量计算方法、系统、设备及终端。
背景技术
目前，神经网络模型被广泛应用于工业数据建模、医疗诊断、无人驾驶、智能移动设备等领域。这些领域的应用场景都需要嵌入式设备来搭载神经网络模型，并且嵌入式设备对内存、功耗、延时、精度要求较高。在训练大规模数据集时，神经网络模型表现出复杂的模型结构和超量的训练参数，如果在嵌入式设备上直接训练或者直接将训练好的神经网络模型应用于嵌入式设备，很难满足嵌入式设备对内存、功耗、延时、精度的要求。
现有技术的不足之处：
(1)使用浮点数运算的神经网络模型，数据具有更高的比特位，如果将训练好的模型搭载到边缘计算、移动产品、工业应用、智能驾驶等领域，会带来很高的内存和功耗，而硬件设备有对内存和功耗有着很严格的要求，带有高浮点比特数据的神经网络模型不利于部署到嵌入式开发平台上。
(2)工业过程诊断、无人驾驶、智慧交通等领域都要求模型具有一定的实时性，而受硬件内存、功耗和工作频率的限制，嵌入的神经网络模型在保证精度的条件下，很难保证硬件设备能达到快速响应的要求。
随机配置网络与其他神经网络相比，在增量式构建过程中引入监督机制随机配置隐含层节点输入权重和偏置，训练速度快且精度高，无需通过反向传播迭代更新。
通过上述分析，现有技术存在的问题及缺陷为：现有技术训练的神经网络模型内存占用大，功耗大，不利于部署到嵌入式开发平台上；现有技术训练的神经网络模型无法同时满足嵌入式设备对精度以及实时响应的要求。
发明内容
针对现有技术存在的问题，本发明提供了一种低比特随机配置网络轻量计算方法、系统、设备及终端。
本发明是这样实现的，一种低比特随机配置网络轻量计算方法，所述低比特随机配置网络轻量计算方法包括：
首先，使用轻量化的随机配置算法训练神经网络模型，从限定值中随机配置隐含层节点输入权重和偏置，产生候选的隐层节点；
其次，通过随机配置算法的不等式约束条件筛选最优的候选隐层节点，通过所述最优的候选隐层节点更新随机配置网络的结构；
最后，通过最小二乘法得到输出权重，并通过隐层最大容许节点数和最大容许输出误差判断模型是否已经训练好。
进一步，所述低比特随机配置网络轻量计算方法包括以下步骤：
步骤一，获取训练样本集；通过设置隐层节点最大容许数量、最大期望输出误差容许值、最大候选隐层节点数以及输入系数的缩放因子进行随机配置网络的初始化；
步骤二，初始化输出误差向量，通过从限定值中随机选取输入权重与偏置再乘于输入系数缩放因子进行候选隐层节点的选取；
步骤三，将候选隐层节点代入到随机配置算法的不等式约束条件中，筛选得到满足不等式约束的候选隐层节点，并从所述满足不等式约束的候选隐层节点中选择最优的候选隐层节点；
步骤四，将选择的最优的候选隐层节点添加到神经网络模型中，计算神经网络模型输出的均方根误差；使用最小二乘算法得到神经网络模型的输出权重，进而更新模型误差；
步骤五，判断神经网络模型输出的均方根误差是否大于最大期望输出误差容许值，若是，且隐层节点小于隐层节点最大容许数量，则重复步骤二至步骤四；
步骤六，若神经网络模型输出的均方根误差小于最大期望输出误差容许值或隐层节点等于最大容许数量，则训练结束，输出训练好的神经网络模型。
进一步，所述通过从限定值中随机选取输入权重与偏置再乘于输入系数缩放因子进行候选隐层节点的选取包括：
从{-1 0 1}三个值中，随机选取输入权重；从{-1 1}两个值中，随机选取偏置，将得到的输入权重和偏置分别乘于输入系数缩放因子，得到更新后的输入权重和偏置；
将所述更新后的输入权重和偏置代入激活函数得到新的候选隐层节点，共选取Tmax个候选隐层节点。
进一步，所述将得到的输入权重和偏置分别乘于输入系数缩放因子，得到更新后的输入权重和偏置如下：
wL＝λ×wL，bL＝λ×bL；
其中，wL表示输入权重，wL＝{wL1，wL2，...，wLd}T；bL表示偏置；λ表示输入系数缩放因子；Tmax表示最大候选隐层节点数；激活函数为gL(XwL+bL)。
进一步，所述随机配置算法的不等式约束条件如下：
其中，r表示模型输出误差缩放因子，0<r<1；m表示输出样本维数。
进一步，所述将候选隐层节点代入到随机配置算法的不等式约束条件中，筛选得到满足不等式约束的候选隐层节点还包括：
若候选隐层节点无法满足随机配置算法的不等式约束条件，则修改输入权重和偏置的输入系数缩放因子：λ＝λ+Δλ；或者在满足0<r<1的条件下增大输出误差缩放因子r。
本发明的另一目的在于提供一种实施所述低比特随机配置网络轻量计算方法的低比特随机配置网络轻量计算系统，所述低比特随机配置网络轻量计算系统包括：
初始化模块，用于获取训练样本集；通过设置隐层节点最大容许数量、最大期望输出误差容许值、最大候选隐层节点数以及输入系数的缩放因子进行随机配置网络的初始化；
候选隐层节点选取模块，用于初始化输出误差向量，通过从限定值中随机选取输入权重与偏置再乘于输入系数缩放因子进行候选隐层节点的选取；
最优候选隐层节点选择模块，用于将候选隐层节点代入到随机配置算法的不等式约束条件中，筛选得到满足不等式约束的候选隐层节点，并从所述满足不等式约束的候选隐层节点中选择最优的候选隐层节点；
参数更新模块，用于将选择的最优的候选隐层节点添加到神经网络模型中，使用最小二乘算法得到神经网络模型的输出权重，进而更新模型误差；
判断模块，用于通过隐层最大容许节点数和最大容许输出误差判断模型是否已经训练好；
输出模块，用于输出训练好的模型。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述低比特随机配置网络轻量计算方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述低比特随机配置网络轻量计算方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述低比特随机配置网络轻量计算系统。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
本发明使用随机配置网络的训练，无需反向传播求解超参数导数，具有训练速度快的特点。同时无需考虑激活函数是否可导的情况，可以使用RELU等非连续的激活函数，可以更好的应用在嵌入式产品设计中。
发明使用2比特存储神经网络模型的参数，通过这种低比特数据的处理，在大规模神经网络模型训练和预测下，能够有效减少内存开销，加快软硬件的运行速度，减少嵌入式硬件的功耗。
本发明通过2比特网络模型参数量化和随机配置网络的有效结合，应用在工业大数据建模训练或预测时，能够在所需的精度条件下，快速给出模型的结果，具有一定的工业应用价值。
本发明中提出了一种低比特的随机配置算法来优化随机配置网络模型框架，得到的低比特模型在数据存储上减少了硬件内存的消耗。结合本发明设计的模型框架，能够在低比特神经网络模型上取得良好的效果。在工业人工智能、智慧医疗、智慧交通、无人驾驶等计算资源限制的应用环境背景下具有良好的前景。
附图说明
图1是本发明实施例提供的低比特随机配置网络轻量计算方法原理图；
图2是本发明实施例提供的低比特随机配置网络轻量计算方法流程图；
图3是本发明实施例提供的系统开发框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1-图2所示，本发明实施例提供的低比特随机配置网络轻量计算方法包括以下步骤：
S101，获取训练样本集；通过设置隐层节点最大容许数量、最大期望输出误差容许值、最大候选隐层节点数以及输入系数的缩放因子进行随机配置网络的初始化；
S102，初始化输出误差向量，通过从限定值中随机选取输入权重与偏置再乘于输入系数缩放因子进行候选隐层节点的选取；
S103，将候选隐层节点代入到随机配置算法的不等式约束条件中，筛选得到满足不等式约束的候选隐层节点，并从所述满足不等式约束的候选隐层节点中选择最优的候选隐层节点；
S104，将选择的最优的候选隐层节点添加到神经网络模型中，使用最小二乘算法得到神经网络模型的输出权重，进而更新模型误差；
S105，判断神经网络模型输出的均方根误差是否大于最大期望输出误差容许值，若是，且隐层节点小于隐层节点最大容许数量，则重复步骤S102至步骤S104；
S106，若神经网络模型输出的均方根误差小于最大期望输出误差容许值或隐层节点等于最大容许数量，则训练结束，输出训练好的神经网络模型。
本发明实施例提供的低比特随机配置网络轻量计算系统包括：
初始化模块，用于获取训练样本集；通过设置隐层节点最大容许数量、最大期望输出误差容许值、最大候选隐层节点数以及输入系数的缩放因子进行随机配置网络的初始化；
候选隐层节点选取模块，用于初始化输出误差向量，通过从限定值中随机选取输入权重与偏置再乘于输入系数缩放因子进行候选隐层节点的选取；
最优候选隐层节点选择模块，用于将候选隐层节点代入到随机配置算法的不等式约束条件中，筛选得到满足不等式约束的候选隐层节点，并从所述满足不等式约束的候选隐层节点中选择最优的候选隐层节点；
参数更新模块，用于将选择的最优的候选隐层节点添加到神经网络模型中，使用最小二乘算法得到神经网络模型的输出权重，进而更新模型误差；
判断模块，用于通过隐层最大容许节点数和最大容许输出误差判断模型是否已经训练好；
输出模块，用于输出训练好的模型。
本发明实施例提供的低比特随机配置网络轻量计算方法具体包括以下步骤：
步骤1，给定一组样本集，输入样本：X＝{x1，x2，...，xN}T，xi＝{xi1，xi2，...，xid}，输出样本：Y＝{y1，y2，...，yN}T，yi＝{yi1，yi2，...，yim}，其中N为样本个数，d为输入样本维数，m为输出样本维数。设置隐层节点最大容许数量Lmax，最大期望输出误差容许值∈，最大候选隐层节点数Tmax，输入系数的缩放因子γ＝{λmin：Δλ：λmax}。
步骤2，初始化输出误差向量e0：＝[y1，y2，...，yN]T，模型输出误差缩放因子0＜r＜1。
步骤3，从{-1 0 1}三个值中，随机选取输入权重wL＝{wL1，wL2，...，wLd}T，从{-11}两个值中，随机选取偏置bL，将得到的输入权重wL和偏置bL分别乘于输入系数缩放因子λ，此时再记为输入权重wL和偏置bL，即wL＝λ×wL，bL＝λ×bL，代入激活函数gL(wLX+bL)得到新的候选隐层节点，共选取Tmax个候选隐层节点。
步骤3是本发明的重点，即输入权重wL和偏置bL的选取；在{-1 0 1}三个值中随机选取wL，在{-11}两个值随机选取bL。随着数据量的不断增长，模型的复杂度越来越高，这时模型的输入权重和偏置的数量可能多达几亿个，加重了硬件内存的负担，可能会造成内存的溢出，同时降低了硬件的运行速度。而采用{-1 0 1}方式存储输入权重和偏置，只需2比特即可存储，如果原模型是32比特存储的神经网络，那么内存压缩了16倍，如果原模型是64比特存储的神经网络，那么内存压缩了32倍，非常大程度地减少内存消耗，同时还能提高硬件运行的速度。
本发明实施例中随机配置三值输入系数需要再乘于缩放因子，即wL＝λ×wL，bL＝λ×bL。也就是说内存需要存储缩放因子，还需要进行乘法运算。但是对于超大规模数据存储而言，2比特存储的输入系数减少内存消耗，还提高了数据调用的效率，只是多了存储几十个缩放因子参数的内存，影响是微不足道的，可以忽略不计。并且额外进行的乘法运算可以通过硬件并行计算或流水线操作来进一步提高运算速度。
步骤4，将候选隐层节点代入到随机配置算法的不等式约束条件：筛选出满足不等式约束的候选隐层节点，并在这些选到的候选隐层节点中选择最优的候选隐层节点。
本发明实施例提供的随机配置算法的不等式约束条件所包含的原理如下：
假设在L2空间上的向量空间Γ是稠密的，同时使得0＜||g||＜bg。给定0＜r＜1与非负实数序列{μL}，其中limL→+∞μL＝0，μL≤(1-r)。对于隐层节点L＝1，2，...，给定如下公式：
如果随机基函数gL所构造的输出权重βL，q满足
并且满足如下的不等式约束：
那么有limL→+∞||f-fL||＝0，其中f是实际数据的输出值，fL是具有L个隐层节点的模型预测输出值。即所构造的神经网络模型具有通用逼近性质。
本发明实施例提供的不等式约束条件，需要随机选取到wL，bL满足这个条件。当无法满足该条件时，需要适当修改wL，bL的输入系数缩放因子：λ＝λ+Δλ或者适当修改输出误差缩放因子r(0＜r＜1)。
步骤5，将最优的候选隐层节点添加到神经网络模型中，使用最小二乘算法得到神经网络模型的输出权重β。更新模型的输出误差e0＝eL和隐层节点数L＝L+1。
本发明实施例提供的最小二乘估计输出权重βL，q的具体原理如下：
假设在L2空间上的向量空间Γ是稠密的，同时使得0＜||g||＜bg。给定0＜r＜1与非负实数序列{μL}，其中limL→+∞μL＝0，μL≤(1-r)。对于隐层节点L＝1，2，...，给定如下公式：
如果随机基函数gL所构造的输出权重满足
并且满足如下的不等式约束：
那么有即所构造的神经网络模型具有通用逼近性质。
因此，次最优解可以由最小二乘计算得到：
其中GL为随机基函数g的矩阵，T为实际数据输出，是穆尔-彭罗斯广义逆。
步骤6，如果神经网络模型输出的均方根误差||e0||2大于最大期望输出误差容许值∈，并且隐层节点L小于隐层节点最大容许数量Lmax，那么重复步骤2～5；如果神经网络模型输出的均方根误差||e0||2小于最大期望输出误差容许值∈，或者隐层节点L等于最大容许数量Lmax，那么训练结束，得到训练好的神经网络模型。
如图3所示，以MNIST手写识别数据集的识别为实施例对本发明做进一步说明，如下：
步骤1、MNIST手写识别数据集进行预处理。
步骤2、手写数据集输入到三值化随机配置网络进行训练，得到神经网络模型。
步骤3、将获得的神经网络模型搭载到嵌入式开发平台。
步骤4、人工随机手写数字输入到嵌入式开发平台，将三值化随机配置网络的预测值在数码管上显示。
本发明实施例提供的低比特随机配置网络轻量计算方法在MNIST手写识别数据集具体包括如下具体步骤：
步骤1、MNIST数据集的初始化。
MNIST数据集是28×28像素手写数字灰度图像，该数据集包含70000个样本实例。对该数据集划分成85％的训练集(X，T)和15％的测试集(Xt，Tt)。
步骤2、随机配置网络的初始化。
超参数初始化：设置隐层节点最大容许数量Lmax，节点L＝0，最大期望输出误差容许值∈，最大候选隐层节点数Tmax，输入系数的缩放因子λ＝λmin，λ∈γ，γ＝{λmin：Δλ：λmax}。模型输出误差初始化：e0＝T。
步骤3、从{-1 0 1}三个值中，随机选取输入权重wL＝{wL1，wL2，...，wLd}T，从{-1 1}两个值中，随机选取偏置bL，将得到的输入权重wL和偏置bL分别乘于输入系数缩放因子λ，此时再记为输入权重wL和偏置bL，即wL＝λ×wL，bL＝λ×bL，代入激活函数gL(wLX+bL)得到新的候选隐层节点，其中激活函数使用(RELU)gL(x)＝max(0，x)。总共选取Tmax个候选隐层节点。
步骤4、设置将模型输出误差初始化：e0＝T和激活函数gL(XwL+bL)，代入/>
步骤5、当min{ξL，1，ξL，2，...，ξL，m}≥0，保留选到的wL，bL，进行下一步；否则，需要适当修改wL，bL的输入系数缩放因子：λ＝λ+Δλ或者适当修改输出误差缩放因子r(0＜r＜1)，再返回步骤3继续执行。
步骤6、从保留的候选输入权重和偏置wL，bL中找到使得ξL最大的一组 并保存/>作为新的隐层节点。接着更新神经网络模型的激活函数GL，通过模型输出MNIST手写数据集的均方根误差，进一步通过最小二乘法计算模型输出权重β*。最后更新模型输出误差e0＝eL和隐层节点数L＝L+1。
步骤7、当模型输出的均方根误差||e0||2＞∈，且L≤Lmax，那么返回步骤3执行；否则神经网络模型训练结束。
步骤8、将训练好的神经网络模型应用到MNIST手写数据集的测试集上，预测MNIST的输出标签，分析模型的泛化性能。将训练好的模型搭载到嵌入式开发平台中，用于手写数字输入的辨识。
本发明以MNIST手写数据集的识别为实施例进行说明，但本发明并不限于此。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种低比特随机配置网络轻量计算方法，其特征在于，包括：
首先，使用轻量化的随机配置算法训练神经网络模型，从限定值中随机配置隐含层节点输入权重和偏置，产生候选的隐层节点；
其次，通过随机配置算法的不等式约束条件筛选最优的候选隐层节点，通过所述最优的候选隐层节点更新随机配置网络的结构；
最后，通过最小二乘法得到输出权重，并通过隐层最大容许节点数和最大容许输出误差判断模型是否已经训练好。
2.如权利要求1所述低比特随机配置网络轻量计算方法，其特征在于，所述低比特随机配置网络轻量计算方法包括以下步骤：
步骤一，获取训练样本集；通过设置隐层节点最大容许数量、最大期望输出误差容许值、最大候选隐层节点数以及输入系数的缩放因子进行随机配置网络的初始化；
步骤二，初始化输出误差向量，通过从限定值中随机选取输入权重与偏置再乘于输入系数缩放因子进行候选隐层节点的选取；
步骤三，将候选隐层节点代入到随机配置算法的不等式约束条件中，筛选得到满足不等式约束的候选隐层节点，并从所述满足不等式约束的候选隐层节点中选择最优的候选隐层节点；
步骤四，将选择的最优的候选隐层节点添加到神经网络模型中，计算神经网络模型输出的均方根误差；使用最小二乘算法得到神经网络模型的输出权重，进而更新模型误差；
步骤五，判断神经网络模型输出的均方根误差是否大于最大期望输出误差容许值，若是，且隐层节点小于隐层节点最大容许数量，则重复步骤二至步骤四；
步骤六，若神经网络模型输出的均方根误差小于最大期望输出误差容许值或隐层节点等于最大容许数量，则训练结束，输出训练好的神经网络模型。
3.如权利要求2所述低比特随机配置网络轻量计算方法，其特征在于，所述通过从限定值中随机选取输入权重与偏置再乘于输入系数缩放因子进行候选隐层节点的选取包括：
从{-1 0 1}三个值中，随机选取输入权重；从{-11}两个值中，随机选取偏置，将得到的输入权重和偏置分别乘于输入系数缩放因子，得到更新后的输入权重和偏置；
将所述更新后的输入权重和偏置代入激活函数得到新的候选隐层节点，共选取Tmax个候选隐层节点。
4.如权利要求3所述低比特随机配置网络轻量计算方法，其特征在于，所述将得到的输入权重和偏置分别乘于输入系数缩放因子，得到更新后的输入权重和偏置如下：
WL＝λ×wL，bL＝λ×bL；
其中，wL表示输入权重，wL＝{wL1，wL2，...，wLd}T；bL表示偏置；λ表示输入系数缩放因子；Tmax表示最大候选隐层节点数；激活函数为gL(wLX+bL)。
5.如权利要求2所述低比特随机配置网络轻量计算方法，其特征在于，所述随机配置算法的不等式约束条件如下：
其中，r表示模型输出误差缩放因子，0<r<1；m表示输出样本维数。
6.如权利要求2所述低比特随机配置网络轻量计算方法，其特征在于，所述将候选隐层节点代入到随机配置算法的不等式约束条件中，筛选得到满足不等式约束的候选隐层节点还包括：
若候选隐层节点无法满足随机配置算法的不等式约束条件，则修改输入权重和偏置的输入系数缩放因子：λ＝λ+Δλ；或者在满足0<r<1的条件下增大输出误差缩放因子r。
7.一种实施如权利要求1-6任意一项所述低比特随机配置网络轻量计算方法的低比特随机配置网络轻量计算系统，其特征在于，所述低比特随机配置网络轻量计算系统包括：
初始化模块，用于获取训练样本集；通过设置隐层节点最大容许数量、最大期望输出误差容许值、最大候选隐层节点数以及输入系数的缩放因子进行随机配置网络的初始化；
候选隐层节点选取模块，用于初始化输出误差向量，通过从限定值中随机选取输入权重与偏置再乘于输入系数缩放因子进行候选隐层节点的选取；
最优候选隐层节点选择模块，用于将候选隐层节点代入到随机配置算法的不等式约束条件中，筛选得到满足不等式约束的候选隐层节点，并从所述满足不等式约束的候选隐层节点中选择最优的候选隐层节点；
参数更新模块，用于将选择的最优的候选隐层节点添加到神经网络模型中，使用最小二乘算法得到神经网络模型的输出权重，进而更新模型误差；
判断模块，用于通过隐层最大容许节点数和最大容许输出误差判断模型是否已经训练好；
输出模块，用于输出训练好的模型。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述低比特随机配置网络轻量计算方法的步骤。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述低比特随机配置网络轻量计算方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述低比特随机配置网络轻量计算系统。
CN202310942736.XA 2023-07-28 2023-07-28 低比特随机配置网络轻量计算方法、系统、设备及终端 Pending CN116976416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310942736.XA CN116976416A (zh) 2023-07-28 2023-07-28 低比特随机配置网络轻量计算方法、系统、设备及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310942736.XA CN116976416A (zh) 2023-07-28 2023-07-28 低比特随机配置网络轻量计算方法、系统、设备及终端

Publications (1)

Publication Number Publication Date
CN116976416A true CN116976416A (zh) 2023-10-31

Family

ID=88472611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310942736.XA Pending CN116976416A (zh) 2023-07-28 2023-07-28 低比特随机配置网络轻量计算方法、系统、设备及终端

Country Status (1)

Country Link
CN (1) CN116976416A (zh)

Similar Documents

Publication Publication Date Title
Chen et al. ReGAN: A pipelined ReRAM-based accelerator for generative adversarial networks
US20230196202A1 (en) System and method for automatic building of learning machines using learning machines
CN112861995A (zh) 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质
CN114493014A (zh) 多元时间序列预测方法、系统及计算机产品、存储介质
CN114792378A (zh) 一种量子图像识别方法及装置
CN112633477A (zh) 一种基于现场可编程阵列的量化神经网络加速方法
CN115862319A (zh) 一种面向时空图自编码器的交通流量预测方法
Xiao et al. FPGA implementation of CNN for handwritten digit recognition
CN114358319B (zh) 基于机器学习框架的分类方法及相关装置
CN116346639A (zh) 一种网络流量预测方法、系统、介质、设备及终端
CN113935489A (zh) 基于量子神经网络的变分量子模型tfq-vqa及其两级优化方法
CN112348269A (zh) 一种融合图结构的时间序列预测建模方法
Yi et al. Intergroup cascade broad learning system with optimized parameters for chaotic time series prediction
Sood et al. Neunets: An automated synthesis engine for neural network design
Wu et al. A 3.89-GOPS/mW scalable recurrent neural network processor with improved efficiency on memory and computation
Ma et al. Temporal pyramid recurrent neural network
CN116502774A (zh) 一种基于时间序列分解和勒让德投影的时间序列预测方法
CN114358317B (zh) 基于机器学习框架的数据分类方法及相关设备
CN116976416A (zh) 低比特随机配置网络轻量计算方法、系统、设备及终端
CN115310355A (zh) 考虑多能耦合的综合能源系统多元负荷预测方法及系统
Goel et al. CompactNet: High accuracy deep neural network optimized for on-chip implementation
CN115081609A (zh) 一种智能决策中的加速方法、终端设备及存储介质
CN117223005A (zh) 加速器、计算机系统和方法
CN113570053A (zh) 一种神经网络模型的训练方法、装置以及计算设备
US11989653B2 (en) Pseudo-rounding in artificial neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination