CN111598236A - 一种宽度学习系统网络模型压缩方法 - Google Patents

一种宽度学习系统网络模型压缩方法 Download PDF

Info

Publication number
CN111598236A
CN111598236A CN202010430858.7A CN202010430858A CN111598236A CN 111598236 A CN111598236 A CN 111598236A CN 202010430858 A CN202010430858 A CN 202010430858A CN 111598236 A CN111598236 A CN 111598236A
Authority
CN
China
Prior art keywords
equation
network model
nodes
output
learning system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010430858.7A
Other languages
English (en)
Inventor
褚菲
王光辉
梁涛
陈俊龙
王雪松
程玉虎
马小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202010430858.7A priority Critical patent/CN111598236A/zh
Publication of CN111598236A publication Critical patent/CN111598236A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种宽度学习系统网络模型压缩方法，包括以下步骤：获得输入数据和输出数据；生成增广输入矩阵；构建出含有L1正则化项和L1‑fusion项的目标函数。利用L1正则化项的约束实现输出权值稀疏，使得贡献度小的节点对应的输出权值为零，选择出贡献度大的节点；利用L1‑fusion项约束相邻输出权值之间的差异，使得具有相关性的节点对应的输出权值变化平滑，从而被一起选择；求出经上述约束的输出权值，得到一个CBLS网络模型；根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果，选择最优的网络模型，作为压缩后的网络模型。本发明能够在保持精度损失不大的同时，呈现出非常好的压缩效果。

Description

一种宽度学习系统网络模型压缩方法
技术领域
本发明涉及一种神经网络压缩方法，尤其涉及一种宽度学习系统网络模型压缩方法，属于网络模型压缩技术领域。
背景技术
宽度学习系统是一种不需要深度结构的高效增量学习系统，在人脸识别，时序预测和工业过程建模等实际应用中都有不错的成绩。作为一种学习深层结构的替代方法，宽度神经网络结构没有层与层之间的耦合关系，而是通过原始输入在“特征节点”中转换为随机特征，并且在“增强节点”中广义地扩展结构来拓宽网络。宽度学习系统可描述为：输入数据首先通过一些特征映射转化为随机特征，形成“特征节点”，之后这些“特征节点”通过非线性激活函数进一步连接，形成“增强节点”。然后，将“特征节点”和“增强节点”的输出连接到输出层，在输出层中，通过系统方程的快速伪逆来确定输出层的权重。相对深度神经网络，给我们的计算带来了极大的方便。
标准宽度学习系统(broad learning system,BLS)的高效性和泛化性使得其在许多识别和回归问题上取得了不错的成绩，但是仍然存在一些问题限制了它的进一步发展。比如，标准的宽度学习系统网络模型所需要的节点数量是通过多次实验才确定的，这个过程不仅需要消耗很长的时间，而且并非所有节点对整体的网络结构都有着不可或缺的作用，对我们有用的一部分节点对网络预测输出的贡献度很大，而另外一部分节点几乎没有什么贡献，甚至对网络的预测起着负面的影响，这些节点的存在使得标准的宽度网络模型有着严重的冗余，不仅导致建立的模型过于复杂而且可能因为过拟合而降低模型的泛化性。
发明内容
针对上述现有技术存在的问题，本发明提供了一种宽度学习系统网络模型压缩方法，能够精简网络，避免网络的节点冗余问题，且在压缩网络模型的同时，减少精度损失。
为达到上述目的，本发明提出一种宽度学习系统网络模型压缩方法，包括以下步骤：
步骤1：将从开源数X＝[X1,X2...XS]T∈Rs×f据集中获得的数据按照设定的比例分为训练集和测试集，训练集输入数据为，训练集输出数据为Y＝[Y1,Y2...YS]T∈Rs×c，测试集输入数据为Xt＝[X1,X2...Xq]T∈Rq×f，测试集输出数据为Yt＝[Y1,Y2...Yq]T∈Rq×c；
其中s表示训练集数据样本的个数，q表示测试集数据样本的数目，f表示输入数据的维度，c表示输出矢量对应的维度，T表示矩阵的转置，R表示实数域；
步骤2：训练开始，首先求解增广输入矩阵，具体步骤如下：
步骤2.1：利用公式(1)来构造特征节点矩阵Zn＝[Z1,Z2...Zn]
Figure BDA0002500530750000021
其中，Wei和βei是随机产生的权值和偏置，
Figure BDA0002500530750000022
表示做非线性映射，将结果映射到高维特征空间，n为特征节点的组数，X为步骤1中获得的训练集的输入数据；
步骤2.2：利用公式(2)来构造增强节点矩阵Hm＝[H1,H2...Hm]
Hi＝ξ(ZnWhj+βhj),j＝1,...,m (2)
其中，Whi和βhi是随机产生的权值和偏置，ξ(*)是增强节点的激活函数，采用sigmod 函数
Figure BDA0002500530750000023
来表示，m为增强节点的组数；
步骤2.3：将特征节点矩阵和增强节点矩阵合并成一个整体，得Hm＝[H1,H2...Hm]到增广输入矩阵A＝[Zn|Hm]；
步骤3：构建目标函数，求解输出权值，至此训练过程结束，得到精简的宽度学习系统网络模型，具体步骤如下:
步骤3.1：构建目标函数：
Figure BDA0002500530750000024
其中，||Y-AW||1为最小绝对值误差的损失函数项，λ1||W||1为L1正则化项，λ1为L1正则化项惩罚参数，Y为步骤1中获得的训练集的输出数据，A为步骤2中得到的增广输入矩阵，W为要求解的输出权值，
Figure BDA0002500530750000031
为L1-fusion项，λ2为L1-fusion项参数，P是输出权值的维度，i＝2,3…P。
步骤3.2：在训练过程中，根据公式(3)中L1正则化项和L1-fusion项的约束，使得宽度网络自动选择出在建立模型的过程中所需的节点，并求解经过约束的输出权值W，具体方法如下：
步骤3.2.1：将公式(3)用公式(4)表示：
Figure BDA0002500530750000032
s.t.B＝Y-AW,C＝W,Q＝0-DW
其中，
Figure BDA0002500530750000033
为n+m维矩阵；
步骤3.2.2：利用增广拉格朗日乘子法将公式(4)转换成公式(5)：
Figure BDA0002500530750000034
其中，E1,E2,E3是拉格朗日乘子，
Figure BDA0002500530750000035
表示正标量；
通过以下方式求解公式(5)，获得输出权值W：
Figure BDA0002500530750000041
其中，K为公式迭代的次数；
Wk+1由公式(7)得到：
Figure BDA0002500530750000042
其中，
Figure BDA0002500530750000043
得到
WK+1＝(ATA+DTD+I)-1(ATF+G-DTP) (8)
Bk+1由公式(9)得到：
Figure BDA0002500530750000044
其中，
Figure BDA0002500530750000045
得到
Figure BDA0002500530750000046
Ck+1由公式(11)得到：
Figure BDA0002500530750000047
其中，
Figure BDA0002500530750000051
得到
Figure BDA0002500530750000052
Qkt1由公式(13)得到：
Figure BDA0002500530750000053
其中，
Figure BDA0002500530750000054
得到
Figure BDA0002500530750000055
Figure BDA0002500530750000056
由公式(15)迭代计算得到：
Figure BDA0002500530750000057
当公式(6)的迭代次数达到所给出最大迭代次数时，迭代过程结束同时使得W＝Wk+1得到最终的输出权值，同时得到一个精简的宽度学习系统(compact broad learningsystem, CBLS)网络模型，否则重复公式(6)的迭代计算。
步骤4：根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果，选择出最优的网络模型，作为压缩后的宽度学习系统网络模型，测试集均方根误差越小且压缩率越高，说明最终所得到的精简的宽度学习网络模型越好。
与现有技术相比，本发明提出了在训练过程中，通过在目标函数中所加入的L1正则化项的约束实现输出权值稀疏使得不重要的节点对应的输出权值为零，利用L1-fusion项约束相邻输出权值之间的差异，使得具有相关性的节点对应的输出权值变化平滑从而被一起选择，过滤掉不必要的节点，保留贡献度大的节点，得到一个精简的宽度学习系统网络模型，并根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果，选择出最优的精简的宽度学习系统网络模型，作为压缩后的宽度学习系统网络模型，有效地避免了节点冗余问题，使得本压缩后的网络模型在精度损失较小、甚至不损失精度的情况下，呈现出非常好的压缩效果。
附图说明
图1为现有的BLS网络模型的输出权值分布图；
图2为本发明提出的CBLS网络模型的输出权值分布图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图所示，本实施例中采用身体脂肪的回归数据集(bodyfat)来说明本发明的可行性，数据集中包含了对252位男性的身体脂肪百分比的估计值，并按照2：1的比例分为训练集和测试集，在具体实施中，标准宽度学习系统模型节点数量为多次寻优得到，会花费较长时间，而本发明提出的方法，只需设置好初始节点数量，在训练过程中通过本发明增加的约束项由BLS网络网络来自己选择出贡献度较高且相关性较强的节点，结果表明本发明提出的方法在预测精度损失较小、甚至不损失的前提下，呈现出非常好的压缩效果，具体步骤如下：
步骤1：将从开源数据集中获得的数据按照2：1的比例分为训练集和测试集，训练集输入数据为X＝[X1,X2...XS]T∈Rs×f，训练集输出数据为Y＝[Y1,Y2...YS]T∈Rs×c，测试集输入数据为Xt＝[X1,X2...Xq]T∈Rq×f，测试集输出数据为Yt＝[Y1,Y2...Yq]T∈Rq×c，训练集数据用于步骤2和步骤3中训练宽度神经网络的输出权值，从而建立CBLS网络模型；测试集数据用于步骤4中评价模型的预测精度和压缩效果，从而选择出最优的CBLS网络模型，作为压缩后的宽度学习系统网络模型；
其中，s表示训练集数据样本的个数，q表示测试集数据样本的数目，f表示输入数据的维度，c表示输出矢量对应的维度，T表示矩阵的转置，R表示实数域。
步骤2：训练开始，首先求解增广输入矩阵，具体步骤如下：
步骤2.1：利用公式(1)来构造特征节点矩阵Zn＝[Z1,Z2...Zn]；
Figure BDA0002500530750000071
其中，Wei和βei是随机产生的权值和偏置，
Figure BDA0002500530750000072
表示做非线性映射，将结果映射到高维特征空间，n为特征节点的组数，X为步骤1中获得的训练集的输入数据。
步骤2.2：利用公式(2)来构造增强节点矩阵Hm＝[H1,H2...Hm]；
Hi＝ξ(ZnWhj+βhj),j＝1,...,m (2)
其中，Whi和βhi是随机产生的权值和偏置，ξ()是增强节点的激活函数，采用sigmod函数
Figure BDA0002500530750000073
来表示，x＝ZnWhj+βhj，m为增强节点的组数。
步骤2.3：将特征节点矩阵和增强节点矩阵合并成一个整体，得到增广输入矩阵 A＝[Zn|Hm]；
步骤3：构建目标函数，求解输出权值，得到精简的宽度学习系统(compact broadlearning system,CBLS)网络模型，至此训练过程结束，具体步骤如下：
步骤3.1：构建目标函数：
Figure BDA0002500530750000074
其中，||Y-AW||1为最小绝对值误差的损失函数项，λ1||W||1为L1正则化项，λ1为L1正则化项惩罚参数，Y为步骤1中获得的训练集的输出数据，A为步骤2中得到的增广输入矩阵，W为要求解的输出权值，
Figure BDA0002500530750000075
为L1-fusion项，λ2为L1-fusion项参数， P是输出权值的维度，i＝2,3…P。
步骤3.2：在训练过程中，根据公式(3)中L1正则化项和L1-fusion项的约束，使得宽度网络自动选择出在建立模型的过程中贡献度大且具有相关性的节点；其中，利用L1 正则化项的约束实现输出权值稀疏，使得贡献度不大的节点对应的输出权值为零，从而选择出贡献度大的节点；利用L1-fusion项约束连续输出权值之间的差异，使得具有相关性的节点所对应的输出权值变化平滑，从而实现网络节点的进一步选择；然后求出经过上述约束的输出权值W，同时得到一个精简的宽度学习系统网络模型，上述贡献度是指：使得公式(3)的值越小的输出权值W贡献度越大，目标函数的求解过程就是标准宽度学习系统网络模型自动选择节点的依据，即求解公式(4)-(15)的过程，具体求解方法如下：
步骤3.2.1：将公式(3)用公式(4)表示：
Figure BDA0002500530750000081
s.t.B＝Y-AW,C＝W,Q＝0-DW
其中，
Figure BDA0002500530750000082
为n+m维矩阵；
步骤3.2.2：利用增广拉格朗日乘子法将公式(4)转换成公式(5)：
Figure BDA0002500530750000083
其中，E1,E2,E3是拉格朗日乘子，
Figure BDA0002500530750000084
表示正标量；
通过以下方式求解公式(5)，获得输出权值W：
Figure BDA0002500530750000085
其中，K为公式迭代的次数；
Wk+1由公式(7)得到：
Figure BDA0002500530750000091
其中，
Figure BDA0002500530750000092
得到
WK+1＝(ATA+DTD+I)-1(ATF+G-DTP) (8)
Bk+1由公式(9)得到：
Figure BDA0002500530750000093
其中，
Figure BDA0002500530750000094
得到
Figure BDA0002500530750000095
其中，sign(H)为符号函数，
Figure BDA0002500530750000096
表示取
Figure BDA0002500530750000097
0两个数中的最大值；
Ck+1由公式(11)得到：
Figure BDA0002500530750000098
其中，
Figure BDA0002500530750000099
得到
Figure BDA00025005307500000910
Qk+1由公式(13)得到：
Figure BDA00025005307500000911
其中，
Figure BDA0002500530750000101
得到
Figure BDA0002500530750000102
Figure BDA0002500530750000103
由公式(15)迭代计算得到：
Figure BDA0002500530750000104
上述公式中所涉及的B、G、C、P、Q、H、J、D仅仅为了便于求解，并没有特殊含义；
当公式(6)的迭代次数达到所给出最大迭代次数时，迭代过程结束同时使得W＝Wk+1得到最终的输出权值，同时得到了精简的宽度学习系统网络模型，否则重复公式(6)的迭代计算。
步骤4：根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果，选择出最优的CBLS网络模型，作为压缩后的宽度学习系统网络模型，测试集均方根误差越小且压缩率越高，说明最终所得到的CBLS网络模型越好。
测试集均方根误差：
Figure BDA0002500530750000105
Figure BDA0002500530750000106
其中,Yt为实际获得的测试集的输出数据，Xt为实际获得的测试集的输入数据，W是训练时求解的输出权值，XtW为网络模型的预测值，n是样本个数；节点数量BLS为标准BLS 经过搜索得到的最佳节点数量，节点数量CBLS为压缩过后的节点数量，参见表1。
表1给出了本发明提出的CBLS网络模型和BLS网络模型在测试集上的对比结果，以及本发明提出的CBLS网络模型的压缩效果，从表1中可以看出，对比于标准的宽度学习系统，本发明所提出的方法很大程度上压缩了网络结构，得到一个精简的宽度学习系统网络模型，同时又保持较小的精度损失、甚至无精度损失，在二者之间找到了一个平衡，从而证明了本发明方法的有效性。
算法 BLS CBLS
正则化参数 0.0313 (0.5,0.25)
模型节点数量 391 23
RMSE 0.0499 0.0558
训练时间(s) 0.01 0.02
网络结构压缩率(％) 0 94.12
表1 。

Claims (2)

1.一种宽度学习系统网络模型压缩方法，其特征在于，包括以下步骤：
步骤1：将从开源数据集中获得的数据按照设定的比例分为训练集和测试集，训练集输入数据为X＝[X1,X2...XS]T∈Rs×f，训练集输出数据为Y＝[Y1,Y2...YS]T∈Rs×c，测试集输入数据为Xt＝[X1,X2...Xq]T∈Rq×f，测试集输出数据为Yt＝[Y1,Y2...Yq]T∈Rq×c；
其中，s表示训练集数据样本的个数，q表示测试集数据样本的数目，f表示输入数据的维度，c表示输出矢量对应的维度，T表示矩阵的转置，R表示实数域；
步骤2：训练开始，首先求解增广输入矩阵，具体步骤如下：
步骤2.1：利用公式(1)来构造特征节点矩阵Zn＝[Z1,Z2...Zn]
Figure FDA0002500530740000011
其中，Wei和βei是随机产生的权值和偏置，
Figure FDA0002500530740000012
表示做非线性映射，将结果映射到高维特征空间，n为特征节点的组数，X为步骤1中获得的训练集的输入数据；
步骤2.2：利用公式(2)来构造增强节点矩阵Hm＝[H1,H2...Hm]
Hi＝ξ(ZnWhj+βhj),j＝1,...,m (2)
其中，Whi和βhi是随机产生的权值和偏置，ξ(*)是增强节点的激活函数，采用sigmod函数
Figure FDA0002500530740000013
来表示，x＝ZnWhj+βhj，m为增强节点的组数；
步骤2.3：将特征节点矩阵和增强节点矩阵合并成一个整体，得到增广输入矩阵A＝[Zn|Hm]；
步骤3：构建目标函数，求解输出权值，至此训练过程结束，得到精简的宽度学习系统网络模型，具体步骤如下：
步骤3.1：构建目标函数：
Figure FDA0002500530740000014
其中，||Y-AW||1为最小绝对值误差的损失函数项，λ1||W||1为L1正则化项，λ1为L1正则化项惩罚参数，Y为步骤1中获得的训练集的输出数据，A为步骤2中得到的增广输入矩阵，W为要求解的输出权值，
Figure FDA0002500530740000021
为L1-fusion项，λ2为L1-fusion项参数，P是输出权值的维度，i＝2,3…P。
步骤3.2：在训练过程中，根据公式(3)中L1正则化项和L1-fusion项的约束，使得宽度网络自动选择出在建立模型的过程中所需的节点，并求解经过约束的输出权值W，具体方法如下：
步骤3.2.1：将公式(3)用公式(4)表示：
Figure FDA0002500530740000022
其中，
Figure FDA0002500530740000023
为n+m维矩阵；
步骤3.2.2：利用增广拉格朗日乘子法将公式(4)转换成公式(5)：
Figure FDA0002500530740000024
其中，E1,E2,E3是拉格朗日乘子，
Figure FDA0002500530740000025
表示正标量；
通过以下方式求解公式(5)，获得输出权值W：
Figure FDA0002500530740000031
其中，K为公式迭代的次数；
Wk+1由公式(7)得到：
Figure FDA0002500530740000032
其中，
Figure FDA0002500530740000033
得到
WK+1＝(ATA+DTD+I)-1(ATF+G-DTP) (8)
Bk+1由公式(9)得到：
Figure FDA0002500530740000034
其中，
Figure FDA0002500530740000035
得到
Figure FDA0002500530740000036
Ck+1由公式(11)得到：
Figure FDA0002500530740000037
其中，得到
Figure FDA0002500530740000039
Qkt1由公式(13)得到：
Figure FDA0002500530740000041
其中，
Figure FDA0002500530740000042
得到
Figure FDA0002500530740000043
Figure FDA0002500530740000044
由公式(15)迭代计算得到：
Figure FDA0002500530740000045
当公式(6)的迭代次数达到所给出最大迭代次数时，迭代过程结束同时使得W＝Wk+1得到最终的输出权值，同时得到了精简的宽度学习系统网络模型，否则重复公式(6)的迭代计算；
步骤4：根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果，选择出最优的精简的宽度学习系统网络模型，作为压缩后的宽度学习系统网络模型。
2.根据权利要求1所述的一种宽度学习系统网络模型压缩方法，其特征在于，步骤4中的测试集均方根误差和网络结构压压缩率由以下公式得出：
测试集均方根误差
Figure FDA0002500530740000046
Figure FDA0002500530740000047
其中,Yt为实际获得的测试集的输出数据，Xt为实际获得的测试集的输入数据，W是训练时求解的输出权值，XtW为网络模型的预测值，n是样本个数；节点数量BLS为标准BLS经过搜索得到的最佳节点数量，节点数量CBLS为压缩过后的节点数量。
CN202010430858.7A 2020-05-20 2020-05-20 一种宽度学习系统网络模型压缩方法 Pending CN111598236A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010430858.7A CN111598236A (zh) 2020-05-20 2020-05-20 一种宽度学习系统网络模型压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010430858.7A CN111598236A (zh) 2020-05-20 2020-05-20 一种宽度学习系统网络模型压缩方法

Publications (1)

Publication Number Publication Date
CN111598236A true CN111598236A (zh) 2020-08-28

Family

ID=72185913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010430858.7A Pending CN111598236A (zh) 2020-05-20 2020-05-20 一种宽度学习系统网络模型压缩方法

Country Status (1)

Country Link
CN (1) CN111598236A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113098910A (zh) * 2021-05-13 2021-07-09 福州大学 基于时空粒度和三宽度学习的网络入侵检测方法及系统
CN113159310A (zh) * 2020-12-21 2021-07-23 江西理工大学 一种基于残差稀疏宽度学习系统的入侵检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734301A (zh) * 2017-06-29 2018-11-02 澳门大学 一种机器学习方法和机器学习装置
CN109635245A (zh) * 2018-09-29 2019-04-16 中国矿业大学 一种鲁棒宽度学习系统
CN109920021A (zh) * 2019-03-07 2019-06-21 华东理工大学 一种基于正则化宽度学习网络的人脸素描合成方法
CN110222453A (zh) * 2019-06-14 2019-09-10 中国矿业大学 一种基于宽度学习系统的压缩机出口参数预测建模方法
CN110288088A (zh) * 2019-06-28 2019-09-27 中国民航大学 基于流形正则化和宽度网络的半监督宽度学习分类方法
US20200126103A1 (en) * 2018-10-22 2020-04-23 Oracle International Corporation System and Method for Customer Behavioral Load Shaping for Adjusting Customer Energy Consumption

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734301A (zh) * 2017-06-29 2018-11-02 澳门大学 一种机器学习方法和机器学习装置
CN109635245A (zh) * 2018-09-29 2019-04-16 中国矿业大学 一种鲁棒宽度学习系统
US20200126103A1 (en) * 2018-10-22 2020-04-23 Oracle International Corporation System and Method for Customer Behavioral Load Shaping for Adjusting Customer Energy Consumption
CN109920021A (zh) * 2019-03-07 2019-06-21 华东理工大学 一种基于正则化宽度学习网络的人脸素描合成方法
CN110222453A (zh) * 2019-06-14 2019-09-10 中国矿业大学 一种基于宽度学习系统的压缩机出口参数预测建模方法
CN110288088A (zh) * 2019-06-28 2019-09-27 中国民航大学 基于流形正则化和宽度网络的半监督宽度学习分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FEI CHU,ET.AL: ""Modeling Method for Performance Prediction of Centrifugal Compressor Based on Broad Learning System"", 《THE 31 ST CHINESE CONTROL AND DECISION CONFERENCE (2019 CCDC)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159310A (zh) * 2020-12-21 2021-07-23 江西理工大学 一种基于残差稀疏宽度学习系统的入侵检测方法
CN113098910A (zh) * 2021-05-13 2021-07-09 福州大学 基于时空粒度和三宽度学习的网络入侵检测方法及系统
CN113098910B (zh) * 2021-05-13 2022-05-10 福州大学 基于时空粒度和三宽度学习的网络入侵检测方法及系统

Similar Documents

Publication Publication Date Title
Liu et al. Frequency-domain dynamic pruning for convolutional neural networks
CN107516129B (zh) 基于维度自适应的Tucker分解的深度网络压缩方法
CN108734301A (zh) 一种机器学习方法和机器学习装置
CN113486190A (zh) 一种融合实体图像信息和实体类别信息的多模态知识表示方法
CN111723914A (zh) 一种基于卷积核预测的神经网络架构搜索方法
CN111598236A (zh) 一种宽度学习系统网络模型压缩方法
CN114239798B (zh) 基于奇偶性对数量化的无乘法深度神经网络模型压缩方法
CN110781912A (zh) 一种基于通道扩张倒置卷积神经网络的图像分类方法
CN110619364B (zh) 一种基于云模型的小波神经网络三维模型分类方法
CN116095089B (zh) 遥感卫星数据处理方法及系统
CN110765582B (zh) 基于马尔可夫链的自组织中心K-means微电网场景划分方法
CN111325308B (zh) 一种非线性系统辨识方法
CN113610227A (zh) 一种高效的深度卷积神经网络剪枝方法
Kaveh et al. Wavefront reduction using graphs, neural networks and genetic algorithm
CN107391442A (zh) 一种增广线性模型及其应用方法
Shen et al. Learning to prune in training via dynamic channel propagation
CN101977120B (zh) 基于图形处理器的大规模静态网络划分方法
Zhang Moving mesh method with conservative interpolation based on L2-projection
Doshi et al. Inferring the structure of graph grammars from data
Feinsilver et al. Krawtchouk transforms and convolutions
Hajimohammadi et al. Legendre Deep Neural Network (LDNN) and its application for approximation of nonlinear Volterra Fredholm Hammerstein integral equations
CN116776752B (zh) 一种基于智能编码的声子晶体带隙设计方法及设计系统
CN117391646B (zh) 一种协同创新管理系统
CN118096536B (zh) 基于超图神经网络的遥感高光谱图像超分辨率重构方法
CN114936296B (zh) 超大规模知识图谱存储的索引方法、系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200828