CN116958783B - 基于深度残差二维随机配置网络的轻量型图像识别方法 - Google Patents
基于深度残差二维随机配置网络的轻量型图像识别方法 Download PDFInfo
- Publication number
- CN116958783B CN116958783B CN202310916579.5A CN202310916579A CN116958783B CN 116958783 B CN116958783 B CN 116958783B CN 202310916579 A CN202310916579 A CN 202310916579A CN 116958783 B CN116958783 B CN 116958783B
- Authority
- CN
- China
- Prior art keywords
- layer
- network
- node
- image recognition
- modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 abstract description 102
- 238000002474 experimental method Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 3
- 239000002356 single layer Substances 0.000 abstract description 3
- 201000006681 severe congenital neutropenia Diseases 0.000 description 16
- 240000000851 Vaccinium corymbosum Species 0.000 description 7
- 235000003095 Vaccinium corymbosum Nutrition 0.000 description 7
- 235000017537 Vaccinium myrtillus Nutrition 0.000 description 7
- 235000021014 blueberries Nutrition 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 125000000858 thiocyanato group Chemical group *SC#N 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度残差二维随机配置网络的轻量型图像识别方法,涉及快速建模识别方法领域,包括以下步骤:S1:获取图像数据集;S2:逐层建立轻量型图像识别网络;S3:设置每层容差为建立新层的条件,并构建残差连接作为新层输入。本发明采用上述步骤,使用图像直接作为建模数据,保留图像的完整空间位置信息,引入深度残差随机配置神经网络,克服了单层网络学习能力不足和网络随着层数加深导致原始信息丢失的问题,并且在深度残差随机配置神经网络的层数和每层节点设置上,采用自适应算法设置,达到根据任务复杂度自动选择层数和每层节点数,克服了现有方法需要反复实验和先验经验来调整层数和节点数的缺点,大大提高了效率和实用性。
Description
技术领域
本发明涉及快速建模识别方法领域,尤其是涉及基于深度残差二维随机配置网络的轻量型图像识别方法。
背景技术
随着计算机硬件设备的性能不断提高,使得计算机视觉得到了快速的发展,并应用于医疗、金融、军事等诸多行业,目前深度学习技术在机器视觉领域取得了巨大的成功,但是存在模型参数量大、计算复杂度高、训练速度缓慢等问题。近年来,随机配置神经网络(SCNs)作为一种增量式快速建模算法,克服了传统随机模型参数选择的问题,也不同于基于梯度下降的神经网络,极大的减少了计算量并提升了训练速度,其各种变体模型逐渐应用于图像分类、人脸识别、目标检测等图像处理问题。
然而现有应用于图像领域的SCN变体模型存在以下三方面问题:
1)现有技术一部分使用其他网络作为骨干网络进行图像特征提取器,仅用SCN作为最后一层分类网络,在训练时需要交替优化参数,仍然无法避免参数量大、计算复杂度高、训练及实际应用时速度缓慢的特点;
2)另一部分直接使用SCN作为图像特征提取和识别的网络,如(Li M,Wang DH.2-Dstochastic configuration networks for image data analytics.IEEETrans.onCybernetics,2021,51(1):359–372.[doi:10.1109/TCYB.2019.2925883]),首次提出使用矩阵作为输入,应用于图像数据建模问题。但该文在手写字符数据集上的训练结果表明,虽然较SCN识别准确率有所提高,但其在训练集上的识别准确率为88.20,在测试集上的识别准确率为85.63%,说明在算法设计上其并未提取出图像足够的特征,因此训练不能收敛,且识别准确率低。
再如文(Wang DH,Li M.Deep stochastic configuration networks withuniversal approximationproperty.In:Proc.ofthe 2018Int’l Joint Conf.onNeuralNetworks.Rio de Janeiro:IEEE,2018.1–8.[doi:10.1109/IJCNN.2018.8489695]),探讨了SCN网络的深度可扩展性,可手动设置SCN网络的层数和每层的节点数,期望可提取训练数据的高维特征信息作为最后的识别依据。但从识别结果看,其在旋转手写字符问题上的测试集表现,准确度仅为66.36%。虽然较SCN有一定提升,但其将图像作为一维信号进行输入,破坏了图像原有的空间信息,并且手动设置网络层数和每层节点数,需要实验和经验来确定,因此在实际应用中存在准确度低且难以实用的问题。如何继续保持SCN算法参数量少、计算复杂度低和训练速度快的优势,又能兼顾算法图像识别准确度是需要亟待解决的问题。
因此,有必要提供基于深度残差二维随机配置网络的轻量型图像识别方法,来解决上述问题。
发明内容
本发明的目的是提供基于深度残差二维随机配置网络的轻量型图像识别方法,使用图像作为直接建模数据,保留图像的完整空间位置信息,引入深度残差随机配置神经网络,克服了单层网络学习能力不足和网络随着层数加深导致原始信息丢失的问题,并且在深度残差随机配置神经网络的层数和每层节点设置上,采用自适应算法设置,达到根据任务复杂度自动选择层数和每层节点数,克服了现有方法需要反复实验和先验经验来调整层数和节点数的缺点,大大提高了效率和实用性。
为实现上述目的,本发明提供了基于深度残差二维随机配置网络的轻量型图像识别方法,包括以下步骤:
S1:获取图像数据集;
S2:逐层建立轻量型图像识别网络;
S3:设置每层容差为建立新层的条件,并构建残差连接作为新层输入。
优选的,在步骤S1中,加载图像数据集X={x1,x2,...,xN},单张图片大小为d1×d2,图片数量为N,类别为M,识别数据集标签列,将其转化为0-1标签矩阵T,并划分训练集、验证集和测试集。
优选的,在步骤S2中,使用深度残差二维随机配置神经网络算法去快速建立轻量型图像识别网络,具体建模步骤如下:
S21:设置模型的期望总体容差ε,学习参数r,随机分配区间[-λ,λ]d,最大迭代次数Tmax;每层停止建模容差δ,容差次数为s,初始化网络残差e0=T;
S22:配置第n层的第L个节点,在随机参数的分配区间内随机分配权V(n-1),W(n-1)和偏置B(n-1),生成Tmax个隐藏层节点:
其中,φ(·)和Φ(·)代表使用sigmoid激活函数;
S23:根据公式约束计算监督指标选出最优节点,公式为:
其中表示点积,r代表缩放因子,/>代表建模第n层、第L-1个节点输出对应的残差;
S24:根据指标公式的结果计算在候选池中选出使得/>最大的节点,作为第n层的第L个节点;
S25:根据新的隐藏层输出,重新评估输出权重,沿用DeepSCN将各隐藏层输出与结果直连,通过下式计算输出权重:
其中HHT代表非奇异矩阵,
S26:计算第n层的容差,网络整体残差/>
S27:返回步骤S22,在第n层继续构建第L+1个节点。
优选的,在步骤S3中,持续建立s个节点,时,停止继续在该层新建节点;
e(n)小于给定的期望总体容差ε,开始新的一层建模,新的一层将上一层的输入与隐藏层输出混合用以输入,开启新的一层建模过程;当e(n)大于给定的期望总体容差ε,建模完成并返回一个DeepR2DSCN图像识别网络。
因此,本发明采用上述基于深度残差二维随机配置网络的轻量型图像识别方法,具备以下有益效果:
(1)本发明不依赖于其他网络来提取图像特征,直接使用DeepR2DSCN来实现图像特征提取与识别功能,避免了卷积或自注意力等复杂特征计算,保留了随机配置算法参数量少、计算复杂度低和训练速度快的优势,又能兼顾图像识别准确度以达到方便实际应用的目的。
(2)本发明不使用其他网络作为提取特征的骨干网络,直接使用深度残差随机配置神经网络作为特征提取器和识别器,极大减少了计算复杂度。
(3)本发明加入了自适应深度扩展算法,无需反复实验和先验经验预先确定网络的层数和每层节点数,极大方便了实际应用。
(4)本发明提出了深度二维随机配置神经网络并构建了每层网络之间的残差连接,避免了随着网络层数加深,而丢失了图像原始信息,提高了网络的识别精度。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1是本发明基于深度残差二维随机配置网络的轻量型图像识别方法的流程图;
图2是本发明实施例一中蓝莓数据集中好果示意图;
图3是本发明实施例一中蓝莓数据集坏果示意图;
图4是本发明实施例一中蓝莓分选数据集训练集和测试集混淆矩阵;
图5是本发明对比例一中的DeepR2DSCN与2DSCN训练对比图;
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义,本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本发明中使用的“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其它要素的可能。术语“内”、“外”、“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。在本发明中,除非另有明确的规定和限定,术语“附着”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
如图1所示,本发明提供了基于深度残差二维随机配置网络的轻量型图像识别方法,包括以下步骤:
S1:获取图像数据集;在步骤S1中,加载图像数据集X={x1,x2,...,xN},单张图片大小为d1×d2,图片数量为N,类别为M,识别数据集标签列,将其转化为0-1标签矩阵T,并划分训练集、验证集和测试集。
S2:逐层建立轻量型图像识别网络;在步骤S2中,使用深度残差二维随机配置神经网络算法去快速建立轻量型图像识别网络,具体建模步骤如下:
S21:设置模型的期望总体容差ε,学习参数r,随机分配区间[-λ,λ]d,最大迭代次数Tmax;每层停止建模容差δ,容差次数为s,初始化网络残差e0=T;
S22:配置第n层的第L个节点,在随机参数的分配区间内随机分配权V(n-1),W(n-1)和偏置B(n-1),生成Tmax个隐藏层节点:
其中,φ(·)和Φ(·)代表使用sigmoid激活函数;
S23:根据公式约束计算监督指标选出最优节点,公式为:
其中表示点积,r代表缩放因子,/>代表建模第n层、第L-1个节点输出对应的残差;
S24:根据指标公式的结果计算在候选池中选出使得/>最大的节点,作为第n层的第L个节点;
S25:根据新的隐藏层输出,重新评估输出权重,沿用DeepSCN将各隐藏层输出与结果直连,通过下式计算输出权重:
其中HHT代表非奇异矩阵,
S26:计算第n层的容差,网络整体残差/>
S27:返回步骤S22,在第n层继续构建第L+1个节点。
S3:设置每层容差为建立新层的条件,并构建残差连接作为新层输入。在步骤S3中,持续建立s个节点,时,停止继续在该层新建节点;e(n)小于给定的期望总体容差ε,开始新的一层建模,新的一层将上一层的输入与隐藏层输出混合用以输入,开启新的一层建模过程;当e(n)大于给定的期望总体容差ε,建模完成并返回一个DeepR2DSCN图像识别网络。
实施例一
如图1所示,步骤一:加载蓝莓分选数据集X={x1,x2,...,xN},单张图片大小为140×140,图片数量为13271,识别数据集标签列,将其转化为0-1标签矩阵T,并划分训练集和测试集。
步骤二:模型训练:使用深度残差二维随机配置神经网络算法去快速建立轻量型图像识别网络,具体建模步骤如下:
2.1设置模型的期望总体容差ε,学习参数r,随机分配区间[-λ,λ]d,最大迭代次数Tmax=50;每层停止建模容差δ=2×10-4,容差次数为s=50,初始化网络残差e0=T。
2.2假设此时需要配置第n层的第L个节点,在随机参数的分配区间内随机生成50个隐藏层节点,配置第n层的第L个节点,生成Tmax个隐藏层节点:
其中,φ(·)和Φ(·)代表使用sigmoid激活函数;
SCN建模为对训练集整体进行建模而非分batch训练,因此假设随机生成50个向量v和向量w,(d1,d2=140),当与训练集中的每一张图片计算隐藏层输出时,计算会尤其耗时。
蓝莓分选训练集有7962张图片,根据上式计算整个训练集的隐藏层输出需要计算7962×50次,根据我们的计算配置一个节点需要116s,而这样计算则失去了随机配置神经网络建模的快速性。
为了节省配置一个节点所需时间,算法实现过程中,在计算隐藏层输出时做下式变换:vTxw=(vec(uvT))Tvec(x);
先计算中间变量A'=(vec(uvT))T,并在第一个维度扩展到与训练集的第一个维度一致,即此时中间变量A'的维度(7962,1,19600),训练集的维度重塑为(7962,19600,1)。在计算一个随机配置的节点的隐藏层输出时,我们保持第一个维度不变,计算后两个维度,相当于我们复制了7962个相同的向量v和向量w,与整个训练集相乘,一次性计算出全部图片隐藏层的值。与一维SCN一致,计算50次,就可以比较得到配置的最佳节点,大大节省了配置节点的时间,根据我们的计算,现在配置一个节点仅需要0.6s。
2.3:根据公式约束计算监督指标选出最优节点,公式为:
其中表示点积,r代表缩放因子,/>代表建模第n层、第L-1个节点输出对应的残差;
2.4:根据指标公式的结果计算在候选池中选出使得/>最大的节点,作为第n层的第L个节点;
2.5:根据新的隐藏层输出,重新评估输出权重,沿用DeepSCN将各隐藏层输出与结果直连,通过下式计算输出权重:
其中HHT代表非奇异矩阵,
2.6:计算第n层的容差,网络整体残差/>
2.7:当则返回2.2继续在第n层继续构建第L+1个节点。
步骤三:当持续建立s个节点,而时,停止在该层新建节点。当e(n)小于给定的期望总体容差ε,开始新的一层建模。
按照本数据集的超参设置,当连续建模50个节点,但损失降低小于0.01时,在该层继续添加节点难以捕捉有效特征立即停止。
然后新的一层将上一层的输入与隐藏层输出混合用以输入,即开启新的一层建模过程。
使用0像素填充的方法,隐藏层输出的第二个维度往往与建模节点个数一致,而上一层所建节点个数与下一层不一致,在此处做一个判断,将小尺寸的特征图进行填充与大尺寸的特征图进行融合得到下一层建模的输入。
步骤四:当e(n)大于给定的期望总体容差ε,建模完成并返回一个DeepR2DSCN图像识别网络并进行测试。如图4所示,本设计在测试集上的准确率达到了95%拥有最好的效果。如图5所示,与现存较优的2DSCN技术相比,本文技术在不同层共建模4600个节点与2DSCN在同一个维度建模4600个节点相比,可以看到2DSCN在建模到600个节点左右时,损失与准确率均渐显饱和态势,随着节点的增多,训练集损失稳定在0.34附近,训练集准确率最高达到95%则不再提高,表明2DSCN算法性能不足以学习图像特征并识别,存在优化空间。
本技术训练集上的损失可以持续降到0.1以下,且准确率上升到100%,能够通过学习捕捉图像特征并识别,通过上述计算算法优化能够快速学习,符合高精度快速图像识别的特点。
对比例
表1:各模型在三种数据集下的表现
表1中Fashion-MNIST和MNIST数据集为公开数据集,其中Fashion-MNIST共7万张图片、10个类别,每个类别7000张图片,单张图像大小为28*28;MNIST数据集;Blueberries数据集为某工厂蓝莓好坏果分共7万张图片、10个类别,每个类别7000张图片,单张图像大小为28*28选问题中本发明采集的真实数据集如图2,3,共13271张图片,其中好果样本7574张,坏果图片5697张,单张图片大小为140*140;由表1中各指标可清晰看出本发明所提出的深度二维随机配置网络Deep2DSCN和深度残差二维随机配置网络DeepR2DSCN在三个数据集上的识别准确度都好于现有的三种方法,在较复杂的图像识别问题上如在Fashion-MNIST数据集上DeepSCN和SCN完全不能提取到图像的有效特征,2DSCN虽然能够提取出图像的有效特征,精度并不高,现有的2DSCN的框架下是一个单隐藏层结构,只能在一个维度上不断提取特征,到建模后期,训练集的损失几乎不在下降或下降很少,说明单隐藏层的网络无法有效提取识别图像的充分依据。
Deep2DSCN能有效缓解该问题,但是通过实验发现当层数增加到一定时,准确率反而会降低,这说明网络随着层数加深慢慢丢失了原有的特征信息。
为了克服这个问题,我们构建了不同层之间的连接,保留原始的图像信息,从表1的结果中可以看出DeepR2DSCN在三个数据集上的各项指标都提升了至少两个点。
网络结构非常简单,且不需要复杂的卷积或编码操做,可以节省推理时间,算法在保证精度的前提下,单张图片的推理时间仅为6.1×10-5s、4.9×10-5s和2.4×10-4s,且不需要GPU。
因此,本发明采用上述基于深度残差二维随机配置网络的轻量型图像识别方法,使用图像作为直接建模数据,保留图像的完整空间位置信息,引入深度残差随机配置神经网络,克服了单层网络学习能力不足和网络随着层数加深导致原始信息丢失的问题,并且在深度残差随机配置神经网络的层数和每层节点设置上,采用自适应算法设置,达到根据任务复杂度自动选择层数和每层节点数,克服了现有方法需要反复实验和先验经验来调整层数和节点数的缺点,大大提高了效率和实用性。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (3)
1.基于深度残差二维随机配置网络的轻量型图像识别方法,其特征在于:包括以下步骤:
S1:获取图像数据集;
S2:逐层建立轻量型图像识别网络;在步骤S2中,使用深度残差二维随机配置神经网络DeepR2DSCN算法去快速建立轻量型图像识别网络,具体建模步骤如下:
S21:设置模型的期望总体容差ε,学习参数r,随机分配区间[-λ,λ]d,最大迭代次数Tmax;每层停止建模容差δ,容差次数为s,初始化网络残差e0=T;
S22:配置第n层的第L个节点,在随机参数的分配区间内随机分配权V(n-1),W(n-1)和偏置B(n-1),生成Tmax个隐藏层节点:
其中,φ(·)和Φ(·)代表使用的激活函数;表示,/>表示,/>表示;
S23:根据公式约束计算监督指标选出最优节点,公式为:
其中表示点积,r代表缩放因子,/>代表建模第n层、第L-1个节点输出对应的残差;
S24:根据指标公式的结果计算在候选池中选出使得/>最大的节点,作为第n层的第L个节点;
S25:根据新的隐藏层输出,重新评估输出权重,沿用DeepSCN将各隐藏层输出与结果直连,通过下式计算输出权重:
其中HHT代表非奇异矩阵,
S26:计算第n层的容差,网络整体残差/>
S27:返回步骤S22,在第n层继续构建第L+1个节点;
S3:设置每层容差为建立新层的条件,并构建残差连接作为新层输入。
2.根据权利要求1所述的基于深度残差二维随机配置网络的轻量型图像识别方法,其特征在于:在步骤S1中,加载图像数据集X={x1,x2,...,xN},单张图片大小为d1×d2,图片数量为N,类别为M,识别数据集标签列,将其转化为0-1标签矩阵T,并划分训练集、验证集和测试集。
3.根据权利要求2所述的基于深度残差二维随机配置网络的轻量型图像识别方法,其特征在于:在步骤S3中,持续建立s个节点,时,停止继续在该层新建节点;
e(n)小于给定的期望总体容差ε,开始新的一层建模,新的一层将上一层的输入与隐藏层输出混合用以输入,开启新的一层建模过程;当e(n)大于给定的期望总体容差ε,建模完成并返回一个DeepR2DSCN图像识别网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310916579.5A CN116958783B (zh) | 2023-07-24 | 2023-07-24 | 基于深度残差二维随机配置网络的轻量型图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310916579.5A CN116958783B (zh) | 2023-07-24 | 2023-07-24 | 基于深度残差二维随机配置网络的轻量型图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116958783A CN116958783A (zh) | 2023-10-27 |
CN116958783B true CN116958783B (zh) | 2024-02-27 |
Family
ID=88442242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310916579.5A Active CN116958783B (zh) | 2023-07-24 | 2023-07-24 | 基于深度残差二维随机配置网络的轻量型图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116958783B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635337A (zh) * | 2018-11-13 | 2019-04-16 | 中国矿业大学 | 一种基于块增量随机配置网络的工业过程软测量建模方法 |
CN110929603A (zh) * | 2019-11-09 | 2020-03-27 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
CN111223088A (zh) * | 2020-01-16 | 2020-06-02 | 东南大学 | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 |
CN113989890A (zh) * | 2021-10-29 | 2022-01-28 | 河南科技大学 | 基于多通道融合和轻量级神经网络的人脸表情识别方法 |
CN114494759A (zh) * | 2021-08-31 | 2022-05-13 | 盐城工学院 | 一种基于二维-增量式随机权网络的图像数据分析方法 |
CN114677672A (zh) * | 2022-03-27 | 2022-06-28 | 河南科技大学 | 一种基于深度学习神经网络的成熟蓝莓果实识别方法 |
WO2023035727A1 (zh) * | 2021-09-09 | 2023-03-16 | 中国矿业大学 | 一种基于联邦增量随机配置网络的工业过程软测量方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220156554A1 (en) * | 2019-06-04 | 2022-05-19 | Northeastern University | Lightweight Decompositional Convolution Neural Network |
-
2023
- 2023-07-24 CN CN202310916579.5A patent/CN116958783B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635337A (zh) * | 2018-11-13 | 2019-04-16 | 中国矿业大学 | 一种基于块增量随机配置网络的工业过程软测量建模方法 |
CN110929603A (zh) * | 2019-11-09 | 2020-03-27 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
CN111223088A (zh) * | 2020-01-16 | 2020-06-02 | 东南大学 | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 |
CN114494759A (zh) * | 2021-08-31 | 2022-05-13 | 盐城工学院 | 一种基于二维-增量式随机权网络的图像数据分析方法 |
WO2023035727A1 (zh) * | 2021-09-09 | 2023-03-16 | 中国矿业大学 | 一种基于联邦增量随机配置网络的工业过程软测量方法 |
CN113989890A (zh) * | 2021-10-29 | 2022-01-28 | 河南科技大学 | 基于多通道融合和轻量级神经网络的人脸表情识别方法 |
CN114677672A (zh) * | 2022-03-27 | 2022-06-28 | 河南科技大学 | 一种基于深度学习神经网络的成熟蓝莓果实识别方法 |
Non-Patent Citations (2)
Title |
---|
基于2DPCA-SCN正则化的SAR图像目标识别方法;王彦平;张艺博;李洋;林;;信号处理(第05期);全文 * |
基于深度残差网络与迁移学习的毒蕈图像识别;樊帅昌;易晓梅;李剑;惠国华;郜园园;;传感技术学报(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116958783A (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6504590B2 (ja) | 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体 | |
CN110263912B (zh) | 一种基于多目标关联深度推理的图像问答方法 | |
Pang et al. | Deep convolutional extreme learning machine and its application in handwritten digit classification | |
CN106919942B (zh) | 用于手写汉字识别的深度卷积神经网络的加速压缩方法 | |
CN108170816B (zh) | 一种基于深度神经网络的智能视觉问答方法 | |
CN105095862B (zh) | 一种基于深度卷积条件随机场的人体动作识别方法 | |
Blanco et al. | A genetic algorithm to obtain the optimal recurrent neural network | |
Teow | Understanding convolutional neural networks using a minimal model for handwritten digit recognition | |
CN108121975B (zh) | 一种联合原始数据和生成数据的人脸识别方法 | |
CN109948029A (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
CN111310707A (zh) | 基于骨骼的图注意力网络动作识别方法及系统 | |
Tiňo et al. | Learning and extracting initial mealy automata with a modular neural network model | |
CN113516133B (zh) | 一种多模态图像分类方法及系统 | |
CN113554084B (zh) | 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统 | |
CN113128424A (zh) | 基于注意力机制的图卷积神经网络动作识别方法 | |
CN114119975A (zh) | 一种语言引导的跨模态实例分割方法 | |
Dai et al. | A tucker decomposition based on adaptive genetic algorithm for efficient deep model compression | |
CN108805280A (zh) | 一种图像检索的方法和装置 | |
CN116958783B (zh) | 基于深度残差二维随机配置网络的轻量型图像识别方法 | |
CN112860856B (zh) | 一种算数应用题智能解题方法及系统 | |
CN111612046B (zh) | 特征金字塔图卷积神经网络及其在3d点云分类中的应用 | |
CN113610015B (zh) | 基于端到端快速阶梯网络的姿态估计方法、装置及介质 | |
CN111860668B (zh) | 一种针对原始3d点云处理的深度卷积网络的点云识别方法 | |
CN114821631A (zh) | 基于注意力机制与多尺度特征融合的行人特征提取方法 | |
CN114741532A (zh) | 基于多尺度分散动态路由的知识图谱补全方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |