CN114494759A - 一种基于二维-增量式随机权网络的图像数据分析方法 - Google Patents
一种基于二维-增量式随机权网络的图像数据分析方法 Download PDFInfo
- Publication number
- CN114494759A CN114494759A CN202111013453.4A CN202111013453A CN114494759A CN 114494759 A CN114494759 A CN 114494759A CN 202111013453 A CN202111013453 A CN 202111013453A CN 114494759 A CN114494759 A CN 114494759A
- Authority
- CN
- China
- Prior art keywords
- hidden layer
- network
- model
- dimensional
- random weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于二维‑增量式随机权网络的图像数据分析方法,包括:获取图像样本集,设置二维‑增量式随机权网络模型的初始参数;根据模型构建过程中网络残差需逐步减小的特征,建立监督机制,并产生候选隐含层节点池;在候选隐含层节点池中,将模型残差下降最快所对应的隐含层节点添加到当前模型中;在新的隐含层节点添加完成后,采用全局优化算法来获得整个网络的输出权重。当网络的节点数达到事先设置的隐含层节点数或者网络残差满足期望精度时,结束整个网络的构建过程,最终得到一个可用于优化图像处理效果的基于二维‑增量式随机权网络模型。本发明不仅具有较好的学习与泛化性能,而且能够在二维图像数据分析中展现良好的应用潜力。
Description
技术领域
本发明涉及图像分类技术领域,尤其涉及一种基于二维-增量式随机权网络的图像数据分析方法。
背景技术
随着上升的深度学习浪潮,具有学习算法成熟且表征能力强的神经网络被广泛应用于数据分析中。全连接神经网络通常将矢量输入作为输入层的输入。在图像数据建模中,这种矢量操作虽可使输入权重与输入之间的点积计算可行,但会不可避免地引出两个问题:1)当训练样本有限时,会发生维数灾难;2)原始的多维输入的空间信息会遭到破坏,以致获得不理想的建模性能。因此,有必要建立能够直接处理多维输入的全连接神经网络,以获得高质量的建模性能。
目前,存在两种可直接处理二维输入的网络:1)矩阵神经网络,采用较慢的基于梯度下降的训练方法来得到网络参数。该类方法容易陷入局部极小,具有慢的收敛速度;2)随机学习技术。两种有代表性的随机学习者模型是随机权网络和随机配置网络。随机权网络先在一个固定区间中随机选取隐层参数,再通过求解一个线性方程来得到网络的输出权值。该方法完全独立于训练数据,随机选取隐层参数,具有一定的盲目性。随机配置网络采用一个监督机制对隐层参数的选取加以约束,在网络的训练过程中获得高质量的隐层参数,且具有万能逼近特性。然而,该方法监督机制的约束力度有限,容易产生冗余的隐含层节点,导致结构不紧致,增加计算机存储压力。
发明内容
发明目的:针对以上问题,本发明提出一种基于二维-增量式随机权网络的图像数据分析方法,不仅具有紧致的网络结构,同时表现出较好的泛化性能,能够在图像数据分析中表现出很好的潜力。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:一种基于二维-增量式随机权网络的图像数据分析方法,二维-增量式随机权网络的机构是由三部分组成的:输入层、隐层和输出层,其中采用增量构造算法来得到隐层节点数。步骤如下:
S1,获取图像样本集,设置二维-增量式随机权网络模型的初始参数;
S2,根据模型构建过程中网络残差需逐步减小的特征,建立监督机制,并产生一个候选隐含层节点池;
S3,在候选隐含层节点池中,将模型残差下降最快所对应的隐含层节点添加到当前模型中;
S4,在新的隐含层节点添加完成后,采用全局优化算法来获得整个网络的输出权重;当网络的节点数达到预先设置的隐含层节点数或者网络残差满足期望精度时,结束整个网络的构建过程,最终得到一个基于二维-增量式随机权网络模型;
S5,利用构建的二维-增量式随机权网络模型进行二维图像数据分析,最终优化了图像处理效果。
进一步的,所述步骤S1包括:
首先给定一组训练输入xi为图像样本集中的第i个输入图像,N为训练样本的数量,d1×d2为图像矩阵;输出为T={t1,t2,...,tN},ti∈Rm,ti为图像样本集中的第i个输出,m为样本输出的个数;
然后对二维-增量式随机权网络模型所涉及到的模型参数进行定义,包括:模型的期望精度ε,预先设定的网络最大尺寸Lmax,隐层参数的取值范围Υ:={λmin:Δλ:λmax},其中[-λmin,λmin]为隐层参数选取的开始范围,Δλ为范围的变化量,[-λmax,λmax]为隐层参数选取的最大范围;每个隐层参数范围所能配置隐层节点的次数Tmax,调节因子γ,学习参数r,将Θ1记为模型的初始尺寸、模型残差记为e0,并令e0等于训练样本的输出T。
进一步的,所述步骤S2包括:
设当前模型具有k-1个隐含层节点,将要进行下一个隐含层节点建立时,分别从三个可变对称区间和[-λλ]中随机选取隐含层参数 和其中λ从λmin开始,逐步增加Δλ,直至λmax结束;wk为左投影矢量,vk为右投影矢量,bk为偏置;
在每个可变对称区间中配置Tmax次隐层节点,将满足如下条件的隐层节点放入候选隐含层节点池中:
式中,ek-1(x)为当前网络残差。
进一步的,所述步骤S3包括:
若在当前的可变对称区间中找不到满足条件的隐层节点,则自适应地调节隐层参数的范围,并相应地调节学习参数r,即:
加大r的数值,r=r+τ,τ由(0,1-r)区间内随机产生,并重复步骤S2和S3,直到候选隐含层节点池不为空,找到最优参数;模型的尺寸从Θ1开始增加,将满足监督机制的隐含层节点逐个添加到模型中;
得到当前网络的隐层输出矩阵Hk:
进一步的,所述步骤S4包括:
采用全局优化算法计算当前网络的输出权重β★:
当前网络的残差为:ek=T-Hkβ*;
若当前网络的残差ek达到期望精度ε或者当前网络的尺寸超出预先设置的网络最大尺寸数Lmax,则停止网络模型的构建,建模结束。
有益效果:与现有技术相比,本发明的技术方案具有以下有益的技术效果:
本发明的基于二维-增量式随机权网络的图像数据分析方法采用左投影矢量和右投影矢量来取代矢量操作,可有效避免维数灾难,并可高效构建模型。另外,该方法从一个小尺寸规模的网络开始构建模型,并通过一个约束力度更强的监督机制来挑选最佳的模型训练参数,从而得到一个对建模贡献最大的隐层节点。同时,采用全局优化算法来得到模型的输出权值。最后,一个具有结构简单、易于实现、结构紧致且泛化性能强的二维-增量式随机权网络被建立,且能够在图像分析中展现良好的应用潜力。
附图说明
图1是基于二维-增量式随机权网络的图像数据分析方法的流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示,本发明所述的基于二维-增量式随机权网络的图像数据分析方法,具体步骤如下:
S1,获取图像样本集,设置二维-增量式随机权网络模型的初始参数。
首先给定一组训练输入xi为图像样本集中的第i个输入图像,N为训练样本的数量,d1×d2为图像矩阵;输出为T={t1,t2,...,tN},ti∈Rm,ti为图像样本集中的第i个输出,m为样本输出的个数;
然后对二维-增量式随机权网络模型所涉及到的模型参数进行定义,包括:模型的期望精度ε,预先设定的网络最大尺寸Lmax,隐层参数的取值范围Υ:={λmin:Δλ:λmax},其中[-λmin,λmin]为隐层参数选取的开始范围,Δλ为范围的变化量,[-λmax,λmax]为隐层参数选取的最大范围;每个隐层参数范围所能配置隐层节点的次数Tmax,调节因子γ,学习参数r,将Θ1记为模型的初始尺寸、模型残差记为e0,并令e0等于训练样本的输出T。
S2,根据模型构建过程中网络残差需逐步减小的特征,建立监督机制,并产生一个候选隐含层节点池。
设当前模型具有k-1个隐含层节点,将要进行下一个隐含层节点(第k个隐层节点)建立时,首先根据配置次数,分别从三个可变对称区间和[-λλ]中随机选取Tmax组隐含层参数和其中λ从λmin开始,逐步增加Δλ,直至λmax结束;wk为左投影矢量,vk为右投影矢量,bk为偏置;
在每个可变对称区间中配置Tmax次隐层节点,将满足如下条件(监督机制)的隐层节点放入候选隐含层节点池中:
式中,ek-1(x)为当前网络残差。
需要指出的是,在加入第k个隐层节点后,网络残差的下降量可表示为:
S3,在候选隐含层节点池中,将模型残差下降最快所对应的隐含层节点添加到当前模型中。
在候选隐含层节点池中,找到使当前网络残差下降最快的隐层参数作为本次构造的最优参数,并将其送入所选的激活函数中,形成网络的第k个隐层节点。若候选隐含层节点池中没有隐层节点,那就说明没有找到满足条件的隐层节点,那么将改变隐层参数的取值范围,并减轻对隐层参数约束的力度,具体如下:
若在当前的可变对称区间中找不到满足条件的隐层节点(候选隐含层节点池中没有候选隐层节点,那说明使用当前的条件搜不到所需要的隐层节点,则需要对条件进行修改,即:扩大隐层参数的参数选取范围,同时放松对隐层参数的约束尺度),则自适应地调节隐层参数的范围,并相应地调节学习参数r,即:
加大r的数值,来减轻监督机制对隐层参数的约束力度,r=r+τ,τ由(0,1-r)区间内随机产生,并重复步骤S2和S3,直到候选隐含层节点池不为空,找到最优参数;模型的尺寸从Θ1开始增加,将满足监督机制的隐含层节点逐个添加到模型中;需要指出的是r的值越接近于1,就越容易找到满足约束条件的隐层参数。
此时,整个网络的隐含层输出矩阵Hk:
当前网络的残差为:ek=T-Hkβ*;
若当前网络的残差ek达到期望精度ε或者当前网络的尺寸超出预先设置的网络最大尺寸数Lmax,则停止网络模型的构建,建模结束,得到一个基于二维-增量式随机权网络模型。
S5,利用构建的二维-增量式随机权网络模型进行二维图像数据分析,最终优化了图像处理效果。
下面将ORL人脸库来详细阐述本发明的方法。ORL人脸库的详细如下:
ORL人脸数据集包括40个不同人的10幅分辨率均为112×92图像,一共400幅图像。这些图像在拍摄时间、光照条件、面部表情、面部细节等方面具有差异。
首先,在ORL人脸数据集中,随机选取一部分人脸图像作为训练集,剩下的作为测试集;设置二维-增量式随机权网络模型的初始参数;根据模型构建过程中网络残差需逐步减小的特征,建立监督机制,并用于产生一个候选隐含层节点池;在候选隐含层节点池中,将模型残差下降最快所对应的隐含层节点添加到当前模型中;在新的隐含层节点添加完成后,采用全局优化算法来获得整个网络的输出权重。当网络的节点数达到事先设置的隐含层节点数或者网络残差满足期望精度时,结束整个网络的构建过程,最终得到一个基于二维-增量式随机权网络模型;最后,在ORL人脸库测试集上完成模型性能的测试。
参考上述实施例,本发明实施例的基于二维-增量式随机权网络的图像数据分析方法的步骤如下:
第一步:给定二维-增量式随机权网络模型的初始参数,对于每个人的图像,随机选取5幅图像作为训练样本,剩余的5幅作为测试数据集,使用数字1-40来表示人类的类别标签;学习模型的其他参数设置如下:
模型预先定义的最大尺寸为Lmax=50、期望误差ε=0.02、调节因子γ=10、学习参数r=0.9、每个可变区间内隐层参数的生成次数Tmax=200、隐层参数可变对称区间Υ:={1:1:250}、学习模型从隐含层节点数Θ1=1开始构建过程,其中残差为e0=T、将Sigmoid函数选为隐层节点的激活函数。
第二步:在构建模型的第k个隐层节点时,在给定的隐层参数取值区间[-1,1]中,根据事先设置好的随机参数生成次数,产生200组隐层参数(和),并将其代入激活函数,形成相应的隐层节点输出矩阵hk。然后将这200个输出矩阵全部代入不等式约束
并将满足条件的隐层节点放到候选隐含层节点池中进行保存。
第三步:通过max函数找出候选隐含层节点池中最大的ξk,其所对应的隐层参数就是本次构造所需的最优参数,并将其代入激活函数,形成新增隐层节点,同时获得网络第k个隐层节点的输出矩阵当候选隐含层节点池为空时,则需要改变隐层参数的取值区间,同时改变r的数值,来放松监督机制对参数生成的约束,即可变区间变为[-1-Δ,1+Δ],其中Δ=1为步长,r=r+τ,其中,τ∈(0,1-r),然后重复执行第二步和第三步,直至找到最优参数为止。
那么当前网络残差可计算为ek=T-Hkβ*。
当模型包含的隐含层节点数大于等于50或者网络残差小于0.02时,则将终止模型的构建,整个建模过程结束。
将每个人剩余的5幅图作为测试,其运行结果如下:
训练精度为0.99,测试精度为0.965。从上述结果可以看出,本发明所建立的模型具有简单的结构,较小的模型规模,且具有较高的学习能力和泛化性能,这说明了本发明在二维图像建模过程中表现出较好的分类与建模效果。
Claims (5)
1.一种基于二维-增量式随机权网络的图像数据分析方法,其特征在于:包括以下步骤:
S1,获取图像样本集,设置二维-增量式随机权网络模型的初始参数;
S2,根据模型构建过程中网络残差需逐步减小的特征,建立监督机制,并用于产生一个候选隐含层节点池;
S3,在候选隐含层节点池中,将模型残差下降最快所对应的隐含层节点添加到当前模型中;
S4,在新的隐含层节点添加完成后,采用全局优化算法来获得整个网络的输出权重;当网络的节点数达到预先设置的隐含层节点数或者网络残差满足期望精度时,结束整个网络的构建过程,最终得到一个基于二维-增量式随机权网络模型;
S5,利用构建的二维-增量式随机权网络模型进行二维图像数据分析,最终优化了图像处理效果。
2.根据权利要求1所述的基于二维-增量式随机权网络的图像数据分析方法,其特征在于:所述步骤S1包括:
首先给定一组训练输入xi为图像样本集中的第i个输入图像,N为训练样本的数量,d1×d2为图像矩阵;输出为T={t1,t2,...,tN},ti∈Rm,ti为图像样本集中的第i个输出,m为样本输出的个数;
然后对二维-增量式随机权网络模型所涉及到的模型参数进行定义,包括:模型的期望精度ε,预先设定的网络最大尺寸Lmax,隐层参数的取值范围Υ:={λmin:Δλ:λmax},其中[-λmin,λmin]为隐层参数选取的开始范围,Δλ为范围的变化量,[-λmax,λmax]为隐层参数选取的最大范围;每个隐层参数范围所能配置隐层节点的次数Tmax,调节因子γ,学习参数r,将Θ1记为模型的初始尺寸、模型残差记为e0,并令e0等于训练样本的输出T。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111013453.4A CN114494759A (zh) | 2021-08-31 | 2021-08-31 | 一种基于二维-增量式随机权网络的图像数据分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111013453.4A CN114494759A (zh) | 2021-08-31 | 2021-08-31 | 一种基于二维-增量式随机权网络的图像数据分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114494759A true CN114494759A (zh) | 2022-05-13 |
Family
ID=81491652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111013453.4A Pending CN114494759A (zh) | 2021-08-31 | 2021-08-31 | 一种基于二维-增量式随机权网络的图像数据分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114494759A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116958783A (zh) * | 2023-07-24 | 2023-10-27 | 中国矿业大学 | 基于深度残差二维随机配置网络的轻量型图像识别方法 |
-
2021
- 2021-08-31 CN CN202111013453.4A patent/CN114494759A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116958783A (zh) * | 2023-07-24 | 2023-10-27 | 中国矿业大学 | 基于深度残差二维随机配置网络的轻量型图像识别方法 |
CN116958783B (zh) * | 2023-07-24 | 2024-02-27 | 中国矿业大学 | 基于深度残差二维随机配置网络的轻量型图像识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
He et al. | Learning filter pruning criteria for deep convolutional neural networks acceleration | |
KR101899101B1 (ko) | 인공 신경망 기반 예측 모델 생성 장치 및 방법 | |
US10984308B2 (en) | Compression method for deep neural networks with load balance | |
Uykan et al. | Analysis of input-output clustering for determining centers of RBFN | |
CN107729999A (zh) | 考虑矩阵相关性的深度神经网络压缩方法 | |
JP2022501678A (ja) | データ処理方法、装置、コンピュータデバイス、及び記憶媒体 | |
JP2022501677A (ja) | データ処理方法、装置、コンピュータデバイス、及び記憶媒体 | |
Guilin et al. | StacNAS: Towards stable and consistent optimization for differentiable neural architecture search | |
Adcock et al. | Deep neural networks are effective at learning high-dimensional Hilbert-valued functions from limited data | |
JP6950756B2 (ja) | ニューラルネットワークのランク最適化装置および最適化方法 | |
Papadrakakis et al. | Optimization of large-scale 3-D trusses using evolution strategies and neural networks | |
JP2005521167A (ja) | 機械的雑音及び測定誤差の存在下における人為的神経ネットワークモデルの性能の改良 | |
CN113761748B (zh) | 一种基于联邦增量随机配置网络的工业过程软测量方法 | |
CN114494759A (zh) | 一种基于二维-增量式随机权网络的图像数据分析方法 | |
Kiaee et al. | Alternating direction method of multipliers for sparse convolutional neural networks | |
CN114611798A (zh) | 一种基于动态超图卷积神经网络的od客流预测方法 | |
CN113191092A (zh) | 一种基于正交增量随机配置网络的工业过程产品质量软测量方法 | |
CN116363423A (zh) | 面向小样本学习的知识蒸馏方法、装置及存储介质 | |
CN116681104A (zh) | 分布式空间图神经网络的模型建立及实现方法 | |
Mills et al. | L2nas: Learning to optimize neural architectures via continuous-action reinforcement learning | |
KR100639472B1 (ko) | 압전체의 주파수 특성 해석 방법 | |
CN110739030A (zh) | 一种乙烯生产过程小样本的软测量方法 | |
Herron et al. | Icdarts: Improving the stability of cyclic darts | |
CN111931854B (zh) | 一种提高图像识别模型可移植性能的方法 | |
Mittal et al. | Iclr reproducibility challenge report (padam: Closing the generalization gap of adaptive gradient methods in training deep neural networks) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |