CN112308159A - 基于预测增量宽度学习的图像识别分类方法 - Google Patents
基于预测增量宽度学习的图像识别分类方法 Download PDFInfo
- Publication number
- CN112308159A CN112308159A CN202011225539.9A CN202011225539A CN112308159A CN 112308159 A CN112308159 A CN 112308159A CN 202011225539 A CN202011225539 A CN 202011225539A CN 112308159 A CN112308159 A CN 112308159A
- Authority
- CN
- China
- Prior art keywords
- width learning
- enhanced
- nodes
- matrix
- enhanced nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Optimization (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于预测增量宽度学习的图像识别分类方法,包括以下步骤:步骤一:建立宽度学习模型,输入各类节点初始数量,设置识别准确度;步骤二:通过拟合函数计算需要的增强节点数量;步骤三:增加增强节点数量,进行增量宽度学习;步骤四:判断测试识别准确度是否大于设置识别准确度,若否,则返回步骤三;若是,则输出训练结果与识别准确度。本发明将宽度学习的部分实验数据通过最小二乘法拟合,通过部分实验数据拟合得出增强节点数量与识别精度之间的关系,通过设置精度可得出满足精度的合适的增强节点数量,避免了人为设置模型参数的繁琐步骤和设置不合适的模型参数导致的训练时间的增加,具有识别精度高、算法简单的优点。
Description
技术领域
本发明涉及图像识别领域,特别涉及一种基于预测增量宽度学习的图像识别分类方法。
背景技术
随着互联网的不断发展,图片逐渐成为传播信息的主要载体,因此对图像的处理至关重要,图像识别技术作为图像处理中的一个重要部分近年来不断发展。机器学习是现在图像识别技术的主要方法,其通过外界的大量数据进行学习更新参数从而进行识别判断。作为目前机器学习的主流,深度学习在图像处理中取得了良好的处理结果,然而深度学习普遍存在着一个共同的问题,就是需要计算的参数多,训练时间长。
文献“Broad Learning System:An Effective and Efficient IncrementalLearning System Without the Need for Deep Architecture”提出了一种宽度学习系统。宽度学习系统是基于随机向量函数链接神经网络(RVFLNN)和单层前馈神经网络(SLFN)的一种单层增量式神经网络。其相对于深度学习网络层数更少,通过引入增强节点则可在不增加网络纵向深度的前提下增加神经网络模型的非线性拟合能力。这个模型相比于传统的深层网络模型,它在保证一定精度的同时,具有快速、简洁,同时支持增量式的在线模型更新等比较好的性质,其有效地解决了深度学习需要耗费大量时间的问题,同时具有较高的精度。为了提高宽度学习系统识别的准确度需要修改模型中的参数,模型的改变是要通过手动设置各类节点的数量,而通过增加大量增强节点来增加模型的拟合能力又会使增加整个训练时间。
发明内容
为了解决上述技术问题,本发明提供一种算法简单、分类精度高的基于预测增量宽度学习的图像识别分类方法。
本发明解决上述问题的技术方案是:一种基于预测增量宽度学习的图像识别分类方法,其特征在于,包括以下步骤:
步骤一:建立宽度学习模型,输入各类节点初始数量,设置识别准确度;
步骤二:通过拟合函数计算需要的增强节点数量;
步骤三:增加增强节点数量,进行增量宽度学习;
步骤四:判断测试识别准确度是否大于设置识别准确度,若否,则返回步骤三;若是,则输出训练结果与识别准确度。
上述基于预测增量宽度学习的图像识别分类方法,所述步骤一中,宽度学习模型的输入层是由两部分组成,分别是映射节点与增强节点,映射节点记为Z,增强节点记为H,原始输入记为X;映射节点是通过原始输入X经过线性变换与激活函数输出得到,而增强节点是通过映射节点线性变换与激活函数输出得到,其变换公式如式(1)(2)所示
其中W1,β1,W2,β2为自动编码产生的基础上加上稀疏性限制产生而来的数据, W1、W2为随机权重矩阵,β1、β2为随机偏差矩阵,φ为映射节点的激活函数,ξ为增强节点的激活函数,新的输入层即为A=[Z|H],则宽度学习模型表示为Y=AW,Y为输出,权重矩阵W通过岭回归模型的伪逆求得,即利用最小二乘法求解岭回归模型的参数,对W求导,令倒数等于0,求得W的解析解,其中I为M×M的单位矩阵,所以说岭回归就是在矩阵ATA上加一个λI使得矩阵非奇异进而能对ATA+λI求逆,λ为趋于0的一个非负数,其中AT为A矩阵的转置,λ>0,通过确定λ的值使得模型在偏差和方差之间达到平衡,随着λ的增大,模型的方差减小,偏差增大,求得W如(3)所示:
上述基于预测增量宽度学习的图像识别分类方法,所述步骤二中,假设给定拟合函数为f(x;a,b,c...),已知N个测量数据(x1,x2,x3...xN)及其对应结果 (y1,y2,y3...yN),最小二乘法是通过将误差平方和最小化来求取设定函数的待定系数,误差平方和S如式(4)所示:
其中xi表示第i个测量数据,yi表示第i个测量数据的对应结果,i=1,2,3…N;对于线性方程,误差平方和S最小,则必有
通过式(5)得到一个线性方程组,再求解线性方程组算出待定系数a,b,c...;
对于宽度学习,其增强节点的数量与识别准确度之间为非线性关系;若拟合函数为非线性方程,则将非线性方程进行变换转化为线性方程,再应用最小二乘法求得待定系数,最终得到增强节点数量与识别准确度的近似函数,利用近似函数求得设置识别准确度所对应的增强节点数量。
上述基于预测增量宽度学习的图像识别分类方法,所述步骤三中,增量宽度学习是将增加的增强节点合并到原来的输入层中,增强层即为原输入层加上通过增量宽度学习的增强节点,由于输入节点数无法改变,则增强层的增强节点越多,其非线性近似能力就越强;输入层即变为[A|ζ(ZeW3+β3)],其中W3为随机权重矩阵,β3为随机偏差矩阵,Ze为增加的增强节点,W3,β3也同为随机生成并通过稀疏自编码得到。
本发明的有益效果在于:本发明将宽度学习的部分实验数据通过最小二乘法拟合,通过部分实验数据拟合得出增强节点数量与识别精度之间的关系,通过设置精度可得出满足精度的合适的增强节点数量,避免了人为设置模型参数的繁琐步骤和设置不合适的模型参数导致的训练时间的增加,具有识别精度高、算法简单的优点。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明。
如图1所示,一种基于预测增量宽度学习的图像识别分类方法,包括以下步骤:
步骤一:建立宽度学习模型,输入各类节点初始数量,设置识别准确度。
宽度学习模型的输入层是由两部分组成,分别是映射节点与增强节点,映射节点记为Z,增强节点记为H,原始输入记为X;映射节点是通过原始输入X 经过线性变换与激活函数输出得到,而增强节点是通过映射节点线性变换与激活函数输出得到,其变换公式如式(1)(2)所示
其中W1,β1,W2,β2为自动编码产生的基础上加上稀疏性限制产生而来的数据, W1、W2为随机权重矩阵,β1、β2为随机偏差矩阵,φ为映射节点的激活函数,ξ为增强节点的激活函数,新的输入层即为A=[Z|H],则宽度学习模型表示为Y=AW,Y为输出,权重矩阵W通过岭回归模型的伪逆求得,即利用最小二乘法求解岭回归模型的参数,对W求导,令倒数等于0,求得W的解析解,其中I为M×M的单位矩阵,所以说岭回归就是在矩阵ATA上加一个λI使得矩阵非奇异进而能对ATA+λI求逆,λ为趋于0的一个非负数,可以根据需要的方差与偏差进行设置,其中AT为A矩阵的转置,λ>0,通过确定λ的值使得模型在偏差和方差之间达到平衡,随着λ的增大,模型的方差减小,偏差增大,求得W如(3)所示:
步骤二:通过拟合函数计算需要的增强节点数量。
假设给定拟合函数为f(x;a,b,c...),已知N个测量数据(x1,x2,x3...xN)及其对应结果(y1,y2,y3...yN),最小二乘法是通过将误差平方和最小化来求取设定函数的待定系数,误差平方和S如式(4)所示:
其中xi表示第i个测量数据,yi表示第i个测量数据的对应结果,i=1,2,3…N;对于线性方程,误差平方和S最小,则必有
通过式(5)得到一个线性方程组,再求解线性方程组算出待定系数a,b,c...;
对于宽度学习,其增强节点的数量与识别准确度之间为非线性关系;若拟合函数为非线性方程,再应用最小二乘法求得待定系数,最终得到增强节点数量与识别准确度的近似函数,利用近似函数求得设置识别准确度所对应的增强节点数量。
步骤三:增加增强节点数量,进行增量宽度学习。
对于一些情况,当初始的模型拟合能力不够时,可以采用增量宽度学习来提高拟合能力,增量宽度学习是将增加的增强节点合并到原来的输入层中,增强层的增强节点越多,其非线性近似能力就越强;输入层即变为[A|ζ(ZeW3+β3)],其中W3为随机权重矩阵,β3为随机偏差矩阵,Ze为增加的增强节点,W3,β3也同为随机生成并通过稀疏自编码得到。
步骤四:判断测试识别准确度是否大于设置识别准确度,若否,则返回步骤三;若是,则输出训练结果与识别准确度。
实施例
本发明通过使用matlab软件对MNIST,Fashion-MNIST,EMNIST中的Digits 与Letters一共4个数据集进行测试。测试结果如下表1-表4所示:
表1 MNIST
表2 Fashion MNIST
表3 EMNIST Letters
表4EMNIST Digits
对以上4个表格中的数据分析可知,本发明对MNIST与EMNIST Digits有着较强的拟合能力,且实测准确度与设置准确度相差不大,并且有着较快的处理速度。对FashionMNIST与EMNIST Letters的拟合能力一般,且依旧有着较快的处理速度。总体而言,本发明对于以上4个数据集的拟合效果较优,实测准确基本符合设置准确度,且用时较短。
Claims (4)
1.一种基于预测增量宽度学习的图像识别分类方法,其特征在于,包括以下步骤:
步骤一:建立宽度学习模型,输入各类节点初始数量,设置识别准确度;
步骤二:通过拟合函数计算需要的增强节点数量;
步骤三:增加增强节点数量,进行增量宽度学习;
步骤四:判断测试识别准确度是否大于设置识别准确度,若否,则返回步骤三;若是,则输出训练结果与识别准确度。
2.根据权利要求1所述的基于预测增量宽度学习的图像识别分类方法,其特征在于,所述步骤一中,宽度学习模型的输入层是由两部分组成,分别是映射节点与增强节点,映射节点记为Z,增强节点记为H,原始输入记为X;映射节点是通过原始输入X经过线性变换与激活函数输出得到,而增强节点是通过映射节点线性变换与激活函数输出得到,其变换公式如式(1)(2)所示
其中W1,β1,W2,β2为自动编码产生的基础上加上稀疏性限制产生而来的数据,W1、W2为随机权重矩阵,β1、β2为随机偏差矩阵,φ为映射节点的激活函数,ξ为增强节点的激活函数,新的输入层即为A=[Z|H],则宽度学习模型表示为Y=AW,Y为输出,权重矩阵W通过岭回归模型的伪逆求得,即利用最小二乘法求解岭回归模型的参数,对W求导,令倒数等于0,求得W的解析解,其中I为M×M的单位矩阵,所以说岭回归就是在矩阵ATA上加一个λI使得矩阵非奇异进而能对ATA+λI求逆,λ为趋于0的一个非负数,其中AT为A矩阵的转置,λ>0,通过确定λ的值使得模型在偏差和方差之间达到平衡,随着λ的增大,模型的方差减小,偏差增大,求得W如(3)所示:
3.根据权利要求2所述的基于预测增量宽度学习的图像识别分类方法,其特征在于,所述步骤二中,假设给定拟合函数为f(x;a,b,c...),已知N个测量数据(x1,x2,x3...xN)及其对应结果(y1,y2,y3...yN),最小二乘法是通过将误差平方和最小化来求取设定函数的待定系数,误差平方和S如式(4)所示:
其中xi表示第i个测量数据,yi表示第i个测量数据的对应结果,i=1,2,3…N;
对于线性方程,误差平方和S最小,则必有
通过式(5)得到一个线性方程组,再求解线性方程组算出待定系数a,b,c...;
对于宽度学习,其增强节点的数量与识别准确度之间为非线性关系;若拟合函数为非线性方程,则将非线性方程进行变换转化为线性方程,再应用最小二乘法求得待定系数,最终得到增强节点数量与识别准确度的近似函数,利用近似函数求得设置识别准确度所对应的增强节点数量。
4.根据权利要求2所述的基于预测增量宽度学习的图像识别分类方法,其特征在于,所述步骤三中,增量宽度学习是将增加的增强节点合并到原来的输入层中,增强层即为原输入层加上通过增量宽度学习的增强节点,由于输入节点数无法改变,则增强层的增强节点越多,其非线性近似能力就越强;输入层即变为[A|ζ(ZeW3+β3)],其中W3为随机权重矩阵,β3为随机偏差矩阵,Ze为增加的增强节点,W3,β3也同为随机生成并通过稀疏自编码得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011225539.9A CN112308159B (zh) | 2020-11-05 | 2020-11-05 | 基于预测增量宽度学习的图像识别分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011225539.9A CN112308159B (zh) | 2020-11-05 | 2020-11-05 | 基于预测增量宽度学习的图像识别分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112308159A true CN112308159A (zh) | 2021-02-02 |
CN112308159B CN112308159B (zh) | 2023-04-07 |
Family
ID=74326366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011225539.9A Active CN112308159B (zh) | 2020-11-05 | 2020-11-05 | 基于预测增量宽度学习的图像识别分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112308159B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802011A (zh) * | 2021-02-25 | 2021-05-14 | 上海电机学院 | 一种基于vgg-bls的风机叶片缺陷检测方法 |
CN113591653A (zh) * | 2021-07-22 | 2021-11-02 | 中南大学 | 一种基于宽度学习系统的增量式锌浮选工况判别方法 |
CN113657479A (zh) * | 2021-08-12 | 2021-11-16 | 广东省人民医院 | 一种新型多尺度深宽结合的病理图片分类方法、系统及介质 |
CN114611691A (zh) * | 2022-03-11 | 2022-06-10 | 华南理工大学 | 一种基于精度的宽度学习动态节点调整方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537227A (zh) * | 2018-03-21 | 2018-09-14 | 华中科技大学 | 一种基于宽度学习和广角显微图像的商品离线鉴伪方法 |
CN109522838A (zh) * | 2018-11-09 | 2019-03-26 | 大连海事大学 | 一种基于宽度学习的安全帽图像识别算法 |
CN110146812A (zh) * | 2019-05-15 | 2019-08-20 | 吉林大学珠海学院 | 一种基于特征节点增量式宽度学习的电机故障诊断方法 |
CN110288088A (zh) * | 2019-06-28 | 2019-09-27 | 中国民航大学 | 基于流形正则化和宽度网络的半监督宽度学习分类方法 |
CN111444759A (zh) * | 2020-02-06 | 2020-07-24 | 安信通科技(澳门)有限公司 | 一种基于宽度学习算法的手写体识别方法及系统 |
CN111709523A (zh) * | 2020-06-19 | 2020-09-25 | 中国矿业大学 | 一种基于内部集成的宽度学习方法 |
-
2020
- 2020-11-05 CN CN202011225539.9A patent/CN112308159B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537227A (zh) * | 2018-03-21 | 2018-09-14 | 华中科技大学 | 一种基于宽度学习和广角显微图像的商品离线鉴伪方法 |
CN109522838A (zh) * | 2018-11-09 | 2019-03-26 | 大连海事大学 | 一种基于宽度学习的安全帽图像识别算法 |
CN110146812A (zh) * | 2019-05-15 | 2019-08-20 | 吉林大学珠海学院 | 一种基于特征节点增量式宽度学习的电机故障诊断方法 |
CN110288088A (zh) * | 2019-06-28 | 2019-09-27 | 中国民航大学 | 基于流形正则化和宽度网络的半监督宽度学习分类方法 |
CN111444759A (zh) * | 2020-02-06 | 2020-07-24 | 安信通科技(澳门)有限公司 | 一种基于宽度学习算法的手写体识别方法及系统 |
CN111709523A (zh) * | 2020-06-19 | 2020-09-25 | 中国矿业大学 | 一种基于内部集成的宽度学习方法 |
Non-Patent Citations (2)
Title |
---|
JIANCHAO FAN等: "Incremental Wishart Broad Learning System for Fast PolSAR Image Classification" * |
李国强;徐立庄;: "局部感受野的宽度学习算法及其应用" * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802011A (zh) * | 2021-02-25 | 2021-05-14 | 上海电机学院 | 一种基于vgg-bls的风机叶片缺陷检测方法 |
CN113591653A (zh) * | 2021-07-22 | 2021-11-02 | 中南大学 | 一种基于宽度学习系统的增量式锌浮选工况判别方法 |
CN113657479A (zh) * | 2021-08-12 | 2021-11-16 | 广东省人民医院 | 一种新型多尺度深宽结合的病理图片分类方法、系统及介质 |
CN113657479B (zh) * | 2021-08-12 | 2022-12-06 | 广东省人民医院 | 一种新型多尺度深宽结合的病理图片分类方法、系统及介质 |
CN114611691A (zh) * | 2022-03-11 | 2022-06-10 | 华南理工大学 | 一种基于精度的宽度学习动态节点调整方法 |
CN114611691B (zh) * | 2022-03-11 | 2024-05-14 | 华南理工大学 | 一种基于精度的宽度学习动态节点调整方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112308159B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112308159B (zh) | 基于预测增量宽度学习的图像识别分类方法 | |
CN110111297B (zh) | 一种基于迁移学习的注塑制品表面图像缺陷识别方法 | |
CN109582956B (zh) | 应用于句子嵌入的文本表示方法和装置 | |
Menzel | Large matching markets as two‐sided demand systems | |
Wang et al. | An approach to increase prediction precision of GM (1, 1) model based on optimization of the initial condition | |
Torra et al. | Regression for ordinal variables without underlying continuous variables | |
CN110046228B (zh) | 短文本主题识别方法和系统 | |
CN104239982A (zh) | 一种基于时间序列和神经网络的建筑节假日能耗预测方法 | |
CN111243045A (zh) | 一种基于高斯混合模型先验变分自编码器的图像生成方法 | |
CN107562787B (zh) | 一种poi编码方法及装置、poi推荐方法,电子设备 | |
CN113343091A (zh) | 面向产业和企业的科技服务推荐计算方法、介质及程序 | |
CN110046353A (zh) | 一种基于多语言层次机制的方面级情感分析方法 | |
CN113886550A (zh) | 基于注意力机制的问答匹配方法、装置、设备及存储介质 | |
CN113129053B (zh) | 信息推荐模型训练方法、信息推荐方法及存储介质 | |
Chen et al. | Bayesian inference for finite population quantiles from unequal probability samples | |
CN106569954A (zh) | 一种基于kl散度的多源软件缺陷预测方法 | |
Byerly et al. | The current state of the art in deep learning for image classification: a review | |
CN106227767A (zh) | 一种基于领域相关性自适应的协同过滤方法 | |
Wang et al. | Adaptive LASSO for varying-coefficient partially linear measurement error models | |
CN114116995B (zh) | 基于增强图神经网络的会话推荐方法、系统及介质 | |
CN117494780A (zh) | 一种混合学习中知识蒸馏的学生网络训练方法 | |
Guan et al. | Ship roll motion prediction based on ℓ 1 regularized extreme learning machine | |
CN116188896A (zh) | 基于动态半监督深度学习的图像分类方法、系统及设备 | |
CN116206337A (zh) | 基于贝叶斯参数更新及权重记忆的正则化持续学习方法 | |
CN115758145A (zh) | 模型训练方法、文本识别方法、电子设备及可读存储装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |