CN111062409A - 一种无监督图像特征的提取及分类方法 - Google Patents
一种无监督图像特征的提取及分类方法 Download PDFInfo
- Publication number
- CN111062409A CN111062409A CN201911048391.3A CN201911048391A CN111062409A CN 111062409 A CN111062409 A CN 111062409A CN 201911048391 A CN201911048391 A CN 201911048391A CN 111062409 A CN111062409 A CN 111062409A
- Authority
- CN
- China
- Prior art keywords
- hidden layer
- classification
- matrix
- image feature
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 10
- 210000002569 neuron Anatomy 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 54
- 238000013135 deep learning Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无监督图像特征的提取及分类方法,其包括以下步骤:A:建立具有三个隐藏层的串行栈式自编码器网络,将图像原始数据进行降维后输入所述自编码器网络;B:预训练网络得到权重矩阵W和偏置b;采用贪婪算法训练第一个隐藏层后更新权重矩阵W和偏置b,得到第一隐藏层特征矩阵,输入第一隐藏层特征矩阵,采用贪婪算法训练第二隐藏层后再次更新权重矩阵W和偏置b,得到第二隐藏层特征矩阵;C:根据分类精度加权融合第一隐藏层特征矩阵和第二隐藏层特征矩阵的特征得到混阶特征矩阵H;D:混阶特征矩阵H通过SVM分类器进行分类,得到分类结果;E:通过比对,得到分类精度A。本发明具有缓解高维图像的“维数灾难”问题和识别精度高的优点。
Description
技术领域
本发明涉及一种无监督图像特征的提取及分类方法。
背景技术
图像处理与分类识别是深度学习领域的一个重要方向。近年来,随着深度学习的发展,深度学习所取得了举世瞩目的成绩。然而,现实中很多图像都具有较高的像素,比如数码相机、手机或者高清监控拍摄的图像像素都很高,原始图像高达几千万维,直接将原始的几千万维的图像数据转成向量输入到网络,因涉及到向量的计算问题,随着向量维数的增加,计算量呈指数倍增长,这种处理方式会有“维数灾难”的问题。
目前,对深度学习样本的研究主要还是基于对深度学习模型的改进、样本特征的提取和卷积网络的改进。传统用的方法针对如何减少深度学习的数据训练样本成本并且保证深度学习效果的研究,要么是对训练样本进行特征标注提取,要么对学习过程进行方法改进。这些研究都带来了成本的增加,并且样本数量并不能够有非常显著的减少。在深度学习中,训练数据越多,训练效果越好,需要用来学习的训练样本量很大,但是有时无法提供成代变迁的数据图片用来学习,标记训练数据不足或高成本成为制约深度学习的一大瓶颈。目前在机器学习领域主要有监督学习、无监督学习和半监督学习三大类,其中监督学习和半监督学习处理图像需要图像携带标签信息,通过图像和标签信息,达到图像的识别分类,传统的监督学习及半监督学习学习依赖于大量带标签数据作为样本进行训练,而大量带标签数据的采集成本非常高,因此对无标签图像的处理是监督学习和半监督学习面临的一大难题。
发明内容
本发明的目的在于克服现有技术之不足提供一种无监督图像特征的提取及分类方法。
本发明解决其技术问题所采用的技术方案是:
一种无监督图像特征的提取及分类方法,其包括以下步骤:
A:建立具有隐藏层的串行栈式自编码器网络,将图像原始数据进行降维后输入所述自编码器网络;
B:预训练网络得到权重矩阵W和偏置b,采用贪婪算法训练第一个隐藏层后更新权重矩阵W和偏置b,得到第一隐藏层特征矩阵,输入第一隐藏层特征矩阵,采用贪婪算法训练第二个隐藏层后再次更新权重矩阵W和偏置b,得到第二隐藏层特征矩阵;
C:计算第一隐藏层和第二隐藏层各自的分类精度Ypq,其中,Ypq表示第q隐藏层的第p次的分类精度,q∈{1,2},p∈N+,根据分类精度的不同赋予第一隐藏层和第二隐藏层相应的权重,加权融合第一隐藏层特征矩阵和第二隐藏层特征矩阵的特征得到混阶特征矩阵H;
D:混阶特征矩阵H通过SVM分类器进行分类,得到分类结果;
E:通过将分类结果与图像原始数据的图像标签进行比对,得到分类精度A。
在另一较佳实施例中,步骤A中,所述自编码器是稀疏自编码器。
在另一较佳实施例中,步骤B中,还包括微调所述自编码器网络。
在另一较佳实施例中,步骤E中,还得到分类所用时间。
本发明的有益效果是:
1、采用无监督的方法实现图像特征提取,解决无标签图像的特征提取问题,对多个层次的特征根据分类精度进行特征的加权融合得到混阶特征矩阵,通过融合混阶特征矩阵以保留低阶和高阶图像特征,从而提高识别精度。
2、采用稀疏自编码器使得编码器具有更强的适应性,去掉数据的冗余信息,降低数据复杂度。
3、微调所述自编码器网络使整个网络接近整体最优。
4、采用梯度下降法对所述权重矩阵W和所述偏置b进行更新,促进收敛。
5、通过混阶特征矩阵保留低阶和高阶图像特征,从而提高识别精度。
6、获取分类所用时间方便调试比对。
7、通过对分类精度进行标准化处理提高求解速度。
以下结合附图及实施例对本发明作进一步详细说明;但本发明的一种无监督图像特征的提取及分类方法不局限于实施例。
附图说明
图1是本发明一较佳实施例的流程图;
图2是本发明一较佳实施例的工作流程图;
图3是本发明一较佳实施例的可视化第一层编码权重矩阵;
图4是本发明一较佳实施例的可视化第二层编码权重矩阵;
图5是本发明一较佳实施例采用MNIST数据集下的tSNE、SPE、DMP、LIP、LLE、PCA和MOSSAE算法的分类精度对比折线图;
图6是本发明一较佳实施例采用cifar-10数据集下的tSNE、SPE、DMP、LIP、LLE、PCA和MOSSAE算法的分类精度对比折线图;
图7是本发明一较佳实施例采用USPS数据集下的tSNE、SPE、DMP、LIP、LLE、PCA和MOSSAE算法的分类精度对比折线图;
图8是本发明一较佳实施例采用SVHN数据集下的tSNE、SPE、DMP、LIP、LLE、PCA和MOSSAE算法的分类精度对比折线图;
图9是本发明一较佳实施例采用MNIST数据集下的SAE、SSAE和MOSSAE算法的分类精度对比折线图;
图10是本发明一较佳实施例采用cifar-10数据集下SAE、SSAE和MOSSAE算法的分类精度对比折线图。
具体实施方式
实施例,参见图1至图4所示,一种无监督图像特征的提取及分类方法,其包括以下步骤:
A:建立具有三个隐藏层的串行栈式稀疏自编码器网络,将图像原始数据进行降维后输入所述稀疏自编码器网络,所述稀疏自编码器的代价函数为其中为稀疏惩罚项,β为稀疏惩罚项的权重系数,S2是隐藏层中隐藏神经元的数量,而j依次代表隐藏层中的每一个神经元,隐藏层神经元j的激活度ρ为稀疏性参数;
B:预训练网络得到权重矩阵W和偏置b,所述预训练的目标是最小化代价函数以使得权重矩阵W和偏置b接近最优值,采用贪婪算法训练第一个隐藏层后更新权重矩阵W和偏置b,得到第一隐藏层特征矩阵,输入第一隐藏层特征矩阵,采用贪婪算法训练第二个隐藏层后再次更新权重矩阵W和偏置b,得到第二隐藏层特征矩阵,采用梯度下降法对所述权重矩阵W和所述偏置b进行更新,所述权重矩阵W更新过程为所述偏置b更新过程为微调所述自编码器网络使整个网络接近整体最优;
C:计算第一隐藏层和第二隐藏层各自的分类精度Ypq,其中,Ypq表示第q隐藏层的第p次的分类精度,q∈{1,2},p∈N+,对Ypq进行标准化得到ypq,根据分类精度的不同赋予第一隐藏层和第二隐藏层相应的权重加权融合第一隐藏层特征矩阵和第二隐藏层特征矩阵的特征得到混阶特征矩阵H;其中,常数k=2,E(Ypq)为信息熵,其中,其中,n=2表示融合的特征层数为两层,求解混阶特征矩阵其中,表示对特征进行融合,hq=hq-1*Wq表示第q层隐藏层的图像特征,当q=1时,h0=X1,Xq是输入的图像特征,Wq是对应的权重矩阵;
D:混阶特征矩阵H通过SVM分类器进行分类,得到分类结果及分类所用时间;
E:通过将分类结果与图像原始数据的图像标签进行比对,得到分类精度A。
本实施例的一种无监督图像特征的提取及分类方法的伪代码:
算法:一种无监督图像特征的提取及分类方法,即MOSSAE算法;
输入:图像原始数据,降维维度d,学习率α;
输出:混阶特征矩阵H及其图像的分类精度A;
1、预训练网络得到权重矩阵W和偏置b;
2、训练第一层;
3、for epoch=1:k;
4、计算样本损失;
5、用梯度下降法更新权重矩阵W′和偏置b′;
6、end for;
7、得到隐藏层特征矩阵;
8、训练第二层,输入为上一层的特征矩阵;
9、重复步骤3至步骤7,至所有层训练完毕,微调整个网络;
10:采用类信息熵的方法对低阶特征和高阶特征进行权重赋值;
11、融合一阶特征和二阶特征得到混阶特征矩阵H;
12、利用H和SVM分类器得到图像分类结果;
13、使用图像标签及分类结果比对得到分类精度;
返回:混阶特征矩阵H,分类结果,分类精度A。
本实施例采用MNIST、cifar-10、USPS和SVHN 4个公开的数据集来进行验证,数据集的描述如表1所示:
表1数据集描述
对MNIST数据集采用自编码网络的第一隐藏层特征分类和第二隐藏层特征分类得到的分类精度如表2所示:
表2不同隐藏层特征在MNIST数据集上的分类精度
表3对表2数据进行标准化后的数据
计算P(Ypq)如表4所示:
表4各分类精度的P(Ypq)
第一隐藏层各分类精度的P(Y<sub>p1</sub>) | 第二隐藏层各分类精度的P(Y<sub>p2</sub>) | |
第1次 | 0.06 | 0.00 |
第2次 | 0.00 | 0.13 |
第3次 | 0.12 | 0.17 |
第4次 | 0.06 | 0.09 |
第5次 | 0.06 | 0.13 |
第6次 | 0.06 | 0.00 |
第7次 | 0.00 | 0.04 |
第8次 | 0.18 | 0.00 |
第9次 | 0.24 | 0.13 |
第10次 | 0.12 | 0.22 |
第11次 | 0.12 | 0.09 |
通过表4计算第一隐藏层和第二隐藏层的信息熵如下:
E(Yp1)=0.86,E(Yp2)=0.83。
再计算第一隐藏层和第二隐藏层特征权重如下:
ω1=0.45,ω2=0.55。
参见图5至图8所示,本实施例的MOSSAE算法在特征提取之后,图像分类精度上都要高于现有的tSNE、SPE、DMP、LIP、LLE和PCA算法。
参见图9和图10所示,本实施例的MOSSAE算法在特征提取之后,图像分类精度上都要高于现有的单层的SAE和双层的SSAE算法,原因在于MOSSAE算法把多层的特征进行了融合,即对特征进行融合的分类效果要优于特征未融合的算法。
直接分类与降维后分类所用时间对比参见表5所示:
表5直接分类与降维后分类所用时间对比(秒)
可见,多数情况下本实施例的MOSSAE算法降维后分类比直接分类所用时间短,进一步表明本实施例的算法能有效提高分类效率。
非线性降维算法的网络训练时间对比参见表6所示:
表6非线性降维算法的网络训练时间对比(秒)
可见,本实施例的MOSSAE算法的网络训练所用的时间多数情况下要比其他算法所用的时间要短。
上述实施例仅用来进一步说明本发明的一种无监督图像特征的提取及分类方法,但本发明并不局限于实施例,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均落入本发明技术方案的保护范围内。
Claims (9)
1.一种无监督图像特征的提取及分类方法,其特征在于:其包括以下步骤:
A:建立具有隐藏层的串行栈式自编码器网络,将图像原始数据进行降维后输入所述自编码器网络;
B:预训练网络得到权重矩阵W和偏置b,采用贪婪算法训练第一个隐藏层后更新权重矩阵W和偏置b,得到第一隐藏层特征矩阵,输入第一隐藏层特征矩阵,采用贪婪算法训练第二个隐藏层后再次更新权重矩阵W和偏置b,得到第二隐藏层特征矩阵;
C:计算第一隐藏层和第二隐藏层各自的分类精度Ypq,其中,Ypq表示第q隐藏层的第p次的分类精度,q∈{1,2},p∈N+,根据分类精度的不同赋予第一隐藏层和第二隐藏层相应的权重,加权融合第一隐藏层特征矩阵和第二隐藏层特征矩阵的特征得到混阶特征矩阵H;
D:混阶特征矩阵H通过SVM分类器进行分类,得到分类结果;
E:通过将分类结果与图像原始数据的图像标签进行比对,得到分类精度A。
2.根据权利要求1所述的一种无监督图像特征的提取及分类方法,其特征在于:步骤A中,所述自编码器是稀疏自编码器。
4.根据权利要求1所述的一种无监督图像特征的提取及分类方法,其特征在于:步骤B中,还包括微调所述自编码器网络。
9.根据权利要求1所述的一种无监督图像特征的提取及分类方法,其特征在于:步骤E中,还得到分类所用时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911048391.3A CN111062409A (zh) | 2019-10-30 | 2019-10-30 | 一种无监督图像特征的提取及分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911048391.3A CN111062409A (zh) | 2019-10-30 | 2019-10-30 | 一种无监督图像特征的提取及分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111062409A true CN111062409A (zh) | 2020-04-24 |
Family
ID=70298547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911048391.3A Pending CN111062409A (zh) | 2019-10-30 | 2019-10-30 | 一种无监督图像特征的提取及分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111062409A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598476A (zh) * | 2020-05-22 | 2020-08-28 | 济源职业技术学院 | 一种基于稀疏自编码与svm的智慧城市环卫资源调度系统 |
CN113344069A (zh) * | 2021-05-31 | 2021-09-03 | 成都快眼科技有限公司 | 一种基于多维关系对齐的无监督视觉表征学习的图像分类方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778921A (zh) * | 2017-02-15 | 2017-05-31 | 张烜 | 基于深度学习编码模型的人员再识别方法 |
CN109285551A (zh) * | 2018-09-18 | 2019-01-29 | 上海海事大学 | 基于wmfcc和dnn的帕金森患者声纹识别方法 |
CN110188774A (zh) * | 2019-05-27 | 2019-08-30 | 昆明理工大学 | 一种基于深度学习的电涡流扫描图像分类识别方法 |
-
2019
- 2019-10-30 CN CN201911048391.3A patent/CN111062409A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778921A (zh) * | 2017-02-15 | 2017-05-31 | 张烜 | 基于深度学习编码模型的人员再识别方法 |
CN109285551A (zh) * | 2018-09-18 | 2019-01-29 | 上海海事大学 | 基于wmfcc和dnn的帕金森患者声纹识别方法 |
CN110188774A (zh) * | 2019-05-27 | 2019-08-30 | 昆明理工大学 | 一种基于深度学习的电涡流扫描图像分类识别方法 |
Non-Patent Citations (1)
Title |
---|
杨东海 等: "无监督混阶栈式稀疏自编码器的图像分类学习" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598476A (zh) * | 2020-05-22 | 2020-08-28 | 济源职业技术学院 | 一种基于稀疏自编码与svm的智慧城市环卫资源调度系统 |
CN113344069A (zh) * | 2021-05-31 | 2021-09-03 | 成都快眼科技有限公司 | 一种基于多维关系对齐的无监督视觉表征学习的图像分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10296846B2 (en) | Adapted domain specific class means classifier | |
CN107480261B (zh) | 一种基于深度学习细粒度人脸图像快速检索方法 | |
CN105184303B (zh) | 一种基于多模态深度学习的图像标注方法 | |
Kouw et al. | Feature-level domain adaptation | |
US20170161633A1 (en) | Transductive adaptation of classifiers without source data | |
WO2019237240A1 (zh) | 一种增强型生成式对抗网络以及目标样本识别方法 | |
US20240095501A1 (en) | Multi-modal adaptive fusion deep clustering model and method based on auto-encoder | |
US20180024968A1 (en) | System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization | |
CN109063719B (zh) | 一种联合结构相似性和类信息的图像分类方法 | |
CN111046900A (zh) | 基于局部流形正则化的半监督生成对抗网络图像分类方法 | |
CN111126488A (zh) | 一种基于双重注意力的图像识别方法 | |
CN113222041A (zh) | 图结构表征的高阶关联发现细粒度图像识别方法及装置 | |
CN112199536A (zh) | 一种基于跨模态的快速多标签图像分类方法和系统 | |
Cohen et al. | DNN or k-NN: That is the Generalize vs. Memorize Question | |
CN115937655B (zh) | 多阶特征交互的目标检测模型及其构建方法、装置及应用 | |
CN112749274B (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
CN110188827A (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
CN114386534A (zh) | 一种基于变分自编码器和对抗生成网络的图像增广模型训练方法及图像分类方法 | |
Abdul-Rashid et al. | Shrec’18 track: 2d image-based 3d scene retrieval | |
CN112115806B (zh) | 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法 | |
CN111062409A (zh) | 一种无监督图像特征的提取及分类方法 | |
CN114092283A (zh) | 一种基于知识图谱匹配的法律案例相似度计算方法及系统 | |
CN114359930A (zh) | 基于融合相似度的深度跨模态哈希方法 | |
CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
CN114780767A (zh) | 一种基于深度卷积神经网络的大规模图像检索方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200424 |
|
RJ01 | Rejection of invention patent application after publication |