CN109558882A - 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置 - Google Patents

基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置 Download PDF

Info

Publication number
CN109558882A
CN109558882A CN201811455651.4A CN201811455651A CN109558882A CN 109558882 A CN109558882 A CN 109558882A CN 201811455651 A CN201811455651 A CN 201811455651A CN 109558882 A CN109558882 A CN 109558882A
Authority
CN
China
Prior art keywords
features
rank
image
projection matrix
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811455651.4A
Other languages
English (en)
Other versions
CN109558882B (zh
Inventor
张召
唐泽民
张莉
王邦军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201811455651.4A priority Critical patent/CN109558882B/zh
Publication of CN109558882A publication Critical patent/CN109558882A/zh
Application granted granted Critical
Publication of CN109558882B publication Critical patent/CN109558882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于鲁棒局部低秩稀疏CNN特征的图像分类方法、装置、设备及计算机可读存储介质。其中，方法包括首先利用一般卷积神经网络提取待分类图像的原始深度特征，利用预先构建的投影矩阵对原始深度特征进行低秩与稀疏特征提取，得到分类识别特征；将分类识别特征输入分类模型中，得到待分类图像的标签；其中，投影矩阵为采用鲁棒的邻域保持的联合低秩与稀疏特征算法学习训练样本集中各样本图像的原始深度特征所得，用于提取具有邻域保持能力的低秩与稀疏特征。本申请提供的技术方案增强了分类特征的鲁棒性，提升了图像特征提取的准确性，显著提升了图像分类的精准度。

Description

基于鲁棒局部低秩稀疏CNN特征的图像分类方法及装置
技术领域
本发明实施例涉及计算机视觉和图像识别技术领域，特别是涉及一种基于鲁棒局部低秩稀疏CNN特征的图像分类方法、装置、设备及计算机可读存储介质。
背景技术
近年来，卷积神经网络(Convolutional Neural Network，CNN)作为一种模仿人脑来处理数据表示和分类任务的计算网络，成功地应用于不同的视觉识别任务，引起了人们的广泛关注。
CNN由交替的卷积层和池化层组成，经过CNN模型处理得到的输出称为特征映射。对于基于CNN模型的图像识别，相似的图像倾向于提供相似的CNN特征，因此由每个主题或类似主题的不同图像构成的CNN特征矩阵应该具有低秩稀疏特性。
当原始数据中包含冗余信息和噪声，由于传统的CNN模型无法处理特征表示过程中去除噪声的任务，导致特征的表示能力和随后的数据分类能力会降低。
发明内容
本公开实施例提供了一种基于鲁棒局部低秩稀疏CNN特征的图像分类方法、装置、设备及计算机可读存储介质，提升了图像特征提取的准确性，显著提升了图像分类的精准度。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种基于鲁棒局部低秩稀疏CNN特征的图像分类方法，包括：
利用卷积神经网络提取待分类图像的原始深度特征；
利用预先构建的投影矩阵对所述原始深度特征进行低秩与稀疏特征提取，得到分类识别特征；
将所述分类识别特征输入分类模型中，得到所述待分类图像的标签；
其中，所述投影矩阵为采用鲁棒的邻域保持的联合低秩与稀疏特征算法学习训练样本集中各样本图像的原始深度特征所得，用于提取具有邻域保持能力的低秩与稀疏特征。
可选的，所述投影矩阵为采用鲁棒的邻域保持的联合低秩与稀疏特征算法学习训练样本集中各样本图像的原始深度特征所得包括：
采用公式(1)计算得到所述投影矩阵：
其中，是截断核范数，为min(n,N)-r个数的奇异值的和；为所述投影矩阵，CNN为样本图像的原始深度特征，E为错误，α、β、λ为调整参数，为重构错误，W为权重矩阵，n为所述投影矩阵的行数，N为所述投影矩阵的列数，r为所述投影矩阵的秩，l为1范式或2范式。
可选的，所述采用下述公式计算得到所述投影矩阵包括：
对公式(1)进行变换得到：
其中，U∑VT为PCNN的奇异值分解，m为奇异向量U的向量维度，V＝(v1，…，vr)∈Rn*n，τ＝(u1，…，ur)T，r为奇异向量V的向量维度，为奇异向量V前r个值；
利用CNN–E替代公式(2)中的CNN，利用公式(3)计算得到具有鲁棒性的特征投影矩阵：
其中，利用CNN–E替代公式(2)中的CNN得到的原始深度特征为具有领域保持的联合低秩与稀疏特征。
可选的，所述利用卷积神经网络提取待分类图像的原始深度特征包括：
将所述待分类图像输入至所述卷积神经网络中；
选取所述卷积神经网络第一层的全连接层输出的特征，作为所述待分类图像的原始深度特征，并将所述原始深度特征转化为列向量。
可选的，所述将所述分类识别特征输入分类模型中，得到所述待分类图像的标签包括：
利用所述投影矩阵对所述训练样本集中的各样本图像的原始深度特征进行低秩与稀疏特征提取，得到各样本图像的样本识别特征；
将各样本识别特征、所述分类识别特征和各样本识别特征对应的标签类别输入所述待分类模型中，得到所述分类识别特征对应的标签，作为所述待分类图像的标签。
本发明实施例另一方面提供了一种基于鲁棒局部低秩稀疏CNN特征的图像分类装置，包括：
投影矩阵构建模块，用于采用鲁棒的邻域保持的联合低秩与稀疏特征算法学习训练样本集中各样本图像的原始深度特征得到投影矩阵，所述投影矩阵用于提取具有邻域保持能力的低秩与稀疏特征；
深度特征提取模块，用于利用卷积神经网络提取待分类图像的原始深度特征；
分类识别特征提取模块，用于利用预先构建的投影矩阵对所述原始深度特征进行低秩与稀疏特征提取，得到分类识别特征；
图像分类模块，用于将所述分类识别特征输入分类模型中，得到所述待分类图像的标签。
可选的，所述投影矩阵构建模块为采用公式(1)计算得到所述投影矩阵的模块：
其中，是截断核范数，为min(n,N)-r个数的奇异值的和；为所述投影矩阵，CNN为样本图像的原始深度特征，E为错误，α、β、λ为调整参数，为重构错误，W为权重矩阵，n为投影矩阵的行数，N为投影矩阵的列数，r为投影矩阵的秩，l为1范式或2范式。
可选的，所述投影矩阵构建模块包括变化子模块和计算子模块；
所述变化子模块用于对公式(1)进行变换得到公式(2)：
其中，U∑VT为PCNN的奇异值分解，m为奇异向量U的向量维度，V＝(v1，…，vr)∈Rn*n，τ＝(u1，…，ur)T，r为奇异向量V的向量维度，为奇异向量V前r个值；
所述计算子模块为利用CNN–E替代公式(2)中的CNN，利用公式(3)计算得到具有鲁棒性的特征投影矩阵的模块：
其中，利用CNN–E替代公式(2)中的CNN得到的原始深度特征为具有领域保持的联合低秩与稀疏特征。
本发明实施例还提供了一种基于鲁棒局部低秩稀疏CNN特征的图像分类设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述基于鲁棒局部低秩稀疏CNN特征的图像分类方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有基于鲁棒局部低秩稀疏CNN特征的图像分类程序，所述基于鲁棒局部低秩稀疏CNN特征的图像分类程序被处理器执行时实现如前任一项所述基于鲁棒局部低秩稀疏CNN特征的图像分类方法的步骤。
本发明实施例提供了一种基于鲁棒局部低秩稀疏CNN特征的图像分类方法，利用卷积神经网络提取待分类图像的原始深度特征；利用预先构建的投影矩阵对原始深度特征进行低秩与稀疏特征提取，得到分类识别特征；将分类识别特征输入分类模型中，得到待分类图像的标签；其中，投影矩阵为采用鲁棒的邻域保持的联合低秩与稀疏特征算法学习训练样本集中各样本图像的原始深度特征所得，用于提取具有邻域保持能力的低秩与稀疏特征。
本申请提供的技术方案的优点在于，运用鲁棒的邻域保持的联合低秩与稀疏特征表示方法，从原始深度特征中提取显著和重要的信息，去除了原始深度特征数据中的包含噪声，提升了特征表示能力和图像分类能力，改善原始深度特征的性能，增强鲁棒性，从而有利于提升后续图像分类的准确度；通过联合低秩与稀疏特征表示学习得到投影矩阵，有效的提高了图像分类的效率，解决了训练样本较少时导致图像分类性能较低的问题；此外，由于分类识别特征还保持邻域或几何结构信息，可进一步显著提升图像分类的精准度；还可推广应用于任何一种深度学习网络框架中，普适性较强。
此外，本发明实施例还针对基于鲁棒局部低秩稀疏CNN特征的图像分类方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于鲁棒局部低秩稀疏CNN特征的图像分类方法的流程示意图；
图2为本发明实施例提供的基于鲁棒局部低秩稀疏CNN特征的图像分类装置的一种具体实施方式结构图；
图3为本发明实施例提供的基于鲁棒局部低秩稀疏CNN特征的图像分类设备的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种基于鲁棒局部低秩稀疏CNN特征的图像分类方法的流程示意图，本发明实施例可包括以下内容：
S101：利用卷积神经网络提取待分类图像的原始深度特征。
卷积神经网络为传统的一般卷积神经网络，也即利用传统的CNN特征提取方法获得待分类图像的原始深度特征。
至于传统的CNN特征提取方法获得待分类图像的原始深度特征的实现过程可参阅相关技术的描述，此处，便不再赘述。
S102：利用预先构建的投影矩阵对原始深度特征进行低秩与稀疏特征提取，得到分类识别特征。
投影矩阵为具有邻域保持能力、用于从原始深度特征中提取低秩与稀疏CNN特征。
投影矩阵可为采用鲁棒的邻域保持的联合低秩与稀疏特征算法学习训练样本集中各样本图像的原始深度特征所得。
S103：将分类识别特征输入分类模型中，得到待分类图像的标签。
分类模型为可实现图像分类的任何一种分类模型，本申请对此不做任何限定，分类模型的训练和分类过程，可参阅相关技术的描述，此处，便不再赘述。
此外，投影矩阵和分类模型的训练样本可为同一个训练样本集。举例来说，利用投影矩阵对训练样本集中的各样本图像的原始深度特征进行低秩与稀疏特征提取，得到各样本图像的样本识别特征，然后将各样本识别特征、分类识别特征和各样本识别特征对应的标签类别输入待分类模型中，得到分类识别特征对应的标签，作为待分类图像的标签。
在本发明实施例提供的技术方案中，运用鲁棒的邻域保持的联合低秩与稀疏特征表示方法，从原始深度特征中提取显著和重要的信息，去除了原始深度特征数据中的包含噪声，提升了特征表示能力和图像分类能力，改善原始深度特征的性能，增强鲁棒性，从而有利于提升后续图像分类的准确度；通过联合低秩与稀疏特征表示学习得到投影矩阵，有效的提高了图像分类的效率；此外，由于分类识别特征还保持邻域或几何结构信息，可进一步显著提升图像分类的精准度；还可推广应用于任何一种深度学习网络框架中，普适性较强。
可选的，在一种具体的实施方式中，在利用传统的卷积神经网络对待分类图像进行特征提取时，可选取靠前的(一般选取第一层)全连接层(格式为1*1*D)输出作为原始深度特征，并将每一张图片输出形式转换成D*1的列向量，这样可以得到关于所有数据的特征矩阵(格式为D*N，N为数据的数量)，从而得到了可用于联合低秩与稀疏的原始深度特征矩阵。
可利用改进的截断核范数最小化为基础的框架，从传统CNN特征中提取出邻域保持的低秩和稀疏特征，同时保持它们之间的邻域关系。目标函数可表述为：
其中，是截断核范数，可将其定义为min(n,N)-r个数的奇异值的和；为所述投影矩阵，CNN为样本图像的原始深度特征，E为错误，α、β、λ为调整参数，为用于保持邻域信息的重构错误，W为根据原始深度特征定义的权重矩阵，n为投影矩阵的行数，N为投影矩阵的列数，r为投影矩阵的秩，l为1范式或2范式。
由于上述函数是非凸的，不容易求解，为了解决这个问题，基于截断核范数||PCNN||r和标准核范数||PCNN||*有以下关系：
其中，是核范数，σi(PCNN)为PCNN前i个最大的奇异值，I是单位矩阵。U∑VT是PCNN的奇异值分解，V＝(v1,...,vr)∈Rn*n，τ＝(u1,...,ur)T。
因此，经过相应的变换，公式(1)可被描述为：
其中，U∑VT为PCNN的奇异值分解，m为奇异向量U的向量维度，V＝(v1，…，vr)∈Rn*n，τ＝(u1，…，ur)T，r为奇异向量V的向量维度，为奇异向量V前r个值；
由于公式(2)仍然是基于原始的CNN特征得到的投影，因此它的性能可能会被包含的噪声削弱。为了解决这个问题，可利用CNN–E替代公式(2)中的CNN，利用公式(3)计算得到具有鲁棒性的特征投影矩阵：
其中，利用CNN–E替代公式(2)中的CNN得到的原始深度特征为具有领域保持的联合低秩与稀疏特征。
在计算过程中，可采用拉格朗日乘子法进行优化和计算。首先将上述凸优化问题转化为如下等价式：
其中，Y1、Y2、Y3、Y4是拉格朗日乘子，μ是一个正参数，||·||F是Frobenius范数。拉格朗日乘子法可通过迭代依次更新变量J、F、E、Q以最小化函数值，具体公式如下：
由于变量J、F、E、Q都是相互依赖的，上述问题无法直接进行求解。可当计算某个变量时固定其他变量，通过迭代地优化如下凸子问题，依次更新变量值完成求解：
该方法中每一步待优化的问题都是一个凸子问题，因此可以得到有效解决。考虑到计算效率问题，可采用Inexact Argument Lagrange Multiplier(Inexact ALM)方法，鲁棒局部低秩与稀疏特征算法可如下所述：
输入：原始训练数据矩阵控制参数α、β、λ。
输出：投影矩阵(P*←Pk+1.)。
初始化：
k＝0,Jk＝0,Fk＝0,Ek＝0,Pk＝0,Qk＝0,Rk＝0,Y1 k＝0,Y2 k＝0,Y3 k＝0,
W＝0，maxμ＝1010,μk＝10-6,η＝1.2,ε＝10-7.
while还未收敛时do
修正其他变量并更新J：
修正其他变量并更新F：
修正其他变量并更新E：
修正其他变量并更新
Pk+1＝(Y1 kQk T-2Y2 kCk T+μ(QkQk T+Jk+1CNN T+FkCNN T))Rk+1；
修正其他变量并更新Q：
更新乘子Y1、Y2、Y3、Y4：
更新参数μk：
μk+1＝min(ημk,maxμ)；
检查是否收敛：
若
则停止；
否则，k＝k+1；
end while
为了验证本申请提供的技术方案具体较好的分类效果，本申请在CIFAR-10和SVHM两个数据库进行了测试。CIFAR-10数据库共有50000个训练样本与10000个测试样本，包含十类；SVHM为街景房号数据集，类似于MNIST，包含73257个训练数据，26032个测试数据，由0～9十类数字构成。这些数据库从多方面收集，因而测试结果具有普遍说明性。
以下两张表为利用本申请技术方案和经典的VGG16、Resnet、Alexnet模型对上述两个数据库进行实验得到的结果对比。由于本公开验证的是当数据量比较小，且数据中可能存在噪音的情况下，优化方法相较于传统的CNN模型是否有性能上的提升，因此实验中仅选取了部分数据进行试验，因此实验精度并不能与大量数据情况下的精度做比较。以下选取的精度是本公开在实验中能够得到的最大性能提升时的情况。在本发明实施例的具体实施过程中，可采用DAC和Softmax两种分类器，带有Noise前缀的表示添加了一定干扰噪声的情况。
表1 Cifar-10数据库中的分类精度比较
表2在SVHN数据库中的分类精度比较
通过两个数据集即Cifar-10和SVHN上的实例实验结果显示，本申请提供的技术方案(上述两表格中第三列中分类识别特征精度)在缺少足够数据且数据中可能带有干扰噪声的情况下，大都可以表现出比传统CNN特征更好的性能，具有一定的优势。
本发明实施例还针对基于鲁棒局部低秩稀疏CNN特征的图像分类方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的基于鲁棒局部低秩稀疏CNN特征的图像分类装置进行介绍，下文描述的基于鲁棒局部低秩稀疏CNN特征的图像分类装置与上文描述的基于鲁棒局部低秩稀疏CNN特征的图像分类方法可相互对应参照。
参见图2，图2为本发明实施例提供的基于鲁棒局部低秩稀疏CNN特征的图像分类装置在一种具体实施方式下的结构图，该装置可包括：
投影矩阵构建模块201，用于采用鲁棒的邻域保持的联合低秩与稀疏特征算法学习训练样本集中各样本图像的原始深度特征得到投影矩阵，投影矩阵用于提取具有邻域保持能力的低秩与稀疏特征。
深度特征提取模块202，用于利用卷积神经网络提取待分类图像的原始深度特征。
分类识别特征提取模块203，用于利用预先构建的投影矩阵对原始深度特征进行低秩与稀疏特征提取，得到分类识别特征。
图像分类模块204，用于将分类识别特征输入分类模型中，得到待分类图像的标签。
可选的，在本实施例的一些实施方式中，所述投影矩阵构建模块201还可为为采用公式(1)计算得到所述投影矩阵的模块：
其中，是截断核范数，为min(n,N)-r个数的奇异值的和；为所述投影矩阵，CNN为样本图像的原始深度特征，E为错误，α、β、λ为调整参数，为重构错误，W为权重矩阵，n为所述投影矩阵的行数，N为所述投影矩阵的列数，r为所述投影矩阵的秩，l为1范式或2范式。
此外，所述投影矩阵构建模块201例如还可包括变化子模块和计算子模块；
所述变化子模块用于对公式(1)进行变换得到公式(2)：
其中，U∑VT为PCNN的奇异值分解，m为奇异向量U的向量维度，V＝(v1，…，vr)∈Rn*n，τ＝(u1，…，ur)T，r为奇异向量V的向量维度，为奇异向量V前r个值；
所述计算子模块为利用CNN–E替代公式(2)中的CNN，利用公式(3)计算得到具有鲁棒性的特征投影矩阵的模块：
其中，利用CNN–E替代公式(2)中的CNN得到的原始深度特征为具有领域保持的联合低秩与稀疏特征。
可选的，在本实施例的另一些实施方式中，所述深度特征提取模块202例如可为将所述待分类图像输入至所述卷积神经网络中；选取所述卷积神经网络第一层的全连接层输出的特征，作为所述待分类图像的原始深度特征，并将所述原始深度特征转化为列向量的模块。
在其他一些实施方式中，所述图像分类模块204例如还可包括：
样本训练集处理模块，用于利用所述投影矩阵对所述训练样本中的各样本图像的原始深度特征进行低秩与稀疏特征提取，得到各样本图像的样本识别特征；
特征识别子模块，用于将各样本识别特征、所述分类识别特征和各样本识别特征对应的标签类别输入所述待分类模型中，得到所述分类识别特征对应的标签，作为所述待分类图像的标签。
本发明实施例所述基于鲁棒局部低秩稀疏CNN特征的图像分类装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例提升了图像特征提取的准确性，显著提升了图像分类的精准度。
本发明实施例还提供了一种基于鲁棒局部低秩稀疏CNN特征的图像分类设备，请参阅图3，基于鲁棒局部低秩稀疏CNN特征的图像分类设备3可包括：
存储器31，用于存储计算机程序；
处理器32，用于执行计算机程序以实现如上任意一实施例所述基于鲁棒局部低秩稀疏CNN特征的图像分类方法的步骤。
本发明实施例所述基于鲁棒局部低秩稀疏CNN特征的图像分类设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例提升了图像特征提取的准确性，显著提升了图像分类的精准度。
本发明实施例还提供了一种计算机可读存储介质，存储有基于鲁棒局部低秩稀疏CNN特征的图像分类程序，所述基于鲁棒局部低秩稀疏CNN特征的图像分类程序被处理器执行时如上任意一实施例所述基于鲁棒局部低秩稀疏CNN特征的图像分类方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例提升了图像特征提取的准确性，显著提升了图像分类的精准度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种基于鲁棒局部低秩稀疏CNN特征的图像分类方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于鲁棒局部低秩稀疏CNN特征的图像分类方法，其特征在于，包括：
利用卷积神经网络提取待分类图像的原始深度特征；
利用预先构建的投影矩阵对所述原始深度特征进行低秩与稀疏特征提取，得到分类识别特征；
将所述分类识别特征输入分类模型中，得到所述待分类图像的标签；
其中，所述投影矩阵为采用鲁棒的邻域保持的联合低秩与稀疏特征算法学习训练样本集中各样本图像的原始深度特征所得，用于提取具有邻域保持能力的低秩与稀疏特征。
2.根据权利要求1所述的基于鲁棒局部低秩稀疏CNN特征的图像分类方法，其特征在于，所述投影矩阵为采用鲁棒的邻域保持的联合低秩与稀疏特征算法学习训练样本集中各样本图像的原始深度特征所得包括：
采用公式(1)计算得到所述投影矩阵：
其中，是截断核范数，为min(n,N)-r个数的奇异值的和；为所述投影矩阵，CNN为样本图像的原始深度特征，E为错误，α、β、λ为调整参数，为重构错误，W为权重矩阵，n为所述投影矩阵的行数，N为所述投影矩阵的列数，r为所述投影矩阵的秩，l为1范式或2范式。
3.根据权利要求2所述的基于鲁棒局部低秩稀疏CNN特征的图像分类方法，其特征在于，所述采用下述公式计算得到所述投影矩阵包括：
对公式(1)进行变换得到：
其中，U∑VT为PCNN的奇异值分解，m为奇异向量U的向量维度，V＝(v1，…，vr)∈Rn*n，τ＝(u1，…，ur)T，r为奇异向量V的向量维度，为奇异向量V前r个值；
利用CNN–E替代公式(2)中的CNN，利用公式(3)计算得到具有邻域保持能力的投影矩阵：
其中，利用CNN–E替代公式(2)中的CNN得到的原始深度特征为具有邻域保持的联合低秩与稀疏特征。
4.根据权利要求2所述的基于鲁棒局部低秩稀疏CNN特征的图像分类方法，其特征在于，所述利用卷积神经网络提取待分类图像的原始深度特征包括：
将所述待分类图像输入至所述卷积神经网络中；
选取所述卷积神经网络第一层的全连接层输出的特征，作为所述待分类图像的原始深度特征，并将所述原始深度特征转化为列向量。
5.根据权利要求4所述的基于鲁棒局部低秩稀疏CNN特征的图像分类方法，其特征在于，所述将所述分类识别特征输入分类模型中，得到所述待分类图像的标签包括：
利用所述投影矩阵对所述训练样本集中的各样本图像的原始深度特征进行低秩与稀疏特征提取，得到各样本图像的样本识别特征；
将各样本识别特征、所述分类识别特征和各样本识别特征对应的标签类别输入所述待分类模型中，得到所述分类识别特征对应的标签，作为所述待分类图像的标签。
6.一种基于鲁棒局部低秩稀疏CNN特征的图像分类装置，其特征在于，包括：
投影矩阵构建模块，用于采用鲁棒的邻域保持的联合低秩与稀疏特征算法学习训练样本集中各样本图像的原始深度特征得到投影矩阵，所述投影矩阵用于提取具有邻域保持能力的低秩与稀疏特征；
深度特征提取模块，用于利用卷积神经网络提取待分类图像的原始深度特征；
分类识别特征提取模块，用于利用预先构建的投影矩阵对所述原始深度特征进行低秩与稀疏特征提取，得到分类识别特征；
图像分类模块，用于将所述分类识别特征输入分类模型中，得到所述待分类图像的标签。
7.根据权利要求6所述的基于鲁棒局部低秩稀疏CNN特征的图像分类装置，其特征在于，所述投影矩阵构建模块为采用公式(1)计算得到所述投影矩阵的模块：
其中，是截断核范数，为min(n,N)-r个数的奇异值的和；为所述投影矩阵，CNN为样本图像的原始深度特征，E为错误，α、β、λ为调整参数，为重构错误，W为权重矩阵，n为所述投影矩阵的行数，N为所述投影矩阵的列数，r为所述投影矩阵的秩，l为1范式或2范式。
8.根据权利要求7所述的基于鲁棒局部低秩稀疏CNN特征的图像分类装置，其特征在于，所述投影矩阵构建模块包括变化子模块和计算子模块；
所述变化子模块用于对公式(1)进行变换得到公式(2)：
其中，U∑VT为PCNN的奇异值分解，m为奇异向量U的向量维度，V＝(v1，…，vr)∈Rn*n，τ＝(u1，…，ur)T，r为奇异向量V的向量维度，为奇异向量V前r个值；
所述计算子模块为利用CNN–E替代公式(2)中的CNN，利用公式(3)计算得到具有鲁棒性的特征投影矩阵的模块：
其中，利用CNN–E替代公式(2)中的CNN得到的原始深度特征为具有领域保持的联合低秩与稀疏特征。
9.一种基于鲁棒局部低秩稀疏CNN特征的图像分类设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述基于鲁棒局部低秩稀疏CNN特征的图像分类方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于鲁棒局部低秩稀疏CNN特征的图像分类程序，所述基于鲁棒局部低秩稀疏CNN特征的图像分类程序被处理器执行时实现如权利要求1至5任一项所述基于鲁棒局部低秩稀疏CNN特征的图像分类方法的步骤。
CN201811455651.4A 2018-11-30 2018-11-30 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置 Active CN109558882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811455651.4A CN109558882B (zh) 2018-11-30 2018-11-30 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811455651.4A CN109558882B (zh) 2018-11-30 2018-11-30 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN109558882A true CN109558882A (zh) 2019-04-02
CN109558882B CN109558882B (zh) 2023-05-05

Family

ID=65868229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811455651.4A Active CN109558882B (zh) 2018-11-30 2018-11-30 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN109558882B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541482A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112651445A (zh) * 2020-12-29 2021-04-13 广州中医药大学(广州中医药研究院) 基于深度网络多模态信息融合的生物信息识别方法和装置
CN117456284A (zh) * 2023-12-21 2024-01-26 中电科新型智慧城市研究院有限公司 图像分类方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469063A (zh) * 2015-12-04 2016-04-06 苏州大学 鲁棒的人脸图像主成分特征提取方法及识别装置
CN105528620A (zh) * 2015-12-11 2016-04-27 苏州大学 一种联合鲁棒主成分特征学习与视觉分类方法及系统
US20170213109A1 (en) * 2014-03-31 2017-07-27 Los Alamos National Security, Llc Classification of multispectral or hyperspectral satellite imagery using clustering of sparse approximations on sparse representations in learned dictionaries obtained using efficient convolutional sparse coding
CN107590505A (zh) * 2017-08-01 2018-01-16 天津大学 联合低秩表示和稀疏回归的学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170213109A1 (en) * 2014-03-31 2017-07-27 Los Alamos National Security, Llc Classification of multispectral or hyperspectral satellite imagery using clustering of sparse approximations on sparse representations in learned dictionaries obtained using efficient convolutional sparse coding
CN105469063A (zh) * 2015-12-04 2016-04-06 苏州大学 鲁棒的人脸图像主成分特征提取方法及识别装置
CN105528620A (zh) * 2015-12-11 2016-04-27 苏州大学 一种联合鲁棒主成分特征学习与视觉分类方法及系统
CN107590505A (zh) * 2017-08-01 2018-01-16 天津大学 联合低秩表示和稀疏回归的学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨国亮等: "基于低秩表示中稀疏误差的可变光照和局部遮挡人脸识别", 《计算机工程与科学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541482A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112541482B (zh) * 2020-12-25 2024-04-02 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112651445A (zh) * 2020-12-29 2021-04-13 广州中医药大学(广州中医药研究院) 基于深度网络多模态信息融合的生物信息识别方法和装置
CN117456284A (zh) * 2023-12-21 2024-01-26 中电科新型智慧城市研究院有限公司 图像分类方法、装置、设备及存储介质
CN117456284B (zh) * 2023-12-21 2024-05-10 中电科新型智慧城市研究院有限公司 图像分类方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109558882B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
US10248664B1 (en) Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
US10867169B2 (en) Character recognition using hierarchical classification
CN109919183B (zh) 一种基于小样本的图像识别方法、装置、设备及存储介质
CN107292352B (zh) 基于卷积神经网络的图像分类方法和装置
CN109558882B (zh) 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置
CN110110800B (zh) 自动图像标注方法、装置、设备及计算机可读存储介质
CN105528620B (zh) 一种联合鲁棒主成分特征学习与视觉分类方法及系统
CN114398961A (zh) 一种基于多模态深度特征融合的视觉问答方法及其模型
CN110222213A (zh) 一种基于异构张量分解的图像分类方法
CN108121962B (zh) 基于非负自适应特征提取的人脸识别方法、装置及设备
CN109726291B (zh) 分类模型的损失函数优化方法、装置及样本分类方法
CN111898703A (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN109063555B (zh) 基于低秩分解和稀疏表示残差对比的多姿态人脸识别方法
CN104794455A (zh) 一种东巴象形文字识别方法
CN110147782A (zh) 一种基于投影字典对学习的人脸识别方法及装置
CN111008302B (zh) 一种利用基于图论的多重交互网络机制解决视频问答问题的方法
Cheung et al. Hybrid evolution of convolutional networks
CN114612681A (zh) 基于gcn的多标签图像分类方法、模型构建方法及装置
CN109858031A (zh) 神经网络模型训练、上下文预测方法及装置
CN114299304A (zh) 一种图像处理方法及相关设备
CN114155560B (zh) 基于空间降维的高分辨率人体姿态估计模型的轻量化方法
CN111768214A (zh) 产品属性的预测方法、系统、设备和存储介质
CN111566665B (zh) 在自然语言处理中应用图像编码识别的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant