CN106529601A - 基于稀疏子空间多任务学习的图像分类预测方法 - Google Patents
基于稀疏子空间多任务学习的图像分类预测方法 Download PDFInfo
- Publication number
- CN106529601A CN106529601A CN201611030667.1A CN201611030667A CN106529601A CN 106529601 A CN106529601 A CN 106529601A CN 201611030667 A CN201611030667 A CN 201611030667A CN 106529601 A CN106529601 A CN 106529601A
- Authority
- CN
- China
- Prior art keywords
- sparse
- subspace
- sparse subspace
- task
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000007635 classification algorithm Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 2
- 238000013145 classification model Methods 0.000 abstract 2
- 238000007418 data mining Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- JTJMJGYZQZDUJJ-UHFFFAOYSA-N phencyclidine Chemical compound C1CCCCN1C1(C=2C=CC=CC=2)CCCCC1 JTJMJGYZQZDUJJ-UHFFFAOYSA-N 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据挖掘技术领域，提出一种基于稀疏子空间多任务学习的图像分类预测方法，包括：步骤一：根据对训练图像集提取的异构视觉特征构建特征数据；步骤二：基于任务的相关性和异构视觉特征的结构性，根据特征数据的训练数据集建立稀疏子空间的多任务分类算法的目标函数；步骤三：基于稀疏子空间的多任务分类算法的目标函数，采用迭代优化算法进行求解，生成稀疏子空间多任务分类模型；步骤四：采用稀疏子空间多任务分类模型对图像测试图像集进行分类预测。本发明结合子空间相关性和稀疏机制建立多任务学习机制，改善分类器的泛化性能，提高了图像分类的泛化性能。
Description
技术领域
本发明涉及图像分类技术领域，特别涉及基于稀疏子空间多任务学习的图像分类预测方法。
背景技术
随着互联网通讯技术与数字影像技术的快速发展，人们获得各种图像信息越来越容易，导致互联网中存在大量的图像数据，如何从大规模的图像数据中准确找到符合用户需求的相关图像一直是计算机视觉领域的研究热点和挑战。
现实世界中的样本往往和多个类别相关联，例如，一幅图片可以同时被标注为“sea”，“sky”，“beach”等标签，这就需将样本同时归到多个类，这就是多标注分类问题。解决多标注分类问题一种常用的方法是对每个标注构造一个二元分类器，具有此标注的样本为正样例其余样本为负样例，这种方法已经被广泛应用于多种分类问题中，但该方法存在如下的问题：
1)相比于传统的单标签分类，多标签分类问题则是一种更加复杂的分类问题，传统分类方法没有考虑不同标签之间语义关联性；
2)图像存在多种异构特征，在表示特定高层语义时所起作用的重要程度不同，传统分类方法没有很好的对异构特征进行有效融合。
发明内容
为了克服这一传统方法未能考虑不同标签之间语义关联性的不足，本发明提供一种基于稀疏子空间多任务学习的图像分类预测方法，包括：
步骤一：根据对训练图像集提取的异构视觉特征构建特征数据；
步骤二：基于任务的相关性和异构视觉特征的结构性，根据特征数据的训练数据集建立稀疏子空间的多任务分类算法的目标函数；
步骤三：基于稀疏子空间的多任务分类算法的目标函数，采用迭代优化算法进行求解，生成稀疏子空间多任务分类模型；
步骤四：采用稀疏子空间多任务分类模型对图像测试集进行分类预测。
进一步地，所述异构视觉特征至少包括颜色、纹理和形状。
进一步地，步骤二中包括：
对异构特征的融合引入组稀疏正则化其中G是异构特征子集的个数，u是分类模型的权重向量；
结合子空间相关性和稀疏机制建立多任务学习模型，构成最终的目标函数：
其中U和V为权重向量，Q是共享子空间。
进一步地，所述步骤三中分别对变量V、Q和W进行迭代优化，获得稳定最优解，即生成稀疏子空间多任务分类模型。
本发明利用多任务学习的思想来改善分类器的泛化性能，结合子空间相关性和稀疏机制建立多任务学习机制对图像进行分类，提高了分类器的泛化性能。具体地，一方面利用多个任务在潜在子空间的相关性建立分类模型，另一方面为了更加有效地利用图像的异构特征，在基于子空间的多任务学习中引入了一种基于组稀疏(group sparsity)结构，进而提出了稀疏子空间多任务学习的分类算法。最后，提出了一种有效的迭代优化算法对基于稀疏子空间多任务学习的目标函数进行优化，求得全局最优解。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基于稀疏子空间多任务学习的图像分类方法，包括：
步骤一：根据对训练图像集提取的异构视觉特征构建特征数据；
步骤二：基于任务的相关性和异构视觉特征的结构性，根据特征数据的训练数据集建立稀疏子空间的多任务分类算法的目标函数；
步骤三：基于稀疏子空间的多任务分类算法的目标函数，采用迭代优化算法进行求解，生成稀疏子空间多任务分类模型；
步骤四：采用稀疏子空间多任务分类模型对图像测试集进行分类预测。
上述步骤二和三中，具体公式推导如下：
采用如下的目标函数方式：损失函数+正则化模型
由于增加了子空间信息，原表达变为：f(x)＝uTx＝wTx+vTQ x。
其中u,w and v为整体特征空间的权重系数，高位特征空间的权重系数和共享的低维子空间的权重系数。
L为损失函数：
其中X∈Rn×d,Y∈Rn×c,U∈Rd×c。
令XU-Y＝[z1,...,zn]T，则
L(X,Y,U)＝Tr((XU-Y)TD1(XU-Y)) (3)
其中：
R为正则化模型通过添加惩罚项的形式，约束任务之间特征的相关性，提出了一种结构化稀疏子空间模型：
R(U,V,Q)＝R1(U)+R2(U,V,Q) (5)
其中R1为结构稀疏正则化模型，定义为：
其中
由于||U||2,1和同价，同理||U||G2,1与同价，其中D2和D3定义如下：
则
R2为子空间共享模型，定义为：
综合以上的L和R，定义目标函数如下：
其中λ1,λ2andλ3为正则项系数。
●首先对V最小化：对V求导，得出V＝QU最小，代入(11)后，得到：
因为Tr((U-QTQU)T(U-QTQU))＝Tr(UT(I-QTQ)(I-QTQ)U)
并且(I-QTQ)(I-QTQ)＝I-QTQ，所以得到
●对U最小化：对U求导，然后得到：
设U＝S-1XD1Y，其中
S＝(P-λ3QTQ)-1 (15)
P＝XD1X+λ1D2+λ2D3+λ3I (16)
公式(13)可以写成：
把U＝S-1XD1Y代入公式(17)中，得到如下：
上述问题等价于：
根据Sherman–Woodbury–Morrison公式：
则公式(19)转换为：
等价于：
通过矩阵变换，(22)可以写成：
使用迭代优化算法进行求解。
上述介绍的迭代优化算法流程如下所示。
实验验证：
选取了三个图像分类数据集Kodak，MSRA-MM和NUS-WIDE，对不同的数据集提取了不同的特征，如表1所示：
表1异构特征子集描述
| Kodak | MSRA-MM | NUS-WIDE |
| 颜色相关图 | 颜色相关图 | 颜色相关图 |
| 共生矩阵纹理特征 | 边缘方向直方图 | 边缘方向直方图 |
| 边缘方向直方图 | 人脸特征 | 词袋特征 |
| 人脸特征 | 颜色直方图 | 颜色直方图 |
| 颜色直方图 | RGB颜色直方图 | 块颜色矩 |
| 块颜色矩 | 块颜色矩 | 小波纹理特征 |
| 小波纹理特征 | 小波纹理特征 |
为了评估图像标注算法性能，本发明采用了ROC曲线下面积(area under curve,简称AUC)，包括MicroAUC和MacroAUC以及准确率(precision)这3种评价指标。
随机分别选取了300个带标注的图像作为训练集(保证每个标注至少出现一次),在剩余的数据中分别选取1200个未标注图像作为测试集，每组实验重复10次，然后算出10次结果的平均值。
比较的算法包括：Lasso、Group lasso和subspaceMTL，比较结果如表2-4所示：
表2多种分类算法的MacroAUC比较
| Lasso | Group lasso | subspaceMTL | SGLSMTL | |
| Kodak | 0.7148 | 0.7395 | 0.7866 | 0.8245 |
| MSRA-MM | 0.6208 | 0.6239 | 0.6785 | 0.7022 |
| NUS-WIDE | 0.7082 | 0.7154 | 0.7513 | 0.7816 |
表3多种分类算法的MicroAUC比较
| Lasso | Group lasso | subspaceMTL | SGLSMTL | |
| Kodak | 0.7192 | 0.7322 | 0.7854 | 0.8098 |
| MSRA-MM | 0.7058 | 0.7171 | 0.7544 | 0.7832 |
| NUS-WIDE | 0.7250 | 0.7334 | 0.7532 | 0.7793 |
表4多种分类算法的精度比较
| Lasso | Group lasso | subspaceMTL | SGLSMTL | |
| Kodak | 0.8839 | 0.8916 | 0.9188 | 0.9312 |
| MSRA-MM | 0.8265 | 0.8470 | 0.9172 | 0.9411 |
| NUS-WIDE | 0.8055 | 0.8317 | 0.8933 | 0.9122 |
从表2-4可以看出，本发明提出的基于稀疏子空间多任务学习的图像分类算法在三个数据集上均达到了最高的分类性能，提升了传统只基于稀疏学习算法或者只基于子空间多任务学习算法的分类性能。
最后应说明的是以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.基于稀疏子空间多任务学习的图像分类预测方法，其特征在于，包括：
步骤一：根据对训练图像集提取的异构视觉特征构建特征数据；
步骤二：基于任务的相关性和异构视觉特征的结构性，根据特征数据的训练数据集建立稀疏子空间的多任务分类算法的目标函数；
步骤三：基于稀疏子空间的多任务分类算法的目标函数，采用迭代优化算法进行求解，生成稀疏子空间多任务分类模型；
步骤四：采用稀疏子空间多任务分类模型对图像测试集进行分类预测。
2.根据权利要求1所述的基于稀疏子空间多任务学习的图像分类预测方法，其特征在于，所述异构视觉特征至少包括颜色、纹理和形状。
3.根据权利要求1所述的基于稀疏子空间多任务学习的图像分类预测方法，其特征在于，步骤二中包括：
对异构特征的融合引入组稀疏正则化其中G是异构特征子集的个数，u是分类模型的权重向量；
结合子空间相关性和稀疏机制建立多任务学习模型，构成最终的目标函数：
其中U和V为权重向量，Q是共享子空间。
4.根据权利要求3所述的基于稀疏子空间多任务学习的图像分类预测方法，其特征在于，所述步骤三中分别对变量V、Q和W进行迭代优化，获得稳定最优解，即生成稀疏子空间多任务分类模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611030667.1A CN106529601B (zh) | 2016-11-16 | 2016-11-16 | 基于稀疏子空间多任务学习的图像分类预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611030667.1A CN106529601B (zh) | 2016-11-16 | 2016-11-16 | 基于稀疏子空间多任务学习的图像分类预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106529601A true CN106529601A (zh) | 2017-03-22 |
| CN106529601B CN106529601B (zh) | 2019-10-11 |
Family
ID=58356106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611030667.1A Active CN106529601B (zh) | 2016-11-16 | 2016-11-16 | 基于稀疏子空间多任务学习的图像分类预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106529601B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063732A (zh) * | 2018-06-26 | 2018-12-21 | 山东大学 | 基于特征交互和多任务学习的图像排序方法及系统 |
| CN113011438A (zh) * | 2021-03-16 | 2021-06-22 | 东北大学 | 基于节点分类和稀疏图学习的双模态图像显著性检测方法 |
| CN113205150A (zh) * | 2021-05-21 | 2021-08-03 | 东北大学 | 一种基于多时相融合的多任务分类系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102375855A (zh) * | 2010-08-20 | 2012-03-14 | 浙江大学 | 基于稀疏组群结构的图像标注方法 |
| CN102930301A (zh) * | 2012-10-16 | 2013-02-13 | 西安电子科技大学 | 基于特征权重学习与核稀疏表示的图像分类方法 |
| CN103440513A (zh) * | 2013-09-17 | 2013-12-11 | 西安电子科技大学 | 基于稀疏非负张量分解的大脑特定视觉认知状态判定方法 |
| US20150095490A1 (en) * | 2013-10-02 | 2015-04-02 | Nec Laboratories America, Inc. | Online sparse regularized joint analysis for heterogeneous data |
-
2016
- 2016-11-16 CN CN201611030667.1A patent/CN106529601B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102375855A (zh) * | 2010-08-20 | 2012-03-14 | 浙江大学 | 基于稀疏组群结构的图像标注方法 |
| CN102930301A (zh) * | 2012-10-16 | 2013-02-13 | 西安电子科技大学 | 基于特征权重学习与核稀疏表示的图像分类方法 |
| CN103440513A (zh) * | 2013-09-17 | 2013-12-11 | 西安电子科技大学 | 基于稀疏非负张量分解的大脑特定视觉认知状态判定方法 |
| US20150095490A1 (en) * | 2013-10-02 | 2015-04-02 | Nec Laboratories America, Inc. | Online sparse regularized joint analysis for heterogeneous data |
Non-Patent Citations (2)
| Title |
|---|
| XIAOFENG ZHU 等: "Subspace Regularized Sparse Multitask Learning for Multiclass Neurodegenerative Disease Identification", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
| 张景祥 等: "融合异构特征的子空间迁移学习算法", 《自动化学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063732A (zh) * | 2018-06-26 | 2018-12-21 | 山东大学 | 基于特征交互和多任务学习的图像排序方法及系统 |
| CN113011438A (zh) * | 2021-03-16 | 2021-06-22 | 东北大学 | 基于节点分类和稀疏图学习的双模态图像显著性检测方法 |
| CN113011438B (zh) * | 2021-03-16 | 2023-09-05 | 东北大学 | 基于节点分类和稀疏图学习的双模态图像显著性检测方法 |
| CN113205150A (zh) * | 2021-05-21 | 2021-08-03 | 东北大学 | 一种基于多时相融合的多任务分类系统及方法 |
| CN113205150B (zh) * | 2021-05-21 | 2024-03-01 | 东北大学 | 一种基于多时相融合的多任务分类系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106529601B (zh) | 2019-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615014B (zh) | 一种基于kl散度优化的3d物体数据分类系统与方法 | |
| CN103413151B (zh) | 基于图正则低秩表示维数约简的高光谱图像分类方法 | |
| WO2017113232A1 (zh) | 一种基于深度学习的产品分类方法及装置 | |
| CN108776812A (zh) | 基于非负矩阵分解和多样-一致性的多视图聚类方法 | |
| CN105574534A (zh) | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 | |
| Bui et al. | Scalable sketch-based image retrieval using color gradient features | |
| CN110674407A (zh) | 基于图卷积神经网络的混合推荐方法 | |
| CN110163239A (zh) | 一种基于超像素和条件随机场的弱监督图像语义分割方法 | |
| CN105184298A (zh) | 一种快速局部约束低秩编码的图像分类方法 | |
| CN110378366A (zh) | 一种基于耦合知识迁移的跨域图像分类方法 | |
| CN103942749B (zh) | 一种基于修正聚类假设和半监督极速学习机的高光谱地物分类方法 | |
| CN105205449A (zh) | 基于深度学习的手语识别方法 | |
| CN108846404A (zh) | 一种基于相关约束图排序的图像显著性检测方法及装置 | |
| CN107045640A (zh) | 一种用于图像识别的基于邻域保持和核子空间对齐的方法 | |
| CN107346327A (zh) | 基于监督转移的零样本哈希图片检索方法 | |
| CN111126464A (zh) | 一种基于无监督域对抗领域适应的图像分类方法 | |
| CN104216974A (zh) | 基于词汇树分块聚类的无人机航拍图像匹配的方法 | |
| CN106529601B (zh) | 基于稀疏子空间多任务学习的图像分类预测方法 | |
| CN110135364A (zh) | 一种地物识别方法及装置 | |
| CN106056609A (zh) | 基于dbnmi模型实现遥感影像自动标注的方法 | |
| CN108388918B (zh) | 具有结构保持特性的数据特征选择方法 | |
| Li et al. | Image decomposition with multilabel context: Algorithms and applications | |
| Zheng et al. | Extracting non-negative basis images using pixel dispersion penalty | |
| CN114329031A (zh) | 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法 | |
| CN106095811B (zh) | 一种基于最优编码的监督离散哈希的图像检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20170322 Assignee: Shenyang Teyi Software Co.,Ltd. Assignor: Northeastern University Contract record no.: X2022210000047 Denomination of invention: Image classification prediction method based on sparse subspace multi task learning Granted publication date: 20191011 License type: Common License Record date: 20221008 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20170322 Assignee: Shenyang Neusoft Medical Systems Co.,Ltd. Assignor: Northeastern University Contract record no.: X2023210000152 Denomination of invention: Image Classification and Prediction Method Based on Sparse Subspace Multi task Learning Granted publication date: 20191011 License type: Common License Record date: 20231007 |