CN109919200B - 一种基于张量分解和域适应的图像分类方法 - Google Patents
一种基于张量分解和域适应的图像分类方法 Download PDFInfo
- Publication number
- CN109919200B CN109919200B CN201910115988.9A CN201910115988A CN109919200B CN 109919200 B CN109919200 B CN 109919200B CN 201910115988 A CN201910115988 A CN 201910115988A CN 109919200 B CN109919200 B CN 109919200B
- Authority
- CN
- China
- Prior art keywords
- dimension
- tensor
- converted
- multiplying
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于张量分解和域适应的图像分类方法，步骤是：使用深度学习网络提取源域图像和目标域图像的特征，使用张量表示，分别为XS、XT，拼接源域和目标域的特征，记为X，XS、XT、X均为四阶张量；利用Tensor Ring分解方法，将X分解为四个三阶张量{U1,U2,U3,U4}；将XS与U1,U2,U3进行相乘，得到newXS；对XT与U1,U2,U3进行相乘，得到newXT；对newXS、newXT进行重塑，将源域和目标域的特征转换为矩阵的形式，分别为Xtrain、Xtest；使用Xtrain训练网络对Xtest进行分类。此种方法可对没有标签的图像进行分类。
Description
技术领域
本发明属于迁移学习的域适应领域和图像分类领域，特别涉及一种基于张量分解和域适应的图像分类方法。
背景技术
在新领域完成图像分类任务时，往往没有足够的已标注数据可以利用，数据的标注是一个耗时且昂贵的操作，但机器学习模型的训练和更新，均依赖于数据的标注。而且机器学习方法都有一个基本假设：训练数据和测试数据必须服从相同的分布。然而，在许多情况下，这种同分布假设并不能得到满足。迁移学习不需要满足这种假设就可以进行，因而能够在彼此不同但又相互关联的两个领域间实现知识的迁移和复用。所以可以寻找与目标域数据相似的数据集作为源域，利用源域数据和目标域数据之间的相似性，以及源域数据的标签，将源域中的知识迁移到目标域的任务中。
域适应是迁移学习领域最火的研究点，其目标是在源域和目标域的类别空间和特征空间一样但数据分布不同的情况下，利用有标注的源域数据去学习一个分类器来预测目标域数据的标签。所以可以利用域适应方法实现对目标域图像的分类。
现有的大多数域适应方法都是只适用于向量，用这些方法表示高维数据时，需先将数据向量化，这严重破坏了高维数据的本征结构。而且表示高维数据时，向量表示会导致大量参数估计的误差和计算复杂度的提高。虽然张量已广泛应用于计算机视觉，可完整地表示高维数据并且能维持高维空间数据的本征结构信息，但基于张量的域适应方法很少，张量表示可使用张量分解，将多维代替高维，避免了维度增加带来的误差和代价。
2017年，Lu H提出将张量应用于域适应(参见“Lu H,et al.When unsuperviseddomain adaptation meets tensor representations.The IEEE InternationalConference on Computer Vision(ICCV).Vol.2.2017.”)，假设源域和目标域共享一部分子空间，使用张量表示源域和目标域的特征，经过张量Tucker分解得到特征张量分为核张量和一系列的因子矩阵，这一系列矩阵就可以表示域间共享的子空间。但基于Tucker分解的域适应方法不仅复杂度太高，而且削弱了子空间的全局表示，效果并没有达到很高的水平。
针对已有的域适应方法的缺点，有必要提供一种高效的、新颖的方法，能在维持数据本征结构的同时，最大限度地减小源域和目标域之间数据分布的差异。
发明内容
本发明的目的，在于提供一种基于张量分解和域适应的图像分类方法，其可对没有标签的图像进行分类。
为了达成上述目的，本发明的解决方案是：
一种基于张量分解和域适应的图像分类方法，包括如下步骤：
步骤1，使用深度学习网络提取源域图像和目标域图像的特征，使用张量表示，分别为XS、XT，拼接源域和目标域的特征，记为X，XS、XT、X均为四阶张量；其中，四阶张量XS、XT、X的第4阶的维度均表示样本数量；
步骤2，利用Tensor Ring分解方法，将X分解为四个三阶张量{U1,U2,U3,U4}，该三阶张量集合表示源域和目标域共享的子空间；
步骤3，将XS与U1,U2,U3进行相乘，在相乘过程中对XS和Un进行维度的调整和重塑，n＝1,2,3，而且将每次矩阵相乘结果重塑为张量，最终实现XS的降阶，得到newXS；对XT与U1,U2,U3进行相乘，在相乘过程中对XT和Un进行维度的调整和重塑，n＝1,2,3，而且将每次矩阵相乘结果重塑为张量，最终实现XT的降阶，得到newXT；
步骤4，对newXS、newXT进行重塑，将源域和目标域的特征转换为矩阵的形式，分别为Xtrain、Xtest；
步骤5，使用Xtrain训练网络对Xtest进行分类。
上述步骤2中，假设
输入Tensor Ring分解中的秩r1，r2，r3，r4，经过Tensor Ring分解得到{U1,U2,U3,U4}，其中
上述步骤3中，XS与U1,U2,U3相乘时，设定XS与U1,U2,U3的相乘顺序为U1,U2,U3，则相乘的详细过程如下：
步骤311，将XS的维度转为(I2×I3×ns)×I1，将U1的维度转为I1×(r4×r1)；
步骤312，将步骤311中维度转换后的XS和U1相乘得到一个维度为(I2×I3×ns)×(r4×r1)的矩阵，将该矩阵重塑为一个维度为I2×I3×ns×r4×r1的五阶张量fiveXS；
步骤313，将fiveXS的维度转为(I3×ns×r4)×(r1×I2)，将U2的维度转为(r1×I2)×r2；
步骤314，将步骤313中维度转换后的fiveXS和U2相乘得到一个维度为(I3×ns×r4)×r2的矩阵，将该矩阵重塑为一个维度为I3×ns×r4×r2的四阶张量fourXS；
步骤315，将fourXS的维度转为(ns×r4)×(r2×I3)，将U3的维度转为(r2×I3)×r3；
步骤316，将步骤315中维度转换后的fourXS和U3相乘得到一个维度为(ns×r4)×r3的矩阵，将该矩阵重塑为一个维度为ns×r4×r3的三阶张量，即为newXS。
上述步骤4中，将newXS的维度转为I4×(r4×r3)，得到Xtrain；将newXT的维度转为nt×(r4×r3)，得到Xtest。
上述步骤3中，XT与U1,U2,U3相乘时，设定XT与U1,U2,U3的相乘顺序为U1,U2,U3，则相乘的详细过程如下：
步骤321，将XT的维度转为(I2×I3×nt)×I1，将U1的维度转为I1×(r4×r1)；
步骤322，将步骤321中维度转换后的XT和U1相乘得到一个维度为(I2×I3×nt)×(r4×r1)的矩阵，将该矩阵重塑为一个维度为I2×I3×nt×r4×r1的五阶张量fiveXT；
步骤323，将fiveXT的维度转为(I3×nt×r4)×(r1×I2)，将U2的维度转为(r1×I2)×r2；
步骤324，将步骤323中维度转换后的fiveXT和U2相乘得到一个维度为(I3×nt×r4)×r2的矩阵，将该矩阵重塑为一个维度为I3×nt×r4×r2的四阶张量fourXT；
步骤325，将fourXT的维度转为(nt×r4)×(r2×I3)，将U3的维度转为(r2×I3)×r3；
步骤326，将步骤325中维度转换后的fourXT和U3相乘得到一个维度为(nt×r4)×r3的矩阵，将该矩阵重塑为一个维度为nt×r4×r3的三阶张量，即为newXT。
上述步骤5中，基于传统的机器学习方法，使用Xtrain训练网络对Xtest进行分类。
采用上述方案后，与现有的大多数图像分类方法相比，本发明所提供的一种基于张量分解和域适应的图像分类方法具有明显优势。首先，使用张量表示特征，完整地表示高维数据并且能维持高维空间数据的本征结构信息，而且张量表示可使用张量分解，将多维代替高维，避免了维度增加带来的误差和代价；使用Tensor Ring分解出的三阶张量集合构造子空间，比Tucker分解更高效；灵活运用张量维度的调整和重塑，降低了对运行设备的性能要求，减少了运行时间；在图像无标签的情况下，根据与目标域数据相似的源域数据，使用迁移学习的方法，实现了对图像的高效分类。
附图说明
图1是本发明的流程图；
图2是本发明中张量分解示意图。
具体实施方式
以下将结合附图，对本发明的技术方案及有益效果进行详细说明。
参见图1，给出了本发明实施例的算法流程，包括以下步骤：
步骤101、图像特征提取：使用深度学习网络提取源域图像和目标域图像的特征，使用张量表示，分别为XS、XT，拼接源域和目标域的特征，记为X，XS、XT、X均为四阶张量。
一个样本的特征为一个三阶张量，即上述四阶张量的第4阶的维度表示样本数量。
步骤102、构造子空间：利用Tensor Ring分解方法，将X分解为四个三阶张量{U1,U2,U3,U4}。该三阶张量集合表示源域和目标域共享的子空间。假设
其中，I1至I3表示图像特征的维度，ns表示源域样本的数量，nt表示目标域样本的数量；输入Tensor Ring分解中的秩r1，r2，r3，r4，经过Tensor Ring分解可得{U1,U2,U3,U4}，其中
步骤103、特征映射：将XS与U1,U2,U3进行相乘，其中需要对XS和Un(n＝1,2,3)进行维度的调整和重塑，而且每次矩阵相乘结果需重塑为张量，最终实现XS的降阶，得到newXS，该过程是将XS映射到步骤102给出的子空间中。对XT实施与XS相同的操作,得到newXT。可根据具体的特征维度，设定XS与U1,U2,U3的相乘顺序，若相乘顺序为U1,U2,U3，详细过程如下：
1)使用维度的调整和重塑，将XS的维度转为(I2×I3×ns)×I1，将U1的维度转为I1×(r4×r1)。
2)将1)中结果相乘得到一个维度为(I2×I3×ns)×(r4×r1)的矩阵，将该矩阵重塑为一个维度为I2×I3×ns×r4×r1的五阶张量fiveXS。
3)使用维度的调整和重塑，将fiveXS的维度转为(I3×ns×r4)×(r1×I2)，将U2的维度转为(r1×I2)×r2。
4)将3)中结果相乘得到一个维度为(I3×ns×r4)×r2的矩阵，将该矩阵重塑为一个维度为I3×ns×r4×r2的四阶张量fourXS。
5)使用维度的调整和重塑，将fourXS的维度转为(ns×r4)×(r2×I3)，将U3的维度转为(r2×I3)×r3。
6)将5)中结果相乘得到一个维度为(ns×r4)×r3的矩阵，将该矩阵重塑为一个维度为ns×r4×r3的三阶张量，即为newXS。此时一个样本的特征为一个矩阵，即，经过特征变换的newXS、newXT的第3阶维度表示样本数量。
步骤104、特征重塑：对newXS、newXT进行重塑，将源域和目标域的特征转换为矩阵的形式，分别为Xtrain、Xtest。此时一个样本的特征为一个向量，即，经过特征重塑的Xtrain、Xtest的第2维表示样本数量，例如，将newXS的维度转为ns×(r4×r3)，得到Xtrain。
步骤105、模型训练与特征分类：基于传统的机器学习方法，使用Xtrain训练网络，对Xtest进行分类，从而实现了目标域图像的分类。
综合上述，本发明一种基于张量分解和域适应的图像分类方法，包含以下步骤：图像特征提取，使用深度学习网络提取源域和目标域的图像特征，并使用张量表示特征；构造子空间，利用Tensor Ring分解方法，将特征分解为4个三阶张量，表示子空间；特征映射，依次将源域特征和目标域特征映射到子空间中；特征重塑，将张量特征重塑为矩阵形式；模型训练与特征分类，使用经过一系列变换的源域特征训练模型，然后对目标域特征进行分类，从而实现了目标域图像的分类。本发明的无监督图像分类方法，提供了一种高效的特征变换方式，可有效地减小源域和目标域之间数据分布的差异，实现了目标域中图像的分类。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (7)
1.一种基于张量分解和域适应的图像分类方法，其特征在于包括如下步骤：
步骤1，使用深度学习网络提取源域图像和目标域图像的特征，使用张量表示，分别为XS、XT，拼接源域和目标域的特征，记为X，XS、XT、X均为四阶张量；
步骤2，利用Tensor Ring分解方法，将X分解为四个三阶张量{U1,U2,U3,U4}，该三阶张量集合表示源域和目标域共享的子空间；
步骤3，将XS与U1,U2,U3进行相乘，在相乘过程中对XS和Un进行维度的调整和重塑，n＝1,2,3，而且将每次矩阵相乘结果重塑为张量，最终实现XS的降阶，得到newXS；对XT与U1,U2,U3进行相乘，在相乘过程中对XT和Un进行维度的调整和重塑，n＝1,2,3，而且将每次矩阵相乘结果重塑为张量，最终实现XT的降阶，得到newXT；
步骤4，对newXS、newXT进行重塑，将源域和目标域的特征转换为矩阵的形式，分别为Xtrain、Xtest；
步骤5，使用Xtrain训练网络对Xtest进行分类。
2.如权利要求1所述的一种基于张量分解和域适应的图像分类方法，其特征在于：所述步骤1中，四阶张量XS、XT、X的第4阶的维度均表示样本数量。
3.如权利要求1所述的一种基于张量分解和域适应的图像分类方法，其特征在于：所述步骤2中，假设
其中，I1至I3表示图像特征的维度，ns表示源域样本的数量，nt表示目标域样本的数量；输入Tensor Ring分解中的秩r1，r2，r3，r4，经过Tensor Ring分解得到{U1,U2,U3,U4}，其中
4.如权利要求3所述的一种基于张量分解和域适应的图像分类方法，其特征在于：所述步骤3中，XS与U1,U2,U3相乘时，假设XS与U1,U2,U3的相乘顺序为U1,U2,U3，则相乘的详细过程如下：
步骤311，将XS的维度转为(I2×I3×ns)×I1，将U1的维度转为I1×(r4×r1)；
步骤312，将步骤311中维度转换后的XS和U1相乘得到一个维度为(I2×I3×ns)×(r4×r1)的矩阵，将该矩阵重塑为一个维度为I2×I3×ns×r4×r1的五阶张量fiveXS；
步骤313，将fiveXS的维度转为(I3×ns×r4)×(r1×I2)，将U2的维度转为(r1×I2)×r2；
步骤314，将步骤313中维度转换后的fiveXS和U2相乘得到一个维度为(I3×ns×r4)×r2的矩阵，将该矩阵重塑为一个维度为I3×ns×r4×r2的四阶张量fourXS；
步骤315，将fourXS的维度转为(ns×r4)×(r2×I3)，将U3的维度转为(r2×I3)×r3；
步骤316，将步骤315中维度转换后的fourXS和U3相乘得到一个维度为(ns×r4)×r3的矩阵，将该矩阵重塑为一个维度为ns×r4×r3的三阶张量，即为newXS。
5.如权利要求4所述的一种基于张量分解和域适应的图像分类方法，其特征在于：所述步骤4中，将newXS的维度转为ns×(r4×r3)，得到Xtrain；将newXT的维度转为nt×(r4×r3)，得到Xtest。
6.如权利要求3所述的一种基于张量分解和域适应的图像分类方法，其特征在于：所述步骤3中，XT与U1,U2,U3相乘时，设定XT与U1,U2,U3的相乘顺序为U1,U2,U3，则相乘的详细过程如下：
步骤321，将XT的维度转为(I2×I3×nt)×I1，将U1的维度转为I1×(r4×r1)；
步骤322，将步骤321中维度转换后的XT和U1相乘得到一个维度为(I2×I3×nt)×(r4×r1)的矩阵，将该矩阵重塑为一个维度为I2×I3×nt×r4×r1的五阶张量fiveXT；
步骤323，将fiveXT的维度转为(I3×nt×r4)×(r1×I2)，将U2的维度转为(r1×I2)×r2；
步骤324，将步骤323中维度转换后的fiveXT和U2相乘得到一个维度为(I3×nt×r4)×r2的矩阵，将该矩阵重塑为一个维度为I3×nt×r4×r2的四阶张量fourXT；
步骤325，将fourXT的维度转为(nt×r4)×(r2×I3)，将U3的维度转为(r2×I3)×r3；
步骤326，将步骤325中维度转换后的fourXT和U3相乘得到一个维度为(nt×r4)×r3的矩阵，将该矩阵重塑为一个维度为nt×r4×r3的三阶张量，即为newXT。
7.如权利要求1所述的一种基于张量分解和域适应的图像分类方法，其特征在于：所述步骤5中，基于传统的机器学习方法，使用Xtrain训练网络对Xtest进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910115988.9A CN109919200B (zh) | 2019-02-15 | 2019-02-15 | 一种基于张量分解和域适应的图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910115988.9A CN109919200B (zh) | 2019-02-15 | 2019-02-15 | 一种基于张量分解和域适应的图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109919200A CN109919200A (zh) | 2019-06-21 |
| CN109919200B true CN109919200B (zh) | 2022-08-19 |
Family
ID=66961598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910115988.9A Active CN109919200B (zh) | 2019-02-15 | 2019-02-15 | 一种基于张量分解和域适应的图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919200B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116202760B (zh) * | 2023-05-05 | 2023-08-18 | 赛腾机电科技（常州）有限公司 | 用于机械故障诊断的三阶张量的奇异值分解方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886329A (zh) * | 2014-03-21 | 2014-06-25 | 西安电子科技大学 | 基于张量分解降维的极化图像分类方法 |
| CN107273853A (zh) * | 2017-06-16 | 2017-10-20 | 中国地质大学（武汉） | 一种基于类心和协方差对齐的遥感图像迁移学习方法 |
| CN108898181A (zh) * | 2018-06-29 | 2018-11-27 | 咪咕文化科技有限公司 | 一种图像分类模型的处理方法、装置及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10217018B2 (en) * | 2015-09-15 | 2019-02-26 | Mitsubishi Electric Research Laboratories, Inc. | System and method for processing images using online tensor robust principal component analysis |
-
2019
- 2019-02-15 CN CN201910115988.9A patent/CN109919200B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886329A (zh) * | 2014-03-21 | 2014-06-25 | 西安电子科技大学 | 基于张量分解降维的极化图像分类方法 |
| CN107273853A (zh) * | 2017-06-16 | 2017-10-20 | 中国地质大学（武汉） | 一种基于类心和协方差对齐的遥感图像迁移学习方法 |
| CN108898181A (zh) * | 2018-06-29 | 2018-11-27 | 咪咕文化科技有限公司 | 一种图像分类模型的处理方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 面向张量数据的迁移学习算法;谢江龙等;《计算机与现代化》;20160215(第02期);第45-51页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109919200A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108399406B (zh) | 基于深度学习的弱监督显著性物体检测的方法及系统 | |
| CN107273927B (zh) | 基于类间匹配的无监督领域适应分类方法 | |
| CN107679501B (zh) | 一种基于标签自提纯的深度学习方法 | |
| CN111461157A (zh) | 一种基于自学习的跨模态哈希检索方法 | |
| CN116644755B (zh) | 基于多任务学习的少样本命名实体识别方法、装置及介质 | |
| CN110598022B (zh) | 一种基于鲁棒深度哈希网络的图像检索系统与方法 | |
| CN112613556A (zh) | 基于元学习的少样本图像情感分类方法 | |
| CN110796022A (zh) | 一种基于多流形耦合映射的低分辨人脸识别方法 | |
| Kumar | Adding binary search connections to improve densenet performance | |
| CN110008996B (zh) | 一种基于散度计算的异构域适应方法 | |
| CN109919200B (zh) | 一种基于张量分解和域适应的图像分类方法 | |
| CN114596456A (zh) | 一种基于聚集哈希学习的图像集分类方法 | |
| CN102722717B (zh) | 一种细胞分裂识别方法 | |
| CN114329124A (zh) | 基于梯度重优化的半监督小样本分类方法 | |
| CN108388918B (zh) | 具有结构保持特性的数据特征选择方法 | |
| CN113723608A (zh) | 基于迭代知识蒸馏的异质图神经网络模型构建方法 | |
| CN111950619B (zh) | 一种基于双重生成对抗网络的主动学习方法 | |
| CN107633259A (zh) | 一种基于稀疏字典表示的跨模态学习方法 | |
| CN111753995A (zh) | 一种基于梯度提升树的局部可解释方法 | |
| CN113835964B (zh) | 基于小样本学习的云数据中心服务器能耗预测方法 | |
| CN115797642A (zh) | 基于一致性正则化与半监督领域自适应图像语义分割算法 | |
| WO2023201772A1 (zh) | 基于迭代域内适应和自训练的跨域遥感图像语义分割方法 | |
| CN114943862A (zh) | 一种基于结构性解析字典学习的两阶段图像分类方法 | |
| CN114898136A (zh) | 一种基于特征自适应的小样本图像分类方法 | |
| CN109146058B (zh) | 具有变换不变能力且表达一致的卷积神经网络 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |