CN116543269A - 基于自监督的跨域小样本细粒度图像识别方法及其模型 - Google Patents
基于自监督的跨域小样本细粒度图像识别方法及其模型 Download PDFInfo
- Publication number
- CN116543269A CN116543269A CN202310825664.0A CN202310825664A CN116543269A CN 116543269 A CN116543269 A CN 116543269A CN 202310825664 A CN202310825664 A CN 202310825664A CN 116543269 A CN116543269 A CN 116543269A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- feature
- dimensional feature
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于自监督的跨域小样本细粒度图像识别方法及其模型，图像识别方法主要步骤为：将基类细粒度图像数据集输入预训练模块中，通过预训练模块的特征编码器得到一维特征向量，将一维特征向量输入全连接分类器中，通过交叉熵损失函数计算损失；将不相交的不可见类细粒度图像数据集输入元测试模块中，输入特征提取器中，输出特征图；将特征图输入到任务差异最大化模块中得到数据的一维特征向量；将一维特征向量计算余弦相似度，得出预测结果。本发明的有益效果是：本发明采用了基类和不可见类来自不同域的全新设定，更加符合现实场景，具有更好的推广性，解决了小样本数据增强中由于数据太少导致生成数据缺乏多样性问题。
Description
技术领域
本发明涉及一种小样本条件下细粒度识别领域，具体为基于自监督的跨域小样本细粒度图像识别方法及其模型。
背景技术
目前应对带标注训练样本不足的主要方法是采用元学习-小样本学习方法，从与新类相同或类似的领域抽样基类进行训练。当前主流方法之中，基于度量的学习是小样本学习当中使用最广的方法之一。基于度量的学习具有预定义度量或在线训练度量的深度表示。对查询图片的推理是基于在该度量下的支持集和查询集之间的距离来执行的。且由于特征提取器高度敏感，基类训练的模型提取的新类的特征也很难形成紧密的聚类。
现有技术无法解决小样本条件下跨领域细粒度识别问题。其存在的主要问题包括：（1）缺乏专门用于跨域细粒度识别的图像识别技术和用于对比的公共方法。(2)传统的小样本学习方法或是细粒度视觉识别方法，在跨域识别任务上表现不佳。
发明内容
本发明的目的是提供一种基于自监督的跨域小样本细粒度图像识别方法及其模型，图像识别方法为一种新的迁移学习图像识别模型，给出了完整的模型训练及图像识别流程，可以通过局部特征达到细粒度识别的目的，并且通过跨域小样本方法，可以在带标注训练样本不足的情况下完成图像识别，最终完成跨域小样本细粒度图像识别技术。
本发明采用的技术方案是：基于自监督的跨域小样本细粒度图像识别方法，主要步骤为：
步骤S1，将基类细粒度图像数据集采用自监督对比学习训练方法输入预训练模块中，将基类细粒度图像数据集的批次数据通过两种不同数据增强函数增强为两组增强数据；
步骤S2，将两组增强数据输入混合模块中得到两组混合数据，将两组混合数据输入特征编码器中；
步骤S3，两组混合数据经过特征编码器后得到一维特征向量，将一维特征向量输入全连接分类器中，再通过交叉熵损失函数计算整体损失，使用整体损失对预训练模块中的特征编码器进行优化更新；
步骤S4，将预训练模块中训练好的特征提取器提取出来，在元测试模块中使用；
步骤S5，将与基类细粒度图像数据集完全不相交的不可见类细粒度图像数据集输入元测试模块中；
步骤S6，将不可见类细粒度图像数据集的批次数据输入步骤S4中的特征提取器中，输出特征图；
步骤S7，将特征图输入到任务差异最大化模块中得到数据的一维特征向量；
步骤S8，将一维特征向量计算余弦相似度，得出预测结果。
进一步的，步骤S1中采用自监督对比学习训练方法，具体为：
步骤S11，自监督对比学习训练方法是一种自监督学习方法，没有标签数据的情况下，通过数据的相似或不同，让自监督图像识别模型学习数据集的一般特征；
（1）；
（2） ；
（3）；
式中，B1,B2表示同一批次数据B增强后的二个不同数据，Aug()为增强函数，表示对增强后数据B1进行随机排序数据，/>表示对增强后数据B2进行随机排序数据，shuffle()表示随机排序函数，/>为可学习的超参数，/>表示使用可学习的超参数/>对增强后数据与随机排序数据/>进行加权求和，i=1,2；
步骤S12，将输入特征编码器计算得到域特定和域无关特征向量，特征编码器分为特征提取器和分离模块，特征编码器中的特征提取器提取特征，获取混合数据的特征图，特征编码器中的分离模块分离域特定和域无关特征，域特定和域无关特征通过全连接分类器使用交叉熵函数计算损失，优化自监督图像识别模型。
进一步的，将不可见类细粒度图像数据集的批次数据输入步骤S4中的特征提取器中，具体为：
采用的特征提取器即骨干网络带有参数适配器，在特征提取器的每一层中附加一个参数适配器，参数适配器转换由并行残差连接和矩阵乘法组成；
(4)；
(5)；
式中，表示为参数整个适配器计算过程，h为输入特征向量，/>表示为参数转换，/>表示为卷积层，/>表示为特征向量与/>进行矩阵相乘，/>表示为一个随机生成的的矩阵，/>，/>为特征向量通道数。
进一步的，步骤S7中将特征图输入到任务差异最大化模块中得到数据的一维特征向量；具体为：
步骤S71，将特征图输入到任务差异最大化模块中，任务差异最大化模块包括支持集注意力模块和查询集注意力模块，分别通过支持集注意力模块和查询集注意力模块，得到支持集注意力模块一维特征向量和查询集注意力模块一维特征向量，计算每一类图片数据的类原型；
步骤S72，关于支持集注意力模块，使用欧几里得度量距离公式计算每一类图片数据与类原型的距离，得到类内得分；
步骤S73，再使用欧几里得度量距离公式计算各类类原型之间的距离，得到类间得分；其中类内得分越大，类间得分越小，表明图片特征明显，易于鉴别；
步骤S74，将类内得分与类间得分分别输入全连接层计算得到类内得分一维特征向量和类间得分一维特征向量，使用类内得分一维特征向量与类间得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征和类间得分一维特征；
步骤S75，关于查询集注意力模块，使用欧几里得度量距离公式计算各类图片数据与类原型的距离，得到类内得分；
步骤S76，将类内得分输入全连接层计算得到类内得分一维特征向量，使用类内得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征。
进一步的，步骤S8中将一维特征向量计算余弦相似度具体为：
支持集注意力模块得到的一维特征向量和查询集注意力模块得到的一维特征向量，通过计算两个一维特征向量夹角的余弦值来评估两个一维特征向量的相似度。
进一步的，基于自监督的跨域小样本细粒度图像识别模型，应用在基于自监督的跨域小样本细粒度图像识别方法中，图像识别模型包括串行连接的预训练模块和元测试模块。
进一步的，预训练模块设有依次连接的混合模块、特征提取器、分离模块、全连接分类器和交叉熵损失函数模块；
混合模块是将数据使用加权求和的方式混合形成新数据；
特征提取器是通过矩阵卷积计算的方式获取输入图片数据的特征图；
分离模块由多个全连接层及批量归一化层组成，通过多次全连接层计算降维至64维，再通过均方差计算得到当前数据的域特定和域无关特征，得到域特定和域无关特征图；
全连接分类器(Full Connection Classifier)表示一个全连接层，将输入的域特定和域无关特征图降维得到一维数据；表示图像提取映射到基类上的相似度分数，再通过交叉熵损失函数计算损失并优化更新特征提取器；
交叉熵损失函数（Cross Entropy函数）模块是将预测数据和真实数据进行交叉熵计算得到当前损失，使用当前损失对特征编码器进行优化更新。
进一步的，元测试模块设有带参数适配器的特征提取器、支持集注意力模块、查询集注意力模块和余弦相似度模块；
带参数适配器的特征提取器是在每一个残差神经网络单元中以残差拓扑构造的方式附加一个带有参数转换的参数适配器，使用参数适配器以支持集数据的特征图为基础，使用参数适配器对查询集数据的特征图做微调；
支持集注意力模块使用欧几里得度量距离公式计算每一类图片数据与类原型的距离，得到类内得分；再使用欧几里得度量距离公式计算各类类原型之间的距离，得到类间得分；将类内得分与类间得分分别输入全连接层计算得到类内得分一维特征向量和类间得分一维特征向量，使用类内得分一维特征向量与类间得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征和类间得分一维特征；
查询集注意力模块是使用欧几里得度量距离公式计算各类图片数据与类原型的距离，得到类内得分；将类内得分输入全连接层计算得到类内得分一维特征向量，使用类内得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征；
余弦相似度模块是通过计算两个一维向量夹角的余弦值来评估两者的相似度。
进一步的，步骤S1中数据集选用大型细粒度数据集，如基类CUB-200-2011，包含200种不同自然界次类别鸟类；预训练模块为一个自监督模型；步骤S2中两组数据输入混合模块中，对两组增强数据进行加权求和得到两组混合数据，将两组混合数据输入特征编码器中。
进一步的，步骤S4中将预训练模块中训练好的特征提取器提取出来在元测试模块中使用，即将预训练模块学习好的特征提取器中的数据泛化到元测试模块中。
本发明的有益效果是：（1）与现有小样本细粒度识别研究假定基类和不可见类来自同一个域不同，本发明采用了基类和不可见类来自不同域的全新设定，更加符合现实场景，具有更好的推广性；（2）针对小样本学习当中样本收集困难、数量少的现实情况，通过分析细粒度数据的特点，以及小样本学习的特性，采用对比学习训练方法，解决了小样本数据增强中由于数据太少导致生成数据缺乏多样性问题。
附图说明
图1为本发明预训练模块的结构流程图。
图2为本发明元测试模块的结构流程图。
具体实施方式
本发明采用的方案如图 1、图2所示，为预训练模块的结构流程和元测试模块的结构流程图，本发明是这样来工作和实施的，一种基于自监督的跨域小样本细粒度图像识别方法，其主要步骤为：
步骤S1，将基类细粒度图像数据集采用对比学习训练方法输入预训练模块中，将基类细粒度图像数据集的批次数据通过两种不同数据增强函数增强为两组增强数据；
步骤S2，将两组增强数据输入混合模块中得到两组混合数据，将两组混合数据输入特征编码器中；
步骤S3，两组混合数据经过特征编码器后得到一维特征向量，将一维特征向量输入全连接分类器中，再通过交叉熵损失函数计算损失，使用计算损失对预训练模块中的特征编码器进行优化更新；
步骤S4，将预训练模块中训练好的特征提取器提取出来，在元测试模块中使用；
步骤S5，将与基类细粒度图像数据集完全不相交的不可见类细粒度图像数据集输入元测试模块中；
步骤S6，将不可见类细粒度图像数据集的批次数据输入步骤S4中的特征提取器中，输出特征图；
步骤S7，将特征图输入到任务差异最大化模块中得到数据的一维特征向量；
步骤S8，将一维特征向量计算余弦相似度，得出预测结果。
如图 1所示为预训练模块的结构流程图，预训练模块包括：
（1）数据集：选用大型细粒度数据集，如CUB-200-2011数据集，包含200种不同自然界次类别鸟类；也可选用其他大型细粒度图像数据集。
（2）自监督图像识别算法：
步骤21，卷积神经网络在去除全局平均池化，大量保留局部特征时，有助于细粒度图像识别；但在采用迁移学习的思想来应对跨域问题且要实现细粒度图像识别时，传统的卷积神经网络无法有效做到知识泛化迁移，无法解决域间隔过大的问题；针对这种情况，本发明开创性的提出了一种基于自监督的跨域小样本细粒度图像识别技术，采用两阶段学习的策略，第一阶段为采用对比学习训练方法的预训练模块。
步骤22，自监督对比学习训练方法是一种自监督学习方法，没有标签数据的情况下，通过数据的相似或不同，让自监督图像识别模型学习数据集的一般特征；
（1）；
（2） ；
（3）；
式中，B1,B2表示同一批次数据B增强后的二个不同数据，Aug()为增强函数，表示对增强后数据B1进行随机排序数据，/>表示对增强后数据B2进行随机排序数据，shuffle()表示随机排序函数，/>为可学习的超参数，/>表示使用可学习的超参数/>对增强后数据与随机排序数据/>进行加权求和，i=1,2；
将输入特征编码器计算得到域特定和域无关特征向量，特征编码器中的特征提取器负责提取特征，特征编码器中的分离模块负责分离域特定和域无关特征，域特定和域无关特征通过全连接分类器使用交叉熵函数计算损失，优化自监督图像识别模型。
步骤23，训练模型，特征提取器选用残差神经网络（ResNet），使用交叉熵损失函数，训练400个轮次epoch（当一个完整的数据集通过神经网络一次并且返回一次的过程），学习率为0.0001，使用迭代优化算法SGD进行优化，每进行100个轮次epoch训练保存在验证集上表现最优秀的模型，并在所有训练结束后保存最优模型参数，最终在测试集上进行评价。
如图2所示为元测试模块的结构流程图，元测试模块包括：
（1）不可见类细粒度图像识别，第二阶段为元测试模块，将不可见类数据以小样本数据（分为查询集和支持集）形式输入元测试模块，元测试模块使用带有参数适配器的预训练之后的特征提取器进行特征提取，是以强化对局部特征的捕捉来达到细粒度图像识别的目的，经过任务差异最大化模块的计算输出一维特征向量，最后使用余弦相似度计算准确度作为评价指标。
（2）参数适配器，特定于任务的参数适配器直接附加到现有的特征提取器上，可以从少数样本中有效地学习参数适配器。本发明中采用在特征提取器的每一层中附加一个参数适配器，参数适配器转换由并行残差连接和矩阵乘法组成；
（4）；
（5）；
式中，表示为参数整个适配器计算过程，h为输入特征向量，/>表示为参数转换，/>表示为卷积层，/>表示为特征向量与/>进行矩阵相乘，/>，/>为特征向量通道数。
（3）任务差异最大化模块，面对细粒度问题时,主要挑战是在只有少数标记样本可供学习的条件下,使网络学习到具有较高类间和较低类内变化的特征表示。所以为了解决最具挑战性的问题，我们使用了任务差异最大化模块来有效地帮助模型探索更微妙和更有区别的特征，并使其与参数适配器一同工作,使特征更具鉴别性。更好的解决我们面对的跨域小样本细粒度图像识别问题。为了识别细粒度图像,我们通过将原始特征映射细化为任务自适应特征映射来关注区分性细节。我们在每一批次的图像数据中定义了两个通道上的代表性分数，类内分数和类间分数。对于每个类,计算一个平均空间特征（类原型）,一个类原型（对当前类每张图片的特征提取做原型计算）作为每个类的代表。其中类内分数表明了通道上被高度激活的区域与平均空间特征所代表的类别显著区域的匹配程度，类间分数表示通道包含每个类的不同信息的数量。当类间分数越小类内分数越大，则表示数据更加具有鉴别性。再分别将支持集和查询集数据输入支持注意力模块及查询注意力模块，通过类内分数和类间分数加权计算代表性得分，得到一维特征向量。
Claims (8)
1.基于自监督的跨域小样本细粒度图像识别方法，其特征在于：主要步骤为：
步骤S1，将基类细粒度图像数据集采用自监督对比学习训练方法输入预训练模块中，将基类细粒度图像数据集的批次数据通过两种不同数据增强函数增强为两组增强数据；
步骤S2，将两组增强数据输入混合模块中得到两组混合数据，将两组混合数据输入特征编码器中；
步骤S3，两组混合数据经过特征编码器后得到一维特征向量，将一维特征向量输入全连接分类器中，再通过交叉熵损失函数计算整体损失，使用整体损失对预训练模块中的特征编码器进行优化更新；
步骤S4，将预训练模块中训练好的特征提取器提取出来，在元测试模块中使用；
步骤S5，将与基类细粒度图像数据集完全不相交的不可见类细粒度图像数据集输入元测试模块中；
步骤S6，将不可见类细粒度图像数据集的批次数据输入步骤S4中的特征提取器中，输出特征图；
步骤S7，将特征图输入到任务差异最大化模块中得到数据的一维特征向量；
步骤S8，将一维特征向量计算余弦相似度，得出预测结果。
2.根据权利要求1所述的基于自监督的跨域小样本细粒度图像识别方法，其特征在于：步骤S1中采用自监督对比学习训练方法，具体为：
步骤S11，自监督对比学习训练方法是一种自监督学习方法，没有标签数据的情况下，通过数据的相似或不同，让自监督图像识别模型学习数据集的一般特征；
（1）；
（2） ；
（3）；
式中，B1,B2表示同一批次数据B增强后的二个不同数据，Aug()为增强函数，表示对增强后数据B1进行随机排序数据，/>表示对增强后数据B2进行随机排序数据，shuffle()表示随机排序函数，/>为可学习的超参数，/>表示使用可学习的超参数/>对增强后数据/>与随机排序数据/>进行加权求和，i=1,2；
步骤S12，将输入特征编码器计算得到域特定和域无关特征向量，特征编码器分为特征提取器和分离模块，特征编码器中的特征提取器提取特征，获取混合数据的特征图，特征编码器中的分离模块分离域特定和域无关特征，域特定和域无关特征通过全连接分类器使用交叉熵函数计算损失，优化自监督图像识别模型。
3.根据权利要求2所述的基于自监督的跨域小样本细粒度图像识别方法，其特征在于：将不可见类细粒度图像数据集的批次数据输入步骤S4中的特征提取器中，具体为：
采用的特征提取器即骨干网络带有参数适配器，在特征提取器的每一层中附加一个参数适配器，参数适配器转换由并行残差连接和矩阵乘法组成；
（4）；
(5)；
式中，表示为参数整个适配器计算过程，h为输入特征向量，/>表示为参数转换，/>表示为卷积层，/>表示为特征向量与/>进行矩阵相乘，/>表示为一个随机生成的/>的矩阵，/>，/>为特征向量通道数。
4.根据权利要求3所述的基于自监督的跨域小样本细粒度图像识别方法，其特征在于：步骤S7中将特征图输入到任务差异最大化模块中得到数据的一维特征向量；具体为：
步骤S71，将特征图输入到任务差异最大化模块中，任务差异最大化模块包括支持集注意力模块和查询集注意力模块，分别通过支持集注意力模块和查询集注意力模块，得到支持集注意力模块一维特征向量和查询集注意力模块一维特征向量，计算每一类图片数据的类原型；
步骤S72，关于支持集注意力模块，使用欧几里得度量距离公式计算每一类图片数据与类原型的距离，得到类内得分；
步骤S73，再使用欧几里得度量距离公式计算各类类原型之间的距离，得到类间得分；
步骤S74，将类内得分与类间得分分别输入全连接层计算得到类内得分一维特征向量和类间得分一维特征向量，使用类内得分一维特征向量与类间得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征和类间得分一维特征；
步骤S75，关于查询集注意力模块，使用欧几里得度量距离公式计算各类图片数据与类原型的距离，得到类内得分；
步骤S76，将类内得分输入全连接层计算得到类内得分一维特征向量，使用类内得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征。
5.根据权利要求4所述的基于自监督的跨域小样本细粒度图像识别方法，其特征在于：步骤S8中将一维特征向量计算余弦相似度具体为：
支持集注意力模块得到的一维特征向量和查询集注意力模块得到的一维特征向量，通过计算两个一维特征向量夹角的余弦值来评估两个一维特征向量的相似度。
6.基于自监督的跨域小样本细粒度图像识别模型，应用在权利要求5所述的基于自监督的跨域小样本细粒度图像识别方法中，其特征在于：图像识别模型包括串行连接的预训练模块和元测试模块。
7.根据权利要求6所述的基于自监督的跨域小样本细粒度图像识别模型，其特征在于：其中预训练模块设有依次连接的混合模块、特征提取器、分离模块、全连接分类器和交叉熵损失函数模块；
混合模块是将数据使用加权求和的方式混合形成新数据；
特征提取器是通过矩阵卷积计算的方式获取输入图片数据的特征图；
分离模块由多个全连接层及批量归一化层组成，通过多次全连接层计算降维至64维，再通过均方差计算得到当前数据的域特定和域无关特征，得到域特定和域无关特征图；
全连接分类器表示一个全连接层，将输入的域特定和域无关特征图降维得到一维数据；表示图像提取映射到基类上的相似度分数，再通过交叉熵损失函数计算损失并优化更新特征提取器；
交叉熵损失函数模块是将预测数据和真实数据进行交叉熵计算得到当前损失，使用当前损失对特征编码器进行优化更新。
8.根据权利要求7所述的基于自监督的跨域小样本细粒度图像识别模型，其特征在于：其中元测试模块设有带参数适配器的特征提取器、支持集注意力模块、查询集注意力模块和余弦相似度模块；
带参数适配器的特征提取器是在每一个残差神经网络单元中以残差拓扑构造的方式附加一个带有参数转换的参数适配器，使用参数适配器以支持集数据的特征图为基础，使用参数适配器对查询集数据的特征图做微调；
支持集注意力模块使用欧几里得度量距离公式计算每一类图片数据与类原型的距离，得到类内得分；再使用欧几里得度量距离公式计算各类类原型之间的距离，得到类间得分；将类内得分与类间得分分别输入全连接层计算得到类内得分一维特征向量和类间得分一维特征向量，使用类内得分一维特征向量与类间得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征和类间得分一维特征；
查询集注意力模块是使用欧几里得度量距离公式计算各类图片数据与类原型的距离，得到类内得分；将类内得分输入全连接层计算得到类内得分一维特征向量，使用类内得分一维特征向量通过L1范数正则化公式计算出类内得分一维特征；
余弦相似度模块是通过计算两个一维向量夹角的余弦值来评估两者的相似度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310825664.0A CN116543269B (zh) | 2023-07-07 | 2023-07-07 | 基于自监督的跨域小样本细粒度图像识别方法及其模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310825664.0A CN116543269B (zh) | 2023-07-07 | 2023-07-07 | 基于自监督的跨域小样本细粒度图像识别方法及其模型 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116543269A true CN116543269A (zh) | 2023-08-04 |
| CN116543269B CN116543269B (zh) | 2023-09-05 |
Family
ID=87458266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310825664.0A Active CN116543269B (zh) | 2023-07-07 | 2023-07-07 | 基于自监督的跨域小样本细粒度图像识别方法及其模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543269B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824274A (zh) * | 2023-08-28 | 2023-09-29 | 江西师范大学 | 小样本细粒度图像分类方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961089A (zh) * | 2019-02-26 | 2019-07-02 | 中山大学 | 基于度量学习和元学习的小样本和零样本图像分类方法 |
| US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
| US20210064907A1 (en) * | 2019-08-27 | 2021-03-04 | Nvidia Corporation | Cross-domain image processing for object re-identification |
| US20210133479A1 (en) * | 2019-11-05 | 2021-05-06 | Beijing University Of Posts And Telecommunications | Fine-grained image recognition method, electronic device and storage medium |
| CN112766378A (zh) * | 2021-01-19 | 2021-05-07 | 北京工商大学 | 一种专注细粒度识别的跨域小样本图像分类模型方法 |
| US20220138495A1 (en) * | 2020-11-05 | 2022-05-05 | University Of Electronic Science And Technology Of China | Model and method for multi-source domain adaptation by aligning partial features |
| CN114676777A (zh) * | 2022-03-25 | 2022-06-28 | 中国科学院软件研究所 | 一种基于孪生网络的自监督学习细粒度图像分类方法 |
| US20220230066A1 (en) * | 2021-01-20 | 2022-07-21 | Qualcomm Incorporated | Cross-domain adaptive learning |
| CN115170868A (zh) * | 2022-06-17 | 2022-10-11 | 湖南大学 | 一种基于聚类的小样本图像分类两阶段元学习方法 |
| CN115471739A (zh) * | 2022-08-03 | 2022-12-13 | 中南大学 | 基于自监督对比学习的跨域遥感场景分类与检索方法 |
-
2023
- 2023-07-07 CN CN202310825664.0A patent/CN116543269B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961089A (zh) * | 2019-02-26 | 2019-07-02 | 中山大学 | 基于度量学习和元学习的小样本和零样本图像分类方法 |
| US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
| US20210064907A1 (en) * | 2019-08-27 | 2021-03-04 | Nvidia Corporation | Cross-domain image processing for object re-identification |
| US20210133479A1 (en) * | 2019-11-05 | 2021-05-06 | Beijing University Of Posts And Telecommunications | Fine-grained image recognition method, electronic device and storage medium |
| US20220138495A1 (en) * | 2020-11-05 | 2022-05-05 | University Of Electronic Science And Technology Of China | Model and method for multi-source domain adaptation by aligning partial features |
| CN112766378A (zh) * | 2021-01-19 | 2021-05-07 | 北京工商大学 | 一种专注细粒度识别的跨域小样本图像分类模型方法 |
| US20220230066A1 (en) * | 2021-01-20 | 2022-07-21 | Qualcomm Incorporated | Cross-domain adaptive learning |
| CN114676777A (zh) * | 2022-03-25 | 2022-06-28 | 中国科学院软件研究所 | 一种基于孪生网络的自监督学习细粒度图像分类方法 |
| CN115170868A (zh) * | 2022-06-17 | 2022-10-11 | 湖南大学 | 一种基于聚类的小样本图像分类两阶段元学习方法 |
| CN115471739A (zh) * | 2022-08-03 | 2022-12-13 | 中南大学 | 基于自监督对比学习的跨域遥感场景分类与检索方法 |
Non-Patent Citations (3)
| Title |
|---|
| WEIDONG LIU 等: "SSKD: Self-Supervised Knowledge Distillation for Cross Domain Adaptive Person Re-Identification", 《2021 7TH IEEE INTERNATIONAL CONFERENCE ON NETWORK INTELLIGENCE AND DIGITAL CONTENT (IC-NIDC)》 * |
| 朱阳光;刘瑞敏;黄琼桃;: "基于深度神经网络的弱监督信息细粒度图像识别", 电子测量与仪器学报, no. 02 * |
| 江昆鹏;闫洪涛;杨红卫;张庆辉;: "改进Mask R-CNN的细粒度车型识别算法", 软件, no. 03 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824274A (zh) * | 2023-08-28 | 2023-09-29 | 江西师范大学 | 小样本细粒度图像分类方法及系统 |
| CN116824274B (zh) * | 2023-08-28 | 2023-11-28 | 江西师范大学 | 小样本细粒度图像分类方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116543269B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
| CN112308158B (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
| CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
| CN109063112B (zh) | 一种基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法 | |
| CN112926396A (zh) | 一种基于双流卷积注意力的动作识别方法 | |
| CN109447123B (zh) | 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法 | |
| CN110188708A (zh) | 一种基于卷积神经网络的人脸表情识别方法 | |
| CN112580590A (zh) | 一种基于多语义特征融合网络的指静脉识别方法 | |
| CN110598018B (zh) | 一种基于协同注意力的草图图像检索方法 | |
| CN113177612B (zh) | 一种基于cnn少样本的农业病虫害图像识别方法 | |
| CN112800876A (zh) | 一种用于重识别的超球面特征嵌入方法及系统 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| US20230162522A1 (en) | Person re-identification method of integrating global features and ladder-shaped local features and device thereof | |
| CN109344856B (zh) | 一种基于多层判别式特征学习的脱机签名鉴别方法 | |
| CN116543269B (zh) | 基于自监督的跨域小样本细粒度图像识别方法及其模型 | |
| CN113255793A (zh) | 一种基于对比学习的细粒度舰船识别方法 | |
| CN112036511A (zh) | 基于注意力机制图卷积神经网络的图像检索方法 | |
| CN113505719B (zh) | 基于局部-整体联合知识蒸馏算法的步态识别模型压缩系统及方法 | |
| CN114579794A (zh) | 特征一致性建议的多尺度融合地标图像检索方法及系统 | |
| CN114329031A (zh) | 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法 | |
| CN114445693A (zh) | 基于知识蒸馏的可持续学习水上障碍物检测系统及方法 | |
| CN114299285A (zh) | 三维点云半自动标注方法、系统、电子设备及存储介质 | |
| CN115631513B (zh) | 基于Transformer的多尺度行人重识别方法 | |
| CN111241326A (zh) | 基于注意力金字塔图网络的图像视觉关系指代定位方法 | |
| CN115100694A (zh) | 一种基于自监督神经网络的指纹快速检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |