CN117036829A - 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统 - Google Patents
一种基于原型学习实现标签增强的叶片细粒度识别方法和系统 Download PDFInfo
- Publication number
- CN117036829A CN117036829A CN202311278518.7A CN202311278518A CN117036829A CN 117036829 A CN117036829 A CN 117036829A CN 202311278518 A CN202311278518 A CN 202311278518A CN 117036829 A CN117036829 A CN 117036829A
- Authority
- CN
- China
- Prior art keywords
- label
- prototype
- image
- training
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000009826 distribution Methods 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims description 16
- 244000068988 Glycine max Species 0.000 claims description 15
- 235000010469 Glycine max Nutrition 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 102100024607 DNA topoisomerase 1 Human genes 0.000 description 1
- 101000830681 Homo sapiens DNA topoisomerase 1 Proteins 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种基于原型学习实现标签增强的叶片细粒度识别方法和系统，包括：构建细粒度叶片分类数据集；将训练图像输入模型并得到最后一层卷积网络输出的特征向量，按照图像类别标签获取每个类的平均特征值；将训练图像输入上述卷积网络，计算其在最后一个卷积层输出的向量与所有原型特征的相似度；将上述相似度结果与输入图像的真实标签进行加权融合，获得软标签；根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新；获取输入图像经过网络分类层输出的预测标签；将预测标签与软标签进行相似度计算，作为损失函数指导整个系统的训练；将待测图像输入训练完成的网络进行分类预测，根据预测的标签分布确定图像类别。
Description
技术领域
本发明涉及计算机视觉识别技术领域，尤其是涉及一种基于原型学习实现标签增强的叶片细粒度识别方法和系统。
背景技术
细粒度图像分类是计算机视觉领域的一个热门方向，无论在工业界还是学术界都有着广泛的研究需求与应用场景。尽管细粒度分类在公开数据集上已取得了较好的性能，但是在实战环境下却常常表现不佳。主要原因在于，公开数据集选取背景简单，目标突出的图像，且像素值较高。在实际场景中，由于背景、天气、光线、遮挡等复杂情况较多，分类性能较差。细粒度图像分析任务相对通用图像任务的区别和难点在于其图像所属类别的粒度更为精细，其子类间差异细微、子类内部差异大。因此，不止对计算机，对人类来说，细粒度图像任务的难度和挑战无疑也十分巨大。
针对叶片的细粒度分类数据集有Flavia、Swedish、ImageCLEF、Leafsnap等等，这些叶片数据来自不同品种的植物。目前已有的算法分别从叶片形状、颜色、叶脉、纹理等角度去区分不同的品种，但是性能不佳。研究人员也将深度学习的方法应用在叶片分类上，取得了比传统机器学习方法更好的效果。
相比于不同品种间的叶片识别，针对某一个品种的植物进行更精细的子品种的分类，其难度更为巨大。目前已有研究人员针对大豆这一物种进行细粒度识别，通过叶片区分出大豆不同的品种。根据公开文献，目前最佳的算法通过卷积网络学习，在公开的大豆叶片数据集SoyCultivar200上细粒度识别算法精度可达到85%左右。但该算法需要同时选取大豆植株上、中、下3张叶片进行识别，效率低下，速度较慢。
发明内容
为解决现有技术的不足，在保证推理速度的前提下提升细粒度识别的性能，本发明提出一种基于原型学习实现标签增强的叶片细粒度识别方法和方法。
一种基于原型学习实现标签增强的叶片细粒度识别方法，包括如下步骤：
S1，构建细粒度叶片分类数据集，并按照8:2划分训练集和测试集；
S2，下载于ImageNet数据集上预训练的卷积网络模型，将所有训练图像输入卷积网络模型并得到卷积网络模型最后一层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库；
S3，将训练图像输入上述卷积网络模型，计算其在最后一个卷积层输出的向量与所有原型特征的相似度；
S4，将上述相似度结果与输入图像的真实标签进行加权融合，获得软标签；
S5，根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新；
S6，获取输入图像经过卷积网络模型的分类层输出的预测标签；
S7，将预测标签与软标签进行相似度计算，作为损失函数指导整个系统的训练；
S8，推理阶段，将待测图像输入训练完成的卷积网络模型进行分类预测，根据预测的标签分布确定图像类别，网络参数大小与推理速度无需增加任何额外成本，在保证灵活性和高速性的情况下，提高了模型的性能。
进一步，步骤S1中构建细粒度叶片分类数据集，具体包括：采集东北地区大豆叶片图像，包括107种大豆品种：每种类别30张图像，共计3210张图像数据。
进一步，步骤S2具体包括：采用ResNet50作为卷积网络模型，将所有训练图像输入卷积网络模型并得到卷积网络模型最后一层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库,n为类别个数，取n=107，特征值维度为2048，/>的维度为/>。
进一步，步骤S3具体包括：将训练图像以batch size（bs）为16、图像大小为输入卷积网络模型中提取图像特征，最后一层卷积层输出/>的图像特征向量/>。
进一步，步骤S4具体包括：
步骤4.1：将步骤3输出的图像特征向量与原型特征库/>相乘，得到两者的余弦相似度，并输入一个kernel size=3的一维卷积网络/>和sigmoid激活层，获得相似度向量/>，其计算公式如下：
（1）
其中相似度向量的维度为/>；
步骤4.2：将相似度标签向量与独热编码的原标签向量/>进行加权融合，获得软标签，其计算公式如下：
（2）
其中独热编码的原标签向量维度为/>，采用超参数/>控制/>的权重。
进一步，步骤S5具体包括：根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新，其更新公式如下：
（3）
其中代表第i个输入对应的原型向量，/>代表第i个输入获取的特征向量，/>作为超参数控制更新速度。
进一步，步骤S6具体包括：将图像特征向量输入分类层，该分类层由一个的全连接层和一个softmax层组成，输出预测标签分布/>，公式表示如下：
（4）
其中预测标签分布的维度为/>，代表16张图各自在107个大豆类别的概率分布情况。
进一步，步骤S7具体包括：计算步骤S6获得的预测标签分布与步骤S4.2获得的软标签分布/>的KL散度，以度量上述两个分布之间的相似度，并作为损失函数指导整个网络的训练，其计算公式如下：
（5）
其中表示第i个输入图像的预测标签，/>表示第i个输入图像的软标签。
进一步，采用Adam优化器，其初始学习率为0.04，当训练epoch达到40、60、80时，将当前学习率乘以0.1，当训练epoch达到100次后，停止训练。本发明还涉及一种基于原型学习实现标签增强的叶片细粒度识别系统，包括如下步骤：
细粒度叶片分类数据集构建模块，用于构建细粒度叶片分类数据集，并按照8:2划分训练集和测试集；
初始原型特征库模块，用于下载于ImageNet数据集上预训练的卷积网络模型，将所有训练图像输入卷积网络模型并得到其最后一个卷积层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库；
原型特征相似度计算模块，用于将训练图像输入上述卷积网络模型，计算其在最后一个卷积层输出的向量与所有原型特征的相似度；
加权融合模块，用于将上述相似度结果与输入图像的真实标签进行加权融合，获得软标签；
迭代更新模块，用于根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新；
软标签相似度计算模块，用于获取输入图像经过网络分类层输出的预测标签，将其与软标签进行相似度计算，作为损失函数指导整个系统的训练；
推理模块，用于将待测图像输入训练完成的卷积网络模型进行分类预测，根据预测的标签分布确定图像类别。
本发明还涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的一种基于原型学习实现标签增强的叶片细粒度识别方法。
本发明还涉及一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本发明的一种基于原型学习实现标签增强的叶片细粒度识别方法。
本发明的优势和有益效果在于：
1. 通过原型学习对真实标签进行强化获取软标签，使标签分布更加拟合类间距离，从而强化模型训练效果；
2. 采用余弦距离计算图像特征与原型特征的相似度，并采用KL散度计算软标签与预测标签的相似度，更有效地模拟两项分布之间的距离，加快网络收敛；
3. 推理阶段，模型参数大小与推理速度无需增加任何额外成本，在保证灵活性和高速性的情况下，提高了模型的性能，在TOP1分类准确率比其他算法提升了2.32%。
附图说明
图1是本发明的系统结构图。
图2是本发明中训练阶段流程图。
图3a-图3c是本发明的分类结果图，其中图3a的类别：SPBX (101)，置信度87%； 图3b的类别：SPBX (123)，置信度86%；图3c的类别：SPBX (123)，置信度83%。
图4是本发明的分类性能对比图。
图5是本发明的系统结构图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
实施例1
如图1、2所示，本发明的一种基于原型学习实现标签增强的叶片细粒度识别方法，包括以下步骤：
步骤1：构建细粒度大豆叶片分类数据集，并按照8:2划分训练集和测试集，具体地，采集东北地区大豆叶片图像，包括107种大豆品种：每种类别30张图像，共计3210张图像数据。
步骤2：下载于ImageNet数据集上预训练的卷积网络模型，本实例采用ResNet50作为卷积网络模型，将所有训练图像输入卷积网络模型并得到卷积网络模型的最后一个卷积层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库,/>为类别个数，本实例/>=107，特征值维度为2048，/>的维度为/>。
步骤3：将训练图像以batch size（bs）为16，图像大小为输入卷积网络模型中提取图像特征，最后一层卷积层输出/>的图像特征向量/>。
步骤4：获取软标签，包括以下子步骤：
步骤4.1：将步骤3输出的图像特征向量与原型特征库/>相乘，得到两者的余弦相似度，并输入一个kernel size=3的一维卷积网络/>和sigmoid激活层，获得相似度向量/>，其计算公式如下：
（1）
其中相似度向量的维度为/>。
步骤4.2：将相似度标签向量与独热编码的原标签向量/>进行加权融合，获得软标签，其计算公式如下：
（2）
其中独热编码的原标签向量维度为/>，采用超参数/>控制/>的权重，本实例/>的取值为4时性能最佳。
步骤5：根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新，其更新公式如下：
（3）
其中代表第i个输入对应的原型向量，/>代表第i个输入获取的特征向量，/>作为超参数控制更新速度，本实施例/>。
步骤6：将图像特征向量输入分类层，该分类层由一个/>的全连接层和一个softmax层组成，输出预测标签分布/>，公式表示如下：
（4）
其中预测标签分布的维度为/>，代表16张图各自在107个大豆类别的概率分布情况。
步骤7：最后计算步骤6获得的预测标签分布与步骤4.2获得的软标签分布/>的KL散度，以度量上述两个分布之间的相似度，并作为损失函数指导整个网络的训练，其计算公式如下：
（5）
本实施例中，bs=16，采用Adam优化器，其初始学习率为0.04，当训练epoch达到40、60、80时，将当前学习率乘以0.1。当训练epoch达到100次后，停止训练。
步骤8：推理阶段，将待测图像输入训练完成的卷积网络模型，根据预测的标签分布确定图像类别，图3a-图3c是本发明的分类结果图。
本实例训练与推理阶段皆采用单卡GPU服务器A100实现。
本发明针对细粒度图像类间差异小的情况，通过捕捉样本图像特征与各原型向量之间的相似度，设计出能拟合类别相似度的软标签，在训练过程中取代独热编码的原标签，从而提高细粒度图像分类的性能，本发明的分类性能对比如图4所示。
实施例2
参照图5，本实施例是用于实现实施例1的方法的一种基于原型学习实现标签增强的叶片细粒度识别系统，包括如下步骤：
细粒度叶片分类数据集构建模块，用于构建细粒度叶片分类数据集，并按照8:2划分训练集和测试集；
初始原型特征库模块，用于下载于ImageNet数据集上预训练的卷积网络模型，将所有训练图像输入模型并得到其最后一个卷积层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库；
原型特征相似度计算模块，用于将训练图像输入上述卷积网络模型，计算其在最后一个卷积层输出的向量与所有原型特征的相似度；
加权融合模块，用于将上述相似度结果与输入图像的真实标签进行加权融合，获得软标签；
迭代更新模块，用于根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新；
软标签相似度计算模块，用于获取输入图像经过卷积网络模型的分类层输出的预测标签，将其与软标签进行相似度计算，作为损失函数指导整个系统的训练；
推理模块，用于将待测图像输入训练完成的卷积网络模型进行分类预测，根据预测的标签分布确定图像类别。
实施例3
本实施例涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现实施例1的一种基于原型学习实现标签增强的叶片细粒度识别方法。
实施例4
本发明还涉及一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现实施例1的一种基于原型学习实现标签增强的叶片细粒度识别方法。
在硬件层面，该计算设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现实施例1所述的方法。当然，除了软件实现方式之外，本发明并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device, PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (12)
1.一种基于原型学习实现标签增强的叶片细粒度识别方法，包括如下步骤：
S1，构建细粒度叶片分类数据集，并按照8:2划分训练集和测试集；
S2，下载于ImageNet数据集上预训练的卷积网络模型，将所有训练图像输入卷积网络模型并得到卷积网络模型的最后一个卷积层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库；
S3，将训练图像输入上述卷积网络模型，计算其在最后一个卷积层输出的向量与所有原型特征的相似度；
S4，将上述相似度结果与输入图像的真实标签进行加权融合，获得软标签；
S5，根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新；
S6，获取输入图像经过卷积网络模型的分类层输出的预测标签；
S7，将预测标签与软标签进行相似度计算，作为损失函数指导整个系统的训练；
S8，推理阶段，将待测图像输入训练完成的卷积网络模型进行分类预测，根据预测的标签分布确定图像类别。
2.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S1中构建细粒度叶片分类数据集，具体包括：采集东北地区大豆叶片图像，包括107种大豆品种：每种类别30张图像，共计3210张图像数据。
3.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S2具体包括：采用ResNet50作为卷积网络模型，将所有训练图像输入卷积网络模型并得到其最后一个卷积层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库,/>为类别个数，取/>，特征值维度为2048，/>的维度为/>。
4.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S3具体包括：将训练图像以batch size（bs）为16、图像大小为输入卷积网络模型中提取图像特征，最后一个卷积层输出/>的图像特征向量/>。
5.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S4具体包括：
步骤4.1：将步骤S3输出的图像特征向量与原型特征库/>相乘，得到两者的余弦相似度，并输入一个kernel size=3的一维卷积网络/>和sigmoid激活层，获得相似度向量/>，其计算公式如下：
（1）
其中相似度向量的维度为/>；
步骤4.2：将相似度标签向量与独热编码的原标签向量/>进行加权融合，获得软标签，其计算公式如下：
（2）
其中独热编码的原标签向量维度为/>，采用超参数/>控制/>的权重。
6.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S5具体包括：根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新，其更新公式如下：
（3）
其中代表第/>个输入对应的原型向量，/>代表第/>个输入获取的特征向量，/>作为超参数控制更新速度。
7.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S6具体包括：将图像特征向量输入分类层，该分类层由一个/>的全连接层和一个softmax层组成，输出预测标签分布/>，公式表示如下：
（4）
其中预测标签分布的维度为/>，代表16张图各自在107个大豆类别的概率分布情况。
8.如权利要求5所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S7具体包括：计算步骤S6获得的预测标签分布与步骤S4.2获得的软标签分布/>的KL散度，以度量上述两个分布之间的相似度，并作为损失函数指导整个网络的训练，其计算公式如下：
（5）
其中表示第i个输入图像的预测标签，/>表示第i个输入图像的软标签。
9.如权利要求8所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：采用Adam优化器，其初始学习率为0.04，当训练epoch达到40、60、80时，将当前学习率乘以0.1，当训练epoch达到100次后，停止训练。
10.一种基于原型学习实现标签增强的叶片细粒度识别系统，包括如下步骤：
细粒度叶片分类数据集构建模块，用于构建细粒度叶片分类数据集，并按照8:2划分训练集和测试集；
初始原型特征库模块，用于下载于ImageNet数据集上预训练的卷积网络模型，将所有训练图像输入卷积网络模型并得到最后一层卷积网络输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库；
原型特征相似度计算模块，用于将训练图像输入上述卷积网络模型，计算其在最后一个卷积层输出的向量与所有原型特征的相似度；
加权融合模块，用于将上述相似度结果与输入图像的真实标签进行加权融合，获得软标签；
迭代更新模块，用于根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新；
软标签相似度计算模块，用于获取输入图像经过网络分类层输出的预测标签，将其与软标签进行相似度计算，作为损失函数指导整个系统的训练；
推理模块，用于将待测图像输入训练完成的卷积网络模型进行分类预测，根据预测的标签分布确定图像类别。
11.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-9之一所述的一种基于原型学习实现标签增强的叶片细粒度识别方法。
12.一种计算设备，其特征在于，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9之一所述的一种基于原型学习实现标签增强的叶片细粒度识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311278518.7A CN117036829A (zh) | 2023-10-07 | 2023-10-07 | 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311278518.7A CN117036829A (zh) | 2023-10-07 | 2023-10-07 | 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117036829A true CN117036829A (zh) | 2023-11-10 |
Family
ID=88632070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311278518.7A Pending CN117036829A (zh) | 2023-10-07 | 2023-10-07 | 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036829A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746193A (zh) * | 2024-02-21 | 2024-03-22 | 之江实验室 | 一种标签优化方法、装置、存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067294A (zh) * | 2022-01-18 | 2022-02-18 | 之江实验室 | 一种基于文本特征融合的细粒度车辆识别系统及方法 |
| CN115830324A (zh) * | 2022-12-08 | 2023-03-21 | 武汉大学 | 基于候选标签集的语义分割域适应标签纠正方法及装置 |
| CN116563602A (zh) * | 2023-04-04 | 2023-08-08 | 浙江工业大学 | 基于类别级软目标监督的细粒度图像分类模型训练方法 |
-
2023
- 2023-10-07 CN CN202311278518.7A patent/CN117036829A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067294A (zh) * | 2022-01-18 | 2022-02-18 | 之江实验室 | 一种基于文本特征融合的细粒度车辆识别系统及方法 |
| CN115830324A (zh) * | 2022-12-08 | 2023-03-21 | 武汉大学 | 基于候选标签集的语义分割域适应标签纠正方法及装置 |
| CN116563602A (zh) * | 2023-04-04 | 2023-08-08 | 浙江工业大学 | 基于类别级软目标监督的细粒度图像分类模型训练方法 |
Non-Patent Citations (1)
| Title |
|---|
| YIYI ZHANG 等: "Leaf Cultivar Identification via Prototype-enhanced Learning", ARXIV:2305.03351, pages 1 - 15 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746193A (zh) * | 2024-02-21 | 2024-03-22 | 之江实验室 | 一种标签优化方法、装置、存储介质及电子设备 |
| CN117746193B (zh) * | 2024-02-21 | 2024-05-10 | 之江实验室 | 一种标签优化方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116205290B (zh) | 一种基于中间特征知识融合的知识蒸馏方法和装置 | |
| CN112990375B (zh) | 一种模型训练方法、装置、存储介质及电子设备 | |
| CN112308113A (zh) | 一种基于半监督的目标识别方法、设备及介质 | |
| CN109934253B (zh) | 一种对抗样本生成方法及装置 | |
| CN116304720B (zh) | 一种代价模型训练的方法、装置、存储介质及电子设备 | |
| CN117036829A (zh) | 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统 | |
| CN115712866B (zh) | 数据处理方法、装置及设备 | |
| CN113887325A (zh) | 一种模型训练方法、表情识别方法以及装置 | |
| CN116805393A (zh) | 一种基于3DUnet光谱-空间信息融合的高光谱图像分类方法和系统 | |
| CN115618964A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN117197781B (zh) | 一种交通标志识别的方法、装置、存储介质及电子设备 | |
| CN117011718B (zh) | 一种基于多元损失融合的植物叶片细粒度识别方法和系统 | |
| CN115830633B (zh) | 基于多任务学习残差神经网络的行人重识别方法和系统 | |
| CN116630480B (zh) | 一种交互式文本驱动图像编辑的方法、装置和电子设备 | |
| CN116434787B (zh) | 一种语音情感识别的方法、装置、存储介质及电子设备 | |
| CN110991496B (zh) | 一种训练模型的方法及装置 | |
| CN116308738B (zh) | 一种模型训练的方法、业务风控的方法及装置 | |
| CN116363418A (zh) | 一种训练分类模型的方法、装置、存储介质及电子设备 | |
| CN111242195B (zh) | 模型、保险风控模型训练方法、装置及电子设备 | |
| CN109325127B (zh) | 一种风险识别方法和装置 | |
| CN111539520A (zh) | 增强深度学习模型鲁棒性的方法及装置 | |
| CN112115952B (zh) | 一种基于全卷积神经网络的图像分类方法、设备及介质 | |
| CN118470752B (zh) | 基于注意力机制和特征融合策略的行人重识别方法和装置 | |
| CN117036869B (zh) | 一种基于多样性和随机策略的模型训练方法及装置 | |
| CN118673959B (zh) | 一种混合精度量化方法、装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20231110 |