CN114548256A - 一种基于对比学习的小样本珍稀鸟类识别方法 - Google Patents

一种基于对比学习的小样本珍稀鸟类识别方法 Download PDF

Info

Publication number
CN114548256A
CN114548256A CN202210148817.8A CN202210148817A CN114548256A CN 114548256 A CN114548256 A CN 114548256A CN 202210148817 A CN202210148817 A CN 202210148817A CN 114548256 A CN114548256 A CN 114548256A
Authority
CN
China
Prior art keywords
image
images
training
model
rare
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210148817.8A
Other languages
English (en)
Inventor
杨赛
胡彬
周伯俊
杨慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202210148817.8A priority Critical patent/CN114548256A/zh
Publication of CN114548256A publication Critical patent/CN114548256A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于对比学习的小样本珍稀鸟类识别方法，该方法首先收集普通鸟类图像构建预训练图像数据集，然后在预训练图像数据集随机抽取一批图像输入到预训练模型中，提取正例图像样本和负例图像样本的投影向量特征，计算正例图像样本特征与负例图像样本特征之间的对比损失函数，利用梯度下降法完成预训练过程。接下来固定预训练模型中主干神经网络的参数，移除投影器并添加线性分类器以及Softmax层，利用收集的珍稀鸟类图像使用交叉损失函数对线性分类器参数进行优化，完成识别模型的训练，最后利用识别模型对珍稀鸟类图像进行在线分类识别。该方法通过对比学习对卷积神经网络进行训练来提高网络的迁移性，从而提高小样本珍稀鸟类识别方法的性能。

Description

一种基于对比学习的小样本珍稀鸟类识别方法
技术领域
本发明涉及一种基于对比学习的小样本珍稀鸟类识别方法，属于计算机视觉技术领域。
背景技术
鸟类是人类赖以生存的自然生态系统中的重要组成部，也是人类的朋友。它们在控制害虫以及维持自然界的生态平衡方面具有有着十分重要的作用。然而，随着全球经济现代化的快速发展，人类的居住环境却不断发生恶化，这也造成大量鸟类的栖息环境遭到破坏。特别是对生态环境和栖息环境更加苛刻的珍稀鸟类，面临着濒临灭绝的风险，因此对珍稀鸟类开展保护迫在眉睫。
对珍稀鸟类进行分类识别是开展珍稀鸟类保护行动的首要重要环节。珍稀鸟类的自动识别能够节省大量的人工成本，能够大幅提高珍稀鸟类保护的效率。珍稀鸟类识别是鸟类识别的分支，属于计算机视觉领域中的细粒度分类任务。目前细粒度分类方法根据模型在训练时所使用的人工标注信息量不同，被分为基于强监督信息的分类模型和基于弱监督信息的分类模型。强监督的细粒度图像分类算法在模型训练的时候，除了图像的类别标签外，还使用了标注框、局部区域位置等额外的人工标注信息。例如，Part R-CNN利用R-CNN算法检测分类对象(鸟)以及局部区域(头、身体等)，并建立关于标注点位置的几何约束，将局部区域检测的结果约束在分类对象检测的一定范围内。由于标注信息的获取代价十分昂贵，严重限制了基于强监督信息的分类模型的实际应用。仅仅使用类别标签完成分类的弱监督方法可以克服上述缺点，例如，Fu等提出递归注意力卷积神经网络，主要包含分类子网络和注意力区域子网络，并利用相互增强的方式递归地学习有区别性的注意力区域以及多尺度特征表示；Zheng等提出的多注意力卷积网络同样是采用相互增强的方式产生更精确的判别性部位和更好的特征表示，该网络由卷积、通道分组和部位定位三个子网络组成，通道分组网络将卷积层的特征通道作为输入，使用聚类方法产成多个局部区域。
然而，由于珍稀鸟类数量非常稀有，需要大量的训练样本进行模型训练的强监督信息和弱监督信息的方法都无法适用。为此，刘佶鑫等(刘佶鑫，陈秀梅，朱广信.一种基于部件级多特征融合的珍稀鸟类稀疏识别方法.申请号：201811143808.X)公开了一种基于部件级多特征融合的珍稀鸟类稀疏识别方法，该方法提取鸟类的头、身体及目标框三部分信息的颜色、全局及局部特征，使用稀疏表示分类器完成珍稀鸟类的分类识别。该方法中虽然不借助大量的计算资源训练神经网络，但是该方法中所使用的HoG特征为传统的人工设计特征，其性能要远远低于深度卷积网络所提取的高层语义特征，分类识别性能也将随之大大降低。为了克服现在技术中存在的问题，本发明公开了一种基于对比学习的小样本珍稀鸟类识别方法，该方法通过对比学习对卷积神经网络进行训练来提高网络的迁移性，能够使得卷积神经网络在珍稀鸟类样本很少的情况下完成分类识别，同时又能够有效利用卷积网络强大的特征提取能力，从而提高小样本珍稀鸟类识别方法的性能。
发明内容
针对上述现有技术存在的问题，本发明提供一种基于对比学习的小样本珍稀鸟类识别方法，从而解决上述技术问题。
为了实现上述目的，本发明采用的技术方案是：一种基于对比学习的小样本珍稀鸟类识别方法，包括以下步骤；
S1：普通鸟类图像的收集，利用多个图像搜索引擎爬取大量普通鸟类的图像，构建预训练图像数据集Ipretrain；
S2：预训练模型的构建，该预训练模型包括图像增强模块、编码器和投影器；
S3：预训练模型的训练，在预训练图像数据集Ipretrain中随机抽取一批普通鸟类图像输入到预训练模型中，经过图像增强模块构建每幅图像的正例样本，其它图像样本则作为负例图像样本，将所有的正例图像样本和负例图像样本输入到编码器中提取特征，然后投影器将其转化为投影向量特征，计算正例图像样本特征与负例图像样本特征之间的对比损失函数，利用梯度下降法对编码器和投影器中的参数进行优化，对上述步骤重复多次，直到到达最大迭代次数，预训练过程结束；
S4：珍稀鸟类图像的收集，利用多个图像搜索引擎爬取10类珍稀鸟类图像，对搜索的图像进行人工筛选，每种类别中保留5幅质量良好的图像，并对其类别标签进行人工标注，从而完成珍稀鸟类识别的训练图像数据集Itrain的构建；
S5：识别模型的构建以及训练，固定预训练模型中编码器的参数，移除投影器并添加线性分类器以及Softmax层，从训练图像数据集Itrain随机抽取一批珍稀鸟类图像输入到识别模型中，利用预训练模型得到图像特征，然后经过线性分类器后得到图像所属类别的概率预测值，计算该概率输出值与人工标签值之间的损失函数，利用梯度下降法对线性分类器中的参数进行优化，对上述步骤重复多次，直到到达最大迭代次数，识别模型的训练过程结束；
S6：珍稀鸟类图像的测试，固定识别模型中的编码器和分类器中的参数，将在线采集到的珍稀鸟类图像输入到识别模型中得到珍稀鸟类图像的类别值。
进一步的，所述步骤S2中预训练模型的构建具体步骤如下：
S21：预训练模型中的图像增强模块表示为T(·)，对输入图像进行增强操作；
S22：预训练模型中的编码器表示为Nθ(·)，其中θ为参数，该网络为Resnet34，该网络的初始层为一层卷积层和最大池化层，卷积层中具有64个7×7卷积核，步长为2，最大池化层中滤波器的大小3×3，步长为2；网络的第1层、2层、3层和4层分别含有3、4、6、3个残差块，四个残差块中分别具有64，128，256以及512个通道；
S23：预训练模型中的投影器表示为
Figure BDA0003509772970000031
其中
Figure BDA0003509772970000032
为参数，为多层全连接层。
进一步的，所述步骤S3中预训练模型的训练的具体步骤如下：
S31：在预训练图像数据集Ipretrain中随机抽取M幅普通鸟类图像，第m幅图像被表示为Im；
S32：图像增强模块对M幅图像进行图像操作将其扩展为2M幅图像，此处图像增强操作为对图像先进行颜色抖动，然后对其进行水平翻转，其中颜色抖动将图像从RGB颜色空间变换到HSV颜色空间，对图像在HSV颜色空间改变图像的色调、饱和度和明度，再将变换后的图像转到RGB空间，而水平翻转操作将图像的左右部分以图像垂直中轴线为中心进行镜像对换，第m幅图像被表示为Im经过图像增强模块后的图像表示为
Figure BDA0003509772970000041
则图像Im和
Figure BDA0003509772970000042
为一对正例图像样本，其余图像则成为图像Im的负例样本图像，第n幅负例样本图像表示为In；
S33：将正例图像样本和负例图像样本输入到预训练模型的编码器中提取特征，第m幅图像Im及其正例样本图像
Figure BDA0003509772970000043
的特征表示为Nθ(Im)和
Figure BDA0003509772970000044
第n幅负例样本图像In的特征表示为Nθ(In)；
S34：将正例图像样本和负例图像样本输入到预训模型的投影器得到图像的投影特征向量，第m幅图像Im及其正例样本图像
Figure BDA0003509772970000045
的投影特征表示为
Figure BDA0003509772970000046
和
Figure BDA0003509772970000047
第n幅负例样本图像In的特征表示为
Figure BDA0003509772970000048
S35：正例图像样本特征与负例图像样本特征之间的对比学习损失函数的计算公式为：
Figure BDA0003509772970000049
其中S[·]计算两个图像特征之间的相似性，其计算公式为：
Figure BDA00035097729700000410
Figure BDA00035097729700000411
S36：利用梯度下降法对编码器和投影器中的参数θ和
Figure BDA00035097729700000412
进行优化，对上述步骤重复多次，直到到达最大迭代次数，预训练过程结束。
进一步的，所述步骤S5识别模型的构建以及训练的具体步骤如下；
S51：固定预训练模型中编码器中的参数，移除投影器并添加线性分类器以及Softmax层，线性分类器表示为Lw(·)，其中w表示参数；
S52：从训练图像数据集Itrain随机抽取一批珍稀鸟类图像输入到识别模型中，第p幅图像表示为Ip，利用预训练模型得到图像特征表示为Nθ(Ip)；
S53：线性分类器以及Softmax层将特征转化图像所属珍稀鸟类类别的概率预测值的计算公式为：
Figure BDA0003509772970000051
Lw(Nθ(Ip))q表示线性分类器Lw(·)对图像特征计算分类分值的第q个分类，ppq表示类别概率预测值的第q个分量，而
Figure BDA0003509772970000052
表示珍稀鸟类的类别；
S54：概率输出值与人工标签值之间的交叉熵损失函数的计算公式为：
LCE(w)＝∑pypqppq (5)；
ypq表示图像Ip人工标签值的第q个分量。
进一步的，所述步骤S6珍稀鸟类图像的测试的具体步骤如下；
S61：固定识别模型中的编码器和分类器中的参数θ和w；
S62：在线采集到的珍稀鸟类图像表示为x，输入到识别模型中的主干网络得到的特征表示为Nθ(x)，然后经过线性分类器以及Softmax层得到该图像所属的珍稀鸟类类别。
本发明的有益效果是：本发明通过公开一种基于对比学习的小样本珍稀鸟类识别方法，该方法通过对比学习对卷积神经网络进行训练来提高网络的迁移性，能够使得卷积神经网络在珍稀鸟类样本很少的情况下完成分类识别，同时又能够有效利用卷积网络强大的特征提取能力，从而提高小样本珍稀鸟类识别方法的性能。
附图说明
图1为本发明的方法流程示意图；
图2为本发明的预训练模中编码器架构示意图；
图3为本发明的普通鸟类的示例图；
图4为本发明的珍稀鸟类示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。
除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
如图1实施例所示，其为一种基于对比学习的小样本珍稀鸟类识别方法，包括以下步骤；
S1：普通鸟类图像的收集，利用多个图像搜索引擎爬取大量普通鸟类的图像，构建预训练图像数据集Ipretrain；这些普通鸟类按照生活习性和外形特征可分为八大类，每大类的示例图片如图3所示；
S2：预训练模型的构建，该预训练模型包括图像增强模块、编码器和投影器；预训练模型中的图像增强模块表示为T(·)，对输入图像进行增强操作；编码器的架构图如图2所示，预训练模型中的编码器表示为Nθ(·)，其中θ为参数，该网络为Resnet34，该网络的初始层为一层卷积层和最大池化层，卷积层中具有64个7×7卷积核，步长为2，最大池化层中滤波器的大小3×3，步长为2；网络的第1层、2层、3层和4层分别含有3、4、6、3个残差块，四个残差块中分别具有64，128，256以及512个通道；预训练模型中的投影器表示为
Figure BDA0003509772970000071
其中
Figure BDA0003509772970000072
为参数，为多层全连接层。
S3：预训练模型的训练；
S31：在预训练图像数据集Ipretrain中随机抽取M幅普通鸟类图像，第m幅图像被表示为Im；
S32：图像增强模块对M幅图像进行图像操作将其扩展为2M幅图像，此处图像增强操作为对图像先进行颜色抖动，然后对其进行水平翻转，其中颜色抖动将图像从RGB颜色空间变换到HSV颜色空间，对图像在HSV颜色空间改变图像的色调、饱和度和明度，再将变换后的图像转到RGB空间，而水平翻转操作将图像的左右部分以图像垂直中轴线为中心进行镜像对换，第m幅图像被表示为Im经过图像增强模块后的图像表示为
Figure BDA0003509772970000073
则图像Im和
Figure BDA0003509772970000074
为一对正例图像样本，其余图像则成为图像Im的负例样本图像，第n幅负例样本图像表示为In；
S33：将正例图像样本和负例图像样本输入到预训练模型的编码器中提取特征，第m幅图像Im及其正例样本图像
Figure BDA0003509772970000075
的特征表示为Nθ(Im)和
Figure BDA0003509772970000076
第n幅负例样本图像In的特征表示为Nθ(In)；
S34：将正例图像样本和负例图像样本输入到预训模型的投影器得到图像的投影特征向量，第m幅图像Im及其正例样本图像
Figure BDA0003509772970000077
的投影特征表示为
Figure BDA0003509772970000078
和
Figure BDA0003509772970000079
第n幅负例样本图像In的特征表示为
Figure BDA00035097729700000710
S35：正例图像样本特征与负例图像样本特征之间的对比学习损失函数的计算公式为：
Figure BDA00035097729700000711
(1)；
其中S[·]计算两个图像特征之间的相似性，其计算公式为：
Figure BDA0003509772970000081
Figure BDA0003509772970000082
S36：利用梯度下降法对编码器和投影器中的参数θ和
Figure BDA0003509772970000083
进行优化，对上述步骤重复多次，直到到达最大迭代次数，预训练过程结束。
S4:珍稀鸟类图像的收集,利用多个图像搜索引擎爬取10类珍稀鸟类图像，对搜索的图像进行人工筛选，每种类别中保留5幅质量良好的图像，并对其类别标签进行人工标注，从而完成珍稀鸟类识别的训练图像数据集Itrain的构建；珍稀鸟类的示例图片如图4所示；
S5：识别模型的构建以及训练；
S51：固定预训练模型中编码器中的参数，移除投影器并添加线性分类器以及Softmax层，线性分类器表示为Lw(·)，其中w表示参数；
S52：从训练图像数据集Itrain随机抽取一批珍稀鸟类图像输入到识别模型中，第p幅图像表示为Ip，利用预训练模型得到图像特征表示为Nθ(Ip)；
S53：线性分类器以及Softmax层将特征转化图像所属珍稀鸟类类别的概率预测值的计算公式为：
Figure BDA0003509772970000084
Lw(Nθ(Ip))q表示线性分类器Lw(·)对图像特征计算分类分值的第q个分类，ppq表示类别概率预测值的第q个分量，而
Figure BDA0003509772970000091
表示珍稀鸟类的类别；
S54：概率输出值与人工标签值之间的交叉熵损失函数的计算公式为：
LCE(w)＝∑pypqppq (5)；
ypq表示图像Ip人工标签值的第q个分量。
S6：珍稀鸟类图像的测试，固定识别模型中的编码器和分类器中的参数，将在线采集到的珍稀鸟类图像输入到识别模型中得到珍稀鸟类图像的类别值。
S61：固定识别模型中的编码器和分类器中的参数θ和w；
S62：在线采集到的珍稀鸟类图像表示为x，输入到识别模型中的主干网络得到的特征表示为Nθ(x)，然后经过线性分类器以及Softmax层得到该图像所属的珍稀鸟类类别。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于对比学习的小样本珍稀鸟类识别方法，其特征在于，包括以下步骤；
S1：普通鸟类图像的收集，利用多个图像搜索引擎爬取大量普通鸟类的图像，构建预训练图像数据集Ipretrain；
S2：预训练模型的构建，该预训练模型包括图像增强模块、编码器和投影器；
S3：预训练模型的训练，在预训练图像数据集Ipretrain中随机抽取一批普通鸟类图像输入到预训练模型中，经过图像增强模块构建每幅图像的正例样本，其它图像样本则作为负例图像样本，将所有的正例图像样本和负例图像样本输入到编码器中提取特征，然后投影器将其转化为投影向量特征，计算正例图像样本特征与负例图像样本特征之间的对比损失函数，利用梯度下降法对编码器和投影器中的参数进行优化，对上述步骤重复多次，直到到达最大迭代次数，预训练过程结束；
S4：珍稀鸟类图像的收集，利用多个图像搜索引擎爬取10类珍稀鸟类图像，对搜索的图像进行人工筛选，每种类别中保留5幅质量良好的图像，并对其类别标签进行人工标注，从而完成珍稀鸟类识别的训练图像数据集Itrain的构建；
S5：识别模型的构建以及训练，固定预训练模型中编码器的参数，移除投影器并添加线性分类器以及Softmax层，从训练图像数据集Itrain随机抽取一批珍稀鸟类图像输入到识别模型中，利用预训练模型得到图像特征，然后经过线性分类器后得到图像所属类别的概率预测值，计算该概率输出值与人工标签值之间的损失函数，利用梯度下降法对线性分类器中的参数进行优化，对上述步骤重复多次，直到到达最大迭代次数，识别模型的训练过程结束；
S6：珍稀鸟类图像的测试，固定识别模型中的编码器和分类器中的参数，将在线采集到的珍稀鸟类图像输入到识别模型中得到珍稀鸟类图像的类别值。
2.根据权利要求1所述的一种基于对比学习的小样本珍稀鸟类识别方法，其特征在于，所述步骤S2中预训练模型的构建具体步骤如下：
S21：预训练模型中的图像增强模块表示为T(·)，对输入图像进行增强操作；
S22：预训练模型中的编码器表示为Nθ(·)，其中θ为参数，该网络为Resnet34，该网络的初始层为一层卷积层和最大池化层，卷积层中具有64个7×7卷积核，步长为2，最大池化层中滤波器的大小3×3，步长为2；网络的第1层、2层、3层和4层分别含有3、4、6、3个残差块，四个残差块中分别具有64，128，256以及512个通道；
S23：预训练模型中的投影器表示为
Figure FDA0003509772960000021
其中
Figure FDA0003509772960000022
为参数，为多层全连接层。
3.根据权利要求1所述的一种基于对比学习的小样本珍稀鸟类识别方法，其特征在于，所述步骤S3中预训练模型的训练的具体步骤如下：
S31：在预训练图像数据集Ipretrain中随机抽取M幅普通鸟类图像，第m幅图像被表示为Im；
S32：图像增强模块对M幅图像进行图像操作将其扩展为2M幅图像，此处图像增强操作为对图像先进行颜色抖动，然后对其进行水平翻转，其中颜色抖动将图像从RGB颜色空间变换到HSV颜色空间，对图像在HSV颜色空间改变图像的色调、饱和度和明度，再将变换后的图像转到RGB空间，而水平翻转操作将图像的左右部分以图像垂直中轴线为中心进行镜像对换，第m幅图像被表示为Im经过图像增强模块后的图像表示为
Figure FDA0003509772960000023
则图像Im和
Figure FDA0003509772960000024
为一对正例图像样本，其余图像则成为图像Im的负例样本图像，第n幅负例样本图像表示为In；
S33：将正例图像样本和负例图像样本输入到预训练模型的编码器中提取特征，第m幅图像Im及其正例样本图像
Figure FDA0003509772960000025
的特征表示为Nθ(Im)和
Figure FDA0003509772960000026
第n幅负例样本图像In的特征表示为Nθ(In)；
S34：将正例图像样本和负例图像样本输入到预训模型的投影器得到图像的投影特征向量，第m幅图像Im及其正例样本图像
Figure FDA0003509772960000027
的投影特征表示为
Figure FDA0003509772960000028
和
Figure FDA0003509772960000029
第n幅负例样本图像In的特征表示为
Figure FDA00035097729600000210
S35：正例图像样本特征与负例图像样本特征之间的对比学习损失函数的计算公式为：
Figure FDA00035097729600000211
其中S[·]计算两个图像特征之间的相似性，其计算公式为：
Figure FDA0003509772960000031
Figure FDA0003509772960000032
S36：利用梯度下降法对编码器和投影器中的参数θ和
Figure FDA0003509772960000033
进行优化，对上述步骤重复多次，直到到达最大迭代次数，预训练过程结束。
4.根据权利要求1所述的一种基于对比学习的小样本珍稀鸟类识别方法，其特征在于，所述步骤S5识别模型的构建以及训练的具体步骤如下；
S51：固定预训练模型中编码器中的参数，移除投影器并添加线性分类器以及Softmax层，线性分类器表示为Lw(·)，其中w表示参数；
S52：从训练图像数据集Itrain随机抽取一批珍稀鸟类图像输入到识别模型中，第p幅图像表示为Ip，利用预训练模型得到图像特征表示为Nθ(Ip)；
S53：线性分类器以及Softmax层将特征转化图像所属珍稀鸟类类别的概率预测值的计算公式为：
Figure FDA0003509772960000034
Lw(Nθ(Ip))q表示线性分类器Lw(·)对图像特征计算分类分值的第q个分量，ppq表示类别概率预测值的第q个分量，而q∈Q＝10表示珍稀鸟类的类别；
S54：概率输出值与人工标签值之间的交叉熵损失函数的计算公式为：
LCE(w)＝∑pypqppq (5)；
ypq表示图像Ip人工标签值的第q个分量。
5.根据权利要求1所述的一种基于对比学习的小样本珍稀鸟类识别方法，其特征在于，所述步骤S6珍稀鸟类图像的测试的具体步骤如下；
S61：固定识别模型中的编码器和分类器中的参数θ和w；
S62：在线采集到的珍稀鸟类图像表示为x，输入到识别模型中的主干网络得到的特征表示为Nθ(x)，然后经过线性分类器以及Softmax层得到该图像所属的珍稀鸟类类别。
CN202210148817.8A 2022-02-18 2022-02-18 一种基于对比学习的小样本珍稀鸟类识别方法 Withdrawn CN114548256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210148817.8A CN114548256A (zh) 2022-02-18 2022-02-18 一种基于对比学习的小样本珍稀鸟类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210148817.8A CN114548256A (zh) 2022-02-18 2022-02-18 一种基于对比学习的小样本珍稀鸟类识别方法

Publications (1)

Publication Number Publication Date
CN114548256A true CN114548256A (zh) 2022-05-27

Family

ID=81674765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210148817.8A Withdrawn CN114548256A (zh) 2022-02-18 2022-02-18 一种基于对比学习的小样本珍稀鸟类识别方法

Country Status (1)

Country Link
CN (1) CN114548256A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035288A (zh) * 2022-08-10 2022-09-09 菲特（天津）检测技术有限公司 一种广义少样本目标检测的优化梯度方法及系统
CN115240036A (zh) * 2022-09-22 2022-10-25 武汉珈鹰智能科技有限公司 一种裂缝图像识别网络的训练方法、应用方法及存储介质
CN116612335A (zh) * 2023-07-18 2023-08-18 贵州大学 一种基于对比学习的少样本细粒度图像分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035288A (zh) * 2022-08-10 2022-09-09 菲特（天津）检测技术有限公司 一种广义少样本目标检测的优化梯度方法及系统
CN115240036A (zh) * 2022-09-22 2022-10-25 武汉珈鹰智能科技有限公司 一种裂缝图像识别网络的训练方法、应用方法及存储介质
CN116612335A (zh) * 2023-07-18 2023-08-18 贵州大学 一种基于对比学习的少样本细粒度图像分类方法
CN116612335B (zh) * 2023-07-18 2023-09-19 贵州大学 一种基于对比学习的少样本细粒度图像分类方法

Similar Documents

Publication Publication Date Title
CN110956185B (zh) 一种图像显著目标的检测方法
Tang et al. Learning to compose dynamic tree structures for visual contexts
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN110458844B (zh) 一种低光照场景的语义分割方法
CN111783831B (zh) 基于多源多标签共享子空间学习的复杂图像精确分类方法
CN105205448B (zh) 基于深度学习的文字识别模型训练方法和识别方法
CN114548256A (zh) 一种基于对比学习的小样本珍稀鸟类识别方法
CN110033007B (zh) 基于深度姿态预估和多特征融合的行人衣着属性识别方法
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN107818302A (zh) 基于卷积神经网络的非刚性多尺度物体检测方法
CN112036276B (zh) 一种人工智能视频问答方法
CN111898736A (zh) 基于属性感知的高效行人重识别方法
CN109886161A (zh) 一种基于可能性聚类和卷积神经网络的道路交通标识识别方法
CN109829414B (zh) 一种基于标签不确定性和人体组件模型的行人再识别方法
CN110956158A (zh) 一种基于教师学生学习框架的遮挡行人再标识方法
CN114821014A (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
Ukwuoma et al. Animal species detection and classification framework based on modified multi-scale attention mechanism and feature pyramid network
CN115375951A (zh) 一种基于图元迁移网络的小样本高光谱图像分类方法
CN112183464A (zh) 基于深度神经网络和图卷积网络的视频行人识别方法
CN116977633A (zh) 地物要素分割模型训练方法、地物要素分割方法及装置
CN114913409A (zh) 一种面向海洋生物的伪装目标识别方法
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
Quiroga et al. A study of convolutional architectures for handshape recognition applied to sign language
Wang et al. Color names learning using convolutional neural networks
CN116912550A (zh) 一种基于地物依赖关系的异构卷积网络遥感影像土地利用并行分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220527

WW01 Invention patent application withdrawn after publication