CN114998748A - 遥感图像目标精细识别方法、电子设备及存储介质 - Google Patents

遥感图像目标精细识别方法、电子设备及存储介质 Download PDF

Info

Publication number
CN114998748A
CN114998748A CN202210900842.7A CN202210900842A CN114998748A CN 114998748 A CN114998748 A CN 114998748A CN 202210900842 A CN202210900842 A CN 202210900842A CN 114998748 A CN114998748 A CN 114998748A
Authority
CN
China
Prior art keywords
target
similarity
remote sensing
sensing image
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210900842.7A
Other languages
English (en)
Other versions
CN114998748B (zh
Inventor
金世超
鲁俊喆
贺广均
邓岳
冯鹏铭
梁银川
张昊东
王勇
刘世烁
杨志才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Satellite Information Engineering
Original Assignee
Beijing Institute of Satellite Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Satellite Information Engineering filed Critical Beijing Institute of Satellite Information Engineering
Priority to CN202210900842.7A priority Critical patent/CN114998748B/zh
Publication of CN114998748A publication Critical patent/CN114998748A/zh
Application granted granted Critical
Publication of CN114998748B publication Critical patent/CN114998748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种遥感图像目标精细识别方法、电子设备及存储介质，以遥感图像提取的目标特征向量作为输入，充分利用其中编码的多实例信息，将同一幅图片上各实例的相似度信息进行对比学习，结合粗粒度的任意目标检测网络进行端到端的训练，而无需额外设计，通过已知的目标类别标签应用于分类损失以训练相似度计算网络；同时应用于对比损失，增大相同细粒度类别实例之间的相似度，而削减不同细粒度类别实例之间的相似度，增强了模型对实例之间的辨别区分能力。

Description

遥感图像目标精细识别方法、电子设备及存储介质
技术领域
本发明涉及一种遥感图像目标精细识别方法、电子设备及存储介质。
背景技术
遥感图像目标检测在农林牧渔、交通、国防等领域有着广泛的应用前景。受益于深度卷积神经网络和高性能计算技术的发展，深度学习方法相对于传统图像处理方法能够有效提升遥感图像目标检测与识别的精度，但其对于遥感图像中的目标精细识别，即目标的细粒度分类还存在较大困难。
现有的主流的目标检测器均利用深度学习网络作为其骨干和检测网络，分别从输入图像中提取特征，进行分类和定位。目标检测方法通常分为两类：一类是two-stage检测器，先由算法生成一系列作为样本的候选框，然后再在候选框层面上进一步做分类与位置回归，最具代表性的是Faster R-CNN。另一种是one-stage检测器，其直接回归得到不同目标的类别与位置，如YOLO、SSD。一般而言，two-stage检测器具有较高的定位和目标识别精度，而one-stage检测器具有较高的推理速度。
对细粒度识别模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息的分类模型”两大类。前者为了提升模型对目标高辨识力区域的学习能力，在图像目标框和目标类别标签基础上，还使用了重要部位标注点等额外的人工标注信息，但由于重要部位标注点等信息的人工标注相当繁重，因此，目前细粒度识别模型多聚焦于仅基于图像层面的弱监督标注信息进行学习。
细粒度识别由于其数据集规模通常较小，并且具有类内差异大和类间差异细微等特点，与常规的目标检测任务相比，其更具有挑战性。进行细粒度识别的方法可粗略分为两类：基于图像重要区域定位的方法：该方法致力于利用弱监督信息寻找图像中有判别力的区域，较为典型的方法采用区域候选网络（RPN）来在目标上提取有识别力的区域并提取特征，然后利用它们与类别标签的一致性提高分类精度；基于图像精细化特征表达的方法：该方法提出使用高维度的图像特征对图像信息进行高阶编码，如借助层次化信息编码不同层级的类别之间的关联关系，通过层次语义嵌入框架以学习更细致的图像特征表达。
在上面所提及的两类主要方法中，基于图像重要区域定位的方法由于能直接捕捉不同子类的细微差异，一般而言结果更好，并且在可解释性方面有优势。但是基于RPN的方法在对局部特征进行筛选时，大多以基于特征的预测结果的置信度进行排序进而筛选，这种做法虽然合理，但是不可避免地鼓励了RPN去提取尽可能大的区域来包含较多的特征以提高置信度，而没有真正定位到重要的特征上。而基于图像精细化特征表达的方法通常是不可解释的，因为其难以寻找模型区分出具有细微差异的子类别的根据。
以遥感图像飞机目标精细识别为例，从人类观察分类的角度来看，对同一张图片上的多个实例进行对比分辨是十分必要的，尤其是在飞机翼展和长度等底层的尺寸信息上。
发明内容
鉴于上述技术问题，本发明提出一种遥感图像目标精细识别方法、电子设备和存储介质，可以方便的结合在粗粒度的任意目标检测网络上进行端到端训练，而无需特别的额外设计，增强模型对实例之间的辨别区分能力，有效地提升模型在细粒度检测上的性能。
实现本发明目的的技术解决方案为：一种遥感图像目标精细识别方法，包括以下步骤：
步骤S1、获取遥感图像，构建包含目标实例的数据集；
步骤S2、获取目标实例的特征向量，并利用特征向量进行粗粒度检测；
步骤S3、利用步骤S2中得到的目标实例的特征向量，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，并利用交叉熵损失和对比损失来训练相似度计算网络；
步骤S4、构建总损失函数，训练得到遥感图像目标精细识别模型；
步骤S5、利用训练好的遥感图像目标精细识别模型实现遥感图像目标精细识别。
根据本发明的一个方面，在所述步骤S2中，获取目标实例的特征向量，具体包括：
步骤S21、将输入遥感图像通过残差网络提取特征，得到多层级的特征图；
步骤S22、利用多层级的特征图，获得通道数对齐的多尺度输入；
步骤S23、将通道数对齐的多尺度输入经过三角函数的位置编码和可学习的层级编码后，输入encoder结构进行自注意力编码；
步骤S24、在decoder结构，将queries作为输入，经过自注意力和与encoder结构输出的交叉注意力，输出提取有多实例信息的D维的目标特征向量
Figure DEST_PATH_IMAGE001
。
根据本发明的一个方面，在步骤S2中，利用特征向量进行粗粒度检测，具体包括：
步骤S25、将目标特征向量
Figure 100002_DEST_PATH_IMAGE002
输入具有ReLU激活函数且具有隐藏层的3层感知器，进行位置坐标回归预测
Figure DEST_PATH_IMAGE003
，
Figure 100002_DEST_PATH_IMAGE004
目标的中心坐标，高度和宽度相对于输入图片的相对大小的四维向量；
步骤S26、将
Figure 153573DEST_PATH_IMAGE003
通过线性层利用softmax函数，获得预测类别标签
Figure DEST_PATH_IMAGE005
，
Figure 100002_DEST_PATH_IMAGE006
；
步骤S27、采用匈牙利算法进行匹配，将queries的预测结果
Figure DEST_PATH_IMAGE007
与真值匹配，使预测损失最小，同时进行背景与目标实例的分类，匈牙利算法的匹配公式为：
Figure 100002_DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
为对匹配集合的所有枚举，
Figure 100002_DEST_PATH_IMAGE010
为使得总的预测损失最小的匹配，
Figure DEST_PATH_IMAGE011
为预测损失函数，计算公式为：
Figure 100002_DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
其中，
Figure 100002_DEST_PATH_IMAGE014
,
Figure 217913DEST_PATH_IMAGE015
用于权衡广义交并比损失和L1损失的权重。
根据本发明的一个方面，在步骤S2中，还包括：
步骤S28、计算分类与回归损失，公式为：
Figure 100002_DEST_PATH_IMAGE016
。
根据本发明的一个方面，在步骤S3中，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，具体包括：
步骤S31、将目标特征向量
Figure 234411DEST_PATH_IMAGE001
进行两两枚举配对，得到2D维的目标特征组合向量
Figure 263546DEST_PATH_IMAGE017
；
步骤S32、通过全连接层将目标特征组合向量进行特征融合，得到k维的目标特征关系向量
Figure 100002_DEST_PATH_IMAGE018
；
步骤S33、以全连接层回归计算目标特征向量两两之间的相似度
Figure 471412DEST_PATH_IMAGE019
；
其中，所得到的相似度
Figure 100002_DEST_PATH_IMAGE020
，其值越接近1则表示两个实例越相似。
根据本发明的一个方面，在步骤S3中，利用交叉熵损失和对比损失来训练相似度计算网络，具体包括：
步骤S34、利用相似度矩阵，计算交叉熵损失函数以训练此相似度计算网络，交叉熵损失函数额计算公式为：
Figure 625312DEST_PATH_IMAGE021
其中，
Figure 100002_DEST_PATH_IMAGE022
为分类监督信息，表示目标向量是否相似，由目标的标签信息直接得出，相同细粒度类别则
Figure DEST_PATH_IMAGE023
为1，否则
Figure 383184DEST_PATH_IMAGE023
为0；
步骤S35、利用相似度矩阵，计算对比损失函数以增大相同细粒度类别实例之间的相似度，削减不同细粒度类别实例之间的相似度，对比损失函数的计算公式为：
Figure 100002_DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE025
为超参数，用于约束不同细粒度类别的实例之间的相似度。
根据本发明的一个方面，在步骤S3中，还包括：
步骤S36、利用分类与回归损失函数、交叉熵损失函数和对比损失函数，计算总损失函数，公式为：
Figure 100002_DEST_PATH_IMAGE026
其中，
Figure 100002_DEST_PATH_IMAGE027
为超参数，
Figure 100002_DEST_PATH_IMAGE028
表示相似度计算网络的权重，
Figure 719356DEST_PATH_IMAGE029
细粒度类别约束的权重。
根据本发明的一个方面，在训练好的遥感图像目标精细识别模型后，还包括：
步骤S41、获取遥感图像，构建包含目标实例的验证集；
步骤S42、利用验证集验证遥感图像目标精细识别模型的精度。
根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种遥感图像目标精细识别方法。
根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种遥感图像目标精细识别方法。
根据本发明的构思，提出一种遥感图像目标精细识别方法、电子设备和计算机可读存储介质，以遥感图像提取的目标特征向量作为输入，充分利用其中编码的多实例信息，将同一幅图片上各实例的相似度信息进行对比学习，结合粗粒度的任意目标检测网络进行端到端的训练，而无需额外设计，通过已知的目标类别标签应用于分类损失以训练相似度计算网络；同时应用于对比损失，增大相同细粒度类别实例之间的相似度，而削减不同细粒度类别实例之间的相似度，增强了模型对实例之间的辨别区分能力。
并且，通过对同一张图片上多个实例的相似度计算，利用该信息来约束模型，在增加少许计算量的前提下，有效提高模型在细粒度识别上的性能，尤其适用于典型场景内特定目标的精细识别与监测，比如机场内不同型号的飞机、港口内不同类型的船只等。
附图说明
图1示意性表示根据本发明一种实施方式的遥感图像目标精细识别方法的模型训练流程图；
图2示意性表示根据本发明一种实施方式的遥感图像目标精细识别方法的流程图；
图3示意性表示根据本发明一种实施方式的步骤S2的流程图；
图4示意性表示根据本发明另一种实施方式的步骤S2的流程图；
图5示意性表示根据本发明一种实施方式的步骤S3的流程图；
图6示意性表示根据本发明另一种实施方式的步骤S3的流程图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅为本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
如图1至图6所示，本发明的一种遥感图像目标精细识别方法，包括以下步骤：
步骤S1、获取遥感图像，构建包含目标实例的数据集；
步骤S2、获取目标实例的特征向量，并利用特征向量进行粗粒度检测；
步骤S3、利用步骤S2中得到的目标实例的特征向量，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，并利用交叉熵损失和对比损失来训练相似度计算网络；
步骤S4、构建总损失函数，训练得到遥感图像目标精细识别模型；
步骤S5、利用训练好的遥感图像目标精细识别模型实现遥感图像目标精细识别。
在该实施例中，以遥感图像提取的目标特征向量作为输入，充分利用其中编码的多实例信息，将同一幅图片上各实例的相似度信息进行对比学习，结合粗粒度的任意目标检测网络进行端到端的训练，而无需额外设计，通过已知的目标类别标签应用于分类损失以训练相似度计算网络；同时应用于对比损失，增大相同细粒度类别实例之间的相似度，而削减不同细粒度类别实例之间的相似度，增强了模型对实例之间的辨别区分能力。
并且，通过对同一张图片上多个实例的相似度计算，利用该信息来约束模型，在增加少许计算量的前提下，有效提高模型在细粒度识别上的性能，尤其适用于典型场景内特定目标的精细识别与监测，比如机场内不同型号的飞机、港口内不同类型的船只等。
例如，在FAIR1M遥感细粒度数据集上选取其中含有飞机实例的标注与对应图片，在获取遥感图像，构建包含飞机的数据集时，可同时构造训练集和验证集，以2/3的数据集作为训练集，1/3的数据作为验证集，在完成训练之后，以验证集用于验证遥感图像目标精细识别模型的精度。
如图1所示，在粗粒度检测之后，利用全连接层进行最后的分类和位置回归之前的特征向量，计算实例之间两两的相似度，可以省去通过实例的位置坐标回到原图提取patch，再重新对其抽取特征向量的重复计算，减少运算，提升效率。该特征向量对于RCNN结构的卷积检测模型，为建议框在ROI 池化后的特征向量；对于DETR结构的transformer检测模型，为解码器输出的查询向量对应的特征向量。
如图3所示，在本发明的一个实施例中，优选地，在所述步骤S2中，获取目标实例的特征向量，具体包括：
步骤S21、将输入遥感图像通过残差网络提取特征，得到多层级的特征图，具体地：
将输入图片
Figure DEST_PATH_IMAGE030
通过Resnet来提取特征，得到多层级的特征图
Figure 103982DEST_PATH_IMAGE031
；
步骤S22、利用多层级的特征图，获得通道数对齐的多尺度输入，
具体地：对
Figure DEST_PATH_IMAGE032
~
Figure 745179DEST_PATH_IMAGE033
进行
Figure DEST_PATH_IMAGE034
卷积，并对
Figure 103479DEST_PATH_IMAGE033
进行
Figure 982573DEST_PATH_IMAGE035
且步长为2的卷积，得到通道数对齐为256的多尺度特征图；
步骤S23、将通道数对齐的多尺度输入经过三角函数的位置编码和可学习的层级编码后，输入encoder结构进行自注意力编码；
步骤S24、在decoder结构，将queries作为输入，经过自注意力和与encoder结构输出的交叉注意力，输出提取有多实例信息的D维的目标特征向量
Figure DEST_PATH_IMAGE036
。
如图4所示，在本发明的一个实施例中，优选地，在步骤S2中，利用特征向量进行粗粒度检测，具体包括：
步骤S25、将目标特征向量
Figure 361602DEST_PATH_IMAGE002
输入具有ReLU激活函数且具有隐藏层的3层感知器，进行位置坐标回归预测
Figure 191893DEST_PATH_IMAGE037
，
Figure DEST_PATH_IMAGE038
目标的中心坐标，高度和宽度相对于输入图片的相对大小的四维向量；
步骤S26、将
Figure 620180DEST_PATH_IMAGE037
通过线性层利用softmax函数，获得预测类别标签
Figure DEST_PATH_IMAGE039
，
Figure DEST_PATH_IMAGE040
，此处，事实上N=300；
步骤S27、采用匈牙利算法进行匹配，将queries的预测结果
Figure 150519DEST_PATH_IMAGE007
与真值匹配，它们总的预测损失最小，而匹配为非实例的就是负样本，分类为背景，匈牙利算法的匹配公式为：
Figure 334070DEST_PATH_IMAGE008
其中，
Figure 277755DEST_PATH_IMAGE009
为对匹配集合的所有枚举，
Figure 977858DEST_PATH_IMAGE010
为使得总的预测损失最小的匹配，
Figure 690599DEST_PATH_IMAGE011
为预测损失函数，计算公式为：
Figure 286796DEST_PATH_IMAGE012
Figure 717778DEST_PATH_IMAGE041
其中，
Figure DEST_PATH_IMAGE042
,
Figure DEST_PATH_IMAGE043
用于权衡广义交并比损失和L1损失的权重。
在本发明的一个实施例中，优选地，在步骤S2中，还包括：
步骤S28、计算分类与回归损失，公式为：
Figure 798735DEST_PATH_IMAGE016
。
如图5所示，在本发明的一个实施例中，优选地，在步骤S3中，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，具体包括：
步骤S31、将目标特征向量
Figure 631562DEST_PATH_IMAGE001
进行两两枚举配对，得到2D维的目标特征组合向量
Figure 398661DEST_PATH_IMAGE017
，即
Figure DEST_PATH_IMAGE044
；
步骤S32、通过全连接层将目标特征组合向量进行特征融合，得到k维的目标特征关系向量
Figure 723463DEST_PATH_IMAGE018
即：
Figure DEST_PATH_IMAGE045
；
步骤S33、以全连接层回归计算目标特征向量两两之间的相似度
Figure DEST_PATH_IMAGE046
即：
Figure DEST_PATH_IMAGE047
；
其中，所得到的相似度
Figure 732745DEST_PATH_IMAGE020
，其值越接近1则表示两个实例越相似。
如图6所示，在本发明的一个实施例中，优选地，在步骤S3中，利用交叉熵损失和对比损失来训练相似度计算网络，具体包括：
步骤S34、利用相似度矩阵，计算交叉熵损失函数以训练此相似度计算网络，交叉熵损失函数额计算公式为：
Figure 357761DEST_PATH_IMAGE021
其中，
Figure DEST_PATH_IMAGE048
为分类监督信息，表示目标向量是否相似，由目标的标签信息直接得出，相同细粒度类别则
Figure 92499DEST_PATH_IMAGE023
为1，否则
Figure 498073DEST_PATH_IMAGE023
为0；
步骤S35、利用相似度矩阵，计算对比损失函数以增大相同细粒度类别实例之间的相似度，削减不同细粒度类别实例之间的相似度，对比损失函数的计算公式为：
Figure 78090DEST_PATH_IMAGE024
其中，
Figure 619929DEST_PATH_IMAGE025
为超参数，用于约束不同细粒度类别的实例之间的相似度。
在本发明的一个实施例中，优选地，在步骤S3中，还包括：
步骤S36、利用分类与回归损失函数、交叉熵损失函数和对比损失函数，计算总损失函数，公式为：
Figure 492945DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE049
为超参数，
Figure 854657DEST_PATH_IMAGE028
表示相似度计算网络的权重，
Figure DEST_PATH_IMAGE050
细粒度类别约束的权重。
在本发明的一个实施例中，优选地，在训练好的遥感图像目标精细识别模型后，还包括：
步骤S41、获取遥感图像，构建包含目标实例的验证集；
步骤S42、利用验证集验证遥感图像目标精细识别模型的精度。
根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种遥感图像目标精细识别方法。
根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种遥感图像目标精细识别方法。
综上所述，本发明提出了一种遥感图像目标精细识别方法、电子设备和计算机可读存储介质，以遥感图像提取的目标特征向量作为输入，充分利用其中编码的多实例信息，将同一幅图片上各实例的相似度信息进行对比学习，结合粗粒度的任意目标检测网络进行端到端的训练，而无需额外设计，通过已知的目标类别标签应用于分类损失以训练相似度计算网络；同时应用于对比损失，增大相同细粒度类别实例之间的相似度，而削减不同细粒度类别实例之间的相似度，增强了模型对实例之间的辨别区分能力。
并且，通过对同一张图片上多个实例的相似度计算，利用该信息来约束模型，在增加少许计算量的前提下，有效提高模型在细粒度识别上的性能，尤其适用于典型场景内特定目标的精细识别与监测，比如机场内不同型号的飞机、港口内不同类型的船只等。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种遥感图像目标精细识别方法，包括以下步骤：
步骤S1、获取遥感图像，构建包含目标实例的数据集；
步骤S2、获取目标实例的特征向量，并利用特征向量进行粗粒度检测；
步骤S3、利用步骤S2中得到的目标实例的特征向量，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，并利用交叉熵损失和对比损失来训练相似度计算网络；
步骤S4、构建总损失函数，训练得到遥感图像目标精细识别模型；
步骤S5、利用训练好的遥感图像目标精细识别模型实现遥感图像目标精细识别。
2.根据权利要求1所述的方法，其特征在于，在所述步骤S2中，获取目标实例的特征向量，具体包括：
步骤S21、将输入遥感图像通过残差网络提取特征，得到多层级的特征图；
步骤S22、利用多层级的特征图，获得通道数对齐的多尺度输入；
步骤S23、将通道数对齐的多尺度输入经过三角函数的位置编码和可学习的层级编码后，输入encoder结构进行自注意力编码；
步骤S24、在decoder结构，将queries作为输入，经过自注意力和与encoder结构输出的交叉注意力，输出提取有多实例信息的D维的目标特征向量
Figure 853390DEST_PATH_IMAGE001
。
3.根据权利要求2所述的方法，其特征在于，在步骤S2中，利用特征向量进行粗粒度检测，具体包括：
步骤S25、将目标特征向量
Figure DEST_PATH_IMAGE002
输入具有ReLU激活函数且具有隐藏层的3层感知器，进行位置坐标回归预测
Figure 708213DEST_PATH_IMAGE003
，
Figure DEST_PATH_IMAGE004
目标的中心坐标，高度和宽度相对于输入图片的相对大小的四维向量；
步骤S26、将
Figure 425634DEST_PATH_IMAGE003
通过线性层利用softmax函数，获得预测类别标签
Figure 555264DEST_PATH_IMAGE005
，
Figure DEST_PATH_IMAGE006
；
步骤S27、采用匈牙利算法进行匹配，将queries的预测结果
Figure 307319DEST_PATH_IMAGE007
与真值匹配，使预测损失最小，同时进行背景与目标实例的分类，匈牙利算法的匹配公式为：
Figure DEST_PATH_IMAGE008
其中，
Figure 831579DEST_PATH_IMAGE009
为对匹配集合的所有枚举，
Figure DEST_PATH_IMAGE010
为使得总的预测损失最小的匹配，
Figure 364192DEST_PATH_IMAGE011
为预测损失函数，计算公式为：
Figure DEST_PATH_IMAGE012
Figure 766354DEST_PATH_IMAGE013
其中，
Figure DEST_PATH_IMAGE014
,
Figure 576178DEST_PATH_IMAGE015
用于权衡广义交并比损失和L1损失的权重。
4.根据权利要求3所述的方法，其特征在于，在步骤S2中，还包括：
步骤S28、计算分类与回归损失，公式为：
Figure DEST_PATH_IMAGE016
。
5.根据权利要求4所述的方法，其特征在于，在步骤S3中，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，具体包括：
步骤S31、将目标特征向量
Figure 772804DEST_PATH_IMAGE001
进行两两枚举配对，得到2D维的目标特征组合向量
Figure 261555DEST_PATH_IMAGE017
；
步骤S32、通过全连接层将目标特征组合向量进行特征融合，得到k维的目标特征关系向量
Figure DEST_PATH_IMAGE018
；
步骤S33、以全连接层回归计算目标特征向量两两之间的相似度
Figure 700364DEST_PATH_IMAGE019
；
其中，所得到的相似度
Figure DEST_PATH_IMAGE020
，其值越接近1则表示两个实例越相似。
6.根据权利要求5所述的方法，其特征在于，在步骤S3中，利用交叉熵损失和对比损失来训练相似度计算网络，具体包括：
步骤S34、利用相似度矩阵，计算交叉熵损失函数以训练此相似度计算网络，交叉熵损失函数额计算公式为：
Figure 161432DEST_PATH_IMAGE021
其中，
Figure DEST_PATH_IMAGE022
为分类监督信息，表示目标向量是否相似，由目标的标签信息直接得出，相同细粒度类别则
Figure 856856DEST_PATH_IMAGE022
为1，否则
Figure 770585DEST_PATH_IMAGE022
为0；
步骤S35、利用相似度矩阵，计算对比损失函数以增大相同细粒度类别实例之间的相似度，削减不同细粒度类别实例之间的相似度，对比损失函数的计算公式为：
Figure 780129DEST_PATH_IMAGE023
其中，
Figure DEST_PATH_IMAGE024
为超参数，用于约束不同细粒度类别的实例之间的相似度。
7.根据权利要求6所述的方法，其特征在于，在步骤S3中，还包括：
步骤S36、利用分类与回归损失函数、交叉熵损失函数和对比损失函数，计算总损失函数，公式为：
Figure 361283DEST_PATH_IMAGE025
其中，
Figure DEST_PATH_IMAGE026
为超参数，
Figure DEST_PATH_IMAGE027
表示相似度计算网络的权重，
Figure DEST_PATH_IMAGE028
细粒度类别约束的权重。
8.根据权利要求7所述的方法，其特征在于，在训练好的遥感图像目标精细识别模型后，还包括：
步骤S41、获取遥感图像，构建包含目标实例的验证集；
步骤S42、利用验证集验证遥感图像目标精细识别模型的精度。
9.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如权利要求1-8任一项所述一种遥感图像目标精细识别方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-8任一项所述遥感图像目标精细识别方法。
CN202210900842.7A 2022-07-28 2022-07-28 遥感图像目标精细识别方法、电子设备及存储介质 Active CN114998748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210900842.7A CN114998748B (zh) 2022-07-28 2022-07-28 遥感图像目标精细识别方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210900842.7A CN114998748B (zh) 2022-07-28 2022-07-28 遥感图像目标精细识别方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114998748A true CN114998748A (zh) 2022-09-02
CN114998748B CN114998748B (zh) 2023-02-03

Family

ID=83021909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210900842.7A Active CN114998748B (zh) 2022-07-28 2022-07-28 遥感图像目标精细识别方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114998748B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503733A (zh) * 2023-04-25 2023-07-28 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质
CN117423032A (zh) * 2023-10-20 2024-01-19 大连理工大学 时空细粒度人体动作时序分割方法、电子设备和计算机可读存储介质
CN117746193A (zh) * 2024-02-21 2024-03-22 之江实验室 一种标签优化方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090290802A1 (en) * 2008-05-22 2009-11-26 Microsoft Corporation Concurrent multiple-instance learning for image categorization
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111612066A (zh) * 2020-05-21 2020-09-01 成都理工大学 基于深度融合的卷积神经网络的遥感图像分类方法
CN113159066A (zh) * 2021-04-12 2021-07-23 南京理工大学 基于类间相似度的分布式标签的细粒度图像识别算法
CN113902926A (zh) * 2021-12-06 2022-01-07 之江实验室 一种基于自注意力机制的通用图像目标检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090290802A1 (en) * 2008-05-22 2009-11-26 Microsoft Corporation Concurrent multiple-instance learning for image categorization
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111612066A (zh) * 2020-05-21 2020-09-01 成都理工大学 基于深度融合的卷积神经网络的遥感图像分类方法
CN113159066A (zh) * 2021-04-12 2021-07-23 南京理工大学 基于类间相似度的分布式标签的细粒度图像识别算法
CN113902926A (zh) * 2021-12-06 2022-01-07 之江实验室 一种基于自注意力机制的通用图像目标检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏花: "基于卷积神经网络的细粒度图像识别关键技术分析与研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503733A (zh) * 2023-04-25 2023-07-28 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质
CN116503733B (zh) * 2023-04-25 2024-02-06 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质
CN117423032A (zh) * 2023-10-20 2024-01-19 大连理工大学 时空细粒度人体动作时序分割方法、电子设备和计算机可读存储介质
CN117423032B (zh) * 2023-10-20 2024-05-10 大连理工大学 时空细粒度人体动作时序分割方法、电子设备和计算机可读存储介质
CN117746193A (zh) * 2024-02-21 2024-03-22 之江实验室 一种标签优化方法、装置、存储介质及电子设备
CN117746193B (zh) * 2024-02-21 2024-05-10 之江实验室 一种标签优化方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114998748B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
Cheng et al. A survey on object detection in optical remote sensing images
Ammar et al. Aerial images processing for car detection using convolutional neural networks: Comparison between faster r-cnn and yolov3
Sun et al. Facial expression recognition in the wild based on multimodal texture features
Zhang et al. Real-time sow behavior detection based on deep learning
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN114998748B (zh) 遥感图像目标精细识别方法、电子设备及存储介质
Mathur et al. Crosspooled FishNet: transfer learning based fish species classification model
Tarawneh et al. Invoice classification using deep features and machine learning techniques
Ju et al. Fish species recognition using an improved AlexNet model
Subbiah et al. An extensive study and comparison of the various approaches to object detection using deep learning
CN112149538A (zh) 一种基于多任务学习的行人重识别方法
Salhi et al. Fast and efficient face recognition system using random forest and histograms of oriented gradients
Mehrjardi et al. A survey on deep learning-based image forgery detection
Najibi et al. Towards the success rate of one: Real-time unconstrained salient object detection
Qian et al. A fire monitoring and alarm system based on channel-wise pruned YOLOv3
Li et al. An outstanding adaptive multi-feature fusion YOLOv3 algorithm for the small target detection in remote sensing images
Zhou et al. Learning a superpixel-driven speed function for level set tracking
Wu et al. Research on asphalt pavement disease detection based on improved YOLOv5s
Shishkin et al. Implementation of yolov5 for detection and classification of microplastics and microorganisms in marine environment
Parseh et al. Semantic-aware visual scene representation
Liu et al. Small target detection for UAV aerial images based on improved YOLOv3
Sainos-Vizuett et al. Satellite Imagery Classification Using Shallow and Deep Learning Approaches
Pham et al. Scalable local features and hybrid classifiers for improving action recognition
Chen et al. Outdoor scene classification using labeled segments
Farrajota et al. A deep neural network video framework for monitoring elderly persons

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant