CN115115939B - 基于特征注意力机制的遥感图像目标细粒度识别方法 - Google Patents

基于特征注意力机制的遥感图像目标细粒度识别方法 Download PDF

Info

Publication number
CN115115939B
CN115115939B CN202210899281.3A CN202210899281A CN115115939B CN 115115939 B CN115115939 B CN 115115939B CN 202210899281 A CN202210899281 A CN 202210899281A CN 115115939 B CN115115939 B CN 115115939B
Authority
CN
China
Prior art keywords
target
model
remote sensing
sensing image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210899281.3A
Other languages
English (en)
Other versions
CN115115939A (zh
Inventor
刘世烁
冯鹏铭
贺广均
金世超
常江
符晗
邹同元
马天舒
张鹏
车程安
梁银川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Satellite Information Engineering
Original Assignee
Beijing Institute of Satellite Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Satellite Information Engineering filed Critical Beijing Institute of Satellite Information Engineering
Priority to CN202210899281.3A priority Critical patent/CN115115939B/zh
Publication of CN115115939A publication Critical patent/CN115115939A/zh
Application granted granted Critical
Publication of CN115115939B publication Critical patent/CN115115939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于特征注意力机制的遥感图像目标细粒度识别方法，包括：对原始遥感图像的目标数据和目标特征数据进行标注；对所述原始遥感图像、所述标注的目标数据和目标特征数据进行处理和增强，获得三组数据集；构建目标‑特征注意力模型；将处理和增强后的三组数据集输入所述目标‑特征注意力模型进行训练，利用训练好的目标‑特征注意力模型完成所述原始遥感图像中的目标细粒度的型号级识别。本发明可以实现遥感影像飞机等目标的高精度精细化型号级识别。

Description

基于特征注意力机制的遥感图像目标细粒度识别方法
技术领域
本发明涉及深度学习与目标检测识别技术领域，尤其涉及一种基于特征注意力机制的遥感图像目标细粒度识别方法。
背景技术
遥感图像飞机型号细粒度识别由于不同型号间差异小、部分型号样本数量有限、目标易被遮挡和清晰度不足等问题，虽然深度学习在飞机目标检测上已取得了不错的成绩，但是在飞机的细粒度识别上，例如飞机型号级识别一直难以得到很好的效果。现有主流的目标检测深度学习方法主要基于卷积神经网络。基于深度学习的常规解决方法主要在以下方面进行改进，增加数据量和尝试不同训练网络模型，但在样本受限及特征不明显的飞机型号识别任务中效果难以得到提升。
基于注意力机制的目标识别的基本思想是通过训练使得网络更好地忽略无关信息，从而提取重点信息，然而飞机种类之间的区别往往较为细微，而且飞机种类较为繁多，飞机样本较少，传统的注意力机制很难实现飞机目标识别，尤其是细粒度的型号级识别上学得适合的特征权重分布。而当人类判别两个非常相似的飞机类别时，则会专注于类别区分特征，研究方向需要重点关注利用人类所关注的特征区域进行判别，实现飞机目标细粒度的型号级识别。
发明内容
为解决上述现有技术存在的技术问题，本发明的目的在于提供一种基于特征注意力机制的遥感图像目标细粒度识别方法，实现遥感影像飞机等目标的高精度精细化型号级识别。
为实现上述发明目的，本发明的技术方案是：
本发明提供一种基于特征注意力机制的遥感图像目标细粒度识别方法，包括：
对原始遥感图像的目标数据和目标特征数据进行标注；
对所述原始遥感图像、所述标注的目标数据和目标特征数据进行处理和增强，获得三组数据集；
构建目标-特征注意力模型；
将处理和增强后的三组数据集输入所述目标-特征注意力模型进行训练，利用训练好的目标-特征注意力模型完成所述原始遥感图像中的目标细粒度的型号级识别。
根据本发明的一个方面，对原始遥感图像的目标数据和目标特征数据进行标注，包括：
利用最小外接倾斜矩形框逐个标注出原始遥感图像中的所有目标区域，获得目标倾斜矩形框I目标的四个角点位置，并判断和标注目标所属类别；
利用最小外接倾斜矩形框对判别所述目标的类别所关注和依据的多个目标特征区域进行标注，获得目标特征倾斜矩形框I特征i的四个角点位置，且I特征i∈I目标，i≥0，i表示标注的目标特征的个数；
若所述目标特征倾斜矩形框为多个目标倾斜矩形框的重合部分，则选择该目标特征倾斜矩形框所属的目标。
根据本发明的一个方面，对所述原始遥感图像、所述标注的目标数据和目标特征数据进行处理和增强，获得三组数据集，包括：
对所述原始遥感图像进行切片处理，获得包含遥感图像切片和所述目标数据的第一数据集；
将标注的目标从所述原始遥感图像中进行切分，获得包含所述目标图像和所述目标特征数据的第二数据集；
将所述标注的目标特征数据作为增强滤波区域作用于所述原始遥感图像，增强标注的目标特征提取，并对增强后的遥感图像进行同样的切片处理，获得包含增强遥感图像切片和所述目标增强特征的第三数据集。
根据本发明的一个方面，对所述原始遥感图像进行切片处理，获得包含遥感图像切片和所述目标数据的第一数据集，包括：
设置切片步长和切片尺寸，并舍去所述目标被中间截开的图像样本；
将所述原始遥感图像进行切片，获得遥感图像切片和所述遥感图像切片的坐标；
若所述遥感图像切片中的目标有完整的四个角点，则保留该遥感图像切片，若所述遥感图像切片中的目标没有完整的四个角点，则去掉该遥感图像切片；
将剩余的遥感图像切片和对应的目标及其类别标签，作为第一数据集。
根据本发明的一个方面，将标注的目标从所述原始遥感图像中进行切分，获得包含所述目标图像和所述目标特征数据的第二数据集，包括：
由以下公式获得切割边界，
X＝x左，X′＝x右，Y＝y下，Y′＝y上
其中，所述标注的目标特征个数为i，所述目标特征在所述原始遥感图像中的坐标和坐标原点分别为(x1i，y1i)，(x2i，y2i)，(x3i，y3i)，(x4i，y4i)和(0，0)；
将所述标注的目标根据所述切割边界从所述原始遥感图像中进行切分，作为图像样本，获得目标图像，所述目标特征在所述目标图像中的坐标和坐标原点分别为(x1i-x左，y1i-y上)，(x2i-x左，y2i-y上)，(x3i-x左，y3i-y上)，(x4i-x左，y4i-y上)和(x左，y上)；
将所述目标图像和所述目标特征作为第二数据集。
根据本发明的一个方面，将所述标注的目标特征数据作为增强滤波区域作用于所述原始遥感图像，增强标注的目标特征提取，其公式为：
其中，I特征(x，y)为所述目标特征，I(x，y)为所述目标， 服从二维高斯分布。
根据本发明的一个方面，将处理和增强后的三组数据集输入所述目标-特征注意力模型进行训练，利用训练好的目标-特征注意力模型完成所述原始遥感图像中的目标细粒度的型号级识别，包括：
将所述第一数据集输入所述型号级目标识别模型进行训练，将所述第二数据集输入所述目标提取特征模型进行训练，将所述第三数据集输入所述增强型识别模型进行训练，获得所述目标-特征注意力模型；
对所述目标-特征注意力模型进行交叉熵损失训练，直至所述目标-特征注意力模型的识别结果的准确率满足预设阈值；
利用训练好的目标-特征注意力模型对所述原始遥感图像中的目标进行检测识别，获得所述目标的最小外接矩形的角点信息和型号信息。
根据本发明的一个方面，构建目标-特征注意力模型，包括：
构建型号级目标识别模型，作为检测所述原始遥感图像中目标的主干网络；
构建目标提取特征模型；
构建增强型识别模型；
将所述型号级目标识别模型、所述目标提取特征模型和所述增强型识别模型融合构成目标-特征注意力模型。
根据本发明的一个方面，将所述型号级目标识别模型、所述目标提取特征模型和所述增强型识别模型融合构成目标-特征注意力模型，包括：
单独训练所述目标提取特征模型，对所述型号级目标识别模型检测的目标区域的特征进行强化识别和参数增强；
将所述型号级目标识别模型和所述目标提取特征模型在训练过程中的参数共享至所述增强型识别模型中；
初步训练所述增强型识别模型，将训练获得的判别层参数加入所述型号级目标识别模型的判别层，对所述型号级目标识别模型进行判别加权，并防止所述目标提取特征模型造成整体的过拟合。
根据本发明的一个方面，所述型号级目标识别模型和所述增强型识别模型均采用ResNet50，所述目标提取特征模型采用VGG16。
与现有技术相比，本发明具有如下优点：
根据本发明的方案，数据标注时，除标注飞机等目标的类别和位置之外，额外标注人眼判别飞机等目标类别所关注和依据的特征区域的位置。通过预处理和样本整理，形成遥感图像和目标的类别和位置信息、目标图像及目标特征、目标特征增强图像及类别标签的三组数据集。与传统方法相比，在获取目标标签的同时，本发明获取了人工标注所依赖的目标特征，并通过特征增强，更有利于目标检测识别模型对目标特征的提取和学习。
根据本发明的一个方案，通过构建目标-特征注意力网络，借助上述三组数据集，通过目标提取特征模型和增强型识别模型对型号级目标识别模型的参数进行增强。与传统方法相比，本发明防止了由于目标特征不明显和样本量少等问题造成的目标提取网络过拟合等问题，提升了目标检测识别网络的精度。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性表示本发明实施例提供的一种基于特征注意力机制的遥感图像目标细粒度识别方法的实现流程图；
图2示意性表示本发明实施例提供的标注目标数据示意图；
图3示意性表示本发明实施例提供的标注特征数据示意图；
图4示意性表示本发明实施例提供的特征增强数据示意图。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
根据本发明的构思，通过在数据标注过程中，除对目标本身进行标注外，利用专家知识，同时对目标的特征进行标注，额外标注人眼对判别飞机等目标类别所关注和依据的特征。通过对标注结果的处理和整理，形成分别包含遥感图像和目标类别标签、目标特征增强图像和类别标签以及目标图像和目标特征位置的三组训练数据集。在网络模型训练过程中，利用构建的三组数据集，对构建的目标-特征注意力机制模型进行训练，分别利用增强型识别模型和目标提取特征模型对型号级目标识别模型进行增强，从而实现提高飞机等目标的型号级检测识别精度。
参见图1，本发明实施例公开的一种基于特征注意力机制的遥感图像目标细粒度识别方法，包括以下步骤：
步骤S100、对原始遥感图像的目标数据和目标特征数据进行标注。
在一个实施例中，步骤S100中对原始遥感图像的目标数据和目标特征数据进行标注的具体实施流程包括：
步骤S101、利用最小外接倾斜矩形框逐个标注出原始遥感图像中的所有目标区域，获得目标倾斜矩形框I目标的四个角点位置，并判断和标注目标所属类别。
步骤S102、利用最小外接倾斜矩形框对判别所述目标的类别所关注和依据的多个目标特征区域进行标注，获得目标特征倾斜矩形框I特征i的四个角点位置，且I特征i∈I目标，i≥0。
步骤S103、若所述目标特征倾斜矩形框为多个目标倾斜矩形框的重合部分，则选择该目标特征倾斜矩形框所属的目标。
本发明以遥感图像中的飞机目标识别为例进行说明。具体的，参见图2，先对原始遥感图像进行数据标注，使用最小外接倾斜矩形框逐个标注出原始遥感图像中所有飞机目标并判断目标所属类型，生成目标倾斜矩形框I目标的四个角点(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)和飞机目标类别cat；参见图3，接着额外对判别飞机类别所关注和依据的特征区域的位置进行标注，特征区域同样使用最小外接倾斜矩形框标注记录目标特征倾斜矩形框I特征i的角点(x1i，y1i)，(x2i，y2i)，(x3i，y3i)，(x4i，y4i)，每个目标可以有多个判别特征区域，取决于所判断飞机类型所关注的区域数量，这些特征区域I特征i∈I目标，i≥0；若特征框属于多个目标框重合部分，则对该特征框所属的目标进行选择。
步骤S200、对所述原始遥感图像、所述标注的目标数据和目标特征数据进行处理和增强，获得三组数据集。
在一个实施例中，步骤S200中对所述原始遥感图像、所述标注的目标数据和目标特征数据进行处理和增强，获得三组数据集的具体实施流程包括：
步骤S201、参见图2，对所述原始遥感图像进行切片处理，获得包含遥感图像切片和所述目标数据的第一数据集。
具体的，将原始遥感图像I∈RH*W*3作为输入，其中H和W分别表示输入图像的宽度和高度。训练前对原始遥感图像及其坐标、和飞机型号标签的目标类别数据进行切片处理，设置切片尺寸W*H为608*608，为了防止切片将目标从中间截开，设置切片步长l为304，将目标从中间截开的图像样本舍去，获得遥感图像切片及其坐标，该遥感图像切片坐标公式为：
x切片＝x原图-l*a，
y切片＝y原图-l*b，
其中，a，b分别为切片的行号和列号，若所述遥感图像切片中的目标有完整的四个角点，则保留该遥感图像切片，若所述遥感图像切片中的目标没有完整的四个角点，则去掉该遥感图像切片，不做后续训练使用，将剩余的遥感图像切片和对应的目标及其类别标签，作为第一数据集。
步骤S202、参见图3，将标注的目标从所述原始遥感图像中进行切分，获得包含所述目标图像和所述目标特征数据的第二数据集。
具体的，由以下公式获得切割边界，
X＝x左，X′＝x右，Y＝y下，Y′＝y上
其中，所述标注的目标特征个数为i，所述目标特征在所述原始遥感图像中的坐标和坐标原点分别为(x1i，y1i)，(x2i，y2i)，(x3i，y3i)，(x4i，y4i)和(0，0)；
将所述标注的目标根据所述切割边界从所述原始遥感图像中进行切分，作为图像样本，获得目标图像。此时标注目标中的特征标注坐标也相应地改变，目标特征在所述目标图像中的坐标原点由(0，0)变为(x左，y上)，因此目标特征在所述目标图像中的坐标变为(x1i-x左，y1i-y上)，(x2i-x左，y2i-y上)，(x3i-x左，y3i-y上)，(x4i-x左，y4i-y上)。
将上述目标图像和上述目标特征作为第二数据集。
步骤S203、参见图4，将所述标注的目标特征数据作为增强滤波区域作用于所述原始遥感图像，增强标注的目标特征提取，并对增强后的遥感图像进行上述同样的切片处理，获得包含增强遥感图像切片和所述目标增强特征的第三数据集。其中，增强的公式为：
其中，I特征(x，y)为所述标注的目标特征，I(x，y)为标注的目标，服从二维高斯分布。其作用是在对特征区域增强的同时，防止特征区域噪声造成误差，得到信噪比SNR较高的增强遥感图像I增强。
步骤S300、构建目标-特征注意力模型。
在一个实施例中，步骤S300中所述构建目标-特征注意力模型的具体实施流程包括：
步骤S301、构建型号级目标识别模型，作为检测所述原始遥感图像中目标的主干网络，即目标检测识别的判别网络。
步骤S302、构建目标提取特征模型，作为目标检测识别的补充网络。
步骤S303、构建增强型识别模型，作为目标检测识别的特征强化网络。
步骤S304、将所述型号级目标识别模型、所述目标提取特征模型和所述增强型识别模型融合构成目标-特征注意力模型。
具体的，步骤S304包括：单独训练所述目标提取特征模型，对所述型号级目标识别模型检测的目标区域的特征进行强化识别和参数增强。将所述型号级目标识别模型和所述目标提取特征模型在训练过程中的参数共享至所述增强型识别模型中，使增强型识别模型更具备根据目标特征判别目标类型的能力。初步训练所述增强型识别模型，将训练获得的判别层参数加入所述型号级目标识别模型的判别层，对所述型号级目标识别模型进行判别加权，并防止所述目标提取特征模型造成整体的过拟合。
具体的，所述型号级目标识别模型和所述增强型识别模型均采用ResNet50，所述目标提取特征模型采用VGG16。
步骤S400、将处理和增强后的三组数据集输入所述目标-特征注意力模型进行训练，利用训练好的目标-特征注意力模型完成所述原始遥感图像中的目标细粒度的型号级识别。
在一个实施例中，步骤S400中将处理和增强后的三组数据集输入所述目标-特征注意力模型进行训练，利用训练好的目标-特征注意力模型完成所述原始遥感图像中的目标细粒度的型号级识别的具体实施流程包括：
步骤S401、将所述第一数据集输入所述型号级目标识别模型进行训练，将所述第二数据集输入所述目标提取特征模型进行训练，将所述第三数据集输入所述增强型识别模型进行训练，获得所述目标-特征注意力模型；
步骤S402、对所述目标-特征注意力模型进行交叉熵损失训练，直至所述目标-特征注意力模型的识别结果的准确率满足(即大于等于)预设阈值；
步骤S403、利用训练好的目标-特征注意力模型对所述原始遥感图像中的飞机等目标进行检测识别，获得所述目标的最小外接矩形的角点信息和型号信息。
对于本发明的方法所涉及的上述各个步骤的序号并不意味着方法执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明的实施方式的实施过程构成任何限定。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种基于特征注意力机制的遥感图像目标细粒度识别方法，包括：
对原始遥感图像的目标数据和目标特征数据进行标注；
对所述原始遥感图像、所述标注的目标数据和目标特征数据进行处理和增强，获得三组数据集；
对所述原始遥感图像、所述标注的目标数据和目标特征数据进行处理和增强，获得三组数据集，包括：
对所述原始遥感图像进行切片处理，获得包含遥感图像切片和所述目标数据的第一数据集；
将标注的目标从所述原始遥感图像中进行切分，获得包含目标图像和所述目标特征数据的第二数据集；
将所述标注的目标特征数据作为增强滤波区域作用于所述原始遥感图像，增强标注的目标特征提取，并对增强后的遥感图像进行同样的切片处理，获得包含增强遥感图像切片和目标增强特征的第三数据集；
构建目标-特征注意力模型，所述目标-特征注意力模型由型号级目标识别模型、目标提取特征模型和增强型识别模型构成；
将处理和增强后的三组数据集输入所述目标-特征注意力模型进行训练，利用训练好的目标-特征注意力模型完成所述原始遥感图像中的目标细粒度的型号级识别；
将处理和增强后的三组数据集输入所述目标-特征注意力模型进行训练，包括：
将所述第一数据集输入所述型号级目标识别模型进行训练，将所述第二数据集输入所述目标提取特征模型进行训练，将所述第三数据集输入所述增强型识别模型进行训练，获得所述目标-特征注意力模型。
2.根据权利要求1所述的方法，其特征在于，对原始遥感图像的目标数据和目标特征数据进行标注，包括：
利用最小外接倾斜矩形框逐个标注出原始遥感图像中的所有目标区域，获得目标倾斜矩形框I目标的四个角点位置，并判断和标注目标所属类别；
利用最小外接倾斜矩形框对判别所述目标的类别所关注和依据的多个目标特征区域进行标注，获得目标特征倾斜矩形框I特征i的四个角点位置，且I特征i∈I目标，i≥0，i表示标注的目标特征的个数；
若所述目标特征倾斜矩形框为多个目标倾斜矩形框的重合部分，则选择该目标特征倾斜矩形框所属的目标。
3.根据权利要求1所述的方法，其特征在于，对所述原始遥感图像进行切片处理，获得包含遥感图像切片和所述目标数据的第一数据集，包括：
设置切片步长和切片尺寸，并舍去所述目标被中间截开的图像样本；
将所述原始遥感图像进行切片，获得遥感图像切片和所述遥感图像切片的坐标；
若所述遥感图像切片中的目标有完整的四个角点，则保留该遥感图像切片，若所述遥感图像切片中的目标没有完整的四个角点，则去掉该遥感图像切片；
将剩余的遥感图像切片和对应的目标及其类别标签，作为第一数据集。
4.根据权利要求1所述的方法，其特征在于，将标注的目标从所述原始遥感图像中进行切分，获得包含目标图像和所述目标特征数据的第二数据集，包括：
由以下公式获得切割边界，
Figure FDA0004041784590000021
X＝x左，X′＝x右，Y＝y下，Y′＝y上
其中，所述标注的目标特征个数为i，所述目标特征在所述原始遥感图像中的坐标和坐标原点分别为(x1i，y1i)，(x2i，y2i)，(x3i，y3i)，(x4i，y4i)和(0，0)；
将所述标注的目标根据所述切割边界从所述原始遥感图像中进行切分，作为图像样本，获得目标图像，所述目标特征在所述目标图像中的坐标和坐标原点分别为(x1i-x左，y1i-y上)，(x2i-x左，y2i-y上)，(x3i-x左，y3i-y上)，(x4i-x左，y4i-y上)和(x左，y上)；
将所述目标图像和所述目标特征作为第二数据集。
5.根据权利要求1所述的方法，其特征在于，将所述标注的目标特征数据作为增强滤波区域作用于所述原始遥感图像，增强标注的目标特征提取，其公式为：
Figure FDA0004041784590000031
其中，I特征(x，y)为所述目标特征，I(x，y)为所述目标，
Figure FDA0004041784590000032
Figure FDA0004041784590000033
服从二维高斯分布。
6.根据权利要求1所述的方法，其特征在于，将处理和增强后的三组数据集输入所述目标-特征注意力模型进行训练，利用训练好的目标-特征注意力模型完成所述原始遥感图像中的目标细粒度的型号级识别，包括：
对所述目标-特征注意力模型进行交叉熵损失训练，直至所述目标-特征注意力模型的识别结果的准确率满足预设阈值；
利用训练好的目标-特征注意力模型对所述原始遥感图像中的目标进行检测识别，获得所述目标的最小外接矩形的角点信息和型号信息。
7.根据权利要求1所述的方法，其特征在于，构建目标-特征注意力模型，包括：
构建型号级目标识别模型，作为检测所述原始遥感图像中目标的主干网络；
构建目标提取特征模型；
构建增强型识别模型；
将所述型号级目标识别模型、所述目标提取特征模型和所述增强型识别模型融合构成目标-特征注意力模型。
8.根据权利要求7所述的方法，其特征在于，将所述型号级目标识别模型、所述目标提取特征模型和所述增强型识别模型融合构成目标-特征注意力模型，包括：
单独训练所述目标提取特征模型，对所述型号级目标识别模型检测的目标区域的特征进行强化识别和参数增强；
将所述型号级目标识别模型和所述目标提取特征模型在训练过程中的参数共享至所述增强型识别模型中；
初步训练所述增强型识别模型，将训练获得的判别层参数加入所述型号级目标识别模型的判别层，对所述型号级目标识别模型进行判别加权，并防止所述目标提取特征模型造成整体的过拟合。
9.根据权利要求7所述的方法，其特征在于，所述型号级目标识别模型和所述增强型识别模型均采用ResNet50，所述目标提取特征模型采用VGG16。
CN202210899281.3A 2022-07-28 2022-07-28 基于特征注意力机制的遥感图像目标细粒度识别方法 Active CN115115939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210899281.3A CN115115939B (zh) 2022-07-28 2022-07-28 基于特征注意力机制的遥感图像目标细粒度识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210899281.3A CN115115939B (zh) 2022-07-28 2022-07-28 基于特征注意力机制的遥感图像目标细粒度识别方法

Publications (2)

Publication Number Publication Date
CN115115939A CN115115939A (zh) 2022-09-27
CN115115939B true CN115115939B (zh) 2023-04-07

Family

ID=83334814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210899281.3A Active CN115115939B (zh) 2022-07-28 2022-07-28 基于特征注意力机制的遥感图像目标细粒度识别方法

Country Status (1)

Country Link
CN (1) CN115115939B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486169B (zh) * 2023-04-27 2023-12-19 北京卫星信息工程研究所 遥感图像目标动向判别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334859A (zh) * 2018-02-28 2018-07-27 上海海洋大学 一种基于细粒度特征的光学遥感舰船型号识别众包系统
CN110276269A (zh) * 2019-05-29 2019-09-24 西安交通大学 一种基于注意力机制的遥感图像目标检测方法
CN111832616A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 利用多类深度表示图的遥感图像飞机型号识别方法及系统
CN112200186A (zh) * 2020-10-15 2021-01-08 上海海事大学 基于改进yolo_v3模型的车标识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284749A (zh) * 2017-07-19 2019-01-29 微软技术许可有限责任公司 精细化图像识别
CN112052876B (zh) * 2020-08-04 2022-05-06 烽火通信科技股份有限公司 一种基于改进ra-cnn的细粒度图像检测方法与系统
CN113408594B (zh) * 2021-06-04 2022-04-29 中南民族大学 一种基于注意力网络尺度特征融合的遥感场景分类方法
CN113989662B (zh) * 2021-10-18 2023-02-03 中国电子科技集团公司第五十二研究所 一种基于自监督机制的遥感图像细粒度目标识别方法
CN114241231A (zh) * 2021-11-22 2022-03-25 超级视线科技有限公司 基于层级标签注意力的识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334859A (zh) * 2018-02-28 2018-07-27 上海海洋大学 一种基于细粒度特征的光学遥感舰船型号识别众包系统
CN110276269A (zh) * 2019-05-29 2019-09-24 西安交通大学 一种基于注意力机制的遥感图像目标检测方法
CN111832616A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 利用多类深度表示图的遥感图像飞机型号识别方法及系统
CN112200186A (zh) * 2020-10-15 2021-01-08 上海海事大学 基于改进yolo_v3模型的车标识别方法

Also Published As

Publication number Publication date
CN115115939A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110334706B (zh) 一种图像目标识别方法及装置
CN109117876B (zh) 一种稠密小目标检测模型构建方法、模型及检测方法
CN113989662B (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN108564589A (zh) 一种基于改进全卷积神经网络的植物叶片分割方法
JP2017107543A (ja) 細胞画像の自動分析方法及びシステム
CN111145176A (zh) 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法和系统
CN111460927B (zh) 对房产证图像进行结构化信息提取的方法
Zhou et al. Leukocyte image segmentation based on adaptive histogram thresholding and contour detection
CN105760891A (zh) 一种中文字符验证码的识别方法
CN110598030A (zh) 一种基于局部cnn框架的甲骨拓片分类方法
CN109544564A (zh) 一种医疗图像分割方法
Tofighi et al. Deep networks with shape priors for nucleus detection
CN107220655A (zh) 一种基于深度学习的手写、印刷文本的分类方法
CN109147932B (zh) 癌细胞her2基因扩增分析方法及系统
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN115115939B (zh) 基于特征注意力机制的遥感图像目标细粒度识别方法
CN111339932B (zh) 一种掌纹图像预处理方法和系统
CN107103608A (zh) 一种基于区域候选样本选择的显著性检测方法
Wang et al. Comic frame extraction via line segments combination
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
Wang et al. Quick leukocyte nucleus segmentation in leukocyte counting
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CA3204439A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
CN114235539A (zh) 基于深度学习的pd-l1病理切片自动判读方法及系统
CN109741351A (zh) 一种基于深度学习的类别敏感型边缘检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant