CN118015488A - 一种基于机器学习的卫星图像识别方法 - Google Patents

一种基于机器学习的卫星图像识别方法 Download PDF

Info

Publication number
CN118015488A
CN118015488A CN202410417213.8A CN202410417213A CN118015488A CN 118015488 A CN118015488 A CN 118015488A CN 202410417213 A CN202410417213 A CN 202410417213A CN 118015488 A CN118015488 A CN 118015488A
Authority
CN
China
Prior art keywords
feature
features
granularity
fine
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410417213.8A
Other languages
English (en)
Inventor
耿雪川
宋焕文
张坤
舒珊
朴勋
高艳娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202410417213.8A priority Critical patent/CN118015488A/zh
Publication of CN118015488A publication Critical patent/CN118015488A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于机器学习的卫星图像识别方法，涉及计算机视觉领域。本发明提出了卫星图像识别流程，包括获取卫星图像数据、卫星图像数据标注、构建细粒度特征处理模块、构建粗粒度特征处理模块、构建改进特征融合模块、构建卫星图像识别模型、使用训练集和验证集训练卫星图像识别模型和使用卫星图像识别模型进行识别。本发明提出了改进特征融合模块，应用于卫星图像识别场景，包含PAN结构、细粒度特征处理模块和粗粒度特征处理模块，PAN结构可以有效地融合不同尺度的特征信息，细粒度特征处理模块提取大尺度特征图中的有效特征细节，结合粗粒度特征处理模块进行特征细化，提高特征质量，从而提高目标的识别效果。

Description

一种基于机器学习的卫星图像识别方法
技术领域
本发明属于计算机视觉，特别涉及一种基于机器学习的卫星图像识别方法。
背景技术
特征金字塔是深度学习领域中备受瞩目的特征处理技术，能够在不同的尺度上提取并融合特征，使得模型能够处理不同大小的目标，可以在不同尺度下对不同大小的目标进行预测，从而提高模型的性能，相比单特征图语义信息更加丰富，但是特征金字塔也存在一些缺陷，如同尺度上的特征可能存在不一致性，这就需要一些更加合适的特征融合方式，使得特征处理更强。
卫星图像识别是指利用卫星获取的遥感图像进行地物、地貌、自然资源等目标的识别和分类。这种技术已经成为地球观测和地理信息处理领域的重要工具，为环境监测、城市规划、农业管理、资源勘查、灾害监测等提供了强大的支持。
卫星图像识别中可以使用特征金字塔进行目标识别，特征金字塔能够在不同尺度下提取特征，使得模型能够更好地捕捉目标物体的多尺度信息，从而提高识别准确性和鲁棒性，特别是对于大小不一、形状复杂的目标，以及在图像中存在尺度变化的情况下，特征金字塔能够提供更全面、更有效的特征表示，从而增强了卫星图像识别模型的性能和泛化能力。
发明内容
本发明提供一种基于机器学习的卫星图像识别方法，旨在传统特征金字塔基础上引入粗粒度和细粒度信息处理过程，加强特征细化，提高特征质量，从而提高卫星图像中目标的识别效果。
本发明对于传统特征金字塔作出了改进，提供一种基于机器学习的卫星图像识别方法，包括以下步骤：
S1、获取卫星图像数据，从卫星图像数据提供商和公开的卫星图像数据库获取图像，获取图像中包含线性工程铁路和公路，对获取图像进行预处理；
S2、卫星图像数据标注，对获取图像进行标注，标注目标为图像中的铁路和公路，标注完成后，获得卫星图像数据集，划分训练集、验证集和测试集；
S3、构建细粒度特征处理模块，用于在细粒度层面处理输入特征；
S4、构建粗粒度特征处理模块，用于在粗粒度层面处理输入特征；
S5、构建改进特征融合模块，输入多层特征图，使用PAN结构、细粒度特征处理模块和粗粒度特征处理模块进行特征融合，输出多层特征图用于检测；
S6、构建卫星图像识别模型，依次由输入、骨干网络、改进特征融合模块、检测头、输出组成；
S7、使用训练集和验证集训练卫星图像识别模型，使用训练集进行模型训练，使用验证集进行模型性能验证，使用准确率、召回率和F1分数指标确定模型是否满足要求，根据验证结果调整训练参数；
S8、使用卫星图像识别模型进行识别，输入待检测卫星图像，图像首先经过骨干网络，得到特征图C2、C3、C4和C5，将C2、C3、C4和C5输入到改进特征融合模块，得到C2、P3检测特征、P4检测特征和P5，将C2、P3检测特征、P4检测特征和P5输入到四个对应检测头中得到检测结果，然后输出检测结果。
优选地，在S3步骤中，细粒度特征处理模块具体操作为，输入特征C2，，h和w代表特征图的高和宽，c代表特征图的通道数，将C2输入到步幅为s的s×s卷积层，然后输出特征的每一行像素/>，/>，/>的高为h/s，/>的宽为w/s，/>的通道数为d，将每个/>视作一个图节点/>，这样可以得到的图节点数量为h/s×w/s，且映射到原始图像中4s×4s大小的块，因此，由图像块组成的图可以表示为/>，/>代表第图中第n个节点，n=h/s×w/s，图中每两个节点之间存在边，即信息将使用GAT通过边进行聚合，同时只连接与每个节点欧氏距离最远的k个节点，使用矩阵/>对每个节点进行线性变换，/>，/>等于/>，然后使用共享的自注意力权重矩阵/>计算节点对的注意力系数，，/>等于/>，对于图中节点/>的一阶邻居节点/>，计算节点/>的/>，/>，同时使用softmax函数对所有选择的/>进行归一化，/>，其中T代表转置，/>代表串联，/>代表LeakyReLU函数，对于输出特征/>，/>，，/>，然后对/>使用卷积和上采样，输出C2的细粒度特征/>，。
优选地，在S4步骤中，粗粒度特征处理模块具体操作为，以P3为例，经过14×14的RoIAlign操作的P3，，/>和/>代表P3的高和宽，c代表P3的通道数，首先经过3×3卷积层以生成初始特征F1，/>，同时输入C2生成的细粒度特征，维度为h×w×c，经过3×3卷积层和RoIAlign操作以生成初始特征F2，/>，并将F1与F2连接起来得到F3，/>，然后将F3进行1×1卷积和2倍上采样，获得输出特征F4，/>。
优选地，在S5步骤中，对于改进特征融合模块，输入四个不同尺度的特征图，分别为C2、C3、C4和C5，其中C2尺度最大，C5尺度最小，将C3、C4和C5经过PAN结构，输出P3、P4和P5，对P3进行特征融合操作，首先将C2输入到细粒度特征处理模块获得C2细粒度特征，将P3进行RoIAlign操作后，和C2细粒度特征一起输入到第一个粗粒度特征处理模块，输出P3中间特征，将P3中间特征和C2细粒度特征一起输入到第二个粗粒度特征处理模块得到P3检测特征，对P4进行特征融合操作，首先将C2输入到细粒度特征处理模块获得C2细粒度特征，将P4进行RoIAlign操作后，和C2细粒度特征一起输入到第三个粗粒度特征处理模块，输出P4中间特征，将P4中间特征和C2细粒度特征一起输入到第四个粗粒度特征处理模块得到P4检测特征，最后输出C2、P3检测特征、P4检测特征和P5。
优选地，在S5步骤中，PAN结构的处理过程为，输入C3、C4和C5，C5通过上采样获得C5上采样特征，将C5上采样特征和C4进行特征连接，得到C4中间特征，将C4中间特征上采样得到C4上采样中间特征，将C4上采样中间特征和C3特征连接，得到C3输出特征，将C3输出特征进行卷积操作，得到C3卷积输出特征，将C3卷积输出特征和C4中间特征进行连接获得C4输出特征，将C4输出特征进行卷积操作，得到C4卷积输出特征，将C4卷积输出特征和C5特征进行连接获得C5输出特征，最后，将C3输出特征、C4输出特征和C5输出特征分别输出为P3、P4和P5。
与现有技术相比，本发明具有以下技术效果：
本发明提供的技术方案提出了改进特征融合模块，应用于卫星图像识别场景，包含PAN结构、细粒度特征处理模块和粗粒度特征处理模块，PAN结构可以有效地融合不同尺度的特征信息，细粒度特征处理模块提取大尺度特征图中的有效特征细节，结合粗粒度特征处理模块进行特征细化，提高特征质量，从而提高目标的识别效果。
附图说明
图1是本发明提供的卫星图像识别流程图。
图2是改进特征融合模块结构图。
图3是细粒度特征处理模块FM结构图。
图4是粗粒度特征处理模块CM结构图。
具体实施方式
本发明旨在提出一种基于机器学习的卫星图像识别方法，提出了改进特征融合模块，应用于卫星图像识别场景，包含PAN结构、细粒度特征处理模块和粗粒度特征处理模块，PAN结构可以有效地融合不同尺度的特征信息，细粒度特征处理模块提取大尺度特征图中的有效特征细节，结合粗粒度特征处理模块进行特征细化，提高特征质量，从而提高目标的识别效果。
请参见图1所示，本申请实施例中的一种基于机器学习的卫星图像识别方法：
S1、获取卫星图像数据，从卫星图像数据提供商和公开的卫星图像数据库获取图像，获取图像中包含线性工程铁路和公路，对获取的3000张图像进行预处理，包括Mixup数据增强操作和图像清洗；
S2、卫星图像数据标注，对获取图像进行标注，标注目标为图像中的铁路和公路，标注完成后，获得卫星图像数据集，按照7比1比2划分训练集、验证集和测试集，训练集2100张图像，验证集300张图像，测试集600张图像；
S3、构建细粒度特征处理模块，用于在细粒度层面处理输入特征；
S4、构建粗粒度特征处理模块，用于在粗粒度层面处理输入特征；
S5、构建改进特征融合模块，输入多层特征图，使用PAN结构、细粒度特征处理模块和粗粒度特征处理模块进行特征融合，输出多层特征图用于检测；
S6、构建卫星图像识别模型，依次由输入、Resnet骨干网络、改进特征融合模块、Resnet检测头、输出组成；
S7、使用训练集和验证集训练卫星图像识别模型，使用训练集进行模型训练，训练轮数为150轮，使用验证集进行模型性能验证，使用准确率、召回率和F1分数指标确定模型是否满足要求，根据验证结果调整训练参数；
S8、使用卫星图像识别模型进行识别，输入待检测卫星图像，图像首先经过骨干网络，得到特征图C2、C3、C4和C5，将C2、C3、C4和C5输入到改进特征融合模块，得到C2、P3检测特征、P4检测特征和P5，将C2、P3检测特征、P4检测特征和P5输入到四个对应检测头中得到检测结果，然后输出检测结果。
进一步，在S3步骤中，如图3所示，细粒度特征处理模块具体操作为，输入特征C2，，h和w代表特征图的高和宽，c代表特征图的通道数，将C2输入到步幅为s的s×s卷积层，然后输出特征的每一行像素/>，/>，/>的高为h/s，/>的宽为w/s，/>的通道数为d，将每个/>视作一个图节点/>，这样可以得到的图节点数量为h/s×w/s，且映射到原始图像中4s×4s大小的块，因此，由图像块组成的图可以表示为，/>代表第图中第n个节点，n=h/s×w/s，图中每两个节点之间存在边，即信息将使用GAT通过边进行聚合，同时只连接与每个节点欧氏距离最远的k个节点，使用矩阵/>对每个节点进行线性变换，/>，/>等于/>，然后使用共享的自注意力权重矩阵计算节点对的注意力系数，/>，/>等于/>，对于图中节点/>的一阶邻居节点/>，计算节点/>的/>，/>，同时使用softmax函数对所有选择的/>进行归一化，，其中T代表转置，/>代表串联，/>代表LeakyReLU函数，对于输出特征/>，/>，/>，/>，然后对/>使用卷积和上采样，输出C2的细粒度特征/>，/>。
进一步，GAT是一种特殊的图变换操作，引入了注意力机制来对图中节点之间的关系进行加权处理，RoIAlign通过插值操作实现对齐，解决RoIPooling中可能引起信息丢失的问题，提高了特征提取的精度。
进一步，在S4步骤中，如图4所示，粗粒度特征处理模块CM具体操作为，以P3为例，经过14×14的RoIAlign操作的P3，，/>和/>代表P3的高和宽，c代表P3的通道数，首先经过3×3卷积层以生成初始特征F1，/>，同时输入C2生成的细粒度特征，维度为h×w×c，经过3×3卷积层和RoIAlign操作以生成初始特征F2，/>，并将F1与F2连接起来得到F3，/>，然后将F3进行1×1卷积和2倍上采样，获得输出特征F4，。
进一步，原始图像块大小的图节点设置为8×8，每个节点的相邻节点数k为12，训练使用SGD优化器，使用Resnet作为骨干网络，学习率0.0025，输入图像维度，输入图像的高和宽都为224，输入图像的通道数为3。
进一步，输入图像维度为，在S3步骤中，输入特征C2，/>，输入特征C2的高和宽都为56，输入特征C2的通道数为64，将C2输入到步幅为2的2×2卷积层，然后输出特征的每一行像素/>，/>，将每个/>视作一个图节点/>，且映射到原始图像中8×8大小的块，因此，由图像块组成的图可以表示为，/>，图中每两个节点之间存在边，即信息将使用GAT通过边进行聚合，同时只连接与每个节点欧氏距离最远的12个节点，使用矩阵对每个节点进行线性变换，然后使用共享的自注意力权重矩阵/>计算节点对的注意力系数，对于图中节点i的一阶邻居节点/>，计算节点j的/>，/>，同时使用softmax函数对所有选择的j进行归一化，/>，其中T代表转置，/>代表串联，/>代表LeakyReLU函数，对于输出特征/>，/>，，/>，然后对/>使用卷积和上采样，输出C2的细粒度特征/>，。
进一步，输入图像维度为，在S4步骤中，粗粒度特征处理模块具体操作为，以P3为例，经过14×14RoIAlign操作的P3，/>，P3的高和宽都为28，P3的通道数为64，首先经过3×3卷积层以生成初始特征F1，/>，同时输入C2生成的细粒度特征，维度为/>，经过3×3卷积层和RoIAlign操作以生成初始特征F2，/>，并将F1与F2连接起来得到F3，/>，然后将F3进行1×1卷积和2倍上采样，获得输出特征F4，/>。
进一步，在S5步骤中，对于改进特征融合模块，如图2所示，输入四个不同尺度的特征图，分别为C2、C3、C4和C5，其中C2尺度最大，C5尺度最小，将C3、C4和C5经过PAN结构，输出P3、P4和P5，对P3进行特征融合操作，首先将C2输入到细粒度特征处理模块获得C2细粒度特征，将P3进行RoIAlign操作后，和C2细粒度特征一起输入到第一个粗粒度特征处理模块，输出P3中间特征，将P3中间特征和C2细粒度特征一起输入到第二个粗粒度特征处理模块得到P3检测特征，对P4进行特征融合操作，首先将C2输入到细粒度特征处理模块获得C2细粒度特征，将P4进行RoIAlign操作后，和C2细粒度特征一起输入到第三个粗粒度特征处理模块，输出P4中间特征，将P4中间特征和C2细粒度特征一起输入到第四个粗粒度特征处理模块得到P4检测特征，最后输出C2、P3检测特征、P4检测特征和P5。
进一步，在S5步骤中，PAN结构的处理过程为，如图2所示，输入C3、C4和C5，C5通过上采样获得C5上采样特征，将C5上采样特征和C4进行特征连接，得到C4中间特征，将C4中间特征上采样得到C4上采样中间特征，将C4上采样中间特征和C3特征连接，得到C3输出特征，将C3输出特征进行卷积操作，得到C3卷积输出特征，将C3卷积输出特征和C4中间特征进行连接获得C4输出特征，将C4输出特征进行卷积操作，得到C4卷积输出特征，将C4卷积输出特征和C5特征进行连接获得C5输出特征，最后，将C3输出特征、C4输出特征和C5输出特征分别输出为P3、P4和P5。
进一步，输入图像维度，C2维度为/>，C3维度为/>，C4维度为/>，C5维度为/>，C3、C4和C5经过PAN结构，得到P3、P4和P5，P3维度为，P4维度为/>，P5维度为/>，对P3进行特征融合操作，首先将C2输入到细粒度特征处理模块获得维度为/>的C2细粒度特征，将P3进行RoIAlign操作后，和C2细粒度特征一起输入到第一个粗粒度特征处理模块，输出维度为/>的P3中间特征，将P3中间特征和C2细粒度特征一起输入到第二个粗粒度特征处理模块得到维度为的P3检测特征，对P4进行特征融合操作，首先将C2输入到细粒度特征处理模块获得维度为/>的C2细粒度特征，将P4进行RoIAlign操作后，和C2细粒度特征一起输入到第三个粗粒度特征处理模块，输出维度为/>的P4中间特征，将P4中间特征和C2细粒度特征一起输入到第四个粗粒度特征处理模块得到维度为/>的P4检测特征，最后输出维度为/>的C2、维度为/>的P3检测特征、维度为/>的P4检测特征和维度为/>的P5。
以上仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于机器学习的卫星图像识别方法，其特征在于，包括以下步骤：
S1、获取卫星图像数据，从卫星图像数据提供商和公开的卫星图像数据库获取图像，获取图像中包含线性工程铁路和公路，对获取图像进行预处理；
S2、卫星图像数据标注，对获取图像进行标注，标注目标为图像中的铁路和公路，标注完成后，获得卫星图像数据集，划分训练集、验证集和测试集；
S3、构建细粒度特征处理模块，用于在细粒度层面处理输入特征；
S4、构建粗粒度特征处理模块，用于在粗粒度层面处理输入特征；
S5、构建改进特征融合模块，输入多层特征图，使用PAN结构、细粒度特征处理模块和粗粒度特征处理模块进行特征融合，输出多层特征图用于检测；
S6、构建卫星图像识别模型，依次由输入、骨干网络、改进特征融合模块、检测头、输出组成；
S7、使用训练集和验证集训练卫星图像识别模型，使用训练集进行模型训练，使用验证集进行模型性能验证，使用准确率、召回率和F1分数指标确定模型是否满足要求，根据验证结果调整训练参数；
S8、使用卫星图像识别模型进行识别，输入待检测卫星图像，图像首先经过骨干网络，得到特征图C2、C3、C4和C5，将C2、C3、C4和C5输入到改进特征融合模块，得到C2、P3检测特征、P4检测特征和P5，将C2、P3检测特征、P4检测特征和P5输入到四个对应检测头中得到检测结果，然后输出检测结果。
2.根据权利要求1所述的一种基于机器学习的卫星图像识别方法，其特征在于，在S3步骤中，细粒度特征处理模块具体操作为，输入特征C2，，h和w代表特征图的高和宽，c代表特征图的通道数，将C2输入到步幅为s的s×s卷积层，然后输出特征的每一行像素，/>，/>的高为h/s，/>的宽为w/s，/>的通道数为d，将每个/>视作一个图节点/>，这样可以得到的图节点数量为h/s×w/s，且映射到原始图像中4s×4s大小的块，因此，由图像块组成的图可以表示为/>，/>代表第图中第n个节点，n=h/s×w/s，图中每两个节点之间存在边，即信息将使用GAT通过边进行聚合，同时只连接与每个节点欧氏距离最远的k个节点，使用矩阵/>对每个节点进行线性变换，/>，/>等于/>，然后使用共享的自注意力权重矩阵/>计算节点对的注意力系数，/>，/>等于/>，对于图中节点/>的一阶邻居节点/>，计算节点/>的/>，/>，同时使用softmax函数对所有选择的/>进行归一化，/>，其中T代表转置，/>代表串联，/>代表LeakyReLU函数，对于输出特征/>，/>，/>，/>，然后对/>使用卷积和上采样，输出C2的细粒度特征/>，/>。
3.根据权利要求1所述的一种基于机器学习的卫星图像识别方法，其特征在于，在S4步骤中，粗粒度特征处理模块具体操作为，以P3为例，经过14×14的RoIAlign操作的P3，，/>和/>代表P3的高和宽，c代表P3的通道数，首先经过3×3卷积层以生成初始特征F1，/>，同时输入C2生成的细粒度特征，维度为h×w×c，经过3×3卷积层和RoIAlign操作以生成初始特征F2，/>，并将F1与F2连接起来得到F3，/>，然后将F3进行1×1卷积和2倍上采样，获得输出特征F4，/>。
4.根据权利要求1所述的一种基于机器学习的卫星图像识别方法，其特征在于，在S5步骤中，对于改进特征融合模块，输入四个不同尺度的特征图，分别为C2、C3、C4和C5，其中C2尺度最大，C5尺度最小，将C3、C4和C5经过PAN结构，输出P3、P4和P5，对P3进行特征融合操作，首先将C2输入到细粒度特征处理模块获得C2细粒度特征，将P3进行RoIAlign操作后，和C2细粒度特征一起输入到第一个粗粒度特征处理模块，输出P3中间特征，将P3中间特征和C2细粒度特征一起输入到第二个粗粒度特征处理模块得到P3检测特征，对P4进行特征融合操作，首先将C2输入到细粒度特征处理模块获得C2细粒度特征，将P4进行RoIAlign操作后，和C2细粒度特征一起输入到第三个粗粒度特征处理模块，输出P4中间特征，将P4中间特征和C2细粒度特征一起输入到第四个粗粒度特征处理模块得到P4检测特征，最后输出C2、P3检测特征、P4检测特征和P5。
5.根据权利要求1所述的一种基于机器学习的卫星图像识别方法，其特征在于，在S5步骤中，PAN结构的处理过程为，输入C3、C4和C5，C5通过上采样获得C5上采样特征，将C5上采样特征和C4进行特征连接，得到C4中间特征，将C4中间特征上采样得到C4上采样中间特征，将C4上采样中间特征和C3特征连接，得到C3输出特征，将C3输出特征进行卷积操作，得到C3卷积输出特征，将C3卷积输出特征和C4中间特征进行连接获得C4输出特征，将C4输出特征进行卷积操作，得到C4卷积输出特征，将C4卷积输出特征和C5特征进行连接获得C5输出特征，最后，将C3输出特征、C4输出特征和C5输出特征分别输出为P3、P4和P5。
CN202410417213.8A 2024-04-09 2024-04-09 一种基于机器学习的卫星图像识别方法 Pending CN118015488A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410417213.8A CN118015488A (zh) 2024-04-09 2024-04-09 一种基于机器学习的卫星图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410417213.8A CN118015488A (zh) 2024-04-09 2024-04-09 一种基于机器学习的卫星图像识别方法

Publications (1)

Publication Number Publication Date
CN118015488A true CN118015488A (zh) 2024-05-10

Family

ID=90944704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410417213.8A Pending CN118015488A (zh) 2024-04-09 2024-04-09 一种基于机器学习的卫星图像识别方法

Country Status (1)

Country Link
CN (1) CN118015488A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688765A (zh) * 2021-08-31 2021-11-23 南京信息工程大学 一种基于注意力机制的自适应图卷积网络的动作识别方法
CN115861641A (zh) * 2022-10-31 2023-03-28 浙江工业大学 一种基于细粒度注意力的医学影像报告生成方法
CN117456376A (zh) * 2023-11-10 2024-01-26 吉林大学 一种基于深度学习的遥感卫星影像目标检测方法
CN117809200A (zh) * 2024-01-22 2024-04-02 无锡学院 一种基于增强小目标特征提取的多尺度遥感图像目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688765A (zh) * 2021-08-31 2021-11-23 南京信息工程大学 一种基于注意力机制的自适应图卷积网络的动作识别方法
CN115861641A (zh) * 2022-10-31 2023-03-28 浙江工业大学 一种基于细粒度注意力的医学影像报告生成方法
CN117456376A (zh) * 2023-11-10 2024-01-26 吉林大学 一种基于深度学习的遥感卫星影像目标检测方法
CN117809200A (zh) * 2024-01-22 2024-04-02 无锡学院 一种基于增强小目标特征提取的多尺度遥感图像目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SHIJIE LIAN, AT EL.: "WaterMask: Instance Segmentation for Underwater Imagery", 2023 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), 15 January 2024 (2024-01-15), pages 1305 - 1315 *
SHU LIU, AT EL.: "Path Aggregation Network for Instance Segmentation", ARXIV:1803.01534V4 [CS.CV], 18 September 2018 (2018-09-18), pages 1 - 11 *
TSUNG-YI LIN, AT EL.: "Feature Pyramid Networks for Object Detection", ARXIV:1612.03144V2 [CS.CV], 19 April 2017 (2017-04-19), pages 1 - 10 *
刘力源;张利锋;柳婵娟;贾世祥;: "基于特征融合的注意力双线性池细粒度表情识别", 鲁东大学学报(自然科学版), no. 02, 27 April 2020 (2020-04-27) *
金阳: "锂离子电池储能电站早期安全预警及防护", 31 December 2021, 机械工业出版社, pages: 200 *

Similar Documents

Publication Publication Date Title
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN109840556B (zh) 一种基于孪生网络的图像分类识别方法
CN111797779A (zh) 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN115063573B (zh) 一种基于注意力机制的多尺度目标检测方法
CN114359130B (zh) 一种基于无人机影像的道路裂缝检测方法
CN110853057B (zh) 基于全局和多尺度全卷积网络的航拍图像分割方法
CN112733693B (zh) 一种全局感知高分辨率遥感影像多尺度残差道路提取方法
CN113269224B (zh) 一种场景图像分类方法、系统及存储介质
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN111860233A (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN116797787A (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN109584203A (zh) 基于深度学习与语义信息的重定位图像质量评价方法
CN116844053B (zh) 一种小麦种植区域识别方法、系统、电子设备及存储介质
CN117830788A (zh) 一种多源信息融合的图像目标检测方法
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN114998703B (zh) 一种基于高分辨卷积神经网络的遥感图像变化检测方法
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
Song et al. PSTNet: Progressive sampling transformer network for remote sensing image change detection
CN112926533A (zh) 基于双向特征融合的光学遥感图像地物分类方法及系统
CN115937693A (zh) 一种基于遥感图像的道路识别方法及系统
CN112528803B (zh) 道路特征提取方法、装置、设备及存储介质
CN116778346B (zh) 一种基于改进自注意力机制的管线识别方法及系统
CN111967516B (zh) 一种逐像素分类方法、存储介质及分类设备
CN117392668A (zh) 一种麦田小麦赤霉病状态评估方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination