CN117593514B - 一种基于深层主成分分析辅助的图像目标检测方法及系统 - Google Patents

一种基于深层主成分分析辅助的图像目标检测方法及系统 Download PDF

Info

Publication number
CN117593514B
CN117593514B CN202311678782.XA CN202311678782A CN117593514B CN 117593514 B CN117593514 B CN 117593514B CN 202311678782 A CN202311678782 A CN 202311678782A CN 117593514 B CN117593514 B CN 117593514B
Authority
CN
China
Prior art keywords
target detection
component analysis
principal component
deep
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311678782.XA
Other languages
English (en)
Other versions
CN117593514A (zh
Inventor
李冠群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genyu Muxing Beijing Space Technology Co ltd
Original Assignee
Genyu Muxing Beijing Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genyu Muxing Beijing Space Technology Co ltd filed Critical Genyu Muxing Beijing Space Technology Co ltd
Priority to CN202311678782.XA priority Critical patent/CN117593514B/zh
Publication of CN117593514A publication Critical patent/CN117593514A/zh
Application granted granted Critical
Publication of CN117593514B publication Critical patent/CN117593514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深层主成分分析辅助的图像目标检测方法及系统，属于图像处理技术领域。方法包括：构建结合深层主成分分析辅助的骨干特征提取网络；基于深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；对建立的目标检测模型进行目标检测任务训练；利用训练好的目标检测模型对待测图像进行目标检测。本发明针对遥感图像目标检测中的特征信息在深层特征提取过程中的特征差异性质，构建了一种结合深层主成分分析辅助的骨干特征提取网络以有效提取和利用深层特征图和浅层特征图的特征互补性质，提高了遥感图像目标检测模型的性能，便于实现精准的遥感图像目标检测任务识别。

Description

一种基于深层主成分分析辅助的图像目标检测方法及系统
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种基于深层主成分分析辅助的图像目标检测方法及系统。
背景技术
遥感图像在国防安全、环境监测、城市规划等领域具有广泛的应用前景。遥感图像目标检测技术一直以来都是遥感领域的研究重点之一。当前主流的遥感图像目标检测方法主要基于卷积神经网络构建，经过特征提取，特征融合,特征解耦后输出潜在目标区域的预测框和类型信息。其中，遥感图像目标检测模型的特征提取网络扮演着重要的作用，也是整个目标检测模型最核心的架构之一。特征提取网络由卷积模块深层堆叠构成，用于接收输入的原始遥感图像并提取特征。卷积模块包含基础卷积算子，归一化模块和激活函数三部分，负责对输入的遥感图像的通道信息进行逐像素级别的计算以实现特征提取的目的。一直以来，设计高效的特征提取网络成为了提升遥感图像目标检测模型精度的有效方法，许多强大的特征提取网络被相继提出并在遥感图像目标检测领域大放异彩，如ResNet，VGG，ViT等。然而，这类方法大多忽略了特征信息在深层特征提取过程中的差异性质，导致特征信息的利用不够高效，这使得目标检测的性能存在瓶颈。在深度学习模型中，特征图经过深层次的卷积计算，遥感图像的通道数得到拓展，模型可以从中解耦出更多有价值的信息。在这一深层特征提取过程中，深层级特征图往往包含了丰富的语义信息，但纹理角点信息缺失且分辨率较低尺寸较小，而浅层特征图更多的包含了丰富的纹理角点信息，但语义信息不足且分辨率较高尺寸较大。因此，深层特征图和浅层特征图具有较强的特征互补性质，当前主流的目标检测模型没有有效利用这一性质，从而影响了模型预测的质量。
因此，亟需改进遥感图像目标检测方法，设计高效的特征提取网络以有效提取和利用深层特征图和浅层特征图的特征互补性质并改善模型预测的质量，对于正确识别和定位遥感图像中的潜在的目标对象至关重要。
发明内容
有鉴于此，本发明提供至少解决上述部分技术问题的一种基于深层主成分分析辅助的图像目标检测方法及系统，便于实现精准的图像目标检测任务识别，提高了图像目标检测的性能。
为实现上述目的，本发明采取的技术方案为：
第一方面，本发明实施例提供一种基于深层主成分分析辅助的图像目标检测方法，该方法包括以下步骤：
S1、构建结合深层主成分分析辅助的骨干特征提取网络；
S2、基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；
S3、对建立的目标检测模型进行目标检测任务训练；
S4、利用训练好的目标检测模型对待测图像进行目标检测。
可选的，所述步骤S1中，搭建的所述深层主成分分析辅助的骨干特征提取网络包括：堆叠的多个卷积模块和主成分分析模块，其中：
所述主成分分析模块在骨干特征提取网络中以间隔部署的方式与所述卷积模块连接，所述主成分分析模块提取浅层特征图的特征信息并以间隔方式传递给深层特征图，实现深层特征图和浅层特征图的特征互补性质利用。
可选的，主成分分析模块的计算流程包括：图像切片、特征映射、特征拼接和特征重塑的操作。
可选的，特征映射的操作过程中，首先提取观测向量矩阵的一组主成分基底，其中，/>是基础样本矩阵的主成分基底，/>是基础样本矩阵对应的标签矩阵的主成分基底；然后利用约束条件对主成分基底/>进行优化。
可选的，所述约束条件包括：①.与/>各自最大化地提取所在变量组的变异信息；②./>与/>的相关程度达到最大。
可选的，所述步骤S2中，建立的目标检测模型包括：深层主成分分析辅助的骨干特征提取网络、特征融合网络以及特征解耦头。
可选的，所述步骤S3中，在进行目标检测任务训练前，对训练图像进行预处理，预处理过程包括：缩放、拉伸、投影、滤波、对比度调整、旋转和翻转。
可选的，所述步骤S3中，采用焦点损失和旋转框交并比损失对目标检测模型进行目标检测任务训练。
第二方面，本发明实施例还提供一种基于深层主成分分析辅助的图像目标检测系统，应用上述的一种基于深层主成分分析辅助的图像目标检测方法，实现精准的图像目标检测任务识别，该系统包括：
特征提取网络构建模块，用于构建结合深层主成分分析辅助的骨干特征提取网络；
目标检测模型建立模块，用于基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；
目标检测模型训练模块，用于对建立的目标检测模型进行目标检测任务训练；
目标检测模型应用模块，用于利用训练好的目标检测模型对待测图像进行目标检测。
与现有技术相比，本发明至少具有如下有益效果：
1.本发明提供了一种基于深层主成分分析辅助的图像目标检测方法及系统，其中构建的结合深层主成分分析辅助的骨干特征提取网络，能够有效的提升浅层特征图和深层特征图的数据利用效率，便于帮助模型获取到更高质量的浅层纹理信息和深层语义信息，进而帮助目标检测模型更准确地理解图像内容，正确识别和定位图像中的潜在的目标。
2.本发明提供了一种基于深层主成分分析辅助的图像目标检测方法及系统，基于深层主成分分析辅助的骨干特征提取网络建立的目标检测模型，能够在特征融合阶段充分融合不同层级的特征信息，提升了浅层纹理信息和深层语义信息的在融合过程中的数据流动，使得特征解耦头能够获取更多关于潜在目标区域的多尺度信息以及多维度信息，从而实现精准的遥感图像目标检测任务识别。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例提供的一种基于深层主成分分析辅助的图像目标检测方法的流程示意图。
图2为本发明实施例提供的基于深层主成分分析辅助的目标检测模型示意图。
图3为本发明实施例提供的主成分分析模块对输入特征图处理流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要说明的是：在本申请说明书及附图等描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1所示，本发明提供了一种基于深层主成分分析辅助的图像目标检测方法，该方法主要包括以下步骤：
S1、构建结合深层主成分分析辅助的骨干特征提取网络；
S2、基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；
S3、对建立的目标检测模型进行目标检测任务训练；
S4、利用训练好的目标检测模型对待测图像进行目标检测。
下面以本发明应用于遥感图像处理场景，对本发明方法的具体实施方式进行详细说明：
传统深度学习模型大多使用卷积神经网络作为骨干特征提取网络，典型骨干特征提取网络包括：ResNet，VGG，EfficientNet等。这类模型通过层级堆叠卷积模块以获得输入遥感图像的特征信息。随着Transformer系列模型在视觉领域的大热，许多基于Transformer的骨干特征提取网络相继出现，如Swin Transformer，Lite Transformer等，这类模型基于自注意力机制计算获得图像特征的上下文信息，相比于传统卷积神经网络模型具有更好的精度表现。为准确的表示本发明方法的应用示例，本实施例中以基础卷积模块作为示例，展示本发明基于深层主成分分析辅助的图像目标检测方法模型结构。但需要注意的是，通过简单的模型替换，本发明基于深层主成分分析辅助的图像目标检测方法可以适配通用基础骨干特征提取网络。
传统骨干特征提取网络由卷积模块堆叠而成，每个基础的卷积模块内包含基础卷积算子（Conv），归一化模块（Batch Normalization）和激活函数（Relu），基础卷积算子对输入的遥感图像的通道信息进行逐像素级别的计算以实现特征提取的目的，归一化模块将计算后的通道结果归一化到标准区间内以方便后续计算同时避免梯度优化异常问题，激活函数对潜在目标区域的特征矩阵进行激活和抑制作用，以帮助模型区分前景及背景信息。各自模块的操作层的计算过程可形式化地表示为：
其中，表示基础卷积操作，/>为归一化模块，它接收和输出特征的通道数保持不变，/>为输入特征图，/>为经历多尺度特征提取后的输出特征图。/>为激活函数负责对输出特征图的潜在目标区域进行激活。定义CONV为包含基础卷积算子，归一化模块和激活函数的卷积模块，因此深度神经网络的深层特征提取过程可以形式化地表示为：
其中，表示第n层的卷积模块，/>为输入特征图，/>为输出特征图。基于此可以获得遥感图像经过深层特征提取后的n张特征图。
在一个具体实施例中，在上述步骤S1中，搭建结合深层主成分分析辅助的骨干特征提取网络，其结构如图2所示。它包含传统骨干特征提取网络以及主成分分析模块（Principal Component Analysis,，PCA），其中主成分分析模块为网络的核心模块，负责提取浅层特征图的特征信息并以间隔部署的方式传递给深层特征图，以实现深层特征图和浅层特征图的特征互补性质的有效利用，进而提升模型预测的质量。在本实施例中，以骨干特征提取网络的前三层为例说明该流程的计算过程，可形式化地表示为：
其中，表示第i层级的卷积操作，用于提取输入图像的特征。/>表示第三层级卷积模块的输出特征图。PCA为主成分分析模块，它间隔的部署在骨干特征提取网络中以实现浅层特征图到深层特征图的特征降维以及特征复用。主成分分析模块的计算流程如图3所示，它包含图像切片，特征映射，特征拼接，特征重塑的等操作，最终得到合适尺寸的特征图，计算过程可形式化地表示为：
首先，浅层特征图将经过图像切片操作，按照通道划分为n个相等大小的子块/>。对于每个子特征图将其映射为观测向量并构成基础样本矩阵X，根据真值标签基础样本矩阵X与标签矩阵Y的线性对应关系。在该映射过程中，首先提取观测向量矩阵的一组主成分基底/>，其中/>对应的是基础样本矩阵X的主成分基底，/>对应的是基础样本矩阵X对应的标签矩阵Y的主成分基底。因此，/>可以表示为基础样本矩阵X的线性组合，计算过程可形式化地表示为：
同理，对于标签矩阵Y的主成分基底，计算过程可形式化地表示为：
其中，分别表示样本的权重系数，/>表示标签矩阵Y包含变量的个数，/>表示标签矩阵Y的第/>个变量。基于上述计算即可得到基础样本矩阵X和标签矩阵Y的第一组线性组合，即第一组主成分基底。
进一步的，在本实施例中，为了求得最具有数据代表性的主成分权重，我们按照以下两个约束条件对进行优化：①/>与/>各自尽可能多地提取所在变量组的变异信息;②/>与/>的相关程度达到最大。最后，在本实施例中，利用协方差矩阵作为衡量两个随机变量的关系，协方差数值越大,相关程度越高，计算过程可形式化地表示为：
在本实施例中，此处可利用lagrange乘数法转化为条件极值进行求解，直到回归曲线精度符合要求。基于此，即可得到最能代表特征图显著信息的特征向量Z，经过多次PCA提取后，获得的特征向量表示为：
其中，为最终优化后的权重值，对每个切片的后的子特征图进行主成分分析后可以得到多个最能代表特征图显著信息的特征向量/>，利用特征拼接算子以及特征重塑算子将其整合为符合骨干网络层级输入尺寸的形状后传入对应层级的卷积模块中，计算过程可形式化地表示为：
其中，表示特征重塑算子用于改变特征图的形状，/>为特征拼接算子用于将不同切片经过主成分分析后得到的包含特征图显著信息的特征向量/>进行拼接以获得完整的特征图。/>表示第n个子特征图切片经过多次PCA提取后，获得的最能代表特征图显著信息的特征向量。
综上，基于深层主成分分析模块辅助的骨干特征提取网络的前三层结构描述完毕，后续只需要层级堆叠即可实现深层骨干特征提取网络的构建。
在一个具体实施例中，在上述步骤S2中，进一步的，搭建基于深层主成分分析辅助的骨干特征提取网络的遥感图像目标检测模型。其结构如图2所示，该模型由深层主成分分析辅助的骨干特征提取网络（PCA-CNN），特征融合网络（Neck）以及特征解耦头（Head）组成。首先，遥感图像即其标签信息经过数据预处理后输入到目标检测模型中，而后基于深层主成分分析辅助的骨干特征提取网络对输入图像进行特征提取，形式化地表示为：
其中，为尺寸为/>，并且，通道数为3的原始输入图像，/>为图像中目标的标注信息，包括检测框和类别等。预处理过程还包括必要的数据增强方法，如投影，旋转，翻转等对数据进行扩充增强。/>表示经过特征提取后的到的特征图，它的尺寸为/>，并且有/>个通道。将最后3层的由卷积模块提取的特征图/>传递给特征融合网络（Neck）进行特征融合。特征融合网络一般由卷积模块（Conv）和特征融合模块（Concat）和特征重塑模块（Reshape）组成，其中卷积模块负责修改特征图的通道数，特征重塑模块（Reshape）负责负责修改特征图的尺寸，融合模块（Concat）用于融合不同层级的特征图信息以辅助预测，该过程可以形式化地表示为：
其中，表示特征融合网络，用于特征融合，/>表示融合后的输出特征图。
进一步的，经过特征融合网络获得融合后特征图将被输出到目标检测模型的检测头部分，通过解耦特征图以获得潜在目标的类别和位置信息，形式化地表示为：
其中，表示预测获得的分类信息，/>表示预测获得的位置信息。/>为颈部网络（Neck）进行特征融合输出的特征图，/>表示分类函数，/>表示位置回归函数。至此，搭建基于深层主成分分析辅助的骨干特征提取网络的遥感图像目标检测模型搭建完毕。
在一个具体实施例中，在上述步骤S3中，对目标检测模型的网络进行遥感图像目标检测任务的训练；在搭建完结合多尺度语义特征注意力融合网络的目标检测模型后，采用焦点损失（Focal Loss）和旋转框交并比损失（Rotated IoU）对网络进行遥感图像目标检测任务训练，形式化地表示为：
其中，表示焦点损失，用于遥感图像目标检测任务的分类预测分支。表示旋转框IoU损失函数，用于计算预测框与输入的遥感图像对应的目标真值标签的距离。/>则表示网络训练所采用的总损失。待网络训练至损失不再下降，则表示网络训练达到稳定，训练过程结束，得到训练完毕的结合多尺度语义特征注意力融合网络的目标检测模型。
在一个具体实施例中，在上述步骤S4中，使用训练完毕的基于深层主成分分析辅助的遥感图像目标检测模型对待测试的遥感图像进行测试，形式化地表示为：
其中，表示训练完毕的基于深层主成分分析辅助的遥感图像目标检测模型，/>和/>分别表示待测试的遥感图像和与其对应的目标检测结果。
由上述实施例的描述，本领域技术人员可获知，针对遥感图像目标检测中的特征信息在深层特征提取过程中的特征差异性质，本发明提供了一种基于深层主成分分析辅助的图像目标检测方法，本发明中构建了一种高效的特征提取网络以有效提取和利用深层特征图和浅层特征图的特征互补性质，进一步提高了遥感等图像目标检测的性能；利用本发明提出的深层主成分分析辅助的骨干特征提取网络能够有效的提升浅层特征图和深层特征图的数据利用效率，帮助模型获取到更高质量的浅层纹理信息和深层语义信息，进而帮助目标检测模型更准确地理解图像内容，正确识别和定位遥感图像中的潜在的目标。本发明提出的基于深层主成分分析辅助的目标检测模型，能够在特征融合阶段充分融合不同层级的特征信息，提升了浅层纹理信息和深层语义信息的在融合过程中的数据流动，使得特征解耦头能够获取更多关于潜在目标区域的多尺度信息以及多维度信息，从而实现精准的遥感等图像目标检测任务识别；便于为遥感图像目标检测等领域提供了更为可靠和高效的解决方案，有助于为未来的遥感等应用领域提供了强大的支持。
进一步地，本发明还提供了一种基于深层主成分分析辅助的图像目标检测系统，应用于上述实施例中的一种基于深层主成分分析辅助的图像目标检测方法，提高了图像目标检测的性能，便于实现精确的图像目标检测；该系统包括：
特征提取网络构建模块，用于构建结合深层主成分分析辅助的骨干特征提取网络；
目标检测模型建立模块，用于基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；
目标检测模型训练模块，用于对建立的目标检测模型进行目标检测任务训练；
目标检测模型应用模块，用于利用训练好的目标检测模型对待测图像进行目标检测。
本发明实施例所提供的系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。
另外，本发明实施例还提供一种存储介质，其上存储有计算设备可读的一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行上述实施例中的一种基于深层主成分分析辅助的图像目标检测方法。
本发明实施例中，存储介质例如可以是电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备以及上述的任意合适的组合。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品等。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。
应当注意的是，词语“包括”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，该方法包括以下步骤：
S1、构建结合深层主成分分析辅助的骨干特征提取网络；
S2、基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；
S3、对建立的目标检测模型进行目标检测任务训练；
S4、利用训练好的目标检测模型对待测图像进行目标检测；
所述步骤S1中，构建的所述深层主成分分析辅助的骨干特征提取网络包括：堆叠的多个卷积模块和多个主成分分析模块，其中：
所述主成分分析模块在骨干特征提取网络中以间隔部署的方式与所述卷积模块连接，具体为：第一个卷积模块与第三个卷积模块之间连接一个主成分分析模块，第三个卷积模块与第五个卷积模块之间连接一个主成分分析模块，以此类推至第n-2个卷积模块与第n个卷积模块之间连接一个主成分分析模块，n为卷积模块的总数；
所述主成分分析模块提取浅层特征图的特征信息并以间隔方式传递给深层特征图，实现深层特征图和浅层特征图的特征互补性质利用。
2.根据权利要求1所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，主成分分析模块的计算流程包括：图像切片、特征映射、特征拼接和特征重塑的操作。
3.根据权利要求2所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，特征映射的过程中，
首先提取观测向量矩阵的一组主成分基底(t1,u1)，其中，t1对应的是基础样本矩阵的主成分基底，u1对应的是基础样本矩阵对应的标签矩阵的主成分基底；然后利用约束条件对主成分基底(t1,u1)进行优化。
4.根据权利要求3所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，所述约束条件包括：①.t1与u1各自最大化地提取所在变量组的变异信息；②.t1与u1的相关程度达到最大。
5.根据权利要求1所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，所述步骤S2中，建立的目标检测模型包括：深层主成分分析辅助的骨干特征提取网络、特征融合网络以及特征解耦头。
6.根据权利要求1所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，所述步骤S3中，在进行目标检测任务训练前，对训练图像进行预处理，预处理过程包括：缩放、拉伸、投影、滤波、对比度调整、旋转和翻转。
7.根据权利要求1所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，所述步骤S3中，采用焦点损失和旋转框交并比损失对目标检测模型进行目标检测任务训练。
8.一种基于深层主成分分析辅助的图像目标检测系统，其特征在于，应用如权利要求1-7任一项所述的一种基于深层主成分分析辅助的图像目标检测方法，实现精准的图像目标检测任务识别，该系统包括：
特征提取网络构建模块，用于构建结合深层主成分分析辅助的骨干特征提取网络；
目标检测模型建立模块，用于基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；
目标检测模型训练模块，用于对建立的目标检测模型进行目标检测任务训练；
目标检测模型应用模块，用于利用训练好的目标检测模型对待测图像进行目标检测；
构建的所述深层主成分分析辅助的骨干特征提取网络包括：堆叠的多个卷积模块和多个主成分分析模块，其中：
所述主成分分析模块在骨干特征提取网络中以间隔部署的方式与所述卷积模块连接，具体为：第一个卷积模块与第三个卷积模块之间连接一个主成分分析模块，第三个卷积模块与第五个卷积模块之间连接一个主成分分析模块，以此类推至第n-2个卷积模块与第n个卷积模块之间连接一个主成分分析模块，n为卷积模块的总数；
所述主成分分析模块提取浅层特征图的特征信息并以间隔方式传递给深层特征图，实现深层特征图和浅层特征图的特征互补性质利用。
CN202311678782.XA 2023-12-08 2023-12-08 一种基于深层主成分分析辅助的图像目标检测方法及系统 Active CN117593514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311678782.XA CN117593514B (zh) 2023-12-08 2023-12-08 一种基于深层主成分分析辅助的图像目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311678782.XA CN117593514B (zh) 2023-12-08 2023-12-08 一种基于深层主成分分析辅助的图像目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN117593514A CN117593514A (zh) 2024-02-23
CN117593514B true CN117593514B (zh) 2024-05-24

Family

ID=89916669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311678782.XA Active CN117593514B (zh) 2023-12-08 2023-12-08 一种基于深层主成分分析辅助的图像目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN117593514B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118429804A (zh) * 2024-04-28 2024-08-02 耕宇牧星(北京)空间科技有限公司 基于局部全局特征互补感知模块的遥感图像目标检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919108A (zh) * 2019-03-11 2019-06-21 西安电子科技大学 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN111368815A (zh) * 2020-05-28 2020-07-03 之江实验室 一种基于多部件自注意力机制的行人重识别方法
CN112464717A (zh) * 2020-10-23 2021-03-09 西安电子科技大学 一种遥感图像目标检测方法、系统、电子设备和存储介质
CN113076925A (zh) * 2021-04-23 2021-07-06 扬州大学 基于cnn和elm的m-qam信号调制模式识别方法
CN114882469A (zh) * 2022-04-07 2022-08-09 淮阴工学院 一种基于dl-ssd模型的交通标志检测方法及系统
CN115909088A (zh) * 2022-12-18 2023-04-04 南京理工大学 基于超分辨特征聚合的光学遥感图像目标检测方法
CN116229295A (zh) * 2023-02-28 2023-06-06 西安电子科技大学 基于融合卷积注意力机制的遥感图像目标检测方法
WO2023197032A1 (en) * 2022-04-13 2023-10-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tensor
CN117079139A (zh) * 2023-10-11 2023-11-17 耕宇牧星(北京)空间科技有限公司 一种基于多尺度语义特征的遥感图像目标检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919108A (zh) * 2019-03-11 2019-06-21 西安电子科技大学 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN111368815A (zh) * 2020-05-28 2020-07-03 之江实验室 一种基于多部件自注意力机制的行人重识别方法
CN112464717A (zh) * 2020-10-23 2021-03-09 西安电子科技大学 一种遥感图像目标检测方法、系统、电子设备和存储介质
CN113076925A (zh) * 2021-04-23 2021-07-06 扬州大学 基于cnn和elm的m-qam信号调制模式识别方法
CN114882469A (zh) * 2022-04-07 2022-08-09 淮阴工学院 一种基于dl-ssd模型的交通标志检测方法及系统
WO2023197032A1 (en) * 2022-04-13 2023-10-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tensor
CN115909088A (zh) * 2022-12-18 2023-04-04 南京理工大学 基于超分辨特征聚合的光学遥感图像目标检测方法
CN116229295A (zh) * 2023-02-28 2023-06-06 西安电子科技大学 基于融合卷积注意力机制的遥感图像目标检测方法
CN117079139A (zh) * 2023-10-11 2023-11-17 耕宇牧星(北京)空间科技有限公司 一种基于多尺度语义特征的遥感图像目标检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"remaining useful life prediction of turbofan engine based on probabilistic principal components analysis and gated recurrent unit";hanghang sun;《2021 CAA symposium on fault detection supervision and safety for technical processes》;20220201;全文 *
"基于改进卷积神经网络的航空发动机RUL预测方法研究";孙行行;《中国优秀硕士学位论文全文数据库 工程科技2辑》;20230115;全文 *

Also Published As

Publication number Publication date
CN117593514A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN110532920A (zh) 基于FaceNet方法的小数量数据集人脸识别方法
CN111368690A (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN117593514B (zh) 一种基于深层主成分分析辅助的图像目标检测方法及系统
CN114332621A (zh) 一种基于多模型特征融合的病虫害识别方法及系统
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
Avola et al. Real-time deep learning method for automated detection and localization of structural defects in manufactured products
CN116912796A (zh) 一种基于新型动态级联YOLOv8的自动驾驶目标识别方法及装置
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
Tang et al. A Siamese network-based tracking framework for hyperspectral video
Cui et al. Real-time detection of wood defects based on SPP-improved YOLO algorithm
Athira et al. Underwater object detection model based on YOLOv3 architecture using deep neural networks
CN110287970B (zh) 一种基于cam与掩盖的弱监督物体定位方法
CN115049833A (zh) 一种基于局部特征增强和相似性度量的点云部件分割方法
CN118096785A (zh) 基于级联注意力和多尺度特征融合的图像分割方法及系统
Vaishnavi et al. Real-time object detection using deep learning
CN114897764A (zh) 基于标准化通道注意力的肺结节假阳性排除方法及装置
Zhang et al. A novel SSD-based detection algorithm suitable for small object
CN112418207B (zh) 一种基于自注意力蒸馏的弱监督文字检测方法
CN113177511A (zh) 基于多数据流的旋转边框智能感知目标检测方法
CN117689932A (zh) 一种基于改进YOLOv7的InSAR大气相位和地表形变的检测方法、装置及计算机存储介质
CN111767919A (zh) 一种多层双向特征提取与融合的目标检测方法
CN115359304B (zh) 一种面向单幅图像特征分组的因果不变性学习方法及系统
Yang et al. Classification of industrial surface defects based on neural architecture search
CN114913402A (zh) 一种深度学习模型的融合方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant