CN116612337A - 基于高光谱图像的物体检测方法、装置、系统及存储介质 - Google Patents

基于高光谱图像的物体检测方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN116612337A
CN116612337A CN202310886314.5A CN202310886314A CN116612337A CN 116612337 A CN116612337 A CN 116612337A CN 202310886314 A CN202310886314 A CN 202310886314A CN 116612337 A CN116612337 A CN 116612337A
Authority
CN
China
Prior art keywords
features
feature
spatial
information
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310886314.5A
Other languages
English (en)
Inventor
唐厂
何潇
郑晓
李显巨
孙琨
许江峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202310886314.5A priority Critical patent/CN116612337A/zh
Publication of CN116612337A publication Critical patent/CN116612337A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/283—Investigating the spectrum computer-interfaced
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于高光谱图像的物体检测方法、装置、系统及存储介质，涉及图像处理技术领域，包括：该方法应用于基于高光谱图像的物体检测系统，包括信息处理模型和检测模型，该方法包括：获取高光谱图像进行预处理，得到光谱信息和空间信息；利用训练好的信息处理模型，进行特征提取，得到光谱特征和空间特征，将光谱特征和空间特征融合，得到共识信息，并根据上述特征得到多个空间聚合特征和多个光谱聚合特征；利用训练好的检测模型，将多个空间聚合特征和多个光谱聚合特征融合，得到检测结果。本发明的有益效果：对空间特征和光谱特征进行提取，并处理得到共识信息和对应的聚合特征，增加高光谱图像信息利用率，进而提高物体检测效率。

Description

基于高光谱图像的物体检测方法、装置、系统及存储介质
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于高光谱图像的物体检测方法、装置、系统及存储介质。
背景技术
高光谱图像是指在电磁波谱中广泛的波长范围内捕捉物体或场景的图像，随着传感器技术的发展，高光谱图像已经成为众多研究人员关注的关键领域。与传统的彩色图像相比，高光谱图像可以提供更详细和准确的信息。
现有技术中，常提取高光谱图像中的光谱特征对图像进行分类，例如使用支持向量机或多项逻辑回归利用光谱特征实现图像分类，但是高光谱图像中仍包含丰富的信息，只利用光谱特征对图像进行分类导致分类结果不准确。且现有技术对于高光谱图像的研究及应用主要集中在在图像分类和语义分割上，对于图像中具体的目标或物体，需要在图像分类或语义分割基础上进一步进行检测或分类，费时费力，检测结果准确率也较低。
发明内容
本发明解决的问题是如何提高物体检测的精确度。
为解决上述问题，本发明提供了一种基于高光谱图像的物体检测方法、装置、系统及存储介质。
第一方面，本发明提供一种基于高光谱图像的物体检测方法，应用于基于高光谱图像的物体检测模系统，所述基于高光谱图像的物体检测系统包括信息处理模型和检测模型，所述基于高光谱图像的物体检测方法包括：
获取高光谱图像，对所述高光谱图像进行预处理，得到光谱信息和空间信息；
利用所述信息处理模型，对所述光谱信息和所述空间信息进行特征提取，得到光谱特征和空间特征，将所述光谱特征和所述空间特征融合，得到共识信息，并根据所述光谱特征、所述空间特征和所述共识信息得到多个空间聚合特征和多个光谱聚合特征，其中，所述信息处理模型以样本光谱信息、样本空间信息、样本光谱聚合特征和样本空间聚合特征为数据集训练得到；
利用所述检测模型，将多个所述空间聚合特征和多个所述光谱聚合特征融合，得到检测结果，其中，所述检测模型以样本空间聚合特征、样本光谱聚合特征和样本检测结果为数据集训练得到。
本发明中，对高光谱图像进行预处理，提取光谱信息和空间信息，以进行双流特征（光谱特征、空间特征）的提取，提高高光谱图像中信息的利用率。对光谱信息和空间信息进行特征提取，并将提取到的光谱信息和空间信息进行拼接得到共识信息，以获取光谱特征和空间特征的共识信息，即将高光谱图像中冗余信息或无信息的背景信息删除，以得到更精准的物体检测信息。根据共识信息得到多个准确度较高的空间聚合特征和光谱聚合特征，进而根据多个空间聚合特征和光谱聚合特征得到检测结果，有效提升物体检测的准确率。且利用训练好的信息处理模型和检测模型进行物体检测，有效提升了物体检测效率。
可选地，所述对所述高光谱图像进行预处理包括：
对所述高光谱图像进行主成分分析，得到所述光谱信息；
对所述高光谱图像进行波段选择，得到多个波段空间信息，将所述波段空间信息进行聚合，得到所述空间信息。
可选地，所述信息处理模型包括特征提取网络和融合模块，所述融合模块包括第一融合模块、第二融合模块和第三融合模块；
所述特征提取网络包括进行所述空间特征提取的第一网络、第二网络、第三网络、第四网络和第五网络，按照所述第一网络、所述第二网络、所述第三网络、所述第一融合模块、所述第四网络、所述第二融合模块、所述第五网络、所述第三融合模块的顺序依次连接；
所述特征提取网络还包括进行所述光谱特征提取的第六网络、第七网络、第八网络、第九网络和第十网络，按照所述第六网络、所述第七网络、所述第八网络、所述第一融合模块、所述第九网络、所述第二融合模块、所述第十网络、所述第三融合模块的顺序依次连接。
可选地，所述利用所述信息处理模型，对所述光谱信息和所述空间信息进行特征提取，得到光谱特征和空间特征，将所述光谱特征和所述空间特征融合，得到共识信息，并根据所述光谱特征、所述空间特征和所述共识信息得到多个空间聚合特征和多个光谱聚合特征包括：
将所述空间信息依次输入所述第一网络、所述第二网络、所述第三网络进行特征提取，得到第一空间特征，将所述光谱信息依次输入所述第六网络、所述第七网络、所述第八网络进行特征提取，得到第一光谱特征；
利用所述第一融合模块，对所述第一空间特征和所述第一光谱特征进行融合处理和精细化处理，得到第一空间聚合特征和第一光谱聚合特征；
将所述第一空间聚合特征输入所述第四网络进行特征提取，得到第二空间特征，将所述第一光谱聚合特征输入所述第九网络进行特征提取，得到第二光谱特征；
利用所述第二融合模块，对所述第二空间特征和所述第二光谱特征进行融合处理和精细化处理，得到第二空间聚合特征和第二光谱聚合特征；
将所述第二空间聚合特征输入所述第五网络进行特征提取，得到第三空间特征，将所述第二光谱聚合特征输入所述第十网络进行特征提取，得到第三光谱特征；
利用所述第三融合模块，对所述第三空间特征和所述第三光谱特征进行融合处理和精细化处理，得到第三空间聚合特征和第三光谱聚合特征。
可选地，所述融合模块包括线性层、线性注意力模块、自注意力模块、混合注意力模块和卷积层。
可选地，所述将所述光谱特征和所述空间特征融合得到共识信息，并根据所述共识信息、所述光谱特征和所述空间特征得到光谱聚合特征和空间聚合特征包括：
将所述空间特征和所述光谱特征分别输入所述线性层，得到目标空间特征和目标光谱特征；
将所述空间特征和所述光谱特征进行拼接，得到初始共识信息，利用所述线性注意力模块对所述初始共识信息进行预处理，得到预处理共识信息；
利用所述自注意力模块，根据所述目标空间特征、所述目标光谱特征和所述预处理共识信息得到待拼接空间特征和待拼接光谱特征，将所述待拼接空间特征和所述待拼接光谱特征进行拼接，得到待调整共识信息；
将所述待调整共识信息输入所述混合注意力模块， 对所述待调整共识信息进行精细化处理，得到所述共识信息；
利用所述卷积层，根据所述共识信息得到待聚合空间特征和待聚合光谱特征；
将所述待聚合空间特征与所述空间特征累加，得到空间聚合特征，将所述待聚合光谱特征与所述光谱特征累加，得到光谱聚合特征。
可选地，所述检测结果包括检测框和分类标识，所述利用所述检测模型，将多个所述空间聚合特征和多个所述光谱聚合特征融合，得到检测结果包括：
将所述第一空间聚合特征、所述第一光谱聚合特征、第二空间聚合特征、所述第二光谱聚合特征、所述第三空间聚合特征和所述第三光谱聚合特征输入所述检测模型，得到所述检测框和所述分类标识。
第二方面，本发明还提供一种基于高光谱图像的物体检测装置，应用于基于高光谱图像的物体检测模系统，所述基于高光谱图像的物体检测系统包括信息处理模型和检测模型，所述基于高光谱图像的物体检测装置包括：
图像处理单元，用于获取高光谱图像，对所述高光谱图像进行预处理，得到光谱信息和空间信息；
特征处理单元，用于利用所述信息处理模型，对所述光谱信息和所述空间信息进行特征提取，得到光谱特征和空间特征，将所述光谱特征和所述空间特征融合，得到共识信息，并根据所述光谱特征、所述空间特征和所述共识信息得到多个空间聚合特征和多个光谱聚合特征，其中，所述信息处理模型以样本光谱信息、样本空间信息、样本光谱聚合特征和样本空间聚合特征为数据集训练得到；
特征融合单元，用于利用所述检测模型，将多个所述空间聚合特征和多个所述光谱聚合特征融合，得到检测结果，其中，所述检测模型以样本空间聚合特征、样本光谱聚合特征和样本检测结果为数据集训练得到。
本发明的基于高光谱图像的物体检测装置与基于高光谱图像的物体检测方法相对于现有技术的优势相同，在此不再赘述。
第三方面，本发明又公开一种基于高光谱图像的物体检测系统，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如上述所述的基于高光谱图像的物体检测方法。
本发明的基于高光谱图像的物体检测系统与基于高光谱图像的物体检测方法相对于现有技术的优势相同，在此不再赘述。
第四方面，本发明又公开一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述所述的基于高光谱图像的物体检测方法。
本发明的计算机可读存储介质与基于高光谱图像的物体检测方法相对于现有技术的优势相同，在此不再赘述。
附图说明
图1为本发明实施例的基于高光谱图像的物体检测方法的流程示意图；
图2为本发明实施例的高光谱图像解耦流程示意图；
图3为本发明实施例的信息处理模型的结构示意图；
图4为本发明实施例的融合模块的结构示意图；
图5为本发明实施例的混合注意力模块的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
在本申请实施例的描述中，术语“一些实施例”的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
如图1所示，本发明实施例提供了一种基于高光谱图像的物体检测方法，应用于光谱图像的物体检测模型，所述基于高光谱图像的物体检测模型包括信息处理模型和检测模型，所述基于高光谱图像的物体检测方法包括：
步骤S1、获取高光谱图像，对所述高光谱图像进行预处理，得到光谱信息和空间信息；
具体地，本实施例基于光谱图像的物体检测模型为双流模型，即同时对光普特征和空间特征进行处理，以进行物体检测，因此，需对高光谱图像进行预处理，得到进行特征提取的基础（光谱信息和空间信息），以进行进一步地特征提取。
步骤S2、利用所述信息处理模型，对所述光谱信息和所述空间信息进行特征提取，得到光谱特征和空间特征，将所述光谱特征和所述空间特征融合，得到共识信息，并根据所述光谱特征、所述空间特征和所述共识信息得到多个空间聚合特征和多个光谱聚合特征，其中，所述信息处理模型以样本光谱信息、样本空间信息、样本光谱聚合特征和样本空间聚合特征为数据集训练得到；
具体地，信息处理模型获取方法为：获取样本高光谱图像，对样本高光谱图像进行预处理，得到样本光谱信息和样本空间信息，对样本光谱信息和样本空间信息进行多次特征提取，得到样本光谱特征和样本空间特征，并根据样本光谱特征和样本空间特征得到样本共识信息，将样本共识信息拆分，分别与样本光谱特征和样本空间特征累加，得到样本光谱聚合特征和样本空间聚合特征，并以本次得到的样本光谱聚合特征和样本空间聚合特征为输入，进一步进行特征提取，重复上述步骤，得到多个样本光谱聚合特征和样本空间聚合特征；预先构建初始信息处理模块，以样本光谱信息和样本空间信息为输入，样本光谱聚合特征和样本空间聚合特征为输出，训练初始信息处理模型，得到信息处理模型。
信息处理模型为双流信息处理模型，即同时进行光谱特征和空间特征提取与处理的模型。将步骤S1获取的光谱信息和空间信息输入信息处理模型，信息处理模型同时对两个信息进行特征提取，并在一个阶段的特征提取后，将特征进行融合，得到融合后的共识信息，并将共识信息进行精细化处理，以准确得到物体信息；同时将共识信息拆分并分别与一个阶段的特征提取后得到的光谱特征和空间特征进行累加，得到精细化处理后的光谱聚合特征和空间聚合特征，并在此基础上，继续进行特征提取，得到多个光谱聚合特征和多个空间聚合特征，使得特征获取更精准，进而提高物体检测准确度。
步骤S3、利用所述检测模型，将多个所述空间聚合特征和多个所述光谱聚合特征融合，得到检测结果，其中，所述检测模型以样本空间聚合特征、样本光谱聚合特征和样本检测结果为数据集训练得到。
具体地，检测模型获取方法为：对样本高光谱图像进行标注，得到样本检测结果；获取初始检测模型，以样本光谱聚合特征和样本空间聚合特征为输入，样本检测结果为输出训练初始检测模型，得到检测模型。将上述步骤S2得到的多个光谱聚合信息、多个空间聚合信息输入检测模型，得到最终的检测结果。
本实施例中，对高光谱图像进行预处理，提取光谱信息和空间信息，以进行双流特征（光谱特征、空间特征）的提取，提高高光谱图像中信息的利用率。对光谱信息和空间信息进行特征提取，并将提取到的光谱信息和空间信息进行拼接得到共识信息，以获取光谱特征和空间特征的共识信息，即将高光谱图像中冗余信息或无信息的背景信息删除，以得到更精准的物体检测信息。根据共识信息得到多个准确度较高的空间聚合特征和光谱聚合特征，进而根据多个空间聚合特征和光谱聚合特征得到检测结果，有效提升物体检测的准确率。且利用训练好的信息处理模型和检测模型进行物体检测，有效提升了物体检测效率。
可选地，所述对所述高光谱图像进行预处理包括：
对所述高光谱图像进行主成分分析，得到所述光谱信息；
对所述高光谱图像进行波段选择，得到多个波段空间信息，将所述波段空间信息进行聚合，得到所述空间信息。
具体地，高光谱图像中相邻光谱之间存在信息冗余、波段数量也不同，信息冗余和波段不统一则会导致特征提取不准确、加速量大，进而影响物体检测效率及准确度。因此需对高光谱图像进行解耦。如图2所示，采用PCA技术（Principal Components Analysis，主成分分析技术），对待检测的高光谱图像进行降维，以提取高光谱图像中的光谱信息，有效减少信息冗余现象。对高光谱图像进行波段选择，得到多个预设标准的波段空间信息，将不符合预设标准的波段的空间信息淘汰或删除，并将选择的波段空间信息进行聚合，以得到空间信息，同意了高光谱图像 的波段数量。
可选地，所述信息处理模型包括特征提取网络和融合模块，所述融合模块包括第一融合模块、第二融合模块和第三融合模块；
所述特征提取网络包括进行所述空间特征提取的第一网络、第二网络、第三网络、第四网络和第五网络，按照所述第一网络、所述第二网络、所述第三网络、所述第一融合模块、所述第四网络、所述第二融合模块、所述第五网络、所述第三融合模块的顺序依次连接；
所述特征提取网络还包括进行所述光谱特征提取的第六网络、第七网络、第八网络、第九网络和第十网络，按照所述第六网络、所述第七网络、所述第八网络、所述第一融合模块、所述第九网络、所述第二融合模块、所述第十网络、所述第三融合模块的顺序依次连接。
具体地，信息处理模型结构如图3所示，第一融合模块、第二融合模块和第三融合模块结构相同，仅在连接位置、输入不同。特征提取网络，即进行空间特征提取的第一网络、第二网络、第三网络、第四网络和第五网络，进行光谱特征提取的第六网络、第七网络、第八网络、第九网络和第十网络，均为1X1的卷积核。
按照上述顺序进行连接，得到可对空间信息和光谱信息进行特征提取与聚合的双流信息处理模型，有效提高特征提取与聚合的效率。同时，设置三层特征提取网络进行第一阶段的特征提取，并利用第一融合模块进行特征融合，而后再进行两次特征提取与融合，有效提高特征提取的精确度，获取更准确的特征进行融合，进而提升物体检测的准确率。
可选地，所述利用所述信息处理模型，对所述光谱信息和所述空间信息进行特征提取，得到光谱特征和空间特征，将所述光谱特征和所述空间特征融合，得到共识信息，并根据所述光谱特征、所述空间特征和所述共识信息得到多个空间聚合特征和多个光谱聚合特征包括：
将所述空间信息依次输入所述第一网络、所述第二网络、所述第三网络进行特征提取，得到第一空间特征，将所述光谱信息依次输入所述第六网络、所述第七网络、所述第八网络进行特征提取，得到第一光谱特征；
利用所述第一融合模块，对所述第一空间特征和所述第一光谱特征进行融合处理和精细化处理，得到第一空间聚合特征和第一光谱聚合特征；
将所述第一空间聚合特征输入所述第四网络进行特征提取，得到第二空间特征，将所述第一光谱聚合特征输入所述第九网络进行特征提取，得到第二光谱特征；
利用所述第二融合模块，对所述第二空间特征和所述第二光谱特征进行融合处理和精细化处理，得到第二空间聚合特征和第二光谱聚合特征；
将所述第二空间聚合特征输入所述第五网络进行特征提取，得到第三空间特征，将所述第二光谱聚合特征输入所述第十网络进行特征提取，得到第三光谱特征；
利用所述第三融合模块，对所述第三空间特征和所述第三光谱特征进行融合处理和精细化处理，得到第三空间聚合特征和第三光谱聚合特征。
具体地，信息处理模块将特征提取分为三阶段，一阶段包括利用第一网络、第二网络、第三网络、第六网络、第七网络、第八网络和第一融合模块进行的特征提取，二阶段包括利用第四网络、第九网络和第二融合模块进行的特征提取，三阶段包括利用第五网络、第十网络和第三融合模块进行的特征提取。一阶段对解耦后的光谱信息和空间信息进行初次的特征提取和聚合，二阶段对一阶段得到的第一光谱聚合特征和第一空间聚合特征进行进一步特征提取与聚合，三阶段对二阶段得到的第二光谱聚合特征和第二空间聚合特征进行进一步特征提取与聚合，得到第三光谱聚合特征和第三空间聚合特征。如空间特征为a，光谱特征为e，ai表示第一网络、第二网络和第三网络提取后的第i个空间特征，ei表示第六网络、第七网络和第八网络提取后的第i个光谱特征，则信息处理模块的处理过程表示为：
融合模块处理过程表示为：
，
特征提取网络处理过程表示为：
，
其中，Stage表示特征提取网络（第一网络、第二网络、第三网络、第六网络、第七网络、第八网络）Add表示累加，SSA表示第一融合模块的融合处理，表示第二空间特征，表示第二光谱特征，/>表示第一空间聚合特征，/>表示第一光谱聚合特征；根据上述公式，也可得出第三空间特征、第三光谱特征、第二空间聚合特征、第二光谱聚合特征、第三空间聚合特征和第三光谱聚合特征。
采用三阶段的特征提取与聚合，在高效利用高光谱图像内信息的同时，减小无用信息对物体检测的干扰，有效增加了特征提取的精确度。
可选地，所述融合模块包括线性层、线性注意力模块、自注意力模块、混合注意力模块和卷积层。
线性层包括进行空间特征处理的空间线性层和进行光谱特征处理的光谱线性层，卷积层包括将共识信息映射回空间特征的空间卷积层和将共识信息映射回光谱特征的光谱卷积层。
具体结构如图4所示，空间线性层、自注意力模块、混合注意力模块、空间卷积层；线性注意力模块、自注意力模块、混合注意力模块；光谱线性层、自注意力模块、混合注意力模块、光谱卷积层。空间线性层、线性注意力层和光谱线性层均为自注意力模块的输入，即问题点、关键点和真实点的线性变换。线性注意力模块包括关键点卷积层、真实点卷积层、关键点线性层和真实点线性层。
可选地，如图4所示，所述将所述光谱特征和所述空间特征融合得到共识信息，并根据所述共识信息、所述光谱特征和所述空间特征得到光谱聚合特征和空间聚合特征包括：
将所述空间特征和所述光谱特征分别输入所述线性层，得到目标空间特征和目标光谱特征；
具体地，利用空间线性层计算空间特征的相似度，根据预设条件得到目标空间特征，即空间特征问题点；利用光谱线性层计算光谱特征的相似度，根据预设条件得到目标光谱特征，即光谱特征问题点。
将所述空间特征和所述光谱特征进行拼接，得到初始共识信息，利用所述线性注意力模块对所述初始共识信息进行预处理，得到预处理共识信息；
具体地，将空间特征和光谱特征进行拼接，得到初始共识信息fi表示为：
；
并将共识信息输入线性注意力模块。线性注意力模块包括关键点卷积层、真实点卷积层、关键点线性层和真实点线性层，利用关键点线性层和真实点线性层分别得到共识信息关键点和共识信息真实点/>，对共识信息关键点和共识信息真实点进行降维处理,得到降维后的共识信息关键点/>和降维后的共识信息真实点/>，降维处理表示为：
；
预处理共识信息包括降维后的共识信息关键点和降维后的共识信息真实点。
利用所述自注意力模块，根据所述目标空间特征、所述目标光谱特征和所述预处理共识信息得到待拼接空间特征和待拼接光谱特征，将所述待拼接空间特征和所述待拼接光谱特征进行拼接，得到待调整共识信息；
具体地，根据目标空间特征、目标光谱特征和预处理共识信息得到待拼接空间特征和待拼接光谱特征表示为：
，
其中，表示待拼接空间特征，/>表示待拼接光谱特征，dk表示缩放因子，WQ表示问题点。
将和/>拼接得到待调整共识信息/>。
将所述待调整共识信息输入所述混合注意力模块， 对所述待调整共识信息进行精细化处理，得到所述共识信息；
具体地，混合注意力模块包括通道注意力模块和空间注意力模块，通道注意力模块包括两个最大池化层、两个平均池化层、多层传感器MLP，空间注意力模块包括最大值池化层、平均池化层和卷积神经网络，具体连接结构如图5所示。利用混合注意力模块对到待调整共识信息表示为：
，
其中，表示通道注意力模块输出的共识信息，/>表示空间注意力通道输出的共识信息，即最终的共识信息。
利用所述卷积层，根据所述共识信息得到待聚合空间特征和待聚合光谱特征；
具体地，卷积层包括空间卷积层和光谱卷积层，空间卷积层将共识信息映射为待聚合空间特征，光谱卷积层将共识信息处理为待聚合光谱特征。
将所述待聚合空间特征与所述空间特征累加，得到空间聚合特征，将所述待聚合光谱特征与所述光谱特征累加，得到光谱聚合特征。
如，
其中，表示待聚合空间特征，/>表示待聚合光谱特征。
可选地，所述检测结果包括检测框和分类标识，所述利用所述检测模型，将多个所述空间聚合特征和多个所述光谱聚合特征融合，得到检测结果包括：
将所述第一空间聚合特征、所述第一光谱聚合特征、第二空间聚合特征、所述第二光谱聚合特征、所述第三空间聚合特征和所述第三光谱聚合特征输入所述检测模型，得到所述检测框和所述分类标识。
具体地，本实施例的检测结果包括检测框和分类标识，并将分类标识不同的物体用不同的颜色表示，例如人采用绿色检测框和分类标识表示、车采用红色检测框和分类标识表示，自行车采用黄色检测框和分类标识表示，使得检测结果更直观。且利用多个空间聚合特征和光谱聚合特征得到检测结果，有效增加了检测结果的准确性。
本实施例还提供了一种基于高光谱图像的物体检测装置，应用于基于高光谱图像的物体检测系统，所述基于高光谱图像的物体检测系统包括信息处理模型和检测模型，所述基于高光谱图像的物体检测装置包括：
图像处理单元，用于获取高光谱图像，对所述高光谱图像进行预处理，得到光谱信息和空间信息；
特征处理单元，用于利用所述信息处理模型，对所述光谱信息和所述空间信息进行特征提取，得到光谱特征和空间特征，将所述光谱特征和所述空间特征融合，得到共识信息，并根据所述光谱特征、所述空间特征和所述共识信息得到多个空间聚合特征和多个光谱聚合特征，其中，所述信息处理模型以样本光谱信息、样本空间信息、样本光谱聚合特征和样本空间聚合特征为数据集训练得到；
特征融合单元，用于利用所述检测模型，将多个所述空间聚合特征和多个所述光谱聚合特征融合，得到检测结果，其中，所述检测模型以样本空间聚合特征、样本光谱聚合特征和样本检测结果为数据集训练得到。
本实施例的基于高光谱图像的物体检测装置与基于高光谱图像的物体检测方法相对于现有技术的优势相同，在此不再赘述。
本实施例又提供了一种基于高光谱图像的物体检测系统，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如上述所述的基于高光谱图像的物体检测方法。
本实施例的基于高光谱图像的物体检测系统与基于高光谱图像的物体检测方法相对于现有技术的优势相同，在此不再赘述。
本实施例又提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述所述的基于高光谱图像的物体检测方法。
本实施例的计算机可读存储介质与基于高光谱图像的物体检测方法相对于现有技术的优势相同，在此不再赘述。
虽然本发明披露如上，但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种基于高光谱图像的物体检测方法，其特征在于，应用于基于高光谱图像的物体检测系统，所述基于高光谱图像的物体检测系统包括信息处理模型和检测模型，所述基于高光谱图像的物体检测方法包括：
获取高光谱图像，对所述高光谱图像进行预处理，得到光谱信息和空间信息；
利用所述信息处理模型，对所述光谱信息和所述空间信息进行特征提取，得到光谱特征和空间特征，将所述光谱特征和所述空间特征融合，得到共识信息，并根据所述光谱特征、所述空间特征和所述共识信息得到多个空间聚合特征和多个光谱聚合特征，其中，所述信息处理模型以样本光谱信息、样本空间信息、样本光谱聚合特征和样本空间聚合特征为数据集训练得到；
利用所述检测模型，将多个所述空间聚合特征和多个所述光谱聚合特征融合，得到检测结果，其中，所述检测模型以样本空间聚合特征、样本光谱聚合特征和样本检测结果为数据集训练得到。
2.根据权利要求1所述的基于高光谱图像的物体检测方法，其特征在于，所述对所述高光谱图像进行预处理包括：
对所述高光谱图像进行主成分分析，得到所述光谱信息；
对所述高光谱图像进行波段选择，得到多个波段空间信息，将所述波段空间信息进行聚合，得到所述空间信息。
3.根据权利要求2所述的基于高光谱图像的物体检测方法，其特征在于，所述信息处理模型包括特征提取网络和融合模块，所述融合模块包括第一融合模块、第二融合模块和第三融合模块；
所述特征提取网络包括进行所述空间特征提取的第一网络、第二网络、第三网络、第四网络和第五网络，按照所述第一网络、所述第二网络、所述第三网络、所述第一融合模块、所述第四网络、所述第二融合模块、所述第五网络、所述第三融合模块的顺序依次连接；
所述特征提取网络还包括进行所述光谱特征提取的第六网络、第七网络、第八网络、第九网络和第十网络，按照所述第六网络、所述第七网络、所述第八网络、所述第一融合模块、所述第九网络、所述第二融合模块、所述第十网络、所述第三融合模块的顺序依次连接。
4.根据权利要求3所述的基于高光谱图像的物体检测方法，其特征在于，所述利用所述信息处理模型，对所述光谱信息和所述空间信息进行特征提取，得到光谱特征和空间特征，将所述光谱特征和所述空间特征融合，得到共识信息，并根据所述光谱特征、所述空间特征和所述共识信息得到多个空间聚合特征和多个光谱聚合特征包括：
将所述空间信息依次输入所述第一网络、所述第二网络、所述第三网络进行特征提取，得到第一空间特征，将所述光谱信息依次输入所述第六网络、所述第七网络、所述第八网络进行特征提取，得到第一光谱特征；
利用所述第一融合模块，对所述第一空间特征和所述第一光谱特征进行融合处理和精细化处理，得到第一空间聚合特征和第一光谱聚合特征；
将所述第一空间聚合特征输入所述第四网络进行特征提取，得到第二空间特征，将所述第一光谱聚合特征输入所述第九网络进行特征提取，得到第二光谱特征；
利用所述第二融合模块，对所述第二空间特征和所述第二光谱特征进行融合处理和精细化处理，得到第二空间聚合特征和第二光谱聚合特征；
将所述第二空间聚合特征输入所述第五网络进行特征提取，得到第三空间特征，将所述第二光谱聚合特征输入所述第十网络进行特征提取，得到第三光谱特征；
利用所述第三融合模块，对所述第三空间特征和所述第三光谱特征进行融合处理和精细化处理，得到第三空间聚合特征和第三光谱聚合特征。
5.根据权利要求3所述的基于高光谱图像的物体检测方法，其特征在于，所述融合模块包括线性层、线性注意力模块、自注意力模块、混合注意力模块和卷积层。
6.根据权利要求5所述的基于高光谱图像的物体检测方法，其特征在于，所述将所述光谱特征和所述空间特征融合得到共识信息，并根据所述共识信息、所述光谱特征和所述空间特征得到光谱聚合特征和空间聚合特征包括：
将所述空间特征和所述光谱特征分别输入所述线性层，得到目标空间特征和目标光谱特征；
将所述空间特征和所述光谱特征进行拼接，得到初始共识信息，利用所述线性注意力模块对所述初始共识信息进行预处理，得到预处理共识信息；
利用所述自注意力模块，根据所述目标空间特征、所述目标光谱特征和所述预处理共识信息得到待拼接空间特征和待拼接光谱特征，将所述待拼接空间特征和所述待拼接光谱特征进行拼接，得到待调整共识信息；
将所述待调整共识信息输入所述混合注意力模块， 对所述待调整共识信息进行精细化处理，得到所述共识信息；
利用所述卷积层，根据所述共识信息得到待聚合空间特征和待聚合光谱特征；
将所述待聚合空间特征与所述空间特征累加，得到空间聚合特征，将所述待聚合光谱特征与所述光谱特征累加，得到光谱聚合特征。
7.根据权利要求4所述的基于高光谱图像的物体检测方法，其特征在于，所述检测结果包括检测框和分类标识，所述利用所述检测模型，将多个所述空间聚合特征和多个所述光谱聚合特征融合，得到检测结果包括：
将所述第一空间聚合特征、所述第一光谱聚合特征、所述第二空间聚合特征、所述第二光谱聚合特征、所述第三空间聚合特征和所述第三光谱聚合特征输入所述检测模型，得到所述检测框和所述分类标识。
8.一种基于高光谱图像的物体检测装置，其特征在于，应用于基于高光谱图像的物体检测模系统，所述基于高光谱图像的物体检测系统包括信息处理模型和检测模型，所述基于高光谱图像的物体检测装置包括：
图像处理单元，用于获取高光谱图像，对所述高光谱图像进行预处理，得到光谱信息和空间信息；
特征处理单元，用于利用所述信息处理模型，对所述光谱信息和所述空间信息进行特征提取，得到光谱特征和空间特征，将所述光谱特征和所述空间特征融合，得到共识信息，并根据所述光谱特征、所述空间特征和所述共识信息得到多个空间聚合特征和多个光谱聚合特征，其中，所述信息处理模型以样本光谱信息、样本空间信息、样本光谱聚合特征和样本空间聚合特征为数据集训练得到；
特征融合单元，用于利用所述检测模型，将多个所述空间聚合特征和多个所述光谱聚合特征融合，得到检测结果，其中，所述检测模型以样本空间聚合特征、样本光谱聚合特征和样本检测结果为数据集训练得到。
9.一种基于高光谱图像的物体检测系统，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1-7任一项所述的基于高光谱图像的物体检测方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-7任一项所述的基于高光谱图像的物体检测方法。
CN202310886314.5A 2023-07-19 2023-07-19 基于高光谱图像的物体检测方法、装置、系统及存储介质 Pending CN116612337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310886314.5A CN116612337A (zh) 2023-07-19 2023-07-19 基于高光谱图像的物体检测方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310886314.5A CN116612337A (zh) 2023-07-19 2023-07-19 基于高光谱图像的物体检测方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN116612337A true CN116612337A (zh) 2023-08-18

Family

ID=87683912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310886314.5A Pending CN116612337A (zh) 2023-07-19 2023-07-19 基于高光谱图像的物体检测方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116612337A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291675A (zh) * 2020-02-04 2020-06-16 北京科技大学 一种基于深度学习的高光谱古绘画检测识别方法
AU2021100634A4 (en) * 2021-02-02 2021-04-15 Northwestern Polytechnical University Image target recognition system based on rgb depth-of-field camera and hyperspectral camera
CN115565045A (zh) * 2022-10-26 2023-01-03 深圳大学 基于多尺度空谱变换的高光谱与多光谱图像融合方法
US20230114877A1 (en) * 2020-06-29 2023-04-13 Southwest Electronics Technology Research Institute ( China Electronics Technology Group Corporation Unsupervised Latent Low-Rank Projection Learning Method for Feature Extraction of Hyperspectral Images
CN116246171A (zh) * 2023-03-08 2023-06-09 哈尔滨工程大学 一种空-谱多尺度高光谱遥感图像目标检测方法及设备
CN116310459A (zh) * 2023-03-28 2023-06-23 中国地质大学（武汉） 基于多视图空谱联合的高光谱图像子空间聚类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291675A (zh) * 2020-02-04 2020-06-16 北京科技大学 一种基于深度学习的高光谱古绘画检测识别方法
US20230114877A1 (en) * 2020-06-29 2023-04-13 Southwest Electronics Technology Research Institute ( China Electronics Technology Group Corporation Unsupervised Latent Low-Rank Projection Learning Method for Feature Extraction of Hyperspectral Images
AU2021100634A4 (en) * 2021-02-02 2021-04-15 Northwestern Polytechnical University Image target recognition system based on rgb depth-of-field camera and hyperspectral camera
CN115565045A (zh) * 2022-10-26 2023-01-03 深圳大学 基于多尺度空谱变换的高光谱与多光谱图像融合方法
CN116246171A (zh) * 2023-03-08 2023-06-09 哈尔滨工程大学 一种空-谱多尺度高光谱遥感图像目标检测方法及设备
CN116310459A (zh) * 2023-03-28 2023-06-23 中国地质大学（武汉） 基于多视图空谱联合的高光谱图像子空间聚类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAO HE ET AL.: "Object Detection in Hyperspectral Image via Unified Spectral-Spatial Feature Aggregation", 《ARXIV:2306.08370V1 [CS.CV]》, pages 1 - 2 *
李湘眷;张峰;李宇;赵越;赵川源;: "基于波段选择和空-谱组合核函数的高光谱图像目标检测", 国外电子测量技术, no. 05 *

Similar Documents

Publication Publication Date Title
Tang et al. Fast vehicle detection in UAV images
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN107239759B (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN113239954B (zh) 基于注意力机制的图像语义分割特征融合方法
CN111444917A (zh) 车牌字符识别方法、装置、电子设备和存储介质
CN111160273A (zh) 一种高光谱图像空谱联合分类方法及装置
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
US11615612B2 (en) Systems and methods for image feature extraction
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN112257711B (zh) 一种铁路货车地板破损故障检测方法
CN110929685A (zh) 基于混合特征金字塔和混合膨胀卷积的行人检测网络结构
CN111126361A (zh) 基于半监督学习和特征约束的sar目标鉴别方法
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
CN113378675A (zh) 一种同时检测和特征提取的人脸识别方法
CN113537119B (zh) 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN114372962A (zh) 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统
CN112967296B (zh) 一种点云动态区域图卷积方法、分类方法及分割方法
CN110083724A (zh) 一种相似图像检索方法、装置及系统
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及系统
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
Özyurt et al. A new method for classification of images using convolutional neural network based on Dwt-Svd perceptual hash function
CN116523858A (zh) 基于注意力机制的电力设备漏油检测方法及存储介质
CN116612337A (zh) 基于高光谱图像的物体检测方法、装置、系统及存储介质
US20200311901A1 (en) Classifying panoramic images
CN113343953B (zh) 一种用于遥感场景识别的fgr-am方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230818