CN113222908A - 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法 - Google Patents

基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法 Download PDF

Info

Publication number
CN113222908A
CN113222908A CN202110443708.4A CN202110443708A CN113222908A CN 113222908 A CN113222908 A CN 113222908A CN 202110443708 A CN202110443708 A CN 202110443708A CN 113222908 A CN113222908 A CN 113222908A
Authority
CN
China
Prior art keywords
hyperspectral
sub
hyperspectral image
shielding effect
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110443708.4A
Other languages
English (en)
Other versions
CN113222908B (zh
Inventor
郑向涛
高贵龙
陈文静
卢孝强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN202110443708.4A priority Critical patent/CN113222908B/zh
Publication of CN113222908A publication Critical patent/CN113222908A/zh
Application granted granted Critical
Publication of CN113222908B publication Critical patent/CN113222908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，解决现有高光谱遮挡效果评估方法易受复杂成像环境等因素导致的噪声干扰，难以较好地进行遮挡效果评估的问题。该方法包括以下步骤：1)构建高光谱遮挡效果评估数据库；2)构建回归模型；3)优化回归模型；4)获取遮挡效果评估分数。本发明基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法能从不同成像环境下的高光谱图像中学习出有效的特征，提高遮挡效果评估准确率，可以应用于复杂成像环境下的高光谱遮挡效果评估、目标识别等领域。

Description

基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于自适应光谱波段筛选 网络的高光谱遮挡效果评估方法。
背景技术
现有遮挡技术通常利用各种遮挡材质涂层，让被遮挡目标和地物背景的 表观在视觉上一致，使得遮挡目标可以隐藏于背景之中，以避免被光学成像 设备拍摄到。高光谱成像技术可同时捕获观测对象的空间结构信息和光谱信 号，包含了观测对象本征的物理、化学材质特性，在遮挡效果评估等任务中 受到广泛关注。因此，对高光谱图像的光谱信号进行建模分析，可评估不同 遮挡材质涂层对目标的遮挡效果。
传统高光谱遮挡效果评估方法一般组合多种评价指标(如：光谱信息散 度、光谱梯度角等)来度量被遮挡目标和地物背景的光谱信号差异，并根据 光谱信号差异来评估目标的被遮挡效果。Guo等人在“Guo T,Hua W,Liu X,et al.Comprehensive evaluation ofoptical camouflage effect based on hyperspectra[J].Laser&OptoelectronicsProgress,2016,053(010):90-96.”中同 时利用光谱曲线形状、光谱欧式距离和地物纹理矢量距离三个评价指标，进 行高光谱遮挡效果评估。Yan等人在“Yan Y,Hua W,Zhang Y,etal. Hyperspectral camouflage target characteristic analysis[C].InternationalSymposium on Advanced Optical Manufacturing and Testing Technologies:Optoelectronic Materials and Devices for Sensing and Imaging.InternationalSociety for Optics and Photonics,2019.”中利用欧氏距离、光谱信息散度、光谱 角度和光谱梯度角度分别评估遮挡目标和地物背景的光谱信号差异。然而， 高光谱图像的光谱信号往往受成像环境、设备噪声等影响，使得同一地物背 景可能呈现不同光谱信号，从而干扰遮挡效果评估。
综上所述，现有高光谱遮挡效果评估方法通常组合多种评价指标直接对 遮挡目标和周围背景的光谱信号进行度量分析，易受复杂成像环境等因素导 致的噪声干扰，难以较好地进行遮挡效果评估。
发明内容
本发明的目的是解决现有高光谱遮挡效果评估方法易受复杂成像环境等 因素导致的噪声干扰，难以较好地进行遮挡效果评估的问题，提出一种基于 自适应光谱波段筛选网络的高光谱遮挡效果评估方法，该方法利用深度卷积 神经网络自适应挖掘对于区分目标和地物背景具有判别性的光谱波段，提取 深层特征，提高遮挡效果评估的精度。
为实现上述目的，本发明采用如下技术方案：
一种基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，包括以 下步骤：
步骤一、构建高光谱遮挡效果评估数据库；
采集不同成像环境下，包含复杂背景和被遮挡目标的高光谱图像，并对 高光谱图像中目标被遮挡的效果进行评估，从而构建高光谱遮挡效果评估数 据库；
步骤二、构建回归模型；
2.1)将高光谱图像划分为多个子区域；
利用高光谱成像设备的相机光谱灵敏度函数将高光谱遮挡效果评估数据 库中的高光谱图像映射成RGB图像，再使用在ImageNet数据集上预训练的深 度分割网络将RGB图像划分为多个子区域，然后根据RGB图像中子区域的空 间位置把高光谱图像划分为多个子区域；
2.2)筛选具有判别性的光谱波段；
将步骤2.1)中获取的子区域输入至光谱波段筛选模块，为每个高光谱图 像的子区域筛选出对区分目标和背景具有判别性的光谱波段，得到经过光谱 波段筛选后的高光谱图像子区域；
2.3)获取各子区域的最终特征；
将步骤2.2)获取的高光谱图像子区域先利用卷积操作分别构建光谱特征 提取模块和空间特征提取模块，采用全局平均池化操作构建最终特征提取模 块，然后依次将步骤2.1)获取的高光谱图像的各子区域输入到光谱特征提取 模块、空间特征提取模块和最终特征提取模块，提取出各子区域的最终特征；
2.4)根据步骤2.3)获取的各子区域的最终特征，对高光谱图像子区域的 最终特征建立回归模型；
步骤三、优化回归模型；
在高光谱遮挡效果评估数据库中利用随机梯度方法优化回归模型，直至 回归模型收敛；
步骤四、获取遮挡效果评估分数；
采集被评估的高光谱图像，将该高光谱图像输入至优化后的回归模型中 进行评估，得到遮挡目标的遮挡效果评估分数。
进一步地，步骤2.1)中，将高光谱图像划分为多个子区域具体包括以下 步骤：
2.11)根据高光谱成像设备的相机光谱灵敏度函数将高光谱遮挡效果评估 数据库中的高光谱图像
Figure RE-GDA0003142124400000031
转成RGB图像
Figure RE-GDA0003142124400000032
高光谱图像
Figure RE-GDA0003142124400000033
包含m种地物背景，n种目标，其中w×h为高光谱图像的空间尺寸， c为高光谱图像的光谱波段数目；
2.12)利用在ImageNet数据集上预训练的DeepLab v3方法将RGB图像
Figure BDA0003035971940000034
划 分为多个图像子区域
Figure BDA0003035971940000035
每个区域对应一种地物背景；
2.13)根据RGB图像中
Figure BDA0003035971940000036
的空间位置，相应地对高光谱图像进 行子区域划分，得到m个高光谱子区域X1,X2,…,Xm，其中每个子区域Xi仅对 应一种地物背景，1≤i≤m。
进一步地，步骤2.2)筛选具有判别性的光谱波段具体包括以下步骤：
2.21)使用零值对高光谱图像的各子区域Xi进行补齐操作，使得补齐后子 区域Xi是一个正方形；
2.22)将步骤2.21)处理后的子区域输入至光谱波段筛选模块，为每个高 光谱图像的子区域筛选出对区分目标和背景具有判别性的光谱波段，得到经 过光谱波段筛选后的高光谱图像子区域；
光谱波段筛选模块主要包含一个全局池化层，一个全连接层和一个 sigmoid激活函数层；
首先，全局池化层用于融合子区域Xi全局信息；
然后，将子区域Xi的全局信息输入到全连接层和sigmoid激活函数层得到 一个权重向量
Figure BDA0003035971940000041
其中αj为α第j个向量分量的值，表示第j个波段的重 要程度，0≤αj≤1，1≤j≤c；
α＝sigmoid(W*GP(Xi)+b))
其中，
Figure BDA0003035971940000042
为全连接层的权重参数，*表示矩阵乘法，GP(·)表示全局平 均池化操作，
Figure BDA0003035971940000043
为全连接层的偏置参数，sigmoid(x)＝1/(1+e-x)；
最后，将得到的α与Xi进行逐元素相乘，得到经过光谱波段筛选后的高 光谱图像子区域
Figure BDA0003035971940000044
Figure BDA0003035971940000045
其中，
Figure BDA0003035971940000046
表示把α第j个向量分量的值αj与Xi中第j个波段中每个元素相 乘(1≤j≤c)。
进一步地，步骤2.3)获取各子区域的最终特征具体为：
2.31)构建光谱特征提取模块，利用卷积核空间尺寸为1×1的卷积层，从 经过光谱波段筛选模块后的高光谱图像子区域
Figure BDA0003035971940000047
提取光谱特征
Figure BDA0003035971940000048
其 中
Figure BDA0003035971940000049
为光谱特征的通道数；
2.32)构建空间特征提取模块，利用卷积核空间尺寸为3×3的卷积层从光 谱特征
Figure BDA0003035971940000051
提取空间特征
Figure BDA0003035971940000052
空间特征的通道数为
Figure BDA0003035971940000053
Figure BDA0003035971940000054
其中，conv(·)表示卷积操作，
Figure BDA0003035971940000055
表示卷积层的权重参数，
Figure BDA0003035971940000056
表 示卷积层的偏置参数；
2.33)构建最终特征提取模块，利用全局平均池化操作，提取高光谱图像 子区域
Figure BDA0003035971940000057
的最终特征
Figure BDA0003035971940000058
2.34)依次将高光谱图像中各子区域X1,X2,…,Xm输入到光谱特征提取模 块、空间特征提取模块和最终特征提取模块，得到各子区域的最终特征
Figure BDA0003035971940000059
Figure BDA00030359719400000510
其中，GP(·)表示全局平均池化操作。
进一步地，步骤三中，优化回归模型具体包括以下步骤：
将高光谱图像中子区域Xi的最终特征
Figure BDA00030359719400000511
输入到一个全连接层，得到该 子区域Xi中目标的被遮挡效果评估分数
Figure BDA00030359719400000512
Figure BDA00030359719400000513
其中，
Figure BDA00030359719400000514
为全连接层的权重参数，
Figure BDA00030359719400000515
为全连接层的偏置参数，*表 示矩阵乘法，回归模型的损失函数为Loss；
Figure BDA00030359719400000516
其中，yi是该高光谱图像的真实遮挡效果评估分数。
进一步地，步骤一中，高光谱遮挡效果评估数据库中，高光谱图像的评 估分数在区间[0,1]内，分数越大表示遮挡效果越好，分数越小表示遮挡效果 越差。
与现有技术相比，本发明方法具有如下有益效果：
1.本发明方法首次将深度卷积神经网络引入到高光谱遮挡效果评估中，利 用光谱波段筛选模块自适应地筛选出具有判别性的光谱波段，可以提高高光 谱遮挡效果评估的准确率。
2.本发明方法可以从不同成像环境下的高光谱图像中学习出有效的特征， 克服传统方法易受复杂成像环境干扰问题，本发明可应用于复杂成像环境下 的高光谱图像遮挡效果评估。
附图说明
图1为本发明基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法 流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。本领域技术人员 应当理解的是，这些实施方式仅仅用来解释本发明的技术原理，目的并不是 用来限制本发明的保护范围。
本发明提供一种基于自适应光谱波段筛选网络的高光谱遮挡效果评估方 法，该方法包括以下步骤：1)构建高光谱遮挡效果评估数据库；2)构建回 归模型；3)优化回归模型；4)获取遮挡效果评估分数。本发明基于自适应 光谱波段筛选网络的高光谱遮挡效果评估方法能从不同成像环境下的高光谱 图像中学习出有效的特征，提高遮挡效果评估准确率，可以应用于复杂成像 环境下的高光谱遮挡效果评估、目标识别等领域。
如图1所示，本发明提供的基于自适应光谱波段筛选网络的高光谱遮挡效 果评估方法，主要包括以下步骤：
步骤一、构建高光谱遮挡效果评估数据库；
采集不同季节、天气、光照、地点、设备等成像环境下的包含复杂地物 背景和被遮挡目标的高光谱图像，并对这些高光谱图像中目标的被遮挡效果 进行评估，评估分数在区间[0,1]内，分数越大表示遮挡效果越好，分数越小 表示遮挡效果越差，这样就构建出高光谱遮挡效果评估数据库；
步骤二、构建回归模型；
2.1)将高光谱图像划分为多个子区域；
利用高光谱成像设备的相机光谱灵敏度函数(camera spectral sensitivityfunction)将高光谱图像映射成RGB图像，再使用在ImageNet数据集上预训练 的深度分割网络将RGB图像划分为多个子区域，然后根据RGB图像中子区域 的空间位置把高光谱图像划分为多个子区域；
高光谱图像可能包含多种被遮挡目标和多种地物背景，且被遮挡目标和 地物背景之间有着相似的表观。为了自动评估遮挡效果，根据图像的表观信 息，对高光谱图像进行子区域划分，使每个子区域仅包含一种地物背景。假 设高光谱图像
Figure RE-GDA0003142124400000071
包含m种地物背景，n种目标，其中w×h为高光谱图 像的空间尺寸，c为高光谱图像的光谱波段数目。由于高光谱图像不能直接反 映被遮挡目标和地物背景的表观信息，先根据高光谱成像设备的相机光谱灵 敏度函数将高光谱图像
Figure RE-GDA0003142124400000072
转成RGB图像
Figure RE-GDA0003142124400000073
利用在ImageNet数据集上预训练的DeepLab v3方法将
Figure RE-GDA0003142124400000074
划分为多个图像子区域
Figure RE-GDA0003142124400000075
每个区域对应一种地物背景。因为
Figure RE-GDA0003142124400000076
由X生成，
Figure RE-GDA0003142124400000077
和X之间的 像素一一对应，因此，根据
Figure RE-GDA0003142124400000078
的空间位置，可相应地对高光谱图像 进行子区域划分，得到m个高光谱子区域X1,X2,…,Xm，其中每个区域Xi (1≤i≤m)仅对应一种地物背景。对目标进行遮挡一般指利用先进材质涂层 和技术使被遮挡目标表观和地物背景表观一致，使得被遮挡目标隐藏于背景 之中。实际中，每个区域Xi可能包含多个被遮挡目标。假设各子区域 X1,X2,…,Xm分别包含n1,n2,…,nm个被遮挡目标，且
Figure RE-GDA0003142124400000079
在后面的步骤中， 对各子区域X1,X2,…,Xm所包含的高光谱像素进行分析，可评估不同遮挡技术 的遮挡效果；
2.2)筛选具有判别性的光谱波段；
将步骤2.1)中获取的子区域输入至光谱波段筛选模块，为每个高光谱图 像的子区域筛选出对区分目标和背景具有判别性的光谱波段，得到经过光谱 波段筛选后的高光谱图像子区域；
构建光谱波段筛选模块，以任务驱动的方式为每个子区域Xi筛选出具有 判别性的光谱波段，为后续评估遮挡效果提供有效光谱信息。由于地物背景 区域的边缘一般是不规则图像，因此子区域Xi不是规则的正方形区域，不能 直接输入到光谱波段筛选模块中进行波段筛选。先使用零值对高光谱图像的 各子区域Xi进行补齐操作，使得补齐后子区域Xi是一个正方形；光谱波段筛 选模块主要包含一个全局池化层，一个全连接层和一个sigmoid激活函数层。 首先，全局池化层用于融合子区域Xi全局信息；然后，将子区域Xi的全局信 息输入到全连接层和sigmoid激活函数层得到一个权重向量
Figure BDA0003035971940000081
其中αj为α 第j个向量分量的值，表示第j个波段的重要程度，0≤αj≤1，1≤j≤c；
α＝sigmoid(W*GP(Xi)+b)),
其中，
Figure BDA0003035971940000082
为全连接层的权重参数，*表示矩阵乘法，GP(·)表示全局平 均池化操作，
Figure BDA0003035971940000083
为全连接层的偏置参数，sigmoid(x)＝1/(1+e-x)。最后，将 得到的α与Xi进行逐元素相乘，得到经过光谱波段筛选后的高光谱图像子区 域
Figure BDA0003035971940000084
Figure BDA0003035971940000085
其中，
Figure BDA0003035971940000086
表示把α第j个向量分量的值αj与Xi中第j个波段中每个元素相 乘(1≤j≤c)；
2.3)获取各子区域的最终特征；
将步骤2.2)获取的高光谱图像子区域先利用卷积操作分别构建光谱特征 提取模块和空间特征提取模块，采用全局平均池化操作构建最终特征提取模 块，然后依次将步骤2.1)获取的高光谱图像的各子区域输入到光谱特征提取 模块、空间特征提取模块和最终特征提取模块，提取出各子区域的最终特征；
2.31)构建光谱特征提取模块，利用卷积核空间尺寸为1×1的卷积层，从 经过光谱波段筛选模块后的高光谱图像子区域
Figure BDA0003035971940000091
提取光谱特征。卷积核空间 尺寸为1×1的卷积层可避免空间邻域内像素的干扰，使得该模块专注于光谱维 度的特征提取。用卷积核空间尺寸为1×1的卷积层从
Figure BDA0003035971940000092
提取光谱特征
Figure BDA0003035971940000093
其中
Figure BDA0003035971940000094
为光谱特征的通道数；
2.32)构建空间特征提取模块，利用卷积核空间尺寸为3×3的卷积层从光 谱特征
Figure BDA0003035971940000095
提取空间特征
Figure BDA0003035971940000096
空间特征的通道数也为
Figure BDA0003035971940000097
Figure BDA0003035971940000098
其中，conv(·)表示卷积操作，
Figure BDA0003035971940000099
表示卷积层的权重参数，
Figure BDA00030359719400000910
表 示卷积层的偏置参数；
2.33)构建最终特征提取模块，利用全局平均池化操作，提取高光谱图像 子区域
Figure BDA00030359719400000911
的最终特征
Figure BDA00030359719400000912
2.34)由于不同高光谱子区域Xi的空间尺寸不一致，导致不同高光谱子区 域的空间特征的空间尺寸也不一致。采用全局平均池化操作，将不同高光谱 子区域的空间特征
Figure BDA00030359719400000913
的空间尺寸都统一至1×1，得到该子区域的最终特征
Figure BDA00030359719400000914
依次将高光谱图像中各子区域X1,X2,…,Xm输入到光谱特征提取模块、 空间特征提取模块和最终特征提取模块，即可得到各子区域的最终特征
Figure BDA00030359719400000915
Figure BDA00030359719400000916
其中，GP(·)表示全局平均池化操作；
2.4)根据步骤2.3)获取的各子区域的最终特征，对高光谱图像子区域的 最终特征建立回归模型；
步骤三、优化回归模型；
在高光谱遮挡效果评估数据库中利用随机梯度方法优化回归模型，直至 回归模型收敛，模型收敛的条件是：达到最大迭代次数；
将高光谱图像中子区域Xi的最终特征
Figure BDA0003035971940000101
输入到一个全连接层，得到该 子区域Xi中目标的被遮挡效果评估分数
Figure BDA0003035971940000102
Figure BDA0003035971940000103
其中，
Figure BDA0003035971940000104
为全连接层的权重参数，
Figure BDA0003035971940000105
为全连接层的偏置参数，*表 示矩阵乘法，回归模型的损失函数为Loss；
Figure BDA0003035971940000106
其中，yi是该高光谱图像的真实遮挡效果评估分数；
步骤四、获取遮挡效果评估分数；
采集被评估的高光谱图像，将该高光谱图像输入至步骤三优化后的回归 模型中进行评估，得到遮挡目标的遮挡效果评估分数。

Claims (6)

1.一种基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于，包括以下步骤：
步骤一、构建高光谱遮挡效果评估数据库；
采集不同成像环境下，包含复杂背景和被遮挡目标的高光谱图像，并对高光谱图像中目标被遮挡的效果进行评估，从而构建高光谱遮挡效果评估数据库；
步骤二、构建回归模型；
2.1)将高光谱图像划分为多个子区域；
利用高光谱成像设备的相机光谱灵敏度函数将高光谱遮挡效果评估数据库中的高光谱图像映射成RGB图像，再使用在ImageNet数据集上预训练的深度分割网络将RGB图像划分为多个子区域，然后根据RGB图像中子区域的空间位置把高光谱图像划分为多个子区域；
2.2)筛选具有判别性的光谱波段；
将步骤2.1)中获取的子区域输入至光谱波段筛选模块，为每个高光谱图像的子区域筛选出对区分目标和背景具有判别性的光谱波段，得到经过光谱波段筛选后的高光谱图像子区域；
2.3)获取各子区域的最终特征；
将步骤2.2)获取的高光谱图像子区域先利用卷积操作分别构建光谱特征提取模块和空间特征提取模块，采用全局平均池化操作构建最终特征提取模块，然后依次将步骤2.1)获取的高光谱图像的各子区域输入到光谱特征提取模块、空间特征提取模块和最终特征提取模块，提取出各子区域的最终特征；
2.4)根据步骤2.3)获取的各子区域的最终特征，对高光谱图像子区域的最终特征建立回归模型；
步骤三、优化回归模型；
在高光谱遮挡效果评估数据库中利用随机梯度方法优化回归模型，直至回归模型收敛；
步骤四、获取遮挡效果评估分数；
采集被评估的高光谱图像，将该高光谱图像输入至优化后的回归模型中进行评估，得到遮挡目标的遮挡效果评估分数。
2.根据权利要求1所述的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于，步骤2.1)中，将高光谱图像划分为多个子区域具体包括以下步骤：
2.11)根据高光谱成像设备的相机光谱灵敏度函数将高光谱遮挡效果评估数据库中的高光谱图像
Figure RE-FDA0003142124390000021
转成RGB图像
Figure RE-FDA0003142124390000022
高光谱图像
Figure RE-FDA0003142124390000023
包含m种地物背景，n种目标，其中w×h为高光谱图像的空间尺寸，c为高光谱图像的光谱波段数目；
2.12)利用在ImageNet数据集上预训练的DeepLab v3方法将RGB图像
Figure RE-FDA0003142124390000024
划分为多个图像子区域
Figure RE-FDA0003142124390000025
每个区域对应一种地物背景；
2.13)根据RGB图像中
Figure RE-FDA0003142124390000026
的空间位置，相应地对高光谱图像进行子区域划分，得到m个高光谱子区域X1,X2,…,Xm，其中每个子区域Xi仅对应一种地物背景，1≤i≤m。
3.根据权利要求2所述的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于，步骤2.2)中，筛选具有判别性的光谱波段具体包括以下步骤：
2.21)使用零值对高光谱图像的各子区域Xi进行补齐操作，使得补齐后子区域Xi是一个正方形；
2.22)将步骤2.21)处理后的子区域输入至光谱波段筛选模块，为每个高光谱图像的子区域筛选出对区分目标和背景具有判别性的光谱波段，得到经过光谱波段筛选后的高光谱图像子区域；
光谱波段筛选模块主要包含一个全局池化层，一个全连接层和一个sigmoid激活函数层；
首先，全局池化层用于融合子区域Xi全局信息；
然后，将子区域Xi的全局信息输入到全连接层和sigmoid激活函数层得到一个权重向量
Figure FDA0003035971930000031
其中αj为α第j个向量分量的值，表示第j个波段的重要程度，0≤αj≤1，1≤j≤c：
α＝sigmoid(W*GP(Xi)+b))
其中，
Figure FDA0003035971930000032
为全连接层的权重参数，*表示矩阵乘法，GP(·)表示全局平均池化操作，
Figure FDA0003035971930000033
为全连接层的偏置参数，sigmoid(x)＝1/(1+e-x)；
最后，将得到的α与Xi进行逐元素相乘，得到经过光谱波段筛选后的高光谱图像子区域
Figure FDA0003035971930000034
Figure FDA0003035971930000035
其中，
Figure FDA0003035971930000036
表示把α第j个向量分量的值αj与Xi中第j个波段中每个元素相乘(1≤j≤c)。
4.根据权利要求3所述的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于，步骤2.3)中，获取各子区域的最终特征具体为：
2.31)构建光谱特征提取模块，利用卷积核空间尺寸为1×1的卷积层，从经过光谱波段筛选模块后的高光谱图像子区域
Figure FDA0003035971930000037
提取光谱特征
Figure FDA0003035971930000038
其中
Figure FDA0003035971930000039
为光谱特征的通道数；
2.32)构建空间特征提取模块，利用卷积核空间尺寸为3×3的卷积层从光谱特征
Figure FDA00030359719300000310
提取空间特征
Figure FDA00030359719300000311
空间特征的通道数为
Figure FDA00030359719300000312
Figure FDA00030359719300000313
其中，conv(·)表示卷积操作，
Figure FDA00030359719300000314
表示卷积层的权重参数，
Figure FDA00030359719300000315
表示卷积层的偏置参数；
2.33)构建最终特征提取模块，利用全局平均池化操作，提取高光谱图像子区域
Figure FDA0003035971930000041
的最终特征
Figure FDA0003035971930000042
2.34)依次将高光谱图像中各子区域X1,X2,…,Xm输入到光谱特征提取模块、空间特征提取模块和最终特征提取模块，得到各子区域的最终特征
Figure FDA0003035971930000043
Figure FDA0003035971930000044
其中，GP(·)表示全局平均池化操作。
5.根据权利要求4所述的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于，步骤三中，优化回归模型具体包括以下步骤：
将高光谱图像中子区域Xi的最终特征
Figure FDA0003035971930000045
输入到一个全连接层，得到该子区域Xi中目标的被遮挡效果评估分数
Figure FDA0003035971930000046
Figure FDA0003035971930000047
其中，
Figure FDA0003035971930000048
为全连接层的权重参数，
Figure FDA0003035971930000049
为全连接层的偏置参数，*表示矩阵乘法，回归模型的损失函数为Loss；
Figure FDA00030359719300000410
其中，yi是该高光谱图像的真实遮挡效果评估分数。
6.根据权利要求1至5任一所述的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于：步骤一中，高光谱遮挡效果评估数据库中，高光谱图像的评估分数在区间[0,1]内，分数越大表示遮挡效果越好，分数越小表示遮挡效果越差。
CN202110443708.4A 2021-04-23 2021-04-23 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法 Active CN113222908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110443708.4A CN113222908B (zh) 2021-04-23 2021-04-23 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110443708.4A CN113222908B (zh) 2021-04-23 2021-04-23 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法

Publications (2)

Publication Number Publication Date
CN113222908A true CN113222908A (zh) 2021-08-06
CN113222908B CN113222908B (zh) 2023-12-12

Family

ID=77088560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110443708.4A Active CN113222908B (zh) 2021-04-23 2021-04-23 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法

Country Status (1)

Country Link
CN (1) CN113222908B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109598306A (zh) * 2018-12-06 2019-04-09 西安电子科技大学 基于srcm和卷积神经网络的高光谱图像分类方法
KR102197297B1 (ko) * 2019-09-27 2020-12-31 서울대학교산학협력단 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
CN112308152A (zh) * 2020-11-03 2021-02-02 西安电子科技大学 基于光谱分割与同质区域检测的高光谱图像地物分类方法
WO2021036267A1 (zh) * 2019-08-23 2021-03-04 华为技术有限公司 一种图像检测方法及相关设备
CN112598708A (zh) * 2020-12-25 2021-04-02 江南大学 一种基于四特征融合和权重系数的高光谱目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109598306A (zh) * 2018-12-06 2019-04-09 西安电子科技大学 基于srcm和卷积神经网络的高光谱图像分类方法
WO2021036267A1 (zh) * 2019-08-23 2021-03-04 华为技术有限公司 一种图像检测方法及相关设备
KR102197297B1 (ko) * 2019-09-27 2020-12-31 서울대학교산학협력단 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
CN112308152A (zh) * 2020-11-03 2021-02-02 西安电子科技大学 基于光谱分割与同质区域检测的高光谱图像地物分类方法
CN112598708A (zh) * 2020-12-25 2021-04-02 江南大学 一种基于四特征融合和权重系数的高光谱目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙美君;柴勃隆;张冬;王征;孙济洲;: "基于近红外高光谱技术的敦煌莫高窟壁画起甲病害风险评估方法", 文物保护与考古科学, no. 04 *
王晓飞;侯传龙;阎秋静;张钧萍;汪爱华;: "基于相关向量机的高光谱图像噪声评估算法", 红外与激光工程, no. 12 *

Also Published As

Publication number Publication date
CN113222908B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
US9805294B2 (en) Method for denoising time-of-flight range images
US11521380B2 (en) Shadow and cloud masking for remote sensing images in agriculture applications using a multilayer perceptron
CN108596213A (zh) 一种基于卷积神经网络的高光谱遥感图像分类方法及系统
Nasiri et al. Infrared small target enhancement based on variance difference
Neal et al. Measuring shape
CN109376600A (zh) 多光谱遥感影像综合特征云检测方法及装置
CN111667019B (zh) 基于可变形分离卷积的高光谱图像分类方法
CN114120176A (zh) 远红外与可见光视频图像融合的行为分析方法
Su et al. Potato quality grading based on depth imaging and convolutional neural network
Shihavuddin et al. Automated classification and thematic mapping of bacterial mats in the north sea
CN116295285A (zh) 基于区域自适应的浅海水深遥感反演方法
CN117115669B (zh) 双条件质量约束的对象级地物样本自适应生成方法及系统
Asming et al. Processing and classification of landsat and sentinel images for oil palm plantation detection
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
CN113222908A (zh) 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法
CN110826691A (zh) 基于yolo和lstm的地震速度谱智能拾取方法
CN105809632B (zh) 从预定农作物的雷达影像去除噪声的方法
Veramendi et al. Algorithm for the countering maize plants based on UAV, digital image processing and semantic modeling
Kakadiya et al. Shape Extraction methods for fruits: technical review
CN112668670A (zh) 地膜识别方法及其相关设备
Arivazhagan et al. Performance comparison of discrete wavelet transform and dual tree discrete wavelet transform for automatic airborne target detection
Larbi Advancing Microsoft Excel’s potential for teaching digital image processing and analysis
Lee et al. Sensors i: Color imaging and basics of image processing
CN114418000A (zh) 一种基于自适应感知机的遥感影像智能解译方法及系统
Mahmud Development of a machine vision system for strawberry powdery mildew disease detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant