CN113222908B - 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法 - Google Patents

基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法 Download PDF

Info

Publication number
CN113222908B
CN113222908B CN202110443708.4A CN202110443708A CN113222908B CN 113222908 B CN113222908 B CN 113222908B CN 202110443708 A CN202110443708 A CN 202110443708A CN 113222908 B CN113222908 B CN 113222908B
Authority
CN
China
Prior art keywords
hyperspectral
effect evaluation
hyperspectral image
image
spectrum band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110443708.4A
Other languages
English (en)
Other versions
CN113222908A (zh
Inventor
郑向涛
高贵龙
陈文静
卢孝强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN202110443708.4A priority Critical patent/CN113222908B/zh
Publication of CN113222908A publication Critical patent/CN113222908A/zh
Application granted granted Critical
Publication of CN113222908B publication Critical patent/CN113222908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，解决现有高光谱遮挡效果评估方法易受复杂成像环境等因素导致的噪声干扰，难以较好地进行遮挡效果评估的问题。该方法包括以下步骤：1)构建高光谱遮挡效果评估数据库；2)构建回归模型；3)优化回归模型；4)获取遮挡效果评估分数。本发明基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法能从不同成像环境下的高光谱图像中学习出有效的特征，提高遮挡效果评估准确率，可以应用于复杂成像环境下的高光谱遮挡效果评估、目标识别等领域。

Description

基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法。
背景技术
现有遮挡技术通常利用各种遮挡材质涂层，让被遮挡目标和地物背景的表观在视觉上一致，使得遮挡目标可以隐藏于背景之中，以避免被光学成像设备拍摄到。高光谱成像技术可同时捕获观测对象的空间结构信息和光谱信号，包含了观测对象本征的物理、化学材质特性，在遮挡效果评估等任务中受到广泛关注。因此，对高光谱图像的光谱信号进行建模分析，可评估不同遮挡材质涂层对目标的遮挡效果。
传统高光谱遮挡效果评估方法一般组合多种评价指标(如：光谱信息散度、光谱梯度角等)来度量被遮挡目标和地物背景的光谱信号差异，并根据光谱信号差异来评估目标的被遮挡效果。Guo等人在“Guo T,Hua W,Liu X,et al.Comprehensive evaluation ofoptical camouflage effect based on hyperspectra[J].Laser&OptoelectronicsProgress,2016,053(010):90-96.”中同时利用光谱曲线形状、光谱欧式距离和地物纹理矢量距离三个评价指标，进行高光谱遮挡效果评估。Yan等人在“Yan Y,Hua W,Zhang Y,etal.Hyperspectral camouflage target characteristic analysis[C].InternationalSymposium on Advanced Optical Manufacturing and Testing Technologies:Optoelectronic Materials and Devices for Sensing and Imaging.InternationalSociety for Optics and Photonics,2019.”中利用欧氏距离、光谱信息散度、光谱角度和光谱梯度角度分别评估遮挡目标和地物背景的光谱信号差异。然而，高光谱图像的光谱信号往往受成像环境、设备噪声等影响，使得同一地物背景可能呈现不同光谱信号，从而干扰遮挡效果评估。
综上所述，现有高光谱遮挡效果评估方法通常组合多种评价指标直接对遮挡目标和周围背景的光谱信号进行度量分析，易受复杂成像环境等因素导致的噪声干扰，难以较好地进行遮挡效果评估。
发明内容
本发明的目的是解决现有高光谱遮挡效果评估方法易受复杂成像环境等因素导致的噪声干扰，难以较好地进行遮挡效果评估的问题，提出一种基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，该方法利用深度卷积神经网络自适应挖掘对于区分目标和地物背景具有判别性的光谱波段，提取深层特征，提高遮挡效果评估的精度。
为实现上述目的，本发明采用如下技术方案：
一种基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，包括以下步骤：
步骤一、构建高光谱遮挡效果评估数据库；
采集不同成像环境下，包含复杂背景和被遮挡目标的高光谱图像，并对高光谱图像中目标被遮挡的效果进行评估，从而构建高光谱遮挡效果评估数据库；
步骤二、构建回归模型；
2.1)将高光谱图像划分为多个子区域；
利用高光谱成像设备的相机光谱灵敏度函数将高光谱遮挡效果评估数据库中的高光谱图像映射成RGB图像，再使用在ImageNet数据集上预训练的深度分割网络将RGB图像划分为多个子区域，然后根据RGB图像中子区域的空间位置把高光谱图像划分为多个子区域；
2.2)筛选具有判别性的光谱波段；
将步骤2.1)中获取的子区域输入至光谱波段筛选模块，为每个高光谱图像的子区域筛选出对区分目标和背景具有判别性的光谱波段，得到经过光谱波段筛选后的高光谱图像子区域；
2.3)获取各子区域的最终特征；
将步骤2.2)获取的高光谱图像子区域先利用卷积操作分别构建光谱特征提取模块和空间特征提取模块，采用全局平均池化操作构建最终特征提取模块，然后依次将步骤2.1)获取的高光谱图像的各子区域输入到光谱特征提取模块、空间特征提取模块和最终特征提取模块，提取出各子区域的最终特征；
2.4)根据步骤2.3)获取的各子区域的最终特征，对高光谱图像子区域的最终特征建立回归模型；
步骤三、优化回归模型；
在高光谱遮挡效果评估数据库中利用随机梯度方法优化回归模型，直至回归模型收敛；
步骤四、获取遮挡效果评估分数；
采集被评估的高光谱图像，将该高光谱图像输入至优化后的回归模型中进行评估，得到遮挡目标的遮挡效果评估分数。
进一步地，步骤2.1)中，将高光谱图像划分为多个子区域具体包括以下步骤：
2.11)根据高光谱成像设备的相机光谱灵敏度函数将高光谱遮挡效果评估数据库中的高光谱图像转成RGB图像/>高光谱图像/>包含m种地物背景，n种目标，其中w×h为高光谱图像的空间尺寸，c为高光谱图像的光谱波段数目；
2.12)利用在ImageNet数据集上预训练的DeepLab v3方法将RGB图像划分为多个图像子区域/>每个区域对应一种地物背景；
2.13)根据RGB图像中的空间位置，相应地对高光谱图像进行子区域划分，得到m个高光谱子区域X1,X2,…,Xm，其中每个子区域Xi仅对应一种地物背景，1≤i≤m。
进一步地，步骤2.2)筛选具有判别性的光谱波段具体包括以下步骤：
2.21)使用零值对高光谱图像的各子区域Xi进行补齐操作，使得补齐后子区域Xi是一个正方形；
2.22)将步骤2.21)处理后的子区域输入至光谱波段筛选模块，为每个高光谱图像的子区域筛选出对区分目标和背景具有判别性的光谱波段，得到经过光谱波段筛选后的高光谱图像子区域；
光谱波段筛选模块主要包含一个全局池化层，一个全连接层和一个sigmoid激活函数层；
首先，全局池化层用于融合子区域Xi全局信息；
然后，将子区域Xi的全局信息输入到全连接层和sigmoid激活函数层得到一个权重向量其中αj为α第j个向量分量的值，表示第j个波段的重要程度，0≤αj≤1，1≤j≤c；
α＝sigmoid(W*GP(Xi)+b))
其中，为全连接层的权重参数，*表示矩阵乘法，GP(·)表示全局平均池化操作，/>为全连接层的偏置参数，sigmoid(x)＝1/(1+e-x)；
最后，将得到的α与Xi进行逐元素相乘，得到经过光谱波段筛选后的高光谱图像子区域
其中，表示把α第j个向量分量的值αj与Xi中第j个波段中每个元素相乘(1≤j≤c)。
进一步地，步骤2.3)获取各子区域的最终特征具体为：
2.31)构建光谱特征提取模块，利用卷积核空间尺寸为1×1的卷积层，从经过光谱波段筛选模块后的高光谱图像子区域提取光谱特征/>其中/>为光谱特征的通道数；
2.32)构建空间特征提取模块，利用卷积核空间尺寸为3×3的卷积层从光谱特征提取空间特征/>空间特征的通道数为/>
其中，conv(·)表示卷积操作，表示卷积层的权重参数，/>表示卷积层的偏置参数；
2.33)构建最终特征提取模块，利用全局平均池化操作，提取高光谱图像子区域的最终特征/>
2.34)依次将高光谱图像中各子区域X1,X2,…,Xm输入到光谱特征提取模块、空间特征提取模块和最终特征提取模块，得到各子区域的最终特征
其中，GP(·)表示全局平均池化操作。
进一步地，步骤三中，优化回归模型具体包括以下步骤：
将高光谱图像中子区域Xi的最终特征输入到一个全连接层，得到该子区域Xi中目标的被遮挡效果评估分数/>
其中，为全连接层的权重参数，/>为全连接层的偏置参数，*表示矩阵乘法，回归模型的损失函数为Loss；
其中，yi是该高光谱图像的真实遮挡效果评估分数。
进一步地，步骤一中，高光谱遮挡效果评估数据库中，高光谱图像的评估分数在区间[0,1]内，分数越大表示遮挡效果越好，分数越小表示遮挡效果越差。
与现有技术相比，本发明方法具有如下有益效果：
1.本发明方法首次将深度卷积神经网络引入到高光谱遮挡效果评估中，利用光谱波段筛选模块自适应地筛选出具有判别性的光谱波段，可以提高高光谱遮挡效果评估的准确率。
2.本发明方法可以从不同成像环境下的高光谱图像中学习出有效的特征，克服传统方法易受复杂成像环境干扰问题，本发明可应用于复杂成像环境下的高光谱图像遮挡效果评估。
附图说明
图1为本发明基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。本领域技术人员应当理解的是，这些实施方式仅仅用来解释本发明的技术原理，目的并不是用来限制本发明的保护范围。
本发明提供一种基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，该方法包括以下步骤：1)构建高光谱遮挡效果评估数据库；2)构建回归模型；3)优化回归模型；4)获取遮挡效果评估分数。本发明基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法能从不同成像环境下的高光谱图像中学习出有效的特征，提高遮挡效果评估准确率，可以应用于复杂成像环境下的高光谱遮挡效果评估、目标识别等领域。
如图1所示，本发明提供的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，主要包括以下步骤：
步骤一、构建高光谱遮挡效果评估数据库；
采集不同季节、天气、光照、地点、设备等成像环境下的包含复杂地物背景和被遮挡目标的高光谱图像，并对这些高光谱图像中目标的被遮挡效果进行评估，评估分数在区间[0,1]内，分数越大表示遮挡效果越好，分数越小表示遮挡效果越差，这样就构建出高光谱遮挡效果评估数据库；
步骤二、构建回归模型；
2.1)将高光谱图像划分为多个子区域；
利用高光谱成像设备的相机光谱灵敏度函数(camera spectral sensitivityfunction)将高光谱图像映射成RGB图像，再使用在ImageNet数据集上预训练的深度分割网络将RGB图像划分为多个子区域，然后根据RGB图像中子区域的空间位置把高光谱图像划分为多个子区域；
高光谱图像可能包含多种被遮挡目标和多种地物背景，且被遮挡目标和地物背景之间有着相似的表观。为了自动评估遮挡效果，根据图像的表观信息，对高光谱图像进行子区域划分，使每个子区域仅包含一种地物背景。假设高光谱图像包含m种地物背景，n种目标，其中w×h为高光谱图像的空间尺寸，c为高光谱图像的光谱波段数目。由于高光谱图像不能直接反映被遮挡目标和地物背景的表观信息，先根据高光谱成像设备的相机光谱灵敏度函数将高光谱图像/>转成RGB图像/>利用在ImageNet数据集上预训练的DeepLab v3方法将/>划分为多个图像子区域/>每个区域对应一种地物背景。因为/>由X生成，/>和X之间的像素一一对应，因此，根据/>的空间位置，可相应地对高光谱图像进行子区域划分，得到m个高光谱子区域X1,X2,…,Xm，其中每个区域Xi(1≤i≤m)仅对应一种地物背景。对目标进行遮挡一般指利用先进材质涂层和技术使被遮挡目标表观和地物背景表观一致，使得被遮挡目标隐藏于背景之中。实际中，每个区域Xi可能包含多个被遮挡目标。假设各子区域X1,X2,…,Xm分别包含n1,n2,…,nm个被遮挡目标，且/>在后面的步骤中，对各子区域X1,X2,…,Xm所包含的高光谱像素进行分析，可评估不同遮挡技术的遮挡效果；
2.2)筛选具有判别性的光谱波段；
将步骤2.1)中获取的子区域输入至光谱波段筛选模块，为每个高光谱图像的子区域筛选出对区分目标和背景具有判别性的光谱波段，得到经过光谱波段筛选后的高光谱图像子区域；
构建光谱波段筛选模块，以任务驱动的方式为每个子区域Xi筛选出具有判别性的光谱波段，为后续评估遮挡效果提供有效光谱信息。由于地物背景区域的边缘一般是不规则图像，因此子区域Xi不是规则的正方形区域，不能直接输入到光谱波段筛选模块中进行波段筛选。先使用零值对高光谱图像的各子区域Xi进行补齐操作，使得补齐后子区域Xi是一个正方形；光谱波段筛选模块主要包含一个全局池化层，一个全连接层和一个sigmoid激活函数层。首先，全局池化层用于融合子区域Xi全局信息；然后，将子区域Xi的全局信息输入到全连接层和sigmoid激活函数层得到一个权重向量其中αj为α第j个向量分量的值，表示第j个波段的重要程度，0≤αj≤1，1≤j≤c；
α＝sigmoid(W*GP(Xi)+b)),
其中，为全连接层的权重参数，*表示矩阵乘法，GP(·)表示全局平均池化操作，/>为全连接层的偏置参数，sigmoid(x)＝1/(1+e-x)。最后，将得到的α与Xi进行逐元素相乘，得到经过光谱波段筛选后的高光谱图像子区域/>
其中，表示把α第j个向量分量的值αj与Xi中第j个波段中每个元素相乘(1≤j≤c)；
2.3)获取各子区域的最终特征；
将步骤2.2)获取的高光谱图像子区域先利用卷积操作分别构建光谱特征提取模块和空间特征提取模块，采用全局平均池化操作构建最终特征提取模块，然后依次将步骤2.1)获取的高光谱图像的各子区域输入到光谱特征提取模块、空间特征提取模块和最终特征提取模块，提取出各子区域的最终特征；
2.31)构建光谱特征提取模块，利用卷积核空间尺寸为1×1的卷积层，从经过光谱波段筛选模块后的高光谱图像子区域提取光谱特征。卷积核空间尺寸为1×1的卷积层可避免空间邻域内像素的干扰，使得该模块专注于光谱维度的特征提取。用卷积核空间尺寸为1×1的卷积层从/>提取光谱特征/>其中/>为光谱特征的通道数；
2.32)构建空间特征提取模块，利用卷积核空间尺寸为3×3的卷积层从光谱特征提取空间特征/>空间特征的通道数也为/>
其中，conv(·)表示卷积操作，表示卷积层的权重参数，/>表示卷积层的偏置参数；
2.33)构建最终特征提取模块，利用全局平均池化操作，提取高光谱图像子区域的最终特征/>
2.34)由于不同高光谱子区域Xi的空间尺寸不一致，导致不同高光谱子区域的空间特征的空间尺寸也不一致。采用全局平均池化操作，将不同高光谱子区域的空间特征的空间尺寸都统一至1×1，得到该子区域的最终特征/>依次将高光谱图像中各子区域X1,X2,…,Xm输入到光谱特征提取模块、空间特征提取模块和最终特征提取模块，即可得到各子区域的最终特征/>
其中，GP(·)表示全局平均池化操作；
2.4)根据步骤2.3)获取的各子区域的最终特征，对高光谱图像子区域的最终特征建立回归模型；
步骤三、优化回归模型；
在高光谱遮挡效果评估数据库中利用随机梯度方法优化回归模型，直至回归模型收敛，模型收敛的条件是：达到最大迭代次数；
将高光谱图像中子区域Xi的最终特征输入到一个全连接层，得到该子区域Xi中目标的被遮挡效果评估分数/>
其中，为全连接层的权重参数，/>为全连接层的偏置参数，*表示矩阵乘法，回归模型的损失函数为Loss；
其中，yi是该高光谱图像的真实遮挡效果评估分数；
步骤四、获取遮挡效果评估分数；
采集被评估的高光谱图像，将该高光谱图像输入至步骤三优化后的回归模型中进行评估，得到遮挡目标的遮挡效果评估分数。

Claims (6)

1.一种基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于，包括以下步骤：
步骤一、构建高光谱遮挡效果评估数据库；
采集不同成像环境下，包含复杂背景和被遮挡目标的高光谱图像，并对高光谱图像中目标被遮挡的效果进行评估，从而构建高光谱遮挡效果评估数据库；
步骤二、构建回归模型；
2.1)将高光谱图像划分为多个子区域；
利用高光谱成像设备的相机光谱灵敏度函数将高光谱遮挡效果评估数据库中的高光谱图像映射成RGB图像，再使用在ImageNet数据集上预训练的深度分割网络将RGB图像划分为多个子区域，然后根据RGB图像中子区域的空间位置把高光谱图像划分为多个子区域；
2.2)筛选具有判别性的光谱波段；
将步骤2.1)中获取的子区域输入至光谱波段筛选模块，为每个高光谱图像的子区域筛选出对区分目标和背景具有判别性的光谱波段，得到经过光谱波段筛选后的高光谱图像子区域；
2.3)获取各子区域的最终特征；
将步骤2.2)获取的高光谱图像子区域先利用卷积操作分别构建光谱特征提取模块和空间特征提取模块，采用全局平均池化操作构建最终特征提取模块，然后依次将步骤2.1)获取的高光谱图像的各子区域输入到光谱特征提取模块、空间特征提取模块和最终特征提取模块，提取出各子区域的最终特征；
2.4)根据步骤2.3)获取的各子区域的最终特征，对高光谱图像子区域的最终特征建立回归模型；
步骤三、优化回归模型；
在高光谱遮挡效果评估数据库中利用随机梯度方法优化回归模型，直至回归模型收敛；
步骤四、获取遮挡效果评估分数；
采集被评估的高光谱图像，将该高光谱图像输入至优化后的回归模型中进行评估，得到遮挡目标的遮挡效果评估分数。
2.根据权利要求1所述的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于，步骤2.1)中，将高光谱图像划分为多个子区域具体包括以下步骤：
2.11)根据高光谱成像设备的相机光谱灵敏度函数将高光谱遮挡效果评估数据库中的高光谱图像转成RGB图像/>高光谱图像/>包含m种地物背景，n种目标，其中w×h为高光谱图像的空间尺寸，c为高光谱图像的光谱波段数目；
2.12)利用在ImageNet数据集上预训练的DeepLab v3方法将RGB图像划分为多个图像子区域/>每个区域对应一种地物背景；
2.13)根据RGB图像中的空间位置，相应地对高光谱图像进行子区域划分，得到m个高光谱子区域X1,X2,…,Xm，其中每个子区域Xi仅对应一种地物背景，1≤i≤m。
3.根据权利要求2所述的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于，步骤2.2)中，筛选具有判别性的光谱波段具体包括以下步骤：
2.21)使用零值对高光谱图像的各子区域Xi进行补齐操作，使得补齐后子区域Xi是一个正方形；
2.22)将步骤2.21)处理后的子区域输入至光谱波段筛选模块，为每个高光谱图像的子区域筛选出对区分目标和背景具有判别性的光谱波段，得到经过光谱波段筛选后的高光谱图像子区域；
光谱波段筛选模块主要包含一个全局池化层，一个全连接层和一个sigmoid激活函数层；
首先，全局池化层用于融合子区域Xi全局信息；
然后，将子区域Xi的全局信息输入到全连接层和sigmoid激活函数层得到一个权重向量其中αj为α第j个向量分量的值，表示第j个波段的重要程度，0≤αj≤1，1≤j≤c：
α＝sigmoid(W*GP(Xi)+b))
其中，为全连接层的权重参数，*表示矩阵乘法，GP(·)表示全局平均池化操作，/>为全连接层的偏置参数，sigmoid(x)＝1/(1+e-x)；
最后，将得到的α与Xi进行逐元素相乘，得到经过光谱波段筛选后的高光谱图像子区域
其中，表示把α第j个向量分量的值αj与Xi中第j个波段中每个元素相乘(1≤j≤c)。
4.根据权利要求3所述的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于，步骤2.3)中，获取各子区域的最终特征具体为：
2.31)构建光谱特征提取模块，利用卷积核空间尺寸为1×1的卷积层，从经过光谱波段筛选模块后的高光谱图像子区域提取光谱特征/>其中/>为光谱特征的通道数；
2.32)构建空间特征提取模块，利用卷积核空间尺寸为3×3的卷积层从光谱特征提取空间特征/>空间特征的通道数为/>
其中，conv(·)表示卷积操作，表示卷积层的权重参数，/>表示卷积层的偏置参数；
2.33)构建最终特征提取模块，利用全局平均池化操作，提取高光谱图像子区域的最终特征/>
2.34)依次将高光谱图像中各子区域X1,X2,…,Xm输入到光谱特征提取模块、空间特征提取模块和最终特征提取模块，得到各子区域的最终特征
其中，GP(·)表示全局平均池化操作。
5.根据权利要求4所述的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于，步骤三中，优化回归模型具体包括以下步骤：
将高光谱图像中子区域Xi的最终特征输入到一个全连接层，得到该子区域Xi中目标的被遮挡效果评估分数/>
其中，为全连接层的权重参数，/>为全连接层的偏置参数，*表示矩阵乘法，回归模型的损失函数为Loss；
其中，yi是该高光谱图像的真实遮挡效果评估分数。
6.根据权利要求1至5任一所述的基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法，其特征在于：步骤一中，高光谱遮挡效果评估数据库中，高光谱图像的评估分数在区间[0,1]内，分数越大表示遮挡效果越好，分数越小表示遮挡效果越差。
CN202110443708.4A 2021-04-23 2021-04-23 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法 Active CN113222908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110443708.4A CN113222908B (zh) 2021-04-23 2021-04-23 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110443708.4A CN113222908B (zh) 2021-04-23 2021-04-23 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法

Publications (2)

Publication Number Publication Date
CN113222908A CN113222908A (zh) 2021-08-06
CN113222908B true CN113222908B (zh) 2023-12-12

Family

ID=77088560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110443708.4A Active CN113222908B (zh) 2021-04-23 2021-04-23 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法

Country Status (1)

Country Link
CN (1) CN113222908B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109598306A (zh) * 2018-12-06 2019-04-09 西安电子科技大学 基于srcm和卷积神经网络的高光谱图像分类方法
KR102197297B1 (ko) * 2019-09-27 2020-12-31 서울대학교산학협력단 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
CN112308152A (zh) * 2020-11-03 2021-02-02 西安电子科技大学 基于光谱分割与同质区域检测的高光谱图像地物分类方法
WO2021036267A1 (zh) * 2019-08-23 2021-03-04 华为技术有限公司 一种图像检测方法及相关设备
CN112598708A (zh) * 2020-12-25 2021-04-02 江南大学 一种基于四特征融合和权重系数的高光谱目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109598306A (zh) * 2018-12-06 2019-04-09 西安电子科技大学 基于srcm和卷积神经网络的高光谱图像分类方法
WO2021036267A1 (zh) * 2019-08-23 2021-03-04 华为技术有限公司 一种图像检测方法及相关设备
KR102197297B1 (ko) * 2019-09-27 2020-12-31 서울대학교산학협력단 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
CN112308152A (zh) * 2020-11-03 2021-02-02 西安电子科技大学 基于光谱分割与同质区域检测的高光谱图像地物分类方法
CN112598708A (zh) * 2020-12-25 2021-04-02 江南大学 一种基于四特征融合和权重系数的高光谱目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于相关向量机的高光谱图像噪声评估算法;王晓飞;侯传龙;阎秋静;张钧萍;汪爱华;;红外与激光工程(12);全文 *
基于近红外高光谱技术的敦煌莫高窟壁画起甲病害风险评估方法;孙美君;柴勃隆;张冬;王征;孙济洲;;文物保护与考古科学(04);全文 *

Also Published As

Publication number Publication date
CN113222908A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN108596213A (zh) 一种基于卷积神经网络的高光谱遥感图像分类方法及系统
Nasiri et al. Infrared small target enhancement based on variance difference
US9805294B2 (en) Method for denoising time-of-flight range images
CN108389188B (zh) 一种稀疏高光谱异常目标检测方法
AU2020218573A1 (en) Shadow and cloud masking for remote sensing images in agriculture applications using multilayer perceptron
US8908919B2 (en) Tactical object finder
Fan et al. A novel automatic dam crack detection algorithm based on local-global clustering
Xia et al. In situ detection of small-size insect pests sampled on traps using multifractal analysis
CN109726649A (zh) 遥感影像云检测方法、系统及电子设备
WO2022261550A1 (en) Method and apparatus for image processing
CN116295285A (zh) 基于区域自适应的浅海水深遥感反演方法
Mosquera-Lopez et al. Iterative local color normalization using fuzzy image clustering
CN112329538B (zh) 一种基于微波视觉的目标分类方法
Jinglei et al. Distance-based separability criterion of ROI in classification of farmland hyper-spectral images
Kumar et al. A NOVEL WRAPPING CURVELET TRANSFORMATION BASED ANGULAR TEXTURE PATTERN (WCTATP) EXTRACTION METHOD FOR WEED IDENTIFICATION.
CN109461171A (zh) 基于多通道改进DoG滤波的红外弱小目标检测算法
CN113222908B (zh) 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法
Chhabra et al. Automated detection of fully and partially riped mango by machine vision
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
Divyanth et al. Estimating depth from RGB images using deep-learning for robotic applications in apple orchards
Zia et al. Exploring chromatic aberration and defocus blur for relative depth estimation from monocular hyperspectral image
He et al. An improved pulse coupled neural network with spectral residual for infrared pedestrian segmentation
Lee et al. Sensors I: color imaging and basics of image processing
Sai et al. High accurate unhealthy leaf detection
Yin et al. False alarm suppressing for passive underwater acoustic target detecting with computer visual techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant