CN111368712A - 一种基于深度学习的高光谱图像伪装目标检测方法 - Google Patents
一种基于深度学习的高光谱图像伪装目标检测方法 Download PDFInfo
- Publication number
- CN111368712A CN111368712A CN202010135340.0A CN202010135340A CN111368712A CN 111368712 A CN111368712 A CN 111368712A CN 202010135340 A CN202010135340 A CN 202010135340A CN 111368712 A CN111368712 A CN 111368712A
- Authority
- CN
- China
- Prior art keywords
- hyperspectral
- data set
- target detection
- hyperspectral image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 230000009467 reduction Effects 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000012880 independent component analysis Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 238000001228 spectrum Methods 0.000 abstract description 6
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 229910000906 Bronze Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000010974 bronze Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- KUNSUQLRTQLHQQ-UHFFFAOYSA-N copper tin Chemical compound [Cu].[Sn] KUNSUQLRTQLHQQ-UHFFFAOYSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的高光谱图像伪装目标检测方法，包括如下步骤：a.构建高光谱数据集：包括高光谱数据集的采集、预处理、划分和标注的步骤，得到训练数据集和测试数据集；b.构建目标检测模型：使用开源的Mask R‑CNN模型，并针对输入的高光谱数据集对Mask R‑CNN模型进行调整，构建目标检测模型；c.训练模型：使用训练数据集对步骤b构建的目标检测模型进行训练；d.测试模型：使用步骤c训练后的目标检测模型对测试数据集进行检测识别。本发明利用基于深度学习的目标检测模型，同时利用高光谱图像的光谱维和空间维信息，实现了伪装目标的定位分类。
Description
技术领域
本发明涉及伪装目标检测技术领域，尤其是一种基于深度学习的高光谱图像伪装目标检测方法。
背景技术
伪装目标是指采用工程技术措施和利用地形、地物进行隐蔽的目标。按照目标的运动特性，可分为固定伪装目标(电子设备、军用设施等)和活动伪装目标(如人员、车辆、舰艇等)。针对固定伪装目标，传统的目标检测方法首先通过滑动窗口搜索出图像中目标可能出现的位置，然后采用SIFT、HOG等特征对图像中的目标进行特征提取，最后将提取到的目标特征输入SVM等分类器进行分类识别。针对运动伪装目标，可通过Laws能量检测和变化频次检测等方法，检测动态背景下某些具有伪装色的移动目标。然而，以上方法都基于可见光或红外图像视频设计，应用场景受限，无法全天候工作。如果采用多源图像融合检测的方式，则会大大增加检测成本。
高光谱成像技术是指在一定波段范围内获取探测对象光谱辐射信息的技术手段。高光谱图像不仅可获取目标及背景的空间信息，还可同时获取丰富的光谱信息。利用高光谱图像中人造目标与背景光谱信息的差异，可大大拓展目标检测能力，为克服基于可见光、红外图像的伪装目标检测算法面临的应用场景受限等问题提供了解决思路。由于单幅图像的数据量较大，高光谱图像多用于分类任务，在目标检测任务，特别是伪装目标检测任务中的应用较少。此外，基于高光谱图像的目标检测算法多用于实现异常目标检测，无法识别目标的具体类型。而传统的高光谱图像目标检测算法根据先验知识设计，使得高光谱图像中的信息往往未被充分挖掘利用。
近年来，深度学习理论在图像处理、语音识别、自然语言处理等多个领域中都得到了广泛应用。深度学习算法利用多层神经网络模型和大量训练数据，通过多次迭代运算实现对输入数据的深层特征提取与学习。然而，传统基于深度学习的目标检测算法多使用可见光、红外图像作为训练数据。因此，利用高光谱图像丰富的光谱特征信息，并建立基于深度学习的目标检测模型，将为提高伪装目标检测能力与精度提供新的解决方案。
发明内容
本发明所要解决的技术问题是：针对上述存在的问题，提供一种基于深度学习的高光谱图像伪装目标检测方法。
本发明采用的技术方案如下：
一种基于深度学习的高光谱图像伪装目标检测方法，包括如下步骤：
a.构建高光谱数据集：包括高光谱数据集的采集、预处理、划分和标注的步骤，得到训练数据集和测试数据集；
b.构建目标检测模型：使用开源的Mask R-CNN模型，并针对输入的高光谱数据集对Mask R-CNN模型进行调整，构建目标检测模型；
c.训练模型：使用训练数据集对步骤b构建的目标检测模型进行训练；
d.测试模型：使用步骤c训练后的目标检测模型对测试数据集进行检测识别。
进一步地，步骤a包括如下子步骤：
a1.高光谱数据集的采集：使用高光谱相机采集高光谱图像，采集的高光谱图像中包含伪装目标；
a2.高光谱数据集的预处理：
(1)将采集的高光谱图像的维度统一裁剪为h×w×c，其中h、w、c分别为高光谱图像的高、宽、光谱通道数；
(2)使用数据降维方法对裁剪后的高光谱图像进行降维处理，得到降维后的高光谱图像，降维后的高光谱图像的维度为h×w×n,其中n表示降维时提取的成分数量，使用降维后的高光谱图像作为高光谱数据集；
a3.高光谱数据集的划分：将步骤a2得到的高光谱数据集划分为训练数据集和测试数据集，并且所述训练数据集和测试数据集的数量比为(7：3)～(8：2)；
a4.高光谱数据集的标注：对所述训练数据集添加标签，该标签针对高光谱图像中的伪装目标进行添加。
进一步地，所述数据降维方法包括但不限于主成分分析法、独立成分分析法和非负矩阵分解法。
4.根据权利要求1所述的基于深度学习的高光谱图像伪装目标检测方法，其特征在于，步骤b中所述目标检测模型的结构包括：
b1.骨干网络：所述骨干网络采用特征金字塔网络结构，用于对输入的高光谱图像进行特征提取，输出多个尺度的特征图；
b2.候选区域生成网络：所述候选区域生成网络为全卷积网络，用于针对骨干网络输出的多个尺度的特征图，生成多种尺寸的锚框，并以此建立候选区域；
b3.头部网络：包括RoI Align层以及三个分支网络；该三个分支网络分别为分类网络、边界框回归网络以及mask网络，用于对候选区域进行边界框识别，包括分类结果、边界框顶点坐标、以及实例分割预测。
进一步地，所述骨干网络包括：
(1)由Resnet卷积层构成的自下而上采样层，用于对输入的高光谱图像进行初步的多尺度特征提取；
(2)由卷积层构成的自上而下采样层，用于实现特征图的上采样；
(3)横向结构层，用于将前自下而上采样层以及自上而下采样层在不同深度进行融合，生成多个尺度的特征图。
进一步地，所述候选区域生成网络包括：
(1)生成层，用于针对骨干网络输出的多个尺度的特征图，生成多种尺寸的锚框，每个特征图对应一种锚框；
(2)利用卷积层构建的两个分支网络：
其中一个分支网络用于分类，对每个锚框框选的特征图的前景、背景概率进行预测；
另一个分支网络用于目标框回归，对每个锚框的坐标位置相关值进行预测；
(3)建议生成层，用于通过置信度排序、剔除超出高光谱图像边界的锚框、非极大值抑制的方法，筛选出若干个锚框，构成候选区域。
进一步地，所述头部网络的损失函数采用如下定义：
其中，Ltotal表示总体损失，Lcls表示分类损失，Lreg表示边界框回归损失，Lmask表示实例分割损失，Ncls表示batch大小，Nreg表示候选区域中的锚框个数，Nmask表示mask个数，λ1、λ2、λ3表示各个损失的权重平衡因子，pi表示分类概率预测值，
表示分类概率标注值，ti表示边界框坐标预测值，
表示边界框坐标标注值，yi表示mask概率化预测值，
表示mask概率化标注值。
进一步地，步骤d中在给出目标检测结果时，首先对降维后的高光谱图像提取前三个成分构成伪彩色图，之后在伪彩色图中标示出检测结果。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明利用基于深度学习的目标检测模型，同时利用高光谱图像的光谱维和空间维信息，实现了伪装目标的定位分类。
2、本发明中，由于高光谱图像可覆盖可见光到红外波段，有利于进行全天候伪装目标检测，拓展了本发明的使用场景。
3、目标的移动与否对其散射光谱信息并无实质影响，因此本发明对移动或静止伪装目标均适用。
4、本发明使用开源的实例分割目标检测框架，具有较好的鲁棒性和通用性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的基于深度学习的高光谱图像伪装目标检测方法的流程框图。
图2为本发明的示例中伪彩色图。
图3为本发明构建的目标检测模型的结构示意图。
图4为本发明的示例中基于伪彩色图的可视化检测结果。
图5为图4的可视化检测结果对应的可见光图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
实施例1
如图1所示，本实施例提供的一种基于深度学习的高光谱图像伪装目标检测方法，包括如下步骤：
a.构建高光谱数据集：包括高光谱数据集的采集、预处理、划分和标注的步骤，得到训练数据集和测试数据集；
b.构建目标检测模型：使用开源的Mask R-CNN模型，并针对输入的高光谱数据集对Mask R-CNN模型进行调整，构建目标检测模型；
c.训练模型：使用训练数据集对步骤b构建的目标检测模型进行训练；
d.测试模型：使用步骤c训练后的目标检测模型对测试数据集进行检测识别。
具体如下：
步骤a，构建高光谱数据集
步骤a包括如下子步骤：
a1.高光谱数据集的采集：使用高光谱相机采集高光谱图像，采集的高光谱图像中包含伪装目标。
a2.高光谱数据集的预处理：
(1)将采集的高光谱图像的维度统一裁剪为h×w×c，其中h、w、c分别为高光谱图像的高、宽、光谱通道数；
(2)使用数据降维方法对裁剪后的高光谱图像进行降维处理，得到降维后的高光谱图像，降维后的高光谱图像的维度为h×w×n,其中n表示降维时提取的成分数量，使用降维后的高光谱图像作为高光谱数据集；
作为优选，所述数据降维方法包括但不限于主成分分析法(PCA)、独立成分分析法(ICA)和非负矩阵分解法(NMF)。为了更好地得到可视化结果，对高光谱图像采用不同方法进行降维处理后，选取前3个成分合成伪彩色图，如图2所示。
a3.高光谱数据集的划分：将步骤a2得到的高光谱数据集划分为训练数据集和测试数据集，并且所述训练数据集和测试数据集的数量比为(7：3)～(8：2)；一般来说，该数量比选取7：3或8：2。
a4.高光谱数据集的标注：对所述训练数据集添加标签，该标签针对高光谱图像中的伪装目标进行添加。一般地，伪装目标分为伪装后的人与物体两类，以此两类类别对所述训练数据集添加标签。
步骤b，构建目标检测模型
如图3所示，步骤b中所述目标检测模型的结构包括：骨干网络、候选区域生成网络、以及头部网络。具体地：
b1.骨干网络：所述骨干网络采用特征金字塔网络结构，用于对输入的高光谱图像进行特征提取，输出多个尺度的特征图；
所述骨干网络包括：
(1)由Resnet卷积层构成的自下而上采样层，用于对输入的高光谱图像进行初步的多尺度特征提取；
(2)由卷积层构成的自上而下采样层，用于实现特征图的上采样；
(3)横向结构层，用于将前自下而上采样层以及自上而下采样层在不同深度进行融合，生成多个尺度的特征图。
b2.候选区域生成网络：所述候选区域生成网络为全卷积网络，用于针对骨干网络输出的多个尺度的特征图，生成多种尺寸的锚框，并以此建立候选区域；
所述候选区域生成网络包括：
(1)锚框生成层，用于针对骨干网络输出的多个尺度的特征图，生成多种尺寸的锚框，每个特征图对应一种锚框；
(2)利用卷积层构建的两个分支网络：
其中一个分支网络用于分类，对每个锚框框选的特征图的前景、背景概率进行预测；
另一个分支网络用于目标框回归，对每个锚框的坐标位置相关值进行预测；
(3)建议生成层，用于通过置信度排序、剔除超出高光谱图像边界的锚框、非极大值抑制的方法，筛选出若干个锚框，构成候选区域。
b3.头部网络：包括RoI Align层以及三个分支网络；该三个分支网络分别为分类网络、边界框回归网络以及mask网络，用于对候选区域进行边界框识别，包括分类结果、边界框顶点坐标、以及实例分割预测。
进一步地，所述头部网络的损失函数采用如下定义：
其中，Ltotal表示总体损失，Lcls表示分类损失，Lreg表示边界框回归损失，Lmask表示实例分割损失，Ncls表示batch大小，Nreg表示候选区域中的锚框个数，Nmask表示mask个数，λ1、λ2、λ3表示各个损失的权重平衡因子，pi表示分类概率预测值，
表示分类概率标注值，ti表示边界框坐标预测值，
表示边界框坐标标注值，yi表示mask概率化预测值，
表示mask概率化标注值。需要说明的是，Lcls、Lreg、Lmask三类损失采用开源的Mask R-CNN模型的计算方式，上述损失函数的公式中除λ1、λ2、λ3的数值由人为定义外，其他部分均可由模型计算求取。
步骤c，训练模型
使用训练数据集对步骤b构建的目标检测模型进行训练，可以根据上述定义的目标检测模型及其损失函数，通过迭代优化，训练目标检测模型。
步骤d，测试模型
使用步骤c训练后的目标检测模型对测试数据集进行检测识别。步骤d中在给出目标检测结果时，由于与高光谱数据通道数大于3，故无法直接可视化结果。因此，首先对降维后的高光谱图像提取前三个成分构成伪彩色图，之后在伪彩色图中标示出检测结果。
示例：
a.构建高光谱数据集：
a1.使用高光谱相机采集160张高光谱图像；
a2.将160张高光谱图像的维度统一裁剪为960×1150×176；
a3.使用主成分分析法(PCA)对裁剪后的160张高光谱图像进行降维处理，降维后的高光谱图像的维度为960×1150×9，其中9是降维时提取的成分数量。为了更好地得到可视化结果，在高光谱图像采用不同数据降维方法进行降维处理后，选取前3个成分合成伪彩色图。
a4.以伪装目标分为伪装后的人与物体两类类别，对训练数据集添加标签。
b.构建目标检测模型：使用开源的Mask R-CNN模型，并针对输入的高光谱数据集对Mask R-CNN模型进行调整，构建目标检测模型；
b1.骨干网络对输入的训练数据集中的高光谱图像进行上采样和下采样的特征提取、并将两种采样的特征在不同深度进行融合，输出多个尺度的特征图，即特征金字塔；
b2.候选区域生成网络对特征图生成多种尺寸的锚框(anchor)，每个特征图对应一种锚框；然后铜鼓欧分类和目标框回归，并使用建议生成层筛选出2000个锚框作为候选区域RoI；
b3.头部网络对候选区域RoI进行边界框识别。
b4.确定损失函数。
c.训练模型：使用训练数据集对步骤b构建的目标检测模型进行训练；
d.测试模型：使用步骤c训练后的目标检测模型对测试数据集进行检测识别。利用在高光谱图像采用不同数据降维方法进行降维处理后，选取前3个成分合成伪彩色图，在该伪彩色图中标示出检测结果，如图4所示，方框内为检测出的伪装目标，并在方框上输出该伪装目标对应的类别为object(物体)，置信概率为0.721。作为对比，图5为图4的检测结果对应的可见光图像，可以看出在可见光图像中，伪装目标与周围环境的色彩纹理极为相似，使用针对固定伪装目标的传统检测方法难以检测识别。当目标静止时，无法通过Laws能量检测和变化频次检测等移动目标检测方法检测。此外，基于可见光图像的目标检测方法无法在夜间工作，限制了其应用场景。
由此可知，本发明的基于深度学习的高光谱图像伪装目标检测方法具有如下有益效果：
1、本发明利用基于深度学习的目标检测模型，同时利用高光谱图像的光谱维和空间维信息，实现了伪装目标的定位分类。
2、本发明中，由于高光谱图像可覆盖可见光到红外波段，有利于进行全天候伪装目标检测，拓展了本发明的使用场景。
3、目标的移动与否对其散射光谱信息并无实质影响，因此本发明对移动或静止伪装目标均适用。
4、本发明使用开源的实例分割目标检测框架，具有较好的鲁棒性和通用性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的高光谱图像伪装目标检测方法，其特征在于，包括如下步骤：
a.构建高光谱数据集：包括高光谱数据集的采集、预处理、划分和标注的步骤，得到训练数据集和测试数据集；
b.构建目标检测模型：使用开源的Mask R-CNN模型，并针对输入的高光谱数据集对Mask R-CNN模型进行调整，构建目标检测模型；
c.训练模型：使用训练数据集对步骤b构建的目标检测模型进行训练；
d.测试模型：使用步骤c训练后的目标检测模型对测试数据集进行检测识别。
2.根据权利要求1所述的基于深度学习的高光谱图像伪装目标检测方法，其特征在于，步骤a包括如下子步骤：
a1.高光谱数据集的采集：使用高光谱相机采集高光谱图像，采集的高光谱图像中包含伪装目标；
a2.高光谱数据集的预处理：
(1)将采集的高光谱图像的维度统一裁剪为h×w×c，其中h、w、c分别为高光谱图像的高、宽、光谱通道数；
(2)使用数据降维方法对裁剪后的高光谱图像进行降维处理，得到降维后的高光谱图像，降维后的高光谱图像的维度为h×w×n,其中n表示降维时提取的成分数量，使用降维后的高光谱图像作为高光谱数据集；
a3.高光谱数据集的划分：将步骤a2得到的高光谱数据集划分为训练数据集和测试数据集，并且所述训练数据集和测试数据集的数量比为(7：3)～(8：2)；
a4.高光谱数据集的标注：对所述训练数据集添加标签，该标签针对高光谱图像中的伪装目标进行添加。
3.根据权利要求2所述的基于深度学习的高光谱图像伪装目标检测方法，其特征在于，所述数据降维方法包括但不限于主成分分析法、独立成分分析法和非负矩阵分解法。
4.根据权利要求1所述的基于深度学习的高光谱图像伪装目标检测方法，其特征在于，步骤b中所述目标检测模型的结构包括：
b1.骨干网络：所述骨干网络采用特征金字塔网络结构，用于对输入的高光谱图像进行特征提取，输出多个尺度的特征图；
b2.候选区域生成网络：所述候选区域生成网络为全卷积网络，用于针对骨干网络输出的多个尺度的特征图，生成多种尺寸的锚框，并以此建立候选区域；
b3.头部网络：包括RoI Align层以及三个分支网络；该三个分支网络分别为分类网络、边界框回归网络以及mask网络，用于对候选区域进行边界框识别，包括分类结果、边界框顶点坐标、以及实例分割预测。
5.根据权利要求4所述的基于深度学习的高光谱图像伪装目标检测方法，其特征在于，所述骨干网络包括：
(1)由Resnet卷积层构成的自下而上采样层，用于对输入的高光谱图像进行初步的多尺度特征提取；
(2)由卷积层构成的自上而下采样层，用于实现特征图的上采样；
(3)横向结构层，用于将前自下而上采样层以及自上而下采样层在不同深度进行融合，生成多个尺度的特征图。
6.根据权利要求4所述的基于深度学习的高光谱图像伪装目标检测方法，其特征在于，所述候选区域生成网络包括：
(1)锚框生成层，用于针对骨干网络输出的多个尺度的特征图，生成多种尺寸的锚框，每个特征图对应一种锚框；
(2)利用卷积层构建的两个分支网络：
其中一个分支网络用于分类，对每个锚框框选的特征图的前景、背景概率进行预测；
另一个分支网络用于目标框回归，对每个锚框的坐标位置相关值进行预测；
(3)建议生成层，用于通过置信度排序、剔除超出高光谱图像边界的锚框、非极大值抑制的方法，筛选出若干个锚框，构成候选区域。
7.根据权利要求4所述的基于深度学习的高光谱图像伪装目标检测方法，其特征在于，所述头部网络的损失函数采用如下定义：
其中，Ltotal表示总体损失，Lcls表示分类损失，Lreg表示边界框回归损失，Lmask表示实例分割损失，Ncls表示batch大小，Nreg表示候选区域中的锚框个数，Nmask表示mask个数，λ1、λ2、λ3表示各个损失的权重平衡因子，pi表示分类概率预测值，
表示分类概率标注值，ti表示边界框坐标预测值，
表示边界框坐标标注值，yi表示mask概率化预测值，
表示mask概率化标注值。
8.根据权利要求1所述的基于深度学习的高光谱图像伪装目标检测方法，其特征在于，步骤d中在给出目标检测结果时，首先对降维后的高光谱图像提取前三个成分构成伪彩色图，之后在伪彩色图中标示出检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010135340.0A CN111368712A (zh) | 2020-03-02 | 2020-03-02 | 一种基于深度学习的高光谱图像伪装目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010135340.0A CN111368712A (zh) | 2020-03-02 | 2020-03-02 | 一种基于深度学习的高光谱图像伪装目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111368712A true CN111368712A (zh) | 2020-07-03 |
Family
ID=71210196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010135340.0A Pending CN111368712A (zh) | 2020-03-02 | 2020-03-02 | 一种基于深度学习的高光谱图像伪装目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111368712A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739036A (zh) * | 2020-07-22 | 2020-10-02 | 吉林大学 | 一种基于高光谱的文件字迹伪造的检测方法 |
| CN112115850A (zh) * | 2020-09-16 | 2020-12-22 | 哈尔滨工程大学 | 一种伪装目标与背景光谱一致性分析方法 |
| CN112206541A (zh) * | 2020-10-27 | 2021-01-12 | 网易（杭州）网络有限公司 | 游戏外挂识别方法、装置、存储介质及计算机设备 |
| CN112215813A (zh) * | 2020-10-12 | 2021-01-12 | 中国人民解放军火箭军工程大学 | 一种基于多特征约束的动态伪装效果评估方法 |
| CN112288721A (zh) * | 2020-10-29 | 2021-01-29 | 四川九洲电器集团有限责任公司 | 一种用于目标检测的马赛克多光谱图像生成方法 |
| CN112381795A (zh) * | 2020-11-16 | 2021-02-19 | 山西三友和智慧信息技术股份有限公司 | 一种基于深度学习的树木年轮自动检测方法 |
| CN112434745A (zh) * | 2020-11-27 | 2021-03-02 | 西安电子科技大学 | 基于多源认知融合的遮挡目标检测识别方法 |
| CN112907530A (zh) * | 2021-02-08 | 2021-06-04 | 南开大学 | 基于分组反向注意力的伪装物体检测方法及系统 |
| CN112949633A (zh) * | 2021-03-05 | 2021-06-11 | 中国科学院光电技术研究所 | 一种基于改进YOLOv3的红外目标检测方法 |
| CN113128564A (zh) * | 2021-03-23 | 2021-07-16 | 武汉泰沃滋信息技术有限公司 | 一种基于深度学习的复杂背景下典型目标检测方法及系统 |
| CN113240641A (zh) * | 2021-05-13 | 2021-08-10 | 大连海事大学 | 一种基于深度学习的集装箱破损实时检测方法 |
| CN113506269A (zh) * | 2021-07-12 | 2021-10-15 | 东南大学 | 一种基于深度学习的道岔与非道岔轨道紧固件定位方法 |
| CN113610109A (zh) * | 2021-07-06 | 2021-11-05 | 中国人民解放军火箭军工程大学 | 一种基于放大镜观测效应的可见光伪装目标识别方法 |
| CN113655002A (zh) * | 2021-08-30 | 2021-11-16 | 华侨大学 | 基于高光谱技术的表面含砂浆的再生骨料质量检测系统 |
| CN114998623A (zh) * | 2022-06-09 | 2022-09-02 | 北京理工大学 | 多光谱智能感知方法及装置 |
| CN115311255A (zh) * | 2022-09-14 | 2022-11-08 | 西安理工大学 | 一种基于全卷积神经网络的伪装物体分割方法 |
| CN115346094A (zh) * | 2022-08-25 | 2022-11-15 | 杭州电子科技大学 | 一种基于主体区域引导的伪装目标检测方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120076406A1 (en) * | 2009-07-20 | 2012-03-29 | Kevin Fisher | System and method for progressive band selection for hyperspectral images |
| CN107368813A (zh) * | 2017-07-23 | 2017-11-21 | 北京林业大学 | 一种应用于机载近地高光谱影像的林木冠幅识别方法 |
| CN107798345A (zh) * | 2017-10-20 | 2018-03-13 | 西北工业大学 | 基于块对角与低秩表示的高光谱伪装目标检测方法 |
| CN108491757A (zh) * | 2018-02-05 | 2018-09-04 | 西安电子科技大学 | 基于多尺度特征学习的光学遥感图像目标检测方法 |
| CN108830130A (zh) * | 2018-03-30 | 2018-11-16 | 徐国明 | 一种偏振高光谱低空侦察图像典型目标检测方法 |
| CN109145992A (zh) * | 2018-08-27 | 2019-01-04 | 西安电子科技大学 | 协作生成对抗网络和空谱联合的高光谱图像分类方法 |
| CN109858499A (zh) * | 2019-01-23 | 2019-06-07 | 哈尔滨理工大学 | 一种基于Faster R-CNN的坦克装甲目标检测方法 |
| CN110135432A (zh) * | 2019-05-24 | 2019-08-16 | 哈尔滨工程大学 | 一种基于K-means聚类的高光谱遥感图像分割方法 |
| CN110222773A (zh) * | 2019-06-10 | 2019-09-10 | 西北工业大学 | 基于不对称分解卷积网络的高光谱图像小样本分类方法 |
| CN110675408A (zh) * | 2019-09-19 | 2020-01-10 | 成都数之联科技有限公司 | 基于深度学习的高分辨率影像建筑物提取方法及系统 |
-
2020
- 2020-03-02 CN CN202010135340.0A patent/CN111368712A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120076406A1 (en) * | 2009-07-20 | 2012-03-29 | Kevin Fisher | System and method for progressive band selection for hyperspectral images |
| CN107368813A (zh) * | 2017-07-23 | 2017-11-21 | 北京林业大学 | 一种应用于机载近地高光谱影像的林木冠幅识别方法 |
| CN107798345A (zh) * | 2017-10-20 | 2018-03-13 | 西北工业大学 | 基于块对角与低秩表示的高光谱伪装目标检测方法 |
| CN108491757A (zh) * | 2018-02-05 | 2018-09-04 | 西安电子科技大学 | 基于多尺度特征学习的光学遥感图像目标检测方法 |
| CN108830130A (zh) * | 2018-03-30 | 2018-11-16 | 徐国明 | 一种偏振高光谱低空侦察图像典型目标检测方法 |
| CN109145992A (zh) * | 2018-08-27 | 2019-01-04 | 西安电子科技大学 | 协作生成对抗网络和空谱联合的高光谱图像分类方法 |
| CN109858499A (zh) * | 2019-01-23 | 2019-06-07 | 哈尔滨理工大学 | 一种基于Faster R-CNN的坦克装甲目标检测方法 |
| CN110135432A (zh) * | 2019-05-24 | 2019-08-16 | 哈尔滨工程大学 | 一种基于K-means聚类的高光谱遥感图像分割方法 |
| CN110222773A (zh) * | 2019-06-10 | 2019-09-10 | 西北工业大学 | 基于不对称分解卷积网络的高光谱图像小样本分类方法 |
| CN110675408A (zh) * | 2019-09-19 | 2020-01-10 | 成都数之联科技有限公司 | 基于深度学习的高分辨率影像建筑物提取方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| XU GUO-MING等: "Low altitude polarization hyperspectral target detection based on CNN method", 《FIFTH CONFERENCE ON FRONTIERS IN OPTICAL IMAGING TECHNOLOGY AND APPLICATIONS》 * |
| 机器之心: "先理解Mask R-CNN的工作原理，然后构建颜色填充器应用", 《HTTPS://BAIJIAHAO.BAIDU.COM/S?ID=1595621180643410921&WFR=SPIDER&FOR=PC》 * |
| 王杰: "野外环境中伪装色移动目标的检测与跟踪", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739036A (zh) * | 2020-07-22 | 2020-10-02 | 吉林大学 | 一种基于高光谱的文件字迹伪造的检测方法 |
| CN112115850B (zh) * | 2020-09-16 | 2023-01-03 | 哈尔滨工程大学 | 一种伪装目标与背景光谱一致性分析方法 |
| CN112115850A (zh) * | 2020-09-16 | 2020-12-22 | 哈尔滨工程大学 | 一种伪装目标与背景光谱一致性分析方法 |
| CN112215813A (zh) * | 2020-10-12 | 2021-01-12 | 中国人民解放军火箭军工程大学 | 一种基于多特征约束的动态伪装效果评估方法 |
| CN112215813B (zh) * | 2020-10-12 | 2024-01-19 | 中国人民解放军火箭军工程大学 | 一种基于多特征约束的动态伪装效果评估方法 |
| CN112206541A (zh) * | 2020-10-27 | 2021-01-12 | 网易（杭州）网络有限公司 | 游戏外挂识别方法、装置、存储介质及计算机设备 |
| CN112206541B (zh) * | 2020-10-27 | 2024-06-14 | 网易（杭州）网络有限公司 | 游戏外挂识别方法、装置、存储介质及计算机设备 |
| CN112288721A (zh) * | 2020-10-29 | 2021-01-29 | 四川九洲电器集团有限责任公司 | 一种用于目标检测的马赛克多光谱图像生成方法 |
| CN112381795A (zh) * | 2020-11-16 | 2021-02-19 | 山西三友和智慧信息技术股份有限公司 | 一种基于深度学习的树木年轮自动检测方法 |
| CN112434745A (zh) * | 2020-11-27 | 2021-03-02 | 西安电子科技大学 | 基于多源认知融合的遮挡目标检测识别方法 |
| CN112434745B (zh) * | 2020-11-27 | 2023-01-24 | 西安电子科技大学 | 基于多源认知融合的遮挡目标检测识别方法 |
| CN112907530A (zh) * | 2021-02-08 | 2021-06-04 | 南开大学 | 基于分组反向注意力的伪装物体检测方法及系统 |
| CN112949633A (zh) * | 2021-03-05 | 2021-06-11 | 中国科学院光电技术研究所 | 一种基于改进YOLOv3的红外目标检测方法 |
| CN112949633B (zh) * | 2021-03-05 | 2022-10-21 | 中国科学院光电技术研究所 | 一种基于改进YOLOv3的红外目标检测方法 |
| CN113128564B (zh) * | 2021-03-23 | 2022-03-22 | 武汉泰沃滋信息技术有限公司 | 一种基于深度学习的复杂背景下典型目标检测方法及系统 |
| CN113128564A (zh) * | 2021-03-23 | 2021-07-16 | 武汉泰沃滋信息技术有限公司 | 一种基于深度学习的复杂背景下典型目标检测方法及系统 |
| CN113240641B (zh) * | 2021-05-13 | 2023-06-16 | 大连海事大学 | 一种基于深度学习的集装箱破损实时检测方法 |
| CN113240641A (zh) * | 2021-05-13 | 2021-08-10 | 大连海事大学 | 一种基于深度学习的集装箱破损实时检测方法 |
| CN113610109A (zh) * | 2021-07-06 | 2021-11-05 | 中国人民解放军火箭军工程大学 | 一种基于放大镜观测效应的可见光伪装目标识别方法 |
| CN113610109B (zh) * | 2021-07-06 | 2024-04-26 | 中国人民解放军火箭军工程大学 | 一种基于放大镜观测效应的可见光伪装目标识别方法 |
| CN113506269A (zh) * | 2021-07-12 | 2021-10-15 | 东南大学 | 一种基于深度学习的道岔与非道岔轨道紧固件定位方法 |
| CN113506269B (zh) * | 2021-07-12 | 2022-11-18 | 东南大学 | 一种基于深度学习的道岔与非道岔轨道紧固件定位方法 |
| CN113655002B (zh) * | 2021-08-30 | 2023-11-24 | 华侨大学 | 基于高光谱技术的表面含砂浆的再生骨料质量检测系统 |
| CN113655002A (zh) * | 2021-08-30 | 2021-11-16 | 华侨大学 | 基于高光谱技术的表面含砂浆的再生骨料质量检测系统 |
| CN114998623A (zh) * | 2022-06-09 | 2022-09-02 | 北京理工大学 | 多光谱智能感知方法及装置 |
| CN115346094A (zh) * | 2022-08-25 | 2022-11-15 | 杭州电子科技大学 | 一种基于主体区域引导的伪装目标检测方法 |
| CN115346094B (zh) * | 2022-08-25 | 2023-08-22 | 杭州电子科技大学 | 一种基于主体区域引导的伪装目标检测方法 |
| CN115311255A (zh) * | 2022-09-14 | 2022-11-08 | 西安理工大学 | 一种基于全卷积神经网络的伪装物体分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368712A (zh) | 一种基于深度学习的高光谱图像伪装目标检测方法 | |
| Gao et al. | BS 3 LNet: A new blind-spot self-supervised learning network for hyperspectral anomaly detection | |
| CN104331698B (zh) | 一种遥感图像城区提取方法 | |
| Shakya et al. | Deep learning algorithm for satellite imaging based cyclone detection | |
| Liu et al. | A contrario comparison of local descriptors for change detection in very high spatial resolution satellite images of urban areas | |
| CN110633632A (zh) | 一种基于循环指导的弱监督联合目标检测和语义分割方法 | |
| CN112347895A (zh) | 一种基于边界优化神经网络的舰船遥感目标检测方法 | |
| Liu et al. | Super-pixel cloud detection using hierarchical fusion CNN | |
| CN111783523A (zh) | 一种遥感影像旋转目标检测方法 | |
| Liu et al. | Multilayer cascade screening strategy for semi-supervised change detection in hyperspectral images | |
| Li et al. | Unsupervised domain adaptation with self-attention for post-disaster building damage detection | |
| CN113822383A (zh) | 一种基于多域注意力机制的无人机检测方法及系统 | |
| CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
| Zhang et al. | Finding nonrigid tiny person with densely cropped and local attention object detector networks in low-altitude aerial images | |
| CN116469020A (zh) | 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法 | |
| Demars et al. | Multispectral detection and tracking of multiple moving targets in cluttered urban environments | |
| Ren et al. | HADGSM: A Unified Nonconvex Framework for Hyperspectral Anomaly Detection | |
| CN114550016B (zh) | 一种基于上下文信息感知的无人机定位方法及系统 | |
| CN116206257A (zh) | 一种基于多尺度特征解耦的机场飞行区目标实时检测方法 | |
| CN114913337A (zh) | 一种基于三元级联感知的伪装目标框检测方法 | |
| Liu et al. | Leveraging physical rules for weakly supervised cloud detection in remote sensing images | |
| CN110567886B (zh) | 基于半监督空谱特征的多光谱云检测方法 | |
| Zhao et al. | Efficient building extraction for high spatial resolution images based on dual attention network | |
| Ulyanov et al. | The investigation of the using the cyclic generative-competitive neural networks for image stylization | |
| Jaiswal et al. | Deep learning based windthrow detection for winter storms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200703 |