CN112288008A - 一种基于深度学习的马赛克多光谱图像伪装目标检测方法 - Google Patents

一种基于深度学习的马赛克多光谱图像伪装目标检测方法 Download PDF

Info

Publication number
CN112288008A
CN112288008A CN202011181749.2A CN202011181749A CN112288008A CN 112288008 A CN112288008 A CN 112288008A CN 202011181749 A CN202011181749 A CN 202011181749A CN 112288008 A CN112288008 A CN 112288008A
Authority
CN
China
Prior art keywords
mosaic
data set
target
target detection
multispectral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011181749.2A
Other languages
English (en)
Other versions
CN112288008B (zh
Inventor
闫超
刘志刚
付强
王正伟
张伊慧
王志勇
胡友章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Jiuzhou Electric Group Co Ltd
Original Assignee
Sichuan Jiuzhou Electric Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Jiuzhou Electric Group Co Ltd filed Critical Sichuan Jiuzhou Electric Group Co Ltd
Priority to CN202011181749.2A priority Critical patent/CN112288008B/zh
Publication of CN112288008A publication Critical patent/CN112288008A/zh
Application granted granted Critical
Publication of CN112288008B publication Critical patent/CN112288008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的马赛克多光谱图像伪装目标检测方法，属于目标检测技术领域。该方法包括以下步骤：构建包含伪装目标的马赛克多光谱图像数据集，并将所述数据集划分为训练数据集和测试数据集；基于特征提取网络构建包含损失函数的目标检测模型；采用所述训练数据集对所述目标检测模型的损失函数进行迭代训练，并将测试数据集输入所述训练的目标检测模型进行检测识别，得到训练完成后的目标检测模型；将待检测的马赛克多光谱图像输入所述训练完成后的目标检测模型检测识别出马赛克多光谱图像中的伪装目标。本发明解决了现有技术对伪装目标检测能力与精度不高的问题。

Description

一种基于深度学习的马赛克多光谱图像伪装目标检测方法
技术领域
本发明涉及目标检测技术领域，尤其涉及一种基于深度学习的马赛克多光谱图像伪装目标检测方法。
背景技术
伪装目标是指采用工程技术措施和利用地形、地物进行隐蔽的目标。无论是检测固定伪装目标(电子设备、军用设施等)，还是活动伪装目标(如人员、车辆、舰艇等)，传统方法大多基于可见光或红外图像视频设计，应用场景受限，无法全天候工作。如果采用多源图像融合检测的方式，则会大大增加检测成本。
近年来，深度学习理论在计算机视觉、自然语言处理等多个领域中都得到了广泛应用。深度学习算法利用多层神经网络模型和大量训练数据，通过多次迭代运算实现对输入数据的深层特征提取与学习。然而，传统基于深度学习的目标检测算法多使用可见光、红外图像作为训练数据。因此，利用高(多)光谱图像丰富的光谱特征信息，并建立基于深度学习的目标检测模型，将为提高伪装目标检测能力与精度提供新的解决方案。
发明内容
鉴于上述的分析，本发明旨在提供一种基于深度学习的马赛克多光谱图像目标检测方法，以解决现有技术对伪装目标检测能力与精度不高的问题。
本发明的目的主要是通过以下技术方案实现的：
本发明提供了一种基于深度学习的马赛克多光谱图像伪装目标检测方法，包括以下步骤：
构建包含伪装目标的马赛克多光谱图像数据集，并将所述数据集划分为训练数据集和测试数据集；
基于特征提取网络构建包含损失函数的目标检测模型；
采用所述训练数据集对所述目标检测模型的损失函数进行迭代训练，并将测试数据集输入所述训练的目标检测模型进行检测识别，得到训练完成后的目标检测模型；
将待检测的马赛克多光谱图像输入所述训练完成后的目标检测模型检测识别出马赛克多光谱图像中的伪装目标。
进一步地，构建包含伪装目标的马赛克多光谱图像数据集，包括：
通过高(多)光谱相机按照线扫描或采集多光谱图像；
若采用线扫描则将采集的多光谱图像裁剪为h×w×c，其中h、w、c分别为图像的高度、宽度、光谱通道数，并根据所需生成的马赛克多光谱图像选取若干光谱通道，按像元交叉方式在单通道图像或三通道图像的每个像素位置处写入所选取的多光谱图像光谱通道对应位置的反射光谱值，生成马赛克多光谱图像；若采用快照式，则直接得到马赛克多光谱图像；
对所述训练数据集包含的伪装目标添加标签，所述包含的伪装目标的类别个数为C,C≥2。
进一步地，所述目标检测模型为开源的YOLOv3模型，所述开源的YOLO v3网络模型采用Darknet53网络作为特征提取网络。
进一步地，采用数据集划分的训练数据集对所述目标检测模型进行迭代训练得到训练后的目标检测模型，包括：
步骤一，将所述训练数据集输入目标检测模型，自适应调整所述马赛克多光谱图像的尺寸为正方形，并将该正方形的马赛克多光谱图像划分为SxS个网格；其中，S为预设的常数；
步骤二，当任一所述网格存在伪装目标的中心点时，通过在该网格中生成B个预测边界框对伪装目标进行分类判断和位置检测，其中，B为预设的常数，所述目标检测模型包括预测边界框参数的损失函数；
步骤三，重复上述步骤一和步骤二对深度神经网络进行一次前向传播和一次反向传播以更新神经网络权重，直至所述损失函数的损失值小于预先设定的阈值或迭代步数达到预设的次数。
进一步地，所述预测边界框参数的向量表示为(bx，by，bw，bh，po，p1，...，pi，...pc)；其中，bx、by表示预测边界框中心点的坐标，bw、bh表示预测边界框的宽和高，po表示目标置信度，pi表示类别置信度，i＝1,.....C，C为伪装目标的类别个数。
进一步地，所述预测边界框中心点的坐标bx、by以及预测边界框的宽和高，根据以下公式计算得到：
Figure BDA0002750379000000031
其中，σ(tx)、σ(ty)表示以当前网格左上角为原点时预测边界框中心点在x、y方向上的偏移距离，tx、ty、tw、th表示真实边界框四个顶点的坐标，cx、cy表示以图像的左上角为原点时当前网格在x、y方向上的偏移距离；pw、ph表示真实边界框的宽和高。
进一步地，所述目标置信度po为预测边界框内存在伪装目标的可能性，其计算公式如下：
Figure BDA0002750379000000041
其中，Pr(Object)表示当前网格内是否包含目标的中心点，如果包含，则为1，反之为0；
Figure BDA0002750379000000042
表示网格的预测边界框与真实边界框面积的交并比；
所述类别置信度pi为第i类别的伪装目标在当前网格出现的概率，其公式表示为：
pi＝Pr(classi|Object)；
其中，i＝1,.....C，C为伪装目标的类别个数。
进一步地，所述预测边界框参数的损失函数包括预测边界框宽和高的损失函数，其采用均方误差形式的公式如下：
Figure BDA0002750379000000043
其中，N为数据集的样本个数，yj为预测边界框参数的真实值，
Figure BDA0002750379000000044
为预测边界框参数的预测值。
进一步地，所述预测边界框参数损失函数还包括预测边界框中心点坐标、类别置信度和目标置信度的损失函数，其采用二值交叉熵形式的公式如下：
Figure BDA0002750379000000045
其中，N为数据集的样本个数，yj为预测边界框参数的真实值，
Figure BDA0002750379000000046
为预测边界框参数的预测值。
进一步地，所述目标检测模型的特征提取网络采用多尺度预测策略，具体包括：将马赛克多光谱图像的训练数据集或测试数据集输入YOLOv3网络模型的Darknet53网络进行三层金字塔结构的图像特征提取，该金字塔结构的底层到高层依次进行特征图尺寸逐层放大的卷积处理得到提取出的特征图，并根据三次提取出的特征图得到三次检测结果，将三次检测结果进行非极大值抑制操作获取检测识别结果。
本技术方案有益效果如下：本发明公开了一种基于深度学习的马赛克多光谱图像伪装目标检测方法，利用马赛克多光谱数据训练出的深度神经网络模型，对数据中所包含的空间与光谱信息进行特征提取与学习，从而实现伪装目标的定位与分类。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例的一种基于深度学习的马赛克多光谱图像伪装目标检测方法流程示意图；
图2为本发明实施例的基于深度学习的马赛克多光谱图像伪装目标检测方法流程框图；
图3为本发明实施例的马赛克多光谱图像的像素单元示意图；
图4为本发明实施例的YOLO v3的网络模型结构图；
图5为本发明实施例的训练后的YOLO v3模型得到的检测结果及对应的可见光图像。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的技术基础：高(多)光谱成像技术是一种在一定波段范围内获取探测对象光谱辐射信息的技术手段。高(多)光谱图像不仅可获取目标及背景的空间信息，还可同时获取丰富的光谱信息。利用高(多)光谱图像中目标与背景光谱信息的差异，可大大拓展目标检测能力，为克服基于可见光、红外图像的伪装目标检测算法面临的应用场景受限等问题提供了解决思路。其中，高光谱成像多采用线扫描的成像方式，使得单幅图像的数据量较大。因此，将高光谱图像用于目标检测任务时，多需要采用主成分分析等数据降维方法对高光谱图像进行预处理。然而，传统的数据降维方法计算速度较慢，且未能针对目标检测这一后续应用有效地提取相关信息。因此，高光谱图像多用于分类任务，在目标检测任务，特别是伪装目标检测任务中的应用相对较少。此外，现有的基于高光谱图像的目标检测算法多用于实现异常检测或显著性检测，无法识别目标的具体类型。与高光谱图像相比，多光谱图像包含的光谱通道数大为减少，有利于提高目标检测的实时性。现有的多光谱图像目标检测方法，往往对多个光谱的图像序列分别进行分析处理，其实时性有待进一步提高。作为一种新型的多光谱图像形式，马赛克(快照式)多光谱图像可在最少包含一个通道的图像中同时囊括空间和光谱信息，具备进一步高(多)光谱图像目标检测实时性的潜力。
本发明的一个具体实施例，如图1所示，公开了一种基于深度学习的马赛克多光谱图像伪装目标检测方法，包括以下步骤：
S1，构建包含伪装目标的马赛克多光谱图像数据集，并将所述数据集划分为训练数据集和测试数据集；
S2，基于特征提取网络构建包含损失函数的目标检测模型；
S3，采用所述训练数据集对所述目标检测模型的损失函数进行迭代训练，并将测试数据集输入所述训练的目标检测模型进行检测识别，得到训练完成后的目标检测模型；
S4，将待检测的马赛克多光谱图像输入所述训练完成后的目标检测模型检测识别出马赛克多光谱图像中的伪装目标。
与现有技术相比，本发明技术方案的有益结果为：同时利用高(多)光谱图像的光谱维和空间维信息，完成对伪装目标的定位、分类，提高了伪装目标检测的准确率；与传统的降维后检测的方法相比，使用马赛克高光谱图像可大幅减少计算时间，在此基础上结合YOLO v3模型，进一步提高了伪装目标检测的实时性；马赛克多光谱图像可覆盖可见光到红外波段，有利于进行全天候伪装目标检测，拓展了应用场景，提高了伪装目标检测的鲁棒性。
具体地，如图2所示，本发明实施例提供一种基于深度学习的马赛克多光谱图像伪装目标检测方法，主要包括如下步骤：
a.马赛克多光谱图像数据集的构建，包括数据集的采集、预处理、划分与标注。
b.模型的构建，使用开源的YOLO v3网络模型，构建目标检测模型。
c.使用训练数据集对步骤b构建的模型进行训练。
d.测试模型，使用训练后的模型对包含伪装目标的多光谱图像进行检测识别。
本发明的一个具体实施例，构建包含伪装目标的马赛克多光谱图像数据集，包括：
通过高(多)光谱相机按照线扫描或采集多光谱图像；也就是说，使用高(多)光谱相机采集高(多)光谱图像，高(多)光谱相机的采集方式既可以是线扫描式，也可以是快照式。
若采用线扫描则将采集的多光谱图像裁剪为h×w×c，其中h、w、c分别为图像的高度、宽度、光谱通道数，并根据所需生成的马赛克多光谱图像选取若干光谱通道，按像元交叉方式在单通道图像或三通道图像的每个像素位置处写入所选取的多光谱图像光谱通道对应位置的反射光谱值，生成马赛克多光谱图像；若采用快照式，则直接得到马赛克多光谱图像；也即，对于线扫描高(多)光谱相机采集的图像，首先将图像的维度统一裁剪为h×w×c，其中h、w、c分别为图像的高度、宽度、光谱通道数；之后根据需要选择若干光谱通道，按像元交叉的方式，在待生成的单通道或三通道图像中的每个像素位置处，写入原高光谱图像中所选通道对应位置的反射光谱值，生成马赛克多光谱图像。快照式高(多)光谱相机采集的图像即为马赛克光谱图像，不作上述预处理。使用多个马赛克多光谱图像构建数据集。
对所述训练数据集包含的伪装目标添加标签，所述包含的伪装目标的类别个数为C,C≥2。
具体举例来说，马赛克多光谱图像数据集的构建具体包括a1至a4共4个步骤。
a1.数据的采集，使用高光谱相机采集高光谱图像，高光谱相机的采集方式为线扫描式。
a2.数据预处理，对于线扫描高光谱相机采集的图像，首先将图像的维度统一裁剪为960×1150×176，光谱通道编号为1-176。之后根据伪装目标与周围背景的差异度，选择12个光谱通道，按像元交叉的方式，在待生成的三通道图像中的每个像素位置处，写入原高光谱图像中所选通道对应位置的反射光谱值，生成马赛克多光谱图像。一张4×4马赛克多光谱图像的像素单元如图3所示。使用约150张伪彩色2×2马赛克多光谱图像构建数据集，其光谱通道编号为[90,95,100,103,105,108,110,112,115,120,125,130]。
a3.数据集的划分，将所述数据集划分为训练数据集与测试数据集，并且所述训练数据集与测试数据集的数量比为7:3；
a4.数据集的标注，使用标注软件labelme对所述训练数据集添加标签，共有person、box、tower、pile、car等五种类别，除tower外，其余皆为伪装目标。
本发明的一个具体实施例，所述目标检测模型为开源的YOLOv3模型，所述开源的YOLO v3网络模型采用Darknet53网络作为特征提取网络。
具体地，所述YOLO v3网络模型如图4所示，包括：负责提取特征的骨干网络，采用Darknet53的网络结构由一个DBL单元和5个残差块Resn构成，共包含53个卷积层。其中，DBL单元由一个卷积层及其附属的批归一化和Leaky Relu激活函数共同构成，是Darknet53的最小组件，Resn由零填充层、DBL单元和n个残差单元构成。Darknet53网络结构为目前常用的网络结构模型，在此不多作赘述。
本发明的一个具体实施例，采用数据集划分的训练数据集对所述目标检测模型进行迭代训练得到训练后的目标检测模型，包括：
步骤一，将所述训练数据集输入目标检测模型，自适应调整所述马赛克多光谱图像的尺寸为正方形，并将该正方形的马赛克多光谱图像划分为SxS个网格；其中，S为预设的常数；
步骤二，当任一所述网格存在伪装目标的中心点时，通过在该网格中生成B个预测边界框对伪装目标进行分类判断和位置检测，其中，B为预设的常数，所述目标检测模型包括预测边界框参数的损失函数；
具体地，将待检测的图像(训练数据集或测试数据集)输入YOLO v3网络模型时，先自适应调整图像的尺寸，将图像调整为正方形，然后将图像划分为S×S个网格。当分块的任一网格存在某目标的中心点时，该网格负责对此目标进行分类判断和位置检测，并生成B个预测边界框对该目标进行检测，每个预测边界框由以下参数描述：(bx，by，bw，bh，po，p1，...，pi，...pc)。
步骤三，重复上述步骤一和步骤二对深度神经网络进行一次前向传播和一次反向传播以更新神经网络权重，直至所述损失函数的损失值小于预先设定的阈值或迭代步数达到预设的次数。
具体地，使用训练数据集对上述构建的模型进行训练，迭代次数为20000次，得到训练后的YOLO v3模型，利用该训练后的YOLO v3模型模型在测试数据集上测试，得到的检测结果如图5所示。可以看出，伪装目标在可见光图像中难以识别和检测，而在马赛克多光谱图像中可有效凸显目标。因此，本发明技术方案可对伪装目标进行分类和定位，在训练样本数较少且图像场景较多的情况下，衡量检测准确率的常用指标mAP约为86％。
本发明的一个具体实施例，所述预测边界框参数的向量表示为(bx，by，bw，bh，po，p1，...，pi，...pc)；其中，bx、by表示预测边界框中心点的坐标，bw、bh表示预测边界框的宽和高，po表示目标置信度，pi表示类别置信度，i＝1,.....C，C为伪装目标的类别个数。
本发明的一个具体实施例，所述预测边界框中心点的坐标以及预测边界框的宽和高，根据以下公式计算得到：
Figure BDA0002750379000000111
其中，σ(tx)、σ(ty)表示以当前网格左上角为原点时预测边界框中心点在x、y方向上的偏移距离，tx、ty、tw、th表示真实边界框四个顶点的坐标，cx、cy表示以图像的左上角为原点时当前网格在x、y方向上的偏移距离；pw、ph表示真实边界框的宽和高。
本发明的一个具体实施例，所述目标置信度po为预测边界框内存在伪装目标的可能性，其计算公式如下：
Figure BDA0002750379000000112
其中，Pr(Object)表示当前网格内是否包含目标的中心点，如果包含，则为1，反之为0；
Figure BDA0002750379000000113
表示网格的预测边界框与真实边界框面积的交并比；
所述类别置信度pi为第i类别的伪装目标在当前网格出现的概率，其公式表示为：
pi＝Pr(classi|Object)；
其中，i＝1,.....C，C为伪装目标的类别个数。
本发明的一个具体实施例，所述预测边界框参数的损失函数包括预测边界框宽和高的损失函数，其采用均方误差形式的公式如下：
Figure BDA0002750379000000121
其中，N为数据集的样本个数，yj为预测边界框参数的真实值，
Figure BDA0002750379000000122
为预测边界框参数的预测值。
本发明的一个具体实施例，所述预测边界框参数损失函数还包括预测边界框中心点坐标、类别置信度和目标置信度的损失函数，其采用二值交叉熵形式的公式如下：
Figure BDA0002750379000000123
其中，N为数据集的样本个数，yj为预测边界框参数的真实值，
Figure BDA0002750379000000124
为预测边界框参数的预测值。
本发明的一个具体实施例，所述目标检测模型的特征提取网络采用多尺度预测策略，具体包括：将马赛克多光谱图像的训练数据集或测试数据集输入YOLO v3网络模型的Darknet53网络进行三层金字塔结构的图像特征提取，该金字塔结构的底层到高层依次进行特征图尺寸逐层放大的卷积处理得到提取出的特征图，并根据三次提取出的特征图得到三次检测结果，将三次检测结果进行非极大值抑制操作获取检测识别结果。
具体采用多尺度预测策略如下：YOLO v3网络先检测已被多次卷积处理过的最终的13×13大小的特征图来得到第一次的检测结果；之后，对13×13的特征图进行上采样处理以获得26×26大小的特征图，并把得到的26×26的特征图和之前网络里的26×26的特征图融合形成的新特征图通过多次卷积来得到第二次的检测结果；之后，对26×26的特征图进行上采样处理以获得52×52大小的特征图，并把得到的52×52的特征图和之前网络里的52×52的特征图融合形成的新特征图通过多次卷积来得到第三次的检测结果。最后将三次获得的结果进行非极大值抑制操作来获取最终的识别结果。
综上所述，本发明公开了一种基于深度学习的马赛克多光谱图像伪装目标检测方法，该方法同时利用高(多)光谱图像的光谱维和空间维信息，完成对伪装目标的定位、分类。与传统的基于高(多)光谱图像的异常检测、显著性检测相比，扩展了检测结果的信息量，提高了伪装目标检测的准确率。与传统的降维后检测的方法相比，使用马赛克多光谱图像可大幅减少计算时间，在此基础上结合YOLO v3模型，进一步提高了伪装目标检测的实时性。此外，马赛克多光谱图像可覆盖可见光到红外波段，有利于进行全天候伪装目标检测，拓展了应用场景，提高了伪装目标检测的鲁棒性。
本领域技术人员可以理解，实现上述实施例中方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的马赛克多光谱图像伪装目标检测方法，其特征在于，包括以下步骤：
构建包含伪装目标的马赛克多光谱图像数据集，并将所述数据集划分为训练数据集和测试数据集；
基于特征提取网络构建包含损失函数的目标检测模型；
采用所述训练数据集对所述目标检测模型的损失函数进行迭代训练，并将测试数据集输入所述训练的目标检测模型进行检测识别，得到训练完成后的目标检测模型；
将待检测的马赛克多光谱图像输入所述训练完成后的目标检测模型检测识别出马赛克多光谱图像中的伪装目标。
2.根据权利要求1所述的方法，其特征在于，构建包含伪装目标的马赛克多光谱图像数据集，包括：
通过高(多)光谱相机按照线扫描或采集多光谱图像；
若采用线扫描则将采集的多光谱图像裁剪为h×w×c，其中h、w、c分别为图像的高度、宽度、光谱通道数，并根据所需生成的马赛克多光谱图像选取若干光谱通道，按像元交叉方式在单通道图像或三通道图像的每个像素位置处写入所选取的多光谱图像光谱通道对应位置的反射光谱值，生成马赛克多光谱图像；若采用快照式，则直接得到马赛克多光谱图像；
对所述训练数据集包含的伪装目标添加标签，所述包含的伪装目标的类别个数为C，C≥2。
3.根据权利要求1所述的方法，其特征在于，所述目标检测模型为开源的YOLOv3模型，所述开源的YOLO v3网络模型采用Darknet53网络作为特征提取网络。
4.根据权利要求1所述的方法，其特征在于，采用数据集划分的训练数据集对所述目标检测模型进行迭代训练得到训练后的目标检测模型，包括：
步骤一，将所述训练数据集输入目标检测模型，自适应调整所述马赛克多光谱图像的尺寸为正方形，并将该正方形的马赛克多光谱图像划分为SxS个网格；其中，S为预设的常数；
步骤二，当任一所述网格存在伪装目标的中心点时，通过在该网格中生成B个预测边界框对伪装目标进行分类判断和位置检测，其中，B为预设的常数，所述目标检测模型包括预测边界框参数的损失函数；
步骤三，重复上述步骤一和步骤二对深度神经网络进行一次前向传播和一次反向传播以更新神经网络权重，直至所述损失函数的损失值小于预先设定的阈值或迭代步数达到预设的次数。
5.根据权利要求1或4所述的方法，其特征在于，所述预测边界框参数的向量表示为(bx，by，bw，bh，po，p1，...，pi，...pC)；其中，bx、by表示预测边界框中心点的坐标，bw、bh表示预测边界框的宽和高，po表示目标置信度，pi表示类别置信度，i＝1，.....C，C为伪装目标的类别个数。
6.根据权利要求5所述的方法，其特征在于，所述预测边界框中心点的坐标bx、by以及预测边界框的宽和高，根据以下公式计算得到：
Figure FDA0002750378990000021
其中，σ(tx)、σ(ty)表示以当前网格左上角为原点时预测边界框中心点在x、y方向上的偏移距离，tx、ty、tw、th表示真实边界框四个顶点的坐标，cx、cy表示以图像的左上角为原点时当前网格在x、y方向上的偏移距离；pw、ph表示真实边界框的宽和高。
7.根据权利要求5所述的方法，其特征在于，所述目标置信度po为预测边界框内存在伪装目标的可能性，其计算公式如下：
Figure FDA0002750378990000031
其中，Pr(Object)表示当前网格内是否包含目标的中心点，如果包含，则为1，反之为0；
Figure FDA0002750378990000032
表示网格的预测边界框与真实边界框面积的交并比；
所述类别置信度pi为第i类别的伪装目标在当前网格出现的概率，其公式表示为：
pi＝Pr(classi|Object)；
其中，i＝1，.....C，C为伪装目标的类别个数。
8.根据权利要求4所述的方法，其特征在于，所述预测边界框参数的损失函数包括预测边界框宽和高的损失函数，其采用均方误差形式的公式如下：
Figure FDA0002750378990000033
其中，N为数据集的样本个数，yj为预测边界框参数的真实值，
Figure FDA0002750378990000035
为预测边界框参数的预测值。
9.根据权利要求4所述的方法，其特征在于，所述预测边界框参数损失函数还包括预测边界框中心点坐标、类别置信度和目标置信度的损失函数，其采用二值交叉熵形式的公式如下：
Figure FDA0002750378990000034
其中，N为数据集的样本个数，yj为预测边界框参数的真实值，
Figure FDA0002750378990000041
为预测边界框参数的预测值。
10.根据权利要求1或3所述的方法，其特征在于，所述目标检测模型的特征提取网络采用多尺度预测策略，具体包括：将马赛克多光谱图像的训练数据集或测试数据集输入YOLOv3网络模型的Darknet53网络进行三层金字塔结构的图像特征提取，该金字塔结构的底层到高层依次进行特征图尺寸逐层放大的卷积处理得到提取出的特征图，并根据三次提取出的特征图得到三次检测结果，将三次检测结果进行非极大值抑制操作获取检测识别结果。
CN202011181749.2A 2020-10-29 2020-10-29 一种基于深度学习的马赛克多光谱图像伪装目标检测方法 Active CN112288008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011181749.2A CN112288008B (zh) 2020-10-29 2020-10-29 一种基于深度学习的马赛克多光谱图像伪装目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011181749.2A CN112288008B (zh) 2020-10-29 2020-10-29 一种基于深度学习的马赛克多光谱图像伪装目标检测方法

Publications (2)

Publication Number Publication Date
CN112288008A true CN112288008A (zh) 2021-01-29
CN112288008B CN112288008B (zh) 2022-03-01

Family

ID=74353456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011181749.2A Active CN112288008B (zh) 2020-10-29 2020-10-29 一种基于深度学习的马赛克多光谱图像伪装目标检测方法

Country Status (1)

Country Link
CN (1) CN112288008B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907530A (zh) * 2021-02-08 2021-06-04 南开大学 基于分组反向注意力的伪装物体检测方法及系统
CN113269725A (zh) * 2021-04-28 2021-08-17 安徽理工大学 一种基于成像技术和深度学习的煤矸石快速检测方法
CN113298035A (zh) * 2021-06-17 2021-08-24 上海红檀智能科技有限公司 基于图像识别的无人机电力杆塔检测及自主巡航方法
CN113468996A (zh) * 2021-06-22 2021-10-01 广州大学 一种基于边缘细化的伪装物体检测方法
CN113610109A (zh) * 2021-07-06 2021-11-05 中国人民解放军火箭军工程大学 一种基于放大镜观测效应的可见光伪装目标识别方法
CN113989781A (zh) * 2021-11-01 2022-01-28 重庆交通职业学院 基于深度学习的交通灯识别方法
CN114155428A (zh) * 2021-11-26 2022-03-08 中国科学院沈阳自动化研究所 基于Yolo-v3算法的水下声呐侧扫图像小目标检测方法
CN114494441A (zh) * 2022-04-01 2022-05-13 广东机电职业技术学院 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN115082517A (zh) * 2022-05-25 2022-09-20 华南理工大学 基于数据增强的赛马场景多目标追踪方法
CN115588140A (zh) * 2022-10-24 2023-01-10 北京市遥感信息研究所 一种多光谱遥感图像多方向目标检测方法
CN117058541A (zh) * 2023-08-03 2023-11-14 国网吉林省电力有限公司通化供电公司 绝缘子高光谱数据采集系统及其方法
CN117705729A (zh) * 2023-11-30 2024-03-15 广东技术师范大学 基于高光谱识别技术的盐湖资源富集度检测方法和装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298869B1 (en) * 2003-07-21 2007-11-20 Abernathy Donald A Multispectral data acquisition system and method
US20080123097A1 (en) * 2004-10-25 2008-05-29 Hamed Hamid Muhammed System for Multi- and Hyperspectral Imaging
CN105518437A (zh) * 2013-06-10 2016-04-20 莱乐温特处理有限公司 用于红外检测的系统和方法
CN108288256A (zh) * 2018-01-31 2018-07-17 中国科学院西安光学精密机械研究所 一种多光谱马赛克图像复原方法
CN108416378A (zh) * 2018-02-28 2018-08-17 电子科技大学 一种基于深度神经网络的大场景sar目标识别方法
CN109948415A (zh) * 2018-12-30 2019-06-28 中国科学院软件研究所 基于背景过滤和尺度预测的光学遥感图像目标检测方法
CN110018524A (zh) * 2019-01-28 2019-07-16 同济大学 一种基于视觉-属性的x射线安检违禁品识别方法
CN110246080A (zh) * 2018-03-07 2019-09-17 舜宇光学（浙江）研究院有限公司 去马赛克方法及其系统
CN110458766A (zh) * 2019-07-11 2019-11-15 天津大学 一种快照式高光谱图像去马赛克方法
CN110909637A (zh) * 2019-11-08 2020-03-24 清华大学 一种基于视触融合的室外移动机器人地形识别方法
CN110909696A (zh) * 2019-11-27 2020-03-24 Oppo广东移动通信有限公司 一种场景检测方法、装置、存储介质及终端设备
CN111052180A (zh) * 2017-08-30 2020-04-21 威里利生命科学有限责任公司 用于可视化流动的使用机器学习的散斑对比度分析
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298869B1 (en) * 2003-07-21 2007-11-20 Abernathy Donald A Multispectral data acquisition system and method
US20080123097A1 (en) * 2004-10-25 2008-05-29 Hamed Hamid Muhammed System for Multi- and Hyperspectral Imaging
CN105518437A (zh) * 2013-06-10 2016-04-20 莱乐温特处理有限公司 用于红外检测的系统和方法
CN111052180A (zh) * 2017-08-30 2020-04-21 威里利生命科学有限责任公司 用于可视化流动的使用机器学习的散斑对比度分析
CN108288256A (zh) * 2018-01-31 2018-07-17 中国科学院西安光学精密机械研究所 一种多光谱马赛克图像复原方法
CN108416378A (zh) * 2018-02-28 2018-08-17 电子科技大学 一种基于深度神经网络的大场景sar目标识别方法
CN110246080A (zh) * 2018-03-07 2019-09-17 舜宇光学（浙江）研究院有限公司 去马赛克方法及其系统
CN109948415A (zh) * 2018-12-30 2019-06-28 中国科学院软件研究所 基于背景过滤和尺度预测的光学遥感图像目标检测方法
CN110018524A (zh) * 2019-01-28 2019-07-16 同济大学 一种基于视觉-属性的x射线安检违禁品识别方法
CN110458766A (zh) * 2019-07-11 2019-11-15 天津大学 一种快照式高光谱图像去马赛克方法
CN110909637A (zh) * 2019-11-08 2020-03-24 清华大学 一种基于视触融合的室外移动机器人地形识别方法
CN110909696A (zh) * 2019-11-27 2020-03-24 Oppo广东移动通信有限公司 一种场景检测方法、装置、存储介质及终端设备
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ADAM PAPP等: "Automatic Annotation of Hyperspectral Images and Spectral Signal Classification of People and Vehicles in Areas of Dense Vegetation with Deep Learning", 《REMOTE SENSING》 *
XIE, RUICHAO等: "Target detection method for polarization imaging based on convolutional neural network", 《SIXTH SYMPOSIUM ON NOVEL OPTOELECTRONIC》 *
徐文斌等: "长波红外高光谱偏振特性的伪装目标识别方法", 《光谱学与光谱分析》 *
韩佳彤: "镀膜式视频光谱成像仪图像预处理算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907530A (zh) * 2021-02-08 2021-06-04 南开大学 基于分组反向注意力的伪装物体检测方法及系统
CN113269725A (zh) * 2021-04-28 2021-08-17 安徽理工大学 一种基于成像技术和深度学习的煤矸石快速检测方法
CN113298035A (zh) * 2021-06-17 2021-08-24 上海红檀智能科技有限公司 基于图像识别的无人机电力杆塔检测及自主巡航方法
CN113468996B (zh) * 2021-06-22 2023-07-11 广州大学 一种基于边缘细化的伪装物体检测方法
CN113468996A (zh) * 2021-06-22 2021-10-01 广州大学 一种基于边缘细化的伪装物体检测方法
CN113610109A (zh) * 2021-07-06 2021-11-05 中国人民解放军火箭军工程大学 一种基于放大镜观测效应的可见光伪装目标识别方法
CN113610109B (zh) * 2021-07-06 2024-04-26 中国人民解放军火箭军工程大学 一种基于放大镜观测效应的可见光伪装目标识别方法
CN113989781A (zh) * 2021-11-01 2022-01-28 重庆交通职业学院 基于深度学习的交通灯识别方法
CN114155428A (zh) * 2021-11-26 2022-03-08 中国科学院沈阳自动化研究所 基于Yolo-v3算法的水下声呐侧扫图像小目标检测方法
CN114494441A (zh) * 2022-04-01 2022-05-13 广东机电职业技术学院 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN114494441B (zh) * 2022-04-01 2022-06-17 广东机电职业技术学院 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN115082517A (zh) * 2022-05-25 2022-09-20 华南理工大学 基于数据增强的赛马场景多目标追踪方法
CN115082517B (zh) * 2022-05-25 2024-04-19 华南理工大学 基于数据增强的赛马场景多目标追踪方法
CN115588140A (zh) * 2022-10-24 2023-01-10 北京市遥感信息研究所 一种多光谱遥感图像多方向目标检测方法
CN115588140B (zh) * 2022-10-24 2023-04-18 北京市遥感信息研究所 一种多光谱遥感图像多方向目标检测方法
CN117058541A (zh) * 2023-08-03 2023-11-14 国网吉林省电力有限公司通化供电公司 绝缘子高光谱数据采集系统及其方法
CN117058541B (zh) * 2023-08-03 2024-02-13 国网吉林省电力有限公司通化供电公司 绝缘子高光谱数据采集系统及其方法
CN117705729A (zh) * 2023-11-30 2024-03-15 广东技术师范大学 基于高光谱识别技术的盐湖资源富集度检测方法和装置

Also Published As

Publication number Publication date
CN112288008B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN112288008B (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN109934121B (zh) 一种基于YOLOv3算法的果园行人检测方法
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN111723748B (zh) 一种红外遥感图像舰船检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN111259758B (zh) 一种针对密集区域的两阶段遥感图像目标检测方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN105957054B (zh) 一种图像变化检测方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN107784291A (zh) 基于红外视频的目标检测跟踪方法和装置
CN111666854B (zh) 融合统计显著性的高分辨率sar影像车辆目标检测方法
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN112149591B (zh) 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN113191204B (zh) 一种多尺度遮挡行人检测方法及系统
CN116469020A (zh) 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN114170526A (zh) 基于轻量化网络的遥感影像多尺度目标检测识别方法
CN113989656A (zh) 遥感视频的事件解译方法、装置、计算机设备和存储介质
CN115661607A (zh) 一种基于改进YOLOv5的小目标识别方法
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant