CN112598049A - 一种基于深度学习的掩埋物体红外图像的目标检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的掩埋物体红外图像的目标检测方法,具体包括：1)红外数据采集及样本库的建立；2)对红外数据样本库中图像进行数据处理；3)根据掩埋物体红外数据特点，选取并调整合适的深度学习模型；4)将训练数据输入到掩埋红外图像目标检测模型，进行模型的训练以及调参，结合验证集结果保存模型；5)在测试集上完成对红外图像目标检测模型的测试，使用模型对测试集全部图像进行图像分割，随后根据设定好的掩埋物体红外图像分割结果判定出掩埋物体的检测结果，并使用设计过的测试指标筛选出检测效果最优的检测模型。本发明能够对包含较少语义信息的掩埋物体红外图像进行较为准确的目标区域检测，具有良好的使用价值。

Description

一种基于深度学习的掩埋物体红外图像的目标检测方法

技术领域

本发明涉及深度学习和红外图像领域，特别是涉及一种基于深度学习的掩埋物体红外图像的目标检测方法。

背景技术

掩埋物体的检测是十分有必要的任务，掩埋物体是指被掩埋在多种类型土壤的多种材质的检测物体，由于物体被掩埋后有其难以检测性和不易察觉性，因此针对掩埋物体的检测有很大的必要性。

目前针对掩埋物体的图像检测通常使用常规图像拍摄所得的RGB图像数据进行检测，检测方法大多也为传统数字图像处理方法。常规拍摄所得的RGB图像不能很好的表征出存在掩埋物体区域与不存在掩埋物体区域的图像差异也即特征差异。此外先前方法使用的传统数字图像处理检测方法，通过图像降噪、设定阈值等操作并不能很好的检测出掩埋物体位置，并且对数据的鲁棒性较差。

发明内容

本发明的目的是提供一种基于深度学习的掩埋物体红外图像的目标检测方法，以解决上述现有技术存在的问题，使检测掩埋物体的图像能有更好的表现，数据处理方式更加科学以及测量的准确率更高。

为实现上述目的，本发明提供了如下方案：

一种基于深度学习的掩埋物体红外图像的目标检测方法，包括以下步骤：

S1，红外数据采集及样本库建立，其中采集具体方式为：对相同的掩埋区域设定1min的固定时间间隔进行红外图像数据采集，进行1小时的采集后更换土壤类型并改变目标掩埋位置、掩埋物体材料，再进行设定1min采集间隔，采集一小时的方法进行多组数据采集，最终得到含有多个时间序列的红外图像数据样本库；

S2，对外数据样本库中的图像进行数据处理，将数据处理后的掩埋物体红外图像划分为训练集、验证集和测试集；

S3，根据掩埋物体红外数据特点，选取并调整合适的深度学习模型；

S4，将训练数据和标注信息输入到深度学习图像分割网络进行模型的训练以及调参，结合验证集结果保存模型；

S5，测试集上完成对红外图像目标检测模型的测试，使用模型对测试集全部图像进行图像分割，随后根据设定好的掩埋物体红外图像分割结果判定出掩埋物体的检测结果，并使用设计过的测试指标筛选出检测效果最优的检测模型。

优选的，所述步骤S2中数据处理为：对样本库中同一时间序列下采集到的多帧数据，对每一帧的前后各一帧数据与该帧数据进行通道维度的合并，将原本单通道的单帧数据扩充为有时间序列信息的三通道数据，保存合并后的三通道数据，最终得到含有相邻帧时间序列信息的掩埋物体红外图像数据集，并对数据集进行掩埋物体位置的标注。

优选的，所述步骤S2中的将数据集划分为训练集和测试集的具体划分方法为：按照60％、20％和20％的比例划分训练集、验证集和测试集。

优选的，所述步骤S3中根据数据特点和特征差异选取了调整过网络结构的深度学习图像网络Unet，模型为Unet图像分割模型。

优选的，所述步骤S4中的网络需要使用优化器来寻找模型的最优解，所述优化器选择为Adam优化器，其中的momentum设置为默认值0.9。

优选的，所述步骤S4中调参的具体操作为：通过模型在验证集上的结果以及损失函数的变化对训练参数进行调整。

优选的，所述损失函数选择为多分类任务中常用的NLLLoss和分割任务中的DiceLoss之和，两部分损失之和作为网络的损失函数。

优选的，所述步骤S5中的测试指标为查准率Precision、查全率Recall。

优选的，所述查准率Precision、查全率Recall的定义为：

其中：

TP表示：被判定为正样本，实际上也是正样本的；

FP表示：被判定为正样本但是实际上是负样本的；

FN表示：被判定为负样本但实际上是正样本的。

本发明公开了以下技术效果：

1.使用本发明提出的基于深度学习的掩埋物体红外图像目标检测方法在检测存在掩埋物体的目标区域时，查准率和查全率较高。

2.本发明提出的使用红外数据训练的基于深度学习的图像分割模型具有较好的图像适应性和鲁棒性，具体表现为该方法能够对多种类型土壤或是多种材质掩埋物体生成的红外图像都能有较好的检测表现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于深度学习的掩埋物体红外图像目标检测方法流程图；

图2为本发明中图像分割网络Unet的网络结构示意图；

图3为检测效果示意图。

具体实施方式

现详细说明本发明的多种示例性实施方式，该详细说明不应认为是对本发明的限制，而应理解为是对本发明的某些方面、特性和实施方案的更详细的描述。

应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。另外，对于本发明中的数值范围，应理解为还具体公开了该范围的上限和下限之间的每个中间值。在任何陈述值或陈述范围内的中间值以及任何其他陈述值或在所述范围内的中间值之间的每个较小的范围也包括在本发明内。这些较小范围的上限和下限可独立地包括或排除在范围内。

除非另有说明，否则本文使用的所有技术和科学术语具有本发明所属领域的常规技术人员通常理解的相同含义。虽然本发明仅描述了优选的方法和材料，但是在本发明的实施或测试中也可以使用与本文所述相似或等同的任何方法和材料。本说明书中提到的所有文献通过引用并入，用以公开和描述与所述文献相关的方法和/或材料。在与任何并入的文献冲突时，以本说明书的内容为准。

在不背离本发明的范围或精神的情况下，可对本发明说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本发明的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

本发明中所述的“份”如无特别说明，均按质量份计。

实施例1

下面以多种类型土壤中掩埋多种材质物体进行掩埋物体检测的案例为例，利用深度学习模型进行掩埋物体检测的方法，对本发明做进一步的说明。

使用以沙土、有机土、矿物质土，掩埋物体材质为金属、塑料的红外图像数据样本库基础上进行本发明方法的掩埋物体区域检测。

根据上述采集到的样本，结合图1，本发明具体实施步骤如下：

步骤1中，对土壤类型为沙土、矿物质土、有机土，掩埋物体材质为金属、塑料的红外图像样本库进行图像采集，设定1min的固定红外图像采集时间间隔，对有阳光照射或红外光照射的土壤表面进行1小时的红外图像采集，最终得到60帧dat格式红外图像样本数据，随后更换土壤类型并改变目标掩埋位置后，通过上述方式再进行多组等时间间隔的红外图像采集。通过这种方式来完成对掩埋物体多组红外图像数据的采集，最终得到含有多个时间序列的红外图像数据样本库。

在步骤2中，对红外数据样本库采集到的多组时间序列红外图像进行数据处理为，首先将样本库中dat格式的数据读取并存储为单通道的灰度图片，对一个时间序列下当前帧的前后各一帧数据与该帧数据进行通道维度的合并，将原本单通道的单帧数据与前后帧数据结合扩充为三通道数据，通过这种数据处理方法使得最初单帧的灰度图变为了三通道含有时间序列信息的数据，最终将样本库中每一个时间序列下的每一帧单通道图像都进行上述数据处理，由此来构成含有时间信息的掩埋物体红外图像数据集，完成数据集掩埋物体位置的标注后，按照60％、20％和20％的比例划分训练集、验证集和测试集。

在步骤3中，根据掩埋物体红外数据特点，选取并调整合适的深度学习模型，所述根据数据特点和特征差异选取了调整过网络结构的深度学习图像网络Unet，模型为Unet图像分割模型，本发明中检测算法对图像的每一个像素进行分类，辨别是否为目标区域像素，输入任意尺寸的图像并输出与输入等大的图像。使用的Unet变体的网络结构具体包含了4次下、上采样，下采样使用2*2的max pooling，上采样使用转置卷积实现，网络在同层中使用3*3的卷积层与Relu激活层组成的模块，4次同层的skip connection实现与同层特征图的多通道拼接，同层的skip connection使得最后恢复出的特征拥有更多low-level的特征，也让不同尺度的特征得到融合，最终得到的分割图恢复边缘信息更加精细，符合掩埋物体红外图像的数据呈现的特点。具体网络结构如图2。

在步骤4中，将训练集中图像数据和标注信息送入深度学习图像分割网络进行训练，通过模型在验证集上的结果以及损失函数的变化对训练参数进行调整，选择较优的训练配置进行图像分割模型的训练，最终结合模型在验证集上的结果保存训练过程中得到的多个图像分割模型。其中网络具体使用的优化器为Adam优化器，该优化器实现简单计算高效所需内存小，是一种有效的随机优化方法。该方法通过第一，第二梯度的估计，计算不同参数的自适应学习速率。其中所需的momentum设置为0.9默认值。损失函数选择为多分类任务中常用的NLLLoss和分割任务中的DiceLoss之和，两部分损失之和作为网络的损失函数，此外初始学习率设置为0.001，使用poly进行学习率调整，通过上述的配置进行网络的学习更新。

NLLLoss定义为：

loss(p，x)＝-∑x*log(p)

其中x表示样本，p是该样本的概率值。

DiceLoss定义为：

其中X为样本X，Y为样本Y，d为计算所得的损失函数值。

在步骤5中，首先使用训练好的图像分割模型对测试集图像进行图像分割，随后对上述得到的图像分割结果图进行数字图像处理中的腐蚀和膨胀操作，消除一些较小异常像素点的影响，随后求取处理后结果的最大联通区域，并对连通区域框定目标检测框，由此完成了分割结果向目标检测结果的转化。随后通过测试图标注和上述检测框求取交并比，对单个目标而言，如果存在检测出的检测框并且与测试图该目标标注的交并比大于0.5时，认为该目标检测成功，通过该方式对测试图中所有得到的检测框和测试图标注进行交并比计算，即可得到测试集全部目标检测结果。最终使用设计好的测试指标查准率Precision、查全率Recall筛选出测试结果最优的模型，得到对掩埋物体红外图像最优的目标检测指标和检测效果。查准率Precision和查全率Recall定义为：

TP表示被判定为正样本，实际上也是正样本的，FP表示被判定为正样本但是实际上是负样本的，FN表示被判定为负样本但实际上是正样本的。

表1

结合表1，本方法以高查准率和查全率完成了检测任务，可以看出检测模型在掩埋物体的红外图像目标检测上有十分精确的效果。

实际检测效果见图3，由左至右依次为：掩埋物体红外图像、红外图像分割结果、由分割结果判定出的目标检测结果图。从上到下依次为：不同时间采集到的，不同掩埋物体以不同掩埋方式得出的红外图像、分割结果图和目标检测结果图(示意图土壤类型为：沙土、掩埋物体材质为：塑料与金属)，其中红外图像分割结果中深颜色的为干扰物。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于深度学习的掩埋物体红外图像的目标检测方法，其特征在于：包括以下步骤：

S1，红外数据采集及样本库建立，其中采集具体方式为：对相同的掩埋区域设定1min的固定时间间隔进行红外图像数据采集，进行1小时的采集后更换土壤类型并改变目标掩埋位置、掩埋物体材料，再进行设定1min采集间隔，采集一小时的方法进行多组数据采集，最终得到含有多个时间序列的红外图像数据样本库；

S2，对外数据样本库中的图像进行数据处理，将数据处理后的掩埋物体红外图像划分为训练集、验证集和测试集；

S3，根据掩埋物体红外数据特点，选取并调整合适的深度学习模型；

S4，将训练数据和标注信息输入到深度学习图像分割网络进行模型的训练以及调参，结合验证集结果保存模型；

S5，测试集上完成对红外图像目标检测模型的测试，使用模型对测试集全部图像进行图像分割，随后根据设定好的掩埋物体红外图像分割结果判定出掩埋物体的检测结果，并使用设计过的测试指标筛选出检测效果最优的检测模型。

2.根据权利要求1所述的一种基于深度学习的掩埋物体红外图像的目标检测方法，其特征在于：所述步骤S2中数据处理为：对样本库中同一时间序列下采集到的多帧数据，对每一帧的前后各一帧数据与该帧数据进行通道维度的合并，将原本单通道的单帧数据扩充为有时间序列信息的三通道数据，保存合并后的三通道数据，最终得到含有相邻帧时间序列信息的掩埋物体红外图像数据集，并对数据集进行掩埋物体位置的标注。

3.根据权利要求1所述的一种基于深度学习的掩埋物体红外图像的目标检测方法，其特征在于：所述步骤S2中的将数据集划分为训练集和测试集的具体划分方法为：按照60％、20％和20％的比例划分训练集、验证集和测试集。

4.根据权利要求1所述的一种基于深度学习的掩埋物体红外图像的目标检测方法，其特征在于：所述步骤S3中根据数据特点和特征差异选取了调整过网络结构的深度学习图像网络Unet，模型为Unet图像分割模型。

5.根据权利要求1所述的一种基于深度学习的掩埋物体红外图像的目标检测方法，其特征在于：所述步骤S4中的网络需要使用优化器来寻找模型的最优解，所述优化器选择为Adam优化器，其中的momentum设置为默认值0.9。

6.根据权利要求1所述的一种基于深度学习的掩埋物体红外图像的目标检测方法，其特征在于：所述步骤S4中调参的具体操作为：通过模型在验证集上的结果以及损失函数的变化对训练参数进行调整。

7.根据权利要求7所述的一种基于深度学习的掩埋物体红外图像的目标检测方法，其特征在于：所述损失函数选择为多分类任务中常用的NLLLoss和分割任务中的DiceLoss之和，两部分损失之和作为网络的损失函数。

8.根据权利要求1所述的一种基于深度学习的掩埋物体红外图像的目标检测方法，其特征在于：所述步骤S5中的测试指标为查准率Precision、查全率Recall。

9.根据权利要求9所述的一种基于深度学习的掩埋物体红外图像的目标检测方法，其特征在于：所述查准率Precision、查全率Recall的定义为：

其中：

TP表示：被判定为正样本，实际上也是正样本的；

FP表示：被判定为正样本但是实际上是负样本的；

FN表示：被判定为负样本但实际上是正样本的。

Images