CN114998605A - 一种恶劣成像条件下图像增强引导的目标检测方法 - Google Patents

Abstract

本发明提供一种恶劣成像条件下图像增强引导的目标检测方法，属于图像增强和计算机目标检测技术领域。所述方法包括：在现有的目标检测网络基础上，加入增强网络分支，将目标检测网络主干网络的头部卷积层特征图和增强网络分支增强后的图像分别都进行最大池化和平均池化后，计算目标检测网络和增强网络分支总的损失函数L；将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支，利用损失函数L对目标检测网络和增强网络分支进行训练；将恶劣成像条件下获取的待检测的图像输入训练好的目标检测网络，输出目标检测结果。采用本发明，能够在提高目标检测的精度的同时，不会增加额外的计算负担。

Description

一种恶劣成像条件下图像增强引导的目标检测方法

技术领域

本发明涉及图像增强和计算机目标检测技术领域，特别是指一种恶劣成像条件下图像增强引导的目标检测方法。

背景技术

对于恶劣成像条件下的图像的目标检测，大多数方法都是聚焦于先通过图像增强提升低质量图像的视觉效果，目的是产生视觉感官效果好的图像，然后对后者进行目标检测。但是已经有证据表明增强后的图像并不能在高维视觉任务比如目标检测方面带来检测精度的提升。(Xiao Y,Jiang A,Ye J,et al.Making of night vision:Object detectionunder low-illumination[J].IEEE Access,2020,8:123075-123086.)。所以如何提升恶劣条件下的下目标检测精度，是一个重要的问题，尤其是在水下恶劣条件下。近年来，随着科技和生产的发展，人工智能被广泛用于各大行业，水下机器人便是其高度集成化产品之一。水下机器人可以从事抓取捕捞、生态监测、应急救援及水下勘测等高难度工作。其关键技术在于水下环境感知能力。水下环境感知能力的关键是图像清晰化处理和目标检测，不同于陆地环境，水下环境复杂，且可见光在水下存在吸收和散射，容易造成水下采集到的图像或视频存在色偏、雾化、模糊和细节丢失等退化问题，严重影响目标物的检测精度。

目前比较流行的目标检测算法之一就是YOLOv3，它兼顾了速度和检测精度，在保持检测准确性的同时也能保证实时性的要求。但是直接将YOLOv3应用到水下目标检测领域，由于水下图像的成像质量较低，会大幅降低检测精度。Wang等人提出一个基于CNN的水下图像增强方法(Wang Y,Guo J,Gao H,et al.UIEC^2-Net:CNN-based underwater imageenhancement using two color space[J].Signal Processing:Image Communication,2021,96:116250.)，对其处理后的水下图像进行检测，并不能提升检测精度。Chen L等人提出了在高质量的空气中的图像上预训练好一个检测模型，以此引导增强模型将水下低质量图像生成有利于检测的图像(Chen L,Jiang Z,Tong L,et al.Perceptual underwaterimage enhancement with deep learning and physical priors[J].IEEE Transactionson Circuits and Systems for Video Technology,2020,31(8):3078-3092.)，但这使模型结构更加复杂，训练难度加大，增加了额外的计算负担。

发明内容

本发明实施例提供了一种恶劣成像条件下图像增强引导的目标检测方法，能够在提高目标检测的精度的同时，不会增加额外的计算负担。所述技术方案如下：

在现有的目标检测网络基础上，加入增强网络分支，将目标检测网络主干网络的头部卷积层特征图和增强网络分支增强后的图像分别都进行最大池化和平均池化后，计算目标检测网络和增强网络分支总的损失函数L；

将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支，利用损失函数L对目标检测网络和增强网络分支进行训练；

将恶劣成像条件下获取的待检测的图像输入训练好的目标检测网络，输出目标检测结果。

进一步地，头部卷积层由一个卷积核为3x3、步长是1、填充大小是1的卷积，一个批归一化处理层，一个RELU激活函数组成。

进一步地，增强网络分支E根据不同的恶劣成像条件选择不同的图像增强网络。

进一步地，所述在现有的目标检测网络基础上，加入增强网络分支，将目标检测网络主干网络的头部卷积层特征图和增强网络分支增强后的图像分别都进行最大池化和平均池化后，计算目标检测网络和增强网络分支总的损失函数L包括：

A1，利用现有的目标检测网络D主干网络的头部卷积层提取输入图像I的特征图F∈R^{BatchSize×H×W×32}，对提取的特征图F分别进行最大池化和平均池化，获得特征图F_m＝maxpooling(F)，F_m∈R^{BatchSize×H×W×1}和F_a＝avgpooling(F)，F_a∈R^{BatchSize×H×W×1}，将F_m和F_a在通道维度拼接在一起，得到特征图F_ma＝cat(F_a,F_m)，F_ma∈R^{BatchSize×H×W×2}，其中，I∈R^{BatchSize ×H×W×3}，H表示输入图像的高度，W表示输入图像的宽度，maxpooling(·)表示最大池化，avgpooling(·)表示平均池化，cat(·)表示连接操作，BatchSize为批大小，R表示数域；

A2，利用增强网络分支E对输入图像I进行处理，得到增强后的图像I′,其中，I′∈R^{BatchSize×H×W×3}；

A3，将增强后的图像I′分别进行最大池化和平均池化，获得特征图I′_m＝maxpooling(I′_m)，I′_m∈R^{BatchSize×H×W×1}和I′_a＝avgpooling(I′_m)，I′_a∈R^{BatchSize×H×W×1}，将I′_m和I′_a在通道维度拼接在一起，得到特征图I′_ma＝cat(I′_m,I′_a)，I′_ma∈R^{BatchSize×H×W×2}；

A4，计算特征图F_ma和I′_ma之间的均方误差损失，作为增强网络分支的损失函数L_enh；

A5，计算目标检测网络和增强网络分支总的损失函数L＝λL_enh+L_det，其中，λ表示平衡因子，用于调整增强网络分支的损失函数在总损失函数的所占比重；L_det是目标检测网络D的损失函数。

进一步地，增强网络分支的损失函数L_enh表示为：

其中，n为BatchSize。

进一步地，所述将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支，利用损失函数L对目标检测网络和增强网络分支进行训练包括：

预加载增强网络分支E的卷积层的权重参数，预加载目标检测网络D的卷积层的权重参数；

将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支，利用损失函数L对目标检测网络和增强网络分支进行训练；其中，训练过程中，E的参数保持不变，更新目标检测网络D的参数。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例中，通过在目标检测网络中，加入增强网络分支，监督目标检测网络学习到图像增强的信息，能够提高目标检测的精度，且利用训练好的目标检测网络检测目标时，不激活增强网络分支，因此，不会增加额外的计算负担。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的恶劣成像条件下图像增强引导的目标检测方法的流程示意图；

图2为本发明实施例提供的恶劣成像条件下图像增强引导的目标检测网络的结构示意图；

图3为未经修改的YOLOv3目标检测网络的检测结果示意图；

图4为本发明实施例提供的检测结果示意图；

图5为待检测图像的ground-truth示意图；

图6为本发明实施例提供的头部卷积层的热力图；

图7为Baseline的头部卷积层的热力图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1和图2所示，本发明实施例提供了一种恶劣成像条件下图像增强引导的目标检测方法，包括：

S101，在现有的目标检测网络基础上，加入增强网络分支，将目标检测网络主干网络的头部卷积层特征图和增强网络分支增强后的图像分别都进行最大池化和平均池化后，计算目标检测网络和增强网络分支总的损失函数L；具体可以包括以下步骤：

A1，利用现有的目标检测网络D主干网络的头部卷积层提取输入图像I的特征图F∈R^{BatchSize×H×W×32}，对提取的特征图F分别进行最大池化和平均池化，获得特征图F_m＝maxpooling(F)，F_m∈R^{BatchSize×H×W×1}和F_a＝avgpooling(F)，F_a∈R^{BatchSize×H×W×1}，将F_m和F_a在通道维度拼接在一起，得到特征图F_ma＝cat(F_a,F_m)，F_ma∈R^{BatchSize×H×W×2}，其中，I∈R^{BatchSize ×H×W×3}，H表示输入图像的高度，W表示输入图像的宽度，maxpooling(·)表示最大池化，avgpooling(·)表示平均池化，cat(·)表示连接操作，BatchSize为批大小，R表示数域；

本实施例中，目标检测网络D作为检测分支，目标检测网络D可以采用YOLOv3目标检测网络，如图2所示，头部卷积层与残差块构成了YOLOv3的主干网络，取出主干网络中不同卷积层的特征图输入到检测头中，进行检测分支的检测损失函数计算，与结果预测。

本实施例中，如图2所示，头部卷积层由一个卷积核为3x3、步长是1、填充大小(padding)是1的卷积，一个批归一化处理(BN)层，一个RELU激活函数组成。

本实施例中，输入图像I为恶劣成像条件下获取的图像。

A2，利用增强网络分支E对输入图像I进行处理，得到增强后的图像I′,其中，I′∈R^{BatchSize×H×W×3}；

本实施例中，增强网络分支E可以根据不同的恶劣成像条件选择不同的图像增强网络。例如，如果是水下的恶劣成像条件，增强网络分支可以选择UIEC^2-Net(Wang Y,GuoJ,Gao H,et al.UIEC^2-Net:CNN-based underwater image enhancement using twocolor space[J].Signal Processing:Image Communication,2021,96:116250.)针对水下图像的增强网络，这样，能够有效的去除因为水下光线散射与折射带来的色偏问题，从而产生清晰的图像；如果是低光照的恶劣成像条件，增强网络分支可以选择MIRNet(Zamir S W,Arora A,Khan S,et al.Learning enriched features for real image restorationand enhancement[C]//European Conference on Computer Vision.Springer,Cham,2020:492-511.)针对低光照的图像增强网络；如果是有雾的恶劣成像条件，增强网络分支可以选择GridDehazeNet(Liu X,Ma Y,Shi Z,et al.Griddehazenet:Attention-basedmulti-scale network for image dehazing[C]//Proceedings of the IEEE/CVFInternational Conference on Computer Vision.2019:7314-7323.)针对有雾的图像增强网络。

A3，将增强后的图像I′分别进行最大池化和平均池化，获得特征图I′_m＝maxpooling(I′_m)，I′_m∈R^{BatchSize×H×W×1}和I′_a＝avgpooling(I′_m)，I′_a∈R^{BatchSize×H×W×1}，将I′_m和I′_a在通道维度拼接在一起，得到特征图I′_ma＝cat(I′_m,I′_a)，I′_ma∈R^{BatchSize×H×W×2}；

A4，计算特征图F_ma和I′_ma之间的MSE(Mean Square Error，均方误差)损失，作为增强网络分支的损失函数L_enh；其中，增强网络分支的损失函数L_enh表示为：

其中，n为BatchSize；

A5，计算目标检测网络和增强网络分支总的损失函数L＝λL_enh+L_det，其中，λ表示平衡因子，用于调整增强网络分支的损失函数在总损失函数的所占比重，默认为0.5；L_det是目标检测网络D的损失函数。

本实施例中，目标检测网络D的损失函数L_det表示为：

其中，λ_coord表示预测框的损失权重，S²表示分割的网格的数量，B表示每个网络的候选框的数量，

表示第i个网格的第j个候选框是否负责预测这个目标，如果是，则

否则

(x_i,y_i)和

分别表示真值(ground truth)和预测的目标中心点的坐标，w_i和h_i表示ground truth的物体的宽和高，

和

表示预测的物体的宽和高，BCE()表示二值交叉熵损失函数，

c_i和

分别表示第i个网格中ground truth和预测的目标种类的置信度，λ_noobj表示没有目标时的损失权重，

表示在第i个网格的第j个候选框中，如果没有目标检测到则

否则

表示在第i个网格中有目标则

否则

C表示目标的种类数，P_i(c)和

分别表示第i个网格中属于第c类的ground truth和预测的可能性。在训练过程中λ_coord＝λ_noobj＝0.5。

S102，将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支，利用损失函数L对目标检测网络和增强网络分支进行训练；具体可以包括以下步骤：

预加载增强网络分支E的参数，预加载目标检测网络D的参数；

将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支，利用损失函数L对目标检测网络和增强网络分支进行训练；其中，训练过程中，E的卷积层的权重参数保持不变，更新目标检测网络D的卷积层的权重参数。

S103，将恶劣成像条件下获取的待检测的图像输入训练好的目标检测网络，输出目标检测结果。

本实施例中，利用训练好的目标检测网络检测待检测的图像中的目标时，不激活增强网络分支E，因此，不会带来额外的计算量。

本实施例中，使用pytorch深度学习框架实现所述恶劣成像条件下图像增强引导的目标检测方法的代码。在操作系统为Ubuntu 20.04，硬件为Intel Xeon Gold5218CPU@2.30GHz，128GB RAM，NVIDIA GeForce RTX 3090的服务器平台上进行部署。训练和测试的图像分辨率均为640X640。使用了带有Adam的优化器，初始学习率为0.001，BatchSize大小为4，训练的总周期数为30，在第28和第29个训练周期，以0.001的下降率调整学习率。

本实施例中，对改进后的YOLOv3目标检测网络与未修改的目标检测网络的检测结果进行对比。所用数据集是2021全国水下机器人大赛(线上赛)-水下光学目标检测产业应用赛项提供的数据集。一共8550张图片，随机选取6970张图片作为训练集，剩下的1580张图片作为测试集。目标的种类一共有四种，分别是海胆(echinus)，海参(holothurian)，海星(starfish)，扇贝(scallop)。测试的评价结果如表1所示。mAP(Mean Average Percision，均值平均精度)表示IoU(Intersection over Union，交并比)阈值从0.5到0.95，10个不同IoU阈值下的AP取平均值，AP0.5表示IoU阈值为0.5时的AP平均准确度，AP0.75表示IoU阈值为0.75时的AP平均准确度。Baseline表示未经过修改的YOLOv3目标检测网络训练得到的测试结果。可以看到，本实施例提供的方法比未经过修改的方法提高了3％的mAP。说明用图像增强网络进行监督训练，能够有效提高检测精度。未经修改YOLOv3目标检测网络的检测结果图如图3所示，本实施例的检测结果图如图4所示。检测图片的ground-truth如图5所示。

表1测试的评价结果

方法	mAP	AP0.5	AP0.75	Time
					Baseline	42.3	84.5	41.6	0.13s
本实施例	45.3	88.7	45.3	0.13s

表1中，time表示处理平均每张图片所用的时间。

本实施例中，分别将本实施例与Baseline网络结构中的头部卷积层的特征图F∈R^{BatchSize×H×W×32}转换成热力图，进行可视化。图6是本实施例的头部卷积层的热力图，图7是Baseline头部卷积层的热力图，可以清楚的看到相比于Baseline本实施例覆盖了更大的目标区域，这说明本发明能够使目标检测网络学习到更多的有效信息，从而提升检测精度。

本发明实施例所述的恶劣成像条件下图像增强引导的目标检测方法，通过在目标检测网络中，加入增强网络分支，监督目标检测网络学习到图像增强的信息，能够提高目标检测的精度，且利用训练好的目标检测网络检测目标时，不激活增强网络分支，因此，不会增加额外的计算负担。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种恶劣成像条件下图像增强引导的目标检测方法，其特征在于，包括：

在现有的目标检测网络基础上，加入增强网络分支，将目标检测网络主干网络的头部卷积层特征图和增强网络分支增强后的图像分别都进行最大池化和平均池化后，计算目标检测网络和增强网络分支总的损失函数L；

将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支，利用损失函数L对目标检测网络和增强网络分支进行训练；

将恶劣成像条件下获取的待检测的图像输入训练好的目标检测网络，输出目标检测结果。

2.根据权利要求1所述的恶劣成像条件下图像增强引导的目标检测方法，其特征在于，头部卷积层由一个卷积核为3x3、步长是1、填充大小是1的卷积，一个批归一化处理层，一个RELU激活函数组成。

3.根据权利要求1所述的恶劣成像条件下图像增强引导的目标检测方法，其特征在于，增强网络分支E根据不同的恶劣成像条件选择不同的图像增强网络。

4.根据权利要求1所述的恶劣成像条件下图像增强引导的目标检测方法，其特征在于，所述在现有的目标检测网络基础上，加入增强网络分支，将目标检测网络主干网络的头部卷积层特征图和增强网络分支增强后的图像分别都进行最大池化和平均池化后，计算目标检测网络和增强网络分支总的损失函数L包括：

A1，利用现有的目标检测网络D主干网络的头部卷积层提取输入图像I的特征图F∈R^{BatchSize×H×W×32}，对提取的特征图F分别进行最大池化和平均池化，获得特征图F_m＝maxpooling(F)，F_m∈R^{BatchSize×H×W×1}和F_a＝avgpooling(F)，F_a∈R^{BatchSize×H×W×1}，将F_m和F_a在通道维度拼接在一起，得到特征图F_ma＝cat(F_a,F_m)，F_ma∈R^{BatchSize×H×W×2}，其中，I∈R^{BatchSize ×H×W×3}，H表示输入图像的高度，W表示输入图像的宽度，max pooling(·)表示最大池化，avgpooling(·)表示平均池化，cat(·)表示连接操作，BatchSize为批大小，R表示数域；

A2，利用增强网络分支E对输入图像I进行处理，得到增强后的图像I′,其中，I′∈R^{BatchSize×H×W×3}；

A3，将增强后的图像I′分别进行最大池化和平均池化，获得特征图I′_m＝max pooling(I′_m)，I′_m∈R^{BatchSize×H×W×1}和I′_a＝avgpooling(I′_m)，I′_a∈R^{BatchSize×H×W×1}，将I′_m和I′_a在通道维度拼接在一起，得到特征图I′_ma＝cat(I′_m,I′_a)，I′_ma∈R^{BatchSize×H×W×2}；

A4，计算特征图F_ma和I′_ma之间的均方误差损失，作为增强网络分支的损失函数L_enh；

A5，计算目标检测网络和增强网络分支总的损失函数L＝λL_enh+L_det，其中，λ表示平衡因子，用于调整增强网络分支的损失函数在总损失函数的所占比重；L_det是目标检测网络D的损失函数。

5.根据权利要求4所述的恶劣成像条件下图像增强引导的目标检测方法，其特征在于，增强网络分支的损失函数L_enh表示为：

其中，n为BatchSize。

6.根据权利要求1所述的恶劣成像条件下图像增强引导的目标检测方法，其特征在于，所述将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支，利用损失函数L对目标检测网络和增强网络分支进行训练包括：

预加载增强网络分支E的参数，预加载目标检测网络D的参数；

将恶劣成像条件下获取的图像集分别输入目标检测网络和增强网络分支，利用损失函数L对目标检测网络和增强网络分支进行训练；其中，训练过程中，E的卷积层的权重参数保持不变，更新目标检测网络D的卷积层的权重参数。

Images