CN115171001A - 基于改进ssd的增强热红外图像上车辆检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于改进SSD的增强热红外图像上车辆检测方法及系统，利用红外热成像传感器摄像机采集并制作原始热红外图像据集；对原始数据集进行图像增强处理，得到增强热红外图像数据集；基于SSD改进并构建热红外图像上车辆检测网络ERSSD，对特征提取网络Stem block下采样模块进行替换，减少输入热红外图像的信息丢失；使用Stage模块替换特征提取网络部分中的残差模块，提高网络特征提取能力和特征表达能力；利用增强热红外数据集，训练ERSSD网络生成热红外车辆检测模型；使用热红外车辆检测模型进行实时车辆检测。本发明检测准确率高，检测速度快，图像增强有效的提升了热红外图像质量，可用于辅助驾驶系统和智能交通系统。

Description

基于改进SSD的增强热红外图像上车辆检测方法及系统

技术领域

本发明属于深度学习目标检测技术领域，涉及一种车辆检测方法及系统，具体涉及一种基于改进SSD深度学习目标检测网络的增强热红外图像上车辆检测方法及系统，可用于辅助驾驶系统和智能交通系统。

背景技术

深度学习目标检测广泛应用于智能交通系统、汽车辅助驾驶系统等计算机视觉应用。随着城市规模的不断扩大，车辆数量显着增加，人口密度也越来越高，深度学习车辆检测越来越重要。目前，可见光的车辆检测表现出色，但是对光照敏感，因此难以在夜间、逆光和弱光场景中提取车辆的清晰特征。与可见光不同，热红外成像是基于物体与其环境之间的温差，由于车辆类型与各个物体之间热量分布存在差异，热红外成像可以不受光照影响，抗干扰能力强、不易受恶劣环境影响的优点。相比于利用可见光进行车辆检测，热红外车辆检测更具有深入研究具有重要意义。

目标检测技术近年来得到了广泛的发展，由于深度卷积神经网络(CNN)在大规模训练数据集上具有强大的自动学习功能，CNN在目标检测领域取得了显著成绩。对于热红外图像上车辆检测研究方法，当车辆在道路上行驶时，发动机、轮胎、排气管和车灯都会产生大量热量。与交通环境相比，红外图像的这些区域具有明显的灰度特征和纹理特征等外观特征，可用于基于图像处理的车辆检测。目前基于深度学习的检测方法主要有两阶段和一阶段两种检测方法。以Fast R-CNN、Faster R-CNN、Mask R-CNN为代表的两阶段检测网络，一般检测精度都比较高。然而，基于区域提议的算法往往复杂度高，计算时间长。一阶段检测网络以YOLO系列和SSD为代表。放弃了区域提议生成过程，显着缩短了算法推理时间，可以端到端的方式得到最终的检测结果，从而使检测速度有了显着提高，检测精度相对低于二阶段，但实用性更强。

深度学习通过数据驱动的方法自主学习车辆特征并训练分类器，使车辆检测更加高效。在现有技术中，这些算法也被应用于热红外图像中的车辆检测，例如Faster R-CNN、SSD和YOLO等。Jing Gong等人，提出了一种基于YOLOv3-Tiny的热红外图像上车辆检测方法，对抗黑暗或强光以更好地提取热图像中的车辆特征，从而提高车辆检测精度。Chin-WeiChang等人，提出了一种改进的卷积网络模型，所提方法能够生成精巧的热图像，有利于网络模型更有效地学习。与可见光图像的高清晰度不同，由于红外传感器的局限性和不利的环境条件等因素，原始热红外图像通常具有低分辨率、噪声大、低对比度、缺乏结构(如形状和纹理信息)，从而降低了红外图像的质量，对后续的车辆检测额和主干网络特征提取带来了很大的挑战。由于图像质量复杂的热红外图像，仅仅针对算法的改进还不够，现有技术受限于低质量的热红外图像，因此影响目标检测精度。

发明内容

为了解决上述目标检测面临的问题，本发明提供了一种基于改进SSD深度学习目标检测网络的增强热红外图像上车辆检测方法及系统，旨在为降低热红外图像低质量对后续检测的影响，将热红外图像增强功能和深度学习框架相结合，以目标检测为主体和增强后的热图像作为输入的热红外图像上车辆检测方法。

本发明的方法所采用的技术方案是一种基于改进SSD的增强热红外图像上车辆检测方法，包括以下步骤：

步骤1：构建热红外图像上车辆检测网络ERSSD，负责提取行车辆轮廓特征包括车辆车身、轮胎特征；

所述热红外图像上车辆检测网络ERSSD，是基于深度学习目标检测网络SSD(特征提取网络为Resnet50)的改进版网络；

其中，对特征提取网络部分中的Stem block下采样模块进行替换；所述Stemblock下采样模块由一个7×7内核的卷积、stride＝2和一个3×3的最大池化、stride＝2组成；所述替换由一个3×3内核的卷积、stride＝2，两个3×3内核的卷积、stride＝1和一个3×3的最大池化、stride＝1组成的下采样模块进行代替；

使用Stage模块替换特征提取网络部分中的残差模块；所述的Stage使特征信息在不同的网络梯度中传播并拼接，由主干梯度和分支梯度组成；所述主干梯度由原始残差模块堆叠；所述的分支梯度有3×3的最大池化、stride＝2和1×1内核的卷积、stride＝1组成；主干梯度和分支梯度输出的特征维度长宽高一致，通过concat进行拼接；

步骤2：对步骤1得到的热红外车辆检测网络ERSSD进行训练，配置热红外车辆检测模型权重文件；

步骤3：将实时输入的热红外视频图像先经过图像增强处理，再输入到热红外车辆检测网络ERSSD，使用步骤2中的热红外车辆检测模型权重文件作为车辆检测网络权重对热红外视频数据进行实时车辆检测。

本发明的系统所采用的的技术方案是：一种基于改进SSD的增强热红外图像上车辆检测系统，包括以下模块：

模块1，用于构建热红外图像上车辆检测网络ERSSD，负责提取行车辆轮廓特征包括车辆车身、轮胎特征；

所述热红外图像上车辆检测网络ERSSD，是基于深度学习目标检测网络SSD(特征提取网络为Resnet50)的改进版网络；

其中，对特征提取网络部分中的Stem block下采样模块进行替换；所述Stemblock下采样模块由一个7×7内核的卷积、stride＝2和一个3×3的最大池化、stride＝2组成；所述替换由一个3×3内核的卷积、stride＝2，两个3×3内核的卷积、stride＝1和一个3×3的最大池化、stride＝1组成的下采样模块进行代替；

使用Stage模块替换特征提取网络部分中的残差模块；所述的Stage使特征信息在不同的网络梯度中传播并拼接，由主干梯度和分支梯度组成；所述主干梯度由原始残差模块堆叠；所述的分支梯度有3×3的最大池化、stride＝2和1×1内核的卷积、stride＝1组成；主干梯度和分支梯度输出的特征维度长宽高一致，通过concat进行拼接；

模块2，用于对模块1得到的热红外车辆检测网络ERSSD进行训练，配置热红外车辆检测模型权重文件；

模块3，用于将实时输入的热红外视频图像先经过图像增强处理，再输入到热红外车辆检测网络ERSSD，使用模块2中所述热红外车辆检测模型权重文件作为车辆检测网络权重对热红外视频数据进行实时车辆检测。

本发明的有益效果为：

(1)本发明将热红外图像增强功能和深度学习框架相结合，应用于在逆光、夜间无光、背景复杂和环境及气候恶劣等可见光无法应对的场景进行车辆检测，可以在辅助驾驶系统、智能交通系统等场景下，实现实时、精确、高效的车辆检测。

(2)本发明构建一种基于灰度直方图的引导滤波图像增强，将热红外图像作为引导图像，将热红外图像经过自适应分段拉伸变换的图像作为输入图像，引导滤波的输出图像为增强热红外图像，该图像增强自适应的增强热图像前景和背景的对比度，增强了非自热物体车辆在热红外图像上的细节纹理信息，以弥补其在热图像细节的弱点，并且有效的抑制了噪声。

(3)本发明适应低分辨率的热红外图像的目标检测，在特征提取网络里，对原始的Stem block进行替换，减少输入红外图像中的信息丢失减少；使用Stage模块替换特征提取网络部分中的残差模块，使特征信息在不同的网络梯度中传播并拼接，丰富了特征图信息，提高网络特征提取能力和特征表达能力。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例中改进的特征提取网络结构示意图；

图3为本发明实施例中热红外图像上车辆检测网络ERSSD结构示意图；

图4为本发明实施例中基于灰度直方图的图像增强流程示意图；

图5为本发明实施例中热红外图像增强前后对比效果图；

图6为本发明实施例中检测精度测试结果P-R曲线图；

图7为本发明实施例中热红外图像上车辆检测效果图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于改进SSD的增强热红外图像上车辆检测方法，包括以下步骤：

步骤1：构建热红外图像上车辆检测网络ERSSD；

本实施例是基于深度学习中的SSD网络模型框架，Resnet50作为特征提取网络来构建热红外车辆检测网络ERSSD，对特征提取网络中的车辆特征提取部分进行改进，获得改进版深度学习车辆检测模型(热红外车辆检测网络ERSSD)，其中改进后的热红外车辆检测网络ERSSD特征提取算法负责提取行车辆轮廓特征包括车辆车身、轮胎特征。

请见图2，替换后的Stem block下采样模块部分，对特征提取网络部分(Resnet50)中的Stem block下采样模块进行替换；所述Stem block下采样模块由一个7×7内核的卷积、stride＝2和一个3×3的最大池化、stride＝2组成；所述替换由一个3×3内核的卷积、stride＝2，两个3×3内核的卷积、stride＝1和一个3×3的最大池化、stride＝1组成的下采样模块进行代替。

请见图2，使用Stage模块替换特征提取网络部分中的残差模块；所述的Stage使特征信息在不同的网络梯度中传播并拼接，由主干梯度和分支梯度组成；所述主干梯度由原始残差模块堆叠；所述的分支梯度有3×3的最大池化、stride＝2和1×1内核的卷积、stride＝1组成；主干梯度和分支梯度输出的特征维度长宽高一致，通过concat进行拼接。

请见图3，为本实施例热红外车辆检测网络ERSSD结构示意图，由特征提取网络和额外特征层构成。改进版深度学习车辆检测模型选择不同分辨率的特征图来进行多尺度检测，由Stage2_4、Stage3_6、Conv4_2、Conv5_2、Conv6_2、Conv7_2组成的多尺度特征图。尺寸较大的浅层网络的特征图包含更多的细节，所以它负责小目标的检测。深度网络提取的特征图主要用于检测大目标，由于尺寸小，包含的信息较少。六个特征图对应的尺寸分别为38×38、19×19、10×10、5×5、3×3和1×1。改进版深度学习车辆检测模型在输入单张图像后，不同尺度和比例的默认框分布在多尺度特征图上，每个默认框都有位置偏移和目标类别概率信息，然后使用非最大抑制(Non-maximum suppression,NMS)去除冗余边界框，生成预测结果。

步骤2：对步骤1得到的热红外车辆检测网络ERSSD进行训练，配置热红外车辆检测模型权重文件；

具体包括以下子步骤：

步骤2.1：本实施例使用FLIR DUO Pro R红外热成像及可见光双传感器摄像机在不同视角和场景下采集热红外视频数据，将所述热红外视频数据解码成热红外图像，并制作成原始热红外图像数据集；再使用LabelImg软件将热红外图像数据中车辆目标的位置信息、车辆尺寸信息和车辆类别信息进行影像标注储存到xml标签文件，其中车辆类别信息依据车辆轮廓信息和尺寸信息作为分类依据；标注完成后，得到原始热红外图像数据集对应的标签数据集；

本发明实施例使用FLIR DUO Pro R红外热成像及可见光双传感器摄像机，其基本参数为：非制冷氧化钒(VOx)焦平面探测器，分辨率640×512，像素间距17μm，波长范围7.5～13.5μm，输出MOV格式视频。红外线可以捕获物体本身发出的热量，可用于多场景车辆识别。

步骤2.2：对原始热红外图像数据集进行图像增强处理，得到增强热红外图像数据集；所述的增强热红外图像数据集，由热红外图像数据集通过图像增强生成的，两个数据集保持相同的标签数据集；

本实施例中，利用一种图像增强方法是基于引导滤波过程搭建了一种基于自适应分段拉伸的引导滤波过程，引导滤波过程图像增强包括引导图像、输入图像和输出图像，其中将热红外图像作为引导图像，将热红外图像经过自适应分段拉伸变换的图像作为输入图像；引导滤波的输出图像为增强热红外图像。

本实施例中，自适应分段拉伸变换依据下式(1)所示的函数对热红外图像数据每个灰度值进行变换；

其中，F_i表示输入图像像素灰度值，F_r表示经过拉伸后输出图像像素灰度值，I_min是占比n最小灰度值里的最小值，I_max是占比n最大灰度值里的最小值，n为压缩因子；

本实施例中，引导滤波通过引导图像对输入图像进行滤波处理，引导滤波在像素i处的滤波输出表示为加权平均值，公式(2)所示；引导滤波内核W_ij(G)，公式(3)所示；

qi＝∑_jW_ij(G)p_j (2)

其中，i和j分别表示图像像素的索引，G是引导图像，p是输入图像，q是输出图像，w_ij(G)是引导滤波内核，是引导图像I的函数，与p无关。

其中参数ω_k表示第k个核函数窗口，窗口的半径是r，|ω|是窗口中的像素数，μ_k和σ_k ²是窗口中引导图的均值和方差，ε是平滑因子。

本实施例选择引导过滤参数ε＝0.1²，r＝2。

请见图4所示，本实施例图像增强流程示意图，(a)热红外图像；(b)输入图像I；(c)自适应分段拉伸后的图像为输入图像p；(d)引导图像G；(c)滤波输出图想为增强图像q。首先，利用将原始热红外图像作为输入图像和引导图像输入到引导滤波。其次，本实施例将输入图像I进行图像灰度值拉伸，拉伸后的输入图像如图4(c)所示图像p。输入图像I灰度值拉伸过程的目的是增强目标与背景的对比度，拉伸像素比例高的灰度，压缩像素比例低的灰度，逐段变换图像伸展。输入图像I的像素被映射到[0,255]区间。本实施例中，使用的是自适应分段拉伸公式如(1)所示，将灰度压缩因子设置为n＝5％的大小。将自适应分段拉伸后的图像p作为输入，引导图像G为热红外图像，热红外图像的细节结构信息会合并到输出图像。引导滤波的目的是，在消除噪声和杂波的同时，也保留和增强了细节信息。

步骤2.3：将增强热红外图像数据集按照预定比例分配为训练数据集和测试数据集；将训练数据集输入到热红外车辆检测网络ERSSD中，进行训练；训练过程中，每进行一轮次迭代生成并保存一个目标检测权重文件，直至网络达到收敛状态停止训练；使用热红外车辆检测网络ERSSD训练过程中生成的热红外车辆检测权重文件对测试数据集中所有增强热红外图像进行车辆检测，检测得到测试数据集中的所有车辆信息并保存，根据检测结果与对应标签数据集中真实车辆信息进行比对计算得到检测精度，选取测试精度最高的权重文件作为热红外车辆检测模型权重文件。

步骤3：将实时输入的热红外视频图像先经过图像增强，再输入到热红外车辆检测网络ERSSD，使用热红外车辆检测模型权重文件作为车辆检测网络权重对热红外视频数据进行实时车辆检测。

本实施例中，根据检测结果与对应标签数据集中真实车辆信息进行比对计算得到检测精度，包括查准率P、召回率R、平均准确率均值mAP和每秒检测帧率FPS；

其中，TP表示测试数据集中所有热红外图像上正确检测出的车辆数量，FP表示测试数据集中所有热红外图像上误检出的车辆数量，FN表示测试数据集中所有热红外图像上没有检测出的车辆数量；公式(6)中P表示查准率，R表示召回率。

本实施例，热红外车辆检测网络ERSSD使用、目标检测权重文件作为车辆检测的权重，对热红外视频数据中的车辆进行分类和回归，并将分类和回归的车辆信息以标注框的形式标注在视频数据中，将检测后的视频数据输出获得最终车辆检测结果。

以下通过具体实现对本实施例的效果做进一步阐述。

本实施例选用的软件环境：buntu18.04操作系统，GPU加速软件CUDA11.1和CUDNN8.2，Pytorch深度学习框架，编程语言为Python；硬件环境：处理器为Intel Core i9-10900K，显卡为NVIDIA GeForce RTX 3070。

本实施例通过图像熵(H _e)和结构相似性指数(SSIM)对增强后的热红外图像进行定量评价，分别使用公式(7)和公式(8)；

其中L是图像中灰度级的总数，p_i表示第i个灰度级出现的频率；SSIM_X,F表示源图像X与增强后的图像F之间的结构相似度，x和f分别表示滑动窗口中的源图像和增强后的图像块，σ_xf表示原图像和增强后图像的协方差，σ_x和σ_f分别表示原图像和增强后图像的标准差；并且μ_x和μ_f分别表示原图像和增强后图像的平均值，C1，C2和C3是常数。

见图5所示，图像增强前后对比，其中(a)原始热红外图像；(b)增强热红外图像。通过实验分析该图像增强的处理性能，进行定量评价，首先，本实施例使用一维图像熵来比较原始热红外图像(a)和增强热红外图像(b)的细节，通过结构相似性SSIM这一个全参考图像质量评价指标，结合亮度、对比度和结构来衡量图像相似度，对比数据增强前后的结构相似度。计算原始热图像数据集和增强热图像数据集的一维熵和结构相似度。如表1所示，增强评价，增强后的热红外图像产生了更高的熵值和更多的图像信息，并且结构相似度趋近于1，在经过引导滤波去除噪声的基础上结构还高度一致，所构建的图像增强算法，有效的提升了热红外图像质量。

表1增强评价

本实施例在热图像增强前后构建了一组数据集用于训练和测试，在热红外车辆检测网络ERSSD上使用了2组数据集进行对比实验，原始热红外数据集和增强热红外数据集，如表2所示，热像增强前后车辆目标检测性能参数对比，结果表明热红外车辆检测网络ERSSD更容易检测到图像增强后的热红外图像，相比原始热红外数据集提高评价参数2.59％。上述结果表明，本发明构建的热图像增强后的图像更容易被深热红外车辆检测网络ERSSD识别，可为热红外图像上的车辆检测提供可靠信息。

如表2热像增强前后车辆目标检测性能参数对比

数据集	精确率P(％)	召回率R(％)	AP(％)
				原始热红外数据集	93.39	87.61	89.12
增强热红外数据集	95.02	89.61	91.71

本实施例利用的一种图像增强方法是基于自适应分段拉伸的引导滤波过程，将热红外图像作为引导图像，将热红外图像经过自适应分段拉伸变换的图像作为输入图像，引导滤波的输出图像为增强热红外图像，自适应的增强热图像前景和背景的对比度，增强了非自热物体车辆在热红外图像上的细节纹理信息，以弥补其在热图像细节的弱点，并且有效的抑制了噪声。

本实施例将步骤2.2中制作的增强热红外数据集按照8:2的比例分配为训练数据集和测试数据集，根据改进深度学习目标检测网络SSD，获得改进版热红外车辆检测网络ERSSD，使用训练数据集对改进版热红外车辆检测网络ERSSD进行训练，训练过程中初始学习率设置为0.001，动量设置为0.9，图像输入像素值尺寸为300×300，以8幅图像作为一个批次进行小批量训练，直至训练数据集中所有图像训练一次完成一轮次迭代，共对热红外车辆检测网络ERSSD进行300轮次迭代，每完成一轮次迭代生成并保存一个目标检测权重文件，目标检测权重文件用于改进版深度学习车辆检测模型测试。

本实施例为了验证热红外车辆检测网络ERSSD检测热红外图像上车辆的可靠性和鲁棒性，将其与SSD和FasterR-CNN通过定量分析和定性分析进行了比较。本实施例使用相同的实验参数和在增强热红外图像数据集上，通过使用准确率、召回率和平均准确率3个指标，将所搭建的热红外车辆检测网络ERSSD与Faster R-CNN和SSD模型进行了比较。定量分析数据分析结果如表3所示，FasterR-CNN由于为双阶段检测网络，检测精度较高为91.49％，但是检测速度比较慢，FPS只有17，实时性效果不强；SSD网络的检测精度为83.62％，检测速度相对FasterR-CNN更快；本实施例搭建的ERSSD的精度达到了91.71％，检测速度FPS为46，相对于原始SSD和FasterR-CNN从精度上得到了保证的同时，速度上也有很大的提升。

表3不同方法检测参数的比较

见图6，绘制ERSSD、SSD和FasterR-CNN模型的precision-recall(PR)曲线，对3种算法进行定性分析。P-R曲线分别使用召回率和精度作为横坐标和纵坐标，是衡量检测算法性能的常用曲线。当精度高时，相应的召回率低。当精度值很高时，误检的概率很低。当召回率很高时，漏检的概率很低。改进后的P-R曲线和两个坐标轴所包围的面积比另外两种模型的大，反映了热红外车辆检测网络ERSSD在平均检测精度上具有明显优势。搭建的热红外车辆检测网络ERSSD将替换了Stemblock，构建了Stage模块，使梯度信息在不同的网络路径中传播并融合，提高网络特征提取能力和特征表达能力。在整体检测速度方面，ERSSD比SSD更快。

见图7，改进版热红外车辆检测模型在热红外图像上车辆检测效果图，由检测结果可知，检测精度较高且未出现误检和漏检等现象。

本实施例将改进版深度学习车辆检测模型(热红外车辆检测网络ERSSD)嵌入到英伟达或树莓派等嵌入式开发系统中。在嵌入式开发系统中，热红外车辆检测模型ERSSD使用模型权重文件对设备实时采集的热红外视频数据进行实时车辆检测，检测过程中将实时采集的热红外视频解码成视频帧图像，再进行基于自适应分段拉伸的引导滤波图像增强后输入到热红外车辆检测模型；检测模型使用步骤2.3中的热红外车辆权重文件作为车辆检测的权重，对热红外视频数据中的车辆进行分类和回归，并将分类和回归的车辆信息以标注框的形式标注在视频数据中，将检测后的视频数据输出获得最终车辆检测结果。

本发明检测准确率高，检测速度快，图像增强方法有效的提升了热红外图像质量。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于改进SSD的增强热红外图像上车辆检测方法，其特征在于，包括以下步骤：

步骤1：构建热红外图像上车辆检测网络ERSSD，负责提取行车辆轮廓特征包括车辆车身、轮胎特征；

所述热红外图像上车辆检测网络ERSSD，是基于深度学习目标检测网络SSD的改进版网络；

其中，对特征提取网络部分中的Stem block下采样模块进行替换；所述Stem block下采样模块由一个7×7内核的卷积、stride＝2和一个3×3的最大池化、stride＝2组成；所述替换由一个3×3内核的卷积、stride＝2，两个3×3内核的卷积、stride＝1和一个3×3的最大池化、stride＝1组成的下采样模块进行代替；

使用Stage模块替换特征提取网络部分中的残差模块；所述的Stage使特征信息在不同的网络梯度中传播并拼接，由主干梯度和分支梯度组成；所述主干梯度由原始残差模块堆叠；所述的分支梯度有3×3的最大池化、stride＝2和1×1内核的卷积、stride＝1组成；主干梯度和分支梯度输出的特征维度长宽高一致，通过concat进行拼接；

步骤2：对步骤1得到的热红外车辆检测网络ERSSD进行训练，配置热红外车辆检测模型权重文件；

步骤3：将实时输入的热红外视频图像先经过图像增强处理，再输入到热红外车辆检测网络ERSSD，使用步骤2中的热红外车辆检测模型权重文件作为车辆检测网络权重对热红外视频数据进行实时车辆检测。

2.根据权利要求1所述的基于改进SSD的增强热红外图像上车辆检测方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：使用红外热成像及可见光双传感器摄像机机在不同视角和场景下采集热红外视频数据，将所述热红外视频数据解码成热红外图像，并制作成原始热红外图像数据集，再将所述热红外图像数据中车辆目标的位置信息、车辆尺寸信息和车辆类别信息进行影像标注储存到标签文件，其中所述车辆类别信息依据车辆轮廓信息和尺寸信息作为分类依据；标注完成后，得到原始热红外图像数据集对应的标签数据集；

步骤2.2：对原始热红外图像数据集进行图像增强处理，得到增强热红外图像数据集；所述的增强热红外图像数据集，由热红外图像数据集通过图像增强生成的，两个数据集保持相同的标签数据集；

步骤2.3：将增强热红外图像数据集按照预定比例分配为训练数据集和测试数据集；将训练数据集输入到热红外车辆检测网络ERSSD中，进行ERSSD模型训练；训练过程中，每进行一轮次迭代生成并保存一个目标检测权重文件，直至网络达到收敛状态停止训练；配置得到热红外车辆检测模型权重文件。

3.根据权利要求1所述的基于改进SSD的增强热红外图像上车辆检测方法，其特征在于：步骤3中所述图像增强处理，是基于自适应分段拉伸变换的引导滤波过程，所述引导滤波过程图像增强包括引导图像、输入图像和输出图像，其中将热红外图像作为引导图像，将热红外图像经过自适应分段拉伸变换的图像作为输入图像；引导滤波的输出图像为增强热红外图像。

4.根据权利要求3所述的基于改进SSD的增强热红外图像上车辆检测方法，其特征在于：所述自适应分段拉伸变换，是依据下式(1)所示的函数对热红外图像数据每个灰度值进行变换；

其中，F_i表示输入图像像素灰度值，F_r表示经过拉伸后输出图像像素灰度值，I_min是占比n最小灰度值里的最小值，I_max是占比n最大灰度值里的最小值，n为压缩因子；

所述引导滤波通过引导图像对输入图像进行滤波处理，引导滤波在像素i处的滤波输出表示为加权平均值，公式(2)所示；

q_i＝∑_jW_ij(G)p_j (2)

其中，i和j分别表示图像像素的索引，G是引导图像，p是输入图像，q是输出图像，w_ij(G)是引导滤波内核，是引导图像I的函数，与p无关；

引导滤波内核W_ij(G)，公式(3)所示；

其中，参数ω_k表示第k个核函数窗口，窗口的半径是r，|ω|是窗口中的像素数，μ_k和σ_k ²是窗口中引导图的均值和方差，ε是平滑因子。

5.根据权利要求3所述的基于改进SSD的增强热红外图像上车辆检测方法，其特征在于：步骤2.3中热红外车辆检测权重，其获取过程是：使用热红外车辆检测网络ERSSD训练过程中生成的车辆检测权重文件对增强热红外图像测试数据集中所有增强热红外图像进行车辆检测，检测得到测试数据集中的所有车辆信息并保存，根据检测结果与对应标签数据集中真实车辆信息进行比对计算得到检测精度，选取测试精度最高的车辆检测权重文件作为热红外车辆检测网络ERSSD权重文件。

6.根据权利要求3所述的基于改进SSD的增强热红外图像上车辆检测方法，其特征在于：根据检测结果与对应标签数据集中真实车辆信息进行比对计算得到检测精度，包括查准率P、召回率R、准确率AP和每秒检测帧率FPS；

其中，TP表示测试数据集中所有热红外图像上正确检测出的车辆数量，FP表示测试数据集中所有热红外图像上误检出的车辆数量，FN表示测试数据集中所有热红外图像上没有检测出的车辆数量；公式(6)中P表示查准率，R表示召回率。

7.根据权利要求1-6任意一项所述的基于改进SSD的增强热红外图像上车辆检测方法，其特征在于：步骤3中热红外车辆检测网络ERSSD使用目标检测权重文件作为车辆检测的权重，对热红外视频数据中的车辆进行分类和回归，并将分类和回归的车辆信息以标注框的形式标注在视频数据中，将检测后的视频数据输出获得最终车辆检测结果。

8.一种基于改进SSD的增强热红外图像上车辆检测系统，其特征在于，包括以下模块：

模块1，用于构建热红外图像上车辆检测网络ERSSD，负责提取行车辆轮廓特征包括车辆车身、轮胎特征；

所述热红外图像上车辆检测网络ERSSD，是基于深度学习目标检测网络SSD的改进版网络；

其中，对特征提取网络部分中的Stem block下采样模块进行替换；所述Stem block下采样模块由一个7×7内核的卷积、stride＝2和一个3×3的最大池化、stride＝2组成；所述替换由一个3×3内核的卷积、stride＝2，两个3×3内核的卷积、stride＝1和一个3×3的最大池化、stride＝1组成的下采样模块进行代替；

使用Stage模块替换特征提取网络部分中的残差模块；所述的Stage使特征信息在不同的网络梯度中传播并拼接，由主干梯度和分支梯度组成；所述主干梯度由原始残差模块堆叠；所述的分支梯度有3×3的最大池化、stride＝2和1×1内核的卷积、stride＝1组成；主干梯度和分支梯度输出的特征维度长宽高一致，通过concat进行拼接；

模块2，用于对模块1得到的热红外车辆检测网络ERSSD进行训练，配置热红外车辆检测模型权重文件；

模块3，用于将实时输入的热红外视频图像先经过图像增强处理，再输入到热红外车辆检测网络ERSSD，使用模块2中所述热红外车辆检测模型权重文件作为车辆检测网络权重对热红外视频数据进行实时车辆检测。

Images