CN115731436B - 基于深度学习融合模型的高速公路车辆图像检索方法 - Google Patents

Abstract

本发明公开了一种基于深度学习融合模型的高速公路车辆图像检索方法，包括如下步骤：S1、采用基于Faster‑RCNN的目标检测切割模型构建车辆检索图像数据集；S2、采用DenseNet121、ResNet50与VGG16网络作为检索网络，构建多种不同的基于单特征多网络融合深度学习模型车辆图像检索模型与多网络多特征融合深度学习模型车辆图像检索模型进行图像检索；S3、构建基于深度学习融合模型的实验结果评价指标，分别对基于深度学习融合模型的高速公路车辆图像检索方法的检索精确度与检索时效性进行评估。本发明构建的模型性能优于单网络模型，在高速公路场景中检索正确率均高于97％，且平均检索时间并未明显增加。

Description

基于深度学习融合模型的高速公路车辆图像检索方法

技术领域

本发明涉及智慧高速研究领域，可应用于交通执法系统、车辆检测系统、高速公路智慧收费系统等多种应用场景，具体涉及一种基于深度学习融合模型的高速公路车辆图像检索方法。

背景技术

目前，高速公路不停车收费系统中，车辆身份识别和车辆信息感知功能的实现主要依赖于对车载OBU单元所记录信息的读取。车载OBU单元通过其内置的IC卡读卡接口，实现对车辆号牌、品牌、收付款账户等信息的读取，并通过蓝牙通信模组同ETC收费单元之间进行无接触识别。但基于车载OBU读取IC卡信息的车辆识别方法在实际应用中也存在一定缺点，例如车载OBU单元IC卡接触不良、车载OBU单元同识别设施识别错误、车载OBU单元同识别设施间通信超时、驾驶员伪造变造车载IC卡等情况都会导致依靠车载OBU读取IC卡信息的车辆识别方法无法实现对车辆的识别和对车辆信息的读取，最终导致ETC车道过车率的降低。在车辆信息自动识别失败的情况下，目前常用的处理方法是引导车辆由ETC车道转入人工收费车道进行人工车辆信息稽查，这种处理方法需要已进入ETC车道的车辆驶离ETC车道后重新进入人工收费车道，造成高速公路出入口处的逆向交通流，对高速公路出入口处的交通安全和交通畅通程度造成较大影响。

随着智能交通与公路智能管理的建设与推广，车辆身份自动识别与车辆信息自动感知技术成为了智能交通建设的重要一环，目前主要采用的基于车载OBU读取IC卡信息的高速公路车辆识别方法存在识别率低、故障率高、对套牌假牌识别效果差等亟待解决的缺点。因此，本发明设计了一种以车辆图像特征匹配为主要检索依据的高速公路场景中车辆检索方法，可以起到对车辆的多重识别、提高识别精度、降低识别错误率的作用。

发明内容

本发明的目的在于利用基于深度学习的图像检索方法有效地实现车辆身份自动识别与车辆信息自动感知，提供了一种基于深度学习融合模型的高速公路车辆图像检索方法。

本发明采用的技术方案为：一种深度学习融合模型的高速公路车辆图像检索方法。包括以下步骤：

S1、采用高速公路监控相机获取高速公路场景图像，对高速公路场景图像采用基于Faster-RCNN的车辆检测模型，将检测到的整车区域及车辆部件区域进行切割保存，以构建包含整车图像区域及车辆部件区域的车辆检索图像数据集；

S2、采用DenseNet121、ResNet50与VGG16网络作为检索网络，构建多种不同的基于单特征多网络融合深度学习模型车辆图像检索模型与多网络多特征融合深度学习模型车辆图像检索模型进行图像检索；

S3、构建基于深度学习融合模型的实验结果评价指标，分别对基于深度学习融合模型的高速公路车辆图像检索方法的检索精确度与检索时效性进行评估。

作为优选，所述S1中，车辆检索图像数据集构建的具体步骤为：

S11、收集高速公路辆图像5201幅，采用Labelme软件进行标注，标注内容包括整车图像位置、车辆部件位置及其对应的车辆类型，车辆类型包含“car”、“bus”、“van”、“truck”、“minitruck”和“other”6种；

S12、将图像数据集转化为PascalVOC格式，按照80％为训练集、20％为验证集的比例划分车辆检测图像训练集与验证集；

S13、将车辆检测图像训练集与验证集输入Faster-RCNN的车辆检测模型进行模型训练；

S14：收集待切割的原始高速公路场景图像86124幅，包含“car”、“bus”、“van”、“truck”、“minitruck”、“other”6种车辆类型，以及白天、夜晚、黄昏、清晨等多种光照场景；

S15、采用训练好的Faster-RCNN的车辆检测模型将每张原始图像分别切割出相对应的整车图像、车脸图像、车牌图像和车窗图像；

S16：在完成整车图像、车脸图像、车牌图像和车窗图像的检测和切割后，对切割完成的图像进行进一步筛查，剔除其中存在重复检测、部分切割、错误切割等问题的图像，将经筛查后的图像构建为车辆图像检索样本集；

S17：从车辆图像检索样本集中，在整车图像数据集、车脸图像数据集、车窗图像数据集、车牌图像数据集四个数据集中均存在对应车辆的图像中于每个数据集各选取9859张图像。为了模拟实际高速公路场景中采集到的车辆图像因光照条件、极端天气与车辆污损等因素造成的亮度较暗、图像对比度较低等特点，通过LIGHTROOM软件对这些图像的亮度和对比度进行调整，将整车图像和车脸图像的曝光度调整为-0.5，对比度设置为-35；将测试集中整车图像和车脸图像的曝光度调整为-0.35，对比度设置为-20。将经预处理后的9859张图像构建为车辆图像检索测试集。

所述S11中“car”、“bus”、“van”、“truck”、“minitruck”和“other”6种车辆类型的车辆图像数量分别为2083幅、1198幅、1250幅、392幅、180幅和98幅。

所述S15中切割完成的整车图像数据集、车脸图像数据集、车窗图像数据集和车牌图像数据集的车辆图像数量分别为86124幅、78514幅、85029幅和74513幅。

作为优选，所述S1中，采用高速公路监控相机获取高速公路场景图像，对高速公路场景图像采用基于Faster-RCNN的车辆检测模型进行图像检测与切割，对于Faster-RCNN模型，采用VGG16网络结构，其在结构上共包括1个输入层、13个卷积层、5个最大池化层、3个全连接层和1个Soft-Max输出层，在模型训练时，首先读取VGG16预训练的模型权重，在模型训练过程中，设置模型训练迭代次数为40000次，batch size为256，采用momentum优化算法，并将动量超参数设置为0.9来保证损失函数的平滑下降，在模型的训练过程中，对网络各层相关参数进行同步更新，最终获得训练在车辆检测模型训练集上的基于Faster-RCNN的车辆检测VGG16网络模型。

作为优选，S2中将DenseNet121、ResNet50与VGG16网络分别作为主检索网络与副检索网络，将车窗特征与车牌特征分别作为主图像特征与副图像特征，构建多种不同的基于单特征多网络融合深度学习模型车辆图像检索模型进行图像检索；

将DenseNet121、ResNet50与VGG16网络分别作为主检索网络与副检索网络，将车窗特征、车牌特征与车牌特征分别作为主图像特征与副图像特征进行图像检索，构建多种不同的基于多网络多特征融合深度学习模型车辆图像检索模型进行图像检索；

采用单特征多网络融合检索模型，在整车图像测试集、车脸图像测试集、车窗图像测试集和车牌图像测试集四个测试集上分别进行车辆检索实验；

采用多特征多网络融合检索模型，在其对应的主检索特征测试集上进行车辆检索实验；

作为优选，所述S2中，构建基于单特征多网络融合深度学习模型车辆图像检索模型，以ResNet50网络为主网络、DenseNet121网络为副网络的单特征双网络车辆检索融合网络的模型结构为例，具体构建步骤如下：

S21构建检索模型主检索模块：

主检索模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入主检索模块后，主检索模块首先利用ResNet50深度残差神经网络对车辆检索图像样本集中的图像进行逐一特征提取，对提取后的车辆图像特征以1×1×1000大小图像特征图的格式保存在dataset1，将该图像对应的车辆图像路径保存在dataset2中，两个dataset作为两列元素共同构成1个enumerate，并将该enumerate保存在一个h5文件中，随后当车辆检索图像测试集中待检索图像输入主检索模块，由ResNet50深度残差神经网络对该图像进行图像特征提取，提取好的特征为1×1×1000大小图像特征图的格式，随后将该车辆图像的图像特征图在enumerate中进行图像特征相似度匹配，计算该张图像与车辆检索图像样本集中其余图像的图像特征相似度的欧氏距离进行逐一计算，并按欧氏距离大小进行排序，将图像特征相似度排首位的图像路径及其与目标图像的图像特征相似度输出至检索结果判定模块。

S22构建检索模型副检索模块：

副检索模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入副检索模块后，副检索模块首先利用DenseNet121深度残差神经网络对车辆检索图像样本集中的图像进行逐一特征提取，对提取后的车辆图像特征以1×1×1000大小图像特征图的格式保存在dataset1，将该图像对应的车辆图像路径保存在dataset2中，两个dataset作为两列元素共同构成1个enumerate，并将该enumerate保存在一个h5文件中，随后当车辆检索图像测试集中待检索图像输入副检索模块，由DenseNet121深度神经网络对该图像进行图像特征提取，提取好的特征为1×1×1000大小图像特征图的格式，随后将该车辆图像的图像特征图在enumerate中进行图像特征相似度匹配，计算该张图像与车辆检索图像样本集中其余图像的图像特征相似度的欧氏距离进行逐一计算，并按欧氏距离大小进行排序，将图像特征相似度排首位的图像路径及其与目标图像的图像特征相似度输出至检索结果判定模块。

S23构建检索模型判定模块：

检索结果判定模块首先对车辆检索融合模型的车辆图像特征相似度阈值进行设定，随后将主检索模块输出的车辆图像特征相似度同检索阈值进行比较，若主检索模块车辆图像特征相似度大于检索阈值，则输出对应图像和特征相似度作为车辆图像检索结果；若主检索模块车辆图像特征相似度小于检索阈值，则启动副检索模块进行检索，若副检索模块车辆图像特征相似度大于检索阈值，则输出对应图像和特征相似度作为车辆图像检索结果；若副检索模块车辆图像特征相似度小于检索阈值，则模型输出结果为“未检索到对应车辆”。

作为优选，所述S2中，构建基于单特征多网络融合深度学习模型车辆图像检索模型，基于ResNet50、DenseNet121与VGG16网络的单特征三网络车辆检索融合模型的模型的具体构建步骤如下：

S201构建基于ResNet50网络的子检索模块：

该模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入基于ResNet50网络的子检索模块后，首先利用ResNet50深度残差神经网络对车辆检索图像样本集中的图像进行逐一特征提取，对提取后的车辆图像特征以1×1×1000大小图像特征图的格式保存在dataset1，将该图像对应的车辆图像路径保存在dataset2中，两个dataset作为两列元素共同构成1个enumerate，并将该enumerate保存在一个h5文件中，随后输入车辆检索图像测试集中待检索图像，由ResNet50深度残差神经网络对该图像进行图像特征提取，提取好的特征为1×1×1000大小图像特征图的格式，随后将该车辆图像的图像特征图在enumerate中进行图像特征相似度匹配，计算该张图像与车辆检索图像样本集中其余图像的图像特征相似度的欧氏距离进行逐一计算，并按欧氏距离大小进行排序，将图像特征相似度排首位的图像路径及其与目标图像的图像特征相似度输出至检索结果判定模块。

S202构建基于DenseNet121网络的子检索模块：

该模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入基于DenseNet121网络的子检索模块后，首先利用DenseNet121深度神经网络对车辆检索图像样本集中的图像进行逐一特征提取，对提取后的车辆图像特征以1×1×1000大小图像特征图的格式保存在dataset1，将该图像对应的车辆图像路径保存在dataset2中，两个dataset作为两列元素共同构成1个enumerate，并将该enumerate保存在一个h5文件中，随后输入车辆检索图像测试集中待检索图像，由DenseNet121深度残差神经网络对该图像进行图像特征提取，提取好的特征为1×1×1000大小图像特征图的格式，随后将该车辆图像的图像特征图在enumerate中进行图像特征相似度匹配，计算该张图像与车辆检索图像样本集中其余图像的图像特征相似度的欧氏距离进行逐一计算，并按欧氏距离大小进行排序，将图像特征相似度排首位的图像路径及其与目标图像的图像特征相似度输出至检索结果判定模块。

S203构建基于VGG16网络的子检索模块：

该模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入基于VGG16网络的子检索模块，首先利用VGG16卷积神经网络对车辆检索图像样本集中的图像进行逐一特征提取，对提取后的车辆图像特征以1×1×1000大小图像特征图的格式保存在dataset1，将该图像对应的车辆图像路径保存在dataset2中，两个dataset作为两列元素共同构成1个enumerate，并将该enumerate保存在一个h5文件中，随后输入车辆检索图像测试集中待检索图像，由VGG16网络对该图像进行图像特征提取，提取好的特征为1×1×1000大小图像特征图的格式，随后将该车辆图像的图像特征图在enumerate中进行图像特征相似度匹配，计算该张图像与车辆检索图像样本集中其余图像的图像特征相似度的欧氏距离进行逐一计算，并按欧氏距离大小进行排序，将图像特征相似度排首位的图像路径及其与目标图像的图像特征相似度输出至检索结果判定模块。

S204构建检索结果判定模块：

检索结果判定模块首先判定输出同一张车辆图像的子检索网络数量是否超过投票阈值，若不超过投票阈值，则输出“未检索到对应车辆”，若超过投票阈值，则按所设定的权重对三个子网络各自的车辆图像相似度进行加权计算，将车辆图像相似度的加权平均值同检索阈值进行比较，若加权车辆图像特征相似度大于检索阈值，则输出车辆图像检索结果；加权车辆图像特征相似度小于检索阈值，则模型输出结果为“未检索到对应车辆”。

作为优选，所述S2中，构建基于多特征多网络融合深度学习模型车辆图像检索模型，以车窗特征作为模型主检索特征，车牌特征作为模型副检索特征，以DenseNet121网络为主网络、VGG16网络为副网络的融合网络为融合模型主检索网络，以ResNet50为主网络、VGG16网络为副网络的融合网络为融合模型副检索网络的模型结构为例，具体构建步骤如下：

S31构建检索模型主检索模块：

主检索模块的输入为车窗图像样本集及车窗图像测试集，在主检索模块中，由以DenseNet121网络为主网络、VGG16网络为副网络的融合网络分别对车窗图像样本集进行图像特征提取，各网络分别将所提取到的车窗图像特征及其对应图像路径保存在对应的数据集中，并将各个网络所提取到的车窗图像特征及对应图像路径分别保存在两个h5文件中。当车窗图像测试集中待检索车窗图像输入主检索模块后，由主检索模块中作为主检索网络的DenseNet121网络对其进行图像特征提取，在样本集中进行图像特征匹配，并按以欧氏距离计算的图像特征相似度进行排序，随后将图像特征相似度同车窗特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则启动VGG16网络对车窗图像特征进行车窗图像特征提取、车窗图像特征相似度匹配排序等检索流程，最终将VGG16网络计算得到的图像特征相似度同车窗特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则启动副检索模块，展开基于车牌特征的车辆检索。

S32构建检索模型副检索模块：

副检索模块的输入为车窗图像样本集及车牌图像测试集，在副检索模块中，由以ResNet50网络为主网络、VGG16网络为副网络的融合网络分别对车牌图像样本集进行图像特征提取，各网络分别将所提取到的车牌图像特征及其对应图像路径保存在对应的数据集中，并将各个网络所提取到的车牌图像特征及对应图像路径分别保存在两个h5文件中。当车牌图像测试集中待检索车牌图像输入副检索模块后，由副检索模块中作为副检索网络的ResNet50网络对其进行图像特征提取，在样本集中进行图像特征匹配，并按以欧氏距离计算的图像特征相似度进行排序，随后将图像特征相似度同车牌特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则启动VGG16网络对车牌图像特征进行图像特征提取、相似度匹配排序等检索流程，最终将VGG16网络计算得到的图像特征相似度同车牌特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则输出“未检索到对应车辆”。

作为优选，上述步骤中采用的欧式距离计算的具体内容为：

对于特征与/>特征(y₁，y₂…y_n)，令/>表示特征/>与特征/>之间的相似度：

作为优选，所述S3中，构建基于深度学习融合模型的高速公路车辆图像检索方法的评价指标，包含检索正确率、误检率、漏检率三种检索精确度指标及包含平均检索时间的检索时效性指标，对基于深度学习融合模型的高速公路车辆图像检索方法进行评估。其中各项评价指标的计算公式为：

计算图像检索正确率：

计算图像检索误检率：

计算图像检索漏检率：

计算平均检索时间

本发明的有益效果在于：本发明构建的用于高速公路场景中车辆图像检索融合模型的性能都优于单网络模型，在高速公路场景中整车图像与车牌图像检索方面，单特征多网络融合检索模型检索正确率分别达到99.42％、97.28％；在高速公路场景中车脸图像、车窗图像检索方面，多特征多网络融合检索模型的检索正确率分别达到98.11％、98.06％；平均检索时间并未出现明显增加。

附图说明

图1为单特征双网络车辆检索融合模型结构图；

图2为单特征三网络车辆检索融合模型结构图；

图3为多特征多网络融合检索模型结构图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

如图1-3所示，一种基于深度学习融合模型的高速公路车辆图像检索方法，包括以下步骤：

第一步：采用高速公路监控相机获取高速公路场景图像，对高速公路场景图像采用基于Faster-RCNN的车辆检测模型，将检测到的整车区域及车辆部件区域进行切割保存，以构建包含整车图像区域及车辆部件区域的车辆检索图像数据集；

对于Faster-RCNN模型，采用VGG16网络结构，其在结构上共包括1个输入层、13个卷积层、5个最大池化层、3个全连接层和1个Soft-Max输出层，在模型训练时，首先读取VGG16预训练的模型权重，在模型训练过程中，设置模型训练迭代次数为40000次，batchsize为256，采用momentum优化算法，并将动量超参数设置为0.9来保证损失函数的平滑下降，在模型的训练过程中，对网络各层相关参数进行同步更新，最终获得训练在车辆检测模型训练集上的基于Faster-RCNN的车辆检测VGG16网络模型。

首先收集高速公路辆图像5201幅，采用Labelme软件进行标注，标注内容包括整车图像位置、车辆部件位置及其对应的车辆类型，车辆类型包含“car”、“bus”、“van”、“truck”、“minitruck”、“other”6种；然后将图像数据集转化为PascalVOC格式，按照80％为训练集、20％为验证集的比例划分车辆检测图像训练集与验证集；接着将车辆检测图像训练集与验证集输入Faster-RCNN的车辆检测模型进行模型训练；再收集待切割的原始高速公路场景图像86124幅，包含“car”、“bus”、“van”、“truck”、“minitruck”、“other”6种车辆类型，以及白天、夜晚、黄昏、清晨等多种光照场景；其次采用训练好的Faster-RCNN的车辆检测模型将每张原始图像分别切割出相对应的整车图像、车脸图像、车牌图像和车窗图像；在完成整车图像、车脸图像、车牌图像和车窗图像的检测和切割后，对切割完成的图像进行进一步筛查，剔除其中存在重复检测、部分切割、错误切割等问题的图像，将经筛查后的图像构建为车辆图像检索样本集，样本集样本数量如表1所示；最后，从车辆图像检索样本集中，在整车图像数据集、车脸图像数据集、车窗图像数据集、车牌图像数据集四个数据集中均存在对应车辆的图像中于每个数据集各选取9859张图像。通过LIGHTROOM软件对这些图像的亮度和对比度进行调整，将整车图像和车脸图像的曝光度调整为-0.5，对比度设置为-35；将测试集中整车图像和车脸图像的曝光度调整为-0.35，对比度设置为-20。将经预处理后的9859张图像构建为车辆图像检索测试集。

表1高速公路车辆检索图像样本集样本数

第二步：构建基于单特征多网络融合深度学习模型车辆图像检索模型，以ResNet50网络为主网络、DenseNet121网络为副网络的单特征双网络车辆检索融合网络的模型结构为例，构建具体步骤如下：

①构建检索模型主检索模块：

主检索模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入主检索模块后，主检索模块首先利用ResNet50深度残差神经网络对车辆检索图像样本集中的图像进行逐一特征提取，对提取后的车辆图像特征以1×1×1000大小图像特征图的格式保存在dataset1，将该图像对应的车辆图像路径保存在dataset2中，两个dataset作为两列元素共同构成1个enumerate，并将该enumerate保存在一个h5文件中，随后当车辆检索图像测试集中待检索图像输入主检索模块，由ResNet50深度残差神经网络对该图像进行图像特征提取，提取好的特征为1×1×1000大小图像特征图的格式，随后将该车辆图像的图像特征图在enumerate中进行图像特征相似度匹配，计算该张图像与车辆检索图像样本集中其余图像的图像特征相似度的欧氏距离进行逐一计算，并按欧氏距离大小进行排序，将图像特征相似度排首位的图像路径及其与目标图像的图像特征相似度输出至检索结果判定模块。

②构建检索模型副检索模块：

副检索模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入副检索模块后，副检索模块首先利用DenseNet121深度残差神经网络对车辆检索图像样本集中的图像进行逐一特征提取，对提取后的车辆图像特征以1×1×1000大小图像特征图的格式保存在dataset1，将该图像对应的车辆图像路径保存在dataset2中，两个dataset作为两列元素共同构成1个enumerate，并将该enumerate保存在一个h5文件中，随后当车辆检索图像测试集中待检索图像输入副检索模块，由DenseNet121深度神经网络对该图像进行图像特征提取，提取好的特征为1×1×1000大小图像特征图的格式，随后将该车辆图像的图像特征图在enumerate中进行图像特征相似度匹配，计算该张图像与车辆检索图像样本集中其余图像的图像特征相似度的欧氏距离进行逐一计算，并按欧氏距离大小进行排序，将图像特征相似度排首位的图像路径及其与目标图像的图像特征相似度输出至检索结果判定模块。

③构建检索模型判定模块：

检索结果判定模块首先对车辆检索融合模型的车辆图像特征相似度阈值进行设定，随后将主检索模块输出的车辆图像特征相似度同检索阈值进行比较，若主检索模块车辆图像特征相似度大于检索阈值，则输出对应图像和特征相似度作为车辆图像检索结果；若主检索模块车辆图像特征相似度小于检索阈值，则启动副检索模块进行检索，若副检索模块车辆图像特征相似度大于检索阈值，则输出对应图像和特征相似度作为车辆图像检索结果；若副检索模块车辆图像特征相似度小于检索阈值，则模型输出结果为“未检索到对应车辆”。

本发明所构建的全部单特征双网络车辆检索融合模型的网络选取与组成方式见表2。

表2单特征双网络车辆检索融合模型网络选取及组成

第三步：构建基于单特征多网络融合深度学习模型车辆图像检索模型，基于ResNet50、DenseNet121与VGG16网络的单特征三网络车辆检索融合模型的模型的构建具体步骤如下：

①构建基于ResNet50网络的子检索模块：

该模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入基于ResNet50网络的子检索模块后，首先利用ResNet50深度残差神经网络对车辆检索图像样本集中的图像进行逐一特征提取，对提取后的车辆图像特征以1×1×1000大小图像特征图的格式保存在dataset1，将该图像对应的车辆图像路径保存在dataset2中，两个dataset作为两列元素共同构成1个enumerate，并将该enumerate保存在一个h5文件中，随后输入车辆检索图像测试集中待检索图像，由ResNet50深度残差神经网络对该图像进行图像特征提取，提取好的特征为1×1×1000大小图像特征图的格式，随后将该车辆图像的图像特征图在enumerate中进行图像特征相似度匹配，计算该张图像与车辆检索图像样本集中其余图像的图像特征相似度的欧氏距离进行逐一计算，并按欧氏距离大小进行排序，将图像特征相似度排首位的图像路径及其与目标图像的图像特征相似度输出至检索结果判定模块。

②构建基于DenseNet121网络的子检索模块：

该模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入基于DenseNet121网络的子检索模块后，首先利用DenseNet121深度神经网络对车辆检索图像样本集中的图像进行逐一特征提取，对提取后的车辆图像特征以1×1×1000大小图像特征图的格式保存在dataset1，将该图像对应的车辆图像路径保存在dataset2中，两个dataset作为两列元素共同构成1个enumerate，并将该enumerate保存在一个h5文件中，随后输入车辆检索图像测试集中待检索图像，由DenseNet121深度残差神经网络对该图像进行图像特征提取，提取好的特征为1×1×1000大小图像特征图的格式，随后将该车辆图像的图像特征图在enumerate中进行图像特征相似度匹配，计算该张图像与车辆检索图像样本集中其余图像的图像特征相似度的欧氏距离进行逐一计算，并按欧氏距离大小进行排序，将图像特征相似度排首位的图像路径及其与目标图像的图像特征相似度输出至检索结果判定模块。

③构建基于VGG16网络的子检索模块：

该模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入基于VGG16网络的子检索模块，首先利用VGG16卷积神经网络对车辆检索图像样本集中的图像进行逐一特征提取，对提取后的车辆图像特征以1×1×1000大小图像特征图的格式保存在dataset1，将该图像对应的车辆图像路径保存在dataset2中，两个dataset作为两列元素共同构成1个enumerate，并将该enumerate保存在一个h5文件中，随后输入车辆检索图像测试集中待检索图像，由VGG16网络对该图像进行图像特征提取，提取好的特征为1×1×1000大小图像特征图的格式，随后将该车辆图像的图像特征图在enumerate中进行图像特征相似度匹配，计算该张图像与车辆检索图像样本集中其余图像的图像特征相似度的欧氏距离进行逐一计算，并按欧氏距离大小进行排序，将图像特征相似度排首位的图像路径及其与目标图像的图像特征相似度输出至检索结果判定模块。

④构建检索结果判定模块：

检索结果判定模块首先判定输出同一张车辆图像的子检索网络数量是否超过投票阈值，若不超过投票阈值，则输出“未检索到对应车辆”，若超过投票阈值，则按所设定的权重对三个子网络各自的车辆图像相似度进行加权计算，将车辆图像相似度的加权平均值同检索阈值进行比较，若加权车辆图像特征相似度大于检索阈值，则输出车辆图像检索结果；加权车辆图像特征相似度小于检索阈值，则模型输出结果为“未检索到对应车辆”。

第四步：构建基于多特征多网络融合深度学习模型车辆图像检索模型，以车窗特征作为模型主检索特征，车牌特征作为模型副检索特征，以DenseNet121网络为主网络、VGG16网络为副网络的融合网络为融合模型主检索网络，以ResNet50为主网络、VGG16网络为副网络的融合网络为融合模型副检索网络的模型结构为例，构建具体步骤如下：

①构建检索模型主检索模块：

主检索模块的输入为车窗图像样本集及车窗图像测试集，在主检索模块中，由以DenseNet121网络为主网络、VGG16网络为副网络的融合网络分别对车窗图像样本集进行图像特征提取，各网络分别将所提取到的车窗图像特征及其对应图像路径保存在对应的数据集中，并将各个网络所提取到的车窗图像特征及对应图像路径分别保存在两个h5文件中。当车窗图像测试集中待检索车窗图像输入主检索模块后，由主检索模块中作为主检索网络的DenseNet121网络对其进行图像特征提取，在样本集中进行图像特征匹配，并按以欧氏距离计算的图像特征相似度进行排序，随后将图像特征相似度同车窗特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则启动VGG16网络对车窗图像特征进行车窗图像特征提取、车窗图像特征相似度匹配排序等检索流程，最终将VGG16网络计算得到的图像特征相似度同车窗特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则启动副检索模块，展开基于车牌特征的车辆检索。

②构建检索模型副检索模块：

副检索模块的输入为车窗图像样本集及车牌图像测试集，在副检索模块中，由以ResNet50网络为主网络、VGG16网络为副网络的融合网络分别对车牌图像样本集进行图像特征提取，各网络分别将所提取到的车牌图像特征及其对应图像路径保存在对应的数据集中，并将各个网络所提取到的车牌图像特征及对应图像路径分别保存在两个h5文件中。当车牌图像测试集中待检索车牌图像输入副检索模块后，由副检索模块中作为副检索网络的ResNet50网络对其进行图像特征提取，在样本集中进行图像特征匹配，并按以欧氏距离计算的图像特征相似度进行排序，随后将图像特征相似度同车牌特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则启动VGG16网络对车牌图像特征进行图像特征提取、相似度匹配排序等检索流程，最终将VGG16网络计算得到的图像特征相似度同车牌特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则输出“未检索到对应车辆”。

本发明所构建的全部多特征多网络车辆检索融合模型的网络选取与组成方式见表3。

表3多特征多网络融合检索模型构成

第五步：采用单特征多网络融合检索模型，在整车图像测试集、车脸图像测试集、车窗图像测试集和车牌图像测试集四个测试集上分别进行车辆检索实验；

第六步：采用多特征多网络融合检索模型，将在其对应的主检索特征测试集上进行车辆检索实验；

第七步：构建基于深度学习融合模型的车辆图像检索方法的评价指标，包含检索正确率、误检率、漏检率三种检索精确度指标及包含平均检索时间的检索时效性指标，对基于深度学习融合模型的车辆图像检索模型的检索性能进行评估。

各项评价指标的计算公式为：

①计算图像检索正确率：

②计算图像检索误检率：

③计算图像检索漏检率：

④计算平均检索时间

本发明构建的用于高速公路场景中车辆图像检索融合模型的性能都优于单网络模型，在高速公路场景中整车图像与车牌图像检索方面，单特征多网络融合检索模型检索正确率分别达到99.42％、97.28％；在高速公路场景中车脸图像、车窗图像检索方面，多特征多网络融合检索模型的检索正确率分别达到98.11％、98.06％；平均检索时间并未出现明显增加。

基于单特征多网络融合车辆检索模型检索精确度如表4所示：

表4单特征多网络融合车辆检索模型检索精确度表现

/>

基于多特征多网络的深度融合车辆图像检索模型检索精确度如表5所示：

表5基于多特征多网络的深度融合车辆图像检索实验检索精确度

由表4与表5可知，车辆检索深度融合模型在针对整车图像检索问题，采用单特征多网络融合检索模型检索正确率最高，检索正确率为99.72％；针对车脸图像检索问题，采用多特征多网络融合检索模型检索正确率最高，检索正确率为98.11％；针对车窗图像检索问题，采用多特征多网络融合检索模型检索正确率最高，检索正确率为98.06％；基于车牌图像检索问题，采用单特征多网络融合检索模型检索正确率最高，检索正确率为95.15％；平均检索时间并未出现明显增加。

基于单特征多网络车辆图像融合检索模型检索时效性如表6所示：

表6单特征多网络车辆图像融合检索模型检索实验平均检索时间

基于多网络多特征的深度融合车辆图像检索模型检索时效性如表7所示：

表7基于多网络多特征的深度融合车辆图像检索模型平均检索时间

由表6与表7可知，在检索时效性方面，相对于基于单一ResNet50网络和基于单一DenseNet121网络的车辆图像检索模型，辅助式融合单特征多网络融合检索模型的平均检索时间没有明显的增加，基于DenseNet121、ResNet50及VGG16三网络加权交叉式融合的车辆检索融合模型由于其在检索流程中需要同时调用三个检索模型进行车辆图像特征提取、匹配等完整检索流程，模型平均检索时间明显增加。相较于基于单一网络车辆检索模型以及基于单特征多网络的车辆图像融合检索模型，基于多网络多特征的车辆图像融合检索模型的平均检索时间并未出现明显增加。

综合检索精确度与检索时效性指标，基于多特征多网络融合的车辆图像融合检索模型通过采用主副检索神经网络与主副图像特征的融合，可以对在基于单一车辆检索模型以及单网络多特征车辆检索融合模型上检索正确率较低的基于车脸特征、车窗特征的车辆图像检索任务取得较高的检索正确率，同时对误检问题和漏检问题实现了有效解决，与此同时，多特征多网络融合模型在检索时效性上也表现较好，平均检索时间较低。

发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种基于深度学习融合模型的高速公路车辆图像检索方法，其特征在于，包括以下步骤：

S1、采用基于Faster-RCNN的目标检测切割模型构建车辆检索图像数据集；

S2、采用DenseNet121、ResNet50与VGG16网络作为检索网络，构建多种不同的基于单特征多网络深度学习融合模型车辆图像检索模型与多网络多特征深度学习融合模型车辆图像检索模型进行图像检索；

所述S2中构建的基于单特征多网络深度学习融合模型车辆图像检索模型之一为以ResNet50网络为主网络、DenseNet121网络为副网络构建的单特征双网络车辆检索融合网络的模型结构，具体构建步骤如下：

S21、构建检索模型主检索模块：

主检索模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集，图像输入主检索模块后，主检索模块首先利用ResNet50深度残差神经网络对车辆检索图像样本集中的图像进行逐一特征提取，随后对检索图像测试集进行图像特征提取，计算该张待检索图像与车辆检索图像样本集中图像的图像特征的欧氏距离进行逐一计算，欧氏距离即为相似度，并按欧氏距离大小进行排序，最终将图像特征相似度排首位的图像路径及其与待检索图像的车辆图像特征相似度输出至检索结果判定模块；

S22、构建检索模型副检索模块：

副检索模块的结构与主检索模块的结构类似，区别在于采用DenseNet121深度神经网络进行特征提取；

S23、构建检索模型判定模块：

检索结果判定模块首先对车辆检索融合网络的车辆图像特征相似度阈值进行设定，若主检索模块车辆图像特征相似度大于检索阈值，则输出对应的车辆检索图像样本集中特征相似度排首位的图像和特征相似度作为车辆图像检索结果；若特征相似度小于检索阈值，则启动副检索模块进行检索，若副检索模块车辆图像特征相似度大于检索阈值，则输出对应的车辆检索图像样本集中特征相似度排首位的图像和特征相似度作为车辆图像检索结果；若特征相似度小于检索阈值，则模型输出结果为“未检索到对应车辆”；

所述S2中构建的基于单特征多网络深度学习融合模型车辆图像检索模型之一为基于ResNet50、DenseNet121与VGG16网络的单特征三网络车辆检索融合网络的模型，其具体构建步骤如下：

S201、构建基于ResNet50网络的子检索模块：

该模块的输入为所选取图像特征对应的车辆检索图像样本集与车辆图像检索测试集,图像输入该模块后，该模块首先利用ResNet50深度残差神经网络对车辆检索图像样本集中的图像进行逐一特征提取，随后对检索图像测试集进行图像特征提取，计算该张待检索图像与车辆检索图像样本集中图像的图像特征的欧氏距离进行逐一计算，欧氏距离即为相似度，并按欧氏距离大小进行排序，最终将图像特征相似度排首位的图像路径及其与待检索图像的车辆图像特征相似度输出至检索结果判定模块；

S202、构建基于DenseNet121网络的子检索模块：

该检索模块的结构与基于ResNet50网络的子检索模块的结构类似，区别在于采用DenseNet121深度神经网络进行特征提取；

S203、构建基于VGG16网络的子检索模块：

该检索模块的结构与基于ResNet50网络的子检索模块的结构类似，区别在于采用VGG16深度神经网络进行特征提取；

S204、构建检索结果判定模块：

检索结果判定模块首先判定输出同一张车辆图像的子检索网络数量是否超过投票阈值，若不超过投票阈值，则输出“未检索到对应车辆”，若超过投票阈值，则按所设定的权重对三个子网络各自的车辆图像相似度进行加权计算，将车辆图像相似度的加权平均值同检索阈值进行比较，若加权车辆图像特征相似度大于检索阈值，则输出车辆图像检索结果；加权车辆图像特征相似度小于检索阈值，则模型输出结果为“未检索到对应车辆”；

所述S2中构建基于多特征多网络深度学习融合模型车辆图像检索模型为以车窗特征作为模型主检索特征，车牌特征作为模型副检索特征，以DenseNet121网络为主网络、VGG16网络为副网络的融合网络为融合模型主检索网络，以ResNet50为主网络、VGG16网络为副网络的融合网络为融合模型副检索网络的模型结构，具体构建步骤如下：

S31、构建检索模型主检索模块：

主检索模块的输入为车窗图像样本集及车窗图像测试集，在主检索模块中，由以DenseNet121网络为主网络、VGG16网络为副网络的融合网络分别对车窗图像样本集进行图像特征提取；当车窗图像测试集中待检索车窗图像输入主检索模块后，由主检索模块中作为主检索网络的DenseNet121网络对其进行图像特征提取，在样本集中进行图像特征匹配，并按以欧氏距离计算的图像特征相似度进行排序，随后将图像特征相似度同车窗特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则启动VGG16网络对待检索车窗图像进行车窗图像特征提取、车窗图像特征匹配、车窗图像特征相似度计算、车窗图像特征相似度排序检索流程，最终将VGG16网络计算得到的图像特征相似度同车窗特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则启动副检索模块，展开基于车牌特征的车辆检索；

S32、构建检索模型副检索模块：

副检索模块的输入为车牌图像样本集及车牌图像测试集，在副检索模块中，由以ResNet50网络为主网络、VGG16网络为副网络的融合网络分别对车牌图像样本集进行图像特征提取；当车牌图像测试集中待检索车牌图像输入副检索模块后，由副检索模块中作为副检索网络的ResNet50网络对其进行图像特征提取，在样本集中进行图像特征匹配，并按以欧氏距离计算的图像特征相似度进行排序，随后将图像特征相似度同车牌特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则启动VGG16网络对待检索车牌图像进行车牌图像特征提取、车牌图像特征匹配、车牌图像特征相似度计算、车牌图像特征相似度排序检索流程，最终将VGG16网络计算得到的图像特征相似度同车牌特征相似度检索阈值进行比较，若相似度大于检索阈值，则输出检索结果；若相似度小于检索阈值，则输出“未检索到对应车辆”；

S3、构建基于深度学习融合模型的实验结果评价指标，分别对基于深度学习融合模型的高速公路车辆图像检索方法的检索精确度与检索时效性进行评估。

2.根据权利要求1所述的方法，其特征在于，所述S1，采用高速公路监控相机获取高速公路场景图像，对高速公路场景图像采用基于Faster-RCNN的车辆检测模型，将检测到的整车区域及车辆部件区域进行切割保存，以构建包含整车图像区域及车辆部件区域的车辆检索图像数据集。

3.根据权利要求1所述的方法，其特征在于，所述S1中构建车辆检索图像数据集的具体方法如下：

S11、收集高速公路辆图像若干幅，采用Labelme软件进行标注，标注内容包括整车图像位置、车辆部件位置及其对应的车辆类型，车辆类型包含“car”、“bus”、“van”、“truck”、“minitruck”和“other”6种；

S12、将图像数据集转化为PascalVOC格式，按照80%为训练集、20%为验证集的比例划分车辆检测图像训练集与验证集；

S13、将车辆检测图像训练集与验证集输入Faster-RCNN的车辆检测模型进行模型训练；

S14：收集待切割的原始高速公路场景图像若干幅，包含“car”、“bus”、“van”、“truck”、“minitruck”和“other”6种车辆类型，以及白天、夜晚、黄昏、清晨多种光照场景；

S15、采用训练好的Faster-RCNN的车辆检测模型将每张原始图像分别切割出相对应的整车图像、车脸图像、车牌图像和车窗图像；

S16：在完成整车图像、车脸图像、车牌图像和车窗图像的检测和切割后，对切割完成的图像进行进一步筛查，剔除其中存在重复检测、部分切割、错误切割问题的图像，将经筛查后的图像构建为车辆图像检索样本集；

S17：从车辆图像检索样本集中，在整车图像数据集、车脸图像数据集、车窗图像数据集和车牌图像数据集四个数据集中均存在对应车辆的图像中于每个数据集各选取若干张图像。

4.根据权利要求1所述的方法，其特征在于，所述S1中采用基于Faster-RCNN的车辆检测模型进行图像检测与切割，对于Faster-RCNN模型，采用VGG16网络结构，其在结构上共包括1个输入层、13个卷积层、5个最大池化层、3个全连接层和1个Soft-Max输出层，在模型训练时，首先读取VGG16预训练的模型权重，在模型训练过程中，设置模型训练迭代次数为40000次，batch size为256，采用momentum优化算法，并将动量超参数设置为0.9来保证损失函数的平滑下降，在模型的训练过程中，对网络各层相关参数进行同步更新，最终获得训练在车辆检测模型训练集上的基于Faster-RCNN的车辆检测VGG16网络模型。

5.根据权利要求1-4中任一项所述的方法，其特征在于：所述步骤中采用的欧式距离计算的具体内容为：

对于特征与/>特征/>，令/>表示特征/>与特征/>之间的相似度：

（1）。

6.根据权利要求1所述的方法，其特征在于：所述S3中构建基于深度学习融合模型的高速公路车辆图像检索方法的评价指标的具体内容为：

计算图像检索正确率：

；

计算图像检索误检率：

；

计算图像检索漏检率：

；

计算平均检索时间：

。