CN115512154A - 基于深度学习神经网络的高速公路车辆图像检索方法 - Google Patents
基于深度学习神经网络的高速公路车辆图像检索方法 Download PDFInfo
- Publication number
- CN115512154A CN115512154A CN202211157110.XA CN202211157110A CN115512154A CN 115512154 A CN115512154 A CN 115512154A CN 202211157110 A CN202211157110 A CN 202211157110A CN 115512154 A CN115512154 A CN 115512154A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- retrieval
- model
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 19
- 230000007704 transition Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Operations Research (AREA)
- Biomedical Technology (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习神经网络的高速公路车辆图像检索方法，包括：采用基于Faster‑RCNN的目标检测切割模型构建车辆检索图像数据集；分别构建基于VGG16网络、ResNet50网络以及DenseNet121网络的三种基于单一深度学习网络的车辆检索模型，对各图像测试集中的样本数据进行单张循环检索；构建基于深度学习神经网络的车辆图像检索实验的实验结果评价指标，对基于深度学习神经网络的高速公路车辆图像检索方法的检索精确度与检索时效性进行评估。本发明具有较佳的正确率和实效性。
Description
技术领域
本发明专利涉及智能交通，智慧高速研究领域，可应用于交通执法系统、车辆检测系统、高速公路智慧收费系统等多种应用场景，具体涉及一种基于深度学习神经网络的高速公路车辆图像检索方法。
背景技术
目前，高速公路不停车收费系统中，车辆身份识别和车辆信息感知功能的实现主要依赖于对车载OBU单元所记录信息的读取。车载OBU单元通过其内置的IC卡读卡接口，实现对车辆号牌、品牌、收付款账户等信息的读取，并通过蓝牙通信模组同ETC收费单元之间进行无接触识别。但基于车载OBU读取IC卡信息的车辆识别方法在实际应用中也存在一定缺点，例如车载OBU单元IC卡接触不良、车载OBU单元同识别设施识别错误、车载OBU单元同识别设施间通信超时、驾驶员伪造变造车载IC卡等情况都会导致依靠车载OBU读取IC卡信息的车辆识别方法无法实现对车辆的识别和对车辆信息的读取，最终导致ETC车道过车率的降低。在车辆信息自动识别失败的情况下，目前常用的处理方法是引导车辆由ETC车道转入人工收费车道进行人工车辆信息稽查，这种处理方法需要已进入ETC车道的车辆驶离ETC车道后重新进入人工收费车道，造成高速公路出入口处的逆向交通流，对高速公路出入口处的交通安全和交通畅通程度造成较大影响。
随着智能交通与公路智能管理的建设与推广，车辆身份自动识别与车辆信息自动感知技术成为了智能交通建设的重要一环，目前主要采用的基于车载OBU读取IC卡信息的高速公路车辆识别方法存在识别率低、故障率高、对套牌假牌识别效果差等亟待解决的缺点。因此，本发明设计了一种以车辆图像特征匹配为主要检索依据的高速公路场景中车辆检索方法，可以起到对车辆的多重识别、提高识别精度、降低识别错误率的作用。
发明内容
本发明的目的在于利用基于深度学习的图像检索方法有效地实现车辆身份自动识别与车辆信息自动感知，提供了一种基于深度学习神经网络的高速公路车辆图像检索方法。
本发明采用的技术方案为：一种基于深度学习神经网络的高速公路车辆图像检索方法。包括以下步骤：
S1采用高速公路监控相机获取高速公路场景图像，对高速公路场景图像采用基于Faster-RCNN的车辆检测模型，将检测到的整车区域及车辆部件区域进行切割保存，以构建包含整车图像区域及车辆部件区域的车辆检索图像数据集；
S2构建用于车辆图像检索的基于VGG16网络模型，即VGGNet-16；
S3构建用于车辆图像检索的基于ResNet50网络模型，即ResNet-50；
S4构建用于车辆图像检索的基于DenseNet121网络模型，即DenseNet-121；
S5基于深度学习神经网络的车辆图像检索模型对车辆检索图像数据集与待检索图像进行特征提取，计算车辆检索图像数据集中每张图像的特征与待检索图像特征的欧式距离，并按所计算的欧式距离值进行排序，取排序最靠前的1张图像作为图像检索结果输出；
S6构建基于深度学习神经网络的车辆图像检索方法的评价指标，包含检索正确率、误检率、漏检率三种检索精确度指标及包含平均检索时间的检索时效性指标。对基于深度学习神经网络的高速公路车辆图像检索方法的检索性能进行评估。
作为优选，所述S1中，车辆检索图像数据集构建的具体步骤为：
S11收集高速公路辆图像5201幅，采用Labelme软件进行标注，标注内容包括整车图像位置、车辆部件位置及其对应的车辆类型，车辆类型包含“car”、“bus”、“van”、“truck”、“minitruck”、“other”6种；S12将图像数据集转化为PascalVOC格式，按照80％为训练集、20％为验证集的比例划分车辆检测图像训练集与验证集；S13将车辆检测图像训练集与验证集输入Faster-RCNN的车辆检测模型进行模型训练；S14收集待切割的原始高速公路场景图像86124幅，包含“car”、“bus”、“van”、“truck”、“minitruck”、“other”6种车辆类型，以及白天、夜晚、黄昏、清晨等多种光照场景；S15采用训练好的Faster-RCNN的车辆检测模型将每张原始图像分别切割出相对应的整车图像、车脸图像、车牌图像和车窗图像；S16在完成整车图像、车脸图像、车牌图像和车窗图像的检测和切割后，对切割完成的图像进行进一步筛查，剔除其中存在重复检测、部分切割、错误切割等问题的图像，将经筛查后的图像构建为车辆图像检索样本集；S17从车辆图像检索样本集中，在整车图像数据集、车脸图像数据集、车窗图像数据集、车牌图像数据集四个数据集中均存在对应车辆的图像中于每个数据集各选取9859张图像。通过LIGHTROOM软件对这些图像的亮度和对比度进行调整，将整车图像和车脸图像的曝光度调整为-0.5，对比度设置为-35；将测试集中整车图像和车脸图像的曝光度调整为-0.35，对比度设置为-20。将经预处理后的9859张图像构建为车辆图像检索测试集。
所述步骤S11中“car”、“bus”、“van”、“truck”、“minitruck”、“other”6种车辆类型的车辆图像数量分别为2083幅、1198幅、1250幅、392幅、180幅和98幅。
所述步骤S15中切割完成的整车图像数据集、车脸图像数据集、车窗图像数据集和车牌图像数据集的车辆图像数量分别为86124幅、78514幅、85029幅和74513幅。
作为优选，所述S1中，采用高速公路监控相机获取高速公路场景图像，对高速公路场景图像采用基于Faster-RCNN的车辆检测模型进行图像检测与切割，对于Faster-RCNN模型，采用VGG16网络结构，其在结构上共包括1个输入层、13个卷积层、5个最大池化层、3个全连接层和1个Soft-Max输出层，在模型训练时，首先读取VGG16预训练的模型权重，在模型训练过程中，设置模型训练迭代次数为40000次，batch size为256，采用momentum优化算法，并将动量超参数设置为0.9来保证损失函数的平滑下降，在模型的训练过程中，对网络各层相关参数进行同步更新，最终获得训练在车辆检测模型训练集上的基于Faster-RCNN的车辆检测VGG16网络模型。
作为优选，所述S2中，构建用于车辆图像检索的基于VGG16网络模型：
VGG16网络模型由5层卷积层和3层全连接层组成，输入图像为224×224的三通道图像，随后连接步长为2的Max pooling层，得到大小为112×112×64的车辆图像特征图；随后经2层128通道的卷积核大小为3×3，步长为1，采用same padding的卷积层处理，得到112×112×128大小的车辆图像特征图；之后，进行步长为2的Max pooling操作，得到大小为56×56×128的车辆图像特征图；随后将56×56×128的车辆图像特征图送入3层256通道的卷积核大小为3×3，步长为1，采用same padding的卷积层处理，得到大小56×56×256的车辆图像特征图；再经步长为2的Max pooling操作，得到大小为28×28×256的车辆图像特征图；将28×28×256的车辆图像特征图送入3层512通道的卷积核大小为3×3，步长为1，采用same padding的卷积层处理，得到大小28×28×512的车辆图像特征图；再经步长为2的Maxpooling层，得到14×14×512的车辆图像特征图；14×14×512的车辆图像特征图再经3层512通道的卷积核大小为3×3，步长为1，采用same padding的卷积层处理，得到的车辆图像特征图仍为14×14×512大小；随后再经一层max pooling操作，得到7×7×512的车辆图像特征图；展平后得到大小为25088的向量，随后经2层1×1×4096的全连接层和1层1×1×1000的全连接层处理，最终输出1×1×1000的车辆图像特征。
作为优选，所述S3中，构建用于车辆图像检索的基于ResNet50网络模型：
ResNet50网络模型由五个部分组成，输入图像为224×224的三通道图像，第一部分采用步长为2的大小为7×7的卷积核，激活函数选择ReLU，连接步长为2的3×3Maxpooling层，得到大小为56×56×64的车辆图像特征图；第二部分采用三个串联形式连接的bottleneck模块，其中第一个bottleneck模块由1个128通道，步长为1，卷积核大小为1×1的卷积层；1个128通道，步长为1，卷积核大小为3×3的卷积层；1个256通道，步长为1，卷积核大小为1×1的卷积层及1个BatchNorm层和1个ReLU激活函数层串联并与1个256通道，大小为1×1的残差块并联而成；第二、三个bottleneck模块在卷积块的数量、组成和连接方式上同第1个bottleneck模块类似，但模块输入通道为256，经第二部分处理后的车辆特征图像大小为56×56×256；第三部分采用四个串联形式连接的bottleneck模块，其中第1个bottleneck模块由1个128通道，步长为1，卷积核大小为1×1的卷积层；1个128通道，步长为1，卷积核大小为3×3的卷积层；1个512通道，步长为1，卷积核大小为1×1的卷积层及1个BatchNorm层和1个ReLU激活函数层串联并与1个512通道，大小为3×3的的残差块并联而成。第2、3、4个bottleneck模块由1个128通道，步长为1，卷积核大小为1×1的卷积层；1个128通道，步长为1，卷积核大小为3×3的卷积层；1个512通道，步长为1，卷积核大小为1×1的卷积层及1个BatchNorm层和1个ReLU激活函数层串联并与1个512通道，大小为1×1的残差块并联而成，经第三部分处理后的车辆特征图像大小为28×28×512；第四部分采用六个串联形式连接的bottleneck模块，各bottleneck模块的内部结构同第三部分类似，经第四部分处理后的车辆特征图像大小为14×14×1024；第五部分采用三个串联形式连接的bottleneck模块，各bottleneck模块的内部结构同第三、第四部分类似，经第五部分处理后的车辆特征图像大小为7×7×2048。经全连接层展平，最终输出为大小为1×1×1000的车辆图像特征图。
作为优选，所述S4中，构建用于车辆图像检索的基于DenseNet121网络模型：
DenseNet121网络模型由4个DenseBlock模块和3个Transition模块组成，输入图像为224×224的三通道图像，首先采用卷积核大小为7×7，步长为2的卷积层进行处理，得到112×112的预处理图像，连接步长为2的3×3Max pooling层池化处理，得到56×56的车辆图像特征图；其次采用包含6个1×1卷积层及3×3卷积层的第一个DenseBlock模块中进行处理，得到56×56的车辆图像特征图；随后进入包含1个1×1卷积层和一个步长为2的Average pooling层的Transition模块进行处理，输出28×28的车辆图像特征图，随后采用包含12个1×1卷积层及3×3卷积层的第二个DenseBlock模块进行处理，输出28×28的车辆图像特征图，随后采用包含1个1×1卷积层和一个步长为2的Average pooling层的Transition模块进行处理，输出14×14的车辆图像特征图，之后经第三个DenseBlock模块对车辆图像特征图进行处理，第三个DenseBlock模块包含24个1×1卷积层及3×3卷积层，输出为14×14的车辆图像特征图，随后将该特征图输入第三个Transition模块，第三个Transition模块包含1个1×1卷积层和一个步长为2的Average pooling层，输出大小为7×7的车辆特征图像。最后将该图像输入包含16个1×1卷积层及3×3卷积层的最后一个DenseBlock模块，再将模块输出的特征图经全连接层展平后，最终输出为大小为1×1×1000的车辆图像特征图。
作为优选，所述S5中，基于深度学习神经网络的车辆图像检索模型的具体检索过程为：
车辆检索图像样本集中的车辆图像依次通过基于深度学习神经网络的车辆检索模型进行特征提取,每张图像的车辆图像特征及其文件名称分别保存在两个数据集中，随后两个数据集被保存在同一个h5文件中，构建车辆特征数据库。当车辆图像测试集中的待检索图像输入车辆检索系统后，由该深度学习神经网络对待检索图像进行图像特征提取，将提取好的特征在车辆特征数据库中进行逐一匹配，计算每张图像的特征与待检索图像特征的欧式距离，并按所计算的欧式距离值进行排序，取排序最靠前的1张图像作为图像检索结果输出。在对当前车辆图像完成车辆检索后，采用循环遍历方式，对车辆图像测试集中下一张图像进行检索流程，直至对车辆图像测试集中全部车辆完成检索。
作为优选，所述S5中，采用的欧式距离计算的具体内容为：
对于特征
与
特征(y1，y2…yn)，令
表示特征
与特征
之间的相似度：
作为优选，所述S6中，构建基于深度学习神经网络的车辆图像检索方法的评价指标，包含检索正确率、误检率、漏检率三种检索精确度指标及包含平均检索时间的检索时效性指标，对基于深度学习神经网络的车辆图像检索模型的检索性能进行评估。
各项评价指标的计算公式为：
①计算图像检索正确率：
②计算图像检索误检率：
③计算图像检索漏检率：
④计算平均检索时间
本发明的有益效果在于：本发明构建的基于ResNet50网络的车辆检索模型和基于DenseNet121网络的车辆检索模型具备较高的检索精确度，平均检索正确率超过90％；基于VGG16网络的车辆检索模型具备较好的检索时效性。
附图说明
图1为基于VGG16网络的车辆检索模型结构图；
图2为基于ResNet50网络的车辆检索模型结构图；
图3为基于Dense121网络的车辆检索模型结构图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
如图所示，一种基于深度学习神经网络的高速公路车辆图像检索方法，包括以下步骤：
第一步：采用高速公路监控相机获取高速公路场景图像，对高速公路场景图像采用基于Faster-RCNN的车辆检测模型，将检测到的整车区域及车辆部件区域进行切割保存，以构建包含整车图像区域及车辆部件区域的车辆检索图像数据集；
对于Faster-RCNN模型，采用VGG16网络结构，其在结构上共包括1个输入层、13个卷积层、5个最大池化层、3个全连接层和1个Soft-Max输出层，在模型训练时，首先读取VGG16预训练的模型权重，在模型训练过程中，设置模型训练迭代次数为40000次，batchsize为256，采用momentum优化算法，并将动量超参数设置为0.9来保证损失函数的平滑下降，在模型的训练过程中，对网络各层相关参数进行同步更新，最终获得训练在车辆检测模型训练集上的基于Faster-RCNN的车辆检测VGG16网络模型。
首先收集高速公路辆图像5201幅，采用Labelme软件进行标注，标注内容包括整车图像位置、车辆部件位置及其对应的车辆类型，车辆类型包含“car”、“bus”、“van”、“truck”、“minitruck”、“other”6种；然后将图像数据集转化为PascalVOC格式，按照80％为训练集、20％为验证集的比例划分车辆检测图像训练集与验证集；接着将车辆检测图像训练集与验证集输入Faster-RCNN的车辆检测模型进行模型训练；再收集待切割的原始高速公路场景图像86124幅，包含“car”、“bus”、“van”、“truck”、“minitruck”、“other”6种车辆类型，以及白天、夜晚、黄昏、清晨等多种光照场景；其次采用训练好的Faster-RCNN的车辆检测模型将每张原始图像分别切割出相对应的整车图像、车脸图像、车牌图像和车窗图像；在完成整车图像、车脸图像、车牌图像和车窗图像的检测和切割后，对切割完成的图像进行进一步筛查，剔除其中存在重复检测、部分切割、错误切割等问题的图像，将经筛查后的图像构建为车辆图像检索样本集，样本集样本数量如表1所示；最后，从车辆图像检索样本集中，在整车图像数据集、车脸图像数据集、车窗图像数据集、车牌图像数据集四个数据集中均存在对应车辆的图像中于每个数据集各选取9859张图像。通过LIGHTROOM软件对这些图像的亮度和对比度进行调整，将整车图像和车脸图像的曝光度调整为-0.5，对比度设置为-35；将测试集中整车图像和车脸图像的曝光度调整为-0.35，对比度设置为-20。将经预处理后的9859张图像构建为车辆图像检索测试集。
表1高速公路车辆检索图像样本集样本数
第二步：构建用于车辆图像检索的基于VGG16网络模型：
对于VGG16网络模型，该深度学习神经网络由5层卷积层和3层全连接层组成，输入图像为224×224的三通道图像，随后连接步长为2的Max pooling层，得到大小为112×112×64的车辆图像特征图；随后经2层128通道的卷积核大小为3×3，步长为1，采用samepadding的卷积层处理，得到112×112×128大小的车辆图像特征图；之后，进行步长为2的Max pooling操作，得到大小为56×56×128的车辆图像特征图；随后将56×56×128的车辆图像特征图送入3层256通道的卷积核大小为3×3，步长为1，采用same padding的卷积层处理，得到大小56×56×256的车辆图像特征图；再经步长为2的Max pooling操作，得到大小为28×28×256的车辆图像特征图；将28×28×256的车辆图像特征图送入3层512通道的卷积核大小为3×3，步长为1，采用same padding的卷积层处理，得到大小28×28×512的车辆图像特征图；再经步长为2的Max pooling层，得到14×14×512的车辆图像特征图；14×14×512的车辆图像特征图再经3层512通道的卷积核大小为3×3，步长为1，采用samepadding的卷积层处理，得到的车辆图像特征图仍为14×14×512大小；随后再经一层maxpooling操作，得到7×7×512的车辆图像特征图；展平后得到大小为25088的向量，随后经2层1×1×4096的全连接层和1层1×1×1000的全连接层处理，最终输出1×1×1000的车辆图像特征。
第三步：构建用于车辆图像检索的基于ResNet50网络模型：
对于ResNet50网络模型，该深度学习神经网络由五个部分组成，输入图像为224×224的三通道图像，第一部分采用步长为2的大小为7×7的卷积核，激活函数选择ReLU，连接步长为2的3×3Max pooling层，得到大小为56×56×64的车辆图像特征图；第二部分采用三个串联形式连接的bottleneck模块，其中第一个bottleneck模块由1个128通道，步长为1，卷积核大小为1×1的卷积层；1个128通道，步长为1，卷积核大小为3×3的卷积层；1个256通道，步长为1，卷积核大小为1×1的卷积层及1个BatchNorm层和1个ReLU激活函数层串联并与1个256通道，大小为1×1的残差块并联而成；第二、三个bottleneck模块在卷积块的数量、组成和连接方式上同第1个bottleneck模块类似，但模块输入通道为256，经第二部分处理后的车辆特征图像大小为56×56×256；第三部分采用四个串联形式连接的bottleneck模块，其中第1个bottleneck模块由1个128通道，步长为1，卷积核大小为1×1的卷积层；1个128通道，步长为1，卷积核大小为3×3的卷积层；1个512通道，步长为1，卷积核大小为1×1的卷积层及1个BatchNorm层和1个ReLU激活函数层串联并与1个512通道，大小为3×3的的残差块并联而成。第2、3、4个bottleneck模块由1个128通道，步长为1，卷积核大小为1×1的卷积层；1个128通道，步长为1，卷积核大小为3×3的卷积层；1个512通道，步长为1，卷积核大小为1×1的卷积层及1个BatchNorm层和1个ReLU激活函数层串联并与1个512通道，大小为1×1的残差块并联而成，经第三部分处理后的车辆特征图像大小为28×28×512；第四部分采用六个串联形式连接的bottleneck模块，各bottleneck模块的内部结构同第三部分类似，经第四部分处理后的车辆特征图像大小为14×14×1024；第五部分采用三个串联形式连接的bottleneck模块，各bottleneck模块的内部结构同第三、第四部分类似，经第五部分处理后的车辆特征图像大小为7×7×2048。经全连接层展平，最终输出为大小为1×1×1000的车辆图像特征图。
第四步：构建用于车辆图像检索的基于DenseNet121网络模型：
对于DenseNet121网络模型，该深度学习神经网络由4个DenseBlock模块和3个Transition模块组成，输入图像为224×224的三通道图像，首先采用卷积核大小为7×7，步长为2的卷积层进行处理，得到112×112的预处理图像，连接步长为2的3×3Max pooling层池化处理，得到56×56的车辆图像特征图；其次采用包含6个1×1卷积层及3×3卷积层的第一个DenseBlock模块中进行处理，得到56×56的车辆图像特征图；随后进入包含1个1×1卷积层和一个步长为2的Average pooling层的Transition模块进行处理，输出28×28的车辆图像特征图，随后采用包含12个1×1卷积层及3×3卷积层的第二个DenseBlock模块进行处理，输出28×28的车辆图像特征图，随后采用包含1个1×1卷积层和一个步长为2的Averagepooling层的Transition模块进行处理，输出14×14的车辆图像特征图，之后经第三个DenseBlock模块对车辆图像特征图进行处理，第三个DenseBlock模块包含24个1×1卷积层及3×3卷积层，输出为14×14的车辆图像特征图，随后将该特征图输入第三个Transition模块，第三个Transition模块包含1个1×1卷积层和一个步长为2的Average pooling层，输出大小为7×7的车辆特征图像。最后将该图像输入包含16个1×1卷积层及3×3卷积层的最后一个DenseBlock模块，再将模块输出的特征图经全连接层展平后，最终输出为大小为1×1×1000的车辆图像特征图。
第五步：将车辆检索图像样本集中的车辆图像依次通过基于深度学习神经网络的车辆检索模型进行特征提取,每张图像的车辆图像特征及其文件名称分别保存在两个数据集中，随后两个数据集被保存在同一个h5文件中，构建车辆特征数据库。当车辆图像测试集中的待检索图像输入车辆检索系统后，由该深度学习神经网络对待检索图像进行图像特征提取，将提取好的特征在车辆特征数据库中进行逐一匹配，计算每张图像的特征与待检索图像特征的欧式距离，并按所计算的欧式距离值进行排序，取排序最靠前的1张图像作为图像检索结果输出。在对当前车辆图像完成车辆检索后，采用循环遍历方式，对车辆图像测试集中下一张图像进行检索流程，直至对车辆图像测试集中全部车辆完成检索。
步骤中采用的欧式距离计算的具体内容为：
对于特征
与
特征(y1，y2…yn)，令
表示特征
与特征
之间的相似度：
第六步：构建基于深度学习神经网络的车辆图像检索方法的评价指标，包含检索正确率、误检率、漏检率三种检索精确度指标及包含平均检索时间的检索时效性指标，对基于深度学习神经网络的车辆图像检索模型的检索性能进行评估。
各项评价指标的计算公式为：
①计算图像检索正确率：
②计算图像检索误检率：
③计算图像检索漏检率：
④计算平均检索时间
本发明构建的基于ResNet50网络的车辆检索模型和基于DenseNet121网络的车辆检索模型具备较高的检索精确度，平均检索正确率超过90％；基于VGG16网络的车辆检索模型具备较好的检索时效性。
检索精度对比如表2所示：
表2基于深度学习神经网络的车辆图像检索实验精确度
检索时效性如表3所示：
表3.5基于单一深度神经网络的车辆图像检索模型平均检索时间
由表2可知，在检索精确度方面，单一深度神经网络的车辆图像检索模型针对整车图像检索问题，采用DenseNet121检索模型检索正确率最高，检索正确率为92.12％；针对车脸图像检索问题，采用DenseNet121检索模型检索正确率最高，检索正确率为91.55％；针对车窗图像检索问题，采用DenseNet121检索模型检索正确率最高，检索正确率为92.86％；基于车牌图像检索问题，采用ResNet50检索模型检索正确率最高，检索正确率为87.53％。
由表3可知，在检索时效性方面，单一深度神经网络的车辆图像检索模型针对整车图像检索问题，采用VGG16检索模型平均检索时间最短，平均检索时间为0.384s；针对车脸图像检索问题，采用VGG16检索模型平均检索时间最短，平均检索时间为0.258s；针对车窗图像检索问题，采用ResNet50检索模型平均检索时间最短，平均检索时间为0.254s；基于车牌图像检索问题，采用VGG16检索模型平均检索时间最短，平均检索时间为0.297s。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (9)
1.一种基于深度学习神经网络的高速公路车辆图像检索方法，其特征在于，包括以下步骤：
S1、采用高速公路监控相机获取高速公路场景图像，对高速公路场景图像采用基于Faster-RCNN的车辆检测模型，将检测到的整车区域及车辆部件区域进行切割保存，以构建包含整车图像区域及车辆部件区域的车辆检索图像数据集；
S2、构建用于车辆图像检索的基于VGG16网络模型，即VGGNet-16；
S3、构建用于车辆图像检索的基于ResNet50网络模型，即ResNet-50；
S4、构建用于车辆图像检索的基于DenseNet121网络模型，即DenseNet-121；
S5、基于深度学习神经网络的车辆图像检索模型对车辆检索图像数据集与待检索图像进行特征提取，计算车辆检索图像数据集中每张图像的特征与待检索图像特征的欧式距离，并按所计算的欧式距离值进行排序，取排序最靠前的1张图像作为图像检索结果输出；
S6：构建基于深度学习神经网络的车辆图像检索方法的评价指标，包含检索正确率、误检率和漏检率三种检索精确度指标及包含平均检索时间的检索时效性指标；对基于深度学习神经网络的高速公路车辆图像检索方法的检索性能进行评估。
2.根据权利要求1所述的方法，其特征在于：所述步骤S1中构建车辆检索图像数据集的具体方法如下：
S11、收集高速公路辆图像若干幅，采用Labelme软件进行标注，标注内容包括整车图像位置、车辆部件位置及其对应的车辆类型，车辆类型包含“car”、“bus”、“van”、“truck”、“minitruck”和“other”6种；
S12、将图像数据集转化为PascalVOC格式，按照80％为训练集、20％为验证集的比例划分车辆检测图像训练集与验证集；
S13、将车辆检测图像训练集与验证集输入Faster-RCNN的车辆检测模型进行模型训练；
S14、收集待切割的原始高速公路场景图像若干幅，包含“car”、“bus”、“van”、“truck”、“minitruck”和“other”6种车辆类型，以及多种光照场景；
S15、采用训练好的Faster-RCNN的车辆检测模型将每张原始图像分别切割出相对应的整车图像、车脸图像、车牌图像和车窗图像；
S16、在完成整车图像、车脸图像、车牌图像和车窗图像的检测和切割后，对切割完成的图像进行进一步筛查，剔除其中存在问题的图像，将经筛查后的图像构建为车辆图像检索样本集；
S17、从车辆图像检索样本集中，在整车图像数据集、车脸图像数据集、车窗图像数据集、车牌图像数据集四个数据集中均存在对应车辆的图像中于每个数据集各选取若干张图像；将整车图像和车脸图像的曝光度调整为-0.5，对比度设置为-35；将测试集中整车图像和车脸图像的曝光度调整为-0.35，对比度设置为-20；将经预处理后的9859张图像构建为车辆图像检索测试集。
3.根据权利要求1所述的方法，其特征在于：所述S1中采用基于Faster-RCNN的车辆检测模型进行图像检测与切割，对于Faster-RCNN模型，采用VGG16网络结构，其在结构上共包括1个输入层、13个卷积层、5个最大池化层、3个全连接层和1个Soft-Max输出层，在模型训练时，首先读取VGG16预训练的模型权重，在模型训练过程中，设置模型训练迭代次数为40000次，batch size为256，采用momentum优化算法，并将动量超参数设置为0.9来保证损失函数的平滑下降，在模型的训练过程中，对网络各层相关参数进行同步更新，最终获得训练在车辆检测模型训练集上的基于Faster-RCNN的车辆检测VGG16网络模型。
4.根据权利要求1所述的方法，其特征在于：所述S2中采用基于VGG16网络模型进行车辆图像检索，VGG16网络模型由5层卷积层和3层全连接层组成，输入图像为224×224的三通道图像，最终输出1×1×1000的车辆图像特征。
5.根据权利要求1所述的方法，其特征在于：所述S3中采用基于ResNet50网络模型进行车辆图像检索，对于ResNet50网络模型，卷深度学习神经网络由五个部分组成，第一部分为预处理层，第二、三、四、五部分分别为3、4、6、3个Bottleneck模块，输入图像为224×224的三通道图像，最终输出为大小为1×1×1000的车辆图像特征图。
6.根据权利要求1所述的方法，其特征在于：所述S4中采用基于DenseNet121网络模型进行车辆图像检索，对于DenseNet121网络模型，卷深度学习神经网络由4个DenseBlock模块和3个Transition模块组成，输入图像为224×224的三通道图像，最终输出为大小为1×1×1000的车辆图像特征图。
7.根据权利要求1所述的方法，其特征在于：所述S5中基于深度学习神经网络的图像检索模型的具体检索过程为：
车辆检索图像样本集中的车辆图像依次通过基于深度学习神经网络的车辆检索模型进行特征提取,每张图像的车辆图像特征及其文件名称分别保存在两个数据集中，随后两个数据集被保存在同一个h5文件中，构建车辆特征数据库。当车辆图像测试集中的待检索图像输入车辆检索系统后，由该深度学习神经网络对待检索图像进行图像特征提取，将提取好的特征在车辆特征数据库中进行逐一匹配，计算每张图像的特征与待检索图像特征的欧式距离，并按所计算的欧式距离值进行排序，取排序最靠前的1张图像作为图像检索结果输出。在对当前车辆图像完成车辆检索后，采用循环遍历方式，对车辆图像测试集中下一张图像进行检索流程，直至对车辆图像测试集中全部车辆完成检索。
8.根据权利要求9所述的方法，其特征在于：所述步骤中采用的欧式距离计算的具体内容为：
对于特征
与
特征(y1，y2…yn)，令
表示特征
与特征
之间的相似度：
9.根据权利要求1所述的方法，其特征在于：所述步骤S6中构建基于深度学习神经网络的车辆图像检索方法的评价指标的具体内容为：
计算图像检索正确率：
计算图像检索误检率：
计算图像检索漏检率：
计算平均检索时间
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211157110.XA CN115512154A (zh) | 2022-09-21 | 2022-09-21 | 基于深度学习神经网络的高速公路车辆图像检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211157110.XA CN115512154A (zh) | 2022-09-21 | 2022-09-21 | 基于深度学习神经网络的高速公路车辆图像检索方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115512154A true CN115512154A (zh) | 2022-12-23 |
Family
ID=84506631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211157110.XA Pending CN115512154A (zh) | 2022-09-21 | 2022-09-21 | 基于深度学习神经网络的高速公路车辆图像检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115512154A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679078A (zh) * | 2017-08-29 | 2018-02-09 | 银江股份有限公司 | 一种基于深度学习的卡口图像车辆快速检索方法及系统 |
| CN107885764A (zh) * | 2017-09-21 | 2018-04-06 | 银江股份有限公司 | 基于多任务深度学习快速哈希车辆检索方法 |
| CN109885718A (zh) * | 2019-02-28 | 2019-06-14 | 江南大学 | 一种基于深度车贴检测的嫌疑车辆检索方法 |
| CN110555125A (zh) * | 2018-05-14 | 2019-12-10 | 桂林远望智能通信科技有限公司 | 一种基于局部特征的车辆检索方法 |
| US20200074205A1 (en) * | 2017-06-28 | 2020-03-05 | Beijing Sensetime Technology Development Co., Ltd. | Methods and apparatuses for vehicle appearance feature recognition, methods and apparatuses for vehicle retrieval, storage medium, and electronic devices |
| CN111104867A (zh) * | 2019-11-25 | 2020-05-05 | 北京迈格威科技有限公司 | 基于部件分割的识别模型训练、车辆重识别方法及装置 |
| US20200234086A1 (en) * | 2019-01-22 | 2020-07-23 | Honda Motor Co., Ltd. | Systems for modeling uncertainty in multi-modal retrieval and methods thereof |
| CN111694974A (zh) * | 2020-06-12 | 2020-09-22 | 桂林电子科技大学 | 一种融合注意力机制的深度哈希车辆图像检索方法 |
| CN111694977A (zh) * | 2020-06-12 | 2020-09-22 | 桂林电子科技大学 | 一种基于数据增强的车辆图像检索方法 |
| CN112863186A (zh) * | 2021-01-18 | 2021-05-28 | 南京信息工程大学 | 一种基于车载无人机的逃逸车辆快速识别和追踪方法 |
| CN112966137A (zh) * | 2021-01-27 | 2021-06-15 | 中国电子进出口有限公司 | 基于全局与局部特征重排的图像检索方法与系统 |
-
2022
- 2022-09-21 CN CN202211157110.XA patent/CN115512154A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200074205A1 (en) * | 2017-06-28 | 2020-03-05 | Beijing Sensetime Technology Development Co., Ltd. | Methods and apparatuses for vehicle appearance feature recognition, methods and apparatuses for vehicle retrieval, storage medium, and electronic devices |
| CN107679078A (zh) * | 2017-08-29 | 2018-02-09 | 银江股份有限公司 | 一种基于深度学习的卡口图像车辆快速检索方法及系统 |
| CN107885764A (zh) * | 2017-09-21 | 2018-04-06 | 银江股份有限公司 | 基于多任务深度学习快速哈希车辆检索方法 |
| CN110555125A (zh) * | 2018-05-14 | 2019-12-10 | 桂林远望智能通信科技有限公司 | 一种基于局部特征的车辆检索方法 |
| US20200234086A1 (en) * | 2019-01-22 | 2020-07-23 | Honda Motor Co., Ltd. | Systems for modeling uncertainty in multi-modal retrieval and methods thereof |
| CN109885718A (zh) * | 2019-02-28 | 2019-06-14 | 江南大学 | 一种基于深度车贴检测的嫌疑车辆检索方法 |
| CN111104867A (zh) * | 2019-11-25 | 2020-05-05 | 北京迈格威科技有限公司 | 基于部件分割的识别模型训练、车辆重识别方法及装置 |
| CN111694974A (zh) * | 2020-06-12 | 2020-09-22 | 桂林电子科技大学 | 一种融合注意力机制的深度哈希车辆图像检索方法 |
| CN111694977A (zh) * | 2020-06-12 | 2020-09-22 | 桂林电子科技大学 | 一种基于数据增强的车辆图像检索方法 |
| CN112863186A (zh) * | 2021-01-18 | 2021-05-28 | 南京信息工程大学 | 一种基于车载无人机的逃逸车辆快速识别和追踪方法 |
| CN112966137A (zh) * | 2021-01-27 | 2021-06-15 | 中国电子进出口有限公司 | 基于全局与局部特征重排的图像检索方法与系统 |
Non-Patent Citations (2)
| Title |
|---|
| TRANG T.T. P HUNG 等: "Deep Feature Learning Network for Vehicle Retrieval" * |
| 刘满意: "基于卷积神经网络的大规模车辆图像检索研究" * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914907B (zh) | 一种基于深度学习空谱联合网络的高光谱图像分类方法 | |
| CN108388888B (zh) | 一种车辆识别方法、装置和存储介质 | |
| CN109993082B (zh) | 卷积神经网络道路场景分类与道路分割方法 | |
| CN108830254B (zh) | 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法 | |
| CN112270347A (zh) | 一种基于改进ssd的医疗废弃物分类检测方法 | |
| CN112966137B (zh) | 基于全局与局部特征重排的图像检索方法与系统 | |
| CN109255284A (zh) | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 | |
| CN110929746A (zh) | 一种基于深度神经网络的电子卷宗标题定位提取与分类方法 | |
| CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
| CN115375959A (zh) | 一种车辆图像识别模型建立及识别方法 | |
| CN117152513A (zh) | 一种面向夜间场景的车辆边界定位方法 | |
| CN116012653A (zh) | 一种注意力残差单元神经网络高光谱图像分类方法及系统 | |
| CN112150443B (zh) | 基于空气质量数据图谱的列车车载空调剩余寿命预测方法 | |
| CN115512154A (zh) | 基于深度学习神经网络的高速公路车辆图像检索方法 | |
| CN112308066A (zh) | 一种车牌识别系统 | |
| CN116503631A (zh) | 一种yolo-tgb车辆检测系统及方法 | |
| CN115659056A (zh) | 基于大数据的用户服务精准匹配系统 | |
| CN115731436B (zh) | 基于深度学习融合模型的高速公路车辆图像检索方法 | |
| CN115527193A (zh) | 一种中药材种类识别方法 | |
| CN110263788B (zh) | 车辆通行快速识别方法及系统 | |
| CN112749731A (zh) | 一种基于深度神经网络的票据数量识别方法及系统 | |
| CN111931768A (zh) | 一种自适应样本分布的车辆识别方法及系统 | |
| CN110674820A (zh) | 一种基于卷积神经网络的车牌校准识别方法、系统及电子设备 | |
| CN116342115B (zh) | 一种基于人脸识别的停车场收费系统及方法 | |
| CN111222463A (zh) | 一种基于级联式卷积网络的机动车人脸检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221223 |
|
| RJ01 | Rejection of invention patent application after publication |