CN111553205A - 无车牌信息车辆重识别方法、系统、介质、视频监控系统 - Google Patents

无车牌信息车辆重识别方法、系统、介质、视频监控系统 Download PDF

Info

Publication number
CN111553205A
CN111553205A CN202010282766.9A CN202010282766A CN111553205A CN 111553205 A CN111553205 A CN 111553205A CN 202010282766 A CN202010282766 A CN 202010282766A CN 111553205 A CN111553205 A CN 111553205A
Authority
CN
China
Prior art keywords
feature
vehicle
image
network
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010282766.9A
Other languages
English (en)
Other versions
CN111553205B (zh
Inventor
李洁
陈威
王飞
续拓
张翔宇
焦群翔
刘学文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010282766.9A priority Critical patent/CN111553205B/zh
Publication of CN111553205A publication Critical patent/CN111553205A/zh
Application granted granted Critical
Publication of CN111553205B publication Critical patent/CN111553205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles

Abstract

本发明属于图像处理技术领域，公开了一种无车牌信息车辆重识别方法、系统、介质、视频监控系统，获取数据集并进行数据集划分、预处理；使用预先训练过的ResNet‑50作为主干网络，进行提取基础特征张量；加入通道注意力机制与空间注意力机制得到新的特征张量；设计四个相对独立的网络分别用于提取更高层次的语意特征；利用交叉熵损失函数和三元组损失函数对车辆整体网络进行训练优化得到训练模型；用训练好的模型对测试图像测试得到重识别初始排序结果；对初始排序结果使用重排序算法再次排序；可视化最终排序结果。本发明有效提高无车牌信息情况下的车辆重识别识别率，提高了复杂场景下的基于无车牌信息的车辆重识别准确率。

Description

无车牌信息车辆重识别方法、系统、介质、视频监控系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种无车牌信息车辆重识别方法、系统、介质、视频监控系统。
背景技术
目前，车辆重识别技术是在视频监控系统中匹配到由不同外界条件、不同摄像机拍摄到的同一车辆目标的技术。该工作始于20世纪末，首先得到运用的是基于车牌信息的车辆重识别方法，这类方法需要对车牌进行定位，然后是字符分割与识别。目前定位功能主要运用灰度信息、颜色与纹理信息和基于神经网络等方法实现，分割与识别功能主要采用模板匹配和神经网络等方法实现，但是在社会汽车保有量日益增多的今天，基于车牌信息的车辆重识别方法无法处理车辆套牌、无牌、多车一号等情况，因此在车辆发生交通违法或者警察追捕犯罪嫌疑车辆而需要锁定无车牌信息的车辆时，更需要综合其他非车牌信息，完成车辆重识别工作，继而实现多功能且性能稳定的智能交通解决方案。传统的无车牌信息车辆重识别方法主要是通过提取车辆图像的HSV特征、LBP特征以及HOG等手工特征来进行图像特征匹配过程，之后通过对车辆颜色、车型、以及车辆挡风玻璃等分类实现车辆重识别工作，但单一的手工特征提取方法的精度普遍不高，因此这样的方法提取的各个特征单一粗糙，使得实现速度慢且效果很不理想。近年来，深度学习(DeepLearning)席卷计算机视觉界的各个领域，极大的推动了Re-ID的发展，越来越多的方法利用深度神经网络训练模型提取有效特征来实现车辆重识别技术，逐渐使得深度学习方法成为了实现车辆重识别工作的主流方法。
目前业内常用的现有技术主要通过深度学习提取车辆的颜色、属性、ID等特征，并将各特征进行统一融合，之后将融合后的特征进行相似性度量来实现车辆重识别工作。例如，授权公告号为CN108875754A的“一种基于多深度特征融合网络的车辆再识别方法”中国专利中，该方法通过深度卷积网络提取训练车辆图像的深度ID特征，提取训练车辆图像的深度颜色特征，提取训练车辆图像的深度车型特征，将提取的三种深度特征进行组合拼接，获得融合特征，通过Softmax分类函数对融合后的深度特征进行分类，该方法结合了深度学习与特征融合的优点，解决了传统车辆再辨识方法对多个线索的依赖以及手工特征精度不高的问题，但是仍然存在的不足是，车辆颜色、车型等特征容易受到光照、物体遮挡及拍摄角度等外界因素的影响，因此对于环境复杂度较高的车辆图像来说，通过提取车辆的深度颜色特征和深度车型特征等外观特征进行分类在一定程度上会影响车辆重识别准确度，另外忽略了车辆全局特征与局部特征相结合在重识别工作中的重要作用。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统手工特征提取单一，精度低。
(2)传统技术光照强度、物体遮挡及拍摄角度等因素的影响，导致一些深度学习方法提取的深度外观特征的有效性较差，使得现有很多基于深度学习的车辆重识别技术准确率不高。
(3)传统技术忽略了车辆局部特征对于重识别准确率的重要性。
(4)传统技术车辆重识别结果top-1准确率低于top-5准确率过多。
解决以上问题及缺陷的难度为：基于无车牌信息的车辆重识别方法不同于车型分类、车牌检测与车脸识别，其不仅要判断两辆车是否属于同一个精细车型，还需要确定两辆同一年款相同颜色的车是不是同一辆车，这就需要我们既要关注车辆颜色、车型等大型全局特征，更要关注车窗玻璃年检标、车窗附近摆件、挂件等小型局部特征，而这些局部特征往往很难精确捕捉。再加上光照、天气、亮度、拍摄角度等环境因素的影响，造成同一车辆在不同环境下被不同摄像头捕获到的颜色、大小、车辆形状、车辆角度都存在很大差异，使得无车牌信息的车辆重识别技术更复杂且更具挑战性。
解决以上问题及缺陷的意义为：伴随城镇化建设，汽车保有量与日俱增，立体交通网络纷繁复杂，车辆的车牌信息错误或缺失等问题给交通管理以及维护公共安全带来严重挑战，因此提高基于无车牌信息的车辆重识别方法的识别精度，并将其应用到智能交通管理及违法犯罪追踪中具有非常重要的意义。例如在搜索犯罪嫌疑车辆方面，面对嫌疑车辆无牌、套牌等车牌信息错误或者缺失的情况，由于无法使用车牌信息进行细致搜索，因此需要通过车辆重识别技术来进行查找。其次，在交警进行车辆违章判罚方面，需要结合前端抓拍的图来判断目标车辆是否存在不按车道线行驶、闯红灯、压线等违章操作，但由于车辆在夜晚或者转弯或者较远时无法正确检测和识别车牌，这就需要使用车辆重识别技术在抓拍图中找到目标车辆。第三，在智能管理方面，对于一些自动收费系统，例如自动收费停车场对无牌车进行计费也需要使用到车辆重识别技术。最后是在无人驾驶方面，车辆重识别技术在一定程度上能够帮助分析判断出近几个几十个小时中，无人驾驶车辆周围车辆的行驶轨迹以及跟踪轨迹等，有助于无人驾驶技术的研究。因此研究与解决基于无车牌信息的车辆重识别方法在环境复杂度高的影响下而导致识别精度低的问题，具有重要的理论意义和重要实用价值。
发明内容
针对现有技术存在的问题，本发明提供了一种无车牌信息车辆重识别方法、系统、介质、视频监控系统。
本发明是这样实现的，一种无车牌信息车辆重识别方法，所述无车牌信息车辆重识别方法包括：获取数据集并进行数据集划分、预处理；构建ss车辆重识别主干网络，使用一个在ImageNet上预先训练过的ResNet-50作为主干网络，并修正进行提取基础特征张量；加入通道注意力机制与空间注意力机制对基础特征张量进行进一步操作，得到新的特征张量；构建多向细粒度特征划分网络，设计四个相对独立的网络GMA、HMM、WMM、WHG，四个网络之间不共享参数，分别用于提取更高层次的语意特征；利用交叉熵损失函数和三元组损失函数对车辆整体网络进行训练优化得到训练模型；用训练好的模型对测试图像进行测试得到重识别初始排序结果；对初始排序结果使用重排序算法进行再次排序；可视化最终排序结果。
进一步，所述无车牌信息车辆重识别方法包括：
第一步，获取车辆重识别数据集及标注文件，通过目标检测获取摄像头捕获到的车辆图像，保存至Image文件，之后对相应车辆图像的名称、标签、和摄像头ID进行标注形成.txt标注文件；
第二步，划分车辆重识别训练集与测试集；
(1)将得到的所有车辆图像按照一定比例划分训练集与测试集，训练集数据占一半以上；
(2)将划分好的测试集再分为探测集和图库集，探测集里每个ID的车辆图像为1幅，用于查询；其余作为图库图像使用；
第三步，对训练集和测试集全部图像进行预处理；
(1)对数据集里每幅图像确定其车辆区域的正向最小外接矩形，并进行剪裁；
(2)将剪裁后的车辆图像重新调整为288*288大小；
第四步，构建主干网络，使用一个在ImageNet上预先训练过的ResNet-50作为主干网络，其中保留了Resnet-50网络部分原始结构，并稍加修正，提取到车辆图像的基础特征张量T；
第五步，加入通道注意力机制与空间注意力机制对基础特征张量进行进一步操作，得到新的特征张量T'；
(1)加入通道注意力机制，将得到的基础特征张量T的每一个通道都视为一个特征检测器，使用全局最大池化和全局平均池化对特征张量在空间维度上进行压缩得到两个不同空间特征描述，然后通过卷积网络等操作对其进行计算得到通道注意力映射MC(T),最后将得到的通道注意力映射MC(T)与输入的基础特征张量T相乘得到特征张量TC；
(2)加入空间注意力机制，将得到的特征张量TC再分别使用最大池化和平均池化对其在通道维度上进行压缩，得到两个二维的特征，然后将其按照通道维度拼接在一起，得到一个通道数为2的特征，之后通过一个包含单个卷积核的隐藏层对其进行卷积等一系列操作得到空间注意力映射MS(TC),最后将得到的通道注意力映射MS(TC)与特征张量TC相乘得到特征张量T'；
第六步，构建多向细粒度特征划分网络，在得到图像基础特征之后，设计四个相对独立的网络，四个网络之间不共享参数，分别用于提取更高层次的语意特征；
(1)第一个相对独立网络GMA用于提取图像的全局特征：GMA由两个更精细的网络分支组成，该两个分支之间共享参数，经过一系列网络层分别提取深层次特征进行Loss计算，优化模型；
(2)第二个相对独立网络HMM用于提取图像的细粒度特征：HMM由两个更精细的网络分支组成，该两个分支之间共享参数，两个分支分别将第五步得到的车辆特征T'通过特征通道与特征高度进行特征四等分割，每个分支得到四个不同的特征块，共八个特征块，之后通过一系列网络层提取深层次的细粒度特征进行Loss计算，优化模型；
(3)第三个相对独立网络WMM用于提取图像的另一部分细粒度特征：WMM由两个更精细的网络分支组成，两个分支之间共享参数，两个分支分别将第五步里得到的车辆特征T'通过特征通道与特征宽度进行特征四等分割，每个分支得到四个不同的特征块，共八个特征块，之后通过一系列网络层提取深层次的细粒度特征进行Loss计算，优化模型；
(4)第四个相对独立网络WHG用于提取图像的细粒度全局特征：WHG将第五步里得到的车辆特征T'通过特征高度与特征宽度按照横向、纵向进行特征平均分割，得到四个深度相同的特征块，之后将四个特征块分别通过一系列网络层提取深层次的细粒度特征进行Loss计算，优化模型；
第七步，利用多向细粒度划分网络联合多损失函数对数据进行训练；
(1)将训练图像送入整个多向细粒度特征划分网络中，采用向前传播算法分别提取其各个细粒度特征；
(2)将第六步的(1)-(4)得到的深度细粒度特征分别进行softmax交叉熵损失计算，之后将得到的各个特征的交叉熵损失进行求和并求均值，得到最终的交叉熵损失LSoftmax；
(3)将第六步的(3)-(4)得到的部分深度细粒度特征，分别计算三元组损失LTriplet，之后联合交叉熵损失LSoftmax以及三元组损失LTriplet，通过公式计算得到最终损失：Ltotal＝λ1LSoftmax+λ2LTriplet，其中λ为平衡两种损失函数的参数；
(4)利用分类结果和真实结果的误差，通过反向传播算法来训练整个多向细粒度特征划分网络，在不停的前向反向传播中来训练参数，使最终损失函数值越来越小，直至模型收敛；
第八步，使用第七步中训练得到的基于深度学习多向细粒度特征划分网络模型进行测试，实现重识别过程：
(1)将多向细粒度特征划分网络中最后一个完全连接层Fc之前得到的深度细粒度特征进行特征向量拼接，获得融合特征V，将融合特征V用作测试特征；
(2)对测试集中的探测图像集进行特征提取：利用多向细粒度特征划分网络模型提取探测集中的各个图像特征，分别进行特征拼接融合，得到每个图像对应的融合特征VPi，得到特征向量VP＝[VP1,VP2,VP3…VPm]，其中探测集里共有m张图像；
(3)对图库集中的所有图库图像进行特征提取：利用多向细粒度特征划分网络模型提取图库集图像特征，并分别进行特征拼接融合，得到每个图像对应的融合特征Vgj，从而得到特征向量Vg＝[Vg1,Vg2,Vg3…Vgn]，其中图库集里共有n张图像；
第九步，计算特征相似度并进行初始排序；
(1)已知探测图像Pi的特征向量VPi＝(x1,x2,x3…xk)，图库图像gj的特征向量Vgj＝(y1,y2,y3…yk)，则图像Pi与图像gj之间的距离计算公式：
Figure BDA0002447341350000051
(2)将探测集里每个探测图像与图库集里每个图库图像分别计算距离，并将每个探测图像返回一个与所有图库图像的距离从小到大排序，得到相似度初始排序结果；
第十步，通过K-RNN集合方法将初始排序结果进行再重排序；
(1)对于探测图像Pi，将返回的初始排序中前k个图库图像记为伪探测图像，k＝10，将该k个伪探测图像分别作为探测图像进行探测，并返回k个伪排序列表；
(2)查看返回的k个伪排序列表里每个列表对应的前k个图像是否包含原始探测图像Pi，将列表中包含Pi的伪探测图像构成K-RNN集合，即K-RNN集合是一个仅包含图库图像的集合，且里面的图库图像与探测图像相似度更高；
(3)对原始探测图像Pi的K-RNN集合里的图像元素再分别求其K-RNN集合，将重合达到一定数量的样本并入Pi的K-RNN集合里，最后通过计算Jaccard距离得到重排序结果；
第十一步，根据重排序的结果来输出预测结果并进行排序结果可视化，将与探测图像相似度最高的前10个车辆图像可视化出来，并保存成一张图片。
进一步，所述第四步保留了Resnet-50网络部分原始结构，并修正，实现方法为：保留了Resnet-50网络原始结构中包括Bottleneck模块Conv4及其前面的网络层不变，将原始Resnet50中最后一个模块Conv5的下采样步幅设置为1，使得特征尺寸没有缩为一半，其网络层依次为：卷积层Conv1→批归一化层BN1→线性整流层Relu→最大池化层Maxpool→Bottleneck模块Conv2_1→Bottleneck模块Conv2_2→Bottleneck模块Conv2_3→Bottleneck模块Conv3_1→Bottleneck模块Conv3_2→Bottleneck模块Conv3_3→Bottleneck模块Conv3_4→Bottleneck模块Conv4_1→Bottleneck模块Conv4_2→Bottleneck模块Conv4_3→Bottleneck模块Conv4_4→Bottleneck模块Conv4_5，→Bottleneck模块Conv4_6→模块Conv5，由此提取到车辆图像的基础特征；
Bottleneck模块包括这三层卷积结构，分别是1*1卷积，3*3卷积和1*1卷积，其中第一个1*1卷积层负责减小特征维度，使3*3卷积层成为具有较小输入/输出尺寸的瓶颈，第三个1*1卷积层负责增加特征维度。
进一步，所述第五步的(1)加入通道注意力机制，实现步骤为：
所述第五步的(1)中加入通道注意力机制，实现方法为：
1)将第四步中得到的基础特征张量
Figure BDA0002447341350000061
分别使用全局最大池化和全局平均池化对特征张量在空间维度上进行压缩，从而得到两个不同的一维空间特征描述
Figure BDA0002447341350000062
与
Figure BDA0002447341350000063
2)将得到的一维特征矢量
Figure BDA0002447341350000064
与
Figure BDA0002447341350000065
分别通过卷积网络操作，得到两个新的特征向量
Figure BDA0002447341350000066
与
Figure BDA0002447341350000069
3)将f1 C与f2 C相加后通过激活函数得到通道注意力映射
Figure BDA0002447341350000067
计算公式如下：
MC(T)＝σ(MLP(GMP(T)+MLP(GAP(T)))；
4)将得到的通道注意力映射MC(T)与输入的基础特征张量T相乘得到特征张量TC,计算公式如下：
Figure BDA0002447341350000068
进一步，所述第五步的(2)中加入空间注意力机制，实现步骤为：
1)将第五步的(2)中得到的特征张量
Figure BDA0002447341350000071
在通道维度上分别进行最大池化和平均池化操作，得到两个二维的特征矢量
Figure BDA0002447341350000072
与
Figure BDA0002447341350000073
2)将
Figure BDA0002447341350000074
与
Figure BDA0002447341350000075
按照通道维度进行拼接融合，得到一个新的特征张量
Figure BDA0002447341350000076
3)使用一个卷积核为7*7的隐藏卷积层对张量Ts进行卷积操作得到
Figure BDA0002447341350000077
以保证最后得到的特征在空间维度上与输入的特征一致；
4)之后通过激活函数得到空间注意力映射
Figure BDA0002447341350000078
计算公式如下：
Ms(TC)＝σ(f7*7([Avgpool(TC)；Maxpool(TC)]))；
5)将得到的通道注意力映射Ms(TC)与输入的基础特征张量TC相乘得到特征张量T',计算公式如下：
Figure BDA0002447341350000079
进一步，所述第六步的(1)中构建GMA网络实现步骤为：
1)第一个分支将第五步得到的车辆特征张量T'通过一个全局最大池化GMP1进行信息压缩，提取图像全局性纹理特征，将提取的特征通过一个卷积层Conv1和一个批归一化层BN1，得到的特征f1a，将得到的特征f1a通过一个完全连接层Fc1得到特征F1a，之后通过softmax函数计算IDloss；
2)第二个分支将第五步得到的车辆特征T'通过全局平均池化GAP1信息压缩，提取图像全局性背景特征，将提取到的特征通过卷积层Conv2和一个批归一化层BN2，得到的特征f1b，将得到的特征f1b通过一个完全连接层Fc2得到特征F1b，通过softmax函数计算IDloss。
所述第六步的(2)中构建HMM网络实现步骤为：
1)第一个分支将第五步得到的车辆特征T'通过最大池化MP1进行降维，相当于求一个最大值，先将降维后的特征通过一个卷积层Conv4和一个批归一化层BN4得到特征f2a_0，其中特征f2a_0作为计算tripletloss的一个输入，之后将f2a_0通过一个完全连接层Fc4得到特征F2a_0，同时将降维后的特征按照通道等量分割成四块，变为四个不同的特征，之后将分割后的四个特征分别通过一个卷积层Conv3和一个批归一化层BN3得到特征f2a_1，f2a_2，f2a_3，f2a_4，将得到的特征f2a_1，f2a_2，f2a_3，f2a_4分别通过完全连接层Fc3得到特征F2a_1，F2a_2，F2a_3，F2a_4，将得到的F2a_0，F2a_1，F2a_2，F2a_3，F2a_4特征通过softmax函数分别计算IDloss；
2)第二个分支将第五步得到的车辆特征T'通过最大池化MP2降维，相当于求一个最大值，将降维后的特征按照高度等量分割成四块，变为四个不同的特征，将四个特征分别通过卷积层Conv5和一个批归一化层BN5，分别得到的特征f2b_1，f2b_2，f2b_3，f2b_4，将得到的特征f2b_1，f2b_2，f2b_3，f2b_4分别通过完全连接层Fc5得到特征F2b_1，F2b_2，F2b_3，F2b_4，再通过softmax函数分别计算IDloss。
进一步，所述第六步的(3)中构建WMM网络实现步骤为：
1)将第五步得到的车辆特征T'通过最大池化MP3进行降维，将降维后完整的特征通过通道进行分割，变为四个不同的特征，将划分后的四个特征以及划分前的特征分别通过卷积层Conv6、Conv7和批归一化层BN6、BN7，分别得到的特征征f3a_1，f3a_2，f3a_3，f3a_4，f3a_0，其中f3a_0作为计算tripletloss的另一个输入，将得到的特征f3a_1，f3a_2，f3a_3，f3a_4，f3a_0分别通过完全连接层Fc6、Fc7得到特征F3a_1，F3a_2，F3a_3，F3a_4，F3a_0，再通过softmax函数分别计算IDloss；
2)第二个分支将第五步得到的车辆特征T'通过最大池化MP4进行降维，之后将降维后的特征按照宽度等量分割成四块，变为四个不同的特征，将该四个特征分别通过一个卷积层Conv8和一个批归一化层BN8，分别得到的特征f3b_1，f3b_2，f3b_3，f3b_4，将得到的特征f3b_1，f3b_2，f3b_3，f3b_4分别通过完全连接层Fc8得到特征F3b_1，F3b_2，F3b_3，F3b_4再通过softmax函数分别计算IDloss。
所述第六步的(4)中构建WHG网络实现步骤为：WHG将第五步得到的车辆特征T'分别沿着高度与宽度按照横向、纵向进行特征平均分割，得到四个深度相同的特征块，将四个特征块分别通过全局最大池化GMP2信息压缩，之后将压缩后四个特征分别通过卷积层Conv9和批归一化层BN9得到特征f4a_1，f4a_2，f4a_3，f4a_4，将得到的特征f4a_1，f4a_2，f4a_3，f4a_4分别通过完全连接层Fc9得到特征F4a_1，F4a_2，F4a_3，F4a_4，再通过softmax函数分别计算IDloss。
进一步，所述第七步的(2)中本交叉熵损失计算公式为：
Figure BDA0002447341350000091
其中，K表示在训练过程中数据每通过一次网络结构，计算交叉熵损失的特征个数，一张图像通过一次网络会提取到24个细粒度特征进行计算交叉熵损失，一张图像对应K＝24；n表示批大小，每次取多少个样本数据喂进网络，n＝24；C表示分类数；y代表输入图像的真实标签，f[v]表示第预测出的第v个标签的完全连接层的输出。
进一步，所述第七步的(3)中三元组损失及联合损失计算公式为：
Figure BDA0002447341350000092
其中，α是阈值参数；对于每一个训练batch，随机挑选P个不同ID的车辆，每个不同ID的车辆再随机挑选K张不同的图片，即一个batch含有P×K张图片；对于batch中的每一张图片a，计算初始样本a和batch中的每一张图片在特征空间的欧式距离，然后选出与a距离最远的正样本p和距离最近的负样本n来与a组成三元组；
计算联合损失：
Ltotal＝λ1Lsoftmax+λ2Ltriplet；
设置λ1＝2，λ2＝0.5。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：获取数据集并进行数据集划分、预处理；构建车辆重识别主干网络，使用一个在ImageNet上预先训练过的ResNet-50作为主干网络，并修正进行提取基础特征张量；加入通道注意力机制与空间注意力机制对基础特征张量进行进一步操作，得到新的特征张量；构建多向细粒度特征划分网络，设计四个相对独立的网络GMA、HMM、WMM、WHG，四个网络之间不共享参数，分别用于提取更高层次的语意特征；利用交叉熵损失函数和三元组损失函数对车辆整体网络进行训练优化得到训练模型；用训练好的模型对测试图像进行测试得到重识别初始排序结果；对初始排序结果使用重排序算法进行再次排序；可视化最终排序结果。
本发明的另一目的在于提供一种实施所述无车牌信息车辆重识别方法的无车牌信息车辆重识别系统，所述无车牌信息车辆重识别系统包括：
数据集处理模块，用于获取数据集并进行数据集划分、预处理；
基础特征张量提取模块，用于构建车辆重识别主干网络，使用一个在ImageNet上预先训练过的ResNet-50作为主干网络，并修正进行提取基础特征张量；
注意力机制模块，用于对图像重点区域信息的强调，加入通道注意力机制与空间注意力机制对基础特征张量进行进一步操作，得到新的特征张量；
更高层次语意特征提取模块，用于构建多向细粒度特征划分网络，设计四个相对独立的网络GMA、HMM、WMM、WHG，四个网络之间不共享参数，分别用于提取更高层次的语意特征；
训练模型获取模块，用于利用交叉熵损失函数和三元组损失函数对车辆整体网络进行训练优化得到训练模型；
重识别初始排序结果模块，用于通过训练好的模型对测试图像进行测试得到重识别初始排序结果；
重排序模块，用于对初始排序结果使用重排序算法进行再次排序，可视化最终排序结果。
本发明的另一目的在于提供一种视频监控系统，所述视频监控系统搭载所述的无车牌信息车辆重识别系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明通过对特征张量的多向细粒度划分使得整个方法更加注重全局特征与局部特征相结合，用于解决现有技术中存在的因环境复杂度高而导致车辆重识别精度低的问题。可用于无车牌信息的车辆重识别系统与车辆检索系统中。
本发明是基于无车牌信息的车辆重识别方法，适用于套牌车、追踪违法犯罪车辆等方面，该方法通过加入注意力机制，并对特征张量进行多向细粒度划分，形成一个完整有效的特征提取网络，整个过程更加注重全局特征与局部特征相结合，解决了现有技术中存在的因环境复杂度高而导致车辆重识别精度低的问题，有效提高了车辆重识别的准确率。
本发明实现多损失联合优化，不仅是将交叉熵损失应用在各个细粒度特征分类，同时加入了三元组损失来优化模型，最后加入了重排序算法来提高重识别准确率，解决了车辆重识别结果top-1准确率低于top-5准确率过多的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的无车牌信息车辆重识别方法流程图。
图2是本发明实施例提供的无车牌信息车辆重识别方法实现流程图。
图3是本发明实施例提供的整体网络架构图。
图4是本发明实施例提供的Resnet50主干网络的结构图。
图5是本发明实施例提供的注意力机制网络的结构图。
图6是本发明实施例提供的多向细粒度特征划分网络的结构图。
图7是本发明实施例提供的最终重识别排序结果的可视化图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种无车牌信息车辆重识别方法、系统、介质、视频监控系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的无车牌信息车辆重识别方法包括以下步骤：
S101：将主干网络提取到的基础特征张量依次通过通道注意力机制与空间注意力机制，得到新的特征张量；
S102：将新的特征张量进行多向细粒度划分，分为多个不同的分支，各分支之间相互独立，不共享参数；
S103：将划分后的多个特征张量再分别经过一系列网络层得到更深层的特征，实现细粒度特征的提取；
S104：联合多损失函数进行优化。
下面结合附图对本发明的技术方案作详细的描述。
如图2所示，本发明提供的无车牌信息车辆重识别方法具体包括以下步骤：
步骤1)获取车辆重识别数据集及标注文件：通过前期目标检测等工作获取摄像头捕获到的车辆图像，保存至Image文件，之后对相应车辆图像的名称、标签、和摄像头ID等进行标注形成.txt标注文件。
步骤2)划分车辆重识别训练集与测试集：
步骤2a)将得到的所有车辆图像按照2:1的比例分为训练集与测试集；
步骤2b)将划分好的测试集再分为探测集和图库集，通常情况下，探测集里每个ID的车辆图像为1幅，用做查询图像；其余作为图库图像(搜索库)使用。
步骤3)对训练集和测试集全部图像进行预处理：
步骤3a)对数据集里每幅图像确定其车辆区域的正向最小外接矩形，并进行剪裁；
步骤3b)将剪裁后的车辆图像重新调整为288*288大小。
步骤4)构建Resnet-50主干网络：
使用一个在ImageNet上预先训练过的ResNet-50作为主干网络，其中保留了Resnet-50网络原始结构中包括Bottleneck模块Conv4及其前面的网络层不变，同时为了能够保证特征张量足够大，以清晰方便地实现细粒度特征划分，将原始Resnet50中最后一个模块Conv5的下采样步幅设置为1，使得特征尺寸没有缩为一半，参照图4(a)，其网络层依次为：卷积层Conv1→批归一化层BN1→线性整流层Relu→最大池化层Maxpool→Bottleneck模块Conv2_1→Bottleneck模块Conv2_2→Bottleneck模块Conv2_3→Bottleneck模块Conv3_1→Bottleneck模块Conv3_2→Bottleneck模块Conv3_3→Bottleneck模块Conv3_4→Bottleneck模块Conv4_1→Bottleneck模块Conv4_2→Bottleneck模块Conv4_3→Bottleneck模块Conv4_4→Bottleneck模块Conv4_5，→Bottleneck模块Conv4_6→模块Conv5，由此提取到车辆图像的基础特征张量T。其中Bottleneck模块结构参照图4(b)，其主要包括这三层卷积结构，分别是1*1卷积，3*3卷积和1*1卷积，其中第一个1*1卷积层负责减小特征维度，使3*3卷积层成为具有较小输入/输出尺寸的瓶颈，第三个1*1卷积层负责增加(恢复)特征维度。Bottleneck模块主要目的是为了减少参数的数量，从而减少计算量，且在降维之后可以更加有效、直观地进行数据的训练和特征提取；
步骤5)加入通道注意力机制与空间注意力机制对步骤4)中得到的基础特征张量T进行进一步操作，得到新的特征张量T'；
步骤5a)参照图5(a)，加入通道注意力机制：将得到的基础特征张量T的每一个通道都视为一个特征检测器，使用全局最大池化和全局平均池化对特征张量在空间维度上进行压缩得到两个不同空间特征描述，然后通过卷积网络等操作对其进行计算得到通道注意力映射MC(T),最后将得到的通道注意力映射MC(T)与输入的基础特征张量T相乘得到特征张量TC：
步骤5a1)将步骤4)中得到的基础特征张量
Figure BDA0002447341350000121
分别使用全局最大池化和全局平均池化对特征张量在空间维度上进行压缩，从而得到两个不同的一维空间特征描述
Figure BDA0002447341350000122
与
Figure BDA0002447341350000123
步骤5a2)将得到的一维特征矢量
Figure BDA0002447341350000124
与
Figure BDA0002447341350000125
分别通过卷积网络操作，得到两个新的特征向量
Figure BDA0002447341350000126
与
Figure BDA0002447341350000127
步骤5a3)将f1 C与f2 C相加后通过激活函数得到通道注意力映射
Figure BDA0002447341350000131
计算公式如下：
MC(T)＝σ(MLP(GMP(T)+MLP(GAP(T)))；
步骤5a4)将得到的通道注意力映射MC(T)与输入的基础特征张量T相乘得到特征张量TC,计算公式如下：
Figure BDA0002447341350000132
步骤5b)参照图5(b)，加入空间注意力机制：将得到的特征张量TC分别使用最大池化和平均池化对其在通道维度上进行压缩，得到两个二维的特征，然后将其按照通道维度拼接在一起，得到一个通道数为2的特征，之后通过一个包含单个卷积核的隐藏层对其进行卷积等一系列操作得到空间注意力映射MS(TC),最后将得到的通道注意力映射MS(TC)与特征张量TC相乘得到特征张量T'：
步骤5b1)将步骤5a4)中得到的特征张量
Figure BDA0002447341350000133
在通道维度上分别进行最大池化和平均池化操作，得到两个二维的特征矢量
Figure BDA0002447341350000134
与
Figure BDA0002447341350000135
步骤5b2)将
Figure BDA0002447341350000136
与
Figure BDA0002447341350000137
按照通道维度进行拼接融合，得到一个新的特征张量
Figure BDA0002447341350000138
步骤5b3)使用一个卷积核为7*7的隐藏卷积层对张量Ts进行卷积操作得到
Figure BDA0002447341350000139
以保证最后得到的特征在空间维度上与输入的特征一致；
步骤5b4)之后通过激活函数得到空间注意力映射
Figure BDA00024473413500001310
计算公式如下：
Ms(TC)＝σ(f7*7([Avgpool(TC)；Maxpool(TC)]))；
步骤5b5)将得到的通道注意力映射Ms(TC)与输入的基础特征张量TC相乘得到特征张量T',计算公式如下：
Figure BDA00024473413500001311
步骤6)构建多向细粒度特征划分网络：
在得到图像特征T'之后，设计四个相对独立的网络，四个网络之间不共享参数，分别用于提取更高层次的语意特征；
步骤6a)参照图6，第一个相对独立网络GMA用于提取图像的全局特征：GMA由两个细小的网络分支组成，该两个分支之间共享参数：
步骤6a1)第一个分支将步骤5)里得到的车辆特征张量T'通过一个全局最大池化(GMP1)进行信息压缩，来提取图像全局性纹理特征，之后将提取的特征通过一个卷积层(Conv1)和一个批归一化层(BN1)，得到的特征f1a，将得到的特征f1a通过一个完全连接层(Fc1)得到特征F1a，之后通过softmax函数计算IDloss；
步骤6a2)第二个分支将步骤5)里得到的车辆特征T'通过全局平均池化(GAP1)进行信息压缩，来提取图像全局性背景特征，之后将提取到的特征通过卷积层(Conv2)和一个批归一化层(BN2)，得到的特征f1b，将得到的特征f1b通过一个完全连接层(Fc2)得到特征F1b，之后通过softmax函数计算IDloss；
步骤6b)第二个相对独立网络HMM，通过将特征图谱进行多向分割，用于提取图像的细粒度特征：
步骤6b1)参照图6，HMM由两个细小的网络分支组成，该两个分支之间共享参数：第一个分支将步骤5)里得到的车辆特征T'通过最大池化(MP1)进行降维，相当于求一个最大值。先将降维后的特征通过一个卷积层(Conv4)和一个批归一化层(BN4)得到特征f2a_0，其中特征f2a_0可作为计算tripletloss的一个输入，之后将f2a_0通过一个完全连接层(Fc4)得到特征F2a_0，同时将降维后的特征按照通道等量分割成四块，变为四个不同的特征，之后将分割后的四个特征分别通过一个卷积层(Conv3)和一个批归一化层(BN3)得到特征f2a_1，f2a_2，f2a_3，f2a_4，将得到的特征f2a_1，f2a_2，f2a_3，f2a_4分别通过完全连接层(Fc3)得到特征F2a_1，F2a_2，F2a_3，F2a_4，最后将得到的F2a_0，F2a_1，F2a_2，F2a_3，F2a_4特征通过softmax函数分别计算IDloss；
步骤6b2)第二个分支将步骤5)里得到的车辆特征T'通过最大池化(MP2)进行降维，相当于求一个最大值。之后将降维后的特征按照高度等量分割成四块，变为四个不同的特征，之后将该四个特征分别通过卷积层(Conv5)和一个批归一化层(BN5)，分别得到的特征f2b_1，f2b_2，f2b_3，f2b_4，将得到的特征f2b_1，f2b_2，f2b_3，f2b_4分别通过完全连接层(Fc5)得到特征F2b_1，F2b_2，F2b_3，F2b_4，之后再通过softmax函数分别计算IDloss；
步骤6c)第三个相对独立网络WMM，通过将特征图谱进行多向分割，用于提取图像的细粒度特征：
步骤6c1)参照图6，WMM由两个细小的网络分支组成，该两个分支之间共享参数：第一个分支与步骤6b)的第一个分支相同，即将步骤5)里得到的车辆特征T'通过最大池化(MP3)进行降维，之后将降维后完整的特征通过通道进行分割，变为四个不同的特征，之后将划分后的四个特征以及划分前的特征分别通过卷积层(Conv6、Conv7)和批归一化层(BN6、BN7)，分别得到的特征征f3a_1，f3a_2，f3a_3，f3a_4，f3a_0，其中f3a_0可作为计算tripletloss的另一个输入，之后将得到的特征f3a_1，f3a_2，f3a_3，f3a_4，f3a_0分别通过完全连接层(Fc6、Fc7)得到特征F3a_1，F3a_2，F3a_3，F3a_4，F3a_0，之后再通过softmax函数分别计算IDloss；
步骤6c2)第二个分支将步骤5)里得到的车辆特征T'通过最大池化(MP4)进行降维，之后将降维后的特征按照宽度等量分割成四块，变为四个不同的特征，之后将该四个特征分别通过一个卷积层(Conv8)和一个批归一化层(BN8)，分别得到的特征f3b_1，f3b_2，f3b_3，f3b_4，将得到的特征f3b_1，f3b_2，f3b_3，f3b_4分别通过完全连接层(Fc8)得到特征F3b_1，F3b_2，F3b_3，F3b_4之后再通过softmax函数分别计算IDloss；
步骤6d)第四个相对独立网络WHG，通过将特征图谱进行多向分割，用于提取图像的细粒度特征；
参照图6，WHG将步骤5)里得到的车辆特征T'分别沿着高度与宽度按照横向、纵向进行特征平均分割，得到四个深度相同的特征块，之后将四个特征块分别通过全局最大池化(GMP2)进行信息压缩，之后将压缩后四个特征分别通过卷积层(Conv9)和批归一化层(BN9)得到特征f4a_1，f4a_2，f4a_3，f4a_4，将得到的特征f4a_1，f4a_2，f4a_3，f4a_4分别通过完全连接层(Fc9)得到特征F4a_1，F4a_2，F4a_3，F4a_4，之后再通过softmax函数分别计算IDloss；
步骤7)利用整体车辆重识别网络联合多损失函数对训练数据进行训练，其中网络总体架构参照图3；
步骤7a)对训练图像数据进行数据增强：添加随机擦除、随机剪裁、随机水平翻转等操作；
步骤7b)加载预训练模型，使用GPU进行训练，设置number_works为4，设置训练batch_size为24，使用共训练100个epoch，每20个epoch作为一个checkpoint保存训练模型，设置初始学习率lr为0.0002，使用Adam优化算法，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率；
步骤7c)将3*288*288大小的图像首先通过Resnet-50主干网络，经过多个Bottleneck模块，最终得到2048*18*18特征图，其中最后一个Bottleneck模块Conv5的下采样步幅设置为1，使得特征尺寸没有减半；
步骤7d)将2048*18*18大小特征图输入进注意力机制模块，由通道注意力机制与空间注意力机制进行提取特征：
步骤7d1)将2048*18*18大小特征图输入通道注意力机制模块，分别使用全局最大池化和全局平均池化对特征张量在空间维度上进行压缩得到两个大小为2048*1*1的一维特征向量，然后通过卷积网络等操作对其进行计算得到大小为2048*1*1的通道注意力映射MC(T)，最后将得到的通道注意力映射MC(T)与输入的基础特征张量T相乘得到大小为2048*18*18特征张量TC；
步骤7d2)将2048*18*18大小的特征张量TC特征图输入空间注意力机制模块，分别使用最大池化和平均池化对其在通道维度上进行压缩，得到两个大小为1*18*18的二维特征矢量，然后将其按照通道维度拼接在一起，得到一个通道数为2的特征矢量，即2*18*18，之后通过一个卷积核为7*7的隐藏卷积层对其进行卷积等一系列操作得到大小为1*18*18的空间注意力映射MS(TC),最后将得到的通道注意力映射MS(TC)与特征张量TC相乘得到大小为2048*18*18的特征张量T'；
步骤7e)将2048*18*18大小特征图T'输入进多向细粒度特征划分网络，由各个分支网络提取细粒度特征；
步骤7e1)在第一个独立网络GMA中，输入为2048*18*18大小特征张量T'，分别经过一个全局最大池化(GMP1)和一个全局平均池化(GAP1)，降维成2048*1*1的特征分别构成了两个分支，再将得到的两个向量分别经过两个1*1卷积层和BN层，输出256*1的特征向量f1a与f1b，最后通过完全连接层与softmax函数计算交叉熵损失，进行分类；
步骤7e2)在第二个相对独立网络HMM中，输入为2048*18*18大小特征张量T'，第一个分支中首先经过一个16*16的最大池化层(MP1)降维成2048*1*1的特征，先将此2048*1*1特征直接通过一个1*1卷积层和BN层，得到256*1大小的特征向量f2a_0，其中f2a_0作为计算tripletloss的一个输入；之后将2048*1*1大小的特征张量按照通道数进行均等分割，分割成四个512*1*1大小的特征，然后再将得到的四个特征分别经过1*1卷积层和BN层，输出四个256*1的特征向量f2a_1，f2a_2，f2a_3，f2a_4，最后通过完全连接层与softmax函数计算交叉熵损失，进行分类；第二个分支中首先经过一个4*16的最大池化层(MP2)降维成2048*4*1的特征，之后将2048*4*1大小的特征张量按照高度数进行均等分割，分割成四个2048*1*1大小的特征，然后再将得到的四个特征分别经过1*1卷积层和BN层，输出四个256*1的特征向量f2b_1，f2b_2，f2b_3，f2b_4，最后通过完全连接层与softmax函数计算交叉熵损失，进行分类；
步骤7e3)在第三个相对独立网络WMM中，输入为2048*18*18大小特征张量T'，第一个分支中首先经过一个16*16的最大池化层(MP3)降维成2048*1*1的特征，先将此2048*1*1特征直接通过一个1*1卷积层和BN层，得到256*1大小的特征向量f3a_0，其中f3a_0作为计算tripletloss的另外一个输入；之后将2048*1*1大小的特征张量按照通道数进行均等分割，分割成四个512*1*1大小的特征，然后再将得到的四个特征分别经过1*1卷积层和BN层，输出四个256*1的特征向量f3a_1，f3a_2，f3a_3，f3a_4，最后通过完全连接层与softmax函数计算交叉熵损失，进行分类；第二个分支中首先经过一个16*4的最大池化层(MP4)降维成2048*1*4的特征，之后将2048*1*4大小的特征张量按照宽度数进行均等分割，分割成四个2048*1*1大小的特征，然后再将得到的四个特征分别经过1*1卷积层和BN层，输出四个256*1的特征向量f3b_1，f3b_2，f3b_3，f3b_4，最后通过完全连接层与softmax函数计算交叉熵损失，进行分类；
步骤7e4)在第四个相对独立网络HMM中，输入为2048*18*18大小特征张量T'，特征张量按照高度和宽度分别进行横向与纵向的均等分割，分割成四个2048*9*9大小的特征，之后分别经过全局最大池化层(GMP2)进行降维得到四个2048*1*1特征，然后再将得到的四个特征分别经过1*1卷积层和BN层，输出四个256*1的特征向量f4a_1，f4a_2，f4a_3，f4a_4，最后通过完全连接层与softmax函数计算交叉熵损失，进行分类；
步骤7f)整个网络的联合交叉熵损失为各个特征的交叉熵损失进行求和并求均值，计算公式如下：
Figure BDA0002447341350000171
其中，K表示在训练过程中数据每通过一次网络结构，需要计算交叉熵损失的特征个数，即一张图像通过一次网络会提取到24个细粒度特征进行计算交叉熵损失，即一张图像对应K＝24；n表示批大小，每次取多少个样本数据喂进网络，本发明中，n＝24；C表示分类数；y代表输入图像的真实标签，f[v]表示第预测出的第v个标签的完全连接层的输出；
步骤7g)计算tripletloss(三元组损失)，并实现联合损失计算：
步骤7g1)使用深度细粒度特征f2a_0，f3a_0计算三元组损失：该三元组损失在原始计算方法基础上进行了优化，由行人重识别论文中提出，其主要方法是，首先对于每一个训练batch，随机挑选P个不同ID的车辆，每个不同ID的车辆再随机挑选K张不同的图片，即一个batch含有P×K张图片。之后对于batch中的每一张图片a，计算a(初始样本)和batch中的每一张图片在特征空间的欧式距离，然后选出与a距离最远(最不像)的正样本p和距离最近(最像)的负样本n来与a组成三元组，从而计算tripletloss，计算公式如下：
Figure BDA0002447341350000181
其中，α是人为设定的阈值参数；
步骤7g2)计算联合损失：
Ltotal＝λ1Lsoftmax+λ2Ltriplet；
本发明中设置λ1＝2，λ2＝0.5；
步骤7h)不断进行向前向后传播，迭代训练，更新参数，最终保存训练模型用于后续重识别测试。
步骤8)使用训练得到的基于深度学习多向细粒度特征划分网络模型进行测试，实现重识别过程：
步骤8a)在测试过程中，将网络中最后一个完全连接层(Fc)之前得到的深度细粒度特征进行特征向量拼接，从而获得融合特征V＝{f1a，f1b，f2a_1，f2a_2，f2a_3，f2a_4，f2b_1，f2b_2，f2b_3，f2b_4，f3a_1，f3a_2，f3a_3，f3a_4，f3b_1，f3b_2，f3b_3，f3b_4，f4a_1，f4a_2，f4a_3，f4a_4}，将融合特征V用作测试特征；
步骤8b)对测试集中的探测图像集进行特征提取：利用多向细粒度特征划分网络模型提取探测集中的各个图像特征，对于每个图像Pi，其对应的融合特征记为VPi，从而得到探测图像特征向量VP＝[VP1,VP2,VP3…VPm]，其中探测集里共有m张图像；
步骤8c)对图库集中的所有图库图像进行特征提取：利用多向细粒度特征划分网络模型提取图库集图像特征，对于每个图像gi，其对应的融合特征记为Vgj，从而得到特征向量Vg＝[Vg1,Vg2,Vg3…Vgn]，其中图库集里共有n张图像。
步骤9)计算特征间距离并进行初始排序：
步骤9a)已知探测图像Pi的特征向量VPi＝(x1,x2,x3…xk)，图库图像gj的特征向量Vgj＝(y1,y2,y3…yk)，则图像Pi与图像gj之间的距离计算公式：
Figure BDA0002447341350000191
其中，k表示特征向量VPi与Vgj的维数；
步骤9b)将探测集里每个探测图像与图库集里每个图库图像分别计算距离，并将每个探测图像返回一个与所有图库图像的距离排名(从小到大排序)，从而得到相似度初始排序结果，即定义探测图像Pi在图库检索的top-k排序如下：
Figure BDA0002447341350000192
其中，g为图库集里图像。
步骤10)通过K-RNN集合方法将初始排序结果进行再重排序；
步骤10a)对于探测图像Pi，将返回的初始排序中前k(本发明中k＝10)个图库图像记为伪探测图像，将该k个伪探测图像分别作为探测图像进行测试，并返回k个伪排序列表；
步骤10b)查看返回的k个伪排序列表里每个列表对应的前k个图像是否包含原始探测图像Pi，将列表中包含Pi的伪探测图像作为集合元素，构成K-RNN集合，即K-RNN集合是一个仅包含图库图像的集合，且相比下，K-RNN集合里的图库图像与探测图像相似度更高，即K-RNN集合定义如下：
Figure BDA0002447341350000193
步骤10c)对原始探测图像Pi的K-RNN集合里的图像元素再分别求其K-RNN集合，将重合达到一定数量的样本图像并入Pi的K-RNN集合里，将新的K-RNN集合记为：
Figure BDA0002447341350000194
最后通过计算Jaccard距离得到重排序结果，计算公式如下：
Figure BDA0002447341350000201
步骤11)根据重排序的结果来输出预测结果并进行排序结果可视化：
将与探测图像相似度最高的前10个车辆图像按顺序(top-1～top10)可视化出来并进行验证，若重识别结果与探测车辆为同一辆车，则将图像上方数字标绿，反之，若识别错误，则将图像上方数字标红，最后保存成一张图片，参照图7。
以下结合仿真实验对本发明的技术效果作详细的说明。
1.仿真条件：
本发明是在中央处理器为Intel(R)Core(TM)i7-7700GPU@3.60GHzWin10系统下，使用Pytorch运行平台。
2.仿真内容及结果分析
本发明主要实现了一种无车牌信息车辆重识别方法、系统、介质、视频监控系统，是基于深度学习之下的多向细粒度特征划分的无车牌信息车辆重识别方法，与现有技术相比，本发明提高了车辆重识别精度与准确率，可用于帮助公安机关追踪无牌、套牌、车牌遮挡缺失等违法犯罪车辆以及智能交通管理方面。
在车辆重识别方面，通常应用Rank-k以及mAP(平均精度均值)来进行准确率评估。其中，Rank-k又可以称作top-k，其中，rank1是指搜索结果中最靠前(置信度最高)的n张图有正确结果的概率；mAP(平均精度均值)又叫做平均搜索精度，是指对于整个探测集里所有图像进行测试，得到的结果的平均精度AP(AveragePrecision)求和之后再取平均。
经实验验证，本发明在在VehicleID数据集上，小测试集上rank-1准确率高达90.25，rank-5准确率高达95.87，mAP高达82.42，在中测试集上rank-1准确率高达88.18，rank-5准确率高达94.56，mAP高达77.20，在大测试集上rank-1准确率高达86.25，rank-5准确率高达93.20，mAP高达74.81；在VeRi-776数据集上rank-1准确率高达97.20，rank-5准确率高达98.27，mAP高达84.85。
参照图7，图7(a)为探测图像query在传统方法下进行重识别得到的结果，已知探测图像query在图库集里仅含有2张捕获到的图像，由图7(a)可看到，该两张正确的图像分别排在第3位与第5位，而图7(b)则为探测图像query在本发明方法下进行重识别得到的结果，可看到两张正确的图像分别排在第1位与第2位，提高了重识别的精度。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (12)

1.一种无车牌信息车辆重识别方法，其特征在于，所述无车牌信息车辆重识别方法包括：获取数据集并进行数据集划分、预处理；构建车辆重识别主干网络，使用一个在ImageNet上预先训练过的ResNet-50作为主干网络，并修正进行提取基础特征张量；加入通道注意力机制与空间注意力机制对基础特征张量进行进一步操作，得到新的特征张量；构建多向细粒度特征划分网络，设计四个相对独立的网络GMA、HMM、WMM、WHG，四个网络之间不共享参数，分别用于提取更高层次的语意特征；利用交叉熵损失函数和三元组损失函数对车辆整体网络进行训练优化得到训练模型；用训练好的模型对测试图像进行测试得到重识别初始排序结果；对初始排序结果使用重排序算法进行再次排序；可视化最终排序结果。
2.如权利要求1所述的无车牌信息车辆重识别方法，其特征在于，所述无车牌信息车辆重识别方法包括：
第一步，获取车辆重识别数据集及标注文件，通过目标检测获取摄像头捕获到的车辆图像，保存至Image文件，之后对相应车辆图像的名称、标签、和摄像头ID进行标注形成.txt标注文件；
第二步，划分车辆重识别训练集与测试集；
(1)将得到的所有车辆图像按照一定比例划分训练集与测试集，训练集数据占一半以上；
(2)将划分好的测试集再分为探测集和图库集，探测集里每个ID的车辆图像为1幅，用于查询；其余作为图库图像使用；
第三步，对训练集和测试集全部图像进行预处理；
(1)对数据集里每幅图像确定其车辆区域的正向最小外接矩形，并进行剪裁；
(2)将剪裁后的车辆图像重新调整为288*288大小；
第四步，构建主干网络，使用一个在ImageNet上预先训练过的ResNet-50作为主干网络，其中保留了Resnet-50网络部分原始结构，并稍加修正，提取到车辆图像的基础特征张量T；
第五步，加入通道注意力机制与空间注意力机制对基础特征张量进行进一步操作，得到新的特征张量T'；
(1)将得到的基础特征张量T的每一个通道都视为一个特征检测器，使用全局最大池化和全局平均池化对特征张量在空间维度上进行压缩得到两个不同空间特征描述，然后通过卷积网络等操作对其进行计算得到通道注意力映射MC(T),最后将得到的通道注意力映射MC(T)与输入的基础特征张量T相乘得到特征张量TC；
(2)将得到的特征张量TC再分别使用最大池化和平均池化对其在通道维度上进行压缩，得到两个二维的特征，然后将其按照通道维度拼接在一起，得到一个通道数为2的特征，之后通过一个包含单个卷积核的隐藏层对其进行卷积等一系列操作得到空间注意力映射MS(TC),最后将得到的通道注意力映射MS(TC)与特征张量TC相乘得到特征张量T'；
第六步，构建多向细粒度特征划分网络，在得到图像特征T'之后，设计四个相对独立的网络，四个网络之间不共享参数，分别用于提取更高层次的语意特征；
(1)第一个相对独立网络GMA用于提取图像的全局特征：GMA由两个更精细的网络分支组成，该两个分支之间共享参数，经过一系列网络层分别提取深层次特征进行Loss计算，优化模型；
(2)第二个相对独立网络HMM用于提取图像的细粒度特征：HMM由两个更精细的网络分支组成，该两个分支之间共享参数，两个分支分别将第五步得到的车辆特征T'通过特征通道与特征高度进行特征四等分割，每个分支得到四个不同的特征块，共八个特征块，之后通过一系列网络层提取深层次的细粒度特征进行Loss计算，优化模型；
(3)第三个相对独立网络WMM用于提取图像的另一部分细粒度特征：WMM由两个更精细的网络分支组成，两个分支之间共享参数，两个分支分别将第五步里得到的车辆特征T'通过特征通道与特征宽度进行特征四等分割，每个分支得到四个不同的特征块，共八个特征块，之后通过一系列网络层提取深层次的细粒度特征进行Loss计算，优化模型；
(4)第四个相对独立网络WHG用于提取图像的细粒度全局特征：WHG将第五步里得到的车辆特征T'通过特征高度与特征宽度按照横向、纵向进行特征平均分割，得到四个深度相同的特征块，之后将四个特征块分别通过一系列网络层提取深层次的细粒度特征进行Loss计算，优化模型；
第七步，利用多向细粒度划分网络联合多损失函数对数据进行训练；
(1)将训练图像送入整个多向细粒度特征划分网络中，采用向前传播算法分别提取其各个细粒度特征；
(2)将第六步的(1)-(4)得到的深度细粒度特征分别进行softmax交叉熵损失计算，之后将得到的各个特征的交叉熵损失进行求和并求均值，得到最终的交叉熵损失LSoftmax；
(3)将第六步的(3)-(4)得到的部分深度细粒度特征，分别计算三元组损失LTriplet，之后联合交叉熵损失LSoftmax以及三元组损失LTriplet，通过公式计算得到最终损失：Ltotal＝λ1LSoftmax+λ2LTriplet，其中λ为平衡两种损失函数的参数；
(4)利用分类结果和真实结果的误差，通过反向传播算法来训练整个多向细粒度特征划分网络，在不停的前向反向传播中来训练参数，使最终损失函数值越来越小，直至模型收敛；
第八步，使用第七步中训练得到的基于深度学习多向细粒度特征划分网络模型进行测试，实现重识别过程：
(1)将多向细粒度特征划分网络中最后一个完全连接层Fc之前得到的深度细粒度特征进行特征向量拼接，获得融合特征V，将融合特征V用作测试特征；
(2)对测试集中的探测图像集进行特征提取：利用多向细粒度特征划分网络模型提取探测集中的各个图像特征，分别进行特征拼接融合，得到每个图像对应的融合特征VPi，得到特征向量VP＝[VP1,VP2,VP3…VPm]，其中探测集里共有m张图像；
(3)对图库集中的所有图库图像进行特征提取：利用多向细粒度特征划分网络模型提取图库集图像特征，并分别进行特征拼接融合，得到每个图像对应的融合特征Vgj，从而得到特征向量Vg＝[Vg1,Vg2,Vg3…Vgn]，其中图库集里共有n张图像；
第九步，计算特征相似度并进行初始排序；
(1)已知探测图像Pi的特征向量VPi＝(x1,x2,x3…xk)，图库图像gj的特征向量Vgj＝(y1,y2,y3…yk)，则图像Pi与图像gj之间的距离计算公式：
Figure RE-FDA0002576456440000041
(2)将探测集里每个探测图像与图库集里每个图库图像分别计算距离，并将每个探测图像返回一个与所有图库图像的距离从小到大排序，得到相似度初始排序结果；
第十步，通过K-RNN集合方法将初始排序结果进行再重排序；
(1)对于探测图像Pi，将返回的初始排序中前k个图库图像记为伪探测图像，k＝10，将该k个伪探测图像分别作为探测图像进行探测，并返回k个伪排序列表；
(2)查看返回的k个伪排序列表里每个列表对应的前k个图像是否包含原始探测图像Pi，将列表中包含Pi的伪探测图像构成K-RNN集合，即K-RNN集合是一个仅包含图库图像的集合，且里面的图库图像与探测图像相似度更高；
(3)对原始探测图像Pi的K-RNN集合里的图像元素再分别求其K-RNN集合，将重合达到一定数量的样本并入Pi的K-RNN集合里，最后通过计算Jaccard距离得到重排序结果；
第十一步，根据重排序的结果来输出预测结果并进行排序结果可视化，将与探测图像相似度最高的前10个车辆图像可视化出来，并保存成一张图片。
3.如权利要求2所述的无车牌信息车辆重识别方法，其特征在于，所述第四步保留了Resnet-50网络部分原始结构，并修正，实现方法为：保留了Resnet-50网络原始结构中包括Bottleneck模块Conv4及其前面的网络层不变，将原始Resnet50中最后一个模块Conv5的下采样步幅设置为1，使得特征尺寸没有缩为一半，其网络层依次为：卷积层Conv1→批归一化层BN1→线性整流层Relu→最大池化层Maxpool→Bottleneck模块Conv2_1→Bottleneck模块Conv2_2→Bottleneck模块Conv2_3→Bottleneck模块Conv3_1→Bottleneck模块Conv3_2→Bottleneck模块Conv3_3→Bottleneck模块Conv3_4→Bottleneck模块Conv4_1→Bottleneck模块Conv4_2→Bottleneck模块Conv4_3→Bottleneck模块Conv4_4→Bottleneck模块Conv4_5，→Bottleneck模块Conv4_6→模块Conv5，由此提取到车辆图像的基础特征；
Bottleneck模块包括这三层卷积结构，分别是1*1卷积，3*3卷积和1*1卷积，其中第一个1*1卷积层负责减小特征维度，使3*3卷积层成为具有较小输入/输出尺寸的瓶颈，第三个1*1卷积层负责增加特征维度。
4.如权利要求2所述的无车牌信息车辆重识别方法，其特征在于，所述第五步的(1)中加入通道注意力机制，实现方法为：
1)将第四步中得到的基础特征张量
Figure RE-FDA0002576456440000051
分别使用全局最大池化和全局平均池化对特征张量在空间维度上进行压缩，从而得到两个不同的一维空间特征描述
Figure RE-FDA0002576456440000052
与
Figure RE-FDA0002576456440000053
2)将得到的一维特征矢量
Figure RE-FDA0002576456440000054
与
Figure RE-FDA0002576456440000055
分别通过卷积网络操作，得到两个新的特征向量
Figure RE-FDA0002576456440000056
与
Figure RE-FDA0002576456440000057
3)将f1 C与f2 C相加后通过激活函数得到通道注意力映射
Figure RE-FDA0002576456440000061
计算公式如下：
MC(T)＝σ(MLP(GMP(T)+MLP(GAP(T)))；
4)将得到的通道注意力映射MC(T)与输入的基础特征张量T相乘得到特征张量TC,计算公式如下：
Figure RE-FDA0002576456440000062
5.如权利要求2所述的无车牌信息车辆重识别方法，其特征在于，所述第五步的(2)中加入空间注意力机制，实现方法为：
1)将第五步的(2)中得到的特征张量
Figure RE-FDA0002576456440000063
在通道维度上分别进行最大池化和平均池化操作，得到两个二维的特征矢量
Figure RE-FDA0002576456440000064
与
Figure RE-FDA0002576456440000065
2)将
Figure RE-FDA0002576456440000066
与
Figure RE-FDA0002576456440000067
按照通道维度进行拼接融合，得到一个新的特征张量
Figure RE-FDA0002576456440000068
3)使用一个卷积核为7*7的隐藏卷积层对张量Ts进行卷积操作得到
Figure RE-FDA0002576456440000069
以保证最后得到的特征在空间维度上与输入的特征一致；
4)之后通过激活函数得到空间注意力映射
Figure RE-FDA00025764564400000610
计算公式如下：
Ms(TC)＝σ(f7*7([Avgpool(TC)；Maxpool(TC)]))；
5)将得到的通道注意力映射Ms(TC)与输入的基础特征张量TC相乘得到特征张量T',计算公式如下：
Figure RE-FDA00025764564400000611
6.如权利要求2所述的无车牌信息车辆重识别方法，其特征在于，所述第六步的(1)中构建GMA网络实现步骤为：
1)第一个分支将第五步得到的车辆特征张量T'通过一个全局最大池化GMP1进行信息压缩，提取图像全局性纹理特征，将提取的特征通过一个卷积层Conv1和一个批归一化层BN1，得到的特征f1a，将得到的特征f1a通过一个完全连接层Fc1得到特征F1a，之后通过softmax函数计算ID loss；
2)第二个分支将第五步得到的车辆特征T'通过全局平均池化GAP1信息压缩，提取图像全局性背景特征，将提取到的特征通过卷积层Conv2和一个批归一化层BN2，得到的特征f1b，将得到的特征f1b通过一个完全连接层Fc2得到特征F1b，通过softmax函数计算ID loss；
所述第六步的(2)中构建HMM网络实现步骤为：
1)第一个分支将第五步得到的车辆特征T'通过最大池化MP1进行降维，相当于求一个最大值，先将降维后的特征通过一个卷积层Conv4和一个批归一化层BN4得到特征f2a_0，其中特征f2a_0作为计算triplet loss的一个输入，之后将f2a_0通过一个完全连接层Fc4得到特征F2a_0，同时将降维后的特征按照通道等量分割成四块，变为四个不同的特征，之后将分割后的四个特征分别通过一个卷积层Conv3和一个批归一化层BN3得到特征f2a_1，f2a_2，f2a_3，f2a_4，将得到的特征f2a_1，f2a_2，f2a_3，f2a_4分别通过完全连接层Fc3得到特征F2a_1，F2a_2，F2a_3，F2a_4，将得到的F2a_0，F2a_1，F2a_2，F2a_3，F2a_4特征通过softmax函数分别计算ID loss；
2)第二个分支将第五步得到的车辆特征T'通过最大池化MP2降维，相当于求一个最大值，将降维后的特征按照高度等量分割成四块，变为四个不同的特征，将四个特征分别通过卷积层Conv5和一个批归一化层BN5，分别得到的特征f2b_1，f2b_2，f2b_3，f2b_4，将得到的特征f2b_1，f2b_2，f2b_3，f2b_4分别通过完全连接层Fc5得到特征F2b_1，F2b_2，F2b_3，F2b_4，再通过softmax函数分别计算ID loss。
7.如权利要求2所述的无车牌信息车辆重识别方法，其特征在于，所述第六步的(3)中构建WMM网络实现步骤为：
1)将第五步得到的车辆特征T'通过最大池化MP3进行降维，将降维后完整的特征通过通道进行分割，变为四个不同的特征，将划分后的四个特征以及划分前的特征分别通过卷积层Conv6、Conv7和批归一化层BN6、BN7，分别得到的特征征f3a_1，f3a_2，f3a_3，f3a_4，f3a_0，其中f3a_0作为计算triplet loss的另一个输入，将得到的特征f3a_1，f3a_2，f3a_3，f3a_4，f3a_0分别通过完全连接层Fc6、Fc7得到特征F3a_1，F3a_2，F3a_3，F3a_4，F3a_0，再通过softmax函数分别计算ID loss；
2)第二个分支将第五步得到的车辆特征T'通过最大池化MP4进行降维，之后将降维后的特征按照宽度等量分割成四块，变为四个不同的特征，将该四个特征分别通过一个卷积层Conv8和一个批归一化层BN8，分别得到的特征f3b_1，f3b_2，f3b_3，f3b_4，将得到的特征f3b_1，f3b_2，f3b_3，f3b_4分别通过完全连接层Fc8得到特征F3b_1，F3b_2，F3b_3，F3b_4再通过softmax函数分别计算ID loss；
所述第六步的(4)中构建WHG网络实现步骤为：WHG将第五步得到的车辆特征T'分别沿着高度与宽度按照横向、纵向进行特征平均分割，得到四个深度相同的特征块，将四个特征块分别通过全局最大池化GMP2信息压缩，之后将压缩后四个特征分别通过卷积层Conv9和批归一化层BN9得到特征f4a_1，f4a_2，f4a_3，f4a_4，将得到的特征f4a_1，f4a_2，f4a_3，f4a_4分别通过完全连接层Fc9得到特征F4a_1，F4a_2，F4a_3，F4a_4，再通过softmax函数分别计算ID loss。
8.如权利要求2所述的无车牌信息车辆重识别方法，其特征在于，所述第七步的(2)中本交叉熵损失计算公式为：
Figure RE-FDA0002576456440000081
其中，K表示在训练过程中数据每通过一次网络结构，计算交叉熵损失的特征个数，一张图像通过一次网络会提取到24个细粒度特征进行计算交叉熵损失，一张图像对应K＝24；n表示批大小，每次取多少个样本数据喂进网络，n＝24；C表示分类数；y代表输入图像的真实标签，f[v]表示第预测出的第v个标签的完全连接层的输出。
9.如权利要求2所述的无车牌信息车辆重识别方法，其特征在于，所述第七步的(3)中三元组损失及联合损失计算公式为：
Figure RE-FDA0002576456440000091
其中，α是阈值参数；对于每一个训练batch，随机挑选P个不同ID的车辆，每个不同ID的车辆再随机挑选K张不同的图片，即一个batch含有P×K张图片；对于batch中的每一张图片a，计算初始样本a和batch中的每一张图片在特征空间的欧式距离，然后选出与a距离最远的正样本p和距离最近的负样本n来与a组成三元组；
计算联合损失：
Ltotal＝λ1Lsoftmax+λ2Ltriplet；
设置λ1＝2，λ2＝0.5。
10.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：获取数据集并进行数据集划分、预处理；构建车辆重识别主干网络，使用一个在ImageNet上预先训练过的ResNet-50作为主干网络，并修正进行提取基础特征张量；加入通道注意力机制与空间注意力机制对基础特征张量进行进一步操作，得到新的特征张量；构建多向细粒度特征划分网络，设计四个相对独立的网络GMA、HMM、WMM、WHG，四个网络之间不共享参数，分别用于提取更高层次的语意特征；利用交叉熵损失函数和三元组损失函数对车辆整体网络进行训练优化得到训练模型；用训练好的模型对测试图像进行测试得到重识别初始排序结果；对初始排序结果使用重排序算法进行再次排序；可视化最终排序结果。
11.一种实施权利要求1～9任意一项所述无车牌信息车辆重识别方法的无车牌信息车辆重识别系统，其特征在于，所述无车牌信息车辆重识别系统包括：
数据集处理模块，用于获取数据集并进行数据集划分、预处理；
基础特征张量提取模块，用于构建车辆重识别主干网络，使用一个在ImageNet上预先训练过的ResNet-50作为主干网络，对其结构稍作修正，从而提取基础特征张量；
注意力机制模块，用于对图像重点区域信息的强调，加入通道注意力机制与空间注意力机制对基础特征张量进行进一步操作，得到新的特征张量；
更高层次语意特征提取模块，用于构建多向细粒度特征划分网络，设计四个相对独立的网络GMA、HMM、WMM、WHG，四个网络之间不共享参数，分别用于提取更高层次的语意特征；
训练模型获取模块，用于利用交叉熵损失函数和三元组损失函数对车辆整体网络进行训练优化得到训练模型；
重识别初始排序结果模块，用于通过训练好的模型对测试图像进行测试得到重识别初始排序结果；
重排序模块，用于对初始排序结果使用重排序算法进行再次排序，可视化最终排序结果。
12.一种视频监控系统，其特征在于，所述视频监控系统搭载权利要求11所述的无车牌信息车辆重识别系统。
CN202010282766.9A 2020-04-12 2020-04-12 无车牌信息车辆重识别方法、系统、介质、视频监控系统 Active CN111553205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010282766.9A CN111553205B (zh) 2020-04-12 2020-04-12 无车牌信息车辆重识别方法、系统、介质、视频监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010282766.9A CN111553205B (zh) 2020-04-12 2020-04-12 无车牌信息车辆重识别方法、系统、介质、视频监控系统

Publications (2)

Publication Number Publication Date
CN111553205A true CN111553205A (zh) 2020-08-18
CN111553205B CN111553205B (zh) 2022-11-15

Family

ID=72002938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010282766.9A Active CN111553205B (zh) 2020-04-12 2020-04-12 无车牌信息车辆重识别方法、系统、介质、视频监控系统

Country Status (1)

Country Link
CN (1) CN111553205B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070768A (zh) * 2020-09-16 2020-12-11 福州大学 基于Anchor-Free的实时实例分割方法
CN112101438A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN112149643A (zh) * 2020-11-09 2020-12-29 西北工业大学 基于多级注意力机制的面向无人机平台的车辆重识别方法
CN112215239A (zh) * 2020-09-15 2021-01-12 浙江工业大学 一种视网膜病变细粒度分级方法及装置
CN112308092A (zh) * 2020-11-20 2021-02-02 福州大学 一种基于多尺度注意力机制的轻量型车牌检测与识别方法
CN112330683A (zh) * 2020-11-16 2021-02-05 的卢技术有限公司 一种基于多尺度卷积特征融合的划线车位分割方法
CN112381017A (zh) * 2020-11-19 2021-02-19 华南理工大学 一种基于感知级联上下文的车辆重识别方法
CN112528059A (zh) * 2021-02-08 2021-03-19 南京理工大学 基于深度学习的交通目标图像检索方法、装置及可读介质
CN112580569A (zh) * 2020-12-25 2021-03-30 山东旗帜信息有限公司 一种基于多维特征的车辆重识别方法及装置
CN112766458A (zh) * 2021-01-06 2021-05-07 南京瑞易智能科技有限公司 一种联合分类损失的双流有监督深度哈希图像检索方法
CN112801235A (zh) * 2021-04-12 2021-05-14 四川大学 模型训练方法、预测方法、装置、重识别模型及电子设备
CN112836677A (zh) * 2021-03-02 2021-05-25 西安建筑科技大学 一种利用深度学习的弱监督车辆重识别方法
CN112949493A (zh) * 2021-03-03 2021-06-11 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统
CN112949841A (zh) * 2021-05-13 2021-06-11 德鲁动力科技(成都)有限公司 一种基于Attention的CNN神经网络的训练方法
CN113159171A (zh) * 2021-04-20 2021-07-23 复旦大学 一种基于对抗学习的植物叶片图像细分类方法
CN113177464A (zh) * 2021-04-27 2021-07-27 浙江工商大学 基于深度学习的端到端的多模态步态识别方法
CN113221911A (zh) * 2021-04-09 2021-08-06 华南理工大学 一种基于双重注意力机制的车辆重识别方法及系统
CN113361464A (zh) * 2021-06-30 2021-09-07 重庆交通大学 一种基于多粒度特征分割的车辆重识别方法
CN113449131A (zh) * 2021-06-29 2021-09-28 山东建筑大学 基于多特征信息捕捉和相关性分析的物品图像重识别方法
CN113642602A (zh) * 2021-07-05 2021-11-12 山西大学 一种基于全局与局部标签关系的多标签图像分类方法
CN113657462A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 用于训练车辆识别模型的方法、车辆识别方法和计算设备
CN113920472A (zh) * 2021-10-15 2022-01-11 中国海洋大学 一种基于注意力机制的无监督目标重识别方法及系统
CN113989597A (zh) * 2021-12-28 2022-01-28 中科视语(北京)科技有限公司 车辆重识别方法、装置、电子设备及存储介质
CN114022848A (zh) * 2022-01-04 2022-02-08 四川九通智路科技有限公司 一种隧道自动照明的控制方法及系统
WO2022205018A1 (zh) * 2021-03-30 2022-10-06 广州视源电子科技股份有限公司 车牌字符识别方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190042900A1 (en) * 2017-12-28 2019-02-07 Ned M. Smith Automated semantic inference of visual features and scenes
CN110188611A (zh) * 2019-04-26 2019-08-30 华中科技大学 一种引入视觉注意力机制的行人重识别方法及系统
CN110717411A (zh) * 2019-09-23 2020-01-21 湖北工业大学 一种基于深层特征融合的行人重识别方法
CN110807434A (zh) * 2019-11-06 2020-02-18 威海若维信息科技有限公司 一种基于人体解析粗细粒度结合的行人重识别系统及方法
CN110991321A (zh) * 2019-11-29 2020-04-10 北京航空航天大学 一种基于标签更正与加权特征融合的视频行人再识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190042900A1 (en) * 2017-12-28 2019-02-07 Ned M. Smith Automated semantic inference of visual features and scenes
CN110188611A (zh) * 2019-04-26 2019-08-30 华中科技大学 一种引入视觉注意力机制的行人重识别方法及系统
CN110717411A (zh) * 2019-09-23 2020-01-21 湖北工业大学 一种基于深层特征融合的行人重识别方法
CN110807434A (zh) * 2019-11-06 2020-02-18 威海若维信息科技有限公司 一种基于人体解析粗细粒度结合的行人重识别系统及方法
CN110991321A (zh) * 2019-11-29 2020-04-10 北京航空航天大学 一种基于标签更正与加权特征融合的视频行人再识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN GY ET AL: "《Self-Critical Attention Learning for Person Re-Identification》", 《IEEE》 *
陈军如: "《基于自适应特征聚类网的行人重识别》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101438B (zh) * 2020-09-08 2024-04-16 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN112101438A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN112215239A (zh) * 2020-09-15 2021-01-12 浙江工业大学 一种视网膜病变细粒度分级方法及装置
CN112070768A (zh) * 2020-09-16 2020-12-11 福州大学 基于Anchor-Free的实时实例分割方法
CN112070768B (zh) * 2020-09-16 2022-08-09 福州大学 基于Anchor-Free的实时实例分割方法
CN112149643A (zh) * 2020-11-09 2020-12-29 西北工业大学 基于多级注意力机制的面向无人机平台的车辆重识别方法
CN112330683A (zh) * 2020-11-16 2021-02-05 的卢技术有限公司 一种基于多尺度卷积特征融合的划线车位分割方法
CN112330683B (zh) * 2020-11-16 2022-07-29 的卢技术有限公司 一种基于多尺度卷积特征融合的划线车位分割方法
CN112381017A (zh) * 2020-11-19 2021-02-19 华南理工大学 一种基于感知级联上下文的车辆重识别方法
CN112381017B (zh) * 2020-11-19 2022-04-22 华南理工大学 一种基于感知级联上下文的车辆重识别方法
CN112308092A (zh) * 2020-11-20 2021-02-02 福州大学 一种基于多尺度注意力机制的轻量型车牌检测与识别方法
CN112308092B (zh) * 2020-11-20 2023-02-28 福州大学 一种基于多尺度注意力机制的轻量型车牌检测与识别方法
CN112580569B (zh) * 2020-12-25 2023-06-09 山东旗帜信息有限公司 一种基于多维特征的车辆重识别方法及装置
CN112580569A (zh) * 2020-12-25 2021-03-30 山东旗帜信息有限公司 一种基于多维特征的车辆重识别方法及装置
CN112766458A (zh) * 2021-01-06 2021-05-07 南京瑞易智能科技有限公司 一种联合分类损失的双流有监督深度哈希图像检索方法
CN112528059A (zh) * 2021-02-08 2021-03-19 南京理工大学 基于深度学习的交通目标图像检索方法、装置及可读介质
CN112836677A (zh) * 2021-03-02 2021-05-25 西安建筑科技大学 一种利用深度学习的弱监督车辆重识别方法
CN112836677B (zh) * 2021-03-02 2023-04-07 西安建筑科技大学 一种利用深度学习的弱监督车辆重识别方法
CN112949493A (zh) * 2021-03-03 2021-06-11 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统
CN112949493B (zh) * 2021-03-03 2024-04-09 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统
WO2022205018A1 (zh) * 2021-03-30 2022-10-06 广州视源电子科技股份有限公司 车牌字符识别方法、装置、设备及存储介质
CN113221911A (zh) * 2021-04-09 2021-08-06 华南理工大学 一种基于双重注意力机制的车辆重识别方法及系统
CN112801235A (zh) * 2021-04-12 2021-05-14 四川大学 模型训练方法、预测方法、装置、重识别模型及电子设备
CN113159171B (zh) * 2021-04-20 2022-07-22 复旦大学 一种基于对抗学习的植物叶片图像细分类方法
CN113159171A (zh) * 2021-04-20 2021-07-23 复旦大学 一种基于对抗学习的植物叶片图像细分类方法
CN113177464B (zh) * 2021-04-27 2023-12-01 浙江工商大学 基于深度学习的端到端的多模态步态识别方法
CN113177464A (zh) * 2021-04-27 2021-07-27 浙江工商大学 基于深度学习的端到端的多模态步态识别方法
CN112949841A (zh) * 2021-05-13 2021-06-11 德鲁动力科技(成都)有限公司 一种基于Attention的CNN神经网络的训练方法
CN113449131A (zh) * 2021-06-29 2021-09-28 山东建筑大学 基于多特征信息捕捉和相关性分析的物品图像重识别方法
CN113449131B (zh) * 2021-06-29 2022-06-03 山东建筑大学 基于多特征信息捕捉和相关性分析的物品图像重识别方法
WO2023273290A1 (zh) * 2021-06-29 2023-01-05 山东建筑大学 基于多特征信息捕捉和相关性分析的物品图像重识别方法
CN113361464A (zh) * 2021-06-30 2021-09-07 重庆交通大学 一种基于多粒度特征分割的车辆重识别方法
CN113642602A (zh) * 2021-07-05 2021-11-12 山西大学 一种基于全局与局部标签关系的多标签图像分类方法
CN113642602B (zh) * 2021-07-05 2023-07-18 山西大学 一种基于全局与局部标签关系的多标签图像分类方法
CN113657462A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 用于训练车辆识别模型的方法、车辆识别方法和计算设备
CN113920472A (zh) * 2021-10-15 2022-01-11 中国海洋大学 一种基于注意力机制的无监督目标重识别方法及系统
CN113989597B (zh) * 2021-12-28 2022-04-05 中科视语(北京)科技有限公司 车辆重识别方法、装置、电子设备及存储介质
CN113989597A (zh) * 2021-12-28 2022-01-28 中科视语(北京)科技有限公司 车辆重识别方法、装置、电子设备及存储介质
CN114022848A (zh) * 2022-01-04 2022-02-08 四川九通智路科技有限公司 一种隧道自动照明的控制方法及系统

Also Published As

Publication number Publication date
CN111553205B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN111553205B (zh) 无车牌信息车辆重识别方法、系统、介质、视频监控系统
Li et al. Line-cnn: End-to-end traffic line detection with line proposal unit
CN110363122B (zh) 一种基于多层特征对齐的跨域目标检测方法
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
Wang et al. Multi-path deep cnns for fine-grained car recognition
Derpanis et al. Classification of traffic video based on a spatiotemporal orientation analysis
CN113420607A (zh) 无人机多尺度目标检测识别方法
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
CN114049572A (zh) 识别小目标的检测方法
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
Zhang et al. Multi-object detection at night for traffic investigations based on improved SSD framework
Wang Vehicle image detection method using deep learning in UAV video
Tu et al. DFR-ST: Discriminative feature representation with spatio-temporal cues for vehicle re-identification
Li et al. Vehicle re-identification method based on Swin-Transformer network
CN112580575A (zh) 电力巡检绝缘子图像识别方法
Eslami et al. Improvement of multiclass classification of pavement objects using intensity and range images
Wang et al. Vehicle key information detection algorithm based on improved SSD
Kročka et al. Extending parking occupancy detection model for night lighting and snowy weather conditions
Valiente et al. Robust perception and visual understanding of traffic signs in the wild
Yang Novel traffic sensing using multi-camera car tracking and re-identification (MCCTRI)
Zimoch et al. Human flow recognition using deep networks and vision methods
Yang et al. Multi visual feature fusion based fog visibility estimation for expressway surveillance using deep learning network
Andersson A Study on Automatic License Plate Recognition
Mun et al. Deep Learning Object Detection to Clearly Differentiate Between Pedestrians and Motorcycles in Tunnel Environment Using YOLOv3 and Kernelized Correlation Filters
Mohamed et al. Video-Based Vehicle Counting and Analysis using YOLOv5 and DeepSORT with Deployment on Jetson Nano

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant