CN110348392A - 车辆匹配方法及设备 - Google Patents
车辆匹配方法及设备 Download PDFInfo
- Publication number
- CN110348392A CN110348392A CN201910632118.9A CN201910632118A CN110348392A CN 110348392 A CN110348392 A CN 110348392A CN 201910632118 A CN201910632118 A CN 201910632118A CN 110348392 A CN110348392 A CN 110348392A
- Authority
- CN
- China
- Prior art keywords
- frame image
- vehicle
- vehicles
- feature
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Abstract
本发明的目的是提供一种车辆匹配方法及设备，通过从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，能够更准确的在第二帧图像中找到待判定的车辆，为车辆追踪提供更高精度的技术支持。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种车辆匹配方法及设备。
背景技术
无论在交通违法审核的图像领域还是在车辆追踪的视频领域，都需要对不同时间段的不同车辆进行一一匹配，了解上一时间段的车辆在下一时间段的位置。
现有的车辆重识别系统大多数都是一对多的匹配，其目的在于在下一时间段找到需要定位的车辆，但如果两时间段间隔较长使待定位车辆的位移较大且在下一时间段的其他车辆干扰较多时，很难对下一时间段的当前车辆进行准备定位。
发明内容
本发明的一个目的是提供一种车辆匹配方法及设备。
根据本发明的一个方面，提供了一种车辆匹配方法，包括：
获取同一视频流中的第一帧图像和第二帧图像，以及待判定的车辆的车牌号码；
基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆；
从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆。
进一步的，上述方法中，基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆，包括：
获取所述第一帧图像中所有车辆的位置信息；
基于所述第一帧图像中所有车辆的位置信息，获取所述第一帧图像中所有车辆的车牌号码的位置；
基于所述第一帧图像中所有车辆的车牌号码的位置，识别出所述第一帧图像中所有车辆的车牌号码；
基于所述待判定的车辆的车牌号码和所述第一帧图像中所有车辆的车牌号码，在所述第一帧图像中定位所述待判定的车辆。
进一步的，上述方法中，从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征，包括：
获取所述第二帧图像中所有车辆的位置信息；
基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像中提取所有车辆的特征。
进一步的，上述方法中，基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征，包括：
基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中截取所有车辆的图像；
分别将从所述第一帧图像中截取的所有车辆的图像输入预设的车辆重识别reid模型，对应得所述第一帧图像中所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像中提取所有车辆的特征征，包括：
基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像截取每一辆车辆的图像；
分别将从所述第二帧图像截取的每一辆车辆的图像输入所述车辆重识别reid模型，对应得到所述第二帧图像中所有车辆的特征。
进一步的，上述方法中，分别将从所述第一帧图像中截取的所有车辆的图像输入预设的车辆重识别reid模型，或分别将从所述第二帧图像截取的每一辆车辆的图像输入所述车辆重识别reid模型之前，还包括：
使用深度学习中的caffe框架训练loss最低的模型，以得到loss最低的模型，其中，训练的网络是GoogLenet Inception-V2网络，训练目标则是对不同款车辆的车型进行分类，每个分类的数据来源于不同模版帧图像下的同一辆车，并对每个分类进行数据扩充，所述车辆重识别reid模型训练的loss采用softmaxwithloss，即交叉熵损失函数；
截取掉所述loss最低的模型中的训练网络的分类层，得到包含训练网络的最后一层的256维全连接层的模型；
将包含训练网络的最后一层的256维全连接层的模型作为预训练模型premodel，将相同的车辆组合作为正样本，不同的车辆组合作为负样本，采用孪生网络以及对比损失函数finetune训练所述车辆重识别reid模型。
进一步的，上述方法中，基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆，包括：
比较所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征之间的相似度，基于所述相似度判断所述第二帧图像中是否存在所述待判定的车辆。
进一步的，上述方法中，比较所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征之间的相似度，基于所述相似度判断所述第二帧图像中是否存在所述待判定的车辆，包括：
获取所述第一帧图像中的每一辆车辆的特征的特征向量和所述第二帧图像中的每一辆车辆的特征向量之间的余弦相似度，基于所述余弦相似度判断所述第二帧图像中是否存在所述待判定的车辆。
进一步的，上述方法中，获取所述第一帧图像中的每一辆车辆的特征的特征向量和所述第二帧图像中的每一辆车辆的特征向量之间的余弦相似度，基于所述余弦相似度判断所述第二帧图像中是否存在所述待判定的车辆，包括：
步骤S4111，获取所述第一帧图像中的m辆车辆中的每一辆车辆的特征的特征向量和所述第二帧图像中的n辆车辆中的每一辆车辆的特征向量之间的余弦相似度，得到对应的m*n个余弦相似度分数，其中，m、n为大于或等于1的正整数；
步骤S4112，将所述第一帧图像中的车辆的标识分别作为矩阵的行号，将第二帧图像中的车辆的标识分别作为矩阵的列号，其中，所述第一帧图像中的车辆的标识中包括所述待判定的车辆的标识；
步骤S4113，将m*n个余弦相似度分数填入所述矩阵的对应的行号和列号位置；
步骤S4114，判断当前的矩阵的行数和列数是否均大于0，若均大于0则执行步骤S4115，若所述矩阵的行数或列数小于0则执行S4117；
步骤S4115，查找当前的矩阵中其行和其列都是最大的数，并记录最大数及其对应的行号和列号；
步骤S4116，将当前的矩阵中最大数所在的整行以及整列的余弦相似度分数全部删除，得到剩余的当前的矩阵后，重新从步骤S4114开始执行；
步骤S4117，判断所记录的某个最大数的对应行号是否为所述待判定的车辆的标识，若是所述待判定的车辆的标识，判断对应行号为所述待判定的车辆的标识的最大数是否大于预设阈值，若大于所述预设阈值，则确定所述第二帧图像中存在所述待判定的车辆；若小于等于所述预设阈值，则确定所述第二帧图像中不存在所述待判定的车辆；若不是所述待判定的车辆的标识，判则确定所述第二帧图像中不存在所述待判定的车辆。
根据本发明的另一方面，还提供一种车辆匹配设备，其特征在于，该方法包括：
获取装置，用于获取同一视频流中的第一帧图像和第二帧图像，以及待判定的车辆的车牌号码；
定位装置，用于基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆；
提取装置，用于从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
判断装置，用于基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆。
根据本发明的另一方面，还提供一种基于计算的设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一项所述方法的操作。
与现有技术相比，本发明通过从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，能够更准确的在第二帧图像中找到待判定的车辆，为车辆追踪提供更高精度的技术支持。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出本发明一实施例的车辆匹配方法的流程图；
图2示出示出本发明一实施例的场景示意图；
图3示出本发明又一实施例的车辆匹配方法的流程图；
图4示出本发明一实施例的车辆匹配的输入示意图；
图5示出本发明一实施例的由车辆匹配的输入得到的匹配矩阵的示意图；
图6示出本发明一实施例的由匹配矩阵得到的匹配结果示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
如图1所示，本发明提供一种车辆匹配方法，包括：
步骤S1，获取同一视频流中的第一帧图像和第二帧图像，以及待判定的车辆的车牌号码；
在此，所述第一帧图像和第二帧图像可以是从同一视频流中截取不同时间点的两帧图像，所述第一帧图像可以是摄像头拍摄到的较近距离的图像，是包含车辆的车牌号码比较清晰的图像；第二帧图像可以是摄像头拍摄到的较远距离的图像，是包含车辆的车牌号码比较模糊晰的图像，后续本实施例可以通过不比较车牌号码，而是通过比较所述待判定的车辆的特征和所述第二帧图像中的所有车辆的特征的方式，判断所述第二帧图像中是否存在所述待判定的车辆；
例如，如图2所示，可以从同一视频流中依序截取4帧图像，可以将每两帧图像中拍摄时间较前的图像作为第一帧图像，同时将每两帧图像中拍摄时间较后的图像作为第二帧图像；
步骤S2，基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆；
步骤S3，从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
步骤S4，基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆。
在此，本发明通过从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，能够更准确的在第二帧图像中找到待判定的车辆，为车辆追踪提供更高精度的技术支持。
本发明的车辆匹配方法一实施例中，步骤S2，基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆，包括：
步骤S21，获取所述第一帧图像中所有车辆的位置信息；
步骤S22，基于所述第一帧图像中所有车辆的位置信息，获取所述第一帧图像中所有车辆的车牌号码的位置；
步骤S23，基于所述第一帧图像中所有车辆的车牌号码的位置，识别出所述第一帧图像中所有车辆的车牌号码；
步骤S24，基于所述待判定的车辆的车牌号码和所述第一帧图像中所有车辆的车牌号码，在所述第一帧图像中定位所述待判定的车辆。
在此，通过获取所述第一帧图像中所有车辆的位置信息和车辆的车牌号码的位置，可以准确定位到定位所述待判定的车辆。
本发明的车辆匹配方法一实施例中，步骤S3，从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征，包括：
步骤S31，获取所述第二帧图像中所有车辆的位置信息；
步骤S32，基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
步骤S33，基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像中提取所有车辆的特征。
本发明的车辆匹配方法一实施例中，步骤S2，分别获取所述第一帧图像和第二帧图像中的所有车辆的位置信息，包括：
通过深度学习中预设的检测算法，分别获取所述第一帧图像和第二帧图像中的所有车辆的位置信息。
在此，可以通过深度学习中预设的检测算法获取每帧图像下的所有车辆的位置信息，以高效、可靠的获取所有车辆的位置信息。
本发明的车辆匹配方法一实施例中，步骤S22中，获取所述第一帧图像中所有车辆的车牌号码的位置，包括：
通过深度学习中预设的检测算法，获取所述第一帧图像中所有车辆的车牌号码的位置。
在此，可以通过深度学习中预设的检测算法获取第一帧图像下的所有车辆的车牌的位置，以高效、可靠的获取第一帧图像中所有车辆的位置信息。
本发明的车辆匹配方法一实施例中，步骤S23中，识别出所述第一帧图像中所有车辆的车牌号码，包括：
通过深度学习中预设的车牌识别算法，识别出所述第一帧图像中所有车辆的车牌号码。
在此，可以通过深度学习中预设的车牌识别算法识别出第一帧图像中所有车辆的车牌号码，以高效、可靠的获取第一帧图像中所有车辆的车牌号码。
本发明的车辆匹配方法一实施例中，步骤S4，基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆，包括：
步骤S41，比较所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征之间的相似度，基于所述相似度判断所述第二帧图像中是否存在所述待判定的车辆。
在此，通过比较所述待判定的车辆的特征和所述第二帧图像中的所有车辆的特征的相似度，可以准确、高效的判断所述第二帧图像中是否存在所述待判定的车辆。
如图2所示，本发明的车辆匹配方法一实施例中，步骤S41，比较所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征之间的相似度，基于所述相似度判断所述第二帧图像中是否存在所述待判定的车辆，包括：
步骤S411，获取所述第一帧图像中的每一辆车辆的特征的特征向量和所述第二帧图像中的每一辆车辆的特征向量之间的余弦相似度，基于所述余弦相似度判断所述第二帧图像中是否存在所述待判定的车辆。
在此，通过比较车辆的特征的余弦相似度，以进一步保证准确、高效的判断所述第二帧图像中是否存在所述待判定的车辆。
如图2所示，本发明的车辆匹配方法一实施例中，步骤S411，获取所述第一帧图像中的每一辆车辆的特征的特征向量和所述第二帧图像中的每一辆车辆的特征向量之间的余弦相似度，基于所述余弦相似度判断所述第二帧图像中是否存在所述待判定的车辆，包括：
步骤S4111，获取所述第一帧图像中的m辆车辆中的每一辆车辆的特征的特征向量和所述第二帧图像中的n辆车辆中的每一辆车辆的特征向量之间的余弦相似度，得到对应的m*n个余弦相似度分数，其中，m、n为大于或等于1的正整数；
在此，将所述第一帧图像中的m辆车辆中的每一辆车辆的特征的特征向量和所述第二帧图像中的n辆车辆中的每一辆车辆的特征向量进行两两比较，得到不同对的余弦相似度分数，可以得到m*n个余弦相似度分数；
在此，如图3所示，假设第一帧共有m＝5辆车，下一帧有n＝4辆车，因此会得到m*n个余弦相似度分数；
步骤S4112，将所述第一帧图像中的车辆的标识分别作为矩阵的行号，将第二帧图像中的车辆的标识分别作为矩阵的列号，其中，所述第一帧图像中的车辆的标识中包括所述待判定的车辆的标识；
在此，如图4所示，m*n个余弦相似度分数可以组成一个行数为m，列数为n的矩阵，所述第一帧图像中的车辆的标识如1～5分别作为矩阵的行号，将第二帧图像中的车辆的标识如A～D分别作为矩阵的列号；
步骤S4113，将m*n个余弦相似度分数填入所述矩阵的对应的行号和列号位置；
步骤S4114，判断当前的矩阵的行数和列数是否均大于0，若均大于0则执行步骤S4115，若所述矩阵的行数或列数小于0则执行S4117；
步骤S4115，查找当前的矩阵中其行和其列都是最大的数，并记录最大数及其对应的行号和列号；
在此，如图5所示，找到此时矩阵的最大数，其中，最大数指的是在其行和其列都是最大的数，如图6所示，将最大数以及其行号其列号记录下来，此时最大数对应的行号则是第一帧图像中的某辆车辆的标识ID，列号是第二帧车辆的某辆车辆的标识ID，该最大数即是这两辆车的匹配分数即余弦相似度分；
步骤S4116，将当前的矩阵中最大数所在的整行以及整列的余弦相似度分数全部删除，得到剩余的当前的矩阵后，重新从步骤S4114开始执行；
步骤S4117，判断所记录的某个最大数的对应行号是否为所述待判定的车辆的标识，若是所述待判定的车辆的标识，判断对应行号为所述待判定的车辆的标识的最大数是否大于预设阈值，若大于所述预设阈值，则确定所述第二帧图像中存在所述待判定的车辆；若小于等于所述预设阈值，则确定所述第二帧图像中不存在所述待判定的车辆；若不是所述待判定的车辆的标识，判则确定所述第二帧图像中不存在所述待判定的车辆。
在此，假设记录了p个最大数，即匹配了第一帧图像和第二帧图像中的p对车，由于第一帧图像中的车辆很可能在第二帧图像中消失以及第二帧图像中的车辆很可能在不在第一帧图像中出现，故p小于等于m，也小于等于n，通过本实施例的匹配方法在第二帧图像中若找到待定位的车辆的标识ID，则认为待判定的车辆在第二帧图像中消失了；通过本实施例的匹配方法在第二帧图像中若找到待定位的车辆的标识ID，若对应的匹配分数即余弦相似度大于某个阈值，则认为在在下一帧找到了待判定的车辆，可以输出该待判定的车辆的ID，若小于等于某个阈值，则认为待判定的车辆在第二帧图像中消失了。
本发明的车辆匹配方法一实施例中，步骤S32，基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征，包括：
步骤S321，基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中截取所有车辆的图像；
步骤S322，分别将从所述第一帧图像中截取的所有车辆的图像输入预设的车辆重识别reid模型，对应得所述第一帧图像中所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
步骤S33，基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像中提取所有车辆的特征征，包括：
步骤S331，基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像截取每一辆车辆的图像；
步骤S332，分别将从所述第二帧图像截取的每一辆车辆的图像输入所述车辆重识别reid模型，对应得到所述第二帧图像中所有车辆的特征。
在此，通过训练好的车辆重识别reid模型对第一和第二两帧图像检测到的所有车辆进行特征向量提取，得到每辆车的特征向量，可以准确、高效的得到每一辆车辆的特征。
本发明的车辆匹配方法一实施例中，步骤S322，分别将从所述第一帧图像中截取的所有车辆的图像输入预设的车辆重识别reid模型，或步骤S332，分别将从所述第二帧图像截取的每一辆车辆的图像输入所述车辆重识别reid模型之前，还包括：
步骤S101，使用深度学习中的caffe框架训练loss最低的模型，以得到loss最低的模型，其中，训练的网络是GoogLenet Inception-V2网络，训练目标则是对不同款车辆的车型进行分类，每个分类的数据来源于不同模版帧图像下的同一辆车，并对每个分类进行数据扩充，所述车辆重识别reid模型训练的loss采用softmaxwithloss，即交叉熵损失函数；
步骤S102，截取掉所述loss最低的模型中的训练网络的分类层，得到包含训练网络的最后一层的256维全连接层的模型；
在此，最后一层的256维全连接层的256维特征可以很好的表达车辆的语义信息；
步骤S103，将包含训练网络的最后一层的256维全连接层的模型作为预训练模型premodel，将相同的车辆组合作为正样本，不同的车辆组合作为负样本，采用孪生网络以及对比损失函数finetune训练所述车辆重识别reid模型。
在此，训练好模型后，将车辆图像作为模型的输入，得到此车辆图像的256维特征向量。
根据本发明的另一方面，还提供一种车辆匹配设备，其特征在于，该方法包括：
获取装置，用于获取同一视频流中的第一帧图像和第二帧图像，以及待判定的车辆的车牌号码；
定位装置，用于基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆；
提取装置，用于从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
判断装置，用于基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆。
根据本发明的另一方面，还提供一种基于计算的设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一项所述方法的操作。
本发明的各设备实施例的详细内容，具体可参见各方法实施例的对应部分，在此，不再赘述。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (10)
1.一种车辆匹配方法，其特征在于，该方法包括：
获取同一视频流中的第一帧图像和第二帧图像，以及待判定的车辆的车牌号码；
基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆；
从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆。
2.根据权利要求1所述的方法，其特征在于，基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆，包括：
获取所述第一帧图像中所有车辆的位置信息；
基于所述第一帧图像中所有车辆的位置信息，获取所述第一帧图像中所有车辆的车牌号码的位置；
基于所述第一帧图像中所有车辆的车牌号码的位置，识别出所述第一帧图像中所有车辆的车牌号码；
基于所述待判定的车辆的车牌号码和所述第一帧图像中所有车辆的车牌号码，在所述第一帧图像中定位所述待判定的车辆。
3.根据权利要求2所述的方法，其特征在于，从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征，包括：
获取所述第二帧图像中所有车辆的位置信息；
基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像中提取所有车辆的特征。
4.根据权利要求3所述的方法，其特征在于，基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征，包括：
基于所述第一帧图像中的所有车辆的位置信息，从所述第一帧图像中截取所有车辆的图像；
分别将从所述第一帧图像中截取的所有车辆的图像输入预设的车辆重识别reid模型，对应得所述第一帧图像中所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像中提取所有车辆的特征征，包括：
基于所述第二帧图像中的所有车辆的位置信息，从所述第二帧图像截取每一辆车辆的图像；
分别将从所述第二帧图像截取的每一辆车辆的图像输入所述车辆重识别reid模型，对应得到所述第二帧图像中所有车辆的特征。
5.根据权利要求4所述的方法，其特征在于，分别将从所述第一帧图像中截取的所有车辆的图像输入预设的车辆重识别reid模型，或分别将从所述第二帧图像截取的每一辆车辆的图像输入所述车辆重识别reid模型之前，还包括：
使用深度学习中的caffe框架训练loss最低的模型，以得到loss最低的模型，其中，训练的网络是GoogLenet Inception-V2网络，训练目标则是对不同款车辆的车型进行分类，每个分类的数据来源于不同模版帧图像下的同一辆车，并对每个分类进行数据扩充，所述车辆重识别reid模型训练的loss采用交叉熵损失函数；
截取掉所述loss最低的模型中的训练网络的分类层，得到包含训练网络的最后一层的256维全连接层的模型；
将包含训练网络的最后一层的256维全连接层的模型作为预训练模型premodel，将相同的车辆组合作为正样本，不同的车辆组合作为负样本，采用孪生网络以及对比损失函数finetune训练所述车辆重识别reid模型。
6.根据权利要求1所述的方法，其特征在于，基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆，包括：
比较所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征之间的相似度，基于所述相似度判断所述第二帧图像中是否存在所述待判定的车辆。
7.根据权利要求6所述的方法，其特征在于，比较所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征之间的相似度，基于所述相似度判断所述第二帧图像中是否存在所述待判定的车辆，包括：
获取所述第一帧图像中的每一辆车辆的特征的特征向量和所述第二帧图像中的每一辆车辆的特征向量之间的余弦相似度，基于所述余弦相似度判断所述第二帧图像中是否存在所述待判定的车辆。
8.根据权利要求7所述的方法，其特征在于，获取所述第一帧图像中的每一辆车辆的特征的特征向量和所述第二帧图像中的每一辆车辆的特征向量之间的余弦相似度，基于所述余弦相似度判断所述第二帧图像中是否存在所述待判定的车辆，包括：
步骤S4111，获取所述第一帧图像中的m辆车辆中的每一辆车辆的特征的特征向量和所述第二帧图像中的n辆车辆中的每一辆车辆的特征向量之间的余弦相似度，得到对应的m*n个余弦相似度分数，其中，m、n为大于或等于1的正整数；
步骤S4112，将所述第一帧图像中的车辆的标识分别作为矩阵的行号，将第二帧图像中的车辆的标识分别作为矩阵的列号，其中，所述第一帧图像中的车辆的标识中包括所述待判定的车辆的标识；
步骤S4113，将m*n个余弦相似度分数填入所述矩阵的对应的行号和列号位置；
步骤S4114，判断当前的矩阵的行数和列数是否均大于0，若均大于0则执行步骤S4115，若所述矩阵的行数或列数小于0则执行S4117；
步骤S4115，查找当前的矩阵中其行和其列都是最大的数，并记录最大数及其对应的行号和列号；
步骤S4116，将当前的矩阵中最大数所在的整行以及整列的余弦相似度分数全部删除，得到剩余的当前的矩阵后，重新从步骤S4114开始执行；
步骤S4117，判断所记录的某个最大数的对应行号是否为所述待判定的车辆的标识，若是所述待判定的车辆的标识，判断对应行号为所述待判定的车辆的标识的最大数是否大于预设阈值，若大于所述预设阈值，则确定所述第二帧图像中存在所述待判定的车辆；若小于等于所述预设阈值，则确定所述第二帧图像中不存在所述待判定的车辆；若不是所述待判定的车辆的标识，判则确定所述第二帧图像中不存在所述待判定的车辆。
9.一种车辆匹配设备，其特征在于，该方法包括：
获取装置，用于获取同一视频流中的第一帧图像和第二帧图像，以及待判定的车辆的车牌号码；
定位装置，用于基于所述待判定的车辆的车牌号码在所述第一帧图像中定位所述待判定的车辆；
提取装置，用于从所述第一帧图像中提取所有车辆的特征，从所述第二帧图像中提取所有车辆的特征，其中，从所述第一帧图像中提取到的所有车辆的特征包括定位到的所述待判定的车辆的特征；
判断装置，用于基于所述第一帧图像中的所有车辆的特征和所述第二帧图像中的所有车辆的特征，判断所述第二帧图像中是否存在所述待判定的车辆。
10.一种基于计算的设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1至8任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910632118.9A CN110348392B (zh) | 2019-07-12 | 2019-07-12 | 车辆匹配方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910632118.9A CN110348392B (zh) | 2019-07-12 | 2019-07-12 | 车辆匹配方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110348392A true CN110348392A (zh) | 2019-10-18 |
| CN110348392B CN110348392B (zh) | 2020-08-25 |
Family
ID=68175152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910632118.9A Expired - Fee Related CN110348392B (zh) | 2019-07-12 | 2019-07-12 | 车辆匹配方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110348392B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826484A (zh) * | 2019-11-05 | 2020-02-21 | 上海眼控科技股份有限公司 | 车辆重识别的方法、装置、计算机设备及模型训练方法 |
| CN110852210A (zh) * | 2019-10-29 | 2020-02-28 | 上海眼控科技股份有限公司 | 车辆重识别模型的生成方法及设备 |
| CN111862624A (zh) * | 2020-07-29 | 2020-10-30 | 浙江大华技术股份有限公司 | 车辆匹配方法、装置、存储介质及电子装置 |
| CN113240912A (zh) * | 2021-06-04 | 2021-08-10 | 上海眼控科技股份有限公司 | 一种车辆逆行的判定方法、装置、设备及存储介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102496001A (zh) * | 2011-11-15 | 2012-06-13 | 无锡港湾网络科技有限公司 | 一种视频监控目标自动检测的方法和系统 |
| CN104065920A (zh) * | 2014-06-10 | 2014-09-24 | 北京中芯丙午媒体科技有限公司 | 一种车辆监控跟踪方法、系统及服务器 |
| US20140334668A1 (en) * | 2013-05-10 | 2014-11-13 | Palo Alto Research Center Incorporated | System and method for visual motion based object segmentation and tracking |
| WO2016125014A1 (en) * | 2015-02-06 | 2016-08-11 | Viion Systems Inc. | Vehicle speed detection |
| US20170124418A1 (en) * | 2013-12-04 | 2017-05-04 | Irida Labs S.A. | System and a method for the detection of multiple number-plates of moving cars in a series of 2-d images |
| CN106778777A (zh) * | 2016-11-30 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 一种车辆匹配方法及系统 |
| CN107688764A (zh) * | 2016-08-03 | 2018-02-13 | 浙江宇视科技有限公司 | 检测车辆违章的方法及装置 |
| CN107944352A (zh) * | 2017-11-09 | 2018-04-20 | 石数字技术成都有限公司 | 一种基于图片检索方法的车牌识别系统和方法 |
| CN107992819A (zh) * | 2017-11-29 | 2018-05-04 | 青岛海信网络科技股份有限公司 | 一种车辆属性结构化特征的确定方法与装置 |
| US10181087B1 (en) * | 2012-12-20 | 2019-01-15 | United Services Automobile Association (Usaa) | Vehicle identification number capture |
| CN109325420A (zh) * | 2018-08-27 | 2019-02-12 | 广州烽火众智数字技术有限公司 | 一种基于大数据的车辆特征检索方法和系统 |
| US20190066492A1 (en) * | 2017-08-22 | 2019-02-28 | Jos A. G. Nijhuis | License Plate Recognition |
| CN109740424A (zh) * | 2018-11-23 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 交通违规识别方法及相关产品 |
| CN109741605A (zh) * | 2018-12-25 | 2019-05-10 | 深圳市天彦通信股份有限公司 | 车辆监控方法及相关装置 |
| CN109858393A (zh) * | 2019-01-11 | 2019-06-07 | 平安科技（深圳）有限公司 | 车辆违规识别方法、系统、计算机设备和存储介质 |
| CN109948587A (zh) * | 2019-03-29 | 2019-06-28 | 清华大学 | 基于高判别力特征挖掘的车辆再识别方法及装置 |
-
2019
- 2019-07-12 CN CN201910632118.9A patent/CN110348392B/zh not_active Expired - Fee Related
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102496001A (zh) * | 2011-11-15 | 2012-06-13 | 无锡港湾网络科技有限公司 | 一种视频监控目标自动检测的方法和系统 |
| US10181087B1 (en) * | 2012-12-20 | 2019-01-15 | United Services Automobile Association (Usaa) | Vehicle identification number capture |
| US20140334668A1 (en) * | 2013-05-10 | 2014-11-13 | Palo Alto Research Center Incorporated | System and method for visual motion based object segmentation and tracking |
| US20170124418A1 (en) * | 2013-12-04 | 2017-05-04 | Irida Labs S.A. | System and a method for the detection of multiple number-plates of moving cars in a series of 2-d images |
| CN104065920A (zh) * | 2014-06-10 | 2014-09-24 | 北京中芯丙午媒体科技有限公司 | 一种车辆监控跟踪方法、系统及服务器 |
| WO2016125014A1 (en) * | 2015-02-06 | 2016-08-11 | Viion Systems Inc. | Vehicle speed detection |
| CN107688764A (zh) * | 2016-08-03 | 2018-02-13 | 浙江宇视科技有限公司 | 检测车辆违章的方法及装置 |
| CN106778777A (zh) * | 2016-11-30 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 一种车辆匹配方法及系统 |
| US20190066492A1 (en) * | 2017-08-22 | 2019-02-28 | Jos A. G. Nijhuis | License Plate Recognition |
| CN107944352A (zh) * | 2017-11-09 | 2018-04-20 | 石数字技术成都有限公司 | 一种基于图片检索方法的车牌识别系统和方法 |
| CN107992819A (zh) * | 2017-11-29 | 2018-05-04 | 青岛海信网络科技股份有限公司 | 一种车辆属性结构化特征的确定方法与装置 |
| CN109325420A (zh) * | 2018-08-27 | 2019-02-12 | 广州烽火众智数字技术有限公司 | 一种基于大数据的车辆特征检索方法和系统 |
| CN109740424A (zh) * | 2018-11-23 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 交通违规识别方法及相关产品 |
| CN109741605A (zh) * | 2018-12-25 | 2019-05-10 | 深圳市天彦通信股份有限公司 | 车辆监控方法及相关装置 |
| CN109858393A (zh) * | 2019-01-11 | 2019-06-07 | 平安科技（深圳）有限公司 | 车辆违规识别方法、系统、计算机设备和存储介质 |
| CN109948587A (zh) * | 2019-03-29 | 2019-06-28 | 清华大学 | 基于高判别力特征挖掘的车辆再识别方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| WICHAI PUARUNGROJ 等: ""Thai License Plate Recognition Based on Deep Learning"", 《PROCEDIA COMPUTER SCIENCE》 * |
| 刘金贵: ""车辆匹配与车辆跟踪技术研究"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
| 李熙莹 等: ""基于部件融合特征的车辆重识别算法"", 《计算机工程》 * |
| 郝学森: ""基于车辆跟踪的两种算法研究"", 《中国优秀硕士学位论文全文数据库-工程科技Ⅱ辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852210A (zh) * | 2019-10-29 | 2020-02-28 | 上海眼控科技股份有限公司 | 车辆重识别模型的生成方法及设备 |
| CN110826484A (zh) * | 2019-11-05 | 2020-02-21 | 上海眼控科技股份有限公司 | 车辆重识别的方法、装置、计算机设备及模型训练方法 |
| CN111862624A (zh) * | 2020-07-29 | 2020-10-30 | 浙江大华技术股份有限公司 | 车辆匹配方法、装置、存储介质及电子装置 |
| CN111862624B (zh) * | 2020-07-29 | 2022-05-03 | 浙江大华技术股份有限公司 | 车辆匹配方法、装置、存储介质及电子装置 |
| CN113240912A (zh) * | 2021-06-04 | 2021-08-10 | 上海眼控科技股份有限公司 | 一种车辆逆行的判定方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110348392B (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348392A (zh) | 车辆匹配方法及设备 | |
| CN109117848B (zh) | 一种文本行字符识别方法、装置、介质和电子设备 | |
| CN106294344B (zh) | 视频检索方法和装置 | |
| CN111737522B (zh) | 视频匹配方法、基于区块链的侵权存证方法和装置 | |
| US20190179850A1 (en) | Generating congruous metadata for multimedia | |
| CN111967387A (zh) | 表单识别方法、装置、设备及计算机可读存储介质 | |
| CN108241729A (zh) | 筛选视频的方法及设备 | |
| Gupta et al. | Retrieve and re-rank: A simple and effective IR approach to simple question answering over knowledge graphs | |
| Saddique et al. | Classification of authentic and tampered video using motion residual and parasitic layers | |
| CN111507332A (zh) | 车辆vin码检测方法与设备 | |
| Fan et al. | Few-shot video object detection | |
| CN111178363A (zh) | 文字识别方法、装置、电子设备以及可读存储介质 | |
| Wan et al. | Efficient virtual data search for annotation‐free vehicle reidentification | |
| CN116976341A (zh) | 实体识别方法、装置、电子设备、存储介质及程序产品 | |
| CN115131570A (zh) | 图像特征提取模型的训练方法、图像检索方法及相关设备 | |
| CN114998809A (zh) | 一种基于albert和多模态循环融合的虚假新闻检测方法及系统 | |
| CN113688263A (zh) | 用于搜索图像的方法、计算设备和存储介质 | |
| CN110309312B (zh) | 一种关联事件获取方法及装置 | |
| Qu et al. | An improved character recognition algorithm for license plate based on BP neural network | |
| CN113591857A (zh) | 字符图像处理方法、装置及古代汉籍图像的识别方法 | |
| Zhang et al. | Semantics reused context feature pyramid network for object detection in remote sensing images | |
| CN111008294A (zh) | 交通图像处理、图像检索方法及装置 | |
| CN111046658A (zh) | 一种乱序文本识别方法、装置及设备 | |
| Punhani et al. | Privacy attack for open sourced autonomous vehicle data | |
| CN115035463B (zh) | 行为识别方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Vehicle matching method and equipment Effective date of registration: 20220211 Granted publication date: 20200825 Pledgee: Shanghai Bianwei Network Technology Co.,Ltd. Pledgor: SHANGHAI EYE CONTROL TECHNOLOGY Co.,Ltd. Registration number: Y2022310000023 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200825 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |