CN108197538B - 一种基于局部特征和深度学习的卡口车辆检索系统及方法 - Google Patents

一种基于局部特征和深度学习的卡口车辆检索系统及方法 Download PDF

Info

Publication number
CN108197538B
CN108197538B CN201711393924.2A CN201711393924A CN108197538B CN 108197538 B CN108197538 B CN 108197538B CN 201711393924 A CN201711393924 A CN 201711393924A CN 108197538 B CN108197538 B CN 108197538B
Authority
CN
China
Prior art keywords
vehicle
picture
sample
features
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711393924.2A
Other languages
English (en)
Other versions
CN108197538A (zh
Inventor
温晓岳
田玉兰
陈涛
李建元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Enjoyor Research Institute Co ltd
Original Assignee
Zhejiang Enjoyor Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Enjoyor Research Institute Co ltd filed Critical Zhejiang Enjoyor Research Institute Co ltd
Priority to CN201711393924.2A priority Critical patent/CN108197538B/zh
Publication of CN108197538A publication Critical patent/CN108197538A/zh
Application granted granted Critical
Publication of CN108197538B publication Critical patent/CN108197538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Abstract

本发明涉及一种基于局部特征和深度学习的卡口车辆检索系统及方法，本发明利用基于深度神经网络来提取车辆全局特征，损失函数采用softmax损失和三元组损失函数的损失函数来训练网络模型，同时提取年检标特征和车灯特征，完成获取局部特征向量，最终加权结合局部特征向量和利用神经网络最后一层全连接层的全局特征向量作为车辆特征进行检索，检索采用改进的k‑means算法找出K类，然后利用SVM形成哈希函数来进行汉明码编码，提高了检索速度与检索精度，并节省存储空间。

Description

一种基于局部特征和深度学习的卡口车辆检索系统及方法
技术领域
本发明涉及智慧交通领域，尤其涉及一种基于局部特征和深度学习的卡口车辆检索系统及方法。
背景技术
随着社会发展，智能交通领域中智能交通监控是当前非常重要的一个发展方向，目前我国已在城市道路上部署了大规模数量的电子警察和卡口系统。这些系统能够实时捕获车辆高清图片，并且识别分析出车牌号码，以及一部分车型信息(如车辆大小，颜色等)。但目前使用的卡口监控系统，车牌号码识别仍有10％左右的误识别、漏识别率。更重要的是，对于套牌车或故意遮掩拍照的违法车将无法进行识别。因此，通过车牌号码之外的车辆特征信息作为一个新的识别条件，从而在现有的交通监控系统找出这部分违法车辆。另一方面，一个城市中的所存储的卡口车辆图片往往数量在亿级以上，即使将图片成功转化成为特征向量，要快速精确的查询搜索相关特征依然是一大难点。因此本专利的研究这在现今的在现代交通监控和管理中有非常重要的研究意义和应用前景。
《基于大数据的车辆检索及装置》，申请号为201610711333.4中利用多个特征标志区域进行级联检索，然而只有多个局部特征，没有全局的特征信息，并且流程较繁琐。《一种基于车载装饰品特征稀疏编码的车辆检索方法》，申请号为201611063148.5中采用车窗部位的车载装饰品热证稀疏编码的方法来检索车辆，同样没有全局特征。
《一种卡口车辆检索方法及其系统》，申请号为201610119765.6中采用各特征模块利用深度学习提取特征做相似度对比，包括你车牌号码，车标车型，车身颜色，年检标等，车牌号码不足以识别车牌遮挡的车辆，并且需要训练多个网络，也不具有全局特征。
《基于深度学习的车型识别模型构建方法及车型识别方法》，申请号为201610962720.5中利用深度学习进行车型识别，没有达到细粒度检索车辆的程度，不够精准。
发明内容
本发明为克服上述的不足之处，目的在于提供一种基于局部特征和深度学习的卡口车辆检索系统及方法，本发明利用深度神经网络模型来提取车辆全局特征，其中，深度神经网络有Alexnet网络，vgg网络，GoogleNet网络等。损失函数采用softmax损失和三元组损失函数的损失函数来训练网络模型，同时提取年检标特征和车灯特征，完成获取局部特征向量，最终加权结合局部特征向量和利用神经网络最后一层全连接层的全局特征向量作为车辆特征进行检索，检索采用改进的k-means算法找出K类，然后利用SVM形成哈希函数来进行汉明码编码，提高了检索速度与检索精度，并节省存储空间。
本发明是通过以下技术方案达到上述目的：一种基于局部特征和深度学习的卡口车辆检索方法，包括如下步骤：
(1)获取卡口车辆图片并制作成卡口图片集，对卡口图片集进行处理得到数据集；
(2)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征，采用softmax损失和三元组损失函数共同作为深度神经网络的损失函数，完成对网络模型的训练；
(3)利用训练完成的网络模型对数据集提取车辆全局特征；
(4)基于数据集进行车辆局部特征的提取，车辆局部特征包括年检标特征和车灯特征；
(5)将车辆全局特征与车辆局部特征合并得到车辆加权特征，并将其作为车辆图片全局特征；
(6)对车辆图片全局特征进行k-means聚类分析，利用K个二分类SVM训练哈希函数，提取样本特征码后放入哈希桶中，从而建立基于SVM的哈希检索；
(7)检索时将提取得到的待检测图片的车辆图片全局特征通过哈希函数转化为特征码，找到该特征码所对应的哈希桶并进行计算与排序，输出所对应的相似卡口图片。
作为优选，所述步骤(1)包括如下步骤：
(1.1)对卡口车辆图片进行人工标注目标区域坐标信息，利用深度学习训练目标识别网络后获取卡口图片中的车辆区域；
(1.2)将不同时间和地点拍摄的卡口车辆图片按照车牌进行分类后制作得到卡口图片集，并对卡口图片集添加噪声样本，优化处理后得到数据集。
作为优选，所述步骤(2)具体如下：
(2.1)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征；
(2.2)联合利用softmax损失和三元组损失函数进行训练，计算联合损失函数：
筛选三元组样本集：每个三元组数据集包括三个样本，分别为目标样本anchor,正样本pos,负样本neg，其中anchor和pos为同一类，anchor和neg为不同类，挑选原则为与目标样本相差大的同类样本和与目标样本相差小的不同类样本的组合，学习过程是实现尽可能多的三元组anchor和pos的距离小于anchor和neg的距离，距离均使用余弦距离，如下所示：
Figure GDA0002560783260000041
Figure GDA0002560783260000042
cosineap+α<cosinean
其中，
Figure GDA0002560783260000043
表示目标样本，
Figure GDA0002560783260000044
表示正样本，
Figure GDA0002560783260000045
表示负样本，目标cosineap表示目标样本和正样本之间的余弦距离，cosinean表示目标样本和负样本之间的余弦距离，α为一个正数，是保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离一个常数；
三元组损失函数如下所示：
Figure GDA0002560783260000046
其中，中
Figure GDA0002560783260000047
分别表示样本经过网络的输出编码；softmax损失函数如下所示：
Figure GDA0002560783260000051
其中，N表示样本个数，xi表示第i个样本，yi表示第i个样本的正确标签，f(xi)yi表示第i个样本的结果的第yi个输出，f(xi)j表示第i个样本的第j个节点的输出；
则总的损失函数为：
L＝Lt+Ls
(2.3)反复迭代循环训练网络直至损失值不再减小为止，并将训练完后的网络模型存储。
作为优选，所述的车辆局部特征的提取步骤如下：
(4.1)提取车辆年检标特征：
(4.1.1)对车窗位置进行粗定位：根据调查分析得到车窗左上角的位置一般处于车辆宽度的1/10处，高度的1/5，右下角位于宽度的9/10，位于高度的1/2，即Xmin＝1/10width,Ymin＝1/5height,Xmax＝9/10width,Ymax＝1/2height，截取该矩形区域；
(4.1.2)自动选取阈值二值化车窗区域图像；
(4.1.3)利用hough变换进行倾斜校正；
(4.1.4)水平垂直方向分别进行直方图投影，定位车窗上下左右边界，进行精确定位；
(4.1.5)定位年检标位置，取车窗部位的左上1/4部位作为年检标位置；
(4.1.6)提取年检标部位，并进行尺寸归一化；
(4.1.7)提取年检标特征并存储；
(4.2)提取车灯特征：
(4.2.1)根据车窗部位垂直方向对称轴确定车灯部位对称轴；
(4.2.2)二值化图像后进行开闭运算筛选区域；
(4.2.3)获取对称轴两侧对称的位于车辆宽度2/3部分的区域块为左右车灯位置；
(4.2.4)获取左、右侧车灯部位，并且尺寸归一化；
(4.2.5)提取车灯特征并存储。
作为优选，所述步骤(6)具体如下：
(6.1)建立车辆图片全局特征的k-means聚类：
(6.1.1)随机选择K个质心点；
(6.1.2)采用余弦相似度计算每个特征量到K个质心点的距离，将其指派到距离最近的质心，形成K个类别簇；余弦相似度计算如下所示：
Figure GDA0002560783260000061
其中，Xi代表特征X中的第i个值，Yi代表特征Y中的第i个值；
(6.1.3)计算每个簇的中心点作为新的质心；
(6.1.4)循环执行步骤(6.1.2)-(6.1.3)步，直到所有簇心的余弦相似度和小于I时停止循环，I为预设的阈值；某簇心的余弦相似度计算公式如下：
Figure GDA0002560783260000071
(6.1.5)若属于一个簇的特征总数大于N个时，对这个簇的数据执行步骤(6.1.1)-(6.1.4)，直到每一个最底部的子簇内部的特征数都小于等于N；
(6.2)利用K个二分类svm训练哈希函数，提取特征码：
(6.2.1)将k-means聚类后的数据按聚类分为k类；
(6.2.2)k类样本集分别记为{X1,X2,…,Xk}，取其中一个样本集Xi作为正样本，其余{X1,X2,…,Xi-1,Xi+1,…,Xk}集合作为负样；
(6.2.3)将正负样本作为线性二分类的SVM分类器的正负样本进行训练，正样本Xi的标签为1，负样本标签为0，得到该样本的分类权值矩阵Wi；
(6.2.4)依次将k类样本中每类样本集作为正样本，剩余的作为负样本，训练k个二分类SVM分类器，权值矩阵分别为W1,W2,…,Wk；
(6.2.5)将W1,W2,…,Wk组成权值矩阵[W1 W2… Wk]，作为用来生成编码的矩阵函数，即哈希函数；
(6.2.6)将所有车辆样本的全局特征值按照行进行排列，如下所示；
Figure GDA0002560783260000072
(6.2.7)求解样本全局特征矩阵和哈希函数矩阵的内积来生成车辆样本的二进制特征编码，如下所示：
Figure GDA0002560783260000081
其中，哈希编码每行都是K位二值数，由此m个样本都转化为哈希码；
(6.2.8)将样本哈希码记为H1,H2,…,Hm,利用K-mean将特征码按照距离聚类为M类，并按照聚类结果直接划分为M段，每段为一个哈希桶；并将样本特征码分散放入哈希桶中。
作为优选，所述步骤(7)具体如下：
(7.1)将提取到的车辆图片全局特征通过哈希函数转化为汉明特征码，并找出该特征码所属的哈希桶；
(7.2)将该特征码与该哈希桶下的所有特征进行余弦相似度计算，并按距离从小到大对特征进行排序，选取前num个进行下一步筛选；(7.3)计算待检索卡口车辆图片的全部特征向量与该num个车辆的全部特征向量的加权距离，并按距离从小到大对特征进行排序；加权距离计算公式如下：
0.8cosine(x1，ci1)+0.1cosine(x2，ci2)+0.1cosine(x2，ci2)(0≤i≤99)
其中，x1，x2，x3分别指的是卡口车辆的全局特征，年检标特征和车灯特征，ci1，ci2，ci3分别指的是第i个检索库中卡口车辆图片的全局特征码，年检标特征和车灯特征；
(7.4)根据排序完的特征顺序，输出特征所对应的卡口图片。
一种基于局部特征和深度学习的车辆图片检索方法，包括如下步骤：
(I)提取待检测图片的图片特征；
(II)通过待检测图片的图片特征和整体权值矩阵乘积获得待检测图片的二进制特征编码；
(III)将待检测图片的二进制特征编码匹配到哈希桶；
(IV)将待检测图片的图片特征与匹配的哈希桶对应的图片集图片特征进行相似度计算，并排序；
(V)输出相似度排前的图片集图片。
作为优选，所述整体权值矩阵和哈希桶的计算如下：
1)提取车辆图片集中各个图片的图片特征；
2)按图片特征聚类将车辆图片集中的图片分为k类；
3)取k类图片中的1类图片作为正样本，其余k-1类图片作为负样本，利用线性二分类器进行训练，获得对应的分类权值矩阵w；
4)将k类图片对应的k个分类权值矩阵w组成整体权值矩阵；
5)车辆图片集中各图片的图片特征和整体权值矩阵乘积获得各图片特征对应的二进制特征编码；
6)将各图片的二进制特征编码划分为M段，每段为一个哈希桶。
一种基于局部特征和深度学习的卡口车辆检索系统，包括：图片获取模块、特征提取模块、图片索引模块、图片上传模块；所述的图片获取模块、特征提取模块、图片索引模块、图片上传模块依次连接；所述的特征提取模块包括车辆全局特征提取模块、车年检标特征提取模块和车灯特征提取模块，车辆全局特征提取模块采用训练好的深度神经网络模型。
作为优选，所述的特征提取模块优选采用vgg网络模型，该网络模型包括：13个卷积子模块层，5个最大池化层，2个droupout层，3个全连接层。
本发明的有益效果在于：(1)深度神经网络的语义表现能力强，本发明通过深度神经网络提取的全局能够很好的诠释目标车辆的整体特性；(2)采用softmax损失和三元组损失函数共同作为深度神经网络的损失函数，相较于传统的只有单一损失函数的训练机制，本方法有利于区分不同类间大的差别和细微的差别；(3)采用车辆年检标和车灯两个具有车辆特征代表性的部位进行局部特征提取，相较于传统的单一利用局部特征或者全局特征进行检索的方法，精确性更好；(4)利用基于k-means的算法，优化了样本分类；(5)利用基于二分类SVM算法形成哈希函数进行检索，加快了检索速度，减少存储所需内存。
附图说明
图1是本发明系统结构示意图；
图2是本发明方法的流程示意图；
图3是本发明方法的网络模型训练流程示意图；
图4是本发明方法的局部特征提取流程示意图；
图5是本发明车辆图片全局特征的k-means聚类流程示意图；
图6是本发明实施例的特征码生成流程示意图；
图7是本发明实施例的的检索流程示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例：一种基于局部特征和深度学习的车辆图片检索方法，包括如下步骤：
(1)提取待检测图片的图片特征；
图片特征可以为全局特征或区部特征，可以采用深度神经网络进行提取或SIFT、SURF等方法提取。深度神经网络有Alexnet网络，vgg网络，GoogleNet网络等，具体如采用经典的vgg16网络提取车辆特征，损失函数联合利用softmax和trriple损失进行训练，抽取最后一层全连接层1000*1维的向量作为全局特征。利用SIFT方法提取车辆年检标特征、车灯特征作为局部特征。
(2)待检测图片的图片特征和整体权值矩阵乘积获得待检测图片的二进制特征编码；
(3)将待检测图片的二进制特征编码匹配到哈希桶；
(4)将待检测图片的图片特征与匹配的哈希桶对应的图片集图片特征进行相似度计算；其中，相似度计算可以采用余弦相似度计算。
(5)输出相似度排前的图片集图片；
其中，整体权值矩阵和哈希桶的计算如下：
1)提取车辆图片集中各个图片的图片特征；
2)按图片特征聚类将车辆图片集中的图片分为k类；
聚类方法可以采用k-means聚类算法、层次聚类算法、SOM聚类算法、FCM聚类算法等方法。具体如采用k-means聚类算法，以图片特征向量的特征范围为基准，在特征范围内随机选择K个质心点；采用余弦相似度计算每个特征量到K个质心点的距离，将其指派到距离最近的质心，形成K个类别簇；计算每个簇的中心点作为新的质心；循环执行，直到每一个最底部的子簇内部的图片特征数都小于等于N。3)取k类图片中的1类图片作为正样本，其余k-1类图片作为负样本，利用线性二分类器进行训练，获得对应的分类权值矩阵w；
具体地，k类图片集分别记为{X1,X2,…,Xk}，取其中一类图片集Xi作为正样本，其余{X1,X2,…,Xi-1,Xi+1,…,Xk}集合作为负样本。线性二分类器可以采用决策树、SVM方法、Softmax方法等。具体如二分类svm，正样本Xi的标签为1，负样本标签为0，训练得到该样本的分类权值矩阵Wi；
4)将k类图片对应的k个分类权值矩阵w组成整体权值矩阵；
具体地，依次将k类图片集作为正样本，其余剩余的作为负样本，训练k个二分类SVM分类器，权值矩阵分别为W1,W2,…,Wk，组成整体权值矩阵[W1 W2… Wk]；
5)车辆图片集中各图片的图片特征和整体权值矩阵乘积获得各图片特征对应的二进制特征编码；
具体地，将所有车辆图片集中图片的全局特征值按照行进行排列，获得
Figure GDA0002560783260000121
其中Xm为第m个车辆图片全局特征，图片集全局特征矩阵和整体权值矩阵的内积来生成车辆图片集的二进制特征编码
Figure GDA0002560783260000131
6)将各图片的二进制特征编码划分为M段，每段为一个哈希桶。
利用K-mean将这些特征码按照距离聚类为M类，然后按照聚类结果直接划分为M段，将样本哈希码记为H1,H2,…,Hm。
如图1所示，一种基于局部特征和深度学习的卡口车辆检索系统，包括图片获取模块、特征提取模块、图片索引模块、图片上传模块；所述的图片获取模块、特征提取模块、图片索引模块、图片上传模块依次连接。特征提取模块包括车辆全局特征提取模块、车年检标特征提取模块和车灯特征提取模块。车辆全局特征提取模块采用训练好的深度神经网络，优选采用VGG16网络，该网络包括13个卷积子模块层，5个最大池化层，2个droupout层，3个全连接层，其采用k叉树建立索引并进行检索。图像获取模块为网页形式，直接选择待检索图片，然后该图片被获取入服务器端，利用训练好的模型提取的整体特征向量，利用k叉树索引进行检索，进一步利用加权检索，返回最相似的前三十张图片并显示。其中获取和上传均使用python的flask模块。
如图2所示，一种基于局部特征和深度学习的卡口车辆检索方法，包括如下步骤：
步骤1、数据集准备：
(1)车辆图片人工标注目标区域坐标信息，利用深度学习训练目标识别网络；
(2)获取卡口图片车辆区域；
(3)将不同时间和地点拍摄的车辆图片按照车牌进行分类；
(4)对图片进行添加噪声样本，进行优化得到数据集。
步骤2、训练网络。
本发明采用经典的vgg16网络提取车辆特征，损失函数并没有像传统检索方法一样利用softmax进行分类学习，而是联合利用softmax和trriple损失进行训练，然后抽取最后一层全连接层1000*1维的向量作为整车的特征向量；训练时，取数据集内的一定数量的按照车辆分类的车辆区域的卡口图片作为训练样本集。其中，vgg16网络如下表所示：
Figure GDA0002560783260000141
Figure GDA0002560783260000151
表1
如图3所示，训练步骤具体如下：
2.1训练集使用vgg16提取车辆训练集特征，每个样本提取出的特征均为1000维的向量。
2.2计算联合损失函数。
筛选三元组样本集：每个三元组数据集包括三个样本，分别为anchor(目标样本),pos(正样本),neg(负样本)，其中anchor和pos为同一类，anchor和neg为不同类，挑选原则为与目标样本相差较大的同类样本和与目标样本相差较小的不同类样本的组合，学习过程是使得尽可能多的三元组anchor和pos的距离小于anchor和neg的距离，在这里距离均使用余弦距离。
Figure GDA0002560783260000152
Figure GDA0002560783260000153
cosineap+α＜cosinean (3)
如上所示公式，
Figure GDA0002560783260000154
表示目标样本，
Figure GDA0002560783260000155
表示正样本，
Figure GDA0002560783260000156
表示负样本，目标cosineap表示目标样本和正样本之间的余弦距离，cosinean表示目标样本和负样本之间的余弦距离，α为一个正数，保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离一个常数。
三元组损失函数：
Figure GDA0002560783260000161
公式(4)中
Figure GDA0002560783260000162
分别表示样本经过网络的输出编码。
softmax损失函数：
Figure GDA0002560783260000163
公式(5)中N表示样本个数，xi表示第i个样本，yi表示第i个样本的正确标签，f(xi)yi表示第i个样本的结果的第yi个输出，f(xi)j表示第i个样本的第j个节点的输出。
则总的损失函数为：
L＝Lt+Ls (6)
2.3反复迭代循环训练网络至损失值不再减小为止。将训练完后的网络模型保存起来。
步骤3、利用训练完成的网络模型提取车辆全局特征。
3.1将经过预处理的卡口图片导入到训练完成的深度学习模型中，提取最后一层全连接层的的1×1000维向量作为车辆全局特征。
步骤4、提取卡口车辆局部特征，具体流程如图4所示：
4.1提取车辆年检标特征：
(1)粗定位车窗位置：车窗一般都位于车辆的固定位置，选取位置为矩形区域，车窗左上角的位置一般处于车辆宽度的1/10处，高度的1/5，右下角位于宽度的9/10，位于高度的1/2。即Xmin＝1/10width,Ymin＝1/5height,Xmax＝9/10width,Ymax＝1/2height，截取该部位；
(2)自动选取阈值二值化车窗区域图像；
(3)利用hough变换进行倾斜校正；
(4)水平垂直方向分别进行直方图投影，定位车窗上下左右边界，进行精确定位；
(5)定位年检标位置，取车窗部位的左上1/4部位作为年检标位置；
(6)提取年检标部位，并且尺寸归一化；
(7)提取年检标特征并存储。
4.2提取车灯特征：
(1)根据车窗部位垂直方向对称轴确定车灯部位对称轴；
(2)二值化图像后进行开闭运算筛选区域；
(3)获取对称轴两侧对称的位于车辆宽度2/3部分的区域块为左右车灯位置；
(4)获取左侧车灯部位，并且尺寸归一化；
(5)提取车灯特征并存储。
步骤5、合并全局特征和局部特征得到车辆加权特征并存储，以此作为车辆特征。
步骤6、建立基于SVM的哈希检索：
步骤6.1建立车辆图片全局特征的k-means聚类，如图5所示：
6.1.1随机选择K个质心点。
6.1.2采用余弦相似度计算每个特征量到K个质心点的距离，将其指派到距离最近的质心，形成K个类别簇。
Figure GDA0002560783260000181
余弦相似度计算如上所示。Xi代表特征X中的第i个值，Yi代表特征Y中的第i个值。
6.1.3计算每个簇的中心点作为新的质心。
6.1.4循环执行6.1.2,6.1.3步，直到所有簇心的余弦相似度和小于I时，停止循环。某簇心余弦相似度计算公式如下：
Figure GDA0002560783260000182
6.1.5若属于一个簇的特征总数大于N个时，对这个簇的数据执行6.1.1-6.1.4步。
6.1.6重复执行6.1.5步，直到每一个最底部的子簇内部的图片特征数都小于等于N。
步骤6.2利用K个二分类svm训练哈希函数，提取特征码，如图6所示：
6.2.1将k-means聚类后的数据按聚类分为k类。
6.2.2k类样本集分别记为{X1,X2,…,Xk}，取其中一个样本集Xi作为正样本，其余{X1,X2,…,Xi-1,Xi+1,…,Xk}集合作为负样本。
6.2.3将正负样本作为线性二分类的SVM分类器的正负样本进行训练，正样本Xi的标签为1，负样本标签为0，得到该样本的分类权值矩阵Wi。
6.2.4依次将k类样本中每类样本集作为正样本，其余剩余的作为负样本，训练k个二分类SVM分类器，权值矩阵分别为W1,W2,…,Wk。
6.2.5W1,W2,…,Wk将组成权值矩阵[W1 W2… Wk]作为用来生成编码的矩阵函数，即哈希函数。
6.2.6将所有车辆样本的全局特征值按照行进行排列。
Figure GDA0002560783260000191
6.2.7求解样本全局特征矩阵和哈希函数矩阵的内积来生成车辆样本的二进制特征编码。
Figure GDA0002560783260000192
其中，哈希编码每行都是K位二值数，由此，m个样本都转化为哈希码。
6.2.8将将样本哈希码记为H1,H2,…,Hm,利用K-mean将特征码按照距离聚类为M类，并按照聚类结果直接划分为M段，每段为一个哈希桶；并将样本特征码分散放入哈希桶中。
6.2.9将样本特征码分散放入哈希桶中。
步骤7、检索，具体流程如图7所示：
7.1将提取到的车辆全局特征通过哈希函数转化为汉明特征码。找出该特征码所属的哈希桶。
7.2将该特征码与该桶下的所有特征进行余弦相似度计算，按距离从小到大对特征进行排序，选取前100个进行下一步筛选。
7.3计算带检索卡口车辆全部特征向量与该100个车辆的全部特征向量的加权距离：
0.8cosine(x1，ci1)+0.1cosine(x2，ci2)+0.1cosine(x2，ci2)(0≤i≤99) (9)
其中，x1，x2，x3分别指的是卡口车辆的全局特征，年检标特征和车灯特征，ci1，ci2，ci3分别指的是第i个检索库中卡口车辆图片的全局特征码，年检标特征和车灯特征。按距离从小到大对特征进行排序。
7.4根据排序完的特征，输出特征所对应的卡口图片。
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (9)

1.一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于，包括如下步骤：
(1)获取卡口车辆图片并制作成卡口图片集，对卡口图片集进行处理得到数据集；
(2)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征，采用softmax损失和三元组损失函数共同作为深度神经网络的损失函数，完成对网络模型的训练；具体如下：
(2.1)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征；
(2.2)联合利用softmax损失和三元组损失函数进行训练，计算联合损失函数：
筛选三元组样本集：每个三元组数据集包括三个样本，分别为目标样本anchor,正样本pos,负样本neg，其中anchor和pos为同一类，anchor和neg为不同类，挑选原则为与目标样本相差大的同类样本和与目标样本相差小的不同类样本的组合，学习过程是实现尽可能多的三元组anchor和pos的距离小于anchor和neg的距离，距离均使用余弦距离，如下所示：
Figure FDA0002560783250000011
Figure FDA0002560783250000012
cosineap+α＜cosinean
其中，
Figure FDA0002560783250000021
表示目标样本，
Figure FDA0002560783250000022
表示正样本，
Figure FDA0002560783250000023
表示负样本，目标cosineap表示目标样本和正样本之间的余弦距离，cosinean表示目标样本和负样本之间的余弦距离，α为一个正数，是保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离一个常数；
三元组损失函数如下所示：
Figure FDA0002560783250000024
其中，中
Figure FDA0002560783250000025
分别表示样本经过网络的输出编码；softmax损失函数如下所示：
Figure FDA0002560783250000026
其中，N表示样本个数，xi表示第i个样本，yi表示第i个样本的正确标签，
Figure FDA0002560783250000027
表示第i个样本的结果的第yi个输出，f(xi)j表示第i个样本的第j个节点的输出；
则总的损失函数为：
L＝Lt+Ls
(2.3)反复迭代循环训练网络直至损失值不再减小为止，并将训练完后的网络模型存储；
(3)利用训练完成的网络模型对数据集提取车辆全局特征；
(4)基于数据集进行车辆局部特征的提取，车辆局部特征包括年检标特征和车灯特征；
(5)将车辆全局特征与车辆局部特征合并得到车辆加权特征，并将其作为车辆图片全局特征；
(6)对车辆图片全局特征进行k-means聚类分析，利用K个二分类SVM训练哈希函数，提取样本特征码后放入哈希桶中，从而建立基于SVM的哈希检索；
(7)检索时将提取得到的待检测图片的车辆图片全局特征通过哈希函数转化为特征码，找到该特征码所对应的哈希桶并进行计算与排序，输出所对应的相似卡口图片。
2.根据权利要求1所述的一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于：所述步骤(1)包括如下步骤：
(1.1)对卡口车辆图片进行人工标注目标区域坐标信息，利用深度学习训练目标识别网络后获取卡口图片中的车辆区域；
(1.2)将不同时间和地点拍摄的卡口车辆图片按照车牌进行分类后制作得到卡口图片集，并对卡口图片集添加噪声样本，优化处理后得到数据集。
3.根据权利要求1所述的一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于：所述的车辆局部特征的提取步骤如下：
(4.1)提取车辆年检标特征：
(4.1.1)对车窗位置进行粗定位：根据调查分析得到车窗左上角的位置一般处于车辆宽度的1/10处，高度的1/5，右下角位于宽度的9/10，位于高度的1/2，即Xmin＝1/10width,Ymin＝1/5height,Xmax＝9/10width,Ymax＝1/2height，截取该矩形区域；
(4.1.2)自动选取阈值二值化车窗区域图像；
(4.1.3)利用hough变换进行倾斜校正；
(4.1.4)水平垂直方向分别进行直方图投影，定位车窗上下左右边界，进行精确定位；
(4.1.5)定位年检标位置，取车窗部位的左上1/4部位作为年检标位置；
(4.1.6)提取年检标部位，并进行尺寸归一化；
(4.1.7)提取年检标特征并存储；
(4.2)提取车灯特征：
(4.2.1)根据车窗部位垂直方向对称轴确定车灯部位对称轴；
(4.2.2)二值化图像后进行开闭运算筛选区域；
(4.2.3)获取对称轴两侧对称的位于车辆宽度2/3部分的区域块为左右车灯位置；
(4.2.4)获取左、右侧车灯部位，并且尺寸归一化；
(4.2.5)提取车灯特征并存储。
4.根据权利要求1所述的一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于：所述步骤(6)具体如下：
(6.1)建立车辆图片全局特征的k-means聚类：
(6.1.1)随机选择K个质心点；
(6.1.2)采用余弦相似度计算每个特征量到K个质心点的距离，将其指派到距离最近的质心，形成K个类别簇；余弦相似度计算如下所示：
Figure FDA0002560783250000041
其中，Xi代表特征X中的第i个值，Yi代表特征Y中的第i个值；
(6.1.3)计算每个簇的中心点作为新的质心；
(6.1.4)循环执行步骤(6.1.2)-(6.1.3)步，直到所有簇心的余弦相似度和小于I时停止循环，I为预设的阈值；某簇心的余弦相似度计算公式如下：
Figure FDA0002560783250000051
(6.1.5)若属于一个簇的特征总数大于N个时，对这个簇的数据执行步骤(6.1.1)-(6.1.4)，直到每一个最底部的子簇内部的特征数都小于等于N；
(6.2)利用K个二分类svm训练哈希函数，提取特征码：
(6.2.1)将k-means聚类后的数据按聚类分为k类；
(6.2.2)k类样本集分别记为{X1,X2,…,Xk}，取其中一个样本集Xi作为正样本，其余{X1,X2,…,Xi-1,Xi+1,…,Xk}集合作为负样；
(6.2.3)将正负样本作为线性二分类的SVM分类器的正负样本进行训练，正样本Xi的标签为1，负样本标签为0，得到该样本的分类权值矩阵Wi；
(6.2.4)依次将k类样本中每类样本集作为正样本，剩余的作为负样本，训练k个二分类SVM分类器，权值矩阵分别为W1,W2,…,Wk；
(6.2.5)将W1,W2,…,Wk组成权值矩阵[W1 W2…Wk]，作为用来生成编码的矩阵函数，即哈希函数；
(6.2.6)将所有车辆样本的全局特征值按照行进行排列，如下所示；
Figure FDA0002560783250000061
(6.2.7)求解样本全局特征矩阵和哈希函数矩阵的内积来生成车辆样本的二进制特征编码，如下所示：
Figure FDA0002560783250000062
其中，哈希编码每行都是K位二值数，由此m个样本都转化为哈希码；
(6.2.8)将样本哈希码记为H1,H2,…,Hm,利用K-mean将特征码按照距离聚类为M类，并按照聚类结果直接划分为M段，每段为一个哈希桶；并将样本特征码分散放入哈希桶中。
5.根据权利要求1所述的一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于：所述步骤(7)具体如下：
(7.1)将提取到的车辆图片全局特征通过哈希函数转化为汉明特征码，并找出该特征码所属的哈希桶；
(7.2)将该特征码与该哈希桶下的所有特征进行余弦相似度计算，并按距离从小到大对特征进行排序，选取前num个进行下一步筛选；
(7.3)计算待检索卡口车辆图片的全部特征向量与该num个车辆的全部特征向量的加权距离，并按距离从小到大对特征进行排序；加权距离计算公式如下：
0.8cosine(x1，ci1)+0.1cosine(x2，ci2)+0.1cosine(x3，ci3) (0≤i≤99)
其中，x1，x2，x3分别指的是卡口车辆的全局特征，年检标特征和车灯特征，ci1，ci2，ci3分别指的是第i个检索库中卡口车辆图片的全局特征码，年检标特征和车灯特征；
(7.4)根据排序完的特征顺序，输出特征所对应的卡口图片。
6.一种基于局部特征和深度学习的车辆图片检索方法，其特征在于，包括如下步骤：
(I)提取待检测图片的图片特征；
(II)通过待检测图片的图片特征和整体权值矩阵乘积获得待检测图片的二进制特征编码；
(III)将待检测图片的二进制特征编码匹配到哈希桶；
(IV)将待检测图片的图片特征与匹配的哈希桶对应的图片集图片特征进行相似度计算，并排序；
(V)输出相似度排前的图片集图片。
7.根据权利要求6所述的一种基于局部特征和深度学习的车辆图片检索方法，其特征在于：所述整体权值矩阵和哈希桶的计算如下：
1)提取车辆图片集中各个图片的图片特征；
2)按图片特征聚类将车辆图片集中的图片分为k类；
3)取k类图片中的1类图片作为正样本，其余k-1类图片作为负样本，利用线性二分类器进行训练，获得对应的分类权值矩阵w；
4)将k类图片对应的k个分类权值矩阵w组成整体权值矩阵；
5)车辆图片集中各图片的图片特征和整体权值矩阵乘积获得各图片特征对应的二进制特征编码；
6)将各图片的二进制特征编码划分为M段，每段为一个哈希桶。
8.一种应用如权利要求1所述方法的卡口车辆检索系统，其特征在于包括：图片获取模块、特征提取模块、图片索引模块、图片上传模块；所述的图片获取模块、特征提取模块、图片索引模块、图片上传模块依次连接；所述的特征提取模块包括车辆全局特征提取模块、车年检标特征提取模块和车灯特征提取模块，车辆全局特征提取模块采用训练好的深度神经网络模型。
9.根据权利要求8所述的卡口车辆检索系统，其特征在于：所述的深度神经网络模型优选采用vgg网络模型，该网络模型包括：13个卷积子模块层，5个最大池化层，2个droupout层，3个全连接层。
CN201711393924.2A 2017-12-21 2017-12-21 一种基于局部特征和深度学习的卡口车辆检索系统及方法 Active CN108197538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711393924.2A CN108197538B (zh) 2017-12-21 2017-12-21 一种基于局部特征和深度学习的卡口车辆检索系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711393924.2A CN108197538B (zh) 2017-12-21 2017-12-21 一种基于局部特征和深度学习的卡口车辆检索系统及方法

Publications (2)

Publication Number Publication Date
CN108197538A CN108197538A (zh) 2018-06-22
CN108197538B true CN108197538B (zh) 2020-10-16

Family

ID=62577474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711393924.2A Active CN108197538B (zh) 2017-12-21 2017-12-21 一种基于局部特征和深度学习的卡口车辆检索系统及方法

Country Status (1)

Country Link
CN (1) CN108197538B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2574372B (en) * 2018-05-21 2021-08-11 Imagination Tech Ltd Implementing Traditional Computer Vision Algorithms As Neural Networks
CN109145129B (zh) * 2018-09-07 2020-03-31 深圳码隆科技有限公司 基于层次三元组损失函数的深度度量学习方法及其装置
CN109583332B (zh) * 2018-11-15 2021-07-27 北京三快在线科技有限公司 人脸识别方法、人脸识别系统、介质及电子设备
TWI684920B (zh) * 2018-12-05 2020-02-11 財團法人資訊工業策進會 車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體
CN111325223B (zh) * 2018-12-13 2023-10-24 中国电信股份有限公司 深度学习模型的训练方法、装置和计算机可读存储介质
CN109815953A (zh) * 2019-01-30 2019-05-28 电子科技大学 一种基于车辆年检标的车辆识别匹配系统
CN111611414B (zh) * 2019-02-22 2023-10-24 杭州海康威视数字技术股份有限公司 车辆检索方法、装置及存储介质
CN109919084B (zh) * 2019-03-06 2023-04-25 南京大学 一种基于深度多索引哈希的行人重识别方法
CN110490242B (zh) * 2019-08-12 2024-03-29 腾讯医疗健康(深圳)有限公司 图像分类网络的训练方法、眼底图像分类方法及相关设备
CN110704652A (zh) * 2019-08-22 2020-01-17 长沙千视通智能科技有限公司 基于多重注意力机制的车辆图像细粒度检索方法及装置
CN110688976A (zh) * 2019-10-09 2020-01-14 创新奇智(北京)科技有限公司 基于图像识别的门店比对方法
CN111488211A (zh) * 2020-04-09 2020-08-04 北京嘀嘀无限科技发展有限公司 基于深度学习框架的任务处理方法、装置、设备及介质
CN112541096B (zh) * 2020-07-27 2023-01-24 中咨数据有限公司 一种用于智慧城市的视频监控方法
CN111914109A (zh) * 2020-07-29 2020-11-10 厦门大学 一种基于深度度量学习的服装检索技术
CN112418262A (zh) * 2020-09-23 2021-02-26 上海市刑事科学技术研究院 车辆再识别的方法、客户端及系统
CN113139381B (zh) * 2021-04-29 2023-11-28 平安国际智慧城市科技股份有限公司 不均衡样本分类方法、装置、电子设备及存储介质
CN115731436B (zh) * 2022-09-21 2023-09-26 东南大学 基于深度学习融合模型的高速公路车辆图像检索方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008114206A2 (en) * 2007-03-21 2008-09-25 Nxp B.V. Object recognition method and device
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
CN106528662A (zh) * 2016-10-20 2017-03-22 中山大学 一种基于特征几何约束的车辆图像快速检索方法与系统
CN106548145A (zh) * 2016-10-31 2017-03-29 北京小米移动软件有限公司 图像识别方法及装置
CN106897390A (zh) * 2017-01-24 2017-06-27 北京大学 基于深度度量学习的目标精确检索方法
CN106934396A (zh) * 2017-03-09 2017-07-07 深圳市捷顺科技实业股份有限公司 一种车牌检索方法及系统
CN106971556A (zh) * 2017-05-16 2017-07-21 中山大学 基于双网络结构的卡口车辆重识别方法
CN107330463A (zh) * 2017-06-29 2017-11-07 南京信息工程大学 基于cnn多特征联合和多核稀疏表示的车型识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120328160A1 (en) * 2011-06-27 2012-12-27 Office of Research Cooperation Foundation of Yeungnam University Method for detecting and recognizing objects of an image using haar-like features

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008114206A2 (en) * 2007-03-21 2008-09-25 Nxp B.V. Object recognition method and device
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
CN106528662A (zh) * 2016-10-20 2017-03-22 中山大学 一种基于特征几何约束的车辆图像快速检索方法与系统
CN106548145A (zh) * 2016-10-31 2017-03-29 北京小米移动软件有限公司 图像识别方法及装置
CN106897390A (zh) * 2017-01-24 2017-06-27 北京大学 基于深度度量学习的目标精确检索方法
CN106934396A (zh) * 2017-03-09 2017-07-07 深圳市捷顺科技实业股份有限公司 一种车牌检索方法及系统
CN106971556A (zh) * 2017-05-16 2017-07-21 中山大学 基于双网络结构的卡口车辆重识别方法
CN107330463A (zh) * 2017-06-29 2017-11-07 南京信息工程大学 基于cnn多特征联合和多核稀疏表示的车型识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Random Maximum Margin Hashing;Alexis Joly等;《Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition》;20110822;第873-880页 *
全局及其个性化区域特征的图像检索;段娜等;《计算机科学》;20161130;第43卷(第11A期);第206-207页第2-3节 *
基于图像哈希的大规模图像检索方法研究;付海燕;《中国博士学位论文全文数据库 信息科技辑》;20150715(第07期);正文第8-9页第1.4.2节，第33-36页第2.5节，第78页第5.3节 *
基于深度学习表征的图像检索技术;孙韶言;《中国博士学位论文全文数据库 信息科技辑》;20170915(第09期);第I138-25页 *
段娜等.全局及其个性化区域特征的图像检索.《计算机科学》.2016,第43卷(第11A期), *

Also Published As

Publication number Publication date
CN108197538A (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN108197538B (zh) 一种基于局部特征和深度学习的卡口车辆检索系统及方法
CN108171136B (zh) 一种多任务卡口车辆以图搜图的系统及方法
CN107679078B (zh) 一种基于深度学习的卡口图像车辆快速检索方法及系统
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
Galleguillos et al. Weakly supervised object localization with stable segmentations
CN102208038B (zh) 基于视觉词典的图像分类方法
Shahab et al. ICDAR 2011 robust reading competition challenge 2: Reading text in scene images
CN107247956B (zh) 一种基于网格判断的快速目标检测方法
CN107316036B (zh) 一种基于级联分类器的害虫识别方法
CN105335702B (zh) 一种基于统计学习的卡口车型识别方法
CN102346847B (zh) 一种支持向量机的车牌字符识别方法
US20180341810A1 (en) Recognition Process Of An Object In A Query Image
Rejeb Sfar et al. Vantage feature frames for fine-grained categorization
Lu et al. A hierarchical scheme for vehicle make and model recognition from frontal images of vehicles
CN109033944B (zh) 一种全天空极光图像分类与关键局部结构定位方法及系统
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
Kobyshev et al. Matching features correctly through semantic understanding
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN103279738A (zh) 车标自动识别方法及系统
CN106777350B (zh) 一种基于卡口数据的以图搜图方法和装置
Lin et al. Learning contour-fragment-based shape model with and-or tree representation
Le et al. Improving logo spotting and matching for document categorization by a post-filter based on homography
US20230093503A1 (en) Cam-based weakly supervised learning object localization device and method
Creusen et al. A semi-automatic traffic sign detection, classification, and positioning system
Le et al. Logo spotting for document categorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant