CN107679078A - 一种基于深度学习的卡口图像车辆快速检索方法及系统 - Google Patents
一种基于深度学习的卡口图像车辆快速检索方法及系统 Download PDFInfo
- Publication number
- CN107679078A CN107679078A CN201710755293.8A CN201710755293A CN107679078A CN 107679078 A CN107679078 A CN 107679078A CN 201710755293 A CN201710755293 A CN 201710755293A CN 107679078 A CN107679078 A CN 107679078A
- Authority
- CN
- China
- Prior art keywords
- feature
- sample
- picture
- vehicle
- bayonet socket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的卡口图像车辆快速检索方法及系统，本发明采用深度神经网络来提取车辆特征信息，基于inception_resnet_v2网络对车辆特征进行提取，其中实现了网络权值共享，有效避免了大量重复计算，其损失函数采用三元组样本训练，直接产生128维向量，在检索图片阶段，本发明采用了对特征聚类的方式对特征建立索引，提升查询速度。本发明可以加快图像特征的提取速度，以及快速的实时响应的同时，能够有效稽查追捕假牌、套牌车这部分违法车辆。
Description
技术领域
本发明涉及智慧交通领域，尤其涉及一种基于深度学习的卡口图像车辆快速检索方法及系统。
背景技术
智能交通领域中智能交通监控是当前非常重要的一个发展方向，目前我国已在城市道路上部署了大规模数量的电子警察和卡口系统。这些系统能够实时捕获车辆高清图片，并且识别分析出车牌号码，以及一部分车型信息(如车辆大小，颜色等)。但目前使用的卡口监控系统，车牌号码识别仍有10％左右的误识别、漏识别率。更重要的是，对于套牌车或故意遮掩拍照的违法车将无法进行识别。因此，通过车牌号码之外的车辆特征信息作为一个新的识别条件，从而在现有的交通监控系统找出这部分违法车辆。另一方面，一个城市的所存储的卡口图片往往数量在亿级以上，即使将图片成功转化成为特征向量，要快速精确的查询搜索相关特征依然是一大难点。这在现今的在现代交通监控和管理中有非常重要的研究意义和应用前景。
申请号为201611129798.5的《基于传统算法和深度学习算法级联的车辆检测方法及系统》，其利用CNN算法进行车辆特征提取，采用8层的CNN，包括一个input层，2个conv层，2个pool层，2个 fc层和一个droupout层来训练分类网络，最后的fc层用来提取车辆特征来进行检索。
申请号为201610711333.4的《基于大数据的车辆检索方法及装置》，其通过检测各个目标车辆之间的位置关系对各个车辆的检测标志进行融合，来进行车辆的检测，用车辆的标志的形状，颜色等来进行检索。
申请号为201610119765.6的《一种卡口车辆检索方法及其系统》，同样利用深度学习的方法来对卡口车辆图片进行特征提取，网络模型为传统的利用分类模型来训练，选取其中某层的特征来作为车辆的特征表达，之后进行相似度对比来进行检索。
目前的车辆检索方法中，一类是利用传统的机器学习提取不同特征向量进行识别，二是利用深度学习神经网络进行特征提取，通常传统的机器学习算法不及深度学习准确度高；目前的方法大多是利用分类模型训练网络后提取特征层进行识别，这样车辆的特征向量一般较大，由于需要将车辆特征一个个同数据库中所有车辆特征比对，大城市交通系统储存的卡口图片往往有上亿级的图片数量，这种检索方式显然无法满足实际情况，另外神经网络的层数越深，其识别正确率一般也越高，然而其训练也比较困难。
发明内容
本发明为克服上述的不足之处，目的在于提供一种基于深度学习的卡口图像车辆快速检索方法及系统，本发明采用深度神经网络来提取车辆特征信息，基于inception_resnet_v2网络对车辆特征进行提取，在其中实现了网络权值共享，有效避免了大量重复计算，其损失函数采用三元组样本训练，直接产生128维向量，在检索图片阶段，本发明采用了对特征聚类的方式对特征建立索引，提升查询速度；本发明可以加快图像特征的提取速度，以及快速的实时响应的同时，能够有效稽查追捕假牌、套牌车这部分违法车辆。
本发明是通过以下技术方案达到上述目的：一种基于深度学习的卡口图像车辆快速检索方法，包括如下步骤：
(1)基于深度神经网络模型建立图片特征提取网络模型，利用训练样本集训练获得训练完成的特征提取网络模型；
(2)基于参考图片集，利用训练完成的特征提取网络模型提取车辆特征向量；
(3)通过K-Means聚类对提取到的车辆特征向量进行反复聚类，以聚类生成的质心建立K叉树索引；
(4)通过训练完成的特征提取网络模型提取待检测图片的特征向量，利用K叉树索引查询检索与待检测图片相似的图片，并输出相似的参考图片集图片。
作为优选，所述特征提取网络模型的训练过程包括：
(1.1)对卡口图片进行人工标注目标区域坐标信息，利用深度学习训练目标识别网络后获取卡口图片中的车辆区域；
(1.2)将每张卡口图片的车辆区域按照车牌进行分类后制作得到车辆训练样本集，并对车辆训练样本集进行优化；
(1.3)采用inception_resnet_v2作为特征提取网络模型提取车辆训练样本集特征，计算三元组损失函数并利用三元组损失函数进行优化训练特征提取网络模型。
作为优选，所述的对训练样本集进行优化包括三种变换优化方式：噪声变换、颜色变换和仿射变换。
作为优选，所述的步骤(1.3)的步骤如下：
(1.3.1)采用inception_resnet_v2提取车辆训练集特征；
(1.3.2)计算三元组损失函数，具体如下：
筛选三元组样本集：每个三元组数据集包括三个样本，分别为目标样本anchor,正样本pos,负样本neg，其中，anchor和pos为同一类， anchor和neg为不同类，筛选原则为挑选与目标样本相差大的同类样本和与目标样本相差小的不同类样本的组合，学习过程为使得三元组anchor和pos的距离小于anchor和neg的距离，其中，距离均使用余弦距离，如下所示：
cosineap+α＜cosinean
其中，表示目标样本，表示正样本，表示负样本，目标cosineap表示目标样本和正样本之间的余弦距离，cosinean表示目标样本和负样本之间的余弦距离，α为正数，保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离的一个常数；
在每个batch中选择三元组样本进行训练，首先计算每个batch 的网络输出，然后保证每个batch中每辆车有若干张样本图片，并随机加入若干反例；生成三元组样本时找到所有anchor-pos对，并通过计算样本输出编码的欧式距离，针对每个anchor-pos对找出其对应的neg样本，利用所得样本对计算三元组损失；
目标函数为三元组损失函数，如下所示：
其中，分别表示样本经过网络的输出编码；
(1.3.3)反复迭代循环训练网络直至损失值不再减小，并将训练完成后的网络模型保存。
作为优选，所述步骤(3)具体步骤如下：
(3.1)随机选择K个质心点，其中K是预设的；
(3.2)采用余弦相似度计算每个特征向量到K个质心点的距离，将其指派到距离最近的质心，形成K个类别簇；其中余弦相似度计算公式如下所示：
其中，Xi代表特征X中的第i个值，Yi代表特征Y中的第i个值；
(3.3)计算每个簇的中心点，并将其作为新的质心；
(3.4)循环执行步骤(3.3)与(3.4)，直到所有簇心的余弦相似度和小于I；其中，簇心余弦相似度计算公式如下：
(3.5)判断每个簇最底部子簇的特征总数是否不大于N个，若否，则对特征总数大于N个的簇执行步骤(3.1)到步骤(3.4)，直到每个簇最底部子簇的的特征总数不大于N；否则结束聚类过程，以聚类生成的质心建立K叉树索引。
作为优选，所述以聚类生成的质心建立K叉树索引的方法为：将第一层的聚类结果得到的K个质点作为K叉树第一层的K个节点，然后把聚类得到的特征分类放在对应的节点下，若第一层节点I下的特征个数大于N时，则将该节点I下的特征进行聚类，取得聚类得到的质点作为节点I下的K叉树第二层的节点。重复操作直到所有最底端节点下的特征个数均不大于N。
作为优选，所述步骤(4)利用K叉树索引查询检索并输出相似图片的方法如下：
(i)将提取到的车辆特征向量与K叉树索引第一层的K个节点比较，找出离该特征最近的特征节点；
(ii)若该节点下存在子树，则在子树上找出离该特征最近的特征节点，重复执行该步骤直到该节点下没有子树；
(iii)将该特征与节点下聚类的所有特征进行余弦相似度计算，并按距离从小到大对特征进行排序；
(iv)根据排序得到的特征顺序输出特征所对应的卡口相似图片，输出的图片张数优选为十张。
一种基于深度学习的卡口图像车辆快速检索系统，包括：图片获取模块、特征提取模块、图片索引模块、图片上传模块；所述的图片获取模块、特征提取模块、图片索引模块、图片上传模块依次连接。
作为优选，所述图片索引模块将特征提取模块提取到的特征基于 K-Means聚类生成的质心建立K叉树索引来构建特征索引，按照建立的索引检索出相似图片。
作为优选，所述的特征提取模块优选采用GoogleNet的 inception_resnet_v2网络模型，该网络模型包括：6个卷积子模块层，1个均值池化层，1个droupout层，1个全连接层，其中卷积子模块层为若干个不同的卷积层和池化层组成的子模块。
本发明的有益效果在于：(1)本发明采用inception_resnet_v2 作为网络模型，相较于目前用于检索的vgg等模型，本方法的精确度更高；(2)本发明采用三元组损失函数训练模型，损失为样本间的余弦距离，相比于传统的softmax损失函数训练的方法，本方法直接优化样本间的余弦距离，更适用于空间样本的检索训练；(3)本发明网络模型直接输出128维特征向量，相较于利用分类模型选取其中一层作为特征的特征提取方式，本方法更简单，无需降维，可直接用于检索；(4)本发明通过索引树的形式，使目标图片提取的特征不用对卡口图片库中每一个图片特征进行比较，指数倍地减少了需要比对的特征的相似度计算量，使得系统能够快速查询车辆图片，能适用于大量卡口数据的检索。
附图说明
图1是本发明系统结构示意图；
图2是本发明inception_resnet_v2网络模型的架构示意图；
图3是本发明方法的流程示意图；
图4是本发明实施例的人工标注图片示意图；
图5是本发明实施例的车辆训练样本集示意图；
图6是本发明实施例的车辆训练样本集图片变换效果示意图；
图7是本发明的聚类流程示意图；
图8是本发明的K叉树查询流程示意图；
图9是本发明实施例的检索结果示意图1；
图10是本发明实施例的检索结果示意图2。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例：如图1所示，一种基于深度学习的卡口图像车辆快速检索系统，包括图片获取模块、特征提取模块、图片索引模块、图片上传模块；所述的图片获取模块、特征提取模块、图片索引模块、图片上传模块依次连接。图像获取模块为网页形式，直接选择待检索图片，然后该图片被获取，利用训练好的模型提取128*1维特征向量，利用 k叉树索引进行检索，返回最相似的前十张图片并显示。其中，图片获取模块和图片上传模块均使用python的flask模块，特征提取模块采用的是inception_resnet_v2模型，在此利用的为GoogleNet的Inception_resnet_v2网络，如图2所示，该网络结合了Inception 和resnet的优势，包括：6个卷积子模块层，一个均值池化层，1个 droupout层，1个全连接层，卷积子模块是指几个不同的卷积层和池化层组成的子模块。其作用是加深和加宽网络，能够进一步强化图片的语义特征，加强网络的表达能力。
如图3所示，一种基于深度学习的卡口图像车辆快速检索方法，其步骤如下：
步骤1、数据集准备：
(1.1)对卡口系统获取到的车辆图片人工标注目标区域坐标信息，利用深度学习建立特征提取网络模型，获取卡口图片车辆区域；
在本实施例中，对卡口系统采集到的20,000张图片进行车辆边缘框位置的标注，如图4所示。如浙AXXXXX，标注出其在图片中位置。只标注主车辆(即卡口主要拍摄的车辆)，用于收集同一辆车在不同卡口出现的图片来用于下一步的分类。由于训练网络输入尺寸为160×160，因此标注矩形框尽量接近正方形，防止其形变过大；标注框稍微大于车辆来提供一些边缘信息。
(1.2)将获取到的车辆区域按车牌进行分类制作车辆训练样本集，如图5所示；
(1.3)对样本集中的图片进行变换，以增加样本图片的多样性，得到变换优化后的训练样本集；其中，变换包括加噪声变换，颜色变换和仿射变换三种方式，效果如图6所示。
步骤2、训练特征提取网络模型，利用三元组损失函数进行优化特征提取网络模型：
本发明采用inception_resnet_v2网络提取车辆特征，损失函数并没有像传统检索方法一样利用softmax进行分类学习后抽取其中一层作为特征，而是直接对图像进行了从图像端到欧式空间的编码端的学习，可以直接利用该编码进行图像检索。该网络主要利用 GoogleNet的Inception_resnet_v2网络模型，具体步骤如下：
(2.1)采用inception_resnet_v2提取车辆训练集特征，每个样本提取出的特征均为128维的向量。
(2.2)计算三元组损失函数。
筛选三元组样本集：每个三元组数据集包括三个样本，分别为anchor (目标样本),pos(正样本),neg(负样本)，其中anchor和pos 为同一类，anchor和neg为不同类，挑选原则为与目标样本相差较大的同类样本和与目标样本相差较小的不同类样本的组合，学习过程是使得尽可能多的三元组anchor和pos的距离小于anchor和neg的距离，在这里距离均使用余弦距离。
cosineap+α＜cosinean (3)
如上所示公式，表示目标样本，表示正样本，表示负样本，目标cosineap表示目标样本和正样本之间的余弦距离，cosinean表示目标样本和负样本之间的余弦距离，α为一个正数，保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离一个常数。
在每个batch中选择三元组样本进行训练，生成batch时，首先计算每个batch的网络输出，然后保证每个batch中每辆车有平均 40张样本图片，并随机加入一些反例，生成三元组样本时，找到所有anchor-pos对，然后通过计算样本输出编码的欧式距离，针对每个anchor-pos对找出其对应的neg样本，利用这些样本对计算三元组损失。
目标函数为：三元组损失函数
公式(4)中分别表示样本经过网络的输出编码。
(2.3)反复迭代循环训练网络至损失值不再减小为止。将训练完后的网络模型保存起来。
步骤3、利用训练完成的特征提取网络模型提取车辆特征：
将参考图片集导入到训练完成的网络模型中，提取1×128维向量作为车辆特征信息。
步骤4、将提取到的特征基于K-Means反复聚类，以建立K叉树索引，其流程如图7所示：
(4.1)随机选择K个质心点。
(4.2)采用余弦相似度计算每个特征量到K个质心点的距离，将其指派到距离最近的质心，形成K个类别簇。
余弦相似度计算如上所示。Xi代表特征X中的第i个值，Yi代表特征 Y中的第i个值。
(4.3)计算每个簇的中心点作为新的质心。
(4.4)循环执行4.2,4.3步，直到所有簇心的余弦相似度和小于I 时，停止循环。某簇心余弦相似度计算公式如下：
(4.5)若属于一个簇的特征总数大于N个时，对这个簇的数据执行步骤(4.1)-(4.4)。
(4.6)重复执行步骤(4.5)，直到每一个最底部的子簇内部的图片特征数都小于等于N。
在本实施例中，在20,000个128*1维的特征中通过K-Means算法进行反复聚类，K取10，以此建立K叉树索引。
步骤5、根据以上聚类生成的质心建立K叉树索引：
具体来说，就是将第一层的聚类结果得到的10个质点作为第一层K叉树的10个节点，接着把聚类得到的特征分类放在对应的节点下，若第一层节点I下的特征个数大于N时，再将节点I下的特征进行聚类，取得聚类得到的质点作为节点I下的树的第二层的节点。重复这个步骤，直到所有底端节点下的特征个数都不大于N。
步骤6、利用训练好的特征提取网络模型提取待检测图片的特征向量，维度为128*1，并利用K叉树索引检索图片是否存在相似图片，输出相似图片。其中，K叉树的查询流程图如下所示：
(6.1)将提取到的车辆特征数据与树第一层的十个节点比较。找出离该特征最近的特征节点。
(6.2)若该节点下还有子树，则找出离该特征最近的特征节点。重复该步骤。直到该节点下没有子树，执行步骤(6.3)。
(6.3)将该特征与节点下的所有特征进行余弦相似度计算，按距离从小到大对特征进行排序。
(6.4)根据排序得到的特征，输出特征所对应的卡口图片；优选输出排序前十位的特征所对应的图片，如图9、图10所示。
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。
Claims (10)
1.一种基于深度学习的卡口图像车辆快速检索方法，其特征在于，包括如下步骤：
(1)基于深度神经网络模型建立图片特征提取网络模型，利用训练样本集训练获得训练完成的特征提取网络模型；
(2)基于参考图片集，利用训练完成的特征提取网络模型提取车辆特征向量；
(3)通过K-Means聚类对提取到的车辆特征向量进行反复聚类，以聚类生成的质心建立K叉树索引；
(4)通过训练完成的特征提取网络模型提取待检测图片的特征向量，利用K叉树索引查询检索与待检测图片相似的图片，并输出相似的参考图片集图片。
2.根据权利要求1所述的一种基于深度学习的卡口图像车辆快速检索方法，其特征在于：所述特征提取网络模型的训练过程包括：
(1.1)对卡口图片进行人工标注目标区域坐标信息，利用深度学习训练目标识别网络后获取卡口图片中的车辆区域；
(1.2)将每张卡口图片的车辆区域按照车牌进行分类后制作得到车辆训练样本集，并对车辆训练样本集进行优化；
(1.3)采用inception_resnet_v2作为特征提取网络模型提取车辆训练样本集特征，计算三元组损失函数并利用三元组损失函数进行优化训练特征提取网络模型。
3.根据权利要求2所述的一种基于深度学习的卡口图像车辆快速检索方法，其特征在于：所述的对训练样本集进行优化包括三种变换优化方式：噪声变换、颜色变换和仿射变换。
4.根据权利要求2所述的一种基于深度学习的卡口图像车辆快速检索方法，其特征在于：所述的步骤(1.3)的步骤如下：
(1.3.1)采用inception_resnet_v2提取车辆训练集特征；
(1.3.2)计算三元组损失函数，具体如下：
筛选三元组样本集：每个三元组数据集包括三个样本，分别为目标样本anchor,正样本pos,负样本neg，其中，anchor和pos为同一类，anchor和neg为不同类，筛选原则为挑选与目标样本相差大的同类样本和与目标样本相差小的不同类样本的组合，学习过程为使得三元组anchor和pos的距离小于anchor和neg的距离，其中，距离均使用余弦距离，如下所示：
cosineap+α＜cosinean
其中，表示目标样本，表示正样本，表示负样本，目标cosineap表示目标样本和正样本之间的余弦距离，cosinean表示目标样本和负样本之间的余弦距离，α为正数，保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离的一个常数；
在每个batch中选择三元组样本进行训练，首先计算每个batch的网络输出，然后保证每个batch中每辆车有若干张样本图片，并随机加入若干反例；生成三元组样本时找到所有anchor-pos对，并通过计算样本输出编码的欧式距离，针对每个anchor-pos对找出其对应的neg样本，利用所得样本对计算三元组损失；
目标函数为三元组损失函数，如下所示：
其中，分别表示样本经过网络的输出编码；(1.3.3)反复迭代循环训练网络直至损失值不再减小，并将训练完成后的网络模型保存。
5.根据权利要求1所述的一种基于深度学习的卡口图像车辆快速检索方法，其特征在于：所述步骤(3)具体步骤如下：
(3.1)随机选择K个质心点，其中K是预设的；
(3.2)采用余弦相似度计算每个特征向量到K个质心点的距离，将其指派到距离最近的质心，形成K个类别簇；其中余弦相似度计算公式如下所示：
其中，Xi代表特征X中的第i个值，Yi代表特征Y中的第i个值；
(3.3)计算每个簇的中心点，并将其作为新的质心；
(3.4)循环执行步骤(3.2)与(3.3)，直到所有簇心的余弦相似度和小于I；其中，簇心余弦相似度计算公式如下：
(3.5)判断每个簇最底部子簇的特征总数是否不大于N个，若否，则对特征总数大于N个的簇执行步骤(3.1)到步骤(3,4)，直到每个簇最底部子簇的的特征总数不大于N；否则结束聚类过程，以聚类生成的质心建立K叉树索引。
6.根据权利要求5所述的一种基于深度学习的卡口图像车辆快速检索方法，其特征在于：所述以聚类生成的质心建立K叉树索引的方法为：将第一层的聚类结果得到的K个质点作为K叉树第一层的K个节点，然后把聚类得到的特征分类放在对应的节点下，若第一层节点I下的特征个数大于N时，则将该节点I下的特征进行聚类，取得聚类得到的质点作为节点I下的K叉树第二层的节点；重复操作直到所有最底端节点下的特征个数均不大于N。
7.根据权利要求1所述的一种基于深度学习的卡口图像车辆快速检索方法，其特征在于：所述步骤(4)利用K叉树索引查询检索并输出相似图片的方法如下：
(i)将提取到的车辆特征向量与K叉树索引第一层的K个节点比较，找出离该特征最近的特征节点；
(ii)若该节点下存在子树，则在子树上找出离该特征最近的特征节点，重复执行该步骤直到该节点下没有子树；
(iii)将该特征与节点下聚类的所有特征进行余弦相似度计算，并按距离从小到大对特征进行排序；
(iv)根据排序得到的特征顺序输出特征所对应的卡口相似图片，输出的图片张数优选为十张。
8.一种基于深度学习的卡口图像车辆快速检索系统，其特征在于包括：图片获取模块、特征提取模块、图片索引模块、图片上传模块；所述的图片获取模块、特征提取模块、图片索引模块、图片上传模块依次连接。
9.根据权利要求8所述的一种基于深度学习的卡口图像车辆快速检索系统，其特征在于：所述图片索引模块将特征提取模块提取到的特征基于K-Means聚类生成的质心建立K叉树索引来构建特征索引，按照建立的索引检索出相似图片。
10.根据权利要求8所述的一种基于深度学习的卡口图像车辆快速检索系统，其特征在于：所述的特征提取模块优选采用GoogleNet的inception_resnet_v2网络模型，该网络模型包括：6个卷积子模块层，1个均值池化层，1个droupout层，1个全连接层，其中卷积子模块层为若干个不同的卷积层和池化层组成的子模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710755293.8A CN107679078B (zh) | 2017-08-29 | 2017-08-29 | 一种基于深度学习的卡口图像车辆快速检索方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710755293.8A CN107679078B (zh) | 2017-08-29 | 2017-08-29 | 一种基于深度学习的卡口图像车辆快速检索方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107679078A true CN107679078A (zh) | 2018-02-09 |
| CN107679078B CN107679078B (zh) | 2020-01-10 |
Family
ID=61135322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710755293.8A Active CN107679078B (zh) | 2017-08-29 | 2017-08-29 | 一种基于深度学习的卡口图像车辆快速检索方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107679078B (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536769A (zh) * | 2018-03-22 | 2018-09-14 | 深圳市安软慧视科技有限公司 | 图像分析方法、搜索方法及装置、计算机装置及存储介质 |
| CN108830201A (zh) * | 2018-06-01 | 2018-11-16 | 平安科技（深圳）有限公司 | 样例三元组的获取方法、装置、计算机设备以及存储介质 |
| CN108921019A (zh) * | 2018-05-27 | 2018-11-30 | 北京工业大学 | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 |
| CN108921083A (zh) * | 2018-06-28 | 2018-11-30 | 浙江工业大学 | 基于深度学习目标检测的非法流动摊贩识别方法 |
| CN109034196A (zh) * | 2018-06-21 | 2018-12-18 | 北京健康有益科技有限公司 | 模型生成方法及装置、食物识别方法及装置 |
| CN109190446A (zh) * | 2018-07-06 | 2019-01-11 | 西北工业大学 | 基于三元组聚焦损失函数的行人再识别方法 |
| CN109345527A (zh) * | 2018-09-28 | 2019-02-15 | 广西师范大学 | 一种基于MaskRcnn的膀胱肿瘤检测方法 |
| CN109558823A (zh) * | 2018-11-22 | 2019-04-02 | 北京市首都公路发展集团有限公司 | 一种以图搜图的车辆识别方法及系统 |
| CN109583332A (zh) * | 2018-11-15 | 2019-04-05 | 北京三快在线科技有限公司 | 人脸识别方法、人脸识别系统、介质及电子设备 |
| CN109657689A (zh) * | 2018-12-07 | 2019-04-19 | 高新兴科技集团股份有限公司 | 一种基于深度学习的车辆关键点的提取方法、装置和设备 |
| CN109902732A (zh) * | 2019-02-22 | 2019-06-18 | 哈尔滨工业大学（深圳） | 车辆自动分类方法及相关装置 |
| CN109948643A (zh) * | 2019-01-21 | 2019-06-28 | 东南大学 | 一种基于深层网络融合模型的车辆类型分类方法 |
| CN110321957A (zh) * | 2019-07-05 | 2019-10-11 | 重庆大学 | 融合三元组损失和生成对抗网络的多标签图像检索方法 |
| CN110555125A (zh) * | 2018-05-14 | 2019-12-10 | 桂林远望智能通信科技有限公司 | 一种基于局部特征的车辆检索方法 |
| CN110689964A (zh) * | 2019-09-12 | 2020-01-14 | 银江股份有限公司 | 一种健康数据样例搜索方法及系统 |
| CN111209923A (zh) * | 2020-04-23 | 2020-05-29 | 北京慧智数据科技有限公司 | 一种基于深度学习技术的渣土车是否盖盖识别方法 |
| CN111209428A (zh) * | 2020-01-03 | 2020-05-29 | 深圳前海微众银行股份有限公司 | 图像检索方法、装置、设备及计算机可读存储介质 |
| CN111401466A (zh) * | 2020-03-26 | 2020-07-10 | 广州紫为云科技有限公司 | 一种交通标志检测与识别标注方法、装置和计算机设备 |
| CN111652285A (zh) * | 2020-05-09 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 一种茶饼类别识别方法、设备及介质 |
| CN111652293A (zh) * | 2020-05-20 | 2020-09-11 | 西安交通大学苏州研究院 | 一种多任务联合判别学习的车辆重识别方法 |
| CN111917648A (zh) * | 2020-06-30 | 2020-11-10 | 华南理工大学 | 一种数据中心里分布式机器学习数据重排的传输优化方法 |
| CN112541096A (zh) * | 2020-07-27 | 2021-03-23 | 广元量知汇科技有限公司 | 一种用于智慧城市的视频监控方法 |
| CN112861966A (zh) * | 2021-02-05 | 2021-05-28 | 浙江新再灵科技股份有限公司 | 图片去重方法、装置及存储介质 |
| CN112906824A (zh) * | 2021-03-29 | 2021-06-04 | 苏州科达科技股份有限公司 | 车辆聚类方法、系统、设备及存储介质 |
| CN113076840A (zh) * | 2021-03-25 | 2021-07-06 | 高新兴科技集团股份有限公司 | 一种车辆后拍图像品牌训练方法 |
| CN115512154A (zh) * | 2022-09-21 | 2022-12-23 | 东南大学 | 基于深度学习神经网络的高速公路车辆图像检索方法 |
| CN116778268A (zh) * | 2023-04-20 | 2023-09-19 | 江苏济远医疗科技有限公司 | 一种适用于医学影像目标分类的样本选择偏差缓解方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463241A (zh) * | 2014-10-31 | 2015-03-25 | 北京理工大学 | 一种智能交通监控系统中的车辆类型识别方法 |
| CN105160340A (zh) * | 2015-08-31 | 2015-12-16 | 桂林电子科技大学 | 一种车辆品牌识别系统及方法 |
| CN105354273A (zh) * | 2015-10-29 | 2016-02-24 | 浙江高速信息工程技术有限公司 | 一种快速检索高速公路逃费车辆高相似度图像的方法 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN106295526A (zh) * | 2016-07-28 | 2017-01-04 | 浙江宇视科技有限公司 | 车辆图像匹配的方法及装置 |
| CN106407352A (zh) * | 2016-09-06 | 2017-02-15 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于深度学习的交通图像检索方法 |
-
2017
- 2017-08-29 CN CN201710755293.8A patent/CN107679078B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463241A (zh) * | 2014-10-31 | 2015-03-25 | 北京理工大学 | 一种智能交通监控系统中的车辆类型识别方法 |
| CN105160340A (zh) * | 2015-08-31 | 2015-12-16 | 桂林电子科技大学 | 一种车辆品牌识别系统及方法 |
| CN105354273A (zh) * | 2015-10-29 | 2016-02-24 | 浙江高速信息工程技术有限公司 | 一种快速检索高速公路逃费车辆高相似度图像的方法 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN106295526A (zh) * | 2016-07-28 | 2017-01-04 | 浙江宇视科技有限公司 | 车辆图像匹配的方法及装置 |
| CN106407352A (zh) * | 2016-09-06 | 2017-02-15 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于深度学习的交通图像检索方法 |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536769B (zh) * | 2018-03-22 | 2023-01-03 | 深圳市安软慧视科技有限公司 | 图像分析方法、搜索方法及装置、计算机装置及存储介质 |
| CN108536769A (zh) * | 2018-03-22 | 2018-09-14 | 深圳市安软慧视科技有限公司 | 图像分析方法、搜索方法及装置、计算机装置及存储介质 |
| CN110555125A (zh) * | 2018-05-14 | 2019-12-10 | 桂林远望智能通信科技有限公司 | 一种基于局部特征的车辆检索方法 |
| CN108921019A (zh) * | 2018-05-27 | 2018-11-30 | 北京工业大学 | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 |
| CN108921019B (zh) * | 2018-05-27 | 2022-03-08 | 北京工业大学 | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 |
| CN108830201A (zh) * | 2018-06-01 | 2018-11-16 | 平安科技（深圳）有限公司 | 样例三元组的获取方法、装置、计算机设备以及存储介质 |
| CN108830201B (zh) * | 2018-06-01 | 2020-06-23 | 平安科技（深圳）有限公司 | 样例三元组的获取方法、装置、计算机设备以及存储介质 |
| CN109034196A (zh) * | 2018-06-21 | 2018-12-18 | 北京健康有益科技有限公司 | 模型生成方法及装置、食物识别方法及装置 |
| CN108921083A (zh) * | 2018-06-28 | 2018-11-30 | 浙江工业大学 | 基于深度学习目标检测的非法流动摊贩识别方法 |
| CN109190446A (zh) * | 2018-07-06 | 2019-01-11 | 西北工业大学 | 基于三元组聚焦损失函数的行人再识别方法 |
| CN109345527A (zh) * | 2018-09-28 | 2019-02-15 | 广西师范大学 | 一种基于MaskRcnn的膀胱肿瘤检测方法 |
| CN109583332A (zh) * | 2018-11-15 | 2019-04-05 | 北京三快在线科技有限公司 | 人脸识别方法、人脸识别系统、介质及电子设备 |
| CN109583332B (zh) * | 2018-11-15 | 2021-07-27 | 北京三快在线科技有限公司 | 人脸识别方法、人脸识别系统、介质及电子设备 |
| CN109558823A (zh) * | 2018-11-22 | 2019-04-02 | 北京市首都公路发展集团有限公司 | 一种以图搜图的车辆识别方法及系统 |
| CN109657689A (zh) * | 2018-12-07 | 2019-04-19 | 高新兴科技集团股份有限公司 | 一种基于深度学习的车辆关键点的提取方法、装置和设备 |
| CN109948643A (zh) * | 2019-01-21 | 2019-06-28 | 东南大学 | 一种基于深层网络融合模型的车辆类型分类方法 |
| CN109902732B (zh) * | 2019-02-22 | 2021-08-27 | 哈尔滨工业大学（深圳） | 车辆自动分类方法及相关装置 |
| CN109902732A (zh) * | 2019-02-22 | 2019-06-18 | 哈尔滨工业大学（深圳） | 车辆自动分类方法及相关装置 |
| CN110321957A (zh) * | 2019-07-05 | 2019-10-11 | 重庆大学 | 融合三元组损失和生成对抗网络的多标签图像检索方法 |
| CN110321957B (zh) * | 2019-07-05 | 2023-03-24 | 重庆大学 | 融合三元组损失和生成对抗网络的多标签图像检索方法 |
| CN110689964B (zh) * | 2019-09-12 | 2022-08-26 | 银江技术股份有限公司 | 一种健康数据样例搜索方法及系统 |
| CN110689964A (zh) * | 2019-09-12 | 2020-01-14 | 银江股份有限公司 | 一种健康数据样例搜索方法及系统 |
| CN111209428A (zh) * | 2020-01-03 | 2020-05-29 | 深圳前海微众银行股份有限公司 | 图像检索方法、装置、设备及计算机可读存储介质 |
| CN111401466A (zh) * | 2020-03-26 | 2020-07-10 | 广州紫为云科技有限公司 | 一种交通标志检测与识别标注方法、装置和计算机设备 |
| CN111209923A (zh) * | 2020-04-23 | 2020-05-29 | 北京慧智数据科技有限公司 | 一种基于深度学习技术的渣土车是否盖盖识别方法 |
| CN111652285A (zh) * | 2020-05-09 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 一种茶饼类别识别方法、设备及介质 |
| CN111652293A (zh) * | 2020-05-20 | 2020-09-11 | 西安交通大学苏州研究院 | 一种多任务联合判别学习的车辆重识别方法 |
| CN111652293B (zh) * | 2020-05-20 | 2022-04-26 | 西安交通大学苏州研究院 | 一种多任务联合判别学习的车辆重识别方法 |
| CN111917648A (zh) * | 2020-06-30 | 2020-11-10 | 华南理工大学 | 一种数据中心里分布式机器学习数据重排的传输优化方法 |
| CN112541096A (zh) * | 2020-07-27 | 2021-03-23 | 广元量知汇科技有限公司 | 一种用于智慧城市的视频监控方法 |
| CN112861966A (zh) * | 2021-02-05 | 2021-05-28 | 浙江新再灵科技股份有限公司 | 图片去重方法、装置及存储介质 |
| CN113076840A (zh) * | 2021-03-25 | 2021-07-06 | 高新兴科技集团股份有限公司 | 一种车辆后拍图像品牌训练方法 |
| CN112906824B (zh) * | 2021-03-29 | 2022-07-05 | 苏州科达科技股份有限公司 | 车辆聚类方法、系统、设备及存储介质 |
| CN112906824A (zh) * | 2021-03-29 | 2021-06-04 | 苏州科达科技股份有限公司 | 车辆聚类方法、系统、设备及存储介质 |
| CN115512154A (zh) * | 2022-09-21 | 2022-12-23 | 东南大学 | 基于深度学习神经网络的高速公路车辆图像检索方法 |
| CN116778268A (zh) * | 2023-04-20 | 2023-09-19 | 江苏济远医疗科技有限公司 | 一种适用于医学影像目标分类的样本选择偏差缓解方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107679078B (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679078A (zh) | 一种基于深度学习的卡口图像车辆快速检索方法及系统 | |
| CN108197538A (zh) | 一种基于局部特征和深度学习的卡口车辆检索系统及方法 | |
| CN108171136A (zh) | 一种多任务卡口车辆以图搜图的系统及方法 | |
| CN108108657B (zh) | 基于多任务深度学习的修正局部敏感哈希车辆检索方法 | |
| CN107316007B (zh) | 一种基于深度学习的监控图像多类物体检测与识别方法 | |
| CN109670528B (zh) | 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法 | |
| CN102054178B (zh) | 一种基于局部语义概念的国画图像识别方法 | |
| CN102622607B (zh) | 一种基于多特征融合的遥感图像分类方法 | |
| WO2017190574A1 (zh) | 一种基于聚合通道特征的快速行人检测方法 | |
| CN104484681B (zh) | 基于空间信息和集成学习的高光谱遥感影像分类方法 | |
| CN109948425A (zh) | 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置 | |
| CN104239898B (zh) | 一种快速卡口车辆比对和车型识别方法 | |
| CN105069481B (zh) | 基于空间金字塔稀疏编码的自然场景多标记分类方法 | |
| CN107122776A (zh) | 一种基于卷积神经网络的交通标志检测与识别方法 | |
| CN106227851A (zh) | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 | |
| CN103186538A (zh) | 一种图像分类方法和装置、图像检索方法和装置 | |
| CN102663723B (zh) | 一种基于颜色样本与电场模型的图像分割方法 | |
| CN105654122B (zh) | 基于核函数匹配的空间金字塔物体识别方法 | |
| CN107679509A (zh) | 一种小环藻识别方法及装置 | |
| CN103279738B (zh) | 车标自动识别方法及系统 | |
| CN105894030B (zh) | 基于分层多特征融合的高分辨率遥感图像场景分类方法 | |
| CN102385592A (zh) | 图像概念的检测方法和装置 | |
| CN110020669A (zh) | 一种车牌分类方法、系统、终端设备及计算机程序 | |
| CN105069459B (zh) | 一种针对高分辨率sar图像地物类型提取方法 | |
| CN106228136A (zh) | 基于聚合通道特征的全景街景隐私保护方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 310012 1st floor, building 1, 223 Yile Road, Hangzhou City, Zhejiang Province Patentee after: Yinjiang Technology Co.,Ltd. Address before: 310030 floor 1, building 1, No. 223, Yile Road, Hangzhou, Zhejiang Patentee before: ENJOYOR Co.,Ltd. |