CN107688819A - 车辆的识别方法及装置 - Google Patents

车辆的识别方法及装置 Download PDF

Info

Publication number
CN107688819A
CN107688819A CN201710083593.6A CN201710083593A CN107688819A CN 107688819 A CN107688819 A CN 107688819A CN 201710083593 A CN201710083593 A CN 201710083593A CN 107688819 A CN107688819 A CN 107688819A
Authority
CN
China
Prior art keywords
vehicle
color characteristic
model
color
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710083593.6A
Other languages
English (en)
Inventor
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201710083593.6A priority Critical patent/CN107688819A/zh
Priority to US16/092,746 priority patent/US10740927B2/en
Priority to PCT/CN2018/074878 priority patent/WO2018149302A1/zh
Priority to SG11201809816YA priority patent/SG11201809816YA/en
Publication of CN107688819A publication Critical patent/CN107688819A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于图像识别领域，提供了一种车辆的识别方法及装置，包括：获取第一汽车图片和第二汽车图片，第一汽车图片中包括第一车辆，第二汽车图片中包括第二车辆；基于卷积神经网络模型提取第一车辆的第一颜色特征和第一型号特征，以及第二车辆的第二颜色特征和第二型号特征；将第一颜色特征和第一型号特征合并为第一车辆特征，以及将第二颜色特征和第二型号特征合并为第二车辆特征；计算第一车辆特征和第二车辆特征的相似度；根据相似度判断第一车辆和第二车辆是否为同一辆车。本发明利用卷积神经网络模型在提取图像特征方面的优势，通过车辆颜色特征和型号特征进行车辆验证，并通过训练联合贝叶斯模型挖掘出特征之间的差异，从而根据车辆图片准确地识别两张图片是否拍摄的同一辆车。

Description

车辆的识别方法及装置
技术领域
本发明属于图像识别领域，特别是涉及一种车辆的识别方法及装置。
背景技术
随着汽车产业的快速发展，汽车数量越来越大，外观相同或相似的车也就越来越多。在一些特定情况下，如道路车辆监控，或汽车保险定损时，利用相似的汽车做套牌车或骗保的情况也时有发生。如何准确地判断一些情况下拍到的车辆图片，与该汽车登记时拍的车辆图像是不是同一辆车，是目前业界希望解决的问题。
针对现有技术中无法准确识别汽车图像中相似汽车的问题，目前业界没有理想的解决方式。
发明内容
本发明目的在于提供一种车辆的识别方法及装置，旨在解决现有技术中无法准确识别汽车图像中相似汽车的问题。
本发明提供了车辆的识别方法，该方法包括：
获取第一汽车图片和第二汽车图片，第一汽车图片中包括第一车辆，第二汽车图片中包括第二车辆；
基于卷积神经网络模型提取第一车辆的第一颜色特征和第一型号特征，以及第二车辆的第二颜色特征和第二型号特征；
将第一颜色特征和第一型号特征合并为第一车辆特征，以及将第二颜色特征和第二型号特征合并为第二车辆特征；
计算第一车辆特征和第二车辆特征的相似度；
根据相似度判断第一车辆和第二车辆是否为同一辆车。
本发明还提供了车辆的识别装置该装置包括：
获取模块，用于获取第一汽车图片和第二汽车图片，第一汽车图片中包括第一车辆，第二汽车图片中包括第二车辆；
提取模块，用于基于卷积神经网络模型提取第一车辆的第一颜色特征和第一型号特征，以及第二车辆的第二颜色特征和第二型号特征；
合并模块，用于将第一颜色特征和第一型号特征合并为第一车辆特征，以及将第二颜色特征和第二型号特征合并为第二车辆特征；
计算模块，用于计算第一车辆特征和第二车辆特征的相似度；
判断模块，用于根据相似度判断第一车辆和第二车辆是否为同一辆车。
本发明利用卷积神经网络模型在提取图像特征方面的优势，通过车辆颜色特征和型号特征进行车辆验证，并通过训练联合贝叶斯模型挖掘出特征之间的差异，从而根据车辆图片准确地识别出两张图片是否拍摄的同一辆车，提高了车辆识别的鲁棒性和准确性。
附图说明
图1为本发明实施例提供的车辆的识别方法的流程图；
图2a是本发明提供的提取颜色特征的方法流程图；
图2b是本发明提供的提取颜色特征的方法流程图；
图3是本发明实施例提供的特征合并的方法流程图；
图4为本发明实施例提供的车辆的识别装置的结构框图。
具体实施方式
为了使本发明要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种车辆的识别方法，图1为本发明实施例提供的车辆的识别方法的流程图，如图1所示，该方法具体包括以下步骤S101至步骤S105。
步骤S101，获取第一汽车图片和第二汽车图片，第一汽车图片中包括第一车辆，第二汽车图片中包括第二车辆。
第一汽车图片是当前情况下拍摄的车辆图片，例如监控设备的违章车辆的拍照，或者交通事故时对损毁车辆的拍照。第二汽车图片是车辆在新车登记、过户或年审时的车辆照片。通过第一汽车图片和第二汽车图片的比对，可以确定第一汽车图片中的车辆是不是套牌车。
步骤S102，基于卷积神经网络模型提取第一车辆的第一颜色特征和第一型号特征，以及第二车辆的第二颜色特征和第二型号特征。
车辆的颜色和型号是车辆显著的2个特征，因此本实施例通过颜色特征和型号特征对车辆进行区分。
图2a是本发明提供的提取颜色特征的方法流程图，如图2a所示，该方法包括：
步骤S201，通过预设图像数据库对第一卷积神经网络模型进行预训练。
本实施例可以将CaffeNet模型作为第一卷积神经网络模型，首先可以使用包含1000类的百万数据集ImageNet对卷积神经网络模型进行预训练
步骤S202，通过多个颜色的汽车图像对第一卷积神经网络模型进行训练。
本实施例可以将车辆颜色分为9类：黑色、白色、灰色、红色、蓝色、绿色、橙色、黄色和紫色。其他实施例中按其他方式分类可能提高或降低分类精确度，但可能达到和本实施例类似的效果。对9种不同颜色的车辆进行识别，并提取车辆的颜色特征，通过第一卷积神经网络模型仅识别车辆所在区域，从而可以在排除干扰的情况下分辨它的颜色和型号。
步骤S203，将第一汽车图像和第二汽车图像分别输入第一卷积神经网络模型，第一卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入。
CaffeNet模型可以包含5层卷积层和3层全连接层，通过逐层特征变换，组合低层特征形成更加抽象的高层特征，以表示车辆的颜色特性，然后利用9种不同颜色的车辆数据对该模型进行微调。
步骤S204，在卷积层和全连接层的处理之后，从第一汽车图片中提取出第一颜色特征，以及从第二汽车图片中提取出第二颜色特征。
再本步骤中，可以首先将最后分类层的输出维度设定为9，然后将学习率按照指数衰退的方式随着迭代次数增加而逐渐降低(每50,000次迭代对学习率除以10)，从而使模型更加稳定的收敛，最后提取全连接层第二层的特征作为颜色特征。
一般情况下提取出的颜色特征为4096维，维度较高可能导致计算量较大，因此在得到颜色特征之后，还可以经过一个PCA变换进行降维处理。
图2b是本发明提供的提取颜色特征的方法流程图，如图2b所示，该方法包括：
步骤S211，通过预设图像数据库对第二卷积神经网络模型进行预训练。
本实施例利用GoogLeNet模型作为第二卷积神经网络模型对他们进行分类，首先使用包含1000类的百万数据集ImageNet对GoogLeNet模型进行预训练，然后通过163个主流车辆品牌的1716个车辆型号对模型进行校正和微调。其中，车辆数据结构为三层的树形数据结构，包括车辆品牌、车辆模型和车辆出厂时间。不同年份生产的车辆只有细微的差别，把它们归为同一类别。
步骤S212，通过多个视角的汽车图像对所述第二卷积神经网络模型进行训练。
本发明实施例采用大量的不同角度的车辆样本来训练GoogLeNet模型，以保证车辆型号特征不会受到观察角度的影响。每种车型的车辆都包含五个不同视角的图片：正前方、正后方、侧方、前侧方和后侧方。
步骤S213，将所述第一汽车图像和所述第二汽车图像分别输入所述第二卷积神经网络模型，所述第二卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入。
GoogLeNet模型有22层，它使用Network in Network提高网络的深度和宽度，并通过减少特征维度来降低计算瓶颈。上述163个主流车辆品牌的1716个车辆型号基本涵盖了常见的大部分车型，在其他实施例中，也可以选取更大的样本，更大的样子使用与本实施例相同的方法，一定程度上可以获取更准确的结果。
步骤S214，在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一型号特征，以及从所述第二汽车图片中提取出所述第二型号特征。
本实施例首先使用包含1000类的百万数据集ImageNet对GoogLeNet模型进行预训练；然后利用163个主流车辆品牌的1716个车辆型号的车辆数据对模型进行微调；最后提取池化层中pool5层的特征作为车辆型号特征。
步骤S103，将第一颜色特征和第一型号特征合并为第一车辆特征，以及将第二颜色特征和第二型号特征合并为第二车辆特征。
在分别获取2方面特征以后，本实施例中对不同特征进行合并，以综合地体现出车辆特征。图3是本发明实施例提供的特征合并的方法流程图，如图3所示，该方法包括：
步骤S301，获取第一颜色特征和第二颜色特征的颜色权重，以及第一类型特征和第二类型特征的类型权重，类型权重大于颜色权重。
因为类型的区分度大于颜色的区分度，所以类型的权重高于颜色的权重。
步骤S302，将第一颜色特征乘以颜色权重加上第一型号特征乘以类型权重，以获取第一车辆特征。
步骤S303，将第二颜色特征乘以颜色权重加上第二型号特征乘以类型权重，以获取第二车辆特征。
颜色特征和类型特征都是以向量的形式体现的。合并后的车辆特征也是向量。本实施例可以通过PCA降维处理车辆特征来提高精度和减少计算量。
步骤S104，计算第一车辆特征和第二车辆特征的相似度。
作为一种优选的实现方式，本实施例选用基于联合贝叶斯模型获取第一车辆特征和第二车辆特征的相似度。
具体的，包括以下步骤：
步骤1，将车辆特征分成两个部分：identity和intra-car variation,identity用来区分不同的车辆，intra-car variation用来区分同一辆车在不同时间不同环境下的差异，两者分别用μ和ε表示。那么一辆车x就可以表示为：x＝μ+ε。两个潜在变量μ和ε分别服从两个高斯分布：N(0,Sμ)和N(0,Sε).
步骤2，任意两张车辆图片提取车型特征x1和颜色特征x2，具体的，本实施例可以使用该车型分类深度卷积神经网络输出层输出的128维向量作为提取的车型特征。车辆的颜色特征使用基于深度卷积神经网络的车辆颜色分类网络的fc8全连接层的输出作为提取的车辆颜色特征。有了上面的基础，可以得到一个均值为0的高斯联合分布{x1,x2}。若μ和ε是相互独立的，可以得到两辆车的特征协方差：
cov(x1,x2)＝cov(μ1,μ2)+cov(ε1,ε2)。
在HI的假设前提下，即两张图属于一个对象的情况下，则μ1,μ2是相同的，ε1,ε2是独立的，因此P(x1,x2|HI)分布的协方差矩阵为：
在HE的假设前提下，，即两张图属于不同对象的情况下，则μ和ε都是独立的，P(x1,x2|HE)分布的协方差矩阵可以表示为：
有了这两种情况下的联合概率，相应的对数似然比r(x1,x2)就可以在变换之后得到：
其中，A＝(Sμ+Sε)-1(F+G)，
由于Sμ，Sε可以通过在数据集不断采样估计出随机变量μ和ε的概率分布，进而得到这两个概率分布的标准差，即Sμ和Sε，因此这个等式的左边可以看作是已知的，通过数值优化的求解矩阵方程组的方式可以计算出矩阵F和G具体值，然后利用求解出来的矩阵F和G推算出矩阵A的值，最后将A和G代入r(x1，x2)求解表达式计算出(x1，x2)的值。
步骤3，通过EM算法训练模型，估计出最好的A和G.通过计算r(x1,x2)得到两辆车的相似性r.
步骤S105，根据相似度判断第一车辆和第二车辆是否为同一辆车。
在本步骤中，可以通过相似度和预设阈值的比较，判断是否为同一辆车。本实施例中预设阈值可以设为-450，该阈值的选取主要依赖在数据集上不断测试然后选取效果最好的得到。
获取预设阈值后，当相似度大于或等于预设阈值时，确定第一车辆和第二车辆是同一辆车；当相似度小于预设阈值时，确定第一车辆和第二车辆不是同一辆车。
本实施例利用卷积神经网络模型在提取图像特征方面的优势，通过车辆颜色特征和型号特征进行车辆验证，并通过训练联合贝叶斯模型挖掘出特征之间的差异，从而根据车辆图片准确地识别出两张图片是否拍摄的同一辆车，提高了车辆识别的鲁棒性和准确性。
本发明实施例还提供了一种车辆的识别装置，图4为本发明实施例提供的车辆的识别装置的结构框图，如图4所示，该装置包括获取模块41、提取模块42、合并模块43、计算模块44和判断模块450。
获取模块41用于获取第一汽车图片和第二汽车图片，第一汽车图片中包括第一车辆，第二汽车图片中包括第二车辆。
提取模块42用于基于卷积神经网络模型提取第一车辆的第一颜色特征和第一型号特征，以及第二车辆的第二颜色特征和第二型号特征。
合并模块43用于将第一颜色特征和第一型号特征合并为第一车辆特征，以及将第二颜色特征和第二型号特征合并为第二车辆特征。
计算模块44用于计算第一车辆特征和第二车辆特征的相似度。
判断模块450用于根据相似度判断第一车辆和第二车辆是否为同一辆车。
优选的，提取模块42包括：第一训练单元，用于通过预设图像数据库对第一卷积神经网络模型进行预训练；第二训练单元，用于通过多个颜色的汽车图像对第一卷积神经网络模型进行训练；第一输入单元，用于将第一汽车图像和第二汽车图像分别输入第一卷积神经网络模型，第一卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；第一提取单元，用于在卷积层和全连接层的处理之后，从第一汽车图片中提取出第一颜色特征，以及从第二汽车图片中提取出第二颜色特征。
优选的，提取模块42包括：第三训练单元，用于通过预设图像数据库对第二卷积神经网络模型进行预训练；第四训练单元，用于通过多个视角的汽车图像对第二卷积神经网络模型进行训练；第二输入单元，用于将第一汽车图像和第二汽车图像分别输入第二卷积神经网络模型，第二卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；第二提取单元，用于在卷积层和全连接层的处理之后，从第一汽车图片中提取出第一型号特征，以及从第二汽车图片中提取出第二型号特征。
优选的，合并模块43包括：第一获取单元，用于获取第一颜色特征和第二颜色特征的颜色权重，以及第一类型特征和第二类型特征的类型权重，类型权重大于颜色权重；第一加权单元，用于将第一颜色特征乘以颜色权重加上第一型号特征乘以类型权重，以获取第一车辆特征；第二加权单元，用于将第二颜色特征乘以颜色权重加上第二型号特征乘以类型权重，以获取第二车辆特征。
优选的，计算模块44包括：第二获取单元，用于基于联合贝叶斯模型获取第一车辆特征和第二车辆特征的相似度。
优选的，判断模块450包括：第三获取单元，用于获取预设阈值；第一确定单元，用于当相似度大于或等于预设阈值时，确定第一车辆和第二车辆是同一辆车；
第二确定单元，用于当相似度小于预设阈值时，确定第一车辆和第二车辆不是同一辆车。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元的具体工作过程，可以参考前述装置实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同装置来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例装置的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车辆的识别方法，其特征在于，包括：
获取第一汽车图片和第二汽车图片，所述第一汽车图片中包括第一车辆，所述第二汽车图片中包括第二车辆；
基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征；
将所述第一颜色特征和所述第一型号特征合并为第一车辆特征，以及将所述第二颜色特征和所述第二型号特征合并为第二车辆特征；
计算所述第一车辆特征和所述第二车辆特征的相似度；
根据所述相似度判断所述第一车辆和所述第二车辆是否为同一辆车。
2.如权利要求1所述的方法，其特征在于，基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征包括：
通过预设图像数据库对第一卷积神经网络模型进行预训练；
通过多个颜色的汽车图像对所述第一卷积神经网络模型进行训练；
将所述第一汽车图像和所述第二汽车图像分别输入所述第一卷积神经网络模型，所述第一卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一颜色特征，以及从所述第二汽车图片中提取出所述第二颜色特征。
3.如权利要求1所述的方法，其特征在于，基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征包括：
通过预设图像数据库对第二卷积神经网络模型进行预训练；
通过多个视角的汽车图像对所述第二卷积神经网络模型进行训练；
将所述第一汽车图像和所述第二汽车图像分别输入所述第二卷积神经网络模型，所述第二卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一型号特征，以及从所述第二汽车图片中提取出所述第二型号特征。
4.如权利要求1所述的方法，其特征在于，将所述第一颜色特征和所述第一型号特征合并为第一车辆特征，以及将所述第二颜色特征和所述第二型号特征合并为第二车辆特征包括：
获取所述第一颜色特征和所述第二颜色特征的颜色权重，以及所述第一类型特征和所述第二类型特征的类型权重，所述类型权重大于所述颜色权重；
将所述第一颜色特征乘以所述颜色权重加上所述第一型号特征乘以所述类型权重，以获取所述第一车辆特征；
将所述第二颜色特征乘以所述颜色权重加上所述第二型号特征乘以所述类型权重，以获取所述第二车辆特征。
5.如权利要求1所述的方法，其特征在于，根据所述相似度判断所述第一车辆和所述第二车辆是否为同一辆车包括：
获取预设阈值；
当所述相似度大于或等于所述预设阈值时，确定所述第一车辆和所述第二车辆是同一辆车；
当所述相似度小于所述预设阈值时，确定所述第一车辆和所述第二车辆不是同一辆车。
6.一种车辆的识别装置，其特征在于，包括：
获取模块，用于获取第一汽车图片和第二汽车图片，所述第一汽车图片中包括第一车辆，所述第二汽车图片中包括第二车辆；
提取模块，用于基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征；
合并模块，用于将所述第一颜色特征和所述第一型号特征合并为第一车辆特征，以及将所述第二颜色特征和所述第二型号特征合并为第二车辆特征；
计算模块，用于计算所述第一车辆特征和所述第二车辆特征的相似度；
判断模块，用于根据所述相似度判断所述第一车辆和所述第二车辆是否为同一辆车。
7.如权利要求6的装置，其特征在于，提取模块包括：
第一训练单元，用于通过预设图像数据库对第一卷积神经网络模型进行预训练；
第二训练单元，用于通过多个颜色的汽车图像对所述第一卷积神经网络模型进行训练；
第一输入单元，用于将所述第一汽车图像和所述第二汽车图像分别输入所述第一卷积神经网络模型，所述第一卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
第一提取单元，用于在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一颜色特征，以及从所述第二汽车图片中提取出所述第二颜色特征。
8.如权利要求6的装置，其特征在于，提取模块包括：
第三训练单元，用于通过预设图像数据库对第二卷积神经网络模型进行预训练；
第四训练单元，用于通过多个视角的汽车图像对所述第二卷积神经网络模型进行训练；
第二输入单元，用于将所述第一汽车图像和所述第二汽车图像分别输入所述第二卷积神经网络模型，所述第二卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
第二提取单元，用于在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一型号特征，以及从所述第二汽车图片中提取出所述第二型号特征。
9.如权利要求6的装置，其特征在于，合并模块包括：
第一获取单元，用于获取所述第一颜色特征和所述第二颜色特征的颜色权重，以及所述第一类型特征和所述第二类型特征的类型权重，所述类型权重大于所述颜色权重；
第一加权单元，用于将所述第一颜色特征乘以所述颜色权重加上所述第一型号特征乘以所述类型权重，以获取所述第一车辆特征；
第二加权单元，用于将所述第二颜色特征乘以所述颜色权重加上所述第二型号特征乘以所述类型权重，以获取所述第二车辆特征。
10.如权利要求6的装置，其特征在于，判断模块包括：
第三获取单元，用于获取预设阈值；
第一确定单元，用于当所述相似度大于或等于所述预设阈值时，确定所述第一车辆和所述第二车辆是同一辆车；
第二确定单元，用于当所述相似度小于所述预设阈值时，确定所述第一车辆和所述第二车辆不是同一辆车。
CN201710083593.6A 2017-02-16 2017-02-16 车辆的识别方法及装置 Pending CN107688819A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710083593.6A CN107688819A (zh) 2017-02-16 2017-02-16 车辆的识别方法及装置
US16/092,746 US10740927B2 (en) 2017-02-16 2018-01-31 Method and device for vehicle identification
PCT/CN2018/074878 WO2018149302A1 (zh) 2017-02-16 2018-01-31 车辆的识别方法及装置
SG11201809816YA SG11201809816YA (en) 2017-02-16 2018-01-31 Vehicle identification method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710083593.6A CN107688819A (zh) 2017-02-16 2017-02-16 车辆的识别方法及装置

Publications (1)

Publication Number Publication Date
CN107688819A true CN107688819A (zh) 2018-02-13

Family

ID=61152346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710083593.6A Pending CN107688819A (zh) 2017-02-16 2017-02-16 车辆的识别方法及装置

Country Status (4)

Country Link
US (1) US10740927B2 (zh)
CN (1) CN107688819A (zh)
SG (1) SG11201809816YA (zh)
WO (1) WO2018149302A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059101A (zh) * 2019-04-16 2019-07-26 北京科基中意软件开发有限公司 一种基于图像识别的车辆数据查找系统和查找方法
CN110135517A (zh) * 2019-05-24 2019-08-16 北京百度网讯科技有限公司 用于获取车辆相似度的方法及装置
CN110363193A (zh) * 2019-06-12 2019-10-22 北京百度网讯科技有限公司 车辆重识别方法、装置、设备和计算机存储介质
CN110795974A (zh) * 2018-08-03 2020-02-14 中国移动通信有限公司研究院 一种图像处理方法、装置、介质和设备
CN111709352A (zh) * 2020-06-12 2020-09-25 浪潮集团有限公司 一种基于神经网络的车辆划痕检测方法
CN112036421A (zh) * 2019-05-16 2020-12-04 搜狗（杭州）智能科技有限公司 一种图像处理方法、装置和电子设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417527B2 (en) * 2017-09-06 2019-09-17 Irdeto B.V. Identifying an object within content
US11037440B2 (en) * 2018-12-19 2021-06-15 Sony Group Corporation Vehicle identification for smart patrolling
CN111062396B (zh) * 2019-11-29 2022-03-25 深圳云天励飞技术有限公司 车牌号码识别方法、装置、电子设备及存储介质
CN111027499A (zh) * 2019-12-17 2020-04-17 北京慧智数据科技有限公司 一种基于卷积神经网络的货车低排放限行识别方法
CN111709332B (zh) 2020-06-04 2022-04-26 浙江大学 基于稠密卷积神经网络的桥梁车辆荷载时空分布识别方法
CN113506400A (zh) * 2021-07-05 2021-10-15 深圳市点购电子商务控股股份有限公司 自动售货方法、装置、计算机设备和存储介质
US20240104865A1 (en) * 2022-09-22 2024-03-28 Faro Technologies, Inc. Feature extraction using a point of a collection of points

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354273A (zh) * 2015-10-29 2016-02-24 浙江高速信息工程技术有限公司 一种快速检索高速公路逃费车辆高相似度图像的方法
US20160140424A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Object-centric Fine-grained Image Classification
CN105631440A (zh) * 2016-02-22 2016-06-01 清华大学 一种易受伤害道路使用者的联合检测方法
CN105631482A (zh) * 2016-03-03 2016-06-01 中国民航大学 一种基于卷积神经网络模型的危险物品图像分类方法
US20160307074A1 (en) * 2014-11-21 2016-10-20 Adobe Systems Incorporated Object Detection Using Cascaded Convolutional Neural Networks
CN106156750A (zh) * 2016-07-26 2016-11-23 浙江捷尚视觉科技股份有限公司 一种基于卷积神经网络的以图搜车方法
CN106295541A (zh) * 2016-08-03 2017-01-04 乐视控股（北京）有限公司 车辆类型识别方法及系统
CN106295526A (zh) * 2016-07-28 2017-01-04 浙江宇视科技有限公司 车辆图像匹配的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361359A (zh) * 2014-11-25 2015-02-18 深圳市哈工大交通电子技术有限公司 基于图像检测的车辆识别方法
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN105184271A (zh) 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CA3008323A1 (en) * 2015-12-15 2017-06-22 Applied Recognition Inc. Systems and methods for authentication using digital signature with biometrics
CN105654066A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置
WO2017143260A1 (en) * 2016-02-19 2017-08-24 Reach Consulting Group, Llc Community security system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140424A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Object-centric Fine-grained Image Classification
US20160307074A1 (en) * 2014-11-21 2016-10-20 Adobe Systems Incorporated Object Detection Using Cascaded Convolutional Neural Networks
CN105354273A (zh) * 2015-10-29 2016-02-24 浙江高速信息工程技术有限公司 一种快速检索高速公路逃费车辆高相似度图像的方法
CN105631440A (zh) * 2016-02-22 2016-06-01 清华大学 一种易受伤害道路使用者的联合检测方法
CN105631482A (zh) * 2016-03-03 2016-06-01 中国民航大学 一种基于卷积神经网络模型的危险物品图像分类方法
CN106156750A (zh) * 2016-07-26 2016-11-23 浙江捷尚视觉科技股份有限公司 一种基于卷积神经网络的以图搜车方法
CN106295526A (zh) * 2016-07-28 2017-01-04 浙江宇视科技有限公司 车辆图像匹配的方法及装置
CN106295541A (zh) * 2016-08-03 2017-01-04 乐视控股（北京）有限公司 车辆类型识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘占文 等: "基于图模型与卷积神经网络的交通标志识别方法", 《交通运输工程学报》 *
刘文志: "《科学计算与企业级应用的并行优化》", 31 July 2015, 机械工业出版社 *
段建 等: "深度卷积神经网络在 Caltech-101 图像分类中的相关研究", 《计算机应用与软件》 *
蔡晓东 等: "基于多分支卷积神经网络的车辆图像比对方法", 《视频应用与工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795974A (zh) * 2018-08-03 2020-02-14 中国移动通信有限公司研究院 一种图像处理方法、装置、介质和设备
CN110795974B (zh) * 2018-08-03 2023-04-07 中国移动通信有限公司研究院 一种图像处理方法、装置、介质和设备
CN110059101A (zh) * 2019-04-16 2019-07-26 北京科基中意软件开发有限公司 一种基于图像识别的车辆数据查找系统和查找方法
CN110059101B (zh) * 2019-04-16 2021-08-13 北京科基中意软件开发有限公司 一种基于图像识别的车辆数据查找系统和查找方法
CN112036421A (zh) * 2019-05-16 2020-12-04 搜狗（杭州）智能科技有限公司 一种图像处理方法、装置和电子设备
CN110135517A (zh) * 2019-05-24 2019-08-16 北京百度网讯科技有限公司 用于获取车辆相似度的方法及装置
CN110363193A (zh) * 2019-06-12 2019-10-22 北京百度网讯科技有限公司 车辆重识别方法、装置、设备和计算机存储介质
CN110363193B (zh) * 2019-06-12 2022-02-25 北京百度网讯科技有限公司 车辆重识别方法、装置、设备和计算机存储介质
CN111709352A (zh) * 2020-06-12 2020-09-25 浪潮集团有限公司 一种基于神经网络的车辆划痕检测方法
CN111709352B (zh) * 2020-06-12 2022-10-04 浪潮集团有限公司 一种基于神经网络的车辆划痕检测方法

Also Published As

Publication number Publication date
WO2018149302A1 (zh) 2018-08-23
US10740927B2 (en) 2020-08-11
SG11201809816YA (en) 2018-12-28
US20190139262A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
CN107688819A (zh) 车辆的识别方法及装置
Qi et al. Convolutional neural network based detection and judgement of environmental obstacle in vehicle operation
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
Narihira et al. Learning lightness from human judgement on relative reflectance
Li et al. Robust and accurate iris segmentation in very noisy iris images
Wang et al. Thermal infrared pedestrian segmentation based on conditional GAN
Bojarski et al. Visualbackprop: efficient visualization of cnns
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
Kim et al. Color–texture segmentation using unsupervised graph cuts
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
US20170147868A1 (en) A method and a system for face verification
CN107633513A (zh) 基于深度学习的3d图像质量的度量方法
Zheng et al. Attention-based spatial-temporal multi-scale network for face anti-spoofing
CN106372666B (zh) 一种目标识别方法及装置
CN108460328A (zh) 一种基于多任务卷积神经网络的套牌车检测方法
CN111241989A (zh) 图像识别方法及装置、电子设备
CN105574475A (zh) 一种基于共同向量词典的稀疏表示分类方法
CN109711283A (zh) 一种联合双字典和误差矩阵的遮挡表情识别算法
Khandelwal et al. Segmentation-grounded scene graph generation
CN111275070B (zh) 一种基于局部特征匹配的签名验证方法及设备
Hamza et al. Generation and detection of face morphing attacks
Zhou et al. Dyed fabric illumination estimation with regularized random vector function link network
CN107784284A (zh) 人脸识别方法及系统
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN104298960A (zh) 识别数字图像中的可变形对象的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1250073

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180213

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1250073

Country of ref document: HK