CN106469299B - 一种车辆搜索方法及装置 - Google Patents

一种车辆搜索方法及装置 Download PDF

Info

Publication number
CN106469299B
CN106469299B CN201610798016.0A CN201610798016A CN106469299B CN 106469299 B CN106469299 B CN 106469299B CN 201610798016 A CN201610798016 A CN 201610798016A CN 106469299 B CN106469299 B CN 106469299B
Authority
CN
China
Prior art keywords
image
vehicle
similarity
license plate
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610798016.0A
Other languages
English (en)
Other versions
CN106469299A (zh
Inventor
马华东
刘武
刘鑫辰
张海涛
傅慧源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201610798016.0A priority Critical patent/CN106469299B/zh
Priority to US15/350,813 priority patent/US10152644B2/en
Publication of CN106469299A publication Critical patent/CN106469299A/zh
Application granted granted Critical
Publication of CN106469299B publication Critical patent/CN106469299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车辆搜索方法及装置，可以计算目标车辆的第一图像与包含被搜索车辆的若干第二图像的外观相似度距离；从若干第二图像中选定若干图像作为若干第三图像；采用预设的Siamese神经网络模型，获得第一图像与每一第三图像中的车牌区域对应的车牌特征；根据车牌特征，计算第一图像与每一第三图像的车牌特征相似度距离；根据外观相似度距离和车牌特征相似度距离，计算第一图像与每一第三图像的视觉相似度距离；将若干第三图像按视觉相似度距离的大小升序排列，获得目标车辆的第一搜索结果。应用本发明提供的方案，不仅不受应用场景的限制，还提高了车辆搜索速度和准确度，同时降低了采集车辆图像的摄像头及辅助设备等硬件的要求。

Description

一种车辆搜索方法及装置
技术领域
本发明涉及车辆搜索技术领域，特别是涉及一种车辆搜索方法及装置。
背景技术
车辆搜索(又称车辆重识别)是指，给定一张目标车辆图像，根据该目标车辆图像的视觉特征、时空信息等，在车辆监控图像数据库中搜索出与目标车辆图像相似的车辆图像，并将搜索出的相似车辆图像按相似度从大到小进行排序。
车辆搜索在城市交通监控中具有很重要的应用价值，例如进行车辆违章管理、车流统计、城市管理等。
目前，主要存在两种车辆搜索方法：第一种是，有约束场景下基于卡口车牌识别的车辆搜索方法，主要是根据车牌信息，匹配目标车辆图像与车辆监控图像数据库中的全部图像的相似度，实现目标车辆的搜索，该方法需要在道路及停车场出入口、路口等方便采集车牌图像的场景下检测获得包含有车牌信息的车辆图像，并采用车牌识别技术获得车辆图像中的车牌信息；第二种是，无约束场景下基于车辆外观特征的相似车辆搜索方法，主要是根据车辆的外观视觉特征，如颜色、形状、大小、纹理等信息，匹配目标车辆图像与车辆监控图像数据库中的全部图像的相似度，以实现目标车辆的搜索。
然而，第一种方法虽然能提高车辆搜索的准确度，但受限于车牌信息识别系统，仅适用于有约束的场景，如道路及停车场出入口、路口等等，无约束场景不适用，此外，车牌信息识别在大规模视频监控场景下搜索效率较低，并且对采集车辆图像的摄像头及辅助设备等硬件的要求较高；第二种方法虽然对应用场景无约束，但是，搜索目标车辆的准确度低。
有鉴于此，亟需提出一种既对应用场景无限制又能提高搜索准确度和搜索速度的车辆搜索方法。
发明内容
本发明实施例的目的在于提供一种车辆搜索方法，以拓宽车辆搜索应用场景的适用范围，同时提高车辆搜索的速度和准确度。
为实现上述目的，本发明实施例提供了一种车辆搜索方法，所述方法包括：
获得目标车辆的第一图像；
从所述第一图像中提取所述目标车辆的第一外观视觉特征；
从若干第二图像中分别提取被搜索车辆的第二外观视觉特征；其中，所述第二图像为存储在车辆监控图像数据库中的图像；
根据所述第一外观视觉特征与每一所述第二外观视觉特征，计算所述第一图像与每一所述第二图像的外观相似度距离；
从所述若干第二图像中选定若干图像作为若干第三图像；
确定所述第一图像中的第一车牌区域和每一所述第三图像中的第二车牌区域；
将所述第一车牌区域和每一所述第二车牌区域分别输入预设的Siamese神经网络模型，获得所述第一车牌区域对应的第一车牌特征，和每一所述第二车牌区域对应的第二车牌特征；
根据所述第一车牌特征和每一所述第二车牌特征，计算所述第一图像与每一所述第三图像的车牌特征相似度距离；
根据所述外观相似度距离和所述车牌特征相似度距离，计算所述第一图像与每一所述第三图像的视觉相似度距离；
将所述若干第三图像按所述视觉相似度距离的大小升序排列，获得所述目标车辆的第一搜索结果。
优选的，所述从所述若干第二图像中选定若干图像作为若干第三图像的步骤，包括：
将所述若干第二图像按所述外观相似度距离的大小升序排列，获得所述目标车辆的第二搜索结果；
将所述第二搜索结果中排名在第一阈值前的若干第二图像确定为若干第三图像。
优选的，在所述计算所述第一图像与每一所述第三图像的视觉相似度距离的步骤后，所述方法还包括：
根据所述第一图像和每一所述第三图像中包括的时空元数据，计算所述第一图像与每一所述第三图像的时空相似度；
根据所述视觉相似度距离和所述时空相似度，计算所述第一图像与每一所述第三图像的最终相似度距离；
将所述若干第三图像按所述最终相似度距离的大小升序排列，获得所述目标车辆的第三搜索结果。
优选的，所述方法还包括：
将所述第一搜索结果中排名在第二阈值前的若干图像确定为若干第四图像；
根据所述第一图像和每一所述第四图像中包括的时空元数据，计算所述第一图像与每一所述第四图像的时空相似度；
根据所述视觉相似度距离和所述时空相似度，计算所述第一图像与每一所述第四图像的最终相似度距离；
将所述若干第四图像按所述最终相似度距离的大小升序排列，获得所述目标车辆的第四搜索结果。
优选的，所述计算所述第一图像与每一所述第三图像的时空相似度的步骤，包括：
使用第一预设模型计算所述第一图像与每一所述第三图像的时空相似度；其中，所述第一预设模型为：
其中，ST(i,j)为所述时空相似度，Ti为拍摄所述第一图像的拍摄时间，Tj为拍摄所述第三图像的拍摄时间，δ(Ci,Cj)为拍摄所述第一图像的摄像头Ci与拍摄所述第三图像的摄像头Cj之间的距离，Tmax为拍摄所述第一图像与拍摄所述若干第三图像中的所有第三图像的时间差的绝对值中的最大值，Dmax为拍摄所述第一图像和拍摄所述若干第三图像中每一第三图像的所有摄像头之间的距离中的最大值。
优选的，所述计算所述第一图像与每一所述第三图像的最终相似度距离的步骤，包括：
使用第二预设模型计算所述第一图像与每一所述第三图像的最终相似度距离；其中，所述第二预设模型为：
D＝Dvisual×ST(i,j)，其中，D为所述最终相似度距离，Dvisual为所述视觉相似度距离。
优选的，所述第一外观视觉特征包括：第一纹理特征、第一颜色特征和第一语义属性特征；
所述第二外观视觉特征包括：第二纹理特征、第二颜色特征和第二语义属性特征；
所述根据所述第一外观视觉特征与每一所述第二外观视觉特征，计算所述第一图像与每一所述第二图像的外观相似度距离的步骤，包括：
对所述第一图像与每一所述第二图像分别执行如下步骤：
根据所述第一纹理特征和所述第二纹理特征，计算纹理相似度距离；
根据所述第一颜色特征和所述第二颜色特征，计算颜色相似度距离；
根据所述第一语义属性特征和所述第二语义属性特征，计算语义属性相似度距离；
根据所述纹理相似度距离、所述颜色相似度距离、所述语义属性相似度距离和第三预设模型，计算所述第一图像与该第二图像的外观相似度距离；其中，所述第三预设模型为：
Dappearance＝α×dtexture+β×dcolor+(1-α-β)×dattribute，其中，Dappearance为所述外观相似度距离，dtexture为所述纹理相似度距离，dcolor为所述颜色相似度距离，dattribute为所述语义属性相似度距离，α和β为经验权值。
优选的，所述计算所述第一图像与每一所述第三图像的视觉相似度距离的步骤，包括：
使用第五预设模型计算所述第一图像与每一所述第三图像的视觉相似度距离；其中，所述第五预设模型为：
Dvisual＝γ×Dappearance+(1-γ)×Dplate，其中，Dvisual为所述视觉相似度距离，Dappearance为所述外观相似度距离，Dplate为所述车牌特征相似度距离，γ为经验权值。
本发明实施例还提供了一种车辆搜索装置，所述装置包括：
第一图像获取模块，用于获得目标车辆的第一图像；
第一外观特征提取模块，用于从所述第一图像中提取所述目标车辆的第一外观视觉特征；
第二外观特征提取模块，用于从若干第二图像中分别提取被搜索车辆的第二外观视觉特征；其中，所述第二图像为存储在车辆监控图像数据库中的图像；
第一计算模块，用于根据所述第一外观视觉特征与每一所述第二外观视觉特征，计算所述第一图像与每一所述第二图像的外观相似度距离；
第一选定模块，用于从所述若干第二图像中选定若干图像作为若干第三图像；
车牌区域确定模块，用于确定所述第一图像中的第一车牌区域和每一所述第三图像中的第二车牌区域；
车牌特征获取模块，用于将所述第一车牌区域和每一所述第二车牌区域分别输入预设的Siamese神经网络模型，获得所述第一车牌区域对应的第一车牌特征，和每一所述第二车牌区域对应的第二车牌特征；
第二计算模块，用于根据所述第一车牌特征和每一所述第二车牌特征，计算所述第一图像与每一所述第三图像的车牌特征相似度距离；
第三计算模块，用于根据所述外观相似度距离和所述车牌特征相似度距离，计算所述第一图像与每一所述第三图像的视觉相似度距离；
第一搜索结果获取模块，用于将所述若干第三图像按所述视觉相似度距离的大小升序排列，获得所述目标车辆的第一搜索结果。
优选的，所述装置还包括：
第四计算模块，用于在触发所述第三计算模块后，根据所述第一图像和每一所述第三图像中包括的时空元数据，计算所述第一图像与每一所述第三图像的时空相似度；
第五计算模块，用于根据所述视觉相似度距离和所述时空相似度，计算所述第一图像与每一所述第三图像的最终相似度距离；
第三搜索结果获取模块，用于将所述若干第三图像按所述最终相似度距离的大小升序排列，获得所述目标车辆的第三搜索结果。
本发明实施例提供的车辆搜索方法及装置，可以从目标车辆的第一图像中提取所述目标车辆的第一外观视觉特征；从若干第二图像中分别提取被搜索车辆的第二外观视觉特征；根据所述第一外观视觉特征与每一所述第二外观视觉特征，计算所述第一图像与每一所述第二图像的外观相似度距离；从所述若干第二图像中选定若干图像作为若干第三图像；确定所述第一图像中的第一车牌区域和每一所述第三图像中的第二车牌区域；将所述第一车牌区域和每一所述第二车牌区域分别输入预设的Siamese神经网络模型，获得所述第一车牌区域对应的第一车牌特征，和每一所述第二车牌区域对应的第二车牌特征；根据所述第一车牌特征和每一所述第二车牌特征，计算所述第一图像与每一所述第三图像的车牌特征相似度距离；根据所述外观相似度距离和所述车牌特征相似度距离，计算所述第一图像与每一所述第三图像的视觉相似度距离；将所述若干第三图像按所述视觉相似度距离的大小升序排列，获得所述目标车辆的第一搜索结果。本发明提供的方法及装置，一方面，采用Siamese神经网络模型确定的第一图像和每一第二图像对应的车牌特征，而不是采用传统的车牌识别方法，使得本发明提供的车辆搜索方法不仅不受应用场景的限制，还提高了车辆搜索速度，同时降低了采集车辆图像的摄像头及辅助设备等硬件的要求；另一方面，根据外观相似度距离和车牌特征相似度距离两个参数，综合确定了第一图像和每一第二图像的视觉相似度距离，使得本发明提供的车辆搜索方法的搜索准确度更高。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种车辆搜索方法的流程图；
图2为图1所示的实施例中的步骤S104的详细流程图；
图3为本发明实施例1中所采用的Siamese神经网络模型的结构示意图；
图4为训练本发明实施例1中所采用的Siamese神经网络模型的训练过程示意图；
图5为本发明实施例2提供的另一种车辆搜索方法的流程图；
图6为本发明实施例4提供的一种车辆搜索装置的结构示意图；
图7为本发明实施例4提供的一种车辆搜索装置中的模块104的详细结构示意图；
图8为本发明实施例5提供的另一种车辆搜索装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了拓宽车辆搜索应用场景的适用范围、提高车辆搜索的速度和准确度，本发明实施例提供了一种车辆搜索方法及装置，应用于电子设备，下面首先对一种车辆搜索方法进行说明。
实施例1
如图1所示，本发明实施例1提供的一种车辆搜索方法，包括如下步骤：
S101、获得目标车辆的第一图像；
目标车辆的第一图像可以来自于监控视频，也可以通过拍照获得。
需要说明的是，为了实现后续的车牌特征的提取和比较，目标车辆的第一图像中必须包含目标车辆的车牌区域。
S102、从所述第一图像中提取所述目标车辆的第一外观视觉特征；
由于第一外观视觉特征是针对第一图像中的目标车辆的，因此，在执行步骤S102前，应从所述第一图像中检测出目标车辆区域。
具体的，从第一图像中确定出目标车辆区域的方法属于现有技术，例如，可以使用基于快速区域卷积神经网络的对象检测算法(简称Fast RCNN检测算法)从第一图像中检索出目标车辆区域，此处不做详细描述。
其中，第一外观视觉特征主要包括：第一纹理特征、第一颜色特征和第一语义属性特征。从第一图像中提取第一外观视觉特征指的是，从第一图像中分别提取第一纹理特征、第一颜色特征和第一语义属性特征。
下面对从第一图像中提取这三种特征的具体方法进行说明，可以理解的是，下文所述的提取这三种特征的方法仅仅是示例性方法，而非唯一性方法，任何能够提取这些特征的方法均适用于本发明。
(1)第一纹理特征的提取方法。
本发明采用局部特征点提取方法(ORiented Brief，ORB)提取第一图像中目标车辆的全部局部特征点，然后使用词袋模型对目标车辆的全部局部特征点进行量化，得到第一图像的第一纹理特征向量，并用第一纹理特征向量表示第一纹理特征。具体步骤如下：
步骤一：纹理词袋码本训练
首先，给定训练车辆图像集T＝{Ii}N，其中，N为训练车辆图像集T中的训练车辆图像的数量，Ii表示训练车辆图像集T中的一张训练车辆图像；提取训练车辆图像集中每一张训练车辆图像Ii的局部特征点，将这些局部特征点组成一个训练特征点集合PT。
其次，根据预先设定的码本大小K1，采用k均值聚类算法(k-means聚类算法)，将PT中的全部训练特征点聚类为K1类，聚类后所获得的K1个聚类中心即为K1个纹理视觉词wti，这K1个纹理视觉词wti组成的集合即为纹理词袋码本在本发明中设置K1＝10000。
最后，计算每个纹理视觉词wti的逆向文件频率权重(Inverse documentfrequency，IDF)，具体公式如下：
其中，|T|为训练车辆图像集T的大小，|j:wti∈Ij|表示包含纹理视觉词wti的训练车辆图像的数量。
步骤二、从第一图像中提取第一纹理特征。
首先，提取第一图像中目标车辆的全部局部特征点，得到第一图像的特征点集合PI；根据纹理词袋码本C1计算每个特征点对应的纹理视觉词wti，并计算每个纹理视觉词wti的词频具体公式如下：
其中，表示纹理视觉词wti在第一图像中出现的次数，∑tlntl表示第一图像中所有的纹理视觉词的数量。
其次，计算第一图像中每个纹理视觉词wti的词频-逆向文件频率权重(Termfrequency–inverse document frequency，TF-IDF)，具体公式如下：
最后，得到第一图像的第一纹理特征向量其中，K1＝10000。
(2)第一颜色特征的提取方法。
本发明采用颜色名称(Color Name)特征提取来提取第一图像中目标车辆的局部颜色特征，然后使用词袋模型对目标车辆的图像颜色特征进行量化，得到第一图像的第一颜色特征向量，并用第一颜色特征向量表示第一颜色特征。具体步骤如下：
步骤一、颜色词袋码本训练
首先，给定训练车辆图像集T＝{Ii}N，将每一张训练车辆图像Ii缩放为统一大小64×128，并将每一张训练车辆图像Ii分割成大小相同的8×8个子块；计算每一训练车辆图像中每一子块对应的像素点的RGB的平均值；并从每一训练车辆图像中的每一子块中提取长度为11维的Color Name颜色特征向量，组成训练颜色特征集合CNT。
其次，根据预先设定的码本大小K2，采用k-means聚类算法，将CNT的全部训练特征点聚类为K2类，聚类后所获得的K2个聚类中心即为K2个颜色视觉词wci，这K2个颜色视觉词wci组成的集合即为颜色词袋码本在本发明中设置K2＝350。
最后，计算每个颜色视觉词wci的IDF权重，具体公式如下：
其中，|T|为训练车辆图像集T的大小，|j:wci∈Ij|表示包含颜色视觉词wci的训练车辆图像的数量。
步骤二、从第一图像中提取第一颜色特征。
首先，将第一图像缩放至大小为64×128，并将第一图像分割成大小相同的8×8个子块，共计16个子块；计算每一个子块对应的Color Name颜色特征向量；根据颜色词袋码本C2计算每个特征向量对应的颜色视觉词wci，并计算每个颜色视觉词wci的词频计算词频的具体公式如下：
其中，表示颜色视觉词wti在第一图像中出现的次数，∑clncl表示第一图像中所有的颜色视觉词的数量。
其次，计算第一图像中每个颜色视觉词wci的TF-IDF权重，具体公式如下：
再次，得到每一子模块的颜色特征向量其中，K2＝350。
最后，将16个子模块的颜色特征向量顺序连接，即可得到第一图像的第一颜色特征向量共计5600维。
(3)第一语义属性特征的提取方法。
本发明采用GoogLeNet卷积神经网络模型学习并提取第一图像的语义属性特征。具体步骤如下：
步骤一、使用caffe深度神经网络框架构建GoogLeNet卷积神经网络，采用在训练车辆数据集上训练好的网络参数初始化构建的GoogLeNet神经网络。
步骤二、将第一图像作为GoogLeNet的输入图像，进行前向传播计算。
步骤三、提取GoogLeNet神经网络全连接层的431维特征向量作为语义属性特征，具体的语义属性特征可以表示为：vattributte＝[va1,va2,…va431,]。
S103、从若干第二图像中分别提取被搜索车辆的第二外观视觉特征；其中，所述第二图像为存储在车辆监控图像数据库中的图像；
被搜索车辆，指的是存储在车辆监控图像数据库中的第二图像中的车辆。若干第二图像可以是存储在车辆监控图像数据库中的全部图像，也可以是从车辆监控图像数据库中的选取的预设数量的图像。
与步骤S102中一样，由于第二外观视觉特征是针对第二图像中的被搜索车辆的，因此，在执行步骤S103前，应从所述第二图像中检测出被搜索车辆的车辆区域。具体的，确定车辆区域的方法与步骤S102中相同，此处不再赘述。
需要说明的是，由于车辆搜索过程是将目标车辆的第一图像与若干第二图像一一进行比对，因此，默认的，每一张第二图像中仅包括一辆被搜索车辆。
同样的，第二外观视觉特征也主要包括：第二纹理特征、第二颜色特征和第二语义属性特征；
具体的，从每一第二图像中提取被搜索车辆的第二外观视觉特征的方法，与步骤S102中从第一图像中提取第一外观视觉特征的方法一致，此处不再赘述。
S104、根据所述第一外观视觉特征与每一所述第二外观视觉特征，计算所述第一图像与每一所述第二图像的外观相似度距离；
具体的，当第一外观视觉特征和第二外观视觉特征均包括纹理、颜色、语义属性三个特征时，如图2所示，计算所述第一图像与每一所述第二图像的外观相似度距离的步骤，包括：
S201、对所述第一图像与每一所述第二图像分别触发步骤S202-S205；
可以理解的是，在本发明中，并不需要对步骤S202至S204的执行顺序进行限定，即，既可以按照“S202→S203→S204”的顺序执行，也可以按照“S204→S203→S202”的顺序执行，还可以同时执行这三个步骤，这都是合理的。图2给出的执行顺序仅仅是一个示例，并不构成对步骤S202至S204的执行顺序的限定。
S202、根据所述第一纹理特征和所述第二纹理特征，计算纹理相似度距离；
S203、根据所述第一颜色特征和所述第二颜色特征，计算颜色相似度距离；
S204、根据所述第一语义属性特征和所述第二语义属性特征，计算语义属性相似度距离；
本领域技术人员能够理解的是，两个特征是否相似可以用欧氏距离的大小来反映，欧氏距离越小，表明两个特征越相似，欧氏距离越大，表明两个特征越不相似。因此，本发明采用欧氏距离来表示上述纹理相似度距离、颜色相似度距离和语义属性相似度距离，具体计算公式分别如下：
纹理相似度距离：dtexture＝||vtexture-utexture||，其中，vtexture表示第一纹理特征向量，utexture表示第二纹理特征向量；
颜色相似度距离：dcolor＝||vcolor-ucolor||，其中，vcolor表示第一颜色特征向量，ucolor表示第二颜色特征向量；
语义属性相似度距离：dattribute＝||vattribute-uattribute||，其中，vattribute表示第一语义属性特征向量，uattribute表示第二语义属性特征向量。
S205、根据所述纹理相似度距离、所述颜色相似度距离、所述语义属性相似度距离和第三预设模型，计算所述第一图像与该第二图像的外观相似度距离；
其中，所述第三预设模型为：Dappearance＝α×dtexture+β×dcolor+(1-α-β)×dattribute，其中，Dappearance为所述外观相似度距离，dtexture为所述纹理相似度距离，dcolor为所述颜色相似度距离，dattribute为所述语义属性相似度距离，α和β为经验权值。
可以理解的是，步骤S205实际上是采用第三预设模型对步骤S202-S204中计算出的三种相似度距离按照不同的权重进行线性求和，即对相似度距离进行融合，以通过纹理、颜色、语义属性三种外观特征综合反映第一图像与第二图像的外观相似性。这种由三种外观特征的相似度距离综合反映第一图像与第二图像的外观相似性的方法，能够更准确地反映第一图像与第二图像的相似程度，进而也提高了车辆搜索的准确度。
需要说明的是，上述计算第一图像与第二图像的外观相似度距离的方法仅是一种优选的示例性方法，并非唯一方法，其它能够计算外观相似度距离的方法也可以适用于本发明。
S105、从所述若干第二图像中选定若干图像作为若干第三图像；
从所述若干第二图像中选定若干图像作为若干第三图像的方式可以有很多种，下面列举三种作为示例。
方式一：首先，将所述若干第二图像按所述外观相似度距离的大小升序排列，获得所述目标车辆的第二搜索结果；然后，将所述第二搜索结果中排名在第一阈值前的若干第二图像确定为若干第三图像。
其中，第一阈值可以是一个确定的正整数，也可以是一个百分比。
具体的，当第一阈值为确定的正整数时，例如500，意思是将所述第二搜索结果中排名在前500名的若干第二图像确定为若干第三图像；当第一阈值为百分比时，例如20％，意思是将所述第二搜索结果中排名在前20％的若干第二图像确定为若干第三图像。
方式二：将所述若干第二图像中与所述第一图像的外观相似度距离小于第三阈值的若干图像确定为若干第三图像。
其中，第三阈值可以根据经验设定，例如，可以设定第三阈值等于0.5，进而可以将所述若干第二图像中与所述第一图像的外观相似度距离小于0.5的若干图像确定为若干第三图像。
方式三：将所述若干第二图像中的全部图像作为若干第三图像，或者将所述若干第二图像中的部分图像作为若干第三图像。
S106、确定所述第一图像中的第一车牌区域和每一所述第三图像中的第二车牌区域；
从第一图像和每一第三图像中确定车牌区域的方法，与从第一图像中确定目标车辆区域的方法一样，均属于现有技术，此处不做详细描述。
需要说明的是，由于第一图像通常是从监控视频的视频帧中经过人工选择确定的，或者是通过拍照获得的，因此，第一图像中必定是包含车牌区域的。然而，第三图像虽然也来自监控视频，但是由于第三图像的数量庞大，一般不会由人工精心选则确定，且拍摄监控视频的摄像头的位置通常是固定不变的，不能对车辆进行全方位的拍摄，因此，实际应用中并不能保证每一第三图像中均包括车牌区域。进一步地，执行步骤S106时，可能无法在第三图像中确定出车牌区域，这是合理的，检测不到车牌区域时的具体处理步骤见步骤S108。
S107、将所述第一车牌区域和每一所述第二车牌区域分别输入预设的Siamese神经网络模型，获得所述第一车牌区域对应的第一车牌特征，和每一所述第二车牌区域对应的第二车牌特征；
Siamese神经网络模型是一种将卷积神经网络与度量学习方法结合的神经网络模型。
如图3所示，本发明采用的预设的Siamese神经网络模型由两组卷积和池化层、三组全连接层组成和对比损失层组成，其中每组卷积层、池化层、全连接层为共享权值，各层的具体参数详见图3。
上述预设的Siamese神经网络模型是经由下述步骤训练而得：
步骤一、训练数据准备
给定训练车牌图像集合，随机将集合中的两张车牌图像组成图像对，相同的车牌设置标签为1，不同车牌设置标签为0，我们共组成以上两类车牌图像对各50000对，并转换为lmdb数据格式以供训练。
步骤二、Siamese神经网络构建
采用caffe深度神经网络框架，按照如图4所示的Siamese神经网络层次结构和参数构建Siamese神经网络，从左至右，该网络包括：数据分割层、两组卷积和池化层、三组全连接层组成和对比损失层；对各层权值进行均值为0的高斯随机初始化。
步骤三：Siamese神经网络模型训练
如图4所示，将50000对训练车牌图像及标签作为Siamese神经网络的输入，采用随机梯度下降法进行Siamese神经网络模型训练，迭代100000次后保存各层权值，即完成Siamese神经网络模型的训练。
发明人经过大量实验证明，图3中所示的预设的Siamese神经网络模型中的第二个全连接层的1000维特征向量，能很好的反映车牌特征。因此，在本发明中，将图3中第二个全连接层的1000维特征向量作为车牌特征。
进而，将第一车牌区域输入图3中的预设的Siamese神经网络模型，即可获得第一图像的第一车牌区域对应的第一车牌特征vplate。
同样的，当第三图像中存在车牌区域时，将确定出的第二车牌区域输入预设的Siamese神经网络模型，即可获得该第三图像的第二车牌区域对应的第二车牌特征uplate。
如步骤S106中所述，由于某些第三图像中可能不存在车牌区域，因此当第三图像中不存在车牌区域时，可以暂不提取该第三图像对应的第二车牌特征。
S108、根据所述第一车牌特征和每一所述第二车牌特征，计算所述第一图像与每一所述第三图像的车牌特征相似度距离；
与步骤S104中计算外观相似度距离一样，本步骤中也采用欧氏距离表示第一图像与每一所述第三图像的车牌特征相似度距离。
具体的，所述计算所述第一图像与每一所述第三图像的车牌特征相似度距离的步骤，包括：
使用第四预设模型计算所述第一图像与每一所述第三图像的车牌特征相似度距离；其中，所述第四预设模型为：Dplate＝||vplate-uplate||，其中，Dplate为所述车牌特征相似度距离，vplate为第一车牌特征，uplate为第二车牌特征。
可选地，当第三图像中不存在车牌区域时，可以将第一图像与该第三图像的车牌特征相似度距离设置成一个常数δplate，δplate的取值为存在车牌区域的全部第三图像与第一图像的车牌特征相似度距离中的最大值。
可以理解的是，车牌特征相似度距离Dplate越小，则表明第一车牌特征与第二车牌特征越相似，对应的第一图像与第三图像越相似。
另外，需要说明的是，由于应用Siamese神经网络模型确定的第一图像和每一第三图像对应的车牌特征时，只需要将确定出第一图像和每一第三图像中的车牌区域输入预设的Siamese神经网络模型，就能得到相应的车牌特征。因此，与现有的有约束场景下基于卡口车牌识别的车辆搜索方法相比，本发明提供的方法并不受应用场景的限制，降低了采集车辆图像的摄像头及辅助设备等硬件的要求，且简化了车牌特征的提取过程，进而提高了车辆搜索效率。
S109、根据所述外观相似度距离和所述车牌特征相似度距离，计算所述第一图像与每一所述第三图像的视觉相似度距离；
具体的，计算所述第一图像与每一所述第三图像的视觉相似度距离的步骤，包括：
使用第五预设模型计算所述第一图像与每一所述第三图像的视觉相似度距离；其中，所述第五预设模型为：Dvisual＝γ×Dappearance+(1-γ)×Dplate，其中，Dvisual为所述视觉相似度距离，Dappearance为所述外观相似度距离，Dplate为所述车牌特征相似度距离，γ为经验权值。在本发明中，γ＝0.4。
S110、将所述若干第三图像按所述视觉相似度距离的大小升序排列，获得所述目标车辆的第一搜索结果。
同样可以理解的是，视觉相似度距离越小，表示第一图像与第三图像越相似，也说明目标车辆与第三图像中的被搜索车辆越相似。
本发明实施例1提供的车辆搜索方法，相比于现有技术，一方面，由于采用纹理、颜色和语义属性三个外观特征的融合特征表示第一图像和每一第二图像的外观视觉特征，使得计算出的第一图像与每一第二图像的外观相似度距离更为准确，进而使得本发明提供的车辆搜索方法的搜索准确度更高；另一方面，由于是应用Siamese神经网络模型确定的第一图像和每一第三图像对应的车牌特征，而不是采用传统的车牌识别方法，使得本发明提供的车辆搜索方法不仅不受应用场景的限制，还提高了车辆搜索速度，同时降低了采集车辆图像的摄像头及辅助设备等硬件的要求；更重要的是，本发明提供的车辆搜索方法是根据外观相似度距离和车牌特征相似度距离两个参数，综合确定了第一图像和每一第三图像的视觉相似度距离，使得本发明提供的车辆搜索方法的搜索准确度更高。
另外，如果步骤S105中采用方式一确定第三图像，由于实施例1首先借助车辆的外观特征获得第二搜索结果，并确定出第二搜索结果中排名在第一阈值前的图像作为第三图像，缩小了搜索范围，然后按照综合考虑了车牌特征与外观特征的视觉相似度距离重新排序，在小范围内精确搜索与目标车辆相似的车辆，获得第一搜索结果，因此，应用本发明实施例1提供的车辆搜索方法，除能够取得上述有益效果外，还能进一步提高搜索速度和搜索准确度。
实施例2
在上述实施例1提供的车辆搜索方法的基础上，如图5所示，本发明实施例2还提供了另一种车辆搜索方法，该方法包括：
S501至S510；
需要说明的是，步骤S501至S510的具体内容与实施例1中的步骤S101至S110一一对应相同，因此，此处不再对步骤S501至S510的内容进行重复描述，参见实施例1即可获得相应的内容。
S511、根据所述第一图像和每一所述第三图像中包括的时空元数据，计算所述第一图像与每一所述第三图像的时空相似度；
其中，时空元数据指的是拍摄相应图像的时间信息和位置信息。
具体的，使用第一预设模型计算所述第一图像与每一所述第三图像的时空相似度；其中，所述第一预设模型为：
其中，ST(i,j)为所述时空相似度，Ti为拍摄所述第一图像的拍摄时间，Tj为拍摄所述第三图像的拍摄时间，δ(Ci,Cj)为拍摄所述第一图像的摄像头Ci与拍摄所述第三图像的摄像头Cj之间的距离，Tmax为拍摄所述第一图像与拍摄所述若干第三图像中的所有第三图像的时间差的绝对值中的最大值，Dmax为拍摄所述第一图像和拍摄所述若干第三图像中每一第三图像的所有摄像头之间的距离中的最大值。
S512、根据所述视觉相似度距离和所述时空相似度，计算所述第一图像与每一所述第三图像的最终相似度距离；
具体的，使用第二预设模型计算所述第一图像与每一所述第三图像的最终相似度距离；其中，所述第二预设模型为：D＝Dvisual×ST(i,j)，其中，D为所述最终相似度距离，Dvisual为所述视觉相似度距离。
S513、将所述若干第三图像按所述最终相似度距离的大小升序排列，获得所述目标车辆的第三搜索结果。
需要说明的是，在本实施例中，步骤S511既可以在执行完步骤S509之后执行，也可以在执行完步骤S510之后执行，图5中所示的执行顺序仅仅是执行顺序之一，并不能构成对执行步骤S511的顺序的具体限定。
本发明实施例2提供的车辆搜索方法，除具有实施例1提供的车辆搜索方法具备的有益效果外，由于进一步地考虑了时间和空间因素对第一图像与每一第三图像的相似度距离的影响，因此，能进一步地提高车辆搜索的准确度。
实施例3
在上述实施例1的基础上，本发明实施例还提供了另一种车辆搜索方法，该方法与实施例1提供的车辆搜索方法的不同之处在于，该方法还包括：
步骤1、将所述第一搜索结果中排名在第二阈值前的若干图像确定为若干第四图像；
其中，第二阈值可以是一个确定的正整数，也可以是一个百分比。
具体的，当第二阈值为确定的正整数时，例如300，意思是将所述第一搜索结果中排名在前300名的若干图像确定为若干第四图像；当第二阈值为百分比时，例如30％，意思是将所述第一搜索结果中排名在前30％的若干第二图像确定为若干第三图像。另外，当仅针对第四图像执行后续的步骤时，也可以缩小搜索范围，提高搜索速度。
步骤2、根据所述第一图像和每一所述第四图像中包括的时空元数据，计算所述第一图像与每一所述第四图像的时空相似度；
其中，关于时空元数据的定义和计算时空相似度的方法，均与实施例2中相同，此处不再赘述。
步骤3、根据所述视觉相似度距离和所述时空相似度，计算所述第一图像与每一所述第四图像的最终相似度距离；
具体的，计算所述最终相似度距离的方法与实施例2相同，此处不再赘述。
步骤4、将所述若干第四图像按所述最终相似度距离的大小升序排列，获得所述目标车辆的第四搜索结果。
应用本发明实施例3提供的车辆搜索方法，除能够取得实施例1提供的方法所能取得的有益效果外，由于在实施例3中，首先借助车辆的外观特征和车牌特征获得第一搜索结果，并确定出第一搜索结果中排名在第二阈值前的图像，缩小搜索范围，然后在进一步考虑了被搜索车辆图像的时间及空间信息的情况下，按最终相似度距离离重新排序，在小范围内精确搜索与目标车辆相似的车辆，获得第四搜索结果。因此，本发明实施例3提供的车辆搜索方法也可以进一步提高搜索速度和搜索准确度。
可选地，在上述任一实施例的基础上，本发明实施例提供的车辆搜索方法，还可以包括：
向用户输出搜索结果，以使用户能够直观地观察搜索结果。
在实施例1中，所述搜索结果为第一搜索结果和/或第二搜索结果；
在实施例2中，所述搜索结果为第一搜索结果、第二搜索结果和第三搜索结果中的至少一种；
在实施例3中，所述搜索结果为第一搜索结果、第二搜索结果和第四搜索结果中的至少一种。
本发明还通过实验验证了本发明实施例提供的车辆搜索方法的有效性，具体验证过程及验证结果如下：
(1)确定实验数据集
在某一真实城市监控场景采集了时长为24小时的高清视频数据，选取其中16:00:00至16:59:59之间约1小时长度的视频作为实验视频集，再以每秒5帧进行平均采样将视频转换为视频帧序列。基于以上视频帧确定了一个包含约50000张车牌图像、776辆不同牌号车辆的车辆数据集，并对相同车辆图像在不同摄像机内的出现进行了标注，此外还标注了车辆的颜色、品牌、车型、车牌位置、车牌字符等信息。
(2)参数设置
将实验数据集分为训练集和测试集，训练集包含576辆车、37778张图像，测试集包含200辆车、11579张第二图像，对于每辆测试车辆在每个摄像头选择一张图像组成第一图像集，共计1678张第一图像。
实验中，采用训练集图像训练纹理词袋码本、颜色词袋码本、GoogLeNet神经网络和Siamese神经网络，采用第一图像集的每张第一图像搜索测试集的全部第二图像，结果按相似度从大到小排列。实验采用mAP、HIT@1和HIT@5评价各搜索方法的性能。
(3)实验结果
实验中，总共对比了5种搜索方法，具体为：
方法1：仅采用颜色特征进行车辆搜索；
方法2：仅采用语义属性特征进行车辆搜索；
方法3：融合纹理特征、颜色特征和语义属性特征进行车辆搜索；
方法4：采用本发明实施例1提供的车辆搜索方法进行车辆搜索；
方法5：采用本发明实施例2提供的车辆搜索方法进行车辆搜索。
表1列出了分别采用上述mAP、HIT@1和HIT@5三种评价方法，对上述五种搜索方法的搜索性能进行评价的评价结果。
表1
方法 mAP HIT@1 HIT@5
方法1 12.20 33.91 53.69
方法2 17.04 49.82 71.16
方法3 18.49 50.95 73.48
方法4 25.88 61.08 77.41
方法5 27.77 61.44 78.78
从表1可以看出，方法1和方法2仅用单一外观特征确定第一图像与每一第二图像的相似度，搜索结果较差，单一特征难以有效描述车辆的外观特征。方法3结合了多种外观特征，取得了较好的搜索结果，体现了多种外观特征能够综合互补地描述车辆的外观的优点。方法4在将外观特征和车牌特征结合后，取得了更好的搜索结果，证明车牌区域图像及车牌特征匹配方法能够提高车辆搜索的准确度。由于方法5在方法4的基础上进一步结合了时空相似度，使得进搜索准确度进一步被提高，取得了最好的搜索效果，充分证明了本发明实施例3提供的搜索方法的有效性。
相应于上述方法实施例，本发明还提供一种车辆搜索装置。下面结合具体实施例逐一进行说明。
实施例4
如图6所示，本发明实施例4提供的一种车辆搜索装置，包括：第一图像获取模块601、第一外观特征提取模块602、第二外观特征提取模块603、第一计算模块604、第一选定模块605、车牌区域确定模块606、车牌特征获取模块607、第二计算模块608、第三计算模块609和第一搜索结果获取模块610。
第一图像获取模块601，用于获得目标车辆的第一图像；
目标车辆的第一图像可以来自于监控视频，也可以通过拍照获得。
需要说明的是，为了实现后续的车牌特征提取和比较，目标车辆的第一图像中必须包含目标车辆的车牌区域。
第一外观特征提取模块602，用于从所述第一图像中提取所述目标车辆的第一外观视觉特征；
由于第一外观视觉特征是针对第一图像中的目标车辆的，因此，在触发第一外观特征提取模块602前，应从所述第一图像中检测出目标车辆区域。
具体的，从第一图像中确定出目标车辆区域的方法属于现有技术，此处不做详细描述。
其中，第一外观视觉特征主要包括：第一纹理特征、第一颜色特征和第一语义属性特征。从第一图像中提取第一外观视觉特征指的是，从第一图像中分别提取第一纹理特征、第一颜色特征和第一语义属性特征。
具体的，从第一图像中提取这三种特征的具体方法与实施例1中相同，此处不再赘述，
第二外观特征提取模块603，用于用于从若干第二图像中分别提取被搜索车辆的第二外观视觉特征；其中，所述第二图像为存储在车辆监控图像数据库中的图像；
被搜索车辆，指的是存储在车辆监控图像数据库中的第二图像中的车辆。若干第二图像可以是存储在车辆监控图像数据库中的全部图像，也可以是从车辆监控图像数据库中的选取的预设数量的图像。
由于第二外观视觉特征是针对第二图像中的被搜索车辆的，因此，在触发第二外观特征提取模块603前，应从所述第二图像中检测出被搜索车辆区域。具体的，确定车辆区域的方法与实施例1中相同，此处不再赘述。
需要说明的是，由于车辆搜索过程是将目标车辆的第一图像与若干第二图像一一进行比对，因此，默认的，每一张第二图像中仅包括一辆被搜索车辆。
同样的，第二外观视觉特征包括：第二纹理特征、第二颜色特征和第二语义属性特征；
具体的，从每一第二图像中提取被搜索车辆的第二外观视觉特征的方法，与第一外观特征提取模块602中从第一图像中提取第一外观视觉特征的方法一致，此处不再赘述。
第一计算模块604，用于根据所述第一外观视觉特征与每一所述第二外观视觉特征，计算所述第一图像与每一所述第二图像的外观相似度距离；
具体的，当第一外观视觉特征和第二外观视觉特征均包括纹理、颜色、语义属性三个特征时，如图7所示，所述第一计算模块包括：触发子模块701、第一计算子模块702、第二计算子模块703、第三计算子模块704和融合子模块705。
可以理解的是，在本发明中，并不需要对702、703和704这三个模块的连接顺序进行限定，即，既可以按照“701-702-703-704-705”的顺序连接，也可以按照“701-704-703-702-705”的顺序连接，这都是合理的。图7给出的连接顺序仅仅是一个示例，并不构成对702、703和704的连接顺序的限定。
触发子模块701，用于对第一图像与每一第二图像分别触发一次所述第一计算子模块702、所述第二计算子模块703、所述第三计算子模块704和所述融合子模块705；
第一计算子模块702，用于根据所述第一纹理特征和所述第二纹理特征，计算纹理相似度距离；
第二计算子模块703，用于根据所述第一颜色特征和所述第二颜色特征，计算颜色相似度距离；
第三计算子模块704，用于根据所述第一语义属性特征和所述第二语义属性特征，计算语义属性相似度距离；
本领域技术人员能够理解的是，两个特征是否相似可以用欧氏距离的大小来反映，欧氏距离越小，表明两个特征越相似，欧氏距离越大，表明两个特征越不相似。因此，本发明采用欧氏距离来表示上述纹理相似度距离、颜色相似度距离和语义属性相似度距离，具体计算公式分别如下：
纹理相似度距离：dtexture＝||vtexture-utexture||，其中，vtexture表示第一纹理特征向量，utexture表示第二纹理特征向量；
颜色相似度距离：dcolor＝||vcolor-ucolor||，其中，vcolor表示第一颜色特征向量，ucolor表示第二颜色特征向量；
语义属性相似度距离：dattribute＝||vattribute-uattribute||，其中，vattribute表示第一语义属性特征向量，uattribute表示第二语义属性特征向量。
融合子模块705，用于根据所述纹理相似度距离、所述颜色相似度距离、所述语义属性相似度距离和第三预设模型，计算所述第一图像与该第二图像的外观相似度距离；
其中，第三预设模型为：Dappearance＝α×dtexture+β×dcolor+(1-α-β)×dattribute，其中，各参数的物理意义与实施例1中相同，此处不再赘述。
可以理解的是，第三计算子模块704实际上是采用第三预设模型对模块702至704中计算出的三种相似度距离按照不同的权重进行线性求和，即对相似度距离进行融合，以通过纹理、颜色、语义属性三种外观特征综合反映第一图像与第二图像的外观相似性。这种由三种外观特征的相似度距离综合反映第一图像与第二图像的外观相似性的方法，能够更准确地反映第一图像与第二图像的相似程度，进而也提高了车辆搜索的准确度。
需要说明的是，上述计算第一图像与第二图像的外观相似度距离的方法仅是一种优选的示例性方法，并非唯一方法，其它能够计算外观相似度距离的方法也可以适用于本发明。
第一选定模块605，用于从所述若干第二图像中选定若干图像作为若干第三图像；
第一选定模块605可以通过多种方式从所述若干第二图像中选定若干图像作为若干第三图像，下面列举三种作为示例。
方式一、第一选定模块605可以包括：第二搜索结果获取子模块和第三图像确定子模块。
第二搜索结果获取子模块，用于将所述若干第二图像按所述外观相似度距离的大小升序排列，获得所述目标车辆的第二搜索结果；
其中，第一阈值可以是一个确定的正整数，也可以是一个百分比。
第三图像确定子模块，用于将所述第二搜索结果中排名在第一阈值前的若干第二图像确定为若干第三图像。
方式二、第一选定模块605，具体可以将所述若干第二图像中与所述第一图像的外观相似度距离小于第三阈值的若干图像确定为若干第三图像。
其中，第三阈值可以根据经验设定，例如，可以设定第三阈值等于0.5，进而可以将所述若干第二图像中与所述第一图像的外观相似度距离小于0.5的若干图像确定为若干第三图像。
方式三：将所述若干第二图像中的全部图像作为若干第三图像，或者将所述若干第二图像中的部分图像作为若干第三图像。
车牌区域确定模块606，用于确定所述第一图像中的第一车牌区域和每一所述第三图像中的第二车牌区域；
从第一图像和每一第三图像中确定车牌区域的方法，与从第一图像中确定目标车辆区域的方法一样，均属于现有技术，此处不做详细描述。
需要说明的是，由于第一图像通常是从监控视频的视频帧中经过人工选择确定的，或者是通过拍照获得的，因此，第一图像中必定是包含车牌区域的。然而，第三图像虽然也来自监控视频，但是由于第三图像的数量庞大，一般不会由人工一一精心选则确定，且拍摄监控视频的摄像头的位置通常是固定不变的，不能对车辆进行全方位的拍摄，因此，实际应用中并不能保证每一第三图像中均包括车牌区域。进一步地，运行模块606时，可能无法在第二图像中确定出车牌区域，这是合理的，检测不到车牌区域时的具体处理方法见模块608。
车牌特征获取模块607，用于将所述第一车牌区域和每一所述第二车牌区域分别输入预设的Siamese神经网络模型，获得所述第一车牌区域对应的第一车牌特征，和每一所述第二车牌区域对应的第二车牌特征；
Siamese神经网络模型是一种将卷积神经网络与度量学习方法结合的神经网络模型。
如图3所示，本发明采用的预设的Siamese神经网络模型由两组卷积和池化层、三组全连接层组成和对比损失层组成，其中每组卷积层、池化层、全连接层为共享权值，各层的具体参数详见图3。
上述预设的Siamese神经网络模型是经由下述步骤训练而得，具体训练过程见实施例1，此处不再赘述。
发明人经过大量实验证明，图3中所示的预设的Siamese神经网络模型中的第二个全连接层的1000维特征向量，能很好的反映车牌特征。因此，在本发明中，将图3中第二个全连接层的1000维特征向量作为车牌特征。
进而，将第一车牌区域输入预设的Siamese神经网络模型，即可获得第一图像的第一车牌区域对应的第一车牌特征vplate。
同样的，当第三图像中存在车牌区域时，将确定出的第二车牌区域输入预设的Siamese神经网络模型，即可获得该第三图像的第二车牌区域对应的第二车牌特征uplate。
如车牌区域确定模块606中所述，由于某些第三图像中可能不存在车牌区域，因此当第三图像中不存在车牌区域时，可以暂不提取该第三图像对应的第二车牌特征。
第二计算模块608，用于根据所述第一车牌特征和每一所述第二车牌特征，计算所述第一图像与每一所述第三图像的车牌特征相似度距离；
具体的，第二计算模块608可以使用第四预设模型计算所述第一图像与每一所述第三图像的车牌特征相似度距离；
其中，所述第四预设模型为：
Dplate＝||vplate-uplate||，其中，Dplate为所述车牌特征相似度距离，vplate为所述第一车牌特征，uplate为所述第二车牌特征。
可选地，当第二图像中不存在车牌区域时，可以将第一图像与该第三图像的车牌特征相似度距离设置成一个常数δplate，δplate的取值为存在车牌区域的全部第三图像与第一图像的车牌特征相似度距离中的最大值。
可以理解的是，车牌特征相似度距离Dplate越小，则表明第一车牌特征与第二车牌特征越相似，对应的第一图像与第三图像越相似。
另外，需要说明的是，由于应用Siamese神经网络模型确定的第一图像和每一第三图像对应的车牌特征时，只需要将确定出第一图像和每一第三图像中的车牌区域输入预设的Siamese神经网络模型，就能得到相应的车牌特征。因此，与现有的有约束场景下基于卡口车牌识别的车辆搜索方法相比，本发明提供的方法并不受应用场景的限制，降低了采集车辆图像的摄像头及辅助设备等硬件的要求，且简化了车牌特征的提取过程，进而提高了车辆搜索效率。
第三计算模块609，用于根据所述外观相似度距离和所述车牌特征相似度距离，计算所述第一图像与每一所述第三图像的视觉相似度距离；
具体的，第三计算模块609可以使用第五预设模型计算所述第一图像与每一所述第三图像的视觉相似度距离；
其中，所述第五预设模型为：
Dvisual＝γ×Dappearance+(1-γ)×Dplate，其中，各参数的物理意义与实施例1中相同，此处不再赘述。
第一搜索结果获取模块610，用于将所述若干第三图像按所述视觉相似度距离的大小升序排列，获得所述目标车辆的第一搜索结果。
同样可以理解的是，视觉相似度距离越小，表示第一图像与第三图像越相似，也说明目标车辆与第三图像中的被搜索车辆越相似。
本发明实施例1提供的车辆搜索装置，相比于现有技术，一方面，由于采用纹理、颜色和语义属性三个外观特征的融合特征表示第一图像和每一第二图像的外观视觉特征，使得计算出的第一图像与每一第二图像的外观相似度距离更为准确，进而使得本发明提供的车辆搜索装置的搜索准确度更高；另一方面，由于是应用Siamese神经网络模型确定的第一图像和每一第三图像对应的车牌特征，而不是采用传统的车牌识别方法，使得本发明提供的车辆搜索装置不仅不受应用场景的限制，还提高了车辆搜索效率，同时降低了采集车辆图像的摄像头及辅助设备等硬件的要求；更重要的是，本发明提供的车辆搜索装置是根据外观相似度距离和车牌特征相似度距离两个参数，综合确定了第一图像和每一第三图像的视觉相似度距离，使得本发明提供的车辆搜索装置的搜索准确度更高。
另外，如果模块605中采用方式一确定第三图像，由于首先借助车辆的外观特征获得第二搜索结果，并确定出第二搜索结果中排名在第一阈值前的图像作为第三图像，缩小了搜索范围，然后按照综合考虑了车牌特征与外观特征的视觉相似度距离重新排序，在小范围内精确搜索与目标车辆相似的车辆，获得第一搜索结果，因此，应用本发明实施例4提供的车辆搜索装置，除能够取得上述有益效果外，还能进一步提高搜索速度和搜索准确度。
实施例5
在上述实施例4提供的车辆搜索装置的基础上，如图8所示，本发明实施例5还提供了另一种车辆搜索装置，该装置除了包括：第一图像获取模块801、第一外观特征提取模块802、第二外观特征提取模块803、第一计算模块804、第一选定模块805、车牌区域确定模块806、车牌特征获取模块807、第二计算模块808、第三计算模块809和第一搜索结果获取模块810，还包括：第四计算模块811、第五计算模块812和第三搜索结果获取模块813。
其中，模块801至模块810的功能与实施例4中模块601至模块610的功能一一对应相同，因此，为节约篇幅，此处不再对模块801至模块810的功能进行重复描述。
第四计算模块811，用于在触发所述模块809或模块810后，根据所述第一图像和每一所述第三图像中包括的时空元数据，计算所述第一图像与每一所述第三图像的时空相似度；
具体的，第四计算模块811，用于使用第一预设模型计算所述第一图像与每一所述第三图像的时空相似度；其中，所述第一预设模型为：
其中，各参数的物理意义与实施例2中相同，此处不再赘述。
第五计算模块812，用于根据所述视觉相似度距离和所述时空相似度，计算所述第一图像与每一所述第三图像的最终相似度距离；
具体的，第五计算模块812，用于使用第二预设模型计算所述第一图像与每一所述第三图像的最终相似度距离；
其中，所述第二预设模型为：
D＝Dvisual×ST(i,j)，其中，D为所述最终相似度距离，Dvisual为所述视觉相似度距离。
第三搜索结果获取模块813，用于将所述若干第三图像按所述最终相似度距离的大小升序排列，获得所述目标车辆的第三搜索结果。
需要说明的是，在本实施例中，模块811既可以连接在模块809之后，也可以连接模块810之后，图5中所示的连接顺序仅仅是其中之一，并不能构成对模块811的连接顺序的具体限定。
本发明实施例5提供的车辆搜索装置，除具有实施例4提供的车辆搜索装置具备的有益效果外，由于进一步地考虑了时间和空间因素对第一图像与每一第二图像的相似度距离的影响，因此，能进一步地提高车辆搜索的准确度。
实施例6
在上述实施例4的基础上，本发明实施例还提供了另一种车辆搜索装置，该装置还包括：第二选定模块、第六计算模块、第七计算模块和第四搜索结果获取模块。
第二选定模块，用于将所述第一搜索结果中排名在第二阈值前的若干图像确定为若干第四图像；
其中，第二阈值可以是一个确定的正整数，也可以是一个百分比。
具体的，当第二阈值为确定的正整数时，例如300，意思是将所述第一搜索结果中排名在前300名的若干图像确定为若干第四图像；当第二阈值为百分比时，例如30％，意思是将所述第一搜索结果中排名在前30％的若干第二图像确定为若干第三图像。另外，当仅针对第四图像执行后续的步骤时，也可以缩小搜索范围，提高搜索速度。
第六计算模块，用于根据所述第一图像和每一所述第四图像中包括的时空元数据，计算所述第一图像与每一所述第四图像的时空相似度；
其中，关于时空元数据的定义和计算时空相似度的方法，均与实施例4中相同，此处不再赘述。
第七计算模块，用于根据所述视觉相似度距离和所述时空相似度，计算所述第一图像与每一所述第四图像的最终相似度距离；
具体的，计算所述最终相似度距离的方法与实施例4相同，此处不再赘述。
第四搜索结果获取模块，用于将所述若干第四图像按所述最终相似度距离的大小升序排列，获得所述目标车辆的第四搜索结果。
应用本发明实施例6提供的车辆搜索装置，除能够取得实施例4提供的装置所能取得的有益效果外，由于在实施例6中，首先借助车辆的外观特征和车牌特征获得第一搜索结果，并确定出第一搜索结果中排名在第二阈值前的图像，缩小搜索范围，然后在进一步考虑了被搜索车辆图像的时间及空间信息的情况下，按最终相似度距离离重新排序，在小范围内精确搜索与目标车辆相似的车辆，获得第四搜索结果。因此，本发明实施例6提供的车辆搜索装置，也可以进一步提高搜索准确度和搜索速度。
可选地，上述任一装置实施例提供的车辆搜索装置，还可以包括：
输出模块，用于向用户输出搜索结果，以使用户能够直观地观察搜索结果。
在实施例4中，所述搜索结果为第一搜索结果和/或第二搜索结果；在实施例5中，所述搜索结果为第一搜索结果、第二搜索结果和第三搜索结果中的至少一种；在实施例6中，所述搜索结果为第一搜索结果、第二搜索结果和第四搜索结果中的至少一种。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种车辆搜索方法，其特征在于，所述方法包括：
获得目标车辆的第一图像；
从所述第一图像中提取所述目标车辆的第一外观视觉特征；
从若干第二图像中分别提取被搜索车辆的第二外观视觉特征；其中，所述第二图像为存储在车辆监控图像数据库中的图像；
根据所述第一外观视觉特征与每一所述第二外观视觉特征，计算所述第一图像与每一所述第二图像的外观相似度距离；
从所述若干第二图像中选定若干图像作为若干第三图像；
确定所述第一图像中的第一车牌区域和每一所述第三图像中的第二车牌区域；
将所述第一车牌区域和每一所述第二车牌区域分别输入预设的Siamese神经网络模型，获得所述第一车牌区域对应的第一车牌特征，和每一所述第二车牌区域对应的第二车牌特征；
根据所述第一车牌特征和每一所述第二车牌特征，计算所述第一图像与每一所述第三图像的车牌特征相似度距离；
根据所述外观相似度距离和所述车牌特征相似度距离，计算所述第一图像与每一所述第三图像的视觉相似度距离；
将所述若干第三图像按所述视觉相似度距离的大小升序排列，获得所述目标车辆的第一搜索结果；
在所述计算所述第一图像与每一所述第三图像的视觉相似度距离的步骤后，所述方法还包括：
根据所述第一图像和每一所述第三图像中包括的时空元数据，计算所述第一图像与每一所述第三图像的时空相似度；
根据所述视觉相似度距离和所述时空相似度，计算所述第一图像与每一所述第三图像的最终相似度距离；
将所述若干第三图像按所述最终相似度距离的大小升序排列，获得所述目标车辆的第三搜索结果；
所述计算所述第一图像与每一所述第三图像的时空相似度的步骤，包括：
使用第一预设模型计算所述第一图像与每一所述第三图像的时空相似度；其中，所述第一预设模型为：
其中，ST(i,j)为所述时空相似度，Ti为拍摄所述第一图像的拍摄时间，Tj为拍摄所述第三图像的拍摄时间，δ(Ci,Cj)为拍摄所述第一图像的摄像头Ci与拍摄所述第三图像的摄像头Cj之间的距离，Tmax为拍摄所述第一图像与拍摄所述若干第三图像中的所有第三图像的时间差的绝对值中的最大值，Dmax为拍摄所述第一图像和拍摄所述若干第三图像中每一第三图像的所有摄像头之间的距离中的最大值。
2.根据权利要求1所述的方法，其特征在于，所述从所述若干第二图像中选定若干图像作为若干第三图像的步骤，包括：
将所述若干第二图像按所述外观相似度距离的大小升序排列，获得所述目标车辆的第二搜索结果；
将所述第二搜索结果中排名在第一阈值前的若干第二图像确定为若干第三图像。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
将所述第一搜索结果中排名在第二阈值前的若干图像确定为若干第四图像；
根据所述第一图像和每一所述第四图像中包括的时空元数据，计算所述第一图像与每一所述第四图像的时空相似度；
根据所述视觉相似度距离和所述时空相似度，计算所述第一图像与每一所述第四图像的最终相似度距离；
将所述若干第四图像按所述最终相似度距离的大小升序排列，获得所述目标车辆的第四搜索结果。
4.根据权利要求1所述的方法，其特征在于，所述计算所述第一图像与每一所述第三图像的最终相似度距离的步骤，包括：
使用第二预设模型计算所述第一图像与每一所述第三图像的最终相似度距离；其中，所述第二预设模型为：
D＝Dvisual×ST(i,j)，其中，D为所述最终相似度距离，Dvisual为所述视觉相似度距离。
5.根据权利要求1所述的方法，其特征在于，
所述第一外观视觉特征包括：第一纹理特征、第一颜色特征和第一语义属性特征；
所述第二外观视觉特征包括：第二纹理特征、第二颜色特征和第二语义属性特征；
所述根据所述第一外观视觉特征与每一所述第二外观视觉特征，计算所述第一图像与每一所述第二图像的外观相似度距离的步骤，包括：
对所述第一图像与每一所述第二图像分别执行如下步骤：
根据所述第一纹理特征和所述第二纹理特征，计算纹理相似度距离；
根据所述第一颜色特征和所述第二颜色特征，计算颜色相似度距离；
根据所述第一语义属性特征和所述第二语义属性特征，计算语义属性相似度距离；
根据所述纹理相似度距离、所述颜色相似度距离、所述语义属性相似度距离和第三预设模型，计算所述第一图像与该第二图像的外观相似度距离；其中，所述第三预设模型为：
Dappearance＝α×dtexture+β×dcolor+(1-α-β)×dattribute，其中，Dappearance为所述外观相似度距离，dtexture为所述纹理相似度距离，dcolor为所述颜色相似度距离，dattribute为所述语义属性相似度距离，α和β为经验权值。
6.根据权利要求1所述的方法，其特征在于，所述计算所述第一图像与每一所述第三图像的视觉相似度距离的步骤，包括：
使用第五预设模型计算所述第一图像与每一所述第三图像的视觉相似度距离；其中，所述第五预设模型为：
Dvisual＝γ×Dappearance+(1-γ)×Dplate，其中，Dvisual为所述视觉相似度距离，Dappearance为所述外观相似度距离，Dplate为所述车牌特征相似度距离，γ为经验权值。
7.一种车辆搜索装置，其特征在于，所述装置包括：
第一图像获取模块，用于获得目标车辆的第一图像；
第一外观特征提取模块，用于从所述第一图像中提取所述目标车辆的第一外观视觉特征；
第二外观特征提取模块，用于从若干第二图像中分别提取被搜索车辆的第二外观视觉特征；其中，所述第二图像为存储在车辆监控图像数据库中的图像；
第一计算模块，用于根据所述第一外观视觉特征与每一所述第二外观视觉特征，计算所述第一图像与每一所述第二图像的外观相似度距离；
第一选定模块，用于从所述若干第二图像中选定若干图像作为若干第三图像；
车牌区域确定模块，用于确定所述第一图像中的第一车牌区域和每一所述第三图像中的第二车牌区域；
车牌特征获取模块，用于将所述第一车牌区域和每一所述第二车牌区域分别输入预设的Siamese神经网络模型，获得所述第一车牌区域对应的第一车牌特征，和每一所述第二车牌区域对应的第二车牌特征；
第二计算模块，用于根据所述第一车牌特征和每一所述第二车牌特征，计算所述第一图像与每一所述第三图像的车牌特征相似度距离；
第三计算模块，用于根据所述外观相似度距离和所述车牌特征相似度距离，计算所述第一图像与每一所述第三图像的视觉相似度距离；
第一搜索结果获取模块，用于将所述若干第三图像按所述视觉相似度距离的大小升序排列，获得所述目标车辆的第一搜索结果；
所述装置还包括：
第四计算模块，用于在触发所述第三计算模块后，根据所述第一图像和每一所述第三图像中包括的时空元数据，计算所述第一图像与每一所述第三图像的时空相似度；
第五计算模块，用于根据所述视觉相似度距离和所述时空相似度，计算所述第一图像与每一所述第三图像的最终相似度距离；
第三搜索结果获取模块，用于将所述若干第三图像按所述最终相似度距离的大小升序排列，获得所述目标车辆的第三搜索结果；
所述第四计算模块，具体用于：
使用第一预设模型计算所述第一图像与每一所述第三图像的时空相似度；其中，所述第一预设模型为：
其中，ST(i,j)为所述时空相似度，Ti为拍摄所述第一图像的拍摄时间，Tj为拍摄所述第三图像的拍摄时间，δ(Ci,Cj)为拍摄所述第一图像的摄像头Ci与拍摄所述第三图像的摄像头Cj之间的距离，Tmax为拍摄所述第一图像与拍摄所述若干第三图像中的所有第三图像的时间差的绝对值中的最大值，Dmax为拍摄所述第一图像和拍摄所述若干第三图像中每一第三图像的所有摄像头之间的距离中的最大值。
CN201610798016.0A 2016-08-31 2016-08-31 一种车辆搜索方法及装置 Active CN106469299B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610798016.0A CN106469299B (zh) 2016-08-31 2016-08-31 一种车辆搜索方法及装置
US15/350,813 US10152644B2 (en) 2016-08-31 2016-11-14 Progressive vehicle searching method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610798016.0A CN106469299B (zh) 2016-08-31 2016-08-31 一种车辆搜索方法及装置

Publications (2)

Publication Number Publication Date
CN106469299A CN106469299A (zh) 2017-03-01
CN106469299B true CN106469299B (zh) 2019-07-19

Family

ID=58230589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610798016.0A Active CN106469299B (zh) 2016-08-31 2016-08-31 一种车辆搜索方法及装置

Country Status (2)

Country Link
US (1) US10152644B2 (zh)
CN (1) CN106469299B (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106935035B (zh) * 2017-04-07 2019-07-23 西安电子科技大学 基于ssd神经网络的违章停车车辆实时检测方法
CN108229468B (zh) * 2017-06-28 2020-02-21 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN107292291B (zh) * 2017-07-19 2020-04-03 北京智芯原动科技有限公司 一种车辆识别方法和系统
US11120334B1 (en) * 2017-09-08 2021-09-14 Snap Inc. Multimodal named entity recognition
CN107704857B (zh) * 2017-09-25 2020-07-24 北京邮电大学 一种端到端的轻量级车牌识别方法及装置
EP3665662A4 (en) * 2017-10-02 2021-02-17 Wisesight Technologies Ltd VEHICLE MONITORING SYSTEM IN A PARKING ZONE
CN107832338B (zh) * 2017-10-12 2020-02-07 北京京东尚科信息技术有限公司 一种识别核心产品词的方法和系统
CN108009526A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于卷积神经网络的车辆识别与检测方法
CN108363715A (zh) * 2017-12-28 2018-08-03 中兴智能交通股份有限公司 一种车牌图片管理方法和装置
US10664728B2 (en) * 2017-12-30 2020-05-26 Wipro Limited Method and device for detecting objects from scene images by using dynamic knowledge base
CN108171184B (zh) * 2018-01-03 2020-04-10 南京理工大学 基于Siamese网络的用于行人重识别的方法
CN108399382A (zh) 2018-02-13 2018-08-14 阿里巴巴集团控股有限公司 车险图像处理方法和装置
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技（深圳）有限公司 车辆识别方法、装置及存储介质
CN110276342B (zh) * 2018-03-14 2023-04-18 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN110307809B (zh) * 2018-03-20 2021-08-06 中移(苏州)软件技术有限公司 一种车型识别方法及装置
CN108388888B (zh) * 2018-03-23 2022-04-05 腾讯科技（深圳）有限公司 一种车辆识别方法、装置和存储介质
CN108681693B (zh) * 2018-04-12 2022-04-12 南昌大学 基于可信区域的车牌识别方法
US10846593B2 (en) * 2018-04-27 2020-11-24 Qualcomm Technologies Inc. System and method for siamese instance search tracker with a recurrent neural network
CN108764293A (zh) * 2018-04-28 2018-11-06 重庆交通大学 一种基于图像的车辆检测方法及系统
CN108596277B (zh) * 2018-05-10 2020-07-07 腾讯科技（深圳）有限公司 一种车辆身份识别方法、装置和存储介质
CN109086648A (zh) * 2018-05-24 2018-12-25 同济大学 一种融合目标检测和特征匹配的目标跟踪方法
CN110532839A (zh) * 2018-05-25 2019-12-03 中兴通讯股份有限公司 目标搜寻方法、装置及终端、计算机可读存储介质
CN108898620B (zh) * 2018-06-14 2021-06-18 厦门大学 基于多重孪生神经网络与区域神经网络的目标跟踪方法
JP6637221B1 (ja) * 2018-06-20 2020-01-29 楽天株式会社 検索システム、検索方法、及びプログラム
CN109165589B (zh) * 2018-08-14 2021-02-23 北京颂泽科技有限公司 基于深度学习的车辆重识别方法和装置
CN109325420A (zh) * 2018-08-27 2019-02-12 广州烽火众智数字技术有限公司 一种基于大数据的车辆特征检索方法和系统
CN109242036A (zh) * 2018-09-25 2019-01-18 艾凯克斯（嘉兴）信息科技有限公司 一种基于tf-idf思想计算产品结构相似性的方法
CN109508395B (zh) * 2018-09-26 2022-03-29 安徽四创电子股份有限公司 一种基于车型检索的智能串并案的方法
CN109508731A (zh) * 2018-10-09 2019-03-22 中山大学 一种基于融合特征的车辆重识别方法、系统及装置
CN109543057A (zh) * 2018-11-20 2019-03-29 广州逗号智能零售有限公司 基于智能收银台的商品识别方法、装置、设备及存储介质
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质
CN111193917B (zh) * 2018-12-29 2021-08-10 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN110321891A (zh) * 2019-03-21 2019-10-11 长沙理工大学 一种联合深度神经网络与聚类算法的大输液药液异物目标检测方法
CN109948709B (zh) * 2019-03-21 2020-06-23 南京博雅集智智能技术有限公司 一种目标对象的多任务属性识别系统
CN110084157B (zh) * 2019-04-12 2021-08-24 北京旷视科技有限公司 图像重识别的数据处理方法及装置
CN110263197B (zh) * 2019-06-12 2023-11-28 腾讯科技（深圳）有限公司 一种图像搜索方法、装置、计算机设备和存储介质
CN110263864A (zh) * 2019-06-24 2019-09-20 北京精英路通科技有限公司 车辆的匹配方法、装置、计算机设备及存储介质
CN110457429A (zh) * 2019-06-27 2019-11-15 安徽四创电子股份有限公司 一种基于全文搜索引擎的车牌号检索方法
CN112148924A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种行李箱检索方法、装置及电子设备
US11409520B2 (en) * 2019-07-15 2022-08-09 Sap Se Custom term unification for analytical usage
CN110443828A (zh) * 2019-07-31 2019-11-12 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110598749A (zh) * 2019-08-13 2019-12-20 广东数鼎科技有限公司 一种基于卷积神经网络ai算法的图像识车实现系统
CN112699709A (zh) * 2019-10-22 2021-04-23 浙江大搜车软件技术有限公司 车辆追踪方法、Siamese网络训练方法及装置
CN110633289A (zh) * 2019-10-23 2019-12-31 北京筑梦园科技有限公司 一种车牌号确定方法、服务器及停车管理系统
CN111860512B (zh) * 2020-02-25 2023-12-05 北京嘀嘀无限科技发展有限公司 一种车辆识别方法、装置、电子设备及计算机可读存储介质
CN113408326B (zh) * 2020-03-17 2022-07-22 阿里巴巴集团控股有限公司 移动对象识别方法、装置及设备
CN111401291B (zh) * 2020-03-24 2023-07-14 盛景智能科技(嘉兴)有限公司 陌生人的识别方法和装置
CN111489361B (zh) * 2020-03-30 2023-10-27 中南大学 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
CN111767839B (zh) * 2020-06-28 2024-05-31 平安科技（深圳）有限公司 一种车辆行驶轨迹确定方法、装置、设备及介质
CN111931627A (zh) * 2020-08-05 2020-11-13 智慧互通科技有限公司 一种基于多模态信息融合的车辆再识别方法及装置
CN112232424A (zh) * 2020-10-21 2021-01-15 成都商汤科技有限公司 身份识别方法及装置、电子设备和存储介质
CN112257625B (zh) * 2020-10-29 2022-12-16 上海工程技术大学 一种基于车正脸特征的车辆重识别方法
CN112949751B (zh) * 2021-03-25 2023-03-24 深圳市商汤科技有限公司 车辆图像聚类及轨迹还原方法
CN113033449A (zh) * 2021-04-02 2021-06-25 上海国际汽车城（集团）有限公司 车辆检测及标注方法、系统及电子设备
CN113312508A (zh) * 2021-06-24 2021-08-27 深圳市商汤科技有限公司 一种车辆图像检索方法及装置
CN114429649B (zh) * 2022-04-07 2022-06-24 青岛美迪康数字工程有限公司 目标图像识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239898A (zh) * 2014-09-05 2014-12-24 浙江捷尚视觉科技股份有限公司 一种快速卡口车辆比对和车型识别方法
CN104298775A (zh) * 2014-10-31 2015-01-21 北京工商大学 多特征基于内容的图像检索方法和系统
CN104809443A (zh) * 2015-05-05 2015-07-29 上海交通大学 基于卷积神经网络的车牌检测方法及系统
CN105518668A (zh) * 2013-09-04 2016-04-20 沙祖拉公司 基于内容的图像检索

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379627B2 (en) * 2003-10-20 2008-05-27 Microsoft Corporation Integrated solution to digital image similarity searching
US7920716B2 (en) * 2003-12-25 2011-04-05 Fujitsu Limited Vehicle search system and vehicle search method
DE102011053052B3 (de) * 2011-08-26 2013-02-28 Jenoptik Robot Gmbh Verfahren und Vorrichtung zur Identifikation von Kraftfahrzeugen zur Verkehrsüberwachung
US9465997B2 (en) * 2012-09-26 2016-10-11 General Electric Company System and method for detection and tracking of moving objects
US9042647B2 (en) * 2013-06-06 2015-05-26 Xerox Corporation Adaptive character segmentation method and system for automated license plate recognition
US9412031B2 (en) * 2013-10-16 2016-08-09 Xerox Corporation Delayed vehicle identification for privacy enforcement
KR102156440B1 (ko) * 2013-12-10 2020-09-17 한국전자통신연구원 시각언어 기반의 영상주석 자동 생성 장치 및 방법
CN103714349B (zh) * 2014-01-09 2017-01-25 成都淞幸科技有限责任公司 一种基于颜色和纹理特征的图像识别方法
US9454713B2 (en) * 2014-12-30 2016-09-27 Ebay Inc. Similar item detection
US9367763B1 (en) * 2015-01-12 2016-06-14 Xerox Corporation Privacy-preserving text to image matching
CN105205489B (zh) * 2015-08-27 2018-07-20 华南理工大学 基于颜色纹理分析器与机器学习的车牌检测方法
WO2017223530A1 (en) * 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518668A (zh) * 2013-09-04 2016-04-20 沙祖拉公司 基于内容的图像检索
CN104239898A (zh) * 2014-09-05 2014-12-24 浙江捷尚视觉科技股份有限公司 一种快速卡口车辆比对和车型识别方法
CN104298775A (zh) * 2014-10-31 2015-01-21 北京工商大学 多特征基于内容的图像检索方法和系统
CN104809443A (zh) * 2015-05-05 2015-07-29 上海交通大学 基于卷积神经网络的车牌检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
License plate localization and recognition in camera pictures;Halina Kwasnicka 等;《Artificial Intelligence Methods》;20021115;正文第2.2节第8-9段，第2.5节第1-3段
Similarity Measurement in Convolutional Space;Hosseinali Ghiassirad 等;《2012 IEEE 6th International Conference "Intelligent Systems"》;20120930;250-255

Also Published As

Publication number Publication date
US10152644B2 (en) 2018-12-11
US20180060684A1 (en) 2018-03-01
CN106469299A (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
CN106469299B (zh) 一种车辆搜索方法及装置
CN107330396B (zh) 一种基于多属性和多策略融合学习的行人再识别方法
CN109948425B (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
Li et al. Building-a-nets: Robust building extraction from high-resolution remote sensing images with adversarial networks
CN106778604B (zh) 基于匹配卷积神经网络的行人再识别方法
Workman et al. On the location dependence of convolutional neural network features
CN104200240B (zh) 一种基于内容自适应哈希编码的草图检索方法
CN109657533A (zh) 行人重识别方法及相关产品
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN109145840A (zh) 视频场景分类方法、装置、设备及存储介质
US9626585B2 (en) Composition modeling for photo retrieval through geometric image segmentation
CN103714181B (zh) 一种层级化的特定人物检索方法
CN106257496B (zh) 海量网络文本与非文本图像分类方法
CN107315795B (zh) 联合特定人物和场景的视频实例检索方法及系统
CN107808129A (zh) 一种基于单个卷积神经网络的面部多特征点定位方法
CN102129477B (zh) 一种多模态联合的图像重排序方法
CN109472191A (zh) 一种基于时空上下文的行人重识别与追踪方法
CN104182765A (zh) 一种互联网图像驱动的三维模型最优视图自动选择方法
CN104281572B (zh) 一种基于互信息的目标匹配方法及其系统
CN114758362B (zh) 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法
Zhang et al. Retargeting semantically-rich photos
CN104156464A (zh) 基于微视频特征数据库的微视频检索方法及装置
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
Min et al. Mobile landmark search with 3D models
CN112541421A (zh) 一种开放空间的行人换装重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant