CN109063543B - 一种考虑局部形变的视频车辆重识别方法、系统及装置 - Google Patents

一种考虑局部形变的视频车辆重识别方法、系统及装置 Download PDF

Info

Publication number
CN109063543B
CN109063543B CN201810595098.8A CN201810595098A CN109063543B CN 109063543 B CN109063543 B CN 109063543B CN 201810595098 A CN201810595098 A CN 201810595098A CN 109063543 B CN109063543 B CN 109063543B
Authority
CN
China
Prior art keywords
vehicle
tangent
intersection point
similarity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810595098.8A
Other languages
English (en)
Other versions
CN109063543A (zh
Inventor
李熙莹
邱铭凯
江倩殷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201810595098.8A priority Critical patent/CN109063543B/zh
Publication of CN109063543A publication Critical patent/CN109063543A/zh
Application granted granted Critical
Publication of CN109063543B publication Critical patent/CN109063543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种考虑局部形变的视频车辆重识别方法、系统及装置，方法包括：构建车辆的三维边界框；根据构建的三维边界框，对车辆的图像进行多面分割；根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度；根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度；根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果；系统包括构建模块、分割模块、计算模块、生成模块和识别模块；装置包括存储器和处理器。本发明在车辆识别的过程中考虑了车辆的局部形变因素，通过局部的相似度来生成整体的相似度，车辆识别的精度高，可广泛应用于车辆识别技术领域。

Description

一种考虑局部形变的视频车辆重识别方法、系统及装置
技术领域
本发明涉及车辆识别技术领域，尤其是一种考虑局部形变的视频车辆重识别方法、系统及装置。
背景技术
车辆重识别的任务就是在非重叠视域的多摄像机系统中所拍得的一堆图片中找出属于同一车辆的图像。实现车辆重识别在分析车辆微观交通行为、分析道路交通状态以及打击违法犯罪等方面都有重要意义。
在现实场景中，由于拍摄距离以及拍摄精度的因素，经常很难获取到车辆的车牌信息，如多数的监控视频场景分辨率不足以识别车牌号码，拍摄条件不好时车牌识别的准确率很低，通过匹配车辆的车牌号码实现重识别结果并不可靠。如何利用车辆外形来对车辆进行较高准确率的重识别成为一个重要的研究方向。
现有的车辆重识别方法主要分为三种：它们分别是特征学习的方法、学习相似性度量准则的方法和利用深度学习的方法。特征学习主要是通过对车辆样本进行训练，学习得到车辆之间具有最大区分度和鲁棒性的特征，再利用学习到的特征进行车辆重识别；学习相似性度量准则是通过对样本的训练学习相似性度量准则，从而使得在该度量准则下，属于同一车辆的图片之间的相似性尽可能高，而属于不同车辆的图片之间的相似性尽可能小；而利用深度学习的方法则是将特征学习和相似性度量结合起来，一般通过构建车辆图片之间的三元组(目标车辆，同一车辆的图片，不同车辆的图片)，利用深度网络学习车辆图片的特征表达，并在最后使用三重损失函数(triplet loss)作为训练目标，使得目标车辆与同一车辆图片之间的距离，远远小于目标车辆与不同车辆的图片之间的距离。
在实际场景中，由于拍摄角度和拍摄距离的不同，不同摄像头下拍得的车辆图片之间，不仅仅存在整体的形状差异，而且车辆之间不同面(正面、侧面和顶面)的局部形变差异也是不一样的。但是现有的技术都是对车辆图片之间的整体特征进行相似度的衡量，识别精确度不够高。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种识别精度高的考虑局部形变的视频车辆重识别方法、系统及装置。
本发明所采取的第一技术方案是：
一种考虑局部形变的视频车辆重识别方法，包括以下步骤：
构建车辆的三维边界框；
根据构建的三维边界框，对车辆的图像进行多面分割；
根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度；
根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度；
根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果。
进一步，所述构建车辆的三维边界框这一步骤，包括以下步骤：
对车辆的行驶方向进行预测，并对车辆的轮廓进行检测；
根据车辆的行驶方向和车辆的轮廓，构建车辆的三维边界框。
进一步，所述对车辆的行驶方向进行预测，并对车辆的轮廓进行检测这一步骤，包括以下步骤：
对车辆的第一方向、第二方向和第三方向进行预测，其中，所述第一方向为车辆行驶的前进方向，所述第二方向为平行于道路且垂直于第一方向的方向，所述第三方向为同时与第一方向和第二方向正交的方向；
通过卷积神经网络对车辆的轮廓进行检测。
进一步，所述根据车辆的行驶方向和车辆的轮廓，构建车辆的三维边界框这一步骤，包括以下步骤：
根据第一方向和第二方向作车辆轮廓下方的第一切线和第二切线；
根据第三方向作车辆轮廓左右两边的第三切线和第四切线；
根据第一方向和第二方向作车辆轮廓上方的第五切线和第六切线；其中，所述第一切线和第二切线相交于第二交点，所述第一切线和第三切线相交于第三交点，所述第二切线和第四切线相交于第一交点，所述第五切线和第四切线相交于第六交点，所述第五切线和第六切线相交于第五交点，所述第六切线和第二切线相交于第四交点；
过第六交点作第二方向与车辆轮廓的第七切线；
过第四交点作第一方向与车辆轮廓的第八切线；其中，第七切线和第八切线相交于第七交点；
依次连接第一交点、第二交点、第三交点、第四交点、第五交点、第六交点和第七交点，得到车辆的三维边界框。
进一步，所述根据构建的三维边界框，对车辆的图像进行多面分割这一步骤，包括以下步骤：
根据车辆的三维边界框，对车辆图像的正面、侧面和顶面进行展开，得到车辆的正面图像、侧面图像和顶面图像；
对目标车辆和候选车辆之间的对应面图像进行尺度归一化处理；
对目标车辆的正面图像、侧面图像和顶面图像进行分割，得到多个目标区域；
对候选车辆的正面图像、侧面图像和顶面图像进行分割，得到多个候选区域。
进一步，所述根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度这一步骤，包括以下步骤：
根据得到的多个目标区域，在候选车辆的对应面图像中查找每个目标区域的最近邻区域；
根据得到的目标车辆正面图像中所有区域的最近邻区域，计算目标车辆的正面图像与候选车辆的正面图像之间的局部相似度，得到正面相似度；
根据得到的目标车辆侧面图像中所有区域的最近邻区域，计算目标车辆的侧面图像与候选车辆的侧面图像之间的局部相似度，得到侧面相似度；
根据得到的目标车辆顶面图像中所有区域的最近邻区域，计算目标车辆的顶面图像与候选车辆的顶面图像之间的局部相似度，得到顶面相似度。
进一步，所述根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度这一步骤，具体为：
基于设定的权重，对得到的正面相似度、侧面相似度和顶面相似度进行加权计算，得到目标图像与候选图像之间的整体相似度。
进一步，所述根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果这一步骤，包括以下步骤：
对得到的候选车辆与目标车辆之间的整体相似度进行排序；
根据排序结果，确定具有最高相似度的候选车辆作为车辆识别结果。
本发明所采取的第二技术方案是：
一种考虑局部形变的视频车辆重识别系统，包括：
构建模块，用于构建车辆的三维边界框；
分割模块，用于根据构建的三维边界框，对车辆的图像进行多面分割；
计算模块，用于根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度；
生成模块，用于根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度；
识别模块，用于根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果。
本发明所采取的第三技术方案是：
一种考虑局部形变的视频车辆重识别装置，包括：
存储器，用于存储程序；
处理器，用于加载程序，以执行如第一技术方案所述的一种考虑局部形变的视频车辆重识别方法。
本发明的有益效果是：本发明通过构建车辆的三维边界框，来对车辆图像进行多面分割，接着计算候选车辆与目标车辆之间对应面的局部的相似度，进而得到候选车辆与目标车辆之间的整体的相似度，最终得到车辆识别结果；本发明在车辆识别的过程中充分考虑了车辆的局部形变因素，通过局部的相似度来生成整体的相似度，解决了由于多个摄像机拍摄的监控场景不同所带来的形变差异的影响，提高了车辆重识别的精度。
附图说明
图1为本发明一种虑局部形变的视频车辆重识别方法的步骤流程图；
图2为本发明一种虑局部形变的视频车辆重识别方法的整体步骤流程图；
图3为本发明对车辆的行驶方向进行预测的示意图；
图4为本发明对车辆的轮廓进行检测的示意图；
图5为本发明构建车辆的三维边界框的示意图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1，本发明一种考虑局部形变的视频车辆重识别方法，包括以下步骤：
构建车辆的三维边界框；
根据构建的三维边界框，对车辆的图像进行多面分割；
根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度；
根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度；
根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果。
进一步作为优选的实施方式，所述构建车辆的三维边界框这一步骤，包括以下步骤：
对车辆的行驶方向进行预测，并对车辆的轮廓进行检测；
根据车辆的行驶方向和车辆的轮廓，构建车辆的三维边界框。
进一步作为优选的实施方式，所述对车辆的行驶方向进行预测，并对车辆的轮廓进行检测这一步骤，包括以下步骤：
对车辆的第一方向、第二方向和第三方向进行预测，其中，所述第一方向为车辆行驶的前进方向，所述第二方向为平行于道路且垂直于第一方向的方向，所述第三方向为同时与第一方向和第二方向正交的方向；
通过卷积神经网络对车辆的轮廓进行检测。
进一步作为优选的实施方式，所述根据车辆的行驶方向和车辆的轮廓，构建车辆的三维边界框这一步骤，包括以下步骤：
根据第一方向和第二方向作车辆轮廓下方的第一切线和第二切线；
根据第三方向作车辆轮廓左右两边的第三切线和第四切线；
根据第一方向和第二方向作车辆轮廓上方的第五切线和第六切线；其中，所述第一切线和第二切线相交于第二交点，所述第一切线和第三切线相交于第三交点，所述第二切线和第四切线相交于第一交点，所述第五切线和第四切线相交于第六交点，所述第五切线和第六切线相交于第五交点，所述第六切线和第二切线相交于第四交点；
过第六交点作第二方向与车辆轮廓的第七切线；
过第四交点作第一方向与车辆轮廓的第八切线；其中，第七切线和第八切线相交于第七交点；
依次连接第一交点、第二交点、第三交点、第四交点、第五交点、第六交点和第七交点，得到车辆的三维边界框。
进一步作为优选的实施方式，所述根据构建的三维边界框，对车辆的图像进行多面分割这一步骤，包括以下步骤：
根据车辆的三维边界框，对车辆图像的正面、侧面和顶面进行展开，得到车辆的正面图像、侧面图像和顶面图像；
对目标车辆和候选车辆之间的对应面图像进行尺度归一化处理；
对目标车辆的正面图像、侧面图像和顶面图像进行分割，得到多个目标区域；
对候选车辆的正面图像、侧面图像和顶面图像进行分割，得到多个候选区域。
进一步作为优选的实施方式，所述根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度这一步骤，包括以下步骤：
根据得到的多个目标区域，在候选车辆的对应面图像中查找每个目标区域的最近邻区域；
根据得到的目标车辆正面图像中所有区域的最近邻区域，计算目标车辆的正面图像与候选车辆的正面图像之间的局部相似度，得到正面相似度；
根据得到的目标车辆侧面图像中所有区域的最近邻区域，计算目标车辆的侧面图像与候选车辆的侧面图像之间的局部相似度，得到侧面相似度；
根据得到的目标车辆顶面图像中所有区域的最近邻区域，计算目标车辆的顶面图像与候选车辆的顶面图像之间的局部相似度，得到顶面相似度。
进一步作为优选的实施方式，所述根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度这一步骤，具体为：
基于设定的权重，对得到的正面相似度、侧面相似度和顶面相似度进行加权计算，得到目标图像与候选图像之间的整体相似度。
进一步作为优选的实施方式，所述根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果这一步骤，包括以下步骤：
对得到的候选车辆与目标车辆之间的整体相似度进行排序；
根据排序结果，确定具有最高相似度的候选车辆作为车辆识别结果。
与图1的方法相对应，本发明一种考虑局部形变的视频车辆重识别系统，包括：
构建模块，用于构建车辆的三维边界框；
分割模块，用于根据构建的三维边界框，对车辆的图像进行多面分割；
计算模块，用于根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度；
生成模块，用于根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度；
识别模块，用于根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果。
与图1的方法相对应，本发明一种考虑局部形变的视频车辆重识别装置，包括：
存储器，用于存储程序；
处理器，用于加载程序，以执行本发明一种考虑局部形变的视频车辆重识别方法。
参照图2，本发明一种考虑局部形变的视频车辆重识别方法的具体实施步骤如下：
S1、构建车辆的三维边界框；
其中，步骤S1具体包括以下步骤：
S11、对车辆的行驶方向进行预测，并对车辆的轮廓进行检测；其中，步骤S11具体包括以下步骤：
S111、对车辆的第一方向、第二方向和第三方向进行预测，其中，所述第一方向为车辆行驶的前进方向，所述第二方向为平行于道路且垂直于第一方向的方向，所述第三方向为同时与第一方向和第二方向正交的方向；
如图3所示，本实施例采用ResNet50方法来对车辆的方向进行预测，预测过程具体为：车辆的三个方向分别为车辆行驶前进的第一方向V1，平行于道路且垂直于车辆前进方向的第二方向V2以及同时与第一方向和第二方向正交的第三方向V3，本实施例将方向角度从[-90°，90°]按照3°为一个区间进行划分，划分得到60个区间，进而将对方向的预测转化为分类问题，即在输入车辆图像后输出对三个方向的预测结果，如图3所示得到的三个预测结果对应的区间分别是18、29和0。
S112、通过卷积神经网络对车辆的轮廓进行检测。
本实施例采用全卷积编码-解码网络来对车辆的轮廓进行检测，在输入车辆图像后，得到图像中每一个像素点属于车辆轮廓部分的概率图，然后对概率图进行二值化处理，最终得到如图4所示的车辆的轮廓图。
S12、根据车辆的行驶方向和车辆的轮廓，构建如图5所示的车辆的三维边界框。
参照图5，步骤S12具体包括以下步骤：
S121、根据第一方向和第二方向作车辆轮廓下方的第一切线和第二切线；
S122、根据第三方向作车辆轮廓左右两边的第三切线和第四切线；
S123、根据第一方向和第二方向作车辆轮廓上方的第五切线和第六切线；其中，所述第一切线和第二切线相交于第二交点B，所述第一切线和第三切线相交于第三交点C，所述第二切线和第四切线相交于第一交点A，所述第五切线和第四切线相交于第六交点F，所述第五切线和第六切线相交于第五交点E，所述第六切线和第二切线相交于第四交点D；
S124、过第六交点F作第二方向与车辆轮廓的第七切线；
S125、过第四交点D作第一方向与车辆轮廓的第八切线；其中，第七切线和第八切线相交于第七交点G；
S126、依次连接第一交点A、第二交点B、第三交点C、第四交点D、第五交点E、第六交点F和第七交点G，得到车辆的三维边界框。
S2、根据构建的三维边界框，对车辆的图像进行多面分割；
其中，步骤S2具体包括以下步骤：
S21、根据车辆的三维边界框，对车辆图像的正面、侧面和顶面进行展开，得到车辆的正面图像、侧面图像和顶面图像；
S22、对目标车辆和候选车辆之间的对应面图像进行尺度归一化处理；
S23、对目标车辆的正面图像、侧面图像和顶面图像进行分割，得到多个目标区域；
S24、对候选车辆的正面图像、侧面图像和顶面图像进行分割，得到多个候选区域。
S3、根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度；
其中，步骤S3具体包括以下步骤：
S31、根据得到的多个目标区域，在候选车辆的对应面图像中查找每个目标区域的最近邻区域；
S32、根据得到的目标车辆正面图像中所有区域的最近邻区域，计算目标车辆的正面图像与候选车辆的正面图像之间的局部相似度，得到正面相似度；
S33、根据得到的目标车辆侧面图像中所有区域的最近邻区域，计算目标车辆的侧面图像与候选车辆的侧面图像之间的局部相似度，得到侧面相似度；
S34、根据得到的目标车辆顶面图像中所有区域的最近邻区域，计算目标车辆的顶面图像与候选车辆的顶面图像之间的局部相似度，得到顶面相似度。
本发明根据车辆的三维边界框对车辆的三个面(正面、侧面和顶面)进行展开，对目标车辆和候选车辆之间的对应面图像进行尺度归一化处理之后，使用可变形的多样性相似度(Deformable Diversity Similarity,DDIS)对不同车辆图片之间的对应面进行相似度计算。具体的，DDIS是先将目标图像和候选图像分割为多个区域，然后对于目标图像中的每一个目标区域，查找其在候选车辆对应面的图像中的最近邻区域(比如，对于目标车辆的正面图像中的一个目标区域，则在候选车辆的正面图像中查找最近邻区域)，最后进行相似度计算，其中，所述相似度的计算公式为：
Figure BDA0001691294190000081
其中，
Figure BDA0001691294190000082
代表目标图像与候选图像之间的相似度；Q是目标图像中多个目标区域的集合；P代表候选图像中多个候选区域的集合；NNa(qj,P)表示目标图像中的目标区域qj在候选图像中的最近邻区域；k(NNa(qj,P))表示在集合Q中目标区域的最近邻区域与qj的最近邻区域相同的目标区域个数；rj代表目标区域qj与其最近邻区域之间的距离。
S4、根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度；
其中，步骤S4具体为：基于设定的权重，对得到的正面相似度、侧面相似度和顶面相似度进行加权计算，得到目标图像与候选图像之间的整体相似度。
由于车辆的不同面包含的特征数目不同，其中车辆的正面包含更多的具有区分度的特征，比如车灯，散热栅格，挡风玻璃等；因此，车辆的不同面对车辆重识别结果的影响程度不同，所以在对不同图像中对应面之间的相似度进行计算之后，还要根据对重识别的影响程度来对得到的三个相似度(正面相似度，侧面相似度和顶面相似度)分配不同的权重，进行加权综合处理，最终得到目标车辆图像和候选车辆图像之间的整体相似度。
S5、根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果。
其中，步骤S5具体包括以下步骤：
S51、对得到的候选车辆与目标车辆之间的整体相似度进行排序；
S52、根据排序结果，确定具有最高相似度的候选车辆作为车辆识别结果。
综上所述，本发明一种考虑局部形变的视频车辆重识别方法、系统及装置具有以下优点：
1)、本发明在车辆识别的过程中充分考虑了车辆的局部形变因素，通过局部的相似度来生成整体的相似度，解决了由于拍摄距离和拍摄角度所带来的形变差异的影响，提高了车辆重识别的精度；
2)、通过卷积神经网络方法对车辆的行驶方向进行预测，以及对车辆的轮廓进行检测，再利用车辆的行驶方向和车辆轮廓构建车辆的三维边界框(3D Bounding Boxes)，以获取三维投影面，提高了分割准确性；
3)、对于可变形的多样性相似度(Deformable Diversity Similarity，DDIS)算法进行了改进，计算更加准确、快捷；
4)、通过对车辆之间对应面的相似度进行加权计算，来获得车辆之间的整体相似度，进一步细化了相似度的计算，提高了车辆重识别的精度；
5)、本发明能够对实际监控视频场景下的车辆进行实时识别，适用范围广；
6)、本发明适用于通过多个摄像机拍摄的，车辆外形清晰、有较大拍摄角度差异，但车辆的分辨率较低且车牌号码无法分辨的场景，车辆识别精度高。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种考虑局部形变的视频车辆重识别方法，其特征在于：包括以下步骤：
构建车辆的三维边界框；
根据构建的三维边界框，对车辆的图像进行多面分割；
根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度；
根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度；
根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果；
其中，所述构建车辆的三维边界框这一步骤，包括以下步骤：
对车辆的行驶方向进行预测，并对车辆的轮廓进行检测；
根据车辆的行驶方向和车辆的轮廓，构建车辆的三维边界框；
所述对车辆的行驶方向进行预测，并对车辆的轮廓进行检测这一步骤，包括以下步骤：
对车辆的第一方向、第二方向和第三方向进行预测，其中，所述第一方向为车辆行驶的前进方向，所述第二方向为平行于道路且垂直于第一方向的方向，所述第三方向为同时与第一方向和第二方向正交的方向；
通过卷积神经网络对车辆的轮廓进行检测；
所述根据车辆的行驶方向和车辆的轮廓，构建车辆的三维边界框这一步骤，包括以下步骤：
根据第一方向和第二方向作车辆轮廓下方的第一切线和第二切线；
根据第三方向作车辆轮廓左右两边的第三切线和第四切线；
根据第一方向和第二方向作车辆轮廓上方的第五切线和第六切线；其中，所述第一切线和第二切线相交于第二交点，所述第一切线和第三切线相交于第三交点，所述第二切线和第四切线相交于第一交点，所述第五切线和第四切线相交于第六交点，所述第五切线和第六切线相交于第五交点，所述第六切线和第二切线相交于第四交点；
过第六交点作第二方向与车辆轮廓的第七切线；
过第四交点作第一方向与车辆轮廓的第八切线；其中，第七切线和第八切线相交于第七交点；
依次连接第一交点、第二交点、第三交点、第四交点、第五交点、第六交点和第七交点，得到车辆的三维边界框。
2.根据权利要求1所述的一种考虑局部形变的视频车辆重识别方法，其特征在于：所述根据构建的三维边界框，对车辆的图像进行多面分割这一步骤，包括以下步骤：
根据车辆的三维边界框，对车辆图像的正面、侧面和顶面进行展开，得到车辆的正面图像、侧面图像和顶面图像；
对目标车辆和候选车辆之间的对应面图像进行尺度归一化处理；
对目标车辆的正面图像、侧面图像和顶面图像进行分割，得到多个目标区域；
对候选车辆的正面图像、侧面图像和顶面图像进行分割，得到多个候选区域。
3.根据权利要求2所述的一种考虑局部形变的视频车辆重识别方法，其特征在于：所述根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度这一步骤，包括以下步骤：
根据得到的多个目标区域，在候选车辆的对应面图像中查找每个目标区域的最近邻区域；
根据得到的目标车辆正面图像中所有区域的最近邻区域，计算目标车辆的正面图像与候选车辆的正面图像之间的局部相似度，得到正面相似度；
根据得到的目标车辆侧面图像中所有区域的最近邻区域，计算目标车辆的侧面图像与候选车辆的侧面图像之间的局部相似度，得到侧面相似度；
根据得到的目标车辆顶面图像中所有区域的最近邻区域，计算目标车辆的顶面图像与候选车辆的顶面图像之间的局部相似度，得到顶面相似度。
4.根据权利要求3所述的一种考虑局部形变的视频车辆重识别方法，其特征在于：所述根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度这一步骤，具体为：
基于设定的权重，对得到的正面相似度、侧面相似度和顶面相似度进行加权计算，得到目标图像与候选图像之间的整体相似度。
5.根据权利要求1所述的一种考虑局部形变的视频车辆重识别方法，其特征在于：所述根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果这一步骤，包括以下步骤：
对得到的候选车辆与目标车辆之间的整体相似度进行排序；
根据排序结果，确定具有最高相似度的候选车辆作为车辆识别结果。
6.一种考虑局部形变的视频车辆重识别系统，其特征在于：包括：
构建模块，用于构建车辆的三维边界框；
分割模块，用于根据构建的三维边界框，对车辆的图像进行多面分割；
计算模块，用于根据分割结果，计算候选车辆与目标车辆之间对应面的局部相似度；
生成模块，用于根据对应面的局部相似度，生成候选车辆与目标车辆之间的整体相似度；
识别模块，用于根据候选车辆与目标车辆之间的整体相似度，生成车辆识别结果；
其中，所述构建车辆的三维边界框这一步骤，包括以下步骤：
对车辆的行驶方向进行预测，并对车辆的轮廓进行检测；
根据车辆的行驶方向和车辆的轮廓，构建车辆的三维边界框；
所述对车辆的行驶方向进行预测，并对车辆的轮廓进行检测这一步骤，包括以下步骤：
对车辆的第一方向、第二方向和第三方向进行预测，其中，所述第一方向为车辆行驶的前进方向，所述第二方向为平行于道路且垂直于第一方向的方向，所述第三方向为同时与第一方向和第二方向正交的方向；
通过卷积神经网络对车辆的轮廓进行检测；
所述根据车辆的行驶方向和车辆的轮廓，构建车辆的三维边界框这一步骤，包括以下步骤：
根据第一方向和第二方向作车辆轮廓下方的第一切线和第二切线；
根据第三方向作车辆轮廓左右两边的第三切线和第四切线；
根据第一方向和第二方向作车辆轮廓上方的第五切线和第六切线；其中，所述第一切线和第二切线相交于第二交点，所述第一切线和第三切线相交于第三交点，所述第二切线和第四切线相交于第一交点，所述第五切线和第四切线相交于第六交点，所述第五切线和第六切线相交于第五交点，所述第六切线和第二切线相交于第四交点；
过第六交点作第二方向与车辆轮廓的第七切线；
过第四交点作第一方向与车辆轮廓的第八切线；其中，第七切线和第八切线相交于第七交点；
依次连接第一交点、第二交点、第三交点、第四交点、第五交点、第六交点和第七交点，得到车辆的三维边界框。
7.一种考虑局部形变的视频车辆重识别装置，其特征在于：包括：
存储器，用于存储程序；
处理器，用于加载程序，以执行如权利要求1-5任一项所述的一种考虑局部形变的视频车辆重识别方法。
CN201810595098.8A 2018-06-11 2018-06-11 一种考虑局部形变的视频车辆重识别方法、系统及装置 Active CN109063543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810595098.8A CN109063543B (zh) 2018-06-11 2018-06-11 一种考虑局部形变的视频车辆重识别方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810595098.8A CN109063543B (zh) 2018-06-11 2018-06-11 一种考虑局部形变的视频车辆重识别方法、系统及装置

Publications (2)

Publication Number Publication Date
CN109063543A CN109063543A (zh) 2018-12-21
CN109063543B true CN109063543B (zh) 2022-03-25

Family

ID=64820062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810595098.8A Active CN109063543B (zh) 2018-06-11 2018-06-11 一种考虑局部形变的视频车辆重识别方法、系统及装置

Country Status (1)

Country Link
CN (1) CN109063543B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242929A (zh) * 2020-01-13 2020-06-05 中国科学技术大学 一种胎儿头骨形状参数测量方法、系统、设备和介质
CN114693862A (zh) * 2020-12-29 2022-07-01 北京万集科技股份有限公司 三维点云数据模型重建方法、目标重识别方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243667A (zh) * 2015-10-13 2016-01-13 中国科学院自动化研究所 基于局部特征融合的目标再识别方法
CN107330360A (zh) * 2017-05-23 2017-11-07 深圳市深网视界科技有限公司 一种行人衣着颜色识别、行人检索方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243667A (zh) * 2015-10-13 2016-01-13 中国科学院自动化研究所 基于局部特征融合的目标再识别方法
CN107330360A (zh) * 2017-05-23 2017-11-07 深圳市深网视界科技有限公司 一种行人衣着颜色识别、行人检索方法和装置

Also Published As

Publication number Publication date
CN109063543A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
Dhiman et al. Pothole detection using computer vision and learning
Li et al. Automatic pavement crack detection by multi-scale image fusion
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN109034047B (zh) 一种车道线检测方法及装置
Fan et al. Real-time dense stereo embedded in a uav for road inspection
Vaudrey et al. Differences between stereo and motion behaviour on synthetic and real-world stereo sequences
CN111709416B (zh) 车牌定位方法、装置、系统及存储介质
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN109063543B (zh) 一种考虑局部形变的视频车辆重识别方法、系统及装置
Wang et al. Combining semantic scene priors and haze removal for single image depth estimation
Wen et al. Research on 3D point cloud de-distortion algorithm and its application on Euclidean clustering
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与系统
CN109993107B (zh) 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法
CN112560799B (zh) 基于自适应目标区域搜索和博弈的无人机智能车辆目标检测方法和应用
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
Khosravi et al. Vehicle speed and dimensions estimation using on-road cameras by identifying popular vehicles
CN116935356A (zh) 基于弱监督的自动驾驶多模态图片和点云实例分割方法
CN117037085A (zh) 基于改进YOLOv5的车辆识别及数量统计的监控方法
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant