CN110795580A - 基于时空约束模型优化的车辆重识别方法 - Google Patents

基于时空约束模型优化的车辆重识别方法 Download PDF

Info

Publication number
CN110795580A
CN110795580A CN201911012487.4A CN201911012487A CN110795580A CN 110795580 A CN110795580 A CN 110795580A CN 201911012487 A CN201911012487 A CN 201911012487A CN 110795580 A CN110795580 A CN 110795580A
Authority
CN
China
Prior art keywords
vehicle
probability
space
posture
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911012487.4A
Other languages
English (en)
Other versions
CN110795580B (zh
Inventor
钟忺
冯萌
黄文心
钟珞
王正
刘文璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201911012487.4A priority Critical patent/CN110795580B/zh
Publication of CN110795580A publication Critical patent/CN110795580A/zh
Application granted granted Critical
Publication of CN110795580B publication Critical patent/CN110795580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于时空约束模型优化的车辆重识别方法，该方法包括以下步骤：1)获取待查询车辆图像；2)对于给定的车辆查询图像和若干张候选图片，通过车辆姿态分类器提取出车辆姿态特征并输出车辆姿态类别；3)将车辆姿态特征与车辆的细粒度身份特征融合得到车辆基于视觉信息的融合特征，并得到视觉匹配概率；4)估计车辆相对行驶方向，建立车辆时空转移模型；5)得到车辆时空匹配概率；6)基于贝叶斯概率模型，联合车辆的视觉匹配概率与时空匹配概率得到最终车辆匹配的联合概率；7)将查询车辆与所有的候选车辆匹配的联合概率按降序排列，得到车辆重识别排序表。本发明方法大幅度降低了车辆的误识率，提高了最终识别结果的准确率。

Description

基于时空约束模型优化的车辆重识别方法
技术领域
本发明涉及车辆重识别技术，尤其涉及一种基于时空约束模型优化的车辆重识别方法。
背景技术
在城市的交通体系中，管理者面临车流量与日俱增、立体交通网络庞大等困难。对车辆的分析已经成为了智能城市交通的核心，车辆的检索、追踪、重识别等技术，在安防领域有至关重要的意义。车辆重识别是一种针对特定车辆对象的跨摄像头监控视频自动检索技术，即在照射区域无重叠的多摄像头下匹配不同时间出现的同一车辆对象。车辆重识别技术旨在复杂的环境中识别出相同额车辆，在智能城市安全化城市中的视频监控技术中有着广泛的应用。
目前的车辆重识别方法主要分为两类。一类通过硬件设备：如利用路面下的传感器。这类方法往往伴随着巨额的成本，所能获得的信息屈指可数。另一类通过交通卡口的监控视频：在不同摄像头中抓拍到的车辆图片或者视频进行比对检索。此类关注点在于找到鲁棒和稳定的视觉特征进行车辆重识别。当遇到外部的因素例如车辆姿态变化、分辨率低、摄像头设置等的干扰下，以上的车辆重识别技术并不能保证有较高的准确率。尤其是对车型、颜色相似的车辆进行重识别，单单靠视觉信息根本无法解决。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于时空约束模型优化的车辆重识别方法。
本发明解决其技术问题所采用的技术方案是：一种基于时空约束模型优化的车辆重识别方法，包括以下步骤：
1)获取待查询车辆图像；所述图像为至少一张包含目标车辆的图片；
2)对于给定的车辆查询图像和若干张候选图片，通过带有以车辆骨架关键点检测作为注意力机制的车辆姿态分类器提取出车辆姿态特征并输出车辆姿态类别；
3)将车辆姿态特征与车辆的细粒度身份特征融合得到车辆基于视觉信息的融合特征，对各个车辆的融合特征进行特征度量并得到视觉匹配概率；
4)将车辆姿态类别结合摄像头拍摄方向估计车辆相对行驶方向，基于摄像头拓扑关系和车辆相对行驶方向引导建立车辆时空转移模型；
5)得到车辆时空匹配概率；
6)基于贝叶斯概率模型，联合车辆的视觉匹配概率与时空匹配概率得到最终车辆匹配的联合概率；
7)将查询车辆与所有的候选车辆匹配的联合概率按降序排列，得到车辆重识别排序表。
按上述方案，所述车辆姿态分类器的结构如下：所述车辆姿态分类器为端到端的神经网络，包括四级神经网络，具体如下：
第一级车辆骨架关键点检测神经网络、第二级车辆全局特征提取神经网络、第三级4个姿态特征提取网络和第四级姿态分类神经网络；
其中，第一级车辆骨架关键点检测神经网络，采用一个一级二阶的沙漏网络(Stacked Hourglass Networks)结构，对所述车辆图片中骨架关键点进行检测，输出含有关键点位置信息的特征热力图；按照车辆姿态的4个类别(前面、背面、左侧面、右侧面)上出现的关键点，将所述的含有关键点位置信息的特征热力图进行叠加，得到4个姿态注意力特征图；
第二级车辆全局特征提取神经网络，采用ResNet18网络第一层ResNet Block块，对所述车辆图片提取初步的全局特征，即64*64*64维的全局特征；再将上述的4个姿态注意力特征分别映射到初步的全局特征中，分别生成了4个特征，即4个64*64*64维特征；
第三级姿态特征提取网络，采用4个不含全连接层的AlaxNet网络，分别对上述的4个中部特征提取出车辆4个姿态特征，即得到4个256*7*7维的姿态特征；
将所述的车辆4个姿态特征合并输入至第四级姿态分类神经网络，预估车辆的4个姿态类别(前面、背面、左侧面、右侧面)。
按上述方案，所述步骤3)中，车辆细粒度身份特征是由车辆图片输入到车辆全局特征提取网络，生成的512*8*8维特征；车辆基于视觉信息的融合特征是将车辆姿态特征与车辆细粒度身份特征联合输入到一个特征融合网络，生成的1*2048维特征。
按上述方案，所述的车辆全局特征提取网络，采用ResNet18前4层的ResNet Block块组成；所述特征融合网络，采用2层全连接层神经网络(Full-connect Layer)，取其中第一层全连接层后的输出作为车辆的融合特征。
进一步的，所述方法训练特征融合网络网络方法包括：冻结车辆全局特征提取网络和车辆姿态特征网络的权重参数，对最后两层全连接层神经网络采用了交叉熵损失和三元组损失的度量距离学习，训练所述网络的特征学习过程；
按上述方案，所述视觉匹配概率的计算方法如下：在视觉上查询车辆i和候选车辆j匹配的概率Pv
Figure BDA0002244606120000041
其中，
Figure BDA0002244606120000051
为查询车辆i的融合特征，
Figure BDA0002244606120000052
为候选车辆j的融合特征。
按上述方案，所述步骤5)中车辆时空匹配概率通过建立车辆姿态引导时空模型计算得到，具体步骤包括：
根据摄像头的拓扑图和摄像头的拍摄视角，预先建立摄像头ID、车辆出现的姿态类别、车辆相对行驶方向的映射表。当车辆图片通过姿态分类器评估出车辆姿态类别后，将车辆姿态类别查找映射表可以估计出车辆相对行驶方向。
定义y1表示查询车辆与候选车辆具有相同ID；y0表示查询车辆与候选车辆具有不同ID；a1表示查询车辆与候选车辆具有相同行驶方向；a2表示查询车辆与候选车辆具有不同行驶方向。
基于朴素贝叶斯分类器原理，带有姿态引导的时空概率模型，计算探测车辆之间的匹配概率如下公式
其中对于公式中分母可以看成常数，因此可以化简公式为
Ppgest(y1|ai，Δt)＝P(ai|y1)*P(Δt|y1)*P(y1)
从训练集中，根据车辆ID及车辆行驶方向分布情况统计出先验概率P(ai|y1)和P(y1)；根据车辆时空数据可以建立时空概率模型，计算出先验概率P(Δt|y1)，对于训练集中每一对摄像头下的每一辆车，首先根据车辆的姿态估计车辆相对行驶方法，然后该摄像头对下的车辆两两匹配，统计出当在车辆ID相同时出现相同行驶方向的概率P(a1|y1)和当在车辆ID不同时出现不同行驶方向的概率P(a2|y1)；从训练集中可以获取车辆时空数据，按照每对摄像头Cn-Cm进行时空数据分类，统计所有的正样本在每对摄像头下的转移时间Δtn→m，计算得到正样本点在每对摄像头下的转移时间均值μn→m和方差σn→m；假设车辆在摄像头对的时空转移分布服从高斯分布，查询车辆i与候选车辆j的转移时间为
Figure BDA0002244606120000061
由如下高斯分布的公式
Figure BDA0002244606120000062
可计算得到查询车辆i与候选车辆j在时空信息上匹配的概率P(Δt|y1)。
按上述方案，所述步骤6)中计算车辆匹配的联合概率步骤包括：假设所述的查询车辆i和候选车辆j在视觉上匹配的概率与在时空上匹配的概率满足独立分布，基于贝叶斯概率模型，所述的车辆匹配的联合概率可由如下公式计算：
P＝Pv×θ×Ppgest
其中，θ表示了车辆姿态分类的可信度；
最终，将所述的查询车辆与所有的候选车辆匹配的联合概率按降序排列，得到车辆重识别排序表。
本发明产生的有益效果是：
1)在车辆的视觉信息上，该方法能提取出车辆的姿态特征与车辆细粒度身份特征，并将这两种特征通过带有距离学习训练过的神经网络层进行融合，生成融合特征，进行基于车辆视觉信息的匹配。采用上述的车辆融合特征进行特征距离度量，减小了车辆相同ID的类内距离，扩大了车辆不同ID类间距离，让车辆即使在姿态变化的情况下仍能正确的进行匹配，大幅度降低了车辆之间的误识率。
2)在车辆的时空信息上，该方法建立了车辆摄像头间时空转移概率模型，评估车辆的姿态类别，并结合摄像头的拍摄角度和拓扑关系，对时空转移概率模型进行引导和优化。上述的车辆姿态引导时空模型，充分的挖掘了车辆的相对行驶信息，提高了基于时空信息的车辆重识别率。
3)该方法融合了车辆的视觉信息和时空信息，采用了视觉匹配概率与时空匹配概率联合度量，得到即使在车辆在视觉上类间距离难以区分的情况，仍具有较高的识别效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明基于时空约束模型优化的车辆重识别方法流程图；
图2为本发明的以车辆骨架关键点检测作为注意力机制的车辆姿态分类器结构示意图；
图3为本发明的车辆姿态特征与车辆特征融合过程示意图；
图4为本发明的估计车辆相对行驶方向过程示意图；
图5为本发明的建立车辆姿态引导时空的朴素贝叶斯模型过程示意图；
图6为本发明的计算姿态引导时空的匹配概率过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施实例提供了一种基于时空约束模型优化的车辆重识别方法，包括以下步骤：
步骤S102，获取探测车辆图像；
具体实现时，在该步骤中获取的车辆图片，包括多个方向的车辆图片、拍摄该图片的摄像头ID和拍摄该图片的时刻点或者视频帧号。
步骤S104，对于给定的车辆查询图片和候选图片，通过带有以车辆骨架关键点检测作为注意力机制的车辆姿态分类器获得车辆姿态特征和车辆姿态类别；
姿态分类器的结构如图2所示。对车辆姿态类别的划分，可以分成4类，例如正面(对应的图片是车头图片)、背面(对应的图片是车尾图片)、左侧面(对应的图片是车头朝左的图片)以及右侧面(对应的图片是车头朝右的图片)等，其中，具体划分情况可以根据实际使用情况进行划分。
将车辆图片输入至车辆姿态分类器，其中车辆姿态分类器为端到端的神经网络，包括第一级车辆骨架关键点检测神经网络、第二级车辆全局特征提取神经网络、第三级4个姿态特征提取网络和第四级姿态分类神经网络；通过第一级车辆骨架关键点检测神经网络对所述车辆图片中骨架关键点进行检测，输出车辆骨架额20个关键点位置热力图；按照车辆姿态的4个类别(正面、背面、左侧面、右侧面)上出现的可见关键点，将所述的含有关键点位置信息的特征热力图进行叠加，得到4个姿态注意力特征图；通过第二级车辆全局特征提取神经网络对车辆图片进行初步的全局特征提取，生成初步的全局特征图；将4个姿态注意力特征图与初步的全局特征图进行点乘操作，将4个姿态注意力特征图分别映射到初步的全局特征图中，得到4个含姿态注意力的特征图；将这4个含姿态注意力的特征图并分别输入第三级姿态特征提取网络，提取出车辆4个姿态特征；将车辆4个姿态特征拼接合并输入至第四级姿态分类神经网络，预估车辆的4个姿态类别(前面、背面、左侧面、右侧面)。
第一级车辆骨架关键点检测神经网络采用沙漏网络结构(StackedHourglassNetwork)，输出的20个关键点位置特征图大小为64*64维；第二级车辆全局特征提取神经网络采用2个残差网络块(ResNet Block)结构，输出的4个含姿态注意力的中步特征图的大小均为64*64*64维；第三级4个姿态特征提取网络均采用AlexNet网络中的特征提取器，输出的4个车辆姿态特征图的大小均为256*7*7维；第四级姿态分类神经网络采用AlexNet网络中的特征分类器输出车辆姿态的4个类别。
步骤S106，将车辆姿态特征与车辆的细粒度身份特征融合得到车辆基于视觉信息的融合特征，对各个车辆的融合特征进行特征度量并得到视觉匹配概率；
车辆姿态特征与车辆身份特征融合的过程如图3所示。将车辆图片输入至车辆特征提取神经网络，提取车辆细粒度身份特征；将车辆姿态特征与车辆细粒度身份特征联合输入到特征融合网络，生成车辆的融合特征；
车辆特征提取神经网络采用残差网络结构(ResNet 18),输出车辆身份特征的大小为512*8*8维；特征融合网络采用2层全连接层神经网络(Full-connect Layer)，取其中第一层全连接层后的输出作为车辆的融合特征，其大小为1*2048维。
训练特征融合网络的方法如下：采用了交叉熵损失函数和三元组损失函数的度量学习，训练所述网络的特征学习过程；在采用度量学习的损失函数训练特征融合网络2层全连接层神经网络的过程中，减小了车辆相同ID的类内距离，扩大了车辆不同ID类间距离，增强车辆融合特征的鲁棒性。
将所有的探测车辆图像提取得到基于视觉的融合特征后，采用如下公式所示的计算方法，计算在视觉上查询车辆i和候选车辆j匹配的概率Pv，其中查询车辆i所述融合特征为
Figure BDA0002244606120000111
候选车辆j所述融合特征为
Figure BDA0002244606120000113
步骤S108，根据历史车辆行驶时空数据，建立同一车辆在摄像头间转移时间的时空概率模型；将车辆姿态类别结合摄像头拍摄方向估计车辆相对行驶方向，基于摄像头拓扑关系和车辆相对行驶方向引导已建立的车辆时空转移模型并得到车辆时空匹配概率；
估计车辆相对行驶方法的过程如图4所示。根据摄像头的拓扑图和摄像头的拍摄视角，预先建立摄像头ID、车辆出现的姿态类别、车辆相对行驶方向的映射表。当车辆图片通过姿态分类器评估出车辆姿态类别后，将车辆姿态类别查找映射表可以估计出车辆相对行驶方向。
建立车辆姿态引导时空的朴素贝叶斯模型过程如图5所示，计算车辆姿态引导时空匹配概率过程如图5所示。定义y1表示查询车辆与候选车辆具有相同ID；y0表示查询车辆与候选车辆具有不同ID；a1表示查询车辆与候选车辆具有相同行驶方向；a2表示查询车辆与候选车辆具有不同行驶方向。
基于朴素贝叶斯分类器原理，带有姿态引导的时空概率模型，计算探测车辆之间的匹配概率如下公式
Figure BDA0002244606120000121
其中对于公式中分母可以看成常数，因此可以化简公式为
Ppgest(y1|ai，Δt)P(ai|y1)*P(Δt|y1)*P(y1)
从训练集中，根据车辆ID及车辆行驶方向分布情况可以统计出先验概率P(ai|y1)和P(y1)；根据车辆时空数据可以建立时空概率模型，计算出先验概率P(Δt|y1)。
具体实施时，对于训练集中每一对摄像头下的每一辆车，首先根据车辆的姿态估计车辆相对行驶方法，然后该摄像头对下的车辆两两匹配，统计出当在车辆ID相同时出现相同行驶方向的概率P(a1|y1)和当在车辆ID不同时出现不同行驶方向的概率P(a2|y1)。
从训练集中可以获取车辆时空数据，按照每对摄像头Cn-Cm进行时空数据分类，统计所有的正样本(同一辆车)在每对摄像头下的转移时间Δtn→m，计算得到正样本点在每对摄像头下的转移时间均值μn→m和方差σn→m；假设车辆在摄像头对的时空转移分布服从高斯分布，查询车辆i与候选车辆j的转移时间为
Figure BDA0002244606120000131
由如下高斯分布的公式
Figure BDA0002244606120000132
可计算得到查询车辆i与候选车辆j在时空信息上匹配的概率P(Δt|y1)；
步骤S110，基于贝叶斯概率模型，联合车辆的视觉匹配概率与时空匹配概率得到最终车辆匹配的联合概率。
计算车辆匹配的联合概率步骤包括：假设所述的查询车辆i和候选车辆j在视觉上匹配的概率与在时空上匹配的概率满足独立分布，基于贝叶斯概率模型，所述的车辆匹配的联合概率可由如下公式计算：
P＝Pv×θ×Ppgest
其中，θ表示了车辆姿态分类的可信度。具体实施时，在步骤S104中的姿态分类器，输出的该姿态类别得分即作为姿态分类可信度。
最终，将所述的查询车辆与所有的候选车辆匹配的联合概率按降序排列，得到车辆重识别排序表。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于时空约束模型优化的车辆重识别方法，其特征在于，包括以下步骤：
1)获取待查询车辆图像；所述图像为至少一张包含目标车辆的图片；
2)对于给定的车辆查询图像和若干张候选图片，通过带有以车辆骨架关键点检测作为注意力机制的车辆姿态分类器提取出车辆姿态特征并输出车辆姿态类别；
3)将车辆姿态特征与车辆的细粒度身份特征融合得到车辆基于视觉信息的融合特征，对各个车辆的融合特征进行特征度量并得到视觉匹配概率；
4)将车辆姿态类别结合摄像头拍摄方向估计车辆相对行驶方向，基于摄像头拓扑关系和车辆相对行驶方向引导建立车辆时空转移模型；
5)得到车辆时空匹配概率；
6)基于贝叶斯概率模型，联合车辆的视觉匹配概率与时空匹配概率得到最终车辆匹配的联合概率；
7)将查询车辆与所有的候选车辆匹配的联合概率按降序排列，得到车辆重识别排序表。
2.根据权利要求1所述的基于时空约束模型优化的车辆重识别方法，其特征在于，所述步骤2)中车辆姿态分类器的结构如下：所述车辆姿态分类器为端到端的神经网络，包括四级神经网络，具体如下：
第一级车辆骨架关键点检测神经网络、第二级车辆全局特征提取神经网络、第三级4个姿态特征提取网络和第四级姿态分类神经网络；
其中，第一级车辆骨架关键点检测神经网络，采用一个一级二阶的沙漏网络结构，对所述车辆图片中骨架关键点进行检测，输出含有关键点位置信息的特征热力图；按照车辆姿态的4个类别：前面、背面、左侧面、右侧面上出现的关键点，将所述的含有关键点位置信息的特征热力图进行叠加，得到4个姿态注意力特征图；
第二级车辆全局特征提取神经网络，采用ResNet18网络第一层ResNet Block块，对所述车辆图片提取初步的全局特征，即64*64*64维的全局特征；再将上述的4个姿态注意力特征分别映射到初步的全局特征中，分别生成了4个特征，即4个64*64*64维特征；
第三级姿态特征提取网络，采用4个不含全连接层的AlaxNet网络，分别对上述的4个中部特征提取出车辆4个姿态特征，即得到4个256*7*7维的姿态特征；
将所述的车辆4个姿态特征合并输入至第四级姿态分类神经网络，预估车辆的4个姿态类别。
3.根据权利要求1所述的基于时空约束模型优化的车辆重识别方法，其特征在于，所述步骤3)中，车辆细粒度身份特征是由车辆图片输入到车辆全局特征提取网络，生成的512*8*8维特征；车辆基于视觉信息的融合特征是将车辆姿态特征与车辆细粒度身份特征联合输入到特征融合网络，生成的1*2048维特征。
4.根据权利要求1所述的基于时空约束模型优化的车辆重识别方法，其特征在于，所述步骤3)中车辆全局特征提取网络，采用ResNet18前4层的ResNet Block块组成；所述特征融合网络，采用2层全连接层神经网络，取其中第一层全连接层后的输出作为车辆的融合特征。
5.根据权利要求1所述的基于时空约束模型优化的车辆重识别方法，其特征在于，所述步骤3)中视觉匹配概率的计算方法如下：在视觉上查询车辆i和候选车辆j匹配的概率Pv
其中，
Figure FDA0002244606110000032
为查询车辆i的融合特征,为候选车辆j的融合特征。
6.根据权利要求1所述的基于时空约束模型优化的车辆重识别方法，其特征在于，所述步骤5)中车辆时空匹配概率通过建立车辆姿态引导时空模型计算得到，具体步骤包括：
根据摄像头的拓扑图和摄像头的拍摄视角，预先建立摄像头ID、车辆出现的姿态类别、车辆相对行驶方向的映射表，当车辆图片通过姿态分类器评估出车辆姿态类别后，将车辆姿态类别查找映射表可以估计出车辆相对行驶方向；
定义y1表示查询车辆与候选车辆具有相同ID；y0表示查询车辆与候选车辆具有不同ID；a1表示查询车辆与候选车辆具有相同行驶方向；a2表示查询车辆与候选车辆具有不同行驶方向；
基于朴素贝叶斯分类器原理，建立带有姿态引导的时空概率模型，计算探测车辆之间的匹配概率如下公式：
Ppgest(y1|ai，Δt)＝P(ai|y1)*P(Δt|y1)*P(y1)
从训练集中，根据车辆ID及车辆行驶方向分布情况统计出先验概率P(ai|y1)和P(y1)；根据车辆时空数据可以建立时空概率模型，计算出先验概率P(Δt|y1)，对于训练集中每一对摄像头下的每一辆车，首先根据车辆的姿态估计车辆相对行驶方法，然后该摄像头对下的车辆两两匹配，统计出当在车辆ID相同时出现相同行驶方向的概率P(a1|y1)和当在车辆ID不同时出现不同行驶方向的概率P(a2|y1)；从训练集中可以获取车辆时空数据，按照每对摄像头Cn-Cm进行时空数据分类，统计所有的正样本在每对摄像头下的转移时间Δtn→m,计算得到正样本点在每对摄像头下的转移时间均值μn→m和方差σn→m；假设车辆在摄像头对的时空转移分布服从高斯分布，查询车辆i与候选车辆j的转移时间为由如下高斯分布的公式
Figure FDA0002244606110000052
可计算得到查询车辆i与候选车辆j在时空信息上匹配的概率P(Δt|y1)。
7.根据权利要求1所述的基于时空约束模型优化的车辆重识别方法，其特征在于，所述步骤6)中计算车辆匹配的联合概率，具体步骤如下：
假设所述的查询车辆i和候选车辆j在视觉上匹配的概率与在时空上匹配的概率满足独立分布，基于贝叶斯概率模型，所述的车辆匹配的联合概率可由如下公式计算：
P＝Pv×θ×Ppgest
其中，θ表示了车辆姿态分类的可信度；
最终，将所述的查询车辆与所有的候选车辆匹配的联合概率按降序排列，得到车辆重识别排序表。
CN201911012487.4A 2019-10-23 2019-10-23 基于时空约束模型优化的车辆重识别方法 Active CN110795580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911012487.4A CN110795580B (zh) 2019-10-23 2019-10-23 基于时空约束模型优化的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911012487.4A CN110795580B (zh) 2019-10-23 2019-10-23 基于时空约束模型优化的车辆重识别方法

Publications (2)

Publication Number Publication Date
CN110795580A true CN110795580A (zh) 2020-02-14
CN110795580B CN110795580B (zh) 2023-12-08

Family

ID=69441130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911012487.4A Active CN110795580B (zh) 2019-10-23 2019-10-23 基于时空约束模型优化的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN110795580B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368788A (zh) * 2020-03-17 2020-07-03 北京迈格威科技有限公司 图像识别模型的训练方法、装置及电子设备
CN111563468A (zh) * 2020-05-13 2020-08-21 电子科技大学 一种基于神经网络注意力的驾驶员异常行为检测方法
CN111723768A (zh) * 2020-06-30 2020-09-29 北京百度网讯科技有限公司 车辆重识别的方法、装置、设备和存储介质
CN111931627A (zh) * 2020-08-05 2020-11-13 智慧互通科技有限公司 一种基于多模态信息融合的车辆再识别方法及装置
CN112071075A (zh) * 2020-06-28 2020-12-11 南京信息工程大学 逃逸车辆重识别方法
CN112149643A (zh) * 2020-11-09 2020-12-29 西北工业大学 基于多级注意力机制的面向无人机平台的车辆重识别方法
CN113743359A (zh) * 2021-09-16 2021-12-03 重庆紫光华山智安科技有限公司 车辆重识别方法、模型训练方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018100321A4 (en) * 2018-03-15 2018-04-26 Chen, Jinghan Mr Person ReID method based on metric learning with hard mining
CN109034086A (zh) * 2018-08-03 2018-12-18 北京旷视科技有限公司 车辆重识别方法、装置及系统
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN109359696A (zh) * 2018-10-29 2019-02-19 重庆中科云丛科技有限公司 一种车款识别方法、系统及存储介质
CN109740653A (zh) * 2018-12-25 2019-05-10 北京航空航天大学 一种融合视觉表观与时空约束的车辆再识别方法
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质
CN109948587A (zh) * 2019-03-29 2019-06-28 清华大学 基于高判别力特征挖掘的车辆再识别方法及装置
CN110163110A (zh) * 2019-04-23 2019-08-23 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018100321A4 (en) * 2018-03-15 2018-04-26 Chen, Jinghan Mr Person ReID method based on metric learning with hard mining
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN109034086A (zh) * 2018-08-03 2018-12-18 北京旷视科技有限公司 车辆重识别方法、装置及系统
CN109359696A (zh) * 2018-10-29 2019-02-19 重庆中科云丛科技有限公司 一种车款识别方法、系统及存储介质
CN109740653A (zh) * 2018-12-25 2019-05-10 北京航空航天大学 一种融合视觉表观与时空约束的车辆再识别方法
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质
CN109948587A (zh) * 2019-03-29 2019-06-28 清华大学 基于高判别力特征挖掘的车辆再识别方法及装置
CN110163110A (zh) * 2019-04-23 2019-08-23 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANG Z, TANG L, LIU X,ET AL.: "Orientation Invariant Feature Embedding and Spatial Temporal Regularization for Vehicle Re-identification", pages 379 - 387 *
ZHONG X,FENG M, HUANG W, ET AL.: "Poses Guide Spatiotemporal Model for Vehicle Re-identification", pages 426 - 439 *
林;张琳;: "端对端的基于移动嵌入式端的车辆动态实时细粒度分类方法", 现代计算机(专业版), no. 30, pages 12 - 18 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368788A (zh) * 2020-03-17 2020-07-03 北京迈格威科技有限公司 图像识别模型的训练方法、装置及电子设备
CN111368788B (zh) * 2020-03-17 2023-10-27 北京迈格威科技有限公司 图像识别模型的训练方法、装置及电子设备
CN111563468A (zh) * 2020-05-13 2020-08-21 电子科技大学 一种基于神经网络注意力的驾驶员异常行为检测方法
CN112071075A (zh) * 2020-06-28 2020-12-11 南京信息工程大学 逃逸车辆重识别方法
CN111723768A (zh) * 2020-06-30 2020-09-29 北京百度网讯科技有限公司 车辆重识别的方法、装置、设备和存储介质
US11694436B2 (en) 2020-06-30 2023-07-04 Beijing Baidu Netcom Science Technology Co., Ltd. Vehicle re-identification method, apparatus, device and storage medium
CN111723768B (zh) * 2020-06-30 2023-08-11 北京百度网讯科技有限公司 车辆重识别的方法、装置、设备和存储介质
CN111931627A (zh) * 2020-08-05 2020-11-13 智慧互通科技有限公司 一种基于多模态信息融合的车辆再识别方法及装置
WO2022027873A1 (zh) * 2020-08-05 2022-02-10 智慧互通科技有限公司 基于多模态信息融合的车辆再识别方法及装置
CN112149643A (zh) * 2020-11-09 2020-12-29 西北工业大学 基于多级注意力机制的面向无人机平台的车辆重识别方法
CN113743359A (zh) * 2021-09-16 2021-12-03 重庆紫光华山智安科技有限公司 车辆重识别方法、模型训练方法及相关装置
CN113743359B (zh) * 2021-09-16 2024-02-02 重庆紫光华山智安科技有限公司 车辆重识别方法、模型训练方法及相关装置

Also Published As

Publication number Publication date
CN110795580B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN110795580B (zh) 基于时空约束模型优化的车辆重识别方法
CN109344787B (zh) 一种基于人脸识别与行人重识别的特定目标跟踪方法
CN110852219B (zh) 一种多行人跨摄像头在线跟踪系统
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
Börcs et al. Instant object detection in lidar point clouds
CN107622229B (zh) 一种基于融合特征的视频车辆重识别方法与系统
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
Angeli et al. Real-time visual loop-closure detection
Tsintotas et al. Probabilistic appearance-based place recognition through bag of tracked words
Liu et al. Indexing visual features: Real-time loop closure detection using a tree structure
JP4874607B2 (ja) 物体測位装置
CN108875754B (zh) 一种基于多深度特征融合网络的车辆再识别方法
Tsintotas et al. DOSeqSLAM: Dynamic on-line sequence based loop closure detection algorithm for SLAM
CN110858276A (zh) 一种识别模型与验证模型相结合的行人重识别方法
Yang et al. Simultaneous egomotion estimation, segmentation, and moving object detection
CN113592905A (zh) 基于单目摄像头的车辆行驶轨迹预测方法
Jelača et al. Vehicle matching in smart camera networks using image projection profiles at multiple instances
CN112966736A (zh) 一种基于多视角匹配与局部特征融合的车辆再识别方法
CN117036410A (zh) 一种多镜头追踪方法、系统及装置
CN116912763A (zh) 一种融合步态人脸模态的多行人重识别方法
CN116677287A (zh) 一种自动感应式电动伸缩门
CN111882663A (zh) 一种融合语义信息完成视觉slam闭环检测方法
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN115565157A (zh) 一种多摄像头多目标车辆跟踪方法及系统
CN110991316A (zh) 一种运用于开放环境的形体和身份信息自动采集的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant