CN109740653B - 一种融合视觉表观与时空约束的车辆再识别方法 - Google Patents

Abstract

本发明公开了一种融合视觉表观与时空约束的车辆再识别方法，该方法利用深度卷积神经网络，通过基于聚类的正样本特征中心选取方法设计了强化对群损失函数，实现了对车辆再识别网络的训练和车辆表观特征的提取；然后，利用由车辆图片拍摄时刻、位置等时空信息和表观相似度等组成的时空视觉融合特征实现对车辆综合相似度的准确度量；同时，引入车辆时空信息先验规则对时空视觉综合相似度进行修正，最终实现车辆的准确再识别。本发明所提出的融合视觉表观与时空约束的车辆再识别方法能有效提升车辆再识别精度，准确地从不同摄像头采集的车辆图像中找出同一车辆的图像。

Description

一种融合视觉表观与时空约束的车辆再识别方法

技术领域

本发明涉及图像检索技术领域，更具体的说是涉及一种融合视觉表观与时空约束的车辆再识别方法。

背景技术

随着经济社会的发展，城市规模日益扩大，安全的公共生活成为了迫切需要。监控摄像头作为保障公共安全的重要辅助工具被大量地部署到城市各处，由此形成了一个庞大的监控网络。为了有效地防范行驶车辆危害公共安全的行为和制止违法行为，就需要监控网络能够及时地在不同摄像头中锁定同一辆有违法嫌疑的车辆。为此，人们提出了车辆再识别技术来解决在不同摄像头大量图像中确认同一辆车的问题。

目前借助车牌信息的车辆再识别技术，在车牌信息无法使用的情形，比如无牌、遮挡、高速运动及恶劣天气下车牌无法识别或是识别不准的情况，无法有效的在不同摄像头中确认同一辆车。如何不依赖车牌信息通过计算不同监控图像中车辆表观特征的相似程度和时间位置的相关程度，来判定不同摄像头中相同车辆的车辆再识别技术，成为当前一个重要的研究方向。

当前车辆再识别技术主要由两部分组成，一部分是仅利用表观信息的车辆外形相似度衡量方法，即基于表观信息的车辆再识别技术；另一部分是结合利用摄像头记录的时间位置信息的车辆时空关联度衡量方法。

基于表观信息的车辆再识别技术主要有两种方法，一是基于全局表观信息的车辆再识别方法，它的特点是提取到的表观特征包含了车辆全身所有部位的信息，更能反映不同图像中车辆的整体相似程度，但是无法有效解决车辆整体外形非常相似的不同车辆图像的在识别问题。二是基于局部表观信息的车辆再识别方法，它的特点是提取到的表观特征只包含了人工选取的某些车辆局部位置的信息，因为加入了人类知识的辅助使得提取到的表观特征更符合人类对车辆特性的认知。但是如果具备区分力的信息出现在人工选取局部区域之外，那么此种方法提取的表观特征也就失效。

基于表观信息和时空信息的车辆再识别技术主要有两种方法，一是基于统计分布的车辆再识别方法，它的特点是利用一个统一的统计分布来表示任一车辆在任意两个摄像头间出现的时间差服从的规律来校正基于表观信息的车辆再识别方法从而获得更优的再识别准确率。但是这种方法对于不满足一般规律的特殊车辆的再识别表现出明显不适用。二是基于车辆表观时空关系的跨时空车辆再识别方法，它的特点是利用Siamese-CNN网络去学习车辆表观特点在时间位置先后关系上的变化规律来校正基于表观信息的车辆再识别方法从而获得更优的再识别准确率。但是这种方法使用的基于时间差和位置差的融合特征并不能准确的表示车辆表观特点在时间位置先后关系上的变化规律，因为任意车辆在任意两个摄像头中表观特征上的差异以及是否是同一车辆，不仅与其在两个摄像头中出现的时间间隔和路程差有关，还与摄像头拍摄的具体时间和位置有关。

总之，因为车辆本身类间差异小、类内差异随时空变化又会普遍增大情况的存在，使得现有方法出现两大类问题。第一，正样本与负样本在特征空间的聚散关系不明晰；第二，时段路段差异导致的类内表观变化难统一。

因此，如何解决上述问题是本领域技术人员亟需解决的技术问题。

发明内容

有鉴于此，本发明提供了一种融合视觉表观与时空约束的车辆再识别方法，首先根据迁移学习的方法利用基于聚类的正样本特征中心选取方法、强化对群损失函数以及深度卷积神经网络训练一个新的卷积神经网络，借此提取车辆的表观特征，然后采用由车辆图片拍摄时刻、位置等时空信息和表观相似度组成的结合时空表观信息的融合特征提取方法来衡量车辆综合相似度，据此完成对车辆的再识别。

为了实现上述目的，本发明采用如下技术方案：

一种融合视觉表观与时空约束的车辆再识别方法，包括如下步骤：

步骤(1)：利用训练车辆图像样本对预先选定好的深度卷积神经网络模型进行训练；基于训练得到的网络，提取训练车辆图像样本的表观特征F₀；对同一车辆的正样本图像采用基于聚类的正样本特征中心选取方法，获得每个车辆的正样本特征中心

其中，i＝1,2,...,N,N为车辆的总数目，上标p代表正样本；

步骤(2)：基于正样本特征中心

设计强化对群损失函数L(W,F)，利用训练车辆图像样本对选定的深度卷积神经网络模型进行重新训练，得到新的网络模型及车辆表观特征F和表观相似度D_v，其中W为更新后的深度卷积神经网络参数；

步骤(3)：设计车辆时空信息特征，结合步骤(2)得到的表观特征F和表观相似度D_v，组合成时空表观融合特征，选择卷积神经网络模型，利用时空表观融合特征对卷积神经网络模型进行训练，得到时空视觉相似度D；

步骤(4)：利用步骤(2)和步骤(3)中训练的网络提取到的待识别图像和训练车辆图像样本的表观相似度D_v和时空表观融合相似度D，应用时空先验规则修正时空表观融合相似度排序结果，最终完成对两幅图片是否属于同一辆汽车的判定。

优选的，步骤(1)具体包括如下步骤：

步骤(11)：选取深度卷积神经网络模型，利用训练车辆图像样本对其进行训练；

步骤(12)：利用步骤(11)中训练得到的深度卷积神经网络提取训练车辆图像样本中车辆图像视觉表观特征向量F₀＝{F₁,F₂,...,F_i,...,F_N},F_i＝{F_i1,F_i2,...,F_iM}，其中N为训练车辆图像样本中车辆的总数目，M为训练车辆图像样本中同一车辆不同图像的数目；

步骤(13)：对每个车辆所有图像的视觉表观特征向量F_i＝{F_i1,F_i2,...,F_iM}，i＝1,2,...,N，运用K-Means算法将其聚为两类，两个聚类中心分别为μ_i1和μ_i2，i＝1,2,...,N；

步骤(14)：利用公式

计算每一车辆的正样本特征中心

其中α和β为聚类中心加权系数，满足

和

表示两个聚类分别包含的样本个数。

优选的，在步骤(11)中，选取的深度卷积神经网络模型为VGG16或ResNet-50。

优选的，步骤(2)具体包括如下步骤：

步骤(21)：基于正样本特征中心

设计强化对群损失函数

其中N为车辆的总数目，M为同一车辆不同图像的数目，

是第i正样本集合的第l个特征向量，

是第i个负样本集合的第l个特征向量，n表示此特征向量属于负样本，p表示此特征向量属于正样本，m是离正样本特征中心最远的正样本与正样本特征中心的欧氏距离和离正样本特征中心最近的正样本与正样本特征中心的欧氏距离的差值；

步骤(22)：基于强化对群损失函数，利用训练车辆图像样本对选定的深度卷积神经网络模型进行重新训练，更新网络参数W；

步骤(23)：基于新的网络模型参数，分别提取待识别图像和训练车辆图像样本中车辆图像的视觉表观特征F，并计算表观相似度D_v。

优选的，步骤(3)具体包括如下步骤：

步骤(31)：设计由任意两张车辆图片被拍摄时间差Δt_i,n(k,j)、位置差Δd_i,n、时间点t_i,k和t_n,j、摄像头位置编号N_i和N_n构成车辆时空信息特征[Δt_i,n(k,j),Δd_i,n,t_i,k,t_n,j,N_i,N_n]^T，其中i,n＝1,2,...,N，k,j＝1,2,...,M；

步骤(32)：结合车辆时空信息特征[Δt_i,n(k,j),Δd_i,n,t_i,k,t_n,j,N_i,N_n]^T和步骤(2)得到的表观特征F和表观相似度D_v，组合成时空表观融合特征来衡量不同车辆图像与待识别图像的综合相似度，其中Μ_i＝[Δt_i,n(k,j),Δd_i,n,t_i,k,t_n,j,N_i,N_n,D_vi]^T，i,n＝1,2,...,N，k,j＝1,2,...,M是一个通过级联生成的时空表观融合特征；

步骤(33)：选择卷积神经网络模型，利用时空表观融合特征对卷积神经网络模型进行训练，得到时空视觉相似度D。

优选的，步骤(4)具体包括如下步骤：

利用步骤(2)和步骤(3)中训练的网络提取到的待识别图像和训练车辆图像样本中车辆图像的表观相似度D_v和时空表观融合相似度D，应用同一时刻同一位置同一摄像头同一帧图像中多辆汽车不可能是同一车辆及车辆在极短时间不可能出现在不同地点的时空先验规则修正时空表观融合相似度排序，并最终按照相似度越高与待识别车辆身份相同概率越大的规则完成对两幅图片是否属于同一辆汽车的判定。

优选的，在步骤(3)中，卷积神经网络模型包括：多层感知机网络模型。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种融合视觉表观与时空约束的车辆再识别方法，与现有技术相比，本发明的优点在于：

1、本发明采用正样本特征中心而不是单幅正样本图像来代表一辆汽车，同时选取正样本特征中心时不是简单取算术平均值来抹平正样本内差异，而是根据汽车车头车位表观差异大的特点，将正样本做二分类再根据两类元素数量比重取两类中心位置间适当位置为正样本特征中心，使得在使用度量学习方法时能应用一个更能代表一辆汽车本质的特征空间位置。

2、针对困难样本问题，设计了强化对群损失函数，使得困难正样本向正样本特征中心靠拢的同时离正样本特征中心最近的负样本离正样本尽可能的远。

3、针对车辆出现在任意两个摄像头中时表观的变化服从相同规律，而这一规律不仅与其在两个摄像头中出现的时间间隔和路程差有关，还与摄像头拍摄的具体时间和位置有关，本发明采用由车辆图片拍摄时刻、位置等时空信息和表观相似度组成的结合时空表观信息的融合特征来衡量车辆综合相似度，从而解决了时段路段差异导致的表观变化难统一的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的强化对群损失函数的设计示意图；

图2为本发明提供的融合视觉表观与时空约束的车辆再识别方法示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前基于深度学习的车辆再识别技术采用的损失函数，例如三元组损失函数、对群损失函数还不能很好的优化正样本与负样本在特征空间的聚散关系不明晰的问题；另一方面，现有车辆再识别技术使用的时空约束方法如基于统计分布和基于Siamese-CNN(孪生卷积网络)的跨时空车辆再识别方法不能有效解决时段路段差异导致的表观变化难统一的问题，制约了车辆再识别准确率的进一步提升。

为了提高车辆再识别的准确率，满足从不同摄像头中精确找出同一车辆图像的需求，本发明提出了一种融合视觉表观与时空约束的车辆再识别方法。该方法利用基于聚类的正样本特征中心选取方法设计了强化对群损失函数，并结合深度卷积神经网络完成对车辆表观特征的提取，然后采用由摄像头编号、摄像时刻、表观相似度组成的时空视觉融合特征实现对车辆综合相似度的刻画，最后引入同一时刻同一位置摄像头监控图像中多辆汽车不可能从属于同一车辆及同一辆车不应在极短时间内出现在不同地点的经验规则，完成对车辆的再识别。下面展开具体说明。

本发明详细过程如图2所示。下面结合具体技术方案来进一步说明本发明提供的融合视觉表观和时空约束的车辆再识别方法。

本发明实施例公开了一种融合视觉表观与时空约束的车辆再识别方法，包括如下步骤：

步骤(1)：利用训练车辆图像样本对预先选定好的深度卷积神经网络模型进行训练，其中，选取的深度卷积神经网络模型为VGG16或ResNet-50；基于训练得到的网络，提取训练车辆图像样本的表观特征F₀；对同一车辆的正样本图像采用基于聚类的正样本特征中心选取方法，获得每个车辆的正样本特征中心

其中，i＝1,2,...,N,N为车辆的总数目，上标p代表正样本；

步骤(2)：基于正样本特征中心

设计强化对群损失函数L(W,F)，利用训练车辆图像样本对选定的深度卷积神经网络模型进行重新训练，得到新的网络模型及车辆表观特征F和表观相似度D_v，其中W为更新后的深度卷积神经网络参数；

通过对表观特征F计算欧式距离衡量不同车辆图像的表观相似度D_v。

结合附图1，对图1中强化对群损失函数的设计做如下描述：输入一组样本集并使用基于聚类的正样本特征中心方法求得正样本特征中心并令其作为标准值，当以某一ID的一组正样本的特征中心做标准值时，找出同ID其他图片离它最远的图片和整个样本集中离它最近的那张其他ID图片，而训练过程就是在特征空间让离标准值最远的正样本离标准值尽可能近的同时，让离标准值最近的负样本尽可能地远离标准值。

步骤(3)：设计车辆时空信息特征，具体包括：设计由任意两张车辆图片被拍摄时间差Δt_i,n(k,j)、位置差Δd_i,n、时间点t_i,k和t_n,j、摄像头位置编号N_i和N_n构成车辆时空信息特征[Δt_i,n(k,j),Δd_i,n,t_i,k,t_n,j,N_i,N_n]^T，其中i,n＝1,2,...,N，k,j＝1,2,...,M；

结合步骤(2)得到的表观相似度D_v，组合成时空表观融合特征，M用来衡量不同车辆与待识别图像的综合相似度。

选择卷积神经网络模型，如：多层感知机网络模型MLP，并利用时空表观融合特征对多层感知机网络模型进行训练，得到时空视觉相似度D；

步骤(4)：利用步骤(2)和步骤(3)中训练的网络提取到的待识别图像和训练车辆图像样本的表观相似度D_v和时空表观融合相似度D，应用时空先验规则修正时空表观融合相似度排序结果，最终完成对两幅图片是否属于同一辆汽车的判定。

为了进一步优化上述技术方案，步骤(1)具体包括如下步骤：

步骤(11)：选取深度卷积神经网络模型，利用训练车辆图像样本对其进行训练；

步骤(12)：利用步骤(11)中训练得到的深度卷积神经网络提取训练车辆图像样本中车辆图像视觉表观特征向量F₀＝{F₁,F₂,...,F_i,...,F_N},F_i＝{F_i1,F_i2,...,F_iM}，其中N为训练车辆图像样本中车辆的总数目，M为训练车辆图像样本中同一车辆不同图像的数目；

步骤(13)：对每个车辆所有图像的视觉表观特征向量F_i＝{F_i1,F_i2,...,F_iM}，i＝1,2,...,N，运用K-Means算法将其聚为两类，两个聚类中心分别为μ_i1和μ_i2，i＝1,2,...,N；

步骤(14)：利用公式

计算每一车辆的正样本特征中心

其中α和β为聚类中心加权系数，满足

和

表示两个聚类分别包含的样本个数。

为了进一步优化上述技术方案，步骤(2)具体包括如下步骤：

步骤(21)：基于正样本特征中心

设计强化对群损失函数

其中N为车辆的总数目，M为同一车辆不同图像的数目，

是第i正样本集合的第l个特征向量，

是第i个负样本集合的第l个特征向量，n表示此特征向量属于负样本，p表示此特征向量属于正样本，m是离正样本特征中心最远的正样本与正样本特征中心的欧氏距离和离正样本特征中心最近的正样本与正样本特征中心的欧氏距离的差值；

步骤(22)：基于强化对群损失函数，利用训练车辆图像样本对选定的深度卷积神经网络模型进行重新训练，更新网络参数W；

步骤(23)：基于新的网络模型参数，分别提取待识别图像和训练车辆图像样本中车辆图像的视觉表观特征F，并计算表观相似度D_v。

为了进一步优化上述技术方案，步骤(3)具体包括如下步骤：

步骤(31)：设计由任意两张车辆图片被拍摄时间差Δt_i,n(k,j)、位置差Δd_i,n、时间点t_i,k和t_n,j、摄像头位置编号N_i和N_n构成车辆时空信息特征[Δt_i,n(k,j),Δd_i,n,t_i,k,t_n,j,N_i,N_n]^T，其中i,n＝1,2,...,N，k,j＝1,2,...,M；

步骤(32)：结合车辆时空信息特征[Δt_i,n(k,j),Δd_i,n,t_i,k,t_n,j,N_i,N_n]^T和步骤(2)得到的表观特征F和表观相似度D_v，组合成时空表观融合特征来衡量不同车辆图像与待识别图像的综合相似度，其中Μ_i＝[Δt_i,n(k,j),Δd_i,n,t_i,k,t_n,j,N_i,N_n,D_vi]^T，i,n＝1,2,...,N，k,j＝1,2,...,M是一个通过级联生成的时空表观融合特征；

步骤(33)：选择卷积神经网络模型，利用时空表观融合特征对卷积神经网络模型进行训练，得到时空视觉相似度D。

为了进一步优化上述技术方案，步骤(4)具体包括如下步骤：

利用步骤(2)和步骤(3)中训练的网络提取到的待识别图像和训练车辆图像样本中车辆图像的表观相似度D_v和时空表观融合相似度D，应用同一时刻同一位置同一摄像头同一帧图像中多辆汽车不可能是同一车辆及车辆在极短时间不可能出现在不同地点的时空先验规则修正时空表观融合相似度排序，并最终按照相似度越高与待识别车辆身份相同概率越大的规则完成对两幅图片是否属于同一辆汽车的判定。

其中，时空先验规则中的同一辆不应在极短时间内出现在不同地点的公式为：

且Δd_i,n＞100

其含义为当来自不同摄像头x_i及x_n的两幅图片I_i,k和I_n,j的时间差Δt_i,n(k,j)与位置差Δd_i,n的商大于车辆的最大可行驶速度v_max且摄像头间最短行驶距离大于100米时，两幅图片包含的车辆一定不属于同一辆车。满足式(3)时，将两幅图片的时空视觉相似度置为最小值。

本发明提供的方法首先应用强化对群损失训练深度卷积神经网络，然后使用训练好的深度卷积神经网络提取车辆图像的表观特征，再计算特征向量之间的距离并将其作为刻画车辆视觉相似度的度量。之后结合摄像头编号、摄像时刻组成时空视觉融合特征并作为输入训练多层感知机，于是可以得到两张图像属于同一辆车的概率即时空视觉相似度，实现对车辆综合相似度的刻画。最后引入同一时刻同一位置摄像头的同一图像中多辆汽车不可能从属于同一车辆及同一辆车不应在极短时间内出现在不同地点的经验规则完成对车辆的再识别。

本发明采用基于聚类的正样本特征中心选取方法优化代表一辆汽车度量本质的正样本特征中心，并结合强化对群损失函数使得困难正样本向正样本特征中心靠拢的同时让离正样本特征中心最近的负样本离所有正样本特征中心尽可能的远，最终能够让正样本与负样本在特征空间聚散分明；然后本发明还采用由车辆图片拍摄时刻、位置等时空信息和表观相似度结合时空表观信息的融合特征提取方法来衡量车辆综合相似度，从而解决时段路段差异导致的表观变化难统一的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种融合视觉表观与时空约束的车辆再识别方法，其特征在于，包括如下步骤：

步骤(1)：利用训练车辆图像样本对预先选定好的深度卷积神经网络模型进行训练；基于训练得到的网络，提取训练车辆图像样本的表观特征F₀；对同一车辆的正样本图像采用基于聚类的正样本特征中心选取方法，获得每个车辆的正样本特征中心

其中，i＝1,2,...,N,N为车辆的总数目，上标p代表正样本；

步骤(2)：基于正样本特征中心

设计强化对群损失函数L(W,F)，利用训练车辆图像样本对选定的深度卷积神经网络模型进行重新训练，得到新的网络模型及车辆表观特征F和表观相似度D_v，其中W为更新后的深度卷积神经网络参数；

步骤(3)：设计车辆时空信息特征，结合步骤(2)得到的表观特征F和表观相似度D_v，组合成时空表观融合特征，选择卷积神经网络模型，利用时空表观融合特征对卷积神经网络模型进行训练，得到时空视觉相似度D；

步骤(4)：利用步骤(2)和步骤(3)中训练的网络提取到的待识别图像和训练车辆图像样本的表观相似度D_v和时空表观融合相似度D，应用时空先验规则修正时空表观融合相似度排序结果，最终完成对两幅图片是否属于同一辆汽车的判定。

2.根据权利要求1所述的一种融合视觉表观与时空约束的车辆再识别方法，其特征在于，步骤(1)具体包括如下步骤：

步骤(11)：选取深度卷积神经网络模型，利用训练车辆图像样本对其进行训练；

步骤(12)：利用步骤(11)中训练得到的深度卷积神经网络提取训练车辆图像样本中车辆图像视觉表观特征向量F₀＝{F₁,F₂,...,F_i,...,F_N},F_i＝{F_i1,F_i2,...,F_iM}，其中N为训练车辆图像样本中车辆的总数目，M为训练车辆图像样本中同一车辆不同图像的数目；

步骤(13)：对每个车辆所有图像的视觉表观特征向量F_i＝{F_i1,F_i2,...,F_iM}，i＝1,2,...,N，运用K-Means算法将其聚为两类，两个聚类中心分别为μ_i1和μ_i2，i＝1,2,...,N；

步骤(14)：利用公式

计算每一车辆的正样本特征中心

其中α和β为聚类中心加权系数，满足

和

表示两个聚类分别包含的样本个数。

3.根据权利要求2所述的一种融合视觉表观与时空约束的车辆再识别方法，其特征在于，在步骤(11)中，选取的深度卷积神经网络模型为VGG16或ResNet-50。

4.根据权利要求2或3所述的一种融合视觉表观与时空约束的车辆再识别方法，其特征在于，步骤(2)具体包括如下步骤：

步骤(21)：基于正样本特征中心

设计强化对群损失函数

其中N为车辆的总数目，M为同一车辆不同图像的数目，

是第i正样本集合的第l个特征向量，

是第i个负样本集合的第l个特征向量，n表示此特征向量属于负样本，p表示此特征向量属于正样本，m是离正样本特征中心最远的正样本与正样本特征中心的欧氏距离和离正样本特征中心最近的正样本与正样本特征中心的欧氏距离的差值；

步骤(22)：基于强化对群损失函数，利用训练车辆图像样本对选定的深度卷积神经网络模型进行重新训练，更新网络参数W；

步骤(23)：基于新的网络模型参数，分别提取待识别图像和训练车辆图像样本中车辆图像的视觉表观特征F，并计算表观相似度D_v。

5.根据权利要求4所述的一种融合视觉表观与时空约束的车辆再识别方法，其特征在于，步骤(3)具体包括如下步骤：

步骤(31)：设计由任意两张车辆图片被拍摄时间差Δt_i,n(k,j)、位置差Δd_i,n、时间点t_i,k和t_n,j、摄像头位置编号N_i和N_n构成车辆时空信息特征[Δt_i,n(k,j),Δd_i,n,t_i,k,t_n,j,N_i,N_n]^T，其中i,n＝1,2,...,N，k,j＝1,2,...,M；

步骤(32)：结合车辆时空信息特征[Δt_i,n(k,j),Δd_i,n,t_i,k,t_n,j,N_i,N_n]^T和步骤(2)得到的表观特征F和表观相似度D_v，组合成时空表观融合特征来衡量不同车辆图像与待识别图像的综合相似度，其中Μ_i＝[Δt_i,n(k,j),Δd_i,n,t_i,k,t_n,j,N_i,N_n,D_vi]^T，i,n＝1,2,...,N，k,j＝1,2,...,M是一个通过级联生成的时空表观融合特征；

步骤(33)：选择卷积神经网络模型，利用时空表观融合特征对卷积神经网络模型进行训练，得到时空视觉相似度D。

6.根据权利要求1或5所述的一种融合视觉表观与时空约束的车辆再识别方法，其特征在于，步骤(4)具体包括如下步骤：

利用步骤(2)和步骤(3)中训练的网络提取到的待识别图像和训练车辆图像样本中车辆图像的表观相似度D_v和时空表观融合相似度D，应用同一时刻同一位置同一摄像头同一帧图像中多辆汽车不可能是同一车辆及车辆在极短时间不可能出现在不同地点的时空先验规则修正时空表观融合相似度排序，并最终按照相似度越高与待识别车辆身份相同概率越大的规则完成对两幅图片是否属于同一辆汽车的判定。

7.根据权利要求1所述的一种融合视觉表观与时空约束的车辆再识别方法，其特征在于，在步骤(3)中，卷积神经网络模型包括：多层感知机网络模型。

Images