CN108764269A - 一种基于时空约束增量学习的跨数据集行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于时空约束增量学习的跨数据集行人再识别方法，包含步骤：S1、在小规模训练数据集上训练得到图像分类器C_s；S2、用图像分类器C_s在实际应用场景的测试数据集上对监控图像进行分类，统计测试数据集中属于同一行人的监控图像的拍摄时间和摄像头编号之间的关联，建立行人时空概率模型；S3、融合步骤S2的图像分类结果和步骤S3的时空概率模型，对测试数据集进行更准确分类；S4、对应用场景的测试数据打标签，用这种有标签的数据增量训练图像分类器C_s；S5、重复步骤S1～S4，直到迭代的次数超过预定的阈值常数；S6、用步骤S5的融合分类器，在目标数据集的测试集上进行行人再识别，得到最终分类结果。

Description

一种基于时空约束增量学习的跨数据集行人再识别方法

技术领域

本发明涉及行人再识别技术领域，具体涉及一种基于时空约束增量学习的跨数据集行人再识别方法。

背景技术

行人再识别是指给定一张行人图像,在已有的可能来源于非交叠摄像机视场的行人图像库中,识别出包含此人的图像，在安防和刑侦等相关领域有着重要的应用。行人再识别通常基于图像本身，提取视觉特征，训练图像分类器，对目标行人进行匹配。这种训练方法需要大量的有标签的图像数据，获取这样的训练数据非常费时费力。另一方面，在实验室环境中，训练数据集和真实环境中的数据差别往往较大，所以实验室环境训练得到的图像分类器泛化能力弱，在真实情景中往往表现不佳。提高分类器在不同数据集上的迁移表现是行人再识别领域的一个重要挑战。

鉴于上述行人再识别方法存在的问题，目前亟待提出来一种基于时空约束增量学习的跨数据集行人再识别方法。

发明内容

本发明的目的是为了解决行人再识别技术在准确率和泛化能力方面的不足，提供一种基于时空约束增量学习的跨数据集行人再识别方法，该方法同时利用了摄像头捕捉到的图像信息和时空信息，根据时空约束对目标数据集进行增量学习，从而实现在无标签数据集上较好的行人再识别。

本发明的目的可以通过采取如下技术方案达到：

在源数据集上训练得到图像分类器，利用图像分类器建立目标数据集的时空概率模型，根据目标数据集的时空约束对目标数据集打标签，从而获得带有弱标签的目标图像数据集，进而在该数据集上对图像分类器进行增量学习，最终在目标数据集上取得较好的识别效果。

具体而言，如图1所示，本发明公开的一种基于时空约束增量学习的跨数据集行人再识别方法包含以下步骤：

S1、在小规模训练数据集上训练得到图像分类器C_s；

S2、用图像分类器C_s在实际应用场景的测试数据集上对监控图像进行分类；根据分类结果，统计测试数据集中属于同一个行人的监控图像的拍摄时间和摄像头编号之间的关联，建立行人时空概率模型；

S3、融合步骤S2的图像分类结果和时空概率模型，对测试数据集进行更准确的分类；

S4、根据步骤S3的分类结果，对应用场景的测试数据打标签，然后用这种有标签的数据增量训练图像分类器C_s；

S5、重复上述步骤S1-S4，直到迭代的次数超过预定的阈值常数μ；

S6、用步骤S5得到的融合分类器，在目标数据集的测试集上进行行人再识别，得到最终识别结果。

图2为本发明的逻辑结构图。

进一步地，步骤S1具体为：利用有标签的训练数据集采用二分类的图像分类器进行训练，得到训练后的图像分类器C_s。给定两张图片I_x和I_y,该分类器返回这两张图片包含同一个行人的可能性度量S_x,y(0≤S_x,y≤1)。S_x,y的值越大则代表可能性越大。

进一步地，步骤S2具体为：使用图像分类器C_s在实际应用场景下收集到的测试数据集D_t上进行分类，得到测试数据集中每对图片的分类结果：Ω＝{<I_x,I_y,S_x,y>|I_x,I_y∈D_t；x≠y}。选定一个相似度阈值γ，筛选出Ω中可能性大于γ的图片对:这里的每一组图片具有较高的可能性包含相同的行人。对于中的任意一组图片<I_x,I_y>，记I_x的拍摄时间是t_x,拍摄的摄像头编号是C_x，I_y的拍摄时间是t_y,拍摄的摄像头编号是C_y，拍摄的时间差是Δ_x,y＝t_x-t_y。针对中的图像对，近似统计联合概率分布P(Δ_x,y,C_x,C_y)如下：

其中，δ是一个正常数，表示置信区间的大小。概率分布P(Δ_x,y,C_x,C_y)反映了行人在不同的摄像头之间移动的时间差的概率分布。

进一步地，步骤S3具体为：对于实际应用场景中的任意一对图像I_x,I_y，根据步骤S1的图像分类器C_s的评分结果是S_x,y,同时根据步骤S2的时空概率分布可得I_x和I_y包含同一个行人的似然概率是P(Δ_x,y,C_x,C_y)。融合图像分类器评分和时空概率可以得到综合判定得分如下：

F_x,y＝S_x,y×P(Δ_x,y,C_x,C_y) (2)

步骤S4具体为：对测试数据集D_t中的每组图片，选择综合判定得分较高的图像对作为正样本如下(F_x,y由步骤S4公式(2)计算得到)：

D⁺＝{<I_x,I_y>|F_x,y>k₁} (3)

选择综合判定得分较低的图像对作为负样本如下：

D^-＝{<I_x,I_y>|F_x,y<k₂} (4)

其中k₁和k₂是正常数。将D⁺中的数据对应的标签设置为1，将D^-中的数据对应的标签设置为0，使用数据集D⁺和D^-对图像分类器C_s进行有监督的增量训练。

步骤S5具体为：重复上述步骤S1～S4，直到迭代的次数超过预定的阈值常数μ。

步骤S6具体为：在实际应用场景中，对于某个摄像头拍摄到的包含目标人物的任意图像I_x以及其他摄像头拍摄到的任意图像I_y，I_y包含目标人物的可能性可计算为F_x,y。从测试数据集中选择可能性F_x,y最大的k张图像，即为最有可能包含目标人物的图像。

本发明的工作原理：行人在摄像头网络间的迁移受摄像头拓扑和行人移动速度的约束，会呈现出一定的时空概率分布规律。本发明方法首先在有标签的训练数据集上进行图像分类器训练，然后利用该图像分类器在实际应用场景的无标签测试数据集上学习行人移动的时空概率分布，并将该时空概率分布与图像分类器相结合获得更为准确的融合分类器；更进一步的，该发明利用无标签的测试数据集对图像分类器进行增量学习，提高图像分类器的准确率，以期在实际应用环境中获得较高的识别准确率。

本发明相对于现有技术具有如下的优点及效果：

1、本发明融合了图像分类器和行人迁移时空概率分布来进行行人再识别，由于时空迁移概率分布不受光照条件、图像分辨率、遮挡问题的影响，因此融合了时空概率分布后的模型更能比单纯基于图像内容的分类器具有更高的准确率和稳定性。

2、本发明通过在图像分类器在测试数据集上获取行人迁移时空概率模型。该时空概率模型获取方法无须预先对实际应用环境的测试数据集进行人工标注，可工作在无标签的测试数据集上。

3、本发明利用实际应用环境中的无标签数据对图像分类器进行增量训练。该增量训练方法无须预先对实际应用环境的测试数据集进行人工标注，可工作在无标签的测试数据集上，有效解决使用应用环境与测试环境的差异性带来的分类器泛化能力弱的问题。

附图说明

图1是本发明公开的基于时空约束增量学习的跨数据集行人再识别方法的流程图；

图2是本发明的逻辑结构图；

图3是本发明具体实施方式中图像分类器的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例通过如图1所示的流程进行实现，其中包括六个主要步骤：

S1、在小规模训练数据集上训练得到图像分类器C_s；

步骤S1的具体实施方式是：利用有标签的训练数据集采用二分类的图像分类器进行训练，得到训练后的图像分类器C_s。这里采用一种深度卷积神经网络实现图像分类器，如图3所示，给定两张图片I_x和I_y,先采用Resnet-52网络提取图像特征，根据两张图片对应的特征的几何距离计算两张图片的相似度。具体而言，给定两张图片I_x和I_y，该分类器返回这两张图片包含同一个行人的可能性度量S_x,y(0≤S_x,y≤1)。S_x,y的值越大则代表可能性越大。

S2、用图像分类器C_s在实际应用场景的测试数据集上对监控图像进行分类；根据分类结果，统计测试数据集中属于同一个行人的监控图像的拍摄时间和摄像头编号之间的关联，建立行人时空概率模型；

步骤S2的具体实施方式是：使用图像分类器C_s在实际应用场景下收集到的测试数据集D_t上进行分类，将测试数据集D_t中的图片两两组合，输入图像分类器，得到测试数据集中每对图片的分类结果，即每对图片的相似度：Ω＝{<I_x,I_y,S_x,y>|I_x,I_y∈D_t；x≠y}。

选定一个相似度阈值γ，筛选出Ω中可能性大于γ的图片对:

这里的每一组图片具有较高的可能性包含相同的行人。对于中的任意一组图片<I_x,I_y>，记I_x的拍摄时间是t_x,拍摄的摄像头编号是C_x，I_y的拍摄时间是t_y,拍摄的摄像头编号是C_y，拍摄的时间差是Δ_x,y＝t_x-t_y。针对中的图像对，近似统计联合概率分布P(Δ_x,y,C_x,C_y)如下：

其中，δ是一个正常数，表示置信区间的大小。概率分布P(Δ_x,y,C_x,C_y)反映了行人在不同的摄像头之间移动的时间差的概率分布。

为了快速计算P(Δ_x,y,C_x,C_y)，可采用下述方法进行统计：

R1、假设摄像头有K个，将中所有图片对按拍摄摄像头分为K²组，同一组中的任一图片对的C_x相同，C_y也相同；

R2、将每个组中的图片对按拍摄时间差Δ_x,y从大到小排序，得到K²个有序列表{L_i,j,1≤i,j≤K}；

R3、计算联合概率分布P(Δ_x,y,C_x,C_y)时，在C_x和C_y对应的列表中，通过二分搜索算法查找拍摄时间差为Δ_x,y–δ的图片对在该列表中的位置以及时间差为Δ_x,y+δ的图片对在该列表中的位置然后通过下述公式，可计算得到P(Δ_x,y,C_x,C_y)：

S3、融合步骤S2的图像分类结果和时空概率模型，对测试数据集进行更准确的再分类；

步骤S3的具体实施方式是：对于实际应用场景中的任意一对图像I_x,I_y，根据步骤S1的图像分类器C_s的评分结果是S_x,y,同时根据步骤S2的时空概率分布可得I_x和I_y包含同一个行人的似然概率是P(Δ_x,y,C_x,C_y)。融合图像分类器和时空概率分布，由公式(2)计算综合判定得分F_x,y。

S4、根据步骤S3的分类结果，对应用场景的测试数据数据打标签，然后用这种有标签的数据增量训练图像分类器C_s；

步骤S4的具体实施方式是：根据公式(3)和公式(4)，对测试数据集D_t中的每组图片，选择综合判定得分较高的图像对作为正样本D⁺，选择综合判定得分较低的图像对作为负样本D^-；将D⁺中的数据对应的标签设置为1，将D^-中的数据对应的标签设置为0，对图像分类器C_s进行有监督的增量训练。

S5、重复上述步骤S1～S4，直到迭代的次数超过预定的阈值常数μ；

S6、用步骤S5得到的融合分类器，在目标数据集的测试集上进行行人再识别，得到最终识别结果。

步骤S6的具体实施方式是：在实际应用场景中，对于某个摄像头拍摄到的包含目标人物任意图像I_x，以及其他摄像头拍摄到的任意图像I_y，I_y包含目标人物的可能性可计算为F_x,y。从测试数据集中选择可能性F_x,y最大的k张图像，即为最有可能包含目标人物的图像。

综上所述，由于摄像头拓扑通常是固定的，行人在摄像头间的迁移具有一定时空约束，而这种约束可被用来提高行人再识别算法的准确率。具体而言，该方法首先在有标签的源数据集上进行图像分类器训练，然后基于该图像分类器建立目标数据集中的行人迁移时空概率模型，进而通过结合该时空概率模型与图像分类器获得更为准确的融合分类器，并进一步地用无标签的目标数据集对该分类器进行增量学习，从而获得在无标签目标数据集上较高的识别准确率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于时空约束增量学习的跨数据集行人再识别方法，其特征在于，所述的跨数据集行人再识别方法包括下列步骤：

S1、用有标签的训练数据集对二分类的图像分类器进行训练，得到训练后的图像分类器C_s；

S2、用图像分类器C_s在实际应用场景的测试数据集上对监控图像进行分类；根据分类结果，统计测试数据集中属于同一个行人的监控图像的拍摄时间和摄像头编号之间的关联，建立行人时空概率模型；

S3、融合步骤S2的图像分类结果和时空概率模型，对测试数据集进行再分类；

S4、根据步骤S3的再分类结果，对应用场景的测试数据进行标记，用这种标记数据增量训练图像分类器C_s；

S5、重复上述步骤S1～S4，直到迭代的次数超过预定的阈值常数μ；

S6、用步骤S4得到的融合分类器，在目标数据集的测试集上进行行人再识别，得到最终分类结果。

2.根据权利要求1所述的一种基于时空约束增量学习的跨数据集行人再识别方法，其特征在于，所述的步骤S1过程如下：

采用深度卷积神经网络实现图像分类器C_s，给定两张图片I_x和I_y，先采用Resnet-52网络提取图像特征，根据两张图片对应的特征的几何距离计算两张图片的相似度，即给定两张图片I_x和I_y，图像分类器C_s返回这两张图片包含同一个行人的可能性度量S_x,y，0≤S_x,y≤1，其中，S_x,y的值越大则代表可能性越大。

3.根据权利要求2所述的一种基于时空约束增量学习的跨数据集行人再识别方法，其特征在于，所述的步骤S2过程如下：

S21、使用图像分类器C_s在实际应用场景下收集到的测试数据集D_t上进行分类，得到测试数据集中每对图片的分类结果：Ω＝{<I_x,I_y,S_x,y>|I_x,I_y∈D_t；x≠y}；

S22、选定一个相似度阈值γ，筛选出Ω中可能性大于γ的图片对: 对于中的任意一组图片<I_x,I_y>，记I_x的拍摄时间是t_x,拍摄的摄像头编号是C_x，I_y的拍摄时间是t_y,拍摄的摄像头编号是C_y，拍摄的时间差是Δ_x,y＝t_x-t_y。针对中的图像对，近似统计联合概率分布P(Δ_x,y,C_x,C_y)如下：

其中，δ是一个正常数，表示置信区间的大小，概率分布P(Δ_x,y,C_x,C_y)反映行人在不同的摄像头之间移动的时间差的概率分布。

4.根据权利要求3所述的一种基于时空约束增量学习的跨数据集行人再识别方法，其特征在于，所述的步骤S3过程如下：

对于实际应用场景中的任意一对图像I_x,I_y，根据步骤S1的图像分类器C_s的评分结果是S_x,y,同时根据步骤S2的时空概率分布得I_x和I_y包含同一个行人的似然概率是P(Δ_x,y,C_x,C_y)，融合图像分类器评分和时空概率得到综合判定得分如下：

F_x,y＝S_x,y×P(Δ_x,y,C_x,C_y) (2)。

5.根据权利要求4所述的一种基于时空约束增量学习的跨数据集行人再识别方法，其特征在于，所述的步骤S4过程如下：

对测试数据集D_t中的每组图片，选择综合判定得分较高的图像对作为正样本如下：

D⁺＝{<I_x,I_y>|F_x,y>k₁} (3)

选择综合判定得分较低的图像对作为负样本如下：

D^-＝{<I_x,I_y>|F_x,y<k₂} (4)

其中k₁和k₂是正常数，将D⁺中的数据对应的标签设置为1，将D^-中的数据对应的标签设置为0，使用数据集D⁺和D^-对图像分类器C_s进行有监督的增量训练。

6.根据权利要求5所述的一种基于时空约束增量学习的跨数据集行人再识别方法，其特征在于，所述的步骤S6过程如下：

对于实际应用场景中某个摄像头拍摄到的包含目标人物任意一对图像I_x，其他摄像头拍摄到的任意图像I_y，I_y包含目标人物的可能性计算为F_x,y，从测试数据集中选择可能性F_x,y最大的k张图像，即为最有可能包含目标人物的图像。

7.根据权利要求3所述的一种基于时空约束增量学习的跨数据集行人再识别方法，其特征在于，所述的概率分布P(Δ_x,y,C_x,C_y)采用下述方法进行统计实现快速计算：

R1、假设摄像头有K个，将中所有图片对按拍摄摄像头分为K²组，同一组中的任一图片对的C_x相同，C_y也相同；

R2、将每个组中的图片对按拍摄时间差Δ_x,y从大到小排序，得到K²个有序列表{L_i,j,1≤i,j≤K}；

R3、计算联合概率分布P(Δ_x,y,C_x,C_y)时，在C_x和C_y对应的列表中，通过二分搜索算法查找拍摄时间差为Δ_x,y–δ的图片对在该列表中的位置以及时间差为Δ_x,y+δ的图片对在该列表中的位置然后通过下述公式(5)，计算得到P(Δ_x,y,C_x,C_y)：