CN111914730B - 一种基于联合时空采样的无监督视频序列行人再识别方法 - Google Patents

Abstract

本发明涉及一种基于联合时空采样的无监督视频序列行人再识别方法，包括：获取训练数据集并进行联合时空采样；进行单摄像头下小片段轨迹特征学习；进行单摄像头下行人小片段轨迹排序；计算单摄像头下小片段轨迹的关联损失；进行跨摄像头下小片段轨迹特征学习；进行跨摄像头下行人小片段轨迹排序；计算跨摄像头下小片段轨迹的关联损失；构造全局关联损失函数；判断是否满足迭代结束条件，若是，则执行步骤10，否则，返回步骤2；结束迭代，完成行人再识别。与现有技术相比，本发明具有识别准确度高、适用于无标签数据集的学习、稳定性高、可靠性和实用性高等优点。

Description

一种基于联合时空采样的无监督视频序列行人再识别方法

技术领域

本发明涉及视频序列的行人再识别技术领域，尤其是涉及一种基于联合时空采样的无监督视频序列行人再识别方法。

背景技术

行人再识别的目的是匹配不同摄像头下的行人，尽管大多数的再识别方法是基于静态的图片，但由于视频中的行人小片段轨迹具有丰富的时空信息也越来越得到关注。视频序列中的小片段轨迹是指单个行人图片的组合序列，包含了行人在不同视野、遮挡、背景模糊和行人姿态变化的各种信息，可以自然地作为行人再识别的相关数据源，更具有研究意义。而当前的行人再识别方法多是基于有监督学习，在实际的跨摄像头网络下不仅需要很大的成本标记数据，而且不能保证每对摄像头都有足够的指定行人的出现。针对此现象，无监督的视频行人再识别在实际应用中更有实际性，从而提高再识别模型的可靠性。

现有的处理小片段轨迹的方法多是采用关联排序的方法，例如中国专利CN111079600A中公开了一种多摄像头的行人识别方法及识别系统，该系统就使用了关联排序的方法，该方法在许多实验中显示出较好的效果，但是加强对关联学习的理论解释仍是一项非常重要的任务。在很多实验中，单摄像头下的行人小片段轨迹关联性可以达到很好的效果，但是针对跨摄像头的小片段轨迹关联会产生许多关联错误，且样本的复杂多样性使跨摄像头下的关联计算成本变高，计算时间加长。多摄像头下的关联排序方法内容主要包括：第一是单摄像头下的特征学习，与目标样本特征比较排序，计算目标样本特征与搜索的样本特征之间的关联损失；第二是跨摄像头下，联合单摄像头下学习的目标样本特征作为跨摄像头下的目标，与配对摄像头下的样本特征比较排序，计算样本特征间的关联损失。

因此，小片段轨迹间的关联方法在视频行人再识别中具有重要意义，尽管目前国内外的研究已经取得了很优秀的研究成果，但是随着监控摄像网络的发展扩大，拍摄条件的恶化，以及安防需求的提高，目前已有关联排序方法在视频行人再识别的准确度和计算成本上不能满足实际应用的需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种识别准确度高、适用于无标签数据集的学习、稳定性高、可靠性和实用性高的基于联合时空采样的无监督视频序列行人再识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于联合时空采样的无监督视频序列行人再识别方法，该方法为内嵌在计算机内的程序，包括：

步骤1：获取训练数据集并进行联合时空采样；

步骤2：进行单摄像头下小片段轨迹特征学习；

步骤3：进行单摄像头下行人小片段轨迹排序；

步骤4：计算单摄像头下小片段轨迹的关联损失；

步骤5：进行跨摄像头下小片段轨迹特征学习；

步骤6：进行跨摄像头下行人小片段轨迹排序；

步骤7：计算跨摄像头下小片段轨迹的关联损失；

步骤8：构造全局关联损失函数；

步骤9：判断是否满足迭代结束条件，若是，则执行步骤10，否则，返回步骤2；

步骤10：结束迭代，完成行人再识别。

优选地，所述的步骤1具体为：

使用既有的行人检测和跟踪模型获取不同摄像头下的行人小片段轨迹；

所述的联合时空采样的采样规则具体为：

在同一个时间窗口下，为每个小片段轨迹设置不同的身份标签；在第i时间采样中，检索某个时间点S_i下的所有小片段轨迹并标记；设置采样时间间隔P，即下一采样时间点S_i+1为S_i+P，其中采样时间间隔P大于行人穿过单个摄像头的时间T，即P＞T，最终获得每个摄像头下独立标记的小片段轨迹集合{S_i}，联合采样前的数据集构成训练数据集。

优选地，所述的步骤2中单摄像头下小片段轨迹特征学习具体为：

在摄像头k下，共有N_k个小片段轨迹，将所有小片段轨迹初始化为图片特征表示的平均值任选其中一帧图片特征f_k,p，采用滑动平均的方式更新特征学习：

其中，η为更新率，||l₂(·)||₂＝1，t表示迭代次数。

优选地，所述的步骤3中单摄像头下行人小片段轨迹排序具体为：

使用l₂距离计算f_k,p与x_k,i之间的相似度，并按照相似度排序，首先计算图片特征f_k,p与所有小片段轨迹图片特征表示的平均值之间的距离：

{D_p,i|D_p,i＝||l₂(f_k,p)-l₂(x_k,i)||₂,i∈N_k}

然后进行排序，并寻找Rank-1的小片段轨迹x_k,t，计算f_k,p与x_k,t之间的最小距离：

其中，||l₂(·)||₂＝1。

优选地，所述的步骤4中单摄像头下小片段轨迹的关联损失的计算方法为：

其中，D_p,p为图片特征f_k,p与其对应的小片段轨迹特征x_k,p之间的l₂距离；D_p,t表示f_k,p与Rank-1的小片段轨迹x_k,t之间的l₂距离；表示Rank-1的x_k,t与在摄像头k下随机采样的M张图片特征距离的平均值；p＝t表示Rank-1的x_k,t是f_k,p对应的小片段轨迹特征；m为一常量；

其中，x_p为f_k,p对应的小片段轨迹P中的任一帧图像；x_n为Rank-1的小片段轨迹N中的任一帧图像；||l₂(·)||₂＝1。

优选地，所述的步骤5中跨摄像头下小片段轨迹特征学习具体为：

将摄像头k下的小片段轨迹图片特征表示的平均值x_k,i与摄像头l下的Rank-1的小片段轨迹特征x_l,t合并为跨摄像头下的特征α_k,i，α_k,i具体为：

其中，j＝i表示迭代后的摄像头k下的小片段轨迹特征与迭代前的特征相同；||l₂(·)||₂＝1。

优选地，所述的步骤6中跨摄像头下行人小片段轨迹排序具体为：

将摄像头k下的小片段轨迹图片特征表示的平均值x_k,i作为搜索目标，寻找摄像头l下最关联的小片段轨迹，对摄像头l下的小片段轨迹排序：

{D_p,i|D_p,i＝||l₂(f_k,p)-l₂(x_l,i)||₂,i∈N_l}

然后确定Rank-1的小片段轨迹x_l,t，计算f_k,p与摄像头l下x_l,t的最小距离：

其中，||l₂(·)||₂＝1。

优选地，所述的步骤7中跨摄像头下小片段轨迹的关联损失的计算方法为：

其中，为跨摄像头下的目标样本，x_p是α_k,p对应的小片段轨迹P(a)中的任一帧图像；||l₂(·)||₂＝1。

优选地，所述的全局关联损失函数为：

L＝L₁+λL_C

其中，L₁为单摄像头下小片段轨迹的关联损失函数；L_C为跨摄像头下小片段轨迹的关联损失函数；λ为权衡参数。

优选地，所述的迭代结束条件具体为：判断是否达到预设迭代次数，若是，则完成迭代，否则，继续进行迭代。

与现有技术相比，本发明具有以下优点：

一、识别准确度高：本发明中的行人再识别方法考虑到了视频序列中的行人小片段轨迹包含有效的时空信息并加以利用，学习到更加丰富的特征信息，提高识别的准确度。

二、适用于无标签数据集的学习：本发明中的行人再识别方法考虑到了单摄像头和跨摄像头下行人的出现时间及空间位置不同，对获取的小片段轨迹进行采样并自主标记，减少模型学习的错误，通过对采样标记的数据集学习不变的视觉特征，使模型适应于无标签数据集的学习。

三、稳定性高：本发明中的行人再识别方法引入自适应权重定义的关联损失函数，使模型学习时可以有效区分简单和困难样本，对异常值具有鲁棒性，从而提高模型的准确度和稳定性。

四、可靠性和实用性高：本发明中的行人再识别方法基于无监督的学习方法更加贴近实际的视频监控。

附图说明

图1为本发明中行人再识别方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

一种基于联合时空采样的无监督视频序列行人再识别方法，其流程如图1所示，该方法考虑到视频序列中行人小片段轨迹具有丰富的时空信息，可以自然用于行人再识别中，又由于跨摄像头下行人小片段轨迹复杂多样，会产生大量的计算成本和关联错误，基于监控视频的三个特点：(1)在单个摄像头下，行人在短时间内不会再次出现，因此单个行人具有多条小片段轨迹多是因为跟踪失败导致较长的轨迹断裂产生；(2)处于不同位置的行人应是不同的人；(3)大多数行人穿过单个摄像头的时间较短，因此在经过一个较长的时间间隔P后，再次出现的行人应该不是同一个人。对获取的样本集合采样并标记，从而减少网络学习时将同一个人的多条小片段轨迹当作不同的人的错误，同时，可以避免当行人外观发生视觉变化时，模型依然能够感知到具有判别力的信息。具体包括以下步骤：

一、获取训练数据集并进行联合时空采样

利用现有的检测和跟踪模型获取不同摄像头下的行人小片段轨迹，考虑到单摄像头下，在某个时间点，多个行人在不同的位置应该具有明显的身份标志，因此在第i时间采样的实例中，检索某个时间点S_i下的所有小片段轨迹并标记；考虑到公共场景下，大多数行人穿过单个摄像头的时间为T，设置一个时间间隔P，使P＞T，即下一次采样时间S_i+1为S_i+P，最终获得每个摄像头下独立标记的小片段轨迹集合{S_i}，并联合采样前的数据集构成最终的训练数据集。

无监督学习时，由于跨摄像机下缺少成对标记的行人标签，当行人穿过每对摄像机，视觉外观发生变化时，模型不能有效的感知到判别信息，因此联合利用公共场景下获取的无标签数据集和联合时空采样的数据集来训练模型，联合时空采样的具体规则如下：

(1)在同一个时间窗口下，为每个小片段轨迹设置不同的身份标签；

(2)空间采样：考虑到单摄像头时，在某个相同的时间点，在不同的位置的多个行人应该具有明显不同的身份，因此在第i时间采样的实例中，检索某个时间点S_i下的所有小片段轨迹并标记；

(3)时间采样：考虑到公共场景下，大多数行人穿过单个摄像头的时间为T，设置一个时间间隔P，使P＞T，即下一次采样时间S_i+1为S_i+P，从而减少在单摄像头下，每个行人具有多条小片段轨迹的比例。

二、进行单摄像头下小片段轨迹特征学习

在摄像头k下，共有N_k个小片段轨迹，将所有小片段轨迹初始化为图片特征表示的平均值任选其中一帧图片特征f_k,p，采用滑动平均的方式更新特征学习：

其中，η为更新率，本实施例中η取0.5，||l₂(·)₂＝1，t表示小批量集合中的迭代次数，采用滑动平均的方式迭代更新，可以有效减少迭代学习时的计算时间。

三、进行单摄像头下行人小片段轨迹排序，使用l₂距离计算f_k,p与x_k,i之间的相似度，并按照相似度排序。

首先计算图片特征f_k,p与所有小片段轨迹图片特征表示的平均值之间的距离：

{D_p,i|D_p,i＝||l₂(f_k,p)-l₂(x_k,i)||₂,i∈N_k}

然后进行排序，寻找Rank-1的小片段轨迹x_k,t，计算f_k,p与x_k,t之间的最小距离：

四、计算单摄像头下小片段轨迹的关联损失

为了规范模型学习，以及模型对样本难易程度的区分，引入自适应权重ω进行约束，仿照三重损失函数定义单个摄像头下小片段轨迹的关联损失函数L₁，并且利用随机梯度下降的方法调整深度模型的参数来优化关联损失，提高单摄像头下小片段轨迹的辨别力，促进跨摄像头下的小片段轨迹的关联性。

具体为：引入自适应权重，计算Rank-1小片段轨迹特征x_k,t与f_k,p对应的小片段轨迹的关联损失L₁：

其中，D_p,p为图片特征f_k,p与其对应的小片段轨迹特征x_k,p之间的l₂距离；D_p,t表示f_k,p与Rank-1的小片段轨迹x_k,t之间的l₂距离；表示Rank-1的x_k,t与在摄像头k下随机采样的M张图片特征距离的平均值；p＝t表示Rank-1的x_k,t是f_k,p对应的小片段轨迹特征；m为一常量，保证不同的小片段轨迹之间的距离更大或是使相同的小片段轨迹之间的距离更小。

其中，x_p为f_k,p对应的小片段轨迹P中的任一帧图像；x_n为Rank-1的小片段轨迹N中的任一帧图像；||l₂(·)||₂＝1。

权重ω会根据随机采样的M张图片与Rank-1的x_k,t之间的特征距离变化而变化，即每个样本的权重均匀分布。

自适应权重可以有效区分简单和困难样本，即对困难的样本，权重较大，且在学习过程中，对异常值鲁棒，不会影响到权重，从而提高准确度和鲁棒性。

五、进行跨摄像头下小片段轨迹特征学习

将摄像头k下的小片段轨迹图片特征表示的平均值x_k,i与摄像头l下的Rank-1的小片段轨迹特征x_l,t合并为跨摄像头下的特征α_k,i，α_k,i具体为：

其中，j＝i表示迭代后的摄像头k下的小片段轨迹特征与迭代前的特征相同。

六、进行跨摄像头下行人小片段轨迹排序

将摄像头k下的小片段轨迹图片特征表示的平均值x_k,i作为搜索目标，寻找摄像头l下最关联的小片段轨迹，对摄像头l下的小片段轨迹排序：

{D_p,i|D_p,i＝||l₂(f_k,p)-l₂(x_l,i)||₂,i∈N_l}

然后确定Rank-1的小片段轨迹x_l,t，计算f_k,p与摄像头l下x_l,t的最小距离：

七、计算跨摄像头下小片段轨迹的关联损失

计算方法为：

其中，为跨摄像头下的目标样本，x_p是α_k,p对应的小片段轨迹P(a)中的任一帧图像。

八、构造全局关联损失函数

引入一个权衡参数λ来联合L₁和L_C关联损失后并后向传播给网络。

L＝L₁+λL_C

九、判断是否满足迭代结束条件，若是，则执行十，否则，返回二。

本实施例中的迭代条件具体为：判断是否达到预设迭代次数，若是，则完成迭代，否则，继续进行迭代。根据不同大小的数据设置迭代的次数，通常设为10⁴～10⁵次，大的数据集的迭代次数较小，反之较大。当迭代次数达到最大时，结束迭代。

十、结束迭代，完成行人再识别。

通过上述方法得到的视频行人再识别方法，考虑到了视频序列中的行人小片段轨迹包含有效的时空信息并加以利用，学习到更加丰富的特征信息，提高识别的准确度；考虑到单摄像头和跨摄像头下行人的出现时间及空间位置不同，对获取的小片段轨迹进行采样并自主标记，减少模型学习的错误，通过对采样标记的数据集学习不变的视觉特征，使模型适应于无标签数据集的学习；引入自适应权重定义的关联损失函数，使模型学习时可以有效区分简单和困难样本，对异常值具有鲁棒性，从而提高模型的准确度和稳定性；基于无监督的学习方法更加贴近实际的视频监控，更加具有可靠性和实际性。通过上述方法得到的视频行人再识别的关联学习方法可以有效提高无监督条件下的视频行人再识别的效率和准确率，具体可以应用在：

(1)应用于大型公共场所视频监控，可以根据本视频行人再识别的关联学习方法有效的对监控网络中的行人目标身份关联性判别，对监控中的行人进行行为分析、目标跟踪等；

(2)应用于刑侦工作，可以利用本方法代替人力，对目标嫌疑人进行寻找识别、定位，减少破案时间，提高破案效率；

(3)应用于目标检索，可以根据本视频行人再识别方法对海量视频中的目标进行检索。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于联合时空采样的无监督视频序列行人再识别方法，该方法为内嵌在计算机内的程序，其特征在于，包括：

步骤1：获取训练数据集并进行联合时空采样；

步骤2：进行单摄像头下小片段轨迹特征学习；

步骤3：进行单摄像头下行人小片段轨迹排序；

步骤4：计算单摄像头下小片段轨迹的关联损失；

步骤5：进行跨摄像头下小片段轨迹特征学习；

步骤6：进行跨摄像头下行人小片段轨迹排序；

步骤7：计算跨摄像头下小片段轨迹的关联损失；

步骤8：构造全局关联损失函数；

步骤9：判断是否满足迭代结束条件，若是，则执行步骤10，否则，返回步骤2；

步骤10：结束迭代，完成行人再识别；

所述的步骤1具体为：

使用既有的行人检测和跟踪模型获取不同摄像头下的行人小片段轨迹；

所述的联合时空采样的采样规则具体为：

在同一个时间窗口下，为每个小片段轨迹设置不同的身份标签；在第i时间采样中，检索某个时间点S_i下的所有小片段轨迹并标记；设置采样时间间隔P，即下一采样时间点S_i+1为S_i+P，其中采样时间间隔P大于行人穿过单个摄像头的时间T，即P＞T，最终获得每个摄像头下独立标记的小片段轨迹集合{S_i}，联合采样前的数据集构成训练数据集；

所述的步骤4中单摄像头下小片段轨迹的关联损失的计算方法为：

其中，D_p,p为图片特征f_k,p与其对应的小片段轨迹特征x_k,p之间的l₂距离；D_p,t表示f_k,p与Rank-1的小片段轨迹x_k,t之间的l₂距离；表示Rank-1的x_k,t与在摄像头k下随机采样的M张图片特征距离的平均值；p＝t表示Rank-1的x_k,t是f_k,p对应的小片段轨迹特征；m为一常量；

其中，x_p为f_k,p对应的小片段轨迹P中的任一帧图像；x_n为Rank-1的小片段轨迹N中的任一帧图像；||l₂(·)||₂＝1；

所述的步骤7中跨摄像头下小片段轨迹的关联损失的计算方法为：

其中，为跨摄像头下的目标样本，x_p是α_k,p对应的小片段轨迹P(a)中的任一帧图像；||l₂(·)||₂＝1；

所述的全局关联损失函数为：

L＝L₁+λL_C

其中，L₁为单摄像头下小片段轨迹的关联损失函数；L_C为跨摄像头下小片段轨迹的关联损失函数；λ为权衡参数。

2.根据权利要求1所述的一种基于联合时空采样的无监督视频序列行人再识别方法，其特征在于，所述的步骤2中单摄像头下小片段轨迹特征学习具体为：

在摄像头k下，共有N_k个小片段轨迹，将所有小片段轨迹初始化为图片特征表示的平均值任选其中一帧图片特征f_k,p，采用滑动平均的方式更新特征学习：

其中，η为更新率，||l₂(·)||₂＝1，t表示迭代次数。

3.根据权利要求2所述的一种基于联合时空采样的无监督视频序列行人再识别方法，其特征在于，所述的步骤3中单摄像头下行人小片段轨迹排序具体为：

使用l₂距离计算f_k,p与x_k,i之间的相似度，并按照相似度排序，首先计算图片特征f_k,p与所有小片段轨迹图片特征表示的平均值之间的距离：

{D_p,i|D_p,i＝||l₂(f_k,p)-l₂(x_k,i)||₂,i∈N_k}

然后进行排序，并寻找Rank-1的小片段轨迹x_k,t，计算f_k,p与x_k,t之间的最小距离：

其中，||l₂(·)||₂＝1。

4.根据权利要求1所述的一种基于联合时空采样的无监督视频序列行人再识别方法，其特征在于，所述的步骤5中跨摄像头下小片段轨迹特征学习具体为：

将摄像头k下的小片段轨迹图片特征表示的平均值x_k,i与摄像头l下的Rank-1的小片段轨迹特征x_l,t合并为跨摄像头下的特征α_k,i，α_k,i具体为：

其中，j＝i表示迭代后的摄像头k下的小片段轨迹特征与迭代前的特征相同；||l₂(·)||₂＝1。

5.根据权利要求1所述的一种基于联合时空采样的无监督视频序列行人再识别方法，其特征在于，所述的步骤6中跨摄像头下行人小片段轨迹排序具体为：

将摄像头k下的小片段轨迹图片特征表示的平均值x_k,i作为搜索目标，寻找摄像头l下最关联的小片段轨迹，对摄像头l下的小片段轨迹排序：

{D_p,i|D_p,i＝||l₂(f_k,p)-l₂(x_l,i)||₂,i∈N_l}

然后确定Rank-1的小片段轨迹x_l,t，计算f_k,p与摄像头l下x_l,t的最小距离：

其中，||l₂(·)||₂＝1。

6.根据权利要求1所述的一种基于联合时空采样的无监督视频序列行人再识别方法，其特征在于，所述的迭代结束条件具体为：判断是否达到预设迭代次数，若是，则完成迭代，否则，继续进行迭代。