CN114241016A

CN114241016A - 一种跨相机轨迹关联方法、装置及电子设备

Info

Publication number: CN114241016A
Application number: CN202111500721.5A
Authority: CN
Inventors: 张�杰
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2021-12-09
Filing date: 2021-12-09
Publication date: 2022-03-25
Also published as: CN115272426A

Abstract

本申请实施例提供了一种跨相机轨迹关联方法、装置及电子设备，涉及计算机视觉技术领域，获取多个相机各自采集的目标的轨迹，作为目标轨迹；获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度；将关联相似度最大的两个轨迹进行关联，得到包含该两个轨迹的轨迹集合作为新的目标轨迹；计算新的目标轨迹与其他目标轨迹的图像特征之间的关联相似度，并返回执行将关联相似度最大的两个轨迹进行关联，得到包含该两个轨迹的轨迹集合作为新的目标轨迹的步骤，直至得到第一数目个目标轨迹。基于此，能够有效地将各目标轨迹进行关联。

Description

一种跨相机轨迹关联方法、装置及电子设备

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种跨相机轨迹关联方法、装置及电子设备。

背景技术

为便于对目标(如人员、车辆等)进行管理，可以通过相机拍摄目标的活动场景，以确定出目标的轨迹。但是单一相机的视场有限，而目标的活动场景可能较大，通过单一相机难以获取目标的完整轨迹。

因此，可以部署多个相机以分别拍摄活动场景的各子区域中目标的图像，得到目标在各相机中的轨迹，并根据各相机中的轨迹，得到目标在整个活动场景中的完整轨迹。

然而，每一相机的子区域中可能同时存在多个目标，如何将同一目标在各相机中的轨迹有效地进行关联，成为亟需解决的问题。

发明内容

本申请实施例的目的在于提供一种跨相机轨迹关联方法、装置及电子设备，以有效地将各目标轨迹进行关联。具体技术方案如下：

第一方面，为了达到上述目的，本申请实施例公开了一种跨相机轨迹关联方法，所述方法包括：

获取多个相机各自采集的目标的轨迹，作为目标轨迹；

获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度；

将关联相似度最大的两个轨迹进行关联，得到包含该两个轨迹的轨迹集合作为新的目标轨迹；

计算新的目标轨迹与其他目标轨迹的图像特征之间的关联相似度，并返回执行所述将关联相似度最大的两个轨迹进行关联，得到包含该两个轨迹的轨迹集合作为新的目标轨迹的步骤，直至得到第一数目个目标轨迹。

可选的，所述获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度，包括：

分别获取每一目标轨迹在各视频帧中对应的图像特征，作为该目标轨迹的图像特征；

计算每两个目标轨迹的图像特征之间的相似度，作为原始相似度；

基于所述多个相机的视野区域之间的关系，对所述原始相似度进行优化，得到各关联相似度。

可选的，所述基于所述多个相机的视野区域之间的关系，对所述原始相似度进行优化，得到各关联相似度，包括：

针对每两个目标轨迹，若该两个目标轨迹各自对应的时间段之间存在重合部分，且该两个目标轨迹各自所属的相机的视野区域之间不存在重合部分，则将该两个目标轨迹对应的原始相似度置为第一数值，得到各关联相似度。

针对每一目标轨迹，将该目标轨迹输入至预先训练的该目标轨迹所属的第一相机对应的时空转移网络，得到所述多个相机中除所述第一相机外的每一第二相机的转移概率和预测时长；

其中，所述时空转移网络为基于所述第一相机对应的训练样本进行训练得到的；所述训练样本为基于所述第一相机中的历史样本轨迹，以及所述多个相机的历史关联结果得到的；每一第二相机的转移概率表示：该目标轨迹所属的目标在离开所述第一相机后进入该第二相机的概率；每一第二相机的预测时长表示：该目标轨迹所属的目标从离开所述第一相机至进入该第二相机之间的时长；

将与该目标轨迹和第三相机中的目标轨迹对应的原始相似度置为第一数值；其中，所述第三相机的转移概率小于第一阈值；和/或，将与该目标轨迹和第四相机中的待处理轨迹对应的原始相似度置为第一数值，得到各关联相似度；其中，所述第四相机的转移概率大于第一阈值，且所述待处理轨迹与该目标轨迹对应的时间段之间的时长，与所述第四相机的预测时长差值的绝对值大于第二阈值。

可选的，所述方法还包括：

在得到第一数目个目标轨迹后，确定关联得到的前第二数目个轨迹集合，作为待处理轨迹集合；

针对每一待处理轨迹集合，将该待处理轨迹集合中的一个轨迹作为输入数据，将该待处理轨迹集合中的其他轨迹与该轨迹对应的时间段之间的时长作为输出数据，对该轨迹所属的相机对应的时空转移网络进行训练。

可选的，在所述获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度之后，所述方法还包括：

计算包含所述关联相似度的相似度矩阵的各特征值；

确定大于第三阈值的特征值的数目，作为第一数目。

可选的，所述获取多个相机各自采集的目标的轨迹，作为目标轨迹，包括：

获取多个相机各自采集的目标的原始轨迹；

针对每一原始轨迹，根据第一检测方式和/或第二检测方式，确定该原始轨迹对应的视频图像中发生目标交换的视频帧，作为目标视频帧；其中，所述第一检测方式基于所述视频图像中目标的朝向确定目标视频帧；所述第二检测方式基于所述视频图像包含的各视频帧的图像特征的相似度的平均水平确定目标视频帧；

按照所述目标视频帧在所述视频图像中的位置，对该原始轨迹进行划分，得到多个目标轨迹。

可选的，所述第一检测方式包括以下步骤：

针对所述视频图像中的每一视频帧，将该视频帧中与该原始轨迹对应的图像区域输入至预先训练的朝向分类网络，得到该视频帧中该原始轨迹所属的目标的朝向；

若该视频帧中该原始轨迹所属的目标的朝向，与所述视频图像中下一视频帧中该原始轨迹所属的目标的朝向之间的改变量，大于第四阈值，则将该视频帧确定为所述视频图像中发生目标交换的目标视频帧。

可选的，所述第二检测方式包括以下步骤：

针对所述视频图像中的每一视频帧，确定所述视频图像中该视频帧以及该视频帧之前的视频帧，作为第一视频帧，以及确定所述视频图像中该视频帧之后的视频帧，作为第二视频帧；

计算该原始轨迹在所述第一视频帧中对应的各图像特征之间的相似度的平均水平，作为第一平均相似度；以及该原始轨迹在所述第二视频帧中对应各图像特征之间的相似度的平均水平，作为第二平均相似度；

确定对应的第一平均相似度和第二平均相似度的和值最大的视频帧，作为所述视频图像中发生目标交换的目标视频帧。

第二方面，为了达到上述目的，本申请实施例公开了一种跨相机轨迹关联装置，所述装置包括：

目标轨迹获取模块，用于获取多个相机各自采集的目标的轨迹，作为目标轨迹；

关联相似度获取模块，用于获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度；

关联模块，用于将关联相似度最大的两个轨迹进行关联，得到包含该两个轨迹的轨迹集合作为新的目标轨迹；

计算模块，用于计算新的目标轨迹与其他目标轨迹的图像特征之间的关联相似度，并触发所述关联模块，直至得到第一数目个目标轨迹。

可选的，所述关联相似度获取模块，包括：

图像特征获取子模块，用于分别获取每一目标轨迹在各视频帧中对应的图像特征，作为该目标轨迹的图像特征；

原始相似度获取子模块，用于计算每两个目标轨迹的图像特征之间的相似度，作为原始相似度；

关联相似度获取子模块，用于基于所述多个相机的视野区域之间的关系，对所述原始相似度进行优化，得到各关联相似度。

可选的，所述关联相似度获取子模块，具体用于针对每两个目标轨迹，若该两个目标轨迹各自对应的时间段之间存在重合部分，且该两个目标轨迹各自所属的相机的视野区域之间不存在重合部分，则将该两个目标轨迹对应的原始相似度置为第一数值，得到各关联相似度。

可选的，所述关联相似度获取子模块，具体用于针对每一目标轨迹，将该目标轨迹输入至预先训练的该目标轨迹所属的第一相机对应的时空转移网络，得到所述多个相机中除所述第一相机外的每一第二相机的转移概率和预测时长；

可选的，所述装置还包括：

待处理轨迹集合确定模块，用于在得到第一数目个目标轨迹后，确定关联得到的前第二数目个轨迹集合，作为待处理轨迹集合；

训练模块，用于针对每一待处理轨迹集合，将该待处理轨迹集合中的一个轨迹作为输入数据，将该待处理轨迹集合中的其他轨迹与该轨迹对应的时间段之间的时长作为输出数据，对该轨迹所属的相机对应的时空转移网络进行训练。

可选的，所述装置还包括：

特征值计算模块，用于在所述获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度之后，计算包含所述关联相似度的相似度矩阵的各特征值；

第一数目确定模块，用于确定大于第三阈值的特征值的数目，作为第一数目。

可选的，所述目标轨迹获取模块，包括：

原始轨迹获取子模块，用于获取多个相机各自采集的目标的原始轨迹；

目标视频帧确定子模块，用于针对每一原始轨迹，根据第一检测方式和/或第二检测方式，确定该原始轨迹对应的视频图像中发生目标交换的视频帧，作为目标视频帧；其中，所述第一检测方式基于所述视频图像中目标的朝向确定目标视频帧；所述第二检测方式基于所述视频图像包含的各视频帧的图像特征的相似度的平均水平确定目标视频帧；

划分子模块，用于按照所述目标视频帧在所述视频图像中的位置，对该原始轨迹进行划分，得到多个目标轨迹。

可选的，所述目标视频帧确定子模块，具体用于针对所述视频图像中的每一视频帧，将该视频帧中与该原始轨迹对应的图像区域输入至预先训练的朝向分类网络，得到该视频帧中该原始轨迹所属的目标的朝向；

可选的，所述目标视频帧确定子模块，具体用于针对所述视频图像中的每一视频帧，确定所述视频图像中该视频帧以及该视频帧之前的视频帧，作为第一视频帧，以及确定所述视频图像中该视频帧之后的视频帧，作为第二视频帧；

在本申请实施的另一方面，为了达到上述目的，本申请实施例还公开了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现如上述第一方面所述的跨相机轨迹关联方法。

在本申请实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，实现如上述第一方面所述的跨相机轨迹关联方法。

在本申请实施的又一方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的跨相机轨迹关联方法。

本申请实施例提供了一种跨相机轨迹关联方法，可以获取多个相机各自采集的目标的轨迹，作为目标轨迹；获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度；将关联相似度最大的两个轨迹进行关联，得到包含该两个轨迹的轨迹集合作为新的目标轨迹；计算新的目标轨迹与其他目标轨迹的图像特征之间的关联相似度，并返回执行将关联相似度最大的两个轨迹进行关联，得到包含该两个轨迹的轨迹集合作为新的目标轨迹的步骤，直至得到第一数目个目标轨迹。

同一个目标在不同相机中的图像特征相似度较高，因此，本申请实施例提供的跨相机轨迹关联方法，能够基于全局聚类算法，结合轨迹的图像特征的相似度，有效地确定出各相机中属于同一个目标的轨迹，即，有效地对各目标轨迹进行关联。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种跨相机轨迹关联方法的流程图；

图2为本申请实施例提供的另一种跨相机轨迹关联方法的流程图；

图3为本申请实施例提供的另一种跨相机轨迹关联方法的流程图；

图4为本申请实施例提供的另一种跨相机轨迹关联方法的流程图；

图5为本申请实施例提供的一种相机的视野区域之间的关系示意图；

图6为本申请实施例提供的另一种跨相机轨迹关联方法的流程图；

图7为本申请实施例提供的一种预设方向的示意图；

图8为本申请实施例提供的一种跨相机轨迹关联装置的结构图；

图9为本申请实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了实现将同一目标在各相机中的轨迹有效地进行关联，本申请实施例提供了一种跨相机轨迹关联方法，该方法可以应用于电子设备。例如，该电子设备能够与各相机进行通信，以获取各相机采集的目标的目标轨迹，并基于本申请实施例提供的跨相机轨迹关联方法对各目标轨迹进行关联；或者，该电子设备也可以从各相机获取采集的视频图像，并根据视频图像得到目标的目标轨迹，进而，基本申请实施例提供的跨相机轨迹关联方法对各目标轨迹进行关联。

参见图1，图1为本申请实施例提供的一种跨相机轨迹关联方法的流程图，该方法可以包括以下步骤：

S101：获取多个相机各自采集的目标的轨迹，作为目标轨迹。

S102：获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度。

S103：将关联相似度最大的两个轨迹进行关联，得到包含该两个轨迹的轨迹集合作为新的目标轨迹。

S104：计算新的目标轨迹与其他目标轨迹的图像特征之间的关联相似度，并返回执行步骤S103，直至得到第一数目个目标轨迹。

同一个目标在不同相机中的图像特征之间的相似度较高，因此，本申请实施例提供的跨相机轨迹关联方法，能够基于全局聚类算法，结合轨迹的图像特征的相似度，有效地确定出各相机中属于同一个目标的轨迹，即，有效地对各目标轨迹进行关联。

针对步骤S101，本申请实施例中的目标可以为人物、或者，也可以为动物，或者，也可以为车辆，但并不限于此。多个相机可以分别布设在不同的子区域中，分别用于获取各子区域的图像。每两个相机对应的子区域(即视野区域)之间可以存在重合部分，也可以不存在重合部分。

一个相机采集的一个目标的轨迹，可以用该目标在该相机采集的视频图像中的坐标表示，即，一个轨迹可以对应多个视频帧，相应的，一个轨迹对应的时间段为该多个视频帧的时间段。例如，该目标的轨迹包含：该目标在视频图像包含的各视频帧中的坐标。

针对步骤S102，一个轨迹的图像特征，也就是该轨迹在视频图像中对应的图像区域的图像特征。

一种实现方式中，可以从视频图像中选择一个视频帧，并将轨迹在该视频帧中对应的图像区域的图像特征，作为该轨迹的图像特征。

或者，也可以从视频图像中选择多个视频帧，并将轨迹在各视频帧中对应的图像区域的图像特征的平均值，作为该轨迹的图像特征。

本申请实施例中，图像特征可以用特征向量表示，相应的，图像特征之间的相似度，可以基于特征向量的余弦相似度表示，或者，也可以基于特征向量的欧氏距离表示，但并不限于此。

针对步骤S103和步骤S104，关联相似度最大，表明该两个目标轨迹的图像特征的相似度较高，即，该两个目标轨迹为同一个目标的轨迹，因此，可以将该两个目标轨迹进行关联。该两个目标轨迹可以称为旧轨迹。将该两个目标轨迹的轨迹集合作为新的目标轨迹，相应的，也就使得目标轨迹的数量减少1。

一种实现方式中，针对其他每一目标轨迹(即除上述两个旧轨迹以外的目标轨迹)，可以计算该其他目标轨迹与上述两个旧轨迹的关联相似度的平均值，作为该其他目标轨迹与该新的目标轨迹的图像特征之间的关联相似度。

另一种实现方式中，也可以对该两个旧轨迹进行轨迹合并，并获取合并后的轨迹的图像特征。进而，针对其他每一目标轨迹(即除上述两个旧轨迹以外的目标轨迹)，可以计算该其他目标轨迹与合并后的轨迹的图像特征之间的关联相似度，作为该其他目标轨迹与该两个旧轨迹对应的轨迹集合(即该新的目标轨迹)的图像特征之间的关联相似度。

基于上述步骤S103和步骤S104，在执行一次循环后，目标轨迹的数量减少1。基于此，当执行多次循环后，若目标轨迹的数量减少为第一数目，则停止循环。此时，每一目标轨迹也就是同一个目标的轨迹。可以理解的是，此时的一个目标轨迹可能为包含多个最初的目标轨迹的轨迹集合，也可能为最初的目标轨迹。

按照上述处理过程，能够实现基于全局聚类算法，结合轨迹的图像特征的相似度，有效地确定出各相机中属于同一个目标的轨迹，即，有效地对各目标轨迹进行关联。相对于通过比较相似度与预设阈值的大小关系，对目标轨迹进行关联的方式，能够避免阈值设置的主观经验性，提高目标轨迹关联的准确度。

在一个实施例中，参见图2，在图1的基础上，上述步骤S102可以包括以下步骤：

S1021：分别获取每一目标轨迹在各视频帧中对应的图像特征的平均值，作为该目标轨迹的图像特征。

S1022：计算每两个目标轨迹的图像特征之间的相似度，作为原始相似度。

S1023：基于多个相机的视野区域之间的关系，对原始相似度进行优化，得到各关联相似度。

针对步骤S1021，一种实现方式中，可以基于特征提取网络，分别提取目标轨迹在各视频帧中对应的图像特征，并计算各图像特征的平均值，作为该目标轨迹的图像特征。

另一种实现方式中，若目标为人物，也可以获取基于视频图像训练的行人重识别网络，并基于该行人重识别网络获取目标轨迹在视频图像中的图像特征。基于此，获取到的图像特征还能够体现目标轨迹的时序信息，相应的，也就能够提高计算出的关联相似度的准确度，以提高对目标轨迹进行关联的准确度。

针对步骤S1023，可以采用不同的方式对原始相似度进行优化。

在一个实施例中，参见图3，在图2的基础上，上述步骤S1023可以包括以下步骤：

S10231：针对每两个目标轨迹，若该两个目标轨迹各自对应的时间段之间存在重合部分，且该两个目标轨迹各自所属的相机的视野区域之间不存在重合部分，则将该两个目标轨迹对应的原始相似度置为第一数值，得到各关联相似度。

其中，第一数值可以为0。或者，也可以设置第一数值为较小的，且接近于0的数值，例如，可以设置第一数值为0.0001，但并不限于此。

在本申请实施例中，若该两个目标轨迹各自所属的相机的视野区域之间不存在重合部分，表明同一个目标不可能同时出现在该两个相机的视野区域中。因此，若该两个目标轨迹各自对应的时间段之间存在重合部分，表明该两个目标轨迹为不同的目标的轨迹，则可以将该两个目标轨迹对应的原始相似度置为第一数值。

基于上述处理，能够消除异常的原始相似度，提高关联相似度的准确度，进而，能够提高对目标轨迹进行关联的准确度。

在一个实施例中，参见图4，在图2的基础上，上述步骤S1023可以包括以下步骤：

S10232：针对每一目标轨迹，将该目标轨迹输入至预先训练的该目标轨迹所属的第一相机对应的时空转移网络，得到多个相机中除第一相机外的每一第二相机的转移概率和预测时长。

S10233：将与该目标轨迹和第三相机中的目标轨迹对应的原始相似度置为第一数值；和/或，将与该目标轨迹和第四相机中的待处理轨迹对应的原始相似度置为第一数值，得到各关联相似度。

其中，时空转移网络为基于第一相机对应的训练样本进行训练得到的。训练样本为基于第一相机中的历史样本轨迹，以及多个相机的历史关联结果得到的。例如，基于多个相机的视野区域之间的关系，以及第一相机中的历史样本轨迹，可以得到多个相机的历史关联结果，即，得到其他相机中与第一相机中的历史样本轨迹相关联的历史轨迹。每一第二相机的转移概率表示：该目标轨迹所属的目标在离开第一相机后进入该第二相机的概率。每一第二相机的预测时长表示：该目标轨迹所属的目标从离开第一相机至进入该第二相机之间的时长。第三相机的转移概率小于第一阈值。第四相机的转移概率大于第一阈值，且待处理轨迹与该目标轨迹对应的时间段之间的时长，与第四相机的预测时长差值的绝对值大于第二阈值。

其中，时空转移网络可以包括分类子网络和回归子网络，其中，分类子网络用于确定转移概率，回归子网络用于确定预测时长。在本申请实施例中，每一相机可以对应一个时空转移网络，该时空转移网络的输入数据为该相机中的一个轨迹，例如，可以为该轨迹在视频图像中对应的后指定数目(例如，100)个视频帧中的坐标。该时空转移网络的输出包括：该轨迹所属目标在离开该相机后进入其他每一相机的概率(即其他每一相机的转移概率)，以及该轨迹所属目标从离开该相机至进入其他每一相机之间的时长(即其他每一相机的预测时长)。

其中，第一阈值可以为0.05，或者，也可以为0.1，但并不限于此。第三相机的转移概率小于第一阈值，表明第一相机中的该目标轨迹所属的目标经过第三相机的视野区域的概率很小，因此，可以将与该目标轨迹和第三相机中的目标轨迹对应的原始相似度置为第一数值。

第四相机的转移概率大于第一阈值，若该目标轨迹与第四相机中的某一轨迹(可以称为待比较轨迹)为同一目标的轨迹，则该目标轨迹与该待比较轨迹对应的时间段之间的时长，与第四相机的预测时长之间的差异并不会过大。然而，待处理轨迹与该目标轨迹对应的时间段之间的时长(可以称为目标时长)，与第四相机的预测时长差值的绝对值大于第二阈值，也就是说，目标时长远大于第四相机的预测时长，或者，目标时长远小于第四相机的预测时长。因此，可以确定待处理轨迹与该目标轨迹为不同的目标的轨迹。将与该目标轨迹和待处理轨迹对应的原始相似度置为第一数值。

例如，当目标时长大于max(1.5×预测时长t，预测时长t+thres)，或，目标时长小于min(0.5×预测时长t，预测时长t-thres)时，将与该目标轨迹和待处理轨迹对应的原始相似度置为第一数值。其中，阈值thres可以为10秒，或者也可以为12秒，但并不限于此。

例如，参见图5，图5为本申请实施例提供的一种相机的视野区域之间的关系示意图。

图5中包含5个相机，相机a-相机e，第一阈值为5％。若相机a中的目标轨迹对应的预测结果包括：80％概率经过预测时长t1出现在相机c，20％概率经过预测时长t2出现在相机e，出现在相机b和相机d的概率均小于5％，则可以将与该目标轨迹和相机b、d中所有轨迹对应的原始相似度置为0。将与该目标轨迹和相机c，e中的待处理轨迹对应的原始相似度置为0。其中，待处理轨迹与该目标轨迹对应的时间段之间的时长，大于max(1.5×预测时长，预测时长+thres)，或，小于min(0.5×预测时长，预测时长-thres)。

一种实现方式中，可以预先基于各相机采集的样本轨迹，以及各样本轨迹之间的关联关系，对每一相机对应的时空转移网络进行训练。其中，各样本轨迹之间的关联关系可以为技术人员结合各相机的视野区域之间的关系进行标记得到的。

在一个实施例中，为了节省标记成本，对各相机的时空转移网络进行训练所使用的轨迹之间的关联关系，也可以是上一次进行轨迹关联时，基于上述步骤S101-S104确定出的。即，基于上一次按照步骤S101-S104确定出的关联关系，得到对应的伪标签，并对各相机的时空转移网络进行训练。

一种实现方式中，在最初对轨迹进行关联时，可以不使用时空转移网络对原始相似度进行优化。当经过多次轨迹关联，得到一定量的关联关系后，可以按照确定出的关联关系对时空转移网络进行训练，并基于训练得到的时空转移网络对下一次关联时的原始相似度进行优化，提高确定出的关联关系的准确度。而更准确的关联关系能够提高训练数据的准确度，可以继续优化时空转移网络的训练。

基于上述处理，能够基于时空转移网络对原始相似度进行优化，提高关联相似度的准确度，也就能够提高确定出的关联关系的准确度，进而，基于确定出的关联关系也就能够进一步提高时空转移网络的精确度，依次循环，能够实现时空转移网络与原始相似度优化的互相促进，迭代优化，且可以省去人工标记的成本。

相应的，在一个实施例中，该方法还可以包括以下步骤：

步骤一：在得到第一数目个目标轨迹后，确定关联得到的前第二数目个轨迹集合，作为待处理轨迹集合。

步骤二：针对每一待处理轨迹集合，将该待处理轨迹集合中的一个轨迹作为输入数据，将该待处理轨迹集合中的其他轨迹与该轨迹对应的时间段之间的时长作为输出数据，对该轨迹所属的相机对应的时空转移网络进行训练。

其中，第二数目可以为第一数目的1/2，或者，也可以为第一数目的2/3，但并不限于此。由于本申请实施例中是优先选取关联相似度最大的两个目标轨迹进行关联，得到轨迹集合，因此，按照上述步骤S101-S104确定出的前第二数目个轨迹集合的准确度较高，可以用于对时空转移网络进行训练，以提高时空转移网络的精确度。

由于属于同一个待处理轨迹集合的轨迹为同一目标的轨迹，因此，在对时空转移网络进行训练时，该待处理轨迹集合中的其他轨迹各自所属的相机与输入的轨迹对应的输出的概率可以设置为1。

基于上述处理，能够基于确定出的关联关系进一步提高时空转移网络的精确度，依次循环，能够实现时空转移网络与原始相似度优化的互相促进，迭代优化，且可以省去人工标记的成本。

在一个实施例中，在上述步骤S102之后，该方法还可以包括以下步骤：

计算包含关联相似度的相似度矩阵的各特征值；确定大于第三阈值的特征值的数目，作为第一数目。

其中，第三阈值可以为0.9，或者，也可以为0.95，但并不限于此。在本申请实施例中，可以基于包含关联相似度的相似度矩阵进行处理。即，在确定出各关联相似度后，可以生成包含各关联相似度的矩阵，即相似度矩阵，该相似度矩阵的行数为目标轨迹的数目(例如，为M)，且列数为目标轨迹的数目。即，该相似度矩阵为对称矩阵，对角线的元素可以为1，除对角线以外的其余各元素分别表示每两个目标轨迹的图像特征之间的关联相似度。进而，可以计算该相似度矩阵的特征值，即，得到M个特征值。然后，可以确定M个特征值中大于第三阈值的特征值的数目，也就是第一数目。

在一个实施例中，参见图6，在图1的基础上，上述步骤S101可以包括以下步骤：

S1011：获取多个相机各自采集的目标的原始轨迹。

S1012：针对每一原始轨迹，根据第一检测方式和/或第二检测方式，确定该原始轨迹对应的视频图像中发生目标交换的视频帧，作为目标视频帧。

其中，第一检测方式基于视频图像中目标的朝向确定目标视频帧；第二检测方式基于视频图像包含的各视频帧的图像特征的相似度的平均水平确定目标视频帧。

S1013：按照目标视频帧在视频图像中的位置，对该原始轨迹进行划分，得到多个目标轨迹。

在本申请实施例中，基于目标跟踪算法，对视频图像进行处理确定出的一个原始轨迹可能包含多个目标，即，该原始轨迹的图像特征包含多个目标的图像特征，若直接比较原始轨迹的图像特征进行轨迹关联，会降低关联的准确度。

为了避免上述情况，可以确定出发生目标交换的原始轨迹(即包含多个目标的原始轨迹)，并对该原始轨迹进行划分，得到多个目标轨迹，使得每一目标轨迹只包含一个目标。

第一检测方式基于视频图像中目标的朝向确定目标视频帧。一种实现方式中，针对一个原始轨迹，可以检测视频图像包含的每一视频帧中该原始轨迹对应的目标的朝向。例如，若目标为人物，则可以检测该人物的朝向(即该人物面向的方向)是否发生跳变，以确定该原始轨迹中是否发生目标交换，并确定发生跳变的视频帧，即目标视频帧。

第二检测方式基于视频图像包含的各视频帧的图像特征的相似度的平均水平确定目标视频帧。例如，针对一个原始轨迹，可以提取视频图像包含的每一视频帧中该原始轨迹对应的图像特征。并计算每两个视频帧中对应的图像特征之间的相似度，然后，计算各相似度的平均值。若该平均值较小，可以确定该原始轨迹中发生目标交换。

在一个实施例中，第一检测方式包括以下步骤：

针对视频图像中的每一视频帧，将该视频帧中与该原始轨迹对应的图像区域输入至预先训练的朝向分类网络，得到该视频帧中该原始轨迹所属的目标的朝向；若该视频帧中该原始轨迹所属的目标的朝向，与视频图像中下一视频帧中该原始轨迹所属的目标的朝向之间的改变量，大于第四阈值，则将该视频帧确定为视频图像中发生目标交换的目标视频帧。

在本申请实施例中，可以预先训练朝向分类网络。例如，该朝向分类网络的输入数据为视频帧中目标所占的图像区域，输出数据包括：该目标的朝向为各预设方向的置信度。

一种实现方式中，预设方向可以包含8个方向，例如，参见图7，图7为本申请实施例提供的预设方向的示意图。

其中，方向0表示目标朝向相机、方向4表示目标背向相机，方向2表示目标按照方向0顺时针转90度的朝向；方向6表示目标按照方向0逆时针转90度的朝向，方向3表示方向4与方向2的中心线的方向，方向5表示方向4与方向6的中心线的方向，方向7表示方向0与方向6的中心线的方向；方向1表示方向0与方向2的中心线的方向。

针对上述示例，若预测的相邻两个视频帧中目标的朝向之间的改变量大于2，则可以确定该原始轨迹中发生目标交换。例如，预测的一个视频帧中目标的朝向为方向1，下一个视频帧中目标的朝向为方向3，则可以确定该视频帧处发生目标交换，该视频帧为目标视频帧。

在一个实施例中，第二检测方式包括以下步骤：

步骤1：针对视频图像中的每一视频帧，确定视频图像中该视频帧以及该视频帧之前的视频帧，作为第一视频帧，以及确定视频图像中该视频帧之后的视频帧，作为第二视频帧。

步骤2：计算该原始轨迹在第一视频帧中对应的各图像特征之间的相似度的平均水平，作为第一平均相似度；以及该原始轨迹在第二视频帧中对应各图像特征之间的相似度的平均水平，作为第二平均相似度。

步骤3：确定对应的第一平均相似度和第二平均相似度的和值最大的视频帧，作为视频图像中发生目标交换的目标视频帧。

在本申请实施例中，可以基于公式(1)计算，原始轨迹在N个视频帧中对应的各图像特征之间的相似度的平均水平。

其中，L表示原始轨迹在N个视频帧中对应的各图像特征之间的相似度的平均水平，S表示原始轨迹在N个视频帧中对应的各图像特征之间的相似度构成的相似度矩阵，相似度矩阵S为N×N的对称矩阵，对角线的元素为1，sum(S)表示相似度矩阵S中所有元素的总和值。

进而，针对每一视频帧，可以按照公式(2)，计算对应的第一平均相似度和第二平均相似度的和值。

D表示第n个视频帧对应的第一平均相似度和第二平均相似度的和值，S1表示该原始轨迹在前n个视频帧中对应的各图像特征之间的相似度构成的相似度矩阵，相似度矩阵S1为n×n的对称矩阵，对角线的元素为1，sum(S1)表示该相似度矩阵S1中所有元素的总和值。S2表示该原始轨迹除前n个视频帧以为的其他视频帧中对应的各图像特征之间的相似度构成的相似度矩阵，相似度矩阵S2为(N-n)×(N-n)的对称矩阵，对角线的元素为1，sum(S2)表示该相似度矩阵S2中所有元素的总和值。

另外，基于公式(1)，若确定该原始轨迹在视频图像包含的视频帧中对应的各图像特征之间的相似度的平均水平，小于第五阈值(例如，可以为0.6)，则可以确定该原始轨迹中发生目标交换。

另一种实现方式中，也可以计算该原始轨迹在第一视频帧中对应的各图像特征之间的相似度的平均值，作为第一平均相似度；以及该原始轨迹在第二视频帧中对应各图像特征之间的相似度的平均值，作为第二平均相似度。

基于相同的发明构思，本申请实施例还提供了一种跨相机轨迹关联装置，参见图8，图8为本申请实施例提供的一种跨相机轨迹关联装置的结构图，该装置可以包括：

目标轨迹获取模块801，用于获取多个相机各自采集的目标的轨迹，作为目标轨迹；

关联相似度获取模块802，用于获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度；

关联模块803，用于将关联相似度最大的两个轨迹进行关联，得到包含该两个轨迹的轨迹集合作为新的目标轨迹；

计算模块804，用于计算新的目标轨迹与其他目标轨迹的图像特征之间的关联相似度，并触发所述关联模块，直至得到第一数目个目标轨迹。

可选的，所述关联相似度获取模块802，包括：

可选的，所述装置还包括：

可选的，所述目标轨迹获取模块801，包括：

本申请实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，

存储器903，用于存放计算机程序；

处理器901，用于执行存储器903上所存放的程序时，实现上述实施例中的跨相机轨迹关联方法。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行本申请实施例提供的跨相机轨迹关联方法。

本申请实施例还提供了另一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请实施例提供的跨相机轨迹关联方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims

1.一种跨相机轨迹关联方法，其特征在于，所述方法包括：

获取多个相机各自采集的目标的轨迹，作为目标轨迹；

2.根据权利要求1所述的方法，其特征在于，所述获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述多个相机的视野区域之间的关系，对所述原始相似度进行优化，得到各关联相似度，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于所述多个相机的视野区域之间的关系，对所述原始相似度进行优化，得到各关联相似度，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，在所述获取各目标轨迹中每两个轨迹的图像特征之间的相似度，作为关联相似度之后，所述方法还包括：

计算包含所述关联相似度的相似度矩阵的各特征值；

确定大于第三阈值的特征值的数目，作为第一数目。

7.根据权利要求1所述的方法，其特征在于，所述获取多个相机各自采集的目标的轨迹，作为目标轨迹，包括：

获取多个相机各自采集的目标的原始轨迹；

8.根据权利要求7所述的方法，其特征在于，所述第一检测方式包括以下步骤：

9.根据权利要求7所述的方法，其特征在于，所述第二检测方式包括以下步骤：

10.一种跨相机轨迹关联装置，其特征在于，所述装置包括：

11.根据权利要求10所述的装置，其特征在于，所述关联相似度获取模块，包括：

12.根据权利要求11所述的装置，其特征在于，所述关联相似度获取子模块，具体用于针对每两个目标轨迹，若该两个目标轨迹各自对应的时间段之间存在重合部分，且该两个目标轨迹各自所属的相机的视野区域之间不存在重合部分，则将该两个目标轨迹对应的原始相似度置为第一数值，得到各关联相似度。

13.根据权利要求11所述的装置，其特征在于，所述关联相似度获取子模块，具体用于针对每一目标轨迹，将该目标轨迹输入至预先训练的该目标轨迹所属的第一相机对应的时空转移网络，得到所述多个相机中除所述第一相机外的每一第二相机的转移概率和预测时长；

14.根据权利要求13所述的装置，其特征在于，所述装置还包括：

15.根据权利要求10所述的装置，其特征在于，所述装置还包括：

16.根据权利要求10所述的装置，其特征在于，所述目标轨迹获取模块，包括：

17.根据权利要求16所述的装置，其特征在于，所述目标视频帧确定子模块，具体用于针对所述视频图像中的每一视频帧，将该视频帧中与该原始轨迹对应的图像区域输入至预先训练的朝向分类网络，得到该视频帧中该原始轨迹所属的目标的朝向；

18.根据权利要求16所述的装置，其特征在于，所述目标视频帧确定子模块，具体用于针对所述视频图像中的每一视频帧，确定所述视频图像中该视频帧以及该视频帧之前的视频帧，作为第一视频帧，以及确定所述视频图像中该视频帧之后的视频帧，作为第二视频帧；

19.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。