CN116681739A - 目标运动轨迹生成方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种目标运动轨迹生成方法、装置及电子设备，涉及智能交通技术领域，该方法包括：从多个图像采集设备采集的多个视角下的包含多个运动目标的图像中，确定多个运动目标的检测位置信息；在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标分别对应的跟踪位置信息，并生成多个运动目标分别对应的运动轨迹。本实施例中，将单视角跟踪与多视角跟踪相结合，基于运动目标的检测位置信息和预测位置信息，确定跟踪位置信息并生成运动轨迹，不依赖缓存轨迹，实现了实时在线的多视角多目标跟踪。而且，由于融合了多个视角的检测位置信息，具备更强的鲁棒性。

Description

目标运动轨迹生成方法、装置及电子设备

技术领域

本申请涉及智能交通技术领域，尤其涉及一种目标运动轨迹生成方法、装置及电子设备。

背景技术

在车路协同、数字孪生、全息路口等智能交通系统中，往往会布设多个相机传感器来对路口或路段进行全场景感知。为了在全场景层面对运动目标的整体运行轨迹进行还原，需要开发跨相机多目标跟踪算法来串联目标，形成连续的运行轨迹。因此，跨相机多目标跟踪技术具有重要的研究价值与市场应用前景。

目前，相关技术中，采用基于轨迹聚类的跨相机目标跟踪方法实现跨相机多目标跟踪，包括单相机轨迹生成与跨相机轨迹聚类两个过程。该方法利用轨迹的时序信息进行关联，需要缓存轨迹，对于实时性要求高的系统有很大局限性。

发明内容

本申请实施例提供一种目标运动轨迹生成方法、装置及电子设备，以提高轨迹生成效率，满足实时性要求。

第一方面，本申请实施例提供了一种目标运动轨迹生成方法，该方法包括：

从多个图像采集设备分别对应的视角下采集的包含运动目标的图像中，确定多个运动目标的检测位置信息；

在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标分别对应的跟踪位置信息；

根据多个运动目标分别对应的跟踪位置信息，生成多个运动目标分别对应的运动轨迹。

第二方面，本申请实施例提供了一种目标运动轨迹生成装置，该装置包括：

检测位置确定模块，用于从多个图像采集设备分别对应的视角下采集的包含运动目标的图像中，确定多个运动目标的检测位置信息；

跟踪位置确定模块，用于在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标分别对应的跟踪位置信息；

轨迹生成模块，用于根据多个运动目标分别对应的跟踪位置信息，生成多个运动目标分别对应的运动轨迹。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，处理器在执行所述计算机程序时实现上述任一项所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。

与现有技术相比，本申请具有如下优点：

本申请提供了一种目标运动轨迹生成方法、装置及电子设备，首先，从多个图像采集设备分别对应的视角下采集的包含运动目标的图像中，确定多个运动目标的检测位置信息；其次，在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标分别对应的跟踪位置信息；最后，根据多个运动目标分别对应的跟踪位置信息，生成多个运动目标分别对应的运动轨迹。本实施例中，将单视角跟踪与多视角跟踪相结合，基于运动目标的检测位置信息和预测位置信息，确定跟踪位置信息并生成运动轨迹，不依赖缓存轨迹，实现了实时在线的多视角多目标跟踪。而且，由于融合了多个视角的检测位置信息，具备更强的鲁棒性。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请的一些实施方式，而不应将其视为是对本申请范围的限制。

图1为本申请提供的目标运动轨迹生成方法的一个应用场景示意图；

图2为本申请一实施例的目标运动轨迹生成方法的流程图；

图3为本申请一实施例的目标运动轨迹生成方法的示意图；

图4为本申请一实施例的目标运动轨迹生成装置的结构框图；以及

图5为用来实现本申请实施例的电子设备的框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的构思或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的，而非限制性的。

为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

为了解决跨相机目标跟踪问题，一种相关技术中，采用基于Reid的跨相机目标跟踪方法。通过提取各相机采集的目标的视觉特征，构建关联矩阵对跨相机目标进行匹配跟踪。其中融合了深度学习特征，可以对没有重叠区的相机间目标进行关联，但是对于车路协同等低算力的边缘计算场景，由于该方法需要较多的计算资源，因此，在算力上存在一些瓶颈。

另一种相关技术中，采用基于鸟瞰图的跨相机目标跟踪方法。该方法目前主要在自动驾驶车载环视系统中使用，将各相机采集的图像中的目标的视觉特征映射到鸟瞰图(Bird'sEye View，BEV)视角，然后在BEV视角设计目标检测与跟踪算法，对车辆周围的目标进行跟踪。该方法目前也存在计算量大的缺点。

针对上述各相关技术中的方法在现实场景中的局限性，本申请提出了一种目标运动轨迹生成方法。

图1为本申请提供的目标运动轨迹生成方法的一个应用场景示意图。如图1所示，利用多个相机从多个视角采集多个运动目标的图像，并利用目标检测算法在图像中进行目标检测，得到多个运动目标的感知信息：类别信息、置信度、特征信息(例如，车辆颜色、车牌等)、检测位置框及其中心点等，如图1所示的相机1感知信息、相机2感知信息…相机n感知信息，其中包括相机1、相机2…相机n分别拍摄的包含运动目标的图像中运动目标的检测位置框及其中心点。将多个运动目标的检测位置框及其中心点进行时空对齐，统一到同一个世界坐标系下进行后续跟踪。

对于首次出现在相机1、相机2…相机n采集的图像中的多个运动目标，不存在跟踪轨迹，如图1中所示的无跟踪链，对于至少两个视角的重叠采集区域内，同一个目标可能被多个相机观测到，则进行重叠区域目标去重，具体包括：计算相机1、相机2…相机n采集的图像中的目标的检测位置框的中心点的欧氏距离，构造距离代价矩阵。预先配置每个相机对应的优先级权重，将优先级权重与距离代价矩阵相乘，得到加权距离代价矩阵，然后采用非极大值抑制算法，基于加权距离代价矩阵进行跨相机间目标合并，对于重叠区域中的多个相机观测到同一目标的情况，保留一个目标的感知信息。将去重后的感知信息作为多视角跟踪模型的初始值，更新多视角跟踪模型。建立每个运动目标对应的感知信息字典，感知结果字典记载各运动目标对应的不同视角的感知信息。

对于一个视角的采集区域内，若存在当前运动目标的跟踪轨迹，继续进行跟踪，即如图1中所示的“非重叠区有跟踪链”，利用单视角级联匹配模块进行级联匹配。具体的，分每个相机将运动目标的检测位置框与同视角下所有预测位置框计算交并比(IntersectionOver Union，IOU)，得到交并比代价矩阵，然后使用匈牙利算法进行匹配，匈牙利算法的输入为交并比代价矩阵，输出为检测位置框和预测位置框的匹配关系。其中，预测位置框是多视角跟踪模型根据之前至少一帧图像中运动目标的感知信息预测得到的，多视角跟踪模型可以通过卡尔曼滤波模型实现。对于匹配到预测位置框的检测位置框，如图1中所示的“Y”的情况，则进行级联匹配，即，将检测位置框的中心点作为与其匹配的预测位置框对应的运动目标的跟踪位置信息。对于没有匹配到预测位置框的检测位置框，如图1中所示的“N”的情况，则再次构建检测位置框的中心点与预测中心点的欧式距离矩阵，然后使用匈牙利算法进行匹配，根据匹配结果确定与检测位置框的中心点匹配的预测中心点，进行级联匹配，即，将检测位置框的中心点作为与其匹配的预测中心点对应的运动目标的跟踪位置信息。其中，预测中心点为多视角跟踪模型根据前一帧数据预测的运动目标的中心点。利用单视角级联匹配模块输出的运动目标的跟踪位置信息更新多视角跟踪模型。

在两个视角的重叠采集区域内，若存在当前运动目标的跟踪轨迹，继续进行跟踪，即如图1中所示的“重叠区有跟踪链”，利用多视角级联匹配模块进行级联匹配。具体的，当运动目标在第一视角的采集区域内，利用检测位置框和预测位置框进行单视角级联匹配，与前述单视角级联匹配模块的处理过程相同，此处不再赘述。当目标运动到第一视角和第二视角的重叠采集区域内，且由于目标首次出现在第二视角的采集区域内，不存在第二视角下的前一帧图像，无法进行预测，因此，此时目标在第二视角采集区域内不存在预测位置框，则进行跨相机距离匹配，计算运动目标在第二视角采集区域内的检测位置框的中心点和第一视角(此时，第一视角表示构成重叠区域的除了第二视角之外的多个视角)采集区域内的多个运动目标的预测中心点之间的欧式距离，计算距离代价矩阵，利用匈牙利算法，得到与检测位置框的中心点匹配的第一视角采集区域内的预测中心点，将检测位置框的中心点作为匹配的第一视角采集区域内的预测中心点对应的运动目标的跟踪位置信息。当目标运动到重叠采集区域之外，此时运动目标在第二视角的采集区域内，则进行单视角级联匹配。利用多视角级联匹配模块输出的运动目标的跟踪位置信息更新多视角跟踪模型。

其中，当运动目标从第一视角、第一视角和第二视角的重叠区域的运动过程中，多视角跟踪模型的输入数据从第一视角的数据、变成第一视角的数据和第二视角的数据，如果是两个以上的视角重叠，则视角跟踪模型的输入数据为两个以上视角的数据，由于融合了多个视角的数据，则输出结果更加准确。其中，多视角跟踪模型可以通过卡尔曼滤波模型实现，多视角跟踪模型根据多个运动目标的跟踪位置信息，输出多个运动目标的运动轨迹。

本实施例中，将单视角跟踪与多视角跟踪进行整合，同时不依赖轨迹缓存，实现了在线实时的跨相机目标跟踪；通过构建单视角级联匹配与多视角级联匹配模块，以IOU为主，欧式距离为辅进行自适应的级联匹配，综合考虑感知目标的形状特征与距离特征，提升了关联成功率；通过各单视角拆解进行IOU关联，保障匈牙利算法进行匹配时搜索空间控制在合理范围，提升了算法运行效率，可以在边缘设备上实时运行。

本申请实施例提供了一种目标运动轨迹生成方法，本实施例中的方法可以应用计算设备中，计算设备可以包括：服务器、终端设备等。如图2所示为本申请一实施例的目标运动轨迹生成方法的流程图，包括：

步骤S201，从多个图像采集设备分别对应的视角下采集的包含运动目标的图像中，确定多个运动目标的检测位置信息。

其中，可以利用目标检测算法从图像中检测出目标的位置信息。

步骤S202，在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标分别对应的跟踪位置信息。

其中，预测位置信息包括利用当前图像之前至少一帧图像(目标之前出现过的图像帧)预测出的目标在当前图像中的位置信息。例如，可以利用卡尔曼滤波模型进行位置预测。

其中，上述“至少两个视角”可以包括上述“一个视角”，也可以不包括。目标的运动过程可以包括从一个视角运动到至少两个视角的重叠区域，再运动到一个视角；也可以包括一直在一个视角中运动；还可以包括一直在至少两个视角的重叠区域运动等多种情况。

步骤S203，根据多个运动目标分别对应的跟踪位置信息，生成多个运动目标分别对应的运动轨迹。

根据每个运动目标的多个跟踪位置信息，生成每个运动目标对应的运动轨迹。

本申请提供的目标运动轨迹生成方法，首先，从多个图像采集设备分别对应的视角下采集的包含运动目标的图像中，确定多个运动目标的检测位置信息；其次，在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标分别对应的跟踪位置信息；最后，根据多个运动目标分别对应的跟踪位置信息，生成多个运动目标分别对应的运动轨迹。本实施例中，将单视角跟踪与多视角跟踪相结合，基于运动目标的检测位置信息和预测位置信息，确定跟踪位置信息并生成运动轨迹，不依赖缓存轨迹，实现了实时在线的多视角多目标跟踪。而且，由于融合了多个视角的检测位置信息，具备更强的鲁棒性。

其中，在确定跟踪位置信息时，根据目标所处的采集区域不同，采用相应的处理方式，具体见如下实施例：

在一种实现方式中，跟踪位置信息包括第一跟踪位置信息和第二跟踪位置信息；步骤S202，在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标分别对应的跟踪位置信息，包括：

步骤S2021，若多个运动目标运动到至少两个视角中的第一视角的采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标在第一视角的采集区域内分别对应的第一跟踪位置信息；

步骤S2022，若多个运动目标运动到至少两个视角的重叠采集区域内，且至少两个视角中的第二视角的采集区域内不存在多个运动目标的预测位置信息，则基于多个运动目标在第一视角的采集区域内的预测位置信息和多个运动目标在重叠采集区域内的检测位置信息，确定重叠区域内的多个运动目标分别对应的第二跟踪位置信息。

在实际应用中，根据采集的图像中携带的图像采集设备的标识，自适应的进行单视角级联匹配与多视角级联匹配。当多个运动目标在第一视角的采集区域内时，基于之前至少一帧的图像进行位置预测，得到每个运动目标的至少一个预测位置信息。基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标在第一视角的采集区域内分别对应的第一跟踪位置信息。若多个运动目标运动到至少两个视角的重叠采集区域内，且至少两个视角中的第二视角的采集区域内不存在多个运动目标的预测位置信息，例如，目标首次出现在第二视角下。由于不存在该目标的前一帧图像，则无法得到预测位置信息，则基于在第一视角的采集区域内的预测位置信息和多个运动目标在重叠采集区域内的检测位置信息，确定重叠区域内的多个运动目标分别对应的第二跟踪位置信息。

其中，由于检测位置信息对应的运动目标是未知的，预测位置信息对应的运动目标是已知的，检测位置信息匹配到预测位置信息之后，预测信息对应的运动目标，即为检测位置信息对应的运动目标，由此，检测位置信息匹配到了相应的运动目标，将检测位置信息作为运动目标的跟踪位置信息。

本实施例中，通过感知信息自适应选择确定跟踪位置信息的方式，保障跨杆(跨图像采集设备)成功率的前提下兼具高效率。

在一种实现方式中，检测位置信息包括检测位置框和检测位置框中心点，预测位置信息包括预测位置框和预测中心点；步骤S2021，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标在第一视角的采集区域内分别对应的第一跟踪位置信息，包括：

基于多个运动目标的检测位置框和预测位置框的交并比，确定与预测位置框匹配的检测位置框，将与预测位置框匹配的检测位置框的中心点，作为预测位置框对应的运动目标在第一视角的采集区域内的第一跟踪位置信息；

对于不存在匹配的预测位置框的检测位置框，基于检测位置框的中心点与预测中心点的欧式距离，确定与预测中心点匹配的检测位置框的中心点，将与预测中心点匹配的检测位置框的中心点，作为预测中心点对应的运动目标在第一视角的采集区域内的第一跟踪位置信息。

具体的，按照每个图像采集设备将运动目标的检测位置框与同视角下预测位置框计算交并比，得到交并比代价矩阵，然后使用匈牙利算法进行匹配，匈牙利算法的输入为交并比代价矩阵，输出为检测位置框和预测位置框的匹配关系。对于存在匹配的预测位置框的检测位置框，将该检测位置框的中心点作为预测位置框对应的运动目标在第一视角的采集区域内的第一跟踪位置信息。

对于通过交并比计算，不存在匹配的预测位置框的检测位置框，计算检测位置框的中心点与预测中心点的欧式距离，预测中心点为多视角跟踪模型根据前一帧数据预测的运动目标的中心点。通过欧式距离确定检测位置框的中心点匹配的预测中心点。将与预测中心点匹配的检测位置框的中心点，作为预测中心点对应的运动目标在第一视角的采集区域内的第一跟踪位置信息。本实施例中，利用交并比和欧式距离进行自适应的级联匹配，综合考虑感知目标的形状特征与距离特征，可以提升确定跟踪位置信息的准确率。

在一种实现方式中，基于检测位置框的中心点与预测中心点的欧式距离，确定与预测中心点匹配的检测位置框的中心点，包括：

对于同车道的运动目标，基于检测位置框的中心点与预测中心点的欧式距离和第一距离阈值，确定与预测中心点匹配的检测位置框的中心点；

对于不同车道的运动目标，基于检测位置框的中心点与预测中心点的欧式距离和第二距离阈值，确定与预测中心点匹配的检测位置框的中心点；

其中，第一距离阈值大于第二距离阈值。

在实际应用中，检测框对应的运动目标是哪个目标是未知的，预测中心点对应的运动目标是已知的，对于通过交并比计算，不存在匹配的预测位置框的至少一个检测位置框，至少一个检测位置框的中心点和至少一个预测中心点之间计算欧式距离，从而确定预测中心点匹配的检测位置框的中心点。在进行距离计算时，根据检测位置框的中心点和预测中心点可以确定目标是同车道还是不同车道，选择不同的距离阈值确定最终的匹配结果。在进行欧式距离匹配时，为了降低误匹配率，对于同车道目标，使用匹配算法和较大的距离阈值，确定与检测位置框的中心点匹配的预测中心点；对于不同车道目标，使用匹配算法和较小的距离阈值，确定与检测位置框的中心点匹配的预测中心点。其中，匹配算法可以是匈牙利算法等。本实施例中，通过融合车道规则的距离匹配，提升无交并比时的召回率。

在一种实现方式中，步骤S2022，检测位置信息包括检测位置框的中心点，预测位置信息包括预测中心点；基于多个运动目标在第一视角的采集区域内的预测位置信息和多个运动目标在重叠采集区域内的检测位置信息，确定重叠采集区域内的多个运动目标分别对应的第二跟踪位置信息，包括：

基于多个运动目标在第一视角的采集区域内的预测中心点和多个运动目标在重叠采集区域内的检测位置框的中心点的欧氏距离，确定重叠采集区域内的多个运动目标分别对应的第二跟踪位置信息。

其中，当目标运动到第一视角和第二视角的重叠采集区域内，且首次出现在第二视角的采集区域内，此时不存在第二视角的重叠采集区域内的预测位置框，进行跨相机距离匹配，计算运动目标在第二视角的采集区域内的检测位置框的中心点和第一视角(此时，第一视角表示构成重叠区域的除了第二视角之外的多个视角)采集区域内的多个预测中心点之间的欧式距离，计算距离代价矩阵，利用匈牙利算法，得到与检测位置框的中心点匹配的第一视角采集区域内的预测中心点，将检测位置框的中心点作为匹配的第一视角采集区域内的预测中心点对应的运动目标的跟踪位置信息。

在一种实现方式中，若多个运动目标运动到至少两个视角的重叠采集区域内，且至少两个视角中的第一视角和第二视角分别对应的采集区域内的同一运动目标的跟踪位置信息不同，该方法还包括：

将第一视角和第二视角分别对应的重叠区域内的同一运动目标的跟踪位置信息进行融合计算，将融合计算结果作为同一运动目标在重叠采集区域内的跟踪位置信息。

在实际应用中，对于同一运动目标，在第一视角和第二视角的重叠区域内，如果同一时刻第一视角对应的采集区域，和第二视角对应的采集区域内的同一运动目标的跟踪位置信息不同，为了得到更加准确的跟踪位置信息，则将第一视角和第二视角分别对应的采集区域内的同一运动目标的跟踪位置信息进行融合计算，将融合计算结果作为该运动目标的跟踪位置信息。

在一示例中，目标的运动轨迹生成过程如图3所示。目标从相机A的视角运动到A视角和相机B视角的重叠区域，再运动到非重叠区域的相机B的视角，图中的圆点表示跟踪位置信息，当目标在非重叠区域时，跟踪位置信息是利用单视角级联匹配的方式得到的，当目标运动到相机A和相机B视角的重叠区域时，采用跨相机距离匹配的方式确定跟踪位置信息，通过每个相机视角下的跟踪位置信息，生成每个相机对应的运动轨迹，如图3中所示的相机A视角下连接各圆点的黑色实线，以及相机B视角下连接各圆点的黑色实线，将重叠区域的跟踪位置信息进行融合计算，从而得到目标从相机A视角运动到相机B视角的整个过程的运动轨迹，如图3中所示的白色虚线。

在一种实现方式中，检测位置信息包括检测位置框的中心点，若多个运动目标首次出现在多个视角下，确定多个运动目标的检测位置信息之后，该方法还包括：

基于多个运动目标的检测位置框的中心点之间的欧氏距离，以及多个视角分别对应的优先级，对多个视角的重叠采集区域内出现至少两次的同一运动目标进行去重处理。

在实际应用中，同一个目标可能被多个相机观测到，进行重叠区域目标去重，具体包括：计算多个图像采集设备采集的图像中的目标的检测位置框的中心点的欧氏距离，构造距离代价矩阵。预先配置每个相机对应的优先级权重，将优先级权重与距离代价矩阵相乘，得到加权距离代价矩阵，然后采用非极大值抑制算法，基于加权距离代价矩阵进行跨相机间目标合并，对于重叠区域中的多个相机观测到同一目标的情况，保留一个目标的感知信息。将去重后的感知信息作为多视角跟踪模型的初始值，更新多视角跟踪模型。建立每个运动目标对应的感知信息字典，感知结果字典记载各运动目标对应的不同视角的感知信息，包括：类别信息、置信度、特征信息(例如，车辆颜色、车牌等)以及检测位置框及其中心点等。

与本申请实施例提供的方法的应用场景以及方法相对应地，本申请实施例还提供一种目标运动轨迹生成装置。如图4所示为本申请一实施例的目标运动轨迹生成装置的结构框图，该装置包括：

检测位置确定模块401，用于从多个图像采集设备分别对应的视角下采集的包含运动目标的图像中，确定多个运动目标的检测位置信息。

跟踪位置确定模块402，用于在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标分别对应的跟踪位置信息。

轨迹生成模块403，用于根据多个运动目标分别对应的跟踪位置信息，生成多个运动目标分别对应的运动轨迹。

本申请提供的目标运动轨迹生成装置，首先，从多个图像采集设备分别对应的视角下采集的包含运动目标的图像中，确定多个运动目标的检测位置信息；其次，在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标分别对应的跟踪位置信息；最后，根据多个运动目标分别对应的跟踪位置信息，生成多个运动目标分别对应的运动轨迹。本实施例中，将单视角跟踪与多视角跟踪相结合，基于运动目标的检测位置信息和预测位置信息，确定跟踪位置信息并生成运动轨迹，不依赖缓存轨迹，实现了实时在线的多视角多目标跟踪。而且，由于融合了多个视角的检测位置信息，具备更强的鲁棒性。

在一种实现方式中，跟踪位置信息包括第一跟踪位置信息和第二跟踪位置信息；检测位置确定模块401，用于：

若多个运动目标运动到至少两个视角中的第一视角的采集区域内，基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标在第一视角的采集区域内分别对应的第一跟踪位置信息；

若多个运动目标运动到至少两个视角的重叠采集区域内，且至少两个视角中的第二视角的采集区域内不存在多个运动目标的预测位置信息，则基于多个运动目标在第一视角的采集区域内的预测位置信息和多个运动目标在重叠采集区域内的检测位置信息，确定重叠采集区域内的多个运动目标分别对应的第二跟踪位置信息。

在一种实现方式中，检测位置信息包括检测位置框和检测位置框中心点，预测位置信息包括预测位置框和预测中心点；位置确定模块401在基于多个运动目标的检测位置信息和预测位置信息，确定多个运动目标在第一视角的采集区域内分别对应的第一跟踪位置信息时，用于：

基于多个运动目标的检测位置框和预测位置框的交并比，确定与预测位置框匹配的检测位置框，将与预测位置框匹配的检测位置框的中心点，作为预测位置框对应的运动目标在第一视角的采集区域内的第一跟踪位置信息；

对于不存在匹配的预测位置框的检测位置框，基于检测位置框的中心点与预测中心点的欧式距离，确定与预测中心点匹配的检测位置框的中心点，将与预测中心点匹配的检测位置框的中心点，作为预测中心点对应的运动目标在第一视角的采集区域内的第一跟踪位置信息。

在一种实现方式中，位置确定模块401在基于检测位置框的中心点与预测中心点的欧式距离，确定与预测中心点匹配的检测位置框的中心点时，用于：

对于同车道的运动目标，基于检测位置框的中心点与预测中心点的欧式距离和第一距离阈值，确定与预测中心点匹配的检测位置框的中心点；

对于不同车道的运动目标，基于检测位置框的中心点与预测中心点的欧式距离和第二距离阈值，确定与预测中心点匹配的检测位置框的中心点；

其中，第一距离阈值大于第二距离阈值。

在一种实现方式中，检测位置信息包括检测位置框的中心点，预测位置信息包括预测中心点；位置确定模块401在基于多个运动目标在第一视角的采集区域内的预测位置信息和多个运动目标在重叠采集区域内的检测位置信息，确定重叠采集区域内的多个运动目标分别对应的第二跟踪位置信息时，用于：

基于多个运动目标在第一视角的采集区域内的预测中心点和多个运动目标在重叠采集区域内的检测位置框的中心点的欧氏距离，确定重叠采集区域内的多个运动目标分别对应的第二跟踪位置信息。

在一种实现方式中，若多个运动目标运动到至少两个视角的重叠采集区域内，且至少两个视角中的第一视角和第二视角分别对应的采集区域内的同一运动目标的跟踪位置信息不同，装置还用于：

将第一视角和第二视角分别对应的采集区域内的同一运动目标的跟踪位置信息进行融合计算，将融合计算结果作为同一运动目标在重叠采集区域内的跟踪位置信息。

在一种实现方式中，检测位置信息包括检测位置框的中心点，若多个运动目标首次出现在多个视角下，确定多个运动目标的检测位置信息之后，装置还用于：

基于多个运动目标的检测位置框的中心点之间的欧氏距离，以及多个视角分别对应的优先级，对多个视角的重叠采集区域内出现至少两次的同一运动目标进行去重处理。

本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，并具备相应的有益效果，在此不再赘述。

图5为用来实现本申请实施例的电子设备的框图。如图5所示，该电子设备包括：存储器510和处理器520，存储器510内存储有可在处理器520上运行的计算机程序。处理器520执行该计算机程序时实现上述实施例中的方法。存储器510和处理器520的数量可以为一个或多个。

该电子设备还包括：

通信接口530，用于与外界设备进行通信，进行数据交互传输。

如果存储器510、处理器520和通信接口530独立实现，则存储器510、处理器520和通信接口530可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器510、处理器520及通信接口530集成在一块芯片上，则存储器510、处理器520及通信接口530可以通过内部接口完成相互间的通信。

本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本申请实施例中提供的方法。

本申请实施例还提供了一种芯片，该芯片包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的方法。

本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。

进一步地，可选的，上述存储器可以包括只读存储器和随机访问存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机访问存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM均可用。例如，静态随机访问存储器(Static RAM，SRAM)、动态随机访问存储器(Dynamic Random Access Memory，DRAM)、同步动态随机访问存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机访问存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机访问存储器(Enhanced SDRAM，ESDRAM)、同步链接动态随机访问存储器(Sync link DRAM，SLDRAM)和直接内存总线随机访问存储器(DirectRambus RAM，DR RAM)。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生依照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中描述的或在此以其他方式描述的任何过程或方法可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中描述的或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本申请的示例性实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请记载的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种目标运动轨迹生成方法，其特征在于，所述方法包括：

从多个图像采集设备分别对应的视角下采集的包含运动目标的图像中，确定多个运动目标的检测位置信息；

在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于所述多个运动目标的检测位置信息和预测位置信息，确定所述多个运动目标分别对应的跟踪位置信息；

根据所述多个运动目标分别对应的跟踪位置信息，生成所述多个运动目标分别对应的运动轨迹。

2.根据权利要求1所述的方法，其特征在于，所述跟踪位置信息包括第一跟踪位置信息和第二跟踪位置信息；所述在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于所述多个运动目标的检测位置信息和预测位置信息，确定所述多个运动目标分别对应的跟踪位置信息，包括：

若所述多个运动目标运动到所述至少两个视角中的第一视角的采集区域内，基于所述多个运动目标的检测位置信息和预测位置信息，确定所述多个运动目标在第一视角的采集区域内分别对应的第一跟踪位置信息；

若所述多个运动目标运动到所述至少两个视角的重叠采集区域内，且所述至少两个视角中的第二视角的采集区域内不存在所述多个运动目标的预测位置信息，则基于所述多个运动目标在第一视角的采集区域内的预测位置信息和所述多个运动目标在重叠采集区域内的检测位置信息，确定所述重叠采集区域内的多个运动目标分别对应的第二跟踪位置信息。

3.根据权利要求2所述的方法，其特征在于，所述检测位置信息包括检测位置框和检测位置框中心点，所述预测位置信息包括预测位置框和预测中心点；所述基于所述多个运动目标的检测位置信息和预测位置信息，确定所述多个运动目标在第一视角的采集区域内分别对应的第一跟踪位置信息，包括：

基于所述多个运动目标的检测位置框和预测位置框的交并比，确定与预测位置框匹配的检测位置框，将与预测位置框匹配的检测位置框的中心点，作为预测位置框对应的运动目标在第一视角的采集区域内的第一跟踪位置信息；

对于不存在匹配的预测位置框的检测位置框，基于检测位置框的中心点与所述预测中心点的欧式距离，确定与预测中心点匹配的检测位置框的中心点，将与预测中心点匹配的检测位置框的中心点，作为预测中心点对应的运动目标在第一视角的采集区域内的第一跟踪位置信息。

4.根据权利要求3所述的方法，其特征在于，所述基于检测位置框的中心点与所述预测中心点的欧式距离，确定与预测中心点匹配的检测位置框的中心点，包括：

对于同车道的运动目标，基于检测位置框的中心点与预测中心点的欧式距离和第一距离阈值，确定与预测中心点匹配的检测位置框的中心点；

对于不同车道的运动目标，基于检测位置框的中心点与预测中心点的欧式距离和第二距离阈值，确定与预测中心点匹配的检测位置框的中心点；

其中，所述第一距离阈值大于所述第二距离阈值。

5.根据权利要求2所述的方法，其特征在于，所述检测位置信息包括检测位置框的中心点，所述预测位置信息包括预测中心点；所述基于所述多个运动目标在第一视角的采集区域内的预测位置信息和所述多个运动目标在重叠采集区域内的检测位置信息，确定所述重叠采集区域内的多个运动目标分别对应的第二跟踪位置信息，包括：

基于所述多个运动目标在第一视角的采集区域内的预测中心点和所述多个运动目标在重叠采集区域内的检测位置框的中心点的欧氏距离，确定所述重叠采集区域内的多个运动目标分别对应的第二跟踪位置信息。

6.根据权利要求1-5任一项所述的方法，其特征在于，若所述多个运动目标运动到所述至少两个视角的重叠采集区域内，且所述至少两个视角中的第一视角和第二视角分别对应的采集区域内的同一运动目标的跟踪位置信息不同，所述方法还包括：

将所述第一视角和所述第二视角分别对应的重叠区域内的同一运动目标的跟踪位置信息进行融合计算，将融合计算结果作为所述同一运动目标在所述重叠采集区域内的跟踪位置信息。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述检测位置信息包括检测位置框的中心点，若所述多个运动目标首次出现在所述多个视角下，所述确定所述多个运动目标的检测位置信息之后，所述方法还包括：

基于所述多个运动目标的检测位置框的中心点之间的欧氏距离，以及所述多个视角分别对应的优先级，对所述多个视角的重叠采集区域内出现至少两次的同一运动目标进行去重处理。

8.一种目标运动轨迹生成装置，其特征在于，所述装置包括：

检测位置确定模块，用于从多个图像采集设备分别对应的视角下采集的包含运动目标的图像中，确定多个运动目标的检测位置信息；

跟踪位置确定模块，用于在一个视角的采集区域内和至少两个视角的重叠采集区域内，基于所述多个运动目标的检测位置信息和预测位置信息，确定所述多个运动目标分别对应的跟踪位置信息；

轨迹生成模块，用于根据所述多个运动目标分别对应的跟踪位置信息，生成所述多个运动目标分别对应的运动轨迹。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器在执行所述计算机程序时实现权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。