CN113129339B - 一种目标跟踪方法、装置、电子设备及存储介质 - Google Patents

一种目标跟踪方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113129339B
CN113129339B CN202110467650.7A CN202110467650A CN113129339B CN 113129339 B CN113129339 B CN 113129339B CN 202110467650 A CN202110467650 A CN 202110467650A CN 113129339 B CN113129339 B CN 113129339B
Authority
CN
China
Prior art keywords
target object
target
position coordinate
determining
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110467650.7A
Other languages
English (en)
Other versions
CN113129339A (zh
Inventor
关英妲
刘文韬
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110467650.7A priority Critical patent/CN113129339B/zh
Publication of CN113129339A publication Critical patent/CN113129339A/zh
Priority to PCT/CN2022/074956 priority patent/WO2022227761A1/zh
Priority to TW111115565A priority patent/TW202244847A/zh
Application granted granted Critical
Publication of CN113129339B publication Critical patent/CN113129339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本公开提供了一种目标追踪方法、装置、电子设备及存储介质，其中，该目标追踪方法包括：获取目标场所内设置的多个采集设备采集的当前视频画面；多个采集设备在目标场所中的采集视角不同，视频画面中包括目标对象；基于多个采集设备采集的当前视频画面，确定目标场所中的目标对象在当前时刻的第一位置坐标；基于获取到的目标对象的第一位置坐标和目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的第二位置坐标。

Description

一种目标跟踪方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种目标跟踪方法、装置、电子设备及存储介质。
背景技术
人工智能技术在打造智能教育，文娱及生活上发挥着越来越重要的作用，其中计算机视觉作为关键的技术之一，应用广泛，比如可以基于计算机视觉的定位技术，可以对不同场景下的目标场所内的目标对象进行追踪，确定目标场所内目标对象的轨迹。
在基于计算机视觉对目标对象进行追踪的过程中，可以通过单目相机采集的目标场所图像，确定目标场所图像中的目标对象在不同时刻的位置，进一步根据目标对象在不同时刻的位置对目标对象进行追踪。
针对一些场地复杂的目标场所，在基于单目相机对目标对象进行追踪的过程中，容易存在一些遮挡区域，针对这些遮挡区域的目标对象则无法完成追踪。
发明内容
本公开实施例至少提供一种目标追踪方案。
第一方面，本公开实施例提供了一种目标追踪方法，包括：
获取目标场所内设置的多个采集设备采集的当前视频画面；所述多个采集设备在所述目标场所中的采集视角不同，所述视频画面中包括目标对象；
基于所述多个采集设备采集的当前视频画面，确定所述目标场所中的目标对象在当前时刻的第一位置坐标；
基于获取到的所述目标对象的所述第一位置坐标和所述目标对象在上一时刻的第二位置坐标，确定所述目标对象在当前时刻的第二位置坐标。
本公开实施例中，考虑到目标场所内设置的采集设备的采集视角不同，这样可以完成对目标场所中的目标对象进行全面较准确的定位，得到目标对象在当前时刻的第一位置坐标，进一步结合目标对象在上一时刻准确度较高的第二位置坐标和在当前时刻的第一位置坐标，准确确定目标对象在当前时刻的第二位置坐标，即完成对进入目标场所中的目标对象的追踪。
在一种可能的实施方式中，所述基于获取到的所述目标对象的所述第一位置坐标和所述目标对象在上一时刻的第二位置坐标，确定所述目标对象在当前时刻的第二位置坐标，包括：
基于所述目标对象在上一时刻的第二位置坐标，确定所述目标对象在当前时刻的预测位置坐标；
基于所述目标对象在当前时刻的所述预测位置坐标和所述第一位置坐标，确定所述目标对象在当前时刻的观测位置坐标；
基于所述目标对象在当前时刻的所述预测位置坐标和所述观测位置坐标，确定所述目标对象在当前时刻的第二位置坐标。
本公开实施例中，可以根据目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的预测位置坐标，进一步结合目标对象在当前时刻的第一位置坐标，可以得到目标对象在当前时刻准确度较高的第二位置坐标。
在一种可能的实施方式中，所述目标对象包含多个，所述基于所述目标对象在当前时刻的所述预测位置坐标和所述第一位置坐标，确定所述目标对象在当前时刻的观测位置坐标，包括：
基于多个目标对象在当前时刻的所述预测位置坐标和所述第一位置坐标，确定与同一目标对象关联的所述预测位置坐标和所述第一位置坐标；
确定与所述同一目标对象关联的所述预测位置坐标和所述第一位置坐标的第一中点坐标，将该第一中点坐标作为所述同一目标对象在当前时刻的观测位置坐标。
在一种可能的实施方式中，所述基于多个目标对象在当前时刻的所述预测位置坐标和所述第一位置坐标，确定与同一目标对象关联的所述预测位置坐标和所述第一位置坐标，包括：
针对每个预测位置坐标，确定该预测位置坐标和各个所述第一位置坐标之间的第一距离；
将该预测位置坐标和与该预测位置坐标构成最小第一距离的第一位置坐标，作为与同一目标对象关联的所述预测位置坐标和所述第一位置坐标，所述最小第一距离小于第一预设融合距离阈值。
本公开实施例中，结合根据目标对象在历史时刻的位置坐标预测的目标对象在当前时刻的预测位置坐标，以及根据采集设备采集的当前视频画面确定的目标对象的第一位置坐标，一方面可以快速得到同一目标对象在不同时刻的位置坐标，另一方面可以得到准确度较高的观测位置坐标。
在一种可能的实施方式中，所述目标追踪方法还包括：
确定当前视频画面中是否存在漏检的目标对象，其中，所述漏检的目标对象在当前时刻具有所述预测位置坐标，且在当前时刻的第一位置坐标为空；
在确定存在漏检的目标对象的情况下，将所述漏检的目标对象在当前时刻的所述预测位置坐标作为所述漏检的目标对象在当前时刻的观测位置坐标。
本公开实施例中，在采集设备采集的当前视频画面中存在被遮挡的目标对象的情况下，可以基于被遮挡的目标对象在历史时刻中的第二位置坐标确定被遮挡的目标对象在当前时刻的观测位置坐标，以便确定目标对象在当前时刻准确度较高的第二位置坐标。
在一种可能的实施方式中，所述目标对象包含多个，所述目标追踪方法还包括：
在确定所述目标对象在当前时刻的第二位置坐标后，在所述第二位置坐标指示的地图位置中标记与所述目标对象关联的身份标识符；
基于标记同一身份标识符的目标对象在多个时刻的第二位置坐标，生成每个目标对象的轨迹数据。
本公开实施例中，可以根据目标对象的身份标识符以及不同时刻的第二位置坐标，快速确定每个目标对象在目标场所中的移动轨迹。
在一种可能的实施方式中，在确定所述目标对象在当前时刻的第二位置坐标之后，所述目标追踪方法还包括：
基于所述多个目标对象在当前时刻的第二位置坐标，检测是否存在偏离目标群的目标对象；所述目标群为根据所述多个目标对象在上一时刻的第二位置坐标进行聚类得到的；
在确定存在偏离目标群的目标对象情况下，检测所述偏离目标群的目标对象关联的身份标识符是否准确；
在确定所述偏离目标群的目标对象的身份标识符不准确的情况下，对所述偏离目标群的目标对象关联的身份标识符进行修正。
在一种可能的实施方式中，所述检测所述偏离目标群的目标对象关联的身份标识符是否准确，包括：
提取所述偏离目标群的目标对象的特征信息；
基于所述偏离目标群的目标对象的特征信息，以及预先保存的进入所述目标场所中的各目标对象的特征信息和身份标识符之间的映射关系，检测所述偏离目标群的目标对象关联的身份标识符是否准确。
本公开实施例中，在检测到存在离开目标群的目标对象的情况下，对离开目标群的目标对象的身份标识符进行重新验证，可以提高在不同时刻标记的目标对象的身份标识符的准确度，从而提高目标对象的轨迹数据的准确度。
在一种可能的实施方式中，所述基于所述多个采集设备采集的当前视频画面，确定所述目标场所中的目标对象在当前时刻的第一位置坐标，包括：
获取多个采集设备分别采集的当前视频画面中的目标对象的像素坐标；
基于每个采集设备采集的所述当前视频画面中的目标对象的像素坐标和该采集设备的参数信息，确定所述目标对象在当前时刻下在所述目标场所中的初始位置坐标；
对同一目标对象的初始位置坐标进行融合，得到所述目标对象在当前时刻下在所述目标场所中的第一位置坐标。
本公开实施例中，提出可以先确定目标对象在视频画面中的像素坐标，然后再根据采集设备的参数信息，得到目标对象在目标场所中的初始位置坐标，进一步对不同视频画面中的目标对象的初始位置坐标进行融合，得到同一目标对象准确度较高的第一位置坐标。
在一种可能的实施方式中，所述获取多个采集设备分别采集的当前视频画面中的目标对象的像素坐标，包括：
将多个所述当前视频画面输入预先训练的神经网络，得到每个当前视频画面中的目标对象的检测框；其中，所述神经网络包含多个用于检测不同尺寸的目标对象的目标检测子网络；
提取每个当前视频画面中的目标对象的检测框上的目标位置点在该当前视频画面中的像素坐标，得到该当前视频画面中的目标对象的像素坐标。
在一种可能的实施方式中，所述基于每个采集设备采集的所述当前视频画面中的目标对象的像素坐标和该采集设备的参数信息，确定所述目标对象在当前时刻下在所述目标场所中的初始位置坐标，包括：
基于每个采集设备的内参矩阵和畸变参数，对该采集设备采集的所述目标对象的像素坐标进行修正，得到该当前视频画面中的所述目标对象的修正像素坐标；
基于预先确定的该采集设备的单应性矩阵和该采集设备采集的当前视频画面中的所述目标对象的修正像素坐标，确定该当前视频画面中的所述目标对象的所述初始位置坐标。
本公开实施例中，在得到视频画面中目标对象的像素坐标后，先基于采集该视频画面的采集设备的内参矩阵和畸变系数对像素坐标进行修正，从而可以得到准确度较高的修正像素坐标，进一步提高得到的目标对象在目标场所中的初始位置坐标的准确度。
在一种可能的实施方式中，所述对同一目标对象的初始位置坐标进行融合，得到所述目标对象在当前时刻下在所述目标场所中的第一位置坐标，包括：
基于多个所述当前视频画面确定的所述目标对象的所述初始位置坐标，确定与同一目标对象关联的多个所述初始位置坐标；
将与同一目标对象关联的多个所述初始位置坐标进行依次融合，得到所述同一目标对象在当前时刻下在所述目标场所中的第一位置坐标。
本公开实施例中，考虑到基于不同采集设备采集视频画面确定的同一目标对象的初始位置坐标会存在一些误差，因此可以通过对多个采集设备采集的同一目标对象的初始位置坐标进行融合，从而可以得到该同一目标对象准确度较高的第一位置坐标。
在一种可能的实施方式中，所述将与同一目标对象关联的多个所述初始位置坐标进行依次融合，得到所述同一目标对象在当前时刻下在所述目标场所中的第一位置坐标，包括：
从所述同一目标对象关联的多个所述初始位置坐标中选取任一初始位置坐标，将选取的任一初始位置坐标作为第一中间融合位置坐标；
将所述第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合，生成第二中间融合位置坐标，将所述第二中间融合位置坐标作为更新后的所述第一中间融合位置坐标，并返回生成所述第二中间融合位置坐标的步骤，直到不存在待融合的初始位置坐标。
在一种可能的实施方式中，将所述第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合，生成第二中间融合位置坐标，包括：
确定所述第一中间融合位置坐标与其它任一待融合的初始位置坐标的中点坐标，将该中点坐标作为生成的所述第二中间融合位置坐标。
本公开实施例中，提出针对与同一目标对象关联的多个初始位置坐标，可以按照依次取中点的方式融合，从而得到准确度较高的第一位置坐标。
在一种可能的实施方式中，所述基于多个所述当前视频画面确定的所述目标对象的所述初始位置坐标，确定与同一目标对象关联的多个所述初始位置坐标，包括：
针对任意两个当前视频画面，确定所述任意两个当前视频画面中第一当前视频画面中每个第一目标对象的所述初始位置坐标，与所述任意两个当前视频画面中第二当前视频画面中各个第二目标对象的所述初始位置坐标之间的第二距离；
将该第一目标对象的所述初始位置坐标和与该第一目标对象构成最小第二距离的第二目标对象的初始位置坐标，作为与同一目标对象关联的多个所述初始位置坐标，所述最小第二距离小于第二预设融合距离阈值。
本公开实施例中，提出根据任意两张当前视频画面中不同目标对象的初始位置坐标，和第二预设融合距离阈值，可以快速确定出与同一目标对象关联的初始位置坐标，从而为后续确定各目标对象的第一位置坐标提供依据。
在一种可能的实施方式中，在确定所述目标对象在当前时刻的第二位置坐标后，所述目标追踪方法还包括：
基于所述目标场所中的各目标对象分别对应的第二位置坐标，以及预先设定的目标区域，确定是否存在进入所述目标区域的目标对象；
在确定存在进入所述目标区域的目标对象的情况下，进行预警提示。
本公开实施例中，在得到目标场所中的各目标对象在当前时刻准确度较高的第二位置坐标后，可以基于预先设定的目标区域，比如预先设定的危险区域，判断目标场所中的目标对象是否进入目标区域，以便及时预警提示，提高目标场所的安全性。
第二方面，本公开实施例提供了一种目标追踪装置，包括：
获取模块，用于获取目标场所内设置的多个采集设备采集的当前视频画面；所述多个采集设备在所述目标场所中的采集视角不同，所述视频画面中包括目标对象；
确定模块，用于基于所述多个采集设备采集的当前视频画面，确定所述目标场所中的目标对象在当前时刻的第一位置坐标；
追踪模块，用于基于获取到的所述目标对象的所述第一位置坐标和所述目标对象在上一时刻的第二位置坐标，确定所述目标对象在当前时刻的第二位置坐标。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的追踪方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的追踪方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种目标追踪方法的流程图；
图2示出了本公开实施例所提供的一种确定目标对象的第一位置坐标的方法流程图；
图3示出了本公开实施例所提供的一种针对当前视频画面进行目标检测得到的检测框示意图；
图4示出了本公开实施例所提供的一种确定同一目标对象在当前时刻的第一位置坐标的具体方法流程图；
图5示出了本公开实施例所提供的一种确定目标对象在当前时刻的第二位置坐标的方法流程图；
图6示出了本公开实施例所提供的一种确定漏检的目标对象在当前时刻的观测位置坐标的方法流程图；
图7示出了本公开实施例所提供的一种确定每个目标对象的轨迹数据的方法流程图；
图8示出了本公开实施例所提供的一种针对偏离目标群的目标对象的身份标识符进行修正的方法流程图；
图9示出了本公开实施例所提供的一种预警方法；
图10示出了本公开实施例所提供的一种针对目标对象进行追踪的场景示意图；
图11示出了本公开实施例所提供的一种目标追踪装置的结构示意图；
图12示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在很多应用场景中，通常需要对一个场所内的目标对象进行追踪，比如针对工厂内，需要追踪员工是否有进入危险区域的趋势，在商场中，可以追踪顾客的行动轨迹，可以通过单目相机采集的图像，确定目标对象的位置，进而完成对目标对象的追踪，然而针对一些场地复杂面积较大的目标场所，在基于单目相机对目标对象进行追踪的过程中，常常存在无法捕捉到目标对象的情况，即存在追踪中断的问题。
基于上述研究，本公开提供了一种目标追踪方法，考虑到目标场所内设置的采集设备的采集视角不同，且目标场所中的每个目标对象至少被两个采集设备同时采集到，这样可以完成对目标场所中的目标对象进行全面较准确的定位，得到目标对象在当前时刻的第一位置坐标，进一步结合目标对象在上一时刻准确度较高的第二位置坐标和在当前时刻的第一位置坐标，准确确定目标对象在当前时刻的第二位置坐标，即完成对进入目标场所中的目标对象的追踪。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种目标追踪方法进行详细介绍，本公开实施例所提供的定位方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：服务器或其它处理设备。在一些可能的实现方式中，该目标追踪方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的目标追踪方法的流程图，所述方法包括步骤S101～S103，其中：
S101，获取目标场所内设置的多个采集设备采集的当前视频画面；多个采集设备在目标场所中的采集视角不同，视频画面中包括目标对象。
示例性地，针对不同的应用场景，目标场所可以为与该应用场景对应的场所，比如需要对工厂内的员工进行定位的情况下，目标场所可以为工厂，需要对商场内的顾客进行定位的情况下，目标场所可以为商场，需要对体育馆内的运动员进行定位的情况下，目标场所可以为体育馆。
示例性地，目标对象为目标场所内需要进行定位的对象，比如上述提到的员工、顾客和运动员。
示例性地，采集设备可以为单目摄像机或者双目摄像机，目标场所内可以设置多个采集设备，针对不同的目标场所，可以根据目标场所的实际场地确定多个采集设备的安装位置，比如可以使得采集设备在目标场所中的采集视角不同，以覆盖目标场所的全部区域，不留死角，另外，考虑到采集设备过多会导致同一时刻采集的视频画面过多，因此会影响视频画面的处理速度，故在目标场所中安装采集设备时，需要同时考虑到采集设备的安装角度、以及数量，比如可以使得进入目标场所中的每个目标对象可以同时被两个采集设备采集到，这样目标场所内设置的多个采集设备可以完整的采集到目标场所整个区域的当前视频画面。
S102，基于多个采集设备采集的当前视频画面，确定目标场所中的目标对象在当前时刻的第一位置坐标。
示例性地，考虑到目标场所中的每个目标对象至少被两个采集设备同时采集到，因此针对目标场所中的每个目标对象，均可以按照多个采集设备采集的包含该目标对象的当前视频画面，来确定该目标对象在当前时刻的第一位置坐标。
示例性地，目标对象的第一位置坐标可以指目标对象在针对目标场所预先构建的世界坐标系中的位置坐标，这样在基于当前视频画面，确定目标对象的第一位置坐标时，可以基于当前视频画面中的目标对象在视频画面中的像素坐标，以及采集该视频画面的采集设备的参数信息，确定该视频画面中的目标对象在目标场所中的初始位置坐标，考虑到不同采集设备的参数信息之间存在一些误差，因此基于不同采集设备采集到的当前视频画面确定的同一目标对象的初始位置坐标会有一些差距，可以对同一目标对象的初始位置坐标进行融合，然后根据同一目标对象在当前时刻关联的多个初始位置坐标，确定该目标对象在当前时刻的第一位置坐标。
示例性地，目标场所对应的世界坐标系可以以目标场所中一固定位置为坐标原点，建立唯一世界坐标系，比如可以以目标场所地面中点为坐标系原点，在地面上设定一个方向作为世界坐标系X轴的正方向，在地面上设定与X轴垂直的方向作为世界坐标系Y轴的正方向，将垂直与地面向上的方向作为世界坐标系Z轴的正方向。
S103，基于获取到的目标对象的第一位置坐标和目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的第二位置坐标。
示例性地，在得到目标对象在当前时刻的第一位置坐标后，可以基于目标场所中的目标对象在上一时刻的第二位置坐标以及目标场所中的目标对象在当前时刻的第一位置坐标，对同一目标对象在不同时刻的位置进行时序关联，确定目标场所中的目标对象在当前时刻的第二位置坐标，后续将目标场所中的各目标对象在不同时刻的第二位置坐标进行关联，可以得到各目标对象在目标场所中的移动轨迹。
示例性地，考虑到第一位置坐标是基于采集设备采集到的，考虑到采集设备的外参信息存在一定的误差，因此基于采集设备采集的当前视频画面确定的目标对象在当前时刻的第一位置坐标也会存在一定的误差，因此在对同一目标对象在不同时刻的位置进行时序关联的过程中，会对目标对象的第一位置坐标进行修正，确定目标对象在当前时刻准确度较高的第二位置坐标。
示例性地，目标对象在上一时刻的第二位置坐标的确定方式与确定目标对象在当前时刻的第二位置坐标的方式相似，因此本公开主要阐述确定目标对象在当前时刻的第二位置坐标的过程进行阐述。
本公开实施例中，考虑到目标场所内设置的采集设备的采集视角不同，这样可以完成对目标场所中的目标对象进行全面较准确的定位，得到目标对象在当前时刻的第一位置坐标，进一步结合目标对象在上一时刻准确度较高的第二位置坐标和在当前时刻的第一位置坐标，准确确定目标对象在当前时刻的第二位置坐标，即完成对进入目标场所中的目标对象的追踪。
下面将结合具体实施例对上述S101～S103进行阐述。
针对上述S102，在基于多个采集设备采集的当前视频画面，确定目标场所中的目标对象在当前时刻的第一位置坐标时，如图2所示，包括以下S201～S203：
S201，获取多个采集设备分别采集的当前视频画面中的目标对象的像素坐标。
示例性地，可以基于预先训练的用于进行目标检测的神经网络来识别当前视频画面中的目标对象，进一步可以读取目标对象中设定位置点在视频画面对应的图像坐标系中的像素坐标，将该设定位置点对应的像素坐标作为目标对象的像素坐标。
具体地，在获取多个采集设备分别采集的当前视频画面中的目标对象的像素坐标时，可以包括以下S2011～S2012：
S2011，将多个当前视频画面输入预先训练的神经网络，得到每个当前视频画面中的目标对象的检测框；其中，神经网络包含多个用于检测不同尺寸的目标对象的目标检测子网络。
S2012，提取每个当前视频画面中的目标对象的检测框上的目标位置点在该当前视频画面中的像素坐标，得到该当前视频画面中的目标对象的像素坐标。
示例性地，神经网络可以检测出当前视频画面中包含的每个目标对象，并标记出每个目标对象的检测框，如图3所示，为当前视频画面中的包含的目标对象的检测框的示意图，该当前视频画面中包含两个目标对象对应的检测框，分别包括目标对象1的检测框A1B1C1D1和目标对象2的检测框A2B2C2D2，可以在每个目标对象的检测框上提取一个位置点作为目标位置点，比如提取检测框底边的中点作为目标位置点，如图3中通过检测框A1B1C1D1底边D1C1的中点K1的像素坐标表示目标对象1的像素坐标，通过检测框A2B2C2D2底边D2C2的中点位置点K2的像素坐标表示目标对象2的像素坐标。
示例性地，考虑到目标对象在目标场所中的位置是变化的，且目标场所中设置的多个采集设备在目标场所中的采集视角不同，因此，不同采集设备在同一时刻采集的当前视频画面中包含的目标对象的尺寸可能不同，为了能够准确地标记出不同尺寸的目标对象的检测框，本公开实施例使用的神经网络可以包含多个用于检测不同尺寸的目标对象的目标检测子网络，比如可以是特征金字塔网络，该特征金字塔网络中的每个目标检测子网络用于检测识别出当前视频画面中与该目标检测子网络对应尺寸的目标对象，通过该神经网络，可以准确地检测出同一采集设备采集的当前视频画面中不同尺寸的目标对象。
本公开实施例中，提出神经网络中包含多个用于检测不同尺寸的目标对象的目标检测子网络，这样在通过神经网络对视频画面中的目标对象进行目标检测时，可以准确地检测出同一视频画面中不同尺寸的目标对象。
S202，基于每个采集设备采集的当前视频画面中的目标对象的像素坐标和该采集设备的参数信息，确定目标对象在当前时刻下在目标场所中的初始位置坐标。
示例性地，每个采集设备的参数信息可以包含采集设备的单应性矩阵，比如单应性矩阵，其中，单应性矩阵可以表示采集设备采集的当前视频画面对应的图像坐标系和采集设备所处的目标场所对应的世界坐标系之间的转换关系，这样，在得到目标对象在当前视频画面对应的图像坐标系中的像素坐标后，可以根据采集设备的参数信息，确定目标对象在目标场所对应的世界坐标系中的初始位置坐标。
具体地，在基于每个采集设备采集的当前视频画面中的目标对象的像素坐标和该采集设备的参数信息，确定目标对象在当前时刻下在目标场所中的初始位置坐标时，包括以下S2021～S2022：
S2021，基于每个采集设备的内参矩阵和畸变参数，对该采集设备采集的目标对象的像素坐标进行修正，得到该当前视频画面中的目标对象的修正像素坐标。
示例性地，采集设备的内参矩阵包含
Figure BDA0003043853040000101
(fx,fy)表示采集设备的焦距，(cx,cy)表示采集设备采集的当前视频画面的中心点在图像坐标系中的像素坐标，采集设备的畸变参数包含径向畸变参数和切向畸变系数，在预先得到每个采集设备的内参矩阵和畸变系数后，可以根据该采集设备的内参矩阵和畸变系数对该采集设备采集的当前视频画面中的目标对象的像素坐标进行去畸变处理，比如可以通过Opencv软件中的去畸变函数，得到该采集设备采集的当前视频画面中的目标对象的修正像素坐标。
示例性地，可以按照张正友棋盘标定的方式预先确定每个采集设备的内参矩阵和畸变参数，比如可以从不同角度拍摄多张棋盘格图像，检测出图像中的特征点，根据这些特征点在棋盘格图像中的像素坐标，求解出采集设备的内参矩阵和畸变参数，然后不断对内参矩阵和畸变参数进行优化，在优化过程中，可以根据相邻两次得到的内参矩阵和畸变参数对同一像素坐标进行修正处理，通过前后两次的修正像素坐标的差异确定是否结束优化，比如可以在该差异不再降低后，结束优化得到采集设备的内参矩阵和畸变参数。
S2022，基于预先确定的该采集设备的单应性矩阵和该采集设备采集的当前视频画面中的目标对象的修正像素坐标，确定该当前视频画面中的目标对象的初始位置坐标。
示例性地，单应性矩阵可以表示采集设备采集的当前视频画面对应的图像坐标系和采集设备位于的目标场所对应的世界坐标系之间的转换关系，该单应性矩阵同样可以预先对采集设备进行标定时确定，比如可以通过采集设备采集带有多个标志物的样本视频画面，预先确定多个标志物与地面(世界坐标系X轴和Y轴所在的平面)的交点在目标场所对应的世界坐标系中的世界坐标，然后根据上述方式确定多个标志物与地面的交点在样本视频画面中对应的修正像素坐标，进一步可以基于多个标志物分别对应的修正像素坐标和世界坐标，确定该采集设备的单应性矩阵。
示例性地，在确定当前视频画面中的目标对象的初始位置坐标时，可以根据当前视频画面中的目标对象的修正像素坐标和采集该当前视频画面的采集设备的单应性矩阵，得到当前视频画面中的目标对象在目标场所对应的世界坐标系中的初始位置坐标。
本公开实施例中，在得到视频画面中目标对象的像素坐标后，先基于采集该视频画面的采集设备的内参矩阵和畸变系数对像素坐标进行修正，从而可以得到准确度较高的修正像素坐标，进一步提高得到的目标对象在目标场所中的初始位置坐标的准确度。
S203，对同一目标对象的初始位置坐标进行融合，得到目标对象在当前时刻下在目标场所中的第一位置坐标。
示例性地，考虑到不同采集设备的参数信息之间存在一些误差，因此基于不同采集设备采集到的当前视频画面确定的同一目标对象的初始位置坐标会有一些差距，可以对同一目标对象的初始位置坐标进行融合，得到同一目标对象的第一位置坐标。
本公开实施例中，提出可以先确定目标对象在视频画面中的像素坐标，然后再根据采集设备的参数信息，得到目标对象在目标场所中的初始位置坐标，进一步对不同视频画面中的目标对象的初始位置坐标进行融合，得到同一目标对象准确度较高的第一位置坐标。
具体地，针对上述S203，在对同一目标对象的初始位置坐标进行融合，得到目标对象在当前时刻下在目标场所中的第一位置坐标时，如图4所示，可以包括以下S301～S302：
S301，基于多个当前视频画面确定的目标对象的初始位置坐标，确定与同一目标对象关联的多个初始位置坐标。
示例性地，根据上文提到的目标场所中的每个目标对象至少被两个采集设备同时采集到，针对每个目标对象，在同一时刻被不同的采集设备拍摄到的情况下，考虑到采集设备的参数信息存在一定的误差，且不同的采集设备的参数信息之间的误差不同，因此，基于不同的当前视频画面确定的同一目标对象的初始位置坐标可能不同，在对同一目标对象的初始位置坐标进行融合之前，需要先确定与同一目标对象关联的多个初始位置坐标。
S302，将与同一目标对象关联的多个初始位置坐标进行依次融合，得到同一目标对象在当前时刻下在目标场所中的第一位置坐标。
示例性地，假设与同一目标对象关联的多个初始位置坐标包含N个，可以先将前两个进行融合，得到融合后的初始位置坐标，然后将融合后的初始位置坐标与第三个初始位置坐标进行融合，直至与最后一个初始位置坐标进行融合后，将最终融合得到的位置坐标作为同一目标对象的第一位置坐标。
本公开实施例中，考虑到基于不同采集设备采集视频画面确定的同一目标对象的初始位置坐标会存在一些误差，因此可以通过对多个采集设备采集的同一目标对象的初始位置坐标进行融合，从而可以得到该同一目标对象准确度较高的第一位置坐标。
在一种实施方式中，针对上述S301，在基于多个当前视频画面确定的目标对象的初始位置坐标，确定与同一目标对象关联的多个初始位置坐标时，包括以下S3011～S3012：
S3011，针对任意两个当前视频画面，确定任意两个当前视频画面中第一当前视频画面中每个第一目标对象的初始位置坐标，与任意两个当前视频画面中第二当前视频画面中各个第二目标对象的初始位置坐标之间的第二距离；
S3012，将该第一目标对象的初始位置坐标和与该第一目标对象构成最小第二距离的第二目标对象的初始位置坐标，作为与同一目标对象关联的多个初始位置坐标，最小第二距离小于第二预设融合距离阈值。
示例性地，比如目标场所中设置A个采集设备，假设在同一时刻A个采集设备采集的当前视频画面中均包含至少一个目标对象，在该时刻可以得到A组初始位置坐标，A组初始位置坐标构成初始坐标集合s＝{S1,S2,S3,......SA}，其中，S1、S2、S3...SA依次表示为A个采集设备中的第一个采集设备、第二个采集设备、第三个采集设备至第A个采集设备拍摄的当前视频画面中的目标对象的初始位置坐标，下面将以下任意两个当前视频画面为第一个采集设备和第二个采集设备采集的当前视频画面为例，说明如何确定与同一目标对象关联的多个初始位置坐标：
示例性地，S1中包含a个第一目标对象的初始位置坐标，S2中包含b个第二目标对象的初始位置坐标，可以确定每个第一目标对象的初始位置坐标和各个第二目标对象的初始位置坐标之间的欧式距离，得到距离矩阵：
Figure BDA0003043853040000131
其中，d11表示S1中第1个第一目标对象的初始位置坐标和S2中第1个第二目标对象的初始位置坐标之间的第二距离；d1b表示S1中第1个第一目标对象的初始位置坐标和S2中第b个第二目标对象的初始位置坐标之间的第二距离；dij表示S1中第i个第一目标对象的初始位置坐标和S2中第j个第二目标对象的初始位置坐标之间的第二距离；da1表示S1中第a个第一目标对象的初始位置坐标和S2中第1个第二目标对象的初始位置坐标之间的第二距离；dab表示S1中第a个第一目标对象的初始位置坐标和S2中第b个第二目标对象的初始位置坐标之间的第二距离。
示例性地，具体在操作时，可以按照以下方式确定S1和S2中与同一目标对象关联的多个初始位置坐标，包括S30121～S3012：
S30121，在当前距离矩阵中的元素中查找当前最小第二距离；
示例性地，在首次查找最小第二距离的情况下，当前距离矩阵中的元素包含S1中每个第一目标对象的初始位置坐标和S2中各个第二目标对象的初始位置坐标之间的欧式距离。
S30121，判断当前最小第二距离是否小于第二预设融合距离阈值。
示例性地，第二预设融合距离可以根据经验设定，比如预先通过不同采集设备针对同一目标对象进行拍摄，然后根据不同采集设备采集的视频画面分别确定出该同一目标对象在目标场所中的多个位置坐标，根据多个位置坐标之间的距离来确定该第二预设融合距离阈值。
S30123，在确定该当前最小第二距离小于第二预设融合距离阈值的情况下，确定构成该当前最小第二距离的两个初始位置坐标为同一目标对象关联的初始位置坐标。
示例性地，比如确定出da1为当前最小距离，且da1小于第二预设融合距离阈值，可以将S1中第a个第一目标对象的初始位置坐标和S2中第1个第二目标对象的初始位置坐标作为与同一目标对象关联的初始位置坐标。
S30124，将当前距离矩阵中的当前最小第二距离和当前最小第二距离关联的两个初始位置坐标中任一初始位置坐标构成的其它第二距离设置为第二预设融合距离阈值后，返回执行S30121，直至当前距离矩阵中的当前最小第二距离不小于第二预设融合距离阈值的情况下，得到S1和S2中所有与同一目标对象关联的初始位置坐标。
示例性地，在将当前距离矩阵中的当前最小第二距离和当前最小第二距离关联的两个初始位置坐标中任一初始位置坐标构成的其它距离设置为第二预设融合距离阈值后，在继续查找当前最小第二距离的过程中，可以排除被设置为第二预设融合距离阈值的元素，从而提高搜索效率。
示例性地，在一种实施方式中，在得到S1和S2中与同一目标对象关联的多个初始位置坐标后，可以继续基于其它任意两张当前视频画面确定是否存在与同一目标对象关联的初始位置坐标，直至判断完A个采集设备在在同一时刻采集的当前视频画面后，可以得到A个采集设备在同一时刻采集的当前视频画面中的各目标对象的不同初始位置坐标，然后对与同一目标对象关联的初始位置坐标进行融合，得到A个采集设备在同一时刻拍摄的A张当前视频画面中的各目标对象在目标场所中的第一位置坐标。
示例性地，在另一种实施方式中，在得到S1和S2中与同一目标对象关联的多个初始位置坐标后，可以对多个初始位置坐标进行坐标融合，得到该同一目标对象更新后的初始位置坐标，针对S1和S2中待融合的初始位置坐标，可以与更新后的初始位置坐标构成S2’，进一步通过S2’和S3中的初始位置坐标构成新的当前距离矩阵，重复执行S30121至S30124的步骤，得到S2’和S3中与同一目标对象关联的多个初始位置坐标，按照相同的方式得到S3’，进一步通过S3’和S4中的初始位置坐标构成新的当前距离矩阵，重复执行S30121至S30124的步骤，直至完成与初始坐标集合中的最后一个SA中的初始位置坐标的融合后，得到A个采集设备在同一时刻拍摄的A张视频画面中的各目标对象在目标场所中的第一位置坐标。
特别地，在直至完成与初始坐标集合中的最后一个SA中的初始位置坐标的融合后，若检测到存在任一初始位置坐标从开始到结束均为参与融合，考虑到目标场所中的每个目标对象至少被两个采集设备同时采集到，因此可以将该任一初始位置坐标作为误差初始位置坐标进行过滤。
本公开实施例中，提出根据任意两张当前视频画面中不同目标对象的初始位置坐标，和第二预设融合距离阈值，可以快速确定出与同一目标对象关联的初始位置坐标，从而为后续确定各目标对象的第一位置坐标提供依据。
针对上述S302，在对同一目标对象关联的多个初始位置坐标进行依次融合，得到同一目标对象在当前时刻下在目标场所中的第一位置坐标时，可以包括以下S3021～S3022：
S3021，从同一目标对象关联的多个初始位置坐标中选取任一初始位置坐标，将选取的任一初始位置坐标作为第一中间融合位置坐标；
S3022，将第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合，生成第二中间融合位置坐标，将第二中间融合位置坐标作为更新后的第一中间融合位置坐标，并返回生成第二中间融合位置坐标的步骤，直到不存在待融合的初始位置坐标。
其中，待融合的初始位置坐标是指未参与融合的初始位置坐标。
示例性地，在将第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合，生成第二中间融合位置坐标时，包括：
确定第一中间融合位置坐标与其它任一待融合的初始位置坐标的中点坐标，将该中点坐标作为生成的第二中间融合位置坐标。
示例性地，结合上述实施例若确定出与目标对象A关联的多个初始位置坐标包含N个，可以将任一初始位置坐标作为第一中间融合位置坐标，确定该第一中间融合位置坐标与其它任一待融合的初始位置坐标的中点坐标，然后将该中点坐标作为更新后的第一中间融合位置坐标，继续与其它任一待融合的初始位置坐标进行融合，直到N个初始位置坐标中不存在待融合的初始位置坐标后，得到目标对象A的第一位置坐标。
本公开实施例中，提出针对与同一目标对象关联的多个初始位置坐标，可以按照依次取中点的方式融合，从而得到准确度较高的第一位置坐标。
在一种可能的实施方式中，在基于获取到的目标对象的第一位置坐标和目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的第二位置坐标时，如图5所示，可以包括以下S401～S403：
S401，基于目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的预测位置坐标；
S402，基于目标对象在当前时刻的预测位置坐标和第一位置坐标，确定目标对象在当前时刻的观测位置坐标；
S403，基于目标对象在当前时刻的预测位置坐标和观测位置坐标，确定目标对象在当前时刻的第二位置坐标。
示例性地，这里可以引入卡尔曼滤波器通过卡尔曼滤波的方式来确定目标对象在当前时刻的第二位置坐标，在基于卡尔曼滤波方式确定目标对象在当前时刻准确度较高的第二位置坐标的过程中，需要确定观测位置坐标和预测位置坐标，其中预测位置坐标是指可以基于上一时刻的第二位置坐标预测得到的目标对象在当前时刻的位置坐标，观测位置坐标可以根据采集设备采集的当前视频画面来确定，比如上述确定的目标对象在当前时刻的第一位置坐标，但是考虑到第一位置坐标可能存在误差，本公开实施例提出结合预测位置坐标和基于采集设备采集的当前视频画面确定的第一位置坐标来共同确定观测位置坐标，最后可以结合观测位置坐标和预测位置坐标，得到目标对象在当前时刻的第二位置坐标。
具体地，在基于目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的预测位置坐标时，可以根据卡尔曼滤波公式中的以下公式(1)来确定：
Trk(t|t-1)＝ATrk(t-1|t-1)+Bu(t-1)+W(t-1) (1)；
其中，Trk(t|t-1)表示根据目标对象在上一时刻的第二位置坐标，确定的目标对象在当前时刻的预测位置坐标；Trk(t-1|t-1)表示目标对象在上一时刻的第二位置坐标；W(t-1)表示预测目标对象在当前时刻的预测位置坐标过程中的白噪声，表示预测位置坐标的误差量；A和B表示卡尔曼滤波器的参数矩阵，其中，A表示卡尔曼滤波器中的状态转移矩阵，u(t-1)表示在上一时刻对卡尔曼滤波的控制量，可以为0。
另外，进一步地，在得到目标对象在当前时刻的观测位置坐标后，可以根据以下公式(2)确定目标对象在当前时刻的观测位置坐标的协方差矩阵：
P(t|t-1)＝AP(t-1|t-1)AT+Q (2)；
其中，P(t|t-1)表示目标对象在当前时刻的观测位置坐标的协方差矩阵，可以表示目标对象在当前时刻的观测位置坐标的不确定度；P(t-1|t-1)表示目标对象在上一时刻的第二位置坐标的协方差矩阵，可以表示目标对象在上一时刻的第二位置坐标的不确定度；Q表示卡尔曼滤波器引入的系统过程协方差矩阵，用来表示状态转移矩阵相比实际过程的误差。
示例性地，在得到目标对象在当前时刻的预测位置坐标后，可以结合目标对象的预测位置坐标和第一位置坐标，确定目标对象在当前时刻的观测位置坐标，具体将在后续进行阐述。
在得到目标对象在当前时刻的预测位置坐标和观测位置坐标后，可以根据卡尔曼滤波公式中的以下公式(3)来确定目标对象在当前时刻的第二位置坐标：
Trk(t|t)＝Trk(t|t-1)+Kg(t)(z(t)-HTrk(t|t-1)) (3)；
其中，Trk(t|t)表示目标对象在当前时刻的第二位置坐标；Z(t)表示目标对象在当前时刻的观测位置坐标；Kg(t)表示卡尔曼滤波器中的滤波增益矩阵，该滤波增益矩阵可以通过以下公式(4)确定：
Figure BDA0003043853040000161
其中，H表示卡尔曼滤波器中的参数矩阵，表示观测矩阵；R表示卡尔曼滤波器中已知的测量噪声协方差。
进一步地，可以基于滤波增益矩阵后续还需要确定目标对象在下一时刻的第二位置坐标，因此需要确定目标对象在当前时刻的第二位置坐标的协方差矩阵P(t|t)，具体可以通过以下公式(5)进行确定：
P(t|t)＝(I-Kg(t)H)P(t|t-1) (5)；
在得到目标对象在当前时刻的第二位置坐标的协方差矩阵后，可以基于该协方差矩阵确定目标对象在下一时刻的观测位置坐标的协方差矩阵，为确定目标对象在下一时刻的第二位置坐标做准备。
本公开实施例中，可以根据目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的预测位置坐标，进一步结合目标对象在当前时刻的第一位置坐标，可以得到目标对象在当前时刻准确度较高的第二位置坐标。
具体地，目标对象包含多个，针对上述S402，在基于目标对象在当前时刻的预测位置坐标和第一位置坐标，确定目标对象在当前时刻的观测位置坐标时，可以包括以下S4021～S4022：
S4021，基于多个目标对象在当前时刻的预测位置坐标和第一位置坐标，确定与同一目标对象关联的预测位置坐标和第一位置坐标。
S4022，确定与同一目标对象关联的预测位置坐标和第一位置坐标的第一中点坐标，将该第一中点坐标作为同一目标对象在当前时刻的观测位置坐标。
示例性地，根据上一时刻目标场所中包含的N个目标对象的第二位置坐标，可以得到N个目标对象在当前时刻的预测位置坐标，另外基于多个采集设备采集的当前视频画面，可以得到目标场所中的M个目标对象在当前时刻的第一位置坐标，在N个预测位置坐标和M个第一位置坐标中，可以基于距离的贪心算法确定与同一目标对象关联的预测位置坐标和第一位置坐标，然后进一步可以将与同一目标对象关联的预测位置坐标和第一位置坐标的中点坐标，作为该同一目标对象在当前时刻的观测位置坐标。
示例性地，N可以大于或等于M，在N大于M的情况下，可能在采集设备采集的当前视频画面中，存在漏检的目标对象，比如由于目标场所中的障碍物遮挡导致无法采集到某个目标对象的视频画面，这样在基于当前视频画面确定目标场所中的目标对象的第一位置坐标的情况下，会存在漏检的情况，此时可以通过该目标对象的预测位置坐标来确定该目标对象在当前时刻的观测位置坐标。
具体地，针对上述S4021，在基于多个目标对象在当前时刻的预测位置坐标和第一位置坐标，确定与同一目标对象关联的预测位置坐标和第一位置坐标时，可以包括以下S40211～S40212：
S40211，针对每个预测位置坐标，确定该预测位置坐标和各个第一位置坐标之间的第一距离；
S40212，将该预测位置坐标和与该预测位置坐标构成最小第一距离的第一位置坐标，作为与同一目标对象关联的预测位置坐标和第一位置坐标，最小第一距离小于第一预设融合距离阈值。
示例性地，比如当前时刻包含N个预测位置坐标以及M个观测位置坐标，根据N个预测位置坐标以及M个观测位置坐标，确定每个预测位置坐标和各个观测位置坐标之间的欧式距离，得到距离矩阵：
Figure BDA0003043853040000181
其中，l11表示N个预测位置坐标中第1个预测位置坐标和M个观测位置坐标中第1个观测位置坐标之间的第一距离；l1M表示N个预测位置坐标中第1个预测位置坐标和M个观测位置坐标中第M个观测位置坐标之间的第一距离；lnm表示N个预测位置坐标中第n个预测位置坐标和M个观测位置坐标中第m个观测位置坐标之间的第一距离；lN1表示N个预测位置坐标中第N个预测位置坐标和M个观测位置坐标中第1个观测位置坐标之间的第一距离；lNM表示N个预测位置坐标中第N个预测位置坐标和M个观测位置坐标中第M个观测位置坐标之间的第一距离。
进一步地，可以按照上述确定与同一目标对象关联的多个初始位置坐标的方式，确定与同一目标对象关联的预测位置坐标和第一位置坐标，具体过程在此不再赘述。
本公开实施例中，结合根据目标对象在历史时刻的位置坐标预测的目标对象在当前时刻的预测位置坐标，以及根据采集设备采集的当前视频画面确定的目标对象的第一位置坐标，一方面可以快速得到同一目标对象在不同时刻的位置坐标，另一方面可以得到准确度较高的观测位置坐标。
在一种实施方式中，如图6所示，本公开实施例提供的目标追踪方法还包括以下S501～S502：
S501，确定当前视频画面中是否存在漏检的目标对象，其中，漏检的目标对象在当前时刻具有预测位置坐标，且在当前时刻的第一位置坐标为空；
S502，在确定存在漏检的目标对象的情况下，将漏检的目标对象在当前时刻的预测位置坐标作为漏检的目标对象在当前时刻的观测位置坐标。
示例性地，考虑到在目标场所中的目标对象较多的情况下，不同目标对象之间容易发生拥堵的情况，这样可能存在某个时刻不同的目标对象之间发生遮挡导致采集设备采集的视频画面中存在漏检的情况，比如多个采集设备中采集设备1和采集设备2采集的当前视频画面中的目标对象A均被遮挡，该情况可以将基于采集设备1和采集设备2采集的当前视频画面确定出的目标对象A的第一位置坐标记为空，此时将目标对象A作为漏检的目标对象。
示例性地，在使用卡尔曼滤波方式确定目标对象A在当前时刻的预测位置坐标的情况下，会使用目标对象A在历史时刻的第二位置坐标，由于有目标对象A在进入目标场所的过程中，会被采集设备采集到，因此可以确定目标对象A在历史时刻的第二位置坐标，这样按照卡尔曼滤波的方式可以确定目标对象A在当前时刻的预测位置坐标，如果目标对象A在当前时刻的第一位置坐标为空，可以直接将目标对象A在当前时刻的预测位置坐标作为其在当前时刻的观测位置坐标。
本公开实施例中，在采集设备采集的当前视频画面中存在被遮挡的目标对象的情况下，可以基于被遮挡的目标对象在历史时刻中的第二位置坐标确定被遮挡的目标对象在当前时刻的观测位置坐标，以便确定目标对象在当前时刻准确度较高的第二位置坐标。
在一种实施方式中，目标对象包含多个，如图7所示，本公开实施例提供的目标追踪方法还包括以下S601～S602：
S601，在确定目标对象在当前时刻的第二位置坐标后，在第二位置坐标指示的地图位置中标记与目标对象关联的身份标识符；
S602，基于标记同一身份标识符的目标对象在多个时刻的第二位置坐标，生成每个目标对象的轨迹数据。
示例性地，以目标场所为工厂，目标对象为进入工厂中的员工为例，可以在工厂进口处设置用于采集员工图像的采集设备，并基于采集的员工图像进行特征提取，比如提取员工图像中的人脸特征和/或人体特征，基于提取的特征信息和预先存储的员工身份库中每个员工的特征信息，确定进入工厂中的每个员工的身份，在对目标对象进行追踪过程中，确定出目标对象在当前时刻的第二位置坐标后，可以在第二位置坐标指示的地图位置中标记与目标对象关联的身份标识符，然后连接具有同一身份标识符的多个时刻的第二位置坐标，可以得到不同目标对象在地图中的移动轨迹。
示例性地，地图可以为预先构建高精度地图，预先构建的高境地地图与目标场所具有对应关系，两者在相同的坐标系中可以按照1：1进行呈现，因此这里可以基于标记同一身份标识符的目标对象在多个时刻的第二位置坐标，生成用于表示各目标对象在目标场所中的移动轨迹的轨迹数据。
本公开实施例中，可以根据目标对象的身份标识符以及不同时刻的第二位置坐标，快速确定每个目标对象在目标场所中的移动轨迹。
示例性地，在目标场所中存在部分目标对象之间的距离较近的情况下，对这部分目标对象进行聚类可以构成目标群，针对同一目标群中的目标对象的第二位置坐标标记身份标识符时可能发生错误，比如将目标群中的目标对象A的身份标识符标记给目标对象B，将目标对象B的身份标识符标记给目标对象A，即发生串号问题，在目标对象A和目标对象B属于同一目标群的情况下，发生串号时，因为发生串号的目标对象之间的距离较近，因此对轨迹数据的影响较小，但是在发生串号的目标对象远离目标群的情况下，若该目标对象的身份标识符发生错误，最终确定的该目标对象的轨迹数据也会发生错误，因此在一种实施方式中，在确定目标对象在当前时刻的第二位置坐标之后，如图8所示，本公开实施例提供的目标追踪方法还包括以下S701～S703：
S701，基于多个目标对象在当前时刻的第二位置坐标，检测是否存在偏离目标群的目标对象；目标群为根据多个目标对象在上一时刻的第二位置坐标进行聚类得到的。
示例性地，可以根据聚类算法(Density-Based Spatial Clustering ofApplications with Noise，DBSCAN)，对多个目标对象在上一时刻的第二位置坐标进行聚类，得到目标群，目标群中不同目标对象之间的第二位置坐标的距离小于预先设定的进入目标群的距离阈值。
示例性地，基于多个目标对象在当前时刻的第二位置坐标和预先设定的离开目标群的距离阈值，可以判断是否存在偏离所属目标群的目标对象。
S702，在确定存在偏离目标群的目标对象情况下，检测偏离目标群的目标对象关联的身份标识符是否准确。
具体地，在检测偏离目标群的目标对象关联的身份标识符是否准确时，包括：
S7031，提取偏离目标群的目标对象的特征信息；
S7032，基于偏离目标群的目标对象的特征信息，以及预先保存的进入目标场所中的各目标对象的特征信息和身份标识符之间的映射关系，检测偏离目标群的目标对象关联的身份标识符是否准确。
示例性地，在确定存在偏离目标群的目标对象的情况下，获取该偏离目标群的目标对象的当前视频画面，基于该当前视频画面提取该偏离目标群的目标对象的特征信息，基于该特征信息和预先存储的该目标对象的身份标识符和对应的特征信息，确定该偏离目标群的目标对象关联的身份标识符是否准确，比如可以确定当前提取的偏离目标群的目标对象的特征信息和预先标记的该目标对象的身份标识符关联的特征信息之间的相似度，在确定该相似度达到预设相似度阈值的情况下，确定该偏离目标群的目标对象关联的身份标识符准确，相反，在确定该相似度未达到预设相似度阈值的情况下，确定该偏离目标群的目标对象关联的身份标识符不准确。
比如，检测到存在偏离目标群的目标对象，预先对该目标对象标记的身份标识符为001，在确定当前视频画面提取的该偏离目标对象的特征信息和身份标识符001关联的特征信息之间的相似度小于预设相似度阈值的情况下，确定目标对象001的身份标识符不准确。
S703，在确定偏离目标群的目标对象的身份标识符不准确的情况下，对偏离目标群的目标对象关联的身份标识符进行修正。
示例性地，在确定偏离目标群的目标对象的身份标识符不准确的情况下，可以基于提取的该偏离目标群的目标对象的特征信息和预先存储的员工身份库中每个员工的特征信息，重新确定该偏离目标群的目标对象的身份标识符。
本公开实施例中，在检测到存在离开目标群的目标对象的情况下，对离开目标群的目标对象的身份标识符进行重新验证，可以提高在不同时刻标记的目标对象的身份标识符的准确度，从而提高目标对象的轨迹数据的准确度。
本公开实施例提出的定位方法可以准确地确定目标场所中各目标对象在当前时刻的第二位置坐标，该方式可以应用于多种应用场景，以应用于工厂为例，在得到目标对象在目标场所中的第二位置坐标之后，如图9所示，本公开实施例提供的定位方法还包括以下S801～S802：
S801，基于目标场所中的各目标对象分别对应的第二位置坐标，以及预先设定的目标区域，确定是否存在进入目标区域的目标对象；
S802，在确定存在进入目标区域的目标对象的情况下，进行预警提示。
示例性地，目标场所为工厂的情况下，可以预先在目标场所对应的世界坐标下中设定工厂内存在危险的目标区域对应的坐标范围，然后根据确定的目标场所中的各目标对象在当前时刻分别对应的第二位置坐标以及目标位于对应的坐标范围，确定是否存在进入目标区域的目标对象，进一步在确定存在进入目标区域的目标对象的情况下，进行预警提示。
示例性地，预警提示可以包括但不限于声光报警提示、语音报警提示等，通过预警提示，可以保障目标场所中员工的安全，提高目标场所的安全性。
本公开实施例中，在得到目标场所中的各目标对象准确度较高的第二位置坐标后，可以基于预先设定的目标区域，比如预先设定的危险区域，判断目标场所中的目标对象是否进入目标区域，以便及时预警提示，提高目标场所的安全性。
下面结合图10，以目标场所为工厂，目标对象为员工为例，对本公开实施例提供的目标追踪过程进行阐述：
1)针对工厂进行采集设备安装，比如在工厂安装多个相机，为了实现对场景内目标的精准定位，并保证算法通用性及鲁棒性，使得不同的采集设备在工厂中的采集视角不同，确保进入工厂中的每个员工至少被两个采集设备同时采集到；
2)使用张正友标定方式确定每个相机的内参矩阵和畸变系数；
3)在工厂内设置多个标志物，确定标志物与地面的交点在工厂对应的世界坐标系中的位置坐标，并根据相机的内参矩阵和畸变系数确定标志物与地面的交点在样本视频画面中的修正像素坐标，并根据交点在世界坐标系中的位置坐标和在样本视频画面中的修正像素坐标，确定每个相机的单应性矩阵；
4)针对进入工厂中的每个员工进行特征检测，比如可以包含图9中的人体检测和人脸识别，得到每个员工的特征信息，并基于提取的特征信息和预先构建预先存储的员工身份库中每个员工的特征信息，确定进入工厂的每个员工的身份标识符；
5)针对采集设备采集的当前视频画面，使用加入特征金字塔的神经网络进行目标检测，得到每张当前视频画面中包含的员工的像素坐标；
6)根据采集该张视频画面的相机的内参矩阵和畸变系数，对该张视频画面中包含的员工的像素坐标进行修正，得到该张视频画面中包含的员工的修正像素坐标；
7)根据采集该张视频画面的相机的单应性矩阵和该张视频画面中包含的员工的修正像素坐标，确定该张视频画面中包含的员工在工厂中的初始位置坐标；
8)对同一时刻采集到的视频画面中的同一员工的初始位置坐标进行融合，得到工厂中的员工在该时刻的第一位置坐标；
9)根据确定的员工在上一时刻的第二位置坐标和员工在当前时刻的第一位置坐标，确定员工在当前时刻的第二位置坐标，具体过程详见上文；
10)每次在确定员工在当前时刻的第二位置坐标的同时，可以在员工的第二位置坐标指示的地图位置中标记员工关联的身份标识符，进一步基于标记同一身份标识符的员工在多个时刻的第二位置坐标，生成每个员工的轨迹数据。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与目标追踪方法对应的目标追踪装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述目标追踪方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图11所示，为本公开实施例提供的一种目标追踪装置900的示意图，该目标追踪装置包括：
获取模块901，用于获取目标场所内设置的多个采集设备采集的当前视频画面；多个采集设备在目标场所中的采集视角不同，视频画面中包括目标对象；
确定模块902，用于基于多个采集设备采集的当前视频画面，确定目标场所中的目标对象在当前时刻的第一位置坐标；
追踪模块903，用于基于获取到的目标对象的第一位置坐标和目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的第二位置坐标。
在一种可能的实施方式中，追踪模块903在用于基于获取到的目标对象的第一位置坐标和目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的第二位置坐标时，包括：
基于目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的预测位置坐标；
基于目标对象在当前时刻的预测位置坐标和第一位置坐标，确定目标对象在当前时刻的观测位置坐标；
基于目标对象在当前时刻的预测位置坐标和观测位置坐标，确定目标对象在当前时刻的第二位置坐标。
在一种可能的实施方式中，目标对象包含多个，追踪模块903在用于基于目标对象在当前时刻的预测位置坐标和第一位置坐标，确定目标对象在当前时刻的观测位置坐标时，包括：
基于多个目标对象在当前时刻的预测位置坐标和第一位置坐标，确定与同一目标对象关联的预测位置坐标和第一位置坐标；
确定与同一目标对象关联的预测位置坐标和第一位置坐标的第一中点坐标，将该第一中点坐标作为同一目标对象在当前时刻的观测位置坐标。
在一种可能的实施方式中，追踪模块903在用于基于多个目标对象在当前时刻的预测位置坐标和第一位置坐标，确定与同一目标对象关联的预测位置坐标和第一位置坐标时，包括：
针对每个预测位置坐标，确定该预测位置坐标和各个第一位置坐标之间的第一距离；
将该预测位置坐标和与该预测位置坐标构成最小第一距离的第一位置坐标，作为与同一目标对象关联的预测位置坐标和第一位置坐标，最小第一距离小于第一预设融合距离阈值。
在一种可能的实施方式中，追踪模块903还用于：
确定当前视频画面中是否存在漏检的目标对象，其中，漏检的目标对象在当前时刻具有预测位置坐标，且在当前时刻的第一位置坐标为空；
在确定存在漏检的目标对象的情况下，将漏检的目标对象在当前时刻的预测位置坐标作为漏检的目标对象在当前时刻的观测位置坐标。
在一种可能的实施方式中，目标对象包含多个，追踪模块903还用于：
在确定目标对象在当前时刻的第二位置坐标后，在第二位置坐标指示的地图位置中标记与目标对象关联的身份标识符；
基于标记同一身份标识符的目标对象在多个时刻的第二位置坐标，生成每个目标对象的轨迹数据。
在一种可能的实施方式中，在确定目标对象在当前时刻的第二位置坐标之后，追踪模块903还用于：
基于多个目标对象在当前时刻的第二位置坐标，检测是否存在偏离目标群的目标对象；目标群为根据多个目标对象在上一时刻的第二位置坐标进行聚类得到的；
在确定存在偏离目标群的目标对象情况下，检测偏离目标群的目标对象关联的身份标识符是否准确；
在确定偏离目标群的目标对象的身份标识符不准确的情况下，对偏离目标群的目标对象关联的身份标识符进行修正。
在一种可能的实施方式中，追踪模块903在用于检测偏离目标群的目标对象关联的身份标识符是否准确时，包括：
提取偏离目标群的目标对象的特征信息；
基于偏离目标群的目标对象的特征信息，以及预先保存的进入目标场所中的各目标对象的特征信息和身份标识符之间的映射关系，检测偏离目标群的目标对象关联的身份标识符是否准确。
在一种可能的实施方式中，确定模块902在用于基于多个采集设备采集的当前视频画面，确定目标场所中的目标对象在当前时刻的第一位置坐标时，包括：
获取多个采集设备分别采集的当前视频画面中的目标对象的像素坐标；
基于每个采集设备采集的当前视频画面中的目标对象的像素坐标和该采集设备的参数信息，确定目标对象在当前时刻下在目标场所中的初始位置坐标；
对同一目标对象的初始位置坐标进行融合，得到目标对象在当前时刻下在目标场所中的第一位置坐标。
在一种可能的实施方式中，确定模块902在用于获取多个采集设备分别采集的当前视频画面中的目标对象的像素坐标时，包括：
将多个当前视频画面输入预先训练的神经网络，得到每个当前视频画面中的目标对象的检测框；其中，神经网络包含多个用于检测不同尺寸的目标对象的目标检测子网络；
提取每个当前视频画面中的目标对象的检测框上的目标位置点在该当前视频画面中的像素坐标，得到该当前视频画面中的目标对象的像素坐标。
在一种可能的实施方式中，确定模块902在用于基于每个采集设备采集的当前视频画面中的目标对象的像素坐标和该采集设备的参数信息，确定目标对象在当前时刻下在目标场所中的初始位置坐标时，包括：
基于每个采集设备的内参矩阵和畸变参数，对该采集设备采集的目标对象的像素坐标进行修正，得到该当前视频画面中的目标对象的修正像素坐标；
基于预先确定的该采集设备的单应性矩阵和该采集设备采集的当前视频画面中的目标对象的修正像素坐标，确定该当前视频画面中的目标对象的初始位置坐标。
在一种可能的实施方式中，确定模块902在用于对同一目标对象的初始位置坐标进行融合，得到目标对象在当前时刻下在目标场所中的第一位置坐标时，包括：
基于多个当前视频画面确定的目标对象的初始位置坐标，确定与同一目标对象关联的多个初始位置坐标；
将与同一目标对象关联的多个初始位置坐标进行依次融合，得到同一目标对象在当前时刻下在目标场所中的第一位置坐标。
在一种可能的实施方式中，确定模块902在用于将与同一目标对象关联的多个初始位置坐标进行依次融合，得到同一目标对象在当前时刻下在目标场所中的第一位置坐标时，包括：
从同一目标对象关联的多个初始位置坐标中选取任一初始位置坐标，将选取的任一初始位置坐标作为第一中间融合位置坐标；
将第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合，生成第二中间融合位置坐标，将第二中间融合位置坐标作为更新后的第一中间融合位置坐标，并返回生成第二中间融合位置坐标的步骤，直到不存在待融合的初始位置坐标。
在一种可能的实施方式中，确定模块902在用于将第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合，生成第二中间融合位置坐标时，包括：
确定第一中间融合位置坐标与其它任一待融合的初始位置坐标的中点坐标，将该中点坐标作为生成的第二中间融合位置坐标。
在一种可能的实施方式中，确定模块902在用于基于多个当前视频画面确定的目标对象的初始位置坐标，确定与同一目标对象关联的多个初始位置坐标时，包括：
针对任意两个当前视频画面，确定任意两个当前视频画面中第一当前视频画面中每个第一目标对象的初始位置坐标，与任意两个当前视频画面中第二当前视频画面中各个第二目标对象的初始位置坐标之间的第二距离；
将该第一目标对象的初始位置坐标和与该第一目标对象构成最小第二距离的第二目标对象的初始位置坐标，作为与同一目标对象关联的多个初始位置坐标，最小第二距离小于第二预设融合距离阈值。
在一种可能的实施方式中，在追踪模块903确定目标对象在当前时刻的第二位置坐标后，确定模块902还用于：
基于目标场所中的各目标对象分别对应的第二位置坐标，以及预先设定的目标区域，确定是否存在进入目标区域的目标对象；
在确定存在进入目标区域的目标对象的情况下，进行预警提示。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的目标追踪方法，本公开实施例还提供了一种电子设备1100，如图12所示，为本公开实施例提供的电子设备1100结构示意图，包括：
处理器111、存储器112、和总线113；存储器112用于存储执行指令，包括内存1121和外部存储器1122；这里的内存1121也称内存储器，用于暂时存放处理器111中的运算数据，以及与硬盘等外部存储器1122交换的数据，处理器111通过内存1121与外部存储器1122进行数据交换，当电子设备1100运行时，处理器111与存储器112之间通过总线113通信，使得处理器111执行以下指令：获取目标场所内设置的多个采集设备采集的当前视频画面；多个采集设备在目标场所中的采集视角不同，视频画面中包括目标对象；基于多个采集设备采集的当前视频画面，确定目标场所中的目标对象在当前时刻的第一位置坐标；基于获取到的目标对象的第一位置坐标和目标对象在上一时刻的第二位置坐标，确定目标对象在当前时刻的第二位置坐标。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的目标追踪方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的目标追踪方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种目标追踪方法，其特征在于，包括：
获取目标场所内设置的多个采集设备采集的当前视频画面；所述多个采集设备在所述目标场所中的采集视角不同，所述视频画面中包括目标对象；
基于所述多个采集设备采集的当前视频画面，确定所述目标场所中的目标对象在当前时刻的第一位置坐标；
基于获取到的所述目标对象的所述第一位置坐标和所述目标对象在上一时刻的第二位置坐标，确定所述目标对象在当前时刻的第二位置坐标；
所述基于获取到的所述目标对象的所述第一位置坐标和所述目标对象在上一时刻的第二位置坐标，确定所述目标对象在当前时刻的第二位置坐标，包括：
基于所述目标对象在上一时刻的第二位置坐标，确定所述目标对象在当前时刻的预测位置坐标；
基于所述目标对象在当前时刻的所述预测位置坐标和所述第一位置坐标，确定所述目标对象在当前时刻的观测位置坐标；
基于所述目标对象在当前时刻的所述预测位置坐标和所述观测位置坐标，确定所述目标对象在当前时刻的第二位置坐标。
2.根据权利要求1所述的目标追踪方法，其特征在于，所述目标对象包含多个，所述基于所述目标对象在当前时刻的所述预测位置坐标和所述第一位置坐标，确定所述目标对象在当前时刻的观测位置坐标，包括：
基于多个目标对象在当前时刻的所述预测位置坐标和所述第一位置坐标，确定与同一目标对象关联的所述预测位置坐标和所述第一位置坐标；
确定与所述同一目标对象关联的所述预测位置坐标和所述第一位置坐标的第一中点坐标，将该第一中点坐标作为所述同一目标对象在当前时刻的观测位置坐标。
3.根据权利要求2所述的目标追踪方法，其特征在于，所述基于多个目标对象在当前时刻的所述预测位置坐标和所述第一位置坐标，确定与同一目标对象关联的所述预测位置坐标和所述第一位置坐标，包括：
针对每个预测位置坐标，确定该预测位置坐标和各个所述第一位置坐标之间的第一距离；
将该预测位置坐标和与该预测位置坐标构成最小第一距离的第一位置坐标，作为与同一目标对象关联的所述预测位置坐标和所述第一位置坐标，所述最小第一距离小于第一预设融合距离阈值。
4.根据权利要求2至3任一所述的目标追踪方法，其特征在于，所述目标追踪方法还包括：
确定当前视频画面中是否存在漏检的目标对象，其中，所述漏检的目标对象在当前时刻具有所述预测位置坐标，且在当前时刻的第一位置坐标为空；
在确定存在漏检的目标对象的情况下，将所述漏检的目标对象在当前时刻的所述预测位置坐标作为所述漏检的目标对象在当前时刻的观测位置坐标。
5.根据权利要求1至4任一所述的目标追踪方法，其特征在于，所述目标对象包含多个，所述目标追踪方法还包括：
在确定所述目标对象在当前时刻的第二位置坐标后，在所述第二位置坐标指示的地图位置中标记与所述目标对象关联的身份标识符；
基于标记同一身份标识符的目标对象在多个时刻的第二位置坐标，生成每个目标对象的轨迹数据。
6.根据权利要求5所述的目标追踪方法，其特征在于，在确定所述目标对象在当前时刻的第二位置坐标之后，所述目标追踪方法还包括：
基于所述多个目标对象在当前时刻的第二位置坐标，检测是否存在偏离目标群的目标对象；所述目标群为根据所述多个目标对象在上一时刻的第二位置坐标进行聚类得到的；
在确定存在偏离目标群的目标对象情况下，检测所述偏离目标群的目标对象关联的身份标识符是否准确；
在确定所述偏离目标群的目标对象的身份标识符不准确的情况下，对所述偏离目标群的目标对象关联的身份标识符进行修正。
7.根据权利要求6所述的目标追踪方法，其特征在于，所述检测所述偏离目标群的目标对象关联的身份标识符是否准确，包括：
提取所述偏离目标群的目标对象的特征信息；
基于所述偏离目标群的目标对象的特征信息，以及预先保存的进入所述目标场所中的各目标对象的特征信息和身份标识符之间的映射关系，检测所述偏离目标群的目标对象关联的身份标识符是否准确。
8.根据权利要求1所述的目标追踪方法，其特征在于，所述基于所述多个采集设备采集的当前视频画面，确定所述目标场所中的目标对象在当前时刻的第一位置坐标，包括：
获取多个采集设备分别采集的当前视频画面中的目标对象的像素坐标；
基于每个采集设备采集的所述当前视频画面中的目标对象的像素坐标和该采集设备的参数信息，确定所述目标对象在当前时刻下在所述目标场所中的初始位置坐标；
对同一目标对象的初始位置坐标进行融合，得到所述目标对象在当前时刻下在所述目标场所中的第一位置坐标。
9.根据权利要求8所述的目标追踪方法，其特征在于，所述获取多个采集设备分别采集的当前视频画面中的目标对象的像素坐标，包括：
将多个所述当前视频画面输入预先训练的神经网络，得到每个当前视频画面中的目标对象的检测框；其中，所述神经网络包含多个用于检测不同尺寸的目标对象的目标检测子网络；
提取每个当前视频画面中的目标对象的检测框上的目标位置点在该当前视频画面中的像素坐标，得到该当前视频画面中的目标对象的像素坐标。
10.根据权利要求8或9所述的目标追踪方法，其特征在于，所述基于每个采集设备采集的所述当前视频画面中的目标对象的像素坐标和该采集设备的参数信息，确定所述目标对象在当前时刻下在所述目标场所中的初始位置坐标，包括：
基于每个采集设备的内参矩阵和畸变参数，对该采集设备采集的所述目标对象的像素坐标进行修正，得到该当前视频画面中的所述目标对象的修正像素坐标；
基于预先确定的该采集设备的单应性矩阵和该采集设备采集的当前视频画面中的所述目标对象的修正像素坐标，确定该当前视频画面中的所述目标对象的所述初始位置坐标。
11.根据权利要求8至9任一所述的目标追踪方法，其特征在于，所述对同一目标对象的初始位置坐标进行融合，得到所述目标对象在当前时刻下在所述目标场所中的第一位置坐标，包括：
基于多个所述当前视频画面确定的所述目标对象的所述初始位置坐标，确定与同一目标对象关联的多个所述初始位置坐标；
将与同一目标对象关联的多个所述初始位置坐标进行依次融合，得到所述同一目标对象在当前时刻下在所述目标场所中的第一位置坐标。
12.根据权利要求11所述的目标追踪方法，其特征在于，所述将与同一目标对象关联的多个所述初始位置坐标进行依次融合，得到所述同一目标对象在当前时刻下在所述目标场所中的第一位置坐标，包括：
从所述同一目标对象关联的多个所述初始位置坐标中选取任一初始位置坐标，将选取的任一初始位置坐标作为第一中间融合位置坐标；
将所述第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合，生成第二中间融合位置坐标，将所述第二中间融合位置坐标作为更新后的所述第一中间融合位置坐标，并返回生成所述第二中间融合位置坐标的步骤，直到不存在待融合的初始位置坐标。
13.根据权利要求12所述的目标追踪方法，其特征在于，将所述第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合，生成第二中间融合位置坐标，包括：
确定所述第一中间融合位置坐标与其它任一待融合的初始位置坐标的中点坐标，将该中点坐标作为生成的所述第二中间融合位置坐标。
14.根据权利要求11至13任一所述的目标追踪方法，其特征在于，所述基于多个所述当前视频画面确定的所述目标对象的所述初始位置坐标，确定与同一目标对象关联的多个所述初始位置坐标，包括：
针对任意两个当前视频画面，确定所述任意两个当前视频画面中第一当前视频画面中每个第一目标对象的所述初始位置坐标，与所述任意两个当前视频画面中第二当前视频画面中各个第二目标对象的所述初始位置坐标之间的第二距离；
将该第一目标对象的所述初始位置坐标和与该第一目标对象构成最小第二距离的第二目标对象的初始位置坐标，作为与同一目标对象关联的多个所述初始位置坐标，所述最小第二距离小于第二预设融合距离阈值。
15.根据权利要求1至14任一所述的目标追踪方法，其特征在于，在确定所述目标对象在当前时刻的第二位置坐标后，所述目标追踪方法还包括：
基于所述目标场所中的各目标对象分别对应的第二位置坐标，以及预先设定的目标区域，确定是否存在进入所述目标区域的目标对象；
在确定存在进入所述目标区域的目标对象的情况下，进行预警提示。
16.一种目标追踪装置，其特征在于，包括：
获取模块，用于获取目标场所内设置的多个采集设备采集的当前视频画面；所述多个采集设备在所述目标场所中的采集视角不同，所述视频画面中包括目标对象；
确定模块，用于基于所述多个采集设备采集的当前视频画面，确定所述目标场所中的目标对象在当前时刻的第一位置坐标；
追踪模块，用于基于获取到的所述目标对象的所述第一位置坐标和所述目标对象在上一时刻的第二位置坐标，确定所述目标对象在当前时刻的第二位置坐标；
所述追踪模块在用于基于获取到的所述目标对象的所述第一位置坐标和所述目标对象在上一时刻的第二位置坐标，确定所述目标对象在当前时刻的第二位置坐标时，包括：
基于所述目标对象在上一时刻的第二位置坐标，确定所述目标对象在当前时刻的预测位置坐标；
基于所述目标对象在当前时刻的所述预测位置坐标和所述第一位置坐标，确定所述目标对象在当前时刻的观测位置坐标；
基于所述目标对象在当前时刻的所述预测位置坐标和所述观测位置坐标，确定所述目标对象在当前时刻的第二位置坐标。
17.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至15任一所述的追踪方法的步骤。
18.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至15任一项所述的追踪方法的步骤。
CN202110467650.7A 2021-04-28 2021-04-28 一种目标跟踪方法、装置、电子设备及存储介质 Active CN113129339B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110467650.7A CN113129339B (zh) 2021-04-28 2021-04-28 一种目标跟踪方法、装置、电子设备及存储介质
PCT/CN2022/074956 WO2022227761A1 (zh) 2021-04-28 2022-01-29 目标跟踪方法、装置、电子设备及存储介质
TW111115565A TW202244847A (zh) 2021-04-28 2022-04-25 目標跟蹤方法、裝置、電子設備及儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110467650.7A CN113129339B (zh) 2021-04-28 2021-04-28 一种目标跟踪方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113129339A CN113129339A (zh) 2021-07-16
CN113129339B true CN113129339B (zh) 2023-03-10

Family

ID=76781059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110467650.7A Active CN113129339B (zh) 2021-04-28 2021-04-28 一种目标跟踪方法、装置、电子设备及存储介质

Country Status (3)

Country Link
CN (1) CN113129339B (zh)
TW (1) TW202244847A (zh)
WO (1) WO2022227761A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129339B (zh) * 2021-04-28 2023-03-10 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN113759314A (zh) * 2021-09-01 2021-12-07 浙江讯飞智能科技有限公司 一种声源可视化方法、装置、系统和计算机可读存储介质
CN113823029A (zh) * 2021-10-29 2021-12-21 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN116453029B (zh) * 2023-06-16 2023-08-29 济南东庆软件技术有限公司 基于图像数据的楼宇火灾环境检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544273A (zh) * 2018-05-29 2019-12-06 杭州海康机器人技术有限公司 运动捕捉方法、装置以及系统
CN110544278A (zh) * 2018-05-29 2019-12-06 杭州海康机器人技术有限公司 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN111539991A (zh) * 2020-04-28 2020-08-14 北京市商汤科技开发有限公司 目标跟踪方法及装置、存储介质
CN112330717A (zh) * 2020-11-11 2021-02-05 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
CN112330721A (zh) * 2020-11-11 2021-02-05 北京市商汤科技开发有限公司 三维坐标的恢复方法及装置、电子设备和存储介质
WO2021057739A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
WO2021057744A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN112653848A (zh) * 2020-12-23 2021-04-13 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2834877A1 (en) * 2012-11-28 2014-05-28 Henry Leung System and method for event monitoring and detection
CN107481327B (zh) * 2017-09-08 2019-03-15 腾讯科技（深圳）有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
CN111277745B (zh) * 2018-12-04 2023-12-05 北京奇虎科技有限公司 目标人员的追踪方法、装置、电子设备及可读存储介质
CN110517292A (zh) * 2019-08-29 2019-11-29 京东方科技集团股份有限公司 目标跟踪方法、装置、系统和计算机可读存储介质
CN111563919B (zh) * 2020-04-03 2023-12-29 深圳市优必选科技股份有限公司 目标跟踪方法、装置、计算机可读存储介质及机器人
CN113129339B (zh) * 2021-04-28 2023-03-10 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544273A (zh) * 2018-05-29 2019-12-06 杭州海康机器人技术有限公司 运动捕捉方法、装置以及系统
CN110544278A (zh) * 2018-05-29 2019-12-06 杭州海康机器人技术有限公司 刚体运动捕捉方法及装置、agv位姿捕捉系统
WO2021057739A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
WO2021057744A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111539991A (zh) * 2020-04-28 2020-08-14 北京市商汤科技开发有限公司 目标跟踪方法及装置、存储介质
CN112330717A (zh) * 2020-11-11 2021-02-05 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
CN112330721A (zh) * 2020-11-11 2021-02-05 北京市商汤科技开发有限公司 三维坐标的恢复方法及装置、电子设备和存储介质
CN112653848A (zh) * 2020-12-23 2021-04-13 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022227761A1 (zh) 2022-11-03
CN113129339A (zh) 2021-07-16
TW202244847A (zh) 2022-11-16

Similar Documents

Publication Publication Date Title
CN113129339B (zh) 一种目标跟踪方法、装置、电子设备及存储介质
JP4852765B2 (ja) 広域分散カメラ間の連結関係推定法および連結関係推定プログラム
CN105391910B (zh) 多摄像机激光扫描仪
JP6448223B2 (ja) 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
TWI416068B (zh) 跨感測器間之物體追蹤方法與系統
LU102028B1 (en) Multiple view multiple target tracking method and system based on distributed camera network
JP5180733B2 (ja) 移動物体追跡装置
JP4874607B2 (ja) 物体測位装置
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN103377476A (zh) 使用三维地理弧的多模型数据的图像配准
CN106871906B (zh) 一种盲人导航方法、装置及终端设备
US11200406B2 (en) Customer flow statistical method, apparatus and device
WO2022227462A1 (zh) 定位方法、装置、电子设备及存储介质
CN112950717A (zh) 一种空间标定方法和系统
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN112132041A (zh) 一种基于计算机视觉的社区巡更分析方法及其系统
KR20160103459A (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
CN112562005A (zh) 一种空间标定方法和系统
CN112613668A (zh) 基于人工智能的景区危险区域管控方法
Choe et al. Traffic analysis with low frame rate camera networks
Bazzani et al. A comparison of multi hypothesis kalman filter and particle filter for multi-target tracking
CN109977796A (zh) 尾随通行检测方法及装置
CN112150448A (zh) 图像处理方法、装置及设备、存储介质
CN111460854A (zh) 一种远距离目标检测方法、装置及系统
CN113793362B (zh) 基于多镜头视频的行人轨迹提取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40049346

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant