CN115619832A - 多摄像头协同进行多目标轨迹确认方法、系统及相关装置 - Google Patents

多摄像头协同进行多目标轨迹确认方法、系统及相关装置 Download PDF

Info

Publication number
CN115619832A
CN115619832A CN202211636004.XA CN202211636004A CN115619832A CN 115619832 A CN115619832 A CN 115619832A CN 202211636004 A CN202211636004 A CN 202211636004A CN 115619832 A CN115619832 A CN 115619832A
Authority
CN
China
Prior art keywords
track
local
global
target
tracks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211636004.XA
Other languages
English (en)
Other versions
CN115619832B (zh
Inventor
焦继乐
冯雪涛
朱强
王炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shenxiang Intelligent Technology Co ltd
Original Assignee
Zhejiang Lianhe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lianhe Technology Co ltd filed Critical Zhejiang Lianhe Technology Co ltd
Priority to CN202211636004.XA priority Critical patent/CN115619832B/zh
Publication of CN115619832A publication Critical patent/CN115619832A/zh
Application granted granted Critical
Publication of CN115619832B publication Critical patent/CN115619832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本说明书一个或多个实施例公开了一种多摄像头协同进行多目标轨迹确认方法、系统及相关装置，包括：获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹，通过对局部轨迹与对应已有轨迹（已有局部轨迹或已有全局轨迹）进行相似度比对，将当前图像帧所有摄像头的局部轨迹归并到正确的全局轨迹，同时，基于第一相似度约束条件对当前图像帧归并后的全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，从而，保证每个目标的全局轨迹较为准确完整，提升多目标全局的轨迹确认效果。

Description

多摄像头协同进行多目标轨迹确认方法、系统及相关装置
技术领域
本文件涉及图像处理技术领域，尤其涉及一种多摄像头协同进行多目标轨迹确认方法、系统及相关装置。
背景技术
目标轨迹确认是当前视觉算法的重要应用，尤其是客流较大的商业综合体内以及融合互联网应用、实体门店等互联网技术和人工智能以及自动化技术相融合的数字化场景，对于客流的轨迹确认定位分析尤为重要。
在实际的目标轨迹确认方案中，由于单个摄像头能够覆盖的区域和视角都比较有限，通常需要根据应用场景大小布置多个摄像头，实现对场景的全部覆盖。在多个摄像头下对目标的轨迹确认就是跨摄像头多目标轨迹确认任务，旨在为摄像头网络中的每个目标推断出一个跨摄像头合成的全局轨迹。
然而，由于单摄像头的轨迹确认错误或者部分摄像头的轨迹确认结果离线生成，导致目前大部分多摄像头协同轨迹确认系统生成的全局轨迹不准确甚至不完整，影响全局轨迹确认效果。
发明内容
本说明书一个或多个实施例的目的是提供一种多摄像头协同进行多目标轨迹确认方法、系统及相关装置，通过相似度比对合成归并为正确完整的全局轨迹，提升轨迹确认效果。
为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
第一方面，提出了一种多摄像头协同进行多目标轨迹确认方法，包括：
获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹；
分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹；
根据第一相似度约束条件对全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，其中，所述第一相似度约束条件基于多个目标的目标特征确定。
第二方面，提出了一种多摄像头协同进行多目标轨迹确认装置，包括：
获取模块，用于获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹；
归并模块，用于分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹；
合并模块，用于根据第一相似度约束条件对多个全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，其中，所述第一相似度约束条件基于多个目标的目标特征确定。
第三方面，提出了一种多摄像头协同进行多目标轨迹确认的系统，包括：
多个摄像头，以及第二方面所述的多摄像头协同进行多目标轨迹确认装置；
所述多个摄像头分别与所述多摄像头协同进行多目标轨迹确认装置连接，并发送采集到的图像帧给所述多摄像头协同进行多目标轨迹确认装置；
所述多摄像头协同进行多目标轨迹确认装置，获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹；分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹；根据第一相似度约束条件对多个全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，其中，所述第一相似度约束条件基于多个目标的目标特征确定。
第四方面，提出了一种电子设备，包括：
处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第一方面所述的多摄像头协同进行多目标轨迹确认方法。
第五方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第一方面所述的多摄像头协同进行多目标轨迹确认方法。
由以上说明书一个或多个实施例提供的技术方案可见，获取多个摄像头中每个摄像头在当前图像帧的局部轨迹，通过对局部轨迹与对应已有轨迹（已有局部轨迹或已有全局轨迹）进行相似度比对，将当前图像帧所有摄像头的局部轨迹归并到正确的全局轨迹，同时，基于第一相似度约束条件对当前图像帧归并后的全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，从而，保证每个目标的全局轨迹较为准确完整，提升多目标全局的轨迹确认效果。进一步，在对局部轨迹进行归并处理时，将与已有局部轨迹比对满足第二相似度约束条件的局部轨迹归并到匹配的全局轨迹或归并到新建目标的全局轨迹，以及基于第三相似度约束条件将局部轨迹与已有全局轨迹比对，根据比对结果对存在串号分裂错误的局部轨迹进行轨迹修复，从而，实现多摄像头间协同进行多目标轨迹确认的目的，提升多目标轨迹确认效果。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对一个或多个实施例或现有技术描述中所需要使用的附图做简单介绍，显而易见地，以下描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的多摄像头协同进行多目标轨迹确认系统的架构示意图。
图2是本说明书实施例提供的一种多摄像头协同进行多目标轨迹确认方法的步骤示意图。
图3是本说明书的一个实施例提供的将局部轨迹实时归并到全局轨迹的流程示意图。
图4是本说明书的一个实施例提供的一种多摄像头协同进行多目标轨迹确认装置的结构示意图。
图5是本说明书的一个实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的一个或多个实施例只是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
为了实现更精细或更智能的目标轨迹分析，一些场景可能安装有多个摄像头，对该场景下可能出现的多个目标进行同步轨迹确认，从而实现基于多个摄像头协同进行多目标轨迹确认的目的。然而，考虑到每个单摄像头检测的不稳定性以及视角的局限性等客观原因，通常存在目标分裂和串号的情况，即不同的局部轨迹对应同一个目标或一个局部轨迹下包含多个目标，进而，致使获取到的全局轨迹不准确甚至不完整，影响全局的轨迹确认效果。
鉴于上述轨迹确认方案存在的缺陷，本说明书实施例提出了一种多摄像头协同进行多目标轨迹确认的方案，主要发明构思在于：获取多个摄像头中每个摄像头拍摄的图像中当前图像帧的局部轨迹，通过对局部轨迹与已有轨迹（即：已有局部轨迹或已有全局轨迹）进行相似度比对，将当前图像帧所有摄像头的局部轨迹归并到正确的全局轨迹，同时，基于第一相似度约束条件对当前图像帧归并后的全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，从而，保证每个目标的全局轨迹较为准确完整，提升多目标全局的轨迹确认效果。
应理解，本说明书所涉及的应用场景可以包括：无人店、半无人店、便利店、4S店等线下新零售场所，主要用于客流分析、防盗损、安防等相关服务。其实，除此之外还可以使用在火车站、机场、地铁站等公共交通场所以及图书馆、博物馆等公共场所，以用于客流分析、防盗损、安防等服务。
此外，本说明书中所提及的目标可以是应用场景中出现的顾客、旅客等人体，也可以是作为宠物携带的动物，或是在应用场景穿梭工作的机器人等。而这里的多目标可以是多个人体目标或多个动物目标或是多个机器人目标，也可以是人体、动物、机器人等部分组合的多目标。
参照图1所示，为本说明书实施例提供的多摄像头协同进行多目标轨迹确认系统的架构示意图，该系统可以包括：多个摄像头102，以及分别与多个摄像头102中每个摄像头102通信连接的多摄像头协同进行多目标轨迹确认装置104。
其中，该多个摄像头102可以是不同类型的摄像头，例如，在零售场景下，局部区域可以使用俯视摄像头，其它区域分布设置侧视摄像头，以从不同角度采集拍摄场所内目标的图像帧，并根据目标的不同图像帧形成局部轨迹，分别发送给多摄像头协同进行多目标轨迹确认装置104。应理解，这里的摄像头102可以是俯视摄像头或侧视摄像头，用以对拍摄场所内多目标进行轨迹确认。
多摄像头协同进行多目标轨迹确认装置104作为综合决策方，从不同摄像头102接收到当前图像帧的局部轨迹，并基于摄像机标定信息和已有轨迹进行综合判断分析，将当前图像帧下所有摄像头的局部轨迹均实时归并到匹配的全局轨迹，并根据第一相似度约束条件对全局轨迹进行合并处理，最终得到当前图像帧的全局轨迹队列。
在实际的应用场景中，多摄像头协同进行多目标轨迹确认装置104可以是与多个摄像头102连接的服务器，该服务器的类型可以是普通服务器或云服务器或分布式服务器等，其硬件形式可以是与摄像头102通过有线或无线方式连接的电脑、手机或可穿戴设备等具有计算和处理功能的电子设备。
多摄像头实时协同轨迹确认通过多摄像头协同的方式基于局部轨迹、摄像头的标定信息和已有轨迹进行综合决策，生成融合当前图像帧的全局轨迹队列。其中，全局轨迹队列是指由多个目标对应的全局轨迹组成的全局轨迹队列，每个目标的全局轨迹由包含多个摄像头下的局部轨迹组成，且一个全局轨迹中每个摄像头应对应一个局部轨迹。
需要说明的是，本说明书实施例的多摄像头协同进行多目标轨迹确认系统，不对该方案中所涉及人体或是被人体所属的动物或机器人等目标的目标图像，或是与目标图像相关的其它个人数据进行存储或对外传输。
参照图2所示，为本说明书实施例提供的一种多摄像头协同进行多目标轨迹确认方法的步骤示意图，该多摄像头协同进行多目标轨迹确认方法可以包括以下步骤：
步骤202：获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹。
其中，获取的每个摄像头在当前图像帧的局部轨迹，可以是该摄像头在当前图像帧下进行多目标轨迹确认得到的一个或多个局部轨迹，这多个局部轨迹可以分别对应不同目标。应理解，由于目标可能是移动的，因此，当前图像帧获取的局部轨迹的数目和前后图像帧获取的局部轨迹的数目可能不同。
每个摄像头进行多目标轨迹确认是对来自单个摄像头的视频流进行多目标轨迹确认，生成局部的轨迹片段，具体可采用例如简单的在线和实时跟踪（Simple Online andRealtime Tracking，Sort）算法、DeepSORT算法、联合检测和特征的多目标跟踪算法JDE、FairMOT算法等多目标轨迹确认算法计算得到局部轨迹。其中，Sort是一种多目标轨迹确认算法。DeepSORT是在Sort基础上引入目标表观特征提取网络的多目标轨迹确认算法。JDE是联合检测和特征的多目标轨迹确认算法统称。FairMOT是一种联合检测和特征的多目标轨迹确认算法。这些算法是目前常用的多目标轨迹确认算法，在此并不一一列举。
步骤204：分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹。
在对获取到的局部轨迹进行归并处理时，可以按照获取局部轨迹的先后顺序或是随机依次对全部局部轨迹进行归并处理。所以，在归并处理时，并不考虑局部轨迹的处理顺序，只要分别对全部局部轨迹处理完毕即可。
其中，已有轨迹可以是已有局部轨迹或已有全局轨迹。在对任一局部轨迹处理时，还同时获取该局部轨迹所属摄像头的标定信息，可以将该局部轨迹与已有局部轨迹或已有全局轨迹进行相似度比对，基于该局部轨迹、标定信息以及已有局部轨迹或已有全局轨迹进行综合判断，确定该局部轨迹是否与已有轨迹或已有全局轨迹满足特定相似度约束条件（第二相似度约束条件或第三相似度约束条件），并根据比对结果对该局部轨迹执行合适的归并处理，并更新到匹配的全局轨迹。
如果全局轨迹队列为空，则说明书此时还没有形成全局轨迹，可能只存在一些局部轨迹，那么，可以将所述局部轨迹与已有局部轨迹进行相似度比对，判断是否存在与局部轨迹的相似度满足第二相似度约束条件的已有局部轨迹，如果存在，则将所述局部轨迹与满足第二相似度约束条件的已有局部轨迹进行合并，基于合并结果建立与目标匹配的全局轨迹；如果不存在，则基于所述局部轨迹建立与目标匹配的全局轨迹；其中，所述第二相似度约束条件与目标特征和/或目标位置相关。
所述第二相似度约束条件为：当前图像帧的局部轨迹与其它局部轨迹之间的第二相似度大于等于第二阈值，其中，第二相似度是指：当前图像帧的局部轨迹与其它局部轨迹之间的位置相似度以及当前图像帧的局部轨迹与其它局部轨迹之间的特征相似度加权之和，所述位置相似度是基于欧几里得函数确定的当前图像帧的局部轨迹的目标位置与其它局部轨迹的目标位置之间的欧式距离，所述特征相似度是当前图像帧的局部轨迹的目标特征与其它局部轨迹的目标特征之间的余弦值。
如果全局轨迹队列不为空，说明此时全局轨迹队列中存在某个或某些目标的全局轨迹，则将所述局部轨迹与全局轨迹队列中已有全局轨迹进行相似度比对，基于比对结果确定是否对所述局部轨迹进行轨迹修复，将所述局部轨迹或修复后的局部轨迹归并到匹配的全局轨迹。
可选地，所述局部轨迹携带有轨迹标识；如果所述局部轨迹为已有局部轨迹，则基于所述局部轨迹的轨迹标识，从全局轨迹队列中查询该局部轨迹对应的目标全局轨迹，其中，该目标全局轨迹与该局部轨迹同属于一个目标；将所述局部轨迹与所述目标全局轨迹进行相似度比对；如果所述局部轨迹与所述目标全局轨迹的相似度满足第三相似度约束条件，则确定所述局部轨迹归属于所述目标全局轨迹；如果所述局部轨迹与所述目标全局轨迹的相似度不满足第三相似度约束条件，则将所述局部轨迹与全局轨迹队列中除所述目标全局轨迹外的其它目标全局轨迹进行相似度比对；如果确定存在与所述局部轨迹的相似度满足第三相似度约束条件的其它目标全局轨迹（如果有多个其它目标全局轨迹满足第三相似度约束条件，则取相似度最大的一个其它目标全局轨迹），则对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的其它目标全局轨迹；如果确定不存在与所述局部轨迹的相似度满足第三相似度约束条件的其它目标全局轨迹，则对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到新建目标的全局轨迹；其中，所述第三相似度约束条件与目标特征和/或目标位置相关。
进一步，所述轨迹标识包含摄像头标号和轨迹号；对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的其它目标全局轨迹时，可以判断确定出的其它目标全局轨迹中是否存在与所述局部轨迹具有相同摄像头标号的其它局部轨迹；如果存在，则将所述局部轨迹的轨迹号修改为确定出的其它局部轨迹的轨迹号，并将所述局部轨迹归并到该其它局部轨迹；如果不存在，则为所述局部轨迹生成一个新轨迹号，并将由新轨迹号标记的所述局部轨迹归并到确定出的其它目标全局轨迹，其中，所述新轨迹号与所述局部轨迹的轨迹号以及已有局部轨迹的轨迹号不同。
可选地，在对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到新建目标的全局轨迹时，可以为所述局部轨迹生成一个新轨迹号，并将由新轨迹号标记的所述局部轨迹归并到新建目标的全局轨迹，其中，所述新轨迹号与所述局部轨迹的轨迹号以及已有局部轨迹的轨迹号不同。
可选地，如果所述局部轨迹为新局部轨迹，则将所述局部轨迹与全局轨迹队列中已有全局轨迹分别进行相似度比对；如果确定存在与所述局部轨迹的相似度满足第三相似度约束条件的目标全局轨迹，对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的目标全局轨迹；如果确定不存在与所述局部轨迹的相似度满足第三相似度约束条件的目标全局轨迹，则将所述局部轨迹归并到新建目标的全局轨迹。
进一步，在对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的目标全局轨迹时，可以判断所述目标全局轨迹中是否存在与所述局部轨迹具有相同摄像头标号的其它局部轨迹；如果存在，则将所述局部轨迹的轨迹号修改为确定出的其它局部轨迹的轨迹号，并将所述局部轨迹归并到该其它局部轨迹；如果不存在，则将所述局部轨迹作为一个新的局部轨迹归并到目标全局轨迹。
所述第三相似度约束条件为：当前图像帧的局部轨迹与全局轨迹之间的第三相似度大于等于第三阈值，其中，第三相似度是指：当前图像帧的局部轨迹与全局轨迹之间的位置相似度，以及当前图像帧的局部轨迹与全局轨迹之间的特征相似度的加权之和，所述位置相似度是：基于欧几里得函数确定的当前图像帧的局部轨迹的目标位置，与全局轨迹中当前图像帧下除与该局部轨迹具有相同摄像头标号的局部轨迹外的其它局部轨迹的目标位置之间的欧式距离之和的平均值，所述特征相似度是当前图像帧的局部轨迹的目标特征与全局轨迹中所有局部轨迹的目标特征之间的余弦值之和的平均值。
其实，第二相似度和第三相似度中加权值可以根据实际的比对需求进行灵活调整，例如，位置相似度之前的加权值可以是0或特征相似度之前的加权值可以是0。在本说明书实施例中，多个摄像头里可能包含侧视摄像头和俯视摄像头。俯视摄像头的特点是鲁棒的目标特征难以提取，也难以与侧视摄像头下的目标特征匹配；但俯视摄像头没有目标与目标的遮挡，位置信息更加准确，因此本方案在计算特征相似度时需要对俯视摄像头做特殊处理。一般而言，局部轨迹之间进行相似度比对，或局部轨迹与全局轨迹进行相似度比对，涉及到俯视摄像头的轨迹时，只利用位置相似度，此时特征相似度即为0。全局轨迹与全局轨迹之间计算相似度时，只考虑侧视摄像头的轨迹，只利用特征相似度。
步骤206：根据第一相似度约束条件对多个全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，其中，所述第一相似度约束条件基于多个目标的目标特征确定。
其中，所述第一相似度约束条件为：任意两个全局轨迹之间的第一相似度大于等于第一阈值，其中，第一相似度是指：其中一个全局轨迹对应的多个目标框的目标特征，与另一个全局轨迹对应的多个目标框的目标特征之间的余弦值的平均值。
在为当前图像帧下每个摄像头的局部轨迹归并处理完成之后，可以基于第一相似度约束条件对所有全局轨迹进行两两比对，如果任意两条全局轨迹比对结果满足第一相似度约束条件，则说明这两条全局轨迹属于同一个目标，应进行合并处理，即将这两条全局轨迹合并为一条全局轨迹；如果不满足第一相似度约束条件，则说明这两条全局轨迹分别属于不同的目标，不做合并处理。这样对所有全局轨迹进行上述比对分析并合并处理后，可以得到当前图像帧的全局轨迹队列。
通过上述技术方案，获取多个摄像头中每个摄像头在当前图像帧的局部轨迹，通过对局部轨迹与已有轨迹（已有局部轨迹或已有全局轨迹）进行相似度比对，将当前图像帧所有摄像头的局部轨迹归并到正确的全局轨迹，同时，基于第一相似度约束条件对当前图像帧归并后的全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，从而，保证每个目标的全局轨迹较为准确完整，提升多目标全局的轨迹确认效果。进一步，在对局部轨迹进行归并处理时，将与已有局部轨迹比对满足第二相似度约束条件的局部轨迹归并到匹配的全局轨迹或归并到新建目标的全局轨迹，以及基于第三相似度约束条件将局部轨迹与已有全局轨迹比对，根据比对结果对存在串号分裂错误的局部轨迹进行轨迹修复，从而，实现多摄像头间协同进行多目标轨迹确认的目的，提升多目标轨迹确认效果。
参照图3所示，下面以人体目标为例，对上述多摄像头协同进行多目标轨迹确认方案进行详述。
为了便于表述，且考虑到多摄像头的实时协同，已有局部轨迹或已有全局轨迹的使用，以及多目标跨摄像头的轨迹获取，首先列出与局部轨迹相关数据结构的定义和先验信息：
在该方案中，始终维持一个由
Figure DEST_PATH_IMAGE001
个人体目标组成的全局轨迹队列
Figure 69499DEST_PATH_IMAGE002
，每个全局轨迹对应一个人体目标
Figure DEST_PATH_IMAGE003
，人体目标由多个摄像头 下的局部轨迹组成，但并不一定是
Figure 795009DEST_PATH_IMAGE004
个；其中，
Figure 165948DEST_PATH_IMAGE004
为摄像头的标号，
Figure DEST_PATH_IMAGE005
为第c个摄像头下第j个 局部轨迹。例如，
Figure 584291DEST_PATH_IMAGE006
，表示人体目标
Figure DEST_PATH_IMAGE007
由摄像头
Figure 814415DEST_PATH_IMAGE008
的轨迹11，摄像头
Figure DEST_PATH_IMAGE009
的轨迹17和摄像头
Figure 514256DEST_PATH_IMAGE010
的轨迹35组成。需要说明的是，全局轨迹队列中，同一个目标在单个 摄像头下应当只存在一个局部轨迹的轨迹标识。其中，N为正整数，摄像头的标号c为正整 数。
另外，还可以为每个已归属至全局轨迹的局部轨迹，建立该局部轨迹与所属全局 轨迹的映射关系，例如，若存在摄像头c下的轨迹
Figure 739700DEST_PATH_IMAGE005
，定义
Figure DEST_PATH_IMAGE011
为其所属的全局轨 迹（目标）。这样，就可以根据局部轨迹
Figure 328945DEST_PATH_IMAGE005
反查其所属的人体目标对应的全局轨迹。
应理解，为了进行基于人体目标特征和位置的轨迹匹配判断，在获取局部轨迹的同时，相当于保存局部轨迹的人体目标特征和位置。其中，这里的位置至少包含人体目标在图像帧中的位置以及摄像头的标定信息，通过坐标换算，可以确定人体目标在世界坐标系中的位置。
跨摄像头多目标实时协同的综合决策过程分为：基于局部轨迹到全局轨迹队列的实时归并和每次更新全局轨迹后的全局轨迹队列合并两个步骤。
第一步：基于局部轨迹到全局轨迹队列的实时归并
参照图3所示，局部轨迹到全局轨迹队列的归并根据当前是否已经存在全局轨迹队列分为两种情况：
第一种情况是轨迹确认开始时，全局轨迹队列为空，仅对首次获取到的单个摄像 头的局部轨迹进行基于当前帧人体目标特征和人体目标位置进行比对归并。具体地，将当 前图像帧的局部轨迹
Figure 780786DEST_PATH_IMAGE012
与已有局部轨迹进行相似度比对，判断该局部轨迹
Figure 707154DEST_PATH_IMAGE012
是否满足第 二相似度约束条件，即
Figure DEST_PATH_IMAGE013
是否成立。如果满足，则将该局部轨迹与比对的已有 局部轨迹进行合并，送入全局轨迹队列的同一个目标下，否则，为该局部轨迹新建目标，作 为一个新的全局轨迹送入全局轨迹队列。
第二种情况是第t帧轨迹确认时（t为大于等于2的整数），利用截止到第t-1帧的全 局轨迹队列、当前图像帧局部轨迹确认结果和标定信息、人体特征进行全局轨迹归并。以第 c个摄像头下的局部轨迹
Figure 426586DEST_PATH_IMAGE005
为例，
①若
Figure 780207DEST_PATH_IMAGE005
是已有局部轨迹，可通过
Figure 453764DEST_PATH_IMAGE014
查询到此局部轨迹存在于人体目标
Figure DEST_PATH_IMAGE015
中：
当前图像帧的局部轨迹
Figure 590348DEST_PATH_IMAGE005
与人体目标的全局轨迹
Figure 259227DEST_PATH_IMAGE015
的第三相似度
Figure 924694DEST_PATH_IMAGE016
，则
Figure 210182DEST_PATH_IMAGE005
归属于目标
Figure 212773DEST_PATH_IMAGE015
；其中，m属于[1,N]中某个数值。
否则，即
Figure DEST_PATH_IMAGE017
，
Figure 906797DEST_PATH_IMAGE005
不应该归并到人体目标
Figure 743166DEST_PATH_IMAGE015
中，当前图像帧对应的局部 轨迹不应属于
Figure 250371DEST_PATH_IMAGE005
，进入除去
Figure 56653DEST_PATH_IMAGE015
的全局轨迹队列匹配。
全局轨迹队列匹配：查询当前图像帧局部轨迹
Figure 106649DEST_PATH_IMAGE005
与所有人体目标对应的全局轨迹
Figure 707394DEST_PATH_IMAGE018
的匹配（除全局轨迹
Figure 842840DEST_PATH_IMAGE015
外）。
若满足
Figure DEST_PATH_IMAGE019
，
Figure 718393DEST_PATH_IMAGE005
归属于目标
Figure 121430DEST_PATH_IMAGE020
，其中
Figure DEST_PATH_IMAGE021
。 同时修复局部轨迹
Figure 299601DEST_PATH_IMAGE005
：若
Figure 46978DEST_PATH_IMAGE022
存在，将局部轨迹
Figure 336008DEST_PATH_IMAGE005
的轨迹与轨迹标识拆分，当前图像 帧的轨迹与局部轨迹
Figure DEST_PATH_IMAGE023
关联在一起（当前图像帧的局部轨迹（目前标记为
Figure 485229DEST_PATH_IMAGE005
这一轨迹标 识，实际应标记为
Figure 834302DEST_PATH_IMAGE023
这一轨迹标识）因为串号被误确认，实际应属于局部轨迹
Figure 537816DEST_PATH_IMAGE023
）；若
Figure 863493DEST_PATH_IMAGE024
不存在，将局部轨迹
Figure 867221DEST_PATH_IMAGE005
的轨迹与轨迹标识拆分，并为该当前图像帧的轨迹新生成一个轨迹 标识
Figure DEST_PATH_IMAGE025
存入目标全局轨迹
Figure 387195DEST_PATH_IMAGE020
中；其中，
Figure 843584DEST_PATH_IMAGE024
是全局轨迹
Figure 208838DEST_PATH_IMAGE020
中摄像头c对应的局部轨迹。
若
Figure 67072DEST_PATH_IMAGE026
，即当前图像帧不与任何已有全局轨迹匹配，将局部轨迹
Figure 757948DEST_PATH_IMAGE005
的轨迹与轨迹标识拆分，并为该当前图像帧的轨迹新生成一个轨迹标识，在全局轨迹队 列中新建该局部轨迹对应的目标的全局轨迹，将以新生成轨迹标识标记的局部轨迹归并到 新建全局轨迹。
②若
Figure 701633DEST_PATH_IMAGE005
是新产生的局部轨迹，
Figure DEST_PATH_IMAGE027
不存在，直接进入全局轨迹队列匹配：
全局轨迹队列匹配：查询
Figure 900271DEST_PATH_IMAGE005
与所有目标
Figure 347433DEST_PATH_IMAGE028
的匹配。
若满足
Figure 209209DEST_PATH_IMAGE019
，
Figure 640191DEST_PATH_IMAGE005
归属于目标
Figure 878405DEST_PATH_IMAGE020
，其中
Figure DEST_PATH_IMAGE029
。同 时修复局部轨迹
Figure 586598DEST_PATH_IMAGE005
：若
Figure 478331DEST_PATH_IMAGE022
存在，则将局部轨迹的轨迹标识
Figure 36089DEST_PATH_IMAGE005
修改为
Figure 671469DEST_PATH_IMAGE023
（
Figure 968590DEST_PATH_IMAGE005
是目标
Figure 296803DEST_PATH_IMAGE020
在摄像头
Figure 171218DEST_PATH_IMAGE004
下分裂产生的新的局部轨迹，应与属于同一摄像头同一目标的
Figure 751235DEST_PATH_IMAGE023
修复为相同 的轨迹标识）；若
Figure 293075DEST_PATH_IMAGE022
不存在，则将局部轨迹
Figure 667555DEST_PATH_IMAGE005
作为摄像头
Figure 294846DEST_PATH_IMAGE004
的一个新局部轨迹送入 目标全局轨迹
Figure 911510DEST_PATH_IMAGE020
。
若
Figure 307856DEST_PATH_IMAGE026
，即当前局部轨迹
Figure 853238DEST_PATH_IMAGE005
不与任何已有目标的全局轨迹进行 匹配，建立新的全局轨迹与
Figure 702245DEST_PATH_IMAGE005
关联。
这样，按照图3所示的方式分别对当前图像帧中每个摄像头的一个或多个目标的局部轨迹进行归并处理，可以得到更新后的多个全局轨迹。
第二步：全局轨迹队列合并
在第一步全局轨迹归并中，对特征相似度施加一定的约束，即给予一个较大的阈 值
Figure 358486DEST_PATH_IMAGE030
或
Figure DEST_PATH_IMAGE031
，这样能尽量保证每个目标所对应的全局轨迹中局部轨迹是正确的，但也会带来 同一目标匹配不上的风险：即一个目标对应至少两条全局轨迹，因此，每次更新全局轨迹 后，需要执行全局轨迹队列合并的操作，使用第一相似度
Figure 812601DEST_PATH_IMAGE032
为任意两个全局轨迹
Figure 27419DEST_PATH_IMAGE015
和
Figure DEST_PATH_IMAGE033
进行相似度比对，若
Figure 301406DEST_PATH_IMAGE034
，则确认两条全局轨迹实际应为一条全局轨迹，将 两条全局轨迹合并处理，若
Figure DEST_PATH_IMAGE035
，则确认两条全局轨迹分属不同目标，不合并。
其实，为了表述方便，本说明书实施例中，将对全局轨迹队列中全局轨迹进行相似度比对分析，并基于比对结果决定是否进行合并的过程，统一定义为合并处理操作。但是，实际上只有满足第一相似度约束条件的两条全局轨迹才执行合并操作，不满足第一相似度约束条件的全局轨迹默认不做处理。
在上述多摄像头实时协同进行多目标轨迹确认的两个步骤中，都用到特征相似 度，分别是当前图像帧局部轨迹与已有局部轨迹的相似度
Figure 558075DEST_PATH_IMAGE036
，当前图像帧局部轨迹与已有 全局轨迹的相似度
Figure DEST_PATH_IMAGE037
，全局轨迹与全局轨迹的相似度
Figure 335538DEST_PATH_IMAGE038
。相似度的计算基于人体目标特征 和人体目标在世界坐标系下的位置信息确定。其中，人体目标特征可以利用人体检测和人 体ReID技术（也称之为行人重识别（Person re-identification）或行人再识别）获得，并利 用公开的人体关键点检测技术获取脚底点，进而基于摄像头的标定信息把图像坐标系下的 人体脚底点转换为世界坐标系下的位置。
定义局部轨迹
Figure 721258DEST_PATH_IMAGE005
第t帧的人体特征为
Figure DEST_PATH_IMAGE039
，在世界坐标系的位置为
Figure 951382DEST_PATH_IMAGE040
，局部轨迹
Figure DEST_PATH_IMAGE041
第t帧的人体特征为
Figure 605217DEST_PATH_IMAGE042
。全局轨迹
Figure 706028DEST_PATH_IMAGE033
下所有的人体特征为
Figure DEST_PATH_IMAGE043
，全局轨迹
Figure 560852DEST_PATH_IMAGE015
下所 有的人体特征为
Figure 871747DEST_PATH_IMAGE044
。
Figure DEST_PATH_IMAGE045
为同一目标的距离最大阈值。
Figure 726612DEST_PATH_IMAGE046
和
Figure DEST_PATH_IMAGE047
分别为位置相似度的系数和特 征相似度的系数，也可分别视为位置相似度和特征相似度的加权值。
局部轨迹与局部轨迹的第二相似度
Figure 947509DEST_PATH_IMAGE048
：第t帧
Figure 442076DEST_PATH_IMAGE012
与
Figure DEST_PATH_IMAGE049
的位置相似度+特 征相似度，
Figure DEST_PATH_IMAGE051
其中，如果
Figure 912371DEST_PATH_IMAGE052
与
Figure DEST_PATH_IMAGE053
之间的距离很大，那么，
Figure 16331DEST_PATH_IMAGE054
就会很小甚至 可能是负值，那么，此时位置相似度的最大值就取零。
局部轨迹当前图像帧(第t帧)与全局轨迹的第三相似度
Figure DEST_PATH_IMAGE055
：第t帧
Figure 481948DEST_PATH_IMAGE005
与
Figure 147415DEST_PATH_IMAGE033
中 第t帧局部轨迹（第c个摄像头除外）的位置相似度的平均值+第t帧
Figure 167324DEST_PATH_IMAGE005
与
Figure 310860DEST_PATH_IMAGE033
中所有局部轨迹 的特征相似度的平均值。
Figure DEST_PATH_IMAGE057
全局轨迹与全局轨迹的第一相似度：
Figure DEST_PATH_IMAGE059
如上，根据全局轨迹队列是否为空，选择第二相似度或第三相似度，将局部轨迹与已有轨迹进行相似度比对，并根据比对结果确定是否对局部轨迹进行轨迹修复，将修复后的局部轨迹或未修复的局部轨迹归并到匹配的全局轨迹，最后，在当前图像帧的所有局部轨迹归并完成后，对全局轨迹队列中所有全局轨迹，基于第一相似度进行两两比对分析，实现对全局轨迹队列的合并处理，最终得到当前图像帧的全局轨迹队列。
需要说明的是，本说明书中第一阈值
Figure 568666DEST_PATH_IMAGE060
、第二阈值
Figure 637991DEST_PATH_IMAGE030
以及第三阈值
Figure 410775DEST_PATH_IMAGE031
均可以根据 经验值或反复试验推敲确定。
参照图4所示，为本说明书实施例提供的多摄像头协同进行多目标轨迹确认装置，该装置400可以包括：
获取模块402，用于获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹；
归并模块404，用于分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹；
合并模块406，用于根据第一相似度约束条件对多个全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，其中，所述第一相似度约束条件基于多个目标的目标特征确定。
可选地，作为一个实施例，如果全局轨迹队列为空，则归并模块404分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹时，具体用于：
分别将一个或多个目标的局部轨迹中每个局部轨迹与已有局部轨迹进行相似度比对，判断是否存在与所述局部轨迹的相似度满足第二相似度约束条件的已有局部轨迹，如果存在，则将所述局部轨迹与满足第二相似度约束条件的已有局部轨迹进行合并，基于合并结果建立与目标匹配的全局轨迹；如果不存在，则基于所述局部轨迹建立与目标匹配的全局轨迹；其中，所述第二相似度约束条件与目标特征和/或目标位置相关。
在本说明书实施例的一种具体实现方式中，如果全局轨迹队列不为空，则归并模块404分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹时，具体用于：
分别将一个或多个目标的局部轨中每个局部轨迹与全局轨迹队列中已有全局轨迹进行相似度比对，基于比对结果确定是否对所述局部轨迹进行轨迹修复，将所述局部轨迹或修复后的局部轨迹归并到匹配的全局轨迹。
在本说明书实施例的再一种具体实现方式中，所述局部轨迹携带有轨迹标识；
如果所述局部轨迹为已有局部轨迹，则归并模块404将所述局部轨迹与全局轨迹队列中已有全局轨迹进行相似度比对，基于比对结果确定是否对所述局部轨迹进行轨迹修复，将所述局部轨迹或修复后的局部轨迹归并到匹配的全局轨迹时，具体用于：
基于所述局部轨迹的轨迹标识，从全局轨迹队列中查询该局部轨迹对应的目标全局轨迹；将所述局部轨迹与所述目标全局轨迹进行相似度比对；如果所述局部轨迹与所述目标全局轨迹的相似度满足第三相似度约束条件，则确定所述局部轨迹归属于所述目标全局轨迹；如果所述局部轨迹与所述目标全局轨迹的相似度不满足第三相似度约束条件，则将所述局部轨迹与全局轨迹队列中除所述目标全局轨迹外的其它目标全局轨迹进行相似度比对；如果确定存在与所述局部轨迹的相似度满足第三相似度约束条件的其它目标全局轨迹，则对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的其它目标全局轨迹；如果确定不存在与所述局部轨迹的相似度满足第三相似度约束条件的其它目标全局轨迹，则对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到新建目标的全局轨迹；其中，所述第三相似度约束条件与目标特征和/或目标位置相关。
在本说明书实施例的再一种具体实现方式中，所述轨迹标识包含摄像头标号和轨迹号；
归并模块404在对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的其它目标全局轨迹时，具体用于：
判断确定出的其它目标全局轨迹中是否存在与所述局部轨迹具有相同摄像头标号的其它局部轨迹；如果存在，则将所述局部轨迹的轨迹号修改为确定出的其它局部轨迹的轨迹号，并将所述局部轨迹归并到该其它局部轨迹；如果不存在，则为所述局部轨迹生成一个新轨迹号，并将由新轨迹号标记的所述局部轨迹归并到确定出的其它目标全局轨迹，其中，所述新轨迹号与所述局部轨迹的轨迹号以及已有局部轨迹的轨迹号不同。
在本说明书实施例的再一种具体实现方式中，归并模块404在对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到新建目标的全局轨迹时，具体用于：
为所述局部轨迹生成一个新轨迹号，并将由新轨迹号标记的所述局部轨迹归并到新建目标的全局轨迹，其中，所述新轨迹号与所述局部轨迹的轨迹号以及已有局部轨迹的轨迹号不同。
在本说明书实施例的再一种具体实现方式中，如果所述局部轨迹为新局部轨迹，则归并模块404在将所述局部轨迹与全局轨迹队列中已有全局轨迹进行相似度比对，基于比对结果确定是否对所述局部轨迹进行轨迹修复，将所述局部轨迹或修复后的局部轨迹归并到匹配的全局轨迹时，具体用于：
将所述局部轨迹与全局轨迹队列中已有全局轨迹分别进行相似度比对；如果确定存在与所述局部轨迹的相似度满足第三相似度约束条件的目标全局轨迹，对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的目标全局轨迹；如果确定不存在与所述局部轨迹的相似度满足第三相似度约束条件的目标全局轨迹，则将所述局部轨迹归并到新建目标的全局轨迹。
在本说明书实施例的再一种具体实现方式中，归并模块404在对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的目标全局轨迹时，具体用于：
判断所述目标全局轨迹中是否存在与所述局部轨迹具有相同摄像头标号的其它局部轨迹；如果存在，则将所述局部轨迹的轨迹号修改为确定出的其它局部轨迹的轨迹号，并将所述局部轨迹归并到该其它局部轨迹；如果不存在，则将所述局部轨迹作为一个新的局部轨迹归并到目标全局轨迹。
在本说明书实施例的再一种具体实现方式中，所述第一相似度约束条件为：任意两个全局轨迹之间的第一相似度大于等于第一阈值，其中，第一相似度是指：其中一个全局轨迹对应的多个目标框的目标特征，与另一个全局轨迹对应的多个目标框的目标特征之间的余弦值的平均值；
所述第二相似度约束条件为：当前图像帧的局部轨迹与其它局部轨迹之间的第二相似度大于等于第二阈值，其中，第二相似度是指：当前图像帧的局部轨迹与其它局部轨迹之间的位置相似度以及当前图像帧的局部轨迹与其它局部轨迹之间的特征相似度加权之和，所述位置相似度是基于欧几里得函数确定的当前图像帧的局部轨迹的目标位置与其它局部轨迹的目标位置之间的欧式距离，所述特征相似度是当前图像帧的局部轨迹的目标特征与其它局部轨迹的目标特征之间的余弦值。
在本说明书实施例的再一种具体实现方式中，所述第一相似度约束条件为：任意两个全局轨迹之间的第一相似度大于等于第一阈值，其中，第一相似度是指：其中一个全局轨迹对应的多个目标框的目标特征，与另一个全局轨迹对应的多个目标框的目标特征之间的余弦值的平均值；
所述第三相似度约束条件为：当前图像帧的局部轨迹与全局轨迹之间的第三相似度大于等于第三阈值，其中，第三相似度是指：当前图像帧的局部轨迹与全局轨迹之间的位置相似度，以及当前图像帧的局部轨迹与全局轨迹之间的特征相似度的加权之和，所述位置相似度是：基于欧几里得函数确定的当前图像帧的局部轨迹的目标位置，与全局轨迹中当前图像帧下除与该局部轨迹具有相同摄像头标号的局部轨迹外的其它局部轨迹的目标位置之间的欧式距离之和的平均值，所述特征相似度是当前图像帧的局部轨迹的目标特征与全局轨迹中所有局部轨迹的目标特征之间的余弦值之和的平均值。
通过上述技术方案，获取多个摄像头中每个摄像头在当前图像帧的局部轨迹，通过对局部轨迹与已有轨迹（已有局部轨迹或已有全局轨迹）进行相似度比对，将当前图像帧所有摄像头的局部轨迹归并到正确的全局轨迹，同时，基于第一相似度约束条件对当前图像帧归并后的全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，从而，保证每个目标的全局轨迹较为准确完整，提升多目标全局的轨迹确认效果。进一步，在对局部轨迹进行归并处理时，将与已有局部轨迹比对满足第二相似度约束条件的局部轨迹归并到匹配的全局轨迹或归并到新建目标的全局轨迹，以及基于第三相似度约束条件将局部轨迹与已有全局轨迹比对，根据比对结果对存在串号分裂错误的局部轨迹进行轨迹修复，从而，实现多摄像头间协同进行多目标轨迹确认的目的，提升多目标轨迹确认效果。
图5是本说明书的一个实施例电子设备的结构示意图。请参考图5，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他服务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成多摄像头协同进行多目标轨迹确认装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹；
分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹；
根据第一相似度约束条件对多个全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，其中，所述第一相似度约束条件基于多个目标的目标特征确定。
上述如本说明书图2所示实施例揭示的装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图2的方法，并实现相应装置在图2所示实施例的功能，本说明书实施例在此不再赘述。
当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图2所示实施例的方法，并具体用于执行以下方法：
获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹；
分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹；
根据第一相似度约束条件对多个全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，其中，所述第一相似度约束条件基于多个目标的目标特征确定。
总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
上述一个或多个实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims (14)

1.一种多摄像头协同进行多目标轨迹确认方法，包括：
获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹；
分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹；
根据第一相似度约束条件对多个全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，其中，所述第一相似度约束条件基于多个目标的目标特征确定。
2.如权利要求1所述的多摄像头协同进行多目标轨迹确认方法，如果全局轨迹队列为空，所述已有轨迹为已有局部轨迹；
则分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹，具体包括：
分别针对一个或多个目标的局部轨迹：将每个局部轨迹与已有局部轨迹进行相似度比对，判断是否存在与所述局部轨迹的相似度满足第二相似度约束条件的已有局部轨迹，如果存在，则将所述局部轨迹与满足第二相似度约束条件的已有局部轨迹进行合并，基于合并结果建立与目标匹配的全局轨迹；如果不存在，则基于所述局部轨迹建立与目标匹配的全局轨迹；
其中，所述第二相似度约束条件与目标特征和/或目标位置相关。
3.如权利要求1所述的多摄像头协同进行多目标轨迹确认方法，如果全局轨迹队列不为空，所述已有轨迹为已有全局轨迹；
则分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹，具体包括：
分别针对一个或多个目标的局部轨迹：将每个局部轨迹与全局轨迹队列中已有全局轨迹进行相似度比对，基于比对结果确定是否对所述局部轨迹进行轨迹修复，将所述局部轨迹或修复后的局部轨迹归并到匹配的全局轨迹。
4.如权利要求3所述的多摄像头协同进行多目标轨迹确认方法，所述局部轨迹携带有轨迹标识；
如果所述局部轨迹为已有局部轨迹，则将所述局部轨迹与全局轨迹队列中已有全局轨迹进行相似度比对，基于比对结果确定是否对所述局部轨迹进行轨迹修复，将所述局部轨迹或修复后的局部轨迹归并到匹配的全局轨迹，具体包括：
基于所述局部轨迹的轨迹标识，从全局轨迹队列中查询该局部轨迹对应的目标全局轨迹；
将所述局部轨迹与所述目标全局轨迹进行相似度比对；
如果所述局部轨迹与所述目标全局轨迹的相似度满足第三相似度约束条件，则确定所述局部轨迹归属于所述目标全局轨迹；
如果所述局部轨迹与所述目标全局轨迹的相似度不满足第三相似度约束条件，则将所述局部轨迹与全局轨迹队列中除所述目标全局轨迹外的其它目标全局轨迹进行相似度比对；
如果确定存在与所述局部轨迹的相似度满足第三相似度约束条件的其它目标全局轨迹，则对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的其它目标全局轨迹；
如果确定不存在与所述局部轨迹的相似度满足第三相似度约束条件的其它目标全局轨迹，则对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到新建目标的全局轨迹；
其中，所述第三相似度约束条件与目标特征和/或目标位置相关。
5.如权利要求4所述的多摄像头协同进行多目标轨迹确认方法，所述轨迹标识包含摄像头标号和轨迹号；
对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的其它目标全局轨迹，具体包括：
判断确定出的其它目标全局轨迹中是否存在与所述局部轨迹具有相同摄像头标号的其它局部轨迹；
如果存在，则将所述局部轨迹的轨迹号修改为确定出的其它局部轨迹的轨迹号，并将所述局部轨迹归并到该其它局部轨迹；
如果不存在，则为所述局部轨迹生成一个新轨迹号，并将由新轨迹号标记的所述局部轨迹归并到确定出的其它目标全局轨迹，其中，所述新轨迹号与所述局部轨迹的轨迹号以及已有局部轨迹的轨迹号不同。
6.如权利要求4所述的多摄像头协同进行多目标轨迹确认方法，对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到新建目标的全局轨迹，具体包括：
为所述局部轨迹生成一个新轨迹号，并将由新轨迹号标记的所述局部轨迹归并到新建目标的全局轨迹，其中，所述新轨迹号与所述局部轨迹的轨迹号以及已有局部轨迹的轨迹号不同。
7.如权利要求3所述的多摄像头协同进行多目标轨迹确认方法，如果所述局部轨迹为新局部轨迹，则将所述局部轨迹与全局轨迹队列中已有全局轨迹进行相似度比对，基于比对结果确定是否对所述局部轨迹进行轨迹修复，将所述局部轨迹或修复后的局部轨迹归并到匹配的全局轨迹，具体包括：
将所述局部轨迹与全局轨迹队列中已有全局轨迹分别进行相似度比对；
如果确定存在与所述局部轨迹的相似度满足第三相似度约束条件的目标全局轨迹，对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的目标全局轨迹；
如果确定不存在与所述局部轨迹的相似度满足第三相似度约束条件的目标全局轨迹，则将所述局部轨迹归并到新建目标的全局轨迹。
8.如权利要求7所述的多摄像头协同进行多目标轨迹确认方法，对所述局部轨迹进行轨迹修复，并将修复后的局部轨迹归并到确定出的目标全局轨迹，具体包括：
判断所述目标全局轨迹中是否存在与所述局部轨迹具有相同摄像头标号的其它局部轨迹；
如果存在，则将所述局部轨迹的轨迹号修改为确定出的其它局部轨迹的轨迹号，并将所述局部轨迹归并到该其它局部轨迹；
如果不存在，则将所述局部轨迹作为一个新的局部轨迹归并到目标全局轨迹。
9.如权利要求2所述的多摄像头协同进行多目标轨迹确认方法，所述第一相似度约束条件为：任意两个全局轨迹之间的第一相似度大于等于第一阈值，其中，第一相似度是指：其中一个全局轨迹对应的多个目标框的目标特征，与另一个全局轨迹对应的多个目标框的目标特征之间的余弦值的平均值；
所述第二相似度约束条件为：当前图像帧的局部轨迹与其它局部轨迹之间的第二相似度大于等于第二阈值，其中，第二相似度是指：当前图像帧的局部轨迹与其它局部轨迹之间的位置相似度以及当前图像帧的局部轨迹与其它局部轨迹之间的特征相似度加权之和，所述位置相似度是基于欧几里得函数确定的当前图像帧的局部轨迹的目标位置与其它局部轨迹的目标位置之间的欧式距离，所述特征相似度是当前图像帧的局部轨迹的目标特征与其它局部轨迹的目标特征之间的余弦值。
10.如权利要求4-8任一项所述的多摄像头协同进行多目标轨迹确认方法，所述第一相似度约束条件为：任意两个全局轨迹之间的第一相似度大于等于第一阈值，其中，第一相似度是指：其中一个全局轨迹对应的多个目标框的目标特征，与另一个全局轨迹对应的多个目标框的目标特征之间的余弦值的平均值；
所述第三相似度约束条件为：当前图像帧的局部轨迹与全局轨迹之间的第三相似度大于等于第三阈值，其中，第三相似度是指：当前图像帧的局部轨迹与全局轨迹之间的位置相似度，以及当前图像帧的局部轨迹与全局轨迹之间的特征相似度的加权之和，所述位置相似度是：基于欧几里得函数确定的当前图像帧的局部轨迹的目标位置，与全局轨迹中当前图像帧下除与该局部轨迹具有相同摄像头标号的局部轨迹外的其它局部轨迹的目标位置之间的欧式距离之和的平均值，所述特征相似度是当前图像帧的局部轨迹的目标特征与全局轨迹中所有局部轨迹的目标特征之间的余弦值之和的平均值。
11.一种多摄像头协同进行多目标轨迹确认装置，包括：
获取模块，用于获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹；
归并模块，用于分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹；
合并模块，用于根据第一相似度约束条件对多个全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，其中，所述第一相似度约束条件基于多个目标的目标特征确定。
12.一种多摄像头协同进行多目标轨迹确认系统，包括：
多个摄像头，以及权利要求11所述的多摄像头协同进行多目标轨迹确认装置；
所述多个摄像头分别与所述多摄像头协同进行多目标轨迹确认装置连接，并发送采集到的图像帧给所述多摄像头协同进行多目标轨迹确认装置；
所述多摄像头协同进行多目标轨迹确认装置，获取一个或多个目标的局部轨迹，该一个或多个目标的局部轨迹是每个摄像头拍摄的图像中当前图像帧的局部轨迹；分别将一个或多个目标的局部轨迹与对应已有轨迹进行相似度比对，以基于比对结果对所述局部轨迹和对应已有轨迹进行归并处理，得到更新后的多个全局轨迹；根据第一相似度约束条件对多个全局轨迹进行合并处理，得到当前图像帧的全局轨迹队列，其中，所述第一相似度约束条件基于多个目标的目标特征确定。
13.一种电子设备，包括：
处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1-10任一项所述的多摄像头协同进行多目标轨迹确认方法。
14.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1-10任一项所述的多摄像头协同进行多目标轨迹确认方法。
CN202211636004.XA 2022-12-20 2022-12-20 多摄像头协同进行多目标轨迹确认方法、系统及相关装置 Active CN115619832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211636004.XA CN115619832B (zh) 2022-12-20 2022-12-20 多摄像头协同进行多目标轨迹确认方法、系统及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211636004.XA CN115619832B (zh) 2022-12-20 2022-12-20 多摄像头协同进行多目标轨迹确认方法、系统及相关装置

Publications (2)

Publication Number Publication Date
CN115619832A true CN115619832A (zh) 2023-01-17
CN115619832B CN115619832B (zh) 2023-04-07

Family

ID=84880701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211636004.XA Active CN115619832B (zh) 2022-12-20 2022-12-20 多摄像头协同进行多目标轨迹确认方法、系统及相关装置

Country Status (1)

Country Link
CN (1) CN115619832B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490911A (zh) * 2019-08-14 2019-11-22 西安宏规电子科技有限公司 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法
CN111145213A (zh) * 2019-12-10 2020-05-12 中国银联股份有限公司 一种目标跟踪方法、装置、系统及计算机可读存储介质
CN111383252A (zh) * 2018-12-29 2020-07-07 曜科智能科技（上海）有限公司 多相机目标追踪方法、系统、装置及存储介质
CN111735466A (zh) * 2020-01-02 2020-10-02 北京京东乾石科技有限公司 一种多车协同轨迹规划方法、装置、设备及存储介质
CN112070807A (zh) * 2020-11-11 2020-12-11 湖北亿咖通科技有限公司 多目标跟踪方法和电子装置
CN112465078A (zh) * 2021-02-03 2021-03-09 成都点泽智能科技有限公司 跨摄像头行人轨迹处理方法、计算机设备及可读存储介质
CN113689475A (zh) * 2021-08-27 2021-11-23 招商银行股份有限公司 跨境头轨迹跟踪方法、设备及存储介质
CN114494358A (zh) * 2022-04-07 2022-05-13 中航信移动科技有限公司 一种数据处理方法、电子设备及存储介质
CN114648557A (zh) * 2022-03-28 2022-06-21 天津大学 一种基于高空视角与地面视角的多目标协同跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383252A (zh) * 2018-12-29 2020-07-07 曜科智能科技（上海）有限公司 多相机目标追踪方法、系统、装置及存储介质
CN110490911A (zh) * 2019-08-14 2019-11-22 西安宏规电子科技有限公司 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法
CN111145213A (zh) * 2019-12-10 2020-05-12 中国银联股份有限公司 一种目标跟踪方法、装置、系统及计算机可读存储介质
CN111735466A (zh) * 2020-01-02 2020-10-02 北京京东乾石科技有限公司 一种多车协同轨迹规划方法、装置、设备及存储介质
CN112070807A (zh) * 2020-11-11 2020-12-11 湖北亿咖通科技有限公司 多目标跟踪方法和电子装置
CN112465078A (zh) * 2021-02-03 2021-03-09 成都点泽智能科技有限公司 跨摄像头行人轨迹处理方法、计算机设备及可读存储介质
CN113689475A (zh) * 2021-08-27 2021-11-23 招商银行股份有限公司 跨境头轨迹跟踪方法、设备及存储介质
CN114648557A (zh) * 2022-03-28 2022-06-21 天津大学 一种基于高空视角与地面视角的多目标协同跟踪方法
CN114494358A (zh) * 2022-04-07 2022-05-13 中航信移动科技有限公司 一种数据处理方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN115619832B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US10417503B2 (en) Image processing apparatus and image processing method
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
US10999075B2 (en) Blockchain-based patrol inspection proof storage method, apparatus, and electronic device
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
CN111046752B (zh) 一种室内定位方法、计算机设备和存储介质
CN111512317A (zh) 一种多目标实时跟踪方法、装置及电子设备
CN112016475B (zh) 一种人体检测识别方法和装置
US20230351617A1 (en) Crowd type classification system, crowd type classification method and storage medium for storing crowd type classification program
CN111553234B (zh) 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
EP3531340B1 (en) Human body tracing method, apparatus and device, and storage medium
CN112926531A (zh) 特征信息提取方法、模型训练方法、装置及电子设备
CN112905824A (zh) 目标车辆追踪方法、装置、计算机设备及存储介质
CN110969045B (zh) 一种行为检测方法、装置、电子设备和存储介质
TWI798815B (zh) 目標重識別方法、裝置及電腦可讀存儲介質
WO2018058530A1 (zh) 目标检测方法、装置以及图像处理设备
CN109102026B (zh) 一种车辆图像检测方法、装置及系统
CN113869137A (zh) 事件检测方法、装置、终端设备及存储介质
CN110298302B (zh) 一种人体目标检测方法及相关设备
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
CN113486850A (zh) 一种交通行为识别方法及装置、电子设备和存储介质
CN115619832B (zh) 多摄像头协同进行多目标轨迹确认方法、系统及相关装置
CN117146795A (zh) 视觉激光双重校验的回环检测方法、系统、设备及介质
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
CN112040325B (zh) 一种视频播放方法、装置、电子设备及存储介质
CN111368608B (zh) 一种人脸识别方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231219

Address after: Room 801-6, No. 528 Yan'an Road, Gongshu District, Hangzhou City, Zhejiang Province, 310000

Patentee after: Zhejiang Shenxiang Intelligent Technology Co.,Ltd.

Address before: Room 5034, building 3, 820 wenerxi Road, Xihu District, Hangzhou, Zhejiang 310000

Patentee before: ZHEJIANG LIANHE TECHNOLOGY Co.,Ltd.