CN117576167B - 多目标跟踪方法、多目标跟踪装置及计算机存储介质 - Google Patents
多目标跟踪方法、多目标跟踪装置及计算机存储介质 Download PDFInfo
- Publication number
- CN117576167B CN117576167B CN202410061826.2A CN202410061826A CN117576167B CN 117576167 B CN117576167 B CN 117576167B CN 202410061826 A CN202410061826 A CN 202410061826A CN 117576167 B CN117576167 B CN 117576167B
- Authority
- CN
- China
- Prior art keywords
- track
- detection frame
- target
- target tracking
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 120
- 238000012790 confirmation Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提出一种多目标跟踪方法、多目标跟踪装置以及计算机存储介质。所述多目标跟踪方法包括：获取针对同一监控区域的不同镜头采集的多路视频流；提取每一路视频流的局部多目标跟踪轨迹；获取多路视频流中，两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵，其中，轨迹相似度距离矩阵包括轨迹坐标框的相似度；根据轨迹相似度距离矩阵获取与目标轨迹具有最多相互近邻的匹配轨迹；将目标轨迹和匹配轨迹统一为同一目标的跨镜头轨迹。通过上述跟踪方法，将不同摄像头间的轨迹关联通过采用目标框级别的K相互近邻算法，使轨迹间的关联更加鲁棒，降低轨迹中一些外观噪声外观主导整个轨迹的外观特征导致错误关联的几率，提升跨镜头跟踪方法的性能。
Description
技术领域
本申请涉及目标跟踪技术领域，特别是涉及一种多目标跟踪方法、多目标跟踪装置以及计算机存储介质。
背景技术
跨镜头多目标跟踪，亦称跨摄像头多目标跟踪，就是在多个镜头下对于目标物体进行持续跟踪，可应用于智慧安防、智慧零售等多个领域。其主要任务是完成对多个摄像头的视频流的实时分析，实现对不同摄像头内多个目标跨时间、跨空间的连续跟踪。
目前，跨镜头行人多目标跟踪研究的技术路线主要为：(1)局部轨迹生成阶段：单摄像头内对检测人形目标进行多目标跟踪，并生成行人运动局部轨迹；(2)跨镜头轨迹关联阶段：对所有摄像头中的局部轨迹进行匹配关联，统一关联的轨迹ID。然而，目前的研究普遍受困于单摄像头多目标跟踪的精度，以及有效跨镜头轨迹关联方法的缺乏，导致跨境头的多目标跟踪效果较差。
发明内容
为解决上述技术问题，本申请提出了一种多目标跟踪方法、多目标跟踪装置以及计算机存储介质。
为解决上述技术问题，本申请提出了一种多目标跟踪方法，所述多目标跟踪方法包括：
获取针对同一监控区域的不同镜头采集的多路视频流；
提取每一路视频流的局部多目标跟踪轨迹；
获取所述多路视频流中，两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵，其中，所述轨迹相似度距离矩阵包括轨迹坐标框的相似度；
根据所述轨迹相似度距离矩阵获取与目标轨迹具有最多相互近邻的匹配轨迹；
将所述目标轨迹和所述匹配轨迹统一为同一目标的跨镜头轨迹。
其中，所述根据所述轨迹相似度距离矩阵获取与目标轨迹具有最多相互近邻的匹配轨迹，包括：
根据所述轨迹相似度距离矩阵获取所述目标轨迹的第一最近邻集合；
获取所述第一最近邻集合中每一最近邻轨迹的第二最近邻集合；
比较所述第一最近邻集合与所述第二最近邻集合的相互近邻轨迹数量；
将所述相互近邻轨迹数量最多的第二最近邻集合对应的最近邻轨迹，作为所述目标轨迹的匹配轨迹。
其中，所述获取所述多路视频流中，两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵，包括：
获取所述多路视频流中，每一视频流的局部多目标跟踪轨迹；
根据所述局部多目标跟踪轨迹中所有目标框的目标外观特征，计算两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵。
其中，所述提取每一路视频流的局部多目标跟踪轨迹，包括：
提取所述每一路视频流中每一视频帧的若干检测框；
获取所述检测框的置信度，以及获取所述检测框内目标的外观特征；
根据所述检测框的置信度以及所述外观特征，将所述检测框与历史轨迹进行多次匹配；
利用成功匹配的检测框对对应的历史轨迹进行更新，获取所述局部多目标跟踪轨迹。
其中，所述获取所述检测框内目标的外观特征，包括：
获取所述检测框内目标的图像特征图；
将所述图像特征图划分为若干图像特征子图；
根据所述图像特征子图在自身以及其他图像特征子图的特征位置提取所述图像特征子图的注意力特征；
将所有图像特征子图的注意力特征进行融合，得到所述检测框内目标的外观特征。
其中，所述根据所述检测框的置信度以及所述外观特征，将所述检测框与历史轨迹进行多次匹配，包括：
根据所述检测框的置信度划分为高置信度检测框和低置信度检测框；
对所述历史轨迹进行运动预测，获取所述历史轨迹的目标在当前视频帧的历史检测框；
根据所述高置信度检测框与所述历史检测框的重合关系，获取所述高置信度检测框与所述历史检测框对应的历史轨迹的运动距离代价；
根据所述高置信度检测框内目标的外观特征，以及所述历史轨迹的轨迹外观特征，获取所述高置信度检测框与所述历史轨迹的外观余弦距离代价；
基于所述运动距离代价和所述外观余弦距离代价，将所述高置信度检测框与所述历史轨迹进行匹配，确定与所述高置信度检测框匹配的历史轨迹。
其中，所述多目标跟踪方法，还包括：
获取所述历史轨迹最新匹配的检测框外观特征，以及所述历史轨迹更新前的历史外观特征；
将所述检测框外观特征和所述历史外观特征进行融合，得到所述历史轨迹的轨迹外观特征。
其中，所述获取所述高置信度检测框与所述历史轨迹的外观余弦距离代价之后，所述多目标跟踪方法还包括：
根据所述高置信度检测框与所述历史检测框的重合关系，对所述外观余弦距离代价进行优化。
其中，所述历史轨迹包括确认轨迹和待定轨迹，其中，所述待定轨迹为上一帧未匹配上的历史轨迹；
所述确定与所述高置信度检测框匹配的历史轨迹之后，所述多目标跟踪方法还包括：
将未匹配的确认轨迹与所述低置信度检测框，按照所述低置信度检测框与所述未匹配的确认轨迹的历史检测框的重合关系进行匹配，确定与所述低置信度检测框匹配的历史轨迹；
将未匹配的高置信度检测框与所述待定轨迹，按照所述高置信度检测框与所述待定轨迹的历史检测框的重合关系进行匹配，确定与所述高置信度检测框匹配的待定轨迹。
解决上述技术问题，本申请还提出一种多目标跟踪装置，所述多目标跟踪装置包括存储器以及与所述存储器耦接的处理器；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的多目标跟踪方法。
为解决上述技术问题，本申请还提出一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现上述的多目标跟踪方法。
与现有技术相比，本申请的有益效果是：多目标跟踪装置获取针对同一监控区域的不同镜头采集的多路视频流；提取每一路视频流的局部多目标跟踪轨迹；获取所述多路视频流中，两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵，其中，所述轨迹相似度距离矩阵包括轨迹坐标框的相似度；根据所述轨迹相似度距离矩阵获取与目标轨迹具有最多相互近邻的匹配轨迹；将所述目标轨迹和所述匹配轨迹统一为同一目标的跨镜头轨迹。通过上述多目标跟踪方法，将不同摄像头间的轨迹关联通过采用目标框级别的K相互近邻算法，使轨迹间的关联更加鲁棒，降低轨迹中一些外观噪声外观主导整个轨迹的外观特征导致错误关联的几率，提升跨镜头跟踪方法的性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的多目标跟踪方法一实施例的流程示意图；
图2是本申请提供的多目标跟踪方法一实施例的整体流程示意图；
图3是图1所示多目标跟踪方法步骤S12的具体流程示意图；
图4是本申请提供的注意力外观特征的提取流程示意图；
图5是本申请提供的多目标跟踪方法另一实施例的整体流程示意图；
图6是本申请提供的多目标跟踪装置的一实施例的结构示意图；
图7是本申请提供的多目标跟踪装置的另一实施例的结构示意图；
图8是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为解决现有的跨镜头多目标跟踪方法的问题，为了提升单摄像头多目标跟踪的匹配精度和鲁棒性，提高局部轨迹的整体质量，优化跨镜头轨迹的关联策略，本申请研究设计一种跨镜头行人多目标跟踪方法。
具体请参阅图1和图2，图1是本申请提供的多目标跟踪方法一实施例的流程示意图，图2是本申请提供的多目标跟踪方法一实施例的整体流程示意图。
本申请的多目标跟踪方法应用于多目标跟踪装置，其中，本申请的多目标跟踪装置可以为服务器，也可以为终端设备，还可以为由服务器和终端设备相互配合的系统。相应地，多目标跟踪装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
如图1所示，其具体步骤如下：
步骤S11：获取针对同一监控区域的不同镜头采集的多路视频流。
在本申请实施例中，本申请的多目标跟踪装置通过多个不同采集角度的摄像头对同一监控区域进行视频监控，实时采集多路视频流，每一路视频流对应一个采集角度的摄像头。
步骤S12：提取每一路视频流的局部多目标跟踪轨迹。
在本申请实施例中，多目标跟踪装置分别针对步骤S11的每一路视频流单独进行多目标跟踪，生成每一路视频流的局部多目标跟踪轨迹。其中，这里局部的意思则为单独视频流。本申请所采用的多目标跟踪算法包括但不限于：Sort算法、DeepSort算法、ByteTrack算法等。
在一种具体的实施方式中，本申请给出了一种单镜头行为多目标跟踪的具体方案，具体请参阅图3，图3是图1所示多目标跟踪方法步骤S12的具体流程示意图。
如图3所示，其具体步骤如下：
步骤S121：提取每一路视频流中每一视频帧的若干检测框。
在本申请实施例中，如图2所示，多目标跟踪装置预先获取行为目标检测数据集，用以训练目标检测网络模型。在本步骤中，多目标跟踪装置利用预先训练好的目标检测网络模型获取每一路视频流中每一视频帧的若干检测框，每一检测框对应目标检测网络模型预测的目标位置。除此之外，目标检测网络模型还输出每一检测框的置信度结果，用于衡量出现目标的概率。
步骤S122：获取检测框的置信度，以及获取检测框内目标的外观特征。
在本申请实施例中，针对步骤S121输出的检测框结果，多目标跟踪装置设置一个高阈值和一个低阈值，根据上述输出置信度结果按照阈值将对应检测框划分为高置信度检测框和低置信度检测框。其中，本实施例的高阈值可以设置为，低阈值可以设置为/>；在其他实施例中还可以设置为其他具体数值，在此不一一列举。
另外，多目标跟踪装置基于步骤S121获得的每一路视频流的当前检测框结果，利用重识别(Re-identification，ReID)网络提取各个检测框内目标的外观特征。
具体地，请参阅图4，图4是本申请提供的注意力外观特征的提取流程示意图。
如图4所示，多目标跟踪装置利用图4所示的外观相似性学习模块（SimilarityLearning Module，SLM）提取检测框内目标的注意力外观特征。
其中，外观相似性学习模块SLM的核心为图像切片注意力块（Image SlicingAttention Block，ISA），其主要利用了Vision Transformer（视觉注意力机制）中的图像切片技术和Transformer（注意力机制）的注意力机制学习目标特征构建的。
外观特征的提取过程是将检测框的目标图像统一到预设尺寸，本实施中设置为WH=80×224，然后输入SLM。如图4所示，首先经过一个共享权重的ResNet18网络模块得到特征图，接着经过一个共享权重的ISA模块，得到特征图/>的注意力特征。
针对目标跟踪过程，多目标跟踪装置将两个不同检测框输入SLM，得到特征图/>。通过上述ISA模块得到各自的注意力特征后，使用全连接层对注意力特征进行聚合，进一步，使用余弦相似度距离计算出两张图像的相似度得分，同一个目标相似度得分越高。
具体地，本申请实施例的图像切片注意力块（Image Slicing Attention Block，ISA）以Vision Transformer为基础，将获取的图像特征图分为左上/>、右上/>、左下/>、右下/>四个部分图像特征子图，然后对于每一个切片，分别加上一维位置信息，如下公式所示：
其中，。
进一步，使用三个可学习的线性变换、/>、/>将/>分别转化为/>、/>、/>，变换公式如下所示：
进一步，根据以下注意力计算公式，计算得到4个切片的注意力特征：
其中，SA（self-attention）表示计算注意力的输入均来自同一部分图像的特征图转换所得；CA（cross-attention）表示计算注意力的输入/>来自同一部分图像的特征图转换所得，而/>来自不同部分图像的特征图转换所得。
最后，多目标跟踪装置将上述注意力特征进行Concate（拼接）操作得到该目标的注意力特征AF，即外观特征，如图4所示。
步骤S123：根据检测框的置信度以及外观特征，将检测框与历史轨迹进行多次匹配。
在本申请实施例中，多目标跟踪装置根据检测框的置信度以及外观特征，将每一路视频流的当前检测框与历史轨迹进行三次轨迹匹配，得到单摄像头内目标的局部轨迹。
具体地，多目标跟踪装置基于步骤S122的检测结果框和设定高、低两个置信度阈值，划分高置信度检测框与低置信度检测框。进一步，高置信度检测框直接进行匹配生成轨迹；低置信度检测框与未匹配的轨迹进行最小化IoU匹配；未匹配到轨迹的高置信度检测框会初始化为新的轨迹。
具体请继续参阅图5，图5是本申请提供的多目标跟踪方法另一实施例的整体流程示意图。
如图5所示，多目标跟踪装置在将历史轨迹与高置信度检测框匹配前，使用卡尔曼滤波预测轨迹目标的运动，得到估计的轨迹目标在当前帧的位置信息，即历史检测框。
进一步，历史轨迹根据其历史状态有确认轨迹和待定轨迹两部分，其中，待定轨迹为上一帧未匹配上的历史轨迹，确认轨迹为连续多帧均匹配上目标检测框的历史估计。多目标跟踪装置计算确认轨迹的预测位置，即历史检测框与高置信度检测框之间的IoU（Intersection over Union，交并比），得到运动距离代价，如下公式所示：
多目标跟踪装置结合SLM模块提取的外观特征，计算检测框目标与轨迹的余弦相似度得分。进一步，计算外观特征代价，如下公式所示：
其中，为当前检测框的外观特征，/>为历史轨迹的轨迹外观特征。
具体地，历史轨迹的轨迹外观特征采用指数移动平均(Exponential MovingAverage，EMA)的方式更新，如下公式所示：
其中，表示第k帧轨迹匹配成功后更新的外观特征，/>表示第k帧轨迹匹配的检测框目标的外观特征，/>是权重超参数。在本申请实施例中，/>。
进一步地，多目标跟踪装置结合历史轨迹的历史检测框和当前检测框之间的IoU，基于优化公式，得到新外观余弦距离代价，如下公式所示：
从而，多目标跟踪装置结合新外观余弦距离代价和运动距离代价，得到最终代价矩阵，如下公式所示：
其中，在本申请实施例中，。进一步地，多目标跟踪装置根据最终代价矩阵对高置信度检测框和历史轨迹进行匈牙利匹配，得到第一次匹配结果。
进一步地，在第一次匹配后，多目标跟踪装置继续基于未匹配的确认轨迹与低置信度检测框，以IoU为度量，计算，设置匈牙利阈值为0.5，进行第二次匈牙利匹配。
进一步地，在第二次匹配后，多目标跟踪装置继续基于待定轨迹与未匹配的高置信度检测框，以IoU为度量，计算，设置匈牙利阈值为0.7，进行第三次匈牙利匹配。
步骤S124：利用成功匹配的检测框对对应的历史轨迹进行更新，获取局部多目标跟踪轨迹。
在本申请实施例中，最后，多目标跟踪装置根据剩余未匹配的高分框初始化新建轨迹；将未匹配的轨迹一定时间内仍未匹配成功将从跟踪模块删除；将三次匹配结果的并集为最终的跟踪匹配结果，更新轨迹信息与状态。
步骤S13：获取多路视频流中，两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵。
在本申请实施例中，多目标跟踪装置按照步骤S12基于多路摄像头各自生成的局部多目标跟踪轨迹，基于各摄像头生成的局部轨迹，利用轨迹的目标外观特征，生成轨迹相似度距离矩阵；然后，使用K相互近邻（K-reciprocal nearest neighbors）算法实现摄像头间的轨迹关联，统一各摄像头间关联的轨迹ID。
具体地，本实施例的轨迹相似度距离矩阵利用轨迹所包含的所有目标框外观特征进行计算。假定，两个相关摄像头和/>，摄像头/>中有局部轨迹/>，摄像头/>中有局部轨迹/>。
其中，；m，n分别表示摄像头/>和/>内存在的轨迹总数；/>，分别表示局部轨迹/>和/>的轨迹长度即包含的目标框数量。从而，可以计算得到两个摄像头之间的所有轨迹相似度距离矩阵，如以下公式所示：
步骤S14：根据轨迹相似度距离矩阵获取与目标轨迹具有最多相互近邻的匹配轨迹。
在本申请实施例中，多目标跟踪装置基于步骤S13计算的所有轨迹相似度距离矩阵，使用K相互近邻算法对两个摄像头间的所有轨迹进行关联。首先，定义为轨迹目标/>的k个最近邻：
进一步，计算轨迹目标特征的K相互近邻，如下公式所示：
进一步，摄像头轨迹/>和摄像头/>轨迹/>具有最多的相互近邻，则认定为同一目标，同一轨迹/>和/>的ID。轨迹关联标准公式，如下所示：
步骤S15：将目标轨迹和匹配轨迹统一为同一目标的跨镜头轨迹。
在本申请实施例中，多目标跟踪装置获取针对同一监控区域的不同镜头采集的多路视频流；提取每一路视频流的局部多目标跟踪轨迹；获取所述多路视频流中，两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵；根据所述轨迹相似度距离矩阵获取与目标轨迹具有最多相互近邻的匹配轨迹，其中，所述轨迹相似度距离矩阵包括轨迹坐标框的相似度；将所述目标轨迹和所述匹配轨迹统一为同一目标的跨镜头轨迹。通过上述多目标跟踪方法，将不同摄像头间的轨迹关联通过采用目标框级别的K相互近邻算法，使轨迹间的关联更加鲁棒，降低轨迹中一些外观噪声外观主导整个轨迹的外观特征导致错误关联的几率，提升跨镜头跟踪方法的性能。
本申请的多目标跟踪方法中采用基于Transformer注意力机制的外观相似性学习模块SLM提取目标的外观特征，提高单摄像头内局部轨迹的跟踪鲁棒性以及不同摄像头中相同目标的相似程度，从而帮助跨摄像头间轨迹的关联，提升跨镜头跟踪方法的性能。
本申请的多目标跟踪方法中不同摄像头间的轨迹关联通过采用目标框级别的K相互近邻算法，使轨迹间的关联更加鲁棒，降低轨迹中一些外观噪声外观主导整个轨迹的外观特征导致错误关联的几率，提升跨镜头跟踪方法的性能。
本申请的多目标跟踪方法中采用基于IoU和外观特征的优化公式计算单镜头内多目标跟踪的匹配代价矩阵，帮助外观特征相似度高且运动距离较近的检测框与轨迹匹配关联，从而提升多目标跟踪方法匹配关联能力的鲁棒性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述多目标跟踪方法，本申请还提出了一种多目标跟踪装置，具体请参阅图6，图6是本申请提供的多目标跟踪装置的一实施例的结构示意图。
本实施例的多目标跟踪装置300包括视频获取模块31、单路跟踪模块32以及多路跟踪模块33。
其中，视频获取模块31，用于获取针对同一监控区域的不同镜头采集的多路视频流；
单路跟踪模块32，用于提取每一路视频流的局部多目标跟踪轨迹；
多路跟踪模块33，用于获取所述多路视频流中，两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵；根据所述轨迹相似度距离矩阵获取与目标轨迹具有最多相互近邻的匹配轨迹；将所述目标轨迹和所述匹配轨迹统一为同一目标的跨镜头轨迹。
为实现上述多目标跟踪方法，本申请还提出了另一种多目标跟踪装置，具体请参阅图7，图7是本申请提供的多目标跟踪装置的另一实施例的结构示意图。
本实施例的多目标跟踪装置400包括处理器41、存储器42、输入输出设备43以及总线44。
该处理器41、存储器42、输入输出设备43分别与总线44相连，该存储器42中存储有程序数据，处理器41用于执行程序数据以实现上述实施例所述的多目标跟踪方法。
在本申请实施例中，处理器41还可以称为CPU（Central Processing Unit，中央处理单元）。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器（DSP，Digital Signal Process）、专用集成电路（ASIC，Application Specific Integrated Circuit）、现场可编程门阵列（FPGA，FieldProgrammable Gate Array）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器41也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图8，图8是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有计算机程序61，该计算机程序61在被处理器执行时，用以实现上述实施例的多目标跟踪方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (9)
1.一种多目标跟踪方法，其特征在于，所述多目标跟踪方法包括：
获取针对同一监控区域的不同镜头采集的多路视频流；
提取每一路视频流的局部多目标跟踪轨迹；
获取所述多路视频流中，两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵，其中，所述轨迹相似度距离矩阵包括轨迹坐标框的相似度；
根据所述轨迹相似度距离矩阵获取与目标轨迹具有最多相互近邻的匹配轨迹；
将所述目标轨迹和所述匹配轨迹统一为同一目标的跨镜头轨迹；
所述根据所述轨迹相似度距离矩阵获取与目标轨迹具有最多相互近邻的匹配轨迹，包括：
根据所述轨迹相似度距离矩阵获取所述目标轨迹的第一最近邻集合；
获取所述第一最近邻集合中每一最近邻轨迹的第二最近邻集合；
比较所述第一最近邻集合与所述第二最近邻集合的相互近邻轨迹数量；
将所述相互近邻轨迹数量最多的第二最近邻集合对应的最近邻轨迹，作为所述目标轨迹的匹配轨迹；
所述获取所述多路视频流中，两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵，包括：
获取所述多路视频流中，每一视频流的局部多目标跟踪轨迹；
根据所述局部多目标跟踪轨迹中所有目标框的目标外观特征，计算两两视频流的局部多目标跟踪轨迹的轨迹相似度距离矩阵。
2.根据权利要求1所述的多目标跟踪方法，其特征在于，
所述提取每一路视频流的局部多目标跟踪轨迹，包括：
提取所述每一路视频流中每一视频帧的若干检测框；
获取所述检测框的置信度，以及获取所述检测框内目标的外观特征；
根据所述检测框的置信度以及所述外观特征，将所述检测框与历史轨迹进行多次匹配；
利用成功匹配的检测框对对应的历史轨迹进行更新，获取所述局部多目标跟踪轨迹。
3.根据权利要求2所述的多目标跟踪方法，其特征在于，
所述获取所述检测框内目标的外观特征，包括：
获取所述检测框内目标的图像特征图；
将所述图像特征图划分为若干图像特征子图；
根据所述图像特征子图在自身以及其他图像特征子图的特征位置提取所述图像特征子图的注意力特征；
将所有图像特征子图的注意力特征进行融合，得到所述检测框内目标的外观特征。
4.根据权利要求2所述的多目标跟踪方法，其特征在于，
所述根据所述检测框的置信度以及所述外观特征，将所述检测框与历史轨迹进行多次匹配，包括：
根据所述检测框的置信度划分为高置信度检测框和低置信度检测框；
对所述历史轨迹进行运动预测，获取所述历史轨迹的目标在当前视频帧的历史检测框；
根据所述高置信度检测框与所述历史检测框的重合关系，获取所述高置信度检测框与所述历史检测框对应的历史轨迹的运动距离代价；
根据所述高置信度检测框内目标的外观特征，以及所述历史轨迹的轨迹外观特征，获取所述高置信度检测框与所述历史轨迹的外观余弦距离代价；
基于所述运动距离代价和所述外观余弦距离代价，将所述高置信度检测框与所述历史轨迹进行匹配，确定与所述高置信度检测框匹配的历史轨迹。
5.根据权利要求4所述的多目标跟踪方法，其特征在于，
所述多目标跟踪方法，还包括：
获取所述历史轨迹最新匹配的检测框外观特征，以及所述历史轨迹更新前的历史外观特征；
将所述检测框外观特征和所述历史外观特征进行融合，得到所述历史轨迹的轨迹外观特征。
6.根据权利要求5所述的多目标跟踪方法，其特征在于，
所述获取所述高置信度检测框与所述历史轨迹的外观余弦距离代价之后，所述多目标跟踪方法还包括：
根据所述高置信度检测框与所述历史检测框的重合关系，对所述外观余弦距离代价进行优化。
7.根据权利要求4所述的多目标跟踪方法，其特征在于，
所述历史轨迹包括确认轨迹和待定轨迹，其中，所述待定轨迹为上一帧未匹配上的历史轨迹；
所述确定与所述高置信度检测框匹配的历史轨迹之后，所述多目标跟踪方法还包括：
将未匹配的确认轨迹与所述低置信度检测框，按照所述低置信度检测框与所述未匹配的确认轨迹的历史检测框的重合关系进行匹配，确定与所述低置信度检测框匹配的历史轨迹；
将未匹配的高置信度检测框与所述待定轨迹，按照所述高置信度检测框与所述待定轨迹的历史检测框的重合关系进行匹配，确定与所述高置信度检测框匹配的待定轨迹。
8.一种多目标跟踪装置，其特征在于，所述多目标跟踪装置包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1至7任一项所述的多目标跟踪方法。
9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至7任一项所述的多目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410061826.2A CN117576167B (zh) | 2024-01-16 | 2024-01-16 | 多目标跟踪方法、多目标跟踪装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410061826.2A CN117576167B (zh) | 2024-01-16 | 2024-01-16 | 多目标跟踪方法、多目标跟踪装置及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117576167A CN117576167A (zh) | 2024-02-20 |
| CN117576167B true CN117576167B (zh) | 2024-04-12 |
Family
ID=89864830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410061826.2A Active CN117576167B (zh) | 2024-01-16 | 2024-01-16 | 多目标跟踪方法、多目标跟踪装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117576167B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490911A (zh) * | 2019-08-14 | 2019-11-22 | 西安宏规电子科技有限公司 | 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法 |
| CN112419368A (zh) * | 2020-12-03 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 运动目标的轨迹跟踪方法、装置、设备及存储介质 |
| CN112561954A (zh) * | 2020-09-11 | 2021-03-26 | 浙江大华技术股份有限公司 | 目标对象跟踪轨迹的确定方法和装置、存储介质 |
| CN113689475A (zh) * | 2021-08-27 | 2021-11-23 | 招商银行股份有限公司 | 跨境头轨迹跟踪方法、设备及存储介质 |
| CN114638855A (zh) * | 2022-01-21 | 2022-06-17 | 山东汇创信息技术有限公司 | 一种多目标跟踪方法、设备及介质 |
| CN114677633A (zh) * | 2022-05-26 | 2022-06-28 | 之江实验室 | 基于多部件特征融合的行人检测多目标跟踪系统及方法 |
| CN114693746A (zh) * | 2022-03-31 | 2022-07-01 | 西安交通大学 | 基于身份识别和跨摄像头目标追踪的智能监控系统及方法 |
| CN114743130A (zh) * | 2022-03-17 | 2022-07-12 | 齐鲁工业大学 | 多目标行人跟踪方法及系统 |
| CN115272904A (zh) * | 2021-12-29 | 2022-11-01 | 杭州图灵视频科技有限公司 | 多个单目摄像头下的目标实时跟踪与距离度量系统及方法 |
| CN115657735A (zh) * | 2022-09-08 | 2023-01-31 | 杭州华橙软件技术有限公司 | 目标定位跟踪方法、装置及计算机可读存储介质 |
| CN115731266A (zh) * | 2022-11-24 | 2023-03-03 | 武汉东信同邦信息技术有限公司 | 跨相机多目标跟踪方法、装置、设备及可读存储介质 |
| CN115953434A (zh) * | 2023-01-31 | 2023-04-11 | 北京百度网讯科技有限公司 | 轨迹匹配方法、装置、电子设备和存储介质 |
| CN116452631A (zh) * | 2023-03-27 | 2023-07-18 | 华侨大学 | 一种多目标跟踪方法、终端设备及存储介质 |
| CN117372900A (zh) * | 2023-09-28 | 2024-01-09 | 山东大学 | 一种基于无人机的交通路口旋转多目标跟踪方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409032A (zh) * | 2022-07-07 | 2024-01-16 | 富士通株式会社 | 用于多目标多摄像头跟踪的方法、装置及存储介质 |
-
2024
- 2024-01-16 CN CN202410061826.2A patent/CN117576167B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490911A (zh) * | 2019-08-14 | 2019-11-22 | 西安宏规电子科技有限公司 | 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法 |
| CN112561954A (zh) * | 2020-09-11 | 2021-03-26 | 浙江大华技术股份有限公司 | 目标对象跟踪轨迹的确定方法和装置、存储介质 |
| CN112419368A (zh) * | 2020-12-03 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 运动目标的轨迹跟踪方法、装置、设备及存储介质 |
| CN113689475A (zh) * | 2021-08-27 | 2021-11-23 | 招商银行股份有限公司 | 跨境头轨迹跟踪方法、设备及存储介质 |
| CN115272904A (zh) * | 2021-12-29 | 2022-11-01 | 杭州图灵视频科技有限公司 | 多个单目摄像头下的目标实时跟踪与距离度量系统及方法 |
| CN114638855A (zh) * | 2022-01-21 | 2022-06-17 | 山东汇创信息技术有限公司 | 一种多目标跟踪方法、设备及介质 |
| CN114743130A (zh) * | 2022-03-17 | 2022-07-12 | 齐鲁工业大学 | 多目标行人跟踪方法及系统 |
| CN114693746A (zh) * | 2022-03-31 | 2022-07-01 | 西安交通大学 | 基于身份识别和跨摄像头目标追踪的智能监控系统及方法 |
| CN114677633A (zh) * | 2022-05-26 | 2022-06-28 | 之江实验室 | 基于多部件特征融合的行人检测多目标跟踪系统及方法 |
| CN115657735A (zh) * | 2022-09-08 | 2023-01-31 | 杭州华橙软件技术有限公司 | 目标定位跟踪方法、装置及计算机可读存储介质 |
| CN115731266A (zh) * | 2022-11-24 | 2023-03-03 | 武汉东信同邦信息技术有限公司 | 跨相机多目标跟踪方法、装置、设备及可读存储介质 |
| CN115953434A (zh) * | 2023-01-31 | 2023-04-11 | 北京百度网讯科技有限公司 | 轨迹匹配方法、装置、电子设备和存储介质 |
| CN116452631A (zh) * | 2023-03-27 | 2023-07-18 | 华侨大学 | 一种多目标跟踪方法、终端设备及存储介质 |
| CN117372900A (zh) * | 2023-09-28 | 2024-01-09 | 山东大学 | 一种基于无人机的交通路口旋转多目标跟踪方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Moving target tracking and recognition fusion algorithm based on multi-source;Zhao Q等;《WSEAS Transactions on Signal Processing》;20161231;第1-9页 * |
| 自适应在线判别外观学习的分层关联多目标跟踪;方岚;于凤芹;;中国图象图形学报;20200415(第04期);第84-96页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117576167A (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Frossard et al. | End-to-end learning of multi-sensor 3d tracking by detection | |
| CN103259962B (zh) | 一种目标追踪方法和相关装置 | |
| CN112883819A (zh) | 多目标跟踪方法、装置、系统及计算机可读存储介质 | |
| Al-Shakarji et al. | Multi-object tracking cascade with multi-step data association and occlusion handling | |
| CN113284168A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| US20220172386A1 (en) | Method and device for simultaneous localization and mapping (slam) | |
| Zulkifley | Two streams multiple-model object tracker for thermal infrared video | |
| JP2016507834A (ja) | ターゲットオブジェクトをトラッキングし、検出するためのシステムおよび方法 | |
| CN114049382B (zh) | 一种智能网联环境下目标融合跟踪方法、系统和介质 | |
| US20240320840A1 (en) | Target tracking method, target tracking apparatus, electronic device and computer readable medium | |
| CN111767847A (zh) | 一种集成目标检测和关联的行人多目标跟踪方法 | |
| CN111914878A (zh) | 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质 | |
| CN107622507B (zh) | 一种基于深度学习的空中目标跟踪方法 | |
| CN114565668A (zh) | 即时定位与建图方法及装置 | |
| CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
| Ding et al. | 3dmotformer: Graph transformer for online 3d multi-object tracking | |
| Bashar et al. | Multiple object tracking in recent times: A literature review | |
| CN109636828A (zh) | 基于视频图像的物体跟踪方法及装置 | |
| CN111310728A (zh) | 基于监控相机和无线定位的行人重识别系统 | |
| Fleck et al. | Robust tracking of reference trajectories for autonomous driving in intelligent roadside infrastructure | |
| CN113763420A (zh) | 一种目标跟踪方法、系统及存储介质和终端设备 | |
| CN117576167B (zh) | 多目标跟踪方法、多目标跟踪装置及计算机存储介质 | |
| Zhang et al. | STAT: Multi-object tracking based on spatio-temporal topological constraints | |
| CN111681264A (zh) | 一种监控场景的实时多目标跟踪方法 | |
| Liu et al. | Multiple objects tracking based vehicle speed analysis with Gaussian filter from drone video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |