CN114708304B - 一种跨摄像头的多目标追踪方法、装置、设备及介质 - Google Patents
一种跨摄像头的多目标追踪方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114708304B CN114708304B CN202210627280.3A CN202210627280A CN114708304B CN 114708304 B CN114708304 B CN 114708304B CN 202210627280 A CN202210627280 A CN 202210627280A CN 114708304 B CN114708304 B CN 114708304B
- Authority
- CN
- China
- Prior art keywords
- target
- targets
- classified
- cosine
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000000007 visual effect Effects 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000008030 elimination Effects 0.000 claims abstract description 13
- 238000003379 elimination reaction Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 100
- 238000012216 screening Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种跨摄像头的多目标追踪方法、装置、设备及介质，涉及人工智能领域，该方法包括：获取若干摄像头拍摄到的视频帧；确定视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对第一类目标进行去重处理，得到去重后剩余目标；基于时间先后顺序，分别对在不同拍摄时间下拍摄到的去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一去重后剩余目标以及非重叠视觉空间区域上的每一第二类目标各自对应的路径轨迹。由此可见，本申请不需要进行不同摄像头中的目标轨迹的匹配，而是进行目标的去重和归类从而得到跨摄像头的目标轨迹，能够更精准地实现跨摄像头的多目标追踪。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种跨摄像头的多目标追踪方法、装置、设备及介质。
背景技术
当前，目标追踪是人工智能机器视觉领域最具应用价值的研究方向之一，通常情况下，目标追踪课题分为两个子类：单目标追踪（SOT，Single Object Tracking）和多目标追踪（MOT，Multi Object Tracking）：单目标追踪侧重于对某个特定目标的追踪或者较简单场景的追踪问题，此时场景中目标区域内可见的目标数量极少；多目标追踪使用范围较广泛，常用于普通场景下多个目标的同时追踪。当前，多目标追踪问题更多被涉及，如自动驾驶数据集KITTI，同时包括车辆和行人的追踪标注；MOT-Challenge数据集，是一个专注于行人追踪的目标追踪数据集；PANDA数据集，聚焦超大规模场景下的行人追踪问题，场景更复杂，行人分布更广泛，问题更难。但是，这些数据集通常将追踪问题设定在同一个摄像头下。然而在真实的使用场景下，例如违法分子追踪、失踪人口搜索、违规车辆追查等公安和交通场景下，目标的行动轨迹通常是跨摄像头的。
对于跨摄像头目标追踪算法，如图1所示，为针对行人的目标追踪，现有方法通常采用两步叠加的方法来实现：第一步在单摄像头进行目标追踪，从而形成局部轨迹；第二步采用经典的tracklet-to-tracklet匹配算法对单摄像头追踪的若干输出结果进行匹配和拼接；利用此种跨摄像头目标追踪方法，单一的进行片段追踪再进行轨迹匹配，会造成由于轨迹匹配失误造成的性能衰减。
综上所述如何更加精准地实现跨摄像头的多目标追踪是当前亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种跨摄像头的多目标追踪方法，能够更加精准地实现跨摄像头的多目标追踪。其具体方案如下：
第一方面，本申请公开了一种跨摄像头的多目标追踪方法，包括：
获取若干摄像头拍摄到的视频帧；
确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标；
基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹。
可选的，所述确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，包括：
确定所述重叠视觉空间区域上由不同摄像头在同一拍摄时间下拍摄到的不同运动目标的特征信息；
确定所述不同运动目标的特征信息之间的第一余弦距离；
判断所述第一余弦距离是否满足目标预设条件，若是则判定所述不同运动目标均为同一目标，以得到相应的第一类目标。
可选的，所述判断所述第一余弦距离是否满足目标预设条件，包括：
将不同所述摄像头在所述同一拍摄时间下拍摄到的各组所述不同运动目标对应的所述第一余弦距离保存至第一预设距离矩阵；其中，所述第一余弦距离在所述预设距离矩阵中的存储位置为基于所述第一余弦距离对应的运动目标的标识号确定的位置；
分别判断所述第一预设距离矩阵中任意两个不同所述摄像头之间的所述第一余弦距离是否满足第一预设条件和第二预设条件；所述第一预设条件为所述第一余弦距离是否小于第一预设距离阈值，所述第二预设条件为所述第一余弦距离是否为对应的行列数值中的最小值。
可选的，所述基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，包括：
利用历史拍摄时间下已归类目标的特征信息与当前拍摄时间下还未归类目标的特征信息，确定所述已归类目标和所述还未归类目标之间的第二余弦距离；所述还未归类目标包括还未归类的所述去重后剩余目标和所述第二类目标；
利用所述第二余弦距离判断所述还未归类目标中的目标与所述已归类目标中的目标是否为同一目标，并基于判断结果对所述还未归类目标进行归类。
可选的，所述利用所述第二余弦距离判断所述还未归类目标中的目标与所述已归类目标中的目标是否为同一目标，包括：
将所述已归类目标和所述还未归类目标之间的所述第二余弦距离存放至第二预设距离矩阵；其中，所述第二余弦距离在所述第二预设距离矩阵中的存储位置为基于所述第二余弦距离对应的所述已归类目标和所述未归类目标的标识号确定的位置；
分别判断所述第二预设距离矩阵中的所述第二余弦距离是否满足第三预设条件和第四预设条件；所述第三预设条件为所述第二余弦距离是否小于第二预设距离阈值，所述第四预设条件为所述第二余弦距离是否为对应的行列数值中的最小值；
若满足所述第三预设条件和所述第四预设条件，则所述还未归类目标中的目标与所述已归类目标中的目标为同一目标，若不满足所述第三预设条件和所述第四预设条件，则所述还未归类目标中的目标与所述已归类目标中的目标不为同一目标。
可选的，所述利用历史拍摄时间下已归类目标的特征信息与当前拍摄时间下还未归类目标的特征信息，确定所述已归类目标和所述还未归类目标之间的第二余弦距离，包括：
分别计算历史拍摄时间下已归类目标的各种特征信息与当前拍摄时间下还未归类目标的各种特征信息之间的余弦距离，以得到相应的多个余弦距离；
从所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
可选的，所述分别计算历史拍摄时间下已归类目标的各种特征信息与当前拍摄时间下还未归类目标的各种特征信息之间的余弦距离，以得到相应的多个余弦距离，包括：
将不同所述摄像头对应的历史拍摄时间下所述已归类目标的各种特征信息存放至第一特征矩阵中，并将不同所述摄像头对应的当前拍摄时间下所述还未归类目标的各种特征信息存放至第二特征矩阵中；
利用所述第一特征矩阵和所述第二特征矩阵进行余弦距离运算，得到保存有不同所述摄像头历史拍摄时间下所述已归类目标的各种特征信息和所述当前拍摄时间下还未归类目标的各种特征信息之间的多个余弦距离的第三预设距离矩阵；
相应的，所述从所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离，包括：
从所述第三预设距离矩阵中的所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
可选的，所述将不同所述摄像头对应的历史拍摄时间下已归类目标的各种特征信息存放至第一特征矩阵中，包括：
将不同所述摄像头对应的历史拍摄时间下同一所述已归类目标的各种特征信息进行绑定以得到多个绑定后信息，并将所述绑定后信息依次存放至第一特征矩阵中。
可选的，所述将不同所述摄像头对应的历史拍摄时间下同一所述已归类目标的各种特征信息进行绑定以得到多个绑定后信息，并将所述绑定后信息依次存放至第一特征矩阵中，包括：
将不同所述摄像头对应的历史拍摄时间下每个所述已归类目标的各种特征信息存放至第三特征矩阵，以得到多个所述第三特征矩阵；
整合多个所述第三特征矩阵以得到存放有所述已归类目标的各种特征信息的第一特征矩阵。
可选的，所述利用历史拍摄时间下已归类目标的特征信息与当前拍摄时间下还未归类目标的特征信息，确定所述已归类目标和所述还未归类目标之间的第二余弦距离，包括：
分别计算同一所述摄像头对应的历史拍摄时间下已归类目标的各种特征信息与当前拍摄时间下还未归类目标的各种特征信息之间的余弦距离，以得到每个所述摄像头对应的所述已归类目标的所述各种特征信息与所述还未归类目标的所述各种特征信息之间的多个余弦距离；
从所述多个余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
可选的，所述分别计算同一所述摄像头对应的历史拍摄时间下已归类目标的各种特征信息与当前拍摄时间下还未归类目标的各种特征信息之间的余弦距离，以得到每个所述摄像头对应的所述已归类目标的所述各种特征信息与所述还未归类目标的所述各种特征信息之间的多个余弦距离，包括：
将同一所述摄像头对应的历史拍摄时间下已归类目标的各种特征信息存放至第四特征矩阵中，以得到与所述摄像头的数量对应的若干个所述第四特征矩阵；
将同一所述摄像头对应的当前拍摄时间下还未归类目标的各种特征信息存放至第五特征矩阵中，以得到与所述摄像头的数量对应的若干个所述第五特征矩阵；
利用同一所述摄像头对应的所述第四特征矩阵和所述第五特征矩阵进行余弦距离运算，得到保存有同一所述摄像头对应的历史拍摄时间下所述已归类目标的各种特征信息与当前拍摄时间下所述还未归类目标的各种特征信息之间的余弦距离的第四预设距离矩阵，以得到与所述摄像头的数量对应的若干个所述第四预设距离矩阵；
相应的，所述从所述多个余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离，包括：
从若干个所述第四预设距离矩阵中的多个所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
可选的，所述基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，还包括：
监测每个已归类目标对应的已归类时长；
判断所述已归类时长是否大于预设时长阈值，如果是则将相应的所述已归类目标对应的特征信息进行删除。
第二方面，本申请公开了一种跨摄像头的多目标追踪装置，包括：
视频帧获取模块，用于获取若干摄像头拍摄到的视频帧；
去重模块，用于确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标；
归类模块，用于基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹。
第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述公开的跨摄像头的多目标追踪方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的跨摄像头的多目标追踪方法。
可见，本申请获取若干摄像头拍摄到的视频帧；确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标；基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹。由此可见，本申请对重叠视觉空间区域的并且拍摄时间相同的第一类目标进行去重处理，以对不同摄像头在相同拍摄时间拍摄到的同一目标进行目标衔接，完成目标的空域匹配；在对目标完成去重处理后，将不同拍摄时间下拍摄到的去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类得到相应的路径轨迹，完成目标的时域匹配；此过程不需要进行不同摄像头中的目标轨迹的匹配，而是进行目标的去重和归类从而得到跨摄像头的目标轨迹，不会由于轨迹匹配失误而造成性能衰减，能够更精准地实现跨摄像头的多目标追踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为现有的跨摄像头的多目标追踪方法示意图；
图2为本申请提供的一种跨摄像头的多目标追踪方法流程图；
图3为本申请提供的一种针对行人的空域匹配器输入信息示意图；
图4为本申请提供的一种针对行人的空域匹配器输出信息示意图；
图5为本申请提供的一种针对行人的目标轨迹缓存器存储信息示意图；
图6为本申请提供的一种具体的跨摄像头的多目标追踪方法流程图；
图7为本申请提供的一种区域划分示意图；
图8为本申请提供的一种具体的跨摄像头的多目标追踪方法流程图；
图9为跨摄像头的多目标追踪过程示意图；
图10为本申请提供的一种摄像头的多目标追踪流程示意图；
图11为本申请提供的一种摄像头的多目标追踪系统结构图；
图12为空域匹配器的工作流程示意图；
图13为时域匹配器的工作流程示意图；
图14为本申请提供的一种跨摄像头的多目标追踪装置结构图；
图15为一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前对于跨摄像头目标追踪算法，通常采用两步叠加的方法来实现：第一步在单摄像头进行目标追踪，从而形成局部轨迹；第二步采用经典的tracklet-to-tracklet匹配算法对单摄像头追踪的若干输出结果进行匹配和拼接；利用此种跨摄像头目标追踪方法，单一的进行片段追踪再进行轨迹匹配，会造成由于轨迹匹配失误造成的性能衰减。
为了克服上述问题，本申请提供了一种跨摄像头的多目标追踪方案，能够更加精准地实现跨摄像头的多目标追踪。
参见图2所示，本申请实施例公开了一种跨摄像头的多目标追踪方法，该方法包括：
步骤S11：获取若干摄像头拍摄到的视频帧。
本申请实施例中，在获取若干摄像头拍摄到的视频帧之前，会为若干摄像头设置摄像头标识以区分不同摄像头，所述摄像头标识可用摄像头ID（Identity document）表示，所述摄像头ID的表示方式包括但不限于数字、字母。获取若干摄像头拍摄到的视频帧之后，通过检测器基于检测网络对不同视频帧中的运动目标进行坐标定位，得到目标对应的检测框在对应的视频帧中的坐标，通过嵌入特征提取器提取不同视频帧中的运动目标的嵌入特征；需要指出的是，嵌入特征为用于区分运动目标的特征信息，当运动目标为行人时，所述嵌入特征包括但不限于行人面部特征，行人衣物特征。
需要指出的实时，检测器可采用Yolo（You Only Look Once）、FasterRCNN等经典目标检测模型；嵌入特征提取器可采用ResNeSt、EfficientNet等经典网络结构通过度量学习训练得到。
本申请实施例中，进行坐标定位和嵌入特征提取后，综合运动目标对应的坐标、特征信息和摄像头标识，以获取所述运动目标对应的原始检测信息，对于目标a，原始检测信息可表示为Fa={“摄像头ID”：1，“坐标”：[x1，y1，x1，y1]，“嵌入特征”：f d}，如图3所述，为不同摄像头拍摄的各行人的原始检测信息，也即空域匹配器的输入信息。
步骤S12：确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标。
本申请实施例中，空域匹配器的作用是将同一时间节点下不同摄像头拍到的同一目标进行匹配，由于对于某一目标来说，他在从一个摄像头视野跨越到另一个摄像头视野的过程中，会在两个摄像头下成像，因此，本匹配器的目的是将这些目标样本进行归类，将不同摄像头下相同的目标进行合并，也即进行去重处理。
本申请实施例中，利用空域匹配器对第一类目标进行去重处理，以进行不同摄像头对应的运动目标的目标衔接，完成空域匹配，在进行去重处理时，首先向空域匹配器输入各运动目标的原始检测信息，空域匹配器利用原始检测信息中的坐标，确定出位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的运动目标作为第一类目标，然后利用嵌入特征，也即特征信息确定出表示同一目标的第一类目标，然后将表示同一目标的第一类目标的原始检测信息进行归类，以完成对所述第一类目标的去重处理得到去重后剩余目标以及对应的目标检测信息，如图4所示为去重后各行人的目标检测信息，也即空域匹配器的输出信息。
需要指出的是，利用若干摄像头对应的内参和外参计算出在空间中的视觉空间区域，并建立所述摄像头的视觉空间区域与相应的视频帧中的位置坐标之间的联系，因此，能够利用原始检测信息中的坐标确定目标在视觉空间区域中的位置。
需要指出的是，利用空域匹配器得到的目标检测信息包括摄像头ID-坐标对，嵌入特征两个信息，其中，目标检测信息中的嵌入特征为矩阵形式，例如，目标a在摄像头1和摄像头2下同时拍摄到，目标检测信息可表示为Ga={“摄像头ID-坐标”：[[1，[x11，y11，x12，y12]]，[2，[x21，y21，x22，y22]]]，“嵌入特征”：[f d1，f d2]}。如图4所示，为空域匹配后各行人的目标检测信息。需要指出的是，如图3和图4所示，图3中行人ID为1和2的行人分别为摄像头ID为1和2的摄像头拍摄到的同一行人，行人ID为3和4的行人分别为摄像头ID为2和3的摄像头拍摄到的同一行人，因此在空域匹配时，将行人ID为1和2的行人进行去重，将行人ID为3和4的行人进行去重。
步骤S13：基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹。
本申请实施例中，时域匹配器是用来将空域匹配输出的匹配结果同存储在目标轨迹缓存器中存储的已归类目标的特征信息进行比对，从而持续更新每一帧的行人轨迹的模块。具体的，本申请利用时域匹配器基于时间顺序将从空域匹配器得到的空域匹配结果归类到行人轨迹缓存器中的已记录目标和已记录目标对应的历史检测信息中，得到对应的目标轨迹；所述空域匹配结果包括去重后剩余目标以及对应的目标检测信息和非重叠视觉空间区域上的第二类目标以及对应的目标检测信息。如图5所示，为目标轨迹缓存器中存储的时域匹配后基于时间顺序归类的行人以及对应的历史检测信息，也即目标轨迹缓存器中的存储信息。图5中，将行人ID为1的行人在不同拍摄时间拍摄的行人的目标检测信息按照时间顺序进行归类，并标注了时序ID1和2，行人ID为2的行人是在时序ID为2时拍摄到的行人，将行人ID为2的行人进行归类，并标注时序ID为2。
需要指出的是，当目标为行人时，目标轨迹缓存器中记载的内容如图5所示，行人的嵌入特征和坐标等信息通过字典的形式进行存储。字典的一级目录为每个行人的标识，也即行人ID，二级目录为该行人出现的时序ID，三级目录为该行人在该时序的摄像机ID，查询内容为该状态下行人的坐标和嵌入特征。
本申请实施例中，对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，是指将所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标对应的目标检测信息保存到目标轨迹缓存器中，需要指出的是，由于，过多的特征信息对目标追踪没有帮助，因此需要监测所述目标轨迹缓存器中每个已归类目标对应的已归类时长；判断所述已归类时长是否大于预设时长阈值，如果是则将相应的所述已归类目标对应的特征信息进行删除。对所述已归类目标对应的特征信息进行删除的过程能够规避目标轨迹缓存器的内存溢出问题。具体的，预设时长阈值在15秒到20秒之间时，可以保证目标轨迹缓存器的性能。
可见，本申请获取若干摄像头拍摄到的视频帧；确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标；基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹。由此可见，本申请对重叠视觉空间区域的并且拍摄时间相同的第一类目标进行去重处理，以对不同摄像头在相同拍摄时间拍摄到的同一目标进行目标衔接，完成目标的空域匹配；在对目标完成去重处理后，将不同拍摄时间下拍摄到的去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类得到相应的路径轨迹，完成目标的时域匹配；此过程不需要进行不同摄像头中的目标轨迹的匹配，而是进行目标的去重和归类从而得到跨摄像头的目标轨迹，不会由于轨迹匹配失误而造成性能衰减，能够更精准地实现跨摄像头的多目标追踪。
参见图6所示，本申请实施例公开了一种具体的跨摄像头的多目标追踪方法，该方法包括：
步骤S21：获取若干摄像头拍摄到的视频帧。
其中，关于步骤S21的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S22：确定所述重叠视觉空间区域上由不同摄像头在同一拍摄时间下拍摄到的不同运动目标的特征信息，确定所述不同运动目标的特征信息之间的第一余弦距离。
本申请实施例中，所述特征信息为相应的原始检测信息中的嵌入特征。
本申请实施例中，对于重叠视觉空间区域与非重叠视觉空间区域的划分是基于拍摄到相应区域的摄像头个数和摄像头ID（Identity document），如图7所示，摄像头1、2、3、4将视觉空间区域分为11个区域，11个区域中2、4、5、6、7、8、10为重叠视觉空间区域，1、3、9、11为非重叠视觉空间区域。需要指出的是当目标同时跨越图7中的多个区域时，将目标归类为最多摄像头可见的区域。
本申请实施例中，当根据运动目标的坐标判断出目标位于重叠视觉空间区域后，确定所述重叠视觉空间区域上由不同摄像头在同一拍摄时间下拍摄到的不同运动目标的特征信息，并确定所述不同运动目标的特征信息之间的第一余弦距离。例如，当所述目标位于重叠空间区域2时，对应摄像头1和摄像头2，则计算摄像头1和摄像头2在所述重叠空间区域2中全部运动目标的特征信息，与，摄像头1和摄像头2在所述重叠空间区域2中全部目标的特征信息之间的第一余弦距离；当所述目标位于重叠空间区域5时，对应摄像头1、摄像头2和摄像头3，则计算摄像头1、摄像头2和摄像头3在所述重叠空间区域5中的全部目标的特征信息，与，摄像头1、摄像头2和摄像头3在所述重叠空间区域5中的全部目标的特征信息之间的第一余弦距离。
需要指出的是，当所述目标位于重叠空间区域2时，对应摄像头1和摄像头2，也可以计算摄像头1在所述重叠空间区域2中的目标的特征信息与摄像头2在所述重叠空间区域2中的目标的特征信息之间的第一余弦距离。
步骤S23：判断所述第一余弦距离是否满足目标预设条件，若是则判定所述不同运动目标均为同一目标，以得到相应的第一类目标，然后对所述第一类目标进行去重处理，得到去重后剩余目标。
本申请实施例中，判断所述第一余弦距离是否满足目标预设条件具体包括：将不同所述摄像头在所述同一拍摄时间下拍摄到的各组所述不同运动目标对应的所述第一余弦距离保存至第一预设距离矩阵；其中，所述第一余弦距离在所述第一预设距离矩阵中的存储位置为基于所述余弦距离对应的运动目标的标识号确定的位置；分别判断所述预设距离矩阵中任意两个所述摄像头之间的所述第一余弦距离是否满足第一预设条件和第二预设条件；所述第一预设条件为所述第一余弦距离是否小于第一预设距离阈值，所述第二预设条件为所述第一余弦距离是否为对应的行列数值中的最小值，所述行列为上述任意两个所述摄像头之间的行列。
本申请实施例中，判断不同运动目标均为同一目标的具体步骤为：对区域
的不同摄像头在相同拍摄时间拍摄到的全部的
个运动目标做余弦运算可得一个
的距离矩阵
，之后，对其中同摄像头下的运动目标进行距离屏蔽，做法是将距离矩阵中对应位置的距离值置为无穷大。最后，将距离矩阵中任意两个不同摄像头下的所有第一余弦距离小于第一预设距离阈值
的运动目标对提出来，若该第一余弦距离为任意两个不同摄像头下的该行与该列最小，则该第一余弦距离对应的两个运动目标为同一目标；例如，所述目标位于重叠空间区域2，对应摄像头1和摄像头2，则计算摄像头1和摄像头2在所述重叠空间区域2中全部运动目标的特征信息，与，摄像头1和摄像头2在所述重叠空间区域2中全部目标的特征信息之间的第一余弦距离；将所述第一余弦距离保存至预设距离矩阵中，将相同摄像头之间的第一余弦距离设置为无穷大，从摄像头1和摄像头2之间的第一余弦距离中找出满足第一预设条件和第二预设条件的第一余弦距离，将该余弦距离对应的运动目标判断为同一目标。
需要指出的是，当所述运动目标位于重叠空间区域5时，对应摄像头1、摄像头2和摄像头3，计算摄像头1、摄像头2和摄像头3在所述重叠空间区域5中的全部运动目标的特征信息，与，摄像头1、摄像头2和摄像头3在所述重叠空间区域5中的全部运动目标的特征信息之间的第一余弦距离之后，将所述第一余弦距离保存至预设距离矩阵中，将相同摄像头之间的第一余弦距离设置为无穷大，从摄像头1和摄像头2之间的第一余弦距离中找出满足第一预设条件和第二预设条件的第一余弦距离，将该余弦距离对应的运动目标判断为同一目标，并从摄像头1和摄像头3之间的第一余弦距离中找出满足第一预设条件和第二预设条件的第一余弦距离，将该余弦距离对应的运动目标判断为同一目标，然后从摄像头2和摄像头3之间的第一余弦距离中找出满足第一预设条件和第二预设条件的第一余弦距离，将该余弦距离对应的运动目标判断为同一目标。
需要指出的是，若距离矩阵
中，两个不同摄像头下的第
行第
列的距离值
小于第一预设距离阈值
，且
，则第
个运动目标与第
个运动目标为同一目标。其中，
和
为两个不同所述摄像头下相应行列数值的最小值。
步骤S24：基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹。
本申请实施例中，若判定所述第一余弦距离不满足目标预设条件，则判定所述不同运动目标为第二类目标；需要指出的是，可以在运动目标位于重叠视觉空间区域时创建预设距离矩阵，重叠视觉空间区域中的运动目标为第一类目标；而当不同运动目标位于非重叠视觉空间区域时不创建预设距离矩阵，直接将非重叠视觉空间区域的运动目标作为第二类目标。
可见，本申请获取若干摄像头拍摄到的视频帧；确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标；基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹。由此可见，本申请利用特征信息对重叠视觉空间区域的并且拍摄时间相同的第一类目标进行去重处理，以对不同摄像头在相同拍摄时间拍摄到的同一目标进行目标衔接，完成目标的空域匹配；利用特征信息可以排除目标形态差异导致的匹配失准的问题，使匹配更加准确；在对目标完成去重处理后，将不同拍摄时间下拍摄到的去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类得到相应的路径轨迹，完成目标的时域匹配；此过程不需要进行不同摄像头中的目标轨迹的匹配，而是进行目标的去重和归类从而得到跨摄像头的目标轨迹，不会由于轨迹匹配失误而造成性能衰减，能够更精准地实现跨摄像头的多目标追踪。
参见图8所示，本申请实施例公开了一种具体的跨摄像头的多目标追踪方法，该方法包括：
步骤S31：获取若干摄像头拍摄到的视频帧。
其中，关于步骤S31的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S32：确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标。
其中，关于步骤S32的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S33：利用历史拍摄时间下已归类目标的特征信息与当前拍摄时间下还未归类目标的特征信息，确定所述已归类目标和所述还未归类目标之间的第二余弦距离；所述还未归类目标包括还未归类的所述去重后剩余目标和所述第二类目标。
本申请实施例中，历史拍摄时间下已归类目标的包括特征信息的历史检测信息存储在目标轨迹缓存器中；从而持续更新每一帧的行人轨迹的模块利用历史拍摄时间下已归类目标的特征信息与当前拍摄时间下还未归类目标的特征信息，确定所述已归类目标和所述还未归类目标之间的第二余弦距离包括两种方法。
在一种具体实施例中，分别计算历史拍摄时间下已归类目标的各种特征信息与当前拍摄时间下还未归类目标的各种特征信息之间的余弦距离，以得到相应的多个余弦距离；从所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离，具体的，将不同所述摄像头对应的历史拍摄时间下所述已归类目标的各种特征信息存放至第一特征矩阵中，并将不同所述摄像头对应的当前拍摄时间下所述还未归类目标的各种特征信息存放至第二特征矩阵中；利用所述第一特征矩阵和所述第二特征矩阵进行余弦距离运算，得到保存有不同所述摄像头历史拍摄时间下所述已归类目标的各种特征信息和所述当前拍摄时间下还未归类目标的各种特征信息之间的多个余弦距离的第三预设距离矩阵；从所述第三预设距离矩阵中的所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
需要指出的是，将不同所述摄像头对应的历史拍摄时间下所述已归类目标的各种特征信息存放至第一特征矩阵中的过程，可以为将不同所述摄像头对应的历史拍摄时间下每个所述已归类目标的各种特征信息进行绑定以得到多个绑定后信息，并将所述绑定后信息依次存放至第一特征矩阵中。其中，得到绑定后信息的目的是将同一所述已归类目标的各种特征信息进行连续存放。具体可以为：将不同所述摄像头对应的历史拍摄时间下同一所述已归类目标的各种特征信息存放至第三特征矩阵，以得到多个所述第三特征矩阵；整合多个所述第三特征矩阵以得到存放有所述已归类目标的各种特征信息的第一特征矩阵。其中，利用第三特征矩阵存放同一所述已归类目标的各种特征信息，可以确保同一所述已归类目标的各种特征信息连续存放。
需要指出的是，该具体实施例中的具体细节为：将目标轨迹缓存器中的每个已归类目标在历史拍摄时间下所有摄像头拍摄到的历史检测信息，将每个已归类目标对应的历史检测信息中的特征信息进行整合构建特征矩阵以得到每个已归类目标对应的特征矩阵
，每个特征矩阵大小为
，其中，
为特征维度，
为历史拍摄时间下所有摄像头拍摄到的目标
的个数；然后将每个已归类目标对应的特征矩阵
进行整合得到特征矩阵
，其中
，为历史拍摄时间下所有摄像头拍摄到的所有目标的个数；然后将空域匹配器输出还未归类目标对应的特征信息与所述特征矩阵
中的特征信息进行余弦距离运算，得到大小为
的距离矩阵，其中
为目标轨迹缓存器中历史拍摄时间下所有摄像头拍摄到的所有目标的个数，
为空域匹配器输出还未归类目标所有摄像头下拍摄到的所有目标的个数；然后，将目标轨迹缓存器中的已归类目标
和还未归类目标
在
中相关的位置
和
提取出来，并将大小为
的距离矩阵中相关区域的最小值提取出来添加到
中以构建大小为
的距离矩阵
，其中，
为目标轨迹缓存器中的实际目标个数，
为还未归类目标中的实际行人个数；其中，
中存储的为第二余弦距离；其中，
为已归类目标
和还未归类目标
之间的距离矩阵。
在另一种具体实施例中，分别计算同一所述摄像头对应的历史拍摄时间下已归类目标的各种特征信息与当前拍摄时间下还未归类目标的各种特征信息之间的余弦距离，以得到每个所述摄像头对应的所述已归类目标的所述各种特征信息与所述还未归类目标的所述各种特征信息之间的多个余弦距离；从所述多个余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
需要指出的是，上述筛选第二余弦距离的具体过程可以为：将同一所述摄像头对应的历史拍摄时间下已归类目标的各种特征信息存放至第四特征矩阵中，以得到与所述摄像头的数量对应的若干个所述第四特征矩阵；将同一所述摄像头对应的当前拍摄时间下还未归类目标的各种特征信息存放至第五特征矩阵中，以得到与所述摄像头的数量对应的若干个所述第五特征矩阵；利用同一所述摄像头对应的所述第四特征矩阵和所述第五特征矩阵进行余弦距离运算，得到保存有同一所述摄像头对应的历史拍摄时间下所述已归类目标的各种特征信息与当前拍摄时间下所述还未归类目标的各种特征信息之间的余弦距离的第四预设距离矩阵，以得到与所述摄像头的数量对应的若干个所述第四预设距离矩阵；从若干个所述第四预设距离矩阵中的多个所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
需要指出的是，该具体实施例中的具体细节为：取出历史拍摄时间下同一摄像头中每个已归类目标的历史检测信息中的特征信息，以得到各个摄像头上的特征矩阵
，其中
为摄像头ID，
为已归类目标的ID，合并同一摄像头下所有已归类目标得到
个特征矩阵
；根据同一摄像头拍摄的所有还未归类目标，得到
个特征矩阵
，其中，
为摄像头个数；将对应同一摄像头的特征矩阵
和特征矩阵
作为一组矩阵对，每组矩阵对进行余弦距离运算得到
个特征矩阵
，从不同特征矩阵
中将目标轨迹缓存器中的已归类目标
和还未归类目标
之间的余弦距离提取处理，并根据目标公式找到最小的余弦距离作为第二余弦距离添加到距离矩阵
中；所述目标公式为：
步骤S34：利用所述第二余弦距离判断所述还未归类目标中的目标与所述已归类目标中的目标是否为同一目标，并基于判断结果对所述还未归类目标进行归类。
本申请实施例中利用所述第二余弦距离判断所述还未归类目标中的目标与所述已归类目标中的目标是否为同一目标，具体为：将所述已归类目标和所述还未归类目标之间的所述第二余弦距离存放至第二预设距离矩阵；其中，所述第二余弦距离在所述第二预设距离矩阵中的存储位置为基于所述第二余弦距离对应的所述已归类目标和所述未归类目标的标识号确定的位置；分别判断所述第二预设距离矩阵中的所述第二余弦距离是否满足第三预设条件和第四预设条件；所述第三预设条件为所述第二余弦距离是否小于第二预设距离阈值，所述第四预设条件为所述第二余弦距离是否为对应的行列数值中的最小值；若满足所述第三预设条件和所述第四预设条件，则所述还未归类目标中的目标与所述已归类目标中的目标为同一目标，若不满足所述第三预设条件和所述第四预设条件，则所述还未归类目标中的目标与所述已归类目标中的目标不为同一目标。具体实施例中，从距离矩阵
和
中筛选出满足第三预设条件和第四预设条件的第二余弦距离，判断满足第三预设条件和第四预设条件的第二余弦距离对应的已归类目标中的一个目标和还未归类目标中的一个目标为同一目标，然后将还未归类目标中的所述目标按照时间顺序归类到已归类目标中的所述目标中；其中，第三预设条件为所述第二余弦距离是否小于第二预设距离阈值，第四预设条件为所述第二余弦距离是否为对应的行列数值中的最小值。
可见，本申请获取若干摄像头拍摄到的视频帧；确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标；基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹。由此可见，本申请对重叠视觉空间区域的并且拍摄时间相同的第一类目标进行去重处理，以对不同摄像头在相同拍摄时间拍摄到的同一目标进行目标衔接，完成目标的空域匹配；在对目标完成去重处理后，根据特征信息将不同拍摄时间下拍摄到的去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类得到相应的路径轨迹，完成目标的时域匹配；根据特征信息进行归类可以排除目标形态差异导致的归类失准的问题，使归类更加准确。此过程不需要进行不同摄像头中的目标轨迹的匹配，而是进行目标的去重和归类从而得到跨摄像头的目标轨迹，不会由于轨迹匹配失误而造成性能衰减，能够更精准地实现跨摄像头的多目标追踪。
现有目标追踪问题的解决方法通常聚焦于单摄像头场景下。例如，DeepSort算法使用卡尔曼滤波器和匈牙利匹配，结合目标检测和度量学习等工具，实现了单摄像头下相邻帧之间的目标匹配从而实现追踪；JDE（Java Development Environment）着力设计单阶段的目标追踪系统，同时进行目标检测特征和度量学习特征的提取，从而简化了算法的训练流程；FairMOT意识到检测问题和目标重识别任务之间特征的不匹配性，放弃了传统目标检测的训练模式，采用关键点检测来替代，解决了目标检测中心与目标移动中心不匹配的问题；CenterTrack同样通过解决这个不匹配问题提升追踪系统精度。上述方法在单摄像头多目标追踪领域均相继取得了很好的成绩，具有很不错的鲁棒性。然而，这些方法无法解决跨摄像头下的追踪问题，并且，现有的跨摄像头目标追踪方法只能单一的进行片段追踪再进行轨迹匹配，这样会造成由于轨迹匹配失误造成的性能衰减。因此，本申请提出了一种跨摄像头的多目标追踪方法。如图9所示，为跨摄像头的多目标追踪过程，追踪到不同行人在不同摄像头之间的运动轨迹，如2号行人从摄像头1运动到摄像头3的过程。如图10所示，为本申请提供的摄像头的多目标追踪流程示意图，图中循环跨摄像头的每一帧，通过目标检测网络和嵌入特征提取器对每个行人进行坐标定位和特征提取，再经由空域和时域匹配机制来进行行人的跟踪，完成行人轨迹的迭代生成，图11为本申请提供的摄像头的多目标追踪的系统结构图，系统主要包括目标检测器01、嵌入特征提取器02、空域匹配器03、时域匹配器04和目标轨迹缓存器05。
图12为空域匹配器的工作流程，首先将运动目标对应的原始检测信息发送至空域匹配器，随机选取一个摄像头ID，也即随机选取一个视频帧，然后从视频帧中选择一个检测框中的运动目标，根据运动目标的检测框对应的坐标确定运动目标在视觉空间区域中的目标区域（也即运动目标区域分配），此时需要遵循最大公共区域原则，也即当运动目标跨越图7中的多个区域时，将运动目标归类为最多摄像头可拍摄到的公共区域；若目标区域为重叠视觉空间区域则对运动目标所在的目标区域计算相应的距离矩阵，并将距离矩阵中同摄像头下的运动目标之间的第一余弦距离进行距离屏蔽，也即自距离进行屏蔽；然后将满足预设条件的第一余弦距离对应的目标作为第一类目标，进行运动目标去重处理得到去重后剩余目标，并得到去重后剩余目标对应的目标检测信息，然后依次对目标区域中的其它行人进行去重处理；若目标区域为重叠视觉空间区域则直接将目标区域中的运动目标作为第二类目标；对目标区域的所有运动目标进行去重处理后依次对该视频帧中其它区域的运动目标进行去重处理；对该视频帧中的所有运动目标进行去重处理后依次通过摄像头ID选取其它视频帧，完成对其它视频帧中的运动目标进行去重的步骤，直至对所有视频帧中的运动目标进行去重处理（也即遍历完所有所述视频帧中的每个区域）；需要指出的是每当对某一运动目标进行去重处理后，需要将该运动目标对应的目标检测信息保存到预设数据库中，并将该运动目标对应的所有检测框进行删除，以防止再次选取该运动目标在其它视频帧中对应的检测框重复进行去重处理。
图13为时域匹配器的工作流程，首先接收从空域匹配器发送的空域匹配结果，然后利用空域匹配结果中还未归类目标的特征信息和目标轨迹缓存器库中的已归类目标的特征信息，计算出还未归类目标和已归类目标之间的第二余弦距离（也即距离运算），将满足预设条件的第二余弦距离对应的还未归类目标中的一个目标和已归类目标中的一个目标作为同一目标，并根据时间先后顺序将还未归类目标中的所述目标的目标检测信息归类到已归类目标中的所述目标中。
参见图14所示，本申请实施例公开了一种跨摄像头的多目标追踪装置，包括：
视频帧获取模块11，用于获取若干摄像头拍摄到的视频帧；
去重模块12，用于确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标；
归类模块13，用于基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹。
其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请获取若干摄像头拍摄到的视频帧；确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标；基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹。由此可见，本申请对重叠视觉空间区域的并且拍摄时间相同的第一类目标进行去重处理，以对不同摄像头在相同拍摄时间拍摄到的同一目标进行目标衔接，完成目标的空域匹配；在对目标完成去重处理后，将不同拍摄时间下拍摄到的去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类得到相应的路径轨迹，完成目标的时域匹配；此过程不需要进行不同摄像头中的目标轨迹的匹配，而是进行目标的去重和归类从而得到跨摄像头的目标轨迹，不会由于轨迹匹配失误而造成性能衰减，能够更精准地实现跨摄像头的多目标追踪。
进一步的，本申请实施例还提供了一种电子设备，图15是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图15为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、输入输出接口24、通信接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任意实施例公开的跨摄像头的多目标追踪方法的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口25能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口24，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储器22作为可以包括作为运行内存的随机存取存储器和用于外部内存的存储用途的非易失性存储器，其上的存储资源包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制源主机上电子设备20上的各硬件设备以及计算机程序222，操作系统221可以是Windows、Unix、Linux等。计算机程222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的跨摄像头的多目标追踪方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
本实施例中，所述输入输出接口24具体可以包括但不限于USB接口、硬盘读取接口、串行接口、语音输入接口、指纹输入接口等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的跨摄像头的多目标追踪方法。
关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
这里所说的计算机可读存储介质包括随机存取存储器(Random Access Memory，RAM)、内存、只读存储器(Read-Only Memory，ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、磁碟或者光盘或技术领域内所公知的任意其他形式的存储介质。其中，所述计算机程序被处理器执行时实现前述跨摄像头的多目标追踪方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的跨摄像头的多目标追踪方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种跨摄像头的多目标追踪方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种跨摄像头的多目标追踪方法，其特征在于，包括：
获取若干摄像头拍摄到的视频帧；
确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标；
基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹；
其中，所述确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，具体为：
确定所述重叠视觉空间区域上由不同摄像头在同一拍摄时间下拍摄到的不同运动目标的特征信息；
确定所述不同运动目标的特征信息之间的第一余弦距离；
判断所述第一余弦距离是否满足目标预设条件，若是则判定所述不同运动目标均为同一目标，以得到相应的第一类目标；
其中，所述判断所述第一余弦距离是否满足目标预设条件，具体为：
将不同所述摄像头在所述同一拍摄时间下拍摄到的各组所述不同运动目标对应的所述第一余弦距离保存至第一预设距离矩阵；其中，所述第一余弦距离在所述预设距离矩阵中的存储位置为基于所述第一余弦距离对应的运动目标的标识号确定的位置；
分别判断所述第一预设距离矩阵中任意两个不同所述摄像头之间的所述第一余弦距离是否满足第一预设条件和第二预设条件；所述第一预设条件为所述第一余弦距离是否小于第一预设距离阈值，所述第二预设条件为所述第一余弦距离是否为对应的行列数值中的最小值。
2.根据权利要求1所述的跨摄像头的多目标追踪方法，其特征在于，所述基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，包括：
利用历史拍摄时间下已归类目标的特征信息与当前拍摄时间下还未归类目标的特征信息，确定所述已归类目标和所述还未归类目标之间的第二余弦距离；所述还未归类目标包括还未归类的所述去重后剩余目标和所述第二类目标；
利用所述第二余弦距离判断所述还未归类目标中的目标与所述已归类目标中的目标是否为同一目标，并基于判断结果对所述还未归类目标进行归类。
3.根据权利要求2所述的跨摄像头的多目标追踪方法，其特征在于，所述利用所述第二余弦距离判断所述还未归类目标中的目标与所述已归类目标中的目标是否为同一目标，包括：
将所述已归类目标和所述还未归类目标之间的所述第二余弦距离存放至第二预设距离矩阵；其中，所述第二余弦距离在所述第二预设距离矩阵中的存储位置为基于所述第二余弦距离对应的所述已归类目标和所述未归类目标的标识号确定的位置；
分别判断所述第二预设距离矩阵中的所述第二余弦距离是否满足第三预设条件和第四预设条件；所述第三预设条件为所述第二余弦距离是否小于第二预设距离阈值，所述第四预设条件为所述第二余弦距离是否为对应的行列数值中的最小值；
若满足所述第三预设条件和所述第四预设条件，则所述还未归类目标中的目标与所述已归类目标中的目标为同一目标，若不满足所述第三预设条件和所述第四预设条件，则所述还未归类目标中的目标与所述已归类目标中的目标不为同一目标。
4.根据权利要求2所述的跨摄像头的多目标追踪方法，其特征在于，所述利用历史拍摄时间下已归类目标的特征信息与当前拍摄时间下还未归类目标的特征信息，确定所述已归类目标和所述还未归类目标之间的第二余弦距离，包括：
分别计算历史拍摄时间下已归类目标的各种特征信息与当前拍摄时间下还未归类目标的各种特征信息之间的余弦距离，以得到相应的多个余弦距离；
从所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
5.根据权利要求4所述的跨摄像头的多目标追踪方法，其特征在于，所述分别计算历史拍摄时间下已归类目标的各种特征信息与当前拍摄时间下还未归类目标的各种特征信息之间的余弦距离，以得到相应的多个余弦距离，包括：
将不同所述摄像头对应的历史拍摄时间下所述已归类目标的各种特征信息存放至第一特征矩阵中，并将不同所述摄像头对应的当前拍摄时间下所述还未归类目标的各种特征信息存放至第二特征矩阵中；
利用所述第一特征矩阵和所述第二特征矩阵进行余弦距离运算，得到保存有不同所述摄像头历史拍摄时间下所述已归类目标的各种特征信息和所述当前拍摄时间下还未归类目标的各种特征信息之间的多个余弦距离的第三预设距离矩阵；
相应的，所述从所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离，包括：
从所述第三预设距离矩阵中的所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
6.根据权利要求5所述的跨摄像头的多目标追踪方法，其特征在于，所述将不同所述摄像头对应的历史拍摄时间下已归类目标的各种特征信息存放至第一特征矩阵中，包括：
将不同所述摄像头对应的历史拍摄时间下同一所述已归类目标的各种特征信息进行绑定以得到多个绑定后信息，并将所述绑定后信息依次存放至第一特征矩阵中。
7.根据权利要求6所述的跨摄像头的多目标追踪方法，其特征在于，所述将不同所述摄像头对应的历史拍摄时间下同一所述已归类目标的各种特征信息进行绑定以得到多个绑定后信息，并将所述绑定后信息依次存放至第一特征矩阵中，包括：
将不同所述摄像头对应的历史拍摄时间下同一所述已归类目标的各种特征信息存放至第三特征矩阵，以得到多个所述第三特征矩阵；
整合多个所述第三特征矩阵以得到存放有所述已归类目标的各种特征信息的第一特征矩阵。
8.根据权利要求2所述的跨摄像头的多目标追踪方法，其特征在于，所述利用历史拍摄时间下已归类目标的特征信息与当前拍摄时间下还未归类目标的特征信息，确定所述已归类目标和所述还未归类目标之间的第二余弦距离，包括：
分别计算同一所述摄像头对应的历史拍摄时间下已归类目标的各种特征信息与当前拍摄时间下还未归类目标的各种特征信息之间的余弦距离，以得到每个所述摄像头对应的所述已归类目标的所述各种特征信息与所述还未归类目标的所述各种特征信息之间的多个余弦距离；
从所述多个余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
9.根据权利要求8所述的跨摄像头的多目标追踪方法，其特征在于，所述分别计算同一所述摄像头对应的历史拍摄时间下已归类目标的各种特征信息与当前拍摄时间下还未归类目标的各种特征信息之间的余弦距离，以得到每个所述摄像头对应的所述已归类目标的所述各种特征信息与所述还未归类目标的所述各种特征信息之间的多个余弦距离，包括：
将同一所述摄像头对应的历史拍摄时间下已归类目标的各种特征信息存放至第四特征矩阵中，以得到与所述摄像头的数量对应的若干个所述第四特征矩阵；
将同一所述摄像头对应的当前拍摄时间下还未归类目标的各种特征信息存放至第五特征矩阵中，以得到与所述摄像头的数量对应的若干个所述第五特征矩阵；
利用同一所述摄像头对应的所述第四特征矩阵和所述第五特征矩阵进行余弦距离运算，得到保存有同一所述摄像头对应的历史拍摄时间下所述已归类目标的各种特征信息与当前拍摄时间下所述还未归类目标的各种特征信息之间的余弦距离的第四预设距离矩阵，以得到与所述摄像头的数量对应的若干个所述第四预设距离矩阵；
相应的，所述从所述多个余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离，包括：
从若干个所述第四预设距离矩阵中的多个所述余弦距离中筛选出数值最小的所述余弦距离作为所述已归类目标和所述还未归类目标之间的第二余弦距离。
10.根据权利要求1至9任一项所述的跨摄像头的多目标追踪方法，其特征在于，所述基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，还包括：
监测每个已归类目标对应的已归类时长；
判断所述已归类时长是否大于预设时长阈值，如果是则将相应的所述已归类目标对应的特征信息进行删除。
11.一种跨摄像头的多目标追踪装置，其特征在于，包括：
视频帧获取模块，用于获取若干摄像头拍摄到的视频帧；
去重模块，用于确定所述视频帧中位于不同所述摄像头之间的重叠视觉空间区域的并且拍摄时间相同的第一类目标，并对所述第一类目标进行去重处理，得到去重后剩余目标；
归类模块，用于基于时间先后顺序，分别对在不同拍摄时间下拍摄到的所述去重后剩余目标以及非重叠视觉空间区域上的第二类目标进行归类，以得到每一所述去重后剩余目标以及所述非重叠视觉空间区域上的每一所述第二类目标各自对应的路径轨迹；
其中，所述去重模块，具体用于确定所述重叠视觉空间区域上由不同摄像头在同一拍摄时间下拍摄到的不同运动目标的特征信息；
确定所述不同运动目标的特征信息之间的第一余弦距离；
判断所述第一余弦距离是否满足目标预设条件，若是则判定所述不同运动目标均为同一目标，以得到相应的第一类目标；
其中，所述去重模块，具体还用于将不同所述摄像头在所述同一拍摄时间下拍摄到的各组所述不同运动目标对应的所述第一余弦距离保存至第一预设距离矩阵；其中，所述第一余弦距离在所述预设距离矩阵中的存储位置为基于所述第一余弦距离对应的运动目标的标识号确定的位置；
分别判断所述第一预设距离矩阵中任意两个不同所述摄像头之间的所述第一余弦距离是否满足第一预设条件和第二预设条件；所述第一预设条件为所述第一余弦距离是否小于第一预设距离阈值，所述第二预设条件为所述第一余弦距离是否为对应的行列数值中的最小值。
12.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至10任一项所述的跨摄像头的多目标追踪方法。
13.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的跨摄像头的多目标追踪方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210627280.3A CN114708304B (zh) | 2022-06-06 | 2022-06-06 | 一种跨摄像头的多目标追踪方法、装置、设备及介质 |
| PCT/CN2022/142129 WO2023236514A1 (zh) | 2022-06-06 | 2022-12-26 | 一种跨摄像头的多目标追踪方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210627280.3A CN114708304B (zh) | 2022-06-06 | 2022-06-06 | 一种跨摄像头的多目标追踪方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114708304A CN114708304A (zh) | 2022-07-05 |
| CN114708304B true CN114708304B (zh) | 2022-10-28 |
Family
ID=82177946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210627280.3A Active CN114708304B (zh) | 2022-06-06 | 2022-06-06 | 一种跨摄像头的多目标追踪方法、装置、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114708304B (zh) |
| WO (1) | WO2023236514A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708304B (zh) * | 2022-06-06 | 2022-10-28 | 苏州浪潮智能科技有限公司 | 一种跨摄像头的多目标追踪方法、装置、设备及介质 |
| CN117455957B (zh) * | 2023-12-25 | 2024-04-02 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种基于深度学习的车辆轨迹定位追踪方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MY172143A (en) * | 2012-12-13 | 2019-11-14 | Mimos Berhad | Method for non-static foreground feature extraction and classification |
| CN111709974B (zh) * | 2020-06-22 | 2022-08-02 | 苏宁云计算有限公司 | 基于rgb-d图像的人体跟踪方法及装置 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
| CN113516036B (zh) * | 2021-05-08 | 2024-05-24 | 上海依图网络科技有限公司 | 一种监控区域内目标对象的数量检测方法及装置 |
| CN114708304B (zh) * | 2022-06-06 | 2022-10-28 | 苏州浪潮智能科技有限公司 | 一种跨摄像头的多目标追踪方法、装置、设备及介质 |
-
2022
- 2022-06-06 CN CN202210627280.3A patent/CN114708304B/zh active Active
- 2022-12-26 WO PCT/CN2022/142129 patent/WO2023236514A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN114708304A (zh) | 2022-07-05 |
| WO2023236514A1 (zh) | 2023-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114708304B (zh) | 一种跨摄像头的多目标追踪方法、装置、设备及介质 | |
| Huh et al. | Fighting fake news: Image splice detection via learned self-consistency | |
| Garcia-Fidalgo et al. | Hierarchical place recognition for topological mapping | |
| CN110046266B (zh) | 一种照片的智能管理方法及装置 | |
| CN114155284A (zh) | 基于多目标行人场景的行人跟踪方法、装置、设备及介质 | |
| CN107180056B (zh) | 视频中片段的匹配方法和装置 | |
| CN112309126B (zh) | 车牌检测方法、装置、电子设备及计算机可读存储介质 | |
| CN104464302A (zh) | 一种车牌识别智能纠错方法和系统 | |
| CN112770265B (zh) | 一种行人身份信息获取方法、系统、服务器和存储介质 | |
| TWI497449B (zh) | 非監督式調適方法與應用其之影像自動分類方法 | |
| CN103605666A (zh) | 一种进行广告检测的视频拷贝检测方法 | |
| CN114743165A (zh) | 车辆轨迹线的确定方法、装置、存储介质及电子装置 | |
| CN105303449A (zh) | 基于相机指纹特征的社交网络用户的识别方法和系统 | |
| CN104700620A (zh) | 一种基于交通卡口的套牌车辆识别方法和装置 | |
| CN115422479A (zh) | 轨迹关联方法、装置、电子设备及机器可读存储介质 | |
| Hou et al. | Use of roadway scene semantic information and geometry-preserving landmark pairs to improve visual place recognition in changing environments | |
| CN110619255B (zh) | 一种目标检测方法及其装置 | |
| CN112446361A (zh) | 一种训练数据的清洗方法及设备 | |
| KR102426594B1 (ko) | 크라우드소싱 환경에서 객체의 위치를 추정하는 시스템 및 방법 | |
| CN115830342A (zh) | 检测框的确定方法、装置、存储介质及电子装置 | |
| CN111143626B (zh) | 团伙识别方法、装置、设备及计算机可读存储介质 | |
| CN113673583A (zh) | 一种图像识别方法、识别网络的训练方法及相关装置 | |
| CN112825145B (zh) | 人体朝向检测方法、装置、电子设备和计算机存储介质 | |
| CN109740518B (zh) | 一种视频中对象的确定方法及装置 | |
| CN113592901A (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |