CN116740149A - 摄像头跟踪方法、装置及存储介质 - Google Patents
摄像头跟踪方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116740149A CN116740149A CN202310645225.1A CN202310645225A CN116740149A CN 116740149 A CN116740149 A CN 116740149A CN 202310645225 A CN202310645225 A CN 202310645225A CN 116740149 A CN116740149 A CN 116740149A
- Authority
- CN
- China
- Prior art keywords
- camera
- tracking
- tracking object
- detection frame
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 151
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种摄像头跟踪方法、装置及存储介质，涉及目标跟踪技术领域。该方法包括：通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像；从至少一个摄像头采集的当前帧图像中提取至少一个跟踪对象的特征信息；基于至少一个跟踪对象的特征信息，从至少一个摄像头采集的当前帧图像中检测跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框；根据至少一个摄像头的空间约束信息和至少一个跟踪对象对应的检测框在图像中的位置信息，计算至少一个跟踪对象的三维空间坐标信息；根据至少一个跟踪对象的三维空间坐标信息和至少一个跟踪对象的历史轨迹信息，确定至少一个跟踪对象的运动轨迹。
Description
技术领域
本申请涉及目标跟踪领域，尤其涉及一种摄像头跟踪方法、装置及存储介质。
背景技术
随着计算机技术的发展，多目标跟踪已经成为计算机视觉领域的趋势。
现有技术中针对多摄像机多目标的跟踪方法主要有两种。一种是基于摄像机视图，来进行多摄像机多目标的跟踪。另一种是基于时空约束，通过目标在多个角度的视图中的图像坐标计算其三维空间位置，再进行目标轨迹的预聚类和目标轨迹匹配等，来进行多摄像机多目标的跟踪。
然而，无论是基于摄像机视图进行多摄像机多目标的跟踪，还是基于时空约束进行多摄像机多目标的跟踪，都会产生因为目标间的遮挡和目标模糊的外观导致目标的错误检测和漏检，或者在多个摄像机视图中不存在重叠区域时，无法解决目标重识别和轨迹匹配的问题。如此，现有的多摄像机多目标的跟踪方法在进行多摄像头多目标跟踪时的准确率较低。
发明内容
本申请提供一种摄像头跟踪方法、装置及存储介质，能够解决多摄像头多目标跟踪时的准确率较低的问题。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种摄像头跟踪方法，该方法包括：通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像，每个摄像头对应至少一个跟踪对象中的一个或多个跟踪对象；在至少一个跟踪对象进入至少一个摄像头的拍摄区域的情况下，从至少一个摄像头采集的当前帧图像中提取至少一个跟踪对象的特征信息；在至少一个跟踪对象离开至少一个摄像头拍摄区域的情况下，基于至少一个跟踪对象的特征信息，从至少一个摄像头采集的当前帧图像中检测跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框；根据至少一个摄像头的空间约束信息和至少一个跟踪对象对应的检测框在图像中的位置信息，计算至少一个跟踪对象的三维空间坐标信息；根据至少一个跟踪对象的三维空间坐标信息和至少一个跟踪对象的历史轨迹信息，确定至少一个跟踪对象的运动轨迹。
基于上述技术方案，本申请实施例提供的摄像头跟踪方法，可以通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像，然后根据该至少一个跟踪对象的特征信息，从至少一个摄像头采集的当前帧图像中检测出跟踪对象，并以检测框的形式标记出来。再根据摄像头的空间约束信息和检测框在图像中的位置信息，计算出跟踪对象的三维空间坐标信息。最后通过跟踪对象的三维空间坐标信息和历史轨迹信息，确定出跟踪对象的运动轨迹。如此，可以通过检测包含跟踪对象的图像，将跟踪对象在图像中的位置转换到三维空间坐标进行跟踪，避免了跟踪对象跟踪错误或跟踪对象丢失的情况，提高了多摄像头多跟踪对象的情况下跟踪的准确性。
在第一方面的第一种可能的实现方式中，在上述通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像之前，方法还包括：配置至少一个摄像头的畸变参数和空间约束信息，畸变参数用于矫正至少一个摄像头采集的图像。
在第一方面的第二种可能的实现方式中，上述空间约束信息包括以下至少之一：摄像头拍摄主平面的单应性变换矩阵；摄像头拍摄区域的目标出入边界；摄像头间的空间拓扑关系。
在第一方面的第三种可能的实现方式中，在上述计算至少一个跟踪对象的三维空间坐标信息之后，方法还包括：根据至少一个跟踪对象的三维空间坐标信息和至少一个跟踪对象的历史轨迹信息，预测至少一个跟踪对象的下一个位置；对预测的跟踪对象的下一个位置与检测框进行匹配，对于与预测的跟踪对象的下一个位置不匹配的第一检测框，判断第一检测框中的跟踪对象是否处于目标出入边界对应的区域；在跟踪对象不处于目标出入边界对应的区域中，且跟踪对象的上一个位置被遮挡的情况下，采用被遮挡的目标位置，重新预测跟踪对象的下一个位置；或者，在跟踪对象处于目标出入边界对应的区域中的情况下，确定跟踪对象离开拍摄区域。
在第一方面的第四种可能的实现方式中，在上述从至少一个摄像头采集的当前帧图像中检测跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框之后，方法还包括：在目标检测框中的跟踪对象的置信度大于或等于第一阈值的情况下，将目标检测框确定为高分检测框；或者在目标检测框中的跟踪对象的置信度小于第一阈值的情况下，将目标检测框确定为低分检测框；在预测跟踪对象的下一个位置之后，对于与预测的跟踪对象的下一个位置不匹配的高分检测框，基于高分检测框对应的跟踪对象的特征信息和空间约束信息，进行跟踪对象的重识别，确定出跟踪对象的运动轨迹。
第二方面，本申请提供一种摄像头跟踪装置，该装置包括：图像采集模块、特征提取模块、检测模块、空间位置计算模块和轨迹匹配模块。图像采集模块，用于通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像，每个摄像头对应岁数至少一个跟踪对象中的一个或多个跟踪对象。特征提取模块，用于在至少一个跟踪对象进入至少一个摄像头的拍摄区域的情况下，从图像采集模块通过至少一个摄像头采集的当前帧图像中提取至少一个跟踪对象的特征信息。检测模块，用于在至少一个跟踪对象离开至少一个摄像头拍摄区域的情况下，基于特征提取模块提取的至少一个跟踪对象的特征信息，从至少一个摄像头采集的当前帧图像中检测跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框。空间位置计算模块，用于根据至少一个摄像头的空间约束信息和检测模块检测到的至少一个跟踪对象的检测框在图像中的位置信息，计算至少一个跟踪对象的三位空间坐标的信息。轨迹匹配模块，用于根据至少一个跟踪对象的三维空间坐标信息和至少一个跟踪对象的历史轨迹信息，确定至少一个跟踪对象的运动轨迹。
在第二方面的第一种可能的实现方式中，装置还包括：配置模块；配置模块，用于在图像采集模块通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像之前，配置至少一个摄像头的畸变参数和空间约束信息，畸变参数用于图像采集模块矫正至少一个摄像头采集的图像。
在第二方面的第二种可能的实现方式中，上述空间约束信息包括以下至少之一：摄像头拍摄主平面的单应性变换矩阵；摄像头拍摄区域的目标出入边界；摄像头间的空间拓扑关系。
在第二方面的第三种可能的实现方式中，装置还包括：预测模块和确定模块；预测模块，用于空间位置计算模块计算至少一个跟踪对象的三维空间坐标信息之后，根据至少一个跟踪对象的三维空间坐标信息和至少一个跟踪对象的历史轨迹信息，预测至少一个跟踪对象的下一个位置。上述确定模块，还用于对预测模块预测的跟踪对象的下一个位置与检测框进行匹配，对于与预测的跟踪对象的下一个位置不匹配的第一检测框，判断第一检测框中的跟踪对象是否处于目标出入边界对应的区域。上述确定模块，还用于在跟踪对象不处于目标出入边界对应的区域中，且跟踪对象的上一个位置被遮挡的情况下，采用被遮挡的目标位置，重新预测跟踪对象的下一个位置；或者，在跟踪对象处于目标出入边界对应的区域中的情况下，确定跟踪对象离开拍摄区域。
在第二方面的第四种可能的实现方式中，装置还包括：确定模块；确定模块，用于在检测模块从至少一个摄像头采集的当前帧图像中检测出跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框之后，在目标检测框中的跟踪对象的置信度大于或等于第一阈值的情况下，将目标检测框确定为高分检测框；或者在目标检测框中的跟踪对象的置信度小于第一阈值的情况下，将目标检测框确定为低分检测框；在预测跟踪对象的下一个位置之后，对于与预测的跟踪对象的下一个位置不匹配的高分检测框，基于高分检测框对应的跟踪对象的特征信息和空间约束信息，进行跟踪对象的重识别，确定出跟踪对象的运动轨迹。
第三方面，本申请提供了一种摄像头跟踪装置，该装置包括：处理器和通信接口；通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的摄像头跟踪方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端上运行时，使得终端执行如第一方面和第一方面的任一种可能的实现方式中描述的摄像头跟踪方法。
第五方面，本申请实施例提供一种包含指令的计算机程序产品，当计算机程序产品在摄像头跟踪装置上运行时，使得摄像头跟踪装置执行如第一方面和第一方面的任一种可能的实现方式中所描述的摄像头跟踪方法。
第六方面，本申请实施例提供一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的摄像头跟踪方法。
具体的，本申请实施例中提供的芯片还包括存储器，用于存储计算机程序或指令。
附图说明
图1为本申请实施例提供的一种摄像头跟踪方法的流程图之一；
图2为本申请实施例提供的一种摄像头跟踪方法的流程图之二；
图3为本申请实施例提供的一种摄像头跟踪方法的实例示意图之一；
图4为本申请实施例提供的一种摄像头跟踪方法的流程图之三；
图5为本申请实施例提供的一种摄像头跟踪方法的实例示意图之二；
图6为本申请实施例提供的一种摄像头跟踪装置的结构示意图；
图7为本申请实施例提供的另一种摄像头跟踪装置的结构示意图；
图8为本申请实施例提供的一种芯片的结构示意图。
具体实施方式
下面结合附图对本申请实施例提供的摄像头跟踪方法、装置及存储介质进行详细地描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。
此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
多目标跟踪已经成为计算机视觉领域的趋势问题之一。其中，由于多摄像机多目标跟踪需要解决拥挤场景中的目标检测、目标遮挡、小目标检测、目标关联、相似外观的区分、ID切换和重识别等问题，成为了一个具有挑战性的任务。
现有技术中通常通过深度学习的变换器(Transformer)网络模型、孪生神经网络(Siamese)、卡尔曼滤波、图卷积神经网络、IoU匹配等方法，来实现多摄像机的多目标跟踪。
然而，对于基于摄像机视图进行多摄像机多目标的跟踪方法，容易因为目标间的遮挡和/或目标模糊的外观，导致目标错误检测或目标漏检，进一步导致目标ID切换和目标关联错误的情况。对于基于时空约束多摄像机多目标的跟踪方法，由于其是通过目标在多个角度的视图中，基于图像坐标计算其三维空间位置，再进行目标轨迹的预聚类和目标轨迹匹配，因此未能很好解决跨越无重叠区域的不同摄像机视图的目标重识别和轨迹匹配问题。如此，现有的多摄像机多目标的跟踪方法在进行多摄像头多目标跟踪时的准确率较低。
为了解决现有技术中，多摄像头多目标跟踪时的准确率较低的问题，本申请提供了一种摄像头跟踪方法，该方法包括：通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像，每个摄像头对应至少一个跟踪对象中的一个或多个跟踪对象；在至少一个跟踪对象进入至少一个摄像头的拍摄区域的情况下，从至少一个摄像头采集的当前帧图像中提取至少一个跟踪对象的特征信息；在至少一个跟踪对象离开至少一个摄像头拍摄区域的情况下，基于至少一个跟踪对象的特征信息，从至少一个摄像头采集的当前帧图像中检测跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框；根据至少一个摄像头的空间约束信息和至少一个跟踪对象对应的检测框在图像中的位置信息，计算至少一个跟踪对象的三维空间坐标信息；根据至少一个跟踪对象的三维空间坐标信息和至少一个跟踪对象的历史轨迹信息，确定至少一个跟踪对象的运动轨迹。
基于上述技术方案，本申请实施例提供的摄像头跟踪方法，可以通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像，然后根据该至少一个跟踪对象的特征信息，从至少一个摄像头采集的当前帧图像中检测出跟踪对象，并以检测框的形式标记出来。再根据摄像头的空间约束信息和检测框在图像中的位置信息，计算出跟踪对象的三维空间坐标信息。最后通过跟踪对象的三维空间坐标信息和历史轨迹信息，确定出跟踪对象的运动轨迹。如此，可以通过检测包含跟踪对象的图像，将跟踪对象在图像中的位置转换到三维空间坐标进行跟踪，避免了跟踪对象跟踪错误或跟踪对象丢失的情况，提高了多摄像头多跟踪对象的情况下，跟踪的准确性。
本申请摄像头跟踪方法应用于通过部署的多个摄像头对多个目标进行实时跟踪的场景。
如图1所示，为本申请实施例提供的摄像头跟踪方法的流程图，该方法包括以下步骤S101至步骤S105：
S101、通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像。
其中，每个摄像头对应上述至少一个跟踪对象中的一个或多个跟踪对象。
本申请实施例可以通过至少一台摄像机对跟踪对象进行跟踪，该至少一台摄像机可以构成监控网络，包括：监控区域入口处的多角度拍摄同一地点的至少一台摄像机；部署在监控区域监控点的至少一台摄像机；用于分析处理的服务器集群；用于存储跟踪对象特征信息、跟踪对象的运动轨迹、历史轨迹信息等的存储设备；用于连接服务器、存储设备、摄像机的网络；以及相关安全设备等。
可选地，上述至少一个摄像头可以为分布在特定区域的各个地方的摄像头，以组成监控网络；也可以为同一设备上的多个摄像头；还可以为其他任何形式的多个摄像头。本申请实施例不作具体限定。
可选地，上述至少一个跟踪对象可以为摄像头拍摄区域中，可以被拍摄到的至少一个跟踪对象。例如，跟踪对象可以为监控区域内的多个行人。
本申请实施例中，上述至少一个跟踪对象为运动过程中的，非静止的对象。也就是说，跟踪对象的位置随时而发生变化。
可以理解，上述至少一个摄像头中的每个摄像头可以一次拍摄到至少一个跟踪对象。
本申请实施例中，可以在跟踪对象进入摄像头拍摄区域时，通过上述至少一个摄像头，对每个跟踪对象图像采集。
可选地，结合图1，如图2所示，在上述步骤S101之前，本申请实施例提供的摄像头跟踪方法还可以包括下述的步骤S106。
S106、配置至少一个摄像头的畸变参数和空间约束信息，畸变参数用于矫正至少一个摄像头采集的图像。
本申请实施例中，在采集图像之前，可以对上述至少一个摄像头进行初始化处理，即设置该至少一个摄像头的畸变参数和空间约束信息。
可选地，摄像头的畸变参数可以包括径向畸变参数和切向畸变参数。
示例性地，摄像头可以通过标定，得到径向畸变参数[k1，k2，k3]和切向畸变参数[p1，p2]。
可选地，可以通过公式(1)和公式(2)对图像进行径向畸变矫正。
其中，xcorrected表示畸变点在成像仪上的位置的横坐标，ycorrected表示畸变点在成像仪上的位置的纵坐标，k1，k2，k3为摄像头通过标定，得到的径向畸变参数，r为成像仪光轴中心向边缘移动的距离。
可选地，还可以通过公式(3)和公式(4)对图像进行切向畸变矫正。
其中，p1，p2为摄像头通过标定，得到的切向畸变参数。
可以理解，摄像头的畸变参数可以矫正由于摄像头畸变引起的图像的失真，以达到更好更真实的显示效果，从而便于后续的三维空间位置的计算。
可选地，可以选用满足轨迹匹配精度要求的摄像头采集的图像，来进行多摄像头多跟踪对象的跟踪。示例性地，可以采用具有针孔相机模型的摄像头。
如此，由于可以通过预先对摄像头的畸变参数和空间约束信息进行配置，因此可以基于摄像头的畸变参数，对摄像头采集的图像进行矫正，得到更加精准的图像，方便后续基于采集的精准的图像和空间约束信息，计算三维空间位置信息。
可选地，上述空间约束信息可以包括以下至少之一：所述摄像头拍摄主平面的单应性变换矩阵；所述摄像头拍摄区域的目标出入边界；所述摄像头间的空间拓扑关系。
本申请实施例中，上述摄像头拍摄主平面的单应性变换矩阵可以基于图像中，同名点的三维空间坐标和同名点的图像坐标进行计算，将图像中的坐标与三维空间坐标进行对应。
可选地，同名点的选取可以由人为设置的，也可以为默认的。本申请实施例不作具体限定。
示例性地，可以选取图像边界上均匀分布的四个点为单应性变换矩阵计算所需的四个同名点。
示例性地，摄像头拍摄主平面的单应性变换矩阵可以通过图像中四个同名点的地理坐标和对应图像坐标进行计算，需要设置摄像机中四个同名点的图像坐标(xl1，yl1)，(xl2，yl2)，(xl3，yl3)，(xl4，yl4)和三维空间坐标(xr1，yr1)，(xr2，yr2)，(xr3，yr3)，(xr4，yr4)。
需要说明的是，摄像头拍摄主平面的单应性变换矩阵可以描述两个图像之间的变换，进行图像的拼接，是可以将二维转换至三维的过程。
本申请实施例中，对每个摄像头拍摄区域的目标出入边界的设置可以为：将摄像头采集的图像中具有特定形状的物品，标记为跟踪对象可以出入的边界。
示例性地，可以将摄像头采集的图像中矩形的物品，标记为目标可以出入的边界，如门，电梯区域等。
本申请实施例中，摄像头间的空间拓扑关系可以指示摄像头所拍摄的区域间重叠或空间相邻的摄像头视图。
可以理解，基于摄像头间的空间拓扑关系，对跟踪对象的跟踪可以从一个摄像头视图跨越到另一个摄像头视图。也就是说，当跟踪对象从一个摄像头的拍摄区域中消失时，可以基于摄像头间的空间拓扑关系，预测该跟踪对象会出现的下一个摄像头的拍摄区域。
示例性地，可以采用三元组的方式来描述摄像头所拍摄的区域间目标出入的连通性与亲和性，用【Cm，Cn，p】。其中C可以表示摄像头的编号，p可以表示摄像头Cm和Cn间的亲和性，p取值在0到1之间，0表示Cm不能到Cn，1表示Cm只能到Cn。
如此，由于可以预先设置至少一个摄像头的摄像头拍摄主平面的单应性变换矩阵、摄像头拍摄区域的目标出入边界和摄像头间的空间拓扑关系，因此可以在后续的计算中，基于摄像头的空间约束信息，对跟踪目标的三维空间坐标信息进行计算，实现对跟踪目标的精准跟踪。
S102、在至少一个跟踪对象进入至少一个摄像头的拍摄区域的情况下，从至少一个摄像头采集的当前帧图像中提取至少一个跟踪对象的特征信息。
本申请实施例中，上述至少一个摄像头可以持续对图像进行采集，以不断获取当前帧图像。
可选地，可以通过目标检测算法检测出该至少一个摄像头采集的当前帧图像中的至少一个跟踪对象。
示例性地，可以通过YOLO等目标检测算法对至少一个跟踪对象进行检测。
本申请实施例中，可以在上述至少一个跟踪对象进入至少一个摄像头的拍摄区域的情况下，对该至少一个跟踪对象进行多角度的图像采集。
示例性地，如图3所示，在跟踪对象30进入至少一个摄像头的拍摄区域的情况下，可以通过摄像头31、摄像头32、摄像头33和摄像头34对跟踪对象30进行多角度的图像采集。
可选地，可以通过时间和空间位置的匹配，获取每个跟踪对象的多角度图像。
可选地，可以对采集的至少一个跟踪对象的多角度图像进行特征提取。
可选地，可以用提取跟踪对象的全局特征，还可以提取跟踪对象的局部特征。其中，局部特征可以作为全部特征的补充。
本申请实施例中，可以将特征图划分为多个区域，包括从先验知识定位局部区域和预定义的条块，通过注意力机制提取感兴趣局部区域的特征，并对关键区域采用对应的模型进行特征提取和匹配。
示例性地，以行人跟踪为例，人脸部位可以为关键区域之一。
可选地，特征提取可以采用多重粒度深度学习模型，该模型是多分支网络架构，分为全局分支和多个本地分支，在模型中的每个局部分支中，将全局合并的特征图分成不同数量的局部区域，包括关键点划分和水平空间条划分，独立学习局部特征表示。
可选地，在提取跟踪对象的特征信息之后，可以赋予该跟踪对象一个唯一的ID，作为该跟踪对象的标识信息。
S103、在至少一个跟踪对象离开至少一个摄像头拍摄区域的情况下，基于至少一个跟踪对象的特征信息，从至少一个摄像头采集的当前帧图像中检测跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框。
本申请实施例中，可以从至少一个摄像头采集的当前帧图像中检测出至少一个跟踪对象，并以检测框的形式进行标记。
示例性地，可以通过目标检测模型YOLOv7，进行图像中的跟踪对象的检测，得到多个可能包括跟踪对象的检测框。
可选地，检测框可以为矩形检测框，也可以为圆形检测框，还可以为任一形式的检测框。本申请实施例不作具体限定。
本申请实施例中，一个跟踪对象可以对应一个检测框。
可选地，可以采用一个较低的置信度阈值(例如小于预设数值的置信度)，对至少一个摄像头采集的当前帧图像进行跟踪对象的检测，以尽可能的检测出所有的跟踪对象。
S104、根据至少一个摄像头的空间约束信息和至少一个跟踪对象对应的检测框在图像中的位置信息，计算至少一个跟踪对象的三维空间坐标信息。
本申请实施例中，上述至少一个跟踪对象的三维空间坐标信息可以指示该至少一个跟踪对象在真实空间下的位置信息。
可选地，可以通过检测框来定位检测目标的三维空间坐标信息。
示例性地，可以通过检测框的底边中心来定位检测目标的三维空间坐标信息。
可选地，可以基于摄像头拍摄主平面的单应性变换矩阵，通过公式(5)将图像坐标转换为三维空间坐标。
其中，H3×3表示单应性变换矩阵，xr、yr和zr表示三维空间坐标，xl、yl和zl表示图像坐标。
可选地，上述三维空间坐标中zr可以采用摄像头拍摄主平面的高程。
S105、根据至少一个跟踪对象的三维空间坐标信息和至少一个跟踪对象的历史轨迹信息，确定至少一个跟踪对象的运动轨迹。
本申请实施例中，上述至少一个跟踪对象的历史轨迹信息可以为该至少一个跟踪对象已经确定的轨迹信息。
可选地，对于确定了运动轨迹的跟踪对象，可以对包含该跟踪对象的下一帧图像重复执行上述步骤S101至步骤S105，以获得该跟踪对象最新的运动轨迹的轨迹信息。
本申请实施例提供一种摄像头跟踪方法，可以通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像，然后根据该至少一个跟踪对象的特征信息，从至少一个摄像头采集的当前帧图像中检测出跟踪对象，并以检测框的形式标记出来。再根据摄像头的空间约束信息和检测框在图像中的位置信息，计算出跟踪对象的三维空间坐标信息。最后通过跟踪对象的三维空间坐标信息和历史轨迹信息，确定出跟踪对象的运动轨迹。如此，可以通过检测包含跟踪对象的图像，将跟踪对象在图像中的位置转换到三维空间坐标进行跟踪，避免了跟踪对象跟踪错误或跟踪对象丢失的情况，提高了多摄像头多跟踪对象的情况下，跟踪的准确性。
可选地，结合图1，如图4所示，在上述步骤S104之后，本申请实施例提供的摄像头跟踪方法还可以包括下述的步骤S107至步骤S109B。
S107、根据至少一个跟踪对象的三维空间坐标信息和至少一个跟踪对象的历史轨迹信息，预测至少一个跟踪对象的下一个位置。
可选地，可以基于已经确定的每个跟踪对象的历史轨迹和三维空间坐标信息，预测该跟踪对象的下一个位置。
示例性地，通过卡尔曼滤波算法，可以对每个跟踪对象的轨迹在当前帧中的新位置进行预测。
S108、对预测的跟踪对象的下一个位置与检测框进行匹配，对于与预测的跟踪对象的下一个位置不匹配的第一检测框，判断第一检测框中的跟踪对象是否处于目标出入边界对应的区域。
本申请实施例中，可以将预测的至少一个跟踪对象的下一个位置与检测框进行匹配，以得到至少一个跟踪对象的运动轨迹。
示例性地，通过匈牙利算法，基于检测框中的跟踪对象和预测位置中的跟踪对象的相似度进行匹配，并通过测量在特定数据集中检测物体准确度的标准(Intersectionover Union，IoU)计算其相似性，将大于或等于特定阈值的进行匹配，以得到至少一个跟踪对象的运动轨迹。
可选地，对于与预测的跟踪对象的下一个位置不匹配的第一检测框，可以判断第一检测框中的跟踪对象是否处于目标出入边界对应的区域，来确定该跟踪对象的运动轨迹。
S109、判断跟踪对象是否处于目标出入边界对应的区域中。
S109A、在跟踪对象不处于目标出入边界对应的区域中，且跟踪对象的上一个位置被遮挡的情况下，采用被遮挡的目标位置，重新预测跟踪对象的下一个位置。
S109B、在跟踪对象处于目标出入边界对应的区域中的情况下，确定跟踪对象离开拍摄区域。
需要说明的时，上述步骤S109A和S109B的执行关系为“或”的关系。
可选地，跟踪对象被遮挡可以理解为：在上述至少一个摄像头采集的当前帧图像中，由于该跟踪对象的至少一部分被其他物体遮挡，而无法在采集的当前帧图像中，检测到完整的跟踪对象。
示例性地，如图5所示，摄像头50在进行图像采集时，跟踪对象51被行人52遮挡。
本申请实施例中，若跟踪对象不处于目标出入边界对应的区域中，且跟踪对象的上一个位置被遮挡，则可以采用被遮挡的跟踪对象的位置，重新预测该跟踪对象的下一个位置，再次进行匹配。
示例性地，可以采用被遮挡的跟踪对象的位置，通过卡尔曼算法，重新预测该跟踪对象的下一个位置。
本申请实施例中，若目标处于目标出入边界对应的区域中，则可以将该跟踪对象标记为离开拍摄区域，不再对该跟踪对象进行跟踪。
如此，由于可以基于跟踪对象的三维空间坐标信息和历史轨迹信息，预测该跟踪对象的下一个位置，并将预测得到的位置与检测框进行匹配，在预测得到的位置与检测框不匹配的情况下，通过跟踪对象是否处于目标出入边界对应的区域，判断该跟踪目标是否已经离开拍摄区域。因此可以准确的获得跟踪对象的运动轨迹，并在其离开拍摄区域后，不再进行跟踪，从而可以提高多摄像头下，对多个跟踪对象进行跟踪的准确性。
可选地，在上述步骤S103之后，本申请实施例提供的摄像头跟踪方法还可以包括下述的步骤S110和步骤S111。
S110、在目标检测框中的跟踪对象的置信度大于或等于第一阈值的情况下，将所述目标检测框确定为高分检测框；或者在所述目标检测框中的跟踪对象的置信度小于所述第一阈值的情况下，将所述目标检测框确定为低分检测框。
本申请实施例中，可以将检测得到的检测框，按照检测目标时的置信度，将置信度大于或等于第一阈值的确定为高分检测框，并将置信度小于第一阈值的确定为低分检测框。
可选地，置信度的值可以由检测目标时，被检测的物体与目标的特征信息的相似度和被检测物体被遮挡的面积确定。
可以理解，被检测的物体与目标的特征信息的相似度，被检测物体被遮挡的面积越小，检测框的置信度越高，检测的准确性越高。
S111、在预测跟踪对象的下一个位置之后，对于与预测的跟踪对象的下一个位置不匹配的高分检测框，基于高分检测框对应的跟踪对象的特征信息和空间约束信息，进行跟踪对象的重识别，确定出跟踪对象的运动轨迹。
本申请实施例中，对于未能与上述至少一个跟踪对象的预测的下一个位置匹配的高分检测框，基于其所对应的跟踪对象的特征信息、三维空间坐标信息和空间约束信息，进行三维空间位置的分析，判断该跟踪对象是否处于目标出入边界对应的区域中。
若上述高分检测框未能与至少一个跟踪对象的预测的下一个位置匹配，且不处于目标出入边界对应的区域中，则进行跟踪对象的多特征匹配，即通过多重粒度深度学习模型在上述目标出入边界对应的区域处，对跟踪对象的特征信息进行检索，将检测到的跟踪对象的特征信息及未出现在其他摄像头的拍摄区域的跟踪对象的历史轨迹进行匹配，并结合多摄像头间空间拓扑的连通性和亲和性进行分析，采用匈牙利算法根据相似度匹配，相似度采用IoU的距离进行计算，以获得上述高分检测框对应的跟踪对象的运动轨迹。
若上述高分检测框未能与至少一个跟踪对象的预测的下一个位置匹配，且处于目标出入边界对应的区域中，则在上述至少一个跟踪对象的历史目标轨迹队列中再次进行匹配，采用匈牙利算法根据相似度进行匹配，并采用IoU的距离进行计算相似性，在匹配成功的情况下，将该高分检测框的位置信息记录为该跟踪对象的新位置，从而获得上述高分检测框对应的跟踪对象的运动轨迹。
可选地，对于没有匹配到高分检测框的至少一个跟踪对象的历史轨迹，还可以采用低分检测框与未匹配成功的历史轨迹再次匹配，以恢复对低分检测框中的跟踪对象的跟踪，避免跟踪对象由于遮挡、运动模糊或大小变化，而导致的跟踪对象丢失或检测错误的问题。
本申请实施例中，对于已经与高分检测框匹配的至少一个跟踪对象的历史轨迹，可以进行下一帧图像的跟踪对象的跟踪。
如此，由于可以将检测框按照置信度分为高分检测框和低分检测框，并在高分检测框与预测的跟踪对象的下一个位置不匹配的情况下，基于高分检测框对应的跟踪对象的特征信息和空间约束信息，进行跟踪对象的重识别，因此可以更加准确的确定出跟踪对象的下一个位置，从而可以提高跟踪时的准确度。
本申请实施例可以根据上述方法示例对摄像头跟踪装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
如图6所示，为本申请实施例提供的一种摄像头跟踪装置的结构示意图，该装置包括：图像采集模块61、特征提取模块62、检测模块63、空间位置计算模块64和轨迹匹配模块65。
图像采集模块61，用于通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像，每个摄像头对应岁数至少一个跟踪对象中的一个或多个跟踪对象；特征提取模块62，用于在至少一个跟踪对象进入至少一个摄像头的拍摄区域的情况下，从图像采集模块61通过至少一个摄像头采集的当前帧图像中提取至少一个跟踪对象的特征信息；检测模块63，用于在至少一个跟踪对象离开至少一个摄像头拍摄区域的情况下，基于特征提取模块62提取的至少一个跟踪对象的特征信息，从至少一个摄像头采集的当前帧图像中检测跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框；空间位置计算模块64，用于根据至少一个摄像头的空间约束信息和检测模块63检测到的至少一个跟踪对象的检测框在图像中的位置信息，计算至少一个跟踪对象的三位空间坐标的信息；轨迹匹配模块65，用于根据至少一个跟踪对象的三维空间坐标信息和至少一个跟踪对象的历史轨迹信息，确定至少一个跟踪对象的运动轨迹。
在一种可能的实现方式中，上述装置还包括：配置模块；上述配置模块，用于在图像采集模块61通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像之前，配置至少一个摄像头的畸变参数和空间约束信息，畸变参数用于图像采集模块61矫正至少一个摄像头采集的图像。
在一种可能的实现方式中，空间约束信息包括以下至少之一：摄像头拍摄主平面的单应性变换矩阵；摄像头拍摄区域的目标出入边界；摄像头间的空间拓扑关系。
在一种可能的实现方式中，上述装置还包括：预测模块和确定模块；上述预测模块，用于空间位置计算模块64计算至少一个跟踪对象的三维空间坐标信息之后，根据至少一个跟踪对象的三维空间坐标信息和至少一个跟踪对象的历史轨迹信息，预测至少一个跟踪对象的下一个位置；
上述确定模块，还用于对预测模块预测的跟踪对象的下一个位置与检测框进行匹配，对于与预测的跟踪对象的下一个位置不匹配的第一检测框，判断第一检测框中的跟踪对象是否处于目标出入边界对应的区域；
上述确定模块，还用于在跟踪对象不处于目标出入边界对应的区域中，且跟踪对象的上一个位置被遮挡的情况下，采用被遮挡的目标位置，重新预测跟踪对象的下一个位置；或者，在跟踪对象处于目标出入边界对应的区域中的情况下，确定跟踪对象离开拍摄区域。
在一种可能的实现方式中，上述装置还包括：确定模块；上述确定模块，用于检测模块63从至少一个摄像头采集的当前帧图像中检测出跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框之后，在目标检测框中的跟踪对象的置信度大于或等于第一阈值的情况下，将目标检测框确定为高分检测框；或者在目标检测框中的跟踪对象的置信度小于第一阈值的情况下，将目标检测框确定为低分检测框；在预测跟踪对象的下一个位置之后，对于与预测的跟踪对象的下一个位置不匹配的高分检测框，基于高分检测框对应的跟踪对象的特征信息和空间约束信息，进行跟踪对象的重识别，确定出跟踪对象的运动轨迹。
在通过硬件实现时，本申请实施例中的图像采集模块61、特征提取模块62、检测模块63、空间位置计算模块64和轨迹匹配模块65可以集成在处理器上。具体实现方式如图7所示。
图7示出了上述实施例中所涉及的摄像头跟踪装置的又一种可能的结构示意图。该摄像头跟踪装置包括：处理器302和通信接口303。处理器302用于对摄像头跟踪装置的动作进行控制管理，例如，执行上述图像采集模块61、特征提取模块62、检测模块63、空间位置计算模块64和轨迹匹配模块65执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信接口303用于支持摄像头跟踪装置与其他网络实体的通信。摄像头跟踪装置还可以包括存储器301和总线304，存储器301用于存储摄像头跟踪装置的程序代码和数据。
其中，存储器301可以是摄像头跟踪装置中的存储器等，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。
上述处理器302可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线304可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
图8是本申请实施例提供的芯片170的结构示意图。芯片170包括一个或两个以上(包括两个)处理器1710和通信接口1730。
可选的，该芯片170还包括存储器1740，存储器1740可以包括只读存储器和随机存取存储器，并向处理器1710提供操作指令和数据。存储器1740的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。
在一些实施方式中，存储器1740存储了如下的元素，执行模块或者数据结构，或者他们的子集，或者他们的扩展集。
在本申请实施例中，通过调用存储器1740存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。
其中，上述处理器1710可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，单元和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，单元和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
存储器1740可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。
总线1720可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线1720可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行上述方法实施例中的摄像头跟踪方法。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得该计算机执行上述方法实施例所示的方法流程中的摄像头跟踪方法。
其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本发明的实施例提供一种包含指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行如上述的摄像头跟踪方法。
由于本发明的实施例中的摄像头跟踪装置、计算机可读存储介质、计算机程序产品可以应用于上述方法，因此，其所能获得的技术效果也可参考上述方法实施例，本发明实施例在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (12)
1.一种摄像头跟踪方法，其特征在于，所述方法包括：
通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像，每个摄像头对应所述至少一个跟踪对象中的一个或多个跟踪对象；
在所述至少一个跟踪对象进入所述至少一个摄像头的拍摄区域的情况下，从所述至少一个摄像头采集的当前帧图像中提取所述至少一个跟踪对象的特征信息；
在所述至少一个跟踪对象离开所述至少一个摄像头拍摄区域的情况下，基于所述至少一个跟踪对象的特征信息，从所述至少一个摄像头采集的当前帧图像中检测所述跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框；
根据所述至少一个摄像头的空间约束信息和所述至少一个跟踪对象对应的检测框在图像中的位置信息，计算所述至少一个跟踪对象的三维空间坐标信息；
根据所述至少一个跟踪对象的三维空间坐标信息和所述至少一个跟踪对象的历史轨迹信息，确定所述至少一个跟踪对象的运动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像之前，所述方法还包括：
配置所述至少一个摄像头的畸变参数和所述空间约束信息，所述畸变参数用于矫正所述至少一个摄像头采集的图像。
3.根据权利要求1或2所述的方法，其特征在于，所述空间约束信息包括以下至少之一：
所述摄像头拍摄主平面的单应性变换矩阵；
所述摄像头拍摄区域的目标出入边界；
所述摄像头间的空间拓扑关系。
4.根据权利要求1所述的方法，其特征在于，所述计算所述至少一个跟踪对象的三维空间坐标信息之后，所述方法还包括：
根据所述至少一个跟踪对象的三维空间坐标信息和所述至少一个跟踪对象的历史轨迹信息，预测所述至少一个跟踪对象的下一个位置；
对预测的所述跟踪对象的下一个位置与所述检测框进行匹配，对于与预测的所述跟踪对象的下一个位置不匹配的第一检测框，判断所述第一检测框中的跟踪对象是否处于所述目标出入边界对应的区域；
在所述跟踪对象不处于所述目标出入边界对应的区域中，且所述跟踪对象的上一个位置被遮挡的情况下，采用被遮挡的目标位置，重新预测所述跟踪对象的下一个位置；或者，在所述跟踪对象处于所述目标出入边界对应的区域中的情况下，确定所述跟踪对象离开所述拍摄区域。
5.根据权利要求1所述的方法，其特征在于，所述从所述至少一个摄像头采集的当前帧图像中检测所述跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框之后，所述方法还包括：
在目标检测框中的跟踪对象的置信度大于或等于第一阈值的情况下，将所述目标检测框确定为高分检测框；或者在所述目标检测框中的跟踪对象的置信度小于所述第一阈值的情况下，将所述目标检测框确定为低分检测框；
在预测所述跟踪对象的下一个位置之后，对于与预测的所述跟踪对象的下一个位置不匹配的高分检测框，基于所述高分检测框对应的跟踪对象的特征信息和所述空间约束信息，进行所述跟踪对象的重识别，确定出所述跟踪对象的运动轨迹。
6.一种摄像头跟踪装置，其特征在于，所述装置包括：图像采集模块、特征提取模块、检测模块、空间位置计算模块和轨迹匹配模块；
所述图像采集模块，用于通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像，每个摄像头对应岁数至少一个跟踪对象中的一个或多个跟踪对象；
所述特征提取模块，用于在所述至少一个跟踪对象进入所述至少一个摄像头的拍摄区域的情况下，从所述图像采集模块通过所述至少一个摄像头采集的当前帧图像中提取所述至少一个跟踪对象的特征信息；
所述检测模块，用于在所述至少一个跟踪对象离开所述至少一个摄像头拍摄区域的情况下，基于所述特征提取模块提取的所述至少一个跟踪对象的特征信息，从所述至少一个摄像头采集的当前帧图像中检测所述跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框；
所述空间位置计算模块，用于根据所述至少一个摄像头的空间约束信息和所述检测模块检测到的所述至少一个跟踪对象的检测框在图像中的位置信息，计算所述至少一个跟踪对象的三位空间坐标的信息；
所述轨迹匹配模块，用于根据所述至少一个跟踪对象的三维空间坐标信息和所述至少一个跟踪对象的历史轨迹信息，确定所述至少一个跟踪对象的运动轨迹。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：配置模块；
所述配置模块，用于在所述图像采集模块通过至少一个摄像头采集至少一个跟踪对象在运动过程中的图像之前，配置所述至少一个摄像头的畸变参数和所述空间约束信息，所述畸变参数用于所述图像采集模块矫正所述至少一个摄像头采集的图像。
8.根据权利要求6或7所述的装置，其特征在于，所述空间约束信息包括以下至少之一：
所述摄像头拍摄主平面的单应性变换矩阵；
所述摄像头拍摄区域的目标出入边界；
所述摄像头间的空间拓扑关系。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：预测模块和确定模块；
所述预测模块，用于所述空间位置计算模块计算所述至少一个跟踪对象的三维空间坐标信息之后，根据所述至少一个跟踪对象的三维空间坐标信息和所述至少一个跟踪对象的历史轨迹信息，预测所述至少一个跟踪对象的下一个位置；
所述确定模块，用于对所述预测模块预测的所述跟踪对象的下一个位置与所述检测框进行匹配，对于与预测的所述跟踪对象的下一个位置不匹配的第一检测框，判断所述第一检测框中的跟踪对象是否处于所述目标出入边界对应的区域；
所述确定模块，还用于在所述跟踪对象不处于所述目标出入边界对应的区域中，且所述跟踪对象的上一个位置被遮挡的情况下，采用被遮挡的目标位置，重新预测所述跟踪对象的下一个位置；或者，在所述跟踪对象处于所述目标出入边界对应的区域中的情况下，确定所述跟踪对象离开所述拍摄区域。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：确定模块；
所述确定模块，用于所述检测模块从所述至少一个摄像头采集的当前帧图像中检测出所述跟踪对象，并标记每个跟踪对象在各自对应的当前帧图像中的检测框之后，在目标检测框中的跟踪对象的置信度大于或等于第一阈值的情况下，将所述目标检测框确定为高分检测框；或者在所述目标检测框中的跟踪对象的置信度小于所述第一阈值的情况下，将所述目标检测框确定为低分检测框；
在预测所述跟踪对象的下一个位置之后，对于与预测的所述跟踪对象的下一个位置不匹配的高分检测框，基于所述高分检测框对应的跟踪对象的特征信息和所述空间约束信息，进行所述跟踪对象的重识别，确定出所述跟踪对象的运动轨迹。
11.一种摄像头跟踪装置，其特征在于，包括：处理器和通信接口；所述通信接口和所述处理器耦合，所述处理器用于运行计算机程序或指令，以实现如权利要求1-5任一项中所述的摄像头跟踪方法。
12.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当计算机执行该指令时，该计算机执行上述权利要求1-5任一项中所述的摄像头跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310645225.1A CN116740149A (zh) | 2023-06-01 | 2023-06-01 | 摄像头跟踪方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310645225.1A CN116740149A (zh) | 2023-06-01 | 2023-06-01 | 摄像头跟踪方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116740149A true CN116740149A (zh) | 2023-09-12 |
Family
ID=87914434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310645225.1A Pending CN116740149A (zh) | 2023-06-01 | 2023-06-01 | 摄像头跟踪方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740149A (zh) |
-
2023
- 2023-06-01 CN CN202310645225.1A patent/CN116740149A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462200B (zh) | 一种跨视频行人定位追踪方法、系统及设备 | |
| US10417503B2 (en) | Image processing apparatus and image processing method | |
| CN109598743B (zh) | 行人目标跟踪方法、装置及设备 | |
| KR101492180B1 (ko) | 비디오 분석 | |
| CN109977823B (zh) | 行人识别跟踪方法、装置、计算机设备和存储介质 | |
| WO2012084703A1 (en) | Detection and tracking of moving objects | |
| CN112037245B (zh) | 一种确定追踪目标相似度的方法和系统 | |
| CN109974721A (zh) | 一种基于高精度地图的视觉回环检测方法和装置 | |
| KR20180136895A (ko) | 이상 검출 장치 및 차량 시스템 | |
| CN113129339B (zh) | 一种目标跟踪方法、装置、电子设备及存储介质 | |
| WO2018058530A1 (zh) | 目标检测方法、装置以及图像处理设备 | |
| CN112633255B (zh) | 目标检测方法、装置及设备 | |
| CN111383246B (zh) | 条幅检测方法、装置及设备 | |
| Kang et al. | Persistent objects tracking across multiple non overlapping cameras | |
| CN108369739B (zh) | 物体检测装置和物体检测方法 | |
| Lisanti et al. | Continuous localization and mapping of a pan–tilt–zoom camera for wide area tracking | |
| Gao et al. | Tracking video objects with feature points based particle filtering | |
| CN114155557B (zh) | 定位方法、装置、机器人及计算机可读存储介质 | |
| CN116582653A (zh) | 一种基于多摄像头数据融合的智能视频监控方法及系统 | |
| JP2020205586A (ja) | ビデオ構成の更新装置、方法及び電子機器 | |
| CN114581678A (zh) | 一种模板特征匹配的自动跟踪与重识别方法 | |
| EP3035234A1 (en) | Method and electronic device for object tracking in a light-field capture | |
| CN113256683B (zh) | 目标跟踪方法及相关设备 | |
| CN112949539A (zh) | 一种基于摄像头位置的行人重识别交互检索方法及系统 | |
| CN116740149A (zh) | 摄像头跟踪方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |