CN116402857A - 一种基于三维标定的运动目标跨镜头跟踪方法 - Google Patents

一种基于三维标定的运动目标跨镜头跟踪方法 Download PDF

Info

Publication number
CN116402857A
CN116402857A CN202310397008.5A CN202310397008A CN116402857A CN 116402857 A CN116402857 A CN 116402857A CN 202310397008 A CN202310397008 A CN 202310397008A CN 116402857 A CN116402857 A CN 116402857A
Authority
CN
China
Prior art keywords
camera
dimensional
image
target
moving target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310397008.5A
Other languages
English (en)
Other versions
CN116402857B (zh
Inventor
董华宇
林姝含
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tianrui Kongjian Technology Co ltd
Original Assignee
Beijing Tianrui Kongjian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tianrui Kongjian Technology Co ltd filed Critical Beijing Tianrui Kongjian Technology Co ltd
Priority to CN202310397008.5A priority Critical patent/CN116402857B/zh
Publication of CN116402857A publication Critical patent/CN116402857A/zh
Application granted granted Critical
Publication of CN116402857B publication Critical patent/CN116402857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于三维标定的运动目标跨镜头跟踪方法，将各相机在三维场景模型上的图像覆盖区域投影到地面上，生成二维的相机分布图，人工选定跟踪目标，在相关相机图像中进行目标识别，以识别出跟踪目标的相机为当前相机进行目标跟踪，将跟踪获得的运动目标位置映射到相机分布图中，在相机分布图中进行运动目标预测，在预测到运动目标可能进入其他相机的图像覆盖区域时，以运动目标可能进入的区域为目标检测区域，将目标检测区域映射到接力相机的图像中，在目标检测区域内进行运动目标检测，以检测到运动目标的接力相机为当前相机继续进行目标跟踪。本发明能够减少数据处理量，提高运动目标跨镜头跟踪的ReID检测效率和准确率。

Description

一种基于三维标定的运动目标跨镜头跟踪方法
技术领域
本发明涉及一种基于三维标定的运动目标跨镜头跟踪方法。
背景技术
三维标定是将二维图像中的基本信息(点、线、面的二维坐标及像素等)与三维空间信息(点、线、面的三维坐标及纹理等)匹配融合。
运动目标跨境头跟踪(TargetRe-identification，也称运动目标再识别，简称为ReID)是过计算机视觉技术检索不同摄像头下的同一个运动目标。传统人工录像查询不同相机的同一个运动目标，效率低下。随着深度学习快速发展，基于深度学习的ReID逐渐替代其他方式成为研究方向，通过选择特定运动目标的图像特征进行运动目标的识别和匹配，确认不同图像中的同一运动目标，进而实现跨镜头跟踪，例如人脸识别或车牌识别等。
基于人脸识别或车牌识别的运动目标ReID虽然准确率高，但对相机安装要求高，人脸或车牌相机覆盖范围小，需要大量安装识别相机才能覆盖一定区域，成本高昂，而且难以利用已有相机实现ReID，故难以广泛应用。
另外，基于深度学习的ReID需要同时检索多个镜头/图像中的所有运动目标，耗费较高计算资源，需要高性能显卡服务器，硬件成本高，而且当相机安装较高时，运动目标特征不明显或相似运动目标太多时，存在较多误检、漏检。
发明内容
为克服现有技术的上述缺陷，本发明提供了针对当前ReID存在同时检索多个镜头耗费较高计算资源以及相机安装位置较高时导致误检漏检问题，提出一种基于三维标定的运动目标跨镜头跟踪方法。。
本发明的技术方案是：一种基于三维标定的运动目标跨镜头跟踪方法，设置包含相机场景(监视区域)的三维场景模型，依据各相机的像素坐标系与三维世界坐标系之间的映射关系，将各相机在三维场景模型上的图像覆盖区域(相机图像所包含的区域)投影到地面(XY平面，或者说二维世界坐标系)上，由此形成能够以二维世界坐标系描述的相机分布图，人工选定跟踪目标(所要跟踪的运动目标)，在相关相机图像中进行目标识别，以识别出跟踪目标的相机为当前相机进行目标跟踪，将跟踪获得的运动目标位置映射到相机分布图中，在相机分布图中进行运动目标预测，在预测到运动目标可能进入(例如，预测位置临近或已经位于)其他相机的图像覆盖区域时，以运动目标可能进入(在下一帧上可能存在)的区域为目标检测区域(例如，以目标检测框方式限定的区域)，以运动目标可能进入其图像覆盖区域的其他相机(当前相机之外的相机)为接力相机，将目标检测区域映射到接力相机的图像中，在目标检测区域(映射到图像中的目标检测区域)内进行运动目标检测，直至接力相机检测到运动目标或当前相机跟踪到的运动目标不临近其他相机的图像覆盖区域，以检测到运动目标的接力相机为当前相机(当任一接力相机检测到运动目标时)，继续进行目标跟踪，当多个相机的实际图像在三维场景模型上或三维场景模型的地面投影上存在重叠的覆盖区域时，通过相机掩码图屏蔽相关相机的部分实际图像，以经掩码图处理后的图像(屏蔽部分实际图像后的图像)为相机图像，使各相机图像在相机分布图中的覆盖区域相互连接且不重叠。
当产生新的当前相机之前，原有当前相机在接力相机进行目标识别的过程中，依然应继续进行目标跟踪，且将跟踪获得的目标位置不断映射到相机分布图中，且应依据目标位置的更新，不断更新接力相机及目标检测框，进行相应的目标识别。在产生新的当前相机后，原当前相机不再是当前相机，不再进行目标跟踪，但通常会出现新的当前相机跟踪获得的目标位置在相机分布图上的映射临近原当前相机的图像覆盖区域的情形，在此情形下，原当前相机会成为接力相机，应在相应的目标检测区域内进行目标识别。
当相机分布图中的目标位置同时临近多个相机的图像覆盖区域时，这些相机均为接力相机。
进一步地，可以将部分或全部相机图像(相机拍摄的图像，或者说视频帧)映射(渲染，例如，纹理映射)于三维场景模型，形成三维融合图像，将三维融合图像投影到地面上，形成二维融合图像；或者，将三维场景模型投影到地面上，形成二维场景模型，将相机图像映射于二维场景模型，形成二维融合图像。
可以在下列图像中进行跟踪目标的人工选定：
1)在含有运动目标的相机图像中人工选定；
2)在三维融合图像(或称三维融合画面)中人工选定，并映射到含有运动目标的相机图像中；
3)在二维融合图像中人工选定，并映射到含有运动目标的相机图像中。
人工选定跟踪目标的方式可以为用鼠标点击运动目标或框选出(框出)运动目标，或者其他任意适宜方式。
优选地，在二维世界坐标系下为相机分布图赋值，赋值方式为下列任一种：
1)以灰度图方式赋值，对任一相机的图像覆盖区域中的任一像素(或称像素点)/任一点，以该相机ID(例如，相机编号)为其灰度值；
2)以RGBA彩色图方式赋值，对任一相机的图像覆盖区域中的任一像素/任一点，以R和G通道存储该相机ID，B和A通道分别存储该相机图像中对应的(映射的)图像坐标。
对于相机分布图中的任一像素/任一位置(以XY坐标表示的位置，例如，目标位置，或目标预测位置)，可以依据像素值(灰度值或相应的彩色值/RGBA值)获得相应的相机ID。对于以RGBA彩色图方式赋值的相机分布图，还可以获得映射到相应相机图像的图像坐标；对于以灰度图方式赋值的相机分布图，可以依据二维世界坐标与相应的相机图像坐标之间的映射关系，获得映射在相机图像上的图像坐标。
优选地，依据下列方式确认接力相机及启动接力相机的目标识别：在相机分布图中，基于运动目标的当前位置或预测位置设置目标检测框(也就是，目标检测区域)，在目标检测框进入其他相机(当前相机之外的相机)的图像覆盖区域的情形下，以相关的其他相机为接力相机，将相机布局图中的目标检测框映射到接力相机图像中，在接力相机图像中的目标检测框(依据目标检测框进入相应接力相机的图像覆盖区域的程度，可以为完整的目标检测框或者为目标检测框中的一部分)范围内进行目标识别。
目标检测框的大小可以依据运动目标及其运动状况设定，可以采用现有跟踪/检测技术确定或采用其他适宜方式。例如，可以为以运动目标的当前位置为中心、半边长(边长的一半)为当前运动速度乘以帧周期的积的两倍的正方形；或者，为以运动目标的预测位置为中心、边长为运动目标的当前目标框对应边长的两倍或三倍的矩形框。
进一步地，在映射到接力相机图像中的目标检测框出现变形(不为矩形或正方形)的情形下(可以依据各顶点坐标判断)，以包围目标检测框在接力相机图像中的映射区域的最小矩形为接力相机图像中用于目标识别的检测区域，或者说，为接力相机图像中的目标检测框。
本发明的工作原理和有益效果是：利用三维位置空间关系生成固定区域内的相机分布图，相机分布图包括相机编码ID和相机坐标映射信息，运动目标在二维图像中检测后映射到相机分布图中，通过持续跟踪预测运动目标运动轨迹，获得运动目标进入接力相机区域范围，只需要检索接力相机区域内运动目标就能够实现ReID，极大减少计算资源，而且能够排除相机其他区域干扰，只需要检索接力区域中运动目标，提高ReID检测效率和准确率。
附图说明
图1是本发明的流程图；
图2是本发明涉及的摄像头/相机成像原理图；
图3是本发明涉及的相机图像在地面投影的示意图；
图4是本发明涉及的相机图像在地面投影的覆盖区域灰度图；
图5是本发明涉及的包含重叠覆盖区域的多个相机图像在地面(虚拟地面)投影的覆盖区域拼接方式的示意图；
图6是本发明涉及的相机(图像)分布图；
图7是本发明涉及的图像上的运动目标跟踪框在相机分布图上投影/映射的示意图；
图8是本发明涉及的运动目标在相机分布图上跨镜头跟踪的示意图。
具体实施方式
本发明提供的基于三维标定的运动目标跨镜头跟踪方法需要完成三维标定、生成相机分布图、运动目标跟踪预测和接力相机ReID四个步骤。整体流程如图1所示。首先调整三维模型场景与图像场景一致，通过选择三维坐标点对应图像坐标点计算投影矩阵，将二维图像投影到三维模型完成三维标定；而后利用三维坐标和相机坐标映射及相机编码和掩码图生成相机分布图，相机分布图导入运动目标跟踪进程中，然后在三维融合画面中鼠标选定跟踪目标，利用深度学习算法和特征匹配实现运动目标检测跟踪，同时将运动目标坐标位置映射到相机分布图中，利用历史数据在相机分布图中预测运动目标运动轨迹。最后计算出运动目标将要进入接力相机区域范围，检测该区域范围内运动目标，直到检测匹配到同一运动目标实现ReID，然后继续进行检测跟踪。
1、三维标定
首先调整三维模型场景与图像场景一致，假设将一台相机架设在三维模型中，相机显示画面就是显示器画面，调整该相机位置(location)和朝向(up,forward)，使其显示画面和该相机应拍摄的二维图像场景一致。然后在三维模型和二维图像中拾取对应坐标点，拾取坐标点必须对应，拾取原则是：选点尽量分散，重点区域多选点，优先选择易于分辨特征点。例如，三维场景中选择灯杆底座，则二维图像也应该选择同一个灯杆底座作为对应点。要求选择至少6组以上对应坐标点，然后利用坐标点计算投影矩阵，计算投影矩阵需要了解摄像头成像原理(参见图2)，三维物体投影到相机的图像平面中间需要经过一系列旋转、平移、缩放等变换，并且经过以下不同坐标系统的变换过程：
1)物体坐标系转换为世界坐标系；
2)世界坐标系转换到相机坐标系；
3)相机坐标系转换到投影坐标系；
4)投影坐标系转换到图像坐标系。
设任一点在三维世界(世界坐标系)中的坐标为[X,Y,Z]T，在二维相机平面(图像坐标系)中的坐标为[u,v]T，下式为则世界坐标系坐标到图像坐标系坐标的转换关系(映射关系)：
Figure BDA0004177949630000071
式中s为一个任意尺度比例，[u,v,1]T为图像点的齐次坐标；[X,Y,Z,1]T定义为世界坐标系中对应点的齐次坐标；A为相机的内参矩阵；R为3×3旋转矩阵，t为3×1平移矩阵，
Figure BDA0004177949630000072
式(1)可化简为：
Figure BDA0004177949630000073
其中
Figure BDA0004177949630000081
式中P为投影矩阵，通过6组以上匹配点，即可求出P中11个参数并确定投影矩阵，将三维坐标[X,Y,Z]T带入式(3)，运算结果为[su,sv,s]T。s的值会随着选取三维点的不同而变化，不是一个常量，但是可以通过这个等式求出特定的三维点的特定的s值，进而求出[u,v]T。
求出投影矩阵P后，交互式操作进行三维标定，采用三角面片的划分方法，在三维模型中沿着模型构建空的三角面片集合F，三角面片集合F必须覆盖二维图像场景。通过以上步骤，可以有效剔除场景图中无用的点及线等几何体，同时可以保证纹理贴图过程中每个三角面片都能够对应足够的图像像素。在得到三角面片后，使用式(4)对F中所有顶点计算得到相应的图像坐标，然后渲染三角面片。
至此，通过以上步骤能够快速完成二维图像和三维模型的三维标定。进而实现三维坐标和二维图像坐标映射(参见图3)。
2、生成相机分布图
生成相机分布图的方法：利用三维标定的方法，三维坐标[X,Y,Z]T对应映射的二维坐标为[u,v]T。如图3所示，将二维图像投影到三维地面投影面片上，采用地平面图，令Z＝Z0，Z0为地面的Z坐标，依据式(3)，获得[X,Y,Z0]T与[u,v]T之间的映射关系，舍弃Z值，保留X和Y值，从三维变成二维，二维图像坐标到三维坐标的映射转换为二维图像坐标[u,v]T到二维平面坐标(地面二维坐标，或称地面坐标)[X,Y]T的映射。
相机唯一编号标识为ID，从1～255分别对应不同相机编号，可对应255个相机，0代表无相机覆盖区域，通过坐标映射可生成相机在地面(地面二维坐标系)上的覆盖范围灰度图(如果相机数量多可采用多通道的彩色图)(如图4所示)，不同灰度代表不同相机覆盖范围，黑色(0值)代表无相机覆盖区域，如果相机间存在重叠区域，则利用相机掩码图(Mask图)得到最佳拼缝(如图5所示)，Mask图中白色是裁掉区域，黑色是保留区域。
为充分利用相机分布图提高ReID效率和准确率，相机分布图采用4通道(RGBA)的彩色图，其中R和G通道存储相机编号，B和A通道存储相机二维图像坐标[u,v]T。
二维图像坐标可以通过式(5)转换为0～255范围内。
Figure BDA0004177949630000091
其中W为二维图像宽度，H为二维图像高度，m为B通道的值，n为A通道的值。
最后需要导出相机分布图(如图6示)，将地面坐标[X,Y]T转换到分布图的坐标[XF,YF]T，只需要平移操作即可实现。通过式(6)，二维坐标[X,Y]T平移[XP,YP]T，可转换到相机分布图坐标[XF,YF]T。
Figure BDA0004177949630000092
由式(6)可以看出，相机分布图坐标系为原有二维世界坐标系平移形成的坐标系，同样可视为二维世界坐标系，其原点在原有二维世界坐标系中的坐标为[XP,YP]T，这种坐标系平移主要是基于相应坐标表征或数据处理上的便利。
3、运动目标跟踪预测
利用现有相关算法实现运动目标检测，提取检测运动目标的特征并匹配，提前导入相机分布图，利用相机分布图实现运动目标跟踪预测。
具体预测流程如下：
首先在三维地面投影面中点击待跟踪目标，通过三维空间射线求交的方法获取三维坐标[X,Y,Z]T，通过式(3)计算运动目标所在相机及坐标[u,v]T，启动运动目标检测获取运动目标框Rect(矩形)，运动目标框Rect中心或脚点坐标(Rect的中心或脚点映射到分布图需根据相机安装条件决定，一般以脚点为准，除非相机安装位置很高且垂直向下)，通过三维空间射线求交可计算得到三维坐标[X,Y,Z]T，根据式(6)可计算得到其在相机分布图上的坐标值(参见图7)。
在当前相机中持续检测跟踪目标，同时将其运动目标框Rect脚点坐标全都映射到相机分布图生成数据点集(参见图8)，根据映射在分布图上的数据点集计算运动目标移动趋势(滤波+预测)。滤波可采用标准卡尔曼滤波或其他现有滤波算法实现，主要目的是排除干扰，增加预测准确率，预测则采用CV匀加减速运动模型或其它现有运动模型算法进行预测，其中CV匀加减速运动模型如下式：
Figure BDA0004177949630000101
w服从均值为零，方差为σ2的高斯分布
其中x(t)是状态变量的位置分量，
Figure BDA0004177949630000102
是速度分量，/>
Figure BDA0004177949630000103
为加速度分量，T为时间差。
通过在相机分布图中预测运动目标运动趋势，可提前判断运动目标是否即将进入其他相机覆盖范围，进而获取其接力相机编号和接力相机的映射位置坐标，然后进行下一步的接力相机ReID步骤。
4、接力相机ReID
在接力相机中运动目标ReID方法如下：利用相机分布图中的运动目标轨迹预测判断运动目标将要进入下一个相机(跨境头)时，获取以Rect中心或脚点为中心的宽度和高度为L(根据运动目标Rect框大小实现动态调整)的方形区域(简称region)，如图8所示，利用相机分布图的BA通道值和式(5)推导出接力相机检测区域region坐标，然后将region区域图像信息导入现有运动目标检测跟踪算法，利用运动目标检测和特征匹配在接力相机检测区域region中进行运动目标ReID。因为只需要分析region区域内图像，不需要分析整个图像画面，分析效率和准确率能明显提升。
由于跟踪的运动目标不仅限于车辆，也包括人等移动具有随机性的运动目标，因此无法精准运动趋势，需要同时在当前相机检测跟踪目标，同时计算更新接力相机中region，即使运动目标ReID成功后也需要继续在旧相机region中检测分析几帧，防止运动目标折返，同时确保有足够历史数据在新相机内，进而执行上个步骤的运动目标运动轨迹滤波和预测。
此外，本发明中运动目标的接力相机可能存在多个相机，通过运动目标轨迹预测，判断接力相机存在多个，然后通过计算获取不同相机region，同时检测分析多个相机可能出现运动目标的region，当运动目标在其中一个或多个相机ReID,需要同时检测跟踪目标，确保ReID的准确率。
本发明相对于基于深度学习的同时检测分析多个相机整个画面的计算量已经大幅减少，拥有较高性能独立显卡的普通PC机也能实现本发明的运动目标跨境头跟踪。同时因为计算得到运动目标可能出现的region，排除其他运动目标干扰信息，充分减少了误检和漏检的概率。
本发明具有下列特点：
1、基于三维标定生成相机分布图，相机分布图比较直观保存了所有相机覆盖范围，相机分布图导入运动目标ReID算法，提高检测效率和准确率。
2、基于三维标定二维图像投影到三维地面投影面片上，采用地平面图，舍弃Z值，保留X和Y值，图像二维到三维坐标映射转换为二维到二维的映射。
3、利用每个相机不同的掩码图获取相机覆盖范围重叠区域的拼缝。
4、相机分布图包括灰度图和彩色图，灰度图中不同灰度值对应不同的相机编号ID，而彩色图则包括相机编号和相机坐标映射。
5、通过三维空间射线求交将运动目标坐标(中心点或脚点)映射到相机分布图中，基于相机分布图进行运动目标运动趋势预测，判断接力相机和接力相机region。
6、运动目标检测特征匹配算法只需要分析接力相机region，进行ReID。
7、接力相机不仅限于1个，也包括多个接力相机情况。

Claims (7)

1.一种基于三维标定的运动目标跨镜头跟踪方法，设置包含相机场景的三维场景模型，依据各相机的像素坐标系与三维世界坐标系之间的映射关系，将各相机在三维场景模型上的图像覆盖区域投影到地面上，由此形成能够以二维世界坐标系描述的相机分布图，人工选定跟踪目标，在相关相机图像中进行目标识别，以识别出跟踪目标的相机为当前相机进行目标跟踪，将跟踪获得的运动目标位置映射到相机分布图中，在相机分布图中进行运动目标预测，在预测到运动目标可能进入其他相机的图像覆盖区域时，以运动目标可能进入的区域为目标检测区域，以运动目标可能进入其图像覆盖区域的其他相机为接力相机，将目标检测区域映射到接力相机的图像中，在目标检测区域内进行运动目标检测，直至接力相机检测到运动目标或当前相机跟踪到的运动目标不临近其他相机的图像覆盖区域，以检测到运动目标的接力相机为当前相机，继续进行目标跟踪，当多个相机的实际图像在三维场景模型上或三维场景模型的地面投影上存在重叠的覆盖区域时，通过相机掩码图屏蔽相关相机的部分实际图像，以经掩码图处理后的图像为相机图像，使各相机图像在相机分布图中的覆盖区域相互连接且不重叠。
2.如权利要求1所述的基于三维标定的运动目标跨镜头跟踪方法，其特征在于将部分或全部相机图像映射于三维场景模型，形成三维融合图像，将三维融合图像投影到地面上，形成二维融合图像；或者，将三维场景模型投影到地面上，形成二维场景模型，将相机图像映射于二维场景模型，形成二维融合图像。
3.如权利要求1所述的基于三维标定的运动目标跨镜头跟踪方法，其特征在于在下列图像中进行跟踪目标的人工选定：
在含有运动目标的相机图像中人工选定；
在三维融合图像中人工选定，并映射到含有运动目标的相机图像中；
在二维融合图像中人工选定，并映射到含有运动目标的相机图像中。
4.如权利要求1所述的基于三维标定的运动目标跨镜头跟踪方法，其特征在于人工选定跟踪目标的方式为用鼠标点击运动目标或框选出运动目标。
5.如权利要求1所述的基于三维标定的运动目标跨镜头跟踪方法，其特征在于在二维世界坐标系下为相机分布图赋值，赋值方式为下列任一种：
以灰度图方式赋值，对任一相机的图像覆盖区域中的任一像素/任一点，以该相机ID为其灰度值；
以RGBA彩色图方式赋值，对任一相机的图像覆盖区域中的任一像素/任一点，以R和G通道存储该相机ID，B和A通道分别存储该相机图像中对应的图像坐标。
6.如权利要求1-5中任一项所述的基于三维标定的运动目标跨镜头跟踪方法，其特征在于依据下列方式确认接力相机及启动接力相机的目标识别：在相机分布图中，基于运动目标的当前位置或预测位置设置目标检测框，在目标检测框进入其他相机的图像覆盖区域的情形下，以相关的其他相机为接力相机，将相机布局图中的目标检测框映射到接力相机图像中，在接力相机图像中的目标检测框范围内进行目标识别。
7.如权利要求6所述的基于三维标定的运动目标跨镜头跟踪方法，其特征在于在映射到接力相机图像中的目标检测框出现变形的情形下，以包围目标检测框在接力相机图像中的映射区域的最小矩形为接力相机图像中用于目标识别的检测区域。
CN202310397008.5A 2023-04-14 2023-04-14 一种基于三维标定的运动目标跨镜头跟踪方法 Active CN116402857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310397008.5A CN116402857B (zh) 2023-04-14 2023-04-14 一种基于三维标定的运动目标跨镜头跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310397008.5A CN116402857B (zh) 2023-04-14 2023-04-14 一种基于三维标定的运动目标跨镜头跟踪方法

Publications (2)

Publication Number Publication Date
CN116402857A true CN116402857A (zh) 2023-07-07
CN116402857B CN116402857B (zh) 2023-11-07

Family

ID=87015735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310397008.5A Active CN116402857B (zh) 2023-04-14 2023-04-14 一种基于三维标定的运动目标跨镜头跟踪方法

Country Status (1)

Country Link
CN (1) CN116402857B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670462A (zh) * 2018-12-24 2019-04-23 北京天睿空间科技股份有限公司 基于定位信息的航空器跨全景持续跟踪方法
WO2019136479A1 (en) * 2018-01-08 2019-07-11 The Regents On The University Of California Surround vehicle tracking and motion prediction
US20190353775A1 (en) * 2018-05-21 2019-11-21 Johnson Controls Technology Company Building radar-camera surveillance system
CN110674746A (zh) * 2019-09-24 2020-01-10 视云融聚（广州）科技有限公司 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CN110706259A (zh) * 2019-10-12 2020-01-17 四川航天神坤科技有限公司 一种基于空间约束的可疑人员跨镜头追踪方法及装置
CN111242987A (zh) * 2020-01-08 2020-06-05 北京天正聚合科技有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN111241988A (zh) * 2020-01-08 2020-06-05 北京天睿空间科技股份有限公司 一种结合定位信息的大场景内运动目标检测识别方法
CN111754552A (zh) * 2020-06-29 2020-10-09 华东师范大学 一种基于深度学习的多摄像头协同目标跟踪方法
CN111836009A (zh) * 2020-06-18 2020-10-27 浙江大华技术股份有限公司 多个相机进行目标跟踪的方法、电子设备及存储介质
CN112037159A (zh) * 2020-07-29 2020-12-04 长安大学 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN112614159A (zh) * 2020-12-22 2021-04-06 浙江大学 一种面向仓库场景的跨摄像头多目标跟踪方法
CN112767442A (zh) * 2021-01-18 2021-05-07 中山大学 一种基于顶视角的行人三维检测跟踪方法及系统
CN113052876A (zh) * 2021-04-25 2021-06-29 合肥中科类脑智能技术有限公司 一种基于深度学习的视频接力跟踪方法及系统
CN115050004A (zh) * 2022-06-13 2022-09-13 江苏范特科技有限公司 基于顶视角相机的行人跨镜定位方法、系统以及介质
CN115731266A (zh) * 2022-11-24 2023-03-03 武汉东信同邦信息技术有限公司 跨相机多目标跟踪方法、装置、设备及可读存储介质
CN115797405A (zh) * 2022-11-29 2023-03-14 湖南湘江智车出行科技有限公司 一种基于车辆轴距的多镜头自适应跟踪方法
CN115908489A (zh) * 2022-11-09 2023-04-04 京东方科技集团股份有限公司 一种目标跟踪方法及装置
CN115908508A (zh) * 2022-11-02 2023-04-04 广州爱科赛尔云数据科技有限公司 基于阵列相机的海岸线船只实时跟踪方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136479A1 (en) * 2018-01-08 2019-07-11 The Regents On The University Of California Surround vehicle tracking and motion prediction
US20190353775A1 (en) * 2018-05-21 2019-11-21 Johnson Controls Technology Company Building radar-camera surveillance system
CN109670462A (zh) * 2018-12-24 2019-04-23 北京天睿空间科技股份有限公司 基于定位信息的航空器跨全景持续跟踪方法
CN110674746A (zh) * 2019-09-24 2020-01-10 视云融聚（广州）科技有限公司 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CN110706259A (zh) * 2019-10-12 2020-01-17 四川航天神坤科技有限公司 一种基于空间约束的可疑人员跨镜头追踪方法及装置
CN111242987A (zh) * 2020-01-08 2020-06-05 北京天正聚合科技有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN111241988A (zh) * 2020-01-08 2020-06-05 北京天睿空间科技股份有限公司 一种结合定位信息的大场景内运动目标检测识别方法
CN111836009A (zh) * 2020-06-18 2020-10-27 浙江大华技术股份有限公司 多个相机进行目标跟踪的方法、电子设备及存储介质
CN111754552A (zh) * 2020-06-29 2020-10-09 华东师范大学 一种基于深度学习的多摄像头协同目标跟踪方法
CN112037159A (zh) * 2020-07-29 2020-12-04 长安大学 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN112614159A (zh) * 2020-12-22 2021-04-06 浙江大学 一种面向仓库场景的跨摄像头多目标跟踪方法
CN112767442A (zh) * 2021-01-18 2021-05-07 中山大学 一种基于顶视角的行人三维检测跟踪方法及系统
CN113052876A (zh) * 2021-04-25 2021-06-29 合肥中科类脑智能技术有限公司 一种基于深度学习的视频接力跟踪方法及系统
CN115050004A (zh) * 2022-06-13 2022-09-13 江苏范特科技有限公司 基于顶视角相机的行人跨镜定位方法、系统以及介质
CN115908508A (zh) * 2022-11-02 2023-04-04 广州爱科赛尔云数据科技有限公司 基于阵列相机的海岸线船只实时跟踪方法
CN115908489A (zh) * 2022-11-09 2023-04-04 京东方科技集团股份有限公司 一种目标跟踪方法及装置
CN115731266A (zh) * 2022-11-24 2023-03-03 武汉东信同邦信息技术有限公司 跨相机多目标跟踪方法、装置、设备及可读存储介质
CN115797405A (zh) * 2022-11-29 2023-03-14 湖南湘江智车出行科技有限公司 一种基于车辆轴距的多镜头自适应跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
武非凡: "基于相机标定的跨相机场景拼接方法", 《计算机系统应用》, pages 1 - 8 *
熊维茜: "室内GIS辅助的跨摄像头行人轨迹提取与聚合研究", 《万方数据》 *

Also Published As

Publication number Publication date
CN116402857B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
US6658136B1 (en) System and process for locating and tracking a person or object in a scene using a series of range images
JP7205613B2 (ja) 画像処理装置、画像処理方法及びプログラム
Huang et al. Efficient image stitching of continuous image sequence with image and seam selections
US6181345B1 (en) Method and apparatus for replacing target zones in a video sequence
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
CN111144213B (zh) 一种对象检测方法和相关设备
JPH09322155A (ja) 映像監視方法及び装置
CN112164117A (zh) 一种基于Kinect相机的V-SLAM位姿估算方法
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
Fregin et al. Three ways of using stereo vision for traffic light recognition
CN116402857B (zh) 一种基于三维标定的运动目标跨镜头跟踪方法
US9936189B2 (en) Method for predicting stereoscopic depth and apparatus thereof
CN116958927A (zh) 一种基于bev图识别矮小柱状体的方法及装置
CN116883897A (zh) 一种低分辨率目标识别方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN114898144A (zh) 一种基于相机和毫米波雷达数据的自动对齐方法
US20240153120A1 (en) Method to determine the depth from images by self-adaptive learning of a neural network and system thereof
van de Wouw et al. Hierarchical 2.5-d scene alignment for change detection with large viewpoint differences
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
JPH05314244A (ja) ３次元情報抽出方法
CN117523010B (zh) 车辆的相机位姿确定方法、装置、计算机设备和存储介质
US20230298203A1 (en) Method for selecting surface points from a cad model for locating industrial 3d objects, application of this method to the location of industrial 3d objects, and augmented reality system usi
CN112614182B (zh) 基于深度学习的识别加工位置的方法、存储设备、移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant