CN117495900B - 基于相机运动趋势估计的多目标视觉跟踪方法 - Google Patents

基于相机运动趋势估计的多目标视觉跟踪方法 Download PDF

Info

Publication number
CN117495900B
CN117495900B CN202311465351.5A CN202311465351A CN117495900B CN 117495900 B CN117495900 B CN 117495900B CN 202311465351 A CN202311465351 A CN 202311465351A CN 117495900 B CN117495900 B CN 117495900B
Authority
CN
China
Prior art keywords
matrix
camera
target
calculating
kalman filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311465351.5A
Other languages
English (en)
Other versions
CN117495900A (zh
Inventor
易可夫
黄建贵
郝威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202311465351.5A priority Critical patent/CN117495900B/zh
Publication of CN117495900A publication Critical patent/CN117495900A/zh
Application granted granted Critical
Publication of CN117495900B publication Critical patent/CN117495900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于相机运动趋势估计的多目标视觉跟踪方法，包括：获取视频流数据，并通过目标检测结果获取目标在图像平面的像素坐标；获取相机参数，利用单应性变换将图像平面的目标映射到大地平面，得到映射测量值；根据相机的运动趋势计算相应的过程补偿因子，进而计算得到过程噪声协方差矩阵；计算目标在地平面上的测量分布，将该分布反馈至卡尔曼滤波器中进行迭代，并根据过程噪声协方差矩阵对卡尔曼滤波器进行修正，卡尔曼滤波器预测输出目标的轨迹状态；利用映射测量值和预测的轨迹状态作为输入来计算映射的马氏距离，并将结果存入关联代价矩阵中；根据关联代价矩阵，通过匈牙利算法关联有效检测框与预测轨迹，提高跟踪鲁棒性和精度。

Description

基于相机运动趋势估计的多目标视觉跟踪方法
技术领域
本发明属于目标检测跟踪技术领域，涉及一种基于相机运动趋势估计的多目标视觉跟踪方法。
背景技术
多目标跟踪是计算机视觉领域中的一项重要任务，它涉及到从图像或视频中检测和跟踪多个移动目标对象。在多目标跟踪领域，相机运动是一个常见但复杂的背景因素。当相机在跟踪过程中移动时，它会引入额外的动态因素，导致目标的运动轨迹呈现出非线性的特性。因为传统卡尔曼滤波器是基于线性模型来估计目标的状态，这种非线性运动会严重影响卡尔曼滤波预测。目前，采用相机运动补偿来提高跟踪准确度的方法有以下几种：
(1)基于图像配准的方法补偿相机的运动：
该方法通过SIFT算法提取每一帧图像的特征点，并利用稀疏光流排除异常的特征点，再将前后帧图像的特征点进行匹配，最后通过随机采样一致性算法(RANSAC)求解相机的状态转移矩阵，其状态转移矩阵包括相机的旋转和平移向量。这种基于图像配准的的相机运动补偿取得了不错的效果，但是在实际操作过程中，此方法需要逐帧提取图像关键点，反复计算相机的状态转移矩阵，进行逐帧补偿，这种基于像素级别的运动补偿，其计算复杂度非常高，对于一些静态或者相机轻微抖动的场景，这些处理过程增加了很多不必要的计算；
(2)基于惯性测量单元(IMU)进行相机运动补偿：
其通过IMU的三轴陀螺仪读数得到相机沿x轴、y轴、z轴的旋转角速度，再分别对这些角速度值进行积分，可以得到相机绕各个轴的旋转角度。在获取相机的旋转角度之后，将这些信息整合到相机外参矩阵中，再结合相机内参矩阵，将目标从三维世界坐标映射到二维图像坐标，以消除相机的旋转和倾斜效应，使得图像坐标能够更准确地反映实际目标位置。该方法的有效性高度依赖于IMU的准确性，当相机和目标同时经历高度动态的场景时，例如快速旋转或加速的情况，该方法可能无法有效地抵消相机的运动，并且此方法需要进行复杂的数学计算，很多场景都不适用。
因此，现有的相机运动补偿方法大都需要计算状态转移矩阵，进行逐帧补偿，这意味着需要在每一帧图像上进行复杂的计算，包括图像配准、准确的姿态计算等，以抵消相机的运动影响。这些方法的计算过程相对繁琐，需要大量的计算资源和时间。同时，它们高度依赖各种算法的准确性和快速性，对传感器和参数的精度要求也很高，这限制了这些方法在一些复杂或实时应用中的广泛应用。
发明内容
本发明实施例的目的在于提供一种基于相机运动趋势估计的多目标视觉跟踪方法，以解决现有的基于相机运动补偿的多目标视觉跟踪方法的计算过程繁琐，需要大量的计算资源和时间的问题，以及现有的基于相机运动补偿的多目标视觉跟踪方法高度依赖算法的准确性和快速性，对传感器和参数的精度要求高的问题。
本发明实施例所采用的技术方案是：基于相机运动趋势估计的多目标视觉跟踪方法，包括以下步骤：
获取视频流数据，并通过目标检测结果获取目标在图像平面的像素坐标；
获取相机参数，利用单应性变换将图像平面的目标映射到大地平面，得到映射测量值；
根据相机的运动趋势计算相应的过程补偿因子，进而计算得到过程噪声协方差矩阵；
计算目标在地平面上的测量分布，将该分布反馈至卡尔曼滤波器中进行迭代计算，并根据过程噪声协方差矩阵对卡尔曼滤波器进行修正，卡尔曼滤波器预测输出目标的轨迹状态；
利用映射测量值和预测的轨迹状态作为输入来计算映射的马氏距离，并将结果存入关联代价矩阵中；
根据关联代价矩阵，通过匈牙利算法关联有效检测框与预测轨迹，获取完整的轨迹片段。
进一步的，所述的利用单应性变换将图像平面的目标映射到大地平面，是利用单应性变换将图像平面的目标检测框底边中点的坐标(u,v)投影到地面坐标，得到映射测量值，具体过程如下：
步骤a1、获取相机参数，包含内部参数矩阵Ki和外部参数矩阵K0；
步骤a2、计算单应性变换矩阵A，单应性变换矩阵A由相机的内部参数和外部参数共同决定，表示为：
A＝Ki×K0；
其中，Ki为相机内部参数矩阵，fx表示相机的水平焦距，fy表示相机的垂直焦距，u0和v0表示主点的像素坐标，即相机镜头的光学中心在图像平面上的像素坐标；K0表示由相机外部参数的旋转矩阵R、平移矩阵T组合成的外部参数矩阵；
步骤a3、将相机模型理想化为线性相机模型，再根据单应性变换矩阵A，导出地平面坐标与图像平面坐标的关联表达式为：
其中，γ是比例因子，γ的值取决于相机的内部参数以及相机的标定；(x,y,z)表示目标检测框在世界坐标系下沿X轴、Y轴和Z轴的长度；
将地平面坐标与图像平面坐标的关联表达式中的z当作常量，则地平面坐标的x和y，与图像平面坐标的u和v之间的映射关系进一步表示为：
步骤a4、已知图像平面的坐标和相机参数，对步骤a3中的矩阵A求逆运算，得到：
其中，b为运算过程中定义的由b1、b2、b3组成的中间矩阵；
即可由图像平面坐标反求得到地平面坐标：
x＝γ×b1，y＝γ×b2；
其中，
进一步的，根据相机的运动趋势计算相应的过程补偿因子，进而计算得到过程噪声协方差矩阵的具体过程为：
步骤b1、相机的运动趋势包括旋转、倾斜或静态场景，根据不同的相机运动场景，计算出相应的过程补偿因子；
步骤b2、将计算好的过程补偿因子σx和σy代入到过程噪声协方差QK的计算公式中，计算过程噪声协方差QK：
QK＝G·diag(σx,σy)·GT；
其中，σx表示沿着x轴的过程补偿因子，处理由相机上下倾斜引起的运动噪声；σy表示沿着y轴的过程补偿因子，处理由相机左右旋转引起的运动噪声；diag(σx,σy)表示由过程补偿因子σx和σy组成对角矩阵；G表示反应由相机运动引起的位置和速度变化之间的关系的对角矩阵，GT为矩阵G的转置，Δt表示前后两帧图像之间的时间间隔。
进一步的，根据IMU旋转角速度与过程补偿因子的函数关系式，计算相机的运动趋势为旋转或静态场景的过程补偿因子。
进一步的，根据前后帧图像的跟踪目标的像素偏移量与过程补偿因子的函数关系式，计算相机的运动趋势为倾斜或静态场景的过程补偿因子。
进一步的，通过IMU旋转角速度与过程补偿因子的分段函数，计算相机的运动趋势为旋转或静态场景的过程补偿因子；
通过前后帧图像的跟踪目标的像素偏移量与过程补偿因子的分段函数，计算计算相机的运动趋势为倾斜或静态场景的过程补偿因子。
进一步的，计算目标在地平面上的测量分布，将该分布反馈至卡尔曼滤波器中进行迭代计算，是计算由图像平面中的误差引起的地平面中的检测误差的分布，最后再将计算出的地面检测误差反馈至卡尔曼滤波器中，具体过程如下：
计算图像平面中的探测器误差，图像平面中的探测器的测量误差遵循独立的正态分布，其协方差矩阵为：
其中，σm表示作为超参数的检测噪声因子，wk表示从检测器检测到的宽度，hk表示从检测器检测到的高度；
对步骤a3的单应性变换矩阵A求逆为：
由此获得地平面上的映射测量噪声矩阵Rk：
其中，B为定义的中间矩阵，BT为中间矩阵B的转置；
建立恒速卡尔曼滤波器模型，选择状态向量x、观测向量z：
其中，x和y是步骤a4所求图像平面的目标检测框底边中点的坐标映射到大地平面的x轴和y轴的坐标值，和/>分别表示目标在水平和竖直方向的运动速度；
其观测向量z为：
将过程噪声协方差QK、测量噪声矩阵Rk、观测向量z、状态向量x代入到卡尔曼滤波器中，最后预测并输出目标的轨道状态向量。
进一步的，卡尔曼滤波器预测目标的轨道状态向量的具体运算过程如下：
卡尔曼滤波器算法分为预测和更新两个阶段，其预测部分的递推方程如下：
其中，表示上一时刻即k-1时刻目标状态向量的最优评估值，其最开始输入的是第一帧的状态向量值；/>表示根据上一时刻的状态向量对当前时刻即k时刻的预测值；QK为过程噪声协方差矩阵；Pk-1|k-1和Pk|k-1分别是k-1和k时刻的后验协方差矩阵；Fk表示状态转移矩阵，表示为：
卡尔曼滤波器的更新部分的递推方程如下：
Pk|k＝(I-KkH)Pk|k-1；
其中，Kk为卡尔曼增益，Pk|k表示k时刻的后验估计协方差矩阵，I是单位矩阵，HT表示观测矩阵H的转置，观测矩阵H可以表示为：
先将第一帧的目标状态向量输入到卡尔曼滤波器中，通过设定的状态转移矩阵Fk，预测下一帧的状态向量估计值在前期计算出了过程噪声协方差矩阵QK，再根据状态向量/>的值计算其协方差矩阵Pk|k-1，再将估算出的/>Pk|k-1以及计算出的Rk代入到卡尔曼滤波器算法更新部分的递推方程中，可以计算出卡尔曼增益Kk、k时刻的后验估计协方差矩阵Pk|k，以及更新后的目标状态向量/>然后，将更新后的协方差矩阵Pk|k、目标状态向量/>重新馈送给预测部分以作为更新后的Pk-1|k-1、/>并重复以上利用Pk-1|k-1、/>估算/>Pk|k-1的操作，直至预测输出目标的状态向量/>
进一步的，利用映射测量值和预测的轨迹状态作为输入来计算映射的马氏距离，并将结果存入关联代价矩阵的具体过程如下：
计算地平面上的映射测量值z与卡尔曼滤波器预测状态的残余，计算公式为：
其中，∈是地平面上的映射测量值组成的观测向量z与卡尔曼滤波器中的观测向量的差值，称之为残差；/>表示卡尔曼滤波器预测的轨迹状态，H表示观测矩阵；
计算残差协方差矩阵S，其具体表达式如下：
S＝HPk|kHT+Rk；
计算映射测量值z和预测的轨迹状态的归一化马氏距离，其具体表达式如下：
D＝∈TS-1∈+ln|S|；
上式中，|S|表示矩阵S的行列式，ln表示自然对数，D表示归一化马氏距离；
根据当前检测目标的个数确定关联代价矩阵C的行数n，并根据跟踪预测目标的个数确定关联代价矩阵C的列数m，关联代价矩阵C表示为：
对于每个检测目标和每个跟踪预测，计算归一化马氏距离D后存储在关联代价矩阵C的相应位置。
进一步的，根据关联代价矩阵，通过匈牙利算法关联有效检测框与预测轨迹，获取完整的轨迹片段的具体过程为：
步骤c1、对关联代价矩阵C进行最小值剔除处理，获得含零矩阵：
先确定关联代价矩阵C每行的最小值，并将其每行减去该行的最小值；
再确定关联代价矩阵C每行的最小值，并将其每列减去该列的最小值，从而得到含有多个零元素的关联代价矩阵C，即含零矩阵；
步骤c2、利用最少的水平线和垂直线覆盖所述含零矩阵中的所有零元素，并记录水平线和垂直线的使用总数：
步骤c3、判断所述水平线和垂直线的使用总数是否小于含零矩阵的行数，若是，在未被水平线和垂直线覆盖的元素中找到最小值，没有被水平线覆盖的每行减去该最小值，被垂直线覆盖的每列加上该最小值，并返回步骤c2；若否，则停止匈牙利算法，最终所得含零矩阵的对角线上的零元素代表最佳分配，即可获得有效检测框与预测轨迹之间的匹配关系。
本发明实施例的有益效果是：提供的基于相机运动趋势估计的多目标视觉跟踪方法，首先获取视频流数据，并通过目标检测结果获取目标在图像平面的像素坐标；根据提供的相机参数，利用单应性变换将图像平面的检测框映射到大地平面，得到目标在大地平面的坐标；根据相机的运动趋势估计，计算相应的过程补偿因子，用于修正卡尔曼滤波器，计算目标在地平面上的测量分布，并将该分布馈送到卡尔曼滤波器中进行迭代计算，输出目标的预测轨迹；再根据映射测量值和预测的轨迹状态作为输入来计算映射的马氏距离，并将结果存入关联代价矩阵中，并通过匈牙利算法关联有效检测框与预测轨迹，以获取完整的轨迹片段，提高了多目标跟踪的鲁棒性以及多目标跟踪精度，不需要计算前后帧的仿射变换矩阵从而对相机逐帧进行补偿，解决了现有的基于相机运动补偿的多目标视觉跟踪方法的计算过程繁琐，需要大量的计算资源和时间的问题，以及现有的基于相机运动补偿的多目标视觉跟踪方法高度依赖算法的准确性和快速性，对传感器和参数的精度要求高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于相机运动趋势估计的多目标视觉跟踪方法的一个应用环境示意图。
图2为本发明实施例中基于相机运动趋势估计的多目标视觉跟踪方法的流程示意图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例提供一种的基于相机运动趋势估计的多目标视觉跟踪方法，其可应用于如图1所示的由相机端和服务端组成的应用系统中，相机端通过网络与相机端进行通信。其中，相机端可以是安装有相机系统的智能终端，如智能手机、个人计算机、笔记本电脑等，相机端还可以是摄像头。另外，本实施例的基于相机运动趋势估计的多目标视觉跟踪方法适用于相机的任意运动场景，所以相机端的相机可以是静态的也可以是动态的。
所述的基于相机运动趋势估计的多目标视觉跟踪方法，包括以下步骤：
获取视频流数据，并通过目标检测结果获取目标在图像平面的像素坐标；
获取相机参数，利用单应性变换将图像平面的目标映射到大地平面，得到映射测量值；
根据相机的运动趋势计算相应的过程补偿因子，进而计算得到过程噪声协方差矩阵；
计算目标在地平面上的测量分布，将该分布反馈至卡尔曼滤波器中进行迭代计算，并根据过程噪声协方差矩阵对卡尔曼滤波器进行修正，卡尔曼滤波器预测输出目标的轨迹状态；
利用映射测量值和预测的轨迹状态作为输入来计算映射的马氏距离，并将结果存入关联代价矩阵中；
根据关联代价矩阵，通过匈牙利算法关联有效检测框与预测轨迹，获取完整的轨迹片段；基于相机运动趋势估计的多目标视觉跟踪方法的某一操作流程图见图2。
在一些实施例中，所述的目标检测结果包含视频流中每一帧的目标信息，包括当前帧号、目标唯一标识符、目标检测框左上角的像素坐标以及检测框的宽高等信息，根据这些目标信息，可以获得视频流中每一帧的每个目标在图像平面中的像素坐标。
在一些实施例中，为了观测和计算方便，所述的利用单应性变换将图像平面的目标映射到大地平面，是利用单应性变换将图像平面的目标检测框底边中点的坐标(u,v)投影到地面坐标，得到映射测量值，具体过程如下：
步骤a1、获取相机参数，包含内部参数矩阵Ki(含焦距、主点偏移等参数)和外部参数矩阵K0(包括相机旋转矩阵和平移矩阵)；
步骤a2、计算单应性变换矩阵A，单应性变换矩阵A由相机的内部参数和外部参数共同决定，表示为：
A＝Ki×K0；
其中，Ki为相机内部参数矩阵，fx表示相机的水平焦距，fy表示相机的垂直焦距，u0和v0表示主点的像素坐标，即相机镜头的光学中心在图像平面上的像素坐标；K0表示由相机外部参数的旋转矩阵R、平移矩阵T组合成的外部参数矩阵；
步骤a3、将相机模型理想化为线性相机模型，再根据单应性变换矩阵A，可以导出地平面坐标与图像平面坐标的关联表达式：
其中，γ是比例因子，γ的值取决于相机的内部参数以及相机的标定；(x,y,z)表示目标检测框在世界坐标系下沿X轴、Y轴和Z轴的长度，这里只考虑平面投影；
将地平面坐标与图像平面坐标的关联表达式中的z当作常量，则地平面坐标的x和y，与图像平面坐标的u和v之间的映射关系可以进一步简化表示为：
步骤a4、已知图像平面的坐标和相机参数，对步骤a3中的矩阵A求逆运算，得到：
其中，b为运算过程中定义的由b1、b2、b3组成的中间矩阵；
即可由图像平面坐标反求得到地平面坐标：
x＝γ×b1，y＝γ×b2；
其中，
按照步骤a1～a4进行单应性变换，即可将目标检测框在图像平面的像素坐标(u,v)转换为大地平面坐标(x,y)。
根据相机的运动趋势计算相应的过程补偿因子，进而计算得到过程噪声协方差矩阵的具体过程为：
步骤b1、相机的运动趋势包括旋转、倾斜或静态场景，本实施例可以根据不同的相机运动场景，计算出相应的过程补偿因子，并用于修正卡尔曼滤波器，实现相机运动补偿；
步骤b2、将计算好的过程补偿因子σx和σy代入到过程噪声协方差QK的计算公式中，计算过程噪声协方差QK：
对于二维恒速的卡尔曼滤波器模型，其过程噪声协方差矩阵QK可以表示为：
QK＝G·diag(σx,σy)·GT；
其中，σx表示沿着x轴的过程补偿因子，处理由相机上下倾斜引起的运动噪声；σy表示沿着y轴的过程补偿因子，处理由相机左右旋转引起的运动噪声；diag(σx,σy)表示由过程补偿因子σx和σy组成对角矩阵
在多目标跟踪任务的背景下，许多先前的工作将目标的运动模型处理为恒定速度模型，而没有考虑由相机运动引起的噪声影响，这极大的降低了跟踪性能，本实施例假设相机的运动是引起加速度的噪声源，那可以通过运动模型将其表示如下：
上式中，Δt表示前后两帧图像之间的时间间隔，Δx表示在噪声影响下目标的位置变化，规定若Δx小于零，表示相机沿着x轴正方向有抖动，反之则沿着负方向抖动；Δv表示在噪声影响下目标的速度变化；σ表示由于相机运动而引起的目标加速度变化；
将相机的运动分解为x和y两个方向，捕获x和y两个方向噪声引起的位置和速度变化之间的关系，可以用对角矩阵G表示：
其中，G表示反应由相机运动引起的位置和速度变化之间的关系的对角矩阵。
下面将通过几个具体的实施例来说明部分应用场景，每一个实施例都可以通过其对应的方法计算出相机的过程补偿因子，用于修正卡尔曼滤波器，每一个实施例都可以用自适应参数对视频系列进行补偿：
应用实例1.根据IMU旋转角速度(IMU估计相机在平面的旋转角速度)，计算相机的运动趋势为旋转或静态场景下的过程补偿因子：
过去有研究者通过IMU的相机姿态估计进行相机运动补偿，其通过IMU的三轴陀螺仪读数得到相机沿x轴、y轴、z轴的旋转角速度，再分别对这些角速度值进行积分，可以得到相机绕各个轴的旋转角度。再将相机各个方向的旋转和平移信息整合到相机外参矩阵中(类似于Bot-Sort的状态转移矩阵)，再结合相机内参矩阵，将目标从三维世界坐标映射到二维图像坐标，以消除相机的抖动。此方法在计算过程中将相机旋转的角速度默认为定值，但实际上相机的运动是不规律的，IMU在长时间工作后，通过积分计算旋转角度会产生累计误差，这将直接导致相机外参矩阵不准确，因此很难达到好的补偿效果，另外在相机抖动比较大的场景下，累计误差会更大，因此其局限性比较大。本实施例不需要通过计算状态转移矩阵进行运动补偿，可以直接根据IMU估计相机在平面的运动趋势，计算相应的过程补偿因子，这里需要重点调强的是，本实施例不需要获取精确的旋转角度值，只需要从IMU陀螺仪的读数中获取相机沿着x轴和y轴的旋转角速度，确定x轴和y轴的旋转角速度与对应的过程补偿因子之间的函数关系式，再根据相应的旋转角速度，通过旋转角速度与对应的过程补偿因子之间的函数关系式，计算其沿着平面x轴和y轴的过程补偿因子大小，本实施例在Dancetrack、MOT17、kitti等数据集中经过多次的实验计算，根据相机旋转角速度计算出了最优的过程补偿因子，下面列举的为本实施例通过分段函数计算过程补偿因子σx和σy的计算式：
其中，ωx表示陀螺仪绕x轴旋转的角速度读数，ωy表示陀螺仪绕y轴旋转的角速度读数，ωx和ωy的单位为度/秒；|ωx|表示ωx的绝对值，|ωy|表示ωy的绝对值。
在一些实施例中，上述分段函数将相机旋转角速度不超过30度/秒的场景看作静态场景，其过程补偿因子σx＝σy＝a1＝0.10.1；对于相机旋转角速度超过30度/秒但不超过300度/秒的场景，其过程补偿因子σx＝σy＝b1＝2.0；对于相机旋转角速度超过300度/秒的场景，其过程补偿因子σx＝σy＝c1＝5.0。该参数的设置仅是本实施例中一个简单计算过程补偿因子的具体表达式，实际在计算过程补偿因子时，过程补偿因子的选取不局限于分段函数中的0.1、2.0、5.0三个补偿参数，根据不同的相机旋转角速度，过程补偿因子可以在0.1到5区间取值甚至大于5的范围取值，另外还可以对上述分段函数的ωx和ωy区间进一步进行细分。通过上述的过程补偿因子来补偿相机运动，无需进行复杂计算，且一个视频系列可以只计算一个过程补偿因子用于该视频系列的运动补偿，极大的减少了计算工作量，并且补偿效果显著。上述分段函数仅为本发明实施例计算过程补偿因子的其中一个具体表达式，本发明实施例可以根据IMU旋转角速度与过程补偿因子的多种函数关系式计算相机在左右旋转或静态运动趋势下的过程补偿因子。
应用实例2.根据前后帧图像的跟踪目标的像素偏移，判断相机的运动方向和运动幅度，计算相机的运动趋势为倾斜或静态场景下的过程补偿因子：
本实施例在MOT17和dancetrack等数据集中做了大量实验，每个数据集中都包含了静态场景和动态场景，动态场景中往往伴随着相机的左右旋转以及上下倾斜，另外在动态场景中每个相机的运动幅度也有很大差异。本实施例在实验过程中通过比较相邻几帧图像的特征变化，结合目标跟踪结果数据，可以得到相机大概的运动幅度，再根据相机的运动幅度(平面上相机运动分为上下和左右运动)，计算相应的过程补偿因子，经过多次实验对比和总结，相机的运动幅度和过程补偿因子的计算可以用以下分段函数表示：
其中，目标检测框(跟踪目标)在前后帧图像的左上角像素x轴坐标变化值Δpx的平均值；表示在连续多帧(5～10帧)图像中，目标检测框在前后帧图像的左上角像素y轴坐标变化值Δpy的平均值。
在一些实施例中，对于不超过10个像素值的场景可以当作静态场景，根据分段函数，可以选取一个较小的过程补偿因子，将补偿因子设置为σx＝σy＝a2＝0.1补偿整个视频系列；对于/>超过10个像素值但不超过100个像素值的场景，将补偿因子设置为σx＝σy＝b2＝0.8补偿整个视频系列；对于/>超过100个像素值的场景，将补偿因子设置为σx＝σy＝c2＝4.5补偿整个视频系列。
上述分段函数仅为本发明实施例计算过程补偿因子的其中一个具体表达式，本发明实施例可以根据前后帧图像的跟踪目标的像素偏移量与过程补偿因子的多种函数关系式计算相机在左右倾斜或静态运动趋势下的过程补偿因子。实际在计算过程补偿因子时，过程补偿因子的选取不局限于分段函数中的0.1、0.8、4.5三个补偿参数，根据不同的相机旋转角速度，过程补偿因子可以在0.1到5区间取值甚至大于5的范围取值，另外还可以对上述分段函数的和/>区间进一步进行细分。通过上述的过程补偿因子来补偿相机运动，无需进行复杂计算，且一个视频系列可以只计算一个过程补偿因子用于该视频系列的运动补偿，极大的减少了计算工作量，并且补偿效果显著。
上述两个实施例不需要逐帧计算仿射变化矩阵，不需要对视频系列进行逐帧补偿，本发明实施例在Dancetrack、MOT17、kitti等多个数据集上进行了实验验证，将所计算的过程补偿因子用于修正卡尔曼滤波器，并在相关的专业赛道提交跟踪结果，最终排名在OC-SORT等一些性能良好的跟踪器之前，极大的提升了跟踪器的跟踪性能。
在一些实施例中，一旦获得从像素坐标到地面坐标的计算公式，像素坐标中的误差也将映射到地面坐标。因此，有必要进一步计算由图像平面中的误差引起的地平面中的检测误差的分布，在整个过程中检测噪声vk被假定服从独立的正态分布：vk～N(0,Rk)，其中Rk表示测量噪声的协方差矩阵，最后再将计算出的地面检测误差反馈至卡尔曼滤波器中，具体过程如下：
计算图像平面中的探测器误差，探测器指基于神经网络的目标检测器，如yolox，图像平面中的探测器的测量误差遵循独立的正态分布，其协方差矩阵可以表示为：
其中，σm表示作为超参数的检测噪声因子，wk表示从检测器检测到的宽度，hk表示从检测器检测到的高度；
对步骤a3的单应性变换矩阵A求逆，可以表示为：
由此可以获得地平面上的映射测量噪声矩阵Rk：
其中，B为定义的中间矩阵，BT为中间矩阵B的转置；
建立恒速卡尔曼滤波器模型，选择合适的状态向量x、观测向量z，观测向量z用于与滤波器的预测状态进行比较，以更新目标状态的估计；
本实例基于大地平面建模，只需要考虑平面x和y坐标的状态向量，所以目标的状态向量可以选择：
其中，x和y是步骤a4所求图像平面的目标检测框底边中点的坐标映射到大地平面的x轴和y轴的坐标值，和/>分别表示目标在水平和竖直方向的运动速度；
其观测向量z为：
z＝[x y]T；
将过程噪声协方差QK、测量噪声矩阵Rk、观测向量z、状态向量x代入到卡尔曼滤波器中，最后预测并输出目标的轨道状态向量，其具体运算过程如下：
卡尔曼滤波器算法分为预测和更新两个阶段，其预测部分的递推方程如下：
其中，表示上一(k-1)时刻目标状态向量的最优评估值，其最开始输入的是第一帧的状态向量值；/>表示根据上一时刻的状态向量对当前(k)时刻的预测值；QK为过程噪声协方差矩阵；Pk-1|k-1和Pk|k-1分别是k-1和k时刻的后验协方差矩阵，是滤波的结果之一；Fk表示状态转移矩阵，表示为：
卡尔曼滤波器的更新部分的递推方程如下：
/>
Pk|k＝(I-KkH)Pk|k-1；
其中，Kk为卡尔曼增益，Pk|k表示k时刻的后验估计协方差矩阵，I是单位矩阵，HT表示观测矩阵H的转置，观测矩阵H可以表示为：
先将第一帧的目标状态向量输入到卡尔曼滤波器中，通过设定的状态转移矩阵Fk，预测下一帧的状态向量估计值在前期计算出了过程噪声协方差矩阵QK，再根据状态向量/>的值计算其协方差矩阵Pk|k-1，再将估算出的/>Pk|k-1以及计算出的Rk代入到卡尔曼滤波器算法更新部分的递推方程中，可以计算出卡尔曼增益Kk、k时刻的后验估计协方差矩阵Pk|k，以及更新后的目标状态向量/>然后，将更新后的协方差矩阵Pk|k、目标状态向量/>重新馈送给预测部分，作为更新后的Pk-1|k-1、/>并重复以上利用Pk-1|k-1、/>估算/>Pk|k-1的操作，直至预测输出目标的状态向量/>
在图像平面的运动建模中，IoU是最常用的用于数据关联的距离度量，然而，当目标高速运动，或者以低帧率捕获，或者在有移动相机的场景中，检测框和轨迹之间的缺乏重叠会使IoU失效，在地平面建模中使用归一化马氏距离有效地解决了IoU效率的问题，计算映射的马氏距离的具体过程如下：
计算地平面上的映射测量值z与卡尔曼滤波器预测状态的残余，其具体计算公式为：
其中，∈是地平面上的映射测量值组成的观测向量z与卡尔曼滤波器中的观测向量的差值，称之为残差；/>表示卡尔曼滤波器预测的轨迹状态，H表示观测矩阵；
计算残差协方差矩阵S，其具体表达式如下：
S＝HPk|kHT+Rk；
计算映射测量值z和预测的轨迹状态的归一化马氏距离，其具体表达式如下：
D＝∈TS-1∈+ln|S|；
上式中，|S|表示矩阵S的行列式，ln表示自然对数，D表示归一化马氏距离；
计算归一化马氏距离，其中包括测量协方差矩阵行列式的对数，这确保了数据关联决策不仅仅基于测量和预测之间的差异，而且还全面考虑测量的准确性和不确定性，因此，这将在对象跟踪中产生更鲁棒和可靠的关联决策；
将所有检测目标的映射测量值与所有预测轨迹之间的归一化马氏距离存入关联代价矩阵C，具体的，根据当前检测目标的个数确定关联代价矩阵C的行数n，并根据跟踪预测目标的个数确定关联代价矩阵C的列数m，对于每个检测目标(行)和每个跟踪预测(列)，计算归一化马氏距离，并将结果存储在关联代价矩阵C的相应位置，关联代价矩阵C表示为：
C是一个n×m的矩阵，其存放的是每个检测目标与每个跟踪预测的归一化马氏距离D。在多目标跟踪任务中，通常存在多个检测到的目标和多个跟踪预测值，需要确定如何将每个检测目标与每个跟踪目标关联起来，计算马氏距离可以帮助确定哪个检测目标与哪个跟踪目标最匹配，从而实现目标关联。
在一些实施例中，根据关联代价矩阵，通过匈牙利算法关联有效检测框与预测轨迹，获取完整的轨迹片段的具体过程为：
步骤c1、对关联代价矩阵C进行最小值剔除处理，获得含零矩阵：
先确定关联代价矩阵C每行的最小值，并将其每行减去该行的最小值；
再确定关联代价矩阵C每行的最小值，并将其每列减去该列的最小值，从而得到含有多个零元素的关联代价矩阵C，即含零矩阵；
步骤c2、利用最少的水平线和垂直线覆盖所述含零矩阵中的所有零元素，并记录水平线和垂直线的使用总数：
步骤c3、判断所述水平线和垂直线的使用总数是否小于含零矩阵的行数，若是，在未被水平线和垂直线覆盖的元素中找到最小值，没有被水平线覆盖的每行减去该最小值，被垂直线覆盖的每列加上该最小值，并返回步骤c2；若否，则停止匈牙利算法，最终所得含零矩阵的对角线上的零元素代表最佳分配，即可获得有效检测框与预测轨迹之间的匹配关系。
本实施例匈牙利算法被用于执行最优分配，该过程产生相关联的轨迹、未相关联的轨迹片段和未相关联的检测框：
相关联的轨迹被保留，用于在后续跟踪帧中做准备；
未关联的轨迹片段的损失时间增加1，当丢失时间超过设定的阈值dt时，将删除轨迹条；
关于未关联的检测框，如果其置信度分数超过置信度阈值τ，则其进入轨迹集初始化阶段，为这些未关联的检测框创建新的轨迹，以跟踪它们，并在后续帧中继续关联和更新这些轨迹；未关联的检测框的置信度分数是由目标检测器生成的，该分数表示检测框包含目标的概率或可信度，通常，置信度阈值τ由算法的用户根据具体应用来设置，以确定哪些未关联的检测框应该被视为目标；
算法最终输出是视频的轨迹T，并且每个轨迹包含每个帧中的目标检测框和标识。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.基于相机运动趋势估计的多目标视觉跟踪方法，其特征在于，包括以下步骤：
获取视频流数据，并通过目标检测结果获取目标在图像平面的像素坐标；
获取相机参数，利用单应性变换将图像平面的目标映射到大地平面，得到映射测量值；
根据相机的运动趋势计算相应的过程补偿因子，进而计算得到过程噪声协方差矩阵，具体过程为：
步骤b1、相机的运动趋势包括旋转、倾斜或静态场景，根据不同的相机运动场景，计算出相应的过程补偿因子；
步骤b2、将计算好的过程补偿因子σx和σy代入到过程噪声协方差QK的计算公式中，计算过程噪声协方差QK：
QK＝G·diag(σx,σy)·GT；
其中，σx表示沿着x轴的过程补偿因子，处理由相机上下倾斜引起的运动噪声；σy表示沿着y轴的过程补偿因子，处理由相机左右旋转引起的运动噪声；diag(σx,σy)表示由过程补偿因子σx和σy组成对角矩阵；G表示反应由相机运动引起的位置和速度变化之间的关系的对角矩阵，GT为矩阵G的转置，Δt表示前后两帧图像之间的时间间隔；
计算目标在地平面上的测量分布，将该分布反馈至卡尔曼滤波器中进行迭代计算，并根据过程噪声协方差矩阵对卡尔曼滤波器进行修正，卡尔曼滤波器预测输出目标的轨迹状态；
利用映射测量值和预测的轨迹状态作为输入来计算映射的马氏距离，并将结果存入关联代价矩阵中；
根据关联代价矩阵，通过匈牙利算法关联有效检测框与预测轨迹，获取完整的轨迹片段。
2.根据权利要求1所述的基于相机运动趋势估计的多目标视觉跟踪方法，其特征在于，所述的利用单应性变换将图像平面的目标映射到大地平面，是利用单应性变换将图像平面的目标检测框底边中点的坐标(u,v)投影到地面坐标，得到映射测量值，具体过程如下：
步骤a1、获取相机参数，包含内部参数矩阵Ki和外部参数矩阵K0；
步骤a2、计算单应性变换矩阵A，单应性变换矩阵A由相机的内部参数和外部参数共同决定，表示为：
A＝Ki×K0；
其中，Ki为相机内部参数矩阵，fx表示相机的水平焦距，fy表示相机的垂直焦距，u0和v0表示主点的像素坐标，即相机镜头的光学中心在图像平面上的像素坐标；K0表示由相机外部参数的旋转矩阵R、平移矩阵T组合成的外部参数矩阵；
步骤a3、将相机模型理想化为线性相机模型，再根据单应性变换矩阵A，导出地平面坐标与图像平面坐标的关联表达式为：
其中，γ是比例因子，(x,y,z)表示目标检测框在世界坐标系下沿X轴、Y轴和Z轴的长度；
将地平面坐标与图像平面坐标的关联表达式中的z当作常量，则地平面坐标的x和y，与图像平面坐标的u和v之间的映射关系进一步表示为：
步骤a4、已知图像平面的坐标和相机参数，对步骤a3中的矩阵A求逆运算，得到：
其中，b为运算过程中定义的由b1、b2、b3组成的中间矩阵；
即可由图像平面坐标反求得到地平面坐标：
x＝γ×b1，y＝γ×b2；
其中，
3.根据权利要求1所述的基于相机运动趋势估计的多目标视觉跟踪方法，其特征在于，根据IMU旋转角速度与过程补偿因子的函数关系式，计算相机的运动趋势为旋转或静态场景的过程补偿因子。
4.根据权利要求1所述的基于相机运动趋势估计的多目标视觉跟踪方法，其特征在于，根据前后帧图像的跟踪目标的像素偏移量与过程补偿因子的函数关系式，计算相机的运动趋势为倾斜或静态场景的过程补偿因子。
5.根据权利要求3或4所述的基于相机运动趋势估计的多目标视觉跟踪方法，其特征在于，通过IMU旋转角速度与过程补偿因子的分段函数，计算相机的运动趋势为旋转或静态场景的过程补偿因子；
通过前后帧图像的跟踪目标的像素偏移量与过程补偿因子的分段函数，计算相机的运动趋势为倾斜或静态场景的过程补偿因子。
6.根据权利要求2所述的基于相机运动趋势估计的多目标视觉跟踪方法，其特征在于，计算目标在地平面上的测量分布，将该分布反馈至卡尔曼滤波器中进行迭代计算，是计算由图像平面中的误差引起的地平面中的检测误差的分布，最后再将计算出的地面检测误差反馈至卡尔曼滤波器中，具体过程如下：
计算图像平面中的探测器误差，图像平面中的探测器的测量误差遵循独立的正态分布，其协方差矩阵为：
其中，σm表示作为超参数的检测噪声因子，wk表示从检测器检测到的宽度，hk表示从检测器检测到的高度；
对步骤a3的单应性变换矩阵A求逆为：
由此获得地平面上的映射测量噪声矩阵Rk：
其中，B为定义的中间矩阵，BT为中间矩阵B的转置；
建立恒速卡尔曼滤波器模型，选择状态向量x、观测向量z：
其中，x和y是步骤a4所求图像平面的目标检测框底边中点的坐标映射到大地平面的x轴和y轴的坐标值，和/>分别表示目标在水平和竖直方向的运动速度；
其观测向量z为：
将过程噪声协方差QK、测量噪声矩阵Rk、观测向量z、状态向量x代入到卡尔曼滤波器中，最后预测并输出目标的轨道状态向量。
7.根据权利要求6所述的基于相机运动趋势估计的多目标视觉跟踪方法，其特征在于，卡尔曼滤波器预测目标的轨道状态向量的具体运算过程如下：
卡尔曼滤波器算法分为预测和更新两个阶段，其预测部分的递推方程如下：
其中，表示k-1时刻即上一时刻目标状态向量的最优评估值，其最开始输入的是第一帧的状态向量值；/>表示根据上一时刻的状态向量对当前时刻即k时刻的预测值；QK为过程噪声协方差矩阵；Pk-1|k-1和Pk|k-1分别是k-1和k时刻的后验协方差矩阵；Fk表示状态转移矩阵，表示为：
卡尔曼滤波器的更新部分的递推方程如下：
Kk＝Pk|k-1HT(HPk|k-1HT+Rk)-1；
Pk|k＝(I-KkH)Pk|k-1；
其中，Kk为卡尔曼增益，Pk|k表示k时刻的后验估计协方差矩阵，I是单位矩阵，HT表示观测矩阵H的转置，观测矩阵H表示为：
先将第一帧的目标状态向量输入到卡尔曼滤波器中，通过设定的状态转移矩阵Fk，预测下一帧的状态向量估计值在前期计算出了过程噪声协方差矩阵QK，再根据状态向量的值计算其协方差矩阵Pk|k-1，再将估算出的/>Pk|k-1以及计算出的Rk代入到卡尔曼滤波器算法更新部分的递推方程中，可以计算出卡尔曼增益Kk、k时刻的后验估计协方差矩阵Pk|k，以及更新后的目标状态向量/>然后，将更新后的协方差矩阵Pk|k、目标状态向量重新馈送给预测部分以作为更新后的Pk-1|k-1、/>并重复以上利用Pk-1|k-1、/>估算Pk|k-1的操作，直至预测输出目标的状态向量/>
8.根据权利要求7所述的基于相机运动趋势估计的多目标视觉跟踪方法，其特征在于，利用映射测量值和预测的轨迹状态作为输入来计算映射的马氏距离，并将结果存入关联代价矩阵的具体过程如下：
计算地平面上的映射测量值z与卡尔曼滤波器预测状态的残余，计算公式为：
其中，ε是地平面上的映射测量值组成的观测向量z与卡尔曼滤波器中的观测向量的差值，称之为残差；/>表示卡尔曼滤波器预测的轨迹状态，H表示观测矩阵；
计算残差协方差矩阵S，表达式如下：
S＝HPk|kHT+Rk；
计算映射测量值z和预测的轨迹状态的归一化马氏距离，表达式如下：
D＝εTS-1ε+ln|S|；
上式中，|S|表示矩阵S的行列式，ln表示自然对数，D表示归一化马氏距离；
根据当前检测目标的个数确定关联代价矩阵C的行数n，并根据跟踪预测目标的个数确定关联代价矩阵C的列数m，关联代价矩阵C表示为：
对于每个检测目标和每个跟踪预测，计算归一化马氏距离D后存储在关联代价矩阵C的相应位置。
9.根据权利要求1～4任一项或6～8任一项所述的基于相机运动趋势估计的多目标视觉跟踪方法，其特征在于，根据关联代价矩阵，通过匈牙利算法关联有效检测框与预测轨迹，获取完整的轨迹片段的具体过程为：
步骤c1、对关联代价矩阵C进行最小值剔除处理，获得含零矩阵：
先确定关联代价矩阵C每行的最小值，并将其每行减去该行的最小值；
再确定关联代价矩阵C每行的最小值，并将其每列减去该列的最小值，从而得到含有多个零元素的关联代价矩阵C，即含零矩阵；
步骤c2、利用最少的水平线和垂直线覆盖所述含零矩阵中的所有零元素，并记录水平线和垂直线的使用总数：
步骤c3、判断所述水平线和垂直线的使用总数是否小于含零矩阵的行数，若是，在未被水平线和垂直线覆盖的元素中找到最小值，没有被水平线覆盖的每行减去该最小值，被垂直线覆盖的每列加上该最小值，并返回步骤c2；若否，则停止匈牙利算法，最终所得含零矩阵的对角线上的零元素代表最佳分配，即可获得有效检测框与预测轨迹之间的匹配关系。
CN202311465351.5A 2023-11-06 2023-11-06 基于相机运动趋势估计的多目标视觉跟踪方法 Active CN117495900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311465351.5A CN117495900B (zh) 2023-11-06 2023-11-06 基于相机运动趋势估计的多目标视觉跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311465351.5A CN117495900B (zh) 2023-11-06 2023-11-06 基于相机运动趋势估计的多目标视觉跟踪方法

Publications (2)

Publication Number Publication Date
CN117495900A CN117495900A (zh) 2024-02-02
CN117495900B true CN117495900B (zh) 2024-06-07

Family

ID=89682335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311465351.5A Active CN117495900B (zh) 2023-11-06 2023-11-06 基于相机运动趋势估计的多目标视觉跟踪方法

Country Status (1)

Country Link
CN (1) CN117495900B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087846A1 (zh) * 2018-10-31 2020-05-07 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN116777950A (zh) * 2023-04-19 2023-09-19 长沙理工大学 基于相机参数的多目标视觉跟踪方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037260B (zh) * 2020-08-31 2024-05-28 深圳市道通智能航空技术股份有限公司 一种跟踪目标的位置估计方法、装置及无人飞行器
CN114609912B (zh) * 2022-03-18 2023-10-03 电子科技大学 基于伪线性最大相关熵卡尔曼滤波的仅测角目标追踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087846A1 (zh) * 2018-10-31 2020-05-07 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN116777950A (zh) * 2023-04-19 2023-09-19 长沙理工大学 基于相机参数的多目标视觉跟踪方法、装置、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于卡尔曼滤波-LSTM模型的车速估计方法;易可夫等;公路工程;20221231;全文 *
大规模动态环境下的高精度3D SLAM方法研究;王颖博;硕士论文;20230511;部分1-2 *
大规模动态环境下的高精度3D_SLAM方法研究;王颖博;硕士学位论文;20230511;全文 *

Also Published As

Publication number Publication date
CN117495900A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN113269098B (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
CN112985416B (zh) 激光与视觉信息融合的鲁棒定位和建图方法及系统
CN110782494A (zh) 一种基于点线融合的视觉slam方法
US11138742B2 (en) Event-based feature tracking
CN111127513A (zh) 一种多目标跟踪方法
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
US20090213219A1 (en) Visually tracking an object in real world using 2d appearance and multicue depth estimations
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
US12008785B2 (en) Detection, 3D reconstruction and tracking of multiple rigid objects moving in relation to one another
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
Taylor et al. Fusion of multimodal visual cues for model-based object tracking
CN113066127B (zh) 一种在线标定设备参数的视觉惯性里程计方法和系统
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
JP6061770B2 (ja) カメラ姿勢推定装置及びそのプログラム
CN112802096A (zh) 实时定位和建图的实现装置和方法
CN116309731A (zh) 一种基于自适应卡尔曼滤波的多目标动态跟踪方法
CN111354022A (zh) 基于核相关滤波的目标跟踪方法及系统
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
JP2020122754A (ja) ３次元位置推定装置及びプログラム
CN117615255B (zh) 基于云台的拍摄追踪方法、装置、设备及存储介质
CN114581678A (zh) 一种模板特征匹配的自动跟踪与重识别方法
Keivan et al. Constant-time monocular self-calibration
CN113052877A (zh) 一种基于多摄像头融合的多目标追踪方法
CN117495900B (zh) 基于相机运动趋势估计的多目标视觉跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant