CN112634333B - 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置 - Google Patents

一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置 Download PDF

Info

Publication number
CN112634333B
CN112634333B CN202011610695.7A CN202011610695A CN112634333B CN 112634333 B CN112634333 B CN 112634333B CN 202011610695 A CN202011610695 A CN 202011610695A CN 112634333 B CN112634333 B CN 112634333B
Authority
CN
China
Prior art keywords
tracking
frame
target
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011610695.7A
Other languages
English (en)
Other versions
CN112634333A (zh
Inventor
吴林春
鹿璇
黄炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhuomu Technology Co.,Ltd.
Original Assignee
Wuhan Zmvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zmvision Technology Co ltd filed Critical Wuhan Zmvision Technology Co ltd
Priority to CN202011610695.7A priority Critical patent/CN112634333B/zh
Publication of CN112634333A publication Critical patent/CN112634333A/zh
Application granted granted Critical
Publication of CN112634333B publication Critical patent/CN112634333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种基于ECO算法和卡尔曼滤波的跟踪方法及装置，方法读取视频或图像序列的第一帧图像，确定跟踪目标；将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；读取下一帧图像，利用相关滤波器卷积图像候选区域获取目标位置；根据跟踪结果得到相邻两帧间目标相对运动信息；将目标运动状态转换为对第一帧的相对运动状态；将跟踪状态送入卡尔曼滤波器得到最优预测结果；使用样本融合更新策略，更新ECO算法的样本集；利用新样本集训练ECO算法，更新相关滤波器，利用相关滤波器卷积图像候选区域获取目标位置；循环执行上述步骤。本发明对于目标出现遮挡或形变或相似目标时，结合目标的运动信息辅助跟踪定位，并用最优框中的结果更新样本集，提升训练效果。

Description

一种基于ECO算法和卡尔曼滤波的跟踪装置方法及装置
技术领域
本发明涉及计算机视觉应用目标跟踪领域，具体涉及一种基于ECO算法和卡尔曼滤波的跟踪方法及装置。
背景技术
视觉目标跟踪是计算机视觉中一个重要研究方向，在军事无人飞行器、精确制导以及空中预警和民用视频监控，无人驾驶等嵌入式监控领域有着极其广泛的应用，同时目标跟踪面临着目标尺度变换、重度遮挡、快速移动、超出视野和光照变化等众多挑战，因此提出一种可靠且结构轻巧的目标跟踪方法具有很重要的现实意义。
近期热门的跟踪器大多依赖深度网络，如Prdimp,以resnet50为主干网，在精度上达到了很高，然而在2080ti配置的服务器上也只能刚刚达到30FPS，一般小型的嵌入式跟踪器无法满足算法对设备体积和承重要求。追溯传统目标跟踪算法，他们通常由一个滤波卷积模块和回归修正模块构成。滤波卷积模块负责特征匹配并给出粗略位置估计，然后由回归修正模块迭代给出最终结果。在这个过程中，只有目标的外观特征相似度是被考虑在内的。然而，跟踪是一个连续的过程，其运动连续性在追踪过程中显然也是非常有用的信息。
发明内容
鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种基于ECO算法和卡尔曼滤波的跟踪方法及装置，将物体的运动信息也考虑进跟踪过程，根据外观信息得到初步结果，辅以融合历史运动信息的卡尔曼滤波预测结果，综合得到最优位置估计。本方法结合了空间上物体外观信息和时间上物体位移信息，同时满足在实际应用中的时空连续性，具体方案如下：
作为本发明的第一方面，提供一种基于ECO算法和卡尔曼滤波的跟踪方法，所述方法包括：
步骤1，读取视频或图像序列的第一帧图像，从所述第一帧图像中确定跟踪目标；
步骤2，将第一帧图像中跟踪目标的位置信息作为样本放入ECO算法训练相关滤波器；
步骤3，读取下一帧图像，利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率，即得到当前帧图像的目标跟踪结果；
重复执行步骤3，直至当前视频或图像序列处理完。
进一步地，步骤3之后还包括：
步骤4，用第一帧图像中跟踪目标的位置信息初始化卡尔曼滤波器；
步骤5，将跟踪结果转化为相对第一帧的位置信息[x1t，y1t]；
步骤6，将[x1t，y1t]送入初始化后的卡尔曼滤波器得到最优估计位置
Figure GDA0003645880920000021
计算最优估计位置处的置信度，若该置信度大于预设阈值，返回最优估计位置处切片作为新样本；
步骤7，基于获取的新样本，使用样本融合更新策略，更新ECO算法的样本集，将获取的新样本集放入ECO算法训练相关滤波器，更新相关滤波器；
更新相关滤波器，步骤3中，利用更新后的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
进一步地，步骤4具体为：
步骤4.1，设目标状态向量更新方程为：
方程一：xk＝Fkxk-1；
其中，
Figure GDA0003645880920000031
是目标的当前状态矩阵，
Figure GDA0003645880920000032
是状态转移矩阵，其中，Position＝(x,y)为目标位置，velocity为当前速度，P为Position的缩写，v为velocity的缩写；
步骤4.2，设状态协方差矩阵的更新方程为：
方程二：Cov(x)＝∑Cov(Ax)＝A∑AT；
结合方程一得
Figure GDA0003645880920000033
其中，x为状态矩阵，Pk-1为前一帧的协方差矩阵，等同于求和符号，A为公式推导中的辅助变量；
由于在跟踪时，跟踪目标的主观运动动量是不可知的，即控制矩阵，控制向量和加速度未知，因而跟踪部分的整体更新方程为：
Figure GDA0003645880920000034
xk＝Fkxk-1；
跟踪过程存在不确定的外部影响，会对系统产生不确定的干扰，且无法对这些干扰进行准确的跟踪和量化的，因此，除了外界的确定项，还需要考虑不确定干扰项Wk和Qk，其中，Wk代表对应于xk的干扰矩阵，Qk代表对应于Pk的干扰矩阵，最终的状态方程如下：
xk＝Fkxk-1+Wk；
Figure GDA0003645880920000041
在初始化卡尔曼滤波器时，就是初始化
Figure GDA0003645880920000042
W1，Q1设置为经验噪声矩阵，即
Figure GDA0003645880920000043
进一步地，步骤6具体为：
步骤6.1，令跟踪结果的运动学方程如下：
Zk＝Hkxk+Vk；
其中，Zk是跟踪结果的运动状态，包含当前帧目标相对第一帧目标的位置信息，Hk为转换矩阵，即将跟踪结果转换到和原结果同一坐标系的矩阵，由于这里输入跟踪结果C1t＝[x1t,y1t]已经是相对第一帧的同一坐标系，Vk为噪声信息。
步骤6.2，接下来用预测结果和跟踪结果进行高斯分布相乘求极值得到新位置，并同时更新协方差矩阵，即找到相乘后新的高斯分布的均值和方差，此步骤根据高斯分布的相乘方程得到更新方程如下：
Figure GDA0003645880920000044
其中，
Figure GDA0003645880920000045
为预测高斯分布和跟踪高斯分布相乘后的卡尔曼增益，求得新位置的置信度，若大于预设阈值，返回位置处切片为新样本，其中，Pk是协方差矩阵，Rk是测量部分，即根据跟踪生成的状态矩阵，Zk是预测得到的状态矩阵，
Figure GDA0003645880920000046
是上一帧的最优估计状态矩阵。
进一步地，将目标运动状态转换为对第一帧的相对运动状态[x1t，y1t]具体为：
已知第t帧的跟踪结果Ct＝[xt,yt]与上一帧跟踪结果Ct-1＝[xt-1,yt-1]做差分，并加上上一帧对第一帧的绝对位置C1t-1＝[x1t-1,y1t-1]得到当前帧对第一帧的相对位置C1t＝[x1t,y1t]。
作为本发明的第二方面，提供一种基于ECO算法和卡尔曼滤波的跟踪装置，其特征在于，所述装置包括目标确定模块、ECO训练模块以及目标位置计算模块；
所述目标确定模块用于读取视频或图像序列的第一帧图像，从所述第一帧图像中确定跟踪目标；
所述ECO训练模块用于将第一帧图像中跟踪目标的位置信息作为样本放入ECO算法训练相关滤波器；
所述目标位置计算模块用于读取下一帧图像，利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率，即得到当前帧图像的目标跟踪结果，以此将当前视频或图像序列处理完。
进一步地，所述装置还包括样本集更新模块，所述样本集更新模块具体用于：
用第一帧图像中跟踪目标的位置信息初始化卡尔曼滤波器；
将跟踪结果转化为相对第一帧的位置信息[x1t，y1t]；
将[x1t，y1t]送入初始化后的卡尔曼滤波器得到最优估计位置
Figure GDA0003645880920000051
计算最优估计位置处的置信度，若该置信度大于预设阈值，返回最优估计位置处切片作为新样本；
基于获取的新样本，使用样本融合更新策略，更新ECO算法的样本集，将获取的新样本集放入ECO算法训练相关滤波器，更新相关滤波器；
更新相关滤波器后，所述目标位置计算模块利用更新后的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
进一步地，用第一帧图像中跟踪目标的位置信息初始化卡尔曼滤波器具体为：
设目标状态向量更新方程为：
方程一：xk＝Fkxk-1；
其中，
Figure GDA0003645880920000061
是目标的当前状态矩阵，
Figure GDA0003645880920000062
是状态转移矩阵，其中，Position＝(x,y)为目标位置，velocity为当前速度，P为Position的缩写，v为velocity的缩写；
设状态协方差矩阵的更新方程为：
方程二：Cov(x)＝∑Cov(Ax)＝A∑AT；
结合方程一得
Figure GDA0003645880920000063
其中，x为状态矩阵，Pk-1为前一帧的协方差矩阵，等同于求和符号，A为公式推导中的辅助变量；
由于在跟踪时，跟踪目标的主观运动动量是不可知的，即控制矩阵，控制向量和加速度未知，因而跟踪部分的整体更新方程为：
Figure GDA0003645880920000064
xk＝Fkxk-1；
跟踪过程存在不确定的外部影响，会对系统产生不确定的干扰，且无法对这些干扰进行准确的跟踪和量化的，因此，除了外界的确定项，还需要考虑不确定干扰项Wk和Qk，其中，Wk代表对应于xk的干扰矩阵，Qk代表对应于Pk的干扰矩阵，最终的状态方程如下：
xk＝Fkxk-1+Wk；
Figure GDA0003645880920000071
在初始化卡尔曼滤波器时，就是初始化
Figure GDA0003645880920000072
W1，Q1设置为经验噪声矩阵，即
Figure GDA0003645880920000073
进一步地，将[x1t，y1t]送入初始化后的卡尔曼滤波器得到最优估计位置
Figure GDA0003645880920000074
计算最优估计位置处的置信度，若该置信度大于预设阈值，返回最优估计位置处切片作为新样本具体为：
令跟踪结果的运动学方程如下：
Zk＝Hkxk+Vk；
其中，Zk是跟踪结果的运动状态，包含当前帧目标相对第一帧目标的位置信息，Hk为转换矩阵，即将跟踪结果转换到和原结果同一坐标系的矩阵，由于这里输入跟踪结果C1t＝[x1t,y1t]已经是相对第一帧的同一坐标系，Vk为噪声信息。
接下来用预测结果和跟踪结果进行高斯分布相乘求极值得到新位置，并同时更新协方差矩阵，即找到相乘后新的高斯分布的均值和方差，此步骤根据高斯分布的相乘方程得到更新方程如下：
Figure GDA0003645880920000075
其中，
Figure GDA0003645880920000081
为预测高斯分布和跟踪高斯分布相乘后的卡尔曼增益，求得新位置的置信度，若大于预设阈值，返回位置处切片为新样本，其中，Pk是协方差矩阵，Rk是测量部分，即根据跟踪生成的状态矩阵，Zk是预测得到的状态矩阵，
Figure GDA0003645880920000082
是上一帧的最优估计状态矩阵。
进一步地，将目标运动状态转换为对第一帧的相对运动状态[xt,yt]具体为：
已知第t帧的跟踪结果Ct＝[xt,yt]与上一帧跟踪结果Ct-1＝[xt-1,yt-1]做差分，并加上上一帧对第一帧的绝对位置C1t-1＝[x1t-1,y1t-1]得到当前帧对第一帧的相对位置C1t＝[x1t,y1t]。
本发明具有以下有益效果：
(1)本发明采用了较加入噪声估计的卡尔曼滤波运动学方程，这对应对拍摄视角变化有一定作用；另外根据历史信息的预测和跟踪结果的结合，在一定程度上避免了相似目标混淆下跟踪的丢失，此方法可以较准确地计算待检测图像中目标与历史目标之间的关联性，能达到跟踪技术的高精度目标；
(2)速率快：本发明不涉及重采样，没有引入深度网络，在cpu上即可达到实时且准确的跟踪效果。
附图说明
图1为为本发明实施例提供的一种基于ECO算法和卡尔曼滤波的跟踪方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于ECO算法和目标检测的视觉目标跟踪方法，包括以下步骤：
S1、读取视频或图像序列的第一帧图像，人为设定或通过目标检测算法确定跟踪目标
S2、用第一帧图像的位置信息[x1,y1]初始化卡尔曼滤波器，具体包括：
(1)设目标状态向量更新方程为：
xk＝Fkxk-1；
其中，
Figure GDA0003645880920000091
是目标的当前状态矩阵，
Figure GDA0003645880920000092
是状态转移矩阵，其中，Position＝(x,y)为目标位置，velocity为当前速度，P为Position的缩写，v为velocity的缩写。
(2)设状态协方差矩阵的更新方程为：
Cov(x)＝∑Cov(Ax)＝A∑AT；
结合(1)得
Figure GDA0003645880920000093
其中，x为状态矩阵，Pk-1为前一帧的协方差矩阵，等同于求和符号，A为公式推导中的辅助变量，即此式只代表公式推导，后续运用时，将A换成对应的状态转移矩阵F，协方差矩阵(求和符号)替换为对应的协方差矩阵P。
(3)由于在跟踪时，跟踪目标的主观运动动量是不可知的，即控制矩阵，控制向量和加速度未知，因而观测部分的整体更新方程为：
Figure GDA0003645880920000094
xk＝Fkxk-1；
(4)跟踪过程存在不确定的外部影响，会对系统产生不确定的干扰。如相机的平移，旋转，相机高度变化等，其无法对这些干扰进行准确的跟踪和量化的，所以，除了外界的确定项，还需要考虑不确定干扰项Wk和Qk，其中，Wk代表对应于xk的干扰矩阵，Qk代表对应于Pk的干扰矩阵；
最终的状态方程如下：
xk＝Fkxk-1+Wk；
Figure GDA0003645880920000101
(5)在初始化卡尔曼滤波器时，就是初始化
Figure GDA0003645880920000102
W1，Q1的设置为经验噪声矩阵，即
Figure GDA0003645880920000103
S3、将当前帧跟踪目标作为样本放入ECO算法训练相关滤波。
S4、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
S5、将跟踪结果转化为相对第一帧的位置信息C1t＝[x1t,y1t]，具体包括：
已知第t帧的跟踪结果Ct＝[xt,yt]与上一帧跟踪结果Ct-1＝[xt-1,yt-1]做差分，并加上上一帧对第一帧的绝对位置C1t-1＝[x1t-1,y1t-1]得到当前帧对第一帧的相对位置C1t＝[x1t,y1t]。
S6、将[x1t，y1t]送入卡尔曼滤波器得到最优估计位置
Figure GDA0003645880920000104
求得此处置信度，若大于阈值，返回此处切片为新样本，具体包括
(1)步骤S2得到了根据历史信息预测当前帧位置的更新方程，S6将主要着力于加入跟踪结果(跟踪得到的位置和速度)后，用跟踪结果和预测结果一同优化得到最终的结果，这里跟踪结果的运动学方程如下：
Zk＝Hkxk+Vk；
其中，Zk是跟踪结果的运动状态，这里只包含相对第一帧的位置信息，Hk为转换矩阵，即将跟踪结果转换到和原结果同一坐标系的矩阵，由于这里输入跟踪结果C1t＝[x1t,y1t]已经是相对第一帧的同一坐标系，Vk为噪声信息。
(2)接下来用预测结果和跟踪结果进行高斯分布相乘求极值得到新位置，并同时更新协方差矩阵，即找到相乘后新的高斯分布的均值和方差，此步骤根据高斯分布的相乘方程得到更新方程如下：
Figure GDA0003645880920000111
其中，
Figure GDA0003645880920000112
为预测高斯分布和观测高斯分布相乘后的卡尔曼增益，求得新位置的置信度，若大于阈值，返回此处切片为新样本，其中，Pk是协方差矩阵，Rk是测量部分，即根据跟踪生成的状态矩阵，Zk是预测得到的状态矩阵，
Figure GDA0003645880920000113
是上一帧的最优估计状态矩阵；
S7、使用样本融合更新策略，更新ECO算法的样本集
S8、利用获取的样本集训练ECO算法，更新相关滤波器，利用相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
综上所述，本发明实施例提供的这种基于ECO算法和目标检测YOLO3的视觉目标跟踪方法及装置，算法主体采用ECO目标跟踪算法，同时加入目标检测算法，观察到在遮挡或形变时，ECO算法框中的目标易出现偏离，导致之后不再遮挡或形变时目标跟踪会受影响，于是对于目标出现遮挡或形变时，结合目标检测得到形状轮廓更为完整的目标样本，进行ECO算法的样本集更新，提升训练效果。
作为本发明的第二实施例，提供一种基于ECO算法和卡尔曼滤波的跟踪装置，所述装置包括目标确定模块、ECO训练模块以及目标位置计算模块；
所述目标确定模块用于读取视频或图像序列的第一帧图像，从所述第一帧图像中确定跟踪目标；
所述ECO训练模块用于将第一帧图像中跟踪目标的位置信息作为样本放入ECO算法训练相关滤波器；
所述目标位置计算模块用于读取下一帧图像，利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率，以此将当前视频或图像序列处理完。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read On ly Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于ECO算法和卡尔曼滤波的跟踪方法，其特征在于，所述方法包括：
步骤1，读取视频或图像序列的第一帧图像，从所述第一帧图像中确定跟踪目标；
步骤2，将第一帧图像中跟踪目标的位置信息作为样本放入ECO算法训练相关滤波器；
步骤3，读取下一帧图像，利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率，即得到当前帧图像的目标跟踪结果；
步骤4，用第一帧图像中跟踪目标的位置信息初始化卡尔曼滤波器；
步骤5，将跟踪结果转化为相对第一帧的位置信息[x1t，y1t]；
步骤6，将[x1t，y1t]送入初始化后的卡尔曼滤波器得到最优估计位置
Figure FDA0003645880910000011
计算最优估计位置处的置信度，若该置信度大于预设阈值，返回最优估计位置处切片作为新样本；
步骤7，基于获取的新样本，使用样本融合更新策略，更新ECO算法的样本集，将获取的新样本集放入ECO算法训练相关滤波器，更新相关滤波器；
更新相关滤波器后，重复执行步骤3，直至当前视频或图像序列处理完。
2.根据权利要求1所述的基于ECO算法和卡尔曼滤波的跟踪方法，其特征在于，步骤4具体为：
步骤4.1，设目标状态向量更新方程为：
方程一：xk＝Fkxk-1；
其中，
Figure FDA0003645880910000021
是目标的当前状态矩阵，
Figure FDA0003645880910000022
是状态转移矩阵，其中，Position＝(x,y)为目标位置，velocity为当前速度，P为Position的缩写，v为velocity的缩写；
步骤4.2，设状态协方差矩阵的更新方程为：
方程二：Cov(x)＝∑Cov(Ax)＝A∑AT；
结合方程一得
Figure FDA0003645880910000023
其中，x为状态矩阵，Pk-1为前一帧的协方差矩阵，等同于求和符号，A为公式推导中的辅助变量；
由于在跟踪时，跟踪目标的主观运动动量是不可知的，即控制矩阵，控制向量和加速度未知，因而跟踪部分的整体更新方程为：
Figure FDA0003645880910000024
xk＝Fkxk-1；
跟踪过程存在不确定的外部影响，会对系统产生不确定的干扰，且无法对这些干扰进行准确的跟踪和量化的，因此，除了外界的确定项，还需要考虑不确定干扰项Wk和Qk，其中，Wk代表对应于xk的干扰矩阵，Qk代表对应于Pk的干扰矩阵，最终的状态方程如下：
xk＝Fkxk-1+Wk；
Figure FDA0003645880910000025
在初始化卡尔曼滤波器时，就是初始化
Figure FDA0003645880910000026
W1，Q1设置为经验噪声矩阵，即
Figure FDA0003645880910000031
3.根据权利要求2所述的基于ECO算法和卡尔曼滤波的跟踪方法，其特征在于，步骤6具体为：
步骤6.1，令跟踪结果的运动学方程如下：
Zk＝Hkxk+Vk；
其中，Zk是跟踪结果的运动状态，包含当前帧目标相对第一帧目标的位置信息，Hk为转换矩阵，即将跟踪结果转换到和原结果同一坐标系的矩阵，由于这里输入跟踪结果C1t＝[x1t,y1t]已经是相对第一帧的同一坐标系，Vk为噪声信息；
步骤6.2，接下来用预测结果和跟踪结果进行高斯分布相乘求极值得到新位置，并同时更新协方差矩阵，即找到相乘后新的高斯分布的均值和方差，此步骤根据高斯分布的相乘方程得到更新方程如下：
Figure FDA0003645880910000032
其中，
Figure FDA0003645880910000033
为预测高斯分布和跟踪高斯分布相乘后的卡尔曼增益，求得新位置的置信度，若大于预设阈值，返回位置处切片为新样本，其中，Pk是协方差矩阵，Rk是测量部分，即根据跟踪生成的状态矩阵，Zk是预测得到的状态矩阵，
Figure FDA0003645880910000034
是上一帧的最优估计状态矩阵。
4.根据权利要求1所述的基于ECO算法和卡尔曼滤波的跟踪方法，其特征在于，将目标运动状态转换为对第一帧的相对运动状态[x1t，y1t]具体为：
已知第t帧的跟踪结果Ct＝[xt,yt]与上一帧跟踪结果Ct-1＝[xt-1,yt-1]做差分，并加上上一帧对第一帧的绝对位置C1t-1＝[x1t-1,y1t-1]得到当前帧对第一帧的相对位置C1t＝[x1t,y1t]。
5.一种基于ECO算法和卡尔曼滤波的跟踪装置，其特征在于，所述装置包括目标确定模块、ECO训练模块、目标位置计算模块以及样本集更新模块；
所述目标确定模块用于读取视频或图像序列的第一帧图像，从所述第一帧图像中确定跟踪目标；
所述ECO训练模块用于将第一帧图像中跟踪目标的位置信息作为样本放入ECO算法训练相关滤波器；
所述目标位置计算模块用于读取下一帧图像，利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率，即得到当前帧图像的目标跟踪结果，以此将当前视频或图像序列处理完；
所述样本集更新模块具体用于：
用第一帧图像中跟踪目标的位置信息初始化卡尔曼滤波器；
将跟踪结果转化为相对第一帧的位置信息[x1t，y1t]|；
将[xt,yt]送入初始化后的卡尔曼滤波器得到最优估计位置
Figure FDA0003645880910000041
计算最优估计位置处的置信度，若该置信度大于预设阈值，返回最优估计位置处切片作为新样本；
基于获取的新样本，使用样本融合更新策略，更新ECO算法的样本集，将获取的新样本集放入ECO算法训练相关滤波器，更新相关滤波器；
更新相关滤波器后，所述目标位置计算模块利用更新后的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。
6.根据权利要求5所述的基于ECO算法和卡尔曼滤波的跟踪装置，其特征在于，用第一帧图像中跟踪目标的位置信息初始化卡尔曼滤波器具体为：
设目标状态向量更新方程为：
方程一：xk＝Fkxk-1；
其中，
Figure FDA0003645880910000051
是目标的当前状态矩阵，
Figure FDA0003645880910000052
是状态转移矩阵，其中，Position＝(x,y)为目标位置，velocity为当前速度，P为Position的缩写，v为velocity的缩写；
设状态协方差矩阵的更新方程为：
方程二：Cov(x)＝∑Cov(Ax)＝A∑AT；
结合方程一得
Figure FDA0003645880910000053
其中，x为状态矩阵，Pk-1为前一帧的协方差矩阵，等同于求和符号，A为公式推导中的辅助变量；
由于在跟踪时，跟踪目标的主观运动动量是不可知的，即控制矩阵，控制向量和加速度未知，因而跟踪部分的整体更新方程为：
Figure FDA0003645880910000054
xk＝Fkxk-1；
跟踪过程存在不确定的外部影响，会对系统产生不确定的干扰，且无法对这些干扰进行准确的跟踪和量化的，因此，除了外界的确定项，还需要考虑不确定干扰项Wk和Qk，其中，Wk代表对应于xk的干扰矩阵，Qk代表对应于Pk的干扰矩阵，最终的状态方程如下：
xk＝Fkxk-1+Wk；
Figure FDA0003645880910000061
在初始化卡尔曼滤波器时，就是初始化
Figure FDA0003645880910000062
W1，Q1设置为经验噪声矩阵，即
Figure FDA0003645880910000063
7.根据权利要求6所述的基于ECO算法和卡尔曼滤波的跟踪装置，其特征在于，将[x1t，y1t]送入初始化后的卡尔曼滤波器得到最优估计位置
Figure FDA0003645880910000064
计算最优估计位置处的置信度，若该置信度大于预设阈值，返回最优估计位置处切片作为新样本具体为：
令跟踪结果的运动学方程如下：
Zk＝Hkxk+Vk；
其中，Zk是跟踪结果的运动状态，包含当前帧目标相对第一帧目标的位置信息，Hk为转换矩阵，即将跟踪结果转换到和原结果同一坐标系的矩阵，由于这里输入跟踪结果C1t＝[x1t,y1t]已经是相对第一帧的同一坐标系，Vk为噪声信息；
接下来用预测结果和跟踪结果进行高斯分布相乘求极值得到新位置，并同时更新协方差矩阵，即找到相乘后新的高斯分布的均值和方差，此步骤根据高斯分布的相乘方程得到更新方程如下：
Figure FDA0003645880910000065
其中，
Figure FDA0003645880910000066
为预测高斯分布和跟踪高斯分布相乘后的卡尔曼增益，求得新位置的置信度，若大于预设阈值，返回位置处切片为新样本，其中，Pk是协方差矩阵，Rk是测量部分，即根据跟踪生成的状态矩阵，Zk是预测得到的状态矩阵，
Figure FDA0003645880910000067
是上一帧的最优估计状态矩阵。
8.根据权利要求5所述的基于ECO算法和卡尔曼滤波的跟踪装置，其特征在于，将目标运动状态转换为对第一帧的相对运动状态[x1t，y1t]具体为：
已知第t帧的跟踪结果Ct＝[xt,yt]与上一帧跟踪结果Ct-1＝[xt-1,yt-1]做差分，并加上上一帧对第一帧的绝对位置C1t-1＝[x1t-1,y1t-1]得到当前帧对第一帧的相对位置C1t＝[x1t,y1t]。
CN202011610695.7A 2020-12-30 2020-12-30 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置 Active CN112634333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011610695.7A CN112634333B (zh) 2020-12-30 2020-12-30 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011610695.7A CN112634333B (zh) 2020-12-30 2020-12-30 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置

Publications (2)

Publication Number Publication Date
CN112634333A CN112634333A (zh) 2021-04-09
CN112634333B true CN112634333B (zh) 2022-07-05

Family

ID=75286667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011610695.7A Active CN112634333B (zh) 2020-12-30 2020-12-30 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置

Country Status (1)

Country Link
CN (1) CN112634333B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989696B (zh) * 2021-09-18 2022-11-25 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN114585003B (zh) * 2022-03-02 2023-06-30 广东工业大学 基于noma的网络切片复用用户匹配及功率分配方法
CN115880620B (zh) * 2022-09-13 2023-11-07 中信重工开诚智能装备有限公司 一种应用在推车预警系统中的人员计数方法
CN116934757B (zh) * 2023-09-18 2023-11-21 电子科技大学 一种用于肺结节假阳性删减的方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005054A (zh) * 2010-11-24 2011-04-06 中国电子科技集团公司第二十八研究所 一种实时红外图像目标跟踪方法
CN109191497A (zh) * 2018-08-15 2019-01-11 南京理工大学 一种基于多种信息融合的实时在线多目标跟踪方法
CN110956653A (zh) * 2019-11-29 2020-04-03 中国科学院空间应用工程与技术中心 相关滤波器与运动估计融合的卫星视频动态目标追踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019129255A1 (zh) * 2017-12-29 2019-07-04 华为技术有限公司 一种目标跟踪方法及装置
US11995895B2 (en) * 2019-06-03 2024-05-28 Nvidia Corporation Multi-object tracking using correlation filters in video analytics applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005054A (zh) * 2010-11-24 2011-04-06 中国电子科技集团公司第二十八研究所 一种实时红外图像目标跟踪方法
CN109191497A (zh) * 2018-08-15 2019-01-11 南京理工大学 一种基于多种信息融合的实时在线多目标跟踪方法
CN110956653A (zh) * 2019-11-29 2020-04-03 中国科学院空间应用工程与技术中心 相关滤波器与运动估计融合的卫星视频动态目标追踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Improved Correlation Filter Tracking with Enhanced Features and Adaptive Kalman Filter》;Hao Yang，et al;《sensors》;20190404;第1-20页 *
《Real-Time Digital Image Stabilization Using Kalman Filters》;Sarp Ertürk;《Real-Time Imaging》;20020831;第8卷(第4期);第317-328页 *
王铖 ; et al.《智能车辆自动跟随控制的目标跟踪算法研究》.《汽车技术》.2020,第1-6页. *

Also Published As

Publication number Publication date
CN112634333A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112634333B (zh) 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置
CN107680120B (zh) 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法
Tissainayagam et al. Object tracking in image sequences using point features
JP4849464B2 (ja) フレームシーケンス中のオブジェクトを追跡するコンピュータ化された方法
US8447116B2 (en) Identifying true feature matches for vision based navigation
CN108470355B (zh) 融合卷积网络特征和判别式相关滤波器的目标跟踪方法
US20070237359A1 (en) Method and apparatus for adaptive mean shift tracking
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
EP2199983A1 (en) A method of estimating a motion of a multiple camera system, a multiple camera system and a computer program product
JP2007523429A (ja) ロバストな情報融合を利用するオブジェクトのマルチモーダルコンポーネントベースドトラッキングのための方法及びシステム
CN110009663B (zh) 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN106780567B (zh) 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
CN111402303A (zh) 一种基于kfstrcf的目标跟踪架构
CN110751722B (zh) 同时定位建图方法及装置
Xia et al. Extended object tracking with automotive radar using learned structural measurement model
CN108986139B (zh) 一种用于目标跟踪的带有重要性图的特征整合方法
CN111415370A (zh) 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统
CN113191427B (zh) 一种多目标车辆跟踪方法及相关装置
CN111563916B (zh) 基于立体视觉的长时无人机跟踪定位方法、系统、装置
CN111474560A (zh) 一种障碍物定位方法、装置及设备
CN110147768B (zh) 一种目标跟踪方法及装置
Zhi-Qiang et al. Mean-shift tracking algorithm with improved background-weighted histogram
CN101976446A (zh) 一种显微序列图像的多特征点跟踪方法
CN115170621A (zh) 一种基于相关滤波框架的动态背景下目标跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 430073 No. 006, 20th floor, business project (China Pharmaceutical Technology Trading Market), No. 1, xiyaojian Road, north of Gaoxin Avenue and Heying Road, East Lake New Technology Development Zone, Wuhan City, Hubei Province

Patentee after: Wuhan Zhuomu Technology Co.,Ltd.

Country or region after: China

Address before: A2-32-05, 2nd floor, Guannan science and Technology Industrial Park, Guandong street, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee before: WUHAN ZMVISION TECHNOLOGY Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address