CN109712173A - 一种基于卡尔曼滤波器的图像位置运动估计方法 - Google Patents

Abstract

一种基于卡尔曼滤波器的图像位置运动估计方法，于帧视频图像中选取待跟踪目标，利用以去均值归一化灰度积相关方法作为位置判定准则的计算方法，选取运动估计运算开始后的前三帧图像拟合目标运动参数，并进行一定范围内进行目标模板匹配相似度计算，同时通过卡尔曼滤波预估当前帧目标的预测位置，寻找满足判定条件的位置点，再通过预设阈值进行判断最终确定当前帧视频图像中目标位置坐标，解决了传统卡尔曼滤波预测算法容易出现计算误差，计算精度不高的情况。

Description

一种基于卡尔曼滤波器的图像位置运动估计方法

技术领域

本发明涉及一种基于卡尔曼滤波器的图像位置运动估计方法，属于视觉伺 服控制领域。

背景技术

随着现代航空、航海、航天事业的蓬勃发展以及现代战争信息化、网络化 发展，机动目标跟踪技术越来越受到各国的重视，目前已经成为一个十分活跃 的研究领域。目前有多种算法可通过对目标的运动估计实现目标跟踪，但算法 各有优缺点和适用条件，没有完备的运动估计算法。针对高机动的变速运动目 标的运动估计也是亟待解决的问题，也是人们关注的热点。目标机动模型的建 立是解决问题的关键之一。

在机动模型的建立方面，趋势是采用非零均值时间相关模型，并努力反映 不同情况下的目标实际机动特性。机动目标模型大致分为全局统计模型和“当 前”统计模型两类。全局统计模型包括Singer模型，半马尔可夫模型和Noval 统计模型，其共同的特点是考虑了目标所以机动变化的可能性，适合各种情况 和类型的目标机动。导致在全局统计模型中，每一种具体机动发生的概率就很 小。就是说，对于具体的目标运动情况而言，机动模型的精度将不可能足够高。 我们应该关心的是特定情况和运动形式下的目标，由此“当前”统计模型应运而 生。在具体的环境下，我们所关心的仅是机动加速度的“当前”概率密度，当目 标正以某一加速度机动时，它在下一瞬间的加速度取值范围是有限的，只能在 “当前”加速度的邻域内。因此在描述机动加速度的概率密度时，没有必要考虑 加速度取值的所有可能性。

当前在目标运动估计的方法上主要以线性卡尔曼滤波器进行预测来实现， 但是对于变速运动、机动性强的目标运动估计，传统的线性卡尔曼滤波的计算 方法预测误差较大，同时为了弥补误差，重复的计算导致了计算量的增加，跟 踪实时性下降，甚至出现丢失目标现象。对于目标位置信息仅能依靠图像计算 获取时，仅使用线性卡尔曼滤波也是无法实现目标跟踪的，需要高精度图像匹 配算法的支持，故而现有的卡尔曼滤波跟踪计算方法难以满足准确、可靠、实 时地对变速目标实现运动估计。目前针对变速目标的运动估计问题还有待进一 步探究。

发明内容

本发明解决的技术问题是：针对目前现有技术中，使用卡尔曼滤波器进行 目标运动估计的方法，计算误差较大，计算量较大，实时性较差，当目标位置 信息仅能依靠图像计算获取时，现有卡尔曼滤波算法缺少高精度图像匹配算法 支持的问题，提出了一种基于卡尔曼滤波器的图像位置运动估计方法。

本发明解决上述技术问题是通过如下技术方案予以实现的：

一种基于卡尔曼滤波器的图像位置运动估计方法，步骤如下：

(1)于视频图像中选取待跟踪目标，标记该待跟踪目标于第一帧图像内的 位置坐标，并于第二帧图像中标记该待跟踪目标的图像区域、内波门、外波门， 并计算外波门内所有目标匹配点的匹配相似度量值；

(2)根据步骤(1)所得待跟踪目标外波门内所有目标匹配点的匹配相似 度量值，选取匹配相似度量值最大的目标匹配点的坐标作为第二帧视频图像中 待跟踪目标位置；

(3)进入第三帧图像，分别按步骤(1)、步骤(2)中方法找到第三帧图 像中匹配相似度量值最大的目标匹配点的坐标作为第三帧图像中待跟踪目标位 置；

(4)根据所得第一、第二、第三帧图像中待跟踪目标位置计算第三帧时刻 待跟踪目标从左到右沿行方向的速度与加速度及第三帧时刻待跟踪目标从上到 下沿列方向的速度与加速度，作为第一、第二、第三帧图像中待跟踪目标的运 动参数；

(5)设定相似度量值阈值，通过所得第一、第二、第三帧图像中待跟踪目 标的运动参数对第K帧待跟踪目标的运动参数进行预估，同时将第K帧图像中 待跟踪目标位置与相似度量值阈值进行比较，若匹配相似度量值最大值不大于 设定阈值，则将第K帧待跟踪目标的预估运动参数中的坐标作为第K帧待跟踪 目标位置；若匹配相似度量值最大值大于设定阈值，则将第K帧图像中匹配相 似度量值最大值点的坐标通过卡尔曼滤波器进行位置修正，于预测区域内获取 修正后坐标作为第K+1帧待跟踪目标位置；

(6)重复步骤(5)直至遍历所有帧视频图像并获取所有帧待跟踪目标位 置。

所述步骤(2)中，外波门内所有目标匹配点的匹配相似度量值的计算方法 为：

式中，f(i+m,j+n)表示的是外波门中第i+m行、第j+n列的像素的灰度值； g(i,j)是内波门中第i行、第j列的像素的灰度值；表示的是外波门中中各个像 素灰度值的平均值，表示的是内波门中各个像素的灰度值的平均值，m、n 为所选点坐标，均为正整数，M、N分别为外波门图形的长和宽。

所述步骤(4)中，计算第三帧时刻待跟踪目标从左到右沿行方向的速度与 加速度及第三帧时刻待跟踪目标从上到下沿列方向的速度与加速度的方法为：

v_x3＝2α_x×(3Δt)+β_x

a_x3＝2α_x

v_y3＝2α_y×(3Δt)+β_y

a_y3＝2α_y

式中，Δt为两帧视频图像的拍摄时间间隔，即帧频的倒数，v_x3、a_x3分别为 待跟踪目标在第三帧时刻从左到右沿行方向的速度与加速度，v_y3、a_y3分别为待 跟踪目标在第三帧时刻从上到下沿列轴方向的速度与加速度， α_x、α_y、β_x、β_y、γ_x、γ_y为运动参数计算过程的中间变量，(s_x1,s_y1)为一帧视频图像 的匹配位置坐标，(s_y2,s_y2)为第二帧视频图像的匹配位置坐标，(s_x3,s_y3)为第三帧 视频图像的匹配位置坐标。

所述步骤(5)中，若匹配相似度量值最大值大于设定阈值，第K帧图像中 匹配相似度量值最大值点的选取范围为：以第K帧待跟踪目标的运动参数预估 运动参数中的坐标为中心，L_k为边长的正方形预测区域内，L_k为预测区域边长， 计算公式如下：

式中，L_k表示第k帧图像的预测区域边长，Δt为帧频的倒数，v_xk为目标在 第k帧时刻沿X轴方向的速度，v_yk为目标在第k帧时刻沿Y轴方向的速度。

优选的，所述步骤(5)中，相似度量值阈值为0.9

本发明与现有技术相比的优点在于：

(1)本发明提供的一种基于卡尔曼滤波器的图像位置运动估计方法，通过 将去均值归一化灰度积相关算法、统计模型方法及卡尔曼滤波预测等算法有效 结合，提出了对匹配相似度的新的计算方法，并通过提出匹配相似度与设定阈 值进行阈值判断的方法，在保证精度的前提下，适应了变速目标的运动形式， 缩短了匹配时间，实现高精度高速度的实时运动估计方法；

(2)本发明同时针对预估目标位置及第K帧图像中匹配相似度量值最大 值点位置，给出了匹配区域边界宽度的选点范围，同时提出了边界宽度实时的 计算方法，无需将该帧图像中外波门的所有点进行计算，只需计算范围内的特 定点相似度量值即可，计算精度高，计算速度快，步骤简洁。

附图说明

图1为发明提供的运动估计方法流程图；

图2为发明提供的图像坐标系示意图；

图3为发明提供的卡尔曼滤波器输出目标位置的预测范围示意图；

图4为发明提供的卡尔曼滤波器工作原理图；

图5为发明提供的变速目标沿X轴方向运动轨迹示意图；

图6为发明提供的变速目标沿Y轴方向运动轨迹示意图；

图7为发明提供的预测轨迹与匹配轨迹对比示意图；

具体实施方式

一种基于卡尔曼滤波器的图像位置运动估计方法，对目标类型没有约束， 针对存在变速运动的目标，可以适应目标速度的变化与短时间遮挡，从而实现 实时位置计算，如图1所示，具体估计方法步骤如下：

(1)于视频图像中选取待跟踪目标，标记该待跟踪目标于第一帧图像内的 位置坐标，并于第二帧图像中标记该待跟踪目标的图像区域、内波门、外波门， 并计算外波门内所有目标匹配点的匹配相似度量值；

其中，待跟踪目标需要满足以下条件：

目标为单一目标；

目标信息量充足，且与背景不明显混淆；

目标所在视场内的运动是连续的。最终选取的是包含目标的矩形区域，矩 形区域尽可能包含目标，将矩形区域覆盖的图像区域作为匹配计算的目标模板， 同时将目标模板作为内波门。外波门是内波门四条边向外拓展相同像素得到的 新的矩形区域。因为目标相对于内波门的位置保持不变，所以认为内波门的几 何中心位置为目标的等效替代位置；

通过定义完成目标选取的当前帧为运动估计运算开始后的第一帧，同时记 录目标第一帧的位置坐标(s_x1,s_y1)；

(2)根据步骤(1)所得待跟踪目标外波门内所有目标匹配点的匹配相似 度量值，选取匹配相似度量值最大的目标匹配点的坐标作为第二帧视频图像中 目标位置；

如图2所示，为本发明使用的图像坐标系，图像的左上角为坐标原点，从 左到右沿行方向为X轴正方向，从上到下沿列轴方向为Y轴正方向，由于要估 计变速运动目标的运动参数，在之后的第二帧中，所述外波门内所有目标匹配 点的匹配相似度量值的计算方法，均为利用去均值归一化灰度积相关匹配准则 在外波门内搜索最佳匹配位置的算法，具体为：

式中，R(m,n)为目标模板与匹配区域中所选点的相似度量值，f(i+m,j+n) 表示的是外波门中当前匹配区域中第i+m行、第j+n列的像素的灰度值；g(i,j) 是内波门中第i行、第j列的像素的灰度值；表示的是外波门中当前匹配区域 中各个像素灰度值的平均值，表示的是内波门中各个像素的灰度值的平均值， m、n为所选点坐标，均为正整数，M、N分别为外波门图形的长和宽；

遍历所有的m、n，将匹配相似度量值R(m,n)最大值对应的(m,n)作为第二 帧视频图像的匹配位置(s_x2,s_y2)；

(3)进入第三帧图像，分别重复步骤(1)、步骤(2)直至找到第三帧图 像中匹配相似度量值最大的目标匹配点的坐标作为第三帧图像中待跟踪目标位 置(s_x3,s_y3)；

(4)根据步骤(1)～步骤(3)所得第一、第二、第三帧图像中待跟踪目 标位置计算第三帧时刻待跟踪目标从左到右沿行方向的速度与加速度及第三帧 时刻待跟踪目标从上到下沿列方向的速度与加速度，作为第一、第二、第三帧 图像中待跟踪目标的运动参数，其中：

确定卡尔曼滤波器目标运动参数初值，即目前得到前三帧视频图像中目标 的位置信息，认为目标沿X轴与Y轴两个方向的位移s关于时间t的运动方程均 满足s＝αt²+βt+γ，采用曲线拟合方法，两个方向的运动参数满足方程：

求解矩阵方程，得到运动参数α_x、α_y、β_x、β_y与γ_x、γ_y，由此估算运动目标 第三帧两个方向的状态初值为：

v_x3＝2α_x×(3Δt)+β_x

a_x3＝2α_x

v_y3＝2α_y×(3Δt)+β_y

a_y3＝2α_y

其中，Δt为两帧视频图像的拍摄时间间隔，即帧频的倒数，v_x3、a_x3分别为 目标在第三帧沿X方向的速度与加速度，v_y3、a_y3分别为目标在第三帧沿Y轴方 向的速度与加速度。并以计算得到的第三帧目标运动的估计参数 [s_x3 v_x3 a_x3 s_y3 v_y3 a_y3]^T作为系统状态向量初值。为之后卡尔曼滤波器的初值 选取做准备工作；

卡尔曼滤波关于变速目标的运动模型描述如下，出自(周宏仁，敬忠良， 王培德，《机动目标跟踪》，北京：国防工业出版社，1991)；

模型本质上是非零均值时间相关模型，计算流程如图4所示，其机动加速 度的“当前”概率密度用修正的Rayieigh分布描述，均值为“当前”加速度预测值， 随机机动加速度在时间轴上仍符合一阶时间相关过程。下面说明一个方向的变 速运动模型，设采样周期为T，机动频率为α，通过典型的离散处理方法，得 到机动目标“当前”统计模型的离散状态方程为：

其中：

其中W(k)是离散时间白噪声序列，满足：

其中：

观测方程为：

Y(k)＝H(k)X(k)+V(k)

其中当仅含有噪声的目标位置数据可观测时，有：

H(k)＝[1 0 0]

V(k)是均值为零，方差为R(k)的高斯观测噪声。

针对变速目标的卡尔曼线性运动状态估计，使用计算得到的目标在横纵坐 标轴上初始位置分量和速度分量与加速度分量作为测量值，此时认为测量值与 初始状态一致，故以为卡尔曼滤波器初始状态 向量，卡尔曼滤波器进入工作状态，迭代预测下一帧目标的位置、速度与加速 度信息。

对上所述状态方程和观测方程，应用标准卡尔曼滤波：

P(k/k-1)＝Φ(k,k-1)P(k-1/k-1)Φ^T(k,k-1)+Q(k-1)

K(k)＝P(k/k-1)H^T(k)[H(k)P(k/k-1)H^T(k)+R(k)]^-1

P(k/k)＝[I-K(k)H(k)]P(k/k-1)

把的一步预测看作在kT瞬时的“当前”加速度的均值，因此 设：

带入上式，得到

X(k+1/k)＝Φ₁(T)X(k/k)

其中:

我们利用和的关系，可以得到加速度方差自适应算法。当“当前” 加速度为正时，有:

当“当前”加速度为负时，有:

其中a_±max为加速度上下限，可以看到，当转移矩阵由Φ(T)变为Φ₁(T)，因 此原则上与α独立,容易看出来：

当参数α、T和观测噪声方差R给定，卡尔曼滤波增益取决于自适应方差

“当前”统计模型的卡尔曼滤波器的算法流程中k时刻状态向量是由X与Y轴位置、速度和加速度构成的， Φ₁(T)为预测转移矩阵，Φ(k+1,k)为状态转移矩阵，H为观测矩阵，Q为过程协 方差矩阵，R为测量协方差矩阵，P为误差协方差矩阵，K为卡尔曼增益，Z 为测量数据，即图像匹配结果，其中Φ₁(T)、Φ(k+1,k)、H矩阵由状态向量与运 动方程确定。

其中，其中为k时刻状态向量估计值，为k-1时刻预测状 态向量估计值，K(k)为K时刻所选卡尔曼滤波器固定增益，Y(k)为K时刻卡尔 曼滤波器观测值，H(k)为k时刻观测矩阵，H(k)＝[100]，此时卡尔曼滤波器 的输出用于下一帧目标匹配的先验信息。

如图3所示，所述预测区域为以卡尔曼滤波器的输出预测位置为中心，以 L为边长建立正方形预测区域，L的确定公式如下：

其中，L_k表示第k帧图像的预测区域边长，Δt为帧频的倒数，v_xk为目标在 第k帧时刻沿X轴方向的速度，v_yk为目标在第k帧时刻沿Y轴方向的速度。(如 图3所示，为卡尔曼滤波器输出目标位置的预测范围，图中预测 范围是关于速度参数的函数)

在预测区域内采用去均值归一化灰度积相关匹配准则寻找变速运动目标位 置。

(5)设定相似度量值阈值，通过卡尔曼滤波器及步骤(4)所得第一、第 二、第三帧图像中待跟踪目标的运动参数对第K帧待跟踪目标的运动参数进行 预估，同时计算第K帧图像中匹配相似度量值最大值并与相似度量值阈值进行 比较，若匹配相似度量值最大值不大于设定阈值，则将第K+1帧待跟踪目标的 预估运动参数中的坐标作为第K+1帧待跟踪目标位置；若匹配相似度量值最大 值大于设定阈值，则将第K帧图像中匹配相似度量值最大值点的坐标通过卡尔 曼滤波器进行位置修正，获取修正后坐标作为第K+1帧待跟踪目标位置，其中：

相似度量值大于阈值处理：

在相似度量值R(m,n)大于设定阈值R_T情况下，认为匹配结果为最终目标输 出位置数据，将第K帧图像中匹配相似度量值最大值点的坐标通过卡尔曼滤波 器进行位置修正，获取修正后坐标作为第K+1帧待跟踪目标位置；同时输出位 置数据作为测量值保存下来，用于卡尔曼滤波器的进一步预测，继续预测下一 帧的机动目标运动位置，实现实时运动估计；

这里卡尔曼滤波器的主要作用之一是提供目标预测信息，在保证精度的前 提下，缩小搜索范围，减少计算时间；

相似度量值不大于阈值处理：

当出现相似度量值R(m,n)小于等于设定阈值R_T的情况下，原因可能是出现 目标大范围遮挡或者目标与背景类似，此时模板匹配结果已经失去了实际意义， 我们退而求其次，将卡尔曼滤波器的输出作为测量值，同时作为目标的最终判 定位置，将第K+1帧待跟踪目标的预估运动参数中的坐标作为第K+1帧待跟 踪目标位置，预测下一帧的机动目标运动位置，提供目标最优估计位置信息。

这里卡尔曼滤波器的主要作用之二是在目标暂时失踪时，继续提供目标运 动估计的位置信息，以便在目标重新出现时能够尽快进入跟踪状态；

(6)重复步骤(5)直至遍历所有帧视频图像并获取所有帧待跟踪目标位 置。

下面结合具体实施例进行进一步说明：

对于传统的去均值归一化灰度积相关目标模板匹配算法计算变速运动目标 的位置信息，由于搜索范围的固定性导致跟踪一定时间后出现目标丢失的情况。 为了解决这个问题，采用本文叙述的方法做仿真试验。

模拟变速目标的运动轨迹，设定目标模板中心位置为目标的等效代替位置， 目标沿X轴方向变速运动，最大加速a_xmax＝1m/s²，初始速度v_x0＝1m/s²，加速度 满足方程：

运动方程满足：

目标沿Y轴方向变速运动，最大加速a_ymax＝2m/s²，初始速度v_y0＝0.1m/s²， 加速度满足方程：

运动方程满足：

如图5、图6所示，得到的变速运动轨迹部分数据如下：

采用传统去均值归一化灰度积相关匹配准则得到的部分目标位置数据如 下：

传统去均值归一化灰度积相关算法计算结果与实际位置的偏差不大于1个 像素。但计算时间非常长，而且随着速度的变大，位置出现严重偏差，丢失了 目标，无法应用于实际跟踪系统中。

采用“当前”统计模型的卡尔曼滤波器时，我们先设定X与Y轴两个方向的 目标机动频率：

α_x＝0.1

α_y＝0.1

设定X与Y轴两个方向的目标机动的加速度上下限：

a_xmax＝±5m/s²

a_ymax＝±5m/s²

a_ymax＝±5m/s2

得到的部分目标位置预测数据如下：

与传统去均值归一化灰度积相关的计算结果相比，预测精度在0.5个像素 左右。可以迅速寻找目标的位置。计算X与Y轴两个方向的预测位置与匹配位 置偏差的均值E与方差D：

E(x)＝0.0617 D(x)＝0.0143

E(y)＝0.0509 D(y)＝0.0018

如图7所示，由此可见，均值误差在0.5个像素左右，方差小于2％，本 发明方法在提高计算速度的同时能够准确地对机动目标进行位置识别与运动估 计。

说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (5)

1.一种基于卡尔曼滤波器的图像位置运动估计方法，其特征在于步骤如下：

(1)于视频图像中选取待跟踪目标，标记该待跟踪目标于第一帧图像内的位置坐标，并于第二帧图像中标记该待跟踪目标的图像区域、内波门、外波门，并计算外波门内所有目标匹配点的匹配相似度量值；

(2)根据步骤(1)所得待跟踪目标外波门内所有目标匹配点的匹配相似度量值，选取匹配相似度量值最大的目标匹配点的坐标作为第二帧视频图像中待跟踪目标位置；

(3)进入第三帧图像，分别按步骤(1)、步骤(2)中方法找到第三帧图像中匹配相似度量值最大的目标匹配点的坐标作为第三帧图像中待跟踪目标位置；

(4)根据所得第一、第二、第三帧图像中待跟踪目标位置计算第三帧时刻待跟踪目标从左到右沿行方向的速度与加速度及第三帧时刻待跟踪目标从上到下沿列方向的速度与加速度，作为第一、第二、第三帧图像中待跟踪目标的运动参数；

(5)设定相似度量值阈值，通过所得第一、第二、第三帧图像中待跟踪目标的运动参数对第K帧待跟踪目标的运动参数进行预估，同时将第K帧图像中待跟踪目标位置与相似度量值阈值进行比较，若匹配相似度量值最大值不大于设定阈值，则将第K帧待跟踪目标的预估运动参数中的坐标作为第K帧待跟踪目标位置；若匹配相似度量值最大值大于设定阈值，则将第K帧图像中匹配相似度量值最大值点的坐标通过卡尔曼滤波器进行位置修正，于预测区域内获取修正后坐标作为第K+1帧待跟踪目标位置；

(6)重复步骤(5)直至遍历所有帧视频图像并获取所有帧待跟踪目标位置。

2.根据权利要求1所述的一种基于卡尔曼滤波器的图像位置运动估计方法，其特征在于：所述步骤(2)中，外波门内所有目标匹配点的匹配相似度量值的计算方法为：

式中，f(i+m,j+n)表示的是外波门中第i+m行、第j+n列的像素的灰度值；g(i,j)是内波门中第i行、第j列的像素的灰度值；表示的是外波门中中各个像素灰度值的平均值，表示的是内波门中各个像素的灰度值的平均值，m、n为所选点坐标，均为正整数，M、N分别为外波门图形的长和宽。

3.根据权利要求1或2所述的一种基于卡尔曼滤波器的图像位置运动估计方法，其特征在于：所述步骤(4)中，计算第三帧时刻待跟踪目标从左到右沿行方向的速度与加速度及第三帧时刻待跟踪目标从上到下沿列方向的速度与加速度的方法为：

v_x3＝2α_x×(3Δt)+β_x

a_x3＝2α_x

v_y3＝2α_y×(3Δt)+β_y

a_y3＝2α_y

式中，Δt为两帧视频图像的拍摄时间间隔，即帧频的倒数，v_x3、a_x3分别为待跟踪目标在第三帧时刻从左到右沿行方向的速度与加速度，v_y3、a_y3分别为待跟踪目标在第三帧时刻从上到下沿列轴方向的速度与加速度，α_x、α_y、β_x、β_y、γ_x、γ_y为运动参数计算过程的中间变量，(s_x1,s_y1)为一帧视频图像的匹配位置坐标，(s_y2,s_y2)为第二帧视频图像的匹配位置坐标，(s_x3,s_y3)为第三帧视频图像的匹配位置坐标。

4.根据权利要求3所述的一种基于卡尔曼滤波器的图像位置运动估计方法，其特征在于：所述步骤(5)中，若匹配相似度量值最大值大于设定阈值，第K帧图像中匹配相似度量值最大值点的选取范围为：以第K帧待跟踪目标的运动参数预估运动参数中的坐标为中心，L_k为边长的正方形预测区域内，L_k为预测区域边长，计算公式如下：

式中，L_k表示第k帧图像的预测区域边长，Δt为帧频的倒数，v_xk为目标在第k帧时刻沿X轴方向的速度，v_yk为目标在第k帧时刻沿Y轴方向的速度。

5.根据权利要求1所述的一种基于卡尔曼滤波器的图像位置运动估计方法，其特征在于：所述步骤(5)中，相似度量值阈值为0.9。