CN113628242A - 一种基于背景减除法的卫星视频目标跟踪方法及系统 - Google Patents

Abstract

本发明提供一种基于背景减除法的卫星视频目标跟踪方法及系统，包括基于卫星视频目标运动且背景相对不变的特点，结合多帧差分与基于高斯混合模型的背景减除方式进行跟踪，使用积分图快速计算图像分数以定位目标最终位置。因为卫星视频背景是相对不变的，利用背景减除法在背景中分割出目标并应用于目标跟踪中具有极大的潜力。本发明通过使用高斯混合模型背景减除法与积分图法，可以针对卫星视频中微小运动目标的进行高效跟踪；而在此基础上将背景减除法与多帧差分法结合，可以提高跟踪精度，从而构建了一种快速精准的卫星视频目标跟踪方法。

Description

一种基于背景减除法的卫星视频目标跟踪方法及系统

技术领域

本发明涉及卫星视频目标跟踪领域，尤其涉及一种基于背景减除法的卫星视频目标跟踪方法及系统。

背景技术

目标跟踪是计算机视觉最重要的组成部分之一。随着星载成像技术的发展，超高分辨率(very high resolution,VHR)星载视频在计算机视觉领域收到了广泛关注。视频卫星可以对某一目的地进行一段时间的观测，相较于遥感图像可以获得更多的动态信息，如目标的速度、方向和移动轨迹。在2013年，国际空间站发布了空间分辨率达1米对地观测视频。在2015年，我国发射的吉林一号卫星可以提供空间分辨率为0.7米的对地观测视频。卫星视频在运动分析、灾害监测、和动态事件观测等方面具有很大潜力。因此卫星视频目标跟踪技术具有重要意义。

与传统面向自然视频的目标跟踪相比，卫星视频面临着更大的挑战，包括：

(1)更大的图像与场景范围，像素总数约为普通视频的100倍。

(2)更小的跟踪目标尺寸，目标分辨率低，难以提取目标特征，同时难以与背景进行区分。(3)易受光照影响，太阳光不同角度的照射易影响跟踪性能。

目前满足卫星视频实时性跟踪的方法并不多，急需对该领域进行探索。

发明内容

本发明主要是解决卫星视频目标跟踪所面临的问题，提供了一种快速精准的卫星视频目标跟踪方案。

为了实现上述目的，本发明提出一种基于背景减除法的卫星视频目标跟踪方法，包括基于卫星视频目标运动且背景相对不变的特点，结合多帧差分与基于高斯混合模型的背景减除方式进行跟踪，使用积分图快速计算图像分数以定位目标最终位置。

而且，实现过程包括以下步骤，

步骤a，初始化t＝1，输入第t帧与第t+Δt帧的图像，使用基于高斯混合模型的背景减除方式对第t帧建立背景模型；使用背景模型将第t+Δt帧中的运动目标分割为前景，并在前景与背景分割完成之后更新模型参数；其中Δt代表的是所选定的帧差值；

步骤b，使用与目标框一样大的矩形积分框对步骤a中第t+Δt帧图像分割所得结果进行积分，获得积分矩阵；

步骤c，求出积分矩阵中的最大值，该最大值的矩形框的相对位置就是感兴趣的目标中心；

步骤d，通过原本目标框的大小与预测出来的目标中心来确定跟踪的最终结果。

步骤e，令t＝t+1，返回针对当前的在第t帧与t+Δt帧执行步骤a～d，直到整个视频所有帧跟踪结束。

而且，所述使用基于高斯混合模型的背景减除方式对第t帧建立背景模型，使用背景模型将第t+Δt帧中的运动目标分割为前景，并在前景与背景分割完成之后更新模型参数，实现方式如下，

设X_t是在时间t像素(x,y)的强度值，1≤t≤T，其中T为整个视频的帧数，强度值概率p(X_t)如下式，

其中，K表示高斯分布的个数，w_k,t表示混合模型中第k个高斯分布函数在时间t的权重，μ_k,t与Σ_k,t分别是第k个高斯分布函数在时间t的平均值与协方差矩阵，η()则表示高斯概率密度函数；

对每个像素X_t都与现有的K个高斯分布模型比较，如果第k个高斯分布模型满足下式，则表明该像素符合第k个高斯分布函数，否则就表明X_t不符合分布，

|X_t-μ_k,t|≤2.5σ_k,t

其中，σ_k,t表示第k个高斯分布在时间t的标准差。

而且，时间t第k个分布的权重w_k,t在跟踪了第t帧的图像后，根据下式调整，得到在下一帧中使用的权重，t≥2，

w_k,t＝(1-α)w_k,t+αM_k,t

其中，α是第一学习率参数，如果X_t是匹配分布模型的像素，匹配标签M_k,t就是1，否则M_k,t就是0；对所有权重进行标准化；

对于不匹配的像素，分布模型的参数μ_k,t和σ_k,t保持不变，匹配的像素则进行如下更新，获得下一帧使用的参数，其中ρ是第二学习率参数，

μ_t＝(1-ρ)μ_t-1+ρX_t

其中，μ_t与

是指当前高斯模型下的参数均值和方差；

当t时刻X_t不匹配任何高斯分布函数时，创建一个新的分布函数，替换原混合模型中权值最低的高斯分布模型，X_t的灰度值将被设定为新的μ_t，而

与w_k,t将被设定为初始值；

在所有K个高斯分布中，使用rank来对进行排序，计算如下式，

当t大于1，将经过排序后的前N个分布作为背景模型，公式如下：

其中，T_w表示应该被归类到背景的像素的最小部分阈值，这里的w_k指当前时刻的w_k,t；

前N个高斯分布被选择为背景模型，其余被认为是前景模型，如果像素X_t符合前N个模型中任意一个模型，它就被分类为背景像素，否则它就是前景像素；

因为感兴趣区域的像素不符合|X_t-μ_k,t|≤2.5σ_k,t，所以也不符合前N个分布，因此感兴趣的目标将被视为前景。

另一方面，本发明还提供一种基于背景减除法的卫星视频目标跟踪系统，用于实现如上所述的一种基于背景减除法的卫星视频目标跟踪方法。

而且，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于背景减除法的卫星视频目标跟踪方法。

或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于背景减除法的卫星视频目标跟踪方法。

本发明提出以下改进：

1)使用高斯混合模型的背景减除方法，结合多帧差分法对其进行进一步改进使其适用于卫星视频跟踪。背景减除法主要目标在于建立背景模型以区分目标与背景。因为卫星视频的背景是基本不变的，所以背景减除法在该类视频中的目标检测方面具有优越性，而在多种经典背景模型的选择中，高斯混合模型是精确计算的理想选择。具体来说，就是在跟踪的开始使用高斯混合模型对背景进行建模，然后通过后续帧对模型不断进行更新。该模型使用3到5个高斯分布通过权值叠加，在后续更新中可能会生成新的分布来代替旧分布。高斯混合模型可以用来预测每个像素的分类，确定其是前景还是背景，该方法比阈值分割更加客观、科学。

2)引入多帧差分法与背景减除法结合的原因在于卫星视频中的目标运动缓慢，通常在几帧内才移动一个像素。基础思路为输入间隔为数帧的两张图像进行差分，然后对其建模。该方法可以让目标运动差异更加明显也就是更加容易被分类。

3)引入积分图法是为了对最终结果进行确认。积分图法通过对图像计算积分矩阵而快速计算图像中某一区域的合计值，以此用来找到目标的最终位置。

上述引入的内容实现了实时有效的卫星视频目标跟踪。

本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。

附图说明

图1为本发明实施例卫星视频目标跟踪方法的原理图。

图2为本发明实施例间隔为1时的可视化多帧差分示意图。

图3为本发明实施例间隔为5时的可视化多帧差分示意图。

图4为本发明实施例间隔为10时的可视化多帧差分示意图。

图5为本发明实施例间隔为20时的可视化多帧差分示意图。

图6为本发明实施例积分图示例图。

具体实施方式

以下结合附图和实施例具体说明本发明的技术方案。

因为卫星视频背景是相对不变的，利用背景减除法在背景中分割出目标并应用于目标跟踪中具有极大的潜力。本发明提出，基于卫星视频的背景几乎不变且目标运动的特点，为了斯混合模型背景减除法与积分图法，可以针对卫星视频中微小运动目标的进行高效跟踪。而在此基础上将背景减除法与多帧差分法结合，可以提高跟踪精度，从而构建了一种快速精准的卫星视频目标跟踪方法。

本发明引入高斯混合模型的背景减除方法，同时结合多帧差分法以及积分图法。多帧差分法与基于高斯混合模型的背景减除方法结合，可以利用卫星视频目标运动且背景相对不变的特点，有效地提高跟踪精度。使用积分图法快速计算图像分数以定位目标最终位置。实现过程可以为，首先，在开始就建立高斯混合模型以区分背景与前景，然后在后续不断更新该模型。其中加入多帧差分法，扩大连续两个计算帧间的位移距离，减少卫星视频目标小的特点对背景减除法的影响，更好地分离了背景与目标。

参见图1，本发明实施例中提出一种基于背景减除法的卫星视频目标跟踪方法，将背景减除法与积分图法结合获得感兴趣的目标，具体步骤如下：

a.初始化t＝1，输入第t帧与第t+Δt帧的图像(第一次即输入处理的第1帧与第1+Δt帧的图像)，使用高斯混合模型背景减除法对第t帧建立背景模型。使用背景模型将第t+Δt帧中的运动目标分割为前景，并在前景与背景分割完成之后更新模型参数。其中Δt代表的是所选定的帧差值。间隔过大会导致噪声的出现影响跟踪效果，所以对于最佳间隔的选择十分重要。具体实施时，可以通过实验确定最优数值。

b.使用与目标框一样大的矩形积分框对步骤a中第t+Δt帧图像分割所得结果进行积分，获得积分矩阵。

c.求出积分矩阵中的最大值，该最大值的矩形框的相对位置就是感兴趣的目标中心。

d.通过原本目标框的大小与预测出来的目标中心来确定跟踪的最终结果。

e.令t＝t+1，在第t帧(t>1)与t+Δt帧中反复进行上面的操作，即返回执行步骤a～d针对当前的在第t帧与t+Δt帧进行处理，直到整个视频所有帧跟踪结束。

高斯混合模型背景减除法通过建立高斯混合模型对第t帧图片进行背景建模，然后将第t+Δt帧的图像输入该高斯混合模型对每个像素点判断是否为背景，最终得到一张结果图。通过分析结果图可以检测到运动区域。高斯混合模型在1997年被N.Friedman和S.Russell提出用于背景减除法，对其的改进版本自适应背景混合模型由C.Stauffer和W.E.L.Grimson提出。为便于实施参考起见，提供本发明实施例使用的高斯混合模型背景减除方法详细过程如下：

设X_t是在时间t像素(x,y)的强度值(1≤t≤T，其中T为整个视频的帧数，时间t也即第t帧)，则强度值的高斯混合模型的概率为p(X_t)，

其中，K表示高斯分布的个数，一般为3到5个，w_k,t表示混合模型中第k个高斯分布函数在时间t的权重，μ_k,t与Σ_k,t分别是第k个高斯分布函数在时间t的平均值与协方差矩阵。η()则表示高斯概率密度函数，如下所示，

其中，X_t是在时间t时像素(x,y)的强度值，μ、Σ分别指平均值与协方差矩阵，μ_t指时间t的该高斯分布的随机变量的均值，e指自然常数，上标T表示矩阵的转置。

为了便于计算，设其中的协方差矩阵为

其中

为第k个高斯分布函数在时间t的方差，I为单位矩阵。

关于判断X_t是否符合分布，对于每个X_t都要将其与现有的K个高斯分布模型比较，如果第k个高斯分布模型满足下式，则表明该像素符合第k个高斯分布函数，否则就表明X_t不符合分布。

|X_t-μ_k,t|≤2.5σ_k,t

其中，σ_k,t表示第k个高斯分布在时间t的标准差。

关于参数更新，时间t(t≥2)第k个分布的权重w_k,t在跟踪了第t帧的图像后，根据下式调整，得到在下一帧中使用的权重，

w_k,t＝(1-α)w_k,t+αM_k,t

其中，α是第一学习率参数。如果X_t是匹配分布模型的像素，匹配标签M_k,t就是1，否则M_k,t就是0。权重w的初始化为：第一个高斯分部(k＝1)的初始权重为1，其余等于0或者接近0。之后为了保证权重之和为1，需要对所有权重进行标准化，公式如下：

对于不匹配的像素，分布模型的参数μ_k,t和σ_k,t保持不变。匹配的像素则进行如下更新，获得下一帧使用的参数，其中ρ是第二学习率参数。

μ_t＝(1-ρ)μ_t-1+ρX_t

其中，μ_t与

都是指当前高斯模型下的参数：均值和方差。下标t-1用于表示上一时刻的该参数的值，即μ_t-1与

都是指上一时刻高斯模型下的参数。

当t时刻X_t不匹配任何高斯分布函数时，创建一个新的分布函数，用它来替换原混合模型中权值最低的高斯分布模型。X_t的灰度值将被设定为新的μ_t，而

与w_k,t将被设定为初始值，其中

是通过实验确定的固定数值，w_k,t为该像素点在前面所有帧中K个高斯分部匹配次数之和的倒数。

关于具体如何使用混和模型判断，在所有K个分布中，还要将其继续分为两类模型。当目标移动时，边界部分可能会与现有的分布模型不匹配，这将导致出现新的分布模型或者现有分布模型方差的增加，因此需要确定混合模型中最能代表背景过程的部分。使用rank来对其进行排序，计算如下式：

分布获得更高的权重或者有更小的方差时，排名rank会上升。这将使最有可能的背景分布模型保持在顶端，将不太可能的漂移背景分布模型排到底端，被新模型取代。

经过排序后前N个分布作为背景模型，公式如下：

其中，T_w表示应该被归类到背景的像素的最小部分阈值，优选建议值是0.25，这里的w_k指当前时刻的w_k,t，当t大于1，可以使用该式计算N。

前N个高斯分布被选择为背景模型，其余被认为是前景模型。因此，如果像素X_t符合前N个模型中任意一个模型，它就被分类为背景像素，否则它就是前景像素。因为感兴趣区域的像素不符合|X_t-μ_k,t|≤2.5σ_k,t，所以也不符合前N个分布，因此感兴趣的目标将被视为前景。多帧差分法在实验中的效果如下：

因为目标移动非常缓慢，所以多帧差分法适用于本发明提出的卫星视频目标跟踪方法之中。如图2到图5所示，可视化图中的白点是被判定的前景，白色方框是跟踪预测的结果。该方法使目标的运动更明显，但是如果选择的间隔过大背景中也会逐渐出现各种噪声，可能影响结果的准确性。经过实验，间隔为5帧是一个比较好的选择。

积分图法则是一种快速求解矩形内部值之和的方法。积分图中每一个像素的值都是其左上方向所有像素原始值的总和。如图6所示，设ii(x,y)为积分图中(x,y)点的像素值。计算D区域的和值的方法为：

ii(4)+ii(1)-ii(2)-ii(3)

最后，没有必要为整个图像计算积分图，为了减少计算量，向原始目标框周围扩展r个像素，只计算这个大方框的积分图。具体实施时，不同的视频对于r的大小可能有影响，r的取值可以通过具体实验分析确定。

以上是本发明涉及基于背景减除法的卫星视频目标跟踪方法的实现步骤。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

在一些可能的实施例中，提供一种基于背景减除法的卫星视频目标跟踪系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于背景减除法的卫星视频目标跟踪方法。

在一些可能的实施例中，提供一种基于背景减除法的卫星视频目标跟踪系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于背景减除法的卫星视频目标跟踪方法。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于背景减除法的卫星视频目标跟踪方法，其特征在于：包括基于卫星视频目标运动且背景相对不变的特点，结合多帧差分与基于高斯混合模型的背景减除方式进行跟踪，使用积分图快速计算图像分数以定位目标最终位置。

2.根据权利要求1所述基于背景减除法的卫星视频目标跟踪方法，其特征在于：实现过程包括以下步骤，

步骤a，初始化t＝1，输入第t帧与第t+Δt帧的图像，使用基于高斯混合模型的背景减除方式对第t帧建立背景模型；使用背景模型将第t+Δt帧中的运动目标分割为前景，并在前景与背景分割完成之后更新模型参数；其中Δt代表的是所选定的帧差值；

步骤b，使用与目标框一样大的矩形积分框对步骤a中第t+Δt帧图像分割所得结果进行积分，获得积分矩阵；

步骤c，求出积分矩阵中的最大值，该最大值的矩形框的相对位置就是感兴趣的目标中心；

步骤d，通过原本目标框的大小与预测出来的目标中心来确定跟踪的最终结果。

步骤e，令t＝t+1，返回针对当前的在第t帧与t+Δt帧执行步骤a～d，直到整个视频所有帧跟踪结束。

3.根据权利要求2所述基于背景减除法的卫星视频目标跟踪方法，其特征在于：所述使用基于高斯混合模型的背景减除方式对第t帧建立背景模型，使用背景模型将第t+Δt帧中的运动目标分割为前景，并在前景与背景分割完成之后更新模型参数，实现方式如下，

设X_t是在时间t像素(x，y)的强度值，1≤t≤T，其中T为整个视频的帧数，强度值概率p(X_t)如下式，

其中，K表示高斯分布的个数，w_k，t表示混合模型中第k个高斯分布函数在时间t的权重，μ_k，t与∑_k，t分别是第k个高斯分布函数在时间t的平均值与协方差矩阵，η()则表示高斯概率密度函数；

对每个像素X_t都与现有的K个高斯分布模型比较，如果第k个高斯分布模型满足下式，则表明该像素符合第k个高斯分布函数，否则就表明X_t不符合分布，

|X_t-μ_k，t|≤2.5σ_k，t

其中，σ_k，t表示第k个高斯分布在时间t的标准差。

4.根据权利要求3所述基于背景减除法的卫星视频目标跟踪方法，其特征在于：时间t第k个分布的权重w_k，t在跟踪了第t帧的图像后，根据下式调整，得到在下一帧中使用的权重，t≥2，

w_k，t＝(1-α)w_k，t+αM_k，t

其中，α是第一学习率参数，如果X_t是匹配分布模型的像素，匹配标签M_k，t就是1，否则M_k，t就是0；对所有权重进行标准化；

对于不匹配的像素，分布模型的参数μ_k，t和σ_k，t保持不变，匹配的像素则进行如下更新，获得下一帧使用的参数，其中ρ是第二学习率参数，

μ_t＝(1-ρ)μ_t-1+ρX_t

其中，μ_t与

是指当前高斯模型下的参数均值和方差；

当t时刻X_t不匹配任何高斯分布函数时，创建一个新的分布函数，替换原混合模型中权值最低的高斯分布模型，X_t的灰度值将被设定为新的μ_t，而

与w_k，t将被设定为初始值；

在所有K个高斯分布中，使用rank来对进行排序，计算如下式，

当t大于1，将经过排序后的前N个分布作为背景模型，公式如下：

其中，T_w表示应该被归类到背景的像素的最小部分阈值，这里的w_k指当前时刻的w_k，t；

前N个高斯分布被选择为背景模型，其余被认为是前景模型，如果像素X_t符合前N个模型中任意一个模型，它就被分类为背景像素，否则它就是前景像素；

因为感兴趣区域的像素不符合|X_t-μ_k，t|≤2.5σ_k，t，所以也不符合前N个分布，因此感兴趣的目标将被视为前景。

5.一种基于背景减除法的卫星视频目标跟踪系统，其特征在于：用于实现如权利要求1-4任一项所述的一种基于背景减除法的卫星视频目标跟踪方法。

6.根据权利要求5所述基于背景减除法的卫星视频目标跟踪系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-4任一项所述的一种基于背景减除法的卫星视频目标跟踪方法。

7.根据权利要求5所述基于背景减除法的卫星视频目标跟踪系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-4任一项所述的一种基于背景减除法的卫星视频目标跟踪方法。

Images