CN110264492A - 一种高效的卫星图像自纠正多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种高效的卫星图像自纠正多目标跟踪方法。输入卫星图像，对输入卫星图像的视频或图像序列进行预处理；载入视频或图像序列，并将每一帧的图像转变成为灰度图像；利用空间滤波的方法处理视频或图像序列；利用多帧背景运动估计方法进行处理实现前景和背景的分离；前景图像中进行多空间目标的亚像素质心定位；综合利用多帧之间的互相关信息实现前后帧的目标匹配跟踪。本发明方法对多空间目标实现了稳定有效的跟踪，针对空间目标的物理模型特征对质心位置的计算方法做了简化，提出了多帧之间互相关的前向、后向跟踪方法，实现了能够自纠正的多目标跟踪，效率较高，鲁棒性强。

Description

一种高效的卫星图像自纠正多目标跟踪方法

技术领域

本发明属于数字图像处理领域，涉及了一种高效的卫星图像自纠正多目标 跟踪方法。

背景技术

多空间目标跟踪方法是指基于人造卫星在轨平台的探测设备利用图像的探 测手段结合计算机的数字图像处理技术对空间中的多个目标进行定位和跟踪的 方法。

空间目标跟踪的过程中，主要面临以下几个技术难点：第一，由于空间目 标成像距离远的原因，空间目标不一定在准确的成像平面范围内，难以采用高 速高效的方法确定空间目标在图像中的坐标位置。第二，由于空间目标运动速 度变化较大的原因，现有的方法失误率高，难以实现对空间目标稳定的跟踪。 第三，由于空间目标的数量不唯一，需要对多空间目标同时进行定位和跟踪。 第四，星载光学图像探测设备硬件条件有限，无法对空间目标实现实时的定位 和跟踪。第五，由于探测设备平台、空间目标和背景在同时相对运动，无法判 断运动目标是运动前景还是深空背景。

空间目标的跟踪方法难以实时运行的原因主要在于运动目标点的定位和匹 配方法时间复杂度较高，需要对前后多帧进行全局遍历，而空间目标的跟踪方 法失误率高的原因主要在于没有利用前后的信息进行运动空间目标的匹配。

发明内容

为了解决背景技术中存在的技术问题，针对深空环境的空间目标较小，目 标运动速度变化较大，跟踪目标数量不唯一，跟踪错误率高，无法实时跟踪的 情况，本发明采用了高效的自纠正多空间目标跟踪方法。

本发明是通过对输入视频或图像序列做预处理，连续计算每一帧的背景图 实现前景与背景的分离，利用多级金字塔得到空间目标在前景图像中的亚像素 质心位置，综合多帧之间的互相关信息实现空间目标的自纠正跟踪。

为达到以上目的，本发明采用以下技术方案，实现流程如图2和图3所示：

(1)输入卫星图像，对输入卫星图像的视频或图像序列进行预处理，具体是：

(1.1)载入视频或图像序列，并将每一帧的图像转变成为灰度图像；

(1.2)利用空间滤波的方法处理视频或图像序列；

(2)利用多帧背景运动估计方法进行处理实现前景和背景的分离；

(3)前景图像中进行多空间目标的亚像素质心定位；

(4)综合利用多帧之间的互相关信息实现前后帧的目标匹配跟踪。

所述的视频或图像序列为通过人造卫星拍摄的以人造天体或者快速运动的 小行星作为空间目标进行运动的视频或图像序列。

所述步骤(1.2)具体为：

(1.2.1)利用空间滤波的方法处理视频或图像序列步骤的具体方法：

先采用矩孔滤波器对每一帧图像进行均值滤波，具体对于每一个像素点， 构建第一滤波窗口，采取如下公式窗口滑动计算更新像素点的像素值，获得第 一滤波后图像：

其中，I(x，y)是原始卫星图像，I_n(x，y)是第一滤波后图像，n是第一滤波窗 口的边长，大小选取为比空间目标像点直径稍大的奇数；

(1.2.2)接着对于每一个像素点，构建第二滤波窗口，窗口滑动进行噪声系数 ξ＝1的高斯平均滤波，采取如下公式计算更新像素点的像素值：

其中，I_n(x，y)是第一滤波后图像，I_ξ(x，y)表示第二滤波后图像，即为取高斯 平均后的图像，w是第二滤波窗口的边长，w是第二滤波窗口的边长，是大小 选取为比空间目标像点直径稍大的奇数，ξ表示噪声系数。

本发明采用第一个矩孔滤波器来减少每个像素点的噪声，再采用第二个滤 波器减小来自于图像的成像景深外的物体对探测的影响，能用于获得成像特征 服从或接近二维高斯分布模型的空间目标像。

所述步骤(2)具体为：

所述步骤(2.1)中，通过视频或图像序列初始数帧的信息估计第零帧时的背景 图像的具体计算方法为：

其中，B⁰是第零帧的背景图像，是第二滤波后图像，β表示鲁棒性参数；

本发明的第零帧为非采集的图像帧，为特殊额外建立的一帧。

(2.2)由步骤1)获得的视频或图像序列和上一帧的背景图像之间的变化作 为背景随时间的平均移动量，逐帧迭代处理得到每一帧的背景图像，并且利用 每一帧的背景图像计算视频或图像序列中的前景图像，具体为：

B^t＝βsign(I^t-B^t-1)+B^t-1 (4)

F^t＝I^t-B^t (5)

其中，B^t是第t帧背景图像，F^t是第t帧的前景图像，sign()表示符号函 数。

当I^t-B^t-1为负值时，sign(I^t-B^t-1)＝-1；当I^t-B^t-1为零值时， sign(I^t-B^t-1)＝0；当I^t-B^t-1为正值时，sign(I^t-B^t-1)＝1。

从而获得了滤波后前后景图像。

所述步骤(3)具体为：

(3.1)以不同倍率对每一幅前景图像作降采样处理得到两列尺度范围交叉的 图像金字塔：第一列图像金字塔c_i是由前景图像通过连续的两倍图像尺寸降采 样得到的；第二列图像金字塔d_i是由前景图像先通过第一次1.5倍降采样图像尺 寸降采样、然后再以连续的两倍图像尺寸降采样得到的，i是降采样层的序号， 为大于等于零的整数，经过一次降采样分别得到c0和d0，以此类推；然后将两 列图像金字塔的尺度范围交叉按照图像尺度从大到小排序组成一列不同图像尺 度的前景图像序列；

(3.2)舍弃尺度范围交叉排列的图像金字塔最底层的图像，即舍弃原始图像尺 寸的原图，对剩余的不同图像尺度的前景图像作点检测，得到每个图像尺度的 前景图像上的特征点位置和特征点分数：

(3.2.1)在每一当前图像尺度图像上，对所有的像素点都计算像素点的权值， 通过点的邻域信息计算，像素点的权值score计算为：

其中，p₀是当前像素点的像素值，p_8-neigh是当前像素点周围3*3邻域的像 素点的像素值，p_16-neigh是当前像素点周围5*5邻域内的像素点的像素值，α是 拉格朗日乘子；

(3.2.2)在计算获得所有像素点的权值后，做非极大值抑制处理，只保留八邻 域内权值最大的像素点作为特征点；

(3.2.3)前景图像序列中针对每一图像尺度的前景图像的特征点，找到与该前 景图像尺度上下相邻的两个图像尺度的前景图像中和特征点位置对应相同的像 素点的权值，并作以下判断：

若上下相邻的两个图像尺度的前景图像中的两个像素点的权值小于当前前 景图像的特征点的权值，则这三个点的位置和权值均保留，并组成特征组，用 于下一步骤中拟合特征点分数与其对应对数采样倍率的二次曲线；否则不保留 不处理；

(3.3)通过权值和对应对数采样倍率计算二次曲线，得权值最大的图像尺度下 特征点的亚像素坐标，代表了卫星图像中的前景空间目标(例如为星星)：

根据特征组中三个点的权值以降采样时采样倍率的对数进行拟合获得二次 曲线，通过二次曲线得到曲线上权值最大处对应对数的采样倍率k，采样倍率k对 应的前景图像为插入图像，在与插入图像上下相邻的两个图像尺度之间通过以 下公式计算，得到插入图像中与特征组中特征点位置对应相同的坐标作为特征 点的亚像素坐标：

其中，(x_k，y_k)是特征点的亚像素坐标，是插入图像上相邻的图像 尺度的图像中特征点位置对应的图像坐标，是插入图像下相邻的图像尺度 的图像中特征点位置对应的图像坐标，i是降采样层的序号，k是特征点权值最 大时对应的对数降采样倍率。

所述步骤(4)具体是：

(4.1)对于滤波后前景图像构成的视频或图像序列的首帧，通过利用亮度邻近 特征匹配方法根据亚像素坐标对下一帧的滤波后前景图像处理，获得下一帧的 滤波后前景图像中每一个前景空间目标的质心坐标的最大可能匹配位置，将其 作为最终下一帧的滤波后前景图像中的前景空间目标位置，即代表了前景空间 目标；

(4.2)对于滤波后前景图像构成的视频或图像序列的第二帧起的其余每一帧， 由当前帧与其前后相邻的各一帧组成三帧连续图像序列，由三帧连续图像序列 通过最大速度特征匹配、相似速度矢量特征匹配和亮度邻近特征匹配依次处理， 进行后向追踪获得当前帧的前景空间目标对应的在后一帧的前景空间目标位置， 由各帧的前景空间目标之间依次连接构成跟踪轨迹；后向追踪是指顺着拍摄记 录的时间顺序进行前景空间目标的追踪，其中当前帧的前一帧中的前景空间目 标位置是后向追踪的起始位置。

(4.3)利用后一帧的前景空间目标位置和当前帧的前景空间目标位置计算前 向运动速度矢量，前向运动速度矢量是指后一帧的前景空间目标位置倒回向当 前帧的前景空间目标位置的速度矢量，方向是由后一帧的前景空间目标位置出 发指向当前帧的前景空间目标位置的方向；

使当前帧的前景空间目标以前向运动速度矢量运动，具体实施方式是将得 到的前向运动速度矢量由后一帧的前景空间目标位置平移到当前帧的前景空间 目标位置，并在终点处以8个像素为半径的圆建立前向速度邻域，在前向速度 邻域内以亮度最邻近原则获得前向追踪的前景空间目标位置。前向追踪是指逆 着拍摄记录的时间顺序进行前景空间目标的追踪。

若前向追踪的前景空间目标位置与前一帧中的前景空间目标位置(即后向 追踪的起始位置)之间的间距大于3个像素值，则前后帧互相关无效，舍弃当 前帧和后一帧之间的追踪轨迹，重新以后一帧的前景空间目标位置作为第一帧 的前景空间目标位置，将后向运动速度矢量v_t(即前一帧的前景空间目标位置 到当前帧的前景空间目标位置的速度矢量，方向是由前一帧的前景空间目标位 置指向当前帧的前景空间目标位置)由当前帧的前一帧前景空间目标位置的起 始位置平移到后一帧的前景空间目标位置作为起始位置，并作为后一帧前景空 间目标位置的后向运动速度矢量，返回到步骤(4.1)继续迭代进行目标跟踪；

若前向追踪的前景空间目标位置与前一帧的前景空间目标位置之间的间距 不大于3个像素值，则前后帧互相关有效，以获得的轨迹跟踪，直至视频或图 像序列的最后一帧。

所述步骤(4.2)中，所述的最大速度特征匹配是指当前帧的前景空间目标在后 一帧中的前景空间目标匹配位置只能在当前帧的最大速度邻域内出现，满足以 下公式：

||point_t+1-point_t||＜v_max/f (8)

其中，v_max是两帧之间前景空间目标移动的最大速度，f是视频或图像序列 的帧率，point_t表示当前帧中的前景空间目标位置，point_t+1表示下一帧中的前景 空间目标位置，point_t-1表示前一帧中的前景空间目标位置；

所述的相似速度矢量特征匹配是指前一帧的前景空间目标位置到当前帧的 前景空间目标位置的速度矢量v_t(即为后向运动速度矢量，方向是由前一帧的 空间目标位置指向当前帧的空间目标位置的方向)和当前帧的前景空间目标位 置到后一帧的前景空间目标位置的速度矢量v_t+1(方向是由当前帧的前景空间目 标位置到后一帧的前景空间目标位置)，两个速度矢量之差的模小于速度差阈 值，满足以下公式：

||v_t+1-v_t||＜th_v (9)

其中，th_v为速度差阈值，vt表示后向运动速度矢量，是指前一帧的前景空 间目标位置到当前帧的前景空间目标位置的速度矢量，方向是由前一帧的前景 空间目标位置指向当前帧的前景空间目标位置，vt+1表示当前帧的前景空间目 标位置到后一帧的前景空间目标位置的速度矢量，方向是由当前帧的前景空间 目标位置指向后一帧的前景空间目标位置。

所述的亮度邻近特征是指前景空间目标两帧之间的灰度值变化小于其当前 帧灰度的十分之一。

本发明通过在多图像尺度上进行运动目标的定位和匹配，利用前向追踪的 方法，可以优化空间目标的跟踪方法，实现了高效的自纠正多空间目标跟踪。

本发明的有益效果：

本发明方法对输入的视频或图片序列进行预处理，减小噪声影响并初步筛 选出符合物理模型的空间目标像；通过连续计算每一帧的背景图实现前景与背 景的分离，避免探测设备、空间目标和背景的相对运动对检测结果的影响；利 用多级金字塔在多图像尺度内快速得到空间目标在前景图像中的亚像素质心位 置；综合多帧之间的互相关信息实现空间目标的自纠正跟踪。

本发明方法对多空间目标实现了稳定有效的跟踪，针对空间目标的物理模 型特征对质心位置的计算方法做了简化，提出了多帧之间互相关的前向、后向 跟踪方法，实现了能够自纠正的多目标跟踪，效率高，鲁棒性强，在低帧率的 情况下基本可以实现实时定位于跟踪。

附图说明

图1为空间探测设备得到的成像实例图。

图2为本发明方法主要框架流程示意图。

图3为本发明方法细节流程示意图。

图4为通过空间滤波处理视频或图像序列的对比结果图，其中，(a1)(a2)为 处理前的原图，(b1)(b2)为对应的通过空间滤波处理的结果。

图4(a1)为原始卫星图像1；

图4(a2)为原始卫星图像2；

图4(b1)为对原始卫星图像1做空间滤波以后的第二滤波后图像1’；

图4(b2)为对原始卫星图像2做空间滤波以后的第二滤波后图像2’；

图5为利用预处理和前后景分离得到的前景图像生成两列尺度范围交叉的 图像金字塔，并将两列图像金字塔交叉合并的示意图；

图6为像素点权值计算示意图，其中p₀是当前像素点的像素值，p_8-neigh是当 前像素点周围3*3邻域的像素点的像素值，p_16-neigh是当前像素点周围5*5邻域 内的像素点的像素值；

图7为以特征点权值和对应的对数采样倍率拟合二次曲线获得特征点权值 最大时的对数采样倍率k和在插入图像中得到特征点的亚像素坐标的示意图；

图8为进行前景、背景分离以后利用多图像尺度对空间目标点进行亚像素 定位的结果图，附表为图8中通过亚像素定位得到的点的坐标(按照Y方向坐 标升序排列)；

图9为由三帧连续的经过空间目标亚像素定位后的滤波后前景图像，通过 最大速度特征匹配、相似速度矢量特征匹配和亮度邻近特征匹配依次处理，进 行后向追踪获得当前帧的前景空间目标对应的在后一帧的前景空间目标位置的 示意图。示意图中的位置即为前景空间目标位置；

图10为通过判断前向追踪的前景空间目标位置与前一帧中的前景空间目标 位置的间距是否大于阈值来确定前后帧互相关是否有效的示意图。示意图中的 位置即为前景空间目标位置；

图11的20张图为从一段连续的卫星图像视频中间隔0.05秒截取的图像序 列，并对图像序列中一连续运动的空间目标进行跟踪，总时长为1秒，其中连 续运动的空间目标位置在图像序列中以白色的小圆圈出；

图12为这一连续运动的空间目标在图像中的像素位置表。

具体实施方式

以下结合附图对本发明作进一步说明。

本发明针对深空环境的空间目标较小，目标运动速度变化较大，跟踪目标 数量不唯一，跟踪错误率高，无法实时跟踪的情况，引入高效的自纠正多空间 目标跟踪方法。该方法对输入的视频或图片序列进行预处理，通过连续计算每 一帧的背景图实现前景与背景的分离，利用多级金字塔得到空间目标在前景图 像中的亚像素质心位置，综合利用多帧之间的互相关信息实现空间目标的自纠 正跟踪。本发明的流程如附图2和图3所示，主要包括对视频或图像序列的预 处理、利用多帧背景运动估计实现前景和背景分离、前景图像中目标的亚像素 质心定位、利用多帧互相关信息实现前后帧自纠正匹配等几个步骤。

本发明的实施例及其实施过程如下：

(1)输入卫星图像，对输入卫星图像的视频或图像序列进行预处理，具体是：

具体实施的视频或图像序列为通过人造卫星拍摄的以人造天体或者快速运 动的小行星作为空间目标进行运动的视频或图像序列。

(1.1)载入视频或图像序列，并将每一帧的图像转变成为灰度图像；

若初始载入的视频或图像序列每一帧为彩色图像，则将每一帧彩色图像都 转变为灰度图像；若初始载入的视频或图像序列每一帧为灰度图像，则不做处 理。原始卫星灰度图像如图4(a1)、图4(a2)所示。

(1.2)利用空间滤波的方法处理视频或图像序列；

(1.2.1)利用空间滤波的方法处理视频或图像序列步骤的具体方法：

先采用矩孔滤波器对每一帧图像进行均值滤波，具体对于每一个像素点， 构建第一滤波窗口，采取如下公式窗口滑动计算更新像素点的像素值，获得第 一滤波后图像：

(1.2.2)接着对于每一个像素点，构建第二滤波窗口，窗口滑动进行噪声系数 ξ＝1的高斯平均滤波，采取如下公式计算更新像素点的像素值：

步骤两次滤波结果如图4(b1)、图4(b2)所示。

(2)利用多帧背景运动估计方法进行处理实现前景和背景的分离；

步骤(2.1)中，通过视频或图像序列初始数帧的信息估计第零帧时的背景图像 的具体计算方法为：

其中的β表示鲁棒性参数是一个小于1的数，在此用于控制计算第零帧背 景的图像帧数，默认值为0.01。当β较大时该计算方法应对照明变化较大场景 适应较快，当β较小时该计算方法对照明情况的变化不敏感。

这里对背景图像的额外处理和获得的背景图像能解决由于前景的空间目标 运动速度和范围较大，在初始数帧相互叠加求均值的过程中，前景空间目标的 信息会由于多帧位置不叠加而在求均值的过程中被淹没在背景信息中的技术问 题。

(2.2)由步骤1)获得的视频或图像序列和上一帧的背景图像之间的变化作 为背景随时间的平均移动量，逐帧迭代处理得到每一帧的背景图像，并且利用 每一帧的背景图像计算视频或图像序列中的前景图像，具体为：

B^t＝βsign(I^t-B^t-1)+B^t-1 (4)

F^t＝I^t-B^t (5)

其中，B^t是第t帧背景图像，F^t是第t帧的前景图像，sign()表示符号函 数。

当I^t-B^t-1为负值时，sign(I^t-B^t-1)＝-1；当I^t-B^t-1为零值时， sign(I^t-B^t-1)＝0；当I^t-B^t-1为正值时，sign(I^t-B^t-1)＝1。

从而获得了滤波后前后景图像。

(3)前景图像中进行多空间目标的亚像素质心定位；

(3.1)以不同倍率对每一幅前景图像作降采样处理得到两列尺度范围交叉的 图像金字塔：第一列图像金字塔c_i是由前景图像通过连续的两倍图像尺寸降采 样得到的，降采样倍数为2ⁱ⁺¹，i是降采样层的序号，为大于等于零的整数，经 过一次降采样得到c0层，两次降采样得到c1层，以此类推；第二列图像金字塔 d_i是由前景图像先通过第一次1.5倍降采样图像尺寸降采样，然后再以连续的两 倍图像尺寸降采样得到的，降采样倍数为1.5*2i，i是降采样层的序号，为大于 等于零的整数，经过一次降采样得到d0层，两次降采样得到d1层，以此类推。

然后将两列图像金字塔的尺度范围交叉按照图像尺度从大到小排序组成一 列不同图像尺度的前景图像序列。步骤(3.1)建立不同图像尺度的前景图像序列的 示意图如图5所示。

两列图像金字塔分别交替为上层和下层，两列图像金字塔的尺度范围交叉 是指两列图像金字塔中的各个图像按照图像尺度一起从大到小统一排序后，两 列图像金字塔的各个图像尺度交替排列，即一列图像金字塔的一幅图像的图像 尺度介于另一列图像金字塔的两幅图像的图像尺度之间。

(3.2)舍弃尺度范围交叉排列的前景图像序列最底层的图像，即舍弃原始图像 尺寸的原图，对剩余的不同图像尺度的前景图像作点检测，得到每个图像尺度 的前景图像上的特征点位置和特征点分数：

(3.2.1)在每一当前图像尺度图像上，对所有的像素点都计算像素点的权值， 通过点的邻域信息计算，像素点的权值score计算为：

其中，p₀是当前像素点的像素值，p_8-neigh是当前像素点周围3*3邻域的像 素点的像素值，p_16-neigh是当前像素点周围5*5邻域内的像素点的像素值，α是 拉格朗日乘子，默认值为5.0。步骤(3.2.1)的像素点权值计算示意图如图6所示。

(3.2.2)在计算获得所有像素点的权值后，做非极大值抑制处理，只保留八邻 域内权值最大的像素点作为特征点；

(3.2.3)前景图像序列中针对每一图像尺度的前景图像的特征点，找到与该前 景图像尺度上下相邻的两个图像尺度的前景图像中和特征点位置对应相同的像 素点的权值，并作以下判断：

若上下相邻的两个图像尺度的前景图像中的两个像素点的权值小于当前前 景图像的特征点的权值，则这三个点的位置和权值均保留，并组成特征组；否 则不保留不处理；

(3.3)通过权值和对应对数采样倍率计算二次曲线，得权值最大的图像尺度下 特征点的亚像素坐标，代表了卫星图像中的前景空间目标(例如为星星)：

根据特征组中三个点的权值以降采样时采样倍率的对数进行拟合获得二次 曲线，通过二次曲线得到曲线上权值最大处对应对数的采样倍率k，采样倍率k对 应的前景图像为插入图像，在与插入图像上下相邻的两个图像尺度(假设上层为 d_i+1层，下采样倍率为1.5*2ⁱ⁺¹，下层为c_i，下采样倍率为2ⁱ⁺¹)之间通过以下公式 计算，得到插入图像中与特征组中特征点位置对应相同的坐标作为特征点的亚 像素坐标：

其中，(x_k，y_k)是特征点的亚像素坐标，是插入图像上相邻的图像 尺度的图像(上层d_i+1层)中特征点位置对应的图像坐标，是插入图像下相 邻的图像尺度的图像(下层c_i层)中特征点位置对应的图像坐标。步骤(3.3)得到权 值最大的图像尺度下特征点的亚像素坐标的示意图如图7所示。

多图像尺度处理得到的亚像素点定位结果可如图8所示，附表为图8中通 过亚像素定位得到的点的坐标(按照Y方向坐标升序排列)。

本方法在步骤(3.2)中舍弃尺度范围交叉排列的前景图像序列最底层的图 像，即舍弃原始图像尺寸的原图，对剩余的不同图像尺度的前景图像做点检测。 这一步骤可以大大加速前景空间中多空间目标亚像素质心定位算法的速度，经 过比较，对于五十张分辨率为800*1056的前景图像：不舍弃序列中原始图像尺 寸的原图，平均计算时间为0.6532秒，平均目标定位准确率为97.32％(目标定 位准确率为：对于同一张图，算法定位的点的个数与人眼定位的点的个数之比)； 若使用本方法提出的步骤，舍弃序列中原始图像尺寸的原图，平均计算时间为0.3004秒，平均目标定位准确率为95.78％。本方法提出的步骤使算法的速度得 到了极大的提升，同时目标定位准确率可以基本满足卫星图像的多目标跟踪要求。

(4)综合利用多帧之间的互相关信息实现前后帧的目标匹配跟踪。

(4.1)以亚像素坐标作为前景空间目标位置的质心坐标，对于滤波后前景图像 构成的视频或图像序列的首帧，通过利用亮度邻近特征匹配方法根据亚像素坐 标对下一帧的滤波后前景图像处理，获得下一帧的滤波后前景图像中每一个前 景空间目标的质心坐标的最大可能匹配位置作为最终下一帧的的滤波后前景图 像中的前景空间目标位置；

(4.2)对于滤波后前景图像构成的视频或图像序列的第二帧起的其余每一帧， 由当前帧与其前后相邻的各一帧组成三帧连续图像序列，由三帧连续图像序列 通过最大速度特征匹配、相似速度矢量特征匹配和亮度邻近特征匹配依次处理， 进行后向追踪获得当前帧的后一帧的前景空间目标位置，由各帧的前景空间目 标之间依次连接构成跟踪轨迹；后向追踪是指顺着拍摄记录的时间顺序进行前 景空间目标的追踪，其中当前帧的前一帧的前景空间目标位置是后向追踪的起 始位置。

最大速度特征匹配是指当前帧的前景空间目标在后一帧中的前景空间目标 匹配位置只能在当前帧的最大速度邻域内出现，满足以下公式：

||point_t+1-point_t||＜υ_max/f (8)

相似速度矢量特征匹配是指前一帧的前景空间目标位置到当前帧的前景空 间目标位置的速度矢量v_t(即为后向运动速度矢量)和当前帧的前景空间目标 位置到后一帧的前景空间目标位置的速度矢量v_t+1，两个速度矢量之差的模小于 速度差阈值，满足以下公式：

||v_t+1-v_t||＜th_v (9)

亮度邻近特征是指前景空间目标两帧之间的灰度值变化小于当前帧灰度的 十分之一。

由三帧连续的经过空间目标亚像素定位后的滤波后前景图像，通过最大速 度特征匹配、相似速度矢量特征匹配和亮度邻近特征匹配依次处理，进行后向 追踪获得当前帧的前景空间目标位置对应的在后一帧的前景空间目标位置的示 意图如图9所示。

(4.3)利用后一帧的前景空间目标位置和当前帧的前景空间目标位置计算前 向运动速度矢量，前向运动速度矢量是指后一帧的前景空间目标位置倒回向当 前帧的前景空间目标位置的速度矢量，方向是由后一帧的前景空间目标位置出 发指向当前帧的前景空间目标位置的方向；

使当前帧的前景空间目标以前向运动速度矢量运动，具体实施方式是将得 到的前向运动速度矢量由后一帧的前景空间目标位置平移到当前帧的前景空间 目标位置，并在终点处以5个像素为半径的圆建立前向速度邻域，在前向速度 邻域内以亮度最邻近原则获得前向追踪的前景空间目标位置。前向追踪是指逆 着拍摄记录的时间顺序进行前景空间目标的追踪。

若前向追踪的前景空间目标位置与前一帧的前景空间目标位置(即后向追 踪的起始位置)之间的间距大于3个像素值，则前后帧互相关无效，舍弃当前 帧和后一帧之间的追踪轨迹，重新以后一帧的前景空间目标位置作为第一帧的 前景空间目标位置，将后向运动速度矢量v_t由当前帧的前一帧前景空间目标位 置的起始位置平移到后一帧的前景空间目标位置作为起始位置，并作为后一帧 前景空间目标位置的后向运动速度向量，返回到步骤(4.1)继续迭代进行目标跟踪；

若前向运动速度向量的终点位置与前一帧之间的间距不大于3个像素值， 则前后帧互相关有效，以获得的轨迹跟踪，直至视频或图像序列的最后一帧。

通过判断前向追踪的前景空间目标位置与前一帧中的前景空间目标位置的 间距是否大于阈值来确定前后帧互相关是否有效的示意图如图10所示。

实施例对连续运动的多空间目标的跟踪情况，通过对一模拟的连续运动空 间运动目标进行跟踪，图11为在连续的视频或图像序列中对一空间运动目标进 行跟踪的结果，图12为这一连续运动物体在对应帧中的像素位置。

Claims (7)

1.一种高效的卫星图像自纠正多目标跟踪方法，其特征在于，该方法包括以下步骤：

(1)输入卫星图像，对输入卫星图像的视频或图像序列进行预处理，具体是：

(1.1)载入视频或图像序列，并将每一帧的图像转变成为灰度图像；

(1.2)利用空间滤波的方法处理视频或图像序列；

(2)利用多帧背景运动估计方法进行处理实现前景和背景的分离；

(3)前景图像中进行多空间目标的亚像素质心定位；

(4)综合利用多帧之间的互相关信息实现前后帧的目标匹配跟踪。

2.根据权利要求1所述的一种高效的卫星图像自纠正多目标跟踪方法，其特征在于：所述的视频或图像序列为通过人造卫星拍摄的以人造天体或者快速运动的小行星作为空间目标进行运动的视频或图像序列。

3.根据权利要求1所述的一种高效的卫星图像自纠正多目标跟踪方法，其特征在于：所述步骤(1.2)具体为：

(1.2.1)利用空间滤波的方法处理视频或图像序列步骤的具体方法：

先采用矩孔滤波器对每一帧图像进行均值滤波，具体对于每一个像素点，构建第一滤波窗口，采取如下公式窗口滑动计算更新像素点的像素值，获得第一滤波后图像：

其中，I(x，y)是原始卫星图像，I_n(x，y)是第一滤波后图像，n是第一滤波窗口的边长；

(1.2.2)接着对于每一个像素点，构建第二滤波窗口，窗口滑动进行噪声系数ξ＝1的高斯平均滤波，采取如下公式计算更新像素点的像素值：

其中，I_n(x，y)是第一滤波后图像，I_ξ(x，y)表示第二滤波后图像，w是第二滤波窗口的边长，w是第二滤波窗口的边长，ξ表示噪声系数。

4.根据权利要求1所述的一种高效的卫星图像自纠正多目标跟踪方法，其特征在于：

所述步骤(2)具体为：

所述步骤(2.1)中，通过视频或图像序列初始数帧的信息估计第零帧时的背景图像的具体计算方法为：

其中，B⁰是第零帧的背景图像，是第二滤波后图像，β表示鲁棒性参数；

(2.2)由步骤1)获得的视频或图像序列和上一帧的背景图像之间的变化作为背景随时间的平均移动量，逐帧迭代处理得到每一帧的背景图像，并且利用每一帧的背景图像计算视频或图像序列中的前景图像，具体为：

B^t＝βsign(I^t-B^t-1)+B^t-1 (4)

F^t＝I^t-B^t (5)

其中，B^t是第t帧背景图像，F^t是第t帧的前景图像，sign()表示符号函数；

从而获得了滤波后前后景图像。

5.根据权利要求1所述的一种高效的卫星图像自纠正多目标跟踪方法，其特征在于：所述步骤(3)具体为：

(3.1)以不同倍率对每一幅前景图像作降采样处理得到两列尺度范围交叉的图像金字塔：第一列图像金字塔c_i是由前景图像通过连续的两倍图像尺寸降采样得到的；第二列图像金字塔d_i是由前景图像先通过第一次1.5倍降采样图像尺寸降采样、然后再以连续的两倍图像尺寸降采样得到的；然后将两列图像金字塔的尺度范围交叉按照图像尺度从大到小排序组成一列不同图像尺度的前景图像序列；

(3.2)舍弃尺度范围交叉排列的图像金字塔最底层的图像，即舍弃原始图像尺寸的原图，对剩余的不同图像尺度的前景图像作点检测，得到每个图像尺度的前景图像上的特征点位置和特征点分数：

(3.2.1)在每一当前图像尺度图像上，对所有的像素点都计算像素点的权值，像素点的权值score计算为：

其中，p_o是当前像素点的像素值，p_8-neigh是当前像素点周围3*3邻域的像素点的像素值，p_16-neigh是当前像素点周围5*5邻域内的像素点的像素值，α是拉格朗日乘子；

(3.2.2)在计算获得所有像素点的权值后，做非极大值抑制处理，只保留八邻域内权值最大的像素点作为特征点；

(3.2.3)前景图像序列中针对每一图像尺度的前景图像的特征点，找到与该前景图像尺度上下相邻的两个图像尺度的前景图像中和特征点位置对应相同的像素点的权值，并作以下判断：

若上下相邻的两个图像尺度的前景图像中的两个像素点的权值小于当前前景图像的特征点的权值，则这三个点的位置和权值均保留，并组成特征组；否则不保留不处理；

(3.3)通过权值和对应对数采样倍率计算二次曲线，得权值最大的图像尺度下特征点的亚像素坐标：

根据特征组中三个点的权值以降采样时采样倍率的对数进行拟合获得二次曲线，通过二次曲线得到曲线上权值最大处对应对数的采样倍率k，采样倍率k对应的前景图像为插入图像，在与插入图像上下相邻的两个图像尺度之间通过以下公式计算，得到插入图像中与特征组中特征点位置对应相同的坐标作为特征点的亚像素坐标：

其中，(x_k，y_k)是特征点的亚像素坐标，是插入图像上相邻的图像尺度的图像中特征点位置对应的图像坐标，是插入图像下相邻的图像尺度的图像中特征点位置对应的图像坐标，i是降采样层的序号，k是特征点权值最大时对应的对数降采样倍率。

6.根据权利要求1所述的一种高效的卫星图像自纠正多目标跟踪方法，其特征在于：所述步骤(4)具体是：

(4.1)对于滤波后前景图像构成的视频或图像序列的首帧，通过利用亮度邻近特征匹配方法根据亚像素坐标对下一帧的滤波后前景图像处理，获得下一帧的滤波后前景图像中每一个前景空间目标的质心坐标的最大可能匹配位置，将其作为最终下一帧的滤波后前景图像中的前景空间目标位置；

(4.2)对于滤波后前景图像构成的视频或图像序列的第二帧起的其余每一帧，由当前帧与其前后相邻的各一帧组成三帧连续图像序列，由三帧连续图像序列通过最大速度特征匹配、相似速度矢量特征匹配和亮度邻近特征匹配依次处理，进行后向追踪获得当前帧的前景空间目标对应的在后一帧的前景空间目标位置，由各帧的前景空间目标之间依次连接构成跟踪轨迹；

(4.3)利用后一帧的前景空间目标位置和当前帧的前景空间目标位置计算前向运动速度矢量，前向运动速度矢量是指后一帧的前景空间目标位置倒回向当前帧的前景空间目标位置的速度矢量，方向是由后一帧的前景空间目标位置出发指向当前帧的前景空间目标位置的方向；

使当前帧的前景空间目标以前向运动速度矢量运动，具体实施方式是将得到的前向运动速度矢量由后一帧的前景空间目标位置平移到当前帧的前景空间目标位置，并在终点处以8个像素为半径的圆建立前向速度邻域，在前向速度邻域内以亮度最邻近原则获得前向追踪的前景空间目标位置。

若前向追踪的前景空间目标位置与前一帧中的前景空间目标位置之间的间距大于3个像素值，则前后帧互相关无效，舍弃当前帧和后一帧之间的追踪轨迹，重新以后一帧的前景空间目标位置作为第一帧的前景空间目标位置，将后向运动速度矢量v_t由当前帧的前一帧前景空间目标位置的起始位置平移到后一帧的前景空间目标位置作为起始位置，并作为后一帧前景空间目标位置的后向运动速度矢量，返回到步骤(4.1)继续迭代进行目标跟踪；

若前向追踪的前景空间目标位置与前一帧的前景空间目标位置之间的间距不大于3个像素值，则前后帧互相关有效，以获得的轨迹跟踪，直至视频或图像序列的最后一帧。

7.根据权利要求1所述的一种高效的卫星图像自纠正多目标跟踪方法，其特征在于：所述步骤(4.2)中，所述的最大速度特征匹配是指当前帧的前景空间目标在后一帧中的前景空间目标匹配位置只能在当前帧的最大速度邻域内出现，满足以下公式：

||point_t+1-point_t||＜υ_max/f (8)

其中，v_max是两帧之间前景空间目标移动的最大速度，f是视频或图像序列的帧率，point_t表示当前帧中的前景空间目标位置，point_t+1表示下一帧中的前景空间目标位置，point_t-1表示前一帧中的前景空间目标位置；

所述的相似速度矢量特征匹配是指前一帧的前景空间目标位置到当前帧的前景空间目标位置的速度矢量v_t和当前帧的前景空间目标位置到后一帧的前景空间目标位置的速度矢量v_t+1，两个速度矢量之差的模小于速度差阈值，满足以下公式：

||v_t+1-v_t||＜th_v (9)

其中，th_v为速度差阈值，vt表示后向运动速度矢量，是指前一帧的前景空间目标位置到当前帧的前景空间目标位置的速度矢量，方向是由前一帧的前景空间目标位置指向当前帧的前景空间目标位置，vt+1表示当前帧的前景空间目标位置到后一帧的前景空间目标位置的速度矢量，方向是由当前帧的前景空间目标位置指向后一帧的前景空间目标位置；

所述的亮度邻近特征是指前景空间目标两帧之间的灰度值变化小于其当前帧灰度的十分之一。