CN111539993B - 基于分割的空间目标视觉跟踪方法 - Google Patents

Abstract

本发明公开了一种基于分割的空间目标视觉跟踪方法，该方法包括：S1，在首帧，通过矩形框选择空间目标区域，对目标区域初始化目标与背景图像特征，得到目标剪影区域。S2，在当前帧，根据目标和背景图像特征，通过剪影跟踪，得到当前帧的目标剪影区域；S3，根据当前帧的目标剪影区域，在线学习目标与背景图像特征。S4，重复步骤S2和步骤S3，得到空间目标在视频图像的区域信息。本发明的基于分割的空间目标视觉跟踪方法，无需首帧图像标记空间目标轮廓，只需首帧图像标记空间目标矩形区域即可完成在轨服务、交会对接、相对导航等过程中空间目标的视觉跟踪。不易被视点与尺度变化影响，跟踪结果更准确，计算复杂度较低，实现简单，更适合工程应用。

Description

基于分割的空间目标视觉跟踪方法

技术领域

本发明涉及视觉跟踪技术领域，尤其涉及一种基于分割的空间目标视觉跟踪方法。

背景技术

通过卫星上搭载的视频相机跟踪空间目标，可以为在轨服务、交会对接、相对导航等空间任务提供目标的图像位置，从而使位姿估计、立体重建等目标运动和结构的深入分析成为可能。

现有技术中，空间目标视觉跟踪常用的方法包括基于检测的跟踪方法(tracking-by-detection)和基于分割的跟踪方法(tracking-by-segmentation)。基于检测的跟踪方法，根据首帧初始化的目标矩形区域，建立目标图像外观特征，在线学习判别分类器，得到序列图像目标矩形区域。此类方法由于特征描述过多引入背景信息，当观测像机与空间目标存在较大相对位姿变化时，将发生跟踪漂移，很难准确完成跟踪任务。基于分割的跟踪方法，若采用灰度均值等简单特征描述，很难取得较好的跟踪结果；若采用粒子滤波等估计方法，采用霍夫森林分类，神经网络等分类方法，很难取得较高的跟踪效率；当首帧需要精确标记目标剪影时，方法应用流程复杂。综上，现有空间目标视觉跟踪方法不能精确、高效完成空间目标视觉跟踪任务。

发明内容

为解决上述现有技术中存在的技术问题，本发明提供了一种基于分割的空间目标视觉跟踪方法。具体技术方案如下：

一种基于分割的空间目标视觉跟踪方法，所述方法包括：

S1，在首帧，通过矩形框选择空间目标区域，对目标区域初始化目标与背景图像特征，得到目标剪影区域；

S2，在当前帧，根据目标和背景图像特征，通过剪影跟踪，得到当前帧的目标剪影区域；

S3，根据当前帧的目标剪影区域，在线学习目标与背景图像特征；

S4，重复步骤S2和步骤S3，得到空间目标在视频图像的区域信息。

可选地，步骤S1中，在首帧，通过矩形框选择空间目标区域，对空间目标区域初始化目标与背景图像特征，得到目标剪影区域，进一步包括：

在首帧t＝0时刻框选目标矩形区域，矩形区域内为可能的目标像素集合，矩形区域外为背景像素集合；根据像素类别标记，通过交互式图像分割方法，得到t＝0时刻目标区域，并划分目标像素集合和背景像素集合，生成目标掩膜图像；通过K-means聚类和参数拟合，估计目标像素集合和背景像素集合的高斯混合模型。

可选地，步骤S2中，在当前帧，根据目标和背景图像特征，通过剪影跟踪，得到当前帧的目标剪影区域，进一步包括：

根据t-1时刻的目标掩膜图像，通过图像形态学膨胀运算，得到t时刻的目标潜在区域掩膜图像，t≥1；对t时刻的目标潜在区域，根据目标和背景高斯混合模型和邻域标记相似性，定义吉布斯能量函数；通过最小割算法，迭代优化求解能量函数，将像素标记为目标像素，可能的目标像素，背景像素，可能的背景像素；将目标像素集合作为t时刻跟踪到的目标区域，划分目标像素集合和背景像素集合，生成目标掩膜图像。

可选地，步骤S3中，根据当前帧的目标剪影区域，在线学习目标与背景图像特征，进一步包括：

根据像素颜色值，计算像素属于目标高斯混合模型的概率密度，将可能的目标像素重标记为目标像素和背景像素；通过K-means聚类和参数拟合，基于目标像素集合和背景像素集合的颜色值，在线估计高斯混合模型，学习目标和背景图像特征。

可选地，步骤S1中，估计目标像素集合pixels⁰和背景像素集合pixels¹高斯混合模型gmm^l _m＝{w^l _m,μ^l _m,Σ^l _m,l＝0,1,m＝1,…,M}，其中l是像素标签，l＝0表示目标模型，l＝1表示背景模型，m是M个高斯模型的序号，w^l _m是第m个高斯模型的归一化混合权重，μ^l _m是第m个高斯模型的均值向量，Σ^l _m是第m个高斯模型的协方差矩阵；目标和背景像素集合的高斯混合模型概率密度函数可定义为下述公式一，其中x为像素颜色值：

可选地，步骤S2中，根据t-1时刻的目标掩膜图像，通过下述公式二进行图像形态学膨胀运算，得到t时刻的目标潜在区域掩膜图像，t≥1：

式中，pmask_t表示t时刻的目标潜在区域掩膜图像，mask_t-1表示t-1时刻的目标掩膜图像，(x,y)代表像素坐标，(Δx,Δy)代表像素坐标偏移量。

可选地，步骤S2中，定义的吉布斯能量函数如下式公式三：

式中，n为像素索引，权重γ＝50，像素i和j属于四邻域集合C，dis为函数计算像素i和j图像坐标欧式距离，δ为函数指示像素i标记l_i和像素j标记l_j的相似性，相同为0，不同为1，常数β选取四邻域集合像素颜色差值期望。

可选地，步骤S3中，根据像素颜色值，计算像素属于目标高斯混合模型的概率密度，将可能的目标像素重标记为目标像素和背景像素，进一步包括：

根据像素颜色值，通过公式一计算像素属于目标高斯混合模型的概率密度p⁰，属于背景高斯混合模型的概率密度p¹；如果p⁰<p¹，且像素标记为可能的目标像素，则将像素重标记为可能的背景像素；如果p⁰>p¹，且像素标记为可能的目标像素，则将像素重标记为目标像素。

本发明技术方案的主要优点如下：

本发明的基于分割的空间目标视觉跟踪方法，无需首帧图像标记空间目标轮廓，只需首帧图像标记空间目标矩形区域即可完成在轨服务、交会对接、相对导航等过程中空间目标的视觉跟踪。与基于检测的跟踪方法相比，不易被视点与尺度变化影响，跟踪结果更准确；与现有技术中已有的基于分割的跟踪方法相比，计算复杂度较低，实现简单，更适合工程应用。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一实施例提供的基于分割的空间目标视觉跟踪方法流程图；

图2为本发明一实施例提供的基于分割的空间目标视觉跟踪方法中估计的目标高斯混合模型的示意图；

图3为本发明一实施例提供的基于分割的空间目标视觉跟踪方法在卫星仿真数据集单帧计算时间示意图；

图4为欧空局Speed数据集单帧计算时间示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图，详细说明本发明实施例提供的技术方案。

本发明实施例提供了一种基于分割的空间目标视觉跟踪方法，如附图1所示，该方法包括：

S1，在首帧，通过矩形框选择空间目标区域，对目标区域初始化目标与背景图像特征，得到目标剪影区域。

S2，在当前帧，根据目标和背景图像特征，通过剪影跟踪，得到当前帧的目标剪影区域。

S3，根据当前帧的目标剪影区域，在线学习目标与背景图像特征。

S4，重复步骤S2和步骤S3，得到空间目标在视频图像的区域信息。

本发明提供的基于分割的空间目标视觉跟踪方法，无需首帧图像标记空间目标轮廓，只需首帧图像标记空间目标矩形区域即可完成在轨服务、交会对接、相对导航等过程中空间目标的视觉跟踪。与现有技术中基于检测的跟踪方法相比，不易被视点与尺度变化影响，跟踪结果更准确；与现有技术中已有的基于分割的跟踪方法相比，计算复杂度较低，实现简单，更适合工程应用。

以下对本发明实施例提供的基于分割的空间目标视觉跟踪方法的各步骤进行详细阐述：

S1，在首帧t＝0时刻框选目标矩形区域，矩形区域内为可能的目标像素集合，矩形区域外为背景像素集合。根据像素类别标记，通过交互式图像分割方法，得到首帧t＝0时刻目标区域，并划分目标像素集合pixels_t ⁰和背景像素集合pixels_t ¹，生成目标掩膜图像mask_t。通过K-means聚类和参数拟合，估计目标像素集合pixels_t ⁰和背景像素集合pixels_t ¹的高斯混合模型gmm^l _m＝{w^l _m,μ^l _m,Σ^l _m,l＝0,1,m＝1,…,M}，其中l是像素标签，l＝0表示目标模型，l＝1表示背景模型，m是M个高斯模型的序号，w^l _m是第m个高斯模型的归一化混合权重，μ^l _m是第m个高斯模型的均值向量，Σ^l _m是第m个高斯模型的协方差矩阵。估计的目标高斯混合模型如附图2所示。

目标和背景像素集合的高斯混合模型概率密度函数可定义为下述公式一，其中x为像素颜色值：

S2，根据t-1(t≥1)时刻的目标掩膜图像，通过下述公式二进行图像形态学膨胀运算，得到t时刻的目标潜在区域掩膜图像；

式中，pmask_t表示t时刻的目标潜在区域掩膜图像，mask_t-1表示t-1时刻的目标掩膜图像，(x,y)代表像素坐标，(Δx,Δy)代表像素坐标偏移量。

对t时刻的目标潜在区域，根据目标和背景高斯混合模型和邻域标记相似性，定义吉布斯能量函数如公式三；

式中，n为像素索引，权重γ＝50，像素i和j属于四邻域集合C，dis为函数计算像素i和j图像坐标欧式距离，δ为函数指示像素i标记l_i和像素j标记l_j的相似性，相同为0，不同为1，常数β选取四邻域集合像素颜色差值期望。

通过最小割算法，迭代优化求解能量函数，将像素标记为目标像素，可能的目标像素，背景像素，可能的背景像素。将目标像素集合作为t时刻跟踪到的目标区域，划分目标像素集合和背景像素集合，生成目标掩膜图像。

S3，根据像素颜色值，通过公式一计算像素属于目标高斯混合模型的概率密度p⁰，属于背景高斯混合模型的概率密度p¹；如果p⁰<p¹，且像素标记为可能的目标像素，则将像素重标记为可能的背景像素；如果p⁰>p¹，且像素标记为可能的目标像素，则将像素重标记为目标像素，其他情况，像素标记不变。从而通过K-means聚类和参数拟合，基于目标像素集合和背景像素集合的颜色值，在线估计高斯混合模型，学习目标和背景图像特征。

S4，重复步骤S2和步骤S3，即可得到空间目标在每一帧的区域信息，进而得到空间目标在视频图像的区域信息。

以下结合具体示例，对本发明的基于分割的空间目标视觉跟踪方法的有益效果进行说明：

该实施例中，基于仿真数据集(287帧，图像分辨率640×640)和欧空局Speed数据集(16帧，图像分辨率1920×1200)，验证方法的可行性。实验硬件平台，选择2.50GHz IntelCore i7-4710HQ处理器，12.0GB内存；实验操作系统，选择64位Windows 10。利用开源计算机视觉库opencv 2.4.10，通过C++实现，未进行加速优化。

实施例一，通过对比基于检测的跟踪方法，例如经典的核相关滤波跟踪方法(Kernelized Correlation Filters Tracker)，验证了当卫星存在视点与尺度变化情况，本发明的方法可以给出更准确的跟踪结果。

实施例二，如附图3和附图4所示，本发明的方法在卫星仿真数据集上单帧平均计算时间约为379毫秒，在欧空局Speed数据集上单帧平均计算时间约为1821毫秒，计算速度较快，可见，本发明方法的跟踪时效性较强。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，本文中“前”、“后”、“左”、“右”、“上”、“下”均以附图中表示的放置状态为参照。

最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (1)

1.一种基于分割的空间目标视觉跟踪方法，其特征在于，所述方法包括：

S1，在首帧，通过矩形框选择空间目标区域，对目标区域初始化目标与背景图像特征，得到目标剪影区域；

S2，在当前帧，根据目标和背景图像特征，通过剪影跟踪，得到当前帧的目标剪影区域；

S3，根据当前帧的目标剪影区域，在线学习目标与背景图像特征；

S4，重复步骤S2和步骤S3，得到空间目标在视频图像的区域信息；

其中，步骤S1中，在首帧，通过矩形框选择空间目标区域，对空间目标区域初始化目标与背景图像特征，得到目标剪影区域，进一步包括：在首帧t＝0时刻框选目标矩形区域，矩形区域内为可能的目标像素集合，矩形区域外为背景像素集合；根据像素类别标记，通过交互式图像分割方法，得到t＝0时刻目标区域，并划分目标像素集合和背景像素集合，生成目标掩膜图像；通过K-means聚类和参数拟合，估计目标像素集合和背景像素集合的高斯混合模型；

步骤S1中，估计目标像素集合pixels⁰和背景像素集合pixels¹高斯混合模型gmm^l _m＝{w^l _m,μ^l _m,Σ^l _m,l＝0,1,m＝1,…,M}，其中l是像素标签，l＝0表示目标模型，l＝1表示背景模型，m是M个高斯模型的序号，w^l _m是第m个高斯模型的归一化混合权重，μ^l _m是第m个高斯模型的均值向量，Σ^l _m是第m个高斯模型的协方差矩阵；

目标和背景像素集合的高斯混合模型概率密度函数定义为下述公式一，其中x为像素颜色值：

步骤S2包括：根据t-1时刻的目标掩膜图像，通过下述公式二进行图像形态学膨胀运算，得到t时刻的目标潜在区域掩膜图像，t≥1；对t时刻的目标潜在区域，根据目标和背景高斯混合模型和邻域标记相似性，得到如公式三所示的吉布斯能量函数；通过最小割算法，迭代优化求解能量函数，将像素标记为目标像素，可能的目标像素，背景像素，可能的背景像素；将目标像素集合作为t时刻跟踪到的目标区域，划分目标像素集合和背景像素集合，生成目标掩膜图像；

式中，pmask_t表示t时刻的目标潜在区域掩膜图像，mask_t-1表示t-1时刻的目标掩膜图像，(x,y)代表像素坐标，(Δx,Δy)代表像素坐标偏移量；

式中，n为像素索引，权重γ＝50，像素i和j属于四邻域集合C，dis为函数计算像素i和j图像坐标欧式距离，δ为函数指示像素i标记l_i和像素j标记l_j的相似性，相同为0，不同为1，常数β选取四邻域集合像素颜色差值期望；

步骤S3中，根据当前帧的目标剪影区域，在线学习目标与背景图像特征，进一步包括：根据像素颜色值，计算像素属于目标高斯混合模型的概率密度，将可能的目标像素重标记为目标像素和背景像素；通过K-means聚类和参数拟合，基于目标像素集合和背景像素集合的颜色值，在线估计高斯混合模型，学习目标和背景图像特征；

根据像素颜色值，计算像素属于目标高斯混合模型的概率密度，将可能的目标像素重标记为目标像素和背景像素，进一步包括：

根据像素颜色值，计算像素属于目标高斯混合模型的概率密度p⁰，属于背景高斯混合模型的概率密度p¹；

如果p⁰<p¹，且像素标记为可能的目标像素，则将像素重标记为可能的背景像素；

如果p⁰>p¹，且像素标记为可能的目标像素，则将像素重标记为目标像素。

Images