CN107203770A - 一种光学捷联导引头图像跟踪方法 - Google Patents

Abstract

本发明公开了一种光学捷联导引头图像跟踪方法，该方法采用运动模糊图像复原和基于局部特征的目标跟踪技术来抑制导弹飞行过程中成像严重模糊退化造成的影响。步骤如下：首先提取目标特征模板，获取多尺度Harris特征点及其局部不变特征区域的SIFT描述子，并选取待跟踪特征点；其次，对后续帧图像进行运动图像模糊复原；再次，基于弹体姿态角通过坐标变换预测波门位置，以减少图像处理数据，提高实时性；最后，在波门内进行SIFT描述子向量的匹配，确定最佳匹配特征点并进行目标模板更新。本发明能够在弹体抖动导致目标成像严重模糊退化时保持对目标的稳定跟踪。

Description

一种光学捷联导引头图像跟踪方法

技术领域

本发明涉及图像处理技术领域，具体而言，涉及应用于光学捷联导引头的图像跟踪方法。

背景技术

光学捷联导引头取消了万向支架和伺服系统，将光学成像组件刚性地固定在弹体上，可大幅低降低成本、减小弹的质量、体积和发射过载，并提高系统的可靠性，是未来精确制导技术的重要发展方向之一。但是由于没有了隔离导弹抖动及姿态运动的万向支架，导致外界的扰动、弹体的抖动和姿态运动信息直接耦合到导引头所成图像中，即光学捷联导引头的目标成像复合了导弹载体在方位、俯仰、滚转各方向上的各种运动信息，从而导致导引头成像存在严重的模糊退化问题。同时，在跟踪过程中，成像探测器的观测基准随弹体姿态的变化而实时变化，目标成像的尺寸、灰度和形状以及成像运动形式随弹目相对距离、弹体姿态的变化而变化。上述情况无疑将大大影响光学捷联导引头图像跟踪的能力。因此，针对光学捷联导引头的目标图像退化模糊、成像特征帧间变化大等问题，研制有效的方法校正这种影响，保持对目标的稳定跟踪，是光学捷联导引头必须解决的关键技术之一。

现有技术中提供了一种基于变尺寸模板的光学捷联成像导引头相关跟踪方法，如“捷联成像导引头相关跟踪算法研究”，林喆、姚郁、遆晓光、富小薇，《兵工学报》，第30卷第5期，2009年5月，利用弹体姿态信息和最优化方法进行基于灰度图像相关的目标定位与目标模板更新。

然而，研究发现，现有技术中的光学捷联导引头图像跟踪方法是基于图像灰度的，没有考虑弹体抖动造成的目标成像模糊退化的影响，而光学捷联导引头没有万向支架，在飞行过程中弹体抖动会导致目标成像严重模糊退化，使得基于灰度相关算法的目标定位精度和模板最优化效果降低，甚至丢失目标。

发明内容

本发明的目的在于克服现有技术中的不足，提出一种光学捷联导引头图像跟踪方法。该方法采用运动模糊图像复原和基于局部特征的目标跟踪技术来抑制导弹飞行过程中成像严重模糊退化造成的影响。

本发明的技术方案在于提供一种光学捷联导引头图像跟踪方法，包含：

步骤1，提取目标模板特征：读入图像复原后的图像数据，在第一帧图像中选定待跟踪的目标区域；在目标区域内进行多尺度的Harris特征点检测，并对检测出的特征点计算特征尺度，得到一组对尺寸缩放、旋转和光照变化保持不变的局部特征点；手动选取待跟踪的特征点，对该特征点的局部区域进行16×16点采样，提取出在照明、仿射和模糊等变化程度较大时较稳定的SIFT描述子。

步骤2，运动模糊图像复原，估计运动模糊点扩散函数(PSF)：其中，点扩散函数的估计包含：运动模糊角度估计和运动模糊长度估计；所述的运动模糊角度估计采用基于Radon变换的方法；所述的运动模糊长度估计采用微分自相关方法；根据估计出的运动模糊点扩散函数，采用维纳滤波方法进行图像复原。

步骤3，预测波门位置：根据载体姿态角，通过惯性坐标系、载体坐标系以及成像坐标系之间的坐标转换，得到目标成像因载体姿态变化而在成像坐标系上的变化，来预测波门位置。

步骤4，确定目标位置：读取下一帧图像，在波门区域进行多尺度的Harris特征点检测，并对检测出的特征点计算特征尺度，得到一组对尺寸缩放、旋转和光照变化保持不变的局部特征点，并生成对应的SIFT描述子；通过比较待跟踪特征点的SIFT描述子与波门图像区域每一个特征点SIFT描述子的相似度来确定目标位置，描述子欧氏距离最小的特征点所对应的位置作为目标位置。

步骤5，更新目标模板特征：根据描述子的相似度确定是否更新描述子模板，当待跟踪特征点的描述子与最佳匹配特征点的描述子相似度低于阈值，则认为成像条件突变导致描述子变化较大，需要更新描述子以提高目标跟踪的稳定性。

综上所述，本发明提供一种光学捷联导引头图像跟踪方法，利用弹体姿态信息对波门位置进行预测，减少图像处理的区域以提高实时性，对图像的运动模糊点扩散函数进行估计，利用反卷积进行图像复原，减小图像的模糊程度，随后对图像进行局部特征提取，这些特征对图像尺度、旋转、仿射等变化不敏感，再进行基于局部特征的相关跟踪方法实现目标跟踪。

其中，采用图像复原降低捷联光学导引头图像运动模糊程度，随后在复原图像上进行基于局部特征的跟踪方法，该方法相对于基于灰度图像的跟踪方法对图像的模糊较为不敏感，跟踪稳定性更高。

本发明与现有技术相比的优点在于：

1由于本发明采用基于运动图像模糊复原的图像跟踪方法，较之现有的图像跟踪技术提高了图像清晰度，从而提高了成像目标跟踪的稳定性。

2由于本发明使用了图像的局部特征代替图像灰度进行匹配跟踪，这些对目标成像的模糊、形变不敏感，更适用于捷联成像导引头的应用。

附图说明

图1示出捷联导引头图像跟踪算法总体流程图；

图2示出了本发明实施例所提供的特征提取方法流程图；

图3示出运动模糊图像复原流程图；

图4及图5示出了本发明实施例所提供的波门中心预测坐标转换参考图。

具体实施方式

下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明的技术思路是对图像的运动模糊点扩散函数进行估计，利用反卷积进行图像复原，减小图像的模糊程度，随后对图像进行局部特征提取，这些特征对图像尺度、旋转、仿射等变化不敏感，再进行基于局部特征的相关跟踪方法实现目标跟踪。

参见图1，本发明的具体实施步骤如下：

步骤1、读入运动模糊图像复原后的第一帧图像数据，手动选择目标区域，并提取出待跟踪特征点及局部区域描述子作为目标模板，用于后续目标跟踪。所述的手动选择目标区域、提取目标模板参见图2，具体步骤如下：

首先，以手动选择点为中心取400像素×400像素区域作为目标区域(在步骤4的计算时替换为波门区域)，对该区域进行多尺度Harris特征点检测，检测公式为：

M＝det(C(x,σ_I,σ_D)-k·tr²(C(x,σ_I,σ_D))),

式中：σ_D表示微分尺度，σ_I是尺度空间核滤波器的宽度，决定了高斯滤波器的宽度，取σ_D＝0.7σ_I，本例中σ_I取[1.5000 1.6500 1.8150 1.9965 2.1962]。G(σ)是高斯滤波器，用于构造尺度空间和平滑图像偏导。L_u(x，σ_D)、L_v(x，σ_D)、L_uv(x，σ_D)分别是点x的在σ_D尺度空间图像的灰度在u和v方向的偏导以及二阶混合偏导。k是经验值为0.05，检测阈值设为100，对M大于阈值100的像素点进行8邻域的非最大值抑制后得到一组特征点。

然后，对每个特征点计算其尺度响应值，剔除在尺度空间上没有达到极值的特征点。所述的特征点尺度响应，由以下公式计算得到

该函数取极值时对应的尺度σ_D就是以点x为中心的局部图像结构对应的特征尺度。因为特征尺度与图像的分辨率无关，仅仅决定于图像的结构，得到以x为中心，半径为σ_D的局部图像区域，该局部区域对图像尺度缩放保持不变，称为不变特征区域。这样，就得到了一组与图像特征尺度相联系的特征点。

随后，手动选择一个特征点作为待跟踪特征点，并在该特征点对应的不变特征区域计算SIFT描述子，所述的SIFT描述子生成过程为：对待跟踪特征点，通过其不变特征区域的图像梯度来确定改点的主方向，然后把坐标系旋转到该主方向上，以确保旋转不变性。对该点的不变特征区域进行16×16点采样，再将这些采样点分成4×4个子区域，分别计算每个子区域的梯度方向直方图，直方图均分为8个方向。将各个子区域的直方图根据位置顺序合成一个128维的特征向量。有此得到的特征点SIFT描述子是在图像几何变形和光照变化下保持不变的特征量。

步骤2、读下一帧图像，并进行运动模糊图像复原。所述的运动模糊图像复原流程参见图3，具体步骤如下：

首先，获取模糊图像的运动角度，通过基于频谱阈值化处理的Radon变换估计运动角度。所述的基于频谱阈值化处理的Radon变换的具体过程如下：先对模糊图像进行傅里叶变换获得频谱图像，再对频谱图像进行阈值化处理：式中，A是整个频谱图的平均值；是像素(i,j)出8邻域的去芯平均值。式中，G(k,l)是以G(i,j)为中心的8邻域像素值，包括G(i-1,j-1)，G(i,j-1)，G(i+1,j-1)等等。随后，对阈值化的频谱图像进行Radon变换，峰值所对应的角度就是模糊图像的运动角度Φ。

其次，获取模糊图像的模糊长度，通过微分自相关估计模糊长度，所述的微分自相关估计模糊长度的流程如下：先将将模糊图像旋转到水平方向，对该图像计算水平方向的微分、再对微分后的图像进行水平方向的自相关运算，将自相关结果逐列累加得到一维数组作为运动模糊尺度鉴别曲线，该曲线会出现一对共轭的相关峰，相关峰的距离的一般就是模糊长度L。

再次，估计运动模糊图像的点扩散函数，点扩散函数如下：

最后，对模糊图像进行维纳滤波图像复原。

步骤3、预测波门位置。

光学捷联导引头的目标成像复合了导弹载体在方位、俯仰、滚转各方向上的各种运动信息，从而导致导引头目标成像的位置在帧间可能存在较大的变化。为了提高目标跟踪算法的实时性，一般只对局部图像(波门内图像)而不是全靶面图像，进行处理。由于帧频较高，可以假设目标在帧间的惯性坐标系位置不变，通过坐标变换计算出成像坐标系下目标的位置由于载体姿态变化而发生的改变，从而预测出波门位置。所述的预测波门位置过程参见图4，具体步骤如下：

首先，获取载体坐标系o-x_by_bz_b下待跟踪特征点的光轴指向向量所述的光轴指向向量可以用方位角θ_h和俯仰角θ_p表示：

所述的方位角θ_h是待跟踪特征点的像素坐标，通过公式其中y表示待跟踪特征点在成像坐标系y轴上的坐标，d表示像素大小，f表示光学系统焦距。对待跟踪特征点的坐标加上整体偏移量，得到预测波门的初步位置。所述的俯仰角θ_p是待跟踪特征点的像素坐标，通过公式其中x表示待跟踪特征点在成像坐标系x轴上的坐标。

其次，已知上一帧惯性坐标系o-x_iy_iz_i下，载体坐标系o-x_by_bz_b的方位角α₁，俯仰角β₁和横滚角γ₁，获取惯性坐标系o-x_iy_iz_i下待跟踪点的光轴指向向量所述的光轴指向向量由载体坐标系o-x_by_bz_b到惯性坐标系o-x_iy_iz_i的转换矩阵C_b-i(α₁,β₁,γ₁)和载体坐标系o-x_by_bz_b下的光轴指向向量得到，即

再次，根据当前帧惯性坐标系下o-x_iy_iz_i，载体坐标系o-x_by_bz_b的方位角α₂，俯仰角β₂和横滚角γ₂，获取载体坐标系o-x_by_bz_b下待跟踪特征点的光轴指向向量所述的光轴指向向量由惯性坐标系o-x_iy_iz_i到载体坐标系o-x_by_bz_b的转换矩阵C_i-b(α₂,β₂,γ₂)和惯性坐标系o-x_iy_iz_i下的光轴指向向量得到，即

最后，获取载体坐标系o-x_by_bz_b下，跟踪波门的中心位置(x₂,y₂)，所述的x₂表示预测波门中心在成像坐标系x轴上的坐标，所述的所述的波门中心俯仰角度θ_p2，由余弦定理可以得出所述的y₂表示预测波门中心在成像坐标系y轴上的坐标，所属的所述的波门中心方位角θ_h2，由余弦定理可以得出

步骤4、确定目标位置。目标的位置是通过对待跟踪特征点与波门区域的所有特征点进行匹配得到。

首先，按照步骤1的第一步，对完成运动模糊图像复原的波门内图像数据提取多尺度的Harris特征点，通过特征尺度响应公式进行筛选，得到一组与图像特征尺度相联系的特征点，并计算每个特征点的SIFT描述子。

其次，通过待跟踪特征点与波门内每个特征点的SIFT描述子匹配来确定目标位置。用描述子向量的欧式距离来表示两个描述子的相似程度，公式如下：式中(a₁,a₂,...,a₁₂₈)和(b₁,b₂,...,b₁₂₈)分别表示两个特征点对应不变特征区域的描述子向量。欧式距离最小的描述子所对应的特征点就是与待跟踪特征点的最佳匹配点。

步骤5、目标特征模板更新。为了避免光照条件突变等因素对跟踪稳定性造成的影响，需要根据设定的阈值，对待跟踪点的描述子进行及时更新。具体的步骤如下：

首先，设置特征点SIFT描述子的更新阈值thd，取0.6；

其次，根据公式决定是否更新待跟踪特征点的SIFT描述子，所述的A_k+1是更新后的待跟踪点SIFT描述子，A_k是上一帧待跟踪特征点SIFT描述子，B_k是上一帧图像最佳匹配特征点的SIFT描述子。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种光学捷联导引头图像跟踪方法，其特征在于，包含以下步骤：

步骤1，提取目标模板特征：

读入运动模糊图像复原后的第一帧图像，在其中选定待跟踪的目标区域；在目标区域内进行多尺度的Harris特征点检测，并对检测出的特征点计算特征尺度，得到一组对尺寸缩放、旋转和光照变化保持不变的局部特征点；选取待跟踪的特征点，对该特征点对应的不变特征区域进行16×16点采样，提取出与待跟踪特征点对应的SIFT描述子；

步骤2，读取下一帧图像，进行运动模糊图像复原：

获取模糊图像的运动角度，估计运动模糊图像的点扩散函数，包含：通过基于频谱阈值化处理的Radon变换估计运动角度；以及，获取模糊图像的模糊长度，通过微分自相关估计模糊长度；根据估计出的运动模糊点扩散函数，对模糊图像进行维纳滤波图像复原；

步骤3，预测波门位置：

根据载体姿态角，通过惯性坐标系、载体坐标系以及成像坐标系之间的坐标转换，得到目标成像因载体姿态变化而在成像坐标系上的变化，对波门位置进行预测；

步骤4，确定目标位置：

对完成运动模糊图像复原的当前帧图像，在波门区域进行多尺度的Harris特征点检测，并对检测出的特征点计算特征尺度，得到一组对尺寸缩放、旋转和光照变化保持不变的局部特征点，并生成对应的SIFT描述子；通过比较待跟踪特征点的SIFT描述子与波门区域每一个局部特征点的SIFT描述子的相似度，将描述子的欧氏距离最小的特征点作为最佳匹配特征点，将最佳匹配特征点所对应的位置作为目标位置；

步骤5，更新目标模板特征：

根据描述子的相似度来确定是否更新描述子模板，其中，当待跟踪特征点的描述子与最佳匹配特征点的描述子的相似度低于阈值时，对待跟踪点描述子进行更新；之后，循环至步骤2。

2.如权利要求1所述的一种光学捷联导引头图像跟踪方法，其特征在于，

步骤3中预测波门位置时，包括以下步骤：

S3-1、获取载体坐标系o-x_by_bz_b下，待跟踪特征点的光轴指向向量用方位角θ_h和俯仰角θ_p表示为

所述方位角θ_h是待跟踪特征点的像素坐标，通过公式获得，

所述俯仰角θ_p是待跟踪特征点的像素坐标，通过公式获得，

其中，y表示待跟踪特征点在成像坐标系y轴上的坐标，d表示像素大小，x表示待跟踪特征点在成像坐标系x轴上的坐标，f表示光学系统焦距；

对待跟踪特征点的坐标加上整体偏移量，得到预测波门的初步位置；

S3-2、已知上一帧惯性坐标系o-x_iy_iz_i下，载体坐标系o-x_by_bz_b的方位角α₁，俯仰角β₁和横滚角γ₁，获取惯性坐标系o-x_iy_iz_i下待跟踪特征点的光轴指向向量

所述光轴指向向量由载体坐标系o-x_by_bz_b到惯性坐标系o-x_iy_iz_i的转换矩阵C_b-i(α₁,β₁,γ₁)和载体坐标系o-x_by_bz_b下的光轴指向向量得到，表示为

S3-3、根据当前帧惯性坐标系下o-x_iy_iz_i，载体坐标系o-x_by_bz_b的方位角α₂，俯仰角β₂和横滚角γ₂，获取载体坐标系o-x_by_bz_b下待跟踪特征点的光轴指向向量

所述光轴指向向量由惯性坐标系o-x_iy_iz_i到载体坐标系o-x_by_bz_b的转换矩阵C_i-b(α₂,β₂,γ₂)和惯性坐标系o-x_iy_iz_i下的光轴指向向量得到，表示为

S3-4、获取载体坐标系o-x_by_bz_b下，跟踪波门的中心位置(x₂,y₂)；

x₂表示预测波门中心在成像坐标系x轴上的坐标：

波门中心俯仰角度θ_p2，由余弦定理得出：

y₂表示预测波门中心在成像坐标系y轴上的坐标：

波门中心方位角θ_h2，由余弦定理得出：

3.如权利要求1所述的一种光学捷联导引头图像跟踪方法，其特征在于，

步骤2中进行运动模糊图像复原时，包含以下步骤：

S2-1、基于频谱阈值化处理的Radon变换：先对模糊图像进行傅里叶变换获得频谱图像，再对频谱图像进行阈值化处理：

式中，A是整个频谱图的平均值；

是像素(i,j)出8邻域的去芯平均值；

式中，G(k,l)是以G(i,j)为中心的8邻域像素值；

S2-2、对阈值化的频谱图像进行Radon变换，将峰值所对应的角度作为模糊图像的运动角度Φ；

S2-3、获取模糊图像的模糊长度，通过微分自相关估计模糊长度：将模糊图像旋转到水平方向，对该图像计算水平方向进行微分、再对微分后的图像进行水平方向的自相关运算，将自相关结果逐列累加得到一维数组作为运动模糊尺度鉴别曲线，将该曲线的一对共轭的相关峰的距离作为模糊长度L；

S2-4、估计的运动模糊图像的点扩散函数：

用来对模糊图像进行维纳滤波图像复原。

4.如权利要求1所述的一种光学捷联导引头图像跟踪方法，其特征在于，

步骤5中更新目标模板特征，包含以下的步骤：

S5-1、设置更新阈值thd；

S5-2、根据公式决定是否更新待跟踪特征点的SIFT描述子；A_k+1是更新后的待跟踪点SIFT描述子，A_k是上一帧待跟踪特征点SIFT描述子，B_k是上一帧图像最佳匹配特征点的SIFT描述子。

5.如权利要求1所述的一种光学捷联导引头图像跟踪方法，其特征在于，

进行多尺度Harris特征点检测的公式为：

M＝det(C(x,σ_I,σ_D)-k·tr²(C(x,σ_I,σ_D))),

式中，

σ_D表示微分尺度，σ_I是尺度空间核滤波器的宽度；

G(σ)是高斯滤波器，用于构造尺度空间和平滑图像偏导；

L_u(x，σ_D)、L_v(x，σ_D)、L_uv(x，σ_D)分别是点x在σ_D尺度空间图像的灰度在u和v方向的偏导以及二阶混合偏导；k是经验值；

对M大于设定阈值的像素点，进行8邻域的非最大值抑制后得到相应的一组特征点。

6.如权利要求5所述的一种光学捷联导引头图像跟踪方法，其特征在于，

进行多尺度Harris特征点检测后，对每个特征点计算其尺度响应值，剔除在尺度空间上没有达到极值的特征点；

所述的特征点尺度响应，由以下公式计算得到：

<mrow> <mo>|</mo> <mi>L</mi> <mi>o</mi> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <msub> <mi>&amp;sigma;</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> <mo>=</mo> <msubsup> <mi>&amp;sigma;</mi> <mi>D</mi> <mn>2</mn> </msubsup> <mo>|</mo> <msub> <mi>L</mi> <mrow> <mi>u</mi> <mi>u</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <msub> <mi>&amp;sigma;</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>L</mi> <mrow> <mi>v</mi> <mi>v</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <msub> <mi>&amp;sigma;</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> </mrow>

该函数取极值时对应的尺度σ_D是以点x为中心的局部图像结构对应的特征尺度；将以x为中心，半径为σ_D的局部图像区域作为不变特征区域，从而得到一组与图像特征尺度相联系的特征点。

7.如权利要求6所述的一种光学捷联导引头图像跟踪方法，其特征在于，

在待跟踪特征点对应的不变特征区域计算SIFT描述子：

对待跟踪特征点，通过其不变特征区域的图像梯度来确定该点的主方向，将坐标系旋转到该主方向上；对该点的不变特征区域进行16×16点采样，再将这些采样点分成4×4个子区域，分别计算每个子区域的梯度方向直方图，直方图均分为8个方向；

将各个子区域的直方图根据位置顺序合成一个128维的特征向量；

由此得到的特征点SIFT描述子是在图像几何变形和光照变化下保持不变的特征量。