CN114648730A - 一种梯度统计结合局部匹配的红外目标跟踪方法及系统 - Google Patents

Abstract

本发明涉及红外目标跟踪技术领域，公开了一种梯度统计结合局部匹配的红外目标跟踪方法及系统，该跟踪方法，包括以下步骤：S1，图像采集及模型构建；S2，图像预处理；S3，蜂巢梯度统计；S4，模型训练；S5，测试样本响应；S6，门限判决；S7，跟踪点直接确定；S8，跟踪点再捕获确定。本发明解决了现有技术存在的跟踪精度较低、鲁棒性较差、适用场景较窄等问题。

Description

一种梯度统计结合局部匹配的红外目标跟踪方法及系统

技术领域

本发明涉及红外目标跟踪技术领域，具体是一种梯度统计结合局部匹配的红外目标跟踪方法及系统。

背景技术

目标跟踪本质上是一个将参考图中选定的目标(自动检测识别或人工参与选定来获取)在接下来的实时图像中寻找目标最佳位置的一个过程。目前常用的红外目标跟踪方法包括基于灰度相关匹配的方法、基于相关滤波的方法，均值漂移(mean-shift)方法等，这些方法在一些特定的应用中取得了较好的效果，但在红外探测与制导装备具体应用中，由于成像传感器的噪声、成像视角和距离的变化、平台(尤其是机载或弹载平台)的机动、目标亮度的变化以及高速移动等因素，导致这些方法难以完全满足系统的跟踪需求。

由于红外成像缺少颜色通道信息，纹理和细节也相对缺乏，目标与背景特征的区分度低，极易出现跟踪点漂移以及目标跟踪丢失的现象，鲁棒性差，严重制约着光电探测与制导装备性能的提升，是光电图像信号处理领域内的难点问题。

发明内容

为克服现有技术的不足，本发明提供了一种梯度统计结合局部匹配的红外目标跟踪方法及系统，解决现有技术存在的跟踪精度较低、鲁棒性较差、适用场景较窄等问题。

本发明解决上述问题所采用的技术方案是：

一种梯度统计结合局部匹配的红外目标跟踪方法，包括以下步骤：

S1，图像采集及模型构建：采集待测目标的图像，构建相关滤波模型，设置初始目标模板信息，将初始目标模板信息的中心设为初始跟踪点；

S2，图像预处理：对采集待测目标的图像进行预处理；

S3，蜂巢梯度统计：以跟踪点为中心选取窗口区域，然后在窗口区域内构建蜂巢网格，统计每个蜂巢网格的梯度统计特征；

S4，模型训练：对相关滤波模型进行训练；

S5，测试样本响应：利用训练完成的相关滤波模型，对实时图像中的样本进行测试，得到测试样本响应值；

S6，门限判决：将测试样本响应值的最大值与预设的门限值比较，若测试样本响应值的最大值≥预设的门限值，则进入步骤S7；若测试样本响应值的最大值＜预设的门限值，则进入步骤S8；

S7，跟踪点直接确定：以测试样本响应值的最大值对应的位置坐标作为当前帧目标的跟踪点，并在跟踪过程中实时对目标模板信息进行刷新；

S8，跟踪点再捕获确定：采用局部匹配搜索的方法对目标进行再捕获，进而确定跟踪点。

作为一种优选的技术方案，步骤S2中，采用中值滤波对图像进行预处理。

作为一种优选的技术方案，步骤S3中，窗口尺寸大小为待测目标实际尺寸的1.5～2.5倍。

作为一种优选的技术方案，步骤S3中，蜂巢网格的梯度统计特征计算方法为：用蜂巢网格内所有像素的最大梯度值作为每个蜂巢的统计特征值。

作为一种优选的技术方案，步骤S1中，构建的相关滤波模型为核脊回归模型，核脊回归模型的核函数为复合带宽高斯径向基型核函数。

作为一种优选的技术方案，步骤S4及步骤S5中，将蜂巢网格的梯度统计特征作为相关滤波模型的输入。

作为一种优选的技术方案，步骤S5中，得到测试样本响应值的具体方法为：以上一帧目标的跟踪点为中心在当前帧图像中选取测试样本，样本尺寸与目标模板尺寸相同，取不同带宽模型回归值的平均值作为最终的响应值。

作为一种优选的技术方案，步骤S7中，目标模板刷新的具体方法为：当前目标模板与跟踪点为中心的目标区域线性累加平均得到刷新后的目标模板。

作为一种优选的技术方案，步骤S8中，采用局部匹配搜索的方法对目标进行再捕获的具体方法为：以当前跟踪点为中心，目标模板在一个局部窗口区域内依次滑动，计算模板与对应图像窗口区域的匹配系数，如果最大的匹配系数超过设定阈值则表示捕获到目标，从而得到新的跟踪点；否则表示未发现目标，进入记忆跟踪模式，利用历史帧跟踪数据外推得到新的跟踪点。

一种梯度统计结合局部匹配的红外目标跟踪系统，基于所述的一种梯度统计结合局部匹配的红外目标跟踪方法，包括以下模块：

图像采集及模型构建模块：用以采集待测目标的图像，构建相关滤波模型，设置初始目标模板信息，将初始目标模板信息的中心设为初始跟踪点；

图像预处理模块：用以对采集待测目标的图像进行预处理；

蜂巢梯度统计模块：用以以跟踪点为中心选取窗口区域，然后在窗口区域内构建蜂巢网格，统计每个蜂巢网格的梯度统计特征；

模型训练模块：对相关滤波模型进行训练；

测试样本响应模块：用以利用训练完成的相关滤波模型，对实时图像中的样本进行测试，得到测试样本响应值；

门限判决模块：用以将测试样本响应值的最大值与预设的门限值比较，若测试样本响应值的最大值≥预设的门限值，则进入步骤S7；若测试样本响应值的最大值＜预设的门限值，则进入步骤S8；

跟踪点直接确定模块：用以以测试样本响应值的最大值对应的位置坐标作为当前帧目标的跟踪点，并在跟踪过程中实时对目标模板信息进行刷新；

跟踪点再捕获确定模块：用以采用局部匹配搜索的方法对目标进行再捕获，进而确定跟踪点；

图像采集及模型构建模块、图像预处理模块、蜂巢梯度统计模块、模型训练模块、测试样本响应模块、门限判决模块依次电相连，门限判决模块与跟踪点直接确定模块、跟踪点再捕获确定模块分别电相连，模型训练模块与跟踪点直接确定模块、跟踪点再捕获确定模块分别电相连。

本发明相比于现有技术，具有以下有益效果：

(1)本发明采用蜂巢梯度统计量作为相关滤波器的输入特征，能更好的表征目标不变特性，更有效区分目标和背景，增强了系统目标跟踪的鲁棒性；引入复合带宽核函数到相关滤波器，使得跟踪模型的表达能力进一步拓展；结合了局部匹配方法有效解决了相邻帧目标偏移较大时的跟踪问题；

(2)本发明通过采用蜂巢梯度统计量作为相关滤波器的输入特征，引入复合带宽核函数到相关滤波器，线性加权平均实时刷新目标模板，以及结合局部匹配搜索等技术方法，实现了对红外目标的稳定跟踪，提升了系统对目标的跟踪精度和鲁棒性，可广泛在各类光电成像设备中实时应用。

附图说明

图1为本发明所述的一种梯度统计结合局部匹配的红外目标跟踪方法的步骤示意图；

图2为本发明所述的一种梯度统计结合局部匹配的红外目标跟踪系统的结构示意图；

图3为本发明红外目标跟踪的一个流程示意图；

图4为本发明蜂巢形梯度统计的示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

实施例1

如图1至图4所示，针对光电成像设备的实际应用，本发明要解决的技术问题是提供一种跟踪精度高、鲁棒性强、适用场景广泛的红外目标跟踪方法及系统。

为了实现上述目的，本发明采用的技术方案的具体步骤为：

步骤一、采集待测目标的图像，构建相关滤波模型，设置初始目标模板信息；

步骤二、对采集的图像进行预处理(本实施例中预处理包括中值滤波)；

步骤三、以跟踪点为中心选取窗口区域，窗口尺寸大小为目标实际尺寸的1.5到2.5倍，然后在窗口区域内构建蜂巢网格，统计每个蜂巢网格内所有像素的梯度信息。

步骤四、对模型进行训练；

步骤五、利用训练好的模型，对实时图像中的样本进行测试，得到测试样本响应；

步骤六、门限判决：大于或等于门限时，直接确定跟踪点，并对目标模板进行刷新；小于门限时，采用局部匹配搜索的方法对目标进行再捕获，进而确定跟踪点；

作为优选，所述步骤二中，采用五点中值滤波消除椒盐噪声和探测器盲元。

作为优选，所述步骤三中，构建蜂巢网格，并将蜂巢网格内像素的最大梯度作为每个蜂巢的统计特征值。

作为优选，所述步骤四中，模型采用核脊回归模型。具体的核函数为复合带宽高斯径向基型核函数，这里复合带宽指的是不同带宽高斯函数的组合。

作为优选，所述模型参数的训练方法具体为：设定回归值(目标跟踪的理想响应)，将目标模板的梯度统计量作为特征输入到模型，模型的参数可利用核矩阵计算得到。

作为优选，所述步骤五中，测试样本的选取具体方法为：以上一帧目标的跟踪点为中心在当前帧图像中选取测试样本，尺寸与目标模板相同。

作为优选，测试样本对模型的响应值的具体计算方法为：在傅里叶空间中计算测试样本的回归值，并取不同带宽模型回归值的平均值作为最终的响应值。

作为优选，所述步骤六中，将测试样本响应值的最大值与预设的门限值比较。

作为优选，直接确定跟踪点的具体方法为：测试样本响应值的最大值对应的位置坐标作为当前帧目标的跟踪点。

作为优选，在跟踪过程中实时对目标模板进行刷新。

作为优选，采用局部匹配搜索对目标进行再捕获的具体方法为：以当前跟踪点为中心，目标模板在一个局部区域内滑动，计算模板与其对应图像区域的匹配系数，如果最大的匹配系数超过阈值则表示捕获到目标，以最大匹配系数对应的图像位置作为跟踪点；否则表示未发现目标，进入记忆跟踪模式，利用历史帧跟踪数据外推得到新的跟踪点。

本发明涉及蜂巢形梯度统计特征的核相关滤波结合局部匹配的红外目标跟踪方法，对红外目标的稳定跟踪是精确制导、搜索与跟踪、监视与预警等光电系统中的一项关键技术。

本发明采用蜂巢梯度统计量作为相关滤波器的输入特征，能更好的表征目标不变特性，更有效区分目标和背景，增强了系统目标跟踪的鲁棒性；引入复合带宽核函数到相关滤波器，使得跟踪模型的表达能力进一步拓展；结合了局部匹配方法有效解决了相邻帧目标偏移较大时的跟踪问题；

与现有技术相比，本发明通过采用蜂巢梯度统计量作为相关滤波器的输入特征，引入复合带宽核函数到相关滤波器，线性加权平均实时刷新目标模板，以及结合局部匹配搜索等技术方法，实现了对红外目标的稳定跟踪，提升了系统对目标的跟踪精度和鲁棒性，可广泛在各类光电成像设备中实时应用。

实施例2

如图1至图4所示，作为实施例1的进一步优化，本实施例包含了实施例1的全部技术特征，除此之外，本实施例还包括以下技术特征：

一种梯度统计结合局部匹配的红外目标跟踪方法，具体方法步骤为：

步骤一、采集图像，输入初始目标模板；可以直接采集成像传感器输入的图像，也可以直接对已存储的图像序列进行处理。初始目标模板可人工选定也可通过系统自动检测识别获取(即图像采集及模型构建：采集待测目标的图像，构建相关滤波模型，设置初始目标模板信息，将初始目标模板信息的中心设为初始跟踪点)。

步骤二、对采集的图像进行中值滤波；在本具体实施例中，采用五点中值滤波消除椒盐噪声和探测器无效像元等。

步骤三、将目标窗口区域划分为多个蜂巢网格，每个蜂巢网格的尺寸为3*3像素到5*5像素，在蜂巢网格内计算所有像素的梯度信息，并将最大梯度作为每个蜂巢的统计特征值。在本具体实施例中，我们将目标区域划分为m*n个蜂巢，每个蜂巢网格的尺寸为3*3，如图4所示，窗口中心的位置为当前跟踪点。一方面，选择蜂巢而不是单个像素作为处理单位，有效降低了特征向量的维度，减小后续的运算量；另一方面，选择梯度作为特征是因为对于红外目标的亮度信息，梯度信息在不同成像条件下更加稳定。

步骤四、模型训练；常用的脊回归(ridge regression)是线性模型，然而实际的目标跟踪问题并不总是满足线性模型，引入核函数能够增强回归模型的表达能力，故而在模型中引入了高斯径向基型核函数，而高斯函数中的带宽参数对模型的性能也会产生影响，固定的带宽限制会降低模型的性能，因而进一步引入复合带宽(为模型设定几个不同的带宽)。为加快模型的训练，可以通过构建循环移位矩阵的方式在傅里叶空间中训练模型参数。另外，在本具体实施例中，模型训练的回归值为二维高斯函数型。

步骤五、计算测试样本对模型的响应；模型参数被训练之后，跟踪过程中，在当前帧图像上以上一帧图像的跟踪点为中心选取图像块作为测试样本，在傅里叶空间中利用核矩阵与模型参数的点积，并结合傅里叶变换逆运算，计算出测试样本的对单个带宽模型的滤波响应，最后对所有带宽模型滤波响应的平均值作为最终的模型响应值。

步骤六、门限判决；将测试样本响应值的最大值与预设的门限值比较，门限值可根据跟踪应用场景的变化灵活设定。

跟踪点确定；在本具体实施例中，将测试样本响应值的最大值对应的位置坐标作为当前帧的目标跟踪点。

在本具体实施例中，目标模板刷新的具体方法为：当前目标模板与跟踪点为中心的目标区域线性累加平均得到刷新后的目标模板，这样使得模型具有一定的记忆功能，以避免模型的剧烈波动。

基于局部匹配搜索的目标再捕获；将核相关滤波应用于目标跟踪涉及到目标模板区域大小(也是训练和测试样本块的尺寸)的选取问题。尽管对实际目标尺寸进行扩展，能够在一定范围内克服目标移位，但过大的模板区域会不可避免的在训练和测试样本中引入更多的杂波信息，导致跟踪点偏移，特别是如果区域内包含有相似目标的杂波时，极有可能导致跟踪点错误。在具体的机(弹)载平台以及针对高速移动目标的跟踪应用中，目标在相邻帧的位置可能偏移很大(远远大于目标尺寸)，这时核相关滤波跟踪失效，需要重新在更大范围捕获目标。在本具体实施例中，对目标进行再捕获的过程为：以当前跟踪点为中心，目标模板在一个局部窗口区域内依次滑动，计算模板与对应图像窗口区域的匹配系数，如果最大的匹配系数超过阈值则表示捕获到目标，否则表示未发现目标，进入记忆跟踪模式。在捕获到目标的情况下，以最大匹配系数对应的图像位置坐标作为跟踪点，在记忆跟踪模式下，则利用前三帧跟踪数据外推得到跟踪点。

如上所述，可较好地实现本发明。

本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (10)

1.一种梯度统计结合局部匹配的红外目标跟踪方法，其特征在于，包括以下步骤：

S1，图像采集及模型构建：采集待测目标的图像，构建相关滤波模型，设置初始目标模板信息，将初始目标模板信息的中心设为初始跟踪点；

S2，图像预处理：对采集待测目标的图像进行预处理；

S3，蜂巢梯度统计：以跟踪点为中心选取窗口区域，然后在窗口区域内构建蜂巢网格，统计每个蜂巢网格的梯度统计特征；

S4，模型训练：对相关滤波模型进行训练；

S5，测试样本响应：利用训练完成的相关滤波模型，对实时图像中的样本进行测试，得到测试样本响应值；

S6，门限判决：将测试样本响应值的最大值与预设的门限值比较，若测试样本响应值的最大值≥预设的门限值，则进入步骤S7；若测试样本响应值的最大值＜预设的门限值，则进入步骤S8；

S7，跟踪点直接确定：以测试样本响应值的最大值对应的位置坐标作为当前帧目标的跟踪点，并在跟踪过程中实时对目标模板信息进行刷新；

S8，跟踪点再捕获确定：采用局部匹配搜索的方法对目标进行再捕获，进而确定跟踪点。

2.根据权利要求1所述的一种梯度统计结合局部匹配的红外目标跟踪方法，其特征在于，步骤S2中，采用中值滤波对图像进行预处理。

3.根据权利要求1所述的一种梯度统计结合局部匹配的红外目标跟踪方法，其特征在于，步骤S3中，窗口尺寸大小为待测目标实际尺寸的1.5～2.5倍。

4.根据权利要求3所述的一种梯度统计结合局部匹配的红外目标跟踪方法，其特征在于，步骤S3中，蜂巢网格的梯度统计特征计算方法为：用蜂巢网格内所有像素的最大梯度值作为每个蜂巢的统计特征值。

5.根据权利要求1所述的一种梯度统计结合局部匹配的红外目标跟踪方法，其特征在于，步骤S1中，构建的相关滤波模型为核脊回归模型，核脊回归模型的核函数为复合带宽高斯径向基型核函数。

6.根据权利要求1所述的一种梯度统计结合局部匹配的红外目标跟踪方法，其特征在于，步骤S4及步骤S5中，将蜂巢网格的梯度统计特征作为相关滤波模型的输入。

7.根据权利要求1所述的一种梯度统计结合局部匹配的红外目标跟踪方法，其特征在于，步骤S5中，得到测试样本响应值的具体方法为：以上一帧目标的跟踪点为中心在当前帧图像中选取测试样本，样本尺寸与目标模板尺寸相同，取不同带宽模型回归值的平均值作为最终的响应值。

8.根据权利要求1所述的一种梯度统计结合局部匹配的红外目标跟踪方法，其特征在于，步骤S7中，目标模板刷新的具体方法为：当前目标模板与跟踪点为中心的目标区域线性累加平均得到刷新后的目标模板。

9.根据权利要求1至8任一项所述的一种梯度统计结合局部匹配的红外目标跟踪方法，其特征在于，步骤S8中，采用局部匹配搜索的方法对目标进行再捕获的具体方法为：以当前跟踪点为中心，目标模板在一个局部窗口区域内依次滑动，计算模板与对应图像窗口区域的匹配系数，如果最大的匹配系数超过设定阈值则表示捕获到目标，从而得到新的跟踪点；否则表示未发现目标，进入记忆跟踪模式，利用历史帧跟踪数据外推得到新的跟踪点。

10.一种梯度统计结合局部匹配的红外目标跟踪系统，其特征在于，基于权利要求1至9任一项所述的一种梯度统计结合局部匹配的红外目标跟踪方法，包括以下模块：

图像采集及模型构建模块：用以采集待测目标的图像，构建相关滤波模型，设置初始目标模板信息，将初始目标模板信息的中心设为初始跟踪点；

图像预处理模块：用以对采集待测目标的图像进行预处理；

蜂巢梯度统计模块：用以以跟踪点为中心选取窗口区域，然后在窗口区域内构建蜂巢网格，统计每个蜂巢网格的梯度统计特征；

模型训练模块：对相关滤波模型进行训练；

测试样本响应模块：用以利用训练完成的相关滤波模型，对实时图像中的样本进行测试，得到测试样本响应值；

门限判决模块：用以将测试样本响应值的最大值与预设的门限值比较，若测试样本响应值的最大值≥预设的门限值，则进入步骤S7；若测试样本响应值的最大值＜预设的门限值，则进入步骤S8；

跟踪点直接确定模块：用以以测试样本响应值的最大值对应的位置坐标作为当前帧目标的跟踪点，并在跟踪过程中实时对目标模板信息进行刷新；

跟踪点再捕获确定模块：用以采用局部匹配搜索的方法对目标进行再捕获，进而确定跟踪点；

图像采集及模型构建模块、图像预处理模块、蜂巢梯度统计模块、模型训练模块、测试样本响应模块、门限判决模块依次电相连，门限判决模块与跟踪点直接确定模块、跟踪点再捕获确定模块分别电相连，模型训练模块与跟踪点直接确定模块、跟踪点再捕获确定模块分别电相连。

Images