CN110276782B - 一种结合空谱特征和相关滤波的高光谱目标跟踪方法 - Google Patents

Abstract

本发明公开了一种结合空谱特征和相关滤波的高光谱目标跟踪方法，该方法在跟踪中存在遮挡、相似物体和跟踪目标较小等问题时具有较好的跟踪效果。为了达到上述目的，本发明包含如下步骤：（1）首先通过第一帧的初始化信息，选择目标搜索区域，提取目标搜索区域内的光谱特征，训练光谱相关滤波器Spe‑CF；根据初始信息选择目标区域，并根据多波段多维的目标区域重构二维的高分辨率目标区域，在此区域中提取目标HOG特征，训练空间相关滤波器Spa‑CF；（2）读入第t帧图像，根据t‑1帧目标位置选择目标搜索区域，然后根据步骤（1）训练的光谱相关滤波器Spe‑CF预估目标位置范围，相关响应值大于一定阈值的即为目标位置范围，根据空间相关滤波器Spa‑CF确定目标最终位置。

Description

一种结合空谱特征和相关滤波的高光谱目标跟踪方法

技术领域

本发明涉及一种高光谱目标跟踪方法，尤其涉及一种结合空谱特征和相关滤波的高光谱目标跟踪方法。

背景技术

视觉目标跟踪是计算机视觉领域中重要的研究方向之一，是一种利用视频传感器，通过分析和理解视频图像信息，估计图像序列中每一帧的视觉目标的位置，实现目标跟踪的综合技术。近年来研究学者将机器学习引入到目标跟踪，将目标跟踪看作二值分类问题，通过分类器将视场中的目标和背景区分开，使分类器置信度最大的位置就是目标位置。目前基于相关滤波的跟踪方法以其较为突出的跟踪准确性和实时性成为目前目标跟踪领域的研究热点，但相关滤波在目标存在遮挡或背景复杂等情况下跟踪的鲁棒性有待提高。本发明主要解决基于相关滤波的跟踪方法中存在的以下三个问题：

(1)由于相关滤波是根据提取的目标特征来进行目标估计的，因此，目标特征在很大程度上影响目标跟踪的准确性，在跟踪目标尺度较小而背景场景较大或较为复杂时，能获得的目标信息较小，目标特征不明显，可能会造成跟踪目标丢失。

(2)在目标跟踪过程中由于场景复杂多变，在出现目标遮挡问题或快速运动时，容易造成目标位置估计偏移，当目标被遮挡，或目标由于快速运动而不知搜索区域时，或者当前帧的检测结果根本就不准确时，如果继续用不确定是否是目标的区域作为训练样本去更新模型，只会使得跟踪器越来越无法识别目标，造成目标丢失。

(3)如果背景中存在与目标物体相似的物体，提取的特征比较相似，它们对应的响应值可能很接近目标甚至比目标更高，因而响应图中的最高峰可能就不是我们最终要找的目标。

与传统的灰度图像和RGB图像相比，高光谱图像具有图谱合一的特点，同时包含图像的空间信息和光谱信息，且高光谱图像具有光谱分辨率高、波段宽度窄、信息量大的特点，其被广泛应用于目标分类和检测任务中，高光谱图像自身包含的光谱信息和空间信息，很大提高了目标分类和检测任务的精度。因此本发明在相关滤波的基础上，引入高光谱数据空-谱信息，提出一种基于高光谱的相关滤波目标跟踪方法。针对相关滤波跟踪方法中的小目标跟踪问题，高光谱数据可以提供更加丰富的目标特征；针对目标遮挡和快速运动问题问题，对模型进行较为可靠的更新，当目标因遮挡或快速运动时而造成跟踪目标丢失时造成目标丢失时，启用再检测机制，使用光谱匹配重新检测目标；并且不同的物体有不同的光谱特征，可以根据目标光谱特征区分出背景中与目标相似的物体。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种结合空谱特征和相关滤波的高光谱目标跟踪方法，该方法在跟踪中存在遮挡、相似物体和跟踪目标较小等问题时具有较好的跟踪效果。

为了达到上述目的，本发明采用以下技术方案予以实现：

一种结合空谱特征和相关滤波的高光谱目标跟踪方法，包含如下步骤：

(1)首先通过第一帧的初始化信息，选择目标搜索区域，提取目标搜索区域内的光谱特征，训练光谱相关滤波器Spe-CF；根据初始信息选择目标区域，并根据多波段多维的目标区域重构二维的高分辨率目标区域，在此区域中提取目标HOG特征，训练空间相关滤波器Spa-CF；

(2)读入第t帧图像，根据t-1帧目标位置选择目标搜索区域，然后根据步骤(1)训练的光谱相关滤波器Spe-CF预估目标位置范围，相关响应值大于一定阈值的即为目标位置范围；相关响应值公式为：

y＝F^-1(H·R)

式中，F^-1为傅里叶逆变换；H和R分别表示傅里叶域中学习得到的相关滤波器和目标搜索区域的特征；

(3)根据步骤(2)确定的目标位置范围，缩小目标搜索区域，并根据多波段光谱数据，扩大目标空间分辨率，根据步骤(1)训练的空间相关滤波器Spa-CF，确定当前帧的最终目标位置Z和尺度S；

(4)根据步骤(3)估计的目标位置和尺度，选择第t帧目标区域图像块，和前t-1帧目标图像块做光谱角匹配，公式如下：

式中，t为帧数，x_i为第i帧的目标位置的高光谱数据，y为第t+1帧的目标高光谱数据；

(5)如果光谱角小于一定阈值T1，且当前帧的最大响应值大于一定阈值T2，就认为当前帧的跟踪结果是高可信的，此时估计的目标位置Z即为第t帧的目标位置，根据当前位置更新滤波器模型，并将num-noup置为0；如果光谱角小于一定阈值T1或当前帧的最大响应值大于一定阈值T2时，认为目标可能被遮挡，不更新模型，并将num-noup值加1；读入下一帧图像，转到步骤(2)；如果连续5帧不更新模型，即num-noup＝5，转到步骤(6)；num-noup为连续不更新的次数，num-noup的初始值为0；

将滤波器转换为以下形式：

式中H,F和G分别表示傅里叶域中的相关滤波器、目标特征和滤波器期望输出；当训练光谱相关滤波器时使用H_spe和F_spe分别表示傅里叶域中的光谱相关滤波器和目标光谱特征；当训练空间相关滤波器时使用H_spa和F_spa分别表示傅里叶域中的空间相关滤波器和目标空间特征；训练H_spe和H_spa时使用的G是相同的，用高斯函数表示；

分别对分子A和分母B进行更新来更新相关滤波器，公式如下：

式中，η为学习率，t为帧数；F_t为第t帧的目标特征；

(6)如果连续5帧不更新模型，则表明目标可能跟踪丢失，启动目标再检测模型在当前帧中对目标进行重新检测；

(7)根据前t-5帧的目标位置确定目标搜索区域，并扩大其搜索区域或在全局范围内进行搜索；在该搜索区域中寻找与前t-5帧目标信息光谱角匹配最大的区域Z；如果最大的光谱角大于阈值T1，此时，Z即为当前帧目标位置；如果最大的光谱角小于阈值T1，则表明目标可能完全被遮挡，且还未出遮挡区域，不更新模型，转到步骤(6)；

所述步骤(1)为训练过程；步骤(2)至步骤(5)为测试过程，所述步骤(6)至步骤(7)为再检测过程。

作为本发明的一种优选实施方式：所述训练过程如下：

首先训练Spe-CF，给定初始信息(s_x,s_y,s_w,s_h)，s_x,s_y为目标的初始位置，s_w,s_h为目标的初始尺度，首先在初始帧中以初始目标位置(s_x,s_y)为中心，以(s_w,s_h)为大小确定一个目标图像块，然后对该图像块提取目标光谱特征f_spe，将其作为训练样本来训练光谱相关滤波器h_spe，其对应的相关滤波响应为f_spe*h_spe，滤波器期望输出为g，用高斯函数表示g，最佳的相关滤波器需要满足最小均方误差：

min||f_spe*h_spe-g||²+λh_spe||²

上式中，λ为正则化参数，该式是一个岭回归问题，可以利用快速傅里叶变换到傅里叶域求解得到相关滤波器，公式如下：

式中，H_spe、F_spe、G分别为h_spe、f_spe、g在傅里叶域上的表示，λ为正则化参数，防止滤波器过拟合。

作为本发明的一种优选实施方式：训练空间相关滤波器Spa-CF的过程与训练光谱相关滤波器Spe-CF都是找到使均方误差最小的滤波器，只是空间相关滤波器使用的是空间HOG特征；在提取空间特征前，首先要根据目标的真实位置确定目标图像块，然后将该多维的高光谱图像块的每个波段的同一像素所组成的列向量转换为n×n的矩阵，l＝n²为波段数，对所有像素进行此操作，最后即可得到一个高分率的二维图像，然后对其二维图像提取HOG特征即为所要提取的空间特征；训练的Spa-CF，公式如下：

式中，H_spa、F_spa、G分别为傅里叶域上的空间相关滤波器、目标空间特征和滤波器期望输出，λ为正则化参数。

本发明有益效果是：

1、本发明基于高光谱图像光谱-空间特征训练光谱相关滤波器和空间相关滤波器，在光谱相关滤波器上估计得出目标的位置范围，然后在此位置范围区域将原始高光谱数据重构为高分辨的空间二维图像，提取空间特征，得出最终的目标位置信息。两次目标估计方法增加了跟踪算法的跟踪精度。

2、本发明基于高光谱技术，增加了图像的光谱信息，使在大场景小目标跟踪下也能获得很好的跟踪效果，并且由于不同的物体具有不同的光谱曲线，在场景中存在与目标相似的物体时也能很好的判别出目标。

3、本发明在出现遮挡、快速运动等问题使目标跟踪丢失时，采用光谱匹配算法重新检测目标，实现目标长时跟踪。

附图说明

图1是本发明的算法的流程图。

图2是本发明的高分辨率空间信息重构过程示意图。

具体实施方式

下面结合附图及实施例描述本发明具体实施方式：

如图1～2所示，其示出了本发明的具体实施方式，如图所示，本发明公开的一种结合空间、光谱特征和(相关)滤波的高光谱目标跟踪方法，共分为三个过程：训练过程、测试过程、再检测过程，其主要步骤如下：

第一步：训练过程，具体如下：

步骤1：首先通过第一帧的初始化信息，选择目标搜索区域，提取目标搜索区域内的光谱特征，训练光谱相关滤波器Spe-CF。根据初始信息选择目标区域，并根据多波段多维的目标区域重构二维的高分辨率目标区域，具体重构过程如图2所示，在此区域中提取目标HOG特征，训练空间相关滤波器Spa-CF。具体的训练过程如下：

首先训练Spe-CF，给定初始信息(x,y,w,h)，x,y为目标的初始位置，w,h为目标的初始尺度，首先在初始帧中以初始目标位置(x,y)为中心，以(w,h)为大小确定一个目标图像块，然后对该图像块提取目标光谱特征f_spe，将其作为训练样本，其对应的相关滤波响应为f*h，滤波器期望输出为g(高斯函数)，最佳的相关滤波器需要满足最小均方误差：

min||f_spe*h_spe-g||²+λh_spe||²

式找，λ为正则化参数，该式是一个岭回归问题，可以利用快速傅里叶变换到傅里叶域求解得到相关滤波器，公式如下：

式中，H_spe、F_spe、G分别为h_spe、f_spe、g在傅里叶域上的表示，λ为正则化参数，防止滤波器过拟合。

训练空间相关滤波器Spa-CF的过程和光谱相关滤波器Spe-CF相似，都是找到使均方误差最小的滤波器，只是空间相关滤波器使用的是空间HOG特征。在提取空间特征前，首先要根据目标的真实位置确定目标图像块，然后将该多维的高光谱图像块的每个波段的同一像素所组成的列向量转换为

的矩阵，n为波段数，对所有像素进行此操作，最后即可得到一个高分率的二维图像，具体过程可参见图2，然后对其二维图像提取hog特征即为所要提取的空间特征。训练的Spa-CF和Spe-CF类似，公式如下：

第二步：测试过程，步骤如下：

步骤2：读入第t帧图像，根据t-1帧目标位置选择目标搜索区域，然后根据步骤1训练的光谱相关滤波器Spe-CF预估目标位置范围，相关响应值大于一定阈值的即为目标位置范围。相关响应值公式为：

y＝F^-1(H·Z)

式中，F^-1为傅里叶逆变换。

步骤3：根据步骤(2)确定的目标位置范围，缩小目标搜索区域，并根据多波段光谱数据，扩大目标空间分辨率，根据步骤(1)训练的空间相关滤波器Spa-CF，确定当前帧的最终目标位置Z和尺度S。

步骤4：根据步骤(3)估计的目标位置和尺度，选择第t帧目标区域图像块，和前t-1帧目标图像块做光谱角匹配，公式如下：

式中，t为帧数，为第i帧的目标位置的高光谱数据，y为第t+1帧的目标高光谱数据。

步骤5：如果光谱值小于一定阈值T1，且当前帧的最大响应值大于一定阈值T2，就认为当前帧的跟踪结果是高可信的，此时估计的目标位置Z即为第t帧的目标位置，根据当前位置更新滤波器模型，并将num-noup置位0。如果光谱值小于一定阈值T1或当前帧的最大响应值大于一定阈值T2时，认为目标可能被遮挡，不更新模型，并将num-noup值加1。读入下一帧图像，转到步骤2。如果连续5帧不更新模型，即num-nouo＝5，转到步骤6。Num-noup为连续不更新的次数，num-noup的初始值为0。

将滤波器转换为以下形式：

分别对分子A和分母B进行更新来更新相关滤波器，公式如下：

式中，η为学习率，t为帧数。

第三步：再检测过程

步骤6：如果连续5帧不更新模型，则表明目标可能跟踪丢失，启动目标再检测模型在当前帧中对目标进行重新检测。

步骤7：根据前t-5帧的目标位置确定目标搜索区域，并扩大其搜索区域或在全局范围内进行搜索。在该搜索区域中寻找与前t-5帧目标信息光谱角匹配最大的区域Z，具体过程和步骤4类似；如果最大的光谱角大于阈值T1，此时，Z即为当前帧目标位置。如果最大的光谱角小于阈值T1，则表明目标可能完全被遮挡，且还未出遮挡区域，不更新模型，转到步骤6。

本发明中相关名词解释如下：

1、Spa-CF：spatial-Correlation Filter，是指空间相关滤波器；Spe-CF:spectral-correlation filter，是指光谱相关滤波器，HOG：方向梯度直方图(Histogramof Oriented Gradient,HOG)；

2、num-noup:number of not updated是指连续不更新的次数

上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，这些变化涉及本领域技术人员所熟知的相关技术，这些都落入本发明专利的保护范围。

不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

Claims (3)

1.一种结合空谱特征和相关滤波的高光谱目标跟踪方法，包含如下步骤：

(1)首先通过第一帧的初始化信息，选择目标搜索区域，提取目标搜索区域内的光谱特征，训练光谱相关滤波器Spe-CF；根据初始信息选择目标区域，并根据多波段多维的目标区域重构二维的高分辨率目标区域，在此区域中提取目标HOG特征，训练空间相关滤波器Spa-CF；

(2)读入第t帧图像，根据t-1帧目标位置选择目标搜索区域，然后根据步骤(1)训练的光谱相关滤波器Spe-CF预估目标位置范围，相关响应值大于一定阈值的即为目标位置范围；相关响应值公式为：

y＝F^-1(H·R)

式中，F^-1为傅里叶逆变换；H和R分别表示傅里叶域中学习得到的相关滤波器和目标搜索区域的特征；

(3)根据步骤(2)确定的目标位置范围，缩小目标搜索区域，并根据多波段光谱数据，扩大目标空间分辨率，根据步骤(1)训练的空间相关滤波器Spa-CF，确定当前帧的最终目标位置Z和尺度S；

(4)根据步骤(3)估计的目标位置和尺度，选择第t帧目标区域图像块，和前t-1帧目标图像块做光谱角匹配，公式如下：

式中，t为帧数，x_i为第i帧的目标位置的高光谱数据，y为第t+1帧的目标高光谱数据；

(5)如果光谱角小于一定阈值T1，且当前帧的最大响应值大于一定阈值T2，就认为当前帧的跟踪结果是高可信的，此时估计的目标位置Z即为第t帧的目标位置，根据当前位置更新滤波器模型，并将num-noup置为0；如果光谱角小于一定阈值T1或当前帧的最大响应值大于一定阈值T2时，认为目标可能被遮挡，不更新模型，并将num-noup值加1；读入下一帧图像，转到步骤(2)；如果连续5帧不更新模型，即num-noup＝5，转到步骤(6)；num-noup为连续不更新的次数，num-noup的初始值为0；

将滤波器转换为以下形式：

式中H,F和G分别表示傅里叶域中的相关滤波器、目标特征和滤波器期望输出；当训练光谱相关滤波器时使用H_spe和F_spe分别表示傅里叶域中的光谱相关滤波器和目标光谱特征；当训练空间相关滤波器时使用H_spa和F_spa分别表示傅里叶域中的空间相关滤波器和目标空间特征；训练H_spe和H_spa时使用的G是相同的，用高斯函数表示；

分别对分子A和分母B进行更新来更新相关滤波器，公式如下：

式中，η为学习率，t为帧数；F_t为第t帧的目标特征；

(6)如果连续5帧不更新模型，则表明目标可能跟踪丢失，启动目标再检测模型在当前帧中对目标进行重新检测；

(7)根据前t-5帧的目标位置确定目标搜索区域，并扩大其搜索区域或在全局范围内进行搜索；在该搜索区域中寻找与前t-5帧目标信息光谱角匹配最大的区域Z；如果最大的光谱角大于阈值T1，此时，Z即为当前帧目标位置；如果最大的光谱角小于阈值T1，则表明目标可能完全被遮挡，且还未出遮挡区域，不更新模型，转到步骤(6)；

所述步骤(1)为训练过程；步骤(2)至步骤(5)为测试过程，所述步骤(6)至步骤(7)为再检测过程。

2.如权利要求1所述的一种结合空谱特征和相关滤波的高光谱目标跟踪方法，其特征在于：所述训练过程如下：

首先训练Spe-CF，给定初始信息(s_x,s_y,s_w,s_h)，s_x,s_y为目标的初始位置，s_w,s_h为目标的初始尺度，首先在初始帧中以初始目标位置(s_x,s_y)为中心，以(s_w,s_h)为大小确定一个目标图像块，然后对该图像块提取目标光谱特征f_spe，将其作为训练样本来训练光谱相关滤波器h_spe，其对应的相关滤波响应为f_spe*h_spe，滤波器期望输出为g，用高斯函数表示g，最佳的相关滤波器需要满足最小均方误差：

min||f_spe*h_spe-g||²+λ||h_spe||²

上式中，λ为正则化参数，该式是一个岭回归问题，可以利用快速傅里叶变换到傅里叶域求解得到相关滤波器，公式如下：

式中，H_spe、F_spe、G分别为h_spe、f_spe、g在傅里叶域上的表示，λ为正则化参数，防止滤波器过拟合。

3.如权利要求2所述的一种结合空谱特征和相关滤波的高光谱目标跟踪方法，其特征在于：训练空间相关滤波器Spa-CF的过程与训练光谱相关滤波器Spe-CF都是找到使均方误差最小的滤波器，只是空间相关滤波器使用的是空间HOG特征；在提取空间特征前，首先要根据目标的真实位置确定目标图像块，然后将该多维的高光谱图像块的每个波段的同一像素所组成的列向量转换为n×n的矩阵，l＝n²为波段数，对所有像素进行此操作，最后即可得到一个高分率的二维图像，然后对其二维图像提取HOG特征即为所要提取的空间特征；训练的Spa-CF，公式如下：

式中，H_spa、F_spa、G分别为傅里叶域上的空间相关滤波器、目标空间特征和滤波器期望输出，λ为正则化参数。

Images