CN109886280B - 一种基于核相关滤波的异源图像目标匹配方法 - Google Patents

Abstract

本发明公开了一种基于核相关滤波的异源图像目标匹配方法，首先在参考图像中选择目标位置，然后设定初始化参数，确定检测区域并缩放图像，提取HOG特征，构建二维余弦窗和高斯窗，并对加权的二维余弦窗和高斯窗进行傅里叶变换，最终得到检测器；对待匹配图像进行参数矫正，确定检测区域，提取HOG特征，将余弦窗加权和初始化模板特征进行傅里叶变换和高斯核相关，再通过高斯核相关卷积和检测器得到相应矩阵，响应矩阵最大值即为置信度，置信度大于阈值则认为异源图像匹配成功。本发明使用了核化相关滤波，将待匹配特征映射到高维空间中进行匹配，提高了匹配的稳定性，同时用基于快速傅里叶变化的相关滤波大幅减少了匹配运算量，实现异源图像快速匹配。

Description

一种基于核相关滤波的异源图像目标匹配方法

技术领域

本发明属于图像目标匹配技术领域，尤其涉及一种基于核相关滤波的异源图像目标匹配方法。

背景技术

异源图像目标匹配是指针对来自不同时间、不同传感器或者不同视角的两幅或多幅图像，寻找其中存在的同一目标的过程。换言之，异源图像目标匹配使得两幅或多幅图像中的相同目标之间形成了一一对应关系。这种对应关系为包括精确制导、三维重建、视觉导航、数字视频稳像、数据融合、运动估计和变化检测等应用提供了不可或缺的前提。因此异源图像匹配的性能在军民两方面应用领域都有着至关重要的影响。

异源图像目标匹配面临的主要问题是同一目标在不同图像中外观变化大，这些变化主要包括光强变化、视角变化、图像传感器成像变化、目标自身变化等。其中光强变化由光照变化和图像传感器对信号的反应强度变化所导致，表现为同一物体在图像中灰度不一致。视角变化由成像位置或角度发生变化所导致，表现为同一物体在图像中的位置、方向、姿态等不一样，进而导致同一物体在不同图像中显示形态发生变化。图像传感器类型的不同，如红外和可见光传感器，也会对同一目标观测到不同的内容，从而导致图像间的灰度相关性严重降低。目标变化则由目标个体本身的变化所致，例如季节变化、物体移动、转动等，显然这也会导致图像部分内容发生变化。

自动适应这些变化，并且兼顾匹配的可靠性和计算速度是一个极富挑战性的难题。因此，尽管异源图像目标匹配问题经过数十年的研究，涌现了大量的算法，但依然没有得到彻底解决。目前，多数异源图像目标匹配方法均是基于图像特征提取和特征点匹配。此类在计算速度和适应变形方面具有一定的优势，但由于异源图像上的目标外观变化较大，因此容易出现大量误匹配的特征点，所以此类方法可靠性比较差，不能很好的解决图像内容变化剧烈的异源图像目标匹配问题。

发明内容

本发明的目的在于提供一种基于核相关滤波的异源图像目标匹配方法，解决了异源图像存在显著差异，无法进行有效匹配的难题。

本发明是通过以下技术方案来实现：

一种基于核相关滤波的异源图像目标匹配方法，异源图像包括参考图像I_r和待匹配图像I_c，检测由用户在参考图像I_r中选择的目标，是否在待匹配图像I_c中存在，具体包括以下步骤：

(1)在参考图像I_r中选择目标位置，目标位置对应的目标范围的宽度与高度均记为R；

(2)设定初始化参数，初始化参数包括检测区域倍数pad，高斯核带宽σ，高斯目标带宽σ_o，归一化因子λ，模板尺寸Tplsz，置信度阈值Th，HOG单元C_sz；

(3)确定检测区域后并缩放图像，在参考图像I_r中，提取检测区域的HOG特征F；

(4)创建二维余弦窗W_cos，并将HOG特征F与二维余弦窗W_cos加权，得到目标特征矩阵F_w，并对目标特征矩阵F_w进行傅里叶变换得到

(5)将

进行自身高斯卷积运算，得到高斯核自相关K；

(6)创建高斯权重窗W_g，并对高斯权重窗W_g进行傅里叶变换得到

(7)将步骤(5)得到的高斯核自相关结果和步骤(6)得到的傅里叶变换结果进行系数解矩阵，得到检测器α；

(8)将待匹配图像I_c矫正为正视图，在正视图中，选择目标检测区域，提取检测区域的HOG特征F′，检测区域范围与参考图像中检测区域范围相同；

(9)将步骤(8)提取到的HOG特征F′与二维余弦窗W_cos加权，并将加权结果映射到傅里叶空间得到

(10)将

结果与

进行高斯核相关卷积，得到K'；

(11)将K'与检测器α乘积做傅里叶逆变换，得到响应矩阵，响应矩阵最大值即为置信度confi，当置信度confi大于置信度阈值Th时则匹配成功，否则认为目标未出现在待匹配图像I_c中。

进一步，步骤(1)中选择的目标位置的目标范围的宽度，假设目标宽高相等，R根据选择的目标范围单位面积梯度大小确定，单位面积梯度记为T；

其中，

G_R表示目标范围的梯度和，R∈[50，200]；

目标范围的梯度和

I_x和I_y分别表示水平x方向的梯度和垂直y方向的梯度，选择T最大时对应的R为目标宽度，

进一步，步骤(3)中检测区域中心位置即为目标中心，检测区域宽度R_d是目标范围宽度R的pad倍，并缩放检测区域图像到接近模板大小，缩放后的检测区域宽度R_d′＝(R_d/Tplsz)*Tplsz。

进一步，步骤(4)中二维余弦窗为：

其中i、j分别表示二维余弦窗矩阵的横坐标和纵坐标，h、w分别表示矩阵的高和宽，i＝0，…h-1；j＝0，…w-1，w＝h＝R/C_sz；

步骤(4)具体为：W_cos与检测区域的HOG特征矩阵F进行点积运算，得到目标特征矩阵

表示矩阵点积运算，并傅里叶变换得到

其中f(·)表示傅里叶变换。

进一步，步骤(5)中高斯核自相关K为：

其中

进一步，步骤(6)中二维高斯窗为：

其中，i′,j′分别表示二维高斯窗矩阵的横坐标和纵坐标，h′,w′分别表示二维高斯窗矩阵的高和宽，i′＝0，…h′-1；j′＝0，…w′-1；

其中，w′＝h′＝R/C_sz，

其中f(·)表示傅里叶变换。

进一步，步骤(7)具体为矩阵

除以矩阵K与归一化因子λ的和，得到参考图像的特征模板的系数解，即检测器α；

即

进一步，步骤(9)具体为：将F′与二维余弦窗W_cos进行逐点乘运算，并将结果映射到傅里叶空间得到

其中

表示矩阵点乘运算。

进一步，步骤(10)中的K'为：

进一步，步骤(11)中响应矩阵M＝f^-1(K′α)，f^-1(·)表示傅里叶逆变换，响应矩阵M最大值对应的位置即为匹配目标位置p'(i,j)，匹配目标位置p'(i,j)为：

与现有技术相比，本发明具有以下有益的技术效果：

本发明提出了一种基于核相关滤波的异源图像目标匹配方法，首先在参考图像中选择目标位置，设定初始化参数，确定检测区域并缩放图像，提取HOG特征，其次构建二维余弦窗和高斯窗，并对二维余弦窗加权后进行傅里叶变换得到高斯核自相关，通过高斯核自相关和傅里叶变换后的高斯窗得到系数解矩阵即得到检测器；对待匹配图像进行参数矫正，确定检测区域，提取HOG特征归一化降维，将余弦窗加权和初始化模板特征进行傅里叶变换和高斯核相关，然后再将高斯核相关卷积和检测器进行傅里叶逆变换得到响应矩阵，响应矩阵最大值即为置信度，置信度大于阈值则认为异源图像匹配成功，否则认为未找到目标。本发明以目标及其周边区域为匹配模板，丰富了目标的特征描述，避免了单个特征(点或线)由于目标外观变化难以匹配的问题，在保证匹配效果的同时，减少运算量。在匹配过程中，同普通的基于模板匹配的方法将一副图像与另一幅图像进行逐像素的比较不同，本发明使用了核化相关算法，用核化技术将待匹配特征映射到高维空间中进行匹配，提高了匹配的稳定性，同时用基于快速傅里叶变化的相关滤波大幅减少了匹配运算量，最终实现快速的异源图像匹配。

进一步，本发明为解决匹配区域大小选择的问题，提出了一种基于自适应匹配区域大小选择算法，根据目标及其周边区域的特征丰富程度，自动选择用于匹配的区域的大小。

附图说明

图1为本发明基于相关滤波的异源图像目标匹配方法中从参考图像得到检测器的流程图；

图2为本发明基于相关滤波的异源图像目标匹配方法中采用检测器对待匹配图像的匹配算法流程图；

图3为参考图像，黑色十字表示选择的目标；

图4为待匹配图像矫正前后对比图，(a)图代表待匹配图像矫正前，(b)图代表待匹配图像矫正后；

图5为目标匹配结果，其中黑色大框为搜索区域，黑色小框为目标匹配结果；

图6为待匹配图像目标与参考图像目标对比图；

图7为异源图像目标匹配原理示意图，十字表示目标的位置。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

如图7所示，本发明的一种基于核相关滤波的异源图像目标匹配方法，异源图像包括参考图像I_r和待匹配图像I_c，一般I_r为可见光图像，I_c为红外图像。该方法为检测由用户在参考图像I_r中选择的目标，是否在待匹配图像I_c中存在，若存在则给出目标的位置的大小范围，具体包含以下步骤：

(1)如图1所示初始化流程图，在图3参考图像中选择目标位置，十字表示目标中心，记作P，目标范围的宽度和高度设为相等。在此目标范围中计算单位面积梯度

其中G_R表示目标范围的梯度和，

Ix和I_y分别表示水平x方向和垂直y方向梯度。

初始宽度设为50像素以5个像素为步长，逐步增加目标范围大小，最大宽度设为200像素。选择T最大对应的R为目标宽度，

(2)设定初始化参数，具体包括以下几个参数：

检测区域倍数pad＝3.0，高斯核带宽σ＝0.6，高斯目标带宽σ_o＝0.125，归一化因子λ＝0.0001，模板尺寸Tplsz＝128，置信度阈值可根据经验取Th＝0.15，HOG单元大小C_sz＝4。

(3)确定检测区域宽度R_d＝R×pad，并检测区域图像缩放到接近模板大小R_d′＝(R_d/Tplsz)*Tplsz，这里使用双线性插值方法，缩放检测区域图像I_Rd从R_d×R_d缩放到R_d′×R_d′，检测区域中心位置即为目标中心位置，如图5所示，黑色矩形大框表示检测区域范围P；

(4)提取检测区域图像的HOG特征，HOG特征提取方法采用经典HOG提取方法，该过程为：计算每个像素的梯度和方向，将图像分割为若干个像素单元，将2π平均划分为9个区间，每个区间为

在每个单元里，每相邻4个单元组成一个块(block)，一个块内统计梯度幅值，并确定主方向，组成特征向量，并归一化和降维，得到特征F；

(5)构建二维余弦窗W_cos：

其中i、j分别表示二维余弦窗矩阵的横坐标、纵坐标，h、w分别表示二维余弦窗矩阵的高和宽，这里w＝h＝R/C_sz，对特征F和二维余弦窗W_cos加权，得到目标特征矩阵F_w，

表示点积运算，消除边缘效应，并对F_w傅里叶变换得到

(6)将

高斯核自相关

这里

即目标特征矩阵自身高斯卷积运算；

(7)构建二维高斯窗W_g：

其中，i′,j′分别表示二维高斯窗矩阵的横坐标、纵坐标，h′,w′分别表示二维高斯窗矩阵的高和宽，i′＝0，…h′-1；j′＝0，…w′-1；其中，w′＝h′＝R/C_sz，

并对W_g进行傅里叶变换得到

(8)傅里叶空间下高斯窗

除以相关矩阵K与归一化因子λ的和，得到初始模板训练下的系数解

即检测器α；初始模板表示在参考图像中得到的特征模板。

(9)目标匹配流程如图2所示，将待匹配图像通过仿射变换变换为正视图I_ir，仿射参数包含旋转、缩放和平移，仿射变换参数由云台和相机自身决定。如图4所示，其中右图为投影变换后的图像；

(10)在I_ir图像中，在位置为P，大小为R_d′的图像中提取HOG特征，并归一化和降维，得到检测图像特征F′；

(11)对特征F′和二维余弦窗W_cos加权，得到

表示点积运算，并变换到傅里叶空间，即

(12)傅里叶空间的下的匹配图像特征

与初始模板特征

高斯核相关，得到高斯核相关卷积K'，

(13)K'与检测器α乘积，并进行傅里叶逆变换，得到响应矩阵

f^-1(·)表示傅里叶逆变换。响应矩阵M最大值位置即为检测得到的目标位置

图5黑色矩形小框表示目标匹配结果，最大值为检测目标置信度confi＝max(M)，置信度confi大于指定阈值Th即认为匹配成功，否则认为目标未出现在待匹配图像中。

(14)将正视图的P′映射到原始待匹配图像中，即为检测目标得到位置

如图6右图所示。

Claims (9)

1.一种基于核相关滤波的异源图像目标匹配方法，其特征在于，异源图像包括参考图像I_r和待匹配图像I_c，检测由用户在参考图像I_r中选择的目标，是否在待匹配图像I_c中存在，具体包括以下步骤：

(1)在参考图像I_r中选择目标位置，目标位置对应的目标范围的宽度与高度均记为R；

步骤(1)中选择的目标位置的目标范围的宽度，假设目标宽高相等，R根据选择的目标范围单位面积梯度大小确定，单位面积梯度记为T；

其中，

G_R表示目标范围的梯度和，R∈[50，200]；

目标范围的梯度和

I_x和I_y分别表示水平x方向的梯度和垂直y方向的梯度，选择T最大时对应的R为目标宽度，

(2)设定初始化参数，初始化参数包括检测区域倍数pad，高斯核带宽σ，高斯目标带宽σ_o，归一化因子λ，模板尺寸Tplsz，置信度阈值Th，HOG单元C_sz；

(3)确定检测区域后并缩放图像，在参考图像I_r中，提取检测区域的HOG特征F；

(4)创建二维余弦窗W_cos，并将HOG特征F与二维余弦窗W_cos加权，得到目标特征矩阵F_w，并对目标特征矩阵F_w进行傅里叶变换得到F_w ^f；

(5)将F_w ^f进行自身高斯卷积运算，得到高斯核自相关K；

(6)创建高斯权重窗W_g，并对高斯权重窗W_g进行傅里叶变换得到W_g ^f；

(7)将步骤(5)得到的高斯核自相关结果和步骤(6)得到的傅里叶变换结果进行系数解矩阵，得到检测器α；

(8)将待匹配图像I_c矫正为正视图，在正视图中，选择目标检测区域，提取检测区域的HOG特征F′，检测区域范围与参考图像中检测区域范围相同；

(9)将步骤(8)提取到的HOG特征F′与二维余弦窗W_cos加权，并将加权结果映射到傅里叶空间得到F_w ^f'；

(10)将F_w ^f'结果与F_w ^f进行高斯核相关卷积，得到K'；

(11)将K'与检测器α乘积做傅里叶逆变换，得到响应矩阵，响应矩阵最大值即为置信度confi，当置信度confi大于置信度阈值Th时则匹配成功，否则认为目标未出现在待匹配图像I_c中。

2.根据权利要求1所述的基于核相关滤波的异源图像目标匹配方法，其特征在于，步骤(3)中检测区域中心位置即为目标中心，检测区域宽度R_d是目标范围宽度R的pad倍，并缩放检测区域图像到模板大小，缩放后的检测区域宽度R_d′＝(R_d/Tplsz)*Tplsz。

3.根据权利要求1所述的基于核相关滤波的异源图像目标匹配方法，其特征在于，步骤(4)中二维余弦窗为：

其中i、j分别表示二维余弦窗矩阵的横坐标和纵坐标，h、w分别表示矩阵的高和宽，i＝0，…h-1；j＝0，…w-1，w＝h＝R/C_sz；

步骤(4)具体为：W_cos与检测区域的HOG特征矩阵F进行点积运算，得到目标特征矩阵

表示矩阵点积运算，并傅里叶变换得到

其中f(·)表示傅里叶变换。

4.根据权利要求1所述的基于核相关滤波的异源图像目标匹配方法，其特征在于，步骤(5)中高斯核自相关K为：

其中

5.根据权利要求1所述的基于核相关滤波的异源图像目标匹配方法，其特征在于，步骤(6)中二维高斯窗为：

其中，i′,j′分别表示二维高斯窗矩阵的横坐标和纵坐标，h′,w′分别表示二维高斯窗矩阵的高和宽，i′＝0，…h′-1；j′＝0，…w′-1；

其中，w′＝h′＝R/C_sz，

其中f(·)表示傅里叶变换。

6.根据权利要求1所述的基于核相关滤波的异源图像目标匹配方法，其特征在于，步骤(7)具体为矩阵W_g ^f除以矩阵K与归一化因子λ的和，得到参考图像的特征模板的系数解，即检测器α；

即

7.根据权利要求1所述的基于核相关滤波的异源图像目标匹配方法，其特征在于，步骤(9)具体为：将F′与二维余弦窗W_cos进行逐点乘运算，并将结果映射到傅里叶空间得到

其中

表示矩阵点乘运算。

8.根据权利要求1所述的基于核相关滤波的异源图像目标匹配方法，其特征在于，步骤(10)中的K'为：

9.根据权利要求1所述的基于核相关滤波的异源图像目标匹配方法，其特征在于，步骤(11)中响应矩阵M＝f^-1(K′α)，f^-1(·)表示傅里叶逆变换，响应矩阵M最大值对应的位置即为匹配目标位置p'(i,j)，匹配目标位置p'(i,j)为：

Images