CN110796691A - 一种基于形状上下文和hog特征的异源图像配准方法 - Google Patents

Abstract

本发明涉及一种基于形状上下文和HOG特征的异源图像配准方法。针对单模态图像包含的信息存在局限性的问题，提出了一种基于形状上下文和HOG特征的红外和可见光图像配准方法。在混合高斯模型前景检测的基础上，通过提出的形状上下文和HOG特征结合的方法实现轮廓特征匹配，再利用TPS转换模型将匹配延伸到整个形状，并使用正则化和缩放特性迭代重组对应关系及估计转换降低估计误差，最后采用RANSAC算法去除错误匹配点。与已有的形状上下文方法相比，此方法结合了边缘和轮廓特征信息，降低了配准误差，提高了异源图像配准率和配准的鲁棒性。

Description

一种基于形状上下文和HOG特征的异源图像配准方法

技术领域

本发明涉及一种图像配准方法，具体说是一种基于形状上下文和HOG特征的异源图像配准算法。

背景技术

多传感器信息配准融合在军事侦查、视频监控、遥感信息融合、肿瘤检测等领域都有重要应用。信息融合技术可以突出目标信息，增强对场景的理解，从而提高多传感器融合系统感知目标的准确率。但是如果没有对异源传感器的图像进行精确的配准，会降低图像融合的质量。

图像配准的过程是根据图像空间和灰度变化，找到两幅图像中同一位置点的对应关系，为图像融合提供清晰度高、质量好、定位准确的目标信息。图像特征是反映一幅图像中重要信息的表述，SIFT和SURF算法是基于点特征的配准算法，因对旋转、缩放、亮度变化具有一定的稳定性，在应用中比较常见。Belongie等人提出了基于目标的轮廓特征的形状上下文描述算子，利用形状相似性对两幅图像进行匹配。面特征也称区域特征，通过图像分割算法把图像中具有高对比度闭合区域分割出来，比如图像中的水域、湖泊、田地、森林、建筑等。与基于特征的图像配准方法相比，基于灰度的图像配准方法比较简单，不需要对图像进行预处理，直接根据整幅图像的灰度信息，建立图像之间的相似性关系。Davisos等人提出一种分别利用单高斯背景差分法检测热红外和可见光图像的运动目标，再分别通过边缘的特征级融合方式提取两种图像的轮廓，采用“或”策略，实现图像配准。Krotosky等人提出的图像配准方法，在分别对红外和可见光图像前景提取的基础上，通过一致性窗口匹配得到感兴趣区域，计算温度、视差、颜色信息梯度直方图。Liu等人为了配准红外和可见光图像，设计了一种新四边形特征，通过前向选择算法确定估计变换模型所需的特征关系，然后根据配准的质量验证所选择对应特征的正确性。Yang等人通过改进的SIFT算法进行配准，合理的降低了高斯模糊，适当的调整了阈值，并限制了子梯度描述符方向，提高了红外和可见光图像的配准精度。

当完成图像的配准后，为了估计图像配准的质量，一般采用相应的评价方法进行判断。在实际应用中，只有经过评价方法判断的配准方法才能满足需求，但是在多传感器系统的配准中，几乎没有基准数据集(Ground Truth)和评价指标，下面有几种常用的评价方法。基于几何误差计算，对图像进行相应的几何变换(平移、旋转、缩放等)，通过把计算得到的各种待评价方法的图像与几何变换的图像进行比较，更为接近的方法准确度更好；基于图像特征，Bilodeau等人提出了一种基于目标重合率的局部评价方法，但是在实际应用中，可能由于图像中没有选定的目标，导致无法对配准方法进行有效的评价；基于图像灰度，通过图像间的归一化互信息指标(NMI)作为全局指标，但在多传感器图像配准中还是会出现局部极值的问题；基于主观判断，通过不同观测者对多种配准方法得到的图像配准效果进行判断，这种方法直观方便，但不同人群的评价结果存在着一定的不稳定性。

发明内容

针对上述技术不足，本发明的目的提供一种基于形状上下文和HOG特征的异源图像配准方法。该方法可以在红外和可见光异源图像配准中，降低配准误差，提高配准率；同时提高配准鲁棒性。

本发明解决其技术问题所采用的技术方案是：一种基于形状上下文和HOG特征的异源图像配准方法，包括以下步骤：

1.利用混合高斯模型对异源图像进行前景检测，得到目标在各个异源图像序列中每一帧的形状轮廓信息；

2.结合形状上下文算子和HOG梯度描述算子计算联合匹配代价，确定异源图像的两个目标形状轮廓点集的对应关系；采用TPS形变模型转换将对应关系扩展到两个形状上的任意点，得到目标形状的映射关系；对TPS形变模型进行正则化和缩放特性处理，获得两个形状的精确映射位置关系；最后利用RANSAC随机抽样一致性算法去除误匹配点对，迭代得到异源图像的精确配准。

所述异源图像为视觉传感器采集的可见光图像与红外热像仪采集的红外图像。

所述利用混合高斯模型对异源图像进行前景检测包括：

1.1模型建立：t时刻任意一个像素点的高斯概率分布

其中，K表示高斯分布的个数，这里K＝3，p(G_i)表示权值，G_i表示当前像素点的第i个高斯分布，ω_i、μ_i、∑_i和分别表示当前像素点的第i个高斯分布中的权值、均值向量和方差矩阵，g(x，μ_i，∑_i)表示当前像素点的第i个概率密度的高斯分布函数；

1.2模型参数更新：对于一幅新的图像中的像素点，当满足|X_t-μ_i，t-1|＜Dσ_i，t-1，该像素点为背景像素，需要更新模型参数ω_i，t、μ_i，t、σ_i，t，如果不满足，则为前景像素；

参数更新方式如下：

ω_i，t＝(1-α)ω_i，t-₁+α

μ_i，t＝(1-ρ)μ_i，t-1+ρX_t

μ_i，tσ_i，t ²＝(1-ρ)σ_i，t-1 ²+ρ(X_t-μ_i，t)²

其中，X_t为t时刻彩色像素点的值，μ_i，t-1为第i个高斯分布在t-1时刻的均值，D为自定义参数，这里D＝2.5；α和ρ分别权值更新率和参数更新率，ω_i，t为t时刻第i个高斯分布中的权值，μ_i，t为t时刻第i个高斯分布中的均值向量，σ_i，t为第i个高斯分布在t时刻的标准差；

1.3背景模型更新：对权值ω_i，t进行归一化，再按照ω_i，t-1/σ_i，t从大到小的顺序排列；当权值ω_i，t之和满足公式

时，将该像素点前b个高斯分布模型判断为背景，其他模型判断为前景；T为权值阈值；N为使前b个高斯分布模型权重ω_i，t之和大于T的最小的b的值；得到目标前景图像。

所述结合形状上下文算子和HOG梯度描述算子计算联合匹配代价，确定异源图像的两个目标形状轮廓点集的对应关系，包括：

2.1对可见光图像、红外图像的目标轮廓点，利用形状上下文描述子分别计算归一化后的K-bin直方图；

2.1.1通过边缘检测算子均匀取样获取的轮廓点集P＝{p₁，…，p_i，…，p_n}，p_i∈R²；

2.1.2采用对数极坐标空间表示离散化处理描述目标形状，得到图像轮廓在对数极坐标下的归一化后的K-bin直方图；

将空间坐标系中的位置点(x，y)转换到对数极坐标系，将对数极坐标系空间划分成若干个区域，计算其余n-1个轮廓点相对于任意采样点p_i的相对坐标组成的直方图h_i(k)表示如下：

h_i(k)＝#{q≠p_i：(q-p_i)∈bin(k)}

其中，q表示轮廓点集中的其余n-1个轮廓点，bin(k)表示对数极坐标系分成的若干个区域；

2.2对可见光图像、红外图像的目标轮廓点，利用HOG特征分别计算HOG梯度方向直方图；

2.2.1将图像分成若干个细胞单元并由细胞单元组成block区域；

2.2.2将细胞单元中的像素梯度在360°方向内划分为若干个方向区域；根据像素点梯度幅值和方向计算落在每个方向区域内的梯度幅值之和作为该区域的幅值，得到包含细胞单元的HOG梯度方向直方图，从而得到block区域的HOG梯度方向直方图；

2.2.3对block区域的HOG梯度方向直方图进行归一化处理；

2.3结合形状上下文算子和HOG梯度描述算子计算联合匹配代价，确定异源图像的两个目标形状轮廓点集的对应关系；

2.3.1采用形状上下文算子和HOG梯度描述算子的联合匹配代价C(p_i，q_j)，计算两个异源图像形状中任意两个像素点p_i和q_j的相似度：

C(p_i，q_j)＝(1-ω₁)C₁(p_i，q_j)+ω₂C₂(p_i，q_j)

其中，ω₁、ω₂分别表示自定义的权值因子，取值范围在[0，1]之间；形状上下文算子的匹配代价C₁(p_i，q_j)和HOG算子的匹配代价C₂(p_i，q_j)分别服从χ²分布的公式如下：

其中h_i(k)、h_j(k)分别表示p_i、q_j归一化的K-bin直方图，hog_i(k)、hog_j(k)分别表示p_i、q_j的HOG梯度方向直方图；

2.3.2当两个形状中所有轮廓点的匹配代价的和H(π)最小时，可以实现形状匹配：

其中，π为轮廓点集p_i到另一个轮廓点集q_j的映射，q_π(i)为q_j；

采用匈牙利算法寻找增广路，在O(N³)时间复杂度内找到最小匹配代价H(π)实现最优匹配。

2.4所述采用TPS形变模型转换将对应关系扩展到两个形状上的任意点，得到目标形状的映射关系包括：

计算TPS插值函数

通过对f(x，y)线性方程的求解计算权重向量w与系数向量a的值，其中，w为w_i的集合，其中a＝(a₁，a_x，a_y)^T，U(r)是核函数，表示为U(r)＝r²logr²，r＝||(x_i，y_i)-(x，y)||，通常情况下U(0)＝0；

采用TPS插值函数f(x，y)将对应关系扩展到两个形状上的任意点，得到目标形状的映射关系。

2.5所述对TPS形变模型进行正则化和缩放特性处理，获得两个形状的精确映射位置关系包括：

计算正则化代价函数：

其中，指定噪声的值为v_i，f(x_i，y_i)是点(x_i，y_i)的TPS插值函数的值，正则化参数λ表示控制平滑程度的标量；I_f是TPS插值函数f(x，y)弯曲能量函数；

为了克服λ对于数据尺度的依赖性，解决缩放性问题，引入常数α，正则化代价函数公式变形为：

根据变形后的正则化代价函得到新的线性方程，从而求解得到新的TPS插值函数f(x，y)，使得TPS插值函数f(x，y)更平滑、对数据尺度依赖更小，从而获得两个形状的精确映射位置关系。

2.6所述利用RANSAC随机抽样一致性算法去除误匹配，包括：

(1)从形状点集O中随机选取n个数据点，构成点的子集S₁，从这个子集开始；

(2)判断数据集中其余点在容错范围t内视为内点，反之为外点；

(3)设置一致性集合的阈值T，当内点的数目大于T时，将数据集中的内点加入子集S₁构成新的子集，返回步骤(2)，最终得到一个模型；当内点的数目小于T时，重新构成一个点的子集S₂，返回步骤(2)；

(4)重复以上迭代过程，选出最大的一致性子集，此时子集内点的数目最大，从而剔除误匹配点实现光学图像与红外图像的精确配准。

本发明具有以下有益效果及优点：

1.本发明方法针对配准前提取目标前景，考虑采用混合高斯模型提取目标前景，相比于其他传统的检测结果，能更好的提取前景目标。

2.本发明方法面向红外图像和可见光异源图像的配准，主要是根据提出的形状上下文和HOG特征算子进行轮廓点配准，增加了对轮廓信息的描述，弯曲能量和平均误差均小于基于形状上下文的配准方法，提高了配准率。借助RANSAC算法去除错误匹配点，实现了更稳定的异源图像配准。

附图说明

图1是配准方法流程图

图2是本发明的前景检测结果图；

图3是图像轮廓在对数极坐标的形状上下文描述图；

图4是细胞、block的划分图；

图5是红外和可见光图像融合结果图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明。结合附图对方法步骤进行说明。

在异源图像融合中，由于不同的拍摄条件、拍摄时间、成像原理等因素，配准方法的选择是一个难点。首先利用混合高斯模型分别对视觉传感器采集的的可见光图像与红外热像仪采集的红外图像进行前景检测，得到目标在上述两个图像序列中每一帧的形状轮廓信息；然后在此基础上，进行异源图像的联合特征匹配、TPS形变模型转换、正则化和缩放特性处理；最后利用RANSAC随机抽样一致性算法去除误匹配，迭代得到光学图像与红外图像的图像匹配。本章提出的基于形状上下文和HOG特征的红外和可见光图像配准方法，流程图如图1所示。

1.基于混合高斯模型的前景检测

在对异源图像配准之前，需要提取红外图像和可见光图像中的运动目标的前景。目前，比较经典的前景检测的方法有：自适应背景相减法、Vibe算法和混合高斯模型。混合高斯的背景模型具有参数少、拟合性能好、结构简单，因此本文考虑采用混合高斯模型算法完成前景检测。

1.1模型建立

混合高斯模型中的每个像素点，都有K个状态，用K个高斯分布表示，一般K值取3～5，K值越大，计算量越大，但模型抗干扰能力也越好。某时刻某个像素点的高斯概率分布表示为：

其中，K表示模型中高斯分布的个数，这里K＝3，p(G_i)表示模型中的权值，G_i表示当前像素点的第i个高斯分布，ω_i、μ_i、∑_i和分别表示当前像素点的第i个高斯分布中的权值、均值向量和方差矩阵，g(x，μ_i，∑_i)表示当前像素点的第i个概率密度的高斯分布函数，公式为：

其中，X表示n维像素向量，当n＝1时，X表示灰色像素点的值，当n＝3时，X表示彩色像素点的值。

1.2模型参数更新

在对混合高斯模型中第一个高斯分布中的参数初始化时，尽量选择一个较小的权值和较大的标准差。对于一幅新的图像中的像素点，将其与混合高斯模型中的K个高斯分布进行匹配，当满足公式(3)时，当前像素点为背景像素，需要更新某个像素点的高斯概率分布(即公式1中)模型参数ω_i，t，μ_i，t，σ_i，t，如果不满足，当前像素点则为前景像素。

|X_t-μ_i，t-1|＜Dσ_i，t-1 (3)

其中，X_t表示t时刻彩色像素点的值，μ_i，t-1表示第i个高斯分布在t-1时刻的均值，D表示自定义的参数，这里D＝2.5，σ_i，t-1表示第i个高斯分布在t-1时刻的标准差。

参数更新方式如下：

ω_i，t＝(1-α)ω_i，t-1+α (4)

μ_i，t＝(1-ρ)μ_i，t-1+ρX_t (5)

μ_i，tσ_i，t ²＝(1-ρ)σ_i，t-1 ²+ρ(X_t-μ_i，t)² (6)

其中，α和ρ分别权值更新率和参数更新率，ω_i，t表示t时刻第i个高斯分布中的权值，ω_i，t-1表示t-1时刻第i个高斯分布中的权值，μ_i，t表示t时刻第i个高斯分布中的均值向量，μ_i，t-1表示t-1时刻第i个高斯分布中的均值向量，σ_i，t表示第i个高斯分布在t时刻的标准差。

1.3背景模型更新

对权值ω_i，t归一化后，再将每个像素点的所有高斯分布模型的权值ω_i，t，按照ω_i，t-1/σ_i，t从大到小的顺序排列，对前b个高斯分布模型的权值ω_i，t进行计算，当满足公式(7)时，将该像素点的前b个高斯分布模型判断为背景，其他模型判断为前景。

其中，T表示权值阈值，一般0.5＜T＜1。其中N表示使前b个高斯分布模型权重ω_i，t之和大于T的最小的b的值。

1.4前景检测结果

分别选取红外室内场景和可见光室外场景的图像序列，完成前景目标检测性能对比实验。图2第一行表示红外图像。第二行表示可见光图像。其中图(a)分别为原始红外、可见光图像；图(b)为自适应背景相减法处理结果；图(c)为Vibe算法处理结果；图(d)为混合高斯模型处理结果。

在图(b)中，前景目标中存在很大的空洞或小范围的噪声，轮廓范围扩大，图像中的阴影和小目标的扰动，可能引起误判；在图(c)中，ViBe算法由于在初始化的背景中可能存在运动目标，在接下来的检测图像中保留了部分初始化运动目标的影子。同样地，ViBe算法的检测效果也会受到光照变化、阴影、被风吹动的小目标等因素影响；图(d)中，实现了比较好的处理效果，为后续的配准提供了实验依据。

2.基于形状上下文和HOG特征的图像配准

2.1形状上下文(对可见光图像的点p_i、红外图像的点q_j，利用形状上下文描述子分别计算归一化后的K-bin直方图)

形状上下文是一种形状描述子，其核心技术是点集匹配，找出待配准的两幅图像形状轮廓最准确的对应关系，即当已知一幅图像形状轮廓上的每个采样点，寻找另一幅图像最为紧密相关的采样点的相对位置信息。

2.1.1通过边缘检测算子均匀取样获取的轮廓点集P＝{p₁，…，p_i，…，p_n}，p_i∈R²，为了使轮廓点与原始目标的形状最相近，轮廓点与原始目标的质心坐标尽量相同。

2.1.2采用对数极坐标空间表示离散化处理描述目标形状，即归一化后的K-bin直方图。具体为：将空间坐标系中的位置点(x，y)转换到极坐标系中(r，θ)表示如下：

其中，x₀，y₀为空间坐标系原点；

并且对r取对数

得到对数极坐标系下的位置点，但对数极坐标空间不能描述物体，这里将对数极坐标系空间等分为8份，然后再把分为5份，因此对数极坐标系被划分成40个区域(40个bin)，计算其余n-1个轮廓点相对于任意采样点p_i的相对坐标组成的直方图，即p_i归一化的K-bin直方图h_i(k)表示如下：

h_i(k)＝#{q≠p_i：(q-p_i)∈bin(k)} (10)

其中，q表示轮廓点集中的其余n-1个轮廓点，bin(k)表示对数极坐标系分成的40个区域。

图像轮廓在对数极坐标的形状上下文描述如图3所示。

2.2 HOG特征(对可见光图像的点p_i、红外图像的点q_j，利用HOG特征分别计算HOG梯度描述算子)

HOG梯度方向直方图特征可以用来描述运动目标形状信息，是用于目标检测的一种描述算子。HOG特征计算之前，首先对图像进行预处理，因为基于视觉算法的特征提取，一般都会受到光照的影响，对图像伽马归一化和灰度处理，可以在一定程度上避免被图像阴影、高光或光照变化影响的。

图像中常出现灰度、纹理局部突变的情况，突变的地方往往边缘特征比较明显，梯度幅值也比较大。采用一阶求导操作得到梯度，获取图像纹理和边缘信息。

2.2.1这里使用一维离散微分模板计算目标轮廓像素点梯度：

G_x(x，y)＝H(x+1，y)-H(x-1，y) (11)

G_y(x，y)＝H(x，y+1)-H(x，y-1) (12)

其中，G_x(x，y)表示像素点(x，y)的水平方向梯度，G_y(x，y)表示像素点(x，y)的垂直方向梯度，H(x，y)表示像素点(x，y)的灰度值；

2.2.2计算像素点(x，y)梯度幅值G(x，y)和方向α(x，y)表示为：

为了得到HOG梯度方向直方图，先将图像分成若干个“细胞单元”，并由2*2个细胞单元组成一个block，划分情况如图4所示。

然后将细胞梯度在360°方向内划分为9个方向，得到9维的特征向量。从而得到梯度直方图的9个bin。假设像素梯度在0°-40°，设为z1块(bin)，那么直方图第一个bin的值为细胞单元中每个像素梯度方向落在z1块内的幅值之和，然后计算其余bin内的值从而得到cell的HOG梯度方向直方图，最终将block中的4个cell的特征向量拼接到一起得到36维特征向量，从而得到block的梯度方向直方图。

细胞构成的block中的梯度特征通常会发生重叠，需要对block细胞梯度直方图进行归一化处理就。

2.3特征的匹配(结合形状上下文算子和HOG梯度描述算子计算联合匹配代价，确定异源图像的两个目标形状轮廓点集的对应关系)

本文在传统的根据形状上下文算子进行形状轮廓匹配的基础上，增加了HOG特征，使匹配信息更加丰富。采用两个描述算子联合，计算两个异源图像形状中任意两个像素点p_i和q_j的相似度，判断两个点是否匹配，这里用C_i，j＝C(p_i，q_j)表示两个点的匹配代价，形状上下文算子的匹配代价C₁(p_i，q_j)和HOG算子的匹配代价C₂(p_i，q_j)分别服从χ²分布的公式如下：

其中h_i(k)、h_j(k)分别表示p_i、q_j归一化的K-bin直方图，hog_i(k)、hog_j(k)分别表示p_i、q_j的HOG梯度方向直方图。

匹配代价的值越小，两个形状中的点越匹配。从异源图像的其中一个形状中的某个轮廓点开始，循环计算另一个形状中的轮廓点，直到完成匹配。

这里改进了原来的联合匹配代价公式，采用两个描述算子的联合匹配代价表示为：

C(p_i，q_j)＝(1-ω₁)C₁(p_i，q_j)+ω₂C₂(p_i，q_j) (17)

其中，ω₁、ω₂分别表示自定义的权值因子，取值范围在[0，1]之间，根据经验提前预设为0.1。

两个形状中所有轮廓点的匹配代价的和H(π)最小时，可以实现形状匹配：

其中π为轮廓点集p_i到另一个轮廓点集q_j的映射，得到公式(18)达到最小的映射，从而实现匹配。为了加速计算，需要采用匈牙利算法进行寻找优化，该算法可以在O(N³)时间复杂度内找到最小匹配代价，通过寻找增广路，实现最优匹配。

2.4 TPS模型转换

通过特征点匹配只得到了两个形状轮廓点集的对应关系π，为了将对应关系扩展到两个形状上的任意点。则需要通过平面转换T：R²→R²，T变化将对应关系扩展到整个形状。

采用薄板样条(Thin Plate Spline)插值的方法，其通常被用于表示柔体形变的坐标变换。薄板样条(TPS)是一种二维插值方法，表示三次样条曲线的二维泛化，传统的仿射模型是它的一个特例，公式表示如下：

T(x)＝Ax+o (19)

其中A表示形变矩阵，x表示待形变的图像矩阵，o表示偏移向量。对上述公式进行最小二乘法求解得到

和

的公式表示如下

其中P和Q是齐次坐标矩阵，Q⁺是Q的广义逆矩阵。P的齐次坐标矩阵的表达式如下(Q同理)：

TPS模型是在传统的仿射模型基础上引入核函数。图像有x，y两个维度，则TPS模型也可分为两个维度进行求解。首先对TPS模型中的一个维度进行插值。通过设置v_i来表示轮廓点集上p_i＝(x_i，y_i)对应的目标函数f(x，y)的值，i＝1，2，…，n开始的。假设在第一个图像中点的位置都不相同，任意两点的连线不重合，x_i′，y_i′为第二个图像中与第一幅图像对应的点。这样，TPS插值函数f(x，y)实现弯曲能量函数定义为：

f(x，y)可以表示成：

其中，U(r)是核函数，表示为U(r)＝r²logr²，通常情况下U(0)＝0。当f(x，y)具有平方可积的二阶导数，需要满足：

结合插值条件v_i＝f(x_i，y_i)，TPS系数的线性系统表示为：

其中，Ki_j＝U(||(x_i，y_i)-(x_j，y_j)||)，P矩阵的第i行是(1，x_i，y_i)，w和v分别表示由w_i和v_i形成的列向量，a＝(a₁，a_x，a_y)^T，另外L是(n+3)×(n+3)的非奇异矩阵，用A表示L^-1的左上n×n块，则I_f的转换公式表示为：

I_f∝u^TAu＝w^TKw (26)

然后通过求L^-1可得w和a的值，从而根据公式(24)可得目标函数。

2.5正则化与缩放特性

通过TPS模型转换得到映射关系，再利用两维独立的TPS函数模拟坐标转换，获得确定精确的映射位置关系。

目标函数中有时会存在噪声，使得目标函数不够平滑，本文采用正则化来消除噪声。指定噪声的值为v_i时，可用正则化的方法对准确的插值需求进行松弛，代价函数表示为：

其中正则化参数λ表示控制平滑程度的标量，在极限情况下λ＝0，降低了插值的准确性。在求解TPS系数时，用K+λI代替K，I是n×n的单位矩阵。

为了克服λ对于数据尺度的依赖性，解决缩放性问题，分别用(αX_i，αY_i)、(αX′_i，αY′_i)代替(x_i，y_i)、(x_i′，y_i′)，其中α是一个常数。一个简单的缩放特性表示了正则化参数的规范化定义，当用α²λ代替λ时，最优薄板样条参数w，a，I将不被影响。假设α再一次通过点集中两个点的平均边缘长度表示点集的尺度，那么λ可通过尺度独立的正则化参数α和λ₀表示为：λ＝α²λ₀，其中λ₀为未引入缩放性时的λ值。

两个独立的TPS函数模拟坐标转换，可以产生一个位移，使第一个图像中的任一位置都能够映射到第二个图像中，公式表示为：

T(x，y)＝(f_x(x，y)，f_y(x，y)) (28)

对应点距离的平均误差表示为：

其中，E表示平均误差。

2.6 RANSAC算法去除误匹配

为了提高图像配准的精度和效率，采用RANSAC算法对错误匹配点进行去除。在1981年Fishler和Belles提出了RANSAC随机抽样一致性算法，是目前广泛使用的一种通过估计数学模型参数剔除误匹配点的算法。RANSAC算法是不断迭代计算、重复测试确定内外点的过程。假设随机选取两个点，并拟合确定一条直线，在直线一定距离范围内的点，视为内点，超过这个距离，则为外点。通过多次确定内外点集，把具有内点数目最多的直线为最优模型。因此，RANSAC算法可以用于计算理想的变换矩阵的参数。

RANSAC随机抽样一致性的基本步骤如下：

(1)从数据集O中随机选取n个数据点，构成点的子集S₁，从这个子集开始初始化模型M₁，点集中其余点在模型容错范围t内视为内点，反之为外点。

(2)设置一个一致性集合的阈值大小为T，当内点的数目大于T时，用其余点计算一个新的模型M₁ ^*。当内点的数目小于T时，重新构成一个点的子集S₂。

(3)重复以上迭代过程，选出最大的一致性集，此时内点的数目最大，得到最优模型。

综上所述，通过基于形状上下文和HOG特征的异源图像配准结果如下图所示：

在图5中第一行是在LITIV公共数据集处理后的结果；第二行是通过信息采集平台拍摄的图像序列处理后的结果；在阴天的环境下的自采图像中可见光图像亮度很暗，目标不容易辨识，而且两种图像存在大小和位置的偏移；图(a)、(b)为分别为原始的可见光图像、红外图像；图(c)为叠加在一幅图像上红外和可见光图像的关系表示；图(d)为最终红外和可见光图像融合效果。

Claims (7)

1.一种基于形状上下文和HOG特征的异源图像配准方法，其特征在于包括以下步骤：

利用混合高斯模型对异源图像进行前景检测，得到目标在各个异源图像序列中每一帧的形状轮廓信息；

结合形状上下文算子和HOG梯度描述算子计算联合匹配代价，确定异源图像的两个目标形状轮廓点集的对应关系；采用TPS形变模型转换将对应关系扩展到两个形状上的任意点，得到目标形状的映射关系；对TPS形变模型进行正则化和缩放特性处理，获得两个形状的精确映射位置关系；最后利用RANSAC随机抽样一致性算法去除误匹配点对，迭代得到异源图像的精确配准。

2.根据权利要求1所述的一种基于形状上下文和HOG特征的异源图像配准方法，其特征在于：所述异源图像为视觉传感器采集的可见光图像与红外热像仪采集的红外图像。

3.根据权利要求1所述的一种基于形状上下文和HOG特征的异源图像配准方法，其特征在于：所述利用混合高斯模型对异源图像进行前景检测包括：

1.1模型建立：t时刻任意一个像素点的高斯概率分布

其中，K表示高斯分布的个数，这里K＝3，p(G_i)表示权值，G_i表示当前像素点的第i个高斯分布，ω_i、μ_i、∑_i和分别表示当前像素点的第i个高斯分布中的权值、均值向量和方差矩阵，g(x，μ_i，∑_i)表示当前像素点的第i个概率密度的高斯分布函数；

1.2模型参数更新：对于一幅新的图像中的像素点，当满足|X_t-μ_i，t-1|＜Dσ_i，t-1，该像素点为背景像素，需要更新模型参数ω_i，t、μ_i，t、σ_i，t，如果不满足，则为前景像素；

参数更新方式如下：

ω_i，t＝(1-α)ω_i，t-1+α

μ_i，t＝(1-ρ)μ_i，t-1+ρX_t

μ_i，tσ_i，t ²＝(1-ρ)σ_i，t-1 ²+ρ(X_t-σ_i，t)²

其中，X_t为t时刻彩色像素点的值，μ_i，t-1为第i个高斯分布在t-1时刻的均值，D为自定义参数，这里D＝2.5；α和ρ分别权值更新率和参数更新率，ω_i，t为t时刻第i个高斯分布中的权值，μ_i，t为t时刻第i个高斯分布中的均值向量，σ_i，t为第i个高斯分布在t时刻的标准差；

1.3背景模型更新：对权值ω_i，t进行归一化，再按照ω_i，t-1/σ_i，t从大到小的顺序排列；当权值ω_i，t之和满足公式

时，将该像素点前b个高斯分布模型判断为背景，其他模型判断为前景；T为权值阈值；N为使前b个高斯分布模型权重ω_i，t之和大于T的最小的b的值；得到目标前景图像。

4.根据权利要求1所述的一种基于形状上下文和HOG特征的异源图像配准方法，其特征在于：所述结合形状上下文算子和HOG梯度描述算子计算联合匹配代价，确定异源图像的两个目标形状轮廓点集的对应关系，包括：

2.1对可见光图像、红外图像的目标轮廓点，利用形状上下文描述子分别计算归一化后的K-bin直方图；

2.1.1通过边缘检测算子均匀取样获取的轮廓点集P＝{p₁，…，p_i，…，p_n}，p_i∈R²；

2.1.2采用对数极坐标空间表示离散化处理描述目标形状，得到图像轮廓在对数极坐标下的归一化后的K-bin直方图；

将空间坐标系中的位置点(x，y)转换到对数极坐标系，将对数极坐标系空间划分成若干个区域，计算其余n-1个轮廓点相对于任意采样点p_i的相对坐标组成的直方图h_i(k)表示如下：

h_i(k)＝#{q≠p_i：(q-p_i)∈bin(k)}

其中，q表示轮廓点集中的其余n-1个轮廓点，bin(k)表示对数极坐标系分成的若干个区域；

2.2对可见光图像、红外图像的目标轮廓点，利用HOG特征分别计算HOG梯度方向直方图；

2.2.1将图像分成若干个细胞单元并由细胞单元组成block区域；

2.2.2将细胞单元中的像素梯度在360°方向内划分为若干个方向区域；根据像素点梯度幅值和方向计算落在每个方向区域内的梯度幅值之和作为该区域的幅值，得到包含细胞单元的HOG梯度方向直方图，从而得到block区域的HOG梯度方向直方图；

2.2.3对block区域的HOG梯度方向直方图进行归一化处理；

2.3结合形状上下文算子和HOG梯度描述算子计算联合匹配代价，确定异源图像的两个目标形状轮廓点集的对应关系；

2.3.1采用形状上下文算子和HOG梯度描述算子的联合匹配代价C(p_i，q_j)，计算两个异源图像形状中任意两个像素点p_i和q_j的相似度：

C(p_i，q_j)＝(1-ω₁)C₁(p_i，q_j)+ω₂C₂(p_i，q_j)

其中，ω₁、ω₂分别表示自定义的权值因子，取值范围在[0，1]之间；形状上下文算子的匹配代价C₁(p_i，q_j)和HOG算子的匹配代价C₂(p_i，q_j)分别服从χ²分布的公式如下：

其中h_i(k)、h_j(k)分别表示p_i、q_j归一化的K-bin直方图，hog_i(k)、hog_j(k)分别表示p_i、q_j的HOG梯度方向直方图；

2.3.2当两个形状中所有轮廓点的匹配代价的和H(π)最小时，可以实现形状匹配：

其中，π为轮廓点集pi到另一个轮廓点集q_j的映射，q_π(i)为q_j；

采用匈牙利算法寻找增广路，在O(N³)时间复杂度内找到最小匹配代价H(π)实现最优匹配。

5.根据权利要求1所述的一种基于形状上下文和HOG特征的异源图像配准方法，其特征在于：所述采用TPS形变模型转换将对应关系扩展到两个形状上的任意点，得到目标形状的映射关系包括：

计算TPS插值函数

通过对f(x，y)线性方程的求解计算权重向量w与系数向量a的值，其中，w为w_i的集合，其中a＝(a₁，a_x，a_y)^T，U(r)是核函数，表示为U(r)＝r²logr²，r＝||(x_i，y_i)-(x，y)||，通常情况下U(0)＝0；

采用TPS插值函数f(x，y)将对应关系扩展到两个形状上的任意点，得到目标形状的映射关系。

6.根据权利要求1所述的一种基于形状上下文和HOG特征的异源图像配准方法，其特征在于：所述对TPS形变模型进行正则化和缩放特性处理，获得两个形状的精确映射位置关系包括：

计算正则化代价函数：

其中，指定噪声的值为v_i，f(x_i，y_i)是点(x_i，y_i)的TPS插值函数的值，正则化参数λ表示控制平滑程度的标量；I_f是TPS插值函数f(x，y)弯曲能量函数；

为了克服λ对于数据尺度的依赖性，解决缩放性问题，引入常数α，正则化代价函数公式变形为：

根据变形后的正则化代价函得到新的线性方程，从而求解得到新的TPS插值函数f(x，y)，使得TPS插值函数f(x，y)更平滑、对数据尺度依赖更小，从而获得两个形状的精确映射位置关系。

7.根据权利要求1所述的一种基于形状上下文和HOG特征的异源图像配准方法，其特征在于：所述利用RANSAC随机抽样一致性算法去除误匹配，包括：

(1)从形状点集O中随机选取n个数据点，构成点的子集S₁，从这个子集开始；

(2)判断数据集中其余点在容错范围t内视为内点，反之为外点；

(3)设置一致性集合的阈值T，当内点的数目大于T时，将数据集中的内点加入子集S₁构成新的子集，返回步骤(2)，最终得到一个模型；当内点的数目小于T时，重新构成一个点的子集S₂，返回步骤(2)；

(4)重复以上迭代过程，选出最大的一致性子集，此时子集内点的数目最大，从而剔除误匹配点实现光学图像与红外图像的精确配准。

Images