发明内容
本发明的目的是提供一种多源传感器的遥感图像配准方法,针对多源传感器、多时相、多视角遥感图像进行高精度、快速配准,以解决遥感图像的自动配准问题。
为实现上述目的,本发明的技术解决方案是:
一种多源传感器的遥感图像配准方法,其包括以下步骤:
第一步,分别对待配准图像和参考图像进行尺度不变特征变换(SIFT),提取特征点,并筛选最优匹配点对;
第二步,通过随机一致性抽样算法(RANSAC)提纯初始配准点,剔除误配准点;
第三步,对图像进行分区,通过不同区域特征点的数目,计算特征点对的分布质量权重参数,选取分布均匀的有效控制点对;
第四步,通过互信息相似判断准则,在待配准图像的控制点一定范围内搜索最优配准点,实现控制点对的精配准,获取最优配准点对;
第五步,通过最小二乘法曲线拟和,预测非线性模型二次多项式的参数,即待配准图像的几何形变参数,实现待配准图像与参考图像的精确配准。
所述的遥感图像配准方法,其所述第一步,包括:
a.1、利用二维高斯函数核对参考图像和待配准图像进行尺度空间变换,得到多尺度下的尺度空间表示序列。
a.2、特征点检测,提取尺度空间极值,并通过函数拟和实现特征点的精确定位,具体步骤如下:
a.2.1、在图像二维平面空间和高斯差分尺度空间(Difference-of-Gaussian,DOG)同时检测极值作为特征点,其中DOG算子为两个不同尺度的高斯核的差分。
a.2.2、尺度空间极值检测,获取相邻三个尺度空间的局部极值,保证在尺度空间和二维图像空间都为局部极值;
a.2.3、去除低对比度的关键点和不稳定的边缘点,并根据拟和三维二次函数精确定位特征点的位置和尺度;
a.3、特征点描述,获取特征点的主方向和描述子信息,具体步骤如下:
a.3.1、提取关键点邻域像素的梯度方向,作为特征点的主方向,确定主方向的模值和方向;
a.3.2、将坐标轴旋转到特征点的主方向上,确保特征描述子的旋转不变性,以特征点选择一定大小的区域(本方法取16×16的区域),分成16个4×4的子区域,也称为种子点,计算每个种子点八个方向上的梯度方向直方图,得到特征点的128维数据,即特征描述子;
a.4、计算待配准图像与参考图像中特征点的最邻近欧式距离和次邻近距离,当其比值小于某个阈值,则被选为最优匹配点对,获得待配准图像与参考图像的初始配准点集。
所述的遥感图像配准方法,其所述第二步,包括:
b.1、从初始配准点集中,随机取4个配准点对作为样本,并初始化8自由度参数变换模型;
b.2、在初始配准点集中检索符合参数变换模型的误差阈值低于Td(一般取0.01)的点集,为与样本一致的有效点集;
b.3、根据模型误差值Td,获取最大阈值Tmax,当有效点集个数大于Tmax时,重新估计参数变换模型;
b.4、根据模型误差值Td,获取最小阈值Tmin,当有效点集个数小于Tmin时,重新选择新的样本;
b.5、经过N次迭代,获取初始匹配点集中的最大一致点集,用来重新估计模型,得到最优匹配点对,剔除误配准点。
所述的遥感图像配准方法,其所述第三步,包括:
c.1、将整个图像划分为等4×4个等大小区域,统计每个区域中特征点的个数;
c.2、每个区域中特征点选中概率为1/(16×Num),其中Num为该区域特征点数,保证图像中所有特征点的选择概率的均衡;
c.3、每个区域选择特征点的个数为Nmax/(16×Num),其中Nmax为最大选择特征点数,得到分布均匀的控制点对。
所述的遥感图像配准方法,其所述第四步,包括:
d.1、以参考图像、待配准图像的控制点为中心分别选择7×7、21×21的区域作为匹配区域和待匹配区域;
d.2、计算待匹配区域中7×7大小的图像子块与参考图像的匹配模块的互信息;
d.3、搜索待匹配区域中与参考模块互相关系数最大的7×7的子模块,并将其中心点作为参考模块中心点的最优匹配点,实现控制点的精配准。
所述的遥感图像配准方法,其所述第五步,包括:
e.1、根据精配准点对,经过最小二乘法,实现二次多项式曲线拟和,获得待配准图像相对参考图像的几何变换模型;
e.2、根据几何变换参数,通过双线性插值法实现待配准图像的配准。
所述的遥感图像配准方法,其所述a.1步中,
二维高斯核的函数G(x,y,σ)定义如下:
其中σ为高斯正态分布的方差,(x,y)为像素坐标;尺度空间表示L(x,y,σ)如式(2)所示:
L(x,y,σ)=G(x,y,σ)*I(x,y)……(2)
其中I(x,y)为图像数据,σ为尺度空间因子,G(x,y,σ)为二维高斯核的函数。
所述的遥感图像配准方法,其所述a.2.1步中,
DOG(Difference-of-Gaussian)尺度空间算子D(x,y,σ)为两个不同尺度的高斯核的差分,其定义如下:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)
=L(x,y,kσ)-L(x,y,σ)……(3)
其中G(x,y,σ)为二维高斯核,L(x,y,σ)为方差为σ的尺度空间表示,L(x,y,kσ)为方差为kσ的尺度空间表示。
所述的遥感图像配准方法,其所述a.2.2步中,
尺度空间极值检测,获取相邻三个尺度空间的局部极值,为同一尺度空间邻域8个点和相邻两个尺度空间的9×2个点,共26个点中的极值点。
所述的遥感图像配准方法,其所述a.3.1步中,
提取的特征点主方向的模值m(x,y)定义为:
特征点主方向的方向θ(x,y)定义为:
θ(x,y)=arctan((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))……(5)
所述的遥感图像配准方法,其所述a.4步中,
最优匹配点对准则为:
其中,Dis1、Dis2分别为待配准图像特征点与参考图像特征点的最近欧式距离和次近欧式距离,本方法中Threshold取0.8。
所述的遥感图像配准方法,其所述d.2步中,互信息是用来衡量两幅图像对应像素灰度值之间的统计相关性,值越大,相关性越强,互信息MI(A,B)定义如下:
其中A、B表示待匹配的两幅图像,PA(a)、PB(b)分别为图像A,B的灰度值概率分布,PAB(a,b)为像素点对的联合概率密度。
所述的遥感图像配准方法,其所述d.3步中,将互信息作为图像匹配的测度,寻找最优匹配点,实现控制点的精配准,就是要寻找搜索空间的最大互信息位置Wopt:
其中R为搜索空间,MI(A,B)为图像块A,B的互信息。
所述的遥感图像配准方法,其所述e.1步中,
二次多项式几何变换模型定义公式如下:
x′=a00+a10x+a01y+a20x2+a11xy+a02y2……(10)
y′=b00+b10x+b01y+b20x2+b11xy+b02y2……(11)
其中a00、a10、a01、a20、a11、a02、b00、b10、b01、b20、b11、b02分别为几何变换参数。
本发明的方法针对多源传感器、多视角、多时相遥感图像提出了利用尺度不变特征配准和随机样本一致性算法剔除误匹配的方法进行控制点的粗配准,并通过在小范围内利用互信息进行控制点的精配准,实现多源图像的快速、准确配准。
本发明的方法采用特征配准与区域配准相结合的方式,首先利用利用尺度不变特征配准和随机样本一致性算法剔除误匹配的方法进行控制点的粗配准,实现待配准图像和参考图像的控制点粗略定位;同时,利用特征点分布质量权重参数,实现了控制点对的均匀分布;利用互信息以粗略控制点为中心的一定范围内进行配准,实现了对控制点对的快速、精确配准。本发明能够满足多源传感器、多时相、多视角遥感图像的自动控制点选择和图像的快速、精确配准需求。
具体实施方式
本发明的一种多源传感器的遥感图像配准方法,包括如下步骤:
第一步,分别对待配准图像和参考图像进行尺度空间变换,提取特征点,并筛选最优匹配点对,具体方法如下:
1.1、利用二维高斯函数核对参考图像和待配准图像进行尺度空间变换,得到多尺度下的尺度空间表示序列。
1.2、特征点检测,提取尺度空间极值,并通过函数拟和实现特征点的精确定位,具体步骤如下:
1.2.1、在图像二维平面空间和DOG(Difference-of-Gaussian)尺度空间同时检测极值作为特征点,其中DOG算子为两个不同尺度的高斯核的差分。
1.2.2、尺度空间极值检测,获取相邻三个尺度空间的局部极值,保证在尺度空间和二维图像空间都为局部极值;
其中三个尺度空间的局部极值,为同一尺度空间邻域8个点和相邻两个尺度空间的9×2个点,共26个点中的极值点;
1.2.3、去除低对比度的关键点和不稳定的边缘点,并根据拟和三维二次函数精确定位特征点的位置和尺度;
1.3、特征点描述,获取特征点的主方向和描述子信息,具体步骤如下:
1.3.1、提取关键点邻域像素的梯度方向,作为特征点的主方向,确定主方向的模值和方向;
1.3.2、将坐标轴旋转到特征点的主方向上,确保特征描述子的旋转不变性,以特征点选择一定大小的区域(本方法取16×16的区域),分成16个4×4的子区域,也称为种子点,计算每个种子点八个方向上的梯度方向直方图,得到特征点的128维数据,即特征描述子;
1.4、计算待配准图像与参考图像中特征点的最邻近欧式距离和次邻近距离,当其比值小于某个阈值最为最佳匹配准则,选出最优匹配点对,获得待配准图像与参考图像的初始配准点集;
第二步,通过RANSAC方法提纯初始配准点,剔除误配准点,具体步骤如下:
2.1、从初始配准点集中,随机取4个配准点对作为样本,并初始化8自由度参数变换模型;
2.2、在初始配准点集中检索符合参数变换模型的误差阈值低于Td(一般取0.01)的点集,为与样本一致的有效点集;
2.3、根据模型误差值Td,获取最大阈值Tmax,当有效点集个数大于Tmax时,重新估计参数变换模型;
2.4、根据模型误差值Td,获取最小阈值Tmin,当有效点集个数小于Tmin时,重新选择新的样本;
2.5、经过N次迭代,获取初始匹配点集中的最大一致点集,用来重新估计模型,得到最优匹配点对,剔除误配准点。
第三步,对图像进行分区,通过不同区域特征点的数目,计算特征点对的分布质量权重参数,选取分布均匀的有效控制点对,具体步骤如下:
3.1、将整个图像划分为等4×4个等大小区域,统计每个区域中特征点的个数;
3.2、每个区域中特征点选中概率为1/(16×Num),其中Num为该区域特征点数,保证图像中所有特征点的选择概率的均衡;
3.3、每个区域选择特征点的个数为Nmax/(16×Num),其中Nmax为最大选择特征点数,得到分布均匀的控制点对;
第四步,通过互信息相似判断准则,在待配准图像的控制点一定范围内搜索最优配准点,实现控制点对的精配准,获取最优配准点对,步骤如下:
4.1、以参考图像、待配准图像的控制点为中心分别选择7×7、21×21的区域作为匹配区域和待匹配区域;
4.2、计算待匹配区域中7×7大小的图像子块与参考图像的匹配模块的互信息,其中互信息是用来衡量两幅图像对应像素灰度值之间的统计相关性,值越大,相关性越强。
4.3、搜索待匹配区域中与参考模块互相关系数最大的7×7的子模块,并将其中心点作为参考模块中心点的最优匹配点,实现控制点的精配准;
第五步,通过最小二乘法曲线拟和,预测非线性模型二次多项式的参数,即待配准图像的几何形变参数,实现待配准图像与参考图像的精确配准,具体步骤如下:
5.1、根据精配准点对,经过最小二乘法,实现二次多项式曲线拟和,获得待配准图像相对参考图像的几何变换模型;
5.2、根据几何变换参数,通过双线性插值法实现待配准图像的配准。
在步骤1.1中,二维高斯核的函数G(x,y,σ)定义如下:
其中σ为高斯正态分布的方差,(x,y)为像素坐标。
在步骤1.1中,尺度空间表示L(x,y,σ)如式(2)所示:
L(x,y,σ)=G(x,y,σ)*I(x,y)……(2)
其中I(x,y)为图像数据,σ为尺度空间因子。
在步骤1.2.1中,DOG尺度空间算子定义如下:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)
=L(x,y,kσ)-L(x,y,σ)……(3)
其中G(x,y,σ)为二维高斯核,L(x,y,σ)为方差为σ的尺度空间表示,L(x,y,kσ)为方差为kσ的尺度空间表示。
在步骤1.3.1中,特征点主方向的模值m(x,y)定义为:
在步骤1.3.1中,特征点主方向的方向θ(x,y)定义为:
θ(x,y)=arctan((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))……(5)
在步骤1.4中,最优匹配点对准则为:
其中,Dis1、Dis2分别为待配准图像特征点与参考图像特征点的最近欧式距离和次近欧式距离,本方法中Threshold取0.8。
在步骤4.2中,互信息定义如下:
设图像A、B的图像灰度值概率分布为PA(a)、PB(b),像素点对的联合概率密度为PAB(a,b),A,B的互信息MI(A,B)定义为:
MI(A,B)=H(A)+H(B)-H(A,B)……(8)
其中H(A)、H(B)分别为图像A、B的信息熵,H(A,B)为图像A、B的联合熵,它们的定义具体如下:
则A,B的互信息为:
在步骤4.3中,寻找最优匹配点,实现控制点的精配准,就是要寻找搜索空间的最大互信息位置,即:
其中R为待配准区域,MI(A,B)为图像A,B的互信息。
在步骤4.3中,二次多项式几何变换模型定义公式如下:
x′=a00+a10x+a01y+a20x2+a11xy+a02y2……(14)
y′=b00+b10x+b01y+b20x2+b11xy+b02y2……(15)
其中a00、a10、a01、a20、a11、a02、b00、b10、b01、b20、b11、b02分别为几何变换参数。
图1为本发明一种多源传感器的遥感图像自动配准方法的流程示意图,具体步骤包括:
第一步,分别对待配准图像和参考图像进行尺度空间变换,提取SIFT特征点,并筛选最优匹配点对;
第二步,通过随机抽样一致性算法(RANSAC)提纯初始配准点,剔除误配准点;
第三步,对图像进行分区,通过不同区域特征点的数目,计算特征点对的分布质量权重参数,选取分布均匀的有效控制点对;
第四步,通过互信息相似判断准则,在待配准图像的控制点一定范围内搜索最优配准点,实现控制点对的精配准,获取最优配准点对;
第五步,通过最小二乘法曲线拟和,预测非线性模型二次多项式的参数,即待配准图像的几何形变参数,实现待配准图像与参考图像的精确配准。
图2为图像尺度不变特征提取方法的流程图,具体步骤包括:
2.1、利用高斯函数核对参考图像和待配准图像进行尺度空间变换,得到多尺度下的尺度空间表示序列。
2.2、特征点检测,提取尺度空间极值,并通过函数拟和实现特征点的精确定位,具体步骤如下:
2.2.1、在图像二维平面空间和DOG(Difference-of-Gaussian)尺度空间同时检测极值作为特征点,其中DOG算子为两个不同尺度的高斯核的差分。
2.2.2、尺度空间极值检测,获取相邻三个尺度空间的局部极值,保证在尺度空间和二维图像空间都为局部极值;
2.2.3、去除低对比度的关键点和不稳定的边缘点,并根据拟和三维二次函数精确定位特征点的位置和尺度;
2.3、特征点描述,获取特征点的主方向和描述子信息,具体步骤如下:
2.3.1、提取关键点邻域像素的梯度方向,作为特征点的主方向,确定特征点主方向的模值和方向;
2.3.2、将坐标轴旋转到特征点的主方向上,确保特征描述子的旋转不变性,以特征点选择一定大小的区域(本方法取16×16的区域),分成16个4×4的子区域,也称为种子点,计算每个种子点八个方向上的梯度方向直方图,得到特征点的128维数据,即特征描述子;
图3为随机抽样一致算法(RANSAC)流程图。
3.1、从初始配准点集中,随机取4个配准点对作为样本,并初始化8自由度参数变换模型;
3.2、在初始配准点集中检索符合参数变换模型的误差阈值低于Td(一般取0.01)的点集,为与样本一致的有效点集;
3.3、根据模型误差值Td,获取最大阈值Tmax,当有效点集个数大于Tmax时,重新估计参数变换模型;
3.4、根据模型误差值Td,获取最小阈值Tmin,当有效点集个数小于Tmin时,重新选择新的样本;
3.5、经过N次迭代,获取初始匹配点集中的最大一致点集,用来重新估计模型,得到最优匹配点对,剔除误配准点。