CN109544610A - 一种基于卷积神经网络的图像配准方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的图像配准方法，所述方法包括以下步骤：利用VGG‑16卷积网络对参考图像、移动图像分别提取特征点，以此生成参考特征点集以及移动特征点集；当特征点的距离矩阵同时满足第一、第二约束条件时，执行预匹配操作，即所述参考特征点集中的特征点x、与所述移动特征点集中的特征点y是匹配点；设置某一阈值，结合迭代对预匹配后的特征点进行动态的内点选择，筛选出最终的特征点，并获取先验概率矩阵；根据先验概率矩阵、EM算法寻找最优参数，实现图像配准。本发明在特征点匹配时通过动态内点选择动态地逐步增加内点，提高了配准准确率。

Description

一种基于卷积神经网络的图像配准方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的图像配准方法。

背景技术

图像配准是图像处理领域的重要任务之一，也是图像融合的基础。由于图像配准的数据来自于不同的拍摄时间，不同的角度或者不同的物理设备等等，如何选取稳定的特征点并将其正确地匹配成为配准的关键问题。

目前传统的尺度不变特征变换(SIFT)检测算法以及在此基础上的一些改进算法，已经能基本实现特征点的选取，但对于多时相或者多模态的图像配准，因其表面存在较大的差异，SIFT算法可能产生诸多外点，甚至检测不到足够的特征点，因此限制了图像配准的应用。

目前深度学习的应用遍及各种领域并取得了卓越的成绩。尤其在图像处理方面，卷积神经网络通过学习能够提取大量稳健的特征点。但是在特征点匹配方面，神经网络只能产生有限的，恒定数量的变换参数，不能纠正复杂的失真。

发明内容

本发明提供了一种基于卷积神经网络的图像配准方法，本发明在图片有较大差异的情况下能够提取足够多的特征点，在特征点匹配时通过动态内点选择动态地逐步增加内点，提高了配准准确率，详见下文描述：

一种基于卷积神经网络的图像配准方法，所述方法包括以下步骤：

利用VGG-16卷积网络对参考图像、移动图像分别提取特征点，以此生成参考特征点集以及移动特征点集；

当特征点的距离矩阵同时满足第一、第二约束条件时，执行预匹配操作，即所述参考特征点集中的特征点x、与所述移动特征点集中的特征点y是匹配点；

设置某一阈值，结合迭代对预匹配后的特征点进行动态的内点选择，筛选出最终的特征点，并获取先验概率矩阵；

根据先验概率矩阵、EM算法寻找最优参数，实现图像配准。

进一步地，所述特征点的距离矩阵具体为：三个距离的加权和，即：

其中，每个距离均为对应的特征描述子的欧式距离：

d_i(x,y)＝Euclidean-distance(D_i(x),D_i(y))

式中，Euclidean-distance为欧式距离；D_i(x)为特征点x的特征描述子；D_i(y)为特征点y的特征描述子。

进一步地，

第一约束条件：距离矩阵d(x,y)是所有d(·,y)里面的最小值，d(·,y)表示对于某一特征点y，参考特征点集X中的每一个特征x与特征点y之间的距离；

第二约束条件：不存在d(z,y)，使得d(z,y)＜θ·d(x,y)，d(z,y)表示特征点z与特征点y之间的距离，θ为匹配阈值，z即移动特征点集Y通过变换后得到的对应点集中的点。

其中，所述设置某一阈值，结合迭代对预匹配后的特征点进行动态的内点选择具体为：

初始化时，设置一个较大的阈值使得较多的特征点都能满足内点条件，保留下来，

然后较大的阈值减去一个步长δ，作为更新后的阈值，对第一次迭代后的特征点进行进一步地筛选，依次类推。

具体实现时，所述根据先验概率矩阵、EM算法寻找最优参数具体包括：

将移动特征点集Y视为高斯混合模型的质心；省略派生冗余项，获取用EM算法最小化负的log似然函数的期望表达式；

基于高斯径向基函数生成的矩阵、运动相干理论的正则化项得到似然函数；

用EM算法迭代地计算期望并最小化梯度，直到收敛，用薄板样条插值法计算变换图像。

进一步地，所述负的log似然函数的期望表达式具体为：

其中，τ(y_m,W)指y_m的相对应的变换位置，σ²为标准方差，y_m指向移动特征点集Y的索引m处，即点集Y的第m个特征点；ω为加权参数；N为点集X中特征点的总个数；M为点集Y中特征点的总个数；P^old(m|x_n)表示使用最后一次迭代的参数计算的后验概率项；x_n指向参考特征点集X的索引n处。

其中，所述似然函数具体为：

其中，tr(·)表示跟踪操作，λ为常数，W为转换系数矩阵，G为基于高斯径向基函数生成的矩阵，Q为似然函数的期望。

进一步地，所述获取先验概率矩阵具体为：

计算M×N的卷积特征损失矩阵、计算几何结构损失矩阵、利用哈达马积计算联合损失矩阵；

采用Jonker-Volgenant算法在联合损失矩阵C上解决线性配准问题，匹配到的点对被视为是概率相关的，计算先验概率矩阵，并进行归一化处理。

其中，所述卷积特征损失矩阵具体为：

其中，condition1表示x_n和y_m是低于阈值θ的一对有效的匹配点，是所有满足阈值θ的特征点对的距离的最大值；d(y_m，x_n)为前面定义的特征点之间的距离矩阵；

其中，所述几何结构损失矩阵具体为：

其中，分别指落在y_m，x_n周围弧形域中的点的个数，B为邻域设置的最大值。

其中，所述先验概率矩阵具体为：

其中，ε为超参，其值0＜ε＜1。

本发明提供的技术方案的有益效果是：

1、由于VGG-16卷积网络在分类问题上的优异表现以及其结构简洁和已被大量数据训练过的特点，故本发明选择VGG-16卷积网络的三层池化层的输出作为特征，保证能够提取到足够的良好特征点；

2、本发明在正式进行图像匹配之前，先进行预匹配，排除大量不相关点，保证了后续匹配的正确率；

3、本发明考虑卷积特征以及几何结构信息两方面特征来构造函数，迭代更新阈值θ，使得图像配准方法更加具有鲁棒性；

4、本发明利用EM算法更新参数(W,σ²,ω)，迭代计算期望并最小化梯度，直到函数收敛。

附图说明

图1为本发明提供的卷积神经网络的结构示意图；

图2为本发明提供的一种基于卷积神经网络的图像配准方法的流程图；

图3为参考图像与配准后图像的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提供了一种基于卷积神经网络的图像配准方法，参见图1和图2，该方法包括以下步骤：

101：利用VGG-16卷积网络对参考图像、移动图像分别提取特征点，以此生成参考特征点集以及移动特征点集；

102：当特征点的距离矩阵同时满足第一、第二约束条件时，执行预匹配操作，即所述参考特征点集中的特征点x、与所述移动特征点集中的特征点y是匹配点；

103：设置某一阈值，结合迭代对预匹配后的特征点进行动态的内点选择，筛选出最终的特征点，并获取先验概率矩阵；

104：根据先验概率矩阵、EM算法寻找最优参数，实现图像配准。

其中，步骤102中的第一约束条件：距离矩阵d(x,y)是所有d(·,y)里面的最小值，d(·,y)表示对于某一特征点y，参考特征点集X中的每一个特征x与特征点y之间的距离；

第二约束条件：不存在d(z,y)，使得d(z,y)＜θ·d(x,y)，d(z,y)表示特征点z与特征点y之间的距离，θ为匹配阈值，z即移动特征点集Y通过变换后得到的对应点集中的点。

其中，步骤103中的设置某一阈值，结合迭代对预匹配后的特征点进行动态的内点选择具体为：

初始化时，设置一个较大的阈值使得较多的特征点都能满足内点条件，保留下来，然后较大的阈值减去一个步长δ，作为更新后的阈值，对第一次迭代后的特征点进行进一步地筛选，依次类推。

综上所述，本发明实施例通过上述步骤101-步骤104即使在图片有较大差异的情况下也能够提取足够多的特征点，在特征点匹配时通过动态内点选择动态地逐步增加内点，提高了配准准确率。

实施例2

下面结合具体的计算公式、实例、图1-图2，对实施例1中的方案进行进一步地介绍，详见下文描述：

201：利用VGG-16卷积网络在参考图像I_X上提取出所有特征点，进而生成参考特征点集X，利用VGG-16卷积网络在移动图像I_Y上提取出所有特征点，进而生成移动特征点集Y；

具体实现时，将参考图像I_X和移动图像I_Y统一为长宽为224×224大小，以此来获得合适大小的感受野(本领域所公知的专业术语)并减小计算量。

其中，VGG-16卷积网络包括五段卷积，每一段内有2-3个卷积层，同时每段尾部会连接一个最大池化层，五段卷积依次分别为：pool1、pool2、pool3、pool4、以及pool5_1，本发明实施例利用pool3、pool4以及pool5_1三层的输出搭建网络，并输出特征点。

其中，参考图像I_X通常为需要进行配准的遥感图像，在将参考图像I_X输入到VGG-16卷积网络之前，一般会对参考图像I_X进行预处理，例如：图像降噪、图像增强等。具体实现时，本发明实施例对此不做限制。

其中，移动图像I_Y通常为需要进行配准的遥感图像，在将移动图像I_Y输入到VGG-16卷积网络之前，也会对移动图像I_Y进行预处理，预处理的操作参见对参考图像I_X的处理，本发明实施例在此不做赘述。

202：定义距离矩阵d(x,y)，当满足如下2个约束条件时，认为步骤201中的参考特征点集X中的特征点x、与移动特征点集Y中的特征点y是匹配点；

第一条件：距离矩阵d(x,y)是所有d(·,y)里面的最小值，d(·,y)表示对于某一特征点y，参考特征点集X中的每一个特征x与特征点y之间的距离。

第二条件：不存在d(z,y)，使得d(z,y)＜θ·d(x,y)，z即移动特征点集Y通过非线性变换后得到的对应点集中的点，d(z,y)表示特征点z与特征点y之间的距离，其中θ为匹配阈值，其值大于1。

具体实现时，通过上述2个约束条件，实现了对参考特征点集X中的特征点x、与移动特征点集Y中的特征点之间的预匹配，筛选出部分较好的匹配点进行后续的操作。

203：设置另一阈值，并结合迭代对步骤202预匹配后的特征点进行动态的内点选择，筛选出最终的特征点，并通过对内点的选择获取到一个M×N大小的先验概率矩阵P_R；

在采用期望极大值(expectation maximization,EM)算法迭代求解Z(其中，Z为每次迭代中移动特征点集Y对应的变换位置)时，本发明实施例在每k次迭代中更新内点(其中，内点为具有重叠区域的特征点)的选择。

在步骤202中的特征预匹配阶段，使用匹配阈值θ从特征点集合中选择大量特征点同时滤除不相关的点。

该步骤203中需初始化一个较大的阈值只有内点才能满足。在接下来的配准过程中，在每k次迭代中较大的阈值逐次减去一个步长δ，作为更新后的阈值，使得每次迭代有更多一部分的特征点来影响变换过程。

具体实现时，首先在初始化的时候，设置一个较大的阈值使得较多的特征点都能满足内点条件，保留下来，然后较大的阈值减去一个步长δ，作为更新后的阈值，对第一次迭代后的特征点进行进一步地筛选，依次类推。

例如：初始特征点为1000个，第一次筛选后保留下来800个，将减去一个步长δ，使得满足条件的特征点减少，经过第二次筛选后保留下来500个特征点，依次类推，使得越来越少的点能满足条件保留下来，经过多次迭代筛选出最终的特征点。

通过对内点的选择产生一个M×N大小的先验概率矩阵P_R，此先验概率矩阵P_R接下来由基于高斯混合模型(Gaussianmixturemodel,GMM)的变换求解器获得。

先验概率矩阵P_R中的元素P_R[m,n]代表了x_n和y_m相关性的概率大小，其中x_n指向参考特征点集X的索引n处，y_m指向移动特征点集Y的索引m处。假设x_n和y_m是特征匹配点，则会得到一个较大的元素P_R[m,n]。该大概率值将会导致y_m的显著变化，进而促进得到正确的特征匹配点对。其中，概率P_R[m,n]由两个方面的信息决定，一是卷积特征，二是几何结构信息。

204：通过EM算法寻找最优参数；

a)将移动特征点集Y视为GMM的质心；

其中，GMM的概率密度函数定义为g_m(x)为正太分布密度函数：

其中，均匀分布项是考虑到存在一部分具有加权参数ω的外点，且0＜ω＜1，x为参考特征点集X中的任一点，N为点集X中特征点的总个数，σ²为标准方差，y_m指向移动特征点集Y的索引m处，即点集Y的第m个特征点。

使用EM算法来寻找最优参数值(W,σ²,ω)。该方法原理为最大化一个似然函数，也就等同于最小化一个负的log似然函数：

其中，W为转换系数矩阵，M为点集Y中特征点的总个数，g_m(x_n)为在x_n处的正态分布函数值。

该式(2)中由于包含隐变量m，无法直接计算梯度。故可用EM算法最小化负的log似然函数的期望：

其中，P^old(m|x_n)表示使用来自最后一次迭代的参数计算的后验概率项。扩展此等式并省略派生冗余项后，该等式可以重写为：

其中，τ(y_m,W)指y_m的相对应的变换位置。

b)非线性变换公式定义为：

Z＝Y+GW (5)

其中,G是由高斯径向基函数(GRBF)生成的矩阵。

其中β为高斯径向基方差，x_j为点集X中的第j个点，为点集Y中的第i个点。

加一个基于运动相干理论(MCT)的正则化项得到其中tr(·)表示跟踪操作，λ为常数2，Q_r为最终得到的似然函数。

c)用EM算法迭代地计算期望并最小化梯度，直到收敛。

①E步：用上一轮迭代的参数计算后验概率矩阵P_O：

②M步：更新参数：

其中，P_d＝diag(P1)，P1是列向量，元素全为1。

d)用薄板样条插值法计算变换图像I_Z。

205：参数设定：

在特征点预匹配阶段，阈值θ₀由最可靠的128对特征点自动确定。同样的，由最可靠的64对特征点确定；

在内点选择阶段，步长由确定。置信参数ε设为0.5。在参考图像与移动图像几何结构信息的径向方向采用5个单位，切线方向采用10个单位。

在特征点集配准阶段，高斯径向基方差β设为2。

将参考图像与移动图像在进行特征点提取前统一调整为224×224大小；外点平衡权重ω初始化为0.5；λ初始化为2；转换系数矩阵W初始化为全零矩阵。

方差σ²由初始化得到。

综上所述，本发明实施例通过上述步骤201-步骤205即使在图片有较大差异的情况下也能够提取足够多的特征点，在特征点匹配时通过动态内点选择，动态地逐步增加内点，提高了配准准确率。

实施例3

下面结合具体的实例、计算公式对实施例1和2中的方案进行进一步地介绍，详见下文描述：

301：提取特征点：

利用VGG-16卷积网络在参考图像I_X上提取特征点生成参考特征点集X，在移动图像I_Y上提取特征点生成移动特征点集Y，结合附图1对网络搭建做进一步说明；

1)将参考图像I_X、移动图像I_Y统一为224×224大小，来获得合适大小的感受野并减小计算量。

2)VGG-16卷积网络包含5部分卷积计算，利用28×28的网格去分割参考图像I_X、移动图像I_Y。在池化层pool3层的输出得到256d的特征图，在每个8×8的区域上生成一个特征描述子，每个图像块的中心被视为一个特征点。

a)池化层pool3层的输出直接形成pool3层的特征图F₁，大小为28×28×256。

b)池化层pool4层的输出为14×14×512，与池化层pool3层略有不同的是在每16×16的区域上生成一个特征描述子，被4个特征点共享。

其中，池化层pool4层的特征图F₂由克罗内克积(用表示)获得：其中，O_pool4表示pool4层的输出，I_2×2×1表示一个2×2的矩阵，元素均为1。

c)pool5_1层的输出为7×7×512，每个pool5_1层的特征描述子被16个特征点共享：

d)获得F₁,F₂,F₃之后，将其归一化：

其中，σ(·)表示计算矩阵中元素的标准差。

e)pool3，pool4以及pool5_1三层的特征描述子分别用D₁(x)，D₂(x)，D₃(x)表示。

302：特征预匹配；

定义特征点x和y的距离矩阵为三个距离的加权和：

其中，每个距离均为对应的特征描述子的欧式距离：

d_i(x,y)＝Euclidean-distance(D_i(x),D_i(y)) (14)

当满足实施例2中的二个条件时，认为特征点x与特征点y是匹配点。

303：动态内点选择；

内点选择产生一个M×N大小的先验概率矩阵P_R此矩阵接下来由基于高斯混合模型的变换求解器获得。假设x_n和y_m是匹配点，则会得到一个较大的元素P_R[m,n]。该大概率值将会导致y_m的显著变化，进而促进得到正确的匹配点对。

概率P_R[m,n]由两个方面的信息决定，一是卷积特征，二是几何结构信息。先验概率矩阵由以下方法获得：

1)计算M×N的卷积特征损失矩阵：

其中，condition1表示x_n和y_m是低于阈值θ的一对有效的匹配点，是所有满足阈值θ的特征点对的距离的最大值。

2)计算几何结构损失矩阵：

这是一个基于直方图的描述符，它包含一个点的邻域结构。描述符将引导点放在极坐标系的中心，并记录落在弧形域中的点数。

其中，分别指落在y_m，x_n周围弧形域中的点的个数。

3)利用哈达马积计算联合损失矩阵：

4)采用Jonker-Volgenant算法在联合损失矩阵C上解决线性配准问题。匹配到的点对被视为是概率相关的。最后计算先验概率矩阵：

其中，ε为超参，其值0＜ε＜1，另外先验概率矩阵需要归一化：

步长值

具体实现时，主要的处理流程与参数设定与实施例2相同，本发明实施例对此不做赘述。

综上所述，本发明实施例通过上述步骤301-步骤303在特征点匹配时通过动态内点选择，动态地逐步增加内点，提高了配准准确率。

实施例4

下面结合图3对实施例1-3中的方案进行可行性验证，详见下文描述：

401：数据集：采用公开数据集多时相卫星图像数据集。数据集包含15对图像，图像大小为600×400到1566×874不等。图像表面多有较大的形变，以及较小范围的旋转和视角的变化。

402：参数设定：如实施例2的205部分；

403：配准图像：输入参考图像与移动图像，加载搭建好的网络，输出原参考图像与配准完成后的图像。

404：评价指标：计算均方根误差(RMSD)，RMSD定义为：

其中，y_t分别为观测值与真实值，n为总的观察次数。RMSD值越小代表配准的结果越好，最终计算出的RMSD为12.63，验证了本方法的可行性。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的图像配准方法，其特征在于，所述方法包括以下步骤：

利用VGG-16卷积网络对参考图像、移动图像分别提取特征点，以此生成参考特征点集以及移动特征点集；

当特征点的距离矩阵同时满足第一、第二约束条件时，执行预匹配操作，即所述参考特征点集中的特征点x、与所述移动特征点集中的特征点y是匹配点；

设置某一阈值，结合迭代对预匹配后的特征点进行动态的内点选择，筛选出最终的特征点，并获取先验概率矩阵；

根据先验概率矩阵、EM算法寻找最优参数，实现图像配准。

2.根据权利要求1所述的一种基于卷积神经网络的图像配准方法，其特征在于，所述特征点的距离矩阵具体为：三个距离的加权和，即：

其中，每个距离均为对应的特征描述子的欧式距离：

d_i(x,y)＝Euclidean-distance(D_i(x),D_i(y))

式中，Euclidean-distance为欧式距离；D_i(x)为特征点x的特征描述子；D_i(y)为特征点y的特征描述子。

3.根据权利要求2所述的一种基于卷积神经网络的图像配准方法，其特征在于，

第一约束条件：距离矩阵d(x,y)是所有d(·,y)里面的最小值，d(·,y)表示对于某一特征点y，参考特征点集X中的每一个特征x与特征点y之间的距离；

第二约束条件：不存在d(z,y)，使得d(z,y)＜θ·d(x,y)，d(z,y)表示特征点z与特征点y之间的距离，θ为匹配阈值，z即移动特征点集Y通过变换后得到的对应点集中的点。

4.根据权利要求3所述的一种基于卷积神经网络的图像配准方法，其特征在于，所述设置某一阈值，结合迭代对预匹配后的特征点进行动态的内点选择具体为：

初始化时，设置一个较大的阈值使得较多的特征点都能满足内点条件，保留下来，然后较大的阈值减去一个步长δ，作为更新后的阈值，对第一次迭代后的特征点进行进一步地筛选，依次类推。

5.根据权利要求1所述的一种基于卷积神经网络的图像配准方法，其特征在于，所述根据先验概率矩阵、EM算法寻找最优参数具体包括：

将移动特征点集Y视为高斯混合模型的质心；省略派生冗余项，获取用EM算法最小化负的log似然函数的期望表达式；

基于高斯径向基函数生成的矩阵、运动相干理论的正则化项得到似然函数；

用EM算法迭代地计算期望并最小化梯度，直到收敛，用薄板样条插值法计算变换图像。

6.根据权利要求5所述的一种基于卷积神经网络的图像配准方法，其特征在于，所述负的log似然函数的期望表达式具体为：

其中，τ(y_m,W)指y_m的相对应的变换位置，σ²为标准方差，y_m指向移动特征点集Y的索引m处，即点集Y的第m个特征点；ω为加权参数；N为点集X中特征点的总个数；M为点集Y中特征点的总个数；P^old(m|x_n)表示使用最后一次迭代的参数计算的后验概率项；x_n指向参考特征点集X的索引n处。

7.根据权利要求6所述的一种基于卷积神经网络的图像配准方法，其特征在于，所述似然函数具体为：

其中，tr(·)表示跟踪操作，λ为常数，W为转换系数矩阵，G为基于高斯径向基函数生成的矩阵，Q为似然函数的期望。

8.根据权利要求1所述的一种基于卷积神经网络的图像配准方法，其特征在于，所述获取先验概率矩阵具体为：

计算M×N的卷积特征损失矩阵、计算几何结构损失矩阵、利用哈达马积计算联合损失矩阵；

采用Jonker-Volgenant算法在联合损失矩阵C上解决线性配准问题，匹配到的点对被视为是概率相关的，计算先验概率矩阵，并进行归一化处理。

9.根据权利要求8所述的一种基于卷积神经网络的图像配准方法，其特征在于，

所述卷积特征损失矩阵具体为：

其中，condition1表示x_n和y_m是低于阈值θ的一对有效的匹配点，是所有满足阈值θ的特征点对的距离的最大值；d(y_m，x_n)为特征点之间的距离矩阵；

所述几何结构损失矩阵具体为：

其中，分别指落在y_m，x_n周围弧形域中的点的个数，B为邻域设置的最大值。

10.根据权利要求8所述的一种基于卷积神经网络的图像配准方法，其特征在于，所述先验概率矩阵具体为：

其中，ε为超参，其值0＜ε＜1。