CN111833237B - 基于卷积神经网络和局部单应性变换的图像配准方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络和局部单应性变换的图像配准方法，其自动生成大量的有效样本及其对应的标签，用以训练图像配准所需的局部单应性矩阵估计模型，所生成的有效样本的配准精度高且具有很好的多样性，可以较好地模拟出实际的图像配准情形，从而提高了训练出的模型的性能；在此基础上，构建基于卷积神经网络的图像配准的局部单应性矩阵估计模型，进而实现图像配准；优点是具有配准精度高、鲁棒性好、配准速度快等特点。

Description

基于卷积神经网络和局部单应性变换的图像配准方法

技术领域

本发明涉及一种图像配准技术，尤其是涉及一种基于卷积神经网络和局部单应性变换的图像配准方法。

背景技术

图像配准是将不同的两幅或多幅图像进行图像匹配和图像变换的过程，其在全景图像拼接、高动态范围图像成像、同步定位与建图等领域有着广泛的应用。

传统的图像配准方法主要有基于像素的方法和基于特征的方法。在基于像素的图像配准方法中，主要利用图像中的像素点的像素值直接估计图像之间的变换关系，首先，初始化图像之间的单应性矩阵；然后，利用单应性矩阵对每幅图像进行图像变换，并计算变换后的图像中的像素点的像素值误差；最后，使用优化技术最小化误差函数实现图像配准。基于像素的图像配准方法通常速度较慢，对低纹理场景的图像具有较好的效果，但对尺度、亮度变化、旋转的图像的鲁棒性较差。在基于特征的图像配准方法中，一般先提取图像的特征点(如SIFT(Scale-invariant feature transform，尺度不变特征变换)、ORB(OrientedFast and Rotated BRIEF)等)，再采用特征匹配方法建立两幅图像的特征点之间的对应关系，并使用如RANSAC方法等找到最佳的单应性矩阵。基于特征的图像配准方法一般比基于像素的图像配准方法的效果更好且速度更快，但是，基于特征的图像配准方法要求图像之间必须有足够数量的匹配点，并且要求匹配点的精度较高，且匹配点位置分布较均匀，否则该方法的配准精度会大幅度降低；基于特征的图像配准方法一般对尺度、亮度变化、旋转的图像具有良好的鲁棒性，但是该方法不适合低纹理场景的图像。

在图像配准中，需要计算目标图像和参考图像之间的单应性矩阵，利用单应性矩阵将目标图像进行变换，实现目标图像和参考图像在空间坐标上的对齐，这一变换过程称为图像映射或图像变换。按照单应性矩阵的作用区域，图像变换分为全局单应性变换和局部单应性变换两种变换方法。全局单应性变换对整幅图像采用同一单应性矩阵进行变换处理，要求目标图像和参考图像在重叠区域所包含的图像信息基本相同，只适合配准视差很小或没有视差的图像，当不满足这个条件时会导致图像配准精度显著降低。局部单应性变换则对图像的不同区域采用不同单应性矩阵进行映射，可以较好地克服全局单应性变换存在的缺陷。

单应性矩阵估计是图像配准的关键环节。随着深度学习技术的快速发展，深度学习也被应用于图像配准，其基本思想是通过学习得到一个可用于图像配准的单应性矩阵估计模型，从而可以利用估计得到的待匹配图像对的单应性矩阵实现待匹配图像对的图像配准。这类方法对亮度变化、尺度、旋转以及纹理的强弱变化等有更好的鲁棒性。然而，在有监督学习的图像配准方法中，需要先进行样本标注，而人工标注样本的成本高，且通常难以保证标注的精度，而且人工标注的方法难以收集到足够丰富多样的样本图像。因此自动生成标注精度高且足够丰富多样的适用于图像配准的单应性矩阵估计模型训练的样本图像和标签尤为重要，尤其是适用于局部单应性矩阵估计模型训练的样本图像和标签的生成。

发明内容

本发明所要解决的技术问题是提供一种基于卷积神经网络和局部单应性变换的图像配准方法，其在自动生成适用于图像配准中局部单应性矩阵估计模型训练的样本图像和标签的基础上，构建基于卷积神经网络的局部单应性矩阵估计模型，进而实现图像配准，且配准精度高、鲁棒性好、配准速度快。

本发明解决上述技术问题所采用的技术方案为：一种基于卷积神经网络和局部单应性变换的图像配准方法，其特征在于包括以下步骤：

步骤1：选取多幅图像用于样本生成，将每幅图像作为目标图像，将所有目标图像构成目标图像集；其中，每幅目标图像的宽度和高度均大于128；

步骤2：将目标图像集中当前待处理的目标图像定义为当前目标图像；

步骤3：将当前目标图像记为S_A；然后在图像像素坐标系中将S_A的左上角、右上角、左下角、右下角这四个角点分别记为P₁、P₂、P₃、P₄；接着对P₁、P₂、P₃、P₄各自的横坐标分量分别加上一个随机扰动值，同时对P₁、P₂、P₃、P₄各自的纵坐标分量也分别加上一个随机扰动值，得到P₁、P₂、P₃、P₄各自对应的扰动点，对应记为P′₁、P′₂、P′₃、P′₄；再将P₁的坐标与P′₁的坐标构成坐标对，将P₂的坐标与P′₂的坐标构成坐标对，将P₃的坐标与P′₃的坐标构成坐标对，将P₄的坐标与P′₄的坐标构成坐标对；最后根据S_A的这四对坐标对，采用直接线性变换方法计算相应的全局单应性矩阵，记为

其中，针对S_A的角点的横坐标分量添加的随机扰动值的取值范围为[-ρ_x,ρ_x]，针对S_A的角点的纵坐标分量添加的随机扰动值的取值范围为[-ρ_y,ρ_y]，ρ_x和ρ_y均为正整数，-ρ_x为[-ρ_x,ρ_x]的下限，ρ_x为[-ρ_x,ρ_x]的上限，-ρ_y为[-ρ_y,ρ_y]的下限，ρ_y为[-ρ_y,ρ_y]的上限，[-ρ_x,ρ_x]中的x代表横坐标分量，[-ρ_y,ρ_y]中的y代表纵坐标分量；

步骤4：在S_A中随机选取一个点，记为p_A；然后以p_A作为左上角点在S_A中裁剪出一个尺寸为128×128的图像块，记为S′_A；接着对S′_A进行均匀网格划分，共划分出

个尺寸为a×a的网格块，a∈{4,8,16,32,64}；再将S′_A中的所有网格块的角点构成的集合记为G_A，G_A中包含有M×N个角点，/>

步骤5：利用全局单应性矩阵

对G_A中的每个角点进行全局单应性变换，得到G_A中的每个角点对应的第一变换点；然后将G_A中的所有角点各自对应的第一变换点构成的集合记为G′_A；

步骤6：对G′_A中的每个第一变换点的横坐标分量和纵坐标分量分别添加一个随机扰动值，得到G′_A中的每个第一变换点对应的扰动点；然后将G′_A中的所有第一变换点对应的扰动点构成的集合记为

其中，针对第一变换点的横坐标分量添加的随机扰动值的取值范围为[-ρ′_x,ρ′_x]，针对第一变换点的纵坐标分量添加的随机扰动值的取值范围为[-ρ′_y,ρ′_y]，-ρ′_x为[-ρ′_x,ρ′_x]的下限，ρ′_x为[-ρ′_x,ρ′_x]的上限，-ρ′_y为[-ρ′_y,ρ′_y]的下限，ρ′_y为[-ρ′_y,ρ′_y]的上限，/>

ρ′_x和ρ′_y均为正整数；

步骤7：将G_A中的每个角点的坐标与

中对应的扰动点的坐标构成坐标对，共得到M×N对坐标对；然后根据这M×N对坐标对，采用直接线性变换方法计算相应的全局单应性矩阵，记为/>

步骤8：利用全局单应性矩阵

对G_A中的每个角点进行全局单应性变换，得到G_A中的每个角点对应的第二变换点；然后将G_A中的所有角点各自对应的第二变换点构成的集合记为G″_A；

步骤9：计算

中的所有扰动点的横坐标分量与G″_A中的所有第二变换点的横坐标分量之间的均方根误差，记为x_rmse；并计算/>

中的所有扰动点的纵坐标分量与G″_A中的所有第二变换点的纵坐标分量之间的均方根误差，记为y_rmse；然后根据x_rmse和y_rmse，对S_A进行均匀网格划分，共划分为row×col个尺寸相同的互不重叠的网格块；其中，

int()表示向下取整函数，min()为取最小值函数，h_A表示S_A的高度，w_A表示S_A的宽度，h_min表示对S_A进行均匀网格划分时的网格块的最小高度，w_min表示对S_A进行均匀网格划分时的网格块的最小宽度；

步骤10：采用移动直接线性变换方法逐一计算S_A的row×col个网格块中的每个网格块对应的局部单应性矩阵，将S_A中的第j个网格块对应的局部单应性矩阵记为

然后将S_A中的所有网格块对应的局部单应性矩阵构成的集合记为/>

再利用/>

对S_A进行局部单应性变换，将S_A变换成一幅新的图像，记为S_B，并且利用/>

计算出G_A中的所有角点在S_B上的对应点的坐标，将利用/>

计算出的G_A中的所有角点在S_B上的对应点构成的集合记为G_B；

步骤11：在S_B上裁剪出一个与S_A中裁剪出的图像块S′_A具有相同坐标和相同尺寸的图像块，记为S′_B；然后将S′_A和S′_B构成用于训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型的一对候选样本；将G_B中的所有点的坐标与G_A中的对应角点的坐标之间的差值的集合构成用于训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型的候选样本的标签，记为H^*；

步骤12：按S′_A在S_A中的坐标位置获取S′_A在S_A上的二值掩模图像，记为M_A；然后利用

对M_A进行局部单应性变换，得到S′_A在S_B上对应的二值掩模图像，记为M′_A；同样，按S′_B在S_B中的坐标位置获取S′_B在S_B上的二值掩模图像，记为M_B；接着对M′_A和M_B进行交集运算得到一幅新的二值图像，记为M_AB；再统计M_AB中像素值为1的像素点的个数，记为Num_AB；最后计算M′_A和M_B的重叠度，记为/>

若/>

小于阈值/>

则认定候选样本S′_A和S′_B为无效样本并予以丢弃，否则，认定候选样本S′_A和S′_B为有效样本并予以保留；其中，Num_B表示M_B中像素值为1的像素点的个数；

步骤13：将目标图像集中的下一幅目标图像作为当前目标图像，然后返回步骤3继续执行，直至目标图像集中的所有目标图像处理完毕；

步骤14：将从目标图像集中得到的所有有效样本及其对应的标签构成初始训练集；然后采用图像增广技术对初始训练集中的有效样本中的样本图像进行图像增广，即随机选择初始训练集中的有效样本中的样本图像随机改变其颜色和亮度，并且对样本图像进行随机的伽马变换，得到最终训练集；再利用最终训练集中的所有有效样本及其对应的标签训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型，训练时的损失函数采用

其中，1≤i≤K，K表示H^*中的所有值对应的匹配点对的总数，K＝M×N，符号“|| ||₂”代表第2范数，τ_i表示H^*中的第i个值对应的匹配点对的标签值，/>

表示H^*中的第i个值对应的匹配点对所对应的卷积神经网络的输出值；

步骤15：将待配准的两幅图像作为步骤14训练得到的基于卷积神经网络的图像配准的局部单应性矩阵估计模型的输入，计算得到相应的局部单应性矩阵，并基于该局部单应性矩阵实现这两幅图像的配准。

与现有技术相比，本发明的优点在于：针对基于深度学习的图像配准中用于模型训练的样本和标签生成中人工标注样本成本高、精度低且难以收集到足够丰富多样的样本图像的问题，提出了自动生成大量有效样本及其对应的标签的方法，所生成的有效样本的配准精度高且具有很好的多样性，可以较好地模拟出实际的图像配准情形，从而提高了训练出的模型的性能，而且本发明方法所生成的有效样本及其对应的标签适用于局部单应性矩阵估计模型的训练，与全局单应性矩阵估计模型相比能实现更高精度的图像配准。因此，本发明方法具有图像配准精度高、鲁棒性好、配准速度快等特点。

附图说明

图1为本发明方法的总体实现框图；

图2为本发明方法步骤3所生成的四对对应点示意图；

图3为在图2所示图像上采用本发明方法步骤4生成的具有M×N个角点的均匀网格示意图；

图4为本发明方法步骤5所生成的M×N个第一变换点构成的集合G′_A的示意图；

图5为对图4所示的所有第一变换点添加随机扰动值后得到的对应扰动点的示意图；

图6为本发明方法步骤9的自适应大小的均匀网格划分示意图；

图7为由图3所示的S_A利用

进行局部单应性变换所生成的新图像S_B；

图8为本发明方法步骤11生成的一对候选样本示意图；

图9为本发明方法步骤12的候选样本重叠度计算的示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于卷积神经网络和局部单应性变换的图像配准方法，其总体实现框图如图1所示，其包括以下步骤：

步骤1：选取多幅图像用于样本生成，将每幅图像作为目标图像，将所有目标图像构成目标图像集；其中，每幅目标图像的宽度和高度均大于128，在本实施例中每幅目标图像的宽度为320且高度为240，即图像尺寸为320×240。

步骤2：将目标图像集中当前待处理的目标图像定义为当前目标图像。

步骤3：将当前目标图像记为S_A；然后在图像像素坐标系中将S_A的左上角、右上角、左下角、右下角这四个角点分别记为P₁、P₂、P₃、P₄；接着对P₁、P₂、P₃、P₄各自的横坐标分量分别加上一个随机扰动值，同时对P₁、P₂、P₃、P₄各自的纵坐标分量也分别加上一个随机扰动值，得到P₁、P₂、P₃、P₄各自对应的扰动点，对应记为P′₁、P′₂、P′₃、P′₄；再将P₁的坐标与P′₁的坐标构成坐标对，将P₂的坐标与P′₂的坐标构成坐标对，将P₃的坐标与P′₃的坐标构成坐标对，将P₄的坐标与P′₄的坐标构成坐标对；最后根据S_A的这四对坐标对，采用图像配准中公知的直接线性变换(Direct linear transformation，DLT)方法计算相应的全局单应性矩阵，记为

其中，针对S_A的角点的横坐标分量添加的随机扰动值的取值范围为[-ρ_x,ρ_x]，针对S_A的角点的纵坐标分量添加的随机扰动值的取值范围为[-ρ_y,ρ_y]，ρ_x和ρ_y均为正整数，ρ_x和ρ_y分别不得超过目标图像的宽度和高度的1/2，一般取目标图像的宽度或高度的1/3～1/10，均可以保证生成的样本具有较好的丰富性和视觉效果，在本实施例中ρ_x和ρ_y的取值为45，-ρ_x为[-ρ_x,ρ_x]的下限，ρ_x为[-ρ_x,ρ_x]的上限，-ρ_y为[-ρ_y,ρ_y]的下限，ρ_y为[-ρ_y,ρ_y]的上限，[-ρ_x,ρ_x]中的x代表横坐标分量，[-ρ_y,ρ_y]中的y代表纵坐标分量。

图2给出了一幅目标图像的四个角点P₁、P₂、P₃、P₄及各自对应的扰动点P′₁、P′₂、P′₃、P′₄的位置示意图。

步骤4：在S_A中随机选取一个点，记为p_A；然后以p_A作为左上角点在S_A中裁剪出一个尺寸为128×128的图像块，记为S′_A，这里点p_A位置的选取需保证所裁剪出的尺寸为128×128的图像块完整包含于S_A之中；接着对S′_A进行均匀网格划分，共划分出

个尺寸为a×a的网格块，a∈{4,8,16,32,64}，即网格块的尺寸可为4×4或8×8或16×16或32×32或64×64，在本实施例中取a的值为32；再将S′_A中的所有网格块的角点构成的集合记为G_A，G_A中包含有M×N个角点，/>

图3为在图2所示的目标图像中随机选取一点作为左上角点所裁剪出的尺寸为128×128的图像块经均匀网格划分后得到的所有网格块及所有网格块的角点的示意图，其中M＝N＝5。

步骤5：利用全局单应性矩阵

对G_A中的每个角点进行全局单应性变换，得到G_A中的每个角点对应的第一变换点；然后将G_A中的所有角点各自对应的第一变换点构成的集合记为G′_A。

图4为对图3所示的所有网格块的角点利用

进行全局单应性变换后得到的对应的第一变换点的位置示意图。

步骤6：对G′_A中的每个第一变换点的横坐标分量和纵坐标分量分别添加一个随机扰动值，得到G′_A中的每个第一变换点对应的扰动点；然后将G′_A中的所有第一变换点对应的扰动点构成的集合记为

其中，针对第一变换点的横坐标分量添加的随机扰动值的取值范围为[-ρ′_x,ρ′_x]，针对第一变换点的纵坐标分量添加的随机扰动值的取值范围为[-ρ′_y,ρ′_y]，-ρ′_x为[-ρ′_x,ρ′_x]的下限，ρ′_x为[-ρ′_x,ρ′_x]的上限，-ρ′_y为[-ρ′_y,ρ′_y]的下限，ρ′_y为-ρ′_y,ρ′_y的上限，/>

ρ′_x和ρ′_y均为正整数；在本实施例中ρ′_x和ρ′_y的取值为11。

图5为图4所示的所有第一变换点添加随机扰动值后对应的扰动点及相应的网格的示意图。

步骤7：将G_A中的每个角点的坐标与

中对应的扰动点的坐标构成坐标对，共得到M×N对坐标对；然后根据这M×N对坐标对，采用图像配准中公知的直接线性变换方法计算相应的全局单应性矩阵，记为/>

步骤8：利用全局单应性矩阵

对G_A中的每个角点进行全局单应性变换，得到G_A中的每个角点对应的第二变换点；然后将G_A中的所有角点各自对应的第二变换点构成的集合记为G″_A。

步骤9：计算

中的所有扰动点的横坐标分量与G″_A中的所有第二变换点的横坐标分量之间的均方根误差，记为x_rmse；并计算/>

中的所有扰动点的纵坐标分量与G″_A中的所有第二变换点的纵坐标分量之间的均方根误差，记为y_rmse，均方根误差的计算采用现有技术，当均方根误差大的时候说明目标图像的局部性较强，应该将S_A的网格块划分得较小，以提高局部效果；反之，若均方根误差较小，说明目标图像的全局性较好，可以将S_A的网格块划分得较大，以提升样本的生成速度；然后根据x_rmse和y_rmse，对S_A进行均匀网格划分，共划分为row×col个尺寸相同的互不重叠的网格块；其中，

int()表示向下取整函数，min()为取最小值函数，h_A表示S_A的高度，w_A表示S_A的宽度，在本实施例中h_A＝240、w_A＝320，h_min表示对S_A进行均匀网格划分时的网格块的最小高度，w_min表示对S_A进行均匀网格划分时的网格块的最小宽度，在本实施例中h_min＝w_min＝5，w_min和h_min不能太小，否则会造成目标图像的网格块过多，影响样本生成速度，但w_min和h_min也不能过大，否则会造成目标图像的网格块过少，使变换后的图像产生不自然的块效应。

图6给出了图2所示的目标图像经自适应大小的均匀网格划分后得到的网格块的示意图。

步骤10：采用图像配准中公知的移动直接线性变换(Moving direct lineartransformation，MDLT)方法逐一计算S_A的row×col个网格块中的每个网格块对应的局部单应性矩阵，将S_A中的第j个网格块对应的局部单应性矩阵记为

然后将S_A中的所有网格块对应的局部单应性矩阵构成的集合记为/>

再利用

对S_A进行局部单应性变换，将S_A变换成一幅新的图像，记为S_B，并且利用/>

计算出G_A中的所有角点在S_B上的对应点的坐标，将利用/>

计算出的G_A中的所有角点在S_B上的对应点构成的集合记为G_B。

图7给出了由图3所示的目标图像S_A利用

进行局部单应性变换所生成的新的图像S_B，图7也标识了对图3中的G_A中的M×N个角点进行局部单应性变换所生成的对应点构成的集合G_B及相应的网格。

步骤11：在S_B上裁剪出一个与S_A中裁剪出的图像块S′_A具有相同坐标和相同尺寸的图像块，记为S′_B；然后将S′_A和S′_B构成用于训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型的一对候选样本；将G_B中的所有点的坐标与G_A中的对应角点的坐标之间的差值的集合构成用于训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型的候选样本的标签，记为H^*。

图8所示即为从图3和图7中分别裁剪出的一对作为候选样本的图像块S′_A和S′_B。

步骤12：按S′_A在S_A中的坐标位置获取S′_A在S_A上的二值掩模图像，记为M_A；然后利用

对M_A进行局部单应性变换，得到S′_A在S_B上对应的二值掩模图像，记为M′_A；同样，按S′_B在S_B中的坐标位置获取S′_B在S_B上的二值掩模图像，记为M_B；接着对M′_A和M_B进行交集运算得到一幅新的二值图像，记为M_AB；再统计M_AB中像素值为1的像素点的个数，记为Num_AB；最后计算M′_A和M_B的重叠度，记为/>

若/>

小于阈值/>

则认定候选样本S′_A和S′_B为无效样本并予以丢弃，否则，认定候选样本S′_A和S′_B为有效样本并予以保留；其中，在二值掩模图像中数值1表示样本区域，数值0表示非样本区域，Num_B表示M_B中像素值为1的像素点的个数，本实施例中的阈值/>

取值为0.3。

图9给出了重叠度的计算方法示意图。之所以进行候选样本的筛选，是因为实际在生成图像S_B的过程中可能会因为

的极端分布情况而导致生成的M′_A和M_B的重叠度过低，无法进行准确的图像配准，因此这种极端样本属于无效样本，应该予以剔除。

步骤13：将目标图像集中的下一幅目标图像作为当前目标图像，然后返回步骤3继续执行，直至目标图像集中的所有目标图像处理完毕。

步骤14：将从目标图像集中得到的所有有效样本及其对应的标签构成初始训练集；然后采用图像增广技术对初始训练集中的有效样本中的样本图像进行图像增广，即随机选择初始训练集中的有效样本中的样本图像随机改变其颜色和亮度，并且对样本图像进行随机的伽马变换，得到最终训练集；再利用最终训练集中的所有有效样本及其对应的标签训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型，训练时的损失函数采用

其中，1≤i≤K，K表示H^*中的所有值对应的匹配点对的总数，K＝M×N，在本实施例中K＝25，符号“||||₂”代表第2范数，τ_i表示H^*中的第i个值对应的匹配点对的标签值，/>

表示H^*中的第i个值对应的匹配点对所对应的卷积神经网络的输出值。

本发明可以采用通用的卷积神经网络模型，如Googlenet、VGG等，本实施例则采用了Xception卷积神经网络模型来构建基于卷积神经网络的图像配准的局部单应性矩阵估计模型，该模型训练构建完成之后，即可以用来估计任意的待配准的两幅图像也即目标图像和参考图像之间的局部单应性矩阵，进而实现这两幅图像的配准。

步骤15：将待配准的两幅图像作为步骤14训练得到的基于卷积神经网络的图像配准的局部单应性矩阵估计模型的输入，计算得到相应的局部单应性矩阵，并基于该局部单应性矩阵实现这两幅图像的配准。

为了验证本发明方法的有效性，本实施例中，比较了采用Xception卷积神经网络的本发明方法与SIFT(Scale-Invariant Feature Transform)、ORB(Oriented FAST andRotated BRIEF)、ECC(Error Checking and Correction)、APAP(As-Projective-As-Possible)这四种图像配准方法的性能，比较的性能指标包括图像配准的精度和运行时间。所采用的硬件平台为一台台式计算机，其CPU为Intel i7-6700，内存32GB，操作系统为Ubuntu 16.04LTS，使用一块型号为NVIDIA GTX 1080Ti的GPU(Graphics ProcessingUnit)显卡。SIFT、ORB、ECC三种图像配准方法使用Python OpenCV实现，SIFT图像配准方法和ORB图像配准方法中的RANSAC阈值为5，ECC图像配准方法的最大迭代次数为1000次。

本实施例所使用的目标图像集中的目标图像来自MS-COCO2014和MS-COCO2017数据集。先将这两个数据集中的每幅图像由640×480尺寸统一缩小到320×240，然后利用本发明方法的步骤1到步骤13生成相应的尺寸为128×128的样本图像和相应的标签。为了增加所训练的局部单应性矩阵估计模型的鲁棒性，同时减少过拟合的可能，对由本发明方法所生成的初始训练集中的有效样本中的样本图像还使用了图像增广技术，具体方法是在一定范围内随机改变样本图像的颜色和亮度，并且在一定范围内对样本图像进行随机的伽马变换。利用上述方法共生成50万对有效样本及其对应的标签作为最终训练集；另采用同样的方法生成了10000对有效样本及其对应的标签作为验证集，5000对有效样本及其对应的标签作为测试集，以此来验证本发明方法的性能。在使用Xception卷积神经网络进行训练和测试时，使用的优化方法为Adam，其中，批量大小为128，初始学习率为0.0005；为了防止过拟合，在卷积神经网络的输出层之前加入了Dropout。在模型训练的过程中，观测验证集的测试误差，当验证集的测试误差不再减小时停止训练，以防止发生欠拟合或者过拟合。

在本实施例中，采用配准点坐标的均方根误差RMSE来衡量图像配准精度，定义为

式中，f代表不同的图像配准方法，z_i表示G_A中的第i个角点的坐标值，z'_i表示G_A中的第i个角点在S_B中的对应点的坐标值，f(z_i)表示z_i经过图像配准方法f变换后的点的坐标值，f(z_i)是z'_i的估计值，K为匹配点对的总数，本实施例中K为25。表1给出了几种不同的图像配准方法在本实施例生成的测试集上的RMSE(f)。从表1中可知，采用Xception卷积神经网络的本发明方法的RMSE明显低于其它四种图像配准方法，表明本发明方法能够获得更高的图像配准精度。由于本实施例中的测试集也采用了图像增广技术进行处理，随机改变了图像的亮度、颜色等，因此表1的结果也说明本发明方法具有较好的鲁棒性。

表1几种图像配准方法的RMSE比较

表2给出了几种图像配准方法的运行时间比较，其中APAP图像配准方法和本发明方法为采用局部单应性变换的方法，其余三种方法为采用全局单应性变换的方法。与同为局部单应性变换方法的APAP图像配准方法相比，无论是否使用GPU，本发明方法的运行速度均快于APAP图像配准方法，而使用GPU后，本发明方法的速度与基于特征的全局单应性变换方法SIFT和ORB图像配准方法相当。

表2几种图像配准方法的运行时间比较

由此可见，本发明的基于卷积神经网络和局部单应性变换的图像配准方法具有精度高、鲁棒性好、配准速度快等特点。

Claims (1)

1.一种基于卷积神经网络和局部单应性变换的图像配准方法，其特征在于包括以下步骤：

步骤1：选取多幅图像用于样本生成，将每幅图像作为目标图像，将所有目标图像构成目标图像集；其中，每幅目标图像的宽度和高度均大于128；

步骤2：将目标图像集中当前待处理的目标图像定义为当前目标图像；

步骤3：将当前目标图像记为S_A；然后在图像像素坐标系中将S_A的左上角、右上角、左下角、右下角这四个角点分别记为P₁、P₂、P₃、P₄；接着对P₁、P₂、P₃、P₄各自的横坐标分量分别加上一个随机扰动值，同时对P₁、P₂、P₃、P₄各自的纵坐标分量也分别加上一个随机扰动值，得到P₁、P₂、P₃、P₄各自对应的扰动点，对应记为P₁′、P₂′、P₃′、P₄′；再将P₁的坐标与P₁′的坐标构成坐标对，将P₂的坐标与P₂′的坐标构成坐标对，将P₃的坐标与P₃′的坐标构成坐标对，将P₄的坐标与P₄′的坐标构成坐标对；最后根据S_A的这四对坐标对，采用直接线性变换方法计算相应的全局单应性矩阵，记为

其中，针对S_A的角点的横坐标分量添加的随机扰动值的取值范围为[-ρ_x,ρ_x]，针对S_A的角点的纵坐标分量添加的随机扰动值的取值范围为[-ρ_y,ρ_y]，ρ_x和ρ_y均为正整数，-ρ_x为[-ρ_x,ρ_x]的下限，ρ_x为[-ρ_x,ρ_x]的上限，-ρ_y为[-ρ_y,ρ_y]的下限，ρ_y为[-ρ_y,ρ_y]的上限，[-ρ_x,ρ_x]中的x代表横坐标分量，[-ρ_y,ρ_y]中的y代表纵坐标分量；

步骤4：在S_A中随机选取一个点，记为p_A；然后以p_A作为左上角点在S_A中裁剪出一个尺寸为128×128的图像块，记为S′_A；接着对S′_A进行均匀网格划分，共划分出

个尺寸为a×a的网格块，a∈{4,8,16,32,64}；再将S′_A中的所有网格块的角点构成的集合记为G_A，G_A中包含有M×N个角点，/>

步骤5：利用全局单应性矩阵

对G_A中的每个角点进行全局单应性变换，得到G_A中的每个角点对应的第一变换点；然后将G_A中的所有角点各自对应的第一变换点构成的集合记为G′_A；

步骤6：对G′_A中的每个第一变换点的横坐标分量和纵坐标分量分别添加一个随机扰动值，得到G′_A中的每个第一变换点对应的扰动点；然后将G′_A中的所有第一变换点对应的扰动点构成的集合记为

其中，针对第一变换点的横坐标分量添加的随机扰动值的取值范围为[-ρ′_x,ρ′_x]，针对第一变换点的纵坐标分量添加的随机扰动值的取值范围为[-ρ′_y,ρ′_y]，-ρ′_x为[-ρ′_x,ρ′_x]的下限，ρ′_x为[-ρ′_x,ρ′_x]的上限，-ρ′_y为[-ρ′_y,ρ′_y]的下限，ρ′_y为[-ρ′_y,ρ′_y]的上限，/>

ρ′_x和ρ′_y均为正整数；

步骤7：将G_A中的每个角点的坐标与

中对应的扰动点的坐标构成坐标对，共得到M×N对坐标对；然后根据这M×N对坐标对，采用直接线性变换方法计算相应的全局单应性矩阵，记为/>

步骤8：利用全局单应性矩阵

对G_A中的每个角点进行全局单应性变换，得到G_A中的每个角点对应的第二变换点；然后将G_A中的所有角点各自对应的第二变换点构成的集合记为G″_A；

步骤9：计算

中的所有扰动点的横坐标分量与G″_A中的所有第二变换点的横坐标分量之间的均方根误差，记为x_rmse；并计算/>

中的所有扰动点的纵坐标分量与G″_A中的所有第二变换点的纵坐标分量之间的均方根误差，记为y_rmse；然后根据x_rmse和y_rmse，对S_A进行均匀网格划分，共划分为row×col个尺寸相同的互不重叠的网格块；其中，

int()表示向下取整函数，min()为取最小值函数，h_A表示S_A的高度，w_A表示S_A的宽度，h_min表示对S_A进行均匀网格划分时的网格块的最小高度，w_min表示对S_A进行均匀网格划分时的网格块的最小宽度；

步骤10：采用移动直接线性变换方法逐一计算S_A的row×col个网格块中的每个网格块对应的局部单应性矩阵，将S_A中的第j个网格块对应的局部单应性矩阵记为

然后将S_A中的所有网格块对应的局部单应性矩阵构成的集合记为/>

再利用/>

对S_A进行局部单应性变换，将S_A变换成一幅新的图像，记为S_B，并且利用/>

计算出G_A中的所有角点在S_B上的对应点的坐标，将利用/>

计算出的G_A中的所有角点在S_B上的对应点构成的集合记为G_B；

步骤11：在S_B上裁剪出一个与S_A中裁剪出的图像块S′_A具有相同坐标和相同尺寸的图像块，记为S′_B；然后将S′_A和S′_B构成用于训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型的一对候选样本；将G_B中的所有点的坐标与G_A中的对应角点的坐标之间的差值的集合构成用于训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型的候选样本的标签，记为H^*；

步骤12：按S′_A在S_A中的坐标位置获取S′_A在S_A上的二值掩模图像，记为M_A；然后利用

对M_A进行局部单应性变换，得到S′_A在S_B上对应的二值掩模图像，记为M′_A；同样，按S′_B在S_B中的坐标位置获取S′_B在S_B上的二值掩模图像，记为M_B；接着对M′_A和M_B进行交集运算得到一幅新的二值图像，记为M_AB；再统计M_AB中像素值为1的像素点的个数，记为Num_AB；最后计算M′_A和M_B的重叠度，记为/>

若/>

小于阈值/>

则认定候选样本S′_A和S′_B为无效样本并予以丢弃，否则，认定候选样本S′_A和S′_B为有效样本并予以保留；其中，Num_B表示M_B中像素值为1的像素点的个数；

步骤13：将目标图像集中的下一幅目标图像作为当前目标图像，然后返回步骤3继续执行，直至目标图像集中的所有目标图像处理完毕；

步骤14：将从目标图像集中得到的所有有效样本及其对应的标签构成初始训练集；然后采用图像增广技术对初始训练集中的有效样本中的样本图像进行图像增广，即随机选择初始训练集中的有效样本中的样本图像随机改变其颜色和亮度，并且对样本图像进行随机的伽马变换，得到最终训练集；再利用最终训练集中的所有有效样本及其对应的标签训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型，训练时的损失函数采用

其中，1≤i≤K，K表示H^*中的所有值对应的匹配点对的总数，K＝M×N，符号“|| ||₂”代表第2范数，τ_i表示H^*中的第i个值对应的匹配点对的标签值，/>

表示H^*中的第i个值对应的匹配点对所对应的卷积神经网络的输出值；

步骤15：将待配准的两幅图像作为步骤14训练得到的基于卷积神经网络的图像配准的局部单应性矩阵估计模型的输入，计算得到相应的局部单应性矩阵，并基于该局部单应性矩阵实现这两幅图像的配准。

Images