CN106204422A - 基于区块子图搜索的超大幅影像快速匹配拼接方法 - Google Patents

Abstract

本发明公开了一种基于区块子图搜索的超大幅影像快速匹配拼接方法，用来加快匹配速度，提高匹配效率。首先利用GDAL库读取和显示两幅大幅影像，分别命名为A、B；接着将两幅大幅图像按照一定的方式进行分块和裁剪，得到很多子图，以图像B的一个子图作为目标图像，在图像A的子图中搜索出相似性最大的子图，若相似度满足条件，将这一对子图进行特征匹配；若相似度不满足条件，则换图像B中另一幅子图为目标图像，重新在A中搜索，如此循环；若仍找不到满足条件的子图，则将图像重新命名，A、B互换，重新进行上述的分块、搜索过程，找到满足条件的一对子图，进行特征匹配。本发明对于大幅影像可以加快匹配过程、提高配准效率。

Description

基于区块子图搜索的超大幅影像快速匹配拼接方法

技术领域

本发明属于二维影像匹配领域。具体为基于区块子图搜索的超大幅影像快速匹配拼接方法。

背景技术

图像配准拼接技术在计算机视觉、医学图像处理以及材料力学等领域都具有广泛的应用。针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等，有时也需要用到针对不同对象的图像配准拼接问题。传统的图像配准方法包括基于灰度和基于特征两大类。基于灰度的配准算法直接利用图像的灰度信息，衡量图像之间的相似度，然后采取某种搜索策略来确定变换参数，使得相似度最大。虽然这种方法的精度较高，但由于图像中所有的像素点均参与了计算，因此计算量大，效率低，不适用于大幅图像的配准。基于特征的配准算法首先提取图像的特征(如角点、边缘、直线等)形成特征集，然后确定两幅图像特征集中各个特征的对应关系，计算出变换参数，从而实现图像的配准。这类算法仅利用了图像中的显著特征参与计算，减小了计算量，速度较快，因此在遥感图像配准领域获得了广泛应用。但是，对于大幅图像的配准拼接，利用传统的方法对图像整体进行特征提取、匹配等，计算量很大，非常耗时，例如对于大小超过10000×10000pixels的两幅图像之间的配准，通常需要十几分钟甚至几十分钟。

发明内容

本发明的目的是提供一种基于区块子图搜索的超大幅影像快速匹配拼接方法，以解决大幅影像的匹配拼接效率较低、耗时长的问题。

本发明的目的是这样实现的，基于区块子图搜索的超大幅影像快速匹配拼接方法，其特征在于，至少包括如下步骤：

步骤1，利用GDAL库读取和显示两幅大幅影像，像素总数大的图像记为A，像素总数小的图像记为B；

步骤2，确定两幅影像的分块方式，并进行裁剪分块；

步骤3，进行区块的搜索，综合利用图像的颜色特征、纹理特征以及形状特征，计算区块之间的相似性，按顺序搜索出相似度满足条件的一对区块子图；若搜索成功，则进行步骤5的特征匹配；若搜索失败，则进行步骤4，

步骤4，互换两幅影像名称，像素总数大的图像记为B，像素总数小的图像记为A；返回步骤2重新分块；

步骤5，对步骤3得到的一对区块子图进行特征匹配，解算转换参数；

步骤6，图像的融合拼接。

所属步骤2，包括如下步骤：

步骤21，图像A的宽和高记为w_A pixels和h_A pixels，图像B的宽和高记为w_Bpixels和h_B pixels；

步骤22，裁取影像B的四个角上及中间位置各一块宽度为w₀ pixels、高度为h₀pixels的子图，分别记为B1、B2、B3、B4、B5， 五个子图大小相同；

步骤23，令 确定将A等分成m列、n行，共m×n个子图；

步骤24，将图像A分割成m×n块，并根据子图在原图中的行列位置编号命名，如一个子图位于A的第二行第一列则命名为A21，且将子图以编号命名保存为独立的图像。

所述步骤3，包括如下步骤：

步骤31，设置一个变量i，表示第i块子图，初始值设为1；

步骤32，提取Bi的颜色特征、纹理特征、形状特征，i为上述变量；

步骤33，提取图像A各子图的颜色特征、纹理特征、形状特征；

步骤34，计算图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性；

步骤35，对图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性进行加权，并且归一化，计算加权后的综合相似性，即目标图像Bi与A各子图的相似性；

步骤36，找到与Bi最相似的子图，名称为Axy，即图像A的第x行第y列的区块子图，两者相似性大小记为Si，其中，1≤x≤m,1≤y≤n,x和y都是整数，i为上述变量；

步骤37，判断Si是否大于或等于相似性度量阈值T，若是，则搜索成功，进行步骤38；若否，执行步骤39，T的大小设置在0.8～0.9之间；

步骤38，Bi与Axy作为要匹配的两幅图像，执行步骤5；

步骤39，判断i是否等于5；若是，则搜索失败，执行步骤4；若否，执行步骤310；

步骤310，将i的值增加1，返回步骤32。

所述步骤5，包括如下步骤：

步骤51，对Axy、Bi两幅图像进行Harris角点特征提取；

步骤52，将步骤51中提取的角点作为特征点，用SURF算法为这些特征点分配方向，并计算各角点的特征描述向量；

步骤53，使用K-D树最近邻搜索法实现特征点快速匹配，得到粗匹配点对；

步骤54，利用RANSAC算法剔除误匹配点，得到精匹配点对；

步骤55，对精匹配点对进行最小二乘法处理得到要匹配的两子图之间的转换矩阵，得到平移量、缩放比例和旋转角度等参数；

步骤56，由x、y的数值可以得到Axy与A之间的关系，然后可以求出Bi与A之间的转换参数，进而可以得到B与A之间的转换参数。

本发明的有益效果是：先将大幅图像分成许多小图像，再综合利用各个小图像的颜色特征、纹理特征、形状特征，找到相似的两幅小图像，这相当于只考虑大幅图像的一部分区域，进行匹配，极大地缩短了匹配时间，且能适应图像具有缩放和旋转的情况，对于大幅影像的匹配与配准具有重要意义。

附图说明

图1本发明流程图

图2影像数据的读取与显示流程图

图3确定影像分块裁剪方式流程图

图4图像A、B裁剪示意图

图5子图像搜索流程图

图6影像匹配过程流程图

具体实施方式

如图1所示，基于区块子图搜索的超大幅影像快速匹配拼接方法，其特征是：包括如下步骤，

步骤1，利用GDAL库读取和显示两幅大幅影像(这里的大幅影像文件大小一般大于10000×10000pixels)，像素总数大的图像记为A，像素总数小的图像记为B；

步骤2，确定两幅影像的分块方式，并进行裁剪分块；

步骤3，进行区块的搜索，综合利用图像的颜色特征、纹理特征以及形状特征，计算区块之间的相似性，按顺序搜索出相似度满足条件的一对区块子图；若搜索成功，则进行步骤5的特征匹配；若搜索失败，则进行步骤4；

步骤4，互换两幅影像名称，像素总数大的图像记为B，像素总数小的图像记为A，返回步骤2重新分块；

步骤5，对步骤3得到的一对区块子图进行特征匹配，解算转换参数；

步骤6，图像的融合拼接。

如图2所示，所述步骤1，包括如下步骤，其特征是：

步骤11，读取两个二维影像的数据集；

步骤12，读取数据集的属性信息，包括：数据集名称、大小、长度、宽度、坐标投影信息和波段信息等；

步骤13，将影像读入内存；

步骤14，内存中的影像数据显示在屏幕上。

如图3所示，所述步骤2，包括如下步骤，其特征是：

步骤21，图像A的宽和高记为w_A pixels和h_A pixels，图像B的宽和高记为w_Bpixels和h_B pixels；

步骤22，裁取影像B的四个角上及中间位置各一块宽度为w₀pixels、高度为h₀pixels的子图(w₀、h₀大小可设置为1000～2000pixels)，分别记为B1、B2、B3、B4、B5，五个子图大小相同，示意图如图2(a)所示；

步骤23，令([]表示取整，取不超过括号中实数的最大整数，下同)，确定将A等分成m列、n行，共m×n个子图，如图2(b)所示；

步骤24，将图像A分割成m×n块，并根据子图在原图中的行列位置编号命名，如一个子图位于A的第二行第一列则命名为A21，且将子图以编号命名保存为独立的图像。

如图5所示，所述步骤3，包括如下步骤，其特征是：

步骤31，设置一个变量i，表示第i块子图，初始值设为1；

步骤32，提取Bi(i为上述变量，下同)的颜色特征、纹理特征、 形状特征；

步骤33，提取图像A各子图的颜色特征、纹理特征、形状特征；

步骤34，计算图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性；

步骤35，对图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性进行加权，并且归一化，计算加权后的综合相似性，即目标图像Bi与A各子图的相似性；

步骤36，找到与Bi最相似的子图，名称为Axy(1≤x≤m,1≤y≤n,x和y都是整数，下同)，即图像A的第x行第y列的区块子图，两者相似性大小记为Si(i为上述变量，下同)；

步骤37，判断Si是否大于或等于相似性度量阈值T(T的大小可设置为0.4～0.6)，若是，则搜索成功，进行步骤38；若否，执行步骤39；

步骤38，Bi与Axy作为要匹配的两幅图像，执行步骤5；

步骤39，判断i是否等于5；若是，则搜索失败，执行步骤4；若否，执行步骤310；

步骤310，将i的值增加1，返回步骤32。

如图6所示，所述步骤5，包括如下步骤，其特征是：

步骤51，对Axy、Bi两幅图像进行Harris角点特征提取；

步骤52，将步骤51中提取的角点作为特征点，用SURF算法为这些特征点分配方向，并计算各角点的特征描述向量；

步骤53，使用K-D树最近邻搜索法实现特征点快速匹配，得到 粗匹配点对；

步骤54，利用RANSAC算法剔除误匹配点，得到精匹配点对；

步骤55，对精匹配点对进行最小二乘法处理得到要匹配的两子图之间的转换矩阵，得到平移量、缩放比例和旋转角度等参数；

步骤56，由x、y的数值可以得到Axy与A之间的关系，然后可以求出Bi与A之间的转换参数，进而可以得到B与A之间的转换参数。

所述步骤6，使用加权平均方法进行图像的融合拼接，该方法是最直接的融合方法，对源影像的像素灰度值进行加权，在进行融合时效率最快。

该方法包括图像数据的读取与显示、图像的裁剪分块、区块搜索、图像匹配、图像拼接。在图像的读取和显示中，针对的是比较大的影像，本发明中利用GDAL库进行数据的读取与显示，当影像文件大小大于2GB时，可以采用分块读取的方式更加节省内存资源，读取显示的速度也更快。两幅大幅影像分别命名为A、B，接着将两幅大幅图像按照一定的方式进行分块和裁剪，得到很多子图，以图像B的一个子图作为目标图像，在图像A的子图中搜索出相似性最大的子图，若相似度满足条件，将这一对子图进行特征匹配；若相似度不满足条件，则换图像B中另一幅子图为目标图像，重新在A中搜索，如此循环；若仍找不到满足条件的子图，则将图像重新命名，A、B互换，重新进行上述的分块、搜索过程，找到满足条件的一对子图，进行特征匹配。这样只需要对两幅子图进行特征点提取和匹配，提高 匹配的效率。另外，在图像处理程序实现过程中，opencv库有很多方便的工具，然而处理大幅图像时不适用，但是将大幅图像分块后，可以用opencv进行处理，会给我们带来很多便利。本发明利用区块搜索的方式缩小匹配范围，是一种加快匹配速度的新方法，且本发明中可以将GDAL与opencv相结合，有利于算法的实现。

Claims (4)

1.基于区块子图搜索的超大幅影像快速匹配拼接方法，其特征在于，至少包括如下步骤：

步骤1，利用GDAL库读取和显示两幅大幅影像，像素总数大的图像记为A，像素总数小的图像记为B；

步骤2，确定两幅影像的分块方式，并进行裁剪分块；

步骤3，进行区块的搜索，综合利用图像的颜色特征、纹理特征以及形状特征，计算区块之间的相似性，按顺序搜索出相似度满足条件的一对区块子图；若搜索成功，则进行步骤5的特征匹配；若搜索失败，则进行步骤4，

步骤4，互换两幅影像名称，像素总数大的图像记为B，像素总数小的图像记为A；返回步骤2重新分块；

步骤5，对步骤3得到的一对区块子图进行特征匹配，解算转换参数；

步骤6，图像的融合拼接。

2.根据权利要求1所述的基于区块子图搜索的超大幅影像快速匹配拼接方法，其特征在于：所属步骤2，包括如下步骤：

步骤21，图像A的宽和高记为w_A pixels和h_A pixels，图像B的宽和高记为w_B pixels和h_Bpixels；

步骤22，裁取影像B的四个角上及中间位置各一块宽度为w₀pixels、高度为h₀pixels的子图，分别记为B1、B2、B3、B4、B5，五个子图大小相同；

步骤23，令确定将A等分成m列、n行，共m×n个子图；

步骤24，将图像A分割成m×n块，并根据子图在原图中的行列位置编号命名，如一个子图位于A的第二行第一列则命名为A21，且将子图以编号命名保存为独立的图像。

3.根据权利要求1所述的基于区块子图搜索的超大幅影像快速匹配拼接方法，其特征在于：所述步骤3，包括如下步骤：

步骤31，设置一个变量i，表示第i块子图，初始值设为1；

步骤32，提取Bi的颜色特征、纹理特征、形状特征，i为上述变量；

步骤33，提取图像A各子图的颜色特征、纹理特征、形状特征；

步骤34，计算图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性；

步骤35，对图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性进行加权，并且归一化，计算加权后的综合相似性，即目标图像Bi与A各子图的相似性；

步骤36，找到与Bi最相似的子图，名称为Axy，即图像A的第x行第y列的区块子图，两者相似性大小记为Si，其中，1≤x≤m,1≤y≤n,x和y都是整数，i为上述变量；

步骤37，判断Si是否大于或等于相似性度量阈值T，若是，则搜索成功，进行步骤38；若否，执行步骤39，T的大小设置在0.8～0.9之间；

步骤38，Bi与Axy作为要匹配的两幅图像，执行步骤5；

步骤39，判断i是否等于5；若是，则搜索失败，执行步骤4；若否，执行步骤310；

步骤310，将i的值增加1，返回步骤32。

4.根据权利要求1所述的基于区块子图搜索的超大幅影像快速匹配拼接方法，其特征在于：所述步骤5，包括如下步骤：

步骤51，对Axy、Bi两幅图像进行Harris角点特征提取；

步骤52，将步骤51中提取的角点作为特征点，用SURF算法为这些特征点分配方向，并计算各角点的特征描述向量；

步骤53，使用K-D树最近邻搜索法实现特征点快速匹配，得到粗匹配点对；

步骤54，利用RANSAC算法剔除误匹配点，得到精匹配点对；

步骤55，对精匹配点对进行最小二乘法处理得到要匹配的两子图之间的转换矩阵，得到平移量、缩放比例和旋转角度等参数；

步骤56，由x、y的数值可以得到Axy与A之间的关系，然后可以求出Bi与A之间的转换参数，进而可以得到B与A之间的转换参数。