CN106204422B - 基于区块子图搜索的超大幅影像快速匹配拼接方法 - Google Patents

基于区块子图搜索的超大幅影像快速匹配拼接方法 Download PDF

Info

Publication number
CN106204422B
CN106204422B CN201610503581.XA CN201610503581A CN106204422B CN 106204422 B CN106204422 B CN 106204422B CN 201610503581 A CN201610503581 A CN 201610503581A CN 106204422 B CN106204422 B CN 106204422B
Authority
CN
China
Prior art keywords
image
subgraph
pixels
matching
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610503581.XA
Other languages
English (en)
Other versions
CN106204422A (zh
Inventor
刘贵喜
赵丹
张娜
李斯
王义敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201610503581.XA priority Critical patent/CN106204422B/zh
Publication of CN106204422A publication Critical patent/CN106204422A/zh
Application granted granted Critical
Publication of CN106204422B publication Critical patent/CN106204422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于区块子图搜索的超大幅影像快速匹配拼接方法，用来加快匹配速度，提高匹配效率。首先利用GDAL库读取和显示两幅大幅影像，分别命名为A、B；接着将两幅大幅图像按照一定的方式进行分块和裁剪，得到很多子图，以图像B的一个子图作为目标图像，在图像A的子图中搜索出相似性最大的子图，若相似度满足条件，将这一对子图进行特征匹配；若相似度不满足条件，则换图像B中另一幅子图为目标图像，重新在A中搜索，如此循环；若仍找不到满足条件的子图，则将图像重新命名，A、B互换，重新进行上述的分块、搜索过程，找到满足条件的一对子图，进行特征匹配。本发明对于大幅影像可以加快匹配过程、提高配准效率。

Description

基于区块子图搜索的超大幅影像快速匹配拼接方法
技术领域
本发明属于二维影像匹配领域。具体为基于区块子图搜索的超大幅影像快速匹配拼接方法。
背景技术
图像配准拼接技术在计算机视觉、医学图像处理以及材料力学等领域都具有广泛的应用。针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等，有时也需要用到针对不同对象的图像配准拼接问题。传统的图像配准方法包括基于灰度和基于特征两大类。基于灰度的配准算法直接利用图像的灰度信息，衡量图像之间的相似度，然后采取某种搜索策略来确定变换参数，使得相似度最大。虽然这种方法的精度较高，但由于图像中所有的像素点均参与了计算，因此计算量大，效率低，不适用于大幅图像的配准。基于特征的配准算法首先提取图像的特征(如角点、边缘、直线等)形成特征集，然后确定两幅图像特征集中各个特征的对应关系，计算出变换参数，从而实现图像的配准。这类算法仅利用了图像中的显著特征参与计算，减小了计算量，速度较快，因此在遥感图像配准领域获得了广泛应用。但是，对于大幅图像的配准拼接，利用传统的方法对图像整体进行特征提取、匹配等，计算量很大，非常耗时，例如对于大小超过10000×10000pixels的两幅图像之间的配准，通常需要十几分钟甚至几十分钟。
发明内容
本发明的目的是提供一种基于区块子图搜索的超大幅影像快速匹配拼接方法，以解决大幅影像的匹配拼接效率较低、耗时长的问题。
本发明的目的是这样实现的，基于区块子图搜索的超大幅影像快速匹配拼接方法，其特征在于，至少包括如下步骤：
步骤1，利用GDAL库读取和显示两幅大幅影像，像素总数大的图像记为A，像素总数小的图像记为B；
步骤2，确定两幅影像的分块方式，并进行裁剪分块；
步骤3，进行区块的搜索，综合利用图像的颜色特征、纹理特征以及形状特征，计算区块之间的相似性，按顺序搜索出相似度满足条件的一对区块子图；若搜索成功，则进行步骤5的特征匹配；若搜索失败，则进行步骤4，
步骤4，互换两幅影像名称，像素总数大的图像记为B，像素总数小的图像记为A；返回步骤2重新分块；
步骤5，对步骤3得到的一对区块子图进行特征匹配，解算转换参数；
步骤6，图像的融合拼接。
所属步骤2，包括如下步骤：
步骤21，图像A的宽和高记为wA pixels和hA pixels，图像B的宽和高记为wBpixels和hB pixels；
步骤22，裁取影像B的四个角上及中间位置各一块宽度为w0 pixels、高度为h0pixels的子图，分别记为B1、B2、B3、B4、B5， 五个子图大小相同；
步骤23，令 确定将A等分成m列、n行，共m×n个子图；
步骤24，将图像A分割成m×n块，并根据子图在原图中的行列位置编号命名，如一个子图位于A的第二行第一列则命名为A21，且将子图以编号命名保存为独立的图像。
所述步骤3，包括如下步骤：
步骤31，设置一个变量i，表示第i块子图，初始值设为1；
步骤32，提取Bi的颜色特征、纹理特征、形状特征，i为上述变量；
步骤33，提取图像A各子图的颜色特征、纹理特征、形状特征；
步骤34，计算图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性；
步骤35，对图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性进行加权，并且归一化，计算加权后的综合相似性，即目标图像Bi与A各子图的相似性；
步骤36，找到与Bi最相似的子图，名称为Axy，即图像A的第x行第y列的区块子图，两者相似性大小记为Si，其中，1≤x≤m,1≤y≤n,x和y都是整数，i为上述变量；
步骤37，判断Si是否大于或等于相似性度量阈值T，若是，则搜索成功，进行步骤38；若否，执行步骤39，T的大小设置在0.8～0.9之间；
步骤38，Bi与Axy作为要匹配的两幅图像，执行步骤5；
步骤39，判断i是否等于5；若是，则搜索失败，执行步骤4；若否，执行步骤310；
步骤310，将i的值增加1，返回步骤32。
所述步骤5，包括如下步骤：
步骤51，对Axy、Bi两幅图像进行Harris角点特征提取；
步骤52，将步骤51中提取的角点作为特征点，用SURF算法为这些特征点分配方向，并计算各角点的特征描述向量；
步骤53，使用K-D树最近邻搜索法实现特征点快速匹配，得到粗匹配点对；
步骤54，利用RANSAC算法剔除误匹配点，得到精匹配点对；
步骤55，对精匹配点对进行最小二乘法处理得到要匹配的两子图之间的转换矩阵，得到平移量、缩放比例和旋转角度等参数；
步骤56，由x、y的数值可以得到Axy与A之间的关系，然后可以求出Bi与A之间的转换参数，进而可以得到B与A之间的转换参数。
本发明的有益效果是：先将大幅图像分成许多小图像，再综合利用各个小图像的颜色特征、纹理特征、形状特征，找到相似的两幅小图像，这相当于只考虑大幅图像的一部分区域，进行匹配，极大地缩短了匹配时间，且能适应图像具有缩放和旋转的情况，对于大幅影像的匹配与配准具有重要意义。
附图说明
图1本发明流程图
图2影像数据的读取与显示流程图
图3确定影像分块裁剪方式流程图
图4图像A、B裁剪示意图
图5子图像搜索流程图
图6影像匹配过程流程图
具体实施方式
如图1所示，基于区块子图搜索的超大幅影像快速匹配拼接方法，其特征是：包括如下步骤，
步骤1，利用GDAL库读取和显示两幅大幅影像(这里的大幅影像文件大小一般大于10000×10000pixels)，像素总数大的图像记为A，像素总数小的图像记为B；
步骤2，确定两幅影像的分块方式，并进行裁剪分块；
步骤3，进行区块的搜索，综合利用图像的颜色特征、纹理特征以及形状特征，计算区块之间的相似性，按顺序搜索出相似度满足条件的一对区块子图；若搜索成功，则进行步骤5的特征匹配；若搜索失败，则进行步骤4；
步骤4，互换两幅影像名称，像素总数大的图像记为B，像素总数小的图像记为A，返回步骤2重新分块；
步骤5，对步骤3得到的一对区块子图进行特征匹配，解算转换参数；
步骤6，图像的融合拼接。
如图2所示，所述步骤1，包括如下步骤，其特征是：
步骤11，读取两个二维影像的数据集；
步骤12，读取数据集的属性信息，包括：数据集名称、大小、长度、宽度、坐标投影信息和波段信息等；
步骤13，将影像读入内存；
步骤14，内存中的影像数据显示在屏幕上。
如图3所示，所述步骤2，包括如下步骤，其特征是：
步骤21，图像A的宽和高记为wA pixels和hA pixels，图像B的宽和高记为wBpixels和hB pixels；
步骤22，裁取影像B的四个角上及中间位置各一块宽度为w0pixels、高度为h0pixels的子图(w0、h0大小可设置为1000～2000pixels)，分别记为B1、B2、B3、B4、B5，五个子图大小相同，示意图如图2(a)所示；
步骤23，令([]表示取整，取不超过括号中实数的最大整数，下同)，确定将A等分成m列、n行，共m×n个子图，如图2(b)所示；
步骤24，将图像A分割成m×n块，并根据子图在原图中的行列位置编号命名，如一个子图位于A的第二行第一列则命名为A21，且将子图以编号命名保存为独立的图像。
如图5所示，所述步骤3，包括如下步骤，其特征是：
步骤31，设置一个变量i，表示第i块子图，初始值设为1；
步骤32，提取Bi(i为上述变量，下同)的颜色特征、纹理特征、 形状特征；
步骤33，提取图像A各子图的颜色特征、纹理特征、形状特征；
步骤34，计算图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性；
步骤35，对图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性进行加权，并且归一化，计算加权后的综合相似性，即目标图像Bi与A各子图的相似性；
步骤36，找到与Bi最相似的子图，名称为Axy(1≤x≤m,1≤y≤n,x和y都是整数，下同)，即图像A的第x行第y列的区块子图，两者相似性大小记为Si(i为上述变量，下同)；
步骤37，判断Si是否大于或等于相似性度量阈值T(T的大小可设置为0.4～0.6)，若是，则搜索成功，进行步骤38；若否，执行步骤39；
步骤38，Bi与Axy作为要匹配的两幅图像，执行步骤5；
步骤39，判断i是否等于5；若是，则搜索失败，执行步骤4；若否，执行步骤310；
步骤310，将i的值增加1，返回步骤32。
如图6所示，所述步骤5，包括如下步骤，其特征是：
步骤51，对Axy、Bi两幅图像进行Harris角点特征提取；
步骤52，将步骤51中提取的角点作为特征点，用SURF算法为这些特征点分配方向，并计算各角点的特征描述向量；
步骤53，使用K-D树最近邻搜索法实现特征点快速匹配，得到 粗匹配点对；
步骤54，利用RANSAC算法剔除误匹配点，得到精匹配点对；
步骤55，对精匹配点对进行最小二乘法处理得到要匹配的两子图之间的转换矩阵，得到平移量、缩放比例和旋转角度等参数；
步骤56，由x、y的数值可以得到Axy与A之间的关系，然后可以求出Bi与A之间的转换参数，进而可以得到B与A之间的转换参数。
所述步骤6，使用加权平均方法进行图像的融合拼接，该方法是最直接的融合方法，对源影像的像素灰度值进行加权，在进行融合时效率最快。
该方法包括图像数据的读取与显示、图像的裁剪分块、区块搜索、图像匹配、图像拼接。在图像的读取和显示中，针对的是比较大的影像，本发明中利用GDAL库进行数据的读取与显示，当影像文件大小大于2GB时，可以采用分块读取的方式更加节省内存资源，读取显示的速度也更快。两幅大幅影像分别命名为A、B，接着将两幅大幅图像按照一定的方式进行分块和裁剪，得到很多子图，以图像B的一个子图作为目标图像，在图像A的子图中搜索出相似性最大的子图，若相似度满足条件，将这一对子图进行特征匹配；若相似度不满足条件，则换图像B中另一幅子图为目标图像，重新在A中搜索，如此循环；若仍找不到满足条件的子图，则将图像重新命名，A、B互换，重新进行上述的分块、搜索过程，找到满足条件的一对子图，进行特征匹配。这样只需要对两幅子图进行特征点提取和匹配，提高 匹配的效率。另外，在图像处理程序实现过程中，opencv库有很多方便的工具，然而处理大幅图像时不适用，但是将大幅图像分块后，可以用opencv进行处理，会给我们带来很多便利。本发明利用区块搜索的方式缩小匹配范围，是一种加快匹配速度的新方法，且本发明中可以将GDAL与opencv相结合，有利于算法的实现。

Claims (2)

1.基于区块子图搜索的超大幅影像快速匹配拼接方法，其特征在于，至少包括如下步骤：
步骤1，利用GDAL库读取和显示两幅大幅影像，像素总数大的图像记为A，像素总数小的图像记为B；
步骤2，确定两幅影像的分块方式，并进行裁剪分块；
步骤3，进行区块的搜索，综合利用图像的颜色特征、纹理特征以及形状特征，计算区块之间的相似性，按顺序搜索出相似度满足条件的一对区块子图；若搜索成功，则进行步骤5的特征匹配；若搜索失败，则进行步骤4，
步骤4，互换两幅影像名称，像素总数大的图像记为B，像素总数小的图像记为A；返回步骤2重新分块；
步骤5，对步骤3得到的一对区块子图进行特征匹配，解算转换参数；
步骤6，图像的融合拼接；
所述步骤2，包括如下步骤：
步骤21，图像A的宽和高记为pixels和 pixels，图像B的宽和高记为 pixels 和 pixels；
步骤22，裁取影像B的四个角上及中间位置各一块宽度为 pixels、高度为 pixels的子图，分别记为B1、B2、B3、B4、B5，五个子图大小相同；
步骤23，令、，确定将A等分成m列、n行，共个子图；
步骤24，将图像A分割成块，并根据子图在原图中的行列位置编号命名，如一个子 图位于A的第二行第一列则命名为A21，且将子图以编号命名保存为独立的图像；
所述步骤3，包括如下步骤：
步骤31，设置一个变量i，表示第i块子图，初始值设为1；
步骤32，提取Bi的颜色特征、纹理特征、形状特征，i为上述变量；
步骤33，提取图像A各子图的颜色特征、纹理特征、形状特征；
步骤34，计算图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性；
步骤35，对图像A各子图与Bi之间的颜色特征相似性、纹理特征相似性、形状特征相似性进行加权，并且归一化，计算加权后的综合相似性，即目标图像Bi与A各子图的相似性；
步骤36，找到与Bi最相似的子图，名称为Axy，即图像A的第x行第y列的区块子图，两者 相似性大小记为Si，其中，, x和y都是整数，i为上述变量；
步骤37，判断Si是否大于或等于相似性度量阈值T，若是，则搜索成功，进行步骤38；若否，执行步骤39，T的大小设置在0.8~0.9之间；
步骤38，Bi与Axy作为要匹配的两幅图像，执行步骤5；
步骤39，判断i是否等于5；若是，则搜索失败，执行步骤4；若否，执行步骤310；
步骤310，将i的值增加1，返回步骤32。
2.根据权利要求1所述的基于区块子图搜索的超大幅影像快速匹配拼接方法，其特征在于：所述步骤5，包括如下步骤：
步骤51，对Axy、Bi两幅图像进行Harris角点特征提取；
步骤52，将步骤51中提取的角点作为特征点，用SURF算法为这些特征点分配方向，并计算各角点的特征描述向量；
步骤53，使用K-D树最近邻搜索法实现特征点快速匹配，得到粗匹配点对；
步骤54，利用 RANSAC算法剔除误匹配点，得到精匹配点对；
步骤55，对精匹配点进行最小二乘法处理得到要匹配的两子图之间的转换矩阵，得到平移量、缩放比例和旋转角度的参数；
步骤56，由x、y的数值得到Axy与A之间的关系，然后求出Bi与A之间的转换参数，进而得到B与A之间的转换参数。
CN201610503581.XA 2016-06-30 2016-06-30 基于区块子图搜索的超大幅影像快速匹配拼接方法 Active CN106204422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610503581.XA CN106204422B (zh) 2016-06-30 2016-06-30 基于区块子图搜索的超大幅影像快速匹配拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610503581.XA CN106204422B (zh) 2016-06-30 2016-06-30 基于区块子图搜索的超大幅影像快速匹配拼接方法

Publications (2)

Publication Number Publication Date
CN106204422A CN106204422A (zh) 2016-12-07
CN106204422B true CN106204422B (zh) 2019-06-28

Family

ID=57463820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610503581.XA Active CN106204422B (zh) 2016-06-30 2016-06-30 基于区块子图搜索的超大幅影像快速匹配拼接方法

Country Status (1)

Country Link
CN (1) CN106204422B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578376B (zh) * 2017-08-29 2021-06-22 北京邮电大学 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN109014590B (zh) * 2018-08-09 2021-01-26 天弘激光（宿迁）有限公司 一种激光蚀刻超幅面自由拼接加工方法
CN112924456A (zh) * 2019-12-06 2021-06-08 合肥欣奕华智能机器有限公司 曲面屏检测装置及其检测方法
KR20220004460A (ko) * 2020-07-03 2022-01-11 삼성전자주식회사 이미지 병합을 위한 이미지 매칭 방법 및 이를 수행하는 데이터 처리 장치
CN112331310A (zh) * 2020-10-10 2021-02-05 深圳市智影医疗科技有限公司 医学影像数据显示方法、装置、存储介质和智能设备
CN113435479A (zh) * 2021-06-03 2021-09-24 湖北大学 基于区域特征表达约束的特征点匹配方法与系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘贵喜 等.基于区域选择和特征点匹配的图像配准算法.《光电子•激光》.2007,第18卷(第8期),第999-1002页.
利用特征点配准和变换参数自动辨识的图像拼接算法;安建妮 等;《红外与激光工程》;20110325;第40卷(第3期);第564-569页
基于特征点精确配准的图像拼接技术的研究;仲明;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151015(第10期);第I138-319页

Also Published As

Publication number Publication date
CN106204422A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106204422B (zh) 基于区块子图搜索的超大幅影像快速匹配拼接方法
RU2680765C1 (ru) Автоматизированное определение и обрезка неоднозначного контура документа на изображении
CN104200461B (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
WO2015139574A1 (zh) 一种静态物体重建方法和系统
Wang et al. Robust 3D reconstruction with an RGB-D camera
CN107240117B (zh) 视频中运动目标的跟踪方法和装置
KR100591608B1 (ko) 영상 정합시 대응점 검색방법
JP2021168143A (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
Uchiyama et al. Toward augmenting everything: Detecting and tracking geometrical features on planar objects
Zhang et al. Real-time 6D pose estimation from a single RGB image
Smith et al. Registration of combined range–intensity scans: Initialization through verification
Donoser et al. Robust planar target tracking and pose estimation from a single concavity
Potje et al. Learning geodesic-aware local features from RGB-D images
Nascimento et al. GEOBIT: A geodesic-based binary descriptor invariant to non-rigid deformations for RGB-D images
Li et al. Fast 3D texture-less object tracking with geometric contour and local region
Liang et al. DIG-SLAM: an accurate RGB-D SLAM based on instance segmentation and geometric clustering for dynamic indoor scenes
Hu et al. VODRAC: Efficient and robust correspondence-based point cloud registration with extreme outlier ratios
Schmidt et al. Comparative assessment of point feature detectors in the context of robot navigation
CN111626307A (zh) 一种基于l-orb算法的植株图像实时拼接方法
Zhu et al. Global and local geometric constrained feature matching for high resolution remote sensing images
Aldana-Iuit et al. Saddle: Fast and repeatable features with good coverage
Dong et al. Superpixel-based local features for image matching
Fu et al. Interior dense 3D reconstruction system with RGB-D camera for complex large scenes
Lugo et al. Semi-supervised learning approach for localization and pose estimation of texture-less objects in cluttered scenes
CN103617616A (zh) 一种仿射不变的图像匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant