CN113781299B - 一种基于改进ransac算法的多图像协同拼接方法 - Google Patents

一种基于改进ransac算法的多图像协同拼接方法 Download PDF

Info

Publication number
CN113781299B
CN113781299B CN202110937284.7A CN202110937284A CN113781299B CN 113781299 B CN113781299 B CN 113781299B CN 202110937284 A CN202110937284 A CN 202110937284A CN 113781299 B CN113781299 B CN 113781299B
Authority
CN
China
Prior art keywords
picture
points
images
image
spliced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110937284.7A
Other languages
English (en)
Other versions
CN113781299A (zh
Inventor
李艳德
路永钢
冉兴程
陈文琼
赵礼刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University
Original Assignee
Lanzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University filed Critical Lanzhou University
Priority to CN202110937284.7A priority Critical patent/CN113781299B/zh
Publication of CN113781299A publication Critical patent/CN113781299A/zh
Application granted granted Critical
Publication of CN113781299B publication Critical patent/CN113781299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于改进RANSAC算法的多图像协同拼接方法，步骤包括：1)获取待拼接图像的特征点；2)利用KNN算法进行特征点匹配；3)利用改进RANSAC算法对待拼接图像进行协同优化，并每个图像对应的单应性矩阵H；4)利用奇异值分解求解单应性矩阵H；5)根据解算后的单应性矩阵H对待拼接图像进行投影映射，完成多图像协同拼接。本发明实现了多图像协同拼接，可以显著地降低多图像拼接中的累积误差，提高多图像拼接的效果。

Description

一种基于改进RANSAC算法的多图像协同拼接方法
技术领域
本发明涉及图像处理领域，具体是一种基于改进RANSAC算法的多图像协同拼接方法。
背景技术
全景图因其可以展现更大的视野备受欢迎，因而广泛存在于智能手机的相机中。然而当前的全景图拼接往往是沿同一方向进行拼接，如从上往下或从左往右，不能完全满足人们日常全景图像拼接的需求。在传统的沿同一方向的全景图像拼接中，相邻两张图片的重叠特征点一般不会与第三张图片的特征点再次重叠。但是，在多方向全景图拼接任务中，四周相邻图片的特征点之间存在不同程度的重叠，只有协同拼接方能有效降低整体拼接误差，达到良好的拼接效果。
在全景图像拼接步骤中，特征点选择是影响单应性矩阵的决定因素，直接影响图像拼接的质量。基于RANSAC算法的特征点选择是当前全景图拼接的主流方法，它在图像的众多特征点中随机选择四个特征点，使得类内的特征点的个数最多，消除离群点的负面影响。现有的基于RANSAC算法的全景图拼接存在的主要问题是：(1)多数情况下只能沿某一方向进行拼接，在多方向同时拼接时效果很差；(2)多幅图像拼接存在严重的误差累计问题，待拼接图像越多，误差越大，拼接效果越差；(3)基于RANSAC算法选定的特征点只能优化单张图像，不能兼顾多幅图像实现全局优化。
发明内容
本发明的目的是提供一种基于改进RANSAC算法的多图像协同拼接方法，包括以下步骤：
1)获取待拼接图像的特征点。
获取待拼接图像的特征点的步骤包括：
1.1)利用SIFT算法检测待拼接图像的所有特征点。
1.2)计算每个特征点周围的梯度方向。
1.3)获取每一特征点m维的特征向量。
2)利用KNN算法进行特征点匹配。
利用KNN算法进行特征点匹配的步骤包括：
2.1)选择所有待拼接图像中的两幅图像，分别记为图片M和图片N。
2.2)计算图片M中第i个特征点到图片N中所有特征点的距离，并写入距离集合中。i初始值为1。
2.3)记录所述距离集合中数值最小的两个元素，并计算这两个元素的差值Δd。若差值Δd≤ε，则删除图片M中第i个特征点，令i＝i+1，返回步骤2.2)，直至图片M中每个特征点到图片N中所有特征点的距离均计算完毕，记录图片M和图片N特征点的对应关系，否则，直接令i＝i+1，并返回步骤2.2)。ε为特征点距离阈值。
2.3)返回步骤2.1)，直至所有待拼接图像两两匹配完毕。
3)利用改进RANSAC算法对待拼接图像进行协同优化，并每个图像对应的单应性矩阵H。
利用改进RANSAC算法对待拼接图像进行协同优化的步骤包括：
3.1)从待拼接的图像中选择相邻两张图片，分别记为图片A和图片B。
3.2)计算图片A和图片B之间类内特征点数。
计算图片A和图片B之间类内特征点数的步骤包括：
3.2.1)从图片B的特征点中随机选取n个特征点，作为初始值，记为源值s。从图片A中选取与图片B源值s相对应的特征点构建特征对。
3.2.2)利用所述特征对构建齐次方程，并确定特征点变换的单应性矩阵H。
3.2.3)选取图片B除源值s以外的任意特征点,记为D，并建立变换后的特征点D'＝H*D。
3.2.4)计算变换后的特征点D'与图片A对应特征点E的2-范数距离
3.2.5)判断距离Dist是否小于阈值maxDist，若是，则特征点D和特征点E为类内点，否则，特征点D和特征点E为离群点。
3.2.6)重复步骤3.2.3)至步骤3.2.5)，直至图片B除源值s以外的所有特征点均判断完毕。
3.3)重复步骤3.1)至步骤3.2)，直至所有待拼接图像每相邻两幅图片之间的类内特征点数计算完毕。
3.4)计算所有图像特征点的类内点个数总和，记为sum。
3.5)重复步骤3.2)至步骤3.4)若干次，循环过程中，若第k次循环的类内点个数总和sumk大于第k次循环的类内点个数总和sumk-1，则更新类内点个数总和sum＝sumk。记录类内点个数总和最大时每个图像对应的单应性矩阵H，完成待拼接图像的协同优化。
4)利用奇异值分解求解单应性矩阵H。
利用奇异值分解求解单应性矩阵H的步骤包括：
4.1)记图片B中作为源值的特征点为(xi，yi)，图片A中与源值S对应的特征点为(ui，vi)，并构建方程Sh＝0。h为待求解的单应性初始矩阵。i＝1，2，…，n。n为图片B中作为源值的特征点个数。S为由特征点对组成的矩阵。
4.2)对方程Sh＝0进行展开，得到：
其中，h＝(h1,h2,h3,h4,h5,h6,h7,h8,h9)T为待求解的单应性矩阵，S为由特征点对组成的矩阵。
4.3)利用奇异值分解求解公式(1)，得到u,s,vt＝SVD(S)。u、s、vt为矩阵S经过奇异值分解后得到的矩阵。矩阵vt的最后一列向量即为矩阵h。
4.4)将矩阵h转换为N*N的单应性矩阵H。
5)根据解算后的单应性矩阵H对待拼接图像进行投影映射，完成多图像协同拼接。
对待拼接图像进行投影映射，完成多图像协同拼接的步骤包括：
5.1)构建与目标全景图的大小相匹配的画布。
5.2)依次用每个图像的单应性矩阵H乘以各自图像的坐标点，进行坐标变换。
5.3)将每个变换后的图像添加到画布上，得到拼接好的全景图。
本发明的技术效果是毋庸置疑的，本发明实现了多图像协同拼接，可以显著地降低多图像拼接中的累积误差，提高多图像拼接的效果。本发明提出的一种基于改进RANSAC算法的多图像协同拼接方法既可以沿水平或竖直单一方向进行多幅图像拼接，又可以同时沿多个方向进行多幅图像全景图拼接。本发明提出的基于改进RANSAC算法的多图协同拼接方法可以兼顾所有图像，达到全局最优，有效减少传统方法的拼接累积误差。
附图说明
图1为图像拼接方法步骤框图；
图2为室内多幅图像同一方向拼接示意图；
图3为室外多幅图像多个方向拼接示意图；
具体实施方式
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
实施例1：
参见图1，一种基于改进RANSAC算法的多图像协同拼接方法，包括以下步骤：
1)获取待拼接图像的特征点。
获取待拼接图像的特征点的步骤包括：
1.1)利用SIFT算法检测待拼接图像的所有特征点。
1.2)计算每个特征点周围的梯度方向。
1.3)获取每一特征点m维的特征向量。
2)利用KNN算法进行特征点匹配。
利用KNN算法进行特征点匹配的步骤包括：
2.1)选择所有待拼接图像中的两幅图像，分别记为图片M和图片N。
2.2)计算图片M中第i个特征点到图片N中所有特征点的距离，并写入距离集合中。i初始值为1。
2.3)记录所述距离集合中数值最小的两个元素，并计算这两个元素的差值Δd。若差值Δd≤ε，则删除图片M中第i个特征点，令i＝i+1，返回步骤2.2)，直至图片M中每个特征点到图片N中所有特征点的距离均计算完毕，记录图片M和图片N特征点的对应关系，否则，直接令i＝i+1，并返回步骤2.2)。ε为特征点距离阈值。
2.3)返回步骤2.1)，直至所有待拼接图像两两匹配完毕。
3)利用改进RANSAC算法对待拼接图像进行协同优化，并每个图像对应的单应性矩阵H。
利用改进RANSAC算法对待拼接图像进行协同优化的步骤包括：
3.1)从待拼接的图像中选择相邻两张图片，分别记为图片A和图片B。
3.2)计算图片A和图片B之间类内特征点数。
计算图片A和图片B之间类内特征点数的步骤包括：
3.2.1)从图片B的特征点中随机选取n个特征点，作为初始值，记为源值s。从图片A中选取与图片B源值s相对应的特征点构建特征对。
3.2.2)利用所述特征对构建齐次方程，并确定特征点变换的单应性矩阵H。
3.2.3)选取图片B除源值s以外的任意特征点,记为D，并建立变换后的特征点D'＝H*D。
3.2.4)计算变换后的特征点D'与图片A对应特征点E的2-范数距离
3.2.5)判断距离Dist是否小于阈值maxDist，若是，则特征点D和特征点E为类内点，否则，特征点D和特征点E为离群点。
3.2.6)重复步骤3.2.3)至步骤3.2.5)，直至图片B除源值s以外的所有特征点均判断完毕。
3.3)重复步骤3.1)至步骤3.2)，直至所有待拼接图像每相邻两幅图片之间的类内特征点数计算完毕。
3.4)计算所有图像特征点的类内点个数总和，记为sum。
3.5)重复步骤3.2)至步骤3.4)若干次，循环过程中，若第k次循环的类内点个数总和sumk大于第k次循环的类内点个数总和sumk-1，则更新类内点个数总和sum＝sumk。记录类内点个数总和最大时每个图像对应的单应性矩阵H，完成待拼接图像的协同优化。
4)利用奇异值分解求解单应性矩阵H。
利用奇异值分解求解单应性矩阵H的步骤包括：
4.1)记图片B中作为源值的特征点为(xi，yi)，图片A中与源值S对应的特征点为(ui，vi)，并构建方程Sh＝0。h为待求解的单应性初始矩阵。i＝1，2，…，n。n为图片B中作为源值的特征点个数。S为由特征点对组成的矩阵。
4.2)对方程Sh＝0进行展开，得到：
其中，h＝(h1,h2,h3,h4,h5,h6,h7,h8,h9)T为待求解的单应性矩阵，S为由特征点对组成的矩阵。
4.3)利用奇异值分解求解公式(1)，得到u,s,vt＝SVD(S)。u、s、vt为矩阵S经过奇异值分解后得到的矩阵。矩阵vt的最后一列向量即为矩阵h。
4.4)将矩阵h转换为N*N的单应性矩阵H。
5)根据解算后的单应性矩阵H对待拼接图像进行投影映射，完成多图像协同拼接。
对待拼接图像进行投影映射，完成多图像协同拼接的步骤包括：
5.1)构建与目标全景图的大小相匹配的画布。
5.2)依次用每个图像的单应性矩阵H乘以各自图像的坐标点，进行坐标变换。
5.3)将每个变换后的图像添加到画布上，得到拼接好的全景图。
实施例2：
参见图1与图2，基于改进RANSAC算法的多图像协同拼接方法对室内多幅图像同一方向全景图进行拼接的实验，假定沿水平方向的待拼接的4张图片分别为I1,I2,I3,I4，该实验包括以下步骤：
1)提取待拼接图像的特征点，主要步骤如下：
1.1)利用SIFT特征检测算法，检测所有待拼接图像的特征点。
1.2)计算每个特征点周围的梯度方向。
1.3)对每一特征点，得到128维的特征向量。
2)使用KNN算法依次对所有相邻图像进行特征点匹配，既I1与I2,I2与I3,I3与I4,主要步骤如下：
2.1)对图像I1中的每一个特征点，计算与图像I2中每一个特征点的距离。
2.2)记录与图片I1中每一个特征点对应的最近距离和第二近距离。
如果某个特征点对应的最近距离与第二近距离特别接近，其差值小于设定阈值，则舍弃该特征点。
2.3)记录待拼接图像I1与I2的特征点对应关系。
2.4)重复以上过程，对I2与I3,I3与I4依次进行特征点匹配。
3)使用改进的RANSAC算法协同优化全局特征点选择，主要步骤如下：
3.1)假设以图I1作为中心图像，则协同优化图像I2,I3,I4的特征点选择。
3.2)先从图I2的特征点中随机选取4个特征点，用于计算类内特征点的个数。
所述计算类内点个数是这样实现的：
3.2.1)从图I2特征点中随机取4个特征点作为初始值，记为源值S。取图I1中与图I2的4个源值对应的特征点构建特征对。
3.2.2)利用上面的四对特征点构建齐次方程，利用奇异值分解求解特征点变换的单应性矩阵H，该部分在步骤4详细解释。
3.2.3)取图B中除选定的4个特征点以外的所有特征点,记为D，乘以单应性矩阵，得到变换后的特征点D',D'＝H*D。
3.2.4)计算变换后的特征点D'与图A对应特征点E的2-范数距离，
3.2.5)如果距离Dist小于设定的阈值，则判定为类内点；若距离Dist大于设定的阈值，则判定为离群点。
3.2.6)统计类内点个数。
3.3)计算所有图像特征点的类内点个数总和，实现所有图像协同优化。
所描述的所有图像协同优化是这样实现的：
3.3.1)按步骤3.2)依次计算所有相邻图像两两之间的类内特征点数，既重复步骤3.2)计算图像I3,I4的类内特征点数目。
3.3.2)将每个图像对应的单应性矩阵H存储备用。
3.3.3)对所有图像类内特征点个数进行求和，记为Sum。
3.3.4)重复以上过程一定次数，如循环3000次。若类内点个数总和大于Sum，则更新Sum,否则进入下次循环。
3.3.5)当所有图片的类内特征点个数总和最大时，每个图像对应的单应性矩阵H将被用于后续图像变换。
3.3.6)将中心图像的单应性矩阵设为单位矩阵。
4)利用奇异值分解求解特征点变换的单应性矩阵。
4.1)从相邻两张图片中去对应的4个特征对，如I2中的四个特征点为(xi,yi)，图I1中与之对应的特征点为(ui,vi)，i＝1,2,3,4。构建方程：
Sh＝0
展开为：
其中，h＝(h1,h2,h3,h4,h5,h6,h7,h8,h9)T为待求解的单应性矩阵，S为由特征点对组成的矩阵。
4.2)利用奇异值分解求解上述方程：u,s,vt＝SVD(S)。
矩阵S奇异值分解后vt矩阵的最后一列向量即为h。
4.3)将h转换为3*3的单应性矩阵H。
4.4)重复以上步骤，依次求出图像I2的单应性矩阵H2，图像I3的单应性矩阵H3，图像I4的单应性矩阵H4，图像I1单应性矩阵为单位阵H1。
5)利用单应性矩阵将待拼接图像进行投影映射，然后进行拼接。
5.1)构建与目标全景图的大小相匹配的黑色画布。
5.2)依次用每个图像的单应性矩阵H乘以各自图像的坐标点，进行坐标变换。
5.3)将每个变换后的图像添加到画布上，得到拼接好的全景图。
实施例3：
参见图1与图3，基于改进RANSAC算法的多图像协同拼接方法对室外多幅图像多个方向全景图进行拼接的实验，假定上下左右待拼接的4张图片分别为M1,M2,M3,M4，该实验主要包括以下步骤：
1)提取待拼接图像的特征点，主要步骤如下：
1.1)利用SIFT特征检测算法，检测所有待拼接图像的特征点。
1.2)计算每个特征点周围的梯度方向。
1.3)对每一特征点，得到128维的特征向量。
2)使用KNN算法依次对所有相邻图像进行特征点匹配，既M1与M2,M1与M3,M3与M4,主要步骤如下：
2.1)对图像M1中的每一个特征点，计算与图像M2中每一个特征点的距离。
2.2)记录与图片M1中每一个特征点对应的最近距离和第二近距离。
如果某个特征点对应的最近距离与第二近距离特别接近，其差值小于设定阈值，则舍弃该特征点。
2.3)记录待拼接图像M1与M2的特征点对应关系。
2.4)重复以上过程，对M1与M3,M3与M4依次进行特征点匹配。
3)使用改进的RANSAC算法协同优化全局特征点选择，主要步骤如下：
3.1)假设以图M1作为中心图像，则协同优化图像M2,M3,M4的特征点选择。
3.2)先从图M2的特征点中随机选取4个特征点，用于计算类内特征点的个数。
所述计算类内点个数是这样实现的：
3.2.1)从图M2特征点中随机取4个特征点作为初始值，记为源值S。取图M1中与图M2的4个源值对应的特征点构建特征对。
3.2.2)利用上面的四对特征点构建齐次方程，利用奇异值分解求解特征点变换的单应性矩阵H，该部分在步骤4详细解释。
3.2.3)取图B中除选定的4个特征点以外的所有特征点,记为D，乘以单应性矩阵，得到变换后的特征点D',D'＝H*D。
3.2.4)计算变换后的特征点D'与图A对应特征点E的2-范数距离，
3.2.5)如果距离Dist小于设定的阈值，则判定为类内点；若距离Dist大于设定的阈值，则判定为离群点。
3.2.6)统计类内点个数。
3.3)计算所有图像特征点的类内点个数总和，实现所有图像协同优化。
所描述的所有图像协同优化是这样实现的：
3.3.1)按步骤3.2)依次计算所有相邻图像两两之间的类内特征点数，既重复步骤3.2)计算图像M3,M4的类内特征点数目。
3.3.2)将每个图像对应的单应性矩阵H存储备用。
3.3.3)对所有图像类内特征点个数进行求和，记为Sum。
3.3.4)重复以上过程一定次数，如循环3000次。若类内点个数总和大于Sum，则更新Sum,否则进入下次循环。
3.3.5)当所有图片的类内特征点个数总和最大时，每个图像对应的单应性矩阵H将被用于后续图像变换。
3.3.6)将中心图像的单应性矩阵设为单位矩阵。
4)利用奇异值分解求解特征点变换的单应性矩阵。
4.1)从相邻两张图片中去对应的4个特征对，如M2中的四个特征点为(xi,yi)，图M1中与之对应的特征点为(ui,vi)，i＝1,2,3,4。构建方程：
Sh＝0
展开为：
其中，h＝(h1,h2,h3,h4,h5,h6,h7,h8,h9)T为待求解的单应性矩阵，S为由特征点对组成的矩阵。
4.2)利用奇异值分解求解上述方程：u,s,vt＝SVD(S)。
矩阵S奇异值分解后vt矩阵的最后一列向量即为h。
4.3)将h转换为3*3的单应性矩阵H。
4.4)重复以上步骤，依次求出图像M2的单应性矩阵H2，图像M3的单应性矩阵H3，图像M4的单应性矩阵H4，图像M1单应性矩阵为单位阵H1。
5)利用单应性矩阵将待拼接图像进行投影映射，然后进行拼接。
5.1)构建与目标全景图的大小相匹配的黑色画布。
5.2)依次用每个图像的单应性矩阵H乘以各自图像的坐标点，进行坐标变换。
5.3)将每个变换后的图像添加到画布上，得到拼接好的全景图。

Claims (4)

1.一种基于改进RANSAC算法的多图像协同拼接方法，其特征在于，包括以下步骤：
1)获取待拼接图像的特征点；
2)利用KNN算法进行特征点匹配；
3)利用改进RANSAC算法对待拼接图像进行协同优化，并记录每个图像对应的单应性矩阵H；
4)利用奇异值分解求解单应性矩阵H；
5)根据解算后的单应性矩阵H对待拼接图像进行投影映射，完成多图像协同拼接；
利用改进RANSAC算法对待拼接图像进行协同优化的步骤包括：
3.1)从待拼接的图像中选择相邻两张图片，分别记为图片A和图片B；
3.2)计算图片A和图片B之间类内特征点数；
3.3)重复步骤3.1)至步骤3.2)，直至所有待拼接图像每相邻两幅图片之间的类内特征点数计算完毕；
3.4)计算所有图像特征点的类内点个数总和，记为sum；
3.5)重复步骤3.2)至步骤3.4)若干次，循环过程中，若第k次循环的类内点个数总和sumk大于第k次循环的类内点个数总和sumk-1，则更新类内点个数总和sum＝sumk；记录类内点个数总和最大时每个图像对应的单应性矩阵H，完成待拼接图像的协同优化；
计算图片A和图片B之间类内特征点数的步骤包括：
3.2.1)从图片B的特征点中随机选取n个特征点，作为初始值，记为源值s；从图片A中选取与图片B源值s相对应的特征点构建特征对；
3.2.2)利用所述特征对构建齐次方程，并确定特征点变换的单应性矩阵H；
3.2.3)选取图片B除源值s以外的任意特征点,记为D，并建立变换后的特征点D'＝H*D；
3.2.4)计算变换后的特征点D'与图片A对应特征点E的2-范数距离
3.2.5)判断距离Dist是否小于阈值max Dist，若是，则特征点D和特征点E为类内点，否则，特征点D和特征点E为离群点；
3.2.6)重复步骤3.2.3)至步骤3.2.5)，直至图片B除源值s以外的所有特征点均判断完毕；
利用奇异值分解求解单应性矩阵H的步骤包括：
4.1)记图片B中作为源值的特征点为(xi，yi)，图片A中与源值S对应的特征点为(ui，vi)，并构建方程Sh＝0；h为待求解的单应性初始矩阵；i＝1，2，…，n；n为图片B中作为源值的特征点个数；S为由特征点对组成的矩阵；
4.2)对方程Sh＝0进行展开，得到：
其中，h＝(h1,h2,h3,h4,h5,h6,h7,h8,h9)T为待求解的单应性矩阵，S为由特征点对组成的矩阵；
4.3)利用奇异值分解求解公式(1)，得到u,s,vt＝SVD(S)；u、s、vt为矩阵S经过奇异值分解后得到的矩阵；矩阵vt的最后一列向量即为矩阵h；
4.4)将矩阵h转换为N*N的单应性矩阵H。
2.根据权利要求1所述的一种基于改进RANSAC算法的多图像协同拼接方法，其特征在于：获取待拼接图像的特征点的步骤包括：
1)利用SIFT算法检测待拼接图像的所有特征点；
2)计算每个特征点周围的梯度方向；
3)获取每一特征点m维的特征向量。
3.根据权利要求1所述的一种基于改进RANSAC算法的多图像协同拼接方法，其特征在于，利用KNN算法进行特征点匹配的步骤包括：
1)选择所有待拼接图像中的两幅图像，分别记为图片M和图片N；
2)计算图片M中第i个特征点到图片N中所有特征点的距离，并写入距离集合中；i初始值为1；
3)记录所述距离集合中数值最小的两个元素，并计算这两个元素的差值Δd；若差值Δd≤ε，则删除图片M中第i个特征点，令i＝i+1，返回步骤2)，直至图片M中每个特征点到图片N中所有特征点的距离均计算完毕，记录图片M和图片N特征点的对应关系，否则，直接令i＝i+1，并返回步骤2)；ε为特征点距离阈值；
3)返回步骤1)，直至所有待拼接图像两两匹配完毕。
4.根据权利要求1所述的一种基于改进RANSAC算法的多图像协同拼接方法，其特征在于，对待拼接图像进行投影映射，完成多图像协同拼接的步骤包括：
1)构建与目标全景图的大小相匹配的画布；
2)依次用每个图像的单应性矩阵H乘以各自图像的坐标点，进行坐标变换；
3)将每个变换后的图像添加到画布上，得到拼接好的全景图。
CN202110937284.7A 2021-08-16 2021-08-16 一种基于改进ransac算法的多图像协同拼接方法 Active CN113781299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110937284.7A CN113781299B (zh) 2021-08-16 2021-08-16 一种基于改进ransac算法的多图像协同拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110937284.7A CN113781299B (zh) 2021-08-16 2021-08-16 一种基于改进ransac算法的多图像协同拼接方法

Publications (2)

Publication Number Publication Date
CN113781299A CN113781299A (zh) 2021-12-10
CN113781299B true CN113781299B (zh) 2023-08-25

Family

ID=78837919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110937284.7A Active CN113781299B (zh) 2021-08-16 2021-08-16 一种基于改进ransac算法的多图像协同拼接方法

Country Status (1)

Country Link
CN (1) CN113781299B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869120A (zh) * 2016-06-16 2016-08-17 哈尔滨工程大学 一种图像拼接的实时性优化方法
CN109767388A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于超像素提升图像拼接质量的方法、移动终端、相机
CN110610457A (zh) * 2018-06-14 2019-12-24 杭州海康威视数字技术股份有限公司 全景图像拼接方法、装置以及系统
CN113160048A (zh) * 2021-02-02 2021-07-23 重庆高新区飞马创新研究院 一种缝合线引导的图像拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710932B (zh) * 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869120A (zh) * 2016-06-16 2016-08-17 哈尔滨工程大学 一种图像拼接的实时性优化方法
CN110610457A (zh) * 2018-06-14 2019-12-24 杭州海康威视数字技术股份有限公司 全景图像拼接方法、装置以及系统
CN109767388A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于超像素提升图像拼接质量的方法、移动终端、相机
CN113160048A (zh) * 2021-02-02 2021-07-23 重庆高新区飞马创新研究院 一种缝合线引导的图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
航拍图像拼接算法的研究与实现;徐忠洋;《中国优秀硕士论文数据辑》;全文 *

Also Published As

Publication number Publication date
CN113781299A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
Capel et al. Computer vision applied to super resolution
US8447140B1 (en) Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
CN109618090A (zh) 对通过使用广角透镜捕获的图像的图像失真校正的方法和系统
US9824486B2 (en) High resolution free-view interpolation of planar structure
CN111553939B (zh) 一种多目摄像机的图像配准算法
CN109154973A (zh) 执行卷积图像变换估算的方法和系统
Ravichandran et al. Video registration using dynamic textures
EP1932114A2 (en) Image processing apparatus and image processing program
CN107767339B (zh) 一种双目立体图像拼接方法
US10701336B2 (en) Rectifying a sequence of stereo images
CN102521816A (zh) 一种云数据中心机房实时宽场景监控合成方法
US20070237417A1 (en) Method and apparatus for determining camera focal length
CN108280805B (zh) 一种基于流形优化的图像拼接方法
Hwang et al. Probabilistic moving least squares with spatial constraints for nonlinear color transfer between images
CN110378250A (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN106204507B (zh) 一种无人机图像拼接方法
Xue et al. Fisheye distortion rectification from deep straight lines
Guo et al. Uav image stitching using shape-preserving warp combined with global alignment
CN115456870A (zh) 基于外参估计的多图像拼接方法
Zhang et al. Natural image stitching with layered warping constraint
CN113628134B (zh) 图像降噪方法及装置、电子设备及存储介质
Shi et al. Misalignment-eliminated warping image stitching method with grid-based motion statistics matching
Jin A three-point minimal solution for panoramic stitching with lens distortion
CN106845555A (zh) 基于Bayer格式的图像匹配方法及图像匹配装置
CN117853848A (zh) 一种构建双目视觉的rgb-ir图像对数据集的方法及处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant