CN111899164A - 一种针对多焦段场景的图像拼接方法 - Google Patents

一种针对多焦段场景的图像拼接方法 Download PDF

Info

Publication number
CN111899164A
CN111899164A CN202010486681.2A CN202010486681A CN111899164A CN 111899164 A CN111899164 A CN 111899164A CN 202010486681 A CN202010486681 A CN 202010486681A CN 111899164 A CN111899164 A CN 111899164A
Authority
CN
China
Prior art keywords
image
point
pair
matching
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010486681.2A
Other languages
English (en)
Other versions
CN111899164B (zh
Inventor
姚莉
杜俊康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010486681.2A priority Critical patent/CN111899164B/zh
Publication of CN111899164A publication Critical patent/CN111899164A/zh
Application granted granted Critical
Publication of CN111899164B publication Critical patent/CN111899164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明针对未知排列的多焦段图像对，利用先验的RANSAC方法和多种图像对齐约束优化图像配准效果，使用基于图像对重叠区域细节增强的缝合线检测算法来优化多焦段场景下的拼接效果。在配准阶段，使用基于最近邻距离比值的特征匹配算法获取点线特征匹配对集合；其次，使用先验知识的RANSAC方法快速筛选出精确的特征匹配对集合；接着，对图像实施网格变形方法，提出多项图像对齐约束用于约束点线特征以及网格的变形过程，并使用柱面投影变换将图像对投影至同一平面，利用渐入渐出融合算法来形成一幅宽视野的高分辨拼接图像。本发明能够应对多焦段场景下的拼接需求，并能有效地提升位置排列多焦段相机图像的拼接效果，生成一幅高质量的图像拼接结果。

Description

一种针对多焦段场景的图像拼接方法
技术领域
本发明涉及一种图像拼接方法，特别涉及一种针对多焦段场景的图像拼接方法，属于计算机视觉和图像处理领域。
背景技术
在获取图像的过程当中，用户对于图像质量的要求在不断提高，包括图像的宽视角和高质量，图像拼接技术应运而生。目前，图像拼接无论是在学术界还是工业界都有着相对成熟的发展。例如三星公司推出的Gear360、大疆公司推出的多款无人机影像设备等等。针对多焦段场景，在应对不同的相机排列方式时，现阶段图像拼接技术中，仍然存在着以下几个问题：(1)图像对重叠区域中深度不一致；(2)图像的特征种类单一；(3)图像的特征数目相对较少；(4)图像的特征分布存在局限性，这些问题导致目前的图像拼接算法对于各类受约束场景下的图像匹配效果较差，并且在重叠区域易出现伪影现象，不能很好地利用起多焦段场景的优势。
发明内容
本发明为解决上述问题，提供了一种针对多焦段场景的图像拼接方法，这种方法能够应对多焦段场景下的拼接需求，同时采用该方法可以得到高质量的图像拼接结果。
为了实现上述目的，本发明的技术方案如下：一种针对多焦段场景的图像拼接方法，联合使用了一套基于网格优化的图像配准算法和基于最佳缝合线的图像融合算法，改进了多焦段场景下的图像拼接效果，包括以下步骤：
步骤1：对采集到的多个图像采用SIFT算法和LSD算法分别进行点特征和线段特征的检测。
步骤2：采用基于最近邻距离比值的特征匹配方法对上述生成的点线特征集合进行匹配计算。当一个特征信息在一幅图像中与多个特征信息之间的距离都很相似时，那么该特征的区分度是比较低的，会对图像相似度的判断产生干扰。设定一个最近邻与次近邻的比值阈值T，若最近邻距离与次近邻距离的比值小于比值阈值T，则可以接受这对匹配点。阈值的设定尽量会保持在实验经验值的0.4～0.6的范围内，阈值越低，准确率越高。因为比值越低则代表两个特征信息差异越大，相似度越小，区分度越大。
步骤3：采用基于先验的RANSAC方法，加速最佳全局单应矩阵的构建，生成更为精确的特征匹配集合。在初始化时提前确定好选取的子集，即构造先验集。将先验集构造的匹配结果局内点数目作为排序的依据，然后在后续每次采样时根据匹配结果进行由高到低的得分排序。这样在已知数据集的分布关系下，便有可能较早的确定好模型，同时提高了模型的计算速度，保证了模型构造的准确度，减少了迭代次数，并加快了特征对筛选的速度。最终可以计算得到优化的特征匹配对信息，供后续的网格变形过程计算的使用。
步骤4：对输入图像实施网格变形方法，在多个网格内构造局部单应变换关系，并构造位置分布更为均匀的匹配点。对于给定的多幅图像，分别对其划分出N1×N2＝(10×10)个大小为GridSize的网格。采集到每个网格的顶点集合信息
Figure BDA0002519484620000021
(第m幅图像上的第i个顶点信息)，再利用图像对的顶点集信息在对应的网格内寻找单应变换关系，保证每个网格都能够对齐。为了加速各个网格的计算过程，对各个网格使用双线性插值方法。因为一个网格内是保持同一个变换关系的，所以可以利用插值计算得到的点信息来进行匹配计算，并且每个对应网格的单应变换关系的计算过程是并行的，因此可以利用多线程技术来加速算法的并行计算过程。
步骤5：利用光束平差法修正相机参数，并确定图像的尺度因子，便于优化多焦段的尺度差异
步骤6：利用多项图像对齐约束，约束点线特征和网格的变形过程，构造更为精确的特征匹配集合和变换模型。
步骤7：利用柱面投影变换方法将变形后的图像投影至同一平面。
步骤8：针对多目多焦段场景，采用了基于图像对重叠区域细节增强的缝合线检测算法，优化多目多焦段场景下的拼接效果；针对一般场景(非多目多焦段场景)，采用了基于最大流图割法的缝合线检测算法，优化图像拼接结果中的伪影问题。
步骤9：使用渐入渐出融合算法生成一幅宽视野的高分辨率拼接结果。该适用于各种排列方式的多焦段相机，并能充分利用各个焦距镜头的相机优势。本发明能够应对多焦段场景下的拼接需求，并能有效地提升多焦段场景下的拼接效果，生成一幅高质量的图像拼接结果。
基于图像对重叠区域细节增强的缝合线检测算法，充分利用各个镜头的优势，将宽视野和高分辨进行结合。假定图像对Ii、Ij，图像Ii为短焦镜头拍摄的宽视野图像，图像Ij是长焦镜头拍摄的窄视野图像。首先对定位图像对Ii、Ij重叠区域在各个图像中的位置，生成图像掩码矩阵。图像掩码矩阵同一行/列(重叠区域宽大于高/宽小于高)值的突变便是缝合线的取值点，通过控制缝合线来左右重叠区域中对于图像对Ii、Ij的取值。长焦镜头的画面相较于短焦镜头而言，细节更为丰富，因此可以通过操作图像掩码矩阵使得重叠区域都取图像Ij中的像素值，这样就可以达到丰富重叠区域内图像细节的效果。
相对于现有技术，本发明的优点如下：1)本发明在图像数据特征已知的基础上，改进了传统的RANSAC方法，利用先验知识，加速了RANSAC方法的筛选速度，并可以获得更为精确的筛选结果；2)本发明提出了多项图像对齐约束，约束了图像中点线特征以及网格的变形过程，得到了更为精细的特征集合和图像变换参数；3)本发明不需要提前获取相机排列及相机内外参数，提出了一种基于图像重叠区域细节增强的缝合线检测算法，利用了多目多焦段场景下各个镜头的优势，提升了拼接效果，使得拼接结果重叠区域的细节更为丰富。
附图说明
图1为本发明的整体流程图。
具体实施方式
下面结合附图对本发明进行详细阐述，具体步骤如下。
实施例1：如图1所示，本发明主要包括两个过程，即基于网格优化的图像配准算法和基于最佳缝合线的图像融合算法，下面针对每一部分进行详细说明：
一、基于网格优化的图像配准算法
如图所示，将该场景的图像作为输入。在本发明中的图像配准方案中，采取了以下流程进行计算：
步骤1：采用SIFT算法和LSD算法对图像进行点特征和线特征的提取：
本发明首先采用SIFT算法进行特征点检测。随后，本发明使用了LSD算法来检测图像中的线段特征信息。在检测到的线段特征结果集合中，对其进行充足的实验，确定了一个经验阈值，对线段检测结果集合进行筛选。LSD算法中对直线段定义了宽度和长度两大信息，通过对给定的线段进行宽度阈值和长度阈值的筛选，便可以得到优化的线段特征集合。
步骤2：依据基于最近邻距离比值的特征点匹配算法和LPI线段特征匹配算法将特征集合进行匹配计算：
针对基于最近邻距离比值法的特征点匹配方法。当一个特征信息在一幅图像中与多个特征信息之间的距离都很相似时，那么该特征的区分度是比较低的，会对图像相似度的判断产生干扰。设定一个最近邻与次近邻的比值阈值T，若最近邻距离与次近邻距离的比值小于比值阈值T，则可以接受这对匹配点。阈值的设定尽量会保持在实验经验值的0.4～0.6的范围内，阈值越低，准确率越高。因为比值越低则代表两个特征信息差异越大，相似度越小，区分度越大。
步骤3：采用基于先验的RANSAC方法筛选特征匹配对集合，更加快速地获取优化的特征匹配对集合：在初始化时提前确定好选取的子集，即构造先验集。将先验集构造的匹配结果局内点数目作为排序的依据，然后在后续每次采样时根据匹配结果进行由高到低的得分排序。这样在已知数据集的分布关系下，便有可能较早的确定好模型，同时提高了模型的计算速度，最终可以计算得到优化的特征匹配对信息。
步骤4：采用APAP方法对图像实施网格变形方法，将图像划分成10×10个网格，并采集各个网格的顶点信息，接着在各个网格内构造单应变换矩阵，并生成位置分布均匀的匹配点信息；
步骤5：利用光束平差法修正相机参数，并确定图像的尺度因子，便于优化多焦段的尺度差异：
利用计算得到的内参值Ki(i＝1,2,…,n)和外参值Ri(i＝1,2,…,n)，再结合图像对的所有待配准特征点对(p,q)∈Gij，Gij是所有待配准特征点对集合。通过最小化投影误差的平方和函数来求得最终的最优解，(i,j)∈I是所有图像对，计算中忽略了尺度因子si、sj的影响。可列出如下目标函数，获得修正的相机内外参数：
Figure BDA0002519484620000041
根据上述优化得到的相机内参，可以从中提取到相机的焦距信息fi(i＝1,2,…,n)。那么每幅图像的尺度因子si便可以使用如下方式计算得到：
si＝fm/fi
步骤6：采用多项图像对齐约束来约束点线特征和网格的变形过程，并根据不同情况的场景才定义能量函数各个约束项的权重系数；
步骤7：采用柱面投影变换方法来将图像投影至同一平面。
二、基于最佳缝合线的图像融合算法；
步骤8：针对多焦段场景的特点，本发明使用基于图像对重叠区域细节增强的缝合线检测算法来应对该场景的需求：在多焦段场景下，本算法关注于图像的细节增强效果，结合了不同焦距镜头的优势，提升了拼接图像的效果；
步骤9：将短焦图像的大视角和长焦图像丰富的细节进行结合，使得图像对的重叠区域占满长焦的图像，得到一幅宽视野的高分辨率图像。
其中，所述步骤2具体过程如下：依据基于最近邻距离比值的特征点匹配算法和LPI线段特征匹配算法将特征集合进行匹配计算：针对基于最近邻距离比值法的特征点匹配方法，当一个特征信息在一幅图像中与多个特征信息之间的距离都很相似时，那么该特征的区分度是比较低的，会对图像相似度的判断产生干扰。设定一个最近邻与次近邻的比值阈值T，若最近邻距离与次近邻距离的比值小于比值阈值T，则可以接受这对匹配点,阈值的设定尽量会保持在实验经验值的0.4～0.6的范围内，阈值越低，准确率越高，因为比值越低则代表两个特征信息差异越大，相似度越小，区分度越大。
所述步骤4具体过程如下：对输入图像实施网格变形方法，在多个网格内构造局部单应变换关系，并构造位置分布更为均匀的匹配点，对于给定的多幅图像，分别对其划分出N1×N2＝(10×10)个大小为GridSize的网格，采集到每个网格的顶点集合信息
Figure BDA0002519484620000051
(第m幅图像上的第i个顶点信息)，再利用图像对的顶点集信息在对应的网格内寻找单应变换关系，保证每个网格都能够对齐。为了加速各个网格的计算过程，对各个网格使用双线性插值方法。因为一个网格内是保持同一个变换关系的，所以可以利用插值计算得到的点信息来进行匹配计算，并且每个对应网格的单应变换关系的计算过程是并行的，因此可以利用多线程技术来加速算法的并行计算过程。
所述的步骤5具体过程如下，为了约束网格和点线特征的变形过程，获取更为精确的特征匹配集合和变换模型，提出了多项图像对齐约束，并构建了一个能量函数：
5.1点特征对齐约束：在网格变形的计算过程中，在划分网格时建立网格的顶点集信息，假设图像Is上的点p和图像It上的点p′是一对匹配点，点p是由其所在网格的四个顶点
Figure BDA0002519484620000061
进行插值化得到的，
Figure BDA0002519484620000062
是网格四个顶点对应的插值系数,在变换前后插值系数都是保持一致的，则可以构建得到如下公式的匹配点对约束来最小化对齐误差：
Figure BDA0002519484620000063
5.2线特征对齐约束：假定图像Is的直线段L＝[a,b]和图像It中的直线段L′＝[a′,b′]是一对匹配的直线段。[a,b]和[a′,b′]分别为直线段的首末端点,为了最小化对齐误差，在线段L上进行采样，类似点特征对约束的建立，认为变换前后插值系数是不变的，然后最小化采样点与匹配的直线段L′之间的距离；假设目标图像上的直线段L′的表达式为kx+b–y＝0，那么构建得到如下公式中的线段匹配对约束来最小化对齐误差：
Figure BDA0002519484620000064
Figure BDA0002519484620000065
5.3直线保护约束：通过直线段检测算法来检测图像中的直线段，Li作为图像Ii中检测到的直线段集合,对于集合Li中的一条直线段m，假定其由n个子线段组成，那么直线段m可以采样得到n+1个采样点P0、P1、P2,……,Pn。每个采样点Pi皆是由四个网格顶点Vi双线性插值化得到的，每个顶点有对应的插值化系数wi,采样点Pi应当可以通过直线段的首末端点P0、Pn线性组合得到，建立得到如下公式中的直线保护约束等式：
Figure BDA0002519484620000066
5.4形状一致性约束：假定
Figure BDA0002519484620000067
为第i个图像匹配对的第j个网格的四个顶点，其中
Figure BDA0002519484620000068
和
Figure BDA0002519484620000069
分别为网格四边形划分的两个三角形顶点，假定三角形
Figure BDA0002519484620000071
中的顶点
Figure BDA0002519484620000072
可以被另外的两个顶点
Figure BDA0002519484620000073
利用相关系数m、n所表示。
Figure BDA0002519484620000074
为了约束每个网格维持一个相似的变换行为，那么应当保证变形后的三角形顶点
Figure BDA0002519484620000075
也满足
Figure BDA0002519484620000076
可由
Figure BDA0002519484620000077
和
Figure BDA0002519484620000078
经由同样的系数m、n表示。那么可以得出如下公式中的约束关系式：
Figure BDA0002519484620000079
能量函数Eenergy的建立是用来保证对齐质量以及网格变形模型的平滑度，并且通过优化该函数来获取网格顶点的最佳位置和最佳线段，构造更为准确的特征匹配对集合；
在建立上述约束之后，通过统一这些约束来构建一个能量函数Eenergy，并最小化该能量函数，得到精确的网格顶点数据集和点、线特征集，从而最大化保证图像的对齐效果。能量函数Eenergy定义如下所示：
Eenergy(V)＝αEpoint(V)+βEline(V)+γElineProtect(V)+δEshape(V)
能量函数Eenergy(V)由上述提出的各个约束项构成，并在每项约束项前添加了不同的权重系数。点特征对对齐约束的权重系数α和形状一致性约束项的权重系数δ皆设置为0.25，其他权重系数在应对不同场景条件下会随之浮动。当处理弱纹理场景或者特征检测困难场景时，可将β和γ权重系数略高地提高，提升图像配准的准确度；在处理一般场景时，β和γ权重系数设置为定值0.25；
当顶点集合中的顶点距离小于等于一个像素点时，能量函数的优化过程便趋于收敛。最后根据该综合代价函数便可以得到一个优化的特征匹配对集合和相关的变换参数(包括单应矩阵、相机内外参数等信息)。
步骤7具体过程如下，本专利在针对多焦段场景时，提出了基于重叠区域细节增强的缝合线检测算法，充分利用各个镜头的优势，将宽视野和高分辨进行结合。假定图像对Ii、Ij，图像Ii为短焦镜头拍摄的宽视野图像，图像Ij是长焦镜头拍摄的窄视野图像，首先对定位图像对Ii、Ij重叠区域在各个图像中的位置，生成图像掩码矩阵，依据缝合线的特点：
7.1若图像对重叠区域的宽小于高，则缝合线是纵向的；否则，缝合线是横向的；
7.2缝合线的走向是从重叠区域矩形边的一条边出发，到另一条平行边结束。图像掩码矩阵同一行/列(重叠区域宽大于高/宽小于高)值的突变便是缝合线的取值点，通过控制缝合线来左右重叠区域中对于图像对Ii、Ij的取值,长焦镜头的画面相较于短焦镜头而言，细节更为丰富，因此可以通过操作图像掩码矩阵使得重叠区域都取图像Ij中的像素值，这样就可以达到丰富重叠区域内图像细节的效果。
所述步骤9具体过程如下：
基于图像对重叠区域细节增强的缝合线检测算法，充分利用各个镜头的优势，将宽视野和高分辨进行结合。假定图像对Ii、Ij，图像Ii为短焦镜头拍摄的宽视野图像，图像Ij是长焦镜头拍摄的窄视野图像,首先对定位图像对Ii、Ij重叠区域在各个图像中的位置，生成图像掩码矩阵,图像掩码矩阵同一行/列(重叠区域宽大于高/宽小于高)值的突变便是缝合线的取值点，通过控制缝合线来左右重叠区域中对于图像对Ii、Ij的取值，长焦镜头的画面相较于短焦镜头而言，细节更为丰富，因此可以通过操作图像掩码矩阵使得重叠区域都取图像Ij中的像素值，这样就可以达到丰富重叠区域内图像细节的效果。
需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。

Claims (7)

1.一种针对多焦段场景的图像拼接方法，其特征在于，所述方法包括以下步骤：
步骤1：对采集到的不同焦段的多个图像采用SIFT算法和LSD算法分别进行点特征和线段特征的检测，
步骤2：采用基于最近邻距离比值的点线特征相结合的匹配方法进行匹配计算；
步骤3：采用基于先验的RANSAC方法，筛选特征误匹配对；
步骤4：对输入图像实施网格变形方法，在多个网格内构造局部单应变换关系；
步骤5：利用光束平差法修正相机参数，并确定图像的尺度因子，便于优化多焦段场景图像之间的尺度差异；
步骤6：利用包括点特征对齐、线特征对齐、直线保护和形状一致多项图像对齐约束，构造更为精确的特征匹配集合和变换模型；
步骤7：利用柱面投影变换方法将变形后的图像投影至同一平面；
步骤8：采用基于图像对重叠区域细节增强的缝合线检测算法，优化多目多焦段场景下的拼接效果，采用基于最大流图割法的缝合线检测算法，优化图像拼接结果中的伪影问题；
步骤9：使用渐入渐出融合算法生成一幅宽视野的高分辨率拼接结果。
2.根据权利要求1所述的针对多焦段场景的图像拼接方法，其特征在于，步骤3具体过程如下：先对图像特征数据的分布特点进行提取，形成先验知识集，在RANSAC方法的多次迭代过程中，通过拟定的先验集来构造变换模型。
3.根据权利要求1所述的针对多焦段场景的图像拼接方法，其特征在于，所述的步骤5具体过程如下，为了约束网格和点线特征的变形过程，获取更为精确的特征匹配集合和变换模型，提出了多项图像对齐约束，并构建了一个能量函数；
5.1点特征对齐约束：在网格变形的计算过程中，在划分网格时建立网格的顶点集信息，假设图像Is上的点p和图像It上的点p′是一对匹配点，点p是由其所在网格的四个顶点
Figure FDA0002519484610000011
进行插值化得到的，
Figure FDA0002519484610000012
是网格四个顶点对应的插值系数,在变换前后插值系数都是保持一致的，则可以构建得到如下公式的匹配点对约束来最小化对齐误差：
Figure FDA0002519484610000013
5.2线特征对齐约束：假定图像Is的直线段L＝[a,b]和图像It中的直线段L′＝[a′,b′]是一对匹配的直线段。[a,b]和[a′,b′]分别为直线段的首末端点,为了最小化对齐误差，在线段L上进行采样，类似点特征对约束的建立，认为变换前后插值系数是不变的，然后最小化采样点与匹配的直线段L′之间的距离；假设目标图像上的直线段L′的表达式为kx+b–y＝0，那么构建得到如下公式中的线段匹配对约束来最小化对齐误差：
Figure FDA0002519484610000021
Figure FDA0002519484610000022
5.3直线保护约束：通过直线段检测算法来检测图像中的直线段，Li作为图像Ii中检测到的直线段集合,对于集合Li中的一条直线段m，假定其由n个子线段组成，那么直线段m可以采样得到n+1个采样点P0、P1、P2,……,Pn。每个采样点Pi皆是由四个网格顶点Vi双线性插值化得到的，每个顶点有对应的插值化系数wi,采样点Pi应当可以通过直线段的首末端点P0、Pn线性组合得到，建立得到如下公式中的直线保护约束等式：
Figure FDA0002519484610000023
5.4形状一致性约束：假定
Figure FDA0002519484610000024
为第i个图像匹配对的第j个网格的四个顶点，其中
Figure FDA0002519484610000025
和
Figure FDA0002519484610000026
分别为网格四边形划分的两个三角形顶点，假定三角形
Figure FDA0002519484610000027
Figure FDA0002519484610000028
中的顶点
Figure FDA0002519484610000029
可以被另外的两个顶点
Figure FDA00025194846100000210
利用相关系数m、n所表示；
Figure FDA00025194846100000211
为了约束每个网格维持一个相似的变换行为，那么应当保证变形后的三角形顶点
Figure FDA00025194846100000212
Figure FDA00025194846100000213
也满足
Figure FDA00025194846100000214
可由
Figure FDA00025194846100000215
和
Figure FDA00025194846100000216
经由同样的系数m、n表示；得出如下公式中的约束关系式：
Figure FDA00025194846100000217
能量函数Eenergy的建立是用来保证对齐质量以及网格变形模型的平滑度，并且通过优化该函数来获取网格顶点的最佳位置和最佳线段，构造更为准确的特征匹配对集合；
在建立上述约束之后，通过统一这些约束来构建一个能量函数Eenergy，并最小化该能量函数，得到精确的网格顶点数据集和点、线特征集，从而最大化保证图像的对齐效果。能量函数Eenergy定义如下所示：
Eenergy(V)＝αEpoint(V)+βEline(V)+γElineProtect(V)+δEshape(V)
能量函数Eenergy(V)由上述提出的各个约束项构成，并在每项约束项前添加了不同的权重系数；点特征对对齐约束的权重系数α和形状一致性约束项的权重系数δ皆设置为0.25，其他权重系数在应对不同场景条件下会随之浮动。当处理弱纹理场景或者特征检测困难场景时，可将β和γ权重系数略高地提高，提升图像配准的准确度；在处理一般场景时，β和γ权重系数设置为定值0.25。
4.根据权利要求1所述的针对多焦段场景的图像拼接方法，其特征在于，步骤7具体过程如下，假定图像对Ii、Ij，图像Ii为短焦镜头拍摄的宽视野图像，图像Ij是长焦镜头拍摄的窄视野图像，首先对定位图像对Ii、Ij重叠区域在各个图像中的位置，生成图像掩码矩阵，依据缝合线的特点：
7.1若图像对重叠区域的宽小于高，则缝合线是纵向的；否则，缝合线是横向的；
7.2缝合线的走向是从重叠区域矩形边的一条边出发，到另一条平行边结束。
5.根据权利要求1所述的针对多焦段场景的图像拼接方法，其特征在于，所述步骤2具体过程如下：依据基于最近邻距离比值的特征点匹配算法和LPI线段特征匹配算法将特征集合进行匹配计算：针对基于最近邻距离比值法的特征点匹配方法，设定一个最近邻与次近邻的比值阈值T，若最近邻距离与次近邻距离的比值小于比值阈值T，则可以接受这对匹配点,阈值的设定尽量会保持在实验经验值的0.4～0.6的范围内。
6.根据权利要求1所述的针对多焦段场景的图像拼接方法，其特征在于，所述步骤4具体过程如下：对输入图像实施网格变形方法，在多个网格内构造局部单应变换关系，并构造位置分布更为均匀的匹配点，对于给定的多幅图像，分别对其划分出N1×N2＝(10×10)个大小为GridSize的网格，采集到每个网格的顶点集合信息
Figure FDA0002519484610000031
(第m幅图像上的第i个顶点信息)，再利用图像对的顶点集信息在对应的网格内寻找单应变换关系，保证每个网格都能够对齐。
7.根据权利要求1所述的针对多焦段场景的图像拼接方法，其特征在于，所述步骤9具体过程如下：假定图像对Ii、Ij，图像Ii为短焦镜头拍摄的宽视野图像，图像Ij是长焦镜头拍摄的窄视野图像,首先对定位图像对Ii、Ij重叠区域在各个图像中的位置，生成图像掩码矩阵,图像掩码矩阵同一行/列(重叠区域宽大于高/宽小于高)值的突变便是缝合线的取值点，通过控制缝合线来左右重叠区域中对于图像对Ii、Ij的取值，通过操作图像掩码矩阵使得重叠区域都取图像Ij中的像素值。
CN202010486681.2A 2020-06-01 2020-06-01 一种针对多焦段场景的图像拼接方法 Active CN111899164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010486681.2A CN111899164B (zh) 2020-06-01 2020-06-01 一种针对多焦段场景的图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010486681.2A CN111899164B (zh) 2020-06-01 2020-06-01 一种针对多焦段场景的图像拼接方法

Publications (2)

Publication Number Publication Date
CN111899164A true CN111899164A (zh) 2020-11-06
CN111899164B CN111899164B (zh) 2022-11-15

Family

ID=73207660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010486681.2A Active CN111899164B (zh) 2020-06-01 2020-06-01 一种针对多焦段场景的图像拼接方法

Country Status (1)

Country Link
CN (1) CN111899164B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529019A (zh) * 2020-12-24 2021-03-19 华中科技大学 基于直线特征和关键点特征融合的图像拼接方法和系统
CN112950468A (zh) * 2021-02-01 2021-06-11 咪咕文化科技有限公司 图像拼接方法、电子设备及可读存储介质
CN113221665A (zh) * 2021-04-19 2021-08-06 东南大学 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN113344795A (zh) * 2021-08-05 2021-09-03 常州铭赛机器人科技股份有限公司 一种基于先验信息的快速图像拼接方法
CN114820314A (zh) * 2022-04-27 2022-07-29 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
TWI803333B (zh) * 2022-05-31 2023-05-21 鴻海精密工業股份有限公司 圖像特徵匹配方法、電腦裝置及儲存介質

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107734268A (zh) * 2017-09-18 2018-02-23 北京航空航天大学 一种结构保持的宽基线视频拼接方法
CN110211043A (zh) * 2019-05-11 2019-09-06 复旦大学 一种用于全景图像拼接的基于网格优化的配准方法
CN110246161A (zh) * 2019-06-04 2019-09-17 哈尔滨工程大学 一种360度全景图像无缝拼接的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107734268A (zh) * 2017-09-18 2018-02-23 北京航空航天大学 一种结构保持的宽基线视频拼接方法
CN110211043A (zh) * 2019-05-11 2019-09-06 复旦大学 一种用于全景图像拼接的基于网格优化的配准方法
CN110246161A (zh) * 2019-06-04 2019-09-17 哈尔滨工程大学 一种360度全景图像无缝拼接的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何川等: "具有直线结构保护的网格化图像拼接", 《中国图象图形学报》 *
迟龙云等: "基于局部单应性矩阵的图像拼接与定位算法研究", 《导航定位与授时》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529019A (zh) * 2020-12-24 2021-03-19 华中科技大学 基于直线特征和关键点特征融合的图像拼接方法和系统
CN112529019B (zh) * 2020-12-24 2024-02-09 华中科技大学 基于直线特征和关键点特征融合的图像拼接方法和系统
CN112950468A (zh) * 2021-02-01 2021-06-11 咪咕文化科技有限公司 图像拼接方法、电子设备及可读存储介质
CN113221665A (zh) * 2021-04-19 2021-08-06 东南大学 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN113344795A (zh) * 2021-08-05 2021-09-03 常州铭赛机器人科技股份有限公司 一种基于先验信息的快速图像拼接方法
CN114820314A (zh) * 2022-04-27 2022-07-29 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
TWI803333B (zh) * 2022-05-31 2023-05-21 鴻海精密工業股份有限公司 圖像特徵匹配方法、電腦裝置及儲存介質

Also Published As

Publication number Publication date
CN111899164B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN111899164B (zh) 一种针对多焦段场景的图像拼接方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
CN111343367B (zh) 一种十亿像素虚拟现实视频采集装置、系统与方法
CN105245841A (zh) 一种基于cuda的全景视频监控系统
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN104463859B (zh) 一种基于跟踪指定点的实时视频拼接方法
CN107492080B (zh) 免定标便捷的单目镜头图像径向畸变矫正方法
CN110475123B (zh) 一种用于显微镜视频流的手动实时拼接方法
CN113221665A (zh) 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN109900274B (zh) 一种图像匹配方法及系统
CN112949478A (zh) 基于云台相机的目标检测方法
CN110662014B (zh) 一种光场相机四维数据大景深三维显示的方法
US8433187B2 (en) Distance estimation systems and method based on a two-state auto-focus lens
CN111815517A (zh) 一种基于球机抓拍图片的自适应全景拼接方法
CN109035170A (zh) 基于单网格图分段映射的自适应广角图像校正方法及装置
CN111047631A (zh) 一种基于单Kinect加圆盒的多视角三维点云配准方法
CN113160048A (zh) 一种缝合线引导的图像拼接方法
CN113630549A (zh) 变焦控制方法、装置、电子设备和计算机可读存储介质
CN111951339A (zh) 利用异构双目相机进行视差计算的图像处理方法
CN109544584B (zh) 一种实现巡检稳像精度测量的方法及系统
CN104156977A (zh) 基于多线列时差扫描扩展采样的点目标运动速度探测方法
CN116309844A (zh) 一种基于无人机单张航空图片的三维测量方法
CN104143179B (zh) 一种多线列时差扫描扩展采样的运动目标增强方法
JP2013120435A (ja) 画像処理装置および画像処理方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant