CN113034365A - 一种基于超像素的多图拼接方法及系统 - Google Patents

一种基于超像素的多图拼接方法及系统 Download PDF

Info

Publication number
CN113034365A
CN113034365A CN202110295215.0A CN202110295215A CN113034365A CN 113034365 A CN113034365 A CN 113034365A CN 202110295215 A CN202110295215 A CN 202110295215A CN 113034365 A CN113034365 A CN 113034365A
Authority
CN
China
Prior art keywords
image
superpixel
matrix
images
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110295215.0A
Other languages
English (en)
Other versions
CN113034365B (zh
Inventor
宋锐
张磊
李娇娇
郝丰达
张宇航
张书奥
王养利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110295215.0A priority Critical patent/CN113034365B/zh
Publication of CN113034365A publication Critical patent/CN113034365A/zh
Application granted granted Critical
Publication of CN113034365B publication Critical patent/CN113034365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于数字图像处理技术领域，公开了一种基于超像素的多图拼接方法及系统，所述基于超像素的多图拼接方法包括：对所有图像检测SIFT特征点，使用RANSAC算法筛除外点；对多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点，计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵；自适应构造非线性函数，对参数μs非线性化；根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；选择基准图像，将待拼接的多张图像相对基准平面做运动变换；进行逆映射和二次线性插值，得到最终配准结果。本发明克服了传统算法的相机只能做固定运动的缺点，并且具有较好的拼接效果。

Description

一种基于超像素的多图拼接方法及系统
技术领域
本发明属于数字图像处理技术领域，尤其涉及一种基于超像素的多图拼接方法及系统。
背景技术
目前，随着移动端手机的不断发展和迭代，人们对于相机的要求也越来越高，人们已经不满足于拍摄单张图像，而是希望将拍摄的图像拼接起来，图像拼接也成为了计算机视觉领域的研究热点。
基于特征点的图像拼接目前依然是图像拼接中的主流算法，该算法中最具代表性的就是AutoStitch，该软件集合了全局单应性对齐、球面投影、BA优化和多频段融合等算法，但是该软件对相机的运动有着较高的要求，运动不满足围绕光心旋转，拼接得到的结果就会出现虚影和错位问题，不能用于手持相机作复杂运动的图像拼接。目前大都是对图像划分网格来进行拼接算法研究，划分网格拼接的方法其过程只与图像的大小有关，忽略了图像自身的色彩与结构的一致性，每个区域具有不一样的变换参数，会导致误差。因此需要使用更合理的配准单元。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有基于特征点的图像拼接方法，对相机的运动有着较高的要求，运动不满足围绕光心旋转，拼接得到的结果就会出现虚影和错位问题，不能用于手持相机作复杂运动的图像拼接。
(2)目前大都是对图像划分网格来进行拼接算法研究，划分网格拼接的方法其过程只与图像的大小有关，忽略了图像自身的色彩与结构的一致性，每个区域具有不一样的变换参数，会导致误差。
解决以上问题及缺陷的难度为：传统算法中相机的各种运动，其对应的数学模型是不一样的，尤其是相机的复杂运动会对图像拼接模型的难度要求比较高，否则容易出现伪影，能用容忍度较强的算法同时对相机的多种运动情况进行拼接也是难点；而以超像素为配准单元的拼接，由于超像素的不规则分布，其在映射方式上要求更高，否则结果就会出现像素漏洞的情况。
解决以上问题及缺陷的意义为：本发明可以实现相机多种运动情况下的多张图像的拼接，而且具有较好的效果，首次给出了一个以超像素单元进行多张图以及可以用到多种场合的拼接方案，对于现实生活具有较强的应用意义。
发明内容
针对现有技术存在的问题，本发明提供了一种基于超像素的多图拼接方法及系统。
本发明是这样实现的，一种基于超像素的多图拼接方法，所述基于超像素的多图拼接方法包括以下步骤：
步骤一，对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点；可以使得在计算对超像素块边缘点的影响矩阵时具有较好的配准参数。
步骤二，使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点，计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵，该方法可以准确的对超像素的局部单应矩阵实现计算，而且具有较强的鲁棒性；
步骤三，利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化，可以对每个超像素的局部单应矩阵与相似变换矩阵之间好的组合过渡；
步骤四，根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；
步骤五，选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换，可以在空间上对每张图像进行排列定位；
步骤六，进行逆映射，进行二次线性插值，得到最终配准结果。
进一步，步骤一中，所述对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点，包括：
提取图像中的特征点，并计算特征点对应的角点描述符，利用角点描述符进行特征匹配，得到对应的匹配对集合，然后去除外点，具体包括：
采用SIFT算法提取图像中的特征点，SIFT算法会从图像中提取出位置、尺度和旋转的不变量，将这些不变量称为特征点；之后生成描述符，使用K-D Tree来匹配多张图像之间角点描述符的距离，得到对应的特征匹配对集合，然后利用RANSAC算法去除外点。
进一步，步骤二中，第k个超像素的一个边缘点的最小误差函数如下式所示：
Figure BDA0002984075240000031
其中，Wk表示特征点对超像素边缘点的影响矩阵，使用最小二乘法求解该式，可以得到边缘的局部单应矩阵Hk；
所述超像素的整体局部单应矩阵为：
Figure BDA0002984075240000032
进一步，步骤三中，所述计算相似变换的公式如下：
Figure BDA0002984075240000033
其中，(x′，x)代表匹配点对，HS为相似变换矩阵，R为旋转矩阵，t为平移矩阵；用齐次坐标表示为：
Figure BDA0002984075240000034
令β1＝s*cos(θ)，β2＝s*sin(θ)，β3＝tx，β4＝ty；
则所述齐次坐标的公式变形为：
Figure BDA0002984075240000041
当有多个匹配点对时，上式中的系数矩阵叠加为矩阵D，可得最小误差函数：
Figure BDA0002984075240000042
使用最小二乘求解该式即可求得相似矩阵。
进一步，步骤四中，所述根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵的公式如下：
Figure BDA0002984075240000043
其中，
Figure BDA0002984075240000044
表示第i张图像的第k个超像素块的局部单应矩阵，
Figure BDA0002984075240000045
表示第i张图像的第k个超像素块更新后的复合局部变换，Si表示第i张图片的相似变换。
系数为自适应的非线性函数，图1为非线性参数的示意图；
Figure BDA0002984075240000046
Figure BDA0002984075240000047
其中，
Figure BDA0002984075240000048
为第k个超像素的x轴坐标，是变量；
Figure BDA0002984075240000049
是与图像i有关，表示所划分的超像素的横坐标的最小值；
Figure BDA00029840752400000410
是两张图重叠区域的宽度。
进一步，步骤五中，所述选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换的公式如下：
Figure BDA00029840752400000411
其中，Si为第i张图像的相似矩阵，
Figure BDA00029840752400000412
为第i个图像的第k个超像素的单应映射矩阵。
本发明的另一目的在于提供一种应用所述的基于超像素的多图拼接方法的基于超像素的多图拼接系统，所述基于超像素的多图拼接系统包括：
外点筛除模块，用于对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点；
超像素划分模块，用于使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点；
局部单应矩阵计算模块，用于计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵；
参数非线性化模块，用于利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化；
变换矩阵计算模块，用于根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；
运动变换模块，用于选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换；
配准结果获取模块，用于通过进行逆映射，进行二次线性插值，得到最终配准结果。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点；
使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点，计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵；
利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化；
根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；
选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换；
进行逆映射，进行二次线性插值，得到最终配准结果。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点；
使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点，计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵；
利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化；
根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；
选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换；
进行逆映射，进行二次线性插值，得到最终配准结果。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的基于超像素的多图拼接系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于超像素的多图拼接方法，通过自适应的调节映射参数，适应相机的多种运动情况，例如平移运动，旋转运动，旋转与平移运动等复杂运动，拼接后的图像克服了透视畸变，同时也能减小视差的影响。同时，本发明可以克服对相机只能做固定运动的缺点，并且提出的方法也能克服透视畸变的问题，具有较好的拼接效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多图拼接方法流程图。
图2是本发明实施例提供的多图拼接方法原理图。
图3是本发明实施例提供的基于超像素的多图拼接系统结构框图；
图中：1、外点筛除模块；2、超像素划分模块；3、局部单应矩阵计算模块；4、参数非线性化模块；5、变换矩阵计算模块；6、运动变换模块；7、配准结果获取模块。
图4是本发明实施例提供的非线性参数的示意图。
图5是本发明实施例提供的多张待拼接图像相对基准图像做运动变换的结果图。
图6是本发明实施例提供的相机作较为复杂运动下拍摄的图像的拼接结果示意图。
图7是本发明实施例提供的相机作旋转运动下拍摄的室内图像的拼接结果示意图。
图8是本发明实施例提供的相机平移运动下的室外图像拼接结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于超像素的多图拼接方法及系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于超像素的多图拼接方法包括以下步骤：
S101，对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点；
S102，使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点；
S103，计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵；
S104，利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化；
S105，根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；
S106，选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换；
S107，进行逆映射，进行二次线性插值，得到最终配准结果。
本发明实施例提供的基于超像素的多图拼接方法原理图如图2所示。
如图3所示，本发明实施例提供的基于超像素的多图拼接系统包括：
外点筛除模块1，用于对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点；
超像素划分模块2，用于使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点；
局部单应矩阵计算模块3，用于计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵；
参数非线性化模块4，用于利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化；
变换矩阵计算模块5，用于根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；
运动变换模块6，用于选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换；
配准结果获取模块7，用于通过进行逆映射，进行二次线性插值，得到最终配准结果。
下面结合实施例对本发明的技术方案作进一步的描述。
本发明提出一种基于超像素的多图拼接算法。通过自适应的调节映射参数，适应相机的多种运动情况，例如平移运动，旋转运动，旋转与平移运动等复杂运动，拼接后的图像克服了透视畸变，同时也能减小视差的影响。
对所有图像检测SIFT特征点，然使用RANSAC算法，筛除外点，使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点，然后计算每张图像上匹配到的特征点对每个超像素块边缘的影响矩阵，构造最小误差函数，将边缘点的局部单应矩阵作平均，得到每个超像素块的局部单应矩阵。利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化，根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵。选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换。然后进行逆映射，进行二次线性插值。最终得到拼接结果。
本发明的流程如图2所示，其具体步骤如下：
步骤1、提取图像中的特征点，并计算特征点对应的角点描述符，利用角点描述符进行特征匹配，得到对应的匹配对集合，然后去除外点，具体包括：采用SIFT算法提取图像中的特征点，SIFT算法会从图像中提取出位置、尺度和旋转的不变量，将这些不变量称为特征点；之后生成描述符，使用K-D Tree来匹配多张图像之间角点描述符的距离，得到对应的特征匹配对集合，然后利用RANSAC算法去除外点。
步骤2、使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点，计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵。
其中，第k个超像素的一个边缘点的最小误差函数如下式所示：
Figure BDA0002984075240000101
式中，Wk表示特征点对超像素边缘点的影响矩阵，使用最小二乘法求解该式，可以得到边缘的局部单应矩阵Hk。
超像素的整体局部单应矩阵为：
Figure BDA0002984075240000102
步骤3、利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化。其中，所述非线性参数的示意图如图4所示。
其中计算相似变换的公式如下：
Figure BDA0002984075240000103
式中，(x′，x)代表匹配点对，HS为相似变换矩阵，R为旋转矩阵，t为平移矩阵。用齐次坐标表示为：
Figure BDA0002984075240000104
令β1＝s*cos(θ)，β2＝s*sin(θ)，β3＝tx，β4＝ty
上式变形为：
Figure BDA0002984075240000111
当有多个匹配点对时，上式中的系数矩阵叠加为矩阵D，可得最小误差函数：
Figure BDA0002984075240000112
使用最小二乘求解该式即可求得相似矩阵。
步骤4、根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵。
公式如下：
Figure BDA0002984075240000113
其中，
Figure BDA0002984075240000114
表示第i张图像的第k个超像素块的局部单应矩阵，
Figure BDA0002984075240000115
表示第i张图像的第k个超像素块更新后的复合局部变换，Si表示第i张图片的相似变换。
系数为自适应的非线性函数，图1为非线性参数的示意图；
Figure BDA0002984075240000116
Figure BDA0002984075240000117
式中，
Figure BDA0002984075240000118
为第k个超像素的x轴坐标，是变量，
Figure BDA0002984075240000119
是与图像i有关，表示所划分的超像素的横坐标的最小值，
Figure BDA00029840752400001110
是两张图重叠区域的宽度。
步骤5、选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换。
公式如下：
Figure BDA00029840752400001111
式中，Si为第i张图像的相似矩阵，
Figure BDA00029840752400001112
为第i个图像的第k个超像素的单应映射矩阵。如图5所示，为多张图像的相对运动变换图像。
步骤6、进行逆映射，进行二次线性插值。最终得到拼接结果。图6为相机作较为复杂运动下拍摄的图像的拼接结果；图7为相机作旋转运动下拍摄的室内图像的拼接结果；图8为相机平移运动下的室外图像拼接结果。
如图4为本发明求解的非线性参数，图5为多张图相对基准图像作运动变换的结果图。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于超像素的多图拼接方法，其特征在于，所述基于超像素的多图拼接方法包括以下步骤：
步骤一，对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点；
步骤二，使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点，计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵；
步骤三，利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化；
步骤四，根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；
步骤五，选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换；
步骤六，进行逆映射，进行二次线性插值，得到最终配准结果。
2.如权利要求1所述的基于超像素的多图拼接方法，其特征在于，步骤一中，所述对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点，包括：提取图像中的特征点，并计算特征点对应的角点描述符，利用角点描述符进行特征匹配，得到对应的匹配对集合，然后去除外点，具体包括：采用SIFT算法提取图像中的特征点，SIFT算法会从图像中提取出位置、尺度和旋转的不变量，将不变量称为特征点；之后生成描述符，使用K-D Tree来匹配多张图像之间角点描述符的距离，得到对应的特征匹配对集合，然后利用RANSAC算法去除外点。
3.如权利要求1所述的基于超像素的多图拼接方法，其特征在于，步骤二中，第k个超像素的一个边缘点的最小误差函数如下式所示：
Figure FDA0002984075230000011
其中，Wk表示特征点对超像素边缘点的影响矩阵，使用最小二乘法求解该式，可以得到边缘的局部单应矩阵Hk；
所述超像素的整体局部单应矩阵为：
Figure FDA0002984075230000021
4.如权利要求1所述的基于超像素的多图拼接方法，其特征在于，步骤三中，所述计算相似变换的公式如下：
Figure FDA0002984075230000022
其中，(x′，x)代表匹配点对，Hs为相似变换矩阵，R为旋转矩阵，t为平移矩阵；用齐次坐标表示为：
Figure FDA0002984075230000023
令β1＝s*cos(θ)，β2＝s*sin(θ)，β3＝tx，β4＝ty；
则所述齐次坐标的公式变形为：
Figure FDA0002984075230000024
当有多个匹配点对时，上式中的系数矩阵叠加为矩阵D，可得最小误差函数：
Figure FDA0002984075230000025
使用最小二乘求解该式即可求得相似矩阵。
5.如权利要求1所述的基于超像素的多图拼接方法，其特征在于，步骤四中，所述根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵的公式如下：
Figure FDA0002984075230000026
其中，
Figure FDA0002984075230000027
表示第i张图像的第k个超像素块的局部单应矩阵，
Figure FDA0002984075230000028
表示第i张图像的第k个超像素块更新后的复合局部变换，Si表示第i张图片的相似变换；
系数为自适应的非线性函数，图1为非线性参数的示意图；
Figure FDA0002984075230000031
Figure FDA0002984075230000032
其中，
Figure FDA0002984075230000033
为第k个超像素的x轴坐标，是变量；
Figure FDA0002984075230000034
是与图像i有关，表示所划分的超像素的横坐标的最小值；
Figure FDA0002984075230000035
是两张图重叠区域的宽度。
6.如权利要求1所述的基于超像素的多图拼接方法，其特征在于，步骤五中，所述选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换的公式如下：
Figure FDA0002984075230000036
其中，Si为第i张图像的相似矩阵，
Figure FDA0002984075230000037
为第i个图像的第k个超像素的单应映射矩阵。
7.一种实施权利要求1～6任意一项所述的基于超像素的多图拼接方法的基于超像素的多图拼接系统，其特征在于，所述基于超像素的多图拼接系统包括：
外点筛除模块，用于对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点；
超像素划分模块，用于使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点；
局部单应矩阵计算模块，用于计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵；
参数非线性化模块，用于利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化；
变换矩阵计算模块，用于根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；
运动变换模块，用于选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换；
配准结果获取模块，用于通过进行逆映射，进行二次线性插值，得到最终配准结果。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点；
使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点，计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵；
利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化；
根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；
选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换；
进行逆映射，进行二次线性插值，得到最终配准结果。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
对所有图像检测SIFT特征点，使用RANSAC算法，筛除外点；
使用SLIC算法对输入的多张待拼接图像进行超像素划分，求得每个超像素点区域的四个边缘点，计算每张图像上匹配到的特征点对超像素块边缘点的影响矩阵，构造最小误差函数，求得每个超像素边缘的局部单应矩阵，并将四个边缘的局部单应矩阵做平均代表超像素的整体局部单应矩阵；
利用内点计算相似变换S，根据每个图像的大小与超像素的分布，自适应的构造非线性函数，对参数μs非线性化；
根据参数μs与μk计算每个图像的各自超像素单元的复合变换矩阵；
选择基准图像，以该基准图像的画布平面为参考，将待拼接的多张图像，相对基准平面做运动变换；
进行逆映射，进行二次线性插值，得到最终配准结果。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述的基于超像素的多图拼接系统。
CN202110295215.0A 2021-03-19 2021-03-19 一种基于超像素的多图拼接方法及系统 Active CN113034365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110295215.0A CN113034365B (zh) 2021-03-19 2021-03-19 一种基于超像素的多图拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110295215.0A CN113034365B (zh) 2021-03-19 2021-03-19 一种基于超像素的多图拼接方法及系统

Publications (2)

Publication Number Publication Date
CN113034365A true CN113034365A (zh) 2021-06-25
CN113034365B CN113034365B (zh) 2023-09-22

Family

ID=76471717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110295215.0A Active CN113034365B (zh) 2021-03-19 2021-03-19 一种基于超像素的多图拼接方法及系统

Country Status (1)

Country Link
CN (1) CN113034365B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672755A (zh) * 2021-08-03 2021-11-19 大连海事大学 一种低质量鞋印图像的表示方法及鞋印图像检索方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208997A1 (en) * 2010-11-02 2013-08-15 Zte Corporation Method and Apparatus for Combining Panoramic Image
US20160171707A1 (en) * 2014-12-10 2016-06-16 Ricoh Co., Ltd. Realogram Scene Analysis of Images: Superpixel Scene Analysis
CN106157319A (zh) * 2016-07-28 2016-11-23 哈尔滨工业大学 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN109064410A (zh) * 2018-10-24 2018-12-21 清华大学深圳研究生院 一种基于超像素的光场图像拼接方法
CN109767388A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于超像素提升图像拼接质量的方法、移动终端、相机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208997A1 (en) * 2010-11-02 2013-08-15 Zte Corporation Method and Apparatus for Combining Panoramic Image
US20160171707A1 (en) * 2014-12-10 2016-06-16 Ricoh Co., Ltd. Realogram Scene Analysis of Images: Superpixel Scene Analysis
CN106157319A (zh) * 2016-07-28 2016-11-23 哈尔滨工业大学 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN109064410A (zh) * 2018-10-24 2018-12-21 清华大学深圳研究生院 一种基于超像素的光场图像拼接方法
CN109767388A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于超像素提升图像拼接质量的方法、移动终端、相机

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHUNBO XIU等: "Image Stitching Based on Improved Gradual Fusion Algorithm", 《IEEE XPLORE》 *
宋佳乾等: "基于改进SIFT特征点匹配的图像拼接算法", 《计算机测量与控制》 *
王萍 等: "超像素SIFT特征航拍地图拼接研究", 《传感器与微系统》 *
王锦锦: "基于膨胀超像素的快速图像拼接算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672755A (zh) * 2021-08-03 2021-11-19 大连海事大学 一种低质量鞋印图像的表示方法及鞋印图像检索方法
CN113672755B (zh) * 2021-08-03 2024-03-22 大连海事大学 一种低质量鞋印图像的表示方法及鞋印图像检索方法

Also Published As

Publication number Publication date
CN113034365B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
Marzotto et al. High resolution video mosaicing with global alignment
CN107113381B (zh) 时空局部变形及接缝查找的容差视频拼接方法、装置及计算机可读介质
CN110111250B (zh) 一种鲁棒的自动全景无人机图像拼接方法及装置
CN109389555B (zh) 一种全景图像拼接方法及装置
CN109767388B (zh) 基于超像素提升图像拼接质量的方法、移动终端、相机
WO2014005783A1 (en) A method and system for correcting a distorted input image
CN110517304B (zh) 生成深度图的方法、装置、电子设备和存储介质
US20230025058A1 (en) Image rectification method and device, and electronic system
CN112686824A (zh) 图像校正方法、装置、电子设备和计算机可读介质
CN114143528A (zh) 多视频流融合方法、电子设备、存储介质
CN111105367A (zh) 人脸畸变校正方法、装置、电子设备及存储介质
CN110717936A (zh) 一种基于相机姿态估计的图像拼接方法
Ponce et al. On the absolute quadratic complex and its application to autocalibration
Xue et al. Stable linear structures and seam measurements for parallax image stitching
CN113034365B (zh) 一种基于超像素的多图拼接方法及系统
CN117522963A (zh) 棋盘格的角点定位方法、装置、存储介质及电子设备
Ha et al. Embedded panoramic mosaic system using auto-shot interface
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
CN113724141B (zh) 一种图像校正方法、装置及电子设备
CN115205111A (zh) 一种图像拼接方法、装置、终端设备和存储介质
Gao et al. Integrating TPS, cylindrical projection, and plumb-line constraint for natural stitching of multiple images
US11893704B2 (en) Image processing method and device therefor
CN113822937B (zh) 一种图像校正方法、装置、设备及存储介质
CN114004839A (zh) 全景图像的图像分割方法、装置、计算机设备和存储介质
CN112150355A (zh) 一种图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant