CN111062866A - 一种基于变换矩阵的全景图像拼接的方法 - Google Patents

一种基于变换矩阵的全景图像拼接的方法 Download PDF

Info

Publication number
CN111062866A
CN111062866A CN201911083159.3A CN201911083159A CN111062866A CN 111062866 A CN111062866 A CN 111062866A CN 201911083159 A CN201911083159 A CN 201911083159A CN 111062866 A CN111062866 A CN 111062866A
Authority
CN
China
Prior art keywords
image
images
matching
homography
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911083159.3A
Other languages
English (en)
Inventor
王玥
付强
梁锡铅
姚江云
曹乃文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lushan College of Guangxi University of Science and Technology
Original Assignee
Lushan College of Guangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lushan College of Guangxi University of Science and Technology filed Critical Lushan College of Guangxi University of Science and Technology
Priority to CN201911083159.3A priority Critical patent/CN111062866A/zh
Publication of CN111062866A publication Critical patent/CN111062866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于变换矩阵的全景图像拼接的方法，基于特征的匹配:通过提取图像中的特征点并对其进行描述，并在非刚性匹配算法运动场插值的基础上，即矢量场共识（VFC），在全景图像上生成精确特征匹配的方法，利用匹配良好的特征点计算变换矩阵从而实现图像的拼接。该方法具体包括以下步骤：S1、对获取图像进行畸变校正和影像去噪等预处理操作；S2提取特征点，基于矢量场共识（VFC）的非刚性匹配算法进行特征点匹配；S3、对所述提取的特征点进行匹配；S4、对所述图像进行拼接、融合，并输出全景图像。

Description

一种基于变换矩阵的全景图像拼接的方法
技术领域
本发明应用于计算机数字图像处理领域，具体地应用于的全景图像拼接技术领域。
背景技术
实际生活中，当遇到超过人眼视角的场景时，近距离无法拍摄事物的全貌，而远距离又将引起所拍物体过小，放大后出现马赛克现象。因此，为获得高分辨率全景图片，对图像进行拼接是十分必要的。很多学者 对图像的匹配进行了研究，产生了各种各样的匹配算法。大体上可分为以下几类: （1）基于灰度值的匹配：该方法从待拼接图像的灰度值出发，通过计算待配准图像与参考图像中相同尺寸区域的相似性度量来实现图像的拼接。其优点是计算简单，但当图像中存在较大噪声或重叠部分特征不明显时匹配误差较大。（2）基于频域的匹配( 相位相关度方法)：通过傅立叶变换将图像变换到频率域再进行匹配。该方法简单、精确，可克服相关性噪声干扰，但需要较大的重叠比例。
发明内容
基于上述缺陷，本发明提出一种基于变换矩阵的全景图像拼接的方法，基于特征的匹配: 该方法通过提取图像中的特征点并对其进行描述，并在非刚性匹配算法运动场插值的基础上，即矢量场共识（VFC），在全景图像上生成精确特征匹配的方法，利用匹配良好的特征点计算变换矩阵从而实现图像的拼接。该方法具体包括以下步骤：
S1、对获取图像进行畸变校正和影像去噪等预处理操作；
进一步地，在所述步骤S1中，所述对获取图像进行畸变校正是对所述获取图像进行影像重采样的过程，通过相机参数建立畸变影像与未畸变影像之间的映射关系，在确定了所述畸变影像与所述非畸变影像之间的映射关系后，对所述未畸变影像采用双线性插值法，对所述获取图像进行重采样处理；在所述步骤S1中对所述获取图像进行影像去噪的过程中，利用基于非线性平滑滤波的中值滤波。
S2、提取特征点；进一步地，在提取特征点阶段，SIFT 描述符用于对所述获取图像之间特征点的对应关系。由于图像可能有非刚性变化。因此，本实施例是基于矢量场共识（VFC） 的非刚性匹配算法。给定一组假定的SIFT匹配，首先使用SIFT特征描述符以提取特征点并建立初始点集
Figure 329802DEST_PATH_IMAGE001
，其中
Figure 119904DEST_PATH_IMAGE002
、
Figure 608654DEST_PATH_IMAGE003
表示初始点，并且，令f表示非刚性变换在两个特征点之间，即对于映射到的每个点（
Figure 142403DEST_PATH_IMAGE004
，
Figure 665789DEST_PATH_IMAGE005
），
Figure 361212DEST_PATH_IMAGE006
，通过高斯混合模型和均匀分布表示所述获取图像之间特征点的对应关系，即：
Figure 602838DEST_PATH_IMAGE007
Figure 143540DEST_PATH_IMAGE008
（1）；
其中
Figure 52591DEST_PATH_IMAGE009
表示未知变量的集合。 特别地，
Figure 653336DEST_PATH_IMAGE010
是混合系数，
Figure 647837DEST_PATH_IMAGE011
是误差的标准偏差，
Figure 992231DEST_PATH_IMAGE012
是常数，指示异常值具有均匀分布，
Figure 490208DEST_PATH_IMAGE013
表示观测变量，
Figure 527434DEST_PATH_IMAGE014
表示隐变量。特别地，将样本n与潜在变量
Figure 743652DEST_PATH_IMAGE015
相关联，其中
Figure 157316DEST_PATH_IMAGE016
，其中
Figure 509800DEST_PATH_IMAGE017
= 1 代表高斯分布，
Figure 729646DEST_PATH_IMAGE018
= 0 代表均匀分布；
为了并省略了项目与
Figure 167580DEST_PATH_IMAGE019
不相关，通过公式（2）和公式（3）获取完整数据的对数似然函数：
Figure 853777DEST_PATH_IMAGE020
Figure 591926DEST_PATH_IMAGE021
（2）；
Figure 705375DEST_PATH_IMAGE022
（3）；
具体地，通过估计当前参数集θ中属于内部样本的每个样本（
Figure 161764DEST_PATH_IMAGE004
，
Figure 386072DEST_PATH_IMAGE005
）的后验概率，并根据贝叶斯准则得出样本集的后验概率
Figure 713148DEST_PATH_IMAGE023
。
S3、对所述提取的特征点进行匹配；
具体地，多幅图像拼接配准时的第一步是将所有图像投影到的参考平面，首先输入一个图像，并通过全景图像的特征匹配来识别所有重叠的图像，再选择重叠部分最多的图像作为参考平面，以使其他图像可以通过单向弯曲投影到参考平面。
本实施例中，使用直接线性变换（DLT）计算图像之间的单个响应（需要四对的特征匹配点）。在图像的拼接配准时，不仅通过单个响应来更改，还通过图像分类减少由单个响应引起的配准误差，并且每个差异形成一个基本的单应矩阵。本实施例中基于拼接配准的过程通过公式（4）-（11）进行说明。
给定两个重叠的图像 I 和 It 及其匹配点
Figure 794237DEST_PATH_IMAGE024
，
Figure 206764DEST_PATH_IMAGE025
，
Figure 234762DEST_PATH_IMAGE026
，两个图像之间的全局变换可以通过公式（4）完成，即：
Figure 681924DEST_PATH_IMAGE027
（4）；
进一步地，
Figure 137176DEST_PATH_IMAGE028
表示x的齐次坐标，〜表示按比例表示的等式，
Figure 568158DEST_PATH_IMAGE029
是表示 3×3全局单应性矩阵。
Figure 134268DEST_PATH_IMAGE030
（5）；
在本实施例中，在扭曲的 2D 投影中，通过DLT 算法估算矩阵
Figure 327669DEST_PATH_IMAGE032
的一组和/或多组噪声点。具体地，将
Figure 449209DEST_PATH_IMAGE032
向量化为向量h。设
Figure 350169DEST_PATH_IMAGE033
为两个匹配点矩阵的两行，给定估计值h，数量
Figure 506344DEST_PATH_IMAGE034
是代数误差，利用DLT 对所述代数误差的总和的平方进行最小化计算。
Figure RE-GDA0002386368040000044
进一步地，通过公式(6)将所有i垂直堆叠到大小为2N x 9的矩阵A中。
Figure 351306DEST_PATH_IMAGE037
（7）；
进一步地，在扭曲的 2D 投影中，通过公式（7）将源图像
Figure 861102DEST_PATH_IMAGE039
中的任意像素
Figure 488392DEST_PATH_IMAGE040
扭曲到目标图像
Figure 465575DEST_PATH_IMAGE041
中的
Figure 596343DEST_PATH_IMAGE042
处。
Figure 735200DEST_PATH_IMAGE043
（8）；
Figure 584207DEST_PATH_IMAGE044
（9）
当全局单应性无法有效匹配两个图像时，本实施中的公式（8）通过位置相关的单应性完成两个图像的匹配过程。在所述匹配过程中，对源图像
Figure 99502DEST_PATH_IMAGE039
中的任意像素
Figure 84776DEST_PATH_IMAGE040
赋予标量权重，基于位置关系获取所述每个像素
Figure 925693DEST_PATH_IMAGE040
对应的单应性
Figure 730838DEST_PATH_IMAGE045
，其中，对所述对源图像
Figure 315403DEST_PATH_IMAGE039
中的任意像素
Figure 155183DEST_PATH_IMAGE040
赋予标量权重的过程中，通过公式（9）到定义所述标量权重
Figure 167001DEST_PATH_IMAGE046
，其中
Figure 725021DEST_PATH_IMAGE047
是比例参数。
进一步地，在图像融合过程中还考虑到图像融合时积累的误差，因此，定义扭曲变量
Figure 316540DEST_PATH_IMAGE048
为：
Figure 807564DEST_PATH_IMAGE049
（10）
Figure 459125DEST_PATH_IMAGE050
（11）
进一步地，，
Figure 770021DEST_PATH_IMAGE051
、
Figure 165230DEST_PATH_IMAGE052
、
Figure 979602DEST_PATH_IMAGE053
是单应性
Figure 333223DEST_PATH_IMAGE054
的三行值。
进一步地，定义
Figure 600257DEST_PATH_IMAGE055
，并且定义参数
Figure 330315DEST_PATH_IMAGE056
，当存在一组位置相关的单应性
Figure 999194DEST_PATH_IMAGE057
，其中所述每个
Figure 523716DEST_PATH_IMAGE058
为两个图像中的对应匹配点，并且当所述
Figure 278045DEST_PATH_IMAGE059
时表示存在对应关系，否则
Figure 280637DEST_PATH_IMAGE060
。
在匹配两个图像之后，可以通过单应性将源图像投影到目标图像上。但是，在拼接多个图像时， 尤其是在多个重叠区域中，会积累并逐步放大误差。具体地，在优化投影功能，以在最小均方误差的框架下配准全景图像并减少累积的误差。
本实施例通过全景图像的特征匹配来识别所有重叠的图像，将选择重叠部分最多的图像作为参考平面，以使其他图像可以通过单向变形投影到参考平面。并使用直接线性变换计算图像之间的单个响应。图像的特征匹配不能仅通过单个响应来更改，还可以通过区分图像有效地减少了由单个响应引起的配准误差，并且每个差异对应一个基本的单应矩阵。
在匹配两个图像之后，可以通过单应性将源图像投影到目标图像上。但是，在拼接多个图像时，尤其是在多个重叠区域中，误差会逐步累积并放大。具体地，在优化投影功能时，以在最小均方误差的框架下对所述全景图像进行匹配，并通过上述方法减少累积误差。
S4、对所述图像进行拼接、融合，并输出全景图像；
具体地，所述对图像进行融合包括通过渐入渐出融合，通过确定的权值对两幅或者多幅待融合的图像进行求和操作，以确定待融合图像重叠区域的像素值。主要使用权值d根据公式
Figure 335180DEST_PATH_IMAGE061
随着像素点位置的变化呈线性变换，以此实现平滑过渡。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1示出了一种基于变换矩阵的全景图像拼接的方法的流程图。
具体实施方式
一种基于变换矩阵的全景图像拼接的方法，该方法具体包括以下步骤：
S1、对获取图像进行畸变校正和影像去噪等预处理操作；
具体地，在所述步骤S1中，所述对获取图像进行畸变校正是对所述获取图像进行影像重采样的过程，通过相机参数建立畸变影像与未畸变影像之间的映射关系，所述重采样就是根据一类像元信息内插出另一类像元信息的过程，重采样方法有最邻近内插法、双线性内插法和三次卷积内插法等，在确定了所述畸变影像与所述非畸变影像之间的映射关系后，本实施例中对所述未畸变影像采用双线性插值法，对所述获取图像进行重采样处理；
进一步地，在所述步骤S1中对所述获取图像进行影像去噪的过程中，利用基于非线性平滑滤波的中值滤波去除噪声达到图像配准的要求。
S2、提取特征点；
在提取特征点阶段，SIFT 描述符用于获得图像之间特征点的对应关系。由于图像可能有非刚性变化。因此，本实施例是基于矢量场共识（VFC） 的非刚性匹配算法。给定一组假定的SIFT匹配，首先使用SIFT特征描述符以提取特征点并建立初始点集
Figure 499445DEST_PATH_IMAGE062
，其中
Figure 272229DEST_PATH_IMAGE063
、
Figure 812932DEST_PATH_IMAGE064
表示初始点，并且，令f表示非刚性变换在两个特征点之间，即对于映射到的每个点（
Figure 190824DEST_PATH_IMAGE065
，
Figure 322728DEST_PATH_IMAGE066
），
Figure 786070DEST_PATH_IMAGE067
。本实施例中，公式（1）表示高斯混合模型和均匀分布：
Figure 661622DEST_PATH_IMAGE068
Figure 894020DEST_PATH_IMAGE069
（1）；
其中
Figure 196826DEST_PATH_IMAGE070
表示未知变量的集合。 特别地，
Figure 147464DEST_PATH_IMAGE071
是混合系数，
Figure 29970DEST_PATH_IMAGE072
是误差的标准偏差，
Figure 913612DEST_PATH_IMAGE073
是常数，指示异常值具有均匀分布，
Figure 856160DEST_PATH_IMAGE074
表示观测变量，
Figure 825253DEST_PATH_IMAGE075
表示隐变量。特别地，将样本n与潜在变量
Figure 511450DEST_PATH_IMAGE076
相关联，其中
Figure 718440DEST_PATH_IMAGE077
，其中
Figure 363048DEST_PATH_IMAGE078
= 1 代表高斯分布，
Figure 288279DEST_PATH_IMAGE079
= 0 代表均匀分布。进一步地，为了并省略了项目与
Figure 512587DEST_PATH_IMAGE080
不相关，通过公式（2）和公式（3）获取完整数据的对数似然函数：
Figure 370821DEST_PATH_IMAGE081
Figure 389593DEST_PATH_IMAGE082
（2）；
Figure 333278DEST_PATH_IMAGE083
（3）；
具体地，通过估计当前参数集θ中属于内部样本的每个样本（
Figure 361277DEST_PATH_IMAGE065
，
Figure 542859DEST_PATH_IMAGE066
）的后验概率，并根据贝叶斯准则得出样本集的后验概率
Figure 529270DEST_PATH_IMAGE084
。
S3、对所述提取的特征点进行匹配；
具体地，多幅图像拼接配准时的第一步是将所有图像投影到的参考平面，首先输入一个图像，并通过全景图像的特征匹配来识别所有重叠的图像，再选择重叠部分最多的图像作为参考平面，以使其他图像可以通过单向弯曲投影到参考平面。
本实施例中，使用直接线性变换（DLT）计算图像之间的单个响应（需要四对的特征匹配点）。在图像的拼接配准时，不仅通过单个响应来更改，还通过图像分类减少由单个响应引起的配准误差，并且每个差异形成一个基本的单应矩阵。本实施例中基于拼接配准的过程通过公式（4）-（11）进行说明。
给定两个重叠的图像 I 和 It 及其匹配点
Figure 163514DEST_PATH_IMAGE085
，
Figure 729624DEST_PATH_IMAGE086
，
Figure 562451DEST_PATH_IMAGE087
，两个图像之间的全局变换可以通过公式（4）完成，即：
Figure 188604DEST_PATH_IMAGE088
（4）；
进一步地，
Figure 310144DEST_PATH_IMAGE089
表示x的齐次坐标，〜表示按比例表示的等式，
Figure 211104DEST_PATH_IMAGE090
是表示 3×3全局单应性矩阵。
Figure 367279DEST_PATH_IMAGE091
（5）；
在本实施例中，在扭曲的 2D 投影中，通过DLT 算法估算矩阵
Figure 304328DEST_PATH_IMAGE090
的一组和/或多组噪声点。具体地，将
Figure 212241DEST_PATH_IMAGE090
向量化为向量h。设
Figure 222923DEST_PATH_IMAGE033
为两个匹配点矩阵的两行，给定估计值h，数量
Figure 722037DEST_PATH_IMAGE034
是代数误差，利用DLT 对所述代数误差的总和的平方进行最小化计算。
Figure RE-GDA0002386368040000091
进一步地，通过公式(6)将所有i垂直堆叠到大小为2N x 9的矩阵A中。
Figure 926119DEST_PATH_IMAGE037
（7）；
进一步地，在扭曲的 2D 投影中，通过公式（7）将源图像
Figure 648405DEST_PATH_IMAGE039
中的任意像素
Figure 694858DEST_PATH_IMAGE040
扭曲到目标图像
Figure 414552DEST_PATH_IMAGE041
中的
Figure 724311DEST_PATH_IMAGE042
处。
Figure 326194DEST_PATH_IMAGE043
（8）；
Figure 379600DEST_PATH_IMAGE044
（9）
当全局单应性无法有效匹配两个图像时，本实施中的公式（8）通过位置相关的单应性完成两个图像的匹配过程。在所述匹配过程中，对源图像
Figure 219380DEST_PATH_IMAGE039
中的任意像素
Figure 231199DEST_PATH_IMAGE040
赋予标量权重，基于位置关系获取所述每个像素
Figure 789219DEST_PATH_IMAGE040
对应的单应性
Figure 380737DEST_PATH_IMAGE045
，其中，对所述对源图像
Figure 606182DEST_PATH_IMAGE039
中的任意像素
Figure 523323DEST_PATH_IMAGE040
赋予标量权重的过程中，通过公式（9）到定义所述标量权重
Figure 303060DEST_PATH_IMAGE046
，其中
Figure 229428DEST_PATH_IMAGE047
是比例参数。
进一步地，在图像融合过程中还考虑到图像融合时积累的误差，因此，定义扭曲变量
Figure 43800DEST_PATH_IMAGE048
为：
Figure 866262DEST_PATH_IMAGE049
（10）
Figure 664454DEST_PATH_IMAGE050
（11）
进一步地，，
Figure 863354DEST_PATH_IMAGE051
、
Figure 532233DEST_PATH_IMAGE052
、
Figure 56755DEST_PATH_IMAGE053
是单应性
Figure 811085DEST_PATH_IMAGE054
的三行值。
进一步地，定义
Figure 548096DEST_PATH_IMAGE055
，并且定义参数
Figure 602640DEST_PATH_IMAGE092
，当存在一组位置相关的单应性
Figure 32484DEST_PATH_IMAGE057
，其中所述每个
Figure 274110DEST_PATH_IMAGE058
为两个图像中的对应匹配点，并且当所述
Figure 80392DEST_PATH_IMAGE059
时表示存在对应关系，否则
Figure 723863DEST_PATH_IMAGE060
。
在匹配两个图像之后，可以通过单应性将源图像投影到目标图像上。但是，在拼接多个图像时， 尤其是在多个重叠区域中，会积累并逐步放大误差。具体地，在优化投影功能，以在最小均方误差的框架下配准全景图像并减少累积的误差。
本实施例通过全景图像的特征匹配来识别所有重叠的图像，将选择重叠部分最多的图像作为参考平面，以使其他图像可以通过单向变形投影到参考平面。并使用直接线性变换计算图像之间的单个响应。图像的特征匹配不能仅通过单个响应来更改，还可以通过区分图像有效地减少了由单个响应引起的配准误差，并且每个差异对应一个基本的单应矩阵。
在匹配两个图像之后，可以通过单应性将源图像投影到目标图像上。但是，在拼接多个图像时，尤其是在多个重叠区域中，误差会逐步累积并放大。具体地，在优化投影功能时，以在最小均方误差的框架下对所述全景图像进行匹配，并通过上述方法减少累积误差。
S4、对所述图像进行拼接、融合，并输出全景图像。
具体地，所述对图像进行融合包括通过渐入渐出融合，通过确定的权值对两幅或者多幅待融合的图像进行求和操作，以确定待融合图像重叠区域的像素值。主要使用权值d根据公式（12）随着像素点位置的变化呈线性变换，以此实现平滑过渡。
Figure 59029DEST_PATH_IMAGE061
（12）
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应该涵盖在本发明的保护范围之内，因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于变换矩阵的全景图像拼接的方法，其特征在于该方法具体包括以下步骤：
S1、对获取图像进行畸变校正和影像去噪等预处理操作；
进一步地，在S1中对获取图像进行畸变校正和影像去噪等预处理操作还包括：所述对获取图像进行畸变校正是对所述获取图像进行影像重采样的过程，通过相机参数建立畸变影像与未畸变影像之间的映射关系，在确定了所述畸变影像与所述非畸变影像之间的映射关系后，对所述未畸变影像采用双线性插值法，对所述获取图像进行重采样处理；在所述步骤S1中对所述获取图像进行影像去噪的过程中，利用基于非线性平滑滤波的中值滤波。
S2、提取特征点；
进一步地，在提取特征点阶段，SIFT描述符用于对所述获取图像之间特征点的对应关系，由于图像可能有非刚性变化，基于矢量场共识(VFC)的非刚性匹配算法，给定一组假定的SIFT匹配；
S3、对所述提取的特征点进行匹配；
具体地，对所述提取的特征点进行匹配包括：多幅图像拼接配准时的第一步是将所有图像投影到的参考平面，首先输入一个图像，并通过全景图像的特征匹配来识别所有重叠的图像，再选择重叠部分最多的图像作为参考平面，以使其他图像可以通过单向弯曲投影到参考平面；
使用直接线性变换(DLT)计算图像之间四对的特征匹配点，在图像的拼接配准时，不仅在更改单个响应时，还需要通过图像分类减少由单个响应引起的配准误差，每个差异形成一个基本的单应矩阵；
在匹配两个图像之后，可以通过单应性将源图像投影到目标图像上，在拼接多个图像时，尤其是在多个重叠区域中，会积累并逐步放大误差，优化投影功能，以在最小均方误差的框架下配准全景图像并减少累积的误差；
S4、对所述图像进行拼接、融合，并输出全景图像；
具体地，所述对图像进行融合包括通过渐入渐出融合，通过确定的权值对两幅或者多幅待融合的图像进行求和操作，以确定待融合图像重叠区域的像素值。
2.基于权利要求1所述的一种基于变换矩阵的全景图像拼接的方法，其特征在于：步骤S2中，首先使用SIFT特征描述符以提取特征点并建立初始点集
Figure RE-FDA0002386368030000021
其中xn＝{xi，i＝1，2，3，...，N}、yn＝{yj，j＝1，2，3，...，N}表示初始点，并且，令f表示非刚性变换在两个特征点之间，即对于映射到的每个点(xn，yn)，yn＝f(xn)，通过高斯混合模型和均匀分布表示所述获取图像之间特征点的对应关系，即：
Figure RE-FDA0002386368030000022
其中θ＝{f，σ2，γ}表示未知变量的集合。特别地，γ是混合系数，σ是误差的标准偏差，a是常数，指示异常值具有均匀分布，γ表示观测变量，X表示隐变量。特别地，将样本n与潜在变量zn相关联，其中zn∈{0，1}，其中zn＝1代表高斯分布，zn＝0代表均匀分布。
3.基于权利要求1所述的一种基于变换矩阵的全景图像拼接的方法，其特征在于：所述S2还包括：
使用直接线性变换(DLT)计算图像之间的单个响应，在图像的拼接配准时，不仅通过单个响应来更改，还通过图像分类减少由单个响应引起的配准误差，并且每个差异形成一个基本的单应矩阵。
4.基于权利要求1所述的一种基于变换矩阵的全景图像拼接的方法，其特征在于：所述S2还包括：为了并省略了项目与θ不相关，通过公式(2)和公式(3)获取完整数据的对数似然函数：
Figure RE-FDA0002386368030000031
Figure RE-FDA0002386368030000032
具体地，通过估计当前参数集θ中属于内部样本的每个样本(xn，yn)的后验概率，并根据贝叶斯准则得出样本集的后验概率pn。
5.基于权利要求1所述的一种基于变换矩阵的全景图像拼接的方法，其特征在于：所述S3还包括：
给定两个重叠的图像I和It及其匹配点xi＝(xi，yi)T，yi＝(x′i，y′i)T，
i＝1，...，n，两个图像之间的全局变换可以通过公式(4)完成，即：
Figure RE-FDA0002386368030000033
进一步地，
Figure RE-FDA0002386368030000034
表示x的齐次坐标，～表示按比例表示的等式，H是表示3×3全局单应性矩阵；
Figure RE-FDA0002386368030000041
具体地，在扭曲的2D投影中，通过DLT算法估算矩阵H的一组和/或多组噪声点；具体地，将H向量化为向量h，设ai为两个匹配点矩阵的两行，给定估计值h，数量||aih||是代数误差，利用DLT对所述代数误差的总和的平方进行最小化计算；
Figure RE-FDA0002386368030000042
进一步地，通过公式(6)将所有i垂直堆叠到大小为2N x 9的矩阵A中；
Figure RE-FDA0002386368030000043
进一步地，在扭曲的2D投影中，通过公式(7)将源图像I中的任意像素x*扭曲到目标图像I＇中的y*处；
Figure RE-FDA0002386368030000044
Figure RE-FDA0002386368030000045
当全局单应性无法有效匹配两个图像时，本实施中的公式(8)通过位置相关的单应性完成两个图像的匹配过程；在所述匹配过程中，对源图像I中的任意像素x*赋予标量权重，基于位置关系获取所述每个像素x*对应的单应性H*，其中，对所述对源图像I中的任意像素x*赋予标量权重的过程中，通过公式(9)到定义所述标量权重
Figure RE-FDA0002386368030000046
其中δ是比例参数；
进一步地，在图像融合过程中还考虑到图像融合时积累的误差，因此，定义扭曲变量f(p，H)为：
Figure RE-FDA0002386368030000047
Figure RE-FDA0002386368030000051
进一步地，，r1、r2、r3是单应性H的三行值；
进一步地，定义
Figure RE-FDA0002386368030000052
并且定义参数
Figure RE-FDA0002386368030000053
当存在一组位置相关的单应性
Figure RE-FDA0002386368030000054
其中所述每个
Figure RE-FDA0002386368030000055
为两个图像中的对应匹配点，并且当所述
Figure RE-FDA0002386368030000056
时表示存在对应关系，否则
Figure RE-FDA0002386368030000057
6.基于权利要求1所述的一种基于变换矩阵的全景图像拼接的方法，其特征在于：所述步骤S4中所述通过确定的权值对两幅或者多幅待融合的图像进行求和操作，以确定待融合图像重叠区域的像素值还包括：
权值d根据公式
Figure RE-FDA0002386368030000058
随着像素点位置的变化呈线性变换，实现平滑过渡。
CN201911083159.3A 2019-11-07 2019-11-07 一种基于变换矩阵的全景图像拼接的方法 Pending CN111062866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911083159.3A CN111062866A (zh) 2019-11-07 2019-11-07 一种基于变换矩阵的全景图像拼接的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911083159.3A CN111062866A (zh) 2019-11-07 2019-11-07 一种基于变换矩阵的全景图像拼接的方法

Publications (1)

Publication Number Publication Date
CN111062866A true CN111062866A (zh) 2020-04-24

Family

ID=70298029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911083159.3A Pending CN111062866A (zh) 2019-11-07 2019-11-07 一种基于变换矩阵的全景图像拼接的方法

Country Status (1)

Country Link
CN (1) CN111062866A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899158A (zh) * 2020-07-29 2020-11-06 北京天睿空间科技股份有限公司 考虑几何畸变的图像拼接方法
CN112085653A (zh) * 2020-08-07 2020-12-15 四川九洲电器集团有限责任公司 基于景深补偿的视差图像拼接方法
CN112329848A (zh) * 2020-11-04 2021-02-05 昆明理工大学 一种基于平流矢量场聚类的图像空间映射方法
CN112767245A (zh) * 2021-01-04 2021-05-07 航天时代飞鸿技术有限公司 基于多无人机实时视频图像的地图拼接构建的系统及方法
CN113689331A (zh) * 2021-07-20 2021-11-23 中国铁路设计集团有限公司 一种复杂背景下的全景图像拼接方法
CN113706625A (zh) * 2021-07-28 2021-11-26 昆山丘钛微电子科技股份有限公司 一种镜头畸变校正方法及装置
CN113902614A (zh) * 2020-06-22 2022-01-07 南京行者易智能交通科技有限公司 一种基于动态全景图像重建的图像样本数据集的构建方法、装置及终端设备
WO2024001852A1 (zh) * 2022-06-27 2024-01-04 中兴通讯股份有限公司 图像处理方法、图像处理装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111250A (zh) * 2019-04-11 2019-08-09 中国地质大学（武汉） 一种鲁棒的自动全景无人机图像拼接方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111250A (zh) * 2019-04-11 2019-08-09 中国地质大学（武汉） 一种鲁棒的自动全景无人机图像拼接方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUN CHEN: "A Robust Method for Automatic Panoramic UAV Image Mosaic", 《SENSORS》 *
张少坤: "全景图像拼接关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王亚洲: "基于无人机航拍图像的拼接算法研究", 《中国优秀硕士学位论文全文数据库基础科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902614A (zh) * 2020-06-22 2022-01-07 南京行者易智能交通科技有限公司 一种基于动态全景图像重建的图像样本数据集的构建方法、装置及终端设备
CN111899158A (zh) * 2020-07-29 2020-11-06 北京天睿空间科技股份有限公司 考虑几何畸变的图像拼接方法
CN111899158B (zh) * 2020-07-29 2023-08-25 北京天睿空间科技股份有限公司 考虑几何畸变的图像拼接方法
CN112085653A (zh) * 2020-08-07 2020-12-15 四川九洲电器集团有限责任公司 基于景深补偿的视差图像拼接方法
CN112085653B (zh) * 2020-08-07 2022-09-16 四川九洲电器集团有限责任公司 基于景深补偿的视差图像拼接方法
CN112329848A (zh) * 2020-11-04 2021-02-05 昆明理工大学 一种基于平流矢量场聚类的图像空间映射方法
CN112329848B (zh) * 2020-11-04 2022-07-29 昆明理工大学 一种基于平流矢量场聚类的图像空间映射方法
CN112767245A (zh) * 2021-01-04 2021-05-07 航天时代飞鸿技术有限公司 基于多无人机实时视频图像的地图拼接构建的系统及方法
CN112767245B (zh) * 2021-01-04 2024-03-29 航天时代飞鸿技术有限公司 基于多无人机实时视频图像的地图拼接构建的系统及方法
CN113689331A (zh) * 2021-07-20 2021-11-23 中国铁路设计集团有限公司 一种复杂背景下的全景图像拼接方法
CN113706625A (zh) * 2021-07-28 2021-11-26 昆山丘钛微电子科技股份有限公司 一种镜头畸变校正方法及装置
WO2024001852A1 (zh) * 2022-06-27 2024-01-04 中兴通讯股份有限公司 图像处理方法、图像处理装置及存储介质

Similar Documents

Publication Publication Date Title
CN111062866A (zh) 一种基于变换矩阵的全景图像拼接的方法
CN107909640B (zh) 基于深度学习的人脸重光照方法及装置
JP5830546B2 (ja) 対象物のモデル変換に基づくモデルパラメータの決定
JP5294343B2 (ja) 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
US20150097827A1 (en) Target Region Fill Utilizing Transformations
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
KR102118173B1 (ko) 왜곡계수 추정을 통한 영상 보정 시스템 및 방법
US7747106B2 (en) Method and system for filtering, registering, and matching 2.5D normal maps
WO2007108563A1 (ja) 画像レジストレーション方法
JP4887376B2 (ja) ステレオビジョンにおいて密な視差場を求める方法
JP5476264B2 (ja) カメラトラッキング装置およびそのプログラム
JP2010282295A (ja) 画像処理装置、画像処理方法及びプログラム
CN114820739B (zh) 一种面向多光谱相机的图像快速配准方法及装置
US9342873B1 (en) Tile-based optical flow
CN106056560A (zh) 单应性校正
CN111062895A (zh) 一种基于多视场分割的显微图像复原方法
JP6997969B2 (ja) 画像合成システム、画像合成方法、および画像合成プログラム記録媒体
JP5587322B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2020144757A1 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体
Ranganathan et al. Gaussian process for lens distortion modeling
US9582887B2 (en) Methods and apparatus for determining field of view dependent depth map correction values
JP2004279187A (ja) 形状計測方法
Petrou et al. Super-resolution in practice: the complete pipeline from image capture to super-resolved subimage creation using a novel frame selection method
CN110047032A (zh) 一种基于径向基函数拟合的局部自适应误匹配点剔除方法
CN104809696B (zh) 图像畸变矫正方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424

RJ01 Rejection of invention patent application after publication