CN113112404A - 一种基于滑动窗口的图像拼接方法及装置 - Google Patents

一种基于滑动窗口的图像拼接方法及装置 Download PDF

Info

Publication number
CN113112404A
CN113112404A CN202110361545.5A CN202110361545A CN113112404A CN 113112404 A CN113112404 A CN 113112404A CN 202110361545 A CN202110361545 A CN 202110361545A CN 113112404 A CN113112404 A CN 113112404A
Authority
CN
China
Prior art keywords
image
images
spliced
sliding window
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110361545.5A
Other languages
English (en)
Other versions
CN113112404B (zh
Inventor
张学敏
朱世新
梁柱锦
郭怡适
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imagedt Co ltd
Original Assignee
Imagedt Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imagedt Co ltd filed Critical Imagedt Co ltd
Priority to CN202110361545.5A priority Critical patent/CN113112404B/zh
Publication of CN113112404A publication Critical patent/CN113112404A/zh
Application granted granted Critical
Publication of CN113112404B publication Critical patent/CN113112404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于滑动窗口的图像拼接方法及装置,该方法包括:输入待拼接图像以及所有待拼接图像之间的匹配内点;将所有待拼接图像按照时间顺序依次添加到捆绑调整器中,并使用预设帧数的滑动窗口对新加入到捆绑调整器中的待拼接图像进行初始化,得到初始化相机参数;以重投影误差作为目标函数,根据匹配内点对初始化相机参数进行优化,得到最优目标函数时的最优相机参数;根据最优相机参数将所有待拼接图像拼接成全景图。本发明实施例中采用预设帧数的滑动窗口对待拼接图像的相机参数进行初始化以及优化,能够有效降低计算量以及提高优化的速度,从而能够提高图像拼接的效率。

Description

一种基于滑动窗口的图像拼接方法及装置
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种基于滑动窗口的图像拼接方法及装置。
背景技术
实际应用中,当遇到超过相机视角的场景时,在近距离内无法用相机将庞大的场景一次性拍摄完整,如超市里面的超长货架,基于场地限制,无法远距离拍摄,并且就算可以远距离拍摄完整,也存在图像清晰度不够的问题。使用多张图像融合成一张大图的全景拼接技术可以解决以上问题,图像拼接技术逐渐成为研究热点。现有的图像拼接方法需要较大的计算量,导致图像拼接的效率较低。
发明内容
本发明提供一种基于滑动窗口的图像拼接方法及装置,以解决现有的图像拼接方法需要较大的计算量,导致图像拼接的效率较低的技术问题。
本发明的第一实施例提供了一种基于滑动窗口的图像拼接方法,包括:
输入待拼接图像以及所有所述待拼接图像之间的匹配内点;
将所有所述待拼接图像按照时间顺序依次添加到捆绑调整器中,并使用预设帧数的滑动窗口对新加入到所述捆绑调整器中的待拼接图像进行初始化,得到初始化相机参数;
以重投影误差作为目标函数,根据所述匹配内点对所述初始化相机参数进行优化,得到最优目标函数时的最优相机参数;
根据所述最优相机参数将所有所述待拼接图像拼接成全景图。
进一步的,在“输入待拼接图像以及所有所述待拼接图像之间的匹配内点之前”,还包括:
对原始图像进行图像匹配处理,得到所述原始图像对应的待拼接图像以及所有所述待拼接图像之间的匹配内点。
进一步的,所述以重投影误差作为目标函数,根据所述匹配内点对所述初始化相机参数进行优化,得到最优目标函数时的最优相机参数;
采用预设数量的相机模型和所述滑动窗口的相机总数定义所述滑动窗口的完整状态向量,根据所述匹配内点计算滑动窗口内的总误差函数,以重投影误差作为目标函数,根据所述总误差函数以及所述完整状态向量建立所述目标函数,求解所述目标函数得到每一帧待拼接图像的最优相机参数。
进一步的,采用预设数量的相机模型和所述滑动窗口的相机总数定义所述滑动窗口的完整状态向量,根据所述匹配内点计算滑动窗口内的总误差函数,以重投影误差作为目标函数,根据所述总误差函数以及所述完整状态向量建立所述目标函数,求解所述目标函数得到每一帧待拼接图像的最优相机参数,具体为:
采用相机内参矩阵和相机旋转矩阵建立相机模型,并根据所述相机模型和所述滑动窗口的相机总数定义所述滑动窗口的完整状态向量;
根据所述匹配内点定义相互匹配的两帧待对齐图像的残差,并根据所述残差计算滑动窗口内的总误差函数;
以重投影误差作为目标函数,根据所述总误差函数以及所述完整状态向量建立所述目标函数,求解所述目标函数得到每一帧待拼接图像的最优相机参数。
进一步的,所述最优相机参数包括最优相机内参和最优相机旋转参数,所述根据所述最优相机参数将所有所述待拼接图像拼接成全景图,具体为:
根据所述最优相机内参进而所述最优相机旋转参数,将所有所述待对齐图片投影到同一平面上进行全景图融合,得到最终的全景图。
本发明的第二实施例提供了一种基于滑动窗口的图像拼接装置,包括
输入模块,用于输入待拼接图像以及所有所述待拼接图像之间的匹配内点;
初始化模块,用于将所有所述待拼接图像按照时间顺序依次添加到捆绑调整器中,并使用预设帧数的滑动窗口对新加入到所述捆绑调整器中的待拼接图像进行初始化,得到初始化相机参数;
优化模块,用于以重投影误差作为目标函数,根据所述匹配内点对所述初始化相机参数进行优化,得到最优目标函数时的最优相机参数;
拼接模块,用于根据所述最优相机参数将所有所述待拼接图像拼接成全景图。
进一步的,还包括图像匹配模块,用于对原始图像进行图像匹配处理,得到所述原始图像对应的待拼接图像以及所有所述待拼接图像之间的匹配内点。
进一步的,所述优化模块,具体用于采用预设数量的相机模型和所述滑动窗口的相机总数定义所述滑动窗口的完整状态向量,根据所述匹配内点计算滑动窗口内的总误差函数,以重投影误差作为目标函数,根据所述总误差函数以及所述完整状态向量建立所述目标函数,求解所述目标函数得到每一帧待拼接图像的最优相机参数。
进一步的,所述优化模块,还用于:
采用相机内参矩阵和相机旋转矩阵建立相机模型,并根据所述相机模型和所述滑动窗口的相机总数定义所述滑动窗口的完整状态向量;
根据所述匹配内点定义相互匹配的两帧待对齐图像的残差,并根据所述残差计算滑动窗口内的总误差函数;
以重投影误差作为目标函数,根据所述总误差函数以及所述完整状态向量建立所述目标函数,求解所述目标函数得到每一帧待拼接图像的最优相机参数。
进一步的,所述拼接模块,具体用于:
根据所述最优相机内参进而所述最优相机旋转参数,将所有所述待对齐图片投影到同一平面上进行全景图融合,得到最终的全景图。
在本发明实施例中,采用预设帧数的滑动窗口对待拼接图像的相机参数进行初始化以及优化,能够有效降低计算量以及提高优化的速度,从而能够提高图像拼接的效率;本发明实施例以重投影误差作为目标函数对相机参数进行优化,使得与滑动窗口中的待拼接图像相匹配的待拼接图像之间的重投影误差最小化,能够进一步提高图像拼接的效果。
附图说明
图1是本发明实施例提供的一种基于滑动窗口的图像拼接方法的流程示意图;
图2是本发明实施例提供的一种基于滑动窗口的图像拼接装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
请参阅图1,在本发明的第一实施例中,本发明的第一实施例提供了一种基于滑动窗口的图像拼接方法,包括:
S1、输入待拼接图像以及所有待拼接图像之间的匹配内点;
S2、将所有待拼接图像按照时间顺序依次添加到捆绑调整器中,并使用预设帧数的滑动窗口对新加入到捆绑调整器中的待拼接图像进行初始化,得到初始化相机参数;
S3、以重投影误差作为目标函数,根据匹配内点对初始化相机参数进行优化,得到最优目标函数时的最优相机参数;
S4、根据最优相机参数将所有待拼接图像拼接成全景图。
在本发明实施例中,采用预设帧数的滑动窗口对待拼接图像的相机参数进行初始化以及优化,能够有效降低计算量以及提高优化的速度,从而能够提高图像拼接的效率;本发明实施例以重投影误差作为目标函数对相机参数进行优化,使得与滑动窗口中的待拼接图像相匹配的待拼接图像之间的重投影误差最小化,能够进一步提高图像拼接的效果。
作为本发明实施例的一种具体实施方式,在“输入待拼接图像以及所有待拼接图像之间的匹配内点之前”,还包括:
对原始图像进行图像匹配处理,得到原始图像对应的待拼接图像以及所有待拼接图像之间的匹配内点。
具体的,输入多帧原始图像,采用特征提取方法对原始图像进行特征点提取,并采用第二最近邻方法将特征点进行特征匹配,得到相邻两帧图像的匹配点,根据匹配点得到相邻两帧图像之间的单应变换矩阵,根据单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一外接矩形对应的单应变换多边形;判断所有单应变换多边形之间是否存在重叠区域,若是则计算重叠区域的面积占比;在判断到面积占比满足预设条件后,计算重叠区域对应的原始图像之间的匹配内点,该匹配内点即为本实施例中待拼接图像之间的匹配内点。其中,所述特征提取方法包括但不限于SURF和SIFT。
作为本发明实施例的一种具体实施方式,以重投影误差作为目标函数,根据匹配内点对初始化相机参数进行优化,得到最优目标函数时的最优相机参数;
采用预设数量的相机模型和滑动窗口的相机总数定义滑动窗口的完整状态向量,根据匹配内点计算滑动窗口内的总误差函数,以重投影误差作为目标函数,根据总误差函数以及完整状态向量建立目标函数,求解目标函数得到每一帧待拼接图像的最优相机参数。
作为本发明实施例的一种具体实施方式,采用预设数量的相机模型和滑动窗口的相机总数定义滑动窗口的完整状态向量,根据匹配内点计算滑动窗口内的总误差函数,以重投影误差作为目标函数,根据总误差函数以及完整状态向量建立目标函数,求解目标函数得到每一帧待拼接图像的最优相机参数,具体为:
采用4参数的相机内参矩阵和3参数的相机旋转矩阵建立相机模型,并根据相机模型和滑动窗口的相机总数定义滑动窗口的完整状态向量;
具体地,4参数的相机内参矩阵为:
Figure BDA0003005760020000061
3参数的相机旋转矩阵为:
Figure BDA0003005760020000062
其中,θi=[θi1i2i3]。
根据4参数的相机内参矩阵和3参数的相机旋转矩阵建立的相机模型为:
Figure BDA0003005760020000063
Figure BDA0003005760020000064
并根据相机模型和滑动窗口的相机总数定义滑动窗口的完整状态向量:
χ=[x1,x2,...xn]
xk=[Kk,Rk],k∈[1,n] (5)
其中,n是滑动窗口的相机总数。xk是拍摄第k张图像时相机的状态,包含了相机的旋转矩阵和相机内参。
根据匹配内点定义相互匹配的两帧待对齐图像的残差,并根据残差计算滑动窗口内的总误差函数;
具体地,定义两帧待拼接图像的一对匹配内点
Figure BDA0003005760020000071
的残差为:
Figure BDA0003005760020000072
其中,
Figure BDA0003005760020000073
表示待拼接图像i中第k个特征的像素位置,
Figure BDA0003005760020000074
是待拼接图像j中
Figure BDA0003005760020000075
从图像j到i的投影点:
Figure BDA0003005760020000076
计算相互匹配的图像i和j的误差函数:
Figure BDA0003005760020000077
根据式子(8)计算滑动窗口内的总误差函数为:
Figure BDA0003005760020000078
Figure BDA0003005760020000079
其中,
Figure BDA00030057600200000710
为滑动窗口内待拼接图像集合,Γ(i)为与待拼接图像i匹配的待拼接图像集合,ωij为误差权重,设置最新帧待拼接图像的权重为2,其他待拼接图像的权重为1,从而能够使得最新帧待拼接图像的误差较大,能够达到更新最新帧待拼接图像的相机参数的目的。
以重投影误差作为目标函数,根据总误差函数以及完整状态向量建立目标函数,求解目标函数得到每一帧待拼接图像的最优相机参数。
具体地,根据总误差函数以及完整状态向量建立目标函数为:
Figure BDA0003005760020000081
对该目标函数进行求解得到最优的相机参数,其中该目标函数的含义为使与滑动窗口中待拼接图像相匹配的待拼接图像之间的重投影误差最小化,从而能够有效提高图像拼接的效果。
可选地,滑动窗口的size可根据拍摄场景的复杂程度来决定,本发明实施例在每次拍摄都会进行一次优化拼接,以实现针对性拍摄的图像进行相机参数的优化,从而提高图像拼接的效果。示例性的,滑动窗口的size可设置为4,兼容优化效果和计算效率,能够在降低计算量的前提下,保证相机参数的优化效果,从而提高图像拼接的效果。需要说明的是,本发明实施例中不在滑动窗口内的图像参数转化为先验信息,提供优化约束项。
作为本发明实施例的一种具体实施方式,最优相机参数包括最优相机内参和最优相机旋转参数,根据最优相机参数将所有待拼接图像拼接成全景图,具体为:
根据最优相机内参进而最优相机旋转参数,将所有待对齐图片投影到同一平面上进行全景图融合,得到最终的全景图。
在本发明实施例中,最优相机参数包括最优相机内参K和最优相机旋转参数R,分别将每张待拼接图像投影到同一平面中,设待拼接图像中某像素点的二维坐标为(x,y),该待拼接图像所对应的世界坐标为(X,Y,Z),两者之间的关系为:
Figure BDA0003005760020000082
将世界坐标(X,Y,Z)进行平面投影,设(u,v)为映射后的二维坐标,得到
Figure BDA0003005760020000083
即可得到最终的全景图。
实施本发明实施例,具有以下有益效果:
在本发明实施例中,采用预设帧数的滑动窗口对待拼接图像的相机参数进行初始化以及优化,能够有效降低计算量以及提高优化的速度,从而能够提高图像拼接的效率;本发明实施例以重投影误差作为目标函数对相机参数进行优化,使得与滑动窗口中的待拼接图像相匹配的待拼接图像之间的重投影误差最小化,能够进一步提高图像拼接的效果。
请参阅图2,本发明的第二实施例提供了一种基于滑动窗口的图像拼接装置,包括
输入模块10,用于输入待拼接图像以及所有待拼接图像之间的匹配内点;
初始化模块20,用于将所有待拼接图像按照时间顺序依次添加到捆绑调整器中,并使用预设帧数的滑动窗口对新加入到捆绑调整器中的待拼接图像进行初始化,得到初始化相机参数;
优化模块30,用于以重投影误差作为目标函数,根据匹配内点对初始化相机参数进行优化,得到最优目标函数时的最优相机参数;
拼接模块40,用于根据最优相机参数将所有待拼接图像拼接成全景图。
在本发明实施例中,采用预设帧数的滑动窗口对待拼接图像的相机参数进行初始化以及优化,能够有效降低计算量以及提高优化的速度,从而能够提高图像拼接的效率;本发明实施例以重投影误差作为目标函数对相机参数进行优化,使得与滑动窗口中的待拼接图像相匹配的待拼接图像之间的重投影误差最小化,能够进一步提高图像拼接的效果。
作为本发明实施例的一种具体实施方式,还包括图像匹配模块,用于对原始图像进行图像匹配处理,得到原始图像对应的待拼接图像以及所有待拼接图像之间的匹配内点。
具体的,输入多帧原始图像,采用特征提取方法对原始图像进行特征点提取,并采用第二最近邻方法将特征点进行特征匹配,得到相邻两帧图像的匹配点,根据匹配点得到相邻两帧图像之间的单应变换矩阵,根据单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一外接矩形对应的单应变换多边形;判断所有单应变换多边形之间是否存在重叠区域,若是则计算重叠区域的面积占比;在判断到面积占比满足预设条件后,计算重叠区域对应的原始图像之间的匹配内点,该匹配内点即为本实施例中待拼接图像之间的匹配内点。其中,所述特征提取方法包括但不限于SURF和SIFT
作为本发明实施例的一种具体实施方式,优化模块30,具体用于采用预设数量的相机模型和滑动窗口的相机总数定义滑动窗口的完整状态向量,根据匹配内点计算滑动窗口内的总误差函数,以重投影误差作为目标函数,根据总误差函数以及完整状态向量建立目标函数,求解目标函数得到每一帧待拼接图像的最优相机参数。
作为本发明实施例的一种具体实施方式,优化模块30,还用于:
采用4参数的相机内参矩阵和3参数的相机旋转矩阵建立相机模型,并根据相机模型和滑动窗口的相机总数定义滑动窗口的完整状态向量;
具体地,4参数的相机内参矩阵为:
Figure BDA0003005760020000101
3参数的相机旋转矩阵为:
Figure BDA0003005760020000102
其中,θi=[θi1i2i3]。
根据4参数的相机内参矩阵和3参数的相机旋转矩阵建立的相机模型为:
Figure BDA0003005760020000103
Figure BDA0003005760020000104
并根据相机模型和滑动窗口的相机总数定义滑动窗口的完整状态向量:
χ=[x1,x2,...xn]
xk=[Kk,Rk],k∈[1,n] (5)
其中,n是滑动窗口的相机总数。xk是拍摄第k张图像时相机的状态,包含了相机的旋转矩阵和相机内参。
根据匹配内点定义相互匹配的两帧待对齐图像的残差,并根据残差计算滑动窗口内的总误差函数;
具体地,定义两帧待拼接图像的一对匹配内点
Figure BDA0003005760020000111
的残差为:
Figure BDA0003005760020000112
其中,
Figure BDA0003005760020000113
表示待拼接图像i中第k个特征的像素位置,
Figure BDA0003005760020000114
是待拼接图像j中
Figure BDA0003005760020000115
从图像j到i的投影点:
Figure BDA0003005760020000116
计算相互匹配的图像i和j的误差函数:
Figure BDA0003005760020000117
根据式子(8)计算滑动窗口内的总误差函数为:
Figure BDA0003005760020000118
Figure BDA0003005760020000119
其中,
Figure BDA00030057600200001110
为滑动窗口内待拼接图像集合,Γ(i)为与待拼接图像i匹配的待拼接图像集合,ωij为误差权重,设置最新帧待拼接图像的权重为2,其他待拼接图像的权重为1,从而能够使得最新帧待拼接图像的误差较大,能够达到更新最新帧待拼接图像的相机参数的目的。
以重投影误差作为目标函数,根据总误差函数以及完整状态向量建立目标函数,求解目标函数得到每一帧待拼接图像的最优相机参数。
具体地,根据总误差函数以及完整状态向量建立目标函数为:
Figure BDA0003005760020000121
对该目标函数进行求解得到最优的相机参数,其中该目标函数的含义为使与滑动窗口中待拼接图像相匹配的待拼接图像之间的重投影误差最小化,从而能够有效提高图像拼接的效果。
可选地,滑动窗口的size可根据拍摄场景的复杂程度来决定,本发明实施例在每次拍摄都会进行一次优化拼接,以实现针对性拍摄的图像进行相机参数的优化,从而提高图像拼接的效果。示例性的,滑动窗口的size可设置为4,兼容优化效果和计算效率,能够在降低计算量的前提下,保证相机参数的优化效果,从而提高图像拼接的效果。需要说明的是,本发明实施例中不在滑动窗口内的图像参数转化为先验信息,提供优化约束项。
作为本发明实施例的一种具体实施方式,拼接模块40,具体用于:
根据最优相机内参进而最优相机旋转参数,将所有待对齐图片投影到同一平面上进行全景图融合,得到最终的全景图
在本发明实施例中,最优相机参数包括最优相机内参K和最优相机旋转参数R,分别将每张待拼接图像投影到同一平面中,设待拼接图像中某像素点的二维坐标为(x,y),该待拼接图像所对应的世界坐标为(X,Y,Z),两者之间的关系为:
Figure BDA0003005760020000122
将世界坐标(X,Y,Z)进行平面投影,设(u,v)为映射后的二维坐标,得到
Figure BDA0003005760020000123
即可得到最终的全景图。
实施本发明实施例,具有以下有益效果:
在本发明实施例中,采用预设帧数的滑动窗口对待拼接图像的相机参数进行初始化以及优化,能够有效降低计算量以及提高优化的速度,从而能够提高图像拼接的效率;本发明实施例以重投影误差作为目标函数对相机参数进行优化,使得与滑动窗口中的待拼接图像相匹配的待拼接图像之间的重投影误差最小化,能够进一步提高图像拼接的效果。
以上是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于滑动窗口的图像拼接方法,其特征在于,包括:
输入待拼接图像以及所有所述待拼接图像之间的匹配内点;
将所有所述待拼接图像按照时间顺序依次添加到捆绑调整器中,并使用预设帧数的滑动窗口对新加入到所述捆绑调整器中的待拼接图像进行初始化,得到初始化相机参数;
以重投影误差作为目标函数,根据所述匹配内点对所述初始化相机参数进行优化,得到最优目标函数时的最优相机参数;
根据所述最优相机参数将所有所述待拼接图像拼接成全景图。
2.如权利要求1所述的基于滑动窗口的图像拼接方法,其特征在于,在“输入待拼接图像以及所有所述待拼接图像之间的匹配内点之前”,还包括:
对原始图像进行图像匹配处理,得到所述原始图像对应的待拼接图像以及所有所述待拼接图像之间的匹配内点。
3.如权利要求1所述的基于滑动窗口的图像拼接方法,其特征在于,所述以重投影误差作为目标函数,根据所述匹配内点对所述初始化相机参数进行优化,得到最优目标函数时的最优相机参数;
采用预设数量的相机模型和所述滑动窗口的相机总数定义所述滑动窗口的完整状态向量,根据所述匹配内点计算滑动窗口内的总误差函数,以重投影误差作为目标函数,根据所述总误差函数以及所述完整状态向量建立所述目标函数,求解所述目标函数得到每一帧待拼接图像的最优相机参数。
4.如权利要求3所述的基于滑动窗口的图像拼接方法,其特征在于,采用预设数量的相机模型和所述滑动窗口的相机总数定义所述滑动窗口的完整状态向量,根据所述匹配内点计算滑动窗口内的总误差函数,以重投影误差作为目标函数,根据所述总误差函数以及所述完整状态向量建立所述目标函数,求解所述目标函数得到每一帧待拼接图像的最优相机参数,具体为:
采用相机内参矩阵和相机旋转矩阵建立相机模型,并根据所述相机模型和所述滑动窗口的相机总数定义所述滑动窗口的完整状态向量;
根据所述匹配内点定义相互匹配的两帧待对齐图像的残差,并根据所述残差计算滑动窗口内的总误差函数;
以重投影误差作为目标函数,根据所述总误差函数以及所述完整状态向量建立所述目标函数,求解所述目标函数得到每一帧待拼接图像的最优相机参数。
5.如权利要求1所述的基于滑动窗口的图像拼接方法,其特征在于,所述最优相机参数包括最优相机内参和最优相机旋转参数,所述根据所述最优相机参数将所有所述待拼接图像拼接成全景图,具体为:
根据所述最优相机内参进而所述最优相机旋转参数,将所有所述待对齐图片投影到同一平面上进行全景图融合,得到最终的全景图。
6.一种基于滑动窗口的图像拼接装置,其特征在于,包括
输入模块,用于输入待拼接图像以及所有所述待拼接图像之间的匹配内点;
初始化模块,用于将所有所述待拼接图像按照时间顺序依次添加到捆绑调整器中,并使用预设帧数的滑动窗口对新加入到所述捆绑调整器中的待拼接图像进行初始化,得到初始化相机参数;
优化模块,用于以重投影误差作为目标函数,根据所述匹配内点对所述初始化相机参数进行优化,得到最优目标函数时的最优相机参数;
拼接模块,用于根据所述最优相机参数将所有所述待拼接图像拼接成全景图。
7.如权利要求6所述的基于滑动窗口的图像拼接装置,其特征在于,还包括图像匹配模块,用于对原始图像进行图像匹配处理,得到所述原始图像对应的待拼接图像以及所有所述待拼接图像之间的匹配内点。
8.如权利要求6所述的基于滑动窗口的图像拼接装置,其特征在于,所述优化模块,具体用于采用预设数量的相机模型和所述滑动窗口的相机总数定义所述滑动窗口的完整状态向量,根据所述匹配内点计算滑动窗口内的总误差函数,以重投影误差作为目标函数,根据所述总误差函数以及所述完整状态向量建立所述目标函数,求解所述目标函数得到每一帧待拼接图像的最优相机参数。
9.如权利要求8所述的基于滑动窗口的图像拼接装置,其特征在于,所述优化模块,还用于:
采用相机内参矩阵和相机旋转矩阵建立相机模型,并根据所述相机模型和所述滑动窗口的相机总数定义所述滑动窗口的完整状态向量;
根据所述匹配内点定义相互匹配的两帧待对齐图像的残差,并根据所述残差计算滑动窗口内的总误差函数;
以重投影误差作为目标函数,根据所述总误差函数以及所述完整状态向量建立所述目标函数,求解所述目标函数得到每一帧待拼接图像的最优相机参数。
10.如权利要求6所述的图像拼接装置,其特征在于,所述拼接模块,具体用于:
根据所述最优相机内参进而所述最优相机旋转参数,将所有所述待对齐图片投影到同一平面上进行全景图融合,得到最终的全景图。
CN202110361545.5A 2021-04-02 2021-04-02 一种基于滑动窗口的图像拼接方法及装置 Active CN113112404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110361545.5A CN113112404B (zh) 2021-04-02 2021-04-02 一种基于滑动窗口的图像拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110361545.5A CN113112404B (zh) 2021-04-02 2021-04-02 一种基于滑动窗口的图像拼接方法及装置

Publications (2)

Publication Number Publication Date
CN113112404A true CN113112404A (zh) 2021-07-13
CN113112404B CN113112404B (zh) 2023-04-28

Family

ID=76713577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110361545.5A Active CN113112404B (zh) 2021-04-02 2021-04-02 一种基于滑动窗口的图像拼接方法及装置

Country Status (1)

Country Link
CN (1) CN113112404B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937002A (zh) * 2022-09-09 2023-04-07 北京字跳网络技术有限公司 用于估算视频旋转的方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120307000A1 (en) * 2011-06-01 2012-12-06 Apple Inc. Image Registration Using Sliding Registration Windows
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法
WO2017113818A1 (zh) * 2015-12-31 2017-07-06 深圳市道通智能航空技术有限公司 一种无人机及其全景拼接方法、装置和系统
CN107993197A (zh) * 2017-12-28 2018-05-04 哈尔滨工业大学深圳研究生院 一种全景相机的拼接方法及系统
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
US20190147564A1 (en) * 2017-11-16 2019-05-16 Axis Ab Method, device, and camera for blending a first and a second image having overlapping fields of view
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
US20190335099A1 (en) * 2016-06-14 2019-10-31 Hangzhou Hikvision Digital Technology Co., Ltd. Panoramic camera and photographing method thereof
CN111210477A (zh) * 2019-12-26 2020-05-29 深圳大学 一种运动目标的定位方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120307000A1 (en) * 2011-06-01 2012-12-06 Apple Inc. Image Registration Using Sliding Registration Windows
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法
WO2017113818A1 (zh) * 2015-12-31 2017-07-06 深圳市道通智能航空技术有限公司 一种无人机及其全景拼接方法、装置和系统
US20190335099A1 (en) * 2016-06-14 2019-10-31 Hangzhou Hikvision Digital Technology Co., Ltd. Panoramic camera and photographing method thereof
US20190147564A1 (en) * 2017-11-16 2019-05-16 Axis Ab Method, device, and camera for blending a first and a second image having overlapping fields of view
CN107993197A (zh) * 2017-12-28 2018-05-04 哈尔滨工业大学深圳研究生院 一种全景相机的拼接方法及系统
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN111210477A (zh) * 2019-12-26 2020-05-29 深圳大学 一种运动目标的定位方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
任海蕾: "基于多相机标定的全景合成方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
周扬等: "基于多源信息融合的单目定位算法", 《指挥控制与仿真》 *
杜亚鹏: "图像拼接的关键技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
梁玉敏等: "基于图像校正与相位相关的视频拼接算法", 《电视技术》 *
邹雄等: "面向自主靠泊的船舶航迹估计方法", 《中国航海》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937002A (zh) * 2022-09-09 2023-04-07 北京字跳网络技术有限公司 用于估算视频旋转的方法、装置、电子设备和存储介质
CN115937002B (zh) * 2022-09-09 2023-10-20 北京字跳网络技术有限公司 用于估算视频旋转的方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113112404B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN109167924B (zh) 基于混合相机的视频成像方法、系统、设备及存储介质
CN109389555B (zh) 一种全景图像拼接方法及装置
US8447140B1 (en) Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
CN104992408A (zh) 用于用户终端的全景图像生成方法和装置
US10803551B2 (en) Method and system for frame stitching based image construction in an indoor environment
CN105144687A (zh) 图像处理装置、图像处理方法及程序
EP1903498B1 (en) Creating a panoramic image by stitching a plurality of images
CN110838086B (zh) 一种基于相关性模板匹配的室外图像拼接方法
CN106447602A (zh) 一种图像拼接方法及装置
CN105469375A (zh) 处理高动态范围全景图的方法和装置
CN109241968B (zh) 图像内容倾斜角度预测网络训练方法及修正方法、系统
US11393076B2 (en) Blurring panoramic image blurring method, terminal and computer readable storage medium
CN114143528A (zh) 多视频流融合方法、电子设备、存储介质
KR100614004B1 (ko) 자동화된 360°파노라마 이미지 생성 방법
CN105488766A (zh) 鱼眼镜头图像校正方法及装置
CN110009567A (zh) 用于鱼眼镜头的图像拼接方法和装置
CN113112404A (zh) 一种基于滑动窗口的图像拼接方法及装置
CN108093188A (zh) 一种基于混合投影变换模型的大视场视频全景图拼接的方法
CN103793891A (zh) 低复杂度的全景影像接合方法
CN106469435B (zh) 图像处理方法、装置及设备
CN108765292A (zh) 基于空间三角面片拟合的图像拼接方法
CN116245734A (zh) 全景图像生成方法、装置、设备和存储介质
CN114463170A (zh) 一种针对agv应用的大场景图像拼接方法
CN108833874A (zh) 一种用于行车记录仪的全景图像色彩校正方法
US20230239574A1 (en) Systems and methods for image capture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant