CN110246161B - 一种360度全景图像无缝拼接的方法 - Google Patents
一种360度全景图像无缝拼接的方法 Download PDFInfo
- Publication number
- CN110246161B CN110246161B CN201910480691.2A CN201910480691A CN110246161B CN 110246161 B CN110246161 B CN 110246161B CN 201910480691 A CN201910480691 A CN 201910480691A CN 110246161 B CN110246161 B CN 110246161B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- grid
- degree panoramic
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 43
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 claims description 6
- 208000029618 autoimmune pulmonary alveolar proteinosis Diseases 0.000 claims description 6
- 238000007493 shaping process Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G06T3/06—
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Abstract
本发明公开了一种360度全景图像无缝拼接的方法,包括:将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图;将图像中位于最左侧的图像沿中线切开,切开后得到的左图移至图像序列最右边;利用SIFT算法分别提取图像的特征点,利用RANSAC算法选取最佳的特征点对并进行匹配;利用匹配好的特征点对生成网格,使用网格顶点代替图像中的特征点;网格顶点对的位置关系估计每一幅图像的焦距与三维旋转角度;利用估计出的焦距与三维旋转角度对网格进行优化;使用优化后的网格引导图像进行仿射变换;对变换后的图像进行融合,并投影到圆柱面上显示。本发明实现了360度全景图像无缝拼接,解决了360度全景图像拼接的首尾对接问题。
Description
技术领域
本发明涉及一种图像拼接方法,特别是一种360度全景图像无缝拼接的方法,本发明属于多传感器图像拼接技术领域。
背景技术
图像拼接是将在同一场景下拍摄的多个图像拼接成具有宽视场的高分辨率图像的技术。图像拼接算法的核心在于图像配准,配准的精度直接决定了图像拼接的质量。图像配准使用的变换模型通常分为全局变换模型和局部变换模型。使用全局变换模型进行图像配准时,对于重合区域较大或存在视差的情况,就会导致配准的精度降低,重合区域模糊不清。为了解决全局变换模型的不足和提高配准的质量,局部变换模型应运而生,比较典型的有平滑变化的仿射变换(SVA)和尽可能投影变换算法(APAP)。局部变换模型将需要变换的图像分成若干部分,对每一部分分别进行仿射变换,这些变换使用不同的局部参数以获得更好的配准精度。拼接的图像在非重合区域中不存在对应关系,但是为了保证图像整体的自然性,也需要对这些区域做相应的变换,在APAP中使用正则化方法推出非重合区域部分的局部变换参数,使整体的变换看起来更加自然。但是当拼接图像的数量增加时,远离基准图像的图像会产生严重的失真,采用将图像投影到圆柱面或者球面上显示的方法可以一定程度上解决这种由视角变大而引起的失真。由于具有宽视场的单视角图像会在形状和尺度上引入严重的失真,因此多视角拼接图像的方法被提了出来。Chang等人提出了形状保持半投影(SPHP)变换模型,它是投影变换和相似变换的空间组合。SPHP在重合区域中使用投影变换,来保持配准的精度,在非重叠区域中使用相似变换来保持图像的原始视角并减少失真。此外,SPHP还可以与APAP结合使用,以获得更好的配准精度。然而,SPHP变换模型要求拼接图像的视野要小,而且SPHP从单应性矩阵导出相似变换,如果使用全局变换模型,则导出的相似性变换会出现不自然的旋转。因此Lin等人提出了自适应的尽可能自然(AANAP)变换模型来解决非自然旋转的问题。AANAP变换模型将单应性矩阵的变换线性化,但是在拼接多个图像时存在局部失真的情况,全局相似性变换参数的估计不稳健,并且仍然存在不自然的旋转和缩放。以上的这些方法都没有对360度图像拼接中的首尾对接问题进行研究。
发明内容
针对上述现有技术,本发明要解决的技术问题是提供一种解决360度全景图像拼接中首尾相接问题的360度全景图像无缝拼接的方法。
为解决上述技术问题,本发明的一种360度全景图像无缝拼接的方法,包括以下步骤:
S1:将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图;
S2:将S1中得到的一组灰度图像中位于最左侧的图像沿中线切开,切开后得到的左图移至图像序列的最右侧;
S3:利用SIFT算法提取S2中获得的全部图像的特征点,对提取的特征点利用RANSAC算法选取最佳的特征点对并进行匹配,剔除不理想的匹配点;
S4:利用S3中得到的理想的特征点对选用APAP算法生成网格,使用生成的网格顶点代替图像的特征点;
S5:根据网格顶点对的位置关系估计每一幅图像的焦距与三维旋转角度;
S6:利用估计出的焦距与三维旋转角度对S4中生成的网格进行整形;
S7:使用整形后的网格引导图像进行仿射变换;
S8:对变换后的图像进行融合,并投影到圆柱面上进行三维显示。
本发明还包括:
S1中将转为灰度图的转换方程为:
S5中使用网格的每个四边形对应的对图像焦距的估计的平均值作为焦距的初始化矩阵Ki,通过最小化投影误差来获得Ii和Ij之间的三维旋转估计:
上式通过奇异值分解的方式求解,φ(p)返回给定匹配点p的对应关系,焦距的初始化矩阵Ki取图像Ii中的网格的每个四边形的焦距估计的中值。
S6所述整形包括:
对于每一幅图像,使用网格引导图像进行仿射变换,设Vi和Ei表示图像Ii中网格的顶点和边的集合,V表示所有顶点的集合,确定一组最优的顶点位置,使得能量函数ψ(V)最小化:
能量函数共有3项,分别为对齐项ψa(V),局部相似项ψl(V)和全局相似项ψg(V);
对齐项ψa(V)满足:
其中:φ(p)返回给定匹配点p的对应关系,表示p的位置是四个顶点位置的线性组合,中的表示p所在的四边形的四个角,αi是对应的双线性权重,J表示相邻的图像对,包含图像Ii和图像Ij,Mij表示位于Ii与Ij重合区域中的在Ii里的网格顶点组成的一系列匹配点;
局部相似项ψl(V)满足:
全局相似项ψg(V)满足:
其中,β和γ是不为零的常数,是共享边缘的四边形;Mi表示位于Ii的重叠区域的四边形;函数d(qk,Mi)返回四边形qk到在网格空间中重叠区域的四边形的距离;Ri和Ci表示Ii中的网格的行数和列数,尺度si可以设置为si=f0/fi,旋转角度θi由步骤S5估算得出;
在ψg中有两个参数β和γ,设置λl的取值范围(0,1),β的取值范围(0,10),γ的取值与β同一量级。
S7所述仿射变换的变换公式满足:
其中,h1~h6为变换参数,由S4中的网格顶点对的位置关系确定,(u,v)为变换之后的坐标,(x,y)为变换之前的坐标。
S8所述融合选用渐入渐出融合算法,对于每两个相邻的图像对,权值d定义为:
其中x是像素点所在重合区域的列数;L是重合区域的左边界的列数,R是重合区域的右边界的列数。
S8利用OpenGL图形显示库创建三维场景,将拼接好的图像投影到场景中的圆柱面上显示。
本发明有益效果:相比于现有的图像拼接技术,本发明实现了360度全景图像无缝拼接,解决了360度全景图像拼接的首尾对接问题。
附图说明
图1为经典的拼接算法得到的360度全景图像的二维显示。
图2为经典的拼接算法得到的360度全景图像的三维显示。
图3位消除拼缝方法示意图。
图4为利用本发明方法拼接得到的360度全景图像。
图5为本发明的流程图。
具体实施方式
下面结合附图对本发明具体实施方式做进一步说明。
本发明公开了一种360度全景图像无缝拼接的方法,该算法包括以下步骤:
S1、将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图;
S2、将一组有序的图像中位于最左侧的图像沿中线切开,切开后得到的左图移至图像序列的最右端;
S3、利用SIFT算法分别提取这些图像的特征点,利用RANSAC算法选取最佳的特征点对并进行匹配;
S4、利用匹配好的特征点对生成网格,使用网格顶点代替S3中通过SIFT算法提取的特征点;
S5、根据网格顶点对的位置关系估计每一幅图像的焦距与三维旋转角度;
S6、利用估计出的焦距与三维旋转角度对S4中生成的网格进行整形;
S7、使用优化后的网格引导图像进行仿射变换;
S8、对变换后的图像进行融合,并投影到圆柱面上显示。
如步骤S1所述,将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图,转换方程为:
如步骤S2所述,将一组有序的图像中位于最左侧的图像沿中线切开,切开后得到的左图移至图像序列的最右端,如附图3所示;
如步骤S3所述,利用SIFT算法分别提取这些图像的特征点,利用RANSAC算法选取最佳的特征点对并进行匹配。
如步骤S4所述,利用匹配好的特征点对生成网格,使用网格顶点代替在S3中提取的特征点。
如步骤S5所述,从两幅相邻图像之间的单应性变换阵中,可以估计两幅图像的焦距。因此可以利用APAP生成的网格顶点对的位置关系估计每一幅图像的焦距fi与三维旋转角度R,通过最小化投影误差的方法来获得相邻图像Ii和Ij之间的三维旋转估计:
公式(2)可以通过奇异值分解的方式求解,φ(p)返回给定匹配点p的对应关系,焦距的初始化矩阵Ki取图像Ii中的网格的每个四边形的焦距估计的中值。
如步骤S6所述,利用估计出的焦距与三维旋转角度对网格进行变形,对于每一幅图像,使用网格引导图像进行仿射变换。设Vi和Ei表示图像Ii中网格的顶点和边的集合。V表示所有顶点的集合。为了使拼接的结果更加自然,需要确定一组最优的顶点位置,使得能量函数ψ(V)最小化。能量函数共有3项,分别为对齐项ψa(V),局部相似项ψl(V)和全局相似项ψg(V)。
对齐项ψa(V):
其中:φ(p)返回给定匹配点p的对应关系,表示p的位置是四个顶点位置的线性组合,中的表示p所在的四边形的四个角,αi是对应的双线性权重,J表示相邻的图像对,包含图像Ii和图像Ij。Mij表示位于Ii与Ij重合区域中的在Ii里的网格顶点组成的一系列匹配点。
局部相似项ψl(V):
全局相似项ψg(V):
其中,β和γ是重要的常数。是一系列共享边缘的四边形;Mi表示那些位于Ii的重叠区域的四边形;函数d(qk,Mi)返回四边形qk到在网格空间中重叠区域的四边形的距离;Ri和Ci表示Ii中的网格的行数和列数。尺度si可以设置为si=f0/fi,旋转角度θi由步骤S5估算得出。
在ψg中有两个参数β和γ,设置λl的取值范围(0,1),β的取值范围(0,10),γ的取值与β同一量级。
如步骤S7所述,使用优化后的网格引导图像进行仿射变换,变换公式如下:
其中,h1~h6为仿射变换的参数,由S4中的网格顶点对的位置关系确定。(u,v)为变换之后的坐标,(x,y)为变换之前的坐标。
如步骤S8所述,对变换后的图像进行融合,并投影到圆柱面上显示。融合算法选用渐入渐出融合,对于每两个相邻的图像对,渐入渐出融合的权值d定义为:
其中x是像素点所在重合区域的列数;L是重合区域的左边界的列数(即为0),R是重合区域的右边界的列数(即为重合区域的宽度)。利用OpenGL图形显示库创建三维场景,将拼接好的图像投影到场景中的圆柱面上显示。
下面结合图1~图5进行具体说明。
图1为经典的拼接算法得到的360度全景图像(二维显示),图2为经典的拼接算法得到的360度全景图像(三维显示),在图二中可以清楚地看出,拼接得到的360全景图像不能严格的对齐,在首尾对接的地方有明显的拼缝,图3为消除拼缝方法示意图,将待拼接的一组有序的图像中位于最左侧的图1沿中线ab切开,切开后得到1(1)与1(2),再将1(2)与2进行拼接,1(1)与最右侧的n拼接,因为a1与a2,b1与b2的像素点是相邻的,根据这个条件可以将带有拼缝的全景图拉伸,再映射到圆柱上,拼缝消除。图4为利用本发明方法拼接得到的360度全景图像。可以看出本方法的得到的全景图像可以完整的覆盖整个圆柱面,显示效果更加具有立体感。图5为本发明的算法流程图。
本发明具体实施方式还包括:
在步骤S1中,将一组在同一地点沿着不同方向拍摄得到的一系列RGB彩色图像转为灰度图。
在步骤S3中,选用SIFT算法分别提取由步骤S2获得的一系列灰度图像的特征点,对这些特征点利用RANSAC算法选取最佳的特征点对并进行匹配,剔除匹配误差大的匹配点,将理想的匹配点保留下来。
在步骤S4中,利用由步骤S3获得的理想的匹配点选用APAP算法生成网格,使用生成的网格顶点代替由步骤S3获得的特征点,这些网格的顶点相比较由步骤S3获得的特征点,分布更加均匀。
在步骤S5中,利用由步骤S4获得的网格顶点对每个相机的焦距与三维旋转角度进行估计。
在步骤S6中,利用由步骤S5估计出的每个相机拍摄时的焦距与三维旋转角度对S4中生成的网格进行整形。
在步骤S7中,利用由步骤S6优化后的网格引导图像进行仿射变换,图像序列中的每一幅图像都被初始的网格分割成尺寸更小的矩形,每一个矩形都对应一个优化后的矩形,利用仿射变换将初始网格分割的图像区域变换到对应的优化后的网格中的矩形区域,完成整体的变换。
在步骤S8中,将由步骤S7变换后的图像序列进行加权融合,并投影到圆柱面上进行三维显示。
本发明实现了360度全景图像无缝拼接,解决了360度全景图像拼接的首尾对接问题。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种360度全景图像无缝拼接的方法,其特征在于,包括以下步骤:
S1:将一组在同一地点沿着不同方向拍摄得到的序列图像转为灰度图;
S2:将S1中得到的一组灰度图像中位于最左侧的图像沿中线切开,切开后得到的左图移至图像序列的最右侧;
S3:利用SIFT算法提取S2获得的图像的特征点,对提取的特征点利用RANSAC算法选取最佳的特征点对并进行匹配,剔除不理想的匹配点;
S4:利用S3中得到的理想的特征点对选用APAP算法生成网格,使用生成的网格顶点代替图像的特征点;
S5:根据网格顶点对的位置关系估计每一幅图像的焦距与三维旋转角度;
S6:利用估计出的焦距与三维旋转角度对S4中生成的网格进行整形;
S7:使用整形后的网格引导图像进行仿射变换;
S8:对变换后的图像进行融合,并投影到圆柱面上进行三维显示。
4.根据权利要求1所述的一种360度全景图像无缝拼接的方法,其特征在于:S6所述整形包括:
对于每一幅图像,使用网格引导图像进行仿射变换,设Vi和Ei表示图像Ii中网格的顶点和边的集合,V表示所有顶点的集合,确定一组最优的顶点位置,使得能量函数ψ(V)最小化:
能量函数共有3项,分别为对齐项ψa(V),局部相似项ψl(V)和全局相似项ψg(V);
对齐项ψa(V)满足:
其中:φ(p)返回给定匹配点p的对应关系,表示p的位置是四个顶点位置的线性组合,中的表示p所在的四边形的四个角,αi是对应的双线性权重,J表示相邻的图像对,包含图像Ii和图像Ij,Mij表示位于Ii与Ij重合区域中的在Ii里的网格顶点组成的一系列匹配点;
局部相似项ψl(V)满足:
全局相似项ψg(V)满足:
其中,β和γ是不为零的常数,是共享边缘的四边形;Mi表示位于Ii的重叠区域的四边形;函数d(qk,Mi)返回四边形qk到在网格空间中重叠区域的四边形的距离;Ri和Ci表示Ii中的网格的行数和列数,尺度si可以设置为si=f0/fi,旋转角度θi由步骤S5估算得出;
在ψg中有两个参数β和γ,设置λl的取值范围(0,1),β的取值范围(0,10),γ的取值与β同一量级。
7.根据权利要求1所述的一种360度全景图像无缝拼接的方法,其特征在于:S8利用OpenGL图形显示库创建三维场景,将拼接好的图像投影到场景中的圆柱面上显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910480691.2A CN110246161B (zh) | 2019-06-04 | 2019-06-04 | 一种360度全景图像无缝拼接的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910480691.2A CN110246161B (zh) | 2019-06-04 | 2019-06-04 | 一种360度全景图像无缝拼接的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110246161A CN110246161A (zh) | 2019-09-17 |
CN110246161B true CN110246161B (zh) | 2022-10-28 |
Family
ID=67886017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910480691.2A Active CN110246161B (zh) | 2019-06-04 | 2019-06-04 | 一种360度全景图像无缝拼接的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110246161B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110572621A (zh) * | 2019-09-26 | 2019-12-13 | 湖州南太湖智能游艇研究院 | 一种全景视频实时拼接的方法 |
CN111179165B (zh) * | 2019-11-29 | 2023-07-28 | 南京泓众电子科技有限公司 | 一种全景图像生成方法及装置 |
CN111899164B (zh) * | 2020-06-01 | 2022-11-15 | 东南大学 | 一种针对多焦段场景的图像拼接方法 |
CN112308775A (zh) * | 2020-09-23 | 2021-02-02 | 中国石油大学(华东) | 水下图像拼接方法及装置 |
CN113658080B (zh) * | 2021-08-23 | 2023-12-22 | 宁波棱镜空间智能科技有限公司 | 一种基于特征点匹配的线扫圆柱体几何校正方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7565029B2 (en) * | 2005-07-08 | 2009-07-21 | Seiko Epson Corporation | Method for determining camera position from two-dimensional images that form a panorama |
CN104408701B (zh) * | 2014-12-03 | 2018-10-09 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
CN107067370A (zh) * | 2017-04-12 | 2017-08-18 | 长沙全度影像科技有限公司 | 一种基于网格变形的图像拼接方法 |
CN109389555B (zh) * | 2018-09-14 | 2023-03-31 | 复旦大学 | 一种全景图像拼接方法及装置 |
-
2019
- 2019-06-04 CN CN201910480691.2A patent/CN110246161B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110246161A (zh) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110246161B (zh) | 一种360度全景图像无缝拼接的方法 | |
CN107909640B (zh) | 基于深度学习的人脸重光照方法及装置 | |
Jia et al. | Image stitching using structure deformation | |
JP6216468B2 (ja) | 無特徴抽出の高密度sfm三次元再構成法 | |
EP2930689B1 (en) | Method for rendering | |
RU2215326C2 (ru) | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта | |
JP5830546B2 (ja) | 対象物のモデル変換に基づくモデルパラメータの決定 | |
JP5294343B2 (ja) | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 | |
CN110111250B (zh) | 一种鲁棒的自动全景无人机图像拼接方法及装置 | |
CN109934772B (zh) | 一种图像融合方法、装置及便携式终端 | |
CN107767339B (zh) | 一种双目立体图像拼接方法 | |
CN101027679B (zh) | 表达通用的二维空间变换的系统和方法 | |
CN107155341A (zh) | 三维扫描系统和框架 | |
CN111242848B (zh) | 基于区域特征配准的双目相机图像缝合线拼接方法及系统 | |
CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
CN112862683B (zh) | 一种基于弹性配准和网格优化的邻接图像拼接方法 | |
CN110648274A (zh) | 鱼眼图像的生成方法及装置 | |
JP2009075646A (ja) | 映像表示システム及び該システムのパラメータ生成方法 | |
Pan et al. | Color adjustment in image-based texture maps | |
Zhang et al. | Pseudo-LiDAR point cloud magnification | |
WO2022247394A1 (zh) | 图像拼接方法及装置、存储介质及电子设备 | |
Kolhatkar et al. | Real-time virtual viewpoint generation on the GPU for scene navigation | |
Kim et al. | Implicit Neural Image Stitching With Enhanced and Blended Feature Reconstruction | |
JP2001256492A (ja) | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |