CN109829851B - 一种基于球面对齐估计的全景图像拼接方法及存储设备 - Google Patents
一种基于球面对齐估计的全景图像拼接方法及存储设备 Download PDFInfo
- Publication number
- CN109829851B CN109829851B CN201910042518.4A CN201910042518A CN109829851B CN 109829851 B CN109829851 B CN 109829851B CN 201910042518 A CN201910042518 A CN 201910042518A CN 109829851 B CN109829851 B CN 109829851B
- Authority
- CN
- China
- Prior art keywords
- image
- grid
- spherical
- local
- rotation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 239000013598 vector Substances 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007789 sealing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及图像处理技术领域，特别涉及一种基于球面对齐估计的全景图像拼接方法及存储设备。所述一种基于球面对齐估计的全景图像拼接方法，包括步骤：获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上；通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置；对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像。该拼接方法，可以在保证全景图像球面一致性的前提下，即使相机之间存在一定的视差，亦可极大程度的减少全景图像拼接中的拼接错位问题。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于球面对齐估计的全景图像拼接方法及存储设备。
背景技术
随着近年来VR技术的兴起，类似全景看房、VR购物和VR点餐的应用开始大量出现。而为了获得VR设备需要的全景图像，最为核心的技术就是全景图像拼接。对于以展示真实场景为目的的VR应用，并不能像展示虚拟场景那样，直接对虚拟场景进行实时的渲染，而是需要首先使用多个相机得到场景的不同角度图像，再通过全景图像拼接技术得到覆盖360°×180°视角范围的全视角图像，最终在VR头盔中以场景包围盒的形式进行渲染。为了达到最好的视觉沉浸式效果，我们希望得到的全景图像是无缝拼接的，因为即使很小的拼接错位问题，都会在最终的沉浸式VR头盔中被放大显示，进而影响用户体验。
而现有的全景图像拼接要求严格的相机中心约束，如果相机之间存在视差的话，可能会导致拼接错位的问题。现有解决这一问题的方法主要是在全景球面的图像展开平面进行局部对齐调整，但是仅仅是在平面进行局部对齐调整无法自然的保证全景球面的封闭性，而加入封闭性约束又无法保证很好的局部对齐效果。
发明内容
为此，需要提供一种基于球面对齐估计的全景图像拼接方法，用以解决全景图像拼接中由视差导致的拼接错位问题，具体技术方案如下：
一种基于球面对齐估计的全景图像拼接方法，包括步骤：获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上；通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置；对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像。
进一步的，所述“获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上”，还包括步骤：通过相机逆成像函数与相机间的相对旋转矩阵，将输入图像映射到统一的立方体网格展开图像面上。
进一步的，所述“通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置”，还包括步骤：提取立方体网格展开图像面上的视觉特征，并进行特征匹配；通过查找立方体网格展开图像面对应方向向量表，得到匹配的方向向量对；对立方体网格进行归一化生成球面网格，并计算每一组匹配方向向量对应每一个网格的权值；计算每一个网格的加权旋转矩阵，得到局部加权的旋转矩阵，基于所述局部加权的旋转矩阵计算得到局部对齐估计后的网格，进而得到局部对齐的全景球面。
进一步的，所述“对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像”，还包括步骤：使用原有的立方体网格展开图像面纹理坐标，对新生成的局部对齐的全景球面进行重新渲染，得到重新渲染的全景球面对应的立方展开图像；在统一的立方展开图像平面内进行图像融合，得到局部对齐后的全景拼接图像。
为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：
一种存储设备，其中存储有指令集，所述指令集用于执行：上述任意步骤。
本发明的有益效果是：通过获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上；通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置；对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像。该拼接方法，可以在保证全景图像球面一致性的前提下，即使相机之间存在一定的视差，亦可极大程度的减少全景图像拼接中的拼接错位问题。
附图说明
图1为具体实施方式所述一种基于球面对齐估计的全景图像拼接方法的流程图；
图2为具体实施方式所述一种存储设备的模块示意图。
附图标记说明：
200、存储设备。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施案例并配合附图详予说明。
请参阅图1，在本实施方式中，一种基于球面对齐估计的全景图像拼接方法可运行在存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端等。具体实施方式如下：
步骤S101：获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上。
步骤S102：通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置。
步骤S103：对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像。
上述三个步骤的具体实施可采用如下方式：
步骤S101中所述“获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上”，还包括步骤：通过相机逆成像函数与相机间的相对旋转矩阵，将输入图像映射到统一的立方体网格展开图像面上。在本实施方式中，输入图像可以是任意相机得到的图像，包括但不限于透视相机和鱼眼相机等。其中图像的映射操作，首先建立目标图像平面坐标与原始图像平面坐标的映射表，具体做法为先将原始图像平面坐标使用相机逆成像函数映射到对应的视线方向向量，再使用旋转矩阵变换到目标坐标系下，最后映射到最终的目标图像平面中。基于建立的映射表，我们可以将原始图像通过查表的方式映射到目标图像平面。
步骤S102中所述“通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置”，还包括步骤：提取立方体网格展开图像面上的视觉特征，并进行特征匹配；通过查找立方体网格展开图像面对应方向向量表，得到匹配的方向向量对；对立方体网格进行归一化生成球面网格，并计算每一组匹配方向向量对应每一个网格的权值；计算每一个网格的加权旋转矩阵，得到局部加权的旋转矩阵，基于所述局部加权的旋转矩阵计算得到局部对齐估计后的网格，进而得到局部对齐的全景球面。具体可采用如下方式：
提取立方体网格展开图像面上的视觉特征(如ORB、SIFT或SURF等)，通过KD树暴力匹配和RANSAC的方式得到匹配的特征点对<u0i,u1i>，最后通过查找立方体网格展开图像面对应方向向量表，得到匹配的方向向量对<n0i,n1i>。
将立方体网格点Vc归一化生成球面网格点Vs，并根据每一组匹配方向向量中第一个方向向量与球面网格点的余弦距离Vs Tn1i，设置匹配方向向量对<n0i,n1i>对于每一个网格点Vs在进行旋转估计时的权值wi＝max(Vs Tn1i,λ)，其中λ为[0,1]之间的截断参数。
估计每一个网格在进行旋转估计时的加权数据矩阵A*＝∑wi(n1in0i T)。最后使用SVD分解加权数据矩阵A*＝U*D*V* T，并得到网格点对应的局部加权旋转矩阵
使用R*对每个球面网格点进行旋转后可以得到局部对齐估计之后的球面网格，进而得到局部对齐的全景球面。
步骤S103中所述“对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像”，还包括步骤：使用原有的立方体网格展开图像面纹理坐标，对新生成的局部对齐的全景球面进行重新渲染，得到重新渲染的全景球面对应的立方展开图像；在统一的立方展开图像平面内进行图像融合，得到局部对齐后的全景拼接图像。
通过获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上；通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置；对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像。该拼接方法，可以在保证全景图像球面一致性的前提下，即使相机之间存在一定的视差，亦可极大程度的减少全景图像拼接中的拼接错位问题。
请参阅图2，在本实施方式中，一种存储设备200的具体实施方式如下：
一种存储设备200，其中存储有指令集，所述指令集用于执行：上述实施方式中提到的任意步骤。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。
Claims (4)
1.一种基于球面对齐估计的全景图像拼接方法，其特征在于，包括步骤：
获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上；
通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置；
对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像；
所述“通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置”，还包括步骤：
提取立方体网格展开图像面上的视觉特征，并进行特征匹配；
通过查找立方体网格展开图像面对应方向向量表，得到匹配的方向向量对；
对立方体网格进行归一化生成球面网格，并计算每一组匹配方向向量对应每一个网格的权值；
计算每一个网格的加权旋转矩阵，得到局部加权的旋转矩阵，基于所述局部加权的旋转矩阵计算得到局部对齐估计后的网格，进而得到局部对齐的全景球面。
2.根据权利要求1所述的一种基于球面对齐估计的全景图像拼接方法，其特征在于，所述“获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上”，还包括步骤：
通过相机逆成像函数与相机间的相对旋转矩阵，将输入图像映射到统一的立方体网格展开图像面上。
3.根据权利要求1所述的一种基于球面对齐估计的全景图像拼接方法，其特征在于，所述“对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像”，还包括步骤：
使用原有的立方体网格展开图像面纹理坐标，对新生成的局部对齐的全景球面进行重新渲染，得到重新渲染的全景球面对应的立方展开图像；
在统一的立方展开图像平面内进行图像融合，得到局部对齐后的全景拼接图像。
4.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：
上述权利要求1-3的任意步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910042518.4A CN109829851B (zh) | 2019-01-17 | 2019-01-17 | 一种基于球面对齐估计的全景图像拼接方法及存储设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910042518.4A CN109829851B (zh) | 2019-01-17 | 2019-01-17 | 一种基于球面对齐估计的全景图像拼接方法及存储设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109829851A CN109829851A (zh) | 2019-05-31 |
| CN109829851B true CN109829851B (zh) | 2020-09-18 |
Family
ID=66861699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910042518.4A Expired - Fee Related CN109829851B (zh) | 2019-01-17 | 2019-01-17 | 一种基于球面对齐估计的全景图像拼接方法及存储设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829851B (zh) |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8254697B2 (en) * | 2009-02-02 | 2012-08-28 | Microsoft Corporation | Scalable near duplicate image search with geometric constraints |
| CN101655979A (zh) * | 2009-08-20 | 2010-02-24 | 长宽高（北京）科技有限公司 | 三维场景中扩展全景应用的方法 |
| AU2011254041A1 (en) * | 2011-12-14 | 2013-07-04 | Canon Kabushiki Kaisha | Compression of sift vectors for image matching |
| CN103077509B (zh) * | 2013-01-23 | 2015-10-28 | 天津大学 | 利用离散立方体全景图实时合成连续平滑全景视频的方法 |
| CN103235854B (zh) * | 2013-04-24 | 2016-01-20 | 武汉大学 | 一种离散元仿真中球形颗粒与三角网格间的接触判断方法 |
| CN103646424B (zh) * | 2013-11-26 | 2016-05-04 | 北京空间机电研究所 | 一种空中无缝虚拟漫游系统构建方法 |
| US20170243084A1 (en) * | 2015-11-06 | 2017-08-24 | The Regents Of The University Of California | Dsp-sift: domain-size pooling for image descriptors for image matching and other applications |
| CN106023086B (zh) * | 2016-07-06 | 2019-02-22 | 中国电子科技集团公司第二十八研究所 | 一种基于orb特征匹配的航拍影像及地理数据拼接方法 |
| CN106127681B (zh) * | 2016-07-19 | 2019-08-13 | 刘牧野 | 一种图像采集方法、虚拟现实图像传输方法及显示方法 |
| CN107644397A (zh) * | 2016-07-21 | 2018-01-30 | 完美幻境(北京)科技有限公司 | 一种全景图像拼接方法及装置 |
| CN106339981A (zh) * | 2016-08-25 | 2017-01-18 | 安徽协创物联网技术有限公司 | 一种全景拼接方法 |
| CN106548446B (zh) * | 2016-09-29 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种在球面全景图像上贴图的方法及装置 |
| DE102017009145A1 (de) * | 2016-10-14 | 2018-04-19 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Erfassung und Wiedergabe von 360-Grad-Videos |
| CN107369129B (zh) * | 2017-06-26 | 2020-01-21 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的拼接方法、装置及便携式终端 |
-
2019
- 2019-01-17 CN CN201910042518.4A patent/CN109829851B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN109829851A (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113382168B (zh) | 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法 | |
| US9626790B1 (en) | View-dependent textures for interactive geographic information system | |
| CN107133918B (zh) | 一种在三维场景中任意位置生成全景图的方法 | |
| US20170278294A1 (en) | Texture Blending Between View-Dependent Texture and Base Texture in a Geographic Information System | |
| WO2018188479A1 (zh) | 基于增强现实的导航方法及装置 | |
| US8619071B2 (en) | Image view synthesis using a three-dimensional reference model | |
| CN115690382B (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
| US10650592B2 (en) | Methods and apparatus for providing rotated spherical viewpoints | |
| CN108805988A (zh) | Vr图像生成方法、装置、计算机设备及存储介质 | |
| WO2023207963A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111866523A (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
| CN112581389A (zh) | 虚拟视点深度图处理方法、设备、装置及存储介质 | |
| CN114549289A (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| CN111836058B (zh) | 用于实时视频播放方法、装置、设备以及存储介质 | |
| US11706395B2 (en) | Apparatus and method for selecting camera providing input images to synthesize virtual view images | |
| CN113077541B (zh) | 一种虚拟天空画面的渲染方法及相关设备 | |
| CN112288878B (zh) | 增强现实预览方法及预览装置、电子设备及存储介质 | |
| Pathak et al. | Virtual reality with motion parallax by dense optical flow-based depth generation from two spherical images | |
| CN109829851B (zh) | 一种基于球面对齐估计的全景图像拼接方法及存储设备 | |
| CN116708862A (zh) | 直播间的虚拟背景生成方法、计算机设备及存储介质 | |
| CN109461116B (zh) | 一种基于opengl的720全景展开监控方法 | |
| JP6341540B2 (ja) | 情報端末装置、方法及びプログラム | |
| CN114241127A (zh) | 全景图像生成方法、装置、电子设备和介质 | |
| CN112258435A (zh) | 图像处理方法和相关产品 | |
| CN108171802A (zh) | 一种云端与终端结合实现的全景增强现实实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200918 |