CN101895693A - 生成全景图像的方法及装置 - Google Patents

Abstract

本发明公开了一种生成全景图像的方法及装置，属于图像处理技术领域。所述方法包括：获取经手机拍摄到的多张图像，并将获取到的图像进行柱面投影；根据任意两个相邻投影图像之间的像素相关性，确定所述任意两个相邻投影图像之间的重叠范围；根据该任意两个相邻投影图像之间的重叠范围对该任意两个相邻投影图像进行无缝拼接，得到全景图像。所述装置包括：获取模块、投影模块、确定模块和拼接模块。本发明通过对经手机拍摄的图像进行柱面投影，并在确定任意两个相邻投影图像之间的重叠范围后，进行无缝拼接，从而生成全景图像，不仅可以简化生成全景图像的方式，还降低了对图像质量的要求，使全景图像的应用易于推广。

Description

生成全景图像的方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种生成全景图像的方法及装置。

背景技术

全景图像是使用在某一点拍摄的多幅实景图像拼接而成的。具体的生成过程是将各自投影平面的相互重叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，使得平面图像具有深度感，然后对投影图像进行无缝拼接，就可得到没有图像畸变的全景图像。当用户观察某一图像空间时，要将全景图像中相应部分反投影到观察平面上，给用户产生正确的观察结果，因而全景图像为用户提供了极大的观察自由度，使之可以任意地改变观察方向。

现有技术在构造全景图像时，将某一视点空间的同一焦距、同一时间拍摄的所有局部图像投影到各自所对应的球面或立方体表面上，这些投影图像相互之间存在重叠部分，然后对这些投影图像进行无缝拼接，得到相应的全景图像。

在实现本发明的过程中，发明人发现现有技术至少存在以下缺点：

由于球面全景图像和立方体全景图像在局部图像的合成算法方面以及全景图像到观察平面的投影算法方面难度较大，造成处理时间过多，同时，在绝大多数时候并不需要所有的信息(例如地面和天空)，且合成算法对图像的质量要求较高。

发明内容

为了简化全景图像的生成方式，降低生成全景图像的难度，从而推广全景图像的应用，本发明实施例提供了一种生成全景图像的方法及装置。所述技术方案如下：

一方面，提供了一种生成全景图像的方法，所述方法包括：

获取经手机拍摄得到的多张图像，并将获取到的图像进行柱面投影；

根据任意两个相邻投影图像之间的像素相关性，确定所述任意两个相邻投影图像之间的重叠范围；

根据所述任意两个相邻投影图像之间的重叠范围对所述任意两个相邻投影图像进行无缝拼接，得到全景图像。

其中，所述获取经手机拍摄得到的多张图像，具体包括：

接收所述手机的IWeb接口提交的多张图像，所述多张图像是由所述手机的ICamera接口以相同的焦距，绕其镜头中点旋转一周并间隔一定角度进行拍摄得到的。

所述将获取到的图像进行柱面投影，具体包括：

确定同质变换矩阵，根据所述同质变换矩阵，对获取到的每个图像进行同质变换，得到平转图像序列。

所述根据任意两个相邻投影图像之间的像素相关性，确定所述任意两个相邻投影图像之间的重叠范围，具体包括：

计算所述平转图像序列中所述任意两个相邻投影图像的平转角度，根据计算得到的所述平转角度确定所述任意两个相邻投影图像之间的重叠范围。

另一方面，提供了一种生成全景图像的装置，所述装置包括：

获取模块，用于获取经手机拍摄得到的多张图像；

投影模块，用于将所述获取模块获取到的图像进行柱面投影；

确定模块，用于根据所述投影模块投影得到的任意两个相邻投影图像之间的像素相关性，确定所述任意两个相邻投影图像之间的重叠范围；

拼接模块，用于根据所述确定模块确定的所述任意两个相邻投影图像之间的重叠范围对所述任意两个相邻投影图像进行无缝拼接，得到全景图像。

其中，所述获取模块，具体用于接收所述手机的IWeb接口提交的多张图像，所述多张图像是由所述手机的ICamera接口以相同的焦距，绕其镜头中点旋转一周并间隔一定角度进行拍摄得到的。

所述投影模块，具体用于确定同质变换矩阵，根据所述同质变换矩阵，对所述获取模块获取到的每个图像进行同质变换，得到平转图像序列。

所述确定模块，具体用于计算所述投影模块得到的平转图像序列中所述任意两个相邻投影图像的平转角度，根据计算得到的所述平转角度确定所述任意两个相邻投影图像之间的重叠范围。

本发明实施例提供的技术方案的有益效果是：

通过对经手机拍摄的图像进行柱面投影，并在确定任意两个相邻投影图像之间的重叠范围后，进行无缝拼接，从而生成全景图像，不仅可以简化全景图像的生成方式，还降低了对图像质量的要求，使全景图像的应用易于推广。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的生成全景图像的方法流程图；

图2是本发明实施例二提供的生成全景图像的方法流程图；

图3是本发明实施例三提供的生成全景图像的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

参见图1，本实施例提供了一种生成全景图像的方法，该方法流程具体如下：

101：获取经手机拍摄到的多张图像，并将获取到的图像进行柱面投影；

102：根据任意两个相邻投影图像之间的像素相关性，确定该任意两个相邻投影图像之间的重叠范围；

103：根据该任意两个相邻投影图像之间的重叠范围对该任意两个相邻投影图像进行无缝拼接，得到全景图像。

本实施例提供的方法，通过对经手机拍摄的图像进行柱面投影，并在确定任意两个相邻投影图像之间的重叠范围后，进行无缝拼接，从而生成全景图像，不仅可以简化生成全景图像的方式，还降低了对图像质量的要求，使全景图像的应用易于推广。

实施例二

本实施例提供了一种生成全景图像的方法，参见图2，方法流程具体如下：

201：获取经手机拍摄到的多张图像；

针对该步骤，获取到的多张图像可由手机的ICamera接口以相同的焦距，绕其镜头中点旋转一周并间隔一定角度进行拍摄得到的，并通过手机的IWeb接口上传提交。其中，本实施例不对间隔的具体角度进行限定，可根据实际情况设定，手机可以是具有BREW(Binary Runtime Environment for Wireless，无线二进制运行环境)平台的CDMA(Code Division Multiple Access，码分多址)手机，由于该类手机的使用范围很广，从而使获取图像的方式更加便捷，有利于全景图像的应用推广。

202：将获取到的图像进行柱面投影；

具体地，柱面投影也就是将获取到的图像投影到柱面上，是一种透视投影而非平行投影，通俗的讲就是要获得在投影中心(视点)这一点上观察到的图像在柱上的成像。对一个图像的任意两个平面透视投影，使属于一个视点的任意两个图像，都可被一个二维同质变换所联系。一般的手机在拍摄图像时的运动，例如平转、倾斜、滚动、焦距变换得到的图像，都能通过该变换得到。因此，在将获取到的图像进行柱面投影时，需要先确定同质变换矩阵，并根据同质变换矩阵对获取到的每个图像进行同质变换，得到平转图像序列。

其中，同质变换矩阵已由多种现有技术提供，最普通的技术包括建立每对图像的四个对应点。在进行柱面投影时，为了便于说明，以仅需要考虑平转运动为例，定义手机在拍摄图像时的局部坐标系，使整个平转过程发生在x-z平面，如以下面矩阵所示：

$\left(\begin{array}{c}u\\ v\\ w\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$ $x^{,}=\frac{u}{w}$ $y^{,}=\frac{v}{w}$

该矩阵中的x、y代表第一幅图像的像素坐标，x`，y`是和f，(x，y)在第二幅图像上的对应坐标，u、v和w分别为x、y和z平面的像素坐标到柱面投影后的像素坐标，a₁₁、a₁₂......等构成参数矩阵，得到的变换提供了从前一幅图像的平面投影到后一幅图像的平面投影之间的像素的映射关系。通过依次确定第N幅图像到第N-1幅图像变换，若干幅图像就能以这样方式进行合成，以形成每幅图像到第一幅图像的映射。

该步骤通过映射避免了直接决定整个照相机模型，其它的不指定对应点的获取，以及同质变换矩阵技术在很多文献中有描述，本实施例对此均不作具体限定。

203：根据任意两个相邻投影图像之间的像素相关性，确定该任意两个相邻投影图像之间的重叠范围；

具体地，本实施例不对确定重叠范围的方式进行限定，实际应用中，可通过计算平转图像序列中任意两个相邻投影图像的平转角度，根据计算得到的平转角度确定该任意两个相邻投影图像之间的重叠范围。

其中，计算平转序列图像中任意两个相邻投影图像的平转角度θ时，可利用极小的线性逼近来实现。当θ极小趋近于零时，则：

$x^{\′}=x-f\·\mathrm{\θ}-\frac{\mathrm{\θ}\·{(x-C_x)}^2}{f}+0\left({\mathrm{\θ}}^2\right)$

$y^{\′}=y-\frac{\mathrm{\θ}\·(x-C_x)\·(y-C_y)}{f}+0\left({\mathrm{\θ}}^2\right)$

上述表达式中，f是手机在拍摄图像时的焦距长度(以像素为单位)，(Cx，Cy)是光轴与图像平面的交点，一般是图像平面的中心点，在内部变换中可对(Cx，Cy)进行更好的估计。该方程表明极小的平转运动可近似为靠近图像中心的像素的移动。该步骤要求相邻的图像有一定程度的重叠，即每幅图像的一些部分在下一幅图像可见，最后一幅图像的一些部分在第一幅图像中可见。则需要决定结构化矩阵S，描述不同的手机拍摄特性，例如：倾斜角度σ和滚动角度ρ(假定在全景的图像序列中保持不变)，如下面的投影矩阵P所示：

$P=\left[\begin{array}{ccc}1& \mathrm{\σ}& -C_x\\ 0& \mathrm{\ρ}& -C_y\\ 0& 0& f\end{array}\right]$

理想情况下，观察平面与光轴正交，但实际情况中，会略微地有些偏离，以下面的矩阵为例：

${\mathrm{\Ω}}_x=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\ω}}_x& -\sin {\mathrm{\ω}}_x\\ 0& \sin {\mathrm{\ω}}_x& \cos {\mathrm{\ω}}_x\end{array}\right]$ ${\mathrm{\Ω}}_z=\left[\begin{array}{ccc}\cos {\mathrm{\ω}}_z& -{\sin \mathrm{\ω}}_z& 0\\ \sin {\mathrm{\ω}}_z& \cos {\mathrm{\ω}}_z& 0\\ 0& 0& 1\end{array}\right]$

Ωx描述了照相机的方向，Ωz描述了观察平面与光轴的偏离，其最小误差方程为：

$\mathrm{error}(C_x,C_y,\mathrm{\σ},\mathrm{\ρ},{\mathrm{\ω}}_x,{\mathrm{\ω}}_z)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}i-\mathrm{Correlation}(I_{i-1},S^{-1}{R}_y{\mathrm{SI}}_i)$

I_i-1和I_i是图像i-1和图像i的三分之一，S为结构化矩阵，Ry为相关参数，利用Powell的多变量最小化方法，以及如下的初始值，一般大约在六次迭代后收敛到方程解。

$C_x=\frac{\mathrm{image}\_\mathrm{width}}{2}$ $C_y=\frac{\mathrm{image}\_\mathrm{height}}{2}$

σ＝0 ρ＝1 ω_x＝0 ω_z＝0

上述公式中，image_width为图像的宽度值，image_height为图像的高度值，这时，对(Cx，Cy)又有了一个新的估计，可以将其反馈回去，使整个过程能够重复，进一步得到精确解，从而得到平转角度。而根据平转角度如何确定重叠范围，本实施例不作具体限定，可根据现有技术实现。

204：根据该任意两个相邻投影图像之间的重叠范围对该任意两个相邻投影图像进行无缝拼接，得到全景图像。

针对该步骤，根据确定的重叠范围对投影图像进行无缝拼接时，本实施例不对具体拼接方式进行限定，现有技术中具有多种无线拼接方式，实现时，可利用现有技术实现。通过对投影图像进行无线拼接，可以得到没有发生图像畸变的全景图像。观看该全景图像时，可对圆柱面全景图像进行反投影，即可以得到观察平面的图像。

实际应用中，该生成全景图像的方法对图像的质量要求较低，可以通过手机拍照上传，实现360度实景，该全景图像可以应用到多种直观性高的场景中，例如，店面陈设列管理、城管执法、房地产销售等流动性大，要求直观性高的工作，还可以应用到其他场景中，本实施例不对具体应用场景进行限定。

本实施例提供的方法，通过对经手机拍摄的图像进行柱面投影，并在确定任意两个相邻投影图像之间的重叠范围后，进行无缝拼接，从而生成全景图像，不仅可以简化生成全景图像的方式，且由于降低了对图像质量的要求，还能够增加用户体验的便捷性，使其可以广泛用于在线互动、传媒等领域，对全景图像的应用进行了推广。

实施例三

参见图3，本实施例提供了一种生成全景图像的装置，该装置包括：

获取模块301，用于获取经手机拍摄得到的多张图像；

投影模块302，用于将获取模块301获取到的图像进行柱面投影；

确定模块303，用于根据投影模块302投影得到的任意两个相邻投影图像之间的像素相关性，确定该任意两个相邻投影图像之间的重叠范围；

拼接模块304，用于根据确定模块303确定的该任意两个相邻投影图像之间的重叠范围对该任意两个相邻投影图像进行无缝拼接，得到全景图像。

其中，获取模块301，具体用于接收手机的IWeb接口提交的多张图像，多张图像是由手机的ICamera接口以相同的焦距，绕其镜头中点旋转一周并间隔一定角度进行拍摄得到的。

投影模块302，具体用于确定同质变换矩阵，根据同质变换矩阵，对获取模块301获取到的每个图像进行同质变换，得到平转图像序列。

确定模块303，具体用于计算投影模块302得到的平转图像序列中该任意两个相邻投影图像的平转角度，根据计算得到的平转角度确定该任意两个相邻投影图像之间的重叠范围。

综上，本实施例提供的装置，通过对经手机拍摄的图像进行柱面投影，并在确定任意两个相邻投影图像之间的重叠范围后，进行无缝拼接，从而生成全景图像，不仅可以简化生成全景图像的方式，还降低了对图像质量的要求，使全景图像的应用易于推广。

需要说明的是：上述实施例提供的生成全景图像的装置在生成全景图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的生成全景图像的装置与生成全景图像的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本发明实施例中的全部或部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种生成全景图像的方法，其特征在于，所述方法包括：

获取经手机拍摄得到的多张图像，并将获取到的图像进行柱面投影；

根据任意两个相邻投影图像之间的像素相关性，确定所述任意两个相邻投影图像之间的重叠范围；

根据所述任意两个相邻投影图像之间的重叠范围对所述任意两个相邻投影图像进行无缝拼接，得到全景图像。

2.根据权利要求1所述的方法，其特征在于，所述获取经手机拍摄得到的多张图像，具体包括：

接收所述手机的IWeb接口提交的多张图像，所述多张图像是由所述手机的ICamera接口以相同的焦距，绕其镜头中点旋转一周并间隔一定角度进行拍摄得到的。

3.根据权利要求1所述的方法，其特征在于，所述将获取到的图像进行柱面投影，具体包括：

确定同质变换矩阵，根据所述同质变换矩阵，对获取到的每个图像进行同质变换，得到平转图像序列。

4.根据权利要求3所述的方法，其特征在于，所述根据任意两个相邻投影图像之间的像素相关性，确定所述任意两个相邻投影图像之间的重叠范围，具体包括：

计算所述平转图像序列中所述任意两个相邻投影图像的平转角度，根据计算得到的所述平转角度确定所述任意两个相邻投影图像之间的重叠范围。

5.一种生成全景图像的装置，其特征在于，所述装置包括：

获取模块，用于获取经手机拍摄得到的多张图像；

投影模块，用于将所述获取模块获取到的图像进行柱面投影；

确定模块，用于根据所述投影模块投影得到的任意两个相邻投影图像之间的像素相关性，确定所述任意两个相邻投影图像之间的重叠范围；

拼接模块，用于根据所述确定模块确定的所述任意两个相邻投影图像之间的重叠范围对所述任意两个相邻投影图像进行无缝拼接，得到全景图像。

6.根据权利要求5所述的装置，其特征在于，所述获取模块，具体用于接收所述手机的IWeb接口提交的多张图像，所述多张图像是由所述手机的ICamera接口以相同的焦距，绕其镜头中点旋转一周并间隔一定角度进行拍摄得到的。

7.根据权利要求5所述的装置，其特征在于，所述投影模块，具体用于确定同质变换矩阵，根据所述同质变换矩阵，对所述获取模块获取到的每个图像进行同质变换，得到平转图像序列。

8.根据权利要求7所述的装置，其特征在于，所述确定模块，具体用于计算所述投影模块得到的平转图像序列中所述任意两个相邻图像的平转角度，根据计算得到的所述平转角度确定所述任意两个相邻投影图像之间的重叠范围。

Images