CN102096938A - 一种可量测全景图像的构建方法 - Google Patents

Abstract

本发明涉及一种可量测全景图像的构建方法，其包括以下步骤：1)对立体相机获取的360°范围内水平视角原始图像进行圆柱投影；2)采用SIFT算法对圆柱投影后的柱面图像进行控制点提取，然后以其中一幅图像为基准，通过控制点计算其他图像的相对姿态；3)根据其他图像的相对姿态对进行圆柱投影后的柱面图像进行拼接，生成全景图像；4)将全景图像反投影至平面，并建立全景图像与原始图像的联动关系；然后在全景图像上选取任意一点，反算得到该点在原始图像上的像素坐标；最后根据标定的立体相机参数，通过前方交会原理对该点进行坐标、距离和坡度的量测。本发明不仅实现了全景图像的可量测，并且还能真实的反应三维地理信息。

Description

一种可量测全景图像的构建方法

技术领域

本发明涉及一种全景图像的构建方法，特别是关于一种通过立体图像构建全景图像并建立全景图像与原始立体图像关联的可量测全景图像的构建方法。

背景技术

目前，基于图像的绘制技术(Image-Based Rendering，IBR)由于其运算量小、场景细节丰富、可以进行实时处理等特点正在成为一种全新的虚拟现实构建方法。全景图像是基于IBR的一种技术，其基本思想是在一个给定视点采集各个方向的实景图像，然后把这些实景图像投影到一个圆柱的内表面或者是球体的内表面进行视图拼接，最后利用反投影技术重新获得各个视角方向相应的场景图像。它能在水平方向提供360°视角，竖直方向根据不同的投影方式提供±90°视角。

国外的产品主要有Apple公司的QuickTime VR[1]，用户可以通过计算机交互设备(主要是键盘和鼠标)控制视点在全景影像中的左右上下移动，以及距离方向的缩放达到漫游的目地，不同场景间的全景影像通过热点进行连接。Microsoft公司在1995年3月开发了基于Windows的全景视频Surround Video系统，该系统直接利用硬件，通过全景照相机采集全景图像。Inc公司的OmniView系列软件、Interactive Picture Corp.公司的IPIX系列软件，能够提供专门格式的全景图像进行浏览和制作，提供场景任意角度的浏览漫游、旋转以及缩放。IPIX提供有在IE浏览器中运行的插件支持。国内目前在基于图像绘制技术的虚拟现实技术研究方面还处于起步阶段。国防科技大学的虚拟实景空间系统HVS[2]是目前国内做得较完整的一个系统，通过合适的空间模型把多幅全景图像组织成为虚拟实景空间。还有清华大学、浙江大学和四川师范大学也都曾经做过这方面的研究。

上述涉及的全景图像构建仅具有浏览和展示的功能，不具有可量测性，用户无法从中得到真实的地理信息，不能从全景图像上实时得到任一点的位置、高度、方位、坡度等信息。

发明内容

针对上述问题，本发明的目的是提供一种通过立体图像构建全景图像并建立全景图像与原始立体图像关联的可量测全景图像的构建方法。

为实现上述目的，本发明采取以下技术方案：一种可量测全景图像的构建方法，其包括以下步骤：1)通过固定基线的一对立体相机以一定间隔旋转一周获取以站点为中心点的360°范围内水平视角原始图像，并利用标定的立体相机参数对原始图像进行圆柱投影；2)采用SIFT算法对圆柱投影后的柱面图像进行控制点提取，然后以其中一幅图像为基准，通过控制点计算其他图像的相对姿态；3)根据其他图像的相对姿态对进行圆柱投影后的柱面图像进行拼接，生成全景图像，同时生成工程文件，并在工程文件中记录控制点及姿态数据；4)根据控制点及姿态数据将全景图像反投影至平面，并建立全景图像与原始图像的联动关系；然后在全景图像上选取任意一点，反算得到该点在原始图像上的像素坐标；最后根据标定的立体相机参数，通过前方交会原理对该点进行坐标、距离和坡度的量测，实现全景图像的可量测性。

在进行步骤1)时，在工程文件中记录控制点及姿态数据包括：①原始图像路径、格式、大小、三个姿态角、焦距、水平视场角和镜头类型；②全景图像大小、投影方式、水平和竖直视场角；③控制点在相邻两幅图像上的像素坐标。

在进行步骤4)时，具体包括以下步骤：(1)通过读取工程文件信息，计算全景图像每个像素所占的水平视场角；(2)由三个姿态角计算出各图像间的旋转矩阵，恢复柱面图像的原始位置；(3)对柱面图像进行反投影，得到原始图像；(4)获取原始图像的外方位元素后，通过原始图像对前方交会原理进行坐标、距离、坡度的量测：①坐标量测：对原始图像对进行前方交会计算得到坐标；②距离量测：图像上任意点P(x，y，z)到相机P_c＝(x_c，y_c，z_c)的欧氏距离为：

$d=\sqrt{{\left({x-x}_c\right)}^2+{\left({y-y}_c\right)}^2+{\left({z-z}_c\right)}^2}$

其中，(x，y，z)是P点的大地坐标，(x_c，y_c，z_c)是立体相机的大地坐标；③坡度量测：取P(x，y，z)点周围八个像素，计算它们与P点的斜率，取其中的最大值作为P点的坡度。

本发明由于采取以上技术方案，其具有以下优点：本发明提出的可量测全景图像是通过一对固定于同一相机杆上的立体相机获取的全景影像，并建立全景拼接影像和原始立体像对之间的联动关系，实时通过立体像对计算全景图像上每个像素的地理坐标、距离和坡度，不仅实现了全景图像的可量测，并且还能真实的反应三维地理信息。

附图说明

图1是本发明的流程图

图2是其中一个立体相机获取的原始图像

图3是柱面投影坐标系设置图

图4是生成的全景图像

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明包括以下步骤：

1、利用原始图像生成全景图像

1)通过固定基线的一对立体相机以一定间隔旋转一周获取以站点为中心点的360°范围内水平视角原始图像(如图2所示)，并利用标定的立体相机参数(包括立体相机的内方位元素及相对外方位元素)对原始图像进行圆柱投影。圆柱投影坐标系设置如图3所示，叙述如下：

假设P(x，y)是原始图像上的任意一个像素点，原始图像的宽度与高度分别为L和T，以摄影中心为圆柱中心O点，圆柱底面半径为焦距f，则P点在立体相机坐标系X_cY_cZ_c下的坐标值为P_c(x-L/2，y-T/2，-f)。P点在柱面上的坐标P(u，v，w)：

$\left\{\begin{array}{c}u=\frac{f(x-\frac{L}{2})}{\sqrt{{(x-\frac{L}{2})}^2+f^2}}\\ v=\frac{f(y-\frac{T}{2})}{\sqrt{{(x-\frac{L}{2})}^2+f^2}}\\ w=\frac{f^2}{\sqrt{{(x-\frac{L}{2})}^2+f^2}}\end{array}\right.$

2)采用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法对圆柱投影后的柱面图像进行控制点(即相邻图像间同名点)提取，然后以其中一幅图像中心点为坐标原点，X向右Y向上建立统一坐标系，并通过控制点计算其他图像的相对姿态，用三个姿态角(yaw，pitch，roll)表示：

$\mathrm{yaw}\_\mathrm{mat}=\left[\begin{array}{ccc}\cos \left(\mathrm{yaw}\right)& -\sin \left(\mathrm{yaw}\right)& 0\\ \sin \left(\mathrm{yaw}\right)& \cos \left(\mathrm{yaw}\right)& 0\\ 0& 0& 1\end{array}\right]$

$\mathrm{pitch}\_\mathrm{mat}=\left[\begin{array}{ccc}\cos \left(\mathrm{pitch}\right)& 0& \sin \left(\mathrm{pitch}\right)\\ 0& 1& 0\\ -\sin \left(\mathrm{pitch}\right)& 0& \cos \left(\mathrm{pitch}\right)\end{array}\right]$

$\mathrm{roll}\_\mathrm{mat}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\mathrm{roll}\right)& -\sin \left(\mathrm{roll}\right)\\ 0& \sin \left(\mathrm{roll}\right)& \cos \left(\mathrm{roll}\right)\end{array}\right]$

其中，rotate_mat表示旋转矩阵，yaw_mat、pitch_mat和roll_mat为yaw、pitch、roll的旋转矩阵，□表示矩阵相乘。

3)根据其他图像的相对姿态对进行圆柱投影后的柱面图像进行拼接，生成全景图像(如图4所示)，同时生成工程文件，并在工程文件中记录控制点及姿态数据：

①原始图像路径、格式、大小、三个姿态角、焦距、水平视场角和镜头类型；

②全景图像大小、投影方式、水平和竖直视场角；

③控制点在相邻两幅图像上的像素坐标。

2、从全景图像反算回原始图像

在统一坐标系下，由于相邻图像间存在控制点，并且已知原始图像的焦距、图像大小与旋转矩阵等参数，可以求得任一原始图像经圆柱投影和旋转变换后在全景图像中的坐标范围。因此，本发明根据控制点及姿态数据将全景图像反投影至平面，并建立全景图像与原始图像的联动关系；然后在全景图像上选取任意一点，反算得到该点在原始图像上的像素坐标；最后根据标定的立体相机参数，通过前方交会原理对该点进行坐标、距离和坡度的量测，实现全景图像的可量测性，其具体包括以下步骤：

1)通过读取工程文件信息，计算全景图像每个像素所占的水平视场角：

pHfov＝W/b

其中，W为全景图像的宽度，b为全景图像的水平视场角，pHfov为全景图像每个像素所占的水平视场角。

为了便于计算处理，将全景图像进行缩放，水平和垂直方向的比例因子均为：

其中，a为原始图像的水平视场角，i为比例因子，α为弧度形式的原始图像水平视场角。

2)由三个姿态角计算出各图像间的旋转矩阵，恢复柱面图像的原始位置。由于在全景图像中，没有关于Z轴的旋转，即yaw角为0，由全景图像像素坐标反算得到原始图像在圆柱投影上坐标公式：

上式中：

$d=\sqrt{x^2+y^2}$

$\mathrm{\θ}=\frac{d}{W/b}$

$\mathrm{\λ}=\frac{\frac{W}{b}\arctan \left(\frac{l}{\frac{\sin \left(\mathrm{\θ}\right)\sin \left(\mathrm{pitch}\right)}{d}y+\cos \left(\mathrm{pitch}\right)\cos \left(\mathrm{\θ}\right)}\right)}{l}$

$l=\sqrt{\begin{array}{c}{(\frac{\sin \left(\mathrm{\θ}\right)\cos \left(\mathrm{roll}\right)}{d}x-\frac{\sin \left(\mathrm{\θ}\right)\cos \left(\mathrm{pitch}\right)\sin \left(\mathrm{roll}\right)}{d}y+\sin \left(\mathrm{pitch}\right)\sin \left(\mathrm{roll}\right)\cos \left(\mathrm{\θ}\right))}^2\\ +{(\frac{\sin \left(\mathrm{\θ}\right)\sin \left(\mathrm{roll}\right)}{d}x-\frac{\sin \left(\mathrm{\θ}\right)\cos \left(\mathrm{pitch}\right)\cos \left(\mathrm{roll}\right)}{d}y-\sin \left(\mathrm{pitch}\right)\cos \left(\mathrm{roll}\right)\cos \left(\mathrm{\θ}\right))}^2\end{array}}$

其中，x、y为输入点的坐标，d为全景影像上的量测点到原点的欧式距离，θ为平均视场角，l、λ为中间变量，x_src、y_src为经过姿态还原后的圆柱投影上的坐标。

3)对柱面图像进行反投影，得到原始图像：

其中，x_src′、y_src′为经反投影后的坐标。

4)将缩放后的坐标还原为原始图像坐标：

其中，x_src″、y_src″为原始影像上的坐标。

5)获取原始图像的外方位元素后，通过原始图像对前方交会原理进行坐标、距离、坡度的量测，实现全景图像的可量测性：

(1)坐标量测：对原始图像对进行前方交会计算得到坐标；

(2)距离量测：图像上任意点P(x，y，z)到相机P_c＝(x_c，y_c，z_c)的欧氏距离为：

$d=\sqrt{{\left({x-x}_c\right)}^2+{\left({y-y}_c\right)}^2+{\left({z-z}_c\right)}^2}$

其中，(x，y，z)是P点的大地坐标，(x_c，y_c，z_c)是立体相机的大地坐标；

(3)坡度量测：取P(x，y，z)点周围八个像素，计算它们与P点的斜率，取其中的最大值作为P点的坡度。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (3)

1.一种可量测全景图像的构建方法，其包括以下步骤：

1)通过固定基线的一对立体相机以一定间隔旋转一周获取以站点为中心点的360°范围内水平视角原始图像，并利用标定的立体相机参数对原始图像进行圆柱投影；

2)采用SIFT算法对圆柱投影后的柱面图像进行控制点提取，然后以其中一幅图像为基准，通过控制点计算其他图像的相对姿态；

3)根据其他图像的相对姿态对进行圆柱投影后的柱面图像进行拼接，生成全景图像，同时生成工程文件，并在工程文件中记录控制点及姿态数据；

4)根据控制点及姿态数据将全景图像反投影至平面，并建立全景图像与原始图像的联动关系；然后在全景图像上选取任意一点，反算得到该点在原始图像上的像素坐标；最后根据标定的立体相机参数，通过前方交会原理对该点进行坐标、距离和坡度的量测，实现全景图像的可量测性。

2.如权利要求1所述的一种可量测全景图像的构建方法，其特征在于：在进行步骤1)时，在工程文件中记录控制点及姿态数据包括：

①原始图像路径、格式、大小、三个姿态角、焦距、水平视场角和镜头类型；

②全景图像大小、投影方式、水平和竖直视场角；

③控制点在相邻两幅图像上的像素坐标。

3.如权利要求1所述的一种可量测全景图像的构建方法，其特征在于：在进行步骤4)时，具体包括以下步骤：

(1)通过读取工程文件信息，计算全景图像每个像素所占的水平视场角；

(2)由三个姿态角计算出各图像间的旋转矩阵，恢复柱面图像的原始位置；

(3)对柱面图像进行反投影，得到原始图像；

(4)获取原始图像的外方位元素后，通过原始图像对前方交会原理进行坐标、距离、坡度的量测：

①坐标量测：对原始图像对进行前方交会计算得到坐标；

②距离量测：图像上任意点P(x，y，z)到相机P_c＝(x_c，y_c，z_c)的欧氏距离为：

$d=\sqrt{{\left({x-x}_c\right)}^2+{\left({y-y}_c\right)}^2+{\left({z-z}_c\right)}^2}$

其中，(x，y，z)是P点的大地坐标，(x_c，y_c，z_c)是立体相机的大地坐标；

③坡度量测：取P(x，y，z)点周围八个像素，计算它们与P点的斜率，取其中的最大值作为P点的坡度。

Images