CN102538761B - 球面全景相机摄影测量方法 - Google Patents

Abstract

一种球面全景相机摄影测量方法，包括：在物方平面上建立2维坐标系；用球面全景相机拍摄能覆盖物方平面上n≥4个不共线的控制点的全景图像，得到与这些控制点对应的全景图像的像坐标(u₁,v₁),…(u_n,v_n)；利用公式得到与控制点对应的像角坐标(φ₁,θ₁),…(φ_n,θ_n)；进而得到映射关系矩阵H_3x3=

Description

球面全景相机摄影测量方法

技术领域  

本发明属于摄影测量与遥感技术领域，主要涉及在球面全景装置基础上，采用球面全景测量理论，将摄影测量中的平面成像测量理论推广到球面，利用球面采集范围大，重叠率高特点，直接获取球面图像中目标点的大地坐标系下坐标，直接在球面图像中实现测绘数据采集，实现一套基于球面全景摄影测量的技术。

背景技术

随着现代信息技术的飞速发展和对海量空间数据需求的增加，人们对高效率、大视场、小型化遥测装置的需求日益迫切。球面全景成像装置具有静态全方位、小型化、输出标准化的特点，更大限度地消除摄影死角；静态全方位是指在不必移动成像装置的条件下就能在一个时刻点获取更广视野覆盖范围的全方位图像；小型化是指相机体积小巧，能进一步组合集成；输出标准化是指外部输出的球面映射影像能直接反映被测目标相对于球心观察点的方位角和俯仰角,这将方便目标定位计算。

遥感装置的成像范围最大可扩展成球面，形成一种球面全景。目前已有一些球面全景装置，如ladybug球面全景相机，一般只用于街景全方位浏览，室内装修预览。这种全景装置的图像不同于普通相机，是做了球面映射的，有很大畸变。但由于缺少相关理论支持，目前球面全景相机鲜见用于空间摄影测量（如距离测量、高度测量、全景相机定标、空间目标点定位等）的方法。

利用球面全景相机影像测量物方平面点是实现空间摄影测量的关键。目前这方面未有公开发表文献提供相关技术资料和系统的理论基础。为此本发明提出了一套基于球面全景相机的摄影测量方法。

发明内容

本发明所要解决的问题是提供一种球面全景相机摄影测量方法，该方法能利用球面全景相机影像实现全方位空间摄影测量。

本发明提供的技术方案是：球面全景相机摄影测量方法，包括：

① 在物方平面上建立2维坐标系x-z，在物方平面上选n≥4个不共线的控制点(x₁,z₁),…(x_n,z_n)；

② 用球面全景相机拍摄能覆盖物方平面上这些控制点的全景图像，得到与这些控制点对应的全景图像的像坐标 (u₁,v₁),…(u_n,v_n)；

 ③ 利用公式                                                得到与控制点对应的像角坐标；其中w、h是全景图像的宽和高；

④ 解下面方程

得到映射关系矩阵H_3x3=；

⑤得到映射关系矩阵H_3x3后，可由全景图像上的任意物方平面成像点u,v计算出 进而得到对应的物方平面坐标x,z：

利用先计算出得到矢量

然后代入=可以解得x/d,z/d和1/d，d为常数；进而得到x和z。

本发明可利用步骤⑤得到全景图像上两点(u_a,v_a),(u_b,v_b)对应的外平面坐标(x_a,z_a)和(x_b,z_b)；

通过公式测量两点(x_a,z_a)和(x_b,z_b)之间的距离。

本发明还可将步骤④得到的H_3x3矩阵前两列[h₁₁ h₂₁ h₃₁]^T[h₁₂h₂₂ h₃₂]^T单位化得到

s₁=

 s₂=

s=(s₁+s₂)/2

可得r₁ = [h₁₁/s  h₂₁/s  h₃₁/s ]^T

r₃ = [h₁₂/s  h₂₂/s  h₃₂/s ]^T

由正交矩阵特性可得r₂= r₁×r₃

于是可测量出相机的旋转姿态R=[r₁  r₂  r₃]。

利用公式T=测量球面相机的光心位置T。

本发明也可利用两球面全景相机或同一相机不同地点拍摄的图像得到目标点的3维坐标(x,y,z)：

① 在两个不同地点拍摄两张都包含目标点的球面全景影像；

② 利用前述方法得到两个相机的旋转姿态R₁,R₂和光心位置T₁,T₂；

当两个相机主方向平行时， R₁=R₂=I；其中I为单位阵，主方向为全景图像角坐标(0,0)方向。

③ 目标点在第1个球面全景相机对应的球面影像坐标为(u’₁, v’₁)，

在第2个球面全景相机对应的目标球面影像坐标为(u’₂, v’₂)， 

利用公式得到角坐标()和()

④ 构造两相机的矢量v ₁,v ₂

最小二乘法解得, [d₁  d₂]^T=(U^TU)^-1U^TT  其中U=  T= T₂-T₁

其中d₁  d₂分别是目标点到两相机的距离；

⑤ 解得目标点的3维坐标(x,y,z)

X=。

本发明还提供了一种用球面全景相机进行摄影测量的方法，包括：

①将球面全景相机平行于物方平面放置，球面全景相机中心到物方平面的距离是 H；

②用球面全景相机拍摄包含物方平面和物方平面上方待测点的全景图像，在全景图像上选取待测点对应的像坐标u _⊥1,v _⊥1和待测点在物方平面上的垂足像坐标u _⊥0,v _⊥0

利用公式计算θ _⊥0和θ _⊥1

③计算待测点相对物方平面的高度h

h = H[tan(θ_⊥0) - tan(θ_⊥1)]/ tan(θ_⊥0) = H[1 - tan(θ_⊥1) / tan(θ_⊥0)]。

本发明的优点和效果：

1．            可直接获得目标的大地坐标系坐标，可直接在图像上进行测绘信息采集；

全景摄像机本身只能测量目标相对于全景摄像机的方位，利用本发明方法则可以测量全景摄像机相对于大地平面坐标系的方位，这样就可以推导出球面全景图像上每一点相对于大地坐标系的坐标方位。

当图像上的各点的大地坐标方位已知后，即可在图像上进行测绘信息的采集。如测量两目标点之间的距离、测量影像中房屋的高度、测量影像中不同地物之间的几何位置关系等等。该技术的应用将极大地减少传统测绘信息采集方式所需要的人力物力。

2．           实现精确3维空间定标及自动校准；

球面全景装置一般只用于街景全方位浏览，室内装修预览。而本发明提供了基于球面全景相机的精确定标方法。建立了包括相对定向,平面测量,测高等方法。可以利用ladybug或者immersive这样的球面全景装置进行全景拍照摄影测量。快速得到相机自身姿态，地面或全方位空间3维点的坐标，距离，高度，等信息。

3．           摄影测量步骤简单，精度高。

不需要像普通相机摄影测量那样做复杂的内参检校，直接根据发明中描述的步骤，即可进行全景测量。操作方便简单。

具体实施方式

(1)  球面全景相机外平面映射H计算方法；

本发明利用球面全景相机拍摄图像上的几对物像同名点，精确算出球面全景相机上的像坐标与某外平面(如地面，桌面)坐标之间的映射关系。

① 在某一外平面（如地面，桌面）上建立2维坐标系x-z，在平面上选n≥4个不共线的控制点(x₁,z₁),…(x_n,z_n)；

② 用球面全景相机拍摄一张能覆盖外平面上这些控制点的影像，得到与这些控制点对应的全景像坐标 (u₁,v₁),…(u_n,v_n)；

③ 利用公式得到与控制点对应的像角坐标

④ 解下面方程

得到映射关系矩阵H_3x3=

⑤得到映射关系矩阵H_3x3以后，可由任意图像坐标u,v计算出 进而得到对应的外平面坐标x,z

利用先计算出得到矢量

然后代入 d =可以解得x,z

等效于解方程

=

⑥得到映射关系矩阵H_3x3以后，反过来可由任意外平面坐标x,z计算出进而算出对应的像坐标u,v

设V= =, 那么可得到

进而得到

计算出对应的地平面坐标x,z。

(2) 球面全景相机自定标计算方法，精确计算相机的姿态和位置

本算法利用球面全景相机拍摄图像上的几对物像同名点，精确计算相机的姿态和位置。

① 根据前面得到的球面相机与外平面之间的映射关系H

将H_3x3矩阵的前两列[h₁₁ h₂₁ h₃₁]^T[h₁₂ h₂₂ h₃₂]^T单位化得到

s₁=

s₂=

 s=(s₁+s₂)/2

可得r₁ = [h₁₁/s  h₂₁/s  h₃₁/s ]^T

r₃ = [h₁₂/s  h₂₂/s  h₃₂/s ]^T

由正交矩阵特性可得r₂= r₁×r₃

于是可构造出相机的旋转姿态矩阵R=[r₁  r₂  r₃]

② 对于H的第3列

可以解得球面相机的光心位置 T=

(3) 球面全景相机测量某外平面上两点间的距离

① 先利用前述的算法1得到球面全景相机与外平面之间的映射关系H

② 在图像上选要测量距离的两点(u₁,v₁),(u₂,v₂)，利用前述的算法1步骤⑤得到对应的外平面坐标(x₁,z₁)和(x₂,z₂)

③计算两点(x₁,z₁)和(x₂,z₂)之间的距离

(4) 球面全景前方交会计算方法

本算法利用两球面全景相机(或同一相机不同地点)拍摄的图像得到目标点的3维坐标。

① 在两个不同地点拍摄两张都包含目标点的球面全景影像；

② 利用前述算法2得到两个相机的姿态R₁,R₂和位置T₁,T₂

   或者保证两个相机完全保持水平，主方向平行一致，则可定R₁=R₂=I

③ 对于某一未知目标中心点(x,y,z)

第1组球面全景相机对应的目标球面影像坐标为(u₁, v₁)

第2组球面全景相机对应的目标球面影像坐标为(u ₂, v₂)

利用公式得到角坐标()和()

④ 构造两相机的矢量v ₁,v ₂

 

 最小二乘法解得, d=[d₁  d₂]^T=(U^TU)^-1U^TT  其中 T= T₂-T₁

⑤ 解得目标坐标

(5) 水平放置的球面全景相机测量垂直高度方法

① 先将球面全景相机水平放置

② 选取地面垂足坐标u_⊥0,v_⊥0和待测的高位点坐标u_⊥1,v_⊥1

利用公式计算像角坐标()和()

③计算待测物高度

 h = H[tan(θ_⊥0) - tan(θ_⊥1)]/ tan(θ_⊥0) = H[1 - tan(θ_⊥1) / tan(θ_⊥0)]

这样就算出了物体的高度h 

2．技术条件

需要一台球面全景相机，如现有产品ladybug和immersive。

3、实现过程

本发明可在VC6.0平台上基于OpenCV1.X或者VC200X平台上基于OpenCV2.X开发实现，可利用IplImage和CvMat分别实现图像和矩阵运算，利用cvSolve(A,b,x,CV_SVD)实现解方程组。

本发明方法不局限于采用这样的开发平台，也是用于其他平台。

Claims (6)

1.球面全景相机摄影测量方法，包括：

① 在物方平面上建立2维坐标系x-z，在物方平面上选n≥4个不共线的控制点(x₁,z₁),…(x_n,z_n)；

② 用球面全景相机拍摄能覆盖物方平面上这些控制点的全景图像，得到与这些控制点对应的全景图像的像坐标 (u₁,v₁),…(u_n,v_n)；

③ 利用公式                                                得到与控制点对应的像角坐标；其中w、h是全景图像的宽和高；

④ 解下面方程

 得到映射关系矩阵H_3x3=；

⑤得到映射关系矩阵H_3x3后，可由全景图像上的对应于物方平面上任意成像点的像坐标u,v计算出 进而得到对应的物方平面坐标x,z：

利用先计算出得到矢量

 然后代入=可以解得x/d,z/d和1/d，d为常数；进而得到x和z，从而实现利用球面全景相机影像的像坐标对测量物方平面点的空间定位测量。

2.根据权利要求1所述的方法，其特征在于：

利用步骤⑤得到全景图像上两点(u_a,v_a),(u_b,v_b)对应的物方平面坐标(x_a,z_a)和(x_b,z_b)；

通过公式测量物方两点(x_a,z_a)和(x_b,z_b)之间的距离。

3.根据权利要求1所述的方法，其特征在于： 

 将步骤④得到的H_3x3矩阵前两列[h₁₁ h₂₁ h₃₁]^T[h₁₂ h₂₂ h₃₂]^T单位化得到

s=(s₁+s₂)/2

可得r₁ = [h₁₁/s  h₂₁/s  h₃₁/s ]^T

r₃ = [h₁₂/s  h₂₂/s  h₃₂/s ]^T

由正交矩阵特性可得r₂= r₁×r₃

于是测量出球面全景相机的旋转姿态R=[r₁  r₂  r₃]。

4.根据权利要求3所述的方法，其特征在于：

利用公式T=测量球面全景相机的光心位置T。

5.根据权利要求4所述的方法，其特征在于利用两球面全景相机不同地点拍摄的图像得到目标点的3维坐标(x,y,z)： 

 ① 在两个不同地点拍摄两张都包含目标点的球面全景影像；

② 利用权利要求4的方法得到两球面全景相机的旋转姿态R₁,R₂和光心位置T₁,T₂；

③ 目标点在第1个球面全景相机对应的球面全景影像的像坐标为(u’₁, v’₁)，

目标点在第2个球面全景相机对应的球面全景影像的像坐标为(u’₂, v’₂) 

 利用公式得到像角坐标()和()；

 ④ 构造两球面全景相机的矢量v ₁,v ₂

 

 最小二乘法解得, [d₁  d₂]^T=(U^TU)^-1U^TT  其中U=  T= T₂-T₁

其中d₁  d₂分别是目标点到两球面全景相机的距离； 

 ⑤ 解得目标点的3维坐标(x,y,z) 

  [x  y  z]^T =。

6.根据权利要求5所述的方法，其特征在于：当两球面全景相机主方向平行时， R₁=R₂=I；其中I为单位阵，所述主方向为全景图像角坐标(0,0)方向。