CN103900539B - 一种空中立方体全景成像目标定位方法 - Google Patents

Abstract

本发明一种空中立方体全景成像目标定位方法，该方法以空中立方体全景图为研究对象，选用数字卫星影像地图为定位基准，通过航拍图片和卫星影像的同名点解算立方体全景图中任意目标点的地理位置。该方法充分考虑立方体全景成像的特点，推导出适用于立方体全景图的映射模型，同时全景成像也提供了更丰富的场景信息，便于找到更多的同名点，也进一步提高了映射模型的定位精度。该方法理论上可实现地图级精度的目标快速定位，对于没有高精度导航传感器和稳定平台条件的低成本无人机平台亦可适用。

Description

一种空中立方体全景成像目标定位方法

技术领域

本发明属于目标定位技术领域，涉及一种空中立方体全景成像目标定位方法。

背景技术

全景成像因能提供360度全方位视角的场景信息，给人一种沉浸式感觉，已被越来越多地应用于街景展示、室内场景漫游等虚拟现实领域。随着无人机市场的成熟，空中航拍的全景成像近几年发展迅猛，无论是以救援重建为目的的灾后现场探察，还是以疏导交通为目的的路况监视，空中航拍全景成像相比较传统的窄视场拍摄，成像覆盖区域更广，可为整体态势评估提供全视角场景信息。然而，对空中航拍全景图的应用目前多停留在定性分析层面，以快速定位场景目标所在地理位置为例的定量分析尚处于起步阶段。

快速目标定位是空中监视侦察的首要任务之一，传统的方法是由GPS等导航系统确定相机的位置，通过姿态传感器数据，由共线构像方程推算像平面上目标的位置。这种方法的定位精度依赖传感器精度和平台稳定性，对于成本相对较低的无人机平台，定位误差较大。在航空侦察领域，考虑到卫星影像地图具有精度高、辐射纹理清晰并与航拍图片接近的特点，采用地图辅助定位方法，即利用航拍图像和卫星影像的同名点，解算两者之间的映射关系完成目标的地理定位。但常规影像由于画幅有限，同名点寻找困难，甚至达不到用于解算映射关系所需数目的下限，实际应用风险较大。而全景图提供场景的全视角信息，搜索到足够多同名点的机会显著增加，也进一步提高了映射模型的求解精度，从而进一步保证了定位精度。目前尚没有空中立方体全景影像目标定位的相关方法。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种空中立方体全景成像目标定位方法，对空中航拍采集的立方体全景图，利用与卫星影像地图的同名点推求两者间的映射模型，进而完成目标地理位置的解算。

本发明的技术方案是：一种基于投影变换的空中立方体全景成像目标定位方法，步骤如下：

1)在指定航拍区域拍摄得到立方体全景图，调取该航拍区域的卫星影像数据，通过手动指定或是特征点自动匹配方法得到若干同名点；

2)根据步骤1)得到的同名点，采用投影变换公式 $R_{\mathrm{face}}{K}^{-1}{x}_{\mathrm{face}}^T=\left[R\right|t]\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)=\left[\begin{array}{c}{v}^1\\ v^2\\ v^3\end{array}\right]\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right),$ 计算获得从立方体全景图到卫星地图的 $\left[\begin{array}{c}{v}^1\\ v^2\\ v^3\end{array}\right],$ 即为映射模型矩阵V；式中(X,Y,Z,1)^T是地面同名点在大地坐标系下的齐次坐标，为像素同名点所在立方体面上的齐次坐标，R_face为立方体六个面相对于立方体全景图坐标系的旋转矩阵，分别为 $R_D=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$ $R_R=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],R_L=\left[\begin{array}{ccc}0& -1& 0\\ 0& 0& -1\\ 1& 0& 0\end{array}\right],R_U=\left[\begin{array}{ccc}0& -1& 0\\ -1& 0& 0\\ 0& 0& -1\end{array}\right],R_B=\left[\begin{array}{ccc}0& 0& -1\\ 1& 0& 0\\ 0& -1& 0\end{array}\right],$ $R_F=\begin{array}{c}\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right];K\end{array}=\left(\begin{array}{ccc}s/2& 0& s/2\\ 0& s/2& s/2\\ 0& 0& 1\end{array}\right)$ 为立方体全景图的内参矩阵，s是立方体全景图的边长；R和t是立方体全景图坐标系相对于大地坐标系的旋转和平移矩阵，vⁱ为第i行行向量，i＝1,2,3；

3)根据步骤2)得到的映射模型V，以及待测目标的高程Z，由待测目标的像素的齐次坐标x_face及待测目标所在的立方体面的旋转矩阵R_face，获得待测目标的空间位置(X,Y,Z)^T；再通过大地坐标系到WS84坐标系的转换，进而获得立方体全景图上待测目标对应的地理坐标。

一种基于单应阵变换的空中立方体全景成像目标定位方法，步骤如下：

1)在指定航拍区域拍摄得到立方体全景图，调取该航拍区域的卫星影像数据，通过手动指定或是特征点自动匹配方法得到若干同名点；

2)根据步骤1)得到的同名点，采用单应阵公式 $H_{\mathrm{face}1\→\mathrm{\π}}\·x_{\mathrm{face}1}=\left(\begin{array}{c}a\\ b\\ e\end{array}\right),$ 计算获得从立方体全景图到卫星地图的映射模型矩阵H_face1→π，式中H_face1→π为立方体全景图面face1到地面π的单应阵变换，所述的面face1为立方体全景图底面，π为地面同名点所在的平面；地面同名点的齐次坐标表示为(a,b,e)^T，地面同名点在立方体全景图面face1上对应的像素同名点表示为齐次坐标 $x_{\mathrm{face}1}^T={(x,y,w)}^T;$

3)根据步骤2)得到的映射模型H_face1→π，计算得到面face2到地面π的单应阵变换为H_face2→π＝K^-1R_face2T(face1)^-1H_face1→π，其中面face2为待测目标所在的面，R_face2是面face2相对于立方体全景图坐标系的旋转矩阵，六个面的R_face2分别为 $R_D=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],R_R=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],R_L=\left[\begin{array}{ccc}0& -1& 0\\ 0& 0& -1\\ 1& 0& 0\end{array}\right],R_U=\left[\begin{array}{ccc}0& -1& 0\\ -1& 0& 0\\ 0& 0& -1\end{array}\right],$ $R_B=\left[\begin{array}{ccc}0& 0& -1\\ 1& 0& 0\\ 0& -1& 0\end{array}\right],R_F=\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right],K=\left(\begin{array}{ccc}s/2& 0& s/2\\ 0& s/2& s/2\\ 0& 0& 1\end{array}\right)$ 为立方体全景图的内参矩阵，s是立方体全景图的边长， $T\left(\mathrm{face}1\right)=\left[\begin{array}{ccc}0& -1& s/2\\ 1& 0& -s/2\\ 0& 0& s/2\end{array}\right];$

4)根据获得的H_face2→π和待测目标的像素齐次坐标x_face2，得到立方体全景图上指定目标对应的地理坐标(a,b)^T。

本发明与现有技术相比的有益效果是：

(1)本发明以空中立方体全景图为处理对象，其用于目标定位上的优势有以下几点：相比较常规视角的航拍图片，空中全景图能提供全视角场景信息，包含了更多的场景细节用于寻找更多的同名点，也包含了更多的目标周边环境信息；相比较圆柱形全景图，立方体全景图能提供对地向下观测，视角覆盖面更广；相比较球面全景图，立方体全景图便于压缩和存储，更适用于机载存储以及对地基站无线图传的应用场合。

(2)本发明通过建立不同立方体面之间的转化关系，成功解决了异面同名点求解映射模型问题。在常规映射模型(单应阵模型、投影变换模型等)基础上，充分结合了立方体全景图自身的成像特点，推导出适合立方体全景图的模型关系，完成了高精度的目标定位。

附图说明

图1是一种空中立方体全景成像目标定位方法工作流程图；

图2是立方体全景图的展开图；

图3是立方体全景图坐标系及不同面上对应点的变换关系。

具体实施方式

由六个正方形成像面组成的立方体全景图，因数据压缩和存储都相对便捷，成为一种广泛使用的全景图成像模式，也是苹果公司推出的全景视频软件QuickTimeVR首推的全景图格式。寻找立方体全景图和卫星影像地图的映射模型必须妥善解决好不同立方体面的相互映射关系，从而利用不同面上的同名点，得到更精确的映射模型。

本发明提供了一种空中立方体全景成像，以卫星影像地图为基准库，实现精确目标定位的方法。图1是整个方法总体构思的工作流程图。在指定航拍区域拍摄得到立方体全景图，调取该航拍区域的卫星影像数据，通过手动指定或是特征点自动匹配方法得到若干同名点；根据同名点计算获得从立方体全景图到卫星地图的映射模型，由于同名点可能分布在立方体全景图的不同面上，结合立方体全景图的成像特点推导出不同面的转换关系；根据映射模型获得立方体全景图上指定目标对应的地理坐标。这里主要采用了两种映射模型，分别是单应阵模型和投影变换模型。前者基于空间平面变换的原理，适用于地形变化平坦区域的目标定位，后者基于投影成像原理，适用于任何地形起伏的情况(同名点足够多并精确)。

立方体全景图由左面、前面、右面、后面、上面和下面，即L，F，B，U，D组成，如图2所示。为立方体面face上一点的齐次坐标，该点在立方体全景图参考系下的坐标为满足式(1)，其中上标T表示转置，s是立方体全景图的边长(以像素为单位)。

${\stackrel{\→}{p}}_{\mathrm{cube}}^T=T\left(\mathrm{face}\right)\·{\stackrel{\→}{p}}_{\mathrm{face}}^T---\left(1\right)$

$T\left(D\right)=\left[\begin{array}{ccc}0& -1& s/2\\ 1& 0& -s/2\\ 0& 0& s/2\end{array}\right],T\left(R\right)=\left[\begin{array}{ccc}0& -1& s/2\\ 0& 0& s/2\\ -1& 0& s/2\end{array}\right],T\left(U\right)=\left[\begin{array}{ccc}0& -1& s/2\\ -1& 0& s/2\\ 0& 0& -s/2\end{array}\right],$ $T\left(L\right)=\left[\begin{array}{ccc}0& -1& s/2\\ 0& 0& -s/2\\ 1& 0& -s/2\end{array}\right],T\left(F\right)=\left[\begin{array}{ccc}0& 0& s/2\\ 1& 0& -s/2\\ 0& 1& -s/2\end{array}\right],T\left(B\right)=\left[\begin{array}{ccc}0& 0& -s/2\\ 1& 0& -s/2\\ 0& -1& s/2\end{array}\right]$

立方体全景图某面上的一点，如R面上一点p，对应于另一个面face2上的一点，如D面上的q点，齐次坐标表示为见图3。p点在立方体全景图中的坐标为由于p和q均位于通过立方体中心的一条射线上，可以方便求出q点在立方体全景图中的坐标进而由下式确定q点在face2(如面D)上的坐标

${\stackrel{\→}{q}}_{\mathrm{face}2}=K\·R_{\mathrm{face}2}^{-1}\·{\stackrel{\→}{q}}_{\mathrm{cube}}^T---\left(2\right)$

$K=\left(\begin{array}{ccc}s/2& 0& s/2\\ 0& s/2& s/2\\ 0& 0& 1\end{array}\right)---\left(3\right)$

其中，K是立方体全景图的虚拟内参矩阵，由立方体边长s确定，R_face2是面face2(如面D)相对于立方体全景图坐标系的旋转矩阵，立方体六个面的旋转矩阵如下：

$R_D=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],R_R=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],R_L=\left[\begin{array}{ccc}0& -1& 0\\ 0& 0& -1\\ 1& 0& 0\end{array}\right],R_U=\left[\begin{array}{ccc}0& -1& 0\\ -1& 0& 0\\ 0& 0& -1\end{array}\right],$ $R_B=\left[\begin{array}{ccc}0& 0& -1\\ 1& 0& 0\\ 0& -1& 0\end{array}\right],R_F=\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]---\left(4\right)$

因此，face上的一点和该点在face2上的对应点满足下式：

${\stackrel{\→}{q}}_{\mathrm{face}2}=K\·R_{\mathrm{face}2}^{-1}\·T\left(\mathrm{face}1\right)\·{\stackrel{\→}{p}}_{\mathrm{face}}---\left(5\right)$

投影变换模型

步骤1)：

在指定航拍区域拍摄得到立方体全景图，调取该航拍区域的卫星影像数据，通过手动指定或是特征点自动匹配方法得到若干同名点。

步骤2)：

对全景图某个面face，投影变换模型P_face反映了地面点齐次坐标(X,Y,Z,1)^T和像点齐次坐标之间的映射关系，如式(6)所示，投影变换满足式(7)，其中K满足式(3)，R_face满足式(4)，R和t是立方体全景图坐标系相对于参考坐标系的旋转和平移矩阵，共同组成了外参矩阵V＝[R|t]。

$\left(\begin{array}{c}x\\ y\\ w\end{array}\right)=P_{\mathrm{face}}\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---\left(6\right)$

$P_{\mathrm{face}}={\mathrm{KR}}_{\mathrm{face}}^{-1}\left[R\right|t]={\mathrm{KR}}_{\mathrm{face}}^{-1}V---\left(7\right)$

在式(6)中代入式(7)，可以推导出式(8)，其中vⁱ为外参矩阵V第i行的行向量，(x′,y′,w′)为从立方体中心到像素目标点的有向向量在立方体坐标系中的表示，可由式(8)的左边等式求得。从式(8)可以推导出来等式(9)，表示齐次坐标(X,Y,Z,1)^T，从而计算求解外参矩阵V。

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ w^{\′}\end{array}\right)=R_{\mathrm{face}}{K}^{-1}{x}_{\mathrm{face}}^T=\left[R\right|t]\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)=\left[\begin{array}{c}{v}^1\\ v^2\\ v^3\end{array}\right]\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---\left(8\right)$

$\begin{array}{c}\left[\begin{array}{ccc}{0}^T& -w^{\′}{\tilde{X}}^T& y^{\′}{\tilde{X}}^T\\ w^{\′}{\tilde{X}}^T& 0^T& -x^{\′}{\tilde{X}}^T\end{array}\right]\end{array}\left(\begin{array}{c}{v}^1\\ v^2\\ v^3\end{array}\right)=0^T---\left(9\right)$

步骤3)：

得到外参矩阵V后，要想定位待测目标点，待测目标的像素的齐次坐标x_face可由式(8)左边等式转变为立方体坐标系下的点(x′,y′,w′)，然后从DEM数据推算得到待测目标高度信息Z，通过求解式(8)可以得到目标的(X,Y)，通过大地坐标系到WS84坐标系的转换，推算出指定目标对应的地理经纬度信息。

单应阵变换模型

步骤1)：

在指定航拍区域拍摄得到立方体全景图，调取该航拍区域的卫星影像数据，通过手动指定或是特征点自动匹配方法得到若干同名点。单应阵变换反映了空间平面的映射关系，仅需要4个同名点便可求解。对于三维空间中的地理点，忽略其高度上的起伏变化，直接由经纬度构成二维的平面坐标。

步骤2)：

采用单应阵公式计算获得从立方体全景图到卫星地图的映射模型。单应阵变换表示为式(10)，其中H_face1→π为立方体全景图面face1到地面π的单应阵变换，所述的面face1为立方体全景图底面，π为地面同名点所在的平面，地面同名点的齐次坐标表示为(a,b,e)^T，地面同名点在立方体全景图面face1上对应的像素同名点表示为齐次坐标

$H_{\mathrm{face}1\→\mathrm{\π}}\·x_{\mathrm{face}1}=\left(\begin{array}{c}a\\ b\\ e\end{array}\right)---\left(10\right)$

然后，H_face1→π可由下面的式子求出：

$\left[\begin{array}{ccc}{0}^T& -{\mathrm{ax}}_{\mathrm{face}1}^T& {\mathrm{bx}}_{\mathrm{face}1}^T\\ {\mathrm{ex}}_{\mathrm{face}1}^T& 0^T& -{\mathrm{ax}}_{\mathrm{face}1}^T\end{array}\right]\left(\begin{array}{c}{h}^1\\ h^2\\ h^3\end{array}\right)=0^T---\left(11\right)$

其中，hⁱ是单应阵H_face1→π的第i行行向量。如果面face1上共有n个同名点，则等式(11)左边可以得到一个2n×12的矩阵A，通过求解此矩阵的最小奇异值对应的奇异向量，便可得到待求解的面face1对地面π的单应阵变换矩阵H_face1→π。

步骤3)：

面face2为待测目标所在的面，由式(5)计算得到从face2到地面π的单应阵变换H_face2→π，满足式(12)：

H_face2→π＝K^-1R_face2T(face1)^-1H_face1→π(12)

其中，R_face2是面face2相对于立方体全景图坐标系的旋转矩阵，满足式(4)，不同面上的T(face1)满足式(1)，K满足式(3)。

从而，根据已求解的H_face2→π和待测目标的像素齐次坐标x_face2，即可求解得到立方体全景图上待测目标对应的地理坐标(a,b)^T。这种基于单应阵变换的模型，无需考虑高度的变化，计算简单，非常适于平坦地形的快速定位。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (2)

1.一种基于投影变换的空中立方体全景成像目标定位方法，其特征在于步骤如下：

1)在指定航拍区域拍摄得到立方体全景图，调取该航拍区域的卫星影像数据，通过手动指定或是特征点自动匹配方法得到若干同名点；

2)根据步骤1)得到的同名点，采用投影变换公式 $R_{face}{K}^{-1}{x}_{face}^T=\[R|t\]\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)=\left[\begin{array}{c}{v}^1\\ v^2\\ v^3\end{array}\right]\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right),$ 计算获得从立方体全景图到卫星地图的 $\left[\begin{array}{c}{v}^1\\ v^2\\ v^3\end{array}\right],$ 即为映射模型矩阵V；式中(X,Y,Z,1)^T是地面同名点在大地坐标系下的齐次坐标，为像素同名点所在立方体面上的齐次坐标，R_face为立方体六个面相对于立方体全景图坐标系的旋转矩阵，分别为 $R_D=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$ $R_R=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$ $R_L=\left[\begin{array}{ccc}0& -1& 0\\ 0& 0& -1\\ 1& 0& 0\end{array}\right],$ $R_U=\left[\begin{array}{ccc}0& -1& 0\\ -1& 0& 0\\ 0& 0& -1\end{array}\right],$ $R_B=\left[\begin{array}{ccc}0& 0& -1\\ 1& 0& 0\\ 0& -1& 0\end{array}\right],$ $R_F=\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right];$ $K=\left(\begin{array}{ccc}s/2& 0& s/2\\ 0& s/2& s/2\\ 0& 0& 1\end{array}\right)$ 为立方体全景图的内参矩阵，s是立方体边长；R和t是立方体全景图坐标系相对于大地坐标系的旋转和平移矩阵，vⁱ为第i行行向量，i＝1,2,3；

3)根据步骤2)得到的映射模型矩阵V，以及待测目标的高程Z，由待测目标的像素的齐次坐标x_face及待测目标所在的立方体面的旋转矩阵R_face，获得待测目标的空间位置(X,Y,Z)^T；再通过大地坐标系到WGS84坐标系的转换，进而获得立方体全景图上待测目标对应的地理坐标。

2.一种基于单应阵变换的空中立方体全景成像目标定位方法，其特征在于步骤如下：

1)在指定航拍区域拍摄得到立方体全景图，调取该航拍区域的卫星影像数据，通过手动指定或是特征点自动匹配方法得到若干同名点；

2)根据步骤1)得到的同名点，采用单应阵公式 $H_{face1\→\mathrm{\π}}\·x_{face1}=\left(\begin{array}{c}a\\ b\\ e\end{array}\right),$ 计算获得从立方体全景图到卫星地图的映射模型矩阵H_face1→π，式中H_face1→π为立方体全景图面face1到地面π的单应阵变换，所述的面face1为立方体全景图底面，π为地面同名点所在的平面；地面同名点的齐次坐标表示为(a,b,e)^T，地面同名点在立方体全景图面face1上对应的像素同名点表示为齐次坐标 $x_{face1}^T={(x,y,w)}^T;$

3)根据步骤2)得到的映射模型矩阵H_face1→π，计算得到面face2到地面π的单应阵变换为H_face2→π＝K^-1R_face2T(face1)^-1H_face1→π，其中面face2为待测目标所在的面，R_face2是面face2相对于立方体全景图坐标系的旋转矩阵，六个面的R_face2分别为 $R_D=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$ $R_R=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$ $R_L=\left[\begin{array}{ccc}0& -1& 0\\ 0& 0& -1\\ 1& 0& 0\end{array}\right],$ $R_U=\left[\begin{array}{ccc}0& -1& 0\\ -1& 0& 0\\ 0& 0& -1\end{array}\right],$ $R_B=\left[\begin{array}{ccc}0& 0& -1\\ 1& 0& 0\\ 0& -1& 0\end{array}\right],$ $R_F=\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right],$ $K=\left(\begin{array}{ccc}s/2& 0& s/2\\ 0& s/2& s/2\\ 0& 0& 1\end{array}\right)$ 为立方体全景图的内参矩阵，s是立方体边长， $T\left(face1\right)=\left[\begin{array}{ccc}0& -1& s/2\\ 1& 0& -s/2\\ 0& 0& s/2\end{array}\right];$

4)根据获得的H_face2→π和待测目标的像素齐次坐标x_face2，得到立方体全景图上指定目标对应的地理坐标(a,b)^T。