CN104599232A - 一种基于站心坐标系和透视投影的增强现实方法 - Google Patents

Abstract

本发明涉及一种基于站心坐标系和透视投影的增强现实方法，包括：(1)坐标转换：将移动设备、兴趣点的大地坐标转换为地心坐标，得到兴趣点在站心坐标系中的坐标，再得到兴趣点的视角坐标；(2)透视投影，将兴趣点相对于用户当前位置的站心坐标透视投影到移动设备的显示屏上，利用移动设备摄像头进行实景拍摄，同时根据移动设备的不同方位，将兴趣点的相关信息实时叠加到移动设备摄像头拍摄的实景中兴趣点的位置上；本发明改进了传统地图及导航应用不直观的缺点，快速找到兴趣点，兴趣点的相关信息及时叠加到拍摄图像中的兴趣点上，给人所见即所得的效果；本发明自动提示用户目前的朝向，快速准确的得到兴趣点相对于用户当前位置的方向和位置。

Description

一种基于站心坐标系和透视投影的增强现实方法

技术领域

本发明涉及一种基于站心坐标系和透视投影的增强现实方法，属于计算机图像处理和传感器技术领域。

背景技术

目前传统地图及导航设备只能给出人们要寻找的兴趣点在地图上的位置，即使已经规划好路径，在前往目的地过程中，还是需要人们不断观察周围的环境与地图上的信息进行匹配，不仅效率慢，而且容易出错。

发明内容

针对现有技术的不足，本发明公开了一种基于站心坐标系和透视投影的增强现实方法；

本发明将兴趣点拟合到实景中，将人们感兴趣的位置信息直接动态实时地叠加到移动设备拍摄的实景中，使人们能够方便准确的得到想要的兴趣点及其相关信息。

该方法实现了根据移动设备的坐标和方向、兴趣点的坐标，动态实时的将兴趣点的位置叠加到摄像实景中。

术语解释：

透视投影，是指将三维空间中的坐标或物体投影到二维平面上，照相机即利用此原理。

本发明的技术方案为：

一种基于站心坐标系和透视投影的增强现实方法，具体步骤包括：

(1)坐标转换，具体步骤包括：

a、通过GPS获取用户当前大地坐标[lat_user lon_user alt_user]^T，其中，lat_user表示用户当前位置纬度，lon_user表示用户当前位置经度，alt_user表示用户当前位置高度，通过网络获取到兴趣点大地坐标[lat_poi lon_poi alt_poi]^T，其中，lat_poi表示兴趣点纬度，lon_poi表示兴趣点经度，alt_poi表示兴趣点高度，所述用户当前位置即为移动设备位置；

b、通过式(Ⅰ)分别将用户当前大地坐标[lat_user lon_user alt_user]^T、兴趣点大地坐标[lat_poi lon_poi alt_poi]^T转换为用户当前地心坐标[X_u Y_u Z_u]^T、兴趣点地心坐标[X_p Y_p Z_p]^T；

$\left\{\begin{array}{c}{X}_{\mathrm{ECEF}}=(N\left(\mathrm{lat}\right)+\mathrm{alt})\cos \left(\mathrm{lat}\right)\cos \left(\mathrm{lon}\right)\\ Y_{\mathrm{ECEF}}=(N\left(\mathrm{lat}\right)+\mathrm{alt})\cos \left(\mathrm{lat}\right)\sin \left(\mathrm{lon}\right)\\ Z_{\mathrm{ECEF}}=(N\left(\mathrm{lat}\right)(1-e^2)+\mathrm{alt})\sin \left(\mathrm{lat}\right)\end{array}\right.---\left(I\right)$

式(Ⅰ)中, $N\left(\mathrm{lat}\right)=\frac{a}{\sqrt{1-e^2{\sin }^2\left(\mathrm{lat}\right)}},e=\frac{\sqrt{a^2-b^2}}{a},$ a为地球椭球的长半轴，b为地球椭球短半轴，e为地球椭球第一偏心率；

将用户当前大地坐标[lat_user lon_user alt_user]^T转换为用户当前地心坐标[X_u Y_u Z_u]^T时，式(Ⅰ)中，lat＝lat_user，lon＝lon_user，alt＝alt_user，X_ECEF＝X_u，Y_ECEF＝Y_u，Z_ECEF＝Z_u；

将兴趣点大地坐标[lat_poi lon_poi alt_poi]^T转换为兴趣点地心坐标[X_p Y_p Z_p]^T时，式(Ⅰ)中，lat＝lat_poi，lon＝lon_poi，alt＝alt_poi，X_ECEF＝X_p，Y_ECEF＝Y_p，Z_ECEF＝Z_p；

所述大地坐标由地球的纬度、经度和海拔高度组成；

所述地心坐标所处的地心坐标系以地球质心为原点o，z轴与地轴平行指向北极点，x轴指向本初子午线与赤道的交点，y轴垂直于xOz平面，y轴指向东经90°与赤道的交点，构成右手坐标系；

c、将地心坐标转换成站心坐标，通过式(Ⅱ)得到兴趣点相对于用户当前位置的站心坐标[x_enu y_enu z_enu]^T：

$\left[\begin{array}{c}{x}_{\mathrm{enu}}\\ y_{\mathrm{enu}}\\ z_{\mathrm{enu}}\end{array}\right]=\left[\begin{array}{ccc}-\sin \left({\mathrm{lon}}_{\mathrm{user}}\right)& \cos \left({\mathrm{lon}}_{\mathrm{user}}\right)& 0\\ -\sin \left({\mathrm{lat}}_{\mathrm{user}}\right)\cos \left({\mathrm{lon}}_{\mathrm{user}}\right)& -\sin \left({\mathrm{lat}}_{\mathrm{user}}\right)\sin \left({\mathrm{lon}}_{\mathrm{user}}\right)& \cos \left({\mathrm{lat}}_{\mathrm{user}}\right)\\ \cos \left({\mathrm{lat}}_{\mathrm{user}}\right)\cos \left({\mathrm{lon}}_{\mathrm{user}}\right)& \cos \left({\mathrm{lat}}_{\mathrm{user}}\right)\sin \left({\mathrm{lon}}_{\mathrm{user}}\right)& \sin \left({\mathrm{lat}}_{\mathrm{user}}\right)\end{array}\right]\left[\begin{array}{c}{X}_p-X_u\\ Y_p-Y_u\\ Z_p-Z_u\end{array}\right]---\left(\mathrm{II}\right)$

站心坐标系以用户当前位置为坐标原点o’，z’轴与地球椭球法线重合，向上为正，y’轴指向正北方，x’轴指向正东方；站心坐标[x_enu y_enu z_enu]^T代表以用户当前位置为原点建立的站心坐标系中，兴趣点在该坐标系中的位置；

(2)透视投影，即将兴趣点相对于用户当前位置的站心坐标透视投影到移动设备的显示屏上，利用移动设备摄像头进行实景拍摄，同时根据移动设备的不同方位，将兴趣点的相关信息实时叠加到移动设备摄像头拍摄的实景中兴趣点的位置上，所述兴趣点的相关信息包括兴趣点名称、简介、兴趣点到用户当前位置的距离；透视投影在透视投影模型中完成，透视投影模型包括移动设备摄像头、视椎体、视角坐标系；视椎体为四棱锥体，移动设备摄像头位于四棱锥体锥顶；视椎体垂直方向的张角称为垂直视场角fovy；视椎体被前后两个平面截断，形成一个平头椎体，靠近移动设备摄像头的截平面称为近切平面，远离摄像头的截平面称为远切平面；近切平面也被用来当作投影平面，即平头椎体中的坐标或物体投影到近切平面上，w为投影平面的水平宽度，h为投影平面的高度；具体步骤包括：

d、移动设备摄像头的朝向改变时，通过移动设备的陀螺仪侦测摄像头旋转，移动设备摄像头的旋转用旋转转轴 $\stackrel{\→}{v}=\left[\begin{array}{ccc}a& b& c\end{array}\right]$ 和绕此转轴的旋转角度θ来表示，所述旋转转轴为长度为1的方向向量，通过式(Ⅲ)得到旋转矩阵R为：

$R=\left[\begin{array}{cccc}\cos \mathrm{\θ}+(1-\cos \mathrm{\θ})x^2& (1-\cos \mathrm{\θ})\mathrm{yx}-\left(\sin \mathrm{\θ}\right)z& (1-\cos \mathrm{\θ})\mathrm{xz}+\left(\sin \mathrm{\θ}\right)y& 0\\ (1-\cos \mathrm{\θ})\mathrm{yx}+\left(\sin \mathrm{\θz}\right)& \cos \mathrm{\θ}+(1-\cos \mathrm{\θ})y^2& (1-\cos \mathrm{\θ})\mathrm{yz}-\left(\sin \mathrm{\θ}\right)x& 0\\ (1-\cos \mathrm{\θ})\mathrm{zx}-\left(\sin \mathrm{\θ}\right)y& (1-\cos \mathrm{\θ})\mathrm{yz}+\left(\sin \mathrm{\θ}\right)x& \cos \mathrm{\θ}+(1-\cos \mathrm{\θ})z^2& 0\\ 0& 0& 0& 1\end{array}\right]---\left(\mathrm{III}\right)$

将兴趣点的站心坐标[x_enu y_enu z_enu]^T扩展为四维齐次坐标[X_enu y_enu z_enu 1]^T；

通过式(Ⅳ)，通过旋转矩阵R将兴趣点的四维齐次坐标[X_enu y_enu z_enu 1]^T转换为视角坐标系中的视角坐标：

$\left[\begin{array}{c}{x}_{\mathrm{cam}}\\ y_{\mathrm{cam}}\\ z_{\mathrm{cam}}\\ w_{\mathrm{cam}}\end{array}\right]=R\×\left[\begin{array}{c}{x}_{\mathrm{enu}}\\ y_{\mathrm{enu}}\\ z_{\mathrm{enu}}\\ 1\end{array}\right]---\left(\mathrm{IV}\right)$

式(Ⅳ)中，w_cam表示视角坐标系的齐次系数；

所述视角坐标系是指：以移动设备摄像头为原点o”，垂直于摄像头镜面向内为z”轴，平行于镜面向上为y”轴，平行于镜面向左为x”轴；

e、将近切平面作为投影平面，把视角坐标通过投影矩阵投射到近切平面上，通过式(Ⅴ)得到所述投影矩阵为：

$P=\left[\begin{array}{cccc}\frac{e}{\mathrm{aspect}}& 0& 0& 0\\ 0& e& 0& 0\\ 0& 0& -\frac{f+n}{f-n}& \frac{-2\mathrm{fn}}{f-n}\\ 0& 0& -1& 0\end{array}\right]---\left(V\right)$

式(Ⅴ)中，近切平面宽高比n为近切平面到移动设备摄像头的距离，f为远切平面到移动设备摄像头的距离；

通过式(Ⅵ)得到兴趣点在近切平面中的坐标为：

$\left[\begin{array}{c}{x}_{\mathrm{clip}}\\ y_{\mathrm{clip}}\\ z_{\mathrm{clip}}\\ w_{\mathrm{clip}}\end{array}\right]=P\×\left[\begin{array}{c}{x}_{\mathrm{cam}}\\ y_{\mathrm{cam}}\\ z_{\mathrm{cam}}\\ w_{\mathrm{cam}}\end{array}\right]---\left(\mathrm{VI}\right)$

f、将兴趣点在近切平面中的坐标进行归一化，通过式(Ⅶ)得到归一化坐标为：

$\left[\begin{array}{c}{x}_{\mathrm{ndc}}\\ y_{\mathrm{ndc}}\\ z_{\mathrm{ndc}}\end{array}\right]=\left[\begin{array}{c}{x}_{\mathrm{clip}}/w_{\mathrm{clip}}\\ y_{\mathrm{clip}}/w_{\mathrm{clip}}\\ z_{\mathrm{clip}}/w_{\mathrm{clip}}\end{array}\right]---\left(\mathrm{VII}\right)$

所述归一化坐标的取值范围为[-1 1]；

g、通过式(Ⅶ)将归一化坐标转换为移动设备的屏幕坐标，完成站心坐标到屏幕坐标的透视投影变换，屏幕坐标如下：

$\left[\begin{array}{c}{x}_{\mathrm{win}}\\ y_{\mathrm{win}}\\ z_{\mathrm{win}}\end{array}\right]=\left[\begin{array}{c}\frac{w}{2}{x}_{\mathrm{ndc}}+(x+\frac{w}{2})\\ \frac{h}{2}{y}_{\mathrm{ndc}}+(y+\frac{h}{2})\\ \frac{f-n}{2}{z}_{\mathrm{ndc}}+\frac{f+n}{2}\end{array}\right]---\left(\mathrm{VIII}\right)$

得到兴趣点的屏幕坐标后，将兴趣点的相关信息实时叠加到移动设备摄像头拍摄的实景中兴趣点的位置上。

由于大部分移动设备背部都集成摄像头，移动设备的朝向与摄像头的朝向是一致的，移动设备朝向即代表摄像头的朝向。

本发明的有益效果为：

1、本发明改进了传统地图及导航应用不直观的缺点，通过将兴趣点的相关信息实时叠加到移动设备摄像头拍摄的图像上，让人们快速找到自己的兴趣点，当兴趣点在移动设备摄像头范围内时，兴趣点的相关信息实时叠加到拍摄图像中的兴趣点上，给人所见即所得的效果；

2、本发明通过站心坐标、陀螺仪和指南针能够自动提示用户目前的朝向，快速准确的得到兴趣点相对于用户当前位置的方向和位置，用户通过旋转自己的朝向即可快速获得兴趣点的方位及兴趣点的相关信息。

附图说明

图1为本发明所述增强现实方法流程图；

图2为地球坐标系模型；

图2中，本初子午线为0°经线，赤道为0°纬线；

地心坐标系以地球质心为原点o，z轴与地轴平行指向北极点，x轴指向本初子午线与赤道的交点，y轴垂直于xOz平面，y轴指向东经90°与赤道的交点，构成右手坐标系；

站心坐标系以用户当前位置为坐标原点o’，z’轴与地球椭球法线重合，向上为正，y’轴指向正北方，x’轴指向正东方；

图3为透视投影模型；

图3中，透视投影模型包括移动设备摄像头、视椎体、视角坐标系；

视椎体为四棱锥体，移动设备摄像头位于四棱锥体锥顶；

视椎体垂直方向的张角称为垂直视场角fovy；

视椎体被前后两个平面截断，形成一个平头椎体，靠近移动设备摄像头的截平面称为近切平面，远离摄像头的截平面称为远切平面；近切平面也被用来当作投影平面，即平头椎体中的坐标或物体投影到近切平面上，w为投影平面的水平宽度，h为投影平面的高度；在图中位于平头椎体中视角坐标[X_cam Y_cam Z_cam]^T透视投影到近切平面上，在近切平面上的坐标为[X_clip Y_clip Z_clip]^T；

平头椎体规定了可视范围，只有位于平头椎体内的坐标或物体才是可见的。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例

一种基于站心坐标系和透视投影的增强现实方法，具体步骤包括：

(1)坐标转换，具体步骤包括：

a、通过GPS获取用户当前大地坐标[lat_user lon_user alt_user]^T，其中，lat_user表示用户当前位置纬度，lon_user表示用户当前位置经度，alt_user表示用户当前位置高度，通过网络获取到兴趣点大地坐标[lat_poi lon_poi alt_poi]^T，其中，lat_poi表示兴趣点纬度，lon_poi表示兴趣点经度，alt_poi表示兴趣点高度，所述用户当前位置即为移动设备位置；

b、通过式(Ⅰ)分别将用户当前大地坐标[lat_user lon_user alt_user]^T、兴趣点大地坐标[lat_poi lon_poi alt_poi]^T转换为用户当前地心坐标[X_u Y_u Z_u]^T、兴趣点地心坐标[X_p Y_p Z_p]^T；

$\left\{\begin{array}{c}{X}_{\mathrm{ECEF}}=(N\left(\mathrm{lat}\right)+\mathrm{alt})\cos \left(\mathrm{lat}\right)\cos \left(\mathrm{lon}\right)\\ Y_{\mathrm{ECEF}}=(N\left(\mathrm{lat}\right)+\mathrm{alt})\cos \left(\mathrm{lat}\right)\sin \left(\mathrm{lon}\right)\\ Z_{\mathrm{ECEF}}=(N\left(\mathrm{lat}\right)(1-e^2)+\mathrm{alt})\sin \left(\mathrm{lat}\right)\end{array}\right.---\left(I\right)$

式(Ⅰ)中, $N\left(\mathrm{lat}\right)=\frac{a}{\sqrt{1-e^2{\sin }^2\left(\mathrm{lat}\right)}},e=\frac{\sqrt{a^2-b^2}}{a},$ a为地球椭球的长半轴，b为地球椭球短半轴，e为地球椭球第一偏心率；

将用户当前大地坐标[lat_user lon_user alt_user]^T转换为用户当前地心坐标[X_u Y_u Z_u]^T时，式(Ⅰ)中，lat＝lat_user，lon＝lon_user，alt＝alt_user，X_ECEF＝X_u，Y_ECEF＝Y_u，Z_ECEF＝Z_u；

将兴趣点大地坐标[lat_poi lon_poi alt_poi]^T转换为兴趣点地心坐标[X_p Y_p Z_p]^T时，式(Ⅰ)中，lat＝lat_poi，lon＝lon_poi，alt＝alt_poi，X_ECEF＝X_p，Y_ECEF＝Y_p，Z_ECEF＝Z_p；

所述大地坐标由地球的纬度、经度和海拔高度组成；

所述地心坐标所处的地心坐标系以地球质心为原点o，z轴与地轴平行指向北极点，x轴指向本初子午线与赤道的交点，y轴垂直于xOz平面，y轴指向东经90°与赤道的交点，构成右手坐标系；

c、将地心坐标转换成站心坐标，通过式(Ⅱ)得到兴趣点相对于用户当前位置的站心坐标[x_enu y_enu z_enu]^T：

$\left[\begin{array}{c}{x}_{\mathrm{enu}}\\ y_{\mathrm{enu}}\\ z_{\mathrm{enu}}\end{array}\right]=\left[\begin{array}{ccc}-\sin \left({\mathrm{lon}}_{\mathrm{user}}\right)& \cos \left({\mathrm{lon}}_{\mathrm{user}}\right)& 0\\ -\sin \left({\mathrm{lat}}_{\mathrm{user}}\right)\cos \left({\mathrm{lon}}_{\mathrm{user}}\right)& -\sin \left({\mathrm{lat}}_{\mathrm{user}}\right)\sin \left({\mathrm{lon}}_{\mathrm{user}}\right)& \cos \left({\mathrm{lat}}_{\mathrm{user}}\right)\\ \cos \left({\mathrm{lat}}_{\mathrm{user}}\right)\cos \left({\mathrm{lon}}_{\mathrm{user}}\right)& \cos \left({\mathrm{lat}}_{\mathrm{user}}\right)\sin \left({\mathrm{lon}}_{\mathrm{user}}\right)& \sin \left({\mathrm{lat}}_{\mathrm{user}}\right)\end{array}\right]\left[\begin{array}{c}{X}_p-X_u\\ Y_p-Y_u\\ Z_p-Z_u\end{array}\right]---\left(\mathrm{II}\right)$

站心坐标系以用户当前位置为坐标原点o’，z’轴与地球椭球法线重合，向上为正，y’

轴指向正北方，x’轴指向正东方；站心坐标[x_enu y_enu z_enu]^T代表以用户当前位置为原点建立的站心坐标系中，兴趣点在该坐标系中的位置；

(2)透视投影，即将兴趣点相对于用户当前位置的站心坐标透视投影到移动设备的显示屏上，利用移动设备摄像头进行实景拍摄，同时根据移动设备的不同方位，将兴趣点的相关信息实时叠加到移动设备摄像头拍摄的实景中兴趣点的位置上，所述兴趣点的相关信息包括兴趣点名称、简介、兴趣点到用户当前位置的距离；透视投影在透视投影模型中完成，透视投影模型包括移动设备摄像头、视椎体、视角坐标系；视椎体为四棱锥体，移动设备摄像头位于四棱锥体锥顶；视椎体垂直方向的张角称为垂直视场角fovy；视椎体被前后两个平面截断，形成一个平头椎体，靠近移动设备摄像头的截平面称为近切平面，远离摄像头的截平面称为远切平面；近切平面也被用来当作投影平面，即平头椎体中的坐标或物体投影到近切平面上，w为投影平面的水平宽度，h为投影平面的高度；具体步骤包括：

d、移动设备摄像头的朝向改变时，通过移动设备的陀螺仪侦测摄像头旋转，移动设备摄像头的旋转用旋转转轴 $\stackrel{\→}{v}=\left[\begin{array}{ccc}a& b& c\end{array}\right]$ 和绕此转轴的旋转角度θ来表示，所述旋转转轴为长度为1的方向向量，通过式(Ⅲ)得到旋转矩阵R为：

$R=\left[\begin{array}{cccc}\cos \mathrm{\θ}+(1-\cos \mathrm{\θ})x^2& (1-\cos \mathrm{\θ})\mathrm{yx}-\left(\sin \mathrm{\θ}\right)z& (1-\cos \mathrm{\θ})\mathrm{xz}+\left(\sin \mathrm{\θ}\right)y& 0\\ (1-\cos \mathrm{\θ})\mathrm{yx}+\left(\sin \mathrm{\θz}\right)& \cos \mathrm{\θ}+(1-\cos \mathrm{\θ})y^2& (1-\cos \mathrm{\θ})\mathrm{yz}-\left(\sin \mathrm{\θ}\right)x& 0\\ (1-\cos \mathrm{\θ})\mathrm{zx}-\left(\sin \mathrm{\θ}\right)y& (1-\cos \mathrm{\θ})\mathrm{yz}+\left(\sin \mathrm{\θ}\right)x& \cos \mathrm{\θ}+(1-\cos \mathrm{\θ})z^2& 0\\ 0& 0& 0& 1\end{array}\right]---\left(\mathrm{III}\right)$

将兴趣点的站心坐标[x_enu y_enu z_enu]^T扩展为四维齐次坐标[x_enu y_enu z_enu 1]^T；

通过式(Ⅳ)，通过旋转矩阵R将兴趣点的四维齐次坐标[x_enu y_enu z_enu 1]^T转换为视角坐标系中的视角坐标：

$\left[\begin{array}{c}{x}_{\mathrm{cam}}\\ y_{\mathrm{cam}}\\ z_{\mathrm{cam}}\\ w_{\mathrm{cam}}\end{array}\right]=R\×\left[\begin{array}{c}{x}_{\mathrm{enu}}\\ y_{\mathrm{enu}}\\ z_{\mathrm{enu}}\\ 1\end{array}\right]---\left(\mathrm{IV}\right)$

式(Ⅳ)中，w_cam表示视角坐标系的齐次系数；

所述视角坐标系是指：以移动设备摄像头为原点o”，垂直于摄像头镜面向内为z”轴，平行于镜面向上为y”轴，平行于镜面向左为x”轴；

e、将近切平面作为投影平面，把视角坐标通过投影矩阵投射到近切平面上，通过式(Ⅴ)得到所述投影矩阵为：

$P=\left[\begin{array}{cccc}\frac{e}{\mathrm{aspect}}& 0& 0& 0\\ 0& e& 0& 0\\ 0& 0& -\frac{f+n}{f-n}& \frac{-2\mathrm{fn}}{f-n}\\ 0& 0& -1& 0\end{array}\right]---\left(V\right)$

式(Ⅴ)中，近切平面宽高比n为近切平面到移动设备摄像头的距离，f为远切平面到移动设备摄像头的距离；

通过式(Ⅵ)得到兴趣点在近切平面中的坐标为：

$\left[\begin{array}{c}{x}_{\mathrm{clip}}\\ y_{\mathrm{clip}}\\ z_{\mathrm{clip}}\\ w_{\mathrm{clip}}\end{array}\right]=P\×\left[\begin{array}{c}{x}_{\mathrm{cam}}\\ y_{\mathrm{cam}}\\ z_{\mathrm{cam}}\\ w_{\mathrm{cam}}\end{array}\right]---\left(\mathrm{VI}\right)$

f、将兴趣点在近切平面中的坐标进行归一化，通过式(Ⅶ)得到归一化坐标为：

$\left[\begin{array}{c}{x}_{\mathrm{ndc}}\\ y_{\mathrm{ndc}}\\ z_{\mathrm{ndc}}\end{array}\right]=\left[\begin{array}{c}{x}_{\mathrm{clip}}/w_{\mathrm{clip}}\\ y_{\mathrm{clip}}/w_{\mathrm{clip}}\\ z_{\mathrm{clip}}/w_{\mathrm{clip}}\end{array}\right]---\left(\mathrm{VII}\right)$

所述归一化坐标的取值范围为[-1 1]；

g、通过式(Ⅶ)将归一化坐标转换为移动设备的屏幕坐标，完成站心坐标到屏幕坐标的透视投影变换，屏幕坐标如下：

$\left[\begin{array}{c}{x}_{\mathrm{win}}\\ y_{\mathrm{win}}\\ z_{\mathrm{win}}\end{array}\right]=\left[\begin{array}{c}\frac{w}{2}{x}_{\mathrm{ndc}}+(x+\frac{w}{2})\\ \frac{h}{2}{y}_{\mathrm{ndc}}+(y+\frac{h}{2})\\ \frac{f-n}{2}{z}_{\mathrm{ndc}}+\frac{f+n}{2}\end{array}\right]---\left(\mathrm{VIII}\right)$

得到兴趣点的屏幕坐标后，将兴趣点的相关信息实时叠加到移动设备摄像头拍摄的实景中兴趣点的位置上。

由于大部分移动设备背部都集成摄像头，移动设备的朝向与摄像头的朝向是一致的，移动设备朝向即代表摄像头的朝向。

Claims (1)

1.一种基于站心坐标系和透视投影的增强现实方法，其特征在于，具体步骤包括：

(1)坐标转换，具体步骤包括：

a、通过GPS获取用户当前大地坐标[lat_user lon_user alt_user]^T，其中，lat_user表示用户当前位置纬度，lon_user表示用户当前位置经度，alt_user表示用户当前位置高度，通过网络获取到兴趣点大地坐标[lat_poi lon_poi alt_poi]^T，其中，lat_poi表示兴趣点纬度，lon_poi表示兴趣点经度，alt_poi表示兴趣点高度，所述用户当前位置即为移动设备位置；

b、通过式(Ⅰ)分别将用户当前大地坐标[lat_user lon_user alt_user]^T、兴趣点大地坐标[lat_poi lon_poi alt_poi]^T转换为用户当前地心坐标[X_u Y_u Z_u]^T、兴趣点地心坐标[X_p Y_p Z_p]^T；

$\left\{\begin{array}{c}{X}_{\mathrm{ECEF}}=(N\left(\mathrm{lat}\right)+\mathrm{alt})\cos \left(\mathrm{lat}\right)\cos \left(\mathrm{lon}\right)\\ Y_{\mathrm{ECEF}}=(N\left(\mathrm{lat}\right)+\mathrm{alt})\cos \left(\mathrm{lat}\right)\sin \left(\mathrm{lon}\right)\\ Z_{\mathrm{ECEF}}=(N\left(\mathrm{lat}\right)(1-e^2)+\mathrm{alt})\sin \left(\mathrm{lat}\right)\end{array}\right.---\left(I\right)$

式(Ⅰ)中,a为地球椭球的长半轴，b为地球椭球短半轴，e为地球椭球第一偏心率；

将用户当前大地坐标[lat_user lon_user alt_user]^T转换为用户当前地心坐标[X_u Y_u Z_u]^T时，式(Ⅰ)中，lat＝lat_user，lon＝lon_user，alt＝alt_user，X_ECEF＝X_u，Y_ECEF＝Y_u，Z_ECEF＝Z_u；

将兴趣点大地坐标[lat_poi lon_poi alt_poi]^T转换为兴趣点地心坐标[X_p Y_p Z_p]^T时，式(Ⅰ)中，lat＝lat_poi，lon＝lon_poi，alt＝alt_poi，X_ECEF＝X_p，Y_ECEF＝Y_p，Z_ECEF＝Z_p；

所述大地坐标由地球的纬度、经度和海拔高度组成；

所述地心坐标所处的地心坐标系以地球质心为原点o，z轴与地轴平行指向北极点，x轴指向本初子午线与赤道的交点，y轴垂直于xOz平面，y轴指向东经90°与赤道的交点，构成右手坐标系；

c、将地心坐标转换成站心坐标，通过式(Ⅱ)得到兴趣点相对于用户当前位置的站心坐标[x_enu y_enu z_enu]^T：

$\left[\begin{array}{c}{x}_{\mathrm{enu}}\\ y_{\mathrm{enu}}\\ z_{\mathrm{enu}}\end{array}\right]=\left[\begin{array}{ccc}-\sin \left({\mathrm{lon}}_{\mathrm{user}}\right)& \cos \left({\mathrm{lon}}_{\mathrm{user}}\right)& 0\\ -\sin \left({\mathrm{lat}}_{\mathrm{user}}\right)\cos \left({\mathrm{lon}}_{\mathrm{user}}\right)& -\sin \left({\mathrm{lat}}_{\mathrm{user}}\right)\sin \left({\mathrm{lon}}_{\mathrm{user}}\right)& \cos \left({\mathrm{lat}}_{\mathrm{user}}\right)\\ \cos \left({\mathrm{lat}}_{\mathrm{user}}\right)\cos \left({\mathrm{lon}}_{\mathrm{user}}\right)& \cos \left({\mathrm{lat}}_{\mathrm{user}}\right)\sin \left({\mathrm{lon}}_{\mathrm{user}}\right)& \sin \left({\mathrm{lat}}_{\mathrm{user}}\right)\end{array}\right]\left[\begin{array}{c}{X}_p-X_u\\ Y_p-Y_u\\ Z_p-Z_u\end{array}\right]---\left(\mathrm{II}\right)$

站心坐标系以用户当前位置为坐标原点o’，z’轴与地球椭球法线重合，向上为正，y’轴指向正北方，x’轴指向正东方；站心坐标[x_enu y_enu z_enu]^T代表以用户当前位置为原点建立的站心坐标系中，兴趣点在该坐标系中的位置；

(2)透视投影，即将兴趣点相对于用户当前位置的站心坐标透视投影到移动设备的显示屏上，利用移动设备摄像头进行实景拍摄，同时根据移动设备的不同方位，将兴趣点的相关信息实时叠加到移动设备摄像头拍摄的实景中兴趣点的位置上，所述兴趣点的相关信息包括兴趣点名称、简介、兴趣点到用户当前位置的距离；透视投影在透视投影模型中完成，透视投影模型包括移动设备摄像头、视椎体、视角坐标系；视椎体为四棱锥体，移动设备摄像头位于四棱锥体锥顶；视椎体垂直方向的张角称为垂直视场角fovy；视椎体被前后两个平面截断，形成一个平头椎体，靠近移动设备摄像头的截平面称为近切平面，远离摄像头的截平面称为远切平面；近切平面也被用来当作投影平面，即平头椎体中的坐标或物体投影到近切平面上，w为投影平面的水平宽度，h为投影平面的高度；具体步骤包括：

d、移动设备摄像头的朝向改变时，通过移动设备的陀螺仪侦测摄像头旋转，移动设备摄像头的旋转用旋转转轴和绕此转轴的旋转角度θ来表示，所述旋转转轴为长度为1的方向向量，通过式(Ⅲ)得到旋转矩阵R为：

$R=\left[\begin{array}{cccc}\cos \mathrm{\θ}+(1-\cos \mathrm{\θ})x^2& (1-\cos \mathrm{\θ})\mathrm{yx}-\left(\sin \mathrm{\θ}\right)z& (1-\cos \mathrm{\θ})\mathrm{xz}+\left(\sin \mathrm{\θ}\right)y& 0\\ (1-\cos \mathrm{\θ})\mathrm{yx}+\left(\sin \mathrm{\θ}\right)z& \cos \mathrm{\θ}+(1-\cos \mathrm{\θ})y^2& (1-\cos \mathrm{\θ})\mathrm{yz}-\left(\sin \mathrm{\θ}\right)x& 0\\ (1-\cos \mathrm{\θ})\mathrm{zx}-\left(\sin \mathrm{\θ}\right)y& (1-\cos \mathrm{\θ})\mathrm{yz}+\left(\sin \mathrm{\θ}\right)x& \cos \mathrm{\θ}+(1-\cos \mathrm{\θ})z^2& 0\\ 0& 0& 0& 1\end{array}\right]---\left(\mathrm{III}\right)$

将兴趣点的站心坐标[x_enu y_enu z_enu]^T扩展为四维齐次坐标[x_enu y_enu z_enu 1]^T；

通过式(Ⅳ)，通过旋转矩阵R将兴趣点的四维齐次坐标[x_enu y_enu z_enu 1]^T转换为视角坐标系中的视角坐标：

$\left[\begin{array}{c}{x}_{\mathrm{cam}}\\ y_{\mathrm{cam}}\\ z_{\mathrm{cam}}\\ w_{\mathrm{cam}}\end{array}\right]=R\×\left[\begin{array}{c}{x}_{\mathrm{enu}}\\ y_{\mathrm{enu}}\\ z_{\mathrm{enu}}\\ 1\end{array}\right]---\left(\mathrm{IV}\right)$

式(Ⅳ)中，w_cam表示视角坐标系的齐次系数；

所述视角坐标系是指：以移动设备摄像头为原点o”，垂直于摄像头镜面向内为z”轴，平行于镜面向上为y”轴，平行于镜面向左为x”轴；

e、将近切平面作为投影平面，把视角坐标通过投影矩阵投射到近切平面上，通过式(Ⅴ)得到所述投影矩阵为：

$P=\left[\begin{array}{cccc}\frac{e}{\mathrm{aspect}}& 0& 0& 0\\ 0& e& 0& 0\\ 0& 0& -\frac{f+n}{f-n}& \frac{-2\mathrm{fn}}{f-n}\\ 0& 0& -1& 0\end{array}\right]---\left(V\right)$

式(Ⅴ)中，近切平面宽高比n为近切平面到移动设备摄像头的距离，f为远切平面到移动设备摄像头的距离；

通过式(Ⅵ)得到兴趣点在近切平面中的坐标为：

$\left[\begin{array}{c}{x}_{\mathrm{clip}}\\ y_{\mathrm{clip}}\\ z_{\mathrm{clip}}\\ w_{\mathrm{clip}}\end{array}\right]=P\×\left[\begin{array}{c}{x}_{\mathrm{cam}}\\ y_{\mathrm{cam}}\\ z_{\mathrm{cam}}\\ w_{\mathrm{cam}}\end{array}\right]---\left(\mathrm{VI}\right)$

f、将兴趣点在近切平面中的坐标进行归一化，通过式(Ⅶ)得到归一化坐标为：

$\left[\begin{array}{c}{x}_{\mathrm{ndc}}\\ y_{\mathrm{ndc}}\\ z_{\mathrm{ndc}}\end{array}\right]=\left[\begin{array}{c}{x}_{\mathrm{clip}}/w_{\mathrm{clip}}\\ y_{\mathrm{clip}}/w_{\mathrm{clip}}\\ z_{\mathrm{clip}}/w_{\mathrm{clip}}\end{array}\right]---\left(\mathrm{VII}\right)$

所述归一化坐标的取值范围为[-1 1]；

g、通过式(Ⅶ)将归一化坐标转换为移动设备的屏幕坐标，完成站心坐标到屏幕坐标的透视投影变换，屏幕坐标如下：

$\left[\begin{array}{c}{x}_{\mathrm{win}}\\ y_{\mathrm{win}}\\ z_{\mathrm{win}}\end{array}\right]\left[\begin{array}{c}\frac{w}{2}{x}_{\mathrm{ndc}}+(x+\frac{w}{2})\\ \frac{h}{2}{y}_{\mathrm{ndc}}+(y+\frac{h}{2})\\ \frac{f-n}{2}{z}_{\mathrm{ndc}}+\frac{f+n}{2}\end{array}\right]---\left(\mathrm{VIII}\right)$

得到兴趣点的屏幕坐标后，将兴趣点的相关信息实时叠加到移动设备摄像头拍摄的实景中兴趣点的位置上。