CN105334525B

CN105334525B - 一种基于增强现实技术的地理信息显示方法

Info

Publication number: CN105334525B
Application number: CN201510836509.4A
Authority: CN
Inventors: 麦家杰; 李论; 黄宇; 陈新伟
Original assignee: WUDA GEOINFORMATICS CO Ltd
Current assignee: Geospace Information Technology Co ltd
Priority date: 2015-11-26
Filing date: 2015-11-26
Publication date: 2018-08-17
Anticipated expiration: 2035-11-26
Also published as: CN105334525A

Abstract

本发明涉及一种基于增强现实技术的地理信息显示方法。包括：建立手机三维坐标系，将手机和待显示地物的经纬度坐标映射到手机三维坐标系中，根据三维坐标系中的手机坐标和地物坐标生成用于旋转地物标签的旋转矩阵，绘制地物标签并利用所述旋转矩阵旋转地物标签至地物标签的平面法线方向指向手机所在位置。因此，本发明具有如下优点：1.信息显示更加直观便捷，利用增强现实的数据展示优势，地理信息可以直接叠加到现实场景中，使用户更直观的获得信息；2.信息显示内容更加丰富多样，利用增强现实技术，在屏幕上根据地物的位置坐标直接在虚拟三维空间中准确绘制出地物标签，用户可以直接通过标签的位置判断地物的方向和距离。

Description

一种基于增强现实技术的地理信息显示方法

技术领域

本发明涉及一种信息显示方法，属于GIS信息显示方法领域，具体涉及一种移动端地理信息显示方法。

背景技术

在国土与规划行业中，有许多业务都涉及到使用移动终端实施地理信息采集的工作，例如国土巡查、地块报建，而在后续的业务中，地理信息在移动设备上的显示也尤为重要。地理信息采集工作指用户对某地物进行地理信息进行录入的过程，其中地理信息包括位置信息、属性信息等。地理信息显示指在移动端设备屏幕上将地理信息数据通过各种手段和方式展示出来。

在信息显示方面，信息显示的手段分为两种：使用列表显示和在电子地图上显示。使用列表显示地理信息不够直观，用户很难从充满密密麻麻的数字和文字中高效提取出感兴趣的信息。而在电子地图上显示地理信息，虽然可以直观地在地图上展示地物要素的地理位置，但是二维电子地图不具备高程属性，无法直观展示高程信息。并且对于不熟练使用电子地图的用户来说，很难通过在电子地图上描绘的地理位置判断出地物要素在现实中相对于用户当前位置的方位和距离。

例如，如图1所示，是采用OpenGL绘制的地物标签。使用OpenGL绘制标签的时候，画笔的朝向始终与东西方向垂直，因此，所标制出的标签的正面并未朝向手机用户。此时，用户看到的是标签的斜面而不是标签的正面，用户很难通过在电子地图上描绘的地理位置判断出地物要素在现实中相对于用户当前位置的方位和距离。

传统的移动端地理信息显示系统，在信息采集方面，信息采集的手段分为两种：使用GPS定位采集和在电子地图上通过选点采集。使用GPS定位采集地理位置信息的准确度依赖于移动端设备接收卫星或通讯基站发出的信号强度，在楼群密集或基站稀疏的地方会遇到定位精度低或定位用时长等不利因素。而在电子地图上采集位置的准确度取决于操作者使用电子地图的熟练度和识图能力，对操作者本身要求高，需要对操作者进行培训以后才能上手。

增强现实(Augmented Reality，简称AR)技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

本发明提供一种新的地理信息显示手段，利用增强现实技术，在手机屏幕中构建三维空间，将地理信息与摄像头获取的现实场景互相叠加，使地理信息的展示更加直观，让用户轻易获取地物的相对方位和距离。

发明内容

本发明主要是解决现有技术中在采集地理信息时地理信息显示时所存在的列表显示数据不够直观，电子地图显示地理信息难以让用户直接判断出地物所处的真实方位、高度和距离的技术问题，提供了一种基于增强现实技术的地理信息显示方法。该方法利用增强现实的数据展示优势，将地理信息直接叠加到现实场景中，使用户更直观的获得信息，并且在屏幕上根据地物的位置坐标直接在虚拟三维空间中准确绘制出地物标签，使用户可以直接通过标签的位置判断地物的方向和距离。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

为了解决上述问题，根据本发明的一个方面，提供了一种基于增强现实技术的地理信息显示方法，包括：

建立手机三维坐标系，将手机和待显示地物的经纬度坐标映射到手机三维坐标系中，根三维坐标系中的手机坐标和地物坐标生成用于旋转地物标签的旋转矩阵，绘制地物标签并利用所述旋转矩阵旋转地物标签至地物标签的平面法线方向指向手机所在位置。

优化的，上述的一种基于增强现实技术的地理信息显示方法，基于下式将经纬度坐标映射为手机三维坐标系：

X＝cos(B)×cos(L)×H

Y＝cos(B)×sin(L)×H

Z＝sin(B)×H

式中，(X，Y，Z)是手机三维坐标系下的坐标，BLH是经纬度坐标中的经度、纬度和高程。

优化的，上述的一种基于增强现实技术的地理信息显示方法，所述旋转矩阵通过以下步骤获得：

地物距离计算子步骤，基于下式计算地物A与手机C的距离L,

式中，(Ax,Ay)和(Cx,Cy)分别为地物A和手机C在手机三维坐标系中的坐标；

旋转矩阵构造子步骤，基于距离L以及地物A与手机C的坐标构造旋转矩阵R_A如下：

优化的，上述的一种基于增强现实技术的地理信息显示方法，旋转所述地物标签时先根据旋转矩阵R_A构造供OpenGL绘制函数使用的绘制矩阵D，调用OpenGL的绘制函数利用绘制矩阵D在手机上绘制地物标签。

优化的，上述的一种基于增强现实技术的地理信息显示方法，根据旋转矩阵构造绘制矩阵D如下：

优化的，上述的一种基于增强现实技术的地理信息显示方法，根据旋转矩阵构造绘制矩阵如下：

其中，P为比例因子，P＝Lt/L，Lt为常数。

优化的，上述的一种基于增强现实技术的地理信息显示方法，所述Lt取值为300。

优化的，上述的一种基于增强现实技术的地理信息显示方法，所述地物标签的大小与地物和手机之间的距离L成正相关关系。

为了解决上述问题，根据本发明的另一个方面，提供了一种基于增强现实技术的地理信息显示装置，包括：

坐标建立模块，用于建立手机三维坐标系；

坐标映射模块，用于将手机和待显示地物的经纬度坐标映射到手机三维坐标系中；

旋转矩阵模块，用于根三维坐标系中的手机坐标和地物坐标生成用于旋转地物标签的旋转矩阵；

标签绘制模块，用于绘制地物标签并利用所述旋转矩阵旋转地物标签至地物标签的平面法线方向指向手机所在位置。

优化的，上述的一种基于增强现实技术的地理信息显示装置，

旋转矩阵模块进一步包括以下单元：

地物距离计算单元，基于下式计算地物A与手机C的距离L,

旋转矩阵构造单元，基于距离L以及地物A与手机C的坐标构造旋转矩阵R_A如下：

并且，所述标签绘制模块进一步包括以下单元：

绘制矩阵构造单元，用于根据旋转矩阵R_A构造供OpenGL绘制函数使用的绘制矩阵D；

地物标签绘制单元，用于调用OpenGL的绘制函数利用绘制矩阵D在手机上绘制地物标签。

因此，本发明具有如下优点：

1.信息显示更加直观便捷，利用增强现实的数据展示优势，地理信息可以直接叠加到现实场景中，使用户更直观的获得信息；

2.信息显示内容更加丰富多样，利用增强现实技术，在屏幕上根据地物的位置坐标直接在虚拟三维空间中准确绘制出地物标签，用户可以直接通过标签的位置判断地物的方向和距离。

附图说明

附图1是未进行旋转时的地物标签示意图；

附图2是旋转后的地物标签示意图；

附图3是地物标签旋转角度示意图；

附图4是竖屏时的地物标签示意图；

附图5是横屏时的地物标签示意图；

附图6是本发明的传感器坐标采集功能界面图；

附图7是直角坐标系中的方位角和距离示意图；

附图8是直角坐标系中的多个目标点的坐标时的方位角和距离示意图；

附图9是手机空间直角坐标系示意图；

附图10是手机姿态角定义图；

附图11是摄像机C、采集点B与基准点A在横截方向的几何关系图；

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本实施例采用虚拟现实技术实现地物标签的展示，提且提供了一种地物标签位置信息的显示和采集方案。本实施例中，这两种方案是结合使用的，从而使终即能显示地物标签，又能采集地物信息。下面分别介绍显示和采集。

一、地物标签显示

将地物标签显示在三维场景中之前，需要先生成标签的图像数据，图像数据是一个有填充色的矩形，矩形内有文字说明这个地物的地理信息，例如地物的名称、地址等。使用OpenGL绘制标签的时候，画笔的朝向始终与东西方向垂直，也就是如果不作方向变换的话，会绘制成附图1这种情况。所以我们要将绘制出来的标签旋转一个角度，使得每个标签平面都面对手机，如图2所示。

为达到上述效果，地物标签图像数据成功生成后，需要计算图片在三维场景中绕Z轴旋转的角度，使图像平面法线方向指向手机位置C，如图3所示，线段AA’和线段BB’代表两个地物的标签图像，线段AzAz’代表地物A标签图像平面的法方向，角RA表示地物A标签图像需要旋转的角度。同理，线段BzBz’代表地物B标签图像平面的法方向，角RB表示地物B标签图像需要旋转的角度。

旋转角度的计算可以通过手机和地物的坐标来计算。首先，要建立手机三维坐标系，将手机和待显示地物的经纬度坐标映射到手机三维坐标系中，然后根三维坐标系中的手机坐标和地物坐标生成用于旋转地物标签的旋转矩阵，绘制地物标签并利用所述旋转矩阵旋转地物标签至地物标签的平面法线方向指向手机所在位置。

将经纬度坐标映射为手机三维坐标系的公式如下：

X＝cos(B)×cos(L)×H

Y＝cos(B)×sin(L)×H

Z＝sin(B)×H

旋转矩阵的计算主要依靠地物和手机之间的位置，主要步骤如下：

首先，基于下式计算地物A与手机C的距离L,

然后，基于距离L以及地物A与手机C的坐标构造旋转矩阵R_A如下：

在OpenGL中绘制标签时，并不是直接使用旋转矩阵来对标签进行旋转，这里需要再利用旋转矩阵构造一个绘制矩阵，利用绘制矩阵把标签的朝向转向手机，使得每个标签的法线都指向手机，这样手机在旋转的过程中，才能看到正面对着用户的标签，而不是斜面。

绘制矩阵的构造如下：

即将3维的R_A矩阵转换为一个4维的绘制矩阵，其转换过程只需要将第4行第4列的元素设为1，其余最后一列的前三个元素，以及最后一行的前三个元素均填充为零即可。

在获得了绘制矩阵后，就可以调用OpenGL的绘制函数来绘制标签，步骤如下：

步骤1，设置绘制坐标系朝向，此时，调用的函数为：gl.glMultMatrixf(mD,0)；

步骤2，绘制标签，设置坐标数组，此时，调用的函数为：gl.glVertexPointer(3,GL10.GL_FIXED,0,VertexBuffer)；其中，VertexBuffer为标签角点坐标数组；

步骤3，绘制标签图像，其中，TextureBuffer为纹理角点坐标数组，bitmap为标签纹理图像，调用的函数如下：

gl.glTexCoordPointer(2,GL10.GL_FLOAT,0,TextureBuffer)；

gl.glBindTexture(GL10.GL_TEXTURE_2D,bitmap)；

gl.glDrawArrays(GL10.GL_TRIANGLES,0,6)；

通过以上步骤，绘制出的地物标签均指向于用户，如图2所示。

由于手机坐标系的轴向是基于手机竖直放置时设定的，而在现实场景中，应用需要将手机横屏放置来符合人们的拍照操作习惯，此时，在构造绘制矩阵之前，需要将旋转矩阵R_A进一步转化为适合横屏使用的旋转矩阵R_p。可使用安卓内置算法，利用R_A矩阵参数执行手机竖屏坐标系到手机横屏坐标系的转换：SensorManager.remapCoordinateSystem(R_A,SensorManager.AXIS_Z,SensorManager.AXIS_MINUS_X,R_p)。在得到R_p后，再利用R_p来构造绘制矩阵。

在使用OpenGl绘制标签时，因为三维场景属于透视投影，为了避免近大远小的情况出现，还需要对距离相机位置C较远的地物标签作放大处理，放大的比例与地物A和手机位置C之间的距离L成正相关关系。要执行放大步骤，则使用以下方式来构造绘制矩阵：

其中，P为比例因子，P＝Lt/L，Lt为常数，一般取值为300。采用上述方法后，在手机上显示的地物标签如图4-5所示。

二、地理信息采集

本发明的地理信息采集方法中，需要一台具备GPS传感器、姿态传感器(方向传感器、陀螺仪)、运动传感器(方向传感器)的移动设备，并安装具有传感器坐标采集的应用程序。

当用户启动传感器坐标采集功能时，应用程序将打开摄像头并启动GPS定位功能；待用户设置相机高后，应用程序进入传感器坐标采集状态，如图6所示。用户将屏幕中的十字丝准心(图6中间箭头位置)照准采集点，点击右下角红色按钮，即可完成一个坐标点的采集工作。

下面详细介绍本实施例的具体原理。

1、坐标推导原理

如图7所示，确定直角坐标系中一个坐标点(B)相对于另外一个已知坐标点(A)的相对位置时，需要提供两个参数：方位角(Az)、距离(L)。

根据三角关系原理，B点的绝对坐标推算公式如下：

Bx＝Ax+L×sin(Az)

By＝Ay+L×cos(Az)

其中，x轴自西向东，y轴自南向北，Bx和By分别为B点的x坐标和y坐标，Ax和Ay分别为A点的x坐标和y坐标。

即当已知至少一个基准点的坐标时，目标点的坐标计算需要方位角(Az)和距离(L)即可计算得出。计算多个目标点的坐标时，确定所有坐标点的方位角(Az)和距离(L)后，逐个结算，如图8所示。

根据上述，坐标B与坐标C的绝对坐标推算公式如下：

Bx＝Ax+L₁×sin(Az₁)

By＝Ay+L₁×cos(Az₁)

Cx＝Ax+L₂×sin(Az₂)

Cy＝Ay+L₂×cos(Az₂)

2、移动终端实现原理

移动端实现传感器采点法坐标计算分为三个个步骤：确定目标点的方位角(Az)，确定目标点到已知点的距离(L)以及确定基准点平面坐标(A)。

方位角(Az)通过手机方向传感器直接获取；距离(L)结合手机传感器获得的翻滚角(Roll)和用户设置的相机高计算得出；基准点坐标通过AGPS技术得出。

2.1手机坐标系建立

首先，为手机建立空间直角坐标系，手机屏幕朝向天顶，手机顶部朝向磁北。其中，x轴自左向右；y轴自手机底部向手机顶部；z轴自手机背面向手机正面，如图9所示。

参考摄影测量IMU系统传感器姿态角的表示方式，手机姿态角方位角(Azimuth)、翻滚角(Roll)、俯仰角(Pitch)的表示与正方向的指定如图10所示。

2.2确定方位角Az

手机的方位角通过方向传感器直接获得。方向传感器是基于软件的虚拟传感器，它的数据是通过加速度传感器和磁场传感器共同获得的。

方向传感器的测量结果为一个3乘以3的旋转矩阵R。根据旋转矩阵的特性以及计算机视觉原理，当获得旋转矩阵R(3*3)后，方位角可以通过公式计算得出：

Az＝atan2(R₁₂,R₂₁)

Az的计算结果即为手机姿态坐标系中的方位角(Azimuth)。

2.3确定距离L

假定采集点(B)与基准点(A)处于同一水平面上，在用户使用手机摄像头照准目标时，摄像机(C)、采集点(B)与基准点(A)在横截方向上的几何关系如图11所示。

其中，角Roll为手机翻滚角，H为相机高，L为A、B两点间的平面距离。

根据旋转矩阵的特性以及计算机视觉原理，当获得旋转矩阵R(3*3)后，翻滚角可以通过公式计算得出：

Roll＝atan2(-R₃₁,R₃₃)

根据三角关系原理，L的长度计算公式如下：

L＝H×tan(Roll)

2.4确定基准点坐标A

手机通过AGPS技术获得手机坐标(C),假设用户在照准目标点时处于垂直站立状态，那么相机坐标(C)与基准点(A)的平面坐标值相同，综上所述得出：

Ax＝Cx

Ay＝Cy。

2.5解算目标点坐标

当手机通过传感器获得方位角(Az)和解得距离(L),并通过AGPS技术获得基准点(A)的坐标值后，目标点坐标B的绝对坐标推算公式如下：

Bx＝Ax+L×sin(Az)

By＝Ay+L×cos(Az)。

3.可行性分析

从技术层面考虑，传感器采点法有坚实的数学理论基础，是可靠的新采点技术。

从实现条件层面考虑，目前的移动设备均具备方法中涉及到的所有传感器，可以在几乎所有国土与规划行业应用是实现传感器采点法。

从误差分析层面考虑，在1:500电子地图上采点误差，GPS定位采点误差以及传感器采点法误差的对比如下表：

表1误差对比

虽然传感器采点法的误差比其余两者的误差大，甚至3倍于图上采点法，但是与另外一种主流采点方式，即GPS定位采点法，相比，误差十分接近。竟然GPS定位采点法的误差被行业所接受，那么传感器采点法误差比GPS采点法误差稍大11％的情况也可以考虑被行业接受。

从使用环境层面考虑，传感器采点法有着独特的优越性，甚至超越其他两种采集手段。在使用图上采集法时，目标在地图中的位置靠地图中目标附近的参照物决定，如果地图版本老旧，地图中采集目标的位置在地图中处于一片荒地之中，那么就无法通过图上采点法采集目标的位置；而GPS定位采集法十分费时，需要逐个亲身到达采集点进行定位采集，有些难以驻足的地方，例如被沙土堆包围的工地，水洼地等，将无法使用GPS。

本发明在采集同一地块的多个角点时，若各角点间通视正常，则只需定位一次即可。传统方法每定位一个点耗时t(s)，定位n个点总耗时T＝nt(s)。本方法定位基准点耗时t(s)，设立m个基准点，照准n个定位点后总耗时T＝mt(s)。即总耗时与定位点数无关，与基准点个数有关,若照准点间通视正常，则只需设立一个基准点，即m＝1。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于增强现实技术的地理信息显示方法，其特征在于，包括：

建立手机三维坐标系，将手机和待显示地物的经纬度坐标映射到手机三维坐标系中，根据三维坐标系中的手机坐标和地物坐标生成用于旋转地物标签的旋转矩阵，绘制地物标签并利用所述旋转矩阵旋转地物标签至地物标签的平面法线方向指向手机所在位置；

调用OpenGL的绘制函数利用绘制矩阵D在手机上绘制地物标签，包括以下步骤：

步骤1，设置绘制坐标系朝向；

步骤2，绘制标签；

步骤3，绘制标签图像；

基于下式将经纬度坐标映射为手机三维坐标系：

X＝cos(B)×cos(L)×H

Y＝cos(B)×sin(L)×H

Z＝sin(B)×H

式中，(X，Y，Z)是手机三维坐标系下的坐标，B、L、H是经纬度坐标中的经度、纬度和高程；

所述旋转矩阵通过以下步骤获得：

地物距离计算子步骤，基于下式计算地物A与手机C的距离L,

根据旋转矩阵构造绘制矩阵D如下：

根据旋转矩阵构造绘制矩阵如下：

其中，P为比例因子，P＝Lt/L，Lt为常数。

2.根据权利要求1所述的一种基于增强现实技术的地理信息显示方法，其特征在于，所述Lt取值为300。