CN103578141A - 基于三维地图系统的增强现实实现方法及装置 - Google Patents

Abstract

本发明公开了一种基于三维地图系统的增强现实实现方法及装置，用以提高三维地图系统的信息与现实场景中存在物叠加位置的准确性，其中，所述基于三维地图系统的增强现实实现方法，包括：获取移动终端摄像头的实测地理位置方向参数；将所述实测地理位置方向参数转换为三维地图系统坐标系下的地图位置方向参数；调用基于移动终端摄像头的实测成像参数获得的视锥透视参数及所述地图位置方向参数，显示三维地图系统中的增强现实信息。

Description

基于三维地图系统的增强现实实现方法及装置

技术领域

本发明涉及信息处理技术领域，尤其涉及基于三维地图系统的增强现实实现方法及装置。

背景技术

增强现实（AR，Augmented Reality）是利用虚拟物体对真实场景进行现实增强的技术。增强现实保留用户实际所处的环境作为用户的主要感知和交互环境，通过将文本、二维图形、三维模型等虚拟生成的信息标注在显示屏上所显示的用户实际所处环境中的物体上，从而实现对用户所处的环境的注释、说明，或者增强现实环境的效果。比如，用户带上专用的增强现实显示眼镜，亲身到某博物馆参观，其在观看某个文物时，他不仅可以看到文物及其周围环境本身，还可以看到通过增强现实技术附加的对该文物的介绍信息。

随着AR实现方式的不断丰富，目前出现了基于三维地图系统实现的AR应用。该应用如图1所示，用户开启移动终端摄像头并将该摄像头对准现实环境，此时，用户移动终端屏幕会显示当前现实场景中的存在物（如建筑物、街道等），同时由于安装在移动终端上的三维地图系统中记录有这些存在物的增强性、说明性或描述性信息，比如建筑物的名称、建筑物中的商家信息等等，因此，用户移动终端屏幕上不仅显示有当前现实场景中的存在物，还会显示这些存在物的说明性、描述性或增强性的信息，这使得用户能够方便、快捷地知道现实场景存在物更多更丰富的信息，为用户带来新的增强现实的应用体验。

基于三维地图系统实现的AR应用，现有技术，一般是通过现实场景的经纬度位置和三维地图系统的虚拟摄像机的摄像头水平方向，将三维地图系统的增强现实信息叠加在现实场景中，但是，由于三维地图系统和现实场景之间的对应关系非常复杂，仅考虑上述因素，无法使三维地图系统和现实场景精确匹配，从而导致三维地图系统的信息叠加在现实场景中存在物上的位置不准确，无法带给用户良好的用户体验。

发明内容

本发明实施例提供的基于三维地图系统的增强显示实现方法及装置，用以提高三维地图系统的信息与现实场景中存在物叠加位置的准确性。

本发明实施例提供一种基于三维地图系统的增强显示实现方法，包括：

获取移动终端摄像头的实测地理位置方向参数；

将所述实测地理位置方向参数转换为三维地图系统坐标系下的地图位置方向参数；

调用基于移动终端摄像头的实测成像参数获得的视锥透视参数及所述地图位置方向参数，显示三维地图系统中的增强现实信息。

本发明实施例提供一种基于三维地图系统的增强现实实现装置，包括：

获取单元，用于获取移动终端摄像头的实测地理位置方向参数；

转换单元，用于将所述实测地理位置方向参数转换为三维地图系统坐标系下的地图位置方向参数；

获得单元，用于基于移动终端摄像头的实测成像参数获得的视锥透视参数；

调用单元，用于调用所述获得单元获得的视锥透视参数及所述地图位置方向参数，显示三维地图系统中的增强现实信息。

本发明实施例提供的基于三维地图系统的增强现实实现方法及装置，首先将移动终端摄像头的实测地理位置方向参数转换为三维地图系统坐标系下的地图位置方法参数，并根据移动终端设备头的实测成像参数确定三维地图系统的视锥透视参数，这样，使得三维地图系统成像与移动终端摄像头成像重合，保证了三维地图系统成像能够与现实场景场景精确匹配，进而在移动终端摄像头成像画面上叠加三维地图系统中的增强现实信息时，保证了增强现实信息准确地叠加在了其在现实场景中对应的存在物上，带给用户更好的用户体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为现有技术中，增强现实应用示意图；

图2为本发明实施例中，基于三维地图系统的增强现实实现方法实施流程示意图；

图3为本发明实施例中，移动终端的摄像头成像原理示意图；

图4为本发明实施例中，视锥透视参数包含的各个参数的物理含义描述示意图；

图5为本发明实施例中，直角三角形示意图；

图6为本发明实施例中，等腰三角形示意图；

图7为本发明实施例中，增强现实应用示意图；

图8为本发明实施例中，基于三维地图系统的增强现实实现装置的结构示意图。

具体实施方式

为了提高三维地图系统与现实场景的匹配精确度，进而提高三维地图系统中的增强现实信息与现实场景中的存在物叠加位置的准确性，本发明实施例提供一种基于三维地图系统的增强显示实现方法及装置。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图2所示，为本发明实施例提供的基于三维地图系统的增强显示实现方法的实施流程示意图，包括以下步骤：

S201、获取移动终端摄像头的实测地理位置方向参数；

其中，实测地理位置方向参数可以但不限于为描述移动终端摄像头所处的位置点、摄像头正前方（视轴方向）某一位置点以及其正上方（与视轴垂直方向）某一位置点的地理位置方向参数。

目前，由于越来越多的移动终端上配置了GPS（全球定位系统）和三轴陀螺仪，因此，硬件上能够支持对移动终端摄像头的地理位置方向参数的测量，从而，本发明实施例中，可以从移动终端上直接获取移动终端摄像头每一点对应的地理位置方向参数。其中，每一点对应的地理位置方向参数可以采用三维坐标（β，λ，H）进行描述，其中，β是该点的纬度，λ是该点的经度，H是该点的海拔高度。假设移动终端摄像头所处的位置点、摄像头正前方某一位置点以及其正上方某一位置点对应的地理位置方向参数分别为（β₁,λ₁,H₁)、（β₂,λ₂,H₂)和（β₃,λ₃,H₃)。

S202、将获取的实测地理位置方向参数转换为三维地图系统坐标系下的地图位置方向参数；

具体实施时，将表示每一点对应的地理位置方向参数的三维坐标（β₁,λ₁,H₁)、（β₂,λ₂,H₂)和（β₃,λ₃,H₃)转化为三维地图系统坐标系下的坐标，即可得到移动终端摄像头在三维地图系统坐标系下的地图位置方向参数。

以三维地图系统坐标系为笛卡尔坐标为例，将表示每一点对应的地理位置方向参数的三维坐标分别代入笛卡尔坐标系转换公式中，即可得到该点在三维地图系统坐标系下对应的地图位置方向参数。

具体实施时，由于地球是一个椭球体，其在笛卡尔坐标系中表示为：

其中，a表示地球在水平方向上的赤道半径（沿x轴）；b表示地球在垂直方向上的赤道半径（沿y轴）；c表示地球极半径。

本发明实施例中，可以按照以下公式将表示获取的地理位置方向参数的三维坐标转换为三维地图系统坐标系下对应的坐标：

假设某一位置点三维坐标为（β，λ，H)，其中，β的取值范围为（-90°~90°），λ的取值范围为（-180°~180°），则该位置点在三维地图系统坐标系下对应的坐标（x,y,z)为：x＝(H+a)cosβcosλ；y＝(H+b)cosβsinλ；z＝(H+c)sinβ。

基于此，本发明实施例中，将表示移动终端摄像头所在的位置点的三维坐标（β₁,λ₁,H₁)转换为三维地图系统坐标系下的坐标（x₁,y₁,z₁)，其中，x₁＝(H₁+a)cosβ₁cosλ₁；y₁＝(H₁+b)cosβ₁sinλ₁；z₁＝(H₁+c)sinβ₁；将表示移动终端摄像头正前方某一位置点的三维坐标（β₂,λ₂,H₂)转换为三维地图系统坐标系下的坐标（x₂,y₂,z₂)，其中，x₂＝(H₂+a)cosβcosλ₂；y₂＝(H₂+b)cosβ₂sinλ₂；z₂＝(H₂+c)sinβ₂；将表示移动终端摄像头正上方某一位置点对应的三维坐标（β₃,λ₃,H₃)转换为三维地图系统坐标系下的坐标（x₃,y₃,z₃)，其中，x₃＝(H₃+a)cosβ₃cosλ₃；y₃＝(H₃+b)cosβ₃sinλ₃；z₃＝(H₃+c)sinβ₃。

经过上述过程，可以得到移动终端摄像头的实测地理位置方向参数在三维地图系统坐标系下对应的地图位置方向参数分别为：（x₁,y₁,z₁)，（x₂,y₂,z₂)，（x₃,y₃,z₃)。

S203、调用基于移动终端摄像头的实测成像参数获得的视锥透视参数及所述地图位置方向参数，显示三维地图系统中的增强现实信息；

其中，在本发明实施例中，视锥透视参数可以是预先计算并在程序中写死的数值，也可以是基于移动终端摄像头的实测成像参数实时计算得到的数值。在研发人员清楚知道移动终端型号的情况下，可以采用预先计算视锥透视参数并在程序中写死该数值的方法；在研发人员不清楚移动终端型号的情况下，可以采用允许用户输入移动终端摄像头的实测成像参数，由基于用户输入实时计算视锥透视参数的方法，这种情况下，在步骤203之前还需要进一步包括：接收用户输入的移动终端摄像头的实测成像参数的步骤。

在将摄像头实测地理位置方向参数转换为三维地图系统坐标系下的地图位置方向参数之后，为了使得三维地图系统的信息与现实场景精确匹配，还需要确定三维地图系统所采用的视锥透视模型的视锥透视参数，同样的物体，当视锥透视参数设置不一致时，最终成像也不同，因此，只有三维地图系统所采用的视锥透视模型中的视锥透视参数与移动终端摄像头的实测成像参数一致，才能保证将三维地图系统成像与移动终端摄像头实时获得的成像重合，从而提高了三维地图系统与现实场景的匹配精度，进而将三维地图系统中的增强现实信息叠加在摄像头成像画面上时，保证了增强现实信息准确地叠加在了其在现实场景中对应的存在物上，从而提高叠加位置的准确性。为了确定三维地图系统的视锥透视参数，首先需要确定移动终端的实测成像参数。

本发明实施例中，可以对移动终端摄像头进行实际测量得到其实测成像参数并输入到三维地图系统中，即对摄像头的成像参数进行标定。具体的，如图3所示，其为移动终端的摄像头成像原理示意图，其中，w为移动终端屏幕的宽度，h为移动终端屏幕的高度；s为移动终端摄像头到被观测物体的距离；L被观测物体在摄像头屏幕中的成像高度。具体实施时，被测物体可以是任意物体，为了便于测量，以被测物体为尺子为例，通常来说，移动终端的屏幕长度h和宽度w是固定的，在实际测量时，移动终端的摄像头与尺子之间的距离s可以进行调整，本实施例中，以s为固定值为例，找一个足够长的尺子，这样，尺子在屏幕中成像后能够通过读取尺子上的刻度差获知该尺子在移动终端摄像头屏幕中实际成像高度L；具体实施时，也可以固定尺子在移动终端摄像头屏幕中实际成像高度为整个尺子的长度，通过调整s使得尺子完整的成像于移动终端屏幕内，即在竖直方向充满屏幕，并确定此时移动终端的摄像头与尺子之间的垂直距离s。

在获得了移动终端摄像头的实测成像参数w，h，s，L之后，可以利用预设算法将w，h，s，L转换为三维地图系统采用的视锥成像模型的视锥透视参数。不同方式实现的三维地图系统成像的视锥透视参数不同，但具体实施时，可以通过已知数学算法进行转换。

本发明实施例中，以三维地图系统采用基于OpenGL方式实现为例进行说明。基于OpenGL方式实现的三维地图系统，其视锥透视参数设置接口为：gluPerspective（fovy，aspect，zNear，zFar）。如图4所示，为视锥透视参数包含的各个参数的物理含义描述示意图，各参数的物理含义如下：fovy表示视锥透视模型的透视角θ，aspect表示视锥透视模型成像屏幕宽高比，zNear表示观测点到成像屏幕的距离near，zFar表示观测点到被观测物体的距离far。所述观测点是指移动摄像头的虚拟人眼所处位置点，并非观测者实际所处位置点。

基于此，本发明实施例中，可以按照以下方法将移动终端摄像头的实测成像参数转化为三维地图系统采用的视锥透视模型的视锥透视参数：

根据公式2*arctg((L-h)/(2*s))确定透视角；

根据公式w/h确定三维地图系统成像屏幕宽度与高度的比值；

根据公式s*h/(L-h)确定观测点到成像屏幕距离；根据公式s*L/(L-h)确定观测点到被观测物体的距离。

以下以确定视锥透视模型的透视角和观测点到成像屏幕的距离为例进行说明，如图4所示的示意图中，存在图5所示的直角三角形，根据该直角三角形，可以得到：从而进行等式变换后，能够确定透视角为2*arctg((L-h)/(2*s))；而图4所示的示意图中，还存在图6所示的相似三角形，从而能够得到：

通过等式变换，能够确定观测点到成像屏幕的距离为s*h/(L-h)；同理，能够出确定观测点到被观测物体距离，这里不再赘述。

这样，在增强现实应用中，可以将三维地图系统观测点位置参数配置为根据移动终端摄像头的实测地理位置方向参数，同时将三维地图系统采用的视锥成像模型的视锥透视参数配置为根据移动终端摄像头实测成像参数获得的视锥透视参数，从而能够使得三维地图系统成像与移动终端摄像头成像重合，提高了三维地图系统成像与现实场景的匹配精确度，进而在移动终端摄像头成像画面上叠加三维地图系统中的信息时，使得叠加信息位置更加准确。

以采用OpenGL实现三维地图系统为例，其观测点位置参数配置接口为gluLookAt(x₁,y₁,z₁,x₂,y₂,z₂,x₃,y₃,z₃)，对应的视锥透视模型的透视参数配置接口为gluPerspective（2*arctg((L-h)/(2*s))，w/h，s*h/(L-h)，s*L/(L-h)）。如图7所示，为根据本发明实施例提供的基于三维地图系统的增强现实实现方法实现的增强现实应用示意图，图7中目的地和点位信息的位置更加清晰准确。

基于同一发明构思，本发明实施例中还提供了一种基于三维地图系统的增强现实实现装置，由于上述装置解决问题的原理与基于三维地图系统的增强现实实现方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图8所示，为本发明实施例提供的基于三维地图系统的增强现实实现装置的结构示意图，包括：

获取单元801，用于获取移动终端摄像头的实测地理位置方向参数；

转换单元802，用于将获取单元801获取的实测地理位置方向参数转换为三维地图系统坐标系下的地图位置方向参数；

获得单元803，用于基于移动终端摄像头的实测成像参数获得的视锥透视参数；

调用单元804，用于调用获得单元803获得的视锥透视参数及地图位置方向参数，显示三维地图系统中的增强现实信息。

具体实施时，若三维地图系统坐标系为笛卡尔坐标系，则转换单元802可以用于将获取单元801获取的实测地理位置方向参数代入笛卡尔坐标系坐标转换公式，得到地图位置方向参数。

具体实施时，笛卡尔坐标系坐标转换公式为：x＝(H+a)cosβcosλ；y＝(H+b)cosβsinλ；z＝(H+c)sinβ；其中：（x,y,z)是摄像头的地图位置方向参数；（λ，β，H）是摄像头的实测地理位置方向参数，其中，H是海拔高度；β是纬度；λ是经度；a是地球在水平方向上的赤道半径；b是地球在垂直方向上的赤道半径；c是地球极半径。

具体实施时，实测成像参数包括：移动终端屏幕宽度w和高度h，移动终端摄像头到被观测物体的距离s，被观测物体在摄像头屏幕中的成像高度L；视锥透视参数包括：透视角，移动终端屏幕宽高比，观测点到移动终端屏幕的距离，观测点到被观测物体的距离，则获得单元803可以用于根据公式2*arctg((L-h)/(2*s))，得到视锥透视参数中的透视角；根据公式w/h，得到视锥透视参数中的移动终端屏幕宽高比；根据公式s*h/(L-h)，得到视锥透视参数中的观测点到移动终端屏幕的距离；根据公式s*L/(L-h)，得到视锥透视参数中的观测点到被观测物体的距离。

需要说明的是，本发明实施例中涉及的观测点是指移动摄像头的虚拟人眼所处位置点，并非观测者实际所处位置点。

具体实施时，视锥透视参数可以是预先计算并在程序中写死的数值，也可以是基于移动终端摄像头的实测成像参数实时计算得到的数值。在研发人员清楚知道移动终端型号的情况下，可以采用预先计算视锥透视参数并在程序中写死该数值的方法；在研发人员不清楚移动终端型号的情况下，可以采用允许用户输入移动终端摄像头的实测成像参数，由基于用户输入实时计算视锥透视参数的方法，从而，基于三维地图系统的增强现实实现装置，还可以包括：

接收单元，用于接收用户输入的移动终端摄像头的实测成像参数。

本发明实施例提供的三维地图系统视锥成像模型成像参数确定方法及装置，由于利用现实摄像机的位置方向参数以及现实摄像机的透视参数来确定三维地图系统中观测点的位置参数以及透视参数，使得三维地图系统的虚拟数据与现实摄像机成像实时匹配，从而实现将三维地图系统的虚拟数据精确补充到现实场景中；同时，由于三维地图系统本身能够根据数据空间遮挡关系进行显示，从而使得三维地图系统与现实场景融合后，所标识的虚拟数据位置更加精确。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于三维地图系统的增强现实实现方法，其特征在于，所述方法包括：

获取移动终端摄像头的实测地理位置方向参数；

将所述实测地理位置方向参数转换为三维地图系统坐标系下的地图位置方向参数；

调用基于移动终端摄像头的实测成像参数获得的视锥透视参数及所述地图位置方向参数，显示三维地图系统中的增强现实信息。

2.如权利要求1所述的方法，其特征在于，所述三维地图系统坐标系为笛卡尔坐标系，则将所述实测地理位置方向参数转换为三维地图系统坐标系下的地图位置方向参数具体包括：

将所述实测地理位置方向参数代入笛卡尔坐标系坐标转换公式，得到地图位置方向参数。

3.如权利要求2所述的方法，其特征在于，所述笛卡尔坐标系坐标转换公式为：

x＝(H+a)cosβcosλ；

y＝(H+b)cosβsinλ；

z＝(H+c)sinβ；

其中：（x,y,z)是摄像头的地图位置方向参数；（λ，β，H）是摄像头的实测地理位置方向参数，其中，H是海拔高度；β是纬度；λ是经度；a是地球在水平方向上的赤道半径；b是地球在垂直方向上的赤道半径；c是地球极半径。

4.如权利要求1至3所述的任一项方法，其特征在于，所述实测成像参数包括：移动终端屏幕宽度w和高度h，移动终端摄像头到被观测物体的距离s，被观测物体在摄像头屏幕中的成像高度L；所述视锥透视参数包括：透视角，移动终端屏幕宽高比，观测点到移动终端屏幕的距离，观测点到被观测物体的距离，则基于移动终端摄像头的实测成像参数获得视锥透视参数具体包括：

根据公式2*arctg((L-h)/(2*s))，得到视锥透视参数中的透视角；

根据公式w/h，得到视锥透视参数中的移动终端屏幕宽高比；

根据公式s*h/(L-h)，得到视锥透视参数中的观测点到移动终端屏幕的距离；

根据公式s*L/(L-h)，得到视锥透视参数中的观测点到被观测物体的距离。

5.如权利要求4所述的方法，其特征在于，所述方法进一步包括：

接收用户输入的移动终端摄像头的实测成像参数。

6.一种基于三维地图系统的增强现实实现装置，其特征在于，包括：

获取单元，用于获取移动终端摄像头的实测地理位置方向参数；

转换单元，用于将所述实测地理位置方向参数转换为三维地图系统坐标系下的地图位置方向参数；

获得单元，用于基于移动终端摄像头的实测成像参数获得的视锥透视参数；

调用单元，用于调用所述获得单元获得的视锥透视参数及所述地图位置方向参数，显示三维地图系统中的增强现实信息。

7.如权利要求6所述的装置，其特征在于，所述三维地图系统坐标系为笛卡尔坐标系；以及

所述转换单元，具体用于将所述实测地理位置方向参数代入笛卡尔坐标系坐标转换公式，得到地图位置方向参数。

8.如权利要求7所述的装置，其特征在于，所述笛卡尔坐标系坐标转换公式为：x＝(H+a)cosβcosλ；y＝(H+b)cosβsinλ；z＝(H+c)sinβ；其中：（x,y,z)是摄像头的地图位置方向参数；（λ，β，H）是摄像头的实测地理位置方向参数，其中，H是海拔高度；β是纬度；λ是经度；a是地球在水平方向上的赤道半径；b是地球在垂直方向上的赤道半径；c是地球极半径。

9.如权利要求6、7或8所述的装置，其特征在于，所述实测成像参数包括：移动终端屏幕宽度w和高度h，移动终端摄像头到被观测物体的距离s，被观测物体在摄像头屏幕中的成像高度L；所述视锥透视参数包括：透视角，移动终端屏幕宽高比，观测点到移动终端屏幕的距离，观测点到被观测物体的距离；以及

所述获得单元，具体用于根据公式2*arctg((L-h)/(2*s))，得到视锥透视参数中的透视角；根据公式w/h，得到视锥透视参数中的移动终端屏幕宽高比；根据公式s*h/(L-h)，得到视锥透视参数中的观测点到移动终端屏幕的距离；根据公式s*L/(L-h)，得到视锥透视参数中的观测点到被观测物体的距离。

10.如权利要求9所述的装置，其特征在于，还包括：

接收单元，用于接收用户输入的移动终端摄像头的实测成像参数。

Images