CN101833896B - 基于增强现实的地理信息指引方法与系统 - Google Patents

Abstract

本发明公开了一种基于增强现实的地理信息指引方法与系统，主要解决现有地图形式的地理信息指引方法直观性不强，需要识别地理方向的问题。其指引方法是：首先，从不同角度采集若干幅图像，经过视觉几何计算，确定目标空间点在规定的初始像平面上的投影坐标；其次，根据目标空间点在初始像平面上的投影坐标和相机的实时角度信息，经过视觉几何计算，准确确定目标空间点在实时视频中的坐标；然后，在实时视频中目标空间点所在位置叠加虚拟地理信息，通过视频处理将虚拟地理信息与视频中的真实场景融合，使得目标更加形象和直观，也更易于人们识别。本发明具有所提供的地理信息指引直观有效的优点，适用于各种需要地理信息指引的场所。

Description

基于增强现实的地理信息指引方法与系统

技术领域

本发明属于信息处理技术领域，涉及地理信息指引方法与系统，可用于需要地理信息指引的场所。

技术背景

增强现实(AR，Augmented Reality)是利用虚拟物体对真实场景进行现实增强的技术，它是基于摄像头等采集器件采集到的真实物理环境，通过将文本、二维图像和三维模型等虚拟生成的信息标注在显示屏所显示的真实物理环境中的物体上，从而实现对用户身处的现实物理环境的注释和说明。增强现实技术给用户一种虚拟对象与现实环境两相融合的体验，它能有效地帮助用户认知周围环境，增添周围环境的信息。

地理信息系统GIS，是利用电子计算机及其外部设备，采集、存储、分析和描述整个或部分地球表面与空间信息系统。简单地讲，它是在一定的地域内，将地理空间信息和一些与该地域地理信息相关的属性信息结合起来，达到对地理和属性信息的综合管理。如果利用GIS提供的数据的地理属性，就可以将这些数据分层、分类叠加在电子地图上，并且在地图对象与数据库属性数据建立连接关系，通过GIS就可以轻松实现地图与数据库的双向查询。

传统的地理信息系统虽然结合数据库可以给用户提供方便快捷的查询手段，但其表现形式还主要限于在地图上标注，存在有如下缺点：

1、平面的地图显示不够直观，只适用于经常看地图的人群。

2、通过平面地图查找必须首先识别地理方向，但是对于很多人来说，在陌生的地方不借助其他工具或外界因素，准确的辨别方向并不是容易的事情。

3、对于商场、政府办公楼、学校教学楼等大型建筑物的细节地理信息指引缺乏表现手段。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于增强现实的地理信息指引方法与系统，以使用户通过实时视频不需辨别方向就可直观有效地认知周围环境，并且可以提供大型建筑物的细节地理信息。

为实现上述目的，本发明提供的基于增强现实的地理信息指引系统，包括：

相机平台，用于安放相机、提供角度信息和视频信息；

角度采集与平台控制单元，用于采集角度、传送平台控制指令和从视频信息中分离帧同步信号；

计算机，用于发送平台控制指令和处理视频数据；

所述相机平台，将采集的实时视频信息传送至计算机和角度采集与平台控制单元；

所述角度采集与平台控制单元，从视频信息中分离帧同步信号，将采集到的角度信息通过串口发送至计算机，并把接收到的平台控制指令传送给相机平台；

所述计算机，将平台控制指令传送至角度采集与平台控制单元，以控制相机平台的转动方向和转动角度。

为实现上述目的，本发明提供的基于增强现实的地理信息指引方法，包括如下步骤：

(1)求出所有目标空间点的初始投影坐标：

(1a)选定旋转角度0度和俯仰角度0度为相机初始位置；旋转角度从0度开始，每隔30度进行一组图像采集，每组三次，分别在俯仰角度为60度、0度、和-60度时采集图像，获取每帧图像对应的旋转角度信息和俯仰角度信息；通过采集36帧图像，覆盖旋转角度0到360度，俯仰角度正负90度之间的空间范围；

(1b)对于要找的目标空间点A，在36帧中任选一帧含有目标空间点A的图像，在选定的帧图像上找到目标空间点，并获得目标空间点在此帧中的投影坐标X′，设此帧对应的旋转角度为θ，俯仰角度为η，通过下式求出从初始位置到旋转角度为θ，俯仰角度为η的旋转矩阵R：

$R=\left(\begin{array}{ccc}\cos \left(\mathrm{\θ}\right)& 0& \sin \left(\mathrm{\θ}\right)\\ 0& 1& 0\\ -\sin \left(\mathrm{\θ}\right)& 0& \cos \left(\mathrm{\θ}\right)\end{array}\right)\·\left(\begin{array}{ccc}\cos \left(\mathrm{\η}\right)& \sin \left(\mathrm{\η}\right)& 0\\ -\sin \left(\mathrm{\η}\right)& \cos \left(\mathrm{\η}\right)& 0\\ 0& 0& 1\end{array}\right);$

(1c)根据R得出从初始角度到当前角度两帧图像之间的单应性矩阵H：

H＝KRK^-1

式中，K为相机的内参数，该参数包括相机的焦距、主点在像平面上的位置和歪斜因子；

(1d)根据单应性矩阵H和目标空间点在此帧中的投影坐标X′，计算出目标空间点A的初始投影坐标X：

X＝H^-1X′；

(1e)重复步骤(1b)至步骤(1d)，求出所有目标空间点的初始投影坐标；

(2)建立目标空间点的初始投影坐标与要叠加到该目标空间点的虚拟地理信息之间的对应关系；

(3)从角度采集与平台控制单元获得到当前角度信息，并根据当前角度信息和目标空间点初始投影坐标，计算目标空间点的当前投影坐标；

(4)获得当前视频帧的高和宽，根据目标空间点当前投影坐标判断它是否在当前视频显示范围内，若不在则放弃此点，若在则进行步骤(5)；

(5)对处在当前视频显示范围内的目标空间点进行虚拟地理信息的叠加，得到含有虚拟地理信息的视频帧；

(6)将含有虚拟地理信息的视频帧输出给显示屏显示。

本发明与现有技术相比，具有如下优点：

1)本发明由于采用事先采集的36帧图像覆盖以相机光心为中心，旋转角度0到360度，俯仰角度正负90度之间的空间范围，使此范围内的目标均可叠加虚拟地理信息，从而将地理信息的指引扩展到整个立体空间而不仅仅限于平面；

2)本发明基于相机角度和目标点初始投影坐标计算当前投影坐标，并在相应位置叠加虚拟地理信息实现增强现实，因而不需要借助具有特殊性质的标志物就能实现增强现实；

3)本发明将虚拟地理信息与视频中的真实场景相融合，使用户看到的视频画面仿佛在真实的地面上标注出道路信息，在真实的建筑上标注出建筑信息，这些虚拟地理信息使得目标更加形象和直观，使用户不需辨别方向就可有效地认知周围环境；

4)本发明可按照用户的需要，显示所有地理信息或仅显示用户感兴趣某一类地理信息；

5)本发明还可以方便的添加虚拟广告。

附图说明

图1是本发明的系统组成方框图；

图2是本发明的方法流程图；

图3是本发明以空间点为目标的虚拟信息叠加原理图；

图4是本发明以空间平面为目标的虚拟信息叠加原理图；

图5是以空间点为目标叠加虚拟信息前后的对比视频截图；

图6是以空间平面为目标叠加虚拟信息前后的对比视频截图。

具体实施方式

参照图1，本发明的系统主要由相机平台、角度采集与平台控制单元和计算机组成。其中：

相机平台，由相机、云台和两个绝对光电码盘组成，相机安放在位置固定的云台上，光心位置固定，可进行0度到360度旋转运动和正负90度的俯仰运动，相机将采集的实时视频数据传送至计算机和角度采集与平台控制单元，两个绝对光电码盘，分别提供相机的旋转角度和俯仰角度。

角度采集与平台控制单元，由单片机、串口和同步信号分离芯片组成，同步信号分离芯片从视频信息中分离出帧同步信号，并将其传给单片机，单片机以帧同步信号作为角度采集的触发信号，从而确保视频的每一帧和角度信息一一对应，单片机将采集到的角度信息通过串口发送到计算机。

计算机，通过给单片机发送平台控制指令控制相机平台的转动方向和转动角度，并负责处理视频数据，即根据视频信息和其对应的角度信息对视频进行相应的虚拟地理信息叠加处理，并将处理完成的视频输出给显示屏显示。

参照图2，本发明的方法包括以下步骤：

步骤1，确定目标空间点的初始投影坐标。

1a)为了计算目标空间点的初始投影坐标，选定旋转角度0度和俯仰角度0度为相机初始位置；旋转角度从0度开始，每隔30度进行一组图像采集，每组三次，分别在俯仰角度为60度、0度、和-60度时采集图像，获取每帧图像对应的旋转角度信息和俯仰角度信息；通过采集36帧图像，覆盖旋转角度0到360度，俯仰角度正负90度之间的空间范围；

1b)对于要找的目标空间点A，在36帧中任选一帧含有目标空间点A的图像，在选定的帧图像上找到目标空间点，并获得目标空间点在此帧中的投影坐标X′，设此帧对应的旋转角度为θ，俯仰角度为η，通过下式，求出从初始位置到旋转角度为θ，俯仰角度为η的旋转矩阵R：

$R=\left(\begin{array}{ccc}\cos \left(\mathrm{\θ}\right)& 0& \sin \left(\mathrm{\θ}\right)\\ 0& 1& 0\\ -\sin \left(\mathrm{\θ}\right)& 0& \cos \left(\mathrm{\θ}\right)\end{array}\right)\·\left(\begin{array}{ccc}\cos \left(\mathrm{\η}\right)& \sin \left(\mathrm{\η}\right)& 0\\ -\sin \left(\mathrm{\η}\right)& \cos \left(\mathrm{\η}\right)& 0\\ 0& 0& 1\end{array}\right);$

1c)根据R得出从初始角度到当前角度两帧图像之间的单应性矩阵H：

H＝KRK^-1

式中，K为相机的内参数，包括相机的焦距、主点在像平面上的位置和歪斜因子；

1d)根据单应性矩阵H和目标空间点在此帧中的投影坐标X′，计算出目标空间点A的初始投影坐标X：

X＝H^-1X′；

1e)重复步骤1b)至步骤1d)，求出所有目标空间点的初始投影坐标。

步骤2，建立目标空间点的初始投影坐标与要叠加到该目标空间点的虚拟地理信息之间的对应关系。

步骤3，确定目标空间点的当前投影坐标。

3a)把相机当前的旋转角度θ₂、俯仰角度η₂代入下式，求出从初始位置到旋转角度为θ₂，俯仰角度为η₂的旋转矩阵R₂：

$R_2=\left(\begin{array}{ccc}\cos \left({\mathrm{\θ}}_2\right)& 0& \sin \left({\mathrm{\θ}}_2\right)\\ 0& 1& 0\\ -\sin \left({\mathrm{\θ}}_2\right)& 0& \cos \left({\mathrm{\θ}}_2\right)\end{array}\right)\·\left(\begin{array}{ccc}\cos \left({\mathrm{\η}}_2\right)& \sin \left({\mathrm{\η}}_2\right)& 0\\ -\sin \left({\mathrm{\η}}_2\right)& \cos \left({\mathrm{\η}}_2\right)& 0\\ 0& 0& 1\end{array}\right);$

3b)将旋转矩阵R₂代入下式，求出从初始角度到当前角度两帧图像之间的单应性矩阵H₂：

H₂＝KR₂K^-1

式中，K为相机的内参数，包括相机的焦距、主点在像平面上的位置和歪斜因子；

3c)根据单应性矩阵H₂和目标空间点的初始投影坐标X，求出当前投影坐标X₂：

X₂＝H₂X。

步骤4，根据目标空间点当前投影坐标判断它是否在当前视频显示范围内，具体包括以下步骤：

4a)获得当前视频帧的高H和宽W；

4b)设目标空间点当前投影坐标的横纵坐标分别为x，y，若x≤W且y≤H则判定目标空间点在当前视频显示范围内，否则判定为不在当前视频显示范围内。

步骤5，虚拟地理信息的叠加。

若判断当前投影坐标在视频的显示范围内，则在当前投影坐标处对目标进行虚拟地理信息的叠加，虚拟地理信息以图片的形式叠加在实时视频上，叠加方式分为以空间点为目标的叠加方式和以空间平面为目标的叠加方式。

图3示出了以空间点为目标的叠加方式：其中A帧是初始位置时的视频帧，B帧是当前角度的视频帧，小矩形A B C D代表要叠加的虚拟图片，该虚拟图片的叠加起点为目标点A，A点在初始位置时的坐标为X，在当前角度下B帧中的坐标为X′，以此X′点为偏移量用虚拟图片的像素逐个代替视频中相应位置的像素，从而完成叠加，图5a是未叠加虚拟图片信息时的视频截图，图5b和图5c是叠加虚拟图片信息后的效果图，从图5可见，随着相机的转动，目标在视频中位置发生变化，所叠加的虚拟图片位置随着目标位置的变化发生相同的变化，虚拟地理信息清晰准确的标注在建筑物上，效果如同在真实的建筑物上标出建筑物名字一样。

图4示出了以空间平面为目标的叠加方式：其中A帧是初始位置时的视频帧，B帧是当前角度的视频帧，虚拟图片要叠加到空间点A、B、C和D所在的面区域，相同的空间点在B帧中的投影点为A′、B′、C′和D′，在A帧中以A点为起点，用虚拟图片的像素逐个代替视频中相应位置的像素完成虚拟图片的叠加。

在B帧中沿包含A′、B′、C′和D′的最小矩形框进行搜索，对搜索范围内的每一个像素点求取其在初始帧中对应的点，如B帧中点F′，其初始帧对应点为F，对于在搜索框内但不在四边形A′B′C′D′范围内的点F′，其初始像平面对应点为F必然不在A B C D的范围内，所以放弃此点；对于在四边形A′B′C′D′范围内的点G′，其初始像平面对应点G必然在A B C D范围内，将B帧中G′点的像素用初始像平面中虚拟图片对应点G点的像素代替。同理，四边形A′B′C′D′范围内的每一个像素点都能在四边形A B C D中找到相应的点，从而完成所有像素的替换。

图6a是未叠加虚拟图片信息时的视频截图，图6b和图6c是叠加虚拟图片信息后的效果图。从图6可见，在路面和建筑物墙面上叠加虚拟图片，随着相机角度的变化，路面和建筑物墙面的形状在视频中是会变化的，而所叠加虚拟图片的形状做出了相同的变化，效果如同在真实的路面和墙面上贴着地理指引信息一样，这样可以增强真实感和立体感。

步骤6，将处理完成的视频结果输出给显示屏显示。

Claims (5)

1.一种基于增强现实的地理信息指引系统，包括：

相机平台，用于安放相机、提供角度信息和视频信息，它由相机、云台和两个绝对光电码盘组成，相机安放在位置固定的云台上，光心位置固定，进行0度到360度旋转运动和正负90度的俯仰运动，相机将采集的实时视频数据传送至计算机和角度采集与平台控制单元，两个绝对光电码盘，分别提供相机的旋转角度和俯仰角度；

角度采集与平台控制单元，用于采集角度信息、传送平台控制指令和从视频信息中分离帧同步信号，它由单片机、串口和同步信号分离芯片组成，同步信号分离芯片从视频信息中分离出帧同步信号，并将其传给单片机，单片机以帧同步信号作为角度采集的触发信号，以确保视频的每一帧和角度信息一一对应，单片机将采集到的角度信息通过串口发送到计算机；

计算机，用于发送平台控制指令和处理视频数据；

所述相机平台，将采集的实时视频信息传送至计算机和角度采集与平台控制单元；

所述角度采集与平台控制单元，从视频信息中分离帧同步信号，将采集到的角度信息通过串口发送至计算机，并把接收到的平台控制指令传送给相机平台；

所述计算机，将平台控制指令传送至角度采集与平台控制单元，以控制相机平台的转动方向和转动角度。

2.一种基于增强现实的地理信息指引方法，包括如下步骤：

(1)求出所有目标空间点的初始投影坐标：

1a)选定旋转角度0度和俯仰角度0度为相机初始位置；旋转角度从0度开始，每隔30度进行一组图像采集，每组三次，分别在俯仰角度为60度、0度、和-60度时采集图像，获取每帧图像对应的旋转角度信息和俯仰角度信息；通过采集36帧图像，覆盖旋转角度0到360度，俯仰角度正负90度之间的空间范围；

1b)对于要找的目标空间点A，在36帧中任选一帧含有目标空间点A的图像，在选定的帧图像上找到目标空间点，并获得目标空间点在此帧中的投影坐标X′，设此帧对应的旋转角度为θ，俯仰角度为η，通过下式求出从初始位置到旋转角度为θ，俯仰角度为η的旋转矩阵R：

$R=\left(\begin{array}{ccc}\cos \left(\mathrm{\θ}\right)& 0& \sin \left(\mathrm{\θ}\right)\\ 0& 1& 0\\ -\sin \left(\mathrm{\θ}\right)& 0& \cos \left(\mathrm{\θ}\right)\end{array}\right)\·\left(\begin{array}{ccc}\cos \left(\mathrm{\η}\right)& \sin \left(\mathrm{\η}\right)& 0\\ -\sin \left(\mathrm{\η}\right)& \cos \left(\mathrm{\η}\right)& 0\\ 0& 0& 1\end{array}\right);$

1c)根据R得出从初始角度到当前角度两帧图像之间的单应性矩阵H：

H＝KRK^-1

式中，K为相机的内参数，该参数包括相机的焦距、主点在像平面上的位置和歪斜因子；

1d)根据单应性矩阵H和目标空间点在此帧中的投影坐标X′，计算出目标空间点A的初始投影坐标X：

X＝H^-1X′；

1e)重复步骤1b)至步骤1d)，求出所有目标空间点的初始投影坐标；

(2)建立目标空间点的初始投影坐标与要叠加到该目标空间点的虚拟地理信息之间的对应关系；

(3)从角度采集与平台控制单元获得当前角度信息，并根据当前角度信息和目标空间点初始投影坐标，按如下步骤计算目标空间点的当前投影坐标：

3a)把相机当前的旋转角度θ₂、俯仰角度η₂代入下式，求出从初始位置到旋转角度为θ₂，俯仰角度为η₂的旋转矩阵R₂：

$R_2=\left(\begin{array}{ccc}\cos \left({\mathrm{\θ}}_2\right)& 0& \sin \left({\mathrm{\θ}}_2\right)\\ 0& 1& 0\\ -\sin \left({\mathrm{\θ}}_2\right)& 0& \cos \left({\mathrm{\θ}}_2\right)\end{array}\right)\·\left(\begin{array}{ccc}\cos \left({\mathrm{\η}}_2\right)& \sin \left({\mathrm{\η}}_2\right)& 0\\ -\sin \left({\mathrm{\η}}_2\right)& \cos \left({\mathrm{\η}}_2\right)& 0\\ 0& 0& 1\end{array}\right);$

3b)将旋转矩阵R₂代入下式，求出从初始角度到当前角度两帧图像之间的单应性矩阵H₂：

H₂＝KR₂K^-1

式中，K为相机的内参数，包括相机的焦距、主点在像平面上的位置和歪斜因子；

3c)根据单应性矩阵H₂和目标空间点的初始投影坐标X，求出当前投影坐标X₂：

X₂＝H₂X；

(4)获得当前视频帧的高和宽，根据目标空间点当前投影坐标判断它是否在当前视频显示范围内，若不在则放弃此点，若在则进行步骤(5)，

所述的根据目标空间点当前投影坐标判断它是否在当前视频显示范围内，包括以下步骤：

4a)获得当前视频帧的高H和宽W；

4b)设目标空间点当前投影坐标的横纵坐标分别为x，y，若x≤W且y≤H则判定目标空间点在当前视频显示范围内，否则判定为不在当前视频显示范围内；

(5)对处在当前视频显示范围内的目标空间点采用以空间点为目标的叠加方式和以空间平面为目标的叠加方式进行虚拟地理信息的叠加，得到含有虚拟地理信息的视频帧；

(6)将含有虚拟地理信息的视频帧输出给显示屏显示。

3.根据权利要求2所述的基于增强现实的地理信息指引方法，其中步骤(5)所述的以空间点为目标的叠加方式，包括以下步骤：

5a)获得此点的当前投影坐标；

5b)以此坐标为偏移量，用虚拟图片的像素逐个代替当前视频帧中相应位置的像素，从而完成叠加。

4.根据权利要求2所述的基于增强现实的地理信息指引方法，其中步骤(5)所述的以空间平面为目标的叠加方式，包括以下步骤：

5a’)设此平面区域为四边形，四边形的四个顶点在初始像平面上的投影点为A、B、C和D，在当前像平面上的投影点为A′、B′、C′和D′；在当前视频帧中沿包含A′、B′、C′和D′的最小矩形框进行搜索，对搜索范围内的每一个像素点求取其在初始像平面上的初始投影坐标；

5b’)判断其初始投影坐标是否在初始像平面A、B、C和D四点所组成的四边形区域内，若在则用此初始投影坐标处虚拟图片的像素代替当前视频帧中现有像素，反之则放弃此点，从而完成叠加。

5.根据权利要求2所述的基于增强现实的地理信息指引方法，其中步骤(2)所述的虚拟地理信息，包括道路信息和建筑信息，该建筑信息包括酒店信息、餐馆信息、商店信息、学校信息和盥洗室信息。

Images