CN102123194B - 利用增强实景技术优化移动导航和人机交互功能的方法 - Google Patents

利用增强实景技术优化移动导航和人机交互功能的方法 Download PDF

Info

Publication number
CN102123194B
CN102123194B CN201010508373.1A CN201010508373A CN102123194B CN 102123194 B CN102123194 B CN 102123194B CN 201010508373 A CN201010508373 A CN 201010508373A CN 102123194 B CN102123194 B CN 102123194B
Authority
CN
China
Prior art keywords
mobile client
data
user
mobile
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010508373.1A
Other languages
English (en)
Other versions
CN102123194A (zh
Inventor
袁泉
王清
Original Assignee
张哲颖
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 张哲颖 filed Critical 张哲颖
Priority to CN201010508373.1A priority Critical patent/CN102123194B/zh
Publication of CN102123194A publication Critical patent/CN102123194A/zh
Application granted granted Critical
Publication of CN102123194B publication Critical patent/CN102123194B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种利用增强实景技术优化移动导航和人机交互功能的方法:手机用户根据GPS导航功能模块和罗盘模块来确定手机取景框当前地理位置和X/Y/Z方向,通过手机相机取景框界面实现增强实景技术来导航和提供人机交互功能。手机系统为用户提供一系列预先定义的多媒体信息,用户像在电子地图标注一样,直接通过手机客户端在当前位置附近范围内添加标注到物理目标三维空间位置。手机系统上传标注位置和方位,加上标注类型和相关数据到后台服务器。其他用户可以通过手机、PC或其他平台访问。本发明支持三维空间位置的信息透视显示。并且本发明根据移动设备的移动性,采用增强实景技术主动提醒用户满足用户设定条件的数字信息。

Description

利用增强实景技术优化移动导航和人机交互功能的方法
技术领域
本发明涉及手机导航及人机交互领域,具体涉及一种利用移动设备及增强实景技术优化移动导航和人机交互功能的方法。
背景技术
移动设备比如手机开始普及内置GPS卫星导航模块和电子罗盘模块。其功能主要用于导航和指引当前设备方向。传统移动设备导航是依据二维或三维地图加上标注来指引目的地或兴趣点(热点)。这种方法的弊端是地图不可能和真实环境一样,导致用户理解误差或不实用。一种新型显示模式在其他领域已经存在,叫增强实景(augmented reality)或增强现实技术,该技术的传统原理是通过透视眼镜或头戴式小型显示器来标注现实数字信息对应到当前用户眼前观看的物理对象,但该技术一直未能应用到移动设备(例如手机)上,也就无法利用该增强实景技术来实现更好的导航和人机交互应用。
发明内容
本发明克服了现有技术的不足,提供一种利用增强实景技术优化移动导航和人机交互功能的方法,通过使用该方法可以更好的实现导航和人机交互应用。
为解决上述的技术问题,本发明采用以下技术方案:
一种利用增强实景技术优化移动导航和人机交互功能的方法,包括以下步骤:
1)移动客户端根据内置或外部传感器得知当前地理位置和方向,同时读取预先用户设定的查询过滤条件(比如距离范围,信息种类)和其他实时数据(比如拍摄的当前目标图像或录像);
2)移动客户端连接网路到远端服务器,提交地理位置和方向数据,并且附带过滤条件及其他实时数据;
3)服务器端的空间搜索引擎根据接收到的移动客户端的数据包含的位置和方向信息,结合附带的匹配或过滤条件及实时数据搜寻满足条件的场景数据,再返回给移动客户端;
4)移动客户端将服务器返回的场景数据进行空间投影计算和按照空间位置距离映射到照相机取景框二维位置并且融合显示到当前照相机拍摄的实时帧里,同时显示相对于移动设备的左右水平和直线距离数值以指示用户导航;客户端每次上下左右前后角度移动设备的时候,移动客户端根据传感器最新数据实时重新计算最新数据并且更新在当前帧里,同时更新实时左右水平和直线距离;在客户端根据设备位置更新数据时候不需要向服务器端发送请求,移动客户端可用图标来显示简单场景数据,然后采用人机交互的方式来显示详细场景数据;
5)客户端支持人机交互的方式来修改和添加新的场景数据,移动客户端根据用户在相机取景框内按照目标轮廓计算空间位置并且确定目标地理位置,移动客户端同时获取传感器的具体方向和高度或由用户自定义传感器的具体方向和高度;移动客户端连接网路或通过移动短信SMS服务上传多媒体信息数据包,包含目标地理位置,空间方向和高度,到远端服务器的空间数据管理模块,生成新的场景数据,以达到标注该目标的目的。
更一步的技术方案是:
所述的移动客户端还提供静态相机照片或动态相机视频关键帧的模式识别技术,以更加精确定位和定向移动客户端当前地理位置和空间位置,而服务器则采用图片对比技术来修正移动客户端的地理位置,相机取景方向和角度。
所述的步骤3)中搜索引擎搜索满足条件的场景数据时,既包括在本地数据库进行基于地理三维空间的规则和不规则和附加多
关键词索引搜索,还包括通过三方数据聚合接口向第三方数据提供商实时发送基于地理空间位置的查询请求并等待结果,然后搜索引擎将在本地数据库和第三方数据供商提供的数据汇总,按照地理位置排序并返回给客户端。
所述的本地数据库中的场景数据包括移动客户端和服务器创建的场景数据,和第三方数据供应商预先存储的场景数据,第三方数据供应商可以根据服务区提供的第三方编程接口得到授权许可码来提供额外基于地理三维空间位置的数据通道,第三方直接向服务器添加和修改授权的场景数据。
所述的移动设备是带照相功能的手机或上网本或平板电脑,该设备具有卫星定位功能和电子罗盘的传感器。
所述的和移动客户端和服务器端的数据交换都采用数据安全传输模式,比如但是不限于,采用访问密钥和签名来来效验用户和保护客户隐私。
移动客户端的传感器利用GPS定位模块来确定经度纬度,利用电子罗盘传感器来确定设备当前x/y/z轴方向,根据移动设备的取景框来校对具体方位和水平的绝对偏差,如果移动客户端支持触摸屏用户可以点击选择浏览热点和场景详细信息,如果移动客户端不支持解摸屏则采用设备选择按钮浏览热点和场景详细信息.
所述的移动客户端和服务器为用户提供预先定义的多媒体场景信息,场景信息一般按类别分类以便以后分类显示;类别是常规热点类别加子类别和热点集合;标注信息以地理空间三维坐标为一个空间点组合成一个完整空间数据模型,该模型支持静态和动态数字信息:静态信息包括用户定义的个性文字、2D图片、3D模型;动态信息包括不定期和定期改变内容的数据类型,包括但不限于,天气预报、公交车信息等逻辑上联系于地理空间位置包括经纬度,高度和方向;用户可以通过移动客户端和服务器操作界面添加和修改场景信息;当通过移动客户端操作场景数据时候,地理位置可以是当前移动设备位置或是目标真实地理位置;目标真实地理位置是通过手动设定直线距离或自动估算目标地理位置相对于当前移动设备的直线距离。
移动设备的系统上传标注位置和方位,加上标注类型和相关数据存放到服务器端,用户可以通过服务器程序接口访问,或直接通过手机、PC或其它平台软件结合二维地图查看和重现二维三维场景数字模型;并且计算导航路径;多个场景数据可以指向同一地理位置但是采用空间层来划分不同场景数据但是指向同一或非常相近地理位置。
所述的移动客户端接近一定直线距离内用户事先设定的符合匹配和过滤条件的场景数据时,移动设备给用户提供多界面模式提示,包括声音提醒和设备震动,用户选中具体数据后移动客户端自动打开移动设备的相机开始预览,用户水平移动设备以获取相应传感器方向数据来查看数据,在用户设定有效距离内满足条件的场景数据模型通过真强实景方式显示在当前相机取景框预览图像上;同时显示导航提示路径和距离参考界面在相机取景框预览图上指引用户到达目标位置;移动客户端以一省电模式运行在设备后台,当从后台接受到服务器推送的场景和其他提醒信息,可以调用主程序进入正常运行模式并且打开相机取景框运行实景模式来显示接受到的数据。
与现有技术相比,本发明的有益效果是:基于三维空间位置和方向的特殊信息发布和聚合平台,该平台支持同步和非同步基于位置的第三方数据整合,同时提供基于空间物理位置的二维和三维信息查询.特殊信息是一种基于一个或多个有序的数据描述,并且支持超链接的多层(平面)的空间数据结构。
客户端采用增强实景技术根据移动设备的空间距离计算位置投影(projection)来达到特殊显示效果,比如根据空间数据结构分层显示。
并且本发明根据移动设备的移动性,可以主动提醒满足用户预先设定条件的数字信息,客户端以一最小模式运行在后台(省电),当从后台接受到推送的信息,可以调用主程序进入正常运行模式并且运新实景模式来显示数据和当前方向的位移(偏差)。
移动客户端同时允许直接在手机屏幕上添加多媒体信息绑定到三维物理目标位置,方向和高度。
附图说明
图1为本发明方法的流程图;
图2为本发明移动客户端工作流程图;
图3为本发明服务器端工作流程图;
图4为移动客户端提醒的工作流程图。
具体实施方式
下面结合附图对本发明作进一步阐述。
首先谈谈在本发明中涉及到的一些概念。
1.热点(Point of Interest,POI):基于一特定地理位置的二维和三维地理空间位置数据描述。该数据包括文字和其他多媒体数据,以及Internet超连接(URI)。
2.场景数据(Scene):包含一个或多个热点的描述一地理范围的空间数据。场景可以理解为一组零到多热点集合数据(A scene is a setof POIs)。
3.空间层:可以理解为空间层包括零到多个场景。
如图1所示,一种利用移动设备及增强实景技术优化移动导航和人机交互功能的方法,包括以下步骤:
1)移动客户端(可以是带照相功能的手机或上网本或平板电脑)根据内置或外部传感器得知当前地理位置和方向,同时读取预先用户设定的查询过滤条件(比如距离范围,信息种类)和其他实时数据,比如拍摄的当前目标图像或录像。
2)移动客户端连接网路到远端服务器,提交地理位置和方向数据,并且附带过滤条件及其他实时数据;
3)服务器端的空间搜索引擎根据接收到的移动客户端的位置和方向,结合附带的匹配或过滤条件及其他实时数据搜寻满足条件的场景数据,再返回给移动客户端;在本步骤中,搜寻时即包括在本地数据库进行基于地理三维空间的规则和不规则和附加多关键词索引搜索,还包括通过三方数据聚合接口向第三方数据提供商实时发送基于地理空间位置的查询请求并等待结果,然后搜索引擎将在本地数据库和第三方数据供商提供的数据汇总、按照地理位置排序并返回给客户端;本地数据库中的场景数据主要包括两部分:由移动客户端和服务器建立和管理;和以及第三方数据供应商通过第三方开放编程接口提供授权获得授权码,第三方直接向服务器添加和修改地理三维空间位置的场景数据;
4)移动客户端将服务器返回的场景数据进行空间计算和按照空间位置距离映射到照相机取景框二维位置并且融合显示到当前照相机拍摄的实时帧里,同时显示相对于移动设备的距离数值以方便用户导航,客户端支持人机交互的方式来查看、修改和添加场景数据;同时显示相对于移动设备的左右水平和直线距离数值以指示用户导航;客户端每次上下左右前后角度移动设备的时候,移动客户端根据传感器最新数据实时重新计算最新数据并且更新在当前帧里,同时更新实时左右水平和直线距离;在客户端根据设备位置更新数据时候不需要向服务器端发送请求,移动客户端可用图标来显示场景数据,然后采用人机交互的方式来显示场景消息数据;
5)客户端支持人机交互的方式来修改和添加新的场景数据,移动客户端根据用户在相机取景框内按照目标轮廓计算空间位置并且确定目标地理位置,移动客户端同时获取传感器的具体方向和高度或由用户自定义传感器的具体方向和高度;客户端上网或通过短信上传多媒体信息数据包,包含目标地理位置,空间方向和高度,到远端服务器的空间数据管理模块,生成新的场景数据,以达到标注该目标的目的。
移动客户端还可以提供加静态相机照片或动态相机视频关键帧的模式识别技术,以更加精确定位和定向和移动客户端当前地理位置和空间位置,而服务器则采用图片对比技术来修正移动客户端的地理位置和空间位置。
在上述的移动客户端和服务器端的数据交换中都采用数据安全传输模式比如但是不限于,采用访问密钥和签名来来效验用户和保护客户隐私。
在上述步骤中移动客户端的传感器利用GPS导航模块来确定经度纬度,利用罗盘模块来确定x/y/z轴方向,根据移动设备的取景框来校对具体方位和水平的绝对偏差,如果移动客户端支持触摸屏用户可以点击选择浏览热点和场景详细信息,如果移动客户端不支持解摸屏则采用设备选择按钮浏览热点和场景详细信息。
移动客户端和服务器为用户提供预先定义的多媒体场景信息,场景信息一般按类别分类以便以后分类显示;类别是常规热点类别加子类别和热点集合;标注信息以地理空间三维坐标为一个空间点组合成一个完整空间数据模型,该模型支持静态和动态数字信息:静态信息包括用户定义的个性文字、2D图片、3D模型;动态信息包括不定期和定期改变内容的数据类型,包括但不限于,天气预报、公交车信息等逻辑上联系于地理空间位置包括经纬度,高度和方向;用户可以通过移动客户端和服务器操作界面添加和修改场景信息;当通过移动客户端操作场景数据时候,地理位置可以是当前移动设备位置或是目标真实地理位置;目标真实地理位置是通过手动设定直线距离或自动估算目标地理位置相对于当前移动设备的直线距离。标注信息一般按类别分类以便以后分类显示。类别可以是常规热点(POI)类别加子类别(级数不限),和热点集合。标注信息以地理空间三维坐标为一个空间点组合成一个完整空间数据模型.
移动设备的系统上传标注位置和方位,加上标注类型和相关数据存放到服务器端,用户可以通过服务器程序接口访问,或直接通过手机、PC或其它平台软件结合二维地图查看和重现二维三维场景数字模型;并且计算导航路径;多个场景数据可以指向同一地理位置但是采用空间层来划分不同场景数据但是指向同一或非常相近地理位置。
所述的移动客户端接近一定直线距离内用户事先设定的符合匹配和过滤条件的场景数据时,移动设备给用户提供多界面模式提示,包括声音提醒和设备震动,用户选中具体数据后移动客户端自动打开移动设备的相机开始预览,用户水平移动设备以获取相应传感器方向数据来查看数据,在用户设定有效距离内满足条件的场景数据模型通过真强实景方式显示在当前相机取景框预览图像上;同时显示导航提示路径和距离参考界面在相机取景框预览图上指引用户到达目标位置;移动客户端以一省电模式运行在设备后台,当从后台接受到服务器推送的场景和其他提醒信息,可以调用主程序进入正常运行模式并且打开相机取景框运行实景模式来显示接受到的数据。
图2所示为移动客户端的工作运行流程图,
1.打开移动客户端相机,相机开始准备传输捕获的实时帧。
2.打开卫星定位模块,获取当前设备地理位置。
3.打开设备电子罗盘模块,获取当前设备X/Y/Z方向和偏移数据。
4.控制显示模块查询当时地理位置和方向,读取用户预先设定条件,打开网路通讯模块,向服务器发送查询请求。
5.控制显示模块根据返回的场景数据,计算数据的地理位置相对于当前设备地理位置和方向,计算投影并且叠加当前获取的相机帧发送到显示屏幕。
6.设备设定满足条件后通过语音和震动提醒。
7.本地缓存模块存储最近服务器返回数据以提高整体效率、和存储相关查询条件和相机捕获的帧图像和录像。
图3为服务器的工作运行流程图,其具体步骤为:
1.服务器WEB模块提供标准REST接口方式相应答复客户端请求和安全授权管理。
2.空间查询引擎根据REST接口获得的条件创建二维或三维查询指令到场景空间元数据库,同时根据移动客户端的条件或系统设定,发送查询请求通过第三方内容实时查询接口。
最后汇集结果生成元数据(metadata)通过Web接口返回给客户端。
3.客户端根据获得的元数据(metadata)请求下载真实多媒体二进制(binary)数据本身,根据客户端当前地理位置,数据存储模块获取场景多媒体数据通过WEB接口返回给客户端。
6.基于地理位置的分布式数据存储提高访问效率。原理是根据数据和访问的密度存储在不同的集群存储节点里。每一存储节点负责一组地理位置的数据。
7.实时调用第三方内容服务器获取地理位置相关数据。
8.提供服务器数据库(元数据库和分布式集群存储)的访问接口给第三方程序(内容服务器或程序)。第三方程序可以随时添加和修改场景数据。
图4为移动客户端提醒流程图,由于比较简单就不详细叙述了。
具体来说,通过上述方法,用户手机在口袋里,当接近一处位置,手机提示(震动或其他方式)用户附近有用户预先设定的感兴趣的事件或其他相关类别的场景数据,用户打开照相机取景框环绕查看,在用户设定有效距离内相关事件、建筑或任意物体显示在当前相机取景框之上或采用其他常见显示方式。
用户可以事先或实时定义匹配条件和有效距离,也可以动态根据当前地方特点,比如城市或乡村来自动调节匹配距离。匹配条件和距离决定了查询结果的多少。
提醒事件包括场景数据,也包括所有从服务器端传来的带地理空间位置的其他类别的信息,比如在增强实景模式下显示带位置的其他用户公开信息以显示其偏移位置和相对距离。
移动客户端可以自定义位置发布类型:附近,街道和城市。这样在不同类型下移动客户端不需要随时向服务器端发布地理位置。移动客户端只需要发布初始位置一次。当移动客户端位置超出初始位置以后才向服务器端发布跟新位置数据。位置发布类型由系统统一定义,但是也支持用户自己定义的特殊类型。
服务器定期或每次当有场景数据添加和改变到服务器,检查客户端条件,如果满足条件,服务器主动发送提醒数据到移动客户端。
多个场景可以指向统一地理位置或有一个到多个位置点组合成为一地理区域.这时候,服务器和移动客户端可以采用多层空间数据结构来划分来管理场景数据.数据结构可以决定导航的次序和方向.
当多个地理位置构成区域时候,区域空间可以以规则几何图形和任意几何图形成为一个面或层来划分多个场景数据.不同场景数据可以映射到统一地理位置或地理区域,但是有不同层号.几何图形的大小可以以一基本单位(比如10米,或者略大于设备GPS最小精度)为基数。
本发明的目的及提出的方法在下列较佳实施例中详细说明,但本发明的概念也可用于其它范围。以下列举的实施例仅用于说明本发明的目的与执行方法,并非用以限制其范围。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
实施例1:实景信息发布与检索
·用户预先设定感兴趣的检索事物(比如,逛街购物、办事机构、乘车提示,等等)或定制所需获取的发布信息(比如,突发事件、天气预报、好友互动,等等)。当用户接近某处位置,手机提示用户附近有用户预设的感兴趣的检索事物;当服务器有用户预定的发布信息,自动发送到用户手机。
·用户可以打开手机照相机取景框环绕查看,在用户设定有效距离内相关事件、建筑或任意物体显示在当前相机取景之上。
·实景信息检索示例:
a)用户逛街前预设某物品在特定区域内的打折过滤条件,在逛街中如果遇到符合条件的打折物品就提示用户,用户可以打开照相机取景框环绕查看物品所在位置。
b)用户出门前预设某办事机构在特定区域内的搜索过滤条件,在行进中如果遇到符合条件的机构就提示用户,用户可以打开照相机取景框环绕查看机构所在位置。
·c)用户乘坐公交车时预设某到达车站的提示条件,当车行进至接近该车站时提醒用户。
·实景信息发布示例:
a)政府可以通过服务平台发布灾害性天气和突发事件预警。
b)用户预定天气预报在特定区域内发布信息,当进入特定区域时提醒用户。
c)用户预设接收指定好友基于地理位置的信息(比如:留言、微博、心情、虚拟礼物等等),当进入有该好友信息的区域时提醒用户。
·实施例优点:
a)涉及民生,社会效益明显。
b)用户自定义接收内容和条件,避免用户对接收无用信息的反感。
实施例2:实景儿童智力教育游戏
·家长在实景空间预设或放置基于地理位置的二维和三维虚拟物品和人物,并设计游戏进程;孩子通过手机照相机取景框搜寻或查看虚拟物,在户外玩游戏并根据结果获得不同虚拟奖励。
·用户可能感兴趣的虚拟物品:人物、动物、植物、宝藏、几何体、算数题、问题、唐诗和儿歌,等等。
·实景儿童智力教育游戏示例:
a)在居住小区花园或公园,家长藏匿孩子已知或希望孩子认知的事物或回答的题目;孩子边玩耍边寻找这些东西,根据完成情况打分。
b)根据同样的方法,可以设计出比如实景寻宝、实景捉迷藏、实景养宠物和种植物,等智力教育游戏。
·实施例优点:
a)寓教于乐,充分体现增强实景的优势,避免儿童沉溺传统游戏而影响身心健康,实现游戏与户外活动完美结合。
b)当找不到同龄孩子玩耍时,任能在户外同虚拟人物一起做游戏。
实施例3:好友虚拟现实场景互动
·用户在实景空间预设或放置基于地理位置的二维和三维虚拟物品和人物,并设计场景发展进程;好友通过手机照相机取景框查看虚拟现实场景。
·以截图和视频录像的形式保存虚拟现实场景影像,并可立即通过手机上传社交网站或直接发给好友。
·虚拟物品和人物的选择应根据特定人群的喜好和流行趋势随时更新。
·用户可能感兴趣的虚拟物品:热门人物、卡通人物、历史人物、动物、搞笑事物、网络流行事件,等等。
·好友虚拟现实场景互动示例:
a)如果用户想在节假日或纪念日送对方特殊礼物,可以用虚拟三维饰物布置一个房间或一处有纪念意义的场所,也可以在特定地点(比如学校、办公室、约会地,等等)预先放置特殊礼物,然后通知对方去实地领取礼物或当对方到达实地附近时提醒对方领取,不用破费就能给对方制造不同寻常的惊喜效果。可储存场景影像供日后回味或与好友共享。
b)根据用户的心情和喜好制作幽默快照,相当于在实景环境中随时随地PS相片,并可储存场景影像上传社交网站或直接发给好友。
·实施例优点:
a)涉及年轻玩家。
b)对特定人群有很大吸引力,满足年轻人猎奇的心理。

Claims (10)

1.一种利用增强实景技术优化移动导航和人机交互功能的方法,其特征在于包括以下步骤:
1)移动客户端根据内置或外部传感器得知当前地理位置和方向,同时读取预先用户设定的查询过滤条件和其他实时数据;
2)移动客户端连接网路到远端服务器,提交地理位置和方向数据,并且附带过滤条件及其他实时数据;
3)服务器端的空间搜索引擎根据接收到的移动客户端的数据包含的位置和方向信息,结合附带的过滤条件及实时数据搜寻满足条件的场景数据,再返回给移动客户端;
4)移动客户端将服务器返回的场景数据进行空间投影计算和按照空间位置距离映射到照相机取景框二维位置并且融合显示到当前照相机拍摄的实时帧里,同时显示相对于移动客户端的左右水平和直线距离数值以指示用户导航;客户端每次上下左右前后角度移动客户端的时候,移动客户端根据传感器最新数据实时重新计算最新数据并且更新在当前帧里,同时更新实时左右水平和直线距离;在客户端根据移动客户端位置更新数据时候不需要向服务器端发送请求,移动客户端用图标来显示简单场景数据,然后采用人机交互的方式来显示详细场景数据;
5)移动客户端支持人机交互的方式来修改和添加新的场景数据,移动客户端在相机取景框内按照目标轮廓计算空间位置并且确定目标地理位置,移动客户端同时获取传感器的具体方向和高度或由用户自定义传感器的具体方向和高度;移动客户端通过移动短信SMS服务上传多媒体信息数据包,包含目标地理位置,空间方向和高度,到远端服务器的空间数据管理模块,生成新的场景数据,以达到标注该目标的目的。
2.根据权利要求1所述的利用增强实景技术优化移动导航和人机交互功能的方法,其特征在于:所述的移动客户端还提供静态相机照片或动态相机视频关键帧的模式识别技术,以更加精确定位和定向移动客户端当前地理位置和空间位置,而服务器则采用图片对比技术来修正移动客户端的地理位置,相机取景方向和角度。
3.根据权利要求1所述的利用增强实景技术优化移动导航和人机交互功能的方法,其特征在于:所述的步骤3)中搜索引擎搜索满足条件的场景数据时,即包括在本地数据库进行基于地理三维空间的规则和不规则轮廓搜索和附加多关键词索引搜索,还包括通过三方数据聚合接口向第三方数据提供商实时发送基于地理空间位置的查询请求并等待结果,然后搜索引擎将在本地数据库和第三方数据提供商提供的数据汇总,按照地理位置排序并返回给客户端。
4.根据权利要求3所述的利用增强实景技术优化移动导航和人机交互功能的方法,其特征在于:所述的本地数据库中的场景数据包括移动客户端和服务器创建的场景数据,和第三方数据提供商预先存储的场景数据,第三方数据提供商根据服务区提供的第三方编程接口得到授权许可码来提供额外基于地理三维空间位置的数据通道,第三方直接向服务器添加和修改授权的场景数据。
5.根据权利要求1所述的利用增强实景技术优化移动导航和人机交互功能的方法,其特征在于:所述的移动客户端是带照相功能的手机或上网本或平板电脑,该移动客户端具有卫星定位模块和电子罗盘传感器。
6.根据权利要求1所述的利用增强实景技术优化移动导航和人机交互功能的方法,其特征在于:所述移动客户端和服务器端的数据交换都采用数据安全传输模式来校验用户和保护客户隐私。
7.根据权利要求1所述的利用增强实景技术优化移动导航和人机交互功能的方法,其特征在于:移动客户端的传感器利用GPS定位模块来确定经度纬度,利用电子罗盘传感器来确定移动客户端当前x/y/z轴方向,根据移动客户端的取景框来校对具体方位和水平的绝对偏差,如果移动客户端支持触摸屏用户能够点击选择浏览热点和场景详细信息,如果移动客户端不支持触摸屏则采用移动客户端选择按钮浏览热点和场景详细信息。
8.根据权利要求1所述的利用增强实景技术优化移动导航和人机交互功能的方法,其特征在于:所述的移动客户端和服务器为用户提供预先定义的多媒体场景信息,场景信息按类别分类以便以后分类显示;类别是常规热点类别加子类别和热点集合;标注信息以地理空间三维坐标为一个空间点组合成一个完整空间数据模型,该模型支持静态和动态数字信息:静态信息包括用户定义的个性文字、2D图片、3D模型;动态信息包括天气预报、公交车信息;用户通过移动客户端和服务器操作界面添加和修改场景信息。
9.根据权利要求8所述的利用增强实景技术优化移动导航和人机交互功能的方法,其特征在于:多个场景数据能够指向同一地理位置但是采用空间层来划分不同场景数据。
10.根据权利要求1所述的利用增强实景技术优化移动导航和人机交互功能的方法,其特征在于:所述的移动客户端接近一定直线距离内用户事先设定的符合匹配和过滤条件的场景数据时,移动客户端给用户提供多界面模式提示,包括声音提醒和移动客户端震动,用户选中具体数据后移动客户端自动打开移动客户端的相机开始预览,用户水平移动客户端以获取相应传感器方向数据来查看数据,在用户设定有效距离内满足条件的场景数据模型通过增强实景方式显示在当前相机取景框预览图像上;同时显示导航提示路径和距离参考界面在相机取景框预览图上指引用户到达目标位置;移动客户端以一省电模式运行在移动客户端后台,当从后台接受到服务器推送的场景和其他提醒信息,以调用主程序进入正常运行模式并且打开相机取景框运行实景模式来显示接受到的数据。
CN201010508373.1A 2010-10-15 2010-10-15 利用增强实景技术优化移动导航和人机交互功能的方法 Expired - Fee Related CN102123194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010508373.1A CN102123194B (zh) 2010-10-15 2010-10-15 利用增强实景技术优化移动导航和人机交互功能的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010508373.1A CN102123194B (zh) 2010-10-15 2010-10-15 利用增强实景技术优化移动导航和人机交互功能的方法

Publications (2)

Publication Number Publication Date
CN102123194A CN102123194A (zh) 2011-07-13
CN102123194B true CN102123194B (zh) 2013-12-18

Family

ID=44251644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010508373.1A Expired - Fee Related CN102123194B (zh) 2010-10-15 2010-10-15 利用增强实景技术优化移动导航和人机交互功能的方法

Country Status (1)

Country Link
CN (1) CN102123194B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130328867A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Apparatus and method for providing augmented reality information using three dimension map
CN102694750A (zh) * 2012-06-12 2012-09-26 上海量明科技发展有限公司 即时通信中实景型天气数据的实现方法及系统
US9329678B2 (en) 2012-08-14 2016-05-03 Microsoft Technology Licensing, Llc Augmented reality overlay for control devices
US9466121B2 (en) * 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
CN103105993B (zh) * 2013-01-25 2015-05-20 腾讯科技(深圳)有限公司 基于增强现实技术实现互动的方法和系统
CN103107938A (zh) 2013-01-25 2013-05-15 腾讯科技(深圳)有限公司 信息交互方法、服务器及终端
CN103968824B (zh) 2013-01-28 2018-04-10 华为终端(东莞)有限公司 一种发现增强现实目标的方法及终端
CN103258350A (zh) * 2013-03-28 2013-08-21 广东欧珀移动通信有限公司 一种显示3d图像的方法及装置
JP6155953B2 (ja) * 2013-08-13 2017-07-05 カシオ計算機株式会社 情報通信装置、情報通信システム、情報通信方法及びプログラム
CN104683292B (zh) * 2013-11-26 2020-03-03 腾讯科技(北京)有限公司 对象之间的交互方法、装置及系统
CN103679506B (zh) * 2013-12-02 2018-04-24 小米科技有限责任公司 一种获取信息的方法、装置、终端及服务器
CN103752010B (zh) * 2013-12-18 2017-07-11 微软技术许可有限责任公司 用于控制设备的增强现实覆盖
CN103714157B (zh) * 2013-12-27 2017-07-18 深圳先进技术研究院 以便携式摄影设备对街景数据库进行更新的方法
CN103902788B (zh) * 2014-04-15 2017-08-08 北京百度网讯科技有限公司 电子地图图层绘制方法和装置
CN104748740A (zh) * 2014-05-14 2015-07-01 深圳视景文化科技有限公司 一种基于增强现实技术的导航方法、导航终端及导航系统
CN104596523B (zh) 2014-06-05 2019-05-07 腾讯科技(深圳)有限公司 一种街景目的地引导方法和设备
CN104464338A (zh) * 2014-11-04 2015-03-25 来安县新元机电设备设计有限公司 一种行车安全提醒的方法和系统
CN104504753B (zh) * 2014-12-18 2018-07-27 深圳先进技术研究院 一种基于增强现实的互联网三维ip地图系统及方法
CN105488846A (zh) * 2015-11-25 2016-04-13 联想(北京)有限公司 一种显示方法及电子设备
CN105550934A (zh) * 2015-12-03 2016-05-04 郭小虎 虚拟现实中微信软文的推送系统及方法
CN107038949A (zh) * 2016-02-03 2017-08-11 幸福在线(北京)网络技术有限公司 一种实景地图的生成方法、推送方法及其装置
CN106412831A (zh) * 2016-09-28 2017-02-15 努比亚技术有限公司 移动终端的定位装置、方法、移动终端和服务器
CN106331181B (zh) * 2016-11-09 2019-08-02 宇龙计算机通信科技(深圳)有限公司 一种虚拟公交站台的实现方法及装置
CN106899851A (zh) * 2016-12-31 2017-06-27 天脉聚源(北京)科技有限公司 电视节目中寻物互动的方法和装置
CN108629822A (zh) * 2017-03-15 2018-10-09 深圳瞬眼科技有限公司 一种ar获客平台
CN106951561B (zh) * 2017-03-31 2021-04-16 武汉大学 基于虚拟现实技术与gis数据的电子地图系统
CN106951570A (zh) * 2017-04-10 2017-07-14 厦门精图信息技术有限公司 基于气象卫星实时更新天气状况的vr地图系统
TWI642002B (zh) * 2017-04-14 2018-11-21 李雨暹 適地性空間物件可視範圍管理方法與系統
WO2018216537A1 (ja) * 2017-05-24 2018-11-29 古野電気株式会社 映像生成装置
CN107369208A (zh) * 2017-05-24 2017-11-21 深圳三维盘酷网络科技有限公司 一种三维模型的注释方法、注释系统以及计算机可读存储介质
CN108366899A (zh) * 2017-08-02 2018-08-03 深圳前海达闼云端智能科技有限公司 一种图像处理方法、系统以及智能导盲装置
WO2019058496A1 (ja) * 2017-09-22 2019-03-28 株式会社電通 表情記録システム
CN108234656B (zh) * 2018-01-04 2021-10-08 超元域(北京)科技有限公司 数据交互方法及系统
CN108362279B (zh) * 2018-01-08 2022-02-15 北京小米移动软件有限公司 基于增强现实技术ar的购物导航方法、装置及系统
CN109059901B (zh) * 2018-09-06 2020-02-11 深圳大学 一种基于社交应用的ar导航方法、存储介质及移动终端
CN109685899A (zh) * 2018-12-25 2019-04-26 成都四方伟业软件股份有限公司 三维可视化标注管理系统、方法和计算机存储介质
EP3726810B1 (en) * 2019-04-16 2023-12-06 ABB Schweiz AG System and method for interoperable communication of automation system components
CN110135376A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 确定图像传感器的坐标系转换参数的方法、设备和介质
CN110728720B (zh) * 2019-10-21 2023-10-13 阿波罗智能技术(北京)有限公司 用于相机标定的方法、装置、设备和存储介质
CN111599021A (zh) * 2020-04-30 2020-08-28 北京字节跳动网络技术有限公司 一种虚拟空间漫游指引方法、装置和电子设备
CN112068703B (zh) * 2020-09-07 2021-11-16 北京字节跳动网络技术有限公司 目标物体的控制方法、装置、电子设备及存储介质
CN113066193B (zh) * 2021-03-31 2021-11-05 泰瑞数创科技(北京)有限公司 一种用于在实景三维地图上增强现实的方法
CN113206910B (zh) * 2021-05-07 2022-02-01 山东大学 一种层次化可视交互系统、方法、设备及介质
CN114363687B (zh) * 2022-01-07 2023-11-24 深圳看到科技有限公司 三维场景互动视频创建方法及创建装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510913A (zh) * 2009-03-17 2009-08-19 山东师范大学 基于三维电子罗盘的智能手机增强现实系统及实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214111A1 (en) * 2007-12-21 2010-08-26 Motorola, Inc. Mobile virtual and augmented reality system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510913A (zh) * 2009-03-17 2009-08-19 山东师范大学 基于三维电子罗盘的智能手机增强现实系统及实现方法

Also Published As

Publication number Publication date
CN102123194A (zh) 2011-07-13

Similar Documents

Publication Publication Date Title
CN102123194B (zh) 利用增强实景技术优化移动导航和人机交互功能的方法
CN202043177U (zh) 利用增强实景技术优化移动导航和人机交互的系统设备
CN102792664B (zh) 计算设备上的语音动作
US9574899B2 (en) Systems and method for determination and display of personalized distance
US8675912B2 (en) System and method for initiating actions and providing feedback by pointing at object of interest
KR101213857B1 (ko) 가상 세계
KR101213868B1 (ko) 가상 세계
CN102754097B (zh) 用于呈现内容的第一人世界视图的方法和装置
US8812990B2 (en) Method and apparatus for presenting a first person world view of content
US20170255703A1 (en) Scalable visual search system simplifying access to network and device functionality
US20110238762A1 (en) Geo-coded comments in a messaging service
US20070233367A1 (en) Methods for Interaction, Sharing, and Exploration over Geographical Locations
CN101998236A (zh) 用于生成个性化地图的方法和系统
WO2010098938A2 (en) System and method for delivering sponsored landmark and location labels
WO2006127388A2 (en) Mapping method and system
CN102354284A (zh) 即时通信中用以设置地理对应信息的方法及系统
Hornecker et al. Technology in tourism: Handheld guide systems and museum technologies
Orehovački et al. Mobile location based service for location and presentation of cultural heritage objects and web 2.0 technologies
US20110208818A1 (en) Location Messaging System
DETAR MAPPING THE SPACE OF LOCATION-BASED SERVICES

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131218

Termination date: 20151015

EXPY Termination of patent right or utility model