CN104981850A - 地理定位虚拟环境的表示方法及移动设备 - Google Patents

地理定位虚拟环境的表示方法及移动设备 Download PDF

Info

Publication number
CN104981850A
CN104981850A CN201380072768.3A CN201380072768A CN104981850A CN 104981850 A CN104981850 A CN 104981850A CN 201380072768 A CN201380072768 A CN 201380072768A CN 104981850 A CN104981850 A CN 104981850A
Authority
CN
China
Prior art keywords
mobile device
vector
variable
layer
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380072768.3A
Other languages
English (en)
Inventor
马亚诺·阿方索·塞斯佩德斯·那伯纳
塞尔吉奥·冈萨雷斯·格劳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Manin Co Construcciones En Acero Inoxidable sLU
Original Assignee
Manin Co Construcciones En Acero Inoxidable sLU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Manin Co Construcciones En Acero Inoxidable sLU filed Critical Manin Co Construcciones En Acero Inoxidable sLU
Publication of CN104981850A publication Critical patent/CN104981850A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Abstract

本发明的目的是表示高质量矢量和纹理图形环境，包括，作为表示的基础，视频采集及矢量格式的图像和图形排序，由实施所述方法的移动设备的图像采集装置实现。此外，这一目的是通过将所述矢量图形环境置于预定地理位置中并使该表示依赖于移动设备(100)的真实地理定位执行。

Description

地理定位虚拟环境的表示方法及移动设备
本发明的目的是表示高质量矢量和纹理图形环境，包括，作为表示的基础，视频采集及矢量格式的图像和图形排序，由实施所述方法的移动设备的图像采集装置实现。此外，这一目的是通过将所述矢量图形环境置于预定地理位置中并使该表示依赖于移动设备的真实地理定位执行。
因此，本发明通过GPS技术、AGPS技术、WIFI技术、ISSP技术、陀螺仪、加速度计或任何其他等效装置结合了涉及虚拟现实(VR)、增强现实(AR)和地理定位的技术领域。
背景技术
必须理解的是，虚拟现实和增强现实自从出现后便几乎是紧密相关。1950年，Morton Heilig写到“体验剧场”，“体验剧场”可能以生动的方式伴有所有感官，在屏幕上将观看者和活动集成为一体。他于1962年构建了一个称为Sensorama的雏形和允许通过其感官(视觉、嗅觉、触觉和听觉)增强观看者体验的五个短片。
1968年，Ivan Sutherland在Bob Sproull的帮助下构建了被普遍认为是第一个头戴式虚拟现实和增强现实显示器(HMD)。就用户界面和现实主义而言，它是很原始的，用户使用的HMD体积非常大且沉重，以致必须悬挂在天花板上，并且制作虚拟环境的图形是简单的“金属丝模型”。在20世纪80年代末，JaronLanier因使虚拟这个名词现实一举成名，他的公司当时创造了第一副虚拟现实手套和眼睛。
1992年，名为Tom Caudell的研究员第一次提出增强现实这一名称。Caudell受雇于这家公司，负责找到工人使用的布线板的替代品。他提出了通用现实板上的专用眼镜和虚拟板这一概念。这让他产生了“增强”用户现实感的想法。
增强现实正处于最初的发展阶段并在一些领域成功实施，不过预计这种产品很快将大规模地出现在大众市场上。增强现实的基本思想是，实时地将图形、音频等叠加到现实环境上。虽然电视台几十年来一直致力于此，但他们用的是不随摄影机运动而调整的静止图像。
增强现实远优于电视上使用的，虽然增强现实的初始版本当前正在电视体育赛事中播放用于在屏幕上播出重要信息(例如赛车手的姓名)、有争议比赛的重播或主要用于显示广告。这些系统只显示来自一个观察点的图形。
增强现实发展中的一个要点是运动跟踪系统。从一开始到现在，增强现实由摄像机视场内标记或标记矢量支持，以致计算机有一个在其上重叠图像的参考点。这些标记由用户预先定义，可为视场内每个要叠加图像的专用象形图、简单的形状(例如画框)或仅仅是纹理。
现在的计算系统与上述的相比智能得多，并且能对简单的形状进行重组，例如地板、椅子、桌子、简单的几何形状(例如桌子上的手机)或甚至人体，跟踪系统能捕捉，例如，握紧的拳头并向其添加虚拟的花朵或激光军刀。
移动技术基本上彻底改变了增强现实的使用和需要。上一代移动设备的能力远远超过了以前的描述并使标记的地理定位成为可能，从而使增强现实和虚拟现实有了新的解释。
自从智能移动设备的出现和世界上大多数人因制造成本的降低和电话运营公司的支持都能用上这种设备，增强现实的使用便发生了很大变化。
现今，这些设备的增强现实潜力尚未充分开发，因为增强现实仅限于为它们开发的一些游戏、简单地理定位信息(小图标或标记)的重叠和上一代GPS导航仪(例如先锋)。
这些即用型增强现实提供商，例如(高通的)或GNU/GPL领域的和作为支付提供商的或毫无例外地全都使用公用增强现实库，例如OpenCv、ARToolKit或Atomic。
基于GPS位置数据的几乎所有导航仪此外还表示现实地理定位环境中的虚拟要素，它们使用球形墨卡托公式建立固定大小的网格并将定位的点定位在这些坐标网格上(以图像或矢量格式表示)。这些系统涉及从地理坐标网格提供商实时下载数据和使用其定位算法，由于要实时地使用很多内存和进程资源，这些要素的下载和表示大大地降低了性能。
最近有一些应用使用上述技术来表示真实环境中的虚拟要素，例如：
(http://www.layar.com)：集中于表示图标和指示社交网络中个人主页位置或商店、博物馆等预定位置的小矢量对象。Layar使用Google谷歌地图地理定位系统和提供的增强现实技术。
(http://www.armedia.it)：该增强现实提供商表示预定位置处的建筑物或旧建造物等复杂的矢量对象，但其表示质量与本发明提供的相比很差；它还使用Google谷歌地图技术进行要素的地理定位。
在所有所述技术和应用中，移动设备的硬件资源消耗均很高；若图像采集装置的使用与移动设备中GPS装置启用和中间复杂度的虚拟场景表示结合，性能呈指数降低。
本发明的一个实用目的是，获得一种能适应于参考框架中的任何移动设备的特性和特征来显示地理定位和高分辨率增强现实/虚拟现实，而不会降低移动设备性能的技术环境。
专利文件US2012293546描述了一种基于多个外部信号的地理定位系统和根据集成无线电和/或声信号的物理标记表示增强现实的系统。它与本发明系统在位置计算类型和表示增强现实所用标记的类型方面的差别是清楚定义的。本发明系统不使用基于球形墨卡托式坐标网格的位置计算法，也不使用物理标记表示增强现实。
专利文件US2012268493涉及用由一个或多个物理标记绘制的矢量图形表示增强现实并提出了节省设备硬件资源的解决方案。与本发明系统的差别是清楚定义的。本发明系统不使用物理标记表示增强现实，本发明提出的性能改进专用于确定框架内所有设备，而不是单个设备。
PCT专利申请WO 03/102893描述了移动设备的地理定位可通过基于替代通信网络的方法确定。它与本发明系统的差别是清楚的，本发明提出的位置计算类型基于以坐标网格为基础的位置计算法。本发明系统不使用基于球形墨卡托式坐标网格的位置计算法。
专利文件WO 2008/085443使用在搜索中通过射频发射器和接收器进行地理定位的方法以提高地理定位精确度。它与本发明系统的差别是清楚的，本发明提出的位置计算类型基于以坐标网格为基础的位置计算法。本发明系统不使用基于球形墨卡托式坐标网格的位置计算法。
最后，专利文件US 2012/0296564建立一个基于增强现实的广告内容导向和定位系统及通过射频或光学传感器等物理标记进行表示的方法。它与本发明系统在位置计算类型和表示增强现实所用标记的类型方面的差别是清楚定义的。本发明系统不使用基于球形墨卡托式坐标网格的位置计算法，也不使用物理标记表示增强现实。
因此，本发明要解决的技术问题就是，获得一种能适应于任何移动电话的特性和特征来显示地理定位和高分辨率增强现实/虚拟现实，而不会降低移动设备性能的技术环境。
发明内容
本发明的目的基于矢量图形环境的表示，包括，作为表示的基础，视频采集及矢量格式的图像和图形排序，由实施所述方法的移动设备的图像采集装置实现。此外，这一目的是通过将所述矢量图形环境置于预定地理位置中并使该表示依赖于移动设备的真实地理定位执行。达到该目标与达到其他两个目标相配：
i)移动设备不使用其他方提供的资源进行地理定位，例如：
a.GPS导航提供商；
b.地图和GPS标记提供商；
c.GPS导航网格提供商；
所有这些均不接到互联网式数据网络下载或直接使用上述资源。该系统使得能够通过移动设备提供的硬件(HW)的触摸屏或通信接口与表示的矢量图形直接交互。通过这些交互，使得能实现矢量图形环境的虚拟导航和直接作用于其构成要素。
ii)用移动设备提供的可能的最佳质量以实时运行时间表示纹理矢量图形。
通过下面描述的一组进程，所述系统允许对表示的矢量图形的质量进行管理，使质量依赖于移动设备提供的能力和特性，从而获得可能的最佳质量，而不影响图形表示或系统进程的流畅性。
该组进程进而包括用于解决虚拟环境中基本显示问题及其与现实环境同步的步骤，例如：
a)根据表示的现实环境对表示的矢量图形进行缩放。
b)根据与其在现实环境中地理定位的现实同步距离来减少表示的矢量图形的不自然运动。
如现有技术水平中所述，基于GPS定位的几乎所有导航仪使用球形墨卡托公式建立固定大小的网格并将定位的点定位在这些坐标网格上(以图像或矢量格式表示)。这些系统包括从地理坐标网格提供商实时下载数据和使用其定位算法。这些要素的下载和表示降低了移动设备的性能。
前述每一种技术和进程，例如或提供的增强现实技术和Google谷歌地图或OSM(开源地图)的地理定位技术，在参考框架内的所有移动设备中起作用，但是是以单独的方式进行。准确地说，两个或多个系统组合对于移动设备能否正确地进行数据处理是最大的问题。
通过互联网下载数据进行表示以及提供数据的实际表示涉及一段必要的等待时间，等待时间由移动设备中接收和表示质量决定。
加入GPS要素后台进程后，等待在屏幕上执行更多进程的时间会更长，直至同样由其提供的数据可用。由于有三个后台进程，基本进程包括功能树中的步骤，例如地图提供商提供的坐标网格的二维表示、从互联网下载和等待GPS数据，使得以下两个必要的进程，即采集图像实时采集和矢量图形表示，成为任何移动设备真正的挑战。
所述技术是以矢量图形表示质量为代价的。不过，在本发明中对该步骤给予了重视，以致能够获得更准确的地理定位要素提供的地理定位数据。
在本发明中，通过以下方法脱离了GPS定位技术，包括第一进程，在第一进程中先确定设备和它必须表示的多边形组在移动设备本地环境中的位置矢量，再生成二者的差。该差根据赋给该组多边形的长度、高线和高度等复合参考常数确定三个复合变量和两个简单变量。
一旦移动设备进入表示组周围预定的接近区，即进行本地位置、距目标组的距离、GPS全球定位反算、环境参数和层编号变量的赋值。
通过使用地理定位装置提供的原始数据，而不转化成坐标网格系统，获得了更高的定位准确度。该数据的使用使得能够对相对于当前位置的确切地点处的一个对象或一组对象进行地理定位。
一旦进入确定的行动区，系统即使用指南针、陀螺仪、ISSP等地理定位装置的数据。
在第二进程中，移动设备的图像采集装置起动并发出分层表示顺序，从而将各层按该顺序连接起来。所述表示顺序由第一进程中确定的差确定，并决定了被表示要素的质量、其内存缓冲器赋值、表示率(Hz)及其垂直和水平同步，总是优先考虑离设备最近的层，而不优先考虑设备摄像机捕捉的图像序列。
最后，一旦布尔表示变量确定为真，记录第一进程环境的变量，显示器的后处理效果将相对这些变量进行调整以使其与移动设备的性能相适应。
在整个说明书和权利要求书中，“包括”一词及其变体并非试图排除其他技术特征、添加物、组件或步骤。对于该领域技术人员来说，将会从本说明书和本发明的实施中推知本发明的其他对象、优点和特征。以下示例和图纸仅作为例证提供，并不用于限制本发明。而且，本发明涉及此处所述特定和较佳实施例所有可能的组合。
附图说明
下面简要说明用于帮助理解本发明并与作为本发明非限制性实施例提供的所述发明实施例明确相关的一系列图纸。
图1为实施本发明的便携式电子设备的图解。
具体实施方式
虽然本发明通过便携式电子设备100实施，但移动设备的较佳架构如图1所示，所述便携式设备可以为从计算机、平板电脑和移动电话中选择的任一设备。一般而言，任何可编程通信设备可配置成适用于本发明的设备。
图1为根据本发明几个实施例的一种便携式电子设备。本发明的便携式电子设备100包括内存102、内存控制器104、一个或多个处理器106(CPU)、外围设备接口108、射频电路系统112、音频电路系统114、扬声器116、麦克风118、输入/输出子系统120、触摸屏126、其他输入或控制设备128和外部端口148。这些组件通过一个或多个信号通信总线或线路110相互通信。所述设备100可为任一便携式电子设备，包括但不限于手提电脑、平板电脑、移动电话、多媒体播放器、个人数字助理(PDA)或类似物以及其中一项或多项的组合。必须考虑到，所述设备100只是便携式电子设备100的一个示例，并且所述设备100的组件可比所示的多或少或者具有不同的部件配置。图1所示的各组部件可在硬件、软件或软硬件组合中实施，包括一个或多个信号处理和/或专用集成电路。同样地，虽然所述屏幕126已确定为触摸屏，但本发明同样可通过带标准屏幕的设备实施。
所述内存102可包括高速随机存取存储器，还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在一些实施例中，所述内存102此外可包括与所述一个或多个处理器106相对的远程存储器，例如接到通过射频电路系统112或外部端口148接入的网络和通信网络(未显示)上的存储器，所述通信网络例如互联网、内联网、局域网(LAN)、无线局域网(WLAN)、存储区域网络(SAN)及其任何合适的组合。所述设备100的其他组件，例如CPU 106和外围设备接口108，访问内存102可通过内存控制器104进行控制。
所述外围设备接口108将所述设备的输入和输出外围设备与所述CPU 106和所述内存102连接起来。一个或多个处理器106运行内存102中存储的各种软件程序和/或指令集来执行所述设备100的各种功能和进行数据处理。
在一些实施例中，所述外围设备接口108、CPU 106和内存控制器104可通过单个芯片(例如芯片111)来实施。在其他实施例中，可通过若干个芯片实施。
所述射频电路系统112接收和发送电磁波。所述射频电路系统112转换电磁波中的电信号，反之亦然，并通过电磁波与通信网络和其他通信设备进行通信。所述射频电路系统112可包括用来执行这些功能的众所周知的电路系统，包括但不限于天线系统、射频收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、一套CODEC芯片、用户识别模块(SIM)卡、内存等。所述射频电路系统112可通过无线通信与互联网(又称万维网(WWW))、内联网和/或无线网(例如蜂窝电话网)、无线局域网(LAN)和/或城域网(MAN)等网络和其他设备通信。无线通信可使用多种通信标准、协议和技术中的任一种，包括但不限于全球移动通信系统(GSM)、增强型数据速率GSM演进技术(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址联接(TDMA)、蓝牙、无线接入(Wi-Fi)(例如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、网络电话(VoIP)协议、Wi-MAX、电子邮件协议、即时消息协议和/或短信息服务(SMS)，和任何其他合适的通信协议，包括截至本文件提交日尚未开发出来的通信协议。
所述音频电路系统114、扬声器116和麦克风118在用户和所述设备100之间提供音频接口。所述音频电路系统114接收来自外围设备接口108的音频数据、并将音频数据转换为电信号，然后将电信号传递给扬声器116。所述扬声器将电信号转换为人类听得见的声波。所述音频电路系统114还接收麦克风116由声波转换的电信号。所述音频电路系统114将电信号转换成音频数据并将音频数据传递给外围设备接口108进行处理。所述音频数据可通过外围设备接口108从所述内存102和/或射频电路系统112重新获取和/或传递给所述内存102和/或射频电路系统112。在一些实施例中，所述音频电路系统114还包括头戴式耳机接头(未显示)。所述头戴式耳机接头在所述音频电路系统114和可拆除音频输入/输出外围设备之间提供接口，所述可拆除音频输入/输出外围设备如仅有输出的头戴式耳机或输出(一只耳朵或两只耳朵使用的耳机)和输入(麦克风)均有的头戴式耳机。
所述输入/输出子系统120在所述设备100的输入/输出外围设备，例如触摸屏126和其他输入/控制设备128，和外围设备接口108之间提供接口。所述输入/输出子系统120包括触摸屏控制器122和其他输入或控制设备用的一个或多个输入控制器124。所述输入控制器124从其他输入或控制设备128接收电信号/向其他输入或控制设备128发送电信号。所述其他输入/控制设备128可包括物理按钮(例如按钮、拨动开关)、拨盘、滑动开关和/或地理定位装置201(例如GPS或等效物)。
该实用实施例中，所述触摸屏126在所述设备和用户之间提供了输出界面和输入界面。所述触摸屏控制器122从触摸屏126接收电信号/向触摸屏发送电信号。所述触摸屏126向用户显示可视化输出。所述可视化输出可包括文字、图形、视频及其任一组合。部分或所有可视化输出可相当于用户界面对象，下面对其他细节进行说明。
所述触摸屏126还接受用户通过触觉或触摸接触的输入。所述触摸屏126形成一个接受用户输入的触敏表面。所述触摸屏126和所述触摸屏控制器122(与内存102中任一关联模块和/或指令集一起)检测触摸屏126上的接触(和任何运动或失去接触)并将检测到的接触转化为与用户界面对象(例如触摸屏上显示的一个或多个可编程键)的交互。在一个实施例中，举例来说，触摸屏126与用户之间的接触点相当于用户的一个或多个手指。所述触摸屏126可使用LCD(液晶显示器)技术或LPD(聚合物发光显示器)技术，但其他实施例中可使用其他显示技术。所述触摸屏126和所述触摸屏控制器122可使用多种触敏技术中的一种以及其他近距离传感器阵列或其他元件来检测接触和任何运动或失去接触以确定与触摸屏126的一个或多个接触点。
所述设备100还包括用来为各个组件供电的电源系统130。所述电源系统130可包括电源管理系统、一个或多个电源(例如电池，交流电(AC))、可再充电系统、电源故障检测电路、电源转换器或逆变器、电量指示器(例如发光二极管(LED))和与便携式设备中发电、电源管理和配电相关的任何其他组件。
在一些实施例中，软件组件包括操作系统132、通信模块134(或指令集)、接触/运动模块138(或指令集)、图形模块140(或指令集)、用户界面状态模块144(或指令集)及一个或多个应用程序146(或指令集)。
所述操作系统132(例如Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS或VxWorks等嵌入式操作系统)包括用来控制和管理系统一般任务(例如内存管理、储存设备控制、电源管理等)和使各种硬件和软件组件之间通信更容易的各种软件组件和/或控制器。
所述通信模块134通过一个或多个外部端口148使与其他设备之间的通信更加容易，还包括用来管理射频电路系统112和/或外部端口148接收的数据的各种软件组件。所述外部端口148(例如通用串行接口(USB)、FIREWIRE等)适合于直接接到其他设备上或通过网络(例如互联网、无线LAN等)间接连接。
所述接触/运动模块138与触摸屏控制器122一起检测与触摸屏126的接触。所述接触/运动模块138包括用来执行各种与检测与触摸屏126接触相关的操作，例如确定是否发生接触、确定接触中是否有运动、跟踪触摸屏上的运动和确定接触是否中断(即接触是否停止)。接触点运动的确定可包括确定接触点的速率(大小)、速度(大小和方向)和加速度(包括大小和/或方向)。在一些实施例中，所述接触/运动模块126和触摸屏控制器122还检测触摸板上的接触。
所述图形模块140包括已知用于在触摸屏126上呈现和显示图形的各种组件。应考虑到的是，名词“图形”包括可向用户呈现的任何对象，包括但不限于文字、网页、图标(例如用户界面对象，包括可编程键)、数字图像、视频、动画片等等。
在一些实施例中，所述图形模块140包括光强模块142。所述光强模块142控制呈现在触摸屏126上的图形对象(例如用户界面对象)的光强度。所述光强控制可包括增大或减小图形对象的光强度。在一些实施例中，增大或减小可按预定的功能完成。
所述用户界面状态模块144对所述设备100的用户界面状态进行控制。所述用户界面状态模块144可包括锁闭模块150和开启模块152。所述锁闭模块检测是否满足一个或多个条件中的任一条件以将所述设备100转换为用户界面锁闭状态并将所述设备100转换为锁闭状态。所述开启模块检测是否满足一个或多个条件中的任一条件以将所述设备转换为用户界面开启状态并将所述设备100转换为开启状态。
所述应用130可包括所述设备100中安装的任何应用程序，包括但不限于浏览器/地址薄、联系人、电子邮件、即时消息、文本处理、键盘仿真、图形对象、JAVA应用程序、加密、数字版权管理、语音识别、语音复制、确定位置的能力(例如由全球定位系统(GPS)提供的)、音乐播放器(用于播放一个或多个文件中录制和存储的音乐，例如MP3或AAC文件)等。
在一些实施例中，所述设备100可包括用于图像形成应用程序中的一个或多个光学传感器(未显示)，例如CMOS或CCD 200图像传感器。
不过，所述硬件结构是可能结构中的一种，并且必须考虑到所述设备100可包括摄像机、扫描器、激光标记或其组合的其他图像采集元件，所述图像采集元件能向移动设备提供采用视频格式、图像序列、矢量格式或所述格式任一组合的现实环境的表示。
同样地，所述设备100可包括基于GPS定位卫星网络的地理定位装置、基于GPS卫星网络和互联网IP地址(AGPS)的地理定位辅助装置、基于WIFI天线和蓝牙设备(ISSP)提供的三角测量无线电信号的地理定位装置、上述装置的任一组合或允许向移动设备提供地理定位数值数据的任何类型的设备。
除新一代Holo-TFT、透明和微型投影仪显示器或能为移动设备100提供向用户呈现可视化内容的任何图形表示设备外，所述设备100还可包括能以最小24FPS(帧数/秒)实时表示图像的任何类型的元件，例如TFT、TFT-LED、TFT-OLED、TFT-视网膜显示器和上述的任一组合。
所述设备100包括一个处理器或一组处理器，所述处理器可单独或结合图形处理器，例如GPU(图形处理器)或APU(加速处理器)，可使移动设备100能以实时运行时间表示矢量图形并通过矢量表示库(各种平台的标准图形表示程序集，例如OpenGL、DirectX或该用途使用的任何类型的库)用矢量图形形成纹理多边形。
本发明方法中的第一进程包括对移动设备进行地理定位，具有GPS定位卫星网络允许的最高精度和准确度，而不使用其他方提供的资源，例如GPS导航提供商、地理图和GPS标记提供商和GPS导航坐标网格提供商，且不需要连接到互联网上下载或直接使用上述资源。
该第一方法使得能够通过移动设备100提供的硬件的触摸屏126或通信接口与表示的矢量图形直接交互。通过这些交互，使得能实现矢量图形环境的虚拟导航和直接作用于其构成要素，依次确定了操作余下步骤的基本变量。
虚拟环境地理定位步骤
所述设备100配置成对设备100的虚拟环境中的位置矢量赋值，确定移动设备非定义复合变量矢量3(a、b,c)和定义复合变量矢量3(LonX,LatY,AltZ)，其中所述矢量由必须表示的多边形组的地理坐标预先确定，根据移动设备100的地理定位装置201发送的数据将其转换为矢量3(LonPosX,LatPosY,AltPosZ)。
所述变量定义为：
-LonPosX＝((LonX+180)/360)x LonN；
-其中，LonN为摄像机视场(FOV)确定的常数。
-LatPosY＝((LatY+(180xNS))/360)xLatN；
-其中，LatN为摄像机视场(FOV)确定的常数；及
-NS为北/南半球的变量。
-AltPosZ＝AltZ x AltN；
-其中，AltN为摄像机视场(FOV)确定的常数。
-a＝((GPSx+180)/360)x LonN；
-其中，GPSx为移动设备GPS确定的浮动值。
-b＝((GPSy+(180xNS))/360)x LatN；
-其中，GPSy为移动设备GPS确定的浮动值；及
-NS为北/南半球的变量。
-c＝GPSz x AltN；
-其中，GPSz为移动设备GPS确定的浮动值。
与构成虚拟场景的矢量元素交互的步骤
上述步骤完成后，确定该组矢量多边形与移动设备之差：
-Pos(PosX,PosY,PosZ)＝矢量3(LonPosX,LatPosY,AltPosZ)-矢量3(a,b,c)
该差确定了三个复合变量和两个简单变量；其中：
-位置为移动设备在虚拟环境中运动的复合变量。
-ARP为定义移动设备虚拟环境表示区域半径的复合变量。
-Loc为定义该组现实GPS全球定位反算的复合变量。
在该步中，实时运动的位置矢量根据移动设备相对于该组多边形的运动变换提供和赋值：
-位置＝Pos(PosX,PosY,PosZ)。
确定定义的接近和表示区：
-ART＝矢量3(LonPosX,LatPosY,AltPosZ)-矢量3(a,b,c)
-ARF＝矢量3(a,b,c)
-ARP＝(ART-ARF)x Ar；
-其中Ar为距该组的距离的定义值。
然后得到该组多边形变换为虚拟环境的计算，运用反算以确保其相对于移动设备现实地理定位的现实地理定位正确，并确定表示安全控制：
-Loc＝(((((a+ART.X)/LonN)x 360)-180),((((b+ART.Y)/LatN)x 360)-(180x NS)),((c+ART.Z)/AltN))
-其中，RP0为提供表示真值或假值的简单布尔变量；其中
-其中，RPC为提供层赋值真值或假值的简单布尔变量。
层编号赋值步骤
一旦设备100进入表示组周围预定的接近区，即对层编号的变量赋值，其中：
-C0＝Pos(PosX,PosY,PosZ)；
-该层赋给图像采集装置200。
-C1＝Pos(PosX,PosY,PosZ)-ARP/4。
-C2＝Pos(PosX,PosY,PosZ)-ARP/2。
-C3＝Pos(PosX,PosY,PosZ)-ARP；-
-这为优先表示层。
本发明的第二进程包括用移动设备100提供的可能的最佳质量以实时运行时间表示纹理矢量图形。
该进程包括用于解决虚拟环境中基本显示问题及其与现实环境同步的步骤，例如：
-根据表示的现实环境对表示的矢量图形进行缩放。
-根据与其在现实环境中地理定位的现实同步距离来减少表示的矢量图形的运动。
该第二进程为在虚拟环境表示的各个方面使得能有助于提供与必须表示的现实环境的视觉连贯性。
用矢量内容独立表示场景的步骤
使用每台移动设备100的本地可执行语句，启动图像采集装置200或其矢量数据并对层“C0”的变量赋值，从而确定了取样率(Hz)、帧数/秒和采集装置的图像采集分辨率(像素/英寸)。
随后将前述值赋给采集装置，这样允许根据移动设备100允许获得的可能的最大量的多边形和纹理的表示调整其效率。
根据目标的接近、采集装置必须提供的每秒帧数、取样率(Hz)和采集分辨率，为了实现最大的优化，用确定的最大值和最小值对值进行增大或减小。这些值取决于距移动设备最近的层与距其最远的层之差确定的变量。
-Cam＝C3-C0。
通过使用层的重叠，将RAM内存资源的量和独立表示优先级赋给它们的每一个，无需对阵列中它们所有的进行表示。
所述方法进入利用第一方法中计算的用变量C1、C2和C3确定的差进行同步化，其中C3相当于表示优先级最高的层。
移动设备100硬件资源管理步骤
该步骤允许对表示的矢量图形的质量进行管理，使质量依赖于移动设备100提供的能力和特性，从而获得可用的最佳质量，而不影响图形表示或系统进程的流畅性。
对层的各个值进行求和，所得变量再乘以设备硬件的定义常数HW＝高(3)，中(2)，低(1)，再对结果开方，其中：
-质量＝(C0+C1+C2+C3)x HW
该公式根据约束条件确定设备必须以实时运行时间处理的多边形的量和纹理的最大尺寸。因此，例如，当质量>＝100...，则...PC3＝100.000个多边形，TC3＝512x 512个像素。
场景中呈现的多边形的量和纹理尺寸取决于多边形组相对于移动设备100的距离，这样下层减去所述多边形的量和纹理尺寸，移动设备100越接近该组地理定位的多边形。
因此，移动设备越接近该组地理定位的多边形，越多的多边形和越大的纹理尺寸会赋给C3层或优先表示层。
虚拟环境中解决基本现实问题的步骤
由：
-在与构成虚拟场景的矢量元素交互的步骤中确定的差，和位置：
Pos(PosX,PosY,PosZ)＝矢量3(LonPosX,LatPosY,AltPosZ)-矢量3(a,b,c)
-“位置”变量；及
-由变量ARP得到的值：
计算摄像机实时运行时间的FOV，以使移动设备采集装置所捕捉的现实环境的显示与虚拟环境的表示同步。
-Rfov＝(位置-ARP)/Cfov；
-其中，Cfov为FOV的调整常数。
然后确定使用参数，通过约束条件将其限制为预定的最大值和最小值。
-当Rfov<＝RfovMax，则Rfov＝RfovMax。
-当Rfov>＝RfovMin，则Rfov＝RfovMin。
该系统与应用于移动设备的技术中的前述系统暗含着明显的差别，所述移动设备基于其他技术，即单独地早已使用移动设备的可用硬件资源来表示增强或虚拟现实和表示地理定位虚拟要素。没有获得本发明系统根据所述方法得到的表示质量或地理定位准确度。
本发明进程允许市场上可买到的参考框架内所有移动设备能得到用GPS定位卫星提供的最高准确度表示和定位的虚拟环境的最佳质量。

Claims (9)

1.-一种移动设备(100)的地理定位虚拟环境的表示方法，包括
第一进程，包括以下步骤：
找到设备(100)和它必须表示的多边形组在移动设备本地环境中的位置矢量；
再生成设备和多边形的位置矢量之差，其中复合变量和简单变量根据复合参考常数确定：赋给一组多边形“长度、高线和高度”；
一旦移动设备(100)进入表示组周围预定的接近区，即对本地位置、距目标组的距离、GPS全球定位反算、环境参数和层编号变量进行赋值；以及
第二进程，包括以下步骤：
启动移动设备(100)的图像采集设备(200)；
发出分层表示顺序，从而将各层按该顺序连接起来；其中所述表示顺序由第一进程中确定的差提供，并决定了被表示要素的质量、其内存缓冲器赋值、表示率(Hz)及其垂直和水平同步，优先考虑离设备最近的层，而不优先考虑捕捉的图像序列；
一旦布尔表示变量确定为真，记录第一进程环境的变量，显示器的后处理效果相对这些变量进行调整以使其与移动设备(100)的性能相适应。
2.-根据权利要求1所述的方法，其中根据移动设备(100)的地理定位装置(201)发送的数据确定移动设备非定义复合变量矢量3(a,b,c)和定义复合变量矢量3(LonX,LatY,AltZ)，将其转换为矢量3(LonPosX,LatPosY,AltPosZ)，其中所述矢量由必须表示的多边形组的地理坐标预先确定。
3.-根据权利要求1-2中任一所述的方法，其中所述一组矢量多边形与移动设备之差定义为：
Pos(PosX,PosY,PosZ)＝矢量3(LonPosX,LatPosY,AltPosZ)-矢量3(a,b,c)；
实时运动的位置矢量根据移动设备相对于该组多边形的运动变换提供和赋值。
4.-根据权利要求1-3中任一所述的方法，其中该差确定了三个复合变量(Pos,ARP,Loc)和两个简单变量，其中
-位置为移动设备在虚拟环境中运动的复合变量：
-位置＝Pos(PosX,PosY,PosZ)；
-ARP为定义移动设备虚拟环境表示区域半径的复合变量：
-ARP＝(ART-ARF)x Ar；
其中：
■ART＝矢量3(LonPosX,LatPosY,AltPosZ)-矢量3(a,b,c)
■ARF＝矢量3(a,b,c)；及
■Ar为距该组的距离的定义值
-Loc为定义该组现实GPS全球定位反算的复合变量：
-Loc＝(((((a+ART.X)/LonN)x 360)-180),((((b+ART.Y)/LatN)x 360)-(180x NS)),((c+ART.Z)/AltN))
其中，RP0为提供表示真值或假值的简单布尔变量；及
其中RPC为提供层赋值真值或假值的简单布尔变量。
5.-根据权利要求1-4中任一所述的方法，其中一旦设备(100)进入表示组周围预定的接近区，即对层编号的变量赋值，其中：
-C0＝Pos(PosX,PosY,PosZ)；
-该层赋给图像采集装置200；
-C1＝Pos(PosX,PosY,PosZ)-ARP/4；
-C2＝Pos(PosX,PosY,PosZ)-ARP/2；
-C3＝Pos(PosX,PosY,PosZ)-ARP；
-这为优先表示层。
6.-根据权利要求1-5中任一所述的方法，其中第二进程包括启动图像采集装置200或其矢量数据并对层“C0”的变量赋值，从而确定了取样率(Hz)、帧数/秒和采集装置的图像采集分辨率(像素/英寸)，其中这些值取决于距移动设备最近的层C3与距其最远的层C0之差确定的变量；并将前述值赋给采集装置。
7.-根据权利要求1-6中任一所述的方法，其中由：
确定的差：
Pos(PosX,PosY,PosZ)＝矢量3(LonPosX,LatPosY,AltPosZ)-矢量3(a,b,c)
“位置”变量；及
由变量ARP得到的值；
计算摄像机实时运行时间的FOV，以使移动设备采集装置所捕捉的现实环境的显示与虚拟环境的表示同步，其中
Rfov＝(位置-ARP)/Cfov；
其中Cfov为视场的调整常数；
然后确定使用参数，通过约束条件将其限制为预定的最大值和最小值；
-当Rfov<＝RfovMax，则Rfov＝RfovMax；
-当Rfov>＝RfovMin，则Rfov＝RfovMin。
8.-一种移动设备(100)，包括：
数据显示装置(126)；
一个或多个显示器(106)；
内存(102)；及
一个或多个程序(132-146)，其中所述一个或多个程序存储在内存(102)中并配置成由所述一个或多个处理器(106)运行，所述程序(132-146)包括以下用途的指令：
找到设备(100)和它必须表示的多边形组在设备(100)环境中的位置矢量；
再生成设备和多边形的位置矢量之差，其中复合变量和简单变量根据复合参考常数确定：赋给一组多边形“长度、高线和高度”；
一旦移动设备(100)进入表示组周围预定的接近区，即对本地位置、距目标组的距离、GPS全球定位反算、环境参数和层编号变量进行赋值；
启动移动设备(100)的图像采集设备(200)；
发出分层表示顺序，从而将各层按该顺序连接起来；其中所述表示顺序由第一进程中确定的差提供，并决定了被表示要素的质量、其内存缓冲器赋值、表示率(Hz)及其垂直和水平同步，优先考虑离设备最近的层，而不优先考虑捕捉的图像序列；
及调整显示器的后处理效果以使其与移动设备(100)的性能相适应。
9.-当含由一个或多个处理器(106)运行的指令的计算机程序产品由权利要求8所述的设备(100)运行时，使设备(100)执行根据权利要求1-7所述的方法。
CN201380072768.3A 2013-02-14 2013-02-14 地理定位虚拟环境的表示方法及移动设备 Pending CN104981850A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/ES2013/070090 WO2014125134A1 (es) 2013-02-14 2013-02-14 Método para la representación de entornos virtuales localizados geográficamente y dispositivo móvil

Publications (1)

Publication Number Publication Date
CN104981850A true CN104981850A (zh) 2015-10-14

Family

ID=51353497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380072768.3A Pending CN104981850A (zh) 2013-02-14 2013-02-14 地理定位虚拟环境的表示方法及移动设备

Country Status (4)

Country Link
US (1) US20150371449A1 (zh)
EP (1) EP2958079A4 (zh)
CN (1) CN104981850A (zh)
WO (1) WO2014125134A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210223355A1 (en) * 2017-05-17 2021-07-22 Zerokey Inc. Distance-based positioning system and method using high-speed and low-speed wireless signals

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228930A1 (en) * 2016-02-04 2017-08-10 Julie Seif Method and apparatus for creating video based virtual reality
US10712810B2 (en) 2017-12-08 2020-07-14 Telefonaktiebolaget Lm Ericsson (Publ) System and method for interactive 360 video playback based on user location
US10902680B2 (en) 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
CN113762936B (zh) * 2021-11-09 2022-02-01 湖北省国土测绘院 一种基于互联网的增减挂钩复垦现场核查管理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923809A (zh) * 2010-02-12 2010-12-22 黄振强 交互式增强现实点播机
CN102375972A (zh) * 2010-08-23 2012-03-14 谢铮 一种分布式的基于可移动设备的增强现实平台
US20120086727A1 (en) * 2010-10-08 2012-04-12 Nokia Corporation Method and apparatus for generating augmented reality content
CN102646275A (zh) * 2012-02-22 2012-08-22 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
CN102708355A (zh) * 2011-02-15 2012-10-03 索尼公司 信息处理装置、信息处理方法及程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003102893A1 (en) 2002-06-04 2003-12-11 Allen Telecom, Inc. System and method for cdma geolocation
US7616155B2 (en) 2006-12-27 2009-11-10 Bull Jeffrey F Portable, iterative geolocation of RF emitters
US8239132B2 (en) 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
JP5812665B2 (ja) 2011-04-22 2015-11-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
US20120293546A1 (en) 2011-05-18 2012-11-22 Tomi Lahcanski Augmented-reality mobile communicator with orientation
US9129429B2 (en) * 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923809A (zh) * 2010-02-12 2010-12-22 黄振强 交互式增强现实点播机
CN102375972A (zh) * 2010-08-23 2012-03-14 谢铮 一种分布式的基于可移动设备的增强现实平台
US20120086727A1 (en) * 2010-10-08 2012-04-12 Nokia Corporation Method and apparatus for generating augmented reality content
CN102708355A (zh) * 2011-02-15 2012-10-03 索尼公司 信息处理装置、信息处理方法及程序
CN102646275A (zh) * 2012-02-22 2012-08-22 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JAYASHREE KARLEKAR ET AL.: "Positioning, Tracking and Mapping for Outdoor Augmentation", 《IEEE INTERNATIONAL SYMPOSIUM ON MIXED & AUGMENTED REALITY》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210223355A1 (en) * 2017-05-17 2021-07-22 Zerokey Inc. Distance-based positioning system and method using high-speed and low-speed wireless signals
US11714161B2 (en) * 2017-05-17 2023-08-01 Zerokey Inc. Distance-based positioning system and method using high-speed and low-speed wireless signals

Also Published As

Publication number Publication date
EP2958079A1 (en) 2015-12-23
US20150371449A1 (en) 2015-12-24
WO2014125134A1 (es) 2014-08-21
EP2958079A4 (en) 2016-10-19

Similar Documents

Publication Publication Date Title
US11998833B2 (en) Generating collectible items based on location information
US10188949B2 (en) Game object control system and program
US11892299B2 (en) Information prompt method and electronic device
CN103597524B (zh) 用于插入和增强当浏览活动场地时显示给用户的消息的系统和方法
CN110263611B (zh) 上下文感知定位、映射和跟踪
CN109962939B (zh) 位置推荐方法、装置、服务器、终端及存储介质
US9794495B1 (en) Multiple streaming camera navigation interface system
CN110210045B (zh) 目标区域的人数估算方法、装置及存储介质
US20130281123A1 (en) Information-processing device, method, information-processing system, and computer-readable non-transitory storage medium
CN104981850A (zh) 地理定位虚拟环境的表示方法及移动设备
CN112839107B (zh) 推送内容的确定方法、装置、设备及计算机可读存储介质
CN113556481A (zh) 视频特效的生成方法、装置、电子设备及存储介质
CN113144595B (zh) 虚拟道路的生成方法、装置、终端及存储介质
CN113209610B (zh) 虚拟场景画面展示方法、装置、计算机设备及存储介质
EP3491853A1 (en) A device for location based services
CN111539794A (zh) 凭证信息的获取方法、装置、电子设备及存储介质
CN114117087A (zh) 资源推荐方法、装置、计算机设备及介质
CN112000899A (zh) 景点信息的展示方法、装置、电子设备及存储介质
CN110163653A (zh) 楼盘房价数据生成方法、装置、设备及计算机存储介质
CN110795465A (zh) 用户规模预估方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151014