CN110833689A - 增强现实设备、方法和程序 - Google Patents

增强现实设备、方法和程序 Download PDF

Info

Publication number
CN110833689A
CN110833689A CN201910994587.5A CN201910994587A CN110833689A CN 110833689 A CN110833689 A CN 110833689A CN 201910994587 A CN201910994587 A CN 201910994587A CN 110833689 A CN110833689 A CN 110833689A
Authority
CN
China
Prior art keywords
context
mobile device
object information
interaction
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910994587.5A
Other languages
English (en)
Inventor
萨乌米特拉·莫汉·达斯
拉贾什·古普塔
萨梅拉·波杜里
贝赫罗兹·霍拉沙迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110833689A publication Critical patent/CN110833689A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/88Mini-games executed independently while main games are being loaded
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Abstract

本申请涉及增强现实设备、方法和程序。本发明描述用于为用户提供增强虚拟性AV体验的技术。一种提供AV体验的方法的实例包含:确定移动装置的位置;基于所述位置确定情境;获得AV对象信息;相对于所述情境显示所述AV对象信息;检测与所述情境的交互;基于所述交互修改所述AV对象信息;以及显示所述经修改AV对象信息。所述情境可包含加权信息。所述加权信息可基于接收信号强度指示RSSI或往返行程时间RTT数据。所述加权信息可与所述情境中的物理对象的组成相关联。可接收用户手势,且可基于所接收手势信息修改所述AV对象信息。

Description

增强现实设备、方法和程序
本申请为分案申请,其母案为PCT国际申请PCT/US2014/057095进入中国国家阶段的申请,该母案申请日为2014年9月24日,申请号为201480052006.1,发明名称为“增强现实设备、方法和程序”。
背景技术
移动计算装置(移动装置)为用户提供经由无线通信系统对多种信息的接入。一些移动计算装置可用于增强现实(AR)应用,其中现实世界对象连同例如图像或文字信息等计算机产生的信息一起在屏幕上成像和显示。AR可用以提供关于例如建筑物或产品等现实世界对象的图形或文字信息。通常,当再现AR对象时不考虑位置或其它周围对象。
发明内容
除了用于增强现实应用中之外,移动装置还可使得用户能够开发增强虚拟性(AV),其中现实世界对象或事件合并到虚拟世界中。举例来说,移动装置上的位置确定模块可用以为用户呈现其周围环境(包括虚拟世界)的情境(例如,地图、位置、图像)结合描绘增强虚拟性对象的相对位置的图形对象。移动装置可经配置以允许用户基于移动装置的位置以及与对象相关联的特征与增强虚拟性对象交互。增强虚拟性对象可经由网络接入,或先前存储在移动装置上。增强虚拟性对象可为具有例如的大小、形状、位置、速度和方向等特征(例如,变量)的虚拟对象。虚拟对象可基于现实世界或幻想对象(例如,球、飞行的优惠券、洪水、大群臭虫、怪物等…)与图形图像或其它动画对象相关联。虚拟对象可用于商业应用中,例如销售和广告,以及教育和娱乐应用中,例如训练辅助和游戏。在移动装置上描绘的虚拟世界中的虚拟对象的行为可基于算法或基于来自在用户的现实世界情境中发生的事件的输入或其某种组合。
根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的方法的实例包含:确定移动装置的位置;基于所述位置确定情境;获得AV对象信息;相对于所述情境显示所述AV对象信息;检测与所述情境的交互;基于所述交互修改所述AV对象信息;以及显示所述经修改AV对象信息。
所述方法的实施方案可包含以下特征中的一或多者。所述情境可包含加权信息。所述加权信息可基于接收信号强度指示RSSI或往返行程时间RTT数据。所述加权信息可与所述情境中的物理对象的组成相关联。可接收用户手势,且可基于所接收手势信息修改所述AV对象信息。可向用户提供警报,且可基于反应时间修改AV对象信息,使得所述反应时间是提供所述警报信号的时间与接收所述手势的时间之间的差。可从增强虚拟性(AV)服务器接收AV对象信息,且可将经修改AV对象信息提供到AV服务器。
根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的方法的实例包含:基于所述移动装置的位置确定情境;产生AV对象的状态;确定情境交互结果;基于所述情境交互结果修改所述AV对象的所述状态;确定移动装置交互结果;基于所述移动装置交互结果修改所述AV对象的所述状态;以及显示所述AV对象。
所述方法的实施方案可包含以下特征中的一或多者。AV对象的状态可包含方向变量。可基于情境交互结果修改AV对象的状态,包含修改所述方向变量。基于所述移动装置交互结果修改所述AV对象的所述状态可包含修改所述方向变量。AV对象的状态可包含大小变量。基于所述情境交互结果修改所述AV对象的所述状态可包含修改所述大小变量。可通过从用户接收手势确定移动装置交互结果。可基于移动装置交互结果修改移动装置的状态。
根据本发明的一种在增强虚拟性(AV)应用程序中使用虚拟工具的方法的实例包含:基于移动装置的位置确定情境;产生虚拟威胁的状态;产生虚拟工具的状态;确定情境交互结果;确定工具交互结果;基于所述情境交互结果和所述工具交互结果修改所述虚拟威胁的所述状态;以及显示所述虚拟威胁和所述虚拟工具。
所述方法的实施方案可包含以下特征中的一或多者。虚拟工具的状态可包含位置变量。可基于移动装置的状态修改虚拟工具的状态。可基于虚拟工具的经修改状态确定工具交互结果。工具交互结果可约束虚拟威胁的状态。
根据本发明的一种在增强虚拟性(AV)应用程序中确定交互变量的方法的实例包含:获得情境;确定对应于所述情境内的一或多个区域的位置数据;确定用于所述一或多个区域中的每一者的加权信息;基于所述加权信息确定交互变量;以及存储所述交互变量。
所述方法的实施方案可包含以下特征中的一或多者。所述加权信息可基于RSSI信息。所述加权信息可基于RTT信息。
根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的方法的实例包含:基于所述移动装置的位置确定情境;在所述情境内建立控制区域;产生巡回威胁的状态,其中所述巡回威胁的所述状态受所述情境约束;确定所述巡回威胁的活动区,其中所述活动区受所述情境约束;确定所述移动装置的状态,其中所述状态包含当前位置;以及基于所述移动装置的所述状态起始第一小游戏。
所述方法的实施方案可包含以下特征中的一或多者。当所述移动装置的所述位置在所述控制区域内时可起始所述第一小游戏。当所述移动装置的所述位置在所述活动区内时可起始第二小游戏。所述活动区可为视线变量。所述视线变量可受所述情境约束。
根据本发明的用于将增强虚拟性(AV)对象信息提供到一或多个移动装置的方法的实例包含:向AV服务器登记移动装置;从AV服务器接收AV对象信息和对等位置更新;以及将位置更新提供到AV服务器。在所述方法的实施方案中,可将手势更新提供到AV服务器。
根据本发明的用于将增强虚拟性(AV)对象信息提供到一或多个移动装置的方法的实例包含:向AV服务器登记移动装置;接收AV对象物理引擎模块;以及将AV对象状态变量更新提供到AV服务器。
根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的设备的实例包含:存储器模块;处理器,其耦合到所述存储器模块且经配置以:确定移动装置的位置;基于所述位置确定情境;获得AV对象信息;相对于所述情境显示所述AV对象信息;检测与所述情境的交互;基于所述交互修改所述AV对象信息;以及显示经修改AV对象信息。
根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的设备的实例包含:存储器模块;处理器,其耦合到所述存储器模块且经配置以:基于所述移动装置的位置确定情境;产生AV对象的状态;确定情境交互结果;基于所述情境交互结果修改所述AV对象的所述状态;确定移动装置交互结果;基于所述移动装置交互结果修改所述AV对象的所述状态;以及显示所述AV对象。
根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的设备的实例包含:存储器模块;处理器,其耦合到所述存储器模块且经配置以:基于所述移动装置的位置确定情境;产生AV对象的状态;确定情境交互结果;基于所述情境交互结果修改所述AV对象的所述状态;确定移动装置交互结果;基于所述移动装置交互结果修改所述AV对象的所述状态;以及显示所述AV对象。
根据本发明的一种用于在增强虚拟性(AV)应用程序中使用虚拟工具的设备的实例包含:存储器模块;处理器,其耦合到所述存储器模块且经配置以:基于移动装置的位置确定情境;产生虚拟威胁的状态;产生虚拟工具的状态;确定情境交互结果;确定工具交互结果;基于所述情境交互结果和所述工具交互结果修改所述虚拟威胁的所述状态;以及显示所述虚拟威胁和所述虚拟工具。
根据本发明的一种用于在增强虚拟性(AV)应用程序中确定交互变量的设备的实例包含:存储器模块;处理器,其耦合到所述存储器模块且经配置以:获得情境;确定对应于所述情境内的一或多个区域的位置数据;确定用于所述区域中的每一者的加权信息;基于所述加权信息确定交互变量;以及存储所述交互变量。
根据本发明的一种用于为用户提供增强虚拟性(AV)体验的设备的实例包含:存储器模块;处理器,其耦合到所述存储器模块且经配置以:基于移动装置的位置确定情境;在所述情境内建立控制区域;产生巡回威胁的状态,其中所述巡回威胁的所述状态受所述情境约束;确定所述巡回威胁的活动区,其中所述活动区受所述情境约束;确定所述移动装置的状态,其中所述状态包含当前位置;以及基于所述移动装置的所述状态起始第一小游戏。
根据本发明的一种驻留于处理器可执行存储媒体上的计算机程序产品的实例包含经配置以致使处理器进行以下操作的处理器可执行指令:确定移动装置的位置;基于所述位置确定情境;获得AV对象信息;相对于所述情境显示所述AV对象信息;检测与所述情境的交互;基于所述交互修改所述AV对象信息;以及显示经修改AV对象信息。
根据本发明的一种驻留于处理器可执行存储媒体上的计算机程序产品的实例包含经配置以致使处理器进行以下操作的处理器可执行指令:基于移动装置的位置确定情境;产生AV对象的状态;确定情境交互结果;基于所述情境交互结果修改所述AV对象的所述状态;确定移动装置交互结果;基于所述移动装置交互结果修改所述AV对象的所述状态;以及显示所述AV对象。
根据本发明的一种驻留于处理器可执行存储媒体上的计算机程序产品的实例包含经配置以致使处理器进行以下操作的处理器可执行指令:基于移动装置的位置确定情境;产生虚拟威胁的状态;产生虚拟工具的状态;确定情境交互结果;确定工具交互结果;基于所述情境交互结果和所述工具交互结果修改所述虚拟威胁的所述状态;以及显示所述虚拟威胁和所述虚拟工具。
根据本发明的一种驻留于处理器可执行存储媒体上的计算机程序产品的实例包含经配置以致使处理器进行以下操作的处理器可执行指令:获得情境;确定对应于所述情境内的一或多个区域的位置数据;确定用于所述区域中的每一者的加权信息;基于所述加权信息确定交互变量;以及存储所述交互变量。
根据本发明的一种驻留于处理器可执行存储媒体上的计算机程序产品的实例包含经配置以致使处理器进行以下操作的处理器可执行指令:基于移动装置的位置确定情境;在所述情境内建立控制区域;产生巡回威胁的状态,其中所述巡回威胁的所述状态受所述情境约束;确定所述巡回威胁的活动区,其中所述活动区受所述情境约束;确定所述移动装置的状态,其中所述状态包含当前位置;以及基于所述移动装置的所述状态起始第一小游戏。
本文描述的项目和/或技术可提供以下能力以及未提到的其它能力中的一或多者。情境可与移动装置的位置相关联。可确定用于情境的加权函数。增强虚拟性(AV)对象是可在一或多个移动装置上呈现的虚拟对象。AV对象可模型化现实世界对象(例如,球、流水、野兽、气泡、扩展的气体等…),以及想想的对象(例如,魔术火球、异形机器人、愤怒的巨人、飞行的优惠券)。AV对象可包含状态变量以模型化虚拟和物理属性。用户可经由移动装置中的传感器与AV对象交互。可基于情境修改或约束一或多个AV对象的状态变量。AV服务器可托管且操作AV应用程序。设计者可在AV服务器上登记AV应用程序。AV应用程序和相关联AV对象可提供到移动装置。AV应用程序可在本地和客户端配置中执行。移动装置可经配置以将位置和AV对象状态信息提供到AV服务器。AV服务器可经配置以将AV对象状态信息传播到一或多个移动装置。AV对象可表示虚拟工具(即,另一AV对象),且用户可经由移动装置中的传感器与虚拟工具交互。虚拟工具可包含可基于情境而修改或约束的状态变量。虚拟工具可用以与AV对象交互。情境可包含一或多个控制区域。移动装置可经配置以基于其对控制区域的接近而执行一或多个小游戏。可提供其它能力,且不是根据本发明的每个实施方案都必须提供所论述的能力中的任一者,更不用说全部。AV对象与情境之间的交互的结果可用于广范围的商业、教育和娱乐应用中。此外,可能通过除了所说明的装置外的装置来实现上文说明的效果,且所说明的项目/技术可能不一定产生所说明的效果。
附图说明
图1是用于增强虚拟性(AV)系统的示范性网络环境。
图2是示范性移动装置的示意性框图。
图3是用于确定情境内的加权函数的示范性配置的俯视图。
图4是AV服务器与一或多个移动装置之间的示范性数据传送方案的框流程图。
图5是在多个状态中的示范性AV对象的俯视图。
图6是行进通过情境的示范性AV对象的俯视图。
图7是示范性扩展威胁AV对象的俯视图。
图8是具有示范性扩展威胁和虚拟工具AV对象的情境的俯视图。
图9是具有示范性虚拟训练者AV对象的情境的俯视图。
图10是具有多个控制区域和示范性巡回威胁AV对象的情境的俯视图。
图11是执行一或多个小游戏的移动装置的俯视图。
图12是用于显示AV对象的过程的框流程图。
图13A是用于确定情境内的区域的交互变量的过程的框流程图。
图13B是用于加权信息和交互变量的示范性数据结构。
图14A是用于将位置和手势更新提供到AV服务器的过程的框流程图。
图14B是用于将AV对象位置更新提供到AV服务器的过程的框流程图。
图15是用于修改AV对象的状态变量的过程的框流程图。
图16是用于基于情境或工具交互修改AV对象的状态变量的过程的框流程图。
图17是用于在移动装置上起始小游戏的过程的框流程图。
具体实施方式
本文论述用于基于用户的位置和与位置相关联的情境而对用户提供增强虚拟性(AV)对象的技术。举例来说,从定位引擎或服务器获得真实位置的地图且提供到移动装置。所述地图可包含例如热图等额外情境信息,其表示与所述位置中的各种对象和结构特征相关联的加权函数。所述加权函数也可基于从接入点获得的RSSI(接收信号强度指示符)和RTT(往返行程时间)数据。举例来说,加权函数可用以确定墙壁和其它障碍物的位置或者AV对象在所述情境内将移动或变化的方式。情境可包含关于结构元件的信息,例如为房间、墙壁、门、走廊和其它建筑特征的位置。可基于与情境和用户的交互而修改AV对象的状态变量(即,状态)。举例来说,在AV服务器或移动装置上执行的物理引擎可用以计算AV对象与情境之间的交互和/或AV对象与用户之间的交互的结果。AV对象的状态传播到位置内的其它移动装置或者另外对所述其它移动装置可接入。举例来说,在各种商业、教育和娱乐应用中可使用一或多个AV对象与情境之间的交互。然而,这些实例不是详尽的。
参见图1,展示用于增强虚拟性(AV)系统的示范性网络环境100。网络环境100可包含任何数目的移动装置,例如移动装置120和130。移动装置120和130可经由网络140与AV服务器110无线通信。移动装置120和130可包括任何合适的移动计算平台,举例来说,包含蜂窝式电话、智能电话、个人数字助理、低工作循环通信装置、膝上型计算机、便携式媒体播放器装置、个人导航装置以及包括数码相机的便携式电子装置。网络环境100可进一步包含非移动计算平台,例如也可经由网络140与AV服务器110通信的计算平台122。在至少一些实施方案中,移动装置可适于通过借助例如有线或无线通信与计算平台122对接而通信,而不利用网络140。
网络140可包括广域网(例如,因特网)、局域网(例如,内联网)和/或个域网中的一或多者。举例来说,移动装置120和130可经由任何合适的通信协议与AV服务器110无线通信,所述协议包含例如CDMA、GSM或WCDMA等蜂窝式通信协议和/或例如Wifi或WiMAX等无线局域网(WLAN)协议。因此,网络140在此类实施方案中可包含一或多个无线收发器。网络140的无线收发器还可由移动装置120和130利用以获得定位信息以用于估计移动装置位置。
在一些实施方案中,移动装置可利用基于三边测量的方法来估计地理位置。举例来说,可使用包含CDMA中的高级前向链路三边测量(AFLT)或GSM中的增强观测时间差(EOTD)或WCDMA中的观测到达时间差(OTDOA)的技术,其在移动装置处测量从配备若干发射器的基站中的每一者发射的无线信号的相对到达时间。作为另一实例,移动装置可通过获得与无线收发器相关联的媒体接入控制(MAC)地址或其它合适的识别符且使MAC地址或识别符与所述无线收发器的已知地理位置相关,来估计其位置。
移动装置120和130可进一步从定位系统150获得无线定位信号以估计移动装置位置。举例来说,定位系统150可包括卫星定位系统(SPS)和/或基于陆地的定位系统。卫星定位系统可包含例如全球定位系统(GPS)、伽利略(Galileo)、GLONASS、NAVSTAR、GNSS、使用来自这些系统的组合的卫星的系统,或未来开发的任何SPS。如本文使用,SPS也将理解为包含伪卫星系统。也可使用陆地定位技术,例如包含使用WiFi和WLAN信号的RSSI和/或RTT的WiFi/WLAN方法。定位系统150可为定位服务器,且定位系统150的功能性可包含于AV服务器110中。然而应了解,此处提供的特定定位技术仅是实例性定位技术,且所主张标的物在此方面不受限制。
AV服务器110可包括一或多个服务器和/或其它合适的计算平台。因此,AV服务器110可包含存储媒体112,其上存储有数据库114和指令116。存储媒体112可视为存储器模块。AV服务器110可包含一或多个处理器,例如实例性处理器118,其用于执行指令116和/或用于促进数据库114处的数据的存储和检索。处理器118优选为智能装置,例如,例如由
Figure BDA0002239338710000071
公司或
Figure BDA0002239338710000072
制造的个人计算机中央处理单元(CPU)、微控制器、专用集成电路(ASIC)等等。AV服务器110可进一步包含通信接口160,用于促进与包含移动装置120和130以及计算平台122的网络140的客户端的通信。
为了促进所揭示实施方案的理解,指令116可有时在用于执行特定操作的一或多个模块的方面来描述。作为一个实例,指令116可包含对象交互引擎模块162以确定AV对象与情境和/或用户之间的交互的结果。作为另一实例,指令116可包含内容管理模块164以管理网络内的AV对象信息的部署。内容管理模块164可包含若干工具以使用户(例如,人类用户)能够例如经由移动装置(例如,移动装置120)或其它合适的计算平台(例如,计算平台122)与内容管理模块交互。在至少一些实施方案中,内容管理模块164可包含对象部署工具166以使开发者(即,用户)能够在网络系统内部署AV对象,且包含对象登记工具170以使开发者能够登记AV对象且管理其它用户对所述开发者已开发的AV对象内容的接入权。此些工具经由移动装置或其它合适的计算平台的输入或输出装置对开发者是可接入的。举例来说,在移动装置的图形显示器处呈现的图形用户接口(GUI)可使开发者能够通过使用工具166和170中的一或多者而界定包括一或多个属性文件和其它媒体内容项目的AV对象
数据库114可包含多种数据,包含一或多个相关联项目。相关联项目176可包含例如至少一个媒体内容项目178和其它相关联数据元素,包含例如:情境数据180、加权信息182、元数据186,和对象物理引擎模块174。数据库114可进一步包含对象库192,其具有一或多个预先存在的虚拟对象194。
情境数据180可界定相对于用户的位置的位置,其中可呈现例如楼层平面图等媒体内容(例如,媒体内容项目178)。情境数据180可由用户经由对象部署工具166来界定。举例来说,情境数据180可为电子媒体,例如数字楼层平面图(例如,AutoCAD.dwg文件、建筑物信息模型(BIM)、草图(Sketch-Up)文件)。
加权信息182可界定情境内的物理对象的结构方面。举例来说,可使用地图处理技术来处理建筑物布局且对建筑物特征指派性质和/或属性。在一实施例中,可使用RSSI和/或RTT模型来估计建筑物特征的性质和/或属性。可使用加权信息来模型化其它物理对象,例如情境内的障碍和/或其它环境条件。加权信息182可由用户经由对象部署工具166来界定。举例来说,用户可利用对象部署工具166来键入情境相关输入以用于对象交互引擎模块162。
元数据186可包含权利定义188,其界定用户接入例如相关联媒体内容项目178等经部署媒体内容项目的权利。作为非限制性实例,用户可排除选择用户免于接入特定媒体内容项目(例如,AV对象和相关联文件),或用户可对选择用户准予接入情境内的特定媒体内容项目的权利。
元数据186可进一步包含与媒体内容项目178相关联的装置状态数据190。装置状态数据190可例如在移动装置正与AV对象交互时指示移动装置的位置和/或定向。在一些实施方案中,移动装置的位置可表示为相对于参考基准测量的一或多个纬度、经度和/或高度值。类似地,移动装置的定向可通过相对于参考基准测量的一或多个横摇角、纵摇角和/或航向角。移动装置的状态可包含所接收手势更新,例如轻敲、挥击和摇动。此装置状态数据可基于在移动装置处获得的一或多个定位信号和/或惯性传感器测量值,如将参考图2更详细描述。
参见图2,展示实例性移动装置200的示意性框图。针对至少一些实施方案,移动装置200可充当图1的移动装置120和130的非限制性实例。因此,移动装置200可包含通信接口228以促进与其它计算平台的通信,例如图1的AV服务器110、移动装置120、130和/或计算平台122。在一实施例中,通信接口228可经配置以与其它网络(例如,WAN、WLAN)通信,且可经配置以在位置确定中使用(例如,SPS信号)。通信接口228可实现与包含实例性网络140的通信网络的无线通信。移动装置200可进一步包含接收器230以从例如定位系统150等定位系统接收定位信号。
移动装置200可包含输入装置218以接收用户输入。输入装置218可包含例如一或多个物理按钮、键盘、控制器、麦克风、指向装置和/或触敏表面。移动装置200可包含输出装置221以向用户呈现信息。作为一个实例,输出装置221可包含图形显示器222以呈现图形用户接口224。大体上,图形显示器222可包括能够接收用户输入的触敏图形显示器(例如,触摸屏幕)。触敏图形显示器可利用任何合适的感测技术用于检测显示表面处或附近的用户输入,包含例如电容性感测、电阻性感测和/或光学感测技术。在此些触敏实施方案中,图形显示器222可用作用于接收用户输入的输入装置和用于呈现图形内容的输出装置。在一些实施方案中,输出装置221可进一步包含音频扬声器226,用于呈现音频内容。
在至少一些实施方案中,可在图形显示器222处呈现图形用户接口(GUI)224。GUI224可包含AV视图234以呈现具有情境信息的AV对象。信息层236可包括一或多个经再现媒体内容项目,例如经再现媒体内容项目238,以及一或多个图形控制元件,例如图形控制元件240。作为非限制性实例,经再现媒体内容项目238可对应于例如图像、视频、动画以及其它合适的图形内容或其部分等媒体内容项目178的经再现状态。图形控制元件240可包含一或多个图形元件,用于使用户能够提供用户输入以用于控制移动装置的功能性。
移动装置200可包含一或多个惯性传感器232以获得移动装置机载的惯性传感器测量值。在至少一些实施方案中,惯性传感器232可包括一或多个加速度计、陀螺仪或用于测量移动装置的惯性状态的其它合适装置。在一些实施方案中,可通过惯性传感器232沿着笛卡尔和/或极坐标系中的多个轴线测量移动装置的惯性状态,以提供移动装置的位置和/或定向的指示。
将了解,从惯性传感器232获得的惯性传感器测量值可经处理(例如,随着时间积分)以获得移动装置位置和/或定向的此类估计。如先前描述,移动装置的位置可表示为一或多个纬度、经度和/或高度值,且移动装置的定向可通过相对于参考基准测量的一或多个横摇角、纵摇角和/或航向角值来表示。移动装置200可包含相机220以获得可在图形显示器222处呈现的相机视图。相机220可包括数码相机,其在一些实施方案中具有若干光学元件,包含用于聚焦光的一或多个透镜和/或用于将光转换为表示图像和/或视频数据的数字信号的一或多个光感测元件。作为非限制性实例,光感测元件可包括光学拾取、电荷耦合装置和/或光电装置以用于将光转换为数字信号。从相机的一或多个光感测元件获得的数字信号可在图形显示器222处经处理和/或再现为相机视图。此外,在一些实施方案中,经由相机220获得的相机视图可作为图像和/或视频内容存储在存储媒体处。举例来说,从相机220获得的数字信号可经编码且作为.jpeg、.mpeg或其它合适格式存储在存储媒体210处。表示相机视图的此些数字信号可发射到其它计算平台以用于存储和/或处理。举例来说,在移动装置处获得的相机视图可经由通信网络或通过与另一计算平台对接而发射到服务器系统或其它合适的计算平台。
移动装置200可进一步包含存储媒体210,其上存储有数据库212和指令214。存储媒体210可为存储器模块。移动装置200可包含一或多个处理器,例如实例性处理器216,其用于执行指令214和/或促进数据库212处的数据的存储和检索。数据库212可包含多种数据,包含先前参考图1的数据库114描述的数据元素中的一些或全部。举例来说,数据库212可在移动装置200处本地保持相关联内容项目176和对象库192中的一或多者以及其它数据。将了解,此数据也可例如远程保持在服务器系统处,例如图1的AV服务器110,其中其可由移动装置经由无线网络接入。
指令214可类似地包含先前描述的图1的指令116的模块和/或工具中的一或多者。举例来说,指令214可包含先前描述的在移动装置200处本地保持的对象交互引擎模块162和内容管理模块164。指令214可进一步包含物理引擎模块254以模型化情境内的AV对象的运动和交互。指令可进一步包含装置状态模块256以用于处理经由接收器230获得的定位信号和/或经由惯性传感器232获得的惯性传感器测量值,以及存储与AV对象相关联的状态变量。举例来说,装置状态模块256可适于至少部分地基于此些定位信号和/或惯性传感器测量值来估计移动装置200的位置和/或定向。移动装置200的估计位置和/或定向可存储在数据库212处,例如先前参考装置状态数据190所描述。在至少一些实施方案中,装置状态模块256可适于响应于与AV对象的交互而获得移动装置的装置状态数据。举例来说,AV对象可为可虚拟地击中移动装置(例如,基于移动装置的实际位置)的虚拟躲避球,装置状态模块256可指示移动装置已被击中或仍自由。装置状态模块256可进一步适于例如在数据库212或数据库114处使装置状态数据与状态特定媒体内容项目(例如,作为元数据)关联。
将了解,图2的实例性移动装置200的至少一些元件可在例如图1的计算平台122等其它移动或非移动计算平台中存在,以使此类计算平台能够执行本文描述的操作、过程和方法中的一或多者。举例来说,图1的计算平台122可包括例如包含指令214和/或数据库212的存储媒体210等存储媒体、例如处理器216等一或多个处理器、一或多个输入和输出装置,以及例如通信接口228等通信接口。
参见图3,展示用于确定情境内的加权函数的示范性配置的俯视图。所述配置包含情境300、接入点302,以及一或多个移动装置304a、304b、304c的三个示范性位置。情境300可表示包含墙壁、走廊和其它障碍物的位置。如本文使用的术语接入点包含陆地收发器的不同变型(例如,基站、WiFi接入点、毫微微小区)。接入点302可允许移动装置304a、304b、304c使用Wi-Fi、蓝牙、例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交频分多址(OFDMA)、单载波频分多址(SC-FDMA)等蜂窝式通信技术或者任何其它合适的无线技术和/或标准连接到无线网络。在一实施例中,连接到AV服务器110的接入点302可与移动装置304a、304b、304c中的一或多者通信以确定或更新加权信息。AV服务器110或另一定位服务器可包含用以计算加权信息的算法。此信息可来源于来自一个装置或多个装置(例如,众包)的当前和/或历史数据,且可保持在中央位置(例如,网络元件)上和/或在移动装置之间共享。在一实例中,地图服务器(或其它网络装置)可基于来自一或多个移动装置的输入而以对应加权信息(例如,热图)维持和更新情境。另外或替代地,每一移动装置可维持和更新加权信息和/或与服务器和/或其它移动装置共享经更新加权信息。在位置数据集合与特定情境(例如,建筑物)相关联的情况下,移动装置可存储且位置多个情境的多个位置数据集合(例如,地图)。位置数据和/或对应加权信息也可为时间和/或日期敏感的。举例来说,在工作日午餐时间拥挤的咖啡厅中和/或附近的热图可与在周末的午夜实际为空时不同。
在一实施例中,AV服务器110可确定移动装置位于其中的情境(例如,区域)。此初始确定可基于多种数据中的任一者,例如先前已知位置、航位推测数据、传感器数据、GNSS和其它信号源,和类似物。一些实施例可提供经由联系到特定MAC ID的位置确定粗略位置,其随后用以确定较准确位置。移动装置经确定位于其中的情境可影响RSST和RTT测量值。情境可包含指示一或多个区域的环境条件的信息。情境可例如包含地图,例如建筑物的布局,其可指示例如墙壁、窗、门和/或可影响区域的环境的条件的其它结构等物理对象的位置。位置数据可进一步包含加权信息,其可通过使用地图处理算法而产生且也可指示区域的环境的条件(例如,区域与接入点之间的墙壁的数目、墙壁组成类型、距离、接入点的硬件信息,和/或RSSI和/或RTT数据的置信等级(例如,移动装置与接入点之间的距离测量值)等等)。加权信息可关于可借以获得RSSI和/或RTT数据的单个接入点或一个以上接入点。
RSSI和RTT数据可基于环境的条件而加权。举例来说,可包含用于RSSI和RTT数据两者的权重的加权可使用位置数据的加权信息中提供的一或多个置信量度来计算。还可以考虑加权信息中可能不包含的特定信息,例如给定移动装置和/或接入点的装置特定信息。举例来说,移动装置可具有天线和/或其它信号接收硬件,其将致使RSSI数据比其它移动装置更准确,在此情况下可将较多权重给予RSSI数据。移动装置可经配置以测量RSSI和RTT信息且将测量数据提供到位置服务器或AV服务器110。在另一实例中,接入点可具有特定硬件,致使其具有与许多其它接入点相比较不一致的处理延迟,在此情况下可将较少权重给予使用所述接入点测量的RTT数据。当移动装置的位置已知时,加权信息可用以模型化环境(例如,物理对象)。对象交互引擎模块162可利用加权信息来模型化AV对象无法通过的墙壁、模型化取决于通过的墙壁的数目或特性的对象的变形,或模型化将不与AV对象交互的走廊。加权信息可例如用以确定接入点302与移动装置304a、304b、304c之间的墙壁的密度,其可进一步控制多少虚拟对象将横越到那些移动装置。在一实施例中,网络装置可维持可由对象交互引擎模块162使用的热图。
参见图4,展示AV服务器与一或多个移动装置之间的示范性数据传送方案的框流程图。所述传送方案包含AV服务器110,以及用户移动装置402a、402b、402c(统称为402)和开发者装置420。移动装置402和开发者装置420可如先前论述而配置(例如,移动装置200)。在一实施例中,移动装置402和开发者装置420经配置以通过网络140和一或多个接入点(未图示)与AV服务器110通信。为了阐释的目的,网络140和接入点并入到入站和出站通信路径410b-d、411b-d、420a的集合中。出站通信路径410b-d(统称为410)表示从AV服务器110发射到移动装置的AV对象信息,且入站通信路径411b-d(统称为411)表示从移动装置发射到AV服务器110的AV对象信息。虽然展示为不同的通信路径,但入站和出站通信路径可为单个路径。开发者装置420经由通信路径421与AV服务器110通信。
在操作中,开发者可创建虚拟对象且利用开发者装置420(或其它计算平台122)将AV对象登记到数据库114中。举例来说,开发者装置420可接入内容管理模块164以创建或上载AV对象和相关联项目176。AV服务器110与移动装置402之间的数据传送方案的架构基于AV对象和移动装置402的能力。在一实例中,AV服务器110可将包含相关联项目176的初始AV对象信息经由通信路径410提供到移动装置。对象交互引擎模块162可利用AV对象信息来实现与AV对象的用户交互。在移动装置上本地执行的物理引擎模块254可模拟AV对象的运动和描述AV对象的状态变量,且可更新移动装置。状态更新可经由入站通信路径411发送到AV服务器,且随后经由出站通信路径410广播到其它移动装置。在一实施例中,移动装置402可经由入站通信路径411将装置状态信息发送到AV服务器110,且AV服务器110可执行对象交互引擎模块162以确定AV对象的交互和对应状态。AV对象状态信息可随后经由出站通信路径410发射到移动装置402。在单玩家(例如,仅一个移动装置402a)的情况下,AV服务器可用以初始化移动装置上的应用程序,而无需移动装置与AV服务器之间的进一步通信。其它数据传送方案可用以将AV对象和移动装置状态信息传送到AV服务器110和移动装置402以及从其传送所述信息。
参见图5,进一步参考图1和2展示多个状态中的示范性AV对象的俯视图。所述视图包含情境300、一或多个移动装置502a、502b、502c(统称为502)、虚拟球510(即,AV对象),以及交互事件520。在各个时间虚拟球510的位置以字母A到G指示。AV服务器110可经配置以在情境300的随机初始位置变量、方向和速度变量下启动虚拟球510。举例来说,AV服务器110将虚拟球510的初始状态信息提供到移动装置502中的每一者。所述初始状态信息指示虚拟球510在位置‘A’开始且以初始速度前进到位置‘B’。虚拟球510的位置和移动出现在移动装置502中的每一者的图形显示器222上。在一实施例中,AV服务器110利用对象交互引擎模块162按周期性基础(例如,50ms、100ms、200ms、500ms)更新状态信息。举例来说,对象交互引擎模块162鉴于情境数据180和加权信息182而处理虚拟球510的当前状态,以产生虚拟球510的新状态。因此,加权信息182和/或情境数据180用以创建与虚拟球510交互的虚拟边界。举例来说,参见位置‘B’,虚拟球510虚拟地弹离墙壁且前进到位置‘C’。由对象交互引擎模块162计算的结果可改变虚拟球510的状态。与虚拟球510的位置、速度和方向相关联的状态变量可改变且随后提供到移动装置502。状态变量可在一或多个移动装置502上更新且提供到AV服务器以用于分发到参与所述应用程序的其它移动装置(如果存在)。其它应用程序可具有额外的状态变量。举例来说,例如风速和风向等虚拟环境方面可用以更改AV对象的状态。
继续虚拟球510的实例,在位置‘C’和‘D’处的反射之后,虚拟球510继续沿着走廊朝向位置‘E’和移动装置502c。移动装置502c的用户可在虚拟球从位置‘A’到位置‘E’行进时监视虚拟球510的前进。在虚拟球510接近时,用户可将手势输入到移动装置502c中以创建交互事件520。所述手势可包含屏幕轻敲或挥击、摇动或摆动运动。对移动装置502c的其它输入可用作手势以起始交互事件520。手势的定时和本质可由装置状态模块256俘获且发送到AV服务器110作为对对象交互引擎模块162的输入。举例来说,当虚拟球510到达位置‘E’时,移动装置502c的用户弹动图形显示器222以朝向位置‘F’发送出虚拟球510。交互事件的结果可修改虚拟球510的状态。大体上,修改AV对象的状态意味着改变状态变量相关联AV对象属性(例如,方向和速率)的值。虚拟球510可继续朝向位置‘G’且可能虚拟地与移动装置502b碰撞。在游戏应用程序中,用户可针对以AV对象虚拟地命中另一用户而得分。
图5的虚拟球应用程序仅是示范性的,且不是限制。其它应用程序可包含例如捕捉AV对象或找出一或多个AV对象(例如,寻找复活节彩蛋)等目的。在一些游戏应用程序中,用户可通过使用AV对象命中其它玩家(例如,躲避球)或通过敲击AV对象(例如,虚拟球)经过玩家(例如,乒乓球)来得分。在一实例中,可为用户提供警报信号,且用户必须在某一时间范围(例如,反应时间)内将手势更新提供到移动装置,以便与虚拟对象(例如,烫手的山芋)成功地交互。可创建基于位置和情境的其它游戏。在一实施例中,AV对象可作为AV视图234中的增强现实对象呈现在图形显示器222上。举例来说,用户可利用相机220来获得其周围的对象(例如,过道、房间)的近实时视图,且关于相机视图中的对象可呈现朝向用户行进的虚拟球510的图像。相机视图中的AV对象的大小可基于AV对象距用户的相对位置而改变(即,虚拟球510可随着其接近用户而表现为更大)。
参见图6,展示行进通过情境300的示范性AV对象的俯视图。所述视图包含情境300、第一移动装置602、第二移动装置604、交互区域606以及在不同状态610a-f中表示的火球610(即,AV对象)。将火球610描绘为行进通过情境300中的障碍物。在示范性游戏应用程序中,AV服务器110可产生幻想类型虚拟对象,例如火球610。举例来说,对象库192和相关联项目176可包含与火球610的属性相关联的特征,以及例如记分机制等其它信息。举例来说,对象库192可包含:
·火球对象=fireball.gif,物理学=传播通过最大5个墙壁,半径随着每次墙壁通过减小20%。
火球610可实际上以初始状态变量启动以指示初始位置、速度和方向向量,以及大小(即,半径)。初始状态610a指示初始位置。第二状态610b指示火球610已在朝向第一移动装置602的方向上移动。虽然在图6中以离散间隔展示不同状态610a-f,但经由入站和出站通信路径410、411的数据传送速率以及其它处理能力可允许状态之间的更连续转变。对象交互引擎模块162可经配置以确定火球610何时与情境300交互。举例来说,对象交互引擎模块162可指示火球610正在与地图中的结构特征(例如,墙壁、门、窗)交互。交互的结果可基于与情境特征相关联的加权信息而改变火球610的状态,例如减小火球610的大小。举例来说,在第三状态610c的火球与墙壁交互且因此大小减小,如第四状态610d中指示。结构特征的类型和/或本质(例如,情境数据180、加权信息182)可影响交互计算的结果。实心墙壁可比窗或立方分隔件更显著地减小大小。举例来说,基于区域的加权信息和/或情境信息,从第四状态610d到第五状态610e的状态改变可为小的。火球610可具有基于目标区域的最大范围(例如,第六状态610f)和效果区域。交互区域606是基于火球610的状态与第一移动装置602的状态相比而确定。与AV对象和移动装置的位置相关联的状态变量可进行比较。在一实例中,第一移动装置602在火球610的路径中且因此虚拟地命中。第二移动装置604移动到新位置,且未命中(例如,未与其交互)火球610。
在一实例中,移动装置的状态可包含应用程序参数,其将影响交互计算。继续图6的幻想火球实例,第一移动装置602可包含状态变量以指示移动装置被屏蔽或另外受保护而不与火球610交互。可使用基于特定AV对象应用程序的其它状态变量。在一实例中,火球610可具有锁定目标方面,其将尝试以特定用户和/或移动装置为目标。情境或加权信息可用以确定移动装置是否在充分的覆盖后方(即,将阻挡火球610的厚墙壁)。
参见图7,展示具有示范性扩展威胁的情境的俯视图。所述视图包含情境300、移动装置702a-c,以及扩展威胁AV对象710。在一实例中,扩展威胁710可表示从种子位置扩展通过情境300的洪水或大群昆虫。扩展的速率和方向可受到情境300中的结构元件的约束。情境数据180和/或加权信息182可用以约束威胁的扩张。对象库192和相关联项目176可包含:
·洪水对象=water.gif,物理学=传播通过走廊和墙壁,体积随着距离减小
举例来说,洪水游戏应用程序可需要用户(例如,移动装置702a-c)避免与扩展威胁710接触。在一实施例中,在移动装置702a上执行的物理引擎模块254可确定扩展威胁710的当前状态且将威胁状态信息提供到AV服务器110。AV服务器可将威胁状态信息分布到额外移动装置(例如,移动装置702b、702c)。在一实施例中,AV服务器110可经配置以确定扩展威胁710的状态且将状态信息分布到移动装置702a-c。
参见图8,进一步参考图7,展示具有示范性扩展威胁和虚拟工具AV对象的情境的俯视图。所述视图包含情境300、扩展威胁710、第一移动装置802a、第二移动装置802b、第三移动装置802c、第一虚拟沙袋集合810a以及第二虚拟沙袋集合810b。在一实例中,扩展威胁710是受情境300约束的虚拟洪水AV对象。用户可与虚拟工具交互以帮助进一步约束洪水。举例来说,虚拟工具可表示虚拟沙袋,例如第一集合虚拟沙袋810a和第二虚拟沙袋集合810b。在训练应用程序中,用户可需要虚拟地拾取第一位置中的虚拟沙袋且随后将其运输到第二位置。此虚拟对象可包含对象周围的地理围栏,以确定移动装置何时在虚拟对象的所需接近度内。所述地理围栏的大小(例如,严格性、容限)可取决于给定场所的定位质量。参见图8中的实例,第一移动装置802a位于第一虚拟沙袋集合810a附近(即,在地理围栏内)。对象交互引擎模块162可调整移动装置的状态以指示来自第一虚拟沙袋集合810a的一或多个虚拟沙袋已经被虚拟地拾取。第二移动装置802b位于扩展威胁710附近或在其路径中的区域中。可修改第二移动装置的状态以指示一或多个虚拟沙袋已被虚拟地放下。第二虚拟沙袋集合810b表示将与虚拟威胁交互的虚拟工具。在洪水实例中,第二虚拟沙袋集合阻挡或另外约束扩展威胁710的路径。在游戏应用程序中,对象可用于一个小组以将扩展威胁约束为有害于对手小组(例如,第三移动装置802将要被洪水围困)。扩展的洪水和虚拟沙袋仅为示范性的而不是限制,因为可使用其它AV对象来表示虚拟威胁和虚拟工具(例如,大群昆虫/臭虫蔓延、巡回的异形/激光手枪、虚拟老虎/笼门杆)。
参见图9,展示具有示范性虚拟训练者AV对象的情境的俯视图。所述视图包含情境300、移动装置902和虚拟训练者910。虚拟对象不限于如先前描述的抛射体和扩展威胁。可开发其它虚拟对象以基于位置和情境与用户交互。举例来说,虚拟训练者910可经配置以埋伏(例如,交互)特定位置的用户而具有极少或没有警示(即,尝试保持所述用户的感觉敏锐)。所述埋伏可导致移动装置902上的第一小游戏,随后是通过情境300的追逐。交互事件的结果和/或后续的第二小游戏可改变移动装置902和/或虚拟训练者910的状态。虚拟训练者910可隐藏在另一位置中等待被发现(例如,捉迷藏)。可利用其它虚拟事物。
参见图10,展示具有多个控制区域和示范性巡回威胁AV对象的情境的俯视图。所述视图包含情境300、第一移动装置1002a、第二移动装置1002b、第三移动装置1002c、第一控制区域1004a、第二控制区域1004b、第三控制区域1004c、第四控制区域1004d、第一巡回威胁1010a、第二巡回威胁1010b以及第三巡回威胁1010c。每一巡回威胁1010a-c分别包含视线(LOS)指示器1011a-c。控制区域和巡回威胁的数目、本质和位置仅为示范性的且不是限制。移动装置的数目是示范性的,因为游戏应用程序可为单玩家或多玩家配置。在操作中,对象库192可包含界定情境内的控制区域的虚拟对象。控制区域可对应于房间,或如情境数据180和/或加权信息182确定由其它结构特征限界。在一实例中,可将情境转换为虚拟星际飞船,使得控制区域中的每一者表示图标控制站。第一控制区域1004a可表示桥,第二控制区域1004b可表示武器站,第三控制区域1004c可表示工程化区域,且第四控制区域1004d可表示储藏室。对象交互引擎模块162可经配置以基于移动装置相对于控制区域的位置而计算交互结果。举例来说,第一移动装置1002a在第一控制区域1004a内,且所得交互结果可为起始桥相关的小游戏(例如,第一小游戏)。第二移动装置1002b位于第三控制区域1004c内,且所得交互结果可为起始工程化相关的小游戏(例如,第二小游戏)。可使用其它交互结果,且可更新移动装置和控制区域的对应状态。
在一实施例中,控制区域1004a-d之间的走廊可包含一或多个巡回威胁1010a-b。继续科幻主题,巡回威胁可表示在情境300中来回移动的虚拟机器异形。巡回威胁1010a-c的移动受情境数据180和/或加权信息182约束。巡回威胁1010a-c中的每一者可包含LOS指示器1011a-c(即,视线变量)以指示巡回威胁的一般关注方向。在操作中,对象交互引擎模块162可经配置以基于巡回威胁的位置以及当前LOS指示器而计算交互结果。交互结果可为在移动装置上起始巡回威胁相关的小游戏。在游戏应用程序中,移动装置、控制区域和巡回威胁的状态可用以创建记分机制。举例来说,游戏可创建供用户完成的任务,且接着随后创建供用户做出反应的紧急事件。用户可能必须在情境中在控制区域之间移动以完成任务。游戏应用程序中也可包含虚拟工具。这些规则和目的仅为示范性的,因为可创建其它游戏应用程序以利用情境特定的控制区域和巡回威胁。
参见图11,进一步参考图10,展示执行一或多个小游戏的移动装置的俯视图。所述视图包含移动装置1100,其经配置以执行和显示地图应用程序1102a、桥小游戏应用程序1102b、武器小游戏应用程序1102c,以及工程化小游戏应用程序1102d。鉴于关于图10描述的科幻主题,地图应用程序1102a-d仅为示范性的。在操作中,AV服务器110可在数据库114中存储地图应用程序1102a-b,且将地图应用程序1102a-d提供到移动装置1100。可基于由对象交互引擎模块162计算的结果起始地图应用程序1102a-d。举例来说,当移动装置1100进入对应控制区域时可起始应用程序。小游戏应用程序可以相应控制区域为主题。桥小游戏可需要用户完成飞行模拟器,武器小游戏可需要用户完成打靶游戏,且工程化游戏可为技术问答游戏。小游戏可包含在增强现实应用程序中与AV对象交互。举例来说,用户可使用移动装置1002c的相机视图来获得通向巡回威胁1010a的走廊的视图。移动装置1002c的显示器可同时展示走廊的现场图像与沿着走廊行进的异形机器人,其中异形机器人的位置是基于状态变量。此小游戏的目的可为虚拟地关断异形机器人(例如,经由移动装置屏幕上的机器人图像上的轻击)。可使用其它小游戏。用户在特定小游戏上的表现可改变移动装置、控制区域或其它游戏应用程序相关的状态模型(例如,星际飞船的位置、损坏状况、威胁等级)的状态。小游戏的结果也可用以基于主题临时修改情境数据(例如,关门、打开空气锁、激活运输器)。
参见图12,进一步参考图1到11,用于显示AV对象的过程1200包含展示的阶段。然而,过程1200仅为实例且并非限制。可例如通过添加、移除、重新布置、组合、同时执行阶段和/或将单个阶段分裂为多个阶段来更改过程1200。举例来说,下文描述的接收AV对象信息的阶段1206可在阶段1202和1204之前执行。如展示和描述的对过程1200的再其它更改也是可能的。
在阶段1202,移动装置200或AV服务器110确定移动装置200的位置。移动装置200可从卫星和/或基于陆地的定位系统获得无线定位信号。移动装置200可利用基于三边测量的方法以确定移动装置的位置。可以位置信息更新装置状态模块256,且可将移动装置状态变量的集合提供到AV服务器110或本地存储在移动装置200上。在一实施例中,在过程1200的开始可执行额外动作。举例来说,用户可起始游戏,设定难度等级,交换游戏参数,执行用户验证,或确定记账信息。也可执行其它应用程序或操作步骤。
在阶段1202,移动装置200或AV服务器110确定情境。情境可为具有作为情境数据180存储在数据库114中的结构特征(包含交互值)的楼层地图。情境可包含例如RSSI/RTT热图等加权信息182。情境中可包含额外媒体内容项目178。情境可基于在阶段1202确定的位置而提供到移动装置200,或可先前存储在移动装置200上且基于移动装置200的位置而接入。
在阶段1206,移动装置200可从AV服务器或从本地存储器获得AV对象信息。AV对象信息可存储在对象库192中,且可包含一或多个相关联项目176,例如媒体内容项目、对象物理引擎和元数据186。AV对象信息也可包含表示AV对象的当前状态的状态变量的集合。状态变量可表示位置、大小、移动速度和方向、交互变量,以及用以模型化AV对象的动作的其它信息。AV对象信息可基于在阶段1202确定的位置而提供到移动装置200。举例来说,AV对象信息可经由出站通信路径410从AV服务器110发射到移动装置。AV对象可先前存储在移动装置200上且在存储媒体210中持续(即,在阶段1202确定位置之前)。
在阶段1208,移动装置200经配置以相对于情境显示AV对象信息。移动装置200包含图形显示器222和AV视图234,其经配置以显示具有AV对象的情境(例如,楼层地图、相机视图)以及表示位于情境中的其它移动装置的图标。举例来说,参见图5,情境300显示为具有虚拟球510和移动装置502。可包含AV对象的位置作为状态变量。可基于物理引擎模块254和或对象交互引擎模块162内的算法的执行而更新AV对象状态变量。图形显示器222可经配置以至少部分地基于状态变量的值而显示AV对象。
在阶段1210,移动装置200或AV服务器110经配置以检测交互。在一实例中,对象交互引擎模块162可处理AV对象信息、情境信息(例如,情境数据180和/或加权信息182)和装置状态模块256以检测交互。交互可例如当AV对象信息指示AV对象靠近情境中的结构元件时(例如,当虚拟球弹离墙壁时,如图5中描绘)发生。在AV对象信息指示AV对象靠近移动装置的情况下可检测交互。可基于输入到移动装置200中的手势或其它装置状态信息而检测交互。
在阶段1212,移动装置200或AV服务器110经配置以基于交互而修改AV对象信息。对象交互引擎模块162和/或物理引擎模块254经配置以基于检测到的交互而计算交互结果。交互结果可指示在交互之后AV对象移动的速度和方向。举例来说,修改可为基于交互结果而减少AV对象的速度状态变量的值(即,减小虚拟速度)。交互结果可指示AV对象的大小在交互之后减小(即,修改大小状态变量)。可基于交互结果修改与AV对象相关联的其它状态变量。在图7的扩展威胁实例中,交互结果可约束AV对象的扩展。交互结果可基于与情境300、移动装置802c、虚拟工具(例如,虚拟沙袋810b)的交互或基于其中的组合。经修改AV对象信息可经由网络140分布到其它移动装置。
在阶段1214,移动装置200经配置以显示经修改AV对象信息。经修改AV对象信息可包含基于经修改状态变量的改变(例如,速度、方向、大小的改变),以及媒体内容项目178(例如,图形文件、LOS指示器1011)的改变。媒体内容项目178的改变可对应于状态变量的改变(即,状态变量可为指向媒体内容项目的指针)。显示经修改AV对象信息可在单个移动装置上或在网络140上的多个移动装置上发生。
参见图13A,进一步参考图1到4,用于确定交互变量的过程1300包含展示的阶段。然而,过程1300仅为实例且并非限制。可例如通过添加、移除、重新布置、组合、同时执行阶段和/或将单个阶段分裂为多个阶段来更改过程1300。
在阶段1302,AV服务器110可获得情境数据180。开发者可利用开发者装置420来接入数据库114且存储情境300。情境可包含例如具有若干区域的建筑物的布局。情境300可为存储在AV服务器110或移动装置上的数据文件(例如,.dwg、BIMXML)。所述区域可为物理上分离的区域,例如房间、庭院、过道和类似物,或通过非物理边界分离的区域,例如施加于地图上的网格上的区域。
在阶段1304,AV服务器110可经配置以确定对应于情境内的一或多个区域的位置数据。指令116可包含计算机可读指令以致使处理器118将情境分段为若干区域。所述分段可基于结构特征(例如,墙壁、门、窗)以及开放空间的分析以确定房间、庭院、过道和类似物的位置。
在阶段1306,AV服务器110可经配置以确定区域中的每一者的加权信息。在一实例中,加权信息可作为特定建筑特征的性质和/或属性(例如,材料、大小、半径、厚度等…)包含在建筑文件中。加权信息可基于建筑特征(例如,墙壁、墙壁的组成、距离)的数目以及可影响RSSI和RTT信号信息的其它因数。加权信息可基于从情境中的一或多个移动装置提供的结果而确定。参见图3,例如,接入点302可俘获由移动装置304a、304b、304c中的每一者占据的区域的RSSI和RTT信号信息。对应于区域中的每一者的加权信息可存储在数据库114中。在一实例中,RSSI和/或RTT信息可相关到建筑特征性质,例如墙壁材料。即,具有低信号(即,高损耗)的情境内的区域可相关到‘混凝土’材料,具有中等信号(即,中等损耗)的区域可相关到‘干墙’材料,且具有高信号(例如,低损耗)的区域可相关到开放空间。随着更多移动装置进入情境(例如,众包),可随着时间更新且精炼情境的加权信息。加权信息可为可上覆于情境的物理布局的热图。
在阶段1308,AV服务器110可经配置以基于加权信息确定交互变量。交互变量可为与加权信息相关联的状态变量和/或函数。交互变量可基于结构特征(例如,硬墙壁、门、开放的走廊)的组成,或基于RSSI和/或RTT数据的信号强度。交互变量可用以模型化AV对象与情境内的建筑特征之间的交互。举例来说,虚拟球510可弹离具有‘砖’材料性质的墙壁,且突破具有‘玻璃’材料性质的墙壁。交互变量可为用以确定例如作为弹回或突破的结果的虚拟球510的速度和方向的函数。
在一实施例中,墙壁的组成和放置可包含虚拟组件,且交互变量可基于所述虚拟组件。举例来说,某些墙壁的加权信息可指示砖或混凝土。此实际加权信息可虚拟地指定为幻想设定中的‘石头’或科幻设定中的‘永凝土’。用于虚拟指定的交互变量可在应用程序中使用。可指定其它建筑或环境特征,例如虚拟书柜、挂毯、防爆门或其它虚拟结构。虚拟特性可基于真实特征的性质。举例来说,虚拟石头的厚度和对应耐久性可相对于情境中的真实墙壁的特性(即,材料、大小、位置、配置)。在操作中,对象交互引擎模块162可利用交互变量或函数以及特征性质来确定与AV对象的交互结果。举例来说,参见图6,交互变量的高值可致使火球610的状态在大小上减少较大的量,而交互变量的低值可致使火球610的状态在大小上减少较小的量。交互变量或函数的影响对于不同AV对象可为不同的。
参见图13B,展示用于加权信息和交互变量的示范性数据结构。数据库114可包含情境数据180和加权信息182的集合。在一实例中,情境数据180可为情境300的电子表示。电子表示的实例可包含(但不限于)计算机自动化设计(CAD)文件、BIM文件(例如,BIMXML)和其它专属文件。图13B的实例性情境数据记录180a利用BIMXML格式,其包含属性标签(即,‘属性值’标签)。标签仅为示范性的且不是限制。属性标签可用以参考加权信息182。举例来说,情境数据记录180a指示情境特征的材料是‘砖’。加权信息182可为数据库或其它文件结构中的集合记录,以使特征性质(例如,属性标签)与交互变量或函数相关。作为实例,加权信息数据表182a可包含AV对象1320的列表以及交互变量或函数的集合。加权信息数据表182a可通过将使用的建筑特征来标引(例如,属性标签),例如图13B中的材料值实例。对于给定属性标签(例如,空、砖、玻璃、干墙、混凝土、等…)和AV对象(例如,球、水、火球、机器人),可确定交互变量1322。举例来说,通过利用交互函数B(v,d),球将与砖交互。函数B(v,d)可为对对象交互引擎模块162内的函数的调用。函数调用可包含例如实例的速率(v)和方向(d)向量的参数。其它参数和其它函数可用于各种AV对象和加权信息值。
在一实施例中,加权信息182可通过由移动装置提供的信号参数来标引。举例来说,属性标签(例如,空、砖、玻璃、干墙、混凝土)可被信号强度值或者基于RSSI和/或RTT数据的其它信息代替。在此实例中,交互变量1322的选择是基于AV对象和信号参数。在一实施例中,加权信息数据表182a中的属性标签可通过信号参数增强,使得交互变量的选择是基于AV对象以及属性标签和信号参数的组合。
参见图14A,进一步参考图4,用于将位置和手势更新提供到AV服务器的过程1400包含展示的阶段。然而,过程1400仅为实例且并非限制。可例如通过添加、移除、重新布置、组合、同时执行阶段和/或将单个阶段分裂为多个阶段来更改过程1400。举例来说,下文描述的接收AV对象信息和对等位置更新的阶段1406可在阶段1406之前执行。如展示和描述的对过程1400的再其它更改也是可能的。
在阶段1402,移动装置402a经由入站通信路径411a向AV服务器110登记。登记过程可用以指示移动装置402a准备好接收AV对象信息。登记过程可包含安全性程序(例如,口令),且可当移动装置402加入网络140或进入情境300时自动发生。
在阶段1404,移动装置402经由出站通信路径410a从AV服务器110接收AV对象信息和对等位置更新。AV对象信息可在数据库114中持久,且在阶段1402中的登记之后提供到移动装置402a。AV对象信息可先前存储在移动装置402a上的数据库212中。AV服务器110可经配置以经由入站通信路径411b、411c从其它移动装置(例如,移动装置402b、402c)接收对等位置更新,且经由出站通信路径410a将对等位置更新提供到其移动装置402a。AV对象信息和对等位置更新可为分别与AV对象和移动装置402b、402c相关联的一或多个状态变量。
在阶段1406,移动装置402a经由入站通信路径411a将位置和手势更新提供到AV服务器110。位置和手势更新可为装置状态模块256中的一或多个状态变量。对象交互引擎模块162可利用位置和手势更新确定交互事件和/或更新AV对象信息。AV服务器110可如阶段1404所描述将AV对象信息和位置更新分布到其它移动装置402b、402c。
参见图14B,进一步参考图4,用于将AV对象位置更新提供到AV服务器的过程1450包含展示的阶段。然而,过程1450仅为实例且并非限制。可例如通过添加、移除、重新布置、组合、同时执行阶段和/或将单个阶段分裂为多个阶段来更改过程1450。
在阶段1452,移动装置402a经由入站通信路径411a向AV服务器110登记。登记过程可用以指示移动装置402a准备好接收AV对象信息。登记过程可包含安全性程序(例如,口令),且可当移动装置402加入网络140或进入情境300时自动发生。
在阶段1454,移动装置402a从AV服务器110接收包含AV对象物理引擎模块174的AV对象信息。对象物理引擎模块174在物理引擎模块254中本地执行(即,在移动装置402a上)。在操作中,物理引擎模块254模拟AV对象的运动且更新位置或其它AV对象状态变量。更新的速率可基于规范处理器216以及网络140的可用带宽。物理引擎模块254和对象交互引擎模块162可用以确定AV对象与情境之间的交互的结果。举例来说,情境和对应加权信息可存储在移动装置上且可用于由物理引擎和对象交互引擎模块处理。
在阶段1456,移动装置402a经由入站通信路径411b将AV对象状态变量更新提供到AV服务器。AV服务器可将经更新AV对象状态变量广播到其它移动装置402b、402c。AV服务器110可经配置以基于其对应状态变量(例如,位置、游戏特定条件)选择性地将更新提供到其它移动装置402b、402c。
参见图15,进一步参考图5,用于修改AV对象的状态变量的过程1500包含展示的阶段。然而,过程1500仅为实例且并非限制。可例如通过添加、移除、重新布置、组合、同时执行阶段和/或将单个阶段分裂为多个阶段来更改过程1500。举例来说,下文描述的用于确定移动装置交互结果的阶段1510可在阶段1506和1508之前执行。如展示和描述的对过程1500的再其它更改也是可能的。
在阶段1502,移动装置502c或AV服务器110可经配置以基于移动装置502c的位置确定情境。举例来说,情境300可为办公建筑物的楼层图。AV服务器110可当移动装置进入情境300内的位置时经由网络140将情境300提供到移动装置502c。情境300可先前存储在移动装置502c上。
在阶段1504,移动装置502c或AV服务器110可经配置以产生AV对象的初始状态。举例来说,虚拟球510的初始状态包含具有初始方向和速度信息的位置‘A’。AV对象的初始状态可由移动装置产生。
在阶段1506,在移动装置502c上或AV服务器110上执行的对象交互引擎模块162可经配置以用情境数据180和/或加权信息182(例如,交互变量)处理AV对象的状态。来自对象交互引擎模块162的输出可为交互结果。举例来说,在虚拟球510位于位置‘C’的情况下,结果是在阶段1508修改(即,改变其值)与虚拟球510的方向和速度相关联的状态变量。其它交互结果是可能的。举例来说,情境交互结果可减少AV对象(例如,火球610)的大小,或约束AV对象(例如,扩展威胁710)。
在阶段1510,在移动装置502c上或AV服务器110上执行的对象交互引擎模块162可经配置以用移动装置状态信息处理AV对象的状态。举例来说,当虚拟球510到达位置‘E’时,移动装置502c的用户可将手势或其它传感器输入输入到移动装置502c且修改移动装置502c的状态。交互结果可在阶段1512修改AV对象的状态。交互结果也可修改移动装置502c的状态和/或情境300的状态。举例来说,如果虚拟球510是砾石,那么交互结果可为临时移除情境300中的墙壁或其它结构。经修改AV对象可在移动装置502c上以及其它移动装置502a、502b上显示。
参见图16,进一步参考图8,用于基于情境或工具交互修改AV对象的状态变量的过程1600包含展示的阶段。然而,过程1600仅为实例且并非限制。可例如通过添加、移除、重新布置、组合、同时执行阶段和/或将单个阶段分裂为多个阶段来更改过程1600。
在阶段1602,移动装置802a或AV服务器110可经配置以基于移动装置802a的位置确定情境。举例来说,情境300可为办公建筑物的楼层图。当移动装置进入情境300内的位置时可经由网络140将情境300提供到移动装置802a。情境300可先前存储在移动装置802a上。
在阶段1604,移动装置802a或AV服务器110可经配置以产生虚拟威胁的状态。虚拟威胁的初始状态可包含初始位置和移动变量。举例来说,扩展威胁710可包含种子位置和洪水速率变量以确定扩展威胁710将有多快冲过区域。初始状态也可包含变量以指示扩展威胁710的边界(例如,多边形)。
在阶段1606,在移动装置802a上或AV服务器110上执行的对象交互引擎模块162可经配置以确定情境交互结果。举例来说,情境300包含将约束扩展威胁710的墙壁。情境交互结果可修改扩展威胁710状态信息中的边界变量。也可确定其它情境交互结果。
在阶段1608,移动装置802a或AV服务器110可经配置以产生虚拟工具的状态。虚拟工具的初始状态可包含初始位置和交互变量。举例来说,虚拟沙袋810a可位于情境300中处于与由扩展威胁占据的区域分开的区域中。游戏应用程序的目的可为要求用户将虚拟工具从第一位置重定位到第二位置。用户可将虚拟工具移动到适当位置中以致使与另一AV对象的交互。移动装置802b已移动虚拟沙袋810b以与扩展威胁710交互。
在阶段1610,在移动装置802a上或AV服务器110上执行的对象交互引擎模块162可经配置以确定工具交互结果。举例来说,虚拟沙袋810b的状态和扩展威胁710的状态可由对象交互引擎模块162处理以确定工具交互结果。工具交互结果可修改扩展威胁710的边界状态变量。
在阶段1612,可基于情境交互结果和/或工具交互结果修改虚拟威胁的状态。沙袋虚拟工具仅为示范性的且不是限制。可使用其它虚拟工具。举例来说,继续洪水实例,虚拟工具可为虚拟排水管或虚拟冷冻射线或虚拟海绵。情境交互结果和工具交互结果的计算次序仅为示范性的。可串行或并行地计算结果。在一些应用中,可使用情境区域与虚拟工具之间的协同(例如,组合效果大于个别添加的个别效果)。应用程序可具有多个虚拟工具,各自具有针对给定虚拟威胁的不同交互结果。
参见图17,进一步参考图10,用于在移动装置上起始小游戏的过程1700包含展示的阶段。然而,过程1700仅为实例且并非限制。可例如通过添加、移除、重新布置、组合、同时执行阶段和/或将单个阶段分裂为多个阶段来更改过程1700。
在阶段1702,移动装置1002a或AV服务器110可经配置以基于移动装置1002a的位置确定情境。举例来说,情境300可为办公建筑物的楼层图。当移动装置进入情境300内的位置时可经由网络140将情境300提供到移动装置1002a。情境300可先前存储在移动装置1002a上。
在阶段1704,移动装置1002a或AV服务器110可经配置以建立情境内的一或多个控制区域。控制区域可对应于房间、庭院、过道和类似物,或通过非物理边界分离的区域,例如施加于情境300上的网格上的区域。控制区域可为具有对应状态变量的AV对象。AV服务器110可将控制区域广播到其它移动装置(例如,1002b、1002c)。
在阶段1706,移动装置1002a或AV服务器110可经配置以产生一或多个巡回威胁的状态。作为实例且并非限制,巡回威胁的初始状态可包含初始位置、移动和视线变量。巡回威胁的移动和视线可受情境约束。举例来说,参见图10,巡回威胁1010a表示经配置以在情境300的走廊上漫游的异形机器人。巡回威胁1010a可在不同方向上随机改变其LOS指示器1011a。可更新巡回威胁的状态变量以指示LOS指示器1011a的方向。
在阶段1708,移动装置1002a或AV服务器110可经配置以确定巡回威胁中的每一者的活动区。举例来说,活动区可为巡回威胁周围的经界定区域。活动区可包含LOS信息,因此允许用户在巡回威胁后方悄悄接近而不被检测到。活动区可受情境300约束。巡回威胁LOS可被如情境数据180和/或加权信息182中界定的墙壁或其它结构项目阻挡。在阶段1710,可确定移动装置1002a的状态。对象交互引擎模块162可经配置以在阶段1714将移动装置的位置与一或多个巡回威胁的活动区的位置进行比较。如果所述比较指示移动装置在巡回威胁活动区内,那么移动装置可经配置以在阶段1716执行小游戏应用程序。举例来说,用户可能必须完成战斗相关的小游戏以尝试打败或逃离巡回威胁。小游戏的结果可影响移动装置和巡回威胁的状态变量。举例来说,巡回威胁可具有可由于小游戏而减少的伤害变量。
在阶段1712,对象交互引擎模块162可经配置以确定移动装置的当前位置是否在控制区域内。举例来说,参见图10,移动装置1002a在控制区域1004a内。当移动装置1002a在控制区域1004a内时,在阶段1716可向用户呈现小游戏。小游戏可对应于控制区域(例如,上文描述的模拟桥实例),且小游戏的结果可影响移动装置、控制区域或其它基于应用程序的数据字段的状态变量。
如本文使用,包含在权利要求书中,在以“…中的至少一者”开始的项目列表中使用的“或”指示分离性列表,使得例如“A、B或C中的至少一者”意味着A或B或C或AB或AC或BC或ABC(即,A和B和C),或具有一个以上特征的组合(例如,AA、AAB、ABBC等)。
如本文中所使用,包含在权利要求书中,除非另有陈述,否则功能或操作是“基于”项目或条件的声明意味着所述功能或操作是基于所陈述的项目或条件,且可基于除了所陈述的项目或条件之外的一或多个项目和/或条件。无线通信网络不无线地发射所有通信,但经配置以无线地发射至少一些通信。
其它实例及实施方案在本发明及所附权利要求书的范围和精神内。举例来说,由于软件的本质,上文描述的功能可使用通过处理器、硬件、固件、硬连线或任何这些的组合执行的软件(例如,计算机程序产品)来实施。此软件可为驻留于处理器可执行存储媒体上的计算机程序产品。实施功能的特征还可物理上位于各种位置处,包含经分布以使得功能的部分在不同物理位置处实施。
此外,可揭示一个以上发明。
可根据特定要求作出对所描述的配置的实质变化。举例来说,还可能使用定制硬件,和/或可能以硬件、软件(包含便携式软件,例如小程序等等)或两者实施特定元件。此外,可采用到例如网络输入/输出装置等其它计算装置的连接。
常见形式的物理及/或有形的计算机可读媒体包含例如软性磁盘、柔性磁盘、硬盘、磁带,或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带、如下文描述的载波,或计算机可从其读取指令和/或代码的任何其它媒体。举例来说,计算机可读媒体可为驻留于处理器可执行存储媒体上的计算机程序产品,所述计算机程序产品包含经配置以致使处理器执行本文描述的一或多个特征的处理器可执行指令。
上文论述的方法、系统和装置是实例。各种配置可在适当时省略、替换或添加各种程序或组件。举例来说,在替代配置中,方法可以不同于所描述的次序来执行,且可添加、省略或组合各种步骤。而且,相对于某些配置描述的特征可在各种其它配置中组合。配置的不同方面和元件可以类似方式组合。而且,技术演进,且因此元件中的许多为实例且并不限制本发明或权利要求书的范围。
在描述中给出特定细节以提供对实例配置(包含实施方案)的透彻理解。然而,可在无这些具体细节的情况下实践配置。举例来说,已在无不必要细节的情况下展示众所周知的电路、工艺、算法、结构和技术以免混淆所述配置。本描述仅提供实例配置,且并不限制权利要求的范围、适用性或配置。实际上,所述配置的前面描述提供用于实施所描述的技术的描述。在不脱离本发明的精神或范围的情况下,可对元件的功能及布置作出各种改变。
而且,可将配置描述为描绘为流程图或框图的过程。虽然各自可将操作描述为顺序过程,但所述操作中的许多可并行地或同时执行。另外,操作的次序可重新布置。过程可具有图中未包含的额外阶段或功能。此外,方法的实例可由硬件、软件、固件、中间件、微码、硬件描述语言或其任一组合实施。当以软件、固件、中间件或微码实施时,用以执行任务的程序代码或代码段可存储在例如存储媒体等非暂时性计算机可读媒体中。处理器可执行所描述的任务。
图中展示及/或本文中论述为相互连接或通信的功能性或其它组件以通信方式耦合。即,其可直接或间接地连接以实现其间的通信。
已描述若干实例配置后,在不脱离本发明的精神的情况下可使用各种修改、替代构造和等效物。举例来说,上文元件可为较大系统的组件,其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。而且,在考虑上述元件之前、期间或之后可采取若干操作。因此,上文描述并不约束权利要求书的范围。
一值超过(或大于)第一阈值的陈述等效于所述值满足或超过稍微大于第一阈值的第二阈值的陈述,例如,所述第二阈值为在计算系统的分辨率上高于第一阈值的一个值。一值小于(或在其内)第一阈值的陈述等效于所述值小于或等于稍微低于第一阈值的第二阈值的陈述,例如,所述第二阈值为在计算系统的分辨率上低于第一阈值的一个值。

Claims (28)

1.一种用于在移动装置上提供增强虚拟性AV的方法,其包括:
确定所述移动装置的位置;
基于所述位置确定情境;
获得AV对象信息;
相对于所述情境显示所述AV对象信息;
检测与所述情境的交互;
基于所述交互修改所述AV对象信息;以及
显示经修改AV对象信息。
2.根据权利要求1所述的方法,其中所述情境包含加权信息。
3.根据权利要求2所述的方法,其中所述加权信息是基于接收信号强度指示RSSI或往返行程时间RTT数据。
4.根据权利要求2所述的方法,其中所述加权信息与所述情境中的物理对象的组成相关联。
5.根据权利要求1所述的方法,其包括:
从用户接收手势;以及
基于所接收手势修改所述AV对象信息。
6.根据权利要求5所述的方法,其包括:
向所述用户提供警报信号;以及
基于反应时间修改所述AV对象信息,其中所述反应时间是提供所述警报信号的时间与接收所述手势的时间之间的差。
7.根据权利要求1所述的方法,其包括:
从增强虚拟性AV服务器接收所述AV对象信息;以及
将所述经修改AV对象信息提供到所述AV服务器。
8.一种用于在移动装置上提供增强虚拟性AV的设备,其包括:
存储器模块;
处理器,其耦合到所述存储器模块且经配置以:
确定所述移动装置的位置;
基于所述位置确定情境;
获得AV对象信息;
相对于所述情境显示所述AV对象信息;
检测与所述情境的交互;
基于所述交互修改所述AV对象信息;以及
显示经修改AV对象信息。
9.根据权利要求8所述的设备,其中所述情境包含加权信息。
10.根据权利要求9所述的设备,其中所述加权信息是基于接收信号强度指示RSSI或往返行程时间RTT数据。
11.根据权利要求9所述的设备,其中所述加权信息与所述情境中的物理对象的组成相关联。
12.根据权利要求8所述的设备,其中所述处理器进一步经配置以:
接收用户手势;以及
基于所接收手势修改所述AV对象信息。
13.根据权利要求12所述的设备,其中所述处理器进一步经配置以:
向用户提供警报信号;以及
基于反应时间修改所述AV对象信息,其中所述反应时间是提供所述警报信号的时间与接收所述用户手势的时间之间的差。
14.根据权利要求8所述的设备,其中所述处理器进一步经配置以:
从增强虚拟性AV服务器接收所述AV对象信息;以及
将所述经修改AV对象信息提供到所述AV服务器。
15.一种用于在移动装置上提供增强虚拟性AV的设备,其包括:
用于确定所述移动装置的位置的装置;
用于基于所述位置确定情境的装置;
用于获得AV对象信息的装置;
用于相对于所述情境显示所述AV对象信息的装置;
用于检测与所述情境的交互的装置;
用于基于所述交互修改所述AV对象信息的装置;以及
用于显示经修改AV对象信息的装置。
16.根据权利要求15所述的设备,其中所述情境包含加权信息。
17.根据权利要求16所述的设备,其中所述加权信息是基于接收信号强度指示RSSI或往返行程时间RTT数据。
18.根据权利要求16所述的设备,其中所述加权信息与所述情境中的物理对象的组成相关联。
19.根据权利要求15所述的设备,其包括:
用于从用户接收手势的装置;以及
用于基于所接收手势修改所述AV对象信息的装置。
20.根据权利要求19所述的设备,其包括:
用于向所述用户提供警报信号的装置;以及
用于基于反应时间修改所述AV对象信息的装置,其中所述反应时间是提供所述警报信号的时间与接收所述手势的时间之间的差。
21.根据权利要求15所述的设备,其包括:
用于从增强虚拟性AV服务器接收所述AV对象信息的装置;以及
用于将所述经修改AV对象信息提供到所述AV服务器的装置。
22.一种驻留于处理器可执行存储媒体上的计算机程序产品,所述计算机程序产品包括经配置以致使处理器进行以下操作的处理器可执行指令:
确定移动装置的位置;
基于所述位置确定情境;
获得AV对象信息;
相对于所述情境显示所述AV对象信息;
检测与所述情境的交互;
基于所述交互修改所述AV对象信息;以及
显示经修改AV对象信息。
23.根据权利要求22所述的计算机程序产品,其中所述情境包含加权信息。
24.根据权利要求23所述的计算机程序产品,其中所述加权信息是基于接收信号强度指示RSSI或往返行程时间RTT数据。
25.根据权利要求23所述的计算机程序产品,其中所述加权信息与所述情境中的物理对象的组成相关联。
26.根据权利要求22所述的计算机程序产品,其进一步包括经配置以致使所述处理器进行以下操作的指令:
接收用户手势;以及
基于所接收手势修改所述AV对象信息。
27.根据权利要求26所述的计算机程序产品,其进一步包括经配置以致使所述处理器进行以下操作的指令:
向用户提供警报信号;以及
基于反应时间修改所述AV对象信息,其中所述反应时间是提供所述警报信号的时间与接收所述用户手势的时间之间的差。
28.根据权利要求22所述的计算机程序产品,其进一步包括经配置以致使所述处理器进行以下操作的指令:
从增强虚拟性AV服务器接收所述AV对象信息;以及
将所述经修改AV对象信息提供到所述AV服务器。
CN201910994587.5A 2013-09-30 2014-09-24 增强现实设备、方法和程序 Pending CN110833689A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/042,213 2013-09-30
US14/042,213 US10217284B2 (en) 2013-09-30 2013-09-30 Augmented virtuality
CN201480052006.1A CN105555373B (zh) 2013-09-30 2014-09-24 增强现实设备、方法和程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480052006.1A Division CN105555373B (zh) 2013-09-30 2014-09-24 增强现实设备、方法和程序

Publications (1)

Publication Number Publication Date
CN110833689A true CN110833689A (zh) 2020-02-25

Family

ID=51703407

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910994587.5A Pending CN110833689A (zh) 2013-09-30 2014-09-24 增强现实设备、方法和程序
CN201480052006.1A Active CN105555373B (zh) 2013-09-30 2014-09-24 增强现实设备、方法和程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480052006.1A Active CN105555373B (zh) 2013-09-30 2014-09-24 增强现实设备、方法和程序

Country Status (6)

Country Link
US (1) US10217284B2 (zh)
EP (1) EP3052208A1 (zh)
JP (1) JP2016539668A (zh)
KR (1) KR20160065902A (zh)
CN (2) CN110833689A (zh)
WO (1) WO2015048055A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9536352B2 (en) * 2014-03-27 2017-01-03 Intel Corporation Imitating physical subjects in photos and videos with augmented reality virtual objects
US10332283B2 (en) * 2014-09-16 2019-06-25 Nokia Of America Corporation Visualized re-physicalization of captured physical signals and/or physical states
US11054893B2 (en) * 2014-11-15 2021-07-06 Vr Exit Llc Team flow control in a mixed physical and virtual reality environment
WO2016172506A1 (en) * 2015-04-23 2016-10-27 Hasbro, Inc. Context-aware digital play
CN104869160B (zh) * 2015-05-12 2018-07-31 成都绿野起点科技有限公司 一种基于云平台的分布式虚拟现实系统
AU2017218895A1 (en) * 2016-02-08 2018-09-13 Security Services Northwest, Inc. Location based security alert system
IL298181B1 (en) * 2016-04-21 2024-04-01 Magic Leap Inc A visual aura around the field of vision
CN105955463A (zh) * 2016-04-26 2016-09-21 王立峰 基于bim的vr虚拟感受系统
EP3465331A4 (en) 2016-06-06 2020-01-29 Warner Bros. Entertainment Inc. MIXED REALITY SYSTEM
CN106302679B (zh) * 2016-08-08 2018-10-02 腾讯科技(深圳)有限公司 一种虚拟对象移动同步方法、客户端及服务器
US10726735B1 (en) * 2016-08-31 2020-07-28 Rockwell Collins, Inc. Simulation and training with virtual participants in a real-world environment
CN106371603A (zh) * 2016-09-18 2017-02-01 成都动鱼数码科技有限公司 基于位置服务和增强现实技术的角色定位捕捉方法
US20180114363A1 (en) * 2016-10-25 2018-04-26 Microsoft Technology Licensing, Llc Augmented scanning of 3d models
EP3319361A1 (en) * 2016-11-03 2018-05-09 Alcatel Lucent Method and apparatus for a radio communication network
EP3400991A1 (en) * 2017-05-09 2018-11-14 Trimoo IP Europe B.V. Transport simulation in a location-based mixed-reality game system
WO2018206605A1 (en) * 2017-05-08 2018-11-15 Trimoo Ip Europe B.V. Transport simulation in a location-based mixed-reality game system
EP3400992A1 (en) * 2017-05-08 2018-11-14 Trimoo IP Europe B.V. Providing a location-based mixed-reality experience
US11054272B2 (en) * 2017-05-11 2021-07-06 Disney Enterprises, Inc. Physical navigation guided via story-based augmented and/or mixed reality experiences
JP7029888B2 (ja) 2017-05-23 2022-03-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
CN109931923B (zh) 2017-12-15 2023-07-07 阿里巴巴集团控股有限公司 一种导航引导图的生成方法和装置
US20190184291A1 (en) * 2017-12-20 2019-06-20 Andar, Inc. Augmented reality game that promotes in-store sales
US10768605B2 (en) * 2018-07-23 2020-09-08 Accenture Global Solutions Limited Augmented reality (AR) based fault detection and maintenance
US11103773B2 (en) * 2018-07-27 2021-08-31 Yogesh Rathod Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence
US11241624B2 (en) * 2018-12-26 2022-02-08 Activision Publishing, Inc. Location-based video gaming with anchor points
US11385610B2 (en) * 2019-08-16 2022-07-12 Exato IP LLC Stage automation system
US11263787B2 (en) * 2020-03-05 2022-03-01 Rivian Ip Holdings, Llc Augmented reality detection for locating autonomous vehicles
CN111744181A (zh) * 2020-07-01 2020-10-09 网易(杭州)网络有限公司 游戏中信息的显示方法、装置、游戏客户端及介质
US11495004B1 (en) * 2021-06-15 2022-11-08 Meta Platforms Technologies, Llc Systems and methods for lighting subjects for artificial reality scenes
CN113766420B (zh) * 2021-09-08 2023-08-29 海南医学院 公共卫生领域的虚拟墙医疗隔离智能信息系统
JP7327851B1 (ja) 2022-11-09 2023-08-16 Tradfit株式会社 情報処理方法、プログラム及び情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195461A1 (en) * 2011-01-31 2012-08-02 Qualcomm Incorporated Correlating areas on the physical object to areas on the phone screen
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US7646394B1 (en) 2004-03-05 2010-01-12 Hrl Laboratories, Llc System and method for operating in a virtual environment
US20080252640A1 (en) * 2007-04-13 2008-10-16 Jeffrey Williams Systems and methods for interactive real estate viewing
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US20090174703A1 (en) * 2008-01-07 2009-07-09 Disney Enterprises, Inc. Particle-based method of generating and animating three-dimensional vegetation
WO2010029553A1 (en) * 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US8442502B2 (en) 2010-03-02 2013-05-14 Empire Technology Development, Llc Tracking an object in augmented reality
US9901828B2 (en) 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
JP2011258159A (ja) * 2010-06-11 2011-12-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US20120032877A1 (en) * 2010-08-09 2012-02-09 XMG Studio Motion Driven Gestures For Customization In Augmented Reality Applications
US20120038668A1 (en) 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
JP4914528B1 (ja) 2010-08-31 2012-04-11 新日鉄ソリューションズ株式会社 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム
US8385596B2 (en) * 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US20120176525A1 (en) * 2011-01-12 2012-07-12 Qualcomm Incorporated Non-map-based mobile interface
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
JP2012212225A (ja) 2011-03-30 2012-11-01 Nifty Corp 情報処理装置、方法およびプログラム
CN102142055A (zh) 2011-04-07 2011-08-03 上海大学 基于增强现实交互技术的真三维设计方法
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US8550909B2 (en) * 2011-06-10 2013-10-08 Microsoft Corporation Geographic data acquisition by user motivation
JP5864144B2 (ja) * 2011-06-28 2016-02-17 京セラ株式会社 表示機器
JP5762892B2 (ja) 2011-09-06 2015-08-12 ビッグローブ株式会社 情報表示システム、情報表示方法、及び情報表示用プログラム
JP5940785B2 (ja) 2011-09-14 2016-06-29 株式会社バンダイナムコエンターテインメント プログラムおよびゲーム装置
US9285871B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
JP5995304B2 (ja) 2011-12-12 2016-09-21 株式会社バンダイナムコエンターテインメント プログラム、情報記憶媒体、端末及びサーバ
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US8880101B2 (en) * 2012-12-16 2014-11-04 Federico Fraccaroli Method and apparatus for managing attributes and functionalities of predetermined geographical areas
US20140267282A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh System And Method For Context Dependent Level Of Detail Adjustment For Navigation Maps And Systems
US9383819B2 (en) * 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US20150009117A1 (en) * 2013-07-03 2015-01-08 Richard R. Peters Dynamic eye trackcing data representation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195461A1 (en) * 2011-01-31 2012-08-02 Qualcomm Incorporated Correlating areas on the physical object to areas on the phone screen
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display

Also Published As

Publication number Publication date
EP3052208A1 (en) 2016-08-10
KR20160065902A (ko) 2016-06-09
US20150091941A1 (en) 2015-04-02
CN105555373B (zh) 2019-11-12
CN105555373A (zh) 2016-05-04
JP2016539668A (ja) 2016-12-22
WO2015048055A1 (en) 2015-04-02
US10217284B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
US10217284B2 (en) Augmented virtuality
US10188949B2 (en) Game object control system and program
US9345967B2 (en) Method, device, and system for interacting with a virtual character in smart terminal
JP7206398B2 (ja) ユーザインターフェース表示方法、ユーザインターフェース表示装置、端末、コンピュータ装置、およびプログラム
CN110537210B (zh) 增强现实显示系统、程序以及方法
CN112805748B (zh) 使用深度提示对深度估计模型的自我监督训练
US11612809B2 (en) Input interface system and location-based game system
KR101670147B1 (ko) 휴대용 디바이스, 가상 현실 시스템 및 방법
CN112862935B (zh) 游戏角色的运动处理方法及装置、存储介质、计算机设备
US20120231887A1 (en) Augmented Reality Mission Generators
US20140018094A1 (en) Spatial determination and aiming of a mobile device
KR101800109B1 (ko) Iot 기기를 이용해서 증강 현실을 구현한 전장 온라인 게임
JP5915334B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112245921A (zh) 虚拟对象控制方法、装置、设备及存储介质
TWI797571B (zh) 用於自單一影像判定可遍歷空間之電腦實施方法及電腦可讀儲存媒體
WO2023071808A1 (zh) 基于虚拟场景的图形显示方法、装置、设备以及介质
CN110585708A (zh) 虚拟环境中从飞行器着陆的方法、装置及可读存储介质
CN108235764A (zh) 信息处理方法、装置、云处理设备及计算机程序产品
KR102317103B1 (ko) Iot 기기를 이용해서 증강 현실을 구현한 전장 온라인 게임
De Schepper et al. A virtual reality-based multiplayer game using fine-grained localization
TWI839513B (zh) 用於利用深度提示之深度預估模型之自我監督訓練之電腦實施之方法及非暫時性電腦可讀儲存媒體
KR20180019828A (ko) 증강현실기반게임 캐릭터 또는 아이템 출몰예상정보제공시스템 및 그 제공방법
CN114155323A (zh) 一种虚拟角色的信息处理方法及系统
CN117751339A (zh) 交互式增强现实和虚拟现实体验
CN112843682A (zh) 数据同步方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200225