CN110720084A - 用于显示动态现实世界环境并与之交互的系统和方法 - Google Patents

用于显示动态现实世界环境并与之交互的系统和方法 Download PDF

Info

Publication number
CN110720084A
CN110720084A CN201880037891.4A CN201880037891A CN110720084A CN 110720084 A CN110720084 A CN 110720084A CN 201880037891 A CN201880037891 A CN 201880037891A CN 110720084 A CN110720084 A CN 110720084A
Authority
CN
China
Prior art keywords
arbit
world environment
dynamic real
user
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880037891.4A
Other languages
English (en)
Other versions
CN110720084B (zh
Inventor
罗纳德·戴尔·克莱门特
伊莱恩·泰瑞斯·克莱门特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nilmi Ar Co Ltd
Original Assignee
Nilmi Ar Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nilmi Ar Co Ltd filed Critical Nilmi Ar Co Ltd
Priority to CN202311343635.7A priority Critical patent/CN117555418A/zh
Publication of CN110720084A publication Critical patent/CN110720084A/zh
Application granted granted Critical
Publication of CN110720084B publication Critical patent/CN110720084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

方法用至少一个交互式ARBit生成动态现实世界环境。从移动计算设备接收从现实世界环境中捕获的环境信息。处理环境信息以确定与现实世界环境对应的识别出的特征，并且基于识别出的特征来生成动态现实世界环境。在ARBit数据库中搜索与识别出的特征匹配的ARBit，然后将匹配的ARBit添加到ARBit集合。动态现实世界环境和ARBit集合被发送到移动设备。移动设备的用户与动态现实世界环境以及ARBit集合中的至少一个显示的ARBit进行交互。

Description

用于显示动态现实世界环境并与之交互的系统和方法
相关申请的交叉引用
本申请要求于2018年1月8日提交的标题为“SystemsandMethodsforDisplayingand Interacting with aDynamicReal-WorldEnvironment”、申请号为15/864,935的美国专利申请和于2017年6月9日提交的标题为“SystemsandMethodsforDisplayingandInteractingwith a DynamicReal-WorldEnvironment”、申请号为62/517,593的美国专利申请的优先权，这两个申请都通过引用并入本文。
发明内容
本实施例的一个方面包括认识到视频的重放不是动态的，且因此变成重复的。本实施例通过识别捕获的视频内的特征并生成与识别出的特征对应的动态环境以及基于查看动态环境的移动设备的位置向该环境添加一个或多个ARBit来解决这个问题。移动设备的用户可以在查看动态环境的同时与一个或多个ARBit进行交互。因而，基于查看动态环境的移动设备的位置，动态环境可以具有不同的内容。
在一个实施例中，一种方法显示动态现实世界环境并与之交互。使用移动计算设备的相机、麦克风和定位器中的一个或多个来捕获环境的信息。该信息被发送到服务器，并且从服务器接收动态现实世界环境和至少一个ARBit。包含ARBit的动态现实世界环境的至少部分的视图被显示给用户，并基于用户输入操纵该视图。响应于用户在视图内对ARBit的选择，基于ARBit的类型与用户进行交互。
在另一个实施例中，一种方法生成具有至少一个交互式ARBit的动态现实世界环境。从移动计算设备接收从现实世界环境中捕获的环境信息。处理环境信息以确定与现实世界环境对应的识别出的特征，并且基于识别出的特征来生成动态现实世界环境。在ARBit数据库中搜索与已识别出的特征匹配的ARBit，并将匹配的ARBit添加到ARBit集合。动态现实世界环境和ARBit集合被发送到移动设备。
在另一个实施例中，一种方法基于移动设备的当前位置来增强先前生成的动态现实世界环境。从移动设备接收当前位置和增强动态现实世界环境的请求。在ARBit数据库中搜索与先前识别出的对应于动态现实世界环境的特征匹配的ARBit，并将匹配的ARBit添加到ARBit集合，以及将ARBit集合发送到移动设备以在动态现实世界环境中重放。
附图说明
图1示出实施例中的用于显示动态现实世界环境并与之交互的一个示例系统。
图2是示出实施例中的用于捕获、显示图1的动态现实世界环境并与之交互的一个示例方法的流程图。
图3是示出实施例中的用于生成图1的动态现实世界环境的一个示例方法的流程图。
图4示出图1的移动设备在环境中移动以捕获该环境内的多个对象的环境信息。
图5示出动态现实世界环境的图形表示，以及示出动态现实世界环境的部分的图1的显示器的图形表示。
图6示出在移动设备的显示器上对图1的动态现实世界环境的视图的示例操纵。
图7是示出实施例中的用于重放先前捕获的环境的一个示例方法的流程图。
图8是示出实施例中的与另一个用户共享动态现实世界环境的功能示意图。
图9是示出实施例中的用于重放共享的现实世界环境的一个示例方法的流程图。
具体实施方式
图1示出用于显示动态现实世界环境并与动态现实世界环境交互的一个示例系统100。移动设备102例如是选自包括智能电话、平板电脑、膝上型计算机等的组的设备。移动设备102包括处理器104、存储器106、相机108、麦克风110、定位器112、显示器114和通信接口116。在一个实施例中，定位器112是无线地确定其位置的GPS接收器。显示器114为移动设备102的用户提供交互式界面，并且例如是触敏LCD显示屏。接口116例如是能够实现蓝牙、Wi-Fi和蜂窝通信中的一个或多个的无线收发器。
存储器106存储应用120，其包括由处理器104执行以提供如本文所述的移动设备102的功能的机器可读指令(例如，软件)。特别地，应用120包括捕获模块122和显示模块124。捕获模块122控制相机108、麦克风110和定位器112以捕获移动设备102所在的环境103的环境信息130。例如，移动设备102的用户可以在环境103内到处移动移动设备102，同时相机108捕获环境103内的特征的多个图像(和/或视频流)，同时麦克风110捕获环境103内的声音的音频数据，以及同时定位器112确定移动设备102的当前位置，以形成环境信息130。因此，环境信息130可以包括图像、音频数据和位置信息的序列。即，环境信息130包含环境103的现实世界信息。用户使用移动设备102捕获的环境103越多(移动设备102的移动越慢越远和/或捕获时间段越长)，环境信息130中包含的来自环境103的细节越多。例如，用户可以将移动设备102的相机108指向地平线，并缓慢地平移通过环境103以捕获环境信息130。捕获模块122可以在环境信息130内包括其它信息，而不背离本发明的范围。例如，在移动设备102包括用于确定移动设备102的移动的(一个或多个)传感器(例如，加速度计、陀螺仪)的情况下，捕获模块122可以将此传感器数据包括在环境信息130内。移动设备102使用接口116来向服务器152发送(例如，经由互联网140)环境信息130。
服务器152是一个或多个计算机，其包括处理器154、存储器156和接口158，该接口158促进例如经由互联网140与移动设备102的通信。存储器156存储软件160的机器可读指令，该机器可读指令由处理器154执行以提供如本文所述的服务器152的功能。
软件160的特征识别器162针对特征数据库163处理环境信息130，以生成在其中发现的一个或多个识别出的特征164。例如，特征数据库163可以将可识别特征定义为形状、声音、颜色、徽标、文字、位置等中的一个或多个。在一个实施例中，特征识别器162包括一个或多个图像和音频处理算法，该算法处理环境信息130中的一个或多个图像，以基于特征数据库163内定义的特征来识别特征164。因此，识别出的特征164表示在环境103内发现的可识别形状、声音和对象，诸如灌木、树和建筑物，并且可以包括用以指示彼此之间的一个或多个空间关系的相对位置。例如，当处理捕获的图像和视频序列以增强对特征在环境103内的相对位置的确定时，特征识别器162可以利用移动数据(当被包括在环境信息130中时)。
在特征识别器162未识别出环境信息130内的足够特征164的情况下，特征识别器162可以向移动设备102发送消息，邀请用户使用捕获模块122来捕获环境103的更多信息并将其发送给服务器152，其中，所捕获的更多信息可以与现有环境信息130组合在一起，并由特征识别器162进一步处理，以识别更多特征164。
软件160的环境生成器166利用识别出的特征164来生成类似于环境103的动态现实世界环境168。例如，基于特征164，环境生成器166将动态现实世界环境168创建为三维模型，其包括相对于彼此定位的特征164。因此，特征识别器162和环境生成器166协作以生成类似于环境103的动态现实世界环境168。即，基于现实世界和在其中发现的对象来生成动态现实世界环境168。
ARBit是具有一个或多个可以与识别出的特征164匹配的特性的数据项，并且具有可以在移动设备102上显示或播放的一个或多个相关联的数据项(例如，数据对象)。下面详细描述不同类型的ARBit。软件160的特征辨别器170将一个或多个识别出的特征164与ARBit数据库172内的ARBit进行比较，并且对于与ARBit数据库172内的ARBit匹配的每个特征164，特征辨别器170可以将匹配的ARBit 174添加到与动态现实世界环境168对应的ARBit集合180。例如，可以向匹配的ARBit 174指派在动态现实世界环境168内的位置，该位置与识别出的特征164在环境103内的位置对应。但是，匹配的ARBit 174和/或通用ARBit175不一定与预定的地理位置相关联。
ARBit集合180是从识别出的特征164动态生成的，因此不需要被永久地存储在服务器152内。可以在任何时候调用特征辨别器170以从识别出的特征164重新生成ARBit集合180。类似地，可以在任何时候调用特征识别器162以从环境信息130中重新生成识别出的特征164。在替代实施例中，ARBit集合180被存储在服务器152上以供重用。
特征数据库163和ARBit数据库172相关并且可以一起实现，而不背离本发明的范围。例如，ARBit数据库172的ARBit可以与特征数据库163的特征相关联，以允许基于其中识别出的特征164为动态现实世界环境168选择这些ARBit。ARBit数据库182的ARBit可以针对数据库163的对应特征各自识别或包括优惠券、广告、游戏、对象、音频文件和视频中的一个或多个。
在某些实施例中，在特征辨别器170未能将ARBit数据库172的任何ARBit与环境103的任何识别出的特征164匹配的情况下，特征辨别器170可以向动态现实世界环境168的ARBit集合180添加一个或多个通用ARBit 175。在一个实施例中，特征辨别器170基于移动设备102的当前位置从ARBit数据库172中选择一个或多个通用ARBit 175。例如，在移动设备102位于特定商店附近的情况下，特征辨别器170基于该商店从ARBit数据库172中选择一个或多个匹配的ARBit 174。在另一个实施例中，基于一个或多个识别出的特征164，特征辨别器170可以通过关联从ARBit数据库172中识别一个或多个通用ARBit 175。例如，在一个识别出的特征164是花朵的图像的情况下，特征辨别器170可以选择与大黄蜂类型匹配的ARBit 174，以包括在ARBit集合180内。
在某些实施例中，特征辨别器170可以将收集和存储的信息用于其他用户如何响应其各自的ARBit集合内的ARBit。例如，基于服务器152收集的历史信息，特征辨别器170可以优先从ARBit数据库160中选择一个或多个ARBit以包括在ARBit集合180中。在一个实施例中，特征辨别器170可将一个或多个匹配的ARBit 174和一个或多个通用ARBit 175添加到动态现实世界环境168。在另一个实施例中，匹配的ARBit 174和通用ARBit 175形成矩阵，其中移动设备102的位置可以用于确定将服务这些ARBit中的哪一个(如果有的话)。
环境生成器166例如经由接口158、互联网140和接口116将动态现实世界环境168和ARBit集合180发送到移动设备102。在移动设备102内，应用120的显示模块124在显示器114上显示动态现实世界环境132的至少部分和ARBit集合180的对应ARBit，并且与用户交互以操纵显示器114上的动态现实世界环境168和/或ARBit集合180的ARBit。
ARBit类型
每个匹配的ARBit 174和通用ARBit 175可以是特定的ARBit类型，并且可以具有与其相关联的不同类型的数据，并允许不同的动作和与用户的交互。下表提供了ARBit类型的示例。
ARBit类型 描述
游戏 ARBit具有在移动设备上提供游戏功能的相关联的软件。
图像 ARBit具有可以在移动设备上显示的相关联的图像数据。
视频 ARBit具有可以在移动设备上播放的相关联的视频数据。
优惠券 ARBit具有可以在移动设备上显示、打印等的特价信息。
声音 ARBit具有可以在移动设备上播放的相关联的音频数据。
到网站的链接 ARBit具有可以在移动设备上显示网页的相关联的URL。
在某些实施例中，匹配的ARBit 174和通用ARBit 175可以识别已经存储在移动设备的应用120中的数据。在其它实施例中，匹配的ARBit 174和通用ARBit 175包括可以在移动设备102上执行、播放和/或显示的数据。例如，在匹配的ARBit 174是游戏ARBit类型的情况下，应用120可以执行那个游戏的代码以允许用户玩移动设备102的游戏。在另一个示例中，在通用ARBit 175是图像ARBit类型的情况下，当用户选择通用ARBit 175时，应用120可以在移动设备102上显示图像。在某些实施例中，应用120可以包括ARBit交互式模块125，该ARBit交互式模块125允许移动设备102的用户与每个选中的匹配的ARBit 174和通用ARBit175进行交互。
图2是示出用于捕获、显示图1的动态现实世界环境168并允许用户与图1的动态现实世界环境168交互的一个示例方法200的流程图。方法200例如在图1的移动设备102内实现。在步骤202中，方法200捕获现实世界环境的信息。在步骤202的一个示例中，应用120的捕获模块122控制相机108、麦克风110和定位器112中的一个或多个以从环境103捕获环境信息130。在步骤204中，方法200将捕获的信息发送到服务器。在步骤204的一个示例中，捕获模块122经由移动设备102的接口116、互联网140和服务器152的接口158将环境信息130发送到服务器152。
在步骤206中，方法200从服务器接收增强的3D环境和至少一个ARBit。在步骤206的一个示例中，应用120从服务器152接收动态现实世界环境168和ARBit集合180，并将其存储在存储器106中。在步骤208中，方法200向用户显示增强的3D环境的至少部分和ARBit的视图。在步骤208的一个示例中，显示模块124在移动设备102的显示器114上显示动态现实世界环境168的至少部分的视图以及位于动态现实世界环境168的该部分中的ARBit集合180的任何ARBit。在步骤210中，方法200与用户交互以操纵增强的3D环境的至少部分和ARBit的视图。在步骤210的一个示例中，使用显示器114来检测移动设备102的一个或多个触摸手势和/或移动(例如，如由加速度计和陀螺仪检测到的)，显示模块124与移动设备102的用户进行交互，以操纵显示器114上的动态现实世界环境168和ARBit集合180的ARBit的所显示视图。在步骤212中，响应于用户对ARBit的选择，方法200基于ARBit的类型与用户交互。在步骤212的一个示例中，当用户轻击显示器114(例如，参见图5)上的动态现实世界环境168的视图内显示的匹配的ARBit 174或通用ARBit 175中的一个时，显示模块124基于轻击的ARBit的类型调用交互。例如，在用户轻击显示器114上的动态现实世界环境168的所显示部分内的通用ARBit 175并且通用ARBit 175的类型是视频的情况下，对应的视频内容被显示在显示器114上。在另一个示例中，当用户轻击显示器114上的动态现实世界环境168的所显示部分中的匹配的ARBit 174并且匹配的ARBit 174的类型是游戏时，对应的游戏被加载到移动设备102上，使得用户可以玩该游戏。
图3是示出用于生成图1的动态现实世界环境的一种示例方法300的流程图。方法300例如在图1的服务器152内实现。
在步骤302中，方法300从移动计算设备接收现实世界环境的所捕获的信息。在步骤302的一个示例中，服务器152从移动设备102接收环境信息130(例如，如图2的方法200的步骤204所发送的)，并将环境信息130存储在存储器156中。在步骤304中，方法300处理信息以确定与现实世界环境对应的识别出的特征。在步骤304的一个示例中，特征识别器162针对特征数据库163处理环境信息130的图像和声音，以生成识别出的特征164。
在步骤306中，方法300基于识别出的特征来生成3D环境。在步骤306的一个示例中，环境生成器166使用识别出的特征164来生成类似于环境103的动态现实世界环境168。在步骤308中，方法300在ARBit数据库中搜索与识别出的特征匹配的ARBit，并将匹配的ARBit添加到ARBit集合。在步骤308的一个示例中，特征辨别器170在ARBit数据库172中搜索与每个识别出的特征164匹配的ARBit，并将任何匹配的ARBit 174添加到ARBit集合180。
在步骤310中，方法300确定通用ARBit并将其添加到ARBit集合。在步骤310的一个示例中，在特征辨别器170确定太少匹配的ARBit 174被添加到ARBit集合180的情况下，特征辨别器170基于移动设备102的当前位置从ARBit数据库172中选择一个或多个通用ARBit175并将它们添加到ARBit集合180。
在步骤312中，方法300将增强的3D环境和ARBit集合发送到移动计算设备。在步骤312的一个示例中，服务器152经由接口158、互联网140和接口116将动态现实世界环境168和ARBit集合180发送到移动设备102，在方法200的步骤206中接收它们。
在一个实施例中，步骤304包括图像处理，以基于环境信息130识别显示或可以允许服务器152预测用户对现实世界产品的兴趣的某些图案。例如，在用户捕获饮料公司的徽标的图像的情况下，特征识别器162可以在环境信息130中识别该徽标，并由此可以预测用户对该饮料公司的产品的兴趣。对现实世界产品的这种识别出的兴趣可以用于确定一个或多个匹配的ARBit 174和/或通用ARBit 175，以添加到ARBit集合180。例如，这些ARBit174/175可以为希望使用系统100宣传其产品的公司提供营销机会。
图4示出图1的移动设备102在环境103内移动以捕获环境103内的多个对象402的环境信息130。例如，从环境103内，用户沿着八字形路径404(用虚线表示)移动移动设备102，从而同时捕获模块122控制(a)相机108捕获环境103内的对象402的图像，(b)麦克风110捕获环境103内声音的音频数据，以及(c)定位器112捕获移动设备102的位置。例如，当用户移动而通过环境103(即，现实世界)时，定位器112捕获环境103的一般位置和移动设备102的位置。由此，环境信息130可以包含对象402的图像、来自环境103的声音以及移动通过环境103的移动设备102的位置信息的序列。
图5示出动态现实世界环境168以及示出动态现实世界环境168的部分的图1的显示器114的图形表示。显示器114可以示出与动态现实世界环境168对应的(例如，在ARBit集合180内的)更多或更少ARBit，而不背离本发明的范围。动态现实世界环境168被示为具有分别与图4的环境103内的对象402(1)-(9)对应的多个识别出的特征164(1)-(9)。在这个示例中，图1的服务器152的特征辨别器170基于识别出的特征164(7)选择匹配的ARBit 174，且因此显示器114示出动态现实世界环境168中包含特征164(3)、164(6)、164(7)和164(8)的部分以及在识别出的特征164(7)附近的匹配的ARBit 174的视图。在一个示例中，在ARBit数据库172内，ARBit具有建筑物的图像，特征辨别器170将该建筑物的图像与识别出的特征164(7)匹配。在另一个示例中，在ARBit数据库172内，ARBit具有文本，特征辨别器170将该文本与到识别出的特征164(7)上的文本匹配。在另一个示例中，在ARBit数据库172内，ARBit具有相关联的颜色，特征辨别器170将该相关联的颜色与识别出的特征164(7)的颜色匹配。在另一个示例中，在ARBit数据库172内，ARBit具有徽标(例如，图形)，特征辨别器170将该徽标与识别出的特征164(7)的徽标匹配。
在图5的示例中，显示器114还示出了位于显示器114上识别出的特征164(6)附近的通用ARBit 175，其中特征辨别器170基于移动设备102的当前位置将通用ARBit 175添加到针对动态现实世界环境168的ARBit集合180。
用户可以与移动设备102交互以改变动态现实世界环境168的视图并且选择匹配的ARBit 174和/或与匹配的ARBit 174交互。图6示出了对移动设备102的显示器114上的动态现实世界环境168的视图的示例操纵。这个视图操纵可以包括向左、向右、向上和向下平移、放大和缩小、多点触摸操作以及选择匹配的ARBit 174和/或通用ARBit 175。在某些实施例中，在移动设备102包括运动传感器(例如，加速度计和/或陀螺仪)的情况下，用户可以移动移动设备102以改变显示器114上的动态现实世界环境168的视图。
图7是示出实施例中的用于重放先前捕获的环境的一个示例方法700的流程图。方法700例如在图1的服务器152内实现。
在步骤702中，方法700从移动设备接收当前位置和请求以重放所捕获的环境。在步骤702的一个示例中，移动设备102的用户与应用120进行交互以请求重放动态现实世界环境168，其中应用120利用定位器112来确定移动设备102的当前位置并在对应请求中将当前位置发送到服务器152。在步骤704中，方法700在ARBit数据库中搜索与识别出的特征和当前位置匹配的ARBit，并将匹配的ARBit添加到ARBit集合。在步骤704的一个示例中，特征辨别器170在ARBit数据库172中搜索与每个识别出的特征164和当前位置匹配的ARBit，并将任何匹配的ARBit 174添加到ARBit集合180。
在步骤706中，方法700确定通用ARBit并将其添加到ARBit集合。在步骤706的一个示例中，在特征辨别器170确定已将太少匹配的ARBit 174添加到ARBit集合180的情况下，特征辨别器170基于移动设备102的当前位置从ARBit数据库172中选择一个或多个通用ARBit 175并将它们添加到ARBit集合180。
在步骤708中，方法700将ARBit集合发送到移动计算设备。在步骤708的一个示例中，服务器152经由接口158、互联网140和接口116将ARBit集合180发送到移动设备102，在方法200的步骤206中接收它们，然后在移动设备102内继续重放动态现实世界环境。
图8是示出与第二用户803共享由图1的移动设备102和服务器152生成的动态现实世界环境168的功能示意图。如上所述，第一用户801使用移动设备102捕获环境信息130以生成动态现实世界环境168。在第一用户801希望与第二用户803共享体验的情况下，第一用户801可以经由任何可用的通信介质与第二用户803共享动态现实世界环境168。例如，用户801可以通过向第二用户803发送包含动态现实世界环境168的消息840来与第二用户803共享动态现实世界环境168。在另一个示例中，第一用户801可以通过向第二用户803可以访问的社交网络服务器804发送包含视频832(和/或一个或多个图像834)的消息840来与第二用户803共享来自环境信息130的视频832和/或一个或多个图像834(例如，在第二用户803是第一用户801的“朋友”的情况下)。在另一个示例中，第一用户801可以经由电子邮件服务器806向用户803发送包含视频832(和/或一个或多个图像834)的电子邮件842。第一用户801可以经由其它手段与第二用户803共享视频832和/或一个或多个图像834，而不背离本发明的范围。
消息840、动态现实世界环境168、视频832和/或图像834可以包括元数据，诸如以下当中的一个或多个：目标(例如，识别出的特征164)何时出现在视频832中的时机信息，用以促进显示对应的ARBit 174/175的目标在视频中何处的定位信息，目标的位置信息(例如，GPS坐标)，当前用户的身份，原始作者(例如，第一用户801)的身份，指示观看的次数(本地)的计数，重放创建的日期和时间，以及上次观看的日期和时间。
在检索或接收视频832和/或图像834后，第二用户803可以调用在移动设备802上运行的应用120'(例如，应用120的副本)以观看视频832和/或图像834。因而，应用120'经由互联网140向服务器152发送请求844，该请求844包括视频832和/或图像834以及例如使用定位器812确定的移动设备802的当前位置。响应于请求844，服务器152的软件160基于当前位置、视频832和/或图像834生成动态现实世界环境868及相关联的ARB集合880。例如，服务器152的软件160使用与上述图3的方法300相似的方法，使用特征数据库163和ARBit数据库172来生成动态现实世界环境868和ARBit集合880。但是，代替使用移动设备102的位置，软件160的特征识别器162、环境生成器166和特征辨别器170使用在请求844中接收到的移动设备802的当前位置来确定ARBit集合880。因而，动态现实世界环境868和ARBit集合880可以与动态现实世界环境168和ARBit集合180不完全相同。即，与移动设备802的位置对应地生成动态现实世界环境868和ARBit集合880。
当重放动态现实世界环境868和/或视频832时，服务器152可以基于当前可用信息生成具有不同ARBit的ARBit集合880。例如，在第一用户801在第一位置观看包含第一ARBit“A”的视频832的情况下，当第二用户803在远离第一位置的第二位置动态重放视频832时，可以观看到ARBit“B”而不是ARBit“A”。但是，在视频832是“静态的”的情况下(例如，对于动态重放不被共享的动态现实世界环境868、视频832和/或图像834)，当由第二用户803重放时，与在其环境的任何改变(例如，在不同位置)无关，始终显示ARBit“A”。即，第一用户801可以共享视频832和/或图像834，就像任何其它视频/图像一样，诸如当共享假期的捕获时刻等时。
动态现实世界环境868、视频832和/或图像834是用于动态还是静态重放的指示可以被包括在对应的元数据中，例如，其中可以不为静态重放调用服务器152。在为动态重放调用服务器152的情况下，服务器152评估当前数据(例如，当前位置、时间等)以生成具有与动态现实世界环境868、视频832和/或图像834的先前重放不同的ARBit的ARBit集合880。因而，第二用户803可以看到覆盖有动态ARBit的现实生活图像。
图9是示出用于重放共享的现实世界环境的一个示例方法900的流程图。方法900例如在图1和8的服务器152内实现。
在步骤902中，方法900从移动设备接收重放共享的视频和/或图像的请求以及移动设备的当前位置。在步骤902的一个示例中，在从移动设备102接收到视频832之后，第二用户803与移动设备802的应用120'交互以请求播放视频832，其中应用120'利用定位器812来确定移动设备802的当前位置，并将请求844发送到服务器152。在步骤904中，方法900处理共享的视频和/或图像以确定与现实世界环境对应的识别出的特征。在步骤904的一个示例中，软件160的特征识别器162针对特征数据库163处理视频832和/或图像834(以及对应的声音)以生成识别出的特征164。
在步骤906中，方法900基于识别出的特征来生成3D环境。在步骤906的一个示例中，软件160的环境生成器166使用步骤904的识别出的特征164来生成动态现实世界环境868。在步骤908中，方法900在ARBit数据库中搜索与识别出的特征匹配的ARBit，并将匹配的ARBit添加到ARBit集合。在步骤908的一个示例中，特征辨别器170在ARBit数据库172中搜索与每个识别出的特征164匹配的ARBit，并将任何匹配的ARBit 174添加到ARBit集合880。
在步骤910中，方法300确定通用ARBit并将其添加到ARBit集合。在步骤910的一个示例中，在特征辨别器170确定已将太少匹配的ARBit 174添加到ARBit集合880的情况下，特征辨别器170基于移动设备802的当前位置(在请求844中接收的)从ARBit数据库172中选择一个或多个通用ARBit 175并将其添加到ARBit集合880。
在步骤912中，方法900将增强的3D环境和ARBit集合发送到移动计算设备。在步骤912的一个示例中，服务器152经由互联网140向移动设备802发送消息846，该消息包括动态现实世界环境868和ARBit集合880。
如上所述，在移动设备802内，应用120'显示移动设备802上的动态现实世界环境868和ARBit集合880，以与第二用户803进行交互。
在不背离本发明的范围的情况下，可以对以上方法和系统进行改变。因此应当注意的是，以上描述中包含的或附图中所示的内容应当被解释为说明性的，而不是限制性的。以下权利要求旨在覆盖本文所述的所有一般和特定特征，以及本方法和系统的范围的所有陈述，就语言而言，可以认为其介于两者之间。特别地，以下实施例以及这些实施例的彼此兼容的任何组合都是可以特别考虑的：
(A)一种用于显示动态现实世界环境并与之交互的方法，包括使用移动计算设备的相机、麦克风和定位器中的一个或多个来捕获环境的信息，将该信息发送到服务器，从服务器接收动态现实世界环境和至少一个ARBit，向用户显示包含所述ARBit的动态现实世界环境的至少部分的视图，基于用户输入来操纵该视图，以及响应于用户在视图内对ARBit的选择而基于ARBit的类型与用户进行交互。
如权利要求1所述的方法，ARBit具有选自包括游戏、图像、视频、优惠券、声音以及到网站的链接的组的ARBit类型。
(B)在表示为A的方法中，交互的步骤包括：当ARBit的ARBit类型是游戏时，执行交互式游戏并与用户交互以玩游戏。
(C)在表示为(A)和(B)的方法中的任一个中，交互的步骤包括：当ARBit的ARBit类型是图像时，向用户显示图像。
(D)在表示为(A)-(C)的方法中的任一个中，交互的步骤包括：当ARBit的ARBit类型是视频时，向用户显示视频。
(E)在表示为(A)-(D)的方法中的任一个中，交互的步骤包括：当ARBit的ARBit类型是优惠券时，向用户显示优惠券。
(F)在表示为(A)-(E)的方法中的任一个中，交互的步骤包括：当ARBit的ARBit类型是声音时，向用户播放声音。
(G)在表示为(A)-(F)的方法中的任一个中，交互的步骤包括：当ARBit的ARBit类型是到网站的链接时，向用户显示到网站的可选择的链接。
(H)一种用于生成具有至少一个交互式ARBit的动态现实世界环境的方法，包括：从移动计算设备接收从现实世界环境捕获的环境信息。处理环境信息以确定与现实世界环境对应的识别出的特征，基于识别出的特征来生成动态现实世界环境，并在ARBit数据库中搜索与识别出的特征匹配的ARBit，并将匹配的ARBit添加到ARBit集合。动态现实世界环境和ARBit集合被发送到移动设备。
(I)表示为(H)的方法，还包括：在发送的步骤之前，基于所捕获的信息内定义的至少一个位置来确定一个或多个通用ARBit，并将该通用ARBit添加到ARBit集合。
(J)在表示为(H)和(I)的方法中的任一个中，匹配的ARBit和通用ARBit各自具有选自包括游戏、图像、视频、优惠券、声音和到网站的链接的组的ARBit类型。
(K)在表示为(H)-(J)的方法中的任一个中，ARBit集合的匹配的ARBit被嵌入动态现实世界环境中。
(L)一种基于移动设备的当前位置来增强先前生成的动态现实世界环境的方法。该方法包括：从移动设备接收当前位置和增强动态现实世界环境的请求，在ARBit数据库中搜索与先前识别出的对应于动态现实世界环境的特征匹配的ARBit并将匹配的ARBit添加到ARBit集合，以及将ARBit集合发送到移动设备以在动态现实世界环境中重放。
(M)表示为(L)的方法还包括：在发送的步骤之前，基于当前位置确定一个或多个通用ARBit并将通用ARBit添加到ARBit集合。
(N)在表示为(L)和(M)的方法中的任一个中，将匹配的ARBit和通用ARBit中的一个或多个嵌入动态现实世界环境中。
(O)在表示为(L)-(N)的方法中的任一个中，经由社交媒体共享动态现实世界环境。
(P)在表示为(L)-(N)的方法中的任一个中，经由电子邮件共享动态现实世界环境。

Claims (17)

1.一种用于显示动态现实世界环境并与动态现实世界环境交互的方法，包括：
使用移动计算设备的相机、麦克风和定位器中的一个或多个捕获环境的信息；
将所述信息发送到服务器；
从所述服务器接收动态现实世界环境和至少一个ARBit；
向用户显示包含ARBit的动态现实世界环境的至少部分的视图；
基于用户输入操纵所述视图；以及
响应于用户在所述视图内对所述ARBit的选择，基于所述ARBit的类型与用户进行交互。
2.如权利要求1所述的方法，所述ARBit具有选自包括游戏、图像、视频、优惠券、声音以及到网站的链接的组的ARBit类型。
3.如权利要求2所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是游戏时，执行交互式游戏并与用户交互以玩游戏。
4.如权利要求3所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是图像时，向用户显示图像。
5.如权利要求4所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是视频时，向用户显示视频。
6.如权利要求5所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是优惠券时，向用户显示优惠券。
7.如权利要求6所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是声音时，向用户播放声音。
8.如权利要求7所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是到网站的链接时，向用户显示到网站的可选择的链接。
9.一种用于生成具有至少一个交互式ARBit的动态现实世界环境的方法，包括：
从移动计算设备接收从现实世界环境捕获的环境信息；
处理所述环境信息以确定与所述现实世界环境对应的识别出的特征；
基于所述识别出的特征生成动态现实世界环境；
在ARBit数据库中搜索与所述识别出的特征匹配的ARBit，并将匹配的ARBit添加到ARBit集合；以及
将所述动态现实世界环境和所述ARBit集合发送到移动设备。
10.如权利要求9所述的方法，还包括：在发送的步骤之前，基于所捕获的信息内定义的至少一个位置确定一个或多个通用ARBit，并将通用ARBit添加到所述ARBit集合。
11.如权利要求10所述的方法，所述匹配的ARBit和所述通用ARBit各自具有选自包括游戏、图像、视频、优惠券、声音和到网站的链接的组的ARBit类型。
12.如权利要求11所述的方法，所述ARBit集合的匹配的ARBit被嵌入所述动态现实世界环境中。
13.一种用于基于移动设备的当前位置增强先前生成的动态现实世界环境的方法，包括：
从移动设备接收当前位置和增强动态现实世界环境的请求；
在ARBit数据库中搜索与先前识别出的对应于动态现实世界环境的特征匹配的ARBit并将匹配的ARBit添加到ARBit集合；以及
将所述ARBit集合发送到所述移动设备以在动态现实世界环境中重放。
14.如权利要求13所述的方法，还包括：在发送的步骤之前，基于所述当前位置确定一个或多个通用ARBit并将通用ARBit添加到所述ARBit集合。
15.如权利要求14所述的方法，将所述匹配的ARBit和所述通用ARBit中的一个或多个嵌入所述动态现实世界环境中。
16.如权利要求15所述的方法，其中经由社交媒体共享所述动态现实世界环境。
17.如权利要求15所述的方法，其中经由电子邮件共享所述动态现实世界环境。
CN201880037891.4A 2017-06-09 2018-01-22 用于显示动态现实世界环境并与之交互的系统和方法 Active CN110720084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311343635.7A CN117555418A (zh) 2017-06-09 2018-01-22 用于显示动态现实世界环境并与之交互的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762517593P 2017-06-09 2017-06-09
US62/517,593 2017-06-09
US15/864,935 2018-01-08
US15/864,935 US10593117B2 (en) 2017-06-09 2018-01-08 Systems and methods for displaying and interacting with a dynamic real-world environment
PCT/US2018/014644 WO2018226260A1 (en) 2017-06-09 2018-01-22 Systems and methods for displaying and interacting with a dynamic real-world environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311343635.7A Division CN117555418A (zh) 2017-06-09 2018-01-22 用于显示动态现实世界环境并与之交互的系统和方法

Publications (2)

Publication Number Publication Date
CN110720084A true CN110720084A (zh) 2020-01-21
CN110720084B CN110720084B (zh) 2023-10-27

Family

ID=64562241

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880037891.4A Active CN110720084B (zh) 2017-06-09 2018-01-22 用于显示动态现实世界环境并与之交互的系统和方法
CN202311343635.7A Pending CN117555418A (zh) 2017-06-09 2018-01-22 用于显示动态现实世界环境并与之交互的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311343635.7A Pending CN117555418A (zh) 2017-06-09 2018-01-22 用于显示动态现实世界环境并与之交互的系统和方法

Country Status (6)

Country Link
US (3) US10593117B2 (zh)
EP (1) EP3635688A4 (zh)
CN (2) CN110720084B (zh)
AU (1) AU2018279783B2 (zh)
CA (1) CA3067417A1 (zh)
WO (1) WO2018226260A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL6500540A (zh) * 1964-01-16 1965-07-19
US20100185529A1 (en) * 2009-01-21 2010-07-22 Casey Chesnut Augmented reality method and system for designing environments and buying/selling goods
US20110246276A1 (en) * 2010-04-02 2011-10-06 Richard Ross Peters Augmented- reality marketing with virtual coupon
US20130024819A1 (en) * 2011-07-18 2013-01-24 Fuji Xerox Co., Ltd. Systems and methods for gesture-based creation of interactive hotspots in a real world environment
US20130272574A1 (en) * 2000-11-06 2013-10-17 Nant Holdings Ip, Llc Interactivity Via Mobile Image Recognition
CN103733196A (zh) * 2011-08-03 2014-04-16 谷歌公司 用于实现现实世界用户经历的可搜索历史的方法及设备
CN105706153A (zh) * 2013-11-05 2016-06-22 林肯环球股份有限公司 虚拟现实和现实焊接训练系统及方法
CN106094800A (zh) * 2016-07-12 2016-11-09 四川大学 一种新型can fd控制器的管理系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933967B2 (en) * 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US20140160161A1 (en) 2012-12-06 2014-06-12 Patricio Barreiro Augmented reality application
WO2014182545A1 (en) 2013-05-04 2014-11-13 Vupad Partners, Llc Virtual object scaling in augmented reality environment
US9952042B2 (en) * 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
WO2015164373A1 (en) 2014-04-23 2015-10-29 Raytheon Company Systems and methods for context based information delivery using augmented reality
US9710972B2 (en) 2014-05-30 2017-07-18 Lucasfilm Entertainment Company Ltd. Immersion photography with dynamic matte screen
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US10677599B2 (en) * 2017-05-22 2020-06-09 At&T Intellectual Property I, L.P. Systems and methods for providing improved navigation through interactive suggestion of improved solutions along a path of waypoints
CN107450088B (zh) * 2017-06-08 2021-05-14 百度在线网络技术（北京）有限公司 一种基于位置的服务lbs的增强现实定位方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL6500540A (zh) * 1964-01-16 1965-07-19
US20130272574A1 (en) * 2000-11-06 2013-10-17 Nant Holdings Ip, Llc Interactivity Via Mobile Image Recognition
US20100185529A1 (en) * 2009-01-21 2010-07-22 Casey Chesnut Augmented reality method and system for designing environments and buying/selling goods
US20110246276A1 (en) * 2010-04-02 2011-10-06 Richard Ross Peters Augmented- reality marketing with virtual coupon
US20130024819A1 (en) * 2011-07-18 2013-01-24 Fuji Xerox Co., Ltd. Systems and methods for gesture-based creation of interactive hotspots in a real world environment
CN103733196A (zh) * 2011-08-03 2014-04-16 谷歌公司 用于实现现实世界用户经历的可搜索历史的方法及设备
CN105706153A (zh) * 2013-11-05 2016-06-22 林肯环球股份有限公司 虚拟现实和现实焊接训练系统及方法
CN106094800A (zh) * 2016-07-12 2016-11-09 四川大学 一种新型can fd控制器的管理系统

Also Published As

Publication number Publication date
WO2018226260A1 (en) 2018-12-13
US20220222903A1 (en) 2022-07-14
US11302079B2 (en) 2022-04-12
CN110720084B (zh) 2023-10-27
AU2018279783A1 (en) 2019-12-19
AU2018279783B2 (en) 2020-12-17
CN117555418A (zh) 2024-02-13
CA3067417A1 (en) 2018-12-13
US10593117B2 (en) 2020-03-17
EP3635688A1 (en) 2020-04-15
EP3635688A4 (en) 2021-03-03
US20180357822A1 (en) 2018-12-13
US20200184734A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
US10735547B2 (en) Systems and methods for caching augmented reality target data at user devices
CN109952610B (zh) 图像修改器的选择性识别和排序
CN107103316B (zh) 基于智能手机的方法和系统
CN109155136A (zh) 从视频自动检测和渲染精彩场面的计算机化系统和方法
US20130073637A1 (en) Mobile terminal, server, and method for establishing communication channel using augmented reality (ar)
US20200159377A1 (en) Digital supplement association and retrieval for visual search
CN107633441A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
CN113205112A (zh) 用于辨别和匹配图像中描画的对象的方法和设备
She et al. Convergence of interactive displays with smart mobile devices for effective advertising: A survey
EP4246963A1 (en) Providing shared augmented reality environments within video calls
WO2012007764A1 (en) Augmented reality system
WO2019055679A1 (en) METHOD, APPARATUS, AND COMPUTER-READABLE MEDIA FOR DISPLAYING INCREASED REALITY INFORMATION
JP2022110057A (ja) ビジュアルサーチのためのデジタル補足関連付けおよび検索
WO2017011084A1 (en) System and method for interaction between touch points on a graphical display
US20170034586A1 (en) System for content matching and triggering for reality-virtuality continuum-based environment and methods thereof
CN110720084B (zh) 用于显示动态现实世界环境并与之交互的系统和方法
CA3067417C (en) Systems and methods for displaying and interacting with a dynamic real-world environment
Shin et al. Enriching natural monument with user-generated mobile augmented reality mashup
De Lucia et al. Augmented reality mobile applications: Challenges and solutions
KR102585102B1 (ko) 메타버스 서비스를 이용한 위치 기반 증강 현실 시스템
US20230368444A1 (en) Rendering customized video call interfaces during a video call
Francese et al. Current Challenges for Mobile Location-Based Pervasive Content Sharing Application
CN116781853A (zh) 在视频通话中提供共享增强现实环境
US10742749B2 (en) Media hotspot payoffs with alternatives lists

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant