CN106462322A - 用于增强现实的设备提供的跟踪数据 - Google Patents

用于增强现实的设备提供的跟踪数据 Download PDF

Info

Publication number
CN106462322A
CN106462322A CN201580028761.0A CN201580028761A CN106462322A CN 106462322 A CN106462322 A CN 106462322A CN 201580028761 A CN201580028761 A CN 201580028761A CN 106462322 A CN106462322 A CN 106462322A
Authority
CN
China
Prior art keywords
equipment
networked devices
tracking data
augmented reality
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580028761.0A
Other languages
English (en)
Other versions
CN106462322B (zh
Inventor
G·贝雷勒希斯
R·P·昌德霍克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106462322A publication Critical patent/CN106462322A/zh
Application granted granted Critical
Publication of CN106462322B publication Critical patent/CN106462322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H04Q2209/43—Arrangements in telecontrol or telemetry systems using a wireless architecture using wireless personal area networks [WPAN], e.g. 802.15, 802.15.1, 802.15.4, Bluetooth or ZigBee

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

联网设备(例如，炉灶)可以将与所述联网设备相关联的跟踪数据经由本地网络(例如，经由使用NFC、蓝牙或WLAN功能)提供给增强现实(AR)设备(例如，平板计算机)。所述跟踪数据可以描述所述联网设备的一个或多个可跟踪特征。所述AR设备可以利用所述跟踪数据来在相机视图中检测所述联网设备。所述AR设备可以响应于在所述AR设备的所述相机视图中检测到所述联网设备的至少一个可跟踪特征，生成与所述联网设备相关联的增强现实视图。当所述联网设备被置于所述相机视图中时，可以利用与所述联网设备相关联的AR属性来增强所述增强现实视图的至少一部分。

Description

用于增强现实的设备提供的跟踪数据
相关申请
本申请要求于2014年6月2日递交的美国临时申请No.62/006,749和于2014年10月6日递交的美国申请No.14/507,591的优先权权益。
背景技术
所公开的主题的实施例总体上涉及电子设备领域，并且更具体地涉及增强现实。
增强现实(AR)是利用虚拟的、计算机生成的物体(诸如静止的和/或移动的图像、文本、数据等)来增强对真实世界的实时视图的技术。在AR中，物理的、真实世界环境的相机视图可以被计算机生成的传感输入增强(或补充)。AR设备指代运行AR应用的设备。AR应用可以增强相机视图以显示关于相机视图中的物体的信息。例如，一些AR应用叠加关于兴趣点和地理地标的信息。最近，AR应用可以增强相机视图以提供与附近物体相关联的信息或用户接口动作。例如，AR应用可以识别相机视图中的物体(有时可以被称为可跟踪物体)并且可以利用与该物体有关的额外信息或用户接口动作来增强该相机视图。为了识别相机视图中的物体，AR应用可能需要对要被跟踪的物体进行描述的跟踪数据。一旦使用跟踪数据识别了相机视图中的物体，AR应用就可以利用关于该物体的额外信息来增强相机视图。
发明内容
描述了各个实施例，其中AR设备可以识别能够经由本地网络进行通信的可跟踪物体。能够经由本地网络进行通信的物体可以被称为联网设备。联网设备可以将对该联网设备进行描述的跟踪数据经由本地网络提供给AR设备。例如，跟踪数据可以嵌入到联网设备中。
在一些实施例中，一种由增强现实(AR)设备执行的方法，包括：接收对联网设备的一个或多个可跟踪特征进行描述的跟踪数据，其中，所述跟踪数据是经由本地网络从所述联网设备接收的；以及响应于在所述AR设备的相机视图中检测到所述联网设备的至少一个可跟踪特征，生成与所述联网设备相关联的增强现实视图。
在一些实施例中，所述方法还包括：至少部分地基于所述跟踪数据，确定所述联网设备在所述AR设备的所述相机视图中的位置。
在一些实施例中，生成所述增强现实视图包括：利用与所述联网设备相关联的AR属性来增强所述增强现实视图的至少一部分。
在一些实施例中，所述跟踪数据描述至少第一可跟踪特征的一个或多个视觉属性，所述一个或多个视觉属性包括尺寸、形状和颜色中的至少一者。
在一些实施例中，接收所述跟踪数据包括：向所述联网设备发送用于从所述联网设备请求所述跟踪数据的查询；以及响应于所述查询来接收所述跟踪数据。
在一些实施例中，所述方法还包括：在向所述联网设备发送所述查询之前，确定所述联网设备在所述AR设备附近。
在一些实施例中，接收所述跟踪数据包括：从所述联网设备接收广播消息，所述广播消息包括所述跟踪数据。
在一些实施例中，所述本地网络包括无线局域网(WLAN)。
在一些实施例中，所述跟踪数据是经由设备互操作性框架消息接收的。
在一些实施例中，所述跟踪数据是经由短距离射频通信介质接收的。
在一些实施例中，所述跟踪数据被包括在与所述联网设备相关联的增强现实属性数据集合中，所述增强现实属性数据集合嵌入到所述联网设备中。
在一些实施例中，所述方法还包括：使用所述AR设备处的集成相机来获得所述相机视图。
在一些实施例中，所述方法还包括：使用所述AR设备处的集成显示器装置来显示所述增强现实视图。
在一些实施例中，一种增强现实(AR)设备包括处理器；以及存储指令的存储器，所述指令在被所述处理器执行时使得所述AR设备接收对联网设备的一个或多个可跟踪特征进行描述的跟踪数据，其中，所述跟踪数据是经由本地网络从所述联网设备接收的；以及响应于在所述AR设备的相机视图中检测到所述联网设备的至少一个可跟踪特征，生成与所述联网设备相关联的增强现实视图。
在一些实施例中，所述指令还使得所述处理器至少部分地基于所述跟踪数据，来确定所述联网设备在所述AR设备的所述相机视图中的位置。
在一些实施例中，所述指令还使得所述处理器执行AR应用，所述AR应用基于所述相机视图来生成所述增强现实视图，其中，所述增强现实视图是利用与所述联网设备相关联的AR属性来增强的。
在一些实施例中，所述AR设备还包括向所述AR设备的用户显示所述增强现实视图的显示器装置。
在一些实施例中，所述AR设备还包括网络接口，所述网络接口向所述联网设备发送用于从所述联网设备请求所述跟踪数据的查询，以及响应于所述查询来接收所述跟踪数据。
在一些实施例中，所述网络接口响应于所述AR设备确定所述联网设备在所述AR设备附近来发送所述查询。
在一些实施例中，所述AR设备还包括从所述联网设备接收广播消息的网络接口，所述广播消息包括所述跟踪数据。
在一些实施例中，一种由联网设备执行的方法，所述方法包括：存储对所述联网设备的一个或多个可跟踪特征进行描述的跟踪数据，所述跟踪数据实现增强现实(AR)设备对所述联网设备的视觉检测；以及将所述跟踪数据经由本地网络提供给所述AR设备。
在一些实施例中，所述跟踪数据描述至少第一可跟踪特征的一个或多个视觉属性，所述一个或多个视觉属性包括尺寸、形状和颜色中的至少一者。
在一些实施例中，所述方法还包括：从所述AR设备接收用于请求所述跟踪数据的查询，其中，提供所述跟踪数据是响应于所述查询的。
在一些实施例中，所述方法还包括：向所述AR设备提供关于所述联网设备具有存储在所述联网设备处的所述跟踪数据的指示。
在一些实施例中，所述方法还包括：根据设备发现协议经由所述本地网络来广播所述跟踪数据。
在一些实施例中，所述跟踪数据被包括在存储在所述联网设备处的增强现实数据集合中并且响应于来自所述AR设备的请求被提供给所述AR设备。
在一些实施例中，所述跟踪数据是经由设备互操作性框架消息来提供的。
在一些实施例中，一种联网设备，包括用于经由本地网络进行通信的网络接口；处理器；以及存储器，所述存储器存储对所述联网设备的一个或多个可跟踪特征进行描述的跟踪数据，所述跟踪数据实现增强现实(AR)设备对所述联网设备的视觉检测，所述存储器存储指令，所述指令在被所述处理器执行时使得所述联网设备将所述跟踪数据经由所述本地网络提供给所述AR设备。
在一些实施例中，所述指令使得所述处理器从所述AR设备接收用于请求所述跟踪数据的查询，以及提供所述跟踪数据是响应于所述查询的。
在一些实施例中，所述指令使得所述处理器向所述AR设备提供关于所述联网设备具有存储在所述联网设备处的所述跟踪数据的指示。
附图说明
通过参照附图，可以更好地理解本实施例，并且大量的目标、特征和优势对于本领域技术人员变得显而易见。
图1描绘了示例系统以介绍本公开内容的各个概念。
图2描绘了使用跟踪数据用于增强现实的示例操作。
图3描绘了可以用在本公开内容的各个实施例中的示例组件。
图4根据本公开内容的实施例，描绘了本地网络中的联网设备和AR设备之间的示例消息的消息流。
图5根据本公开内容的实施例，描绘了由联网设备执行用于提供跟踪数据的示例操作。
图6描绘了能够实现本公开内容的各个实施例的示例电子设备。
具体实施方式
下面的描述包括体现本主题的技术的示例性系统、方法、技术、指令序列和计算机程序产品。然而，要理解的是，可以在没有这些具体细节的情况下实施所描述的实施例。例如，虽然示例指代联网设备的可跟踪特征的视觉属性，但是跟踪数据也可以描述可跟踪特征的其它属性，包括听觉、红外、模式或可以被AR设备感应到的其它属性。在其它实例中，没有详细示出公知的指令实例、协议、结构和技术，以便不模糊本描述。
AR设备可以包括处理器、存储器以及位于电子设备内的显示器。AR设备可以是任何适当的电子设备，例如，桌上型计算机、膝上型计算机、手持计算机、移动计算机或可穿戴计算机。相机可以集成在AR设备中或者可以在AR设备外部。相机可以向AR设备提供实时视图(有时被称为“相机视图”)。AR设备可以执行AR应用以确定相机视图在真实世界中的位置并且检测相机视图中的任何物体(例如，启用AR的物体)。当检测到物体时，AR应用可以基于相机视图和与该物体有关的计算机生成的叠加信息(诸如虚拟物体、图像、用户接口控制等)来生成增强现实视图。叠加信息可以被称为AR属性。
为了检测物体并且确定物体在相机视图中的位置，AR设备可以使用对要跟踪的物体进行描述的跟踪数据。跟踪数据可以基于能够在相机视图中搜索、识别和/或跟踪的模式来描述多种多样的可跟踪特征(有时也被称为“可跟踪项”)。在本公开内容中，跟踪数据可以描述固定标记或可以描述用于无标记检测的特性。固定标记是可以使用模式匹配或图像匹配来识别的已知特性。对于固定标记，跟踪数据可以包括兴趣点、基准标记、快速响应(QR)码、要匹配的图像或任何“可跟踪”模式。标记可以具有现在已知或将来开发的任何设计，包括圆形、线性、矩阵、可变比特长度矩阵、多级矩阵、黑/白(二进制)、灰度模式以及其组合。标记可以是二维或三维条形码。
在无标记检测中，AR设备可以基于描述性特性而不是固定标记来检测物体。对于无标记跟踪，跟踪数据可以包括基于边缘、点、角落、平面、颜色、尺寸、形状、几何结构等的描述。在一些实施例中，跟踪数据可以包括物体的多维(例如，2D或3D)模型，以使得无论相机视图相对于该物体的角度如何，AR设备都可以检测物体。
在常规的AR应用中，跟踪数据可以被硬编码在AR应用中或可以经由广域网从云服务器下载。然而，新物体可能被引入到环境中，并且AR应用可能不具有与该新物体相关联的跟踪数据。在增强现实会话期间或针对引入到环境中的每个新物体从基于网络的服务器下载跟踪数据可能是不理想的。
如先前描述的，一些物体可以经由本地网络进行通信并且可以被称为联网设备。本地网络的示例可以包括无线局域网(WLAN)(诸如IEEE802.11a/b/g/n/ac/ad)、短距离射频介质(诸如蓝牙TM)、近场通信(NFC)、电力线通信(PLC)、以太网等。在本地网络中，AR设备和联网设备可以使用用于支持互操作性的协议(其可以被称为设备互操作性框架)来进行通信。例如，在“物联网”(IoT)环境中，各种设备可以使用诸如AllJoynTM的通信协议来进行通信。各种设备可以使用其它协议。设备互操作性框架协议可以是允许AR设备和联网设备经由本地网络来进行通信的任何协议。
根据本公开内容，联网设备可以将与该联网设备相关联的跟踪数据经由本地网络提供给AR设备。联网设备可以存储跟踪数据并且可以将跟踪数据经由本地网络直接提供给AR设备。跟踪数据可以对使AR设备能够在相机视图中检测联网设备的可跟踪特征进行描述。在一个实施例中，AR设备可以使用设备互操作性框架协议来从联网设备获得跟踪数据。由于可以经由本地网络来获得跟踪数据，所以AR设备可以在不与广域网服务器进行通信或不具有先前被编码在AR应用的跟踪数据的情况下获得跟踪数据。在一个实施例中，跟踪数据可以是以本地协议扩展、AR标记语言或对象描述属性的形式。
图1描绘了示例系统100以介绍本公开内容的各种概念。示例系统100包括联网设备110、本地网络130和AR设备120。在示例系统100中，联网设备110被描绘为智能家电-诸如炉灶。联网设备110可以是启用AR的并且可以经由本地网络130进行通信的任何类型的设备。本地网络130可以是电力线通信网络、无线局域网、短距离射频网络等。AR设备120也可以经由本地网络130进行通信。在示例系统100中，AR设备120被描绘为平板计算机。AR设备120和联网设备110可以是不同的形式或机器，并且图1中的示例是出于说明性目的提供的。
在一个实施例中，联网设备110被配置为将跟踪数据(被示为箭头145)经由本地网络130提供给AR设备120。联网设备110可以使用设备互操作性框架消息来传送跟踪数据。例如，消息可以是ALLJoynTM协议消息或与消息语法相关联的另一种适当的互操作性框架消息。在一个示例中，本地网络130包括提供无线覆盖范围的无线局域网。与无线局域网相关联的设备(诸如联网设备110和AR设备120)可以使用设备互操作性框架协议来进行通信。联网设备110可以将跟踪数据存储在本地存储器或联网设备110的存储设备中，并且将跟踪数据在设备互操作性框架协议消息中提供给AR设备120。在另一个实施例中，联网设备110可以使用标准化或可扩展协议消息来提供跟踪数据。
AR设备120可以从联网设备110接收跟踪数据并且使用跟踪数据来在AR设备120的相机视图中检测联网设备110。例如，AR设备120可以分析相机视图以检测边缘、特征点、颜色、形状、尺寸等，如在跟踪数据中描述的。当以网络设备110被置于相机视图中的方式来定位相机视图时，AR设备120可以基于跟踪数据来检测(被示为箭头155)联网设备110。作为一个示例，参照图1的说明性示例，跟踪数据可以描述与炉灶的控制旋钮相关联的颜色、尺寸、形状或几何结构。在一个示例中，控制面板可以是联网设备110的可跟踪特性。旋钮可以表示特征点，并且可以由跟踪数据来描述特征点之间的距离。通过分析相机视图以检测特征点和特征点之间的距离，AR设备120可以检测与炉灶的旋钮相一致的模式，如在跟踪数据中描述的。
一旦已经检测到联网设备110，AR设备120就可以将联网设备110注册为增强现实视图中的可跟踪物体。在图1中，联网设备110在相机视图165中，并且AR设备120已经将相机视图增强为包括与联网设备110相关联的AR属性175。
AR设备120可以生成增强现实视图，其包括利用与检测到的AR物体(即，联网设备110)相关联的叠加信息来增强的真实世界的图像。叠加信息可以是预定的或经由广域网服务器获得的。在一个实施例中，叠加信息还可以类似于跟踪数据145由联网设备110提供。在图1中，AR设备120包括显示器装置122，其向AR设备120的用户显示增强现实视图。
在一个实施例中，相机和显示器装置122中的一个或两者可以集成到AR设备120中。然而，在其它实施例中，相机和显示器装置122中的一个或两者可以在AR设备120外部。例如，相机和显示器装置中的一个或两者可以是可穿戴配件(诸如用户穿戴的电子眼镜)的部分。相机和/或显示器装置可以是包括AR设备120的计算机系统的外部组件。在另一个实施例中，AR设备120可以是包括与AR设备120相通信的相机和/或显示器(例如，电视机)的家庭网络的一部分。
图2描绘了使用跟踪数据用于增强现实的示例操作(流程图200)。在框202处，AR设备可以接收对联网设备的一个或多个可跟踪特征进行描述的跟踪数据，其中，跟踪数据是经由本地网络从联网设备接收的。在框204处，AR设备可以至少部分地基于跟踪数据，确定联网设备在AR设备处的相机视图中的位置。在框206处，AR设备可以响应于在AR设备的相机视图中检测到联网设备的至少一个可跟踪特征，生成与联网设备相关联的增强现实视图。在框208处，AR设备可以显示增强现实视图。可以使用AR设备处的集成显示器装置或与AR设备相通信的外部显示器来显示增强现实视图。
图3描绘了可以用在本公开内容的一个实施例中的示例组件。在图3中，示例系统300包括联网设备110和AR设备120，两者都耦合到本地网络130。联网设备110可以包括通信单元316、控制器314和跟踪数据312。控制器314可以控制联网设备110的其它方面(未示出)。例如，控制器314可以控制图1中的炉灶的温度设置。可以设想在其中控制器315可以控制联网设备110的方面的其它示例。示例可以包括对功率、照明、温度、强度等的控制。
跟踪数据312可以存储在与联网设备110相关联的存储器(未示出)中。通信单元316可以包括用于将联网设备110耦合到本地网络130的网络接口。在一个实施例中，通信单元316可以实现设备互操作性框架协议，其可以用于向AR设备120传送跟踪数据312。在一个实施例中，控制器314可以是可使用AR设备120的AR应用323来远程控制的。
图3的AR设备120包括相机322、AR应用323、显示器324和通信单元326。通信单元326可以包括网络接口并且可以将AR设备120耦合到本地网络130。AR应用323可以被配置为从联网设备110接收跟踪数据。AR应用323可以按需要处理跟踪数据以实现AR应用323对联网设备110的检测。
AR应用323可以使用来自相机322的相机视图来生成增强现实视图。可以由显示器324输出增强现实视图。相机或其它视频输入可以生成真实世界的数字化视频图像，其在本公开内容中被称为相机视图。相机可以是现在已知或将来开发的任何数字设备，其是被标出尺寸的并且被配置为捕获真实世界的静止或运动图像并且将那些图像转换成可以由AR设备120操纵的信息的数字流。例如，相机可以是数码相机、数字视频相机、web相机、头戴式显示器、相机电话、平板式个人计算机或呈现可以在其上添加增强现实数据的数字图像或图像流的任何相机。
在一个实施例中，跟踪数据可以描述与联网设备相关联的一个或多个可跟踪特征。在一个示例中，可跟踪特征也可以是AR应用323可以识别的真实世界项的图像。例如，AR应用323可以基于跟踪数据中的冰箱的图像来识别厨房的视频流中的冰箱或其它电器。在另一个实施例中，跟踪数据可以用于在不存在标记时描述联网设备110的特征。例如，跟踪数据可以描述关于联网设备110的一个或多个可跟踪特征的颜色、形状、尺寸和几何结构等。
图4描绘了在使用设备互操作性框架协议的联网设备110和AR设备120之间的示例消息的消息流400。初始地，AR设备120可以意识到联网设备110具有要提供给AR设备120的跟踪数据。可以存在AR设备120确定联网设备110可以提供跟踪数据的多种方式。在图4中描绘的，联网设备110可以发送包括关于跟踪数据可用的指示符的广播消息410。例如，广播消息410可以包括“AR_跟踪数据可用(AR_TrackingDataAvailable)＝是”的属性或类似属性。替代地，广播消息410可以包括作为广播消息410的一部分的跟踪数据中的一些或全部跟踪数据。广播消息410可以是设备发现协议的一部分。
在另一个示例中，AR设备120可以向联网设备110发送AR启用查询消息420以查询联网设备110是否是启用AR的。AR启用查询消息420可以例如从联网设备110请求“AR_跟踪数据可用”属性等。可以在AR启用查询消息420中请求其它增强现实属性。联网设备110可以通过发送AR启用响应消息430来对AR启用查询消息420进行响应，以指示联网设备110是否是启用AR的。例如，AR启用响应消息430可以包括“AR_跟踪数据可用＝是”的属性或类似属性。
一旦AR设备120确定联网设备110是启用AR的，AR设备120就可以尝试获得与联网设备110相关联的跟踪数据。AR设备120可以向联网设备110发送AR跟踪数据查询消息440。联网设备110可以利用包括跟踪数据的AR跟踪数据响应消息450来进行响应。
在检测过程460处，AR设备120可以使用跟踪数据来在AR设备120的相机视图中检测和注册联网设备110。一旦被检测和被注册，AR设备120就可以在联网设备110被置于AR设备120的相机视图中时显示与联网设备110相关联的叠加信息(诸如AR属性、控制等)。例如，AR设备120可以基于相机视图和与联网设备110相关联的叠加信息来生成增强现实视图。可以随后由AR设备120来显示增强现实视图。
图5根据本公开内容的实施例，描绘了由联网设备执行用于提供跟踪数据的示例操作(流程图500)。在框502处，联网设备可以存储对该联网设备的一个或多个可跟踪特征进行描述的跟踪数据，跟踪数据实现增强现实(AR)设备对联网设备的视觉检测。存储器或存储组件可以是与联网设备集成的，或者可以是与联网设备通信耦合的外部存储器存储。
在框504处，联网设备可以可选地通知(例如，经由协议消息或广播消息中的指示)AR设备该联网设备具有存储在该联网设备处的跟踪数据。在框506处，联网设备可以从AR设备接收用于请求跟踪数据的查询。在一些实施例中，联网设备可以不从AR设备接收查询，但是可以替代地仅定期地广播跟踪数据。在框508处，联网设备可以响应于查询，将跟踪数据经由本地网络提供给AR设备。
根据本公开内容的实施例，可以使用结构化标记语言来提供跟踪数据。将认识到的是，可以使用多种多样的格式来描述跟踪数据，诸如增强现实标记语言(ARML)。
在一个实施例中，可以对结构化标记语言文件进行修改以包括跟踪数据。结构化标记语言文件的一部分可以描述应当被跟踪的物体(例如，联网设备)。结构化标记语言文件的另一部分可以定义应当被跟踪的物体的一个或多个可跟踪特征。在图1的示例中，可跟踪特征可以是炉灶的前控制面板。结构化标记语言文件可以包括跟踪数据字段，其包含与跟踪特征相关联的跟踪数据。跟踪数据可以描述尺寸、形状、颜色、边缘、特征点或可跟踪特征的其它方面。跟踪数据的格式可以是文本、二进制数据或任何适当的格式，并且可以在一些实施例中被压缩或加密。跟踪数据还可以包括建模数据，诸如可跟踪特征的2D或3D模型。结构化标记语言可以包括其它AR属性(未示出)，所述其它AR属性进一步增强AR设备的用于叠加与联网设备有关的信息的能力。
上文描述的操作的示例序列仅是许多可能序列中的一个可能序列。具有不同操作和操作的不同次序的许多其它序列是可能的。实施例不受限于操作的任何特定次序。
如本领域技术人员将认识到的，本公开内容的方面可以被体现为系统、方法或计算机程序产品。因此，本公开内容的方面可以采取完全硬件实施例、软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式，所述形式通常在本文中可以全部被称为“电路”、“单元”或“系统”。此外，本公开内容的方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质具有体现在其上的计算机可读程序代码。
可以利用一个或多个非暂时性计算机可读介质的任意组合。非暂时性计算机可读介质包括所有计算机可读介质，唯一的例外是暂时性、传播信号。非暂时性计算机可读介质可以是计算机可读存储介质。计算机可读存储介质可以是例如但不限于：电、磁、光、电磁、红外或半导体系统、装置或设备，或前述各项的任何适当组合。计算机可读存储介质的更具体的示例(非排他列表)将包括以下各项：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式压缩盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述各项的任何适当组合。在本文档的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储程序以供或结合指令执行系统、装置或设备来使用。
用于执行实施例的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，包括面向对象的编程语言(诸如Java、Smalltalk、C++等等)以及传统的过程式编程语言(诸如“C”编程语言或类似的编程语言)。程序代码可以完全地在用户的计算机上、部分地在用户的计算机上、作为单独的软件包、部分地在用户的计算机上和部分地在远程计算机上或者完全地在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络连接到用户的计算机，所述网络包括局域网(LAN)、个域网(PAN)或广域网(WAN)，或者可以实现到外部计算机的连接(例如，使用互联网服务提供者通过互联网)。
图6是能够实现本公开内容的各个实施例的电子设备600的一个实施例的示例框图。在一些实现方式中，电子设备600可以是诸如膝上型计算机、平板计算机、移动电话、电力线通信设备、游戏控制台或其它电子系统的电子设备。在一些实现方式中，电子设备可以包括用于跨越多个通信网络(其形成混合通信网络)进行通信的功能。电子设备600包括处理器602(可能包括多个处理器、多个内核、多个节点和/或实现多线程等)。电子设备600包括存储器606。存储器606可以是系统存储器(例如，高速缓存、SRAM、DRAM、零电容器RAM、双晶体管RAM、eDRAM、EDO RAM、DDR RAM、EEPROM、NRAM、RRAM、SONOS、PRAM等中的一个或多个)或者上文已经描述的机器可读介质的可能实现中的任何一个或多个。电子设备600还包括总线610(例如，PCI、ISA、PCI快速、无NuBus、AHB、AXI等)并且可以包括一个或多个网络接口604。一个或多个网络接口604可以包括无线网络接口(例如，WLAN接口、 接口、WiMAX接口、接口、无线USB接口等)或有线网络接口(例如，电力线通信接口、以太网接口等)。
电子设备600包括AR应用623。可选地，电子设备600可以包括相机622和显示器装置624中的一个或两者。虽然AR应用623被描述为电子设备600的单独的硬件组件，但是应当注意的是，AR应用623可以被实现为存储在存储器606中并且由处理器602执行的机器可读指令。AR应用623可以实现前述附图的各个实施例。在一个实施例中，AR应用623、相机622和显示器装置624可以类似于在图3中描述的相应组件来操作。电子设备600还可以用于描述联网设备(诸如联网设备110)。然而，在一些实施例中，联网设备可以不具有相机622、显示器装置624或AR应用623。例如，电子设备600可以将跟踪数据存储在存储器606中并且使用网络接口604经由本地网络来提供跟踪数据。
这些功能中的任何一个功能可以部分地(或完全地)实现在硬件中和/或实现在处理器602上。例如，可以利用专用集成电路、在实现在处理器602的逻辑单元中、在外围设备上的协处理器或卡中等实现功能。此外，实现可以包括更少的组件或未在图11中示出的额外组件(例如，视频卡、音频卡、额外的网络接口、外围设备等)。处理器602、存储器606、网络接口604可以耦合到总线610。虽然被示为耦合到总线610，但是存储器606可以直接地耦合到处理器602。
虽然参照各个实现方式和利用描述了实施例，但是将要理解的是，这些实施例是说明性的，并且本公开内容的范围不受限于这些实施例。一般来说，如本文描述的，用于增强现实(其中，基于联网设备提供的跟踪数据来检测联网设备)的技术可以利用与任何硬件系统相一致的设备来实现。许多变形、修改、添加和改进是可能的。
复数形式的实例可以作为单个实例被提供用于本文描述的组件、操作或结构。最后，各个组件、操作和数据存储之间的界限在某种程度上是任意的，以及特定的操作是在具体的说明性配置的上下文中示出的。功能的其它分配被设想并且可以落在本主题的范围内。一般来说，在示例性配置中作为单独的组件给出的结构和功能可以被实现为组合的结构或组件。类似地，作为单个组件给出的结构和功能可以被实现为单独的组件。这些和其它变形、修改、添加和改进可以落在本主题的范围内。

Claims (30)

1.一种由增强现实(AR)设备执行的方法，所述方法包括：
接收对联网设备的一个或多个可跟踪特征进行描述的跟踪数据，其中，所述跟踪数据是经由本地网络从所述联网设备接收的；以及
响应于在所述AR设备的相机视图中检测到所述联网设备的至少一个可跟踪特征，生成与所述联网设备相关联的增强现实视图。
2.根据权利要求1所述的方法，还包括：
至少部分地基于所述跟踪数据，确定所述联网设备在所述AR设备的所述相机视图中的位置。
3.根据权利要求1所述的方法，其中，生成所述增强现实视图包括：利用与所述联网设备相关联的AR属性来增强所述增强现实视图的至少一部分。
4.根据权利要求1所述的方法，其中，所述跟踪数据描述至少第一可跟踪特征的一个或多个视觉属性，所述一个或多个视觉属性包括尺寸、形状和颜色中的至少一者。
5.根据权利要求1所述的方法，其中，接收所述跟踪数据包括：
向所述联网设备发送用于从所述联网设备请求所述跟踪数据的查询；以及
响应于所述查询来接收所述跟踪数据。
6.根据权利要求5所述的方法，还包括：
在向所述联网设备发送所述查询之前，确定所述联网设备在所述AR设备附近。
7.根据权利要求1所述的方法，其中，接收所述跟踪数据包括：从所述联网设备接收广播消息，所述广播消息包括所述跟踪数据。
8.根据权利要求1所述的方法，其中，所述本地网络包括无线局域网(WLAN)。
9.根据权利要求1所述的方法，其中，所述跟踪数据是经由设备互操作性框架消息接收的。
10.根据权利要求1所述的方法，其中，所述跟踪数据是经由短距离射频通信介质接收的。
11.根据权利要求1所述的方法，其中，所述跟踪数据包括在与所述联网设备相关联的增强现实属性数据集合中，所述增强现实属性数据集合嵌入到所述联网设备中。
12.根据权利要求1所述的方法，还包括：
使用所述AR设备处的集成相机来获得所述相机视图。
13.根据权利要求1所述的方法，还包括：
使用所述AR设备处的集成显示器装置来显示所述增强现实视图。
14.一种增强现实(AR)设备，包括：
处理器；以及
存储指令的存储器，所述指令在被所述处理器执行时使得所述AR设备进行以下操作：
接收对联网设备的一个或多个可跟踪特征进行描述的跟踪数据，其中，所述跟踪数据是经由本地网络从所述联网设备接收的；以及
响应于在所述AR设备的相机视图中检测到所述联网设备的至少一个可跟踪特征，生成与所述联网设备相关联的增强现实视图。
15.根据权利要求14所述的AR设备，其中，所述指令还使得所述处理器进行以下操作：
至少部分地基于所述跟踪数据，来确定所述联网设备在所述AR设备的所述相机视图中的位置。
16.根据权利要求14所述的AR设备，其中，所述指令还使得所述处理器进行以下操作：
执行AR应用，所述AR应用基于所述相机视图来生成所述增强现实视图，其中，所述增强现实视图是利用与所述联网设备相关联的AR属性来增强的。
17.根据权利要求14所述的AR设备，还包括：
向所述AR设备的用户显示所述增强现实视图的显示器装置。
18.根据权利要求14所述的AR设备，还包括：
网络接口，所述网络接口向所述联网设备发送用于从所述联网设备请求所述跟踪数据的查询，以及响应于所述查询来接收所述跟踪数据。
19.根据权利要求18所述的AR设备，其中，所述网络接口响应于所述AR设备确定所述联网设备在所述AR设备附近来发送所述查询。
20.根据权利要求14所述的AR设备，还包括：
从所述联网设备接收广播消息的网络接口，所述广播消息包括所述跟踪数据。
21.一种由联网设备执行的方法，所述方法包括：
存储对所述联网设备的一个或多个可跟踪特征进行描述的跟踪数据，所述跟踪数据实现增强现实(AR)设备对所述联网设备的视觉检测；以及
将所述跟踪数据经由本地网络提供给所述AR设备。
22.根据权利要求21所述的方法，其中，所述跟踪数据描述至少第一可跟踪特征的一个或多个视觉属性，所述一个或多个视觉属性包括尺寸、形状和颜色中的至少一者。
23.根据权利要求21所述的方法，还包括：
从所述AR设备接收用于请求所述跟踪数据的查询，
其中，提供所述跟踪数据是响应于所述查询的。
24.根据权利要求21所述的方法，还包括：
向所述AR设备提供关于所述联网设备具有存储在所述联网设备处的所述跟踪数据的指示。
25.根据权利要求21所述的方法，还包括：
根据设备发现协议经由所述本地网络来广播所述跟踪数据。
26.根据权利要求21所述的方法，其中，所述跟踪数据被包括在存储在所述联网设备处的增强现实数据集合中并且响应于来自所述AR设备的请求被提供给所述AR设备。
27.根据权利要求21所述的方法，其中，所述跟踪数据是经由设备互操作性框架消息来提供的。
28.一种联网设备，包括：
用于经由本地网络进行通信的网络接口；
处理器；以及
存储器，所述存储器存储对所述联网设备的一个或多个可跟踪特征进行描述的跟踪数据，所述跟踪数据实现增强现实(AR)设备对所述联网设备的视觉检测，
所述存储器存储指令，所述指令在被所述处理器执行时使得所述联网设备将所述跟踪数据经由所述本地网络提供给所述AR设备。
29.根据权利要求28所述的联网设备，其中，所述指令使得所述处理器进行以下操作：
从所述AR设备接收用于请求所述跟踪数据的查询，
以及提供所述跟踪数据是响应于所述查询的。
30.根据权利要求28所述的联网设备，其中，所述指令使得所述处理器进行以下操作：
向所述AR设备提供关于所述联网设备具有存储在所述联网设备处的所述跟踪数据的指示。
CN201580028761.0A 2014-06-02 2015-05-14 用于增强现实的设备提供的跟踪数据 Active CN106462322B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462006749P 2014-06-02 2014-06-02
US62/006,749 2014-06-02
US14/507,591 2014-10-06
US14/507,591 US9886162B2 (en) 2014-06-02 2014-10-06 Device-provided tracking data for augmented reality
PCT/US2015/030859 WO2015187335A1 (en) 2014-06-02 2015-05-14 Device-provided tracking data for augmented reality

Publications (2)

Publication Number Publication Date
CN106462322A true CN106462322A (zh) 2017-02-22
CN106462322B CN106462322B (zh) 2019-08-06

Family

ID=54702164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580028761.0A Active CN106462322B (zh) 2014-06-02 2015-05-14 用于增强现实的设备提供的跟踪数据

Country Status (5)

Country Link
US (1) US9886162B2 (zh)
EP (1) EP3149564A1 (zh)
JP (1) JP6416290B2 (zh)
CN (1) CN106462322B (zh)
WO (1) WO2015187335A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067428A (zh) * 2017-03-10 2017-08-18 深圳奥比中光科技有限公司 增强现实投影装置及方法
CN108551420A (zh) * 2018-04-08 2018-09-18 北京灵犀微光科技有限公司 增强现实设备及其信息处理方法
CN110058907A (zh) * 2017-12-15 2019-07-26 奥誓公司 呈现增强现实界面
CN110568824A (zh) * 2018-06-05 2019-12-13 鑀錹科技有限公司 工业物联网架构
CN111278565A (zh) * 2017-09-21 2020-06-12 贝克顿·迪金森公司 用于有害污染物测试的增强现实装置
CN114051724A (zh) * 2019-09-18 2022-02-15 谷歌有限责任公司 基于相机取景器中识别的内容生成和渲染运动图形效果
CN114063796A (zh) * 2020-08-07 2022-02-18 美光科技公司 提供具有增强现实的路线

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016077506A1 (en) 2014-11-11 2016-05-19 Bent Image Lab, Llc Accurate positioning of augmented reality content
WO2017066801A1 (en) 2015-10-16 2017-04-20 Bent Image Lab, Llc Augmented reality platform
JP2017120329A (ja) * 2015-12-28 2017-07-06 株式会社ブリリアントサービス 調理用ヘッドマウントディスプレイおよび調理用ヘッドマウントディスプレイのプログラム
KR102479578B1 (ko) * 2016-02-03 2022-12-20 삼성전자주식회사 전자장치 및 그 제어방법
WO2017165705A1 (en) * 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US11782570B2 (en) * 2017-02-23 2023-10-10 Jue-Hsuan Hsiao Integration platform of internet of things and virtual device
EP3577632A4 (en) * 2017-03-09 2020-07-22 Samsung Electronics Co., Ltd. SYSTEM AND METHOD FOR IMPROVING THE EXTENDED REALITY EXPERIENCE ON USER DEVICES BASED ON INTERNAL CONTENT
CN106998283A (zh) * 2017-03-28 2017-08-01 朱正和 一种基于光纤传输的远程控制vr系统
US10602046B2 (en) 2017-07-11 2020-03-24 Htc Corporation Mobile device and control method
WO2019060275A1 (en) 2017-09-21 2019-03-28 Becton, Dickinson And Company DEMARCATION TEMPLATE FOR DANGEROUS CONTAMINANT TEST
CN111278987B (zh) 2017-09-21 2024-02-23 贝克顿·迪金森公司 以高拾取和脱落效率收集有害污染物的采样系统和技术
CA3075775A1 (en) 2017-09-21 2019-03-28 Becton, Dickinson And Company High dynamic range assays in hazardous contaminant testing
WO2019060264A1 (en) 2017-09-21 2019-03-28 Becton, Dickinson And Company HAZARDOUS CONTAMINANT COLLECTION KIT AND FAST TEST
WO2019060269A1 (en) 2017-09-21 2019-03-28 Becton, Dickinson And Company KIT FOR COLLECTING HAZARDOUS CONTAMINANTS AND RAPID ANALYSIS
WO2019060266A1 (en) 2017-09-21 2019-03-28 Becton, Dickinson And Company REACTIVE DEMARCATION TEMPLATE FOR DANGEROUS CONTAMINANT TEST
CN109931923B (zh) 2017-12-15 2023-07-07 阿里巴巴集团控股有限公司 一种导航引导图的生成方法和装置
US10410426B2 (en) * 2017-12-19 2019-09-10 GM Global Technology Operations LLC Augmented reality vehicle user interface
US10225360B1 (en) 2018-01-24 2019-03-05 Veeva Systems Inc. System and method for distributing AR content
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
CN212748381U (zh) 2019-01-28 2021-03-19 贝克顿·迪金森公司 一种有害污染物检测系统和一种有害污染物收集装置
US11206505B2 (en) * 2019-05-06 2021-12-21 Universal City Studios Llc Systems and methods for dynamically loading area-based augmented reality content
CN113906480A (zh) * 2019-05-31 2022-01-07 Bsh家用电器有限公司 用于提供关于燃气架具的信息的方法和设备
IT201900015485A1 (it) * 2019-09-03 2021-03-03 Ali Group Srl Carpigiani Sistema di supporto per la gestione di una macchina per il trattamento di prodotti alimentari e procedimento corrispondente.
CN113970888A (zh) * 2020-07-07 2022-01-25 华为技术有限公司 家居设备控制方法、终端设备及计算机可读存储介质
US11954885B2 (en) * 2021-09-15 2024-04-09 Apple Inc. Display tracking systems and methods
US11809680B2 (en) * 2021-12-30 2023-11-07 Snap Inc. Interface for engaging IoT devices with AR camera
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7047525B2 (en) * 2001-04-02 2006-05-16 American Express Travel Related Services Company, Inc. System and method for an interoperability framework
EP2293531A1 (en) * 2009-08-11 2011-03-09 Lg Electronics Inc. Electronic device and control method thereof
CN102668605A (zh) * 2010-03-02 2012-09-12 英派尔科技开发有限公司 在增强现实中跟踪对象

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731785A (en) * 1994-05-13 1998-03-24 Lemelson; Jerome H. System and method for locating objects including an inhibiting feature
US7127082B2 (en) 2002-09-27 2006-10-24 Hrl Laboratories, Llc Active fiducials for augmented reality
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US8606657B2 (en) 2009-01-21 2013-12-10 Edgenet, Inc. Augmented reality method and system for designing environments and buying/selling goods
KR101633359B1 (ko) 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
JP4914528B1 (ja) * 2010-08-31 2012-04-11 新日鉄ソリューションズ株式会社 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム
JP2012152016A (ja) * 2011-01-19 2012-08-09 Mitsubishi Electric Corp ケーブル接続作業支援装置
US9480913B2 (en) * 2011-01-26 2016-11-01 WhitewaterWest Industries Ltd. Interactive entertainment using a mobile device with object tagging and/or hyperlinking
US20130155107A1 (en) 2011-12-16 2013-06-20 Identive Group, Inc. Systems and Methods for Providing an Augmented Reality Experience
US9350814B2 (en) 2012-02-21 2016-05-24 Qualcomm Incorporated Internet protocol connectivity over a service-oriented architecture bus
US9143402B2 (en) 2012-02-24 2015-09-22 Qualcomm Incorporated Sensor based configuration and control of network devices
US9380621B2 (en) 2012-04-12 2016-06-28 Telefonaktiebolaget Lm Ericsson (Publ) Pairing a mobile terminal with a wireless device
US9449343B2 (en) 2012-10-05 2016-09-20 Sap Se Augmented-reality shopping using a networked mobile device
US9081994B2 (en) * 2012-10-05 2015-07-14 Hand Held Products, Inc. Portable RFID reading terminal with visual indication of scan trace
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7047525B2 (en) * 2001-04-02 2006-05-16 American Express Travel Related Services Company, Inc. System and method for an interoperability framework
EP2293531A1 (en) * 2009-08-11 2011-03-09 Lg Electronics Inc. Electronic device and control method thereof
CN102668605A (zh) * 2010-03-02 2012-09-12 英派尔科技开发有限公司 在增强现实中跟踪对象

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067428A (zh) * 2017-03-10 2017-08-18 深圳奥比中光科技有限公司 增强现实投影装置及方法
CN111278565A (zh) * 2017-09-21 2020-06-12 贝克顿·迪金森公司 用于有害污染物测试的增强现实装置
CN111278565B (zh) * 2017-09-21 2022-03-01 贝克顿·迪金森公司 用于有害污染物测试的增强现实装置
CN110058907A (zh) * 2017-12-15 2019-07-26 奥誓公司 呈现增强现实界面
CN110058907B (zh) * 2017-12-15 2022-04-29 维里逊专利及许可公司 呈现增强现实界面
CN108551420A (zh) * 2018-04-08 2018-09-18 北京灵犀微光科技有限公司 增强现实设备及其信息处理方法
CN108551420B (zh) * 2018-04-08 2021-12-14 北京灵犀微光科技有限公司 增强现实设备及其信息处理方法
CN110568824A (zh) * 2018-06-05 2019-12-13 鑀錹科技有限公司 工业物联网架构
CN114051724A (zh) * 2019-09-18 2022-02-15 谷歌有限责任公司 基于相机取景器中识别的内容生成和渲染运动图形效果
CN114063796A (zh) * 2020-08-07 2022-02-18 美光科技公司 提供具有增强现实的路线
US11674816B2 (en) 2020-08-07 2023-06-13 Micron Technology, Inc. Providing a route with augmented reality
CN114063796B (zh) * 2020-08-07 2024-01-16 美光科技公司 提供具有增强现实的路线

Also Published As

Publication number Publication date
WO2015187335A1 (en) 2015-12-10
CN106462322B (zh) 2019-08-06
JP2017527870A (ja) 2017-09-21
JP6416290B2 (ja) 2018-10-31
EP3149564A1 (en) 2017-04-05
US20150347850A1 (en) 2015-12-03
US9886162B2 (en) 2018-02-06

Similar Documents

Publication Publication Date Title
CN106462322B (zh) 用于增强现实的设备提供的跟踪数据
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN106920279B (zh) 三维地图构建方法和装置
CN104102335B (zh) 一种手势控制方法、装置和系统
JP6040882B2 (ja) 複数の３次元モデルをつなぎ合わせる装置、方法及びプログラム
EP2974509B1 (en) Personal information communicator
CN102509349B (zh) 基于移动终端的试衣方法、装置及移动终端
JP2003256876A (ja) 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
CN108564662A (zh) 一种远距离场景下进行增强现实数字文化内容显示的方法及装置
KR101545138B1 (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
WO2017027338A1 (en) Apparatus and method for supporting interactive augmented reality functionalities
CN103873750A (zh) 用于通信的可穿戴式成像传感器
KR20120133648A (ko) 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
CN108961375A (zh) 一种根据二维图像生成三维图像的方法及装置
KR102125314B1 (ko) 오프라인 매장 정보 및 영상 정보를 이용한 상품 정보 제공장치 및 그 방법
KR101176743B1 (ko) 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
Lanka et al. A review of research on emerging technologies of the Internet of Things and augmented reality
CN110956571B (zh) 基于slam进行虚实融合的方法及电子设备
Shao et al. Marble: Mobile augmented reality using a distributed ble beacon infrastructure
US9547669B2 (en) Performing a visual search using a rectified image
CN108615260A (zh) 一种异常现实环境下进行增强现实数字文化内容显示的方法及装置
JP2017182681A (ja) 画像処理システム、情報処理装置、プログラム
Zhang et al. Mixed reality annotations system for museum space based on the UWB positioning and mobile device
WO2018023042A1 (en) Method and system for creating invisible real-world links to computer-aided tasks with camera
KR102527398B1 (ko) 화상미팅 프로그램 기반의 가상 피팅 방법 및 그 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant