CN112074877A - 基于标记的增强现实系统和方法 - Google Patents

基于标记的增强现实系统和方法 Download PDF

Info

Publication number
CN112074877A
CN112074877A CN201980030280.1A CN201980030280A CN112074877A CN 112074877 A CN112074877 A CN 112074877A CN 201980030280 A CN201980030280 A CN 201980030280A CN 112074877 A CN112074877 A CN 112074877A
Authority
CN
China
Prior art keywords
content
marker
data
electronic device
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980030280.1A
Other languages
English (en)
Inventor
铃木正树
塞尔吉奥·珀迪克斯-冈萨雷斯
普拉纳夫·米思特理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112074877A publication Critical patent/CN112074877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开描述了一种用于基于标记的增强现实系统的系统和方法。该方法包括：从电子设备的相机中获取包括与现实环境有关的图像的图像数据；从所获取的图像数据中识别至少一个标记；识别由至少一个标记表示的信息，由该至少一个标记表示的信息包括内容数据、元数据或服务器数据中的至少一者；基于内容数据、元数据或服务器数据中的至少一者来生成内容；以及在电子设备的显示器上显示覆盖与现实环境有关的图像的内容，其中该内容被显示在与至少一个标记位于现实环境的图像中的至少一个第一位置或由至少一个标记指示的至少一个第二位置相对应的至少一部分上。

Description

基于标记的增强现实系统和方法
技术领域
本公开总体上涉及计算机视觉和增强现实。更具体地，本公开涉及一种用于基于检测放置在物理环境中的标记来生成增强现实内容的方法和系统。
背景技术
随着诸如智能手机之类的移动设备变得越来越普遍，业余摄像师创建动态视频记录也相应地增加。对于诸如视频稳定、拼接和分割之类的各种视频应用，识别视频的静态背景部分的能力很重要。对于大部分前景被一个或更多个移动前景对象占据且背景不断变化的动态视频而言，用于静态背景识别的现有策略会误识别背景部分，并将视频过度分割为多个前景和背景对象。
发明内容
技术方案
本公开提供一种用于基于检测放置在物理环境中的标记来生成增强现实内容的系统和方法。
在第一实施例中，一种方法包括：从电子设备的相机中获取包括与现实环境有关的图像的图像数据；从所获取的图像数据中识别至少一个标记；识别由所述至少一个标记表示的信息，由所述至少一个标记表示的信息包括内容数据、元数据或服务器数据中的至少一者；基于所述内容数据、所述元数据或所述服务器数据中的至少一者来生成内容；以及在所述电子设备的显示器上显示覆盖与所述现实环境有关的图像的内容，其中所述内容被显示在与所述至少一个标记位于所述现实环境的图像中的至少一个第一位置或由所述至少一个标记指示的至少一个第二位置相对应的至少一部分上。
在第二实施例中，所述电子设备包括：相机；显示器；以及可操作地耦合到所述相机和所述显示器的处理器。该处理器配置为：从所述相机中获取包括与现实环境有关的图像的图像数据；从所获取的图像数据中识别至少一个标记；识别由所述至少一个标记表示的信息，由所述至少一个标记表示的信息包括内容数据、元数据或服务器数据中的至少一者；基于所述内容数据、所述元数据或所述服务器数据中的至少一者来生成内容；以及在所述显示器上显示覆盖所述现实环境的图像的内容，其中所述内容被显示在与所述至少一个标记位于所述现实环境的图像中的至少一个第一位置或由所述至少一个标记指示的至少一个第二位置相对应的至少一部分上。
在第三实施例中，一种包含计算机程序的非暂时性计算机可读介质，所述计算机程序包括计算机可读程序代码，所述计算机可读程序代码在被执行时使至少一个处理器执行以下操作：所述电子设备的相机中获取包括与现实环境有关的图像的图像数据；从所获取的图像数据中识别至少一个标记；识别由所述至少一个标记表示的信息，由所述至少一个标记表示的信息包括内容数据、元数据或服务器数据中的至少一者；基于所述内容数据、所述元数据或所述服务器数据中的至少一者来生成内容；以及在所述电子设备的显示器上显示覆盖与所述现实环境有关的图像的内容，其中所述内容被显示在与所述至少一个标记位于所述现实环境的图像中的至少一个第一位置或由所述至少一个标记指示的至少一个第二位置相对应的至少一部分上。
根据以下附图、说明书和权利要求书，其他技术特征对于本领域技术人员而言是显而易见的。
在采用下面的发明方式之前，阐明在整个本专利文件中使用的某些单词和短语的定义可能是有利的。术语“耦合”及其派生词是指两个或多个元素之间的任何直接或间接通信，无论这些元素是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词涵盖直接和间接通信。术语“包括”和“包含”及其派生词是指包括但不限于。术语“或”是包含性的，意指和/或。短语“与……相关联”及其派生词意指包括、包括在其中、与之互连、包含、包含在其中、连接到或与之连接、耦合到或与之耦合、与之通信、与之协作、交错、并置、与之类似、联系到或与之有联系、具有、有……属性、关系到与之有关系等。术语“控制器”是指控制至少一个操作的任何设备、系统或其一部分。这样的控制器可以以硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是本地或远程地集中式或分布式。短语“至少一个”当与项目列表一起使用时，意味着可以使用一个或更多个所列项目的不同组合，并且可能只需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任何一个：A、B、C、A和B、A和C、B和C以及A和B和C。
此外，以下描述的各种功能可以由一个或更多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指一个或更多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其适于在合适的计算机可读程序代码中实施的一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的内存。“非暂时性”计算机可读介质不包括传输暂时性电或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质以及可存储数据并随后覆盖的介质，例如可重写光盘或可擦除存储设备。
贯穿本专利文件提供了其他某些单词和短语的定义。本领域普通技术人员应当理解，在很多情况下，即使不是大多数情况，这种定义也适用于这种定义的单词和短语的先前以及将来的使用。
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中：
图1示出了根据本公开实施例的示例系统；
图2示出了根据本公开的实施例的示例电子设备；
图3示出了根据本公开的实施例的示例电子设备；
图4A和图4B示出根据本公开的实施例的由HMD解释来自标记的通信的示例；
图5A和图5B示出了根据本公开的实施例的对来自被配置成附接到人的衣服上的便携式标记的通信进行解释的示例；
图6A和图6B示出了根据本公开的实施例的对来自被配置成附接到房间的墙壁的标记的通信进行解释的示例；
图7A、图7B、图7C、图7D、图7E和图7F示出了根据本公开的实施例的对来自用于在HMD上生成虚拟计算机桌面显示器的标记的通信进行解释的示例；
图8A、图8B和图8C示出了在HMD检测到环境中其他事件的情况下对来自用于生成内容以显示在HMD上的标记的通信进行解释的示例；
图9示出了在城市街道上存在的多个有源标记的示例，每个有源标记提供指示HMD显示文本或其他内容的数据或元数据；
图10示出了其中标记彼此通信以调整它们发送到HMD的数据的示例实施例；
图11示出了其中标记彼此通信以调整它们发送到HMD的数据的实施例的另一示例；以及
图12示出了根据本公开的用于基于标记的增强现实系统的示例方法。
在所有附图中，相似的附图标记将被理解为指代相似的部件、组件和结构。
具体实施方式
下面讨论的图1至图12以及用于描述本专利文件中的公开原理的各种实施例仅是示例性的，不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，可以在任何适当布置的无线通信系统中实现本公开的原理。
随着包括移动电话和可头戴设备或头戴式设备(HMD)在内的移动计算设备的不断增加的普及，对增强现实(AR)应用的需求也不断增加。AR应用允许显示可以覆盖在AR设备周围的现实环境的再现上的内容。例如，移动设备或HMD可以通过在显示器上，以内容(例如，标签、图片、3D模型等)覆盖在再现上，来显示由设备上的相机捕获的真实世界的图像或视频馈送来提供AR体验。这样的实施例可以通过智能电话的显示器或包围用户的眼睛并具有外部相机的HMD的显示器来起作用。在另一个示例中，HMD可以提供覆盖在透明透镜上的显示器(例如，通过使用微型投影设备将显示器投射到透明透镜上)，从而用户可以通过显示器的内容覆盖在现实环境上的透镜来直接观看现实环境。
本公开的实施例预期，可以通过放置在物理环境中的标记将用于为AR应用动态生成内容的信息提供给移动设备。此类标记可以包括例如，诸如表面上的图画或标记(例如，快速响应(QR)代码)的无源标记，或诸如包括光源(包括红外或可见光发光二极管(LED))的设备的有源标记。移动设备的相机可以捕获标记的图像或视频馈送，并且可以解释标记并检索包含在标记中的信息，该信息可用于生成内容以经由AR应用显示。为了简单起见，将在HMD的背景下讨论本公开的实施例，但是应当理解，诸如智能电话的其他类型的移动设备可以与本公开的实施例一起使用。
标记提供的信息可以由HMD直接使用，以生成用于AR应用的内容。例如，信息可以包括指定要显示的图像或3D对象的参数的内容数据，和/或指定要显示的内容的位置和大小、要显示的文本或其他信息等的元数据。然后，HMD可以解释该信息以生成用于显示的内容。标记提供的信息可以附加地或可替代地包括指定第三方内容源的信息(例如，服务器IP地址、蓝牙(蓝牙)ID等)。例如，标记提供的信息可以指定服务器IP地址，HMD可以通过无线通信协议连接到在指定地址的服务器，并且服务器可以反过来向HMD提供动态生成的内容，例如要由AR应用显示的广告、流视频等。在一些实施例中，第三方内容源可以包括在地理位置上靠近标记的边缘计算节点。
在一些实施例中，标记是独立的。例如，标记可以是低功率的电池供电的设备，该设备预先配置有要通过LED光学地发送到HMD的信息。应当理解，标记可以将该信息广播到范围内的任何HMD，并且提及向HMD发送信息的标记可以包括用于广播由HMD接收的信息的标记。然后，可以将标记放置在物理环境中，并让它自己进行操作，而无需进一步的交互。在其他实施例中，标记可以包括附加通信接口，例如有线接口或无线接口，其可以由后端设备用来重配置或更新要由标记发送的信息。
在一些实施例中，标记能够使用诸如蓝牙、WIFI直连等之类的无线接口与HMD进行双向通信，以从HMD接收信息。例如，标记可以向HMD光学地发送对设备ID、服务帐户证书等的请求。光学传输可以包括用于经由另一通信协议连接到标记的详情，并且HMD可以使用该通信协议来提供所请求的信息。标记反过来可以基于接收到的信息向HMD光学地发送用于显示的内容。
图1示出了根据本公开的实施例的示例系统100。图1中所示的系统100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用系统100的其他实施例。
系统100可以包括可以促进系统100中的各个组件之间的通信的网络102。例如，网络102可以在网络地址之间传送互联网协议(IP)分组或其他信息。网络102包括一个或更多个局域网(LAN)、城域网(MAN)、广域网(WAN)、诸如因特网之类的全球网络的全部或一部分，或者位于一个或更多个地点的任何一个或更多个其他通信系统。
网络102可以促进服务器104与诸如移动设备106和108之类的设备以及标记110之间的通信。服务器104可以表示一个或更多个服务器。每个服务器104包括可以为一个或更多个客户端设备提供计算服务的任何合适的计算或处理设备。每个服务器104可以例如包括一个或更多个处理设备、存储指令和数据的一个或更多个存储器，以及促进通过网络102进行通信的一个或更多个网络接口。
移动设备106和108均可以表示通过网络102与至少一个服务器或其他计算设备交互的任何合适的计算或处理设备。在该示例中，移动设备106和108包括HMD 106和移动电话108(例如，智能手机)。然而，可以在系统100中使用任何其他或附加的移动设备。为简单起见，本公开中的示例将参考HMD 106，但是可以理解的是，本公开的实施例可以使用诸如移动电话108的任何合适的移动设备。
标记110可以表示可以放置在物理环境中并配置为与HMD 106通信的任何合适的计算或处理设备。例如，标记110可以是光学地(例如，经由LED)与HMD 106通信的低功率的电池供电的设备。例如，标记110可以使用IEEE 802.15.7可见光通信(VLC)协议或使用IR与HMD 106通信。在一些实施例中，标记110是在没有与网络102或服务器104的任何连接的情况下进行操作的独立设备。例如，标记110可以被预先配置有用于发送到HMD 106的数据，并且随后被放置在系统100的环境中，以无限期地运行(或直到标记110被从系统100中移除)。在这样的实施例中，标记110可以向HMD 106进行单向传输，并且可以不被配置为从HMD106接收返回通信。这节省了功率，并且可以允许标记110以电池电力长时间工作。在一些实施例中，无源标记112，而不是有源标记110，被放置在系统100的环境中，或者除了有源标记110，无源标记112也被放置在系统100的环境中。例如，无源标记112可以包括QR码、图画或可被使用计算机视觉的HMD 106识别的物体。
在一些实施例中，标记110可以另外包括允许标记110从HMD 106接收通信的通信接口。例如，标记110可以周期性地(或恒定地)经由LED发送光信号以供附近的HMD 106接收，并且可以使用不同的通信接口(例如，蓝牙、WIFI直连等)从HMD 106接收传输。在一些实施例中，包括这种双向通信接口的标记110可以连接到电源，该电源允许以比电池供电的标记110更高的功率运行。
在此示例中，HMD 106和合适的标记110可以与网络102间接通信。例如，HMD 106或标记110可以经由一个或更多个基站116(例如，蜂窝基站或eNodeB(eNB))通信，或经由一个或更多个无线接入点118(例如，IEEE 802.11无线接入点)通信。注意，这些仅是为了说明，并且HMD106或标记110可以直接与网络102通信，或者可以经由任何适当的中间设备或网络间接地与网络102通信。
尽管图1示出了系统100的一个示例，但是可以对图1进行各种改变。例如，系统100可以包括以任何合适的布置的任何数量的每种组件。通常，计算和通信系统具有各种各样的配置，图1不将本公开的范围限制为任何特定配置。图1示出了一种其中可以使用在该专利文件中公开的各种特征的操作环境，这些特征可以在任何其他合适的系统中使用。
图2示出了根据本公开的实施例的示例电子设备200。图2中所示的电子设备200的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。电子设备200可以具有各种各样的配置，图2不将本公开的范围限制为电子设备的任何特定实现方式。在某些实施例中，图1的设备106和108中的一个或更多个可以包括与电子设备200相同或相似的配置。
如图2所示，电子设备200包括天线205、通信单元210、发送(TX)处理电路215、麦克风220和接收(RX)处理电路225。通信单元210可以包括例如包含通信电路的RF收发器、包含通信电路的蓝牙收发器、包含通信电路的WI-FI收发器、ZIGBEE、红外等。电子设备200还包括扬声器230、处理器240、输入/输出(I/O)接口245、输入250、显示器255、存储器260、一个或更多个相机265以及生物特征扫描仪270。存储器260包括操作系统(OS)261和应用262。
通信单元210从天线205接收从网络102(例如，Wi-Fi、蓝牙、蜂窝、5G、LTE、LTE-A、WiMAX或任何其他类型的无线网络)的接入点(例如，基站、Wi-Fi路由器、蓝牙设备)发送来的输入的RF信号(例如，蓝牙或WI-FI信号)。通信单元210可以将输入的RF信号下变频以生成中频或基带信号。将中频或基带信号发送到RX处理电路225，该RX处理电路225通过对基带或中频信号或其组合进行滤波、解码或数字化来生成处理后的基带信号。RX处理电路225将处理后的基带信号发送到扬声器230(例如，对于语音数据)或处理器240以进行进一步处理(例如，对于网页浏览数据和汇款)。
TX处理电路215从麦克风220接收模拟或数字语音数据，或者从处理器240接收其他输出基带数据。输出基带数据可以包括网络数据、电子邮件或交互式视频游戏数据。TX处理电路215对输出基带数据进行编码、复用、数字化或其组合，以生成处理后的基带或中频信号。通信单元210从TX处理电路215接收输出的处理后的基带或中频信号，并将该基带或中频信号上变频为经由天线205发送的RF信号。
处理器240可以包括一个或更多个处理器或其他处理设备，并执行存储在存储器260中的OS 261，以便控制电子设备200的整体操作。例如，处理器240可以根据众所周知的原理，通过通信单元210、RX处理电路225和TX处理电路215控制前向信道信号的接收和反向信道信号的发送。处理器240还能够执行驻留在存储器260中的其他应用262。例如，处理器240可以执行对经由相机265接收的图像或视频执行计算机视觉的应用262。特别地，处理器240可以执行应用262，该应用262检测并解释来自标记110和112的数据，并基于来自标记110和112的解释后的数据生成内容以通过显示器255显示。
处理器240可以包括以任何适当的布置的任何适当数量和类型的处理器或其他设备。例如，在一些实施例中，处理器240可以包括至少一个微处理器或微控制器。处理器240的示例类型可以包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。处理器240还可以耦合到I/O接口245，该I/O接口245使电子设备200能够连接到其他设备，例如标记110。I/O接口245可以是这些配件与处理器240之间的通信路径。
处理器240也可以耦合到输入250和显示器255。电子设备200的操作者可以使用输入250向电子设备200键入数据或键入输入。输入250可以是键盘、触摸屏、鼠标、轨迹球、语音输入或其他能够充当用户接口以允许用户与电子设备200交互的设备。例如，输入250可以包括语音识别处理，从而允许用户通过麦克风220输入语音命令。对于另一示例，输入250可以包括触摸面板、(数字)笔传感器、键或超声输入设备。触摸面板可以例如以电容性方案、压敏方案、红外方案或超声方案中的至少一者方案来识别触摸输入。通过向处理器240提供额外的输入，输入250可以与相机265相关联。相机可以用于捕获图像(例如，QR码)，或视频馈送(例如，来自LED的一系列闪烁)，以由电子设备200处理或传递给网络上的服务器104。输入250还可包括控制电路。在电容方案中，输入250可以识别触摸或接近。
显示器255可以是液晶显示器(LCD)、发光二极管(LED)显示器、光学LED(OLED)、有源矩阵OLED(AMOLED)或其他能够呈现例如来自网站、视频、游戏、图像等的文本和/或图形的显示器。显示器255也可以是投影仪。例如，微型投影仪可以用作显示器255，以将图像投影到用于AR应用的HMD的透明透镜上。
存储器260可以耦合到处理器240。存储器260的一部分可以包括随机存取存储器(RAM)，而存储器260的另一部分可以包括闪存或其他只读存储器(ROM)。存储器260可以包括永久存储装置(未示出)，该永久存储装置表示能够存储和促进信息(例如，数据、程序代码和/或临时或永久的其他合适信息)的检索的任何结构。存储器260可以包含一个或更多个支持长期存储数据的组件或设备，例如只读存储器、硬盘驱动器、闪存或光盘。
电子设备200还可以包括一个或更多个相机265，其捕获电子设备200周围的物理环境的图像。在一些实施例中，相机265可以是红外(IR)相机或多光谱相机。在一些实施例中，一个相机265是用于捕获各种应用的图像或视频的多光谱相机，并且第二相机265是用于通过来自标记110的IR捕获通信的IR相机。相机265可以是静止摄影相机或视频相机。在一些实施例中，相机265可以是光电二极管(即，单像素相机)。
在相机265是静止相机的实施例中，相机265可以拍摄定期静止照片。关于从标记110(例如，以闪烁的LED的形式)捕获光传输，如上面和下面所讨论的，静止摄影的周期可以被配置为匹配标记110的光传输的已知周期，使得在标记110的LED被预期点亮的每个时间段期间拍摄照片。这允许捕获来自标记110的比特流，其中每张照片捕获来自标记110的信息比特，并且其中照明或没有照明指示比特的值。换句话说，当在每个时间段内基于与要发送到HMD 106的数据(例如，图像数据)对应的光图案，标记110的LED被开启或关闭时，相机265可以在每个时间段期间捕获多个图像。此外，处理器240可以基于相机265捕获的多个图像来识别光图案，并且可以识别与该光图案相对应的数据。关于静态标记112(例如，环境中的图画、QR码或物体)，计算机视觉可以应用于在拍摄环境的每张照片中定位和解释标记112。
在相机265是视频相机的实施例中，相机265可以捕获周围环境的连续视频馈送。当捕获到标记110的闪烁的LED时，其照明或没有照明可以被确定并被解释为比特流。另外，计算机视觉可以应用于视频流的每个帧，以定位和解释在视频馈送中捕获的静态标记112。
尽管图2示出了计算系统中的电子设备的示例，但是可以对图2进行各种改变。例如，图2中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需要添加附加组件。作为特定示例，处理器240可以被划分为多个处理器，例如一个或更多个中央处理单元(CPU)和一个或更多个图形处理单元(GPU)。另外，与计算和通信网络一样，电子设备可以具有多种配置，图2并不将本公开限制于任何特定的电子设备。
图3示出了根据本公开的实施例的示例电子设备300。电子设备300可以是图1的标记110。电子设备300可以用于与诸如HMD 106的电子设备200发送和接收通信，如将在下面进一步描述的。
电子设备300包括总线系统305。总线系统305可以支持至少一个处理器310、至少一个存储设备315、至少一个通信接口320、至少一个输入/输出(I/O)单元325和发光单元(例如，LED)340之间的通信。
处理器310可以执行可以被加载到存储器330中的指令。例如，处理器310可以执行指令，该指令将存储在存储器330中的数据转换为要经由发光单元340进行光通信的信号。处理器310可以包括以任何合适的布置的任何合适数量和类型的处理器或其他设备。处理器310的示例类型可以包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
存储器330和永久存储装置335可以是存储设备315的示例，其表示能够存储和促进信息(例如，数据、程序代码和/或其他暂时或永久的合适的信息)的检索的任何结构。存储器330可以表示随机存取存储器或任何其他合适的易失性或非易失性存储设备。永久存储装置335可以包含一个或更多个支持长期存储数据的组件或设备，例如只读存储器、硬盘驱动器、闪存或光盘。在一些实施例中，要从电子设备300发送到电子设备200(例如，HMD106)的数据可以存储在存储器260中。
通信接口320可以支持与其他系统或设备的通信。例如，通信接口320可以包括网络接口卡或促进通过诸如网络102之类的网络进行通信的无线通信单元。通信接口320可以支持通过任何合适的物理或无线通信链路的通信。
I/O单元325可以允许数据的输入和输出。例如，I/O单元325通过键盘、鼠标、小键盘、触摸屏或其他合适的输入设备为用户输入提供连接。I/O单元325还可以将输出发送到显示器、打印机或其他合适的输出设备。I/O单元325可以用于便于例如在将标记110部署到系统100中之前对其进行预配置。
发光单元340可以允许将数据光学地发送到诸如HMD 106的电子设备200。在一些实施例中，发光单元340可以包括红外或可见光谱LED以及用于该LED的适当的控制器，通过在“关”和“开”状态之间切换LED(例如，使LED闪烁)可以实现光通信。LED的每个状态可以表示二进制比特的状态，因此LED可以用于传送比特流。换句话说，标记300的处理器310基于要发送到HMD 106的光图案数据来控制LED在每个时间段期间开启或关闭。光图案可以被配置为指示在每个时间段期间的开启或关闭，以表示各种类型的数据，例如图像、视频等，并且光图案可以被预先存储在标记300的存储器330中，或者可以从外部设备(例如，服务器104)接收。在一些实施例中，处理器310可以执行存储在存储设备315中的程序，以便以预定的周期性速率转换发光单元340的状态，该周期性速率也是用于捕获来自发光单元340的光的HMD 106已知的。
虽然图3示出了示例性电子设备300，但是可以对图3进行各种改变。例如，可以将图3中的各种组件进行组合、进一步细分或省略，并且可以根据特定需要来添加附加组件。作为特定示例，处理器310可以被划分为多个处理器，诸如一个或更多个中央处理单元(CPU)和一个或更多个图形处理单元(GPU)。另外，计算设备可以具有多种配置，并且图3不将本公开限制于任何特定的系统或设备。
图4A至图8C示出了根据本公开实施例的由HMD 106解释来自标记的通信的示例。图4A至图8C的解释表示诸如HMD 106之类的HMD的视角(即，它们表示HMD 106的用户在观看显示器或通过HMD 106的透镜时会看到什么)。为了方便起见，本公开的这个和另外的示例可以使用HMD 106，但是应当理解，可以使用任何合适的电子设备200。
如图4A所示，标记(marker)110可以位于环境内。在该示例中，标记110使用可见光LED，但是应当理解，可以使用利用不可见光谱LED(例如，IR LED)的标记110。可替代地，可以使用无源标记112。图4A表示其中HMD 106没有从标记110接收到任何可解释的数据的情况，或者替代地，其中用户根本没有佩戴HMD 106的情况(即，一个人正在用肉眼观察环境的情况)。因此，作为结果，标记110可以是易见的，没有生成的内容覆盖在环境上。在具有标记110或112的各种实施例的图5A、图6A、图7A、图7C、图7E和图8A中示出了相似的场景。
如图4B所示，可以从标记110解释出数据并且可以由HMD 106使用该数据来生成内容，该内容作为对象402被显示在环境内。在此示例中，对象402是静态3D对象，但应当理解，可以基于标记110发送的数据生成任何合适的对象。例如，对象402可以是动画2D或3D对象、视频、文本显示等。此外，尽管在该示例中对象(或内容)402可以直接显示在标记110的位置上方，但是应当理解，标记110发送的数据可以包括指示HMD 106将对象覆盖在环境中的不同位置处的元数据。
在一些实施例中，由标记110发送到HMD 106的数据可以包括起始代码、第三方设备标识符或地址、图像数据或元数据中的一个或更多个。例如，起始代码可以是来自标记110的通信中的二进制序列，该二进制序列向HMD 106指示来自标记110的通信中包含的数据类型。即，起始代码可以指示该数据是元数据、图像数据或服务器地址中的一个或更多个。起始代码还可以用于向HMD 106指示在起始代码之后开始发送数据。如果标记110连续广播相同的数据块，这可能很有用，因为即使HMD 106在标记110的数据传输过程中移动到观看标记110中，它也可以允许HMD106开始接收传输。
图5A和图5B示出了根据本公开的实施例的对来自可以被配置为附接到人的衣服的便携式标记的通信进行解释的示例。视图502是图5A的部分504的分解图，图5A示出了附接到衬衫的胸部口袋的便携式标记110。这样的标记110可以被构造成夹在或钉在衣服上。在一些实施例中，标记110可以被配置为附着到一件衣服的内部，并使用不会被衣服显着衰减的光的波长(例如，IR光)，从而提供标记110的功能而无需影响衣服的美观。
图5B示出了可以附接到人的衣服的便携式标记110的应用。在该示例中，标记110可以光学地向HMD 106发送数据，该数据包括用于虚拟服装506的图像数据和指示相对于标记110显示虚拟服装506的位置的元数据(例如，将虚拟服装506的中心定位到标记110左侧的距离x和标记110上方的距离y)。响应于从标记110接收到的数据，HMD 106可以生成并显示由标记110指定的虚拟服装506。在其他实施例中，这样的标记可以用于执行隐私功能。特别地，标记110可以指示HMD 106在包括标记110的HMD 106所拍摄的任何照片或视频馈送中模糊掉与标记110的所有者的脸相对应的位置。
图6A和图6B示出了根据本公开实施例的对来自被配置为附接到房间的墙壁的标记110的通信进行解释的示例。视图604是图6A的部分602的分解图，图6A示出了附接到柱子的便携式标记110。在这样的实施例中，标记110可以被配置为使用一次性或可重复使用的粘合剂附接到柱子或墙壁。然后可以容易地去除标记110并将其重新定位到另一位置。
图6B示出了附接到房间内的墙壁、柱子或其他类似位置的标记110的示例性应用。在该示例中，标记110可以将包括视频会议服务的服务器地址(例如，服务器104的地址)的数据光学地发送到HMD 106。HMD106可以解释服务器地址，连接到服务器，并且开始AR视频会议。基于从服务器104和从标记110接收的数据，HMD 106可以生成内容510，以覆盖在标记110的位置上显示。在该示例中，内容510可以表示正在参与视频会议的人的面部。在其他实施例中，内容510可以包括视频会议的任何合适的再现，诸如视频会议另一端的房间的视频馈送、视频会议中其他参与者的虚拟化身等。
图7A至图7F示出了根据本公开实施例的对来自用于在HMD上生成虚拟计算机桌面显示的标记的通信进行解释的示例。如图7A所示，标记112可以在环境的墙壁或其他表面上存在。HMD 106识别标记112并将其解释为指示：虚拟计算机桌面702可以被生成并显示在标记112的位置，如图7B所示。在一些实施例中，标记112可以包括指示虚拟计算机桌面702相对于标记112的大小和位置的元数据。尽管将QR码图示为标记112，但是应当理解，可以使用任何其他合适的无源标记112或有源标记110。虚拟计算机桌面702的内容可以由HMD 106独立地生成，或者可以由标记112指示。另外，标记112可以指示服务器104的服务器地址，并且虚拟计算机桌面702的内容可以由服务器104生成并被发送到HMD 106。
如图7C所示，可以在电子设备704的显示器上呈现标记112。电子设备704可以动态地生成并显示标记112以与HMD 106通信。在该示例中，电子设备704可以插接在扩展坞706中。电子设备704可以响应于识别到其被插接到扩展坞706中而生成标记112。HMD 106可以识别标记112，并将其解释为用于指示可以生成并显示如图7D所示的虚拟计算机桌面702的指令。在图7D的示例中，电子设备704及其扩展坞706可以位于桌子的表面上，并且标记112可以包括指示虚拟计算机桌面702可以显示在看起来漂浮在桌子上方并且在电子设备704及其扩展坞706前面的位置的元数据。因此，HMD 106可以在指定位置生成并显示虚拟计算机桌面702。在一些实施例中，标记112可以由电子设备704动态地修改以传输信息，该信息使得HMD 106例如通过改变虚拟计算机桌面702的位置或大小来调整虚拟计算机桌面702的参数。在一些实施例中，标记112可以包括服务器104的地址或指定到电子设备704的通信信道的信息(使用例如蓝牙、WIFI直连或其他通信协议)。然后，HMD 106可以连接到服务器104或电子设备704，以接收用于生成内容以显示在虚拟计算机桌面702上的信息。
图7E和图7F示出了用于在HMD上生成虚拟计算机桌面显示的标记的示例，类似于图7C和图7D的示例，使用了LED 708而不是无源标记112。如图7E所示，LED 708可以与扩展坞706集成(或耦合到扩展坞706)，并且可以执行类似于或等同于本公开中其他地方所描述的有源标记110的功能。因此，LED 708可以将数据光学地广播到HMD 106，HMD106可以将其解释为用于生成和显示如图7F所示的虚拟计算机桌面702的指令。用于生成图7F的虚拟计算机桌面702的参数可以类似于用于生成图7D的虚拟计算机桌面702的参数。
在一些实施例中，LED 708可以由电子设备704经由扩展坞706来控制。在其他实施例中，LED 708可以由扩展坞706来独立地控制，并且扩展坞706可以基于与电子设备704的连接来触发LED 708的操作。LED 708广播的数据还可以包括与扩展坞706相关联的SSID，从而为HMD 106提供通过另一通信协议(例如，蓝牙、WIFI直连等)连接到扩展坞706所需的信息，并且扩展坞706可以向HMD 106提供HMD 106用来生成虚拟计算机桌面702以及要在虚拟计算机桌面702上显示的内容，或两者的参数。如本公开中其他地方所讨论的，应当理解，LED 708可以是可见光LED、IR LED或任何其他合适的光源。
图8A至图8C示出了在HMD检测到环境中其他事件的情况下对来自用于生成内容以显示在HMD上的标记的通信进行解释的示例。图8A示出了环境中的标记110，类似于图4A、图5A、图6A、图7A、图7C和图7E。图8B示出了在标记110可以将包括第三方服务器ID的信息发送到HMD 106的情况下类似于图4B的实施例。HMD 106连接到服务器(例如，服务器104)，并且可以进一步接收HMD 106用来生成和显示内容402的数据，如在本公开中其他地方所描述的。在该实施例中，如果HMD106检测到环境中的一个或更多个特定对象或事件，则服务器104可以另外提供要生成和显示的不同的一组内容。例如，如图8C所示，从服务器104接收到的信息指示HMD 106：如果HMD 106检测到手势802，则可以显示虚拟计算机桌面702而不是内容402。从服务器104接收到的信息可以包括两种以上替代情况(例如，基于多个不同的手势或基于放置在环境中的其他物理对象(例如，标牌或家具)的存在，信息可以包括用于显示的多个不同的内容)。
在一些实施例中，环境中可以存在一个以上的标记110或112，并且HMD 106可以同时检测和解释多个标记110或112。例如，如图9所示，可以在城市街道上存在多个有源标记110，每个有源标记提供指示HMD106显示文本或其他内容的数据或元数据。此外，环境中可以存在多个无源标记112，并且HMD 106可以解释它们以生成用于显示的附加内容。在该实施例中，无源标记112包括环境中的物体，例如道路标识、自行车道标识和天空。HMD 106可以解释由HMD 106的一个或更多个相机(例如，相机265)捕获并使用计算机视觉技术解复用的图像或视频。
图10示出了其中标记彼此通信以调整它们发送到HMD的数据的示例实施例。在图10的示例中，道路上的多个车辆1002配备有其他车辆1002的驾驶员可见的标记110。在该实施例中，标记110显示在每辆车辆1002的后部，但是可以在车辆1002的不同位置上使用任何数量的标记(例如，在车辆1002的前部和侧面)。标记110可以与车辆1002的车载计算系统接口，并使用诸如IEEE 802.11、WIFI直连或其他合适的协议之类的无线传输协议来彼此通信。在一些实施例中，标记110将关于其车辆1002的信息传达给其他车辆1002的标记110，其他车辆1002的标记110可以进一步将该信息中继到其他车辆1002的其他标记110，从而在每个标记110中为彼此接近的所有车辆1002建立交通信息主体。此信息可用于更新其他车辆1002的车载计算系统或将交通信息光学地发送到其他车辆1002的驾驶员的HMD 106。
图11示出了其中标记彼此通信以调整它们发送到HMD的数据的实施例的另一示例。在该实施例中，许多人穿着附有标记110的衣服，标记110使用诸如IEEE 802.11、WIFI直连或其他合适的协议之类的无线传输协议彼此通信。标记110可以例如彼此传送包括标记110所附接到的衣服制品的细节的信息或关于衣服所有者的其他信息。标记110可以将该信息用于诸如社交网络之类的各种应用(例如，标记110可以与HMD 106交互以向HMD 106的用户提供信息，该信息允许他们比较其他穿着标记110的人所穿的衣服品牌)。附加地或可替代地，每个标记110可以将其信息光学地发送到HMD 106，从而向HMD 106提供与衣服相关的信息(例如，衣服的品牌名称)以进行显示。
图12示出了根据本公开的用于基于标记的增强现实系统的示例方法。尽管可以使用例如HMD 106以及标记110和112来执行该方法，但是应当理解，任何合适的电子设备200和300可以与该方法一起使用。
从步骤1202开始，HMD 106可以从相机(例如，相机265)获取图像数据。该图像数据可以包括HMD 106周围的现实环境的静止图像或视频。特别地，图像数据可以包括在HMD106的显示器上可见的现实环境的图像。
在步骤1204，HMD 106可以分析图像数据以识别至少一个标记(例如，标记110或112)。标记可以与HMD 106周围的现实环境中的物理位置相关联。例如，标记可以是在现实环境中的表面上书写、绘制或印刷的无源标记112，并且HMD 106的相机265可以是RGB相机。在另一个示例中，标记可以是可以被附接到或嵌入现实环境的表面中的有源标记110。在该示例中，标记110可以使用可见光谱光源，并且相机265可以是RGB相机，或者标记110可以使用IR光谱光源，并且相机265可以是IR相机。
在步骤1206，HMD 106可以确定经由至少一个标记表示的信息。该信息可以包括内容数据、元数据或服务器数据中的至少一者。内容数据可以包括要生成并显示在HMD 106的显示器上的内容的细节。元数据可以包括内容的参数，例如内容的大小和位置。在一些实施例中，内容数据和元数据可以作为整体由HMD 106合并和解释，以确定要显示的内容以及内容的大小和位置。当信息可以包括服务器数据(例如，服务器104的服务器地址)时，HMD 106可以使用任何适当的通信协议连接到所识别的服务器，并且可以从服务器接收被解释为生成内容的信息。即，HMD 106可以从服务器接收内容数据和元数据。
在步骤1208，HMD 106可以基于内容数据、元数据或服务器数据中的至少一者来生成内容。例如，HMD 106可以解释内容数据以确定内容的外观(例如，3D对象、2D对象、文本串、视频等)。HMD 106可以解释元数据以确定内容的其他参数，例如内容的大小或相对于标记(或相对于现实物理环境中的对象)的位置，在该位置将内容显示为对所显示的现实物理环境的再现的覆盖。如上所述，HMD 106可以从服务器提供的数据中做出这些解释：HMD 106从服务器识别数据。
在步骤1210，HMD 106可以通过HMD 106的显示器255呈现覆盖所显示的HMD 106周围的现实环境的再现的内容。可以相对于与至少一个标记相关联的物理位置在所显示的现实环境的再现中的一个或更多个位置呈现该内容。可以如步骤1208中所讨论的那样确定呈现位置。
在步骤1212，HMD 106可以分析图像数据以识别图像数据中的手势。在从标记确定的信息包括基于手势来修改内容的指示的情况下，HMD 106可以针对该手势分析图像数据。例如，当在相机的一定距离内识别到张开的手时(例如，当张开的手占据一定量的图像时)，标记可以向HMD 106指示显示某些内容。
在步骤1214，HMD 106可以基于所识别的手势来修改覆盖所显示的现实环境的再现的内容。例如，当识别到手势时，HMD 106可以将所呈现的内容从静态2D对象改变为视频，或者可以连接至服务器104并从服务器104流传输内容。
在步骤1216，HMD 106可以生成用于发送到至少一个标记的消息，并且在步骤1218，HMD 106可以将该消息发送到至少一个标记。HMD 106可以使用任何适当的通信协议来将消息发送到标记。例如，HMD 106可以使用蓝牙或WIFI直连将消息发送到标记。该消息可以是对来自标记的信息(例如，HMD 106的标识符、HMD 106的与该标记有关的服务的账户信息等)的请求的响应。
在本申请中的描述都不能被理解为暗示任何特定元件、步骤或功能是必须包括在权利要求范围内的必要元素。专利主题的范围仅由权利要求书限定。此外，所有权利要求均无意援引35US..C.§112(f)，除非确切的措词“用于……的装置”后接分词。

Claims (15)

1.一种电子设备的方法，所述方法包括：
从所述电子设备的相机获取包括与现实环境有关的图像的图像数据；
从所获取的图像数据中识别至少一个标记；
识别由所述至少一个标记表示的信息，由所述至少一个标记表示的信息包括内容数据、元数据或服务器数据中的至少一者；
基于所述内容数据、所述元数据或所述服务器数据中的至少一者来生成内容；以及
在所述电子设备的显示器上显示覆盖了与所述现实环境有关的图像的内容，
其中，所述内容被显示在与所述至少一个标记在所述现实环境的图像中所处的至少一个第一位置或由所述至少一个标记指示的至少一个第二位置相对应的至少一部分上。
2.根据权利要求1所述的方法，其中，所述至少一个标记包括书写标记、绘制标记或印刷标记中的至少一者，并且其中，所述相机包括RGB相机。
3.根据权利要求1所述的方法，其中，所述至少一个标记发射IR光，并且其中，所述相机包括IR相机。
4.根据权利要求1所述的方法，其中，由所述至少一个标记表示的信息包括服务器数据，
生成所述内容包括从服务器获取表示所述内容的信息，并且
所述服务器和所述表示内容的信息经由所述服务器数据识别。
5.根据权利要求1所述的方法，进一步包括：
通过分析所述图像识别手势；以及
基于所述手势修改所述内容。
6.根据权利要求1所述的方法，其中，
由所述至少一个标记表示的所述信息包括元数据，并且
生成所述内容包括从所述元数据识别所述内容的图形外观、所述内容的大小或在所显示的现实环境的再现中的一个或更多个位置中的至少一项。
7.根据权利要求1所述的方法，进一步包括：
生成用于发送到所述至少一个标记的消息；以及
向所述至少一个标记发送所述消息。
8.一种电子设备，所述电子设备包括：
相机；
显示器；以及
可操作地耦合到所述相机和所述显示器的处理器，所述处理器被配置为：
从所述相机中获取包括与现实环境有关的图像的图像数据；
从所获取的图像数据中识别至少一个标记；
识别由所述至少一个标记表示的信息，由所述至少一个标记表示的信息包括内容数据、元数据或服务器数据中的至少一者；
基于所述内容数据、所述元数据或所述服务器数据中的至少一者来生成内容；以及
在所述显示器上显示覆盖了所述现实环境的图像的内容，
其中，所述内容被显示在与所述至少一个标记在所述现实环境的图像中所处的至少一个第一位置或由所述至少一个标记指示的至少一个第二位置相对应的至少一部分上。
9.根据权利要求8所述电子设备，其中，所述至少一个标记包括书写标记、绘制标记或印刷标记中的至少一者，并且其中，所述相机包括RGB相机。
10.根据权利要求8所述电子设备，其中，所述至少一个标记发射IR光，并且其中，所述相机包括IR相机。
11.根据权利要求8所述电子设备，其中，由所述至少一个标记表示的所述信息包括服务器数据，
生成所述内容包括从服务器获取表示所述内容的信息，并且
所述服务器和所述表示内容的信息经由所述服务器数据识别。
12.根据权利要求8所述电子设备，其中，所述处理器进一步被配置为：
通过分析所述图像识别手势；以及
基于所述手势修改所述内容。
13.根据权利要求8所述电子设备，其中，
由所述至少一个标记表示的所述信息包括元数据，并且
生成所述内容包括从所述元数据中识别所述内容的图形外观、所述内容的大小或在所显示的现实环境的再现中的一个或更多个位置中的至少一项。
14.根据权利要求8所述电子设备，其中，所述处理器被进一步配置为：
生成用于发送到所述至少一个标记的消息；以及
向所述至少一个标记发送所述消息。
15.一种包含计算机程序的非暂时性计算机可读介质，所述计算机程序包括计算机可读程序代码，所述计算机可读程序代码在被执行时使至少一个处理器执行以下操作：
从所述电子设备的相机获取包括与现实环境有关的图像的图像数据；
从所获取的图像数据中识别至少一个标记；
识别由所述至少一个标记表示的信息，由所述至少一个标记表示的所述信息包括内容数据、元数据或服务器数据中的至少一者；
基于所述内容数据、所述元数据或所述服务器数据中的至少一者来生成内容；以及
在所述电子设备的显示器上显示覆盖了与所述现实环境有关的图像的内容，
其中，所述内容被显示在与所述至少一个标记在所述现实环境的图像中所处的至少一个第一位置或由所述至少一个标记指示的至少一个第二位置相对应的至少一部分上。
CN201980030280.1A 2018-05-23 2019-05-22 基于标记的增强现实系统和方法 Pending CN112074877A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862675458P 2018-05-23 2018-05-23
US62/675,458 2018-05-23
US16/209,864 US11354815B2 (en) 2018-05-23 2018-12-04 Marker-based augmented reality system and method
US16/209,864 2018-12-04
PCT/KR2019/006108 WO2019225960A1 (en) 2018-05-23 2019-05-22 Marker-based augmented reality system and method

Publications (1)

Publication Number Publication Date
CN112074877A true CN112074877A (zh) 2020-12-11

Family

ID=68613743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980030280.1A Pending CN112074877A (zh) 2018-05-23 2019-05-22 基于标记的增强现实系统和方法

Country Status (4)

Country Link
US (1) US11354815B2 (zh)
EP (1) EP3750138A4 (zh)
CN (1) CN112074877A (zh)
WO (1) WO2019225960A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10706318B2 (en) * 2017-12-12 2020-07-07 Intel Corporation Systems, apparatus, and methods to improve object recognition
US20220254019A1 (en) * 2019-04-14 2022-08-11 Holovisions LLC Healthy-Selfie(TM): Methods for Remote Medical Imaging Using a Conventional Smart Phone or Augmented Reality Eyewear
US11176669B2 (en) * 2019-04-14 2021-11-16 Holovisions LLC System for remote medical imaging using two conventional smart mobile devices and/or augmented reality (AR)
CN113286073A (zh) * 2020-02-19 2021-08-20 北京小米移动软件有限公司 拍摄方法、拍摄装置及存储介质
US11481965B2 (en) * 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof
US11550947B2 (en) * 2020-04-21 2023-01-10 International Business Machines Corporation Automatic prohibition of personal information identification
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US20220138994A1 (en) * 2020-11-04 2022-05-05 Micron Technology, Inc. Displaying augmented reality responsive to an augmented reality image
IT202100027011A1 (it) 2021-10-21 2023-04-21 Endymion Srl Sistema per la realizzazione e la fruizione di contenuti in realtà aumentata
US11995228B2 (en) 2022-01-11 2024-05-28 Rockwell Collins, Inc. Head tracking system with extended kalman filter combining absolute and relative navigation
US20230386143A1 (en) * 2022-05-25 2023-11-30 Adobe Inc. System and methods for providing invisible augmented reality markers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105447A1 (en) * 2010-11-02 2012-05-03 Electronics And Telecommunications Research Institute Augmented reality-based device control apparatus and method using local wireless communication
US20120327117A1 (en) * 2011-06-23 2012-12-27 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (ar)
US20130222427A1 (en) * 2012-02-29 2013-08-29 Electronics And Telecommunications Research Institute System and method for implementing interactive augmented reality

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542370B1 (ko) 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
FR2875356A1 (fr) * 2004-09-13 2006-03-17 France Telecom Decouverte et selection intelligente dans un reseau de multidiffusion
US7747036B2 (en) * 2005-05-20 2010-06-29 Canon Kabushiki Kaisha Document processing using embedded document information
US8479087B2 (en) * 2008-05-20 2013-07-02 Adobe Systems Incorporated Authoring package files
CN102132290A (zh) * 2008-06-26 2011-07-20 前视红外系统公司 发射器跟踪系统
GB2470073B (en) * 2009-05-08 2011-08-24 Sony Comp Entertainment Europe Entertainment device, system and method
US20110248995A1 (en) * 2010-04-09 2011-10-13 Fuji Xerox Co., Ltd. System and methods for creating interactive virtual content based on machine analysis of freeform physical markup
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
JP5480777B2 (ja) * 2010-11-08 2014-04-23 株式会社Ｎｔｔドコモ オブジェクト表示装置及びオブジェクト表示方法
US9536251B2 (en) 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US9229231B2 (en) * 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
JP6128123B2 (ja) * 2012-06-12 2017-05-17 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
KR20140021231A (ko) 2012-08-09 2014-02-20 한국전자통신연구원 증강방송 메타데이터 전송 장치, 사용자 단말, 증강방송 메타데이터 전송 방법과 재생 방법
US9110503B2 (en) * 2012-11-30 2015-08-18 WorldViz LLC Precision position tracking device
WO2014107681A1 (en) 2013-01-04 2014-07-10 Awyse, Inc. System and method for providing augmented reality on mobile devices
US9361733B2 (en) 2013-09-02 2016-06-07 Lg Electronics Inc. Portable device and method of controlling therefor
US20150116358A1 (en) * 2013-10-25 2015-04-30 Electronics And Telecommunications Research Institute Apparatus and method for processing metadata in augmented reality system
WO2015094052A1 (en) * 2013-12-19 2015-06-25 Husqvarna Ab Obstacle detection for a robotic working tool
US9264479B2 (en) * 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
WO2015123774A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
US20150302639A1 (en) * 2014-03-26 2015-10-22 Augmentecture, Inc. Method and system for creating enhanced images including augmented reality features to be viewed on mobile devices with corresponding designs
JP6265027B2 (ja) * 2014-04-22 2018-01-24 富士通株式会社 表示装置、位置特定プログラム、および位置特定方法
TWI571399B (zh) 2014-08-20 2017-02-21 啟碁科技股份有限公司 預警方法及車用雷達系統
US20170243403A1 (en) 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
EA032105B1 (ru) * 2014-12-31 2019-04-30 Ооо "Альт" Способ и система для отображения трехмерных объектов
US9754417B2 (en) * 2014-12-31 2017-09-05 Canon Information And Imaging Solutions, Inc. Methods and systems for displaying virtual objects
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10026228B2 (en) * 2015-02-25 2018-07-17 Intel Corporation Scene modification for augmented reality using markers with parameters
US9646421B2 (en) * 2015-04-14 2017-05-09 International Business Machines Corporation Synchronizing an augmented reality video stream with a displayed video stream
US11188146B2 (en) * 2015-10-17 2021-11-30 Arivis Ag Direct volume rendering in virtual and/or augmented reality
US10122888B2 (en) * 2015-10-26 2018-11-06 Ricoh Company, Ltd. Information processing system, terminal device and method of controlling display of secure data using augmented reality
US10282614B2 (en) * 2016-02-18 2019-05-07 Microsoft Technology Licensing, Llc Real-time detection of object scanability
JP6925320B2 (ja) * 2016-03-28 2021-08-25 株式会社野村総合研究所 コンテンツ管理装置、及びコンテンツ要求プログラム
KR101867664B1 (ko) 2016-04-26 2018-06-14 울산대학교 산학협력단 가상 현실용 무선 데이터 송수신 장치
US10057511B2 (en) 2016-05-11 2018-08-21 International Business Machines Corporation Framing enhanced reality overlays using invisible light emitters
JP2017228942A (ja) * 2016-06-22 2017-12-28 富士通株式会社 ヘッドマウントディスプレイ、送信制御プログラムおよび送信制御方法
US20180025544A1 (en) * 2016-07-22 2018-01-25 Schoeller Philipp A Method and device for determining rendering information for virtual content in augmented reality
US10765480B2 (en) * 2016-08-17 2020-09-08 Synaptive Medical (Barbados) Inc. Wireless active tracking fiducials
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
ES2616146B2 (es) * 2016-12-20 2018-04-27 Universitat D'alacant / Universidad De Alicante Método de detección y reconocimiento de marcadores visuales de largo alcance y alta densidad
US20180182169A1 (en) * 2016-12-22 2018-06-28 Atlatl Software, Inc. Marker for augmented reality employing a trackable marker template
US20180211404A1 (en) * 2017-01-23 2018-07-26 Hong Kong Applied Science And Technology Research Institute Co., Ltd. 3d marker model construction and real-time tracking using monocular camera
US11347054B2 (en) * 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
WO2018200897A1 (en) * 2017-04-27 2018-11-01 TrinityVR, Inc. Baseball pitch simulation and swing analysis using virtual reality device and system
US10008045B1 (en) * 2017-12-21 2018-06-26 Capital One Services, Llc Placement of augmented reality objects using a bounding shape
US20190213792A1 (en) * 2018-01-11 2019-07-11 Microsoft Technology Licensing, Llc Providing Body-Anchored Mixed-Reality Experiences
US11189379B2 (en) * 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US10528998B2 (en) * 2018-04-11 2020-01-07 Trivver, Inc. Systems and methods for presenting information related to products or services being shown on a second display device on a first display device using augmented reality technology

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105447A1 (en) * 2010-11-02 2012-05-03 Electronics And Telecommunications Research Institute Augmented reality-based device control apparatus and method using local wireless communication
US20120327117A1 (en) * 2011-06-23 2012-12-27 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (ar)
US20130222427A1 (en) * 2012-02-29 2013-08-29 Electronics And Telecommunications Research Institute System and method for implementing interactive augmented reality

Also Published As

Publication number Publication date
WO2019225960A1 (en) 2019-11-28
US11354815B2 (en) 2022-06-07
EP3750138A1 (en) 2020-12-16
US20190362516A1 (en) 2019-11-28
EP3750138A4 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
US11354815B2 (en) Marker-based augmented reality system and method
US10410422B2 (en) System and method for augmented reality control
US10176636B1 (en) Augmented reality fashion
US9798143B2 (en) Head mounted display, information system, control method for head mounted display, and computer program
US10083351B2 (en) Control system and control method
CN106063261B (zh) 增强信息显示
US20180189958A1 (en) Virtual reality experience sharing
US9569892B2 (en) Image capture input and projection output
US20150028746A1 (en) Augmented reality graphical user interface for network controlled lighting systems
KR20080107211A (ko) 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한시스템 및 방법
US20170365097A1 (en) System and method for intelligent tagging and interface control
CN111567055A (zh) 数据处理方法及其电子设备
US11682045B2 (en) Augmented reality advertisements on objects
WO2019189768A1 (ja) 通信方法、通信装置、送信機、およびプログラム
KR20180075099A (ko) Hmd 장치 및 그의 제어 방법
KR101809673B1 (ko) 단말 및 그의 제어 방법
TWI734464B (zh) 基於光通信裝置的資訊顯示方法、電子設備、以及電腦可讀取記錄媒體
TWI574176B (zh) 光源擴增實境系統
US20220019752A1 (en) Visual marker
JP3210604U (ja) 情報提供装置
KR20180004643A (ko) 단말 및 그의 제어 방법
KR20230128234A (ko) 보행자 반응형 아날로그 디지털 융합 전자간판
KR101722053B1 (ko) 목적별 관심 영상으로 반복 전환하는 안내 장치 및 그 방법
CN112051943A (zh) 基于光通信装置的信息显示方法和相应的电子设备
US20220222923A1 (en) Improved object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination