CN112236715B - 用于增强现实的装置和方法 - Google Patents

用于增强现实的装置和方法 Download PDF

Info

Publication number
CN112236715B
CN112236715B CN201980038175.2A CN201980038175A CN112236715B CN 112236715 B CN112236715 B CN 112236715B CN 201980038175 A CN201980038175 A CN 201980038175A CN 112236715 B CN112236715 B CN 112236715B
Authority
CN
China
Prior art keywords
view
field
augmented reality
camera
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980038175.2A
Other languages
English (en)
Other versions
CN112236715A (zh
Inventor
斯里达尔·科恰拉科塔
莫伊泽·索娜萨斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112236715A publication Critical patent/CN112236715A/zh
Application granted granted Critical
Publication of CN112236715B publication Critical patent/CN112236715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于提供个性化增强现实(AR)显示的方法包括：在增强现实装置处获得相机视场的图像数据，该相机视场覆盖增强现实装置的外部定向相机的视场；基于图像数据来识别相机视场中的第一对象；以及相对于增强现实(AR)视场映射第一对象的位置。该方法还包括：基于第一对象的标识，确定第一对象是否是增强目标；以及响应于确定第一对象是增强目标，在面向内部的显示器上显示AR视场中与增强目标相关联的AR内容项。

Description

用于增强现实的装置和方法
技术领域
本公开总体上涉及通信技术。更具体地，本公开涉及用于增强现实的装置和方法。
背景技术
在短短的十年内，带有显示器的便携式联网设备(例如平板电脑和智能电话)已经从奢侈品变成了台式计算机、传真机和座机电话，成为个人和企业通信的默认设备。智能电话作为数百万人的主要通信接口的优势体现在许多用户检查其设备的频率以及用户之间屏幕时间的稳定增长。
除了便携式联网设备成为主要的通信介质外，过去的十年也见证了新显示技术的出现，包括虚拟现实(VR)和增强现实(AR)，它们利用小型处理器和轻型显示器的可能性，以提供对从物理世界向观看者的眼睛馈送视觉信息进行替代或增强的显示。
诸如智能电话之类的便携式设备的无处不在、以及诸如AR和VR的新显示技术的出现，提出了与通过合并AR和VR技术来改善作为通信工具的智能电话和其他便携式设备的功能相关联的众多机遇和技术挑战。
提出以上信息作为背景信息仅是为了辅助理解本公开。并未确定和断言上述任何内容是否可以用作关于本公开的现有技术。
发明内容
技术问题
已经做出了本公开以至少解决上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的一方面在于提供一种用于增强现实的装置和方法。
问题的解决方案
在第一实施例中，一种用于提供个性化增强现实(AR)显示的方法包括：在增强现实装置处获得相机视场的图像数据，所述相机视场覆盖所述增强现实装置的外部定向相机的视场；基于所述图像数据来识别所述相机视场中的第一对象；以及相对于增强现实(AR)视场映射所述第一对象的位置，所述AR视场覆盖所述相机视场的其中可以在所述增强现实装置的面向内部的显示器上显示增强现实(AR)内容的部分。所述方法还包括：基于所述第一对象的标识，确定所述第一对象是否是增强目标；以及响应于确定所述第一对象是所述增强目标，在所述面向内部的显示器上显示所述AR视场中与所述增强目标相关联的AR内容项。
在第二实施例中，一种增强现实装置包括：覆盖相机视场的外部定向相机，所述相机视场包括所述外部定向相机的视场；提供增强现实(AR)视场的面向内部的显示器，所述AR视场包括所述相机视场的其中可以在所述增强现实装置的所述面向内部的显示器上显示AR内容的部分；处理器；以及包含指令的存储器，所述指令在由所述处理器执行时使得所述处理器实现个性化通信增强现实(PCAR)框架。所述PCAR被配置为：获得所述相机视场的图像数据；基于所述图像数据来识别所述相机视场中的第一对象；相对于所述AR视场映射所述相机视场中的所述第一对象的位置；基于所述第一对象的标识，确定所述第一对象是否是增强目标；以及响应于确定所述第一对象是所述增强目标，在所述面向内部的显示器上显示所述AR视场中与所述增强目标相关联的AR内容项。
在第三实施例中，一种非暂时性计算机可读介质包括程序代码，所述程序代码在由处理器执行时使得增强现实装置：获得相机视场的图像数据，所述相机视场包括所述增强现实装置的外部定向相机的视场；基于所述图像数据来识别所述相机视场中的第一对象；以及相对于增强现实(AR)视场映射所述第一对象的位置，所述AR视场在所述相机视场的其中可以在所述增强现实装置的面向内部的显示器上显示增强现实(AR)内容的部分中。所述非暂时性计算机可读介质还包括程序代码，该程序代码在由处理器执行时使得所述增强现实装置：基于所述第一对象的标识确定所述第一对象是否是增强目标，以及响应于确定所述第一对象是所述增强目标，在所述面向内部的显示器上显示所述AR视场中与所述增强目标相关联的AR内容项。
根据下面的附图、描述和权利要求，其他技术特征对本领域技术人员而言可以是容易理解的。
在进行下面的详细描述之前，阐述贯穿本专利文件所使用的某些词语和短语的定义可能是有利的。术语“耦接”及其派生词指代两个或更多个元素之间的任何直接或间接的通信，不管这些元素是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词包括直接通信和间接通信这二者。术语“包含”和“包括”及其派生词意味着在没有限制的情况下的包含。术语“或”是包含性的，意味着和/或。短语“与...相关联”及其派生词意味着包括、被包括在...内、与...互连、包含、被包含在...内、连接到...或与...连接、耦接到...或与...耦接、可与...通信、与...协作、交织、并置、接近...、绑定到...或与...绑定、具有、具有...的属性、具有到...的关系或与...的关系等。术语“控制器”意味着控制至少一个操作的任何设备、系统或其部分。可以用硬件或硬件和软件和/或固件的组合来实现这样的控制器。与任何特定控制器相关联的功能可以是集中式或分布式的，不管本地还是远程。当与项目列表一起使用时，短语“...中的至少一项”意味着可以使用列出的项目中的一个或多个项目的不同组合，并且可能仅需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任一个：A、B、C、A和B、A和C、B和C、以及A和B和C。
此外，下文所描述的各种功能可以由一个或多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并被实施在计算机可读介质中。术语“应用”和“程序”指代一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其中适于在适当的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任意类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、压缩盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括其中能够永久存储数据的介质和其中能够存储数据且随后能够被重写的介质，诸如可重写的光盘或可擦除的存储器设备。
贯穿本专利文件提供了对其他某些词语和短语的定义。本领域普通技术人员应该理解：在许多情况下(如果不是大多数情况)，这样的定义适用于这样定义的词语和短语的先前以及将来的使用。
附图说明
为了更完整理解本公开及其优点，现结合附图来参考以下描述，在附图中：
图1示出了根据本公开的某些实施例的用于实现用于增强现实的装置和方法的电子设备的示例；
图2示出了根据本公开的一些实施例的合并了个性化通信增强现实(PCAR)框架的架构的示例；
图3示出了根据本公开的一个或多个实施例的增强现实装置的示例；
图4示出了根据本公开的一些实施例的AR装置处的视场的示例；
图5示出了根据本公开的各种实施例的AR装置处的视场的示例；
图6示出了根据本公开的某些实施例的PCAR数据库模式的示例；
图7示出了根据本公开的各种实施例的使用二进制图像描述符的图像识别的多个方面；
图8A、图8B、图8C、图8D、图8E和图8F示出了根据本公开的某些实施例的基于增强现实的通信的多个方面；
图9A、图9B、图9C和图9D示出了根据本公开的各种实施例的基于增强现实的通信的多个方面；
图10示出了根据本公开的一些实施例的在正常模式下操作PCAR框架的方法的操作；
图11示出了根据本公开的至少一个实施例的在增强模式下操作PCAR框架的方法的操作；
图12示出了根据本公开的某些实施例的用于执行基于增强现实的通信的方法的操作；以及
图13示出了根据本公开的各种实施例的用于执行基于增强现实的通信的方法的操作。
贯穿附图，相似的附图标记将被理解为指代相似的部分、组件和结构。
具体实施方式
以下讨论的图1至图13和本专利文件中用于描述本公开的原理的各种实施例仅仅是说明性的，而决不应以任何方式被解释为限制本公开的范围。本领域的技术人员应理解：本公开的原理可以在任何合适地布置的无线通信系统中实现。
图1示出了根据本公开的一些实施例的用于基于增强现实的通信的设备的非限制性示例。图1所示的设备100的实施例仅用于说明，并且其他配置是可能的。然而，合适的设备具有多种配置，并且图1不将本公开的范围限制于设备的任何特定实现。例如，设备100可以被实现为但不限于智能电话、可穿戴智能设备(诸如智能手表)、平板计算机或头戴式显示器。
如图1的非限制性示例所示，设备100包括通信单元110、发送(TX)处理电路115、麦克风120和接收(RX)处理电路125，该通信单元110可以包括例如射频(RF)收发器、
Figure BDA0002820643510000051
收发器或
Figure BDA0002820643510000052
收发器等。设备100还包括扬声器130、主处理器140、输入/输出(I/O)接口(IF)145、输入/输出设备150和存储器160。存储器160包括操作系统(OS)程序161和一个或多个应用162。
应用162可以包括游戏、社交媒体应用、用于对照片和其他数字内容项进行地理标记的应用、虚拟现实(VR)应用、增强现实(AR)应用、操作系统、设备安全性(例如，防盗和设备跟踪)应用、或访问设备100的资源的任何其他应用，设备100的资源包括但不限于扬声器130、麦克风120、输入/输出设备150和附加资源180。根据一些实施例，应用162包括以下应用，该应用可以消费来自电子设备100的相机的视场中的物理对象的图像数据，并且通过设备100的显示器或单独设备的显示器来提供AR或VR内容。
通信单元110可以接收输入RF信号，例如诸如
Figure BDA0002820643510000061
或Wi-FiTM信号的近场通信信号。通信单元110可以对输入RF信号进行降频转换以生成中频(IF)或基带信号。向RX处理电路125发送IF或基带信号，RX处理电路125通过对基带或IF信号进行滤波、解码或数字化来生成经处理的基带信号。RX处理电路125将经处理的基带信号发送到扬声器130(例如对于语音数据)或发送到主处理器140以用于进一步处理(例如对于网络浏览数据、在线游戏数据、通知数据或其他消息数据)。另外，通信单元110可以包含诸如网卡的网络接口或者通过软件实现的网络接口。
TX处理电路115接收来自麦克风120的模拟或数字语音数据或来自主处理器140的其他输出基带数据(例如web数据、电子邮件或交互式视频游戏数据)。TX处理电路115对输出基带数据进行编码、复用或数字化，以生成经处理的基带或IF信号。通信单元110从TX处理电路115接收经处理的输出基带或IF信号，并将该基带或IF信号升频转换为RF信号以用于发送。
主处理器140可以包括一个或多个处理器或其他处理设备，并执行存储器160中存储的OS程序161，以便控制设备100的总体操作。例如，根据众所周知的原理，主处理器140可以控制通过通信单元110、RX处理电路125和TX处理电路115对前向信道信号的接收和对反向信道信号的发送。在一些实施例中，主处理器140包括至少一个微处理器或微控制器。
主处理器140还能够执行存储器160中驻存的其他进程和程序。主处理器140可以根据执行进程的要求将数据移入或移出存储器160。在一些实施例中，主处理器140被配置为基于OS程序161或响应于来自用户或应用162的输入来执行应用162。应用162可以包括专门为设备100的平台开发的应用、或为早期平台开发的旧版应用。另外，根据本公开的某些实施例，主处理器140可以被制造为包括用于实现用于监视可疑应用访问的方法的程序逻辑。主处理器140还耦接到I/O接口145，I/O接口145向设备100提供连接到诸如膝上型计算机和手持式计算机的其他设备的能力。I/O接口145是这些附件与主处理器140之间的通信路径。
主处理器140还耦接到输入/输出设备150。设备100的操作者可以使用输入/输出设备150将数据输入到设备100中。输入/输出设备150可以包括键盘、头戴式显示器(HMD)、触摸屏、鼠标、跟踪球或其他能够充当用户接口以允许用户与电子设备100交互的设备。在一些实施例中，输入/输出设备150可以包括触摸面板、(数字)笔传感器、按键或超声输入设备。
输入/输出设备150可以包括一个或多个屏幕，该一个或多个屏幕可以是液晶显示器、发光二极管(LED)显示器、光学LED(OLED)、有源矩阵OLED(AMOLED)或能够渲染图形的其他屏幕。
存储器160耦接至主处理器140。根据某些实施例，存储器160的一部分包括随机存取存储器(RAM)，并且存储器160的另一部分包括闪存或其他只读存储器(ROM)。尽管图1示出了设备100的一个示例，但是可以对图1进行各种更改。
例如，根据某些实施例，设备100还可以包括单独的图形处理单元(GPU)170。
根据某些实施例，电子设备100包括各种附加资源180，如果允许，则这些附加资源180可以被应用162访问。根据某些实施例，附加资源180包括：加速度计或惯性运动单元182，其可以检测电子设备沿一个或多个自由度的移动。在一些实施例中，附加资源180包括动态视觉传感器(DVS)184、电子设备100的一个或多个相机186。
尽管图1示出了用于执行半密集深度估计的设备100的一个示例，但是可以对图1进行各种更改。例如，设备100可以以任何合适的布置包括任何数量的组件。通常，包括计算和通信系统的设备具有各种各样的配置，并且图1不将本公开的范围限制于任何特定的配置。虽然图1示出了其中可以使用本专利文件中公开的各种特征的一个操作环境，但是这些特征可以用于任何其他合适的系统中。
图2示出了根据本公开的一些实施例的合并了个性化通信增强现实(PCAR)框架的架构200的示例。图2所示的架构200的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。
为了便于说明，在图2的非限制性示例中，架构200遵循主机平台201与客户端平台205之间的客户端-主机模型，其中PCAR框架220的组件被实现为在AR应用层230与OS/设备层210之间的逻辑层上的软件。以下其他实施例是可行的并且在本公开的预期范围内，该其他实施例例如是利用实体之间的对等关系(相对于主机-客户端而言)的实施例、或其中PCAR框架220的组件被实现为硬件、或硬件和软件的组合的实施例。
根据某些实施例，主机平台201包括数据库服务器，该数据库服务器可通信地(例如，经由因特网、无线网络或内联网)连接到客户端平台205。作为一个非限制性示例，主机平台201包括联网的计算机，例如运行MySQL的实例以托管PCAR数据库203的数据库服务器。
根据各种实施例，PCAR数据库203至少包括信息存储库，该信息存储库将增强现实(AR)内容项与对象的标识符相关联。根据一些实施例，PCAR数据库203还包括与包括以下项的模式相对应的数据：对象签名(例如，特定对象的标识符——例如，已知位置处的椅子)、用户标识符(例如，创建了AR内容项与对象之间的关联的用户的ID)、可见性数据(例如，指定其他用户查看AR内容的权限的数据，其中该AR内容的关联是由在用户标识符字段中标识的用户所创建的)、对象位置、以及AR内容项与对象之间的关联的到期时间。
在某些实施例中，AR内容项与对象之间的关联由用户确定(例如，如本公开的图8A至图8F所示)。在各种实施例中，用于创建对象与内容项之间的关联的逻辑驻存在AR装置本身内。作为非限制性示例，在客户端平台205上运行的PCAR服务可以使用客户端平台本身的信息(例如，与客户端平台相关联的国际移动设备标识符(IMEI)或系统信息，例如操作系统的标识符)以创建对象(例如，设备的充电器)与AR内容项之间的关联。作为一个示例，用于客户端平台205的PCAR服务可以从PCAR数据库203接收将由移动运营商为客户端平台205提供的AR内容项与对象相关联的信息。作为示例，当客户端平台205接收到与用于客户端平台205的充电器或电源相关联的图像数据时，可以呈现包括用于升级的移动服务计划的广告在内的AR内容项。在该示例中，基于关于客户端平台的信息，例如客户端平台是订户时所针对的无线运营商的标识，来选择要与对象相关联的AR内容项。
在根据本公开的各种实施例中，AR内容项与对象之间的关联由主机平台201结合PCAR数据库203来驱动和推送。因此，根据本公开的某些实施例支持客户端设备之间的通信(例如，如图8A至图8F所示)以及主机平台201与203之间的端对端通信。在根据本公开的一些实施例中，主机平台201(例如，从诸如Wi-Fi路由器或ZigBee收发器之类的网络接入点)接收与作为增强目标的对象的视觉范围内的设备的标识相关的信息。基于该信息，主机平台201将保持在PCAR数据库203中的关联信息推送到所识别出的设备中的一些设备或所有设备。作为说明性示例，可以在由主机平台201获得的设备信息上选择在本公开的图9A至图9D中向用户示出的增强。作为一个示例，基于设备标识信息，关于图9A至图9D所示的电视机的信息可以仅被推送到由电视制造商制造的设备。
如图2的非限制性示例所示，客户端平台205包括通信地连接到主机平台201的一个或多个电子设备(例如，头戴式显示器和智能电话或图1的电子设备100)。在此说明性示例中，在客户端侧，架构200包括三个逻辑层——设备/操作系统(OS)层210、包括PCAR框架220在内的中间层和AR应用层230。
在根据本公开的某些实施例中，设备/OS层210包括客户端平台205的获得图像数据215和位置数据217的硬件、软件或硬件和软件的细合。
在一些实施例中，图像数据215包括从一个或多个外部定向传感器(例如，CMOS摄像机或动态视觉传感器(DVS)，其被配置为通过在传感器的像素处捕获接收到的光的强度的变化来产生相对较少的数据密集型视场表示)输出的数据。如在本公开中所使用的，术语“外部定向”涵盖与用于在AR装置中呈现AR内容的显示器的投影方向远离的方向。作为非限制性示例，对于将佩戴在用户的眼睛上的AR设备，AR设备中朝向用户的眼睛投影内容的显示器将是“内部定向的”或“面向内部的”，而该设备的指向用户前方的世界的相机将是“外部定向的”。在一些实施例中，生成图像数据215的一个或多个传感器可以是增强现实装置(例如，头戴式耳机、“智能眼镜”或智能电话)的组件。
在一些实施例中，位置数据217包括定位数据(例如，将特定地理空间坐标分配给传感器的数据)以及特定位置的元数据(例如，将特定地理空间位置和海拔高度与建筑物中的特定房间相关联的数据以及该位置的属性，例如存在IoT设备、或AR装置可以与之通信的其他设备)。在图2的非限制性示例中，可以从用于与特定位置处的联网设备进行通信的GPS传感器、IMU(例如，图1中的IMU 182)和通信单元(例如，图1中的通信单元110)获得位置数据217。
根据各种实施例，诸如图像数据215和位置数据217的来自设备/OS层210的数据被提供给PCAR框架220。
根据各种实施例，通过将虚拟现实或增强现实内容项分配给物理世界内的位置和对象(包括但不限于原生对象)而允许用户通信，PCAR框架220促进对某些电子设备(例如智能电话或具有头戴式显示器的设备，例如“智能眼镜”)的功能上的改进。如本公开中所使用的，术语“原生对象”涵盖如下对象，该对象的形式或外观例如未通过粘贴具有QR码的标签以增强其在一组数字图像数据中的识别和标识而被修改。如本文其他地方所讨论的，根据本公开的实施例促进了AR装置用户对AR和VR内容的创建、分配和管理，从而允许诸如智能电话之类的常用设备充当用于在用户之间受管理的基于AR和VR的通信的平台。这样，如所公开和要求保护的实施例将AR的功能从仅允许AR装置的用户消费内容(例如，通过查看为普通观众创建和选择的AR内容，例如通过AR装置观看的与地标相关联的AR内容)的技术扩展为允许AR装置的用户消费、产生和管理内容的技术，从而允许AR装置充当通信工具。
参考图2的非限制性示例，PCAR框架220包括签名引擎225、对象识别引擎227和增强引擎229。在该非限制性示例中，签名引擎225、对象识别引擎227和增强引擎229中的每一个被实现为由客户端平台205的处理器执行的程序代码。在某些实施例中，PCAR框架的组件可以被实现为硬件(例如，通过图像识别处理器)或跨多个计算平台(例如，通过API连接到客户端平台205的基于云的平台)。
根据某些实施例，对象识别引擎227根据覆盖外部定向相机或其他视觉传感器(例如，DVS传感器，诸如图1中的DVS传感器184)的视场获得图像数据，其中该其他视觉传感器在可以找到能够被识别为增强对象的对象的视场上进行了训练。在某些实施例中，对象识别引擎227处理图像数据以检测图像数据中的特征。根据各种实施例，对象识别引擎227使用基于二进制描述符的对象识别技术来执行对象识别，其中基于二进制描述符的对象识别技术包括例如二进制鲁棒独立基本特征(BRIEF)、二进制鲁棒不变可扩展关键点(BRISK)、快速视网膜关键点(FREAK)或快速定向旋转的BRIEF(ORB)。根据各种实施例，对象识别引擎227在面向外部的传感器(例如，CMOS相机或DVS传感器)的视场内识别一个或多个对象，并将描述符或与第一对象的识别相关联的其他数据提供给增强引擎229或签名引擎225。
根据各种实施例，签名引擎225从对象识别引擎227接收视场(例如，充当客户端平台205的AR装置的相机视场)中所识别对象的描述符。在某些实施例中，对象识别引擎227连续地操作，并且连续地从视场扫描图像数据以便识别对象。根据一些实施例，为了节省电池或其他资源，当满足阈值条件(例如，停止在给定位置处识别独特对象)时，对象识别引擎227可以暂停或减少其操作。另外，在各种实施例中，签名引擎225还从一个或多个实体(诸如GPS传感器或无线通信单元)接收位置数据217。根据各种实施例，签名引擎225针对与由对象识别引擎227生成的描述符相关联的每个对象以及位置数据217生成对象的签名。在某些实施例中，签名引擎225仅基于由对象识别引擎227生成的描述符来生成签名。根据各种实施例，签名可以是唯一的。根据一些实施例，签名包括位置和描述符的散列(hash)。在图2的非限制性示例中，签名引擎225周期性地执行所生成的签名与保持在主机平台201上的PCAR数据库203中保持的签名的比较。根据各种实施例，当确定主机平台201和客户端平台205处的签名之间匹配时，签名引擎225接收增强数据。根据各种实施例，增强数据至少包括与AR显示相关联的数据，该AR显示与确定签名匹配所针对的对象相关联。
在根据本公开的各种实施例中，PCAR框架220包括增强引擎229。在某些实施例中，增强引擎229支持至少两种操作模式，包括正常模式和增强模式。在一些实施例中，PCAR框架220允许客户端平台205同时以正常模式和增强模式两者操作。在某些实施例中，客户端平台205可以排他地以正常模式或增强模式操作。根据图2的非限制性示例，在正常模式下，增强引擎229接收已被识别的对象的增强数据，该对象的签名与PCAR数据库203中同AR增强相关联的签名匹配。在某些实施例中，增强引擎229从对象识别引擎227接收输出，包括例如指示对象的特征(例如，拐角、腿部等)的位置的数据。在各种实施例中，增强引擎229提供包括或基于增强数据和来自对象识别引擎227的数据的AR应用数据。在根据本公开的各种实施例中，在正常模式下，增强引擎229还接收通过AR应用提供的某些输入(例如，指示AR内容项已被查看的输入)，该输入通过签名引擎225传递到PCAR数据库203。
参考图2的非限制性示例，在增强模式下，增强引擎229从AR应用230接收输入，该输入用于将AR内容项与在通信地连接至客户端平台205的传感器的视场中识别的对象相关联。在某些实施例中，增强引擎根据PCAR数据库203的模式将接收到的输入格式化为增强数据，该增强数据进一步与识别出的对象的对象签名(例如，签名引擎225生成的签名)相关联并被传递给PCAR数据库203。
如图2的非限制性示例所示，在架构200中，客户端平台205还包括AR应用230。根据某些实施例，AR应用230提供用于在客户端平台205(例如，通信地连接到主机平台201的AR装置)的面向内部的显示器上显示的AR内容。在一些实施例中，客户端平台205的面向内部的显示器提供AR视场，该AR视场包括提供图像数据215的其他传感器或相机的相机视场的一部分。在某些实施例中，AR视场是相机视场的子集。在某些实施例中，AR视场包括与相机视场重叠的区域。在各种实施例中，AR视场与相机视场共同扩展。在一些实施例中，相机视场是AR视场的子集。在某些实施例中，AR应用230在识别的对象周围显示AR内容和视觉标识(例如，框或标注)这二者，其中该识别的对象是与AR内容相关联的增强目标。根据各种实施例，AR应用230提供用于将AR内容分配给增强目标的用户界面。
图3示出了根据本公开的一个或多个实施例的增强现实(AR)装置300的示例。根据各种实施例，AR装置可以用作与保持具有对象签名和与对象签名相关联的增强数据的一个或多个数据库的主机系统(例如，图2中的主机平台201)进行通信接触的客户端设备(例如，图2中的客户端平台205)。根据一些实施例，AR装置300可以用作另一设备(例如，智能电话)的附件设备，该另一设备进而充当保持对象签名与增强数据之间的关联的主机系统的客户端设备。在某些实施例中，可以跨各种对等设备而不是根据主机-客户端架构，保持对象签名与增强数据之间的关联。
参照图3的非限制性示例，AR装置300包括外部定向相机305。出于解释该非限制性示例的目的，提供了箭头301。箭头301在外部指向与AR装置300的面向内部的显示器的投影方向远离的视场。根据各种实施例，外部定向相机305是RGB数字摄像机(例如，使用CMOS传感器的相机)。根据一些实施例，外部定向相机305是能够检测在人眼的可见范围之外的波长的光(例如，红外线)的相机。在某些实施例中，外部定向相机305是动态视觉传感器(DVS)，其提供在DVS的传感器的像素处接收的光的强度变化的事件流。在该非限制性示例中，外部定向相机305生成图像数据，该图像数据作为事件流或作为离散图像帧，被传递到PCAR框架(例如，图2中的PCAR框架220)。
参照图3的非限制性示例，AR装置300包括外部定向相机305。出于解释该非限制性示例的目的，提供了箭头301。箭头301在外部指向与AR装置300的面向内部的显示器的投影方向远离的视场。根据各种实施例，外部定向相机305是RGB数字摄像机(例如，使用CMOS传感器的相机)。根据一些实施例，外部定向相机305是能够检测在人眼的可见范围之外的波长的光(例如，红外线)的相机。在某些实施例中，外部定向相机305是动态视觉传感器(DVS)，其提供在DVS的传感器的像素处接收的光的强度变化的事件流。在该非限制性示例中，外部定向相机305生成图像数据，该图像数据作为事件流或作为离散图像帧，被传递到PCAR框架(例如，图2中的PCAR框架220)。
根据各种实施例，AR装置300包括第二相机309。在一些实施例中，第二相机309是与外部定向相机305相同类型的外部定向相机，从而形成可以生成包括深度估计的图像数据的立体对。在某些实施例中，第二相机309是与外部定向相机305具有不同传感器类型的外部定向相机。例如，在一些实施例中，为了延长电池寿命并最小化处理器使用，外部定向相机305是DVS传感器，并且第二相机309是CMOS型相机，尽管效率比DVS传感器低，但是CMOS型相机可以提供对对象识别很有用的附加图像数据(例如，关于如下场景的颜色和元素的数据：该场景的亮度可能不会在DVS传感器可检测到的水平上改变)。根据各种实施例，第二相机309是面向内部的相机，其跟踪用户眼睛的运动，并且暗示地，跟踪用户视线的方向。视线跟踪可以被用于支持AR内容项的中央凹形渲染(foveal rendering)，其可以通过以较低的分辨率对远离观看者视线的AR内容项进行渲染，来节省电池和处理器资源。
根据某些实施例，AR装置300包括处理器311和存储器313。在某些实施例中，存储器313包含程序代码，该程序代码在由处理器311执行时使得AR装置300执行AR应用(例如，图2中的AR应用230)或PCAR框架(例如，图2中的PCAR框架220)的一个或多个组件。
参照图3的非限制性示例，AR装置300包括惯性测量单元315，其生成与AR装置300沿一个或多个自由度的运动相关联的位置数据。在某些实施例中，从IMU 315输出的数据可以被用于定位(例如，以确认AR装置300的地理空间位置)，或者被用于获得图像稳定数据(例如，指示相机抖动的方向和周期的数据)以促进对象识别。
在一些实施例中，AR装置300包括输入/输出接口317。根据各种实施例，I/O接口317提供AR装置300与至少一个其他电子设备(例如，智能电话或AR装置300为其附件设备的计算机)之间的通信连接。根据某些实施例，I/O接口317通过网络将AR装置连接到提供PCAR数据库的主机平台。在某些实施例中，I/O接口是无线通信接口，例如蓝牙收发器，或者是支持通过一个或多个较长距离无线系统(例如，图1中的通信单元110)进行通信的通信硬件。
图4示出了根据本公开的一些实施例的AR装置处的视场的示例。图4所示的视场的示例仅用于说明，并且在不脱离本公开的范围的情况下可以描绘其他示例。
参考图4的非限制性示例，示出了AR装置400。AR装置400包括外部定向相机405，其是在包括一组视角的视场(例如，“相机视场”)上训练的相机，该组视角具有指向远离AR装置的面向内部的显示器的方向的分量和预期的观看位置415(在该示例中由观看者的眼睛表示)。在一些实施例中，外部定向相机405从相机视场收集图像数据。AR装置400识别相机视场中的对象，并且在AR装置上运行的PCAR框架将与识别出的对象相关联的AR内容项(由箭头417表示)提供给面向内部的显示器410，以朝向预期的观看位置415进行呈现。
根据各个实施例，面向内部的显示器410至少是部分透明的，从而允许来自外部对象的光穿过面向内部的显示器410到达预期的观看位置415，其中该外部对象是沿着可以显示AR内容的视场(例如，“AR视场”)内的视角定位的。在该非限制性示例中，来自树419的光(由箭头421表示)穿过显示器410到达预期的观看位置。因此，在预期的观看位置处的视图既包括来自树419的光，也包括与树419相关联的一个或多个AR内容项。
图5示出了根据本公开的各种实施例的AR装置处的视场的示例。图5所示的视场的示例仅用于说明，并且在不脱离本公开的范围的情况下可以描绘其他示例。
参考图5的非限制性示例，从沿着相对于AR装置505的面向内部的方向的视点示出了场景500。在该说明性示例中，场景500包括第一树501a、第二树501b、房屋502和河流503。
根据某些实施例，AR装置505包括外部定向相机，该外部定向相机覆盖定义了相机视场507的视角范围，该相机视场507包括第一树501a、房屋502和河流503的一部分。此外，AR装置505包括面向内部的显示器509。在该非限制性示例中，面向内部的显示器509是至少部分透明的，并且允许来自第一树501a和房屋502的光穿过到达观察点。根据一些实施例，面向内部的显示器509包括可以显示AR内容项(例如，通知511和对象框513)的一个或多个区域。在图5的非限制性示例中，面向内部的显示器509的部分覆盖定义了AR视场515的视角范围。
参照图5的非限制性示例，在AR装置505上操作的PCAR框架从相机视场507的图像数据中识别房屋502，(例如，基于签名比较)确定房屋502是增强目标，并且响应于确定房屋502是增强目标来显示AR内容，该AR内容包括将房屋502标识为已识别对象的对象框513和与房屋502相关联的通知511。
注意，取决于设计目标，相机视场507和AR视场515的相对比例可以改变。另外，取决于应用，AR视场相对于面向内部的显示器509的比例可以改变。在某些实施例中，例如，将与诸如滑雪或山地骑行之类的主动追踪结合使用的AR装置，使相机视场507明显延伸超出AR视场515可能是有意义的。在这样的实施例中，外部定向相机可能能够识别用户的外围视觉中的危险并提供AR内容(例如，关于车辆从侧面快速接近的警告)。在一些实施例中，使AR视场515包括显示器509的相对小的部分可能是适当的，以避免分心。在各种实施例中，使相机视场507包括AR视场515的子集可能是适当的。例如，在AR装置是预期用于涉及小的近场细节的应用(例如，手术)中的头戴式耳机的实施例中，外部定向相机可以提供小区域的放大视图，该小区域被可以呈现多条AR内容(例如，患者的生命体征)的AR视场包围。
图6示出了根据本公开的某些实施例的PCAR数据库模式600的示例。图6所示的PCAR数据库模式600的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以描绘其他示例。
参照图6的非限制性示例，在某些实施例中，在主机平台上的PCAR数据库(例如，图2中的PCAR数据库203)中保持了可以基于来自AR装置的图像数据而识别的对象与用于生成AR内容项的增强数据之间的关联以及受用户管理的AR内容项的属性。在一些实施例中，PCAR数据库是利用诸如模式600之类的模式的关系数据库。在某些实施例中，PCAR数据库是柱状数据库、或用于存储和管理对象、增强数据和AR内容项之间的关联的其他合适的结构。
根据某些实施例，对象签名605字段的值用作数据库模式600的主键(PK)。在一些实施例中，对象签名包括与用于生成AR内容项的一个或多个增强数据项相关联的对象的唯一标识符。在一些实施例中，对象签名是对象的特定实例的唯一标识符(例如，诸如房屋的特定位置中的冰箱)。在某些实施例中，对象签名包括可能存在多个实例的对象的唯一标识符(例如，电视的特定型号或汽车的型号)。在图6的说明性示例中，对象签名是对象的分配编号(例如，签名607，其对应于分配编号“1”)。在某些实施例中，为了增强安全性，签名可以对应于字母数字字符串(例如，对象的描述符和其他相关数据的散列)或其加密。
在图6的非限制性示例中，模式600包括“用户ID”字段610，其值对应于创建了具有对象签名的对象与增强数据之间的关联的用户的标识符。例如，用户ID“Martha”与对象签名“2”相关联，将Martha标识为AR内容项的创建者和管理者，该AR内容项与“虚拟对象”增强数据609相关联。
根据各种实施例，模式600包括增强数据字段615。在某些实施例中，增强数据字段615的值包括指向存储了AR内容项的数据的位置的指针。例如，与对象签名607相关联的“文本和网络内容项”增强数据617可以对应于存储在边缘缓存服务器的位置处的图像和文本，该边缘缓存服务器的地址被提供给AR应用(例如，图2中的AR应用230)，并且AR应用访问该边缘缓存服务器以组合用于在AR装置上显示的AR内容项。在一些实施例中，增强数据可以包括实际的AR内容项(例如，将在AR装置处播放的视频)。
在根据本公开的某些实施例中，模式600包括可见性字段620，其是(如由其对象签名标识的)对象与一个或多个增强数据项之间的关联的属性。如图6的非限制性示例中所示，可见性字段620中的值对应于可以访问与特定对象签名相关联的增强数据的用户的标识符。例如，响应于与Martha相关联的AR装置基于获得的图像数据识别出具有对象签名607的对象，可见性值619指定“Martha”是具有查看基于增强数据617的AR内容项的权限的用户。
如图6的非限制性示例中所示，模式600还包括对象位置字段625，其值指定与具有特定对象签名值的对象相关联的位置或位置集合。根据各种实施例，对象位置数据可以用于区分作为通用增强目标的对象(例如，汽车的特定型号的任何实例)与作为特定增强目标的对象(例如，特定位置处的识别出的冰箱的特定实例，其是用户的或观看者的“家庭冰箱”)。例如，对象位置值627指示与对象签名607相关联的对象位于处于特定GPS坐标集合处的室内。以这种方式，响应于识别出具有对象签名607的对象，PCAR数据库或PCAR框架利用对象位置627来确定是否基于增强数据617呈现AR内容项。如果PCAR数据库或PCAR框架确定识别出的对象在外面或位于不同的GPS位置，则将不呈现AR内容项。作为另一示例，对象位置值629等于“任何地方”，指示在基于增强数据609呈现AR内容项时不存在基于位置的约束。
在各种实施例中，模式600包括到期时间字段630，其值指定与具有给定对象签名的增强目标相关联的AR内容项可用于观看的持续时间。作为一个示例，到期时间值631指定：基于增强数据617的AR内容项将是可用的，直到由在可见性字段620中指定的用户读取为止。作为另一示例，到期时间值633是“无限期的”，指示：响应于识别出具有对象签名的对象，基于增强数据609的AR内容将对“John”和“Ted”永久可用。
尽管在图6的说明性示例中未示出，但是模式600可以包括其他字段，诸如指示对象签名之间的关系(例如，等级关系或亲子关系)的字段。例如，特定的抽屉柜可以与第一对象签名相关联。同时，抽屉柜的抽屉或其他子组件可以与第二对象签名相关联。模式600的关系字段可以包括指定抽屉柜与特定梳妆台之间的亲子关系的值。以这种方式，利用抽屉柜作为增强目标的AR通信可以更细致和有效。例如，第一用户可以将AR项与抽屉柜相关联，该AR项包括说明第二用户具有干净衣物的注释，其中该干净衣物位于抽屉柜内的特定抽屉中。此外，将AR内容项与抽屉柜相关联的数据库条目可以包括指定特定抽屉的关系字段中的值，该特定抽屉还可以与第二AR内容项相关联。
图7示出了根据本公开的各种实施例的使用二进制图像描述符的图像识别的多个方面。图7所示的图像识别的示例仅用于说明，并且在不脱离本公开的范围的情况下可以描绘其他示例。
根据本公开的某些实施例通过在场景的图像数据内识别三维特征点(也称为“智能特征点”)，从在相机视场上获得的图像数据中识别对象。根据某些实施例，三维特征点包括对象的特性特征(例如，拐角以及拐角之间的关系)，这些特征可以在AR装置处获得的图像数据中可靠地找到。根据本公开的各种实施例通过使用二进制图像描述符来识别对象(包括作为增强目标的对象)的三维特征点。
参考图7的非限制性示例，示出了三维特征空间700。根据各种实施例，三维特征空间700是由AR装置的面向外部的相机的视场覆盖的物理世界的三维部分。根据各种实施例，识别引擎(例如，图2中的对象识别引擎227)或其他图像分析过程获得图像数据，该图像数据包括与特征空间中的点(诸如图7所示的点701a、701b和701c)相关联的小块(patch)。在某些实施例中，基于识别引擎的视觉扫描/搜索算法来选择图像小块。在各种实施例中，基于关于特征空间的现有知识，例如基于先前获得的图像数据的空间的已知特征的图，来选择图像小块。
如图7的非限制性示例所示，图像小块705是根据在点701a处获得的图像数据获得的。根据各种实施例，通过在采样图案的点处的图像强度数据获得图像小块705的二进制表示。如图形710所示，在该说明性示例中，采样图案包括3×3网格，其包括采样点715a、715b和715c。根据各种实施例，通过比较采样图案内的预定的采样点对集合的强度值，可以将包含在小块705中的视觉信息的代表性切片编码为二进制串或二进制矢量。在图7的非限制性示例中，通过将给定采样点连接到某些其他采样点的线来表示预定的采样点对集合。在某些实施例中，在小块中的采样点对的给定采样点具有该采样点对的较高强度值的情况下，将“1”写入二进制串。类似地，如果采样点的强度值低于该采样点对的共轭采样点，则将“0”写入二进制矢量的二进制串。通过在预定的采样矢量集合上重复该比较，生成表示小块的二进制串或二进制矢量715。
根据某些实施例，通过计算汉明距离(例如，表示两个二进制矢量之间的发散或相似值的数量的值)或通过对用于编码来自图像小块的信息的二进制矢量(例如，二进制矢量715)和表示可识别对象的特征的二进制矢量的值进行异或(“XOR”)运算，可以将二进制矢量715与描述要识别的对象的特征的其他二进制矢量(也称为“二进制描述符”)进行快速比较。在汉明距离或XOR运算的值在可接受范围内的情况下，图像小块被识别为对象的特征。在某些实施例中，通过迭代地编码和比较跨特征空间700获得的图像数据的小块，出于基于AR的通信的目的，可以识别该空间内的对象。
图8A至图8F示出了根据本公开的某些实施例的基于增强现实的通信的多个方面。在图8A至图8F的说明性示例中，从实现PCAR框架(例如，图2中的PCAR框架220)的装置(例如，图3中的AR装置300)的AR视场的角度示出了根据本公开的通信方法。
参考图8A的非限制性示例，在初始时间，例如，紧接在AR装置的佩戴者进入包含场景800的元素在内的房间之后，示出了场景800在AR装置的AR视场内可见的部分。根据某些实施例，从穿过AR装置的透明显示器(例如，图4中的显示器410)的场景内的光，场景的元素例如冰箱805是可见的。尽管在图8A的非限制性示例中未示出，但是除了允许来自场景的光穿过显示器之外，AR装置还获得一个或多个外部定向相机的相机视场的图像数据，并且处理图像数据以识别相机视场内的对象。
参考图8B的非限制性示例，示出了场景800的AR视场的元素。在该非限制性示例中，在显示器的与冰箱805和第二冰箱815的位置一致的位置处，在AR视场的一部分中描绘了两个AR内容项——第一突出显示框810a和第二突出显示框810b。根据某些实施例，AR装置或在连接到AR装置的设备上实现的PCAR框架已经基于来自外部定向装置的图像数据中的冰箱的二进制描述符而识别出了冰箱。此外，在识别出冰箱之后，AR装置已经执行了计算以将冰箱805的位置映射到AR视场中的位置或表示位置的坐标。另外，根据某些实施例，AR装置处于增强模式，并且已经确定冰箱805和第二冰箱815是增强目标，其可以与AR内容项(例如，注释或消息)相关联以与其他AR装置用户进行通信。
在某些实施例中，可以通过由PCAR框架和/或对象本身提供的数据来辅助AR装置对场景800内的对象的识别。在一个非限制性示例中，PCAR框架可以向AR装置提供附加的对象信息(例如，在AR装置的当前位置附近的对象的标识)。当满足预定条件(例如，到对象的接近值)时，该附加的对象信息可以被用于向AR装置的用户提供通知。因此，在一个示例中，AR装置的用户可以在进入场景800的房间时接收消息，该消息通知用户：冰箱805是增强目标。此外，在AR内容项已与冰箱805相关联的情况下，附加对象通知可以更具体，例如“冰箱上给您的消息”形式的消息。通过使用这样的附加对象信息，可以节省装置的计算和电池资源，如果向用户给出了要识别的对象的指示，则潜在地需要接收较少的图像数据来识别对象。
另外，在某些实施例中，场景800内的对象本身可以广播或以其他方式向AR装置提供其标识以及附加对象信息。例如，在一些实施例中，冰箱805可以包括蓝牙低能耗发射器或LED信标，其发出信号以通知AR装置它是增强目标，或者AR内容与冰箱805相关联。在此，对象本身就增强目标的存在和/或AR内容项与对象之间的关联提供了附加帮助，从而潜在地减少了AR装置为了在场景800内找到增强目标所必须处理的图像数据的量。
转向图8C的非限制性示例，其示出了AR视场内的场景800的元素。在该说明性示例中，用户(标识为“John”)提供了输入(例如，口头命令或眼睛手势)，以启动创建增强目标(在这种情况下为冰箱805)与一个或多个AR内容项之间的关联的处理。根据某些实施例，John的输入触发了选项菜单820的显示，其呈现增强目标与一个或多个AR内容项之间的关联的各种用户可选参数。如该非限制性示例所示，用户可选参数包括要与增强目标相关联的AR内容的类型821、所选择的AR内容的AR项将对其可见的用户823、以及增强目标与AR内容项之间的关联的到期或持续时间825。在某些实施例中，选项菜单820的用户可选参数可以映射到PCAR数据库模式(例如，图6所示的模式600)的一个或多个字段。
转向图8D的非限制性示例，其示出了输入窗口830，该输入窗口830响应于进一步定义增强目标与AR内容项之间的关联的参数的选择而呈现给用户。在该说明性示例中，用户“John”从类型821中选择了值“文本”，从用户823中选择了值“JEN”，并从时间825中选择了值“直到读取”，并且已被呈现了输入窗口830，其允许用户输入文本数据，以将该文本数据提供为与增强目标相关联的AR内容项的一部分。在该非限制性示例中，用户“John”输入描述食物的文本，该食物已经留给由选项菜单820中的用户823的值所指定的用户。在根据本公开的各种实施例中，在用户创建增强目标与AR内容项(在这种情况下，将由查看冰箱805的某些用户通过连接到PCAR数据库的AR装置看见的消息)之间的关联之后，通过输入窗口830所输入的文本与经由选项菜单820所输入的参数的值以及位置和用户简档信息一起被发送到托管增强目标、AR内容项和关联参数之间的关联的数据库(例如，图2中的PCAR数据库203)的平台。
图8E示出了AR装置的AR视场中的场景800的元素，该AR装置与由用户“John”经由选项菜单820选择的用户“Jen”相关联。在该非限制性示例中，Jen的AR装置的PCAR框架正在以“正常”模式运行，并且已经将冰箱805识别为增强目标。根据各种实施例，Jen的设备上的PCAR框架使用与John的设备上的PCAR框架相同的对象识别技术(例如，基于将图像数据小块的二进制描述符与特征的二进制描述符进行比较的对象识别)，将冰箱805识别为增强目标。根据某些实施例，Jen的设备可以使用不同的方法将冰箱805识别为增强目标，例如通过识别冰箱上的到PCAR数据库中的参考的视觉编码链接(例如，QR码)，或者通过检测来自冰箱的识别信号(例如，冰箱上的IR信标发送识别码)。在确定冰箱805是增强目标之后，Jen的设备上的PCAR框架生成与冰箱805相关联的对象签名。
在该说明性示例中，在Jen的设备处生成的对象签名与保持在PCAR数据库处的冰箱805的对象签名匹配。此外，Jen的用户简档匹配于与查看关联于对象签名的AR内容的权限相关联的值。这样，Jen接收与AR内容项相关联的数据(例如，John的消息的文本以及指定图像要呈现多长时间的信息)。基于接收的数据，在Jen的AR装置的显示器上呈现AR内容项840。在该非限制性示例中，向Jen呈现了第二选项窗口845，其允许她在将John的消息标记为已读或响应John的原始消息之间进行选择。
图8F示出了与用户“Jen”相关联的AR装置的AR视场内的场景800的元素。在该非限制性示例中，Jen在第二选项窗口845中选择了“响应”，并撰写了响应消息850(例如，电子邮件或文本消息)作为响应发送给John。如上所述，根据本公开的某些实施例通过允许AR用作独立的通信工具或用作对诸如文本和电子邮件的其他通信工具的补充来增强智能电话和其他AR装置的功能。
图9A至图9D示出了根据本公开的各种实施例的基于增强现实的通信的多个方面。图9A至图9D所示的基于增强现实的通信的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。
图9A的非限制性示例示出了在与第一用户Mary相关联的AR装置的AR视场中可见的场景900的元素。在该非限制性示例中，在AR视场中可见的场景900的元素包括电视905。
图9B的非限制性示例示出了在与用户Mary相关联的AR装置的AR视场中可见的场景900的元素。在该非限制性示例中，Mary的AR装置已经基于AR装置的外部定向相机的图像数据，将电视905识别为电视和增强目标这二者，并且在相对于AR视场映射了电视905的位置后，在Mary的AR装置的面向内部的显示器上显示围绕电视905的突出显示框910。
图9C示出了在Mary的装置的AR视场中可见的场景900的元素。在该非限制性示例中，响应于来自Mary的输入(例如，诸如语音命令的肯定性输入或诸如视线跟踪数据的隐式输入，该视线跟踪数据指示Mary以满足指定标准(例如，时间阈值)的方式看向增强目标)，在面向内部的显示器(例如，类似于图4中的显示器410的显示器)上呈现第二AR内容项915a。根据某些实施例，第二AR内容项915a可以至少部分地基于响应于电视905的对象签名与保持在PCAR数据库中的电视描述符之间的匹配而由PCAR数据库提供的数据(例如，保持在PCAR数据库中的数据)。在该非限制性示例中，第二AR内容项915a至少部分地基于对在Mary的AR装置上运行的AR应用(例如，图2中的AR应用230)可访问的用户简档数据。在各种实施例中，这样的用户简档数据定义了第二AR内容项920的一个或多个呈现参数(例如，语言和个性化参数的选择，诸如名称或照片)。在图9D的说明性示例中，从与Mary相关联的用户简档中提取的呈现参数包括她的名字917以及使用英语作为用于在她的AR视场中呈现关于电视机的消息的语言。
图9D示出了在第二用户“Lars”的AR视场中可见的场景900的元素。如该非限制性示例所示，根据本公开的实施例，创建增强目标与AR内容项之间的关联可以提供有效且容易扩展的个性化通信方法。在该非限制性示例中，与第二用户Lars相关联的AR装置已经将电视905识别为增强目标，并且在Lars的AR装置的面向内部的显示器上呈现了与增强目标相关联的第一AR内容项。基于Lars对第一AR内容项的响应，显示第二AR内容项915b。根据各种实施例，第二AR内容项915b基于从PCAR数据库接收的与图9C中的第二AR内容项915a相同的数据。使用来自PCAR数据库的相同信息，Lars的AR装置上的AR应用可以使用Lars的用户简档中的信息来应用不同的呈现参数，以相对于第二AR内容项915a来实质上改变第二AR内容项915b的外观。在该非限制性示例中，Lars的用户简档中的信息提供了呈现参数，这些呈现参数不仅更改消息的收件人919，而且将消息文本的语言切换为德语。
图10示出了在正常操作模式下操作PCAR框架的方法1000的操作。根据某些实施例，PCAR的“正常操作模式”涵盖其中PCAR正在“侦听”或“寻找”与从装置的相机视场获得的图像数据中的识别出的增强目标相关联的AR内容项的操作模式。在一些实施例中，“正常”操作模式与“增强模式”并行操作，其中在“增强模式”下PCAR框架正在创建或更新增强目标与AR内容项之间的关联。在某些实施例中，“正常”操作模式作为“增强模式”的替代操作。尽管该流程图描绘了一系列顺序步骤，但是除非明确说明，否则不应从该顺序中得出：有关执行的特定顺序，顺序执行步骤或其部分而不是同时或以重叠的方式，或排他地执行所描述的步骤而不发生介入或中间步骤。在所描绘的示例中描绘的过程由例如电子设备中的处理器实现。
参考图10的非限制性示例，方法1000包括操作1010，其中，PCAR框架(例如，图2中的PCAR框架220)从连接到AR装置的传感器接收位置数据和图像数据(例如，从图4中的外部定向相机405接收图像数据，并从图3中的GPS传感器或IMU 315接收位置数据)。根据各种实施例，图像数据由相机视场对象识别引擎(例如，图2中的对象识别引擎227)接收，并且位置数据在PCAR框架处由签名引擎(例如，图2中的签名引擎225)接收。
根据各种实施例，在操作1015，PCAR框架执行对在当前设备位置处是否存在与用户设备相关联的任何增强的初始确定(如从操作1010中接收到的位置数据所确定的)。根据某些实施例，在操作1015处执行的确定包括向主机平台(例如，图2中的主机平台201)发送查询，该主机平台保持将位置、用户设备和AR内容项相关联的索引或其他数据结构。在某些实施例中，如果在操作1015处确定的结果是否定的，则方法1000循环回到操作1010。然而，如果PCAR确定存在与增强目标相关联且对于具有用户简档和当前设备位置的观看设备可见的AR内容项，则方法1000进行到操作1020。
在根据本公开的某些实施例中，在操作1020，一个或多个组件(例如，诸如图2中的增强引擎229的增强引擎和诸如图2中的对象识别引擎227的对象识别引擎)确定给定传感器范围(例如，AR装置的外部定向相机的视场)内是否存在包括增强目标的对象。根据各种实施例，通过将一种或多种对象识别算法应用于来自外部定向相机的图像数据来执行是否存在增强目标的确定，特别是针对当前用户是否存在与AR内容项相关联的增强目标。在某些实施例中，可以通过增强目标本身来辅助确定是否针对当前用户存在与AR内容相关联的增强目标。例如，增强目标可以具有一个或多个带有编码介质(例如，条形码或QR码)的表面，从而绕开了将对象识别为增强目标的需要。作为另一示例，增强目标也可以具有将自身广告为增强目标的信标(例如，闪烁的红外信标)。
在图10的非限制性示例中，如果在操作1020，PCAR不能在相关传感器范围内找到作为增强目标的对象，则方法1000返回到操作1010。当PCAR或其模块(例如，增强引擎)在相关传感器范围内找到作为增强目标的对象时，方法1000进行到操作1025。
在根据本公开的各种实施例中，在操作1025，响应于在相关传感器范围内(例如，IR信标的范围、或AR装置的外部定向相机的相机视场内)找到对象，PCAR与PCAR数据库(或保持存储增强目标与AR内容项之间的关联的数据的其他存储库或数据结构)和AR应用(例如，图2中的AR应用230)中的一个或多个进行交互，以显示与在操作1020中找到的增强目标相关联的一个或多个AR内容项。根据一些实施例，AR内容项是突出显示框(例如，图8C中的第一突出显示框810a)。在各种实施例中，在操作1025处显示的AR内容项包括通信内容(例如，图9C中的第二AR内容项915a)。
参照图10的非限制性示例，在操作1030，PCAR框架向保持PCAR数据库的设备提供有关当前用户交互的信息，以更新定义增强目标与AR内容项之间的关联的数据。例如，PCAR框架可以提供指示已经读取或响应了特定的AR内容项(例如，图8E中的AR内容项840)的信息。基于提供的信息、以及增强目标与AR内容项之间的关联的指定参数(例如，指定要显示该内容项直到读取的显示设置)，可以更新PCAR数据库(例如，通过取消或删除增强目标与AR内容项之间的关联)。
图11示出了根据本公开的至少一个实施例的在增强模式下操作PCAR框架的方法1100的操作。尽管该流程图描绘了一系列顺序步骤，但是除非明确说明，否则不应从该顺序中得出：有关执行的特定顺序，顺序执行步骤或其部分而不是同时或以重叠的方式，或排他地执行所描述的步骤而不发生介入或中间步骤。在所描绘的示例中描绘的过程由例如电子设备中的处理器实现。此外，尽管参考其中操作由电子设备上的PCAR框架执行的示例性实施例描述了方法1100的操作，但是在某些实施例中，方法1100的操作的执行可以跨多个计算平台分布。
参考图11的非限制性示例，在操作1110，激活PCAR框架的增强模式，并激活对象识别引擎(例如，图2中的对象识别引擎227)。这种激活可以响应于接收到的输入(例如，用户输入)。通过这种方式，PCAR框架被配置为识别相关传感器范围(例如，外部定向相机的视场、或预定增强目标上的
Figure BDA0002820643510000271
低能量(“BLE”)信标的传输范围)内的增强目标。
根据各种实施例，在操作1115，PCAR框架基于提供给PCAR的图像或其他数据，将一个或多个对象识别为增强目标(例如，通过将图像数据小块的二进制表示与已定义特征的二进制描述符进行比较)。响应于识别出作为增强目标的对象，PCAR将图像数据中对象的位置映射到具有AR视场(例如，图5中的AR视场515)的位置，并显示包括增强目标的可选重叠在内的一个或多个AR内容项，并且方法1100进行到操作1120。然而，如果PCAR框架无法识别任何对象，则在某些实施例中，方法1100返回到操作1110。在各种实施例中，当返回到操作1110时，PCAR框架切换回到“正常”模式，直到接收到启用增强模式的新输入。
在图11的非限制性示例中，在操作1120，用户可以进行选择。
在图11的非限制性示例中，在操作1120，接收选择输入。根据某些实施例，选择输入选择与重叠标记相关联的对象作为要与一个或多个AR内容相关联的增强目标。根据各种实施例，选择输入可以由用户提供，例如通过由在AR装置或与之通信地连接的设备(例如，智能电话)上实现的语音识别算法处理的语言输入。在某些实施例中，可以通过由AR装置的一个或多个传感器(例如，面向内部的相机)检测到的视线或手势(例如，点头)来提供选择输入。如果PCAR框架接收到选择输入(例如，在指定的时间段内)，则方法1100进行到操作1125。如果未接收到用户选择，或者在指定的时间段内未接收到用户选择，则方法1100返回到操作1110。
在某些实施例中，在操作1125，PCAR框架(例如，通过生成新的签名，或检索先前存储的签名)获得用于在操作1120中选择的作为要与一个或多个AR内容项相关联的增强目标的对象的对象签名。在各种实施例中，在操作1125，PCAR框架还(例如，通过诸如经由图8C中的选项菜单820或者从用户简档接收用户输入)获得进一步定义所选择的增强目标与AR内容项之间的关联的参数(例如，要显示的文本或图像)。在操作1125，将对象签名、和定义增强目标与AR内容项之间的关联的参数提供给PCAR管理实体(例如，图2中的主机平台201)。
参考图11的非限制性示例，在操作1130，PCAR管理实体(例如，保持PCAR数据库的服务器)更新PCAR数据库以包括在操作1125处创建的所选择的增强目标与AR内容项之间的关联及其参数。
图12示出了根据本公开的某些实施例的用于执行基于增强现实的通信的方法1200的操作。尽管该流程图描绘了一系列顺序步骤，但是除非明确说明，否则不应从该顺序中得出：有关执行的特定顺序，顺序执行步骤或其部分而不是同时或以重叠的方式，或排他地执行所描述的步骤而不发生介入或中间步骤。在所描绘的示例中描绘的过程由例如电子设备中的处理器实现。
参照图12的非限制性示例，在操作1210，处理器(例如，图3中的处理器311)从外部定向相机(例如，图4中的外部定向相机405)获得相机视场(例如，图5中的相机视场507)的图像数据。
根据各种实施例，在操作1215，基于在操作1210处获得的图像数据来识别相机视场中的对象(例如，图5中的房屋502)(例如，基于对图像数据的小块的二进制描述符的分析，如参考图7所描述的)。
如图12的非限制性示例所示，在操作1220，将在操作1215中识别出的对象的位置映射到AR视场的位置(例如，基于相机视场507到AR视场515的映射，确定图中的对象框513在AR视场515内的位置)。
根据一些实施例，在操作1225，执行对在操作1215处识别出的对象是否是增强目标的确定。在某些实施例中，通过将在操作1215处识别出的对象的对象签名与对象签名集合(例如，利用图6中的数据库模式600在PCAR数据库中保持的对象签名)进行比较来执行该确定。在各种实施例中，确定对象是否包括增强目标是基于该对象是否属于可以作为增强目标的对象的定义类别(例如，非临时性物品，诸如建筑物或家具)。
参照图12的非限制性示例，在操作1230，响应于确定在操作1215处识别出的对象包括增强目标，在AR装置的AR视场中在面向内部的显示器上显示与增强目标相关联的AR内容项。例如，AR内容项可以是可以被选择的框或重叠(例如，图8B中的第一突出显示框810a)。在某些实施例中，AR内容项可以是预先关联的AR内容项(例如，图8E中的内容项840)。
图13示出了根据本公开的各种实施例的用于执行基于增强现实的通信的方法的操作1300。取决于实施例，除了图12中的方法1200的操作之外，或者作为方法1200的操作的替换或替代，还可以执行操作1300内的操作。尽管该流程图描绘了一系列顺序步骤，但是除非明确说明，否则不应从该顺序中得出：有关执行的特定顺序，顺序执行步骤或其部分而不是同时或以重叠的方式，或排他地执行所描述的步骤而不发生介入或中间步骤。在所描绘的示例中描绘的过程由例如电子设备中的处理器实现。
参照图13的非限制性示例，在操作1310，PCAR框架(例如，图2中的PCAR框架220)或其模块基于从AR装置的外部定向相机接收的图像数据识别相机视场中另一对象的父对象。根据各种实施例，PCAR框架从其父对象分开地识别第一对象(例如，PCAR识别不同的车轮和汽车)，并从PCAR数据库或对象描述符数据库中提供的附加信息(例如，将特定类型的车轮与特定型号的汽车相关联的数据)导出父子关系。根据一些实施例，PCAR框架将第一对象识别为父对象的特征，并且基于该识别，识别对象之间的父子关系。
在某些实施例中，PCAR框架基于表示第一对象的图像数据的一个或多个二进制描述符(例如，图7中的图像数据小块705)与第一对象的特征的二进制描述符的比较来识别第一对象。
根据各种实施例，在操作1320，将AR内容项显示在AR视场中的如下位置处，该位置已被确定为不妨碍作为增强目标的对象(例如，图5中的房屋502)的视图或另一AR内容项(例如，图5中的通知511)。在某些实施例中，对AR视场内不妨碍位置的确定是基于相机视场中的对象的位置到AR视场的映射(例如，由图12中的操作1220所执行的)。根据某些实施例，基于对来自相机视场的图像数据的分析以及所存储的关于相机视场中的对象的上下文信息，来确定AR内容项在AR视场内的放置。根据某些实施例，所存储的关于对象的上下文信息包括标识对象的基本特征的位置和尺寸的信息。以此方式，可以通过其中AR内容项不遮挡场景的基本特征的方式来显示AR内容项。作为一个非限制性示例，作为增强目标的电影海报可以包括演员的图像、电影的标题、以及标识工作室、制片人和项目中其他利益相关者的精美图片。所存储的上下文信息可以包括与关于增强目标的元素的AR内容的放置有关的规则，其包括但不限于对与增强目标的元素相关联的AR内容项的接近性要求。另外，所存储的上下文信息可以包括关于特征可见性的规则(例如，指定不允许用AR内容覆盖面部但允许覆盖文本的规则)。以此方式，根据本公开的某些实施例可以以上下文感知且整洁的方式呈现与增强目标相关联的AR内容。
在根据本公开的一些实施例中，在操作1325，在基于第一对象相对于AR视场的映射位置的位置处，将AR内容项的位置显示在AR装置的面向内部的显示器上(例如，图8B中的突出显示框810b显示在基于第二冰箱815在AR视场中的映射位置的位置处)。
在图13的非限制性示例中，在操作1330，至少部分地基于AR装置的用户简档中的信息来选择与要显示的增强目标相关联的AR内容项(例如，在某些实施例中，基于将AR装置的当前用户识别为名字为“Lar”的德语讲话者的用户简档中的信息，选择图9D中的第二AR内容项915b进行显示)。
本申请中的描述不应被解读为暗示任何特定的元素、步骤或功能是必须包括在权利要求范围中的基本要素。专利主题的范围仅由权利要求限定。

Claims (12)

1.一种用于提供个性化增强现实AR显示的方法，所述方法包括：
在增强现实装置处获得相机视场的图像数据，所述相机视场包括所述增强现实装置的外部定向相机的视场；
基于所述图像数据的一个或多个二进制描述符与对象模型的比较来识别所述相机视场中的第一对象，所述图像数据包括与对应于所述图像数据的特征空间中的点相关联的图像小块，其中所述图像数据的一个或多个二进制描述符包括：通过比较所述图像数据内的预定的采样点对集合的强度值，而从包括在所述图像小块中的视觉信息的代表性切片编码成的二进制串或二进制矢量，其中所述预定的采样点对集合位于将所述图像小块中的给定采样点连接到所述图像小块中的其他采样点的线上；
相对于增强现实AR视场映射所述第一对象的位置，所述AR视场包括所述相机视场的一部分，在所述一部分中增强现实AR内容能够显示在所述增强现实装置的面向内部的显示器上；
基于识别出所述第一对象并且映射所述第一对象的位置，生成所述第一对象的签名，所述签名包括所述第一对象的位置数据和描述符的散列值，所述第一对象的所述描述符是通过由所述增强现实装置的处理器执行的对象识别引擎所生成的；
从AR数据库获得将所述第一对象的所述签名与所述AR数据库中的包括增强目标在内的对象的签名进行比较的结果；
基于所述比较的结果，确定所述第一对象是否包括增强目标；以及
响应于确定所述第一对象包括所述增强目标，在所述面向内部的显示器上显示所述AR视场中与所述增强目标相关联的AR内容项。
2.根据权利要求1所述的方法，其中，与所述增强目标相关联的AR内容项包括以下至少一项：预先分配给所述增强目标的视觉内容，或用于将AR内容分配给所述增强目标的用户界面UI。
3.根据权利要求1所述的方法，其中，在所述AR视场中的基于所述第一对象相对于所述AR视场的映射位置的位置处，将所述AR内容项显示在所述面向内部的显示器上。
4.根据权利要求3所述的方法，其中，在所述AR视场中的被确定为不妨碍所述第一对象或所述AR视场中的第二AR内容项中的至少一项的位置处，将所述AR内容项显示在所述面向内部的显示器上。
5.根据权利要求1所述的方法，还包括：
基于所述图像数据，识别所述相机视场中所述第一对象的父对象，
其中，所述第一对象包括所述父对象的表面或所述父对象的一部分中的至少一项。
6.根据权利要求1所述的方法，其中，基于所述增强现实装置的用户的用户简档来选择与所述增强目标相关联的AR内容项。
7.一种增强现实装置，包括：
覆盖相机视场的外部定向相机，所述相机视场包括所述外部定向相机的视场；
提供增强现实AR视场的面向内部的显示器，所述AR视场包括所述相机视场的一部分，在所述一部分中AR内容能够显示在所述增强现实装置的所述面向内部的显示器上；
处理器；以及
包含指令的存储器，所述指令在由所述处理器执行时使得所述处理器实现个性化通信增强现实PCAR框架，所述框架被配置为：
获得所述相机视场的图像数据，
基于所述图像数据的一个或多个二进制描述符与对象模型的比较来识别所述相机视场中的第一对象，所述图像数据包括与对应于所述图像数据的特征空间中的点相关联的图像小块，其中所述图像数据的一个或多个二进制描述符包括：通过比较所述图像数据内的预定的采样点对集合的强度值，而从包括在所述图像小块中的视觉信息的代表性切片编码成的二进制串或二进制矢量，其中所述预定的采样点对集合位于将所述图像小块中的给定采样点连接到所述图像小块中的其他采样点的线上，
相对于所述AR视场映射所述相机视场中的所述第一对象的位置，
基于识别出所述第一对象并且映射所述第一对象的位置，生成所述第一对象的签名，所述签名包括所述第一对象的位置数据和描述符的散列值，所述第一对象的所述描述符是通过由所述处理器执行的对象识别引擎所生成的；
从AR数据库获得将所述第一对象的所述签名与所述AR数据库中的包括增强目标在内的对象的签名进行比较的结果；
基于所述比较的结果，确定所述第一对象是否包括增强目标，以及
响应于确定所述第一对象包括所述增强目标，在所述面向内部的显示器上显示所述AR视场中与所述增强目标相关联的AR内容项。
8.根据权利要求7所述的增强现实装置，其中，与所述增强目标相关联的AR内容项包括以下至少一项：预先分配给所述增强目标的视觉内容，或用于将AR内容分配给所述增强目标的用户界面UI。
9.根据权利要求7所述的增强现实装置，其中，所述PCAR还被配置为：在所述AR视场中的基于所述第一对象相对于所述AR视场的映射位置的位置处，将所述AR内容项显示在所述面向内部的显示器上。
10.根据权利要求9所述的增强现实装置，其中，所述PCAR还被配置为：在所述AR视场中的被确定为不妨碍所述第一对象或所述AR视场中的第二AR内容项中的至少一项的位置处，将所述AR内容项显示在所述面向内部的显示器上。
11.根据权利要求7所述的增强现实装置，其中，所述PCAR还被配置为：
基于所述图像数据，识别所述相机视场中所述第一对象的父对象，
其中，所述第一对象包括所述父对象的表面或所述父对象的一部分中的至少一项。
12.根据权利要求7所述的增强现实装置，其中，基于所述增强现实装置的用户的用户简档来选择与所述增强目标相关联的AR内容项。
CN201980038175.2A 2018-06-27 2019-06-26 用于增强现实的装置和方法 Active CN112236715B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862690813P 2018-06-27 2018-06-27
US62/690,813 2018-06-27
US16/274,054 US11527044B2 (en) 2018-06-27 2019-02-12 System and method for augmented reality
US16/274,054 2019-02-12
PCT/KR2019/007720 WO2020004932A1 (en) 2018-06-27 2019-06-26 Apparatus and method for augmented reality

Publications (2)

Publication Number Publication Date
CN112236715A CN112236715A (zh) 2021-01-15
CN112236715B true CN112236715B (zh) 2023-04-04

Family

ID=68987382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980038175.2A Active CN112236715B (zh) 2018-06-27 2019-06-26 用于增强现实的装置和方法

Country Status (4)

Country Link
US (1) US11527044B2 (zh)
EP (1) EP3766048A4 (zh)
CN (1) CN112236715B (zh)
WO (1) WO2020004932A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
WO2018156804A1 (en) 2017-02-24 2018-08-30 Masimo Corporation System for displaying medical monitoring data
JP7159208B2 (ja) 2017-05-08 2022-10-24 マシモ・コーポレイション ドングルを使用することによって医療システムをネットワークコントローラとペアリングするためのシステム
US10800550B2 (en) * 2018-06-21 2020-10-13 The Boeing Company Positioning enhancements to localization process for three-dimensional visualization
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
US11562714B1 (en) * 2019-03-28 2023-01-24 Amazon Technologies, Inc. Remote generation of augmented reality overlays
KR20200120973A (ko) * 2019-04-04 2020-10-23 현대자동차주식회사 차량의 인포테인먼트 장치 및 그 제어 방법
EP3839891A1 (en) * 2019-12-17 2021-06-23 Inter IKEA Systems B.V. Method for augmenting a first image with image data from a second image
US20230262412A1 (en) * 2020-07-27 2023-08-17 Telefonaktiebolaget Lm Ericsson (Publ) Private sharing of location data for extended reality rendering
CN112184920B (zh) * 2020-10-12 2023-06-06 中国联合网络通信集团有限公司 基于ar的滑雪盲区显示方法、装置及存储介质
US20220188547A1 (en) * 2020-12-16 2022-06-16 Here Global B.V. Method, apparatus, and computer program product for identifying objects of interest within an image captured by a relocatable image capture device
US11900662B2 (en) 2020-12-16 2024-02-13 Here Global B.V. Method, apparatus, and computer program product for training a signature encoding module and a query processing module to identify objects of interest within an image utilizing digital signatures
US11830103B2 (en) 2020-12-23 2023-11-28 Here Global B.V. Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data
US11829192B2 (en) 2020-12-23 2023-11-28 Here Global B.V. Method, apparatus, and computer program product for change detection based on digital signatures
US11587253B2 (en) 2020-12-23 2023-02-21 Here Global B.V. Method, apparatus, and computer program product for displaying virtual graphical data based on digital signatures
US20230138204A1 (en) * 2021-11-02 2023-05-04 International Business Machines Corporation Augmented reality object interaction and notification
US11991295B2 (en) 2021-12-07 2024-05-21 Here Global B.V. Method, apparatus, and computer program product for identifying an object of interest within an image from a digital signature generated by a signature encoding module including a hypernetwork

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998046007A1 (en) * 1997-04-10 1998-10-15 Commonwealth Scientific And Industrial Research Organisation Imaging system & method
WO2005036451A1 (en) * 2003-10-08 2005-04-21 Lifespan Biosciences, Inc. Automated microspcope slide tissue sample mapping and image acquisition
CN102236794A (zh) * 2010-05-07 2011-11-09 Mv科技软件有限责任公司 3d场景中3d对象的识别和姿态确定
CN203108180U (zh) * 2013-01-31 2013-08-07 广州梦龙科技有限公司 一种基于标识码的智能游戏系统
CN104220351A (zh) * 2012-02-10 2014-12-17 迪尔公司 用于便于从车辆上卸载农业物料的方法和立体视觉系统
CN104541300A (zh) * 2012-09-28 2015-04-22 英特尔公司 增强现实信息的确定
CN106960451A (zh) * 2017-03-13 2017-07-18 西安电子科技大学 一种提升图像弱纹理区域特征点数量的方法
CN107818554A (zh) * 2016-09-12 2018-03-20 索尼公司 信息处理设备和信息处理方法
CN107851319A (zh) * 2016-01-29 2018-03-27 斯纳普公司 区域增强现实持久性标签对象
KR101854612B1 (ko) * 2016-12-19 2018-05-04 인천대학교 산학협력단 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963238B1 (ko) 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR100985737B1 (ko) 2010-02-05 2010-10-06 (주)올라웍스 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101687612B1 (ko) 2010-06-18 2016-12-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101295714B1 (ko) 2010-06-30 2013-08-16 주식회사 팬택 3차원 증강 현실 제공 장치 및 방법
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
US20120038668A1 (en) 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
KR101788046B1 (ko) 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101781849B1 (ko) 2010-12-06 2017-09-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8332424B2 (en) * 2011-05-13 2012-12-11 Google Inc. Method and apparatus for enabling virtual tags
US9230367B2 (en) * 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
US9495783B1 (en) * 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
US9710969B2 (en) 2012-08-27 2017-07-18 Empire Technology Development Llc Indicating the geographic origin of a digitally-mediated communication
US20190272029A1 (en) * 2012-10-05 2019-09-05 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9374438B2 (en) * 2013-07-29 2016-06-21 Aol Advertising Inc. Systems and methods for caching augmented reality target data at user devices
US9996974B2 (en) 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
KR101627169B1 (ko) * 2013-09-27 2016-06-07 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
KR102246305B1 (ko) * 2014-01-09 2021-04-29 한국전자통신연구원 증강 미디어 서비스 제공 방법, 장치 및 시스템
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR102248474B1 (ko) 2014-04-30 2021-05-07 삼성전자 주식회사 음성 명령 제공 방법 및 장치
US10335677B2 (en) * 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US20170084082A1 (en) * 2015-09-17 2017-03-23 HuntAR Corporation Systems and methods for providing an augmented reality experience
KR20170073985A (ko) 2015-12-21 2017-06-29 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10114465B2 (en) * 2016-01-15 2018-10-30 Google Llc Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same
KR20180014492A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 영상 표시 방법 및 이를 지원하는 전자 장치
US10725720B2 (en) 2016-09-26 2020-07-28 Microsoft Technology Licensing, Llc Navigation in augmented reality via a transient user interface control
US10339583B2 (en) * 2016-11-30 2019-07-02 Bank Of America Corporation Object recognition and analysis using augmented reality user devices
US11024091B2 (en) * 2016-12-21 2021-06-01 Pcms Holdings, Inc. System and method for placement of augmented reality information for users based on their activity
KR102434402B1 (ko) * 2017-09-19 2022-08-22 한국전자통신연구원 혼합현실 콘텐츠를 제공하는 장치 및 방법
US10339718B1 (en) * 2017-12-29 2019-07-02 Verizon Patent And Licensing Inc. Methods and systems for projecting augmented reality content
US10558843B2 (en) * 2018-01-10 2020-02-11 Trax Technology Solutions Pte Ltd. Using price in visual product recognition
JP2019164420A (ja) * 2018-03-19 2019-09-26 セイコーエプソン株式会社 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
US10665028B2 (en) * 2018-06-04 2020-05-26 Facebook, Inc. Mobile persistent augmented-reality experiences
US20190392216A1 (en) * 2018-06-22 2019-12-26 Huntington Ingalls Incorporated System and method for projecting augmented reality images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998046007A1 (en) * 1997-04-10 1998-10-15 Commonwealth Scientific And Industrial Research Organisation Imaging system & method
WO2005036451A1 (en) * 2003-10-08 2005-04-21 Lifespan Biosciences, Inc. Automated microspcope slide tissue sample mapping and image acquisition
CN102236794A (zh) * 2010-05-07 2011-11-09 Mv科技软件有限责任公司 3d场景中3d对象的识别和姿态确定
CN104220351A (zh) * 2012-02-10 2014-12-17 迪尔公司 用于便于从车辆上卸载农业物料的方法和立体视觉系统
CN104541300A (zh) * 2012-09-28 2015-04-22 英特尔公司 增强现实信息的确定
CN203108180U (zh) * 2013-01-31 2013-08-07 广州梦龙科技有限公司 一种基于标识码的智能游戏系统
CN107851319A (zh) * 2016-01-29 2018-03-27 斯纳普公司 区域增强现实持久性标签对象
CN107818554A (zh) * 2016-09-12 2018-03-20 索尼公司 信息处理设备和信息处理方法
KR101854612B1 (ko) * 2016-12-19 2018-05-04 인천대학교 산학협력단 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법
CN106960451A (zh) * 2017-03-13 2017-07-18 西安电子科技大学 一种提升图像弱纹理区域特征点数量的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yang Huixian等.Face Recognition Based on Bidirectional Gradient Center-Symmetric Local Binary Patterns.Journal of Computer Aided Design &amp Computer Graphics.2017,第29卷(第1期),130-136. *
朱跃生等.一种基于分块压缩感知的鲁棒图像散列算法.数据采集与处理.2016,第31卷(第5卷),882-889. *

Also Published As

Publication number Publication date
EP3766048A1 (en) 2021-01-20
WO2020004932A1 (en) 2020-01-02
CN112236715A (zh) 2021-01-15
US20200005542A1 (en) 2020-01-02
US11527044B2 (en) 2022-12-13
EP3766048A4 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
CN112236715B (zh) 用于增强现实的装置和方法
US11823341B2 (en) 3D object camera customization system
US11704878B2 (en) Surface aware lens
CN109952610B (zh) 图像修改器的选择性识别和排序
US20210405831A1 (en) Updating avatar clothing for a user of a messaging system
US11810220B2 (en) 3D captions with face tracking
US11908093B2 (en) 3D captions with semantic graphical elements
US11711414B2 (en) Triggering changes to real-time special effects included in a live streaming video
US20200410764A1 (en) Real-time augmented-reality costuming
US11836185B2 (en) Media overlay selection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant