CN117916694A - 用于指示用户状态的快照消息 - Google Patents

用于指示用户状态的快照消息 Download PDF

Info

Publication number
CN117916694A
CN117916694A CN202280059942.XA CN202280059942A CN117916694A CN 117916694 A CN117916694 A CN 117916694A CN 202280059942 A CN202280059942 A CN 202280059942A CN 117916694 A CN117916694 A CN 117916694A
Authority
CN
China
Prior art keywords
user
snapshot
eyewear device
electronic eyewear
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280059942.XA
Other languages
English (en)
Inventor
俊韩瑟
斯文·克拉茨
乔安妮·梁
刘星宇
安德烈斯·蒙罗伊-赫尔南德斯
布莱恩·安东尼·史密斯
谭煜强
拉詹·瓦伊什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN117916694A publication Critical patent/CN117916694A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

描述了用于通过第一用户捕获图像、识别所捕获的图像中的物理标记以及确定所捕获的图像中物理标记已经在电子眼镜设备的视场内达预定时间量来使用电子眼镜设备发送快照消息的系统和方法。包括对象的3D快照被捕获，并且每当所识别的对象出现在电子眼镜设备的视场中时，对象的表示被发送以显示给第二用户，就好像真实对象被发送一样。对象的表示可以包括快照图像、从快照图像提取的对象、所存储的对象的表示、表示对象的增强现实内容等。

Description

用于指示用户状态的快照消息
相关申请的交叉引用
本申请要求于2021年9月2日提交的美国临时申请序列号63/240,126的优先权，该申请的内容通过引用完全并入本文。
技术领域
本公开中阐述的示例涉及用于从便携式电子设备(包括诸如智能眼镜的可穿戴电子设备)提供消息的系统和方法。更具体地，但不限于此，本公开描述了使电子眼镜设备的佩戴者能够提供指示佩戴者的状态或背景的快照消息的系统和方法。
背景技术
诸如电子眼镜设备的可穿戴电子设备可以与诸如用户的移动计算设备的移动设备上运行的应用程序通信，并且在某些情况下，可以直接与服务器通信。在任何一种情况下，电子眼镜设备可以支持与通信应用后端服务以及第三方应用编程接口(API)(诸如文本转语音、SHAZAM 应用、对象辨识等)的直接设备集成。电子眼镜设备的佩戴者可以通过与电子眼镜设备交互来选择显示特征。
附图说明
从下面的详细描述中可以很容易地理解所公开的各种实施方式的特征，其中参考了附图。附图标记被用于描述中的每个元件以及贯穿附图的几个视图。当存在多个相似的元件时，可以将单个附图标记分配给相同的元件，添加的小写字母指代特定的元件。
除非另有说明，否则图中所示的各种元件均未按比例绘制。为了清楚起见，各种元件的尺寸可以被放大或缩小。几个图描绘了一个或多个实施方式，并且仅通过示例的方式呈现，而不应被解释为限制。附图中包括以下图：
图1A示出了电子眼镜设备的示例硬件配置的侧视图，示出了具有图像显示器的右光学组件；
图1B示出了图1A的电子眼镜设备的镜腿的俯视截面图；
图2A示出了示例硬件配置中的电子眼镜设备的示例硬件配置的后视图；
图2B示出了示例硬件配置中的另一个电子眼镜设备的示例硬件配置的后视图；
图2C和图2D示出了包括两种不同类型的图像显示器的电子眼镜设备的示例硬件配置的后视图；
图3示出了由左可见光相机捕获的可见光作为左原始图像和由右可见光相机捕获的可见光作为右原始图像的示例；
图4示出了用于通过示例配置中的对象提供社交连接的系统中的电子眼镜设备的电子部件的框图；
图5示出了适于与图4的系统一起使用的移动设备的电子部件的框图；
图6示出了适于在示例配置中实施图4的系统的服务器的计算机系统的示例配置；
图7示出了在示例配置中建立第一对象作为用于建立社交连接的第一用户的标记；
图8示出了通过在示例配置中建立第二对象作为第二用户的标记来完成社交连接；
图9示出了通过第一用户简单地扫视被建立为标记的第一对象将闪光从第一用户传输到第二用户；
图10示出了当第二用户扫视被建立为标记的第二对象时第二用户对闪光的接收；
图11示出了从周围环境分割的对象(马克杯)的传输，用于由第二用户经由第一对象和第二对象之间的连接传输到第一用户；
图12示出了由第二用户经由第一对象和第二对象之间的连接传送到第一用户的对象(马克杯)的接收；
图13示出了在示例配置中用于通过发送指示相应用户在场的闪光来社交连接第一用户和第二用户的对象的示例连接；
图14示出了在示例配置中用于通过在用户之间发送对象来社交连接第一用户和第二用户的对象的示例连接；
图15示出了由移动设备实施的用于在示例配置中提供对象配对和管理连接的流程图；以及
图16示出了由电子眼镜设备实施的流程图，用于识别和辨识标记端点对象，并提示从环境发送AR对象或图像中的至少一个，用于在示例配置中社交连接相应用户。
具体实施方式
本公开涉及用于通过第一用户捕获图像、识别所捕获图像中的物理标记并确定所捕获的图像中的物理标记已经在电子眼镜设备的视场内达预定时间量来使用电子眼镜设备发送快照消息的系统和方法。捕获包括对象的2D或3D快照，并且每当所识别的对象出现在电子眼镜设备的视场中时，对象的表示被发送以显示给第二用户。对象的表示可以包括快照图像、从快照图像中提取的对象、对象的存储表示、表示对象的增强现实内容等。在示例配置中，快照是真实世界对象的3D模型，其如此逼真，以至于接收者感觉好像发送者已经发送了对象本身。在该示例中，3D模型可以与物理环境无缝融合，就好像它是真实对象一样。
一般而言，描述了一种灵活的、用户可定制的平台，用于在电子眼镜设备的用户之间提供社交连接。本文描述的系统和方法使得电子眼镜设备的佩戴者能够通过将对象建立为用于社交连接的个性化锚点来间接地彼此交互。该系统和方法通过使用相应用户的环境中的对象创建分布式和连接的“虫洞”来创建对远程朋友(其也有兼容的电子眼镜设备)正在做什么的感知，从而使用户能够感觉到与另一个用户连接。远程朋友可以通过使用连接对象之间的“虫洞”创建每个朋友一整天都在做什么的人际感知，从而保持彼此连接。各种形式的可配置环境感知显示器被集成到电子眼镜设备的佩戴者的物理环境中，以支持人际感知并促进与电子眼镜设备的其他佩戴者的社会和情感连接。
因此，本文描述的系统和方法能够通过分布式和连接的真实世界对象实现社交连接/存在。连接可以是对称的(在同类对象之间)或不对称的(在不同类型的对象之间)，并且传输的内容可以是抽象增强现实(AR)内容或真实世界内容。该系统和方法还支持瞬时和持久的AR内容。经由分布式和连接的真实世界对象传输此类内容使远程朋友能够在佩戴增强现实(AR)智能眼镜的同时，通过将对象建立为社交连接的个性化锚点来间接地相互交互。
在示例配置中，用户在日常生活中使用或遇到的各种对象上放置物理标记。使用配套移动设备应用，用户可以在他们的物理标记和他们的远程伙伴的物理标记集合之间建立连接。一旦建立了连接，由相应用户佩戴的电子眼镜设备将在物理标记处于其电子眼镜设备的视场中时检测到该物理标记。在辨识出物理标记后，电子眼镜设备基于远程第一用户的活动触发将视觉和听觉AR内容投影到第二用户，并触发将AR内容放置在第二用户的对应物理标记位置(标记端点)。可替选地，可以改变设置以使AR内容放置在远程伙伴(用户端点)直接附近的任何地方。因此，本文描述的系统具有两种系统配置。在对象到对象的情况下，内容被放置在对应标记的位置处。然而，在对象到用户模式中，内容被加载在接收伙伴附近的位置处。
标记端点在用户电子眼镜设备的视场中的持续时间可以确定为远程伙伴放置了什么内容。短时间段可以触发在远程伙伴的标记端点或用户端点处放置简单的抽象效果，诸如类似闪光的效果，而较长的预定时间段可以触发电子眼镜设备从佩戴者的真实世界环境中克隆内容并在短时间段(即5秒)内记录音频。然后将克隆的内容和音频提供给远程伙伴的标记端点或用户端点。
本文描述的系统和方法至少包括以下主要特征，这些特征将从以下描述中变得明显：
作为触发器的对象：系统使每个用户使用物理标记标记他们自己的对象集。用户可以标记特定对象作为他们的电子眼镜设备的活动检测的代理。此后，当与这些标记的对象交互时，佩戴者的电子眼镜设备被触发，以生成AR或真实世界的内容来“放置”给他们的远程伙伴。
作为端点的对象或用户：该系统还使能使用两种策略中的一个将AR内容“放置”在远程伙伴的世界中。内容或者由标记有对应物理标记(标记端点)的对象放置，或者内容在远程伙伴(用户端点)附近生成。
作为AR内容来源的真实世界：该系统还包括克隆特征，其可以使来自真实世界的视觉内容被捕获和生成，以供远程伙伴体验。此外，音频捕获特征可以在标记端点对象的位置处记录环境声音或语音，并且捕获的音频也可以被回放给伙伴。因此，朋友可以看到和听到与他们的远程朋友的经历相关的高度个性化和真实的内容。
以下详细描述包括系统、方法、技术、指令序列和计算机程序产品，说明了本公开中阐述的示例。为了提供对所公开的主题及其相关教导的透彻理解，包括了许多细节和示例。然而，相关领域的技术人员可以理解如何在没有这些细节的情况下应用相关教导。所公开的主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导可以以各种方式应用或实践。本文使用的术语和命名法仅用于描述特定方面，而不旨在进行限制。一般来说，众所周知的指令实例、协议、结构和技术不一定详细示出。
本文中使用的术语“连接”、“连接的”、“耦合”和“耦合的”是指任何逻辑、光学、物理或电气连接，包括链路或类似连接，通过该链路将一个系统元件产生或供应的电信号或磁信号传递给另一个耦合或连接的系统元件。除非另有说明，否则耦合或连接的元件或设备不一定彼此直接连接，并且可以由中间部件、元件或通信介质分隔开，其中一个或多个可以修改、操纵或携带电信号。术语“在…上(on)”是指由元件直接支持，或通过集成到该元件中或由该元件支持的另一个元件间接支持。
示例的附加目的、优点和新颖特征将在以下描述中部分阐述，并且本领域技术人员在研究以下和附图后将了解该部分，或者可以通过示例的生产或操作来了解该部分。本主题的目的和优点可以借助于所附权利要求中特别指出的方法、手段和组合来实现和获得。
诸如任何附图所示的电子眼镜设备、相关部件和任何包含眼部扫描仪和相机的完整设备的方向仅作为示例给出，用于说明和讨论目的。在特定可变光学处理应用的操作中，电子眼镜设备可以在适合于电子眼镜设备的特定应用的任何其他方向上定向，例如向上、向下、侧向或任何其他定向。此外，在本文使用的范围内，任何方向性术语，诸如前、后、向内、向外、朝向、左、右、横向、纵向、向上、向下、上部、下部、顶部、底部和侧面，仅作为示例使用，而不限制如本文所述构造的任何光学器件或光学器件的部件的方向或定向。
现在详细参考附图中所示的示例，并在下文中进行讨论。将参考图1-16描述示例电子眼镜设备和用于在电子眼镜设备的用户之间提供社交连接的相关系统。
本文描述的系统包括三个主要硬件部件：电子眼镜设备、移动设备和服务器。将参考图1-3描述电子眼镜设备，将参考图5描述移动设备，并且将参考图6描述服务器。将参考图4描述对应的系统。将参考图7-16描述软件部件的操作，包括电子眼镜设备和移动设备上的应用软件，以及系统操作的示例。这种软件部件包括用于放置标记(例如，标记端点)的系统软件、用于建立和管理对象连接的移动设备软件以及用于辨识标记(例如场景中的对象)并用于发送和接收内容的电子眼镜设备软件。然而，应当理解，移动设备和/或服务器可以从系统中移除，前提是电子眼镜设备适于包括足够的处理和存储能力以执行移动设备和/或服务器的所述功能。
电子眼镜设备
在示例配置中，具有增强现实(AR)能力的电子眼镜设备用于本文描述的系统。电子眼镜设备期望用于在本文描述的系统中，因为这种设备是可扩展的、可定制的，以实现个性化体验，使效果能够随时随地应用，并通过仅使佩戴者能够看到传送的信息来确保用户隐私。在示例配置中，可以在没有任何专用硬件的情况下使用电子眼镜设备，诸如可从加利福尼亚州圣莫尼卡的Snap股份有限公司获得的
图1A示出了包括具有图像显示器180D(图2A)的右光学组件180B的电子眼镜设备100的示例硬件配置的侧视图。电子眼镜设备100包括形成立体相机的多个可见光相机114A-B(图3)，其中右可见光相机114B位于右镜腿110B上，并且左可见光相机114A位于左镜腿110A上。
左可见光相机和右可见光相机114A-B可以包括对可见光范围波长敏感的图像传感器。可见光相机114A-B中的每个具有不同的面向前方的覆盖角，例如，可见光相机114具有所描绘的覆盖角111B。覆盖角是可见光相机114A-B的图像传感器拾取电磁辐射并生成图像的角度范围。这种可见光相机114A-B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和视频图形阵列(VGA)相机，诸如640p(例如，640x 480像素，总共0.3兆像素)、720p或1080p。来自可见光相机114A-B的图像传感器数据可以与地理定位数据一起被捕获，由图像处理器数字化，并存储在存储器中。
为了提供立体视觉，可见光相机114A-B可以被耦合到图像处理器(图4的元件412)，用于与捕获场景图像的时间戳一起进行数字处理。图像处理器412可以包括接收来自可见光相机114A-B的信号并将来自可见光相机114A-B中的那些信号处理成适合存储在存储器中的格式的电路(图4的元件434)。时间戳可以由图像处理器412或控制可见光相机114A-B的操作的其他处理器添加。可见光相机114A-B允许立体相机模拟人类双眼视觉。立体相机还提供基于分别来自可见光相机114A-B的具有相同时间戳的两个捕获图像(图3的元件358A-B)来再现三维图像(图1的图像315)的能力。这样的三维图像315允许身临其境的逼真体验，例如用于虚拟现实或视频游戏。对于立体视觉，这对图像358A-B可以在给定的时刻生成——左可见光相机和右可见光相机114A-B各一个图像。当来自左可见光相机和右可见光相机114A-B的前向视场(FOV)111A-B的这对生成的图像358A-B(例如，通过图像处理器412)被拼接在一起时，深度感知由光学组件180A-B提供。
在一个示例中，电子眼镜设备100包括框架105、右镜框107B、从框架105的右侧边170B延伸的右镜腿110B以及透视图像显示器180D(图2A-B)，透视图像显示器180D包括向用户呈现图形用户界面的光学组件180B。电子眼镜设备100包括连接到框架105或左镜腿110A的左可见光相机114A，以捕获场景的第一图像。电子眼镜设备100还包括连接到框架105或右镜腿110B的右可见光相机114B，以捕获(例如，与左可见光相机114同时)与第一图像部分重叠的场景的第二图像。尽管在图1A-B中未示出，但是处理器432(图4)被耦合到电子眼镜设备100并且被连接到可见光相机114A-B和处理器432可访问的存储器434(图4中)，并且存储器434中的编程可以在电子眼镜设备100自身中被提供。
尽管在图1A中未示出，但电子眼镜设备100也可以包括头部运动跟踪器(图1B的元件109)或眼部运动跟踪器(图2A的元件113或图2B-C的元件213)。电子眼镜设备100还可以分别包括用于呈现显示的图像序列的光学组件180A-B的透视图像显示器180C-D，以及图像显示驱动器(图4的元件442)，其被耦合到光学组件180A-B的透视图像显示器180C-D以控制光学组件180A-B的图像显示器180C-D以呈现显示图像序列315，这将在下文中进一步详细描述。电子眼镜设备100还可以包括存储器434和处理器432，该处理器432可以访问图像显示驱动器442和存储器434以及在存储器434中编程。通过处理器432执行编程将电子眼镜设备100配置为执行功能，包括经由透视图像显示器180C-D呈现显示图像序列的初始显示图像的功能，初始显示图像具有与眼部运动跟踪器113或213所确定的初始头部方向或初始眼睛注视方向相对应的初始视场。
通过处理器432执行编程可以进一步配置电子眼镜设备100，以通过以下方式检测电子眼镜设备的用户的移动：(i)经由头部运动跟踪器(图1B的元件109)跟踪用户的头部的头部运动，或(ii)经由眼部运动跟踪器(图2A的元件113或图2B-C的元件213)跟踪电子眼镜设备100的用户的眼睛的眼部运动。通过处理器432执行编程可以进一步配置电子眼镜设备100以基于检测到的用户的运动来确定对初始显示图像的初始视场的视场调整。视场调整可以包括与连续的头部方向或连续的眼睛方向相对应的连续视场。通过处理器432执行编程可以进一步配置电子眼镜设备100以基于视场调整生成显示图像序列的连续显示图像。通过处理器432执行编程可以进一步配置电子眼镜设备100以经由光学组件180A-B的透视图像显示器180C-D呈现连续显示的图像。
图1B示出了图1A的电子眼镜设备100的镜腿的俯视截面图，描绘了右可见光相机114B、头部运动跟踪器109和电路板140。左可见光相机114A的构造和放置基本上类似于右可见光相机114，除了连接和耦合在左侧边170A(图2A)上。如图所示，电子眼镜设备100包括右可见光相机114B和电路板，电路板可以是柔性印刷电路板(PCB)140。右铰链126B将右镜腿110B连接到电子眼镜设备100的铰接臂125B。在一些示例中，右可见光相机114B、柔性PCB140或其他电连接器或触点的部件可以位于右镜腿110B或右铰链126B上。
如图所示，电子眼镜设备100可以包括头部运动跟踪器109，其包括例如惯性测量单元(IMU)。惯性测量单元是一种电子设备，它使用加速度计和陀螺仪(有时还使用磁力计)的组合来测量和报告身体的比力、角速率，以及有时还有身体周围的磁场。惯性测量单元通过使用一个或多个加速度计检测线性加速度和使用一个或多个陀螺仪检测旋转速率来工作。惯性测量单元的典型配置为三个轴中的每个轴包含一个加速度计、陀螺仪和磁力计，三个轴为：用于左右运动的水平轴(X)，用于上下运动的垂直轴(Y)，以及用于上下运动的深度或距离轴(Z)。加速度计检测重力矢量。磁力计定义磁场中的旋转(例如，面向南、北等)，就像生成航向参考的指南针。三个加速度计检测沿着上面定义的水平轴、垂直轴和深度轴的加速度，其可以相对于地面、电子眼镜设备100或佩戴电子眼镜设备的用户来定义。
电子眼镜设备100可以通过经由头部运动跟踪器109跟踪用户头部的头部运动来检测电子眼镜设备100的用户的运动。头部运动包括在图像显示器上呈现初始显示图像期间，头部方向在水平轴、垂直轴或其组合上相对于初始头部方向的变化。在一个示例中，经由头部运动跟踪器109跟踪用户头部的头部运动包括经由惯性测量单元109测量水平轴(例如，X轴)、垂直轴(例如Y轴)或其组合(例如，横向或对角运动)上的初始头部方向。经由头部运动跟踪器109跟踪用户头部的头部运动还包括在呈现初始显示图像期间经由惯性测量单元109测量水平轴、垂直轴或其组合上的连续头部方向。
经由头部运动跟踪器109跟踪用户头部的头部运动还可以包括基于初始头部方向和连续头部方向确定头部方向的变化。检测电子眼镜设备100的用户的运动还可以包括响应于经由头部运动跟踪器109跟踪用户头部的头部运动，确定头部方向的变化超过水平轴、垂直轴或其组合上的偏离角阈值。在示例配置中，偏离角阈值在大约3°到10°之间。如本文所用，当提及角度时，术语“大约”表示所述量的±10％。
沿水平轴的变化通过例如隐藏、取消隐藏或以其他方式调整三维对象的可见性，将三维对象(诸如字符、Bitmojis、应用图标等)滑入或滑出视场。沿着垂直轴的变化，例如，当用户向上看时，在一个示例中，显示天气信息、一天中的时间、日期、日历约会等。在另一个示例中，当用户在垂直轴上向下看时，电子眼镜设备100可以断电。
如图1B所示，右镜腿110B包括镜腿主体211和镜腿帽，在图1B的横截面中省略了镜腿帽。设置在右镜腿110B内部的是各种互连电路板，诸如PCB或柔性PCB 140，其包括用于右可见光相机114B、麦克风130、扬声器132、低功率无线电路(例如，用于经由的无线短程网络通信)和高速无线电路(例如，用于经由的无线局域网通信)的控制器电路。
右可见光相机114B被耦合到柔性PCB 140或设置在柔性PCB 140上，并由可见光相机盖镜头覆盖，该镜头通过形成在右镜腿110B中的开口瞄准。在一些示例中，连接到右镜腿110B的框架105包括用于可见光相机盖镜头的开口。框架105可以包括前向侧，其被配置为面向外部远离用户的眼睛。用于可见光相机盖镜头的开口可以被形成在前向侧上并穿过前向侧。在该示例中，右可见光相机114B与电子眼镜设备100的用户的右眼的视线或视角具有向外的覆盖角111B。可见光相机盖镜头也可以被粘附到右镜腿110B的面向外的表面，其中开口形成有面向外的覆盖角，但在不同的向外方向上。耦合也可以是经由中间部件的间接的。
左(第一)可见光相机114A可以被连接到左光学组件180A的左透视图像显示器180C，以生成第一连续显示图像的第一背景场景。右(第二)可见光相机114B可以被连接到右光学组件180B的右透视图像显示器180D，以生成第二连续显示图像的第二背景场景。第一背景场景和第二背景场景可以部分重叠以呈现连续显示图像的三维可观察区域。
柔性PCB 140可以被设置在右镜腿110B内部，并耦合到容纳在右镜腿110B中的一个或多个其他部件。尽管示出为形成在右镜腿110B的电路板140上，但是右可见光相机114B可以被形成在左镜腿110A的电路板140、铰接臂125A-B或框架105上。
图2A示出了电子眼镜设备100的示例硬件配置的后视图。如图2A所示，电子眼镜设备100是被配置为供用户佩戴的形式，其是图2A的示例中的眼镜。电子眼镜设备100可以采取其他形式，并且可以包括其他类型的框架，例如，头套、耳机或头盔。
在眼镜示例中，电子眼镜设备100包括框架105，该框架105包括经由适于用户的鼻子的桥接件106连接到右镜框107B的左镜框107A。左镜框和右镜框107A-B包括各自的孔175A-B，其保持各自的光学元件180A-B，诸如透镜和透视显示器180C-D。如本文所使用的，术语透镜是指覆盖透明或半透明的玻璃或塑料片，其具有弯曲和平坦的表面，这些表面导致光会聚/发散，或者导致很少或没有会聚/发散。
尽管显示为具有两个光学元件180A-B，但电子眼镜设备100可以包括其他布置，诸如取决于电子眼镜设备100的应用或预期用户的单个光学元件。如进一步所示，电子眼镜设备100包括邻近框架105的左侧边170A的左镜腿110A和邻近框架105的右侧边170B的右镜腿110B。镜腿110A-B可以在相应的侧边170A-B上被集成到框架105中(如图所示)，或者被实施为在相应的侧边170A-B上被附接到框架105的独立部件。可替选地，镜腿110A-B可以被集成到附接到框架105A的铰接臂125A-B中。
在图2A的示例中，可以提供包括红外发射器115和红外相机120的眼部扫描仪113。可见光相机通常包括蓝光滤光片以阻挡红外光检测。在一个示例中，红外相机120是移除了蓝色滤光片的可见光相机，诸如低分辨率视频图形阵列(VGA)相机(例如，640x 480像素，总共0.3兆像素)。红外发射器115和红外相机120可以共同位于框架105上。例如，两者都显示为被连接到左镜框107A的上部。框架105或左镜框和右镜框110A-B中的一个或多个可以包括电路板(未示出)，该电路板包括红外发射器115和红外相机120。例如，红外发射器115和红外照相机120可以通过焊接被连接到电路板。
可以实施红外发射器115和红外相机120的其他布置，包括其中红外发射器115与红外相机120都在右镜框107B上或在框架105上的不同位置的布置。例如，红外发射器115可以在左镜框107A上，并且红外相机120可以在右镜框107B上。在另一个示例中，红外发射器115可以在框架105上，并且红外相机120可以在镜腿110A-B中的一个上，或者反之亦然。红外发射器115可以基本上被连接在框架105、左镜腿110A或右镜腿110B上的任何位置，以发射红外光的图案。类似地，红外相机120可以基本上被连接在框架105、左镜腿110A或右镜腿110B上的任何位置，以捕获红外光的发射图案中的至少一个反射变化。
红外发射器115和红外相机120可以被布置为向内朝向用户的眼睛，具有眼睛的部分或全部视场，以便识别相应的眼睛位置和凝视方向。例如，红外发射器115和红外相机120可以直接被定位在眼睛前方、框架105的上部或框架105两端的镜腿110A-B中。
图2B示出了另一电子眼镜设备200的示例硬件配置的后视图。在该示例配置中，电子眼镜设备200被描绘为包括右镜腿210B上的眼部扫描仪213。如图所示，红外发射器215和红外相机220共同位于右镜腿210B上。应当理解，眼部扫描仪213或眼部扫描仪213中的一个或多个部件可以位于左镜腿210A和电子眼镜设备200的其他位置，例如，框架105。红外发射器215和红外相机220类似于图2A的红外发射器和红外相机，但是眼部扫描仪213可以变化以对不同的光波长敏感，如先前在图2A中所描述的。类似于图2A，电子眼镜设备200包括框架105，框架105包括经由桥接件106连接到右镜框107B的左镜框107A。左镜框和右镜框107A-B可以包括各自的孔，其保持包括透视显示器180C-D的各自的光学元件180A-B。
图2C-D示出了包括两种不同类型的透视图像显示器180C-D的电子眼镜设备100的示例硬件配置的后视图。在一个示例中，光学组件180A-B的这些透视图像显示器180C-D包括集成图像显示器。如图2C所示，光学组件180A-B包括任何合适类型的合适的显示矩阵180C-D，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、波导显示器或任何其他此类显示器。
光学组件180A-B还包括一个或多个光学层176，其可以包括透镜、光学涂层、棱镜、反射镜、波导、光学带和任何组合的其他光学部件。光学层176A-N可以包括棱镜，该棱镜具有合适的尺寸和配置并且包括用于接收来自显示矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176A-N的棱镜可以在形成在左镜框和右镜框107A-B中的相应孔175A-B的全部或至少一部分上延伸，以允许用户在用户的眼睛通过对应的左镜框和右镜框107A-B观看时看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从框架105面向上，并且显示矩阵覆盖在棱镜上，使得由显示矩阵发射的光子和光撞击第一表面。棱镜的尺寸和形状可以被设定为使得光在棱镜内折射，并且通过光学层176A-N的棱镜的第二表面被引导朝向用户的眼睛。在这方面，光学层176A-N的棱镜第二表面可以是凸的，以将光引导朝向眼睛的中心。棱镜的尺寸和形状可以可选地被设定为放大由透视图像显示器180C-D投影的图像，并且光穿过棱镜，使得从第二表面观看的图像在一个或多个维度上大于从透视图像显示器180C-D发射的图像。
在另一个示例中，光学组件180A-B的透视图像显示器180C-D可以包括如图2D所示的投影图像显示器。光学组件180A-B包括投影仪150，其可以是使用扫描镜、检流计、激光投影仪或其他类型的投影仪的三色投影仪。在操作期间，诸如投影仪150的光源被设置在电子眼镜设备100的镜腿110A-B中的一个中或其上。光学组件180A-B可以包括一个或多个光学带155A-N，其在光学组件180A-B的透镜的宽度上或在透镜的前表面和后表面之间的透镜的深度上间隔开。
当投影仪150投影的光子穿过光学组件180A-B的透镜时，光子遇到光学带155A-N。当特定光子遇到特定光学带时，光子要么被重定向到用户的眼睛，要么通过下一个光学带。投影仪150的调制和光学带的调制的组合可以控制特定的光子或光束。在一个示例中，处理器通过启动机械、声学或电磁信号来控制光带155A-N。尽管示出为具有两个光学组件180A-B，但是电子眼镜设备100可以包括其他布置，诸如单个或三个光学组件，或者光学组件180A-B可以根据电子眼镜设备100的应用或预期用户而布置不同的布置。
如图2C-D所示，电子眼镜设备100包括邻近框架105的左侧边170A的左镜腿110A和邻近框架105的右侧边170B的右镜腿110B。镜腿110A-B可以在相应的侧边170A-B上被集成到框架105中(如图所示)，或者被实施为在相应的侧面170A-B上附接到框架105的单独部件。可替选地，镜腿110A-B可以被集成到附接到框架105A的铰接臂125A-B中。
在一个示例中，透视图像显示器包括第一透视图像显示器180C和第二透视图像显示器180。电子眼镜设备100可以包括保持相应的第一和第二光学组件180A-B的第一孔和第二孔175A-B。第一光学组件180A可以包括第一透视图像显示器180C(例如，图2C的显示矩阵177或光学带和左镜腿110A中的投影仪(未示出))。第二光学组件180B可以包括第二透视图像显示器180D(例如，图2C的显示矩阵或光学带155A-N和右镜腿110B中的投影仪150)。连续显示图像的连续视场可以包括水平、垂直或对角测量的在大约15°到30°之间的视角，并且更具体地是24°。具有连续视场的连续显示图像表示通过将呈现在第一图像显示器和第二图像显示器上的两个显示图像拼接在一起可见的组合三维可观察区域。
如本文所用，“视角”描述了与光学组件180A-B的左图像显示器和右图像显示器180C-D中的每个上呈现的显示图像相关联的视场的角度范围。“覆盖角”描述了可见光相机114A-B或红外相机220的镜头可以成像的角度范围。通常，由镜头产生的图像圆足够大以完全覆盖胶片或传感器，可能包括一些渐晕(即，与图像中心相比，图像的亮度或饱和度向外围降低)。如果镜头的覆盖角没有填满传感器，则图像圆将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将被限制为覆盖角。“视场”旨在描述电子眼镜设备100的用户可以通过他或她的眼睛经由光学组件180A-B的左图像显示器和右图像显示器180C-D上呈现的显示图像看到的可观察区域的场。光学组件180A-B的图像显示器180C可以具有覆盖角在15°到30°之间的视场，例如24°，并且具有480x 480像素的分辨率。
图3示出了用相机114A-B捕获可见光的示例。可见光由具有圆形视场(FOV)111A的左可见光相机114A捕获。所选择的矩形左原始图像358A被用于图像处理器412(图4)的图像处理。可见光也被具有圆形FOV 111B的右可见光相机114B捕获。由图像处理器412选择的矩形右原始图像358B被用于处理器412的图像处理。基于对具有重叠视场313的左原始图像358A和右原始图像358B的处理，由处理器412生成三维场景的三维图像315，在下文中被称为沉浸式图像，并由显示器180C和180D显示，并且该三维图像315可由用户观看。
图4示出了包括设置在电子眼镜设备100或200中的示例电子部件的高级功能框图。所示的电子部件包括处理器432、存储器434以及透视图像显示器180C和180D。
存储器434包括用于由处理器432执行以实施电子眼镜设备100和200的功能的指令，包括用于处理器432在图像315中进行控制的指令。这种功能可以通过眼部跟踪软件445、对象/标记辨识和连接软件460以及图像分割软件470的处理指令来实施，该指令存储在存储器434中并由高速处理器432执行。处理器432从电池450接收电力，并执行存储在存储器434中或与处理器432集成在芯片上的指令，以执行电子眼镜设备100和200的功能，并经由无线连接与外部设备通信。
电子眼镜设备100和200可以包含眼部运动跟踪器445(例如，在图2B中显示为红外发射器215和红外相机220)，并且可以经由移动设备500(图5)和经由各种网络连接的服务器系统498来提供用户界面调整。移动设备500可以是智能手机、平板电脑、笔记本电脑、接入点或能够使用低功率无线连接425和高速无线连接437与电子眼镜设备100或200连接的任何其他此类设备。移动设备500还经由网络495被连接到服务器系统498。网络495可以包括有线和无线连接的任何组合。
电子眼镜设备100和200可以包括至少两个可见光相机114A-B(一个与左侧边170A相关联，并且一个与右侧边170B相关联)。电子眼镜设备100和200还包括光学组件180A-B的两个透视图像显示器180C-D(一个与左侧边170A相关联，并且一个与右侧边170B相关联)。电子眼镜设备100和200还包括图像显示驱动器442、图像处理器412、低功率电路420和高速电路430。图4中所示的用于电子眼镜设备100和200的部件位于镜腿中的一个或多个电路板上，例如PCB或柔性PCB 140。可替选地或附加地，所描绘的部件可以位于电子眼镜设备100和200的镜腿、框架、铰链、铰接臂或桥接件中。左可见光相机和右可见光相机114A-B可以包括数字相机元件，诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、透镜或任何其他相应的可见光或光捕获元件，其可以被用于捕获数据，包括具有未知对象的场景的图像。
眼部运动跟踪程序445实施用户界面视场调整指令，包括使电子眼镜设备100或200通过眼部运动跟踪器213跟踪电子眼镜设备100或200的用户的眼部运动的指令。其他实施的指令(功能)致使电子眼镜设备100和200基于检测到的与连续眼睛方向相对应的用户的眼睛运动来确定对初始FOV 111A-B的FOV调整。进一步实施的指令基于视场调整生成显示图像序列的连续显示图像。连续显示图像被产生为经由用户界面对用户可见的输出。该可见输出出现在光学组件180A-B的透视图像显示器180C-D上，其由图像显示驱动器442驱动以呈现显示图像序列，包括具有初始视场的初始显示图像和具有连续视场的连续显示图像。
下面将参考图16进一步详细描述对象/标记辨识和连接程序460以及图像分割程序470。
如图4所示，高速电路430包括高速处理器432、存储器434和高速无线电路436。在该示例中，图像显示驱动器442被耦合到高速电路430并由高速处理器432操作，以便驱动光学组件180A-B的左图像显示器和右图像显示器180C-D。高速处理器432可以是能够管理电子眼镜设备100或200所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器432包括使用高速无线电路436来管理到无线局域网(WLAN)的高速无线连接437上的高速数据传输所需的处理资源。在某些示例中，高速处理器432执行电子眼镜设备100或200的操作系统，诸如LINUX操作系统或其他此类操作系统，并且该操作系统被存储在存储器434中以供执行。除了任何其他职责之外，执行电子眼镜设备100或200的软件架构的高速处理器432被用于管理与高速无线电路436的数据传输。在某些示例中，高速无线电路436被配置为实施电气和电子工程师协会(IEEE)802.11通信标准，在本文中也被称为在其他示例中，其他高速通信标准可以通过高速无线电路436来实施。
电子眼镜设备100和200的低功率无线电路424和高速无线电路436可以包括短程收发器和无线广域网、局域网或广域网收发器(例如，蜂窝或)。移动设备500，包括经由低功率无线连接425和高速无线连接437进行通信的收发器，可以使用电子眼镜设备100和200的架构的细节来实施，网络495的其他元件也是如此。
存储器434包括能够存储各种数据和应用的任何存储设备，包括彩色图、由左可见光相机和右可见光相机114A-B生成的相机数据和图像处理器412，以及由图像显示驱动器442生成用于在光学组件180A-B的透视图像显示器180C-D上显示的图像。虽然存储器434被示为与高速电路430集成，但在其他示例中，存储器434可以是电子眼镜设备100或200的单独独立元件。在某些这样的示例中，电路由线路可以提供通过包括高速处理器432的片上系统从图像处理器412或低功率处理器422到存储器434的连接。在其他示例中，高速处理器432可以管理存储器434的寻址，使得低功率处理器422将在需要涉及存储器434的读取或写入操作的任何时间启动高速处理器432。
服务器系统498可以是作为服务或网络计算系统的一部分的一个或多个计算设备，例如，包括处理器、存储器和网络通信接口，以通过网络495与移动设备500和电子眼镜设备100和200进行通信。电子眼镜设备100和200可以与主计算机连接。例如，电子眼镜设备100或200可以经由高速无线连接437与移动设备500配对，或者经由网络495被连接到服务器系统498。此外，如下面更详细地解释的，快照和AR对象的图库480可以由后端服务器系统498为每个用户维护，并且通过提供到所存储的快照和AR对象的链接的通信来调用。
电子眼镜设备100和200的输出部件包括视觉部件，诸如图2C-D中描述的光学组件180A-B的左图像显示器和右图像显示器180C-D(例如，诸如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导的显示器)。光学组件180A-B的图像显示器180C-D由图像显示驱动器442驱动。电子眼镜设备100和200的输出部件还包括声学部件(例如，扬声器)、触觉部件(例如，振动马达)、其他信号发生器等。电子眼镜设备100和200、移动设备500和服务器系统498的输入部件可以包括字母数字输入部件(例如，键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向工具)、触觉输入部件(例如，物理按钮、提供触摸或触摸手势的位置和力的触摸屏或其他触觉输入部件)、音频输入部件(例如，麦克风)等。
电子眼镜设备100和200可选地包括附加的外围设备元件，诸如环境光和光谱传感器、生物特征传感器、热传感器440或与电子眼镜设备100或200集成的其他显示元件。例如，外围设备元件可以包括任何I/O部件，包括输出部件、运动部件、位置部件或本文描述的任何其他此类元件。电子眼镜设备100和200可以采用其他形式，并且可以包含其他类型的框架，例如，头套、耳机或头盔。
例如，电子眼镜设备100和200的生物特征部件可以包括检测表情(例如，手部表情、面部表情、声音表情、身体姿势或眼部跟踪)、测量生物信号(例如，血压、心率、体温、汗液或脑电波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等。运动部件包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器你件(例如，陀螺仪)等。位置部件包括用于生成位置坐标的位置传感器部件(例如，全球定位系统(GPS)接收器部件)、用于生成定位系统坐标的或收发器、高度传感器部件(例如，用于检测可推导出高度的气压的高度计或气压计)、方位传感器部件(例如，磁力计)等。还可以经由低功率无线电路424或高速无线电路436通过无线连接425和437从移动设备500接收这种定位系统坐标。
移动设备
图5示出了适于经由示例配置中的对象来管理社交连接的移动设备500的示例配置。特别地，图5是示例移动设备500的高级功能框图，用户可以使用该示例移动设备500来管理如本文描述的经由对象的社交连接。移动设备500可以包括闪存505，该闪存505存储要由CPU 510执行的程序，以执行本文描述的所有功能或功能的子集。例如，闪存可以存储对象配对和连接管理软件515以供CPU 510执行，从而使得移动设备500的用户能够建立对象作为标记并管理连接，如本文参考图15所述。移动设备500还可以包括相机525，相机525包括一个或多个可见光相机(具有重叠视场的第一可见光相机和第二可见光相机)或者至少一个可见光照相机和具有基本重叠视场的深度传感器。闪存505还可以包括经由相机525生成的多个图像或视频。
移动设备500还可以包括图像显示器530、用于控制图像显示器530的移动显示驱动器535和显示控制器540。在图5的示例中，图像显示器530可以包括用户输入层545(例如，触摸屏)，该用户输入层545被层叠在图像显示器530所使用的屏幕之上或者以其他方式被集成到图像显示器530所使用的屏幕中。可以使用的触摸屏型移动设备的示例包括(但不限于)智能电话、个人数字助理(PDA)、平板电脑、笔记本电脑或其他便携式设备。然而，触摸屏型设备的结构和操作是通过示例的方式提供的；本文所描述的主题技术并不旨在限于此。出于该讨论的目的，图5因此提供了具有用户界面的示例移动设备500的框图图示，该用户界面包括用于接收输入(通过手、触控笔或其他工具的触摸、多点触摸或手势等)的触摸屏输入层545和用于显示内容的图像显示器530。
如图5所示，移动设备500包括至少一个数字收发器(XCVR)550，显示为WWAN XCVR，用于经由广域无线移动通信网络进行数字无线通信。移动设备500还可以包括附加的数字或模拟收发器，诸如用于诸如经由NFC、VLC、DECT、ZigBee、蓝牙TM或进行短程网络通信的短程收发器(XCVR)555。例如，短程XCVR 555可以采用任何可用的双向无线局域网(WLAN)收发器的形式，该收发器的类型与在无线局域网中实施的一个或多个标准通信协议兼容，诸如IEEE 802.11下的标准中的一个。
为了生成用于定位移动设备500的位置坐标，移动设备500还可以包括全球定位系统(GPS)接收器。可替选地或附加地，移动设备500可以利用短程XCVR 555和WWAN XCVR 550中的任一者或两者来生成用于定位的位置坐标。例如，基于蜂窝网络、或蓝牙TM的定位系统可以生成非常精确的位置坐标，尤其是在组合使用时。此类位置坐标可以经由XCVR 550、555通过一个或多个网络连接被传送到移动设备500。
收发器550、555(即，网络通信接口)可以符合现代移动网络所使用的各种数字无线通信标准中的一个或多个。WWAN收发机550的示例包括(但不限于)被配置为根据码分多址(CDMA)和第三代合作伙伴计划(3GPP)网络技术操作的收发器，该网络技术包括，例如但不限于，3GPP类型2(或3GPP2)和LTE，器有时被称为“4G”。收发器还可以结合被称为“5G”的宽带蜂窝网络技术。例如，收发器550、555提供信息的双向无线通信，包括数字化音频信号、静止图像和视频信号、用于显示的网页信息以及网络相关输入，以及去往/来自移动设备500的各种类型的移动消息通信。
移动设备500还可以包括用作中央处理单元(CPU)510的微处理器。处理器是具有被构造和布置为执行一个或多个处理功能(通常是各种数据处理功能)的元件的电路。尽管可以使用分立的逻辑部件，但是这些示例利用形成可编程CPU的部件。微处理器例如包括一个或多个集成电路(IC)芯片，其包含电子元件以执行CPU 510的功能。例如，CPU 510可以基于任何已知或可用的微处理器架构，诸如使用ARM架构的精简指令集计算(RISC)，如当今在移动设备和其他便携式电子设备中普遍使用的。当然，处理器电路的其他布置可以被用于在智能手机、笔记本电脑和平板电脑中形成CPU 510或处理器硬件。
CPU 510通过配置移动设备500以执行各种操作用作移动设备500的可编程主机控制器，例如，根据CPU 510可执行的指令或编程。例如，这样的操作可以包括移动设备500的各种一般操作，以及与移动设备500上的消息收发应用和AR相机应用的编程相关的操作。尽管可以通过使用硬连线逻辑来配置处理器，但是移动设备中的典型处理器是通过执行编程来配置的通用处理电路。
移动设备500还包括用于存储程序和数据的存储器或存储系统。在图5所示的示例中，根据需要，存储器系统可以包括闪存505、随机存取存储器(RAM)560和其他存储器部件565。RAM 560可以用作由CPU 510处理的指令和数据的短期存储器，例如作为工作数据处理存储器。闪存505通常提供较长期的存储。
因此，在移动设备500的示例中，闪存505可被用于存储程序或指令，以供CPU 510执行。根据设备的类型，移动设备500存储并运行移动操作系统，通过该移动操作系统执行特定应用。移动操作系统的示例包括Google Android、Apple iOS(用于iPhone或iPad设备)、Windows Mobile、Amazon Fire OS、RIM BlackBerry OS等。
最后，移动设备500可以包括音频收发器570，该音频收发器570可以经由麦克风(未示出)从环境接收音频信号，并经由扬声器(未示出)提供音频输出。音频信号可以通过在移动设备500上实施的消息收发应用或社交媒体应用与视频信号和其他消息耦合。
后端服务器系统
本文描述的技术也可以与本文描述的一个或多个计算机系统一起使用，或者与一个或多个其他系统一起使用。例如，本文描述的各种程序可以用硬件或软件或者两者的组合来实施。例如，下面讨论的处理器、存储器、存储装置、输出设备、输入设备或通信连接中的至少一个可以各自是一个或多个硬件部件的至少一部分。专用硬件逻辑部件可以被构造为实施本文描述的一个或多个技术的至少一部分。例如，但不限于，这种硬件逻辑部件可以包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。可以包括各种方面的装置和系统的应用可以广泛地包括各种电子和计算机系统。可以使用具有相关控制和数据信号的两个或更多个特定互连硬件模块或设备来实施技术，该相关控制信号和数据信号可以在模块之间并通过模块进行通信，或者作为专用集成电路的一部分来实施技术。附加地，本文描述的技术可以通过可由计算机系统执行的软件程序来实施。例如，实施方式可以包括分布式处理、部件/对象分布式处理和并行处理。此外，虚拟计算机系统处理可以被构造为实施如本文所述的一个或多个技术或功能。
图6示出了适于实施本文描述的系统和方法的计算机系统的示例配置。特别地，图6示出了机器600的示例的框图，在机器600上可以实施后端服务器系统498(图4)的一个或多个配置。如本文所述，后端服务器系统498可以执行用于连接相应标记端点对象或用户端点对象的ID、图像和描述的指令，以及用于存储从第一用户接收到的AR生成的对象(例如，闪光)和/或用户生成的对象(例如，咖啡杯的快照)的通信的指令，以在接收到第二用户是用户端点或者已经用用户的电子眼镜设备查看了用户的对应标记端点的指示时传输给第二用户。后端服务器系统498还可以维护用户快照和AR对象的图库480。在替代配置中，机器600可以作为独立设备操作，或者可以被连接(例如，联网)到其他机器。在联网部署中，机器600可以在服务器-客户端网络环境中以服务器机器、客户端机器或两者的身份操作。在一个示例中，机器600可以充当对等(P2P)(或其他分布式)网络环境中的对等机器。在示例配置中，机器600可以是个人计算机(PC)、平板电脑、机顶盒(STB)、个人数字助理(PDA)、移动电话、智能电话、网络设备、服务器、网络路由器、交换机或网桥，或者能够执行指定该机器要采取的动作的指令(顺序或其他方式)的任何机器。例如，机器600可以用作通信系统的工作站、前端服务器或后端服务器。机器600可以通过运行用于实施本文描述的用于控制IoT设备的特征的软件来实施本文描述的方法。此外，虽然仅示出了单个机器600，但术语“机器”也应被视为包括单独或联合执行一组(或多组)指令以执行本文讨论的任何一种或多种方法的机器的任何集合，诸如云计算、软件即服务(SaaS)、其他计算机集群配置。
如本文所述，示例可以包括处理器、逻辑或许多部件、模块或机构(本文中称为“模块”)，也可以在处理器、逻辑或许多部件、模块或机构上操作。模块是能够执行指定操作的有形实体(例如，硬件)，并且可以以某种方式进行配置或布置。在一个示例中，电路可以以指定的方式被布置为模块(例如，在内部或相对于诸如其他电路的外部实体)。在一个示例中，一个或多个计算机系统(例如，独立的、客户端或服务器计算机系统)或者一个或多个硬件处理器的全部或部分可以由固件或软件(例如，指令、应用部分或应用)配置为操作以执行指定操作的模块。在一个示例中，该软件可以驻留在机器可读介质上。该软件在由模块的底层硬件执行时，致使硬件执行指定的操作。
因此，术语“模块”被理解为包括有形硬件或软件实体中的至少一个，该实体是物理构造、专门配置(例如，硬连线)或临时(例如，暂时)配置(例如，编程)以指定方式操作或执行本文描述的任何操作的部分或全部的实体。考虑到模块被临时配置的示例，每个模块不需要在任何一个时刻被实例化。例如，在模块包括使用软件配置的通用硬件处理器的情况下，通用硬件处理器可以在不同时间被配置为相应的不同模块。软件可以相应地配置硬件处理器，例如，在一个时刻构成特定模块，并且在不同时刻构成不同模块。
机器(例如，计算机系统)600可以包括硬件处理器602(例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器内核或其任何组合)、主存储器604和静态存储器606，它们中的一些或全部可以经由互连(例如，总线)608彼此通信。机器600还可以包括显示单元610(显示为视频显示器)、字母数字输入设备612(例如，键盘)和用户界面(UI)导航设备614(例如，鼠标)。在一个示例中，显示单元610、输入设备612和UI导航设备614可以是触摸屏显示器。机器600可以另外包括大容量存储设备(例如，驱动单元)616、信号生成设备618(例如，扬声器)、网络接口设备620和一个或多个传感器622。示例传感器622包括全球定位系统(GPS)传感器、指南针、加速度计、温度、光、相机、摄像机、物理状态或位置的传感器、压力传感器、指纹传感器、视网膜扫描仪或其他传感器中的一个或多个。机器600还可以包括输出控制器624，诸如串行(例如，通用串行总线(USB)、并行或其他有线或无线(例如，红外(IR)、近场通信(NFC)等))连接，以通信或控制一个或多个外围设备(例如，打印机、读卡器等)。
大容量存储设备616可以包括机器可读介质626，其上存储一组或多组数据结构或指令628(例如，软件)，该数据结构或指示628体现本文描述的任何一种或多种技术或功能或被本文描述的任何一种或多种技术或功能所用。在机器600执行指令628期间，指令628还可以完全或至少部分地驻留在主存储器604内、静态存储器606内或硬件处理器602内。在一个示例中，硬件处理器602、主存储器604、静态存储器606或大容量存储设备616中的一个或任何组合可以构成机器可读介质。
虽然机器可读介质626被示为单个介质，但术语“机器可读介质”可以包括被配置为存储一个或多个指令628的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓存和服务器中的至少一个)。术语“机器可读介质”可以包括能够存储、编码或携带由机器600执行的指令并且致使机器600执行本公开的任何一个或多个技术的任何介质，或者能够存储、编码或携带由这些指令使用或与这些指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器以及光学和磁性介质。机器可读介质的具体示例可以包括非易失性存储器，诸如半导体存储器设备(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储(EEPROM))和闪存设备；磁盘，诸如内部硬盘和可移动磁盘；磁光盘；随机存取存储器；固态硬盘(SSD)；以及CD-ROM和DVD-ROM盘。在一些示例中，机器可读介质可以包括非暂时性机器可读介质。在一些示例中，机器可读介质可以包括非暂时性传播信号的机器可读介质。
指令628还可以经由网络接口设备620使用传输介质在通信网络632上传送或接收。机器600可以利用多个传输协议(例如，帧中继、互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任何一个与一个或多个其他机器通信。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络和无线数据网络(例如，被称为 的电气和电子工程师协会(IEEE)802.11标准族)，IEEE 802.15.4标准族、长期演进(LTE)标准族、通用移动电信系统(UMTS)标准族、对等(P2P)网络等。在一个示例中，网络接口设备620可以包括一个或多个物理插孔(例如，以太网、同轴或电话插孔)或一个或多个天线630以连接到通信网络632。在一个示例中，网络接口设备620可以包括多个天线630，以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一种进行无线通信。在一些示例中，网络接口设备620可以使用多用户MIMO技术进行无线通信。
本文描述的特征和流程图可以作为方法步骤体现在一种或多种方法中，或体现在如前所述的一个或多个应用中。根据一些配置，一个或多个“应用”是执行程序中定义的功能的程序。可以采用各种编程语言来生成以各种方式结构化的一个或多个应用，诸如面向对象编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C或汇编语言)。在特定示例中，第三方应用(例如，由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是运行在移动操作系统(诸如IOSTM、ANDROIDTM、Phone或其他移动操作系统)上的移动软件。在该示例中，第三方应用可以调用由操作系统提供的API调用，以促进本文描述的功能。应用可以被存储在任何类型的计算机可读介质或计算机存储设备中，并且可以由一个或多个通用计算机执行。此外，本文公开的方法和过程可替选地被体现在专用计算机硬件或专用集成电路(ASIC)、现场可编程门阵列(FPGA)或复杂可编程逻辑器件(CPLD)中。
该技术的程序方面可以被认为是“产品”或“制造品”，通常为可执行代码或相关数据中的至少一种的形式，可执行代码或相关数据被携带或体现在一种机器可读介质中。例如，编程代码可以包括用于本文描述的触摸传感器或其他功能的代码。“存储”型介质包括计算机、处理器等的任何或所有有形存储器，或其相关模块，诸如各种半导体存储器、磁带驱动器、磁盘驱动器等，它们可以在任何时候为软件编程提供非暂时性存储。软件的全部或部分有时可以通过互联网或各种其他电信网络进行通信。例如，这种通信可以使能将软件从一个计算机或处理器加载到另一个计算机或处理器中。因此，可以承载节目、媒体内容或元数据文件的另一类型的媒体包括光、电和电磁波，诸如通过有线和光学陆线网络以及通过各种空中链路在本地设备之间的物理接口上使用。承载这种波的物理元件，诸如有线或无线链路、光学链路等，也可以被认为是承载软件的介质。如本文所用，除非限于“非暂时性”、“有形”或“存储”介质，否则诸如计算机或机器“可读介质”的术语是指参与向处理器提供指令或数据以供执行的任何介质。
因此，机器可读介质可以采用多种形式的有形存储介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机等中的任何存储设备，诸如可以被用于实施图中所示的客户端设备、媒体网关、代码转换器等。易失性存储介质包括动态存储器，诸如这种计算机平台的主存储器。有形传输介质包括同轴电缆、铜线和光纤，包括构成计算机系统内总线的导线。载波传输介质可以采取电信号或电磁信号的形式，或者声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的声波或光波。因此，计算机可读介质的常见形式包括例如：软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡纸带、具有孔图案的任何其他物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或盒式存储器、传输数据或指令的载波、传输这种载波的电缆或链路，或者计算机可以从中读取编程代码或数据中的至少一个的任何其他介质。许多这些形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列携带到处理器以供执行。
分布式和连接的真实世界对象
为了实现如本文描述的用于提供对象之间的社交连接的功能，在上述硬件上实施了两个软件应用。一个应用在移动设备500(iPhone/Android)上运行，并且一个在电子眼镜设备100上运行。一对伙伴都使用这两个应用来实施功能。
在示例配置中，移动设备应用515(图15)由每个用户通过例如扫描可从加利福尼亚州圣莫尼卡的Snap股份有限公司获得的Snap Code来安装在移动设备500上。每个用户利用他们的登录信息登录到移动设备应用515中。一旦用户登录并识别了他们的元数据(即配对ID和用户分配，用户A或用户B)，用户就可以放置标记并拍摄他们的位置的照片以存储在移动设备应用中。一旦每个用户分别设置了一对对应的标记，就可以在它们之间建立连接，通过该连接可以进行AR交换。相应用户的电子眼镜设备100与相应移动设备应用配对以利用该连接信息。
另一方面，电子眼镜设备应用460(图16)被安装在用户的电子眼镜设备100上，并允许每个用户体验(观看、收听)来自远程朋友的内容。包括电子眼镜设备应用460的电子眼镜设备100将能够检测用户的物理标记，并且将从远程伙伴加载听觉和视觉内容以供用户体验。在本文描述的示例中，可以发送两种形式的视觉AR内容：1)表示用户存在的AR内容，诸如浮动的闪光，以及2)克隆的视觉内容、选择的快照或者具有或不具有从真实世界环境中提取的记录的音频片段的AR内容。
如此配置的系统使远程朋友能够在佩戴增强现实(AR)电子眼镜设备100时通过建立对象作为社交连接的个性化锚点来间接地相互交互。该系统允许朋友通过在室内或室外通过留下痕迹来了解彼此的状态——他们在一天中与不同对象交互和使用不同对象时正在做什么。用户在日常生活中使用或遇到的各种对象上放置物理标记。物理标记是实际对象检测的代理，并且可以动态生成。使用配套移动设备应用515，用户可以在他们的物理标记和他们的远程伙伴的一组物理标记之间建立连接。用户可以设置对称连接(诸如从灯到灯)或非对称连接(诸如从灯到马克杯)。一旦设置，运行电子眼镜设备应用460的电子眼镜设备100可以在物理标记处于电子眼镜设备的视场中时检测物理标记，从而基于远程伙伴的活动和要放置在远程伙伴的对应标记位置(标记端点)的AR内容触发要为用户投影的AR内容(视觉和听觉内容)。
在示例配置中，标记在佩戴者视场中的持续时间决定了为远程伙伴放置什么内容。时间缓冲器被用于跟踪标记在视场中的持续时间。短时间段触发在远程伙伴的标记端点处放置预定的AR内容，诸如抽象的类似闪光的效果，而较长时间段触发电子眼镜设备从佩戴者的真实世界周围中克隆内容或选择预存储的AR内容，以及短时间(即5秒)记录音频。该系统还可以支持瞬时和持久AR。根据设置，接收器侧的AR内容可以累积和积累(持久)或在观看后逐渐消失(瞬时)。随着时间的推移，AR内容的颜色和/或亮度也可能逐渐消失，以指示用户在多长时间前执行了活动。
因此，本文描述的系统和方法允许用户仅通过查看周围具有预设物理标记的对象来与朋友互动并与朋友分享他们的状态。物理标记可以是用户周围的固定物体，但也可以是人脸、宠物、车辆和诸如人的其他可移动物体。该系统和方法通过简单地查看(扫描)特定对象或标记来指示它们的状态，从而提供被动的、免提的消息传递。使用该系统，用户可以将消息从一个对象发送到另一个对象，或者从对象直接发送到用户所在的任何位置。一旦设置了一系列具有标记端点的对象，用户只需在家中或户外行走，完成他们的日常工作，并且只需查看标记端点，他们的朋友就会收到关于他们活动和动作的通知。在示例配置中，查看标记端点对象会触发默认AR内容(例如，闪光)，并将其发送到标记端点对象所连接的特定位置或任何地方的接收器。相反，在查看标记端点对象时，系统可以出于实用或表达的目的推荐相关的AR内容，用户可以使用这些内容发送给他们的朋友。例如，电子眼镜设备100的用户可以扫描场景并推荐AR内容，包括例如可从加利福尼亚州圣莫尼卡的Snap股份有限公司获得的的一组AR镜片类型，用户可以选择并发送给朋友。
在人脸被用作标记的情况下，当用户看着人脸时，可能会触发消息。例如，如果用户选择Suni Lee的脸作为标记，每次用户观看她的表演时，都会通知用户的朋友。因此，该朋友将被告知用户现在正在观看体操比赛。类似地，如果用户选择了他们朋友的脸，那么每当他们看到他们的朋友时，都会触发一条消息，表明他们俩在一起。
本文描述的系统和方法进一步允许用户创建真实世界对象的3D快照，以指示他们的状态和位置(逼真的)AR内容，如同实际对象在他们朋友的位置。这也可以导致创建一个公共或私人的图库，并作为一个市场。在这种情况下，系统使用户能够创建真实世界对象的克隆，并与他们的朋友分享，以指示他们的状态或背景——就好像该对象在他们朋友的空间中一样。例如，用户可以提供被动快照。如果用户选择马克杯作为标记，那么每次用户观看或扫描马克杯时，都会创建一个快照，并将其作为逼真的AR马克杯发送给连接的朋友。每个快照都可以通过同步真实马克杯和AR马克杯之间的状态来指示马克杯中剩余咖啡的类型和水平。另一方面，在活动快照的情况下，用户可以在散步时扫描诸如花之类的对象，并在AR中远程将花放在朋友的桌子上，以指示用户正在散步。类似地，用户可以发送新衣服的快照以指示她正在购物。
就像今天可用的图片、gif和视频库一样，用户可以创建私人或公共的3D快照图库480(图4)，用户可以使用该图库来指示他们的状态或情绪。这种方法可以创建逼真AR内容的重要存储库，其通过提供通信中的链接来调用，以使得用户能够经由他们的电子眼镜设备100和可以购买/租用/租赁的对象的市场进行访问。除了个人用户之外，企业还可以创建用户可以经由地图访问的食物或人工制品的快照。在这种情况下，用户可以扫描显示在扫描对象的地图上的AR对象。餐馆可以在送餐前扫描食物，人们可以看到要送到他们手中的食物。用户可以扫描一个地方的所有不同部分，在地图上创建一个代表现实生活中的虚拟地方。在示例配置中，快照是真实世界对象的3D模型，该模型如此逼真，以至于接收者感觉好像发送者已经发送了对象本身。在该示例中，3D模型可以与物理环境无缝融合，就好像它是真实对象一样。
在其他应用中，用户可以将他们世界中的某些东西放入他们朋友的世界，永久保存该对象的副本，将该对象的多个副本提供给不同的人，修改或增强该数字对象，将该数字对象放入他们自己的增强现实(AR)/虚拟现实(VR)世界，使用该对象作为更大对象的构建块，和/或通过讨论对象来模拟存在，就好像该对象正好在两个不同的用户之间一样。
通过以下说明性操作示例，系统和方法的操作将变得显而易见。
假设彼此相距很远的一对亲密朋友(用户1和用户2)希望使用他们的电子眼镜设备100保持彼此的社交连接。为此，用户1建立一个本地对象作为标记端点。为此，在710处，用户1通过选择对象700的图像作为标记端点来识别她公寓(图7)中的对象700(例如，冰箱)。用户1的移动设备5001的移动设备应用515然后向后端服务器系统498提供选择的对象700的对象标识符和图片。对象标识符可以包括由用户1提供的名称。然后，用户1使用移动设备应用515将所识别的对象700连接到由用户2类似地识别的对象。由相应用户标记的对象的ID、图片和提供的名称被存储在后端服务器系统498的应用中，作为连接用户1和用户2的社交媒体通信平台的一部分。如上所述，对象标记是实际对象检测的代理，并且可以被动态生成。可以在用户1和用户2之间建立多个这样的连接。连接可以是对称的(诸如从冰箱到冰箱)或非对称的(诸如从灯到马克杯)，并且可以是1-1、1-N、N-1或N-N连接，其中N是整数。
如图8所示，在810处，用户2通过选择对象800的图像作为标记并使用用户2的移动设备5002的移动设备应用将对象800连接到用户1的一个或多个对象(例如，冰箱700)，来类似地识别其公寓中的对象800(例如，橱柜)。提供诸如“冰箱”之类的名称可以方便这种连接。
现在已经在用户1的冰箱700和用户2的橱柜800之间建立了连接，系统准备好实施社交连接功能。为了激活社交连接特征，用户1在佩戴电子眼镜设备1001时简单地扫视她的冰箱700。如图9所示，电子眼镜设备1001扫描用户1的周围，并使用电子眼镜设备1001的对象辨识能力来识别冰箱700。为了扫描用户周围的标记端点对象或识别要建立为标记端点对象的对象，用户的电子眼镜设备100可以监视用户的注视方向和用户头部的线性或旋转运动以跟踪场景。电子眼镜设备100的视觉扫描可以通过扫描启动装置来激活，诸如在任何时候点击按钮或按压并保持扫描按钮。在视觉扫描的情况下，所捕获的图像可以被转发到电子眼镜设备100上的深度学习模型的经训练的神经网络，或者被转发到可访问电子眼镜设备的后端服务器系统498上可用的后端服务，以处理所捕获的图像来识别场景中的对象。另一方面，语音扫描可以由“唤醒词”启动，该唤醒词是将电子眼镜设备100从睡眠中唤醒以触发相机114的扫描或通过用户语音的语音到文本处理来触发对对象的搜索以提取与场景中的对象匹配的关键词的短语。在任一种情况下，当被捕获场景中的对象或被捕获语音中的单词被辨识时，“信号描述符文本”都可以被呈现给电子眼镜设备100的显示器。辨识分数高于设定置信度分数的对象可以被识别为响应于扫描而提供给电子眼镜设备100的显示器的潜在标记对象。诸如声音或显示的单词或图标的扫描通知可以被用于指示何时启动了背景扫描。当背景扫描已经完成时，可以将完成的扫描结果的通知提供给显示器。
当在扫描的图像中辨识出冰箱700时，电子眼镜设备1001启动向用户2的简单通信的传输，指示用户1是活动的并且已经查看了冰箱700。例如，电子眼镜设备1001可以通过简单地扫视被建立为用户1和用户2之间的标记端点的冰箱700来启动通信的传输，该通信包括调用从用户1到用户2的预选AR图像或动画(诸如闪光)的链接。电子眼镜设备1001可以可选地向用户1的显示器呈现虫洞900的表示，虫洞900在用户1查看冰箱700时被激活，并且呈现示出被吸入虫洞900中的闪光以经由虫洞900传输到用户2的动画。动画还可以包括对应的声音效果。可选地，用户1与冰箱700的交互可以被打上时间戳，并且时间戳信息与通信(例如，与闪光)一起提供。
为了接收来自用户1的通信(闪光)，用户2简单地戴上他的电子眼镜设备1002，并扫视连接到用户1的对象700(例如，冰箱)的他的标记端点对象800(例如，橱柜)。在用户2的电子眼镜设备1002辨识到对象800之后，将与对象800相关联的任何通信从后端服务器系统498推送到用户2的电子眼镜设备1002。如图10所示，在辨识出对象800后，接收由来自用户1的通信调用的闪光1000，并将其作为叠加显示在用户2的电子眼镜设备1002的显示器上。电子眼镜设备1002可以可选地向用户2的显示器呈现被激活的虫洞1010的表示，并且向用户2电子眼镜设备1002的显示器呈现示出从虫洞1010射出的闪光的动画。动画还可以包括对应的声音效果。闪光1000的这种呈现向用户2指示用户1是醒着的并且是活动的，并且已经扫视了她的冰箱700。
作为另一个示例，假设用户2希望通过发送显示他正在做什么以及他在想用户1的通信来响应用户1。用户2决定向用户1显示他正在饮用用户1作为礼物送给用户2的马克杯中的咖啡。如上所述，用户2的标记(例如，橱柜800)在用户2的视场中的持续时间可以确定为用户1放置什么内容。短时间段可以触发简单抽象效果的放置，诸如从用户1接收的闪光效果。然而，用户2的电子眼镜设备1002辨识出用户2已经观看橱柜800较长的预定时间段可以触发用户2的电眼镜设备1002从用户2的真实世界周围克隆内容。在这种情况下，用户2可以选择捕获用户1作为礼物送给用户2的马克杯1100的快照。可以使用用户2的电子眼镜设备1002的图像分割软件470从捕获的快照中提取马克杯1100。可替选地，可以通过后端服务器系统498的图像处理软件来处理分割图像，以提供分割图像的2D或3D渲染。用户2的电子眼镜设备1002还可以向用户2呈现在短时间(即，5秒)内记录音频以与马克杯1100的分割图像一起发送的选项。
一旦捕获到分割的马克杯图像1100和音频记录，用户2可以向前滑动或提供辨识的手势，以将马克杯1100的重影图像与音频记录传送给用户1。如图11所示，电子眼镜设备1002可以可选地向用户2的电子眼镜设备1002的显示器呈现在虫洞1010前面的马克杯1100的重影图像的表示。用户2的电子眼镜设备1002还可以呈现动画，该动画示出虫洞1010被激活并且将马克杯1100的重影图像吸入虫洞1010中，以及相关联的声音效果。
为了从用户2接收包括马克杯1100的图像的通信，用户1简单地扫视连接到用户2的对象800(例如，橱柜)的她的标记端点对象700(例如，冰箱)。一旦用户1的电子眼镜设备1001辨识出对象700，将与对象700相关联的任何通信从后端服务器系统498推送到用户1的电子眼镜设备1001。如图12所示，在辨识对象700后，接收来自用户2的马克杯1100的快照，并将其作为叠加显示在用户1的电子眼镜设备1001的显示器上。电子眼镜设备1001可以可选地向用户1的显示器呈现虫洞900的表示，虫洞900被激活并且向用户1的电子眼镜设备1001的显示器呈现示出从虫洞900出现的马克杯1100的图像的动画，以及与图像的呈现相关联的可选声音效果。马克杯1100的图像的这种呈现以及来自用户2的音频记录的回放向用户1指示用户2正在饮用来自用户1作为礼物送给用户2的马克杯的咖啡。因此，用户1可以理解用户2在用户2的咖啡休息期间想到了用户1。
如图13和图14所示，用户1的公寓1300和用户2的公寓1310之间的标记端点对象的连接用于社交连接用户1和用户2可以是对称的(在相似对象之间)或不对称的(在不同类型的对象之间)，并且可以在静止对象和移动对象之间。此外，如上所述，连接可以是1-1、1-N、N-1和N-N，因此标记端点对象的任何组合可以被用于连接用户1和用户2的环境1300和1310。所连接的对象可以提供连接相应用户的相应环境内的相应对象的社交图。当然，当使用不对称连接时，用户必须付出更多的努力来跟踪虫洞的相应端部。
在图13中，闪光1320从用户1被发送到用户2(反之亦然)，以指示相应用户在场。类似地，在图14中，马克杯1100的快照和麦片碗1400的快照在用户1和用户2之间被发送，如所指示的，以通过指示发送传输时每个人正在做什么来进一步增强用户1和用户2的社交联系。当然，快照或分割图像可以是任何对象，包括另一个朋友或一群朋友的图像。
图15示出了由与电子眼镜设备100相关联的移动设备500实施的功能的流程图，以在示例配置中提供对象配对并管理连接。这种功能可以被实施为图5中的对象配对/连接管理软件515。
如图15所示，移动设备500在1500处接收由相关联的电子眼镜设备100的用户选择的标记端点对象的识别标签(ID)。在1510处向用户呈现选项以提供所识别的标记对象的名称。例如，如果标记对象是用户的冰箱，则用户可以将标记命名为“冰箱”。这样的命名便于另一个用户配对。在某些配置中，可能希望将另一个用户命名为标记对象，在这种情况下，任何AR对象或真实世界对象的图像将直接前进到移动设备500和/或另一用户的电子移动设备。在后一种情况下，另一用户将是用户端点对象。
在1520处，标记对象ID、其图片和其名称被存储在后端服务器系统498上，以便于与其他用户配对。在1530处，用户可以访问另一用户的标记对象以与所识别的标记对象配对。在这种情况下，其他用户的标记对象及其图片、名称和ID被呈现给用户的移动设备500的显示器以供选择。另一用户的选择的标记对象与该用户的标记对象配对，并且该连接被存储在后端服务器系统498中。其他用户的标记对象也可以包括用户自己。在这种情况下，ID将是用户ID，并且图像将是用户的图像。用户端点将是用户的移动设备500或电子眼镜设备100的IP地址。用户还可以通过更新连接到用户周围的标记对象的另一用户的标记对象来管理她的连接。一旦已经建立了连接，当相应用户扫描或扫视作为用户之间连接的相应标记端点对象的其相应标记对象时，存储在后端服务器系统498的图库480中的AR内容和/或由电子眼镜设备100提供的对象的快照可以在1540处通过去往/来自后端服务器系统498和另一用户的电子眼镜设备1002的通信来调。
图16示出了由电子眼镜设备100实施的功能的流程图，该功能用于识别和辨识标记对象以及提示从环境发送AR对象和/或真实世界图像，以便在示例配置中社交连接相应用户。这种功能可以被实施为图4中的对象/标记辨识和连接软件460。
如图16所示，在1600处，通过如上所述启动语音扫描或视觉扫描来启动电子眼镜设备100。扫描的场景可以被转发到电子眼镜设备100上的深度学习模型的经训练的神经网络，或者被转发到电子眼镜设备100可访问的后端服务器系统498上可用的后端服务，以处理捕获的图像来识别场景中的对象。在1610处，提供所识别的对象的ID用于跟踪目的，并且可以将对象的ID和图片提供给相关联的移动设备500用于配对(参见图15)。然而，这种配对不是必要的，因为消息可以使用任何传统的通信设备(诸如SMS文本或电子邮件)来发送。
如果识别的对象已经配对，则电子眼镜设备100可以在1620处接收并显示由具有与识别的对象配对的对象的另一个用户提供的任何内容。该内容可以被存储在后端服务器系统498处，并且在检测到扫描图像中的配对对象时通过与用户的电子眼镜设备100的通信来调用。如上所述，根据设置，AR内容可以累积和积累(持久数据)或在观看后逐渐消失(瞬时数据)。随着时间的推移，AR内容的颜色可能会逐渐消失，以指示用户在多长时间前执行了活动。活动的时间也可以被记录，并且AR内容可以根据需要被存储在消息图库480中。
在示例配置中，电子眼镜设备100还跟踪用户查看配对标记对象的时间，以确定应该向配对用户发送什么类型的消息。如果在1630处确定用户仅扫视了配对对象不超过预定的短持续时间(例如，x秒，其中x是1-5)，则在1640处通过发送到配对用户的通信来调用诸如闪光的预选AR对象。另一方面，如果在1630处确定用户已经查看配对对象至少预定的短持续时间，则可以在1650处提示用户拍摄快照(主动快照)或从环境中选择预存储的快照(被动快照)，或者从AR对象图库480中选择预存储的AR对象以发送给配对用户。在1660处，用户选项被捕获。如果用户选择发送快照，则可选地可以在1670处激活图像分割软件470(图4)以从主动或被动快照中分割对象以发送给配对用户，或者可以在不修改的情况下发送快照。另一方面，如果用户已经从AR对象图库480中选择了预存储的AR对象，则通过发送给用户的通信来调用所选择的AR对象。例如，不是在上述示例中发送所提取的马克杯的快照，而是可以通过通信(例如，通过到预存储的马克杯快照或马克杯的3D表示的AR对象图库480中的存储位置的链接)来调用预存储在AR对象图库480中的马克杯的预存储的快照或马克杯的3D表示。在1680处，通过在网络495向后端服务器系统498发送到移动设备500的通信来调用来自真实世界场景的所选择的快照或AR对象或分割对象。后端服务器系统498又将调用的图像提供给另一用户的电子眼镜设备100，用于在另一用户观看配对标记对象时在配对标记对象附近观看。当配对的标记对象是另一用户时，可以将图像直接提供给另一用户的电子眼镜设备100，以在另一用户附近显示。可替选地，电子眼镜设备100可以直接与后端服务器系统498通信，前提是电子眼镜设备100具有通过互联网连接直接通信的必要电路。然而，该通信可以由第二用户通过常规方式而无需配对地获取，诸如直接经由他们的电子眼镜设备100或他们的移动设备500。
使用本文描述的系统和方法，用户可以在许多不同的场景中相互共享信息。例如，用户1可以建立一个标记端点对象作为她的镜像，并发送她当天选择穿什么衣服的图像。用户2可以在他的钢琴附近放置一个标记端点对象，并在每次他坐下来弹钢琴时发送闪光和音频片段。用户还可以在用餐时分享他们的饭菜图像。
将进一步理解的是，后端服务器系统498可以维护用户经由特定连接彼此交换的AR内容和图像的图库480，这与SMS消息收发系统维护用户之间来回发送的文本的记录或消息收发系统(诸如可从加利福尼亚州圣莫尼卡的Snap股份有限公司获得的)在记忆功能中保持通信的方式非常相似。在用户希望重新发送先前发送的图像的情况下，可以将存储的AR内容和图像呈现给用户的电子眼镜设备100的显示器，以根据需要进行选择。在特定配置中，AR内容可以是可从加利福尼亚州圣莫尼卡的Snap股份有限公司获得的类型的透镜。
另外，还应了解的是，公司可以在其产品上提供徽标，这些徽标可以被用作相应的标记端点对象，以与其他用户或产品支持人员的徽标建立通信“虫洞”。这种通信网络可以被用于通过产品的用户之间的基于扫描的消息来促进社交联系。
在另一种替代配置中，电子眼镜设备100可以在会话中的相应扫描期间跟踪对象的全球定位系统(GPS)坐标，而不是简单地注视标记端点对象。然后，当对象在会话中的扫描之间移动时，可以触发AR元素(例如，闪光)或被扫描对象的通信。类似地，端点对象可以是配对用户的移动设备，由此AR对象或分割图像被提供给配对用户的配对电子眼镜设备100，而与配对用户的位置无关。
在另一个替代配置中，标记端点对象可以被连接到地图中的端点，以向另一用户正在观看的地图的一部分提供来自一个或多个用户的2D或3D图像的快照。例如，当观看者在地图上观看费城时，奶酪牛排的图像可以被呈现给观看者的电子眼镜设备100。
本领域技术人员将理解，本文描述的方法可以在没有任何特定手势或触摸操作的情况下启动和执行。例如，在观看标记端点对象时，可以通过对场景中的图像的被动处理来激活动作，以触发指示的效果。图像提取可以通过盯着标记端点对象看预定的持续时间，并且然后聚焦于要提取和发送的对象来进行，所有这些都不需要任何手势或手动选择。
保护范围仅受以下权利要求的限制。当根据本说明书和随后的起诉历史进行解释时，该范围旨在并应被解释为与权利要求中使用的语言的普通含义一致的范围，并涵盖所有结构和功能等同物。尽管如此，任何权利要求都不旨在包含不能满足《专利法》第101、102或103条要求的主题，也不应以这种方式进行解释。特此否认对该主题的任何意外介入。
除上文所述外，任何已陈述或说明的内容均不旨在或不应被解释为导致任何部件、步骤、特征、对象、利益、优势或等同物向公众奉献，无论其是否在权利要求中被记载。
应理解，本文使用的术语和表达具有与其对应的相应调查和研究领域中的具体含义相一致的普通含义，除非本文另有规定。诸如第一和第二等的关系术语可以仅被用于将一个实体或动作与另一个实体或动作区分开，而不必要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。术语“包括(comprises)”、“包括(comprising)”、“包括(includes)”、“包括(including)”或其任何其他变体旨在涵盖非排他性的包含，使得包括(comprises)或包括(includes)元素或步骤列表的过程、方法、物品或装置不仅包括那些元件或步骤，还可以包括未明确列出或该过程、方法、物品或装置固有的其他元件或步骤。在没有进一步限制的情况下，以“一”或“一个”开头的元件并不排除在包括该元件的过程、方法、物品或装置中存在附加的相同元件。
除非另有说明，否则本说明书(包括以下权利要求书)中阐述的任何和所有测量值、数值、额定值、位置、幅度、尺寸和其他规格都是近似的，而不是精确的。这些量旨在具有合理的范围，该范围与它们所涉及的功能以及它们所属领域的惯例相一致。例如，除非另有明确说明，否则参数值等可能与所述量相差多达±10％。
此外，在前述详细描述中，可以看出，出于简化本公开的目的，在各种示例中将各种特征分组在一起。该公开方法不应被解释为反映所要求保护的示例需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如以下权利要求所反映的，要保护的主题少于任何单个公开的示例的所有特征。因此，以下权利要求由此被并入到详细描述中，每个权利要求本身独立地作为单独要求保护的主题。
虽然前面已经描述了被认为是最佳的模式和其他示例，但应该理解，可以在其中进行各种修改，并且可以以各种形式和示例来实施本文公开的主题，并且它们可以应用于许多应用中，本文仅描述了其中的一些应用。以下权利要求旨在要求落入本概念的真实范围内的任何和所有修改和变化。

Claims (20)

1.一种适于佩戴在第一用户的头部上的电子眼镜设备，包括：
至少一个相机；
存储器，其存储指令；以及
处理器，其执行所述指令以执行包括以下的操作：
使用所述至少一个相机捕获所述第一用户的环境中的图像；
识别所捕获的图像中的至少一个物理标记；
确定所捕获的图像中的所述至少一个物理标记已经在所述电子眼镜设备的视场内预定时间量；
使用所述至少一个相机捕获包括对象的快照；以及
发送所述对象的表示以显示给第二用户。
2.根据权利要求1所述的电子眼镜设备，其中，所述指令的执行致使所述处理器执行包括以下的附加操作：
从所述对象的快照中提取所述对象；以及
发送所提取的对象以显示给所述第二用户。
3.根据权利要求1所述的电子眼镜设备，其中，所述指令的执行致使所述处理器执行包括捕获和发送所述对象的表示的操作包括执行指令以执行包括以下的进一步的操作：
确定所述对象已经在所述电子眼镜设备的视场内另一预定时间量；
捕获包括所述对象的所述快照；
从所述快照中提取所述对象；以及
发送所提取的对象以显示给所述第二用户。
4.根据权利要求1所述的电子眼镜设备，其中，所述指令的执行致使所述处理器执行包括以下的附加操作：
将包括所述对象的所述快照存储在对象图库中以供以后检索。
5.根据权利要求1所述的电子眼镜设备，其中，所述指令的执行致使所述处理器发送所述对象的表示以显示给所述第二用户包括执行包括以下的操作：
从对象图库中检索所述对象的表示。
6.根据权利要求1所述的电子眼镜设备，其中所述指令的执行致使所述处理器发送所述对象的表示以显示给所述第二用户包括执行包括以下的操作：
每当所述对象出现在所述电子眼镜设备的视场中时，拍摄所述对象的另一快照；以及
发送所述对象的所述另一快照以显示给所述第二用户。
7.根据权利要求1所述的电子眼镜设备，其中，所捕获的所述对象的快照包括三维快照。
8.根据权利要求1所述的电子眼镜设备，其中，所述对象的表示包括与所述对象相对应的增强现实内容。
9.根据权利要求1所述的电子眼镜设备，其中，所述至少一个物理标记被放置在地图上。
10.根据权利要求1所述的电子眼镜设备，其中，所述指令的执行致使所述处理器执行包括以下的附加操作：
记录来自所述第一用户的音频消息；以及
发送具有所述对象的表示的所述音频消息。
11.根据权利要求1所述的电子眼镜设备，还包括显示器，其中，所述指令的执行致使所述处理器发送所述对象的表示以显示给所述第二用户包括执行包括以下的操作：
将所存储的快照图像或增强现实内容中的至少一个呈现给所述显示器以供选择；以及
发送所选择的快照图像或增强现实内容以显示给所述第二用户。
12.一种使用电子眼镜设备进行快照消息收发的方法，包括：
捕获第一用户的环境中的图像；
识别所捕获的图像中的至少一个物理标记；
确定所捕获的图像中的所述至少一个物理标记已经在所述电子眼镜设备的视场内预定时间量；
捕获包括对象的快照；以及
发送所述对象的表示以显示给第二用户。
13.根据权利要求12所述的方法，还包括：
从所述对象的快照中提取所述对象；以及
发送所提取的对象以显示给所述第二用户。
14.根据权利要求12所述的方法，其中，捕获并发送所述对象的表示包括：
确定所述对象已经在所述电子眼镜设备的视场内另一预定时间量；
捕获包括所述对象的所述快照；
从所述快照中提取所述对象；以及
发送所提取的对象以显示给所述第二用户。
15.根据权利要求12所述的方法，还包括：
将包括所述对象的所述快照存储在对象图库中以供以后检索。
16.根据权利要求12所述的方法，其中，发送所述对象的表示以显示给所述第二用户包括：
从对象图库中检索所述对象的表示。
17.根据权利要求12所述的方法，其中，发送所述对象的表示以显示给所述第二用户包括：
每当所述对象出现在所述电子眼镜设备的视场中时，拍摄所述对象的另一个快照；以及
发送所述对象的所述另一个快照以显示给所述第二用户。
18.根据权利要求12所述的方法，还包括：
记录来自所述第一用户的音频消息；以及
发送具有所述对象的表示的所述音频消息。
19.根据权利要求12所述的方法，其中，发送所述对象的表示包括：
将所存储的快照图像或增强现实内容中的至少一个呈现给所述显示器以供选择；以及
发送所选择的快照图像或增强现实内容以显示给所述第二用户。
20.一种存储指令的非暂时性计算机可读存储介质，所述指令在由至少一个处理器执行时，使得所述至少一个处理器通过执行以下操作来使用电子眼镜设备提供快照消息，所述操作包括：
捕获第一用户的环境中的图像；
识别所捕获的图像中的至少一个物理标记；
确定所捕获的图像中的所述至少一个物理标记已经在所述电子眼镜设备的视场内预定时间量；
识别对象；
每当所识别的对象出现在所述电子眼镜设备的视场中时，拍摄所述对象的快照；以及
发送所述对象的所述快照以显示给第二用户。
CN202280059942.XA 2021-09-02 2022-08-18 用于指示用户状态的快照消息 Pending CN117916694A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163240126P 2021-09-02 2021-09-02
US63/240,126 2021-09-02
PCT/US2022/040708 WO2023034032A1 (en) 2021-09-02 2022-08-18 Snapshot messages for indicating user state

Publications (1)

Publication Number Publication Date
CN117916694A true CN117916694A (zh) 2024-04-19

Family

ID=83280278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280059942.XA Pending CN117916694A (zh) 2021-09-02 2022-08-18 用于指示用户状态的快照消息

Country Status (5)

Country Link
US (1) US20230069328A1 (zh)
EP (1) EP4396651A1 (zh)
KR (1) KR20240051260A (zh)
CN (1) CN117916694A (zh)
WO (1) WO2023034032A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101292463B1 (ko) * 2011-01-27 2013-07-31 주식회사 팬택 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US10685489B2 (en) * 2017-03-02 2020-06-16 Daqri, Llc System and method for authoring and sharing content in augmented reality
US11429338B2 (en) * 2018-04-27 2022-08-30 Amazon Technologies, Inc. Shared visualizations in augmented reality
US11297224B2 (en) * 2019-09-30 2022-04-05 Snap Inc. Automated eyewear device sharing system
US11468734B1 (en) * 2021-03-25 2022-10-11 Igt System and methods of recommendation memberships in a casino environment
EP4283377A4 (en) * 2021-07-19 2024-08-28 Samsung Electronics Co Ltd GLASSES-TYPE WEARABLE DEVICE WITH AUGMENTED REALITY GUIDANCE AND METHOD FOR CONTROLLING THE SAME

Also Published As

Publication number Publication date
KR20240051260A (ko) 2024-04-19
WO2023034032A1 (en) 2023-03-09
US20230069328A1 (en) 2023-03-02
EP4396651A1 (en) 2024-07-10

Similar Documents

Publication Publication Date Title
CN117356116A (zh) 用于定位可穿戴设备和向可穿戴设备递送内容的信标
US11297224B2 (en) Automated eyewear device sharing system
US20230298247A1 (en) Sharing received objects with co-located users
US11610607B1 (en) Video highlights with user viewing, posting, sending and exporting
US20240135926A1 (en) Voice-controlled settings and navigation
US12072489B2 (en) Social connection through distributed and connected real-world objects
US11900058B2 (en) Ring motion capture and message composition system
US12088781B2 (en) Hyper-connected and synchronized AR glasses
US20220375172A1 (en) Contextual visual and voice search from electronic eyewear device
US20240069843A1 (en) Extending user interfaces of mobile apps to ar eyewear
US11538499B1 (en) Video highlights with auto trimming
US20230069328A1 (en) Snapshot messages for indicating user state
US20230060838A1 (en) Scan-based messaging for electronic eyewear devices
US12106565B2 (en) Video highlights with user trimming
CN118871876A (zh) 与共址用户共享所接收对象
US11982808B2 (en) Extended field-of-view capture of augmented reality experiences
US20240095086A1 (en) Mobile device resource optimized kiosk mode

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination