CN114503059A - 自动化眼戴设备共享系统 - Google Patents

自动化眼戴设备共享系统 Download PDF

Info

Publication number
CN114503059A
CN114503059A CN202080068345.4A CN202080068345A CN114503059A CN 114503059 A CN114503059 A CN 114503059A CN 202080068345 A CN202080068345 A CN 202080068345A CN 114503059 A CN114503059 A CN 114503059A
Authority
CN
China
Prior art keywords
image
option
sharing
automatic
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080068345.4A
Other languages
English (en)
Inventor
安德鲁·巴托
马修·汉诺威
理查德·庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snape Co
Original Assignee
Snape Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snape Co filed Critical Snape Co
Publication of CN114503059A publication Critical patent/CN114503059A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C3/00—Special supporting arrangements for lens assemblies or monocles
    • G02C3/003—Arrangements for fitting and securing to the head in the position of use
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00—Constructions of non-optical parts
    • G02C5/14—Side-members
    • G02C5/146—Side-members having special front end
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了用于通过便携式电子设备捕捉一系列原始图像，并通过例如智能电话的客户端移动设备使此类原始图像处理过程自动化的系统、设备、介质和方法，便携式电子设备例如为包括眼戴设备在内的可穿戴设备，该等自动化包括上传到网络并面向目标受众的过程。在一些实施方式中，用户在配套设备上捕捉图像之前选择客户端设备上的配置文件设置，使得当配套设备捕捉到图像时，系统在自动处理由配套设备捕捉的图像时遵循配置文件设置。

Description

自动化眼戴设备共享系统
相关申请的交叉参考
本申请要求于2019年9月30日提交的名称为“自动化眼戴设备共享系统”的美国实用新型申请16/587,158的优先权，其内容通过引用完整纳入本文。
技术领域
本公开中阐述的示例涉及便携式电子设备，包括配套设备和可穿戴设备，例如眼戴设备。具体地但并非旨在限制，本公开阐述了用于通过这种便携式电子设备捕捉一系列原始图像并通过诸如智能电话的客户端移动设备自动处理这种原始图像的系统和方法，包括上传到网络并面相目标受众。
背景技术
当今可用的许多类型的计算机和电子设备，包括移动设备(例如，智能手机、平板电脑和膝上型电脑)以及配套设备和可穿戴设备(例如，智能眼镜、数字眼戴设备、头饰、头戴设备、头戴式显示器)，包括用于捕捉一个或多个图像(例如，静态照片和视频)的一个或多个摄像头，以及用于收集关于设备的位置、方向、运动和方向的信息的内部传感器。这些设备能够将图像发送到其他设备。
附图说明
从以下具体实施方式(参考附图)中，很容易理解所披露的各种实施方式的特征。在实施方式和附图的几个视图中，每个元件对应一个参考数字。当存在多个相似的元件时，可将单个参考数字分配给相似的元件，增加小写字母表示特定的元件。
除非另有说明，否则图中所示的各种元件并非按比例绘制。为清晰起见，各种元件的尺寸可放大或缩小。几个附图示出了一种或多种实施方式，其旨在提供示例，不具备限制性。附图中包括下列图：
图1A是一个框图，其根据一些示例实例示出了一种联网系统；
图1B是一个框图，其根据一些示例，示出了包括客户端和配套(例如可穿戴)设备在内的联网系统；
图2A和2B是前视图和俯视图，其示出了图像捕捉、合成和共享系统中所使用眼戴设备的示例硬件配置；
图3是示例图像捕捉、合成和共享系统的功能框图，该系统包括通过各种网络连接的眼戴设备、移动设备和服务器系统；
图4是图3所示图像捕捉、合成和共享系统的移动设备示例硬件配置图示；以及
图5是用于捕捉和自动共享图像的示例步骤流程图。
具体实施方式
通过参考一个示例，阐述各种实施方法和细节：一种图像和视频捕捉和共享系统，用于利用便携式电子设备捕捉一系列原始图像片段，并使诸如智能电话的客户端移动设备处理这种原始图像片段的过程自动化，包括上传到网络并面向目标受众的过程。
有时用户可能希望在与移动设备同步时立即共享，或选择即时，或近似即时共享用配套设备捕捉的图像。例如，用户正在驾驶时可能会产生这种需求，或只是不想在捕捉图像的时刻手动处理图像。在这种情况下，用户可能最终不会共享所捕捉的图像，因为当用户能够将注意力转向图像时，已经错过了最佳时刻(图像已变得陈旧或过时)。本文示例的自动图像捕捉和合成以及共享系统可解决这一问题以及其他问题。由于可以使用户得以共享更多内容，更多鲜活内容，其还可提高配套(例如，眼戴设备)设备用户的参与度。
以下具体实施方式包括本次披露中示例的系统、方法、技术、指令序列和计算机程序产品。为提供对所披露主题及其相关教学内容的透彻理解，采纳了许多细节和示例。而相关领域的技术人员可了解如何在没有这些细节的情况下应用相关教学内容。因为可以各种方式应用或实践相关教学内容，所以所披露主题的各方面不限于所描述的具体设备、系统和方法。本文中使用的术语和命名法仅旨在描述特定的方面，无限制性。一般来说，不一定会详细展示众所周知的指令实例、协议、结构和技术。
本文使用的术语“图像”包括至少一个单一图像，例如照片，或者至少一个相关图像的集合或系列，例如视频、延时照片等。
本文使用的术语“耦合的”、“连接的”或“成对的”是指任何逻辑、光学、物理或电气连接，包括链路等，通过以上各项，由一个系统元件产生或提供的电信号或磁信号被传递给另一个耦合的、连接的或成对的系统元件。除非另有说明，否则耦合或成对元件或设备不一定彼此直接连接，并且可以由可修改、操纵或携带光或信号的(一个或多个)中间组件、元件或通讯介质分离。术语“成对的”通常(尽管并非总是)指的是“绑定”，即配对发生后交换长期密钥，并存储这些密钥以备后用，即在设备之间创建永久安全性。术语“在……上”指的是由一个元件直接支持，或由该元件通过集成到该元件中或者由该元件支持的另一个元件进行间接支撑。
附图中所示的眼戴设备、相关组件以及结合三维摄像头的任何整套设备的方位仅作为示例，用于说明和讨论目的。在实际操作中，可将眼戴设备定向在适合于眼戴设备特定应用的任何其他方向上，例如上、下、侧向或任何其他方向。此外，在本文的使用范围内，任何方向术语，诸如前、后、内、外、方向、左、右、横向、纵向、上、下、向上、向下、顶部、底部、侧面、水平、垂直和对角线，仅作为示例使用，且不限制任何三维摄像头或本文另行所述构造的三维摄像头组件的方向或方位。
下文的说明将部分阐述出示例的其他目的、优点和新特征。该等其他目的、优点和新特征对于查阅下文和附图后的本领域的技术人员而言显而易见，或可通过制作或操作示例来领会和掌握。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
便携式电子设备中集成有多种可见光摄像头，包括移动电话和可穿戴设备，如电子眼戴设备(例如，智能眼镜)。立体摄像头有两个镜头或两个协同工作的摄像头，每个摄像头都有各自的图像传感器或胶片帧。立体摄像头捕捉同一场景的两幅图像，因为镜头间隔较大，所以拍摄的视角略有不同。镜头之间的间隔距离可标定为接近人眼之间的距离，以更好地模拟人类的双目视觉。立体摄像头捕捉同一场景的两幅单独图像，两幅图像拍摄的视角略有不同。
现详细参照附图中示出并在下文讨论的示例。
图1A是示出了网络系统100的网络图，可在一个示例中使用该网络系统100，其具有经配置可用于通过网络交换数据的客户端-服务器架构。这种网络系统可用于传递拟在客户端设备110上显示的虚拟对象的信息、用于创建立面模型的街道视图数据以及增强现实系统160使用的最终立面模型。在一些示例中，网络系统100可以是消息传递系统，其中客户端在网络系统100内通信和交换数据。该数据可涉及各种功能(例如，发送和接收文本和媒体通信、确定地理位置等)以及与网络系统100及其用户相关联的方面。尽管本文将其示为客户端-服务器架构，但其他示例可包括其他网络架构，例如对等或分布式网络环境。
如图1A所示，网络系统100包括社交消息系统130。社交消息系统130通常采用三层式架构，包括接口层124、应用逻辑层126和数据层128。如计算机和互联网相关领域的技术人员所了解的，图1A所示的每个模块或引擎代表一组可执行软件指令和用于执行指令的相应硬件(例如，存储器和处理器)。为避免不必要的细节模糊本文阐述的主题，图1A中省略了与传达对所阐述的主题的理解无密切关系的各种功能模块和引擎。可结合诸如图1A中所示的社交消息系统使用额外的功能模块和引擎，以便实现本文未具体阐述的额外功能。此外，图1A中示出的各种功能模块和引擎可固定在单个服务器计算机上，或可以各种布置方式分布在多个服务器计算机上。此外，尽管图1A将社交消息系统130示出为三层架构，但是主题决不局限于该等架构。
如图1A所示，接口层124由接口模块(例如web服务器)140组成，接口模块140接收来自各种客户端计算设备和服务器的请求，诸如执行客户端应用程序112的客户端设备110和执行第三方应用程序122的第三方服务器120。接口模块140根据接收到的请求，通过网络104将适当的响应传送给请求设备。例如，接口模块140可接收请求，例如超文本传输协议(HTTP)请求或其他基于网络的应用编程接口(API)请求。
客户端设备110可执行传统的网络浏览器应用或已为特定平台开发的应用(也称为“应用”)，以纳入各种移动计算设备和移动特定操作系统(例如，IOSTM、ANDROIDTM、
Figure BDA0003569612330000031
PHONE)中的任何一种。在一示例中，客户端设备110正执行客户端应用112。客户端应用112可提供向用户106呈现信息的功能，并且经由网络104进行通信以与社交消息系统130交换信息。每个客户端设备110可包括计算设备，该计算设备至少包括一个显示器和与网络104的通信能力，以访问社交消息系统130。客户端设备110包括但不限于远程设备、工作站、计算机、通用计算机、互联网设备、手持设备、无线设备、便携式设备、可穿戴计算机、蜂窝或移动电话、个人数字助理(PDA)、具有驾驶员平视显示器(HUD)的汽车计算设备、智能电话、平板电脑、超极本、上网本、膝上型电脑、台式机、多处理器系统、基于微处理器的或可编程的消费电子产品、游戏控制台、机顶盒、网络个人计算机(PC)、迷你计算机等。用户106可以包括人、机器或与客户端设备110交互的其他手段。在一些示例中，用户106经由客户端设备110与社交消息系统130交互。
如图1A所示，数据层128具有便于访问信息存储库或数据库134的一个或多个数据库服务器132。数据库134是存储数据的存储设备，例如由客户端设备110生成并发送到社交消息系统130的外部区域的图像集；从包含建筑物的图像中生成的立面数据集；将图像和立面数据与地理位置相匹配的地图数据；以及其他此类数据。在一示例中，数据库存储从街道捕捉的图像，并将这些图像与地图数据相关联。该等示例的某些实施方式可使用滤镜或图像裁剪从图像中移除人物，例如仅存储高于(包括人)高度的图像数据的示例。数据库134还可存储数据，例如成员配置文件数据、社交图数据(例如，社交消息系统130成员之间的关系)和其他用户数据。
个人可在社交消息系统130注册，以成为社交消息系统130的成员。注册后，成员可在社交消息系统130上形成社交网络关系(例如，朋友、粉丝或联系人)，并且与社交消息系统130提供的各种应用进行交互。
应用逻辑层126包括各种应用逻辑模块150，其结合接口模块140，利用从数据层128中的各种数据源或数据服务检索的数据，生成各种用户界面。单独的应用逻辑模块150可用于实现与社交消息系统130的各种应用、服务和功能相关联的功能，包括增强现实系统160的功能。例如，可用一个或多个应用逻辑模块150来实现社交消息应用。社交消息应用为客户端设备110的用户提供消息机制，以发送和接收包括文本和媒体内容例如图片和视频的消息。社交消息应用还可包括用于提供将图片和视频与虚拟对象相结合的增强现实显示和内容的机制。客户端设备110可提供增强现实显示，并且还可使用户能够在指定的(例如，有限或无限)时间段内访问和查看来自社交消息应用的消息。在一示例中，消息接收者在预定的持续时间(例如，由消息发送者指定)内访问特定消息，该持续时间从特定消息首次被访问时开始计算。经过预定义的持续时间后，消息将被删除，接受者将无法再访问该消息。同理，可在预定义的持续时间内提供增强现实内容。可在其各自的应用逻辑模块150中实现其他应用和服务。
如图1A所示，社交消息系统130或客户端应用112可包括增强现实系统160，其提供生成增强现实图像的功能。在一些示例中，增强现实系统160可实现为客户端设备110上的独立系统，并且不一定包括在社交消息系统130中。在其他示例中，客户端设备110包括增强现实系统160的一部分(例如，增强现实系统160的一部分可独立纳入或者存在于客户端应用112中)。在客户端设备110包含增强现实系统160一部分的示例中，客户端设备110可单独工作或者与包含在特定应用服务器中的，或包含在社交消息系统130中的增强现实系统160的一部分协同工作。
图1B示出了可用于某些示例的替代网络系统101。网络系统101包括社交消息系统130，其具有接口模块140、应用逻辑模块150、数据库服务器132和数据库134，以及操作客户端应用112的客户端设备110，如同在网络系统100中一样。不过，网络系统101还包括与客户端设备110连接的客户端配套设备114。客户端配套设备114可以是可穿戴设备，诸如眼镜、护目镜、手表或其他网络支持的物项。客户端配套设备也可以是本文所描述的经由诸如客户端设备110等另一设备访问诸如网络104等网络的任何设备。客户端配套设备114包括图像传感器116、无线输入和输出(I/O)117以及显示器118。客户端配套设备114可包括一个或多个处理器、电池和存储器，但其处理和存储器资源可能有限。在该等示例中，用于社交消息系统130的客户端设备110或服务器计算设备可经由网络连接用于为客户端配套设备114提供远程处理和存储器资源。在一示例中，例如，客户端配套设备114可以是一副网络支持的眼镜，诸如图2所示眼镜200。该等眼镜可能不包含任何基于传感器的定位系统，因此本文所述的执行初始位置预估的方法可预估与眼镜无线连接的客户端设备110的位置。但是，眼镜200使用图像传感器116收集图像，并以这些图像为基础生成增强现实信息并经由显示器118呈现给用户。因此，需要根据客户端配套设备114(例如，眼镜200)的位置来跟踪图像和添加到图像的任何虚拟对象的视角。在该等示例中，可根据使用全球定位系统(GPS)或网络增强型位置服务的客户端设备110位置来确定初始位置。然后，在客户端设备110上、在社交消息系统130上或在两者上运行的基于图像的位置系统161可使用来自图像传感器116的图像数据以及由客户端设备110的初始位置所标识的立面数据来确定客户端配套设备114的位置。在一些示例中，因为无线输入输出117系统的覆盖距离较短，所以系统可假设客户端设备110的位于距离客户端配套设备114足够近的范围内，使得靠近这两个设备的建筑物的立面数据相同。
在一个示例中，客户端设备110是移动设备，诸如智能手机，而配套设备114是眼戴设备。图2A和2B示出了示例眼戴设备200的前视和俯视透视图。总的来说，眼戴设备200包括镜架210和一个或多个面板220。以下段落阐述了眼戴设备200的附加细节。
镜架210包括一对限定相应开口的镜框212。当用户佩戴眼戴设备200时，由镜框212限定的开口位于用户的眼睛前方。如图2A所示，镜框212可完全包围或环绕其各自的开口，或者可仅部分包围或环绕其各自的开口。
镜架210还可包括连接镜框212之间的鼻梁架214，以及从相应镜框212伸出的一对镜臂216。当用户佩戴眼戴设备200时，鼻梁架214位于用户鼻子的上部。当用户佩戴眼戴设备200时，镜臂216沿用户头部的侧面伸出，并且可架在用户的耳朵上。镜臂216可以与镜框212刚性连接，或可采用铰链与镜框212连接，以使镜臂216能够折叠。
面板220设置在由镜架210的镜框212限定的各个开口内。当用户佩戴眼戴设备200时，面板220覆盖用户眼睛前方的区域。
至少一个面板220可采用与显示器耦合的波导管。此外，在该示例中，镜架210的部分，例如镜框212、鼻梁架214或腿镜216，可支撑或容纳显示器的组件，例如包括光源、控制器或电源。可采用例如衍射、全息或反射型波导管。本文将给出用于组成充当波导管的面板220的合适材料
在只有一个面板220与显示器耦合的情况下，另一个面板220可采取任何其他形式，或可以直接省略。可选的面板220可包含或由透明、半透明或有色材料组成，并且如需要可采用透镜的形式。
图2A还示出了能够从两个独立的视点捕捉场景图像信息的两个摄像头218。左右侧可见光摄像头218可位于左右侧组块224上。左右侧可见光摄像头218对可见光范围的波长敏感。这两个被捕捉图像可用于将三维显示投影到屏幕上，以便用3D眼镜观看。
眼戴设备200可包含具有图像显示器的光学组件180，以呈现图像，例如深度图像。
眼戴设备200包括一个或多个用于获得用户输入的结构，在图2B所示的示例中，该结构包括在设备每一侧上的按钮222，例如在组块224上。应了解的是，这种输入结构可通过多种方式来实现，包括物理按钮、触敏表面等。并且这种输入结构的位置和尺寸不限于图2所示的位置和尺寸。还应了解的是，尽管图2中示出了两个按钮，但输入结构的数量可增加或减少。
可见光摄像头218的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和能够具有640p(例如，640×480像素，总共0.3兆像素)、720p或1080p分辨率的数字VGA(视频图形阵列)摄像头。可捕捉高清晰度(HD)静态图像并以1642×1642像素(或更高)的分辨率存储此类图像的可见光摄像头218的其他示例；且其以高帧速率(例如，每秒30到60帧或更高)录制高清视频，并以1216×1216像素(或更高)的分辨率存储录制内容。
眼戴设备200可从可见光摄像头218捕捉图像传感器数据以及地理位置数据，经图像处理器数字化，以存储在存储器中。由各自可见光摄像头218捕捉的左侧和右侧原始图像位于二维空间域中，且包括二维坐标系上的像素矩阵，该二维坐标系包括表示水平位置的X轴和垂直位置的Y轴。每一像素包括颜色值属性(例如，红色像素光值、绿色像素光值和蓝色像素光值)；和位置属性(例如，X轴坐标和Y轴坐标)。
为捕捉立体图像以供稍后显示为三维投影，可将图像处理器912(图4所示)于可见光摄像头218耦合，以接收和存储视觉图像信息。每个图像的时间戳可由图像处理器912或控制可见光摄像头218的操作的另一处理器添加，可见光摄像头218充当立体摄像头，用于模拟人类双目视觉。每对图像上的时间戳支持将图像作为三维投影的一部分一起显示。三维投影可创造沉浸式、逼真的体验，这对于包括虚拟现实(VR)和视频游戏在内的各种环境来说都是很理想的。
生成的深度图像位于三维空间域内，且可能包括三维位置坐标系上的顶点矩阵，该坐标系包括表示水平位置(例如，长度)的X轴、表示垂直位置(例如，高度)的Y轴，以及表示深度的Z轴(例如，距离)。每一顶点可能包括颜色属性(例如，红色像素光值、绿色像素光值和蓝色像素光值)；位置属性(例如，X位置坐标、Y位置坐标，以及Z轴坐标)；肌理属性，和反射率属性。肌理属性可量化深度图像的感知肌理，诸如深度图像顶点区域中颜色或强度的空间排列。
可在组块224内部设置各种互连的电路板，例如印制电路板或柔性印制电路板，其包括用于可见光摄像头218、麦克风、低功耗无线电路(例如，用于经由BluetoothTM的无线短程网络通信)、高速无线电路(例如，用于经由WiFi的无线局域网通信)的控制器电路。
图3是示例图像捕捉、合成和共享系统1000的功能框图，该系统包括通过各种网络995例如互联网连接的眼戴设备200、移动设备890和服务器系统998。如图所示，系统1000包括眼戴设备200和移动设备890之间的低功耗无线连接925和高速无线连接937。
眼戴设备200包括一个或多个可见光摄像头218，其能够捕捉静态图像，如本文所述。摄像头218可对高速电路930进行直接存储器访问(DMA)。如本文所述，这对摄像头218可以用作立体摄像头。摄像头218可用于捕捉可被渲染成三维(3D)模型的初始深度图像，该三维模型是红色、绿色和蓝色(RGB)成像场景的肌理映射图像。设备200还可包括深度传感器213，其使用红外信号来估计对象相对于设备200的位置。一些示例中，深度传感器213包括一个或多个红外发射器215和红外摄像头217。
眼戴设备200还可以包括每个光学组件180A、180B的两个图像显示器(一个与左侧相关联，一个与右侧相关联)。眼戴设备200还包括图像显示驱动器942、图像处理器912、低功耗电路920和高速电路930。各光学组件180A、180B的图像显示器用于呈现图像，包括静态图像和视频。图像显示驱动器942与各光学组件180A、180B的图像显示器耦合，以便控制所显示的图像。眼戴设备200还包括用户输入设备222(例如，按钮、触摸传感器或触摸板)，以接收来自用户的二维输入选择。
图3所示的眼戴设备200的部件位于一个或多个电路板上，例如位于图2所示示例镜框或镜腿内印制电路板或柔性印制电路板上。作为替代或补充，所示组件可位于眼戴设备200的组块、镜架、铰链或鼻梁架中。左右侧可见光摄像头218可包括数字摄像头元件，例如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、镜片，或任何其他可用于捕捉数据的相应可见光或光捕捉元件，该数据包括具有未知对象的场景的静态图像或视频。
在图3所示的示例中，高速电路930包括高速处理器932、存储器934和高速无线电路936。在示例中，图像显示驱动器942被耦合到高速电路930，并由高速处理器932操作，以便驱动各光学组件180的左右图像显示器。高速处理器932可以是能够管理眼戴设备200所需高速通信和任何通用计算系统操作的任何处理器。高速处理器932包括使用高速无线电路936在高速无线连接937上管理到无线局域网(WLAN)的高速数据传输所需的处理资源。在某些示例中，高速处理器932执行眼戴设备200的操作系统，例如LINUX操作系统或其他此类操作系统，并且操作系统存储在存储器934中以供执行。除了任何其他任务之外，执行眼戴设备200的软件架构的高速处理器932用于管理与高速无线电路936的数据传输。在某些示例中，高速无线电路936被配置为实现电气和电子工程师协会(IEEE)802.11通信标准，本文也称为Wi-Fi。在其他示例中，其他高速通信标准可由高速无线电路936实现。
低功耗电路920包括低功耗处理器922和低功耗无线电路924。眼戴设备200的低功耗无线电路924和高速无线电路936可包括短程收发器(BluetoothTM)以及无线广域、局域或广域网收发器(例如，蜂窝或WiFi)。移动设备890包括经由低功耗无线连接925和高速无线连接937通信的收发器，并可以使用眼戴设备200的架构的细节来实现，网络995的其他元件也可以。
存储器934包括能够存储各种数据和应用程序的任何存储设备，其中包括由左右侧可见光摄像头218、红外摄像头217、图像处理器912生成的摄像头数据，以及由图像显示驱动器942生成的用于在各光学组件180A、180B的图像显示器上显示的图像。尽管图示中存储器934与高速电路930集成，但是在其他示例中，存储器934可以是眼戴设备200的独立的、脱机的元件。在某些此类示例中，电路由线路可以提供通过包括高速处理器932的芯片从图像处理器912或低功耗处理器922到存储器934的连接。在其他示例中，高速处理器932可以管理存储器934的寻址，使得低功耗处理器922将在需要涉及存储器934的读或写操作的任何时候均引导高速处理器932。
如图4的示例所示，眼戴设备200的高速处理器932可以与摄像头系统(可见光摄像头218)、图像显示驱动器942、用户输入设备222和存储器934耦合。如图4所示，移动设备890的CPU830可以与摄像头系统870、移动显示驱动器882、用户输入层891和存储器840A耦合。眼戴设备200可执行本文所述的任何功能的全部或子集，这些功能由眼戴设备200处理器932在存储器934中执行图像合成系统500而生成。移动设备890执行本文所述的任何功能的全部或子集，其由移动设备890的CPU830在闪存840A中执行图像合成系统500而生成。可在图像合成系统500中对功能进行划分，以便眼戴设备200捕捉图像、收集惯性测量单元数据并收集传感器数据，且移动设备890执行计算、运算和组合功能。
服务器系统998可以是充当服务或网络计算系统一部分的一个或多个计算设备，其包括例如处理器、存储器和网络通信接口，以通过网络995与眼戴设备200和移动设备890通信。
眼戴设备200的输出部件可包括视觉元件，例如与如上所述的每个透镜或光学组件180A、180B相关联的左右侧图像显示器(例如，显示器，例如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导管)。眼戴设备200可包括面向用户的指示器(例如，LED、扬声器或振动致动器)和面向外部的信号(例如，LED、扬声器)。各光学组件180A、180B的图像显示器由图像显示驱动器942驱动。在一些示例性配置中，眼戴设备200的输出部件还包括附加的指示器，例如听觉元件(例如，扬声器)、触觉部件(例如，诸如可生成触觉反馈的振动马达的致动器)和其他信号发生器。例如，设备200可包括面向用户的一组指示器和面向外部的一组信号。面向用户的指示器组配置为可被设备200的用户看到或以其他方式被其感知。例如，设备200可包括其位置布置支持用户可看到其的LED显示器、生成用户可听到的声音的扬声器、或提供用户可感知到的触觉反馈的致动器。面向外部的信号组配置可支持由设备200附近的观察者看到或感知到。同理，设备200可包括LED、扬声器或其配置和位置布置可支持由观察者感知的致动器。
虽然在图2B中示出为按钮222，但是眼戴设备200的输入组件可以采用或包括字母数字输入组件(例如，其配置支持接收字母数字输入的触摸屏或触摸板、摄影光学键盘或其他字母数字配置型元件)、基于指针的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他对准工具)、触觉输入组件(例如，按钮开关、感测触摸或触摸手势位置、力度或二者的触摸屏或触摸板、或其他触觉配置型元件)，以及音频输入组件(例如，麦克风)等。移动设备890和服务器系统998可以包括字母数字、指针型、触觉、音频和其他输入组件。
在一些示例中，眼戴设备200包括传感器阵列980，如图3所示。传感器阵列980的元件包括可见光摄像头218、用户输入设备222(例如，按钮、触摸屏或触摸板、按钮开关)、麦克风993(例如，两个或更多个麦克风的阵列)、深度传感器213以及名为惯性测量单元972的运动感测组件的集合。运动感测组件可以是具有微型运动部件的微机电系统(MEMS)，其尺寸通常小到足以构成微芯片的一部分。
在一些示例配置中，惯性测量单元(IMU)972包括加速度计974、陀螺仪976和磁力计978。加速度计974感测设备200相对于三个正交轴(x，y，z)的线性加速度(包括重力加速度)。陀螺仪976感测设备200围绕三个旋转轴(俯仰、滚动、横摆)的角速度。加速度计974和陀螺仪976可协同提供关于设备相对于六个轴(x、y、z、俯仰、滚动、横摆)的位置、方向和运动数据。磁力计978可感测设备200相对于磁北的方向。设备200的位置可由位置传感器来确定，例如GPS接收器、用于生成相对位置坐标的一个或多个收发器、高度传感器或气压计以及其他方位传感器。此类定位系统坐标还可以通过无线连接925、937从移动设备890经由低功耗无线电路924或高速无线电路936接收。
惯性测量单元972可包括数字运动处理器或程序或与之协作，该数字运动处理器或程序从组件收集原始数据，并计算关于设备200的位置、方向和运动的多个有用值。例如，可对从加速度计974收集的加速度数据进行积分以获得相对于每个轴(x，y，z)的速度；然后再次积分以获得设备200(在线性坐标x、y和z中)的位置。可对来自陀螺仪976的角速度数据进行积分以获得设备200(在球面坐标中)的位置。用于计算这些有用值的程序可存储在存储器934中，并由眼戴设备200的高速处理器932执行。
眼戴设备200可以可选地包括附加的外围传感器，例如生物识别传感器、专业传感器或与眼戴设备200集成的显示元件。例如，外围设备元件可包括任何输入/输出组件，由输出组件、运动组件、位置组件、指示器或本文所述的任何其他此类元件构成。例如，生物识别传感器可包括检测表情(例如，手部表情、面部表情、声音表情、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑电波)、或人物识别(例如，基于声音、视网膜、面部特征、指纹或诸如脑电图数据的电生物信号的识别)等的组件。
如图3所示，图像捕捉、合成和共享系统1000包括通过网络与眼戴设备200耦合的运算设备，例如移动设备890。如本文所述，眼戴设备200的传感器阵列980包括用于捕捉一系列原始图像片段的一个或多个可见光摄像头218，用于收集关于眼戴设备200的位置、方向和运动数据的惯性测量单元972。
图像捕捉、合成和共享系统1000还包括用于存储指令(可能包括图像合成系统500中的指令)的存储器，以及用于执行指令的处理器。系统1000可利用眼戴设备200的存储器934(图3)或移动设备890的存储元件840A、840B(图4)。此外，系统1000可利用眼戴设备200的处理器元件932、922(图3)或者移动设备890的中央处理单元(CPU)830(图4)。此外，系统1000还可利用服务器系统998(图3)的存储器和处理器元件。就这个方面而言，可在眼戴设备200和移动设备890或服务器系统998之间共享或分布图像捕捉、合成和共享系统1000的存储和处理功能。
移动设备890可以是智能手机、平板电脑、膝上型电脑、接入点或能够使用低功耗无线连接925和高速无线连接937两者与眼戴设备200连接的任何其他此类设备。移动设备890接入服务器系统998和网络995。网络995可以包括有线和无线连接的任意组合。
图4是示例移动设备890的高级功能框图。移动设备890包括闪存840A，闪存840A包括执行本文所述所有功能或功能子集的程序。移动设备890可包括摄像头870，该摄像头包括至少两个可见光摄像头(具有重叠视野的第一和第二可见光摄像头)或至少一个可见光摄像头和具有基本重叠视野的深度传感器。闪存840A还可以包括经由摄像头870生成的多个图像或视频。
如图所示，移动设备890包括图像显示器880、控制图像显示器880的移动显示驱动器882和控制器884。在图4的示例中，图像显示器880包括用户输入层891(例如，触摸屏)，该用户输入层891层叠在图像显示器880所使用的屏幕之上或者集成到该屏幕中。
可使用的触摸屏型移动设备的示例包括(但不限于)智能手机、个人数字助理(PDA)、平板电脑、膝上型电脑或其他便携式设备。然而，以示例的方式提供触摸屏型设备的结构和操作，本文所述的主题技术并不限于此。因此，就本次讨论而言，图4提供了具有用户界面的示例移动设备890的框图图示，该用户界面包括用于接收输入(通过手、指示笔或其他工具的触摸、多点触摸或手势等)的触摸屏输入层891和用于显示内容的图像显示器880
在图4所示的示例中，移动设备890包括至少一个数字收发器(XCVR)810，示为WWANXCVR，用于经由广域无线移动通信网络进行数字无线通信。移动设备890还包括额外的数字或模拟收发器，诸如用于短程网络通信的短程XCVR820，例如借助于NFC、VLC、DECT、ZigBee、BluetoothTM,或者WiFi。以短距离XCVR820为例，其可以采用任何可用的双向无线局域网(WLAN)收发器形式，该收发器的类型与无线局域网中实现的一个或多个标准通信协议相兼容，诸如IEEE802.11项下的某一个Wi-Fi标准。
为生成用于定位移动设备890的位置坐标，移动设备890可包括全球定位系统(GPS)接收器。可替代地，或附加地，移动设备890可以利用短程XCVR820和WWANXCVR810中的一个或二者来生成用于定位的位置坐标。例如，基于蜂窝网络、WiFi或BluetoothTM的定位系统可生成非常精确的位置坐标，尤其是在组合使用的情况下。可通过一个或多个利用XCVR810、820的网络连接将这类位置坐标传输到眼戴设备。
收发器810、820(即，网络通信接口)符合现代移动网络使用的各种数字无线通信标准中的一个或多个。WWAN收发器810的示例包括(但不限于)配置为根据码分多址(CDMA)和第三代合作伙伴计划(3GPP)网络技术运行的收发器，例如包括但不限于第三代合作伙伴计划2(或3GPP2)和LTE，有时称为“4G”。例如，收发器810、820提供双向无线信息通信，包括数字化音频信号、静态图像和视频信号、用于显示的网页信息以及与网页相关的输入，和与移动设备890进行的各种类型的移动消息通信。
移动设备890还包括用作中央处理单元(CPU)的微处理器；图4中示出为CPU830。处理器是一种电路，其元件被构造和布置成执行一项或多项处理功能，通常是各种数据处理功能。尽管可使用离散逻辑组件，但示例中使用了构成可编程CPU的组件。例如，微处理器包括一个或多个集成电路(IC)芯片，集成了执行CPU功能的电子元件。以CPU830为例，其可以基于任何已知或可用的微处理器架构，诸如利用ARM架构的精简指令集计算(RISC)，这种设置在如今的移动设备和其他便携式电子设备上非常常用。当然，处理器电路的其他布置可用于组成CPU830或智能手机、膝上型电脑和平板电脑中的处理器硬件。
CPU830用作移动设备890的可编程主控制器，通过配置移动设备890来执行各种操作，例如，根据CPU830可执行的指令或程序执行各种操作。例如，此类操作可包括移动设备的各种一般操作，以及与移动设备上的应用程序的编程相关的操作。尽管可以通过采用硬接线逻辑来配置处理器，但移动设备中的典型处理器是通过执行编程来配置的一般处理电路。
移动设备890包括用于存储程序和数据的存储器或存储系统。在该示例中，根据需要，存储器系统可包括闪存840A、随机存取存储器(RAM)840B和其他存储器组件。RAM840B充当由CPU830处理的指令和数据的短期存储器，例如充当工作数据处理存储器。闪速存储器840A通常提供更长时间的存储。
因此，在移动设备890的示例中，闪存840A用于存储由CPU830执行的编程或指令。取决于设备的类型，移动设备890存储并运行移动操作系统，通过该操作系统执行特定的应用。移动操作系统的示例包括GoogleAndroid、AppleiOS(用于iPhone或iPad设备)、WindowsMobile、AmazonFireOS、RIMBlackBerryOS等。
再次参考图3，示例图像合成和共享系统1000包括通过网络995耦合到移动设备890的眼戴设备200。存储器934包括图像合成系统500和一个或多个用于捕捉和处理的配置文件。在一示例中，示出了一个捕捉配置文件510和处理配置文件520。在一示例中，如图5中的步骤710所示，在由诸如眼戴设备200的配套设备捕捉图像之前，用户能够在诸如移动设备890的客户端设备上设置用于捕捉和处理配置文件的各种参数。
在一示例中，用户还能够针对一个或多个自动共享配置文件选择选项，如图5中的步骤720所示。一个或多个自动共享配置文件可包括用于发送和受众选项的单独配置文件或合并配置文件，这就是图5中两个组合框730和732描述的意图。因此，应了解的是，图5中使用的术语“发送配置文件”和“受众配置文件”可包括两个单独的配置文件，但是除非另有说明，否则不需要两个单独的配置文件，而是可采用单个自动共享配置文件的一部分。
自动共享配置文件可以包括用于分配眼戴设备200的一个或多个输入结构按钮222(如图2B所示)以执行手动和自动共享功能的选项。例如，对于具有两个输入结构的眼戴设备200——在该示例中示出为两个按钮222——配置文件可将一个按钮222分配给没有自动发送功能的标准照片/视频处理，而将另一个按钮222分配给连接时通过客户端(移动设备)自动共享捕捉到的图像。另外，诸如捕捉配置文件的另一配置文件可以包括用于分配眼戴设备200的一个或多个输入结构按钮222以执行手动和自动共享功能的选项。后一种布置还实现了这样的示例(在下一段中作为示例进一步讨论)，其中，在通过眼戴设备200捕捉760图像之前，不必设置或上传自动共享配置文件到移动设备890，前提是在任何捕捉到的新图像与移动设备890同步770时建立设置即可。
例如，本领域普通技术人员了解的是，尽管在优选示例中，在与图5的示例中的眼戴设备200(可选)配对/同步740之前，可在移动设备890上建立自动共享配置文件，而实际上可以在任何时间在移动设备890上建立自动共享配置文件，只要其发生在眼戴设备200已捕获760图像并与移动设备890同步770之前。换言之，到与新图像同步770发生时，应该在移动设备890上建立自动共享配置文件，使得移动设备890可以在同步770时正确且及时地自动执行配置文件参数。在该等示例中，不需要预先设置配置文件，这就是为什么图5中示出的配对/同步740为可选的一个原因。
在一示例中，发送配置文件730包括发送特征的自动化级别的选项。例如，第一选项可以是简单地应用默认选项或上一次选定的自动化级别。第二选项可能是指定客户端应该在连接时自动发送和共享图像。第三选项可以是在较短(例如，X秒)延迟之后自动发送和共享，从而向用户提供有限的时间段来执行查看、修改和取消帖子的选项。第四选项可以是等待用户查看，允许用户无限期地执行查看、修改和取消帖子的选项。当然，本领域普通技术人员理解的是，可预见或包括各种自动发送选项，并且包括其他自动发送选项。
在一示例中，受众配置文件732包括用于建立用于共享的受众选项，以便一旦与拟自动共享的新图像同步770，移动设备890即可适当地定向帖子。例如，第一选项可以是简单地应用默认选项或上一次选定的受众。第二选项可能是将帖子定向到用户最近的聊天。第三选项可能是将帖子定向到更普遍的受众，比如用户的“故事”。本领域普通技术人员理解的是，不同的程序和移动应用可以提供“用户故事”的各种排列，例如“我的故事”，或者“我们的故事”，或者甚至其他非“故事”类型的受众，所有这些都在该示例的范围内。
如上所述，在一示例中，由处理器932执行图像合成系统500的指令根据捕捉配置文件510将眼戴设备200配置为捕捉原始图像片段的系列540，并收集与系列540中的每个图像片段相关联的数据集572。在此类示例中，捕捉配置文件510可具有输入结构222的分配数据。例如，该配置文件可以分配或指导眼戴设备200分配一个按钮222在不自动共享的情况下执行照片/视频的标准捕捉750，而分配另一个按钮222在自动共享的情况下执行照片/视频捕捉752。不过，本领域普通技术人员理解的是，没有必要同时提供两个按钮，因为例如有多种方式可供以可编程的方式配置单个输入结构(例如，通过长按、双击按钮、操纵触摸表面、对麦克风发送音频指令等)，以允许用户在标准捕捉750和自动共享捕捉752之间进行选择。因此，尽管图2示出的示例中，眼戴设备200具有两个输入结构222，但也可以结合其他数量和类型的输入结构222。
在一示例中，该系统包括眼戴设备200中的第一处理器和诸如移动设备890的客户端设备中的第二处理器，移动设备890的第二处理器与眼戴设备200的第一处理器同步，并且移动设备890的第二处理器通过网络共享至少一个图像。在该配置的另一示例中，移动设备890的第二处理器将共享配置文件应用于由眼戴设备200捕捉的图像，然后根据共享配置文件的自动共享选项和自动受众选项来共享图像。在另一示例中，完全在单个便携式电子设备中实现该系统，例如眼戴设备200，以便眼戴设备200上的单个处理器可以被配置为执行包括设置具有自动共享选项和自动受众选项的共享配置文件、捕捉图像、应用共享配置文件的自动共享选项和共享配置文件的自动受众选项以及通过网络共享图像的功能。
在包括诸如移动设备890的客户端设备的一个示例中，眼戴设备200不知道图像在捕捉时的最终布置。可以适用这种配置，因为如上所述，只要是在眼戴设备200已经捕捉图像并与移动设备890同步770之前，实际上可以在任何时间在移动设备890上创建自动共享配置文件。在这种情况下，只要移动设备890配备有自动共享配置文件以及在同步770时来自眼戴设备200的与捕捉相关(例如，就自动共享而言，使用了哪个输入设备222，或者使用方式)的任何数据，眼戴设备200就可以不知道输入结构222在捕获图像时的分配情况，以便移动设备890能够根据自动共享配置文件处理新图像。
各数据集572包括由惯性测量单元972收集的关于摄像头取向的信息。在一些实施方式中，各数据集572包括关于与每个视频片段中的每个图像或每一帧相关联的摄像头取向的信息。
在捕捉图像片段系列540后，根据一种实施方式，移动CPU830持续执行图像合成系统500的指令，将移动设备890配置为根据用于捕捉和处理的一个或多个配置文件来处理图像片段系列540。图5中将根据捕捉和处理配置文件710进行图像片段处理示出为步骤780。
在一示例中，用于捕捉和处理的一个或多个配置文件710包括用于在共享之前应用至少一个“效果”的选定选项。该效果可以是视觉效果，例如滤镜、色调、边框、字幕、位置标签、增强现实特征，以及音频效果，例如音乐、噪声或录制音频的改变(音调等)。
用于捕捉和处理的一个或多个配置文件710可以与自动共享配置文件720分开，或包括用作共享配置文件720组件的部分。根据该示例，可在捕捉752之后，将由用于捕捉和处理的一个或多个配置文件710标识的选项自动应用于图像。在三个示例中，可由配套设备200在捕捉时应用760效果，可由客户端设备890在同步和执行合成系统时应用780效果，或以上两者的任意组合。
在一示例中，处理选项和指令包含在单独的处理配置文件520中。在一些示例配置中，处理配置520包括稳定化设置。示例稳定化设置包括“否”(在处理期间不执行稳定化)、“是”和“自定义”(其中用户选择特定稳定化类型)。默认稳定化设置可设置为“是”，并且可以包括指令以：(1)基于与每个特定图像片段相关联的数据集572，计算与每个原始图像片段相关联的摄像头取向585，(2)基于计算的摄像头取向585，计算稳定化输出路径590，以及(3)根据稳定化输出路径590，组合图像片段的系列540，以生成图像合成文件600。
用于捕捉和处理的一个或多个配置文件，例如捕捉配置文件510，包括用于确定眼戴设备200上的摄像头218将如何以及何时捕捉原始视频片段系列540的一组条件或变量。在一示例中，捕捉配置文件510包括开始条件、片段持续时间、暂停持续时间(片段之间)和片段数量。例如，捕捉配置文件510可以包括等同于晚上9:18的开始条件、六秒的片段持续时间、二十秒的暂停持续时间以及十个片段的数量。根据该捕捉配置文件，眼戴设备200上的摄像头218将从晚上9:18开始捕捉十个六秒的视频片段，每个片段之间有二十秒的暂停。可将该示例捕捉配置文件510称为固定捕捉配置文件，前提是在图像捕捉之前设置条件并且不改变条件。
眼戴设备200的惯性测量单元(IMU)972在拍摄期间收集关于眼戴设备200的位置、方向和运动的信息。图像合成系统500将眼戴设备200配置为在捕捉每个图像片段的过程中从惯性测量单元972收集数据。来自惯性测量单元972的每个数据集与正被捕捉的原始视频片段的至少一个图像或帧相关联。在一些实施方式中，眼戴设备200将从惯性测量单元972收集与第一原始视频片段的各第一帧相关联的第一数据集。从惯性测量单元972收集的数据集572可以存储在存储器934中，如图3所示。
对于存储在存储器934中的每个数据集572，图像合成系统500配置移动设备890来计算摄像头方向585。由移动设备890计算的摄像头方向585可以存储在存储器840A中，如图4所示。
合成系统500配置移动设备890来计算视频的稳定化输出路径590，这是所设想的归为图5所示框780范围内的各种潜在功能中的一个，尽管其也可以包括本文描述的或本领域普通技术人员已知的其他合成功能。
在一些示例实施方式中，通过执行图像合成系统500的指令，根据捕捉配置文件510配置眼戴设备200以收集传感器数据580，其包括由传感器阵列980收集的信息。传感器阵列980包括摄像头218、诸如按钮或触摸板的用户输入设备222、麦克风993、深度传感器213和惯性测量单元(IMU)972。在该示例中，捕捉配置文件510是反应性捕捉配置文件；这些条件取代一组固定的条件，对从传感器阵列980实时收集的传感器数据580作出反应。例如，反应式捕捉配置文件可以包括反应式开始条件，该条件被配置为当传感器数据580包括开始输入时开始录制。开始输入可以是由传感器阵列980中的麦克风993接收的听觉开始命令、由输入设备222接收的物理开始命令(例如按钮或触摸板上的轻击或轻击模式)、由佩戴者做出并由摄像头218捕捉的开始手势、由惯性测量单元972收集的数据集572指示的眼戴设备100的选定方向(垂直、水平、静止一段时间)、或由摄像头218捕捉的选定照明条件。眼戴设备200的选定方向可包括位置分量和时间分量。例如，选定的取向可以包括在最小时间段内保持(例如，保持数秒而不移动超过阈值)基本水平位置(例如，朝向面部)。同理，选定的取向可以包括在最小时间段内保持基本垂直的位置(例如，在口袋中，挂在衬衫领子上)。
在一些示例中，处理配置文件520包括稳定化设置(例如，“否”、“是”、特定稳定化算法的自定义选择)、间隔效果(应用于片段之间的视觉效果，如有；例如，剪切、溶解、淡化、擦除)、视觉层(例如，色调、颜色淡化、边框、外框、覆盖元素)、音频层(例如，静音、环境声音、音乐音轨、画外音叙述)以及回放速度(相对于录制速度)。每个设置可以包括默认设置，以及允许用户调整每个设置的用户界面。例如，默认的处理配置文件520可以包括用于稳定化设置的“是”、用于间隔效果的剪切(使得视频作品600在片段之间无缝衔接)、用于视觉层的“无”(无色调处理或添加元素)、用于音频层的“静音”、以及用于回放速度的“2倍速”。
在相关方面，处理配置文件520可以是一个或多个反应式设置；即，根据第一或第二数据集或第一或第二摄像头方向或稳定化输出路径而改变的设置。例如，第一数据集内的信息可显示特定的稳定化算法非常适合该数据。包含在稳定化输出路径中的信息可显示特定的回放速度非常适合回放期间的视频合成。
在将客户端设备(例如，移动设备890)与配套设备(例如，眼戴设备200)同步770时，移动设备890将自动共享配置文件应用于新捕捉的752图像。如此，可将发送配置文件选项730和受众配置文件选项732应用于所捕捉的图像，以便移动设备890或其他客户端设备可根据由配置文件定义的选项来共享或发贴800。
因此，用户能够使用用于捕捉的配套设备和用于共享的客户端设备来实现图像捕捉、合成和共享自动化，其中任一设备或两个设备都参与合成。
如本文所述，可在一个或多个计算机软件应用程序或编程指令集中实现本文描述的用于眼戴设备200、移动设备890和服务器系统998的所述任何图像捕捉、合成和共享功能。根据一些示例，“功能(一个)”、“功能(多个)”、“应用(一个)”、“应用(多个)”、“指令(一个)”、“指令(多个)”或“编程”是执行程序中所定义功能的程序。可以使用各种编程语言来创建一个或多个以各种方式构造的应用程序，例如面向对象的编程语言(例如，Objective-C、Java或C++)或程序设计语言(例如，C或汇编语言)。在特定示例中，第三方应用程序(例如，由除特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用程序)可包括在IOSTM、ANDROIDTM、
Figure BDA0003569612330000131
Phone等移动操作系统(如IOS)上运行的移动软件或其他移动操作系统。在此示例中，第三方应用程序可以调用操作系统提供的API调用，以促进本文所述的功能。
因此，机器可读介质可采用多种形式的有形存储介质。以非易失性存储介质为例，其包括光盘或磁盘，诸如任何计算机设备中的所有存储设备等，可用于实现图中所示的客户端设备、媒体网关、转码器等。易失性存储介质包括动态存储器，诸如某一计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包含构成计算机系统内总线的电线。载波传输介质的形式可以采用电信号或电磁信号，或声波或光波，诸如在射频(RF)和红外(IR)数据通信期间产生的声波或光波。因此，计算机可读介质的常见形式包括：软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片、纸带、任何其他带孔图案的物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒带、传输数据或指令的载波、传输此类载波的电缆或链路，或计算机可从中读取编程代码或数据的任何其他介质。其中诸多形式的计算机可读介质可能涉及将一个或多个指令的一个或多个序列传送到处理器用于执行。
除上述内容外，所述和所示内容不意指也不应被解释成导致任何部件、步骤、功能、目标、益处、优点或等同物专属于公众，无论其是否记载在权利要求中。
应了解的是，除非本文另行规定具体含义，否则本文使用的术语和表达具有相对于该等术语和表达各自的相应调查研究领域所赋予该等术语和表达的一般含义。诸如“第一”和“第二”等关系术语可仅用于将一个实体或动作与另一个实体或动作区别开，而不必要求或暗示该等实体或动作之间存在任何实际的该等关系或顺序。术语“包括”、“包含”、“含有”、“包括在内”或其任何其他变体意在涵盖非排他性的包含，使得包括或包含一系列要素或步骤的过程、方法、物品或装置，不仅包括这些要素或步骤，还可以包括未明确列出的或该等过程、方法、物品或装置固有的其他要素或步骤。在没有进一步限制的情况下，前面带有“一个”的要素并不排除在包括该要素的过程、方法、物品或装置中存在其他相同要素。
除非另有说明，否则本说明书(包括随后的权利要求)中所述的任何和所有测量值、数值、额定值、位置、量级、尺寸等规格均为近似值，而非精确值。此类数量意在具有与其涉及的功能相符并且与其所属的领域中的惯例相符的合理范围。例如，除非另有明确说明，否则参数值等可能与规定量相差±10％。
此外，在前述的具体实施方式中，可以看出，为了简化本次披露，各种示例将各种特征组合在一起。这种公开方法不应被解释为反映如下意图，即要求保护的示例要求具有比每项权利要求中明确叙述的特征更多的特征。相反，正如以下权利要求所反映的，要保护的主题不在于任何单个公开示例的全部特征。因此，特此将以下权利要求并入具体实施方式，每项权利要求作为单独要求保护的主题独立存在。
尽管前述内容描述了被认为是最佳的方式和其他示例，但可以理解的是，在该等方式和示例中可以进行各种修改，本文公开的主题可以以各种形式和示例实现，并且该等方式和示例可以应用于多种应用，本文仅描述了其中一些应用。以下权利要求旨在要求保护属于本概念真正范围内的任何以及所有修改和变化。

Claims (20)

1.一种图像捕捉和共享系统，该系统包括：
一种眼戴设备，包括：
镜架，配备连接到镜架侧面的镜腿；
一个摄像头，其配置支持捕捉至少一个图像；以及
一台用户输入设备，其配置支持接收至少一个共享指令；
一个与摄像头和用户输入设备耦合的存储器和处理器；以及
在存储器中编程，其中由处理器执行编程将系统配置为执行功能，包括以下功能：
创建包括自动发送选项和自动受众选项的共享配置文件；
捕捉至少一幅图像；
在捕捉之后，将所述自动发送选项和自动受众选项自动应用于所述至少一个图像；以及
根据所述自动发送选项和自动受众选项通过网络共享所述至少一个图像。
2.根据权利要求1所述的系统，其所述眼戴设备具有至少两个输入结构，用于执行所述至少一个图像的所述捕捉。
3.根据权利要求2所述的系统，其中至少两个所述输入结构为按钮。
4.根据权利要求2所述的系统，其中至少两个所述输入结构位于所述眼戴设备的所述镜腿附近。
5.根据权利要求2所述的系统，其中，所述至少两个输入结构中的第一个被分配来执行所述至少一个图像的所述捕捉，以进行标准共享，并且所述至少两个输入结构中的第二个被分配用于执行所述至少一个图像的所述捕捉，以根据所述自动发送选项和自动受众选项通过网络进行共享。
6.根据权利要求2所述的系统，其中至少一种效果被自动应用于图像，并且根据所述共享配置文件的所述自动发送选项和自动受众选项来共享。
7.根据权利要求2所述的系统，其中所述处理器包括所述眼戴设备中的第一处理器和客户端设备中的第二处理器，所述第二处理器与所述第一处理器同步，并且所述第二处理器通过网络共享所述至少一幅图像。
8.根据权利要求7所述的系统，其中，所述客户端设备根据所述共享配置文件的所述自动发送选项和自动受众选项，自动对通过网络共享的所述图像应用效果。
9.一种图像捕捉和共享方法，包括：
接收共享配置文件的选项，包括自动发送选项和自动受众选项；
捕捉至少一幅图像；
在捕捉之后，将所述自动发送选项和自动受众选项自动应用于所述至少一个图像；以及
根据所述自动发送选项和自动受众选项通过网络共享所述至少一个图像。
10.根据权利要求9所述的方法，其中，由眼戴设备捕捉所述至少一幅图像。
11.根据权利要求10所述的方法，其中由所述眼戴设备捕捉所述至少一幅图像，并且所述方法还包括将所述眼戴设备与客户端设备同步，将所述至少一幅图像从所述眼戴设备发送到所述客户端设备，并且经由所述客户端设备通过网络自动共享所捕捉的至少一幅图像。
12.根据权利要求11所述的方法，其中所述客户端设备在从所述眼戴设备接收到所述至少一幅图像时，根据所述共享配置文件的所述自动发送选项，立即通过网络共享所述至少一幅图像。
13.根据权利要求11所述的方法，其中，所述客户端设备按预定时间延迟所述同步图像的共享，以接收用户指令，根据所述共享配置文件的所述自动发送选项执行查看、修改或取消中的至少一项。
14.根据权利要求13所述的方法，其中所述预定时间由用户指定。
15.根据权利要求11所述的方法，其中，所述客户端设备在保持无限期的一段时间之后共享所述同步图像，以接收用户执行的输入选项，从而根据所述共享配置文件的所述自动发送选项执行查看、修改或取消中的至少一项。
16.根据权利要求11所述的方法，其中所述客户端设备根据所述共享配置文件的所述自动受众选项自动将所述图像定向至最近的朋友或群组。
17.根据权利要求11所述的方法，其中，所述客户端设备根据所述共享配置文件的所述自动受众选项，自动将所述图像定向至用户故事。
18.根据权利要求9所述的方法，其中，根据由配置文件识别的选项，将至少一种效果自动应用于所述图像。
19.一种包括指令的非瞬时性计算机可读介质，当由处理器执行时，所述指令可使电子系统：接收共享配置文件的选项，包括自动发送选项和自动受众选项；
接收电子眼戴设备上捕捉的图像；
将所述自动发送选项和自动受众选项自动应用到所述图像；以及
根据所述自动发送选项和自动受众选项通过网络共享所述图像。
20.根据权利要求19所述的非瞬时性计算机可读介质，其中所述处理器包括所述眼戴设备中的第一处理器和客户端设备中的第二处理器，所述第二处理器与所述第一处理器同步，并且所述第二处理器通过网络共享所述至少一个图像。
CN202080068345.4A 2019-09-30 2020-09-23 自动化眼戴设备共享系统 Pending CN114503059A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/587,158 2019-09-30
US16/587,158 US11297224B2 (en) 2019-09-30 2019-09-30 Automated eyewear device sharing system
PCT/US2020/052176 WO2021067090A1 (en) 2019-09-30 2020-09-23 Automated eyewear device sharing system

Publications (1)

Publication Number Publication Date
CN114503059A true CN114503059A (zh) 2022-05-13

Family

ID=75162365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080068345.4A Pending CN114503059A (zh) 2019-09-30 2020-09-23 自动化眼戴设备共享系统

Country Status (5)

Country Link
US (2) US11297224B2 (zh)
EP (1) EP4042705A4 (zh)
KR (1) KR20220070292A (zh)
CN (1) CN114503059A (zh)
WO (1) WO2021067090A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11297224B2 (en) * 2019-09-30 2022-04-05 Snap Inc. Automated eyewear device sharing system
US11195259B2 (en) * 2019-12-04 2021-12-07 Samsung Electronics Co., Ltd. Apparatus and method for dynamic multi-camera rectification using depth camera
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
CN117940878A (zh) 2021-09-02 2024-04-26 斯纳普公司 通过分布式和连接的真实世界对象建立社交连接
EP4396651A1 (en) * 2021-09-02 2024-07-10 Snap Inc. Snapshot messages for indicating user state
KR20240049836A (ko) * 2021-09-02 2024-04-17 스냅 인코포레이티드 전자 안경류 디바이스들에 대한 스캔 기반 메시징
US20230177136A1 (en) * 2021-12-08 2023-06-08 Qualcomm Incorporated Auto-pairing rotation vector
US11949527B2 (en) 2022-04-25 2024-04-02 Snap Inc. Shared augmented reality experience in video chat
US12069399B2 (en) 2022-07-07 2024-08-20 Snap Inc. Dynamically switching between RGB and IR capture
US12008166B1 (en) * 2023-06-08 2024-06-11 Ford Global Technologies, Llc Automatic in-vehicle haptic feedback and force touch adjustment systems and methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101884036A (zh) * 2007-11-30 2010-11-10 维里逊专利及许可公司 共享由移动通信装置捕获的图像的方法和系统
WO2015103444A1 (en) * 2013-12-31 2015-07-09 Eyefluence, Inc. Systems and methods for gaze-based media selection and editing
US20170315365A1 (en) * 2016-05-02 2017-11-02 Futurewei Technologies, Inc. Head mounted display content capture and sharing
WO2018130995A1 (en) * 2017-01-13 2018-07-19 Antunes Nuno System and method of acquisition, registration and multimedia management
US10142496B1 (en) * 2013-01-26 2018-11-27 Ip Holdings, Inc. Mobile device image capture and image modification including filters, superimposing and geofenced comments in augmented reality

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228449B2 (ja) * 1999-02-15 2009-02-25 ブラザー工業株式会社 インターネットファクシミリ装置
JP5245257B2 (ja) * 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
JP4462320B2 (ja) * 2007-10-09 2010-05-12 コニカミノルタビジネステクノロジーズ株式会社 画像送信装置、画像送信方法、及び画像送信プログラム
US8531394B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglasses transceiver
US20150009309A1 (en) * 2011-07-08 2015-01-08 Google Inc. Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
US20190331914A1 (en) * 2011-07-20 2019-10-31 Google Llc Experience Sharing with Region-Of-Interest Selection
KR101253348B1 (ko) 2011-08-12 2013-04-23 이형호 휴대용 촬영기능 및 네트워크를 이용한 신변보호 안경
KR20140000110U (ko) 2012-06-29 2014-01-08 밍추언 황 인터페이스 전송처리 기능을 가진 안경
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
US20150355463A1 (en) * 2013-01-24 2015-12-10 Sony Corporation Image display apparatus, image display method, and image display system
KR20140128489A (ko) 2013-04-25 2014-11-06 (주)세이엔 영상 인식과 터치 인터페이스를 이용한 스마트 안경 및 그의 제어 방법
GB2515563A (en) * 2013-06-28 2014-12-31 F Secure Corp Media sharing
US20150113367A1 (en) * 2013-10-17 2015-04-23 International Business Machines Corporation Image transitioning and error detection for online presentations
US10423760B2 (en) * 2014-04-29 2019-09-24 Vik Moharir Methods, system and apparatus for transcribing information using wearable technology
US9668217B1 (en) * 2015-05-14 2017-05-30 Snap Inc. Systems and methods for wearable initiated handshaking
KR102240087B1 (ko) * 2016-09-27 2021-04-15 스냅 인코포레이티드 아이웨어 디바이스 모드 표시
US10740388B2 (en) * 2017-01-24 2020-08-11 Microsoft Technology Licensing, Llc Linked capture session for automatic image sharing
JP2019191675A (ja) * 2018-04-19 2019-10-31 セイコーエプソン株式会社 透過型頭部装着型表示装置、支援システム、表示制御方法、およびコンピュータープログラム
US10970029B2 (en) * 2018-10-15 2021-04-06 Symphony Communication Services Holdings Llc Dynamic user interface and module facilitating content sharing in a distributed computing environment
US11330094B2 (en) * 2019-03-29 2022-05-10 Snap Inc. Eyewear with customizable notifications
US11320667B2 (en) * 2019-09-27 2022-05-03 Snap Inc. Automated video capture and composition system
US11297224B2 (en) * 2019-09-30 2022-04-05 Snap Inc. Automated eyewear device sharing system
CN110868639B (zh) * 2019-11-28 2021-03-12 北京达佳互联信息技术有限公司 视频合成方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101884036A (zh) * 2007-11-30 2010-11-10 维里逊专利及许可公司 共享由移动通信装置捕获的图像的方法和系统
US10142496B1 (en) * 2013-01-26 2018-11-27 Ip Holdings, Inc. Mobile device image capture and image modification including filters, superimposing and geofenced comments in augmented reality
WO2015103444A1 (en) * 2013-12-31 2015-07-09 Eyefluence, Inc. Systems and methods for gaze-based media selection and editing
US20170315365A1 (en) * 2016-05-02 2017-11-02 Futurewei Technologies, Inc. Head mounted display content capture and sharing
WO2018130995A1 (en) * 2017-01-13 2018-07-19 Antunes Nuno System and method of acquisition, registration and multimedia management

Also Published As

Publication number Publication date
WO2021067090A1 (en) 2021-04-08
US20220159178A1 (en) 2022-05-19
EP4042705A1 (en) 2022-08-17
US20210099639A1 (en) 2021-04-01
US11563886B2 (en) 2023-01-24
EP4042705A4 (en) 2023-11-08
KR20220070292A (ko) 2022-05-30
US11297224B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
US11563886B2 (en) Automated eyewear device sharing system
US11169600B1 (en) Virtual object display interface between a wearable device and a mobile device
US20210405761A1 (en) Augmented reality experiences with object manipulation
CN110908503B (zh) 跟踪设备的位置的方法
US11275453B1 (en) Smart ring for manipulating virtual objects displayed by a wearable device
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
CN114531951B (zh) 自动视频捕捉和合成系统
US11422380B2 (en) Eyewear including virtual scene with 3D frames
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
KR20230022239A (ko) 증강 현실 환경 향상
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US11803234B2 (en) Augmented reality with eyewear triggered IoT
US11483569B1 (en) Device with dynamic transcode throttling
US11900058B2 (en) Ring motion capture and message composition system
US20240244285A1 (en) Ar glasses as iot device for enhanced screen experience
KR20240133704A (ko) 초-연결 및 동기화된 ar 안경
CN116324675A (zh) 使用可穿戴设备识别可控设备的位置
US12073011B2 (en) Virtual interfaces for controlling IoT devices
US20220417528A1 (en) Device with dynamic transcode throttling
US20240073402A1 (en) Multi-perspective augmented reality experience
CN118355646A (zh) 共享增强现实会话创建

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination