CN114531951A - 自动视频捕捉和合成系统 - Google Patents

自动视频捕捉和合成系统 Download PDF

Info

Publication number
CN114531951A
CN114531951A CN202080067646.5A CN202080067646A CN114531951A CN 114531951 A CN114531951 A CN 114531951A CN 202080067646 A CN202080067646 A CN 202080067646A CN 114531951 A CN114531951 A CN 114531951A
Authority
CN
China
Prior art keywords
camera
capture
measurement unit
video
inertial measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080067646.5A
Other languages
English (en)
Inventor
马修·汉诺威
理查德·庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snape Co
Original Assignee
Snape Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snape Co filed Critical Snape Co
Publication of CN114531951A publication Critical patent/CN114531951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00246—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with an optical device, e.g. an optical viewing aid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Eye Examination Apparatus (AREA)
  • Studio Devices (AREA)

Abstract

描述了用于捕捉一系列视频剪辑以及在拍摄期间从惯性测量单元收集的位置、方向和运动数据的系统、设备、介质和方法。一些示例中的方法包括根据所收集的数据来计算摄像头方向，根据摄像头方向来计算稳定化输出路径，然后根据所述稳定化输出路径来组合视频片段，以生成稳定、简短且易于共享的视频合成文件。根据一组被称为捕捉配置文件的条件拍摄视频剪辑片段。在一些实施例中，捕捉配置文件条件具有反应性，在拍摄期间，根据从传感器阵列实时收集的传感器数据作出响应，实现实时调节。

Description

自动视频捕捉和合成系统
相关申请的交叉参考
本申请要求于2019年9月27日提交的名称为“自动视频捕捉和合成系统”的美国实用新型申请(序列号16/585,603)的优先权，其内容通过引用完整纳入本文。
技术领域
本次披露中阐述的示例涉及便携式电子设备，包括诸如眼戴设备的可穿戴设备。具体地，但不作为限制，本公开文件描述了用于捕捉一系列原始视频片段并组合这些片段以生成视频合成文件的系统和方法。
背景技术
当今可用的许多类型的计算机和电子设备，包括移动设备(例如，智能手机、平板电脑和膝上型电脑)和可穿戴设备(例如，智能眼镜、数字眼戴设备、头套、头盔和头戴式显示器)，包括用于捕捉静态照片和视频的一个或多个摄像头以及用于收集关于设备的位置、方向、运动和行进方向信息的内部传感器。
附图说明
以下具体实施方式(参考附图)可便于读者理解所披露的各种实施方式的特征。在实施方式和附图的几个视图中，每个元件使用一个参考数字。当存在多个相似的元件时，可将单个参考数字分配给相似的元件，增加小写字母表示特定的元件。
除非另有说明，否则图中所示的各种元件并非按比例绘制。为清晰起见，各种元件的尺寸可放大或缩小。几个附图描绘了一个或多个实施方式，并且仅通过示例的方式呈现，不应理解为具有限制性。附图中包括以下图片：
图1A是可以在视频合成和共享系统中使用的眼戴设备示例硬件配置的侧视图(右视图)；
图1B是图1A所示眼戴设备右侧组块的俯视局部剖视图，展示右侧可见光摄像头和电路板；
图1C是图1A所示眼戴设备示例硬件配置的侧视图(左)，其示出了左侧可见光摄像头；
图1D是图1C所示眼戴设备左侧组块的俯视局部剖视图，展示左侧可见光摄像头和电路板；
图2A和2B是在视频合成和共享系统中使用的眼戴设备示例硬件配置的后视图；
图3是三维场景、由左侧可见光摄像头捕捉的左侧原始图像和由右侧可见光摄像头捕捉的右侧原始图像的示意图；
图4是包括通过各种网络连接的眼戴设备、移动设备和服务器系统的示例视频合成和共享系统功能框图；以及
图5是图4所示视频合成和共享系统的移动设备示例硬件配置的示意图。
详细说明
通过参考一则示例，给出了各种实施方式和详图：视频合成和共享系统，用于用便携式电子设备捕捉一系列原始视频片段，根据来自设备传感器的信息计算摄像头方向，计算稳定化输出路径，以及组合片段以生成视频合成文件。便携式设备包括惯性测量单元，以便在录制期间计算摄像头方向，该惯性测量单元包括数字加速度计、陀螺仪和磁力计。摄像头方向可用于计算稳定化输出路径，即摄像头行进的假想路线，该路线沿着并穿过一系列原始视频片段延伸。沿着稳定化输出路径组合片段以生产相对稳定、简短且易于共享的视频合成文件。
使用便携式电子设备可能难以捕捉剧烈的用户活动，例如滑雪或骑自行车。在许多情况下，用户的手忙于进行活动，而不能操作设备上的控件。高分辨率视频文件通常很大，难以在便携式设备上处理。视频录制文件可能不稳定、平淡无奇、太长或太乏味，不适合与他人共享。本文描述的示例(例如)在捕捉活跃的用户活动时可发挥不错的作用。
以下具体实施方式包括说明本次披露中所阐述示例的系统、方法、技术、指令序列和计算机程序产品。为便于透彻理解所披露主题及其相关教学内容，本文给出了诸多详图和示例。然而，相关领域的技术人员可了解如何在没有这些详图的情况下运用相关教学内容。所披露主题的各方面不限于所描述的具体设备、系统和方法，可以各种方式应用或实践相关教学内容。本文所使用的术语和命名法仅仅旨在描述特定的方面，不具备限制性。一般来说，不一定会详细展示众所周知的指令实例、协议、结构和技术。
本文使用的术语“耦合”或“连接”指的是任何逻辑、光学、物理或电气连接，包括链路等，通过该链路，由一个系统元件产生或提供的电信号或磁信号被传递给与之耦合或连接的另一个系统元件。除非另有说明，否则耦合或连接元件或器件不一定彼此直接连接，并且可以被中间组件、元件或通信介质分开，其中一个或多个中间组件、元件或通信介质可修改、操纵或传输电信号。术语“在……上”指的是由一个元件直接支撑，或者通过集成到该元件中的另一元件，或通过由该元件支撑的另一个元件间接支撑。
任何附图中所示的眼戴设备、相关组件和结合有三维摄像头的任何成套设备的方向仅作为示例，用于说明和讨论的目的。在实际操作中，可将眼戴设备定向在适合于眼戴设备特定应用的任何其他方向上。例如上、下、侧向或任何其他方向。此外，就本文用法而言，任何方向性术语，例如前、后、向内、向外、方向、左、右、横向、纵向、上部、下部、上、下、顶、底、侧、水平、垂直和对角线，仅作为示例使用，并不限制如本文所述构造的任何三维摄像头或三维摄像头组件的方向或方向。
下文的说明将部分阐述示例的其他目的、优点和新颖特征。该等其他目的、优点和新颖特征对于查阅下文和附图后的本领域的技术人员来说是显而易见的，或者可以通过制作或操作示例来了解。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
各类可见光摄像头集成于便携式电子设备中，包括手机和智能眼镜等可穿戴设备。立体摄像头有两个镜头或包括两个协调工作的摄像头，每个摄像头都有各自对应的图像传感器或胶片框。立体摄像头捕捉同一场景的两幅图像，因为镜头间隔较大，所以两幅图像拍摄的视角略有不同。镜头之间的间隔距离可以被标定为接近人眼间距，以更好地模拟人类双目视觉。立体摄像头捕捉同一场景的两幅独立图像，拍摄角度略有不同。
现详细参照附图中示出并在下文讨论的示例。
图1A是如本文所述的视频合成和共享系统中采用的眼戴设备100示例硬件配置侧视图(右侧)，其示出了用于收集图像信息的右侧可见光摄像头114B。如下文进一步描述的，两个摄像头114A、114B从两个单独的视点捕捉同一场景的图像信息。这两个捕捉的图像可用于将三维显示投影到屏幕上，以便用3D眼镜观看。
眼戴设备100包括右光学组件180B，其具有图像显示器以呈现图像，例如深度图像。如图1A和1B所示，眼戴设备100包括右侧可见光摄像头114B。眼戴设备100可包括多个可见光摄像头114A、114B，其可组成被动式三维摄像头，例如立体摄像头，其中右侧可见光摄像头114B位于右侧组块110B上。如图1C-D所示，眼戴设备100还包括左侧可见光摄像头114A。
左侧和右侧可见光摄像头114A、114B对可见光范围波长敏感。可见光摄像头114A、114B各具有不同的面向前方的视野，这些视野相互重叠以便生成三维深度图像，例如，右侧可见光摄像头114B描绘右视野111B。一般来说，“视野”是在空间中的特定位置和方向通过摄像头可见的场景部分。视野111A和111B具有重叠的视野813。当可见光摄像头捕捉图像时，视野111A、111B之外的物体或物体特征未录入原始图像(例如，照片或图片)中。视野指的是可见光摄像头114A、114B的图像传感器在给定场景的捕捉图像中拾取给定场景电磁辐射的角度范围或程度。视野可表示为视锥的角度大小，即视角。可水平、垂直或对角测量视角。
在一个示例中，可见光摄像头114A、114B具有视角在15°至30°之间的视野，例如24°，并且具有480×480像素的分辨率。“覆盖角度”指的是可见光摄像头114A、114B或红外摄像头220(见图2A)的镜头可有效成像的角度范围。通常，摄像头镜头可生成一个足够大的像圈，以完全覆盖摄像头的胶片或传感器，可能包括一些向边缘过渡的渐晕。如果摄像头镜头的覆盖角度未充满传感器，则像圈将是可见的，通常朝边缘有强渐晕，且有效视角受覆盖角度限制。
这种可见光摄像头114A、114B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和支持640p(例如，640×480像素，总共0.3兆像素)、720p或1080p分辨率的数字VGA(视频图形阵列)摄像头。可见光摄像头114A、114B的其他示例，其可捕捉高清晰度(HD)静止图像并以1642×1642像素(或更高)的分辨率存储图像；及/或以高帧速(例如，每秒30到60帧或更高)录制高清视频，并以1216×1216像素(或更高)的分辨率存储录制的内容。
眼戴设备100可从可见光摄像头114A、114B捕捉图像传感器数据以及地理位置数据，经图像处理器数字化，存储在存储器中。由相应的可见光摄像头114A、114B捕捉的左侧和右侧原始图像保存在二维空间域中，且包括二维坐标系上的像素矩阵，该二维坐标系包括用于表示水平位置的X轴和用于表示垂直位置的Y轴。每个像素具有一个颜色属性值(例如，红色像素光值、绿色像素光值和/或蓝色像素光值)，和一个位置属性(例如，X轴坐标和Y轴坐标)。
为捕捉立体图像以供稍后进行三维投影显示，可将图像处理器912(图4所示)与可见光摄像头114A、114B耦合，以接收和存储视觉图像信息。可由图像处理器912或控制可见光摄像头114A、114B操作的另一处理器添加每个图像的时间戳，可见光摄像头114A、114B充当立体摄像头以模拟人类双目视觉。每对图像上的时间戳支持将图像作为三维投影的一部分一起显示。三维投影可提供身临其境、栩栩如生的体验，这种体验对于包括虚拟现实(VR)和视频游戏在内的各类环境而言是很理想的。
图3是三维场景715、由左侧可见光摄像头114A捕捉的左侧原始图像858A和由右侧可见光摄像头114B捕捉的右侧原始图像858B的图示。如图所示，左视野111A可与右视野111B重叠。重叠视野813表示由两个摄像头114A、114B捕捉的图像部分。术语“重叠”在涉及视野时是指所生成的原始图像中的像素矩阵重叠百分之三十(30％)或以上。“基本重叠”是指生成的原始图像中的像素矩阵或者场景的红外图像中的像素矩阵重叠百分之五十(50％)或以上。如本文所述，可将两个原始图像858A、858B处理成包含时间戳的形式，以便将图像作为三维投影的一部分一起显示。
对于立体图像的捕捉，如图3所示，在给定时刻捕捉真实场景715的一对原始红、绿和蓝(RGB)图像，左侧原始图像858A由左侧摄像头114A捕捉，右侧原始图像858B由右侧摄像头114B捕捉。处理该对原始图像858A、858B时(例如，经图像处理器912处理)，生成深度图像。所生成的深度图像可通过眼戴设备的光学组件180A、180B、另一显示器(例如，移动设备890上的图像显示器880)或屏幕查看。
所生成的深度图像保存在三维空间域中，其可包括三维位置坐标系上的顶点矩阵，该坐标系包括表示水平位置(例如，长度)的X轴，表示垂直位置(例如，高度)的Y轴和表示深度(例如，距离)的Z轴。每个顶点可具有一个颜色属性(例如，红色像素光值、绿色像素光值和/或蓝色像素光值)，和一个位置属性(例如，X轴坐标、Y轴坐标以及Z坐标)，以及一个肌理属性和/或反射属性。肌理属性量化深度图像的感知肌理，例如深度图像顶点区域中的颜色或强度的空间排列。
在一个示例中，视频合成和共享系统1000包括眼戴设备100，眼戴设备100包括镜架105和从镜架105的左侧面170A伸出的左镜腿125A以及从镜架105的右侧面170B伸出的右镜腿125B。眼戴设备100还可包括至少两个可见光摄像头114A、114B，其可具有重叠视野。在一个示例中，如图3所示，眼戴设备100包括具有左视野111A的左侧可见光摄像头114A。左侧摄像头114A连接镜架105或左镜腿125A，以从场景715的左侧捕捉左侧原始图像858A。眼戴设备100还包括具有右视野111B的右侧可见光摄像头114B。右侧摄像头114B连接镜架105或右镜腿125B，以从场景715的右侧捕捉右侧原始图像858B。
图1B是图1A所示眼戴设备100右侧组块110B的俯视横剖面图，示出了摄像头系统的右侧可见光摄像头114B和电路板。图1C是图1A所示眼戴设备100示例硬件配置的侧视图(左)，其示出了摄像头系统的左侧可见光摄像头114A；图1D是图1C所示眼戴设备左侧组块110A的俯视横剖面图，其示出了三维摄像头的左侧可见光摄像头114A和电路板。左铰链126A将左侧组块110A与眼戴设备100的左镜腿125A连接。左侧可见光摄像头114A的配置和安装位置基本上与右侧可见光摄像头114B相似，不同点仅在于其连接和耦合在左侧面170A上。如图1B的示例所示，眼戴设备100包括右侧可见光摄像头114B和电路板140B，该电路板可采用柔性印制电路板(PCB)。右铰链126B将右侧组块110B与眼戴设备100的右镜腿125B连接。在一些示例中，右侧可见光摄像头114B、柔性印制电路板140B或其他电气接头或触点的组件可位于右镜腿125B或右铰链126B上。
右侧组块110B包括组块本体211和组块盖，图1B的横剖面图中省略该组块盖。右侧组块110B内部布置有各种互连的电路板，例如印制电路板或柔性印制电路板，其包括用于右侧可见光摄像头114B、麦克风、低功耗无线电路(例如，用于经由蓝牙的无线短程网络通信)、高速无线电路(例如，用于经由WiFi的无线局域网通信)的控制器电路。
右侧可见光摄像头114B耦合或设置在柔性印制电路板140B上，并采用可见光摄像头盖透镜覆盖，该可见光摄像头盖透镜通过形成在镜架105内的开口对焦。例如，如图2A所示，镜架105的右镜框107B连接右侧组块110B，并包括用于可见光摄像头盖透镜的开口。镜架105包括前侧面，该侧面配置确保其朝外面且远离用户的眼睛。可见光摄像头盖透镜的开口形成于镜架105的前侧或面向外的一侧上并穿过该侧。在该示例中，右侧可见光摄像头114B具有面向外的视野111B(如图3所示)，其视线或视角与眼戴设备100的用户右眼相关联。可见光摄像头盖透镜也可粘附到右侧组块110B前侧或面向外侧的表面，其中，面向外侧的覆盖角，但沿不同的朝外方向，组成一个开口。也可采用经由中间部件的间接耦合。
如图1B所示，柔性印制电路板140B设置在右侧组块110B内，并与装在右侧组块110B中的一个或多个其他部件耦合。尽管图示其在右侧组块110B的电路板上组成，但右侧可见光摄像头114B也可在左侧组块110A、镜腿125A、125B或镜架105的电路板上组成。
图2A和2B为眼戴设备100示例硬件配置的后视透视图，其包括两种不同类型的图像显示器。眼戴设备100采用适于用户佩戴的尺寸和形状设计；示例中显示了眼镜的形状。眼戴设备100可采取其他形式，并且可结合其他类型的镜架，例如，头套、头戴式耳机或头盔。
在眼镜示例中，眼戴设备100包括镜架105，镜架105包括经由适于架在用户鼻子上的鼻梁架106与右镜框107B连接的左镜框107A。左右镜框107A、107B包括各自的开孔175A、175B，其用于固定各自的光学元件180A、180B，例如透镜和显示设备。如本文的用法所示，术语“透镜”的含义包括透明或半透明的玻璃或塑料片，其具有可使光会聚/发散或使极少或无光聚/发散的弯曲和/或扁平表面。
尽管图示给出的是设有两个光学元件180A、180B，但是根据眼戴设备100的具体应用或预期用户情况，眼戴设备100也可以采用其他布置，例如单个光学元件(或者可以不包括任何光学元件180A、180B)。如进一步所示，眼戴设备100配有紧邻镜架05左侧面170A的左侧组块110A和紧邻镜架105右侧面170B的右侧组块110B。可在相应的170A、170B侧上镜架105内集成组块110A、110B(如图所示)，或者实现为附接到相应170A、170B侧上镜架105的单独部件。此外，还可在附接到镜架105的镜腿(未示出)内集成组块110A、110B。
在一个示例中，光学组件180A、180B的图像显示器包括集成图像显示器。如图2A所示，每个光学组件180A、180B包括合适的显示矩阵177，例如液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其他此类显示器。每个光学组件180A、180B还包括一个或多个光学层176，光学层176可包括透镜、光学涂层、棱镜、反射镜、波导、光带以及任何组合的其他光学部件。光学层176A、176B、……176N(在图2A和本文中显示为176A-N)可包括一个具有合适的尺寸和配置的棱镜，且包括用于从显示矩阵接收光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176A-N的棱镜沿位于左和右镜框107A、107B中相应开孔175A、175B的全部或至少一部分伸出，从而当用户的眼睛透过相应的左右镜框107A、107B观看时，允许用户看到棱镜的第二表面。光学层176A-N的棱镜的第一表面布置为沿镜架105面朝上方，且显示矩阵177覆盖该棱镜，确保从显示矩阵177发射的光子和光照射到第一表面。棱镜的尺寸和形状可确保光在棱镜内被折射，并被光学层176A-N的棱镜的第二表面导向用户的眼睛。在这一方面，光学层176A-N的棱镜的第二表面可凸起，以将光导向眼睛的中心。棱镜的尺寸和形状可选地被设置成用于放大从显示矩阵177投影的图像，光穿过棱镜，使得从第二表面观看的图像在一个或多个维度上比从显示矩阵177发射的图像更大。
在一个示例中，光学层176A-N可包括透明的LCD层(保持透镜打开)，除非施加使该层不透明的电压(关闭或阻挡透镜)。眼戴设备100上的图像处理器912可执行编程，以将电压施加到LCD层，从而创建主动快门系统，使得眼戴设备100适于在显示为三维投影时观看视觉内容。主动快门模式下，可采用除LCD之外的技术，包括可对电压或另一类型输入作出响应的其他类型的反应层。
在另一个示例中，光学组件180A、180B的图像显示设备包括如图2B所示的投影图像显示器。各光学组件180A、180B包括各自的激光投影仪150，该投影仪是使用扫描镜或检流计的三色激光投影仪。在操作期间，诸如激光投影仪150的光源设置在眼戴设备100其中一个镜腿125A、125B内或其上。该示例中的光学组件180B包括一个或多个光条155A、155B、……155N(在图2B中显示为155A-N)，其可间隔布置并且横跨各光学组件180A，180B透镜宽度布置并/或横跨透镜前表面和后表面之间的透镜深度布置。
当从激光投影仪150投射的光子穿过各光学组件180A、180B的透镜时，光子遇到光带155A-N。当特定的光子遇到特定的光带时，光子要么被重定向到用户的眼睛，要么传递到下一个光带。可通过组合激光投影仪150调制和光带调制，来控制特定的光子或光束。在一个示例中，处理器通过启动机械、声学或电磁信号来控制光带155A-N。尽管如图所示为配有两个光学组件180A、180B，但是眼戴设备100也可采用其他布置，例如单个或三个光学组件，或，可根据眼戴设备100的应用或预期用户的具体情况，分别采用不同的光学组件180A、180B布置。
如图2A和2B进一步所示，眼戴设备100配有紧邻镜架105左侧面170A的左侧组块110A和紧邻镜架105右侧面170B的右侧组块110B。可在相应的170A、170B侧面上镜架105内集成组块110A、110B(如图所示)，或者实施为附接到相应170A、170B侧面上镜架105的单独部件。此外，还可在附接到镜架105的镜腿125A、125B内集成组块110A、110B。
在另一示例中，图2B所示的眼戴设备100可包括两个投影仪，左投影仪150A(未示出)和右投影仪150B(示为投影仪150)。左光学组件180A可包括左侧显示矩阵177A(未示出)和/或左光带组155’A、155’B、……155’N(155’，A到N，未示出)，其配置成与来自左投影仪150A的光相互作用。同理，右光学组件180B可包括右显示矩阵177B(未示出)和/或右光带组155”A、155”B、……155”N(155”，A到N，未示出)，其配置成与来自右投影仪150B的光相互作用。在该示例中，眼戴设备100包括左显示器和右显示器。
图4是示例视频合成和共享系统1000的功能框图，该系统1000包括通过各种网络995例如互联网连接的眼戴设备100、移动设备890和服务器系统998。如图所示，系统1000包括眼戴设备100和移动设备890之间的低功耗无线连接925和高速无线连接937。
眼戴设备100包括一个或多个可见光摄像头114A、114B，其能够捕捉静止图像和/或视频，如本文所述。摄像头114A、114B可具有对高速电路930的直接存储器访问(DMA)权限。如本文所述，可采用一对摄像头114A、114B用作立体摄像头。摄像头114A、114B可用于捕捉可被渲染成三维(3D)模型的初始深度图像，该三维模型是红色、绿色和蓝色(RGB)成像场景的肌理映射图像。设备100还可包括深度传感器213，其使用红外信号来估计物体相对于设备100的位置。在一些示例中，深度传感器213包括一个或多个红外发射器215和红外摄像头220。
眼戴设备100还包括每个光学组件180A、180B对应的两个图像显示器(一个与左侧170A相关联，一个与右侧170B相关联)。眼戴设备100还包括图像显示驱动器942、图像处理器912、低功耗电路920和高速电路930。各光学组件180A、180B的图像显示器用于呈现图像，包括静止图像和视频。图像显示驱动器942与各光学组件180A、180B的图像显示器耦合，以便控制显示的图像。眼戴设备100还包括用户输入设备991(例如，触摸传感器或触摸板)，以接收来自用户的二维输入选择。
图4所示眼戴设备100的组件位于一个或多个电路板上，例如镜框或镜腿中的印制电路板或柔性印制电路板。可替代地，或附加地，所示的组件可以位于眼戴设备100的组块、镜架、铰链或鼻梁架中。左右可见光摄像头114A、114B可包括数字摄像头元件，例如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、镜片或可用于捕捉数据(包括具有未知对象的场景的静止图像或视频)的任何其他相应可见光或光捕捉元件。
如图4所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在该示例中，图像显示驱动器942与高速电路930耦合，并由高速处理器932操作，以便驱动各光学组件180A、180B的左右图像显示器。高速处理器932可以是能够管理眼戴设备100所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器932包括使用高速无线电路936在高速无线连接937上管理到无线局域网(WLAN)的高速数据传输所需的处理资源。在某些示例中，高速处理器932执行眼戴设备100的操作系统，例如LINUX操作系统或其他此类操作系统，并且操作系统存储在存储器934中以供执行。除了任何其他任务之外，执行眼戴设备100的软件架构的高速处理器932用于管理与高速无线电路936的数据传输。在某些示例中，高速无线电路936被配置为实施电气和电子工程师协会(IEEE)802.11通信标准，在本文中也称为Wi-Fi。在其他示例中，其他高速通信标准可由高速无线电路936实现。
低功耗电路920包括低功耗处理器922和低功耗无线电路924。眼戴设备100的低功耗无线电路924和高速无线电路936可包括短程收发器(BluetoothTM)以及无线广域、局域或广域网收发器(例如，蜂窝或WiFi)。移动设备890包括经由低功耗无线连接925和高速无线连接937通信的收发器，并可以使用眼戴设备100的架构的细节来实现，网络995的其他元件也可以。
存储器934包括能够存储各种数据和应用程序的任何存储设备，其中包括由左右可见光摄像头114A、114B、红外摄像头220、图像处理器912生成的摄像头数据，以及由图像显示驱动器942生成的用于在各光学组件180A、180B的图像显示器上显示的图像。尽管图示中存储器934为与高速电路930集成，但是在其他示例中，存储器934可作为眼戴设备100独立的、脱机的元件。在某些此类示例中，电路由线路可以提供通过包括高速处理器932的芯片从图像处理器912或低功耗处理器922到存储器934的连接。在其他示例中，高速处理器932可以管理存储器934的寻址，使得低功耗处理器922将在需要涉及存储器934的读或写操作的任何时候均启动高速处理器932。
如图4所示，眼戴设备100的高速处理器932能够与摄像头系统(可见光摄像头114A、114B)、图像显示驱动器942、用户输入设备991以及存储器934连接。如图5所示，移动设备890的CPU 830可与摄像头系统870、移动显示驱动器882、用户输入层891和存储器840A耦合。眼戴设备100可执行本文所述的由眼戴设备100处理器932在存储器934中执行视频合成系统500而生成的任何功能的全部或子集。移动设备890可执行本文所述的由移动设备890的CPU830在闪存840A中执行视频合成系统500而生成的任何功能的全部或子集。可在视频合成系统500中划分功能，以便眼戴设备100捕捉视频、采集惯性测量单元数据和收集传感器数据，移动设备890执行计算、运算和组合功能。
服务器系统998可以是作为服务或网络计算系统一部分的一个或多个运算设备，例如，包括处理器、存储器和网络通信接口的网络计算系统，以通过网络995与眼戴设备100和移动设备890通信。
眼戴设备100的输出部件包括可视元件，例如与图2A和2B中所述各透镜或光学组件180A、180B相关联的左右图像显示器(例如下列显示器：液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导管)。眼戴设备100可包括面向用户的指示器(例如，LED、扬声器或振动致动器)，和/或面向外的信号(例如，LED、扬声器)。各光学组件180A、180B的图像显示器由图像显示驱动器942驱动。在一些示例配置中，眼戴设备100的输出部件还包括附加指示器，例如听觉元件(例如，扬声器)、触觉部件(例如，致动器，例如生成触觉反馈的振动马达)和其他信号发生器。例如，设备100可包括面向用户的一组指示器和面向外的一组信号。面向用户的指示器组配置可确保能够被设备100的用户看到或以其他方式感知。例如，设备100可包括布置成便于用户看到的LED显示器、布置成产生用户可听到的声音的扬声器、或提供用户可感觉到的触觉反馈的致动器。面向外的信号组配置可确保被设备100附近的观察者看到或感知到。同理，设备100可以包括LED、扬声器或配置和布置可确保能够被观察者感知到的致动器。
眼戴设备100的输入组件可包括字母数字输入组件(例如，配置为接收字母数字输入的触摸屏或触摸板、光电键盘或其他字母数字配置元件)、基于指针的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指针工具)、触觉输入组件(例如，按钮开关、感测触摸或触摸手势位置和/或力度的触摸屏或触摸板、或其他触觉配置元件)，以及音频输入组件(例如，麦克风)以及类似部件。移动设备890和服务器系统998可包括字母数字、基于指针、触觉、音频和其他输入组件。
在一些示例中，眼戴设备100包括传感器阵列980，如图4所示。传感器阵列980的元件包括可见光摄像头114A、114B、用户输入设备991(例如，触摸屏或触摸板、按钮开关)、麦克风993(例如，两个及以上麦克风组成的阵列)、深度传感器213以及称为惯性测量单元972的运动感测组件的集合。运动感测组件可以是具有微小移动部件的微机电系统(MEMS)，其尺寸通常小到足以组成微芯片的一部分。
在一些示例配置中，惯性测量单元(IMU)972包括加速度计974、陀螺仪976和磁力计978。加速度计974感测设备100相对于三个正交轴(x，y，z)的线性加速度(包括重力加速度)。陀螺仪976感测设备100围绕三个旋转轴(俯仰、滚动、横摆)的角速度。加速度计974和陀螺仪976可协同提供关于设备相对于六个轴(x、y、z、俯仰、滚动、横摆)的位置、方向和运动数据。磁力计978感测设备100相对于磁北的行进方向。可由位置传感器来确定设备100的位置，例如GPS接收器、用于生成相对位置坐标的一个或多个收发器、高度传感器或气压计以及其他方位传感器。此类定位系统坐标还可以通过无线连接925、937从移动设备890经由低功耗无线电路924或高速无线电路936接收。
惯性测量单元972可包括数字运动处理器或程序或与之协作，该数字运动处理器或程序从组件收集原始数据，并计算关于设备100的位置、方向和运动的多个有用值。例如，对从加速度计974收集的加速度数据进行积分，以获得相对于每个轴(x，y，z)的速度数据；然后再次积分，以获得设备100的位置(线性坐标x、y和z上)数据。可对来自陀螺仪976的角速度数据进行积分，以获得设备100的位置(球面坐标上)数据。用于计算这些有用值的程序可存储在存储器934中，并由眼戴设备100的高速处理器932执行。
眼戴设备100可选地包括额外的外围传感器，例如生物识别传感器、专门传感器或与眼戴设备100集成的显示元件。例如，外围设备元件可包括任何输入/输出组件，输入/输出组件包括输出组件、运动组件、位置组件或本文所述的任何其他此类元件。例如，生物识别传感器可包括检测表达(例如，手部表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑电波)、或识别人类(例如，基于声音、视网膜、面部特征、指纹或诸如脑电图数据的电生物信号的识别)等的组件。
如图4所示，视频合成和共享系统1000包括通过网络与眼戴设备100耦合的运算设备，例如移动设备890。如本文所述，眼戴设备100的传感器阵列980包括用于捕捉一系列原始视频片段的一个或多个可见光摄像头114A、114B，用于收集关于眼戴设备100的位置、方向和运动数据的惯性测量单元972。
视频合成和共享系统1000还包括用于存储指令的存储器，包括视频合成系统500中的指令，以及用于执行指令的处理器。系统1000可利用眼戴设备100的存储器934和/或移动设备890的存储元件840A、840B(图5)。此外，系统1000可利用眼戴设备100的处理器元件932、922和/或移动设备890的中央处理单元(CPU)830(图5)。此外，系统1000还可利用服务器系统998的存储器和处理器元件。就此方面而言，可在眼戴设备100和移动设备890和/或服务器系统998之间共享或分布视频合成和共享系统1000的存储器和处理功能。
移动设备890可以是智能手机、平板电脑、膝上型计算机、接入点或能够使用低功耗无线连接925和高速无线连接937两者与眼戴设备100连接的任何其他此类设备。移动设备890接入服务器系统998和网络995。网络995可包括有线和无线连接的任意组合。
图5是示例移动设备890的高级功能框图。移动设备890包括闪存840A，闪存840A包括执行本文所述的所有功能或功能子集的程序。移动设备890可包括摄像头870，其包括至少两个可见光摄像头(具有重叠视野的第一和第二可见光摄像头)或至少一个可见光摄像头和具有基本重叠视野的深度传感器。闪存840A还可以包括经由摄像头870生成的多个图像或视频。
如图所示，移动设备890包括图像显示器880、控制图像显示器880的移动显示器驱动器882和控制器884。在图4的示例中，图像显示器880包括用户输入层891(例如，触摸屏)，该用户输入层891层叠在图像显示器880所使用的屏幕之上或者集成在该屏幕内。
可使用的触摸屏型移动设备示例包括(但不限于)智能手机、个人数字助理(PDA)、平板电脑、笔记本电脑或其他便携式设备。然而，以示例的方式提供触摸屏型设备的结构和操作，并且本文所述的主题技术并不打算限于此。就本次讨论而言，图4提供了具有用户界面的示例移动设备890的框图图示，该用户界面包括用于接收输入(通过手、手写笔或其他工具触摸、多点触摸或手势等)的触摸屏输入层891和用于显示内容的图像显示器880。
如图4所示，移动设备890包括至少一个数字收发器(XCVR)810，显示为WWAN XCVR，用于经由广域无线移动通信网络进行数字无线通信。移动设备890还包括附加的数字或模拟收发器，例如用于短程网络通信的短程XCVR 820，例如经由NFC、VLC、DECT、ZigBee、BluetoothTM，或者Wi-Fi。例如，短程XCVR820可采用任何可用的双向无线局域网(WLAN)收发器的形式，该收发器的类型与无线局域网中实现的一个或多个标准通信协议兼容，例如IEEE 802.11下的一个Wi-Fi标准。
移动设备890可包括全球定位系统(GPS)接收器，以生成用于定位移动设备890的位置坐标。可替代地，或附加地，移动设备890可利用短程XCVR820和WWANXCVR810中的一个或二者来生成用于定位的位置坐标。例如，蜂窝网络、WiFi或基于BluetoothTM的定位系统可以生成非常精确的位置坐标，尤其是在组合使用时。这种位置坐标可以经由XCVR810、820通过一个或多个网络连接传输到眼戴设备。
收发器810、820(即，网络通信接口)符合现代移动网络使用的一个或多个数字无线通信标准。WWAN收发器810的示例包括(但不限于)配置为根据码分多址(CDMA)和第三代合作伙伴计划(3GPP)网络技术运行的收发器，例如包括但不限于第三代合作伙伴计划2(或3GPP2)和LTE，有时称为“4G”。例如，收发器810、820提供双向无线信息通信，包括数字化音频信号、静态图像和视频信号、用于显示的网页信息以及与网页相关的输入，和与移动设备890进行的各类移动消息通信。
移动设备890还包括用作中央处理单元(CPU)的微处理器，如图4中的CPU 830所示。处理器是一种电路，其元件被构造和布置成执行一个或多个处理功能，通常是各种数据处理功能。虽然可以使用离散逻辑组件，但示例中使用了构成可编程CPU的组件。例如，微处理器包括一个或多个集成电路(IC)芯片，其中包含执行CPU功能的电子元件。例如，CPU 830可以基于任何已知或可用的微处理器架构，例如使用ARM架构的精简指令集计算(RISC)，如当今在移动设备和其他便携式电子设备中常用的那样。当然，处理器电路的其他布置可用于组成CPU 830或智能手机、膝上型计算机和平板电脑中的处理器硬件。
CPU 830用作移动设备890的可编程主控制器，通过配置移动设备890来执行各种操作，例如，根据CPU 830可执行的指令或程序。例如，此类操作可包括移动设备的各种一般操作，以及与移动设备上的应用程序编程相关的操作。尽管可以通过使用硬接线逻辑来配置处理器，但移动设备中的典型处理器是通过执行编程来配置的一般处理电路。
移动设备890包括用于存储程序和数据的存储器或存储系统。该示例中，根据需要，存储器系统可包括闪存840A、随机存取存储器(RAM)840B和其他存储器组件。RAM 840B用作由CPU 830处理的指令和数据的短期存储，例如作为工作数据处理存储器。闪存840A通常提供更长时间的存储。
因此，在移动设备890的示例中，闪存840A用于存储由CPU 830执行的编程或指令。根据设备的类型，移动设备890存储并运行移动操作系统，通过该移动操作系统执行特定应用程序。移动操作系统的示例包括Google Android、Apple iOS(用于iPhone或iPad设备)、Windows Mobile、Amazon Fire OS、RIM BlackBerry OS等。
再次参考图4，视频合成和共享系统1000包括通过网络995与移动设备890耦合的眼戴设备100。存储器934包括视频合成系统500、捕捉配置文件510和处理配置文件520。由处理器932执行视频合成系统500的指令可将眼戴设备100配置为——根据捕捉配置文件510——捕捉一系列540原始视频片段，并收集与系列540中的每个视频片段相关联的数据集572。每个数据集572包括由惯性测量单元972收集的摄像头方向相关信息。在一些实施方式中，每个数据集572包括与每个视频片段中的每帧相关联的摄像头方位相关信息。
在捕捉视频片段系列540之后，根据一个实施方式，移动CPU 830对视频合成系统500的指令的持续执行将移动设备890配置为根据处理配置文件520来处理视频片段系列540。在一些示例配置中，处理配置文件520包括稳态设置。示例稳态设置包括“否”(在处理期间不执行稳态)、“是”和“自定义”(其中用户选择特定类型的稳态)。可将默认稳态设置设置为“是”，并且可包括指令，以：(1)基于与每个特定视频片段相关联的数据集572，计算与每个原始视频片段相关联的摄像头方向585，(2)基于计算的摄像头方向585，计算稳定化输出路径590，以及(3)根据稳定化输出路径590，组合视频片段系列540，以生成视频合成文件600。
捕捉配置文件510是一组条件或变量，用于确定眼戴设备100上摄像头114A、114B将如何以及何时捕捉原始视频片段系列540。在一个示例中，捕捉配置文件510包括开始条件、片段持续时间、暂停持续时间(片段之间)和片段数量。例如，捕捉配置文件510可包括相当于晚上9:18的开始条件、六秒的片段持续时间、二十秒的暂停持续时间以及十个片段数量。根据该捕捉配置文件，眼戴设备100上摄像头114A、114B将从晚上9:18开始捕捉十个六秒的视频片段，每个片段之间有二十秒的暂停时间。因为在视频捕捉之前就已设置好条件是，并且不会改变，故该示例捕捉配置文件510又称为固定捕捉配置文件。
原始视频片段系列540包括至少第一和第二原始视频片段。第一原始视频片段包括多个第一帧。第二原始视频片段包括多个第二帧，以此类推。
眼戴设备100的惯性测量单元(IMU)972在捕捉期间收集关于眼戴设备100的位置、方向和运动信息。视频合成系统500将眼戴设备100配置为在捕捉每个视频片段的过程中从惯性测量单元收集数据。眼戴设备100将在捕捉第一原始视频片段期间从惯性测量单元972收集第一数据集；然后在捕捉第二原始视频片段期间从惯性测量单元972收集第二数据集，以此类推，直到捕捉到特定捕捉配置文件510中指定数量的片段为止。来自惯性测量单元972的每个数据集与被捕捉的原始视频片段的至少一帧相关联。在一些实施方式中，眼戴设备100将从惯性测量单元972收集与第一原始视频片段的每个第一帧相关联的第一数据集。从惯性测量单元972收集的数据集572可存储在存储器934中，如图4所示。
对于存储在存储器934中的每个数据集572，视频合成系统500配置移动设备890来计算摄像头方向585。由移动设备890计算的摄像头方向585可存储在存储器840A中，如图5所示。
视频合成系统500将移动设备890配置为计算稳定化输出路径590，该稳定化输出路径590基于与每个视频片段相关联的摄像头方向585。稳定化输出路径590可基于任何一种视频稳态算法和过程来计算，包括在延时摄影和其他视频合成系统中使用的算法和过程。在一些实施方式中，稳定化输出路径590是摄像头从第一个原始视频片段到最后一个原始视频片段行进的假设三维路线。与每个视频片段相关联的摄像头方向585包括离散位置和方向(x、y、z、俯仰、滚转、横摆)，其可用于绘制摄像头沿以行进的该假设路线的路径点。可移动或调整每个视频片段中的一个或多个帧，确保每个路径点位于稳定化输出路径590上。在一些算法中，可移动或以其他方式调整每个视频片段中的一个或多个帧，确保每个帧相对于参考平面(例如墙壁、桌子或地平线)保持稳定。沿稳定化输出路径590布置每个视频片段的一个或多个帧，可生成与原始视频片段系列540相比更平滑、更稳定的最终视频合成文件600。
在一些示例实施方式中，通过执行视频合成系统500的指令，可根据捕捉配置文件510配置眼戴设备100以收集传感器数据580，其包括由传感器阵列980收集的信息。传感器阵列980包括摄像头114A、114B、诸如触摸板的用户输入设备991、麦克风993、深度传感器213和惯性测量单元(IMU)972。在该示例中，捕捉配置文件510为反应式捕捉配置文件；不同于一组固定的条件，这些条件对从传感器阵列980实时收集的传感器数据580作出反应。例如，反应式捕捉配置文件可包括反应式开始条件，该条件配置为当传感器数据580包括开始输入时开始录制。开始输入可以是由传感器阵列980中的麦克风993接收的听觉开始命令、由输入装置991接收的物理开始命令(例如触摸板上的轻击或轻击模式)、由佩戴者做出并由摄像头114A、114B捕捉的开始手势、在数据集572指示下由惯性测量单元972收集的眼戴设备100的选定方向(垂直、水平、静止一段时间)、或由摄像头114A、114B捕捉的选定照明条件。眼戴设备100的选定方向可以包括位置分量和时间分量。例如，选定方向可包括在最小时间周期(例如，保持数秒而不移动超过阈值)内保持基本水平的位置(例如，在面部上)。类似地，选定方向可以包括在最小时间段内保持基本垂直的位置(例如，在口袋中，挂在衬衫领子上)。
在另一个示例中，反应式捕捉配置文件可以包括反应式片段持续时间，该反应式片段持续时间被配置为当传感器数据580包括来自麦克风993的指示语音进行中的信息时调整(延长或缩短)当前片段持续时间。在这方面，可调整当前片段持续时间，以避免打断或切断用户、观察者或眼戴设备100附近的其他用户的活动语音。在原始视频片段的捕捉期间，麦克风993提供实时传感器数据580。如果检测到活动语音，并且其在计划或默认的片段持续时间之前结束，则可将当前片段持续时间调整(缩短)为在语音结束之后结束。如果检测到活动语音，并且其在计划或默认的片段持续时间的结尾或接近结尾时还在继续，则可将当前片段持续时间调整(延长)到在语音结束后结束。在一个实施方式中，当前片段持续时间被调整为包括：(1)只要麦克风指示有语音正在进行即持续的活跃时段，以及(2)麦克风指示语音已结束之后的缓冲时段(例如，一秒或两秒)，以避免中断或突然结束语音。
在相关方面，与活动语音相关的开始输入可用于调整何时(a)结束片段之间的暂停，以及(b)开始捕捉下一个原始视频片段。反应式捕捉配置文件可包括反应式暂停持续时间，其被配置为可支持当传感器数据580包括来自麦克风993的指示有语音正在进行中的信息时，调整(延长或缩短)当前暂停。这种反应式设置可避免在活动语音中间开始新的原始视频片段。如果检测到活动语音，并且其在计划或默认的暂停持续时间的结尾或接近结尾时还在继续，则可将当前暂停持续时间调整(延长)到在语音结束后结束。在一个实施方式中，当前暂停持续时间被调整为包括：(1)只要麦克风指示有语音正在进行即持续的活跃时段，以及(2)麦克风指示语音已结束后的一段缓冲时间(例如，一秒或两秒)，以避免在下一个原始视频片段中捕捉到语音的结尾部分。暂停持续时间或过程的结束与下一个原始视频片段的开始重合。
反应式捕捉配置文件可包括反应式数量片段，确保眼戴设备100被配置为当从传感器阵列980实时收集的传感器数据580包括停止输入时停止当前片段。停止输入可以是由麦克风993接收的听觉停止命令、由输入设备991接收的物理停止命令(例如触摸板上的轻击或轻击模式)、由佩戴者做出并由摄像头114A、114B捕捉的停止手势、在数据集572指示下由惯性测量单元972收集的停止摄像头取向、由摄像头114A、114B捕捉的停止照明条件、或由眼戴设备100指示的电池电量低或电量为零状态。
反应式捕捉配置文件可以包括反应式摄像头标识符，确保眼戴设备100被配置为对从传感器阵列980实时收集的传感器数据580作出响应，以激活特定的摄像头(左、右、左和右)。例如，如果由左摄像头114A感测的环境条件指示附近的照明水平不足(例如，完全黑暗、被遮挡、太暗或太亮而无法捕捉可用视频)，则设备100可根据反应式摄像头标识符停用左侧摄像头114A并激活右侧摄像头114B。在另一个示例中，当从传感器阵列980实时收集的传感器数据580表明环境条件或设备移动特别适合于合成和稍后的3D显示时，设备可激活两个摄像头114A、114B以进行立体录制(用于稍后的3D观看)。
在另一方面，捕捉配置文件510可以包括控制面向用户的指示器和/或面向外的信号的一个或多个设置。面向用户的指示器的尺寸、形状和位置设置可支持向眼戴设备100的佩戴者发出事件警告或通知。例如，面向用户的LED可以被配置为在录制开始时打开，或者面向用户的扬声器可以被配置为在录制结束时发出声音提示。在一些示例中，面向用户的指示器是由连接到眼戴设备100的振动致动器产生的触觉信号，或者来自与眼戴设备100连接的扬声器的可听声音。
面向外的信号的尺寸、形状和位置设置可支持向除了眼戴设备100的佩戴者之外的观察者发出事件警告或通知。例如，面朝外的LED可被配置为在录制正在进行时开启，以通知观察者正在进行视频捕捉。
在一些示例中，处理配置文件520包括稳态设置(例如，否、是、特定稳态算法的个性化选择)、间隔效果(应用于片段之间的视觉效果(如有)；例如，剪切、淡入淡出、淡化、擦除)、视觉层(例如，色调设置、颜色渐变、边框、外框、覆盖元素)、音频层(例如，静音、环境声音、音乐音轨、画外音叙述)以及回放速度(相对于录制速度)。每个设置可以包括默认设置，以及支持用户调整每个设置的用户界面。例如，默认的处理配置文件520可以包括用于稳态设置的“是”、用于间隔效果的“剪切”(使视频合成文件600在片段之间无缝衔接)、用于视觉层的“无”(无色调设置或添加元素)、用于音频层的“静音”、以及用于回放速度的“2倍速”。
在相关方面，处理配置文件520可以是一个或多个反应式设置；即，根据第一或第二数据集和/或第一或第二摄像头方向和/或稳定化输出路径而改变的设置。例如，第一数据集内的信息可表明特定的稳态算法非常适合该数据。包含在稳定化输出路径中的信息可表明特定的回放速度非常适合回放期间的视频合成。
如本文所述，可在一个或多个计算机软件应用程序或编程指令集中实现本文描述的用于眼戴设备100、移动设备890和服务器系统998的任何视频合成和共享功能。根据一些示例，“单个功能”、“多个功能”、“单个应用”、“多个应用”、“单个指令”、“多个指令”、或“编程”是用于执行程序中定义的功能的程序。可以使用各种编程语言来创建一个或多个以各种方式构造的应用程序，例如面向对象的编程语言(例如，Objective-C、Java或C++)或程序设计语言(例如，C或汇编语言)。在特定示例中，第三方应用程序(例如，由除特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用程序)可以是在IOSTM、ANDROIDTM、
Figure BDA0003564594920000171
Phone等移动操作系统(如IOS)上运行的移动软件或其他移动操作系统。在此示例中，第三方应用程序可以调用操作系统提供的API调用，以促进本文所述的功能。
因此，机器可读介质可采用多种形式的有形存储介质。非易失性存储介质包括(例如)光盘或磁盘，例如任何计算机设备等中的任何存储设备，(例如)可用于实现客户端设备、媒体网关、代码转换器等。如附图所示。易失性存储介质包括动态存储器，例如该等计算机平台的主存储器。有形传输介质包括同轴电缆、铜线和光纤，包括构成计算机系统内总线的导线。载波传输介质可采取电信号或电磁信号的形式，或声波或光波的形式，例如在射频(RF)和红外(IR)数据通信期间所生成的信号形式。因此，计算机可读介质的常见形式包括(例如)：软驱、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡纸带、任何其他使用孔洞图案的物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或内存匣、传输数据或指令的载波、传输这种载波的电缆或链路、或，计算机可从中读取程序代码和/或数据的任何其他介质。许多此类形式的计算机可读介质可能涉及将一个或多个指令的一个或多个序列传送到处理器以供执行。
除在上一段中所述之外，所述和所示内容不意指也不应被解释成导致任何部件、步骤、功能、目标、益处、优点或等同物专属于公众，无论其是否记载在权利要求中。
应了解的是，除非本文另行规定具体含义，否则本文使用的术语和表达具有相对于该等术语和表达各自的相应调查研究领域所赋予该等术语和表达的一般含义。诸如“第一”和“第二”等关系术语可仅用于将一个实体或动作与另一个实体或动作区别开，而不必要求或暗示该等实体或动作之间存在任何实际的该等关系或顺序。术语“包括”、“包含”、“含有”、“包括在内”或其任何其他变体意在涵盖非排他性的包含，使得包括或包含一系列要素或步骤的过程、方法、物品或装置，不仅包括这些要素或步骤，还可以包括未明确列出的或该等过程、方法、物品或装置固有的其他要素或步骤。在没有进一步限制的情况下，前面带有“一个”的要素并不排除在包括该要素的过程、方法、物品或装置中存在其他相同要素。
除非另有说明，否则本说明书(包括随后的权利要求)中所述的任何和所有测量值、数值、额定值、位置、量级、尺寸等规格均为近似值，而非精确值。此类数量意在具有与其涉及的功能相符并且与其所属的领域中的惯例相符的合理范围。例如，除非另有明确说明，否则参数值等可能与规定量相差±10％。
此外，在前述的具体实施方式中，可以看出，为了简化本公开，各种示例将各种特征组合在一起。这种公开方法不应被解释为反映如下意图，即要求保护的示例要求具有比每项权利要求中明确叙述的特征更多的特征。相反，正如以下权利要求所反映的，要保护的主题不在于任何单个公开示例的全部特征。因此，特此将以下权利要求并入具体实施方式，每项权利要求作为单独要求保护的主题独立存在。
尽管前述内容描述了被认为是最佳的方式和其他示例，但可以理解的是，在该等方式和示例中可以进行各种修改，本文公开的主题可以以各种形式和示例实现，并且该等方式和示例可以应用于多种应用，本文仅描述了其中一些应用。以下权利要求旨在要求保护属于本概念真正范围内的任何以及所有修改和变化。

Claims (20)

1.一种视频合成方法，包括：
选择包括开始条件、片段持续时间、暂停持续时间和片段数量的捕捉配置文件；
使用与惯性测量单元连接并由电子设备支持的摄像头，根据所述捕捉配置文件捕捉一系列原始视频片段，其中所述系列至少包括包含多个第一帧的第一原始视频片段和包含多个第二帧的第二原始视频片段；
在所述第一原始视频片段的所述捕捉期间，从所述惯性测量单元收集第一数据集；
在所述第二原始视频片段的所述捕捉期间，从所述惯性测量单元收集第二数据集；
基于所述第一数据集计算与所述第一原始视频片段相关联的第一摄像头方向；
基于所述第二数据集计算与所述第二原始视频片段相关联的第二摄像头方向；
基于所述第一摄像头方向和所述第二摄像头方向计算稳定化输出路径；以及
根据所述稳定化输出路径组合所述一系列原始视频片段，以生成视频合成文件。
2.根据权利要求1所述的方法，其中所述电子设备是眼戴设备，其中所述摄像头包括一个或多个摄像头，其中所述惯性测量单元包括加速度计、陀螺仪和磁力计，并且其中采集所述第一数据集的所述步骤包括：
从所述加速度计采集相对于三个正交轴的第一线性加速度，从所述陀螺仪采集相对于三个旋转轴的第一角速度，以及从所述磁力计采集相对于磁北的第一行进方向。
3.根据权利要求1所述的方法，其中所述选择捕捉配置文件的步骤包括：
选择固定捕捉配置文件，其中所述开始条件是时钟时间或倒计时，其中所述片段持续时间是固定的时间段，其中所述暂停持续时间是固定间隔时间，并且其中所述片段数量为整数。
4.根据权利要求1所述的方法，其中所述电子设备还包括传感器阵列，所述传感器阵列包括所述照摄像头、所述惯性测量单元、麦克风和触摸板，并且其中所述选择捕捉配置文件的步骤包括：
选择反应式捕捉配置文件，其中所述开始条件、所述片段持续时间、所述暂停持续时间和所述片段数量中的一个或多个为依赖从所述传感器阵列实时采集的数据之变量。
5.根据权利要求4所述的方法，其中所述反应式捕捉配置文件包括反应式开始条件，该条件被配置成当所述数据包括从由以下各项组成的组中选择的开始输入时开始所述捕捉步骤：由所述麦克风接收的听觉开始命令、由所述触摸板接收的物理开始命令、由所述摄像头捕捉的开始手势、由所述惯性测量单元指示的选择方向、以及由所述摄像头指示的选择照明条件。
6.根据权利要求5所述的方法，其中所述选择方向是从由以下各项组成的组中选择的条件：在第一最小时间段内保持的基本水平位置、在第二最小时间段内保持的基本垂直位置、在第三最小时间段内保持的基本无移动位置。
7.根据权利要求4所述的方法，其中所述反应式捕捉配置文件包括反应式暂停持续时间，所述反应式暂停持续时间被配置为当所述数据包括所述开始输入时，开始捕捉所述系列中的下一个原始视频片段的所述步骤。
8.根据权利要求4所述的方法，其中所述反应式捕捉配置文件包括反应式片段持续时间，所述反应式片段持续时间被配置成在与正被捕捉的当前视频片段相关联的当前片段持续时间期间，只要从所述麦克风实时采集的所述数据指示有正在进行的语音，即调整所述当前片段持续时间以包括活跃期，以及在从所述麦克风实时采集的所述数据后的缓冲期指示所述语音的结束。
9.根据权利要求4所述的方法，其中所述反应式捕捉配置文件包括反应量，该反应量被配置成在与正被捕捉的当前视频片段相关联的当前片段持续时间期间，当从所述传感器阵列实时采集的所述数据包括从由以下各项组成的组中选择的停止输入时，终止所述当前片段持续时间：由所述麦克风接收的听觉停止命令，由所述触摸板接收的物理停止命令，由所述摄像头捕捉的停止手势，由所述惯性测量单元指示的停止照摄像头取向，由所述摄像头指示的停止照明状态，以及由所述电子设备指示的电池电量低状态。
10.根据权利要求1所述的方法，其进一步包括：
将所述第一摄像头方向和所述第二摄像头方向从所述电子设备传输到移动设备；以及
选择包括稳态设置、间隔效果、视觉层、音频层和回放速度的处理配置文件，其中，根据所述处理配置文件执行组合所述原始视频片段系列的所述步骤。
11.一种视频合成和共享系统，包括：
电子设备，其包括：
一台眼戴设备，包括一个摄像头和一个惯性测量单元；
存储器；
一个与所述存储器和所述摄像头耦合的处理器；以及
存储在所述存储器中的视频合成系统程序，其中由所述处理器执行所述程序配置系统以执行功能，包括以下功能：
选择包括开始条件、片段持续时间、暂停持续时间和片段数量的捕捉配置文件；
使用所述摄像头根据所述捕捉配置文件捕捉一系列原始视频片段，其中所述系列至少包括包含多个第一帧的第一原始视频片段和包含多个第二帧的第二原始视频片段；
在所述第一原始视频片段的所述捕捉期间，从所述惯性测量单元采集第一数据集；
在所述第二原始视频片段的所述捕捉期间，从所述惯性测量单元采集第二数据集；
基于所述第一数据集计算与所述第一原始视频片段相关联的第一摄像头方向；
基于所述第二数据集计算与所述第二原始视频片段相关联的第二摄像头方向；
基于所述第一摄像头方向和所述第二摄像头方向计算稳定化输出路径；以及
根据所述稳定化输出路径组合所述一系列原始视频片段，以生成视频合成文件。
12.根据权利要求11所述的系统，其中所述惯性测量单元包括加速度计、陀螺仪和磁力计，其中所述采集第一数据集和第二数据集的功能还包括以下功能：
从所述加速度计采集相对于三个正交轴的第一线性加速度，从所述陀螺仪采集相对于三个旋转轴的第一角速度，以及从所述磁力计采集相对于磁北的第一行进方向。
13.根据权利要求11所述的系统，其中所述选择捕捉配置文件的功能还包括以下功能：
选择固定捕捉配置文件，其中所述开始条件是时钟时间或倒计时，其中所述片段持续时间是固定时期，其中所述暂停持续时间是固定间隔时间，并且其中所述片段数量为整数。
14.根据权利要求11所述的系统，其中所述眼戴设备还包括传感器阵列，所述传感器阵列包括所述摄像头、所述惯性测量单元、麦克风和触摸板，并且其中所述选择捕捉配置文件的功能还包括以下功能：
选择反应式捕捉配置文件，其中所述开始条件、所述片段持续时间、所述暂停持续时间和所述片段数量中的一个或多个为依赖从所述传感器阵列实时采集的数据之变量。
15.根据权利要求14所述的系统，其中所述反应式捕捉配置文件包括反应式开始条件，该条件被配置成当所述数据包括从由以下各项组成的组中选择的开始输入时开始所述系列捕捉功能：由所述麦克风接收的听觉开始命令、由所述触摸板接收的物理开始命令、由所述摄像头捕捉的开始手势、由所述惯性测量单元指示的选择方向、以及由所述摄像头指示的选择照明条件。
16.根据权利要求15所述的系统，其中所述选择方向是从由以下各项组成的组中选择的条件：在第一最小时间段内保持的基本水平位置、在第二最小时间段内保持的基本垂直位置、在第三最小时间段内保持的基本无移动位置。
17.根据权利要求14所述的系统，其中所述反应式捕捉配置文件包括反应式片段持续时间，所述反应式片段持续时间被配置成在与正被捕捉的当前视频片段相关联的当前片段持续时间期间，只要从所述麦克风实时采集的所述数据指示有正在进行的语音，即调整所述当前片段持续时间以包括活跃期，以及在从所述麦克风实时采集的所述数据后的缓冲期指示所述语音的结束。
18.根据权利要求14所述的系统，其中所述反应式捕捉配置文件包括反应量，该反应量被配置成在与正被捕捉的当前视频片段相关联的当前片段持续时间期间，当从所述传感器阵列实时采集的所述数据包括从由以下各项组成的组中选择的停止输入时，终止所述当前片段持续时间：由所述麦克风接收的听觉停止命令，由所述触摸板接收的物理停止命令，由所述摄像头捕捉的停止手势，由所述惯性测量单元指示的停止照摄像头取向，由所述摄像头指示的停止照明状态，以及由所述电子设备指示的电池电量低状态。
19.根据权利要求11所述的系统，其进一步包括以下功能：
将所述第一摄像头方向和所述第二摄像头方向从所述电子设备传输到移动设备；以及
选择包括稳态设置、间隔效果、视觉层、音频层和回放速度的处理配置文件，其中，根据所述处理配置文件执行组合所述原始视频片段系列的所述功能。
20.一种存储程序代码的非暂时性计算机可读介质，在执行该程序代码时，可使电子处理器执行以下步骤：选择包括开始条件、片段持续时间、暂停持续时间和片段数量的捕捉配置文件；
使用与惯性测量单元连接并由电子设备支持的摄像头，根据所述捕捉配置文件捕捉一系列原始视频片段，其中所述系列至少包括包含多个第一帧的第一原始视频片段和包含多个第二帧的第二原始视频片段；
在所述第一原始视频片段的所述捕捉期间，从所述惯性测量单元收集第一数据集；
在所述第二原始视频片段的所述捕捉期间，从所述惯性测量单元收集第二数据集；
基于所述第一数据集计算与所述第一原始视频片段相关联的第一摄像头方向；
基于所述第二数据集，计算与所述第二原始视频片段相关联的第二摄像头方向；
基于所述第一摄像头方向和所述第二摄像头方向计算稳定化输出路径；以及
根据所述稳定化输出路径组合所述一系列原始视频片段，以生成视频合成文件。
CN202080067646.5A 2019-09-27 2020-08-26 自动视频捕捉和合成系统 Pending CN114531951A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/585,603 2019-09-27
US16/585,603 US11320667B2 (en) 2019-09-27 2019-09-27 Automated video capture and composition system
PCT/US2020/047886 WO2021061326A1 (en) 2019-09-27 2020-08-26 Automated video capture and composition system

Publications (1)

Publication Number Publication Date
CN114531951A true CN114531951A (zh) 2022-05-24

Family

ID=75161914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080067646.5A Pending CN114531951A (zh) 2019-09-27 2020-08-26 自动视频捕捉和合成系统

Country Status (5)

Country Link
US (2) US11320667B2 (zh)
EP (1) EP4035348A4 (zh)
KR (1) KR20220070485A (zh)
CN (1) CN114531951A (zh)
WO (1) WO2021061326A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
US11297224B2 (en) * 2019-09-30 2022-04-05 Snap Inc. Automated eyewear device sharing system
US11195259B2 (en) * 2019-12-04 2021-12-07 Samsung Electronics Co., Ltd. Apparatus and method for dynamic multi-camera rectification using depth camera
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
EP4362612A1 (en) * 2021-09-10 2024-05-01 Samsung Electronics Co., Ltd. Glasses-type electronic device including flexible circuit board

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212414A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. Ar glasses with event and sensor triggered control of ar eyepiece applications
CN108028902A (zh) * 2015-07-16 2018-05-11 博拉斯特运动有限公司 集成传感器和视频运动分析方法
CN108156441A (zh) * 2016-12-06 2018-06-12 谷歌有限责任公司 视觉视频稳定
US20180259338A1 (en) * 2015-11-13 2018-09-13 FUR Belgium BVBA Sonar sensor fusion and model based virtual and augmented reality systems and methods
CN108886584A (zh) * 2016-04-20 2018-11-23 三星电子株式会社 用于为移动视频生成高保真缩放的方法和装置
CN109284264A (zh) * 2012-09-16 2019-01-29 吴东辉 一种图像文件格式及生成方法及装置及应用

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294366A1 (en) * 2013-04-01 2014-10-02 Michael-Ryan FLETCHALL Capture, Processing, And Assembly Of Immersive Experience
US20160286203A1 (en) 2015-03-27 2016-09-29 Osterhout Group, Inc. See-through computer display systems
US10002640B2 (en) 2014-02-28 2018-06-19 Microsoft Technology Licensing, Llc Hyper-lapse video through time-lapse and stabilization
US9185290B1 (en) 2014-06-20 2015-11-10 Nearmap Australia Pty Ltd Wide-area aerial camera systems
US10122998B2 (en) * 2015-04-30 2018-11-06 Seiko Epson Corporation Real time sensor and method for synchronizing real time sensor data streams
US10192582B2 (en) 2015-05-21 2019-01-29 Adobe Inc. Automatic generation of time-lapse videos
US10870398B2 (en) 2015-07-28 2020-12-22 Ford Global Technologies, Llc Vehicle with hyperlapse video and social networking
US10334154B2 (en) * 2015-08-31 2019-06-25 Snap Inc. Automated adjustment of digital image capture parameters
KR102658303B1 (ko) * 2016-02-18 2024-04-18 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US10306289B1 (en) * 2016-09-22 2019-05-28 Apple Inc. Vehicle video viewing systems
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212414A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. Ar glasses with event and sensor triggered control of ar eyepiece applications
CN109284264A (zh) * 2012-09-16 2019-01-29 吴东辉 一种图像文件格式及生成方法及装置及应用
CN108028902A (zh) * 2015-07-16 2018-05-11 博拉斯特运动有限公司 集成传感器和视频运动分析方法
US20180259338A1 (en) * 2015-11-13 2018-09-13 FUR Belgium BVBA Sonar sensor fusion and model based virtual and augmented reality systems and methods
CN108886584A (zh) * 2016-04-20 2018-11-23 三星电子株式会社 用于为移动视频生成高保真缩放的方法和装置
CN108156441A (zh) * 2016-12-06 2018-06-12 谷歌有限责任公司 视觉视频稳定

Also Published As

Publication number Publication date
KR20220070485A (ko) 2022-05-31
EP4035348A4 (en) 2023-11-29
US20210096388A1 (en) 2021-04-01
US20220252894A1 (en) 2022-08-11
WO2021061326A1 (en) 2021-04-01
US11320667B2 (en) 2022-05-03
EP4035348A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
US11169600B1 (en) Virtual object display interface between a wearable device and a mobile device
US11275453B1 (en) Smart ring for manipulating virtual objects displayed by a wearable device
CN115917498A (zh) 使用语音和文字字幕的增强现实体验
US11320667B2 (en) Automated video capture and composition system
CN115735183A (zh) 增强现实眼戴器3d绘画
CN115735178A (zh) 具有对话气泡和翻译的增强现实眼戴器
CN115917465A (zh) 使用卷帘快门相机的视觉惯性追踪
KR20230079155A (ko) 3d 프레임들을 갖는 가상 장면을 포함하는 아이웨어
CN117321537A (zh) 眼睛佩戴设备动态功率配置
US11610607B1 (en) Video highlights with user viewing, posting, sending and exporting
CN115735149A (zh) 包括多用户共享交互式体验的眼戴器
CN115735179A (zh) 增强现实眼戴器与情绪共享
CN115735175A (zh) 可共享注视响应观看的眼戴器
US11900058B2 (en) Ring motion capture and message composition system
CN117859120A (zh) 具有同时usb通信的片上系统
US11541305B2 (en) Context-sensitive remote eyewear controller
KR20230025911A (ko) 시각적 관성 오도메트리 시스템들에 대한 동적 센서 선택
US11733789B1 (en) Selectively activating a handheld device to control a user interface displayed by a wearable device
US11994751B1 (en) Dual system on a chip eyewear
US20230274547A1 (en) Video highlights with user trimming
KR20230079156A (ko) 컨텍스트-기반 전송 기능을 갖는 이미지 캡처 아이웨어
CN117501702A (zh) 具有动态转码节流的设备
CN118119911A (zh) 双片上系统眼镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination