CN112771855A - 在三维深度视频和图像中创建冲击波 - Google Patents

在三维深度视频和图像中创建冲击波 Download PDF

Info

Publication number
CN112771855A
CN112771855A CN201980061807.7A CN201980061807A CN112771855A CN 112771855 A CN112771855 A CN 112771855A CN 201980061807 A CN201980061807 A CN 201980061807A CN 112771855 A CN112771855 A CN 112771855A
Authority
CN
China
Prior art keywords
shockwave
image
initial
depth
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980061807.7A
Other languages
English (en)
Inventor
萨基·卡茨
埃亚尔·扎克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snape Co
Original Assignee
Snape Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snape Co filed Critical Snape Co
Publication of CN112771855A publication Critical patent/CN112771855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H04B2001/3866—Transceivers carried on the body, e.g. in helmets carried on the head

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种虚拟冲击波创建系统包括眼戴设备，所述眼戴设备包括框架、连接到所述框架侧面的眼戴设备腿和深度捕捉摄像头。处理器编程执行将所述虚拟冲击波创建系统配置为通过将变换函数应用于初始三维坐标来为多个初始深度图像中的每一个生成相应的冲击波图像。所述虚拟冲击波创建系统创建了包括一系列所生成的变形冲击波图像的变形冲击波视频。所述虚拟冲击波创建系统经由图像显示器呈现所述扭曲的冲击波视频。

Description

在三维深度视频和图像中创建冲击波
相关申请的交叉参考
本申请要求获得2018年9月17日提交的名称为“在三维深度视频和图像中创建冲击波”的美国临时申请62/732,270号的优先权，其内容通过引用全文合并到本申请中。
技术领域
本主题涉及用户可在视频和图像的三维空间中创建冲击波的可穿戴设备(如眼戴设备)以及移动设备和技术。
背景
包括便携式眼戴设备(如智能眼镜、头饰和头戴设备)在内的可穿戴设备等计算设备、移动设备(如平板电脑、智能手机和笔记本电脑)以及市售个人计算机都集成了图像显示器和摄像头。如今，计算设备的用户可以利用摄像镜头或滤镜在二维(2D)照片上创建效果，可采用贴纸、emoji表情和文字等照片装饰应用来编辑二维照片。
随着三维(3D)图像和视频内容的出现，需要更先进的处理和交互来转换三维图像和视频内容(如视频、图片等)。例如，我们希望能够处理三维图像和视频内容并与之交互，从而在三维图像和视频上创建图形效果。
因此，存在增强可用于三维图像和视频内容的视频和图像编辑效果的需求。
附图简述
附图中以例举的方式而非限定的方式示出了一个或多个实施例，在附图中相同的附图标记表示相同或类似的元件。
图1A是用于虚拟冲击波创建系统的眼戴设备示例硬件配置的右侧视图，其中变换函数被应用于初始视频的初始深度图像以生成扭曲的冲击波图像，创建扭曲的冲击波视频。
图1B是图1A的眼戴设备右组块的横截面顶视图，描述了深度捕捉摄像头的右侧可见光摄像头和电路板。
图1C是图1A的眼戴设备示例硬件配置的左侧视图，示出了深度捕捉摄像头的左侧可见光摄像头。
图1D是图1C的眼戴设备左组块的横截面顶视图，描述了深度捕捉摄像头的左侧可见光摄像头和电路板。
图2A是用于虚拟冲击波创建系统的眼戴设备的另一示例硬件配置的右侧视图，其示出了右侧可见光摄像头和深度捕捉摄像头的深度传感器，所述深度传感器可生成一系列初始深度图像(如在初始视频中)的初始深度图像。
图2B和2C是包括两种不同类型的图像显示器的眼戴设备示例硬件配置的后视图。
图3示出了图2A眼戴设备的后透视截面图，描述了深度传感器的红外摄像头、框架前部、框架后部和电路板。
图4是穿过图3眼戴设备红外摄像头和框架截取的截面图。
图5示出了图2A眼戴设备的后透视图，描述了深度传感器的红外发射器、深度传感器的红外摄像头、框架前部、框架后部和电路板。
图6是穿过图5眼戴设备红外发射器和框架截取的截面图。
图7描述了由眼戴设备深度传感器的红外发射器发射的红外光图案以及由眼戴设备深度传感器的红外摄像头捕捉的红外光发射图案反射变化的示例，其用于测量原始图像中像素的深度，从而从初始视频生成初始深度图像。
图8A描述了由深度传感器红外摄像头捕捉的红外光作为红外图像以及由可见光摄像头捕捉的可见光作为原始图像以生成三维场景的初始深度图像的示例。
图8B描述了由左侧可见光摄像头捕捉的可见光作为左侧原始图像以及由右侧可见光摄像头捕捉的可见光作为右侧原始图像以生成三维场景的初始深度图像的示例。
图9是示例虚拟冲击波创建系统的高级功能块图，所述虚拟冲击波创建系统包括具有深度捕捉摄像头以生成初始深度图像(如在初始视频中)的眼戴设备、用户输入设备(如触摸传感器)、移动设备以及经由各种网络连接的服务器系统。
图10示出了图9虚拟冲击波创建系统的移动设备硬件配置的示例，其包括接收冲击波效果选项的用户输入设备(例如触摸屏设备)以应用于初始深度图像，生成扭曲的冲击波图像(如在扭曲的冲击波视频中)。
图11是可以在虚拟冲击波创建系统中实施的方法流程图，所述方法将冲击波从初始视频应用到初始深度图像，以生成扭曲的冲击波图像，从而创建扭曲的冲击波视频。
图12A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第一原始图像以及将变换函数应用于所生成的第一初始深度图像顶点的第一冲击波区域的示例。
图13A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第二原始图像以及将变换函数应用于所生成的第二初始深度图像顶点的第二冲击波区域的示例。
图14A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第三原始图像以及将变换函数应用于所生成的第三初始深度图像顶点的第三冲击波区域的示例。
图15A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第四原始图像以及将变换函数应用于所生成的第四初始深度图像顶点的第四冲击波区域的示例。
图16A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第五原始图像以及将变换函数应用于所生成的第五初始深度图像顶点的第五冲击波区域的示例。
图17A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第六原始图像以及将变换函数应用于所生成的第六初始深度图像顶点的第六冲击波区域的示例。
图18A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第七原始图像以及将变换函数应用于所生成的第七初始深度图像顶点的第七冲击波区域的示例。
图19A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第八原始图像以及将第八变换函数应用于所生成的第八初始深度图像顶点的第八冲击波区域的示例。
图20A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第九原始图像以及将变换函数应用于所生成的第九初始深度图像顶点的第九冲击波区域的示例。
图21A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第十原始图像以及将变换函数应用于所生成的第十初始深度图像顶点的第十冲击波区域的示例。
图22A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第十一原始图像以及将变换函数应用于所生成的第十一初始深度图像顶点的第十一冲击波区域的示例。
图23A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第十二原始图像以及将变换函数应用于所生成的第十二初始深度图像顶点的第十二冲击波区域的示例。
图24A-B分别示出了由可见光摄像头中的一个摄像头捕捉的第十三原始图像以及将变换函数应用于所生成的第十三初始深度图像顶点的第十三冲击波区域的示例。
详细说明
在以下详细说明中，为了对相关教导能够有透彻的理解，通过示例的方式阐述了许多具体细节。然而，对于本领域技术人员显而易见的是，可以在没有这些细节的情况下实施本教示。在其它实例中，为了避免不必要地使本教示的各个方面难以理解，本文将以相对较高的水平来说明众所周知的方法、程序、组件和电路，而不阐述细节。
如本文所使用的，术语“冲击波”是指应用于图像或一系列图像的由计算机生成的效果，其创建通过结构物、人员和/或空气等介质而形成的波的外观。本文使用的术语“耦合”或“连接”是指任何逻辑、光学、物理或电连接等，通过这些连接，由一个系统元件产生或提供的电信号或磁信号被传递给另一个耦合或连接的元件。除非另有说明，否则耦合或连接的元件或设备不一定彼此直接连接，可由可修改、操纵或携载电信号的中间组件、元件或传播介质分离。术语“on”是指由元件直接支撑，或由通过集成到所述元件中或由所述元件支撑的另一元件提供的间接支撑。
为了说明和讨论的目的，仅以示例的方式给出了如任何附图所示的眼戴设备、相关组件以及结合有深度捕捉摄像头的任何完整设备的方向。在用于创建冲击波的操作中，眼戴设备可在适合于眼戴设备特定应用的任何其它方向上定向，例如向上、向下、向侧面或任何其它方向。此外，在本文所使用的范围内，前、后、内、外、朝向、左、右、横向、纵向、向上、向下、上、下、顶部、底部、侧面、水平、垂直和对角线等任何方向术语仅以示例的方式使用，且不限于任何深度捕捉摄像头或如本文另外描述所构造的深度捕捉摄像头组件的方向或定向。
示例的其它目的、优点和新特点将部分地在下面的说明中阐述，并且对于本领域技术人员来说，在查看下面的附图后将部分地变得显而易见，或者可以通过示例的生产或操作而获知。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
现在详细说明在附图中示出并在下面讨论的示例。
图1A是用于虚拟冲击波创建系统的眼戴设备100示例硬件配置的右侧视图，其示出了深度捕捉摄像头的右侧可见光摄像头114B，用于生成初始深度图像。如下文进一步描述的，在虚拟冲击波创建系统中，变换函数被应用于初始视频的一系列初始深度图像以生成变形冲击波视频的所述系列扭曲的冲击波图像。此变换函数可取决于初始深度图像的空间和时间坐标，如下文所解释。
眼戴设备100包括右侧光学组件180B，右侧光学组件180B具有图像显示器以呈现初始视频，所述初始视频包括初始图像和二维变形冲击波视频的变形冲击波图像。在该示例中，不向用户呈现包括呈现给用户的初始图像或经处理的原始图像的初始视频，但也不向用户呈现包括基于经处理的原始图像生成的初始深度图像的深度视频。取而代之的是，向用户呈现可见光图像的变形版本。在该示例中，包括所生成的初始深度图像的所述深度视频被用于计算的目的，以生成扭曲的冲击波图像并创建扭曲的冲击波视频。如图1A-B所示，眼戴设备100包括右侧可见光摄像头114B。眼戴设备100可以包括多个可见光摄像头114A-B，其形成被动类型的深度捕捉摄像头，例如立体摄像头，其中右侧可见光摄像头114B位于右组块110B上。如图1C-D所示，眼戴设备100还可以包括左侧可见光照摄像头114A。或者，在图2A的示例中，深度捕捉摄像头可以是包括单个可见光摄像头114B和深度传感器的主动类型深度捕捉摄像头(见图2A的元件213)。
左侧和右侧可见光摄像头114A-B对可见光范围波长敏感。可见光摄像头114A-B中的每一个具有不同的面向前的视场，其重叠以允许生成三维深度图像，例如，右侧可见光摄像头114B具有所描述的右侧视场111B。一般来说，“视场”是场景中通过摄像头在空间中特定位置和方向可见的部分。当图像被可见光摄像头捕捉时，视场111A-111B之外的对象或对象特征不被记录在原始图像(例如，照片或图片)中。视场描述了可见光摄像头114A-B的图像传感器在给定场景的捕捉图像中接收给定场景电磁辐射的角度范围。视场可以被表示为视锥的角度大小，即视角。视角可以水平、垂直或对角的方式测量。
在示例中，可见光摄像头114A-B的视场视角在15°到30°之间，例如24°，分辨率为480x480像素。“视场角”描述了可见光摄像头114A-B或红外摄像头220(见图2A)的镜头可以有效成像的角度范围。通常，摄像头镜头产生的图像圈足够大以完全覆盖胶片或传感器，可能包括一些朝向边缘的渐晕。如果摄像头镜头的视场角没有充满传感器，则图像圈将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将限于视场角。
这种可见光摄像头114A-B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和视频图形阵列(VGA)摄像头，例如640p(例如，640×480像素，总共30万像素)、720p或1080p。本文使用的术语“重叠”在涉及视场时是指所生成场景的原始图像或红外图像的像素矩阵重叠达30％或更多。本文使用的术语“大幅重叠”在涉及视场时是指所生成场景的原始图像或红外图像的像素矩阵重叠达50％或更多。
来自可见光摄像头114A-B的图像传感器数据与地理定位数据一起被捕捉，由图像处理器数字化，并存储在存储器中。由相应的可见光摄像头114A-B捕捉的左侧和右侧原始图像在二维空间域中，包括二维坐标系上的像素矩阵，所述二维坐标系包括针对水平位置的X轴和针对垂直位置的Y轴。每个像素包括颜色属性(例如，红色像素光值、绿色像素光值和/或蓝色像素光值)和位置属性(例如，X位置坐标和Y位置坐标)。
为了提供立体视觉，可见光摄像头114A-B可耦合到图像处理器(图9的元件912)，用于数字处理以及捕捉场景图像的时间戳。图像处理器912包括用于从可见光摄像头114A-B接收信号并将来自可见光摄像头114的那些信号处理成适于存储在存储器中的格式的电路。时间戳可以由控制可见光摄像头114A-B操作的图像处理器或其它处理器添加。可见光摄像头114A-B允许深度捕捉摄像头模拟人的双眼视觉。深度捕捉摄像头提供基于来自具有相同时间戳的可见光摄像头114A-B两个捕捉图像来再现三维图像的能力。这样的三维图像允许身临其境的逼真体验，例如，用于虚拟现实或视频游戏。三维深度视频可通过将一系列三维深度图像与深度视频呈现时间的关联时间坐标拼接在一起来产生。
对于立体视觉，在给定时刻及时捕捉场景的一对原始红、绿和蓝(RGB)图像(左侧和右侧可见光摄像头114A-B各有一个图像)。当(例如，通过图像处理器)处理从左侧和右侧可见光摄像头114A-B的面向前的左侧和右侧视场111A-B捕捉的原始图像对时，生成深度图像，用户可以在(例如移动设备的)光学组件180A-B或其他图像显示器上感知所生成的深度图像。所生成的深度图像在三维空间域中，可包括三维位置坐标系上的顶点矩阵，所述三维位置坐标系包括针对水平位置(例如长度)的X轴、针对垂直位置(例如高度)的Y轴以及针对深度位置(例如距离)的Z轴。深度视频还将每个一系列所生成的深度图像与深度视频呈现时间的时间(T)轴上的时间坐标相关联(例如，每个深度图像包括空间分量以及时间分量)。深度视频还可包括可由麦克风捕捉的音频分量(例如音轨或音频流)。每个顶点包括颜色属性(例如，红色像素光值、绿色像素光值和/或蓝色像素光值)、位置属性(例如，X位置坐标、Y位置坐标和Z位置坐标)、纹理属性和/或反射率属性。纹理属性量化深度图像的感知纹理，例如深度图像顶点区域中的颜色或亮度的空间排列。
通常，深度的感知来自于由可见光摄像头114A-B捕捉的左侧和右侧原始图像中给定3D点的视差。视差是当在可见光摄像头114A-B的视角下被投影时同一3D点的图像定位的差异(d＝x左-x右)。对于具有平行光轴、焦距f、基线b和对应图像点(x左，y左)和(x右，y右)的可见光摄像头114A-B，可以利用根据视差确定深度的三角测量来导出3D点的位置(Z轴位置坐标)。通常，3D点的深度与视差成反比。也可以使用各种其他技术。稍后将更详细地说明三维深度图像和扭曲的冲击波图像的生成。
在示例中，虚拟冲击波创建系统包括眼戴设备100。眼戴设备100包括框架105、从框架105的左侧面170A延伸的左侧眼戴设备腿110A、以及从框架105的右侧面170B延伸的右侧眼戴设备腿110B。眼戴设备100还包括深度捕捉摄像头。深度捕捉摄像头包括：(i)具有重叠视场的至少两个可见光摄像头；或(ii)至少一个可见光摄像头114A-B和深度传感器(图2A的元件213)。在一个示例中，深度捕捉摄像头包括左侧可见光摄像头114A，其具有左侧视场111A且连接到框架105或左侧眼戴设备腿110A，以捕捉场景的左侧图像。眼戴设备100还包括右侧可见光照摄像头114B，其连接到框架105或右侧眼戴设备腿110B且具有右侧视场111B，以捕捉(例如，与左侧可见光照摄像头114A同时)与左侧图像部分重叠的场景右侧图像。
虚拟冲击波创建系统还包括计算设备，例如主机(例如，图9-10的移动设备990)，通过网络耦合到眼戴设备100。虚拟冲击波创建系统还包括图像显示器(眼戴设备的光学组件180A-B；图10中移动设备990的图像显示器1080)，用于呈现(例如显示)包括图像的视频。虚拟冲击波创建系统还包括图像显示驱动器(图9中眼戴设备100的元件942；图10中移动设备990的元件1090)，耦合到图像显示器(眼戴设备的光学组件180A-B；图10中移动设备990的图像显示器1080)，控制图像显示以呈现初始视频。
在一些示例中，接收用户输入以指示用户期望将冲击波应用于来自初始视频的各种初始深度图像。例如，虚拟冲击波创建系统还包括用户输入设备，用于接收来自用户的冲击波效果选项以将冲击波应用于所呈现的初始视频。用户输入设备的示例包括触摸传感器(图9的元件991，用于眼戴设备100)、触摸屏显示器(图10的元件1091，用于移动设备1090)，以及用于个人电脑或笔记本电脑的鼠标。虚拟冲击波创建系统还包括处理器(图9中眼戴设备100的元件932；图10中移动设备990的元件1030)，耦合到眼戴设备100和深度捕捉摄像头。虚拟冲击波创建系统还包括处理器可访问的存储器(图9中眼戴设备100的元件934；图10中移动设备990的元件1040A-B)，以及存储器中的冲击波创建编程(图9中眼戴设备100的元件945；图10中移动设备990的元件945)，例如在眼戴设备100本身、移动设备(图9的元件990)或虚拟冲击波创建系统的另一部分(例如图9的服务器系统998)中。处理器(图9的元件932)执行编程(图9的元件945)将眼戴设备100配置为经由深度捕捉摄像头从初始视频的初始图像957A-N生成初始深度图像。初始图像957A-N在二维空间中，例如校正后的原始图像858A-B或经处理的原始图像858A-B。每个初始深度图像都例如基于初始视频的初始图像957A-B与呈现时间的时间(T)轴上的时间坐标相关联。初始深度图像由顶点矩阵形成。每个顶点代表三维场景中的像素。每个顶点都有位置属性。每个顶点的位置属性基于三维位置坐标系，包括针对水平位置的X轴上的X位置坐标、针对垂直位置的Y轴上的Y位置坐标以及针对深度位置的Z轴上的Z位置坐标。
处理器(图10的元件1030)执行冲击波创建编程(图10的元件945)将虚拟冲击波创建系统的移动设备(图10的元件990)配置为执行以下功能。移动设备(图10的元件990)通过图像显示器(图10中的元件1080)呈现初始视频。移动设备(图10的元件990)经由用户输入设备(图10的元件1091)接收用户的冲击波效果选项，将冲击波应用于所呈现的初始视频。移动设备(图10的元素990)响应接收的冲击波效应选择，至少基于每个初始深度图像的相关时间坐标，应用于每个初始深度图像的顶点，变换函数。变换函数可至少基于相应初始深度图像的相关时间坐标来变换沿Z轴分组在一起的顶点的相应冲击波区域。相应的变换函数在Y轴上垂直向上或向下移动顶点的相应冲击波区域中的顶点的相应Y位置坐标，这表现为深度变形效果。在一个示例中，基于顶点的X、Y和/或Z位置坐标以及相关的时间坐标，变换函数变换初始深度图像的所有顶点。在一个示例中，变换函数是不依赖于X位置坐标的方程：新的Y＝func(X，旧的Y，Z，T)。波在Z方向前进的示例变换函数(因此所述特定函数不依赖于X)是：新的Y＝f(Y，Z，t)＝Y+200/(exp(20/3-abs(Z-300*t)/150)+1)-200。转换在每个顶点都得到应用，其中转换依赖于空间和时间。应用变换函数创建新的经修改的顶点集合或没有深度图的三维图像。
移动设备(图10的元件990)对于每个初始深度图像，通过将变换函数应用于相应的初始深度图像来生成相应的冲击波深度图像。移动设备(图10的元件990)可通过将变换函数应用于相应初始深度图像各顶点的相应冲击波区域中的顶点位置属性来生成相应的冲击波深度图像。移动设备(图10的元件990)创建了扭曲的冲击波视频，包括一系列生成的变形冲击波图像。移动设备(图10的元件990)经由图像显示器(图10的图像显示器1080)呈现扭曲的冲击波视频。移动设备(图10的元件990)经由图像显示器(图10的图像显示器1080)呈现扭曲的冲击波视频。本文描述的各种冲击波创建编程(图9-10的元件945)功能可以在虚拟冲击波创建系统的其它部分内实现，例如眼戴设备100或除了移动设备(图10的元件990)之外的另一台主机，例如服务器系统(图9的元件998)。
在一些示例中，所接收的冲击波效果选项生成冲击波创建照片滤镜效果，响应于手指划过触摸屏显示器(例如，组合的图像显示器1080和用户输入设备1091)，将所述冲击波创建照片滤镜效果作为变换函数应用于初始视频。然后，就可以经由在移动设备(图10的元件990)上执行的聊天应用通过网络传输与朋友们共享具有冲击波创建照片滤镜效果的变形冲击波视频。
图1B是图1A的眼戴设备100右组块110B的横截面顶视图，描述了深度捕捉摄像头的右侧可见光摄像头114B和电路板。图1C是图1A的眼戴设备100的示例硬件配置的左侧视图，示出了深度捕捉摄像头的左侧可见光摄像头114A。图1D是图1C的眼戴设备左组块110A的横截面顶视图，描述了深度捕捉摄像头的左侧可见光摄像头114A和电路板。左侧可见光摄像头114A的结构和布局与右侧可见光摄像头114B基本相似，除了连接和耦合在左侧面170A上。如图1B的示例所示，眼戴设备100包括右侧可见光照摄像头114B和电路板，所述电路板可以是柔性印刷电路板(PCB)140B。右铰链226B将右组块110B连接至眼戴设备100的右侧眼戴设备腿125B。在一些实例中，右侧可见光摄像头114B、柔性PCB140B或其它电连接器或触点的组件可位于右侧眼戴设备腿125B或右铰链226B上。
右组块110B包括组块本体211和组块帽盖，在图1B的横截面中省略了组块帽盖。布置在右组块110B内的是各种互连电路板，例如PCB或柔性PCB，其包括用于右侧可见光摄像头114B的控制器电路、麦克风、低功率无线电路(例如，用于经由BluetoothTM的无线短距离网络通信)、高速无线电路(例如，用于经由WiFi的无线局域网通信)。
右侧可见光摄像头114B耦合到柔性PCB240或布置在柔性PCB240上，并且被可见光摄像头镜头盖覆盖，可见光摄像头镜头盖穿过形成在框架105中的开口对准。例如，框架105的右边缘107B连接到右组块110B并且包括用于可见光摄像头镜头盖的开口。框架105包括面向前侧面，所述面向前侧面被配置为离开用户的眼睛面向外。用于可见光摄像头镜头盖的开口形成在面向前侧面上并穿过面向前侧面。在示例中，右侧可见光摄像头114B具有面向外的视场111B，具有眼戴设备100用户右眼的视线或视角。可见光摄像头镜头盖也可以粘附到右组块110B的面向外表面，在所述面向外表面中形成具有面向外的视场角但在不同的向外方向上的开口。所述耦合也可以是经由中间部件的间接耦合。
左侧(第一)可见光摄像头114A连接到左侧光学组件180A的左侧图像显示器，以捕捉由眼戴设备100的佩戴者在左侧原始图像中观察到的左眼观看的场景。右侧(第二)可见光摄像头114B连接到右侧光学组件180B的右侧图像显示器，以捕捉由眼戴设备100的佩戴者在右侧原始图像中观察到的右眼观看的场景。左侧原始图像和右侧原始图像部分重叠以呈现所生成的深度图像的三维可观察空间。
柔性PCB140B布置在右组块110B内，并耦合到右组块110B中的一个或多个其它组件。尽管被示为形成在右组块110B的电路板上，但右侧可见光摄像头114B可以形成在左组块110A的电路板、眼戴设备腿125A-B或框架105上。
图2A是用于虚拟冲击波创建系统的眼戴设备100的另一示例硬件配置的右侧视图。如图所示，深度捕捉摄像头包括框架105上的左侧可见光摄像头114A和深度传感器213，以(例如在初始视频中)生成一系列初始深度图像的初始深度图像。在这里不是利用至少两个可见光摄像头114A-B来生成初始深度图像，而是利用单个可见光摄像头114A和深度传感器213来生成深度图像，例如初始深度图像。如在图1A-D的示例中那样，用户的冲击波效果选项被应用于初始视频的初始深度图像中，以生成变形冲击波视频的变形冲击波图像。深度传感器213的红外摄像头220具有面向外的视场，所述视场与左侧可见光摄像头114A大幅重叠，以获得用户的视线。如图所示，红外发射器215和红外摄像头220与左侧可见光摄像头114A都位于左边缘107A的上部。
在图2A的示例中，眼戴设备100的深度传感器213包括红外发射器215和捕捉红外图像的红外摄像头220。可见光摄像头114A-B通常包括蓝光滤镜以阻挡红外光检测，在示例中，红外摄像头220为可见光摄像头，例如低分辨率视频图形阵列(VGA)摄像头(例如，640×480像素，总共30万像素)，其中蓝色滤镜被移除。红外发射器215和红外摄像头220都位于框架105上，例如，红外发射器215和红外摄像头220都被示为连接到左边缘107A的上部。如以下进一步详细描述的，框架105或左组块110A和右组块110B中的一个或多个包括电路板，所述电路板包括红外发射器215和红外摄像头220。例如，红外发射器215和红外摄像头220可以通过钎焊连接到电路板。
红外发射器215和红外摄像头220的其他布置也可以实现，包括其中红外发射器215和红外摄像头220都在右边缘107A上或者在框架105上的不同位置内的布置，例如，红外发射器215在左边缘107B上而红外摄像头220在右边缘107B上。然而，至少一个可见光摄像头114A和深度传感器213通常具有大幅重叠的视场以生成三维深度图像。在另一示例中，红外发射器215在框架105上并且红外摄像头220在组块110A-B之一上，或者反之亦然。红外发射器215可以基本上连接在框架105、左组块110A或右组块110B上的任何地方，以在用户视力范围内发射红外图案。类似地，红外摄像头220可以基本上连接框架105、左组块110A或右组块110B上的任何地方，以捕捉用户视力范围内三维场景的红外光发射图案中的至少一个反射变化。
红外发射器215和红外摄像头220被布置为面向外，以获得具有佩戴眼戴设备100的用户所观察对象或对象特征场景的红外图像。例如，红外发射器215和红外摄像头220被直接定位在眼睛的前面、在框架105的上部中或在框架105的任一端处的组块110A-B中，具有面向前的视场以捕捉用户正在注视的场景图像，用于对象和对象特征深度的测量。
在一个示例中，深度传感器213的红外发射器215在场景的面向前视场中发射红外光照明，红外光照明可以是近红外光或其他低能量辐射的短波长光线。或者或另外，深度传感器213可包括发射除红外之外的其他波长光的发射器，并且深度传感器213还包括对所述波长敏感的、接收并捕捉具有所述波长图像的摄像头。如上所述，眼戴设备100耦合到例如眼戴设备100本身或虚拟冲击波创建系统的另一部分中的处理器和存储器。眼戴设备100或虚拟冲击波创建系统随后可以在生成深度视频的三维深度图像(例如来自初始视频的初始深度图像)期间处理所捕捉的红外图像。
图2B-C是包括两种不同类型的图像显示器的眼戴设备100示例硬件配置的后视图。眼戴设备100具有被配置为由用户佩戴的形式，其在示例中就是眼镜。眼戴设备100可以采取其他形式并且可以结合其他类型的框架，例如，头戴设备、耳机或头盔。
在眼镜示例中，眼戴设备100包括框架105，框架105包括左边缘107A，左边缘107A经由适于用户鼻子的鼻梁架106连接到右边缘107B。左边缘和右边缘107A-B包括各自的孔175A-B，其保持各自的光学元件180A-B，例如镜头和显示设备。如本文所用，术语镜头是指具有导致光会聚/发散或导致很少或不引起会聚或发散的曲面和/或平面的透明或半透明的玻璃盖片或塑料盖片。
虽然显示为具有两个光学元件180A-B，但眼戴设备100可包括其它布置，例如单个光学元件或可不包括任何光学元件180A-B，这取决于眼戴设备100的应用或预期用户。如进一步示出的，眼戴设备100包括邻近框架105的左侧侧面170A的左组块110A和邻近框架105的右侧侧面170B的右组块110B。组块110A-B可以在相应侧面170A-B上集成到框架105中(如图所示)，或者实现为在相应侧面170A-B上附接到框架105的单独组件。或者，组块110A-B可以集成到附接到框架105的眼戴设备腿(未示出)中。
在一个示例中，光学组件180A-B的图像显示器包括集成图像显示器。如图2B所示，光学组件180A-B包括任何合适类型的合适显示矩阵170，例如液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其它这样的显示器。光学组件180A-B还包括光学层176，光学层176可以包括镜头、光学涂层、棱镜、反射镜、波导管、光条和任何组合的其它光学部件。光学层176A-N可以包括棱镜，所述棱镜具有合适的尺寸和配置并且包括用于接收来自显示矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176A-N的棱镜在形成于左边缘和右边缘107A-B中的相应孔175A-B的全部或至少一部分上延伸，以允许用户在用户的眼睛通过相应左边缘和右边缘107A-B观看时看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从框架105面向上，并且显示矩阵置于棱镜上面，使得由显示矩阵发射的光子和光撞击第一表面。棱镜的尺寸和形状被确定为使得光在棱镜内被折射并且被光学层176A-N的棱镜的第二表面指向用户的眼睛。在这点上，光学层176A-N的棱镜的第二表面可以是凸面，以将光指向眼睛的中心。棱镜的尺寸和形状可以可选地确定为放大由显示矩阵170投影的图像，并且光穿过棱镜，使得从第二表面观看的图像在一维或多维上大于从显示矩阵170发射的图像。
在另一示例中，光学组件180A-B的图像显示设备包括如图2C所示的投影图像显示器。光学组件180A-B包括激光投影仪150，其是使用扫描镜或振镜的三色激光投影仪。在操作期间，激光投影仪150等光源设置在眼戴设备100的眼戴设备腿125A-B之一中或眼戴设备腿125A-B之一上。光学组件180A-B包含一个或多个光条155A-N，其跨越光学组件180A-B镜头的宽度或跨越镜头的位于镜头的前表面与后表面之间的深度而间隔开。
当由激光投影仪150投射的光子穿越光学组件180A-B的镜头时，光子遇到光条155A-N。当特定光子遇到特定光条时，光子要么指向用户的眼睛，要么传到下一个光条。激光投影仪150调制和光条调制的组合可以控制特定的光子或光线。在实例中，处理器通过机械、声学或电磁起始信号来控制光条155A-N。虽然被示为具有两个光学组件180A-B，但眼戴设备100可以包括其他布置，例如单个或三个光学组件，或者光学组件180A-B可以根据眼戴设备100的应用或预期用户而采用不同的布置。
如图2B-C进一步所示，眼戴设备100包括邻近框架105的左侧侧面170A的左组块110A和邻近框架105的右侧侧面170B的右组块110B。组块110A-B可以在相应的侧面170A-B上集成到框架105中(如图所示)，或者实现为在相应的侧面170A-B上附接到框架105的单独组件。或者，组块110A-B可以集成到附接到框架105的眼戴设备腿125A-B中。
在一个示例中，图像显示器包括第一(左)图像显示器和第二(右)图像显示器。眼戴设备100包括保持相应的第一和第二光学组件180A-B的第一和第二孔175A-B。第一光学组件180A包括第一图像显示器(例如，图2B的显示矩阵170A，或图2C的光条155A-N’和投影仪150A)。第二光学组件180B包括第二图像显示器(例如图2B的显示矩阵170B，或图2C的光条155A-N"和投影仪150B)。
图3示出了图2A眼戴设备的后透视截面图，描述了红外摄像头220、框架前部330、框架后部335和电路板。可以看出，眼戴设备100框架105左边缘107A的上部包括架架前部330和框架后部335。框架前部330包括向前侧面，所述向前侧面被配置为面向外远离用户的眼睛。框架后部335包括向后侧面，所述向后侧面被配置为面向内朝向用户的眼睛。红外摄像头220的开口形成在框架前部330上。
如框架105左边缘107A中上部圈出的横截面4-4所示，作为柔性印刷电路板(PCB)340的电路板被夹在框架前部330和框架后部335之间。还更详细地示出了左组块110A经由左铰链326A附接到左眼戴设备腿325A。在一些示例中，深度传感器213的部件(包括红外摄像头220、柔性PCB340或其他电连接器或触点)可位于左眼戴设备腿325A或左铰链326A上。
在示例中，左组块110A包括组块本体311、组块帽盖312、面向内的表面391和面向外的表面392(标记但不可见)。布置在左组块110A内的是各种互连电路板，例如PCB或柔性PCB，其包括用于对电池充电的控制器电路、面向内的发光二极管(LED)和面向外的(向前的)LED。尽管包括红外发射器215和红外摄像头220的深度传感器213示出为形成在左边缘107A的电路板上，但是可以形成在右边缘107B的电路板上，例如，与右侧可见光摄像头114B组合，以捕捉在生成深度视频的三维深度图像中使用的红外图像。
图4是穿过红外摄像头220和框架的截面图，对应于图3眼戴设备圈出的横截面4-4。在图4的横截面中可以看到眼戴设备100的各个层。如图所示，柔性PCB340设置在框架后部335上并连接到框架前部330。红外摄像头220设置在柔性PCB340上并由红外摄像头镜头盖445覆盖。例如，红外摄像头220被回流到柔性PCB340的背面。回流通过使柔性PCB340经受将焊膏熔化以连接两个部件的受控热而将红外摄像头220附接到形成于柔性PCB340背面上的电接触垫。在一个示例中，回流用于将红外摄像头220表面安装在柔性PCB340上并电连接这两个部件。然而，应当理解，例如，可以使用通孔将来自红外摄像头220的引线经由连接线连接到柔性PCB340。
框架前部330包括用于红外摄像头镜头盖445的红外摄像头开口450。红外摄像头开口450形成在框架前部330的向前侧面上，所述向前侧面被配置为远离用户的眼睛面向外并且朝向用户正在观察的场景。在该示例中，柔性PCB340可以经由柔性PCB粘合剂460连接到框架后部335。红外摄像头镜头盖445可以经由红外摄像头镜头盖粘合剂455连接到框架前部330。所述连接可以是经由中间部件的间接连接。
图5示出了图2A眼戴设备的后透视图。眼戴设备100包括红外发射器215、红外线摄像头220、框架前部330、框架后部335以及电路板340。如图3所示，从图5中可以看出，眼戴设备100框架的左边缘上部包括框架前部330和框架后部335。红外发射器215的开口形成在框架前部330上。
如框架左边缘中上部中圈出的横截面6-6所示，电路板(其为柔性PCB340)被夹在框架前部330和框架后部335之间。还更详细地示出的是左组块110A经由左铰链326A附接到左侧眼戴设备腿325A。在一些示例中，深度传感器213的部件(包括红外发射器215、柔性PCB340或其他电连接器或触点)可位于左侧眼戴设备腿325A或左铰链326A上。
图6是穿过红外发射器215和框架的截面图，对应于图5眼戴设备圈出的横截面6-6。在图6的横截面中示出了眼戴设备100的多个层，如图所示，框架105包括框架前部330和框架后部335。柔性PCB340设置在框架后部335上并连接到框架前部330。红外发射器215设置在柔性PCB340上并由红外发射器镜头盖645覆盖。例如，红外发射器215被回流到柔性PCB340的背面。回流通过使柔性PCB340经受将焊膏熔化以连接两个部件的受控热而将红外发射器215附接到形成于柔性PCB340背面上的接触垫。在一个示例中，回流用于将红外发射器215表面安装在柔性PCB340上并电连接这两个部件。然而，应当理解，例如，可以使用通孔将来自红外发射器215的引线经由连接线连接到柔性PCB340。
框架前部330包括用于红外发射器镜头盖645的红外发射器开口650。红外发射器开口650形成在框架前部330的向前侧面上，所述向前侧面被配置为远离用户的眼睛面向外并且朝向用户正在观察的场景。在该示例中，柔性PCB340可以经由柔性PCB粘合剂460连接到框架后部335。红外发射器镜头盖645可以经由红外发射器镜头盖粘合剂655连接到框架前部330。所述耦合也可以是经由中间部件的间接耦合。
图7描述了由深度传感器213的红外发射器215发射的红外光781发射图案的示例。如图所示，红外光782发射图案的反射变化被眼戴设备100深度传感器213的红外摄像头220捕捉为红外图像。红外光782发射图案的反射变化被用于测量原始图像(例如左侧原始图像)中像素的深度以生成三维深度图像，例如(例如在初始视频中)一系列初始深度图像的初始深度图像。
该示例中的深度传感器213包括红外发射器215和红外摄像头220，红外发射器215用于投射红外光图案，红外摄像头220用于捕捉由空间中由对象或对象特征所投射红外光的变形红外图像，如眼戴设备100的佩戴者所观察到的场景715所示。例如，红外发射器215可以发射红外光781，红外光781落在场景715内的对象或对象特征上，如同大量的点。在一些示例中，红外光作为线图案、螺线、或同心环的图案等发射。红外光通常对于人眼是不可见的。红外摄像头220类似于标准的红、绿和蓝(RGB)摄像头，但是接收并捕捉的是红外波长范围内光的图像。为了深度感知，红外摄像头220耦合到图像处理器(图9的元件912)和冲击波创建编程(元件945)，根据所捕捉的红外光的红外图像判断飞行时间。例如，然后所捕捉的红外图像中扭曲的点图案782可以由图像处理器处理，根据点的位移确定深度。通常，附近的对象或对象特征具有点进一步分散的图案，而远处的对象具有更密集的点图案。应当理解，前述功能可以体现在系统的一个或多个部件中冲击波创建编程或应用(元件945)的编程指令中。
图8A描述了由具有左侧红外摄像头视场812的深度传感器213红外摄像头220捕捉的红外光的示例。红外摄像头220将三维场景715中红外光782发射图案的反射变化捕捉为红外图像859。如进一步所示，可见光由具有左侧可见光摄像头视场111A的左侧可见光摄像头114A捕捉为左侧原始图像858A。基于红外图像859和左侧原始图像858A，生成三维场景715的三维初始深度图像。
图8B描述了由左侧可见光摄像头114A捕捉的可见光和由右侧可见光摄像头114B捕捉的可见光的示例。可见光由具有左侧可见光摄像头视场111A的左侧可见光摄像头114A捕捉为左侧原始图像858A。可见光由具有右侧可见光摄像头视场111B的右侧可见光摄像头114B捕捉为右侧原始图像858B。基于左侧原始图像858A和右侧原始图像858B，生成三维场景715的三维初始深度图像。
图9是示例虚拟冲击波创建系统900的高级功能块图，其包括经由各种网络连接的可穿戴设备(例如眼戴设备100)、移动设备990和服务器系统998。眼戴设备100包括深度捕捉摄像头，例如可见光摄像头114A-B中的至少一个；以及深度传感器213，被示为红外发射器215和红外摄像头220。或者深度捕捉摄像头可包括至少两个可见光摄像头114A-B(一个与左侧侧面170A相关联，一个与右侧侧面170B相关联)。深度捕捉摄像头生成初始视频960的初始深度图像961A-N，其是作为红色、绿色和蓝色(RGB)成像场景纹理映射图像的渲染三维(3D)模型。
移动设备990可以是智能电话、平板电脑、笔记本电脑、接入点或能够使用低功率无线连接925和高速无线连接937两者与眼戴设备100连接的任何其他此类设备。移动设备990连接到服务器系统998和网络995。网络995可以包括有线和无线连接的任何组合。
眼戴设备100还包括光学组件180A-B的两个图像显示器(一个与左侧侧面170A相关联，一个与右侧侧面170B相关联)。眼戴设备100还包括图像显示驱动器942、图像处理器912、低功率电路920和高速电路930。光学组件180A-B的图像显示器用于呈现图像和视频，其可以包括一系列深度图像，例如来自初始视频960的初始深度图像961A-N。图像显示驱动器942耦合到光学组件180A-B的图像显示器以控制光学组件180A-B的图像显示器来呈现包括图像的视频，例如，图像是初始视频960的初始深度图像961A-N和变形冲击波视频964的变形冲击波图像967A-N。眼戴设备100还包括用户输入设备991(例如触摸传感器)，用于接收用户的冲击波效果选项，以将冲击波应用于所呈现的初始视频960。
图9所示的眼戴设备100部件位于一个或多个电路板上，例如位于边缘或眼戴设备腿中的PCB或柔性PCB上。或者或此外，所描述的部件可以位于眼戴设备100的组块、框架、铰链或鼻梁架中。左侧和右侧可见光摄像头114A-B可包括数码摄像头元件，例如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、镜头或可用于捕捉数据(包括具有未知对象的场景图像)的任何其它相应的可见光捕捉元件。
眼戴设备100包括存储器934，其包括冲击波创建程序945，以执行本文所述的用于冲击波创建的功能子集或全部功能，其中用户的冲击波效果选项被应用于初始深度图像961A-N以生成扭曲的冲击波图像967A-N。如图所示，存储器934还包括由左侧可见光摄像头114A捕捉的左侧原始图像858A、由右侧可见光摄像头114B捕捉的右侧原始图像858B、以及由深度传感器213的红外摄像头220捕捉的红外图像859。
如图所示，眼戴设备100包括定向传感器，所述定向传感器包括例如所描述的惯性测量单元(IMU)972。通常，惯性测量单元972是电子设备，其使用加速度计和陀螺仪(有时也使用磁力计)的组合来测量和报告身体的比力、角速度，并且有时测量和报告身体周围的磁场。在该示例中，惯性测量单元972确定眼戴设备100佩戴者的头部方向，所述头部方向与在捕捉相关深度图像时眼戴设备100深度捕捉摄像头的方向相关，所述头部方向用于变换顶点966A-N的相应冲击波区域，如下所述。惯性测量单元972通过使用一个或多个加速度计检测线性加速度并使用一个或多个陀螺仪检测旋转速率来工作。惯性测量单元的典型配置为三个轴中的每一个轴包含一个加速度计、陀螺仪和磁强计：水平轴针对左右移动(X)，垂直轴(Y)针对顶底移动，深度或距离轴针对上下移动(Z)。陀螺仪检测重力矢量。磁力计确定磁场中的旋转(例如，面向南、北等)，类似于产生首向基准的罗盘。这三个加速度计检测沿着以上定义的水平(X)、垂直(Y)和深度(Z)轴的加速度，这些轴可以相对于地面、眼戴设备100、深度捕捉摄像头或佩戴眼戴设备100的用户来定义。
存储器934包括对应于由惯性测量单元972跟踪(例如测量)的水平轴(X轴)、垂直轴(Y轴)和深度或距离轴(Z轴)上的主轴测量值的头部方向测量值。利用头部方向测量值来确定深度捕捉摄像头对准，可用于标识初始深度图像961A-N的底平面。在IMU的某些应用中，主轴被称为纵摇、横摇和首摇轴。冲击波创建程序945被配置为利用惯性测量单元972执行本文所述的功能。
存储器934还包括经由深度捕捉摄像头生成的多个初始深度图像961A-N。存储器934还包括初始视频960，所述初始视频960包括一系列初始深度图像961A-N和相关时间坐标963A-N。在图11中示出了概述可在冲击波创建程序945中执行各功能的流程图。存储器934还包括由用户输入设备991接收的冲击波效果选项962，所述冲击波效果选项962是指示期望在初始视频960上应用冲击波效果的用户输入。在一些示例中，冲击波效果选项962可影响赋予初始视频960变形初始深度图像961A-N的冲击波强度或程度(例如，通过调整冲击波的振幅或频率)。存储器934还包括变换矩阵965、顶点966A-N的冲击波区域、亲和力矩阵968A-N、波形971、左侧和右侧校正图像969A-B(例如，删除朝向镜头端部的渐晕)，以及图像视差970，所有这些都是在对来自初始视频960的初始深度图像961A-N进行图像处理期间生成的，目的是生成变形冲击波视频964相应的变形冲击波图像967A-N。
如图9所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在该示例中，图像显示驱动器942耦合到高速电路930并由高速处理器932操作，以便驱动光学组件180A-B的左侧图像显示器和右侧图像显示器。高速处理器932可以是能够管理眼戴设备100所需的任何通用计算系统高速通信和操作的任何处理器。高速处理器932包括使用高速无线电路936管理到无线局域网(WLAN)的高速无线连接937上高速数据传输所需的处理资源。在某些实施例中，高速处理器932执行操作系统，例如眼戴设备100的LINUX操作系统或其他这样的操作系统，并且所述操作系统被存储在存储器934中用于执行。除了任何其他责任之外，执行眼戴设备100软件架构的高速处理器932还用于管理对于高速无线电路936的数据传输。在某些实施例中，高速无线电路936被配置为执行电气和电子工程师协会(IEEE)802.11通信标准，在本文中也被称为Wi-Fi。在其他实施例中，可以由高速无线电路936执行其他高速通信标准。
眼戴设备100的低功率无线电路924和高速无线电路936可包括短距离收发器(BluetoothTM)和无线广域、局域或广域网络收发器(例如，蜂窝式或WiFi)。包括经由低功率无线连接925和高速无线连接937通信的收发器的移动设备990可以使用眼戴设备100的架构的细节来实现，网络995的其他元件也是如此。
存储器934包括能够存储各种数据和应用的任何存储设备，这些数据和应用尤其包括由左侧和右侧可见光摄像头114A-B、红外摄像头220和图像处理器912生成的摄像头数据，以及为了由图像显示驱动器942在光学组件180A-B的图像显示器上显示而生成的图像和视频。虽然存储器934被示为与高速电路930集成，但是在其他实施例中，存储器934可以是眼戴设备100的独立元件。在某些此类实施例中，电的路由线可提供通过包含高速处理器932的芯片从图像处理器912或低功率处理器922到存储器934的连接。在其它实施例中，高速处理器932可管理存储器934的寻址，使得低功率处理器922将在需要涉及存储器934的读取或写入操作的任何时间引导高速处理器932。
如图9所示，眼戴设备100的处理器932可以耦合到深度捕捉摄像头(可见光摄像头114A-B；或可见光摄像头114A、红外发射器215和红外摄像头220)、图像显示驱动器942、用户输入设备991和存储器934。如图10所示，移动设备990的处理器1030可耦合到深度捕捉摄像头1070、图像显示驱动器1090、用户输入设备1091和存储器1040A。眼戴设备100通过由眼戴设备100的处理器932执行存储器934中的冲击波创建程序945，能够执行任何下述的全部功能或功能子集。移动设备990通过由移动设备990的处理器1030执行存储器1040A中的冲击波创建程序945，能够执行任何下述的全部功能或功能子集。可在虚拟冲击波创建系统900中划分各项功能，使得眼戴设备100从初始视频960生成初始深度图像961A-N，但是移动设备990对来自初始视频960的初始深度图像961A-N执行图像处理的剩余部分以生成变形冲击波视频964的变形冲击波图像967A-N。
处理器932、1030对冲击波创建程序945的执行将虚拟冲击波创建系统900配置为执行各项功能，包括基于来自初始视频960的初始图像957A-N通过深度捕捉摄像头生成初始深度图像961A-N的功能。例如基于初始视频960中的初始图像957A-N，将每个初始深度图像961A-N与呈现时间的时间(T)轴上的时间坐标相关联。每个初始深度图像961A-N由顶点矩阵形成。每个顶点表示三维场景715中的像素。每个顶点都有位置属性。每个顶点的位置属性基于三维位置坐标系，包括在针对水平位置的X轴上的X位置坐标、在针对垂直位置的Y轴上的Y位置坐标以及在针对深度位置的Z轴上的Z位置坐标。每个顶点还包括颜色属性、纹理属性或反射属性中的一个或多个。
虚拟冲击波创建系统900经由图像显示器180A-B、1080呈现初始视频960。眼戴设备100经由用户输入设备991、1091接收用户的冲击波效果选项，以将冲击波应用于所呈现的初始视频960。虚拟冲击波创建系统900经由用户输入设备991、1091接收用户的冲击波效果选项962，以将冲击波应用于所呈现的初始视频960。
响应接收的冲击波效果选项962，至少基于每个初始深度图像961A-N的相关时间坐标963A-N，虚拟冲击波创建系统900将相应的变换函数965应用于每个初始深度图像961A-N的顶点。变换函数965至少基于相应初始深度图像961A-N的相关时间坐标963A-N来变换沿着Z轴分组在一起的顶点966A-N的相应冲击波区域。变换函数965在Y轴上垂直向上或向下移动顶点966A-N相应冲击波区域中顶点的相应Y位置坐标。应用变换函数创建了新的经修改的顶点集合或没有深度图的三维图像。
虚拟冲击波创建系统900针对初始深度图像961A-N中的每一个，通过将变换函数965应用于相应的初始深度图像961A-N来生成相应的冲击波深度图像967A-N。将相应变换函数965应用于相应初始深度图像961A-N的功能可包括将相应初始深度图像961A-N顶点966A-N的相应冲击波区域中的每一顶点乘以变换函数965以获得三维位置坐标系上新的Y位置坐标。
虚拟冲击波创建系统900创建包括一系列所生成的变形冲击波图像967A-N的变形冲击波视频964。虚拟冲击波创建系统900经由图像显示器180A-B、1080呈现扭曲的冲击波视频964。经由图像显示器180A-B、1080呈现包括一系列所生成的变形冲击波图像967A-N的变形冲击波视频964的功能呈现了从深度捕捉摄像头径向、从发射冲击波的对象径向、或沿着变形冲击波视频964的变形冲击波图像967A-N的Z轴滚动的波的外观。
在虚拟冲击波创建系统900的一个示例中，处理器包括第一处理器932和第二处理器1030。存储器包括第一存储器934和第二存储器1040A。眼戴设备100包括用于通过网络925或937(例如，无线短程网络或无线局域网)进行通信的第一网络通信924或936接口、耦合到第一网络通信接口924或936的第一处理器932、以及第一处理器932可访问的第一存储器934。眼戴设备100还包括第一存储器934中的冲击波创建程序945。第一处理器932执行冲击波创建程序945将眼戴设备100配置为执行经由深度捕捉摄像头从初始视频960和相关时间坐标963A-N生成初始深度图像961A-N的功能。
虚拟冲击波创建系统900还包括通过网络925或937耦合到眼戴设备100的主机，例如移动设备990。主机包括用于通过网络925或937进行通信的第二网络通信接口1010或1020、耦合到第二网络通信接口1010或1020的第二处理器1030以及可访问第二处理器1030的第二存储器1040A。主机还包括第二存储器1040A中的冲击波创建程序945。
第二处理器1030执行冲击波创建程序945将主机配置为执行经由第二网络通信接口1010或1020通过网络从眼戴设备100接收初始视频960的功能。第二处理器1030执行冲击波创建程序945将主机配置为经由图像显示器1080呈现初始视频960。第二处理器1030执行冲击波创建程序945将主机配置为经由用户输入设备1091(例如触摸屏或计算机鼠标)接收用户的冲击波效果选项962，以将冲击波应用于呈现的初始视频960。第二处理器1030执行冲击波创建程序945将主机配置为响应所接收的冲击波效果选项962，至少基于每个初始深度图像961A-N、965的相关时间坐标963A-N，为每个初始深度图像961A-N，通过基于至少Y和Z位置坐标以及相关时间坐标963A-N将变换函数965应用于相应初始深度图像961A-N的顶点，来生成相应冲击波深度图像967A-N。第二处理器1030执行冲击波创建程序945将主机配置为创建包括所生成一系列变形冲击波图像967A-N的变形冲击波视频964。第二处理器1030执行冲击波创建程序945将主机配置为经由图像显示器1080呈现扭曲的冲击波视频964。
在该示例中，眼戴设备100还包括惯性测量单元972。处理器执行编程将虚拟冲击波创建系统900配置为执行以下功能。在由深度捕捉摄像头捕捉初始深度图像961A-N期间，通过惯性测量单元972测量眼戴设备100的旋转。对于初始深度图像961A-N中的每一个，确定相应的旋转矩阵973A-N，以基于在捕捉期间测得的眼戴设备100的旋转来调整顶点的X、Y和Z位置坐标。通过将旋转矩阵973A-N应用于相应初始深度图像961A-N的顶点并随后应用变换函数965来生成相应的变形冲击波967A-N。
在一个示例中，将变换函数965应用于每个初始深度图像在Y轴上垂直向上或向下移动顶点966A-N的相应冲击波区域中顶点的相应Y位置坐标，以使顶点966A-N的相应冲击波区域垂直波动或振荡。对于初始深度图像961A-N中的每一个，通过将变换函数965应用于相应的初始深度图像961A-N，生成相应冲击波深度图像967A-N的功能，使顶点966A-N相应的冲击波区域垂直波动或振荡，并且将具有垂直波动或振荡的相应初始深度图像961A-N存储为相应的冲击波深度图像967A-N。
在一些示例中，变换函数965基于波形971垂直向上或向下移动顶点966A-N相应冲击波区域中顶点的相应Y位置坐标。波形971提供了从深度捕捉摄像头径向、从发射冲击波的对象径向、或沿着变形冲击波视频964的变形冲击波图像967A-N的Z轴滚动的波的外观。这可以提供一种视觉效果，即Incredible
Figure BDA0002984763300000241
在变形冲击波视频964的变形冲击波图像967A-N的场景中移动，表现为地震中的地面震动。每个初始深度图像961A-N包括Z轴上对应于相应初始深度图像961A-N的最小深度的开始深度位置和Z轴上具有相应初始深度图像961A-N的最大深度的结束深度位置。至少基于相应初始深度图像961A-N的相关时间坐标963A-N沿Z轴变换顶点966A-N相应冲击波区域的功能还包括以下功能。对于一系列初始深度图像961A-N中的每一个，基于相关时间坐标963A-N从开始深度位置到结束深度位置的进展，沿着Z轴反复变换顶点966A-N的相应冲击波区域。响应到达Z轴的结束深度位置或超过波形971的重新开始时间间隔，重新开始在开始深度位置处相应冲击波区域966A-N的迭代选择。
在示例中，较早的初始深度图像961A与初始视频960中较早呈现时间的时间(T)轴上较早的时间坐标963A相关。中间初始深度图像961B与初始视频960中较早呈现时间之后的中间呈现时间的时间(T)轴上中间的时间坐标963B相关。至少基于相应初始深度图像961A-N相关时间坐标963A-N沿Z轴变换顶点966A-N相应冲击波区域的功能包括以下功能。基于较早时间坐标963A变换较早初始深度图像961A的具有沿Z轴连续分组在一起的较近深度位置的顶点966A的近距离冲击波区域。基于中间时间坐标变换中间初始深度图像961B的具有沿Z轴连续分组在一起的中间深度位置的顶点966B的中间范围冲击波区域。顶点966A的近距离冲击波区域在沿Z轴的深度上比顶点966B的中间范围冲击波区域更近。
在该示例中，较后的初始深度图像961C与初始视频960中中间初始深度图像961B的中间呈现时间之后的较后呈现时间的时间(T)轴上较后的时间坐标963C相关。至少基于相应初始深度图像961A-N的相关时间坐标963A-N沿Z轴变换顶点966A-N相应冲击波区域的功能还包括基于较后时间坐标963C变换较后初始深度图像961C的具有沿Z轴连续分组在一起的较远深度位置的顶点966C的远距离冲击波区域。顶点966C的远距离冲击波区域在沿Z轴的深度上比顶点966C的中间范围冲击波区域更远。
如果将变换矩阵965应用于单个顶点，则将出现尖峰或收缩。为了生成平滑的(弯曲的)变形冲击波图像967A-B，计算亲和力矩阵968A-N作为影响的区域。例如，可以设置具有特定宽度和长度的多边形或具有特定半径的圆。然后，计算每个多边形顶点或圆心的数量或亲和力(如分段)(例如，利用边缘检测)，因此每个顶点具有关于顶点如何受变换函数965影响的在0和1之间的权重。基本上每个顶点都根据这个权重移动。如果权重为1，则根据变换函数965变换顶点。如果权重为0，则顶点不移动。如果权重是1/2，则顶点将来到原始位置和变换位置之间的中途。
因此，处理器932、1030执行冲击波创建程序945将虚拟冲击波创建系统900配置成执行各项功能，包括计算用于相应初始深度图像961A-N顶点的相应亲和力矩阵968A-N的功能，确定变换函数965对顶点966A-N相应冲击波区域中每个顶点的影响权重。影响权重至少基于顶点的垂直位置。对于初始深度图像961A-N中的每一个，通过将变换函数965应用于相应的初始深度图像961A-N来生成相应冲击波深度图像967A-N的功能还基于所计算的相应亲和力矩阵968A-N。影响权重随着顶点相对于相应初始深度图像961A-N底平面的高度减小而变大，使得变换函数965将顶点的Y位置坐标在Y轴上垂直向上移动更大程度。影响权重随着顶点相对于底平面的高度增大而变小，使得变换函数965将顶点的Y位置坐标在Y轴上垂直向上移动更小幅度。
在示例中，虚拟冲击波创建系统900还包括类似于图9中针对眼戴设备100所示的惯性测量单元872和图10中的移动设备990。至少基于相应初始深度图像961A-N相关时间坐标963A-N沿Z轴变换顶点966A-N相应冲击波区域的功能包括以下功能。经由惯性测量单元972跟踪眼戴设备100佩戴者头部的方向。眼戴设备100的佩戴者是在移动设备990上实际创建变形冲击波视频964的用户或在生成初始视频960时佩戴眼戴设备100的不同用户。基于头部方向，确定沿着相应初始深度图像961A-N的Z轴连续的顶点底平面。至少基于底平面变换顶点966A-N的相应冲击波区域。
在该示例中，经由惯性测量单元972跟踪佩戴者头部方向的功能包括以下功能。首先，经由惯性测量单元972测量X轴、Y轴、Z轴或其组合上的头部方向。第二，响应测量的头部方向，确定深度捕捉摄像头在X轴、Y轴、Z轴或其组合上的偏向角。第三，基于偏向角来调整顶点的底平面，例如通过基于偏向角来重新定向顶点，使得X轴、Y轴或Z轴中的一个轴垂直于地面。
在一个示例中，眼戴设备100的深度捕捉摄像头包括至少两个可见光摄像头，所述至少两个可见光摄像头包括具有左侧视场111A的左侧可见光摄像头114A和具有右侧视场111B的右侧可见光摄像头114B。左侧视场111A和右侧视场111B具有重叠的视场813(参见图8B)。可以类似地构造移动设备990的深度捕捉摄像头1070。
经由深度捕捉摄像头生成的包括一系列初始深度图像961A-N和相关时间坐标963A-N的初始视频960可包括以下全部功能或功能子集。首先，经由左侧可见光摄像头114A捕捉包括左侧像素矩阵的左侧原始图像858A。第二，经由右侧可见光摄像头114B捕捉包括右侧像素矩阵的右侧原始图像858B。第三，从左侧原始图像858A创建左侧校正图像969A，从右侧原始图像858B创建右侧校正图像969B，对准左侧和右侧原始图像858A-B并且去除来自左侧和右侧可见光摄像头114A-B中每一个相应镜头(例如，在来自渐晕的镜头边缘处)的变形。第四，通过将左侧校正图像969A中的像素与右侧校正图像969B相关联来提取图像视差970，以计算每个相关像素的视差。第五，至少基于针对每个相关像素所提取的图像视差970来计算初始深度图像961A顶点的Z位置坐标。第六，基于在捕捉左侧原始图像858A和右侧原始图像858B时所捕捉的时间戳来从初始视频960对系列中的每个所生成的初始深度图像961A-N进行排序，并将相应初始深度图像961A-N相关的相应时间坐标963A-N设置为时间戳。
在示例中，眼戴设备100的深度捕捉摄像头包括至少一个可见光摄像头114A和深度传感器213(例如红外发射器215和红外摄像头220)。至少一个可见光摄像头114A和深度传感器213具有大幅重叠的视场812(参见图8A)。深度传感器213包括红外发射器215和红外摄像头220。红外发射器215连接到框架105或眼戴设备腿125A-B以发射红外光图案。红外摄像头220连接到框架105或眼戴设备腿125A-B，以捕捉红外光发射图案中的反射变化。可以类似地构造移动设备990的深度捕捉摄像头1070。
经由深度捕捉摄像头生成初始深度图像961A可包括以下功能的全部或子集。首先，经由至少一个可见光摄像头114A捕捉原始图像858A。第二，经由红外发射器215在位于所发射的红外光781所到达的场景715中的多个对象或对象特征上发射红外光781的图案。第三，经由红外摄像头220捕捉红外光782的发射图案在多个对象或对象特征上的反射变化的红外图像859。第四，基于反射变化的红外图像859计算从深度捕捉摄像头到多个对象或对象特征的相应深度。第五，将反射变化的红外图像859中的对象或对象特征与原始图像858A相关联。第六，至少基于计算出的相应深度来计算初始深度图像961A顶点的Z位置坐标。
在一个示例中，用户输入设备991、1091包括触摸传感器，所述触摸传感器包括输入表面和耦合到输入表面以接收用户输入的至少一个手指接触的传感器阵列。用户输入装置991、1091进一步包括感测电路，其集成到触摸传感器中或连接到触摸传感器且连接到处理器932、1030。将感测电路配置为测量电压以跟踪输入表面上的至少一个手指接触。经由用户输入设备991、1091接收用户的冲击波效果选项962的功能包括在触摸传感器的输入表面上接收用户输入的至少一个手指接触。
基于触摸的用户输入设备991可以集成到眼戴设备100中。如上所述，眼戴设备100包括在眼戴设备100的侧面170A-B上集成到或连接到框架105的组块110A-B。框架105、眼戴设备腿125A-B或组块110A-B包括电路板，所述电路板包括触摸传感器。所述电路板包括柔性印刷电路板。触摸传感器设置于柔性印刷电路板上。传感器阵列是电容性阵列或电阻性阵列。电容性阵列或电阻性阵列包括形成二维直角坐标系的网格，以跟踪X和Y轴位置坐标。
服务器系统998可以是作为服务或网络计算系统一部分的一个或多个计算设备，例如，其包括处理器、存储器和通过网络995与移动设备990和眼戴设备100通信的网络通信接口。眼戴设备100与主机连接。例如，眼戴设备100经由高速无线连接937与移动设备990配对，或者经由网络995与服务器系统998连接。
眼戴设备100的输出部件包括视觉部件，例如如图2B-C所述的光学组件180A-B的左侧和右侧图像显示器(例如，液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导管等显示器)。光学组件180A-B的左侧和右侧图像显示器可呈现包括变形冲击波视频964的一系列初始深度图像961A-N和变形冲击波图像967A-N的初始视频960。光学组件180A-B的图像显示器由图像显示驱动器942驱动。图像显示驱动器942耦合到图像显示器以控制图像显示器呈现初始视频960和扭曲的冲击波视频964。眼戴设备100的输出部件还包括声学部件(例如扬声器)、触觉部件(例如振动电机)、其它信号发生器等。眼戴设备100、移动设备990和服务器系统998的输入部件可以包括字母数字输入部件(例如键盘、被配置为接收字母数字输入的触摸屏、光键盘或其他字母数字输入部件)、基于点的输入部件(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如物理按钮、提供触摸位置和触摸力或触摸手势的触摸屏或其它触觉输入部件)、音频输入部件(例如麦克风)等。
眼戴设备100可以可选地包括附加的外围设备元件。这样的外围设备元件可包括生物计量传感器、附加传感器或与眼戴设备100集成的显示元件。例如，外围设备元件可包含任何I/O部件，包括输出部件、运动部件、位置部件或本文所述的任何其它此类元件。
例如，生物计量部件包括用于检测表情(例如手表情、面部表情、声音表情、身体姿势或眼睛跟踪)、测量生物信号(例如血压、心率、体温、排汗或脑电波)、识别人(例如声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件包括加速度传感器部件(例如加速度计)、重力传感器部件、旋转传感器部件(例如陀螺仪)等。位置部件包括生成位置坐标的位置传感器部件(例如GPS接收器部件)、用于生成定位系统坐标的WiFi或BluetoothTM收发器、高度传感器部件(例如高度计或气压计，气压计用于检测可从其导出海拔高度的气压)、方向传感器部件(例如磁力计)等。还可经由低功率无线电路924或高速无线电路936利用无线连接925和937从移动设备990接收此类定位系统坐标。
图10是经由图9的虚拟冲击波创建系统900通信的移动设备990示例的高级功能块图。移动设备990包括用户输入设备1091，用于接收用户的冲击波效果选项962，以将冲击波应用于所呈现的初始视频960的初始深度图像961A-N，生成变形冲击波视频964的变形冲击波图像967A-N。
移动设备990包括闪存1040A，闪存1040A包括冲击波创建程序945以执行本文所描述的用于冲击波创建功能的全部或子集，其中用户的冲击波效果选项被应用于初始视频960以创建扭曲的冲击波视频964。如图所示，存储器1040A还包括由左侧可见光摄像头114A捕捉的左侧原始图像858A、由右侧可见光摄像头114B捕捉的右侧原始图像858B、以及由深度传感器213的红外摄像头220捕捉的红外图像859。移动设备1090可包括深度捕捉摄像头1070，所述深度捕捉摄像头1070包括至少两个可见光摄像头(具有重叠视场的第一和第二可见光摄像头)或至少一个可见光摄像头以及具有大幅重叠视场的深度传感器，和眼戴设备100一样。当移动设备990包括和眼戴设备100一样的部件时，例如深度捕捉摄像头，左侧原始图像858A、右侧原始图像858B和红外图像859可经由移动设备990的深度捕捉摄像头1070捕捉。
存储器1040A还包括经由眼戴设备100的深度捕捉摄像头或经由移动设备990本身的深度捕捉摄像头1070生成的多个初始深度图像961A-N。存储器1040A还包括初始视频960，所述初始视频960包括一系列初始深度图像961A-N和相关时间坐标963A-N。在图11中示出了概述可在冲击波创建程序945中实现功能的流程图。存储器1040A还包括由用户输入设备1091接收的冲击波效果选项962，其是指示期望在初始视频960上应用冲击波效果的用户输入。在一些示例中，冲击波效果选项962可影响赋予初始视频960变形初始深度图像961A-N的的冲击波强度或程度(例如，通过调整冲击波的振幅或频率)。存储器1040A还包括变换矩阵965、顶点966A-N的冲击波区域、亲和力矩阵968A-N、波形971、左侧和右侧校正图像969A-B(例如，消除朝向镜头末端的渐晕)以及图像视差970，所有这些都是在对初始视频960的初始深度图像961A-N进行图像处理期间生成的，以生成变形冲击波视频964的相应变形冲击波图像967A-N。
如图所示，移动设备990包括图像显示器1080、用于控制图像显示的图像显示驱动器1090以及与眼戴设备100类似的用户输入设备1091。在图10的示例中，图像显示器1080和用户输入设备1091一起被集成到触摸屏显示器中。
可使用的触摸屏型移动设备的示例包括(但不限于)智能电话、个人数字助理(PDA)、平板电脑、笔记本电脑或其它便携式设备。然而，触摸屏型设备的结构和操作是通过示例的方式提供，并且如本文所述的主题技术并不希望仅限于此。为了这个讨论的目的，图10提供了示例移动设备990的块图图示，该示例移动设备990具有用于显示内容和接收用户输入作为用户接口(或作为用户接口的一部分)的触摸屏显示器。
本文所讨论焦点的活动通常涉及与处理初始视频960的初始深度图像961A-N以生成变形冲击波图像967A-N有关的数据通信，以便在便携式眼戴设备100或移动设备990中创建扭曲的冲击波视频964。如图10所示，移动设备990包括用于经由广域无线移动通信网络进行数字无线通信的至少一个数字收发器(XCVR)1010，其被示为WWANXCVR。移动设备990还包括附加的数字或模拟收发器，例如用于经由NFC、VLC、DECT、ZigBee、BluetoothTM或WiFi等短程网络通信的短程XCVR1020。例如，短程XCVR1020可以采用与在无线局域网中实现一个或多个标准通信协议兼容类型的任何可用的双向无线局域网(WLAN)收发器的形式，所述标准通信协议例如IEEE802.11和WiMAX下的Wi-Fi标准之一。
为了生成用于定位移动设备990的位置坐标，移动设备990可以包括全球定位系统(GPS)接收器。或者或此外，移动设备990可以利用短程XCVR1020和WWANXCVR1010中的任一个或两者来生成用于定位的位置坐标。例如，基于蜂窝网络、WiFi或BluetoothTM的定位系统可以生成非常精确的位置坐标，尤其是在组合使用时。这样的位置坐标可以经由XCVR1010、1020通过一个或多个网络连接被传输到眼戴设备。
收发器1010、1020(网络通信接口)符合现代移动网络所使用的各种数字无线通信标准中的一个或多个。WWAN收发器1010的示例包括(但不限于)被配置为根据码分多址(CDMA)和第三代合作伙伴计划(3GPP)网络技术(包括但不限于3GPP类型2(或3GPP2)和LTE，有时被称为“4G”)进行操作的收发器。例如，收发器1010、1020提供信息的双向无线通信，所述信息包括数字化音频信号、静止图像和视频信号、用于显示的网页信息和网络相关输入、以及去往/来自移动设备990的用于冲击波创建的各种类型的移动信息通信。
如上所述，通过收发器1010、1020和网络的这些类型的若干通信涉及支持与眼戴设备100或服务器系统998通信以创建冲击波的协议和程序，例如传输左侧原始图像858A、右侧原始图像858B、红外图像859、初始视频960、初始深度图像961A-N、时间坐标963A-N、扭曲的冲击波视频964，以及扭曲的冲击波图像967A-N。例如，这样的通信可以通过无线连接925和937经由短程XCVR1020传输去往和来自眼戴设备100的分组数据，如图9所示。例如，这样的通信还可以通过图9所示的网络(例如互联网)995经由WWANXCVR1010利用IP分组数据传输来传输数据。WWANXCVR1010和短程XCVR1020两者都通过射频(RF)发送和接收放大器(未示出)连接到相关联的天线(未示出)。
移动设备990进一步包括微处理器，显示为CPU1030，其在本文中有时被称为主控制器。处理器是具有被构造和布置成执行一个或多个处理功能(通常是各种数据处理功能)元件的电路。虽然可使用离散逻辑部件，但示例是利用形成可编程CPU的部件。例如，微处理器包括一个或多个集成电路(IC)芯片，结合执行CPU功能的电子元件。例如，处理器1030可以基于任何已知的或可用的微处理器架构，例如使用ARM架构的精简指令集计算(RISC)，如当今在移动设备和其他便携式电子设备中普遍使用的那样。当然，其它处理器电路也可用于形成CPU1030或智能电话、笔记本电脑和平板电脑的处理器硬件。
微处理器1030通过配置移动设备990以(例如)根据可由处理器1030执行的指令或编程来执行各种操作而充当移动设备990的可编程主控制器。例如，这样的操作可以包括移动设备的各种通用操作，以及与冲击波创建程序945和与眼戴设备100和服务器系统998的通信有关的操作。虽然可以通过使用硬连线逻辑来配置处理器，但是移动设备中的典型处理器是通过执行编程来配置的通用处理电路。
移动设备990包括用于存储数据和编程的存储器或存储设备系统。在该示例中，存储器系统可以包括闪存1040A和随机存取存储器(RAM)1040B。RAM1040B用作处理器1030所处理的指令和数据的短期存储，例如用作工作数据处理存储器。闪存1040A通常提供长期存储。
因此，在移动设备990的示例中，闪存1040A用于存储处理器1030执行的编程或指令。取决于设备的类型，移动设备990存储并运行移动操作系统，通过所述移动操作系统执行特定应用，包括冲击波创建程序945。冲击波创建程序945等应用可以是本地应用、混合应用或网络应用(例如由网络浏览器执行的动态网页)，在移动设备990上运行，以基于接收到的冲击波效果选项962从初始视频960创建扭曲的冲击波视频964。移动操作系统的示例包括谷歌安卓系统(Google Android)、苹果iOS系统(I-Phone或iPad设备)、Windows Mobile、Amazon Fire OS、RIM黑莓操作系统等。
应当理解，移动设备990仅仅是虚拟冲击波创建系统900中的一种类型的主机，并且可以利用其他布置。例如，服务器系统998(例如图9所示的服务器系统)，在生成初始深度图像961A-N之后，可经由眼戴设备100的深度捕捉摄像头在初始视频960中创建冲击波。
图11是具有可以在虚拟冲击波创建系统900中实施的步骤的方法流程图，将冲击波应用于初始视频960的初始深度图像961A-N，生成扭曲的冲击波图像967A-N，以创建扭曲的冲击波视频965。因为图11的块中内容前面已经进行了详细说明，这里不再赘述。
始于块1100，该方法包括经由深度捕捉摄像头从初始视频960的初始图像957A-N生成一系列初始深度图像961A-N。
现在进行到块1110，该方法还包括为初始深度图像961A-N中的每一个确定相应的旋转矩阵973A-N。相应的旋转矩阵973A-N用于基于检测到的深度捕捉摄像头的旋转来调整顶点的X、Y和/或Z位置坐标。例如，旋转矩阵973A-N可以是具有X、Y和/或Z轴位置调整或角度的2×2或3×3矩阵，以规格化具有底平面的所捕捉的初始深度图像961A-N的顶点，校正摄像头旋转。
继续到块1120，该方法还包括通过将相应旋转矩阵973A-N和变换函数965应用于相应初始深度图像961A-N的顶点，为初始深度图像961A-N中的每一个生成相应的变形冲击波图像967A-N。变换函数965至少基于相应初始深度图像961A-N的相关时间坐标963A-N来变换沿着Z轴分组在一起的顶点966A-N的相应冲击波区域。变换函数965基于波形971在Y轴上垂直向上或向下移动顶点966A-N的相应冲击波区域顶点的相应Y位置坐标。现在移到块1130，该方法还包括创建包括一系列所生成的变形冲击波图像967A-N的变形冲击波视频964。
现在结束于块1140，该方法还包括经由图像显示器180A-B或1080呈现扭曲的冲击波视频964。经由图像显示器180A-B或1080呈现包括一系列所生成的变形冲击波图像967A-N的变形冲击波视频964的步骤呈现了从深度捕捉摄像头径向、从发射冲击波的对象径向、或沿着变形冲击波视频964的变形冲击波图像967A-N的Z轴滚动的波的外观。
图12A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第一原始图像858A以及将变换函数965应用于所生成的第一初始深度图像961A顶点966A的第一冲击波区域的示例。被设置为0.00秒的第一时间坐标963A在捕捉期间与第一原始图像858A相关联，因此对应的第一初始深度图像961A和第一冲击波深度图像967A也与0.00秒的第一时间坐标963A相关联。在图12A中，第一原始图像858A被描述为在任何图像处理(例如校正等)之前由可见光摄像头114A-B中的一个捕捉。因此，第一原始图像858A具有由可见光摄像头114A-B的渐晕导致的鱼眼外观。第一原始图像858A包括在X轴1205和Y轴1210上具有X和Y位置坐标的各种二维像素。随后使用先前描述的技术生成初始视频960中一系列初始深度图像961A-N的对应第一初始深度图像961A。在图12B中，Z轴1215被描述为覆盖在所创建的变形冲击波视频964的所生成的第一冲击波深度图像967A上。第一冲击波深度图像967A的底平面1220沿着Z轴1215连续。除了用于识别底平面1220的以上公开的方向传感器技术(例如利用惯性测量单元972)之外，还可利用试探法，该试探法假定底平面1220位于距生成第一初始深度图像961A的深度捕捉摄像头的垂直位置5英尺和6英尺之间的某处。这假设在捕捉第一原始图像858A时，具有平均身高的人佩戴了眼戴设备100，并且没有使他/她的头部歪斜或旋转。在这种情况下，人站立在底平面(例如地平面)上上时五到六英尺。在图12B中，描述了第一变换函数965A在第一冲击波区域966A上的应用，并且由于第一冲击波区域966A在Z轴1215上处于近距离(例如短深度/距离)，这导致冲击波看起来在近距离内。
图13A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第二原始图像858B以及将变换函数965应用于所生成的第二初始深度图像961B顶点966B的第二冲击波区域的示例。被设置为0.25秒的第二时间坐标963B在捕捉期间与第二原始图像858B相关联，因此初始视频960的对应第二初始深度图像961B和变形冲击波视频964的第二冲击波深度图像967B也与0.25秒的第二时间坐标963B相关联。在图13B中，描述了第二变换函数965B在第二冲击波区域966B上的应用，并且由于第二冲击波区域966B在Z轴1215上处于中间区域(例如中等深度/距离)，这导致冲击波看起来在中间区域内。
图14A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第三原始图像858C以及将变换函数965应用于所生成的第三初始深度图像961C顶点966C的第三冲击波区域的示例。被设置为0.50秒的第三时间坐标963B在捕捉期间与第三原始图像858C相关联，因此初始视频960的对应第三初始深度图像961C和变形冲击波视频964的第三冲击波深度图像967C也与0.50秒的第三时间坐标963B相关联。在图14B中，描述了第三冲击波区域966C，但是没有出现冲击波，因为第三冲击波区域966C或者不再在底平面1220上，或者到达Z轴1215上的终止深度位置。
图15A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第四原始图像858D以及将变换函数965应用于所生成的第四初始深度图像961D顶点966D的第四冲击波区域的示例。被设置为0.75秒的第四时间坐标963D在捕捉期间与第四原始图像858D相关联，因此初始视频960的对应第四初始深度图像961D和变形冲击波视频964的第四冲击波深度图像967D也与0.75秒的第四时间坐标963D相关联。在图15B中，描述了第四变换函数965D在第四冲击波区域966D上的应用，并且由于第四冲击波区域966D在Z轴1215上处于近距离(例如短深度/距离)，这导致冲击波看起来在近距离内。
图16A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第五原始图像858E以及将变换函数965应用于所生成的第五初始深度图像961E顶点966E的第五冲击波区域的示例。被设置为1.00秒的第五时间坐标963E在捕捉期间与第五原始图像858E相关联，因此初始视频960的对应第五初始深度图像961E和变形冲击波视频964的第五冲击波深度图像967E也与1.00秒的第五时间坐标963E相关联。在图16B中，描述了第五变换函数965E在第五冲击波区域966E上的应用，并且由于第五冲击波区域966E在Z轴1215上处于中间区域(例如中等深度/距离)，这导致冲击波看起来在中间区域内。
图17A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第六原始图像858F以及将变换函数965应用于所生成的第六初始深度图像961F顶点966F的第六冲击波区域的示例。被设置为1.25秒的第六时间坐标963F在捕捉期间与第六原始图像858F相关联，因此初始视频960的对应第六初始深度图像961F和变形冲击波视频964的第六冲击波深度图像967F也与1.25秒的第六时间坐标963F相关联。在图17B中，描述了第六变换函数965F在第六冲击波区域966F上的应用，并且由于第六冲击波区域966F在Z轴1215上处于远距离(例如长深度/距离)，这导致冲击波看起来在远距离内。
图18A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第七原始图像858G以及将变换函数965应用于所生成的第七初始深度图像961G顶点966G的第七冲击波区域的示例。被设置为1.50秒的第七时间坐标963G在捕捉期间与第七原始图像858G相关联，因此初始视频960的对应第七初始深度图像961G和变形冲击波视频964的第七冲击波深度图像967G也与1.50秒的第七时间坐标963G相关联。在图18B中，描述了第七变换函数965G在第七冲击波区域966G上的应用，并且由于第七冲击波区域966G在Z轴1215上处于非常远的距离(例如最大深度/距离)，这导致冲击波看起来在最远的距离内。
图19A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第八原始图像858H以及将第八变换函数965应用于所生成的第八初始深度图像961H顶点966H的第八冲击波区域的示例。被设置为1.75秒的第八时间坐标963H在捕捉期间与第八原始图像858H相关联，因此初始视频960的对应第八初始深度图像961H和变形冲击波视频964的第八冲击波深度图像967H也与1.75秒的第八时间坐标963H相关联。在图19B中，描述了第八变换函数965H在第八冲击波区域966H上的应用，并且由于第八冲击波区域966H在Z轴1215上处于近距离(例如短深度/距离)，这导致冲击波看起来在近距离内。
图20A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第九原始图像858I以及将变换函数965应用于所生成的第九初始深度图像961I顶点966I的第九冲击波区域的示例。被设置为2.00秒的第九时间坐标963I在捕捉期间与第九原始图像858I相关联，因此初始视频960的对应第九初始深度图像961I和变形冲击波视频964的第九冲击波深度图像967I也与2.00秒的第九时间坐标963I相关联。在图20B中，描述了第九变换函数965I在第九冲击波区域966I上的应用，并且由于第九冲击波区域966I在Z轴1215上处于中间区域(例如中等深度/距离)，这导致了冲击波看起来在中间区域内。
图21A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第十原始图像858J以及将变换函数965应用于所生成的第十初始深度图像961J顶点966J的第十冲击波区域的示例。被设置为2.25秒的第十时间坐标963J在捕捉期间与第十原始图像858J相关联，因此初始视频960的对应第十初始深度图像961J和变形冲击波视频964的第十冲击波深度图像967J也与2.25秒的第十时间坐标963J相关联。在图19B中，描述了第十变换函数965J在第十冲击波区域966J上的应用，并且由于第十冲击波区域966J在Z轴1215上处于远距离(例如长深度/距离)中，这导致冲击波看起来在远距离内。
图22A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第十一原始图像858K以及将变换函数965应用于所生成的第十一初始深度图像961K顶点966K的第十一冲击波区域的示例。被设置为2.50秒的第十一时间坐标963K在捕捉期间与第十一原始图像858K相关联，因此初始视频960的对应第十一初始深度图像961K和变形冲击波视频964的第十一冲击波深度图像967K也与2.50秒的第十一时间坐标963K相关联。在图22B中，描述了第十一变换函数965K在第十一冲击波区域966K上的应用，并且由于第十一冲击波区域966K在Z轴1215上处于非常远的距离(例如最大深度/距离)，这导致冲击波看起来在最远的距离内。
图23A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第十二原始图像858L以及将变换函数965应用于所生成的第十二初始深度图像961L顶点966L的第十二冲击波区域的示例。被设置为2.75秒的第十二时间坐标963L在捕捉期间与第十二原始图像858L相关联，因此初始视频960的对应第十二初始深度图像961L和变形冲击波视频964的第十二冲击波深度图像967L也与2.75秒的第十二时间坐标963L相关联。在图23B中，描述了第十二变换函数965L在第十二冲击波区域966L上的应用，并且由于第十二冲击波区域966L在Z轴1215上处于近距离(例如短深度/距离)中，这导致冲击波看起来在近距离内。
图24A-B分别示出了由可见光摄像头114A-B中的一个捕捉的第十三原始图像858M以及将变换函数965应用于所生成的第十三初始深度图像961M顶点966M的第十三冲击波区域的示例。被设置为3.00秒的第十三时间坐标963M在捕捉期间与第十三原始图像858M相关联，因此初始视频960的对应第十三初始深度图像961M和变形冲击波视频964的第十三冲击波深度图像967M也与3.00秒的第十三时间坐标963M相关联。在图24B中，描述了第十三变换函数965M在第十三冲击波区域966M上的应用，并且由于第十三冲击波区域966M在Z轴1215上处于中间区域(例如中等深度/距离)，这导致冲击波看起来在中间区域内。
本文描述的用于眼戴设备100、移动设备990和服务器系统998的冲击波创建功能中的任何功能可以体现在一个或多个应用中，如前文所述。根据一些实施例，“功能”、“应用”、“指令”、或“编程”是执行在程序中所确定功能的程序。可以采用各种编程语言来创建以面向对象的编程语言(例如Objective-C、Java或C++)或程序编程语言(例如C语言或汇编语言)等各种方式构造的一个或多个应用程序。在具体示例中，第三方应用程序(例如，由特定平台供应商以外的实体使用ANDROIDTM或者IOSTM软件开发工具包(SDK)开发的应用程序)可能是在IOSTM，ANDROIDTM，
Figure BDA0002984763300000371
或其他移动操作系统等移动操作系统上运行的移动软件。在该示例中，第三方应用可以调用由操作系统提供的API调用以帮助本文所述的功能。
因此，机器可读介质可采取许多形式的有形存储介质。例如，非易失性存储介质包括光盘或磁盘，例如任何计算机中的任何存储设备等，例如可用于实现附图中所示的客户端设备、媒体网关、代码转换器等。易失性存储介质包括动态存储器，例如这种计算机平台的主存储器。有形传输介质包括同轴电缆、铜线和光纤，包括构成计算机系统内总线的导线。载波传输介质可以采用电信号或电磁信号的形式，或者采用声波或光波的形式，例如在射频(RF)和红外(IR)数据通信期间产生的声波或光波。因此，例如计算机可读介质的常见形式包括：软盘、硬盘、磁带、任何其它磁介质、CD-ROM、DVD或DVD-ROM、任何其它光学介质、穿孔卡片纸带、具有孔图案的任何其它物理存储介质、RAM、PROM和EPROM、快闪EPROM、任何其它存储器芯片或盒、传输数据或指令的载波、传输这种载波的电缆或链路，或者计算机可以从中读取编程代码和/或数据的任何其它介质。许多这些形式的计算机可读介质可涉及将一个或多个指令的一个或多个序列携带到处理器以供执行。
保护的范围仅由所附权利要求书限定。当根据本说明书和随后的申请过程进行解释时，该范围旨在并且应当被解释为与权利要求中所使用语言的普通含义一样宽，并且应当被解释为包括所有等同结构和功能。然而，权利要求无意包含未能满足《专利法》第101、102或103节要求的主题，也不应当以这种方式解释它们。特此放弃对该主题的任何非故意采纳。
除上文所述之外，所陈述或说明的任何内容均无意或不应被解释为导致将任何部件、步骤、特征、目标、利益、优势等奉献给公众，而不管其是否在权利要求书中陈述。
应当理解，除了在本文中另外阐述的特定含义之外，本文使用的术语和表达具有与这些术语和表达相对于它们相应的各自研究领域一致的普通含义。例如第一和第二等关系术语可以仅用于区分一个实体或动作与另一个实体或动作，而不必要求或暗示这些实体或动作之间任何实际的这种关系或顺序。术语“包括”、“包含”或其任何其它变型旨在涵盖非排他性包含，使得包括或包含元件或步骤列表的过程、方法、制品或设备不仅包括那些元件或步骤，而且可以包括未明确列出或对这种过程、方法、制品或设备固有的其它元件或步骤。前面有“a”或“an”的元件，在没有进一步限制的情况下，不排除在包含该元件的过程、方法、制品或设备中存在附加的相同元件。
除非另有说明，在本说明书(包括所附权利要求书)中提出的任何和所有测量值、值、额定值、位置、大小、尺寸和其它规格都是近似的、不精确的。这样的量旨在具有合理的范围，该范围与它们所涉及的功能以及它们所涉及的本领域中的惯例一致。例如，除非另有明确说明，否则参数值等可能与规定的数量相差±10％。
另外，在前面的具体实施方式中，可以看出，为了简化本公开，在各种示例中将各种特征组合在一起。该公开方法不应被解释为反映了要求保护的示例需要比每个权利要求中明确记载的特征更多特征的意图。相反，如以下权利要求所反映的，要保护的主题在于少于任何单个公开示例的所有特征。因此，以下权利要求在此结合到具体实施方式中，其中每个权利要求独立地作为单独要求保护的主题。
虽然上文已经描述了被认为是最佳方式和其它示例的内容，但是应当理解，可以在其中进行各种修改，可以以各种形式和示例来实现本文公开的主题，并且它们可以适用于许多应用场合，本文仅描述了其中的一些应用。所附权利要求旨在要求保护落入本概念真实范围内的任何和所有修改和变化。

Claims (18)

1.一种虚拟冲击波创建系统，包括：
眼戴设备包括：
框架；
连接到框架侧面的眼戴设备腿；以及
由所述框架或所述眼戴设备腿中的至少一个支撑的深度捕捉摄像头，其中所述深度捕捉摄像头包括：(i)具有重叠视场的至少两个可见光摄像头；或(ii)至少一个可见光摄像头和深度传感器；
图像显示器，用于呈现包括初始图像的初始视频，其中所述初始图像是二维的原始图像或经处理的原始图像；
图像显示驱动器，其耦合到所述图像显示器以控制所述图像显示器呈现所述初始视频；
用户输入设备，用于接收用户的冲击波效果选项，以将冲击波应用于所呈现的初始视频；
存储器；
处理器，耦合到深度捕捉摄像头、图像显示驱动器、用户输入设备和存储器
在所述存储器中的编程，其中由所述处理器执行所述编程将所述虚拟冲击波创建系统配置为执行以下功能：
经由所述图像显示器呈现所述初始视频；
经由所述用户输入设备接收所述用户的所述冲击波效果选项，以将冲击波应用于所呈现的初始视频；
经由所述深度捕捉摄像头从所述初始视频的相应初始图像生成一系列初始深度图像，其中：
基于所述初始视频的所述相应初始图像，每个所述初始深度图像与呈现时间的时间(T)轴上的时间坐标相关；
每个所述初始深度图像由顶点矩阵形成，每个顶点表示相应三维场景中采样的3D位置；
每个顶点都有位置属性；以及
每个顶点的所述位置属性基于三维位置坐标系，包括针对水平位置的在X轴上的X位置坐标、针对垂直位置的在Y轴上的Y位置坐标、以及针对深度位置的在Z轴上的Z位置坐标；
响应接收的所述冲击波效果选项，至少基于每个所述初始深度图像的所述相关时间坐标，通过基于至少所述Y和Z位置坐标以及所述相关时间坐标将变换函数应用于所述相应初始深度图像的顶点，为每个所述初始深度图像生成相应扭曲的冲击波图像；
创建包括一些列所述所生成的变形冲击波图像的变形冲击波视频；以及
通过所述图像显示器呈现所述扭曲的冲击波视频，所述扭曲的冲击波视频至少基于相应初始深度图像的所述相关时间坐标，形成沿着所述Z轴分组在一起的顶点的相应冲击波区域；以及
所述变换函数在所述Y轴上垂直向上或向下移动顶点的所述相应冲击波区域中顶点的相应Y位置坐标。
2.如权利要求3所述的虚拟冲击波创建系统，其中：
用于每个初始深度像素的所述变换函数在所述Y轴上垂直向上或向下移动顶点的所述相应冲击波区域中每个顶点的所述相应Y位置坐标，以垂直波动或振荡顶点的所述相应冲击波区域
对于每个所述初始深度图像，通过将所述相应的变换函数应用于所述相应的初始深度图像来产生所述相应的冲击波深度图像，使顶点的所述相应的冲击波区域垂直波动或振荡，并将具有所述垂直波动或振荡的所述相应的初始深度图像存储为所述相应的冲击波深度图像。
3.如权利要求1所述的虚拟冲击波创建系统，其中：
经由所述图像显示器呈现的所述功能，包括一系列所述所生成的变形冲击波图像的所述变形冲击波视频呈现从所述深度捕捉摄像头径向、从发射冲击波的对象径向或者沿着所述变形冲击波视频的变形冲击波图像的Z轴前进的波前外观。
4.如权利要求1所述的虚拟冲击波创建系统，其中：
所述变换函数基于波形垂直向上或向下移动顶点的所述相应冲击波区域中顶点的所述相应Y位置坐标
所述波形提供从所述深度捕捉摄像头径向、从发射冲击波的对象径向、或沿着所述变形冲击波视频的变形冲击波图像的Z轴前进的波前外观。
5.如权利要求6所述的虚拟冲击波创建系统，其中：
应用所述变换函数创建新的经修改的顶点集合或没有深度图的三维图像。
6.如权利要求1所述的虚拟冲击波创建系统，其中：
较早的初始深度图像与所述初始视频中较早呈现时间的所述时间(T)轴上的较早时间坐标相关；以及
中间初始深度图像与所述初始视频中所述较早呈现时间之后的中间呈现时间的所述时间(T)轴上的中间时间坐标相关；
至少基于所述相应初始深度图像的所述相关时间坐标来变换沿着所述Z轴顶点的所述相应冲击波区域的所述功能包括：
基于所述较早时间坐标对所述较早的初始深度图像的具有沿着所述Z轴连续分组在一起的较近深度位置顶点的近距离冲击波区域进行变换；以及
基于所述中间时间坐标对所述中间初始深度图像的具有沿着所述Z轴连续分组在一起的中间深度位置顶点的中间区域冲击波区域进行变
换；以及
顶点的所述近距离冲击波区域在沿着所述Z轴的深度上比顶点的所述中间区域冲击波区域更近。
7.如权利要求8所述的虚拟冲击波创建系统，其中：
所述初始视频还包括：
较后的初始深度图像与所述初始视频中所述中间初始深度图像的所述中间呈现时间之后的较后呈现时间的所述时间(T)轴上的较后时间坐标相关；以及
至少基于所述相应初始深度图像的所述相关时间坐标来变换沿着所述Z轴顶点的所述相应冲击波区域的所述功能还包括：
基于所述较后时间坐标对所述较后的初始深度图像的具有沿着所述Z轴连续分组在一起的较远深度位置顶点的远距离冲击波区域进行变换；以及
顶点的所述远距离冲击波区域在沿着所述Z轴的深度上比顶点的所述中间区域冲击波区域更远。
8.如权利要求1所述的虚拟冲击波创建系统，其中：
由所述处理器执行所述编程还将所述虚拟冲击波创建系统配置为计算用于所述相应初始深度图像顶点的相应亲和力矩阵，所述亲和力矩阵确定所述变换函数对顶点的所述相应冲击波区域中每一个所述顶点的影响权重；
所述影响权重至少基于所述顶点的垂直位置；以及
针对每个所述初始深度图像，通过将所述变换函数应用于所述相应初始深度图像来生成所述相应冲击波深度图像的所述功能还基于所述计算出的相应亲和力矩阵。
9.如权利要求10所述的虚拟冲击波创建系统，其中：
所述影响权重随着所述顶点相对于所述相应初始深度图像底平面的高度减小而变大，使得所述变换函数将所述顶点的所述Y位置坐标在所述Y轴上垂直向上移动较大的程度；以及
所述影响权重随着所述顶点相对于所述底平面的高度增大而变小，使得所述变换函数将所述顶点的所述Y位置坐标在所述Y轴上垂直向上移动较小的程度。
10.如权利要求1所述的虚拟冲击波创建系统，其中：
所述虚拟冲击波创建系统还包括惯性测量单元；以及
至少基于所述相应初始深度图像的所述相关时间坐标来变换沿着所述Z轴顶点的所述相应冲击波区域的功能包括：
经由所述惯性测量单元跟踪所述眼戴设备佩戴者的头部方向，所述眼戴设备佩戴者是所述用户或不同的用户；
基于所述头部方向，确定沿着所述相应初始深度图像的所述Z轴连续的顶点底平面；以及
至少基于所述底平面变换顶点的所述相应的冲击波区域。
11.如权利要求12所述的虚拟冲击波创建系统，其中：
通过所述惯性测量单元跟踪所述佩戴者的所述头部方向的功能包括通过所述惯性测量单元测量在所述X轴、所述Y轴、所述Z轴或其组合上的头部方向；以及
响应测量的所述头部方向，确定所述深度捕捉摄像头在所述X轴、所述Y轴、所述Z轴或其组合上的偏向角；以及
基于所述偏向角重新定向所述顶点，使得一个轴(所述X轴、所述Y轴或所述Z轴)垂直于地面。
12.如权利要求1所述的虚拟冲击波创建系统，其中：
对于每个所述初始深度图像，通过将所述变换函数应用于所述相应的初始深度图像来生成所述相应的冲击波深度图像的功能包括：
将所述相应初始深度图像顶点的所述相应冲击波区域中的每个顶点乘以所述变换函数，以获得在所述三维位置坐标系上新的Y位置坐标。
13.如权利要求1所述的虚拟冲击波创建系统，其中：
所述处理器包括第一处理器和第二处理器；
所述存储器包括第一存储器和第二存储器；
所述眼戴设备包括：
用于通过网络进行通信的第一网络通信接口；
所述第一处理器耦合到所述第一网络通信接口；
所述第一处理器可访问所述第一存储器；以及
在所述第一存储器中的编程，其中由所述第一处理器执行所述编程将所述眼戴设备配置为执行经由所述深度捕捉摄像头从所述初始视频的所述初始图像生成所述初始深度图像的功能；以及
所述虚拟冲击波创建系统还包括通过网络耦合到眼戴设备的主机，所述主机包括：
第二网络通信接口，用于通过网络进行通信；
所述第二处理器耦合到所述第二网络通信接口；
所述第二处理器可访问所述第二存储器；以及
在所述第二存储器中的编程，其中由所述第二处理器执行所述编程将所述主机配置为执行以下功能：
经由所述图像显示器呈现所述初始视频；
经由所述用户输入设备接收所述用户的所述冲击波效果选项，以将冲击波应用于所述所呈现的初始视频；
响应接收的所述冲击波效果选项，至少基于每个所述初始深度图像的相关时间坐标，通过将所述变换函数应用于所述相应的初始深度图像，针对每个所述初始深度图像生成所述相应的冲击波深度图像；
创建所述扭曲的冲击波视频，包括一系列所述所生成的变形冲击波图像；以及
通过所述图像显示器呈现所述扭曲的冲击波视频。
14.如权利要求15所述的虚拟冲击波创建系统，其中：
所述主机是移动设备；
所述网络是无线短程网络或无线局域网；以及
所述用户输入设备包括触摸屏或计算机鼠标。
15.一种方法，包括以下步骤：
经由深度捕捉摄像头从初始视频的所述初始图像生成一系列初始深度图像；
响应接收的冲击波效果选项，基于所述深度捕捉摄像头所检测到的旋转，为每个所述初始深度图像确定相应的旋转矩阵以调整所述顶点的至少X和Y位置坐标；
通过将所述相应的旋转矩阵和变换函数应用于相应初始深度图像的顶点，为每个所述初始深度图像生成相应的变形冲击波图像；
创建包括一系列所述所生成的变形冲击波图像的变形冲击波视频；以及
经由图像显示器呈现所述扭曲的冲击波视频。
16.如权利要求17所述的方法，其中：
所述变换函数至少基于所述相应初始深度图像的相关时间坐标来变换沿着Z轴分组在一起的顶点的相应冲击波区域；以及
所述变换函数在所述Y轴上垂直向上或向下移动顶点的所述相应冲击波区域中顶点的相应Y位置坐标。
17.如权利要求17所述的方法，其中：
经由所述图像显示器呈现包括一系列所述所生成的变形冲击波图像的所述变形冲击波视频的所述功能，呈现从所述深度捕捉摄像头径向、从发射冲击波的对象径向、或沿着所述变形冲击波视频的所述变形冲击波图像的Z轴滚动的波的外观。
18.如权利要求17所述的方法，其中：
所述变换函数基于波形垂直向上或向下移动顶点的所述相应冲击波区域中顶点的相应Y位置坐标；以及
所述波形提供了从所述深度捕捉摄像头径向、从发射冲击波的对象径向、或沿着所述变形冲击波视频的所述变形冲击波图像的Z轴滚动的波的外观。
CN201980061807.7A 2018-09-17 2019-09-03 在三维深度视频和图像中创建冲击波 Pending CN112771855A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862732270P 2018-09-17 2018-09-17
US62/732,270 2018-09-17
PCT/US2019/049295 WO2020060749A1 (en) 2018-09-17 2019-09-03 Creating shockwaves in three-dimensional depth videos and images

Publications (1)

Publication Number Publication Date
CN112771855A true CN112771855A (zh) 2021-05-07

Family

ID=69774158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061807.7A Pending CN112771855A (zh) 2018-09-17 2019-09-03 在三维深度视频和图像中创建冲击波

Country Status (5)

Country Link
US (3) US10776899B2 (zh)
EP (1) EP3854074A4 (zh)
KR (2) KR20240046628A (zh)
CN (1) CN112771855A (zh)
WO (1) WO2020060749A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564100A (zh) * 2021-11-05 2022-05-31 南京大学 一种基于红外引导的自由立体显示器手眼交互方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018144890A1 (en) 2017-02-03 2018-08-09 Warner Bros. Entertainment, Inc. Rendering extended video in virtual reality
KR20240046628A (ko) 2018-09-17 2024-04-09 스냅 인코포레이티드 3차원 깊이 비디오들 및 이미지들에서 쇼크웨이브들의 생성
US11178375B1 (en) 2019-10-21 2021-11-16 Snap Inc. Input parameter based image waves
US20210406542A1 (en) * 2020-06-30 2021-12-30 Ilteris Canberk Augmented reality eyewear with mood sharing
CN116420105A (zh) * 2020-09-30 2023-07-11 斯纳普公司 用于增强现实护目镜中的计算机视觉模式的低功耗相机管线

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216167A (ja) * 2001-01-12 2002-08-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
WO2016077798A1 (en) * 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2310114A1 (en) * 1998-02-02 1999-08-02 Steve Mann Wearable camera system with viewfinder means
US6515659B1 (en) * 1998-05-27 2003-02-04 In-Three, Inc. Method and system for creating realistic smooth three-dimensional depth contours from two-dimensional images
US8482488B2 (en) * 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
US7624436B2 (en) * 2005-06-30 2009-11-24 Intel Corporation Multi-pattern packet content inspection mechanisms employing tagged values
US7732694B2 (en) 2006-02-03 2010-06-08 Outland Research, Llc Portable music player with synchronized transmissive visual overlays
JP4392507B2 (ja) * 2006-11-08 2010-01-06 国立大学法人東京工業大学 ３次元サーフェス生成方法
US7952595B2 (en) * 2007-02-13 2011-05-31 Technische Universität München Image deformation using physical models
EP2225725A2 (en) * 2007-12-20 2010-09-08 Koninklijke Philips Electronics N.V. Segmentation of image data
US8401223B2 (en) * 2008-10-20 2013-03-19 Virginia Venture Industries, Llc Embedding and decoding three-dimensional watermarks into stereoscopic images
EP2194504A1 (en) * 2008-12-02 2010-06-09 Koninklijke Philips Electronics N.V. Generation of a depth map
US9001157B2 (en) * 2009-03-25 2015-04-07 Nvidia Corporation Techniques for displaying a selection marquee in stereographic content
US8477425B2 (en) * 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US10057559B2 (en) * 2010-12-03 2018-08-21 Koninklijke Philips N.V. Transferring of 3D image data
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
WO2012111325A1 (ja) * 2011-02-17 2012-08-23 パナソニック株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
US9288476B2 (en) * 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US8654181B2 (en) * 2011-03-28 2014-02-18 Avid Technology, Inc. Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence
KR101748668B1 (ko) * 2011-04-14 2017-06-19 엘지전자 주식회사 이동 단말기 및 그의 입체영상 제어방법
US9288468B2 (en) * 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
US9146398B2 (en) * 2011-07-12 2015-09-29 Microsoft Technology Licensing, Llc Providing electronic communications in a physical world
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
KR20130061538A (ko) * 2011-12-01 2013-06-11 한국전자통신연구원 가상현실 기반 콘텐츠 제공장치 및 그 방법
US9384737B2 (en) * 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
TWI590099B (zh) * 2012-09-27 2017-07-01 緯創資通股份有限公司 互動系統及移動偵測方法
KR102224715B1 (ko) 2013-10-14 2021-03-09 삼성전자주식회사 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법
US10043430B1 (en) * 2016-07-25 2018-08-07 Oculus Vr, Llc Eyecup-display alignment testing apparatus
KR102580327B1 (ko) * 2016-09-09 2023-09-19 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10169919B2 (en) * 2016-09-09 2019-01-01 Oath Inc. Headset visual displacement for motion correction
KR101961758B1 (ko) * 2016-09-21 2019-03-25 김하동 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2018127782A1 (en) * 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US10701334B2 (en) 2017-10-11 2020-06-30 Adobe Inc. Virtual reality parallax correction
KR20240046628A (ko) 2018-09-17 2024-04-09 스냅 인코포레이티드 3차원 깊이 비디오들 및 이미지들에서 쇼크웨이브들의 생성
US11178375B1 (en) 2019-10-21 2021-11-16 Snap Inc. Input parameter based image waves

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216167A (ja) * 2001-01-12 2002-08-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
WO2016077798A1 (en) * 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564100A (zh) * 2021-11-05 2022-05-31 南京大学 一种基于红外引导的自由立体显示器手眼交互方法
CN114564100B (zh) * 2021-11-05 2023-12-12 南京大学 一种基于红外引导的自由立体显示器手眼交互方法

Also Published As

Publication number Publication date
WO2020060749A1 (en) 2020-03-26
US20210027419A1 (en) 2021-01-28
US20220012847A1 (en) 2022-01-13
US10776899B2 (en) 2020-09-15
US11132763B2 (en) 2021-09-28
KR102653796B1 (ko) 2024-04-01
KR20210046822A (ko) 2021-04-28
US11763420B2 (en) 2023-09-19
KR20240046628A (ko) 2024-04-09
US20200090300A1 (en) 2020-03-19
EP3854074A4 (en) 2022-06-08
EP3854074A1 (en) 2021-07-28

Similar Documents

Publication Publication Date Title
US11132763B2 (en) Creating shockwaves in three-dimensional depth videos and images
CN112771438B (zh) 利用二维输入选择对三维深度图像进行深度雕塑
US11240481B2 (en) Creation and user interactions with three-dimensional wallpaper on computing devices
US11671572B2 (en) Input parameter based image waves
US11030793B2 (en) Stylized image painting
US20210306608A1 (en) Multi-dimensional rendering
CN112771856A (zh) 可分离失真视差确定
US20230412779A1 (en) Artistic effects for images and videos
CN118118644A (zh) 可分离失真视差确定

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination