CN107431796B - 全景虚拟现实内容的全方位立体式捕捉和渲染 - Google Patents

全景虚拟现实内容的全方位立体式捕捉和渲染 Download PDF

Info

Publication number
CN107431796B
CN107431796B CN201680019971.8A CN201680019971A CN107431796B CN 107431796 B CN107431796 B CN 107431796B CN 201680019971 A CN201680019971 A CN 201680019971A CN 107431796 B CN107431796 B CN 107431796B
Authority
CN
China
Prior art keywords
camera
image
capture
pixel
image group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680019971.8A
Other languages
English (en)
Other versions
CN107431796A (zh
Inventor
卡洛斯·赫南德斯·埃斯特班
罗伯特·安德森
邬昶畅
迈克尔·克赖宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/723,178 external-priority patent/US9877016B2/en
Priority claimed from US14/723,151 external-priority patent/US10038887B2/en
Application filed by Google LLC filed Critical Google LLC
Publication of CN107431796A publication Critical patent/CN107431796A/zh
Application granted granted Critical
Publication of CN107431796B publication Critical patent/CN107431796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

描述的系统和方法包括：在计算装置处，基于捕捉的图像来定义图像组；在计算装置处，通过将与图像组的部分相关联的观看光线从围绕弯曲路径布置的多个视点重做到视点，将图像组的部分从平坦透视图像平面投影到球形图像平面上；在计算装置处，确定与视点相对应的外围边界，并且通过去除在外围边界的外侧的像素来产生更新的图像；以及在外围边界的界限内提供更新的图像用于显示。

Description

全景虚拟现实内容的全方位立体式捕捉和渲染
相关申请的交叉引用
本发明主张在2015年5月27日提交、序列号为14/723,151、标题为“全景虚拟现实内容的捕捉和渲染”的美国专利申请以及在2015年5月27日提交、序列号为14/723,178、标题为“全景虚拟现实内容的全方位立体式捕捉和渲染”的美国专利申请的优先权和权益，其公开内容通过引用结合于此。
技术领域
本说明书通常涉及产生全景。具体地，本说明书涉及从捕捉到的图像产生立体全景用于在虚拟现实(VR)环境中显示。
背景技术
全景摄影技术能够在图像和视频上使用以提供宽视野的场景。通常地，全景摄影技术和成像技术能够用于获得全景图像，该全景图像来自利用传统相机取得的多个相邻照片。所述照片能够以对齐方式被安装在一起以获得全景图像。
发明内容
在一个通常的方面，计算机实施的方法包括：在计算装置处，基于捕捉的图像来定义图像组；在计算装置处，通过将与图像组的部分相关联的观看光线从围绕弯曲路径布置的多个视点重做到视点，将图像组的部分从平坦透视图像平面投影到球形图像平面上；以及在计算装置处，确定与视点相对应的外围边界，并且通过去除在外围边界的外侧的像素来产生更新的图像。该方法还可以包括在外围边界的界限内提供用于显示的更新的图像。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或更多个计算机存储装置上的计算机程序，所述计算机程序中的每个被配置成执行该方法的动作。
在另一个通常的方面，包括成像系统，该成像系统被配置成产生立体全景。该系统可以包括：内插模块，该内插模块被配置成提供来自定义的图像组的内插图像，并将内插图像交织到图像组中，以产生用于立体全景的附加虚拟内容；投影模块，该投影模块被配置成将来自平面透视的图像组投影到球形投影；以及捕捉校正模块，该捕捉校正模块被配置成调整图像组以补偿非圆形的相机轨迹。该系统还可以包括拼接模块，拼接模块被配置成对来自图像组和来自内插图像的图像的部分进行采样，将所述图像的部分混合在一起以产生至少一个像素值，并且通过将像素值配置到左场景和右场景内来产生包括视频内容的三维立体全景。成像系统还包括图像校正模块，该图像校正模块被配置成估计图像组的光流以消除失真。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或更多个计算机存储装置上的计算机程序，所述计算机程序中的每个被配置成执行该方法的动作。
在另一个通常的方面，计算机实施的方法包括：在计算装置处，基于捕捉的图像来定义图像组；在计算装置处，(使用估计的光流)将图像组拼接成等角视频流；在计算装置处，通过将来自平面透视图的视频流投影到用于第一视图和第二视图的等角透视图，渲染用于回放的视频流；以及在计算装置处确定边界，在所述边界中，失真高于预定义的阈值，所述失真至少部分地基于投影视频流。该方法还可以包括：在计算装置处，通过去除由边界定义的内部的外侧处的图像组中的图像内容来产生更新的视频流；以及提供更新的视频流用于显示。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或更多个计算机存储装置上的计算机程序，该计算机程序中的每个被配置成执行该方法的动作。在一个通常的方面，计算机实施的方法可以包括：在计算装置处，基于捕捉的图像来定义图像组；在计算装置处，接收与虚拟现实(VR)头戴式显示器的用户相关联的观看方向；以及在计算装置处，接收在观看方向上改变的指示。该方法还可以包括：响应于接收到指示，由计算装置来配置图像组的部分的重新投影，所述重新投影至少部分地基于改变的观察方向和与捕捉的图像相关联的视场；以及使用重投影将来自球形透视投影的部分转换成平面透视投影。该方法还可以包括：通过计算装置来渲染基于重新投影的更新的视图并且用于在VR头戴式显示器中显示，该更新的视图被配置成校正在所述部分中的失真并且提供立体视差；以及向头戴式显示器提供更新的视图，该更新的视图包括与改变的观看方向相对应的立体全景场景。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或更多个计算机存储装置上的计算机程序，所述计算机程序中的每个被配置成执行该方法的动作。
在另一个通常的方面，装置包括系统，该系统具有至少一个处理器和存储指令的存储器，当由至少一个处理器执行时，所述指令使得系统执行如下操作，包括：基于从至少一个立体对相机收集的捕捉的视频流来定义图像组；计算在图像组中的光流以内插不是图像组的一部分的图像帧；至少部分地基于光流，将图像帧交织到图像组中并且将图像帧和图像组拼接在一起；以及使用图像帧和图像组来产生用于在VR头戴式显示器中显示的全方位立体式全景。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或更多个计算机存储装置上的计算机程序，所述计算机程序中的每个被配置成执行该方法的动作。
在另一个通常的方面，该方法可以包括：在第一方向上旋转相机套件，同时使用布置在相机套件上的立体相机对捕捉与相机套件周围的场景相关联的图像；以及在第二方向上旋转相机套件，同时使用立体对捕捉与场景相关联的附加图像，相机套件是圆形的并且被配置成在捕捉期间以平行于相机套件的底座的弧形运动移动，立体对以在相机套件的底座中心的相对侧处偏移的观看方向放置，立体对对以大致人类瞳孔间距离隔开布置。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或更多个计算机存储装置上的计算机程序，所述计算机程序中的每个被配置成执行该方法的动作。
在一个通常的方面，计算机实现的方法可以包括：在计算装置处，接收图像组，该图像组显示来自可旋转的相机套件的捕捉内容；利用计算装置来选择图像中的图像帧的部分，该图像帧包括利用相机套件捕捉的在距相机套件的底座的向外边缘约一个径向米到距相机套件的底座的向外边缘约五个径向米的距离处的内容；将图像帧的部分拼接在一起以产生立体全景图，所述拼接至少部分地基于将所述部分匹配到与所述部分中的至少一个其他图像帧，所述拼接使用至少部分地基于相机套件的直径选择的拼接比来执行；以及将视图提供给头戴式显示器。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或更多个计算机存储装置上的计算机程序，所述计算机程序中的每个被配置成执行该方法的动作。
一个或更多个实施方式的细节在附图和下面的说明书中阐述。根据说明书和附图以及根据权利要求书，其他特征将是显而易见的。
附图说明
图1是用于在3D虚拟现实(VR)环境中捕捉和渲染立体全景的示例系统的框图。
图2是显示被配置成捕捉场景的图像以在产生立体全景中使用的示例相机套件的图示。
图3是显示被配置成捕捉场景的图像以在产生立体全景中使用的另一个示例相机套件的图示。
图4是显示被配置成捕捉场景的图像以在产生立体全景中使用的移动装置的图示。
图5是显示被配置成捕捉场景的图像以在产生立体全景中使用的另一个示例相机套件的图示。
图6是显示被配置成捕捉场景的图像以在产生的立体全景中使用的又一个示例相机套件的图示。
图7是说明示例VR装置的图示。
图8是说明相机视场与多个相机对的函数的示例图。
图9是说明相机视场与内插视场的函数的示例图。
图10是说明选择用于相机套件的配置的示例图。
图11是说明能够用于根据预定义的套件直径确定最少相机数目的示例关系的图形。
图12A-B是描绘会在图像捕捉期间发生的失真示例的线。
图13A-B显示在全景图像的收集期间捕捉到的光线示例。
图14A-B说明如图13A-B中描述的近似平面透视投影的使用。
图15A-C说明应用于图像的平面的近似平面透视投影的示例。
图16A-B说明引入垂直视差的示例。
图17A-B描绘坐标系的点的示例，所述坐标系的点能够用于图示在3D全景中的点。
图18表示在图17A-17B中显示的点的投影视图。
图19图示使用在本公开内容中描述的全景成像技术在全向立体图像中捕捉到的光线。
图20是说明由3D空间中的点造成的最大垂直视差的图形。
图21是图示产生立体全景图像的过程的一个实施例的流程图。
图22是图示捕捉立体全景图像的过程的一个实施例的流程图。
图23是图示在头戴式显示器中渲染全景图像的过程的一个实施例的流程图。
图24是图示确定图像边界的过程的一个实施例的流程图。
图25是图示产生视频内容的过程的一个实施例的流程图。
图26示出能够用于实施在此描述的技术的计算机装置和移动计算机装置的示例。
相同符号在不同附图中表示相同元件。
具体实施方式
创建全景图像通常包括：例如，使用单个相机或在相机套件中的多个相机捕捉周围的三维(3D)场景的图像或视频。当使用容纳有若干个相机的相机套件时，每个相机均能够同步并且被配置成及时捕捉在特定点处的图像。例如，在与第二、第三、第四相机捕捉相对应的第一帧近似相同的时间，通过每个相机捕捉的第一帧能够被捕捉。图像捕捉能够以同时的方式继续直到一些场景或所有场景被捕捉。尽管以相机的术语描述多数实施方式，但是实施方式能够替换成以图像传感器的的术语描述或以相机壳(其能够包括图像传感器)的术语描述。
容纳多个相机的相机套件可以被配置成捕捉特定角度的场景。例如，容纳在相机套件上的相机可以定向在具体的角度并且从该角度捕捉的所有(或至少部分)内容可以处理成产生具体场景的完整全景。在一些实施方式中，相机中的每个能够定向成在不同角度捕捉不同角度的场景。在只有部分场景被捕捉或者一些场景包括失真或者所有场景包括失真的情况下，能够执行多个过程以内插或者配置从全景中丢失、中断或失真的任何内容。以下公开内容描述多个设备和方法以捕捉、处理、校正和渲染3D全景内容，用于在3D虚拟现实(VR)环境中的头戴式显示器(HMD)中显示这样的内容。
图1是用于在3D虚拟现实(VR)环境中捕捉和渲染立体全景的一个示例系统100的框图。在示例系统100中，相机套件102能够捕捉、(例如以永久或可去除存储方式)本地存储和/或在网络104上提供图像，或者可替选地，能够直接向用于分析和处理的图像处理系统106提供图像。在系统100的一些实施方式中，移动装置108能够用作相机套件102以提供图像遍及网络104。例如，一旦捕捉到图像，图像处理系统106能够在图像上执行多个计算和处理并且向头戴式显示器(HMD)装置110提供所处理的图像用于在网络104上渲染。在一些实施方式中，图像处理系统106能够包括在相机套件102和/或HMD装置110中。在一些实施方式中，图像处理系统106也能够向移动装置108和/或向计算装置112提供图像用于渲染、存储或进一步处理。
HMD装置110可以表示能够显示虚拟现实内容的虚拟现实耳机、眼镜、目镜或其他可穿戴装置。在操作中，HMD装置110能够实行VR应用(未示出)，VR应用能够将接收到的和/或处理的图像回放给用户。在一些实施方式中，VR应用能够通过在图1中示出的一个或多个装置106、108或112托管。在一个示例中，HMD装置110能够提供通过相机套件102捕捉的场景的视频回放。在另一个示例中，HMD装置110能够提供拼接到单个全景场景中的静止图像的回放。
相机套件102能够被配置成相机(也能够称作捕捉装置)和/或处理装置以采集图像数据用于渲染在VR环境中的内容。尽管相机套件102在本文中作为以特定功能描述的框图示出，但是套件102能够采用在图2-6中示出的任意形式的实施方式并且附加地可以具有整个本公开内容中针对相机套件描述的功能。例如，为简要描述系统100的功能起见，图1示出不具有围绕套件102布置以捕捉图像的相机的相机套件102。相机套件102的其他实施方式能够包括任意数目的相机，所述相机能够围绕圆形的相机套件诸如套件102的圆周布置。
如图1所示，相机套件102包括多个相机139以及通信系统132。相机139能够包括单个静态相机或单个视频相机。在一些实施方式中，相机130能够包括沿着套件102的外周(例如环)并排设置(例如坐放)的多个静态相机或多个视频相机。相机139可以是视频相机、图像传感器、立体相机、红外相机和/或移动装置。通信系统132能够用于上传和下载图像、指令和/或其他相机相关内容。通信可以是有线或无线的，并且可以通过私有或公共网络进行接口。
相机套件102能够被配置成用作固定套件或旋转套件。对于套件而言，在套件上的每个相机均设置(例如放置)成从旋转的中心偏移。例如，相机套件102能够被配置成旋转360度以扫视和捕捉360度视图的场景的全部或一部分。在一些实施方式中，套件102能够被配置成在固定的位置中运行，并且在这样的配置中，附加相机能够增加到套件中以捕捉对于场景而言附加向外视角的视图。
在一些实施方式中，相机套件102包括(例如图3中示出的，相对于相机302B和302F)以侧对侧或背对背方式设置的多个数码相机，使得它们的透镜每个都指向径向向外的方向以观看周围场景或环境的不同部分。在一些实施方式中，多个数码相机设置在具有与相机套件102相切的观看方向的切向配置中。例如，相机套件102能够包括多个数码相机，所述多个数码相机设置成使得其透镜每个都指向径向向外的方向同时与套件的底座切向地布置。数码相机能够指向捕捉不同方向上的内容以观看周围场景的不同角度部分。
在一些实施方式中，来自相机的图像能够在相机套件102上的相邻相机中处理。在这样的配置中，每组相邻相机中的每个第一相机均被切向地设置(例如，放置)到相机套件底座的圆形路径并且(例如，相对于相机透镜指向)在向左方向上对准。每组相邻相机中的每个第二相机均被切向地设置(例如，放置)到相机套件底座的圆形路径并且(例如，相对于相机透镜指向)在向右方向上对准。
用于在相机套件102上使用的相机的示例设置能够包括以每秒约60帧的顺序扫描模式(即，其中每个光栅线被采样以产生视频的每个帧的模式，而不是像大多数视频相机的标准记录模式那样每隔一行)。此外，每个相机均能够被配置成具有相同(或类似)设置。将每个相机被配置成相同(或类似)设置能够提供如下捕捉图像的优点：能够在捕捉后以期望的方式拼接在一起。示例设置能够包括将一个或多个相机设置成相同的缩放、对焦、曝光和快门速度，以及将相机设置为白平衡，并将稳定特征相关联或关闭。
在一些实施方式中，相机套件102能够在用于捕捉一个或更多个图像或视频之前校准。例如，在相机套件102上的每个相机均能够校准和/或被配置成拍摄全景视频。例如，设置可以包括将套件被配置成以宽广的视场，并且在顺时针或逆时针方向上，以特定的旋转速度围绕360度扫视运行。在一些实施方式中，在套件102上的相机能够被配置成捕捉，例如，围绕场景的捕捉路径的360度扫视的每度的一帧。在一些实施方式中，在套件102上的相机能够被配置成捕捉，例如，围绕场景的捕捉路径的360度(或更少)扫视的每度的多帧。在一些实施方式中，在套件102上的相机能够被配置成在不必捕捉每度的特定测量帧的情况下捕捉，例如，围绕场景的捕捉路径的范围周围的多帧。
在一些实施方式中，相机能够配置(例如设定)成同步起作用以及时在指定点处捕捉来自相机套件上的相机的视频。在一些实施方式中，相机能够被配置成同步起作用以在一个时间段内捕捉来自一个或更多个相机的视频的特定部分。校准相机套件的另一个示例能够包括如何存储传入图像的配置。例如，传入图像能够作为单独的帧或视频(例如，.avi文件，.mpg文件)存储，并且这样存储的图像能够上载到互联网，另一个服务器或装置，或者利用在相机套件102上的每个相机本地地存储。在一些实施方式中，传入图像能够作为编码视频被存储。
图像处理系统106包括内插模块114、捕捉校正模块116和拼接模块118。例如，内插模块116表示如下算法：能够用于对数字图像和视频的部分进行采样，并且确定可能在从相机套件102捕捉的相邻图像之间出现的内插图像的数量。在一些实施方式中，内插模块114能够被配置成确定相邻图像之间的内插图像片段、图像部分和/或垂直或水平图像条。在一些实施方式中，内插模块114能够被配置成确定相邻图像中的相关像素之间的流场(和/或流矢量)。流场能够用于补偿图像已经经历的转换和处理已经经历转换的图像这两者。例如，流场能够用于补偿所获得图像的特定像素网格的转换。在一些实施方式中，插值模块114能够通过对周围图像的内插来产生不是所捕捉图像的一部分的一个或更多个图像，并且能够将产生的图像交织到所捕捉的图像中，以产生用于场景的附加虚拟现实内容。
捕捉校正模块116能够被配置成通过补偿非理想的捕捉设定来校正捕捉的图像。作为非限制性示例，示例捕捉设定能够包括圆形相机轨迹，平行主体(相机)轴线，垂直于相机轨迹的观看方向，与相机轨迹相切的观看方向，和/或其他捕捉条件。在一些实施方式中，捕捉校正模块116能够被配置成在图像捕捉期间补偿非圆形相机轨迹中的一个或两个，和/或在图像捕捉期间补偿非平行主轴的一个或两个。
捕捉校正模块116能够被配置成调整特定的图像组以补偿使用多个相机捕捉的内容，在所述多个相机中，相机间隔略大于30度。例如，如果相机之间的距离为40度，则通过从附加相机收集内容或通过内插丢失的内容，捕捉校正模块116能够基于很少的相机覆盖来解决特定场景中的任何丢失的内容。
在一些实施方式中，捕捉校正模块116也能够被配置成调整图像组以补偿由于相机姿态错误等造成的相机未对准。例如，如果在图像捕捉期间出现相机姿态错误(例如由于相机的位置和取向造成的错误)，则模块116能够将来自若干个图像帧的两列或更多列像素混合，以去除假象，所述假象包括由于曝光不良(或从图像帧到图像帧的曝光变化)和/或由于一个或更多个相机的未对准造成的假象。拼接模块118能够被配置成基于定义的、获得的和/或内插的图像产生3D立体图像。拼接模块118能够被配置成混合/拼接来自多个图像部分的像素和/或图像条。例如，在通过内插模块114确定时，能够基于流场拼接。例如，拼接模块118能够(从内插模块114)接收不是图像组的一部分的内插图像帧，并将图像帧交织到图像组中。交织能够包括模块118，模块118至少部分地基于通过内插模块114产生的光流将图像帧和图像组拼接在一起。
缝合组合能够用于产生全方位立体式全景以显示在VR头戴式显示器中。图像帧可以是基于从设置在特定套件上的多个相邻的相机对收集的视频流捕捉的。这样的套件可以包括大约12个到大约16个相机。也就是说，这样的套件的其他组合例如能够包括12-16个非配对或单独的相机。在一些实施方式中，奇数相机能够包括在套件中。在一些实施方式中，套件包括多余一组或两组的相邻相机。在一些实施方式中，套件可以包括能够并排坐放在套件上的多组相邻相机。在一些实施方式中，拼接模块118能够使用与至少一个相邻对相关联的姿态信息以在执行交织之前预先拼接图像组的一部分。在相机套件上的相邻对例如结合图3在下文中更明确地示出和描述。
在一些实施方式中，使用光流技术来将图像拼接在一起能够包括将所捕捉的视频内容拼接在一起。这样的光流技术能够用于在先前使用相机对和/或单个相机捕捉的特定视频内容之间产生中间视频内容。这种技术能够用作在捕捉图像的圆形固定相机套件上模拟相机的连续体。模拟相机能够捕捉与扫视环绕在圆中的单个相机的方法类似的内容，以捕捉360度的图像，但是在以上技术中，实际上更少的相机放置在套件上并且套件可以是静止的。模拟相机的连续体的能力还提供了能够捕捉视频(例如，以每度一幅图像的间隔捕捉的360张图像)中的每帧内容的优点。
实际上，在相机套件捕捉少于360个图像时，通过使用密集的图像组(例如，每度一个图像的360个图像)，能够将产生的中间视频内容拼接到使用光流实际捕捉的视频内容。例如，如果圆形相机套件包括8对相机(即16个相机)或16个非配对相机，则捕捉的图像数量可以低至16个图像。光流技术能够用于模拟16个图像之间的内容，以提供360度的视频内容。
在一些实施方式中，使用光流技术能够提高内插效率。例如，代替内插360个图像，可以在每个连贯的相机对(例如，[1-2]，[2-3]，[3-4])之间计算光流。给定捕捉的16个图像和光流，内插模块114和/或捕捉校正模块116能够计算任何中间视图中的任何像素，而不必在16个图像之一中内插整个图像。
图像处理系统106还包括投影模块120和图像校正模块122。投影模块120能够被配置成通过将图像投影到平坦的透视平面中来产生3D立体图像。例如，投影模块120能够获得特定图像组的投影，并且能够通过将一些图像从平面透视投影转换到球形(即，等角)透视投影内来配置部分图像组的重新投影。转换包括投影建模技术。
投影建模能够包括定义投影中心和投影平面。在本公开内容中描述的示例中，投影中心能够表示预定义的xyz坐标系的原点(0,0,0)处的光学中心。投影平面能够放置在投影中心的前方，同时相机面向在xyz坐标系中沿着z轴的捕捉图像。通常地，能够使用从坐标(x，y，z)到投影中心的特定图像光线的平坦透视平面的交点来计算投影。例如，能够通过使用矩阵计算来操纵坐标系进行投影的转换。
立体全景的投影建模能够包括使用不具有单个投影中心的多视角图像。多视角通常示出为圆形(例如球形)(见图13B)。在渲染内容时，当从一个坐标系转换成另一个坐标系时，本文描述的系统能够使用球体作为近似。
通常地，球形(即，等角)投影提供球体形状的平面，所述平面具有等同地围绕投影中心的球体的中心。透视投影提供如下视图，所述视图在平坦透视平面(例如，2D表面)上提供3D物体的图像以近似用户的实际视觉感知。通常地，图像能够在平整的图像平面(例如，计算机监视器，移动装置LCD屏幕)上渲染，使得投影在平面透视图中示出，以便于提供未失真的视图。然而，平面投影可能不允许360度的视场，所以捕捉的图像(例如，视频)能够以等角(即，球形)的透视存储，并且能够在渲染时被重新投影到平面透视图。
在特定的重新投影完成之后，投影模块120能够传送重新投影的图像部分以在HMD中渲染。例如，投影模块120能够向在HMD110中的左眼显示器以及在HMD110中的右眼显示器提供再投影的部分。在一些实施方式中，投影模块120能够被配置成通过执行上述重新投影来计算和减少垂直视差。
图像校正模块122能够被配置成通过补偿失真来产生3D立体图像，包括但不限于透视失真。在一些实施方式中，图像校正模块122能够确定维持3D立体的光流的特定距离，并且能够分割图像以仅显示维持这种流的场景的部分。例如，图像校正模块122能够确定3D立体图像的光流维持在距相机套件102的外边缘约一个径向米例如到距相机套件102的外边缘约五个径向米之间。因此，图像校正模块122能够确保选择在一米和五米之间的样本用于在HMD 110中、在没有失真的投影中渲染，同时还为HMD 110的用户提供具有适当视差的适当3D立体效果。
在一些实施方式中，图像校正模块122能够通过调整特定图像来估计光流。调整能够包括例如整理图像的一部分，确定与图像的该部分相关联的估计的相机姿态，以及确定在该部分中的图像之间的流动。在非限制性示例中，图像校正模块122能够补偿正在计算流动的两个特定图像之间的旋转差异。该校正能够用于去除由旋转差(即旋转流)引起的流动分量。这样的校正导致由平移引起的流动(例如，视差流)，这能够降低流动估计计算的复杂性，同时使得所得到的图像准确和鲁棒。在一些实施方式中，能够在渲染之前对图像执行图像校正以外的处理。例如，能够在实施渲染之前在图像上执行拼接、混合或附加校正处理。
在一些实施方式中，图像校正模块122能够校正由相机捕捉的、几何形状不基于平面透视投影的图像内容引起的投影失真。例如，能够通过从多个不同视角内插图像，并且通过调节与作为源自共同原点的图像相关联的观看光线来对图像应用校正。内插图像能够交织到捕捉到的图像中，以在对于人眼具有舒适的旋转视差水平的情况下产生虚拟内容，所述虚拟内容对于人眼准确显现。
在示例系统100中，装置106、108和112可以是膝上型计算机、台式计算机、移动计算装置或游戏控制台。在一些实施方式中，装置106、108和112能够是能够设置(例如放置/位于)在HMD装置110内的移动计算装置。移动计算装置能够包括显示装置，所述显示装置能够用作屏幕，所述屏幕用于例如HMD装置110。装置106、108和112能够包括用于实行VR应用的硬件和/或软件。此外，装置106、108和112能够包括如下硬件和/或软件：当这些装置放置在HMD设备110的前方或相对于HMD设备110保持在一定位置范围内时，所述硬件和/或软件能够识别、监视和跟踪HMD装置110的移动。在一些实施方式中，装置106、108和112能够在网络104上向HMD装置110提供附加内容。在一些实施方式中，装置102、106、108、110和112能够彼此连接到其中的一个或更多个/与其中的一个或更多个对接，或者通过网络104连接或配对。连接能够是有线的或无线的。网络104能够是公共通信网络或专用通信网络。
系统100可以包括电子存储器。电子存储器能够包括在任何装置(例如，相机套件102，图像处理系统106，HMD装置110和/或诸如此类)中。电子存储器能够包括以电子方式存储信息的非暂时性存储介质。电子存储器可以被配置成存储捕捉的图像、获得的图像、预处理的图像、后处理的图像等。可利用任何本公开的相机套件捕捉的图像能够处理并存储为一个或更多个视频流，或者存储为单独帧。在一些实施方式中，存储能够在捕捉期间出现，并且渲染能够直接出现在捕捉部分之后，以使得相比捕捉和处理不同时发生的情况能够更早地访问全景立体内容。
图2是显示被配置成捕捉场景的图像以在产生立体全景中使用的示例相机套件200的图示。相机套件200包括固定到环形支撑底座(未示出)的第一相机202A和第二相机202B。如示出的，相机202A和202B设置在直接向外(朝向要捕捉的图像/场景)并平行于套件200的旋转轴或旋转中心(A1)的环形位置中。
在显示的示例中，相机202A和202B布置(例如放置)在以一定距离隔开(B1)的安装板208上。在一些实施方式中，在相机套件200上的每个相机之间的距离(B1)可以表示平均的人类瞳孔间距离(IPD)。相机以IPD距离放置能够近似人眼在其旋转(左或右如箭头204所示)时将如何观看图像，以扫描由箭头204指示的捕捉路径周围的场景。平均的人类IPD测量值的示例能够是约5厘米至约6.5厘米。在一些实施方式中，以标准IPD距离隔开的每个相机均能够是一组相邻相机的一部分。
在一些实施方式中，相机套件200能够被配置成近似标准人类头部的直径。例如，相机套件200能够设计成具有约8厘米至约10厘米的直径206。能够为套件200选择该直径206以近似相对于旋转中心A1人类头部将如何旋转和用人眼将如何观看场景图像。其他尺寸是可能的，并且如果例如使用更大的直径，套件200或系统100能够调整捕捉技术和所得到的图像。
在非限制性示例中，相机套件200能够具有约8厘米至约10厘米的直径206，并且能够容纳以约6厘米的IPD距离隔开放置的相机。下面将描述多个套件布置。在本公开内容中描述的每个布置能够配置有上述或其他直径和相机之间的距离。
如图2所示，两个相机202A、202B能够配置有宽广的视场。例如，相机能够捕捉约150度至约180度的视场。相机202A、202B可以具有鱼眼透镜以捕捉更宽的视野。在一些实施方式中，相机202A、202B用作相邻的相机对。
在操作中，套件200能够围绕旋转中心A1旋转360度以捕捉全景场景。可替选地，套件能够保持静止，并且可以向相机套件200添加附加相机以捕捉360度场景的附加部分(如图3所示)。
图3是显示被配置成捕捉场景的图像以在产生立体全景中使用的另一个示例相机套件300的图示。相机套件300包括附着到环形支撑底座(未示出)的多个相机302A-302H。第一相机302A被示出为实线，附加相机302B-302H用虚线示出以指示它们是可选的。与在相机套件200中示出的平行安装的相机相比(见相机202A和202B)，相机302A-302H与圆形相机套件300的外圆周相切地设置。如图3所示，相机302A具有相邻相机302B和相邻相机302H。
在显示的示例中，与在套件200中的相机类似，相机202A和202B以指定距离(B1)隔开地设置。在该示例中，相机302A和302B能够用作相邻对以分别地相对于向左和向右方向捕捉中心相机透镜的角度偏离，如下面详细描述的。
在一个示例中，相机套件300是圆形套件，其包括可旋转的或紧固的底座(未示出)和安装板306(其也能够称为支撑件)，并且相邻的相机对包括第一相机302A和第二相机302B，第一相机302A放置在安装板306上并且被配置成指向与安装板306的边缘相切的观看方向，并且布置成朝着向左方向指向；第二相机302B与第一相机以并排方式放置在安装板306上并且在距第一相机302A瞳孔间距离(或不同距离(例如，小于IPD距离))处放置，第二相机302B布置成指向与安装板306的边缘相切的观看方向，并且布置成朝着向右的方向指向。类似地，相邻对能够由相机302C和302D制成、由来自相机302E和302F的另一对制成，以及由来自相机302G和302H的另一对制成。在一些实施方式中，每个相机(例如，302A)能够与不与其自身相邻但与其邻居相邻的相机配对，使得套件上的每个相机均能够与套件上的另一相机配对。在一些实施方式中，每个相机均能够与其直接邻居(在任一侧上)配对。
在一些实施方式中，能够通过插值模块114产生一个或更多个立体图像。例如，除了在相机套件300上示出的立体相机之外，还能够产生附加立体相机作为合成立体图像相机。具体地，分析来自捕捉图像的光线(例如，光线跟踪)能够产生3D场景的模拟帧。分析能够包括通过特定图像或图像帧从视点向后追踪光线并进入场景。如果特定的光线撞击场景中的物体，则穿过物体的每个图像像素能够用颜色来绘制以匹配物体。如果光线没有撞击物体，则能够利用与场景中的背景或其他特征匹配的颜色来绘制图像像素。使用视点和光线跟踪，内插模块114能够产生似乎来自模拟立体相机的附加场景内容。附加内容能够包括图像效果、丢失的图像内容、背景内容、用于视场的外侧的内容。
如图3所示，相机302A-302H以与相机套件300的外圆周相切的方式设置(例如放置)，并且因此能够捕捉场景的高达180度视野。也就是说，由于相机以相切的方式放置，所以能够在套件上的每个相机中捕捉完全不遮挡的、180度的视场。
在一些实施方式中，相机套件300包括相邻相机。例如，套件300能够包括相邻的相机302A和302B。相机302A能够配置有定向在观看方向上的相关联的透镜并且布置成朝着向左的方向指向，所述观看方向与安装板304的边缘相切。类似地，相机302B能够以与相机302A并排的方式设置在安装板304上，并且被放置在距相机302A大致人的瞳孔间距离处，并且布置成指向与安装板304的边缘相切的观看方向，并且布置成朝着向右的方向指向。
在一些实施方式中，在照相机302A-H(或相机套件300)上的特定传感器可以相对于相机302A-H(或套件300)的外圆周切向地设置，而不是具有切向设置的实际相机302A-H。以这种方式，相机302A-H能够根据用户偏好放置，并且传感器能够基于套件300的位置、扫视速度，或基于相机配置和设定来检测哪个相机或相机302A-H能够检测图像。
在一些实施方式中，邻居能够包括以背对背或并排方式布置的相机302A和相机302E。该布置也能够用于收集相对于由分别的相机透镜和安装板304形成的方位308的左右的视角。在一些实施方式中，相机相对于分别由相机透镜和安装板304形成的方位308的左右的以倾斜角度布置。
在一些实施方式中，放置在相机套件300上的相机能够在图像内插期间与任意其他相邻的相机配对，并且在面向向外的方向上简单地围绕圆形套机对齐。在一些实施方式中，套件300包括单个相机(例如相机302A)。在只有相机302A安装到套件300的情况下，能够通过将相机套件300顺时针旋转完整的360度来捕捉立体全景图像。
图4是显示被配置成捕捉场景的图像以在产生立体全景中使用的移动装置402的图示。在该示例中，用户正在操作移动装置402，并且能够通过在其环境周围的路径404、406中记录风景来使用装置拍摄视频图像。例如，用户能够保持移动装置402向外指向并且使装置402的底部边缘平行于地面，并且顺时针或逆时针转动以将移动装置402围绕路径404、406扫视以记录包围用户的身体的视频。在另一个示例中，用户能够保持移动装置402在头上并且转动以使装置402扫视路径404、406或转动装置402以制造路径404、406来获得类似的成像。在又一个示例中，用户能够将移动装置402安装在相机套件或三脚架上，并且使相机围绕局部圆形路径或完整360度圆形路径回旋。
无论用户如何捕捉360度的视图，用户导航的路径都可能不遵循如下路径404，在路径404中，良好约束的弧线在装置402相对于用户的身体以约90度保持的情况下被制造。相反，具有用户作为其向导的移动装置402可以更容易地横越通过线406示出的如下路径，在所述路径中可能在横向和垂直两个方向上出现隆起和移动。这样的移动导致所得视频或图像的改变，并且如果在视频或图像上执行任何后处理，则可能导致问题。因此，在本公开内容中描述的方法能够校正在视频或图像内容中不完美地捕捉的透视图以提供3D立体全景。
图5是显示被配置成捕捉用于在产生立体全景中使用的场景的图像的另一示例相机套件500的图示。在此，套件500是“四轴飞行器”，或四旋翼直升机。相机套件500是能够由四个转子提升和推进的多转子直升机。如在本公开内容中所描述的，相机套件500能够配置(例如配备)有多个相机。相机能够设定成捕捉围绕场景的路径的全景，或者从围绕套件500的顶部或底部安装的若干个相机捕捉围绕场景的路径的单个图像。通常地，围绕场景的路径可以指围绕用户或相机套件的圆；围绕用户或相机套件的圆的一部分；通过移动装置的扫视运动产生的用于捕捉场景的图像的弧；360度扫视的场景；通过用户行走或转向执行以捕捉围绕她的内容的非约束路径；或能够用于利用移动装置或相机套件捕捉图像内容的其他路径。
如图5所示，相机502和相机504设置在四轴飞行器500的底部上。例如，在四轴飞行器500悬停并且不旋转的情况下，能够添加附加相机以捕捉全景中的附加图像。此外，只有一个相机能够用于捕捉3D扫视的360度的立体全景图像。类似于安装在一个或更多个上述套件配置中的相机，相机能够与特定弧形相切地、对中地安装，或以另一种方式倾斜以捕捉360度圆的一部分。
在一些实施方式中，用户能够从遥控器或计算机远程器控制四轴飞行器500。用户能够向四轴飞行器馈送用于捕捉什么类型的图像的指令，包括但不限于视频、静止帧、扫视帧、宽视图、窄视图、角度视图等。在一些实施方式中，指令或方向能够向安装在四轴飞行器上的GPS单元提供以确保捕捉特定的场景。在一些实施方式中，用户能够提供“跟随”模式以在场景(例如，演员、树、路径、另一个四轴飞行器或相机套件等)中找到预先确定的元素。在该示例中，用户能够针对特定时间量设定四轴飞行器500遵循指定路径。在一些实施方式中，用户能够设定四轴飞行器500以特定速度在横越路径或接近到达特定目的地时旋转。
图6是显示被配置成捕捉场景的图像以在产生立体全景中使用的示例相机套件600的图示。相机套件600能够安装在安装板602上。安装板602能够坐放在可旋转的底座604上。相机套件600包括填充相机套件的安装板602的圆周区域的多个并排的相机(例如，相机606-610)。相机能够放置成填充套件600的圆周，或者可替选地，能够策略性地间隔以最大化视角并最小化捕捉套件本身的部分。
在非限制性示例中，圆形相机套件600能够通过在平行于可旋转底座604的弧形运动中旋转，使用设置在安装板602上的任意数目的相机捕捉图像组。在一些实施方式中，相机套件600包括设置在安装板602上的相邻相机。相邻相机可以同步配置，并且定位成捕捉与约160度至约180度相关联的视场。其他视场也是可能的。在一些实施方式中，相机套件600未安装在可旋转的底座上并且以静止的方式起作用。
在套件操作的一个示例中，相机套件(例如，套件200、300、400、500或600)能够在捕捉围绕特定套件的场景期间在第一方向上旋转，并且随后在场景的捕捉期间在不同的方向上旋转。例如，相机套件600能够顺时针旋转，而套件600上的一个或更多个相机以如下观看方向放置，所述观看方向在相机套件600的底座604的中心的相对侧处偏移。以类似的方式，相机套件600接着能够在逆时针方向上旋转，同时任意数目的相机面朝向左或向右以捕捉场景的附加视图。在套件600的一个示例性取向中，每隔一个的相机能够定向在一个方向上(例如，相机透镜向左或向右倾斜)，同时在中间的相机定向在相反(例如，向左面向或向右面向)的方向上。
在一些实施方式中，底座604能够紧固。例如，在套件600上的每个相机均能够是在静止模式中起作用的任何静止的相机或摄像机。因此，相机能够同步和/或被配置成同步捕捉周围场景的图像帧。这些方面可以拼接在一起以形成立体全景视图。
在一些实施方式中，在本公开内容中描述的相机套件能够包括安装在圆形壳体上的任意数目的相机。在一些实施方式中，相机能够与在从圆形套件的中心向外的四个方向的每个方向上的相机对等距安装。在该示例中，配置为例如立体对的相机能够沿着圆周向外瞄准，并且以零度、九十度、一百八十度和二百七十度的方式设置，使得每个立体对捕捉360度视场的不同象限。通常地，相机的可选视场确定立体对的相机视图的重叠量，以及在相机之间和在相邻象限之间的任何盲点的大小。一个示例相机套件能够采用被配置成捕捉大约120度至多180度的场的一个或更多个立体相机对。
在一些实施方式中，在本公开内容中描述的相机套件能够以约5厘米至约8厘米的直径(例如，在图2中的直径206)配置，以模仿人的瞳孔间距，以在例如用户于四分之一圆、半圆、整圆或圆的其他部分中要转动她的头部或身体的情况下，捕捉用户将看到什么。在一些实施方式中，直径可以指跨越套件从相机透镜到相机透镜的距离。在一些实施方式中，直径可以指从一个相机传感器跨越套件到另一个相机传感器的距离。在一些实施方式中，直径可以简单地指从边缘到边缘、跨越环形板的安装板(例如，安装板208)的尺寸。
在一些实施方式中，相机套件从约8厘米放大到约25厘米以例如容纳附加相机紧固件。在一些实施方式中，在较小直径的套件上能够使用较少的相机。在这样的示例中，在本公开内容中描述的系统能够断定或推断出套件上的相机之间的视图并且将这样的视图与实际捕捉的视图交织。
在一些实施方式中，在本公开内容中描述的相机套件能够用于通过如下方式捕捉全景图像：通过使用例如具有旋转透镜的相机或旋转相机在单次曝光中捕捉整个全景。上述相机和相机套件能够与本公开内容中描述的方法一起使用。具体地，能够使用本文描述的其他相机套件中的任何一个来执行相对于一个相机套件描述的方法。在一些实施方式中，相机套件和随后捕捉的内容能够与如下其他内容组合：诸如虚拟内容、渲染的计算机图形(CG)内容和/或其他获得的或产生的图像。
图7是说明示例VR装置(VR耳机)702的图示。用户能够通过将耳机702放置在她的眼睛上来戴上VR耳机702，类似于放置护目镜、太阳眼镜等。在一些实施方式中，参考图1，VR耳机702能够使用一个或更多个高速有线和/或无线通信协议(例如，Wi-Fi、蓝牙、蓝牙LE、USB等)或使用HDMI接口与计算装置106、108或112的多个监视器进行对接/连接。连接能够将虚拟内容提供给VR耳机702，以在包括于VR耳机702中的屏幕(未示出)上向用户显示。在一些实施方式中，VR耳机702能够是支持投射的装置。在这些实施方式中，用户可以选择向VR耳机702提供或投射(投影)内容。
此外，VR耳机702能够使用一个或更多个高速有线和/或无线通信接口和协议(例如，Wi-Fi、蓝牙、蓝牙LE、通用串行总线(USB)等)来对接/连接到计算装置104。计算装置(图1)能够识别到VR耳机702的接口，并且作为响应，能够执行将用户和计算装置在计算机产生的3D环境(VR空间)中渲染的VR应用，所述3D环境包括虚拟内容。
在一些实施方式中，VR耳机702能够包括能够实行VR应用的可去除的计算装置。可去除的计算装置能够类似于计算装置108或112。可去除的计算装置能够被并入到VR耳机(例如，VR耳机702)的外壳或框架内，所述VR耳机接着能够由VR耳机702的用户戴上。在这些实施方式中，当与计算机产生的3D环境(VR空间)进行交互时，可去除的计算装置能够提供用户观看的显示器或屏幕。如上所述，移动计算装置104能够使用有线或无线接口协议连接到VR耳机702。移动计算装置104能够是VR空间中的控制器，能够作为VR空间中的物体出现，能够向VR空间提供输入，并且能够从VR空间接收反馈/输出。
在一些实施方式中，移动计算装置108能够实行VR应用，并且能够向VR耳机702提供数据以创建VR空间。在一些实施方式中，在VR耳机702中包括的屏幕上向用户显示的VR空间的内容也可以被显示在移动计算装置108中包括的显示装置上。这允许别人看到用户可能在VR空间中与什么进行交互。
VR耳机702能够提供指示移动计算装置108的位置和取向的信息和数据。VR应用能够接收以及使用位置和取向数据，作为在VR空间内交互的用户的指示。
图8是说明相机视场与多个相机(以及邻居)的函数的示例图800。图形800表示能够用以确定相机的数目的示例图，所述相机可以设置在用于预定义的视场的相机套件上以产生立体全景。图形800能够用于计算相机设定和相机放置，以确保特定的立体全景成果。一个示例设定能够包括选择多个相机以贴附到特定的相机套件。另一种设定能够包括确定在捕捉、预处理或后处理步骤中将使用的算法。例如，对于光流内插技术，拼接完整的360度全景可以指令：每个光学光线方向应该被至少两个相机看到。这可能会限制要使用的相机的最少数目，以便依照相机视场θ[θ]的函数覆盖完整的360度。光流内插技术能够由相机邻居(或对)或单独相机执行和配置。
如图8所示，图形显示的是对函数802的图解。函数802表示相机视场[θ]806与多个相机[n]804的函数。在该示例中，大约95度的相机视场通过线808示出。线808和函数802的交点810示出的是：使用每个均具有95度视场的十六(16)个相机将提供期望的全景成果。在这样的示例中，能够通过如下方式配置相机套件：对用于每个相邻相机组的相邻相机进行交织，以在相邻相机放置在套件上时使用可能出现的任何空间。
除了对相邻相机进行交织之外，光流要求能够指令：系统100计算相同类型的相机之间的光流。也就是说，能够为第一相机计算光流，然后为第二相机计算光流量，而不是同步计算。通常地，在像素处的流动能够计算为取向(例如，方向和角度)和幅度(例如，速度)。
图9是说明相机视场[θ]904与内插视场[θ1]902的函数的示例图900。图形900能够用于确定相机的视场的哪个部分与其左邻居或右邻居共享。这里，在大约95度的相机视场(由线906示出)处，内插的视场示出为大约48度，如交点908所示。
假设两个连贯的相机通常不捕捉完全相同的视场的图像，则内插相机的视场将由相机邻居的视场的交点表示。于是，内插视场[θ1]能够是相机视场[θ]和相机邻居之间的角度的函数。如果(使用图8示出的方法)为给定的相机视野选择最少数目的相机，则能够将[θ1]作为[θ]的函数计算，如图9所示。
图10是说明选择用于相机套件的配置的示例图1000。具体地，图形1000能够用于确定特定的相机套件能够被设计成多大。图形1000显示套件直径[D，以厘米为单位]1004与拼接比[d/D]的曲线1002的函数。为了产生舒适的虚拟现实全景观看体验，在本公开内容的示例中，选择全方位立体式拼接直径[d]为约5厘米至约6.5厘米，这是典型的人类IPD。在一些实施方式中，能够使用与拼接直径[d]大致相同的捕捉直径[D]来执行全方位立体式拼接。也就是说，例如，保持大约“1”的拼接比能够在全方位立体式图像的后处理中提供更容易的拼接。由于用于拼接的光学光线与实际的相机捕捉的光线相同，所以这种特定的配置能够使失真最小化。当所选择的相机数目高时(例如，每个套件12-18个相机)，获得“1”的拼接比会是困难的。
为了减轻套件上相机太多的问题，套件尺寸能够设计成更大的尺寸以容纳附加相机并且允许拼接比保持相同(或基本上相同)。为了确保在捕捉期间，拼接算法对在透镜的中心附近拍摄的图像中的内容进行采样，可以固定拼接比以确定相机相对于套件的角度[α]。例如，图10示出了在透镜中心附近的采样提高了图像质量并使几何失真最小化。具体地，较小的角度[α]能够帮助避免套件闭塞(例如，相机对套件本身的部分进行成像)。
如图10所示，在1006处，0.75的拼接比[d/D]对应于约6.5厘米的套件直径(即典型的人类IPD)。将拼接比[d/D]降低到约0.45允许将套件直径增加到约15厘米(以1008示出)，这能够允许将附加相机添加到套件。相机相对于相机套件的角度能够基于选择的拼接比进行调整。例如，将相机角度调整到约30度指示套件直径能够大至12.5厘米。类似地，例如，将相机角度调整到大约25度指示的是，当为用户向后渲染时，套件直径能够大到15厘米并且仍然保持适当的视差和视觉效果。
通常地，给定套件直径[D]，能够计算最佳相机角度[α]。根据[α]能够计算最大视场[Θu]。最大视野[Θu]通常对应于套件不会部分遮挡相机的视野。最大视野能够限制相机套件能够容纳几个相机，并且仍然提供不被遮挡的视图。
图11是说明能够用于根据预定义的套件直径确定最少相机数目的示例关系的图形1100。这里，示出了用于给定套件直径[D]1104的相机的最小数目[nmin]1102。套件直径[D]1104限制最大不遮挡视场，其功能是限制相机的最小数目。如在图形中的1106处所示，对于直径大约为10厘米的套件直径，能够在相机套件中使用至少十六(16)个相机以提供不遮挡视图。修改套件直径能够允许增加或减少在套件上放置的相机数目。在一个示例中，在尺寸约8至约25厘米的套件上，套件能够收容约12至约16个相机。
由于其他方法可用于调谐视场和图像捕捉设定，因此能够将这些计算与这些其他方法相组合，以进一步改善相机套件的尺寸。例如，光流算法能够用于改变(例如，减少)通常用于拼接全方位立体式全景的相机的数目。在一些实施方式中，例如，在本公开内容中显示的或从本公开内容中描述的系统和方法产生的图能够组合使用，以产生用于在HMD装置中渲染的虚拟内容。
图12A-B表示描绘会在图像捕捉期间发生的失真示例的线。具体地，这里示出的失真对应于在捕捉立体全景时出现的效果。通常地，当捕捉场景的相机靠近所捕捉的场景时，失真可能更严重。图12A表示一个两米乘两米并且距相机中心向外一米设置的场景中的平面。图12B是与图12A相同的平面，但该图中的平面设置成距相机向外25厘米。两个图都使用6.5厘米的捕捉直径。图12A示出在1202处的中心附近的轻微拉伸，而图12B示出更扩张的中心1204。能够采用许多技术来校正这种失真。以下段落描述了使用所捕捉的图像内容以分析投影(例如，球形和平面投影)以校正失真的近似方法和系统(例如，相机套件/捕捉装置)。
图13A-B显示在全景图像的收集期间捕捉到的光线示例。图13A示出了给定捕捉图像组，能够在捕捉路径1302上的任何位置为左眼和右眼这两者产生透视图像。这里，通过射线1304a示出左眼的光线，在1306a处示出右眼的光线。在一些实施方式中，由于相机的设定、故障或仅仅用于场景的套件设定不足，导致所显示的光线中的每个可能不被捕捉。由此，可以近似一些光线1304a和1306a。例如，如果场景无限远离，则场景的一个可测量特征包括从原点到目的地的光线方向。
在一些实施方式中，光线原点可能不是可收集的。因此，在本公开内容中的系统能够近似左眼和/或右眼以确定光线的原点位置。图13B示出用于右眼的近似光线方向1306b至1306f。在该示例中，代替源自相同点的光线，每个光线源自在圆1302上的不同点。光线1306b至1306f示出为相对于捕捉圆1302以相切的方式倾斜，并且设置在捕捉圆1302的圆周周围的特定区域处。此外，在相机套件圆1303上示出了与相机套件相关联的两个不同的图像传感器——图像传感器13-1和图像传感器13-2(图像传感器13-1和图像传感器13-2与相机相关联或包括在相机中)的位置。如图13B所示，相机套件圆1303大于捕捉圆1302。
能够以这种方式使用从圆向外的不同方向近似多个光线(以及与每个光线相关联的图像的颜色和强度)。以这种方式，能够为左眼和右眼视图这两者提供包括许多图像的整个360度全景视图。这种技术能够解决在中间范围物体中的失真，但是在某些情况下，当对附近的物体成像时仍然会发生变形。为了简单起见，未显示近似的左眼光线方向。在该示例实施方式中，仅说明了少数光线1306b至1306f。然而，能够定义数千个这样的光线(和与那些光线相关联的图像)。因此，能够定义(例如，内插)与每个光线相关联的许多新图像。
如图13B所示，光线1306b被投影在图像传感器13-1和图像传感器13-2之间。图像传感器13-1与图像传感器13-2相邻。光线能够距图像传感器13-1(例如，图像传感器13-1的投影中心)为距离G1，并且距图像传感器13-2(例如，图像传感器13-2的投影中心)为距离G2。距离G1和G2能够以光线1306b与相机套件圆1303相交的位置为基础。距离G1可以不同于(例如，大于、小于)距离G2。
为了定义与光线1306b相关联的图像(例如，内插图像，新图像)，由图像传感器13-1捕捉的第一图像(未示出)与由图像传感器13-2捕捉的第二图像(未示出)组合(例如，拼接在一起)。在一些实施方式中，光流技术能够用于组合第一图像和第二图像。例如，能够辨别与来自第二图像的像素相对应的第一图像的像素。
为了定义例如与光线1306b相关联的图像，基于距离G1和G2移位相应的像素。可以假设的是，图像传感器13-1、13-2的分辨率、纵横比、高程等对于定义用于光线1306b的图像(例如，新图像)是相同的。在一些实施方式中，分辨率、纵横比、高程等可以是不同的。然而，在这种实施方式中，将需要修改内插以适应这些差异。
作为具体示例，与在第一图像中的物体相关联的第一像素能够被识别为与在第二图像中的物体相关联的第二像素相对应。因为第一图像根据图像传感器13-1(图像传感器13-1在围绕相机套件圆1303的第一位置处)的透视捕捉，以及第二图像根据图像传感器13-2(图像传感器13-2在围绕相机套件圆1303的第二位置处)的透视捕捉，所以与第二图像中的位置(XY坐标位置)相比，物体将在第一图像内的位置(例如，XY坐标位置)中移位。类似地，与物体相关联的第一像素将相对于同样与物体相关联的第二像素在位置(例如，X-Y坐标位置)中移位。为了产生与光线1306b相关联的新图像，可以基于距离G1和G2的比率来定义与第一像素和第二像素(以及物体)相对应的新像素。具体地，能够在如下方位处定义新像素：所述方位根据基于距离G1(并且以基于第一像素的位置与第二像素的位置之间的距离的因子缩放)的第一像素和基于距离G2(并且以基于第一像素的位置与第二像素的位置之间的距离的因子缩放)的第二像素在位置中移位。
根据上述实施方式，能够为与光线1306b相关联的新图像定义视差，光线1306b与第一图像和第二图像一致。具体地，相对靠近相机套件的物体能够比相对远离相机套件的物体移位更大的量。能够基于光线1306b的距离G1和G2，在像素(例如，从第一像素和第二像素)的移位之间维持该视差。
对于围绕捕捉圆1302的所有光线(例如，光线1306b至1306f)，能够重复该过程。能够基于每个光线与围绕相机套件圆1303的图像传感器(例如，相邻的图像传感器，图像传感器13-1、13-2)之间的距离来定义与捕捉圆1302周围的每条光线相关联的新图像。
如图13B所示，相机套件圆1303的直径大于捕捉圆1302的直径。在一些实施方式中，相机套件圆1303的直径能够比捕捉圆1302的直径大1.5至8倍。作为具体示例，捕捉圆的直径可以为6厘米，并且相机套件圆1303(例如，在图4A中示出的相机安装环412)的直径可以为30厘米。
图14A-B说明如图13A-B中描述的近似平面透视投影的使用。图14A示出了在近似平面透视光线和投影之前具有失真线的全景场景。如示出的，窗帘杆1402a、窗框1404a和门1406a显示为具有弯曲特征的物体，但实际上它们是直线特征的物体。直线特征的物体包括不具有弯曲表面的物体(例如平坦的索引卡，方形盒，矩形窗框等)。在该示例中，物体1402a、1404a和1406a示出为弯曲的，因为它们已经在图像中失真。图14B示出了在90度水平视场处近似的平面透视投影的校正图像。这里，窗帘杆1402a、窗框1404a和门1406a分别示出为校正的直的物体1402a、1404b和1404c。
图15A-C说明应用于图像的平面的近似平面透视投影的示例。图15A示出了使用本公开内容中描述的技术从全景拍摄的平面透视投影。显示的平面视图1500能够表示例如在图14B的图像中示出的平面的覆盖。具体地，图15A表示校正的图14A，在图15A处，曲线被投影成直线。这里，全景的平面1500在一米的距离处示出(具有90度的水平视场)。线1502、1504、1506和1508是直的，反之，之前(对应于图14A)，相同的中心线是弯曲和失真的。
基于所选的投影方案可能会出现其他失真。例如，15B和图15C表示使用平面透视投影产生的平面(1510和1520)，使用本公开内容中的技术从全景拍摄所述平面透视投影。全景在25厘米的距离(90度的水平视场)处捕捉。图15B示出了左眼捕捉器1510，并且图15C示出了右眼捕捉器1520。这里，平面(1512,1522)的底部不投影成直线并且引入了垂直视差。当使用平面透视投影时，可能出现这种特定变形。
图16A-B说明引入垂直视差的示例。图16A显示根据典型的全方位立体式全景技术捕捉的直线1602a。在显示的示例中，每个光线1604a-1618a源自圆1622上的不同点。
图16B显示了在使用透视近似技术观察时的相同直线。如示出的，直线1602示出为变形成线1602b。光线1604b-1618b源自圆1622上的单个点。变形能够具有将线1602b的左半部带向观察者并且将线的右半部推开远离观察者的效果。对于左眼，能够发生相反的情况，即，线的左半部更远离地出现，而线的右半部更近地出现。变形的线在两根渐近线之间弯曲，两根渐近线以等于全景渲染圆1622的直径1624的距离分开。由于变形示出为与全景捕捉半径相同的尺寸，所以可能仅在附近的物体上显眼。这种变形形式会导致用户观察图像的垂直视差，在对失真的图像执行拼接处理时，垂直视差可能导致融合困难。
图17A-B显示坐标系的点的示例，所述坐标系的点能够用于图示在3D全景中的点。图17A-B显示了通过在本公开内容中描述的全景技术成像的点(0，Y，Z)1702。该点在左右全景中的投影能够由(θ，φ)和(-θ，φ)表示，如分别在下式(1)和(2)中示出的，其中：
并且，其中，r1704是全景捕捉的半径。
图17A显示了点(0，Y，Z)1702的全景成像的俯视图。图17B显示点(0，Y，Z)1702的全景成像的侧视图。示出的点投影到在左全景图中的(-θ，φ)，并且投影到在右全景图中的(θ，φ)。这些特定视图被如此捕捉并且没有投影到另一个平面内。
图18表示在图17A-17B中显示的点的投影视图。这里，如图18中通过1802示出的，点1702的透视图定向为以围绕y轴的旋转角[α]水平地看。由于该透视投影仅考虑光线方向，因此能够通过将看到全景投影1802中的点1702的光线转换到透视相机的参考系内来找到点1702沿着投射的光线。例如，点1702沿着下表1中示出的以下光线投影：
表1
执行透视分割，能够确定点投影，如下表2中的等式所示：
表2
可以看出的是，如果(对应于原始3D点1702是无限远的)，则点1702将通常在两个透视图像中投影到相同的y坐标，并且因此将不存在垂直视差。然而，随着θ距越来越远(随着点更靠近相机移动)，对于左眼和右眼，投影的y坐标将不同(除了如下情形：对应于透视图的α＝0看向点1702)。
在一些实施方式中，能够通过以特定方式捕捉图像和场景来避免失真。例如，将近场内的场景捕捉到相机(即不到一米远)可能会导致失真元素出现。因此，从一米向外捕捉场景或图像是减少失真的方式。
在一些实施方式中，能够使用深度信息来校正失真。例如，给定场景的准确深度信息，能够纠正失真。也就是说，因为失真会依赖于当前的观察方向，所以在渲染之前可以不必对全景图像应用单个失真。相反，深度信息能够随着全景一起传递，并在渲染时使用。
图19说明在全向立体图像中捕捉到的光线，所述全向立体图像使用在本公开内容中描述的全景成像技术。在该示例中，围绕圆1900指向顺时针方向的光线1902、1904、1906对应于左眼的光线。类似地，围绕圆1900指向逆时针方向的光线1908、1910、1912对应于右眼的光线。每个逆时针光线能够在看向相同方向的圆的相对侧上具有相应的顺时针光线。这能够为在单个图像中表示的每个光线的方向提供左/右观察光线。
为本公开内容中描述的全景捕捉的光线组能够包括在圆1900上围绕圆1900移动相机(未示出)，对准与圆1900相切的相机(例如，指向在场景处向外面向并与圆1900相切的相机透镜)。对于左眼，相机能够指向右侧(例如，光线1904被捕捉到中心线1914a的右侧)。类似地，对于右眼，相机能够指向左侧(例如，光线1910被捕捉到中心线1914a的左侧)。能够使用中心线1914b来定义类似的左区域和右区域，用于在圆1900的另一侧上并且在中心线1914b下方的相机。产生全向立体图像用于真实的相机捕捉或用于先前渲染的计算机图形(CG)内容。例如，视图内插能够与捕捉的相机内容和渲染的CG内容这两者一起使用，以模拟捕捉在圆1900上的真实相机之间的点。
拼接图像组能够包括使用球形/等角投影来存储全景图像。通常地，在这种方法中存在两个图像，每个眼睛一个。在等角图像中的每个像素对应于球体上的方向。例如，x坐标能够对应于经度，而y坐标能够对应于纬度。对于单向-全向图像，像素的观看光线的原点可以是相同的点。然而，对于立体图像，每个观看光线也可以源自圆1900上的不同点。然后，能够通过如下方式从捕捉图像拼接全景图像：分析在捕捉图像中的每个像素，从投影模型产生理想观看光线，并对来自其观看光线与理想射线最接近匹配的捕捉或内插图像的像素进行采样。接下来，可以将光线值混合在一起以产生全景像素值。
在一些实施方式中，能够使用基于光流的视图内插来在圆1900上产生每度至少一个图像。在一些实施方式中，能够一次性地填充全景图像的整列，因为可以确定的是，如果列中的一个像素将从给定的图像采样，则该列中的像素将从相同的图像采样。
与本公开内容的捕捉和渲染方面一起使用的全景格式能够确保的是，由左眼和右眼观看的物体的图像坐标仅通过水平移位而不同。这种水平移位称为视差。这适用于等角投影，并且在这种投影中，物体可能会显得非常失真。
这种失真的幅度会依赖于与相机的距离和观看方向。失真能够包括线弯曲失真，不同的左眼和右眼失真，并且在一些实施方式中，视差可能不再水平地显现。通常地，垂直视差的1-2度(在球形图形像平面上)能够被人类用户舒适地容忍。此外，在外围眼线中的物体可能会被忽略失真。这与远离中央观看方向约30度相互关联。基于这些发现，能够配置的限制是，定义相机附近的如下区域，在所述区域处，物体不应穿透以避免不舒适的失真。
图20是说明由3D空间中的点造成的最大垂直视差的图形2000。具体地，图形2000显示了由在3D空间中的点引起的以度为单位的最大垂直视差，假定所述点投影成距图像的中心30度。图形2000绘制了距相机中心的垂直位置(以米为单位)和距相机的水平位置(以米为单位)。在该图中，相机的位置在原点[0，0]处。当图形远离原点移动时，失真的严重程度变小。例如，在图形上，从约零到一的2002和从零0到负数-1的2004(垂直地)，失真是最严重的。这对应于在相机(放置在原点处)正上方和正下方的图像。随着场景向外移动，失真减轻，并且当相机在点2006和2008处对场景进行成像时，仅受到垂直视差一半的度数。
如果在周边的失真能够忽略超过30度，就能够去除如下观看方向的所有像素，所述观看方向在各极的30度以内。如果允许周围阈值到15度，则能够去除15度的像素。去除的像素能够例如设定成颜色块(例如，黑色，白色，品红色等)或静态图像(例如，标志、已知边界、纹理化层等)，并且去除像素的新表示能够插入到全景中代替被去除的像素。在一些实施方式中，去除的像素可以被模糊，并且去除的像素的模糊表示能够插入到全景中代替被去除的像素。
图21是图示产生立体全景图像的过程2100的一个实施例的流程图。如图21所示，在框2102处，系统100能够基于捕捉的图像来定义图像组。图像能够包括预处理图像、后处理图像、虚拟内容、视频、图像帧、图像帧的部分、像素等。
所定义的图像能够被用户访问，例如，通过使用头戴式显示器(HMD)访问内容(例如，VR内容)。系统100能够确定通过用户执行的特定动作。例如，在某点处，如在框2104处，系统100能够接收与VR HMD的用户相关联的观看方向。类似地，如果用户改变其观看方向，则如在框2106处，系统能够接收在用户观看方向上的改变的指示。
响应于接收到在观看方向上的这种改变的指示，系统100能够配置部分图像组的重新投影，在框2108处示出。重新投影可以至少部分地基于改变的观看方向和与所捕捉的图像相关联的视场。视场可以是从1度到180度，并且能够将场景的图像的细片视为场景的完整全景图像。配置的重新投影能够用于将部分的图像组从球形透视投影转换到平面投影内。在一些实施方式中，重新投影能够包括将来自围绕弯曲路径布置的多个视点的观看光线与图像组相关联的部分从球形透视重做投影到平面透视投影。
重新投影能够包括将球形场景的部分表面映射到平面场景的任何或所有步骤。所述步骤可以包括修饰失真的场景内容、在接缝处或接近接缝处混合(例如，拼接)场景内容、色调映射和/或缩放。
在完成重新投影时，系统100能够基于重新投影渲染更新的视图，如框2110所示。更新的视图能够被配置成校正失真并向用户提供立体视差。在框2112处，系统100能够提供包括与改变的观看方向相对应的立体全景场景的更新视图。例如，系统100能够提供更新的视图以校正在原始视图中(在重新投影之前)的失真，并且能够在VR头戴式显示器的显示器中提供立体视差效果。
图22是图示捕捉立体全景图像的过程2200的一个实施例的流程图。在框2202处，系统100能够基于从至少一组相邻相机收集的捕捉视频流来定义图像组。例如，系统100能够使用相邻的相机(如图2和图5所示)或多组相邻摄像机(如图3和图6所示)。在一些实施方式中，系统100能够使用从约12个至约16个相机收集的捕捉视频流来定义图像组。在一些实施方式中，系统100能够使用部分或全部的渲染的计算机图形(CG)内容来定义图像组。
在框2204处，系统100能够计算在图像组中的光流。例如，计算图像组中的光流能够包括分析与图像组相关联的像素列的部分的图像强度场，并对像素列的该部分执行光流技术，如上面详细描述的。
在一些实施方式中，光流能够用于内插不是该组图像的一部分的图像帧(通过框2206示出)，并且如上面详细描述的。然后，系统100能够至少部分地基于光流来将图像帧和图像组拼接在一起。在框2208处，系统100能够使用交织的帧和图像组来产生用于在VR头戴式显示器中显示的全方位立体式全景。在一些实施方式中，系统100能够使用与至少一组立体邻居相关联的姿态信息来执行图像拼接，以便例如在执行交织之前对图像组的部分进行预先拼接。
图23是图示在头戴式显示器中渲染全景图像的过程2300的一个实施例的流程图。如图23所示，在框2302处，系统100能够接收图像组。图像可以显示来自可旋转的相机套件的捕捉的内容。在框2304处，系统100能够选择在图像中的部分图像帧。图像帧可以包括利用相机套件捕捉的内容。系统100能够使用捕捉的内容的任何部分。例如，系统100可以选择图像帧的包括如下内容的部分，所述内容由套件从距相机套件的底座的向外边缘大约一个径向米到距相机套件的底座的向外边缘大约五个径向米的距离捕捉。在一些实施方式中，该选择能够以用户可以感觉到多远的3D内容为基础。这里，距相机一米的距离到距相机约五米的距离可以表示如下“区域”，在所述区域中，用户能够观看3D内容。比其短，3D视图可能会失真，并且比其长，用户可能无法确定3D形状。也就是说，场景可以从远处简单地看成2D。
在框2306处，图像帧的所选部分能够拼接在一起以产生立体全景视图。在该示例中，拼接可以至少部分地基于将所选择的部分与所选择的部分中的至少一个其他图像帧匹配。在框2308处，能够在诸如HMD装置的显示器中提供全景视图。在一些实施方式中，能够使用至少部分地基于相机套件的直径选择的拼接比来执行拼接。在一些实施方式中，拼接包括多个步骤：将第一图像帧中的第一列像素匹配到第二图像帧中的第二列像素，以及将第二列像素匹配到第三图像帧中的第三列像素，以形成紧密结合的场景部分。在一些实施方式中，许多像素列能够以这种方式匹配和组合以形成一个帧，并且那些帧能够组合以形成图像。此外，那些图像能够组合以形成场景。
在一些实施方式中，方法2300能够包括内插步骤，其使用系统100以内插附加图像帧，附加图像帧不是部分的图像帧的一部分。例如，能够执行内插以确保在由远远分开的相机捕捉的图像之间出现流动。一旦执行附加图像内容的内插，系统100就能够将附加图像帧交织到图像帧的部分内，以产生用于视图的虚拟内容。该虚拟内容能够拼接在一起作为与附加图像帧交织的图像帧的部分。例如，结果能够作为更新视图向HMD提供。该更新视图可以至少部分地以附加图像帧和图像帧的部分为基础。
图24是图示确定图像边界的过程2400的一个实施例的流程图。在框2402处，系统100能够基于从至少一组相邻相机收集的捕捉视频流来定义图像组。例如，系统100能够使用相邻的相机组(如图2和图5所示)或多组相邻的相机(如图3和图6所示)。在一些实施方式中，系统100能够使用从约12个至约16个相机收集的捕捉视频流来定义图像组。在一些实施方式中，系统100能够使用部分或全部的渲染的计算机图形(CG)内容来定义图像组。在一些实施方式中，对应于图像组的视频流包括编码的视频内容。在一些实施方式中，对应于图像组的视频流可以包括以一百八十度视场配置的至少一组相邻相机获取的内容。
在框2404处，系统100能够通过如下方式将图像组的部分从透视图像平面投影到球形图像平面上：将与图像组的部分相关联的观看光线重做，所述图像组的部分从布置于圆形路径的部分中的多个视点到一个视点。例如，图像组能够由可以承载多个相机的圆形相机套件捕捉。每个相机能够与视点相关联，并且那些视点从在场景处的相机套件向外指向。具体地，观看光线源自套件上的每个相机，而不是源于单个点。系统100能够将来自路径上的每个视点的光线重做到单个视点内。例如，系统100能够分析由相机捕捉的场景的每个视点，并且能够计算相似性和差异，以便确定如下场景(或场景组)，所述场景(或场景组)表示来自单个内插视点的场景。
在框2406处，系统100能够确定对应于单个视点的外围边界，并通过去除外围边界的外侧像素来产生更新的图像。外围边界可以根据失真的图像内容描绘清晰简明的图像内容。例如，外围边界可以根据具有失真的像素描绘没有失真的像素。在一些实施方式中，外围边界可以涉及用户的典型外围视野区域外侧的视图。去除这样的像素能够确保的是，不会不必要地将失真的图像内容展现给用户。如上面详细讨论的，去除像素能够包括用颜色块、静态图像或模糊化表示的像素来替换像素。在一些实施方式中，外围边界定义为用于与所捕捉的图像相关联的一个或更多个相机的大约150度的视场。在一些实施方式中，外围边界定义为用于与所捕捉的图像相关联的一个或更多个相机的大约120度的视场。在一些实施方式中，外围边界是球形形状的部分，对应于与捕捉图像相关联的相机的观看平面上方约30度，并且去除像素包括遮蔽或去除球形场景的顶部。在一些实施方式中，外围边界是球形形状的部分，对应于与捕捉图像相关联的相机的观看平面下方约30度，并且去除像素包括遮蔽或去除球形场景的顶部。在框2408处，系统100能够提供更新的图像以在外围边界的界限内显示。
在一些实施方式中，方法2400还能够包括将图像组中的至少两个帧拼接在一起。拼接能够包括如下步骤：从帧采样像素列，并且将未被捕捉在帧中的附加像素列内插在至少两个采样的像素列之间。此外，拼接能够包括将采样的列和附加列混合在一起以产生像素值的步骤。在一些实施方式中，能够使用至少部分地基于用于获取所捕捉图像的圆形相机套件的直径选择的拼接比来执行混合。拼接还能够包括通过将像素值配置到左场景和右场景内来产生三维立体全景的步骤，所述左场景和右场景能够被提供用于例如在HMD中显示。
图25是图示产生视频内容的过程2500的一个实施例的流程图。在框2502处，系统100能够基于从至少一组相邻相机收集的捕捉视频流来定义图像组。例如，系统100能够使用立体对的相邻相机(如图2所示)或多组相邻相机(例如，如图3和图6所示)。在一些实施方式中，系统100能够使用从约12个至约16个相机收集的捕捉视频流来定义图像组。在一些实施方式中，系统100能够使用部分或全部的渲染的计算机图形(CG)内容来定义图像组。
在框2504处，系统100能够将图像组拼接到等角视频流内。例如，拼接能够包括将与向左相机的捕捉角度相关联的图像和与向右相机的捕捉角度相关联的图像组合。
在框2506处，系统能够通过将用于第一视图和第二视图的视频流从等角度投影到透视图来渲染用于回放的视频流。第一视图可以对应于头戴式显示器的左眼视图，而第二视图可以对应于头戴式显示器的右眼视图。
在框2508处，系统能够确定其中失真高于预定义的阈值的边界。预定义的阈值可以提供视差水平，不匹配水平，和/或在特定图像组内允许的误差水平。例如，当将视频流从一个平面或视图投影到另一个平面或视图时，失真会至少部分地基于投影配置。
在框2510处，系统能够通过去除在边界之外和在边界处的图像组中的图像内容来产生更新的视频流，如上面详细讨论的。在更新视频流时，例如，能够向HMD的用户提供更新的流用于显示。通常地，贯穿本公开内容描述的系统和方法能够起如下作用：捕捉图像，从捕捉的图像中去除失真，并且渲染图像以便向HMD装置的用户提供3D立体视图。
图26示出可以使用在此描述的技术的通用计算机装置2600和通用移动计算机装置2650的示例。计算装置2600旨在表示各种形式的数字计算机，诸如笔记本电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他合适的计算机。计算装置2650旨在表示各种形式的移动诸如，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算装置。这里示出的组件，它们的连接和关系以及它们的功能仅仅是示例性的，并不意味着限制在本文中描述和/或要求保护的发明的实施方式。
计算装置2600包括处理器2602、存储器2604、存储装置2606、连接到存储器2604的高速接口2608和高速扩展端口2610，以及连接到低速总线2614和存储装置2606的低速接口2612。组件2602、2604、2606、2608、2610和2612中的每个使用各种总线互连，并且可以安装在公共主板上或视情况以其他方式安装。处理器2602能够处理用于在计算装置2600内执行的指令，包括存储在存储器2604中或存储在存储装置2606上的指令，以在外部输入/输出装置诸如耦合到高速接口2608的显示器2616上显示GUI的图形信息。在其他实施方式中，可以视情况，连同多个存储器和多种类型的存储器一起使用多个处理器和/或多个总线。此外，可以连接多个计算装置2600，同时每个装置提供必要操作的部分(例如，作为服务器阵列(server bank)、一组刀片服务器或多处理器系统)。
存储器2604存储在计算装置2600内的信息。在一个实施方式中，存储器2604是一个或多个易失性存储器单元。在另一实施方式中，存储器2604是一个或多个非易失性存储器单元。存储器2604还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
存储装置2606能够为计算装置2600提供海量存储。在一个实施方式中，存储装置2606可以是计算机可读介质或包含计算机可读介质，诸如软盘装置、硬盘装置、光盘装置或磁带装置、闪存或其他类似的固态存储装置或装置阵列，所述装置阵列包括在存储区域网络中的装置或其他配置。计算机程序产品能够明确地体现在信息载体中。计算机程序产品还可以包含如下指令：当执行时，执行一个或更多个方法，诸如上述的那些方法。信息载体是计算机或机器可读介质，诸如存储器2604、存储装置2606或在处理器2602上的存储器。
高速控制器2608管理计算装置2600的带宽密集型操作，而低速控制器2612管理较低的带宽密集型操作。功能的这种分配仅是示例性的。在一个实施方式中，高速控制器2608耦合到存储器2604、显示器2616(例如，通过图形处理器或加速器)，并且耦合到可接受各种扩展卡(未示出)的高速扩展端口2610。在实施方式中，低速控制器2612耦合到存储装置2606和低速扩展端口2614。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦合到一个或更多个输入/输出装置，诸如键盘、指示设备、扫描仪、或例如通过网络适配器耦合到诸如交换机或路由器的网络装置。
可以以多种不同的形式来实施计算装置2600，如图所示。例如，它可以实施为标准服务器2620，或者在这样的服务器组中多次实施。它也可以实施为机架式服务器系统2624的一部分。此外，它可以在诸如膝上型计算机2622的个人计算机中实施。可替选地，来自计算装置2600的组件可以与诸如装置2650的移动装置(未示出)中的其他组件组合。这些装置中的每个可以包含计算装置2600、2650中的一个或更多个，并且整个系统可以由彼此通信的多个计算装置2600、2650组成。
除其他组件外，计算装置2650包括处理器2652、存储器2664、诸如显示器2654的输入/输出装置、通信接口2666和收发器2668。装置2650还可以提供有诸如微驱动器或其他装置的存储装置，以提供附加存储。组件2650、2652、2664、2654、2666和2668中的每个使用各种总线互连，并且多个组件可以安装在公共主板上或视情况以其他方式安装。
处理器2652能够执行在计算装置2650内的指令，包括存储在存储器2664中的指令。处理器可以被实施为包括单独的和多个类比以及数字处理器的芯片的芯片组。处理器可以提供，例如，用于装置2650的其他组件的协调，诸如用户接口的控制、由装置2650运行的应用、以及通过装置2650进行的无线通信。
处理器2652可以通过耦合到显示器2654的控制接口2658和显示接口2656与用户通信。显示器2654可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口2656可以包括用于驱动显示器2654以向用户展现图形和其他信息的适当电路。控制接口2658可以从用户接收命令并将其转换以提交给处理器2652。此外，可以提供与处理器2652通信的外部接口2662，以使得能够在装置2650的附近区域与其他装置通信。外部接口2662可以例如在一些实施方式中提供有线通信，或者在其他实施方式中提供无线通信，并且还可以使用多个接口。
存储器2664在计算装置2650内存储信息。存储器2664可以实施为计算机可读介质或媒体、一个或多个易失性存储器单元、或者一个或多个非易失性存储器单元中的一个或更多个。扩展存储器2674还可以通过扩展接口2672来提供和连接到装置2650，扩展接口2672可以包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器2674可以为装置2650提供另外的存储空间，或者还可以存储用于装置2650的应用或其他信息。具体地，扩展存储器2674可以包括实现或补充上述处理的指令，并且还可以包括安全信息。因此，例如，扩展存储器2674可以设置为用于装置2650的安全模块，并且可以用允许安全使用装置2650的指令来编程。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以非可攻击的方式将识别信息放置在SIMM卡上。
存储器可以包括例如闪存和/或NVRAM存储器，如下所述。在一个实施方式中，计算机程序产品明确地体现在信息载体中。计算机程序产品包含如下指令：当执行时，施行一个或多个方法，诸如上述的那些方法。信息载体是诸如存储器2664、扩展存储器2674或处理器2652上的存储器的计算机或机器可读介质，其可以例如通过收发器2668或外部接口2662被接收。
装置2650可以通过通信接口2666进行无线通信，通信接口2666可以在必要时包括数字信号处理电路。除了别的以外，通信接口2666可以提供诸如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等各种模式或协议下的通信。这种通信可以例如通过射频收发器2668发生。此外，可能会发生短距离通信，诸如使用蓝牙、Wi-Fi或其他这样的收发器(未示出)。此外，GPS(全球定位系统)接收器模块2670可以向装置2650提供附加导航和位置相关的无线数据，其可以由运行在装置2650上的应用视情况使用。
装置2650还可以使用音频编解码器2660可听地通信，音频编解码器2660可以从用户接收口语信息并将其转换成可用的数字信息。例如在装置2650的手机中，诸如通过扬声器，音频编解码器2660同样可以为用户产生可听见的声音。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息，音乐文件等)，并且还可以包括通过在装置2650上操作的应用产生的声音。
可以以多种不同的形式来实施计算装置2650，如图所示。例如，它可以实施为蜂窝电话2680。它还可以实施为智能电话2682、个人数字助理或其他类似的移动装置的一部分。
这里描述的系统和技术的各种实施方式能够在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些不同实施方式能够包括在可编程系统上可执行和/或能翻译的一个或更多个计算机程序方面的实施方式，所述可编程系统包括：可以存在特殊或通用目的的至少一个可编程处理器，所述至少一个可编程处理器被耦合以从存储系统接收数据和指令并且将数据和指令发送给存储系统；至少一个输入设备；以及至少一个输出设备。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且能够以高级程序和/或面向对象编程的语言实施，和/或以汇编/机器语言实施。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，这里描述的系统和技术能够在如下计算机上实施：所述计算机具有用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)、键盘和指示装置(例如，鼠标或轨迹球)，用户能够通过所述键盘和指示装置向计算机提供输入。也能够使用其他种类的装置来提供与用户的交互：例如，提供给用户的反馈能够是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)，并且能够以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
这里描述的系统和技术能够在如下计算系统中实施：所述计算系统包括后端组件(例如，如同数据服务器)，或包括中间件组件(例如，应用服务器))，或包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过所述客户端计算机与这里描述的系统和技术的实施方式进行交互)，或这种后端组件、中间件组件和前端组件的任何组合。系统的组件能够通过数字数据通信(例如，通信网络)的介质或任何形式来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是凭借各自计算机上运行的计算机程序和彼此具有的客户端-服务器关系而产生的。
已经描述了许多实施例。然而，应当明白的是，在不脱离本说明书的精神和范围的情况下，可以进行各种修改。例如，下面的每个权利要求和上述的这些权利要求的示例能够以任意组合的方式组合以产生另外的示例实施例。
此外，附图中显示的逻辑流程不需要示出的特定顺序或相继顺序来实现期望的结果。此外，根据所描述的流程，可以提供其他步骤，或者可以根据所描述的流程中消除步骤，并且可以将其他组件添加到所描述的系统中，或从所描述的系统中去除其他组件。因此，其他实施例在所附权利要求的范围内。

Claims (16)

1.一种计算机实施的方法，包括：
在计算装置处，基于捕捉的图像来定义图像组；
在所述计算装置处，通过将与所述图像组的部分相关联的多个观看光线从围绕弯曲路径布置的多个视点重做到视点，将所述图像组的部分从平坦透视图像平面投影到球形图像平面上；
在所述计算装置处，确定与所述视点相对应的外围边界，并通过去除所述外围边界的外侧的像素来产生更新的图像；
通过以下操作来将所述更新的图像中的第一帧和第二帧拼接在一起：
从所述第一帧采样像素列以及从所述第二帧采样像素列；
将附加像素列内插在从所述第一帧采样的像素列与从所述第二帧采样的像素列之间；以及
产生能够利用头戴式显示装置显示的三维立体全景，所述三维立体全景是通过将内容混合至左场景和右场景中来产生的，其中，所述内容包括从所述第一帧采样的像素、从所述第二帧采样的像素、以及所述附加像素列。
2.根据权利要求1所述的方法，其中，所述图像组包括编码的视频内容。
3.根据权利要求1所述的方法，其中，所述捕捉的图像包括利用配置有一百八十度视场的至少一个立体相机对所获取的内容。
4.根据权利要求1所述的方法，其中，所述外围边界定义为与所述捕捉的图像相关联的相机的至少120度的视场。
5.根据权利要求1所述的方法，其中，所述外围边界定义为与所述捕捉的图像相关联的相机的至少150度的视场。
6.根据权利要求1所述的方法，其中，所述外围边界是对应于与所述捕捉的图像相关联的相机的观看平面上方至少30度的球形形状的一部分。
7.根据权利要求1所述的方法，其中，所述外围边界是对应于与所述捕捉的图像相关联的相机的观看平面下方至少30度的球形形状的一部分。
8.根据权利要求1所述的方法，其中，去除所述外围边界的外侧的像素包括：用颜色块、静态图像或所述像素的模糊表示来替换所述像素。
9.根据权利要求1所述的方法，其中，使用拼接比来执行所述拼接，至少部分地基于圆形相机套件的直径来选择所述拼接比，所述圆形相机套件用于获取所述捕捉的图像。
10.一种被配置成产生立体全景的图像处理系统，所述系统包括：
至少一个处理器；以及
存储器，所述存储器包括指令，所述指令在由所述至少一个处理器执行时使得所述至少一个处理器：
定义从使用安装在相机套件上的多个相机捕捉的图像组生成的内插图像，所述内插图像是使用与所述图像组相关联的相机姿态以及所述图像组的图像之间的光流来产生的；以及
使用所述图像组的所述光流，将所述内插图像交织到所述图像组中，以产生用于立体全景的附加虚拟内容，所述交织包括：
将所述图像组从平面投影图投影到球形投影图；
调整所述图像组以补偿非圆形相机轨迹；以及
将所述图像组中的至少两帧拼接在一起，所述拼接包括从所述图像组和所述内插图像来采样图像的部分，以及将所述内插图像和所述图像的部分混合在一起。
11.根据权利要求10所述的系统，其中，将所述图像的部分混合在一起包括：
使用所述光流将所述图像的部分拼接在一起以产生至少一个图像；以及
通过计算表示所述图像的部分与所述至少一个图像之间的差的值来产生至少一个像素值。
12.根据权利要求10所述的系统，其中，所述指令还使得所述至少一个处理器调整所述图像组以补偿由相机间隔大于至少30度的多个相机捕捉的内容。
13.根据权利要求10所述的系统，其中，所述指令还使得所述至少一个处理器调整所述图像组以补偿由于相机姿态误差引起的相机未对准。
14.一种计算机实施的方法，包括：
在计算装置处，基于捕捉的图像来定义图像组；
在所述计算装置处，将所述图像组拼接到视频流中；
所述拼接包括，
从所述图像组采样多个像素列，
将在并非所述捕捉的图像的一部分的附加像素列内插在至少两个采样的像素列之间；
在所述计算装置处，将所采样的列和附加列混合在一起以产生更新的视频流；
将所述更新的视频流从平面透视图投影到等角透视图产生第一视点和第二视点；
在所述计算装置处，针对所投影的更新的视频流确定失真高于预定义的阈值的边界，所述失真至少部分地基于所述视频流的投影；
去除由所述边界限定的内部的外侧和在所述外侧处的所投影的更新的视频流中的图像内容。
15.根据权利要求14所述的方法，其中，将所述图像组拼接到视频流内包括：将所述图像组中与向左的相机的捕捉角度相关联的图像和所述图像组中与向右的相机的捕捉角度相关联的图像组合。
16.根据权利要求14所述的方法，其中，所述第一视点对应于头戴式显示器的左眼视图，以及所述第二视点对应于所述头戴式显示器的右眼视图。
CN201680019971.8A 2015-05-27 2016-05-25 全景虚拟现实内容的全方位立体式捕捉和渲染 Active CN107431796B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/723,178 US9877016B2 (en) 2015-05-27 2015-05-27 Omnistereo capture and render of panoramic virtual reality content
US14/723,151 2015-05-27
US14/723,151 US10038887B2 (en) 2015-05-27 2015-05-27 Capture and render of panoramic virtual reality content
US14/723,178 2015-05-27
PCT/US2016/034072 WO2016191464A1 (en) 2015-05-27 2016-05-25 Omnistereo capture and render of panoramic virtual reality content

Publications (2)

Publication Number Publication Date
CN107431796A CN107431796A (zh) 2017-12-01
CN107431796B true CN107431796B (zh) 2019-02-12

Family

ID=56108721

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680020120.5A Active CN107431803B (zh) 2015-05-27 2016-05-25 全景虚拟现实内容的捕捉和渲染
CN201680019971.8A Active CN107431796B (zh) 2015-05-27 2016-05-25 全景虚拟现实内容的全方位立体式捕捉和渲染

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680020120.5A Active CN107431803B (zh) 2015-05-27 2016-05-25 全景虚拟现实内容的捕捉和渲染

Country Status (5)

Country Link
EP (3) EP3304894A1 (zh)
JP (2) JP6511539B2 (zh)
KR (2) KR101991080B1 (zh)
CN (2) CN107431803B (zh)
WO (2) WO2016191467A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods
CN108696735A (zh) * 2017-03-01 2018-10-23 中兴通讯股份有限公司 虚拟现实眼镜、智能终端及导视实现和控制方法
GB2560185A (en) * 2017-03-03 2018-09-05 Nokia Technologies Oy Method and apparatus for a multi-camera unit
US10579898B2 (en) * 2017-04-16 2020-03-03 Facebook, Inc. Systems and methods for provisioning content using barrel projection representation
US10885711B2 (en) 2017-05-03 2021-01-05 Microsoft Technology Licensing, Llc Virtual reality image compositing
ES2695250A1 (es) * 2017-06-27 2019-01-02 Broomx Tech S L Procedimiento para proyectar contenidos audiovisuales inmersivos
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
KR102336997B1 (ko) * 2017-08-16 2021-12-08 삼성전자 주식회사 서버, 디스플레이장치 및 그 제어방법
CN107396077B (zh) * 2017-08-23 2022-04-08 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
CN111164969B (zh) * 2017-09-28 2021-11-02 Lg电子株式会社 使用拼接和重新投影相关元数据发送或接收6dof视频的方法和装置
KR102138413B1 (ko) * 2017-12-18 2020-07-27 숭실대학교산학협력단 다수의 레이저 레이더를 거치하는 프레임 및 이를 포함하는 레이저 레이더 시스템과, 상기 다수의 레이저 레이더의 센싱 데이터 좌표 통합 방법
US11297298B2 (en) 2018-02-27 2022-04-05 Lg Electronics Inc. Method for transmitting and receiving 360-degree video including camera lens information, and device therefor
US10827164B2 (en) * 2018-03-01 2020-11-03 Google Llc Active LCD shutters for virtual and augmented reality low persistence
US10582181B2 (en) * 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
US11044456B2 (en) 2018-05-31 2021-06-22 Electronics And Telecommunications Research Institute Image processing method and image player using thereof
US10194114B1 (en) * 2018-06-22 2019-01-29 Polycom, Inc. Split screen display without distortion
KR102073230B1 (ko) * 2018-06-28 2020-02-04 주식회사 알파서클 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
KR102491939B1 (ko) * 2018-08-24 2023-01-26 삼성전자주식회사 전방향 이미지를 프로세싱하기 위한 방법 및 장치
CN109248428A (zh) * 2018-09-17 2019-01-22 武汉中奥互联科技有限公司 一种网球运动轨迹处理系统的动态分析方法
CN109464801A (zh) * 2018-10-29 2019-03-15 奇想空间（北京）教育科技有限公司 游戏设备
KR102168318B1 (ko) * 2018-12-03 2020-10-22 동국대학교 산학협력단 혼합현실용 디스플레이 장치 및 방법
EP3667414B1 (en) * 2018-12-14 2020-11-25 Axis AB A system for panoramic imaging
EP3691249A1 (en) 2019-01-29 2020-08-05 Koninklijke Philips N.V. Image signal representing a scene
EP3690822A1 (en) 2019-01-30 2020-08-05 Koninklijke Philips N.V. Image representation of a scene
US11194438B2 (en) 2019-05-09 2021-12-07 Microsoft Technology Licensing, Llc Capture indicator for a virtual world
CN112307848B (zh) * 2019-08-01 2024-04-30 惠普发展公司，有限责任合伙企业 检测视频会议中的欺骗说话者
KR102135001B1 (ko) * 2019-10-21 2020-07-16 주식회사 알파서클 화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치
CN111131767B (zh) * 2019-11-27 2021-06-29 重庆特斯联智慧科技股份有限公司 一种场景三维成像安防监视系统及使用方法
CN111314687B (zh) * 2019-11-28 2021-06-25 歌尔光学科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
US11150470B2 (en) 2020-01-07 2021-10-19 Microsoft Technology Licensing, Llc Inertial measurement unit signal based image reprojection
US11917119B2 (en) 2020-01-09 2024-02-27 Jerry Nims 2D image capture system and display of 3D digital image
CN111292336B (zh) * 2020-01-21 2023-06-06 宁波大学 基于分段式球面投影格式的全向图像无参考质量评价方法
CN111569432B (zh) * 2020-05-19 2021-01-15 北京中科深智科技有限公司 一种从游戏中捕捉6DoF场景图像的系统及方法
WO2021247405A1 (en) * 2020-06-03 2021-12-09 Jerry Nims 2d image capture system & display of 3d digital image
WO2021247416A1 (en) * 2020-06-03 2021-12-09 Jerry Nims 2d image capture system, transmission & display of 3d digital image
CN111954054B (zh) * 2020-06-05 2022-03-04 筑觉绘(上海)科技有限公司 图像处理方法、系统、存储介质及计算机设备
CN114390262A (zh) * 2020-10-21 2022-04-22 中强光电股份有限公司 用于拼接三维球面全景影像的方法及电子装置
CN112804511B (zh) * 2021-01-04 2022-04-01 烽火通信科技股份有限公司 一种动态渲染全景视频的方法和装置
CN112907447B (zh) * 2021-02-08 2022-07-01 杭州海康威视数字技术股份有限公司 天空云图的拼接及用于确定多摄像机安装位置的方法
US11516517B2 (en) 2021-03-19 2022-11-29 Sm Tamjid Localized dynamic video streaming system
CN113645462B (zh) * 2021-08-06 2024-01-16 深圳臻像科技有限公司 一种3d光场的转换方法及装置
CN113706680B (zh) * 2021-09-02 2023-09-19 长春理工大学 视觉显著性驱动的vr电影画面渲染像素抗失真处理方法
CN114500971B (zh) * 2022-02-12 2023-07-21 北京蜂巢世纪科技有限公司 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质
KR20240064332A (ko) * 2022-11-04 2024-05-13 네이버랩스 주식회사 3차원 모델을 이용한 거리뷰 영상 사이의 특징점 매칭쌍 자동 취득 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925628A (zh) * 2005-08-31 2007-03-07 株式会社东芝 产生用于三维图像显示的元图像阵列的方法和设备
CN102450010A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5020878A (en) * 1989-03-20 1991-06-04 Tektronix, Inc. Method and apparatus for generating a binocular viewing model automatically adapted to a selected image
GB9124925D0 (en) * 1991-11-23 1992-01-22 Kew Michael J Simulated three-dimensional imaging system
JP3600422B2 (ja) * 1998-01-30 2004-12-15 株式会社リコー ステレオ画像表示方法及び装置
US6801334B1 (en) * 1998-05-28 2004-10-05 Fuji Photo Film Co., Ltd. Index print producing method, image processing system, image processing method and image processing device
US6545702B1 (en) * 1998-09-08 2003-04-08 Sri International Method and apparatus for panoramic imaging
DE69940253D1 (de) * 1998-09-17 2009-02-26 Yissum Res Dev Co System und verfahren zur erzeugung und darstellung von panoramabildern und filmen
US7129971B2 (en) * 2000-02-16 2006-10-31 Immersive Media Company Rotating scan self-cleaning camera
JP3557168B2 (ja) * 2000-11-27 2004-08-25 三洋電機株式会社 レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2005277825A (ja) * 2004-03-25 2005-10-06 Hitachi Ltd マルチカメラ映像表示装置
WO2006110584A2 (en) * 2005-04-07 2006-10-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
JP2006350852A (ja) * 2005-06-17 2006-12-28 Nabura:Kk 画像生成システム
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
JP4987890B2 (ja) * 2009-02-05 2012-07-25 株式会社東芝 立体画像描画装置、立体画像描画方法、立体画像描画プログラム
JP2011205573A (ja) * 2010-03-26 2011-10-13 Sony Corp 制御装置、カメラシステム及びプログラム
JP2012160904A (ja) * 2011-01-31 2012-08-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び撮像装置
KR101824439B1 (ko) * 2011-02-16 2018-02-02 주식회사 스테레오피아 모바일 스테레오 카메라 장치 및 그 촬영방법
US9007430B2 (en) * 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US9479697B2 (en) * 2012-10-23 2016-10-25 Bounce Imaging, Inc. Systems, methods and media for generating a panoramic view
WO2014117266A1 (en) * 2013-02-04 2014-08-07 Valorisation-Recherche, Limited Partnership Omnistereo imaging
US9398215B2 (en) * 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925628A (zh) * 2005-08-31 2007-03-07 株式会社东芝 产生用于三维图像显示的元图像阵列的方法和设备
CN102450010A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理

Also Published As

Publication number Publication date
CN107431803A (zh) 2017-12-01
JP2018524832A (ja) 2018-08-30
KR20170123667A (ko) 2017-11-08
EP3410388A2 (en) 2018-12-05
JP6511539B2 (ja) 2019-05-15
CN107431796A (zh) 2017-12-01
EP3410388A3 (en) 2019-02-27
JP6427688B2 (ja) 2018-11-21
KR101944050B1 (ko) 2019-04-17
CN107431803B (zh) 2019-07-26
KR20170123328A (ko) 2017-11-07
EP3304897A1 (en) 2018-04-11
JP2018522429A (ja) 2018-08-09
KR101991080B1 (ko) 2019-06-19
WO2016191464A1 (en) 2016-12-01
EP3304894A1 (en) 2018-04-11
WO2016191467A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
CN107431796B (zh) 全景虚拟现实内容的全方位立体式捕捉和渲染
US10375381B2 (en) Omnistereo capture and render of panoramic virtual reality content
US10244226B2 (en) Camera rig and stereoscopic image capture
US20170363949A1 (en) Multi-tier camera rig for stereoscopic image capture
US10038887B2 (en) Capture and render of panoramic virtual reality content
CN106797460B (zh) 三维视频的重建
US10217189B2 (en) General spherical capture methods
CN207369210U (zh) 用于立体视觉图像捕获的多层相机装置
US20190019299A1 (en) Adaptive stitching of frames in the process of creating a panoramic frame
CN107925722A (zh) 基于加速度计数据的稳定化
WO2017032336A1 (en) System and method for capturing and displaying images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant