CN107637060A - 相机装备和立体图像捕获 - Google Patents

Abstract

系统和方法涉及相机装备，并且涉及从捕获的图像生成立体全景图以供在虚拟现实(VR)环境中显示。

Description

相机装备和立体图像捕获

相关申请

本申请要求2015年5月27日提交的标题为“Camera Rig and Stereoscopic ImageCapture(相机装备和立体图像捕获)”的美国临时申请No.62/167,151的优先权和权益，该申请通过引用整体并入在本文中。

技术领域

本说明书总体涉及相机装备。特别地，本说明书涉及从捕获的图像生成立体全景图以供在虚拟现实(VR)环境中显示。

背景技术

可对图像和视频使用全景摄影技术以提供宽的场景视野。通常，可使用全景摄影技术和成像技术来从以常规相机拍摄的多个相邻的相片获得全景图像。可将相片对齐装帧在一起以获得全景图像。

发明内容

一个或多个计算机、相机装备以及接收在所述相机装备上的相机装置的系统可被构造成借助于使软件、固件、硬件或其组合被安装在所述系统上来执行特定操作或动作，所述软件、固件、硬件或其组合在操作中引起动作或者使所述系统执行所述动作。一个一般方面包括具有轮毂和围绕该轮毂设置的相机安装环的相机装备。所述相机安装环可以包括多个凹部。所述相机装备也包括来自所述多个凹部的被构造成接收第一图像传感器的第一凹部。所述相机装备也包括来自所述多个凹部的被构造成接收第二图像传感器的第二凹部。所述相机装备也包括来自所述多个凹部的被构造成接收第三图像传感器的第三凹部。所述相机装备也包括所述第一图像传感器、所述第二图像传感器和所述第三图像传感器中的每一个具有背对所述相机安装装备的内部的投影。所述相机装备也包括所述多个凹部被限定为使得所述第一图像传感器的第一视场与所述第二图像传感器的第二视场和所述第三图像传感器的第三视场相交。这方面的其它实施例包括对应的计算机系统、设备以及记录在一个或多个计算机存储装置上的计算机程序，其每一个被构造成执行与本文中所描述的所述方法相关联的动作。

实施方式可单独或者与一个或多个其它特征相结合地包括以下特征中的一个或多个。例如，在上述实施方式中的任一个或全部中，所述相机装备的半径被限定为使得第一图像传感器的所述第一视场与所述第二图像传感器的所述第二视场和所述第三图像传感器的所述第三视场相交。在上述实施方式中的任一个或全部中，所述第一图像传感器、所述第二图像传感器和所述第三图像传感器被设置在平面内。在上述实施方式中的任一个或全部中并且在前述实施方式之一的所述相机装备中的任一个中，轮辐可以被设置在所述轮毂与所述安装环之间。

在上述实施方式中的任一个或全部和/或前述实施方式之一的相机装备中，所述多个凹部被限定为使得间隙被设置在包括所述第一图像传感器的第一相机外壳与包括所述第二图像传感器的第二相机外壳之间。

在上述实施方式中的任一个或全部和/或前述实施方式之一的相机装备中，来自所述多个凹部的所述第一凹部被限定为使得所述第一图像传感器具有在纵向取向上的视场，并且/或者来自所述多个凹部的所述第一凹部被限定用于所述第一图像传感器到所述相机装备的可拆卸耦接。

在上述实施方式中的任一个或全部和/或前述实施方式之一的相机装备中，所述相机装备还可以包括耦接到所述安装环的夹具和/或耦接到所述相机装备的麦克风安装件。

在上述实施方式中的任一个或全部和/或前述实施方式之一的相机装备中，所述多个凹部包括12至16个之间的凹部。在上述实施方式中的任一个或全部和/或前述实施方式之一的相机装备中，所述多个凹部确切地包括16个凹部。

在上述实施方式中的任一个或全部和/或前述实施方式之一的相机装备中，所述相机安装环的直径在约25至30厘米之间。

在另一方面中，描述了一种方法。所述方法可以使用一个或多个计算机、相机装备以及接收在所述相机装备上的相机装置的系统来执行，所述系统可被构造成借助于使软件、固件、硬件或其组合被安装在所述系统上来执行特定操作或动作，所述软件、固件、硬件或其组合在操作中引起动作或者使所述系统执行所述动作。一个或多个计算机程序可被构造成借助于包括指令来执行特定操作或动作，所述指令当由数据处理设备执行时，使该设备执行所述动作。所述方法可以包括在耦接到相机装备的相机安装环的第一图像传感器处限定第一图像。所述方法也包括在耦接到所述相机装备的所述相机安装环的第一图像传感器处限定第二图像。所述方法也包括限定从具有比所述相机安装环的直径小的直径的捕获圆投影的射线。所述方法也可以包括基于所述射线与所述第一图像传感器之间的第一距离和所述射线与所述第二图像传感器之间的第二距离来内插与所述射线相关联的第三图像。这方面的其它实施例包括对应的计算机系统、设备以及记录在一个或多个计算机存储装置上的计算机程序，其每一个被构造成执行所述方法的所述动作。

在上述实施方式中的任一个或全部中，所述第一图像传感器具有与所述第二图像传感器的第二视场相交并且与耦接到所述相机装备的第三图像传感器的第三视场相交的第一视场。在上述实施方式中的任一个或全部中，所述第一图像传感器、所述第二图像传感器和所述第三图像传感器被设置在平面内。

在上述实施方式中的任一个或全部中，所述第一图像、所述第二图像和所述第三图像每一个在纵向取向上。在上述实施方式中的任一个或全部中，所述射线被从所述捕获圆切向地投影。

在上述实施方式中的任一个或全部中，所述射线是第一射线并且所述方法还包括：限定从所述捕获圆投影的第二射线；在耦接到所述相机安装环的第三图像传感器处限定第四图像；以及基于所述第二射线与所述第一图像传感器之间的第三距离和所述第二射线与所述第三图像传感器之间的第四距离来内插与所述第二射线相关联的第五图像。所描述的技术的实施方式可以包括硬件、方法或过程或者计算机可访问介质上的计算机软件。

这方面的其它实施例包括对应的计算机系统、设备以及记录在一个或多个计算机存储装置上的计算机程序，其每一个被构造成执行所述方法的所述动作。

在以下附图和描述中阐述了一个或多个实施方式的细节。其它特征将根据本说明书和附图并且根据权利要求书显而易见。

附图说明

图1是用于在3D虚拟现实(VR)环境中捕获和渲染立体全景图的示例系统的框图。

图2是描绘被构造成捕获在生成立体全景图时使用的场景的图像的示例相机装备的图。

图3是描绘被构造成捕获在生成立体全景图时使用的场景的图像的另一示例相机装备的图。

图4A至图4J是描绘相机装备和相关组件的又一示例的图。

图5A至图5C是描绘又一示例相机装备的图。

图6是描绘被构造成捕获在生成立体全景图时使用的场景的图像的又一示例相机装备的图。

图7是图示示例VR装置的图。

图8是图示作为相机视场的函数的多个相机和邻居的示例曲线图。

图9是图示作为相机视场的函数的内插视场的示例曲线图。

图10是图示针对相机装备的构造的选择的示例曲线图。

图11是图示可用于根据预定义装备直径来确定相机的最小数目的示例关系的曲线图。

图12A-B是在图像捕获期间可发生的失真的线图示例。

图13A-B描绘在收集全景图像期间捕获的射线的示例。

图14A-B图示像图13A-B中所描述的那样近似平面透视投影的使用。

图15A-C图示应用于图像的平面的近似平面透视投影的示例。

图16A-B图示引入垂直视差的示例。

图17A-B描绘可用于图示3D全景图中的点的坐标系的示例点。

图18表示图17A-17B中描绘的点的投影视图。

图19图示使用本公开中描述的全景成像技术在全向立体图像中捕获的射线。

图20是图示由3D空间中的点引起的最大垂直视差的曲线图。

图21是图示用于产生立体全景图像的过程的一个实施例的流程图。

图22是图示用于捕获立体全景图像的过程的一个实施例的流程图。

图23是图示用于在头戴式显示器中渲染全景图像的过程的一个实施例的流程图。

图24是图示用于确定图像边界的过程的一个实施例的流程图。

图25是图示用于生成视频内容的过程的一个实施例的流程图。

图26示出可用于实现这里描述的技术的计算机装置和移动计算机装置的示例。

在各个附图中相同的附图标记表示相同的元件。

具体实施方式

例如，创建全景图像通常包括使用相机装备中的单个相机或多个相机来捕获周围三维(3D)场景的图像或视频。当使用接收若干相机的相机装备时，每个相机可被同步并构造成在特定时间点捕获图像。例如，由每个相机捕获的第一帧可在与第二、第三和第四相机捕获对应的第一帧大致相同的时间被捕获。图像捕获可以同时方式继续，直到捕获到一些或全部场景为止。尽管在相机方面对多个实施方式进行描述，然而可替选地在图像传感器方面或者在相机外壳(可包括图像传感器)方面对实施方式进行描述。

接收多个相机的相机装备可被构造成捕获场景的特定角度。例如，接收在相机装备上的相机可以指向特定角度并且可以处理从该角度捕获的所有(或至少一部分)内容以生成特定场景的完整全景图。在一些实施方式中，每个相机可指向不同角度以捕获场景的不同角度。在场景的仅一部分被捕获或者场景的一些或全部包括失真的情况下，可执行多个过程来内插或者构造来自全景图的任何丢失的、毁坏的或失真的内容。以下公开内容描述用于为了在3D虚拟现实(VR)环境中在头戴式显示器(HMD)装置中显示这些内容而捕获、处理、校正和渲染3D全景内容的多个设备和方法。

图1是用于在3D虚拟现实(VR)环境中捕获和渲染立体全景图的示例系统100的框图。在示例系统100中，相机装备102可捕获图像、在本地存储图像(例如，在永久或可移动储存器中)和/或通过网络104提供图像，或者可替选地，可将图像直接提供给图像处理系统106以供分析和处理。在系统100的一些实施方式中，移动装置108可充当相机装备102以在整个网络104中提供图像。例如，一旦图像被捕获，图像处理系统106就可对这些图像执行多个计算和处理并且通过网络104将经处理的图像提供给头戴式显示器(HMD)装置110以供渲染。在一些实施方式中，图像处理系统106可被包括在相机装备102和/或HMD装置110中。在一些实施方式中，图像处理系统106也可将经处理的图像提供给移动装置108和/或计算装置112以供渲染、存储或进一步处理。

HMD装置110可以表示虚拟现实头戴式耳机、眼镜、目镜或能够显示虚拟现实内容的其它可穿戴装置。在操作中，HMD装置110可执行VR应用(未示出)，VR应用可向用户回放接收的和/或处理的图像。在一些实施方式中，VR应用可由图1所示的装置106、108或112中的一个或多个来托管。在一个示例中，HMD装置110可提供由相机装备102捕获的场景的视频回放。在另一个示例中，HMD装置110可提供被拼接成单个全景场景的静止图像的回放。

相机装备102可被构造为用作相机(也可被称为捕获装置)和/或处理装置以收集用于在VR环境中渲染内容的图像数据。尽管相机装备102被示出为以特定功能性在此描述的框图，然而装备102可采取图2至图6所示的任何实施方式的形式并且附加地可以在本公开中自始至终具有针对相机装备所描述的功能性。例如，为了简单，在描述系统100的功能性时，图1示出相机装备102，没有绕该装备设置相机来捕获图像。相机装备102的其它实施方式可包括可绕圆形相机装备(诸如装备102)的圆周设置的任何数目的相机。

如图1所示，相机装备102包括多个相机139和通信系统132。相机139可包括单个静止相机或单个视频相机。在一些实施方式中，相机139可包括沿着装备102的外周边(例如，环)并排设置(例如，放置)的多个静止相机或多个视频相机。相机139可以是视频相机、图像传感器、立体相机、红外相机和/或移动装置。通信系统132可用于上传和下载图像、指令和/或其它相机相关内容。通信可以是有线的或无线的，并且可通过专用或公用网络进行对接。

相机装备102可被构造成充当固定装备或旋转装备。装备上的每个相机被设置(例如，放置)为偏离装备的旋转中心。相机装备102可被构造成绕360度旋转以扫描并捕获例如场景的360度视图的全部或一部分。在一些实施方式中，装备102可被构造成在固定位置中操作并且在这种构造中，可向装备添加附加相机以捕获场景的附加向外的视角。

在一些实施方式中，相机装备102包括多个数字视频相机，多个数字视频相机被以并排或背对背方式(例如，在图3中相对于相机302B和302F示出)设置，使得其镜头分别指向径向向外方向以观察周围场景或环境的不同部分。在一些实施方式中，多个数字视频相机是按与圆形相机装备102相切的观察方向以切向构造而设置的。例如，相机装备102可包括多个数字视频相机，多个数字视频相机被设置为使得其镜头分别指向径向向外方向，同时与装备的底座切向地布置。可使数字视频相机对准在不同方向上捕获内容以观察周围场景的不同角度部分。

在一些实施方式中，来自相机的图像可在相机装备102上被按照邻近对进行处理。在这种构造中，每个集合的邻近相机中的每个第一相机与相机装备底座的圆形路径切向地设置(例如，放置)并且在向左方向上对准(例如，关于相机镜头指向)。每个集合的邻近相机中的每个第二相机与相机装备底座的圆形路径切向地设置(例如，放置)并且在向右方向上对准(例如，关于相机镜头)。

在相机装备102上使用的相机的示例设定可包括每秒约60帧的逐行扫描模式(即，每个光栅行被采样以产生视频的每个帧而不是像大多数视频相机的标准记录模式那样每隔一行的模式)。此外，每个相机可被构造有相同的(或类似的)设定。将每个相机构造为相同的(或类似的)设定可提供捕获可在捕获之后以所希望的方式拼接在一起的图像的优点。示例设定可包括将一个或多个相机设定为相同的缩放、焦距、曝光和快门速度，以及将相机设定为白平衡，同时使稳定功能相关或关闭。

在一些实施方式中，相机装备102可在用于捕获一个或多个图像或视频之前被校准。例如，相机装备102上的每个相机可被校准和/或构造成拍摄全景视频。例如，设定可以包括将装备构造成以特定旋转速度围绕360度扫描、以宽视场并且在顺时针或逆时针方向上操作。在一些实施方式中，装备102上的相机可被构造成例如围绕场景的捕获路径的360度扫描的每度捕获一个帧。在一些实施方式中，装备102上的相机可被构造成例如围绕场景的捕获路径的360度(或更少)扫描的每度捕获多个帧。在一些实施方式中，装备102上的相机可被构造成例如绕着围绕场景的捕获路径的扫描捕获多个帧，而不必按照每度捕获特别测量的帧。

在一些实施方式中，相机可被构造(例如，设定)成同步地工作以在特定时间点从相机装备上的相机捕获视频。在一些实施方式中，相机可被构造成同步地工作以在一定时间段期间从一个或多个相机捕获视频的特定部分。校准相机装备的另一示例可包括构造传入图像如何被存储。例如，传入图像可作为单独的帧或视频(例如，.avi文件、.mpg文件)被存储，并且这样存储的图像可被上传到因特网、另一服务器或装置，或者利用相机装备102上的每个相机存储在本地。在一些实施方式中，传入图像可作为编码视频被存储。

图像处理系统106包括内插模块114、捕获校正模块116和拼接模块118。例如，内插模块116表示可用于对数字图像和视频的部分进行采样并且确定很可能在从相机装备102捕获的相邻图像之间发生的多个内插图像的算法。在一些实施方式中，内插模块114可被构造成确定相邻图像之间的内插图像片段、图像部分和/或垂直或水平图像条。在一些实施方式中，内插模块114可被构造成确定相邻图像中的相关像素之间的流场(和/或流矢量)。流场可用于补偿图像已经历的变换，以及补偿已经历变换的图像的处理。例如，流场可用于补偿获得的图像的特定像素网格的变换。在一些实施方式中，内插模块114可通过对周围图像的内插来生成不是所捕获图像的一部分的一个或多个图像，并且可将所生成的图像交织到所捕获的图像中以为场景生成附加的虚拟现实内容。

捕获校正模块116可被构造成通过补偿非理想捕获设置来校正捕获的图像。作为非限制性示例，示例捕获设置可包括圆形相机轨迹、平行主体(相机)轴线、垂直于相机轨迹的观察方向、与相机轨迹相切的观察方向和/或其它捕获条件。在一些实施方式中，捕获校正模块116可被构造成补偿图像捕获期间的非圆形相机轨迹和/或图像捕获期间的非平行主轴线中的一个或两个。

捕获校正模块116可被构造成调整特定图像集以补偿使用相机间隔大于约30度的多个相机所捕获的内容。例如，如果相机之间的距离为40度，则捕获校正模块116可通过从附加相机收集内容或者通过内插丢失的内容，基于太少的相机覆盖范围来考虑特定场景中的任何丢失的内容。

在一些实施方式中，捕获校正模块116也可被构造成调整图像集以补偿由于相机姿态错误等而导致的相机未准。例如，如果在图像捕获期间发生相机姿态错误(例如，由于相机的取向和位置而导致的错误)，则模块116可使来自若干图像帧的两列或更多列像素混合以去除伪影，包括由于不良曝光(或从图像帧到图像帧的曝光改变)和/或由于一个或多个相机的未对准而导致的伪影。拼接模块118可被构造成基于限定的、获得的和/或内插的图像来生成3D立体图像。拼接模块118可被构造成混合/拼接来自多个图像部分的像素和/或图像条。例如，拼接可基于例如由内插模块114确定的流场。例如，拼接模块118可(从内插模块114)接收不是图像集的一部分的内插图像帧并且将图像帧交织到图像集中。交织可包括模块118至少部分地基于由内插模块114生成的光学流来将图像帧和图像集拼接在一起。拼接组合可用于生成全立体(例如，全向立体)全景图以用于显示在VR头戴式显示器中。图像帧可以基于从设置在特定装备上的相机的多个邻近对收集的捕获的视频流。这样的装备可以包括约12至约16个相机。换句话说，这样的装备的其它组合例如可包括12至16个非配对的或单独的相机。在一些实施方式中，可在装备中包括奇数个相机。在一些实施方式中，装备包括多于一个或两个集合的邻近相机。在一些实施方式中，装备可以包括可并排放置在装备上的多个集合的邻近相机。在一些实施方式中，拼接模块118可使用与至少一个邻近对相关联的姿态信息，以在执行交织之前预拼接图像集的一部分。在下面关于例如图3更明确地示出和描述相机装备上的邻近对。

在一些实施方式中，使用光学流技术来将图像拼接在一起可包括将捕获的视频内容拼接在一起。这种光学流技术可用于在使用相机对和/或单个相机先前捕获的特定视频内容之间生成中间视频内容。此技术可被用作模拟在捕获图像的圆形固定相机装备上的相机的连续体。所模拟的相机可类似于围绕圆扫描单个相机以捕获360度图像的方法捕获内容，但是在上述技术中，更少的相机实际上被放置在装备上并且装备可能是固定的。模拟相机的连续体的能力也提供能够捕获视频中的每帧内容(例如，每度一个图像的捕获间隔的360个图像)的优点。

当事实上相机装备捕获少于360个图像时，可使用光学流通过使用密集的图像集(例如，在每度一个图像时为360个图像)将所生成的中间视频内容拼接到实际捕获的视频内容。例如，如果圆形相机装备包括8对相机(即，16个相机)或16个不成对的相机，则所捕获的图像计数可以低至16个图像。光学流技术可用于模拟16个图像之间的内容以提供360度的视频内容。

在一些实施方式中，使用光学流技术可改进内插效率。例如，不是内插360个图像，而是可在相机的每个连续对(例如，[1-2]、[2-3]、[3-4])之间计算光学流。考虑到所捕获的16个图像和光学流，内插模块114和/或捕获校正模块116可计算任何中间视图中的任何像素，而不必在16个图像之一中内插整个图像。

图像处理系统106也包括投影模块120和图像校正模块122。投影模块120可被构造成通过将图像投影到平面透视平面中来生成3D立体图像。例如，投影模块120可获得特定图像集的投影并且可通过将一些图像从平面透视投影转换成球面(即，等矩形(equirectangular))透视投影来构造图像集的一部分的重新投影。转换包括投影建模技术。

投影建模可包括定义投影中心和投影平面。在本公开中描述的示例中，投影中心可将光学中心表示在预定义xyz坐标系的原点(0,0,0)处。可将投影平面放置在投影中心前面，同时相机面对以沿着xyz坐标系中的z轴线捕获图像。一般而言，可使用从坐标(x,y,z)到投影中心的特定图像射线的平面透视平面的相交来计算投影。例如，可以通使用矩阵计算来操纵坐标系来进行投影的转换。

用于立体全景图的投影建模可包括使用不具有单个投影中心的多透视图图像。多透视图通常被示出为圆形形状(例如，球面)(参见图13B)。当渲染内容时，本文所描述的系统可在从一个坐标系转换为另一坐标系时使用球体作为近似。

一般而言，球面(即，等矩形)投影提供球状的平面，其中球体的中心相等地环绕投影中心。透视投影提供在平面(例如，2D表面)透视平面上提供3D对象的图像以近似用户的实际视觉感知的视图。一般而言，图像可被渲染在平坦图像平面(例如，计算机监视器、移动装置LCD屏幕)上，所以投影被以平面透视图示出以便提供无失真的视图。然而，平面投影可能不允许360度视场，所以捕获的图像(例如，视频)可以等矩形(即，球面)透视图存储并且可在渲染时被重新投影到平面透视图。

在特定重新投影完成之后，投影模块120可发送图像的重新投影部分以供在HMD中渲染。例如，投影模块120可提供给HMD 110中的左眼显示器的重新投影的部分以及给HMD110中的右眼显示器的重新投影的部分。在一些实施方式中，投影模块120可被构造成通过执行上述重新投影来计算和减小垂直视差。

图像校正模块122可被构造成通过补偿失真，包括但不限于透视失真，来生成3D立体图像。在一些实施方式中，图像校正模块122可确定为3D立体维持光学流的特定距离并且可对图像进行分段以仅示出维持这种流的场景的部分。例如，图像校正模块122可确定3D立体图像的光学流被维持在例如距圆形相机装备102的外边缘约一个径向米到距相机装备102的外边缘约五个径向米之间。因此，图像校正模块122可确保一米与五米之间的样本被选择用于在无失真的投影中渲染在HMD 110中，同时也提供对于HMD 110的用户来说具有适当视差的适当3D立体效果。

在一些实施方式中，图像校正模块122可通过调整特定图像来估计光学流。调整可包括例如矫正图像的一部分、确定与图像的该部分相关联的估计的相机姿态，以及确定该部分中的图像之间的流。在非限制性示例中，图像校正模块122可补偿正在计算流的两个特定图像之间的旋转差。此校正可用来去除由旋转差(例如，旋转流)引起的流分量。这种校正产生通过平移(例如，视差流)引起的流，这可降低流估计计算的复杂性，同时使结果得到的图像变得准确且鲁棒。在一些实施方式中，可在渲染之前对图像执行除图像校正之外的过程。例如，可在渲染被执行之前对图像执行拼接、混合或附加校正过程。

在一些实施方式中，图像校正模块122可以校正由利用不基于平面透视投影的相机几何形状所捕获的图像内容引起的投影失真。例如，可通过内插来自多个不同视角的图像并且通过将与图像相关联的观察射线调节为源自于公共原点，来对图像应用校正。可将内插图像交织到捕获的图像中以产生在对于人眼来说舒适水平的旋转视差情况下对人眼而言准确的虚拟内容。

在示例性系统100中，装置106、108和112可以是膝上型计算机、台式计算机、移动计算装置或游戏控制台。在一些实施方式中，装置106、108和112可以是可以被设置(例如，放置/定位)在HMD装置110内的移动计算装置。例如，移动计算装置可包括显示装置，该显示装置可被用作HMD装置110的屏幕。装置106、108和112可包括用于执行VR应用的硬件和/或软件。此外，装置106、108和112可包括当这些装置被放置在相对于HMD装置110的一系列位置前面或者保持在相对于HMD装置110的一系列位置内时可识别、监测和跟踪HMD装置110的3D移动的硬件和/或软件。在一些实施方式中，装置106、108和112可通过网络104向HMD装置110提供附加内容。在一些实施方式中，装置102、106、108、110和112可连接到/对接于通过网络104配对或者连接的彼此中的一个或多个。连接可以是有线的或无线的。网络104可以是公共通信网络或专用通信网络。

系统100可以包括电子储存器。电子储存器可被包括在任何装置(例如，相机装备102、图像处理系统106、HMD装置110等)中。电子储存器可包括用电子方法存储信息的非暂时性存储介质。电子储存器可以被构造成存储捕获的图像、获得的图像、预处理图像、后处理的图像等。用任何所公开的相机装备捕获的图像可作为一个或多个视频流被处理和存储，或者作为单独的帧被存储。在一些实施方式中，可在捕获期间发生存储并且可以紧接在捕获的部分之后发生渲染，以使得能够比在捕获和处理不并发的情况下更早地访问全景立体内容。

图2是描绘被构造成捕获在生成立体全景图时使用的场景的图像的示例相机装备200的图。相机装备200包括附于环状支撑底座(未示出)的第一相机202A和第二相机202B。如所示，相机202A和202B被设置在直接面向外(朝向待捕获的图像/场景)并且与装备200的旋转中心或轴线(A1)平行的环形位置处。

在所描绘的示例中，相机202A和202B被设置(例如，放置)在安装板208上分开一定距离(B1)。在一些实施方式中，相机装备200上的每个相机之间的距离(B1)可以表示平均人类瞳间距离(IPD)。将相机以IPD距离分开放置可近似人眼将如何随着它们旋转(如由箭头204所示的左或右)以围绕由箭头204指示的捕获路径扫描场景而观察图像。示例平均人类IPD测量结果可以是约5厘米至约6.5厘米。在一些实施方式中，以标准IPD距离分开设置的每个相机可以是相机的立体对的一部分。

在一些实施方式中，相机装备200可被构造成近似标准人头的直径。例如，相机装备200可被设计有约8厘米至约10厘米的直径206。可为装备200选择此直径206以近似人头将如何相对于旋转中心A1旋转并且用人眼观察场景图像。其它测量结果是可能的，并且在例如将使用更大直径的情况下，装备200或系统100可调整捕获技术和所得到的图像。

在非限制性示例中，相机装备200可具有约8厘米至约10厘米的直径206，并且可接收分开放置在约6厘米的IPD距离处的相机。将在下面描述多个装备布置。在本公开中描述的每个布置可在相机之间被构造有前述或其它直径和距离。

如图2所示，两个相机202A、202B可被构造有宽视场。例如，相机可捕获约150度至约180度的视场。相机202A、202B可以具有捕获更宽视图的鱼眼镜头。在一些实施方式中，相机202A、202B充当立体对。

在操作中，装备200可绕旋转中心A1旋转360度以捕获全景场景。可替选地，装备可保持静止并且可向相机装备200添加附加相机以捕获360度场景的附加部分(如图3所示)。

图3是描绘被构造成捕获在生成立体全景图时使用的场景的图像的另一示例相机装备300的图。相机装备300包括附于环状支撑底座(未示出)的多个相机302A-302H。第一相机302A被示出为实线，并且附加相机302B-302H用虚线示出以指示它们是可选的。与相机装备200中示出的平行安装的相机(参见相机202A和202B)对比，相机302A-302H与圆形相机装备300的外圆周切向地设置。如图3所示，相机302A具有邻近相机302B和邻近相机302H。

在所描绘的示例中，相机202A和202B被以特定距离(B1)分开设置，与装备200中的相机类似。在此示例中，相机302A和302B可充当邻近对以分别捕获从中心相机镜头离开到向左和向右方向的角度，如在下面详细地描述的。

在一个示例中，相机装备300是包括可旋转或固定底座(未示出)和安装板306(其也可被称为支撑件)的圆形装备，并且相机的邻近对包括第一相机302A和第二相机302B，第一相机302A被放置在安装板306上，并且被构造成指向与安装板306的边缘相切的观察方向并且布置成朝向向左方向，第二相机302B被以与第一相机并排的方式放置在安装板306上并且放置在离第一相机302A瞳间距离(或不同距离(例如，小于IPD距离))处，第二相机302B被布置成指向与安装板306的边缘相切的观察方向并且布置成朝向向右方向。类似地，邻近对可由相机302C和302D组成，另一对由相机302E和302F组成，并且又一对由相机302G和302H组成。在一些实施方式中，每个相机(例如，302A)可与不与它自身相邻但是与其邻居相邻的相机配对，使得装备上的每个相机可与装备上的另一相机配对。在一些实施方式中，每个相机可与其直接邻居(在任一侧)配对。

在一些实施方式中，一个或多个立体图像可由内插模块114生成。例如，除在相机装备300上示出的立体相机之外，可生成附加立体相机作为合成立体图像相机。特别地，分析来自捕获的图像的射线(例如，射线跟踪)可产生3D场景的模拟帧。分析可包括追踪从视点向后穿过特定图像或图像帧并进入场景的射线。如果特定射线命中场景中的对象，则其穿过的每个图像像素可利用匹配于该对象的颜色来绘制。如果射线未命中对象，则可用与场景中的背景或其它特征匹配的颜色来绘制图像像素。使用视点和射线跟踪，内插模块114可生成似乎来自模拟立体相机的附加场景内容。附加内容可包括图像效果、丢失的图像内容、背景内容、在视场外的内容。

如图3所示，相机302A-302H与相机装备300的外圆周切向地设置(例如，放置)，并且因此，可捕获场景的多达180度视图。也就是说，因为相机被以切向方式放置，所以可在装备上的每个相机中捕获完全不未被遮挡的180度视场。

在一些实施方式中，相机装备300包括邻近相机。例如，装备300可包括邻近相机302A和302B。相机302A可被构造有指向与安装板304的边缘相切的观察方向并且布置成朝向向左方向的相关镜头。类似地，相机302B可以与相机302并排的方式设置在安装板304上并且被放置在离相机302A近似人类瞳间距离处，以及被布置成指向与安装板304的边缘相切的观察方向并且布置成朝向向右方向。

在一些实施方式中，在相机302A-H上(或者在相机装备300上)的特定传感器可以与相机302A-H(或装备300)的外圆周切向地设置，而不是使实际相机302A-H被切向地设置。以这种方式，可根据用户偏好来放置相机302A-H并且传感器可基于装备300位置、扫描速度或者基于相机构造和设定来检测哪个或哪些相机302A-H可捕获图像。

在一些实施方式中，邻居可包括以背对背或并排方式布置的相机302A和相机302E。此布置也可用于收集在由相应的相机镜头和安装板304形成的方位308的左侧和右侧的视角。在一些实施方式中，相机分别以与由相机镜头和安装板304形成的方位308的左侧和右侧成倾斜角来布置。

在一些实施方式中，放置在相机装备300上的相机可在图像内插期间与任何其它邻近相机配对并且在面向外方向上简单地围绕圆形装备对准。在一些实施方式中，装备300包括单个相机(例如，相机302A)。在仅相机302A被安装到装备300的情况下，可通过使相机装备300顺时针旋转完整的360度来捕获立体全景图像。

图4A至图4D是图示根据实施方式的相机装备400(也可被称为球面装备)的各种视图(分别为透视图、侧视图、顶视图和底视图)的图。如所示，相机装备400包括支撑件410以及相机405A至405C和405M。尽管此实施方式包括超过四个相机，然而为了简单仅标记了四个相机。在此实施方式中，相机(其也可被称为捕获装置)可被统称为相机405。在一些实施方式中，相机405可被称为捕获装置。

图4E至图4H是图示根据实施方式的相机装备400的支撑件410的各种视图(分别为透视图、侧视图、顶视图和底视图)的图。图4I图示可用于将相机405耦接(例如，可拆卸地耦接)到支撑件410的夹具450的透视图。图4J图示可用于将麦克风(未示出)耦接到支撑件410(和相机装备400)的麦克风安装件460的透视图。

与本文所描述的其它实施方式类似，相机装备400的相机405面向外(例如，背对装备400的中心)。在此实施方式中，每个相机405被取向为使得相机405的镜头系统的视场定中心沿着的轴线与由相机405限定的圆的切线垂直。这样的示例被至少图示在具有与相机405A相关联的轴线A1和切线的图4C中。

在此实施方式中，每个相机被构造为使得轴线A2(示出在图4C中)可以贯穿在相机装备400一侧的一个镜头系统(例如，一个镜头或捕获传感器的中心)，穿过相机装备400的中心A3，并且穿过在相机装备400另一侧的另一镜头系统。相机405(或图像传感器)围绕相机装备400的周界按照圆形图案布置，使得相机405中的每一个具有可与由相机装备400限定的圆形图案垂直的向外投影(或投影中心)。换句话说，相机405可具有背对相机装备400的内部的投影。

因为每个相机405的镜头系统在此实施方式中偏离每个相机405的主体的中心，所以每个相机相对于其它相机405以一定角度偏移，使得每个相机的视场可相对于相机装备400被垂直地取向(例如，垂直面向由支撑件410限定的圆(或与该圆相切))。因此，相机405B的主体的后侧(或平面)对准沿着的平面A4与相邻相机405A的侧平面(例如，其一侧的平面)相交并且与相邻相机405C的后平面(例如，其后侧的平面)相交。

如所示，相机装备410包括支撑构件411、相机安装环412(其也可被称为外环)、内环413和轮毂414。轮毂414可位于相机装备410的中心部分中并且支撑构件411被设置在轮毂414与相机安装环412之间。具体地，支撑构件411从轮毂414延伸(例如，径向地延伸)到相机安装环412。在此实施方式中，相机安装环412和内环413在相机装备410内限定同心环。相机安装环412包括可设置有每个相机405(例如，图像传感器)的凹部415(也可被称为支架、开口等)。凹部415中的每一个包括可用于支撑和/或允许访问包括在相机405中的一个或多个输入口和/或输出口的各种开口、曲线、突起等。支撑构件411(和/或相机装备410的其它部分)包括开口，使得相机装备410在被生产时可具有较小质量(例如，可以更轻)和/或使用更少的材料。尽管在此实施方式中以轴辐式构造图示，但是在一些实施方式中，支撑件410可具有不同的构造。

尽管未示出，然而在一些实施方式中，可以在相机装备中包括奇数个相机。在这些实施方式中，相机的镜头系统可以具有以垂直于相机装备的切线(或由相机装备限定的圆)的轴线为中心的视场，而没有穿过多个相机镜头系统和相机装备的中心设置的轴线。

在一些实施方式中，可基于与其耦接的一个或多个相机405的光学(例如，视场、像素分辨率)来限定相机装备410的最小或最大几何形状。例如，可基于相机405中的至少一个的视场来限定相机装备410的最小直径和/或最大直径。在一些实施方式中，相机405中的至少一个(例如，至少一个相机405的传感器)的相对较大(或宽)的视场和相对较高的分辨率可导致相机装备410的相对较小的直径。如图4A至图4D所示，例如，每个相机405以纵向模式(例如，4:3纵横比模式)布置，使得由相机405捕获的图像的水平尺寸(或分辨率)小于由相机405捕获的图像的垂直尺寸(或分辨率)。在一些实施方式中，每个相机405可以任何纵横比或取向(例如，16:9或9:16纵横比、3:4纵横比)布置。

在此实施方式中，相机装备410的直径(或半径)以及与相机405内的每个传感器相交的圆的直径(或半径)被限定为使得至少三个相邻相机405的视场重叠。在此实施方式中，相机405内的传感器被设置在平面(其与通过相机装备410的平面基本上平行)内。在一些实施方式中，至少两个相邻相机405的整个视场(例如，或基本上整个视场)可以与相机405中的第三个(与两个相邻相机405中的至少一个相邻)的视场重叠。在一些实施方式中，三个相邻相机405的任何集合的视场可重叠，使得相机装备410周围的任何点(例如，穿过相机405的传感器的平面内的任何点)可由至少三个相机405捕获。

如至少图4C所示，至少在邻近相机之间设置间隙，使得来自邻近相机的每个相机彼此不接触。具体地，图4C图示相机405B与相机405C之间的间隙402(例如，相机405B和405C的相机外壳之间的间隙402)。在一些实施方式中，可限定支撑件410，使得间隙被设置在邻近相机之间。在一些实施方式中，间隙402可被限定为使得来自相机405中的一个的热量可能不会以不期望的方式传递到相机405中的另一个。换句话说，可限定间隙402以有助于防止热问题或者方便散热。

如至少图4B和4F所示，支撑件410具有平坦的底部。换句话说，支撑件410的底部部分沿着平面对准。在一些实施方式中，支撑件410可具有不平坦的或者沿着平面对准的底部。换句话说，支撑件410可具有一个或多个曲线、突块、突起等。

如图4I所示，夹具450可包括可被设置在包括在相机(例如，相机405中的一个)中的凹部(或开口)内的突起451并且可包括可被设置在支撑件410内的凹部(或开口)内的突起452，因此，夹具450可被构造成将相机405中的一个或多个可拆卸地耦接到相机装备400内的支撑件410。如图4A所示，夹具450具有可用于将夹具450可拆卸地耦接到相机和相机装备(例如，相机装备410)的突起453。如至少图4A所示，夹具450可耦接到相机安装环412的至少一部分。

在至少图4A中图示了可设置(例如，插入)有夹具450M的突起451M的凹部(或开口)407M的示例。在至少图4A中图示了可设置(例如，插入)有夹具450M的突起452M的凹部(或开口)409M的示例。图4A图示夹具450M的突起453M。

如图4J所示，麦克风安装件460包括限定可被插入到相机装备(例如，相机装备410)中的不对称图案的三个突起461。在一些实施方式中，麦克风安装件460可包括不同的突起(其可具有不同的图案(例如，对称图案))和/或可用于将麦克风安装件460耦接到相机装备的机构。在至少图4A、4C、4E和4G中示出了可插入突起461的示例开口471。在一些实施方式中，相机装备410可被构造为使得麦克风可在没有麦克风安装件460的情况下直接耦接到(例如，可拆卸地耦接到)相机装备410。

在一些实施方式中，相机装备410可包括用于安装到诸如三脚架的另一装置的机构。在一些实施方式中，可设置一个或多个开口(例如，设置在相机装备410的底面上)，使得可将相机装备410安装到三脚架。在一些实施方式中，用于将相机装备410安装到诸如三脚架的另一装置的耦接机构可被设置在与麦克风安装件460的位置相对的一侧。在一些实施方式中，用于将相机装备410安装到另一装置的耦接机构可在与麦克风安装件460的位置相同的侧。

在一些实施方式中，相机装备410可以可拆卸地耦接到另一装置，例如载具(例如，诸如四轴直升机的飞行器)。在一些实施方式中，相机装备410可由足够轻的材料制成，使得可使用诸如四轴直升机的飞行器来移动相机装备410和相关相机405

在一些实施方式中，相机装备400的支撑件410(以及诸如夹具450和麦克风安装件460的相关组件)可被构造成可使用3-D打印机打印。在一些实施方式中，支撑件410(和相关组件)的一个或多个部分可以具有以平滑(或弯曲)方式限定的曲线以方便使用3-D打印机进行打印。

图5A至图5C是图示根据实施方式的相机装备500的各种视图(分别为透视图、侧视图、顶视图)的图。尽管在本文中未明确地描述，然而相机装备500包括(或者可包括)关于上图和下图所描述的特征中的一个或多个。

相机装备500包括支撑件510和相机505。在此实施方式中，支撑件510由纸板制成(例如，基本上由纸板制成)。这具有在制造时轻且成本低廉的优点。如图5A至图5C所示，支撑件510包括顶部部分582、侧面部分584和底部部分586。在一些实施方式中，相机装备500可被重新构造成接收不同形状的相机505。

在此实施方式中，顶部部分582具有与底部部分586的形状相同的形状(例如，外形或轮廓)。在一些实施方式中，顶部部分582可具有与底部部分586的形状不同的形状。顶部部分582包括相机505的主体可突出穿过的开口。

侧面部分584包括开口，相机505中的一个或多个的镜头系统可以穿过开口突出。在此实施方式中，侧面部分584包括穿孔边缘，穿孔边缘可向分别可支撑并耦接到顶部部分582和底部部分586的限定突耳弯曲。另外，侧面部分584具有与每个相机505相关联的平坦部分并且包括位于每个平坦部分之间的弯曲部分。

图6是描绘被构造成捕获在生成立体全景图时使用的场景的图像的另一示例相机装备600的图。相机装备600可被安装在安装板602上。安装板602可放置在可旋转底座604上。相机装备600包括多个并排相机(例如，相机606-610)，其填充相机装备的安装板602的周周区域。相机可被放置来填充装备600的周围，或者可替选地，可间隔开以使视角最大化并且使装备它本身的捕获部分最小化。

在非限制性示例中，圆形相机装备600可通过在与可旋转底座604平行的弧形运动中旋转来使用设置在安装板602上的任何数目的相机来捕获图像集合。在一些实施方式中，相机装备600包括设置在安装板602上的邻近相机。邻居可以被同步配置，并且被定位成捕获与约160度至约180度相关联的视场。其它视场是可能的。在一些实施方式中，相机装备600未被安装在可旋转底座上并且以固定方式起作用。

在装备操作的一个示例中，相机装备(例如，装备200、300、400、500或600)可以在环绕特定装备的场景的捕获期间按照第一方向旋转，并且随后在场景的捕获期间按照不同的方式旋转。例如，相机装备600可顺时针旋转，然而装备600上的相机(或邻居)中的一个或多个以在相机装备600的底座604的中心的相对侧偏移的观察方向放置。以类似的方式，相机装备600然后可按照逆时针方向旋转，同时任何数目的相机面向左或向右以捕获场景的附加视图。在装备600的一个示例取向中，每个其它相机可被取向在一个方向上(例如，相机镜头向左或向右倾斜)，同时中间的相机被取向在相反方向上(例如，面向左或者面向右)。

在一些实施方式中，底座604可以是固定的。例如，装备600上的每个相机可以是在静止模式下工作的任何静止相机或视频相机。因此，相机可被同步和/或构造成同时捕获周围场景的图像帧。可将各方面拼接在一起以形成立体全景视图。

在一些实施方式中，在本公开中描述的相机装备可包括安装在圆形外壳上的任何数目的相机。在一些实施方式中，相机可与邻近相机等矩形地安装在从圆形装备的中心向外的四个方向中的每一个上。在此示例中，被构造为立体邻居的相机例如可沿者圆周向外瞄准并且以零度、九十度、一百八十度和二百七十度方式设置，使得每个立体邻居捕获360度视场的单独象限。一般而言，相机的可选视场确定立体邻居的相机视图的重叠量以及相机之间和相邻象限之间的任何盲点的大小。一个示例相机装备可采用被构造成捕获约120度直到约180度的场的一个或多个立体相机邻居。

在一些实施方式中，在本公开中描述的相机装备可被构造有约5厘米至约8厘米的直径(例如，图2中的直径206)以模拟人类瞳间距离来捕获用户在例如该用户将她的头或身体转动四分之一圈、半圈、满圈或一圈的其它部分的情况下将看到的。在一些实施方式中，直径可指代跨越装备从相机镜头到相机镜头的距离。在一些实施方式中，直径可指代从一个相机传感器跨越装备到另一相机传感器的距离。在一些实施方式中，直径可以简单地指代安装板(例如，安装板208)跨越环状板从边缘到边缘的大小。

在一些实施方式中，相机装备从约8厘米放大至约25厘米，以例如接收附加的相机设备。在一些实施方式中，可以在较小直径的装备上使用较少的相机。在这样的示例中，在本公开中描述的系统可探知或者推导出装备上的相机之间的视图并且将这些视图与实际捕获的视图交织在一起。

例如，在一些实施方式中，在本公开中描述的相机装备可用于通过使用具有旋转镜头的相机或旋转相机在单次曝光中捕获整个全景图来捕获全景图像。上面所描述的相机和相机装备可与本公开中描述的方法一起使用。特别地，可使用本文中所描述的其它相机装备中的任一个来执行关于一个相机装备描述的方法。在一些实施方式中，相机装备和后续捕获的内容可与其它内容(诸如虚拟内容、渲染的计算机图形(CG)内容和/或其它获得或生成的图像)组合。

在一些实施方式中，相机装备600可包括可被放置到该装备上的任何数目的相机。例如，装备600可以具有约25厘米至约75厘米的直径。在一个非限制性示例中，装备600可包括用于捕获可用于为了生成3D立体虚像而计算深度的图像的至少三个相机。例如，底座600可包括被放置在相机装备600的底座604上的第一相机606。第一相机606可被构造成指向与底座604的边缘相切的向外观察方向，并且布置成在距底座604的向外边缘约一个径向米到距相机装备600的底座604的向外边缘约五个径向米的距离处捕获图像。

类似地，第二相机608可以与第一相机606并排的方式放置在底座上并且可被构造成指向与底座604的边缘相切的观察方向，并且布置成在距底座604的向外边缘约一个径向米到距相机装备600的底座的向外边缘约五个径向米的距离处捕获图像。

类似地，第三相机610可以与第二相机608并排的方式或者可替选地以与第一相机并排的方式放置在底座604上。第三相机610可被构造成指向与底座604的边缘相切的观察方向，并且布置成在距底座604的向外边缘约一个径向米到距相机装备600的底座604的向外边缘约五个径向米的距离处捕获图像。在一些实施方式中，可以不并排放置三个相机(606、608和610)。例如，相机606、608和610可以替代地绕装备600隔开，在装备600一侧，均匀地隔开，或者不均匀地隔开。

一般而言，使用相机装备600上的至少三个相机(例如，相机606、608、610)捕获的图像可用于计算特定场景的深度测量。深度测量可用于将场景(或来自场景的图像)的部分转换成3D立体内容。例如，内插模块114可使用深度测量来产生可被拼接成360度立体视频影像的3D立体内容。

图7是图示示例VR装置(VR头戴式耳机)702的图。用户可通过类似于放置护目镜、太阳镜等将头戴耳机702放置在她的眼睛上方来佩戴VR头戴式耳机702。在一些实施方式中，参考图1，VR头戴式耳机702可使用一个或多个高速有线和/或无线通信协议(例如，Wi-Fi、蓝牙、蓝牙LE、USB等)或者通过使用HDMI接口来与计算装置106、108或112的多个监视器对接/连接到计算装置106、108或112的多个监视器。连接可将虚拟内容提供给VR头戴式耳机702以用于在包括在VR头戴式耳机702中的屏幕(未示出)上向用户显示。在一些实施方式中，VR头戴式耳机702可以是支持投射的装置。在这些实施方式中，用户可以选择向VR头戴式耳机702提供或者“投射”(投影)内容。

此外，VR头戴式耳机702可使用一个或多个高速有线和/或无线通信接口和协议(例如，Wi-Fi、蓝牙、蓝牙LE、通用串行总线(USB)等)来与计算装置104对接/连接到计算装置104。计算装置(图1)可识别与VR头戴式耳机702的对接，并且作为响应，可执行将用户和计算装置渲染在包括虚拟内容的计算机生成的3D环境(VR空间)中的VR应用。

在一些实施方式中，VR头戴式耳机702可包括可执行VR应用的可移动计算装置。可移动计算装置可与计算装置108或112类似。可移动计算装置可被并入在VR头戴式耳机(例如，VR头戴式耳机702)的壳体或框架内，所述壳体或框架然后可由VR头戴式耳机702的用户佩戴。在这些实施方式中，可移动计算装置当与计算机生成的3D环境(VR空间)交互时可提供用户观察的显示或画面。如上所述，移动计算装置104可使用有线或无线接口协议来连接到VR头戴式耳机702。移动计算装置104可以是VR空间中的控制器，可作为VR空间中的对象出现，可向VR空间提供输入，并且可从VR空间接收反馈/输出。

在一些实施方式中，移动计算装置108可执行VR应用并且可以向VR头戴式耳机702提供数据以用于创建VR空间。在一些实施方式中，在包括在VR头戴式耳机702中的屏幕上向用户显示的VR空间的内容也可以被显示在包括在移动计算装置108中的显示装置上。这允许其它人看到用户可能正在VR空间中与什么进行交互。

VR头戴式耳机702可提供指示移动计算装置108的位置和取向的信息和数据。VR应用可像指示用户在VR空间内的交互一样接收并使用位置和取向数据。

图8是图示作为相机视场的函数的相机(和邻居)的数目的示例曲线图800。曲线图800表示可用于为了生成立体全景图而针对预定义视场来确定可以被设置在相机装备上的相机的数目的示例曲线图。曲线图800可用于计算相机设定和相机放置以确保特定立体全景结果。一个示例设定可包括对要附于特定相机装备的相机的数目的选择。另一设定可包括确定将在捕获、预处理或后处理步骤中使用的算法。例如，对于光学流内插技术，拼接全360度全景图可以指示每个光射线方向应该被至少两个相机看到。这可以约束为了覆盖全360度要使用的相机的最小数目，作为相机视场西塔[θ]的函数。光学流内插技术可由相机邻居(或对)或者单个相机来执行和构造。

如图8所示，描绘了图示函数802的曲线图。函数802表示作为相机视场[θ]806的函数的相机的数目[n]804。在此示例中，约95度的相机视场由线808示出。线808和函数802的交点810表明使用各自具有95度的视场的十六(16)个相机将提供所希望的全景结果。在这样的示例中，可通过针对每个集合的邻近相机使邻近相机交织以使用在将邻近相机放置在装备上时可能出现的任何空间来构造相机装备。

除使邻近相机交织之外，光学流要求可指示系统100计算相同类型的相机之间的光学流。也就是说，可针对第一相机并且然后针对第二相机来计算光学流，而不是同时计算两者。一般而言，像素处的流可被计算为取向(例如，方向和角度)和幅度(例如，速度)。

图9是图示作为相机视场[θ]904的函数的内插视场[θ₁]902的示例曲线图900。曲线图900可用于确定相机的视场的什么部分与其左或右邻居共享。这里，在约95度的相机视场(由线906示出)下，内插视场被示出为约48度，如由交点908所示。

考虑到两个连续相机通常不捕获严格相同的视场的图像，内插相机的视场将通过相机邻居的视场的交点来表示。内插视场[θ₁]然后可以是相机视场[θ]和相机邻居之间的角度的函数。如果(使用图8所示的方法)针对给定相机视场选择相机的最小数目，则可将[θ₁]计算为[θ]的函数。

图10是图示针对相机装备的构造的选择的示例曲线图1000。特别地，曲线图1000可用于确定特定相机装备可被设计为多大。曲线图1000描绘作为装备直径[D(厘米)]1004的函数的拼接比[d/D]1002的线图。为了产生舒适的虚拟现实全景观看体验，在本公开中的示例中全立体拼接直径[d]被选择为约5厘米至约6.5厘米，其是人类IPD的典型值。在一些实施方式中，可使用与拼接直径[d]大约相同的捕获直径[D]来执行全方位拼接。也就是说，例如，维持约“1”的拼接比可在全立体图像的后处理中提供更容易的拼接。此特定构造可使失真最小化，因为用于拼接的光射线与实际的相机捕获的射线相同。当所选择的相机的数目高(例如，每装备12-18个相机)时，获得“1”的拼接比可能是困难的。

为了减轻装备上太多相机的问题，装备大小可被设计有较大的大小以接收附加相机并且允许拼接比保持相同(或基本上相同)。为了确保拼接算法在捕获期间对在镜头中心附近捕获的图像中的内容进行采样，可使拼接比固定以确定相机相对于装备的角度[α]。例如，图10示出在镜头中心附近的采样改进图像质量并且使几何失真最小化。特别地，较小的角度[α]可有助于避免装备遮挡(例如，装备本身的相机成像部分)。

如图10所示在1006处，0.75的拼接比[d/D]对应于约6.5厘米(即，典型的人类IPD)的装备直径。将拼接比[d/D]减小到约0.45允许装备直径增加到约15厘米(示出在1008处)，这可允许向装备添加附加相机。可基于所选择的拼接比来调整相机相对于相机装备的角度。例如，将相机角度调整到约30度指示装备直径可大至12.5厘米。类似地，例如，将相机角度调整到约25度指示装备直径可大至15厘米，并且当为用户渲染回来时仍然维持适当的视差和视觉效果。

一般而言，考虑到装备直径[D]，可计算最佳相机角度[α]。根据[α]，可计算最大视场[Θ_u]。最大视场[Θ_u]通常对应于装备不会部分地遮挡相机的视场。最大视场可限制相机装备可以接收多少相机并且仍然提供未被遮挡的视图。

图11是图示可用于根据预定义装备直径来确定相机的最小数目的示例关系的曲线图1100。这里，示出了针对给定装备直径[D]1104的相机的最小数目[n_min]1102。装备直径[D]1104限制最大未遮挡视场，其用来限制相机的最小数目。如曲线图所示在1106处，对于约10厘米的装备直径，可在相机装备中使用最小十六(16)个相机来提供未遮挡视图。修改装备直径可允许增加或者减少放置在装备上的相机的数目。在一个示例中，装备可在约8至约25厘米的装备大小上接收约12至约16个相机。

因为其它方法可用于调谐视场和图像捕获设定，所以可以将这些计算与这些其它方法组合以进一步改善相机装备尺寸。例如，光学流算法可用于改变(例如，减少)通常用于拼接全立体全景图的相机的数目。例如，在一些实施方式中，在本公开中描绘的或者从本公开中描述的系统和方法生成的曲线图可相结合地用于生成在HMD装置中渲染的虚拟内容。

图12A-B表示在图像捕获期间可能发生的失真的线图示例。特别地，这里示出的失真对应于在捕获立体全景图时发生的效果。一般而言，当靠近捕获场景的相机捕获场景时失真可能更严重。图12A表示为两米乘两米并且离相机中心向外一米设置的场景中的平面。图12B是与图12A相同的平面，但是此图中的平面被设置为距相机向外25厘米。两个图都使用6.5厘米捕获直径。图12A在1202处示出中心附近的轻微拉伸，然而图12B示出更膨胀的中心1204。可采用多个技术来校正此失真。以下段落描述使用捕获图像内容的近似方法和系统(例如，相机装备/捕获装置)来分析投影(例如，球面和平面投影)以校正失真。

图13A-B描绘了在收集全景图像期间捕获的射线的示例。图13A示出考虑到捕获的图像集合，可在捕获路径1302上的任何地方为左眼和右眼生成透视图像。这里，通过射线1304a示出左眼的射线并且在1306a处示出右眼的射线。在一些实施方式中，由于相机设定、故障或简单地对于场景不足的装备设定，所描绘的射线中的每一条可能未被捕获。因为这个，可近似(例如，基于其它射线内插)射线1304a和1306a中的一些。例如，如果场景无限远，则场景的一个可测量特征包括从原点到目的地的射线方向。

在一些实施方式中，射线原点可能不是可收集的。因此，本公开中的系统可近似左眼和/或右眼以确定射线的原点位置。图13B示出针对右眼的近似射线方向1306b至1306f。在此示例中，不是射线源自于同一点，而是每条射线源自于圆1302上的不同点。射线1306b至1306f被示出为与捕获圆1302切向地倾斜并且被设置在围绕捕获圆1302的圆周的特定区域处。另外，与相机装备相关联的两个不同的图像传感器—图像传感器13-1和图像传感器13-2(与相机相关联或者包括在相机中)的位置被示出在相机装备圆1303上。如图13B所示，相机装备圆1303比捕获圆1302大。

可使用从圆向外的不同方向来以这种方式近似多条射线(以及与每条射线相关联的图像的颜色和强度)。以这种方式，可为左眼视图和右眼视图两者提供包括多个图像的整个360度全景视图。此技术可导致中距离对象中的解析失真，但是在一些情况下当对附近的对象进行成像时可能仍然具有畸变。为了简单，未描绘近似的左眼射线方向。在此示例实施方式中，图出了仅几条射线1306b至1306f。然而可限定数千条这样的射线(以及与那些射线相关联的图像)。因此，可限定(例如，内插)与每条射线相关联的多个新图像。

如图13B所示射线1306b被投影在图像传感器13-1与图像传感器13-2之间。图像传感器13-1与图像传感器13-2邻近。射线可以距图像传感器13-1(例如，图像传感器13-1的投影中心)距离G1并且距图像传感器13-2(例如，图像传感器13-2的投影中心)距离G2。距离G1和G2可基于射线1306b与相机装备圆1303相交的位置。距离G1可不同于(例如，大于、小于)距离G2。

为了限定与射线1306b相关联的图像(例如，内插图像、新图像)，由图像传感器13-1捕获的第一图像(未示出)与由图像传感器13-2捕获的第二图像组合(例如，拼接在一起)。在一些实施方式中，光学流技术可用于组合第一图像和第二图像。例如，可标识与来自第二图像的像素对应的来自第一图像的像素。

为了限定与例如射线1306b相关联的图像，对应的像素基于距离G1和G2移位。出于针对射线1306b限定图像(例如，新图像)的目的，可假定图像传感器13-1、13-2的分辨率、纵横比、仰角等是相同的。在一些实施方式中，分辨率、纵横比、仰角等可以是不同的。然而，在这些实施方式中，将需要修改内插以适应这些差异。

作为特定示例，与第一图像中的对象相关联的第一像素可被标识为和与第二图像中的对象相关联的第二像素对应。因为第一图像是从图像传感器13-1(其位于相机装备圆1303周围的第一位置处)的角度捕获的并且第二图像是从图像传感器13-2(其处于相机装备圆1303周围的第二位置处)的角度捕获的，所以与第二图像中的位置(X-Y坐标位置)相比，对象将在第一图像内的位置(例如，X-Y坐标位置)上移位。同样地，与对象相关联的第一像素将相对于也与对象相关联的第二像素在位置(例如，X-Y坐标位置)上移位。为了产生与射线1306b相关联的新图像，可基于距离G1和G2的比率来限定与第一像素和第二像素(及对象)相对应的新像素。具体地，新像素可被限定在基于距离G1(并且按基于第一像素的位置与第二像素的位置之间的距离的因子缩放)相对于第一像素以及基于距离G2(并且按基于第一像素的位置与第二像素的位置之间的距离的因子缩放)相对于第二像素在位置上移位的位置处。

根据上面所描述的实施方式，可为和与第一图像和第二图像一致的射线1306b相关联的新图像限定视差。具体地，相对靠近相机装备的对象与距相机装备相对较远的对象相比可被移位更大的量。可基于射线1306b的距离G1和G2在像素(例如从第一像素和第二像素起)的移位之间维持此视差。

可针对捕获圆1302周围的所有射线(例如，射线1306b至1306f)重复此过程。可基于每条射线与围绕相机装备圆1302的图像传感器(例如，邻近图像传感器，图像传感器13-1、13-2)之间的距离来限定与捕获圆1302周围的每条射线相关联的新图像。

如图13B所示，相机装备圆1303的直径大于捕获圆1302的直径。在一些实施方式中，相机装备圆1303的直径可在为捕获圆1302的直径的1.5至8倍之间。作为特定示例，捕获圆的直径可以为6厘米并且相机装备圆1303(例如，图4A所示的相机安装环412)的直径可以为30厘米。

图14A-B图示像图13A-B所描述的那样近似平面透视投影的使用。图14A示出在近似平面透视射线和投影之前具有失真线的全景场景。如所示，窗帘杆1402a、窗框1404a和门1406a被描绘为具有弯曲特征的对象，但是事实上，它们是直线特征对象。直线特征对象包括没有弯曲表面的对象(例如，平坦的索引卡、方形盒、矩形窗框等)。在此示例中，对象1402a、1404a和1406a被示出为弯曲的，因为它们已经在图像中失真。图14B示出在90度水平视场下近似平面透视投影的校正图像。这里，窗帘杆1402a、窗框1404a和门1406a分别被示出为校正的直线对象1402a、1404b和1404c。

图15A-C图示应用于图像的平面的近似平面透视投影的示例。图15A示出使用本公开中描述的技术从全景图捕获的平面透视投影。例如，所描绘的平面视图1500可表示在图14B中的图像中示出的平面的覆盖图。具体地，图15A表示校正后的图14A，其中曲线被投影成直线。这里，全景图的平面1500被示出在一米的距离处(具有90度水平视场)。线1502、1504、1506和1508是直的，然而以前(对应于图14A)，相同的中心线是弯曲的且失真的。

基于所选择的投影方案可发生其它失真。例如，图15B和图15C表示使用本公开中的技术利用从全景图获取的平面透视投影所产生的平面(1510和1520)。全景图是在距离为25厘米(90度水平视角)下捕获的。图15B示出左眼捕获1510并且图15C示出右眼捕获1520。这里，平面(1512、1522)的底部不投影到直线并且引入垂直视差。当使用平面透视投影时可发生此特定变形。

图16A-B图示引入垂直视差的示例。图16A描绘根据典型的全立体全景技术捕获的直线1602a。在所描绘的示例中，每条射线1604a-1618a源自于圆1622上的不同点。

图16B图示当使用透视近似技术观察时的同一条直线。如所示，直线1602a被示出为变形为线1602b。射线1604b-1618b源自于圆1622上的单个点。变形可具有使线1602b的左半部朝向观察者并且将线的右半部从观察者推开的效果。对于左眼，可发生相反的情况，即，线的左半部似乎更远然而线的右半部似乎更近。已变形的线在两条渐近线之间弯曲，两条渐近线分开距离等于全景图渲染圆1622的直径1624。因为变形被示出为与全景图捕获半径相同的大小，所以它可能仅在附近的对象上是引人注意的。这种形式的变形可对观察图像的用户导致垂直视差，这在对已失真图像执行拼接过程时可导致融合困难。

图17A-B描绘可用于图示3D全景图中的点的坐标系的示例点。图17A-B描绘通过本公开中描述的全景技术来成像的点(O，Y，Z)1702。该点到左右全景图中的投影可通过分别如下式(1)和(2)中示出的(-θ，φ)和(θ，φ)来表示，其中：

并且其中r1704是全景捕获的半径。

图17A描绘点(O，Y，Z)1702的全景成像的顶视图。图17B描绘点(O，Y，Z)1702的全景成像的侧视图。所示点在左全景图中投影到(-θ，φ)而在右全景图中投影到(θ，ψ)。这些特定视图被捕获并且尚未被投影到另一平面中。

图18表示图17A-17B中描绘的点的投影视图。这里，点1702的透射视图被取向成以绕y轴线的角度[α]的旋转水平地看。因为此透视投影仅考虑射线方向，所以能够通过将在全景投影1802中看到点1702的射线变换成透视相机的参考系来找到点1702投影所沿着的射线。例如，点1702沿着下表1所示的以下射线投影：

表1

执行透视除法，可确定点投影，如下表2中的式所示：

表2

可看到，如果(对应于原始3D点1702无限远)，则点1702将通常在两个透视图像中投影到同一y坐标，并且因此将不存在垂直视差。然而随着θ变得离更远(随着点移动更靠近相机)，经投影的y坐标对于左眼和右眼将不同(除了对应于透视视图面朝点1702的α＝0的情况)。

在一些实施方式中，可通过以特定方式捕获图像和场景来避免失真。例如，将近场内的场景捕获到相机(即，距离不到一米)可使失真元素出现。因此，从一米外捕获场景或图像是使失真最小化的方式。

在一些实施方式中，可使用深度信息来校正失真。例如，考虑到场景的准确深度信息，可以能够校正失真。也就是说，因为失真可取决于当前观察方向，所以可能不能够在渲染之前对全景图像应用单个失真。替代地，深度信息可连同全景图一起传递并且在渲染时使用。

图19图示使用本公开中描述的全景成像技术在全向立体图像中捕获的射线。在此示例中，围绕圆1900指向顺时针方向的射线1902、1904、1906对应于左眼的射线。类似地，围绕圆1900指向逆时针方向的射线1908、1910、1912对应于右眼的射线。每条逆时针射线可在相同方向上看的圆的相对侧具有对应的顺时针射线。这可为在单个图像中表示的射线的每个方向提供左/右观察射线。

捕获本公开中描述的全景图的射线集合可包括围绕在圆1900上移动相机(未示出)从而使与圆1900相切的相机对准(例如，指向在场景面向外且与圆1900相切的相机镜头)。对于左眼，相机可指向右侧(例如，射线190 4被捕获到中心线1914a的右侧)。类似地，对于右眼，相机可指向左侧(例如，射线1910被捕获到中心线1914a的左侧)。可使用在中心线1914b另一侧且在中心线1914b下面的相机的中心线1914b来限定类似的左右区域。产生全向立体图像适用于真实相机捕获或者适用于先前渲染的计算机图形(CG)内容。例如，视图内插可与捕获的相机内容和渲染的CG内容一起使用来模拟捕获圆1900上的真实相机中间的点。

拼接图像集合可包括将球面/等矩形投影用于存储全景图像。一般而言，在此方法中存在两个图像，每只眼睛各一个。等矩形图像中的每个像素对应于球体上的方向。例如，x坐标可对应于经度而y坐标可对应于纬度。对于单全向图像，像素的观察射线的原点可以是同一点。然而，对于立体图像，每条观察射线也可源自于圆1900上的不同点。然后可通过分析所捕获的图像中的每个像素、从投影模型生成理想的观察射线、并且对像素进行采样以形成其观察射线与理想射线最匹配的捕获或内插图像来从所捕获的图像拼接全景图像。接下来，可使射线值混合在一起以生成全景像素值。

在一些实施方式中，基于光学流的视图内插可用于在圆1900上每度产生至少一个图像。在一些实施方式中，全景图像的整列可被一次填充，因为可确定如果该列中的一个像素将从给定图像被采样，则该列中的像素将从同一图像被采样。

与本公开的捕获和渲染方面一起使用的全景图格式可确保由左眼和右眼观察到的对象的图像坐标相差水平移位。此水平移位称为视差。这适用于等矩形投影，并且在此投影中，对象可能似乎相当失真的。

此失真的幅度可取决于到相机的距离和观察方向。失真可包括线弯曲失真，从而使左右眼失真不同，并且在一些实施方式中，视差可能不再水平出现。一般而言，1-2度(在球面图像平面上)垂直视差可被人类用户舒适地容忍。此外，对于外围眼线中的对象可忽视失真。这与距中心观察方向约30度有关。基于这些发现，可构造限定相机附近的对象不应穿透以避免不舒适失真的区域的限制。

图20是图示由3D空间中的点引起的最大垂直视差的曲线图2000。特别地，曲线图2000描绘考虑到3D空间中的点从图像的中心投影到30度而由它们引起的以度数表示的最大垂直视差。曲线图2000绘制从相机中心起的垂直位置(以米为单位)对比从相机起的水平位置(以米为单位)。在此图中，相机位于原点[0,0]处。随着曲线图从原点移开，失真的严重度变小。例如，在曲线图上从约零到一2002并且从零到负一2004(垂直地)，失真是最差的。这对应于相机(放置在原点处)正上方和下方的图像。随着场景向外移动，失真变小并且到相机在2006和2008点处对场景进行成像的时候，仅遭遇一度垂直视差的一半。

如果可在30度之外忽视外围中的失真，则可去除其观察方向在极点的30度内的所有像素。如果允许外围阈值为15度，则可去除15度的像素。去除的像素可例如被设定为彩色块(例如，黑色、白色、品红色等)或静态图像(例如，徽标、已知边界、纹理化层等)并且去除的像素的新表示可被插入到全景图中代替去除的像素。在一些实施方式中，去除的像素可能是模糊不清的并且可将去除的像素的模糊表示插入到全景图中代替去除的像素。

图21是图示用于产生立体全景图像的过程2100的一个实施例的流程图。如图21所示，在块2102处，系统100可基于捕获的图像来限定图像集合。图像可包括预处理的图像、后处理的图像、虚拟内容、视频、图像帧、图像帧的部分、像素等。

所限定的图像可由用户访问，例如利用头戴式显示器(HMD)来访问内容(例如，VR内容)。系统100可确定用户执行的特定动作。例如，在某个时候，系统100可像在块2104处一样接收与VR HMD的用户相关联的观察方向。类似地，如果用户改变她的观察方向，则系统可像在块2106处一样接收用户的观察方向的改变的指示。

响应于接收到观察方向的这种改变的指示，系统100可构造图像集合的一部分的重新投影，示出在块2108处。重新投影可至少部分地基于已改变的观察方向和与所捕获的图像相关联的视场。视场可以从一度到180度，并且可对场景的完整全景图像解释场景的图像的样条。构造的重新投影可用于将图像集合的一部分从球面透视投影转换成平面投影。在一些实施方式中，重新投影可包括从围绕从球面透视投影到平面透视投影的弯曲路径布置的多个视点重新投射与图像集合相关联的观察射线的部分。

一旦完成重新投影，系统100可基于重新投影来渲染更新的视图，如在块2110处所示。更新的视图可被构造成校正失真并且向用户提供立体视差。在块2112处，系统100可提供包括与已改变的观察方向对应的立体全景场景的更新的视图。例如，系统100可提供更新的视图来校正原始视图(在重新投影之前)的失真并且可在VR头戴式显示器的显示器中提供立体视差效果。

图22是图示用于捕获立体全景图像的过程2200的一个实施例的流程图。在块2202处，系统100可基于从至少一个集合的邻近相机收集的捕获的视频流来限定图像集合。例如，系统100可使用邻近相机(如图2和图5所示)或多个集合的邻近相机(如图3和图6所示)。在一些实施方式中，系统100可使用从约12至约16个相机收集的捕获的视频流来限定图像集合。在一些实施方式中，系统100可使用部分或全部渲染的计算机图形(CG)内容来限定图像集合。

在块2204处，系统100可计算图像集合中的光学流。例如，计算图像集合中的光学流可包括像上面详细描述的那样针对与图像集合相关联的像素列的部分来分析图像强度场，并且对像素列的该部分执行光学流技术。

在一些实施方式中，光学流可用于内插不是图像集合的一部分的图像帧(由块2206示出)并且如上详细地所述，系统100然后可至少部分地基于光学流来将图像帧和图像集合拼接在一起。在块2208处，系统100可使用经交织的帧和图像集来生成在VR头戴式显示器中显示的全立体全景图。在一些实施方式中，系统100可使用与立体邻居的至少一个集合相关联的姿态信息来执行图像拼接，以例如在执行交织之前预拼接图像集合的一部分。

图23是图示用于在头戴式显示器中渲染全景图像的过程2300的一个实施例的流程图。如图23所示，在块2302处，系统100可接收图像集合。图像可以描绘从可旋转相机装备捕获的内容。在块2304处，系统100可选择图像中的图像帧的部分。图像帧可以包括用相机装备捕获的内容。系统100可使用所捕获的内容的任何部分。例如，系统100可以选择包括由装备从距相机装备的底座的向外边缘约一个径向米到距相机装备的底座的向外边缘约五个径向米捕获的内容的图像帧的部分。在一些实施方式中，此选择可基于用户可以感知3D内容到什么程度。这里，距相机一米到距相机约五米的距离可以表示用户可观察3D内容的“区域”。比这更短，3D视图可能是失真的，而比这更长，用户可能无法探知3D形状。也就是说，场景可以简单地从远处看来像是2D。

在块2306处，可将图像帧的所选择的部分拼接在一起以生成立体全景视图。在此示例中，拼接可以至少部分地基于使所选择的部分与所选择的部分中的至少一个其它图像帧相匹配。在块2308处，可在显示器(诸如HMD装置)中提供全景视图。在一些实施方式中，可使用至少部分地基于相机装备的直径而选择的拼接比来执行拼接。在一些实施方式中，拼接包括使第一图像帧中的第一列像素与第二图像帧中的第二列像素相匹配，并且使第三图像帧中的第二列像素与第三列像素相匹配，以形成内聚场景部分的多个步骤。在一些实施方式中，可以这种方式匹配和组合多个列像素以形成帧并且可组合那些帧以形成图像。另外，可组合那些图像以形成场景。

在一些实施方式中，方法2300可包括内插步骤，内插步骤使用系统100来内插不是图像帧的各部分的一部分的附加图像帧。例如，可执行这样的内插以确保在由相距较远的相机捕获的图像之间发生流。一旦附加图像内容的内插被执行，系统100就可将附加图像帧交织到图像帧的部分中以为视图生成虚拟内容。此虚拟内容可作为与附加图像帧交织的图像帧的部分被拼接在一起。例如，结果可作为更新的视图被提供给HMD。此更新的视图可以至少部分地基于图像帧的部分和附加图像帧。

图24是图示用于确定图像边界的过程2400的一个实施例的流程图。在块2402处，系统100可以基于从邻近相机的至少一个集合收集的捕获的视频流来限定图像集合。例如，系统100可使用邻近相机的一个集合(如图2和图5所示)或邻近相机的多个集合(如图3和图6所示)。在一些实施方式中，系统100可使用从约12至约16个相机收集的捕获的视频流来限定图像集合。在一些实施方式中，系统100可使用部分或全部渲染的计算机图形(CG)内容来限定图像集合。在一些实施方式中，与图像集合相对应的视频流包括编码视频内容。在一些实施方式中，与图像集合相对应的视频流可以包括用被构造有一百八十度视场的邻近相机的至少一个集合获取的内容。

在块2404处，系统100可通过将与图像集合的该部分相关联的观察射线从布置在圆形状路径的一部分中的多个视点重新投射到一个视点，将图像集合的一部分从透视图像平面投影到球面图像平面上。例如，图像集合可由圆形相机装备来捕获，圆形相机装备可承载多个相机。每个相机可与视点相关联并且那些视点从相机装备向外指向场景。特别地，观察射线源自于装备上的每个相机，而不是源自于单个点。系统100可将射线从路径上的各个视点重新投射到单个视点中。

在块2406处，系统100可确定与单个视点相对应的外围边界并且通过去除在外围边界外的像素来生成更新的图像。外围边界可以根据失真的图像内容勾画清楚简明的图像内容。在一些实施方式中，外围边界可能涉及在用户的典型外围视图区域外的视图。去除这些像素可确保用户不会不必要地被呈现有失真的图像内容。去除像素可包括用彩色块、静态图像或像素的模糊表示替换像素，如上面详细地讨论的。在一些实施方式中，外围边界被限定为与所捕获的图像相关联的一个或多个相机的约150度的视场。在一些实施方式中，外围边界被限定为与所捕获的图像相关联的一个或多个相机的约120度的视场。在一些实施方式中，外围边界是和与所捕获的图像相关联的相机的观察平面上方约30度相对应的球面形状的一部分，并且去除像素包括抹掉或者去除球面场景的顶部部分。在一些实施方式中，外围边界是和与所捕获的图像相关联的相机的观察平面下方约30度相对应的球面形状的一部分，并且去除像素包括抹掉或者去除球面场景的顶部部分。在块2408处，系统100可提供用于在外围边界的界限内显示的更新的图像。

在一些实施方式中，方法2400也可包括将图像集合中的至少两个帧拼接在一起。拼接可包括对来自帧的像素列进行采样并且在至少两个采样的像素列之间插入未在帧中捕获的附加像素列的步骤。此外，拼接可包括使采样的列和附加列混合在一起以生成像素值的步骤。在一些实施方式中，可使用至少部分地基于用于获取所捕获的图像的圆形相机装备的直径而选择的拼接比来执行混合。例如，拼接也可包括通过将像素值构造成可被提供用于在HMD中显示的左场景和右场景中来生成三维立体全景图的步骤。

图25是图示用于生成视频内容的过程2500的一个实施例的流程图。在块2502处，系统100可基于从邻近相机的至少一个集合收集的捕获的视频流来限定图像集合。例如，系统100可使用立体对(如图2所示)或多个集合的邻近相机(如例如图3和图6所示)。在一些实施方式中，系统100可使用从约12至约16个相机收集的捕获的视频流来限定图像集合。在一些实施方式中，系统100可使用部分或全部渲染的计算机图形(CG)内容来限定图像集合。

在块2504处，系统100可将图像集合拼接成等矩形视频流。例如，拼接可包括将与向左相机捕获角度相关联的图像和与向右相机捕获角度相关联的图像组合。

在块2506处，系统可通过针对第一视图和第二视图将视频流从等矩形投影到透视图来渲染视频流以供回放。第一视图可以对应于头戴式显示器的左眼视图并且第二视图可以对应于头戴式显示器的右眼视图。

在块2508处，系统可确定失真高于预定义阈值的边界。预定义阈值可以提供视差的水平、不匹配的水平和/或在特定图像集合内允许的误差的水平。例如，当将视频流从一个平面或视图投影到另一平面或视图时失真可以至少部分地基于投影配置。

在块2510处，系统可通过去除在边界处或之外的图像集合中的图像内容来生成更新的视频流，如上面详细地讨论的。例如，在更新视频流时，可提供更新的流以用于显示给HMD的用户。一般而言，贯穿本公开所描述的系统和方法可用来捕获图像，从所捕获的图像中去除失真，并且渲染图像以便向HMD装置的用户提供3D立体视图。

图26示出可以与这里描述的技术一起使用的通用计算机装置2600和通用移动计算机装置2650的示例。计算装置2600旨在表示各种形式的数字计算机，诸如膝上型电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当的计算机。计算装置2650旨在表示各种形式的移动装置，诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算装置。这里所示的组件、其连接与关系及其功能仅仅意在为示例性的，而不意在限制本文档中描述和/或要求保护的发明的实施方式。

计算装置2600包括处理器2602、存储器2604、存储装置2606、连接到存储器2604和高速扩展端口2610的高速接口2608以及连接到低速总线2614和存储装置2606的低速接口2612。组件2602、2604、2606、2608、2610和2612中的每一个使用各种总线来互连，并且可以被酌情安装在公共母板上或者以其它方式安装。处理器2602可以处理在计算装置2600内执行的指令，包括存储在存储器2604中或者在存储装置2606上的指令，以在外部输入/输出装置(诸如耦接到高速接口2608的显示器2616)上显示GUI的图形信息。在其它实施方式中，可以酌情使用多个处理器和/或多条总线以及多个存储器和多个类型的存储器。此外，可以连接多个计算装置2600，其中每个装置提供必要操作的部分(例如，作为服务器组、刀片服务器组或多处理器系统)。

存储器2604存储计算装置2600内的信息。在一个实施方式中，存储器2604是一个或多个易失性存储器单元。在另一实施方式中，存储器2604是一个或多个非易失性存储器单元。存储器2604也可以是另一形式的计算机可读介质，诸如磁盘或光盘。

存储装置2606能够为计算装置2600提供海量存储。在一个实施方式中，存储装置2606可以是或者包含计算机可读介质，诸如软盘装置、硬盘装置、光盘装置或磁带装置、闪速存储器或其它类似的固态存储器装置或装置的阵列，包括存储区域网络或其它构造中的装置。计算机程序产品可被有形地具体实现在信息载体中。计算机程序产品也可以包含指令，指令当被执行时，执行一个或多个方法，例如上述的那些方法。信息载体是计算机或机器可读介质，诸如存储器2604、存储装置2606或处理器2602上的存储器。

高速控制器2608管理计算装置2600的带宽密集操作，然而低速控制器2612管理较低带宽密集操作。功能的这种分配仅仅是示例性的。在一个实施方式中，高速控制器2608耦接到存储器2604、显示器2616(例如，通过图形处理器或加速器)，并且耦接到可以接受各种扩展卡(未示出)的高速扩展端口2610。在该实施方式中，低速控制器2612耦接到存储装置2606和低速扩展端口2614。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦接到一个或多个输入/输出装置，例如键盘、指点装置、扫描器，或者例如通过网络适配器耦接到诸如交换机或路由器的联网装置。

如图所示，可以以多个不同的形式实现计算装置2600。例如，它可以作为标准服务器2620被实现，或者在这样的服务器组中多次实现。它也可以作为机架式服务器系统2624的一部分被实现。此外，它可以被实现在诸如膝上型计算机2622的个人计算机中。可替选地，来自计算装置2600的组件可以与移动装置(诸如装置2650)中的其它组件组合。这些装置中的每一个可以包含计算装置2600、2650中的一个或多个，并且整个系统可以由彼此通信的多个计算装置2600、2605组成。

计算装置2650包括处理器2652、存储器2664、诸如显示器2654的输入/输出装置、通信接口2666和收发器2668以及其它组件。装置2650也可以被提供有存储装置，诸如微驱动器或其它装置，以提供附加存储。组件2650、2652、2664、2654、2666和2668中的每一个使用各种总线来互连，并且若干组件可以被酌情安装在公共母板上或者以其它方式安装。

处理器2652可执行计算装置2650内的指令，包括存储在存储器2664中的指令。处理器可以作为包括单独的和多个模拟与数字处理器的芯片的芯片组被实现。处理器可以例如提供用于装置2650的其它组件的协调，诸如对用户接口、由装置2650运行的应用以及由装置2650进行的无线通信的控制。

处理器2652可以通过耦接到显示器2654的控制接口2658和显示接口2656来与用户进行通信。显示器2654可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其它适当的显示技术。显示接口2656可以包括用于驱动显示器2654以向用户呈现图形和其它信息的适当电路。控制接口2658可以从用户接收命令并且对它们进行转换以便提交给处理器2652。此外，可以提供与处理器2652通信的外部接口2662，以使得能实现装置2650与其它装置的近区域通信。外部接口2662可以在一些实施方式中例如提供用于有线通信，或者在其它实施方式中用于无线通信，并且也可以使用多个接口。

存储器2664存储计算装置2650内的信息。存储器2664可作为一个或多个计算机可读介质、一个或多个易失性存储器单元或者一个或多个非易失性存储器单元中的一个或多个被实现。扩展存储器2674也可以通过扩展接口2672来提供并连接到装置2650，扩展接口2672可以包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器2674可以为装置2650提供额外的存储空间，或者也可以为装置2650存储应用或其它信息。具体地，扩展存储器2674可以包括用于执行或者补充上述的过程的指令，并且同样地可以包括安全信息。因此，例如，扩展存储器2674可以作为装置2650的安全模块被提供，并且可以被编程有允许装置2650的安全使用的指令。此外，可以经由SIMM卡连同附加信息一起提供安全应用，诸如以不可攻击的方式将标识信息放置在SIMM卡上。

如在下面所讨论的，存储器可以包括例如闪速存储器和/或NVRAM存储器。在一个实施方式中，计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令，指令当被执行时，执行一个或多个方法，例如上述的那些方法。信息载体是可以例如通过收发器2668或外部接口2662接收的计算机或机器可读介质，诸如存储器2664、扩展存储器2674或处理器2652上的存储器。

装置2650可以通过通信接口2666以无线方式通信，通信接口2666必要时可以包括数字信号处理电路。通信接口2666可以提供用于在各种模式或协议下的通信，各种模式或协议诸如GSM语音呼叫、SMS、EMS或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器2668而发生。此外，短距离通信可诸如使用蓝牙、Wi-Fi或其它这样的收发器(未示出)来发生。此外，GPS(全球定位系统)接收器模块2670可以向装置2650提供附加的导航和位置相关无线数据，其可以酌情由在装置2650上运行的应用使用。

装置2650也可以使用音频编解码器2660可听地通信，所述音频编解码器2660可以从用户接收口语信息并且将它转换为可用的数字信息。音频编解码器2660可以例如通过扬声器(例如，在装置2650的头戴式耳机中)为用户同样地生成可听声音。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)，并且也可以包括由在装置2650上操作的应用生成的声音。

如图所示，可以以多种不同的形式实现计算装置2650。例如，它可以作为蜂窝电话2680被实现。它也可以作为智能电话2682、个人数字助理或其它类似的移动装置的一部分被实现。

这里描述的系统和技术的各种实施方式可用数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合加以实现。这些各种实施方式可包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，可编程系统包括至少一个可编程处理器，可以是专用的或通用的至少一个可编程处理器被耦接以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令，并且向存储系统、至少一个输入装置和至少一个输出装置发送数据和指令。

这些计算机程序(也被称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可用高级程序和/或面向对象编程语言并且/或者用汇编/机器语言加以实现。如本文所使用的，术语“机器可读介质”指代用于向计算机处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”指代用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的交互，可在计算机上实现这里描述的系统和技术，计算机具有用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或LCD(液晶显示)监视器)以及用户可用来向计算机提供输入的键盘和指点装置(例如，鼠标或轨迹球)。其它种类的装置也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以任何形式(包括声、语音或触觉输入)接收来自用户的输入。

可在计算系统中实现这里描述的系统和技术，计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器))，或者包括前端组件(例如，具有用户可用来与这里描述的系统和技术的实施方式交互的图形用户接口或Web浏览器的客户端计算机)，或者这样的后端、中间件或前端组件的任何组合。系统的组件可通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。

计算系统可包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络来交互。客户端和服务器之间的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。

已经对多个实施例进行了描述。然而，应当理解的是，可以在不脱离本说明书的精神和范围的情况下作出各种修改。例如，下面的每个权利要求以及上述的这些权利要求的示例可被按照任何组合组合以产生附加的示例实施例。

此外，图中描绘的逻辑流程不要求所示的特定次序或顺序次序来实现所希望的结果。此外，可以提供其它步骤，或者可以从所描述的流程中消除步骤，并且可以向所描述的系统添加其它组件，或者可以从所描述的系统中去除其它组件。因此，其它实施例在以下权利要求的范围内。

Claims (18)

1.一种相机装备，包括：

轮毂；以及

围绕所述轮毂设置的相机安装环，所述相机安装环包括多个凹部，所述相机安装环包括：

来自所述多个凹部的被构造成接收第一图像传感器的第一凹部，

来自所述多个凹部的被构造成接收第二图像传感器的第二凹部，以及

来自所述多个凹部的被构造成接收第三图像传感器的第三凹部，

所述第一图像传感器、所述第二图像传感器和所述第三图像传感器中的每一个具有背对所述相机安装装备的内部的投影，

所述多个凹部被限定为使得所述第一图像传感器的第一视场与所述第二图像传感器的第二视场和所述第三图像传感器的第三视场相交。

2.根据权利要求1所述的相机装备，其中所述相机装备的半径被限定为使得第一图像传感器的所述第一视场与所述第二图像传感器的所述第二视场以及所述第三图像传感器的所述第三视场相交。

3.根据权利要求1所述的相机装备，其中所述第一图像传感器、所述第二图像传感器和所述第三图像传感器被设置在平面内。

4.根据权利要求1所述的相机装备，其中轮辐被设置在所述轮毂与所述安装环之间。

5.根据权利要求1所述的相机装备，其中所述多个凹部被限定为使得间隙被设置在包括所述第一图像传感器的第一相机外壳与包括所述第二图像传感器的第二相机外壳之间。

6.根据权利要求1所述的相机装备，其中来自所述多个凹部的所述第一凹部被限定为使得所述第一图像传感器具有纵向取向的视场。

7.根据权利要求1所述的相机装备，其中来自所述多个凹部的所述第一凹部被限定用于所述第一图像传感器到所述相机装备的可拆卸耦接。

8.根据权利要求1所述的相机装备，还包括：

耦接到所述安装环的夹具。

9.根据权利要求1所述的相机装备，还包括：

耦接到所述相机装备的麦克风安装件。

10.根据权利要求1所述的相机装备，其中所述多个凹部包括12至16个之间的凹部。

11.根据权利要求1所述的相机装备，其中所述多个凹部包括16个凹部。

12.根据权利要求1所述的相机装备，其中所述相机安装环的直径在约25至30厘米之间。

13.一种方法，包括：

在耦接到相机装备的相机安装环的第一图像传感器处限定第一图像；

在耦接到所述相机装备的所述相机安装环的第一图像传感器处限定第二图像；

限定从捕获圆投影的射线，所述捕获圆具有比所述相机安装环的直径小的直径；以及

基于所述射线与所述第一图像传感器之间的第一距离和所述射线与所述第二图像传感器之间的第二距离来内插与所述射线相关联的第三图像。

14.根据权利要求13所述的方法，其中所述第一图像传感器具有第一视场，所述第一视场与所述第二图像传感器的第二视场相交并且与耦接到所述相机装备的第三图像传感器的第三视场相交。

15.根据权利要求14所述的方法，其中所述第一图像传感器、所述第二图像传感器和所述第三图像传感器被设置在平面内。

16.根据权利要求13所述的方法，其中所述第一图像、所述第二图像和所述第三图像每一个处于纵向取向。

17.根据权利要求13所述的方法，其中所述射线从所述捕获圆切向地投影。

18.根据权利要求13所述的方法，其中所述射线是第一射线，所述方法包括：

限定从所述捕获圆投影的第二射线；并且

在耦接到所述相机安装环的第三图像传感器处限定第四图像；以及

基于所述第二射线与所述第一图像传感器之间的第三距离和所述第二射线与所述第三图像传感器之间的第四距离来内插与所述第二射线相关联的第五图像。