CN107431803B - 全景虚拟现实内容的捕捉和渲染 - Google Patents

全景虚拟现实内容的捕捉和渲染 Download PDF

Info

Publication number
CN107431803B
CN107431803B CN201680020120.5A CN201680020120A CN107431803B CN 107431803 B CN107431803 B CN 107431803B CN 201680020120 A CN201680020120 A CN 201680020120A CN 107431803 B CN107431803 B CN 107431803B
Authority
CN
China
Prior art keywords
camera
image
frame
capture
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680020120.5A
Other languages
English (en)
Other versions
CN107431803A (zh
Inventor
戴维·盖洛普
罗伯特·安德森
卡洛斯·赫南德斯·埃斯特班
史蒂文·麦克斯维尔·塞茨
赖利·亚当斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/723,178 external-priority patent/US9877016B2/en
Priority claimed from US14/723,151 external-priority patent/US10038887B2/en
Application filed by Google LLC filed Critical Google LLC
Publication of CN107431803A publication Critical patent/CN107431803A/zh
Application granted granted Critical
Publication of CN107431803B publication Critical patent/CN107431803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

描述了系统和方法，用于：基于所捕捉的图像定义图像集合；接收与虚拟现实(VR)头戴式显示器的用户相关联的查看方向；接收查看方向改变的指示。该方法还包括：配置图像集合的一部分的重新投影，所述重新投影至少部分地基于改变的查看方向以及与所捕捉的图像相关联的视域；和将来自球面透视投影的部分转换为平面透视投影；由计算装置渲染并用于在所述VR头戴式显示器中显示基于所述重新投影的更新视图，该更新视图被配置为校正失真并在该部分中提供立体视差；以及所述向头戴式显示器提供包括与改变的查看方向相对应的立体全景场景的更新视图。

Description

全景虚拟现实内容的捕捉和渲染
相关申请的交叉引用
本申请要求2015年5月27日提交的、标题为“Capture and Render of PanoramicVirtual Reality Content(全景虚拟现实内容的捕捉和渲染)”的美国专利申请序列号14/723,151，和2015年5月27日提交的、标题为“Omnistereo Capture and Render ofPanoramic Virtual Reality Content(全景虚拟现实内容的全方位立体捕捉和渲染)”的美国专利申请序列号14/723,178的优先权和权益，其公开内容在此通过引用以其整体并入。
技术领域
本说明主要涉及生成全景。特别地，本说明涉及从捕捉的图像生成立体全景，以便在虚拟现实(VR)环境中显示。
背景技术
全景摄影技术能够用于图像和视频，以提供宽视域场景。传统地，能够使用全景摄影技术和成像技术，以从用传统相机拍摄的许多相邻照片获得全景图像。这些照片能够被对准地固定在一起，以获得全景图像。
发明内容
在一个一般方面，一种计算机实现方法可包括：在计算装置处基于所捕捉的图像定义图像集合；在计算装置处接收与虚拟现实(VR)头戴式显示器的用户相关联的查看方向；以及在计算装置处接收查看方向改变的指示。该方法还可包括：响应于接收到指示，由计算装置配置图像集合的一部分的重新投影，重新投影至少部分地基于改变的查看方向以及与所捕捉的图像相关联的视域；和使用重新投影将该部分从球面透视投影转换为平面透视投影。该方法还可包括：由计算装置渲染并用于在VR头戴式显示器中显示基于重新投影的更新视图，更新视图被配置为校正失真并在该部分中提供立体视差；和向头戴式显示器提供包括对应于改变的查看方向的立体全景场景的更新视图。该方面的其它实施例包括每个都被配置为执行方法的动作的相应计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
在另一个一般方面，一种设备包括具有至少一个处理器和存储器的系统，该存储器存储指令，当至少一个处理器执行该指令时使得系统执行下列操作，这些操作包括：基于从至少一个立体相机对采集的捕捉视频流定义图像集合；计算图像集合中的光流，以内插不是图像集合的部分的图像帧；至少部分基于光流将图像帧插入图像集合中，并且将图像帧和图像集合拼接在一起；以及使用图像帧和图像集合生成用于在VR头戴式显示器中显示的全方位立体全景。该方面的其它实施例包括每个都被配置为执行方法的动作的相应计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
在一个一般方面，一种方法可包括：在使用被布置在相机架上的一个立体相机对同时地捕捉与相机架周围的场景相关联的图像时在第一方向中旋转相机架；在使用立体相机对同时地捕捉与场景相关联的附加图像时在第二方向中旋转相机架，相机架为圆形的并且被配置成在捕捉期间以平行于相机架基座的弧形运动移动，立体相机对被置于在相机架地基座中心的相对侧处偏移的查看方向，立体相机对被布置在隔开约人类瞳孔间距离处。该方面的其它实施例包括每个都被配置为执行方法的动作的相应计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
在一个一般方面，一种计算机实现方法可包括：在计算装置中接收示出来自可旋转的相机架的捕捉内容的图像集合；通过计算装置选择图像中的图像帧的部分，图像帧包括相机架在离相机架基座的向外边缘约径向1米的距离至离相机架基座的向外边缘约径向5米的距离处时捕捉的内容；将图像帧的部分拼接在一起，以生成立体全景图，拼接部分地基于使这些部分匹配这些部分中的至少一个其它图像帧，使用至少部分地基于相机架的直径选择的拼接比例执行拼接；以及向头戴式显示器提供视图。该方面的其它实施例包括每个都被配置为执行方法的动作的相应计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
在一个一般方面，一种计算机实现方法包括：在计算装置中基于所捕捉的图像定义图像集合；通过将与来自被绕弯曲路径布置的多个视点的图像集合的部分相关联的多个视线重建为视点，在计算装置中将来自平面透视图像平面的图像集合的一部分投射到球面图像平面上；和通过移除处于外围边界外部的像素，在计算装置中确定对应于视点的外围边界并且生成更新图像。该方法也可包括在外围边界的边界内提供更新图像以显示。该方面的其它实施例包括每个都被配置为执行方法的动作的相应计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
在另一个一般方面，包括一种成像系统，该成像系统被配置成生成立体全景。该系统可包括：内插模块，该内插模块被配置成从限定图像的集合提供内插图像，并且将内插图像插入到图像集合中以生成用于立体全景的附加虚拟内容；投影模块，该投影模块被配置成将来自平面透视投影的图像集合投射至球面投影；以及捕捉校正模块，该捕捉校正模块被配置成调整图像集合以补偿非圆形相机轨迹。该系统也可包括拼接模块，该拼接模块被配置成对来自图像集合以及来自内插图像的图像的部分采样，将图像的部分混合在一起以生成至少一个像素值，并且通过将像素值配置为左场景和右场景而生成包括视频内容的三维立体全景。成像系统也包括被配置成消除图像集合的光流以减轻失真的图像校正模块。该方面的其它实施例包括每个都被配置为执行方法的动作的相应计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
在另一个一般方面，一种计算机实现方法包括：在计算装置中基于所捕捉的图像定义图像集合；在计算装置中将图像集合拼接(使用评价光流)为等距形投影(equirectangular)视频流；在计算装置中渲染视频流，以通过将视频流从平面视角投影为用于第一视图和第二视图的等距形投影视角而回放；以及在计算装置中确定其中失真高于预定阈值的边界，失真至少部分地基于对视频流投影。该方法也可包括：在计算装置中通过移除边界限定的内部处或者内部之外的图像集合中的图像内容而生成更新视频流；和提供更新的视频流以显示。该方面的其它实施例包括每个都被配置为执行方法的动作的相应计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。在一个一般方面，一种计算机实现方法可包括：在计算装置中基于所捕捉的图像定义图像集合；在计算机装置中接收与虚拟现实(VR)头戴式显示器的用户相关联的查看方向；以及在计算装置中接收查看方向改变的指示。该方法也可包括：响应于接收到指示，由计算装置配置图像集合的部分的重新投影，重新投影至少部分地基于所改变的查看方向以及与所捕捉的图像相关联的视域；和使用重新投影将该部分从球面透视投影转换为平面透视投影。该方法也可包括：由计算装置呈现并且以在VR头戴式显示器中显示基于重新投影的更新视图，更新视图被配置成校正失真并且在该部分中提供立体视差；和向头戴式显示器提供包括对应于所改变的查看方向的立体全景场景的更新视图。该方面的其它实施例包括每个都被配置为执行方法的动作的相应计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
在另一个一般方面，一种设备包括具有至少一个处理器、存储指令的存储器的系统，当指令被该至少一个处理器执行时，使得系统执行下列操作，包括：基于从至少一个立体相机对采集的捕捉视频流定义图像集合；计算图像集合中的光流，以内插不是图像集合的一部分的图像帧；至少部分基于光流将图像帧插入图像集合中，并且将图像帧和图像集合拼接在一起；以及使用图像帧和图像集合生成用于在VR头戴式显示器中显示的全方位立体全景。该方面的其它实施例包括每个都被配置为执行方法的动作的相应计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
在附图和下文描述中提出一个或者多个实现的细节。其它特征将从描述和附图以及从权利要求显现。
附图说明
图1是用于捕捉和呈现3D虚拟现实(VR)环境中的立体全景的示例系统的框图。
图2是示出被配置成捕捉场景图像以在生成立体全景时使用的示例相机架的视图。
图3是示出被配置成捕捉场景图像以在生成立体全景时使用的另一示例相机架的视图。
图4是示出被配置成捕捉场景图像以在生成立体全景时使用的移动装置的视图。
图5是示出被配置成捕捉场景图像以在生成立体全景时使用的另一示例相机架的视图。
图6是示出被配置成捕捉场景图像以在生成立体全景时使用的又另一示例相机架的视图。
图7是示出示例VR装置的视图。
图8是示出根据相机视域的许多相机对的示例曲线图。
图9是示出根据相机视域的内插视域的示例曲线图。
图10是示出相机架的配置的选择的示例曲线图。
图11是示出能够被用于根据预定相机架直径确定最小相机数目的示例关系的曲线图。
图12A-B是能够在图像捕捉期间发生的失真的绘图示例。
图13A-B示出在全景图像收集期间捕捉的光线示例。
图14A-B示出图13A-B中所述的近似透视投影的使用。
图15A-C示出被应用于图像平面的近似透视投影的示例。
图16A-B示出引入垂直视差的示例。
图17A-B示出能够被用于示出3D全景中的多个点的坐标系的示例点。
图18表示图17A-17B中所示的点的投影图。
图19示出使用本公开中所述的全景成像技术在全向立体图像中捕捉的光线。
图20是示出由3D空间中的多个点引起的最大垂直视差的曲线图。
图21是图解产生立体全景图像的过程的一个实施例的流程图。
图22是图解捕捉立体全景图像的过程的一个实施例的流程图。
图23是图解在头戴式显示器中渲染全景图像的过程的一个实施例的流程图。
图24是图解确定图像边界的过程的一个实施例的流程图。
图25是图解生成视频内容的过程的一个实施例的流程图。
图26是能够被用于实现本文所述的技术的计算机装置和移动计算机装置的示例。
各幅图中的相同附图标记指示相同元件。
具体实施方式
创建全景图像通常包括例如使用单个相机或者相机架中的多个相机捕捉周围、三维(3D)场景的图像或者视频。当使用容纳几个相机的相机架时，能够将每个相机都同步并配置为在特定时间点捕捉图像。例如，每个相机捕捉的第一帧能够被在与第二、第三和第四相机捕捉相应的第一帧的大致相同的时间捕捉。图像捕捉能够以同时的方式继续，直到捕捉到一些或全部场景。虽然许多实现是就相机而言描述的，但是作为代替，能够就图像传感器或相机外壳(能够包括图像传感器)而言来描述实现。
容纳多个相机的相机架可被配置为捕捉特定角度的场景。例如，容纳在相机架上的相机可以朝向特定角度，并且可以处理从该角度捕捉的所有(或至少一部分)内容，以生成特定场景的完全全景。在一些实现中，每个相机都能够朝向不同的角度，以捕捉不同角度的场景。在仅捕捉一部分场景或者一些或全部场景都包括失真的情况下，能够执行多个过程来从全景内插或配置任何丢失、损坏或失真的内容。下文公开描述了捕捉、处理、校正和渲染3D全景内容，以用于在3D虚拟现实(VR)环境中的头戴式显示器(HMD)装置中显示这些内容的目的的多个装置和方法。
图1是用于捕捉和呈现3D虚拟现实(VR)环境中的立体全景的示例系统100的框图。在示例系统100中，相机架102能够捕捉，本地存储(例如，永久或可移动存储)和/或通过网络104提供图像，或者可替选地，能够将图像直接提供给图像处理系统106，以分析和处理。在系统100的一些实现中，移动装置108能够起相机架102的作用，以在整个网络104中提供图像。一旦图像被捕捉，则图像处理系统106就能够对图像执行多个计算和处理，并且将经处理的图像提供给例如头戴式显示器(HMD)设备110，以在网络104上渲染。在一些实现中，图像处理系统106能够被包括在相机架102和/或HMD装置110中。在一些实现中，图像处理系统106也能够将经处理的图像提供给移动装置108和/或计算装置112，以渲染、存储或进一步处理。
HMD装置110可表示能够显示虚拟现实内容的虚拟现实耳机、眼镜、目镜或其它可穿戴装置。在操作中，HMD装置110能够执行VR应用(未示出)，该应用能够将所接收和/或经处理的图像回放给用户。在一些实现中，VR应用能够由图1中所示的装置106、108或112中的一个或多个托管。在一个示例中，HMD装置110能够提供由相机架102捕捉的场景的视频回放。在另一个示例中，HMD装置110能够提供被拼接为单个全景场景的静止图像的回放。
相机架102可被配置为用作相机(也可以称为捕捉装置)和/或处理装置以收集用于在VR环境中呈现内容的图像数据。虽然相机架102被示出为具有本文所述的特定功能的框图，但相机架102能够采取图2至6所示的任何形式实现，并且贯穿本公开，另外可以具有针对相机架所述的功能。例如，为了简化对系统100的功能的描述，图1示出了相机架102，没有绕相机架布置以捕捉图像的相机。相机架102的其它实现能够包括能够被绕圆形相机架(诸如相机架102)的圆周布置的任何数量的相机。
如图1中所示，相机架102包括许多相机139和通信系统132。相机139包括单个静止相机或单个摄影机。在一些实现中，相机130包括沿相机架102的外部外围(例如，环)并排布置(例如，就座)的多个静止相机或多个摄影机。相机139可以为摄影机、图像传感器、立体相机、红外相机和/或移动装置。通信系统132能够被用于上传和下载图像、指令和/或其它相机相关内容。通信可以是有线或无线的，并且能够在私人或者公共网络上接合。
相机架102能够被配置成起固定相机架或旋转相机架的作用。相机架上的每个相机都被偏离相机架的旋转中心布置(例如，放置)。相机架102能够被配置成旋转360度，例如以扫过和捕捉360度场景视图的全部或者一部分。在一些实现中，相机架102能够被配置成在固定位置操作，并且在这种配置中，能够向相机架添加另外的相机，以捕捉场景的另外向外角度视图。
在一些实现中，相机架102包括被以并排或者背靠背方式(例如，如图3中所示，关于相机302B和302F)布置的多个数码摄影机，使得它们的镜头每个都指向径向向外方向，从而观看周围场景或者环境的不同部分。在一些实现中，多个数码摄影机被布置成切向配置，查看方向与圆形相机架102相切。例如，相机架102能够包括多个数码摄影机，它们被布置使得它们的镜头每个都指向径向向外方向，同时被与相机架的基座相切地布置。数码摄影机能够以不同方向指向捕捉内容，以查看周围场景的不同角度部分。
在一些实现中，能够在相机架102上的相邻相机中处理来自相机的图像。在这种配置中，每组相邻相机中的每个第一相机都被布置成(例如，放置)与相机架基座的圆形路径相切，并且在向左方向中对齐(例如，与相机镜头指向)。每组相邻相机中的每个第二相机都被布置成(例如，放置)与相机架基础的圆形路径相切，并且在向右方向中对齐(例如，与相机镜头指向)。
在相机架102上使用的相机的示例设置能够包括每秒大约60帧的逐行扫描模式(即，其中每个光栅线都被采样以产生视频的每个帧的模式，而不是每隔一行，后者是大多数摄影机的标准记录模式)。另外，每个相机都能够被配置有相同(或类似的)设置。将每个相机配置为相同(或类似)设置能够提供在捕捉后能够以期望方式将捕捉图像拼接在一起的优点。示例设置能够包括将一个或多个相机设置为相同的缩放比、焦距、曝光度和快门速度，以及将相机设置为白平衡，稳定特征相关或关闭。
在一些实现中，相机架102能够在被用于捕捉一个或多个图像或视频之前进行校准。例如，相机架102上的每个相机都能够被校准和/或配置以拍摄全景视频。这些设置可包括例如配置相机架，从而以围绕360扫描的特定旋转速度，以宽视域，在顺时针或者逆时针方向中操作。在一些实现中，相机架102上的相机能够被配置为例如绕场景的360度捕捉路径扫描中的每一度捕捉一帧。在一些实现中，相机架102上的相机能够被配置成例如绕场景的360度捕捉路径扫描中的每一度捕捉几帧。在一些实现中，相机架102上的相机能够被配置成例如绕场景的每一次捕捉路径扫描捕捉几帧，不必每一度捕捉特定测量帧。
在一些实现中，相机能够被配置(例如，设置)成同步地工作以在特定时间点从相机架上的相机捕捉视频。在一些实现中，相机能够被配置为同步地工作，以在一段时间内从一个或多个相机捕捉视频的特定部分。校准相机架的另一示例能够包括配置如何存储输入图像。例如，输入图像能够被存储为单独的帧或视频(例如，.avi文件、.mpg文件)，并且这些存储的图像能够被上传到互联网、另一服务器或装置，或者存储在相机架102上的每个相机本地。在一些实现中，输入图像能够被存储为编码视频。
图像处理系统106包括内插模块114、捕捉校正模块116和拼接模块118。内插模块114表示能够用于对部分数字图像和视频进行采样，并且确定例如可能在从相机架102捕捉的相邻图像之间发生的许多内插图像的算法。在一些实现中，内插模块114能够被配置为确定相邻图像之间的内插图像片段、图像部分和/或垂直或水平图像条。在一些实现中，内插模块114能够被配置为确定相邻图像中相关像素之间的流场(和/或流向量)。流场能够用于补偿图像已经经历的转换和处理已经历转换的图像两者。例如，能够使用流场来补偿所获得图像的特定像素网格的转换。在一些实现中，内插模块114能够通过对周围图像内插来生成不是所捕捉的图像的一部分的一个或多个图像，并且能够将生成的图像插入所捕捉的图像中，以生成场景的附加虚拟现实内容。
捕捉校正模块116能够被配置为通过补偿非理想捕捉设置来校正所捕捉的图像。作为非限制性示例，示例捕捉设置能够包括圆形相机轨迹、平行主(相机)轴线、垂直于相机轨迹的查看方向、与相机轨迹相切的查看方向，和/或其它捕捉条件。在一些实现中，捕捉校正模块116能够被配置为补偿图像捕捉期间的非圆形相机轨迹和/或图像捕捉期间的非平行主轴线其中之一或两者。
捕捉校正模块116能够被配置为调整特定图像集合，以补偿使用多个照相机捕捉的内容，其中相机间隔大于约30度。例如，如果相机之间的距离为40度，则通过从附加相机收集内容或通过内插丢失的内容，捕捉校正模块116能够基于太少的相机覆盖范围应对特定场景中的任何丢失内容。
在一些实现中，捕捉校正模块116也能够被配置为调整图像集合以补偿由于相机姿态错误等导致的相机未对准。例如，如果在图像捕捉期间发生相机姿态错误(例如，相机的方向和位置引起的错误)，则模块116能够将来自几个图像帧的两列或更多列像素混合，以去除伪像，包括由于曝光不良(或者从图像帧至图像帧的曝光变化)引起和/或一个或者多个相机未对准引起的伪像。拼接模块118能够被配置为基于所定义的、所获得的和/或所内插的图像来生成3D立体图像。拼接模块118能够被配置成混合/拼接来自多个图像部分的像素和/或图像条。例如，拼接能够基于内插模块114确定的流场。例如，拼接模块118能够(从内插模块114)接收不是图像集合一部分的内插图像帧，并且将图像帧插入图像集合。插入能够包括模块118至少部分地基于内插模块114产生的光流将图像帧和图像集合拼接在一起。
拼接组合能够被用于生成全方位立体全景，以在VR头戴式显示器中显示。图像帧可基于从被布置在特定相机架上的许多相邻相机对收集的捕捉视频流。这种相机架可包括约12至约16个相机。即，这种相机架的其它组合能够包括例如12-16个非成对或单个的相机。在一些实现中，能够在相机架中包括奇数个相机。在一些实现中，相机架包括超过一组或两组相邻相机。在一些实现中，相机架可包括与能够在相机架上并排坐落的相同相邻相机集合。在一些实现中，拼接模块118能够使用与至少一个相邻对相关联的姿势信息，以在执行插入之前预拼接相机集合的一部分。例如结合图3更明确地示出并且在下文描述了相机架上的相邻对。
在一些实现中，使用光流技术以将图像拼接在一起能够包括将所捕捉的视频内容拼接在一起。能够使用这些光流技术以在先前使用相机对和/或单个相机捕捉的特定视频内容之间生成中间视频内容。能够以模拟捕捉图像的圆形固定相机架上的一连串相机的方式使用这种技术。这种模拟相机能够捕捉与绕圆形捕捉360度图像的单个相机扫描方法类似的内容，但是在上述技术中，在相机架上实际上布置的相机更少，并且相机架可以是固定的。模拟一连串相机的能力也提供能够在视频中每帧都捕捉内容的优点(例如，每一度一张图像的捕捉间隔的360张图像)。
能够通过使用密集的图像集合(例如，每一度一张图像的360张图像)，使用光流将所生成的中间视频内容拼接为实际捕捉的视频内容，实际上，相机架捕捉少于360张图像。例如，如果圆形相机架包括8对相机(即，16个相机)或者16个未成对相机，则所捕捉的图像数可以少至16张图像。能够使用光流技术以模拟16张图像之间的内容从而提供360度视频内容。
在一些实现中，使用光流技术能够提高内插效率。例如，作为对内插360张图像的代替，能够在每一连续对相机(例如，[1-2]、[2-3]、[3-4])之间计算光流。给定所捕捉的16张图像和光流，内插模块114和/或捕捉校正模块116能够计算任何中间视图中的任何像素，不必在16张图像其中之一中内插整个图像。
图像处理系统106也包括投影模块120和图像校正模块122。投影模块120能够被配置成通过将图像投影到平面透视平面中而生成3D立体图像。例如，投影模块120能够获得特定图像集合的投影，并且通过将一些图像从平面透视投影转换为球面(例如，等距形投影)透视投影而配置一部分图像集合的重新投影。转换包括投影建模技术。
投影建模能够包括限定投影的中心和投影平面。在本公开中所述的示例中，投影的中心能够代表在预定义的xyz坐标系的原点(0,0,0)处的光学中心。投影平面能够位于投影中心的前部，相机沿xyz坐标系中的z轴面对捕捉图像。通常，能够使用来自坐标(x,y,z)的特定图像光线的平面投影平面与投影中心的交叉计算投影。例如，能够通过使用矩阵计算利用坐标系实现投影的转换。
立体全景的投影建模能够包括使用不具有单个投影中心的多视角图像。多视角通常被示出为圆形形状(例如，球形)(参见图13B)。当渲染内容时，当从一个坐标系转换为另一个时，本文所述的系统能够使用球体作为近似值。
通常，球面(即，等距形投影)投影提供球体形状的平面，球体的中心等同地围绕投影中心。透视投影提供了在平面(例如，2D表面)透视平面上提供3D对象的图像以近似用户的实际视觉感知的视图。通常，图像能够在平面图像平面(例如，计算机监视器、移动装置LCD屏幕)上呈现，因此投影被以平面透视图示出，以提供未失真的视图。然而，平面投影可能不允许360度视域，因此捕捉的图像(例如，视频)能够被以等距形投影(即，球面)的透视图存储，并且能够在渲染时被重新投影到平面透视图。
在特定的重新投影完成之后，投影模块120能够传送图像的重新投影部分以在HMD中渲染。例如，投影模块120能够向HMD 110中的左眼显示器提供重新投影部分，并且向HMD110中的右眼显示器提供重新投影部分。在一些实现中，投影模块120能够被配置成通过执行上述重新投影来计算和减少垂直视差。
图像校正模块122能够被配置为通过补偿失真，包括但不限于透视失真来产生3D立体图像。在一些实现中，图像校正模块122能够确定维持3D立体感的光流的特定距离，并且能够对图像进行分割，以仅显示在其中维持这样的流的场景的部分。例如，图像校正模块122能够确定3D立体图像的光流被维持在例如离圆形相机架102的外边缘约径向1米，至离相机架102的外边缘约径向5米之间。因而，图像校正模块122能够确保在一米和五米之间的样本被选择从而在HMD 110中以没有失真的投影进行渲染，同时也向HMD 110的用户提供具有适当视差的适当3D立体效果。
在一些实现中，图像校正模块122能够通过调整特定图像来估计光流。调整能够包括例如矫正图像的一部分、确定与图像的该部分相关联的估计相机姿态，以及确定该部分中的图像之间的流。在非限制性示例中，图像校正模块122能够补偿正在计算流的两个特定图像之间的旋转差。该校正能够起去除由旋转差(即旋转流)引起的流动分量的作用。这种校正导致由平移引起的流(例如，视差流)，这能够降低流估计计算的复杂性，同时使得所得到的图像准确和鲁棒。在一些实现中，能够在渲染之前对图像执行除了图像校正之外的过程。例如，能够在执行渲染之前对图像执行拼接、混合或附加的校正过程。
在一些实现中，图像校正模块122能够校正由不是基于平面透视投影的相机几何布置捕捉的图像内容引起的投影失真。例如，能够通过从许多不同视角内插图像以及通过将与图像相关联的查看光线调节为源于公共来源而向图像应用校正。内插图像能够被插入捕捉的图像中，以产生在人眼的旋转视差为舒适水平的情况下对于人眼看起来精确的虚拟内容。
在示例系统100中，装置106、108和112可以是膝上型计算机、台式计算机、移动计算装置或游戏控制台。在一些实现中，装置106、108和112能够为能够被布置(例如，放置/定位)在HMD装置110内的移动计算装置。移动计算装置能够包括显示装置，其能够被用作例如HMD装置110的屏幕。装置106、108和112能够包括用于执行VR应用的硬件和/或软件。另外，装置106、108和112能够包括当这些装置被布置在相对于HMD装置110的前部，或者保持在相对于HMD装置110的一定范围的位置内时能够识别、监控和跟踪HMD装置110的3D运动的硬件和/或软件。在一些实现中，装置106、108和112能够通过网络104向HMD装置110提供附加内容。在一些实现中，装置102、106、108、110和112能够连接到网络/通过网络104接合彼此一个或者多个地接合或连接。该连接能够为有线的或无线的。网络104能够为公共通信网络或私人通信网络。
系统100可包括电子存储器。电子存储器能够被包括在任何装置中(例如，相机架102、图像处理系统106、HMD装置110和/或诸如此类)中。电子存储器能够包括电子地存储信息的非瞬态存储介质。电子存储器可被配置为存储所捕捉的图像、所获得的图像、预处理的图像、后处理的图像等。能够将任何所公开的相机架捕捉的图像处理并存储为一个或多个视频流，或存储为个别帧。在一些实现中，存储能够在捕捉期间发生，并且渲染能够直接发生在捕捉多个部分之后，以便比如果捕捉和处理不并发的情况更早地更快地访问全景立体内容。
图2是示出被配置为捕捉用于生成立体全景的场景的图像的示例相机架200的视图。相机架200包括固定到环形支撑基座(未示出)上的第一相机202A和第二相机202B。如图所示，照相机202A和202B被布置在直接向外(朝向要捕捉的图像/场景)并平行于相机架200的旋转中心或轴线(A1)的环形位置。
在所示示例中，相机202A和202B以分开的距离(B1)设置(例如，放置)在安装板208上。在一些实现中，相机架200上的每个相机之间的距离(B1)可以表示平均人类瞳孔间距离(IPD)。将相机以IPD距离分开放置能够近似人眼在旋转(左或右，如箭头204所示)时将如何查看图像，以扫描如箭头204所示的捕捉路径周围的场景。示例平均人类IPD测量值能够为约5厘米至约6.5厘米。在一些实现中，以标准IPD距离分开设置的每个相机都能够为一组相邻相机的一部分。
在一些实现中，相机架200能够被配置成近似标准人类头部的直径。例如，相机架200能够被设计成直径206为约8厘米至约10厘米。能够对相机架200选择这种直径206，以近似人类头部将如何旋转，以及关于旋转中心A1将如何以人眼查看场景图像。其它测量值也是可能的，并且例如如果使用了更大直径，则相机架200或者系统100能够调节捕捉技术和结果图像。
在非限制性示例中，相机架200能够具有约8厘米至约10厘米的直径206，并且能够容纳放置在隔开距离约6厘米的IPD处的相机。下面将描述若干相机架布置。本公开中所述的每个布置都能够被配置有上述或其它直径和以及相机间的距离。
如图2中所示，两个相机202A、202B能够被配置有宽视域。例如，相机能够捕捉约150度至约180度的视域。相机202A、202B可具有鱼眼镜头以捕捉更宽视域。在一些实现中，相机202A、202B起相邻相机对的功能。
在操作中，相机架200能够围绕旋转中心A1旋转360度以捕捉全景场景。可替选地，相机架能够保持静止，并且能够向相机架200添加附加相机以捕捉360度场景的附加部分(如图3所示)。
图3是示出被配置为捕捉用于生成立体全景的场景图像的另一示例相机架300的视图。相机架300包括固定到环形支撑基座(未示出)上的多个相机302A-302H。第一相机302A被示出为实线，附加相机302B-302H用虚线示出，以指示它们是可选的。与相机架200中所示的平行安装的相机(参见相机202A和202B)相比而言，相机302A-302H被相对于圆形相机架300的外圆周成切向地设置。如图3中所示，相机302A具有相邻相机302B和相邻相机302H。
在所示示例中，与相机架200中的相机类似，相机202A和202B被布置在特定间隔距离(B1)处。在该示例中，如下文详述的，相机302A和302B能够起相邻对的作用，以捕捉中心相机镜头分别与向左和向右方向的夹角。
在一个示例中，相机装置300是圆形相机架，包括可旋转或固定的基座(未示出)和安装板306(也能够称为支撑件)，并且相邻的相机对包括第一相机302A和第二相机302B，第一相机302A被置于安装板306上并且被配置成指向与安装板306的边缘相切并且被布置成指向左方向的查看方向，第二相机302B被以与第一相机成并排方式置于安装板306上，并且被布置在离第一相机302A瞳孔间距离(或不同距离(例如，小于IPD距离))处，第二相机302B被布置成指向与安装板306的边缘相切并且被布置成指向向右方向的查看方向。类似地，相邻对能够由相机302C和302D组成，另一对由相机302E和302F组成，以及再一对由相机302G和302H组成。在一些实现中，每个相机(例如，302A)都能够与不与其自身相邻但与其相邻相机相邻的相机成对，使得相机架上的每个相机都能够与相机架上的另一相机成对。在一些实现中，每个相机都能够与其直接邻居(在任一侧上)成对。
在一些实现中，一个或多个立体图像能够由内插模块114生成。例如，除了在相机架300上示出的立体相机之外，也能够产生另外的立体相机作为合成立体图像相机。特别地，分析来自捕捉图像的光线(例如，光线跟踪)能够生成3D场景的模拟帧。分析能够包括通过特定图像或图像帧从视点向后跟踪光线并进入场景。如果特定光线击中场景中的对象，则它所穿过的每个图像像素都能够被涂以颜色以匹配该对象。如果光线没有击中对象，则图像像素能够被涂以与场景中的背景或其它特征匹配的颜色。使用视点和光线跟踪，内插模块114能够产生似乎来自模拟立体相机的附加场景内容。附加内容能够包括图像效果、丢失的图像内容、背景内容、视域外部的内容。
如图3所示，相机302A-302H与相机300的外圆周相切地布置(例如，放置)，并且同样地能够捕捉高达180度的场景视域。即，由于相机被以相切方式布置，所以能够在相机架上的每个相机中捕捉完全不受遮挡的180度视域。
在一些实现中，相机架300包括相邻的相机。例如，相机架300能够包括相邻的相机302A和302B。相机302A能够被配置有相关联的镜头，该镜头指向与安装板304的边缘相切并且被布置成指向向左方向的查看方向。类似地，相机302B能够被以与相机302A并排的方式布置在安装板304上，并且被布置在离相机302A近似人类瞳孔间距离处，并且被布置成指向与安装板304的边缘相切并且被布置成指向向右方向的查看方向。
在一些实现中，相机302A-H(或相机架300)上的特定传感器可相对于相机302A-H(或相机架300)的外圆周相切地布置，而不是具有被切向布置的实际相机302A-H。以这种方式，相机302A-H能够根据用户的偏好放置，并且传感器可以基于相机300的位置、扫描速度，或基于相机配置和设置检测哪个相机或多个相机302A-H能够捕捉图像。
在一些实现中，邻居包括被以背靠背或并排方式布置的相机302A和相机302E。这种布置也能够用于采集由相应的相机镜头和安装板304形成的方位角308的左右视角。在一些实现中，相机被以相对于由相机镜头和安装板304形成的方位角308的左右倾斜角度布置。
在一些实现中，置于相机架300上的相机能够在图像内插期间与任何其它相邻相机成对，并且在面向外的方向中简单地围绕圆形相机架对齐。在一些实现中，相机架300包括单个相机(例如，相机302A)。在仅将相机302A安装至相机架300的情况下，能够通过将相机架300顺时针旋转满360度来捕捉立体全景图像。
图4是示出被配置为捕捉用于生成立体全景的场景的图像的移动装置402的图。在该示例中，用户正在操作移动装置402，并且能够通过记录其环境周围的路径404、406中的场景使用该装置拍摄视频图像。例如，用户能够将移动装置402保持为指向外，装置402的底边平行于地面并顺时针或逆时针转动以绕路径404、406扫描移动装置402，从而记录围绕用户身体的视频。在另一示例中，用户能够将移动装置402保持在头顶，并且转向以使装置402扫过路径404、406或转动装置402以使路径404、406获得类似的图像。在又另一示例中，用户能够将移动装置402安装在相机架或三脚架上，并使相机绕部分或完整的360度圆形路径自旋。
无论用户如何捕捉360度视图，用户导航的路径都可能将不遵循路径404，在路径404中产生受完全约束的弧线，而装置402被保持为对用户身体约90度。相反，以用户作为其引导的移动装置402更可能穿过由线406示出的路径，其中可以在横向和垂直方向上可能发生隆起和移动。这种移动导致结果视频或图像的改变，并且如果对视频或图像执行任何后处理，则可能引起问题。因此，本公开中所述的方法能够校正视频或图像内容中的不完全捕捉的透视图以提供3D立体全景。
图5是示出被配置为捕捉场景的图像以在生成立体全景时使用的另一示例相机架500的视图。在这里，相机架500是“四旋翼飞行器”或四旋翼直升机。相机架500是能够由四个电机提升和推进的多旋翼直升机。如在贯穿本公开内容中所述的，相机架500能够被配置(例如配备)有多个相机。相机能够被设置为从绕相机架500顶部或者底部安装的几个相机捕捉围绕场景的路径的全景，或者捕捉围绕场景的路径的单个图像。通常，场景周围的路径可以涉及绕用户或相机架的圆、绕用户或相机架的圆的一部分、由移动装置的扫描运动产生的用于捕捉场景的图像的弧、场景的360度扫描、由用户行走或转动执行以捕捉围绕她的内容的非约束路径，或者能够用于通过移动装置或者相机架捕捉图像内容的其它路径。
如图5所示，相机502和相机504被布置在四旋翼飞行器500的底部。如果例如四旋翼飞行器500悬停并且不旋转，则能够增加附加相机以捕捉全景中的附加图像。此外，能够仅使用一个相机以捕捉3D扫描360度立体全景图像。类似于安装在一个或多个上述相机架配置中的相机，相机能够被安装成居中、与特定圆弧相切，或者以另一方式成一定角度以捕捉360度圆的一部分。
在一些实现中，用户能够从遥控器或远程计算机控制四旋翼飞行器500。用户能够将捕捉哪种类型的图像的指令提供给四旋翼飞行器500，这些图像包括但是不限于视频、静止帧、扫描帧、宽视图、窄视图、角视图等等。在一些实现中，指令或方向能够被提供给安装在四旋翼飞行器上的GPS单元，以确保捕捉特定场景。在一些实现中，用户能够提供“跟随”模式，以找到场景中的预定元素(例如，演员、树木、路径、另一四旋翼飞行器或者相机架等等)。在该示例中，用户能够设置四旋翼飞行器500以跟随特定路径特定时间量。在一些实现中，用户能够设置四旋翼飞行器500在穿过路径的同时或者一旦抵达特定目的地则以特定速度旋转。
图6是示出被配置为捕捉用于生成立体全景的场景的图像的另一示例相机架600的视图。相机架600能够被安装在安装板602上。安装板602能够坐落在可旋转基座604上。相机架600包括填充相机架的安装板602的圆周区域的多个并排相机(例如，相机606-610)。相机能够被放置成填充相机架600的圆周，或者可替选地，能够策略性地间隔隔开，以最大化视角并且最小化相机架本身的捕捉部分。
在非限制性示例中，圆形相机架600能够通过以平行于可旋转基座604的弧形运动旋转，使用被布置在安装板602上的任何数目的相机捕捉图像集合。在一些实现中，相机架600包括被布置在安装板602上的相邻相机。相邻相机可被同步地配置和定位成捕捉与约160度至约180度相关联的视域。可能存在其它视域。在一些实现中，相机架600不被安装在可旋转基座上，并且以固定方式起作用。
在相机架操作的一个示例中，相机架(例如，相机架200、300、400、500或600)能够在捕捉围绕特定相机架的场景期间在第一方向中旋转，之后在捕捉场景期间以不同方向旋转。例如，相机架600能够顺时针旋转，同时相机架600上的一个或多个相机被放置有在相机600的基座604的中心的相对侧偏移的查看方向。以类似方式，然后相机架600能够在逆时针方向中旋转，面向左或右的任何数目的相机捕捉附加的场景视图。在相机架600的一个示例方位中，每隔一个相机都能够被定向在一个方向(例如，相机镜头向左或向右成一定角度)，而之间的相机被定位为相反(例如，面向左或面向右)方向。
在一些实现中，基座604能够被固定。例如，相机架600上的每个相机都可为静止相机，或者为以静止模式工作的摄像机。因而，相机能够被同步和/或配置成同时捕捉周围场景的图像帧。能够将多个方面拼接在一起以形成立体全景图。
在一些实现中，本公开中所述的相机架能够包括被安装在圆形外壳上的任何数目的相机。在一些实现中，相机能够被等距地安装，在从圆形相机架的中心向外的四个方向中每个方向有一对相机。在该示例中，例如被配置成立体对的相机能够沿圆周向外对准，并且被布置成零度、九十度、一百八十度以及两百七十度方式，使得每个立体对都捕捉360度视域的单独四分之一圆。通常，相机的可选视域确定立体对的相机视域的重叠量，以及相机之间和相邻四分之一圆之间的任何盲点的大小。一个示例相机架能够采用被配置成捕捉约120度至约180度视域的一个或者多个立体相机对。
在一些实现中，本公开中所述的相机架能够配置有约5厘米至约8厘米的直径(例如，图2中的直径206)，以模拟人的瞳距，以捕捉例如如果用户将其头部或身体转动四分之一圆、半圆、全圆或圆的其它部分，用户将看到的内容。在一些实现中，直径能够涉及跨相机架从相机镜头至相机镜头的距离。在一些实现中，直径能够涉及跨相机架从一个相机传感器至另一相机传感器的距离。在一些实现中，直径可仅涉及跨环状板从边缘至边缘的安装板的尺寸(例如，安装板208)。
在一些实现中，相机架从约8厘米到约25厘米加大，以便例如容纳附加的相机固定装置。在一些实现中，能够在较小直径的相机架上使用较少的相机。在这种示例中，本公开中所述的系统能够确定或推导出相机架上的相机之间的视图并且将这些视图与实际的捕捉的视图交叉在一起。
在一些实现中，本公开所述的相机架能够用于通过使用例如具有旋转镜头的相机，或者旋转相机，通过在单次曝光中捕捉整个全景而捕捉全景图像。上述相机和相机架能够与本公开中所述的方法一起使用。特别地，能够使用本文所述的任何其它相机架执行关于一个相机架所述的方法。在一些实现中，相机架和之后的捕捉内容能够与其它内容，诸如虚拟内容、呈现的计算机图形(CG)内容和/或其它获得或生成的图像组合。
图7是示出示例VR装置(VR耳机)702的视图。用户能够通过与放置护目镜、太阳镜等等类似地将耳机702放在眼睛上而带上VR耳机702。在一些实现中，参考图1，VR耳机702能够使用一个或多个高速有线和/或无线通信协议(例如，Wi-Fi、蓝牙、蓝牙LE、USB等等)，或者通过使用HDMI接口接合/连接至计算装置106、108或112的多个监控器。连接能够向VR耳机702提供虚拟内容，以在VR耳机702中所包括的屏幕(未示出)上向用户显示。在一些实现中，VR耳机702能够为支持投射的装置。在这些实现中，用户可以选择提供或者向VR耳机702“投射”(投影)内容。
另外，VR耳机702能够使用一个或者多个高速有线和/或无线通信接口和协议(例如，Wi-Fi、蓝牙、蓝牙LE、通用串行总线(USB)等等)接合/连接至计算装置104。计算装置(图1)能够识别与VR耳机702的接合，并且作为响应能够执行渲染处于包括虚拟内容的计算机生成3D环境(VR空间)中的用户和计算装置的VR应用。
在一些实现中，VR耳机702能够包括能够执行VR应用的可移除计算装置。可移除计算装置能够类似于计算装置108或112。可移除计算装置能够被并入VR耳机(例如，VR耳机702)的壳体或框架内，然后，VR耳机被VR耳机702的用户戴上。在这些实现中，可移除计算装置能够提供当与计算机生成、3D环境(VR空间)交互时用户查看的显示器或屏幕。如上所述，移动计算装置104能够使用有线或无线接口协议连接至VR耳机704。移动计算装置104能够为VR空间中的控制器，能够看起来像是VR空间中的对象，能够向VR空间提供输入，并且能够从VR空间接收反馈/输出。
在一些实现中，移动计算装置108能够执行VR应用，并且能够向VR耳机702提供数据以创建VR空间。在一些实现中，也在移动计算装置108中所包括的显示装置上显示在VR耳机702中所包括的屏幕上向用户显示的VR空间的内容。这允许其他人看到用户可在VR空间中交互的内容。
VR耳机702能够提供指示移动计算装置108的位置和方向的信息和数据。VR应用能够接收和使用位置和方位数据，以作为用户在VR空间内的交互的指示。
图8是示出根据相机视域的多个相机(和邻居)的示例曲线图800。曲线图800表示能够被用于确定为了预定视域可被布置在相机架上以生成立体全景的相机数目的示例曲线图。曲线图800能够被用于计算相机设置和相机布置，以确保特定的立体全景结果。一种示例设置能够包括将附加至特定相机架的许多相机的选择。另一种设置能够包括确定将在捕捉、处理前或后步骤期间使用的算法。例如，对于光流内插技术，拼接全360度全景可指示每条光线方向都应被至少两个相机看到。这可能限制要使用的相机的最小数目，以便根据相机的视域[θ]覆盖全360度。光流内插技术能够被相邻相机(或相机对)或者被个别相机执行和配置。
如图8中所示，其中示出函数802的曲线图。函数802表示根据相机视域[θ]806的相机个数[n]804。在该示例中，以线808示出约95度的相机视域。线808与函数802的交叉点示出使用每个都具有95度视域的十六(16)个相机将提供期望的全景结果。在该示例中，能够通过对每个相邻相机集合都内插相邻相机而配置相机架，从而使用可能发生将相邻相机置于相机架上的任何空间。
除了插入相邻的相机之外，光流要求能够命令系统100计算相同类型的相机之间的光流。即，能够对第一相机，然后对第二相机计算光流，而非同时计算两者。通常，能够将像素处的光流计算为方位(例如，方向和角度)和量(例如，速度)。
图9是示出根据相机视域[θ]904的内插视域[θ1]902的示例曲线图900。曲线图900能够被用于确定相机的哪一部分视域与其左或右邻居共享。这里，在约95度的相机视域(线906所示)下，如交叉908所示，示出内插视域约为48度。
假定两个连续相机通常不捕捉严格相同视域的图像，则内插相机的视域将由相邻相机的视域的交叉表示。则内插视域[θ1]能够为相机视域[θ]和相邻相机之间的角度的函数。如果对给定相机视域选择最小数目的相机(使用图8中所示的方法)，则如图9中所示，[θ1]能够被计算为[θ]的函数。
图10是示出相机架的配置的选择的示例曲线图1000。特别地，能够使用曲线图1000确定能够将特定相机架设计为多大。曲线图1000示出根据相机架直径[D，单位为厘米]1004的拼接比例[d/D]1002曲线图。为了产生更舒适的虚拟现实全景观看体验，选择全方位立体拼接直径[d]，在本公开的示例中为通常为人类IPD的约5厘米至约6.5厘米。在一些实现中，能够使用约与拼接直径[d]相同的捕捉直径[D]执行全方位立体拼接。即，保持约为“1”的拼接比例例如在全方位立体图像的后处理中提供更容易的拼接。这种特定配置能够最小化失真，因为用于拼接的光线与实际相机捕捉光线相同。当所选相机数目高(例如，每个相机架12-18台相机)时，可能难以获得为“1”的拼接比例。
为了减轻相机架上相机太多的问题，相机架尺寸能够被设计为更大尺寸，以容纳附加相机，并且允许拼接比例保持相同(或者基本相同)。为了确保拼接算法对在捕捉期间靠近镜头中心拍摄的图像中的内容采样，拼接比例能够固定，以确定相机相对于相机架的角度[α]。例如，图10示出靠近镜头中心采样提高图像质量并且最小化几何失真。特别地，较小角度[α]能够有助于避免相机架遮挡(例如，相机架本身的相机成像部分)。
如图10中在1006所示，0.75的拼接比例[d/D]对应于约6.5厘米(即，普通人IPD)的相机架直径。将拼接比例[d/D]减小为约0.45允许将相机架直径增大至约15厘米(如1008所示)，这能够允许向相机架添加附加相机。能够基于所选拼接比例调节相机相对于相机架的角度。例如，将相机角度调节为约30度指示相机架直径能够大到约12.5厘米。类似地，将相机角度调节为约25度指示相机架直径能够大到约15厘米，并且例如当向用户反向渲染时仍保持适当的视差和视觉效果。
通常，给定相机架直径[D]，能够计算最佳相机角度[α]。能够从[α]计算最大视域[Θu]。最大视域[Θu]通常对应于相机架没有部分地遮挡相机的视域。最大视域能够限制相机架容纳的相机有多么少并且仍提供不受遮挡的视域。
图11是示出能够被用于根据预定相机架直径确定相机的最小数目的示例关系的曲线图1100。这里示出给定相机架直径[D]1104的相机的最小数目[nmin]1102。相机架直径[D]1104限制了最大不受遮挡视域，其作用是限制相机的最小数目。如图中在1106所示，对于约10厘米的相机架直径，能够在相机架中使用最少十六(16)个相机提供未遮挡视图。修改相机架直径能够允许增加或减少相机架上放置的相机数目。在一个示例中，相机架能够在约8至约25厘米尺寸的相机架上容纳约12至约16个相机。
由于其它方法可用于调整视域和图像捕捉设置，因此能够将这些计算与这些其它方法结合，以进一步优化相机架的尺寸。例如，光流算法能够用于改变(例如，减少)通常用于拼接全方位立体全景的相机数目。在一些实现中，例如，本公开中所述的或从本公开中所述的系统和方法生成的曲线图能够被组合使用以生成例如用于在HMD装置中渲染的虚拟内容。
图12A-B表示能够在图像捕捉期间发生的失真的绘图示例。特别地，这里显示的失真对应于拍摄立体全景时发生的效果。通常，当被捕捉的场景接近捕捉该场景的相机时，失真能够更严重。图12A表示为2米×2米并且被布置在从相机中心向外1米处的场景中的平面。图12B是与图12A相同的平面，但是图中的该平面被布置成从相机向外25厘米。两幅图都使用6.5厘米的捕捉直径。图12A示出在1202靠近中心处轻微拉伸，而图12B示出扩大更多的中心1204。能够采用许多技术以校正这种失真。下文段落描述使用捕捉图像内容以分析投影(例如，球面和平面投影)从而校正失真的近似方法和系统(例如，相机架/捕捉装置)。
图13A-B示出在收集全景图像期间捕捉的光线的示例。图13A示出给定所捕捉的图像集合，能够在捕捉路径1302上的任何位置生成用于左和右眼两者的透视图像。这里，以光线1304a示出用于左眼的光线，并且以1306a示出用于右眼的光线。在一些实现中，可能由于相机设置、故障或者仅用于场景的相机架设置不足而不能捕捉每个所示光线。由于这些原因，能够近似光线1304a和1306a中的一些。例如，如果场景无限远，则场景的一个可测量特征包括从原点到目的地的光线方向。
在一些实现中，光线源可能不是可收集的。同样地，本公开中的系统能够近似左眼和/或右眼以确定光线的原点位置。图13B示出了右眼的近似光线方向1306b至1306f。在该示例中，代替源自相同点的光线，每条光线都源自圆1302上的不同点。光线1306b至1306f被示出为对捕捉圆1302切向地倾斜，并且被布置在绕捕捉圆1302的圆周的特定区域。同样地，在相机架圆1303上示出与相机架相关联的两个不同图像传感器——图像传感器13-1和图像传感器13-2(与相机相关联或者被包括在相机内)的位置。如在图13B所示，相机架圆大于捕捉圆1302。
能够以这种方式使用从圆向外的不同方向近似多条光线(以及与每条光线相关联的图像的颜色和强度)。以这种方式，能够提供用于左眼和右眼视图的包括许多图像的整个360度全景图。这种技术能够使得解决中距离对象的失真，但是在一些情况下，当对附近对象成像时仍会发生变形。为了简化，未示出近似的左眼光线方向。在该示例实现中，仅示出了少数光线1306b至1306f。然而，能够定义数千个这样的光线(以及与那些光线相关联的图像)。因而，能够定义与每条光线相关联的许多新图像(例如，内插)。
如图13B所示，光线1306b被投射在图像传感器13-1和图像传感器13-2之间。图像传感器13-1与图像传感器13-2相邻。光线能够距离图像传感器13-1为距离G1(例如，图像传感器13-1的投影中心)以及距离图像传感器13-2为距离G2(例如，图像传感器13-2的投影中心)。距离G1和G2能够基于光线1306b与相机架圆1303相交的位置。距离G1能够不同于(例如，大于、小于)距离G2。
为了定义与光线1306b相关联的图像(例如，内插图像、新图像)，将由图像传感器13-1捕捉的第一图像(未示出)与由图像传感器13-2捕捉的第二图像(未示出)组合(例如，拼接在一起)。在一些实现中，能够使用光流技术以组合第一图像和第二图像。例如，能够识别与来自第二图像的像素相应的来自第一图像的像素。
为了定义与例如光线1306b相关联的图像，基于距离G1和G2移动相应的像素。为了定义光线1306b的图像(例如，新图像)，能够假设图像传感器13-1、13-2的分辨率、纵横比、高程等相同。在一些实现中，分辨率、纵横比，高程等能够是不同的。然而，在这些实现中，将需要修改插值以适应那些差异。
作为特定示例，与第一图像中的对象相关联的第一像素能够被识别为对应于与第二图像中的对象相关联的第二像素。因为从图像传感器13-1(其位于绕相机架圆1303的第一位置处)的视角捕捉第一图像，并且从图像传感器13-2(其位于绕相机架圆1303的第二位置处)的视角捕捉第二图像，与第二图像中的位置(XY坐标位置)相比，对象在第一图像内的位置(例如，XY坐标位置)将移位。同样地，与对象相关联的第一像素将相对于也与对象相关联的第二像素位置(例如，X-Y坐标位置)移位。为了生成与光线1306b相关联的新图像，能够基于距离G1和G2的比率来定义与第一像素和第二像素(以及对象)对应的新像素。特别地，能够在从基于距离G1(并且基于第一像素的位置和第二像素的位置之间的距离以一定因子缩放)的第一像素位置和能够基于距离G2(并且基于第一像素的位置和第二像素的位置之间的距离以一定因子缩放)的第二像素的定位中移位的位置限定新像素。
根据上述实现，能够对与第一图像和第二图像一致的与光线1306b相关联的新图像定义视差。特别地，相对靠近相机架的对象能够比相对远离相机架的对象移动更大的量。能够基于光线1306b的距离G1和G2，在像素的移动(例如，从第一像素和第二像素)之间维持该视差。
能够对绕捕捉圆1302的所有光线(例如，光线1306b至1306f)重复该过程。能够基于每个射线与绕相机架圆1303的图像传感器(例如，相邻图像传感器，图像传感器13-1、13-2)之间的距离限定与绕捕捉圆1302的每条光线相关联的新图像。
如图13B中所示，相机架圆1303的直径大于捕捉圆1302的直径。在一些实现中，相机架圆1303的直径能够比捕捉圆1302的直径大1.5至8倍。作为特定示例，捕捉圆的直径能够为6厘米，并且相机架圆1303(例如，图4A中所示的相机安装环412)的直径能够为30厘米。
图14A-B示出了如图13A-B中所述的近似平面透视投影的使用。图14A示出了在近似平面透视光线和投影之前具有失真线的全景场景。如图所示，窗帘杆1402a、窗框1404a和门1406a被示出为具有弯曲特征的对象，但实际上它们是直线特征对象。直线特征对象包括没有弯曲表面的对象(例如，平索引卡、方形盒、矩形窗框等)。在该示例中，对象1402a、1404a和1406a被示出为弯曲的，因为它们已经在图像中失真。图14B示出了其中以90度水平视域近似平面透视投影的校正图像。这里，窗帘杆1402a、窗框1404a和门1406a分别被示出为经校正的直对象1402a、1404b和1404c。
图15A-C示出了应用于图像平面的近似平面透视投影的示例。图15A示出了使用本公开中所述的技术从全景拍摄的平面透视投影。例如，所示平面视图1500能够表示图1中图像中所示平面的覆盖。特别地，图15A表示校正后的图14，其中曲线被投影成直线。这里示出全景的平面1500距离为一米(具有90度的水平视域)。线1502、1504、1506和1508是直的，而在之前(对应于图14A)，相同的中心线是弯曲和变形的。
基于所选投影方案能够发生其它失真。例如，图15B和图15C表示使用本公开中的技术从全景拍摄的平面透视投影产生的平面(1510和1520)。在25厘米(90度的水平视域)距离处拍摄全景。图15B示出了左眼捕捉1510，以及图15C示出了右眼捕捉1520。这里，平面(1512、1522)的底部不投影到直线并且引入垂直视差。当使用平面透视投影时，能够发生这种特定变形。
图16A-B示出引入垂直视差的示例。图16A示出根据典型的全方位立体全景技术捕捉的直线1602a。在所示示例中，每条光线1604a-1618a都源自圆1622上的不同点。
图16B示出当使用透视近似技术查看时的相同直线。如图所示，直线1602a被示出变形为线1602b。光线1604b-1618b源自圆1622上的单个点。变形能够具有使线1602b的左半部朝着查看者推进并且使线的右半部远离查看者推动的效果。对于左眼，能够发生相反的情况，即线的左半部看起来进一步远离，而线的右半部看起来更近。变形的线在由等于全景渲染圆1622的直径1624的距离分离的两条渐进线之间弯曲。由于示出变形与全景捕捉半径为相同尺寸，所以可能仅可注意到附近的对象。这种变形形式能够导致查看图像的用户的垂直视差，当在变形图像上执行拼接过程时，这可能引起融合困难。
图17A-B示出能够用于在3D全景上示出多个点的坐标系的示例点。图17A-B示出由本公开中所述的全景技术成像的点(0，Y，Z)1702。如下面在公式(1)和(2)中所示，能够分别以(-θ，φ)和(θ，φ)表示对左和右全景的点的投影，其中：
并且其中r1704为全景捕捉的半径。
图17A示出点(0，Y，Z)1702的全景成像的自上而下视图。图17B示出点(0，Y，Z)1702的全景成像的侧视图。所示的点在左全景中投影为(-θ，φ)，并且在右全景中投影为(θ，φ)。这些特定视图被捕捉，并且还未被投影到另一平面内。
图18表示图17A-17B中所示的点的投影图。这里，如图18中，点1702的透视图被定向为以绕y轴旋转角度[α]与1802看上去水平。由于这种透视投影仅考虑光线方向，所以可能通过将在全景投影1802中观看点1702的光线转换为透视相机的参考帧而一同发现点1702所投射的光线。例如，点1702沿下表1中所示的下列光线投射：
表1
执行透视分离，能够确定点投影，如下表2中的公式所示：
表2
能够看出，如果(对应于原始3D点1702无限远)，则点1702将通常在两个透视图像中投影至相同y坐标，所以将不存在垂直视差。然而，随着θ远离(随着点更接近相机)，所投影的y坐标将对左眼和右眼不同(除了其中α＝0的情况，这种情况对应于朝着点1702观看的透视图)。
在一些实现中，能够通过以特定方式捕捉图像和场景避免失真。例如，在相机的附近视域(即，小于一米远)捕捉场景能够引起出现失真元素。因此，捕捉从一米向外的场景或图像是最小化失真的一种方式。
在一些实现中，能够使用景深信息校正失真。例如，给出场景的精确景深信息，可能校正失真。即，由于失真能够取决于当前查看方向，所以不可能在渲染之前向全景图像应用单个失真。相反，景深信息能够与全景一起传递，并且在渲染时使用。
图19示出了使用本公开中所述的全景成像技术在全向立体图像中捕捉的光线。在该示例中，围绕圆1900指向顺时针方向的光线1902、1904、1906对应于左眼的光线。类似地，围绕圆1900指向逆时针方向的光线1908、1910、1912对应于右眼的光线。每个逆时针光线都能够在相同方向上观看的圆的相对侧上具有相应的顺时针光线。这能够为单个图像中所表示的光线方向中的每个提供左/右查看光线。
捕捉用于本公开中描述的全景的一组光线能够包括对齐绕与圆1900相切的相机(例如，指向面朝外面向场景并且与圆1900相切的相机镜头)绕圆1900移动相机(未示出)。对于左眼，相机能够指向右(例如，光线1904被捕捉在中心线1914a的右侧)。类似地，对于右眼，相机能够指向左(例如，光线1910被捕捉在中心线1914a的左侧)。能够对圆1900的另一侧上并且在中心线1914b之下的相机使用中心线1914b限定类似的左和右区域。产生全向立体图像可用于实际相机捕捉或者用于先前渲染地计算机图形(CG)内容。能够利用所捕捉的相机内容和所渲染的CG内容使用视图插值，例如，以模拟在圆1900上的实际相机之间捕捉多个点。
拼接图像集合能够包括使用球面/等距形投影以存储全景图像。通常，在这种方法中存在两个图像，每只眼睛一张。等距柱状图像中的每个像素都对应于球面上的方向。例如，x坐标能够对应于经度，并且y坐标能够对应于纬度。对于单向全向图像，像素的查看光线的原点能够为相同点。然而，对于立体图像，每个查看光线也能够源自圆1900上的不同点。然后能够通过分析所捕捉的图像中的每个像素、从投影模型生成理想查看光线，以及从其查看光线最匹配理想光线的捕捉或者内插图像对像素采样而从所捕捉的图像拼接全景图像。接下来，能够将光线值混合在一起以生成全景像素值。
在一些实现中，能够使用基于光流的视图以在圆1900上每一度都生成至少一个图像。在一些实现中，能够一次填充全景图像的整个列，因为能够确定如果从给定图像中对该列中的一个像素进行采样，则该列中的像素将被从相同的图像采样。
与本公开的捕捉和渲染方面一起使用的全景格式能够确保由左眼和右眼查看的对象的图像坐标仅通过水平移位而不同。这种水平位移被称为视差。这适用于等距形投影，并且在这种投影中，对象可能会显得非常失真。
这种失真的大小取决于与相机的距离和查看方向。失真能够包括线弯曲失真、不同的左眼和右眼失真，并且在一些实现中，视差可能不再是水平的。一般来说，1-2度(在球面像平面上)的垂直视差能够被人类用户容易地容忍。另外，对外围眼线中的对象失真能够忽略。这与偏离中心查看方向约30度相关。基于这些发现，能够构建限制，来限定在相机附近对象不应穿透以避免不适失真的区域。
图20是示出由3D空间中的点引起的最大垂直视差的曲线图2000。特别地，曲线图2000示出了由3D空间中的点引起的最大垂直视差度数，假定它们投影至离图像中心30度。曲线图2000绘出了离相机中心的垂直位置(米)与离相机的水平位置(米)的关系。在该图中，相机位于原点[0,0]。随着曲线远离原点移动，失真的严重性变小。例如，在曲线图上从零至一2002以及从零至负一2004(垂直地)，失真最严重。这对应于图像直接处于相机(位于原点)之上和之下。随着场景向外移动，失真减轻，并且在相机在点2006和2008对场景成像时，仅受到垂直视差程度的一半。
如果周边的失真可以忽略超过30度，则能够移除其查看方向在极点30度以内的所有像素。如果允许周边阈值为15度，则可以移除15度像素。移除的像素例如能够被设置为色块(例如，黑色、白色、品红色等)或静态图像(例如，标志、已知边界、纹理化层等)，并且能够将被移除像素的新表示插入全景，代替被移除的像素。在一些实现中，被移除的像素能够被模糊，并且被移除的像素的模糊表示能够被插入全景中，代替被移除的像素。
图21是图示生成立体全景图像的过程2100的一个实施例的流程图。如图21中所示，在框2102，系统100能够基于所捕捉的图像定义图像集合。图像能够包括预处理图像、后处理图像、虚拟内容、视频、图像帧、部分图像帧、像素等。
所定义的图像能够由用户例如使用头戴式显示器(HMD)访问访问内容(例如，VR内容)。系统100能够确定用户执行的特定动作。例如，在某一点上，如框2104，系统100能够接收与VR HMD的用户相关联的查看方向。类似地，如果用户改变她的查看方向，如框2106，则系统能够接收用户查看方向改变的指示。
响应于接收到查看方向上的这种改变的指示，系统100能够配置该组图像的一部分的重新投影，如框2108所示。重新投影可以至少部分地基于改变的查看方向和与所捕捉图像相关联的视域。视域可以从1到180度，并且能够将场景的图像片段视为场景的全景图像。所配置的重新投影能够用于将来自球面透视投影的图像集合的一部分转换为平面投影。在一些实现中，重新投影能够包括将来自绕弯曲路径的多个视点的图像集合相关联的查看光线的一部分从球面透视投影重建为平面透视投影。
重新投影能够包括将球面场景的表面的一部分映射到平面场景的任何或所有步骤。这些步骤可包括修饰失真场景内容、在拼接处或附近混合(例如，拼接)场景内容、色调映射和/或缩放。
一旦完成重新投影，则系统100能够基于重新投影渲染更新的视图，如框2110所示。更新的视图能够被配置为校正失真并向用户提供立体视差。在框2112，系统100能够提供包括与改变查看方向相应的立体全景场景的更新视图。例如，系统100能够提供更新视图以校正原始视图(在重新投影之前)的失真，并且能够在VR头戴式显示器的显示器中提供立体视差效果。
图22是图示捕捉立体全景图像的过程2200的一个实施例的流程图。在框2202，系统100能够基于从至少一组相邻相机收集的捕捉视频流来定义图像集合。例如，系统100能够使用相邻相机(如图2和图5中所示)，或者多组相邻相机(如图3和图6中所示)。在一些实现中，系统100能够使用从约12至约16个相机收集的捕捉视频流限定图像集合。在一些实现中，系统100能够使用部分或者全部渲染的计算机图形(CG)内容限定图像集合。
在框2204，系统100能够计算图像集合中的光流。例如，如上文详述的，计算图像集合中的光流能够包括对与图像集合相关联的一部分像素列分析图像强度场，并且在该部分像素列上执行光流技术。
在一些实现中，并且如上文详述的，光流能够用于内插不是该图像集合的一部分的图像帧(如框2206所示)。然后，系统100能够至少部分地基于光流将图像帧和图像集合拼接在一起。在框2208，系统100能够使用插入帧和图像集合来生成用于在VR头戴式显示器中显示的全方位立体全景。在一些实现中，系统100能够使用与至少一组立体相邻相机相关联的姿势信息执行图像拼接，以便例如在执行插入之前对图像集合的一部分进行预先拼接。
图23是图示头戴式显示器中呈现全景图像的过程2300的一个实施例的流程图。如图23所示，在框2302，系统100能够接收图像集合。图像可以示出来自可旋转相机架的捕捉内容。在框2304，系统100能够选择图像中的图像帧的部分。图像帧能够包括通过相机架捕捉的内容。系统100能够使用所捕捉的内容的任何部分。例如，系统100可以选择一部分图像帧，该部分图像帧包括由相机架从距离相机架基座的外边缘约径向一米至距离相机架基座的外边缘约径向五米距离捕捉的内容。在一些实现中，这种选择能够基于用户可多远地感知3D内容。这里，离相机一米至离相机约五米的距离可表示其中用户能够查看3D内容的“区”。比该距离短，则3D视图可能失真，而比该距离长，用户可能不能确定3D形状。即，从远处看起来场景可能仅是2D的。
在框2306，图像帧的所选部分能够被拼接在一起以产生立体全景图。在该示例中，拼接可以至少部分地使所选部分与所选部分中的至少一个其它图像帧匹配。在框2308，能够在诸如HMD装置的显示器中提供全景图。在一些实现中，能够使用至少部分地基于相机架的直径选择的拼接比执行拼接。在一些实现中，拼接包括下列许多步骤：使第一图像帧中的第一像素列匹配第二图像帧中的第二像素列；以及使第二像素列匹配第三图像帧中的第三像素列，以形成连贯场景部分。在一些实现中，许多像素列能够以这种方式匹配和组合以形成帧，并且那些帧能够组合以形成图像。此外，那些图像能够组合以形成场景。
在一些实现中，方法2300能够包括内插步骤，内插步骤使用系统100以内插不是图像帧的部分的附加图像帧。例如，可以执行这种内插以确保流出现在由相距较远的相机捕捉的图像之间。一旦执行了附加图像内容的内插，系统100能够将附加图像帧插入图像帧的部分中，以生成视图的虚拟内容。随着图像帧的部分与附加图像帧交织，这种虚拟内容能够被拼接在一起。例如，能够将结果作为更新视图提供给HMD。这种更新视图能够至少部分地基于图像帧的部分和附加图像帧。
图24是图示确定图像边界的过程2400的一个实施例的流程图。在框2402，系统100能够基于从至少一组相邻相机收集的捕捉视频流来定义图像集合。例如，系统100能够使用一组相邻的相机(如图2和图5所示)或多组相邻的相机(如图3和图6所示)。在一些实现中，系统100能够使用从约12至约16个相机收集的捕捉视频流来定义图像集合。在一些实现中，系统100能够使用部分或全部渲染的计算机图形(CG)内容来定义图像集合。在一些实现中，对应于图像集合的视频流包括编码视频内容。在一些实现中，对应于图像集合的视频流可包括通过配置有一百八十度视域的至少一组相邻相机获取的内容。
在框2404，系统100能够通过将与图像集合的部分相关联的查看光线从被布置在圆形路径部分中的多个视点重建为一个视点而将来自透视图像平面的图像集合的一部分投射到球面图像平面上。例如，图像集合能够被能够承载多个相机的圆形相机架捕捉。每个相机都能够与视点相关联，并且那些视点从场景中的相机架指向外。特别地，不同于源自单个点，查看方向源自相机架上的每个相机。系统100能够将来自路径上各个视点的光线重建为单个视点。例如，系统100能够分析相机所捕捉的每个场景视点，并且能够计算类似性和差异性，以便从单个内插视点确定代表该场景的场景(或者场景集合)。
在框2406，系统100能够确定与单个视点相应的外围边界，并通过去除外围边界外的像素来生成更新图像。外围边界可将清晰的简明图像内容与失真图像内容中划分。例如，外围边界可将无失真的像素与具有失真的像素划分。在一些实现中，外围边界可属于用户的典型外围查看区域外的视域。移除这些像素能够确保用户被不必要地呈现失真图像内容。如上文详述的，移除这些像素能够包括以色块、静态图像或者像素的模糊表示替换这些像素。在一些实现中，外围边界被定义为与捕捉图像相关联的一个或者多个相机的约150度视域。在一些实现中，外围边界被定义为与捕捉图像相关联的一个或者多个相机的约120度视域。在一些实现中，外围边界为对应于与捕捉图像相关联的相机的查看平面之上约30度的球面形状的一部分，并且移除这些像素包括抹黑或者移除球面场景的顶部。在一些实现中，外围边界为对应于与捕捉图像相关联的相机的查看平面之下约30度的球面形状的一部分，并且移除这些像素包括抹黑或者移除球面场景的顶部。在框2408，系统100能够提供更新图像，以在外围边界的界限内显示。
在一些实现中，方法2400能够包括将图像集合中的至少两个帧拼接在一起。拼接能够包括步骤：从多个帧对像素列采样，以及在至少两个像素采样列之间内插不是在多个帧中捕捉的附加像素列。另外，拼接能够包括将采样列和附加列混合在一起以生成像素值的步骤。在一些实现中，混合能够使用至少部分地基于用于获取所捕捉图像的圆形相机架的直径选择的拼接比例执行。拼接也能够包括通过将像素值配置为能够被提供例如以在HMD中显示的左场景和右场景而生成三维立体全景的步骤。
图25是图示生成视频内容的过程2500的一个实施例的流程图。在框2502，系统100能够基于从至少一组相邻相机收集的捕捉视频流而定义图像集合。例如，系统100能够使用立体对(如图2中所示)或者多组相邻相机(例如，如图3和图6中所示)。在一些实现中，系统100能够使用从约12至约16个相机收集的捕捉视频流限定图像集合。在一些实现中，系统100能够使用部分或者全部渲染计算机图形(CG)内容限定图像集合。
在框2504，系统100能够将图像集合拼接为等距柱状视频流。例如，拼接能够包括组合与向左相机捕捉角度相关联的图像和与面向右相机捕捉角度相关联的图像。
在框2506，系统能够通过将来自等距形投影的视频流投影为用于第一视图和第二视图的透视图而渲染用于回放的视频流。第一视图可对应于头戴式显示器的左眼视图，而第二视图可对应于头戴式显示器的右眼视图。
在框2508，系统能够确定其中失真高于预定阈值的边界。预定阈值可提供特定图像集合内的视差水平、不匹配水平，和/或可允许误差水平。例如，当将来自一个平面或者视图的视频流投射至另一平面或者视图时，失真可至少部分地基于投影配置。
在框2510，如上文详述的，系统能够通过移除图像集合中处于或者超过边界的图像内容而生成更新视频流。一旦更新视频流，则能够提供更新视频流例如以向HMD的用户显示。大体上，贯穿本公开所述的系统和方法能够起捕捉图像、从所捕捉的图像移除失真，并且渲染图像以便向HMD装置的用户提供3D立体视图的作用。
图26示出了可以使用本文所述的技术的通用计算机装置2600和通用移动计算机装置2650的示例。计算装置2600旨在表示各种形式的数字计算机，诸如膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它合适的计算机。计算装置2650旨在表示各种形式的移动装置，诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算装置。这里所示的组件、它们的连接和关系以及它们的功能仅有意为示例性的，并不意味着限制本文中所述的和/或本文件中要求保护的实现。
计算装置2600包括处理器2602、存储器2604、存储装置2606、连接到存储器2604高速扩展端口2610的高速接口2608，以及连接到低速总线2614和存储装置2606的低速接口2612。组件2602、2604、2606、2608、2610和2612中的每一个都使用各种总线互连，并且可以适当地安装在公共主板上或以其它方式安装。处理器2602能够处理在计算装置2600内执行的指令，包括存储在存储器2604或存储装置2606上的指令，以在外部输入/输出装置，诸如耦合到高速接口2608的显示器2616上显示GUI的图形信息。在其它实现中，可以适当地与多个存储器和多种类型的存储器一起使用多个处理器和/或多条总线。也可以连接多个计算装置2600，每个装置都提供必要操作的部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器2604在计算装置2600内存储信息。在一个实现中，存储器2604是易失性存储器单元或多个单元。在另一实现中，存储器2604是非易失性存储器单元或多个单元。存储器2604也可以是另一种形式的计算机可读介质，例如磁盘或光盘。
存储装置2606能够为计算装置2600提供大容量存储。在一个实现中，存储装置2606可以是或包含计算机可读介质，诸如软盘装置、硬盘装置、光盘装置，或磁带装置，闪存或其它类似的固态存储装置，或包括存储区域网络中的装置或其它配置的装置阵列。计算机程序产品能够被有形地具体化为信息载体。计算机程序产品也可包含指令，当被执行时，指令执行一种或多种方法，例如上述的方法。信息载体是计算机或机器可读介质，诸如存储器2604、存储装置2606或处理器2602上的存储器。
高速控制器2608管理计算装置2600的带宽密集型操作，而低速控制器2612管理较低带宽密集型操作。这种功能分配仅是示例性的。在一个实现中，高速控制器2608耦合到存储器2604、显示器2616(例如，通过图形处理器或加速器)，并且耦合到可接受各种扩展卡(未示出)的高速扩展端口2610。在实现中，低速控制器2612耦合到存储装置2606和低速扩展端口2614。可包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可被耦合到一个或多个输入/输出装置，例如键盘、指点装置、扫描仪，或例如通过网络适配器耦合到诸如交换机或路由器的联网装置。
如图所示，计算装置2600可被实现为多种不同的形式。例如，它可以被实现为标准服务器2620，或者在一组这样的服务器中多次实现。它也可以被实现为机架服务器系统2624的一部分。此外，它可以诸如膝上型计算机2622的个人计算机中实现。可替选地，来自计算装置2600的组件可与移动装置中的其它组件(未示出)，诸如装置2650组合。这些装置中的每一个都可包含一个或者多个计算装置2600、2650，并且整个系统可由彼此通信的多个计算装置2600、2650组成。
计算装置2650包括处理器2652、存储器2664、诸如显示器2654的输入/输出装置、通信接口2666和收发器2668以及其它组件。装置2650也可具有诸如微驱动器或其它装置的存储装置，以提供额外的存储。组件2650、2652、2664、2654、2666和2668中的每一个都使用各种总线互连，并且几个组件可被适当地安装在公共主板上或以其它方式安装。
处理器2652能够在计算装置2650内执行指令，包括存储在存储器2664中的指令。处理器可被实现为包括单独的和多个模拟和数字处理器的芯片的芯片组。处理器可以例如提供用于装置2650的其它组件的协调，诸如用户接口的控制，由装置2650运行的应用以及由装置2650进行的无线通信。
处理器2652可以通过控制接口2658和耦合到显示器2654的显示接口2656与用户通信。显示器2654可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其它适当的显示技术。显示接口2656可包括用于驱动显示器2654以向用户呈现图形和其它的适当电路。控制接口2658可接收来自用户的命令并将其转换以提交给处理器2652。另外，可提供外部接口2662以与处理器2652通信，以便能够与其它装置进行装置2650的近区域通信。外部接口2662可以提供例如在一些实现中的有线通信，或者在其它实现中的无线通信，并且也可使用多个接口。
存储器2664将信息存储在计算装置2650内。存储器2664能够被实现为计算机可读介质或媒介、易失性存储器单元或非易失性存储器单元中的一个或多个。扩展存储器2674还可以通过扩展接口2672来提供并连接到装置2650，扩展接口2672可包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器2674可以为装置2650提供额外的存储空间，或者还可以存储用于装置2650的应用或其它信息。特别地，扩展存储器2674可包括用于执行或补充上述过程的指令，并且也可包括安全信息。因此，例如，扩展存储器2674可被提供为用作装置2650的安全模块，并且可以用允许安全使用装置2650的指令来编程。另外，可通过SIMM卡以及附加信息来提供安全应用，例如以不可攻击的方式将识别信息置于SIMM卡上。
如下文所述，存储器可以包括例如闪存和/或NVRAM存储器。在一个实现中，计算机程序产品被有形地具体化为信息载体。计算机程序产品包含指令，当被执行时，执行一个或多个方法，诸如上述方法。信息载体是可以例如通过收发器2668或外部接口2662接收的计算机或机器可读介质，诸如存储器2664、扩展存储器2674或处理器2652上的存储器。
装置2650可通过通信接口2666进行无线通信，通信接口2666可在必要时包括数字信号处理电路。通信接口2666可提供诸如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等各种模式或协议下的通信。这种通信可以例如通过射频收发器2668发生。另外，可能发生短距离通信，例如使用蓝牙、WiFi或其它此类收发器(未示出)。另外，GPS(全球定位系统)接收器模块2670可以向装置2650提供附加的导航和位置相关无线数据，这些数据可由在装置2650上运行的应用适当地使用。
装置2650还可以使用音频编解码器2660可听地通信，音频编解码器2660可以从用户接收口语信息并将其转换为可用的数字信息。音频编解码器2660同样可以为用户产生可听见的声音，诸如通过例如在装置2650的受话器中的扬声器。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件，等等)，并且也可包括在装置2650上操作的应用产生的声音。
如图所示，计算装置2650可以以多种不同的形式实现。例如，它可以被实现为蜂窝电话2680。它也可以被实现为智能电话2682、个人数字助理或其它类似移动装置的一部分。
本文所述的系统和技术的各种实现能够以数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合实现。这些各种实现能够包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现，可编程系统包括至少一个可以是专用或通用的可编程处理器，其被耦合至存储系统、至少一个输入装置和至少一个输出装置，从而从这些装置接收数据和指令，并且将数据和指令发送至这些装置。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且能够以高级程序和/或面向对象编程语言和/或组装/机器语言实现。本文使用的术语“机器可读介质”、“计算机可读介质”涉及下列任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，其用于向可编程处理器提供机器指令和/或数据，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”涉及用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，本文所述的系统和技术能够在具有用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)，和用户能够通过其向计算机提供输入的键盘和指示装置(例如，鼠标或轨迹球)的计算机上实现。也能够使用其它类型的装置提供与用户的交互；例如，提供给用户的反馈能够为任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且能够以任何形式接收来自用户的输入，包括声音，语音或触觉输入。
本文所述的系统和技术能够在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器))，或者包括前端组件(例如，具有用户能够通过其与本文所述的系统和技术的实现进行交互的图形用户界面或Web浏览器的客户端计算机)，或者这种后端、中间件或前端组件的任何组合的计算系统中实现。系统的组件能够可以通过数字数据通信(例如，通信网络)的任何形式或介质互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。
计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是由于相应计算机上运行，并且彼此具有客户端-服务器关系的计算机程序产生。
已经描述了许多实施例。然而，应理解，不偏离本发明的精神和范围，可做出各种变型。例如，下文每条权利要求和这些权利要求的上述示例能够以任何组合结合以生成另外的示例实施例。
另外，图中所示的逻辑流程不需要所示的特定顺序或者相继顺序以实现期望结果。另外，可提供其它步骤，或者可从所述流程去除多个步骤，并且其它组件可被添加至所述系统，或者从所述系统消除。因而，其它实施例也在所附权利要求的范围内。

Claims (14)

1.一种计算机实现方法，包括：
基于捕捉的图像在计算装置处定义图像集合；
在所述计算装置处接收与虚拟现实(VR)头戴式显示器的用户相关联的查看方向；
在所述计算装置处接收所述查看方向改变的指示；
响应于接收到所述指示；
由所述计算装置配置所述图像集合的部分的重新投影，所述重新投影至少部分地基于改变的查看方向和与所述捕捉的图像相关联的视域；
使用所述重新投影将所述部分从球面透视投影转换为平面透视投影以减少所述部分中的垂直视差；以及
由所述计算装置生成基于所述重新投影的更新视图，所述更新视图被配置为校正失真并在所述部分中为所述头戴式显示器的用户提供立体效果；以及
在所述头戴式显示器中触发所述更新视图，所述更新视图包括与所述改变的查看方向相对应的立体全景场景。
2.根据权利要求1所述的方法，其中，所述重新投影还包括重建与来自绕圆形形状布置的多个视点的所述图像集合相关联的查看光线的部分。
3.根据权利要求1所述的方法，其中，使用相机架捕捉所述图像集合，所述相机架为圆形并且被配置成在捕捉期间以平行于所述相机架的可旋转基座的弧形运动移动，所述相机架包括基座、安装板和至少一个立体相机对，所述至少一个立体对包括：
第一相机，所述第一相机被置于所述安装板上并且被配置为指向查看方向，所述查看方向与所述安装板的边缘相切，并且被布置成指向向左方向；和
第二相机，所述第二相机被以与所述第一相机并排方式置于所述安装板上并且被置于离所述第一相机的瞳孔间距离处，所述第二相机被布置成指向查看方向，所述查看方向与所述安装板的边缘相切，并且被布置成指向向右方向。
4.根据权利要求3所述的方法，其中，所述相机架配置有10厘米至75厘米的直径。
5.根据权利要求3所述的方法，其中，所述瞳孔间距离包括5厘米至6.5厘米。
6.根据权利要求1所述的方法，其中，与所述捕捉的图像相关联的所述视域为一百八十度。
7.根据权利要求1所述的方法，其中，所述图像集合对应于渲染的计算机图形(CG)内容。
8.一种计算机实现系统，包括：
至少一个处理器；
存储器，所述存储器存储指令，当被所述至少一个处理器执行时，所述指令使得所述系统执行下列操作，包括：
基于捕捉的图像在计算装置处定义图像集合；
在所述计算装置处接收与虚拟现实(VR)头戴式显示器的用户相关联的查看方向；
在所述计算装置处接收所述查看方向改变的指示；
响应于接收到所述指示；
由所述计算装置配置所述图像集合的部分的重新投影，所述重新投影至少部分地基于改变的查看方向和与所述捕捉的图像相关联的视域；
使用所述重新投影将所述部分从球面透视投影转换为平面透视投影以减少所述部分中的垂直视差；以及
由所述计算装置生成基于所述重新投影的更新视图，所述更新视图被配置为校正失真并在所述部分中为所述头戴式显示器的用户提供立体效果；以及
在所述头戴式显示器中触发所述更新视图，所述更新视图包括与所述改变的查看方向相对应的立体全景场景。
9.根据权利要求8所述的系统，其中，所述重新投影还包括重建与来自绕圆形形状布置的多个视点的所述图像集合相关联的查看光线的部分。
10.根据权利要求8所述的系统，其中，使用相机架捕捉所述图像集合，所述相机架为圆形并且被配置成在捕捉期间以平行于所述相机架的可旋转基座的弧形运动移动，所述相机架包括基座、安装板和至少一个立体相机对，所述至少一个立体对包括：
第一相机，所述第一相机被置于所述安装板上并且被配置为指向查看方向，所述查看方向与所述安装板的边缘相切，并且被布置成指向向左方向；和
第二相机，所述第二相机被以与所述第一相机并排方式置于所述安装板上并且被置于离所述第一相机的瞳孔间距离处，所述第二相机被布置成指向查看方向，所述查看方向与所述安装板的边缘相切，并且被布置成指向向右方向。
11.根据权利要求10所述的系统，其中，所述相机架配置有10厘米至75厘米的直径。
12.根据权利要求10所述的系统，其中，所述瞳孔间距离包括5厘米至6.5厘米。
13.根据权利要求8所述的系统，其中，与所述捕捉的图像相关联的所述视域为一百八十度。
14.根据权利要求8所述的系统，其中，所述图像集合对应于渲染的计算机图形(CG)内容。
CN201680020120.5A 2015-05-27 2016-05-25 全景虚拟现实内容的捕捉和渲染 Active CN107431803B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/723,178 US9877016B2 (en) 2015-05-27 2015-05-27 Omnistereo capture and render of panoramic virtual reality content
US14/723,178 2015-05-27
US14/723,151 US10038887B2 (en) 2015-05-27 2015-05-27 Capture and render of panoramic virtual reality content
US14/723,151 2015-05-27
PCT/US2016/034077 WO2016191467A1 (en) 2015-05-27 2016-05-25 Capture and render of panoramic virtual reality content

Publications (2)

Publication Number Publication Date
CN107431803A CN107431803A (zh) 2017-12-01
CN107431803B true CN107431803B (zh) 2019-07-26

Family

ID=56108721

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680020120.5A Active CN107431803B (zh) 2015-05-27 2016-05-25 全景虚拟现实内容的捕捉和渲染
CN201680019971.8A Active CN107431796B (zh) 2015-05-27 2016-05-25 全景虚拟现实内容的全方位立体式捕捉和渲染

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680019971.8A Active CN107431796B (zh) 2015-05-27 2016-05-25 全景虚拟现实内容的全方位立体式捕捉和渲染

Country Status (5)

Country Link
EP (3) EP3304894A1 (zh)
JP (2) JP6511539B2 (zh)
KR (2) KR101991080B1 (zh)
CN (2) CN107431803B (zh)
WO (2) WO2016191464A1 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods
CN108696735A (zh) * 2017-03-01 2018-10-23 中兴通讯股份有限公司 虚拟现实眼镜、智能终端及导视实现和控制方法
GB2560185A (en) * 2017-03-03 2018-09-05 Nokia Technologies Oy Method and apparatus for a multi-camera unit
US11182639B2 (en) * 2017-04-16 2021-11-23 Facebook, Inc. Systems and methods for provisioning content
US10885711B2 (en) 2017-05-03 2021-01-05 Microsoft Technology Licensing, Llc Virtual reality image compositing
ES2695250A1 (es) * 2017-06-27 2019-01-02 Broomx Tech S L Procedimiento para proyectar contenidos audiovisuales inmersivos
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
KR102336997B1 (ko) 2017-08-16 2021-12-08 삼성전자 주식회사 서버, 디스플레이장치 및 그 제어방법
CN107396077B (zh) * 2017-08-23 2022-04-08 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
CN111164969B (zh) * 2017-09-28 2021-11-02 Lg电子株式会社 使用拼接和重新投影相关元数据发送或接收6dof视频的方法和装置
KR102138413B1 (ko) * 2017-12-18 2020-07-27 숭실대학교산학협력단 다수의 레이저 레이더를 거치하는 프레임 및 이를 포함하는 레이저 레이더 시스템과, 상기 다수의 레이저 레이더의 센싱 데이터 좌표 통합 방법
US10585294B2 (en) * 2018-02-19 2020-03-10 Microsoft Technology Licensing, Llc Curved display on content in mixed reality
US11297298B2 (en) 2018-02-27 2022-04-05 Lg Electronics Inc. Method for transmitting and receiving 360-degree video including camera lens information, and device therefor
US10827164B2 (en) * 2018-03-01 2020-11-03 Google Llc Active LCD shutters for virtual and augmented reality low persistence
US10582181B2 (en) * 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
US11044456B2 (en) 2018-05-31 2021-06-22 Electronics And Telecommunications Research Institute Image processing method and image player using thereof
US10194114B1 (en) * 2018-06-22 2019-01-29 Polycom, Inc. Split screen display without distortion
KR102073230B1 (ko) * 2018-06-28 2020-02-04 주식회사 알파서클 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
KR102491939B1 (ko) 2018-08-24 2023-01-26 삼성전자주식회사 전방향 이미지를 프로세싱하기 위한 방법 및 장치
CN109248428A (zh) * 2018-09-17 2019-01-22 武汉中奥互联科技有限公司 一种网球运动轨迹处理系统的动态分析方法
CN109464801A (zh) * 2018-10-29 2019-03-15 奇想空间（北京）教育科技有限公司 游戏设备
KR102168318B1 (ko) * 2018-12-03 2020-10-22 동국대학교 산학협력단 혼합현실용 디스플레이 장치 및 방법
EP3667414B1 (en) * 2018-12-14 2020-11-25 Axis AB A system for panoramic imaging
EP3691249A1 (en) 2019-01-29 2020-08-05 Koninklijke Philips N.V. Image signal representing a scene
EP3690822A1 (en) * 2019-01-30 2020-08-05 Koninklijke Philips N.V. Image representation of a scene
US11194438B2 (en) 2019-05-09 2021-12-07 Microsoft Technology Licensing, Llc Capture indicator for a virtual world
CN112307848B (zh) * 2019-08-01 2024-04-30 惠普发展公司，有限责任合伙企业 检测视频会议中的欺骗说话者
US12063344B2 (en) * 2019-09-13 2024-08-13 Sony Group Corporation Reproduction device, reproduction method, and recording medium
KR102135001B1 (ko) * 2019-10-21 2020-07-16 주식회사 알파서클 화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치
CN111131767B (zh) * 2019-11-27 2021-06-29 重庆特斯联智慧科技股份有限公司 一种场景三维成像安防监视系统及使用方法
CN111314687B (zh) * 2019-11-28 2021-06-25 歌尔光学科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
US11150470B2 (en) 2020-01-07 2021-10-19 Microsoft Technology Licensing, Llc Inertial measurement unit signal based image reprojection
US11917119B2 (en) 2020-01-09 2024-02-27 Jerry Nims 2D image capture system and display of 3D digital image
US12108015B2 (en) 2020-01-09 2024-10-01 JUC Holdings Limited 2D digital image capture system, frame speed, and simulating 3D digital image sequence
US12106501B2 (en) 2020-01-09 2024-10-01 JUC Holdings Limited Subsurface imaging and display of 3D digital image and 3D image sequence
CN111292336B (zh) * 2020-01-21 2023-06-06 宁波大学 基于分段式球面投影格式的全向图像无参考质量评价方法
CN111569432B (zh) * 2020-05-19 2021-01-15 北京中科深智科技有限公司 一种从游戏中捕捉6DoF场景图像的系统及方法
EP4162321A4 (en) * 2020-06-03 2024-07-24 Jerry Nims 2D IMAGE CAPTURE SYSTEM AND DISPLAY OF A 3D DIGITAL IMAGE
CN116097167A (zh) * 2020-06-03 2023-05-09 杰瑞·尼姆斯 二维图像捕获系统和三维数字图像的传输和显示
CN111954054B (zh) * 2020-06-05 2022-03-04 筑觉绘(上海)科技有限公司 图像处理方法、系统、存储介质及计算机设备
CN114390262A (zh) * 2020-10-21 2022-04-22 中强光电股份有限公司 用于拼接三维球面全景影像的方法及电子装置
CN112804511B (zh) * 2021-01-04 2022-04-01 烽火通信科技股份有限公司 一种动态渲染全景视频的方法和装置
CN112907447B (zh) * 2021-02-08 2022-07-01 杭州海康威视数字技术股份有限公司 天空云图的拼接及用于确定多摄像机安装位置的方法
US11516517B2 (en) 2021-03-19 2022-11-29 Sm Tamjid Localized dynamic video streaming system
CN113645462B (zh) * 2021-08-06 2024-01-16 深圳臻像科技有限公司 一种3d光场的转换方法及装置
CN113706680B (zh) * 2021-09-02 2023-09-19 长春理工大学 视觉显著性驱动的vr电影画面渲染像素抗失真处理方法
CN114500971B (zh) * 2022-02-12 2023-07-21 北京蜂巢世纪科技有限公司 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质
KR20240064332A (ko) * 2022-11-04 2024-05-13 네이버랩스 주식회사 3차원 모델을 이용한 거리뷰 영상 사이의 특징점 매칭쌍 자동 취득 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545702B1 (en) * 1998-09-08 2003-04-08 Sri International Method and apparatus for panoramic imaging

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5020878A (en) * 1989-03-20 1991-06-04 Tektronix, Inc. Method and apparatus for generating a binocular viewing model automatically adapted to a selected image
GB9124925D0 (en) * 1991-11-23 1992-01-22 Kew Michael J Simulated three-dimensional imaging system
JP3600422B2 (ja) * 1998-01-30 2004-12-15 株式会社リコー ステレオ画像表示方法及び装置
US6801334B1 (en) * 1998-05-28 2004-10-05 Fuji Photo Film Co., Ltd. Index print producing method, image processing system, image processing method and image processing device
EP1048167B1 (en) * 1998-09-17 2009-01-07 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
US7129971B2 (en) * 2000-02-16 2006-10-31 Immersive Media Company Rotating scan self-cleaning camera
JP3557168B2 (ja) * 2000-11-27 2004-08-25 三洋電機株式会社 レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2005277825A (ja) * 2004-03-25 2005-10-06 Hitachi Ltd マルチカメラ映像表示装置
WO2006110584A2 (en) * 2005-04-07 2006-10-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
JP2006350852A (ja) * 2005-06-17 2006-12-28 Nabura:Kk 画像生成システム
US7742046B2 (en) * 2005-08-31 2010-06-22 Kabushiki Kaisha Toshiba Method, device, and program for producing elemental image array for three-dimensional image display
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
JP4987890B2 (ja) * 2009-02-05 2012-07-25 株式会社東芝 立体画像描画装置、立体画像描画方法、立体画像描画プログラム
CN102450010A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
JP2011205573A (ja) * 2010-03-26 2011-10-13 Sony Corp 制御装置、カメラシステム及びプログラム
JP2012160904A (ja) * 2011-01-31 2012-08-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び撮像装置
KR101824439B1 (ko) * 2011-02-16 2018-02-02 주식회사 스테레오피아 모바일 스테레오 카메라 장치 및 그 촬영방법
US9007430B2 (en) * 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US9479697B2 (en) * 2012-10-23 2016-10-25 Bounce Imaging, Inc. Systems, methods and media for generating a panoramic view
KR102181735B1 (ko) * 2013-02-04 2020-11-24 수오메트리 아이엔씨. 옴니스테레오 이미징
US9398215B2 (en) * 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545702B1 (en) * 1998-09-08 2003-04-08 Sri International Method and apparatus for panoramic imaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jérôme Ardouin等.Stereoscopic rendering of virtual environments with wide Field-of-Views up to 360°.《2014 IEEE Virtual Reality (VR)》.2014,全文.

Also Published As

Publication number Publication date
EP3410388A3 (en) 2019-02-27
JP2018524832A (ja) 2018-08-30
EP3304894A1 (en) 2018-04-11
JP6511539B2 (ja) 2019-05-15
KR20170123328A (ko) 2017-11-07
JP6427688B2 (ja) 2018-11-21
KR20170123667A (ko) 2017-11-08
CN107431796A (zh) 2017-12-01
CN107431803A (zh) 2017-12-01
KR101991080B1 (ko) 2019-06-19
EP3304897A1 (en) 2018-04-11
CN107431796B (zh) 2019-02-12
JP2018522429A (ja) 2018-08-09
WO2016191467A1 (en) 2016-12-01
WO2016191464A1 (en) 2016-12-01
KR101944050B1 (ko) 2019-04-17
EP3410388A2 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
CN107431803B (zh) 全景虚拟现实内容的捕捉和渲染
US10375381B2 (en) Omnistereo capture and render of panoramic virtual reality content
US10244226B2 (en) Camera rig and stereoscopic image capture
US10038887B2 (en) Capture and render of panoramic virtual reality content
US20170363949A1 (en) Multi-tier camera rig for stereoscopic image capture
US10084962B2 (en) Spherical video stabilization based on accelerometer data
CN106797460B (zh) 三维视频的重建
CN207369210U (zh) 用于立体视觉图像捕获的多层相机装置
JP2019511016A (ja) フレームのパノラマフレームへのステッチング
US20160191891A1 (en) Video capturing and formatting system
Gurrieri The omnidirectional acquisition of stereoscopic images of dynamic scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant