CN106796390A - 用于立体成像的具有大视场的相机设备 - Google Patents

用于立体成像的具有大视场的相机设备 Download PDF

Info

Publication number
CN106796390A
CN106796390A CN201480082481.3A CN201480082481A CN106796390A CN 106796390 A CN106796390 A CN 106796390A CN 201480082481 A CN201480082481 A CN 201480082481A CN 106796390 A CN106796390 A CN 106796390A
Authority
CN
China
Prior art keywords
camera
visual field
camera apparatus
central
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480082481.3A
Other languages
English (en)
Inventor
M·涅梅拉
K·格隆霍姆
A·鲍德温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN106796390A publication Critical patent/CN106796390A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明涉及一种相机设备。该相机设备具有观看方向并且包括多个相机，至少一个中央相机和至少两个外围相机。每个所述相机具有相应的视场，并且每个所述视场覆盖相机设备的观看方向。相机相对于彼此定位，使得中央相机和外围相机形成具有自然差距和立体视场的至少两个立体相机对，每个所述立体视场覆盖相机设备的观看方向。相机设备具有中央视场和外围视场，该中央视场包括立体相机对的组合的立体视场，该外围视场包括相机的至少部分在中央视场外的视场。

Description

用于立体成像的具有大视场的相机设备
背景技术
静止和运动图像的数字立体观看已经变得普遍，并且用于观看3D(三维)电影的装备更广泛地可用。剧院提供基于利用特殊的眼镜观看电影的3D电影，该特殊的眼镜确保针对每一帧的电影左眼和右眼观看不同的图像。有3D能力的玩家和电视机，相同的方法已经带到家庭使用。在实践中，电影由对相同场景的两幅视图(分别针对左眼和右眼)组成。这些视图是通过使用直接创建适合立体观看的该内容的特殊立体相机拍摄电影而创建的。当视图呈现给两只眼睛时，人类视觉系统创建了场景的3D视图。该技术的缺点在于观看区域(电影屏幕或电视)仅占据视场的一部分，因此3D视图的体验受到限制。
为了更逼真的体验，已经创建了占据整个视场的较大观看区域的设备。存在旨在用于佩戴在头上的立体观看镜，使得它们用小屏幕和镜头布置覆盖眼睛并显示针对左眼和右眼的图像。这种技术的优点还在于，与通常用于3D观看的相当大的电视机相比，它可以在小空间中使用，甚至是在移动时。
因此，需要能够记录数字图像/视频以便观看具有广泛视场的3D视频或图像的解决方案。
发明内容
现在已经发明了一种实现该方法的改进方法和技术装备，借此缓解了上述问题。本发明的各个方面包括以独立权利要求中所述的特征为特征的相机装置。在从属权利要求中公开了本发明的各种实施例。
本说明书涉及相机设备。相机设备具有观看方向并且包括多个相机(至少一个中央相机和至少两个外围相机)。每个所述相机具有相应的视场，并且每个所述视场覆盖相机设备的观看方向。相机相对于彼此定位，使得中央相机和外围相机形成具有自然差距和立体视场的至少两个立体相机对，每个所述立体视场覆盖相机设备的观看方向。相机设备具有中央视场和外围视场，该中央视场包括立体相机对的组合的立体视场，该外围视场包括相机的至少部分在中央视场外的视场。
相机设备可以包括在基本上对应于以下中的至少一些的定位处的相机：人类头部在正常解剖姿势下的眼睛定位、人类头部在最大屈曲解剖姿势下的眼睛定位、人类头部在最大伸展解剖姿势下的眼睛定位、和/或人类头部在最大左右旋转解剖姿势下的眼睛定位。
相机设备可以包括至少三个相机，这些相机被设置成使得它们在相应相机的视场方向上的光轴落入半球视场内，该相机设备不包括其光轴在半球视场外的相机，并且该相机设备具有覆盖整个球体的总视场。
上述描述可以描述相同的相机设备或不同的相机设备。这样的照相机设备可以具有它们具有在相机设备的观看方向上设置的相机的属性，即它们的视场不是对称的，例如不以相同质量或相等数目的相机覆盖整个球体。这可能带来的好处是，可以使用更多的相机来捕获在观看方向上和周围(中央视场)上的视觉上重要的区域，同时以较低的质量覆盖其余的，例如没有立体图像能力。同时，相机的这种不对称放置可能在设备的背面留下用于电子和机械结构的空间。
这里描述的相机设备可以具有带有广角镜头的相机。相机设备可能适合于创建立体观看图像数据，其包括用于多个相机的多个视频序列。相机设备可以使得至少三个相机中的任何一对相机具有对应于用于创建立体图像的人眼的视差(差距)的视差。至少三个相机可以重叠视场，使得由所述至少三个相机捕获每个部分的重叠区域被定义，并且这样的重叠区域可以用于形成用于立体观看的图像。
本发明还涉及观看立体图像，例如立体视频图像，也称为3D视频。使用具有重叠视场的至少三个相机来捕获场景，使得该场景的区域被至少三个相机覆盖。在观看者处，从多个相机中选择相机对，以创建如果它们位于相机源的位置时与用户眼睛的位置最佳匹配的立体相机对。也就是说，选择相机对，使得由相机源产生的差距类似于用户的眼睛在该位置处本有的差距。如果用户倾斜他的头部，或者视图方向被改变，则可以形成一对新的对，例如通过切换另一个相机。然后，观看者设备随后通过为每个图像的每个区域挑选最佳的来源来形成用于左眼和右眼的视频帧的图像，以获得逼真的立体差距。
附图说明
在下文中，将参照附图更详细地描述本发明的各种实施例，其中
图1a、1b、1c和1d示出了用于对用户形成立体图像的设置；
图2a示出了用于立体观看的系统和装置；
图2b示出了用于立体观看的立体相机设备；
图2c示出了用于立体观看的头戴式显示器；
图2d图示了相机；
图3a、3b和3c图示了从图像源形成针对第一眼和第二眼的立体图像；
图4a和4b示出了用作图像源的相机设备的示例；
图5a、5b、5c和5d示出了用于立体观看的源和目标坐标系的使用；
图6a、6b、6c、6d、6e、6f、6g和6h示出了用于立体图像捕获的示例性相机设备；
图7a和7b图示了用于立体观看的图像源数据的传输；
图8示出了用于立体观看的方法的流程图。
具体实施方式
在下文中，将在具有3D眼镜的立体观看的上下文中描述本发明的若干实施例。然而，应当注意，本发明不限于任何特定的显示技术。事实上，不同的实施例在需要立体观看的任何环境中都有应用，例如电影和电视。此外，虽然说明书使用某些相机设置作为示例，但是也可以使用不同的相机设置。
图1a、1b、1c和1d示出了用于对用户形成立体图像的设置。在图1a中，示出了人们使用双眼E1和E2观看两个球体A1和A2的情况。球体A1比球体A2更靠近观看者，到第一眼E1的相应距离为LE1,A1和LE1,A2。不同的物体驻留在由坐标系SZ、SY和SZ定义的各自的(x,y,z)坐标的空间中。人的眼睛之间的距离d12可以平均约为62-64mm，并且在人与人之间在55和74mm之间变化。该距离被称为视差(parallax)，人的视觉的立体视图基于该视差。观看方向(光轴)DIR1和DIR2通常基本上是平行的，可能具有与平行的小的偏差，并且限定了眼睛的视场。用户的头部具有相对于周围环境的取向(头部取向)，其最容易由眼睛在直视前方时的共同方向定义。即，头部取向指示关于用户所在场景的坐标系的头部的偏摆、俯仰和滚转。
当观看者的身体(胸部)不移动时，观看者的头部取向受到颈椎运动的正常解剖范围的限制。
在图1a的设置中，球体A1和A2处于双眼的视场中。眼睛与球体之间的中心点O12在同一条线上。即，从该中心点，球体A2在球体A1的后面。然而，每只眼睛均看到A1后面的球体A2的一部分，因为球体与任何一只眼睛都不在所视的同一条线上。
在图1b中，示出了一设置，其中眼睛已被被相机C1和C2替代，且相机C1和C2定位在图1a中眼睛所处的位置处。该设置的距离和方向在其他方面也相同。自然地，图1b的设置的目的是能够拍摄球体A1和A2的立体图像。由图像捕捉产生的两个图像是FC1和FC2。“左眼”图像FC1示出了在球体A1的图像SA1的左侧上部分可见的球体A2的图像SA2。“右眼”图像FC2示出了在球体A1的图像SA1的右侧上部分可见的球体A2的图像SA2。右图像与左图像之间的差异被称为差距(disparity)，且该差距是人类视觉系统确定深度信息并创建场景的3D视图的基本机制，其可用于创建3D图像的错觉。
在图1b的该设置中，其中眼间距离对应于图1a中的眼睛的距离，相机对C1和C2具有自然视差，即其具有在相机的两个图像中产生自然差距的属性。即使形成立体相机对的两个相机之间的距离稍微小于或大于人眼之间的正常距离(视差)，例如基本上在40mm与100mm之间或甚至30mm与120mm之间，自然差距也可被理解为被创建。
在图1c中，示出了该3D错觉的创建。由相机C1和C2捕获的图像FC1和FC2分别使用显示器D1和D2显示给眼睛E1和E2。图像之间的差距由人类视觉系统处理，从而创造出对深度的理解。即，当左眼看到球体A1的图像SA1的左侧上的球体A2的图像SA2，并且右眼分别看到右侧上的A2的图像时，人类视觉系统产生了以下认识：在三维世界中的球体V1后面存在球体V2。这里，需要理解的是，图像FC1和FC2也可以是合成的，即由计算机创建的。如果它们携带差距信息，合成图像也将被人类视觉系统视为三维的。即，可以形成一对计算机生成的图像，使得它们可以用作立体图像。
图1d示出了将立体图像显示给眼睛的原理如何可以用来创建具有三维的错觉的3D电影或虚拟现实场景。图像FX1和FX2用立体相机捕获或从模型中计算，使得图像具有适当的差距。通过使用显示器D1和D2以对双眼显示每秒大量的帧(例如30帧)，使得左眼与右眼之间的图像具有差距，人类视觉系统将创建移动的三维图像的认知。当相机转动或者用来计算合成图像的观看方向发生变化时，图像的变化会创建观看方向正在变化的错觉，即观看者的头部正在旋转。观看方向(即头部取向)可以例如由安装在头部上的取向检测器或者由诸如操纵杆或鼠标之类的控制设备确定的虚拟取向来确定为头部的实际取向，该控制设备可以用来操纵观看方向，而不用用户实际上移动他的头。即，术语“头部取向”可以用于指代用户的头部的实际的物理取向和其变化，或者可以用于指代由计算机程序或计算机输入设备确定的用户视图的虚拟方向。
图2a示出了用于立体观看的系统和装置，即用于3D视频和3D音频数字捕获和回放。该系统的任务是从特定位置捕获足够的视觉和听觉信息，使得一个或多个物理上位于不同位置的观看者以及可能在将来的时间可以实现令人信服地再现在该位置的体验或存在。这样的再现需要比由单个相机或麦克风捕获到的更多的信息，以便观看者可以使用他们的眼睛和他们的耳朵来确定场景内的对象的距离和位置。如在图1a至1d的上下文中所解释的，为了创建具有差距的一对图像，使用两个相机源。以类似的方式，对于能够感测到声音方向的人类听觉系统，使用至少两个麦克风(通过记录两个音频通道创建通常所知的立体声)。人类听觉系统可以例如在音频信号的计时差异中检测提示，以检测声音的方向。
图2a的系统可以由三个主要部分组成：图像源、服务器和呈现(rendering)设备。视频捕获设备SRC1包括具有重叠视场的多个(例如，8个)相机CAM1、CAM2……CAMN，使得从至少两个相机捕获围绕视频捕获设备的视图的区域。设备SRC1可以包括多个麦克风以捕获源自不同方向的音频的计时和相位差。该设备可以包括高分辨率取向传感器，使得可以检测和记录多个相机的取向(观看方向)。设备SRC1包括或功能上连接到计算机处理器PROC1和存储器MEM1，该存储器包括用于控制捕获设备的计算机程序PROGR1代码。由设备捕获的图像流可以存储在存储器设备MEM2上以用于另一设备，例如观看器，和/或使用通信接口COMM1发送到服务器。
需要理解的是，虽然这里描述了一个8相机立方体设置作为系统的一部分，但是可以使用另一相机设备来代替系统的一部分。
可替代地或除了创建图像流的视频捕获设备SRC1之外，合成图像的一个或多个源SRC2可以存在于系统中。合成图像的这种源可以使用虚拟世界的计算机模型来计算其发送的各种图像流。例如，源SRC2可以计算与位于虚拟观看定位的N个虚拟相机对应的N个视频流。当这样一组合成的视频流被用于观看时，观看者可以看到三维虚拟世界，如前面对于图1d所解释的。设备SRC2包括或者功能上连接到计算机处理器PROC2和存储器MEM2，该存储器包括用于控制合成源设备SRC2的计算机程序PROGR2代码。由设备捕获到的图像流可以存储在存储器设备MEM5(例如存储卡CARD1)上，以用于另一设备，例如观看器，或者使用通信接口COMM2发送到服务器或观看器。
除了捕获设备SRC1之外，还可以存在服务于网络的存储、处理和数据流。例如，可以存在存储来自捕获设备SRC1或计算设备SRC2的输出的服务器SERV或多个服务器。该设备包括或者功能上连接到计算机处理器PROC3和存储器MEM3，该存储器包括用于控制服务器的计算机程序PROGR3代码。服务器可以通过有线或无线网络连接或二者而连接到源SRC1和/或SRC2，以及通过通信接口COMM3连接到观看器设备VIEWER1和VIEWER2。
为了观看所捕获或创建的视频内容，可能有一个或多个观看器设备VIEWER1和VIEWER2。这些设备可以具有呈现模块和显示模块，或者这些功能可以组合在单个设备中。这些设备可以包括或者功能上连接到计算机处理器PROC4和存储器MEM4，该存储器包括用于控制观看设备的计算机程序PROGR4代码。观看器(回放)设备可以由用于从服务器接收视频数据流并用于解码视频数据流的数据流接收器组成。数据流可以通过通信接口COMM4在网络连接上，或者从诸如存储卡CARD2之类的存储器设备MEM6而被接收。观看器设备可以具有图形处理单元，其用于将数据处理为如图1c和1d所描述的用于观看的适当格式。观看器VIEWER1包括用于观看所呈现的立体视频序列的高分辨率立体图像头戴式显示器。头戴式设备可以具有取向传感器DET1和立体声音频耳机。观看器VIEWER2包括启用了3D技术的显示器(用于显示立体视频)，并且呈现设备可以具有与其连接的头部取向检测器DET2。任何设备(SRC1、SRC2、SERVER、RENDERER、VIEWER1、VIEWER2)均可以是计算机或便携式计算设备，或者连接到这些设备。这样的呈现设备可以具有用于执行根据本文中描述的各种示例的方法的计算机程序代码。
图2b示出了用于立体观看的相机设备。相机包括三个或更多个相机，被配置成用于创建左眼图像和右眼图像的相机对，或者可以被布置成这样的对。相机之间的距离可以对应于人眼之间的通常距离。相机可以被布置成使得它们在它们的视场中具有显着的重叠。例如，可以使用180度或更大的广角镜头，并且可以存在3、4、5、6、7、8、9、10、12、16或20个相机。相机可以在整个视场球体范围内规则地或不规则地间隔开，或者它们可以仅覆盖整个球体的一部分。例如，可以有三个相机布置成三角形并且具有朝向三角形的一边的不同观看方向，使得所有三个相机覆盖观看方向中间的重叠区域。作为另一个示例，8个相机具有广角镜头并且规则地布置在虚拟立方体的拐角并且覆盖整个球体，使得整个或基本上整个球体在所有方向上被至少3或4个相机覆盖。在图2b中，示出了三个立体相机对。
可以使用具有其他类型相机布局的相机设备。例如，可以使用所有相机都在一个半球中的照相机设备。相机的数目可以是例如3、4、6、8、12或更多。相机可以被放置以创建中央视场，其中立体图像可以由两个或更多个相机的图像数据和外围(极端)视场形成，在该外围视场中一个相机覆盖场景并且只有正常的非立体图像可以被形成。可以在本说明书中稍后描述可以在系统中使用的不同相机设备的示例。
图2c示出了用于立体观看的头戴式显示器。头戴式显示器包含两个屏幕部分或两个屏幕DISP1和DISP2，用于显示左眼和右眼图像。显示器靠近眼睛，因此透镜用于使图像容易观看并且用于将图像扩展到尽可能多地覆盖眼睛的视场。该设备附接到用户的头部，使得即使用户转动头部，该设备仍然保持在原位。该设备可以具有用于确定头部移动和头部方向的取向检测模块ORDET1。这里要注意的是，在该类型的设备中，跟踪头部运动可以完成，但是由于显示器覆盖大面积的视场，所以不需要眼睛运动检测。头部取向可能与用户头部的实际物理取向相关，并且可以由传感器跟踪以用于确定用户头部的实际取向。可替代地或附加地，头部取向可以与用户的观看方向的虚拟取向相关，由计算机程序或者由诸如操纵杆之类的计算机输入设备控制。即，用户可能能够用输入设备改变所确定的头部取向，或者计算机程序可以改变观看方向(例如在游戏中，游戏程序可以代替或除了真实的头部取向之外控制所确定的头部取向)。
图2d示出了相机CAM1。相机具有相机检测器CAMDET1，其包括用于感测撞击传感器元件的光的强度的多个传感器元件。相机具有镜头OBJ1(或多个镜头的镜头布置)，该镜头被定位成使得击中传感器元件的光穿过镜头传播到传感器元件。相机检测器CAMDET1具有作为多个传感器元件的中点的标称中心点CP1，例如对于矩形传感器是对角线的交叉点。镜头具有标称中心点PP1，并且例如位于镜头的对称轴线上。相机的取向的方向由穿过相机传感器的中心点CP1的线和镜头的中心点PP1定义。相机的方向是沿着该线指向从相机传感器到镜头的方向的矢量。相机的光轴被理解为这条线CP1-PP1。
上述系统可以如下工作。首先用捕获设备记录时间同步的视频、音频和取向数据。这可以由如上所述的多个并发视频和音频流组成。然后将它们立即或稍后传送到存储装置和处理网络以用于进行处理并转换成适合于随后传送到回放设备的格式。该转换可以涉及音频和视频数据的后处理步骤，以便提高质量和/或减少数据量，同时将质量保持在期望的水平。最后，每个回放设备从网络接收数据流，并将其呈现为用头戴式显示器和耳机可以体验的原始位置的立体观看再现。
通过如下所述创建用于观看的立体图像的新颖方式，用户可能能够在多个方向上转动他们的头部，并且回放设备能够创建高频(例如，每秒60帧)立体视频和对应于该特定取向的场景的音频视图，如它将从原始记录的位置出现一样。也可以使用创建用于从相机数据观看的立体图像的其他方法。
图3a、3b和3c示出了通过使用动态源选择和动态拼接位置从图像源形成针对第一眼和第二眼的立体图像。为了为特定的头部取向创建立体视图，使用来自至少2个不同相机的图像数据。通常，单个相机不能覆盖整个视场。因此，根据本解决方案，可以使用多个相机通过将来自不同相机的图像的部分拼接在一起来创建用于立体观看的两个图像。通过拼接进行图像创建，使得图像具有适当的差距，使得可以创建3D视图。这将在下面进行解释。
为了使用最好的图像源，使用相机和眼睛定位的模型。相机可以具有相机空间中的定位，并且将眼睛的定位投影到该空间中，使得眼睛出现在相机中。逼真(自然)的视差(眼睛之间的距离)被采用。例如，在所有相机位于球体上的设置中，眼睛也可以投射在球体上。解决方案首先选择最接近每只眼睛的相机。头戴式显示器可以具有每个眼睛的大视场，使得不存在覆盖眼睛的整个视图的单个图像(来自一个相机)。在该情况下，使用沿着在缝合在一起的两个图像中包含几乎相同内容的线将图像“拼接”在一起的已知技术，必须从多个图像的部分中创建视图。图3a示出了用于立体观看的两个显示器。来自相机IS2、IS3和IS6的图像数据将左眼显示器的图像放在一起。来自相机IS1、IS3和IS8的图像数据将右眼显示器的图像放在一起。要注意，在该示例中，相同的图像源IS3用于左眼和右眼图像两者，但是这样做是为了使双眼中的相机IS3不被相同的视图区域所覆盖。这确保了整个视图的恰当差距——即，在视图中的每个位置处，左眼与右眼图像之间存在差距。
针对每个头部取向动态地改变缝合点，以使得从距离眼睛定位最近的相机拍摄到的视图的中心区域周围的区域得以最大化。同时，要注意确保不同的相机用于针对不同眼睛的两个图像中相同的视图区域。在图3b中，对应于视图中相同区域的区域PXA1和PXA2分别取自不同的相机IS1和IS2。两个相机被间隔开，所以区域PXA1和PXA2显示了差距的效果，从而在人类视觉系统中产生3D错觉。接缝(可以更加可见)STITCH1和STITCH2也避免被放置在视图的中心，因为最近的相机通常会覆盖中心周围的区域。该方法导致动态选择用于根据头部取向为视图的某个区域创建图像的一对相机。可以使用检测到的头部取向对每个像素和每个帧进行选择。
缝合是用算法完成的，该算法确保所有缝合的区域具有适当的立体差距。在图3c中，左图像和右图像被缝合在一起，使得场景中的对象继续跨越来自不同相机源的区域。例如，场景中最近的立方体已经从一个相机取到左眼图像，并从两个不同的相机取到右眼视图，并缝合在一起。存在用于针对左眼和右眼的立方体的所有部分的不同的相机，这创建了差距(立方体的右侧在右眼图像中更加可见)。
相同的相机图像可以部分地用于左眼和右眼两者，但不能用于相同的区域。例如，只要那些视图区域不重叠，并且不同的相机(IS1和IS2)被用于在另一只眼睛中呈现那些区域，可以从相机IS3缝合左眼视图的右侧，并且可以从相同的相机IS3缝合右眼的左侧。换言之，相同的相机源(在图3a中，IS3)可用于左眼图像和右眼图像的立体观看。在传统的立体观看中，相反，左相机用于左图像，右相机用于右图像。因此，本方法允许更充分地利用源数据。这可以用于捕获视频数据，由此在不同的时间实例(具有一定的采样率，例如30帧每秒)的情况下由不同的相机捕获的图像被用于创建用于观看的左立体图像和右立体图像。这可以以这样一种方式使得在某一时间实例中捕获的相同相机图像用于创建针对左眼的图像的一部分和针对右眼的图像的一部分，该左眼图像和右眼图像被一起使用以形成用于观看的立体视频流的一个立体帧。在不同的时间实例中，可以使用不同的相机来创建视频的帧的左眼部分和右眼部分。这使得能够更有效地利用所捕获的视频数据。
图4a和4b示出了用作图像源的相机设备的示例。要创建一个完整的360度立体全景，视图的每个方向都需要从两个位置拍摄，一个用于左眼，一个用于右眼。在视频全景的情况下，需要同时拍摄这些图像以保持眼睛彼此同步。由于一个相机无法物理地覆盖整个360度视角(至少不会被另一个相机遮挡)，因此需要有多个相机来形成整个360度全景图。然而，附加的相机增加了系统的成本和尺寸，并增加了待处理的更多数据流。当将相机安装在球体或柏拉图实体(platonic solid)形状的布置上以获得更垂直的视场时，这个问题变得更加显着。然而，即使通过在诸如八面体或十二面体之类的球体或柏拉图实体上布置多个相机对，该相机对也不会在眼睛视图之间实现自由角视差。眼睛之间的视差固定在成对的各个相机的定位，即在与相机对垂直的方向上，不能实现视差。当使用允许围绕z轴自由旋转视角的头戴式显示器观看立体内容时，这是有问题的。
对多个相机覆盖捕获设备周围的每一个点的需求将需要捕获设备中的非常大量的相机。该解决方案中使用的一种新技术是利用具有180度(半球)或更大视场的镜头，并且在捕获设备周围布置仔细选择的相机。这种布置在图4a中示出，其中相机已被定位在虚拟立方体的拐角处，具有基本上指向从立方体的中心点背离的取向DIR_CAM1、DIR_CAM2……DIR_CAMN。自然地，可以使用其他形状，例如立方八面体的形状，或其他布置，甚至不规则的形状。
可以使用重叠的超宽视场镜头，使得相机可以用作相机对的左眼视图和另一相机对的右眼视图。这将所需相机的数目减少到一半。令人惊奇的优点是，以这种方式减少相机的数目增加了立体观看质量，因为它也允许在所有相机中任意选择左眼和右眼相机，只要它们彼此间具有足够的重叠视图。使用不同数目的相机和不同的相机布置(如球体和柏拉图实体)的这种技术使得能够为每只眼睛拾取最匹配的相机(如前所述)，从而实现眼睛之间的垂直视差。这是有益的，特别是当使用头戴式显示器观看内容时。所描述的相机设置以及先前描述的缝合技术可以允许以更高的保真度和更小的相机设备的费用来创建立体观看。
宽视野范围允许根据当前视图方向将来自一个相机的图像数据选择为不同眼睛的源数据，从而最小化所需的摄像机数目。在不需要设备上方和下方的高图像质量且视图取向也不从垂直于环轴倾斜的情况下，间隔可以在一个轴上的5个或更多个相机的环中。
如果需要高质量的图像和各个方向的自由视图倾斜，例如可以使用(具有6个相机的)立方体、(具有8个相机的)八面体或(具有12个相机的)十二面体。其中，八面体或立方体的拐角(图4a)是可能的选择，因为它可以在最小化相机数目而同时最大化可用于不同视图取向的相机对组合的数目之间提供良好的权衡。使用8个相机构建的实际相机设备如图4b所示。相机设备使用185度广角镜头，使得相机的总体覆盖范围超过4个完整球体。这意味着场景中的所有点都被至少4个相机覆盖。相机具有指向从设备的中心背离的取向DIR_CAM1、DIR_CAM2……DIR_CAMN。
即使使用较少的相机，也可以实现这样的过覆盖范围(例如具有6个相机和相同的185度镜头)，可以实现3倍的覆盖范围。当场景正在被呈现并且最接近的相机正在为特定像素而被选择时，该过覆盖范围意味着总是存在至少3个相机来覆盖一个点，并且因此可以形成至少3个用于该点的不同相机对。因此，根据观看取向(头部取向)，可以更容易地找到具有良好视差的相机对。
相机设备可以包括以相对于彼此的方式定位的规则或不规则设置的至少三个相机，所述至少三个相机中的任何一对相机具有差距以用于创建具有差距的立体图像。该至少三个相机具有重叠的视场，使得限定了针对由所述至少三个相机捕获的每个部分的重叠区域。至少三个相机中的任何一对相机可以具有对应于人眼的视差的视差，以用于创建立体图像。例如，一对相机之间的视差(距离)可以在5.0cm与12.0cm之间，例如大约6.5cm。由于与人的正常眼间距离的距离相似，这样的视差可以被理解为自然视差或接近自然视差。至少三个相机可以具有不同的光轴方向。重叠区域可以具有简单连接的拓扑，意味着其形成没有孔或基本没有孔的连续表面，从而可以在整个观看表面上或至少对于重叠区域的大部分获得差距。在一些相机设备中，该重叠区域可以是围绕相机设备的观看方向的中央视场。所述至少三个相机中的每一个的视场可以大致对应于半球。相机设备可以包括三个相机，该三个相机被布置成三角形设置，由此任何一对相机之间的光轴的方向形成小于90度的角度。该至少三个相机可以包括基本上位于虚拟立方体的拐角处的八个宽视场相机，并且每个相机具有基本上以规则方式从虚拟立方体的中心点到拐角的光轴方向，其中每个所述宽视场相机的视场至少为180度，使得整个球体视图的每个部分被至少四个相机覆盖(参见图4b)。
成人的瞳孔间距离(IPD)可以从52mm到到78mm变化，取决于人和性别。儿童的IPD自然比成人要小。人的大脑适应人的确切IPD，但在呈现立体视图时可以容忍相当的一些差异。对不同差距的宽容度也是个人的，但是例如，对于大多数成人来说，图像观看的80mm差距似乎不会导致立体视觉中的问题。因此，相机之间的最佳距离大概是成人的天然60-70mm的差距，但视观看者而定，本发明的工作距离范围更广，例如距离为40mm至100mm甚至从30mm到120mm。例如，可以使用80mm能够在相机设备中具有用于光学器件和电子器件的足够空间，但是对于立体观看而言，仍然能够具有真实的自然差距。
图5a和5b示出了用于立体观看的源和目标坐标系的使用。这里使用的技术是记录与重叠的视频数据同步的捕获设备取向，并且使用取向信息来校正呈现给用户的视图的取向——在回放期间有效地消除捕获设备的旋转——使得用户控制观看方向，而不是捕获设备。如果观看者反而想要体验捕获设备的原始动作，则可以禁用校正。如果观看者希望体验原始动作的极限版本——可以使用滤镜动态地应用校正，使得跟随原始动作，但是更慢或偏离正常取向的偏差较小。
图5a示出了相机设备的旋转以及相机坐标系的旋转。自然地，每个相机的视图和取向也在变化，因此，即使观看者保持与以前相同的取向，他也将看到向左旋转。如果同时，如图5b所示，用户将其头部向左旋转，产生的视图甚至将向左转得更多，这可能将观看方向改变180度。然而，如果相机设备的移动被消除，则用户的头部移动(参见图5c和5d)将是控制视图的头部移动。在水肺潜水员的例子中，无论潜水员看到什么，观看者都可以选择进行观看的对象。即，图像源的取向与用户的头部的取向一起使用以确定待向用户显示的图像。
在下文中，描述了使用4和12个相机之间的相机设备的相关多相机布置系列，例如广角鱼眼镜头。这种相机设备系列可有利于创建用于使用头戴式显示器进行观看的3D视频记录。
图6a示出了形成为模仿具有头部转动的人类视觉的相机设备。在目前情况下，我们已经观察到，当用头戴式显示器观看场景时，头部的运动的典型范围(身体的其余部分不转动)被限制在一个半球。即，使用头戴式显示器的人正在使用他们的头部在这个半球中将他们的头部转动，但是没有使用他们的身体以转向观看后面。由于眼睛的视场，头部的这种半球运动仍然使得完整的球体易于观察，但是以3D所观看到的该球体的面积只比半球略大，因为后方区域只由一只眼睛看见。
图6a示出了当头部分别向左、向中和向右旋转时的3D视觉610、611和612的范围。总的三维视场615稍大于水平面中的半圆。头部的背面可以看作区域620、621、622、630、631和632的组合(减去了3D区域)，导致2D观看区域625。由于受到限制的到背面的视图，除了无法看到他的头部内部(眼睛后面)，该人也不能看到在背面的小的楔形区域645，其也覆盖了头部外面的一个区域。当广角相机被放置在眼睛的位置650、661、652、653、654和655中的某些位置时，可以捕获类似的中央视场615和外围视场625以用于立体观看。
类似地，当头部向上和/或向下倾斜时，相机可以放置在眼睛的位置。例如，相机设备可以包括位于基本对应于正常解剖姿势下的人类头部的眼睛定位以及如上所述的最大左右旋转解剖姿势的位置处的相机，并且还包括在最大屈曲解剖姿势(向下倾斜)处、最大伸展解剖姿势(向上倾斜)的位置处的相机。眼睛定位也可以投射在半径为50-100mm、例如80mm的虚拟球体上，以使相机的间隔更紧凑(即减小相机设备的尺寸)。
当观看者的身体(胸部)不移动时，观看者的头部取向受到颈椎运动的正常解剖范围的限制。这些可以例如如下。头部可以通常能够围绕垂直轴线绕任一侧旋转90度。正常的屈曲范围可以高达90度，即，观看者可能能够将头部向下倾斜90度，这取决于他的个人解剖结构。伸展的正常范围可以高达70度，即，观看者可以能够将他的头部向上倾斜70度。横向屈曲的正常范围可以在任一侧高达45度或更小(例如30度)，即用户可能能够将头部向侧面倾斜最多30-45度。胸部(和下脊椎)的任何旋转、屈曲或伸展都可能增加这些正常的运动范围。
应注意的是，较早的解决方案没有利用人的正常中央视场(具有头部移动)的这种观察来优化用于3D观看的相机设备的相机的数目和定位。相机设备可以包括至少三个相机，这些相机被设置成使得它们在相应相机的视场的方向上的光轴落在半球视场内。这样的相机设置可以避免使相机具有位于所述半球视场外(即朝向背面)的光轴。然而，使用广角镜头，相机设备可以具有覆盖完整球体的总视场。例如，各个相机的视场可以大于180度，并且相机可以布置在相机设备中，使得其他相机不会遮挡其视场。
在图6b的示例性实施例中，4个相机661、662、663和664被布置在正六边形的4个相邻顶点上，其中光轴穿过六边形的中心点，其距离使得每个相机系统的焦点位于相邻相机不小于64mm且不大于90mm的距离处。
对于在两个相机之间的平均方向观看的3D图像，由图6b中的距离“a”(视差)引起的差距最大，并且匹配这些相机的焦点之间的距离。该距离通常略大于65mm，使得系统的平均差距与人眼分离的平均值相匹配。
当观看方向接近3D场的极端边缘时，由于系统的几何形状，视差(图6b中的距离“b”)——以及因此的人类深度感知——减小。超过预定的观看角度，由两个相机做出的3D视图被来自单个相机的2D视图代替。在该变化之前自然的差距减小是有利的，因为它导致从3D到2D观看的更平滑和更不明显的转换。
在相机系统后面存在不可见的区域，其准确程度由极端(外围)相机661和664的定位和方向以及它们的视场来确定。该区域是有利的，因为它表示可以用于例如在最终捕获的视觉环境中不可见的力学、电池、数据存储装置或其他支持装备的显着体积。
在图6a-6h的上下文中描述的相机设备具有观看方向，例如图6a和6b的相机设备具有直接向前的观看方向(在附图中是直立的)。相机设备具有多个相机，包括至少一个中央相机和至少两个外围相机。例如，在图6b中，相机662和663是中央相机，并且661和664是外围(极端)相机。每个相机具有由其光轴和镜头的视场限定的相应视场。在这些相机设备中，由于使用了广角镜头，所以每个所述视场都覆盖相机设备的观看方向。多个相机相对于彼此定位，使得中央和外围相机形成具有自然差距的至少两个立体相机对，使得根据观看方向可以使用适当的立体相机对以用于创建立体图像。每个立体相机对具有相应的立体视场。当相机适当地定位时，立体视场也覆盖相机设备的观看方向。整个相机设备具有中央视场615，这是立体相机对的立体视场的组合立体视场。中央视场615包括观看方向。相机设备还具有外围视场625，这是除了中央视场之外所有相机的视场的组合视场(即至少部分在中央视场之外)。作为示例，相机设备可以具有至少在包括相机设备的观看方向的一个平面中的相机设备的观看方向的两侧上延伸100到120度的中央视场。
在这里，中央视场可以被理解为可以使用由至少一个相机对捕获到的图像来形成立体图像的视场。外围视场是可以使用至少一个相机形成图像的视场，但由于不存在合适的立体相机对，所以不能形成立体图像。关于相机的视场的可行布置使得相机设备具有中心区域或中心点，并且多个相机使得其相应光轴相对于彼此不平行并穿过中心。即，相机从中心直接指向外。
立方八面体形状如图6c所示。立方八面体由六边形组成，六边形上方和下方具有等边三角形，这些三角形的顶点连接到六边形的最接近的顶点。所有顶点与其最近的相邻物均等地间隔开。上下三角形中的一个三角形可以相对于另一个三角形围绕垂直轴线旋转30度，以获得相对于中间六边形平面呈现对称性的改进的立方八面体形状。相机可以放置在立方八面体的前半球。四个相机CAM1、CAM2、CAM3、CAM4位于中间六边形的顶点，两个相机CAM5、CAM6位于其上方，并且三个相机CAM7、CAM8、CAM9位于其下方。
图6d中的示例性八相机系统被示为3D机械图，其中存在相机设备支撑结构。相机附接到具有针对相机的定位的支撑结构。在该相机系统中，立方八面体的下三角形已被旋转以在相机设备的观看方向(图6e中描绘的镜像)的半球内具有两个相机。
在图6a-6h的这个和其他相机设备中，相机设备具有多个相机，并且它们可以被放置在基本上球形的虚拟表面(例如，围绕观看方向DIR_VIEW的半球)。在这种布置中，全部或一些相机可以使它们各自的光轴穿过或近似穿过虚拟球体的中心点。如图6c和6d所示，相机设备可以具有第一中央相机CAM2和第二中央相机CAM1，其光轴DIR_CAM2和DIR_CAM1在水平面(中间六边形的平面)上移位并且具有自然的差距。还可以存在第一外围相机CAM3，其水平面上的光轴DIR_CAM3定向到中央相机DIR_CAM2的光轴的左侧，并且存在第二外围相机，其水平面上的光轴DIR_CAM4定向到中央相机DIR_CAM1的光轴的右侧。在这种布置中，第一外围相机和第一中央相机的光轴、第一中央相机和第二中央相机的光轴以及第二中央相机和第二外围相机的光轴分别形成大约60度角。在图6d的设置中，两个外围相机彼此相反(或大致相反)，并且它们的光轴对准，尽管在相反的方向。在这种布置中，对于广角镜头，两个外围相机的场可以覆盖整个球体，可能具有一些重叠。
在图6d中，相机设备还具有两个中央相机CAM1和CAM2，以及四个外围相机CAM3、CAM4、CAM5、CAM6，它们设置在虚拟立方八面体的上前四分之一的顶点处，以及两个外围相机CAM7和CAM8，它们设置在相对于立方八面体的上前四分之一的赤道平面(中六边形的平面)镜像的位置处。这些赤道外相机的光轴DIR_CAM5、DIR_CAM6、DIR_CAM7、DIR_CAM8也可能穿过相机设备的中心。
以下关于图6g的球体坐标系对图6d的各个相机的方向和位置进行了描述。相机CAM1-CAM8的位置(r，θ，)的坐标分别为：(R，90°，60°)，(R，90°，120°)，(R，90°，180°)，(R，90°，0°)，(R，35.3°，30°)，(R，35.3°，30°)，(R，144.7°，30°)，(R，144.7°，150°)，其中R＝70mm。光轴的方向(θ，)分别为：(90°，60°)，(90°，120°)，(90°，180°)，(90°，0°)，(35.3°，30°)，(35.3°，150°)，(144.7°，30°)，(144.7°，150°)。
图6e和6f示出了针对相机设备的不同的相机设置，其中相机设备(和包含相机的半球)的观看方向直接朝向附图的观看者。
如图6e所示，最小的八面体相机设置由中间平面上的四个相机CAM1、CAM2、CAM3、CAM4组成。因此，观看方向是中央相机CAM1和CAM2的光学方向的平均值。可以以多种方式放置附加的相机以增加可能收集的有用数据。在六相机配置中，一对相机CAM5和CAM6可以放置在六边形上方的两个三角形顶点上，其中光轴在系统的中心处会合，并且相对于主六边形环的中央两个相机CAM1和CAM2形成正方形。在8个相机配置中，另外两个相机CAM7和CAM8可以相对于中间六边形平面对两个相机CAM5和CAM6进行镜像。使用如图6e所描绘的4个相机，3D范围通过前相机从向前方向的偏移角度延伸。典型的每个相机的角度分离将是60度——这向相机视场增加了60度，以给出超过240度的整体3D视场，并且在典型的可商购的195度视场镜头的情况下高达255度。六相机系统允许头部从中心定位的向上俯仰期间显示高质量的3D视图。八相机系统允许下面相同，并且是给出了正常头部运动(包括垂直运动)的良好整体匹配的布置。
也可以使用不均匀的相机布置。例如，可以设想在相机之间具有大于60度的光轴分离的相机设备，或者具有较小的分离度但具有附加相机。
只有3个相机，1个在相机设备(图6f左下方的CAM1)的观看方向面向前方并且2个在每侧90度(CAMX1、CAMX2)，3D视觉的范围受前相机的视场限制，但是通常由于头部运动而小于3D视觉范围。此外，使用这种相机设置，不能创建垂直差距(观看者将他的头部倾斜到一侧)。该垂直差距可以通过将垂直位移的相机添加到设置来实现，例如在图6f的右上设置中，其中外围相机CAMX1和CAMX3在半球的顶部和底部处于或接近于半球的边缘，并且外围相机CAMX2和CAMX4在水平面上。再次，中央相机CAM1指向相机设备的观看方向。左上设置具有六个外围相机CAMX1、CAMX2、CAMX3、CAMX4、CAMX5和CAMX6，处于或接近于半球的边缘。使用两个、三个、四个或更多个中央相机CAM1、CAM2、CAM3，如图6f的右下设置也是可行的。这可以增加立体图像在相机设备的观看方向上的质量，因为可以使用两个或更多个中央相机，并且观看方向基本上被捕获在这些相机的视场的中心，使得在图像中间不需要缝合(缝合如前所述)。
在图6a-6h的相机设备中，各个相机设置在球体或基本上球体的虚拟表面上。相机位于虚拟表面的一个半球上，或者在空间角度上比半球稍微(例如20度)更小或更大的区域上。虚拟球体的另一半球上没有设置有相机。如上所述，这为背面的机械器件和电子器件留下了光学上不可见的空间。在相机设备中，中央相机设置在半球的中间(靠近相机设备的观看方向)，并且外围相机靠近半球的边缘设置。
也可以使用具有不同分离值的不均匀布置，但是这些或者是降低了用于再现头部运动的数据的质量，或者是需要增加更多的相机来增加实现的复杂性。
图6g示出了球体坐标系，相对于其已经在上面描述了相机位置和它们的光轴方向。与中心点的距离由坐标r给出。从参考方向来看，围绕空间中的点的垂直轴线的旋转由角度(phi)给出。从垂直轴的旋转偏移由角度θ(theta)给出。
图6h示出了相机设备的示例结构及其视场。存在具有用于电子器件的壳体或空间的支撑结构690，以及用于相机691的支撑臂或支架。此外，可以存在用于相机设备的支撑件693，并且在支撑件的另一端处存在用于保持的手柄或固定板695或用于将相机设备保持或固定到物体(例如汽车或支座)的其他设备。如前所述，相机设备具有观看方向DIR_VIEW和中央视场(3D)以及外围视场(2D)。在相机设备的背面，可能存在用于保持电子器件、机械器件等的空间、外壳等。由于不对称的相机布置，其中相机被放置在相机设备的一个半球中(围绕观看方向)，在相机设备背面存在不可见的空间(在图6h中标记为不可见)。
图7a和7b图示了用于立体观看的图像源数据的传输。本申请中呈现的立体观看系统可以采用多视图视频编码以用于将源视频数据发送给观看者。即，服务器可以具有编码器，或者视频数据可以在服务器处以编码形式存在，使得视频数据中的冗余针对带宽的减少而被利用。然而，由于广角镜头引起的大量失真，编码效率可能会降低。在这种情况下，可以将不同的源信号V1-V8组合到一个视频信号，如图7a所示，并作为一个编码视频流传输。然后，观看设备可以选择用于呈现针对左眼和右眼的图像所需的像素值。
整个场景的视频数据可能需要被传输(和/或在观看器处解码)，因为在回放期间，观看器需要立即对观看者的头部的角度运动做出响应并且从正确的角度呈现内容。为了能够这样做，整个360度全景视频可能需要从服务器传输到观看设备，因为用户可以随时转动他的头。这需要大量的数据带传输，其消耗带宽并需要解码功率。
该应用中使用的技术是将当前和预测的未来观看角度报告回具有视图信令的服务器，并允许该服务器根据观看角度来适配编码参数。服务器可以传输数据，使得可见区域(主动图像源)使用更多的可用带宽并具有更好的质量，同时对于基于头部运动(被动图像源)当前不可见或短期内不预期可见的区域使用较小部分的带宽(和较低质量)。实际上，这意味着当用户快速地明显转头时，内容将首先具有较差的质量，但是一旦服务器已经接收到新的观看角度并且相应地适配了流，则该内容将变得更好。优点可以在于，当头部移动较少时，与场景上均等的静态带宽分配的情况相比，图像质量将得到改善。这在图7b中示出，其中主动源信号V1、V2、V5和V7以比其余的源信号(被动图像源)V3、V4、V6和V8更好的质量被编码。
在广播情况下(具有多个观看者)，服务器可以广播其中每个流具有球形全景图的不同区域被重度压缩的多个流，而不是其中所有都被均等地压缩的一个流。然后，观看设备可以根据观看角度来选择哪个流进行解码和观看。这样，服务器不需要知道个人观看者的观看角度，并且内容可以广播到任何数目的接收者。
为了节省带宽，可以处理图像数据，使得部分视图以较低的质量被传送。这可以在服务器处例如作为预处理步骤完成，使得传输时间的计算要求更小。
在观看者与服务器之间的一对一连接(即不广播)的情况下，选择以较低质量传送的视图的部分，使得它在当前观看角度中不可见。客户端可以将其观看角度连续地报告回服务器。同时，客户端还可以发送回关于其希望接收的流的质量和带宽的其他提示。
在广播(一对多连接)的情况下，服务器可以广播其中以较低质量传输视图的不同部分的多个流，并且客户端然后选择其解码及观看的流，使得较低质量的区域以其当前的观看角度而在视图之外。
降低视图的某一特定区域的质量的一些方法例如包括：
-降低空间分辨率和/或缩小图像数据；
-降低颜色编码分辨率或位深度；
-降低帧率；
-增加压缩；和/或
-删除像素数据的附加源，并保留像素的仅仅一个源，有效地使该区域单视而不是立体视觉。
例如，可以以高分辨率传送一些或所有中央相机数据，并且可以以低分辨率传送一些或所有外围相机数据。如果没有足够的带宽来传送所有数据，例如，在图6d中，可以传送来自侧面相机CAM3和CAM4的数据，并且可以省略其他数据。不管看者的观看方向，仍然允许显示单视镜图像。
所有这些可以单独地、组合地、或者甚至全部在同一时间、例如通过将流破坏成为高质量流或低质量流并且包含每一流一个或多个源的两个或更多个独立流来被个体完成的。
即使所有源都以相同的流传输，也可以应用这些方法。例如，在八面体布置中包含8个的源的流可以通过保持4个源完好无损地覆盖当前的观察方向(和更多)，剩下的4个来源完全覆盖目前的观察方向，并将其余两个按比例缩小。在图6d的半镜立方体设置中，中央相机CAM1和CAM2可以以高分辨率发送，CAM3和CAM4以较低分辨率发送，并且其余的相机可以被放弃。此外，服务器可以只在每隔一个帧上更新这两个低质量的源，使得压缩算法可以非常紧密地压缩未改变的连续帧，并且还可能设置压缩的感兴趣的区域来仅覆盖4个完整的源。通过这样做，服务器设法使所有可见的源保持高质量，但是通过使不可见的区域单视野、较低分辨率、较低帧率和更多地压缩来显着降低所需的带宽。如果他/她迅速地改变观看方向，则用户将可以看到这点，但随后客户端将适应新的观看角度并选择具有高质量的新观看角度的流，或者在一对一流传输情况下，服务器将适应流，以为新的观看角度提供高质量数据，并为隐藏的源提供较低的质量。
在图8中，示出了用于观看诸如立体视频的立体图像的方法。在阶段810中，选择一个、两个或更多个相机或全部相机来捕获诸如视频之类的图像数据。此外，可以设置捕获的参数和分辨率。例如，可以将中央相机设置为捕获高分辨率数据，并且可以将外围相机设置为捕获正常分辨率数据。阶段810也可以省略，在这种情况下所有相机都捕获图像数据。
在阶段815中，选择要发送到观看端的图像数据通道(对应于相机)。即，可以做出不发送所有数据的决定。在阶段820中，可以选择要以高分辨率发送的通道和要以低分辨率发送的通道。可以省略阶段815和/或820，在这种情况下，所有图像数据通道可以以其原始分辨率和参数发送。
阶段810或815可以包括选择与观看方向上的半球相对应的相机设备的这种相机。即，可以选择使用其光轴在所选择的半球中的相机。以该方式，虚拟半球相机设备可以由例如完整球体相机设备以编程方式构造。
在阶段830中，来自相机设备的图像数据在观看器处被接收。在阶段835中，可以选择要在图像构造中使用的图像数据。在阶段840中，如前所述，随后从图像数据形成用于立体观看的图像。
各种实施例可以提供多个优点。例如，当相机设备的相机集中在一个半球时，例如在图6d的设备中时，例如与图4a的立体8相机布置相比，这些相机可以在角度上更接近。因此，在视图的中间可能需要较少的缝合，从而改善感知到的3D图像质量。在图6b的设置中，朝向相机设备背面的缩小的差距是现实世界人类视觉中也存在的自然现象。各种半球布置可以允许使用更少的相机，从而降低成本，但仍然保持中央视场被很好地覆盖并且在整个球体上提供2D图像。图6a-6h中的半球布置的非对称设计允许在相机设备背面具有更多的机械器件和电子器件的空间，因为形成了比在完整球体相机中更大的不可见区域。在图6d的设计中，中央相机的立体差距是高质量的，因为中央相机具有6个相邻的相机，它们可以由此形成立体相机对。这些对中的4对具有自然差距，并且这些对中的2对具有视差(相机之间的距离)是自然的1.4倍的差距。
可以借助位于存储器中的计算机程序代码来实现本发明的各种实施例，并使相关设备实现本发明。例如，相机设备可以包括用于处理、接收和发送数据的电路和电子器件，存储器中的计算机程序代码，以及当运行计算机程序代码时使该设备执行实施例的特征的处理器。此外，诸如服务器的网络设备可以包括用于处理、接收和发送数据的电路和电子器件，存储器中的计算机程序代码，以及当运行计算机程序代码时使网络设备执行实施例的特征的处理器。
明显的是，本发明不仅限于上述实施例，而是可以在所附权利要求的范围内进行修改。

Claims (16)

1.一种相机设备，具有所述相机设备的观看方向，所述相机设备包括：
-多个相机，包括至少一个中央相机和至少两个外围相机，每个所述相机具有相应的视场，每个所述视场覆盖所述相机设备的所述观看方向，
-所述多个相机相对于彼此定位，而使得所述至少一个中央相机和所述至少两个外围相机形成具有自然差距的至少两个立体相机对，每个所述立体相机对具有相应的立体视场，每个所述立体视场覆盖所述相机设备的所述观看方向，
-所述相机设备具有中央视场，所述中央视场包括所述立体相机对的所述立体视场的组合立体视场，所述中央视场包括所述相机设备的所述观看方向，
-所述相机设备具有外围视场，所述外围视场包括至少部分在所述中央视场外部的所述相机设备的所述多个相机的所述视场的组合视场。
2.根据权利要求1所述的相机设备，其中所述中央视场是其中能够使用由至少一个所述相机对捕获到的图像来形成立体图像的视场，并且所述外围视场是其中能够使用所述多个相机中的至少一个相机来形成图像并且不能使用至少一个所述立体相机对来形成立体图像的视场。
3.根据权利要求1或2所述的相机设备，其中至少在包括所述相机设备的所述观看方向的一个平面中，所述中央视场延伸100至120度到所述相机设备的所述观看方向的两侧。
4.根据权利要求1、2或3所述的相机设备，其中所述相机设备具有中心，并且所述多个相机的各自的光轴相对于彼此不平行并穿过所述中心。
5.根据权利要求4所述的相机设备，其中所述相机设备中的多个相机被放置在大致球体的虚拟表面上，并且所述多个相机的各自的光轴穿过所述虚拟球体的所述中心。
6.根据权利要求1至5中任一项所述的相机设备，包括：
-第一中央相机和第二中央相机，它们的光轴在水平面上位移并具有自然差距，
-第一外围相机，其光轴在所述水平面上定向于所述第一中央相机的光轴的左侧，以及
-第二外围相机，其光轴在所述水平面上定向于所述第二中央相机的光轴的右侧。
7.根据权利要求6所述的相机设备，其中所述第一外围相机和所述第一中央相机的光轴、所述第一中央相机和所述第二中央相机的光轴、以及所述第二中央相机和所述第二外围相机的光轴分别形成大致60度角。
8.根据权利要求1至7中任一项所述的相机设备，其中所述相机设备的两个外围相机的视场覆盖完整球体。
9.根据权利要求1至8中任一项所述的相机设备，其中所述相机的所述视场大于180度，并且所述相机已被布置成使得其他相机不遮蔽它们的视场。
10.根据权利要求1至9中任一项所述的相机设备，其中所述多个相机被设置在所述虚拟表面的大致一个半球上的大致球体的虚拟表面上，其中没有相机被设置在所述虚拟球体的另一个半球上。
11.根据权利要求10所述的相机设备，其中所述中央相机被设置在所述半球的中间，并且所述外围相机被设置为靠近所述半球的边缘。
12.根据权利要求1至11中任一项所述的相机设备，包括设置在虚拟立方八面体的上前四分之一的顶点处的两个中央相机和四个外围相机、以及设置在相对于所述立方八面体的所述上前四分之一的赤道平面成镜像的位置处的两个外围相机。
13.一种相机设备，包括在大致对应于以下定位处的相机：人类头部在正常解剖姿势下的眼睛定位、所述人类头部在最大屈曲解剖姿势下的眼睛定位、所述人类头部在最大伸展解剖姿势下的眼睛定位、和所述人类头部在最大左右旋转解剖姿势下的眼睛定位。
14.根据权利要求13所述的相机设备，包括大致位于所述眼睛定位投影在半径为50-100mm的虚拟球体上的定位处的相机。
15.根据权利要求14所述的相机设备，其中所述半径约为80mm。
16.一种相机设备，包括至少三个相机，所述相机被设置成使得它们在相应相机的视场方向上的光轴落入半球视场内，所述相机设备不包括它们的光轴在所述半球视场外的相机，并且所述相机设备具有覆盖整个球体的总视场。
CN201480082481.3A 2014-10-07 2014-10-07 用于立体成像的具有大视场的相机设备 Pending CN106796390A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2014/050761 WO2016055688A1 (en) 2014-10-07 2014-10-07 Camera devices with a large field of view for stereo imaging

Publications (1)

Publication Number Publication Date
CN106796390A true CN106796390A (zh) 2017-05-31

Family

ID=55652628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082481.3A Pending CN106796390A (zh) 2014-10-07 2014-10-07 用于立体成像的具有大视场的相机设备

Country Status (6)

Country Link
US (1) US20170227841A1 (zh)
EP (1) EP3204824A4 (zh)
JP (1) JP2017536565A (zh)
CN (1) CN106796390A (zh)
CA (1) CA2960427A1 (zh)
WO (1) WO2016055688A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151441A (zh) * 2017-06-15 2019-01-04 韩国电子通信研究院 全方位视频的影像处理方法及装置
CN109905571A (zh) * 2017-12-07 2019-06-18 富泰华工业（深圳）有限公司 全景摄像机增强现实系统
CN110199519A (zh) * 2016-11-17 2019-09-03 诺基亚技术有限公司 用于多相机设备的方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US9710717B1 (en) 2015-01-13 2017-07-18 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for determining vehicle operator distractions
US20170078593A1 (en) * 2015-09-16 2017-03-16 Indoor Reality 3d spherical image system
US20170195560A1 (en) * 2015-12-31 2017-07-06 Nokia Technologies Oy Method and apparatus for generating a panoramic view with regions of different dimensionality
GB2548860A (en) 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
GB2556319A (en) * 2016-07-14 2018-05-30 Nokia Technologies Oy Method for temporal inter-view prediction and technical equipment for the same
DE102017118714A1 (de) * 2016-08-17 2018-02-22 Google Inc. Mehrstufiges Kameraträgersystem für die stereoskope Bildaufnahme
GB2555585A (en) * 2016-10-31 2018-05-09 Nokia Technologies Oy Multiple view colour reconstruction
US11412134B2 (en) * 2016-11-30 2022-08-09 Laduma, Inc. Underwater digital camera systems
US10582184B2 (en) * 2016-12-04 2020-03-03 Juyang Weng Instantaneous 180-degree 3D recording and playback systems
EP3339951A1 (en) 2016-12-20 2018-06-27 Nokia Technologies Oy Fill lighting apparatus
US11636572B2 (en) 2016-12-29 2023-04-25 Nokia Technologies Oy Method and apparatus for determining and varying the panning speed of an image based on saliency
US10453373B2 (en) * 2016-12-29 2019-10-22 Posture Solutions, LLC Progressive display alteration in real-time to effect desirable behavior
US11321951B1 (en) 2017-01-19 2022-05-03 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for integrating vehicle operator gesture detection within geographic maps
WO2018139250A1 (ja) * 2017-01-26 2018-08-02 ソニー株式会社 全天球撮像装置
CN107219921B (zh) * 2017-05-19 2019-09-27 京东方科技集团股份有限公司 一种操作动作执行方法及其系统
CN110870302B (zh) 2017-07-03 2021-06-29 诺基亚技术有限公司 用于全向视频的装置、方法和计算机程序
TWI697692B (zh) * 2017-08-01 2020-07-01 緯創資通股份有限公司 近眼顯示系統及其操作方法
JP7043255B2 (ja) * 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
CN109120847B (zh) 2018-08-16 2020-04-21 北京七鑫易维信息技术有限公司 一种图像获取设备的控制方法及装置
CN110971788B (zh) * 2018-09-28 2022-06-21 中国科学院长春光学精密机械与物理研究所 一种无限旋转式大视场扫描成像系统及控制系统
US11985440B2 (en) 2018-11-12 2024-05-14 Magic Leap, Inc. Depth based dynamic vision sensor
US11809613B2 (en) 2018-11-12 2023-11-07 Magic Leap, Inc. Event-based camera with high-resolution frame output
US11902677B2 (en) 2018-11-12 2024-02-13 Magic Leap, Inc. Patch tracking image sensor
WO2020102110A1 (en) 2018-11-13 2020-05-22 Magic Leap, Inc. Event-based ir camera
CN113454518B (zh) * 2018-12-21 2024-08-16 奇跃公司 多相机交叉现实设备
US11889209B2 (en) 2019-02-07 2024-01-30 Magic Leap, Inc. Lightweight cross reality device with passive depth extraction
JP7538806B2 (ja) 2019-02-07 2024-08-22 マジック リープ， インコーポレイテッド 高一時的分解能を伴う軽量かつ低電力のクロスリアリティデバイス
US10893218B1 (en) 2019-09-20 2021-01-12 Gopro, Inc. Systems and methods for generating panoramic visual content
JP7550367B2 (ja) * 2019-09-27 2024-09-13 パナソニックＩｐマネジメント株式会社 実装システム、ヘッドユニット及び撮像方法
USD976992S1 (en) * 2020-05-22 2023-01-31 Lucasfilm Entertainment Company Ltd. Camera calibration tool
US11200918B1 (en) * 2020-07-29 2021-12-14 Gopro, Inc. Video framing based on device orientation
US12067163B2 (en) 2021-02-08 2024-08-20 Beijing 7Invensun Technology Co., Ltd. Method and apparatus for controlling image acquisition device
CN116965014A (zh) * 2021-03-18 2023-10-27 苹果公司 3d环境内基于上下文的对象查看

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
CN1965578A (zh) * 2003-06-03 2007-05-16 伦纳德·P·斯图尔特第三 数码3d/360度照相机系统
US20080024594A1 (en) * 2004-05-19 2008-01-31 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20130176403A1 (en) * 2011-08-16 2013-07-11 Kenneth Varga Heads up display (HUD) sensor system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646313A (ja) * 1992-07-21 1994-02-18 Fujita Corp テレビカメラシステム
JP2001285894A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd ３次元画像データの掲載方法
JP3827912B2 (ja) * 2000-03-31 2006-09-27 山本 和彦 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
IL139995A (en) * 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
JP4590754B2 (ja) * 2001-02-28 2010-12-01 ソニー株式会社 画像入力処理装置
MX2009008484A (es) * 2009-08-07 2011-02-15 Deisler Rigoberto De Lea N Vargas Anteojos vision estereoscopica y periferica 3d.
EP2625845B1 (en) * 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
ITRM20120329A1 (it) * 2012-07-12 2012-10-11 Virtualmind Di Davide Angelelli Videocamera per riprese immersive/sferiche a 360° con 6-11 ottiche a 5-10 megapixel con geolocalizzazione gps
CA2938159C (en) * 2013-02-04 2021-07-27 Valorisation-Recherche, Limited Partnership Omnistereo imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
CN1965578A (zh) * 2003-06-03 2007-05-16 伦纳德·P·斯图尔特第三 数码3d/360度照相机系统
US20080024594A1 (en) * 2004-05-19 2008-01-31 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20130176403A1 (en) * 2011-08-16 2013-07-11 Kenneth Varga Heads up display (HUD) sensor system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ABDULAZIZ ALSHAER ET AL.: "Influence of peripheral and stereoscopic vision on driving performance in a power wheelchair simulator system", 《2013 INTERNATIONAL CONFERENCE ON VIRTUAL REHABILITATION (ICVR)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110199519A (zh) * 2016-11-17 2019-09-03 诺基亚技术有限公司 用于多相机设备的方法
CN109151441A (zh) * 2017-06-15 2019-01-04 韩国电子通信研究院 全方位视频的影像处理方法及装置
CN109905571A (zh) * 2017-12-07 2019-06-18 富泰华工业（深圳）有限公司 全景摄像机增强现实系统

Also Published As

Publication number Publication date
EP3204824A4 (en) 2018-06-20
EP3204824A1 (en) 2017-08-16
US20170227841A1 (en) 2017-08-10
CA2960427A1 (en) 2016-04-14
JP2017536565A (ja) 2017-12-07
WO2016055688A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
CN106796390A (zh) 用于立体成像的具有大视场的相机设备
CN106165415B (zh) 立体观看
US10334220B2 (en) Aggregating images and audio data to generate virtual reality content
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
US20160344999A1 (en) SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS
CA2933704A1 (en) Systems and methods for producing panoramic and stereoscopic videos
US20210185299A1 (en) A multi-camera device and a calibration method
US11431901B2 (en) Aggregating images to generate content
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
US20190335153A1 (en) Method for multi-camera device
US20240163414A1 (en) Information processing apparatus, information processing method, and system
KR20170059879A (ko) 입체 영상 촬영 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170531