CN109313815A - 三维、360度虚拟现实相机曝光控制 - Google Patents

三维、360度虚拟现实相机曝光控制 Download PDF

Info

Publication number
CN109313815A
CN109313815A CN201780035049.2A CN201780035049A CN109313815A CN 109313815 A CN109313815 A CN 109313815A CN 201780035049 A CN201780035049 A CN 201780035049A CN 109313815 A CN109313815 A CN 109313815A
Authority
CN
China
Prior art keywords
shutter speed
test
camera
exposure setting
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780035049.2A
Other languages
English (en)
Other versions
CN109313815B (zh
Inventor
布里安·基思·卡布拉尔
阿尔贝特·帕拉·波索
福里斯特·塞缪尔·布里格斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN109313815A publication Critical patent/CN109313815A/zh
Application granted granted Critical
Publication of CN109313815B publication Critical patent/CN109313815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一种相机系统被配置为经由多个相机捕获局部区域的360度图像信息，360度图像信息的至少一部分是立体的。相机系统确定多个相机的各个曝光设置。最小快门速度和最大快门速度是根据所确定的曝光设置确定的。使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组。在该组测试曝光设置中的每个测试曝光设置下使用多个相机捕获测试图像的组。测试图像的每个组包括来自多个相机中的每一个的、使用相同的各个测试曝光设置捕获的图像。全局曝光设置是基于捕获的测试图像的组选择的。所选择的全局曝光设置应用于多个相机。

Description

三维、360度虚拟现实相机曝光控制
技术领域
本公开总体涉及相机成像、且更具体地涉及三维(3D)、360度相机系统的曝光控制。
背景技术
虚拟现实系统利用一个或多个相机捕获环境的图像和/或视频。对相机捕获的图像和/或视频进行重构以创建用户可以交互的虚拟现实。一个或多个相机的配置影响捕获的图像的质量及重构图像用于无缝虚拟现实体验的能力。因此，相机的配置和较低质量的捕获图像可能不利地影响用户的虚拟现实体验。
传统的360度相机通过将多个帧同时拼接为单个360度帧来操作。每个帧可受到不同的照明条件，可能引起一个或多个帧的不同的曝光设置(例如，光圈、快门速度、感光速度、增益等)。曝光设置的差异可引起使用具有不同的曝光设置的帧生成的劣质的360度图像。例如，360度图像的亮度可以在与不同的帧相关联的部分之间变化，快门速度的差异可能引起图像的一些部分中的运动目标模糊，光圈的差异可能引起360度图像的视场深度的变化，并且增益的差异可能引起360度图像的一些部分具有过大的噪声。
发明内容
相机系统被配置为经由多个相机跨局部区域的360度捕获图像信息(例如，图像、视频等)，图像信息的至少一部分是立体的。相机部件发送图像信息至处理服务器，处理服务器根据图像信息生成局部区域的3D-360度内容。3D-360度内容是与相机部件的360度视野相关联的媒体内容并且可渲染为3D，例如，图像、视频、音频信息、或其某种组合。
为了便于生成高质量、看起来自然的3D-360度内容，相机系统使用全局曝光设置和全局快门设置。例如，在一些实施方式中，相机系统使用全局快门触发多个相机，使得每个相机同时捕获图像信息。相机系统也应用全局曝光设置至多个相机的每一个。全局曝光设置是应用于相机系统中的所有相机的单个曝光设置。全局快门设置促进生成看起来自然的3D-360度内容。
相机系统使用多个相机捕获的测试图像确定全局曝光设置。相机系统确定多个相机的各个曝光设置，每个相机具有各自的局部区域的一部分的视野及跨局部区域的360度的组合视野。因为相机中的每一个具有不同的视野，所以其可以具有不同于多个相机中的其他相机的曝光设置。最小快门速度和最大快门速度是根据所确定的曝光设置确定的。使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组。相机系统使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组。相机系统在该中的每个测试曝光设置下使用多个相机捕获测试图像的组。测试图像的每个组包括来自多个相机中的每一个的、使用相同的各个测试曝光设置捕获的图像。全局曝光设置是基于捕获的测试图像的组选择的。所选择的全局曝光设置应用于多个相机。
根据本发明的实施方式特别在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中公开，其中，在一项类别的权利要求例如方法中提及的任何特征也可以另一类别的权利要求例如系统中要求保护。仅由于形式的原因而选择返回所附权利要求中的依赖或引用。然而，从对任何在前权利要求的有意返回引用所得的任何主题(特别是多个相关性)也可以被要求保护，以便权利要求及其特征的任何组合被公开并可以要求保护而与在所附权利要求中选择的相关性无关。可以要求的主题不仅包括所附权利要求中阐述的特征的组合，而且还包括权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，可以在单独的权利要求中和/或在与本文所描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求本文描述或描绘的任何实例和特征。
在根据本发明的实施方式中，一种方法可包括：
确定多个相机的各个曝光设置，每个相机具有各自的局部区域的一部分的视野及跨局部区域的360度的组合视野；
根据所确定的曝光设置确定最小快门速度和最大快门速度；
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组；
在该组测试曝光设置中的每个测试曝光设置下使用多个相机捕获测试图像的组，其中，测试图像的每个组包括来自多个相机中的每一个的、使用相同的各个测试曝光设置捕获的、可选地同时捕获的图像；
基于捕获的该组测试图像选择全局曝光设置；并且
应用所选择的全局曝光设置至多个相机。
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组可包括：
确定最小快门速度与最大快门速度之间分布的一个或多个测试快门速度；并且
生成针对最小快门速度、一个或多个测试快门速度、及最大快门速度的各个测试曝光设置。
一个或多个测试快门速度可均匀地分布在最小快门速度与最大快门速度之间。
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组可包括：
比较最大快门速度与阈时间值；并且
响应于确定最大快门速度小于或者等于阈时间值，
确定最小快门速度与最大快门速度之间分布的一个或多个测试快门速度，并且
生成针对最小快门速度、一个或多个测试快门速度、及最大快门速度的各个测试曝光设置。
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组可包括：
比较最大快门速度与阈时间值；并且
响应于确定最大快门速度大于阈时间值，
确定多个测试增益值，并且
生成多个测试增益值的各个测试曝光设置，其中，测试曝光设置中的每一个的快门速度及光圈是相同的。
阈时间值可以是与多个相机捕获的视频的帧速率的倒数对应的时间周期。
测试曝光设置中的每一个的快门速度可以是阈时间值。
基于捕获的测试图像的组选择全局曝光设置可包括：
使用捕获的测试图像的组确定强度分布；
应用选择标准至强度分布中的一个或多个；并且
部分基于与满足选择标准的测试曝光设置相关联的强度分布选择测试曝光设置作为全局曝光设置。
选择标准可以选自以下构成的组：值范围内的直方图的平坦度、强度分布中的饱和像素的百分比低于阈数量、强度分布中的具有阴影修剪的像素的百分比、图像噪声值小于阈值、增益值小于阈值、及未饱和的最小增益值。
在根据本发明的实施方式中，一种方法可包括：
确定多个相机的各个曝光设置，每个相机具有各自的局部区域的一部分的视野及跨局部区域的360度的组合视野；
根据所确定的曝光设置确定最小快门速度和最大快门速度；
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组；
在该组测试曝光设置中的每个测试曝光设置下使用多个相机捕获测试图像的组，其中，测试图像的每个组包括来自多个相机中的每一个的、使用相同的各个测试曝光设置捕获的图像；
基于捕获的该组测试图像选择全局曝光设置；并且
应用所选择的全局曝光设置至多个相机。
测试图像的每个组可包括来自多个相机中的每一个的、使用相同的各个测试曝光设置捕获的、并且同时捕获的图像。
多个相机的阈值距离外，局部区域的一部分中的任意物体可以在至少两个相机的视野内。
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组可包括：
确定最小快门速度与最大快门速度之间分布的一个或多个测试快门速度；并且
生成针对最小快门速度、一个或多个测试快门速度、及最大快门速度的各个测试曝光设置。
一个或多个测试快门速度可均匀地分布在最小快门速度与最大快门速度之间。
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组可包括：
比较最大快门速度与阈时间值；并且
响应于确定最大快门速度小于或者等于阈时间值，
确定最小快门速度与最大快门速度之间分布的一个或多个测试快门速度，并且
生成针对最小快门速度、一个或多个测试快门速度、及最大快门速度的各个测试曝光设置。
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组可包括：
比较最大快门速度与阈时间值；并且
响应于确定最大快门速度大于阈时间值，
确定多个测试增益值，并且
生成多个测试增益值的各个测试曝光设置，其中，测试曝光设置中的每一个的快门速度及光圈是相同的。
阈时间值可以是与多个相机捕获的视频的帧速率的倒数对应的时间周期。
测试曝光设置中的每一个的快门速度可以是阈时间值。
基于捕获的测试图像的组选择全局曝光设置可包括：
使用捕获的测试图像的组确定强度分布；
应用选择标准至强度分布中的一个或多个；并且
部分地基于与满足选择标准的测试曝光设置相关联的强度分布选择测试曝光设置作为全局曝光设置。
选择标准可以选自以下构成的组：值范围内的直方图的平坦度、强度分布中的饱和像素的百分比低于阈数量、强度分布中的具有阴影修剪的像素的百分比、图像噪声值小于阈值、增益值小于阈值、及未饱和的最小增益值。
在根据本发明的实施方式中，一种方法可包括：
确定多个相机的各个曝光设置，每个相机具有各自的局部区域的一部分的视野及跨局部区域的360度的组合视野，并且可选地多个相机的阈值距离外，局部区域的一部分中的任意物体在至少两个相机的视野内；
根据所确定的曝光设置确定最小快门速度和最大快门速度；
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组；
在该组测试曝光设置中的每个测试曝光设置下使用多个相机捕获测试图像的组，其中，测试图像的每个组包括来自多个相机中的每一个的、使用相同的各个测试曝光设置捕获的、同时捕获的图像；
基于捕获的该组测试图像选择全局曝光设置；并且
应用所选择的全局曝光设置至多个相机。
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组可包括：
确定最小快门速度与最大快门速度之间分布的一个或多个测试快门速度；并且
生成针对最小快门速度、一个或多个测试快门速度、及最大快门速度的各个测试曝光设置。
在根据本发明实施方式中，一个或多个计算机可读非临时性存储介质可包含软件，该软件在被执行时能操作以执行根据本发明的方法或者以上提到的任何实施方式的方法。
在根据本发明的实施方式中，系统可包括：一个或多个处理器；和连接至处理器并且包括通过处理器可执行的指令的至少一个存储器，处理器当执行指令时可操作为执行根据本发明或上述实施方式的任一个的方法。
在根据本发明的实施方式中，计算机程序产品，优选地，包括计算机可读非易失性存储介质，当在数据处理系统上执行以实施根据本发明的方法或任何以上提及的实施方式时可以是可操作的。
附图说明
图1是示出了根据实施方式的用于生成虚拟现实系统的3D-360度内容的系统的实施方式的高级框图。
图2A示出了根据实施方式的用于捕获图像信息的相机部件的立体图。
图2B示出了根据实施方式的在图2中示出的相机部件的俯视图。
图2C示出了根据实施方式的在图2中示出的相机部件的侧视图。
图2D示出了根据一个实施方式的用于捕获图像信息的相机部件的侧视图。
图3是示出了根据实施方式的相机系统内的模块的详细视图的高级框图。
图4是根据实施方式用于确定相机部件的全局曝光设置的过程的流程图。
图5示出根据实施方式的一组不同测试曝光设置的强度分布。
图6示出根据实施方式的另一组不同测试曝光设置的强度分布。
图7示出根据实施方式的从图像信息生成的3D-360度内容。
图8示出根据实施方式的相机系统的用户界面。
附图仅为了说明的目的描述了本公开的实施方式。本领域技术人员从下列描述中容易认识到，在不背离此处所描述的本公开的原理或推崇的益处的情况下，可以采用本文中所示出的结构和方法的替代实施方式。
具体实施方式
图1是示出了根据实施方式的用于生成虚拟现实系统的3D-360度内容的系统100的实施方式的高级框图。系统100包括将用户设备110连接至数据存储120、相机系统130、及处理服务器140的网络105。在图1的实施方式中，仅示出了一个用户设备110，但是该实体可能有多个实例。例如，可能存在经由网络105耦接至数据存储120、相机系统130、及处理服务器140的多个用户设备110。
网络105提供用户设备110、数据存储120、相机系统130、及处理服务器140之间的通信基础设施。网络通常是互联网，但是可以是任何网络，包括(而不限于)局域网(LAN)、城域网(MAN)、广域网(WAN)、移动有线或者无线网络、专用网、或者虚拟专用网络。
用户设备110是执行计算机程序模块，例如，启用web的浏览器150或者其它客户应用程序的计算设备，允许用户观察相机系统130的用户界面。例如，用户设备110可以是个人电脑、平板电脑、智能电话、便携式计算机、或者其他类型的具备网络功能的设备。
数据存储120存储来自相机系统130和处理服务器140的图像信息。在一些实施方式中，数据存储120可以是基于云的并且由相机系统130和处理服务器140经由网络105访问。数据存储120可接收并且存储直接来自相机系统130的图像信息，或者数据存储120可在图像信息已被处理之后接收并且存储来自处理服务器140的图像信息。在一个实施方式中，数据存储120是处理服务器140的一部分。在另一个实施方式中，数据存储120是第三方存储器提供者维护的档案。
相机系统130使用相机系统130周围的局部区域的拍摄的图像和/或音频信息生成图像信息。相机系统130包括布置为捕获局部区域的360度视图的相机的部件。在图1的实施方式中，部件包括安装至刚性表面或者结构的多个相机。多个相机的至少一部分布置为使得相邻的相机可产生局部区域的立体图像。以下关于图2A、2B、2C及3详细地论述相机系统130的实施方式。
局部区域是围绕相机系统130的环境。例如，局部区域可以是里面有相机系统130的房间，或者相机系统130可以在外部并且局部区域是相机系统130可见的外部区域。图像信息是相机系统130输出的信息。图像信息可包括例如图像、音频信息(例如，一个或多个麦克风捕获的声音)、视频信息、元数据或者其某个组合的一个或多个。元数据是与图像信息相关联的附加信息。元数据可包括，例如，帧速率、曝光设置(例如，光圈、快门速度、增益等)、版权信息、日期/时间信息、相机标识符、名称、标签、与图像信息相关联的其它信息、或者其某种组合。相机系统130包括缓冲并且存储图像信息的存储器。在一些实施方式中，相机系统130可以本地耦接至(例如，经由一些有线和/或无线连接)外部数据存储。在一些实施方式中，相机系统130被配置为经由网络105发送图像信息至处理服务器140。在替换实施方式中，相机系统130被配置为将图像信息处理为形成高分辨率的3D-360度内容。例如，3D-360度内容视频内容可以是例如，4K、6K、8K分辩率，或者相机系统130支持的其它分辩率。
相机系统130从用户接收捕获局部区域的图像信息的指令。例如，相机系统130可包括允许用户经由网络105使用例如，用户设备110上的启用web的浏览器150控制相机系统130的网络服务器。相机系统130使用来自相机部件130中的一个或多个相机的信息确定全局曝光设置(例如，增益、快门速度、光圈)，并将该全局曝光设置应用于相机系统130中的所有相机。因此，每个相机，不管针对该相机的测光，使用全局曝光设置。相机系统130使用全局快门使图像信息的捕获同步，该全局快门导致相机系统130中的所有相机同时(例如，使用全局快门)曝光(使用全局曝光设置)。因此，帧花费的曝光和时间对于所有图像信息是一致的。以下关于图4至6进一步详细地说明用于确定相机系统130的全局曝光设置的处理。
处理服务器140使用图像信息生成3D-360度内容。3D-360度内容是与相机系统130的360度视野相关联的媒体内容并且其至少一部分包括深度信息并且可以在三维(3D)中进行渲染。3D-360度内容可包括，例如，图像、视频、音频信息或者其某种组合。处理服务器140可生成高分辨率的3D-360度内容。例如，3D-360度内容视频内容可以是例如，4K、6K、8K分辩率，或者相机系统130支持的其它分辩率。例如，3D-360度内容可以是局部区域的视频，该视频是相机系统130拍摄的图像的合并表示，这使与外围相机拍摄的图像对应的视频成3D部分。
处理服务器140从相机系统130、数据存储120、或者其某种组合接收图像信息。处理服务器140被配置为利用一组计算机实现的指令执行的算法创建3D-360度内容。该算法识别图像信息中与相同时间值相关联的一组图像(例如，元数据表示同时捕获)，并将图像并入3D-360度内容的单个帧。另外，处理服务器140通过将与不同时间相关联的3D-360度内容的多个帧连接在一起可生成视频文件。3D-360度内容由处理服务器140输出并且可以存储在数据存储120中用于稍后时间的访问。
有利地，系统100允许用户捕获局部区域的图像信息并且构造在虚拟现实(VR)环境、或者其它环境(例如，增强现实和/或混合现实)中可以使用的局部区域的3D-360度内容。系统100具有刚性结构、同步操作、及基于网络的界面。一旦每个相机被对准和校准，相机系统130的刚性防止多个相机相对于彼此移动，使得易于处理图像信息并将图像融合在一起来构造3D-360度内容。多个相机的同步性允许全局设置应用于每个相机并且提高捕获的图像信息的质量，反过来，提高构造的3D-360度内容的质量。基于网络的界面便于用户建立系统100，预览捕获的图像信息，应用全局设置、处理图像信息、并且访问、使用或者存储3D-360度内容。
图2A示出了根据实施方式的用于捕获图像信息的相机部件200的立体图。在一些实施方式中，相机部件200是系统100中的相机部件130的实施方式。可替代地，相机部件200可以是其它系统的一部分。相机部件200的一些实施方式具有与此处描述的这些不同的组件。类似地，在一些情况下，可以与这里描述的不同方式将功能分给这些组件。
如下文更详细地描述，相机部件200使用局部区域的拍摄的图像和/或音频信息生成图像信息。相机部件200包括顶板202、底板204、顶轴底座206、底轴底座208(图2C中示出)，多个外围相机210、及包括顶轴相机212和底轴相机214的多个轴相机(图2C中示出)。顶板202、底板204、顶轴底座206、底轴底座208(图2C中示出的)、顶轴相机212、及底轴相机214(图2C中示出的)沿着对准轴线216对准。多个外围相机210布置为形成围绕中心点218的环，该环被对准轴线216平分。顶板202连接至外围相机210的环的顶面，并且底板204连接至外围相机210的环的底面。该配置创建防止外围相机210振动和过热的刚性结构并且允许外围相机210捕获用于生成3D-360度内容中的3D内容的部分的质量图像和/或视频。
顶板202被配置为固定多个外围相机210和一个或多个轴相机(例如，顶轴相机212)。顶板202包括顶面220、底面222、及多个固定机制224。顶板202由刚性材料组成并且基本上是盘状。例如，刚性材料可以是金属(例如，铝、钢等)、硬质塑料、其它刚性材料、或者其某种组合。顶面220将顶轴底座206连接至顶板202，因此顶轴底座206沿着对准轴线216居中。多个固定机制224沿着顶板202的周缘。每个固定机构224被配置为将外围相机210固定至顶板202的底面222。例如，固定机制224可以是将顶板202连接至多个外围相机210的机械紧固件(例如，螺杆、螺钉)。
底板204被配置为固定多个外围相机210和一个或多个轴相机(例如，底轴相机214)并且基本上与顶板202相似。底轴相机214在图2A中未示出，但是在图2C中示出为轴相机214。底板204包括顶面226、底面228、及多个固定机制224。底板204由刚性材料组成并且基本上是盘状。例如，刚性材料可以是金属(例如，铝、钢等)、硬质塑料、其它刚性材料、或者其某种组合。底面228被配置为将底轴底座208(在图2A中未示出)连接至底板204，使得底轴底座208沿着对准轴线216居中。另外的多个固定机制224沿着底板204的周缘，其中，每个固定机构224将外围相机210固定至底板204的顶面226。底面228进一步被配置为连接至为相机系统130提供站立或者安装支撑及稳定性的支撑结构。支撑结构可以是各种底座(例如，单脚架、三脚架、四脚架、墙底座等)。
轴底座被配置为固定轴相机(例如，顶轴相机212或者底轴相机214)垂直于顶板202或者底板204的表面。轴底座基本上是圆柱形的并且内部中空。该配置允许轴相机垂直偏离顶板202或者底板204的表面，允许轴相机212、214及外围相机210的视野重叠较少。连接至轴相机的配线可以隐藏在轴底座的中空部分内。在图2A的实施方式中，顶轴底座206耦接至顶板202的顶面220，并且底轴底座208耦接至底板210的底面214。每个轴底座沿着对准轴线216对准并且为轴相机提供稳定性。
外围相机210被配置为捕获局部区域的360度视图的图像和/或视频。外围相机210布置为形成围绕中心点218的环，该环被对准轴线216平分。多个外围相机210布置为围绕中心点218使得每个外围相机210的光轴在平面内，并且每个外围相机210的视野背离中心点218。每个外围相机210布置为以某个距离和某个角度紧挨着相邻的外围相机210。该配置允许所捕获的图像和/或视频，一旦处理成3D-360内容，包括立体(也称作立体的)部分。在一些实施方式中，距离模拟人眼之间的瞳孔间的距离。模拟的瞳孔间的距离取决于相邻外围相机210的水平视野之间的重叠量。重叠量随校正桶形畸变之后每个外围相机210的水平视野和环配置中的外围相机210角间距或者数量变化。例如，模拟瞳孔间距离大于6.4cm(大约是人的瞳孔间距离的中值)的实施方式包括十四个均匀隔开的外围相机，在桶形畸变校正之后，每个外围相机具有大于或等于77度的水平视野。该配置允许所捕获的图像和/或视频模拟人的视觉感知。外围相机210的数量可变化并且可以取决于顶板202和底板204的尺寸，和/或每个外围相机210的视野。在图2A的实施方式中，存在十四个外围相机210，这些外围相机形成环并且捕获环境的360度视图。在其他实施方式中，可能有更多或更少的外围相机210。
外围相机210包括传感器(未示出)、镜头230、及相机控制器(未示出)。传感器是使用一排光敏像素捕获光的电气设备，其中，每一个像素将光转换为电子信号。传感器可以具有不同的特征，诸如分辩率、像素大小和敏感性、感光度、快门类型、及信号处理类型。镜头230是相机的便于集中光到传感器上的一个或多个光学元件。镜头具有诸如焦点和光圈的固定的或者可变的特征，可以具有不同的焦距，并且可以被光学涂层覆盖。一些实施方式可以具有可互换的镜头，因此可以从相机去除第一镜头并且可以使第二镜头耦接至相机。在一些实施方式中，外围相机210可以具有捕获音频信息的麦克风。麦克风可位于相机内或可位于相机外部。
相机控制器能够基于入射在传感器上的光确定相机的曝光设置(例如，光圈、增益、及快门)。在一些实施方式中，相机控制器作为主要相机，即相机控制器控制多个其他相机。在其他实施方式中，相机控制器作为辅助相机，即相机控制器被第二相机控制。外围相机210作为辅助相机的实施方式中，快门和曝光设置由主要相机全局设置。在图2A的实施方式中，外围相机210包括多种特性，诸如小形状因数、高分辨率(例如，2048x2048)、高帧频(例如，每秒90帧)、1”传感器、及镜头的C底座。
每个轴相机的视野(视界FOV)可以介于120-185度中间。在替换实施方式中，轴相机的FOV也可以小于120或者大于185。在最小值时，轴相机必须足够大以覆盖外围相机210留下的孔。例如，如果外围相机210具有垂直的FOV x度数，为了成像覆盖范围中的孔，轴相机的FOV应当具有2×(90-x)度。在一些实施方式中，可以使用更大的FOV来保证足够的重叠，使3D-360度内容能够从与来自轴相机的图像信息对应的部分平滑过渡至与来自外围相机210的图像信息对应的部分。
在图2A的实施方式中，镜头230具有阻塞红外光的光学涂层、f/2.4光圈、相机的CS底座、及92度的水平和垂直视野。镜头230的有效视野在桶形畸变校正之后是77度。在其他实施方式中，外围相机210中的每一个可以具有不同的视野。例如，外围相机210中的每一个可以具有180度的视野(即，鱼眼镜头)。极其宽的视野(即，鱼眼)有减少用于生成3D-360度内容的立体部分的外围相机的数量的潜能，然而，图像信息的处理变得更加困难，因为图像信息倾向于包括更大量的失真。
适配器232允许在相机部件200中使用成品组件。该适配器232被配置为通过在第一端固定至外围相机210的C底座并且在第二端固定至镜头230的CS底座来将外围相机210连接至镜头230。
每个外围相机210进一步包括多个固定机制以在顶板202与底板204之间固定外围相机210。该固定机制与固定机制224相反，允许外围相机210连接至顶板202的底面222并且连接至底板204的顶面220。在图2A的实施方式中，外围相机210中的每一个布置为使得镜头230从中心点218径向向外指向。外围相机210可以是电池供电，经由电缆和电缆接口(例如，通用串行总线(USB)接口)，或其某种组合供电。另外，一些实施方式可以具有安装在顶板202与底板204之间来增加相机部件200的刚性和稳定性的支撑结构。支撑结构可以是杆、支撑块、或其某种组合。
多个轴相机被配置为捕获局部区域的顶视图和底视图的图像和/或视频。轴相机包括顶轴相机212和底轴相机214(图2C中示出的)，固定至其各自的轴底座206、208并且布置为使得顶轴相机212和底轴相机214沿着对准轴线216对准，因此每个轴相机212、214的光轴与对准轴线216共线。顶轴相机212的视野和底轴相机214的视野远离相机部件200的中心点218定向。
顶轴相机212提供局部区域的一部分的顶视图，而底轴相机214(如图2C所示)提供局部区域的不同部分的底视图。如前所述，顶轴相机212和底轴相机214关于外围相机210垂直偏置以限制视野之间的重叠。轴相机的数量和方位可变化。在图2A的实施方式中，存在捕获局部区域的顶视图和底视图的两个轴相机。在替代实施方式中(例如，如关于图2D论述的)，相机部件200包括两个底轴相机，这两个底轴相机布置为使第一底轴相机的视野和第二底轴相机的视野充分重叠，以便去除作为3D-360度内容中的遮挡的支撑相机部件200的底座。在其他实施方式中，顶板202和底板204各自可固定多个轴相机，因此轴相机的布置覆盖半球并且提供球形视野。
轴相机包括传感器(未示出)、镜头234、及相机控制器(未示出)。传感器是使用一排光敏像素捕获光的电气设备，其中，每一个像素将光转换为电子信号。传感器可以具有不同的特征，诸如分辩率、像素大小和敏感性、感光度、快门类型、及信号处理类型。镜头234包括相机的便于集中光到传感器上的一个或多个光学元件。镜头具有诸如焦点和光圈的固定的或者可变的特征，可以具有不同的焦距，并且可以被光学涂层覆盖。一些实施方式可以具有可互换的镜头，因此可以从相机去除第一镜头并且可以使第二镜头耦接至相机。在一些实施方式中，轴相机可以具有捕获音频信息的麦克风。麦克风可位于相机内或可位于相机外部。
相机控制器能够确定相机的曝光设置(例如，光圈、增益、及快门)并且控制帧速率。在一些实施方式中，相机控制器作为主要相机，即相机控制器控制多个其他相机。在其他实施方式中，相机控制器作为辅助相机，即相机控制器被第二相机控制。轴相机作为辅助相机的实施方式中，快门和曝光设置由主要相机全局设置。在图2A的实施方式中，轴相机包括多种特性，诸如小形状因数、高分辨率(例如，2048x 2048)、高帧频(例如，每秒90帧)、1”传感器、及镜头的C底座。每个轴相机的视野可以介于120-185度中间。在替代实施方式中，轴相机的FOV也可小于120或者大于185。在最小值时，其必须足够大以覆盖外围相机210留下的孔。例如，如果外围相机210具有垂直的FOV x度数，为了成像覆盖范围中的孔，轴相机的FOV应当具有2×(90-x)度。在一些实施方式中，可以使用更大的FOV来保证足够的重叠，使3D-360度内容能够从与来自轴相机的图像信息对应的部分平滑过渡至与来自外围相机210的图像信息对应的部分。
在图2A的实施方式中，镜头234具有阻塞红外光的光学涂层、f/1.8–16光圈、相机的C底座、及185度的水平和垂直视野。轴相机可以是电池供电，经由电缆和电缆接口(例如，USB接口)，或其某种组合供电。
相机部件200使用多个布置为观察局部区域的360度的外围相机210和轴相机捕获图像信息。相机部件200的设置可以由用户远程预览和修改。图像信息可以发送至数据存储120或者至处理服务器140以生成3D-360度内容。
图2B示出了根据实施方式的在图2中示出的相机部件200的俯视图。图2B表明外围相机210的配置并且强调分别通过三个外围相机210a、210b、及210c看到的视野236、视野238、及视野240。局部区域中的物体242和物体244由外围相机210a、210b、及210c观察。在图2B中的示图用于参考并且可能不按比例示出。
如关于图2A描述的，外围相机210布置为创建围绕中心点218的环，镜头230从对准轴线216平分的中心点218向外指向。每个外围相机210与任何相邻的外围相机210分开间隔距离。间隔距离是相邻的外围相机210的传感器之间的距离。在一些实施方式中，间隔距离大约与人眼的瞳孔间的距离相同。该配置允许所捕获的图像和/或视频模拟人如何感知局部区域的成像部分。
外围相机210布置成环形配置，因此，每个相机相对于相邻的相机成很小的角度θ1。例如，在一些实施方式中，角度θ1是25.71度，允许外围相机210的视野之间的明显重叠。角度θ1和每个外围相机210的视野配置为至少可以通过两个外围相机210看到外围相机210成像的局部区域中的物体。如图2B所示，外围相机210a、210b、210c的视野236、238、240分别以阈值距离开始重叠；重叠的视野通过阴影区域表示。在图2B的实施方式中，每个外围相机210具有77度的视野θ2。视野236、238、240之间的区域是盲点区域246，任何外围相机210观察不到盲点区域246中的物体。
阈值距离是局部区域中在该距离的物体可以被至少两个外围相机210观察到。阈值距离在局部区域中根据θ1的大小变化。例如，距中心点218第一距离的物体242可被三个外围相机210a、210b、及210c观察到；然而，物体244位于小于第一距离的第二距离处，在外围相机210a和外围相机210b的视野内。外围相机210和轴相机布置为使环境中的越过阈值距离的每个物体可以被至少两个外围相机210观察到。该配置允许相机部件200从多个角度观察局部区域中的物体并且利用显著重叠捕获图像信息，允许系统100重建高质量3D-360度内容和/或视频。
图2C示出了根据实施方式的在图2中示出的相机部件200的侧视图。如关于图2A的实施方式描述的，镜头234是具有广角θ3视野的鱼眼镜头。在图2C的实施方式中，角度θ3是185度，该角度在其他实施方式中可以变化。镜头234被配置为具有环境的顶区域和底区域的宽范围并且提供与外围相机210的视野充分的重叠，因此可以创建高质量的3D-360度内容。在一些实施方式中，表面248可以是相机部件200的支撑结构，其放在桌子上或者连接至相机或者支架。
图2D示出了根据一个实施方式的用于捕获图像信息的相机部件250的侧视图。在一些实施方式中，相机部件250是系统100中的相机部件130的实施方式。可替代地，相机部件250可以是其它系统的一部分。相机部件250的一些实施方式具有与此处描述的这些不同的组件。类似地，在一些情况下，可以与这里描述的不同方式在组件中分布功能。
相机部件250基本上与相机部件200相同，除了相机部件250包括底座255和两个底轴相机260、265之外。底座255支撑相机部件250。底座255包括支撑270和平台275。支撑270稳定地(即，最小振动)将相机部件250的负载传送至平台275。在这个实施方式中，支撑270是将平台275连接至相机部件250的单杆。在其他实施方式中，支撑270可包括多个杆，或者从平台275至相机部件250的其他支撑方式。支撑275可以由例如，木材、金属、塑料等组成。
平台275是支撑270和相机系统250的稳定基座。在这个实施方式中，平台275仅是彼此隔开的三个支腿。支撑275可以由例如，木材、金属、塑料等组成。注意，在替代实施方式中，可以使用其他底座。
底轴相机255、260基本上与底轴相机214相同。底轴相机255、260布置为使底轴相机255的视野和底轴相机260的视野充分重叠以去除作为3D-360度内容中的遮挡的一些或者所有的底座265(例如，支撑270的部分)。
图3是示出了根据实施方式的相机系统130内的模块的详细视图的高级框图。相机系统130的一些实施方式具有与此处描述的这些不同的模块。类似地，可以与这里描述的不同方式在模块中分布功能。相机系统130由包括相机部件310、数据存储320、网络服务器330、用户界面340、及相机控制器350的模块组成。
相机部件310使用多个布置为观察局部区域的360度的相机捕获图像信息。在一些实施方式中，相机部件310是相机部件200的实施方式。可替代地，相机部件310可以是其它相机部件，这些相机部件被配置为捕获覆盖360度并且图像的至少一部分以立体图像捕获的多个图像。例如，除了不包括底轴相机214，相机部件310可以与相机部件200相似。图像信息可包括例如，一个或多个图像、音频信息、视频信息、元数据、或其某种组合。图像信息可以捕获为图像的各种文件格式(例如，.jpeg、.tif、.png等)、音频(例如，.aac、.mp3、.wav等)、和/或视频(例如，.mpg、.mov、.wmv等)。相机部件310响应于来自相机控制器350的指令捕获图像信息。在一些实施方式中，相机部件310确保从每个外围相机210和轴相机捕获的图像信息是一致的并且允许构造一致的看起来自然的3D-360度内容。相机部件310捕获并且发送一些或者所有的图像信息至例如，用户界面340、数据存储320、处理服务器130、数据存储120、或其某种组合。
相机系统130的数据存储320是存储图像信息的本地存储器。数据存储320从相机部件310接收图像信息并且进行存储。在一些实施方式中，数据存储320可上传图像信息至外部数据存储(例如，数据存储120)、处理服务器(例如，处理服务器130)、或其某种组合。在一些实施方式中，数据存储320作为缓冲器。例如，相机系统130可以超过至外部数据存储和/或处理服务器的上传速率的速度生成图像信息。因此，数据存储320可临时缓冲图像信息以保证上传速率不超过外部数据存储和/或处理服务器。在一些实施方式中，数据存储320可包括多个存储器，并且图像信息可以分布式方式写入多个存储器。例如，在一些实施方式中，数据存储320可以是包括具有分布式奇偶校验的块级别条带化的RAID5配置。这允许连续地写入大量数据。例如，在30Hz，相机部件310可以持续传输速率产生大约17Gb/s。数据存储320可以持续速率接收并且存储大量图像信息。
在一些实施方式中，数据存储320被配置为至少部分地用作环形缓冲器。环形缓冲器是数据存储320中的包括用于临时存储从相机部件310捕获的图像信息(例如，原始数据)的多个缓冲元件(即，存储位置)的存储区域。环形缓冲器允许缓冲元件同时填充和排空用于高效地传输大的数据集。通常，环形缓冲器具有首指针和尾指针。首指针供生产者将图像信息写入缓冲元件。尾指针供消费者读取缓冲元件中的图像信息。
在一些实施方式中，相机部件310捕获的图像信息包括多个帧(例如，约为数千个)。环形缓冲器的大小远远大于相机部件310在特定时间捕获的帧的总数。例如，环形缓冲器可以具有1000或更多单独的缓冲元件。一旦首指针指向环形缓冲器的第一缓冲元件，生产者将与相机部件310中的一个相机相关联的图像信息写入环形缓冲器的第一缓冲元件。然后，首指针移动至环形缓冲器的第二缓冲元件，生产者将与相机部件310中的另一相机相关联的图像信息写入环形缓冲器的第二缓冲元件等。例如，如果相机部件310包括总共16个相机，相机部件310的每个触发器产生16个图像，这16个图像被写入对应的16个缓冲元件。消费者在第一缓冲元件读取第一帧并传输第一帧至嵌入数据存储320中的存储器或者至外部数据存储(例如，数据存储120)等。在一些实施方式中，图像信息有序地存储为二进制文件格式。图像信息随后可从二进制文件提取出并且经由处理服务器140转换为颜色(或者黑白)3D-360度内容。
在一些实施方式中，环形缓冲器具有多个生产者和多个消费者。每个生产者和每个消费者可以具有单独的线程并且单独操作。对于一个实例，一个生产者用于一个相机。每个相机的生产者单独工作。对于另一实例，不同的生产者用于相机部件310中的相机的不同分组，例如，一个生产者用于相机部件310的半部分并且另一不同的生产者用于相机部件310的另一半部分。
在一些实施方式中，多个消费者与不同的数据存储装置相关联(例如，硬盘驱动器)。不同的数据存储装置可彼此单独操作。在一些实施方式中，每个数据存储装置是单独的消费者。该配置允许数据不断地从环形缓冲器流至多个不同的数据存储装置。例如，在一些实施方式中，使用两个不同的数据存储装置(例如，第一数据存储装置和第二数据存储装置)。并且当第一数据存储装置从环形缓冲器写入图像信息时，第二数据存储装置寻找数据。于是，第二数据存储装置写入图像信息，并且第一数据存储装置寻找数据等。相应的消费者在两个存储设备之间来回地切换，促进图像信息以对于相机部件310的连续操作足够快的速度写入至多个数据存储装置(即，图像信息在重写之前可以从环形缓冲器提取出)。
在一些实施方式中，消费者发送帧至另一位置用于其他处理。对于一个实例，消费者发送帧至网络服务器330用于进一步处理。对于另一实例，消费者发送帧至用户界面340用于预览帧。
网络服务器330用作相机系统130的网络接口105。网络服务器330通过网络105将数据从相机部件310传送至用户设备110、处理服务器140、其它实体、或其某种组合。在一些情况下，相机部件310可使用有线接口(例如，USB)传送数据至网络服务器330。数据可以是压缩的或未压缩的。
用户界面340允许用户与相机系统130接口连接。在一些实施方式中，用户界面340是图形用户界面(GUI)。以下关于图8详细地描述示例性用户界面。用户界面340允许用户预览相机部件310捕获的数据并且控制相机部件310的设置。在一些实施方式中，用户界面340可以通过移动电话、平板电脑、个人电脑等的网络连接或者具有网络连接的任何其他设备访问。在替代实施方式中，用户界面340可包括显示器和直接连接至相机部件310的一个或多个输入/输出设备(例如，鼠标键盘)。
相机控制器350被配置为控制相机部件310的操作。在图3的实施方式中，相机部件310被配置为具有一个相机作为主要相机，和另外的相机作为辅助相机。主要相机是其中的相机控制器作为多个其他相机的主人的相机。辅助相机是其中的相机控制器作为主相机的从属相机的相机。主要相机可以是任何外围相机210或者轴相机；在图3的实施方式中，主要相机是连接至顶板202的顶轴相机212。
相机控制器350控制相机部件310中的相机的曝光设置。相机的曝光度确定在相机捕获图像时如何显现亮图像或暗图像。曝光设置可包括例如，光圈尺寸、快门速度(也称作曝光时间)、增益、或其某种组合。光圈尺寸控制达到传感器的光的量。快门速度是传感器暴露于光的时间长度。增益是传感器对光的敏感性。在一些实施方式中，相机控制器350指示相机部件310确定相机部件310中的每个相机的曝光设置。相机控制器350使用所确定的曝光设置确定全局曝光设置，并且提供全局曝光设置至相机部件310中的所有相机。全局曝光设置是应用于相机部件310中的所有相机的单个曝光设置。
在一些实施方式中，相机控制器350确定从相机部件310接收的每个相机的曝光设置并且确定所有曝光设置的极值(例如，最小值和最大值)。基于极值，相机控制器350确定测试曝光设置的组并且指示相机部件310使用该组测试曝光设置捕获测试图像。
在接收使用来自相机部件310的每个测试曝光设置捕获的测试图像之后，相机控制器350基于所接收的使用测试曝光设置捕获的测试图像的强度分布确定全局曝光设置。强度分布是像素数量(也称作计数、频率)与这些像素的每个中检测的光强度(例如，红色、绿色、蓝色等)之间的关系。在一些实施方式中，强度信息可以通过测试图像的灰度级值表示。关系可以由概率分布(例如，直方图)、统计参数(例如，平均值、中值、对称性、偏斜、或者表示分布关系的任何合适的参数)表示。例如，相机控制器350通过使用利用单个测试曝光设置拍摄的测试图像在整个强度范围上累计计数生成单个直方图(例如，用于8-比特灰阶图像的0-255灰度级值)。并且相机控制器350使用利用不同的测试曝光设置拍摄的测试图像生成不同的直方图。
相机控制器350使用测试图像和选择标准选择全局曝光设置。选择标准是确定测试曝光设置是否应当选为全局曝光设置的一组条件。选择标准可包括，例如，直方图在值范围内的平坦度、阈值量以下的强度分布中的饱和像素的百分比(例如，小于相机系统310的总像素值的0.5％)、强度分布中的具有阴影修剪(即，完全黑色)的像素的百分比、小于阈值的图像噪声值、小于阈值(例如，4db)的增益值、没有饱和的最小增益值、或其某种组合。以下关于图4至6进一步详细地说明用于确定相机部件310的全局曝光设置的处理。
如果没有全局曝光设置，相机部件310中的每个相机可以不同的曝光设置捕获图像信息，导致一些图像显示比其他图像亮或暗，使一些运动目标在一些图像中显示模糊，在其他图像中显示不模糊等。在图像拼接在一起构造3D-360度内容时，这可能导致个别图像之间不一致。均匀曝光辅助创建3D-360度内容的看起来自然的图像和/或视频。在替代实施方式中，相机控制器350指示主要相机确定其曝光设置，然后将所确定的曝光设置设置为全局曝光设置并将该全局曝光设置提供至相机部件310中的所有相机。全局曝光设置跨多个外围相机210和轴相机(例如，顶轴相机212、底轴相机214)的全部提供均匀的曝光。
相机控制器350控制相机部件310的全局快门。全局快门同步相机部件310中的每个相机的快门，使得每个快门同时(即，彼此在小于1毫秒内)打开，允许相机部件310捕获同步的图像信息。全局快门允许相机部件310中的每个相机中的每一个像素同时开始曝光并且同时结束曝光。这防止快速移动的物体在对角方向上弄脏帧，这可能出现在使用卷帘快门的相机系统中(即，相机传感器的不同线条在读出‘波’扫过相机传感器时的不同时间曝光的快门模式)。相机控制器350可指示主要相机(例如，顶轴相机212)提供主触发信号至相机部件310中的辅助相机。主触发信号命令每个辅助相机的快门与主要相机的快门同时打开。外围相机210和相机部件310内的轴相机可以利用生成器锁紧缆(例如，USB3.0生成器锁紧缆)连接以保证同步捕获数据。捕获同步图像信息确保各个图像匹配并且通过处理服务器140可以准确地拼接在一起以构造3D-360度内容。
图4是根据实施方式的用于确定相机部件的全局曝光设置的过程400的流程图。例如，相机部件可以是相机部件310。在其他实施方式中，相机部件可以是捕获图像，使图像拼接在一起使图像具有更大视野的其它相机部件系统。在一些实施方式中，过程400可以由相机系统130执行。可替代地，其他组件可执行过程400的一些或者所有步骤。另外，过程400在一些实施方式中可包括与结合图4描述的那些不同的或者另外的步骤，或者以结合图4描述的顺序不同的顺序执行步骤。
相机系统130确定多个相机各自的曝光设置(例如，相机部件310中包括的一些或者所有相机)410。相机系统130指示(例如，经由相机控制器350)相机部件310中的一些或所有相机(外围相机和/或轴相机)确定它们各自的曝光设置。因为每个相机具有不同的视野，相机的曝光设置可能彼此不同。例如，顶轴相机的视野可包括太阳(即，光源)并且包括许多光，而底轴相机的视野(如果有的话)可能是地面并且包括较少的光。
如前所说，每个相机的曝光设置包括设置参数，该设置参数可包括例如，光圈尺寸、快门速度、及增益。在一些实施方式中，一个或多个设置参数是固定的。例如，相机部件130可固定光圈尺寸和增益，并且指示一些或者所有相机返回各自的快门速度，快门速度导致适当的曝光。
相机系统130根据所确定的曝光设置确定最小快门速度和最大快门速度420。在一些实施方式中，相机系统130排列所确定的快门速度。例如，相机系统130可按照最短时间(最小值)至最长时间(最大值)排列所确定的快门速度。相机系统130选择排名最低的快门速度作为最小快门速度并且选择排名最高的快门速度作为最大快门速度。在其他实施方式中，相机系统130按照从最长时间至最短时间排列所确定的快门速度，并且选择排名最低的快门速度作为最大快门速度并且选择排名最高的快门速度作为最小快门速度。
相机系统130使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组430。在一些实施方式中，基于最小快门速度和最大快门速度，相机系统130确定多个测试快门速度。测试快门速度包括最小快门速度、最大快门速度、分布在最小快门速度与最大快门速度之间的一个或多个快门速度。一个或多个快门速度可均匀地或不均匀地分布在最小快门速度与最大快门速度之间。在一些实施方式中，相机部件130使用测试快门速度生成一组测试曝光设置。例如，该组测试曝光设置可包括测试快门速度中的每一个的测试曝光设置。在一些实施方式中，每个测试曝光设置的其他设置参数(即，增益和光圈尺寸)是固定的。以下关于图5详细地论述测试快门速度的均匀分布的实例。
在一些实施方式中，相机系统130可以被配置为捕获视频。为了捕获视频，相机系统130确定最大快门速度是否大于或等于阈时间值。阈时间值是小于或等于与待捕获的视频的帧速率的倒数对应的时间值的时间值。例如，如果视频的帧速率是每秒30帧，阈时间值可以是大约30微秒(或更小)。如果最大快门速度小于或者等于阈时间值，相机系统130如上所述确定测试快门速度。
然而，如果最大快门速度大于阈值时间值，相机系统130将快门速度固定在阈时间值并且确定多个测试增益值，多个测试增益值从最小增益值至最大增益值的范围。相机部件130使用测试增益值生成一组测试曝光设置。在一些实施方式中，每个测试曝光设置的其他设置参数(即，快门速度和光圈尺寸)是固定的。以下关于图6详细地论述增益值的均匀分布的实例。
相机系统130使用测试曝光设置捕获多个测试图像440。多个捕获的图像包括在每个测试曝光设置捕获的多组图像。测试图像的每个组包括来自相机部件310中的每个相机的图像，这些图像使用相同的测试曝光设置捕获并且同时捕获(即，使用全局快门拍摄)。
相机系统130基于多个测试图像选择全局曝光设置450。相机系统130确定与每组捕获的测试图像相关联的强度分布。相机系统130应用选择标准(例如，饱和像素的百分比小于阈值)至强度分布中的一个或多个以识别哪些(如果有的话)强度分布满足选择标准。
在一些实施方式中，每个测试曝光设置的快门速度不同(例如，1ms、4ms、6ms、及10ms)，相机系统130应用选择标准至与最大的曝光值(即，最大快门速度)相关联的强度分布。如果满足选择标准，相机系统130选择与强度分布相关联的测试曝光设置作为全局曝光设置。如果选择标准未满足，相机系统130应用选择标准至具有下一个最高的曝光值(即，下一个最长的快门速度)的强度分布，并且再次确定是否满足选择标准等。过程重复直至满足特定强度分布的选择标准。
在一些实施方式中，每个测试曝光设置的增益不同(例如，0dB、1dB、2dB、3dB等)，相机系统130应用选择标准至与最小曝光值(即，最低增益值)相关联的强度分布。如果满足选择标准，相机系统130选择与强度分布相关联的测试曝光设置作为全局曝光设置。如果选择标准未满足，相机系统130应用选择标准至具有下一个最低曝光值(即，次于最低增益值)的强度分布，并且确定是否满足选择标准等，直至满足选择标准。因为图像质量通常随着增益退化，某种情况下，增加增益可导致图像低于质量阈值。因此，在一些实施方式中，如果任何强度分布未满足选择标准，相机系统130可向用户返回错误消息(例如，图像中噪声过多、光不足等)。
相机系统130应用所选择的全局曝光设置至每个相机(即，相机部件310中的每个相机)460。在一个实施方式中，相机系统130直接应用所选择的全局曝光设置至相机部件310中的所有相机。在另一实施方式中，相机系统130经由相机部件310中的主要相机应用所选择的全局曝光设置至每个相机。
图5示出根据实施方式的一组不同测试曝光设置的强度分布500。如图5中所示，测试曝光设置的设置包括四个不同的快门速度(SH)520，这四个不同的快门速度包括最小快门速度(SHmin)、第一中间快门速度(SH1)、第二中间快门速度(SH2)、及最大快门速度(SHmax)。快门速度经由以下关系SHmin<SH1<SH2<SHmax彼此相关。每个测试曝光设置具有一个快门速度。
相机系统130(例如，经由相机控制器350)指示相机部件310在每一个测试曝光设置捕获测试图像的组。在这个实例中，测试曝光设置具有相同的增益和光圈值，但是各自具有不同的快门速度。相机系统130(例如，经由相机控制器350)为测试图像的每个组生成强度分布。该分布在图5中示出为直方图530。直方图530在快门速度从SHmin变化至SHmax时从左偏变为右偏。直方图中的强度分布越右偏表示该组测试图像中的亮像素越多，且直方图中的强度分布越左偏表示该组测试图像中的暗像素越多。
如参考图4论述的，相机系统130首先应用选择标准至具有最大曝光值的强度分布，然后应用选择标准至具有下一个最大曝光值的强度分布等，直至满足选择标准。在图5中，直方图530D具有最高的曝光值，但是未满足选择标准，因为例如，其具有太大的饱和像素数量。相机系统130然后应用选择标准至与直方图530C相关联的强度分布。直方图530C的平坦分布表示亮度均匀，并且满足选择标准。因此，相机系统130选择包括SH2的测试曝光设置作为全局曝光设置。
图6示出根据实施方式的另一组不同测试曝光设置的强度分布600。如图6所示，测试曝光设置使用四个不同的增益值620，这四个不同的增益值是最小增益值(增益min)、第一中间增益值(增益1)、第二中间增益值(增益2)、及最大增益值(增益max)。增益值经由以下关系增益min<增益1<增益2<增益max彼此相关。与图5相似，随着强度分布在直方图右偏，亮像素的数量增加，并且随着强度分布在直方图中左偏，暗像素的数量增加。注意，图像中的噪声随着增益增加而增加。
如参考图4论述的，相机系统130首先应用选择标准至具有最低曝光值的强度分布，然后应用选择标准至具有下一个最低曝光值的强度分布等，直至满足选择标准。在图6中，直方图630C示出没有修剪的分布(例如，饱和像素在暗像素或亮像素中)并且具有适度的噪声。因此，选择包括增益2的测试曝光设置作为全局曝光设置。
图7示出根据一个实施方式的从图像信息生成的3D-360度内容。在图7的实施方式中，3D-360度内容是使用单个图像帧702-730生成的构造图像700。单个图像帧702-730由处理服务器140处理并且构造为形成360度图像，帧702-730生成的图像的部分为3D。
帧702-728由多个外围相机210捕获，其中，单个帧由一个外围相机210捕获。每个帧702-728包括局部区域的二维(2D)部分。将从多个2D视角捕获局部区域的图像组合为单个图像允许图像内的物体显示为3D。当组合相机部件利用局部区域的360度视图捕获的单个帧，诸如帧702-728时，产生示出局部区域的3D-360度视图的构造图像700。如在图7中示出的，每个帧702-730包括与各自相邻帧重叠的区域。帧702-728的重叠区域引起外围相机210的视野的重叠，如关于图2B描述的。重叠区域允许处理服务器140无缝地且准确地构造帧702-728为用于虚拟现实系统的360度图像。
类似地，帧729和730由多个轴相机捕获，其中，单个帧由一个轴相机捕获。在图7的实施方式中，帧729由顶轴相机212捕获，帧730由底轴相机214捕获。每个帧729和730包括与外围相机210捕获的帧702-728重叠的区域，提供局部区域的顶视图和底视图。帧729和730的重叠区域引起轴相机与外围相机210的视野的重叠。重叠区域允许处理服务器140无缝地且准确地将帧729和730与帧702-728组合为用于虚拟现实系统的360度图像。
此外，在图7的实施方式中，每个帧702-730包括允许处理服务器140根据单个帧702-730创建构造图像700的元数据。如关于图1描述的，元数据可包括，例如，帧速率、曝光设置(例如，快门速度、增益等)、版权信息、日期/时间信息、相机标识符、名称、标签、与图像信息相关联的其它信息、或者其某种组合。例如，在一个实施方式中，为了创建构造图像700，处理服务器140可使用每个帧的日期/时间信息来验证组合了适当的帧。在另一个实施方式中，处理服务器140可使用相机标识符信息来保证帧以正确的顺序组合。每个帧702-728包括的元数据确保单个帧准确地组合以创建虚拟现实系统的360度图像。
图8示出根据一个实施方式的相机系统130的用户界面800。例如，用户界面800可以是用户界面340。用户界面800允许用户控制相机系统130。用户界面800包括曝光控制810、文件类型控制820、激活控制830、及预览区域840。
曝光控制810允许用户控制并且调整相机部件310的全局曝光设置。曝光控制810可包括亮度、光圈、快门、及增益设置。通过图4中描述的过程根据相机部件310中的全部相机确定全局曝光设置。在一些实施方式中，可以根据相机部件310中的主要相机确定全局曝光设置。所确定的设置可用作初始设置，用户可以使用曝光控制810调整该初始设置。一旦曝光控制810已调整至期望设置，所希望的设置可以提供至相机部件310中的每个相机。
文件类型控制820允许用户控制捕获图像信息的格式。文件类型控制820可包括图像的各种文件类型(例如，.jpeg、.tif、.png等)、音频(例如，.aac、.mp3、.wav等)、和/或视频(例如，.mpg、.mov、.wmv等)。一些实施方式可允许用户控制每个单独类型的图像信息的文件类型。
激活控制830允许用户控制相机部件310的操作。激活控制830可包括(但不限于)以下选项：使相机部件310通电/断电、激活相机部件310捕获图像信息，重置相机部件310的设置，激活处理服务器140以开始/停止处理所捕获的图像信息，连同其它相机系统130的功能。
预览区域840允许用户预览根据相机部件310的相机捕获的图像信息构造的图像。预览区域840辅助用户确定相机部件310的期望曝光设置和/或相机部件310在局部区域内的期望定位。预览区域840确保相机部件310正在捕获构造虚拟现实系统的期望3D-360度内容的图像信息。
在一些实施方式中，用户界面340还允许用户控制处理服务器140，访问数据存储120、并且访问数据存储320。在图8的实施方式中，用户界面340包括设置(例如，亮度、光圈和快门速度定义的曝光值、快门及增益)、图像预览、及与图像预览相关联的元数据。设置可以由用户修改，并且设置发送至相机控制器350，相机控制器350命令相机部件310并且在外围相机210和轴相机上全局执行相机设置。用户界面340可以在连接至网络105的任何设备上被访问。
附加配置信息
本公开实施方式的上述描述仅出于说明的目的而呈现；并且不旨在穷尽或者将本公开局限于所公开的确切形式。相关领域技术人员应认识到，根据上述公开内容，可以有多种修改和变化。
本说明书的一些部分从信息运算的算法和符号表示法的角度描述了本公开的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用，以便将他们的工作实质有效传达给本领域的其他技术人员。这些运算，当被描述为功能性的、计算性的或逻辑性的时，被理解为由计算机程序或其他等同电路、微码等实施。此外，有时，把这些运算的布置称为模块也是方便的，并且不失其一般性。所描述的运算及其关联模块可具体化为软件、固件、硬件或以上设备的任意组合。
本文描述的任何步骤、操作或流程可被一个或多个硬件模块或软件模块单独或与其他设备组合执行或实施。在一个实施方式中，软件模块可被计算机程序产品实施，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可被用于执行任何或所有步骤、操作或流程的计算机处理器执行。
本公开的实施方式还可涉及一种用于执行本文中的操作的装置。该装置可针对需要目的而具体构造和/或该装置可包括由存储在计算机中的计算机程序选择性激活或者重新配置的通用计算设备。这种计算机程序可被存储在适用于存储电子指令的非暂时性、有形的计算机可读存储介质或任何类型的介质中，这种计算机程序可以耦合至计算机系统的总线。而且，本说明书中提及的任何计算系统可包括单一处理器或者可以是采用多个处理器以提高计算能力设计的架构。
本公开的实施方式还可以涉及由本文中所描述的计算过程制造的产品。该产品可包括由计算过程产生的信息，其中信息存储在非暂时性、有形的计算机可读存储介质上并且可包括计算机程序产品的任何实施方式或者本文描述的其他数据组合。
最后，原则上出于可读性和说明性之目的来选择本说明书中使用的语言，并且所使用的语言并不被选择来划定或者限制本发明的主题。因此，本公开的范围并不旨在由具体实施方式来限定，而是由基于具体实施方式的本申请所发布的任何权利要求来限定。因此，实施方式的公开内容旨在用于说明，而非限制在所附权利要求中阐述的本公开的范围。

Claims (35)

1.一种方法，包括：
确定多个相机的各个曝光设置，每个相机具有各自的局部区域的一部分的视野及跨所述局部区域的360度的组合视野；
根据所确定的曝光设置确定最小快门速度和最大快门速度；
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组；
在所述组中的每个测试曝光设置下使用所述多个相机捕获测试图像的组，其中，测试图像的每个组包括来自所述多个相机中的每一个的、使用相同的各个测试曝光设置捕获的、并且同时捕获的图像；
基于所捕获的测试图像的组选择全局曝光设置；并且
应用所选择的全局曝光设置至所述多个相机。
2.根据权利要求1所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组包括：
确定所述最小快门速度与所述最大快门速度之间分布的一个或多个测试快门速度；并且
生成针对所述最小快门速度、所述一个或多个测试快门速度、及所述最大快门速度的各个测试曝光设置。
3.根据权利要求2所述的方法，其中，所述一个或多个测试快门速度均匀地分布在所述最小快门速度与所述最大快门速度之间。
4.根据权利要求1所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组进一步包括：
比较所述最大快门速度与阈时间值；并且
响应于确定所述最大快门速度小于或者等于所述阈时间值，
确定所述最小快门速度与所述最大快门速度之间分布的一个或多个测试快门速度，并且
生成针对所述最小快门速度、所述一个或多个测试快门速度、及所述最大快门速度的各个测试曝光设置。
5.根据权利要求1所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组进一步包括：
比较所述最大快门速度与阈时间值；并且
响应于确定所述最大快门速度大于所述阈时间值，
确定多个测试增益值，并且
生成所述多个测试增益值的各个测试曝光设置，其中，所述测试曝光设置中的每一个的快门速度及光圈是相同的。
6.根据权利要求5所述的方法，其中，所述阈时间值是与所述多个相机捕获的视频的帧速率的倒数对应的时间周期。
7.根据权利要求5所述的方法，其中，所述测试曝光设置中的每一个的快门速度是所述阈时间值。
8.根据权利要求1所述的方法，其中，基于所捕获的测试图像的组选择全局曝光设置包括：
使用所捕获的测试图像的组确定强度分布；
应用选择标准至所述强度分布中的一个或多个；并且
部分地基于与满足所述选择标准的所述测试曝光设置相关联的强度分布选择测试曝光设置作为全局曝光设置。
9.根据权利要求8所述的方法，其中，所述选择标准选自以下构成的组：值范围内的直方图的平坦度、所述强度分布中的饱和像素的百分比低于阈数量、所述强度分布中的具有阴影修剪的像素的百分比、图像噪声值小于阈值、增益值小于阈值、及未饱和的最小增益值。
10.一种方法，包括：
确定多个相机的各自的曝光设置，每个相机具有各自的局部区域的一部分的视野及跨所述局部区域的360度的组合视野；
根据所确定的曝光设置确定最小快门速度和最大快门速度；
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组；
在所述组中的每个测试曝光设置下使用所述多个相机捕获测试图像的组，其中，测试图像的每个组包括来自所述多个相机中的每一个的、使用相同的各个测试曝光设置捕获的图像；
基于所捕获的测试图像的组选择全局曝光设置；并且
应用所选择的全局曝光设置至所述多个相机。
11.根据权利要求10所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组包括：
确定所述最小快门速度与所述最大快门速度之间分布的一个或多个测试快门速度；并且
生成针对所述最小快门速度、所述一个或多个测试快门速度、及所述最大快门速度的各个测试曝光设置。
12.根据权利要求11所述的方法，其中，所述一个或多个测试快门速度均匀地分布在所述最小快门速度与所述最大快门速度之间。
13.根据权利要求10所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组进一步包括：
比较所述最大快门速度与阈时间值；并且
响应于确定所述最大快门速度小于或者等于所述阈时间值，
确定所述最小快门速度与所述最大快门速度之间分布的一个或多个测试快门速度，并且
生成针对所述最小快门速度、所述一个或多个测试快门速度、及所述最大快门速度的各个测试曝光设置。
14.根据权利要求10所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组进一步包括：
比较所述最大快门速度与阈时间值；并且
响应于确定所述最大快门速度大于所述阈时间值，
确定多个测试增益值，并且
生成所述多个测试增益值的各个测试曝光设置，其中，所述测试曝光设置中的每一个的快门速度及光圈是相同的。
15.根据权利要求14所述的方法，其中，所述阈时间值是与所述多个相机捕获的视频的帧速率的倒数对应的时间周期。
16.根据权利要求14所述的方法，其中，所述测试曝光设置中的每一个的快门速度是所述阈时间值。
17.根据权利要求10所述的方法，其中，基于所捕获的测试图像的组选择全局曝光设置包括：
使用所捕获的测试图像的组确定强度分布；
应用选择标准至所述强度分布中的一个或多个；并且
部分地基于与满足所述选择标准的所述测试曝光设置相关联的强度分布选择测试曝光设置作为全局曝光设置。
18.根据权利要求17所述的方法，其中，所述选择标准选自以下构成的组：值范围内的直方图的平坦度、所述强度分布中的饱和像素的百分比低于阈数量、所述强度分布中的具有阴影修剪的像素的百分比、图像噪声值小于阈值、增益值小于阈值、及未饱和的最小增益值。
19.一种方法，包括：
确定多个相机的各个曝光设置，每个相机具有各自的局部区域的一部分的视野及跨所述局部区域的360度的组合视野，并且在所述多个相机的阈值距离外，局部区域的一部分中的任意物体在至少两个相机的视野内；
根据所确定的曝光设置确定最小快门速度和最大快门速度；
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组；
在所述组中的每个测试曝光设置下使用所述多个相机捕获测试图像的组，其中，测试图像的每个组包括来自所述多个相机中的每一个的、使用相同的各个测试曝光设置捕获的、并且同时捕获的图像；
基于所捕获的测试图像的组选择全局曝光设置；并且
应用所选择的全局曝光设置至所述多个相机。
20.根据权利要求19所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组包括：
确定所述最小快门速度与所述最大快门速度之间分布的一个或多个测试快门速度；并且
生成针对所述最小快门速度、所述一个或多个测试快门速度、及所述最大快门速度的各个测试曝光设置。
21.一种方法，包括：
确定多个相机的各自的曝光设置，每个相机具有各自的局部区域的一部分的视野及跨所述局部区域的360度的组合视野；
根据所确定的曝光设置确定最小快门速度和最大快门速度；
使用所确定的最小快门速度和最大快门速度确定测试曝光设置的组；
在所述组中的每个测试曝光设置下使用所述多个相机捕获测试图像的组，其中，测试图像的每个组包括来自所述多个相机中的每一个的、使用相同的各个测试曝光设置捕获的图像；
基于所捕获的测试图像的组选择全局曝光设置；并且
应用所选择的全局曝光设置至所述多个相机。
22.根据权利要求21所述的方法，其中，测试图像的每个组包括来自所述多个相机中的每一个的、使用相同的各个测试曝光设置捕获的、并且同时捕获的图像。
23.根据权利要求21或22所述的方法，其中，在所述多个相机的阈值距离外，局部区域的一部分中的任意物体在至少两个相机的视野内。
24.根据权利要求21至23中任一项所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组包括：
确定所述最小快门速度与所述最大快门速度之间分布的一个或多个测试快门速度；并且
生成针对所述最小快门速度、所述一个或多个测试快门速度、及所述最大快门速度的各个测试曝光设置。
25.根据权利要求21至24中任一项所述的方法，其中，所述一个或多个测试快门速度均匀地分布在所述最小快门速度与所述最大快门速度之间。
26.根据权利要求21至25中任一项所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组进一步包括：
比较所述最大快门速度与阈时间值；并且
响应于确定所述最大快门速度小于或者等于所述阈时间值，
确定所述最小快门速度与所述最大快门速度之间分布的一个或多个测试快门速度，并且
生成针对所述最小快门速度、所述一个或多个测试快门速度、及所述最大快门速度的各个测试曝光设置。
27.根据权利要求21至26中任一项所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组进一步包括：
比较所述最大快门速度与阈时间值；并且
响应于确定所述最大快门速度大于所述阈时间值，
确定多个测试增益值，并且
生成所述多个测试增益值的各个测试曝光设置，其中，所述测试曝光设置中的每一个的快门速度及光圈是相同的。
28.根据权利要求21至27中任一项所述的方法，其中，所述阈时间值是与所述多个相机捕获的视频的帧速率的倒数对应的时间周期。
29.根据权利要求21至28中任一项所述的方法，其中，所述测试曝光设置中的每一个的快门速度是所述阈时间值。
30.根据权利要求21至29中任一项所述的方法，其中，基于所捕获的测试图像的组选择全局曝光设置包括：
使用所捕获的测试图像的组确定强度分布；
应用选择标准至所述强度分布中的一个或多个；并且
部分基于与满足所述选择标准的所述测试曝光设置相关联的强度分布选择测试曝光设置作为全局曝光设置。
31.根据权利要求21至30中任一项所述的方法，其中，所述选择标准选自由以下构成的组：值范围内的直方图的平坦度、所述强度分布中的饱和像素的百分比低于阈数量、所述强度分布中的具有阴影修剪的像素的百分比、图像噪声值小于阈值、增益值小于阈值、及未饱和的最小增益值。
32.根据权利要求21至31中任一项所述的方法，其中，使用所确定的最小快门速度和最大快门速度确定所述测试曝光设置的组包括：
确定所述最小快门速度与所述最大快门速度之间分布的一个或多个测试快门速度；并且
生成针对所述最小快门速度、所述一个或多个测试快门速度、及所述最大快门速度的各个测试曝光设置。
33.一个或多个包含软件的计算机可读非易失性存储介质，当所述软件被执行时能操作以执行根据权利要求21至32中任一项所述的方法。
34.一种系统，包括：一个或多个处理器；和耦接至所述处理器并且包括能由所述处理器执行的指令的至少一个存储器，所述处理器当执行所述指令时能操作为执行根据权利要求21至32中任一项所述的方法。
35.一种计算机程序产品，优选包括计算机可读非易失性存储介质，当在数据处理系统上执行时，所述计算机程序产品能操作为执行根据权利要求21至32中任一项所述的方法。
CN201780035049.2A 2016-04-06 2017-02-03 三维、360度虚拟现实相机曝光控制 Active CN109313815B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662318843P 2016-04-06 2016-04-06
US62/318,843 2016-04-06
US15/096,128 2016-04-11
US15/096,128 US10200624B2 (en) 2016-04-06 2016-04-11 Three-dimensional, 360-degree virtual reality exposure control
PCT/US2017/016524 WO2017176355A1 (en) 2016-04-06 2017-02-03 Three-dimensional, 360-degree virtual reality camera exposure control

Publications (2)

Publication Number Publication Date
CN109313815A true CN109313815A (zh) 2019-02-05
CN109313815B CN109313815B (zh) 2020-05-12

Family

ID=59998498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780035049.2A Active CN109313815B (zh) 2016-04-06 2017-02-03 三维、360度虚拟现实相机曝光控制

Country Status (10)

Country Link
US (1) US10200624B2 (zh)
JP (1) JP6496093B1 (zh)
KR (1) KR102057488B1 (zh)
CN (1) CN109313815B (zh)
AU (1) AU2017247070B2 (zh)
BR (1) BR112018070413A2 (zh)
CA (1) CA3019936C (zh)
IL (1) IL261945B (zh)
MX (1) MX2018012147A (zh)
WO (1) WO2017176355A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10230904B2 (en) * 2016-04-06 2019-03-12 Facebook, Inc. Three-dimensional, 360-degree virtual reality camera system
US10306180B2 (en) * 2016-10-21 2019-05-28 Liquidsky Software, Inc. Predictive virtual reality content streaming techniques
US10607654B2 (en) * 2017-02-09 2020-03-31 Verizon Patent And Licensing Inc. Using sharding to generate virtual reality content
US11212432B2 (en) 2018-01-04 2021-12-28 Sony Group Corporation Data transmission systems and data transmission methods
US10966001B2 (en) 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11463747B2 (en) 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
US11212431B2 (en) * 2018-04-06 2021-12-28 Tvu Networks Corporation Methods and apparatus for remotely controlling a camera in an environment with communication latency
EP3691249A1 (en) 2019-01-29 2020-08-05 Koninklijke Philips N.V. Image signal representing a scene
US20220157060A1 (en) * 2019-02-27 2022-05-19 Telme Electronics Co., Ltd. Multi-tod surround camera device for detecting drone intrusion, and drone intrusion detection and capture method using same
KR101989585B1 (ko) * 2019-02-27 2019-06-17 (주)텔미전자 드론 침입을 탐지하기 위한 멀티 tod 서라운드 카메라 장치
US12020395B2 (en) 2019-03-15 2024-06-25 STX Financing, LLC Systems and methods for compressing and decompressing a sequence of images
WO2020191665A1 (zh) * 2019-03-27 2020-10-01 深圳市大疆创新科技有限公司 旋转式拍摄方法、控制装置、可移动平台及存储介质
CN110049257B (zh) * 2019-05-31 2021-09-21 影石创新科技股份有限公司 一种确定半同步曝光参数的方法及电子装置
KR20210022973A (ko) * 2019-08-21 2021-03-04 한화테크윈 주식회사 멀티 카메라 장치 및 이를 포함하는 촬영 시스템
KR102262652B1 (ko) * 2019-10-21 2021-06-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 폴더블 360도 카메라 시스템 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074535A (ja) * 2008-09-18 2010-04-02 Fujifilm Corp 撮影装置及び撮影方法
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
CN104335569A (zh) * 2012-06-11 2015-02-04 索尼电脑娱乐公司 图像生成设备以及图像生成方法
CN105007430A (zh) * 2014-04-24 2015-10-28 安讯士有限公司 用于确定曝光设置的方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100591144B1 (ko) * 2001-02-09 2006-06-19 이구진 주석기입에 따른 전방위성 3차원 이미지 데이터 획득장치 및 그 방법
JP2003244511A (ja) * 2002-02-13 2003-08-29 Fuji Photo Film Co Ltd 全方位撮影カメラ
US20050030392A1 (en) 2003-08-07 2005-02-10 Kujin Lee Method for eliminating blooming streak of acquired image
US20070097212A1 (en) * 2005-09-22 2007-05-03 Farneman John O 360 Degree surveillance system and method
JP2010283743A (ja) 2009-06-08 2010-12-16 Fujifilm Corp 全方位撮像装置及びそのパノラマ画像合成方法並びにパノラマ画像合成プログラム
US20110164108A1 (en) 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
WO2013186805A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
JP5828038B2 (ja) * 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
JP6119235B2 (ja) * 2012-12-20 2017-04-26 株式会社リコー 撮像制御装置、撮像システム、撮像制御方法およびプログラム
US20140362176A1 (en) 2013-01-05 2014-12-11 Patrick A. St. Clair Spherical panoramic imaging system
US9313415B2 (en) 2013-02-19 2016-04-12 Sensormatic Electronics, LLC Method and system for adjusting exposure settings of video cameras
US9911454B2 (en) * 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US9185391B1 (en) 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074535A (ja) * 2008-09-18 2010-04-02 Fujifilm Corp 撮影装置及び撮影方法
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
CN104335569A (zh) * 2012-06-11 2015-02-04 索尼电脑娱乐公司 图像生成设备以及图像生成方法
CN105007430A (zh) * 2014-04-24 2015-10-28 安讯士有限公司 用于确定曝光设置的方法和装置

Also Published As

Publication number Publication date
KR20180123584A (ko) 2018-11-16
JP2019516295A (ja) 2019-06-13
US20170295309A1 (en) 2017-10-12
AU2017247070A1 (en) 2018-11-15
IL261945B (en) 2019-12-31
BR112018070413A2 (pt) 2019-02-05
WO2017176355A1 (en) 2017-10-12
JP6496093B1 (ja) 2019-04-03
CN109313815B (zh) 2020-05-12
IL261945A (en) 2018-10-31
AU2017247070B2 (en) 2019-01-03
CA3019936A1 (en) 2017-10-12
CA3019936C (en) 2019-06-11
US10200624B2 (en) 2019-02-05
KR102057488B1 (ko) 2019-12-20
MX2018012147A (es) 2019-02-07

Similar Documents

Publication Publication Date Title
CN109313815A (zh) 三维、360度虚拟现实相机曝光控制
CN111052727B (zh) 电子装置及其控制方法
CN106797460B (zh) 三维视频的重建
US10154246B2 (en) Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras
CN105765967B (zh) 使用第二相机来调节第一相机的设置的方法、系统和介质
CN108286945B (zh) 基于视觉反馈的三维扫描系统和方法
JP6625745B2 (ja) 画像処理装置
CN106255990B (zh) 用于相机阵列的图像重对焦
AU2017247068A1 (en) Three-dimensional, 360-degree virtual reality camera system
CN108897468A (zh) 一种进入房源的虚拟三维空间全景的方法及系统
CN102158648B (zh) 影像截取装置及影像处理方法
CN109906600A (zh) 模拟景深
CN104885119B (zh) 图像处理装置、图像处理方法以及记录介质
CN113110731B (zh) 媒体内容生成的方法和装置
US20180165820A1 (en) Systems and techniques for capturing images for use in determining reflectance properties of physical objects
JP7075271B2 (ja) 画像処理装置、情報表示装置、制御方法、及びプログラム
CN108282622B (zh) 照片拍摄方法和装置
CN104104880A (zh) 移动终端及其拍摄方法
EP3229070B1 (en) Three-dimensional, 360-degree virtual reality camera exposure control
CN108391115A (zh) 基于电脑的3d影像成像方法及成像系统
CN108781251A (zh) 图像处理装置、图像处理方法和图像处理系统
CN115546041B (zh) 补光模型的训练方法、图像处理方法及其相关设备
JP2019068306A (ja) 撮像装置および撮像方法
CN116245741B (zh) 图像处理方法及其相关设备
JP2013005223A (ja) 撮像装置及びその制御方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan platform Co.

Address before: California, USA

Patentee before: Facebook, Inc.