CN107407554A

CN107407554A - 对多相机成像系统进行仿真

Info

Publication number: CN107407554A
Application number: CN201680007115.0A
Authority: CN
Inventors: R·纳拉亚斯瓦密; G·格洛沃; R·C·内拉
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2015-02-16
Filing date: 2016-01-26
Publication date: 2017-11-28
Anticipated expiration: 2036-01-26
Also published as: CN107407554B; US10119809B2; WO2016133657A1; US20160241791A1

Abstract

相机仿真被扩展到多相机系统。一方面涉及组合计算机图形、单相机仿真、多相机图像信号处理器(ISP)以便仿真和优化多相机系统。使用合成的计算机生成的场景来执行场景建模。将相机内在和相机外在参数考虑在内，生成计算机图形图像。

Description

对多相机成像系统进行仿真

相关申请的交叉引用

这是基于提交于2015年2月16日的临时申请序列号62/116,625的非临时申请，由此通过引用明确地结合在此。

背景技术

本申请涉及多相机成像。多相机成像是新兴的计算摄影领域。尽管多相机成像器适用于许多应用，但是使用视差(视差(disparity))来测量场景深度是其基本优点之一，并且引出许多有前途的应用。多个相机平台从不同视角捕获同一场景。处理图像以便确定物体从一个图像到下一个图像的相对位移。比较靠近相机的物体显示更多侧向位移，而比较远离相机的物体显示减小的侧向位移。此相对位移被称为视差，并且用于计算深度。各种算法可以用于视差(因此用于深度)估计。

数字相机仿真器可用作商业软件包，如成像系统评价工具箱(ISET)。这些系统准确地对传统相机的场景辐射度测定、光学器件和传感器进行建模，并且允许利用不同相机参数和场景特性对场景进行仿真。对数字相机的这种仿真已经预先允许科学家和工程师快速分析、理解和设计各种相机部件，并且评估不同设计的相对性能。

图像仿真包将相机仿真分成不同组成部分，包括：场景、光学器件、传感器和图像处理，从而允许控制那些组成部分中的每个组成部分的参数。输入参数或者是由制造商指定的或者是经测量的。

附图说明

关于以下附图描述了一些实施例：

图1是表示异构相机的多相机配置的描绘；

图2是根据一个实施例的多相机设计工具的框图；

图3是根据一个实施例的如被两个相机看到的具有视差的计算机生成的图像(作为立体像对的一部分)的描绘；

图4示出了观看具有不同深度的两个物体的两个相机系统；

图5是60个可能相机位置的示例，针对所述位置可以预先生成计算机生成的图像；

图6是多相机系统的框图，针对一个实施例示出了可以如何使用仿真工具来对各种组成部分进行建模以及可以如何优化整体系统；

图7A是如由多相机系统的一个相机看到的室内场景的计算机生成的图像的示例；

图7B是由不同位置处的相机所拍摄到的图像的示例；

图8A是根据一个实施例的测量的深度中的错误与图8B中所示出的三相机阵列中的不同基线的深度的曲线图；

图8B示出了3相机系统的七种可能相机配置，其中，中间相机保持在同一地方，同时，第二和第三相机位置变化，并且它们的系统性能作为分析的一部分被测量；

图9A示出了通过针对具有37.5mm的基线的立体像对仿真的拟真场景的方式对具有仿真图像的立体像对进行的深度估计；

图9B和图9C示出了对作为分别具有720p和1080p分辨率的通用移动电话相机的两个相机进行仿真和分析的两种情况的深度图，保持所有其他相机参数相同；

图9D和图9E是色图，示出了从蓝色到红色的渐增深度，采用在深度图中沿着图9B和图9C中的白色垂直虚线的切片的形式；

图10是多相机仿真的一个实施例以及针对一个实施例的优化工具的流程图；

图11是针对一个实施例的系统描绘；以及

图12是根据一个实施例的系统的前视图。

具体实施方式

基于拟真计算机生成的内容的完整系统仿真可以用于对混合多相机系统进行仿真。使用标准渲染包生成多个相机中的每个相机的场景图像。这些图像包含线性高动态范围场景辐照度数据。

所述方法通过使用计算机图形技术预计算具有适当视场和视差的场景来仿真多相机系统。所述方法可以仿真例如：同构相机阵列、异构相机阵列、传统二维(2D)相机和全光相机阵列、全光相机阵列、2D RGB相机阵列以及不同光谱相机(像近红外(IR)、中波长IR、长波长IR(LWIR)和紫外线(UV))。2D相机可以是例如：RBG、RBG-IR、RBG-Clear。相机阵列可以例如为使得每个相机是单色的，并且相机的集合覆盖从UV到LWIR的整个兴趣光谱。

仿真可以用于针对每个相机模块、传感器或光学器件确定可接受为“如制造的”规范，从而使得整体系统递送所期望的结果。目前，每个相机是成像平台的一部分的事实没有被解决或开发，因为没有方法来解决这个问题。

仿真可以执行复杂的蒙特卡洛(Monte-Carlo)仿真，其中，系统性能由被系统中的所有变量跨越的整个空间表征，包括部件(像单独透镜、传感器)的变量以及部件内的其他变量。

仿真还可以用于对在相机之一部分或完全故障时发生的“适度降级”进行建模。在关键任务应用中，这可以解决系统的容错性和鲁棒性。

仿真可以用于视频。所述方法不限于静止图像。类似地，其可以应用于光场捕获的媒体，像全光相机。

在一些实施例中，ISET用于仿真从单相机中捕获的图像。因此，在多相机系统中，使用ISET的多个执行。作为下一步，对场景上的光学效应进行仿真。光学仿真或者对理想透镜模糊进行仿真或者如在真实透镜中那样使用像差使场景模糊。光学模块通过使用加窗傅里叶变换技术来加速应用移变性模糊。透镜效应可以被建模为模糊运算，所述模糊运算在一个实施例中是空间域中的卷积。卷积运算在一个实施例中还可以被实现为频域中的乘法。在计算上，在频域中执行运算更有效。在这种情况下，通过对场景的一小段加窗、转换到频域、应用表示局部透镜模糊的频率以及转换回空间域来计算透镜的移变性模糊。在一些实施例中，这通过在每个像素处应用点扩散函数(PSF)的强力方法来提高仿真速度。

在下一步中，应用传感器的光子捕获和电子效应，包括但不限于像素化、量子效率、滤色器阵列、噪声等。传感器模块递送传递到图像处理模块，所述图像处理模块用于将其转换成RGB图像的原始图像。

相机仿真被扩展到多相机系统。组合计算机图形、单相机仿真、多相机图像信号处理器(ISP)以便仿真和优化多相机系统。使用合成的计算机生成的场景来执行场景建模。这并不妨碍对真实图像的使用，只要在建模中充分地表征和考虑场景和相机系统。而且，将相机内在(例如，视场、焦距、传感器大小)和相机外在参数考虑在内，生成计算机图形图像。外在参数指相机与其他相机的几何关系、相对于其周围世界的位置和方向。其通常由旋转矩阵和平移矩阵表示。

可以测试宽范围的相机配置。图1展示了五种相机配置。在每种配置中，较明亮的圆表示高分辨率八百万像素相机，而较暗的圆表示低分辨率720像素相机。

图2是高级框图，示出了多相机设计工具的一个实施例中的各个功能框。在一些实施例中，可以迅速解决关于相机配置和期望的性能的一阶设计问题。

在多相机系统中，每个相机观察具有独特视角的场景。物体视差和遮挡特定于所述相机的位置和其内在参数(如视场和传感器大小)。多相机系统使用此视差来估计物体深度并渲染特定效果范围(如重调焦距、图层效果和重新照明)。

计算机生成的场景被用作输入。生成特定于相机的视角和其内在参数(如视场和焦距)的媒体。随着相机位置变化，捕获的视场也发生变化。此外，场景中的各个物体之间的遮挡也发生变化。这些类型的效果被考虑为场景生成的一部分。使用计算机图形渲染引擎构造场景，所述计算机图形渲染引擎开始于对场景的3D建模，并且然后使用光线跟踪方法来渲染相机看到的图像。如果物体发出的光线在其前方相对于相机的视场被另一个物体阻挡，则认为物体被遮挡。因此，对多相机阵列的任何特定相机位置而言，对充当仿真的输入场景的图像进行渲染。

针对多相机系统可以捕获的每个潜在视角生成大量场景。为了检查特定配置的多相机性能，与准确视角相对应的计算机生成的图像(CGI)被用作输入，并且所述图像传播通过成像系统以便考虑透镜的光学效应和传感器捕获效应。“所捕获的”图像传递通过单相机图像信号处理器(ISP)。在多相机系统中针对每个相机重复此过程。一旦生成所有RGB图像，它们就被传递通过多相机ISP来生成视差和深度估计。

多相机系统中的每个相机可以使用ISET来针对所述特定相机对成像的物理特性进行仿真。ISET的能力与计算机生成的图像以及多相机图像感测处理器一起组合为单个实体。

图3是用于被分开一定距离(称为基线)的两个相机的我们的计算机生成的图像的示例。白色框突出显示了图像中的树枝的视差效果。

在第一部分仿真中，计算机图形生成的场景被如图2中10处所指示的相机“捕获”。在真实相机中看不到任何畸变的情况下，可以使用比相机将捕获的更高的空间和颜色分辨率来生成这些场景。此图像然后充当相机的场景。举几个例子，每个生成的场景处理的变量包括相机位置、照明以及照片捕获参数。

在多相机系统中，相机A与相机B之间的空间分离引起捕获的图像中的视差，从而使得看到不同深度处的物体C和物体D在如图4中所示出的图像之间横向移动。

对多相机系统而言，可以根据相机的几何结构从多个视角生成单个场景的图像。这些图像然后充当如图5中所示出的相机的输入场景。

图5是低分辨率相机的潜在位置的图示。中间的相机(示出为具有点的正方形)(位置(0，100))是高分辨率相机。较小的正方形表示可以布置低分辨率相机的可能位置。为了仿真3相机系统，高分辨率相机位于中间，并且从图5中所示出的位置范围中选择两个低分辨率相机位置。如果多相机系统具有五个相机，则选择高分辨率相机和另外四个相机位置。选择相机位置意味着挑选针对所述相机位置和相机内在参数所渲染的特定CGI。在3D模型中设置照明源、亮度等。

一旦创建场景的2D投影，场景图像就通过图像传播方法(如光学器件12(图2)所指示的傅里叶传播)转换成光学图像。场景图像是对世界的完美再现。光学图像是在透镜已经执行了其“成像功能”之后的结果。场景的此高分辨率版本被传播至透镜入射光瞳。光学模块将焦距和视场、调制传递函数(MTF)应用于场景图像，从而在传感器平面处产生图像。所产生的光学图像通过透镜展现光传播特性，如降低的清晰度、模糊和像差。可以使用其他图像传播方法。

然后处理场景，从而使得透镜在传感器平面(框14)上形成场景的缩小的图像。将透镜像差和衍射效应如实地施加至在传感器平面上所生成的图像。还对各种效应(如透镜至透镜未对准、杂散光效应)进行建模。

传感器14对场景进行采样并且创建图像，添加来自如散粒噪声、读取噪声、照片响应非均匀、固定图案噪声、像素串扰、以及其他电子噪声源等源的噪声。可以在传感器模型中考虑传感器的其他方面，如光子到电子的转换、有限像素大小、颜色滤波器以及光转换效率等。

由典型相机图像信号处理管18处理来自传感器14的“原始”图像以便从每个相机子系统16处递送RBG图像。管18可以考虑黑电平、去马赛克、去噪声、色调映射和锐化。

模型可以包括相机模块(框16)的光机方面，即，透镜的光轴与传感器中心之间的对准。其可以包括透镜后焦距变化以及传感器相对于透镜焦平面的位置中的错误。热效应以及显示为最终图像中的光学像差之一的其他机械效应还可以包括在模型中。

将所有这些图像注入到“多相机”ISP 20，以便提取视差、深度以及相似多相机参数。将这些RBG图像以及其“多相机”元数据发送至渲染如由端用户选择的特定效应(如视觉观看和感受以及应用输出)的媒体观看器22。在一些实施例中，仿真可以对所有这些具有高准确度的方面进行建模并且将其包括在内。

在开始生成计算机生成的场景的过程期间，相对于相机中的每一个生成场景的“真实深度图”。具有“真实图”允许根据各种参数(如纹理、照明、场位置、物体距离以及其他特性)与视差和深度估计算法的性能进行比较。这种分析是非常期望的，因为被动式深度测量是依赖于场景的，并且通常需要在场景范围上穷尽地测试。

在场景仿真部分，关于场景的高光谱分辨率信息是可用的，这允许测试相机系统的彩色保真度。将来，控制场景的光谱内容的能力将在设计高光谱多相机系统方面非常有用。

多相机系统的整体系统性能通常通过对遍布众多部件的许多参数——如透镜质量、传感器操作、模块结构和公差、ISP设置以及计算能力等——进行的对准和共同优化来确定。在一些实施例中，具有整个成像平台的详细的基于物理特性的模型使能够实时分析“(如果-怎样)what-if”场景，并且避免费力、昂贵且耗时的原型实验。

此外，由于仿真已经被建模为包括光学、机械、电的、信号处理、制造公差、制造成品率和测试台中产生的局限性，因此，最终系统可以在真实世界限制中的大多数上被优化。在一些实施例中，可以在此仿真工具的帮助下完成对众多参数的优化，获得高系统性能。

图6示出了作为框图的整个多捕获仿真器。被渲染的场景CAM1是针对给定相机位置和相机内在参数而定制生成的输入。光学器件框使用透镜来对成像的物理特性进行仿真。其对模糊函数和各种畸变进行建模。传感器使用像素阵列对图像进行采样，由于其有限像素大小而对其进行模糊并添加噪声。具有光学器件+传感器+单相机ISP的虚线框可以被看作ISET程序。ISET不实施相机模块缺陷。在一些实施例中，在此多相机仿真器中，相机模块功能可以对各种机械和光机特性进行建模。这可以包括透镜光轴与传感器之间的未对准、相机模块内的传感器定向以及影响捕获到的图像的相似的相机模块相关参数。

图6中的单相机ISP是相机模块中通常遇到的所有处理。其包括像素缺陷校正、去马赛克、去噪声、清晰度、伽马色调映射以及缩放。多相机ISP模块代表与多相机系统相关联的所有处理框，其包括但不限于校准调整、修正、视差、深度估计、分割以及捕获后效应。媒体观看器是有助于可视化特定效应(如重调焦距、图层效应和视觉媒体的新形式)的框。优化循环指示此模型可以用于执行系统级优化，所述系统级优化可以包括宽范围参数，包括：相机位置、相机内在特性、透镜特性、传感器特性、相机模块公差和特性、单相机ISP调整以及多相机ISP调整。

对一种或多种实现方式的先前描述提供了说明和描述，但不旨在是穷尽型的或者将本公开的范围限制为所公开的精确形式。根据上述教导，修改和变体是可能的，或者可从本公开的各种实现方式的实践中获得这些修改和变体。

给出了对多相机系统的图像进行仿真并分析这些系统的深度测量性能的两种情况。仿真的图像被适当地调整并传递至视差估算法。

如理论上众所周知的，深度估计中的错误取决于物体深度、相机的基线和焦距、以及视差估计中的错误。基于所使用的视差估计算法和场景特性(如纹理)，视差估计中的错误发生改变。

图7A和图7B示出了典型室内场景，每一个如被多相机平台中的相机中的不同相机看到。所述场景是计算机生成的。针对多相机系统中的每个相机生成类似场景。与独特相机相对应的每个场景由于视差将具有不同视场和物体相对位置。

在图8A中，3相机系统的经测量的深度中的错误与如图8B中所指示的排成一条线的所有相机进行比较。被仿真的相机是具有两百万像素传感器分辨率的通用移动电话相机。对具有沿着深度尺寸(到相机的距离)的等距板的特定场景进行仿真。‘枯叶(Dead-leaves)’图被显示在这些板上，因为它们比例不变。所述板间隔一米远，从1m到10m的深度位置处开始。

此示例(图8A)是可以使用多相机仿真工具完成的分析类型。此示例中提出和回答的问题是“图8A中所示出的不同3相机系统配置如何在其深度估计性能中进行比较？”在没有多相机仿真工具的情况下，这种分析被限制成以基于一阶原则的非常简单的水平完成。

图8A示出了使用图8B中所示出的设置进行的深度估计的结果。可以看出，如根据理论所期望的，错误随着物体深度的增大而增大。而且，错误在相机之间的最大基线增大时减少。还在曲线图中示出了理论曲线，并且仿真紧随极限。在具有52mm基线的情况下，相机布置改变错误。这意味着，随着在此所使用的特定视差算法，不对称相机位置(其中，两个相机间隔更近并且第三个相机更远)比三个等距相机更好地进行深度估计。

在下一种情况下，立体相机对与不同传感器分辨率进行比较，同时保持所有其他光学器件和传感器参数相同。图9A示出了针对具有37.5mm的基线的立体对所仿真的拟真场景。图9A至图9E示出了仿真结果以及具有720p(图9B)和1080p(图9C)移动电话相机的两个系统的深度图，所述移动电话相机具有通用1080p相机和37.5mm基线的光学规范。结果示出了更高分辨率的相机不仅提供更高分辨率的深度图而且还提供更高深度分辨率和深度范围。图9D和图9E中的经测量的离散深度水平示出了高分辨率1080p相机(图9C)具有8个离散深度水平，而720p相机(图9B)具有7个深度水平。深度图中的更高分辨率的这种结果可以提高应用中的准确性，如基于深度的分割。

图10示出了可以采用软件、固件和/或硬件实现的序列。在软件和固件实施例中，所述序列可以通过存储在一个或多个非瞬态计算机可读介质(如磁性、光学或半导体存储设备)中的计算机执行的指令来实现。

如框30中所指示的，所述序列通过针对多相机系统的相机或相机模块中的每一者接收场景来开始。然后，如框32中所指示的，可以对光学器件、传感器和相机模块中的缺陷进行仿真。例如，相对于光学模块，透镜效应可以被建模为模糊运算(所述模糊运算被实现为频域中的乘法)，并且然后如先前描述的转换回空间域。还可以使用其他技术。

然后，如框34中所指示的，针对每个相机或相机模块执行图像信号处理。最后，在框36处执行多相机图像信号处理。考虑内在和外在相机参数，视差和深度和其他多相机参数也是如此。

然后，在框38处，实施有助于使空间效应可视化的媒体观看。优化步骤40可以优化包括以下各项的参数范围：相机位置、相机内在特性、透镜特性、传感器特性和相机模块公差特性、以及单相机ISP调整和多相机ISP调整。

在此所描述的图形处理技术可以采用各种硬件架构来实现。例如，图形功能可以被集成在芯片组内。可替代地，可以使用离散图形处理器。作为又另一个实施例，图形功能可以由包括多核处理器的通用处理器来实现。

图11展示了系统700的实施例。在实施例中，系统700可以是媒体系统，但是系统700不限于此上下文。例如，系统700可合并到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触控板、便携式计算机、手持计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如智能电话、智能平板计算机或智能电视机)、移动互联网设备(MID)、消息发送设备、数据通信设备等中。

在实施例中，系统700包括耦合至显示器720的平台702。平台702可以从内容设备接收内容，所述内容设备如(多个)内容服务设备730或(多个)内容递送设备740或其他类似内容源。导航控制器750包括可以用于与例如平台702和/或显示器720交互的一个或多个导航特征。下面将更详细地描述这些部件中的每个部件。

在实施例中，平台702可以包括芯片组705、处理器710、存储器712、存储设备714、图形子系统715、应用716和/或无线电718的任意组合。芯片组705可以提供处理器710、存储器712、存储设备714、图形子系统715、应用716和/或无线电718之间的互通信。例如，芯片组705可以包括能够提供与存储设备714的交互通信的存储适配器(未示出)。

处理器710可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核处理器、或任何其他微处理器或中央处理单元(CPU)。在实施例中，处理器710可以包括(多个)双核处理器、(多个)双核移动处理器等等。处理器可以实现图10的序列连同存储器712。

存储器712可被实现为易失性存储器设备，如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。

存储设备714可以被实现为非易失性存储设备，如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附连存储设备、闪存、电池应急SDRAM(同步DRAM)、和/或可接入网络的存储设备。在实施例中，例如，当包括多个硬盘驱动器时，存储设备714可以包括为有价值的数字媒体提高存储性能加强保护的技术。

图形子系统715可以执行对图像(如静止图像或视频)的处理用于显示。例如，图形子系统715可以是图形处理单元(GPU)或视觉处理单元(VPU)。可以使用模拟或数字接口将图形子系统715和显示器720通信地耦合。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或符合无线HD的技术中的任何一个。图形子系统715可以集成到处理器710或芯片组705中。图形子系统715可以是通信地耦合到芯片组705的独立卡。

在此所描述的图形和/或视频处理技术可以用各种硬件架构实现。例如，图形和/或视频功能可以集成到芯片组中。替代性地，可以使用离散图形和/或视频处理器。作为又另一个实施例，图形和/或视频功能可以由通用处理器(包括多核处理器)来实现。在进一步的实施例中，所述功能可以在消费电子设备中实现。

无线电装置718可包括能够使用各种合适的无线通信技术发送和接收信号的一个或多个无线电装置。这些技术可能涉及跨一个或多个无线网络的通信。示例性无线网络包括(但不限于)无线局域网(WLAN)、无线个人区域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这些网络的通信中，无线电装置718可以根据一个或多个适用的标准的任何版本操作。

在实施例中，显示器720可以包括任何电视机类型监测器或显示器。显示器720可以包括例如计算机显示屏、触摸屏显示器、视频监控器、类似电视机的设备、和/或电视机。显示器720可以是数字的和/或模拟的。在实施例中，显示器720可以是全息显示器。显示器720也可以是可以接收视觉投影的透明表面。这样的投影可以传递各种形式的信息、图像、和/或物体。例如，这样的投影可以是针对移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用716的控制下，平台702可以在显示器720上显示用户界面722。

在实施例中，例如，(多个)内容服务设备730可由任何国家、国际和/或独立服务托管，并且因此可以经由因特网访问平台702。(多个)内容服务设备730可以耦合到平台702和/或显示器720。平台702和/或(多个)内容服务设备730可以耦合到网络760以便向和从网络760传达(例如，发送和/或接收)媒体信息。(多个)内容递送设备740也可以耦合到平台702和/或显示器720。

在实施例中，(多个)内容服务设备730可以包括有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的启用互联网的设备或应用、以及能够经由网络760或直接地在内容提供方与平台702和/或显示器720之间单向或双向传达内容的任何其他类似设备。应理解的是，内容可以经由网络760单向地和/或双向地来往于系统700中的任何一个部件与内容提供方通信。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等。

(多个)内容服务设备730接收如包含媒体信息、数字信息和/或其他内容的有线电视节目的内容。内容提供方的示例可以包括任何有线或卫星电视或无线电或互联网内容提供方。所提供的示例并不意味着对可适用的实施例进行限制。

在实施例中，平台702可以从具有一个或多个导航特征的导航控制器750接收控制信号。控制器750的导航特征可以用来与例如用户界面722交互。在实施例中，导航控制器750可以是定位设备，所述定位设备可以是允许用户输入空间(例如，连续的和多维的)数据到计算机的计算机硬件部件(特别是人机接口设备)。如图形用户界面(GUI)和电视机和监视器的许多系统允许用户使用身体姿势来控制计算机或电视机并向计算机或电视机提供数据。

可以通过指针、光标、对焦环或其他在显示器上显示的视觉指示器的移动在显示器(例如，显示器720)上回应控制器750的导航特征的移动。例如，在软件应用716的控制下，位于导航控制器750上的导航特征可以映射到显示在用户接口722上的虚拟导航特征。在实施例中，控制器750可以不是独立部件而是集成在平台702和/或显示器720内。然而实施例并不限于这些元素或在此所显示或描述的内容。

在实施例中，驱动器(未示出)可以包括使用户能够通过例如在初始引导后启动的按钮的触摸立刻打开和关闭类似电视机的平台702的技术。当平台被“关闭”时，程序逻辑可以允许平台702流出内容到媒体适配器或其他(多个)内容服务设备730或(多个)内容递送设备740。另外，芯片组705可以包括用于支持如5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在实施例中，图形驱动器可以包括外围组件互连快速(PCI)图形卡。

在各个实施例中，可以集成系统700中示出组件中的任意一个或多个。例如，平台702和(多个)内容服务设备730可以是集成的；或者平台702和(多个)内容递送设备740可以是集成的；或者平台702、(多个)内容服务设备730和(多个)内容递送设备740可以是集成的。在各个实施例中，平台702和显示器720可以是集成的单元。例如，显示器720和(多个)内容服务设备730可以是集成的，或者显示器720和(多个)内容递送设备740可以是集成的。这些例子并非旨在限制范围。

在各个实施例中，系统700可被实现为无线系统、有线系统、或这两者的组合。当被实现为无线系统时，系统700可以包括适合于通过如一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等的无线共享介质进行通信的部件和接口。无线共享介质的示例可以包括无线光谱部分，如RF光谱等。当被实现为有线系统时，系统700可以包括适用于通过有线通信介质(如输入/输出(I/O)适配器、利用相应有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等)进行通信的部件和接口。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。

平台702可以建立一个或多个逻辑或物理信道以传达信息。所述信息可以包括媒体信息和控制信息。媒体信息可以指表示针对用户的内容的任何数据。内容的示例可以包括例如：来自语音对话、视频会议、流媒体视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文字等的数据。来自语音对话的数据可以是例如：语音信息、静音期、背景噪音、舒适噪音、声调等。控制信息可以指表示针对自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于通过系统路由媒体信息、或者指示节点以预定方式处理所述媒体信息。然而实施例不限于图3中示出或描述的元素或上下文。

如上所述，系统700可体现在变化的物理风格或形状因子中。图12展示了可以用其具体化系统700的小形状因数设备800的实施例。在实施例中，例如设备800可被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和移动电源或供电(如一个或多个电池)的任何设备。

如图12所示，设备800可以包括：壳体802、显示器804和810、输入/输出(I/O)设备806、和天线808。设备800还可以包括导航特征812。显示器804可以包括适合于移动计算设备的用于显示信息的任何合适的显示单元。I/O设备806可以包括用于将信息输入移动计算设备中的任何合适的I/O设备。I/O设备806的示例可以包括：字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇杆式开关、麦克风、扬声器、语音识别设备和软件等。信息也可以通过麦克风输入到设备800中。这种信息可以由话音识别设备数字化。实施例不限于此上下文。

如上所述，移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触控板、便携式计算机、手持计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如智能电话、智能平板计算机或智能电视机)、移动互联网设备(MID)、消息发送设备、数据通信设备等。

移动计算设备的示例还可以包括被安排以由人穿戴的计算机，如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机、以及其他可穿戴计算机。在实施例中，例如移动计算设备可以实现为能够执行计算机应用程序、以及语音通信和/或数据通信的智能电话。尽管一些实施例可以用作为示例实现为智能电话的移动计算设备描述，但应理解，其他实施例也可以使用其他无线移动计算设备实现。实施例不限于此上下文。

以下项目和/或示例涉及进一步的实施例：

一个示例实施例可以是一种方法，包括：使用计算机图形技术预计算具有适当视场和视差的场景；以及使用所述预计算的场景来仿真多相机系统。所述方法可以包括：仿真多个相机模块的相机模块缺陷，以便产生具有所述多个相机模块的缺陷的计算机生成的图像；以及使用多相机图像信号处理器来从每个相机模块提取所述计算机生成的图像的深度和视差。所述方法可以包括：在频域中对场景上的光学效应进行仿真；以及随后转换到空间域。所述方法可以包括：在频域中使用乘法将透镜效应建模成模糊运算。所述方法可以包括：通过给场景的一小段加窗来计算模糊。所述方法可以包括：针对每个相机模块施加传感器的光子捕获和电子效应。所述方法可以包括：生成考虑相机内在和外在参数的图像。所述方法可以包括：通过考虑所述多个相机模块的位置来仿真多相机系统。所述方法可以包括：对透镜像差和衍射效应进行建模。所述方法可以包括：针对相机位置进行优化。

另一个示例实施例可以是一种或多种非瞬态计算机可读介质，存储有指令，所述指令由处理器执行以便执行包括以下各项的序列：使用计算机图形技术预计算具有适当视场和视差的场景；以及使用所述预计算的场景来仿真多相机系统。所述介质可以进一步存储所述序列，所述序列包括：仿真多个相机模块的相机模块缺陷，以便产生具有所述多个相机模块的缺陷的计算机生成的图像；以及使用多相机图像信号处理器来从每个相机模块提取所述计算机生成的图像的深度和视差。所述介质可以进一步存储所述序列，所述序列包括：在频域中对场景上的光学效应进行仿真；以及随后转换到空间域。所述介质可以进一步存储所述序列，所述序列包括：在频域中使用乘法将透镜效应建模成模糊运算。所述介质可以进一步存储所述序列，所述序列包括通过给场景的一小段加窗来计算模糊。所述介质可以进一步存储所述序列，所述序列包括针对每个相机模块施加传感器的光子捕获和电子效应。所述介质可以进一步存储所述序列，所述序列包括生成考虑相机内在和外在参数的图像。所述介质可以进一步存储所述序列，所述序列包括通过考虑所述多个相机模块的位置来仿真多相机系统。所述介质可以存储所述序列，所述序列包括对透镜像差和衍射效应进行建模。所述介质可以存储所述序列，所述序列包括针对相机位置进行优化。

另一个示例实施例可以是一种装置，包括：硬件处理器，所述硬件处理器用于：使用计算机图形技术预计算具有适当视场和视差的场景；以及使用所述预计算的场景来仿真多相机系统。所述装置可以包括所述处理器，所述处理器用于：仿真多个相机模块的相机模块缺陷，以便产生具有所述多个相机模块的缺陷的计算机生成的图像；以及使用多相机图像信号处理器来从每个相机模块提取所述计算机生成的图像的深度和视差。所述装置可以包括所述处理器，所述处理器用于在频域中对场景上的光学效应进行仿真；以及随后转换到空间域。所述装置可以包括所述处理器，所述处理器用于：在频域中使用乘法将透镜效应建模成模糊运算。所述装置可以包括所述处理器，所述处理器用于通过给场景的一小段加窗来计算模糊。所述装置可以包括所述处理器，所述处理器用于针对每个相机模块施加传感器的光子捕获和电子效应。所述装置可以包括所述处理器，所述处理器用于生成考虑相机内在和外在参数的图像。所述装置可以包括所述处理器，所述处理器用于通过考虑所述多个相机模块的位置来仿真多相机系统。所述装置可以包括所述处理器，所述处理器用于包括快速傅里叶逆变换，以便通过元素乘法来对所述元素的结果进行逆变换。所述装置可以包括所述处理器，所述处理器用于包括通信的耦合至所述电路的显示器。所述装置可以包括所述处理器，所述处理器用于包括耦合至所述电路的电池。

贯穿本说明书对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性包含在本公开内涵盖的至少一个实现方式中。因此，短语“一个实施例”或“在实施例中”的出现不一定指代同一实施例。此外，除了所示的特定实施例以外，可以以其他合适的形式来实现所述特定特征、结构或特性，并且所有这样的形式都可以涵盖在本申请的权利要求内。

尽管已经描述了有限数量的实施例，但是本领域技术人员将由此意识到许多的修改和变化。旨在使得所附权利要求书覆盖落入本公开的真正精神和范围的所有此类修改和变体。

Claims

1.一种方法，包括：

使用计算机图形技术来预计算具有适当视场和视差的场景；以及

使用所述预计算的场景来仿真多相机系统。

2.如权利要求1所述的方法，进一步包括：仿真多个相机模块的相机模块缺陷，以便产生具有所述多个相机模块的缺陷的计算机生成的图像；以及

使用多相机图像信号处理器来从每个相机模块提取所述计算机生成的图像的深度和视差。

3.如权利要求2所述的方法，包括：在频域中对场景上的光学效应进行仿真；以及随后转换到空间域。

4.如权利要求2所述的方法，包括：在频域中使用乘法将透镜效应建模成模糊运算。

5.如权利要求4所述的方法，包括：通过给场景的一小段加窗来计算模糊。

6.如权利要求2所述的方法，包括：针对每个相机模块施加传感器的光子捕获和电子效应。

7.如权利要求2所述的方法，包括：生成考虑相机内在和外在参数的图像。

8.如权利要求2所述的方法，包括：通过考虑所述多个相机模块的位置来仿真多相机系统。

9.如权利要求2所述的方法，包括：对透镜像差和衍射效应进行建模。

10.如权利要求8所述的方法，包括：针对相机位置进行优化。

11.一种或多种非瞬态计算机可读介质，存储有指令，所述指令由处理器执行以便执行包括以下各项的序列：

使用所述预计算的场景来仿真多相机系统。

12.如权利要求11所述的介质，所述序列进一步包括：

仿真多个相机模块的相机模块缺陷，以便产生具有所述多个相机模块的缺陷的计算机生成的图像；以及

13.如权利要求12所述的介质，所述序列包括：在频域中对场景上的光学效应进行仿真；以及随后转换到空间域。

14.如权利要求12所述的介质，所述序列包括：在频域中使用乘法将透镜效应建模成模糊运算。

15.如权利要求14所述的介质，所述序列包括：通过给场景的一小段加窗来计算模糊。

16.如权利要求12所述的介质，所述序列包括：针对每个相机模块施加传感器的光子捕获和电子效应。

17.如权利要求12所述的介质，所述序列包括：生成考虑相机内在和外在参数的图像。

18.如权利要求12所述的介质，所述序列包括：通过考虑所述多个相机模块的位置来仿真多相机系统。

19.如权利要求12所述的介质，所述序列包括：对透镜像差和衍射效应进行建模。

20.如权利要求18所述的介质，所述序列包括：针对相机位置进行优化。

21.一种装置，包括：

硬件处理器，所述硬件处理器用于：使用计算机图形技术预计算具有适当视场和视差的场景；以及使用所述预计算的场景来仿真多相机系统；以及

存储设备，所述存储设备耦合至所述处理器。

22.如权利要求21所述的装置，所述处理器用于：仿真多个相机模块的相机模块缺陷，以便产生具有所述多个相机模块的缺陷的计算机生成的图像；以及使用多相机图像信号处理器来从每个相机模块提取所述计算机生成的图像的深度和视差。

23.如权利要求22所述的装置，所述处理器用于：在频域中对场景上的光学效应进行仿真；以及随后转换到空间域。

24.如权利要求22所述的装置，所述处理器用于：在频域中使用乘法将透镜效应建模成模糊运算。

25.如权利要求23所述的装置，所述处理器用于：通过给场景的一小段加窗来计算模糊。