CN107466473A - 多阵列相机成像系统及其方法 - Google Patents

Abstract

提出了一种使图像采集和渲染无现有技术的时延和带宽需求的成像系统和方法。本发明的实施例采用多个成像器向多个采集和宿主服务器提供图像数据，所述采集和宿主服务器通过第一通信总线连接。一个或多个渲染系统通过第二通信总线互连至所述多个服务器。所述服务器仅对满足渲染系统各渲染请求所需的原始图像数据执行并行处理。由于仅对用于渲染特定图像视图所需的图像数据进行图像处理，因此，不会形成完整的高分辨率图像以满足所述渲染请求，而所需图像的渲染时延可更短，且向渲染系统传输图像所需的带宽更少。

Description

多阵列相机成像系统及其方法

相关申请的交叉引用

本案要求、2015年3月13日提交的序列号为62/132,861美国临时专利申请(代理人案号：3034-003PR1)的优先权，该美国临时专利申请在此引入本文。如果本申请与一个或多个已引入且可能会影响本申请权利要求解释的内容作为本申请参考的专利权案件之间的语言存在任何矛盾或不一致，则本案权利要求的解释应与本案中的语言保持一致。

技术领域

本发明涉及成像，尤其涉及用具有多个焦平面阵列的相机系统的成像。

背景技术

在开发数字成像系统前，相机基于镜头以及位于镜头焦平面的胶片感光乳剂。场景光学图像投射到乳剂上，通过化学过程被永久记录。然而，数字成像的出现，在记录和查看场景图像方面实现了进步。尤其是现代相机，它可利用位于成像镜头焦平面的电子传感器阵列通过暂时数字记录场景的光学图像来形成场景图像。传感器阵列(又名焦平面阵列)通常包括光电探测器像素的大型二维阵列，如，电荷耦合元器件(CCD)和光电探测器等。该传感器阵列基于图像采集期间形成于其记录表面上的子图生成数字图像数据集。

由于具有高像素数的成像系统在查看输出图像方面具有诸多优势，因此，随着数字成像技术的日趋成熟，开发出了含有更大像素数的传感器阵列。举例来说，提供的总场景图像的质量可得到提高，而分辨率得到提高还可使场景分区视图被放大，从而可进行更为详细的检查。

像素数是衡量图像质量的基本单位，通常以图像中表示出包含百万像素数量。在大多数情况下，传感器元件包含于单阵列内。由于传感器元件在单阵列内的相对位置是先验已知的，且其余位置可在成像过程中得到确定，因此，使用单阵列有助于进行图像处理，其中的图像处理是指在合理时间量内将来自传感器阵列的原始像素数据转换成输出图像所需的处理。总像素数受每个传感器元件的大小以及可将触感器元件形成于其上的载板的实际尺寸的限制。智能手机或数字相机的像素数通常在8-40百万像素范围之间。

在许多情况下，最好增大图像像素，使其超过可易于通过单个传感器阵列对场景成像所获得的图像像素。在现有技术中，通常通过以下方式实现：将多个数字子图(每个数字子图均由不同传感器阵列提供)聚合成具有大型像素数的合成图像，同时保持子图区的高像素密度。与具有一个连续焦平面阵列的系统相比，这可在高角分辨率与宽视域相结合、数据高速读出以及每个像素成本更低等方面为单传感器阵列相机提供性能优势。

全景成像即为一个应用实例，其中，多个低像素数图像组合形成高像素数图像。在大多数情况下，全景图像由从单个相机中提取的一系列图像生成，而在采集系列图像期间相机需平移和倾斜。或者，有时也可采用具有多个传感器阵列的相机系统。

在某些情况下，在全景和非全景成像应用中可使用具有多个单传感器阵列微型相机的阵列相机。在该系统中，每个微型相机基于场景的不同部分将输出数据提供给公共图像聚合处理器，其中，该公共图像聚合处理器将输出数据组合成整个场景的合成图像。

遗憾的是，由于子图拼接需要进行几何和辐射处理，因此，将多个较小子图组合成合成大图所需的计算非常密集。此外，当子图拍摄于不同时间点时，场景照明将发生变化，或者存在与视域内移动的物体相关联的运动伪像。再者，不同传感器阵列的响应度不同，这将导致对比度和亮度等发生变化。因此，为了降低由这些变化所引起的子图间接缝，需对相邻图像进行比较计算。此外，还必须对子图实施失真校正、指向校正和非线性校正。一旦完成广泛性处理，就可获得具有非常高像素数(尺寸通常在数十百万像素到数十千兆像素之间)的单个图像文件。

虽然此类广泛性处理有严格的时间限制，但是，在过去其避免了采用多个传感器阵列以视频速率来采集高分辨率、高像素数图像。因此，迄今为止，高清视频流一直主要受限于由单传感器阵列相机采集。因而，在视频速率应用中，通常用多个单独控制的相机来采集完整场景，其中，每个相机仅提供一部分场景的小面积视图。举例来说，体育消息广播通常依赖于多个在整个场馆内进行战略性定位或定向的不同摄像机。每个摄像机都有自己的摄影师，且选择播放哪个摄像机视图的总摄影师必须对多个摄像机视图进行持续实时分析。除了会导致资金和运营费用过高之外，这种方法还会限制观看体验的“丰富性”。

迄今为止，对可同时提供高分辨率图像的成像系统的需求尚未得到满足。

发明内容

本发明利用具有多个传感器阵列的成像系统实现了对场景的大面积高像素数图像的高速采集与渲染。本发明的实施例特别适用于高清视频广播系统。

在现有技术中，将多个子图拼接成单个合成图像的方法需要进行大量处理工作，这将导致出现与视频速率应用不相符的时延。换句话说，由于合并不同传感器阵列提供的子图所需的时间量，现有技术的多传感器阵列成像方法无法以视频速率将完全拼接的图像传送至显示器。此外，就其本身而言，成像器与显示设备之间传输大量原始像素数据所需的带宽要求过高。

本发明通过仅处理渲染特定场景视图所需的像素数据，克服了现有技术中的高像素数成像系统的时延和带宽问题。由于查看设备的分辨率通常要比最终拼接而成的图像的分辨率低得多，因此，除非需要打印图像，否则不会形成高分辨率整图。这对视频速率采集和显示而言是至关重要的，因为以视频速率处理全分辨率图像非常复杂，且费用昂贵。因此，本发明的实施例实现了适用于视频速率应用的更快成像系统。

此外，本发明的实施例用采集到的场景图像组来标定多成像器系统中的每个成像器。然后，利用标定推导得出的模型，在很少或无时延的情况下形成场景的后续合成图像。在一些实施例中，合成图像中的每个图像像素均取自系统中的特定测量像素。换句话说，与场景中每个物点相对应的图像数据点仅从一个成像器(如，覆盖该数据点的最佳可用成像器)中获取，从而避免了对由多个具有重叠视域的成像器提供的图像数据点的平均化。计算时间的缩减使成像系统的实时操作成为可能。

本发明的一个实施例为一种成像方法，其中，成像系统具有树状层次结构，可为架构和图像处理提供可扩展性。在该方法中，仅对渲染场景视图所需的像素进行处理，时延较短，从而实现了大图数据集和视频速率采集的交互式查看，以及大像素数图像的渲染。此外，像素采集、处理及存储被分发，因此，可使用低成本组件来实现并行架构。

在一些实施例中，实现了低时延交互显示多个传感器阵列的高像素数数据集。

本发明的柔性处理架构使不同应用均可由相同的成像系统底层架构提供。

在一些实施例中，高像素数拼接显示器通过设置单独的渲染处理器来进行渲染，每个渲染处理器馈送至单个显示器。在一些实施例中，平板电脑及手机上的交互式显示器通过在云服务器上预缓存数据集并分配特别适合(如，基本优化)显示器像素数的低带宽图像来进行优化。在一些实施例中，通过用高带宽链接至渲染系统阵列的方式，实现多个成像器阵列的高质量广播渲染，其中，渲染系统馈送至一个输出视频显示器。

本发明的一个实施例是一种用于高速采集和渲染包含多个物点的场景的第一图像的方法，该方法包括：将第一原始图像数据点集存储于多个服务器中，该服务器与第一多个传感器阵列和第一渲染系统可操作地耦合，并且该第一原始图像数据点集包括来自第一多个传感器阵列中的每一个传感器阵列的原始图像数据点；确定第二原始图像数据点集，该第二原始图像数据点集基于接收自第一渲染系统的渲染请求；确定第二组传感器阵列，该第二组传感器阵列是提供第二原始图像数据点集的第一组传感器阵列中的阵列；以及通过将第一组标定系数应用于第二原始图像数据点集来生成第一标定图像数据点集，该第一组标定系数基于第二组传感器阵列，其中，第一图像基于标定图像数据点集。

本发明的另一实施例是一种用于高速采集和渲染含有多个物点的场景的图像的系统。该系统包括：多个成像器，每个成像器用于基于不同场景部分中的物点提供图像数据；多个服务器，每个服务器均为采集和宿主服务器，用于存储原始图像数据、执行图像处理和传送多个分辨率的图像数据；第一交换网络；以及第二交换网络。其中，该多个成像器和多个服务器通过第一交换网络可操作地耦合，使每个服务器都可接收来自多个成像器中的任意一个的图像数据；以及其中，该第二交换网络用于耦合多个服务器和至少一个渲染系统，使该至少一个渲染系统可请求并接收来自多个服务器中的任意一个的图像数据。

附图说明

图1A-B分别是常规阵列相机及该阵列的单个微型相机的示意图；

图2是根据本发明的说明性实施例的系统构架的示意图；

图3是根据说明性实施例的获取和渲染图像数据的方法的操作示图；以及

图4是根据本发明的说明性实施例的像素处理通道示图。

具体实施方式

图1A-B分别是常规阵列相机及该阵列的单个微型相机的示意图。阵列相机100包括多个微型相机102-1至102-3、系统处理器104和系统存储器106。该阵列相机100是现有技术的多传感器阵列相机的典型代表，其中，传感器阵列驻留于各个微型相机中。

微型相机102-1至102-3(统称为微型相机102)中的每一个微型相机都是一个常规数码摄像机，其具有独立的传感器阵列、图像处理能力和存储器。每个微型相机102包括物镜、传感器阵列、读出集成电路(ROIC)、图像处理器、本地存储器和输出电子器件。微型相机102设置成每个相机都可提供场景108的不同部分的视频流。

在视频流的每幅视频帧中，每个微型相机102的物镜在各个传感器阵列的记录表面上形成场景108的各个部分的光学图像。

该传感器阵列将光学图像转换成代表相机拍摄的场景部分的图像数据。生成的每幅视频帧的图像数据集中定义为图像数据集。

图像数据由ROIC读出，其中，ROIC是专门用于从传感器阵列读出图像数据，并将图像数据转换成标准图像格式的集成电路。

ROIC的输出由图像处理器处理，此外，该图像处理器还调整其图像属性(如，黑/白度、固定模式图像噪声和伽马值等)、去除原始图像数据中的彩色图像的马赛克，并将原始图像数据压缩成标准图像格式(如，JPEG、TIFF、PNG、HDMI、H.264和HVEC等)。

然后，经过处理的图像数据集以数字子图110的形式存储于和/或传送至系统处理器104。相机存储器通常为数据长期存储设备，如，硬盘驱动器和固态存储器等。

系统处理器104是一个图像聚合器，接收来自微型相机的多张子图以供每幅视频帧使用，并利用数字图像拼接来形成场景108的合成图像，其中，该图像聚合器使用相邻微型相机视域内的重叠区使合成图像相互对齐。系统处理器104还通常对子图的亮度和对比度等进行调整，使其无缝组合成单张图像。该聚合和调整过程在视频流种的每帧生成为输出信号112的过程中发生，其中，该输出信号112被传送至存储器106和/或传送至显示系统，如，一个或多个视频监视器或流数据网络。视频流通常以常规格式输出，如，HDMI、H.264和HVEC等。

多个微型相机阵列的场景成像相对于单个高分辨率相机的场景成像具有诸多优势。首先，由于每个微型相机102仅需拍摄较小部分场景108，因此，其光学设计更简单。其次，由于全景图像由多个较小子图110形成，且每个子图的场曲和图像焦点都可独立管理，因此，可使用较小的传感器阵列。这就降低了相机102中的传感器阵列的每个探测器像素的成本。

遗憾的是，现有技术中已有的微型相机阵列(如，阵列相机100)在数字数据管理，尤其是视频实时传输方面同样存在诸多问题。每个传感器阵列通常包括1至20的百万像素，且每秒钟1至500幅视频帧。因此，每个微型相机102每秒钟可生成高达100百万像素的数据，而整个阵列相机100每秒钟可生成100百万像素至100千兆像素的数据。处理、存储、传输和分析该加载数据对于信息管理而言是一项艰巨的挑战。

此外，由于多个微型相机102中的每一个微型相机均含有独立的本地存储器，因此，高分辨率数据可从单个存储器模块中获取。但这也使得该相机需在极高带宽下运行，而其他相机存储器保持在空闲状态。在现有技术的一些阵列相机中，每个微型相机的本地存储器均为长期存储设备(如，SD卡等)，其中，该长期存储设备必须从微型相机物理移除，并与系统处理器104耦合用于合成图像。因此，实时处理合成图像是根本不可能的。

图2是根据本发明的说明性实施例的系统构架的示意图。系统200包括成像系统202-1至202-N、服务器204-1至204-3、渲染系统206-1至206-M和存储控制器220。成像系统202-1至202-N(统称为成像器202)与服务器204通过交换网络208-1互连，而服务器204与渲染系统206通过交换网络208-2互连。系统200是通过多个成像器成像场景以采集大量图像数据的成像系统。其中，该系统通过分布式交换网络将来自全部成像器的传感器阵列的数据提供给一个或多个渲染系统，而原始图像数据在渲染前进行处理。

系统200将服务器和客户端所需的处理分隔开。查看设备的分辨率通常要比完全拼接而成的合成图像的分辨率低得多。因此，在大多数情况下，除非需要打印，否则必须形成高分辨率整图。这对视频速率采集而言是至关重要的，因为以视频速率处理全分辨率图像非常复杂，且费用昂贵。

图3是根据说明性实施例的获取和渲染图像数据的方法的操作示图。方法300从操作301开始，其中，提供了系统200。

每一个成像器202均包括物镜210和传感器阵列212(如，焦平面阵列)，其中的传感器阵列212包括二维排列的传感器元件，如，电荷耦合器件(CCD)像素等。在一些实施例中，该成像器为整套微型相机，如上所述见图1B。在一些实施例中，成像器主要仅包括成像透镜和传感器阵列。成像器202通常被设置成使每个成像器的视域与另一个成像器的至少一个视域重叠。因此，重叠区域的物点由多个成像器成像，使这些物点中的每一个物点均与多个图像数据点相对应，其中，多个图像数据点中的每一个图像数据点均由不同成像器202的传感器阵列212提供。成像器202被设置成使其传感器阵列可在整个场景108上采集物点。在一些实施例中，成像器202中的一个或多个包括与相应传感器阵列212相匹配的独特透镜组件或方位，从而使其进一步具备不连续焦点平面的功能和透镜组件成本低廉的特性。在一些实施例中，成像器202集中包括在焦场形成场景108的光学图像的公共物镜，其中，在焦场设置了多个传感器阵列212。

传感器阵列212通过交换网络208-1互连至服务器204-1至204-3，其中，该交换网络为数据通道的网状网络，使任意服务器204接收来自任意传感器阵列的原始图像数据214。

此外，每一个服务器204通过交换网络208-2与渲染系统206-1至206-M(统称为渲染系统206)中的每一个渲染系统互连，其中的交换网络类似于交换网络208-1。因而，任意渲染系统均可与任意服务器204-1至204-3通信，以请求所需任意分辨率图像的数据，并且任意服务器均可向任意渲染系统提供该系统所需分辨率的图像的数据。

渲染系统206为常规渲染系统，如，高清显示器、计算机监视器、智能电话、平板电脑等。在一些实施例中，渲染系统206包括混合类型的渲染系统。

服务器204-1至204-3中的每一个服务器均为采集和宿主服务器，可存储原始图像数据214和执行数据处理等，其中的数据处理是为了向渲染系统提供其所需分辨率的图像的数据。请注意，虽然说明性实施例中包括了3个服务器，但是，在不脱离本发明范围的情况下，系统200中可包括任意实际数量的服务器。在一些实施例中，原始图像数据214在服务器之间平均分配，其中，存在一些重叠，以使每个服务器处理数量基本相等的原始图像像素信息。因此，可并行处理提供的具有所需分辨率的图像的数据，以缩减此类操作所需的正常时延。

通过在服务器端执行图像处理，可以将子图以渲染分辨率所需的适合分辨率提供给渲染系统。这降低了对渲染系统的带宽和处理要求。此外，图像预处理可发生在：(1)其他专用硬件的服务器前；(2)服务器上；或(3)渲染系统本身上。这可使不同应用程序的相关成本、带宽、时延和性能得到优化。例如，来自阵列相机的大规模分布式交互内容可通过配置高性能采集和宿主服务器来优化，使其在渲染端进行简单处理。或者，广播设备的高质量低时延流媒体应用系统可通过配置高性能渲染系统来进行优化，其中的渲染系统具有链接至采集和宿主服务器的高带宽。

存储控制器220是一个系统处理器，其包括以下处理功能：使路由图像数据存储在服务器204中；维护存储图像数据的路由表；接收和管理来自渲染系统206的渲染请求；通过传感器阵列像素映射视域；以及执行指令等。在一些实施例中，存储控制器的功能包括在服务器204中的至少一个中，但不包括存储控制器220。

在操作302中，系统200被标定。系统200的标定通常包括辐射标定和几何标定二者。辐射标定部分地解释了传感器像素灵敏度的变化和每个传感器阵列光学系统的光学变化。系统200的辐射标定通过放置已知目标开始，使该已知目标可被全部成像器202成像。然后，将漫射物体放置在每个成像器的前面。这使得传感阵列中所有像素的相对响应值都被标定，使其与相同的值相匹配。通过确保阵列中每个成像器的传感器阵列212都生成相同的测试目标RGB值来进行白平衡标定。

系统200的几何标定最好使用具有不同特征的真实图像场景来完成。各成像器中的视域重叠用于计算每个成像器的指向值(偏航角、俯仰角和翻滚角)、放大率和失真度。如下所述，一旦捕获的图像集被用于标定系统200，则应计算几何变换以生成模型，然后，当由每个成像器提供的后续图像数据被传送至每个渲染系统，以根据捕获数据重建渲染系统所需的图像视图时，可将建立的模型实时应用于该后续图像数据。

在系统200正常操作期间，以与像素处理相似的方式执行几何标定，其中，原始图像数据214的子集逐步变换为适合在最终显示中渲染的高质量全色图像。

图4是根据本发明的说明性实施例的像素处理通道示图。过程400从转换原始图像数据214为数字负片(DNG)开始。请注意，一旦保存为DNG格式，则像素处理通道应从之前保存的DNG开始加载。

DNG的保存/存档：为了存档成像器阵列的原始数据，可在保存原始数据时连同与原始数据相关的元数据(曝光时间、对焦设置和增益设置等)一起保存，以应对将来像素处理通道中出现的变化。DNG是一种归档相机系统原始数据的标准格式。此外，还可在通道中对图像做进一步保存，尽管这样保存的图像存在无法完整重建捕获的传感器数据的风险。

然后，进行线性化。传感器数据通常在焦平面阵列附近进行压缩，以传送至采集和宿主服务器。目前，压缩会对输入数据进行伽马变化(out＝in^gamma)，其中in和out的范围在0至1之间。在线性化步骤中，不可进行压缩，使其进行后续的线性处理。

然后，进行归一化，其中，通过定义白点(通常为图像传感器的饱和度)和黑点(图像传感器的模数转换器的最低值，通常大于0)将图像数据归一化到0至1之间。运用out＝(in-black_point)/(white_point-black_point)转换线性化数据。

然后，进行白平衡调整。由于图像传感器的照明条件和光谱响应度各不相同，因此，图像传感器的不同颜色通道需要通过长度向量N进行缩放，其中，N为图像传感器独立颜色读出通道的数量。对于拜尔模式(2个绿色、1个红色、1个蓝色)的彩色图像传感器，N通常为4。白平衡向量通过传感器标定值和场景色温组合计算。

白平衡调整后，截取数据，以防止白平衡过程使传感器像素数据超过其饱和限度。白平衡系数始终选定为大于1，并且线性化处理后，所有传感器数据均在0至1范围之间，因此，该截取包括截取所有大于等于1的像素数据。

在组合来自多个传感器的图像数据时，必须考虑每个图像传感器边缘的强度衰减(渐晕)。渐晕函数通常为11次多项式函数，可在标定过程中被发现。在渐晕函数前乘以0.5，确保像素不会因渐晕消除过程而出现饱和。由于所有颜色通道都采用了渐晕处理，因此，不会像白平衡过程中一样出现像素饱和风险。

一旦考虑渐晕，就需采用马赛克采集法在不同像素位置通过不同颜色通道采集原始图像数据。为了恢复每个像素的红、绿及蓝色图像，采用了传统去马赛克法。这种方法的关键在于其在渲染器通道中的计算量非常大，因此，在图形处理单元(GPU)上使用时可进行优化，以确保实时操作或确保由专用硬件——应用型专用集成电路(ASIC)来进行操作。

去马赛克后，该像素颜色专门用于图像传感器的色滤器。为了匹配标准显示监视器的光谱特性，需校正颜色。3×3矩阵可在标定传感器期间发现，当每个RGB像素都翻倍时，生成颜色校正后的RGB像素。该矩阵可分别在每个图像传感器中被发现，或者可标定用于相同品牌和型号的传感器。

考虑到来自每个成像器的图像都必须有不同的曝光时间，因此必须在通道中对图像进行缩放。这对场景亮度可随多个数量级变化的成像器阵列尤为重要。通过引入本地曝光控制，可采集到非过度饱和或阴影噪声不大的图像。由于这是第一次全局变换(即，需要来自阵列中的其他成像器的信息才能完全进行变换)，因此，优选地，应在处理链的渲染器端进行变换，以减少带宽的使用。由于该场景可具有宽动态范围，因此，通过曝光时间缩放场景可使图像数据结果具有高动态范围。而通过在实施变换前发送图像数据，则可使需要的位深更低。

最后，从图像传感器的数元位准映射(如，色调映射)到物理显示器的强度位准对任何图像的显示都很重要。优化色调映射通常用于人类视觉系统在电子显示器进行终端消费。与曝光缩放相类似，这也是一种全局变换，其应用依赖于整个场景。因此，最好与曝光缩放配合使用，以减少显示器的数据带宽。

系统200一旦已被标定，该系统就准备响应来自渲染系统206的渲染请求。

现在返回操作303的方法300，将原始图像数据214存储于服务器204-1至204-3中。在本说明书提供的实例中，来自每个成像器的原始图像数据被存储于每个服务器中，其中，成像范围约为系统200的整个视域的三分之一。与子视域相交的区域内的图像数据通常被存储于一个以上服务器中。

在操作304中，对于i＝1至M，渲染请求218-i接收自至少一个渲染系统206-i，。本领域技术人员应意识到，一个典型渲染请求包括所需视域的规格(如，所需的水平及垂直夹角)、图像显示分辨率以及图像数据所需的对应时间。

在操作305中，存储控制器220确定原始图像数据214中需满足渲染请求218-i的数据，并建立渲染数据集222-i。

在操作306中，确定提供渲染数据集222-i中数据的成像器202组。在一些实施例中，由多个成像器拍摄的物点(如，测量像素)的图像数据选自拍摄该图像点的最佳可用成像器。根据系统200标定期间生成的系统模型来确定最佳可用成像器。请注意，选用特定测量像素则无需对来自多个成像器的图像数据进行平均化，其通过消除大量可导致实时操作变得困难的计算时间(如果可能的话)，使本发明的实施例相对于现有技术的成像系统具备了明显优势。

在操作307中，基于渲染请求中指定的分辨率缩放渲染数据集222-i。

在操作308中，将渲染数据集222-i中经缩放图像数据传送到渲染系统206-i。

在操作309中，通过在成像器组中使用每个成像器和传感器阵列的标定系数来生成标定图像数据，以处理渲染数据集222-i中经缩放原始图像数据。请注意，本发明的实施例相对于现有技术具有特别优势，即：通过将标定系统和基本原始图像数据传送到渲染系统，由渲染系统来执行图像数据处理。具体而言，这种方法可减少计算时延，并且所需的通信带宽明显减少。

在操作310中，用缩放和标定图像数据填充标定数据集224-i。

操作310结束后，可通过渲染系统206-i以所需分辨率显示所需图像。

虽然，优选地，在每个渲染系统206-i中执行图像数据标定，但是，在一些实施例中，图像数据处理在服务器204中进行，并且在操作310中将经标定的图像数据集传送至渲染系统。在服务器中处理时，必须执行的操作较少，因此，可使用更为简单的渲染系统。此外，如果在服务器中处理图像数据，则渲染端可在最少附加操作的情况下支持多个简单客户端的操作，这是因为其仅需一次图像处理。

请注意，系统300相对于现有技术的成像系统具有多项优势。首先，仅需处理满足渲染请求的那些图像像素。这大大降低了处理要求，并且缩短了与渲染含图像数据的图像相关的时延，其中的图像数据从多个成像器获得。其次，可由任意组合的服务器204执行并行图形处理，这也降低了由图像处理引起的时延。

本发明的一个方面是利用标定整个系统期间生成的模型，在较少或没有时延的情况下形成合成图像，其中的合成图像由多个成像器提供的图像数据推导获得。在一些实施例中，合成图像中的每个像素均取自系统中的特定测量像素。具体而言，每个物点的图像数据点仅选自一个成像器(如，覆盖物点的最佳可用成像器)。因此，避免了平均化多个成像器覆盖的物点的图像数据所需的典型计算时间，实现了多成像器成像系统的实时操作。在本发明的实施例中，优选地，用采集到的图像组标定整个系统。

还请注意，说明性实施例的替代实施例可利用全景拼接法将来自传感器阵列202的每幅帧拼接成一张大拼接图。然而，这种方法的缺点在于相关时延过长，这将使视频速率操作基本变得不可能。此外，传送全拼接图像至显示器所需的带宽较大，这也使得该方法变得不切实际了。

应当理解，本公开教导了本发明的实施例的某些实例，本领域技术人员在阅读本公开后可很容易地构想出本发明的许多变形，并且本发明的范围由以下权利要求限定。

Claims (15)

1.一种用于高速采集和渲染包含多个物点的场景的第一图像的方法，所述方法，包括：

将第一原始图像数据点集(214)存储于多个服务器(204)中，所述服务器与第一多个传感器阵列(212)和第一渲染系统(206-i)操作地耦合，并且所述第一原始图像数据点集包括来自所述第一多个传感器阵列中的每一个的原始图像数据点；

确定第二原始图像数据点集(222-i)，所述第二原始图像数据点集基于接收自第一渲染系统的渲染请求(218-i)；

确定第二组传感器阵列，所述第二组传感器阵列是提供所述第二原始图像数据点集的第一组传感器阵列中的传感器阵列；以及

通过将第一组标定系数应用于所述第二原始图像数据点集，生成第一标定图像数据点集(224-i)，所述第一组标定系数基于所述第二组传感器阵列，其中所述第一图像基于所述标定图像数据点集。

2.根据权利要求1所述的方法，进一步包括：

将所述第一组标定系数传送至所述第一渲染系统；以及

将所述第二原始图像数据点集传送至所述第一渲染系统；

其中，所述第一组标定系数在所述第一渲染系统中被应用于所述第二原始图像数据点集。

3.根据权利要求1所述的方法，进一步包括：将比例系数应用于所述第二原始图像数据点集(222-i)，所述比例系数基于所述渲染请求。

4.根据权利要求1所述的方法，进一步包括：确定第二组标定系数，该第二组标定系数包括所述第一组标定系数，所述第二组标定系数基于所述第一组传感器阵列。

5.根据权利要求4所述的方法，其中，所述第二组标定系数至少包括辐射标定系数和几何标定系数中的一者。

6.根据权利要求4所述的方法，其中，所述第二组标定系数都包括辐射标定系数和几何标定系数。

7.根据权利要求1所述的方法，其中，所述第二组传感器阵列比所述第一组传感器阵列包含更少的元素。

8.根据权利要求7所述的方法，其中，所述第一组标定系数仅基于所述第二组传感器阵列。

9.根据权利要求1所述的方法，进一步包括：

确定第二组标定系数，该第二组标定系数包括第一组标定系数，所述第二组标定系数基于第一组图像；

计算基于所述第二组标定系数的模型；以及

基于所述模型生成第一组标定系数。

10.根据权利要求9所述的方法，进一步包括：

提供对应于第一物点的第一原始图像数据点，所述第一原始图像数据点由所述第一组传感器阵列的第一传感器阵列提供；

提供对应于所述第一物点的第二原始图像数据点，所述第二原始图像数据点由所示第一传感器阵列的第二传感器阵列提供；以及

基于所述第一组标定系数，仅选择所述第一原始图像数据点和第二原始图像数据点中的一个原始图像数据点，以包含于所述第二原始图像数据点集之中。

11.一种用于高速采集和渲染含有多个物点的场景的图像的系统，所述系统，包括：

多个成像器(202)，每个成像器用于基于不同场景部分中的物点提供图像数据；

多个服务器(204)，每个服务器均为采集和宿主服务器，用于存储原始图像数据、执行图像处理和传送多个分辨率的图像数据；

第一交换网络(208-1)；以及

第二交换网络(208-2)；

其中，所述多个成像器和所述多个服务器通过所述第一交换网络操作地耦合，使每个服务器都能够接收来自所述多个成像器中的任意服务器的图像数据；和

其中，所述第二交换网络用于耦合所述多个服务器和至少一个渲染系统，使所述至少一个渲染系统能够请求并接收来自所述多个服务器中的任意服务器的图像数据。

12.根据权利要求11所述的方法，其中，所述第二交换网络操作用于将所述多个服务器与一个选自显示器、监视器、智能电话和平板电脑中的渲染系统进行耦合。

13.根据权利要求10所述的方法，其中，所述多个服务器中的每一个服务器均操作用于对由所述多个成像器中的至少一个成像器提供的图像数据执行图像处理。

14.根据权利要求10所述的方法，其中，所述多个服务器集中地操作用于对由所述多个成像器中的至少一个成像器提供的图像数据执行图像处理。

15.根据权利要求14所述的方法，其中，所述多个服务器集中地操作用于对由所述多个成像器中至少一个成像器集中提供的图像数据执行图像处理。