CN107111864A

CN107111864A - 用于平滑视图切换和缩放的计算性多相机调整

Info

Publication number: CN107111864A
Application number: CN201580070878.5A
Authority: CN
Inventors: 蒋伟; 顾金伟
Original assignee: Huawei Technologies Co Ltd
Current assignee: Vid Scale Inc
Priority date: 2014-12-23
Filing date: 2015-12-23
Publication date: 2017-08-29
Also published as: WO2016101892A1; EP3175424A4; EP3175424A1; US9286680B1

Abstract

一种用于计算性地调整来自多相机系统的图像的实施例方法包括：接收校准图像序列，其中，每个校准图像序列对应于相机阵列中的一个相机并且具有一个或多个图像帧；根据相应相机的目标相机位姿或目标相机内部矩阵来计算相机阵列中的每个相机的目标相机模型，其中，所述计算生成了所述一个或多个第一相机中的每一个的变换矩阵；将所述一个或多个第一相机中的每一个的变换矩阵应用于对应于相应相机的校准图像序列，其中，所述变换矩阵转换校准图像序列的每个图像帧，并生成目标图像序列。

Description

用于平滑视图切换和缩放的计算性多相机调整

技术领域

本发明总体上涉及用于调整多相机阵列中的图像的系统和方法，并且在特定实施例中，涉及用于校正单个相机中的固有缺陷并且调整相机相对于相机阵列中的其它相机的位移，旋转或焦距的系统和方法。

背景技术

日益增强的计算能力、大容量存储器以及不断扩展的传输带宽已经使得视频和成像市场中的各种应用成为可能，这为现代用户提供了各种丰富的视觉体验。廉价数码相机的出现使得许多感应系统能够容纳大量相机，例如作为斯坦福沉浸式电视项目一部分的斯坦福多相机阵列。通过使用廉价的相机簇来捕获动态的真实世界场景，从而可以为用户提供例如数字重聚焦和合成大光圈等多种沉浸式体验，否则这些沉浸式体验不可能获得或只能通过特定的高端昂贵的专业设备才能获得。

可以将相机阵列中多个相机拍摄的图像一起排序来提供这些沉浸式体验，而不需要专门设备。在实践中，对平滑视图切换和缩放的需求很高，以便在电视和电影制作中提供丰富的观看体验。随着时间跨越多个相机来切换帧创建了单个相机正在移动的效果。例如，推镜效果、冻结时间(或子弹时间)效果和长全景效果是可以普遍地在电影、广播和纪录片中看到的最流行的效果。

创建平滑视图切换效果的另一种方式在于通过光场渲染(或基于图像的渲染)，其可以合成某个场景的不同视图。然而，只有在进行密集采样时，即，当将大量相机密集地放置在一起组成大的重叠视场时，光场渲染才能获得合理的效果，因为需要进行过度样来抵消不需要的混叠效应。此外，与直接视图切换相比，光场渲染需要更高的计算能力来创建合成视图，因此很难用于实时或在线视频制作。对于现场直播或对于小消费群体，采用大量相机以及强大的计算能力而产生的成本通常是不现实的。

发明内容

一种实施例系统包括：处理器；非瞬时性计算机可读介质，其与所述处理器进行通信，并且存储有指令。所述指令使所述处理器获取多个图像序列，其中，每个图像序列对应于相机阵列中多个相机中的一个相机。所述指令还使所述处理器：从所获取的多个图像序列中生成多个校准图像序列；计算多个目标相机模型，其中，所述多个目标相机模型中的每一个对应于所述多个相机中的一个；根据所述目标相机模型生成所述多个相机的多个变换矩阵。所述指令还使所述处理器根据所述多个变换矩阵从所述多个校准图像序列中生成多个目标图像序列。

另一种实施例系统包括：相机阵列，其中，所述相机阵列具有多个相机，所述多个相机中的每一个与所述多个相机中的另一个相机具有重叠视场；处理系统，其与所述相机阵列进行信号通信。所述处理系统具有存储有指令的非瞬时性计算机可读介质，所述指令用于使处理系统：使所述多个相机获取多个图像序列；根据所述多个相机的内参数和外参数从所获取的多个图像序列中生成多个校准图像序列。所述指令还使处理系统：将所述多个校准图像序列保存到第二非瞬时性计算机可读介质；从所述多个校准图像序列中生成多个目标图像序列，其中，所述多个目标图像序列中的每一个是根据与所述多个相机中的一个相机对应的模型相机的内参数和外参数生成的；从所述多个目标图像序列中的一个或多个中生成输出图像序列。

附图说明

为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述，其中：

图1A至1D为各种实施例提供的相机阵列的示意图；

图2为一些实施例提供的用于调整来自多相机阵列的图像的处理系统的示意图；

图3为一些实施例提供的用于调整来自多相机系统的图像的方法的流程示意图；

图4为一些实施例提供的用于生成相机的内参数和外参数的方法的流程示意图；

图5为一实施例提供的具有可改变的聚焦中心的圆形阵列中的相机的示意图；

图6为一实施例提供的具有多个焦点的相机的平面阵列的示意图；

图7为一些实施例提供的原始相机位姿和目标相机位姿的示例的示意图；

图8为一些实施例提供的具有原始焦距的第一焦轴和具有目标相机焦距的第二焦轴的示例的示意图；

图9为可用于实现本文公开的系统和方法的处理系统的框图。

具体实施方式

下文将详细论述当前优选实施例的制作和使用。然而，应了解，本发明提供可在各种具体上下文中体现的许多适用的发明性概念。所论述的具体实施例仅仅说明用以实施和使用本发明的具体方式，而不限制本发明的范围。此外，所描述的方法和装置可应用于图像处理和相机补偿，但并不具体局限于此。

例如平滑视图切换、缩放、推镜效果(相机似乎沿着轨迹移动)、冻结时间效果(也称为子弹时间效果)和长全景效果等现代视频效果频繁用于现场或录制视频制作。传统上，平滑视图切换效果只能由专业制作提供，其中采用了包括大量先进相机、镜头以及精密安装机器的高端专业系统。仔细选择并手动调整相机内参数。通过准确的手动测量来精确地安装相机。通过手动后处理所捕获的镜头以确保平滑视图切换效果。最近，相机阵列已经用于再现这些昂贵且劳动密集型的效果。一个阵列中多个相机允许随着时间跨越多个相机来切换帧，并创建好像单个相机在移动的效果。

图1A至1D示出了可以与用于产生视频效果的实施例处理系统和方法一起使用的多相机阵列。图1A为一实施例提供的聚焦在中心焦点上的相机102的阵列的示意图。在此实施例中，相机102被摆成注视着处于3D位置(即，聚焦中心)的同一目标，所述相机102的焦轴104会聚在目标对象处。例如，可采使用这种布局来产生冻结时间或子弹时间效果。同时捕获对象的图像帧，并且在回放期间，顺序播放来自不同方向但同时拍摄的帧，以呈现目标对象好像是静止的效果。在一实施例中，相机102连接到一个或多个处理器，计算机系统或控制电路，以收集来自相机的图像数据以用于平滑处理。

图1B为一实施例提供的向外相机102的阵列的示意图。在此实施例中，相机102具有发散的焦轴104。应当注意，虽然相机102具有发散的焦轴104，但是在一些实施例中，相机102具有重叠视场。

图1C为一实施例提供的以平面阵列形式排列的相机102的阵列的示意图。在此实施例中，相机102可以摆成面向相同的方向，以提供长全景或推镜效果。因此，相机102具有基本上平行或者在距离相机102较远处会聚的焦轴104。

图1D为一实施例提供的以阵列形式排列的相机102的阵列的示意图，所述相机具有不同的焦距。在一些实施例中，焦轴104会聚在目标对象处，并且不同的焦距采用不同的缩放因子来提供图像。顺序播放来自不同焦距的相机的图像以提供平滑缩放效果，而不需要物理缩放特定相机，且不需要提供比单个相机可提供的缩放范围更大的视频。

应当理解，图1A至1D中所示的实施例中的相机可以耦合到计算机系统，其中，所述计算机系统具有用于处理和操纵图像数据的处理器。在一些实施例中，所述计算机控制图像的定时和捕获。在其他一些实施例中，可以采用单独的相机控制器，而该计算机系统充当处理系统。以上所示的相机102的布局还允许多个图像序列在时间上同步。即，对于给定的时间戳，可以定位由相应相机102在所指定的时间(或大致在所指定的时间)记录的每个图像序列中的一个帧。

本文描述的系统和方法在多相机系统中自动且计算性地调整例如旋转等外在相机位姿，以及例如焦距、相机光心、感光器偏斜、像素宽高比、镜头畸变等相机内参数。该方法可以由各种多相机系统使用，所述各种多相机系统具有不同的配置，包括不同的相机型号、不同的相机数量、不同的相机布局等。所述系统和方法为容易设置不同的相机位姿以及不同的内参数提供了灵活性，以适应不同的平滑视图切换和缩放效果。

本发明提出了用于从多个相机获取图像数据并且计算性地调整图像的系统和方法，从而产生相互之间平滑且规则的过渡的图像。在所述系统和方法的一些实施例中，通过使相机参数标准化，然后调整相机参数，从而调整图像以实现对图像的期望修改。通过校正相机的内参数来补偿每个单独相机中的单个缺陷，并且通过校正相机的外参数来补偿相机定位和聚焦的不准确性，从而使图像标准化。通过去除相机内参数中的不可避免的差异和镜头畸变、制造中的随机变化、多相机系统的振动、相机安装系统中的不准确性等，图像的标准化消除了获得完美的相机间隔或布局配置的需要，特别是对于常规消费级相机而言。即使在低水平下，这些缺陷在连续切换视图时也将会引起相当大的抖动和摆动花屏。

内参数和外参数用于调整每个相机生成的图像，从而产生补偿或校准图像序列。生成目标相机的模型，从而通过标准化的相机的位姿和参数来反映相机的期望偏移或改变。目标相机是表示期望的相机位置和定向的人工构建体，从而提供期望的平滑和运动效果。然后根据为目标相机生成的参数修改补偿图像。采用例如一般单应性变换矩阵来修改补偿图像，从而使图像看起来已经被目标相机捕获。

目标相机的计算允许目标相机位姿以及例如焦距、相机光心、感光器偏斜、像素宽高比、镜头畸变等相机内参数的自动调整。可以采用不同的多相机系统或包括不同的相机型号、不同的相机数量、不同的相机布局等不同的相机配置来提供图像，而不需要修改或过度实验。这使得使用消费级相机、镜头和安装设备的多相机系统能够创建平滑的视图切换和缩放效果，而不需要完全一致的相机内参数或完美放置的相机位姿。

当这些相机的外参数和内参数采用多个相机实现时，应当相互一致，使得这些多个相机都表现为像正在空间移动的单个相机一样。应该精确地调整包括相机的3D位置和3D位姿的外参数，使得这些相机的路径是平滑的并且相机正注视着期望的位置。因此，可以将不同相机拍摄的每个图像都标准化以具有相似的光学属性，从而避免由来自不同相机的顺序图像形成的视频序列的不一致性。类似地，当将来自不同相机的图像集成到单个视频流中时，相机的准确3D定位会提供平滑视频流。

本文描述的实施例提供了一种计算性系统，其取代了传统上视频制作所需的手动调整和校正过程，从而大大降低了人力成本、计算成本、以及例如相机、镜头和相机安装设备等硬件设备的成本。另外，由于可以从相同的源图像生成不同的效果，因此，本实施例增加了相机系统配置和平滑视图效果配置的灵活性。所述系统和方法提供了现场制作中的实时平滑视图切换和缩放效果。变换实施例的计算成本较低，因为仅需一个帧转换操作就能处理每个帧。因此，可以避免与传统相机制备方法相关联的手工劳动和设备，以及与光场渲染方法相关联的密集型相机阵列和高计算能力。

图2为一些实施例提供的用于调整来自多相机阵列的图像的处理系统200的示意图。处理系统200具有捕获模块202，其获取图像序列204A、……、204M。捕获模块202通过具有多个相机的多相机系统捕获目标场景。应当注意，所捕获的场景可以是静态的或者具有各种室内或室外环境中的移动对象。另外，对相机的数量没有限制，因为可以使用任何数量的相机来获取图像序列。捕获模块202生成，捕获或获取多个图像序列，每个所获取的图像序列来自随着时间从一个特定视角记录目标场景的一个相机。每个相机C_i可以任意地放置在3D真实世界中，只要存在与C_i具有足够大的重叠视场(由阈值t_c确定)的另一个相机C_j。在每次记录期间，相机的相对位置和位姿是固定的。在记录期间，整个多相机系统的位置和位姿可以改变。例如，整个多相机系统可以安装在移动平台上以用于记录。为了捕获不同的场景，可以重配置相机的相对位置和位姿。

捕获模块202可以将图像序列204A、……、204M保存到计算机存储器，并且还可以使其可用于例如现场直播期间的现场或实时处理。在一些实施例中，捕获模块202可以是专用硬件设备，其中，所述专用硬件设备具有专用于控制一个或多个相机的图像序列采集电路。所述图像序列采集电路可以连接到相机以使相机捕获图像，然后捕获模块202可以从相机获取或接收图像序列204A、……、204M。在其他一些实施例中，捕获模块202是设置在计算机上的非瞬时性计算机可读介质中的软件模块，其中，所述计算机具有处理器，用于执行捕获模块软件中的指令。捕获模块软件也可以控制或者以其它方式使相机捕获图像序列204A、……、204M。另外，在一些实施例中，捕获模块202可以与相机分离并且与相机进行信号通信，或者可以具有集成到捕获模块202的硬件中的一个或多个相机。

捕获模块202捕获到的图像序列204A、……、204M由校准模块206进行处理。校准模块206对来自不同相机的图像进行标准化，以校正单个相机硬件或定位中的缺陷。在校准模块206中，内参数214和外参数216用于将在每个给定时间戳在图像序列204A、……、204M中记录的一组时间同步的图像帧进行对齐。对齐包括镜头畸变校正208和/或几何校正210操作。采用相机内参数214来为每个图像序列进行镜头畸变校正208。通过采用内参数214和外参数216来几何地转换每个图像帧以与参考帧对齐，从而进行几何校正210。还可以进行辐射校正212的进一步操作，其中可以调整来自不同图像序列204A、……、204M的图像帧的颜色外观，以确保白平衡、图像温度、对比度和其他光学图像属性在校准图像序列218A、……、218M中是一致的。

在一些实施例中，校准模块206单独校正来自每个相机的每个帧。例如，令[X，Y，Z]表示3D现实世界中的3D点，并且令[u_i，v_i]表示与相机C_i对应的图像平面中的2D点。每个相机Ci通常由普通针孔建模，从而产生3D点和2D点之间的以下关系：

α_i[u_i,v_i,1]^t＝K_iR_i([X,Y,Z,1]^t-[T_i,1]^t) (1)

在等式1中，α_i是任意比例因子，R_i是3×3相机旋转矩阵，T_i是3×1相机位置向量，其中R_i和T_i一起被称为相机C_i的外参数。K_i是相机C_i的3x3相机内部矩阵。由于普通相机使用的非理想镜头，每个相机C_i还与一组镜头畸变参数D_i相关联。K_i和D_i一起被称为相机C_i的内参数。以下更详细地讨论了用于校准的内参数和外参数的产生或获取。

在一些实施例中，相机内部矩阵K_i是具有5个参数的3×3矩阵：

其中，f_x和f_y分别是x轴和y轴上的焦距，o_x和o_y分别表示在x轴和y轴上的主点的位置，r给出x轴和y轴之间的偏斜系数。调谐K_i，例如可以是在保持其他元素不变的同时确保所有相机在x轴和y轴上的焦距相同。然后，可以通过保持原始K_i的r、o_x、o_y元素并且将f_x和f_y改变为新的f^* _x和f^* _y，从而确定新的K^* _i。可以优化新的f^* _x和f^* _y，使得f^* _x和f^* _y到所有相机的原始f_x和f_y的总距离最小。例如，如果所有相机具有类似的焦距，则可以分别将f_x和f_y粗略地确定为所有相机的原始f_x和f_y的平均值。

在适用的情况下，校准模块206应用镜头畸变校正208、几何校正210和辐射校正212，以生成校准图像序列，例如初始校准颜色序列218A、……、218M。因此，校准模块206应用D_i镜头畸变参数208，然后通过将等式1应用于镜头畸变校正的图像序列来进行几何校正210。在一些实施例中，校准模块206将校准图像序列218A、……、218M保存到非瞬时性计算机可读存储介质，或保存档案副本，以用于后续处理。将校准图像序列218A、……、218M标准化，从而相对于时间戳在相机之间提供规则且一致的图像。因此，来自对应于相同时间戳的不同相机的图像将提供用于冻结时间或子弹时间效果的平滑图像序列。校准图像序列218A、……、218M的副本可用于多个处理任务，因为校准图像序列218A、……、218M是标准化的一组图像。例如，第一输出图像序列可以直接从校准图像序列218A、……、218M中生成，而第二输出图像序列可以通过对校准图像序列218A、……、218M进行后续处理生成。

在一些实施例中，校准模块206可以是专用硬件设备，其中，所述专用硬件设备具有专用于处理和校准图像序列204A、……、204M的图像处理电路。图像处理电路可以从存储器获取或接收或者直接从捕获模块202接收图像序列204A、……、204M，以用于校准。在其他一些实施例中，校准模块206是设置在计算机上的非瞬时性计算机可读介质中的软件模块，其中，所述计算机具有处理器，用于执行校准模块软件中的指令。校准模块软件可以与捕获模块202进行通信，以触发图像捕获。另外，在一些实施例中，校准模块206可以与捕获模块202和相机分离，或者可以与捕获模块202或相机集成到相同的硬件或软件系统中。

处理系统200还具有调整模块220，用于处理校准图像序列218A、……、218M。调整模块220提供用于修改图像的系统，从而呈现旋转和重定位相机或调整相机参数的表象。给定多个目标相机位姿和多个目标相机内部矩阵、相机C_i的目标相机位姿R*_i、相机C_i的目标相机内K*_i，其中R*_i是3x3目标相机旋转矩阵。通过进行多相机调整来进一步处理校准图像序列218A、……、218M，以使用目标相机旋转和内部矩阵来产生平滑视图切换和缩放效果。调整模块220计算目标相机的模型，以给出期望的输出图像。模型计算222生成应用于来自校准图像序列218A、……、218M的帧或图像的变换矩阵224，以用于帧转换226。

在模型计算222中，计算每个相机C_i的3×3变换矩阵P_i224。图像平面中的2D点[u_i，v_i]对应于由具有原始相机位置和位姿(R_i，T_i)和原始相机内部矩阵K_i的相机C_i捕获的3D点(X，Y，Z)。等式1给出[u_i，v_i]和(X，Y，Z)之间的关系。令[u*_i，v*_i]表示目标图像平面中的2D点，所述2D点对应于由具有目标位置和位姿228(R*_i，T*_i)和目标相机内部矩阵K*_i230的目标相机捕获的相同的3D点(X，Y，Z)。将目标相机参数代入等式1得出以下等式：

α*_i[u*_i,v*_i,1]^t＝K*_iR*_i([X,Y,Z,1]t-[T*_i,1]^t) (2)

在等式2中，α*_i是任意比例因子。在一些实施例中，T*_i＝T_i，即，每个相机C_i的相机位置不变。然后，基于等式1和等式(2)，[u_i，v_i]和[u*_i，v*_i]之间的关系由以下等式给出：

[u*_i,v*_i,1]^t～K*_iR*_iR_i ^-1K_i ^-1[u_i,v_i,1]^t (3)

在等式3中，～表示经一缩放比例的缩放后相等。变换矩阵P_i由以下等式给出：

P_i＝K*_iR*_iR_i ^-1K_i ^-1 (4)

其中，R_i ^-1是与变换矩阵对应的相机的反向旋转矩阵，K_i ^-1是与变换矩阵对应的相机的反向内部矩阵。变换矩阵P_i224可以是3×3矩阵和具有8个自由度(degrees-of-freedom，简称DOF)的通用单应性矩阵。通用单应性矩阵是用于透视转换的矩阵。假设进行线性投影，通用单应性矩阵减少到5-DOF仿射变换矩阵。假设进行单旋转和各向同性缩放，仿射变换矩阵进一步减少到4-DOF相似变换矩阵。单应性矩阵、仿射变换矩阵或相似变换矩阵中的每一个都可以用作P_i。

在生成变换矩阵Pi224之后，调整模块220对校准图像序列218A、……、218M，进行帧转换226。变换矩阵P_i用于将每个相机C_i的原始色彩帧I_i转换成目标帧I*_i。当将等式(3)应用于每个图像点时，调整模块220生成目标图像帧I*_i作为原始图像帧I_i的转换版本。因此，当应用于图像序列中的每个图像帧时，调整模块220生成目标图像序列作为每个相机C_i的原始图像序列204A、……、204M的转换版本。目标图像序列是合成图像序列，其可以被视为好像是从具有目标相机位置和位姿228(R*_i，T*_i)和目标相机内部矩阵K*_i230的目标相机中捕获的。本实施例的计算成本低，因为仅需一个帧转换操作就能处理每个帧，而且P_i计算是可忽略的。

在一些实施例中，调整模块220可以是专用硬件设备，其中，所述专用硬件设备具有专用于变换校准图像序列218A、……、218M的图像处理和调整电路。图像处理和调整电路可以从存储器获取或接收或者直接从校准模块206接收校准图像序列218A、……、218M。在其他一些实施例中，调整模块220是设置在计算机上的非瞬时性计算机可读介质中的软件模块，其中，所述计算机具有处理器，用于执行所述调整模块软件中的指令。在一些实施例中，调整模块220可以与校准模块206，捕获模块202以及相机分离，或者可以与校准模块206，捕获模块202或相机集成到相同的硬件或软件系统中。

在调整模块220生成目标图像序列之后，在一些实施例中，处理系统200可将目标图像序列保存到存储器或非瞬时性计算机可读介质。另外，调整模块202可以使用来自一个或多个目标图像序列的图像来生成输出图像序列。例如，用于冻结时间输出图像序列的输出图像序列可以具有来自多个目标图像序列的图像，每个目标图像对应于相同的时间戳。因此，顺序播放来自不同目标图像序列的图像，将给出停止或冻结的对象的不同视点的印象。在其他一些实施例中，输出图像序列可以包括来自不同时间戳的不同目标图像序列的图像，从而给出全景效果，平滑缩放效果或视图切换效果。在又一些实施例中，输出图像序列可以是单个目标图像序列。

在一些实施例中，系统200通过将输出图像序列发送到例如计算机监视器或显示屏等显示器，或者发送到例如电缆系统、互联网服务器、空中广播系统发送器等广播装置，从而向用户显示输出图像序列。

图3为一些实施例提供的用于调整来自多相机系统的图像的方法300的流程示意图。在框302中，相机捕获图像序列。在框304中生成、收集、接收或以其他方式获得内参数和外参数，下面将进行详细讨论。在框306中，校准模块通过校正图像的镜头畸变、图像几何形状或辐射度，从而校准每个相机的图像序列。在框308中，生成校准图像序列作为图像序列的校准结果。在框312中，获得目标相机位姿和内参数。在框310中，调整模块采用目标相机位姿和内参数来计算目标相机模型。在框314中生成模型变换矩阵，并将其应用于校准图像序列的帧，从而在框316中转换帧。在框318中，帧的转换生成目标图像序列和输出图像序列的目标相机帧。

图4为一些实施例提供的用于生成相机的内参数和外参数的方法400的流程示意图。在一些实施例中，进行校准预处理来计算每个相机的内参数。最初，在校准预处理中，在框402中，通过单个相机校准过程来计算每个相机Ci的相机内部矩阵K_i和一组镜头畸变系数D_i。例如可以采用相机校准技术来计算K_i和D_i，所述相机校准技术包括：拍摄定向不同的模型平面的图像，检测模型平面中的特征点，以闭合形式方案评估内参数和外参数，评估径向畸变，然后最小化估计参数。例如，参见Zhang，《一种灵活的相机校准新技术》，IEEETrans.PAMI，2000，其通过引用并入本文。

在框404中，框402中的单个相机校准生成内部矩阵K_i和畸变系数D_i。在框406中，采用立体校准过程来计算每个相机C_i，的一组初始外参数，包括3x3初始相机旋转矩阵R⁰ _i和3x1初始相机转换向量T⁰ _i。可以通过将每个相机C_i与参考相机进行比较来计算初始外参数。参考相机可以是多相机系统中的任何一个相机。因此，每个相机以相同的点或相机为参考，以消除相机之间的旋转和变换中的差异。在一些实施例中，通过来自被测相机和参考相机的图像中的差异来提取基本矩阵，从而至少部分地生成相机的外参数。例如，参见Hartleyand Zisserman，《计算机视觉中的多视图几何(第二版)》，剑桥大学出版社，2004，其通过引用并入本文。在框408中，框406中的立体校准生成初始相机外参数R⁰ _i和T⁰ _i。

在框410中，稀疏光束法平差过程生成每个相机的外参数R_i和T_i。细化该组初始外参数R⁰ _i和T⁰ _i以获得一组最终外参数，即每个相机C_i的相机旋转矩阵R_i和相机转换向量T_i。稀疏光束法平差细化该组初始外参数集合R⁰ _i和T⁰ _i以找到最精确地预测多个图像中的观察点的位置的那组参数。对生成所测量的图像点坐标所需的参数进行估计，然后通过调整估计出的参数来最小化测量的不确定性。例如，参见Lourakis和Argyros，《SBA：用于通用稀疏光束法平差的软件包》，ACM Trans.Math.Software，2009，其通过引用并入本文。

应当理解，不是每个外参数或内参数都需要由系统生成。例如，可以通过相机制造商来获得一些内参数和/或外参数，并且可以通过以上描述的校准预处理来计算剩余的内参数和外参数。

所述系统和方法的实施例为设置目标相机位姿和目标相机内部矩阵提供了灵活性。例如，可以为所有相机设置一个目标相机内部矩阵，从而实现一致的相机内设置以用于平滑视图切换效果。例如，在平面相机配置(参见图1C)中，可以为所有相机设置一个共同的目标相机位姿，使得所有相机正注视着相同的方向。

图5为一实施例提供的具有可改变的聚焦中心的圆形阵列中的相机102的俯视示意图。目标相机内部矩阵被设置为相同，并且目标相机位姿被设置为注视着聚焦中心502和504。聚焦中心502和504可以在多相机系统的视场内自由移动。因此，可以采用第一目标相机参数设置第一公共聚焦中心502，使得所有相机正注视着第一聚焦中心502。通过采用第二目标相机参数调整相机而不需要物理地移动或旋转相机，聚焦中心可以自由移动到第二聚焦中心504。修改目标相机参数，从而有效地改变相机的焦距，使其从具有会聚在第一聚焦中心502处的第一焦轴104A改变为具有会聚在第二聚焦中心504处的第二焦轴104B。

图6为一实施例提供的具有多个焦点的相机的平面阵列的示意图。可以定义相机阵列第一部分的一组目标相机位姿，以将第一3D点作为第一聚焦中心502；并且定义相机阵列第二部分的目标相机位姿，以将另一个3D点作为第二聚焦中心504。因此，一些相机102将具有会聚在第一聚焦中心502处的第一焦轴104A，而其他相机将具有会聚在第二聚焦中心504处的第二焦轴104B。这样的布局在外部看入配置(见图1A)，内部看外配置(见图1B)或平面配置(见图1C和1D)中可能有用。在这样的配置中，聚焦中心可以在多相机系统的视场内自由移动，从而允许移动聚焦中心而不调整相机102的物理队列和位置。此外，可以设置目标相机内部矩阵，使得相邻相机连续不断地改变到相邻相机的焦距，以便实现平滑缩放效果。当捕获不同的场景并创建不同的视图切换和缩放效果时，可以使用不同的设置。

图7为一些实施例提供的原始相机位姿和目标相机位姿的示例的示意图。目标相机参数的计算允许计算相机102的焦轴104A和104B将被对齐的位置。相机102的标准化或校准使得初始焦轴104A相互对齐，并且目标相机计算和图像变换通过改变焦轴生成指向期望焦点的第二焦轴104B。

图8为一些实施例提供的具有原始焦距的第一焦轴104A和具有目标相机焦距的第二焦轴104B的示例的示意图。目标相机计算和图像变换可以调整聚焦平面或移动聚焦中心，而不需要调整焦轴104A和104B的方向或旋转。这种变换允许缩放效果或与焦点相关的其他定制的视觉效果，而不需要物理调整相机102参数。

图9为可用来实现本文公开的系统和方法的处理系统900的框图。特定设备可利用所有所示的组件或仅所述组件的子集，且设备之间的集成程度可能不同。此外，设备可以包括部件的多个实例，例如多个处理单元、处理器、存储器、发送器、接收器等。所述处理系统900可以是节点、相机、控制器，例如软件系统控制器；可以包括配备一个或多个输入/输出设备，例如扬声器、麦克风、鼠标908、触摸屏、按键、键盘、打印机、显示器906等的处理单元904。处理单元可以包括中央处理器(central processing unit，简称CPU)910、存储器916、大容量存储器设备912、视频适配器918，以及连接至总线的I/O接口920。

总线可以是任意类型的若干总线架构中的一个或多个，包括存储总线或存储控制器、外设总线、视频总线等等。所述CPU910可包括任何类型的电子数据处理器。存储器916可包括任意类型的非瞬时性系统存储器，例如静态随机存取存储器(static random accessmemory，简称SRAM)、动态随机存取存储器(dynamic random access memory，简称DRAM)、同步DRAM(synchronous DRAM，简称SDRAM)、只读存储器(read-only memory，简称ROM)或它们的组合等等。在一实施例中，存储器916可包含在开机时使用的ROM以及在执行程序时使用的存储程序和数据的DRAM。

大容量存储器设备912可包括任何类型的非瞬时性计算机可读存储介质或设备，用于存储数据、程序和其它信息，并使这些数据、程序和其它信息通过总线可访问。大容量存储器设备912可包括如下的一项或多项：固态驱动器、硬盘驱动器、磁盘驱动器、光盘驱动器、磁盘机阵列、云存储设备等。例如，大容量存储器设备可以连接至设置在节点或控制器中的CPU 910，并且可以存储指令，以用于：处理图像，控制相机，收集图像序列，在处理之前、之后或期间存储图像序列，或显示处理后的图像序列，与节点和/或控制器通信，或执行路由和功率控制优化过程。

所述视频适配器918和所述I/O接口920提供接口以将外部输入和输出设备耦合到所述处理单元。如图所示，输入输出设备的示例包括耦合至视频适配器918的显示器906和耦合至I/O接口920的鼠标/键盘/打印机908。其它设备可以耦合至处理单元904，可以利用更多或更少的接口卡。例如，可使用通用串行总线(Universal Serial Bus，简称USB)(未示出)等串行接口为打印机提供接口。

处理单元904还包括一个或多个网络接口914，其可以包括例如以太网线等的有线链路和/或到接入节点、控制器、路由器或不同网络902的无线链路。在一些实施例中，网络接口允许处理单元904与相机阵列或与用于收集或传输和显示图像序列的广播系统进行通信。网络接口914允许处理单元904通过网络902与远程单元通信。比如，网络接口914可以经由一个或多个发送器/发射天线以及一个或多个接收器/接收天线提供无线通信。在一实施例中，处理单元904耦合到局域网或广域网上以用于数据处理以及与远程装置通信，所述远程装置例如其它处理单元、因特网、远程存储设施等。

虽然已参考说明性实施例描述了本发明，但此描述并不意图限制本发明。所属领域的技术人员在参考该描述后，将会明白说明性实施例的各种修改和组合，以及本发明其他实施例。因此，所附权利要求书意图涵盖任何此类修改或实施例。

Claims

1.一种方法，其特征在于，包括：

接收校准图像序列，其中，每个校准图像序列对应于相机阵列中的一个相机并具有一个或多个图像帧；

根据一个或多个第一相机中的相应相机的目标相机位姿或目标相机内部矩阵来计算所述相机阵列中的所述一个或多个第一相机中的每一个的目标相机模型，所述计算生成了所述一个或多个第一相机中的每一个的变换矩阵；

将所述一个或多个第一相机中的每一个的变换矩阵应用于对应于相应相机的校准图像序列；其中，

所述应用所述变换矩阵包括：转换所述校准图像序列的每个图像帧；

所述应用所述变换矩阵生成了目标图像序列。

2.根据权利要求1所述的方法，其特征在于，还包括：确定所述一个或多个第一相机的目标相机位姿和确定与所述一个或多个第一相机相关的目标相机内部矩阵中的至少一个；其中，

所述目标相机内部矩阵包括目标相机沿轴焦距的系数，以及所述轴之间的偏斜系数。

3.根据权利要求2所述的方法，其特征在于，所述变换矩阵是通用单应性矩阵。

4.根据权利要求2所述的方法，其特征在于，所述变换矩阵是由以下等式给出的3×3矩阵：

P_i＝K*_iR*_iR_i ^-1K_i ^-1

其中，K*_i是目标相机内部矩阵，R*_i是目标相机旋转矩阵，R_i ^-1是对应于所述变换矩阵的相机的反向旋转矩阵，K_i ^-1是对应于所述变换矩阵的相机的反向内部矩阵。

5.根据权利要求2所述的方法，其特征在于，还包括：

从所述相机阵列中获取图像序列；

通过校准所获取的图像序列来生成所述校准图像序列。

6.根据权利要求5所述的方法，其特征在于，所述校准所获取的图像序列包括：对所获取的图像序列进行镜头畸变校正或几何校正中的至少一个。

7.根据权利要求6所述的方法，其特征在于，还包括：确定所述相机阵列中的每个相机的内参数和外参数；其中，

所述镜头畸变校正和几何校正是根据所述内参数或所述外参数进行的。

8.根据权利要求1所述的方法，其特征在于，还包括：从一个或多个目标图像序列中生成输出图像序列；

通过显示或传输所述输出图像序列来输出所述输出图像序列。

9.一种系统，其特征在于，包括：

处理器；

非瞬时性计算机可读介质，其与所述处理器进行通信，并且存储有用于使所述处理器执行以下操作的指令：

获取多个图像序列，其中，每个图像序列对应于相机阵列中多个相机中的一个相机；

从所获取的多个图像序列中生成多个校准图像序列；

计算多个目标相机模型，其中，所述多个目标相机模型中的每一个对应于所述多个相机中的一个；

根据所述目标相机模型生成所述多个相机的多个变换矩阵；

根据所述多个变换矩阵从所述多个校准图像序列中生成多个目标图像序列。

10.根据权利要求9所述的系统，其特征在于，所述使所述处理器生成多个目标图像序列的指令包括：用于通过将所述多个变换矩阵中的一个应用于所述多个校准图像序列中的相应一个来转换所述多个校准图像序列中的每一个的图像帧的指令。

11.根据权利要求9所述的系统，其特征在于，所述非瞬时性计算机可读介质还存储有用于使所述处理器执行以下操作的指令：

确定所述多个相机的目标相机位姿；

确定所述多个相机的目标相机内部矩阵；其中，

所述使所述处理器生成多个变换矩阵的指令包括：用于根据所述目标相机位姿中的相应位姿和所述目标内部矩阵中的相应内部矩阵生成所述多个变换矩阵的指令。

12.根据权利要求11所述的系统，其特征在于，所述多个变换矩阵中的每一个是通用单应性矩阵。

13.根据权利要求11所述的系统，所述多个变换矩阵中的每一个是与所述多个相机中的一个相关联的3×3变换矩阵，并且由以下等式给出：

P_i＝K*_iR*_iR_i ^-1K_i ^-1

14.根据权利要求9所述的系统，所述使所述处理器生成所述多个校准图像序列的指令包括：用于对所获取的图像序列进行镜头畸变校正，几何校正，或射线照相校正中的至少一个的指令。

15.根据权利要求9所述的系统，其特征在于，所述非瞬时性计算机可读介质还存储有用于使所述处理器执行以下操作的指令：

确定所述多个相机中的每一个的相机旋转矩阵，相机内部矩阵和一组镜头畸变系数；其中，

所述使所述处理器生成所述多个校准图像序列的指令包括：用于根据所述相机旋转矩阵，相机内部矩阵和该组镜头畸变系数生成所述多个校准图像序列的指令。

16.根据权利要求9所述的系统，其特征在于，所述非瞬时性计算机可读介质还存储有用于使所述处理器执行以下操作的指令：

从一个或多个目标图像序列中生成输出图像序列；

17.一种系统，其特征在于，包括：

相机阵列，其中，所述相机阵列具有多个相机，所述多个相机中的每一个与所述多个相机中的另一个相机具有重叠视场；

处理系统，与所述相机阵列进行信号通信，所述处理系统具有存储有指令的第一非瞬时性计算机可读介质，所述指令用于使处理系统：

使所述多个相机获取多个图像序列；

根据所述多个相机的内参数和外参数从所获取的多个图像序列中生成多个校准图像序列；

将所述多个校准图像序列保存到第二非瞬时性计算机可读介质；

从所述多个校准图像序列中生成多个目标图像序列，其中，所述多个目标图像序列中的每一个是根据与所述多个相机中的一个相机对应的模型相机的内参数和外参数生成的；

从所述多个目标图像序列中的一个或多个中生成输出图像序列。

18.根据权利要求17所述的系统，其特征在于，所述非瞬时性计算机可读介质还存储有用于使所述处理系统通过显示或传输所述输出图像序列来输出所述输出图像序列的指令。

19.根据权利要求17所述的系统，其特征在于，所述使所述处理系统生成多个目标图像序列的指令包括：用于使所述处理系统执行以下操作的指令：

生成所述多个相机的多个变换矩阵；

通过将所述多个变换矩阵中的一个应用于所述多个校准图像序列中的相应一个来转换所述多个校准图像序列中的每一个的图像帧；

所述多个变换矩阵中的每个变换矩阵由以下等式给出：

P_i＝K*_iR*_iR_i ^-1K_i ^-1

20.根据权利要求17所述的系统，其特征在于，所述使所述处理系统生成多个校准图像序列的指令包括：用于使所述处理系统执行以下操作的指令：

基于所述多个相机中的相应相机的内参数和外参数来调整所获取的多个图像序列中的每一个。