CN109313814B

CN109313814B - 照相机校准系统

Info

Publication number: CN109313814B
Application number: CN201780034995.5A
Authority: CN
Inventors: 布里安·基思·卡布拉尔; 阿尔贝特·帕拉·波索; 福里斯特·塞缪尔·布里格斯; 乔伊斯·许
Original assignee: Facebook Inc
Current assignee: Meta Platforms Inc
Priority date: 2016-04-06
Filing date: 2017-03-27
Publication date: 2020-05-08
Anticipated expiration: 2037-03-27
Also published as: JP6619105B2; CN109313814A; WO2017176485A1; BR112018070561A2; IL262000A; US10623718B2; CA3019797C; US20190098287A1; CA3019797A1; JP2019510982A; AU2017246118B2; KR102069022B1; US10187629B2; AU2017246118A1; KR20180123575A; MX2018012160A; US20170295358A1

Abstract

照相机校准系统共同地校准照相机机架系统中的多个照相机。照相机校准系统获得有关照相机机架系统中的多个照相机的配置信息，诸如每个照相机相对于其他照相机的位置和定向。照相机校准系统基于所获得的配置信息估计多个照相机的校准参数(例如，旋转和平移)。照相机校准系统接收由多个照相机捕获的测试对象的2D图像并且获得有关测试对象的已知信息，诸如，位置、大小、纹理以及测试对象的视觉上可区分的点的详细信息。照相机校准系统然后基于所接收的2D图像和所估计的校准参数生成测试对象的3D模型。与实际的测试对象相比评估所生成的3D模型以确定校准误差。更新照相机的校准参数以减小多个照相机的校准误差。

Description

照相机校准系统

技术领域

本公开内容大体上涉及多照相机系统，并且更具体地，涉及校准多照相机系统中的照相机。

背景技术

经由多照相机系统捕获图像对虚拟现实(VR)系统将3维(3D)图像或视频渲染给佩戴头戴式显示器(HMD)的用户是必要的。然而，多照相机系统的设计和制造中的容差可使得实际照相机未被放置在所设计的正确地点或正确的角度。照相机可以相对于彼此横向或竖直平移，或者相对于彼此有缺陷地定向。这些缺陷可能在通过多照相机系统生成的图像中造成降低用户体验的严重问题，例如，严重失真或复视。

因此，需要校准多照相机系统以渲染精确的图像。

发明内容

根据本发明的实施方式特别在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中公开，其中，在一个权利要求类别(例如，方法)中提及的任何特征也可以在另一个权利要求类别(例如，系统)中要求保护。仅由于形式的原因而选择了所附权利要求中的从属关系求或后向引用。然而，也可以要求保护从对任何上述权利要求(具体地，多个从属权利要求)的故意后向引用导致的任何主题内容，使得权利要求及其特征的任何组合被公开并且可以被要求保护，而不管在所附权利要求中选择的从属关系如何。可以要求保护的主题不仅包括所附权利要求中阐述的特征的组合，而且还包括权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文中描述或描绘的任何实施方式和特征可以在单独权利要求中和/或在与本文中描述或描绘的任何实施方式或特征或与所附权利要求的任何特征的任何组合中要求保护。

在根据本发明的实施方式中，一种用于校准照相机机架系统的方法，该方法可包括：

接收有关照相机机架系统中的多个照相机的配置信息；

识别多个照相机的校准参数；

接收由多个照相机捕获的已知的测试对象的多个图像；

基于所识别的校准参数和所接收的多个图像创建测试对象的3D模型；并且

计算反映所创建的测试对象的3D模型与已知的测试对象相比之间的差异的校准误差；并且

修改多个照相机的校准参数以减小校准误差。

至于多个照相机之中的每个照相机，配置信息可包括相对于多个照相机之中的其他照相机的位置和定向。

计算反映所创建的测试对象的3D模型与已知的测试对象相比之间的差异的校准误差，进一步可包括：

将3D模型的校准度量与已知的测试对象的对应的校准度量进行比较。

已知的测试对象的校准度量可包括以下项中的至少一项：位置、大小、纹理、形状以及已知的测试对象上的视觉上可区分的点的详细信息。

校准参数可包括对于多个照相机中的每个照相机的旋转和平移信息。

照相机机架系统中的多个照相机可共享它们各自视场中的已知的测试对象所位于的重叠部分。

照相机机架系统中的多个照相机可以是照相机机架系统中的两个照相机。

照相机机架系统可包括多个照相机和多个已知对象，其中，每个已知对象由至少两个照相机观察并且每个照相机观察至少两个已知对象。

可校准成对的照相机。

多个照相机可被共同校准以使每一个照相机的校准误差最小化。

在根据本发明的实施方式中，一种存储用于校准照相机机架系统的计算机程序指令的非暂时性计算机可读存储介质，该计算机程序指令在由计算机处理器执行时可使处理器执行以下步骤：

接收有关照相机机架系统中的多个照相机的配置信息；

识别多个照相机的校准参数；

接收由多个照相机捕获的已知的测试对象的多个图像；

修改多个照相机的校准参数以减小校准误差。

可校准成对的照相机。

在根据本发明的实施方式中，一个或多个计算机可读非暂时性存储介质可包含软件，当该软件被执行时，能操作以执行根据本发明或上述任何实施方式的方法。

在根据本发明的实施方式中，一种系统可包括：一个或多个处理器；以及至少一个存储器，耦接至处理器并且包括可由处理器执行的指令，该处理器在执行指令时可操作以执行根据本发明或上述任何实施方式的方法。

在根据本发明的实施方式中，优选地包括计算机可读非暂时性存储介质的一种计算机程序产品，当在数据处理系统上执行时，该计算机程序产品可操作以执行根据本发明或上述任何实施方式的方法。

照相机校准系统通过模拟由照相机看到的对象并且将该对象与照相机机架系统的已知周围事物进行比较来共同校准照相机机架系统中的多个照相机。

照相机机架系统中的多个照相机可能没有根据预期设计目的的要求进行定位或定向，在这种情况下，照相机的实际位置及其与设计相比的相对旋转都是未知的。当结合由多个照相机捕获的图像时，这个问题可造成视觉伪像，例如，在两个照相机之间生成视图。照相机校准系统执行外部校准以校准照相机机架系统中的多个照相机。外部校准指的是照相机机架系统中的照相机之间的旋转和平移的校准，不同于照相机之间可能不同的颜色、曝光度和其他配置。

照相机校准系统可为照相机机架系统执行一轮或多轮校准。在一轮校准期间，多个照相机从由多个照相机提供的不同的透视图捕获放置在指定位置的一组测试对象的图像。所捕获的图像以及关于该组测试对象的详细信息(诸如，测试对象的位置、大小、形状、颜色和纹理)由照相机校准系统接收。照相机校准系统还获得有关捕获测试对象的图像的多个照相机的配置信息。配置信息包括每个照相机相对于多个照相机之中的其他照相机的位置和定向的度量。配置信息然后用于估计多个照相机的初始校准参数，诸如，旋转和平移。例如，照相机校准系统通过基于所接收的由多个照相机捕获的2D图像以及基于估计的有关多个照相机的校准参数计算3D模型的测量，来创建一个特定的测试对象的3D模型。

照相机校准系统与特定测试对象的已知信息相比评估所创建的3D模型。校准误差表示创建的3D模型与实际的测试对象多么相似，例如，就各种校准度量，诸如，位置、大小、形状、纹理以及测试对象的表面上的视觉上可区分的点的详细信息而言，创建的3D模型与已知的测试对象多么匹配。在一些实施方式中，校准度量还取决于测试对象的性质。例如，至于作为六面立方体的测试对象，不同面之间的垂直性和每个面的平面性是针对这个测试对象的两个校准度量。因此校准误差表示通过将计算的3D模型的校准度量与已知对象的校准度量进行比较来估计多个照相机的校准参数如何。例如，与实际的测试对象不匹配的3D模型可表示估计的多个照相机的校准参数不准确并且基于所估计的参数的校准是无效的，并且可以在下一轮外部校准中调整校准参数。

在一个实施方式中，使用以上描述的方法在一轮校准中一次仅共同校准照相机机架系统中的两个照相机。然后可共同校准每个相邻对的照相机直到在特定校准迭代中已经校准了所有的照相机组。在另一个实施方式中，可以使用以上描述的方法一次共同校准照相机机架系统中的多个不同的照相机或者所有照相机。可以迭代地执行校准直到校准误差不继续改善(即，最终的校准误差在迭代之间是相似的)。

在一个实施方式中，考虑到照相机机架系统中的每个照相机，照相机机架系统被放置在具有两个或更多个已知对象的已知环境中。在这个实例中，还可以由两个或更多个照相机观察每一个已知对象。以此方式，每个照相机的校准可以经由相同对象的连接视图链接到其他附近的照相机的校准。

为了校准照相机，照相机校准系统可使用照相机的校准参数的梯度下降函数。梯度下降函数通过调整减小校准误差的梯度中的校准参数，使模拟的3D对象和已知的测试对象之间的度量的差异的校准误差最小化。因为可以使用已知对象优化照相机，因此这个校准技术允许比先前方法更快且更可靠的校准。

附图说明

图1是根据一个实施方式的照相机校准系统在其中运行的系统环境的框图。

图2A是根据一个实施方式的照相机机架系统的立体图。

图2B是根据一个实施方式的图2A中示出的照相机机架系统的顶视图。

图2C是根据一个实施方式的校准期间的照相机机架系统的顶视图。

图3是根据一个实施方式的照相机校准系统的结构的框图。

图4示出了根据一个实施方式的来自尚未校准好的两个照相机的示例性图像。

图5示出了根据一个实施方式的用于照相机机架系统中的多个照相机的外部校准的示例性测试对象。

图6A和图6B示出了根据一个实施方式的由照相机机架系统中的两个不同的外围照相机捕获的测试对象的两个图像。

图7示出了根据一个实施方式的经由照相机校准系统进行的校准过程的示例性流程图。

附图仅出于说明性的目的描述了本发明的各种实施方式。本领域技术人员从以下讨论中容易认识到，在不偏离本文中描述的本发明的原理的情况下，可以采用本文中示出的结构和方法的可替换的实施方式。

具体实施方式

系统架构

图1是根据一个实施方式的照相机校准系统300在其中运行的系统环境100的框图。图1中示出的系统环境100包括照相机机架系统200、照相机校准系统300和客户端VR装置180。为了说明性的目的，在图1中仅示出了一个照相机机架系统200、一个照相机校准系统300和一个客户端VR装置180。在未示出的可替换的实施方式中，系统环境100可以包括多个照相机机架系统200、多个照相机校准系统300、多个客户端VR装置180以及不同的和/或其他部件。同样地，通过系统环境100中的各种实体执行的功能可在不同的实施方式中而不同。

照相机机架系统200是被设计成捕获局部区域的图像和/或视频的多照相机系统。局部区域是围绕照相机机架系统200的环境。例如，局部区域可以是照相机机架系统200被放置在其内的房间。由照相机机架系统200捕获的图像提供场景或对象的多个视图并且可用于创建用于客户端VR装置180的场景的画布视图。画布视图可以是通过结合来自照相机机架系统200中的多个照相机的多个视图而生成的场景的任何全景的、球形全景的、或者适当的广角视图。画布视图可为佩戴客户端VR装置180的用户模拟站立在照相机机架系统200的原点处的体验。如以下图2A至图2B中更充分描述的，照相机机架系统200包括多个外围照相机230、顶轴线照相机240和底轴线照相机。在一些实施方式中，通过照相机机架系统200中包括的照相机捕获的图像以及相关的图像数据被输出至照相机校准系统300以用于校准该组多个照相机。作为一个实例，照相机机架系统200捕获由照相机校准系统300已知的测试对象的图像以便共同校准照相机机架系统中的该组多个照相机。

照相机校准系统300从照相机机架系统200接收所捕获的图像并且为照相机机架系统中的该组多个照相机执行基于软件的照相机校准。照相机机架系统200可包含需要外部校准的各种失真。例如，照相机机架系统200中的该组多个照相机利用与预期制造配置的一些未知的差异而被定向，并且不同照相机之间的相对位置和定向可能与理想设计稍有不同。照相机校准系统300共同校准照相机机架系统200中的该组多个照相机并且为校准参数执行基于软件的校准以调整来自每个照相机的图像来考虑差异。

如以下更充分描述的，照相机校准系统300处理由照相机机架系统200捕获的已知的测试对象的图像并且识别用于照相机机架系统中的照相机的校准的初始校准参数(例如，旋转和平移)。更具体地，由照相机校准系统300生成测试对象的3D模型并且该3D模型与实际的测试对象的已知数据进行比较以评估校准参数并且为更精确的校准调整参数。经由照相机校准系统300的校准提供有关照相机机架系统200的更精确的信息，诸如，每个照相机相对于彼此的位置和定向。校准参数可用于改善从每个单独的照相机捕捉的图像的精度并且改善后续处理，例如，以生成用于客户端VR装置180的内容。

客户端VR装置180是向用户呈现媒体的头戴式显示器。更具体地，客户端VR装置180接收由照相机机架系统200提供的图像或视频并且将虚拟场景提供给佩戴客户端VR装置的用户。例如，客户端VR装置180向用户提供利用来自照相机机架系统200的捕获图像创建的视图的立体3D虚拟场景。

图2A至图2C示出了根据一个实施方式的照相机机架系统200的不同视图。具体地，图2A是根据一个实施方式的照相机机架系统200的立体图。如图2A所示，照相机机架系统200包括对准轴205、顶板210、底板220、多个外围照相机230和多个轴线照相机240。将多个外围照相机230布置为使得它们形成围绕由对准轴205平分的中心点的环。顶板210耦接至外围照相机230的环的顶表面并且底板220耦接至外围照相机230的环的底表面。轴线照相机240沿着对准轴205对准并且能够捕获局部区域或场景的顶视图和底视图。这个配置创建防止外围照相机230振动的刚性结构并且允许外围照相机捕获用于生成VR系统的360度图像/视频的质量图像和/或视频，其进一步允许外围照相机和轴线照相机一起生成VR系统的画布视图。更详细地，通过结合由顶轴线照相机240捕获的顶视图、由底轴线照相机(在此未示出)捕获的底视图、以及由多个外围照相机230捕获的侧视图来生成场景的画布视图。

在图2A中，为了说明性的目的，示出了14个外围照相机230以及包括顶轴线照相机240和底轴线照相机(在此未示出)的两个轴线照相机。在未示出的可替换的实施方式中，在照相机机架系统200中可包括不同数量的外围照相机230和/或轴线照相机240。同样地，在照相机机架系统200中可包括额外和/或不同的部件。另外，在不同的实施方式，由在图2A中示出的各种实体执行的功能可能不同。

更详细地，外围照相机230被设计成捕获局部区域或场景的360度视图的图像和/或视频。如上所述，多个外围照相机230被定位为使得它们形成围绕通过对准轴205平分的中心点的环。多个外围照相机230还围绕中心点定位为使得每个外围照相机的光轴在一平面内，并且每个外围照相机的视场面向远离中心点。如图2A所示，每个外围照相机230还以一定距离和一定角度紧挨着相邻的外围照相机定位。然而，由于制造和构造容差，每个照相机可能实际上相对于原始设计平移或旋转。针对每个照相机的校准参数可用于解释和校正该平移和旋转。

轴线照相机240被设计成捕获局部区域或场景的顶视图和底视图的图像和/或视频。每个轴线照相机240沿着对准轴205对准并且定向为使得每个轴线照相机的光轴与对准轴是共线。每个轴线照相机240的视场朝向远离照相机机架系统200的中心点。如图2A所示，顶轴线照相机240捕获局部区域或局部场景的顶视图。底轴线照相机(未示出)沿着对准轴205与顶轴线照相机240对称放置以捕获局部区域的底视图。顶轴线照相机和底轴线照相机240相对于外围照相机230竖直偏移以限制视场之间的重叠。作为一个实例，顶轴线照相机240和底轴线照相机可包括鱼眼镜头以捕获广视场。

图2B是根据一个实施方式的图2A中示出的照相机机架系统200的顶视图。图2B中示出的配置可用于照相机机架系统200的校准，特别地相对于外围照相机230A、230B和230C的校准。在图2B中，示出了对象275，并且为了说明性的目的，突出了外围照相机230A、230B和230C及其对应的观察区域260A、260B和260C。每个观察区域260示出了对应的外围照相机230的视场。例如，观察区域260A示出了外围照相机230A的视场，观察区域260B示出了外围照相机230B的视场，并且观察区域260C示出了外围照相机230C的视场。

如下所述，每个外围照相机230以一定距离和一定角度紧挨着相邻的外围照相机定位和定向，使得每两个相邻的外围照相机在它们的视场具有一定重叠。视场的重叠部分由图2B中的阴影区域表示。在一些实施方式中，多个外围照相机230被定位和定向为使得可以通过至少两个外围照相机看到与中心点为一定距离的局部区域中的任何对象。在图2A中示出的实例中，观察区域260A、260B和260C之间的区域是通过任何外围照相机230都不能观察到对象的盲点区域280并且阴影区域可以通过至少两个外围照相机看到。可以通过三个外围照相机230A、230B和230C观察到图2B中的对象275。视场可根据不同类型的外围照相机230而改变，并且针对不同照相机的视场的重叠区域还可以根据多个外围照相机的数量、位置和定向而改变。

对象275是具有已知特性(诸如，它的形状、对象上的任何标志、以及可通过外围照相机230观察到的其他特征)的对象。如以下进一步讨论的，对象275的不同视图可用于校准外围照相机230。使用对象275的已知特征，已知特征与经由不同视图确定的特征进行比较以评估针对每个外围照相机230识别的校准参数。在这个实例中，可以为外围照相机230A、230B和230C识别校准参数。

图2C是根据一个实施方式的在校准期间的照相机机架系统270的顶视图。照相机机架系统270共享在图2A至图2B中示出的照相机机架系统200的相似性质，但是具有不同数量的外围照相机295。更详细地，代替如图2A至图2B中示出的14个外围照相机230，图2C中示出的照相机机架系统270具有8个外围照相机295。如这个实例所示，8个照相机295A-295H各自具有对应的视场290A-290H。诸如照相机295A和295B的相邻的照相机具有已知对象275A-275H位于其中的重叠视场。以此方式，每个对象由至少两个照相机看到，并且每个照相机在其视场中包括至少两个对象。这允许每个照相机彼此共同校准，作为顺序的对(例如，295A-295B，然后295B-295C)或者共同为全组照相机校准。因此，每个对象275将每个照相机295的校准链接到观察到该对象的其他照相机295的校准，使得照相机机架系统总体上可以共同校准。

图3是根据一个实施方式的照相机校准系统300的架构的示例性框图。照相机校准系统300从照相机机架系统200接收输入，诸如，由照相机机架系统中的多个照相机捕获的图像和/或视频。例如，照相机校准系统300接收由照相机机架系统200捕获的测试对象的图像。照相机校准系统300还估计和识别校准参数，诸如，针对照相机机架系统200的外部校准的旋转和平移，并且利用计算的校准度量(诸如，测试对象的位置、大小、纹理和形状)生成测试对象的3D模型。照相机校准系统300就各种校准度量而言与实际的已知测试对象相比评估所生成的3D模型并且基于该比较调整照相机的校准参数。

更详细地，在图3中，照相机校准系统300包括界面模块322、估计模块324、3D模型生成模块326、评估模块328、图像数据储存器342、参数数据储存器344、3D数据储存器346和评估数据储存器348。在未示出的可替换的实施方式中，在照相机校准系统300中可包括额外和/或不同的部件。同样地，在不同的实施方式中，通过照相机校准系统300的各种实体执行的功能可不同。

界面模块322从照相机机架系统200和/或从客户端VR装置180接收输入。更具体地，界面模块322从照相机机架系统200接收图像和/或视频。例如，界面模块322可以接收由照相机机架系统200中的多个照相机捕获的局部区域或对象(例如，测试对象)的2D图像。界面模块322还可以接收与由照相机机架系统200捕获的图像相关的图像数据和/或视频数据。在一个实施方式中，如以下更充分描述的，界面模块322还可以接收有关测试对象的信息以用于将来计算。有关测试对象的示例性信息包括位置、大小、形状、颜色和纹理、以及有关测试对象上的特征的信息，诸如，对象上的视觉上可区分的点的视觉特征。

界面模块322还可以接收有关照相机机架系统200的配置信息以用于识别和估计照相机机架系统中包括的每个照相机的位置和定向。配置信息描述了照相机的原始或预期配置，诸如，它们彼此的关系。配置信息还可包括针对照相机的最大误差或校准并且反映照相机的制造容差。例如，配置信息可表示每个照相机应该是彼此水平平坦的，但是可以竖直变化±2cm并且以45度±2的角度分开。因此配置信息可以是用于照相机的校准的起始点，并且表示给定方向上的照相机的最大的校准参数。初始校准参数可以基于配置信息来确定。

在一个实施方式中，可以从照相机校准系统300的用户接收有关测试对象的信息和/或有关照相机机架系统200的配置信息。例如，用户将该信息经由界面模块322键入到照相机校准系统300中。例如，用户信息可反映构造的照相机机架系统200的测量数据。在另一个实施方式中，从与照相机校准系统300相关的另一个计算机服务器(在此未示出)接收该信息。所接收的图像和/或相关图像数据被存储在图像数据储存器342中，以备将来之用。所接收的有关测试对象的信息(例如，位置、大小、纹理、形状)和照相机机架系统200中的照相机的配置信息(诸如，每个照相机的位置和定向信息)被存储在参数数据储存器344中，以备将来之用。

界面模块322还可以从客户端VR装置180接收输入数据。例如，界面模块322接收有关提供至佩戴客户端VR装置180的用户的视图、图像和/或数据的反馈信息，并且响应于该反馈，向用户提供输出数据，例如，修改或更新的图像。

如上所述，界面模块322还将数据输出至照相机机架系统200和/或客户端VR装置180。至客户端VR装置180的输出数据可包括图像和/或视频。例如，界面模块322可为佩戴客户端VR装置180的用户提供生成的3D场景以用于虚拟体验。至照相机机架系统200的输出数据可以是对有关测试对象或有关不同的局部区域的更多图像的请求、或者是照相机机架系统的更新的校准参数。

估计模块324确定和估计用于照相机机架系统200的外部校准的参数。在一些实施方式中，参数是用于校准照相机机架系统200中的多个照相机的校准参数。更具体地，就位置和定向而言，每个外围照相机230具有表示外围照相机与其他外围照相机之间的关系的校准参数。至于每个外围照相机230，参数还表示它在照相机机架系统200中的实际位置和定向与设计的位置和定向(例如，在配置信息中指定的位置和定向)之间的关系。例如，外围照相机230可能没有如为该外围照相机设计所要求的地点放置或者所要求的方向定向，这使得由外围照相机拍摄的图像旋转或失真。作为一个实例，当一起应用以生成用于客户端VR装置180的图像时，由不同的外围照相机230捕获的图像可能造成复视。

至于每个外围照相机230，校准参数可包括旋转矩阵和平移矩阵，这些是用于多照相机系统的校准的建立良好的数据结构。更详细地，旋转矩阵可描述照相机的俯仰、滚转和偏航并且平移矩阵描述照相机的前向、侧向和竖直放置。在一些实施方式中，在照相机机架系统200的背景下，针对每个外围照相机230的参数是基于有关存储在参数数据储存器344中的外围照相机230的配置信息估计的。

可以针对一个外部校准一次识别和估计针对照相机机架系统200中包括的多个不同照相机的参数。例如，如下图7中更充分描述的，不管照相机机架系统中的其他照相机如何，可以一次估计照相机机架系统200中的两个外围照相机230的校准参数(例如，旋转和平移)，该参数对应于两个外围照相机的外部校准。在这个实例中，两个外围照相机230可以彼此相邻或者可以代替彼此相邻而定位在不同的位置。两个外围照相机230共享包括由两个照相机捕获的相同对象的重叠的观察区域或视场。另外，只要两个照相机在一轮中共同校准，则可以执行多轮外部校准以校准照相机机架系统200中的所有外围照相机230。例如，可以迭代地校准照相机。在每次迭代中，可以校准共享视场的每对照相机。在图2C的实例中，第一次迭代可使用对象275B校准照相机295A和295B，然后使用对象275C校准照相机295B和295C，诸如此类围绕照相机机架，直到使用对象275A校准照相机295H和295A。可以测量校准参数中的变化量作为校准误差，并且可以执行校准的额外迭代直到校准误差在阈值以下或者不再改善。

如另一实例，可在一次迭代中共同校准多个不同的外围照相机230，例如，照相机机架系统200中的所有外围照相机。校准参数还存储在参数数据储存器344中以备将来之用并且还可存储至照相机机架系统200。

3D模型生成模块326接收局部区域或对象的图像和/或图像数据以生成局部区域或对象的3D模型。如以下更充分描述的，局部场景或对象的3D模型是模拟该局部场景或对象的3D模型。作为一个实例，3D模型生成模块326基于由照相机机架系统200中的多个照相机捕获的2D图像生成测试对象的3D模型。更详细地，3D模型生成模块326从图像数据储存器342中提取测试对象的图像和/或图像数据并且从参数数据储存器344中提取照相机机架系统200的当前校准参数(例如，旋转和平移)。基于所接收的测试对象的2D图像以及估计的照相机机架系统200中的多个照相机的校准参数来创建测试对象的3D模型。有关生成的3D模型的数据包括有关测试对象的位置、大小、形状和纹理的信息，例如，3D模型上的视觉上可区分的点的详细信息。如上所述，数据还被认为是校准度量。如以下更充分描述的，数据被存储在3D数据储存器346中。

评估模块328评估所生成的3D模型以进一步调整和重新估计校准参数以使已知对象和3D模型的校准度量之间的误差最小化。评估模块328从3D数据储存器346中提取有关所生成的3D模型的数据并且从参数数据储存器344提取有关测试对象的已知数据。评估模块328将3D模型的校准度量与测试对象的已知度量进行比较以生成校准误差。如相对于图6A和图6B进一步讨论的，这些度量可包括位置、大小、形状、纹理和其他度量。评估模块328将有关所生成的3D模型的数据与有关实际的测试对象的已知数据进行比较以评估所生成的3D模型与实际的测试对象多么相似，例如，所生成的3D模型与各种度量中的实际的测试对象多么匹配。已知对象和3D模型之间的(如通过测量确定的)差异被称为校准误差。

与实际的测试对象良好相似或良好匹配的所生成的3D模型表示针对多个照相机的校准参数(例如，旋转和平移)接近于正确的并且有效地表示已知对象。

相反，与实际的测试对象不相似的所生成的3D模型表示照相机机架系统200的校准参数(例如，旋转和平移)不准确，并且针对所涉及的多个照相机的外部校准无效。例如，所创建的3D模型的形状可能与实际的测试对象不相同，或者为3D模型确定的纹理可能与实际的测试对象的对应部分不同。这些实例示出了校准参数(例如，旋转和平移)的估计可能不准确。在一些实施方式中，可以为校准误差设置阈值。例如，落入阈值内的校准误差可表示所生成的3D模型与实际的测试对象之间的匹配良好，并且落入阈值之外的校准误差可表示所生成的3D模型和实际的测试对象之间的匹配不良。

如上所述，评估模块328还基于所生成的测试对象的3D模型的评估来评估所估计的照相机机架系统200的校准参数。在一些实施方式中，基于当前估计的评估，在下一轮校准和3D模型生成中调整校准参数(例如，旋转和平移)。例如，当多个照相机的当前一轮的校准参数的评估具有高校准误差时，进一步表示当前校准不是非常有效的。在这个实例中，可以在下一轮校准中调整所涉及的多个相同的照相机的校准参数，并且在下一轮校准期间，基于由多个照相机在当前轮捕获的相同的2D图像生成相同的测试对象的新的3D模型。

在一个实施方式中，使用梯度下降函数或梯度下降算法调整校准参数。梯度下降函数可确定校准参数的调整如何调整3D模型的度量，并且调整校准参数以使3D模型的度量和对象的已知度量之间的差异最小化。梯度下降函数可基于校准参数的可能的变化重新计算3D模型，或者确定针对校准参数的各种调整，度量将如何，校准误差将如何改变。所生成的3D模型的评估结果以及更新的校准参数被存储在评估数据储存器348中。

图像数据储存器342存储特定对象或场景的2D图像和/或图像数据。作为一个实例，图像可示出相同的测试对象的多个视图并且这些图像由照相机机架系统200中的不同的照相机从不同的透视图捕获。图像数据可包括有关2D图像上的每个像素的信息，诸如，每个像素的强度、梯度和颜色。如上所述，存储在图像数据储存器322中的图像和图像数据用于3D模型生成模块326生成测试对象的3D模型。

参数数据储存器344存储有关测试对象的已知的数据。例如，参数数据储存器344存储测试对象的大小、形状、纹理和其他度量，并且可包括有关测试对象上的各个点或图案的精细信息。

参数数据储存器344还存储在照相机机架系统200中共同校准的多个照相机的配置信息和校准参数。

3D数据储存器346存储所生成的3D模型以及与所生成的3D模型相关的数据。如上所述，3D模型是局部场景或对象的3D图像。作为一个实例，利用存储在图像数据储存器342中的测试对象的2D图像生成测试对象的3D模型。与所生成的3D模型相关的数据可包括诸如由所涉及的多个照相机捕获的场景中的测试对象的大小、形状和位置的数据。

评估数据储存器348存储所生成的3D模型和校准参数的评估数据。如上所述，所生成的测试对象的3D模型的评估数据可表示反映3D模型与实际的测试对象有多么相似的校准误差。

图4示出了根据一个实施方式的来自尚未校准好的两个照相机的示例性图像430。在图4中，图像430A和图像430B由两个不同的外围照相机230A和230B捕获以从两个不同的透视图示出相同的对象。两个照相机230A和230B没有按照设计的进行定位或定向并且没有被共同校准。如图4所示，当混合两个图像430A和430B以为客户端VR装置180的用户创建视图时，由于两个照相机230A和230B的不准确的位置和定向而可能造成复视。

图5示出了根据一个实施方式的用于照相机机架系统200中的多个照相机的外部校准的示例性测试对象500。在图5中，测试对象500是具有应用于前面上的棋盘图案510的六面立方体。在图5中示出的实例中，棋盘图案510是5×5平方的棋盘图案。棋盘图案510的角用于所生成的3D模型的将来评估。在未示出的可替换的实施方式中，代替图5中示出的立方体，测试对象500可具有不同的类型或形状。

图6A和图6B示出了根据一个实施方式的由照相机机架系统200中的两个不同的外围照相机230捕获的测试对象500的两个图像600和650。如图6A和图6B所示，角512表示图5中示出的测试对象500的表面上的相同角。

在图5和图6A至图6B中示出的测试对象500的实例中，存在测量所生成的3D模型是否与实际的测试对象相似的几个方式。可以计算和比较这些度量以确定捕获图6A至图6B的照相机的校准参数的校准误差。作为一个实例，至于图5中示出的测试对象500，立方体的每两个面应该是垂直的，在这种情况下，可以检查所生成的测试对象的3D模型的每两个面是否彼此垂直。类似点积的数学计算可以用于检验所生成的3D模型的面是否彼此垂直。如另一实例，测试对象500的每个面应该是平面，在这种情况下，可以检验所生成的3D模型以检查它的每个面是不是平面。如又一实例，测试对象500的不同的侧面应该相对于彼此不旋转。在另一实例中，所生成的3D模型中的对象的面可与实际的测试对象的表面上的对应点进行比较以评估所生成的3D模型与实际的测试对象有多么匹配。换言之，可以将所生成的3D模型的面上的纹理与测试对象上的已知图案进行比较。在这个实例中，可以比较“棋盘”图案并且一个度量确定3D模型上的图案是不是方形图案，或者是否被翘曲。测试对象的这些各种方面中的每一个可用作评估所生成的3D模型是否与已知的测试对象一致的校准度量。

图7示出了根据一个实施方式的经由照相机校准系统300的校准过程的示例性流程图700。在图7中示出的示例性流程图中，照相机校准系统300中的两个或更多个照相机利用共同估计的两个或更多个照相机的参数进行共同校准。在未示出的可替换的实施方式中，照相机校准系统300中的多个不同的照相机或所有照相机可以使用与图7中示出的流程图700相似的过程进行共同校准。如上所述，校准可以是迭代的，并且在第一轮校准中校准相对于测试对象的两个或更多个照相机，然后在下一轮校准中使用从第一轮校准调整的校准参数来校准另一组照相机。

返回至图7，最初，照相机校准系统300接收710有关照相机机架系统200中的两个或更多个照相机的配置信息以用于校准。配置信息可包括有关与照相机机架系统200中的其他照相机相比的每个照相机的所设计或测量的相对位置和定向的信息。照相机校准系统300还接收720有关已知的测试对象的信息。该信息可包括已知的测试对象的各种校准度量。照相机校准系统还接收730由两个或更多个照相机捕获的已知的测试对象的2D图像。照相机校准系统300基于所接收的有关两个或更多个照相机的配置信息或者基于照相机的先前的校准参数识别740或估计照相机的初始校准参数，例如，照相机的旋转和平移信息。照相机校准系统300然后基于所接收的测试对象的2D图像和所识别的两个或更多个照相机的校准参数创建750测试对象的3D模型。照相机校准系统300基于测试对象的已知度量为所创建的测试对象的3D模型生成760评估报告。评估报告可表示创建的3D模型与实际的测试对象有多相似并且估计的参数(旋转和平移)有多好。照相机校准系统300基于评估报告调整770校准参数的估计。

其他配置信息

本发明的实施方式的上述描述仅出于说明的目的而呈现；并且不旨在是穷尽的或者将本发明局限于所公开的确切形式。相关领域技术人员应认识到，根据上述公开内容，可以做出多种修改和变化。

本说明书的一些部分从信息运算的算法和符号表示法的角度描述了本发明的实施方式。这些算法的描述和表示法通常由数据处理领域中的技术人员使用以将他们工作的实质有效地传达给本领域其他技术人员。尽管功能性、计算性或逻辑性地描述了这些操作，但这些操作应被理解为通过计算机程序或等效电路、微代码等来实现。此外，有时，把这些运算的安排称为模块也是方便的，并且不失其一般性。运算及其关联模块可体现在软件、固件、硬件或它们的任意组合中。

本文中描述的任何步骤、操作或过程可利用一个或多个硬件或软件模块单独或与其他装置组合执行或实现。在一个实施方式中，软件模块可利用计算机程序产品实施，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可由用于执行所描述的任何或所有步骤、操作或处理的计算机处理器执行。

本发明的实施方式还可涉及一种用于执行本文中的操作的设备。出于需要之目的，可特别构造该设备，和/或该设备可包括由存储在计算机中的计算机程序选择性激活或重新配置的通用计算装置。这种计算机程序可被储存在非暂时性的有形计算机可读存储介质中或者适用于存储电子指令的可耦接至计算机系统总线的任何类型的介质中。此外，本说明书中所提及的任何计算系统可包括单个处理器或者可以是采用多处理器设计以增强计算能力的结构。

本发明的实施方式还可以涉及由本文中所描述的计算过程生产的产品。这种产品可包括由计算过程产生的信息，其中，信息存储在非暂时性的有形计算机可读存储介质中并且可包括本文中描述的计算机程序产品或其他数据组合的任何实施方式。

最后，主要出于可读性和指导性之目的选择本说明书中使用的语言，并且选择其不是为了划定或者限制本发明的主题。因此，其目的在于，本发明的范围不受到该详细描述的限制，而是受到基于本文的申请发布的任何权利要求的限制。因此，本发明的实施方式的公开内容旨在是说明性的，而非限制在所附权利要求中阐述的本发明的范围。

Claims

1.一种用于校准照相机机架系统的方法，所述方法包括：

接收有关所述照相机机架系统中的多个照相机的配置信息，所述多个照相机共享它们各自视场中的测试对象所位于的重叠部分；

识别所述多个照相机的校准参数；

接收由所述多个照相机捕获的所述测试对象的多个图像，所述测试对象具有包括以下项中的至少一项的已知校准度量：位置、大小、纹理、形状以及所述测试对象上的视觉上能够区分的点的详细信息；

基于所识别的校准参数和所接收的多个图像创建所述测试对象的3D模型；

计算反映所创建的所述测试对象的3D模型的校准度量与所述测试对象的所述已知校准度量之间的差异的校准误差；

修改所述多个照相机的所述校准参数以减小所述校准误差；并且

执行校准的额外迭代直到所述校准误差在校准误差阈值以下。

2.根据权利要求1所述的方法，其中，至于所述多个照相机之中的每个照相机，所述配置信息包括相对于所述多个照相机之中的其他照相机的位置和定向。

3.根据权利要求1所述的方法，其中，所述校准参数包括对于所述多个照相机中的每个照相机的旋转和平移信息。

4.根据权利要求1所述的方法，其中，所述照相机机架系统中的所述多个照相机是所述照相机机架系统中的两个照相机。

5.根据权利要求1所述的方法，其中，所述照相机机架系统包括多个照相机和多个已知对象，其中，每个已知对象由至少两个照相机观察并且每个照相机观察至少两个已知对象。

6.根据权利要求5所述的方法，其中，校准成对的照相机。

7.根据权利要求5所述的方法，其中，所述多个照相机被共同校准以使每一个照相机的校准误差最小化。

8.一种存储用于校准照相机机架系统的计算机程序指令的非暂时性计算机可读存储介质，所述计算机程序指令在由计算机处理器执行时使所述处理器执行以下步骤：

识别所述多个照相机的校准参数；

9.根据权利要求8所述的非暂时性计算机可读存储介质，其中，至于所述多个照相机之中的每个照相机，所述配置信息包括相对于所述多个照相机之中的其他照相机的位置和定向。

10.根据权利要求8所述的非暂时性计算机可读存储介质，其中，所述校准参数包括对于所述多个照相机中的每个照相机的旋转和平移信息。

11.根据权利要求8所述的非暂时性计算机可读存储介质，其中，所述照相机机架系统中的所述多个照相机是所述照相机机架系统中的两个照相机。

12.根据权利要求8所述的非暂时性计算机可读存储介质，其中，所述照相机机架系统包括多个照相机和多个已知对象，其中，每个已知对象由至少两个照相机观察并且每个照相机观察至少两个已知对象。

13.根据权利要求12所述的非暂时性计算机可读存储介质，其中，成对的照相机被校准。

14.根据权利要求12所述的非暂时性计算机可读存储介质，其中，所述多个照相机被共同校准以使每一个照相机的校准误差最小化。