CN108364252A - 一种多鱼眼镜头全景相机的矫正和标定方法 - Google Patents

Abstract

本发明提供了一种多鱼眼镜头全景相机的矫正和标定方法，包括以下步骤：在步骤S1中，建立多鱼眼镜头全景相机的用于矫正和标定的标定场；在步骤S2中，获取多鱼眼镜头中每个鱼眼镜头的图像；在步骤S3中，对获取的每个鱼眼镜头的图像进行球面投影矫正；在步骤S4中，对球面投影矫正后的图像进行标定；在步骤S5中，对矫正后的图像的内部参数和外部参数进行优化；在步骤S6中，得到所需的不同鱼眼镜头之间的姿态变换。

Description

一种多鱼眼镜头全景相机的矫正和标定方法

技术领域

本发明涉及计算机图像处理领域，具体涉及光学图像的计算机处理。更具体而言，本发明涉及利用多鱼眼镜头全景相机进行全景图像拼接的矫正和标定方法。

背景技术

现有的普通相机的视场角小，通常小于100度，而且观测范围有限，限制了其对周围360环境同时进行观测的应用。而鱼眼镜头视场角可以达到180度及以上，可以利用两个及其以上的鱼眼镜头进行同步拍摄达到全景的效果。

目前，现有的图像畸变矫正技术通常利用平面透视投影约束，由三维空间中的直线映射到二维平面中，其适用于视场角小，畸变量小的图像。但是，鱼眼镜头所拍摄的图像却不满足该约束规则，因为它将所观测的物体投影到球面上。所以，如何得到鱼眼镜头的球面投影映射关系，并建立鱼眼镜头的非常规成像模型，就显得尤为重要。

目前，全景相机通常由2个180度的鱼眼镜头构成，由于这种相机视野重叠区不足，会导致在看两个镜头的拼接处出现明显的错位或扭曲。利用更多个(多于2个)的鱼眼镜头，可以在一定程度上解决错位或扭曲问题，但是，也会存在如何对多个镜头进行精确的相对姿态的估计的问题。

因此，随着技术和应用场合的发展和变化，本领域中急需针对多鱼眼镜头全景相机的矫正和标定提供改进的方法，以克服现有技术中的以上技术缺陷，以及其它技术问题。

本发明的说明书的此背景技术部分中所包括的信息，包括本文中所引用的任何参考文献及其任何描述或讨论，仅出于技术参考的目的而被包括在内，并且不被认为是将限制本发明范围的主题。

发明内容

鉴于以上所述以及其它更多的构思而提出了本发明。本发明旨在解决以上的技术缺陷和其它的技术问题。

本发明构建了一套完整的对多鱼眼镜头组合的全景相机进行图像矫正及空间位置估计的系统与方法。

更精确地说，本发明提供了在存在光学靶标的自然环境下矫正全景相机的多个鱼眼镜头的图像畸变，并估算不同鱼眼镜头之间的空间相对位置关系的一套完整系统与方法。

根据本发明的一方面，本发明提出，例如，在人工布置的室内标定场内，获取多路如四路同步拍摄的图像，并利用本发明的鱼眼镜头投影模型对镜头的畸变参数进行计算，进行矫正。之后，利用已经矫正过的四组图像在特殊布置的标定场内进行精确的内外部参数进行估算(其中例如包括镜头的焦距和主焦点以及镜头之间的旋转变换与平移变换)，从一组2D点的映射中估计物体的3D姿态。

在图像矫正环节，由于鱼眼镜头的前镜片直径很短且呈抛物状向镜头前部凸出而造成它拍摄的图像最终映射到一个单位球体中，所以，鱼眼镜头在感光元件上的成像与普通得针孔成像有着巨大区别。所以在该图像矫正环节，本发明设计以一种多项式拟合的方法，经过自动角点提取，多项式拟合，最小投影误差优化等步骤之后，就可以将已经被投影在球体上变成圆弧的空间直线强行矫正为其原始状态，而使其矫正为符合小孔成像原理的图像。

在图像标定环节，根据本发明图1-2所示的一种四个鱼眼镜头，由于其原件制造精度，镜头安装精度等存在误差，任意两个相邻鱼眼镜头之间的夹角并不是理想的120度。因此，如何精确估计出镜头间的姿态(外部参数的一种)变换，是后期避免在拼接缝处出现明显错位的关键。本发明在人工布置特定的标定场内，利用对极约束条件，仅利用极少的匹配点便可以得到精确的姿态估算。

更具体而言，根据本发明，提供了一种多鱼眼镜头全景相机的矫正和标定方法，包括以下步骤：在步骤S1中，建立多鱼眼镜头全景相机的用于矫正和标定的标定场；在步骤S2中，获取多鱼眼镜头中每个鱼眼镜头的图像；在步骤S3中，对获取的每个鱼眼镜头的图像进行球面投影矫正；在步骤S4中，对球面投影矫正后的图像进行标定；在步骤S5中，对矫正后的图像的内部参数和外部参数进行优化；在步骤S6中，在步骤S6中，通过对内部参数和外部参数的标定，得到所需的鱼眼镜头两两之间的位置信息(姿态变换)。

根据本发明的一实施例，所述外部参数是表征多鱼眼镜头全景摄像机的各鱼眼镜头之间的位置关系的外部参数。

根据本发明的一实施例，所述外部参数是鱼眼镜头的位置估计参数，如鱼眼镜头位置的旋转变换和平移变换关系。

根据本发明的一实施例，所述鱼眼镜头的数量是2、3、4、5、6、7、8或更多个。

根据本发明的一实施例，在步骤S4中对球面投影矫正后的图像进行标定包括，对鱼眼镜头的内、外部参数进行估计。

根据本发明的一实施例，所述步骤S5中的所述优化是非线性LM优化。

根据本发明的一实施例，所述标定场是室内光学靶标。

可定义相机的三大坐标系：世界坐标系，相机坐标系和图像坐标系。图像坐标系是以图像左上角为原点建立以像素为单位的直接坐标系。相机坐标系是以相机光心为原点，X，Y轴分别于图像坐标系X，Y轴相平行的坐标系。世界坐标系为了描述相机的位置而被引入的，即为在整个三维空间下的空间坐标系。根据本发明的一实施例，在所述矫正步骤S3中：

对获取的每个鱼眼镜头的图像进行自动化Harris角点检测，检测出棋盘格中所有的棋盘格角点和图像预设值的X，Y坐标轴及坐标原点；

在世界坐标系下提供点P(x，y，z)，P点在相机坐标系下投影为P′(u′，v′)，在图像坐标系下投影为P′(u′，v′)，且设u′＝[u′，v′]，则有三维空间点投影到鱼眼镜头图像坐标系的投影映射关系为：

其中f(u′，v′)为校正函数，f(u′，v′)＝a₀+a₁ρ+...+a_Nρ

其中a_i，i＝0，1，2，...N，为畸变参数，ρ＞0为点坐标到传感器轴的距离；和

用线性估计方法来迭代计算求解每一个图像的中心坐标，并与原始图像的初始化中心位置相比较，进行误差估计。

根据本发明的一实施例，在所述步骤S4和S5中：

在世界坐标系下提供点P(x，y，z)，将世界坐标系构建在Z＝0的平面上，则有P点到点P′的映射为

其中A为鱼眼镜头的内部参数，[r₁ r₂ r₃ t]等效为[R t]，表示世界坐标系与图像坐标系之间的位置转换关系，R表示3×3的正交旋转矩阵，t表示三维平移向量，H为单应性矩阵；

求解内部参数矩阵A，由单应性矩阵H＝[h₁ h₂ h₃]＝A[r₁ r₃ t]，导出以下两个等式

通过上述两个等式联合求解，得到不同鱼眼镜头的内部参数；

利用已经求得的内部参数，来估计鱼眼镜头的外部参数；和

对鱼眼镜头的内部参数和外部参数同时进行非线性LM优化，最小化重投影误差，从而使镜头位置的旋转和平移变换更加精确。

根据本发明的一实施例，所述矫正步骤S3包括：

对所述多个鱼眼镜头获取的待校正的图像进行自动角点检测；

利用自动检测的角点作为控制点，通过多项式球形投影模型对所述多个鱼眼镜头进行校准；

代用线性的方法迭代求出每一个图像的中心位置，并相对原图像设置的中心位置坐标进行进一步的迭代精准校正。

根据本发明的一实施例，所述外参标定步骤S4包括，计算图像的单应性矩阵；对任意两个鱼眼镜头进行空间参考点匹配后进行鱼眼镜头两两之间位置变换的估计。

根据本发明的一实施例，所述内部参数包括下列中的至少一项：相机的焦距、像素大小、鱼眼镜头的X、Y轴的等效焦距、主焦点位置，和坐标轴的倾斜度。

本发明的更多实施例还能够实现其它未一一列出的有利技术效果，这些其它的技术效果在下文中可能有部分描述，并且对于本领域的技术人员而言在阅读了本发明后是可以预期和理解的。

本发明内容部分旨在以简化的形式引入将在“具体实施方式”中如下文进一步描述的构思和选择，以帮助阅读者更易于理解本发明。本发明内容并非旨在识别所要求保护的主题的关键特征或基本特征，也并非旨在用于限制所要求保护的主题的范围。所有的上述特征都将被理解为只是示例性的，并且可以从本发明公开中收集关于结构和方法的更多的特征和目的。对本发明的特征、细节、实用性以及优点的更全面的展示，将在以下对本发明的各种实施例的书面描述中提供，在附图中图示，并且在所附权利要求中限定。因此，如果不进一步阅读整个说明书以及权利要求书及附图，则无法理解对本发明内容的诸多限制性解释。

附图说明

通过参考下文的描述连同附图，这些实施例的上述特征和优点及其他特征和优点以及实现它们的方式将更显而易见，并且可以更好地理解本发明的实施例，在附图中：

图1图示了四个鱼眼镜头组成的全景相机的几何外观结构的侧视图。

图2图示了四个鱼眼镜头组成的全景相机的几何外观结构的俯视图。

图3图示了根据本发明一实施例的全景相机的矫正和标定的具体流程图。

图4图示了自动矫正模块具体实施方法。

图5图示了根据本发明一实施例的外部参数标定具体实施方法。

具体实施方式

在以下对附图和具体实施方式的描述中，将阐述本发明的一个或多个实施例的细节。从这些描述、附图以及权利要求中，可以清楚本发明的其它特征、目的和优点。

应当理解，所图示和描述的实施例在应用中不限于在以下描述中阐明或在附图中图示的构件的构造和布置的细节。所图示的实施例可以是其它的实施例，并且能够以各种方式来实施或执行。各示例通过对所公开的实施例进行解释而非限制的方式来提供。实际上，将对本领域技术人员显而易见的是，在不背离本发明公开的范围或实质的情况下，可以对本发明的各实施例作出各种修改和变型。例如，作为一个实施例的一部分而图示或描述的特征，可以与另一实施例一起使用，以仍然产生另外的实施例。因此，本发明公开涵盖属于所附权利要求及其等同要素范围内的这样的修改和变型。

同样，要理解到，本文中所使用的词组和用语是出于描述的目的，而不应当被认为是限制性的。例如，本文中的“包括”、“包含”或“具有”及其变型的使用，旨在开放式地包括其后列出的项及其等同项以及附加的项。除非另有限制，否则，本文中的用语“连接”、“联接”及其变型广泛地使用，并且包含直接和间接的机械和/或电气的连接、联接。另外，用语“内部参数”和“外部参数”有时候简称为“内参”和“外参”。用语“校正”、“校准”与“矫正”是可互换使用的。用语“鱼眼镜头”和“鱼眼相机”是本发明中是可互换地使用的，而用语“全景相机”指的是包含多个“鱼眼镜头(相机)”的全景相机或全景摄像机整体，并且在本申请中的“全景摄像机”、“全景相机”可以互换地使用。

另外，“鱼眼镜头”应该以本领域的技术人员的角度作最宽泛的理解，它包括视角接近或等于180°的能够适应于本发明的任何类型的广角镜头。

下面将参考本发明的若干具体实施例结合附图对本发明的多鱼眼镜头全景摄像机的矫正和标定方法进行更详细的阐释与说明。

本发明以四个视场角为180度的鱼眼镜头组成的全景相机为例来进行说明。图1图示了这种四个视场角为180度的鱼眼镜头组成的全景相机的几何外观结构的侧视图。图2图示了该四个鱼眼镜头组成的全景相机的几何外观结构的俯视图。

如图1和图2所示，为了使四个鱼眼镜头之间有足够多、或者说尽量多的重叠视角，根据一优选实施例将全景相机的四个鱼眼镜头布置为图1所示，其中，该四个鱼眼镜头分别布置在三角棱锥的四个面中心，并且每两个相邻的鱼眼镜头之间的夹角为120度。在具有这种鱼眼镜头布置的全景相机中，可由内部硬件来控制四个鱼眼镜头(或称为“鱼眼相机”)进行同步拍摄，从而可以满足对周围360度环境同时进行拍摄照片及摄影的需求。

图3图示了根据本发明一实施例的全景相机的矫正和标定的具体实施例的流程图。根据本发明的一个实施例，结合例如上图1-2所示的四个鱼眼镜头组成的全景相机，对该全景相机进行校正和标定的方法进行如下描述。

如图1-3所示，在步骤S1中，建立全景相机的矫正和标定的靶标场(标定场)。

在步骤S2中，同时获取(拍摄)四个鱼眼镜头的图像。

在步骤S1，S2之后，在步骤S3中，对鱼眼镜头采集的图像进行优选的球面投影矫正。

在步骤S4中，对矫正后的图像进行标定操作。例如，优选对鱼眼镜头的内、外部参数进行估计。

在步骤S5中，对矫正后的图像的内部参数和外部参数(例如图像姿态估计参数)进行优化，优选同时进行捆绑优化。

最后，在步骤S6中，得到所需的在不同鱼眼镜头之间的位置变换。

以下对矫正步骤S3进行更详细的说明。

图4图示了自动矫正模块的一个具体实施例。如图4所示，例如，在矫正步骤S3中，利用一种多项式参数校正的方法，克服了鱼眼镜头由于球面投影不能适用于普通的小孔成像模型的缺点。

进一步而言，在该实例中，首先，可分别读入例如四个鱼眼镜头的待校正的图像，然后可对该四个鱼眼镜头的待校正的图像进行自动角点检测，这种自动检测功能弥补了现有的角点检测技术中需要人工标注的缺点，同时可以节省校正图像所用的时间。之后，可再利用自动检测的角点作为控制点，通过多项式球形投影模型对鱼眼镜头进行校准。最后，可代用线性的方法迭代求出每一个图像的中心位置，并相对原图像设置的中心位置坐标进行进一步的迭代精准校正，从而计算出四个鱼眼镜头的例如焦距、主焦点等内部参数。

可定义相机的三大坐标系：世界坐标系，相机坐标系和图像坐标系。图像坐标系是以图像左上角为原点建立以像素为单位的直接坐标系。相机坐标系是以相机光心为原点，X，Y轴分别于图像坐标系X，Y轴相平行的坐标系。世界坐标系为了描述相机的位置而被引入的，即为在三维空间下的空间坐标系。

举例而言，在该实例中，如下所述。

通过四个鱼眼镜头分别获取对标定板的不同姿态的图像。

对所有图像进行自动化Harris角点检测，检测出棋盘格中所有的棋盘格角点和图像预设值的X，Y坐标轴及坐标原点。

在世界坐标系下设定点P(x，y，z)，其中P点在相机坐标系下投影为P′(u′，v′)，在图像坐标系下投影为P′(u′，v′)，且设u′＝[u′，v′]，则三维空间点P′投影到鱼眼镜头图像坐标系的投影映射关系为：

其中f(u′，v′)为校正函数，f(u′，v′)＝a₀+a₁ρ+...+a_Nρ

其中a_i，i＝0，1，2，...N，为畸变参数，ρ＞0为点坐标到传感器轴的距离

可用线性估计方法来迭代计算求解每一张图像的中心坐标，并与原始图像的中心坐标初始值相比较，进行误差估计。

以下结合具体实施例对本发明的标定步骤S4进行更详细的说明。

图5图示了根据本发明一实施例的对由多个鱼眼镜头组成的全景相机的图像姿态标定的方法的具体实施例。如图5所示，公开了对由多个鱼眼镜头组成的全景相机进行标定的一种方法步骤S4。可在布置鱼眼镜头标定场后，计算图像的单应性矩阵；对任意两个鱼眼镜头进行空间参考点对准，并根据相匹配的图像坐标点进行外部参数(例如姿态)优化；最后，计算出不同鱼眼镜头之间的姿态变换R和T。

举例而言，它可通过例如以下具体步骤来实现：

将世界坐标系构建在Z＝0的平面上，则有P点到P′点的映射为

其中A为鱼眼镜头的内部参数，其可包括镜头的X、Y轴的等效焦距、主点位置，相对于坐标轴的倾斜度等等参数；{r₁ r₂ r₃ t]等效为[R t]，表示世界坐标系与图像坐标系之间的位置转换关系，其中R表示3×3的正交旋转矩阵，t表示三维平移向量，H为单应性矩阵。

求解内部参数矩阵A：

由单应性矩阵H＝[h₁ h₂ h₃]＝A[r₁ r₂ t]，可导出以下两个等式

联合求解，即可得到不同鱼眼镜头的内部参数。

可利用已经求得的内部参数，来估计鱼眼镜头的镜头姿态。对于有着相似空间参考点的不同图像，进行求解单应矩阵，获取镜头的旋转和平移变换关系。

可对鱼眼镜头的内部参数和外部参数同时进行非线性LM优化，最小化重投影的误差，从而使镜头的姿态的旋转和平移变换更加精确。

出于说明的目的而提出了对本发明的对若干个实施例的前文描述。所述前文描述并非意图是穷举的，也并非将本发明限于所公开的精确步骤和/或形式，显然，根据上文的教导，可作出许多修改和变型。本发明的范围和所有的等同者旨在由所附权利要求限定。

以上结合附图针对本发明的多鱼眼镜头全景相机的矫正和标定方法的具体实施例进行了详细的描述。但是，本领域技术人员应当理解，以上所述仅仅是举例说明和描述一些具体实施方式，对本发明的范围并不具有任何限制。本发明的范围仅由所附权利要求来限定。

Claims (10)

1.一种多鱼眼镜头全景相机的矫正和标定方法，包括以下步骤：

在步骤S1中，建立多鱼眼镜头全景相机的用于矫正和标定的标定场；

在步骤S2中，获取多鱼眼镜头全景相机中每个鱼眼镜头的图像；

在步骤S3中，对获取的每个鱼眼镜头的图像进行球面投影矫正；

在步骤S4中，对球面投影矫正后的图像进行标定；

在步骤S5中，对矫正后的图像的内部参数和外部参数进行优化；和

在步骤S6中，通过对内部参数和外部参数的标定，得到所需的鱼眼镜头两两之间的位置信息。

2.根据权利要求1所述的矫正和标定方法，其中，所述内部参数是与相机自身特性相关的参数。

3.根据权利要求1所述的矫正和标定方法，其中，所述外部参数是表征多鱼眼镜头全景摄像机的各鱼眼镜头之间的位置关系的外部参数。

4.根据上述权利要求中任一项所述的矫正和标定方法，其中，在步骤S4中对球面投影矫正后的图像进行标定包括，对鱼眼镜头的内、外部参数进行估计。

5.根据上述权利要求中任一项所述的矫正和标定方法，其中，在所述矫正步骤S3中：

对获取的每个鱼眼镜头的图像进行自动化Harris角点检测，检测出棋盘格中所有的棋盘格角点和图像预设值的X，Y坐标轴及坐标原点；

在世界坐标系下提供点P(x，y，z)，P点在相机坐标系下的投影为P′(u′，v′)，在图像坐标系下的投影为P′(u′，v′)，且设则有三维空间点投影到鱼眼镜头图像坐标系的投影映射关系为：

其中f(u′，v′)为校正函数，f(u′，v′)＝a₀+a₁ρ′+...+a_Nρ′

其中a_i，i＝0，1，2，...N，为畸变参数，ρ′＞0为点坐标到传感器轴的距离；和

用线性估计方法来迭代计算求解每一个图像的中心坐标，并与原始图像中心位置初始值相比较，进行误差估计。

6.根据上述权利要求中任一项所述的的矫正和标定方法，其中，在所述步骤S4和S5中：

在世界坐标系下提供点P(x，y，z)，将世界坐标系构建在Z＝0的平面上，则P点到点P′的映射为

其中A为鱼眼镜头的内部参数，[r₁ r₂ r₃ t]等效为[R t]，表示世界坐标系与图像坐标系之间的位置转换关系，R表示3×3的正交旋转矩阵，t表示三维平移向量，H为单应性矩阵；

求解内部参数矩阵A，由单应性矩阵H＝[h₁ h₂ h₃]＝A[r₁ r₂ t]，导出以下两个等式

通过上述两个等式联合求解，得到不同鱼眼镜头的内部参数；

利用已经求得的内部参数，来估计鱼眼镜头的外部参数；和

对鱼眼镜头的内部参数和外部参数同时进行非线性LM优化，最小化重投影误差，从而使镜头的相对位置变换求解更加精确。

7.根据上述权利要求中任一项所述的矫正和标定方法，其中，所述矫正步骤S3包括：

对多个鱼眼镜头获取的待校正的图像进行自动角点检测；

利用自动检测的角点作为控制点，通过多项式球形投影模型对所述多个鱼眼镜头进行校准；

代用线性的方法迭代求出每一个图像的中心位置，并相对原图像设置的中心位置坐标进行进一步的迭代精准校正。

8.根据上述权利要求中任一项所述的矫正和标定方法，其中，所述外参标定步骤S4包括，计算图像的单应性矩阵；对任意两个鱼眼镜头进行空间参考点匹配后计算鱼眼镜头两两之间的位置变换矩阵。

9.根据上述权利要求中任一项所述的矫正和标定方法，其中，所述内部参数包括下列中的至少一项：相机的焦距、像素大小、鱼眼镜头的X、Y轴的等效焦距、主焦点位置，和坐标轴的倾斜度。

10.上述权利要求中任一项所述的矫正和标定方法，其中，所述外部参数包括鱼眼镜头位置的旋转变换和平移变换中的至少一项。