CN102982548B - 多目立体视频采集系统及其相机参数标定方法 - Google Patents

Abstract

本发明提出一种多目立体视频采集系统及其相机参数标定方法。其中，方法包括以下步骤：获取系统中各个相机的内外参数；通过各个相机在同一时刻采集普通场景的多视点图像，对多视点图像进行特征点检测和匹配获取各视点图像间的匹配点；利用相机参数重构获取各视点图像间的匹配点的三维空间点云坐标；根据三维空间点云坐标和相机的内外参数利用稀疏捆集调整优化获得重投影误差，并优化重投影误差和相机的内外参数；根据优化后重投影误差判断是否进行二次优化；以及根据二次优化结果判断是否进行参数的重新标定。根据本发明实施例的方法，采用了特征点检测、匹配以及稀疏捆集调整优化，避免了繁琐的相机参数标定，从而提高了立体视频的采集效率。

Description

多目立体视频采集系统及其相机参数标定方法

技术领域

本发明涉及计算机图像处理领域，特别涉及一种多目立体视频采集系统及其相机参数标定方法。

背景技术

随着技术的进步，可以提供多视角和高质量的视频信息，由此多目立体视频采集越发成为高质量立体视频片源的主要生成方式。

传统的相机参数标定、标定过程要采集多帧不同姿势的辅助标定物的多视点图像，且每帧多视点图像都要见到足够大区域的辅助标定物，标定受限多，过程繁琐，系统使用难度大。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为达到上述目的，本发明一方面的实施例提出一种多目立体视频采集系统的相机参数标定方法，包括以下步骤：S1：获取多目立体视频采集系统中各个相机的内外参数，并存储和二次备份所述各个相机的内外参数；S2：通过所述各个相机在同一时刻采集普通场景的多视点图像，对所述多视点图像进行特征点检测和匹配获取各视点图像间的匹配点；S3：根据所述相机的内外参数和所述各视点图像间的匹配点坐标，利用增量式的由运动恢复结构的算法得到所述各视点图像间的匹配点的三维空间点云坐标；S4：根据所述三维空间点云坐标和所述相机的内外参数获得重投影误差，并利用稀疏捆集调整优化所述重投影误差和所述相机的内外参数；S5：判断所述优化后的重投影误差是否小于预设的误差阈值，如果是，则输出所述优化后的相机的内外参数，如果否，则更新存储参数为二次备份参数,并返回步骤S3进行二次优化；以及S6：判断所述二次优化后的重投影误差是否小于所述预设的误差阈值，如果是，则输出所述二次优化后的相机的内外参数，如果否，则提示重新标定所述相机的内外参数并更新存储。

根据本发明实施例的方法，采用了特征点检测、匹配以及稀疏捆集调整优化，避免了繁琐的相机参数标定，从而提高了立体视频的采集效率。

本发明的一个实例中，所述步骤S3包括：从所述多视点图像中选择初始图像对，其中所述初始图像对含有预定数目的不满足任何单应关系的匹配点；利用三角化算法对所述初始图像对间的匹配点进行三维空间点云重建；利用稀疏捆集调整优化所述三维空间点云和所述相机的内外参数；逐步向优化后的三维空间点云重建结果中加入剩余的多视点图像直至所述多视点图像全部加入重建结果中，以便获得各视点图像间匹配点的三维空间点云坐标。

本发明的一个实例中，所述三角化算法通过以下公式获得各视点图像间匹配点的三维空间点云坐标：

$\left\{\begin{array}{c}{P}_1{X}_i=x_{1i}\\ P_2{X}_i=x_{2i}\end{array}\right.,i=1,\·\·\·,N$

其中，P₁和P₂表示所述初始图像对的投影矩阵，{x_1i，x_2i}，i＝1,…,N表示所述图像对间的匹配点，X_i表示所述各视点图像间匹配点的三维空间点云坐标。

本发明的一个实例中，所述步骤S4进一步包括：S41：将所述三维空间点云坐标通过所述相机的内外参数进行投影得到投影点；S42：计算所述投影点与所述各视点图像间的匹配点的距离得到重投影误差；以及S43：利用稀疏捆集调整算法优化所述重投影误差和所述相机的内外参数。

为达到上述目的，本发明的实施例另一方面提出一种多目立体视频采集系统，包括：获取模块，用于获取多目立体视频采集系统中各个相机的内外参数，并存储和二次备份所述各个相机的内外参数；检测匹配模块，用于通过所述各个相机在同一时刻采集普通场景的多视点图像，对所述多视点图像进行特征点检测和匹配获取各视点图像间的匹配点；点云模块，用于根据所述相机的内外参数和所述各视点图像间的匹配点坐标，利用增量式的由运动恢复结构的算法得到所述各视点图像间的匹配点的三维空间点云坐标；优化模块，用于根据所述三维空间点云坐标和所述相机的内外参数获得重投影误差，并利用稀疏捆集调整优化所述重投影误差和所述相机的内外参数；第一判断模块，用于判断所述优化后的重投影误差是否小于预设的误差阈值，如果是，则输出所述优化后的相机的内外参数，如果否，则更新存储参数为二次备份参数,并返回步骤S3进行二次优化；以及第二判断模块，用于判断所述二次优化后的重投影误差是否小于所述预设的误差阈值，如果是，则输出所述二次优化后的相机的内外参数，如果否，则提示重新标定所述相机的内外参数并更新存储。

根据本发明实施例的多目立体视频采集系统，采用了特征点检测、匹配以及稀疏捆集调整优化，避免了繁琐的相机参数标定，从而提高了立体视频的采集效率。

本发明的一个实例中，所述点云计算模块包括：选择单元，用于从所述多视点图像中选择初始图像对，其中所述初始图像对含有预定数目的不满足任何单应关系的匹配点；重建单元，用于利用三角化算法对所述初始图像对间的匹配点进行三维空间点云重建；第一优化单元，用于利用稀疏捆集调整优化所述三维空间点云和所述相机的内外参数；以及第二优化单元，用于逐步向优化后的三维空间点云重建结果中加入剩余的多视点图像直至所述多视点图像全部加入重建结果中以便获得所述各视点图像间匹配点的三维空间点云坐标。

本发明的一个实例中，所述三角化算法通过以下公式获得各视点图像间匹配点的三维空间点云坐标：

$\left\{\begin{array}{c}{P}_1{X}_i=x_{1i}\\ P_2{X}_i=x_{2i}\end{array}\right.,i=1,\·\·\·,N$

其中，P₁和P₂表示所述初始图像对的投影矩阵，{x_1i，x_2i}，i＝1,…,N表示所述图像对间的匹配点，X_i表示所述各视点图像间匹配点的三维空间点云坐标。

本发明的一个实例中，所述优化模块包括：投影单元，用于将所述三维空间点云坐标通过所述相机的内外参数进行投影得到投影点；计算单元，用于计算所述投影点与所述各视点图像间的匹配点的距离得到重投影误差；以及第三优化单元，用于利用稀疏捆集调整算法优化所述重投影误差和所述相机的内外参数。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的多目立体视频采集系统的相机参数标定方法的流程图；

图2为根据本发明一个实施例的多目立体视频采集系统的结构框图；以及

图3为图2中的点云计算模块的一个实施例的结构框图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

图1为本发明实施例的自标定技术的多目立体视频采集方法的流程图。如图1所示，根据本发明实施例的自标定技术的多目立体视频采集方法，包括以下步骤：

S101，获取多目立体视频采集系统中各个相机的内外参数，并存储和二次备份各个相机的内外参数。

具体地，通过卯合螺丝等方式将相机固定在支架上搭建稳固的多目相机系统，以保证该系统的各个相机的相对位置尽量保持不变。然后根据该系统利用标定板标定方法获取相机的内外参数，并将该各个相机的内外参数存储和二次备份在多目立体视频采集系统的存储元件上。

S102，通过各个相机在同一时刻采集普通场景的多视点图像，对多视点图像进行特征点检测和匹配获取各视点图像间的匹配点。

具体地，应用搭建的多目相机系统采集立体视频拍摄中，各个相机在同一时刻采集普通场景的多视点图像，并对所采集的多视点图像进行特征点检测和匹配获得各视点图像间的匹配点。其中，特征点检测可为SIFT特征点检测等。

S103，根据相机的内外参数和各视点图像间的匹配点坐标，利用增量式的由运动恢复结构的算法得到各视点图像间的匹配点的三维空间点云坐标。

具体地，从多视点图像中选择初始图像对，其中初始图像对含有预定数目的不满足任何单应关系的匹配点。之后，利用三角化算法对初始图像对间的匹配点进行三维空间点云重建，该三角化算法通过以下公式获得各视点图像间匹配点的三维空间点云坐标：

$\left\{\begin{array}{c}{P}_1{X}_i=x_{1i}\\ P_2{X}_i=x_{2i}\end{array}\right.,i=1,\·\·\·,N$

其中，P₁和P₂表示初始图像对的投影矩阵，{x_1i，x_2i}，i＝1,…,N表示图像对间的匹配点，X_i表示各视点图像间匹配点的三维空间点云坐标。

然后，利用稀疏捆集调整优化三维空间点云和相机的内外参数，并逐步向优化后的三维空间点云重建结果中加入剩余的多视点图像直至多视点图像全部加入重建结果中。在剩余的多视点图像中，若图像j可见到最多的已重建点云，则根据三角化图像与已在重建结果中的图像之间的匹配点，优化空间点云和P_j。由此，获得各视点图像间匹配点的三维空间点云坐标。

S104，根据三维空间点云坐标和相机的内外参数获得重投影误差，并利用稀疏捆集调整优化重投影误差和相机的内外参数。

具体地，将三维空间点云坐标通过相机的内外参数进行投影得到投影点。然后，计算投影点与各视点图像间的匹配点的距离得到重投影误差。最后，利用稀疏捆集调整算法优化重投影误差和相机的内外参数。

S105，判断优化后的重投影误差是否小于预设的误差阈值，如果是，则输出优化后的相机的内外参数，如果否，则更新存储参数为二次备份参数,并返回步骤S103进行二次优化。

S106，判断二次优化后的重投影误差是否小于预设的误差阈值，如果是，则输出二次优化后的相机的内外参数，如果否，则提示重新标定相机的内外参数并更新存储。

如果二次优化的重投影误差低于一定阈值，则选取当前优化所得的相机参数为正确参数；否则，提示重新应用标定板标定方法标定各相机参数，并更新参数存储和二次备份为重标定结果。

根据本发明实施例的方法，采用了特征点检测、匹配以及稀疏捆集调整优化，避免了繁琐的相机参数标定，从而提高了立体视频的采集效率。

下面结合说明书附图详细描述根据本发明实施例的多目立体视频采集系统。

图2为本发明实施例的多目立体视频采集系统的结构框图，如图2所示，根据本发明实施例的多目立体视频采集系统包括获取模块100、存储模块200、二次备份模块300、检测匹配模块400、点云计算模块500、优化模块600、第一判断模块700、更新模块800、第二判断模块900和输出模块1000。

具体地，获取模块100用于获取多目立体视频采集系统中各个相机的内外参数。存储模块200用于存储各个相机的内外参数。二次备份模块300用于二次备份各个相机的内外参数。

更具体地，可通过卯合螺丝等方式将相机固定在支架上搭建稳固的多目相机系统，以保证该系统的各个相机的相对位置尽量保持不变。然后根据该系统利用标定板标定方法由获取模块100获取相机的内外参数，并将该各个相机的内外参数存储在存储模块200和二次备份模块300中的存储元件上。

检测匹配模块400用于通过各个相机在同一时刻采集普通场景的多视点图像，对多视点图像进行特征点检测和匹配获取各视点图像间的匹配点。

更具体地，应用搭建的多目相机系统采集立体视频拍摄中，各个相机在同一时刻采集普通场景的多视点图像，并对所采集的多视点图像进行特征点检测和匹配获得各视点图像间的匹配点。其中，特征点检测可为SIFT特征点检测等。

点云计算模块500用于根据相机的内外参数和各视点图像间的匹配点坐标，利用增量式的由运动恢复结构的算法得到各视点图像间的匹配点的三维空间点云坐标。

图3为本发明一个实施例的点云计算模块的结构框图。如图3所示，在本发明的一个实施例中，点云计算模块500包括：选择单元510、重建单元520、第一优化单元530和第二优化单元540。

选择单元510用于从多视点图像中选择初始图像对，其中初始图像对含有预定数目的不满足任何单应关系的匹配点。

重建单元520用于利用三角化算法对初始图像对间的匹配点进行三维空间点云重建。其中，三角化算法通过以下公式获得各视点图像间匹配点的三维空间点云坐标：

$\left\{\begin{array}{c}{P}_1{X}_i=x_{1i}\\ P_2{X}_i=x_{2i}\end{array}\right.,i=1,\·\·\·,N$

其中，P₁和P₂表示初始图像对的投影矩阵，{x_1i，x_2i}，i＝1,…,N表示图像对间的匹配点，X_i表示各视点图像间匹配点的三维空间点云坐标。

第一优化单元530用于利用稀疏捆集调整优化三维空间点云和相机的内外参数。

第二优化单元540用于逐步向优化后的三维空间点云重建结果中加入剩余的多视点图像直至多视点图像全部加入重建结果中以便获得各视点图像间匹配点的三维空间点云坐标。若图像j可见到最多的已重建点云，则根据三角化图像与已在重建结果中的图像之间的匹配点，优化空间点云和P_j。由此，获得各视点图像间匹配点的三维空间点云坐标。

优化模块600用于根据三维空间点云坐标和相机的内外参数获得重投影误差，并利用稀疏捆集调整算法优化重投影误差和相机的内外参数。

在本发明的一个实施例中，优化模块600包括：投影单元、计算单元和第三优化单元。

投影单元，用于将三维空间点云坐标通过相机的内外参数进行投影得到投影点。

计算单元，用于计算投影点与各视点图像间的匹配点的距离得到重投影误差。

第三优化单元，用于利用稀疏捆集调整算法优化重投影误差和相机的内外参数。

第一判断模块700用于判断优化后的重投影误差是否小于预设的误差阈值。

更新模块800用于在第一判断模块判断优化后的重投影误差不小于预设的误差阈值时，更新存储模块中的参数为二次备份模块中的各个相机的内外参数以便点云计算模块和优化模块根据更新后的各个相机的内外参数进行二次优化。

第二判断模块900用于判断二次优化后的重投影误差是否小于预设的误差阈值。

输出模块1000用于在第一判断模块确定优化后的重投影误差小于预设的误差阈值时，输出优化后的各个相机的内外参数，以及在第二判断模块确定二次优化后的重投影误差小于预设的误差阈值时，输出二次优化后的各个相机的内外参数，以及在第二判断模块确定二次优化后的重投影误差不小于预设的误差阈值时，提示重新标定相机的内外参数。

根据本发明实施例的系统，采用了特征点检测、匹配以及稀疏捆集调整优化，避免了繁琐的相机参数标定，从而提高了立体视频的采集效率。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种多目立体视频采集系统的相机参数标定方法，其特征在于，包括以下步骤：

S1：获取多目立体视频采集系统中各个相机的内外参数，并存储和二次备份所述各个相机的内外参数；

S2：通过所述各个相机在同一时刻采集普通场景的多视点图像，对所述多视点图像进行特征点检测和匹配获取各视点图像间的匹配点；

S3：根据所述相机的内外参数和所述各视点图像间的匹配点坐标，利用增量式的由运动恢复结构的算法得到所述各视点图像间的匹配点的三维空间点云坐标；

S4：根据所述三维空间点云坐标和所述相机的内外参数获得重投影误差，并利用稀疏捆集调整算法优化所述重投影误差和所述相机的内外参数；

S5：判断所述优化后的重投影误差是否小于预设的误差阈值，如果是，则输出所述优化后的相机的内外参数，如果否，则更新存储参数为步骤S1中二次备份的各个相机的内外参数，并返回步骤S3进行二次优化；以及

S6：判断所述二次优化后的重投影误差是否小于所述预设的误差阈值，如果是，则输出所述二次优化后的相机的内外参数，如果否，则提示重新标定所述相机的内外参数并更新存储，

所述步骤S3进一步包括：

从所述多视点图像中选择初始图像对，其中，所述初始图像对含有预定数目的不满足任何单应关系的匹配点；

利用三角化算法对所述初始图像对间的匹配点进行三维空间点云重建；

利用稀疏捆集调整优化所述三维空间点云和所述相机的内外参数；

逐步向优化后的三维空间点云重建结果中加入剩余的多视点图像直至所述多视点图像全部加入重建结果中，以便获得各视点图像间匹配点的三维空间点云坐标。

2.根据权利要求1所述的一种多目立体视频采集系统的相机参数标定方法，其特征在于，所述三角化算法通过以下公式获得各视点图像间匹配点的三维空间点云坐标：

$\left\{\begin{array}{c}{P}_1{X}_i=x_{1i}\\ P_2{X}_i=x_{2i}\end{array}\right.,i=1,...,N$

其中，P₁和P₂表示所述初始图像对的投影矩阵，{x_1i,x_2i}，i＝1,…,N表示所述图像对间的匹配点，X_i表示所述各视点图像间匹配点的三维空间点云坐标。

3.根据权利要求1所述的一种多目立体视频采集系统的相机参数标定方法，其特征在于，所述步骤S4进一步包括：

S41：将所述三维空间点云坐标通过所述相机的内外参数进行投影得到投影点；

S42：计算所述投影点与所述各视点图像间的匹配点的距离得到重投影误差；以及

S43：利用稀疏捆集调整算法优化所述重投影误差和所述相机的内外参数。

4.一种多目立体视频采集系统，其特征在于，包括：

获取模块，用于获取多目立体视频采集系统中各个相机的内外参数；

存储模块，用于存储所述各个相机的内外参数；

二次备份模块，用于二次备份所述各个相机的内外参数；

检测匹配模块，用于通过所述各个相机在同一时刻采集普通场景的多视点图像，对所述多视点图像进行特征点检测和匹配获取各视点图像间的匹配点；

点云计算模块，用于根据所述相机的内外参数和所述各视点图像间的匹配点坐标，利用增量式的由运动恢复结构的算法得到所述各视点图像间的匹配点的三维空间点云坐标；

优化模块，用于根据所述三维空间点云坐标和所述相机的内外参数获得重投影误差，并利用稀疏捆集调整算法优化所述重投影误差和所述相机的内外参数；

第一判断模块，用于判断所述优化后的重投影误差是否小于预设的误差阈值；

更新模块，用于在所述第一判断模块判断所述优化后的重投影误差不小于所述预设的误差阈值时，更新所述存储模块中的参数为所述二次备份模块中的各个相机的内外参数以便所述点云计算模块和优化模块根据所述更新后的各个相机的内外参数进行二次优化；

第二判断模块，用于判断所述二次优化后的重投影误差是否小于所述预设的误差阈值；以及

输出模块，用于在所述第一判断模块确定所述优化后的重投影误差小于预设的误差阈值时，输出所述优化后的各个相机的内外参数，以及在所述第二判断模块确定所述二次优化后的重投影误差小于所述预设的误差阈值时，输出所述二次优化后的各个相机的内外参数，以及在所述第二判断模块确定所述二次优化后的重投影误差不小于所述预设的误差阈值时，提示重新标定所述相机的内外参数，

所述点云计算模块具体包括：

选择单元，用于从所述多视点图像中选择初始图像对，其中所述初始图像对含有预定数目的不满足任何单应关系的匹配点；

重建单元，用于利用三角化算法对所述初始图像对间的匹配点进行三维空间点云重建；

第一优化单元，用于利用稀疏捆集调整优化所述三维空间点云和所述相机的内外参数；

第二优化单元，用于逐步向优化后的三维空间点云重建结果中加入剩余的多视点图像直至所述多视点图像全部加入重建结果中以便获得所述各视点图像间匹配点的三维空间点云坐标。

5.根据权利要求4所述的多目立体视频采集系统，其特征在于，所述三角化算法通过以下公式获得各视点图像间匹配点的三维空间点云坐标：

$\left\{\begin{array}{c}{P}_1{X}_i=x_{1i}\\ P_2{X}_i=x_{2i}\end{array}\right.,i=1,...,N$

其中，P₁和P₂表示所述初始图像对的投影矩阵，{x_1i,x_2i}，i＝1,…,N表示所述图像对间的匹配点，X_i表示所述各视点图像间匹配点的三维空间点云坐标。

6.根据权利要求4所述的多目立体视频采集系统，其特征在于，所述优化模块包括：

投影单元，用于将所述三维空间点云坐标通过所述相机的内外参数进行投影得到投影点；

计算单元，用于计算所述投影点与所述各视点图像间的匹配点的距离得到重投影误差；以及

第三优化单元，用于利用稀疏捆集调整算法优化所述重投影误差和所述相机的内外参数。