CN114581515A - 一种基于最优路径转换的多相机标定参数优化方法 - Google Patents

Abstract

本发明公开了一种基于最优路径转换的多相机标定参数优化方法，包括以下步骤：多相机系统对标定块拍照采集图像，建立姿态视觉图模型；从中任选两个相机，作为局部相机组合，通过特征匹配初始化相机姿态和空间点；计算所有局部相机组合的重投影误差和对应特征点数，配置影响因子，得到视觉图中各边的权重；建立视觉图数据结构和连接矩阵，在完成每组局部相机位姿估计后，更新连接矩阵中的元素；设计了路径长度函数，结合启发函数进行最优路径搜索，根据最优转换路径，计算转换后的相机姿态和空间点；进行光束法平差参数优化，完成多相机系统的参数标定。本发明可实现多相机系统标定参数的优化，精度高，通用性好，对标定块要求低。

Description

一种基于最优路径转换的多相机标定参数优化方法

技术领域

本发明涉及计算机视觉技术领域，具体地说是一种基于最优路径转换的多相机标定参数优化方法。

背景技术

计算机视觉可以将二维的平面图像转换为三维的立体环境，并补充二维图像所缺失的深度信息，以还原三维世界的真实信息。由于具有非接触性、多信息获取性等特点，计算机视觉在工业检测、定位导航、动态跟踪、三维重建等领域的应用日益广泛。目前，单目视觉和双目视觉标定理论成熟，应用最为广泛，但是二者由于相机数目少而具有获取信息少、视场范围小等局限性。几年来，随着计算机性能的提升和相机价格的降低，单目视觉和双目视觉很难达到高精度、大视场、高效率的需求，多相机视觉成为有效的解决方案。多相机系统中的测量精度、定位精度、重建精度很大程度上都取决于相机的参数标定精度，因此，多相机系统的参数标定方法尤为重要。

目前，使用最广泛的相机标定方法是张正友平板标定法(Zhang Z.A flexiblenew technique for camera calibration[J].IEEE Transactions on Pattern Analysisand Machine Intelligence，2000，22(11)：P.1330-1334.)，这种方法根据相机成像的几何线性模型，利用单应性矩阵，建立标定板上特征点坐标和世界坐标系中空间点坐标的映射关系，从而求解相机的标定参数。对于多相机系统，这种方法要求所有相机具有公共视野区域，或者呈特定形式分布。对于部分相机具有公共视野区域的多相机系统，需要进行多次局部标定，然后统一到全局坐标系，这会产生累计误差，且耗时严重。近年来，很多专家学者(Zhang J，Zhu J，Deng H，et al.Multi-camera calibration method based on a multi-plane stereo target[J].Applied Optics，2019，58(34)：9353.)针对特定分布的相机设计了特定形式的立体标定块，解决了相机光轴与平面标定板夹角过大时造成的特征点位置提取不准确的问题，但这种标定块只能针对特定位置分布的多相机系统，通用性低，且标定块制造要求极高，费用高昂。因此，需要对现有的相机标定方法进行优化，提高相机标定参数精度。

发明内容

本发明的实施例目的在于提出一种基于最优路径转换的多相机标定参数优化方法，在局部相机位姿向全局坐标系转换的过程中，对相机系统建立了视觉图模型，以获得最优的坐标系转换路径和全局初始位姿，完成多相机标定参数初始值优化。

本发明实施例提供的一种基于最优路径转换的多相机标定参数优化方法，包括以下步骤：

一种基于最优路径转换的多相机标定参数优化方法，包括以下步骤：

多次移动标定块并采集图像，根据图优化理论建立多相机系统的姿态视觉图；

遍历多相机中的所有两相机组合，对两相机进行匹配点计算，得到局部相机姿态和世界坐标系中的空间点；根据局部的重投影误差和匹配点数，计算视觉图中的路径权重；

建立视觉图数据结构和连接矩阵，寻找路径的最小权重，并更新视觉图数据；遍历所有相机路径，结合启发函数计算各相机转化到世界坐标系的最优路径；

根据最优路径进行坐标系转化，获得各个相机的姿态和世界空间点；

进行光束法平差参数优化，计算多相机系统的标定参数。

所述多次移动标定块并采集图像，根据图优化理论建立多相机系统的姿态视觉图包括：

多次移动标定块，控制每个视野相关的相机拍摄图片；

根据图优化理论建立多相机系统的姿态视觉图，将每个相机作为一个顶点V_i，(i＝1，...，m)，每两个相机之间的连线权重作为相机之间的转换精度，某一相机设为目标相机。

所述遍历多相机中的所有两相机组合，对两相机进行匹配点计算，得到局部相机姿态和世界坐标系中的空间点，包括：

在m个相机中选取任意两个相机，对每个组合的相机对进行特征点匹配，根据相机坐标系下的特征点坐标和世界坐标系下的特征点坐标，预先建立相机坐标系到世界坐标系的转换关系；

计算第i个相机和第j个相机之间的匹配特征点对数N_ij，将低于匹配特征点对数量阈值Th_pt的特征点对分组剔除，获取匹配点对的坐标和数量；

根据当前相机组的两相机位置计算该相机组内的相对位姿Q_ij，即对外参数；根据匹配点对在相机坐标系下的位置坐标和相机坐标系到世界坐标系的转换关系计算空间点P_ij；所述相对位姿Q_ij为相机i到相机j的坐标转换关系，所述空间点P_ij为匹配点对在世界坐标系下的坐标；

根据P_ij和相机坐标系下的特征点坐标计算反投影误差Erri。

所述根据局部的重投影误差和匹配点数，计算视觉图中的路径权重，包括：

计算对应边的第一部分权重：

其中，Err_i和Err_j分别代表一条边上的两个相机的反投影误差均值；Th_Re为反投影误差阈值，当Err_i＞Th_Re或Err_j＞Th_Re时，ω_ij1取∞值；

计算每条边上两个相机匹配特征点数量的倒数作为对应边权重的第二部分：

其中，N_ij表示第i个和第j个相机之间的按照匹配特征点对数量阈值筛选后的匹配点对个数；

运用公式(1)和(2)，可计算出视觉图中每条边的权重：

ω_ij＝k₁ω_ij1+k₂ω_ij2 (3)

其中，k₁表示反投影误差影响因子，k₂表示对应点个数的影响因子。

所述建立视觉图数据结构和连接矩阵，寻找路径的最小权重，并更新视觉图数据，包括：

建立视觉图数据结构S_ij＝{Q_ij，P_ij，ω_ij}和连接矩阵T＝{S_ij}∈R^m×m；

Q_ij为第i个相机相对于第j个相机的位姿矩阵，并且存在如下转换关系：

Q_i表示从相机i到相机j的坐标转换关系，Q_j表示从相机j到相机i的坐标转换关系；

P_ij为第i个相机与第j个相机之间重建成功的空间点在相机i下的坐标，与相反方向的P_ij存在如下转化关系：

P_ij＝P_ji (6)

ω_ij为视觉图中第i个相机和第j个相机之间对应边的权重，与相反方向的ω_ji存在如下转化关系：

ω_ij＝ω_ji (7)

计算对应边权重ω_ijnew，当标定块位于不同位置，存在相机组重复初始化的情况，若存在ω_ij＞ω_ijnew，替换更新矩阵T中所有元素。

所述遍历所有相机路径，结合启发函数计算各相机转化到世界坐标系的最优路径，包括：

根据连接矩阵T，设计路径长度函数为

f(x)＝a^m-1d_ix+h(x) (8)

其中，a表示转换次数的影响因子，i为路径搜索的起始节点，x是待搜索的下一个节点，m是开始节点到x节点的转换次数，d_ix是从起始节点i到中间节点x的路径长度；h(x)为启发式函数：

h(x)＝n*min{ω_xz} (9)

其中，n代表从中间节点x到目标节点z的最小转化次数；ω_xz为从x节点到z节点的最短边权重。

不断迭代路径长度函数至最小，可搜索出最优转换路径。

所述根据最优路径进行坐标系转化，获得各个相机的姿态和世界空间点，包括：

根据局部坐标系到全局坐标系的最优路径转换{i，j，…，y，z}，其中i，j，…，y，z为相机编号，m为根相机，计算相机i在全局坐标系中的位姿矩阵：

Q_iz＝Q_ij…Q_yz (10)

计算在相机i中重建成功的空间点在全局坐标系同的坐标：

P_i＝[Q_ij…Q_st]^-1·P_yz (11)

其中，重建成功的空间点为按照匹配特征点对数量阈值筛选后的匹配点；

所述进行光束法平差参数优化计算多相机系统的标定参数包括：相机的对外参数Q_iz、内参数K_i和空间点坐标P_i分别进行光束法平差参数优化计算，完成多相机的标定参数优化。

本发明具有以下有益效果及优点：

1.本发明方法为多相机系统标定提供了一种新的参数优化方法，具有精度高、速度快和鲁棒性好等优点，有利于促进我国制造业零部件制造质量在线检测水平的提升。

2.本发明根据图优化的理论提出了局部坐标系到世界坐标系转化的最优路径算法，最大程度上降低累计误差对非线性优化的影响，进一步降低了非线性优化陷入局部最小值的可能性。

3.本发明通用性强，根据标定块的不同形状和尺寸，可以对光轴沿任意方向收敛分布的多相机系统进行标定，只需要部分相机之间具有公共视野区域即可。

附图说明

图1为本发明提供的一种基于最优路径转换的多相机标定参数优化方法；

图2为本发明提供的一种基于最优路径转换的多相机标定参数优化方法的最优路径转换算法；

图3为本发明提供的一种基于最优路径转换的多相机标定参数优化方法的最优路径转换视觉图；

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1-图2所示，本发明一种基于最优路径转换的多相机标定参数优化方法包括如下步骤：

步骤1.将标定块放置于多相机系统中的合适位置，保证系统内任意至少两个相机具有公共视野，且标定块位于该视野范围内；

步骤2.多次移动标定块，控制每个视野相关的相机拍摄图片，保证标定块遍历每个相机的视野成像；在这之前还包括步骤：

调节相机镜头的光圈、焦距、曝光时间，保证该环境下的高质量成像；

步骤3.根据图优化理论建立多相机系统的姿态视觉图，假设多相机系统中共有m个相机，将每个相机作为一个顶点V_i，(i＝1，…，m)，每两个相机之间的连线权重作为相机之间的转换精度，某一相机设为根相机，可以得到视觉图。

步骤4.在m个相机中选取任意两个相机，计算所有组合C＝{C_i|i＝1，2，...，n}。

对每个组合的相机对进行特征点匹配，根据相机坐标系下的特征点坐标和世界坐标系下的特征点坐标，预先建立相机坐标系到世界坐标系的转换关系。

计算第i个相机和第j个相机之间的匹配特征点对数N_ij，将低于匹配特征点对数量阈值Th_pt的分组剔除，获取匹配点对的坐标和数量。

对满足匹配特征点对数量阈值的分组，根据当前相机组的两相机位置计算该相机组内的相对位姿Q_ij，即对外参数；根据匹配点对在相机坐标系下的位置坐标和相机坐标系到世界坐标系的转换关系计算空间点P_ij；所述相对位姿Q_ij为相机i到相机j的坐标转换关系，所述空间点P_ij为匹配点对在世界坐标系下的坐标；

根据P_ij和相机坐标系下的特征点坐标计算反投影误差Erri。

步骤5.计算对应边的权重，将每条边上两个相机的反投影误差均值作为该边对应权重的第一部分：

其中，Err_i和Err_j分别代表一条边上的两个相机的反投影误差均值；令Th_Re为反投影误差阈值，当Err_i＞Th_Re或Err_j＞Th_Re时，ω_ij1取∞值。

多相机之间的对应特征点越多重建精度越高，对应点达到一定数量后，重建精度逐渐趋于稳定。将每条边上两个相机对应点个数的倒数作为对应边权重的第二部分：

式中，N_ij表示第i个和第j个相机之间按照匹配特征点对数量阈值筛选后的匹配点对的个数。

运用公式(1)和(2)，可计算出视觉图中每条边的权重：

ω_ij＝k₁ω_ij1+k₂ω_ij2 (3)

其中，k₁表示反投影误差影响因子，局部重建时给定的内参数越精确，反投影误差可信度越高，k₁取值越小；k₂表示对应点个数的影响因子，对应点越稀疏，k₂的取值越小。

步骤6.建立视觉图数据结构S_ij＝{Q_ij，P_ij，ω_ij}和连接矩阵T＝{S_ij}∈R^m×m，用于表示第i个相机和第j个相机的关系。

Q_ij表示第i个相机相对于第j个相机的位姿矩阵，且存在如下转化关系

P_ij表示第i个相机与第j个相机之间重建成功的空间点在相机i下的坐标，相反方向存在如下转化关系：

P_ij＝P_ji (6)

ω_ij表示视觉图中第i个相机和第j个相机之间对应边的权重，相反方向存在如下转化关系：

ω_ij＝ω_ji (7)

每次完成一组局部相机位姿估计，计算对应边权重ω_ijnew。当标定块位于不同位置，存在相机组重复初始化的情况，若存在ω_ij＞ω_ijnew，更新矩阵T所有元素，即选择具有更小对应边权重的S_ij作为矩阵T中的元素。

步骤7.根据连接矩阵T，设计路径长度函数为

f(x)＝a^m-1d_ix+h(x) (8)

其中，a表示转换次数的影响因子，因为转换次数越多，理论上累计误差越大，因此a的取值为a≥1，当a＝1时，表示不考虑转换次数的影响；i为路径搜索的起始节点，x是待搜索的下一个节点；m是开始节点到x节点的转换次数；d_ix是从起始节点i到中间节点x的路径长度，即中间边对应的权重之和；h(x)为启发式函数，表示从中间节点x到目标节点z的最短路径长度估计：

h(x)＝n*min{ω_xz} (9)

其中，n代表从中间节点x到目标节点z的最小转化次数；ω_xz为从x节点到z节点的最短边权重。

不断迭代路径长度函数至最小，可搜索出最优转换路径。

步骤8.根据上一步得到局部坐标系到全局坐标系的最优路径转换{i，j，…，y，z}，其中，i，j，…，y，z为相机编号(z为根相机)，计算相机i在全局坐标系中的位姿矩阵：

Q_iz＝Q_ij…Q_yz (10)

计算在相机i中重建成功的空间点在全局坐标系中的坐标：

P_i＝[Q_ij…Q_st]^-1·P_yz (11)

其中，重建成功的空间点为按照匹配特征点对数量阈值筛选后的匹配点；

步骤9.对优化后的多相机标定参数进行光束法平差参数优化，即重投影误差最小化，目标函数为：

其中，K_i和T_i分别为第i个相机的内参数和外参数，p_it为第t个标志点在第i个相机像平面上的投影点坐标，p_it’为标志点在像平面上的反投影点坐标。当特征点X_t在相机i的相平面成像时，δ_it＝1，否则取δ_it＝0。

迭代求解后，得到外参数Q_iz、内参数K_i和空间点坐标P_i，完成多相机的标定参数优化。

如图3是本发明方法在多相机标定参数优化过程中的最优路径转换视觉图，系统共10个相机，每6个相机具有公共视野，相机5为根相机。相机间的连线代表路径转换前的所有路径，实线代表最终的最优路径，虚线代表非最优路径，数字代表每条路径的权重。根据最优路径算法，选择长度函数值最小的转换路径，最终结果为：1-＞5，2-＞1-＞5，3-＞5，4-＞5，6-＞5，7-＞5，8-＞5，9-＞5，10-＞8-＞5。

综上所述，本发明方法提供了一种基于最优路径转换的多相机标定参数优化方法，鲁棒性好，对标定参数的初始化要求较低，可提高多相机标定的精度。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。

Claims (8)

1.一种基于最优路径转换的多相机标定参数优化方法，其特征在于，包括以下步骤：

多次移动标定块并采集图像，根据图优化理论建立多相机系统的姿态视觉图；

遍历多相机中的所有两相机组合，对两相机进行匹配点计算，得到局部相机姿态和世界坐标系中的空间点；根据局部的重投影误差和匹配点数，计算视觉图中的路径权重；

建立视觉图数据结构和连接矩阵，寻找路径的最小权重，并更新视觉图数据；遍历所有相机路径，结合启发函数计算各相机转化到世界坐标系的最优路径；

根据最优路径进行坐标系转化，获得各个相机的姿态和世界空间点；

进行光束法平差参数优化，计算多相机系统的标定参数。

2.根据权利要求1所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述多次移动标定块并采集图像，根据图优化理论建立多相机系统的姿态视觉图包括：

多次移动标定块，控制每个视野相关的相机拍摄图片；

根据图优化理论建立多相机系统的姿态视觉图，将每个相机作为一个顶点V_i，(i＝1,…,m)，每两个相机之间的连线权重作为相机之间的转换精度，某一相机设为目标相机。

3.根据权利要求1所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述遍历多相机中的所有两相机组合，对两相机进行匹配点计算，得到局部相机姿态和世界坐标系中的空间点，包括：

在m个相机中选取任意两个相机，对每个组合的相机对进行特征点匹配，根据相机坐标系下的特征点坐标和世界坐标系下的特征点坐标，预先建立相机坐标系到世界坐标系的转换关系；

计算第i个相机和第j个相机之间的匹配特征点对数N_ij，将低于匹配特征点对数量阈值Th_pt的特征点对分组剔除，获取匹配点对的坐标和数量；

根据当前相机组的两相机位置计算该相机组内的相对位姿Q_ij，即对外参数；根据匹配点对在相机坐标系下的位置坐标和相机坐标系到世界坐标系的转换关系计算空间点P_ij；所述相对位姿Q_ij为相机i到相机j的坐标转换关系，所述空间点P_ij为匹配点对在世界坐标系下的坐标；

根据P_ij和相机坐标系下的特征点坐标计算反投影误差Erri。

4.根据权利要求3所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述根据局部的重投影误差和匹配点数，计算视觉图中的路径权重，包括：

计算对应边的第一部分权重：

其中，Err_i和Err_j分别代表一条边上的两个相机的反投影误差均值；Th_Re为反投影误差阈值，当Err_i>Th_Re或Err_j>Th_Re时，ω_ij1取∞值；

计算每条边上两个相机匹配特征点数量的倒数作为对应边权重的第二部分：

其中，N_ij表示第i个和第j个相机之间的按照匹配特征点对数量阈值筛选后的匹配点对个数；

运用公式(1)和(2)，可计算出视觉图中每条边的权重：

ω_ij＝k₁ω_ij1+k₂ω_ij2 (3)

其中，k₁表示反投影误差影响因子，k₂表示对应点个数的影响因子。

5.根据权利要求1所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述建立视觉图数据结构和连接矩阵，寻找路径的最小权重，并更新视觉图数据，包括：

建立视觉图数据结构S_ij＝{Q_ij,P_ij,ω_ij}和连接矩阵T＝{S_ij}∈R^m×m；

Q_ij为第i个相机相对于第j个相机的位姿矩阵，并且存在如下转换关系：

Q_i表示从相机i到相机j的坐标转换关系，Q_j表示从相机j到相机i的坐标转换关系；

P_ij为第i个相机与第j个相机之间重建成功的空间点在相机i下的坐标，与相反方向的P_ij存在如下转化关系：

P_ij＝P_ji (6)

ω_ij为视觉图中第i个相机和第j个相机之间对应边的权重，与相反方向的ω_ji存在如下转化关系：

ω_ij＝ω_ji (7)

计算对应边权重ω_ijnew，当标定块位于不同位置，存在相机组重复初始化的情况，若存在ω_ij>ω_ijnew，替换更新矩阵T中所有元素。

6.根据权利要求1所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述遍历所有相机路径，结合启发函数计算各相机转化到世界坐标系的最优路径，包括：

根据连接矩阵T，设计路径长度函数为f(x)＝a^m-1d_ix+h(x) (8)

其中，a表示转换次数的影响因子，i为路径搜索的起始节点，x是待搜索的下一个节点，m是开始节点到x节点的转换次数，d_ix是从起始节点i到中间节点x的路径长度；h(x)为启发式函数：

h(x)＝n*min{ω_xz} (9)

其中，n代表从中间节点x到目标节点z的最小转化次数；ω_xz为从x节点到z节点的最短边权重。

不断迭代路径长度函数至最小，可搜索出最优转换路径。

7.根据权利要求1所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述根据最优路径进行坐标系转化，获得各个相机的姿态和世界空间点，包括：

根据局部坐标系到全局坐标系的最优路径转换{i,j,…,y,z}，其中i,j,…,y,z为相机编号，m为根相机，计算相机i在全局坐标系中的位姿矩阵：

Q_iz＝Q_ij…Q_yz (10)

计算在相机i中重建成功的空间点在全局坐标系同的坐标:

P_i＝[Q_ij…Q_st]^-1·P_yz (11)

其中，重建成功的空间点为按照匹配特征点对数量阈值筛选后的匹配点。

8.根据权利要求1所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述进行光束法平差参数优化计算多相机系统的标定参数包括：相机的对外参数Q_iz、内参数K_i和空间点坐标P_i分别进行光束法平差参数优化计算，完成多相机的标定参数优化。

Images