CN113658269B - 面向大尺寸工件测量的高精度多相机联合标定方法及系统 - Google Patents

Abstract

本发明公开了一种面向大尺寸工件测量的高精度多相机联合标定方法及系统，所述方法包括对大尺寸工件进行2D特征提取，得到所述大尺寸工件的特征零件；利用三坐标测量机对所述特征零件进行测量，将得到的测量结果作为3D空间观测点，基于模板匹配技术得到所述特征零件的2D像素位置信息；构建相机最优连通图，得到最优相机外参链；基于链式法则，计算每个相机相对于基准相机的位姿；构建BA模型，以所述3D空间观测点和所述相机对应的位姿作为图的顶点，以重投影误差作为边的权重，对所述图优化，得到优化的最优相机内外参。本发明可以高效快速地进行多相机标定，同时保证可以获得所有相机之间的外参关系，且所需成本低，易于实现。

Description

面向大尺寸工件测量的高精度多相机联合标定方法及系统

技术领域

本发明涉及相机标定领域，尤其是涉及一种面向大尺寸工件测量的高精度多相机联合标定方法及系统。

背景技术

随着全球化的发展，各类生产制造企业都在想办法提高产品的合格率，提高公司的全球竞争力，而产品质量检测就是其中的最关键一步。随着制造技术的不断发展和产品的不断革新，产生了越来越多形状复杂的大型工件产品，大型工件产品的质量检测就是其要关注的重点问题，它对于高质量产品的制造和高效率生产环境的构建有着举足轻重的作用。

目前国内主要应用三坐标测量机的方法对大型工件进行测量，这种测量方式不仅检测效率低下，而且需要操作员具有一定的熟练程度才能达到相应的检测精度。还有一种方法是通过激光扫描仪对大型工件进行3D扫描和重建，但是这种激光扫描仪的价格昂贵，同样存在工作效率低且操作复杂的问题。上述方法均不能满足目前检测部门的需求。基于多目视觉的测量系统具有高效、价格适中和全场景适用的优势。在多目视觉测量系统中多相机标定技术是影响准确度的关键。现有的多相机标定法基本都是采用标定板进行标定，具体操作为：首先每个相机都对棋盘格等标定板进行不同位置的拍摄，然后将拍到图片进行角点提取，通过两两相机之间共同看到的公共角点，利用对极几何求出两两相机之间的外参转换，然后得出所有相机之间的外参转换。然而，该方法存在一些问题，首先高精度的标定板成本很高，制作不方便；其次由于部分相机不能与其他相机同时拍摄到标定板，所以并不能得到部分相机到其他相机的外参转换；然后每次移动标定板的位置需要耗费大量的人工时间成本，导致不高效率；最后多目标定人员需要一定的熟练程度才能达到相应的标定精度。

发明内容

针对上述存在的问题，本发明从实际工业测量场景入手，提出了一种面向大尺寸工件测量的高精度多相机联合标定方法，即不需要通过高精度标定板，只需要借助工件特征零件的三维测量信息和对应的2D特征识别信息就可以高效快速地进行多相机标定，同时保证可以获得所有相机之间的外参关系。

为实现上述目的，本发明实施例的一种面向大尺寸工件测量的高精度多相机联合标定方法，包括下述步骤：

S1：对大尺寸工件进行2D特征提取，得到所述大尺寸工件的特征零件；

S2：利用三坐标测量机对所述特征零件进行测量，将得到的测量结果作为3D空间观测点，基于模板匹配技术得到所述特征零件的2D像素位置信息；

S3：构建相机最优连通图，得到最优相机外参链；

S4：基于链式法则，计算每个相机相对于基准相机的位姿；

S5：将所述特征零件的2D像素位置作为对应的2D观测点，利用相机内外参将所述3D空间观测点投影到图像中，以构建BA模型，以所述3D空间观测点和所述相机对应的位姿作为所述图像的顶点，以重投影误差作为边的权重，对所述图像优化，得到最优相机内外参。

另外，根据本发明实施例的面向大尺寸工件测量的高精度多相机联合标定方法还可以具有如下附加的技术特征：

进一步地，所述S3的具体步骤为：

S31：设定所述基准相机，从所述基准相机出发，以每个相机作为顶点，构建图，并以相邻相机之间观测到的公共特征零件数量为权重的建立边，如果所述相邻相机之间观测到的公共特征零件数量小于设定的阈值k，则丢弃此相邻相机之间观测点数据对应观测视图，且对应相邻相机之间不存在边；

S32：基于上述连通图，以相邻相机之间观测到的公共特征零件数量的倒数为权重，求解单源最短路径，以构建相机最优连通图，得到所述最优相机外参链。

进一步地，所述大尺寸工件的特征零件的数量为N个，所述阈值k小于或等于N，且所述阈值k大于或等于1。

进一步地，所述S5中，在构建所述BA模型时，使用Huber损失函数对存在的异常值进行优化。

进一步地，所述大尺寸工件包括汽车电池盒。

针对上述存在的问题，本发明从实际工业测量场景入手，提出了一种面向大尺寸工件测量的高精度多相机联合标定系统，即不需要通过高精度标定板，只需要借助工件特征零件的三维测量信息和对应的2D特征识别信息就可以高效快速地进行多相机标定，同时保证可以获得所有相机之间的外参关系。

为实现上述目的，本发明实施例的一种面向大尺寸工件测量的高精度多相机联合标定系统，包括：

特征提取模块，用于对大尺寸工件进行2D特征提取，得到所述大尺寸工件的特征零件；

处理模块，用于利用三坐标测量机对所述特征零件进行测量，将得到的测量结果作为3D空间观测点，基于模板匹配技术得到所述特征零件的2D像素位置信息；

构建模块，用于构建相机最优连通图，得到最优相机外参链；

计算模块，用于基于链式法则，计算每个相机相对于基准相机的位姿；

优化标定模块，用于将所述特征零件的2D像素位置作为对应的2D观测点，利用相机内外参将所述3D空间观测点投影到图像中，以构建BA模型，以所述3D空间观测点和所述相机对应的位姿作为所述图像的顶点，以重投影误差作为边的权重，对所述图像优化，得到最优相机内外参。

另外，根据本发明实施例的面向大尺寸工件测量的高精度多相机联合标定系统还可以具有如下附加的技术特征：

进一步地，所述构建模块，具体用于：设定所述基准相机，从所述基准相机出发，以每个相机作为顶点，构建图，并以相邻相机之间观测到的公共特征零件数量为权重建立边，如果所述相邻相机之间观测到的公共特征零件数量小于设定的阈值k时，则丢弃此相邻相机之间观测点数据对应的观测视图，，且对应相邻相机之间不存在边；基于上述连通图，以相邻相机之间观测到的公共特征零件数量的倒数为权重，求解单源最短路径，以构建相机最优连通图，得到所述最优相机外参链。

为实现上述目的，本发明第三方面的实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质上存储有标定程序，所述标定程序被处理器执行时实现所述的面向大尺寸工件测量的高精度多相机联合标定方法。

本发明具有突出的实质性特点和显著的进步：

(1)本发明的标定方法利用了大尺寸工件的三维测量信息和2D特征识别信息，可以快捷高效地进行多相机联合标定。

(2)本发明首先对大尺寸工件进行2D特征提取，得到特征零件，然后利用特征零件的2D像素位置信息和三维空间信息求解单相机外参，利用重叠交叉视野大小作为权重构建单源最短路径，求解最优相机外参链。由于本发明没有利用标定板进行标定，因此，所需成本较低，更易于实现，同时解决了实际情况中相机之间没有重叠视野的情况，具有更广泛的应用价值。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的面向大尺寸工件测量的高精度多相机联合标定方法的流程图；

图2是本发明一个具体实施例中基于链式法则的相机转换示意图；

图3是根据本发明一个具体实施例中的BA模型示意图；

图4是根据本发明一个实施例的面向大尺寸工件测量的高精度多相机联合标定系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。

下面参考图1-图4描述根据本发明实施例的面向大尺寸工件测量的高精度多相机联合标定方法及系统。

图1是根据本发明一个实施例的面向大尺寸工件测量的高精度多相机联合标定方法流程图。如图1所示，该面向大尺寸工件测量的高精度多相机联合标定方法，包括下述步骤：

步骤S1：对大尺寸工件进行2D特征提取，得到所述大尺寸工件的特征零件，所述特征零件的数量为N个，N为大于0的整数。

在本发明的一个实施例中，所述大尺寸工件可以为汽车电池盒，所述特征零件为电池盒上的圆形装配孔。

步骤S2：利用三坐标测量机对所述特征零件进行测量，将得到的测量结果作为3D空间观测点，基于模板匹配技术得到所述特征零件的2D像素位置信息。

步骤S3：构建相机最优连通图，得到最优相机外参链。具体为：设定所述基准相机，从所述基准相机出发，以相邻相机之间观测到的公共特征零件数量的倒数为边的权重，如果所述相邻相机之间观测到的公共特征零件数量小于设定的阈值k，则丢弃此相邻相机之间观测点数据对应的观测视图，基于上述图求解单源最短路径，以构建相机最优连通图，得到所述最优相机外参链。

具体而言，即在计算摄像机之间的转换时，可通过构造最优的路径来减少误差的传播。以相机之间看到的公共观测点数量为评价体系，首先设定基准相机，然后从基准相机出发，以每个相机作为顶点，构建图，并以相邻相机之间看到的公共装配孔数量为权重建立边，当相邻相机之间观测到的公共装配孔数量小于设定的阈值k，则认为此相邻相机之间观测点数据质量不高，将丢弃此观测视图，且对应相邻相机之间不存在边；基于上述连通图，以相邻相机之间观测到的公共特征零件数量的倒数为权重，求解单源最短路径，以构建相机最优连通图，从而得到最优相机外参链。

其中，所述阈值k小于或等于N，且所述阈值k大于或等于1。

步骤S4：基于链式法则，计算每个相机相对于基准相机的位姿。具体而言，即在得到最优相机连通图后，利用从基准相机到每个相机的最短路径，可以计算每个相机相对于基准相机的绝对位置。

在本发明的一个实施例中，基于链式法则的相机转换图如图2所示，相机1到相机5之间的路径为1→3→2→5，已知相机1到相机3的外参为T₁₃，相机3到相机2的外参为T₃₂，相机2到相机5的外参为T₂₅，则对于相机1到相机5的外参根据法则展开为式T₁₅＝T₁₃T₃₂T₂₅。通过该法则，对每一个与基准相机不直接相邻的相机外参进行求解，得到所有相机相对于基准相机的外参，因为图2是连通图，所以每一个相机都至少与图2中的某个相机存在公共视野，则根据链式法则就可以求出每个相机在基准相机下的相对位姿。

步骤S5：将所述特征零件的2D像素位置作为对应的2D观测点，利用相机内外参将所述3D空间观测点投影到图像中，以构建BA模型，BA(Bundle Adjustment，光束平差法)模型如图3所示。在构建所述BA模型时，可使用Huber损失函数对存在的异常值进行优化，以提高异常值的鲁棒性。以所述3D空间观测点和所述相机对应的位姿作为所述图的顶点，以重投影误差作为边的权重，对所述图优化，得到最优相机内外参。

在具体实施例中，即利用三坐标测量机测量工件所有装配孔孔心进行测量，得到的高精度测量结果作为3D空间观测点，用模板匹配得到的孔心像素作为对应的2D观测点，利用相机内外参将3D空间点投影到图像中，构建BA模型，对相机内外参进行非线性标定优化。

进一步地，可利用图优化库G2O进行增量BA系统的开发，以汽车电池盒的圆形装配孔的3D空间观测点和相机位姿作为图像的顶点，重投影误差作为边的权重进行图像优化，从而得到最后的相机内外参。通过实验证明，该方法使得相机标定得到的参数更精确，重投影误差进一步降低，有效提高了圆形装配孔孔心测量的达标率。

在具体实施例中，以大尺寸工件为电动汽车的电池盒为例，对该方法进行示例性说明。在针对工业检测行业中电动汽车的电池盒装配孔的制造误差进行检测时，相应场景可以表述如下：首先完成相机内外参数的精准标定，然后给定一个电池盒，利用打光设备和相机系统进行拍摄，对电池盒圆形装配孔进行模板匹配，重建装配孔空间位置信息，与装配孔CAD(Computer Aided Design,计算机辅助设计)模型进行结果对比，对制造误差大的孔进行二次制造。由此，在利用已知装配孔三维测量信息的情况下，可对多相机进行联合标定得出相机内外参。在具体示例中，本发明实施例可以实现对66台CCD相机的联合标定，在实际中达到了高精度、高效率的测量。

根据本发明实施例的面向大尺寸工件测量的高精度多相机联合标定方法，具有如下有益效果：

(1)本发明的标定方法利用了大尺寸工件的三维测量信息和2D特征识别信息，可以快捷高效地进行多相机联合标定。

(2)本发明首先对大尺寸工件进行2D特征提取，得到特征零件，然后利用特征零件的2D像素位置信息和三维空间信息求解单相机外参，利用重叠交叉视野大小作为权重构建单源最短路径，求解最优相机外参链。由于本发明没有利用标定板进行标定，因此，所需成本较低，更易于实现，同时解决了实际情况中相机之间没有重叠视野的情况，具有更广泛的应用价值。本发明的进一步实施例提出了一种面向大尺寸工件测量的高精度多相机联合标定系统。

图4是根据本发明一个实施例的面向大尺寸工件测量的高精度多相机联合标定系统的结构示意图。如图4所示，该面向大尺寸工件测量的高精度多相机联合标定系统100，包括：特征提取模块110、处理模块120、构建模块130、计算模块140、和优化标定模块150。

其中，特征提取模块110用于对大尺寸工件进行2D特征提取，得到所述大尺寸工件的特征零件。

处理模块120用于利用三坐标测量机对所述特征零件进行测量，将得到的测量结果作为3D空间观测点，基于模板匹配技术得到所述特征零件的2D像素位置信息。

构建模块130用于构建相机最优连通图，得到最优相机外参链。计算模块140用于基于链式法则，计算每个相机相对于基准相机的位姿。

优化标定模块150用于将所述特征零件的2D像素位置作为对应的2D观测点，利用相机内外参将所述3D空间观测点投影到图像中，以构建BA模型，以所述3D空间观测点和所述相机对应的位姿作为所述图像的顶点，以重投影误差作为边的权重，对所述图像优化，得到最优相机内外参。

在本发明的一个实施例中，构建模块130具体用于：设定基准相机，从基准相机出发，以每个相机作为顶点，构建图，并以相邻相机之间观测到的公共特征零件数量为权重建立边，如果相邻相机之间观测到的公共特征零件数量小于设定的阈值k时，则丢弃此相邻相机之间观测点数据对应的观测视图，且对应相邻相机之间不存在边；基于上述连通图，以相邻相机之间观测到的公共特征零件数量的倒数为权重，求解单源最短路径，以构建相机最优连通图，从而得到最优相机外参链。

在本发明的一个实施例中，大尺寸工件的特征零件的数量为N个，阈值k小于或等于N，且阈值k大于或等于1。

在本发明的一个实施例中，在构建BA模型时，使用Huber损失函数对存在的异常值进行优化，从而提高异常值的鲁棒性。

在本发明的一个实施例中，该大尺寸工件可以为但不限于汽车电池盒，更为具体的，例如电动汽车的电池盒。

需要说明的是，本发明实施例的面向大尺寸工件测量的高精度多相机联合标定系统100，其具体实现方式与本发明上述任意一个实施例的面向大尺寸工件测量的高精度多相机联合标定方法的具体实现方式类似，因而关于该系统100的更为详细的描述，可参见前述关于面向大尺寸工件测量的高精度多相机联合标定方法的相关描述部分，为减少冗余，此处不再重复赘述。

根据本发明实施例的面向大尺寸工件测量的高精度多相机联合标定系统100，具有如下有益效果：

(1)本发明的标定方法利用了大尺寸工件的三维测量信息和2D特征识别信息，可以快捷高效地进行多相机联合标定。

(2)本发明首先对大尺寸工件进行2D特征提取，得到特征零件，然后利用特征零件的2D像素位置信息和三维空间信息求解单相机外参，利用重叠交叉视野大小作为权重构建单源最短路径，求解最优相机外参链。由于本发明没有利用标定板进行标定，因此，所需成本较低，更易于实现，同时解决了实际情况中相机之间没有重叠视野的情况，具有更广泛的应用价值。

本发明的进一步实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有标定程序，所述标定程序被处理器执行时实现本发明上述任意一个实施例所述的面向大尺寸工件测量的高精度多相机联合标定方法。

由此，根据本发明实施例的计算机可读存储介质，其上存储的标定程序被处理器执行时，可实现如下有益效果：

(1)利用大尺寸工件的三维测量信息和2D特征识别信息，可以快捷高效地进行多相机联合标定。

(2)首先对大尺寸工件进行2D特征提取，得到特征零件，然后利用特征零件的2D像素位置信息和三维空间信息求解单相机外参，利用重叠交叉视野大小作为权重构建单源最短路径，求解最优相机外参链。由于没有利用标定板进行标定，因此，所需成本较低，更易于实现，同时解决了实际情况中相机之间没有重叠视野的情况，具有更广泛的应用价值。

总之，本发明提出了一种面向大尺寸工件测量的高精度多相机联合标定方法和系统，能够实现具有非完全交叉视野的快速精准多相机标定，同时该方法和系统可以高效适配到其他检测类项目中，为检测行业的多目视觉方案提供技术支撑。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种面向大尺寸工件测量的高精度多相机联合标定方法，其特征在于，包括下述步骤：

S1：对大尺寸工件进行2D特征提取，得到所述大尺寸工件的特征零件；

S2：利用三坐标测量机对所述特征零件进行测量，将得到的测量结果作为3D空间观测点，基于模板匹配技术得到所述特征零件的2D像素位置信息；

S3：设定基准相机，从所述基准相机出发，以每个相机作为顶点，构建连通图，并以相邻相机之间观测到的公共特征零件数量为权重建立边，如果所述相邻相机之间观测到的公共特征零件数量小于设定的阈值k，则丢弃此相邻相机之间观测点数据对应观测视图，且对应相邻相机之间不存在边；基于上述连通图，以相邻相机之间观测到的公共特征零件数量的倒数为权重，求解单源最短路径，以构建相机最优连通图，得到最优相机外参链；

S4：基于链式法则，计算每个相机相对于基准相机的位姿；

S5：将所述特征零件的2D像素位置作为对应的2D观测点，利用相机内外参将所述3D空间观测点投影到图像中，以构建BA模型，以所述3D空间观测点和所述相机对应的位姿作为所述图像的顶点，以重投影误差作为边的权重，对所述图像优化，得到最优相机内外参。

2.根据权利要求1所述的面向大尺寸工件测量的高精度多相机联合标定方法，其特征在于，所述大尺寸工件的特征零件的数量为N个，所述阈值k小于或等于N，且所述阈值k大于或等于1。

3.根据权利要求1所述的面向大尺寸工件测量的高精度多相机联合标定方法，其特征在于，所述S5中，在构建所述BA模型时，使用Huber损失函数对存在的异常值进行优化。

4.根据权利要求1-3任一项所述的面向大尺寸工件测量的高精度多相机联合标定方法，其特征在于，所述大尺寸工件包括汽车电池盒。

5.一种面向大尺寸工件测量的高精度多相机联合标定系统，其特征在于，包括：

特征提取模块，用于对大尺寸工件进行2D特征提取，得到所述大尺寸工件的特征零件；

处理模块，用于利用三坐标测量机对所述特征零件进行测量，将得到的测量结果作为3D空间观测点，基于模板匹配技术得到所述特征零件的2D像素位置信息；

构建模块，用于设定基准相机，从所述基准相机出发，以每个相机作为顶点，构建连通图，并以相邻相机之间观测到的公共特征零件数量为权重建立边，如果所述相邻相机之间观测到的公共特征零件数量小于设定的阈值k，则丢弃此相邻相机之间观测点数据对应观测视图，且对应相邻相机之间不存在边；基于上述连通图，以相邻相机之间观测到的公共特征零件数量的倒数为权重，求解单源最短路径，以构建相机最优连通图，得到最优相机外参链；

计算模块，用于基于链式法则，计算每个相机相对于基准相机的位姿；

优化标定模块，用于将所述特征零件的2D像素位置作为对应的2D观测点，利用相机内外参将所述3D空间观测点投影到图像中，以构建BA模型，以所述3D空间观测点和所述相机对应的位姿作为所述图像的顶点，以重投影误差作为边的权重，对所述图像优化，得到最优相机内外参。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有标定程序，所述标定程序被处理器执行时实现如权利要求1-4任一项所述的面向大尺寸工件测量的高精度多相机联合标定方法。