CN110580724A - 一种对双目相机组进行标定的方法、装置和存储介质 - Google Patents

Abstract

本申请公开了一种对双目相机组进行标定的方法、装置和存储介质，具体为选取多个第一采样点，机械臂控制双目相机组在选取的每个第一采样点上通过彩色摄像头采集采样图像组，采样图像组中的每一张采样图像包含在第一标定板上设置的多个定位码，根据定位码，在采样图像组中的每一张采样图像中检测角点坐标，根据在相邻的采样图像中的角点坐标，计算采样图像组中相邻的采样图像之间的第一姿态标定参数，并在双目相机组中调整相邻的双目相机之间的相对姿态。本申请实施例通过设置有多个定位码的第一标定板，并通过多个定位码确定双目相机组中相邻的双目相机之间的第一姿态标定参数，实现双目相机组中的多个双目相机之间的精确标定。

Description

一种对双目相机组进行标定的方法、装置和存储介质

技术领域

本申请涉及计算机视觉领域，尤其涉及一种对双目相机组进行标定的方法、装置和存储介质。

背景技术

在图像测量过程及其视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机拍摄结果的准确性。而相机采集的图像一搬都会存在畸变，如果不能正确的获得图像的内参和畸变参数，那么将会严重影响以图像为基础的视觉感知技术的应用。

结构光相机可以捕获丰富的纹理和鲜艳的色彩信息，同时可以采集深度信息，并将深度信息和色彩信息结合在一起可以将真实世界三维重建出来，而三维重建在计算机视觉和机器人感知方面有着重要的作用，是自动驾驶、机器人同步定位与建图(simultaneouslocalization and mapping，SLAM)、三维视觉感知、房屋三维重建等应用的基础。

一般对双目相机组进行标定会采用方形标定板和圆形标定板，但这两种标定板的图案都是重复性无差异化的。因此，在采集数据时需要相机的视野范围内必须包含整个完整的标定板，并且需要指定标定板上棋盘格的行列数。当相机视野内出现其它同类型的棋盘格时，会干扰对指定的标定板的检测。另外，多相机的安装位置一般处于同一个平面内或者两个相机间具有较大的视角重叠，标定起来比较方便。而当多组相机之间的视角重叠较少或多组相机不在一个平面上时，不能保证标定的精确度。

发明内容

本申请实施例提供了一种对双目相机组进行标定的方法，克服了双目相机组之间标定不精确的问题，提升了在双目相机组之间进行标定的准确性。

该方法包括：

选取多个第一采样点；

机械臂控制双目相机组在选取的每个所述第一采样点上通过彩色摄像头采集采样图像组，其中，所述采样图像组中的每一张采样图像包含在第一标定板上设置的多个定位码；

根据所述定位码，在所述采样图像组中的所述每一张采样图像中检测角点坐标；

根据在相邻的采样图像中的所述角点坐标，计算所述采样图像组中相邻的采样图像之间的第一姿态标定参数，并根据所述第一姿态标定参数在所述双目相机组中调整相邻的所述双目相机之间的相对姿态。

可选地，选取多个第二采样点；

机械臂控制每组双目相机在选取的每个所述第二采样点，通过深度摄像头和彩色摄像头分别采集第一待处理图像和第二待处理图像，其中，每张所述第一待处理图像和所述第二待处理图像中包含在第二标定板上设置的多个定位单元格；

在所述第一待处理图像和所述第二待处理图像中分别检测第一角点和第二角点，并根据所述定位单元格，对所述第一角点和所述第二角点进行配对，生成角点对；

基于所述角点对，计算第二姿态标定参数，并根据所述第二姿态标定参数调整所述深度摄像头与所述彩色摄像头之间的相对姿态。

可选地，选取不重复的多个校准位置，并计算所述校准位置相对于所述第二标定板的位置的第一变换矩阵，所述校准位置包括所述第二标定板上设置的所述多个定位单元格；

在每个采样位置上，计算所述机械臂控制的所述每组双目相机相对于所述第二标定板的位置的第二变换矩阵；

根据所述第一变换矩阵和所述第二变换矩阵，调整所述机械臂以使所述每组双目相机与所述第二标定板的位置为所述校准位置，并将所述多个校准位置确定为所述第二采样点。

可选地，根据所述角点对，计算所述深度摄像头的第一相机内参和第一畸变参数，以及所述彩色摄像头的第二相机内参和第二畸变参数；

根据所述第一相机内参和所述第一畸变参数对所述第一待处理图像进行去畸变处理，以及根据所述第二相机内参和所述第二畸变参数对所述第二待处理图像进行去畸变处理；

根据第二姿态标定参数，将进行去畸变处理后的所述第一待处理图像和所述第二待处理图像进行像素点对齐，并将所述第一待处理图像投影在所述第二待处理图像上，生成每组双目相机的三维点云图。

可选地，按照所述第一姿态标定参数，将相邻的双目相机中的任一双目相机对应的所述采样图像中的任一数据点进行变换，并投影至所述相邻的双目相机中的另一双目相机的采样图像上；

计算任一数据点在所述另一双目相机的采样图像上的第一重投影误差，并将不满足预设阈值的所述第一重投影误差对应的所述第一姿态标定参数删除，并计算所述第一姿态标定参数的最优解。

可选地，以所述双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据所述第一姿态标定参数将所述双目相机组中的其它所述双目相机采集的所述采样图像投影至所述基准坐标系的采样图像上，生成所述双目相机组的三维点云图。

在本发明的另一个实施例中，提供了一种对双目相机组进行标定的系统，该系统包括机械臂单元、第一标定板、第二标定板、双目相机组和处理单元，其中，所述双目相机组中的任一双目相机包括深度摄像头和彩色摄像头，所述机械臂单元用于按照所述处理单元的指令控制所述多目相机组；

所述第一标定板包含多个定位码和角点，用于为所述机械臂单元控制的所述多目相机组提供进行识别的目标；

所述第二标定板包含多个定位单元格和角点，用于为所述机械臂单元控制的每组双目相机提供进行识别的目标；

所述处理单元用于控制所述机械臂单元进行移动，以及对所述双目相机组识别的数据进行分析，并计算双目相机组中相邻的双目相机之间的第一姿态标定参数，以及任一所述双目相机中的所述深度摄像头和所述彩色摄像头之间的第二姿态标定参数。

在本发明的另一个实施例中，提供了一种对双目相机组进行标定的装置，该装置包括：

选取模块，用于选取多个第一采样点；

采集模块，用于机械臂控制双目相机组在选取的每个所述第一采样点上通过彩色摄像头采集采样图像组，其中，所述采样图像组中的每一张采样图像包含在第一标定板上设置的多个定位码；

检测模块，用于根据所述定位码，在所述采样图像组中的所述每一张采样图像中检测角点坐标；

计算模块，用于根据在相邻的采样图像中的所述角点坐标，计算所述采样图像组中相邻的采样图像之间的第一姿态标定参数，并根据所述第一姿态标定参数在所述双目相机组中调整相邻的所述双目相机之间的相对姿态。

在本发明的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述一种对双目相机组进行标定的方法中的各个步骤。

在本发明的另一个实施例中，提供了一种终端设备，包括处理器，所述处理器用于执行上述一种对双目相机组进行标定的方法中的各个步骤。

如上可见，基于上述实施例，首先选取多个第一采样点，其次，机械臂控制双目相机组在选取的每个第一采样点上通过彩色摄像头采集采样图像组，其中，采样图像组中的每一张采样图像包含在第一标定板上设置的多个定位码，然后，根据定位码，在采样图像组中的每一张采样图像中检测角点坐标，最后，根据在相邻的采样图像中的角点坐标，计算采样图像组中相邻的采样图像之间的第一姿态标定参数，并根据第一姿态标定参数在双目相机组中调整相邻的双目相机之间的相对姿态。本申请实施例通过设置有多个定位码的第一标定板，并通过多个定位码确定双目相机组中相邻的双目相机之间的第一姿态标定参数，实现双目相机组中的多个双目相机之间的精确标定。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例100所提供的一种对双目相机组进行标定的方法的流程示意图；

图2示出了本申请实施例200提供的一种双目相机组的示意图；

图3示出了本申请提供的实施例300提供的一种定制化的第一标定板的示意图；

图4示出了本申请实施例400提供的一种对双目相机组进行标定的方法的具体流程的示意图；

图5a示出了本申请实施例提供的传统标定板的一种示意图；

图5b示出了本申请实施例提供的传统标定板的另一种示意图；

图5c示出了本申请实施例提供的第二标定板的角点的示意图；

图5d示出了本申请实施例500提供的第二标定板的示意图；

图6a示出了本申请实施例提供的三组双目相机采集的像素点一一对应的图像的示意图；

图6b示出了本申请实施例提供的每组双目相机生成的三维点云图的示意图；

图7a示出了本申请实施例提供的第一组、第二组和第三组双目相机的彩色摄像头和深度摄像头采集的采样图像的示意图；

图7b示出了本申请实施例700提供的由双目相机组生成的三维点云图像的示意图；

图8示出了本申请实施例800还提供一种对双目相机组进行标定的系统的示意图；

图9示出了本申请实施例900还提供一种对双目相机组进行标定的装置的示意图；

图10示出了本申请实施例10所提供的一种终端设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

基于现有技术中的问题，本申请实施例提供了一种对双目相机组进行标定的方法，主要适用于计算机视觉和三维重建领域。通过对双目相机中的两个摄像头之间进行标定，再在双目相机组之间进行标定，实现一种对多目相机进行标定的方法。如图1所示，为本申请实施例100提供的一种对双目相机组进行标定的方法的流程示意图。其中，详细步骤如下：

S11，选取多个第一采样点。

本步骤中，第一采样点为控制双目相机组的机械臂相对于第一标定板的位置。可选地，第一采样点的位置可以使机械臂控制的双目相机组中的各个双目相机的摄像范围包括第一标定板中设置的多个定位码，此时机械臂的位置为第一采样点。

S12，机械臂控制双目相机组在选取的每个第一采样点上通过彩色摄像头采集采样图像组，其中，采样图像组中的每一张采样图像包含在第一标定板上设置的多个定位码。

本步骤中，本申请实施例中的双目相机主要为携带有彩色摄像头和深度摄像头的双目相机。双目相机组为按照一定的排列方式安装的多组双目相机，双目相机组中的双目相机不少于两组。可选地，如图2所示，为本申请实施例200示出的由三组双目相机组成的双目相机组，其中，相邻的双目相机之间的拍摄范围有部分重叠。其中，双目相机包括红外发射器、与红外发射器配合的红外(Infrared Radiation,IR)摄像头以及彩色(red、green、blue,RGB)摄像头。由红外发射器发射红外光斑，同时红外摄像头捕捉红外光斑获取深度信息。三组双目相机组成的双目相机组为本申请中的较佳实施例，双目相机组不限制双目相机的总数。

另外，第一标定板上设置有多个定位码，通过设置多个定位码表使得第一标定板具备方向性和定位功能。定位码的设置位置一般在第一标定板的四周和几何中心的位置，以使在彩色摄像头拍摄到全部定位码时，采集的采样图像中包含整块第一标定板。如图3所述，为本申请实施例300示出的一种定制化的第一标定板的示意图。其中，在第一标定板上设置五个定位码为较佳实施例。定位码可以是二维码的形式，通过识别二维码可以准确地判断彩色摄像头相对于标定板的方位信息。同时也可以通过采样图像中拍摄到的定位码的数量，判断是否拍摄到整块第一标定板。

进一步地，机械臂控制双目相机组在选取的每个第一采样点上，由彩色摄像头采集的采样图像组。其中，采样图像组中的每一张采样图像均包含第一标定板上设置的多个定位码，并通过定位码筛选出包含整块第一标定板的采样图像。

S13，根据定位码，在采样图像组中的每一张采样图像中检测角点坐标。

本步骤中，双目相机组在采集了采样图像组后，根据设置的多个定位码，在采样图像组中筛选出采集到设置的所有定位码的采样图像，并在每一张采集到设置有所有定位码的采样图像中检测角点坐标。可选地，当第一标定板为图3所示的形式时，通过设置的多个定位码，在相邻的采样图像上通过霍夫算法检测出多个圆形形状，并确定各个角点，分别在每一张采样图像中检测拍摄到的第一标定板上的角点的坐标。其中，标定板上的每个圆形单元格作为独立的元素，检测每个圆形单元格的边，并将每个圆形单元格中的圆心作为采样图像中的角点的位置。

S14，根据在相邻的采样图像中的角点坐标，计算采样图像组中相邻的采样图像之间的第一姿态标定参数，并根据第一姿态标定参数在双目相机组中调整相邻的双目相机之间的相对姿态。

本步骤中，在双目相机组中相邻的双目相机采集的采样图像进行对比。可选地，根据相邻的两张采样图像中的定位码，将相邻的采样图像中拍摄到位置相同的角点坐标进行配对。进一步地，根据相邻的采样图像中位置相同的角点的坐标之间的误差，确定采样图像组中相邻的采样图像之间的第一姿态标定参数。其中，第一姿态标定参数包括相邻的两组双目相机之间的平移关系和旋转关系。在确定了第一姿态标定参数后，根据第一姿态标定参数调整相邻的双目相机之间的相对姿态，以实现相邻的相机的标定。

基于本申请的上述实施例，首先选取多个第一采样点，其次，机械臂控制双目相机组在选取的每个第一采样点上通过彩色摄像头采集采样图像组，其中，采样图像组中的每一张采样图像包含在第一标定板上设置的多个定位码，然后，根据定位码，在采样图像组中的每一张采样图像中检测角点坐标，最后，根据在相邻的采样图像中的角点坐标，计算采样图像组中相邻的采样图像之间的第一姿态标定参数，并根据第一姿态标定参数在双目相机组中调整相邻的双目相机之间的相对姿态。本申请实施例通过设置有多个定位码的第一标定板，并通过多个定位码确定双目相机组中相邻的双目相机之间的第一姿态标定参数，实现双目相机组中的多个双目相机之间的精确标定。

如图4所示，为本申请实施例400提供的一种对双目相机组进行标定的方法的具体流程的示意图。其中，该具体流程的详细过程如下：

S401，选取多个第二采样点。

这里，第二采样点是对双目相机本身进行校准时选取的采样位置。双目相机包括深度摄像头和彩色摄像头，选取多个第二采样点是为双目相机中的深度摄像头和彩色摄像头进行标定。此时，对双目相机本身进行校准时使用的标定板为定制化的第二标定板。进一步地，选取不重复的多个校准位置，并计算校准位置相对于第二标定板的位置的第一变换矩阵，校准位置包括第二标定板上设置的多个定位单元格。其中，首先针对双目相机组中第一组进行标定的双目相机选取校准位置。双目相机在校准位置上的拍摄范围包括设置的全部定位单元格。根据全部定位单元格，获取各个校准位置相对于第二标定板的第一变换矩阵T_i＝[R_i,T_i]，其中，i≥1,且为整数，i为第i个校准位置，R_i为在校准位置上的双目相机与第二标定板之间的旋转关系，T_i为在校准位置上的双目相机与第二标定板之间的平移关系。

进一步地，在每个采样位置上，计算机械臂控制的每组双目相机相对于第二标定板的位置的第二变换矩阵，并根据第一变换矩阵和第二变换矩阵，调整机械臂以使每组双目相机与第二标定板的位置为校准位置，并将多个校准位置确定为第二采样点。

可选地，在对后续的每组双目相机进行标定时，每组双目相机安装在机械臂上时相对于第二标定板的位置会有偏差。为了使后续进行标定的双目相机进行采样的采样位置与第一组进行标定的双目相机进行采样的采样位置相同，计算后续待标定的双目相机在每一个采样位置时与第二标定板的第二变换矩阵T_j＝[R_j,T_j]，其中，j≥1,且为整数，j为第j个校准位置,R_j为在采样位置上的后续的待标定双目相机与第二标定板之间的旋转关系，T_j为在采样位置上的后续的待标定双目相机与第二标定板之间的平移关系。进一步地，根据T_i和T_j之间的变换关系，调整后续的待标定双目相机的采样位置与对应的第一组标定相机的校准位置一致，以确保每组双目相机的深度摄像头和彩色摄像头的采集位置一致。此时的采样位置和校准位置一致，确定为第二采样点。

S402，机械臂控制每组双目相机在每个第二采样点通过彩色摄像头采集第一待处理图像。

这里，在每个第二采样点，机械臂控制每组双目相机的彩色摄像头采集第一待处理图像。第二采样点是机械臂控制的双目相机相对于第二标定板的位置。其中，第二标定板与传统的标定板的形式不同。如图5a所示，传统的标定板一般为方形标定板或如图5b所示的圆形标定板。其中，如图5a所示的方形标定板的角点一般为两个黑色方形的交点。而本申请实施例所示出的第二标定板不再以传统方式设置角点，如图5c所示，将每个黑色单元格和白色单元格作为独立的元素，检测每个单元格的边，并将黑色单元格和白色方单元格的几何中心作为角点的位置。进一步地，在确定了第二标定板的角点的位置后，在第二标定板上设置多个定位单元格。可选地，在第二标定板上以各个角点的位置为几何中心设置定位单元格，定位单元格可以是圆形、三角形或其它形式的图案。定位单元格的数量少于标定板中全部角点的数量，定位单元格之间的排列形式不受限制。如图5d所示，为本申请实施例500示出的第二标定板上的定位单元格的排列形式。其中，在第二标定板上设置三个圆形定位单元格，并按照图5d所示方式进行排列。

S403，机械臂控制每组双目相机在每个第二采样点通过深度摄像头采集第二待处理图像。

这里，双目相机的深度摄像头包括红外发射器、与红外发射器配合的红外(Infrared Radiation,IR)。其中，通过红外发射器发射红外光斑，同时红外摄像头捕捉红外光斑获取第二待处理图像。第二待处理图像包含在第二标定板上设置的多个定位单元格。

步骤S403与步骤S402同时执行，无先后执行顺序。

S404，根据定位码，在第一待处理图像中检测第一角点。

这里，,每张第一待处理图像中包含在第二标定板上设置的多个定位单元格。进一步地，机械臂逐个移动至第二采样点并采集第一待处理图像后，首先对第一待处理图像进行锐化处理，在图像成像质量较好时保存图像，或重新调节双目相机的曝光和增益以获取较好的图像成像质量。

进一步地，对第一待处理图像做二值化处理，将图像上的像素点的灰度值设置为0或255，使整张第一待处理图像呈现出明显的黑白效果。然后采用霍夫直线检测算法提取感兴趣的线段，在第一待处理图像中拟合直线并检测出方形单元格，提取方形单元格的几何中心作为第一角点的位置并进行亚像素处理。

S405，根据定位码，在第二待处理图像中检测第二角点。

本步骤中，使用与步骤S405中在第一待处理图像中检测第一角点的方法，在第二待处理图像中检测第二角点。

S406，根据定位单元格，对第一角点和第二角点进行配对。

这里，以定位单元格的位置为位置基准，将在第一待处理图像中检测出的多个第一角点与在第二待处理图像中检测出的第二角点进行配对，得到多个角点对。可选地，以第一待处理图像和第二待处理图像中采集到的同一个定位码为基准，将分别在第一待处理图像和第二待处理图像中检测到的第一角点和第二角点以确定的同一个定位码为基准进行配对。

S407，根据角点对，计算第二姿态标定参数。

本步骤中，根据第一待处理图像和第二待处理图像中形成的角点对的坐标误差，通过张氏标定算法确定双目相机中深度摄像头和彩色摄像头之间的第二姿态标定参数。其中，第二姿态标定参数包括深度摄像头和彩色摄像头之间的平移关系和旋转关系。若深度摄像头相对于彩色摄像头的第二姿态标定参数为其中，R₂表示深度摄像头和彩色摄像头之间的旋转关系，t₂表示深度摄像头和彩色摄像头之间的平移关系。则根据每组双目相机的多组角点对，计算每组双目相机的第二姿态标定参数，即R₂和t₂的值。

S408，根据第二姿态标定参数，将每组双目相机的深度摄像头和彩色摄像头进行标定。

这里，计算每组双目相机的第二姿态标定参数，并根据第二姿态标定参数，为每组双目相机的深度摄像头和彩色摄像头进行标定。

S409，将按照第二姿态标定参数对齐后的深度摄像头采集的第二待处理图像投影到彩色摄像头采集的第一待处理图像上,计算第二重投影误差。

这里，将经过标定后的第二待处理图像投影到第一待处理图像上。根据定位单元格，生成标定后的角点对。根据标定后的角点对的坐标计算第二重投影误差。可选地，将第二待处理图像中的第二角点的坐标根据第二姿态标定参数变换至彩色摄像头对应的相机坐标系中，并将第二角点在彩色摄像头对应的相机坐标系下的坐标投影在第一待处理图像中，得到第二角点在第一待处理图像中的投影坐标，并计算每个投影坐标与对应的第一角点的坐标的投影误差。进一步地，计算每个投影误差的误差均值，生成第二重投影误差。

S410，判断第二重投影误差是否满足第一预设阈值。

S411，将不满足第一预设阈值的第二重投影误差对应的第二姿态标定参数删除。

这里，当第二重投影误差的数值不满足第一预设阈值时，则将该组第二重投影误差对应的第二姿态标定参数删除。

S412，当第二重投影误差满足第一预设阈值时，则确定标定成功。

上述步骤S401至步骤412为单组双目相机进行标定的过程。

S413，选取机械臂控制双目相机组在选取的每个第一采样点上通过彩色摄像头采集采样图像组。

这里，第一采样点为控制双目相机组的机械臂相对于第一标定板的位置。可选地，第一采样点的位置可以使机械臂控制的双目相机组中的各个双目相机的摄像范围包括第一标定板中设置的多个定位码，此时机械臂的位置为第一采样点。

S414，判断每张采样图像中是否包含整块第一标定板。

这里，传统的标定板一般会采用棋盘格阵列和圆形阵列，由于棋盘格阵列和圆形阵列的构成单元都是重复性的方形格或圆形格，不具备奇异性和排他性。因此，为了将在采样图像上检测到的角点的坐标与其世界坐标相对应，需要检测到标定板中的所有角点。相机视野范围内应当可以检测到标定板上的所有角点。为了保证双目相机的彩色摄像头采集的采样图像中包含整块标定板，可以在第一标定板的四周和几何中心的位置分别设置定位码，以使在彩色摄像头拍摄到全部定位码时，采集的采样图像中包含整块第一标定板。

如图3所示，为本申请实施例300提供的一种定制化的第一标定板的示意图。可选地，在第一标定板的几何中心和四角分别添加定位码，通过添加定位码表使得标定板具备方向性和定位功能。定位码可以是二维码的形式，可以通过识别二维码可以准确地判断双目相机相对于第一标定板的方位信息。因此，可以通过定位码在每张采样图像中判断是否包括整块标定板。

S415，调整机械臂使得每张采样图像包括整块第一标定板。

这里，若采样图像中未包含整块标定板，则通过识别采样图像中的采集到的多个定位码，利用AprilTag视觉库来获取双目相机相对于定位码的变换矩阵，以获取双目相机与第一标定板之间的旋转关系和平移关系。根据确定的变换矩阵提供的方位信息调节机械臂的位置，使得采样图像中可以包含整块第一标定板。

S416，在采样图像组中的每一张采样图像中检测角点的坐标。

这里，首先对每一张采样图像进行自适应的二值化处理，将图像上的像素点的灰度值设置为0或255，使采样图像呈现出明显的黑白效果。然后采用霍夫直线检测算法拟合圆形，在采样图像中检测出圆形单元格并进行亚像素处理，提取圆形单元格的几何中心作为第一角点的坐标。

S417，计算采样图像组中相邻的采样图像之间的第一姿态标定参数。

这里，首先基于相邻两组双目相机的彩色摄像头的内参，根据坐标变换优化算法得到每个角点在相邻两组双目相机视野内的三维坐标，最后采用最小二乘法优化得到两组三维坐标对的变换矩阵，即第一姿态标定参数。若第一姿态标定参数为其中，R₁表示相邻的双目相机的彩色摄像头之间的旋转关系，t₁表示相邻的双目相机的彩色摄像头之间的平移关系。则根据相邻的双目相机之间的多组角点对，计算相邻的双目相机之间第二姿态标定参数，即R₁和t₁的值。

S418，根据第一姿态标定参数在双目相机组中调整相邻的双目相机之间的相对姿态。

S419，判断第一重投影误差是否满足第二预设阈值。

这里，按照第一姿态标定参数，将相邻的双目相机中的任一双目相机对应的采样图像中的任一数据点进行变换，并投影至相邻的双目相机中的另一双目相机的采样图像上，并计算任一数据点在另一双目相机的采样图像上的第一重投影误差，并将不满足预设阈值的第一重投影误差对应的第一姿态标定参数删除，以计算第一姿态标定参数的最优解。

S420，当第一重投影误差满足第二预设阈值时，则确定标定成功。

S421，将不满足第二预设阈值的第一重投影误差对应的第一姿态标定参数删除。

S422，利用标定后的双目相机组采集图像。

本步骤中，首先，在对单组双目相机进行标定计算第二姿态标定参数的同时，根据角点对，计算深度摄像头的第一相机内参和第一畸变参数，以及彩色摄像头的第二相机内参和第二畸变参数。可选地，利用角点提取算法分别提取第一待处理图像和第二待处理图像中采集的第二标定板的所有角点，然后通过张氏标定算法，N点透视(Perspective-n-point,PNP)算法来优化结果并得到双目相机的两个摄像头的内参数。其中，在提取了角点的图像坐标后，为了获取更高的精度，可以将提取到的角点的像素精确到亚像素精度。进一步地，分别计算双目相机的深度摄像头的第一相机内参和第一畸变参数，以及彩色摄像头的第二相机内参和第二畸变参数。其中，第一相机内参和第二相机内参为与深度摄像头和彩色摄像头自身相关的参数，第一相机内参其中，f_x1为深度摄像头在X轴上的焦距，f_y1为在Y轴上的焦距，c_x1为相对光轴而言x方向上的偏移量和相对光轴而言Y方向上的偏移量c_y1。相应的，第二相机内参其中，f_x2为彩色摄像头在X轴上的焦距，f_y2为在Y轴上的焦距，c_x2为相对光轴而言x方向上的偏移量和相对光轴而言Y方向上的偏移量c_y2。深度摄像头的第一畸变参数D₁＝[k₁₁,k₂₁,p₁₁,p₂₁,k₃₁]，其中，k₁₁,k₂₁,k₃为感光元平面跟透镜不平行所导致的径向畸变系数，p₁₁,p₂₁为相机制作工艺导致的切向畸变系数。以及，彩色摄像头的第二畸变参数D₂＝[k₁2,k₂₂,p₁₂,p₂₂,k₃₂]，其中，k₁₂,k₂₂,k₃₂为感光元平面跟透镜不平行所导致的径向畸变系数，p₁₂,p₂₂为相机制作工艺导致的切向畸变系数。

进一步地，根据第一相机内参和第一畸变参数对第一待处理图像进行去畸变处理，以及根据第二相机内参和所述第二畸变参数对第二待处理图像进行去畸变处理。可选地，根据内参数和畸变参数，分别对第一待处理图像和第二待处理图像进行去畸变处理。其中，对第一待处理图像进行去畸变处理的具体过程如下：r＝x²+y²，

x^′＝x×(1+k₁₁×r+k₂₁×r²+k₃₁×r³)+2×p₁₁×x×y+p₂₁×(r+2×x²),y^′＝y×(1+k₁₁×r+k₂₁×r²+k₃₁×r³)+2×p₂₁×x×y+p₁₁×(r+2×y²),其中，u₀和v₀是深度摄像头的中心点位置，u和v表示第一待处理图像上任意数据点的像素坐标，r为归一像素半径的平方，x和y是归一化像素坐标。对第二待处理图像进行去畸变的过程与上类似，在此不再赘述。

进一步地，根据第二姿态标定参数，将进行去畸变处理后的第一待处理图像和第二待处理图像进行像素点对齐，并将第一待处理图像投影在第二待处理图像上，生成每组双目相机的三维点云图。可选地，根据计算出的第二姿态标定参数将深度摄像头采集的第一待处理图像投影至第二待处理图像中，得到像素点一一对应的图像。将第一待处理图像投影至第二待处理图像中的方法如下：

其中，x和y是第一待处理图像中某个数据点的像素坐标位置，而x’和y’是是第一待处理图像对齐在第二待处理图像中的像素坐标位置。如图6a所示，为三组双目相机采集的像素点一一对应的图像的示意图。其中，左图为深度摄像图采集的第一待处理图像，右图为彩色摄像头采集的第二待处理图像。进一步地，将像素点一一对应的第一待处理图像和第二待处理图像进行合成，如图6b所示，为本申请实施例600提供的每组双目相机生成的三维点云图的示意图。

进一步地，以双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据第一姿态标定参数将双目相机组中的其它双目相机采集的采样图像投影至基准坐标系的采样图像上，生成双目相机组的三维点云图。

本申请基于上述步骤实现上述一种对双目相机组进行标定的方法。

基于上述实施例，当在三组双目相机之间进行标定的详细过程如下：

当对每组双目相机中的深度摄像头和彩色摄像头进行标定后，对三组双目相机的彩色摄像头进行标定。由于三组双目相机之间存在40度的旋转关系，故相邻双目相机之间的重叠视角很小，采用较小的添加了多个定位码的第一标定板来满足小视角标定的需求。

进一步地，与对每组双目相机的深度摄像头和彩色摄像头的标定过程一样，确定N个第一采样点。其中彩色摄像头的第二相机内参已经在单组双目相机的标定中确定，因此只需计算相邻两个双目相机的彩色摄像头之间的第一姿态标定参数即可。具体的，机械臂控制双目相机组逐个移动到第一采样位置，双目相机的彩色摄像头采集采样图像，并通过第一标定板上的五个定位码来检测相邻的双目相机的彩色摄像头的拍摄范围是否包含整块第一标定板，否则调节机械臂使其可拍摄到整块第一标定板。进一步地，精确定位第一标定板的角点坐标，计算相邻的两个彩色摄像头之间的第一姿态标定参数。

根据第一姿态标定参数，对双目相机组进行标定。记录双目相机组中每组双目相机在进行深度摄像头和彩色摄像头之间的标定时确定的第二姿态标定参数、深度摄像头和彩色摄像头的相机内参和畸变参数，以及上中和中下两组双目相机之间的第一姿态标定参数。如图7a所示，分别为第一组、第二组和第三组双目相机的彩色摄像头和深度摄像头采集的采样图像，共有3个第二待处理图像，即RGB彩色图像和3个第一待处理图像，即Depth深度图像。进一步地，利用每组双目相机的相机内参和畸变参数分别对6幅图像做去畸变处理，得到无畸变的图像。根据确定的每组双目相机的深度摄像头和深度摄像头之间的第二姿态标定参数分别将三组双目相机的Depth图像对齐到RGB图像的坐标系下。然后，根据如下公式，Z＝depth(x,y),其中，x和y投影前的图像坐标，X、Y、Z是投影后的三维点云坐标，u₀和v₀是相机光轴中心。分别将三组双目相机的Depth图像和RGB图像投影到自身相机坐标系下，形成每组双目相机的三维点云图像。最后，利用上中和中下的双目相机的第一姿态标定参数以中间的双目相机坐标系为基准，根据公式其中，X_W，Y_W，Z_W是世界坐标系下的三维坐标信息，X_c,Y_c,Z_c是相机坐标系下的三维坐标信息。将上、下两个双目相机的三维点云图像投影到中间相机坐标系下，如图7b所示，为本申请实施例700提供的最终由双目相机组生成的三维点云图像的示意图。

基于同一发明构思，本申请实施例800还提供一种对双目相机组进行标定的系统，其中，如图8所示，该系统包括机械臂单元801、第一标定板802、第二标定板803、双目相机组804和处理单元805，其中，双目相机组中805的任一双目相机包括深度摄像头和彩色摄像头，机械臂单元用于按照处理单元的指令控制多目相机组；

第一标定板802包含多个定位码和角点，用于为机械臂单元801控制的多目相机组804提供进行识别的目标；

第二标定板803包含多个定位单元格和角点，用于为机械臂单元801控制的每组双目相机提供进行识别的目标；

处理单元805用于控制机械臂单元801进行移动，以及对双目相机804组识别的数据进行分析，并计算双目相机组804中相邻的双目相机之间的第一姿态标定参数，以及任一双目相机中的深度摄像头和彩色摄像头之间的第二姿态标定参数。

对双目相机组进行标定的系统主要由械臂单元801、第一标定板802、第二标定板803、双目相机组804和处理单元805等组成。其中，处理器805主要用来控制机械臂单元801移动、采集和识别双目相机组804采集的数据。机械臂单元801控制单组双目相机进行关于第一标定板802的数据的采集，使得处理器单元805对单组双目相机进行标定。机械臂单元801可以进行大规模多传感器的标定工作。第一标定板802主要用于单组双目相机中深度摄像头和彩色摄像头的相机内参标定和第二姿态标定参数的标定。第二标定板803主要用于双目相机组中相邻的双目相机之间的相机内参和第一姿态标定参数的标定。第一标定板802的大小相较小于第二标定板803的大小。

基于同一发明构思，本申请实施例900还提供一种对双目相机组进行标定的装置，其中，如图9所示，该装置包括：

选取模块901，用于选取多个第一采样点；

采集模块902，用于机械臂控制双目相机组在选取的每个第一采样点上通过彩色摄像头采集采样图像组，其中，采样图像组中的每一张采样图像包含在第一标定板上设置的多个定位码；

检测模块903，用于根据定位码，在采样图像组中的每一张采样图像中检测角点坐标；

计算模块904，用于根据在相邻的采样图像中的角点坐标，计算采样图像组中相邻的采样图像之间的第一姿态标定参数，并根据第一姿态标定参数在双目相机组中调整相邻的双目相机之间的相对姿态。

本实施例中，选取模块901、采集模块902、检测模块903和计算模块904的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。

如图10所示，本申请的又一实施例10还提供一种终端设备，包括处理器101，其中，处理器101用于执行上述一种对双目相机组进行标定的方法的步骤。从图10中还可以看出，上述实施例提供的终端设备还包括非瞬时计算机可读存储介质102，该非瞬时计算机可读存储介质102上存储有计算机程序，该计算机程序被处理器101运行时执行上述一种对双目相机组进行标定的方法的步骤。实际应用中，该终端设备可以是一台或多台计算机，只要包括上述计算机可读介质和处理器即可。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘和FLASH等，该存储介质上的计算机程序被运行时，能够执行上述的一种对双目相机组进行标定的方法中的各个步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，能够执行上述的一种对双目相机组进行标定的方法中的各个步骤。

根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种对双目相机组进行标定的方法，其特征在于，包括：

选取多个第一采样点；

机械臂控制双目相机组在选取的每个所述第一采样点上通过彩色摄像头采集采样图像组，其中，所述采样图像组中的每一张采样图像包含在第一标定板上设置的多个定位码；

根据所述定位码，在所述采样图像组中的所述每一张采样图像中检测角点坐标；

根据在相邻的采样图像中的所述角点坐标，计算所述采样图像组中相邻的采样图像之间的第一姿态标定参数，并根据所述第一姿态标定参数在所述双目相机组中调整相邻的所述双目相机之间的相对姿态。

2.根据权利要求1所述的方法，其特征在于，在所述选取第一采样点的步骤之前，所述方法进一步包括：

选取多个第二采样点；

机械臂控制每组双目相机在选取的每个所述第二采样点，通过深度摄像头和彩色摄像头分别采集第一待处理图像和第二待处理图像，其中，每张所述第一待处理图像和所述第二待处理图像中包含在第二标定板上设置的多个定位单元格；

在所述第一待处理图像和所述第二待处理图像中分别检测第一角点和第二角点，并根据所述定位单元格，对所述第一角点和所述第二角点进行配对，生成角点对；

基于所述角点对，计算第二姿态标定参数，并根据所述第二姿态标定参数调整所述深度摄像头与所述彩色摄像头之间的相对姿态。

3.根据权利要求2所述的方法，其特征在于，所述选取多个第二采样点的步骤包括：

选取不重复的多个校准位置，并计算所述校准位置相对于所述第二标定板的位置的第一变换矩阵，所述校准位置包括所述第二标定板上设置的所述多个定位单元格；

在每个采样位置上，计算所述机械臂控制的所述每组双目相机相对于所述第二标定板的位置的第二变换矩阵；

根据所述第一变换矩阵和所述第二变换矩阵，调整所述机械臂以使所述每组双目相机与所述第二标定板的位置为所述校准位置，并将所述多个校准位置确定为所述第二采样点。

4.根据权利要求2所述的方法，其特征在于，在所述根据第一姿态标定参数在所述双目相机组中调整相邻的所述双目相机之间的相对姿态的步骤之后，所述方法进一步包括：

根据所述角点对，计算所述深度摄像头的第一相机内参和第一畸变参数，以及所述彩色摄像头的第二相机内参和第二畸变参数；

根据所述第一相机内参和所述第一畸变参数对所述第一待处理图像进行去畸变处理，以及根据所述第二相机内参和所述第二畸变参数对所述第二待处理图像进行去畸变处理；

根据第二姿态标定参数，将进行去畸变处理后的所述第一待处理图像和所述第二待处理图像进行像素点对齐，并将所述第一待处理图像投影在所述第二待处理图像上，生成每组双目相机的三维点云图。

5.根据权利要求1所述的方法，其特征在于，所述计算采样图像组中相邻的采样图像之间的第一姿态标定参数的步骤和所述根据第一姿态标定参数在所述双目相机组中调整相邻的所述双目相机之间的相对姿态的步骤，所述方法进一步包括：

按照所述第一姿态标定参数，将相邻的双目相机中的任一双目相机对应的所述采样图像中的任一数据点进行变换，并投影至所述相邻的双目相机中的另一双目相机的采样图像上；

计算任一数据点在所述另一双目相机的采样图像上的第一重投影误差，并将不满足预设阈值的所述第一重投影误差对应的所述第一姿态标定参数删除，并计算所述第一姿态标定参数的最优解。

6.根据权利要求4所述的方法，其特征在于，所述生成每组双目相机的三维点云图的步骤之后，所述方法进一步包括：

以所述双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据所述第一姿态标定参数将所述双目相机组中的其它所述双目相机采集的所述采样图像投影至所述基准坐标系的采样图像上，生成所述双目相机组的三维点云图。

7.一种对双目相机组进行标定的系统，其特征在于，包括机械臂单元、第一标定板、第二标定板、双目相机组和处理单元，其中，所述双目相机组中的任一双目相机包括深度摄像头和彩色摄像头，所述机械臂单元用于按照所述处理单元的指令控制所述多目相机组；

所述第一标定板包含多个定位码和角点，用于为所述机械臂单元控制的所述多目相机组提供进行识别的目标；

所述第二标定板包含多个定位单元格和角点，用于为所述机械臂单元控制的每组双目相机提供进行识别的目标；

所述处理单元用于控制所述机械臂单元进行移动，以及对所述双目相机组识别的数据进行分析，并计算双目相机组中相邻的双目相机之间的第一姿态标定参数，以及任一所述双目相机中的所述深度摄像头和所述彩色摄像头之间的第二姿态标定参数。

8.一种对双目相机组进行标定的装置，其特征在于，包括：

选取模块，用于选取多个第一采样点；

采集模块，用于机械臂控制双目相机组在选取的每个所述第一采样点上通过彩色摄像头采集采样图像组，其中，所述采样图像组中的每一张采样图像包含在第一标定板上设置的多个定位码；

检测模块，用于根据所述定位码，在所述采样图像组中的所述每一张采样图像中检测角点坐标；

计算模块，用于根据在相邻的采样图像中的所述角点坐标，计算所述采样图像组中相邻的采样图像之间的第一姿态标定参数，并根据所述第一姿态标定参数在所述双目相机组中调整相邻的所述双目相机之间的相对姿态。

9.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至6任一项所述的一种对双目相机组进行标定的方法中的各个步骤。

10.一种终端设备，其特征在于，包括处理器，所述处理器用于执行如权利要求1至6中任一项所述的一种对双目相机组进行标定的方法中的各个步骤。