CN112785656B - 双立体相机的标定方法及装置、电子设备及存储介质 - Google Patents

Abstract

本公开涉及一种双立体相机的标定方法及装置、电子设备及存储介质，双立体相机的标定方法包括将标定板放置于第一立体相机和第二立体相机的视场内，第一和第二立体相机的视场不交叠；获取标定板处于不同位姿下的第一和第二角点的拍摄坐标；根据第一角点的拍摄坐标将同在一条直线上的第一角点拟合为一条直线；根据第一角点的拍摄坐标以及空白区内的等效棋盘格遮挡图案获取位于拟合的直线上的第二角点的计算坐标；根据同一第二角点的计算坐标和拍摄坐标获取第一和第二立体相机所在坐标系之间的标定转换矩阵。本公开实施例实现了无重叠视场的双立体相机标定方法，标定板的制作较为简单，标定效率和精度较高，降低了完成双立体相机标定工作的成本。

Description

双立体相机的标定方法及装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种双立体相机的标定方法及装置、电子设备及存储介质。

背景技术

立体相机可以获取目标物体的三维点云，利用点云可以实现对目标的三维重建、检测以及测量工作等，单个立体相机的视野有限，单次获取的目标物体点云有时无法满足实际需求，因此可以把两台立体相机保持固定的位置关系，同时获取点云并进行拼接使用以扩大视野，获取更大目标的点云。要完成两台立体相机获取点云的拼接，这其中最重要是把两台立体相机获取的点云统一到一个坐标系下，即找到两台相机所在坐标系的转换矩阵以完成两台立体相机的外参标定。

目前已有的立体相机标定方案中，一种方案是通过拍摄固定于标定平板上的标定棋盘在不同姿态下的二维图像和三维点云，完成立体相机的标定。另一种方案是使用厚度不计的褶皱纸张，利用迭代最近点算法对多台立体相机进行外参标定，虽然能够实现多立体相机的匹配，但是两种标定方法均要求相机的视场有足够的重叠区域，这就导致如果视场重叠区域过大就会造成浪费，视场重叠区域过小又不足以放下标定板或者标定物，进而导致视场重叠区域过大或过小时上述方式的标定方案都会失去作用。另外，还可以通过各种方式建立全局坐标系，在全局坐标系提前做好标志点，而且标志点在全局坐标系已知，但是往往需要全站仪或者制作复杂的标定物进行配合，增加了完成立体相机标定的成本。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种双立体相机的标定方法及装置、电子设备及存储介质，实现了无重叠视场的双立体相机的标定方法，标定板的制作较为简单，标定效率和精度较高，有效降低了完成双立体相机标定工作的成本。

第一方面，本公开实施例提供了一种双立体相机的标定方法，包括：

将标定板放置于第一立体相机和第二立体相机的视场内；其中，所述第一立体相机和所述第二立体相机的视场不交叠，所述标定板上设置有第一有效区、第二有效区和位于所述第一有效区和所述第二有效区之间的空白区，所述第一有效区位于所述第一立体相机的视场中，所述第二有效区位于所述第二立体相机的视场中，所述第一有效区和所述第二有效区内设置有黑白棋盘格图案，相邻黑色棋盘格的交叠点为角点，位于所述第一有效区内的角点为第一角点，位于所述第二有效区内的角点为第二角点；

获取所述标定板处于不同位姿下的所述第一角点和所述第二角点的拍摄坐标；

根据所述第一角点的拍摄坐标将同在一条直线上的所述第一角点拟合为一条直线；

根据所述第一角点的拍摄坐标以及所述空白区内的等效棋盘格遮挡图案获取位于拟合的所述直线上的所述第二角点的计算坐标；

根据同一所述第二角点的计算坐标和拍摄坐标获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的标定转换矩阵。

可选地，根据所述第一角点的拍摄坐标将同在一条直线上的所述第一角点拟合为一条直线，包括：

根据所述第一角点的拍摄坐标将所有所述第一角点拟合为一个平面；

根据所述第一角点的拍摄坐标将所述第一角点在所述平面上投影以形成投影点；

将同在一条直线上的所述投影点拟合为一条直线。

可选地，采用最小二乘算法或者随机抽样一致算法将所有所述第一角点拟合为一个平面。

可选地，所述直线平行于所述第一有效区和所述第二有效区的排列方向；

根据所述第一角点的拍摄坐标以及所述空白区内的等效棋盘格遮挡图案获取位于拟合的所述直线上的所述第二角点的计算坐标，包括：

确定所述直线上第一角点至所述第一有效区与所述空白区的交界线之间的棋盘格数量，与所述等效棋盘格遮挡图案沿所述排列方向所包含的棋盘格数量，以及所述直线上第二角点至所述空白区与所述第二有效区交界线之间的棋盘格数量的总和；

根据所述第一角点的拍摄坐标以及棋盘格数量的所述总和获取位于拟合的所述直线上的所述第二角点的计算坐标。

可选地，根据所述第一角点的拍摄坐标以及棋盘格数量的所述总和获取位于拟合的所述直线上的所述第二角点的计算坐标，包括：

所述总和与棋盘格边长的乘积为位于同一拟合的所述直线上的所述第一角点和所述第二角点之间的距离；

根据所述第一角点的拍摄坐标、拟合的所述直线的方程以及所述距离获取位于拟合的所述直线上的所述第二角点的计算坐标。

可选地，根据每行的至少一个所述第一角点的拍摄坐标以及棋盘格数量的所述总和获取位于拟合的所述直线上的所有所述第二角点的计算坐标。

可选地，所述标定转换矩阵包括旋转矩阵和平移矩阵；

根据同一所述第二角点的计算坐标和拍摄坐标获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的标定转换矩阵，包括：

依据不同的所述第二角点，列出多组所述第二角点的计算坐标、所述第二角点的拍摄坐标、所述旋转矩阵和所述平移矩阵的关系等式；

根据所述关系等式获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的旋转矩阵和平移矩阵。

可选地，所述关系等式为：

其中，R为旋转矩阵，T为平移矩阵，(Px’,Py’,Pz’)为所述第二角点的计算坐标，(Px,Py,Pz)为所述第二角点的拍摄坐标。

可选地，采用奇异值分解算法根据同一所述第二角点的计算坐标和拍摄坐标获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的标定转换矩阵。

可选地，所述标定板的位姿包括所述标定板至所述第一立体相机和所述第二立体相机的距离，和/或，所述标定板相对于所述第一立体相机和所述第二立体相机的倾斜角度。

可选地，获取所述标定板处于至少八个不同位姿下的所述第一角点的拍摄坐标。

第二方面，本公开实施例还提供了一种双立体相机的标定装置，包括：

标定板设置模块，用于将标定板放置于第一立体相机和第二立体相机的视场内；其中，所述第一立体相机和所述第二立体相机的视场不交叠，所述标定板上设置有第一有效区、第二有效区和位于所述第一有效区和所述第二有效区之间的空白区，所述第一有效区位于所述第一立体相机的视场中，所述第二有效区位于所述第二立体相机的视场中，所述第一有效区和所述第二有效区内设置有黑白棋盘格图案，相邻黑色棋盘格的交叠点为角点，位于所述第一有效区内的角点为第一角点，位于所述第二有效区内的角点为第二角点；

第一坐标获取模块，用于获取所述标定板处于不同位姿下的所述第一角点和所述第二角点的拍摄坐标；

拟合模块，用于根据所述第一角点的拍摄坐标将同在一条直线上的所述第一角点拟合为一条直线；

第二坐标获取模块，用于根据所述第一角点的拍摄坐标以及所述空白区内的等效棋盘格遮挡图案获取位于拟合的所述直线上的所述第二角点的计算坐标；

矩阵获取模块，用于根据同一所述第二角点的计算坐标和拍摄坐标获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的标定转换矩阵。

第三方面，本公开实施例还提供了一种电子设备，包括处理器和存储器，所述处理器通过调用所述存储器存储的程序或指令，执行如第一方面所述的双立体相机的标定方法的步骤。

第四方面，本公开实施例还提供了一种存储介质，所述存储介质存储程序或指令，所述程序或指令使计算机执行如第一方面所述的双立体相机的标定方法的步骤。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例技术方案设置将标定板放置于第一立体相机和第二立体相机的视场内，第一立体相机和第二立体相机的视场不交叠，标定板上设置有第一有效区、第二有效区和位于第一有效区和第二有效区之间的空白区，第一有效区位于第一立体相机的视场中，第二有效区位于第二立体相机的视场中，第一有效区和第二有效区内设置有黑白棋盘格图案，相邻黑色棋盘格的交叠点为角点，位于第一有效区内的角点为第一角点，位于第二有效区内的角点为第二角点。获取标定板处于不同位姿下的第一角点的拍摄坐标，根据第一角点的拍摄坐标将同在一条直线上的第一角点拟合为一条直线，根据第一角点的拍摄坐标以及空白区内的等效棋盘格遮挡图案获取位于拟合的直线上的第二角点的计算坐标，获取标定板处于不同位姿下的第二角点的拍摄坐标，根据同一第二角点的计算坐标和拍摄坐标获取第一立体相机所在坐标系和第二立体相机所在坐标系之间的标定转换矩阵。由此，本公开实施例实现了一种无重叠视场的双立体相机的标定方法，标定板的制作较为简单，标定效率和精度较高，且无需借助例如全站仪等第三方工具，有效降低了完成双立体相机标定工作的成本。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种双立体相机的标定方法的流程示意图；

图2为本公开实施例提供的一种双立体相机的位置结构示意图；

图3为本公开实施例提供的一种标定板的俯视结构示意图；

图4为原始标定板的俯视结构示意图；

图5为本公开实施例提供的一种双立体相机的标定装置的结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

图1为本公开实施例提供的一种双立体相机的标定方法的流程示意图。双立体相机的标定方法可以应用在需要对双立体相机进行标定的应用场景，可以由本公开实施例提供的双立体相机的标定装置执行，该双立体相机的标定装置可以采用软件和/或硬件的方式来实现。如图1所示，双立体相机的标定方法包括：

S101、将标定板放置于第一立体相机和第二立体相机的视场内。

图2为本公开实施例提供的一种双立体相机的位置结构示意图，图3为本公开实施例提供的一种标定板的俯视结构示意图。结合图2和图3，第一立体相机1和第二立体相机2位于同一水平高度，其中视场100为第一立体相机1的视场，视场200为第二立体相机2的视场，第一立体相机1和第二立体相机2的视场不交叠。

标定板3上设置有第一有效区10、第二有效区20和位于第一有效区10和第二有效区20之间的空白区30，空白区30也可以称为无效区，将标定板3放置于第一立体相机1和第二立体相机2的视场内，可以设置第一有效区10位于第一立体相机1的视场100中，第二有效区20位于第二立体相机2的视场200中，即设置标定板3上的第一有效区10完全在第一立体相机1的视野中，标定板3上的第二有效区20完全在第二立体相机2的视野中。

第一有效区10和第二有效区20内设置有黑白棋盘格图案，相邻黑色棋盘格的交叠点为角点，位于第一有效区10内的角点为第一角点，位于第二有效区20内的角点为第二角点，例如点A即为第一角点，点B即为第二角点。具体地，图4为原始标定板的俯视结构示意图。如图4所示，为目前普遍使用的原始标定板，图3所示的本公开实施例所使用的标定板3仅需要遮挡原始标定板的中间部分，即可形成中间的空白区30以及两侧的第一有效区10和第二有效区20，使得本公开实施例所使用的标定板3的制作较为简单。

S102、获取标定板处于不同位姿下的第一角点和第二角点的拍摄坐标。

具体地，结合图2和图3，第一立体相机1对第一有效区10进行拍摄，获取第一有效区10内的二维图像以及三维点云，提取第一立体相机1获取到的二维图像中的第一角点并确定第一角点的拍摄坐标，第一角点的拍摄坐标为第一角点在点云中对应的三维坐标。

结合图2和图3，获取第一角点的拍摄坐标，可以获取标定板3处于不同位姿下的第一角点的拍摄坐标。示例性地，标定板3的位姿可以包括标定板3至第一立体相机1和第二立体相机2的距离，和/或，标定板3相对于第一立体相机1和第二立体相机2的倾斜角度。

具体地，在获取第一角点的拍摄坐标时，不断更换标定板3的位姿，即不断调整标定板3至第一立体相机1和第二立体相机2的距离，以及标定板3相对于第一立体相机1和第二立体相机2的倾斜角度，每调整一次标定板3的位姿，获取对应标定板3一个位姿下的第一角点的拍摄坐标。示例性地，可以设置获取标定板3处于至少八个不同位姿下的第一角点的拍摄坐标。

由此，每调整一次标定板3的位姿，形成一组第一角点拍摄坐标的采样，且每组采样对应的标定板3的位姿不同，即对应的标定板3到第一立体相机1和第二立体相机2的距离，或者标定板3相对于第一立体相机1和第二立体相机2的倾斜角度不同，增加第一角点拍摄坐标的采样次数有利于提高相机标定结果的准确性和精度。

具体地，结合图2和图3，第二立体相机2对第二有效区20进行拍摄，获取第二有效区20的二维图像以及三维点云，提取第二立体相机2获取到的二维图像中的第二角点并确定第二角点的拍摄坐标，第二角点的拍摄坐标为第二角点在点云中对应的三维坐标，且第二角点的拍摄坐标为第二角点在第二立体相机2所在坐标系中的坐标，可以设置第一角点的拍摄坐标获取过程与第二角点的拍摄坐标的获取过程同时进行。

结合图2和图3，获取第二角点的拍摄坐标，可以获取标定板3处于不同位姿下的第二角点的拍摄坐标。具体地，在获取第一角点以及第二角点的拍摄坐标时，不断更换标定板3的位姿，即不断调整标定板3至第一立体相机1和第二立体相机2的距离，以及标定板3相对于第一立体相机1和第二立体相机2的倾斜角度，每调整一次标定板3的位姿，获取对应标定板3一个位姿下的第一角点以及第二角点的拍摄坐标。示例性地，可以设置获取标定板3处于至少八个不同位姿下的第一角点以及第二角点的拍摄坐标。

由此，每调整一次标定板3的位姿，形成一组第一角点以及第二角点拍摄坐标的采样，且每组采样对应的标定板3的位姿不同，即对应的标定板3到第一立体相机1和第二立体相机2的距离，或者标定板3相对于第一立体相机1和第二立体相机2的倾斜角度不同，增加第一角点以及第二角点拍摄坐标的采样次数有利于提高相机标定结果的准确性和精度。

S103、根据第一角点的拍摄坐标将同在一条直线上的第一角点拟合为一条直线。

具体地，结合图2和图3，根据第一角点的拍摄坐标将同在一条直线上的第一角点拟合为一条直线，可以先根据第一角点的拍摄坐标将所有第一角点拟合为一个平面。示例性地，可以采用最小二乘算法或者随机抽样一致算法将所有第一角点拟合为一个平面。具体地，第一立体相机1对第一有效区10进行拍摄，获取第一有效区10的二维图像以及三维点云，提取第一立体相机1获取到的二维图像中的第一角点并确定第一角点的拍摄坐标，对于每组第一角点拍摄坐标的采样，根据第一角点的拍摄坐标将所有第一角点对应的三维坐标点由最小二乘算法或者随机抽样一致算法拟合为一个平面。

然后根据第一角点的拍摄坐标将第一角点在平面上投影以形成投影点，并将同在一条直线上的投影点拟合为一条直线。如图3所示，经由投影点拟合出的直线例如可以为图3中横向一行第一角点的连线，即拟合出的直线平行于第一有效区10和第二有效区20的排列方向。

第一立体相机1由于拍摄测量误差会导致拍摄得到的第一角点在高度有所变化，导致所有的第一角点并不再一个平面上，因此先根据第一角点的拍摄坐标将所有第一角点拟合为一个平面，再根据第一角点的拍摄坐标将第一角点在平面上投影以形成投影点，并将同在一条直线上的投影点拟合为一条直线，能够有效消除第一立体相机1的拍摄测量误差。

S104、根据第一角点的拍摄坐标以及空白区内的等效棋盘格遮挡图案获取位于拟合的直线上的第二角点的计算坐标。

具体地，拟合的直线平行于第一有效区10和第二有效区20的排列方向，即经由投影点拟合出的直线例如可以为图3中横向一行第一角点的连线，根据第一角点的拍摄坐标以及空白区30内的等效棋盘格遮挡图案获取位于拟合的直线上的第二角点的计算坐标，可以根据制作标定板3时的已知几何关系求解右侧第二有效区20内位于拟合的直线上的第二角点的计算坐标，即求解出计算获得的位于拟合的直线上的第二角点对应三维点云的三维坐标。

具体地，确定直线上第一角点至第一有效区10与空白区30的交界线之间的棋盘格数量，以第一角点A为例，直线上第一角点A至第一有效区10与空白区30的交界线之间的棋盘格数量为5。确定空白区30的等效棋盘格遮挡图案沿排列方向所包含的棋盘格数量，结合图3和图4，例如可以设置遮挡原始标定板3的部分横向包含的棋盘格数量为8，本公开实施例对空白区30的等效棋盘格遮挡图案沿排列方向所包含的棋盘格数量不作具体限定，空白区30的等效棋盘格遮挡图案沿排列方向所包含的棋盘格数量可以提前存储在系统中。确定直线上第二角点至空白区30与第二有效区20交界线之间的棋盘格数量，以第二角点B为例，直线上第二角点B至空白区30与第二有效区20交界线之间的棋盘格数量为7，则确定直线上第一角点至第一有效区10与空白区30的交界线之间的棋盘格数量与等效棋盘格遮挡图案沿排列方向所包含的棋盘格数量以及直线上第二角点至空白区30与第二有效区20交界线之间的棋盘格数量的总和为20。

可以根据第一角点的拍摄坐标以及棋盘格数量的总和获取位于拟合的直线上的第二角点的计算坐标。具体地，可以设置总和与棋盘格边长的乘积为位于同一拟合的直线上的第一角点和第二角点之间的距离，根据第一角点的拍摄坐标、拟合的直线的方程以及位于同一拟合的直线上的第一角点和第二角点之间的距离获取位于拟合的直线上的第二角点的计算坐标。

示例性地，棋盘格数量的总和，例如20与棋盘格边长的乘积即为位于同一拟合直线上的第一角点A与第二角点B之间的距离，拟合的直线的方程已知，再结合已知该直线上的第一角点的拍摄坐标，即三维坐标，可以计算获得位于拟合的直线上的第二角点的计算坐标，第二角点的计算坐标是第二角点在第一立体相机1所在坐标系中的坐标。

由此，设置拟合的直线平行于第一有效区10和第二有效区20的排列方向，并根据第一角点的拍摄坐标以及空白区30内的等效棋盘格遮挡图案获取位于拟合的直线上的第二角点的计算坐标，有效简化了第二角点计算坐标的获取过程，有利于提高双立体相机的标定效率。

S105、根据同一第二角点的计算坐标和拍摄坐标获取第一立体相机所在坐标系和第二立体相机所在坐标系之间的标定转换矩阵。

具体地，立体相机可以获取目标物体的三维表面信息，即三维点云，利用点云可以实现对目标的三维重建、检测以及测量等，单个立体相机的视野有限，单次获取目标物体点云有时无法满足实际需求，因此需要把两台立体相机保持固定的位置关系，同时获取点云并进行拼接使用，这样就可以扩大视野，获取更大目标的点云。要完成两台立体相机获取的点云进行拼接，这其中最重要是把两台立体相机获取的点云统一到一个坐标系下，例如可以选取统一到第一台立体相机的坐标系下，就需要把第二个相机的点云描述转换到第一台相机坐标系下描述，即找到两台相机所在坐标系的转换矩阵，也即确定两台立体相机的外参标定。

示例性地，转换矩阵B可以表示为4×4的矩阵，转换矩阵B满足如下计算公式：

其中，转换矩阵B，即外参标定矩阵可以标记成一个4×4的矩阵，也可以是由一个3×3的旋转矩阵R和一个3×1的平移矩阵T组成，坐标系通过一些刚体变换，例如分别沿x方向，y方向或者z方向做一些平移和旋转就可以转换到另外一个坐标系。要实现两个立体相机的标定，就需要求出平移量x，y和z以及旋转量rx，ry和rz，就可以计算出平移矩阵T和旋转矩阵R。上述公式中，为方便计算，将旋转矩阵R和平移矩阵T均扩展为4×4的矩阵，等式中第二行前三个矩阵对应旋转矩阵R，后面一个矩阵对应平移矩阵T，根据线性代数相关理论，上述矩阵的扩展并不影响计算结果。

针对双立体相机，以第一立体相机1获取的点云所在坐标系作为基础坐标系，只要标定出第二立体相机2与第一立体相机1的转换矩阵B，即标定出第二立体相机2与第一立体相机1的旋转矩阵R和平移矩阵T，就可以完成两台立体相机的标定工作，实现二者坐标系的统一。

具体地，标定转换矩阵包括旋转矩阵和平移矩阵，根据同一第二角点的计算坐标和拍摄坐标获取第一立体相机1所在坐标系和第二立体相机2所在坐标系之间的标定转换矩阵，可以依据不同的第二角点，列出多组第二角点的计算坐标、第二角点的拍摄坐标、旋转矩阵和平移矩阵的关系等式，根据关系等式获取第一立体相机1所在坐标系和第二立体相机2所在坐标系之间的旋转矩阵和平移矩阵。

具体地，关系等式为：

其中，R为旋转矩阵，T为平移矩阵，(Px’,Py’,Pz’)为第二角点的计算坐标，(Px,Py,Pz)为第二角点的拍摄坐标。具体地，根据制作标定板3时已知的几何关系求解得到的第二有效区20内第二角点计算坐标对应的三维坐标点P’与第二立体相机2拍摄得到的第二有效区20内第二角点拍摄坐标对应的三维坐标点P属于物理世界中的同一个点，称为同名点，P’的坐标为(Px’,Py’,Pz’)，P的坐标为(Px,Py,Pz)，二者之间满足计算公式P’＝(RT)P，即满足上述关系等式。

示例性地，可以采用奇异值分解算法根据同一第二角点的计算坐标和拍摄坐标获取第一立体相机1所在坐标系和第二立体相机2所在坐标系之间的标定转换矩阵。

可选地，可以设置根据每行的至少一个第一角点的拍摄坐标以及棋盘格数量的总和获取位于拟合的直线上的所有第二角点的计算坐标。具体地，结合图2和图3，至少获取第一有效区10内每一行的至少一个第一角点，则根据每一行的至少一个第一角点的拍摄坐标、每行的拟合直线以及对应的中间间隔的棋盘格数量的总和，可以获取到第二有效区20内所有第二角点的计算坐标。另外，第二立体相机2拍摄时也可以获取到第二有效区20内所有第二角点的拍摄坐标。

示例性地，以第二有效区20内角点的数量为80个为例，每调整一次标定板3的位姿，即可获取到80个第二角点的拍摄坐标和计算坐标，即获取到80组同名点，可以设置获取标定板3处于八个不同位姿下的第一角点的拍摄坐标和第二角点的拍摄坐标，则共存在640组同名点，640组同名点均满足P’＝(RT)P的关系等式，可以列出640个上述关系等式。

针对640个上述关系等式，可以采用奇异值分解算法，根据同一第二角点的计算坐标和拍摄坐标获取第一立体相机1所在坐标系和第二立体相机2所在坐标系之间的标定转换矩阵，即获取到第一立体相机1所在坐标系和第二立体相机2所在坐标系之间的旋转矩阵R和平移矩阵T，进而可以求得第一立体相机1所在坐标系和第二立体相机2所在坐标系之间的转换矩阵B，即外参标定矩阵，实现了第一立体相机1和第二立体相机2之间的标定工作。需要说明的是，利用奇异值分解算法根据多个关系等式求解旋转矩阵R和平移矩阵T的过程为本领域常规技术，这里不再展开论述。

需要说明的是，上述实施例仅示例性地以S101至S106表示双立体相机的标定方法中的各个步骤，并不代表对各个步骤执行顺序的限定，除有绝对的必要使得两个步骤之间的严格的先后执行顺序，其余步骤之间可以同时进行或者进行先后执行顺序的调整，本公开实施例对此不作具体限定。另外，上述实施例以第一立体相机1所在坐标系为基础坐标系，将第二立体相机2所在坐标系统一到第一立体相机1所在坐标系，也可以以第二立体相机2所在坐标系为基础坐标系，将第一立体相机1所在坐标系统一到第二立体相机2所在坐标系，标定过程相同，这里不再赘述。

本公开实施例技术方案实现了一种无重叠视场的双立体相机的标定方法，标定板3的制作较为简单，标定效率和精度较高，且无需借助例如全站仪等第三方工具，有效降低了完成双立体相机标定工作的成本。

本公开实施例还提供了一种双立体相机的标定装置，图5为本公开实施例提供的一种双立体相机的标定装置的结构示意图。如图5所示，双立体相机的标定装置包括标定板设置模块201、第一坐标获取模块202、拟合模块203、第二坐标获取模块204和矩阵获取模块205。

结合图2至图5，标定板设置模块201用于将标定板3放置于第一立体相机1和第二立体相机2的视场内；其中，第一立体相机1和第二立体相机2的视场不交叠，标定板3上设置有第一有效区10、第二有效区20和位于第一有效区10和第二有效区20之间的空白区30，第一有效区10位于第一立体相机1的视场中，第二有效区20位于第二立体相机2的视场中，第一有效区10和第二有效区20内设置有黑白棋盘格图案，相邻黑色棋盘格的交叠点为角点，位于第一有效区10内的角点为第一角点，位于第二有效区20内的角点为第二角点。第一坐标获取模块202用于获取标定板处于不同位姿下的第一角点和第二角点的拍摄坐标，拟合模块203用于根据第一角点的拍摄坐标将同在一条直线上的第一角点拟合为一条直线，第二坐标获取模块204用于根据第一角点的拍摄坐标以及空白区30内的等效棋盘格遮挡图案获取位于拟合的直线上的第二角点的计算坐标，矩阵获取模块205用于根据同一第二角点的计算坐标和拍摄坐标获取第一立体相机1所在坐标系和第二立体相机2所在坐标系之间的标定转换矩阵。

本发明实施例还提供了一种电子设备，图6为本发明实施例提供的一种电子设备的结构示意图。如图6所示，电子设备包括处理器和存储器，处理器通过调用存储器存储的程序或指令，执行如上述实施例的双立体相机的标定方法的步骤，因此具备上述实施例的有益效果，这里不再赘述。

如图6所示，可以设置电子设备包括至少一个处理器301、至少一个存储器302和至少一个通信接口303。电子设备中的各个组件通过总线系统304耦合在一起。通信接口303用于与外部设备之间的信息传输。可理解，总线系统304用于实现这些组件之间的连接通信。总线系统304除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图6中将各种总线都标为总线系统304。

可以理解，本实施例中的存储器302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。在一些实施方式中，存储器302存储了如下的元素：可执行单元或者数据结构，或者他们的子集，或者他们的扩展集操作系统和应用程序。在本发明实施例中，处理器301通过调用存储器302存储的程序或指令，执行本发明实施例提供的双立体相机的标定方法各实施例的步骤。

本发明实施例提供的双立体相机的标定方法可以应用于处理器301中，或者由处理器301实现。处理器301可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本发明实施例提供的双立体相机的标定方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成方法的步骤。

该电子设备还可以包括一个实体部件，或者多个实体部件，以根据处理器301在执行本申请实施例提供的双立体相机的标定方法时生成的指令。各个实体部件与处理器301和存储器302共同配合实现本实施例中电子设备的功能。

本发明实施例还提供一种存储介质，例如计算机可读存储介质，存储介质存储程序或指令，该程序或指令使计算机执行行时用于执行一种双立体相机的标定方法，该方法包括：

将标定板放置于第一立体相机和第二立体相机的视场内；其中，第一立体相机和第二立体相机的视场不交叠，标定板上设置有第一有效区、第二有效区和位于第一有效区和第二有效区之间的空白区，第一有效区位于第一立体相机的视场中，第二有效区位于第二立体相机的视场中，第一有效区和第二有效区内设置有黑白棋盘格图案，相邻黑色棋盘格的交叠点为角点，位于第一有效区内的角点为第一角点，位于第二有效区内的角点为第二角点；

获取标定板处于不同位姿下的第一角点和第二角点的拍摄坐标；

根据第一角点的拍摄坐标将同在一条直线上的第一角点拟合为一条直线；

根据第一角点的拍摄坐标以及空白区内的等效棋盘格遮挡图案获取位于拟合的直线上的第二角点的计算坐标；

根据同一第二角点的计算坐标和拍摄坐标获取第一立体相机所在坐标系和第二立体相机所在坐标系之间的标定转换矩阵。

可选地，该计算机可执行指令在由计算机处理器执行时还可以用于执行本发明任意实施例所提供的双立体相机的标定方法的技术方案。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种双立体相机的标定方法，其特征在于，包括：

将标定板放置于第一立体相机和第二立体相机的视场内；其中，所述第一立体相机和所述第二立体相机的视场不交叠，所述标定板上设置有第一有效区、第二有效区和位于所述第一有效区和所述第二有效区之间的空白区，所述第一有效区位于所述第一立体相机的视场中，所述第二有效区位于所述第二立体相机的视场中，所述第一有效区和所述第二有效区内设置有黑白棋盘格图案，相邻黑色棋盘格的交叠点为角点，位于所述第一有效区内的角点为第一角点，位于所述第二有效区内的角点为第二角点；

获取所述标定板处于不同位姿下的所述第一角点和所述第二角点的拍摄坐标；

根据所述第一角点的拍摄坐标将同在一条直线上的所述第一角点拟合为一条直线；

根据所述第一角点的拍摄坐标以及所述空白区内的等效棋盘格遮挡图案获取位于拟合的所述直线上的所述第二角点的计算坐标；

根据同一所述第二角点的计算坐标和拍摄坐标获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的标定转换矩阵；

所述标定转换矩阵包括旋转矩阵和平移矩阵；

根据同一所述第二角点的计算坐标和拍摄坐标获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的标定转换矩阵，包括：

依据不同的所述第二角点，列出多组所述第二角点的计算坐标、所述第二角点的拍摄坐标、所述旋转矩阵和所述平移矩阵的关系等式；

根据所述关系等式获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的旋转矩阵和平移矩阵。

2.根据权利要求1所述的双立体相机的标定方法，其特征在于，根据所述第一角点的拍摄坐标将同在一条直线上的所述第一角点拟合为一条直线，包括：

根据所述第一角点的拍摄坐标将所有所述第一角点拟合为一个平面；

根据所述第一角点的拍摄坐标将所述第一角点在所述平面上投影以形成投影点；

将同在一条直线上的所述投影点拟合为一条直线。

3.根据权利要求2所述的双立体相机的标定方法，其特征在于，采用最小二乘算法或者随机抽样一致算法将所有所述第一角点拟合为一个平面。

4.根据权利要求1所述的双立体相机的标定方法，其特征在于，所述直线平行于所述第一有效区和所述第二有效区的排列方向；

根据所述第一角点的拍摄坐标以及所述空白区内的等效棋盘格遮挡图案获取位于拟合的所述直线上的所述第二角点的计算坐标，包括：

确定所述直线上第一角点至所述第一有效区与所述空白区的交界线之间的棋盘格数量，与所述等效棋盘格遮挡图案沿所述排列方向所包含的棋盘格数量，以及所述直线上第二角点至所述空白区与所述第二有效区交界线之间的棋盘格数量的总和；

根据所述第一角点的拍摄坐标以及棋盘格数量的所述总和获取位于拟合的所述直线上的所述第二角点的计算坐标。

5.根据权利要求4所述的双立体相机的标定方法，其特征在于，根据所述第一角点的拍摄坐标以及棋盘格数量的所述总和获取位于拟合的所述直线上的所述第二角点的计算坐标，包括：

所述总和与棋盘格边长的乘积为位于同一拟合的所述直线上的所述第一角点和所述第二角点之间的距离；

根据所述第一角点的拍摄坐标、拟合的所述直线的方程以及所述距离获取位于拟合的所述直线上的所述第二角点的计算坐标。

6.根据权利要求4或5所述的双立体相机的标定方法，其特征在于，根据每行的至少一个所述第一角点的拍摄坐标以及棋盘格数量的所述总和获取位于拟合的所述直线上的所有所述第二角点的计算坐标。

7.根据权利要求1所述的双立体相机的标定方法，其特征在于，所述关系等式为：

其中，R为旋转矩阵，T为平移矩阵，(Px’,Py’,Pz’)为所述第二角点的计算坐标，(Px,Py,Pz)为所述第二角点的拍摄坐标。

8.根据权利要求1或7所述的双立体相机的标定方法，其特征在于，采用奇异值分解算法根据同一所述第二角点的计算坐标和拍摄坐标获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的标定转换矩阵。

9.根据权利要求1所述的双立体相机的标定方法，其特征在于，所述标定板的位姿包括所述标定板至所述第一立体相机和所述第二立体相机的距离，和/或，所述标定板相对于所述第一立体相机和所述第二立体相机的倾斜角度。

10.根据权利要求9所述的双立体相机的标定方法，其特征在于，获取所述标定板处于至少八个不同位姿下的所述第一角点的拍摄坐标。

11.一种双立体相机的标定装置，其特征在于，包括：

标定板设置模块，用于将标定板放置于第一立体相机和第二立体相机的视场内；其中，所述第一立体相机和所述第二立体相机的视场不交叠，所述标定板上设置有第一有效区、第二有效区和位于所述第一有效区和所述第二有效区之间的空白区，所述第一有效区位于所述第一立体相机的视场中，所述第二有效区位于所述第二立体相机的视场中，所述第一有效区和所述第二有效区内设置有黑白棋盘格图案，相邻黑色棋盘格的交叠点为角点，位于所述第一有效区内的角点为第一角点，位于所述第二有效区内的角点为第二角点；

第一坐标获取模块，用于获取所述标定板处于不同位姿下的所述第一角点和所述第二角点的拍摄坐标；

拟合模块，用于根据所述第一角点的拍摄坐标将同在一条直线上的所述第一角点拟合为一条直线；

第二坐标获取模块，用于根据所述第一角点的拍摄坐标以及所述空白区内的等效棋盘格遮挡图案获取位于拟合的所述直线上的所述第二角点的计算坐标；

矩阵获取模块，用于根据同一所述第二角点的计算坐标和拍摄坐标获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的标定转换矩阵；所述标定转换矩阵包括旋转矩阵和平移矩阵；根据同一所述第二角点的计算坐标和拍摄坐标获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的标定转换矩阵，包括：依据不同的所述第二角点，列出多组所述第二角点的计算坐标、所述第二角点的拍摄坐标、所述旋转矩阵和所述平移矩阵的关系等式；根据所述关系等式获取所述第一立体相机所在坐标系和所述第二立体相机所在坐标系之间的旋转矩阵和平移矩阵。

12.一种电子设备，其特征在于，包括处理器和存储器，所述处理器通过调用所述存储器存储的程序或指令，执行如权利要求1-10任一项所述的双立体相机的标定方法的步骤。

13.一种存储介质，其特征在于，所述存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1-10任一项所述的双立体相机的标定方法的步骤。