CN112634374B - 双目相机的立体标定方法、装置、系统及双目相机 - Google Patents

Abstract

本申请实施例公开了一种双目相机的立体标定方法、装置、系统及双目相机，属于计算机视觉技术领域。本方案中标定装置通过反向补光、漫反射面反射光线和热量，且保证散热，使标定板上的光线和热量均匀稳定，这样拍摄得到的可见光图像和热红外图像清晰。本方案中的立体标定方法，先将两台相机的成像规格统一，这样后续的立体标定能够准确有效。另外，在本方案中还对沿光轴方向的平移分量作减小处理，来确定两台相机各自的旋转量，后续基于确定的旋转量旋转校正图像后，能够保留更多的图像，保证了图像的可用性，也即保证了立体标定的可靠性。在将该立体标定方法结合该标定装置的情况下，立体标定的精准度更高。

Description

双目相机的立体标定方法、装置、系统及双目相机

技术领域

本申请实施例涉及计算机视觉技术领域，特别涉及一种双目相机的立体标定方法、装置、系统及双目相机。

背景技术

当前，可见光相机和热红外相机组成的双目相机在测温、测距等需要计算图像深度的场景中得到应用。这种双目相机是一种异源、异构的双目相机。其中，异源是指组成双目的两台相机的信号来源不同，可见光相机的信号来源是可见光，热红外相机的信号来源是热量，异构是指组成双目的两台相机的分辨率、焦距、像元尺寸、视场角等物理结构不完全相同。

由于可见光相机和热红外组成的双目相机为异源、异构的双目相机，可见光相机和热红外相机的物理结构差异较大，标定困难重重，后续采用异源异构的双目相机进行测距测温的时候也会影响到准确性，因此，需要提出一种针对可见光与热红外双目相机的立体标定方法。

发明内容

本申请实施例提供了一种双目相机的立体标定方法、装置、系统及双目相机，有效针对可见光与热红外相机的立体标定，且保证了立体标定的精准度。所述技术方案如下：

一方面，提供了一种双目相机的立体标定方法，所述双目相机包括可见光相机和热红外相机，所述方法包括：

对多对初始图像进行处理，得到成像规格统一的多对第一图像，所述多对初始图像中的每对初始图像包括同一物体的可见光图像和热红外图像；

对所述多对第一图像进行标定点提取，得到所述多对第一图像中提取出的标定点的像素坐标；

根据所述多对第一图像中提取出的标定点的像素坐标，标定所述双目相机的外参，所述外参包括所述可见光相机和所述热红外相机之间的平移矩阵和旋转矩阵；

将所述外参包括的平移矩阵中表示沿光轴方向的平移分量作减小处理，得到调整后的平移矩阵，根据所述旋转矩阵和所述调整后的平移矩阵，标定所述可见光相机和所述热红外相机各自的旋转量。

可选地，所述对所述多对第一图像进行标定点提取，得到所述多对第一图像中提取出的标定点的像素坐标，包括：

基于二值化处理的方式，提取所述多对第一图像中每个第一图像中的轮廓；

对于所述多对第一图像中的任一第一图像，根据所述任一第一图像中的轮廓的像素坐标，确定所述任一第一图像中提取出的标定点的像素坐标。

可选地，所述多对第一图像中的每个第一图像中待提取的标定点是等间距均匀分布的；

所述根据所述任一第一图像中的轮廓的像素坐标，确定所述任一第一图像中提取出的标定点的像素坐标，包括：

将所述任一第一图像中相距在距离阈值之内，且数量不少于轮廓阈值的多个轮廓，组成轮廓族，得到所述任一第一图像中的多个轮廓族；

对于所述任一第一图像中的任一轮廓族，从所述任一第一图像中的多个轮廓族中，获取与所述任一轮廓族距离最近的目标轮廓族，计算所述任一轮廓族的中心与所述目标轮廓族的中心之间的像素横坐标差值和像素纵坐标差值，得到所述任一轮廓族对应的像素横坐标差值和像素纵坐标差值，所述像素横坐标差值和所述像素纵坐标差值不小于零；

计算所述任一第一图像中每个轮廓族对应的像素横坐标差值和像素纵坐标差值的和，得到所述任一第一图像中相应轮廓族对应的标定间距；

将所述任一第一图像中对应的标定间距与参考间距之间的差距超过间距阈值的轮廓族剔除，将剩余的每个轮廓族的中心确定为提取出的一个标定点，将剩余的每个轮廓族的中心像素坐标确定为提取出的一个标定点的像素坐标。

可选地，所述多对第一图像中的每对第一图像包括的可见光图像和热红外图像的分辨率统一；

所述对多对初始图像进行处理，得到成像规格统一的多对第一图像，包括：

根据所述热红外相机对应的上采样倍数，对所述多对初始图像中的热红外图像进行上采样，得到所述多对第一图像中的热红外图像；

根据所述可见光相机对应的裁剪区域，对所述多对初始图像中的可见光图像进行裁剪，得到所述多对第一图像中的可见光图像。

可选地，所述对多对初始图像进行处理，得到成像规格统一的多对第一图像之前，还包括：

根据同一热源在一对或多对第二图像中的像素尺寸关系，确定所述热红外相机对应的上采样倍数，所述一对或多对第二图像中的每对第二图像包括同一热源的可见光图像和热红外图像；

根据所述热红外相机的原分辨率和所述上采样倍数，以及同一热源在一对或多对第三图像中对应的像素坐标之间的差值关系，确定所述可见光相机对应的裁剪区域，所述一对或多对第三图像中的每对第三图像包括同一热源的可见光图像和热红外图像。

可选地，所述根据同一热源在一对或多对第二图像中的像素尺寸关系，确定所述热红外相机对应的上采样倍数，包括：

计算同一热源在所述一对或多对第二图像中的每对第二图像中的像素长度之间的比值，和/或，计算同一热源在所述一对或多对第二图像中的每对第二图像中的像素面积之间的比值，得到至少一个缩放比值；

根据所述至少一个缩放比值，确定所述热红外相机对应的上采样倍数。

可选地，所述根据所述热红外相机的分辨率和所述上采样倍数，以及同一热源在一对或多对第三图像中对应的像素坐标之间的差值关系，确定所述可见光相机对应的裁剪区域，包括：

对于所述一对或多对第三图像中的任一对第三图像，分别计算同一热源在所述任一对第三图像中的像素横坐标之间的差值和像素纵坐标之间的差值，得到所述任一对第三图像对应的横坐标差值和纵坐标差值；

根据所述一对或多对第三图像对应的横坐标差值，得到所述可见光相机和所述热红外相机之间的横坐标偏置，根据所述一对或多对第三图像对应的纵坐标差值，得到所述可见光相机与所述热红外相机之间的纵坐标偏置；

根据所述热红外相机的原水平分辨率和所述上采样倍数，确定统一后的水平分辨率，根据所述热红外相机的原竖直分辨率和所述上采样倍数，确定统一后的竖直分辨率；

根据所述可见光相机与所述热红外相机之间的横坐标偏置和纵坐标偏置，以及所述统一后的水平分辨率和所述统一后的竖直分辨率，确定所述可见光相机对应的裁剪区域。

另一方面，提供了一种双目相机的立体标定装置，所述装置包括：

规格统一模块，用于对多对初始图像进行处理，得到成像规格统一的多对第一图像，所述多对初始图像中的每对初始图像包括同一物体的可见光图像和热红外图像；

标定点提取模块，用于对所述多对第一图像进行标定点提取，得到所述多对第一图像中提取出的标定点的像素坐标；

外参标定模块，用于根据所述多对第一图像中提取出的标定点的像素坐标，标定所述双目相机的外参，所述外参包括所述可见光相机和所述热红外相机之间的平移矩阵和旋转矩阵；

立体校正模块，用于将所述外参包括的平移矩阵中表示沿光轴方向的平移分量作减小处理，得到调整后的平移矩阵，根据所述旋转矩阵和所述调整后的平移矩阵，标定所述可见光相机和所述热红外相机各自的旋转量。

可选地，所述标定点提取模块包括：

轮廓提取单元，用于基于二值化处理的方式，提取所述多对第一图像中每个第一图像中的轮廓；

标定点确定单元，用于对于所述多对第一图像中的任一第一图像，根据所述任一第一图像中的轮廓的像素坐标，确定所述任一第一图像中提取出的标定点的像素坐标。

可选地，所述多对第一图像中的每个第一图像中待提取的标定点是等间距均匀分布的；

所述标定点确定单元包括：

第一处理子单元，用于将所述任一第一图像中相距在距离阈值之内，且数量不少于轮廓阈值的多个轮廓，组成轮廓族，得到所述任一第一图像中的多个轮廓族；

第二处理子单元，用于对于所述任一第一图像中的任一轮廓族，从所述任一第一图像中的多个轮廓族中，获取与所述任一轮廓族距离最近的目标轮廓族，计算所述任一轮廓族的中心与所述目标轮廓族的中心之间的像素横坐标差值和像素纵坐标差值，得到所述任一轮廓族对应的像素横坐标差值和像素纵坐标差值，所述像素横坐标差值和所述像素纵坐标差值不小于零；

第三处理子单元，用于计算所述任一第一图像中每个轮廓族对应的像素横坐标差值和像素纵坐标差值的和，得到所述任一第一图像中相应轮廓族对应的标定间距；

第四处理子单元，用于将所述任一第一图像中对应的标定间距与参考间距之间的差距超过间距阈值的轮廓族剔除，将剩余的每个轮廓族的中心确定为提取出的一个标定点，将剩余的每个轮廓族的中心像素坐标确定为提取出的一个标定点的像素坐标。

可选地，所述多对第一图像中的每对第一图像包括的可见光图像和热红外图像的分辨率统一；

所述规格统一模块包括：

缩放单元，用于根据所述热红外相机对应的上采样倍数，对所述多对初始图像中的热红外图像进行上采样，得到所述多对第一图像中的热红外图像；

裁剪单元，用于根据所述可见光相机对应的裁剪区域，对所述多对初始图像中的可见光图像进行裁剪，得到所述多对第一图像中的可见光图像。

可选地，所述装置还包括：

缩放参数确定模块，用于根据同一热源在一对或多对第二图像中的像素尺寸关系，确定所述热红外相机对应的上采样倍数，所述一对或多对第二图像中的每对第二图像包括同一热源的可见光图像和热红外图像；

裁剪区域确定模块，用于根据所述热红外相机的原分辨率和所述上采样倍数，以及同一热源在一对或多对第三图像中对应的像素坐标之间的差值关系，确定所述可见光相机对应的裁剪区域，所述一对或多对第三图像中的每对第三图像包括同一热源的可见光图像和热红外图像。

可选地，所述缩放参数确定模块包括：

比值计算单元，用于计算同一热源在所述一对或多对第二图像中的每对第二图像中的像素长度之间的比值，和/或，计算同一热源在所述一对或多对第二图像中的每对第二图像中的像素面积之间的比值，得到至少一个缩放比值；

参数确定单元，用于根据所述至少一个缩放比值，确定所述热红外相机对应的上采样倍数。

可选地，所述裁剪区域确定模块包括：

坐标差值计算单元，用于对于所述一对或多对第三图像中的任一对第三图像，分别计算同一热源在所述任一对第三图像中的像素横坐标之间的差值和像素纵坐标之间的差值，得到所述任一对第三图像对应的横坐标差值和纵坐标差值；

偏置确定单元，用于根据所述一对或多对第三图像对应的横坐标差值，得到所述可见光相机和所述热红外相机之间的横坐标偏置，根据所述一对或多对第三图像对应的纵坐标差值，得到所述可见光相机与所述热红外相机之间的纵坐标偏置；

分辨率确定单元，用于根据所述热红外相机的原水平分辨率和所述上采样倍数，确定统一后的水平分辨率，根据所述热红外相机的原竖直分辨率和所述上采样倍数，确定统一后的竖直分辨率；

裁剪区域确定单元，用于根据所述可见光相机与所述热红外相机之间的横坐标偏置和纵坐标偏置，以及所述统一后的水平分辨率和所述统一后的竖直分辨率，确定所述可见光相机对应的裁剪区域。

另一方面，提供了一种标定装置，该标定装置用于实现上述所述的双目相机的立体标定方法中图像的采集；

所述标定装置包括标定板和补光补热装置；

所述标定板为金属板，所述标定板上等间距均匀分布有孔洞，所述孔洞的孔壁具有倾斜角度；

所述补光补热装置包括补光装置、反射板和补热装置，所述补光装置固定在所述标定板的背面，所述反射板固定在与所述标定板的背面相距一个散热距离的位置，所述补热装置固定在所述反射板的背面；

所述补光装置用于向所述反射板发出光线，所述补热装置用于发出热量，所述反射板的反射面为漫反射面，所述反射板用于通过所述漫反射面向所述标定板反射所述光线，以及向所述标定板传递热量。

可选地，所述标定装置为单板标定装置，所述单板标定装置包括一个标定板和一套补光补热装置；或者，

所述标定装置为第一组合板标定装置，所述第一组合板标定装置包括多个标定板和多套补光补热装置，所述多个标定板和所述多套补光补热装置一一对应，所述多个标定板的位姿不同；或者，

所述标定装置为第二组合板标定装置，所述第二组合板标定装置包括所述多个标定板和一套补光补热装置，所述多个标定板的位姿不同。

另一方面，提供了一种双目相机的立体标定系统，所述立体标定系统包括所述双目相机和处理器；

所述双目相机包括可见光相机和热红外相机，所述可见光相机和所述热红外相机拍摄同一物体得到的可见光图像和热红外图像作为一对初始图像；

所述处理器，用于对多对初始图像进行处理，得到成像规格统一的多对第一图像；

所述处理器，还用于对所述多对第一图像进行标定点提取，得到所述多对第一图像中提取出的标定点的像素坐标；

所述处理器，还用于根据所述多对第一图像中提取出的标定点的像素坐标，标定所述双目相机的外参，所述外参包括所述可见光相机和所述热红外相机之间的平移矩阵和旋转矩阵；

所述处理器，还用于将所述外参包括的平移矩阵中表示沿光轴方向的平移分量作减小处理，得到调整后的平移矩阵，根据所述旋转矩阵和所述调整后的平移矩阵，标定所述可见光相机和所述热红外相机各自的旋转量。

另一方面，提供了一种双目相机，所述双目相机根据上述所述的立体标定方法标定得到。可选地，所述双目相机包括可见光相机和热红外相机。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现上述所述双目相机的立体标定方法的步骤。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述双目相机的立体标定方法的步骤。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的双目相机的立体标定方法的步骤。

本申请实施例提供的技术方案至少可以带来以下有益效果：

本申请实施例提供了一种标定装置，该标定装置通过反向补光、漫反射面均匀地反射光线和热量，且保证散热，使得标定板上的光线和热量均匀稳定，这样，双目相机拍摄得到的可见光图像和热红外图像清晰，图像质量很高。本申请实施例还提供了一种双目相机的立体标定方法，先将可见光相机和热红外相机的成像规格统一，这样在两台相机的成像规格统一的前提下进行后续的立体标定，立体标定能够准确有效。另外，在本方案中还考虑到可见光相机和热红外相机的物理结构存在较大差异，所以对沿光轴方向的平移分量作减小处理，在此基础上，确定两台相机各自的旋转量。这样，基于两台相机的旋转量旋转校正图像后，能够保留更多的图像，保证了图像的可用性，也即保证了立体标定的可靠性。在将该立体标定方法结合使用本方案设计的标定装置的情况下，立体标定的精准度更高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种标定板的板面示意图；

图2是本申请实施例提供的一种标定板的孔截面示意图；

图3是本申请实施例提供的一种标定装置的示意图；

图4是本申请实施例提供的一种组合板的板面示意图；

图5是本申请实施例提供的一种双目相机的立体标定方法的流程图；

图6是本申请实施例提供的另一种双目相机的立体标定方法的流程图；

图7是本申请实施例提供的一种双目相机的立体标定装置的结构示意图；

图8是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

为了便于理解本申请实施例提供的双目相机的立体标定方法，首先对本申请实施例中涉及的部分名词进行解释。

异源、异构双目：异源双目是指组成双目的两台相机的信号来源不同，异构双目是指组成双目的两台相机的分辨率、焦距、像元尺寸、视场角等物理结构不完全相同。例如，本申请实施例中介绍的由可见光相机和热红外相机组成的双目相机是一种异源、异构的双目相机。其中，可见光相机的信号来源是可见光，热红外相机的信号来源是热量，可见光相机和热红外相机的物理结构差异较大。

立体标定：例如标定两台相机的内参、外参，标定两台相机各自的旋转量等等。其中，内参包括光心、焦距、畸变矩阵等参数，外参包括两台相机之间的平移矩阵和旋转矩阵，外参用于表示两台相机之间的平移和旋转关系。立体标定的结果可以将两台相机的图像校正为极线对齐的状态，也即将两台相机的图像平面校正成共面行对准，便于进行后续的立体匹配。

当前，双目相机被广泛应用于测温测距等场景中，无论是用于测温还是测距，需要基于视差求距离公式来计算被拍摄的物体与双目相机之间的距离，视差求距离公式是在双目相机处于理想情况下推导出来的，也即两台相机的两个图像平面是共面行对准。其中，共面行对准是指：两台相机的图像平面在同一水平面上，且同一实物点投影到两个图像平面上时，应该在两个像素坐标系的同一行。而在实际的双目相机中，是不存在完全的共面行对准的两个图像平面的，所以需要对双目相机进行立体标定，立体标定的目标是将实际中非共面行对准的两个图像平面，校正成共面行对准，也即将实际的双目相机校正为理想的双目相机。

本申请实施例通过拍摄标定装置的图像，来进行可见光与热红外双目相机的立体标定。为了能够让可见光相机和热红外相机同时拍摄到清晰的图像，提高立体标定的精度，本申请实施例首先设计了一种标定装置，接下来对该标定装置进行介绍。

在本申请实施例中，标定装置包括标定板和补光补热装置。

首先对标定板进行介绍，在本申请实施例中，标定板为金属板，标定板上等间距均匀分布有孔洞，孔洞的孔壁具有倾斜角度。可选地，标定板上的孔洞为圆孔。可选地，孔壁的倾斜角度为0°至90°内的任一角度，例如15°、30°、45°、50°等。需要说明的是，本申请实施例不限定标定板的板厚、标定板上孔洞的数量、孔洞的形状以及孔洞的倾斜角度。

示例性地，图1是本申请实施例提供的一种标定板的板面示意图，图2是本申请实施例提供的一种标定板的孔截面示意图。假设图1和图2所示为同一个标定板，该标定板的板厚为5mm(毫米)，参见图1，该标定板上均匀分布有9*9的圆孔，参见图2，该标定板上的圆孔具有倾斜角度，倾斜角度为15°。图1为标定板的正视图，表示标定板的正面，也即双目相机需要拍摄的一面，图2为标定板的右视的截面图，白色表示孔洞的截面，可以看出标定板的孔洞具有倾斜角度，标定板正面的孔径小于背面的孔径。

接下来对补光补热装置进行介绍，在本申请实施例中，补光补热装置包括补光装置、反射板和补热装置，补光装置固定在标定板的背面，反射板固定在与标定板的背面相距一个散热距离的位置，补热装置固定在反射板的背面。其中，补光装置用于向反射板发出光线，补热装置用于发出热量，反射板的反射面为漫反射面，反射板用于通过漫反射面向标定板反射光线，以及向标定板传递热量。

可选地，补光装置固定在标定板的背面靠近边缘的位置，也即固定在最外排孔洞与边缘之间的位置，以避免补光装置对光线和热量的影响，减少图像中的阴影。可选地，散热距离根据加热装置的加热功率设置，例如，加热功率较大，散热距离可以设置大一些，加热功率较小，散热距离可以设置小一些，使得传递到标定板的热量和标定板上散失的热量相对均衡。可选地，补光装置为补光灯，加热装置为加热贴片。

图3是本申请实施例提供的一种标定装置的示意图。参见图3，左侧的板为标定板，标定板的背面固定有补光灯，右侧的板为反射板，反射板的反射面加工成漫反射面，也即反射板左侧的面为漫反射面，漫反射面可以均匀地反射光线。反射板的背面固定有加热贴片，加热贴片散发热量，通过反射板均匀、高能量地向标定板传递热量，使标定板上的光线和热量均匀稳定。

需要说明的是，本申请实施例通过向后补光的设计，反射板可以均匀、高能量地向标定板发出光线和热量，保证了可见光相机和热红外相机的成像清晰，且避免了同时向前补光和补热时，设备互相遮挡导致光线和热量不均匀的情况，保证了成像均匀。

在本申请实施例中，标定装置为单板标定装置，单板标定装置包括一个标定板和一套补光补热装置，如图3所示的标定装置。在通过拍摄单板标定装置的图像进行双目相机的立体标定时，需要通过调整该单板标定装置的位姿，以拍摄得到不同位姿的图像，用于立体标定。

为了进一步提高标定的效率，本申请实施例还设计了组合板标定装置，使用多个位姿不同的标定板排放在一起得到一个组合板，基于组合板设计出组合板标定装置。这样，一次拍摄即能获得多个处于不同位姿的标定板的图像，拍摄过程中无需调整标定装置的位姿，提高了效率。接下来介绍本申请实施例提供的两种组合板标定装置。

可选地，标定装置为第一组合板标定装置，第一组合板标定装置包括多个标定板和多套补光补热装置，多个标定板和多套补光补热装置一一对应，多个标定板的位姿不同。示例性地，将多个单板标定装置排放在一起，形成一个组合板标定装置，该多个单板标定装置的位姿不同，也即调整该多个单板标定装置的角度，使该多个单板标定装置彼此之间形成一定的夹角。

可选地，标定装置为第二组合板标定装置，第二组合板标定装置包括多个标定板和一套补光补热装置，多个标定板的位姿不同。也即是，将不同位姿的标定板排放在一起得到一个组合板，在该组合板的背面固定一套补光装置，距离组合板一个散热距离的位置固定一个反射板，反射板的反射板为漫反射面，反射板的背面固定一个加热装置。其中，补光装置固定在组合板上靠近边缘的位置，以避免补光装置对光线和热量的影响。组合板标定装置中反射板的尺寸与组合板的尺寸匹配，加热装置也要与组合标定板的尺寸匹配，例如加热贴片的尺寸与组合板的尺寸匹配。

需要说明的是，本申请实施例不限定组合标定装置包括的标定板的数量，标定板的数量可以根据标定板的尺寸、双目相机的视场角等调整。图4是本申请实施例提供的一种组合板的板面示意图。该组合板包括4个如图1所示的标定板，各个标定板之间形成有一定的夹角，也即各个标定板的位姿不同。

综上可知，本申请实施例提供了一种标定装置，该标定装置用于实现双目相机的立体标定方法中图像的采集。设计的标定装置通过反向补光、漫反射面均匀、高能量的反射光线和热量，且保证散热，使得标定板上的光线和热量均匀稳定，这样，双目相机拍摄得到的可见光图像和热红外图像清晰，也即图像质量很高。

接下来对本申请实施例提供的双目相机的立体标定方法进行详细的解释说明。

图5是本申请实施例提供的一种双目相机的立体标定方法的流程图。该方法应用于标定设备，可选地，该标定设备为双目相机或计算机设备。请参考图5，该方法包括如下步骤。

步骤501：对多对初始图像进行处理，得到成像规格统一的多对第一图像，该多对初始图像中的每对初始图像包括同一物体的可见光图像和热红外图像。

本申请实施例中的双目相机包括可见光相机和热红外相机，该双目相机为异源、异构的双目相机，可见光相机与热红外相机的成像规格不同，例如两台相机成像的分辨率、焦距等存在不同，这种情况下不能直接进行立体标定，需要将两台相机的成像规格进行统一。

可选地，在申请实施例中，成像规格统一包括分辨率统一，也即每对第一图像包括的可见光图像和热红外图像的分辨率统一。另外，由于是根据同一物体的可见光图像和热红外图像，来统一两台相机成像的分辨率的，可以想象对于两台相机拍摄同一物体来说，分辨率统一意味着两台相机的焦距也统一，也即是，本方案在统一两台相机的分辨率的同时，其实也统一了两台相机的焦距。

在本申请实施例中，通过对图像的裁剪缩放，将可见光相机和热红外相机的成像规格转换为一致，也即统一分辨率和焦距，基于裁剪缩放后的图像进行后续的立体标定。

其中，该多对初始图像中的每对初始图像包括同一物体的可见光图像和热红外图像，每对初始图像为可见光相机和热红外相机同时拍摄同一物体的图像，双目相机的拍摄对象可以为前述介绍的标定装置，也即初始图像为标定装置的图像。

需要说明的是，热红外相机的原分辨率通常小于可见光相机的原分辨率，可见光相机的视场角大于热红外相机的视场角，在这种情况下，本申请实施例通过将热红外图像进行上采样，以放大热红外图像，将可见光图像进行裁剪，以缩小可见光图像，使得两台相机的分辨率和焦距统一。在另一些实施例中，也可以通过将可见光图像进行裁剪和下采样，以缩小可见光图像，使得两台相机的分辨率和焦距统一。在其他一些实施例中，如果热红外相机的原分辨率大于可见光相机的原分辨率，热红外相机的视场角大于可见光相机的视场角，这种情况下，可以通过将热红外图像进行裁剪和下采样，或者，将可见光图像进行上采样，以及将热红外图像进行裁剪，使得两台相机的分辨率和焦距统一。

可选地，在本申请实施例中，以放大热红外图像和裁剪可见光图像，使得两台相机的分辨率和焦距统一为例进行介绍。对多对初始图像进行裁剪缩放处理，得到成像规格统一的多对第一图像的一种实现方式为：根据热红外相机对应的上采样倍数，对该多对初始图像中的热红外图像进行上采样，得到该多对第一图像中的热红外图像；根据可见光相机对应的裁剪区域，对该多对初始图像中的可见光图像进行裁剪，得到该多对第一图像中的可见光图像。

示例性地，根据热红外相机对应的上采样倍数，对该多对初始图像中的热红外图像进行上采样的一种实现方式为：将该多对初始图像中的热红外图像的像素横坐标和像素纵坐标均乘以上采样倍数，以扩大热红外图像，使得到的多对第二图像中的热红外图像的分辨率为两台相机统一后的分辨率。例如，上采样倍数为scale，W_ir和H_ir分别指热红外相机的原水平分辨率和原竖直分辨率，W＝W_ir×scale和H＝H_ir×scale分别表示统一后的水平分辨率和竖直分辨率。

示例性地，在本申请实施例中，裁剪区域用裁剪矩形范围参数表示，裁剪矩形范围参数如((Δw,Δw+W),(Δh,Δh+H))，其中，(Δw,Δw+W)和(Δh,Δh+H)用于确定裁剪所需保留的矩形区域。也即是，保留像素横坐标在Δw到Δw+W之间的像素点，以及保留像素纵坐标在Δh到Δh+H之间的像素点。

需要说明的是，在对多对初始图像进行裁剪缩放处理之前，需要确定裁剪缩放参数。接下来对本申请实施例提供的一种裁剪缩放参数的确定方法进行介绍。其中，裁剪缩放参数包括热红外相机对应的上采样倍数和可见光相机对应的裁剪区域。

在本申请实施例中，确定裁剪缩放参数的一种实现方式为：根据同一热源在一对或多对第二图像中的像素尺寸关系，确定热红外相机对应的上采样倍数；根据热红外相机的原分辨率和上采样倍数，以及同一热源在一对或多对第三图像中对应的像素坐标之间的差值关系，确定可见光相机对应的裁剪区域。

其中，该一对或多对第二图像中的每对第二图像包括同一热源的可见光图像和热红外图像，该一对或多对第三图像中的每对第三图像包括同一热源的可见光图像和热红外图像。可选地，第二图像和第三图像中的热源不同。或者，第二图像和第三图像中的热源相同，也即第二图像和第三图像为拍摄同一热源得到的图像，该热源可以为前述介绍的标定装置。

需要说明的是，对于第三图像，使用可见光相机和热红外相机同时拍摄放置于远处的同一热源，得到一对或多对第三图像，该热源与双目相机之间的距离，应尽量使两台相机的视差较小，例如小于视差阈值，视差阈值尽量设置接近于零。本申请实施例中，也无需设置视差阈值，将热源放置较远处即可，例如距离双目相机20米、25米或30米等均可。对于第二图像，使用可见光相机和热红外相机同时拍摄一个固定长度或固定面积的热源，保证能够通过拍摄得到的图像计算出该热源在图像中的像素长度或像素面积即可，而不需要将热源放置在较远处。

这里解释将热源放置在远处以拍摄得到第三图像的原因：由于根据公式(1)所示的视差求距离公式(可以称为测距公式)，在两台相机的基线距baseline一定、焦距f相同的情况下，若将热源放置在无穷远处，也即距离depth为无穷大时，两台相机的视差disp接近于零。而由于两台相机的像元尺寸不同，每对第二图像中同一热源对应的像素横坐标之间的差值的非零的，这样得到的视差是非零的。因此，为了统一两台相机的分辨率和焦距，在保证可见光相机和热红外相机能够拍摄到热源的情况下，尽量使热源放置在较远处，此时记录该热源在两台相机拍摄的一对图像中对应的像素坐标之间的差值关系。该差值关系表征了两台相机的像素坐标之间的偏置，在焦距一致，拍摄对象放置在远处的前提下，根据偏置来处理可见光图像，使得处理后的成对的可见光图像和热红外图像的像素坐标之间的差值为零，以消除两台相机之间的视差，对于纵坐标做类似处理，使得可见光图像与热红外图像的水平分辨率和竖直分辨率均一致。

接下来介绍确定热红外相机对应的上采样倍数的一种实现方式。基于前述介绍，在本申请实施例中，计算同一热源在该一对或多对第二图像中的每对第二图像中的像素长度之间的比值，和/或，计算同一热源在一对或多对第二图像中的每对第二图像中的像素面积之间的比值，得到至少一个缩放比值。之后，根据该至少一个缩放比值，确定热红外相机对应的上采样倍数。简单来说，本申请实施例基于同一物体在可见光图像和热红外图像中像素长度和/或像素面积的比值，来确定热红外图像对应的上采样倍数。其中，像素长度之间的比值，和/或，像素面积之间的比值，均能够用于表示可见光图像和热红外图像对的像素尺寸关系。

示例性地，若以基于像素长度为例，需要热源具有一定的长度，对于任一对第二图像，计算该热源在可见光图像中的像素长度比上该热源在热红外图像中的像素长度，得到该对第二图像对应的一个缩放比值，这样，对于一对或多对第二图像，即可对应得到一个或多个缩放比值。若以基于像素面积为例，需要热源具有一定的长度和宽度，对于任一对第二图像，计算该热源在可见光图像中的像素面积比上该热源在热红外图像中的像素面积，得到该对第二图像对应的一个缩放比值，这样，对于一对或多对第二图像，也可对应得到一个或多个缩放比值。若以基于像素长度和像素面积为例，也需要热源具有一定的长度和宽度，对于任一对第二图像，计算该热源在可见光图像中的像素长度比上该热源在热红外图像中的像素长度，得到该对第二图像对应的一个缩放比值，计算该热源在可见光图像中的像素面积比上该热源在热红外图像中的像素面积，也得到该对第二图像对应的一个缩放比值，这样，一对第二图像对应得到两个缩放比值，可选地，取这两个缩放比值的平均值，作为该对图像最终对应的一个缩放比值。

在基于像素长度和/或像素面积计算比值之后，如果对于全部的第二图像，最终得到一个缩放比值，将该缩放比值确定为上采样倍数。如果对于全部的第二图像，最终得到多个缩放比值，可以将该多个缩放比值的平均值确定为上采样倍数。

接下来介绍确定可见光相机对应的裁剪区域的一种实现方式。基于前述介绍，在本申请实施例中，根据热红外相机的分辨率和上采样倍数，以及同一热源在一对或多对第三图像中对应的像素坐标之间的差值关系，确定可见光相机对应的裁剪区域的一种实现方式为：对于一对或多对第三图像中的任一对第三图像，分别计算同一热源在该对第三图像中的像素横坐标之间的差值和像素纵坐标之间的差值，得到该对第三图像对应的横坐标差值和纵坐标差值。根据该一对或多对第三图像对应的横坐标差值，得到可见光相机和热红外相机之间的横坐标偏置，根据一对或多对第三图像对应的纵坐标差值，得到可见光相机与热红外相机之间的纵坐标偏置。之后，根据热红外相机的原水平分辨率和上采样倍数，确定统一后的水平分辨率，根据热红外相机的原竖直分辨率和上采样倍数，确定统一后的竖直分辨率。然后，根据可见光相机与热红外相机之间的横坐标偏置和纵坐标偏置，以及统一后的水平分辨率和统一后的竖直分辨率，确定可见光相机对应的裁剪区域。其中，以横坐标差值和纵坐标差值来表示差值关系。

简单来说，分别基于同一热源在两台相机中像素横坐标的差值、像素纵坐标的差值，确定两台相机在像素横坐标方向的偏置、在像素纵坐标方向上的偏置。之后，基于横坐标偏置和纵坐标偏置，以及统一后的分辨率，确定裁剪区域，使得根据该裁剪区域裁剪后保留的可见光图像的分辨率即为统一后的分辨率。而保证分辨率一致，也意味着焦距也一致，这样对于远处的一个热源，在该焦距下，两台相机计算出来的视差接近于零。

示例性地，以基于一对第三图像确定裁剪区域为例，计算同一热源在该对第三图像中的像素横坐标之间的差值，得到一个横坐标差值Δw，将该横坐标差值Δw确定为两台相机之间的横坐标偏置。同样地，计算该热源在该对第三图像中的像素纵坐标之间的差值，得到一个纵坐标差值Δh，将该纵坐标差值Δh确定为两台相机之间的纵坐标偏置。假设统一后的水平分辨率和竖直分辨率分别为W和H，那么将((Δw,Δw+W),(Δh,Δh+H))确定为可见光相机对应的裁剪区域。

需要说明的是，由于拍摄得到第三图像时，热源距离双目相机的距离较远，因此，该热源在第三图像中可以视为一个点，该热源的像素坐标也即可以用图像中该热源所在点的像素坐标表示。如果该热源在第三图像中仍存在一定的长度或体积，那么可以用该热源上的一个标定点的像素坐标作为该热源的像素坐标。

以上介绍了对多对初始图像进行裁剪缩放处理，得到成像规格统一的多对第一图像的实现方式。其中，初始图像可以为标定装置的图像，由前述对标定装置的介绍可知，标定装置为单板标定装置或组合板标定装置，如果标定装置为单板标定装置，则初始图像包括一个标定板的图像，第一图像也包括一个标定板的图像，这种情况下可以继续执行步骤502。

如果标定装置为组合板标定装置，则一个初始图像包括多个标定板的图像，也即初始图像为相机直接拍摄得到的组合板图像，对初始图像处理后得到的第一图像也包括多个标定板的图像。这种情况下，得到多对第一图像之后，需要将每对第一图像包括的可见光图像和热红外图像分别进行裁剪，得到多个位姿下的标定板的可见光和热红外图像对，裁剪得到的每对图像对应多个标定板中的一个标定板。这样，将裁剪后得到的多对图像作为裁剪后的多对第一图像，此时的第一图像为单板图像，基于裁剪后的多对第一图像继续执行步骤502。示例性地，如图4所示的组合板，裁剪一对第一图像可以得到4对可见光和热红外图像对，这4对图像分别对应组合板包括的4个标定板，将这4对图像作为裁剪后的4对第一图像，基于这4对第一图像继续执行步骤502。

或者，如果标定装置为组合板标定装置，将两台相机拍摄直接得到的图像作为多对原始图像，也即原始图像为组合板图像。先对多对原始图像进行裁剪，得到多对初始图像，也即初始图像是已经基于组合板的图像裁剪得到的单板图像，一个初始图像包括单个标定板的图像，对初始图像处理后得到的第一图像也包括单个标定板的图像，也即第一图像已经为单板图像，这种情况下继续执行步骤502。示例性地，如图4所示的组合板，裁剪一对原始图像可以得到4对可见光和热红外图像对，这4对图像分别对应组合板包括的4个标定板，这4对图像作为4对初始图像，对这4对初始图像进行处理，得到4对第一图像，基于这4对第一图像继续执行步骤502。

也即是，对于组合板标定装置来说，对于两台相机直接拍摄得到的组合板图像，可以先对组合板图像进行裁剪，得到单板图像，再对单板图像进行处理，得到第一图像。或者，对于两台相机直接拍摄得到的组合板图像，先对组合板图像进行处理，得到包括多个标定板图像的第一图像，再对得到的第一图像进行裁剪，得到包括单个标定板图像的第一图像。简单来说，对组合板图像进行裁剪得到单板图像的步骤，在执行步骤502之前完成即可。

可选地，组合板标定装置包括的组合板上标注有辅助线，基于辅助线将各个标定板划分在不同的区域，如图4所示的虚线为辅助线，虚线将4个标定板划分在了4个区域。基于此，对组合板图像进行裁剪得到单板图像的一种实现方式为：提取组合板图像中的辅助线，根据提取出的辅助线对组合板图像进行裁剪，得到单板图像。需要说明的是，本申请实施例以这种实现方式为例，来说明对组合板图像的裁剪，但这种实现方式并不限定本申请实施例。

在本申请实施例中，对可见光相机和热红外相机的成像规格校正统一的过程，理解为对相机模型进行统一的过程。其中，相机模型可以理解为相机的分辨率、焦距等结构。

步骤502：对该多对第一图像进行标定点提取，得到该多对第一图像中提取出的标定点的像素坐标。

在本申请实施例中，在得到多对第一图像之后，对该多对第一图像进行标定点图像，得到该多对第一图像中提取出的标定点的像素坐标。

需要说明的是，本申请实施例中提供的标定装置并不构成对本申请实施例提供的双目相机的立体标定方法的限定，在双目相机的立体标定方法中，也可以采用其他的标定装置作为双目相机的拍摄对象。通常标定装置上会有较为明显的标定点，标定板的图像中标定点的像素值(灰度值)与标定点周围的像素值存在较为明显的差距，基于此，本申请实施例提供了一种标定点提取的方法，接下来将对此进行介绍。

在本申请实施例中，对该多对第一图像进行标定点提取，得到该多对第一图像中提取出的标定点的像素坐标的一种实现方式为：基于二值化处理的方式，提取该多对第一图像中每个第一图像中的轮廓，对于该多对第一图像中的任一第一图像，根据该任一第一图像中的轮廓的像素坐标，确定该任一第一图像中提取出的标定点的像素坐标。其中，需要提取的轮廓是指第一图像中目标对象的轮廓，待提取的标定点即代表图像中的目标对象。

示例性地，对于任一第一图像，基于二值化阈值对该图像作二值化处理，提取该图像的轮廓，对于本申请实施例提供的标定装置来说，孔洞作为目标对象，孔洞的中心为待提取的标定点，提取的轮廓为该图像中标定板上孔洞的轮廓。提取出该图像中的轮廓之后，对于该图像中的任一轮廓，基于组成该轮廓的多个像素点的像素坐标，计算该轮廓的中心像素坐标，得到该轮廓对应的标定点的像素坐标，也即得到该图像中提取出的一个标定点的像素坐标。

为了提高提取的标定点的准确性，可以基于多个二值化阈值提取第一图像中的轮廓，对于一个标定点，基于多个二值化阈值能够提取出不止一个轮廓，这些轮廓的中心一致，将这些轮廓组成一个轮廓族，计算这个轮廓族的中心像素坐标，即可得到该轮廓族对应的一个标定点的像素坐标。

示例性地，设置二值化阈值的初始值和终止值，设置灰度步长，对于任一第一图像，基于灰度步长将二值化阈值从初始值更新到终止值，也即逐步长地遍历该图像，对该图像进行二值化处理，然后提取轮廓。提取出该图像中的轮廓之后，对于任一轮廓，获取该图像中其他轮廓的中心与该轮廓的中心之间的距离在距离阈值之内的轮廓，与该轮廓组成轮廓族，也即合并距离在距离阈值之内的轮廓，形成轮廓族。得到该图像中的轮廓族之后，计算任一轮廓族的中心像素坐标，即可得到该轮廓族对应的一个标定点的像素坐标。其中，距离阈值可以为5个像素点，灰度步长可以为10，二值化阈值的初始值和终止值可以分别为100和200。当然，距离阈值、灰度步长、二值化阈值的初始值和终止值也可以设置为其他数值。

在本申请实施例中，该多对第一图像中的每个第一图像中待提取的标定点是等间距均匀分布的，那么理想情况下，任一第一图像中的轮廓或轮廓族也应该是等间距均匀分布的。基于此，为了更进一步提高提取出的标定点的准确性，还可以对图像中的轮廓或轮廓族进行筛选，将明显有偏差的轮廓或轮廓族剔除，基于剩余的轮廓或轮廓族得到提取出的标定点的像素坐标。接下来以对图像中的轮廓族进行筛选为例对此进行介绍。

对于任一第一图像，根据该任一第一图像中的轮廓的像素坐标，确定该任一第一图像中提取出的标定点的像素坐标的一种实现方式为：将该任一第一图像中相距在距离阈值之内，且数量不少于轮廓阈值的多个轮廓，组成轮廓族，得到该任一第一图像中的多个轮廓族。对于该任一第一图像中的任一轮廓族，从该任一第一图像中的多个轮廓族中，获取与该任一轮廓族距离最近的目标轮廓族，计算该任一轮廓族与目标轮廓族之间的像素横坐标差值和像素纵坐标差值，得到该任一轮廓族对应的像素横坐标差值和像素纵坐标差值。计算该任一第一图像中每个轮廓族对应的像素横坐标差值和像素纵坐标差值的和，得到该任一第一图像中相应轮廓族对应的标定间距。将该任一第一图像中对应的标定间距与参考间距之间的差距超过间距阈值的轮廓族剔除，将剩余的每个轮廓族的中心确定为提取出的一个标定点，将剩余的每个轮廓族的中心像素坐标确定为提取出的标定点的像素坐标。其中，像素横坐标差值和像素纵坐标差值不小于零，也即计算的是像素坐标之间差值的绝对值。

示例性地，对于任一第一图像，基于灰度步长th_step更新二值化阈值，提取该图像中的轮廓，将该图像中相距在距离阈值之内的轮廓，形成候选轮廓族，也即合并距离在距离阈值th_dist之内的轮廓，形成候选轮廓族。遍历该图像中的候选轮廓族，将族内轮廓数量少于轮廓阈值th_num的候选轮廓族剔除，将剩余的候选轮廓族确定为该图像中的轮廓族。遍历该图像中的轮廓族，对于任一轮廓族(为了便于描述，后续将该轮廓族称为第一轮廓族)，从该图像内的其他轮廓族中找出与第一轮廓族距离最近的目标轮廓族，计算这两个轮廓族的中心对应的像素横坐标差值和像素纵坐标差值，得到第一轮廓族对应的像素横坐标差值Δu和像素纵坐标差值Δv，Δu和Δv为绝对值。

由于标定点是等间距均匀分布的，如果轮廓族是准确的，无论标定板是何种姿态，各个轮廓族对应的像素横坐标差值和像素纵坐标差值的和总是接近的。也即是，Δu_i+Δv_i与Δu_j+Δv_j总是接近的，其中，以i和j分别表示一个图像中的任意两个轮廓族。基于此，计算该图像中每个轮廓族对应的像素横坐标差值Δu和像素纵坐标差值Δv的和，得到相应轮廓族对应的标定间距Δu+Δv。之后，将该图像中对应的标定间距与参考间距之间的差距超过间距阈值的轮廓族剔除，也即是，将对应的标定间距明显有偏差的轮廓族剔除。剩余的每个轮廓族的中心即为最终提取出的一个标定点，剩余的每个轮廓族的中心像素坐标即为最终提取出的一个标定点的像素坐标。

其中，遍历该图像中的轮廓族，每次判断一个轮廓族是否需要剔除。可选地，参考间距为该图像中的轮廓族对应的标定间距的平均值。或者，参考间距为该图像中除第二轮廓族之外的其他轮廓族的标定间距的平均值，第二轮廓族为本次需要判断是否要剔除的那个轮廓族。或者，参考间距为该图像中剩余的还未判断是否要剔除的轮廓族的标定间距的平均值。或者，参考间距为该图像中除第二轮廓族之外的剩余还未判断是否要剔除的轮廓族的标定间距的平均值，第二轮廓族为本次需要判断是否要剔除的那个轮廓族。

步骤503：根据该多对第一图像中提取出的标定点的像素坐标，标定双目相机的外参，外参包括可见光相机和热红外相机之间的平移矩阵和旋转矩阵。

经上述对多对第一图像进行标定点提取后，得到该多对第一图像中每个第一图像中标定点的像素坐标。之后，根据该多对第一图像中提取出的标定点的像素坐标，来标定双目相机的外参。可选地，还能够根据该多对第一图像中提取出的标定点的像素坐标，标定双目相机的内参，也即标定可见光相机和热红外相机各自的内参，当然，也可以根据其他方法标定两台相机各自的内参，本申请实施例对此不作限定。

在本申请实施例中，已知标定点的世界坐标，以及标定点之间的位置关系，例如标定点是等间距均匀分布的，基于此，能够确定每个第一图像中提取出的标定点的像素坐标与世界坐标的映射关系。之后，根据提取出的标定点的像素坐标和世界坐标的映射关系，求解出双目相机的内参和外参。

示例性地，假设一个第一图像中提取出的全部标定点的像素坐标的集合为{(u_i,v_i)}，其中i取不同的值表示全部标定点。假设规定一个标定板上左上角的标定点的世界坐标为(0,0,0)，那么对于等间距均匀分布的标定点，该标定板上其他标定点的世界坐标也能够确定。这样，可以得到每个标定点在相应第一图像中的像素坐标与世界坐标的映射关系

根据这些数据即可以求解出双目相机的内参和外参。

在本申请实施例中，内参求解采用张氏标定法。在采用张氏标定法的过程中，使用LM(Levenberg-Marquardt)方法优化结果，对于可见光相机和热红外相机均得到准确的内参。同时对于每对第一图像，得到两台相机各自的平移矩阵和旋转矩阵。其中，对于每对第一图像，可见光相机的平移矩阵和旋转矩阵分别记为Rⁱ _l和Tⁱ _l，热红外相机的平移矩阵和旋转矩阵记分别为Rⁱ _r和Tⁱ _r，其中以i取不同值表示不同的第一图像对。在其他一些实施例中，内参求解也可以采用其他方法。需要说明的是，在本申请实施例中，以下标l和r分别表示可见光相机和热红外相机的相关数据，

在本申请实施例中，外参求解的过程包括：对于每对第一图像，获取两台相机各自的平移矩阵和旋转矩阵，计算Rⁱ＝Rⁱ _r×(Rⁱ _l)^-1和Tⁱ＝Tⁱ _r-Rⁱ×Tⁱ _l。然后，对Rⁱ和Tⁱ(i∈多对第一图像)分别求均值得到R和T，其中，R为两台相机之间的旋转矩阵，T为两台相机之间的平移矩阵。至此，标定出双目相机的外参R和T。

步骤504：将外参包括的平移矩阵中表示沿光轴方向的平移分量作减小处理，得到调整后的平移矩阵，根据旋转矩阵和调整后的平移矩阵，标定可见光相机和热红外相机各自的旋转量。

在本申请实施例中，标定出双目相机的外参之后，为了将两台相机的图像校正到极线对齐的状态，还需要计算两台相机各自的旋转量。

示例性地，基于Bouguet算法求解两台相机各自的旋转量。首先介绍标准的Bouguet算法的原理。

在给定两台相机之间的旋转矩阵R和平移矩阵T的情况下，求解可见光相机和热红外相机各自的旋转分量r_l和r_r。其中，r_l和r_r满足公式(2)，这样，两台相机各自对应的旋转角度分别为R的一半，可以理解为将R分解得到r_l和r_r，分解的原则是使得两台相机的图像重投影造成的畸变最小，两台相机的视图的共同面积最大。

在基于公式(2)求解出旋转分量r_l和r_r之后，给定两台相机之间的平移矩阵T＝[T_x,T_y,T_z]^T，考虑T中沿竖直方向的平移分量T_y和沿光轴方向的平移分量T_z，构造

e₃＝e₁×e₂，求出旋转调整矩阵/>

计算可见光相机的校正矩阵为R_l'＝R_rect×r_l，得到可见光相机的旋转量R_l'，计算热红外相机的校正矩阵为R_r'＝R_rect×r_r，得到可见光相机的旋转量R_r'。

可以理解为，可见光相机的校正矩阵是对步骤503中内参计算中同时得出的可见光相机的旋转矩阵的校正，校正后即得到可见光相机的旋转量。热红外相机的校正矩阵是对步骤503中内参计算中同时得出的热红外相机的旋转矩阵的校正，校正后即得到热红外相机的旋转量。R_l'和R_r'分别为标定得到的可见光相机的旋转量和热红外相机的旋转量。

可选地，根据两台相机各自的内参和校正矩阵，能够求解两台相机各自的投影矩阵。示例性地，可见光相机的投影矩阵P_l＝R_l'×M_l，热红外相机的投影矩阵P_r＝R_r'×M_r，其中，M_l为可见光相机的内参，M_r为热红外相机的内参。

以上对标准的Bouguet算法进行了相关介绍，标准的Bouguet算法能够实现双目相机的图像达到极线对齐的状态，并且保留两台相机的视图的共同面积最大。而对于可见光相机和热红外相机而言，两台相机的物理结构存在很大差异，两台相机的平移矩阵T中沿光轴方向的平移分量T_z可能很大，基于T_z计算旋转调整矩阵R_rect，也即将T_z作用于R_rect，进而得到R_l'和R_r'，这样会迫使两台相机在立体校正时，绕竖直轴方向上产生较大的旋转角，导致可见光图像和热红外图像对中大部分面积因旋转而损失掉，造成图像不可用的情况。为了解决这个问题，本申请实施例提出了一种保留光心偏置的立体校正方法，接下来将对此进行介绍。

在本申请实施例中，在基于步骤503得到双目相机的外参之后，将外参包括的平移矩阵中表示沿光轴方向的平移分量作减小处理，得到调整后的平移矩阵，根据外参包括的旋转矩阵和调整后的平移矩阵，确定可见光相机和热红外相机各自的旋转量。

可选地，将外参包括的平移矩阵中表示沿光轴方向的平移分量作减小处理的一种实现方式为：将外参包括的平移矩阵中表示沿光轴方向的平移分量置为零。当然，减小处理可以是指减小到比原值小，且不小于零的一个数值。

示例性地，在采用Bouguet算法计算旋转调整矩阵时，将T中平移分量T_z置为零，之后计算旋转调整矩阵R_rect，进而计算得到R_l'和R_r'。这样，在立体校正过程中不对沿光轴方向的偏移进行处理，校正后的图像可以保留更大的面积。

在本申请实施例中，将双目相机应用于计算图像深度时，是基于视差求距离公式进行的，而前述公式(1)所介绍的视差求距离公式的前提是，立体校正时考虑基于平移分量T_z对沿光轴方向的偏移进行处理，而若在立体校正过程中未对沿光轴方向的偏移进行处理，也即若在立体标定时将T_z置为零，那么需要重新确定视差求距离公式，也即重新确定视差与被拍摄物距离的映射关系。

也即是，在采用本申请实施例提供的保留光心偏置的立体校正方法的前提下，在标定出双目相机的内参和外参之后，根据标定的外参包括的平移矩阵，确定双目相机对应的视差与被拍摄物距离的映射关系。也即是，重新推导视差求距离公式，以重新推导出的视差求距离公式来表征视差与被拍摄物距离的映射关系。接下来将对重新推导视差求距离公式的过程进行介绍。

设有一个被测点(被拍摄物)A，被测点A在一台相机的相机坐标系下的坐标为(X,Y,Z)，其中，Z即为被测点A到该相机的距离depth。根据小孔成像原理，被测点A在该相机中成像的像素横坐标公式为

像素纵坐标公式为/>

其中，f为该相机的焦距。

由于此时双目相机已经经过立体标定和校正，则此时被测点A在两台相机中的成像点的像素纵坐标是相等的，仅有横坐标不同，假设被测点A在可见光相机和热红外相机中的像素横坐标分别是u_l和u_r。另外，校正后两台相机的焦距f是相同的，光心也是相等的，设光心的坐标为(u₀,v₀)。再设标定出来的两台相机的平移矩阵为(T_x,T_y,T_z)^T，方向为从左相机(可见光相机)到右相机(热红外相机)。

如果未采用本申请实施例提供的保留光心偏置的立体校正方法，那么对于标定出来的相机，u_l和u_r的计算公式为

两式相减，得到视差

所以/>

如果采用本申请实施例提供的保留光心偏置的立体校正方法，那么需要考虑T_z分量推导视差求距离公式，将u_l和u_r的计算公式调整为

两式都把X移到等号的一边，得到/>

然后移项和合并，得到(u_l-u_r)×Z＝(u_r-u₀)×T_z-T_x×f，所以有/>

其中，u_l-u_r表示两台相机的视差disp，Z表示被拍摄物的距离depth。

接下来参照图6对本申请实施例提供的双目相机的立体标定方法再次进行简单的解释说明。图6是本申请实施例提供的另一种双目相机的立体标定方法的流程图，参见图6，输入标定图像(如前述实施例中的多对初始图像)，对标定图像进行成像规格统一处理，也即进行相机模型统一。可选地，如果标定图像是组合板图像，需要对标定图像进行裁剪，得到单板图像。之后，对单板图像进行标定点提取，得到提取出的标定点的像素坐标，根据提取出的标定点的像素坐标，进行双目相机的内参和外参计算。之后，进行保留光心偏置的立体校正，确定两台相机各自的旋转量。这样，使用标定后的两台相机即可用于图像的立体校正，也即得到校正图像。

在本申请实施例中，使用立体标定后的双目相机来拍摄图像，立体标定后的双目相机可以用于需要计算图像深度的场景中，例如用于拍摄物体的距离测量、温度测量等场景中，距离测量和温度测量的准确度都能够很高。

综上所述，本申请实施例提供了一种双目相机的立体标定方法，先统一可见光相机和热红外相机的成像规格，这样在两台相机的成像规格统一的前提下进行后续的立体标定，立体标定能够准确有效。另外，在本方案中还考虑到可见光相机和热红外相机的物理结构存在较大差异，所以对沿光轴方向的平移分量作减小处理，在此基础上，确定两台相机各自的旋转量。这样，基于两台相机的旋转量旋转校正图像后，能够保留更多的图像，保证了图像的可用性，也即保证了立体标定的可靠性。本方法在结合本申请实施例提供的标定装置的情况下，立体标定的精度更高。

上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。

图7是本申请实施例提供的一种双目相机的立体标定装置的结构示意图，该双目相机的立体标定装置700可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部。请参考图7，该装置700包括：规格统一模块701、标定点提取模块702、外参标定模块703和立体校正模块704。

规格统一模块701，用于对多对初始图像进行处理，得到成像规格统一的多对第一图像，该多对初始图像中的每对初始图像包括同一物体的可见光图像和热红外图像；

标定点提取模块702，用于对该多对第一图像进行标定点提取，得到该多对第一图像中提取出的标定点的像素坐标；

外参标定模块703，用于根据该多对第一图像中提取出的标定点的像素坐标，标定该双目相机的外参，外参包括该可见光相机和该热红外相机之间的平移矩阵和旋转矩阵；

立体校正模块704，用于将外参包括的平移矩阵中表示沿光轴方向的平移分量作减小处理，得到调整后的平移矩阵，根据该旋转矩阵和调整后的平移矩阵，标定该可见光相机和该热红外相机各自的旋转量。

可选地，标定点提取模块702包括：

轮廓提取单元，用于基于二值化处理的方式，提取该多对第一图像中每个第一图像中的轮廓；

标定点确定单元，用于对于该多对第一图像中的任一第一图像，根据该任一第一图像中的轮廓的像素坐标，确定该任一第一图像中提取出的标定点的像素坐标。

可选地，该多对第一图像中的每个第一图像中待提取的标定点是等间距均匀分布的；

标定点确定单元包括：

第一处理子单元，用于将该任一第一图像中相距在距离阈值之内，且数量不少于轮廓阈值的多个轮廓，组成轮廓族，得到该任一第一图像中的多个轮廓族；

第二处理子单元，用于对于该任一第一图像中的任一轮廓族，从该任一第一图像中的多个轮廓族中，获取与该任一轮廓族距离最近的目标轮廓族，计算该任一轮廓族的中心与该目标轮廓族的中心之间的像素横坐标差值和像素纵坐标差值，得到该任一轮廓族对应的像素横坐标差值和像素纵坐标差值，该像素横坐标差值和该像素纵坐标差值不小于零；

第三处理子单元，用于计算该任一第一图像中每个轮廓族对应的像素横坐标差值和像素纵坐标差值的和，得到该任一第一图像中相应轮廓族对应的标定间距；

第四处理子单元，用于将该任一第一图像中对应的标定间距与参考间距之间的差距超过间距阈值的轮廓族剔除，将剩余的每个轮廓族的中心确定为提取出的一个标定点，将剩余的每个轮廓族的中心像素坐标确定为提取出的一个标定点的像素坐标。

可选地，该多对第一图像中的每对第一图像包括的可见光图像和热红外图像的分辨率统一；

规格统一模块包括：

缩放单元，用于根据该热红外相机对应的上采样倍数，对该多对初始图像中的热红外图像进行上采样，得到该多对第一图像中的热红外图像；

裁剪单元，用于根据该可见光相机对应的裁剪区域，对该多对初始图像中的可见光图像进行裁剪，得到该多对第一图像中的可见光图像。

可选地，该装置700还包括：

缩放参数确定模块，用于根据同一热源在一对或多对第二图像中的像素尺寸关系，确定该热红外相机对应的上采样倍数，该一对或多对第二图像中的每对第二图像包括同一热源的可见光图像和热红外图像；

裁剪区域确定模块，用于根据该热红外相机的原分辨率和该上采样倍数，以及同一热源在一对或多对第三图像中对应的像素坐标之间的差值关系，确定该可见光相机对应的裁剪区域，该一对或多对第三图像中的每对第三图像包括同一热源的可见光图像和热红外图像。

可选地，缩放参数确定模块包括：

比值计算单元，用于计算同一热源在该一对或多对第二图像中的每对第二图像中的像素长度之间的比值，和/或，计算同一热源在该一对或多对第二图像中的每对第二图像中的像素面积之间的比值，得到至少一个缩放比值；

参数确定单元，用于根据该至少一个缩放比值，确定该热红外相机对应的上采样倍数。

可选地，裁剪区域确定模块包括：

坐标差值计算单元，用于对于该一对或多对第三图像中的任一对第三图像，分别计算同一热源在该任一对第三图像中的像素横坐标之间的差值和像素纵坐标之间的差值，得到该任一对第三图像对应的横坐标差值和纵坐标差值；

偏置确定单元，用于根据该一对或多对第三图像对应的横坐标差值，得到该可见光相机和该热红外相机之间的横坐标偏置，根据该一对或多对第三图像对应的纵坐标差值，得到该可见光相机与该热红外相机之间的纵坐标偏置；

分辨率确定单元，用于根据该热红外相机的原水平分辨率和该上采样倍数，确定统一后的水平分辨率，根据该热红外相机的原竖直分辨率和该上采样倍数，确定统一后的竖直分辨率；

裁剪区域确定单元，用于根据该可见光相机与该热红外相机之间的横坐标偏置和纵坐标偏置，以及统一后的水平分辨率和统一后的竖直分辨率，确定该可见光相机对应的裁剪区域。

综上所述，本申请实施例提供了一种双目相机的立体标定方法，先将可见光相机和热红外相机的成像规格校正统一，这样在两台相机的成像规格统一的前提下进行后续的立体标定，立体标定能够准确有效。另外，在本方案中还考虑到可见光相机和热红外相机的物理结构存在较大差异，所以对沿光轴方向的平移分量作减小处理，在此基础上，确定两台相机各自的旋转量。这样，基于两台相机的旋转量旋转校正图像后，能够保留更多的图像，保证了图像的可用性，也即保证了立体标定的可靠性。本方法在结合本申请实施例提供的标定装置的情况下，立体标定的精度更高。

需要说明的是：上述实施例提供的双目相机的立体标定装置在对双目相机进行立体标定时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的双目相机的立体标定装置与双目相机的立体标定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图8是本申请实施例提供的一种计算机设备的结构示意图。该计算机设备用于对双目相机进行立体标定，也即该计算机设备用于实现前述实施例中的双目相机的立体标定方法。具体来讲：

计算机设备800包括中央处理单元(CPU)801、包括随机存取存储器(RAM)802和只读存储器(ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。计算机设备800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。

基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备807及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说，大容量存储设备807可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。

根据本申请的各种实施例，计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备800可以通过连接在系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的双目相机的立体标定方法的指令。

在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中双目相机的立体标定方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

值得注意的是，本申请实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。

也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的双目相机的立体标定方法的步骤。

应当理解的是，本文提及的“至少一个”是指一个或多个，“多个”是指两个或两个以上。在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种双目相机的立体标定方法，其特征在于，所述双目相机包括可见光相机和热红外相机，所述方法包括：

对多对初始图像进行处理，得到成像规格统一的多对第一图像，所述多对初始图像中的每对初始图像包括同一物体的可见光图像和热红外图像；

对所述多对第一图像进行标定点提取，得到所述多对第一图像中提取出的标定点的像素坐标；

根据所述多对第一图像中提取出的标定点的像素坐标，标定所述双目相机的外参，所述外参包括所述可见光相机和所述热红外相机之间的平移矩阵和旋转矩阵；

将所述外参包括的平移矩阵中表示沿光轴方向的平移分量作减小处理，得到调整后的平移矩阵，根据所述旋转矩阵和所述调整后的平移矩阵，标定所述可见光相机和所述热红外相机各自的旋转量。

2.根据权利要求1所述的方法，其特征在于，所述对所述多对第一图像进行标定点提取，得到所述多对第一图像中提取出的标定点的像素坐标，包括：

基于二值化处理的方式，提取所述多对第一图像中每个第一图像中的轮廓；

对于所述多对第一图像中的任一第一图像，根据所述任一第一图像中的轮廓的像素坐标，确定所述任一第一图像中提取出的标定点的像素坐标。

3.根据权利要求2所述的方法，其特征在于，所述多对第一图像中的每个第一图像中待提取的标定点是等间距均匀分布的；

所述根据所述任一第一图像中的轮廓的像素坐标，确定所述任一第一图像中提取出的标定点的像素坐标，包括：

将所述任一第一图像中相距在距离阈值之内，且数量不少于轮廓阈值的多个轮廓，组成轮廓族，得到所述任一第一图像中的多个轮廓族；

对于所述任一第一图像中的任一轮廓族，从所述任一第一图像中的多个轮廓族中，获取与所述任一轮廓族距离最近的目标轮廓族，计算所述任一轮廓族的中心与所述目标轮廓族的中心之间的像素横坐标差值和像素纵坐标差值，得到所述任一轮廓族对应的像素横坐标差值和像素纵坐标差值，所述像素横坐标差值和所述像素纵坐标差值不小于零；

计算所述任一第一图像中每个轮廓族对应的像素横坐标差值和像素纵坐标差值的和，得到所述任一第一图像中相应轮廓族对应的标定间距；

将所述任一第一图像中对应的标定间距与参考间距之间的差距超过间距阈值的轮廓族剔除，将剩余的每个轮廓族的中心确定为提取出的一个标定点，将剩余的每个轮廓族的中心像素坐标确定为提取出的一个标定点的像素坐标。

4.根据权利要求1-3任一所述的方法，其特征在于，所述多对第一图像中的每对第一图像包括的可见光图像和热红外图像的分辨率统一；

所述对多对初始图像进行处理，得到成像规格统一的多对第一图像，包括：

根据所述热红外相机对应的上采样倍数，对所述多对初始图像中的热红外图像进行上采样，得到所述多对第一图像中的热红外图像；

根据所述可见光相机对应的裁剪区域，对所述多对初始图像中的可见光图像进行裁剪，得到所述多对第一图像中的可见光图像。

5.根据权利要求4所述的方法，其特征在于，所述对多对初始图像进行处理，得到成像规格统一的多对第一图像之前，还包括：

根据同一热源在一对或多对第二图像中的像素尺寸关系，确定所述热红外相机对应的上采样倍数，所述一对或多对第二图像中的每对第二图像包括同一热源的可见光图像和热红外图像；

根据所述热红外相机的原分辨率和所述上采样倍数，以及同一热源在一对或多对第三图像中对应的像素坐标之间的差值关系，确定所述可见光相机对应的裁剪区域，所述一对或多对第三图像中的每对第三图像包括同一热源的可见光图像和热红外图像。

6.根据权利要求5所述的方法，其特征在于，所述根据同一热源在一对或多对第二图像中的像素尺寸关系，确定所述热红外相机对应的上采样倍数，包括：

计算同一热源在所述一对或多对第二图像中的每对第二图像中的像素长度之间的比值，和/或，计算同一热源在所述一对或多对第二图像中的每对第二图像中的像素面积之间的比值，得到至少一个缩放比值；

根据所述至少一个缩放比值，确定所述热红外相机对应的上采样倍数。

7.根据权利要求5所述的方法，其特征在于，所述根据所述热红外相机的分辨率和所述上采样倍数，以及同一热源在一对或多对第三图像中对应的像素坐标之间的差值关系，确定所述可见光相机对应的裁剪区域，包括：

对于所述一对或多对第三图像中的任一对第三图像，分别计算同一热源在所述任一对第三图像中的像素横坐标之间的差值和像素纵坐标之间的差值，得到所述任一对第三图像对应的横坐标差值和纵坐标差值；

根据所述一对或多对第三图像对应的横坐标差值，得到所述可见光相机和所述热红外相机之间的横坐标偏置，根据所述一对或多对第三图像对应的纵坐标差值，得到所述可见光相机与所述热红外相机之间的纵坐标偏置；

根据所述热红外相机的原水平分辨率和所述上采样倍数，确定统一后的水平分辨率，根据所述热红外相机的原竖直分辨率和所述上采样倍数，确定统一后的竖直分辨率；

根据所述可见光相机与所述热红外相机之间的横坐标偏置和纵坐标偏置，以及所述统一后的水平分辨率和所述统一后的竖直分辨率，确定所述可见光相机对应的裁剪区域。

8.一种双目相机的立体标定装置，其特征在于，所述双目相机包括可见光相机和热红外相机，所述装置包括：

规格统一模块，用于对多对初始图像进行处理，得到成像规格统一的多对第一图像，所述多对初始图像中的每对初始图像包括同一物体的可见光图像和热红外图像；

标定点提取模块，用于对所述多对第一图像进行标定点提取，得到所述多对第一图像中提取出的标定点的像素坐标；

外参标定模块，用于根据所述多对第一图像中提取出的标定点的像素坐标，标定所述双目相机的外参，所述外参包括所述可见光相机和所述热红外相机之间的平移矩阵和旋转矩阵；

立体校正模块，用于将所述外参包括的平移矩阵中表示沿光轴方向的平移分量作减小处理，得到调整后的平移矩阵，根据所述旋转矩阵和调整后的平移矩阵，标定所述可见光相机和所述热红外相机各自的旋转量。

9.一种标定装置，其特征在于，所述标定装置用于实现权利要求1-7任一所述的双目相机的立体标定方法中图像的采集；

所述标定装置包括标定板和补光补热装置；

所述标定板为金属板，所述标定板上等间距均匀分布有孔洞，所述孔洞的孔壁具有倾斜角度；

所述补光补热装置包括补光装置、反射板和补热装置，所述补光装置固定在所述标定板的背面，所述反射板固定在与所述标定板的背面相距一个散热距离的位置，所述补热装置固定在所述反射板的背面；

所述补光装置用于向所述反射板发出光线，所述补热装置用于发出热量，所述反射板的反射面为漫反射面，所述反射板用于通过所述漫反射面向所述标定板反射所述光线，以及向所述标定板传递热量。

10.根据权利要求9所述的标定装置，其特征在于，所述标定装置为单板标定装置，所述单板标定装置包括一个标定板和一套补光补热装置；或者，

所述标定装置为第一组合板标定装置，所述第一组合板标定装置包括多个标定板和多套补光补热装置，所述多个标定板和所述多套补光补热装置一一对应，所述多个标定板的位姿不同；或者，

所述标定装置为第二组合板标定装置，所述第二组合板标定装置包括所述多个标定板和一套补光补热装置，所述多个标定板的位姿不同。

11.一种双目相机系统，其特征在于，所述双目相机系统包括双目相机和处理器；

所述双目相机包括可见光相机和热红外相机，所述可见光相机和所述热红外相机拍摄同一物体得到的可见光图像和热红外图像作为一对初始图像；

所述处理器，用于对多对初始图像进行处理，得到成像规格统一的多对第一图像；

所述处理器，还用于对所述多对第一图像进行标定点提取，得到所述多对第一图像中提取出的标定点的像素坐标；

所述处理器，还用于根据所述多对第一图像中提取出的标定点的像素坐标，标定所述双目相机的外参，所述外参包括所述可见光相机和所述热红外相机之间的平移矩阵和旋转矩阵；

所述处理器，还用于将所述外参包括的平移矩阵中表示沿光轴方向的平移分量作减小处理，得到调整后的平移矩阵，根据所述旋转矩阵和所述调整后的平移矩阵，标定所述可见光相机和所述热红外相机各自的旋转量。

12.一种双目相机，其特征在于，所述双目相机包括可见光相机和热红外相机，所述可见光相机和所述热红外相机根据权利要求1-7任一所述的方法进行立体标定。

Images