CN112102415A

CN112102415A - 基于标定球的深度相机外参数标定方法、装置及设备

Info

Publication number: CN112102415A
Application number: CN202010876225.9A
Authority: CN
Inventors: 李由; 严曲
Original assignee: 63919 Troops of PLA
Current assignee: 63919 Troops of PLA
Priority date: 2020-08-25
Filing date: 2020-08-25
Publication date: 2020-12-18

Abstract

本发明公开了一种基于标定球的深度相机外参数标定方法，包括：拍摄标定球在不同空间位置的彩色深度图像，得到所述标定球的彩色深度图像集合；根据所述彩色深度图像集合以及预先计算的深度相机的内参数得到所述标定球的点云图像集合；根据所述点云图像集合确定所述标定球在各个点云图像中的球心坐标；根据所述球心坐标以及刚体变换公式计算得到深度相机的外参数。本发明公开的基于标定球的深度相机外参数标定方法，可同时标定多台相机，不仅操作简单方便，效率高，而且标定精度高，自动化程度高。

Description

基于标定球的深度相机外参数标定方法、装置及设备

技术领域

本发明涉及相机标定技术领域，特别涉及一种基于标定球的深度相机外参数标定方法、装置及设备。

背景技术

近年来，视觉测量技术以其非接触性、高精度、自动化程度高、动态范围大和成本低廉等优点，在现代航空航天领域发挥了越来越重要的作用，例如，通过多个深度相机采集人体的运动姿态等，而相机标定技术作为计算机视觉的基础也成为了研究的重点。

现有技术中，主要基于标定板标定相机的内参数和外参数，这种基于标定板的相机标定方法，不仅操作复杂，效率低下，而且由于结构光相机自身结构特性的因素，标定结果精度不高，难以适应对精度要求较高的应用领域。

发明内容

本公开实施例提供了一种基于标定球的深度相机外参数标定方法、装置及设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供了一种基于标定球的深度相机外参数标定方法，包括：

拍摄标定球在不同空间位置的彩色深度图像，得到标定球的彩色深度图像集合；

根据彩色深度图像集合以及预先计算的深度相机的内参数得到标定球的点云图像集合；

根据点云图像集合确定标定球在各个点云图像中的球心坐标；

根据球心坐标以及刚体变换公式计算得到深度相机的外参数。

可选地，拍摄标定球在不同空间位置的彩色深度图像之前，还包括：

基于标定板标定深度相机的内参数。

可选地，根据点云图像集合确定标定球在各个点云图像中的球心坐标，包括：

根据获取到的标定球的点云图像，采用RANSAC算法进行拟合计算，得到点云图像中的球心坐标。

可选地，根据球心坐标以及刚体变换公式计算得到深度相机的外参数，包括：

X_a＝X_b*R+T

其中，X_a表示球心在相机A坐标系下的坐标，X_b表示球心在相机B下的坐标，R、T表示深度相机的外参数。

可选地，可根据奇异值分解算法求解刚体变换公式。

可选地，深度相机的数量为两台以上。

可选地，标定球为直径20cm-50cm的标定过程中不会发生形变的球体。

第二方面，本公开实施例提供了一种基于标定球的深度相机外参数标定装置，包括：

第一获取模块，用于拍摄标定球在不同空间位置的彩色深度图像，得到标定球的彩色深度图像集合；

第二获取模块，用于根据彩色深度图像集合以及预先计算的深度相机的内参数得到标定球的点云图像集合；

第一计算模块，用于根据点云图像集合确定标定球在各个点云图像中的球心坐标；

第二计算模块，用于根据球心坐标以及刚体变换公式计算得到深度相机的外参数。

可选地，还包括：

内参数标定模块，用于基于标定板标定深度相机的内参数。

第三方面，本公开实施例提供了一种基于标定球的深度相机外参数标定设备，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述实施例提供的基于标定球的深度相机外参数标定方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的基于标定球的深度相机外参数标定方法，可用多台相机同步拍摄标定球在不同空间位置的彩色深度图像，将彩色深度图像转化为点云图像，提取点云图像中的标定球，拟合计算出球心坐标，根据计算出来的球心坐标和刚体变换公式得到相机的外参数。该方法操作简单，效率高，而且具有较高的标定精度，适用于多种应用场景。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种基于标定球的深度相机外参数标定方法的流程示意图；

图2是根据一示例性实施例示出的一种基于标定球的深度相机外参数标定的示意图；

图3是根据一示例性实施例示出的一种标定球的点云图像示意图；

图4是根据一示例性实施例示出的一种标定球的球心拟合结果的示意图；

图5是根据一示例性实施例示出的一种基于标定球的深度相机外参数标定装置的结构示意图；

图6是根据一示例性实施例示出的一种基于标定球的深度相机外参数标定设备的结构示意图；

图7是根据一示例性实施例示出的一种计算机存储介质的示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

第一方面，本公开实施例提供了一种基于标定球的深度相机外参数标定方法，下面将结合附图1-附图4，对本申请实施例提供的基于标定球的深度相机外参数标定方法进行详细介绍。

参见图1，该方法具体包括以下步骤；

步骤S101、拍摄标定球在不同空间位置的彩色深度图像，得到标定球的彩色深度图像集合；

具体地，在对深度相机进行外参数标定之前，首先标定深度相机的内参数，标定相机的内参数可以提高后续计算的精度。

在一种可能的实现方式中，可以采用传统的基于标定板的内参数标定方法，以两台深度相机为例，标定完成的内参数如下所示：

在标定过程中，相机内部参数始终不变，即不论相机从任何角度拍摄标定球，相机内部参数都为常数，只有外部参数发生变化。本领域技术人员也可采用其他内参数标定方法，本公开实施例不做具体限定。

进一步地，完成相机的内参数标定之后，拍摄标定球在不同空间位置的深度图像，如图2所示，相机A和相机B位于不同的空间位置，控制标定球在相机A和相机B的共同视野中移动，相机A和相机B同步拍摄标定球在不同空间位置处的RGB-D图像,得到标定球的彩色深度图像集合。本公开实施例提供的相机标定方法，可同时标定多台相机，具体的数量本领域技术人员可自行设定。

其中，可用大小适中的标定球，在一种可选地实施方式中，可以选用直径为20cm-50cm的标定球，且在标定过程中标定球不会发生形变。例如，可以选用大小适中的瑜伽球、普拉提球、足球、排球、皮球、泡沫球等。

步骤S102、根据彩色深度图像集合以及预先计算的深度相机的内参数得到标定球的点云图像集合；

具体地，RGB-D图像中的RGB图片提供了像素坐标系下的x,y坐标，而深度图直接给出了相机坐标系下的Z坐标，也就是相机与点的距离，因此，根据RGB-D图像的信息和相机的内参，可以计算出任何一个像素点在相机坐标系下的坐标，相机视野范围内，相机坐标系下的物体的坐标，就是点云传感器数据，也就是相机坐标系下的点云数据，相机坐标系P与像素坐标系P_xy下的点的坐标的关系公式如下所示：

将上式整理后得到的公式为：

X＝Z(x-c_x)/f_x

Y＝Z(y-c_y)/f_y

Z＝d

一般来说，公式中点在相机坐标系下的Z值就是相机测出的深度值d，在对应点的位置再加入彩色信息就能够构成彩色点云。

根据该步骤，可以得到标定球的点云图像集合。图3是根据一示例性实施例示出的一种标定球的点云图像。

步骤S103、根据点云图像集合确定标定球在各个点云图像中的球心坐标；

具体地，首先获取深度相机拍摄的RGB-D图像，对于RGB图像，利用高斯函数对其进行模糊处理，再根据Canny边缘检测算法进行边缘检测，以及利用Hough变换方法自动提取图像中的圆形目标，获取圆心坐标(x,y)和半径(r)。对于深度图像，提取以(x,y)为圆心，半径(r+δ)范围内所有深度数据(xi,yi,di),并转化为点云数据(Xi，Yi,Zi)，这些点中绝大多数属于标定球表面，只有小部分点属于噪声点。

然后对这些点进行拟合计算，逐步去除不属于标定球表面的噪声点，逐步获取球心的精确位置。

根据提取出来的标定球的点云，采用RANSAC(RANdomSAmple Consensus，随机抽样一致)算法进行拟合计算，求取球心坐标，球心拟合结果如图4所示，RANSAC算法采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数，RANSAC算法假设数据中包含正确数据和异常数据，正确数据记为内点，异常数据记为外点，该算法核心思想就是随机性和假设性，随机性是根据正确数据出现概率去随机选取抽样数据，根据大数定律，随机性模拟可以近似得到正确结果，假设性是假设选取出的抽样数据都是正确数据，然后用这些正确数据通过问题满足的模型，去计算其他点，然后对这次结果进行一个评分。

根据该步骤，可以获得标定球的球心坐标。

步骤S104、根据球心坐标以及刚体变换公式计算得到深度相机的外参数。

具体地，以两台相机之间外参数标定为例，相机A的坐标系和相机B的坐标系如图2所示，相机A相对于相机B的外参数就是这两个坐标系之间的相对位姿关系，旋转矩阵R和平移向量T。假设空间任意一点p，它在相机A坐标系下的坐标为X_a＝(x_a,y_a,z_a),在相机B坐标系下的坐标为X_b＝(x_b,y_b,z_b),则有：

X_a＝X_b*R+T

根据该刚体变换公式可以计算出深度相机的外参数，旋转矩阵R和平移向量T，其中，R为一个3*3的矩阵，T为一个3*1的向量。

具体地，假设在相机A的坐标系下，这些球心的坐标为Xa,i(i＝0,1,...,n-1)，在相机B的坐标系下，这些球心的坐标为Xb,i(i＝0,1,...,n-1)，将计算出来的这些球心坐标代入刚体变换公式，就可以计算出各个深度相机的外参数R、T。

求解外参数R、T的过程可以描述为一种绝对定向问题，绝对定向问题可以用公式q_i＝Rp_i+T来描述，其中q_i和p_i分别为非共线的对应点。计算绝对定向的过程，可以理解为根据多个非共线对应点q_i和p_i计算R和T的过程。

具体解法包括，首先将分散的对应点进行中心化。

然后定义新的对应点为：

其中，M为正交矩阵，可以用SVD方法对M进行奇异值分解，可得:

R^*＝VU^T

进而计算出外参数R、T。

可选地，本公开实施例还可以标定多台相机的外参数，在一种可能的实现方式中，需要标定4台相机的外参数，可以采用上述实施例提供的方法，先标定相机AB的外参数，再标定相机BC的外参数，最后标定相机CD的外参数，最终实现对所有相机的外参数的标定。

可选地，还可以验证相机标定的精度，相机BCD转换到相机A的坐标系下的外参矩阵分别为：

RAB＝[0.97804523,0.20831746,-0.0055900514；0.12200296,-0.5506416,0.82577789；0.16894591,-0.80833018,-0.56396782]；

tAB＝[60.19146；-1516.6927；2792.6016]；

RAC＝[-0.98926884,-0.14451671,-0.02149988；0.065676749,-0.57129264,0.81811452；-0.13051388,0.80792308,0.57465333]；

tAC＝[-95.215172；-1694.0875；892.76166]；

RAD＝[-0.99140066,-0.13007866,0.01429601；-0.12462835,0.9718399,0.19998762；-0.03990756,0.19648612,-0.97969413]；

tAD＝[-54.210518；-387.18329；3626.3877]；

球心转换到同一坐标系后的误差均值、标准差分别为：

根据上述实验数据可知，基于本公开实施例的相机外参数标定方法，误差较小，适用于绝大多数应用场景。

基于本公开实施例提供的基于标定球的相机外参数标定方法，可用多台相机同步拍摄标定球在不同空间位置的深度图像，将深度图像转化为点云图像，提取点云图像中的标定球，拟合计算出球心坐标，根据计算出来的球心坐标和刚体变换公式得到相机的外参数。该方法操作简单，效率高，而且具有较高的标定精度。

第二方面，本公开实施例还提供一种基于标定球的深度相机外参数标定装置，该装置用于执行上述实施例的基于标定球的深度相机外参数标定方法，如图5所示，该装置包括：

第一获取模块501，用于拍摄标定球在不同空间位置的深度图像，得到标定球的深度图像集合；

第二获取模块502，用于根据深度图像集合以及预先计算的深度相机的内参数得到标定球的点云图像集合；

第一计算模块503，用于根据点云图像集合确定标定球在各个点云图像中的球心坐标；

第二计算模块504，用于根据球心坐标以及刚体变换公式计算得到深度相机的外参数。

可选地，还包括：

内参数标定模块，用于基于标定板标定深度相机的内参数。

需要说明的是，上述实施例提供的基于标定球的深度相机外参数标定装置在执行基于标定球的深度相机外参数标定方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于标定球的深度相机外参数标定装置与基于标定球的深度相机外参数标定方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

第三方面，本公开实施例还提供一种与前述实施例所提供的基于标定球的深度相机外参数标定方法对应的电子设备，以执行上述基于标定球的深度相机外参数标定方法。

请参考图6，其示出了本申请的一些实施例所提供的一种电子设备的示意图。如图6所示，电子设备包括：处理器600，存储器601，总线602和通信接口603，处理器600、通信接口603和存储器601通过总线602连接；存储器601中存储有可在处理器600上运行的计算机程序，处理器600运行计算机程序时执行本申请前述任一实施例所提供的基于标定球的深度相机外参数标定方法。

其中，存储器601可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口603(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线602可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器601用于存储程序，处理器600在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的基于标定球的深度相机外参数标定方法可以应用于处理器600中，或者由处理器600实现。

处理器600可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器600中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器600可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器601，处理器600读取存储器601中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的基于标定球的深度相机外参数标定方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

第四方面，本申请实施例还提供一种与前述实施例所提供的基于标定球的深度相机外参数标定方法对应的计算机可读存储介质，请参考图7，其示出的计算机可读存储介质为光盘700，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的基于标定球的深度相机外参数标定方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于标定球的深度相机外参数标定方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种基于标定球的深度相机外参数标定方法，其特征在于，包括：

拍摄标定球在不同空间位置的彩色深度图像，得到所述标定球的彩色深度图像集合；

根据所述彩色深度图像集合以及预先计算的深度相机的内参数得到所述标定球的点云图像集合；

根据所述点云图像集合确定所述标定球在各个点云图像中的球心坐标；

根据所述球心坐标以及刚体变换公式计算得到深度相机的外参数。

2.根据权利要求1所述的方法，其特征在于，所述拍摄标定球在不同空间位置的彩色深度图像之前，还包括：

基于标定板标定所述深度相机的内参数。

3.根据权利要求1所述的方法，其特征在于，根据所述点云图像集合确定所述标定球在各个点云图像中的球心坐标，包括：

4.根据权利要求1所述的方法，其特征在于，根据所述球心坐标以及刚体变换公式计算得到深度相机的外参数，包括：

X_a＝X_b*R+T

5.根据权利要求4所述的方法，其特征在于，可根据奇异值分解算法求解所述刚体变换公式。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述深度相机的数量为两台以上。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述标定球为直径20cm-50cm的标定过程中不会发生形变的球体。

8.一种基于标定球的深度相机外参数标定装置，其特征在于，包括：

第一获取模块，用于拍摄标定球在不同空间位置的彩色深度图像，得到所述标定球的彩色深度图像集合；

第二获取模块，用于根据所述彩色深度图像集合以及预先计算的深度相机的内参数得到所述标定球的点云图像集合；

第一计算模块，用于根据所述点云图像集合确定所述标定球在各个点云图像中的球心坐标；

第二计算模块，用于根据所述球心坐标以及刚体变换公式计算得到深度相机的外参数。

9.根据权利要求8所述的装置，其特征在于，还包括：

内参数标定模块，用于基于标定板标定所述深度相机的内参数。

10.一种基于标定球的深度相机外参数标定设备，其特征在于，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至7任一项所述的基于标定球的深度相机外参数标定方法。