CN109272555B - 一种rgb-d相机的外部参数获得及标定方法 - Google Patents

Abstract

本发明公开了一种RGB‑D相机的外部参数获得及标定方法，所述的外部参数包括旋转矩阵R以及平移矩阵T，通过采集含有标定板和地平面的图像获得RGB‑D相机的外部参数，该方法通过建立数学模型求解得出相机外参，即可以实现相机坐标系和世界坐标系之间的映射关系求解；该方法操作灵活，可以实现高精度、非现场的相机自动标定。

Description

一种RGB-D相机的外部参数获得及标定方法

技术领域

本发明涉及相机标定方法，具体涉及一种RGB-D相机的外部参数 获得及标定方法。

背景技术

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点 的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机 成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下 这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之 为相机标定。相机标定时，相机的参数包括外部参数以及内部参数， 其中外部参数需要依靠采集标定图像的方式获得，一般相机的内部参 数是与相机自身特性相关的参数，比如相机的焦距、像素大小等，生 产厂家会提供这些参数，因此一般相机标定时，尤其是RGB-D相机仅 需对外部参数进行手动标定。

RGB-D相机是指彩色-深度相机，RGB-D相机包括了两套成像系 统，分别是彩色相机和深度相机，因此RGB-D相机采集到的RGB-D图 像是两幅图像：一个是普通的RGB三通道彩色图像，另一个是深度图 像。深度图像类似于灰度图像，只是它的每个像素值是传感器距离物 体的实际距离，彩色图像和深度图像是配准的，因而像素点之间具有 一对一的对应关系，目前现有技术在对RGB-D相机进行标定时，大都 是对彩色相机和深度相机分开进行标定，这种标定方法操作较为复 杂，不符合工程需求。

发明内容

本发明的目的在于提供一种RGB-D相机的外部参数获得及标定 方法，用以解决现有技术中的RGB-D相机标定方法操作复杂，不符合 工程需求的问题。

为了实现上述任务，本发明采用以下技术方案：

一种RGB-D相机的外部参数获得方法，所述的外部参数包括旋转 矩阵R以及平移矩阵T，通过采集标定板的图像获得RGB-D相机的外 部参数，所述的方法包括：

步骤1、在空间设置标定板，所述的标定板平行于地平面放置； 利用RGB-D相机采集标定板和地平面的二维图像以及所述二维图像 中每个像素点对应的三维点云数据；

步骤2、根据所述二维图像以及所述二维图像中每个像素点对应 的三维点云数据，获得二维图像中标定板平面的方程：

a₀x+a₁y-z+a₂＝0 式I

其中，a₀,a₁,a₂均为常数，a₀≠0,a₁≠0；

步骤3、采用式II获得旋转矩阵R：

其中，θ为二维图像中标定板平面法向量与二维图像中地平面法 向量之间的夹角，

步骤4、利用所述的旋转矩阵R以所述二维图像的原点为圆心将 所述的二维图像进行旋转，获得平移矩阵T：

其中，h为旋转后的二维图像中标定板平面与地平面之间的垂直 距离。

进一步地，所述的标定板为棋盘格标定板。

进一步地，所述的步骤2、根据所述二维图像以及所述二维图像 中每个像素点对应的三维点云数据，获得二维图像中标定板平面的方 程时，通过在所述的二维图像中的标定板上随机选择至少三个点，采 用最小二乘法获得二维图像中标定板平面的方程。

一种RGB-D相机的标定方法，包括：

步骤A、采用上述的RGB-D相机的外部参数获得方法，获得RGB-D 相机的外部参数；

步骤B、获得RGB-D相机的内部参数；

步骤C、根据所述的RGB-D相机的外部参数以及所述的RGB-D相 机的内部参数，获得标定后的RGB-D相机。

本发明与现有技术相比具有以下技术特点:

1、本发明提供的RGB-D相机的外部参数获得方法，节省了需要 对RGB-D相机中两个相机的标定的操作步骤，并且不需要将标定板人 工旋转，能够方便快速的获得RGB-D相机的外部参数，该方法操作灵 活，可以实现非现场的相机自动标定。

2、本发明提供的RGB-D相机的外部参数获得方法，具有较高的 精度和稳定性，可以满足实际应用的需求。

附图说明

图1为本发明提供的RGB-D相机的外部参数获得方法的流程图；

图2为本发明的一个实施例中提供的二维图像坐标系下向量旋 转变换关系示意图；

图3为本发明的一个实施例中提供的三维坐标系下向量旋转变 换关系示意图；

图4为本发明的一个实施例中提供的标定前后相机坐标系和世 界坐标系下三维点云对比图；

图5为本发明的一个实施例中提供的标定结果实际值和测量值 对比示意图；

图6为本发明的一个实施例中提供的测量误差分布图。

具体实施方式

点云数据是扫描资料以点的形式记录，每一个点包含有三维坐 标，有些可能含有颜色信息或反射强度信息。

为了求解相机坐标系和和世界坐标系之间的映射关系，首先需要 做的工作就是确定相机坐标系和世界坐标系之间的约束关系，因此， 选取相机坐标系下一平行于地面的标定板平面α_c和世界坐标系中的 地平面α₀，通过标定平面和地平面之间的约束关系建立如下所示的数 学模型：

α₀＝α_cR+T 式I

其中，α_c表示的是相机坐标系下的标定板平面，α₀表示的是世界 坐标系下的地平面，旋转矩阵R和平移矩阵T表示的是相机坐标系和 世界坐标系之间的映射关系，即为相机的外参。

如图1所示，本发明公开了一种RGB-D相机的外部参数获得方法， 所述的外部参数包括旋转矩阵R以及平移矩阵T，通过采集含有标定 板的二维图像获得RGB-D相机的外部参数，所述的方法包括：

步骤1、在空间设置标定板，所述的标定板平行于地平面放置； 利用RGB-D相机采集标定板和地平面的二维图像以及所述二维图像 中每个像素点对应的三维点云数据；

在本步骤中，在RGB-D相机视场内放置一块平行于地面的标定 板，然后用RGB-D相机采集含有标定板和地平面的二维图像以及所述 二维图像对应的三维点云数据。

具体地，标定板可以是实心圆阵列图案标定板，也可以是棋盘格 标定板，作为一种优选的实施方式，所述的标定板为棋盘格标定板。

在本实例中，我们采用的RGB-D相机是Kinect二代相机，我们 在相机视场范围内放置一块平行于地面的带有棋盘格的标定板，并用 Kinect相机采集标定板图像和对应的相机坐标系下的三维点云。

步骤2、根据所述二维图像以及所述二维图像中每个像素点对应 的三维点云数据，获得二维图像中标定板平面的方程：

a₀x+a₁y-z+a₂＝0 式II

其中，a₀,a₁,a₂均为常数，a₀≠0,a₁≠0；

可选地，通过在所述的二维图像中的标定板上随机选择至少三个 点，采用最小二乘法获得二维图像中标定板平面的方程。

在本实施例中，在Kinect相机坐标系下手动选择二维图像中标 定板上尽可能大的一块区域，为了拟合出的平面尽可能准确，即在棋 盘格标定板平面α_c上选择个n点，n>3：

(x_i,y_i,z_i),i＝1,2,...n 式III

要用点(x_i,y_i,z_i)|i＝1,2,...n拟合计算出标定板平面α_c，则使式IV最 小：

S＝∑(a₀x+a₁y+a₂-z)² 式IV

要使得S最小，应满足式V：

通过求解式V所示方程组，可得a₀,a₁,a₂，则标定板平面α_c可以由 式II表示。

在本实施例中，标定板图像中标定板平面的方程为：

2x+5y-z+7＝0

即a₀＝2,a₁＝5,a₂＝7。

根据标定板平面α_c的方程，获得二维图像中标定板平面的法向量

在本实例中，根据标定板平面的方程II，由式II和平面法向量 的数学定理可得二维图像中标定板平面的法向量

步骤3、采用式VI获得旋转矩阵R：

其中，θ为二维图像中标定板平面法向量与地平面法向量之间的 夹角，

在本步骤中，二维图像中地平面α₀的法向量

求解标定 板平面法向量

和地平面法向量

之间的旋转矩阵R。

在本实施例中，已知地平面α₀的法向量

然后求解标定 板平面α_c的法向量

和

之间的旋转矩阵R。如图2的二维坐标系下 向量旋转关系，由此可以得到二维坐标系下向量旋转关系：

如图3所示的三位坐标系下的向量旋转关系示意图，由图3和式 VII可以获得：

v′＝(ax+by)cosθ+(ax-by)sinθ+cz 式VIII

其中，a,b,c均为常数，a≠0,b≠0,c≠0。

由图3可以获得：

由式VIII和式IX获得：

v′＝(v-(v·z)z)cosθ+(z×v)sinθ+cz 式X

另外，由式IX中向量的叉乘可以如下表示：

因此可以得到三维空间中两向量之间旋转矩阵为：

将相关矩阵带入式XII可以得到式VI所示的旋转矩阵R。

在本实施例中，旋转矩阵R：

步骤4、利用所述的旋转矩阵R以所述二维图像的原点为圆心将 所述的二维图像进行旋转，获得平移矩阵T：

其中，h为旋转后的二维图像中标定板平面与地平面之间的垂直 距离。

在本步骤中，把棋盘格标定板平面α_c通过旋转矩阵R旋转后，然 后向Z轴负方向平移距离h就可以使得标定板平面α_c和地平面α₀共 面，进而实现了旋转矩阵R和平移矩阵T的求解和相机的标定。

在本实施例中，选取标定板平面上左上角的点O_C(x₀,y₀,z₀)作为标 定板平面的原点，以点O₀(x₀,y₀,z₀-h)作为世界坐标系的原点。其中， h为标定板平面距地平面之间的距离，由此可以得到标定板平面和地 平面之间的平移矩阵T：

实施例二

一种RGB-D相机的标定方法，包括：

步骤A、采用实施例一中所述的RGB-D相机的外部参数获得方法， 获得RGB-D相机的外部参数；

在本实施例中，采用实施例一中所述的外部参数获得方法，获得 Kinect相机的旋转矩阵R：

平移矩阵T：

步骤B、获取相机坐标系下的点云数据，获得RGB-D相机的内部 参数；

在本实施例中，通过查询Kinect相机的内部参数，包括图像像素 坐标系中光轴投影坐标即主点坐标(u0,v0)＝(959.5,539.5)，在x方向上 每个像素的物理尺寸1/dx＝1/258，在y方向上每个像素的物理尺寸 1/dy＝1/206。

步骤C、根据所述的RGB-D相机的外部参数以及所述的RGB-D相 机的内部参数，获得标定后的RGB-D相机。

在本实施例中，根据以上获得的Kinect相机外部参数以及内部参 数，完成了对Kinect相机的标定。

实施例三

为了验证平面标定方法的标定精度，采用Kinect相机对本发明 提供的标定方法进行了实验与分析。实验过程中，相机离地面高度5 米，彩色图像分辨率1920×1080，并在实验场景中放置了一块棋盘格标 定板。

首先，标定前后三维点云对比如图4所示。

标定前以X,Y,Z三个相互正交轴构成的坐标系C为相机坐标系， 标定完成后相机坐标系中三维点云转换到了世界坐标系中，即以 X,Y,Z三个相互正交的轴构成的坐标系C变成了世界坐标系。

在完成相机标定后，以三维物体的实际尺寸(实际值)和测量尺 寸(测量值)对比来验证平面标定方法的标定精度。实验过程中采集 的数据部分如表1所示。

表1实验场景下标定完成后实际值和测量值数据

如表1所示，在本次实验中选取了36对实际值和测量值实验数 据，其中，有些数据中实际值是相同的，这些数据是在离相机固定距 离平面上进行选择的，如表1中序号5～11所示数据，这种选取方法 能更加全面验证标定完成后在整个相机视场内的标定精度。

本实例选择测试数据的实际值和测量值之间差的绝对值为标定 精度的测量误差。测量误差的均值用

表示，具体计算方法则如式 XIV所示，测量误差的标准差用σ_w表示，具体计算方法如式XV所示。

其中，L_j表示的是三维空间中第j个物体的实际尺寸值，L_j′为三 维空间中第j个物体尺寸的测量值，n≥1。

本实施例中，选择

和σ_w作为标定结果精度的评判标准，显然，

表示的世界坐标系中三维物体实际尺寸和测量尺寸之间的误差的 均值，反映了标定精度的高低。

越小，标定精度越高，反之，标定 精度越低。σ_w表示的是测量误差的波动，反映了标定精度的稳定性。 σ_w越小，标定结果越稳定；反之，标定结果越不稳定。

同时为了更加直观的展示实际值和测量值之间的对比关系，根据 表1中的数据以实际值/测量值(单位/cm)为y轴，以数据的序号为x 轴作了一个实际值－测量值之间的对比图，如图5所示。

如图5所示，实际值曲线和测量值曲线走势基本一致，并没有太 大偏差，由此可以证明标定结果具有较高精度。由式XIV和式XV 经过计算可得标定完成后测量误差的均值和标准差为：

σ_w＝0.732736708

以测量误差的值为y轴(单位/cm)，以采集数据的序号为x轴， 绘制了一幅如图6所示的误差分布图，同时在图中分别标出了测量误 差的最大值、最小值和均值。

如图6所示，测量误差最大值为3.1798cm(实际值为129cm，测 量误差占实际值百分比为2.465％)，最小值为0.069585cm(实际值为 41cm，测量误差占实际值百分比为0.16972％)，平均值为 1.035600687cm。由测量误差的均值位于测量误差的最小值和最大值 中间可以看出，平面标定方法的标定精度具有较高的稳定性。本文选 择以测量误差的均值作为最终标定精度的评判依据，即标定完成后测 量误差为1.035600687cm。由此可以证明，平面标定方法具有较高的 精度和稳定性，可以满足实际应用的需求。

Claims (4)

1.一种RGB-D相机的外部参数获得方法，所述的外部参数包括旋转矩阵R以及平移矩阵T，其特征在于，所述的方法包括：

步骤1、在空间设置标定板，所述的标定板平行于地平面放置；利用RGB-D相机采集标定板和地平面的二维图像以及所述二维图像中每个像素点对应的三维点云数据；

步骤2、根据所述二维图像以及所述二维图像中每个像素点对应的三维点云数据，获得二维图像中标定板平面的方程：

a₀x+a₁y-z+a₂＝0 式I

其中，a₀,a₁,a₂均为常数，a₀≠0,a₁≠0；(x_i,y_i,z_i),i＝1,2,...n,n＞3；

步骤3、采用式VI获得旋转矩阵R：

其中，θ为二维图像中标定板平面法向量与地平面法向量之间的夹角，

步骤4、利用所述的旋转矩阵R以所述二维图像的原点为圆心将所述的二维图像进行旋转，获得平移矩阵T：

其中，h为旋转后的二维图像中标定板平面与地平面之间的垂直距离。

2.如权利要求1所述的RGB-D相机的外部参数获得方法，其特征在于，所述的标定板为棋盘格标定板。

3.如权利要求2所述的RGB-D相机的外部参数获得方法，其特征在于，所述的步骤2、根据所述二维图像以及所述二维图像中每个像素点对应的三维点云数据，获得二维图像中标定板平面的方程时，通过在所述的二维图像中的标定板平面上随机选择至少三个点，采用最小二乘法获得二维图像中标定板平面的方程。

4.一种RGB-D相机的标定方法，其特征在于，包括：

步骤A、采用如权利要求1-3任一项权利要求所述的RGB-D相机的外部参数获得方法，获得RGB-D相机的外部参数；

步骤B、获得RGB-D相机的内部参数；

步骤C、根据所述的RGB-D相机的外部参数以及所述的RGB-D相机的内部参数，获得标定后的RGB-D相机。

Images