CN108230402A - 一种基于三棱锥模型的立体标定方法 - Google Patents

Abstract

本发明公开了一种基于三棱锥模型的立体标定方法，利用多个RGB‑D传感器分别采集同一场景的不同视角的多个深度图像；进行前景区域提取，得到前景深度图像；再进行平滑滤波，得到平滑滤波处理后的深度图像；先生成一个与三棱锥模型同样大小的完整球面点云，然后通过平滑滤波后的深度图像生成部分球面点云，然后进行点云配准，最后输出位置转换后的完整球面点云；求取小球的重心坐标位置，然后再计算RGB‑D传感器之间的转换矩阵，最后完成标定并输出结果。本发明将三棱锥模型应用到立体标定，不会受到时延的影响标定的精度；仅仅利用四个小球的重心位置来计算传感器之间的转换矩阵，标定方法更简单、更方便和更快速；具有更好的精度和鲁棒性。

Description

一种基于三棱锥模型的立体标定方法

技术领域

本发明涉及立体标定、前景提取和点云配准等技术，特别涉及一种基于三棱锥模型的立体标定方法。

背景技术

近几年来，随着微软的kinect和英特尔的realSence产品的出现，AltspaceVR和Facebook的发布会虚拟现实社交平台的出现，深度摄像头和普通摄像头组合的RGB-D传感器在日常生活中应用和大学实验室的研究越来越广泛，其中面临着最直接的问题是如何简单和快速的实现对多个RGB-D传感器的标定。现在用于标定的方法主要有一维标定尺、二维标定板和三维立体标定物。而一维标定尺和二维标定板缺少维度信息，需要多次摆放，操作不便，而三维标定物能够得到更好的效果。现有的三维标定物有立体标定块、标定校准杆和组合式二维标定杆等。但在现在的立体标定方法，要么标定装置复杂，要么要进行多次采集才能完成标定，对于学生或者普通用户来说操作十分困难。

针对于多个RGB-D传感器的立体标定方法，在2008年G.Kurillo等人在论文《使用视觉图和虚拟校准对象的广域外部多摄像机校准》中提出了使用由两个LED标记创建的虚拟校准对象，提出了一种强大而有效的广域校准方法，但是这种方法是采用的是多个相机不同帧的图像来完成标定，由于标定棒是实时在运动，不同相机采集图像有不同的时延，会影响最终标定的精度。在2017年Dimitrios S.Alexiadis等人在论文《一个用于实时3D人类重建和运动捕获的完整平台》中提出了使用4个标准化IKEA盒以及32个独特的QR标记来构建立体标定物，但是由于标定方法复杂和标定物过大，不是一种简单和快速的标定方法。

发明内容

本发明的目的在于解决上述标定方法过程复杂、鲁棒性差和标定结果精度低的问题，提供一种基于三棱锥模型的立体标定方法。

本发明采用的技术方案如下：

一种基于三棱锥模型的立体标定方法，包括以下几个步骤：

步骤1：采集同一场景的不同视角的RGB图像和深度图像再进行前景区域提取，得到前景深度图像和前景RGB图像；

步骤2：将前景深度图像和前景RGB图像进行平滑滤波，得到平滑滤波处理后的深度图像；

步骤3：基于三棱锥模型和平滑滤波处理后的深度图像分别生成完整球面点云和部分球面点云，进行点云配准，最后输出深度图像的完整球面点云；

步骤4：根据深度图像的完整球面点云求取小球的重心坐标位置，然后再根据小球重心的坐标计算各采集点之间的转换矩阵，最后完成标定并输出结果。

进一步，步骤1具体包括以下几个步骤：

步骤1.1：根据采集点设置多个RGB-D传感器，并分别采集同一场景不同角度的多个RGB图像和深度图像；

步骤1.2：低通滤波器对深度图像进行滤波，把深度值大于阈值的区域过滤掉，把深度值小于阈值的区域保留，得到滤波后的图像即深度图像的前景区域；

步骤1.3：把RGB图像转换到Lab颜色空间，通过Lab颜色空间a和b通道的值变换，得到三棱锥全部小球在RGB图像和深度图像中的位置区域即前景深度图像；

步骤1.4：输出前景深度图像。

进一步，所述图像的滤波模块的流程包括以下几个步骤：

步骤2.1：获取前景深度图像，将前景深度图像进行二值化，再对二值化的前景深度图像进行开操作和闭操作，得到开闭操作处理后的二值化图像；

其中，所述开操作是先腐蚀再膨胀，所述闭操作是先膨胀再腐蚀。

步骤2.2：将开闭操作处理后的二值化图像和前景深度图像进行选择滤波，所述选择滤波的公式如下：

其中，I_depth表示前景深度图像，I_b表示开闭操作后的二值化图像，I_depth-p表示处理后的深度图像，所述公式表示如下含义：

(1)如果I_b像素点的值为零，则I_depth-p为深度图像背景的默认值即背景区域值；

(2)如果I_b像素点的值不为零，并且I_depth是深度图像的前景部分，则I_depth-p的值就是I_depth的值；

(3)如果I_b像素点的值不为零，并且I_depth是深度图像的背景部分，则I_depth-p的值为I_depth周围像素为前景像素点的均值；

最后，得到处理后的前景深度图像；

步骤2.3：对处理后的前景深度图像进行双边滤波，再输出平滑滤波处理后的深度图像；

其中，所述双边滤波过程采用双边滤波器。

进一步，所述点云的配准模块的流程包括以下几个步骤：

步骤3.1：获取平滑处理后的深度图像，将平滑处理后的深度图像与各采集点已有的位置参数来生成部分球面点云，再根据小球的实际大小生成一个同样大小的完整球面点云；

步骤3.2：计算部分球面点云的重心坐标位置，并把完整球面点云的重心坐标位置移动到部分球面点云的重心坐标位置，完成粗配准，得到待精配准点云；

步骤3.3：根据待精配准点云并利用最近邻迭代点(ICP)算法完成完整球面点云到部分球面点云的精配准，得到精配准的数据即完成位置转换的所有完整球面点云，再输出完成位置转换的深度图像的完整球面点云；

进一步，所述步骤3.3中的ICP算法的步骤包括以下几个步骤：

步骤3.3.1：基于K-D树算法，为部分球面点云和完整球面点云中所有点搜索最近邻点；

步骤3.3.2：利用四元数法计算部分球面点云和完整球面点云之间最优的刚体变换，得到刚体变换结果；

步骤3.3.3：将刚体变换结果作用于待精配准点云；

步骤3.3.4：重复以上步骤4.3.1到步骤4.3.3，直到迭代次数达到最大阈值或者测距函数小于给定的阈值；

其中，测距函数如下：

其中，p_i和q_mi为点云的对应点对，N_p为对应点对的个数，R和T为变换矩阵；

设单位四元数为q_R＝[q₀,q₁,q₂,q₃]，其中q₀≥0且平移矩阵q_T＝[q₄,q₅,q₆]，变换矩阵q＝[q_R|q_T]＝[q₀,q₁,q₂,q₃,q₄,q₅,q₆]，则将最佳变换矩阵问题转化为求函数f(q)的最小值，

步骤3.3.5：如果迭代次数为k，第i次的旋转矩阵和平移矩阵分别为R_i,T_i，那么最终的旋转矩阵和旋转矩阵的结果为：

进一步，所述转换矩阵计算模块的流程包括以下几个步骤：

步骤4.1：获取点云配准得到的所有完整球面点云，通过点云配准得到的所有完整球面点云来计算所有球面的重心坐标位置(x_a,b,y_a,b,z_a,b)，a表示第几个RGB-D传感器，b表示某个RGB-D传感器视角下三棱锥上第几个小球；

步骤4.2：利用每个RGB-D传感器视角得到的每个小球重心坐标位置与主RGB-D传感器视角得到的每个小球重心坐标位置来计算它们之间的转换矩阵：

其中，表示第a个RGB-D传感器视角下全部小球重心位置坐标组成的矩阵；

步骤4.3：结合转换矩阵获得小球中心位置，完成标定，并输出标定结果。

三棱锥模型的立体标定方法包括多个RGB-D传感器的图像采集模块、图像的前景提取模块、图像的滤波模块、图像前景区域生成点云的配准模块、多个RGB-D传感器的转换矩阵计算模块。

图像采集模块，利用多个RGB-D传感器分别采集同一场景的不同视角的多个RGB图像和多个深度图像。

图像前景提取模块包含RGB图像和深度图像标定物的前景区域提取，其目的是为了获取三棱锥上小球在RGB图像和深度图像中的区域位置。

图像的滤波模块主要是对深度图像中的小球区域平滑和去噪，实现对小球更加精确的前景提取，从而获得多个局部球面的点云。

点云的配准模块，首先生成一个与三棱锥上小球同样大小的点云小球，然后利用生成的球面点云小球与前景获得的局部球面点云配准，配准方法是采用最近邻迭代点算法。

转换矩阵计算模块，利用配准后球面点云小球来求取小球的重心的坐标位置，然后通过不同RGB-D传感器多个小球重点的坐标位置来计算传感器之间的转换矩阵，从而来达到多个RGB-D传感器的同时立体标定。

三棱锥模型的立体标定装置由六根木棍和四个塑料小球组成，为了能够让多个RGB-D传感器同时捕获三棱锥上塑料小球的位置，并且减少捕获塑料小球的死角，必须让塑料小球半径足够大，木棍长度足够长，半径足够小。本发明设置木棍的长度为50cm、半径为4mm，塑料小球半径为3cm。为了能够精确和方便的获取三棱锥上每个小球的位置区域，并且让标定尽可能不受环境和光照的影响，必须让每个小球和其它小球的相对颜色差值最大，本发明根据Lab颜色空间的特点，分别把三棱锥上的小球设置为红、绿、蓝和黄四种颜色。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明将三棱锥模型应用到立体标定，与两个LED标记的棍棒标定方法相比，不会受到时延的影响标定的精度；

2.本发明仅仅利用四个小球的重心位置来计算传感器之间的转换矩阵，与使用4个标准化IKEA盒以及32个独特的QR标记的标定物相比，标定方法更简单、更方便和更快速；

3.本发明还采用点云配准的方法来优化标定，相与仅仅使用三棱锥小球求取多个传感器之间的转换矩阵相比，具有更好的精度和鲁棒性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明的技术流程图；

图2是本发明中图像前景提取模块的流程图；

图3是本发明中图像的滤波模块的流程图；

图4是本发明中点云的配准模块的流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合图1、图2、图3及图4对本发明作详细说明。

图1描述了本发明的具体实施流程。由于本发明采用三棱锥模型来实现多个RGB-D传感器之间的立体标定，而其中最为关键步骤是如何精准的提取三棱锥上小球的坐标位置，针对此问题本发明提出了相应的解决方法，其中涉及到前景提取、平滑滤波和点云配准等技术。前景提取的目的是为了获取三棱锥上全部小球在RGB图像和深度图像中的精确位置区域，它是精确标定的首要条件。本发明采用了RGB图像和深度图像相结合的前景提取方式。

前景提取的过程如图2所示，首先设置一个低通滤波器对深度图像进行滤波，把深度值大于阈值的区域过滤掉，把深度值小于阈值的区域保留，得到深度图像的前景区域；其次，把RGB图像转换到Lab颜色空间，利用Lab颜色空间a和b通道的值变换的特点，如a和b的值域都是由+127至-128，其中+127a就是红色，渐渐过渡到-128a的时候就变成绿色，同样原理，+127b是黄色，-128b是蓝色，来求取三棱锥全部小球在RGB图像和深度图像中的位置区域。最后，输出前景提取处理后的RGB图像和深度图像。

平滑滤波的过程如图3所示，首先对进行了前景深提取的深度图像进行二值化；然后对二值化的深度图像进行开操作和闭操作；再利用前景深度图像和开闭操作处理后的二值化图像进行选择滤波；最后对处理后的前景深度图像进行双边滤波，并输出平滑滤波处理后深度图像。

开操作是先腐蚀再膨胀，闭操作是先膨胀再腐蚀。在本发明中，开操作目的是为了消除细小的突出物，闭操作的目的是为了消除小的孔洞。

选择滤波的作用是根据开闭操作后的二值化图像对前景深度图像进行选择性滤波，具体表示如下：

I_depth表示前景深度图像，I_b表示开闭操作后的二值化图像，I_depth-p表示处理后的深度图像，公式的含义如下：

(1)如果I_b像素点的值为零，则I_depth-p为深度图像背景的默认值；

(2)如果I_b像素点的值不为零，并且I_depth是深度图像的前景部分，则I_depth-p的值就是I_depth的值；

(3)如果I_b像素点的值不为零，并且I_depth是深度图像的背景部分，则I_depth-p的值为I_depth周围像素为前景像素点的均值。

双边滤波(Bilateral filter)是一种可以保边去噪的滤波器，适合对深度图像中小球前景部分处理，不仅能够达到去除深度图中小球区域以外的噪声，还能对小球深度区域平滑处理。双边滤波器是由两个函数构成。一个函数是由几何空间距离决定滤波器系数，另一个由像素差值决定滤波器系数。可以与其相比较的两个滤波器，高斯低通滤波器和α-截尾均值滤波器(去掉百分率为α的最小值和最大之后剩下像素的均值作为滤波器)。

双边滤波器中，输出像素的值依赖于邻域像素值的加权组合，权重系数w(i,j,k,l)取决于定义域核和值域核的乘积w(i,j,k,l)＝d(i,j,k,l)*r(i,j,k,l)，同时考虑了空间域与值域的差别，而Gaussian Filter和α均值滤波分别只考虑了空间域和值域差别。

点云配准的过程如图4所示，首先通过平滑滤波处理后的小球前景深度图像和深度摄像头已有的内参来生成部分球面点云；然后根据小球的实际大小来生一个同样大小的完整球面点云；接着计算出部分球面点云的重心坐标位置，并把完整球面点云的重心坐标位置移动到部分球面点云的重心坐标位置，完成粗配准；最后利用最近邻迭代点(ICP)算法完成完整球面点云到部分球面点云的精配准，并输出所有完整球面点云。

ICP算法采用迭代优化的思想，在每一次迭代都将问题分解为两个子问题，即在两个点集中搜索匹配点和求解两个点集之间的欧式变换矩阵。下面将介绍ICP迭代的方法和点云配准的步骤。

ICP迭代的方法。第一，当已知当前变换矩阵(旋转矩阵为R，平移矩阵为T，第一次迭代时,R＝R₀,T＝T₀),求解两点集中的匹配点对。假定P为参考点集，Q为待配准点集，则目标函数为：

其中，N_p为对应点对的个数，Q'为Q在当前变换矩阵作用后的矩阵，即Q'＝RQ+T，d为点p_i和q_mi之间的欧氏距离。当所有的p_i和q_mi距离最近时将取得最小值，此时两个点集中的匹配点对求解结束。第二，已知对应点对，求解刚体变换矩阵(R和T)，目标测距函数为：

其中，p_i和q_mi为对应点对，一般采用最小二乘法，当上式取最小值时的R和T就是最优的变换矩阵。变换矩阵有6个自由度(旋转矩阵和平移矩阵各有3个自由度)，但是为了避免计算过程中的奇异性和不确定性，一般旋转矩阵采用单位四元数的表示方法，此时变换矩阵就成为有6个自由度的7维矢量。

设单位四元数为q_R＝[q₀,q₁,q₂,q₃]，其中q₀≥0且平移矩阵q_T＝[q₄,q₅,q₆]，变换矩阵q＝[q_R|q_T]＝[q₀,q₁,q₂,q₃,q₄,q₅,q₆]，求取最佳变换矩阵问题可以转化为求函数f(q)的最小值，

ICP算法计算步骤如下：

(1)基于Kd树算法，为两点云中所有点搜索最近邻点；

(2)利用四元数法计算两点云间最优的刚体变换；

(3)将刚体变换作用于待配准点云；

(4)重复以上3个步骤，直到迭代次数达到最大阈值或者测距函数f(q)小于给定的阈值；

(5)如果迭代次数为k，第i次的旋转矩阵和平移矩阵分别为R_i,T_i，那么最终的旋转矩阵和旋转矩阵的结果为：

对于计算转换矩阵模块，首先通过点云配准得到所有完整球面点云来计算所有球面的重心坐标位置(x_a-b,y_a-b,z_a-b)，a表示第几个RGB-D传感器，b表示某个RGB-D传感器视角下三棱锥上第几个小球；然后利用每个RGB-D传感器视角得到的每个小球重心坐标位置与主RGB-D传感器视角得到的每个小球重心坐标位置来计算它们之间的转换矩阵即

其中，表示第a个RGB-D传感器视角下全部小球重心位置三维坐标组成的矩阵。

Claims (6)

1.一种基于三棱锥模型的立体标定方法，其特征在于，包括以下几个步骤：

步骤1：采集同一场景的不同视角的RGB图像和深度图像再进行前景区域提取，得到前景深度图像和前景RGB图像；

步骤2：将前景深度图像和前景RGB图像进行平滑滤波，得到平滑滤波处理后的深度图像；

步骤3：基于三棱锥模型和平滑滤波处理后的深度图像分别生成完整球面点云和部分球面点云，进行点云配准，最后输出深度图像的完整球面点云；

步骤4：根据深度图像的完整球面点云求取小球的重心坐标位置，然后再根据小球重心的坐标计算各采集点之间的转换矩阵，最后完成标定并输出结果。

2.根据权利要求1所述的一种基于三棱锥模型的立体标定方法，其特征在于，步骤1具体包括以下几个步骤：

步骤1.1：根据采集点设置多个RGB-D传感器，并分别采集同一场景不同角度的多个RGB图像和深度图像；

步骤1.2：低通滤波器对深度图像进行滤波，把深度值大于阈值的区域过滤掉，把深度值小于阈值的区域保留，得到滤波后的图像即深度图像的前景区域；

步骤1.3：把RGB图像转换到Lab颜色空间，通过Lab颜色空间a和b通道的值变换，得到三棱锥全部小球在RGB图像和深度图像中的位置区域即前景深度图像；

步骤1.4：输出前景深度图像。

3.根据权利要求1所述的一种基于三棱锥模型的立体标定方法，其特征在于，所述图像的滤波模块的流程包括以下几个步骤：

步骤2.1：获取前景深度图像，将前景深度图像进行二值化，再对二值化的前景深度图像进行开操作和闭操作，得到开闭操作处理后的二值化图像；

其中，所述开操作是先腐蚀再膨胀，所述闭操作是先膨胀再腐蚀。

步骤2.2：将开闭操作处理后的二值化图像和前景深度图像进行选择滤波，所述选择滤波的公式如下：

其中，I_depth表示前景深度图像，I_b表示开闭操作后的二值化图像，I_depth-p表示处理后的深度图像，所述公式表示如下含义：

(1)如果I_b像素点的值为零，则I_depth-p为深度图像背景的默认值即背景区域值；

(2)如果I_b像素点的值不为零，并且I_depth是深度图像的前景部分，则I_depth-p的值就是I_depth的值；

(3)如果I_b像素点的值不为零，并且I_depth是深度图像的背景部分，则I_depth-p的值为I_depth周围像素为前景像素点的均值；

最后，得到处理后的前景深度图像；

步骤2.3：对处理后的前景深度图像进行双边滤波，再输出平滑滤波处理后的深度图像；

其中，所述双边滤波过程采用双边滤波器。

4.根据权利要求1所述的一种基于三棱锥模型的立体标定方法，其特征在于，所述点云的配准模块的流程包括以下几个步骤：

步骤3.1：获取平滑处理后的深度图像，将平滑处理后的深度图像与各采集点已有的位置参数来生成部分球面点云，再根据小球的实际大小生成一个同样大小的完整球面点云；

步骤3.2：计算部分球面点云的重心坐标位置，并把完整球面点云的重心坐标位置移动到部分球面点云的重心坐标位置，完成粗配准，得到待精配准点云；

步骤3.3：根据待精配准点云并利用最近邻迭代点(ICP)算法完成完整球面点云到部分球面点云的精配准，得到精配准的数据即完成位置转换的所有完整球面点云，再输出完成位置转换的深度图像的完整球面点云。

5.根据权利要求4所述的一种基于三棱锥模型的立体标定方法，其特征在于，所述步骤3.3中的ICP算法的步骤包括以下几个步骤：

步骤3.3.1：基于K-D树算法，为部分球面点云和完整球面点云中所有点搜索最近邻点；

步骤3.3.2：利用四元数法计算部分球面点云和完整球面点云之间最优的刚体变换，得到刚体变换结果；

步骤3.3.3：将刚体变换结果作用于待精配准点云；

步骤3.3.4：重复以上步骤4.3.1到步骤4.3.3，直到迭代次数达到最大阈值或者测距函数小于给定的阈值；

其中，测距函数如下：

其中，p_i和q_mi为点云的对应点对，N_p为对应点对的个数，R和T为变换矩阵；

设单位四元数为q_R＝[q₀,q₁,q₂,q₃]，其中q₀≥0且平移矩阵q_T＝[q₄,q₅,q₆]，变换矩阵q＝[q_R|q_T]＝[q₀,q₁,q₂,q₃,q₄,q₅,q₆]，则将最佳变换矩阵问题转化为求函数f(q)的最小值，

步骤3.3.5：如果迭代次数为k，第i次的旋转矩阵和平移矩阵分别为R_i,T_i，那么最终的旋转矩阵和旋转矩阵的结果为：

6.根据权利要求1所述的一种基于三棱锥模型的立体标定方法，其特征在于，所述转换矩阵计算模块的流程包括以下几个步骤：

步骤4.1：获取点云配准得到的所有完整球面点云，通过点云配准得到的所有完整球面点云来计算所有球面的重心坐标位置(x_a,b,y_a,b,z_a,b)，a表示第几个RGB-D传感器，b表示某个RGB-D传感器视角下三棱锥上第几个小球；

步骤4.2：利用每个RGB-D传感器视角得到的每个小球重心坐标位置与主RGB-D传感器视角得到的每个小球重心坐标位置来计算它们之间的转换矩阵：

其中，表示第a个RGB-D传感器视角下全部小球重心位置坐标组成的矩阵；

步骤4.3：结合转换矩阵获得小球中心位置，完成标定，并输出标定结果。