CN109215063A - 一种事件触发相机与三维激光雷达的配准方法 - Google Patents

Abstract

本发明涉及图像处理、点云处理以及传感器数据配准的技术领域，更具体地，涉及一种事件触发相机与三维激光雷达的配准方法。步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物；步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据；步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点；步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点；步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵；步骤6：通过本发明提出的配准误差和基于边缘的价值函数对配准结果进行评价。

Description

一种事件触发相机与三维激光雷达的配准方法

技术领域

本发明涉及图像处理、点云处理以及传感器数据配准的技术领域，更具体地，涉及一种事件触发相机与三维激光雷达的配准方法。

背景技术

基于普通RGB相机的计算机视觉算法已经逐渐完善，并在自动驾驶，物体识别等领域得到应用。激光雷达通过激光束采集周围环境的3D空间信息，在自动驾驶的传感器方案中有不可取代的重要作用。

仅有摄像头的视觉方案会受环境光照条件的影响，而只有激光雷达的方案在识别路标、红绿灯等平面环境信息时也无能为力。所以将相机和激光雷达的融合成为一个解决问题的关键思路。而在融合之前，应该完成的是将相机2D的图像数据和激光雷达的3D点云进行配准。

现有技术中，专利名称：多线激光雷达与多路相机混合标定方法，申请号：CN108020826A，该发明公开了一种多线激光雷达与多路相机混合标定方法，包括以下步骤：S1、多路相机的原始图像数据、多线激光雷达点云数据以及静态激光雷达点云数据的采集；S2、各相机内参模型的求解；S3、对各相机采集的图像进行去畸变,得到矫正后的图像；S4、将静态激光雷达点云数据配准到多线激光雷达点云坐标系中；S5、在S4配准好的点云数据中获取各相机在多线激光雷达点云坐标系中的位置(Xs,Ys,Zs)；S6、在各相机矫正后的图像中选取至少4个靶标的像素坐标(u,v)和相对应的以多线激光雷达为坐标原点的点云中靶标的三维坐标(Xp,Yp,Zp)；S7、根据各相机的内参模型、相机位置(Xs,Ys,Zs)及相机所对应的靶标的像素坐标(u,v)和三维坐标(Xp,Yp,Zp)，建立共线方程，求出各相机的姿态角元素和9个方向余弦，完成标定。

另外，专利名称：一种结合激光雷达三维点云数据的相机自标定方法，申请号：CN107977997A，该发明涉及摄影测量与三维重建技术领域，公开了一种结合激光雷达三维点云数据的相机自标定方法，通过对被测物体进行三维扫描并在不同视点采集同一场景图像，对采集到的多幅图像进行特征提取以得到特征点，利用任意两幅图像重叠区域中的特征点进行相应的最近点查找，并结合随机一致性算法得到匹配点对；利用所述匹配点对求解基本矩阵F,使得该基本矩阵F对高斯白噪声不敏感；结合基本矩阵与相机内参的关系建立关于相机内参的目标函数，并利用优化算法进行相机内参求解；优化算法所需的相机内参初始值基于激光雷达三维点云数据、小孔成像原理、CCD相机的像素尺寸和图像中心位置进行设置。本发明实现对相机内参的精确标定。

上述现有技术的缺点是，没有一种能够使用静态的标志物适用于事件触发相机摄像头内参标定的方法；上述现有技术中，都是基于普通RGB摄像头开发的配准，缺少一种适用于事件触发相机和激光雷达自动配准的标志物；上述现有技术中，配准所使用的图像和点云都是多帧的，缺少使用单帧数据实现配准的方法；上述现有技术中，对于配准结果的评价没有一个较好的量化方案，无法评判配准的准确性与误差大小。

导致上述缺点的原因是，上述现有技术中，适用的相机都是普通的RGB彩色相机，能够对静态的物体成像，而本发明使用到的事件触发相机对于普通的表面光强无变化的静态物体无法成像，所以通用的静态棋盘标定图无法使用；上述现有技术中，所使用的特征点对应方法依赖于主动成像的普通相机，这些方法对于事件触发相机而言无法得到可与点云匹配的特征点；上述现有技术中，使用的标志物在激光雷达点云和相机图像中的特征提取鲁棒性较低，需要提取从不同位置获取的多帧数据提高准确率；上述现有技术中，没有充分使用配准以后的转换结果做定量的误差统计。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种事件触发相机与三维激光雷达的配准方法，本发明针对事件触发相机的特性设计了一种可供事件触发相机进行内参标定的静态标定物以及一种可供事件触发相机和三维激光雷达进行自动数据配准的标志物，解决了传统静态标定或配准标志物在使用事件触发传感器的时候没有响应的问题。同时，本发明的发明只需基于单帧照片和点云，避免了上述现有技术需要多帧照片和点云才能配准。最后，还为检验配准的结果提出一种有意义的量化评估方法，用于评估配准效果。

本发明的技术方案是：

步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物，并得到事件触发相机的内参矩阵。基于事件触发相机只对光照强度变化物体成像的特点，本发明设计了使用刷新率较低的电视屏幕作为事件触发相机的触发源，因为刷新率低，所以屏幕上的静态图案亮度就相当于一直在变化，所以事件触发相机能够获取到成像信息。使用电视屏幕显示用于内参标定的棋盘图，事件触发相机就能得到棋盘的成像图片，这样就可用于Matlab软件上通用的摄像头内参标定工具获得内参矩阵。而至于用于事件触发相机和激光雷达之间配准的标定物，本发明使用一块挖空四个圆，且四圆两行两列排列的亚克力板放置于电视屏幕前约 20cm处，组合成为本发明使用的标定物。

步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据。本发明使用基于ROS(机器人操作系统)搭建的同步数据采集平台。通过ROS同时启动两个传感器的数据采集节点，得到实时同步的事件触发相机数据和三维激光雷达的数据。

步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点。使用Sobel算子对由事件触发相机生成的标定物的图像做边缘提取，由于我们对于标定物上的圆的半径大小都是已知的，所以采用Hough变换识别出图像中的四个圆。

步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点。使用RANSAC(随机抽样一致)方法识别出点云中标定版的四个圆，并得到其半径大小和相对位置。

步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵。步骤4得到的特征点云通过步骤1中得到的摄像头内参矩阵可以投影到一个二维的平面。由点云得到的投影图像再和事件触发相机捕获的图像做四个圆特征点的对应，可以得到两个传感器之间在世界坐标系下六个自由度的变换矩阵。

步骤6：通过本发明提出的配准误差和基于边缘的价值函数对配准结果进行评价。基于步骤5得到的转换矩阵，原始点云可以被染上对应事件触发相机二值图的黑色或白色，所以我们通过染色的效果和基于点云深度信息的切割，提出一个配准误差的定义，并使用基于边缘的价值函数，从两个方面评估整个配准方法的准确度。

进一步的，所述的步骤1中，使用电视屏幕显示通用的棋盘图由棋盘图得到的内参矩阵：

其中，f是DVS相机的焦距，(o_x,o_y)是相机的中心点；通过这个转换矩阵，激光雷达点云中的3D点能够转换为2D平面上，为与事件触发相机生成的2D 图像做配准提供前提。至于组合的标定板，电视屏幕直接显示全白界面，因为前面四个圆的标定板不透光，所以四个圆后面部分的全白电视屏幕能在事件触发相机中形成清晰的四个白色圆形。

进一步的，所述的步骤2中，同时采集的数据，只需要一帧的数据，所以不需要移动传感器或者标定物的位置进行多帧的数据采集；同时启动两个数据采集的节点，使用ROS平台下的同步机制将两个传感器的数据集记录在一个包里，为后面步骤使用两种数据的配准提供前提。

进一步的，所述的步骤3中，

对于事件触发相机生成的图像的处理，具体过程为：

首先，对于分辨率为768*640的黑白二值图像，由于事件触发相机的成像特性和触发阈值的设置问题，得到的图像往往存在较多的噪点，所以在进行后续的图像处理之前，先使用中值滤波对图像进行降噪处理；

然后，对降噪后的二值图使用Sobel算子进行边缘提取；

接着，使用Hough变换对上一步边缘提取后的图像进行圆的识别，因为我们已知圆的大小，所以直接使用Hough变换就能很好的将图像中的四个圆识别出来，并得到圆心位置。

进一步的，所述的步骤4中，对激光雷达采集的点云数据进行处理，具体过程为：

首先，基于点云数据的深度信息，通过相邻点云点的深度比较，将边缘的点云点提取出来；在这里，将点与相邻点的深度信息转换为点的边缘程度：

其中表示点云中第i个点的深度值，γ是一个常数(此处取为0.5)，X_i表示第i个点的边缘程度；所以经过这一步操作以后对X归一化处理，然后通过设置阈值排除误差点，得到四个圆的边缘信息。

进一步的，所述的步骤5中，需要求出两个传感器之间转换的六个自由度，具体过程为：

首先，由步骤4中滤掉非边缘点的点云中的每一个点都乘以步骤1中得到的内参投影矩阵，可以将3D点云投影到一个2D平面；

然后，将以上得到的基本含有四个圆边缘信息的点云投影图和事件触发相机得到的同样也含有四个圆边缘的二值图做配准；其中配准的过程分为粗校准和细校准；

粗校准的过程主要遵循的是小孔成像的原则，可以初步得到转换矩阵六个自由度中的三个平移向量；

细配准基于一个原则：两个图像的边缘重合度越高，证明配准的结果越精确。另外，此处如果完全依赖于原图像中锐利的边缘的重合，会很容易陷入局部最优解或一直找不到解的情况。为了避免以上的情况，本发明使用了一种图像处理上的距离变换的方法：反距离变换。

反距离变换可以为边缘提取后的图像上的每一个像素都赋予一个衡量“边缘近似度”的值：

其中D_i,j是第i行j列像素点的边缘近似度值，E_i,j是提取边缘后图像第i行j 列像素点的灰度值；同时对点云转化的图像和事件触发相机的图像做反距离变换处理，然后两个图片进行卷积得到两张图片基于边缘的相近系数：

其中I_C，I_V分别为事件触发相机和雷达点云的边缘提取处理后的图像；所以，细配准就是基于在一个小空间内使S尽可能大的原则，找到六个自由度中剩下的三个旋转向量。

进一步的，所述的步骤6中，提出两个评价标准分别评判粗配准和细配准的配准精确度，具体步骤如下：

首先，使用基于深度点云切割和融合染色的方法衡量粗配准的质量；这样的一个计算方法是基于一个显而易见的事实的：圆内点云和圆外平面上的点云的深度有一定大小的差值，所以很容易通过深度阈值找到圆内的点云；对于点云而言，会加上由事件触发相机得到的黑白二值图，也就是点云会被染上黑白两种颜色；所以在四圆标定板所采集的数据中，四个圆内对应的3D点云点都应该是白色的；所以根据这个特点，借鉴了自然语言处理等领域中衡量查找命中情况的参数，提出了两个传感器之间融合精度的误差定义：

其中，P_FP表示圆内点云被显示为黑色的点的数量，P_FN表示圆外点云被显示为白色的点的数量，P_c表示属于四个圆内范围的点云的数量；

然后，使用步骤4中提到过的基于两图间边缘信息重合度的价值函数S来评价细校准的效果：

此处，S的值越大表示细配准的精度越高。

与现有技术相比，有益效果是：

本发明设计一种适用于事件触发相机与三维激光雷达配准的标定物，使得事件触发相机与三维激光雷达都可以产生稳定的图案。避免了现有的静态标定物无法被事件触发相机捕捉或者无法稳定成像的致命缺点，也避免了因为运动而造成的标志物的三维点云边缘模糊或者噪声增多的缺点，使得后续的识别结果更加准确，最后实现事件触发相机和三维激光雷达的配准。

本发明所提出的配准方法所需要的数据更少。本发明将事件触发相机的一个时间段的数据转化为一帧图像，然后只需结合一帧图像和一帧由三维激光雷达产生三维点云即可进行配准，避免部分现有技术需要多帧图像或者三维点云方能完成配准。

本发明所提出的方法具有较强的鲁棒性。一方面，本发明对事件触发相机的数据进行中值滤波等的操作，去除了相机数据的大部分噪声；另一方面，本发明设计的标志物是通过四个圆的圆心再确定一个中心点，所以可以一定程度上弥补圆心识别中引入的误差。因此，最后用于配准的目标点位置在图像以及三维点云的位置识别准确率很高，提高噪声容忍能力，鲁棒性好。避免传统配准方法因为有噪声而配准失败的。

本发明提出基于深度点云切割和融合染色的方法衡量粗配准的质量的方法。这个自动化的评估方法，使得使用该配准方法的使用者可以根据多次配准结果，选择质量最高的结果保留下来，以便进一步应用。这个质量评估方法相对于传统的评估方法更有效。

附图说明

图1是本发明整体流程示意图。

图2是本发明标定物实物示意图。

图3是本发明对事件触发相机图像进行预处理的结果图。

图4是本发明对三维点云进行RANSAC提取特征的结果图。

图5是本发明通过对三维点云染色的方法得到可视化的配准结果图。

图6是本发明定义的配准误差Error多次实验中的结果图。

图7是手动配准和本发明的自动配准的结果在基于边缘的价值函数下的比较图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

本发明主要解决的技术问题是：针对事件触发相机与三维激光雷达的自动配准问题，提出一种基于事件触发相机的图象以及三维激光雷达的点云，利用边缘提取、特定图案识别等图象处理方法以及基于RANSAC的点云分割等方法，实现快速的、准确的将事件触发相机的数据与三维激光雷达的数据进行自动配准，得到六个自由度上的转换矩阵。

本发明提出的一种事件触发相机与三维激光雷达的配准方法，能够根据设计好的标定物找到相机数据与三维激光雷达数据之间相互转换的六自由度的变换矩阵，自动完成配准。本发明首先，设计一种适用于事件触发相机与三维激光雷达配准的标定物，并得到事件触发相机的内参矩阵；接下来，同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据，使用边缘提取、特定图案识别等图象处理方法，在图像中定位到标定物的一个点，使用基于 RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点，即可推算出空间中六个自由度上的变换矩阵，通过本发明提出的配准误差和基于边缘的价值函数对配准结果进行评价。相比现有技术，该方法能实现事件触发相机与三维激光雷达的配准，同时很准确。

如图1所示，提出的一种事件触发相机与三维激光雷达的配准技术，能够实现两种传感器的快速，准确地配准。

该方法包括：

步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物。以下是我们使用电视屏幕和四圆标定板组合起来的标定物，适用于本发明提出的配准方法。如图2所示。

步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据。

步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点，在经过边缘提取和Hough变换圆形识别后能够找到四个圆的信息，如图3所示。

步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点。在过滤掉误差点提取了边缘以后，根据已知的圆的大小，使用 RANSAC算法可以在点云中提取四个圆，提取以后可以通过四个圆心的相对位置再进行提取效果的检验，如图4所示。

步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵。由上面两个步骤得到的检测的结果进行配准，本发明通过使用事件触发相机的二值图对点云进行染色来可视化地观察配准结果，具体如图5所示。

步骤6：通过本发明提出的配准误差和基于边缘的价值函数对配准结果进行评价。本发明对配准结果的比较基准是一个通过图形界面进行手动调节参数得到的六个自由度转换矩阵，而且通过实验证明，该手动得到的配准结果的准确率是适于作为比较基准的。

其中，本发明方法提出的粗配准方法在配准误差Error上的表现为，如图6 所示。

可以看到本发明提出的配准方法的粗配准效果准确率基本能达到92％以上，能达到本发明预想的快速，准确地配准。

然后是对于细配准的评测指标：基于边缘的价值函数，如图7所示。

因为是卷积的运算操作，所以价值函数的数量级大小是由两张图象的分辨率决定的，在本发明中使用的velodyne的16线激光雷达和CeleX事件触发相机的分辨率卷积的结果如图7，为10⁶级，符合768*640的分辨率结果。可以看到本发明最后的自动配准结果能够达到和手动配准相近的精确度，而且在时间和自动化程度上远远优于手动配准。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种事件触发相机与三维激光雷达的配准方法，其特征在于，包括以下步骤：

步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物，并得到事件触发相机的内参矩阵；

步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据；

步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点；

步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点；

步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵；

步骤6：通过配准误差和基于边缘的价值函数对配准结果进行评价。

2.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤1中，使用电视屏幕显示通用的棋盘图由棋盘图得到的内参矩阵：

其中，f是DVS相机的焦距，(o_x,o_y)是相机的中心点；通过这个转换矩阵，激光雷达点云中的3D点能够转换为2D平面上，为与事件触发相机生成的2D图像做配准提供前提。

3.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤2中，同时采集的数据，只需要一帧的数据，所以不需要移动传感器或者标定物的位置进行多帧的数据采集；同时启动两个数据采集的节点，使用ROS平台下的同步机制将两个传感器的数据集记录在一个包里，为后面步骤使用两种数据的配准提供前提。

4.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤3中，

对于事件触发相机生成的图像的处理，具体过程为：

首先，对于分辨率为768*640的黑白二值图像，由于事件触发相机的成像特性和触发阈值的设置问题，得到的图像往往存在较多的噪点，所以在进行后续的图像处理之前，先使用中值滤波对图像进行降噪处理；

然后，对降噪后的二值图使用Sobel算子进行边缘提取；

接着，使用Hough变换对上一步边缘提取后的图像进行圆的识别，因为我们已知圆的大小，所以直接使用Hough变换就能很好的将图像中的四个圆识别出来，并得到圆心位置。

5.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤4中，对激光雷达采集的点云数据进行处理，具体过程为：

首先，基于点云数据的深度信息，通过相邻点云点的深度比较，将边缘的点云点提取出来；在这里，将点与相邻点的深度信息转换为点的边缘程度：

其中表示点云中第i个点的深度值，γ是一个常数，X_i表示第i个点的边缘程度；所以经过这一步操作以后对X归一化处理，然后通过设置阈值排除误差点，得到四个圆的边缘信息。

6.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤5中，需要求出两个传感器之间转换的六个自由度，具体过程为：

首先，由步骤4中滤掉非边缘点的点云中的每一个点都乘以步骤1中得到的内参投影矩阵，可以将3D点云投影到一个2D平面；

然后，将以上得到的基本含有四个圆边缘信息的点云投影图和事件触发相机得到的同样也含有四个圆边缘的二值图做配准；其中配准的过程分为粗校准和细校准；

粗校准的过程主要遵循的是小孔成像的原则，可以初步得到转换矩阵六个自由度中的三个平移向量；

反距离变换可以为边缘提取后的图像上的每一个像素都赋予一个衡量“边缘近似度”的值：

其中D_i,j是第i行j列像素点的边缘近似度值，E_i,j是提取边缘后图像第i行j列像素点的灰度值；同时对点云转化的图像和事件触发相机的图像做反距离变换处理，然后两个图片进行卷积得到两张图片基于边缘的相近系数：

其中I_C，I_V分别为事件触发相机和雷达点云的边缘提取处理后的图像；所以，细配准就是基于在一个小空间内使S尽可能大的原则，找到六个自由度中剩下的三个旋转向量。

7.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤6中，提出两个评价标准分别评判粗配准和细配准的配准精确度，具体步骤如下：

首先，使用基于深度点云切割和融合染色的方法衡量粗配准的质量；这样的一个计算方法是基于一个显而易见的事实的：圆内点云和圆外平面上的点云的深度有一定大小的差值，所以很容易通过深度阈值找到圆内的点云；对于点云而言，会加上由事件触发相机得到的黑白二值图，也就是点云会被染上黑白两种颜色；所以在四圆标定板所采集的数据中，四个圆内对应的3D点云点都应该是白色的；所以根据这个特点，借鉴了自然语言处理等领域中衡量查找命中情况的参数，提出了两个传感器之间融合精度的误差定义：

其中，P_FP表示圆内点云被显示为黑色的点的数量，P_FN表示圆外点云被显示为白色的点的数量，P_c表示属于四个圆内范围的点云的数量；

然后，使用步骤4中提到过的基于两图间边缘信息重合度的价值函数S来评价细校准的效果：

此处，S的值越大表示细配准的精度越高。