CN110118974A - 一种基于三维激光增稠机构的多帧融合方法 - Google Patents

Abstract

本发明公开了一种基于三维激光增稠机构的多帧融合方法，主要是通过驱动机构驱动三维的激光雷达在竖直方向上摆动，并通过融合多帧激光雷达的点云来增加低线数激光雷达在竖直方向上的点云的分辨率，在融合的过程中，本发明将每一帧的点云通过多次线性插值来矫正因激光雷达往复运动而造成的运动畸变，使得融合后的点云能够更加真实地反映环境的情况；从而使得低线数的激光雷达能实现类似高线数激光雷达的稠密点云，大大降低无人车技术的传感器成本。

Description

一种基于三维激光增稠机构的多帧融合方法

技术领域

本发明涉及一种多帧融合方法，尤其涉及一种基于三维激光增稠机构的多帧融合方法。

背景技术

LiDAR是英文“light detection and ranging”的缩写，中文译作“激光探测与测量”，多指激光雷达传感器，被广泛应用于无人驾驶技术中。通常在自动驾驶的无人车系统中会在车的四周装上多个16线的激光雷达进行点云融合，或者直接采用线数更高的激光雷达来处理环境感知的任务。二维的激光雷达相对于三维的激光雷达，获取的点云只有一个面，三维的激光雷达能够获取三维的点云图像，但是低线数的点云图像还是太稀疏，障碍物离雷达越远越稀疏，很难做障碍物识别，然而目前高线数的三维激光雷达造价不菲，64线激光雷达更是高达数十万美金，如此高昂的成本在一定程度上限制了无人驾驶汽车的普及与推广。因此，如何利用低线数激光雷达进行环境感知便成为了无人车技术普及的一个重要途径。

发明专利《激光雷达呈三维扫描的摆动装置》(公开号：CN102393516B)。该发明公开了一种激光雷达呈三维扫描的摆动装置，可以改变SICK雷达在智能车辆上应用的局限性，将二位激光雷达转变为三维扫描的激光雷达；在智能车辆上得到扫描平面上的障碍物的距离(深度)和宽度信息，同时又得到高度方向上的信息。

发明专利《一种基于摆动激光雷达的可变视野三维重建装置》(公开号：CN106154285A)。该发明公开了一种基于摆动激光雷达的可变视野三维重建装置，其特征在于，包括激光雷达摆动机构、机构运动控制模块以及三维点云重建模块。该方法能够提供一种基于摆动激光雷达的可变视野三维重建装置，通过将激光雷达进行全向摆动扫描，并对装置的视野范围和结果点云分布进行调节，满足不同测量情况下的室外环境三维重建需求。

上述提到的方法均是基于三维激光雷达进行的摆动机构的设计，在实际应用中，由于三维激光雷达的点云的稀疏性，因而摆动机构融合配准后的点云相较于高线数激光雷达来说并没有较大的优势；同时，上述的方法在点云的融合配准的过程中，均没有考虑激光雷达点云的运动畸变，因而融合配准的效果与真实环境相比会有一定程度上的失真。

发明内容

为了能够解决低像素激光雷达在障碍物检测问题上由于点云的稀疏性而造成的困难，本发明提出了一种基于三维激光增稠机构的多帧融合方法，通过增加三维激光雷达在竖直方向上的往复旋转，同时融合多帧激光点云，来增加激光雷达在竖直方向上的分辨率，实现类似高线数激光雷达的稠密点云，具体内容如下：

一种基于三维激光增稠机构的多帧融合方法，所述三维激光增稠机构包括驱动机构、三维激光雷达、编码器、电机和控制系统，所述驱动机构能够驱动所述三维激光雷达在竖直方向上摆动；所述三维激光雷达与所述控制系统电性连接，所述编码器与所述控制系统电性连接，所述电机分别与所述编码器和所述控制系统电性连接，其多帧融合方法包括如下步骤：

步骤1：通过所述驱动机构驱动所述三维激光雷达在竖直方向上摆动，使得所述激光雷达采集得到点云数据，并将所述点云数据输出给所述控制系统；同时，所述编码器采集得到带时间戳的激光雷达俯仰角度，并将时间戳与激光雷达的俯仰角度之间的对应关系输出给所述控制系统；

步骤2：所述激光雷达将采集得到的点云数据里的每一帧点云分为84个UDP包(UDPPacket)，每个包中的点云都是由所述激光雷达内的传感器旋转(360/n)°后得到的三维激光雷达的点云的集合；

步骤3：选择任一个Packet，在控制系统内查找所有的激光雷达俯仰角度中，时间上离该packet的时间戳最近的两帧点云数据所对应的激光雷达的角度值，随后对这两个角度进行线性插值得到该packet时间戳下的所述激光雷达的角度α；所述控制系统再将该Packet内的点云绕激光雷达坐标系原点旋转-α；

步骤4：依次遍历每一个Packet，重复步骤3，所述激光雷达将上述旋转后的n个Packet合并成一帧点云输出，最后输出所有点云图像。

优选的，所述驱动机构为曲柄连杆机构。

优选的，所述曲柄连杆机构包括曲柄和连杆；所述驱动机构还包括承接板、旋转轴和旋转轴支架，所述编码器固定设置在所述承接板上，所述承接板与所述旋转轴固定连接，所述旋转轴与所述旋转轴支架转动连接；所述电机的输出轴与所述曲柄固定连接，所述连杆的一端与所述曲柄转动连接，所述连杆的另一端与所述承接板转动连接。

优选的，所述电机采用无刷电机。无刷电机相较于有刷电机其寿命长，噪音小，运行稳定，符合长时间使用的要求。

优选的，所述三维激光增稠机构还包括电调，所述电调分别与所述电机和所述控制系统电性连接。

优选的，在所述步骤2中，n≥50。

优选的，所述编码器为磁电编码器。

本发明的有益效果如下：

本发明面向无人驾驶环境，提出一种新颖的三维激光增稠机构的结构，主要是通过驱动机构驱动三维的激光雷达在竖直方向上摆动，并通过融合多帧激光雷达的点云来增加低线数激光雷达在竖直方向上的点云的分辨率，在融合的过程中，本发明将每一帧的点云通过多次线性插值来矫正因激光雷达往复运动而造成的运动畸变，使得融合后的点云能够更加真实地反映环境的情况。本发明能够利用低线数激光雷达进行无人车环境的感知与三维重建等任务，有利于降低无人车技术的传感器成本。

附图说明

图1为本发明三维激光增稠机构的示意图；

图2为本发明控制系统的电路拓扑图；

图3为本发明编码器输出转角与数据个数之间的对应关系图；

图4为本发明的二维聚类地图；

图5a为矫正畸变前的轿车点云；

图5b为矫正畸变后的轿车点云；

图6a为矫正畸变前的楼窗点云；

图6b为矫正畸变后的楼窗点云。

图中各附图标记所指代的技术特征如下：

1、驱动机构；2、三维激光雷达；3、电机；4、编码器；5、mini PC；6、电调；7、嵌入式开发板；16、每帧点云；17、每个UDP Packet的点云；

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

一种基于三维激光增稠机构的多帧融合方法，所述三维激光增稠机构的示意图如图1所示，包括驱动机构1，三维激光雷达2、电机3、编码器4以及控制系统(图中未示出)；所述电机3采用无刷电机，无刷电机相较于有刷电机其寿命长，噪音小，运行稳定，符合长时间使用的要求。所述驱动机构1用于驱动所述三维激光雷达2在竖直方向上摆动，所述驱动机构1为曲柄连杆机构；曲柄连杆机构相较于直接用舵机摆动所述激光雷达，曲柄连杆机构有如下有点：1、换向平滑，电机3只需要一直向同一方向旋转，曲柄连杆机构就能够自动换向，并且输出的角度近似正弦曲线；2、对电机的负担较小，仅需要较小并且较为恒定的转矩就能够驱动较大的负载做往复运动；3、对控制系统的要求低，在本发明所提到的三维激光增稠机构中，电机3只要输出恒定的转矩就能够完成三维激光雷达在竖直方向上的摆动，并且经过验证，其角度输出近似正弦曲线，如图3所示，并没有较大的换向震动；而如果采用舵机结构，要想得到相近的角度曲线，则对舵机的控制系统提出了较高的要求；所以，本发明选择曲柄连杆机构1作为驱动机构。

所述曲柄连杆机构包括曲柄和连杆，所述驱动机构还包括承接板、旋转轴和旋转轴支架，所述编码器固定设置在所述承接板上，所述承接板与所述旋转轴固定连接，在所述旋转轴支架的两侧设置有安装孔，所述旋转轴的两侧分别插入在所述安装孔内，并与所述旋转轴支架转动连接；所述电机的输出轴与所述曲柄固定连接，所述连杆的一端与所述曲柄转动连接，所述连杆的另一端与所述承接板转动连接，所以通过所述电机3的输出轴的转动能使得所述三维激光雷达2在竖直方向上来回摆动。

具体地，在所述承接板上设置有一个连接杆，所述连接杆与所述承接板固定连接，所述连接杆也可以与所述承接板一体成型，所述连杆的一端与所述确定转动连接，所述连杆的另一端与所述连接杆转动连接。

本发明的三维激光增稠机构的控制系统包括mini PC和嵌入式开发板，电路拓扑图如图2所示，三维激光雷达2通过千兆网接口将点云传输到mini PC5上，编码器4通过485转USB与mini PC通信，同时控制系统通过PWM控制电调6的输出，所述电调6用于调节电机3的转速，电机3提供曲柄连杆机构的驱动力矩，所述电机3将角度反馈给所述编码器，而编码器4又将三维激光雷达2的摆动通过485通信输出到控制系统内的mini PC。

在本发明中，所述编码器4为磁电编码器，传统的光电编码的码盘的材料有玻璃、金属、塑料，玻璃码盘是在玻璃上沉积很薄的刻线，其热稳定性及进度可以达到普通标准、一般要求，但容易碎；金属码盘直接以通和不通刻线，不易碎，但由于金属有一定的厚度，精度就有限制，其热稳定性就要比玻璃码盘差一个数量级；塑料码盘是经济型的，其成本低，精度和耐高温达不到高要求。而磁电式编码器采用磁电式设计，通过磁感应器件、利用磁场的变化来产生和提供转子的绝对位置，利用磁器件代替了传统的码盘，弥补了光电编码器的这一些缺陷，更具抗震、耐腐蚀、耐污染、性能可靠高、结构更简单。光电编码器是通过在码盘上刻线来计算精度，所以精度越高，码盘就会越大，编码器体积越大，并且精度也不是连续的。磁电式编码器则没有这样的限制，可以做到体积很小，精度高。所以本发明所采用的编码器为磁电编码器。

为了应对不同的场景，在所述控制系统中实现了多档调速的功能，以调节曲柄机构的摆动的频率。并且通过所述电调6能实时给所述控制系统反馈温度信息，提供了基于温度检测的堵转保护(温度过高自动切断控制)。

在激光雷达的点云融合中，如果只是进行简单的历史点云叠加，那么融合后的点云相较于真实情况会有很严重的失真，其原因就在于上文所提到的三维激光雷达在竖直方向上摆动时，点云会产生不可忽视的运动畸变，本发明提出一种通过插值的方式矫正激光雷达的运动畸变。

对于本发明所提到的三维激光雷达在竖直方向上摆动时，点云会产生不可忽视的运动畸变，一个较为直观的将该运动畸变进行矫正的方法为，依次遍历激光雷达每帧点云中的每个点，计算其产生的时间戳t，对编码器4的角度进行插值，计算出在时间戳t上的角度α，然后将该点绕三维激光雷达的坐标系的原点旋转-α的角度。然而激光雷达每帧点云高达数十万个点，如果对每个测量得到的点进行插值，则在一秒内要进行近百万次的插值与旋转操作，显然对于无人驾驶汽车上的移动处理器平台来说这是不现实的。

因此本发明提出一个折中的假设，设点云中第一个点产生的时间戳为t₀，最后一个点产生的时间戳为t_k，则将t₀到t_k之间的时间均匀分为n份，每份长为Δt。本发明假设每个Δt时间段内的激光雷达的测距点的产生的时间都是相同的，为其第一个点的产生时间。根据这个假设，每个时间段内的所有点都只要进行相同角度变换即可进行运动畸变的矫正。遵循该假设，则每帧点云只需要进行n次角度插值即可，极大地减小了运算量。同时虽然该假设认为同一时间段内的点云是同一时间产生的，每个时间段内的点仍有运动畸变的影响，然而在实验过程中发现，只要当n取一个不太小的值(n≥50)，则该假设的所产生的时间段内的运动畸变产生的影响很小，可忽略不计。n的取值是取决于所选取的激光雷达，在本实施例中，以n＝84来进行说明。

实际的程序实现中，由于激光雷达每帧点云16是分段传输的，如图4所示。激光雷达采用UDP协议向PC传输点云信息，而UDP协议相较于TCP协议，发送数据之前不需要双方建立连接，并且发送的数据没有校验，也没有丢包的检测，因此不适合一次性发送大量数据给PC，所述三维激光雷达将每帧点云分为84个UDP包(UDP Packet)17，每个包中的点云都是激光雷达内的传感器旋转360°/84＝4.28°后得到的低线数的点云的集合，当激光雷达的驱动程序接收到84个UDP Packet之后，将这84个Packet合并成一帧点云输出。本发明直接对每个Packet(而不是每帧)分别进行编码器角度的插值与点云的旋转，最后再将旋转后的84个Packet进行合并发布。这样相对于之前提到的直接叠加的融合方法，每帧帧内多进行了84次线性插值，从而大大减小了相机运动畸变带来的影响。

表1点云畸变算法流程

对每帧点云进行多次插值之后的多帧融合算法流程如表1所示，在该算法中，选择任一个Packet，在控制系统内利用FindeClosestAngles函数查找在所有的激光雷达俯仰角度中，时间上离该packet的时间戳最近的两帧点云数据所对应的激光雷达的角度值，随后对这两个角度进行线性插值得到该packet时间戳下的所述激光雷达的角度α；再利用RotatePointCloudByYaw函数将该Packet内的点云绕激光雷达坐标系原点旋转-α；最后将每个矫正后的packet合并到一个新的矫正后的点云中并发布出去即得到了矫正后的点云图案。具体的步骤如下：

步骤1：通过所述驱动机构驱动所述三维激光雷达在竖直方向上摆动，使得所述激光雷达采集得到点云数据，并将所述点云数据输出给所述控制系统；同时，所述编码器采集得到带时间戳的激光雷达俯仰角度，并将时间戳与激光雷达的俯仰角度之间的对应关系输出给所述控制系统；

步骤2：所述激光雷达将采集得到的点云数据里的每一帧点云分为84个UDP包(UDPPacket)，每个包中的点云都是由所述激光雷达内的传感器旋转(360/n)°后得到的激光雷达的点云的集合；

步骤3：选择任一个Packet，在控制系统内利用FindeClosestAngles函数查找在所有的激光雷达俯仰角度中，时间上离该packet的时间戳最近的两帧点云数据所对应的激光雷达的角度值，随后对这两个角度进行线性插值得到该packet时间戳下的所述激光雷达的角度α；再利用RotatePointCloudByYaw函数将该Packet内的点云绕激光雷达坐标系原点旋转-α；

步骤4：依次遍历每一个Packet，重复步骤3，所述激光雷达将上述旋转后的n个Packet合并成一帧点云输出，最后输出所有点云。

在图5a中展示了消除运动畸变后的激光雷达测得的轿车的点云图案，相较于图5b，其点云图案没有出现明显的失真，并且利用本发明所述的方法进行多帧融合后的点云，能够明显的看出轿车的轮廓细节信息，而矫正畸变前的轿车点云则很难分辨出这些细节，并且由于运动畸变的作用，其体积明显比矫正后的点云更大一些，由此证明了本发明提出的多帧融合算法拥有较好的矫正畸变的效果。为了显示畸变矫正后的对比效果，本发明还对比了离激光雷达较远的建筑物上的窗户的点云矫正畸变，如图6a、6b所示，当距离较远时，运动畸变的作用会被放大，然而从图中可以看出，经过畸变矫正后的点云，仍然有较为不错的细节丰富程度。

以上对本发明所提供的一种基于三维激光增稠机构的多帧融合方法的实施例进行了详细阐述。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明的原理的前提下，还可以本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种基于三维激光增稠机构的多帧融合方法，其特征在于：三维激光增稠机构包括驱动机构、三维激光雷达、编码器、电机和控制系统，所述驱动机构能够驱动所述三维激光雷达在竖直方向上摆动；所述三维激光雷达与所述控制系统电性连接，所述编码器与所述控制系统电性连接，所述电机分别与所述编码器和所述控制系统电性连接，其多帧融合方法包括如下步骤：

步骤1：通过所述驱动机构驱动所述三维激光雷达在竖直方向上摆动，使得所述激光雷达采集得到点云数据，并将所述点云数据输出给所述控制系统；同时，所述编码器采集得到带时间戳的激光雷达俯仰角度，并将时间戳与激光雷达的俯仰角度之间的对应关系输出给所述控制系统；

步骤2：所述激光雷达将采集得到的点云数据里的每一帧点云分为n个UDP Packet，每个包中的点云都是由所述激光雷达内的传感器旋转(360/n)°后得到的三维激光雷达的点云的集合；

步骤3：选择任一个Packet，在控制系统内查找所有的激光雷达俯仰角度中，时间上离该packet的时间戳最近的两帧点云数据所对应的激光雷达的角度值，随后对这两个角度进行线性插值得到该packet时间戳下的所述激光雷达的角度α；所述控制系统再将该Packet内的点云绕激光雷达坐标系原点旋转-α；

步骤4：依次遍历每一个Packet，重复步骤3，所述激光雷达将上述旋转后的n个Packet合并成一帧点云输出，最后输出所有点云图像。

2.如权利要求1所述的一种基于三维激光增稠机构的多帧融合方法，其特征在于：所述驱动机构为曲柄连杆机构。

3.如权利要求2所述的一种基于三维激光增稠机构的多帧融合方法，其特征在于：所述曲柄连杆机构包括曲柄和连杆；所述驱动机构还包括承接板、旋转轴和旋转轴支架，所述编码器固定设置在所述承接板上，所述承接板与所述旋转轴固定连接，所述旋转轴与所述旋转轴支架转动连接；所述电机的输出轴与所述曲柄固定连接，所述连杆的一端与所述曲柄转动连接，所述连杆的另一端与所述承接板转动连接。

4.如权利要求1所述的一种基于三维激光增稠机构的多帧融合方法，其特征在于：所述电机采用无刷电机。

5.如权利要求1所述的一种基于三维激光增稠机构的多帧融合方法，其特征在于：所述三维激光增稠机构还包括电调，所述电调分别与所述电机和所述控制系统电性连接。

6.如权利要求1所述的一种基于三维激光增稠机构的多帧融合方法，其特征在于：在所述步骤2中，n≥50。

7.如权利要求1所述的一种基于三维激光增稠机构的多帧融合方法，其特征在于：所述编码器为磁电编码器。