CN109239720A - 一种智能激光雷达装置、系统及其数据处理方法 - Google Patents

Abstract

本发明公开了一种智能激光雷达装置、系统及其数据处理方法，所述装置包括单目摄像头、激光雷达、机械构件和嵌入式处理终端，所述单目摄像头、激光雷达和嵌入式处理终端均安装于机械构件上，所述单目摄像头通过摄像头数据线与所述嵌入式处理终端连接，所述激光雷达通过雷达数据线与所述嵌入式处理终端连接，所述嵌入式处理终端通过融合数据线输出处理后的数据。本发明中激光雷达单目摄像头实时信息融合，通过深度学习算法对摄像头数据进行语义分割，通过摄像头和激光雷达的位姿关系进行信息融合，实现智能激光雷达系统，数据通过同一个数据链路输出，提升了系统的模块化以及同步性。

Description

一种智能激光雷达装置、系统及其数据处理方法

技术领域

本发明涉及自动驾驶领域，具体涉及一种智能激光雷达装置、系统及其数据处理方法。

背景技术

自动驾驶的核心内涵包括定位、感知、决策、执行四个部分, 感知层主要功能是对环境信息和车内信息进行采集与处理，例如车辆的速度，方向，运动姿态和交通状况等，并向决策层输出信息。这一环节涉及到道路边界检测、车辆检测、行人检测等多种技术，所用到的传感器一般有激光雷达、摄像头、毫米波雷达、超声波雷达等。由于各个传感器在设计的时候有各自的局限性，单个传感器满足不了各种工况下的精确感知，想要车辆在各种环境下平稳运行，就需要运用到多传感器融合技术，该技术也是环境感知这一大类技术的关键所在。

激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数。激光雷达可以十分精准的提供车辆相对于周围环境的空间位置，速度，姿态等信息，但是却弱于识别物体的种类。单目摄像头可以通过深度学习的手段十分方便的进行物体识别，语义分割，为图像进行像素级别的分类。但是弱于距离的识别。将激光雷达和单目摄像头有机组合，互相补充短板，可以形成一个十分具有竞争力的传感器组合，实现智能化的激光雷达，可以同时感知物体的位置，速度，姿态以及物体的种类。

目前激光雷达和单目摄像头的信息融合仅仅是简单的位姿关系变换而形成的信息在不同坐标系的变换。并未形成真正的智能传感器模组并保证摄像头以及激光雷达的信息同步。

发明内容

本发明目的是：提供一种将激光雷达和单目摄像头形成新的智能传感器模组的设计，实现了激光雷达单目摄像头实时信息融合，通过深度学习算法对摄像头数据进行语义分割，通过摄像头和激光雷达的位姿关系进行信息融合，实现智能激光雷达系统，数据通过同一个数据链路输出，提升了系统的模块化以及同步性。

本发明的技术方案是：一种智能激光雷达装置，包括单目摄像头、激光雷达、机械构件和嵌入式处理终端，所述单目摄像头、激光雷达和嵌入式处理终端均安装于机械构件上，所述单目摄像头通过摄像头数据线与所述嵌入式处理终端连接，所述激光雷达通过雷达数据线与所述嵌入式处理终端连接，所述嵌入式处理终端通过融合数据线输出处理后的数据。

在一个实施例中，所述嵌入式处理终端拥有至少3个CPU。

本发明还提供一种智能激光雷达系统，包括

雷达数据采集模块，采集激光雷达数据，保存于嵌入式处理终端的循环缓冲区，并打上时间戳；

摄像头数据采集模块，采集摄像头数据，保存于嵌入式处理终端的循环缓冲区，并打上时间戳；

语义分割模块，将摄像头数据采集模块采集的摄像头数据经过语义分割模型计算RGB通道图像；

数据同步模块，获取嵌入式处理终端的主线程时间戳，通过时间戳匹配找到对应的激光雷达数据和摄像头数据，通过位姿关系将雷达数据投影到摄像头图像坐标系，将语义分割模块的结果和投影后的激光雷达结果相融合。

本发明还提供一种智能激光雷达数据处理方法，包括以下步骤：

S1：嵌入式处理终端主线程开启采集子线程，摄像头数据采集模块通过摄像头获取周围环境目标的图像数据，雷达数据采集模块通过激光雷达获取周围环境目标的雷达数据，所获得的数据均保存于嵌入式处理终端的循环缓冲区，并打上时间戳；

S2：嵌入式处理终端的主线程通过时间戳对比，选择相应的图像数据和雷达数据；

S3：嵌入式处理终端的主线程开启语义分割子线程，通过语义分割模型对所述图像数据进行处理，计算RGB通道图像，主线程通过位姿关系将雷达数据投影到摄像头图像坐标系；

S4：嵌入式处理终端的主线程将投影计算后的雷达数据和语义分割计算后的数据相融合，输出RGB-XYZ六通道图像数据；

S5：重复S2到S4。

本发明的优点是：将激光雷达和摄像头进行模块化设计，提升了使用便捷性。将深度学习结果而不是单纯的视觉图像和激光雷达融合，提升激光雷达的智能性。多核多线程的调度设计，保证了时序的同步性以及稳定性。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明实施例智能激光雷达系统示意图；

图2为本发明实施例语义分割结果示意图；

图3为本发明实施例智能雷达系统运行时序示意图。

其中：

1、单目摄像头；

2、激光雷达；

3、机械构件；

4、嵌入式处理终端。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示的本发明提供的一种智能激光雷达装置。其硬件部分主要包括单目摄像头1、激光雷达2、机械构件3和嵌入式处理终端4，值得注意的是，图1仅仅是一种示例，所述单目摄像头1、激光雷达2和嵌入式处理终端4在机械构件3上的安装方式和相对位置可以根据实际情况有不同的设计。所述单目摄像头1通过摄像头数据线6与所述嵌入式处理终端4连接，所述激光雷达2通过雷达数据线5与所述嵌入式处理终端4连接，所述嵌入式处理终端4通过融合数据线7输出处理后的数据。

摄像头模块主要用于周围环境的视觉感知。在本方案中，摄像头数据通过USB结构传输到嵌入式处理终端，保证传输的速度，同时，为了保证传输的连续性以及和雷达数据的同步性，在嵌入式终端单独开辟一个线程来进行图像数据的接收，并将接受数据打上时间戳。

激光雷达由于数据的稀疏性以及本身硬件的限制，采用以太网协议传输值嵌入式处理终端，和摄像头一样，单独开辟线程进行雷达数据接收，并打上时间戳。

本发明还提供一种智能激光雷达系统，各算法模块包括，雷达数据采集模块，摄像头数据采集模块，数据同步模块，语义分割模块。所述雷达数据采集模块采集激光雷达数据，保存于嵌入式处理终端的循环缓冲区，并打上时间戳；所述摄像头数据采集模块，采集摄像头数据，保存于嵌入式处理终端的循环缓冲区，并打上时间戳；所述语义分割模块，将摄像头数据采集模块采集的摄像头数据经过语义分割模型计算RGB通道图像，所述语义分割模型如FCN；所述数据同步模块，获取嵌入式处理终端的主线程时间戳，通过时间戳匹配找到对应的激光雷达数据和摄像头数据，通过位姿关系将雷达数据投影到摄像头图像坐标系，将语义分割模块的结果和投影后的激光雷达结果相融合。

在经过嵌入式处理终端4的处理之后，经过以太网传输协议输出，供用户使用。输出的数据是一个RGB-XYZ 六通道的图像数据，其中RGB三通道表示语义分割的结果，如图2所示，XYZ表示物体在雷达坐标系下的空间坐标。RGB图像和XYZ 图像是通过图像位置索引建立联系，举例来说，图像位置（U，V）表示一个障碍物的像素点，那么XYZ图像的（U，V）位置表示该障碍物像素点的空间坐标。值得注意的是，嵌入式终端主线程同样占用一个单独线程，因此，此嵌入式终端至少拥有3个CPU. 嵌入式终端通过时间戳比对，选择时间对应的摄像头数据以及激光雷达数据，通过位姿关系将激光雷达数据投影到摄像头图像坐标系，形成XYZ图像。摄像头数据经过语义分割模型计算RGB通道图像。

如图3所示，本发明还提供一种智能激光雷达数据处理方法，包括以下步骤：S1：嵌入式处理终端主线程开启采集子线程，摄像头数据采集模块通过摄像头获取周围环境目标的图像数据，雷达数据采集模块通过激光雷达获取周围环境目标的雷达数据，所获得的数据均保存于嵌入式处理终端的循环缓冲区，并打上时间戳；

S2：嵌入式处理终端的主线程通过时间戳对比，选择相应的图像数据和雷达数据；

S3：嵌入式处理终端的主线程开启语义分割子线程，通过语义分割模型对所述图像数据进行处理，计算RGB通道图像，主线程通过位姿关系将雷达数据投影到摄像头图像坐标系；

S4：嵌入式处理终端的主线程将投影计算后的雷达数据和语义分割计算后的数据相融合，输出RGB-XYZ六通道图像数据；

S5：重复S2到S4。

为了表述方便，我们将采用4核的嵌入式设备，并将之命名为CPU0，CPU1，CPU2，CPU3. 其中CPU0运行主线程，CPU1运行摄像头采集程序，CPU2运行激光雷达数据采集程序。其时序逻辑示意图如图3所示。

1.主线程启动，程序开始，主要是进行初始化工作，如加载位姿配准文件，开启摄像头以及激光雷达等。

2.开启子线程，并将之分别分配到CPU1，CPU2上运行，实现数据的连续采集。对激光雷达数据和摄像头数据分别保存在循环缓冲区中，并对相应的数据打上时间戳。

3. 获取主线程时间戳，并通过时间戳匹配从缓冲区中找到对应的激光雷达数据以及摄像头数据。

4. 主线程开启新线程，用于进行图像的语义分割，并非配到CPU3上运行，主线程通过位姿关系将雷达数据投影到摄像头图像坐标系。

5. 将CPU3计算出的语义分割结果和主线程计算出的激光雷达结果相融合，输出。

6.重复3到5步骤。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种智能激光雷达装置，其特征在于，包括单目摄像头、激光雷达、机械构件和嵌入式处理终端，所述单目摄像头、激光雷达和嵌入式处理终端均安装于机械构件上，所述单目摄像头通过摄像头数据线与所述嵌入式处理终端连接，所述激光雷达通过雷达数据线与所述嵌入式处理终端连接，所述嵌入式处理终端通过融合数据线输出处理后的数据。

2.如权利要求1所述智能激光雷达装置，其特征在于，所述嵌入式处理终端拥有至少3个CPU。

3.一种智能激光雷达系统，其特征在于，包括

雷达数据采集模块，采集激光雷达数据，保存于嵌入式处理终端的循环缓冲区，并打上时间戳；

摄像头数据采集模块，采集摄像头数据，保存于嵌入式处理终端的循环缓冲区，并打上时间戳；

语义分割模块，将摄像头数据采集模块采集的摄像头数据经过语义分割模型计算RGB通道图像；

数据同步模块，获取嵌入式处理终端的主线程时间戳，通过时间戳匹配找到对应的激光雷达数据和摄像头数据，通过位姿关系将雷达数据投影到摄像头图像坐标系，将语义分割模块的结果和投影后的激光雷达结果相融合。

4.一种智能激光雷达数据处理方法，其特征在于，包括以下步骤：

S1：嵌入式处理终端主线程开启采集子线程，摄像头数据采集模块通过摄像头获取周围环境目标的图像数据，雷达数据采集模块通过激光雷达获取周围环境目标的雷达数据，所获得的数据均保存于嵌入式处理终端的循环缓冲区，并打上时间戳；

S2：嵌入式处理终端的主线程通过时间戳对比，选择相应的图像数据和雷达数据；

S3：嵌入式处理终端的主线程开启语义分割子线程，通过语义分割模型对所述图像数据进行处理，计算RGB通道图像，主线程通过位姿关系将雷达数据投影到摄像头图像坐标系；

S4：嵌入式处理终端的主线程将投影计算后的雷达数据和语义分割计算后的数据相融合，输出RGB-XYZ六通道图像数据；

S5：重复S2到S4。