CN109444916A - 一种无人驾驶可行驶区域确定装置及方法 - Google Patents

Abstract

本发明公开了一种无人驾驶可行驶区域确定装置，包括：激光雷达、摄像头和分别与所述激光雷达和摄像头连接的第一处理器；激光雷达，对检测区进行扫描，得到相应的激光点云数据；摄像头，采集检测区的数据并进行反演，得到第一3D图像；第一处理器，分别将所述激光点云数据和所述第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像；且所述第一处理器基于所述第二3D图像计算行驶设备可向前行驶的区域。本发明分别采用激光雷达和摄像头模组对待检测区进行检测，并且将二者的检测结果融合，获得第二3D图像，二者的检测结果在观测点与目标的距离反演上相互验证，能够提高前向自动驾驶的安全性。

Description

一种无人驾驶可行驶区域确定装置及方法

技术领域

本发明涉及自动驾驶技术领域，尤其是涉及一种无人驾驶可行驶区域确定装置及方法。

背景技术

自动驾驶中前向安全至关重要。摄像头、毫米波雷达是当前常用的前向传感器。如特斯拉就使用单目视觉的方案对前向的人、车、线进行感知识别，支持AutoPilot功能。

激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测激光束，然后将接收到的从目标反射回来的目标回波信号与发射信号进行比较，作适当处理后，就可获得前行目标的有关信息。但是，光雷达在前向探测时角度的分辨率较低，目标识别的效果较差。

仅仅利用单目摄像头做深度估计，也能在一定程度上反演出包含距离信息的3D图，但是受限于算法本身，精度往往不高，而且存在误差。

因此，仅仅依靠激光雷达或者摄像头确定目标的距离，其准确度不高，如自动驾驶过程中判断目标距离不准确，则容易造成意外事故，损失较大。

发明内容

本发明的目的是提供一种无人驾驶可行驶区域确定装置及方法，通过将摄像头模组和激光雷达检测的数据进行融合以获得车辆可行驶的区域，可以提高对前向距离的准确度，提高了自动驾驶的安全性。

为解决上述问题，本发明的第一方面提供了一种无人驾驶可行驶区域确定装置，包括激光雷达、摄像头和分别与激光雷达和摄像头连接的第一处理器；激光雷达，对检测区进行扫描，得到相应的激光点云数据；摄像头，采集检测区的数据并进行反演，得到第一3D图像；第一处理器，分别将激光点云数据和第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像；且第一处理器基于所述第二3D图像计算行驶设备可向前行驶的区域。

进一步地，第一处理器包括第一融合模块；第一融合模块获取第一3D图像中检测区每个目标与摄像头观测点的距离距离A；第一融合模块获取激光点云数据中检测区每个目标与激光雷达观测点的距离B；第一融合模块对距离A和距离B进行融合获得获得第二3D图像，第二3D图像包括每个目标与行驶设备的距离C。

进一步地，第一融合模块还用于计算距离A和距离B是否一致；若距离A和距离B不一致，则将距离A和距离B分别与其预设的加权系数相乘后并加和，获得距离C；若距离A和距离B一致，则距离C的值为距离B的值。

进一步地，若距离A与距离B的差的绝对值大于或等于距离B的20％，则确定距离A和所述距离B不一致；或者，若距离A与距离B的比值为0.8～1.2，则确定距离A和距离B一致。

进一步地，距离A的加权系数高于距离B的加权系数。

进一步地，第一处理器还包括第二融合模块；第二融合模块对第一3D图像进行目标检测，获得第一目标数据，第一目标数据包括检测区的目标数量和每个目标与摄像头的距离；第二融合模块对第二3D图像进行聚类目标检测，获得第二目标数据，第二目标数据包括检测区的目标数量和每个目标与当前被驾驶的设备的距离；第二融合模块对第一目标数据和第二目标数据进行融合，获得第三目标数据。

进一步地，第二融合模块对第一目标数据和第二目标数据进行“或运算”获得第三目标数据。

进一步地，第一处理器基于第二3D图像和第三目标数据计算行驶设备可向前行驶的区域。

进一步地，摄像头包括两个摄像头，位于激光雷达的两侧。

进一步地，还包括第二处理器，第二处理器与第一处理器通过以太网接口通信连接，第二处理器用于存储第一3D图像、激光点云数据、第二3D图像、第三目标数据和车辆可向前行驶的区域中的一种或多种。

本发明的又一方面，提供了一种无人驾驶可行驶区域确定方法，包括：对检测区进行扫描，得到相应的激光点云数据；采集检测区的数据并进行反演，得到第一3D图像；分别将激光点云数据和第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像，且第一处理器基于第二3D图像计算行驶设备可向前行驶的区域。

进一步地，还包括：获取第一3D图像中检测区每个目标与摄像头观测点的距离A；获取激光点云数据中检测区每个目标与激光雷达观测点的距离B；对距离A和距离B进行融合获得第二3D图像，第二3D图像包括每个目标与行驶设备的距离C。

进一步地，计算距离A和所述距离B是否一致；若距离A和距离B不一致，则将距离A和距离B分别与其预设的加权系数相乘后并加和，获得距离C；若距离A和距离B一致，则距离C的值为距离B的值。

进一步地，若距离A与距离B的差的绝对值大于或等于距离B的20％，则确定距离A和距离B不一致；或者，若距离A与距离B的比值为0.8～1.2，则确定距离A和距离B一致。

进一步地，距离A的加权系数高于距离B的加权系数。

进一步地，对第一3D图像进行目标检测，获得第一目标数据，第一目标数据包括检测区的目标数量和每个目标与摄像头的距离；对第二3D图像进行聚类目标检测，获得第二目标数据，第二目标数据包括检测区的目标数量和每个目标与当前行驶设备的距离；对第一目标数据和第二目标数据进行融合，获得第三目标数据。

进一步地，基于第二3D图像和第三目标数据计算车辆可向前行驶的区域。

进一步地，对第一目标数据和第二目标数据进行“或运算”获得第三目标数据。

进一步地，通过以太网通信的方式将第一3D图像、激光点云数据、第二3D图像、第三目标数据和行驶设备可向前行驶的区域存储于外部存储器中。

本发明的上述技术方案具有如下有益的技术效果：

(1)本发明分别采用激光雷达和摄像头模组对待检测区进行检测，并且将二者的检测结果融合，获得高精度的3D图像，二者的检测结果在目标与观测点的距离上反演相互验证，能够提高前向自动驾驶的安全性。

(2)本发明对摄像头采集的检测区的目标数据和激光雷达检测的目标是数据进行融合，融合过程中，只要有一处出现检测目标，则认为该区域存在目标，提高了目标识别的精确度，进一步提高了自动驾驶的安全性。

附图说明

图1是根据本发明第一实施方式提供的无人驾驶可行驶区域确定装置的结构示意图；

图2是根据本发明第二实施方式提供的无人驾驶可行驶区域确定方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明第一实施方式提供的无人驾驶可行驶区域确定装置的结构示意图。

如图1所示，该装置包括：激光雷达、摄像头和分别与激光雷达和摄像头连接的第一处理器。其中，

激光雷达，对检测区进行扫描，得到相应的激光点云数据。

摄像头，采集检测区的数据并进行反演，得到第一3D图像。

优选的，摄像头包括两个摄像头，位于激光雷达的两侧。摄像头对检测区的数据进行反演时，采用双目深度反演，并且反演时，采用像素级反演。可选的，此处像素级反演的精度为测量点距离目标的200米范围内。

第一处理器，分别将激光点云数据和第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像；第一处理器基于第二3D图像计算车辆可向前行驶的区域。

在一个优选的实施例中，第一处理器包括第一融合模块；第一融合模块获取第一3D图像中检测区每个目标与摄像头观测点的距离A；第一融合模块获取激光点云数据中检测区每个目标与激光雷达观测点的距离B；第一融合模块，对距离A和距离B进行融合获得第二3D图像，第二3D图像包括每个目标与当前行驶设备的距离C，第一处理器基于第二3D图像计算行驶设备可向前行驶的区域。

进一步地，第一融合模块计算距离A和距离B是否一致,若距离A和距离B不一致，则将距离A和距离B分别与其预设的加权系数相乘后并加和，获得距离C。

由于激光波束窄，相比于毫米波雷达，激光雷达具有较高的角度分辨率。相比于摄像头，激光雷达能够准确反映目标的距离信息。因此，优选的，前向距离A的加权系数高于前向距离B的加权系数。

在一个例子中，距离A的加权系数为80～100，距离B的加权系数为0～20。

若距离A和距离B一致，则距离C的值为距离B的值。

可选的，若距离A与距离B的差的绝对值大于或等于距离B的20％，则确定距离A和距离B不一致。

可选的，若距离A与距离B的比值为0.8～1.2，则确定距离A和距离B一致。

可选的，距离A和距离B的差值的绝对值在一定范围内(例如，差值的绝对值在距离B的5％以内)，距离C的值为距离A和距离B的平均值。

在一个优选的实施例中，上述第一处理器还包括第二融合模块；第二融合模块对第一3D图像进行目标检测，获得第一目标数据，第一目标数据包括检测区的目标数量和每个目标与摄像头的距离。

第二融合模块对第二3D图像进行聚类目标检测，获得第二目标数据，第二目标数据包括检测区的目标数量和每个目标与当前被驾驶的设备的距离。其中当前行驶设备可以是汽车、无人机、或者其他可以自动行驶的设备。

第二融合模块对第一目标数据和第二目标数据进行融合，获得第三目标数据。

第一处理器基于第二3D图像和第三目标数据计算当前行驶设备可向前行驶的区域。

可选的，第二融合模块对第一目标数据和第二目标数据进行“或运算”获得第三目标数据。其中，“或运算”可以是：若第一目标数据显示出某一区域具有目标，而第二目标数据对应的区域无目标，则第二融合模块确定该区域具有目标，这个目标与行驶设备的距离为第一目标数据计算的距离。

无人驾驶可行驶区域计算装置还包括第二处理器，第二处理器与第一处理器通过以太网接口通信连接。第二处理器用于存储第一3D图像、激光点云数据、第二3D图像、第三目标数据和车辆可向前行驶的区域中的一种或多种。采用第一处理器获取可向前行驶的区域，将其存储于行驶设备的第二处理器中，可以大大减少第二处理器的处理量。当然，在一个可选的实施例中，还可以由一个“第二处理器实现上述实施例中的第一处理器与第二处理器的全部功能，也就是仅仅设置有一个处理器，采用一个处理器得到可行驶区域信息，并进行存储。

在一个具体的实施例中，第二处理器为感知主处理器，将第二3D图像、第三目标数据以及行驶设备上其他的传感器检测的信息进行融合，得到更为精确的目标和可行驶区域信息。

在一个具体的实施例中，第二处理器为自动驾驶主处理器时，即完成所有自动驾驶感知决策规划的功能，输出车辆控制信号给车辆接口。

需要说明的是，将第一3D图像、和激光点云数据等数据进行存储，主要是考虑，自动驾驶领域需要有数据采集和标定功能，来不断训练优化算法。第二也是考虑到回放和场景重现的需要，如果自动驾驶的设备发生意外了，还可以根据存储的时第一3D图像、和激光点云数据等对意外场景回放。

本发明的上述技术方案具有如下有益的技术效果：

(1)本发明分别采用激光雷达和摄像头模组对待检测区进行检测，并且将二者的检测结果融合，获得高精度的3D图像，二者的检测结果在目标与观测点的距离上反演相互验证，能够提高前向自动驾驶的安全性。

(2)本发明对摄像头采集的检测区的目标数据和激光雷达检测的目标数据进行融合，融合过程中，只要有一处出现检测目标，则认为该区域存在目标，提高了目标识别的精确度，进一步提高了自动驾驶的安全性。

图2是根据本发明第二实施方式提供的无人驾驶可行驶区域计算方法流程示意图。

如图2所示，该方法包括步骤S101-步骤S104：

步骤S101,对检测区进行扫描，得到相应的激光点云数据。

步骤S102,采集检测区的数据并进行反演，得到第一3D图像。

步骤S103,分别将激光点云数据和第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像。

在一个例子中，将激光点云数据和第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像包括：

获取第一3D图像中检测区每个目标与摄像头观测点的距离A；获取激光点云数据中检测区每个目标与激光雷达观测点的距离B；对距离A和距离B进行融合获得第二3D图像，其中，第二3D图像包括每个目标的与被驾驶的设备的距离距离C。其中，距离A的加权系数高于距离B的加权系数。

进一步具体地，计算距离A和距离B是否一致；若距离A和距离B不一致，则将距离A和距离B分别与其预设的加权系数相乘后并加和，获得距离C；若距离A和距离B一致，则距离C的值为距离B的值。

若距离A与距离B的差的绝对值大于或等于距离B的20％，则确定距离A和距离B不一致。

进一步地，若距离A与距离B的比值为0.8～1.2，则确定距离A和距离B一致。

步骤S104，基于上述第二3D图像计算行驶设备可向前行驶的区域。

在一个优选的实施例中，上述方法还可以是：由步骤S101-步骤S103、步骤S105和步骤S106构成。

步骤S105，对第一3D图像进行目标检测，获得第一目标数据，第一目标数据包括检测区的目标数量和每个目标与摄像头的距离；对第二3D图像进行聚类目标检测，获得第二目标数据，第二目标数据包括检测区的目标数量和每个目标与行驶设备的距离；对第一目标数据和第二目标数据进行融合，获得第三目标数据。

具体地，对第一目标数据和第二目标数据进行“或运算”获得第三目标数据。

进一步具体地，“或运算”为如果第一目标数据在某个区域检测出具有目标，第二目标数据相应的区域没有检测出目标，则认为该区域具有目标。或者，如果第一目标数据在某个区域没有检测出目标，而第二目标数据相应的区域检测出具有目标，则认为该区域具有目标。

需要说明的是，此处的目标融合为“或运算”实际上是再次对目标进行融合，进一步提高了精度，目标融合的结果更为准确。

步骤S106,基于第二3D图像和第三目标数据计算当前行驶设备可向前行驶的区域。

具体地，根据第二3D图像和第三目标数据能够最终确定当前行驶设备前方具有哪些目标、以及与那些目标的距离，排除这些目标则为当前行驶设备的可向前形式的区域。

可选的，通过以太网通信的方式将第一3D图像、激光点云数据、第二3D图像、第三目标数据和行驶设备可向前行驶的区域存储于外部存储模块中。

本发明的上述技术方案具有如下有益的技术效果：

(1)本发明分别采用激光雷达和摄像头模组对待检测区进行检测，并且将二者的检测结果融合，获得第二3D图像，二者的检测结果在目标与观测点的距离上反演相互验证，能够提高前向自动驾驶的安全性。

(2)本发明对摄像头采集的检测区的目标数据和激光雷达检测的目标数据进行融合，融合过程中，只要有一处出现检测目标，则认为该区域存在目标，提高了目标识别的精确度，进一步提高了自动驾驶的安全性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (19)

1.一种无人驾驶可行驶区域确定装置，其特征在于，包括：激光雷达、摄像头和分别与所述激光雷达和摄像头连接的第一处理器；

激光雷达，对检测区进行扫描，得到相应的激光点云数据；

摄像头，采集检测区的数据并进行反演，得到第一3D图像；

第一处理器，分别将所述激光点云数据和所述第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像；且所述第一处理器基于所述第二3D图像计算行驶设备可向前行驶的区域。

2.根据权利要求1所述的装置，其特征在于，所述第一处理器包括第一融合模块；

所述第一融合模块获取所述第一3D图像中检测区每个目标与所述摄像头观测点的距离A；

所述第一融合模块获取所述激光点云数据中的检测区每个目标与所述激光雷达观测点的距离B；

所述第一融合模块，对所述距离A和所述距离B进行融合获得第二3D图像，所述第二3D图像包括每个目标与所述行驶设备的距离C。

3.根据权利要求2所述的装置，其特征在于，所述第一融合模块还用于，计算所述距离A和所述距离B是否一致；

若所述距离A和所述距离B不一致，则将所述距离A和所述距离B分别与其预设的加权系数相乘后并加和，获得所述距离C；

若所述距离A和所述距离B一致，则所述距离C的值为距离B的值。

4.根据权利要求3所述的装置，其特征在于，若所述距离A与所述距离B的差的绝对值大于或等于所述距离B的20％，则确定所述距离A和所述距离B不一致；或者，若所述距离A与所述距离B的比值为0.8～1.2，则确定所述距离A和所述距离B一致。

5.根据权利要求3所述的装置，其特征在于，所述距离A的加权系数高于所述距离B的加权系数。

6.根据权利要求1-5任一项所述的装置，其特征在于，所述第一处理器还包括第二融合模块；

第二融合模块对所述第一3D图像进行目标检测，获得第一目标数据，所述第一目标数据包括被检测区的目标数量和每个目标与所述摄像头的距离；

第二融合模块对所述第二3D图像进行聚类目标检测，获得第二目标数据，所述第二目标数据包括被检测区的目标数量和每个目标与当前行驶设备的距离；

所述第二融合模块对所述第一目标数据和所述第二目标数据进行融合，获得第三目标数据。

7.根据权利要求6所述的装置，其特征在于，所述第一处理器基于所述第二3D图像和所述第三目标数据计算行驶设备可向前行驶的区域。

8.根据权利要求6所述的装置，其特征在于，所述第二融合模块对所述第一目标数据和所述第二目标数据进行“或运算”获得第三目标数据。

9.根据权利要求1所述的装置，其特征在于，所述摄像头为两个摄像头，位于所述激光雷达的两侧。

10.根据权利要求6所述的装置，其特征在于，还包括第二处理器，所述第二处理器与所述第一处理器通过以太网接口通信连接；

所述第二处理器用于存储所述第一3D图像、所述激光点云数据、所述第二3D图像、第三目标数据和车辆可向前行驶的区域中的一种或多种。

11.一种无人驾驶可行驶区域确定方法，其特征在于，包括：

对检测区进行扫描，得到相应的激光点云数据；

采集检测区的数据并进行反演，得到第一3D图像；

分别将所述激光点云数据和所述第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像；

基于所述第二3D图像计算行驶设备可向前行驶的区域。

12.根据权利要求11所述的方法，其特征在于，

获取所述第一3D图像中检测区每个目标与摄像头观测点的距离A；

获取所述激光点云数据中检测区每个目标与激光雷达观测点的距离B；

对所述距离A和所述距离B进行融合获得第二3D图像，所述第二3D图像包括每个目标与所述行驶设备的距离C。

13.根据权利要求12所述的方法，其特征在于，计算所述距离A和所述距离B是否一致；

若所述距离A和所述距离B不一致，则将所述距离A和所述距离B分别与其预设的加权系数相乘后并加和，获得所述距离C；

若所述距离A和所述距离B一致，则所述距离C的值为距离B的值。

14.根据权利要求13所述的方法，其特征在于，若所述距离A与所述距离B的差的绝对值大于或等于所述距离B的20％，则确定所述距离A和所述距离B不一致；或者，若所述距离A与所述距离B的比值为0.8～1.2，则确定所述距离A和所述距离B一致。

15.根据权利要求13所述的方法，其特征在于，所述距离A的加权系数高于所述距离B的加权系数。

16.根据权利要求11-15任一项所述的方法，其特征在于，

对所述第一3D图像进行目标检测，获得第一目标数据，所述第一目标数据包括检测区的目标数量和每个目标与所述摄像头的距离；

对所述第二3D图像进行聚类目标检测，获得第二目标数据，所述第二目标数据包括检测区的目标数量和每个目标与所述行驶设备的距离；

对所述第一目标数据和所述第二目标数据进行融合，获得第三目标数据。

17.根据权利要求16所述的方法，其特征在于，还包括：基于所述第二3D图像和所述第三目标数据计算车辆可向前行驶的区域。

18.根据权利要求17所述的方法，其特征在于，对所述第一目标数据和所述第二目标数据进行“或运算”获得第三目标数据。

19.根据权利要求17所述的方法，其特征在于，通过以太网通信的方式将所述第一3D图像、所述激光点云数据、第二3D图像、第三目标数据和行驶设备可向前行驶的区域存储于外部存储模块中。