CN115861957B - 一种基于传感器融合的新型动态物体分割方法 - Google Patents

Abstract

本发明涉及智能驾驶技术领域，公开了一种基于传感器融合的新型动态物体分割方法，融合了两种传感器的优点，通过优势互补去克服传感器本身性质带来的局限性；通过融合，只利用轻量化的网络便实现了具有清晰的边界特性的视觉分割，并且使用简单的聚类分割便实现了动态点云物体的识别；轻量化的网络分割速度快、点云的聚类分割速度也快，在分割速度保证的前提下，实现了较高精度的分割效果，为智能驾驶技术的前端识别分割方案提出了高性能的、实时性高的解决方法；本发明整体成本低，计算资源消耗小、本身具有较强的可移植性。

Description

一种基于传感器融合的新型动态物体分割方法

技术领域

本发明涉及智能驾驶技术领域，具体涉及一种基于传感器融合的新型动态物体分割方法。

背景技术

随着计算机科学的进步与计算能力的大幅度提升，原本与我们息息相关的汽车行业也将要被重新定义。车辆的智能化、网络化趋势愈加明显，在这一过程中，自动驾驶技术逐渐浮出水面，成为了前沿科学的热点。对于自动驾驶技术来说，人们最关注的还是其安全性，而实现动态物体分割是实现安全决策与驾驶的重要支撑。在现有的对动态场景的处理中，首先需要解决动态场景中动态物体的分割与去除问题。现有的方法主要有两种：一种是基于相机的视觉分割方案，一般要应用深度学习网络对场景内某一帧图像帧进行分割；另一种是基于激光雷达的点云分割方案，通过使用传统的角度/距离特征方式进行分割或者使用深度学习网络进行分割。

现有技术中的分割方案中均不适用于动态场景的实时分割方案，主要存在的问题如下：

视觉分割方案对网络的性能较为依赖，高性能网络分割效果较好，具有不错的边界特性，但是伴随着的是网络的重量级较高，难以在实际应用中的做到实时应用。而轻量化的网络边界模糊不清，虽然提高了分割效率，可以实时应用，但是却给后期的避障、导航等工作带来了巨大的困难。

激光点云分割方案本身是对点云的分割，具有十分优秀的点云边界特性，可以很好地确定动态物体与静态场景的边界，但是激光方案对于确定静态或者动态物体需要耗费巨量计算资源，使得单独的点云分割也不适用于实时场景的动态物体分割。

发明内容

为解决上述技术问题，本发明提供一种基于传感器融合的新型动态物体分割方法。

为解决上述技术问题，本发明采用如下技术方案：

一种基于传感器融合的新型动态物体分割方法，包括以下步骤：

步骤一、对相机采集到的图像帧进行轻量化分割：

通过轻量化网络对图像帧中的物体进行识别，并分割出不具有边缘特征的物体区域；对每个物体区域提取ORB特征点，将在时间戳为t的图像帧中提取的ORB特征点与在时间戳为t-1的图像帧中提取的ORB特征点进行匹配，并且采用多视角几何约束的方式，分离出属于动态物体区域的特征点，对在图像帧得到的动态物体区域并打标签label；

步骤二、对激光雷达采集到的点云帧预处理后，进行基于深度图的分割处理，点云帧的分割包括对动态物体和静态物体的分割：

步骤二A、深度图投影：将点云帧投影到深度图中，并且在深度图中对点云帧中的每一个点的索引值、反射强度、距离进行记录，深度图每个像素点的灰度值与投影点的深度成线性相关；

步骤二B、通过对深度图中的像素点、点云帧中的点进行分类的方式对深度图、点云帧中的点进行分割：深度图中任意两个相邻的点（点a、点b）在点云帧中对应的点分别为点A和点B，如果同时满足条件C1和条件C2，则对点a和点b进行聚类，同时对点A和点B进行聚类；

其中条件C1：点a与点b的灰度值之差在阈值范围内；过激光雷达所在位置O做两条线OA、OB分别与A、B两点相交，线段OA和线段OB中较长的一个线段与线AB所成夹角为β；条件C2：夹角β在阈值范围内；

步骤三、选择步骤一与步骤二中具有相同时间戳的图像帧、点云帧，进行视觉信息与激光信息的联合优化处理：

步骤三A、形成双层蒙版：在相同尺度比下以图像帧和点云帧对应的深度图中尺寸较小的作为基准，去除掉另一个多余的部分，形成完全重合的双层蒙版；

步骤三B：将点云帧中的点全部投影到图像帧上，如果点云帧的某一点集有超过阈值数量的点落在图像帧中的动态物体区域，那么该点集视为动态物体所属的点云区域，实现对点云帧分割结果的区域划分；

步骤三C：根据点云帧的边界特性对图像帧分割出的物体区域的边缘特征进行确定；根据图像帧分割得到的标签label对点云帧分割好的物体打标签，即划分出点云帧中属于动态物体的点云与属于静态物体的点云。

进一步地，步骤一中，通过YOLO轻量化网络对图像帧中物体进行识别，识别前先对图像帧进行去畸变操作。

进一步地，步骤二中，对激光雷达采集到的点云帧的预处理过程包括：

对点云帧进行滤波；

采用地面平面拟合算法对点云帧进行地面去除；

扫描线补偿：根据点云帧中存储的反射强度信息对点云帧中的有效反射点进行初步聚类，然后寻找到性质相似的有效反射点包围的一堆缺失点，其中缺失点包括弱反射点或者无效反射点；如果有效反射点包围的缺失点的数量不超过阈值，并且缺失点距周围的障碍物点距离不超过阈值，将有效反射点包围的缺失点用线性拟合的方式模拟生成。

进一步地，步骤三中形成双层蒙版之前，先使用相机与激光雷达之间的位姿转换矩阵将点云帧对应的深度图与图像帧进行配准。

与现有技术相比，本发明的有益技术效果是：

本发明融合了两种传感器的优点，通过优势互补去克服传感器本身性质带来的局限性；通过融合，只利用轻量化的网络便实现了具有清晰的边界特性的视觉分割，并且使用简单的聚类分割便实现了动态点云物体的识别。轻量化的网络分割速度快、点云的聚类分割速度也快，在分割速度保证的前提下，实现了较高精度的分割效果，为智能驾驶技术的前端识别分割方案提出了高性能的、实时性高的解决方法。本发明整体成本低，计算资源消耗小、本身具有较强的可移植性。

附图说明

图1为本发明分割方法的流程图；

图2为点云使用角度阈值的判断方法示意图。

具体实施方式

下面结合附图对本发明的一种优选实施方式作详细的说明。

本发明为了克服现有技术方案中存在的缺陷而提出一种基于轻量化网络的视觉分割和基于深度图激光点云分割的联合优化动态物体分割方案，该方案充分考虑计算资源消耗、性能要求与实时性的平衡问题，设计出一种可移植性强、成本低、精度高的动态物体分割方法。

本发明中的基于传感器融合的新型动态物体分割方法主要包括三个大步骤，三个大步骤里包含若干小步骤。将一辆智能汽车作为采集车辆，进行融合传感器的场景采集，得到某一时刻分别由激光雷达和相机采集的信息。激光雷达和相机已经过良好的标定，之间的转换矩阵明确，并且，同一时刻由相机得到的图像帧与由激光雷达得到的点云帧在存储时具有同一时间戳。

本发明中的一种基于传感器融合的新型动态物体分割方法，总体流程如图1所示，具体包括以下步骤。

S1：基于轻量化网络的视觉分割，即对相机采集到的图像帧进行轻量化分割；具体包括：

S11：选取相机中时间戳为t的初始图像帧，并对初始图像帧进行去畸变操作，以方便后续与激光雷达的点云帧投影形成的深度图进行配准。

S12：将去畸变后得到的图像帧输入到轻量化网络中，本发明选择的轻量化网络为YOLO网络。YOLO网络会对图像帧中的物体进行识别与分割，可以识别并分割图像帧场景中的车辆、行人、非机动车等物体。但是分割的物体是不具有边缘特征的，只能识别出物体在图像帧中的大致区域。因此需要在接下来步骤中通过点云帧进行辅助分割。

S13：对图像帧中识别出的每个物体区域提取5~10组ORB（OrientedFast andRotated Brief）特征点，将这些特征点与在时间戳为t-1的图像帧中提取的特征点进行匹配，并且采用多视角几何约束的方式，分离出属于动态物体区域的特征点，由此可以得到动态物体区域，并且进行label标注。之所以会选择在图像帧上进行动态物体区域的标注，是因为在图像帧进行动态物体区域识别消耗的计算资源远小于在点云帧中进行动态物体区域识别消耗的计算资源。

处理完成的图像帧传送到S3的开头处，并且等待具有同一时间戳t的点云帧处理完成。事实上，图像帧的处理与点云帧的处理是完全同步的，即S1与S2是同时进行的，只是处理耗时不同。

S2：基于深度图的激光点云分割，即对激光雷达采集到的点云帧进行基于深度图的分割处理；

选取与图像帧具有同一时间戳t的点云帧，将此点云帧进行以下步骤的处理，处理完成得到的结果同样是传送到S3的开头处，与图像帧信息融合处理；具体包括：

S21、对原始点云帧进行滤波：由于激光采集的点云数据的特殊性，主要是去除点云数据中采集车辆本身以及杂乱无章的点云数据。具体方法是在点云帧处理之初，对每一个点云帧中的点进行过滤，滤掉点云帧中x坐标值、y坐标值、z坐标值小于一定阈值以及大于一定阈值的点。例如：假设搭载激光雷达的采集车辆的长、宽、高分别为2L、2M、2N，激光雷达放置在采集车辆的车顶中心位置；那么滤掉x坐标值范围在（-L，L）且y坐标值范围在（-M，M）之间的点，便是去除落在采集车辆上的干扰点。这样能够减少计算量且为后续分割减少干扰。

S22、对点云帧进行地面去除：本发明使用地面平面拟合算法（Ground PlaneFitting，GPF）进行地面去除，此方法可以在有限的迭代次数之内、保留有用信息的前提下最大程度去除地面点。首先对点云帧中的点按照z坐标值进行排序，选出100个以内（一般选取20~50个）z坐标值最小的的点作为种子点E1，并组成最小点集合，求取种子点E1的高度平均值并加上一定裕量得到d，点云帧中z坐标值低于阈值d的点全部选择作为种子点E2；通过种子点E2可以拟合得到一个平面，而后计算点云帧中每一个点到这个拟合平面的正交投影的距离，将这个距离与设置的阈值D进行比较，如果距离小于D，那么我们则认为这个点可以归类为地面点。如此重复这个过程，直至到达设定的迭代次数。

S23、扫描线补偿：对处理好的点云帧进行扫描线补偿，也就是对类似于黑色汽车和车窗玻璃等弱反射物体导致的无效反射点进行人工添加点。为的是在后面点云投影后的聚类分割过程中，应对弱反射区域（例如黑色车辆和车窗）在点云信息中的缺失带来的分割效果降低问题。首先根据点云帧中所存储的反射强度信息对点云帧中的有效反射点进行初步聚类，然后寻找到性质相似的有效反射点包围的一堆弱反射点或者无效反射点，用符号表现为#********#，#代表具有相似性质的有效反射点，*代表弱反射点或无效反射点，如果有效反射点包围的弱反射点或无效反射点数量小于30个，并且弱反射点或无效反射点周围的障碍物点距离不超过1米（这个主要是根据汽车玻璃大小来定义），就把中间这些弱反射点或无效反射点用线性拟合的方式模拟出来。此方法可以对车窗玻璃造成的扫描点缺失进行有效的补充，为后续的车辆的识别提供更加可靠的信息。

S24、深度图投影：将上一步处理好的点云帧进行投影，投影到相应的深度图（range map）中，并且在深度图中对每一个点的索引值、反射强度、距离等进行记录。本发明采用Velodyne HDL-64E型号雷达，雷达转速10Hz，故投影的深度图画布大小设置为64*1800个像素点，深度图每个像素点的灰度值根据投影点的距离值

线性设置，也就是灰度值会与投影点的深度成线性相关。

S25、对投影得到的深度图进行分割操作：本发明分割操作采用的方法是四邻域点分割法，在对深度图完成分割之后，需要将对应点云帧中的点做好标记并且同时分割。值得注意的是，点云帧的分割不仅针对点云帧中的动态物体，也对静态物体进行分割。具体方法是对深度图上所呈现出的像素点进行分类，筛选灰度值之差在一定范围内的相邻像素点，并用点云帧中相对应两点的角度信息进行阈值判断，如果两个条件均满足要求，则聚类两点。假设深度图相邻两点为点a、点b，首先计算深度图中点a、点b的灰度值之差，若差值在灰度阈值D_max范围内，那么对点a、点b在点云帧中对应的点A、点B进行角度判断，具体方法是：过雷达所在位置O做两条射线OA、OB分别与A、B两点相交，以OA、OB中较长的一个线段所在的射线为y’轴，β为y’轴与AB的夹角。显然夹角β的值与点A、点B的深度有关，此时可以设置一个夹角阈值θ，当β＜θ时，就判定这点A、点B属于同一个物体，如图2所示。分割完成后对深度图上点a、点b进行同类点渲染，并且在点云帧中给每个点做上标注。为了表述方便，文中仅以两点作为示例，扩充到4个点的分割原理是一样的。

处理完成的点云帧以及点云帧对应的深度图传送到步骤三的开始处，将与图像帧进行信息融合操作。

S3：视觉信息与激光信息的联合优化处理过程；

本步骤中需要使用到相机与激光雷达的位姿转换矩阵，假设激光雷达的位姿矩阵为P，相机的位姿矩阵为Q，且位姿转换矩阵为X，即PX=Q。那么同样将点云帧的位姿进行变换，乘以位姿变换矩阵X。

S31：使用上述过程中所记录的相机与激光雷达的标定过程中的位姿转换矩阵，将点云帧所对应的深度图与相机采集且经过分割处理的图像帧进行配准，使得图像帧和点云帧处于同一位姿，并且让相同的区域对应且尺度缩放到同一水平，使得图像帧和点云帧具有完全相同的尺度比。

S32、形成双层蒙版：在相同尺度比下以图像帧和点云帧对应的深度图中尺寸较小的作为基准，去除掉另一个多余的部分，形成完全重合的双层蒙版。

S33：将点云帧中的点全部投影到图像帧上，同时点也会落在YOLO网络分割的某一区域中，对于投影在图像帧中动态物体区域的点进行记录，如果分割后的点云帧的某一点集有超过数量阈值N_max的点落在图像帧划分出的动态物体区域，那么此点集被认为是动态物体所属的点云区域，据此可以对深度图中的分割结果进行划分，并且做好标记。

S34：对投影后的点云帧进行识别：一是根据点云帧中存在的边界特性对图像帧分割后的边缘特征进行辅助确定；二是根据视觉分割的标签label对点云帧分割好的物体进行打标签操作，同样也是划分出动态物体所属点云与静态场景所属点云。这样便完成了整个分割操作，得到了聚类后的点云和具有较为精准分割边缘的图像帧。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于传感器融合的新型动态物体分割方法，包括以下步骤：

步骤一、对相机采集到的图像帧进行轻量化分割：

通过轻量化网络对图像帧中的物体进行识别，并分割出不具有边缘特征的物体区域；对每个物体区域提取ORB特征点，将在时间戳为t的图像帧中提取的ORB特征点与在时间戳为t-1的图像帧中提取的ORB特征点进行匹配，并且采用多视角几何约束的方式，分离出属于动态物体区域的特征点，对在图像帧得到的动态物体区域并打标签label；

步骤二、对激光雷达采集到的点云帧预处理后，进行基于深度图的分割处理，点云帧的分割包括对动态物体和静态物体的分割：

步骤二A、深度图投影：将点云帧投影到深度图中得到投影点，并且在深度图中对点云帧中的每一个点的索引值、反射强度和距离进行记录，深度图每个像素点的灰度值与投影点的深度成线性相关；

步骤二B、通过对深度图中的像素点、点云帧中的点进行分类的方式对深度图、点云帧中的点进行分割：深度图中任意两个相邻的点，点a、点b，在点云帧中对应的点分别为点A和点B，如果同时满足条件C1和条件C2，则对点a和点b进行聚类，同时对点A和点B进行聚类；

其中条件C1：点a与点b的灰度值之差在阈值范围内；过激光雷达所在位置O做两条线OA、OB分别与A、B两点相交，线段OA和线段OB中较长的一个线段与线AB所成夹角为β；条件C2：夹角β在阈值范围内；

步骤三、选择步骤一与步骤二中具有相同时间戳的图像帧、点云帧，进行视觉信息与激光信息的联合优化处理：

步骤三A、形成双层蒙版：在相同尺度比下以图像帧和点云帧对应的深度图中尺寸较小的作为基准，去除掉另一个多余的部分，形成完全重合的双层蒙版；

步骤三B：将点云帧中的点全部投影到图像帧上，如果点云帧的某一点集有超过阈值数量的点落在图像帧中的动态物体区域，那么该点集视为动态物体所属的点云区域，实现对点云帧分割结果的区域划分；

步骤三C：根据点云帧的边界特性对图像帧分割出的物体区域的边缘特征进行确定；根据图像帧分割得到的标签label对点云帧分割好的物体打标签，即划分出点云帧中属于动态物体的点云与属于静态物体的点云。

2.根据权利要求1所述的基于传感器融合的新型动态物体分割方法，其特征在于：步骤一中，通过YOLO轻量化网络对图像帧中物体进行识别，识别前先对图像帧进行去畸变操作。

3.根据权利要求1所述的基于传感器融合的新型动态物体分割方法，其特征在于：步骤二中，对激光雷达采集到的点云帧的预处理过程包括：

对点云帧进行滤波；

采用地面平面拟合算法对点云帧进行地面去除；

扫描线补偿：根据点云帧中存储的反射强度信息对点云帧中的有效反射点进行初步聚类，然后寻找到性质相似的有效反射点包围的一堆缺失点，其中缺失点包括弱反射点或者无效反射点；如果有效反射点包围的缺失点的数量不超过阈值，并且缺失点距周围的障碍物点距离不超过阈值，将有效反射点包围的缺失点用线性拟合的方式模拟生成。

4.根据权利要求1所述的基于传感器融合的新型动态物体分割方法，其特征在于：步骤三中形成双层蒙版之前，先使用相机与激光雷达之间的位姿转换矩阵将点云帧对应的深度图与图像帧进行配准。

Images