CN118015585A - 用于智轨列车的横向定位系统 - Google Patents

Abstract

本发明公开了一种用于智轨列车的横向定位系统，包括深度学习检测模块、横向高精度定位模块、融合定位模块；相机拍摄的图像作为输入图像，通过深度学习输出完整独立的循迹线参考轨迹，经横向高精度定位模块处理之后得到像素级的高精度循迹线，然后与车身提供的速度信息进行融合定位。横向高精度定位模块，在传统图像处理基础上，结合双峰分布数据处理与上升/下降沿算子，实现像素级高精度定位。本发明基于深度学习和图像处理的输出结果融合车身信息进行高精度横向定位，在低成本的优势下能够实现像素级的检测精度；且具有较高鲁棒性，可以适应于密集楼宇等城市环境、桥隧等不同环境、光照条件，以及轨迹线不清晰、交叉、合入等场景。

Description

用于智轨列车的横向定位系统

技术领域

本发明涉及横向定位技术，尤其涉及一种用于智轨列车的横向定位系统。

背景技术

横向定位是智轨列车实现智能驾驶的重要技术，与传统的轨道交通运输车辆相比，没有保证车辆能够稳定运行的固定钢轨设施，其参考地面上的双虚线循迹行驶。目前横向定位面临高精度、高鲁棒性两大技术难点，其中，高精度为厘米级别的定位精度；高鲁棒性是指能够在车辆颠簸、路面循迹线不清晰、光照条件恶劣等情况下保证车辆横向定位稳定。

组合导航是常见的定位设备，其通过RTK和内部高精度惯导单元能够实现厘米级定位精度，但其在密集楼宇等城市环境、桥隧场景中，定位精度显著减低。基于激光雷达的建图定位技术，需要维护环境地图，操作复杂，且成本较高。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种用于智轨列车的横向定位系统。

为实现本发明的目的，本发明所采用的技术方案是：

一种用于智轨列车的横向定位系统，包括深度学习检测模块、横向高精度定位模块、融合定位模块；

相机拍摄的图像作为深度学习检测模块的输入图像，通过深度学习输出完整独立的循迹线参考轨迹，作为横向高精度定位模块的输入；

经横向高精度定位模块处理之后得到像素级的高精度循迹线，然后通过融合定位模块与车身提供的速度信息进行融合定位。

进一步地，深度学习检测模块包含CNN特征提取模块、特征融合模块、轨迹线分段拟合模块、标签分配和损失函数设计模块；

CNN特征提取模块，在backbone部分，使用轻量级的深度学习网络进行特征提取；在neck部分，使用FPN或PAN实现多尺度特征的融合；

特征融合模块，结合预设的N组循迹线，在高层语义特征层上进行局部轨迹特征和全局轨迹特征的融合；通过特征注意力模块将局部轨迹特征Fi与局部轨迹特征Fi，局部轨迹特征Fi与全局轨迹特征g进行融合；

轨迹线分段拟合模块，将循迹线的拟合分解为上下两个部分分别拟合；

标签分配和损失函数设计模块，将曲线拟合的损失加入损失函数loss，上下部分曲线拟合的损失函数loss采用不同的权重系数进行调节。

进一步地，特征注意力模块包括两个注意力融合子模块；第一个注意力融合子模块，使用基于transformer结构的注意力机制，从局部特征获得特征query，从全局特征获得特征key和value，并将特征query和key，value进行融合；

第二个注意力融合子模块，使用局部特征之间的加权，从相邻区域中获得多变形状下的局部细节特征。

进一步地，深度学习检测模块，使用大规模开源车道线数据集进行预训练，在此基础用自采集的轨道数据进行训练。

进一步地，横向高精度定位模块包括传统图像处理模块、双峰分布处理模块、像素级高精度处理模块、上升/下降沿算子模块、筛选曲线拟合模块；

输入图像经传统图像处理模块预处理得到二值图，双峰分布处理模块，根据图像横坐标位置对二值图中的数据进行分类，将双峰分布的起始位置均值作为循迹线中线点的搜索起点记为center_point；

像素级高精度处理模块，通过搜索起点左右搜索循迹线内边缘点分别记为interal_left、interal_right，上升/下降沿算子模块处理当前内边缘点所在行，定位循迹线上升沿下降沿，分别计算上升沿下降沿的中点记为center_left、center_right，判断上升沿下降沿距离是否满足标准线宽要求，若满足，计算 center_left、center_right均值作为下一行搜索起点并保存；若不满足，将当前搜索起点作为下一行搜索起点；

逐行遍历结束，通过筛选曲线拟合模块拟合出最终的循迹线。

进一步地，上升/下降沿算子模块，对左右循迹线的上升沿下降沿分别进行卷积运算，卷积结果大于等于设定阈值判定为上升/下降沿。

进一步地，筛选曲线拟合模块，对center_left、center_right点集分别筛选，剔除点集中偏离过远的异常点，遍历比较当前帧点集与上一帧点集，如果偏差过大则舍弃对应的点，剔除异常点后统计每行center_left、center_right均值作为循迹线点，采用最小二乘法拟合循迹线曲线。

进一步地，融合定位模块，根据横向高精度定位模块输出的像素级高精度拟合出最终循迹线，给出的横向偏差距离，以及车身的线速度和角速度信息，构建运动学模型，采用卡尔曼滤波算法，进行定位。

本发明的有益效果在于，与现有技术相比，本发明基于深度学习和图像处理的输出结果融合车身信息进行高精度横向定位，在低成本的优势下能够实现像素级的检测精度；且具有较高鲁棒性，可以适应于密集楼宇等城市环境、桥隧等不同环境、光照条件，以及轨迹线不清晰、交叉、合入等场景。

附图说明

图1是相机安装示意图；

图2是横向定位系统示意图；

图3是深度学习检测模块示意图；

图4是特征注意力模块示意图；

图5是横向高精度定位模块示意图；

图6是双峰分布处理模块示意图；

图7是上升/下降沿算子模块示意图；

图8是循迹线左侧异常突出点二值化像素区域图；

图9是循迹线左侧异常残缺点二值化像素区域图；

图10是循迹线中间段左侧边缘二值化像素区域图；

图11是循迹线左上角二值化像素区域图；

图12是循迹线左下角二值化像素区域图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。

如图1所示，为保障定位精度与效果，相机安装在车头，且与地面垂直方向呈一定补偿角度。图中，CAM表示相机的安装位置，FOV表示相机的视场角，纵向盲区范围为补偿角度导致的盲区，纵向检测范围为相机可检测区域。

如图2所示，本发明所述的用于智轨列车的横向定位系统，包括深度学习检测模块、横向高精度定位模块、融合定位模块。采用相机为主要传感器，相机拍摄的图像作为深度学习检测模块的输入图像，通过深度学习检测模块进行深度学习之后能够输出完整且独立的循迹线参考轨迹，作为横向高精度定位模块的输入，经横向高精度定位模块的图像处理之后得到像素级的高精度循迹线，然后通过融合定位模块与车身提供的速度信息进行融合定位，实现循迹行驶。

如图3所示，深度学习检测模块，在图像空间检测出完整且独立的循迹线参考轨迹，为横向高精度定位模块提供参考。其主要包含CNN特征提取模块、特征融合模块、轨迹线分段拟合模块、标签分配和损失函数设计模块等几部分。为保证检测效果，在不同天气、光照、复杂道路环境具体较高的鲁棒性，上述多个部分之间层层关联，形成一个有效整体。

CNN特征提取模块，对于输入图像，在backbone部分，使用轻量级的深度学习网络进行特征提取。在neck部分，使用FPN或PAN实现多尺度特征的融合方便后续的特征融合。

特征融合模块，采用由粗到细的修正方法，对循迹线参考轨迹进行调整。如图3虚线部分所示，多级（默认3级）进行车道线逐步修正；例如，第一级别粗颗粒度检测车道线的位置，第二级别在第一级别检测位置的基础上进行车道线位置修正，第三级别在第二级别检测的结果上进行再次修正。

结合预设的N组循迹线，在高层语义特征层上进行局部轨迹特征和全局轨迹特征的融合。通过特征注意力模块（Feature attention module，FMA）将局部轨迹特征Fi与局部轨迹特征Fi，局部轨迹特征Fi与全局轨迹特征g进行融合。保证在复杂多变的天气、光照条件以及轨迹线遮挡、相交、合入等特殊情况下，深度学习检测模块能够输出完整且独立的循迹线。

如图4所示，特征注意力模块FMA的结构包括两个注意力融合子模块，其中，第一个注意力融合子模块，使用基于transformer结构的注意力机制，从局部特征获得特征query，从全局特征获得特征key和value，并将特征query和key，value进行融合，获得的特征具有更强的高层语义，对于遮挡截断/复杂光照等场景有比较好的鲁棒性。具体地，先将局部特征query与全局特征key进行融合，再与全局特征value进行融合。第二个注意力融合子模块，使用局部特征之间的加权，用来从相邻区域中获得多变形状下的局部细节特征，有利于提升循迹线检测的精准度。

实际场景中，循迹线除了平直的类型外，还有不同方向的曲线特征，因此，在轨迹线分段拟合模块中将循迹线的拟合分解为上下两个部分分别拟合。同时，在标签分配和损失函数设计模块，将曲线拟合的损失加入损失函数loss，上下部分曲线拟合的损失函数loss采用不同的权重系数进行调节，对于实际场景中的弯曲循迹线，能够获取更好的检测效果。

深度学习检测模块，使用大规模的开源车道线数据集进行预训练，使得网络具有轨迹特征识别能力，在此基础用自采集的轨道数据进行训练；在节省成本的条件下，有效地增强模型的泛化效果以及检测精度。

如图5所示，横向高精度定位模块，在传统图像处理基础上，结合双峰分布数据处理与上升/下降沿算子，实现像素级高精度定位。实际场景中，循迹线周围存在汉字、脏污以及边缘模糊的情况，其会导致循迹线中心线的偏移，影响循迹线拟合的精度。

横向高精度定位过程：循迹线经过传统图像处理后，通过双峰分布定位循迹线的中线点为搜索起点，记center_point，通过搜索起点左右搜索循迹线内边缘点分别记为interal_left、interal_right。上升/下降沿算子处理当前内边缘点所在行，定位循迹线上升沿下降沿，分别计算上升沿下降沿的中点记为center_left、center_right，判断上升沿下降沿距离是否满足标准线宽要求。若满足，计算 center_left、center_right均值作为下一行搜索起点并保存center_left、center_right；若不满足，将当前搜索起点作为下一行搜索起点。逐行遍历结束，剔除当前帧center_left、center_right中偏移过大的点以及与上帧center_left、center_right所在位置偏移距离过大的点，逐行计算center_left、center_right均值作为循迹点，拟合出最终的循迹线，从而得到实际场景中的循迹线是像素级的高精度。

具体地，横向高精度定位模块包括传统图像处理模块、双峰分布处理模块、像素级高精度处理模块、上升/下降沿算子模块、筛选曲线拟合模块。

传统图像处理模块，对输入的前视图图像进行鸟瞰图处理、灰度化、直方图均衡化、双边滤波、二值化处理等图像预处理，得到图像的二值图，用于后续的双峰分布处理。

如图6所示，双峰分布处理模块，根据图像横坐标位置对二值图中的数据进行分类，如果分类后的数据双峰分布均匀，将双峰分布的起始位置均值作为循迹线中线点的搜索起点记为center_point，如果分类后的数据双峰不均匀，则不输出结果。

像素级高精度处理模块，根据center_point搜索左右循迹线内边缘点interal_left、interal_right，上升/下降沿算子处理当前内边缘点所在行，定位循迹线上升沿下降沿，分别计算上升沿下降沿的中点记为center_left、center_right，分别判断左右循迹线上升沿、下降沿线宽的间隔距离，若左右线宽同时符合规定车宽，将左右循迹线当前行的中点center_left、center_right保留，计算center_left与center_right的均值作为下一行的center_point。如果左右线宽不符合要求，将当前行的 center_point带入下一行继续搜索。

如图7所示，上升/下降沿算子模块，对左右循迹线的上升沿下降沿分别进行卷积运算，根据卷积结果判定为上升/下降沿。卷积结果大于等于设定阈值（阈值推荐为170）判定为上升/下降沿。

上升/下降沿算子模块，处理循迹线具体可分为以下5种情况。以循迹线左侧上升沿为例。

异常循迹线边缘像素分布可分为两种：

（1）搜索点为循迹线左侧异常突出点，二值化后像素区域如图8，卷积运算X=1/3(255+255+255-0-0-0)，卷积结果为255，判定当前点为上升沿；

（2）搜索点为循迹线左侧异常残缺点，二值化后像素区域如图9，卷积运算X=1/3(255+255+255-0-0-255)，卷积结果为170，判定当前点为上升沿。

正常循迹线边缘像素分布可分为三种 ：

（1）搜索点为循迹线中间段左侧边缘，二值化后像素区域如图10，卷积运算X=1/3(255+255+255-0-0-0)，卷积结果为255，判定当前点为上升沿；

（2）搜索点为循迹线左上角，二值化后像素区域如图11，卷积运算X=1/3(0+255+255-0-0-0)，卷积结果为170，判定当前点为上升沿；

（3）搜索点为循迹线左下角，二值化后像素区域如图12，卷积运算X=1/3(255+255+0-0-0-0)，卷积结果为170，判定当前点为上升沿。

筛选曲线拟合模块，逐行遍历结束后对center_left、center_right点集分别筛选，剔除点集中偏离过远的异常点，遍历比较当前帧点集与上一帧点集，如果偏差过大则舍弃对应的点，剔除异常点后统计每行center_left、center_right均值作为循迹线点，采用最小二乘法拟合循迹线曲线。其中，在筛选过程中根据距离设置不同阈值。

融合定位模块，主要根据横向高精度定位模块输出的像素级高精度拟合出最终循迹线，给出的横向偏差距离，以及车身的线速度和角速度信息，根据智轨列车的运动特性构建运动学模型，采用卡尔曼滤波算法，进行定位，实现循迹行驶。保证在轨道遮挡、弯道、轨迹线合入、轨迹线交叉等情况，保障循迹定位稳定。其中，车身的线速度和角速度信息，可以来自车辆的底盘，或者轮速计、IMU等传感器。在卡尔曼滤波算法中重点关注时间补偿、噪声方差动态配置等技术细节。

本发明的有益效果在于，与现有技术相比，本发明基于深度学习和图像处理的输出结果融合车身信息进行高精度横向定位，在低成本的优势下能够实现像素级的检测精度；且具有较高鲁棒性，可以适应于密集楼宇等城市环境、桥隧等不同环境、光照条件，以及轨迹线不清晰、交叉、合入等场景。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (8)

1.一种用于智轨列车的横向定位系统，其特征在于，包括深度学习检测模块、横向高精度定位模块、融合定位模块；

相机拍摄的图像作为深度学习检测模块的输入图像，通过深度学习输出完整独立的循迹线参考轨迹，作为横向高精度定位模块的输入；

经横向高精度定位模块处理之后得到像素级的高精度循迹线，然后通过融合定位模块与车身提供的速度信息进行融合定位。

2.根据权利要求1所述的用于智轨列车的横向定位系统，其特征在于，深度学习检测模块包含CNN特征提取模块、特征融合模块、轨迹线分段拟合模块、标签分配和损失函数设计模块；

CNN特征提取模块，在backbone部分，使用轻量级的深度学习网络进行特征提取；在neck部分，使用FPN或PAN实现多尺度特征的融合；

特征融合模块，结合预设的N组循迹线，在高层语义特征层上进行局部轨迹特征和全局轨迹特征的融合；通过特征注意力模块将局部轨迹特征Fi与局部轨迹特征Fi，局部轨迹特征Fi与全局轨迹特征g进行融合；

轨迹线分段拟合模块，将循迹线的拟合分解为上下两个部分分别拟合；

标签分配和损失函数设计模块，将曲线拟合的损失加入损失函数loss，上下部分曲线拟合的损失函数loss采用不同的权重系数进行调节。

3.根据权利要求2所述的用于智轨列车的横向定位系统，其特征在于，特征注意力模块包括两个注意力融合子模块；第一个注意力融合子模块，使用基于transformer结构的注意力机制，从局部特征获得特征query，从全局特征获得特征key和value，并将特征query和key，value进行融合；

第二个注意力融合子模块，使用局部特征之间的加权，从相邻区域中获得多变形状下的局部细节特征。

4.根据权利要求2所述的用于智轨列车的横向定位系统，其特征在于，深度学习检测模块，使用大规模开源车道线数据集进行预训练，在此基础用自采集的轨道数据进行训练。

5.根据权利要求1所述的用于智轨列车的横向定位系统，其特征在于，横向高精度定位模块包括传统图像处理模块、双峰分布处理模块、像素级高精度处理模块、上升/下降沿算子模块、筛选曲线拟合模块；

输入图像经传统图像处理模块预处理得到二值图，双峰分布处理模块，根据图像横坐标位置对二值图中的数据进行分类，将双峰分布的起始位置均值作为循迹线中线点的搜索起点记为center_point；

像素级高精度处理模块，通过搜索起点左右搜索循迹线内边缘点分别记为interal_left、interal_right，上升/下降沿算子模块处理当前内边缘点所在行，定位循迹线上升沿下降沿，分别计算上升沿下降沿的中点记为center_left、center_right，判断上升沿下降沿距离是否满足标准线宽要求，若满足，计算 center_left、center_right均值作为下一行搜索起点并保存；若不满足，将当前搜索起点作为下一行搜索起点；

逐行遍历结束，通过筛选曲线拟合模块拟合出最终的循迹线。

6.根据权利要求5所述的用于智轨列车的横向定位系统，其特征在于，上升/下降沿算子模块，对左右循迹线的上升沿下降沿分别进行卷积运算，卷积结果大于等于设定阈值判定为上升/下降沿。

7.根据权利要求5所述的用于智轨列车的横向定位系统，其特征在于，筛选曲线拟合模块，对center_left、center_right点集分别筛选，剔除点集中偏离过远的异常点，遍历比较当前帧点集与上一帧点集，如果偏差过大则舍弃对应的点，剔除异常点后统计每行center_left、center_right均值作为循迹线点，采用最小二乘法拟合循迹线曲线。

8.根据权利要求1所述的用于智轨列车的横向定位系统，其特征在于，融合定位模块，根据横向高精度定位模块输出的像素级高精度拟合出最终循迹线，给出的横向偏差距离，以及车身的线速度和角速度信息，构建运动学模型，采用卡尔曼滤波算法，进行定位。