CN115690138A - 一种融合车载影像与点云的道路边界提取与矢量化方法 - Google Patents

Abstract

本发明提出了一种融合车载影像与点云的道路边界提取与矢量化方法。本发明基于点云超体素分割结果，采用收缩距离聚类算法进行道路边界点云的提取与去噪；基于车载影像，采用语义分割模型和区域生长算法提取道路边界像素，并进一步将边界像素转到世界坐标系；构建Snake模型融合点云和车载影像的提取结果，利用改进内力矩阵进行模型求解得到道路边界点集；对点集进行矢量化及多段线简化，得到三维矢量线状道路边界。本发明提出的道路边界提取方法对不同形状和点密度的三维道路边界具有较强的鲁棒性，在道路边界磨损或遮挡严重的场景中仍能获得完整且位置准确的矢量道路边界，可应用于面向自动驾驶的高精地图生产及基础地理信息数据的更新。

Description

一种融合车载影像与点云的道路边界提取与矢量化方法

技术领域

本发明属于计算机视觉和激光扫描数据处理的交叉领域，具体涉及一种融合车载影像与点云的道路边界提取与矢量化方法。

背景技术

道路边界是划分车行道、人行道等不同道路功能区的城市中最常见、最重要的基础设施之一，是智能交通系统、智能驾驶系统、城市规划等领域的重要组成，对保障居民安全出行、社会经济活动高效运转具有重要意义。此外，作为约束道路与道路附属设施分布范围的地物，三维道路边界的几何、语义、拓扑等地理信息对于许多地理空间应用都是必不可少的。快速准确地提取道路边界，服务于构建高精度地图，是目前“数字孪生”的研究热点。

测绘技术以及传感器装置的不断进步为使用多传感器数据进行道路边界提取研究提供了丰富的数据源。其中，车载激光扫描技术具有测量速度快、精度高、识别准确等优势，可以以毫米级的精度生成高密度的三维点云。同时，高分辨率的全景相机以超广角视野提供了道路场景丰富的纹理，颜色信息，可同时获取道路及路侧地物的高精度三维空间信息和属性信息，广泛应用于道路场景理解、高精度三维重建等领域。然而，目前大多数道路边界精确提取研究仅基于单一数据源(影像或激光点云)，因此存在一定的局限性。并且，目前大多数相关研究仅关注道路区域识别或者边界点分类，没有更进一步得到三维矢量道路边界，而精确的道路边界模型对城市基础设施信息化管理、面向自动驾驶的高精地图制作都是必不可少的。

发明内容

本发明针对车载激光扫描点云与车载影像的现有技术缺陷，提供一种融合点云与全景影像的道路边界提取技术。

本发明提出的一种融合点云与全景影像的道路边界提取方法，包括以下步骤：

步骤1：移动激光扫描系统通过三维激光扫描仪实时采集多个时刻的道路三维点云，通过GNSS定位模块实时采集多个时刻的车辆位置，通过全景相机实时采集多个时刻的车载全景影像，通过惯性测量单元实时采集多个时刻的全景相机拍摄时的横滚角、多个时刻的全景相机拍摄时的偏航角、多个时刻的全景相机拍摄时的俯仰角；

步骤2：将每个时刻的道路三维点云进行超体素分割，采用基于收缩距离的欧式聚类方法提取每个时刻的道路边界三维点云，对每个时刻的道路边界三维点云进行去噪，得到每个时刻的去噪后道路边界三维点云；

步骤3：将每个时刻的车载全景影像通过层次多尺度注意力机制的神经网络模型进行语义分割，得到每个时刻的路面区域图像，进一步利用区域生长算法提取每个时刻的路面区域图像中多个道路边界像素点，将每个时刻的车载全景影像与去噪后道路边界三维点云进行配准得到像素与点云之间的关系模型，进一步将每个时刻的路面区域图像中多个道路边界像素点转换到世界坐标系，得到每个时刻的坐标转换后道路边界三维点云；

步骤4：将多个时刻的去噪后道路边界三维点云进行拼接得到拼接后道路边界三维点云，计算拼接后道路边界三维点云的包围盒，根据拼接后道路边界三维点云的包围盒构建XOY格网化像素平面，将拼接后道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，将投影后道路边界图像进行二值化得到道路边界特征图；通过设置感兴趣区域将多个时刻的坐标转换后道路边界三维点云进行拼接得到拼接后坐标转换的道路边界三维点云，计算拼接后坐标转换的道路边界三维点云的包围盒，根据拼接后坐标转换的道路边界三维点云的包围盒构建XOY格网化像素平面，将拼接后坐标转换的道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，将投影后道路边界图像进行二值化得到初始轮廓图像；构建Snake模型，利用改进内力矩阵对Snake模型进行求解得到道路边界点集；

步骤5：将道路边界点集进行矢量化得到道路边界多段线，将道路边界多段线进一步通过基于道格拉斯扑克法进行多段线简化，得到矢量线状道路边界。

作为优选，步骤3所述将每个时刻的车载全景影像与去噪后道路边界三维点云进行配准得到像素点云之间对应关系，具体过程如下：

步骤3.1，通过每个时刻的全景相机拍摄时的横滚角、每个时刻的全景相机拍摄时偏航角、每个时刻的全景相机拍摄时俯仰角将去噪后道路边界三维点云对应的车载三维激光点云坐标系映射至全景影像坐标系中，对于第i个时刻的车载全景影像；

计算第i个时刻的旋转矩阵R_i，具体如下：

式中，γ_i为第i个时刻的全景影像拍摄时的横滚角，β_i为第i个时刻的全景影像拍摄时的偏航角，α_i为第i个时刻的全景影像拍摄时的俯仰角，R_i为第i个时刻的旋转矩阵；

则对于第i个时刻的全景影像，世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点

转化为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点

具体公式如下：

式中，

为世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点的x轴坐标；

为世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点的y轴坐标；

为世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点的z轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的x轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的y轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的z轴坐标；T_i为第i个时刻的全景影像的相机坐标系与世界坐标系之间的平移向量。

步骤3.2，根据球面成像模型将第i个时刻的全景影像的第t个道路边界像素点

映射到全景影像的像素球面坐标系时，转换公式如下：

式中，

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的x轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的y轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的z轴坐标；

为第i个时刻的全景影像的第t个道路边界像素点与z轴正向的夹角，

为第i个时刻的全景影像的第t个道路边界像素点与y轴正向的夹角；

步骤3.3，将第i个时刻的全景影像的第t个道路边界像素点

通过圆柱投影转换从全景影像球面坐标系转换到全景影像的像素坐标系，转换公式如下：

式中，

为第i个时刻的全景影像的第t个道路边界像素点

在全景影像像素坐标系中的x坐标，

为第i个时刻的全景影像的第t个道路边界像素点

在全景影像像素坐标系中的y坐标，W为全景影像的长，H为宽。

步骤3所述进一步将每个时刻的路面区域图像中多个道路边界像素点转换到世界坐标系，得到每个时刻的坐标转换后道路边界三维点云，具体如下：

将每个时刻的车载全景影像与去噪后道路边界三维点云进行配准，得到世界坐标系下一点

向全景影像的像素坐标系转换后得到的对应点

对每个时刻的路面区域图像中多个道路边界像素点进行遍历，找到其在世界坐标系中对应的点即可得到每个时刻的坐标转换后道路边界三维点云；

作为优选，步骤4所述将拼接后道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，具体如下：

式中，x_min是拼接后道路边界三维点云的包围盒在x轴上的最小值,y_min是拼接后道路边界三维点云的包围盒在y轴上的最小值，resolution表示每个格网单元的长度，row_n表示拼接后道路边界三维点云中的第n个点(x_n,y_n,z_n)投影后在XOY格网化像素平面的行号,col_n表示点(x_n,y_n,z_n)投影后在XOY格网化像素平面的列号；

步骤4所述将投影后道路边界图像进行二值化得到道路边界特征图，具体如下：

在XOY格网化像素平面范围内，对每个格网单元判断是否有投影后的边界点云落入，若有，则这个格网单元的像素值被设为255；若没有，则这个格网单元的像素值被设为0，进而得到道路边界特征图；

步骤4所述将拼接后坐标转换的道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，具体为：

式中，Ax_min是拼接后坐标转换的道路边界三维点云的包围盒在x轴上的最小值，Ay_min是拼接后坐标转换的道路边界三维点云的包围盒在y轴上的最小值，resolution表示每个格网单元的长度，Arow_n表示拼接后坐标转换的道路边界三维点云中的第n个点(x_n，y_n，z_n)投影后在XOY格网化像素平面的行号，Acol_n表示点(x_n，y_n，z_n)投影后在XOY格网化像素平面的列号；

步骤4所述将投影后道路边界图像进行二值化得到初始轮廓图像，具体为：

在XOY格网化像素平面范围内，对每个格网单元判断是否有坐标转换的道路边界三维点云落入，若有，则这个格网单元的像素值被设为255；若没有，则这个格网单元的像素值被设为0，进而得到初始轮廓图像；

所述初始轮廓图像由N个轮廓点构成，v_n＝(Crow_n，Ccol_n)为初始轮廓图像上的第n个轮廓点，Crow_n表示第n个轮廓点在XOY格网化像素平面中行号，Ccol_n表示第n个轮廓点在XOY格网化像素平面中的列号；

步骤4所述构建Snake模型，具体如下；

所述Snake模型的初始轮廓采用初始轮廓图像；

所述Snake模型的能量函数包括：外部能量E_ext以及内部能量E_int

Snake模型的外部能量E_ext采用梯度矢量流，令F为边缘势能场，则F＝-E_ext，该梯度向量流场定义为：E_ext＝-[x(row_n，col_n)，Y(row_n，col_n)]；

其中，X(row_n，col_n)表示梯度矢量流场横轴上的分量，Y(row_n，col_n)表示梯度矢量流场纵轴上的分量。

Snake模型的内部能量E_int，定义为：

式中，α表示控制曲线的弹性权重参数，β表示控制曲线的刚性权重参数，N表示初始轮廓图像中轮廓点的个数，v_n＝(Crow_n，Ccol_n)为初始轮廓图像上的第n个轮廓点，Crow_n表示第n个轮廓点在XOY格网化像素平面中行号，Ccol_n表示第n个轮廓点在XOY格网化像素平面中的列号。

所述Snake模型的特征图采用道路边界特征图；

步骤4所述利用改进内力矩阵对Snake能量函数模型进行求解得到道路边界的点集，具体过程如下：

在迭代收敛过程中内力受到内力矩阵的控制，内力矩阵公式如下：

道路边界是非闭合的轮廓线，通过迭代得到的曲线f(s)在第三个点和倒数第三个点处保持二阶导数连续，则得到修改后的N×N内力矩阵为：

式中，p＝β，q＝-α-4β，r＝γ+2α+6β，γ为迭代步长；

修改内力矩阵后用差分近似微分进行迭代使能量函数最小化；

作为优选，步骤5所述将道路边界点集进行矢量化得到道路边界多段线，具体过程为：

计算道路边界点集中第n个边界点与每个时刻的车辆位置的距离，在所有时刻的车辆位置中筛选出距离第n个边界点最近的车辆位置Traj_i，则第n个边界点的时刻为Traj_i所对应的时刻i；

将第i时刻的道路边界点划入集合，得到第i时刻的所有道路边界点的集合C_i，具体定义如下：

C_i＝{P_ni|||P_ni-Traj_i||₂＝min{||P_n-Traj_i||₂}，n∈[1，N]}；

其中，Traj_i表示第i时刻的车辆位置，P_n表示第n个道路边界点云，P_ni表示第n个道路边界点云且该点云的时刻为i。

对于第i时刻，根据相邻两个时刻的车辆位置Traj_i和Traj_i+1计算车辆前进方向

对集合C_i中每一点P_ni计算其与第i时刻的车辆位置Traj_i所成的向量

然后计算叉乘积

若S_ni＜0，则P_ni为左侧道路边界点，反之若S_ni＞0，则P_ni为右侧道路边界点，从而得到左道路边界点集、右道路边界点集；

以Traj_i为原点，车辆前进方向

为Y′_i轴，垂直方向为X′_i轴建立一个局部坐标系；

根据车辆前进的方向向量

求出该局部坐标系与世界坐标系相对的旋转角度为

对集合C_i中所有的道路边界点P_ni＝(x_ni，y_ni)通过坐标转换公式求得转换过后局部坐标系内边界点的坐标P′_ni＝(x′_ni，y′_ni)，具体如下：

式中，

为以Traj_i为原点的局部坐标系相对世界坐标系的旋转角度，x_ni为道路边界点P_ni在世界坐标系下的横坐标，y_ni为道路边界点P_ni在世界坐标系下的纵坐标，x′_ni为局部坐标系内边界点P′_ni的横坐标，y′_ni为局部坐标系内边界点P′_ni的纵坐标，X_i为第i时刻的车辆位置Traj_i在世界坐标系下的横坐标，Y_i为第i时刻的车辆位置Traj_i在世界坐标系下的纵坐标；

分别对第i时刻的左右边界点集按照局部坐标系中X′_i轴上的大小进行排序构建边界的拓扑关系，依次连接得到道路边界多段线。

综上，本发明可以融合车载影像与激光点云，对道路边界进行提取及三维重建，本发明所得结果可以全局视角和局部视角展示。本发明提出的道路边界提取方法所提取的三维道路边界对不同的道路形状和点密度具有较强的鲁棒性，在道路边界磨损或遮挡严重的场景中仍能获得完整且位置准确的矢量化模型，可应用于面向自动驾驶的高精地图生产及基础地理信息数据的更新等。

附图说明

图1：本发明实施例的方法流程图；

图2：本发明实施例的收缩距离聚类示意图；

图3：本发明实施例的点云与影像配准流程示意图；

图4：本发明实施例的世界坐标转相机坐标示意图；

图5：本发明实施例的局部坐标系构建示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

本发明针对车载激光扫描点云和车载影像，提出一种融合车载影像与点云的道路边界提取与矢量化方法，包括数据采集；道路边界点云提取；影像边界提取；点云和影像结果级融合；多段线简化与矢量化。

下面结合图1至图5介绍本发明实施例方法的技术方案为一种融合车载影像与点云的道路边界提取与矢量化方法，具体如下：

本发明实施例提出一种融合车载影像与点云的道路边界提取与矢量化方法。实施流程如图1所示。首先，车载移动激光扫描系统实时采集多个时刻的道路三维点云、多个时刻的车辆位置、车载全景影像以及多个时刻的全景相机拍摄时的位姿信息；然后，对点云数据进行超体素分割，采用收缩距离聚类提取边界点云，再采用DBSCAN算法对边界点进行噪声的去除；然后，采用基于层次多尺度注意力机制的神经网络模型对影像进行语义分割，在此基础上利用区域生长算法提取边界像素，再通过内外参数将影像与点云配准，并通过像素反投影得到影像中道路边界的真实三维空间坐标；接着，利用边界点云构建边界特征图、以影像提取结果作为初始轮廓，对非闭合Snake模型进行求解以得到道路边界的有序点集；最后，对点集进行矢量化，并基于道格拉斯扑克法进行多段线简化。具体实现过程包括以下步骤：

一种融合点云与全景影像的道路边界提取方法，包括以下步骤：

步骤1：移动激光扫描系统通过三维激光扫描仪实时采集多个时刻的道路三维点云，通过GNSS定位模块实时采集多个时刻的车辆位置，通过全景相机实时采集多个时刻的车载全景影像，通过惯性测量单元实时采集多个时刻的全景相机拍摄时的横滚角、多个时刻的全景相机拍摄时的偏航角、多个时刻的全景相机拍摄时的俯仰角；

在本实施例中所述扫描系统的型号为RIEGLVUX-1激光扫描仪；

所述GNSS定位模块及惯性测量单元的型号为；i90 IMU-RTK GNSS；

所述全景相机的型号为；30MP HDR360°全景相机；

步骤2：将每个时刻的道路三维点云进行超体素分割，采用基于收缩距离的欧式聚类方法提取每个时刻的道路边界三维点云，对每个时刻的道路边界三维点云进行去噪，得到每个时刻的去噪后道路边界三维点云；

所述的去噪后道路边界三维点云的获取，具体如下：

首先，将点云投影至网格大小固定的二维网格，计算每个网格的最大高程差，设定高程差阈值，高差大于预定义阈值的网格被标记为存在高差的网格(uneven grids，UG)，其他网格则被标记为光滑网格(smooth grids，SG)。根据最小加权距离将候选点重新分配到超体素中。每个候选点云与相邻SG、UG的加权距离通过点密度差、高程差以及水平距离加权求和得到，W_xy、w_z和w_ds分别为D_xy、D_z和D_ds平面欧氏距离差、高程差以及局部密度差的权重。

在本实施例中，w_xy定义为为0.25，w_z定义为0.15，w_d定义为0.6。

然后，如图2所示，计算收缩距离，点p_n和p_m之间的收缩距计算公式如下：

式中，p_n和p_m是相邻超体素中的两点，d(p_n，p_m)是p_n和p_m之间的欧氏距离；

是离p_n最近的轨迹点；

表示

的方向向量；d_c(p_n，p_m)是p_n和p_m的收缩距离，

表示相邻超体素中的两点的向量；

将离散的点云数据组织为KD树以构建拓扑关系，利用基于收缩距离的聚类算法得到道路边界点云；

最后，利用DBSCAN算法对道路边界点云进行聚类，去除噪声；

在本实施例中，邻域半径定义为为0.1m，邻域密度阈值为15。

步骤3：将每个时刻的车载全景影像通过层次多尺度注意力机制的神经网络模型进行语义分割，得到每个时刻的路面区域图像，进一步利用区域生长算法提取每个时刻的路面区域图像中多个道路边界像素点，将每个时刻的车载全景影像与去噪后道路边界三维点云进行配准得到像素与点云之间的关系模型，进一步将每个时刻的路面区域图像中多个道路边界像素点转换到世界坐标系，得到每个时刻的坐标转换后道路边界三维点云；

步骤3所述将每个时刻的车载全景影像与去噪后道路边界三维点云进行配准得到像素点云之间对应关系，流程如图3所示，具体过程如下：

步骤3.1，通过每个时刻的全景相机拍摄时的横滚角、每个时刻的全景相机拍摄时偏航角、每个时刻的全景相机拍摄时俯仰角将去噪后道路边界三维点云对应的车载三维激光点云坐标系映射至全景影像坐标系中，对于第i个时刻的车载全景影像；

计算第i个时刻的旋转矩阵R_i，具体如下：

式中，γ_i为第i个时刻的全景影像拍摄时的横滚角，β_i为第i个时刻的全景影像拍摄时的偏航角，α_i为第i个时刻的全景影像拍摄时的俯仰角，R_i为第i个时刻的旋转矩阵；

则对于第i个时刻的全景影像，世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点

转化为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点

具体公式如下：

式中，

为世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点的x轴坐标；

为世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点的y轴坐标；

为世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点的z轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的x轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的y轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的z轴坐标；T_i为第i个时刻的全景影像的相机坐标系与世界坐标系之间的平移向量。

步骤3.2，根据球面成像模型将第i个时刻的全景影像的第t个道路边界像素点

映射到全景影像的像素球面坐标系时，转换公式如下：

式中，

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的x轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的y轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的z轴坐标；

为第i个时刻的全景影像的第t个道路边界像素点与z轴正向的夹角，

为第i个时刻的全景影像的第t个道路边界像素点与y轴正向的夹角；

步骤3.3，将第i个时刻的全景影像的第t个道路边界像素点

通过圆柱投影转换从全景影像球面坐标系转换到全景影像的像素坐标系，如图4，转换公式如下：

式中，

为第i个时刻的全景影像的第t个道路边界像素点

在全景影像像素坐标系中的x坐标，

为第i个时刻的全景影像的第t个道路边界像素点

在全景影像像素坐标系中的y坐标。

在本实施例中，，W＝1024为全景影像的长，H＝768为宽。

步骤3所述进一步将每个时刻的路面区域图像中多个道路边界像素点转换到世界坐标系，得到每个时刻的坐标转换后道路边界三维点云，具体如下：

将每个时刻的车载全景影像与去噪后道路边界三维点云进行配准，得到世界坐标系下一点

向全景影像的像素坐标系转换后得到的对应点

对每个时刻的路面区域图像中多个道路边界像素点进行遍历，找到其在世界坐标系中对应的点即可得到每个时刻的坐标转换后道路边界三维点云；

步骤4：将多个时刻的去噪后道路边界三维点云进行拼接得到拼接后道路边界三维点云，计算拼接后道路边界三维点云的包围盒，根据拼接后道路边界三维点云的包围盒构建XOY格网化像素平面，将拼接后道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，将投影后道路边界图像进行二值化得到道路边界特征图；通过设置感兴趣区域将多个时刻的坐标转换后道路边界三维点云进行拼接得到拼接后坐标转换的道路边界三维点云，计算拼接后坐标转换的道路边界三维点云的包围盒，根据拼接后坐标转换的道路边界三维点云的包围盒构建XOY格网化像素平面，将拼接后坐标转换的道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，将投影后道路边界图像进行二值化得到初始轮廓图像；构建Snake模型，利用改进内力矩阵对Snake模型进行求解得到道路边界点集；

步骤4所述将拼接后道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，具体如下：

式中，x_min是拼接后道路边界三维点云的包围盒在x轴上的最小值，y_min是拼接后道路边界三维点云的包围盒在y轴上的最小值，resolution表示每个格网单元的长度，row_n表示拼接后道路边界三维点云中的第n个点(x_n，y_n，z_n)投影后在XOY格网化像素平面的行号，col_n表示点(x_n，y_n，z_n)投影后在XOY格网化像素平面的列号；

在本实施例中，resolution＝0.2；

步骤4所述将投影后道路边界图像进行二值化得到道路边界特征图，具体如下：

在XOY格网化像素平面范围内，对每个格网单元判断是否有投影后的边界点云落入，若有，则这个格网单元的像素值被设为255；若没有，则这个格网单元的像素值被设为0，进而得到道路边界特征图；

步骤4所述将拼接后坐标转换的道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，具体为：

式中，Ax_min是拼接后坐标转换的道路边界三维点云的包围盒在x轴上的最小值，Ay_min是拼接后坐标转换的道路边界三维点云的包围盒在y轴上的最小值，resolution表示每个格网单元的长度，Arow_n表示拼接后坐标转换的道路边界三维点云中的第n个点(x_n，y_n，z_n)投影后在XOY格网化像素平面的行号，Acol_n表示点(x_n，y_n，z_n)投影后在XOY格网化像素平面的列号；

步骤4所述将投影后道路边界图像进行二值化得到初始轮廓图像，具体为：

在XOY格网化像素平面范围内，对每个格网单元判断是否有坐标转换的道路边界三维点云落入，若有，则这个格网单元的像素值被设为255；若没有，则这个格网单元的像素值被设为0，进而得到初始轮廓图像；

所述初始轮廓图像由N个轮廓点构成，v_n＝(Crow_n，Ccol_n)为初始轮廓图像上的第n个轮廓点，Crow_n表示第n个轮廓点在XOY格网化像素平面中行号，Ccol_n表示第n个轮廓点在XOY格网化像素平面中的列号；

步骤4所述构建Snake模型，具体如下；

所述Snake模型的初始轮廓采用初始轮廓图像；

所述Snake模型的能量函数包括：外部能量E_ext以及内部能量E_int；

Snake模型的外部能量E_ext采用梯度矢量流，令F为边缘势能场，则F＝-E_ext，该梯度向量流场定义为：E_ext＝-[X(row_n，col_n)，Y(row_n，col_n)]；

其中，X(row_n，col_n)表示梯度矢量流场横轴上的分量，Y(row_n，col_n)表示梯度矢量流场纵轴上的分量。

Snake模型的内部能量E_int，定义为：

式中，α表示控制曲线的弹性权重参数，β表示控制曲线的刚性权重参数，N表示初始轮廓图像中轮廓点的个数，v_n＝(Crow_n，Ccol_n)为初始轮廓图像上的第n个轮廓点，Crow_n表示第n个轮廓点在XOY格网化像素平面中行号，Ccol_n表示第n个轮廓点在XOY格网化像素平面中的列号。

所述Snake模型的特征图采用道路边界特征图；

步骤4所述利用改进内力矩阵对Snake能量函数模型进行求解得到道路边界的点集，具体过程如下：

在迭代收敛过程中内力受到内力矩阵的控制，内力矩阵公式如下：

道路边界是非闭合的轮廓线，通过迭代得到的曲线在第三个点和倒数第三个点处保持二阶导数连续，则得到修改后的N×N内力矩阵为：

式中，p＝β，q＝-α-4β，r＝γ+2α+6β，γ为迭代步长；

在本实施例中，α＝0.05，β＝0.95，γ＝0.95；

修改内力矩阵后用差分近似微分进行迭代使能量函数最小化；

步骤5：将道路边界点集进行矢量化得到道路边界多段线，将道路边界多段线进一步通过基于道格拉斯扑克法进行多段线简化，得到矢量线状道路边界；

步骤5所述将道路边界点集进行矢量化得到道路边界多段线，具体过程为：

计算道路边界点集中第n个边界点与每个时刻的车辆位置的距离，在所有时刻的车辆位置中筛选出距离第n个边界点最近的车辆位置Traj_i，则第n个边界点的时刻为Traj_i所对应的时刻i；

将第i时刻的道路边界点划入集合，得到第i时刻的所有道路边界点的集合C_i，具体定义如下：

C_i＝｛P_ni|||P_ni-Traj_i||²＝min{||P_n-Traj_i||²}，n∈[1，N]}；

其中，Traj_i表示第i时刻的车辆位置，P_n表示第n个道路边界点云，P_ni表示第n个道路边界点云且该点云的时刻为i。

对于第i时刻，根据相邻两个时刻的车辆位置Traj_i和Traj_i+1计算车辆前进方向

对集合C_i中每一点P_ni计算其与第i时刻的车辆位置Traj_i所成的向量

然后计算叉乘积

若S_ni＜0，则P_ni为左侧道路边界点，反之若S_ni＞0，则P_ni为右侧道路边界点，从而得到左道路边界点集、右道路边界点集；

以Traj_i为原点，车辆前进方向

为Y′_i轴，垂直方向为X′_i轴建立一个局部坐标系，如图5所示；

根据车辆前进的方向向量

求出该局部坐标系与世界坐标系相对的旋转角度为

对集合C_i中所有的道路边界点P_ni＝(x_ni，yn_i)通过坐标转换公式求得转换过后局部坐标系内边界点的坐标P′_ni＝(x′_ni，y′_ni)，具体如下：

式中，

为以Traj_i为原点的局部坐标系相对世界坐标系的旋转角度，x_ni为道路边界点P_ni在世界坐标系下的横坐标，y_ni为道路边界点P_ni在世界坐标系下的纵坐标，x′_ni为局部坐标系内边界点P′_ni的横坐标，y′_ni为局部坐标系内边界点P′_ni的纵坐标，X_i为第i时刻的车辆位置Traj_i在世界坐标系下的横坐标，Y_i为第i时刻的车辆位置Traj_i在世界坐标系下的纵坐标；

分别对第i时刻的左右边界点集按照局部坐标系中X′_i轴上的大小进行排序构建边界的拓扑关系，依次连接得到道路边界多段线。

综上，本发明可以融合车载影像与激光点云对道路边界进行提取及三维重建，本发明实施例所得结果可在图中以全局视角和局部视角展示。本发明提出的道路边界提取方法对不同的道路形状和点密度均具有较强的鲁棒性。在道路边界磨损或遮挡严重的场景中仍能获得完整且位置准确的矢量化模型，且在点云较稀疏、边界不清晰、数据不完整的区域也可以取得很好的效果。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

尽管本文较多地使用了激光扫描系统、GNSS定位模块、全景相机、惯性测量单元等术语，但并不排除使用其他术语的可能性。使用这些术语仅仅是为了更方便的描述本发明的本质，把它们解释成任何一种附加的限制都是与本发明精神相违背的。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种融合车载影像与点云的道路边界提取与矢量化方法，其特征在于，包括以下步骤：

步骤1：移动激光扫描系统通过三维激光扫描仪实时采集多个时刻的道路三维点云，通过GNSS定位模块实时采集多个时刻的车辆位置，通过全景相机实时采集多个时刻的车载全景影像，通过惯性测量单元实时采集多个时刻的全景相机拍摄时的横滚角、多个时刻的全景相机拍摄时的偏航角、多个时刻的全景相机拍摄时的俯仰角；

步骤2：将每个时刻的道路三维点云进行超体素分割，采用基于收缩距离的欧式聚类方法提取每个时刻的道路边界三维点云，对每个时刻的道路边界三维点云进行去噪，得到每个时刻的去噪后道路边界三维点云；

步骤3：将每个时刻的车载全景影像通过层次多尺度注意力机制的神经网络模型进行语义分割，得到每个时刻的路面区域图像，进一步利用区域生长算法提取每个时刻的路面区域图像中多个道路边界像素点，将每个时刻的车载全景影像与去噪后道路边界三维点云进行配准得到像素与点云之间的关系模型，进一步将每个时刻的路面区域图像中多个道路边界像素点转换到世界坐标系，得到每个时刻的坐标转换后道路边界三维点云；

步骤4：将多个时刻的去噪后道路边界三维点云进行拼接得到拼接后道路边界三维点云，计算拼接后道路边界三维点云的包围盒，根据拼接后道路边界三维点云的包围盒构建XOY格网化像素平面，将拼接后道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，将投影后道路边界图像进行二值化得到道路边界特征图；通过设置感兴趣区域将多个时刻的坐标转换后道路边界三维点云进行拼接得到拼接后坐标转换的道路边界三维点云，计算拼接后坐标转换的道路边界三维点云的包围盒，根据拼接后坐标转换的道路边界三维点云的包围盒构建XOY格网化像素平面，将拼接后坐标转换的道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，将投影后道路边界图像进行二值化得到初始轮廓图像；构建Snake模型，利用改进内力矩阵对Snake模型进行求解得到道路边界点集；

步骤5：将道路边界点集进行矢量化得到道路边界多段线，将道路边界多段线进一步通过基于道格拉斯扑克法进行多段线简化，得到矢量线状道路边界。

2.根据权利要求1所述的融合车载影像与点云的道路边界提取与矢量化方法，其特征在于：

步骤3所述将每个时刻的车载全景影像与去噪后道路边界三维点云进行配准得到像素点云之间对应关系，具体过程如下：

步骤3.1，通过每个时刻的全景相机拍摄时的横滚角、每个时刻的全景相机拍摄时偏航角、每个时刻的全景相机拍摄时俯仰角将去噪后道路边界三维点云对应的车载三维激光点云坐标系映射至全景影像坐标系中，对于第i个时刻的车载全景影像；

计算第i个时刻的旋转矩阵R_i，具体如下：

式中，γ_i为第i个时刻的全景影像拍摄时的横滚角，β_i为第i个时刻的全景影像拍摄时的偏航角，α_i为第i个时刻的全景影像拍摄时的俯仰角，R_i为第i个时刻的旋转矩阵；

则对于第i个时刻的全景影像，世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点

转化为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点

具体公式如下：

式中，

为世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点的x轴坐标；

为世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点的y轴坐标；

为世界坐标系中第i个时刻的去噪后道路边界三维点云中第t个点的z轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的x轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的y轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的z轴坐标；T_i为第i个时刻的全景影像的相机坐标系与世界坐标系之间的平移向量；

步骤3.2，根据球面成像模型将第i个时刻的全景影像的第t个道路边界像素点

映射到全景影像的像素球面坐标系时，转换公式如下：

式中，

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的x轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的y轴坐标；

为相机坐标系中第i个时刻的全景影像的第t个道路边界像素点的z轴坐标；

为第i个时刻的全景影像的第t个道路边界像素点与z轴正向的夹角，

为第i个时刻的全景影像的第t个道路边界像素点与y轴正向的夹角；

步骤3.3，将第i个时刻的全景影像的第t个道路边界像素点

通过圆柱投影转换从全景影像球面坐标系转换到全景影像的像素坐标系，转换公式如下：

式中，

为第i个时刻的全景影像的第t个道路边界像素点

在全景影像像素坐标系中的x坐标，

为第i个时刻的全景影像的第t个道路边界像素点

在全景影像像素坐标系中的y坐标，W为全景影像的长，H为宽。

3.根据权利要求1所述的融合车载影像与点云的道路边界提取与矢量化方法，其特征在于：

步骤3所述进一步将每个时刻的路面区域图像中多个道路边界像素点转换到世界坐标系，得到每个时刻的坐标转换后道路边界三维点云，具体如下：

将每个时刻的车载全景影像与去噪后道路边界三维点云进行配准，得到世界坐标系下一点

向全景影像的像素坐标系转换后得到的对应点

对每个时刻的路面区域图像中多个道路边界像素点进行遍历，找到其在世界坐标系中对应的点即可得到每个时刻的坐标转换后道路边界三维点云。

4.根据权利要求1所述的融合车载影像与点云的道路边界提取与矢量化方法，其特征在于：

步骤4所述将拼接后道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，具体如下：

式中，x_min是拼接后道路边界三维点云的包围盒在x轴上的最小值,y_min是拼接后道路边界三维点云的包围盒在y轴上的最小值，resolution表示每个格网单元的长度，row_n表示拼接后道路边界三维点云中的第n个点(x_n,y_n,z_n)投影后在XOY格网化像素平面的行号,col_n表示点(x_n,y_n,z_n)投影后在XOY格网化像素平面的列号；

步骤4所述将投影后道路边界图像进行二值化得到道路边界特征图，具体如下：

在XOY格网化像素平面范围内，对每个格网单元判断是否有投影后的边界点云落入，若有，则这个格网单元的像素值被设为255；若没有，则这个格网单元的像素值被设为0，进而得到道路边界特征图。

5.根据权利要求1所述的融合车载影像与点云的道路边界提取与矢量化方法，其特征在于：

步骤4所述将拼接后坐标转换的道路边界三维点云投影至XOY格网化像素平面得到投影后道路边界图像，具体为：

式中，Ax_min是拼接后坐标转换的道路边界三维点云的包围盒在x轴上的最小值,Ay_min是拼接后坐标转换的道路边界三维点云的包围盒在y轴上的最小值，resolution表示每个格网单元的长度，Arow_n表示拼接后坐标转换的道路边界三维点云中的第n个点(x_n,y_n,z_n)投影后在XOY格网化像素平面的行号,Acol_n表示点(x_n,y_n,z_n)投影后在XOY格网化像素平面的列号；

步骤4所述将投影后道路边界图像进行二值化得到初始轮廓图像，具体为：

在XOY格网化像素平面范围内，对每个格网单元判断是否有坐标转换的道路边界三维点云落入，若有，则这个格网单元的像素值被设为255；若没有，则这个格网单元的像素值被设为0，进而得到初始轮廓图像；

所述初始轮廓图像由N个轮廓点构成，v_n＝(Crow_n，Ccol_n)为初始轮廓图像上的第n个轮廓点，Crow_n表示第n个轮廓点在XOY格网化像素平面中行号,Ccol_n表示第n个轮廓点在XOY格网化像素平面中的列号。

6.根据权利要求1所述的融合车载影像与点云的道路边界提取与矢量化方法，其特征在于：

步骤4所述构建Snake模型，具体如下；

所述Snake模型的初始轮廓采用初始轮廓图像；

所述Snake模型的能量函数包括：外部能量E_ext以及内部能量E_int；

Snake模型的外部能量E_ext采用梯度矢量流，令F为边缘势能场，则F＝-E_ext，该梯度向量流场定义为：E_ext＝-[X(row_n，col_n)，Y(row_n，col_n)]；

其中，X(row_n，col_n)表示梯度矢量流场横轴上的分量，Y(row_n，col_n)表示梯度矢量流场纵轴上的分量；

Snake模型的内部能量E_int，定义为：

式中，α表示控制曲线的弹性权重参数，β表示控制曲线的刚性权重参数，N表示初始轮廓图像中轮廓点的个数，v_n＝(Crow_n，Ccol_n)为初始轮廓图像上的第n个轮廓点，Crow_n表示第n个轮廓点在XOY格网化像素平面中行号，Ccol_n表示第n个轮廓点在XOY格网化像素平面中的列号；

所述Snake模型的特征图采用道路边界特征图。

7.根据权利要求1所述的融合车载影像与点云的道路边界提取与矢量化方法，其特征在于：

步骤4所述利用改进内力矩阵对Snake能量函数模型进行求解得到道路边界的点集，具体过程如下：

在迭代收敛过程中内力受到内力矩阵的控制，内力矩阵公式如下：

道路边界是非闭合的轮廓线，通过迭代得到的曲线f(s)在第三个点和倒数第三个点处保持二阶导数连续，则得到修改后的N×N内力矩阵为：

式中，p＝β，q＝-α-4β，r＝γ+2α+6β，γ为迭代步长；

修改内力矩阵后用差分近似微分进行迭代使能量函数最小化。

8.根据权利要求1所述的融合车载影像与点云的道路边界提取与矢量化方法，其特征在于：

步骤5所述将道路边界点集进行矢量化得到道路边界多段线，具体过程为：

计算道路边界点集中第n个边界点与每个时刻的车辆位置的距离，在所有时刻的车辆位置中筛选出距离第n个边界点最近的车辆位置Traj_i，则第n个边界点的时刻为Traj_i所对应的时刻i；

将第i时刻的道路边界点划入集合，得到第i时刻的所有道路边界点的集合C_i，具体定义如下：

C_i＝{P_ni| ||P_ni-Traj_i||₂＝min{||P_n-Traj_i||₂}，n∈[1，N]}；

其中，Traj_i表示第i时刻的车辆位置，P_n表示第n个道路边界点云，P_ni表示第n个道路边界点云且该点云的时刻为i；

对于第i时刻，根据相邻两个时刻的车辆位置Traj_i和Traj_i+1计算车辆前进方向

对集合C_i中每一点P_ni计算其与第i时刻的车辆位置Traj_i所成的向量

然后计算叉乘积

若S_ni＜0，则P_ni为左侧道路边界点，反之若S_ni＞0，则P_ni为右侧道路边界点，从而得到左道路边界点集、右道路边界点集；

以Traj_i为原点，车辆前进方向

为Y′_i轴，垂直方向为X′_i轴建立一个局部坐标系；

根据车辆前进的方向向量

求出该局部坐标系与世界坐标系相对的旋转角度为

对集合C_i中所有的道路边界点P_ni＝(x_ni，y_ni)通过坐标转换公式求得转换过后局部坐标系内边界点的坐标P′_ni＝(x′_ni，y′_ni)，具体如下：

式中，

为以Traj_i为原点的局部坐标系相对世界坐标系的旋转角度，x_ni为道路边界点P_ni在世界坐标系下的横坐标，y_ni为道路边界点P_ni在世界坐标系下的纵坐标，x′_ni为局部坐标系内边界点P′_ni的横坐标，y′_ni为局部坐标系内边界点P′_ni的纵坐标，X_i为第i时刻的车辆位置Traj_i在世界坐标系下的横坐标，Y_i为第i时刻的车辆位置Traj_i在世界坐标系下的纵坐标；

分别对第i时刻的左右边界点集按照局部坐标系中X′_i轴上的大小进行排序构建边界的拓扑关系，依次连接得到道路边界多段线。

Images