CN114037948A - 基于迁移主动学习的车载道路点云要素矢量化方法与装置 - Google Patents

Abstract

本发明公开了一种基于迁移主动学习的车载道路点云要素矢量化方法与装置，克服了现有方法对点云数据进行投影等预处理造成点云信息损失，深度学习模型需要大量标注样本，人工成本高以及模型泛化能力不足的问题。本发明依据多样性和信息熵选择一定比例的不同场景的道路点云加入到点云训练数据集中，利用不断更新的数据重新训练神经网络模型，直接处理道路点云，在保证不同场景模型的稳定性和泛化能力，一方面显著减少了样本标注的成本，另一方面实现了模型在不同场景下的迁移，提高了模型在不同场景下的稳健性和泛化能力，提高了道路点云的处理效率和分类精度。

Description

基于迁移主动学习的车载道路点云要素矢量化方法与装置

技术领域

本发明属于公路建设测绘技术领域，具体涉及一种基于迁移主动学习的车载道路点云要素矢量化方法与装置。

背景技术

随着城市化的迅猛发展，公路建设事业的投入不断加大，特别是既有公路改扩建工程不断增多。既有公路扩建首先需要获取精准的矢量道路要素数据。传统的道路要素获取主要依靠水准仪、全站仪、RTK等方式，它们工作量大、效率低，并且干扰正常交通秩序。车载移动激光扫描技术在不干扰交通秩序情况下可以高效地获取高精度的道路点云数据。该技术的应用能够有效提升公路改扩建测量的自动化水平，提高外业作业效率。但是由于点云自身无序、非结构化的特点，如何高效、精准的从点云中提取道路要素仍然是个挑战。

目前常见的从点云中提取道路要素的方式是将点云转为图像，从图像上提取道路要素，该方式虽然减少了计算量，但是存在一定的信息损失。另一种方式是基于深度学习的方法，该方法一般需要大量的标注样本，人工成本较高，此外基于深度学习的方法泛化能力不足，在切换场景时表现往往较差。

发明内容

本发明为了克服现有方法对点云数据进行投影等预处理造成点云信息损失，深度学习模型需要大量标注样本，人工成本高以及模型泛化能力不足的问题，提出一种基于迁移主动学习的方法来实现车载道路点云要素的自动化提取。该方法不需要对点云预处理，可直接处理道路点云，在保证不同场景模型的稳定性和泛化能力的同时也大大减少了样本标注成本，实现了道路要素高精度、高效率以及低成本的提取。

本发明是通过下述技术方案来解决上述技术问题：

基于迁移主动学习的车载道路点云要素矢量化方法，具体包括以下步骤：

步骤1、利用移动激光扫描设备获取道路点云数据，并对数据进行预处理以及建立八叉树索引；

步骤2、将道路点云数据输入到预训练的顾及几何信息的多路径神经网络模型中进行分类，输出分类结果和每个类所属类别的概率；

步骤3、根据神经网络模型输出的分类概率分别计算每个点的信息熵，依据设定的信息熵阈值统计并判断需要分类点云的信息熵低于阈值的占比情况，如果占比情况超过85％，人工修正少量错误的点，进行步骤6，如果占比情况低于85％则进行步骤 4；

步骤4、计算道路点云各个类别的占比情况，依据占比情况和每个类别的信息熵选择25％的样本进行人工修正和标注；将标注的点云加入到历史积累的点云数据集中，增强训练数据集场景和地物的多样性；

步骤5、利用更新的点云标注数据集重新训练顾及几何信息的多路径神经网络模型，直至模型收敛，实现模型在不同场景的迁移；部署更新后的模型，利用更新的模型重复步骤2-3对待预测点云进行重新预测；

步骤6、分好类的点云主要分成了非道路点云，道路点云以及道路标线点云；对于道路点云，基于点云拟合的方法提取三维中心线和边线；对于道路标线点云首先提取点云轮廓以及轮廓的基本特征，然后基于积累的矢量模板库进行匹配，替换成矢量模板，并输出矢量标志线；最终输出道路中心线、边线以及道路标线矢量文件。

所述道路点云输入神经网络的策略如下：

首先给所有道路点云随机分配一个被选中的概率，然后每次训练时选择概率最小的点为中心点，以中心点为起点并基于八叉树索引选择一定数量的点输入到顾及几何信息的多路径神经网络模型中；接着基于一定规则增大已经被选择点云的概率，再选择概率最小的点作为中心点继续查询指定数量的点云输入到神经网络中训练，不断迭代直到所有点云被输入，其中有很多点云会被预测多次，预测多次的采用平均概率确定其类别。

所述顾及几何信息的多路径神经网络包括几何提取部分、语义提取部分和多路径融合部分，所述几何提取部分不对点云特征进行下采样，用于提取点云的空间几何特征，保留点云空间几何信息，减少点云的特征信息损失，该部分由多层感知机来实现。

所述语义提取部分由特征聚合模块和下采样模块组成，用于提取点云的抽象语义信息，特征聚合模块首先利用多层感知机提取坐标特征p_i、邻域内相对位置特征p_j-p_i以及对应的点云特征f_i和邻域内相对点云特征f_j-f_i，接着构建了一个局部卷积进一步提取局部上下文特征，特征聚合模块具体利用以下公式计算局部聚合特征

f_a＝M(p_j-p_i)*([MLP([f_i，f_j-f_i])，MLP[p_i，p_j-p_i]])

其中，ReLU(.)表示激活函数，W₁表示权值在所有点之间共享的多层感知机，Avg(.) 表示平均池化，Max(.)表示最大池化，M(.)表示权值在所有点之间共享的多层感知机，MLP(.)表示多层感知机，p_i和f_i分别表示三维坐标以及对应的特征；p_j和f_j分别表示p_i指定邻域内的三维坐标以及对应的特征；下采样模块是对特征进行下采样，下采样可以采用随机采样或最远点采样方法。

所述多路径融合部分不断对不同分辨率的特征进行上采样，将上采样语义特征和来自语义提取部分的同分辨率语义特征进行叠加后继续进行上采样，然后将来自几何提取部分的几何特征和上采样的语义特征进行叠加得到叠加特征，接着依据叠加特征，求得叠加特征的权重系数再乘叠加特征，再加上叠加特征，最后利用全连接层输出分类结果。

一种基于迁移主动学习的车载道路点云要素矢量化装置，包括车载点云数据输入模块、神经网络处理模块、判断和人机交互修正模块、历史数据集更新模块、网络模型训练、更新与部署模块、道路矢量提取模块；

所述车载点云数据输入模块、神经网络处理模块、判断和人机交互修正模块、道路矢量提取模块依次连接，判断和人机交互修正模块、历史数据集更新模块、网络模型训练、更新与部署模块、神经网络处理模块依次连接。

所述车载点云数据输入模块，用于获取、读入车载道路点云数据并进行预处理以及建立八叉树索引；

所述神经网络处理模块，用于将所述的道路点云输入到训练好的顾及几何信息的多路径神经网络模型中；

所述判断和人机交互修正模块用于对加入历史数据集以及最后输出的错分类别的点云进行人机交互的修正；

所述历史数据集更新模块：用于筛选标注的点云数据，更新历史点云数据集，筛选依据是点云数据的多样性和信息熵大小；

所述网络模型训练、更新与部署模块，用于重新训练、更新与部署顾及几何信息的多路径神经网络模型；

所述道路矢量提取模块，用于提取道路三维边线和中心线，矢量化道路标线。

所述神经网络处理模块的输入策略采用基于八叉树索引的随机选择输入，并对多次预测的点云采用平均概率的方式确定其类别；其中，所述神经网络模型是指顾及几何信息的多路径神经网络模型，顾及几何信息的多路径神经网络模型的几何提取部分用于提取点云的局部几何特征，保留点云空间几何细节；顾及几何信息的多路径神经网络模型的语义提取部分主要用于提取点云的抽象的语义信息；顾及几何信息的多路径神经网络模型的多路径融合部分不断对不同分辨率的特征进行上采样，也将几何特征和不同分辨率的语义特征进行融合，最后输出分类结果。

与现有技术相比，本发明的有益效果是：

1.本发明依据多样性和信息熵选择一定比例的不同场景的道路点云加入到点云训练数据集中，利用不断更新的数据重新训练神经网络模型，一方面显著减少了样本标注的成本，另一方面实现了模型在不同场景下的迁移，提高了模型在不同场景下的稳健性和泛化能力，提高了道路点云的处理效率和分类精度；

2.本发明通过顾及几何信息的多路径神经网络模型减少了点云的信息损失，提升了道路点云的分类精度，进一步减少了人工干预，降低了标注成本，为后续的道路矢量化提供了便利；

3.与现有多数据技术相比，本发明直接利用车载激光点云进行道路要素自动矢量化处理，进一步提高了道路勘测的效率自动化点云自动化处理水平。

附图说明

图1为本发明实施例1提供的一种基于迁移主动学习的车载道路点云要素矢量化方法的流程示意图。

图2为本发明实施例1提供的顾及几何信息的多路径神经网络模型的结构示意图。

图3为本发明实施例1提供的顾及几何信息的多路径神经网络模型语义提取部分的结构示意图。

图4为本发明实施例2提供的一种基于迁移主动学习的车载道路点云要素矢量化方法装置的结构框图。

图中，S201-车载点云数据输入模块，S202-神经网络处理模块，S203-判断和人机交互修正模块，S204-历史数据集更新模块，S205-网络模型训练、更新与部署模块，S206-道路矢量提取模块。

具体实施方式

下面将结合具体实施例对本发明作进一步详细的描述，但本发明的实施方式包括但不限于以下实施例表示的范围。

实施例1

图1为本实施例提供的一种基于迁移主动学习的车载道路点云要素矢量化方法的流程示意图。如图1所示，该方法包括以下步骤S101～S106：

步骤S101、利用移动激光扫描设备获取道路点云数据，并对数据进行预处理，所述预处理包括点云去噪、强度校正等方面，为了加快点云的输入效率，还需要对点云建立八叉树索引；

步骤S102、将道路点云数据输入到预训练的顾及几何特征的多路径神经网络模型中进行分类，输出分类结果和每个类所属类别的概率，其中，为了高效地处理道路点云，道路点云输入神经网络的策略如下：

首先给所有道路点云随机分配一个被选中的概率，然后每次训练时选择概率最小的点为中心点，以中心点为起点并基于八叉树索引选择一定数量的点输入到神经网络模型中；接着基于一定规则增大已经被选择点云的概率，再选择概率最小的点作为中心点查询指定点云输入到神经网络中训练，不断迭代直到所有点云被输入，其中有很多点云会被预测多次，预测多次的采用平均概率确定类别。

其中，所述顾及几何信息的多路径神经网络包括几何提取部分、语义提取部分和多路径融合部分，如图2所示。可选地，所述几何提取部分不对点云进行下采样，充分保留点云空间几何细节，减少点云的特征信息损失，该部分可由三层多层感知机来实现，每层输入点云特征F₁，输出特征为F₂：

F₂＝ReLU(BN(MLP(F₁)))

其中ReLU(.)表示激活函数，BN(.)表示归一化函数，MLP(.)表示多层感知机。

可选地，语义提取部分由特征聚合模块和下采样模块组成，如图3所示，特征聚合模块用于提取点云的抽象语义信息，特征聚合模块首先利用多层感知机提取坐标特征p_i、邻域内相对位置特征p_j-p_i以及对应的点云特征f_i和邻域内相对点云特征f_j-f_i，接着构建了一个局部卷积进一步提取上下文信息，特征聚合模块具体用于利用以下公式计算局部聚合特征

f_a＝M(p_j-p_i)*([MLP([f_i，f_j-f_i])，MLP[p_i，p_j-p_i]])

其中，ReLU(.)表示激活函数，W₁表示权值在所有点之间共享的多层感知机，Avg(.) 表示平均池化，Max(.)表示最大池化，M(.)表示权值在所有点之间共享的多层感知机，MLP(.)表示多层感知机，p_i和f_i分别表示三维坐标以及对应的特征，p_j和f_j分别表示p_i邻域内的三维坐标以及对应的特征。下采样模块是对特征进行下采样，下采样可以采用随机采样或最远点采样方法；

可选地，多路径融合部分首先不断对不同分辨率的特征进行上采样，将上采样语义特征和来自语义提取部分的同分辨率语义特征进行叠加后继续进行上采样，促进不同分辨率特征之间的融合。为了进一步将几何特征和语义特征进行融合，然后将来自几何提取部分的几何特征和上采样的语义特征进行叠加得到叠加特征。接着依据叠加特征，求得叠加特征的权重系数再乘叠加特征，再加上叠加特征，该步骤可以进一步增强易于区分类别的特征，抑制不相关特征，最后利用全连接层输出分类结果；

步骤S103、根据神经网络模型输出的分类概率分别计算每个点的信息熵，依据设定信息熵的阈值统计并判断需要分类点云的信息熵低于阈值的占比情况，如果占比情况超过85％，人工修正少量错误的点，进行步骤S106，如果占比情况低于85％则进行步骤S104，信息熵计算公式如下：

其中H(point)表示point的信息熵，p_i表示point属于i类的概率，n表示总的类别数量；

步骤S104、计算非道路点云、道路点云、道路标线点云的占比，依据百分比和每个类别的信息熵选择25％的样本进行人工修正和标注。修正和标注可以利用CloudCompare等可视化平台进行修改和标注。将标注的点云加入到历史积累的点云数据集中，增强训练数据集场景和地物的多样性；

步骤S105、利用更新的点云标注数据集重新训练顾及几何信息的多路径神经网络模型，直至模型收敛，实现模型在不同场景的迁移；部署更新后的模型，利用更新的模型重复步骤S102-S103对待预测点云进行重新预测；

步骤S106、分好类的点云分成了非道路点云，道路点云以及道路标线点云。分别利用道路点云和道路标线点云进行矢量提取；

在可选的一种实施方式中，步骤S106具体包括以下步骤S106a～S106c：

步骤S106a、对于道路点云，基于平面和移动二次曲面拟合的方法提取三维中心线和三维道路边界，并基于三次B样条曲线插补法进行平滑处理；

步骤S106b、对于道路标线点云，先利用改进的alpha-shape算法提取道路标线的边界，包括以下步骤：依据每个道路标线点云集建立Delaunay三角网，接着遍历三角网的每个三角形，当三角形外接圆半径R大于阈值时，删除三角形；当半径R小于阈值时，将三角形的边加入到边界中，加入三角形的边如果是公共边则删除，由此得到边界，其中，外接圆半径R计算公式如下：

其中a,b,c,表示三角形三边长度，p＝(a+b+c)/2。得到边界后通过计算边界的最小外包矩形、对角线长等几何特征与积累的矢量道路标线模板库进行检索和匹配，最后输出检索到的道路标线矢量文件；

步骤S106c、输出三维的道路中心线、边线以及道路标线等矢量文件。

本实施例将一定比例的不同场景的道路点云加入到训练数据集中来更新、训练神经网络模型，一方面显著减少了样本标注的成本，另一方面实现了模型在不同场景下的迁移，提高了道路点云的处理效率和分类精度。顾及几何信息的多路径神经网络模型的几何提取部分不对特征进行下采样，有效保留了特征的几何细节；其语义提取部分通过不断采样聚合充分提取了丰富的语义特征，其特征融合模块则进一步将几何特征和不同分辨率的语义特征进行了融合，进一步提高了特征表示能力。与现有多数据技术相比，本发明提高了道路勘测的效率自动化点云自动化处理水平。

实施例2

如图4所示，本实施例也提供一种基于迁移主动学习的车载道路点云要素矢量化装置，包括车载点云数据输入模块S201、神经网络处理模块S202、判断和人机交互修正模块S203、历史数据集更新模块S204、网络模型训练、更新与部署模块S205以及道路矢量提取模块S206。

车载点云数据输入模块S201用于获取、读入车载道路点云数据并进行预处理以及建立八叉树索引等；

神经网络处理模块S202用于将所述的道路点云输入到训练好的神经网络模型中，其中，所述输入策略采用基于八叉树索引的随机选择输入，并对多次预测的点云采用平均概率的方式确定其类别；其中，所述神经网络模型是指顾及几何信息的多路径神经网络模型，该网络的几何提取部分用于提取点云的局部几何特征，保留点云空间几何细节；该网络的语义提取部分主要用于提取点云的抽象的语义信息；该网络的多路径融合部分不断对不同分辨率的特征进行上采样，也将几何特征和不同分辨率的语义特征进行融合，最后输出分类结果；

判断和人机交互修正模块S203用于对加入历史数据集以及最后输出的错分类别的点云进行人机交互的修正；

历史数据集更新模块S204用于筛选标注的点云数据，更新历史点云数据集，筛选依据是点云数据的多样性和信息熵大小；

网络模型训练、更新与部署模块S205用于重新训练、更新与部署神经网络模型。

Claims (8)

1.一种基于迁移主动学习的车载道路点云要素矢量化方法，其特征在于，具体包括以下步骤：

步骤1、利用移动激光扫描设备获取道路点云数据，并对数据进行预处理以及建立八叉树索引；

步骤2、将道路点云数据输入到预训练的顾及几何信息的多路径神经网络模型中进行分类，输出分类结果和每个类所属类别的概率；

步骤3、根据神经网络模型输出的分类概率分别计算每个点的信息熵，依据设定的信息熵阈值统计并判断需要分类点云的信息熵低于阈值的占比情况，如果占比情况超过85％，人工修正少量错误的点，进行步骤6，如果占比情况低于85％则进行步骤4；

步骤4、计算道路点云各个类别的占比情况，依据占比情况和每个类别的信息熵选择25％的样本进行人工修正和标注；将标注的点云加入到历史积累的点云数据集中，增强训练数据集场景和地物的多样性；

步骤5、利用更新的点云标注数据集重新训练顾及几何信息的多路径神经网络模型，直至模型收敛，实现模型在不同场景的迁移；部署更新后的模型，利用更新的模型重复步骤2-3对待预测点云进行重新预测；

步骤6、分好类的点云主要分成了非道路点云，道路点云以及道路标线点云；对于道路点云，基于点云拟合的方法提取三维中心线和边线；对于道路标线点云首先提取点云轮廓以及轮廓的基本特征，然后基于积累的矢量模板库进行匹配，替换成矢量模板，并输出矢量标志线；最终输出道路中心线、边线以及道路标线矢量文件。

2.根据权利要求1所述的一种基于迁移主动学习的车载道路点云要素矢量化方法，其特征在于：

所述道路点云输入神经网络的策略如下：

首先给所有道路点云随机分配一个被选中的概率，然后每次训练时选择概率最小的点为中心点，以中心点为起点并基于八叉树索引选择一定数量的点输入到顾及几何信息的多路径神经网络模型中；接着基于一定规则增大已经被选择点云的概率，再选择概率最小的点作为中心点继续查询指定数量的点云输入到神经网络中训练，不断迭代直到所有点云被输入，其中有很多点云会被预测多次，预测多次的采用平均概率确定其类别。

3.根据权利要求2所述的一种基于迁移主动学习的车载道路点云要素矢量化方法，其特征在于：

所述顾及几何信息的多路径神经网络包括几何提取部分、语义提取部分和多路径融合部分，所述几何提取部分不对点云特征进行下采样，用于提取点云的空间几何特征，保留点云空间几何信息，减少点云的特征信息损失，该部分由多层感知机来实现。

4.根据权利要求3所述的一种基于迁移主动学习的车载道路点云要素矢量化方法，其特征在于：

所述语义提取部分由特征聚合模块和下采样模块组成，用于提取点云的抽象语义信息，特征聚合模块首先利用多层感知机提取坐标特征p_i、邻域内相对位置特征p_j-p_i以及对应的点云特征f_i和邻域内相对点云特征f_j-f_i，接着构建了一个局部卷积进一步提取局部上下文特征，特征聚合模块具体利用以下公式计算局部聚合特征

f_a＝M(p_j-p_i)*([MLP([f_i,f_j-f_i]),MLP[p_i,p_j-p_i]])

其中，ReLU(.)表示激活函数，W₁表示权值在所有点之间共享的多层感知机，Avg(.)表示平均池化，Max(.)表示最大池化，M(.)表示权值在所有点之间共享的多层感知机，MLP(.)表示多层感知机，p_i和f_j分别表示三维坐标以及对应的特征；p_j和f_j分别表示p_i指定邻域内的三维坐标以及对应的特征；下采样模块是对特征进行下采样，下采样可以采用随机采样或最远点采样方法。

5.根据权利要求4所述的一种基于迁移主动学习的车载道路点云要素矢量化方法，其特征在于：

所述多路径融合部分不断对不同分辨率的特征进行上采样，将上采样语义特征和来自语义提取部分的同分辨率语义特征进行叠加后继续进行上采样，然后将来自几何提取部分的几何特征和上采样的语义特征进行叠加得到叠加特征，接着依据叠加特征，求得叠加特征的权重系数再乘叠加特征，再加上叠加特征，最后利用全连接层输出分类结果。

6.一种基于迁移主动学习的车载道路点云要素矢量化装置，其特征在于：

包括车载点云数据输入模块、神经网络处理模块、判断和人机交互修正模块、历史数据集更新模块、网络模型训练、更新与部署模块、道路矢量提取模块；

所述车载点云数据输入模块、神经网络处理模块、判断和人机交互修正模块、道路矢量提取模块依次连接，判断和人机交互修正模块、历史数据集更新模块、网络模型训练、更新与部署模块、神经网络处理模块依次连接。

7.根据权利要求6所述的一种基于迁移主动学习的车载道路点云要素矢量化装置，其特征在于：

所述车载点云数据输入模块，用于获取、读入车载道路点云数据并进行预处理以及建立八叉树索引；

所述神经网络处理模块，用于将所述的道路点云输入到训练好的顾及几何信息的多路径神经网络模型中；

所述判断和人机交互修正模块用于对加入历史数据集以及最后输出的错分类别的点云进行人机交互的修正；

所述历史数据集更新模块：用于筛选标注的点云数据，更新历史点云数据集，筛选依据是点云数据的多样性和信息熵大小；

所述网络模型训练、更新与部署模块，用于重新训练、更新与部署顾及几何信息的多路径神经网络模型；

所述道路矢量提取模块，用于提取道路三维边线和中心线，矢量化道路标线。

8.根据权利要求7所述的一种基于迁移主动学习的车载道路点云要素矢量化装置，其特征在于：

所述神经网络处理模块的输入策略采用基于八叉树索引的随机选择输入，并对多次预测的点云采用平均概率的方式确定其类别；其中，所述神经网络模型是指顾及几何信息的多路径神经网络模型，顾及几何信息的多路径神经网络模型的几何提取部分用于提取点云的局部几何特征，保留点云空间几何细节；顾及几何信息的多路径神经网络模型的语义提取部分主要用于提取点云的抽象的语义信息；顾及几何信息的多路径神经网络模型的多路径融合部分不断对不同分辨率的特征进行上采样，也将几何特征和不同分辨率的语义特征进行融合，最后输出分类结果。

Images