CN113781432A - 基于深度学习的激光扫描自动铺放在线检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的激光扫描自动铺放在线检测方法，包括：通过激光扫描铺放表面得到点云集，将点云集标记语义标签作为样本集；将样本集输入至语义分割模型，得到每个点云的语义标签；基于点云编号，将每一个轮廓线上的语义标签一致的点云进行横向聚类和横向聚类点云特征计算，然后分别基于横向聚类和横向聚类点云特征计算结果对轮廓线间的点云进行纵向聚类，最终得到同一语义标签下的聚类点云以及聚类点云的多项特征；将聚类点云的多项特征与检测指标阈值进行比较得到检测结果。该方法能够快速准确采集点云数据以完成自动铺放检测。本发明还公开了一种基于深度学习的激光扫描自动铺放在线检测装置。

Description

基于深度学习的激光扫描自动铺放在线检测方法及装置

技术领域

本发明涉及复合材料自动铺放与计算机视觉领域，尤其涉及一种基于 深度学习的激光扫描自动铺放在线检测方法及装置。

背景技术

基于三维激光扫描在线检测方法能够降低工人工作量，提升自动铺放 效率与铺层质量，同时还能完整记录铺层的尺寸、质量，可用于优化铺放 工艺与改进铺层设计。在复合材料自动铺放三维扫描在线检测中，往往会 采集十分稠密的点云数据，这些点云数据往往提供了十分丰富几何与语义 信息，可用于铺层的缺陷检测、关键尺寸测量、铺层质量的评价与预测。 点云数据由于其规模庞大、密度不均匀，格式不规则以及存在一定的噪声，采用传统的点云数据处理方法直接处理采集获得的点云数据时，处理速度 难以跟随高速的自动铺放，同时在识别准确率上也难以满足复杂多变的铺 层表面的情况。将点云数据转化为图片或栅格化的形式，会损失部分点云 数据信息，降低检测精度，增加计算量，并且不便于处理数据规模不一致 的点云数据。针对线激光轮廓仪采集得到的半结构化点云数据，如何利用 其内在的拓扑关系实现采集点云的实时准确处理，并且使得处理算法便于 调整和优化，是构建成熟的三维激光扫描自动铺放在线检测方法与装置的 突出难点。

由于三维激光扫描自动铺放在线检测任务与一般意义上产品缺陷检 测任务不同，其不仅仅只是检测区域，所述检测任务需要精确识别各类缺 陷的位置，还需要精确测量出其三维尺寸，此外还需要分割拟合出铺层的 边缘特征以测量铺层尺寸以及后续拟合丝束中心线，便于将实际铺放路径 与规划路径作对比，同时还需要识别出丝束末端以评价自动铺丝机的铺放 精度。因此计算机视觉中的目标检测方法不能很好的运用在所述检测任务 中，采用计算机视觉中的全景分割方法能够较好的满足所述检测任务的需 求。然而由于铺放场景情况复杂，特征样本偏斜严重，难以直接训练全景 分割网络。此外，在实际检测过程中，不同生产厂商、不同生成构件，对 于铺放缺陷检测有不同的个性需求，直接采用深度学习的分割方法不方便 去量化与定制化相关需求以及后续算法的升级迭代，需要采用深度学习方 法与传统特征提取相结合的方法使得自动铺放检测算法具有更好的可解释性和可调整性。并且在自动铺放过程中，点云数据是增量式的采集与拼 接，检测算法需要能够增量式拼接检测结果。采用深度学习分割+传统特 征提取的两阶段检测方法，具有实时性好，可解释性强，模块化程度高， 检测结果易融合拼接的优点，能够较好的利用现阶段工业计算机的计算资 源，也便于算法的后续升级优化，能较好满足自动铺放在线检测的需求。

发明内容

本发明提供了一种深度学习的激光扫描自动铺放在线检测方法，该方 法能够快速准确采集点云信息以完成自动铺放检测。

一种基于深度学习的激光扫描自动铺放在线检测方法，包括：

S1：通过激光扫描铺放表面得到第一点云集，将基于第一点云集构建 的第一轮廓线集作为第一样本集，将被语义标签标注的第一点云集作为第 二点云集，将基于第二点云集构建的第二轮廓线集作为第二样本集；

S2：通过第二样本集训练神经网络模型得到语义分割模型，将第一样 本集输入至语义分割模型，得到第一样本集中的每个点云的语义标签；

S3：通过语义标签聚类方法，基于所述的语义标签，将第一轮廓线集 中的每条轮廓线上的点云进行横向聚类和横向聚类点云特征计算，以分别 得到横向聚类点云和横向聚类点云特征，然后分别基于语义标签和横向聚 类点云特征，对横向聚类点云进行轮廓线间的纵向聚类，最终得到同一语 义标签下的聚类点云以及聚类点云的多项特征；

S4：将聚类点云的多项特征与检测指标阈值进行比较得到检测结果。

将所述的第一点云集进行4类语义标签标注得到第二点云集，所述的 4类语义标签，分别为非当前铺层点或异常点标签0，丝束表面点标签1， 间隙区域点标签2，缺陷区域点标签3。

基于自动铺放生产需求定义标签，并作为语义分割模型的训练样本， 使得最终得到的语义分割模型输出的点云语义标签能够满足自动铺放生 产这一特定场景，两阶段聚类方法提升聚类效率以及聚类灵活性和鲁棒性， 实现快速、准确的完成点云聚类，从而实现对自动铺放产品的快速、准确 检测。

所述的将基于第二点云集构建的第一轮廓线集作为第二样本集，包括：

提取第二点云集中的各个点云数据的X坐标和Z坐标，基于提取结 果得到第一轮廓线集，每条轮廓线作为一个样本，以构建第二样本集；

或者，基于保留X，Y，Z坐标的第二点云集构建第一轮廓线集，将 满足相邻时间阈值的第一轮廓线集中的多个轮廓线作为一个样本，以构建 第二样本集。

因为考虑到铺放表面的许多特征可以依据单根轮廓线描述，这种方法 能够获得更多的样本，且网络比较轻巧，之后对样本数据进行归一化处理， 将样本送入点云深度神经网络按照梯度下降法进行训练。

或将连续若干条轮廓线上的点云数据划分为独立样本，即将若干条相 邻时间范围内采集得到的轮廓线上的点云数据作为一个样本，每个样本保 留点云X,Y,Z坐标，这种方法可以提取点云数据更为丰富的特征，但网络 更加复杂，此外构建的样本数量也更少。之后对样本进行归一化处理，将 样本送入点云深度神经网络按照梯度下降法进行训练，训练的损失为每个 点的语义标签分类损失，通过最小化所述损失进行网络参数优化，最终获得训练完成的点云语义分割网络。

对所述的第二样本集和第一样本集中的点云数据进行归一化处理。

对于一个样本内的点云数据P_T＝{p_i＝(x_i,y_i,z_i)|i＝1,2,...,m}，则归一化后的点云数据为：

对于单轮廓线样本P_T＝{p_i＝(x_i,z_i)|i＝1,2,...,m}，则只考虑X与Z维度进行 归一化处理，其中，i表明是点集P_T的点的编号，NT是下标，是指归一 化后的点云数据集。

所述的得到第一样本集中的每个点云的语义标签，包括：

神经网络模型包括多层感知机，最大池化层和全连接层，采用最远点 采样法，将第二样本集进行分组得到分组点云数据，将每个分组点云数据 分别输入至多层感知机和最大池化层得到每个分组点云的局部特征和每 个分组点云在组内的全局特征，最后采用全连接层，基于局部特征和全局 特征映射得到每个分组点云的语义标签。

将输入的点云采用最远点采样法逐级采样并分组。对每个分组的点云 采用多层感知机和最大池化分别提取点云的局部特征和点云在组内的全 局特征，之后将特征拼接，使得点云每个点获得丰富的局部和全局特征。 最后采用全连接层输出每个点的语义标签。

将每一个轮廓线上的语义标签一致的点云进行聚类得到第一聚类点 云，基于点云编号差值阈值，对第一聚类点云再次聚类得到横向聚类点云 和横向聚类点云特征，所述点云编号是依据各个点云在轮廓线上的次序进 行编号得到的。

对横向聚类点云进行特征计算得到横向聚类点云特征，所述横向聚类 点云特征包括特征宽度，特征中心点，通过SVD分解计算得到的各个点 云主方向投影长度。

依据采集轮廓线的先后次序给轮廓线进行编号得到轮廓线编号，对轮 廓线间的语义标签一致的横向聚类点云进行聚合得到第三聚类点云，将同 时满足轮廓线编号差值阈值，横向聚类点云的特征中心点距离阈值和各个 点云主方向投影长度阈值的第三聚类点云再次进行聚合得到同一语义标 签下的聚类点云以及聚类点云的多项特征。

所述基于语义标签的点云数据聚类与特征计算包括对所述点云语义 分割网络输出的同一语义标签的点进行横向聚类与纵向聚类，聚类过程中 同时进行特征计算。需要聚类的标签包括标签0,2和标签3。所述横向聚 类是将同一轮廓线上的一类标签进行聚类并完成该类感兴趣特征的计算， 所述纵向聚类是基于获得的横向聚类结果进行轮廓线之间的聚类和特征 计算，最终输出同一语义标签下聚类结果的点云集合以及特征计算结果。

所述横向聚类方法基于dbscan聚类方法，为了降低算法复杂度以及更 好的适应点的密度变化，采用点编号的差值而不是点的空间欧式距离作为 点的距离，同时也限定每个类最小点数以去除噪声点。

在完成横向聚类后，会将聚类得到的特征进行纵向聚类获得最终的聚 类结果。纵向聚类同样基于dbscan聚类方法，此时采用轮廓线的编号、特 征中心点距离以及特征主方向投影作为距离的定义。当两个特征的距离满 足要求时则聚为同一类。同样会限定每个类中元素的数目以去除噪声类。

所述的将聚类点云的多项特征与检测指标阈值进行比较得到检测结 果，包括：

针对非当前铺层点或异常点标签0和丝束表面点标签1的聚类点云进 行特征计算得到与铺层相连接的边界点，将边界点拟合成空间曲线得到拟 合铺层边界，对拟合铺层边界进行偏移得到拟合铺层路径曲线，将拟合铺 层路径曲线与铺层设计路径比较得到铺放角度偏差检测结果；

针对间隙区域点标签2的聚类点云进行特征计算得到聚类点云的特征 间隙宽度，如果特征间隙宽度大于宽度阈值则标记为间隙过宽，如果特征 间隙宽度大于丝束宽度，则标记为缺丝缺陷；

针对缺陷区域点标签3的聚类点云进行特征计算得到聚类点云的特征 长度，宽度和高度，如果特征长度和宽度大于特征长度和宽度阈值，且特 征高度满足铺层厚度阈值，则标记为搭接缺陷，如果特征长度和宽度小于 特征长度和宽度阈值，且特征高度满足铺层厚度阈值，则标记为褶皱或气 泡缺陷，如果特征高度高于铺层厚度阈值，则标记为架桥缺陷，基于特征 长度，宽度得到缺陷面积，如果缺陷面积大于缺陷面积阈值则标记为异物 缺陷。

针对丝束表面点标签0和标签1的聚类点云进行提取铺层的边界线与 丝束末端位置计算，此外标签0和标签1的聚类点还用于辅助标签2与标 签3的点云进行特征的定位与种类判别。

一种基于深度学习的激光扫描自动铺放检测装置，包括：

点云集采集模块，用于通过激光扫描铺放表面得到第一点云集，将第 一点云集分为语义标签标注的第二点云集，以及未被语义标签标注的第三 点云集，将基于第二点云集构建的第一轮廓线集作为第二样本集，将基于 第三点云集构建的第二轮廓线集作为第一样本集；

点云数据语义分割推理模块，用于通过第二样本集训练神经网络模型 得到语义分割模型，将第一样本集输入至语义分割模型，得到第一样本集 中的每个点云的语义标签；

点云语义结果聚类模块，通过语义标签聚类方法，基于语义标签，将 每条轮廓线上的点云进行横向聚类和横向聚类点云特征计算分别得到横 向聚类点云和横向聚类点云特征，然后分别基于语义标签和横向聚类点云 特征，对轮廓线间的横向聚类点云进行纵向聚类，最终得到同一语义标签 下的聚类点云以及聚类点云的多项特征；

特征综合分析模块，用于将聚类点云的多项特征与检测指标阈值进行 比较得到检测结果。

所述装置各个模块异步并行化执行，并共享各线程数据，加快检测方 法执行效率。

与现有技术相比，本发明的有益效果为：

(1)实际运行过程中，对于100Hz的轮廓线采集频率，融合后的点 云语义分割耗时约为0.1s以内，点云数据聚类与特征计算耗时约为0.2s 以内，且异步执行，数据处理速度能够跟上数据采集速度。

(2)本发明提供的在线检测方法，充分融合了点云深度学习方法与 点云处理传统方法的优势：利用了深度学习推理速度快、鲁棒性强的特点， 同时也利用传统点云处理方法可调节性强，能够快速适应不同生产需求的 特点。本发明提供的在线检测装置，能够灵活调用本发明提供的方法，最 大化利用计算资源，并全面直观地展示检测结果。通过本发明提供的装置 和方法，能够在实际铺放过程中实时自动获取检测结果以及获得完整的铺层数据，实现高速高效实时三维激光扫描自动铺放在线检测。

附图说明

图1为具体实施方式提供的基于深度学习的三维激光扫描自动铺放在 线检测方法的流程图。

图2为具体实施方式提供的点云语义分割深度神经网络原理图。

图3为具体实施方式提供的基于语义标签的横向聚类算法流程图。

图4为具体实施方式提供的基于语义标签的纵向聚类算法流程图。

图5为具体实施方式提供的基于聚类结果的特征后处理算法流程图。

图6为具体实施方式提供的装置模块组成图。

图7为具体实施方式提供的装置功能与线程执行流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的 特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

一种基于深度学习的激光扫描自动铺放在线检测方法，如图1所示， 具体包括：

S100：通过激光扫描铺放表面得到第一点云集，将第一点云集分为语 义标签标注的第二点云集；

S102：点云数据标注。在该步骤中，需要依据预先采集的点云数据 S100给每个点标注对应的标签，其中标签分为4类：非当前铺层点或异 常点标签0，丝束表面点标签1，间隙区域点标签2，缺陷区域点标签3， 也可以依据实际检测需求和数据集规模赋予不同标签。标注可以采用开源 的点云数据标注软件，如CloudCompare，以及未被语义标签标注的第三 点云集，将基于第二点云集构建的第一轮廓线集作为第二样本集，将基于 第三点云集构建的第二轮廓线集作为第一样本集；

S104：训练语义分割网络。通过第二样本集训练神经网络模型得到 语义分割模型。由于采集样本的仪器不同，往往不同样本中轮廓线的点数 不完全相同，此时需要通过轮廓线重采样的方法确保所有样本中轮廓线的 点的个数相同。轮廓线重采样方法如下，对于一条含有m个点的轮廓线中 的点：P_T＝{p_i＝(x_i,y_i,z_i)|i＝1,2,...,m}，若希望将其重采样成含有n个轮廓点的 点集P_T′＝{p_j＝(x_j,y_j,z_j)|j＝1,2,...,n}，则：

其中

Z_j为p_j∈P′_T点的z坐标，

为p_i∈P_T一点的z坐标。

即依据重采样点集到原始采样点集点的X方向距离插值得到其Z坐标。

对完成标注和重采样的所述点云数据，按照轮廓线划分为独立样本。 即每条轮廓线上的点作为一个样本，每个样本只提取样本中点云X坐标和 Z坐标并进行归一化处理，将样本送入点云深度神经网络按照梯度下降法 进行训练。或将连续若干条轮廓线上的点云数据划分为独立样本，即将若 干条相邻时间范围内采集得到的轮廓线上的点云数据作为一个样本，每个 样本保留点云X,Y,Z坐标并进行归一化处理，将样本送入点云深度神经网络按照梯度下降法进行训练，获得训练完成的点云语义分割网络。需要注 意的是，网络的训练应该采用拥有6GB以上显存的GPU进行训练；

S106：点云语义分割。该步骤使用的步骤S104训练得到的网络进行 点云数据语义分割推理运算。对实时采集得到的点云数据S100，依据网 络对输入点云数据格式要求划分点云样本以及进行数据归一化，将完成归 一化的多组点云数据，即将第一样本集输入至语义分割模型，得到第一样 本集中的每个点云的语义标签；

S108：通过基于dbscan聚类方法，基于点云编号，将每一个轮廓线 上的语义标签一致的点云进行横向聚类和横向聚类点云特征计算，然后分 别基于横向聚类和横向聚类点云特征计算结果对轮廓线间的点云进行纵 向聚类，最终得到同一语义标签下的聚类点云以及聚类点云的多项特征；

S110：将聚类点云的多项特征与检测指标阈值进行比较得到检测结果， 该步骤包括依据步骤S108获得的聚类结果和计算特征进行特征种类判别、 边界拟合以及与先验信息比对计算，并输出最终的S112检测结果。

对所述的第二样本集和第一样本集中的点云数据进行归一化处理。对 于一个样本内的点云数据P_T＝{p_i＝(x_i,y_i,z_i)|i＝1,2,...,m}，则归一化后的点云数 据为：

对于单轮廓线样本P_T＝{p_i＝(x_i,z_i)|i＝1,2,...,m}，则只考虑X与Z维度进行 归一化处理，其中，i表明是点集P_T的点的编号，NT是下标，是指归一 化后的点云数据集。

所述的通过第二样本集训练神经网络模型得到语义分割模型，包括：

神经网络模型包括多层感知机，最大池化层和全连接层，采用最远点 采样法，将第二样本集进行分组得到分组点云数据，将每个分组点云数据 分别输入至多层感知机和最大池化层得到每个分组点云的局部特征和每 个分组点云在组内的全局特征，最后采用全连接层，基于局部特征和全局 特征映射得到每个分组点云的语义标签。

图2是本发明采用的点云语义分割深度神经网络原理图，对于完成分 组和预处理的点云，包括若干个局部特征提取单元S206，S212以及若干 个点云上采样与特征融合单元S214和S216提取和点云的局部和全局特征， 之后经过全连接层S218预测点云的标签，最终输出逐个点云的语义标签 S220。其中局部特征提取单元S206由下采样分组S202与多层感知机与池 化操作组成。其中下采样分组S202可以采样最远点采样或其他采样方法 从输入点云中提取出若干个分组中心点，再依据分组中心点求其指定半径 邻域点获得分组。在S204步骤中对每个分组的点进行多层感知机和池化 提取每个组的特征。在步骤S212中，对S206的分组中心点再进行与S206 类似的S208和S210步骤进一步提取特征。在步骤S214与S216中，分别 将步骤S212和步骤S206得到的特征按照距离的远近传递给下采样前的点，实现点云上采样与特征融合。需要注意的是，S216，S214需要与S212， S206相对应。最终得到输入点云所有点的特征，采用S218的全连接层预 测每个点的语义标签。

将每一个轮廓线上的语义标签一致的点云进行聚类得到第一聚类点 云，基于点云编号差值阈值，对第一聚类点云再次聚类得到横向聚类点云 和横向聚类点云特征，所述点云编号是依据各个点云在轮廓线上的次序进 行编号得到的，具体横向聚类流程图如图3所示，将同一轮廓线上的一类 标签进行聚类并完成该类感兴趣特征的计算，该聚类方法基于dbscan聚类 方法。将采集点云及语义标签S300进行步骤S302所示的编号和标签划分。其中标签划分是将同一标签的点提取出来，编号是基于点云在一条轮廓线 上的次序进行编号。步骤S304基于定义距离的可达判别，为了降低算法 复杂度以及更好的适应点的密度变化，采用点编号的差值而不是点的空间 欧式距离作为点的距离，将距离可达的点划分为一个类。对于每个聚类结 果，采用步骤S306去除点数过少的类。每个类的几何特征采用步骤S308 进行计算；对于标签0,2和标签3，对横向聚类得到的类会进一步计算该 特征的宽度、中心点以及采用SVD分解计算主方向，对于标签3还会计 算特征的高度，之后输入横向聚类结果S310。对横向聚类点云进行特征 计算得到横向聚类点云特征，所述横向聚类点云特征包括特征宽度，特征 中心点，通过SVD分解计算得到的各个点云主方向。

依据采集轮廓线的先后次序给轮廓线进行编号，对轮廓线间的语义标 签一致的横向聚类点云进行聚合得到第三聚类点云，将同时满足轮廓线编 号差值阈值，横向聚类点云的特征中心点距离阈值和各个点云主方向阈值 的第三聚类点云再次进行聚合得到同一语义标签下的聚类点云以及聚类 点云的多项特征，如图4所示，纵向聚类同样基于dbscan聚类方法。包括 基于横向聚类结果S400，在步骤S402中，按照轮廓线采集先后次序给轮 廓线进行编号，步骤S404基于定义距离的可达性判别，此处定义的距离 包括轮廓线的编号、特征中心点距离以及各个点云主方向投影长度，当三 个特征的距离满足要求时则聚为同一类。采用步骤S406去除特征过少的 类。步骤S408计算整体几何特征，整体几何特征计算即根据S308的特征 做综合的计算。最后输出纵向聚类结果S410。

所述的将聚类点云的多项特征与检测指标阈值进行比较得到检测结 果S500，包括：

步骤S502针对非当前铺层点或异常点标签0和丝束表面点标签1的 聚类点云，首先在步骤S504去除不感兴趣特征，在步骤S506中，进行特 征计算得到与铺层相连接的边界点，将边界点拟合成空间曲线得到拟合铺 层边界，对拟合铺层边界进行偏移得到拟合铺层路径曲线，将拟合铺层路 径曲线与铺层设计路径比较得到铺放角度偏差检测结果；

针对丝束表面点标签0和标签1的聚类点云进行提取铺层的边界线与 丝束末端位置计算，此外标签0和标签1的聚类点还用于辅助标签2与标 签3的点云进行特征的定位与种类判别。

步骤S508对于标签2，针对间隙区域点标签2的聚类点云，在步骤 S510去除不感兴趣特征，在步骤S512中，进行特征计算得到聚类点云的 特征间隙宽度，如果特征间隙宽度大于宽度阈值则标记为间隙过宽，如果 特征间隙宽度大于丝束宽度，则标记为缺丝缺陷；

步骤S514针对缺陷区域点标签3的聚类点云，在步骤S516去除不感 兴趣特征，在步骤S518中，进行特征计算得到聚类点云的特征长度，宽 度和高度，如果特征长度和宽度大于特征长度和宽度阈值，且特征高度满 足铺层厚度阈值，则标记为搭接缺陷，如果特征长度和宽度小于特征长度 和宽度阈值，且特征高度满足铺层厚度阈值，则标记为褶皱或气泡缺陷， 如果特征高度高于铺层厚度，则标记为架桥缺陷，基于特征长度，宽度得 到缺陷面积，如果缺陷面积大于缺陷阈值则标记为异物缺陷，如图5所示。

一种基于深度学习的激光扫描自动铺放检测装置，包括：

点云集采集模块，用于通过激光扫描铺放表面得到第一点云集，将第 一点云集分为语义标签标注的第二点云集，以及未被语义标签标注的第三 点云集，将基于第二点云集构建的第一轮廓线集作为第二样本集，将基于 第三点云集构建的第二轮廓线集作为第一样本集；

点云数据语义分割推理模块，用于通过第二样本集训练神经网络模型 得到语义分割模型，将第一样本集输入至语义分割模型，得到第一样本集 中的每个点云的语义标签；

点云语义结果聚类模块，用于通过基于dbscan聚类方法，基于点云编 号，将每一个轮廓线上的语义标签一致的点云进行横向聚类和横向聚类点 云特征计算，然后分别基于横向聚类和横向聚类点云特征计算结果对轮廓 线间的点云进行纵向聚类，最终得到同一语义标签下的聚类点云以及聚类 点云的多项特征；

特征综合分析模块，用于将聚类点云的多项特征与检测指标阈值进行 比较得到检测结果。

具体如图6所示：

该装置S600用于获取点云数据、显示存储检测结果以及集成本发明 所述检测方法。包括：

S602轮廓点采集模块：用于从线激光轮廓仪中采集点云数据，并将 其依据采集时间和深度神经网络推理要求的批大小进行打包划分。

S604采样位置读取模块：用于读取激光轮廓仪采样时的位置数据。

S606点云数据融合模块：用于通过点云仿射变换将采集的轮廓点融 合为空间点云数据点云数据。

S608语义分割推理模块：用于执行所述S106点云语义分割方法。

S610点云语义结果聚类模块：依据所述点云数据语义分割推理模块 S608得到的语义标签，执行所述S108点云数据聚类与特征计算方法。

S612特征综合分析模块：依据所述点云语义结果聚类模块S610获得 的结果执行所述S110特征后处理方法，获得最终的所述检测结果S112。

S614检测结果显示模块：采用三维点云、平面图、统计图表等方式 显示所述检测结果S112。

S616检测结果存储模块：用于将所述检测结果S112存储至数据库以 及实现所述检测结果S112的检索、分析。

图7为本发明的装置功能与线程执行流程图。包括为了实现实际检测 过程中能够充分利用计算资源，所述装置异步执行各功能模块。其中点云 数据融合S704、采集点云显示S706、语义标签显示与存储S708以及检测 结果显示S710在主线程S712中实现。实际实现过程中，会采用定时器的 方式在一定时间间隔内访问相关数据容器，若容器中存在相关数据则会在 主线程中执行相应操作。轮廓点数据采集S700与采样位置数据采集S716 分别在S702子线程1与S718子线程2中执行。点云数据语义分割S720 在S722子线程4中执行。标签0聚类与特征计算S724与标签0特征后处 理与存储S726在S728子线程5中执行，标签2聚类与特征计算S730与 标签2特征后处理与存储S732在S734子线程6中执行，标签3聚类与特 征计算S736与标签3特征后处理与存储S738在S738子线程7中执行。 各线程之间数据共享，当数据处理完成后子线程则进入休眠状态以腾出计 算资源，确保检测算法能够自适应数据采集节拍高效运行。

Claims (10)

1.一种基于深度学习的激光扫描自动铺放在线检测方法，其特征在于，包括：

S1：通过激光扫描铺放表面得到第一点云集，将基于第一点云集构建的第一轮廓线集作为第一样本集，将被语义标签标注的第一点云集作为第二点云集，将基于第二点云集构建的第二轮廓线集作为第二样本集；

S2：通过第二样本集训练神经网络模型得到语义分割模型，将第一样本集输入至语义分割模型，得到第一样本集中的每个点云的语义标签；

S3：通过语义标签聚类方法，基于所述的语义标签，将第一轮廓线集中的每条轮廓线上的点云进行横向聚类和横向聚类点云特征计算，以分别得到横向聚类点云和横向聚类点云特征，然后分别基于语义标签和横向聚类点云特征，对横向聚类点云进行轮廓线间的纵向聚类，最终得到同一语义标签下的聚类点云以及聚类点云的多项特征；

S4：将聚类点云的多项特征与检测指标阈值进行比较得到检测结果。

2.根据权利要求1所述的基于深度学习的激光扫描自动铺放在线检测方法，其特征在于，将所述的第一点云集进行4类语义标签标注得到第二点云集，所述的4类语义标签，分别为非当前铺层点或异常点标签0，丝束表面点标签1，间隙区域点标签2，缺陷区域点标签3。

3.根据权利要求1所述的基于深度学习的激光扫描自动铺放在线检测方法，其特征在于，所述的将基于第二点云集构建的第二轮廓线集作为第二样本集，包括：

提取第二点云集中的各个点云数据的X坐标和Z坐标，基于提取结果得到第一轮廓线集，其中，每条轮廓线作为一个样本，以构建第二样本集；

或者，基于保留X，Y，Z坐标的第二点云集构建第一轮廓线集，将满足相邻时间阈值的第一轮廓线集中的多个轮廓线作为一个样本，以构建第二样本集。

4.根据权利要求1-3任一项所述的基于深度学习的激光扫描自动铺放在线检测方法，其特征在于，对所述的第一样本集和二样本集中的点云数据进行归一化处理。

5.根据权利要求1所述的基于深度学习的激光扫描自动铺放在线检测方法，其特征在于，所述的得到第一样本集中的每个点云的语义标签，包括：

神经网络模型包括多层感知机，最大池化层和全连接层，采用最远点采样法，将第二样本集进行分组得到分组点云数据，将每个分组点云数据分别输入至多层感知机和最大池化层得到每个分组点云的局部特征和每个分组点云在组内的全局特征，最后采用全连接层，基于局部特征和全局特征映射得到每个分组点云的语义标签。

6.根据权利要求1所述的基于深度学习的激光扫描自动铺放在线检测方法，其特征在于，所述的将每条轮廓线上的点云进行横向聚类和横向聚类点云特征计算，包括：

将每一个轮廓线上的语义标签一致的点云进行聚类得到第一聚类点云，基于点云编号差值阈值，对第一聚类点云再次聚类得到横向聚类点云和横向聚类点云特征，所述点云编号是依据各个点云在轮廓线上的次序进行编号得到的。

7.根据权利要求1或6所述的基于深度学习的激光扫描自动铺放在线检测方法，其特征在于，所述的横向聚类点云特征计算，包括：

对横向聚类点云进行特征计算得到横向聚类点云特征，所述横向聚类点云特征包括特征宽度，特征中心点，通过SVD分解计算得到的各个点云主方向投影长度。

8.根据权利要求7所述的基于深度学习的激光扫描自动铺放在线检测方法，其特征在于，所述的对横向聚类点云进行轮廓线间的纵向聚类，包括：

对轮廓线间的语义标签一致的横向聚类点云进行聚合得到第三聚类点云，然后将同时满足轮廓线编号差值阈值，横向聚类点云的特征中心点距离阈值和各个点云主方向投影长度阈值的第三聚类点云再次进行聚合得到同一语义标签下的聚类点云以及聚类点云的多项特征。

9.根据权利要求2所述的基于深度学习的激光扫描自动铺放在线检测方法，其特征在于，所述的将聚类点云的多项特征与检测指标阈值进行比较得到检测结果，包括：

针对非当前铺层点或异常点标签0和丝束表面点标签1的聚类点云进行特征计算得到与铺层相连接的边界点，将边界点拟合成空间曲线得到拟合铺层边界，对拟合铺层边界进行偏移得到拟合铺层路径曲线，将拟合铺层路径曲线与铺层设计路径比较得到铺放角度偏差检测结果；

针对间隙区域点标签2的聚类点云进行特征计算得到聚类点云的特征间隙宽度，如果特征间隙宽度大于宽度阈值则标记为间隙过宽，如果特征间隙宽度大于丝束宽度，则标记为缺丝缺陷；

针对缺陷区域点标签3的聚类点云进行特征计算得到聚类点云的特征长度，宽度和高度，如果特征长度和宽度大于特征长度和宽度阈值，且特征高度满足铺层厚度阈值，则标记为搭接缺陷，如果特征长度和宽度小于特征长度和宽度阈值，且特征高度满足铺层厚度阈值，则标记为褶皱或气泡缺陷，如果特征高度高于铺层厚度阈值，则标记为架桥缺陷，基于特征长度，宽度得到缺陷面积，如果缺陷面积大于缺陷面积阈值则标记为异物缺陷。

10.一种基于深度学习的激光扫描自动铺放检测装置，其特征在于，包括：

点云集采集模块，用于通过激光扫描铺放表面得到第一点云集，将第一点云集分为语义标签标注的第二点云集，以及未被语义标签标注的第三点云集，将基于第二点云集构建的第一轮廓线集作为第二样本集，将基于第三点云集构建的第二轮廓线集作为第一样本集；

点云数据语义分割推理模块，用于通过第二样本集训练神经网络模型得到语义分割模型，将第一样本集输入至语义分割模型，得到第一样本集中的每个点云的语义标签；

点云语义结果聚类模块，用于通过语义标签聚类方法，基于语义标签，将每条轮廓线上的点云进行横向聚类和横向聚类点云特征计算分别得到横向聚类点云和横向聚类点云特征，然后分别基于语义标签和横向聚类点云特征，对轮廓线间的横向聚类点云进行纵向聚类，最终得到同一语义标签下的聚类点云以及聚类点云的多项特征；

特征综合分析模块，用于将聚类点云的多项特征与检测指标阈值进行比较得到检测结果。

Images