CN117726885B

CN117726885B - 一种基于三维几何自注意力机制的车身缝隙分类方法

Info

Publication number: CN117726885B
Application number: CN202410179341.3A
Authority: CN
Inventors: 汪俊; 杨建铧; 王洲涛; 李子宽; 贾文茹
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2024-02-18
Filing date: 2024-02-18
Publication date: 2024-04-26
Anticipated expiration: 2044-02-18
Also published as: CN117726885A

Abstract

本发明公开了一种基于三维几何自注意力机制的车身缝隙分类方法，包括：S1、构建车身缝隙分类数据集，该数据集包含车身缝隙点云数据及其对应的分类标签；S2、构建基于三维几何自注意力机制的车身缝隙点云分类网络模型，该模型包括几何结构嵌入模块、自注意力模块、几何特征解码器以及3个相互独立的邻域特征提取模块；S3、利用车身缝隙分类数据集对缝隙点云分类网络模型进行训练；S4、将待分类的车身缝隙点云数据输入训练后网络模型，得到缝隙分类结果。本发明有效提高了分类网络模型对于车身缝隙几何特征的提取能力，提升了分类网络模型对于车身缝隙数据的分类识别性能，解决了现有技术难以对车身缝隙点云数据进行高效精确分类的难题。

Description

一种基于三维几何自注意力机制的车身缝隙分类方法

技术领域

本发明属于汽车车身缝隙测量技术领域，具体涉及一种基于三维几何自注意力机制的车身缝隙分类方法。

背景技术

车身缝隙检测在汽车制造领域中对于确保产品质量、性能、安全性、成本控制和合规性都具有至关重要的作用，它不仅影响汽车车身产品质量和性能，还对汽车的安全性能具有重要影响，因此，车身缝隙检测是汽车制造工艺中不可或缺的一环。车身缝隙类型的多样性对车身缝隙测量需要考虑的重要因素，不同类型的车身缝隙具有不同的形状、尺寸和表面特性，这些几何结构因素影响着车身缝隙测量的准确性，如何准确而高效地实现车身缝隙类型分类是提升车身缝隙测量精度的关键。

传统的车身缝隙测量方法往往依赖于人工测量和视觉检查，这些方法费时、劳动密集且容易受到主观因素的干扰。因此，引入三维自动化测量技术对于提高测量精度和效率至关重要。三维测量技术的准确性、非接触性、高分辨率和高材质适用性等优势，使其成为目前汽车制造领域中主流的车身缝隙测量方法。近年来，随着深度学习技术的不断发展，基于深度学习的三维点云分类方法也日趋成熟，在很多三维点云分类任务上表现出了优越的性能，但目前的方法对于车身缝隙点云的三维结构特征的识别提取能力较差，导致其对车身缝隙数据的分类识别精度低，无法适用于车身缝隙分类识别任务。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于三维几何自注意力机制的车身缝隙分类方法，实现车身缝隙点云的高精度分类识别，完善了三维点云深度学习领域中对车身缝隙数据进行分类识别方面工作的空缺。

为实现上述技术目的，本发明采取的技术方案为：

一种基于三维几何自注意力机制的车身缝隙分类方法，包括：

S1、构建车身缝隙分类数据集，该数据集包含车身缝隙点云数据及其对应的分类标签；

S2、构建基于三维几何自注意力机制的车身缝隙点云分类网络模型，该模型包括几何结构嵌入模块、自注意力模块、几何特征解码器以及3个相互独立的邻域特征提取模块；

S3、利用车身缝隙分类数据集对车身缝隙点云分类网络模型进行训练；

S4、将待分类的车身缝隙点云数据输入训练后网络模型，得到分类结果。

为优化上述技术方案，采取的具体措施还包括：

上述的S1获取若干三维车身缝隙点云数据及其对应的车身缝隙类型，根据车身缝隙类型划分车身缝隙点云数据，并统一点云的点数，形成车身缝隙分类数据集，所述车身缝隙点云数据包含车身缝隙的三维空间坐标信息。

上述的S2中，一个所述邻域特征提取模块，用于对输入的车身缝隙点云数据进行下采样，并对下采样后的每一个点构建邻域，提取得到邻域特征向量；

所述几何结构嵌入模块，用于对下采样后的车身缝隙点云进行车身缝隙点云的位置编码，得到几何结构嵌入编码矩阵；

所述自注意力模块，用于基于邻域特征向量，以所述几何结构嵌入编码矩阵作为位置编码，得到每一个点位的几何注意力特征向量；

另外两个所述邻域特征提取模块，用于将所有点位的几何注意力特征向量压缩为全局几何特征感知向量；

所述几何特征解码器，用于解析全局几何特征感知向量，得到车身缝隙类型概率分布向量。

上述的邻域特征提取模块具体包括下采样单元、邻域构建单元，特征提取单元；其中，下采样单元对车身缝隙点云C进行最远点采样得到下采样后的车身缝隙点云C₁；邻域构建单元对C₁中的每一个点构建其邻域点集；特征提取单元包括3层多层感知器MLP，对C₁中的每个点的邻域点集进行特征提取，并进行最大池化，得到C₁的邻域特征向量。

上述的几何结构嵌入模块具体包括角度编码单元与距离编码单元；

从下采样后的车身缝隙点云C₁中任意选择两点：p_i，p_{j ，}角度编码单元以p_i与其邻域内点连线与p_i，p_j之间的夹角/>作为角度编码矩阵中的元素，得到角度编码矩阵；距离编码单元计p_i，p_j之间的距离/>，构建距离编码矩阵；将角度编码矩阵与距离编码矩阵融合，得到几何结构嵌入编码矩阵。

上述的的计算公式为：

；

其中，代表点p_i的邻域，/>为L2范数值。

上述的的计算公式为：/>，其中，/>为L2范数值。

上述的几何结构嵌入编码矩阵中的元素为，其计算公式为：

；

其中w₁，w₂为超参数，代表在/>的维度上进行最大池化，即在i，j不变的情况下，查询/>中的最大值作为输出。

上述的自注意力模块包括多头注意力模块，以几何结构嵌入编码矩阵作为位置编码，对邻域特征向量进行自注意力感知编码，得到每一个点位的几何注意力特征向量，公式为：

；

其中，y_i为自注意力模块输出的几何注意力特征向量；为几何结构嵌入编码矩阵中的元素；N为下采样后的车身缝隙点云C₁的点数，d_c为自注意力模块中提取的特征维度，/>、/>为输入特征向量，/>表示转置，softmax表示将多头注意力模块中提取的注意力分数值转化为概率分布；/>为多头注意力模块中对应的映射矩阵。

上述的S3采用Loss函数进行模型训练，具体如下：

；

其中，为网络模型输出的n维车身缝隙类型概率分布向量，为输入数据的类型真值，/>。

本发明具有以下有益效果：

1、本发明通过基于三维自注意力的深度学习方法，实现了车身缝隙点云高精度分类识别的功能，解决了现有三维点云分类方法无法实现高精度的车身缝隙类型数据分类的技术问题，完善了三维点云深度学习领域中对车身缝隙数据进行分类方面工作的空缺；

2、本发明所提出的车身缝隙分类方法通过几何结构嵌入的方法将车身缝隙数据的显性几何特征隐式融合到深度学习网络提取的特征中，有效提高了网络模型对于车身缝隙几何特征的提取能力，提升了网络模型对于车身缝隙数据的分类识别性能；

3、本发明所提出的几何结构嵌入编码通过提取点云数据的角度特征与距离特征，并通过正弦变化将其融合，作为自注意力机制中的位置编码，从而强化了模型对于几何结构特征的感知能力，提升了模型对于车身缝隙结构的识别能力。

附图说明

图1为本发明车身缝隙分类方法的流程图；

图2为本发明分类网络模型的结构示意图；

图3为本发明分类网络模型中的几何结构嵌入模块示意图；

图4为本发明分类网络的车身缝隙点云分类效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。

如图1所示，本实施例提出了一种基于三维几何自注意力机制的车身缝隙分类方法，在实际应用时可以直接部署到相应程序中，通过几何结构嵌入的方法有效提高了自注意力网络对于车身缝隙几何特征的识别能力，提升了网络模型对于车身缝隙数据的分类性能，实现了车身缝隙点云高精度分类识别的功能，具体包括以下步骤：

实施例中，在步骤S1中，构建车身缝隙分类数据集，具体过程包括以下步骤：

S11、获取若干三维车身缝隙点云数据及其对应的车身缝隙类型；

S12、根据车身缝隙类型划分车身缝隙点云数据，并统一数据集点云的点数，形成车身缝隙分类数据集。

在步骤S11中，所述车身缝隙点云数据，具体包含车身缝隙的三维空间坐标信息；

在步骤S12中，将车身缝隙点云数据统一为的格式，其中N为点云中点的数目，对于点数多于N的车身缝隙点云数据，通过下采样使点数为N；对于点数少于N的车身缝隙点云数据，通过重复采样使点数为N。例如，格式统一为[2500,3]，其中2500为点云中点的数目。对于点数多于2500的车身缝隙数据，通过下采样使点数为2500；对于点数少于2500的车身缝隙数据，通过重复采样使点数为2500。

实施例中，如图2所示，在步骤S2中，所述三维几何自注意力机制的车身缝隙点云分类网络具体包括3个相互独立的邻域特征提取模块、几何结构嵌入模块、自注意力模块和几何特征解码器；

所述邻域特征提取模块，用于对车身缝隙分类数据集的点云进行下采样处理，并对下采样后的每一个点位构建邻域，并提取其邻域特征向量；

所述几何结构嵌入模块，用于对输入的点云三维坐标信息进行编码，将三维坐标信息转化为几何结构嵌入编码矩阵；

所述自注意力模块，用于将输入的点云邻域特征向量映射为几何注意力特征向量；

所述几何特征解码器，用于解析全局几何结构特征向量，获取车身缝隙类型概率分布向量。

（1）所述邻域特征提取模块具体包括下采样单元、邻域构建单元，特征提取单元；

首先，下采样单元，将车身缝隙点云C进行最远点采样得到下采样后的车身缝隙点云C₁, C₁的大小为M(M<N)，本实施例中M=256；

邻域构建单元，对于C₁中的所有点，构建其邻域点集[K,3]，点集大小为K，本实施例中K=32；

特征提取单元由[64,64,128]的3层多层感知器MLP组成，特征提取单元对C₁中的每个点的邻域点集进行特征提取，并进行最大池化，得到D₁维的邻域特征向量，最终得到C₁的邻域特征，本实施例中为[256,128]的邻域特征。

（2）所述几何结构嵌入模块具体包括角度编码单元与距离编码单元，如图3所示，其具体数据处理过程包括以下步骤：

角度编码单元：从C₁中选择2个点p_i，p_j，，p_i与其邻域内点/>连线与p_i， p_j之间的夹角/>作为角度编码矩阵中的元素，得到K个大小为M×M（即32个大小为256×256）的角度矩阵；

通过正弦编码与1层全连接层FC进行编码，最后通过最大池化得到M×M（即256×256）的角度编码矩阵；为角度矩阵中的元素，其计算公式为：；

其中，代表点p_i的邻域，/>为L2范数值。

距离编码单元：计算点云C₁内任意两点之间的距离，构建大小为M×M的距离矩阵，编码方法与上述角度编码模块相同，得到大小为M×M（即256×256）的距离编码矩阵；为距离矩阵中的元素，其计算公式为：/>；

最后，将角度编码矩阵与距离编码矩阵融合，得到几何结构嵌入编码矩阵；

对于上述的角度矩阵与距离矩阵，设置超参数w₁，w₂，通过调节超参数w₁，w₂，可以调节网络对不同的几何要素的敏感程度；为几何结构嵌入编码矩阵中的元素，其计算公式为：

；

代表在/>的维度上进行最大池化，即在i，j不变的情况下，查询/>中的最大值作为输出。在本实施例中，w₁=5，w₂=5。

（3）所述自注意力模块包括多头注意力模块、前馈网络，以几何结构嵌入模块中构建的几何结构嵌入编码矩阵作为位置编码，对输入的每一个点128维邻域特征向量进行自注意力感知编码，得到每一个点位的几何注意力特征向量; 该过程公式为：；

其中，y_i为自注意力模块输出的几何注意力特征向量；为几何结构嵌入编码矩阵中的元素；N为下采样后的缝隙点云C₁的点数，d_c为自注意力模块中提取的特征维度，、/>为输入特征向量，/>表示转置，/>为几何结构嵌入编码与自注意力模块融合矩阵的转置矩阵，/>为多头注意力模块中对应的映射矩阵，随着模型的训练，其中的元素值会不断进行迭代；

softmax表示将多头注意力模块中提取的注意力分数值转化为概率分布，其公式可表示为：；其中，/>。

前馈网络由全连接层和ReLu激活函数组成，用于在局部特征上引入非线性映射，捕捉更复杂的模式，其结构可用以下公式表示：；

其中，X代表输入特征向量，、B分别代表全连接层的系数矩阵与偏置向量。

基于上述内容，在步骤S2中，所述基于三维几何自注意力机制的车身缝隙点云分类网络，如图2所示，数据处理流程包括以下步骤：

S21、将车身缝隙点云数据输入到邻域特征提取模块中进行下采样，并进行初步特征提取，得到点云的邻域特征向量；

S22、将下采样后的点云三维坐标输入到几何结构嵌入模块中，对车身缝隙点云的位置进行编码，得到几何结构嵌入编码矩阵；

S23、将提取的邻域特征向量输入到自注意力模块中，并添加步骤S22中得到的几何结构嵌入编码矩阵作为自注意力模块的位置编码，得到每一个点位的几何注意力特征向量；

S24、将几何注意力特征向量输入另外两个独立的邻域特征提取模块，将所有点位的几何注意力特征向量压缩为全局几何特征感知向量；在本实施例中，2个邻域特征提取模块中的特征提取层分别由[128, 128, 256]，[256, 512, 1024]的多层感知器构成；

S25、将全局几何特征感知向量输入到由三层全连接层组成的几何特征解码器中，最终得到n维车身缝隙类型概率分布向量，n为车身缝隙的种类数, />代表该车身缝隙属于第i种类型车身缝隙的概率。

实施例中，在步骤S3中，利用车身缝隙分类数据集对网络模型进行训练，具体过程包括以下步骤：

S31、定义用于评价模型分类识别能力的Loss函数：;

其中，为网络模型输出的n维车身缝隙类型概率分布向量，为输入数据的类型真值，且/>；

S32、将车身缝隙数据集按7:3的比例划分为训练集与测试集；

S33、将训练集输入到车身缝隙点云分类网络模型中进行训练；

S34、采用测试集数据对车身缝隙点云分类网络模型进行性能测试。

在实际应用中，需要使用带真实标签的数据训练基于三维几何自注意力机制的车身缝隙点云分类网络，待模型损失值收敛后，即得到三维几何自注意力机制的车身缝隙点云分类网络。

S4、将待分类的车身缝隙点云数据输入网络，得到对应的分类编号，完成分类。

本发明方法的车身缝隙点云分类效果如图4所示，由图4可知，本发明提出的车身缝隙点云分类网络能够有效实现车身缝隙点云分类的功能。

本实施例通过几何结构嵌入的方法有效提高了自注意力网络对于车身缝隙几何特征的识别能力，提升了网络模型对于车身缝隙数据的分类性能，实现了车身缝隙点云高精度分类识别的功能。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种基于三维几何自注意力机制的车身缝隙分类方法，其特征在于，包括：

S4、将待分类的车身缝隙点云数据输入训练后的网络模型，得到分类结果；

S2中，一个所述邻域特征提取模块，用于对输入的车身缝隙点云数据进行下采样，并对下采样后的每一个点构建邻域，提取得到邻域特征向量；

所述几何特征解码器，用于解析全局几何特征感知向量，得到车身缝隙类型概率分布向量；

所述邻域特征提取模块具体包括下采样单元、邻域构建单元，特征提取单元；其中，下采样单元对车身缝隙点云C进行最远点采样得到下采样后的车身缝隙点云C₁；邻域构建单元对C₁中的每一个点构建其邻域点集；特征提取单元包括3层多层感知器MLP，对C₁中的每个点的邻域点集进行特征提取，并进行最大池化，得到C₁的邻域特征向量；

所述几何结构嵌入模块具体包括角度编码单元与距离编码单元；

从下采样后的车身缝隙点云C₁中任意选择两点：p_i,p_j，角度编码单元以p_i与其邻域内点p_k连线与p_i,p_j连线之间的夹角θ_i,j,k作为角度编码矩阵中的元素，得到角度编码矩阵；距离编码单元计算p_i,p_j之间的距离d_i,j，构建距离编码矩阵；将角度编码矩阵与距离编码矩阵融合，得到几何结构嵌入编码矩阵；

θ_i,j,k的计算公式为：

其中，K_i代表点p_i的邻域，∥·∥₂为L2范数值；

d_i,j的计算公式为：

d_i,j＝||p_i-p_j||₂

其中，||·||₂为L2范数值；

所述几何结构嵌入编码矩阵中的元素为δ_i,j，其计算公式为：

其中ω₁，ω₂为超参数，max_k代表在k的维度上进行最大池化；

所述自注意力模块包括多头注意力模块，以几何结构嵌入编码矩阵作为位置编码，对邻域特征向量进行自注意力感知编码，得到每一个点位的几何注意力特征向量，公式为：

其中，y_i为自注意力模块输出的几何注意力特征向量；

δ_i,j为几何结构嵌入编码矩阵中的元素；

N为下采样后的车身缝隙点云C₁的点数，d_c为自注意力模块中提取的特征维度，x_i、x_j为输入特征向量，T表示转置，softmax表示将多头注意力模块中提取的注意力分数值转化为概率分布；

W^Q、W^K、W^V、W^E为多头注意力模块中对应的映射矩阵。

2.根据权利要求1所述的一种基于三维几何自注意力机制的车身缝隙分类方法，其特征在于，

所述S1获取若干三维车身缝隙点云数据及其对应的车身缝隙类型，根据车身缝隙类型划分车身缝隙点云数据，并统一点云的点数，形成车身缝隙分类数据集，所述车身缝隙点云数据包含车身缝隙的三维空间坐标信息。

3.根据权利要求1所述的一种基于三维几何自注意力机制的车身缝隙分类方法，其特征在于，所述S3采用Loss函数进行模型训练，具体如下：

其中，x＝(x₁,x₂,…,x_n)为网络模型输出的n维车身缝隙类型概率分布向量，y为输入数据的类型真值，1≤y≤n。