CN115830042A - 一种锚喷机器人隧道拱面复喷区域识别与定位方法 - Google Patents

Abstract

本发明提供一种锚喷机器人隧道拱面复喷区域识别与定位方法，该方法包括机器人导轨带动激光雷达采集隧道初喷后受喷拱面的点云数据，计算机通过点云数据对漏喷区域进行准确的识别与定位，并根据位置信息调整机器人机械臂末端喷浆口位姿以实现对复喷区域的定位补喷；具体在识别与定位过程中，计算机根据目标对象的特征先对地面无效点和离群点进行滤除，然后采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割并进行区域筛选，通过提取漏喷区域的边界信息验证分割效果，再分别计算各复喷区域的质心坐标，实现了对复喷区域的精准定位。本方法能使机器人复喷时定位结果更精准更稳定，在实际应用中能降低工作成本，提高工作效率。

Description

一种锚喷机器人隧道拱面复喷区域识别与定位方法

技术领域

本发明涉及3D视觉区域识别与定位技术领域，具体涉及一种锚喷机器人隧道拱面复喷区域识别与定位方法。

背景技术

随着两化融合技术的快速推进，智能锚喷机器人已经在汽车零配件、家具家电、建材等行业有了广泛应用，为了提高隧道拱面喷浆施工效率，防止喷浆回弹物以及环境粉尘对人体造成损伤，采用智能锚喷机器人替代传统的人工喷浆成为实际工程应用中的迫切需求。由于国际上对于智能移动机器人相关技术的研究持续向前迈进，使得移动机器人的应用领域逐渐扩大，目前已成为衡量一个国家信息化水平、社会文明素质和科技创新水平的重要标志。锚喷机器人应用作为一个新型交叉学科，涉及了传感器技术、人工智能、机器学习、智能控制等多个核心技术，具有很高的科研价值和工业应用价值。

由于隧道环境中光线较差、粉尘较多，传统的视觉传感器不能满足实际工程应用场景的要求，而激光雷达不易受光线等环境因素的干扰，已被广泛应用于复杂的工业环境。目前，国内外针对锚喷机器人在隧道环境中的应用研究较少，为了实现锚喷机器人对隧道拱面喷浆质量的自动管控，需要一种能对漏喷以及喷浆质量不满足工程要求的区域进行高效识别与定位的方法来引导机器人完成定位补喷，为未来隧道环境中无人化的智能喷浆打下坚实的基础。

发明内容

针对现有隧道环境中由于光线较差、粉尘较多，传统的视觉传感器不能满足实际工程应用场景要求，为了实现锚喷机器人对隧道拱面喷浆质量的自动管控，需要一种能对漏喷以及喷浆质量不满足工程要求的区域进行高效识别与定位的方法来引导机器人完成定位补喷的技术问题，本发明提供一种锚喷机器人隧道拱面复喷区域识别与定位方法，该方法能够对复喷区域进行精准识别，并能快速、准确、稳定的完成复喷区域的定位补喷。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种锚喷机器人隧道拱面复喷区域识别与定位方法，在该方法中采用了激光雷达来采集隧道初喷后受喷拱面的点云数据，所述激光雷达朝Z轴方向翻转90°安装在锚喷机器人机械臂底座的防护装置中，通过伸出和缩回操作实现激光雷达部分遮挡后的水平扫描，防止复喷区域识别与定位时初喷后残留的回弹浆影响激光雷达采集环境信息，所述激光雷达和机械臂的相对位置是固定的，都是跟随锚喷机器人导轨移动来扩大工作范围；

所述方法包括以下步骤：

S1、初始化，机械臂各轴回到原始状态，激光雷达从防护装置中伸出，在不受机械臂遮挡的情况下跟随导轨移动来采集隧道初喷后受喷拱面的点云数据，并将数据传输给计算机；

S2、计算机使用滤波器对点云数据中的地面无效点和离群点进行滤除，得到有效点云目标对象；

S3、对获取的有效点云提取关键点并估计点云表面法线，接着使用FPFH描述特征子对点云局部几何特征进行描述，然后采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，从而得到初步的复喷区域分割对象；

S4、将初步获得的复喷区域进行区域筛选，提取出最终的复喷区域目标对象；

S5、根据复喷区域边缘特征提取边界信息以验证分割效果，再分别计算各复喷区域的质心坐标，将其作为复喷区域的定位坐标传递给计算机；

S6、计算机根据定位坐标调整机械臂末端喷浆口位姿对复喷区域进行定位补喷，以此完成一轮采集对象的定位复喷；

S7、锚喷机器人向前移动，重复步骤S1～S6开始下一轮复喷。

进一步，所述步骤S1中激光雷达只在接收到计算机发送的采集点云数据命令时才从防护装置中伸出，并在完成数据采集后缩回防护装置中，且激光雷达通过IP地址与计算机建立通信。

进一步，所述步骤S2中计算机使用滤波器对地面无效点和离群点进行滤除，得到有效点云目标对象，具体步骤包括：

S21、输入初始点云数据集P，首先使用PCL点云库中的removeNaNFromPointCloud函数将点云中值为NAN的无效点去除；

S22、然后引入地面点云滤波器，选定3D点云中任意点P_i(x_i,y_i,z_i)，设置圆形领域半径R，计算该点与其领域点之间的坡度值t，若坡度值t均小于给定坡度阈值T，则为地面点，否则为隧道拱面点云对象，根据计算结果对地面点进行滤除，得到点云数据集P'；

S23、将P'作为输入传入统计滤波器，设置领域值k和标准差倍数阈值τ，当某点与其领域点的平均距离d_i位于(μ-σ*τ，μ+σ*τ)范围之外时，记为离群点；当P'＝{p_i(x_i,y_i,z_i)|1≤i≤n}时，计算它与所有三维领域点的平均距离d_i以及全局距离平均值μ和标准差σ，计算公式如下：

其中，m表示点对数量，n表示点云点的数量，d表示两点间的距离；通过上述计算公式，平均距离d_i在(μ±σ*τ)之外的点被滤除；

S24、输出，得到有效点云目标对象。

进一步，所述步骤S3中对获取的有效点云提取关键点并估计点云表面法线，接着使用FPFH描述特征子对点云局部几何特征进行描述，然后采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，从而得到初步的复喷区域分割对象，具体步骤包括：

S31、读入点云数据，建立kd-tree数据结构来获得点云的拓扑结构，对三维空间中的数据进行划分，用于对树的分支进行决策，快速检索点云中点的领域信息；

S32、引入内部形态签名算法，通过分析点云中某点的领域加权协方差矩阵来提取点云的关键点；

S33、采用主成分分析算法估计点云表面法线，以获得点云的几何特征；

S34、使用FPFH描述特征子对点云的几何形状进行局部特征描述；

S35、上述特征提取完成后，采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，由此获得初步的复喷区域分割对象。

进一步，所述步骤S32中引入内部形态签名算法，通过分析点云中某点的领域加权协方差矩阵来提取点云的关键点，具体包括步骤：

S321、设点云P＝{p_i(x_i,y_i,z_i)|1≤i≤n}，对任意点p_i建立局部坐标系，并设定搜索半径p_r，确定p_i为球心，p_j为半径球体内的所有点，采用如下公式建立协方差矩阵：

其中，w_ij为权重，计算公式如下：

S322、通过移动最小二乘法计算协方差矩阵的特征值{λ_i1,λ_i2,λ_i3}并进行降序排列；

S323、设置阈值θ₁和θ₂，若同时满足

和

则p_i为关键点，迭代直到找到所有关键点。

进一步，所述步骤S33中采用主成分分析算法估计点云表面法线，以获得点云的几何特征，具体包括步骤：

S331、点云中任意一点p_i(x,y,z)及其圆形领域半径R内的领域点集p^k(1≤k≤m)可以确定一个小的局部平面，而每个二维平面均可以用平面上一点p_i和过点p_i的法向量

来表示，采用移动最小二乘法对p_i和p^k确定的局部平面进行拟合，拟合公式如下：

其中，

为平面P的法向量，d为平面P到坐标原点的距离；

S332、根据主成分分析算法计算p^k的协方差矩阵C∈R^3×3的特征值和特征向量，则求得

其中，ξ_i表示点p_i的权重，通常设为1，

为领域点集p^k的质心，计算公式如下：

S333、采用最小二乘法计算协方差矩阵C的特征值λ₀,λ₁,λ₂以及特征向量

其λ与

一一对应；若0≤λ₀≤λ₁≤λ₂，则最小特征值λ₀对应的特征向量

可近似的表示点p_i处的法线

得

或

其中

所以

可以用一组角度组合(φ,θ)表示：

其中，n_z表示法线的z坐标，n_y表示法线的y坐标，n_x表示法线的x坐标；

S334、计算点p_i处的曲率τ_pi：

S335、由于激光点云采样值的观测点均为激光雷达坐标系的中心v_p(0,0,0)，为了得到优化的法线结果，使法线均指向观察视点，即法线

应当具备以下条件：

因此，当

则

否则

从而保证了点云表面法向量方向的一致性，准确的提取了点云几何特征。

进一步，所述步骤S34中使用FPFH描述特征子对点云的几何形状进行局部特征描述，具体包括步骤：

S341、存在圆形领域半径R内的两点p_s和p_t，首先以p_s的法线

作为坐标轴u，然后u与点p_s到点p_t方向的单位向量做外积得到坐标轴v，再用坐标轴u与坐标轴v做外积得到坐标轴w，得到以p_s为原点的局部坐标系uvw；

S342、将坐标系uvw平移到点p_t，设点p_t的法线

与坐标轴v之间的余弦值为α，法线

与点p_s、p_t连线夹角的余弦值为φ，法线

在平面uw的投影

与坐标轴u的夹角为θ，则点p_q与其领域内其他点之间的一个三元组＜α,φ,θ＞的计算公式如下：

其中，d＝||p_t-p_s||表示p_t和p_s之间的距离；

S343、完成步骤S341～S342的计算后，将其记为SPFH即简单点特征直方图，然后重新计算其余点的领域，对每个点都计算一次简单点特征直方图值，以此来计算p_q点的快速点特征直方图即FPFH，计算公式如下：

其中，ω_i为权重，一般取点p_q到点p_i之间的距离值，K表示领域内点的个数。

进一步，所述步骤S35中上述特征提取完成后，采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，由此获得初步的复喷区域分割对象，具体包括步骤：

S351、选择种子点，根据点云中点的曲率值大小进行排序，将具有最小曲率的点作为初始种子点；

S352、以曲率最小的种子点p_q＝(x_i,y_i,z_i)为球形领域的球心，R_m为半径，p_q与半径内的其他采样点比较法线和曲率，如果某点曲率最低且法线方向足够接近，则作为新的种子点重新定义各自的球形领域，否则不作为种子点，以此类推在三维空间中并行地向四周生长；

S353、当每个新的种子点的球形领域内都不再包含任何未经聚类的点时生长停止，此时输出的数据结构是由聚类结果组成的数组。

进一步，所述步骤S4中将初步获得的复喷区域进行区域筛选，提取出最终的复喷区域目标对象，具体包括步骤：

S41、引入喷浆前和喷浆后激光雷达到受喷面的深度信息，在曲率估计的基础上结合深度信息来判断该区域是否产生变化，若深度信息和曲率信息不变，则判断为漏喷区域，若深度信息小于喷浆前的深度且曲率增大，则说明该区域为非漏喷区域，从而实现对复喷区域的筛选，得到精准的复喷区域；

S42、最终算法输出的聚类信息仅包含识别出的复喷区域，将其保存在数组中。

进一步，所述步骤S5中根据复喷区域边缘特征提取边界信息以验证分割效果，再分别计算各复喷区域的质心坐标，将其作为复喷区域的定位坐标传递给计算机，具体包括步骤：

S51、对数组中存储的分割区域提取边界信息；

S52、计算隧道拱面点云中第i个复喷区域的质心坐标

其中，k表示点的数量，p(x_i,y_i,z_i)表示点云中p点的三维坐标；

S53、将各复喷区域的质心坐标

传递给计算机实现对复喷区域的精准定位；

S54、采用定量分析的方法对算法的识别正确率和算法耗时进行评估。

与现有技术相比，本发明提供的锚喷机器人隧道拱面复喷区域识别与定位方法，先通过锚喷机器人导轨带动激光雷达采集隧道初喷后受喷拱面的点云数据，之后计算机通过点云数据对漏喷区域进行准确识别与定位，并根据位置信息调整锚喷机器人机械臂末端喷浆口位姿以实现对复喷区域的定位补喷；在识别与定位过程中，计算机根据目标对象的特征先对地面无效点和离群点进行滤除，从而增加复喷区域识别与定位精度；然后对点云进行表面法线估计并采用FPFH进行局部特征描述，以获得受喷面的几何特征；为了更好的识别喷浆厚度不均匀的区域，采用区域增长算法对复喷区域进行聚类分割并进行区域筛选；通过提取复喷区域边界信息并计算质心坐标，将该坐标作为复喷区域的定位坐标传递给计算机，实现了对复喷区域的精准定位；计算机根据质心坐标调整锚喷机器人机械臂喷浆口末端位姿，以准确、快速、稳定的完成复喷区域的定位补喷，其锚喷机器人完成复喷区域的识别与定位均由计算机自动控制，使喷浆工作更智能化，因此本方法能使锚喷机器人复喷时定位结果更精准，更稳定，在实际应用中能够降低工作成本，提高工作效率。

附图说明

图1是本发明提供的锚喷机器人隧道拱面复喷区域识别与定位方法流程示意图。

图2是本发明中的锚喷机器人组件结构示意图。

图3是本发明提供的激光雷达防护装置内部结构示意图。

图4是本发明提供的激光雷达伸出和缩回状态示意图，其中图(a)为伸出状态示意图，图(b)为缩回状态示意图。

图5是本发明提供的激光雷达水平扫描范围示意图。

图6是本发明提供的点云表面法线估计和法线方向一致性调整示意图。

图7是本发明提供的FPFH特征描述原理示意图，其中图(a)为FPFH计算区域，图(b)为两点法线偏差。

图中，1、机械人移动平台；2、导轨；3、机械臂；4、喷浆口；5、防护装置；51、防护罩；52、油缸；53、封闭活塞；6、激光雷达。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

请参考图1所示，本发明提供一种锚喷机器人隧道拱面复喷区域识别与定位方法，在该方法中采用了激光雷达来采集隧道初喷后受喷拱面的点云数据，所述激光雷达朝Z轴方向翻转90°安装在锚喷机器人机械臂底座的防护装置中，通过伸出和缩回操作实现激光雷达部分遮挡后的水平扫描，防止复喷区域识别与定位时初喷后残留的回弹浆影响激光雷达采集环境信息，所述激光雷达和机械臂的相对位置是固定的，都是跟随锚喷机器人导轨移动来扩大工作范围；

所述方法包括以下步骤：

S1、初始化，机械臂各轴回到原始状态，激光雷达从防护装置中伸出，在不受机械臂遮挡的情况下跟随导轨移动来采集隧道初喷后受喷拱面的点云数据，并将数据传输给计算机；

S2、计算机使用滤波器对点云数据中的地面无效点和离群点进行滤除，得到有效点云目标对象；

S3、对获取的有效点云提取关键点并估计点云表面法线，接着使用FPFH描述特征子对点云局部几何特征进行描述，然后采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，从而得到初步的复喷区域分割对象；

S4、将初步获得的复喷区域进行区域筛选，提取出最终的复喷区域目标对象；

S5、根据复喷区域边缘特征提取边界信息以验证分割效果，再分别计算各复喷区域的质心坐标，将其作为复喷区域的定位坐标传递给计算机；

S6、计算机根据定位坐标调整机械臂末端喷浆口位姿对复喷区域进行定位补喷，以此完成一轮采集对象的定位复喷；

S7、锚喷机器人向前移动，重复步骤S1～S6开始下一轮复喷。

作为具体实施例，请参考图2所示，所述锚喷机器人的具体结构为本领域技术人员熟知的现有技术，主要由机械人移动平台1、导轨2、机械臂3以及喷浆口4等多个构件组成，激光雷达6安装在锚喷机器人机械臂底座的防护装置5中，激光雷达在隧道巷道中进行模拟施工。在整个锚喷机器人喷浆程序控制过程中，设计了两种喷浆模式，分别为初喷模式和复喷模式。其中初喷模式根据初始规划的喷浆路径对隧道拱面进行施工，不对喷浆后的拱面进行质量判断；而复喷模式需要先对初喷后的受喷面进行3D视觉识别，检测出漏喷以及喷浆厚度不满足工程要求的特征区域后进行定位补喷，本发明主要研究的是复喷模式。作为具体实施方式，所述激光雷达采用现有型号为LR-16FIS-C1的16线防爆型激光雷达作为采集器来采集隧道初喷后受喷拱面的点云数据，该型号防爆型激光雷达的垂直视场角为(-15°～+15°)，水平视场角为360°，量程为0.05m～120m，测量数据时以雷达坐标原点为基准。请参考图3至图5所示，而为了提高激光雷达使用效率，采用密封的方法对激光雷达做了防护，然后将激光雷达朝Z轴方向翻转90°安装在锚喷机器人机械臂底座的防护装置5中，获得采集数据的命令后通过伸出和缩回操作实现激光雷达部分遮挡后的水平238.14°扫描来获得点云，防止复喷区域识别与定位时初喷后残留的回弹浆影响激光雷达采集环境信息；其中，激光雷达6和机械臂3的相对位置是固定的，都是跟随锚喷机器人导轨移动来扩大工作范围，导轨2长度为1.6m。具体地，所述防护装置5包括防护罩51、油缸52和封闭活塞53，所述防护罩51为圆筒状结构，所述圆筒状结构的防护罩51右端面固定连接有端盖，所述油缸52固定套接在该端盖中部，所述封闭活塞53与防护罩51内壁可滑动配合并与油缸52的活塞杆固定连接，所述激光雷达6固定连接在封闭活塞53上，所述激光雷达6通过封闭活塞53在油缸52活塞杆带动用下向外伸出和缩回内部。本实施例中，计算机中的操作系统为Ubuntu16.04、开发平台为ROS、开源库为基于C++的PCL点云库。

作为具体实施例，为了防止喷浆回弹物对激光雷达造成影响，所述步骤S1中激光雷达只在接收到计算机发送的采集点云数据命令时才从防护装置中伸出，并在完成数据采集后缩回防护装置中，且激光雷达通过IP地址与计算机建立通信，所述机械臂底座导轨安装在锚喷机器人移动平台上。此外，在对复喷区域进行识别与定位前，由于激光雷达的基坐标与机械臂底座的基坐标因安装方式而存在不一致的问题，为了满足实际的应用要求，在完成数据采集之后对点云数据的基坐标进行了转换，使之与机械臂底座基坐标保持一致。

作为具体实施例，在步骤S2中，由于隧道环境复杂，粉尘较大，易产生无效的地面点和离群点，为了提高点云识别精度，提升算法运行效率，因此该阶段引入了地面点云滤波器和统计滤波器，来对点云数据中的地面无效点和离群点进行滤除，以保证获得有效的点云目标对象，因此所述步骤S2中计算机使用滤波器对地面无效点和离群点进行滤除，得到有效点云目标对象，具体步骤包括：

S21、输入初始点云数据集P，首先使用PCL点云库中的removeNaNFromPointCloud函数将点云中值为NAN的无效点去除；

S22、然后引入地面点云滤波器，选定3D点云中任意点P_i(x_i,y_i,z_i)，设置圆形领域半径R，计算该点与其领域点之间的坡度值t，若坡度值t均小于给定坡度阈值T，则为地面点，否则为隧道拱面点云对象，根据计算结果对地面点进行滤除，得到点云数据集P'；

S23、将P'作为输入传入统计滤波器，设置领域值k和标准差倍数阈值τ，当某点与其领域点的平均距离d_i位于(μ-σ*τ，μ+σ*τ)范围之外时，记为离群点；当P'＝{p_i(x_i,y_i,z_i)|1≤i≤n}时，计算它与所有三维领域点的平均距离d_i以及全局距离平均值μ和标准差σ，计算公式如下：

其中，m表示点对数量，n表示点云点的数量，d表示两点间的距离；通过上述计算公式，平均距离d_i在(μ±σ*τ)之外的点被滤除；

S24、输出，得到有效点云目标对象。

采用上述实施例中的技术方案，原始点云中存在的地面无效点和离群点被滤除，从而加快了后期数据处理的速度，一定程度上提高了复喷区域识别与定位的精度，同时算法运算速度也得到有效提升。

作为具体实施例，所述步骤S3中对获取的有效点云提取关键点并估计点云表面法线，接着使用FPFH描述特征子对点云局部几何特征进行描述，然后采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，从而得到初步的复喷区域分割对象，具体步骤包括：

S31、读入点云数据，建立kd-tree数据结构来获得点云的拓扑结构，对三维空间中的数据进行划分，用于对树的分支进行决策，快速检索点云中点的领域信息；

S32、引入内部形态签名(Intrinsic Shape Signatures，ISS)算法，通过分析点云中某点的领域加权协方差矩阵来提取点云的关键点；

S33、采用主成分分析(Principal Component Analysis，PCA)算法估计点云表面法线，以获得点云的几何特征；

S34、使用FPFH(Fast Point Feature Histograms，快速点特征直方图)描述特征子对点云的几何形状进行局部特征描述；

S35、上述特征提取完成后，采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，由此获得初步的复喷区域分割对象。

采用上述实施例中的技术方案，针对点云预处理后的数据还存在无规则分布的情况，采用kd-tree建立了点云之间的拓扑关系，加快了邻域点之间的搜索速度；然后对隧道拱面初喷后存在的漏喷区域进行了关键点提取、几何特征估算和局部特征描述，同时为了解决喷浆厚度不均匀的问题，采用区域增长算法对部分区域进行了区域增长，基本实现了对漏喷区域的聚类分割。

作为具体实施例，所述步骤S32中引入内部形态签名算法，通过分析点云中某点的领域加权协方差矩阵来提取点云的关键点，具体包括步骤：

S321、设点云P＝{p_i(x_i,y_i,z_i)|1≤i≤n}，对任意点p_i建立局部坐标系，并设定搜索半径p_r，确定p_i为球心，p_j为半径球体内的所有点，采用如下公式建立协方差矩阵：

其中，w_ij为权重，计算公式如下：

S322、通过移动最小二乘法计算协方差矩阵的特征值{λ_i1,λ_i2,λ_i3}并进行降序排列；

S323、设置阈值θ₁和θ₂，若同时满足

和

则p_i为关键点，迭代直到找到所有关键点。

作为具体实施例，所述步骤S33中采用主成分分析算法估计点云表面法线，以获得点云的几何特征，具体包括步骤：

S331、点云中任意一点p_i(x,y,z)及其圆形领域半径R内的领域点集p^k(1≤k≤m)可以确定一个小的局部平面，而每个二维平面均可以用平面上一点p_i和过点p_i的法向量

来表示，采用移动最小二乘法对p_i和p^k确定的局部平面进行拟合，拟合公式如下：

其中，

为平面P的法向量，d为平面P到坐标原点的距离；

S332、根据主成分分析算法计算p^k的协方差矩阵C∈R^3×3的特征值和特征向量，则求得

其中，ξ_i表示点p_i的权重，通常设为1，

为领域点集p^k的质心，计算公式如下：

S333、采用最小二乘法计算协方差矩阵C的特征值λ₀,λ₁,λ₂以及特征向量

其λ与

一一对应；若0≤λ₀≤λ₁≤λ₂，则最小特征值λ₀对应的特征向量

可近似的表示点p_i处的法线

得

或

其中

所以

可以用一组角度组合(φ,θ)表示：

其中，n_z表示法线的z坐标，n_y表示法线的y坐标，n_x表示法线的x坐标；

S334、计算点p_i处的曲率τ_pi：

S335、得到上述计算结果后，此时求得的

方向具有二义性，方向难以确定，因此采用了以视点为中心的法线一致性调整，具体如图6所示。由于激光点云采样值的观测点均为激光雷达坐标系的中心v_p(0,0,0)，为了得到优化的法线结果，使法线均指向观察视点，即法线

应当具备以下条件：

因此，当

则

否则

从而保证了点云表面法向量方向的一致性，准确的提取了点云几何特征。

作为具体实施例，提取点云法线以后，为了能够更好的描述采样点与其领域内点之间的关系，采用FPFH描述特征子来计算采样点p_q的快速点特征直方图，原理如图7所示，其中图(a)为FPFH的计算区域，图(b)为两点法线偏差的计算示意图。具体所述步骤S34中使用FPFH描述特征子对点云的几何形状进行局部特征描述，包括步骤：

S341、存在圆形领域半径R内的两点p_s和p_t，首先以p_s的法线

作为坐标轴u，然后u与点p_s到点p_t方向的单位向量做外积得到坐标轴v，再用坐标轴u与坐标轴v做外积得到坐标轴w，得到以p_s为原点的局部坐标系uvw；

S342、将坐标系uvw平移到点p_t，设点p_t的法线

与坐标轴v之间的余弦值为α，法线

与点p_s、p_t连线夹角的余弦值为φ，法线

在平面uw的投影

与坐标轴u的夹角为θ，则点p_q与其领域内其他点之间的一个三元组＜α,φ,θ＞的计算公式如下：

其中，d＝||p_t-p_s||表示p_t和p_s之间的距离；

S343、完成步骤S341～S342的计算后，将其记为SPFH即简单点特征直方图，然后重新计算其余点的领域，对每个点都计算一次简单点特征直方图值，以此来计算p_q点的快速点特征直方图即FPFH，计算公式如下：

其中，ω_i为权重，一般取点p_q到点p_i之间的距离值，K表示领域内点的个数。

作为具体实施例，获得点云数据的局部特征后，根据已喷面和漏喷面的曲率变化，将kd-tree中存储的点云数据按照区域增长算法的思想进行区域分割，将具有相同漏喷特征的连通区域分割出来；具体所述步骤S35中上述特征提取完成后，采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，由此获得初步的复喷区域分割对象，包括步骤：

S351、选择种子点，根据点云中点的曲率值大小进行排序，将具有最小曲率的点作为初始种子点；

S352、以曲率最小的种子点p_q＝(x_i,y_i,z_i)为球形领域的球心，R_m为半径，p_q与半径内的其他采样点比较法线和曲率，如果某点曲率最低且法线方向足够接近，则作为新的种子点重新定义各自的球形领域，否则不作为种子点，以此类推在三维空间中并行地向四周生长；

S353、当每个新的种子点的球形领域内都不再包含任何未经聚类的点时生长停止，此时输出的数据结构是由聚类结果组成的数组。

作为具体实施例，所述步骤S4中将初步获得的复喷区域进行区域筛选，提取出最终的复喷区域目标对象，具体包括步骤：

S41、由于隧道拱面点云为非平面模型，因此无法直接根据曲率值变化进行区域筛选；因此引入喷浆前和喷浆后激光雷达到受喷面的深度信息，在曲率估计的基础上结合深度信息来判断该区域是否产生变化，若深度信息和曲率信息不变，则判断为漏喷区域，若深度信息小于喷浆前的深度且曲率增大，则说明该区域为非漏喷区域，从而实现对复喷区域的筛选，得到精准的复喷区域；

S42、最终算法输出的聚类信息仅包含识别出的复喷区域，将其保存在数组中。

作为具体实施例，所述步骤S5中根据分割出的复喷区域边缘特征提取边界信息以验证分割效果，再分别计算各复喷区域的质心坐标，将其作为复喷区域的定位坐标传递给计算机，具体包括步骤：

S51、对数组中存储的分割区域提取边界信息，具体对每个采样点，用最近邻搜索算法搜索kd-tree，快速检索该点的k邻域点，然后用最小二乘法拟合出切平面；将采样点和k邻域点投影到切平面上，以采样点的投影点为起点，邻域点的投影点为终点定义向量；随机选择一个向量作为参考向量，将参考向量与切平面法线作外积得到向量v，再求剩余向量与参考向量和向量v的夹角，最后对求得的夹角值进行排序得最大夹角，当最大夹角大于角度阈值则该点为边界点，由此得到复喷区域的边界信息；

S52、计算隧道拱面点云中第i个复喷区域的质心坐标

其中，k表示点的数量，p(x_i,y_i,z_i)表示点云中p点的三维坐标；

S53、将各复喷区域的质心坐标

传递给计算机实现对复喷区域的精准定位；

S54、采用定量分析的方法对算法的识别正确率和算法耗时进行评估；具体地，第一个评价指标识别正确率R_c采用以下公式来计算：

其中，N_s为正确分割的点云子集数量，N为总目标数量；

第二个评价指标算法耗时T，通过记录算法执行时的运行时间来获得。

采用上述实施例中的技术方案，为了验证复喷区域分割对象的准确性以及实现精准的复喷区域定位，对其分割区域进行了边界信息提取，同时计算了复喷区域的质心坐标点，此处质心就是识别出的复喷区域的定位中心，最后评估了算法的效果。

与现有技术相比，本发明提供的锚喷机器人隧道拱面复喷区域识别与定位方法，先通过锚喷机器人导轨带动激光雷达采集隧道初喷后受喷拱面的点云数据，之后计算机通过点云数据对漏喷区域进行准确识别与定位，并根据位置信息调整锚喷机器人机械臂末端喷浆口位姿以实现对复喷区域的定位补喷；在识别与定位过程中，计算机根据目标对象的特征先对地面无效点和离群点进行滤除，从而增加复喷区域识别与定位精度；然后对点云进行表面法线估计并采用FPFH进行局部特征描述，以获得受喷面的几何特征；为了更好的识别喷浆厚度不均匀的区域，采用区域增长算法对复喷区域进行聚类分割并进行区域筛选；通过提取复喷区域边界信息并计算质心坐标，将该坐标作为复喷区域的定位坐标传递给计算机，实现了对复喷区域的精准定位；计算机根据质心坐标调整锚喷机器人机械臂喷浆口末端位姿，以准确、快速、稳定的完成复喷区域的定位补喷，其锚喷机器人完成复喷区域的识别与定位均由计算机自动控制，使喷浆工作更智能化，因此本方法能使锚喷机器人复喷时定位结果更精准，更稳定，在实际应用中能够降低工作成本，提高工作效率。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种锚喷机器人隧道拱面复喷区域识别与定位方法，其特征在于，在该方法中采用了激光雷达来采集隧道初喷后受喷拱面的点云数据，所述激光雷达朝Z轴方向翻转90°安装在锚喷机器人机械臂底座的防护装置中，通过伸出和缩回操作实现激光雷达部分遮挡后的水平扫描，防止复喷区域识别与定位时初喷后残留的回弹浆影响激光雷达采集环境信息，所述激光雷达和机械臂的相对位置是固定的，都是跟随锚喷机器人导轨移动来扩大工作范围；

所述方法包括以下步骤：

S1、初始化，机械臂各轴回到原始状态，激光雷达从防护装置中伸出，在不受机械臂遮挡的情况下跟随导轨移动来采集隧道初喷后受喷拱面的点云数据，并将数据传输给计算机；

S2、计算机使用滤波器对点云数据中的地面无效点和离群点进行滤除，得到有效点云目标对象；

S3、对获取的有效点云提取关键点并估计点云表面法线，接着使用FPFH描述特征子对点云局部几何特征进行描述，然后采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，从而得到初步的复喷区域分割对象；

S4、将初步获得的复喷区域进行区域筛选，提取出最终的复喷区域目标对象；

S5、根据复喷区域边缘特征提取边界信息以验证分割效果，再分别计算各复喷区域的质心坐标，将其作为复喷区域的定位坐标传递给计算机；

S6、计算机根据定位坐标调整机械臂末端喷浆口位姿对复喷区域进行定位补喷，以此完成一轮采集对象的定位复喷；

S7、锚喷机器人向前移动，重复步骤S1～S6开始下一轮复喷。

2.根据权利要求1所述的锚喷机器人隧道拱面复喷区域识别与定位方法，其特征在于，所述步骤S1中激光雷达只在接收到计算机发送的采集点云数据命令时才从防护装置中伸出，并在完成数据采集后缩回防护装置中，且激光雷达通过IP地址与计算机建立通信。

3.根据权利要求1所述的锚喷机器人隧道拱面复喷区域识别与定位方法，其特征在于，所述步骤S2中计算机使用滤波器对地面无效点和离群点进行滤除，得到有效点云目标对象，具体步骤包括：

S21、输入初始点云数据集P，首先使用PCL点云库中的removeNaNFromPointCloud函数将点云中值为NAN的无效点去除；

S22、然后引入地面点云滤波器，选定3D点云中任意点P_i(x_i,y_i,z_i)，设置圆形领域半径R，计算该点与其领域点之间的坡度值t，若坡度值t均小于给定坡度阈值T，则为地面点，否则为隧道拱面点云对象，根据计算结果对地面点进行滤除，得到点云数据集P'；

S23、将P'作为输入传入统计滤波器，设置领域值k和标准差倍数阈值τ，当某点与其领域点的平均距离d_i位于(μ-σ*τ，μ+σ*τ)范围之外时，记为离群点；当P'＝{p_i(x_i,y_i,z_i)|1≤i≤n}时，计算它与所有三维领域点的平均距离d_i以及全局距离平均值μ和标准差σ，计算公式如下：

其中，m表示点对数量，n表示点云点的数量，d表示两点间的距离；通过上述计算公式，平均距离d_i在(μ±σ*τ)之外的点被滤除；

S24、输出，得到有效点云目标对象。

4.根据权利要求1所述的锚喷机器人隧道拱面复喷区域识别与定位方法，其特征在于，所述步骤S3中对获取的有效点云提取关键点并估计点云表面法线，接着使用FPFH描述特征子对点云局部几何特征进行描述，然后采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，从而得到初步的复喷区域分割对象，具体步骤包括：

S31、读入点云数据，建立kd-tree数据结构来获得点云的拓扑结构，对三维空间中的数据进行划分，用于对树的分支进行决策，快速检索点云中点的领域信息；

S32、引入内部形态签名算法，通过分析点云中某点的领域加权协方差矩阵来提取点云的关键点；

S33、采用主成分分析算法估计点云表面法线，以获得点云的几何特征；

S34、使用FPFH描述特征子对点云的几何形状进行局部特征描述；

S35、上述特征提取完成后，采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，由此获得初步的复喷区域分割对象。

5.根据权利要求4所述的锚喷机器人隧道拱面复喷区域识别与定位方法，其特征在于，所述步骤S32中引入内部形态签名算法，通过分析点云中某点的领域加权协方差矩阵来提取点云的关键点，具体包括步骤：

S321、设点云P＝{p_i(x_i,y_i,z_i)|1≤i≤n}，对任意点p_i建立局部坐标系，并设定搜索半径p_r，确定p_i为球心，p_j为半径球体内的所有点，采用如下公式建立协方差矩阵：

其中，w_ij为权重，计算公式如下：

S322、通过移动最小二乘法计算协方差矩阵的特征值{λ_i1,λ_i2,λ_i3}并进行降序排列；

S323、设置阈值θ₁和θ₂，若同时满足

和

则p_i为关键点，迭代直到找到所有关键点。

6.根据权利要求4所述的锚喷机器人隧道拱面复喷区域识别与定位方法，其特征在于，所述步骤S33中采用主成分分析算法估计点云表面法线，以获得点云的几何特征，具体包括步骤：

S331、点云中任意一点p_i(x,y,z)及其圆形领域半径R内的领域点集p^k(1≤k≤m)可以确定一个小的局部平面，而每个二维平面均可以用平面上一点p_i和过点p_i的法向量

来表示，采用移动最小二乘法对p_i和p^k确定的局部平面进行拟合，拟合公式如下：

其中，

为平面P的法向量，d为平面P到坐标原点的距离；

S332、根据主成分分析算法计算p^k的协方差矩阵C∈R^3×3的特征值和特征向量，则求得

其中，ξ_i表示点p_i的权重，通常设为1，

为领域点集p^k的质心，计算公式如下：

S333、采用最小二乘法计算协方差矩阵C的特征值λ₀,λ₁,λ₂以及特征向量

其λ与

一一对应；若0≤λ₀≤λ₁≤λ₂，则最小特征值λ₀对应的特征向量

可近似的表示点p_i处的法线

得

或

其中

所以

可以用一组角度组合(φ,θ)表示：

其中，n_z表示法线的z坐标，n_y表示法线的y坐标，n_x表示法线的x坐标；

S334、计算点p_i处的曲率τ_pi：

S335、由于激光点云采样值的观测点均为激光雷达坐标系的中心v_p(0,0,0)，为了得到优化的法线结果，使法线均指向观察视点，即法线

应当具备以下条件：

因此，当

则

否则

从而保证了点云表面法向量方向的一致性，准确的提取了点云几何特征。

7.根据权利要求4所述的锚喷机器人隧道拱面复喷区域识别与定位方法，其特征在于，所述步骤S34中使用FPFH描述特征子对点云的几何形状进行局部特征描述，具体包括步骤：

S341、存在圆形领域半径R内的两点p_s和p_t，首先以p_s的法线

作为坐标轴u，然后u与点p_s到点p_t方向的单位向量做外积得到坐标轴v，再用坐标轴u与坐标轴v做外积得到坐标轴w，得到以p_s为原点的局部坐标系uvw；

S342、将坐标系uvw平移到点p_t，设点p_t的法线

与坐标轴v之间的余弦值为α，法线

与点p_s、p_t连线夹角的余弦值为φ，法线

在平面uw的投影

与坐标轴u的夹角为θ，则点p_q与其领域内其他点之间的一个三元组＜α,φ,θ＞的计算公式如下：

其中，d＝||p_t-p_s||表示p_t和p_s之间的距离；

S343、完成步骤S341～S342的计算后，将其记为SPFH即简单点特征直方图，然后重新计算其余点的领域，对每个点都计算一次简单点特征直方图值，以此来计算p_q点的快速点特征直方图即FPFH，计算公式如下：

其中，ω_i为权重，一般取点p_q到点p_i之间的距离值，K表示领域内点的个数。

8.根据权利要求4所述的锚喷机器人隧道拱面复喷区域识别与定位方法，其特征在于，所述步骤S35中上述特征提取完成后，采用基于局部特征的区域增长算法对隧道拱面点云中的漏喷区域进行聚类分割，由此获得初步的复喷区域分割对象，具体包括步骤：

S351、选择种子点，根据点云中点的曲率值大小进行排序，将具有最小曲率的点作为初始种子点；

S352、以曲率最小的种子点p_q＝(x_i,y_i,z_i)为球形领域的球心，R_m为半径，p_q与半径内的其他采样点比较法线和曲率，如果某点曲率最低且法线方向足够接近，则作为新的种子点重新定义各自的球形领域，否则不作为种子点，以此类推在三维空间中并行地向四周生长；

S353、当每个新的种子点的球形领域内都不再包含任何未经聚类的点时生长停止，此时输出的数据结构是由聚类结果组成的数组。

9.根据权利要求1所述的锚喷机器人隧道拱面复喷区域识别与定位方法，其特征在于，所述步骤S4中将初步获得的复喷区域进行区域筛选，提取出最终的复喷区域目标对象，具体包括步骤：

S41、引入喷浆前和喷浆后激光雷达到受喷面的深度信息，在曲率估计的基础上结合深度信息来判断该区域是否产生变化，若深度信息和曲率信息不变，则判断为漏喷区域，若深度信息小于喷浆前的深度且曲率增大，则说明该区域为非漏喷区域，从而实现对复喷区域的筛选，得到精准的复喷区域；

S42、最终算法输出的聚类信息仅包含识别出的复喷区域，将其保存在数组中。

10.根据权利要求1所述的锚喷机器人隧道拱面复喷区域识别与定位方法，其特征在于，所述步骤S5中根据复喷区域边缘特征提取边界信息以验证分割效果，再分别计算各复喷区域的质心坐标，将其作为复喷区域的定位坐标传递给计算机，具体包括步骤：

S51、对数组中存储的分割区域提取边界信息；

S52、计算隧道拱面点云中第i个复喷区域的质心坐标

其中，k表示点的数量，p(x_i,y_i,z_i)表示点云中p点的三维坐标；

S53、将各复喷区域的质心坐标

传递给计算机实现对复喷区域的精准定位；

S54、采用定量分析的方法对算法的识别正确率和算法耗时进行评估。

Images