CN115239620A - 一种基于点云的钢筋网片焊接点自动识别方法及系统 - Google Patents

Abstract

本发明涉及一种基于点云的钢筋网片焊接点自动识别方法及系统，属于自动焊接技术领域。本发明的方法基于包含深度信息的三维点云数据，并采用聚类及圆柱拟合等方法实现焊接点的识别，克服了离线编程的方式的复杂度高及精度低的缺陷，并克服了搭载2D相机的方法的精确度不高的缺陷，提供了一种实施简单且定位精度高的焊接点自动识别方法。

Description

一种基于点云的钢筋网片焊接点自动识别方法及系统

技术领域

本发明涉及自动焊接技术领域，特别是涉及一种基于点云的钢筋网片焊接点自动识别方法及系统。

背景技术

随着社会经济水平的发展，国家广泛开展桥梁、大坝等大型基础设施建设，钢筋网片等结构件在其中被大量使用。钢筋网片的传统生产方式是由工人手动焊接而成，即首先利用工装将钢筋固定成网片结构，再通过手工操作焊枪对钢筋的交叉搭接点进行焊接，在实际操作过程中，受到夹具装夹误差和人为因素的影响，焊接点易出现质量不可靠、一致性差等问题，导致不同钢筋网片焊接后的形状和质量层次不齐，影响后续的工程建造质量。此外，现在人工作业的成本不断提高，人工施工的效率也越来越难以满足大型基础设施建设的需求。现有的解决方案包括以下两种：

方案1：采用机器人末端夹持焊枪，通过离线编程的方式，根据钢筋网片的设计模型或手工示教的方式离线规划机器人焊接路径，从而实现对特定型号钢筋网片的自动化焊接，在重复焊接时一般通过工装夹具保证钢筋网片的结构不变，从而使得离线编程路径可重复使用。

方案2：采用机器人末端夹持2D相机和焊枪，通过相机拍摄图像，并采用深度学习等方法识别图像中的目标点(钢筋交叉点)，进而引导机器人末端焊枪运动至焊接点，完成焊接动作。

对于方案1，一般采用钢筋网片设计模型进行基于模型的离线编程，或者采用人工示教的方式对装夹后的钢筋网片进行焊接点的示教编程，并通过工装定位精度保证同型号钢筋网片的焊接程序可重复使用。这种方法存在的主要缺点主要是需要预先花费大量的时间对每个型号的钢筋网片进行编程规划，且同一工程中使用的钢筋网片型号繁多，导致准备工作耗时过长；此外，由于钢筋网片尺寸精度较低(一般为±5mm)，导致固定的机器人焊接路径在同型号钢筋网片焊接时易发生焊接点错位，导致焊接质量不可靠。

对于方案2，在机器人末端搭载相机等视觉单元采集钢筋网片局部图像，通过深度学习等成熟方法自动识别图像中的钢筋焊接特征，并引导机器人自动实现焊接是一种新的方法。该方法以二维图像为输入，由于图像缺乏深度信息，导致机器人焊接时需要以固定距离拍摄钢筋网片，并以该距离为已知量，从而解算图像中焊接特征的深度信息，这种方法存在的主要缺点是图像缺乏深度信息，由固定的拍摄距离解算得到的深度信息受该距离精度影响极大，当拍摄距离发生变化时会等比例的反应在所有特征点的深度上，导致机器人焊接的定位精度难以保障。

发明内容

有鉴于此，本发明提供了一种基于点云的钢筋网片焊接点自动识别方法及系统，以提供一种实施简单且定位精度高的焊接点自动识别方法。

为实现上述目的，本发明提供了如下方案：

一种基于点云的钢筋网片焊接点自动识别方法，所述方法包括如下步骤：

获取钢筋网片局部区域的三维点云数据集合；

对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类；

分别对每个第一点云聚类进行一次圆柱拟合，及对非钢筋特征的第一点云聚类的进行删除，获得钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果；

根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，对于属于同一钢筋的钢筋特征的第一点云聚类进行合并，获得每个钢筋的第二点云聚类；

对每个钢筋的第二点云聚类进行二次圆柱拟合，获得每个钢筋的圆柱点云；

分别将每个钢筋的圆柱点云与所述钢筋的设计模型进行匹配，获得每个钢筋的模型点云；钢筋的模型点云用于表征所述钢筋的设计模型在钢筋网片中的位姿；

根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点。

可选的，所述对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类，具体包括：

采用欧式聚类法对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类。

可选的，所述分别对每个第一点云聚类进行一次圆柱拟合，及对非钢筋特征的第一点云聚类的进行删除，获得钢筋特征的第一点云聚类及每个钢筋特征的第一点云聚类对应的圆柱拟合结果，具体包括：

令i的数值为1；

采用主成分分析方法计算第i个第一点云聚类的协方差矩阵的最大特征向量作为拟合圆柱的轴线单位矢量；

将第i个第一点云聚类中的每个三维点云数据均投影至所述轴线单位矢量的垂直平面上，获得平面点云数据；

对所述平面点云数据进行最小二乘圆拟合，获得拟合圆柱的圆心点和半径；

判断所述半径与钢筋零件标准半径的差值的绝对值是否大于第一预设阈值，获得判断结果；

当所述判断结果表示是，则将所述第一点云聚类作为非钢筋特征的第一点云聚类进行删除；

当所述判断结果表示否，则将所述第一点云聚类作为钢筋特征的第一点云聚类进行保留；

令i的数值增加1，返回步骤“采用主成分分析方法计算第i个第一点云聚类的协方差矩阵的最大特征向量作为拟合圆柱的轴线单位矢量”，直到i的数值大于所有第一点云聚类的总数，输出钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果；所述圆柱拟合结果包括拟合圆柱的轴线单位矢量、圆心点和半径。

可选的，所述根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，对于属于同一钢筋的钢筋特征的第一点云聚类进行合并，获得每个钢筋的第二点云聚类，具体包括：

根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，利用如下公式计算每种组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线夹角；所述组合结果对位于下层的钢筋特征的第一点云聚类的任意两个为一组进行组合得到的组合结果；

σ＝l₁·l₂；

其中，σ表示轴线夹角，l₁和l₂分别表示不同组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线单位矢量；

判断公式σ＞0.9是否成立，获得每种组合结果的第一判断结果；

根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，利用如下公式计算每种组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线的最短距离；

d＝|p₁-p₂|sin(arccos((p₁-p₂)·l₁)/(|p₁-p₂||l₁|))；

其中，d表示最短距离，p₁和p₂分别表示不同组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线上的点，l₁表示不同组合结果下的其中一个钢筋特征的第一点云聚类的拟合圆柱的轴线单位矢量；

判断公式d＜λ是否成立，获得每种组合结果的第二判断结果；其中，λ表示轴线距离阈值；

将第一判断结果表示是且第二判断结果表示是的组合结果下的两个钢筋特征点的第一点云聚类进行合并。

可选的，所述根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点，具体包括：

根据每个钢筋的模型点云，构建每个钢筋的空间直线方程；

基于每个钢筋的空间直线方程，确定任意两个钢筋之间的交叉点对；所述交叉点对包括分别位于任意两个钢筋的空间直线方程上的距离最近的两个点；

分别计算每个交叉点对之间的距离；

将距离小于第二预设阈值的交叉点对中的两个点的中点作为焊接点。

可选的，所述根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点，之后还包括：

按照焊接点与焊接机器人末端焊接工具的距离从小到大的顺序对所有焊接点进行排序，生成焊接路径点。

一种基于点云的钢筋网片焊接点自动识别系统，所述系统包括：

三维点云数据获取模块，用于获取钢筋网片局部区域的三维点云数据集合；

聚类模块，用于对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类；

一次圆柱拟合模块，用于分别对每个第一点云聚类进行一次圆柱拟合，及对非钢筋特征的第一点云聚类的进行删除，获得钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果；

合并模块，用于根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，对于属于同一钢筋的钢筋特征的第一点云聚类进行合并，获得每个钢筋的第二点云聚类；

二次圆柱拟合模块，用于对每个钢筋的第二点云聚类进行二次圆柱拟合，获得每个钢筋的圆柱点云；

模型匹配模块，用于分别将每个钢筋的圆柱点云与所述钢筋的设计模型进行匹配，获得每个钢筋的模型点云；钢筋的模型点云用于表征所述钢筋的设计模型在钢筋网片中的位姿；

焊接点确定模块，用于根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点。

可选的，所述聚类模块，具体包括：

聚类子模块，用于采用欧式聚类法对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类。

可选的，所述一次圆柱拟合模块，具体包括：

初始化子模块，用于令i的数值为1；

轴线单位矢量确定子模块，用于采用主成分分析方法计算第i个第一点云聚类的协方差矩阵的最大特征向量作为拟合圆柱的轴线单位矢量；

投影子模块，用于将第i个第一点云聚类中的每个三维点云数据均投影至所述轴线单位矢量的垂直平面上，获得平面点云数据；

最小二乘圆拟合子模块，用于对所述平面点云数据进行最小二乘圆拟合，获得拟合圆柱的圆心点和半径；

判断子模块，用于判断所述半径与钢筋零件标准半径的差值的绝对值是否大于第一预设阈值，获得判断结果；

处理子模块，用于当所述判断结果表示是，则将所述第一点云聚类作为非钢筋特征的第一点云聚类进行删除；当所述判断结果表示否，则将所述第一点云聚类作为钢筋特征的第一点云聚类进行保留；

返回子模块，用于令i的数值增加1，返回步骤“采用主成分分析方法计算第i个第一点云聚类的协方差矩阵的最大特征向量作为拟合圆柱的轴线单位矢量”，直到i的数值大于所有第一点云聚类的总数，输出钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果；所述圆柱拟合结果包括拟合圆柱的轴线单位矢量、圆心点和半径。

可选的，所述合并模块，具体包括：

轴线夹角计算子模块，用于根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，利用如下公式计算每种组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线夹角；所述组合结果对位于下层的钢筋特征的第一点云聚类的任意两个为一组进行组合得到的组合结果；

σ＝l₁·l₂；

其中，σ表示轴线夹角，l₁和l₂分别表示不同组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线单位矢量；

第一判断结果获取子模块，用于判断公式σ＞0.9是否成立，获得每种组合结果的第一判断结果；

最短距离计算子模块，用于根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，利用如下公式计算每种组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线的最短距离；

d＝|p₁-p₂|sin(arccos((p₁-p₂)·l₁)/(|p₁-p₂||l₁|))；

其中，d表示最短距离，p₁和p₂分别表示不同组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线上的点，l₁表示不同组合结果下的其中一个钢筋特征的第一点云聚类的拟合圆柱的轴线单位矢量；

第二判断结果获取子模块，用于判断公式d＜λ是否成立，获得每种组合结果的第二判断结果；其中，λ表示轴线距离阈值；

合并子模块，用于将第一判断结果表示是且第二判断结果表示是的组合结果下的两个钢筋特征点的第一点云聚类进行合并。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开一种基于点云的钢筋网片焊接点自动识别方法及系统，所述方法包括如下步骤：获取钢筋网片局部区域的三维点云数据集合；对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类；分别对每个第一点云聚类进行一次圆柱拟合，及对非钢筋特征的第一点云聚类的进行删除，获得钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果；根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，对于属于同一钢筋的钢筋特征的第一点云聚类进行合并，获得每个钢筋的第二点云聚类；对每个钢筋的第二点云聚类进行二次圆柱拟合，获得每个钢筋的圆柱点云；分别将每个钢筋的圆柱点云与所述钢筋的设计模型进行匹配，获得每个钢筋的模型点云；钢筋的模型点云用于表征所述钢筋的设计模型在钢筋网片中的位姿；根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点。本发明基于包含深度信息的三维点云数据，并采用聚类及圆柱拟合等方法实现焊接点的识别，克服了离线编程的方式的复杂度高及精度低的缺陷，并克服了搭载2D相机的方法的精确度不高的缺陷，提供了一种实施简单且定位精度高的焊接点自动识别方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术行人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种基于点云的钢筋网片焊接点自动识别方法的流程图；

图2为本发明实施例1提供的一种基于点云的钢筋网片焊接点自动识别方法的原理图；

图3为本发明实施例1提供的三维点云数据获取的结构示意图；

图4为本发明实施例1提供的三维点云数据集合中的三维点云数据分布图；

图5为本发明实施例1提供的第一点云聚类中的三维点云数据分布图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术行人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于点云的钢筋网片焊接点自动识别方法及系统，以提供一种实施简单且定位精度高的焊接点自动识别方法。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供一种基于点云的钢筋网片焊接点自动识别方法，所述方法包括如下步骤：获取钢筋网片局部区域的三维点云数据集合；对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类；分别对每个第一点云聚类进行一次圆柱拟合，得到圆柱拟合结果；其中，任一第一点云聚类的圆柱拟合结果至少用于：确定该第一点云聚类符合非钢筋特征或符合钢筋特征；删除符合非钢筋特征的第一点云聚类，获得符合钢筋特征的所有的第一点云聚类；所述符合钢筋特征的第一点云聚类为目标点云聚类；根据目标点云聚类圆柱拟合结果，对于属于同一钢筋的目标点云聚类进行合并，获得每个钢筋的第二点云聚类；对每个钢筋的第二点云聚类进行二次圆柱拟合，获得每个钢筋的圆柱点云；分别将每个钢筋的圆柱点云与所述钢筋的设计模型进行匹配，获得每个钢筋的模型点云；钢筋的模型点云用于表征所述钢筋在钢筋网片中的位姿；根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点。

实施例1

如图1和2所示，本发明实施例1提供一种基于点云的钢筋网片焊接点自动识别方法，该方法以3D相机扫描的三维点云数据为输入，自动识别钢筋网片交叉特征，并输出焊接点和法矢，引导机器人焊接系统自动焊接。

所述方法包括如下步骤：

步骤101，获取钢筋网片局部区域的三维点云数据集合。

如图3所示，由焊接机器人1带动3D相机2对钢筋网片4局部区域进行扫描获取如图4所示的三维点云数据。图3中的焊枪3用于为焊接机器人的焊接工具。

步骤102，对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类。

步骤102为三维点云数据的初步分割与孤立噪点去除。采集得到的三维点云数据为散乱无序点，且存在较多孤立噪点。为实现钢筋点云分割，并去除孤立噪点，本发明实施例1采用欧式聚类对三维点云数据进行分割与去噪，设定欧式聚类的阈值为t，并设定单个聚类中最少点云数量为N，从而在点云分割的同时去除所有点数小于N的聚类(即孤立噪点)，实现三维点云数据的初步分割和孤立噪点去除；该步骤最后输出去除孤立噪点后的多个第一点云聚类。

步骤103，分别对每个第一点云聚类进行一次圆柱拟合，及对非钢筋特征的第一点云聚类的进行删除，获得钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果。

步骤103包括基于最小二乘法的点云圆柱拟合和删除非钢筋特征的聚类。

基于最小二乘法的点云圆柱拟合。以步骤102的结果为输入，考虑钢筋一般为长径比较大的近似圆柱特征，单个聚类中的单个钢筋的三维点云数据一般呈狭长状分布，采用主成分分析方法计算该第一点云聚类中的三维点云数据的协方差矩阵的最大特征向量，即为拟合圆柱的轴线单位矢量l＝[l,m,n]；然后将该第一点云聚类中的三维点云数据投影至与轴线垂直的平面，对投影后的平面点云数据进行最小二乘圆拟合，计算圆心点p＝[x,y,z](即为轴线上一点)和半径R；基于圆心点p、轴线矢量l、半径R绘制圆柱点云，输出各第一点云聚类拟合得到的圆柱点云，以及对应的轴线上一点p、轴线矢量l和半径R。

删除非钢筋特征的聚类。以各第一点云聚类拟合得到的的圆柱点云和半径R为输入，设定钢筋零件的标准半径为R₀，设定阈值δ，若|R-R₀|＞δ，则认为该聚类点云属于噪音点，删除该第一点云聚类；最后输出钢筋特征的第一点云聚类。

步骤104，根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，对于属于同一钢筋的钢筋特征的第一点云聚类进行合并，获得每个钢筋的第二点云聚类。

步骤104用于同钢筋的多个第一点云聚类合并。该步骤以步骤103输出的钢筋特征的第一点云聚类和对应的轴线上一点p、轴线矢量l和半径R为输入；任意两个钢筋交叉时，上层钢筋会对下层钢筋产生遮挡，导致下层钢筋的三维点云数据存在过分割(如图5所示)，因此必须对下层同一钢筋的多个第一点云聚类进行合并，对于共n组点云聚类，任选其中两个第一点云聚类共存在

种组合，下面需要判断任意两个第一点云聚类所对应拟合圆柱的轴线是否近似重合，若近似重合，则将对应的多个点云聚类合并，实现每个钢筋对应一个第二点云聚类。

具体判断两个第一点云聚类所对应拟合圆柱的轴线重合的方法如下：

1)以钢筋特征的第一点云聚类为输入，生成

种点云聚类两两组合；

2)选择

种组合中的1种组合，设其中两个第一点云聚类对应的拟合圆柱的轴线上一点分别为p₁、p₂，轴线矢量分别为l₁、l₂，半径分别为R₁、R₂；

3)计算轴线夹角σ＝l₁·l₂，若σ＞0.9，则转到4)，否则转到2)；

4)计算轴线2上一点p₂到轴线1的最短距离d：

d＝|p₁-p₂|sin(arccos((p₁-p₂)·l₁)/(|p₁-p₂||l₁|))

5)若d＜λ(其中λ表示轴线距离的阈值)，则认为轴线2和轴线1近似重合，将对应的钢筋特征的第一点云聚类合并；

判断是否遍历完所有

组合，若未遍历完，转到2)，若遍历完，算法结束，并输出合并后的第二点云聚类。

步骤105，对每个钢筋的第二点云聚类进行二次圆柱拟合，获得每个钢筋的圆柱点云。

对合并后的第二点云聚类重新进行圆柱拟合。该步骤以步骤104输出的合并后的第二点云聚类为输入，采用步骤103中的基于最小二乘法的点云圆柱拟合方法重新进行圆柱拟合，最后输出各第二点云聚类拟合得到的圆柱点云，以及对应的轴线上一点p′、轴线矢量l′和半径R′；

步骤106，分别将每个钢筋的圆柱点云与所述钢筋的设计模型进行匹配，获得每个钢筋的模型点云；钢筋的模型点云用于表征所述钢筋的设计模型在钢筋网片中的位姿。

该步骤以步骤105输出的圆柱点云及单根钢筋的设计模型为输入，采用ICP(Iterative Closest Point，迭代最近点)的点云-模型匹配算法将钢筋的设计模型分别和该钢筋的圆柱点云进行三维匹配，计算钢筋的设计模型坐标系到圆柱点云的位姿变换矩阵T，从而将钢筋的设计模型变换到与钢筋的圆柱点云贴合，然后重新调整钢筋的设计模型的长度，使其与对应圆柱点云的长度一致，如图5所示；该步骤最后输出匹配后的所有钢筋的模型点云，以及对应的钢筋轴线单位矢量l″和轴线上一点p″。

步骤107，根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点。

该步骤以步骤106输出的钢筋的模型点云，以及对应的钢筋的轴线单位矢量l″、轴线上一点p″为输入，对于n组钢筋的模型点云，根据对应的l″和p″可构造n个空间直线方程，共有

种两两组合；计算钢筋的空间直线方程两两之间的最近点对(交叉点对)，具体计算方法如下：

1)根据单位矢量l″₁、l″₂和轴线上一点p″₁、p″₂构造空间直线分别为line₁和line₂，钢筋轴线单位矢量l″₁和l″₂的叉积，得到平行于两个矢量的平面plane₁及其法矢l″₃；

2)计算l″₃与l″₁的叉积，得到垂直于l″₃并且过l″₁的平面plane₂及其法矢l″₄，计算plane₂与line₂的交点，得到line₂上的最近点t₂；

3)计算l″₃与l″₂的叉积，得到垂直于l″₃并且过l″₂的平面plane₄及其法矢l″₅，计算plane₄与line₁的交点，得到line₁上的最近点t₁；

4)t₁和t₂即为两空间直线上的最近点，输出t₁和t₂。

采用K近邻算法计算最近点t₁和t₂对到钢筋的模型点云的最短距离d(即最近点t₁和t₂之间的距离)，若d＞2R，则表明钢筋轴线的最近点对不在3D相机此次扫描的视野范围内，为无效最近点对；遍历

种钢筋模型组合，计算所有最近点对并剔除无效最近点对，得到所有在3D相机视野范围内的有效最近点对；计算最近点对的中点作为两个钢筋的接触点(即焊接点)，同时计算最近点对之间的单位向量，即钢筋网片的局部法矢；该步骤最后输出视野范围内的所有焊接点坐标和法矢，如图2所示；

机器人焊接路径生成。以焊接点坐标和法矢为输入，对焊接点进行排序，并根据焊接点的空间坐标和钢筋网片法矢，生成机器人末端焊接工具的接近、焊接/绑扎、退回、过渡路径，该步骤最后输出完整的机器人焊接路径点。

机器人焊接程序后处理。以机器人焊接路径点为输入，对路径进行后处理，添加焊接触发指令，并将其转化为机器人可执行的运动程序，实现局部测量区域内的所有点的焊接。

实施例2

本发明实施例2提供一种基于点云的钢筋网片焊接点自动识别系统，所述系统包括：

三维点云数据获取模块，用于获取钢筋网片局部区域的三维点云数据集合。

聚类模块，用于对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类。

所述聚类模块，具体包括：聚类子模块，用于采用欧式聚类法对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类。

一次圆柱拟合模块，用于分别对每个第一点云聚类进行一次圆柱拟合，及对非钢筋特征的第一点云聚类的进行删除，获得钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果。

所述一次圆柱拟合模块，具体包括：初始化子模块，用于令i的数值为1；轴线单位矢量确定子模块，用于采用主成分分析方法计算第i个第一点云聚类的协方差矩阵的最大特征向量作为拟合圆柱的轴线单位矢量；投影子模块，用于将第i个第一点云聚类中的每个三维点云数据均投影至所述轴线单位矢量的垂直平面上，获得平面点云数据；最小二乘圆拟合子模块，用于对所述平面点云数据进行最小二乘圆拟合，获得拟合圆柱的圆心点和半径；判断子模块，用于判断所述半径与钢筋零件标准半径的差值的绝对值是否大于第一预设阈值，获得判断结果；处理子模块，用于当所述判断结果表示是，则将所述第一点云聚类作为非钢筋特征的第一点云聚类进行删除；当所述判断结果表示否，则将所述第一点云聚类作为钢筋特征的第一点云聚类进行保留；返回子模块，用于令i的数值增加1，返回步骤“采用主成分分析方法计算第i个第一点云聚类的协方差矩阵的最大特征向量作为拟合圆柱的轴线单位矢量”，直到i的数值大于所有第一点云聚类的总数，输出钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果；所述圆柱拟合结果包括拟合圆柱的轴线单位矢量、圆心点和半径。

合并模块，用于根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，对于属于同一钢筋的钢筋特征的第一点云聚类进行合并，获得每个钢筋的第二点云聚类。

所述合并模块，具体包括：

轴线夹角计算子模块，用于根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，利用如下公式计算每种组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线夹角；所述组合结果对位于下层的钢筋特征的第一点云聚类的任意两个为一组进行组合得到的组合结果。

σ＝l₁·l₂；

其中，σ表示轴线夹角，l₁和l₂分别表示不同组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线单位矢量。

第一判断结果获取子模块，用于判断公式σ＞0.9是否成立，获得每种组合结果的第一判断结果。

最短距离计算子模块，用于根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，利用如下公式计算每种组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线的最短距离。

d＝|p₁-p₂|sin(arccos((p₁-p₂)·l₁)/(|p₁-p₂||l₁|))；

其中，d表示最短距离，p₁和p₂分别表示不同组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线上的点，l₁表示不同组合结果下的其中一个钢筋特征的第一点云聚类的拟合圆柱的轴线单位矢量。

第二判断结果获取子模块，用于判断公式d＜λ是否成立，获得每种组合结果的第二判断结果；其中，λ表示轴线距离阈值。

合并子模块，用于将第一判断结果表示是且第二判断结果表示是的组合结果下的两个钢筋特征点的第一点云聚类进行合并。

二次圆柱拟合模块，用于对每个钢筋的第二点云聚类进行二次圆柱拟合，获得每个钢筋的圆柱点云。

模型匹配模块，用于分别将每个钢筋的圆柱点云与所述钢筋的设计模型进行匹配，获得每个钢筋的模型点云；钢筋的模型点云用于表征所述钢筋的设计模型在钢筋网片中的位姿。

焊接点确定模块，用于根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点。

基于上述实施例，本发明的优点如下：

1.钢筋点云分割与孤立噪点删除。初始扫描点云为一个整体，且存在大量孤立噪点，如何实现对应单个钢筋的点云分割与去噪是一个难问。本发明首先采用欧式聚类对点云进行初步分割与孤立噪点删除，然后利用点云圆柱拟合进一步去除非钢筋特征的点云聚类，同时将拟合的圆柱轴线近似重合的多个点云聚类合并，实现去除非钢筋孤立噪点的同时保证每个钢筋特征只对应一个点云聚类。

2.基于不完整钢筋点云的钢筋模型高鲁棒匹配定位。3D相机单幅扫描得到的点云仅为钢筋正对3D相机的部分特征，直接与钢筋的设计模型进行匹配会发生失真，本发明首先对分割后的不完整钢筋点云进行空间圆柱拟合，绘制出完整的圆柱点云，再通过ICP等匹配方法将钢筋模型与圆柱点云对齐，实现高鲁棒性的钢筋模型精确定位，解决了不完整点云导致的匹配定位失真问题。

3.钢筋模型交叉点识别与提取。计算钢筋轴线两两之间的最近点对(交叉点对)，并采用K近邻算法计算交叉点对到钢筋的模型点云的最短距离d，根据d的大小计算视野范围内的有效交叉点对，进而输出视野范围内的所有焊接点的三维精确坐标和法矢，克服了传统基于图像识别焊接点定位精度差的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术行人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于点云的钢筋网片焊接点自动识别方法，其特征在于，所述方法包括如下步骤：

获取钢筋网片局部区域的三维点云数据集合；

对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类；

分别对每个第一点云聚类进行一次圆柱拟合，及对非钢筋特征的第一点云聚类的进行删除，获得钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果；

根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，对于属于同一钢筋的钢筋特征的第一点云聚类进行合并，获得每个钢筋的第二点云聚类；

对每个钢筋的第二点云聚类进行二次圆柱拟合，获得每个钢筋的圆柱点云；

分别将每个钢筋的圆柱点云与所述钢筋的设计模型进行匹配，获得每个钢筋的模型点云；钢筋的模型点云用于表征所述钢筋的设计模型在钢筋网片中的位姿；

根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点。

2.根据权利要求1所述的点云的钢筋网片焊接点自动识别方法，其特征在于，所述对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类，具体包括：

采用欧式聚类法对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类。

3.根据权利要求1所述的点云的钢筋网片焊接点自动识别方法，其特征在于，所述分别对每个第一点云聚类进行一次圆柱拟合，及对非钢筋特征的第一点云聚类的进行删除，获得钢筋特征的第一点云聚类及每个钢筋特征的第一点云聚类对应的圆柱拟合结果，具体包括：

令i的数值为1；

采用主成分分析方法计算第i个第一点云聚类的协方差矩阵的最大特征向量作为拟合圆柱的轴线单位矢量；

将第i个第一点云聚类中的每个三维点云数据均投影至所述轴线单位矢量的垂直平面上，获得平面点云数据；

对所述平面点云数据进行最小二乘圆拟合，获得拟合圆柱的圆心点和半径；

判断所述半径与钢筋零件标准半径的差值的绝对值是否大于第一预设阈值，获得判断结果；

当所述判断结果表示是，则将所述第一点云聚类作为非钢筋特征的第一点云聚类进行删除；

当所述判断结果表示否，则将所述第一点云聚类作为钢筋特征的第一点云聚类进行保留；

令i的数值增加1，返回步骤“采用主成分分析方法计算第i个第一点云聚类的协方差矩阵的最大特征向量作为拟合圆柱的轴线单位矢量”，直到i的数值大于所有第一点云聚类的总数，输出钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果；所述圆柱拟合结果包括拟合圆柱的轴线单位矢量、圆心点和半径。

4.根据权利要求1所述的点云的钢筋网片焊接点自动识别方法，其特征在于，所述根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，对于属于同一钢筋的钢筋特征的第一点云聚类进行合并，获得每个钢筋的第二点云聚类，具体包括：

根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，利用如下公式计算每种组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线夹角；所述组合结果对位于下层的钢筋特征的第一点云聚类的任意两个为一组进行组合得到的组合结果；

σ＝l₁·l₂；

其中，σ表示轴线夹角，l₁和l₂分别表示不同组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线单位矢量；

判断公式σ＞0.9是否成立，获得每种组合结果的第一判断结果；

根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，利用如下公式计算每种组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线的最短距离；

d＝|p₁-p₂|sin(arccos((p₁-p₂)·l₁)/(|p₁-p₂||l₁|))；

其中，d表示最短距离，p₁和p₂分别表示不同组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线上的点，l₁表示不同组合结果下的其中一个钢筋特征的第一点云聚类的拟合圆柱的轴线单位矢量；

判断公式d＜λ是否成立，获得每种组合结果的第二判断结果；其中，λ表示轴线距离阈值；

将第一判断结果表示是且第二判断结果表示是的组合结果下的两个钢筋特征点的第一点云聚类进行合并。

5.根据权利要求1所述的点云的钢筋网片焊接点自动识别方法，其特征在于，所述根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点，具体包括：

根据每个钢筋的模型点云，构建每个钢筋的空间直线方程；

基于每个钢筋的空间直线方程，确定任意两个钢筋之间的交叉点对；所述交叉点对包括分别位于任意两个钢筋的空间直线方程上的距离最近的两个点；

分别计算每个交叉点对之间的距离；

将距离小于第二预设阈值的交叉点对中的两个点的中点作为焊接点。

6.根据权利要求1所述的点云的钢筋网片焊接点自动识别方法，其特征在于，所述根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点，之后还包括：

按照焊接点与焊接机器人末端焊接工具的距离从小到大的顺序对所有焊接点进行排序，生成焊接路径点。

7.一种基于点云的钢筋网片焊接点自动识别系统，其特征在于，所述系统包括：

三维点云数据获取模块，用于获取钢筋网片局部区域的三维点云数据集合；

聚类模块，用于对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类；

一次圆柱拟合模块，用于分别对每个第一点云聚类进行一次圆柱拟合，及对非钢筋特征的第一点云聚类的进行删除，获得钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果；

合并模块，用于根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，对于属于同一钢筋的钢筋特征的第一点云聚类进行合并，获得每个钢筋的第二点云聚类；

二次圆柱拟合模块，用于对每个钢筋的第二点云聚类进行二次圆柱拟合，获得每个钢筋的圆柱点云；

模型匹配模块，用于分别将每个钢筋的圆柱点云与所述钢筋的设计模型进行匹配，获得每个钢筋的模型点云；钢筋的模型点云用于表征所述钢筋的设计模型在钢筋网片中的位姿；

焊接点确定模块，用于根据每个钢筋的模型点云确定不同钢筋的接触点作为焊接点。

8.根据权利要求7所述的点云的钢筋网片焊接点自动识别系统，其特征在于，所述聚类模块，具体包括：

聚类子模块，用于采用欧式聚类法对所述三维点云数据集合中的三维点云数据进行聚类，及对孤立的三维点云数据的进行删除，获得多个第一点云聚类。

9.根据权利要求7所述的点云的钢筋网片焊接点自动识别系统，其特征在于，所述一次圆柱拟合模块，具体包括：

初始化子模块，用于令i的数值为1；

轴线单位矢量确定子模块，用于采用主成分分析方法计算第i个第一点云聚类的协方差矩阵的最大特征向量作为拟合圆柱的轴线单位矢量；

投影子模块，用于将第i个第一点云聚类中的每个三维点云数据均投影至所述轴线单位矢量的垂直平面上，获得平面点云数据；

最小二乘圆拟合子模块，用于对所述平面点云数据进行最小二乘圆拟合，获得拟合圆柱的圆心点和半径；

判断子模块，用于判断所述半径与钢筋零件标准半径的差值的绝对值是否大于第一预设阈值，获得判断结果；

处理子模块，用于当所述判断结果表示是，则将所述第一点云聚类作为非钢筋特征的第一点云聚类进行删除；当所述判断结果表示否，则将所述第一点云聚类作为钢筋特征的第一点云聚类进行保留；

返回子模块，用于令i的数值增加1，返回步骤“采用主成分分析方法计算第i个第一点云聚类的协方差矩阵的最大特征向量作为拟合圆柱的轴线单位矢量”，直到i的数值大于所有第一点云聚类的总数，输出钢筋特征的第一点云聚类，及每个钢筋特征的第一点云聚类对应的圆柱拟合结果；所述圆柱拟合结果包括拟合圆柱的轴线单位矢量、圆心点和半径。

10.根据权利要求7所述的点云的钢筋网片焊接点自动识别系统，其特征在于，所述合并模块，具体包括：

轴线夹角计算子模块，用于根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，利用如下公式计算每种组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线夹角；所述组合结果对位于下层的钢筋特征的第一点云聚类的任意两个为一组进行组合得到的组合结果；

σ＝l₁·l₂；

其中，σ表示轴线夹角，l₁和l₂分别表示不同组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线单位矢量；

第一判断结果获取子模块，用于判断公式σ＞0.9是否成立，获得每种组合结果的第一判断结果；

最短距离计算子模块，用于根据每个钢筋特征的第一点云聚类对应的圆柱拟合结果，利用如下公式计算每种组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线的最短距离；

d＝|p₁-p₂|sin(arccos((p₁-p₂)·l₁)/(|p₁-p₂||l₁|))；

其中，d表示最短距离，p₁和p₂分别表示不同组合结果下的两个钢筋特征的第一点云聚类的拟合圆柱的轴线上的点，l₁表示不同组合结果下的其中一个钢筋特征的第一点云聚类的拟合圆柱的轴线单位矢量；

第二判断结果获取子模块，用于判断公式d＜λ是否成立，获得每种组合结果的第二判断结果；其中，λ表示轴线距离阈值；

合并子模块，用于将第一判断结果表示是且第二判断结果表示是的组合结果下的两个钢筋特征点的第一点云聚类进行合并。

Images