CN113963129A - 基于点云的船舶小构件模板匹配与在线识别方法 - Google Patents

Abstract

本发明提供基于点云的船舶小构件模板匹配与在线识别方法，包括：将模板工件放置于上料扫描区域；启动工业深度相机；设置模板型号、模板库保存路径，并保存模板；将待打磨工件放置于上料扫描区域；对工件进行视觉识别；输出当前工件型号、位姿和质心坐标；机械臂对工件执行后续作业；本发明基于工业深度相机，对打磨工件进行三维扫描，获取小型构件在上料区域的三维点云；采用直通滤波算法、欧式聚类算法进行工件点云与背景点云的分割，对分割后工件完整点云进行模板建立；设备工作时对分割后的点云采用粗配准与精配准完成工件类型在线识别，形成包含工件类型、工件组态、工件质心的数据包发送至上位机，为智能化打磨设备提供视觉数据支撑。

Description

基于点云的船舶小构件模板匹配与在线识别方法

技术领域

本发明涉及船舶建造领域，尤其涉及基于点云的船舶小构件模板匹配与在线识别方法。

背景技术

在船舶建造过程中，根据PSPC要求，防止船舶零件较大的自由边锐度对油漆喷涂的影响，避免油漆的撕裂脱落，需要对零件的非焊接边进行打磨，去除非焊接边毛刺，使非焊接边圆滑无棱边，达到R2圆角的工艺要求。

目前我国船厂的船舶小型构件打磨作业基本依靠工人手动打磨，打磨作业中持续的震动对工人肌肉造成损伤，同时作业环境恶劣，打磨噪音与飞扬粉尘对工人的听觉与呼吸系统造成严重损伤，因此利用智能化设备代替人工完成打磨作业成为船舶智能制造中的重要方向。

智能化打磨装备在打磨零件前，需要对零件进行识别，确认零件类型，调取相应的打磨工艺参数，目前已有的智能打磨装备一般采用人工预先输入方式，在作业开始前由人工提前输入打磨工件的类型，人工识别零件类型要求每次变更打磨零件前均需人工输入工件信息，限制了装备运行效率，同时，为了节省人工输入时间，往往要求设备仅能打磨某单一类型工件，限制了智能化装备的通用性。

另一部分智能打磨装备依赖视觉系统，对零件进行识别决策，在线识别零件类型，为智能化打磨设备提供先验信息，识别算法的准确度与速度直接影响智能化装备的运行质量与效率。

目前在线识别主要基于2D图像进行零件的识别，利用CCD或CMOS相机获取零件图像信息，利用灰度分析及二维模板匹配算法，对零件进行识别，这类在线识别方法输出信息单一，且识别准确度依赖相机分辨率与现场光源，受现场环境干扰较大，车间内的自然光，人为干扰光线均可能对识别精度造成影响，一般需要添加辅助光源确保识别准确度。

发明内容

本发明的目的是提供基于点云的船舶小构件模板匹配与在线识别方法。

为了实现上述目的，本发明的技术方案是：

基于点云的船舶小构件模板匹配与在线识别方法，其特征在于，包括以下步骤：

步骤S1)将模板工件放置于上料扫描区域；

步骤S2)在上位机端启动工业深度相机；

步骤S3)在上位机端设置模板型号、模板库保存路径，并保存模板；

步骤S4)将待打磨工件放置于上料扫描区域；

步骤S5)在上位机端通过工业深度相机对工件进行视觉识别；

步骤S6)在上位机端输出当前工件型号、位姿和质心坐标；

步骤S7)上位机控制机械臂对工件执行后续作业。

进一步地，所述步骤S5具体包括：

工业深度相机按照生产时各摄像头的摆放位置，自动完成深度信息与彩色图像间的匹配，输出一一对应的深度图像与彩色图像，同时计算像素点的3D坐标，生成3D点云。

进一步地，在所述步骤S5中，通过直通滤波算法滤除原始点云中的背景点云，背景点云由上料扫描区域地面构成，以地面高度作为辨别工件与背景的判别条件，在Z轴方向上设定阈值，滤除大面积的背景点云。

进一步地，在所述步骤S5中，通过欧式聚类分割算法将单个工件点云从多个堆叠摆放的工件点云中分割出来。

进一步地，欧式聚类分割算法具体包括以下步骤：

步骤S501)指定空间中某点p；

步骤S502)通过KD-Tree进行近邻搜索；

步骤S503)搜索得到k个离p最近的点；

步骤S504)将离p的距离小于设定阈值的聚类于集合R；

步骤S505)判断集合R中的元素是否不再增加，若是，欧式聚类分割算法的流程结束，若否，跳转步骤S56；

步骤S506)在集合R中选取p以外的点，跳转至步骤S51，用该点更新p的值。

进一步地，在所述步骤S5中，通过采样一致性初始配准算法将当前点云与模板进行配准，输出得分最高的模板作为当前点云的匹配模板，并输出当前点云与模板点云的相对位姿。

进一步地，采样一致性初始配准算法包括以下步骤：

步骤S511)从待配准点云P中选取n个采样点，且采样点两两之间的距离大于预先给定最小距离阈值d；

步骤S512)在目标点云Q中查找与点云P中采样点具有相似FPFH特征的一个或多个点，从这些相似点中随机选取一个点作为点云P在目标点云Q中的一一对应点。

步骤S513)计算对应点之间刚体变换矩阵,通过求解对应点变换后的距离误差和函数判断当前配准变换的性能，距离误差和函数使用Huber罚函数表示，

其中：

式中mI为一预先给定值，li为第i组对应点变换之后的距离差。

进一步地，在所述步骤S5中，通过迭代最近点算法提高三维模板匹配结果准确度，迭代最近点算法包括以下步骤：

步骤S521)将初始配准后的两片点云P′(经过坐标变换后的源点云)和Q，作为精配准的初始点集；

步骤S522)对源点云P′中的每一点pi，在目标点云Q中寻找距离最近的对应点qi，作为该点在目标点云中的对应点，组成初始对应点对；

步骤S523)采用方向向量阈值剔除错误的对应点对；

步骤S524)计算旋转矩阵R和平移向量T，使最小，即对应点集之间的均方误差最小；

步骤S525)设定某一阈值ε＝dk-dk-1和最大迭代次数Nmax，将上一步得到的刚体变换作用于源点云P′，得到新点云P”。

步骤S526)计算P”和Q的距离误差，如果两次迭代的误差小于阈值ε或当前迭代次数大于Nmax，则迭代结束，否则，将初始配准的点集更新为P”和Q，继续重复上述步骤，直至满足收敛条件。

本发明基于工业深度相机，对打磨工件进行三维扫描，获取小型构件在上料区域的三维点云；采用直通滤波算法、欧式聚类算法进行工件点云与背景点云的分割，对分割后的工件完整点云进行模板建立；设备工作时，对分割后的点云利用SAC-IA(采样一致性初始配准算法)粗配准与ICP(迭代最近点)精配准，完成工件类型的在线识别，并形成包含工件类型、工件组态、工件质心的数据包，发送至上位机，为智能化打磨设备提供视觉数据支撑。

附图说明

图1为本发明所使用的设备结构图。

附图标记：

1工业深度相机、2上料检测区域、3机械臂、4上位机。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种基于点云的船舶小构件模板匹配与在线识别方法，其特征在于，包括以下步骤：

步骤S1)将模板工件放置于上料扫描区域；

步骤S2)在上位机4端启动工业深度相机1；

步骤S3)在上位机4端设置模板型号、模板库保存路径，并保存模板；

步骤S4)将待打磨工件放置于上料扫描区域；

步骤S5)在上位机4端通过工业深度相机1对工件进行视觉识别；

步骤S6)在上位机4端输出当前工件型号、位姿和质心坐标；

步骤S7)上位机4控制机械臂3对工件执行后续作业。

工业深度相机1是船舶小型构件模板匹配与在线识别系统的核心硬件，由普通的RGB彩色摄像头、双目红外摄像头以及脉冲或光线发射、接收器构成，上料检测区域2作为待打磨工件放置区，机械臂3为系统的执行机构，机械臂3根据上位机4发送的数据，搬运打磨工件，上位机4是核心处理机构，处理采集到的点云数据，并将算法结果下发至机械臂3。

步骤S5具体包括：

工业深度相机1按照生产时各摄像头的摆放位置，自动完成深度信息与彩色图像间的匹配，输出一一对应的深度图像与彩色图像，同时计算像素点的3D坐标，生成3D点云。

在步骤S5中，通过直通滤波算法滤除原始点云中的背景点云，背景点云由上料扫描区域地面构成，以地面高度作为辨别工件与背景的判别条件，在Z轴方向上设定阈值，滤除大面积的背景点云。

在步骤S5中，通过欧式聚类分割算法将单个工件点云从多个堆叠摆放的工件点云中分割出来，打磨装备上料过程中，多种不同工件堆叠摆放，由于船舶工件厚度较大(6mm以上)，每个工件点云均可视为独立的聚类，通过聚类间的欧式距离进行分割；同时最上部工件为需要识别的工件，其聚类点云尺寸最大最完整，故在分割之后的形成的多个聚类中选取尺寸最大的聚类即为当前需要识别的工件点云。

欧式聚类分割算法具体包括以下步骤：

步骤S501)指定空间中某点p；

步骤S502)通过KD-Tree进行近邻搜索；

步骤S503)搜索得到k个离p最近的点；

步骤S504)将离p的距离小于设定阈值的聚类于集合R；

步骤S505)判断集合R中的元素是否不再增加，若是，欧式聚类分割算法的流程结束，若否，跳转步骤S56；

步骤S506)在集合R中选取p以外的点，跳转至步骤S51，用该点更新p的值。

在步骤S5中，通过采样一致性初始配准算法将当前点云与模板进行配准，输出得分最高的模板作为当前点云的匹配模板，并输出当前点云与模板点云的相对位姿。

在执行此算法之前，先计算点云的FPFH，本算法包括以下步骤：

步骤S511)从待配准点云P中选取n个采样点，且采样点两两之间的距离大于预先给定最小距离阈值d；

步骤S512)在目标点云Q中查找与点云P中采样点具有相似FPFH特征的一个或多个点，从这些相似点中随机选取一个点作为点云P在目标点云Q中的一一对应点。

步骤S513)计算对应点之间刚体变换矩阵,通过求解对应点变换后的距离误差和函数判断当前配准变换的性能，距离误差和函数使用Huber罚函数表示，

其中，式中mI为一预先给定值，li为第i组对应点变换之后的距离差。

SACROILIAC得到的变换矩阵不精确，只能用于粗配准，在PCL库中的registration模块可实现采样一致性初始配准算法，在点数量较多时，计算FPFH特征较慢，使得采样一致性初始配准算法算法效率很低，此时，需要先对点云进行下采样处理，以减少点的数量，但这会造成部分特征点丢失，使得配准准确度降低。

在步骤S5中，通过迭代最近点算法提高三维模板匹配结果准确度，迭代最近点算法包括以下步骤：

步骤S521)将初始配准后的两片点云P′(经过坐标变换后的源点云)和Q，作为精配准的初始点集；

步骤S522)对源点云P′中的每一点pi，在目标点云Q中寻找距离最近的对应点qi，作为该点在目标点云中的对应点，组成初始对应点对；

步骤S523)初始对应点集中的对应关系并不都是正确的，错误的对应关系会影响最终的配准结果，因此采用方向向量阈值剔除错误的对应点对；

步骤S524)计算旋转矩阵R和平移向量T，使最小，即对应点集之间的均方误差最小；

步骤S525)设定某一阈值ε＝dk-dk-1和最大迭代次数Nmax，将上一步得到的刚体变换作用于源点云P′，得到新点云P”。

步骤S526)计算P”和Q的距离误差，如果两次迭代的误差小于阈值ε或当前迭代次数大于Nmax，则迭代结束，否则，将初始配准的点集更新为P”和Q，继续重复上述步骤，直至满足收敛条件。

迭代最近点算法对参数敏感，在使用前设置以下参数：

(1)setMaximumIterations，最大迭代次数，icp是一个迭代的方法，最多迭代这些次；

(2)setEuclideanFitnessEpsilon，设置收敛条件是均方误差和小于阈值，停止迭代；

(3)setTransformtionEpsilon，设置两次变化矩阵之间的差值(一般设置为1e-10即可)；

(4)setMaxCorrespondenaceDistance，设置对应点对之间的最大距离(此值对配准结果影响较大)。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.基于点云的船舶小构件模板匹配与在线识别方法，其特征在于，包括以下步骤：

步骤S1)将模板工件放置于上料扫描区域；

步骤S2)在上位机端启动工业深度相机；

步骤S3)在上位机端设置模板型号、模板库保存路径，并保存模板；

步骤S4)将待打磨工件放置于上料扫描区域；

步骤S5)在上位机端通过工业深度相机对工件进行视觉识别；

步骤S6)在上位机端输出当前工件型号、位姿和质心坐标；

步骤S7)上位机控制机械臂对工件执行后续作业。

2.根据权利要求1所述的基于点云的船舶小构件模板匹配与在线识别方法，其特征在于，所述步骤S5具体包括：

工业深度相机按照生产时各摄像头的摆放位置，自动完成深度信息与彩色图像间的匹配，输出一一对应的深度图像与彩色图像，同时计算像素点的3D坐标，生成3D点云。

3.根据权利要求2所述的基于点云的船舶小构件模板匹配与在线识别方法，其特征在于，在所述步骤S5中，通过直通滤波算法滤除原始点云中的背景点云，背景点云由上料扫描区域地面构成，以地面高度作为辨别工件与背景的判别条件，在Z轴方向上设定阈值，滤除大面积的背景点云。

4.根据权利要求2所述的基于点云的船舶小构件模板匹配与在线识别方法，其特征在于，在所述步骤S5中，通过欧式聚类分割算法将单个工件点云从多个堆叠摆放的工件点云中分割出来。

5.根据权利要求4所述的基于点云的船舶小构件模板匹配与在线识别方法，其特征在于，欧式聚类分割算法具体包括以下步骤：

步骤S501)指定空间中某点p；

步骤S502)通过KD-Tree进行近邻搜索；

步骤S503)搜索得到k个离p最近的点；

步骤S504)将离p的距离小于设定阈值的聚类于集合R；

步骤S505)判断集合R中的元素是否不再增加，若是，欧式聚类分割算法的流程结束，若否，跳转步骤S56；

步骤S506)在集合R中选取p以外的点，跳转至步骤S51，用该点更新p的值。

6.根据权利要求2所述的基于点云的船舶小构件模板匹配与在线识别方法，其特征在于，在所述步骤S5中，通过采样一致性初始配准算法将当前点云与模板进行配准，输出得分最高的模板作为当前点云的匹配模板，并输出当前点云与模板点云的相对位姿。

7.根据权利要求6所述的基于点云的船舶小构件模板匹配与在线识别方法，其特征在于，采样一致性初始配准算法包括以下步骤：

步骤S511)从待配准点云P中选取n个采样点，且采样点两两之间的距离大于预先给定最小距离阈值d；

步骤S512)在目标点云Q中查找与点云P中采样点具有相似FPFH特征的一个或多个点，从这些相似点中随机选取一个点作为点云P在目标点云Q中的一一对应点。

步骤S513)计算对应点之间刚体变换矩阵,通过求解对应点变换后的距离误差和函数判断当前配准变换的性能，距离误差和函数使用Huber罚函数

表示，

其中：

式中mI为一预先给定值，li为第i组对应点变换之后的距离差。

8.根据权利要求7所述的基于点云的船舶小构件模板匹配与在线识别方法，其特征在于，在所述步骤S5中，通过迭代最近点算法提高三维模板匹配结果准确度，迭代最近点算法包括以下步骤：

步骤S521)将初始配准后的两片点云P′(经过坐标变换后的源点云)和Q，作为精配准的初始点集；

步骤S522)对源点云P′中的每一点pi，在目标点云Q中寻找距离最近的对应点qi，作为该点在目标点云中的对应点，组成初始对应点对；

步骤S523)采用方向向量阈值剔除错误的对应点对；

步骤S524)计算旋转矩阵R和平移向量T，使最小，即对应点集之间的均方误差最小；

步骤S525)设定某一阈值ε＝dk-dk-1和最大迭代次数Nmax，将上一步得到的刚体变换作用于源点云P′，得到新点云P”；

步骤S526)计算P”和Q的距离误差，如果两次迭代的误差小于阈值ε或当前迭代次数大于Nmax，则迭代结束，

否则，将初始配准的点集更新为P”和Q，继续重复上述步骤，直至满足收敛条件。

Images