CN113538486A - 一种提高汽车钣金工件的识别与定位精度的方法 - Google Patents

Abstract

本发明属于无序分拣机器视觉领域，具体的说是一种提高汽车钣金工件的识别与定位精度的方法。该方法包括：一、获取完整待抓取工件场景图像并进行预处理，对图像中工件完成实例分割，根据实例分割结果提取二维图像的边缘；二、对采集得到的待抓取工件场景的点云数据进行预处理操作，根据提取得到的二维图像的边缘作为索引，进一步提取点云数据边缘；并计算点云边缘中的点对特征，建立全局模型描述；三、进行在线的模型匹配，采用基于霍夫投票原理的投票方法获取候选位姿，并采用连接性密度聚类算法对候选位姿进行聚类，并采用ICP配准算法对位姿进行优化。本发明在保证工件识别速度的同时，可以大大的提高对于汽车钣金件的识别与定位精度。

Description

一种提高汽车钣金工件的识别与定位精度的方法

技术领域

本发明属于无序分拣机器视觉领域，具体的说是一种提高汽车钣金工件的识别与定位精度的方法。

背景技术

机器视觉引导的无序分拣系统具有精度高，适应性强等优点，可以很好的完成对非结构环境下的工件的分拣任务。视觉引导的分拣系统可以使得生产线更加的柔性化，更好的适应当今小批量个性化定制生产需求，避免由于机器人示教编程所带来的对于生产线转产周期的限制。

在实际的汽车工业生产加工过程中，各个生产车间需要由后勤物流部门统一调配生产部件。后勤物流部门每天需要处理大量的零部件拆包转运问题，可以采用基于视觉引导的机械臂来代替人工完成对各种零部件的分拣任务，但当分拣的过程中遇到由金属薄板经过钣金工艺加工形成的薄片状钣金件时，由于汽车钣金件特征较少且多集中于边缘、不区分正反面等因素干扰，基于传统的模板匹配的识别与定位算法的效果并不理想。

这种基于模板匹配的工件识别与定位算法的主要流程为：

1)通过对待检测工件的CAD模型进行采样，或相机实时采集的方式生成点云模板文件，用于后续模板匹配过程；

2)采用刚体ICP配准算法或其他配准策略将待测物点云模板向待测物的实际测量点云配准；

3)获取模板到工件场景点云数据的刚体变换关系，并解算出相对于机器人基坐标系的位姿。

上述流程至少存在如下的问题：

1)操作复杂：需要生成待识别工件的表面模板；

2)耗时长：在训练生成点云表面模板的过程中需要花费大量时间，并在进行配准之前需要计算提取点云关键点形成点云特征描述子，算法的耗时较长；

3)使用局限：仅有ICP配准算法完成对工件的识别与定位，由于ICP算法的初始参数的设置问题，可能造成误匹配的情况发生，造成对工件的误识别问题。

发明内容

本发明提供了一种提高汽车钣金工件的识别与定位精度的方法，本发明在保证工件识别速度的同时，可以大大的提高对于汽车钣金件的识别与定位精度，解决了现有对汽车钣金件识别与定位方式操作复杂、耗时长、且容易发生误识别的问题。

本发明技术方案结合附图说明如下：

一种提高汽车钣金工件的识别与定位精度的方法，包括以下步骤：

步骤一、获取完整待抓取工件场景图像并进行预处理，对图像中工件完成实例分割，根据实例分割结果提取二维图像的边缘；

步骤二、对采集得到的待抓取工件场景的点云数据进行预处理操作，根据提取得到的二维图像的边缘作为索引，进一步提取点云数据边缘；并计算点云边缘中的点对特征，建立全局模型描述；

步骤三、进行在线的模型匹配，采用基于霍夫投票原理的投票方法获取候选位姿，并采用连接性密度聚类算法对候选位姿进行聚类，并采用ICP配准算法对位姿进行优化。

所述步骤一的具体方法如下：

11)获取场景二维图像并进行二值、去噪、平滑的预处理操作；

12)搭建Mask R-CNN卷积神经网模型完成对二维图像的实例分割；

13)在Mask R-CNN卷积神经网络模型上添加边缘检测分支，对实例分割的结果进行边缘提取。

所述步骤二的具体方法如下：

21)对采集得到的待抓取工件场景的点云数据进行直通滤波、体素格栅滤波、统计学滤波、法向量估计的预处理操作；

22)根据实例分割的二维图像边缘向三维场景点云数据进行映射，最终提取得边缘点云数据；

23)确定边缘点云数据的PPF特征，并将得到的点对特征存储在Hash表数据结构中形成边缘模型的全局模型描述。

所述步骤22)的具体方法如下：

结合标定得到的相机的内部参数将二维图像尺寸与三维点云数据尺寸进行对齐，并以获取的二维边缘为索引在三维点云数据中搜寻点云边缘。

所述步骤23)的具体方法如下：

一个点云数据中会形成大量点对特征，若含有n个点则会形成n×(n-1)组的点对特征；所述点对特征，一组点对特征由点云数据中的两点与两点所对应的法向量关系共同确定，对于点云中两点m₁和m₂，分别求其对应的法向量n₁和n₂，将两点之间的距离记为d，d＝m₁-m₂，点对特征F定义为：F(m₁,m₂)＝(||d||₂,∠(n₁,d),∠(n₂,d),∠(n₁,n₂))；

其中，∠(n₁,d),∠(n₂,d)分别代表两向量与两点之间连线的夹角，∠(n₁,n₂)代表两向量之间的夹角；任意两向量v₁,v₂之间的夹角通过如下公式进行求解

所述步骤三的具体方法如下：

在场景边缘中选取采样点确定其对应的PPF特征并找到与之对应的全局模型的点对特征，进行旋转使得两组点对特征的对应点和对应向量重合，并在此基础上对模型点对特征旋转角度构建局部坐标系；在局部坐标系张成的二维空间中进行霍夫投票获取候选位姿，并采用连接性密度聚类算法对位姿进行聚类获得最终位姿，并采用ICP配准算法对位姿进行优化，使得到的位姿更加的精确，从而更好的对汽车钣金工件的识别与定位。

本发明的有益效果为：

本发明即提高汽车钣金工件的识别与定位精度的方法，基于Mask R-CNN卷积神经网络对获取得到的二维场景图像进行实例分割，在实例分割的基础上通过边缘检测分支结构提取分割对象的边缘，并对采集得到的场景点云数据进行预处理操作，将二维边缘向三维点云数据进行映射得到点云边缘轮廓；并在得到的点云边缘上计算PPF特征，最后通过广义霍夫投票方法获取待识别对象的候选位姿，采用连接性密度聚类算法对所有候选位姿进行聚类获取粗略位姿，并采用ICP配准算法对位姿进行优化；整个过程在保证工件识别速度的同时，可以大大的提高对于汽车钣金件的识别与定位精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的整体流程图；

图2为构建神经网络总体流程图；

图3为边缘检测分支示意图；

图4为语义分割分支示意图；

图5为总体神经网络结构示意图；

图6为点对特征示意图；

图7为汽车钣金件识别与定位总体方案示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的方法，可以适用于多种场景，例如物流工件拆包转运过程，机械加工上料过程，机械装配组装过程；对汽车钣金工件的识别与定位有如下作用：

1)在工件拆包转运过程，对目标工件识别与定位的精度将直接影响后续生产部门的生产效率；

2)在机械加工上料过程，对工件的识别与定位的精度将直接影响生产线的生产节拍；

3)在机械装配组装过程中，识别与定位的精度将直接影响产品的质量。

对本发明所涉及的名词，做解释如下：

钣金：钣金是针对金属薄板(通常在6mm以下)一种综合冷加工工艺，包括剪、冲/切/复合、折、铆接、拼接、成型(如汽车车身)等。

钣金件：经过钣金工艺加工而成的钢、铝、铜等材质的薄板五金件，在电子电器、通信、汽车工业、医疗器械等领域得到了广泛应用

实例分割：计算机自动从图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记。

边缘检测分支：整体嵌套边缘检测是一种基于深度学习的边缘检测算法，为一种端到端的边缘检测模型。

点云：点云是分布在N维空间的离散点集，主要以三维为主，是对物体表面信息的离散采样。

PPF特征：点对特征描述子(PPF)，考虑带有法向量信息的一组点对之间的距离与向量之间的角度关系构成一组对应的特征向量。

ICP配准算法：分别在待匹配的目标点云P和源点云Q中，按照一定的约束条件，找到最邻近点(p_i,q_i)计算其最优匹配参数R和T，使得误差函数

最小，其中n为最近邻点的个数；p_i为目标点云P中的一点；q_i为源点云Q中与p_i最近的点；R为旋转矩阵；t和T为平移矩阵；

参阅图1和图7，一种提高汽车钣金工件的识别与定位精度的方法，包括以下步骤：

步骤一、获取完整待抓取工件场景图像并进行预处理，对图像中工件完成实例分割，根据实例分割结果提取二维图像的边缘；

11)获取场景二维图像并进行二值、去噪、平滑的预处理操作；

参阅图2和图5，12)搭建Mask R-CNN卷积神经网模型完成对二维图像的实例分割；

其中，Mask R-CNN卷积神经网络对于每一个感兴趣区域即ROI定义对应的损失函数L_MaskR-CNN＝L_cls+L_box+L_mask；

其中，L_cls为分类损失函数；L_cls＝-logP_u；P_u为正确类别u的预测概率；L_box为边框损失函数；

L_mask为分割损失；

为真实分类的预测回归参数；v_i为真实的平移缩放参数；

表示目标区域内像素对应正确类的预测回归参数，y表示目标区域内像素的真实掩码标签；

边框损失函数L_box所涉及的平滑函数具体为：

分割损失中引入二值交叉熵，仅在正确类别上计算误差，避免类间竞争，二值交叉熵定义如下

其中，n为最近邻点的个数；y_i为表示目标区域内每个像素的真实掩码标签；x_i为目标区域内每个像素的预测掩码标签；

参阅图3，13)在Mask R-CNN卷积神经网络模型上添加边缘检测分支，对实例分割的结果进行边缘提取。

对于边缘检测分支，其对应的损失函数为：

其中，l_fuse为类别平衡交叉熵，也即融合输出概率图

与真实图像标签y之间的误差。

类别平衡交叉熵的求解公式如下：

其中，

Y_-和Y₊分别为标签中被标记的边缘与非边缘点；

为图像中的任意像素点；Y为总体点数；

参阅图4、图5和图6，步骤二、对采集得到的待抓取工件场景的点云数据进行预处理操作，根据提取得到的二维图像的边缘作为索引，进一步提取点云数据边缘；并计算点云边缘中的点对特征，建立全局模型描述；

21)对采集得到的待抓取工件场景的点云数据进行直通滤波、体素格栅滤波、统计学滤波、法向量估计的预处理操作；

22)根据实例分割的二维图像边缘向三维场景点云数据进行映射，最终提取得边缘点云数据；具体为：

结合标定得到的相机的内部参数将二维图像尺寸与三维点云数据尺寸进行对齐，并以获取的二维边缘为索引在三维点云数据中搜寻点云边缘。

23)确定边缘点云数据的PPF特征，并将得到的点对特征存储在Hash表数据结构中形成边缘模型的全局模型描述。

所述的点对特征，一组点对特征由点云数据中的两点与两点所对应的法向量关系共同确定，对于点云中两点m₁和m₂，分别求其对应的法向量n₁和n₂，将两点之间的距离记为d，d＝m₁-m₂，点对特征F定义为：F(m₁,m₂)＝(||d||₂,∠(n₁,d),∠(n₂,d),∠(n₁,n₂))。

其中，∠(n₁,d),∠(n₂,d)分别代表两向量与两点之间连线的夹角，∠(n₁,n₂)代表两向量之间的夹角。具体两向量v₁,v₂之间的夹角可以通过如下公式进行求解

对于所述全局模型描述的基本思想是，一个点云数据中会形成大量点对特征，若含有n个点则会形成n×(n-1)组的点对特征，需要采用合适的数据结构对特征进行管理。具体可以采用MurmurHash哈希函数建立哈希表对点对特征进行管理，建立模型的全局特征描述。

步骤三、进行在线的模型匹配，采用基于霍夫投票原理的投票方法获取候选位姿，并采用连接性密度聚类算法对候选位姿进行聚类，并采用ICP配准算法对位姿进行优化。

在场景边缘中选取采样点计算其对应的PPF特征并找到与之对应模型点对特征，进行旋转使得两组点对特征的对应点和对应向量重合，并在此基础上对模型点对特征旋转一个角度构建局部坐标系。在局部坐标系张成的二维空间中进行霍夫投票获取候选位姿，并采用连接性密度聚类算法对位姿进行聚类获得最终位姿，并采用ICP配准算法对位姿进行优化。

所述构建局部坐标系通过局部坐标系的构建降低了描述刚体变换所需要的维度，刚体变换由3自由度降低为6自由度。

对于所述的局部坐标系构建过程具体为：即在工件分拣场景点云数据S中，选取一个参考点s_r，设该参考点位于场景点云的目标对象上，如果该假设正确，则在模型点云数据上必然存在一个参考点m_r与点s_r相对应；计算场景点对特征描述子F_s(s_r,s_i)，并在Hash表中搜寻具有相似距离和法向量方向的点对(m_r,m_i)。将模型点对与场景点对进行配准，需要同时将点的位置和法向量对齐，并将模型数据绕着s_r的法向轴旋转一个角度来实现与场景数据的配准，此时定义配对关系(m_r,α)为模型相对于场景数据中点的局部坐标系。

当模型和场景中具有相似的点对特征时，模型到场景的刚体变换可以描述为：

其中：T_m→g为参考点m_r到局部坐标系的变换矩阵；

为参考点s_r到局部坐标系的变换矩阵；转动角度R_x(α)为模型到场景的转换关系；m_i为场景；

所述基于广义霍夫投票原理，获取候选位姿，是建立一个二维累加器对得到的所有满足条件的可能结果进行计数。

在局部参考坐标系(m_r,α)所张成的二维空间中进行计数，累加器的行数为模型数据中采样点的个数M，累加器的列数为转动角度α∈[0,2π]的采样步长n_angle。

对位姿做进一步的聚类的目的在于缩减最终的位姿数量，排除错误位姿干扰，提高位姿精度

采用一种基于连接性密度聚类算法完成对候选位姿的聚类操作，首先定义界定连接性的邻域半径ε和邻域ε内包含样本点数阈值MinPts。若在空间中给定一点x，则点x的ε邻域点集是以点x为中心，ε为半径的超球区域内样本点的集合N_ε(x)，记为：N_ε(x)＝{y∈X:dist(x,y)≤ε}。

连接性密度聚类算法中还要涉及到如下的几个基本概念：

1)核心点、边界点与噪声点：对于对象x∈X,若|N_ε(x)|≥MinPts，则x称为核心点；若某点为非核心点但在某个核心点的ε邻域内则被定义为边界点；否则被定义为噪声点

2)直接密度可达：在对象集X中，若对象x′为另一个对象x的ε邻域范围内的点，且x为核心点，则从x′到x直接密度可达。

3)密度可达：若在对象集X中，若存在一系列的点集x₁、x₂、...、x_n，对于x_i∈D(1≤i≤n)，若从对象x_i+1到对象x_i是直接密度可达的，则从x_n到x₁密度可达。

4)密度相连：若存在一个对象o，若对象x′与对象x都从o处密度可达，则对象x′与x之间密度相连。

采用连接性密度聚类算法对位姿进行聚类的具体步骤为：

Step1：从候选位姿集合P中随机抽取一个未被访问的位姿对象p，在它的ε邻域内满足阈值要求则被定义为核心点，否则被暂时定义为噪声点；

Step2：找到所有从对象p的密度可达对象，形成一个新的位姿簇；

Step3：通过密度相连生成最终的位姿簇；

Step4：不断迭代上述步骤2和步骤3，当所有对象被标记为“已访问”时停止迭代，不包含在任何聚类中的对象就是噪声数据Noise。

对于聚类得到的粗略位姿进一步采用ICP配准算法进行优化，此时所得的位姿估计的精度高，对于薄片状工件的识别抓取的成功率也有所提高。

对位姿进行优化后，将抓取点的坐标和姿态转换到机器人基坐标系下，并通过串口通信发送给机器人控制模块驱动机械臂进行抓取。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明的保护范围并不局限于上述实施方式中的具体细节，在本发明的技术构思范围内，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (6)

1.一种提高汽车钣金工件的识别与定位精度的方法，其特征在于，包括以下步骤：

步骤一、获取完整待抓取工件场景图像并进行预处理，对图像中工件完成实例分割，根据实例分割结果提取二维图像的边缘；

步骤二、对采集得到的待抓取工件场景的点云数据进行预处理操作，根据提取得到的二维图像的边缘作为索引，进一步提取点云数据边缘；并计算点云边缘中的点对特征，建立全局模型描述；

步骤三、进行在线的模型匹配，采用基于霍夫投票原理的投票方法获取候选位姿，并采用连接性密度聚类算法对候选位姿进行聚类，并采用ICP配准算法对位姿进行优化。

2.根据权利要求1所述的一种提高汽车钣金工件的识别与定位精度的方法，其特征在于，所述步骤一的具体方法如下：

11)获取场景二维图像并进行二值、去噪、平滑的预处理操作；

12)搭建Mask R-CNN卷积神经网模型完成对二维图像的实例分割；

13)在Mask R-CNN卷积神经网络模型上添加边缘检测分支，对实例分割的结果进行边缘提取。

3.根据权利要求1所述的一种提高汽车钣金工件的识别与定位精度的方法，其特征在于，所述步骤二的具体方法如下：

21)对采集得到的待抓取工件场景的点云数据进行直通滤波、体素格栅滤波、统计学滤波、法向量估计的预处理操作；

22)根据实例分割的二维图像边缘向三维场景点云数据进行映射，最终提取得边缘点云数据；

23)确定边缘点云数据的PPF特征，并将得到的点对特征存储在Hash表数据结构中形成边缘模型的全局模型描述。

4.根据权利要求3所述的一种提高汽车钣金工件的识别与定位精度的方法，其特征在于，所述步骤22)的具体方法如下：

结合标定得到的相机的内部参数将二维图像尺寸与三维点云数据尺寸进行对齐，并以获取的二维边缘为索引在三维点云数据中搜寻点云边缘。

5.根据权利要求3所述的一种提高汽车钣金工件的识别与定位精度的方法，其特征在于，所述步骤23)的具体方法如下：

一个点云数据中会形成大量点对特征，若含有n个点则会形成n×(n-1)组的点对特征；所述点对特征，一组点对特征由点云数据中的两点与两点所对应的法向量关系共同确定，对于点云中两点m₁和m₂，分别求其对应的法向量n₁和n₂，将两点之间的距离记为d，d＝m₁-m₂，点对特征F定义为：F(m₁,m₂)＝(||d||₂,∠(n₁,d),∠(n₂,d),∠(n₁,n₂))；

其中，∠(n₁,d),∠(n₂,d)分别代表两向量与两点之间连线的夹角，∠(n₁,n₂)代表两向量之间的夹角；任意两向量v₁,v₂之间的夹角通过如下公式进行求解

6.根据权利要求1所述的一种提高汽车钣金工件的识别与定位精度的方法，其特征在于，所述步骤三的具体方法如下：

在场景边缘中选取采样点确定其对应的PPF特征并找到与之对应的全局模型的点对特征，进行旋转使得两组点对特征的对应点和对应向量重合，并在此基础上对模型点对特征旋转角度构建局部坐标系；在局部坐标系张成的二维空间中进行霍夫投票获取候选位姿，并采用连接性密度聚类算法对位姿进行聚类获得最终位姿，并采用ICP配准算法对位姿进行优化，使得到的位姿更加的精确，从而更好的对汽车钣金工件的识别与定位。

Images