CN116228783A - 一种复杂背景下的工件点云分割方法及其应用 - Google Patents

Abstract

本发明公开了一种复杂背景下的工件点云分割方法，获得不同模板点云对应的哈希表；获取实际场景点云数据，记为实测点云，计算实测点云中任意两个点对的PPF特征描述子；基于PPF特征描述子，在实测点云与单个哈希表中查找特征最相似两个点对，并记录两个点对之间的旋转平移关系；利用霍夫投票方法存储票数较多的前N个旋转平移关系；利用旋转平移关系，在实测点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；若待处理点云满足条件，则存储为工件点云。本方法能够准确分割出复杂背景中的工件点云，鲁棒性高，应用于在散乱工件抓取过程中，能大幅提升抓取精度，避免抓错。

Description

一种复杂背景下的工件点云分割方法及其应用

技术领域

本发明涉及光学三维测量领域，具体涉及一种复杂背景下的工件点云分割方法及其应用。

背景技术

点云分割是将原始3D点云分组为非重叠区域，这些区域对应于一个场景中的特定结构或对象。通常，点云分割处理是工件表面缺陷检测和工件抓取的前置步骤，分割结果的精度影响着缺陷检测精度或者抓件的准确度。现有的点云分割方法包括基于边缘的分割方法和基于聚类的分割方法，当待分割的工件处于简单背景中，上述方法能够很好的识别出工件区域进而实现有效的分割。由于工业环境纷乱复杂，采集到的实际场景点云存在以下复杂性：

一、实际场景点云中不仅包含待处理工件还包括其他干扰物；工件局部被遮挡；

二、实际场景点云中包含有多个相同或近似工件，如散乱、堆叠存放的同一型号工件；

三、工件表面特征少且不同工件的特征相近似，算法难以准确识别、区分。

面对这种处于复杂背景中的工件，点云分割难度将会大大增加，现有分割方法准确性降低，无法实现有效分割。

发明内容

为了解决上述技术问题，本发明提供一种复杂背景下的工件点云分割方法，能够准确分割出复杂背景中的工件点云，鲁棒性高，应用于在散乱工件抓取过程中，能大幅提升抓取精度，避免抓错。

为此，本发明的技术方案如下：

一种复杂背景下的工件点云分割方法，将工件整体或者工件的局部特征区域作为目标区域，进行以下模板数据制作过程：

①获取目标区域的正面点云、侧面点云和背面点云，并将其分别存储，记为不同位置的模板点云；

②利用PPF姿态估计方法计算单个模板点云中任意两个点对的PPF特征描述子，并将各个点对及其PPF特征描述子存入哈希表；

对各个模板点云采用相同的处理，获得不同模板点云对应的哈希表；

实际使用时，利用以下步骤，分割出工件点云：

1)获取实际场景点云数据，记为实测点云，计算实测点云中任意两个点对的PPF特征描述子；

2)基于PPF特征描述子，对每个哈希表分别进行以下处理：

在实测点云与单个哈希表中查找特征最相似两个点对，并记录两个点对之间的旋转平移关系；遍历单个哈希表中的各个点对，得到每个点对所对应的旋转平移关系；利用霍夫投票方法得出各个旋转平移关系所对应的票数，存储票数较多的前N个旋转平移关系，剔除其他旋转平移关系；

3)对于单个旋转平移关系，查找其对应的模板点云，在实测点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；

计算待处理点云与该模板点云总点数之间的比值，若比值大于预设值，则存储待处理点云为工件点云，否则，待处理点云不被存储；

4)对每个旋转平移关系分别进行步骤3)；将每次得出的工件点云分别存储，完成点云分割。

进一步，N为预设值，1≤N≤40％实际场景中包含的工件总数。

进一步，步骤3)中，在实测点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；方式如下：

根据获取实际场景点云数据的视觉传感器中相机的分辨率，生成一幅各点灰度值均为定值A的二维平面图像W；将实测点云中的各三维点依据相机成像模型分别反投影到所述二维平面图像W上，得到各个反投影点，将各反投影点处的灰度值从定值A修改为定值B，存储各个三维点与反投影点之间的对应关系；

利用旋转平移关系将模板点云各点分别转换到实测点云中，得到各个转换三维点，再依据相机成像模型将各个转换三维点分别投影到二维平面图像W，若投影后的位置点处灰度值为定值A，则不保存该位置点坐标；若投影后的位置点处灰度值为定值B，根据预先存储的各个三维点与反投影点之间的对应关系，查找该位置点所对应的实测点云中的三维点，将其存储到待处理点云中。

或者，步骤3)中，在实测点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；方式如下：

利用旋转平移关系将模板点云各点分别转换到实测点云中，得到各个转换三维点；对每个转换三维点分别进行以下处理：

将转换三维点作为中心，以预设值R作为半径约束，构建球形搜索空间，取搜索空间内与中心位置最近接的三维点，存储到待处理点云中；预设值R取值为1～3倍的实测点云点间距。

本发明还公开利用复杂背景下的工件点云分割方法进行工件抓取的方法，在步骤4)之后还进行以下步骤，抓取工件：

5)选取步骤4)分割出一片工件点云进行步骤6)；

6)基于PPF特征描述子，对每个哈希表分别进行以下处理：

在工件点云与哈希表中查找特征最相似两个点对，并记录两个点对之间的旋转平移关系；遍历哈希表中的各个点对，得到每个点对所对应的旋转平移关系；利用霍夫投票方法得出各个旋转平移关系所对应的票数，存储票数较多的前N个旋转平移关系，剔除其他旋转平移关系；

7)对于单个旋转平移关系，查找其对应的模板点云，在工件点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；

计算待处理点云与该模板点云总点数之间的比值；

对各个旋转平移关系分别进行相同的处理，获得多个比值；

将最大比值所对应的旋转平移关系反馈到机器人控制器，引导机器人抓件；

8)判断是否还存在未处理的工件点云，若存在，则挑选一个未处理的工件点云，跳转进行步骤6)，如无，则抓件结束。

优选，在模板数据制作过程中，将工件整体、工件局部特征区域分别作为目标区域，均进行步骤①～②，将工件整体得出的哈希表记为哈希表A，将工件局部特征区域得出的哈希表记为哈希表B；

在步骤1)中利用哈希表B，在步骤6)中，利用哈希表A。

优选，还包括步骤9)在相同的采集位置再次获取实际场景点云数据，重新进行步骤1)～8)，直到步骤2)中无法分割出工件点云或者实际场景点云数据中的点云数量小于阈值时，抓件结束。

优选，用于获取实际场景点云数据的三维传感器设置在工件周围，其与机器人基坐标之间的关系预先标定；

在步骤1)之前，进行以下基准位姿示教过程：

在多个待抓取的工件中，选取一个工件记为基准工件，将基准工件放置在三维传感器的视场范围内，示教机器人抓件轨迹，使其能够准确抓取基准工件；存储该抓件轨迹为基准抓件轨迹；

所述模板数据通过基准工件制作；

在步骤7)中，将最大比值所对应的旋转平移关系记为待抓取工件与基准工件之间的位姿偏移量，将其补偿到基准抓件轨迹，引导机器人抓件。

与现有技术相比较，本申请提供的方法具有以下优点：

(1)基于PPF特征描述子与霍夫投票的方式，得到模板点云与实测点云之间的旋转平移关系，再基于转换关系将模板点云对应到实测点云中，有效抑制了背景中其他物体的干扰，准确性高。

(2)应用于复杂环境下的工件抓取，基于已经准确分割出的工件点云，解算模板点云与工件点云之间的旋转平移关系RT，指导机器人抓件，抓件精度高。而在现有技术中，不进行点云分割直接利用点云配准结果抓取工件的方式，在散乱零件抓取时，容易误抓错抓。本方法得出的旋转平移关系RT匹配程度更高，降低了误抓率。

(3)在点云分割过程中，利用工件局部特征区域作为目标区域制作模板点云，能够快速匹配得出旋转平移关系；而在工件抓取过程中，利用工件整体作为目标区域制作模板点云，能够更准确得出旋转平移关系。

(4)采用将实测点云与模板点云分别反投影，查找工件点云的方式，需要遍历的点数量少，提升了计算速度。

附图说明

图1是具体实施方式中散乱工件的灰度图；

图2是具体实施方式中N＝1时分割出一片工件点云(浅色)示意图。

具体实施方式

以下结合附图和具体实施方式对本发明的技术方案进行详细描述。

一种复杂背景下的工件点云分割方法，将工件整体或者工件的局部特征区域作为目标区域，进行以下模板数据制作过程：

①获取目标区域的正面点云、侧面点云和背面点云，并将其分别存储，记为不同位置的模板点云；

②利用PPF姿态估计方法计算单个模板点云中任意两个点对的PPF特征描述子，并将各个点对及其PPF特征描述子存入哈希表；

对各个模板点云采用相同的处理，获得不同模板点云对应的哈希表；

如图1中的散乱工件，将单个工件整体作为目标区域，将单个工件单独放置在纯色背景中、获取正面点云、侧面点云和背面点云，并将其分别存储，记为不同位置的模板点云(3个模板点云)，在步骤②中得到3个哈希表；

上述模板制作过程，在正式分割之前进行，且仅需要进行一次。

实际使用时，利用以下步骤，分割出工件点云：

1)获取实际场景点云数据，记为实测点云，计算实测点云中任意两个点对的PPF特征描述子；

相比于模板点云，实际场景点云数据中包含有多个堆叠的工件或者背景更加复杂。

2)基于PPF特征描述子，对每个哈希表分别进行以下处理：

在实测点云与单个哈希表中查找特征最相似两个点对，并记录两个点对之间的旋转平移关系；遍历单个哈希表中的各个点对，得到每个点对所对应的旋转平移关系；利用霍夫投票方法得出各个旋转平移关系所对应的票数，存储票数较多的前N个旋转平移关系，剔除其他旋转平移关系；

3)对于单个旋转平移关系，查找其对应的模板点云，在实测点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；

计算待处理点云与该模板点云总点数之间的比值，若比值大于预设值，则存储待处理点云为工件点云，否则，待处理点云不被存储；

4)对每个旋转平移关系分别进行步骤3)；将每次得出的工件点云分别存储，完成点云分割。

其中，N为预设值，1≤N≤40％实际场景中包含的工件总数。

例如：当N＝1时，如图2所示，最多可以分割出1片工件点云；当N＝8时，最多可以分割出8片工件点云。

具体的，步骤3)中，在实测点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中的方式包括以下两种：

方式一：

根据获取实际场景点云数据的视觉传感器中相机的分辨率，生成一幅各点灰度值均为定值A(如全黑图像灰度值均为0)的二维平面图像W；将实测点云中的各三维点依据相机成像模型分别反投影到所述二维平面图像W上，得到各个反投影点，将各反投影点处的灰度值从定值A修改为定值B(如255，处理后将得到二值化图像)，存储各个三维点与反投影点之间的对应关系；

利用旋转平移关系将模板点云各点分别转换到实测点云中，得到各个转换三维点，再依据相机成像模型将各个转换三维点分别投影到二维平面图像W，若投影后的位置点处灰度值为定值A，则不保存该位置点坐标；若投影后的位置点处灰度值为定值B，根据预先存储的各个三维点与反投影点之间的对应关系，查找该位置点所对应的实测点云中的三维点，将其存储到待处理点云中。

方式二：

利用旋转平移关系将模板点云各点分别转换到实测点云中，得到各个转换三维点；对每个转换三维点分别进行以下处理：

将转换三维点作为中心，以预设值R作为半径约束，构建球形搜索空间，取搜索空间内与中心位置最近接的三维点，存储到待处理点云中；预设值R取值为1～3倍的实测点云点间距。

作为一种应用，利用分割出的工件点云抓件：

用于获取实际场景点云数据的三维传感器设置在工件周围，其与机器人基坐标之间的关系预先标定；

在步骤1)之前，进行以下基准位姿示教过程：

在多个待抓取的工件中，选取一个工件记为基准工件，将基准工件放置在三维传感器的视场范围内，示教机器人抓件轨迹，使其能够准确抓取基准工件；存储该抓件轨迹为基准抓件轨迹；

所述模板数据通过基准工件制作；

在步骤4)之后还进行以下步骤，抓取工件：

5)选取步骤4)分割出一片工件点云进行步骤6)；

6)基于PPF特征描述子，对每个哈希表分别进行以下处理：

在工件点云与哈希表中查找特征最相似两个点对，并记录两个点对之间的旋转平移关系；遍历哈希表中的各个点对，得到每个点对所对应的旋转平移关系；利用霍夫投票方法得出各个旋转平移关系所对应的票数，存储票数较多的前N个旋转平移关系，剔除其他旋转平移关系；

7)对于单个旋转平移关系，查找其对应的模板点云，在工件点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；

计算待处理点云与该模板点云总点数之间的比值；

对各个旋转平移关系分别进行相同的处理，获得多个比值；

将最大比值所对应的旋转平移关系反馈到机器人控制器，引导机器人抓件；更具体的，将最大比值所对应的旋转平移关系记为待抓取工件与基准工件之间的位姿偏移量，将其补偿到基准抓件轨迹，引导机器人抓件。

8)判断是否还存在未处理的工件点云，若存在，则挑选一个未处理的工件点云，跳转进行步骤6)，如无，则抓件结束。

作为一种优选的实施方式，在模板数据制作过程中，将工件整体、工件的局部特征区域分别作为目标区域，均进行步骤①～②，将工件整体得出的哈希表记为哈希表A，将工件局部特征区域得出的哈希表记为哈希表B；

在步骤1)中利用哈希表B，在步骤6)中，利用哈希表A。

由于工件的局部特征区域作为模板可以更容易被配准到，能够更加快速的分割出工件点云，所以在最开始分割的时候，在步骤1)中利用哈希表B。而工件的整体作为模板虽然分割速度慢，但是配准结果更为精准，更有利于修正抓件轨迹，所以在步骤6)中，利用哈希表A。

如平板状的散乱工件，尺寸较大，但是表面特征少，起伏小，不易识别，并且多个相同工件堆叠存放，背景复杂，难以实现精准分割。采用本发明方法能够更加合理的从多个堆叠的工件中，分割出其中一个工件，减少周围工件的影响，进而实现有效的抓取。

如图1所示，待抓取的工件数量多，需要重复抓件，即还包括步骤9)在相同的采集位置再次获取实际场景点云数据，重新进行步骤1)～8)，直到步骤2)中无法分割出工件点云或者实际场景点云数据中的点云数量小于阈值时，抓件结束。

前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (8)

1.一种复杂背景下的工件点云分割方法，将工件整体或者工件的局部特征区域作为目标区域，进行以下模板数据制作过程：

①获取目标区域的正面点云、侧面点云和背面点云，并将其分别存储，记为不同位置的模板点云；

②利用PPF姿态估计方法计算单个模板点云中任意两个点对的PPF特征描述子，并将各个点对及其PPF特征描述子存入哈希表；

对各个模板点云采用相同的处理，获得不同模板点云对应的哈希表；

其特征在于，实际使用时，利用以下步骤，分割出工件点云：

1)获取实际场景点云数据，记为实测点云，计算实测点云中任意两个点对的PPF特征描述子；

2)基于PPF特征描述子，对每个哈希表分别进行以下处理：

在实测点云与单个哈希表中查找特征最相似两个点对，并记录两个点对之间的旋转平移关系；遍历单个哈希表中的各个点对，得到每个点对所对应的旋转平移关系；利用霍夫投票方法得出各个旋转平移关系所对应的票数，存储票数较多的前N个旋转平移关系，剔除其他旋转平移关系；

3)对于单个旋转平移关系，查找其对应的模板点云，在实测点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；

计算待处理点云与该模板点云总点数之间的比值，若比值大于预设值，则存储待处理点云为工件点云，否则，待处理点云不被存储；

4)对每个旋转平移关系分别进行步骤3)；将每次得出的工件点云分别存储，完成点云分割。

2.如权利要求1所述复杂背景下的工件点云分割方法，其特征在于：N为预设值，1≤N≤40％实际场景中包含的工件总数。

3.如权利要求1所述复杂背景下的工件点云分割方法，其特征在于：步骤3)中，在实测点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；方式如下：

根据获取实际场景点云数据的视觉传感器中相机的分辨率，生成一幅各点灰度值均为定值A的二维平面图像W；将实测点云中的各三维点依据相机成像模型分别反投影到所述二维平面图像W上，得到各个反投影点，将各反投影点处的灰度值从定值A修改为定值B，存储各个三维点与反投影点之间的对应关系；

利用旋转平移关系将模板点云各点分别转换到实测点云中，得到各个转换三维点，再依据相机成像模型将各个转换三维点分别投影到二维平面图像W，若投影后的位置点处灰度值为定值A，则不保存该位置点坐标；若投影后的位置点处灰度值为定值B，根据预先存储的各个三维点与反投影点之间的对应关系，查找该位置点所对应的实测点云中的三维点，将其存储到待处理点云中。

4.如权利要求1所述复杂背景下的工件点云分割方法，其特征在于：步骤3)中，在实测点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；方式如下：

利用旋转平移关系将模板点云各点分别转换到实测点云中，得到各个转换三维点；对每个转换三维点分别进行以下处理：

将转换三维点作为中心，以预设值R作为半径约束，构建球形搜索空间，取搜索空间内与中心位置最近接的三维点，存储到待处理点云中；预设值R取值为1～3倍的实测点云点间距。

5.如权利要求1～4中任一项所述复杂背景下的工件点云分割方法，其特征在于：在步骤4)之后还进行以下步骤，抓取工件：

5)选取步骤4)分割出一片工件点云进行步骤6)；

6)基于PPF特征描述子，对每个哈希表分别进行以下处理：

在工件点云与哈希表中查找特征最相似两个点对，并记录两个点对之间的旋转平移关系；遍历哈希表中的各个点对，得到每个点对所对应的旋转平移关系；利用霍夫投票方法得出各个旋转平移关系所对应的票数，存储票数较多的前N个旋转平移关系，剔除其他旋转平移关系；

7)对于单个旋转平移关系，查找其对应的模板点云，在工件点云中匹配出与该模板点云相对应的点，将这些点存储到待处理点云中；

计算待处理点云与该模板点云总点数之间的比值；

对各个旋转平移关系分别进行相同的处理，获得多个比值；

将最大比值所对应的旋转平移关系反馈到机器人控制器，引导机器人抓件；

8)判断是否还存在未处理的工件点云，若存在，则挑选一个未处理的工件点云，跳转进行步骤6)，如无，则抓件结束。

6.如权利要求5所述复杂背景下的工件点云分割方法，其特征在于：在模板数据制作过程中，将工件整体、工件局部特征区域分别作为目标区域，均进行步骤①～②，将工件整体得出的哈希表记为哈希表A，将工件局部特征区域得出的哈希表记为哈希表B；

在步骤1)中利用哈希表B，在步骤6)中，利用哈希表A。

7.如权利要求5所述复杂背景下的工件点云分割方法，其特征在于：还包括步骤9)在相同的采集位置再次获取实际场景点云数据，重新进行步骤1)～8)，直到步骤2)中无法分割出工件点云或者实际场景点云数据中的点云数量小于阈值时，抓件结束。

8.如权利要求5所述复杂背景下的工件点云分割方法，其特征在于：用于获取实际场景点云数据的三维传感器设置在工件周围，其与机器人基坐标之间的关系预先标定；

在步骤1)之前，进行以下基准位姿示教过程：

在多个待抓取的工件中，选取一个工件记为基准工件，将基准工件放置在三维传感器的视场范围内，示教机器人抓件轨迹，使其能够准确抓取基准工件；存储该抓件轨迹为基准抓件轨迹；

所述模板数据通过基准工件制作；

在步骤7)中，将最大比值所对应的旋转平移关系记为待抓取工件与基准工件之间的位姿偏移量，将其补偿到基准抓件轨迹，引导机器人抓件。

Images