CN114240960A - 最上层工件的提取方法、装置、设备、介质及产品 - Google Patents

Abstract

本发明提供一种最上层工件的提取方法、装置、设备、介质及产品，方法包括：获取料框及工件的原始点云数据；去除原始点云数据中工件间的过渡点云，得到第一点云数据；将第一点云数据分割为多个局部点云，得到第二点云数据；基于预设的点云特征筛选条件，从第二点云数据中提取最上层工件对应的点云数据。本发明提供的最上层工件的提取方法、装置、设备、介质及产品，通过去除工件间的过渡点云，使工件与工件间的边界更加清晰，便于准确的分割各工件的点云数据，通过预设的点云特征筛选条件可以高效的提取最上层工件对应的点云数据，提高了最上层工件的提取效率和准确性。

Description

最上层工件的提取方法、装置、设备、介质及产品

技术领域

本发明涉及图像处理技术领域，尤其涉及一种最上层工件的提取方法、装置、设备、介质及产品。

背景技术

在智能化产线，通常使用工业机器人配合3D相机来抓取和处理工件，比如将料框中最上层待处理工件抓取到相应的处理平台，该过程中最上层工件的提取质量和准确性，将直接影响工件抓取定位精度，进而影响后续处理流程。

现有的最上层工件提取方法，由于需要计算的数据量较多，数据处理效率低，且由于料框中工件与工件之间存在堆叠状态，通过简单的图像分割获得的最上层工件提取结果不够准确。

因此，现在亟需一种更加高效、准确的最上层工件提取方法以解决上述问题。

发明内容

本发明提供一种最上层工件的提取方法、装置、设备、介质及产品，用以解决现有技术中上层工件提取过程数据处理效率低、提取结果不够准确的缺陷。

第一方面，本发明提供一种最上层工件的提取方法，该方法包括：

获取料框及工件的原始点云数据；

去除所述原始点云数据中工件间的过渡点云，得到第一点云数据；

将所述第一点云数据分割为多个局部点云，得到第二点云数据；

基于预设的点云特征筛选条件，从所述第二点云数据中提取出最上层工件对应的点云数据。

根据本发明提供的一种最上层工件的提取方法，去除所述原始点云数据中工件间的过渡点云，得到第一点云数据之前，还包括：

去除所述原始点云数据中料框背景点云数据以及料框以外的点云数据。

根据本发明提供的一种最上层工件的提取方法，去除所述原始点云数据中料框背景点云以及料框以外的点云数据，包括：

获取未放置工件的料框对应的料框点云数据；

根据所述料框点云数据，计算所述未放置工件的料框对应的料框平面倾角和料框高度；

基于所述料框平面倾角和料框高度，将预先构建的标准料框平面点云数据移动至所述料框点云数据中与料框平面进行拟合，得到第一拟合参数；其中，所述第一拟合参数为Z轴上的拟合值；

获取所述料框点云数据对应的外接矩形，根据所述外接矩形分别确定第二拟合参数和第三拟合参数；其中，所述第二拟合参数为X轴上的拟合值，所述第三拟合参数为Y轴上的拟合值；

基于所述第一拟合参数、第二拟合参数以及第三拟合参数，对所述原始点云数据进行直通滤波，去除所述原始点云数据中料框背景点云数据以及料框以外的点云数据。

根据本发明提供的一种最上层工件的提取方法，去除所述原始点云数据中料框背景点云数据以及料框以外的点云数据之前，还包括：

通过统计滤波去除所述原始点云数据中的散点。

根据本发明提供的一种最上层工件的提取方法，去除所述原始点云数据中工件间的过渡点云，得到第一点云数据，包括：

计算所述原始点云数据中各点到预设数量的邻近点之间的平均距离，并计算得到各点对应的距离标准差；

分别将各点的距离标准差与预设的距离标准差阈值进行比对，根据比对结果确定工件间的过渡点云；

将所述工件间的过渡点云从所述原始点云数据中去除，得到第一点云数据。

根据本发明提供的一种最上层工件的提取方法，基于预设的点云特征筛选条件，从所述第二点云数据中提取出最上层工件对应的点云数据，包括：

确定所述第二点云数据中各个局部点云包含的点数量，并将所述点数量小于预设点数阈值的局部点云去除，得到初步筛选数据；

获取所述初步筛选数据中各个局部点云对应的外接矩形框尺寸，并将所述外接矩形框尺寸超出预设尺寸阈值的局部点云去除，得到二次筛选数据；

确定所述二次筛选数据中各个局部点云的平均高度值，提取所述平均高度值最大的局部点云，得到最上层工件对应的点云数据。

第二方面，本发明还提供一种最上层工件的提取装置，该装置包括：

获取模块，用于获取料框及工件的原始点云数据；

第一处理模块，用于去除所述原始点云数据中工件间的过渡点云，得到第一点云数据；

第二处理模块，用于将所述第一点云数据分割为多个局部点云，得到第二点云数据；

第三处理模块，用于基于预设的点云特征筛选条件，从所述第二点云数据中提取出最上层工件对应的点云数据。

第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述最上层工件的提取方法的步骤。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述最上层工件的提取方法的步骤。

第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述最上层工件的提取方法的步骤。

本发明提供的最上层工件的提取方法、装置、设备、介质及产品，通过去除工件间的过渡点云，使工件与工件间的边界更加清晰，便于准确的分割各工件的点云数据，同时通过预设的点云特征筛选条件可以高效的提取最上层工件对应的点云数据，提高了最上层工件的提取效率和准确性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的最上层工件的提取方法的流程示意图之一；

图2是本发明提供的最上层工件的提取方法的流程示意图之二；

图3是本发明提供的最上层工件的提取装置的结构示意图；

图4是工业机器人扫描工件的状态示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1和图2示出了本发明实施例提供的最上层工件的提取方法，该方法包括：

步骤110：获取料框及工件的原始点云数据。

本实施例中原始点云数据主要指的是装有工件的料框的点云图像，可以通过现有的扫描设备对料框及工件进行扫描获得。

步骤120：去除原始点云数据中工件间的过渡点云，得到第一点云数据。

本实施例中去除原始点云数据中工件间的过渡点云，得到第一点云数据的过程，具体包括：

首先，计算原始点云数据中各点到预设数量的邻近点之间的平均距离，并计算得到各点对应的距离标准差；

然后，分别将各点的距离标准差与预设的距离标准差阈值进行比对，根据比对结果确定工件间的过渡点云；

最后，将工件间的过渡点云从原始点云数据中去除，得到第一点云数据。

考虑到点云数据中工件上的点云比较密集，而工件与工件之间的过渡部分点云相对稀疏，存在点与点间的距离较大且不均匀的特点。

据此，本实施例假设待处理的点云数据中，所有点到其相邻预设数量邻近点的平均距离的统计结果符合正态分布，通过计算每个点到最近的K个点之间的平均距离，即可计算出点云数据中所有点对应的平均距离的标准差，即距离标准差，设定距离标准差阈值，剔除阈值以外的点，即可将工件间的过渡点云去除。

在实际应用过程中，上述距离标准差阈值的设定，可以根据工件边缘过渡部分点与点的距离以及工件上点与点距离的变化大小来确定，如果距离变化不是很大，该阈值需要设定的较小一些，这样更容易区分与工件上的点云数据差异较小的过渡点云。

反之，如果工件边缘过渡部分点与点的距离与工件上点与点的距离变化较大，相对来说，过渡点云比较容易提取到，这样可以适当的增大距离标准差阈值，具体的阈值取值情况可以根据实际需求合理设定。

因此，上述步骤120可以理解为去除过渡点云的环节，通过计算点云数据中各点对应的平均距离和标准差，设置阈值去除层叠工件间的过渡点云，可以增大工件间的间隙。当然，还可以通过形态学滤波处理使工件与工件间的间隙进一步增大，更利于区分点云数据中每个工件的点云。

更优地，为了提高点云数据的处理效率，上述步骤120执行之前，还可以包括：

去除原始点云数据中料框背景点云数据以及料框以外的点云数据。

通过去除料框背景点云数据以及料框以外的点云数据，可以降低后续参与分割的点云数目，减少点云分割所需的时间，进而有效提高了最上层工件的提取效率。

具体地，参见附图2，去除原始点云数据中料框背景点云以及料框以外的点云数据，包括：

首先，获取未放置工件的料框对应的料框点云数据，即料框点云，这里获得的料框点云数据是没有放置工件的料框对应的点云数据。

然后，根据料框点云数据，计算未放置工件的料框对应的料框平面倾角和料框高度；具体地，本实施例根据采集的料框点云数据，计算出料框平面的法向量，进而分别求出料框平面与X轴、Y轴和Z轴的夹角，得到料框平面的倾角，并根据料框点云的平均高度确定料框高度。

接着，基于料框平面倾角和料框高度，将预先构建的标准料框平面点云数据移动至料框点云数据中与料框平面进行拟合，得到第一拟合参数。

具体地，本实施例根据计算出的料框平面倾角和料框高度，移动模板点云(即预先构建好的标准料框平面点云数据)到料框平面位置，验证模板点云与料框点云数据中料框平面的拟合效果，进而可以确定后续直通滤波处理时在Z轴上的值，即第一拟合参数。

之后，获取未放置工件的料框对应的料框点云数据对应的外接矩形，根据外接矩形分别确定第二拟合参数和第三拟合参数。

本实施例根据料框点云的外接矩形可以确定后续直通滤波处理时在X轴上的值，即第二拟合参数，以及在Y轴上的值，即第三拟合参数。从而拟合得到料框的空间自由度参数，即料框平面在三维坐标中X轴、Y轴和Z轴上的位移和旋转角，实现拟合料框自由度参数环节。

最后，基于第一拟合参数、第二拟合参数以及第三拟合参数，对原始点云数据进行直通滤波，去除原始点云数据中料框背景点云数据以及料框以外的点云数据。

本实施例通过获取的上述拟合参数，对原始点云数据在X轴、Y轴和Z轴上分别做直通滤波，去除料框背景点云及料框以外区域的点云，仅留存在工件部分的点云，从而降低了参与分割的点云数量，提高了点云数据的处理效率。

更优地，参见附图2，去除原始点云数据中料框背景点云数据以及料框以外的点云数据之前，还可以包括：

通过统计滤波去除原始点云数据中的散点。

可以理解的是，本实施例中原始点云数据可以理解为带工件的料框点云，通过统计滤波先滤除点云中的散点，消除散点对后续处理产生的影响，进而再利用获得的上述拟合参数对统计滤波后的点云进行直通滤波，可以达到更佳的点云数据预处理效果，提高了点云数据的处理精度。

也就是说，本实施例在步骤110与步骤120之间，还可以设置去除散点和去除料框背景以及料框以外点云这两个预处理步骤，上述两个预处理步骤的设置，可以提高后续点云数据处理精度，同时提高了后续点云数据的处理效率。

步骤130：将第一点云数据分割为多个局部点云，得到第二点云数据。

本实施例对经过去除过渡点云处理后的点云数据，使用欧式聚类分割算法将点云分割成多个局部点云，使属于同一个工件的点聚合成一个点云，实现不同工件对应的点云数据的分割。

步骤140：基于预设的点云特征筛选条件，从第二点云数据中提取出最上层工件对应的点云数据。

本实施例中基于预设的点云特征筛选条件，从第二点云数据中提取出最上层工件对应的点云数据的过程，具体包括：

首先，确定第二点云数据中各个局部点云包含的点数量，并将点数量小于预设点数阈值的局部点云去除，得到初步筛选数据。该过程主要通过点数量多少的判断方式，将较小的点云去除。

然后，获取初步筛选数据中各个局部点云对应的外接矩形框尺寸，并将外接矩形框尺寸超出预设尺寸阈值的局部点云去除，得到二次筛选数据。

由于工件的尺寸是在一定范围内的，通过将每个局部点云的外接矩形的长度和宽度分别与预设的长度阈值范围和宽度阈值范围进行比对，可以去除不在工件尺寸范围内的点云。具体地，如果局部点云外接矩形的长度不在长度阈值范围内或者局部点云外接矩形的宽度不在宽度阈值范围内，均可以将该局部点云去除。

最后，确定二次筛选数据中各个局部点云的平均高度值，提取平均高度值最大的局部点云，得到最上层工件对应的点云数据。

上述步骤140可以理解为特征筛选环节，经过点数量、外接矩形尺寸及点云的平均高度值这三个点云特征筛选条件，可以筛选出符合要求的最上层工件点云，保证了最上层工件提取结果的准确性和可靠性。

下面对本发明提供的最上层工件的提取装置进行描述，下文描述的最上层工件的提取装置与上文描述的最上层工件的提取方法可相互对应参照。

图3示出了本发明实施例提供的最上层工件的提取装置，该装置包括：

获取模块310，用于获取料框及工件的原始点云数据；

第一处理模块320，用于去除原始点云数据中工件间的过渡点云，得到第一点云数据；

第二处理模块330，用于将第一点云数据分割为多个局部点云，得到第二点云数据；

第三处理模块340，用于基于预设的点云特征筛选条件，从第二点云数据中提取出最上层工件对应的点云数据。

更优地，本实施例提供的最上层工件的提取装置，还可以包括：

背景去除模块，用于去除原始点云数据中料框背景点云数据以及料框以外的点云数据。

具体地，本实施例中背景去除模块具体用于：获取未放置工件的料框对应的料框点云数据；根据料框点云数据，计算料框对应的料框平面倾角和料框高度；基于料框平面倾角和料框高度，将预先构建的标准料框平面点云数据移动至料框点云数据中与料框平面进行拟合，得到第一拟合参数；其中，第一拟合参数为Z轴上的拟合值；获取未放置工件的料框对应的料框点云数据对应的外接矩形，根据外接矩形分别确定第二拟合参数和第三拟合参数；其中，第二拟合参数为X轴上的拟合值，第三拟合参数为Y轴上的拟合值；基于第一拟合参数、第二拟合参数以及第三拟合参数，对原始点云数据进行直通滤波，去除原始点云数据中料框背景点云数据以及料框以外的点云数据。

更优地，本发明实施例提供的最上层工件的提取装置，还可以包括：

散点去除模块，用于通过统计滤波去除原始点云数据中的散点。

具体地，本实施例中第一处理模块320具体用于：计算原始点云数据中各点到预设数量的邻近点之间的平均距离，并计算得到各点对应的距离标准差；分别将各点的距离标准差与预设的距离标准差阈值进行比对，根据比对结果确定工件间的过渡点云；将工件间的过渡点云从原始点云数据中去除，得到第一点云数据。

可以理解的是，本实施例中第二处理模块330可以通过欧式聚类分割算法把原始点云数据分割成多个局部点云，使属于同一个工件的点聚合成一个点云，实现不同工件对应的点云数据的分割。

具体地，本实施例中第三处理模块340具体用于：确定第二点云数据中各个局部点云包含的点数量，并将点数量小于预设点数阈值的局部点云去除，得到初步筛选数据；获取初步筛选数据中各个局部点云对应的外接矩形框尺寸，并将外接矩形框尺寸超出预设尺寸阈值的局部点云去除，得到二次筛选数据；确定二次筛选数据中各个局部点云的平均高度值，提取平均高度值最大的局部点云，得到最上层工件对应的点云数据。

在实际应用过程中，本实施例提供的最上层工件的提取装置可以用在坡口切割工作站中，坡口切割工作站上料时，需要通过工业机器人把不同种类的最上层待处理工件抓取到牛眼平台或切割平台上做切割处理。

图4示出了工业机器人扫描工件的状态示意图，图4中工业机器人410安装于机器人底座420上，工业机器人的机械臂末端安装有线扫描相机430，通过线扫描相机430可以对放置于料框440以及其中的待处理工件450进行扫描，获得的点云图像，即原始点云数据回传至工业机器人的控制端，控制端配置有上述最上层工件的提取装置，通过最上层工件的提取装置对点云图像进行分析处理，获得最上层工件的点云数据，进而为生成工业机器人抓取动作控制指令提供数据支持，保证工业机器人能够快速、准确的抓取到料框440中最上层的待处理工件450，提高了坡口切割工作站的自动化工作效率。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行最上层工件的提取方法，该方法包括：获取料框及工件的原始点云数据；去除原始点云数据中工件间的过渡点云，得到第一点云数据；将第一点云数据分割为多个局部点云，得到第二点云数据；基于预设的点云特征筛选条件，从第二点云数据中提取出最上层工件对应的点云数据。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的最上层工件的提取方法，该方法包括：获取料框及工件的原始点云数据；去除原始点云数据中工件间的过渡点云，得到第一点云数据；将第一点云数据分割为多个局部点云，得到第二点云数据；基于预设的点云特征筛选条件，从第二点云数据中提取出最上层工件对应的点云数据。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的最上层工件的提取方法，该方法包括：获取料框及工件的原始点云数据；去除原始点云数据中工件间的过渡点云，得到第一点云数据；将第一点云数据分割为多个局部点云，得到第二点云数据；基于预设的点云特征筛选条件，从第二点云数据中提取出最上层工件对应的点云数据。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种最上层工件的提取方法，其特征在于，包括：

获取料框及工件的原始点云数据；

去除所述原始点云数据中工件间的过渡点云，得到第一点云数据；

将所述第一点云数据分割为多个局部点云，得到第二点云数据；

基于预设的点云特征筛选条件，从所述第二点云数据中提取出最上层工件对应的点云数据。

2.根据权利要求1所述的一种最上层工件的提取方法，其特征在于，去除所述原始点云数据中工件间的过渡点云，得到第一点云数据之前，还包括：

去除所述原始点云数据中料框背景点云数据以及料框以外的点云数据。

3.根据权利要求2所述的一种最上层工件的提取方法，其特征在于，去除所述原始点云数据中料框背景点云以及料框以外的点云数据，包括：

获取未放置工件的料框对应的料框点云数据；

根据所述料框点云数据，计算未放置工件的料框对应的料框平面倾角和料框高度；

基于所述料框平面倾角和料框高度，将预先构建的标准料框平面点云数据移动至所述料框点云数据中与料框平面进行拟合，得到第一拟合参数；其中，所述第一拟合参数为Z轴上的拟合值；

获取所述料框点云数据对应的外接矩形，根据所述外接矩形分别确定第二拟合参数和第三拟合参数；其中，所述第二拟合参数为X轴上的拟合值，所述第三拟合参数为Y轴上的拟合值；

基于所述第一拟合参数、第二拟合参数以及第三拟合参数，对所述原始点云数据进行直通滤波，去除所述原始点云数据中料框背景点云数据以及料框以外的点云数据。

4.根据权利要求2所述的一种最上层工件的提取方法，其特征在于，去除所述原始点云数据中料框背景点云数据以及料框以外的点云数据之前，还包括：

通过统计滤波去除所述原始点云数据中的散点。

5.根据权利要求1所述的一种最上层工件的提取方法，其特征在于，去除所述原始点云数据中工件间的过渡点云，得到第一点云数据，包括：

计算所述原始点云数据中各点到预设数量的邻近点之间的平均距离，并计算得到各点对应的距离标准差；

分别将各点的距离标准差与预设的距离标准差阈值进行比对，根据比对结果确定工件间的过渡点云；

将所述工件间的过渡点云从所述原始点云数据中去除，得到第一点云数据。

6.根据权利要求1所述的一种最上层工件的提取方法，其特征在于，基于预设的点云特征筛选条件，从所述第二点云数据中提取出最上层工件对应的点云数据，包括：

确定所述第二点云数据中各个局部点云包含的点数量，并将所述点数量小于预设点数阈值的局部点云去除，得到初步筛选数据；

获取所述初步筛选数据中各个局部点云对应的外接矩形框尺寸，并将所述外接矩形框尺寸超出预设尺寸阈值的局部点云去除，得到二次筛选数据；

确定所述二次筛选数据中各个局部点云的平均高度值，提取所述平均高度值最大的局部点云，得到最上层工件对应的点云数据。

7.一种最上层工件的提取装置，其特征在于，包括：

获取模块，用于获取料框及工件的原始点云数据；

第一处理模块，用于去除所述原始点云数据中工件间的过渡点云，得到第一点云数据；

第二处理模块，用于将所述第一点云数据分割为多个局部点云，得到第二点云数据；

第三处理模块，用于基于预设的点云特征筛选条件，从所述第二点云数据中提取出最上层工件对应的点云数据。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述最上层工件的提取方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述最上层工件的提取方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述最上层工件的提取方法的步骤。

Images