CN115330824A - 盒体抓取方法、装置和电子设备 - Google Patents

Abstract

本公开提供一种盒体抓取方法、装置和电子设备，该盒体抓取方法包括：获取目标盒体的初始三维点云信息；对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数；根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像，其中，预设形状至少包含目标盒体的抓取表面的形状；根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。本公开在抓取盒体时，能够实现高效准确的抓取每个盒体。

Description

盒体抓取方法、装置和电子设备

技术领域

本公开涉及计算机技术领域，尤其涉及盒体抓取方法、装置和电子设备。

背景技术

在盒体的抓取等应用中，需要摄像机采集到盒体的三维点云信息后，控制抓取设备对盒体进行抓取。但是，在实际应用中，会存在摄像头单次采集到至少两个盒体的三维点云信息，这样会导致抓取设备无法实现对盒体的进行单个的抓取。

基于上述技术问题，在相关技术中通过采集大量数据进行神经网络模型的训练，然后采用训练好的神经网络模型对盒体的三维点云信息进行分割，得到盒体的三维点云信息。但是该方式训练神经网络模型需要预先采集大量训练数据，存在过程繁琐的问题。

发明内容

本公开的多个方面提供盒体抓取方法、装置和电子设备，以解决获取确定盒体的三维点云信息的过程繁琐耗时的问题。

本公开实施例第一方面提供一种盒体抓取方法，包括：获取目标盒体的初始三维点云信息；对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数；根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像，其中，预设形状至少包含目标盒体的抓取表面的形状；根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。

本公开实施例第二方面提供一种盒体抓取装置，包括：

获取模块，用于获取目标盒体的初始三维点云信息；

处理模块，用于对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；

检测模块，用于对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数；

确定模块，用于根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像；

控制模块，用于根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。

本公开实施例第三方面提供一种电子设备，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面的盒体抓取方法。

本公开第四方面提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述第一方面的盒体抓取方法。

本公开第五方面提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述第一方面的盒体抓取方法。

本公开实施例应用在盒体的上下料的场景中，通过获取目标盒体的初始三维点云信息；对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；检测模块，用于对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数；确定模块，用于根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像；根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。本公开在抓取盒体时，能够实现高效准确的抓取每个盒体。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1为相关技术提供的一种盒体抓取方法的示意图；

图2为本公开示例性实施例提供的一种盒体抓取方法的应用场景图；

图3为本公开示例性实施例提供的一种盒体抓取方法的步骤流程图；

图4为本公开示例性实施例提供的一种盒体抓取方法的示意图；

图5为本公开示例性实施例提供的另一种盒体抓取方法的示意图；

图6为本公开示例性实施例提供的另一种盒体抓取方法的步骤流程图；

图7为本公开示例性实施例提供的一种去除离群点的示意图；

图8为本公开示例性实施例提供的一种盒体抓取装置的结构框图；

图9为本公开示例性实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开具体实施例及相应的附图对本公开技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

在相关技术中，是将工业三维相机拍摄的盒体的三维点云信息映射为二维彩色图像，然后通过二维彩色图像检测盒体的边缘，进行盒体的抓取。示例性地，参照图1，盒体11对应的二维彩色图像12，其中二维彩色图像中图案和线条也会被检测出来，会干扰到对盒体的边缘检测，使获得的盒体边缘不准确，如13，进而影响该盒体的抓取。

基于上述问题，本公开通过获取目标盒体的初始三维点云信息；对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；检测模块，用于对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数；确定模块，用于根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像；根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。首先，本公开能够实时获取目标盒体三维点云信息，得到二维掩膜图像，实现目标盒体的抓取，不需要预先训练抓取模型，过程简单高效。其次，本公开将初始三维点云信息，映射得到目标盒体的至少一个目标盒体的二维掩膜图像，并不需要目标盒体的图案和线条信息，避免了图案和线条对目标盒体形状的干扰。最后，采用角点检测，能够准确的得到目标盒体至少一个目标盒体的二维掩膜图像，提高了后续抓取目标盒体的准确度。

在本实施例中，可以是借助云计算系统或者电子设备实现整体的盒体抓取方法。此外，执行盒体抓取方法的服务器可以为云服务器，以便借助于云上资源的优势运行各种算法；相对于云端，盒体抓取方法也可以应用于常规服务器或服务器阵列等服务端设备，在此不加以限定。

此外，本公开实施例的一种应用场景如图2，图2中包括抓取设备21和传送装置12，传送装置12上装置多个盒体T1至T4，抓取设备11上配置有工业三维相机(未示出)，工件三维相机会对进入其采集视角内的盒体进行三维点云信息的采集。其中，在传送装置12上的盒体，可以是一个进入工业三维相机的采集视角，也可以是多个一起进入工业三维相机的采集视角。示例性地，参照图2，工件三维相机的采集视角如区域A，其中，盒体T1和盒体T4会以一个的形式进入采集视角A，盒体T2和盒体T3会一起进入采集视角A。

在盒体的抓取过程中，通过采集的目标盒体的三维点云信息，定位目标盒体的位姿信息和尺寸信息，对目标盒体进行准确的抓取。在本公开中，盒体可以是任意形状的包装盒，如立方体，长方体，或者不规则形状盒体，该盒体的一面可以是多边形。

此外，图2只是示例性的一种应用场景，本公开实施例可以应用在任意对盒体的抓取场景中。本公开实施例不对具体的应用场景进行限定。

图3为本公开示例性实施例提供的一种盒体抓取方法的步骤流程图。如图3所示该盒体抓取方法具体包括以下步骤：

S301，获取目标盒体的初始三维点云信息。

其中，目标盒体可以是一个或者多个，参照图2，目标盒体可以是盒体T1或盒体T4单独的一个，也可以是盒体T2和盒体T3这样的两个。

进一步地，目标盒体的初始三维点云信息，可以是工业三维相机对进入拍摄视角的目标盒体进行拍摄，拍摄得到的初始三维点云信息包括：预设表面的三维点云信息，还可以包括与预设表面连接的其他表面的三维点云信息。

在工业三维相机的实际拍摄过程中，是对目标盒体中远离传送装置的表面进行点云信息的采集。参照图4中，若进入拍摄视角的是一个目标盒体T1，则工业三维相机是正对目标盒体T1的上表面m1进行点云信息的采集，其中，目标盒体T1的侧面m2和侧面m3也可能会被采集到，得到的初始三维点云信息41，初始三维点云信息41中，点云信息D1对应上表面m1，点云信息D2对应侧面m2，点云信息D3对应侧面m3。该初始三维点云信息41包括多个点，每个点具有三维坐标(x，y，z)和法向信息(N)。其中，42为初始三维点云信息41的左视图，N1是点云信息D1的法向信息，N2是点云信息D2的法向信息，N3是点云信息D3的法向信息。

示例性地，若进入拍摄视角的是多个目标盒体，参照图5，目标盒体T2、目标盒体T3和目标盒体T4，则工业三维相机是正对目标盒体T2、目标盒体T3和目标盒体T4的上表面m4进行点云信息的采集，其中，目标盒体T2的侧面m5和侧面m7，目标盒体T3的侧面m6和侧面m8也可能会被采集到，得到的初始三维点云信息51，初始三维点云信息51中，点云信息D4对应上表面m4，点云信息D5对应侧面m5，点云信息D6对应侧面m6，点云信息D7对应侧面m7，点云信息D8对应侧面m8。该初始三维点云信息51包括多个点，每个点具有三维坐标(x，y，z)和法向信息(N)。其中，52为初始三维点云信息51的左视图，N4是点云信息D4的法向信息，N5是点云信息D5的法向信息，N6是点云信息D6的法向信息，N7是点云信息D7的法向信息，N8是点云信息D8的法向信息。

在本公开中，初始三维点云信息可以包括目标盒体多个表面的三维点云信息。

S302，对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像。

其中，预设表面是远离传送装置的表面，例如图4中的上表面m1和图5中的上表面m4。

在本公开中，在初始三维点云信息中提取预设表面的三维点云信息，如图4中的点云信息D1和图5中的点云信息D5，然后将预设表面的三维点云信息映射为整体二维掩膜图像。其中，具体的映射方法可以是采用工业三维相机的内参进行映射。

此外，整体二维掩膜图像中的各个像素点为白色，即各像素点的RGB值为(255,255,255)。其中，每个像素点具有坐标值(x，y)。

S303，对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数。

其中，角点检测可以通过确定整体二维掩膜图像中图像边缘曲线上曲率极大值的点为角点。在本公开中，还可以通过其他方式确定整体二维掩膜图像的角点，在此不加以限定。

进一步地，得到的角点参数包括：角点的个数以及每个角点的位置信息。

示例性地，参照图4，对整体二维掩膜图像Y1进行角点检测得到四个角点。参照图5，对整体二维掩膜图像Y3进行角点检测得到12个角点(t1至t12)。

S304，根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像。

其中，预设形状至少包含目标盒体的抓取表面的形状。

在本公开中，预设形状是目标盒体一个表面的形状，该预设形状可以预先存储在存储空间中，在检测到整体二维掩膜图像的角点后，可以按照组合的方式连接多个角点，若多个角点连接后形成的区域和预设形状相同，则将该多个角点围成的区域作为至少一个目标盒体的二维掩膜图像。

进一步地，检测得到角点后，将角点围成与预设形状相同或者相似的区域确定为至少一个目标盒体的二维掩膜图像。

示例性地，参照图4，对整体二维掩膜图像Y1进行角点检测得到四个角点，四个角点围成的形状与预设形状相同，则在整体二维掩膜图像Y1，该四个角点围成的区域为至少一个目标盒体的二维掩膜图像Y2。参照图5，对整体二维掩膜图像Y3进行角点检测得到12个角点(t1至t12)。其中，t1、t2、t4和t5围成的区域为一个至少一个目标盒体的二维掩膜图像(Y4)。t3、t6、t7和t8围成的区域为另一个至少一个目标盒体的二维掩膜图像(Y5)。

另一种可选实施例中，参照图5，在得到二维掩膜图像Y4和二维掩膜图像Y5后，剩下的角点(t9至t12)围成的二维掩膜图像Y6的形状与预设形状不同，可以确定二维掩膜图像Y6对应的盒体T4不符合抓取位姿，则可以对盒体T4不进行抓取，通过传送带回收待重新分拣，或者报警以提示工作人员对该盒体T4进行处理。

S305，根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。

在本公开中，在获取到至少一个目标盒体的二维掩膜图像后，则可以确定目标盒体的位姿信息和尺寸信息，进而实现对目标盒体的准确抓取。

示例性地，参照图4和图2，在确定盒体T1的位姿信息和尺寸信息后，可以对盒体T1进行抓取。参照图5和图2，通过至少一个目标盒体的二维掩膜图像Y4可以控制抓取设备对盒体T2进行准确的抓取，通过至少一个目标盒体的二维掩膜图像Y5可以控制抓取设备对盒体T3进行准确的抓取。

在本公开中，当只有一个目标盒体进入抓取范围时，可以对该目标盒体进行准确的抓取，在有多个目标盒体且该多个目标盒体紧贴放置，进入抓取范围时，可以控制抓取设备依次进行准确抓取，进而本公开能够实现对目标盒体一次进行单个准确抓取，避免抓取错误。此外，由于本公开采用的是二维掩膜图像进行目标盒体的抓取，因此，能够避免目标盒体上的图案对抓取的影响。

进一步地，在上述实施例的基础上，本公开实施例提供另一种盒体抓取方法，参照图6，具体包括如下步骤：

S601，控制工业三维相机对目标盒体进行点云采集，得到初始三维点云信息。

其中，目标盒体在传送装置上放置，目标盒体被传送装置传送至工业三维相机的采集视角内。示例性地，参照图2，传送装置22可以是传送带。采集视角如区域A。

在本公开中，工业三维相机采用相机模型、双目系统和点云模型实现对目标盒体的点云采集，具体实现过程，在此不加以限定。得到的初始三维点云信息包括多个点，每个点都具有三维坐标以及法向信息。

此外，工业三维相机是采集目标盒体的预设表面的点云信息，在对预设表面采集时，会采集到其他表面的点云信息。

S602，对初始三维点云信息进行预处理，得到目标三维点云信息。

其中，目标三维点云信息包括：目标盒体在预设表面的三维点云信息。对初始三维点云信息预处理的目的是去除预设表面外其他表面的三维点云信息，并且去除预设表面的离群点。可以采用点云聚类和去除离群点等方式对初始三维点云信息进行预处理，得到目标三维点云信息。

具体地，对初始三维点云信息进行预处理，得到目标三维点云信息，包括：采用聚类分析方式，删除初始三维点云信息中不属于预设表面的三维点云信息，得到预设表面的目标三维点云信息；并且/或者，去除初始三维点云信息中的离群点，得到目标三维点云信息。

一种可选实施例中，可以先采用聚类分析方法，删除初始三维点云信息中不属于预设表面的三维点云信息，得到预设表面的中间三维点云信息，然后去除中间三维点云信息中的离群点，得到目标三维点云信息。

另一种可选实施例中，可以去除初始三维点云信息中的离群点，得到中间三维点云信息，然后采用聚类分析方法，删除中间三维点云信息中不属于预设表面的三维点云信息，得到预设表面的目标三维点云信息。

在本公开中，采用上述方式可以得到均匀分布且只有预设表面的目标三维点云信息。

其中，删除不属于预设表面的三维点云信息，得到预设表面的目标三维点云信息，包括：在初始三维点云信息中，确定每个点的法向信息；初始三维点云信息中，将属于同一法向信息的点进行聚类，得到多个聚类；确定包括点的数量的最多的聚类为目标聚类；将属于目标聚类的三维点云信息确定为预设表面的目标三维点云信息。

参照图4，对初始三维点云信息中，法向信息相同的点进行聚类，点云信息D1中的点的法向信息均为N1，则聚为一类。点云信息D2中的点的法向信息均为N2，则聚为一类。点云信息D3中的点的法向信息均为N3，则聚为一类。其中，点云信息D1包括的点最多，则点云信息D1对应的聚类为目标聚类，点云信息D1为目标三维点云信息。

此外，图5确定目标三维点云信息的方式与图4相同，法向信息均为N4的点聚为一类。法向信息均为N5的点聚为一类。法向信息均为N6的点聚为一类。法向信息均为N7的点聚为一类。法向信息均为N8的点聚为一类。进一步确定点云信息D4为目标三维点云信息。

进一步地，去除离群点，是去除点初始三维点云信息中距离点群体较远的点。示例性地，参照图7，为图5中左视图52的放大图，其中，区域L中的点即为离群点，将离群点删除可以得到质量更高的目标三维点云信息。

此外，本公开还可以对初始三维点云信息中的点进行其他处理，使目标三维点云信息中的点分布更加均匀，具体的处理方式在此不加以限定。

S603，将目标三维点云信息映射为整体二维掩膜图像。

其中，将目标三维点云信息映射为整体二维掩膜图像，包括：将目标三维点云信息投影为二维信息；确定二维信息对应的区域为整体二维掩膜图像，整体二维掩膜图像中的每个像素点为白色，且每个像素点具有对应的二维信息。

其中，目标三维点云信息中，每个点具有三维坐标(x，y，z)，其中投影为的二维信息是指每个点由三维坐标(x，y，z)转换为二维坐标(x，y)，投影可以是沿着目标三维点云信息所在平面的法向，向与该法向垂直的平面进行投影，投影后的二维信息所在的区域确定为二维掩膜图像。

S604，对整体二维掩膜进行角点检测，以便获取整体二维掩膜图像的角点参数。

具体角点检测的方式参照上述实施例内容的描述，在此不再赘述。

S605，根据预设形状，在整体二维掩膜图像的各角点之间进行分割连线。

其中，对各角点中多个目标角点连接后的形状与预设形状相似；其中，预设形状是目标盒体一个表面的形状，该预设形状预先存储，将多个角点围成的形状与预设形状匹配，若相似，则确定该多个角点围成的二维掩膜图像为目标盒体的二维掩膜图像。

示例性地，参照图4，整体二维掩膜图像Y1中的所有角点为目标角点。参照图5，整体二维掩膜图像Y3中的角点t1、角点t2、角点t4和角点t5连线。角点t3、角点t6、角点t7和角点t8连线。

S606，筛选出所有与预设形状一致的角点包围形状，并将其作为各目标盒体的二维掩膜图像。

进一步地，将剩余的角点连线后得到的角点包围形状与预设形状不一致，则重新分割或者报警处理。例如，在图5中，先连接角点点t3、角点t6、角点t7和角点t8得到一个预设形状的二维掩膜图像Y5为目标盒体的二维掩膜图像，然后对角点t1、角点t2、角点t4和角点t5连线，得到另一个预设形状的二维掩膜图像Y4，对剩余的t9、角点t10、角点t11和角点t12连线得到的角点包围形状与预设形状不一致，则可以进行报警处理。

其中，将一组目标角点中各个角点收尾连接，则得到至少一个目标盒体的二维掩膜图像。在本公开中，针对多个目标盒体的情况，该方法是对整体二维掩膜图像的分割，以得到单个目标盒体的二维掩膜图像，进而可以将贴合的目标盒体分开，分别进行抓取。

S607，根据至少一个目标盒体的二维掩膜图像，在目标三维点云信息中提取单个目标盒体的三维点云信息。

其中，在获取到单个目标盒体的二维掩膜图像后，可以根据该二维掩膜图像在目标三维点云信息中匹配，并提取单个目标盒体的三维点云信息。

示例性地，参照图4，至少一个目标盒体的二维掩膜图像Y1，在目标三维点云信息中匹配得到单个目标盒体的三维点云信息D1。参照图5，至少一个目标盒体的二维掩膜图像Y4，在目标三维点云信息D4中匹配得到单个目标盒体的三维点云信息D5。形状的二维掩膜图像Y5，在目标三维点云信息D4中匹配得到单个目标盒体的三维点云信息D6。

S608，根据单个目标盒体的三维点云信息，确定目标盒体的位姿信息和尺寸信息。

其中，单个目标盒体的三维点云信息包括多个点，每个点具有三维坐标以及法向信息，根据三维坐标能够确定该目标盒体的位姿信息和尺寸信息。

S609，根据位姿信息和尺寸信息，控制抓取设备抓取对应的单个目标盒体。

其中，抓取设备依据位姿信息和尺寸信息进行单个目标盒体的抓取。

在本公开中，当只有一个目标盒体进入抓取范围时，可以对该目标盒体进行准确的抓取，在有多个目标盒体且该多个目标盒体紧贴放置，进入抓取范围时，由于多个目标盒体在点云上很难区分，但是通过二维掩膜图像进行角点检测，可以提取到单个目标盒体对应的二维掩膜图像，进而将单个目标盒体的点云分割出来，实现准确的抓取。

在本公开实施例中，参照图8，除了提供盒体抓取方法之外，还提供一种盒体抓取装置80，用于执行上述的盒体抓取方法；该盒体抓取装置80包括：

获取模块81，用于获取目标盒体的初始三维点云信息；

处理模块82，用于对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；

检测模块83，用于对整体二维掩膜图像进行角点检测，得到至少一个目标盒体的二维掩膜图像，预设形状为目标盒体一个表面的形状；

确定模块84，用于根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像；

控制模块85，用于根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。

一种可选实施例中，处理模块82具体用于：对初始三维点云信息进行预处理，得到目标三维点云信息，目标三维点云信息包括：目标盒体在预设表面的三维点云信息；将目标三维点云信息映射为整体二维掩膜图像。

一种可选实施例中，处理模块82在将目标三维点云信息映射为整体二维掩膜图像时，具体用于：将目标三维点云信息投影为二维信息；确定二维信息对应的区域为整体二维掩膜图像，整体二维掩膜图像中的每个像素点为白色，且每个像素点具有对应的二维信息。

一种可选实施例中，处理模块82在对初始三维点云信息进行预处理，得到目标三维点云信息时，具体用于：采用聚类分析方式，删除初始三维点云信息中不属于预设表面的三维点云信息，得到预设表面的目标三维点云信息；并且/或者，去除初始三维点云信息中的离群点，得到目标三维点云信息。

一种可选实施例中，处理模块82在采用聚类分析方式的情形下，删除不属于预设表面的三维点云信息，得到预设表面的目标三维点云信息时，具体用于：在初始三维点云信息中，确定每个点的法向信息；初始三维点云信息中，将属于同一法向信息的点进行聚类，得到多个聚类；确定包括点的数量的最多的聚类为目标聚类；将属于目标聚类的三维点云信息确定为预设表面的目标三维点云信息。

一种可选实施例中，确定模块84，具体用于根据预设形状，在整体二维掩膜图像的各角点之间进行分割连线；筛选出所有与预设形状一致的角点包围形状，并将其作为各目标盒体的二维掩膜图像。

一种可选实施例中，控制模块85，具体用于根据至少一个目标盒体的二维掩膜图像，在目标三维点云信息中提取单个目标盒体的三维点云信息；根据单个目标盒体的三维点云信息，确定目标盒体的位姿信息和尺寸信息；根据位姿信息和尺寸信息，控制抓取设备抓取对应的单个目标盒体。

一种可选实施例中，获取模块81，具体用于控制工业三维相机对目标盒体进行点云采集，得到初始三维点云信息；其中，目标盒体在传送装置上放置，目标盒体被传送装置传送至工业三维相机的采集视角内。

本公开提供的盒体抓取装置能够实现对目标盒体一次进行单个准确抓取，避免抓取错误。此外，由于本公开采用的是二维掩膜图像进行目标盒体的抓取，因此，能够避免目标盒体上的图案对抓取的影响。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图9为本公开一示例实施例提供的电子设备的结构示意图。如图9所示，该电子设备90包括：处理器91，以及与处理器91通信连接的存储器92，存储器92存储计算机执行指令。

其中，处理器执行存储器存储的计算机执行指令，以实现上述任一方法实施例所提供的盒体抓取方法，具体功能和所能实现的技术效果此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任一方法实施例提供的盒体抓取方法。

本公开实施例还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一方法实施例提供的盒体抓取方法。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本公开各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (11)

1.一种盒体抓取方法，其特征在于，包括：

获取目标盒体的初始三维点云信息；

对所述初始三维点云信息进行处理，得到所述目标盒体在预设表面的整体二维掩膜图像；

对所述整体二维掩膜图像进行角点检测，以便获取所述整体二维掩膜图像的角点参数；

根据预设形状以及获取的所述整体二维掩膜图像的角点参数，确定至少一个所述目标盒体的二维掩膜图像，其中，所述预设形状至少包含所述目标盒体的抓取表面的形状；

根据所述至少一个所述目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。

2.根据权利要求1所述的盒体抓取方法，其特征在于，所述对所述初始三维点云信息进行处理，得到所述目标盒体在预设表面的整体二维掩膜图像，包括：

对所述初始三维点云信息进行预处理，得到目标三维点云信息，所述目标三维点云信息包括：所述目标盒体在预设表面的三维点云信息；

将所述目标三维点云信息映射为所述整体二维掩膜图像。

3.根据权利要求2所述的盒体抓取方法，其特征在于，所述将所述目标三维点云信息映射为所述整体二维掩膜图像，包括：

将所述目标三维点云信息投影为二维信息；

确定所述二维信息对应的区域为所述整体二维掩膜图像，所述整体二维掩膜图像中的每个像素点为白色，且每个像素点具有对应的二维信息。

4.根据权利要求2所述的盒体抓取方法，其特征在于，所述对所述初始三维点云信息进行预处理，得到目标三维点云信息，包括：

采用聚类分析方式，删除初始三维点云信息中不属于所述预设表面的三维点云信息，得到所述预设表面的目标三维点云信息；

并且/或者，

去除所述初始三维点云信息中的离群点，得到所述目标三维点云信息。

5.根据权利要求4所述的盒体抓取方法，其特征在于，在采用聚类分析方式的情形下，所述删除初始三维点云信息中不属于所述预设表面的三维点云信息，得到所述预设表面的目标三维点云信息，包括：

在初始三维点云信息中，确定每个点的法向信息；

初始三维点云信息中，将属于同一法向信息的点进行聚类，得到多个聚类；

确定包括点的数量的最多的聚类为目标聚类；

将属于所述目标聚类的三维点云信息确定为所述预设表面的目标三维点云信息。

6.根据权利要求1至5中任一项所述的盒体抓取方法，其特征在于，根据预设形状以及获取的所述整体二维掩膜图像的角点参数，得到单个所述目标盒体的二维掩膜图像，包括：

根据所述预设形状，在所述整体二维掩膜图像的各角点之间进行分割连线；

筛选出所有与所述预设形状一致的角点包围形状，并将其作为各所述目标盒体的二维掩膜图像。

7.根据权利要求1至5中任一项所述的盒体抓取方法，其特征在于，所述根据所述至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体，包括：

根据所述至少一个目标盒体的二维掩膜图像，在所述目标三维点云信息中提取单个目标盒体的三维点云信息；

根据所述单个目标盒体的三维点云信息，确定所述目标盒体的位姿信息和尺寸信息；

根据所述位姿信息和所述尺寸信息，控制所述抓取设备抓取对应的单个目标盒体。

8.根据权利要求1至5中任一项所述的盒体抓取方法，其特征在于，所述获取初始三维点云信息，包括：

控制工业三维相机对所述目标盒体进行点云采集，得到所述初始三维点云信息；

其中，所述目标盒体在所述传送装置上放置，所述目标盒体被所述传送装置传送至所述工业三维相机的采集视角内。

9.一种盒体抓取装置，其特征在于，包括：

获取模块，用于获取目标盒体的初始三维点云信息；

处理模块，用于对所述初始三维点云信息进行处理，得到所述目标盒体在预设表面的整体二维掩膜图像；

检测模块，用于对所述整体二维掩膜图像进行角点检测，以便获取所述整体二维掩膜图像的角点参数；

确定模块，用于根据预设形状以及获取的所述整体二维掩膜图像的角点参数，确定至少一个所述目标盒体的二维掩膜图像；

控制模块，用于根据至少一个所述目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。

10.一种电子设备，其特征在于，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如权利要求1至8任一项所述盒体抓取方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现权利要求1至8任一项的盒体抓取方法。

Images