CN113610833A - 物料抓取方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明提供一种物料抓取方法、装置、电子设备和存储介质，所述方法包括：确定目标工位的物料深度图，并基于物料深度图，确定各物料的区域图；基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板；基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿；基于各物料的抓取顺序以及各物料的抓取位姿，对各物料进行抓取。本发明不仅能够自动且准确从预设模板库中获取匹配模板，进而能够准确确定物料的抓取位姿，抓取精度和效率较高。而且可以对多个物料进行抓取，相较于传统方法中仅能针对单个物料进行抓取，抓取效率更高。

Description

物料抓取方法、装置、电子设备和存储介质

技术领域

本发明涉及物料抓取技术领域，尤其涉及一种物料抓取方法、装置、电子设备和存储介质。

背景技术

在智能制造的发展趋势下，工业机器人与机器视觉相结合的应用成为智能化工厂不可缺少的自动设备之一；基于视觉伺服的工业机器人应用提高了机器人的智能化水平、提高生产效率，可用于测量工件的轮廓、尺寸位置信息等，被安装在工业机器人手臂的夹具末端或者相对机械臂底座的固定位置。为了节约人力资源、让视觉系统更智能的引导机器人生产，需要更为智能的视觉定位抓取算法作为软件支撑。

传统的工业机器人抓取方法包括：(1)利用传感器和预设距离对物料进行抓取，将目标物体的位置作为确定机器人下一次需要移动的预定距离的依据，但该方法不能适应动态场景，鲁棒性较差。(2)通过背景差分法对拍摄图像进行分割进行物料提取，并对提取出的区域进行模板匹配，从而引导机器人进行抓取，但该方法中的物料模板需要人工导入，而且利用背景差分法进行物料分割，受环境光影响较大。(3)通过扫描的物体3D模型进行模板匹配，计算每个视角的最优抓取位姿及抓取成功率，但该方法流程复杂，需要创建物体的3D模型，工件较大时，费时费力，并且方法当工件堆料较高时不能准确计算工件的抓取力及抓取位置。(4)利用拍摄图像与导入的模板的拟合数据，通过计算工件的重心来引导机器人抓取，但该方法中物料模板需要人工导入，且不能高度自适应、工位切换也需要人工切换。

发明内容

本发明提供一种物料抓取方法、装置、电子设备和存储介质，用以解决现有技术中物料抓取效率较低且鲁棒性较差的缺陷。

本发明提供一种物料抓取方法，包括：

确定目标工位的物料深度图，并基于所述物料深度图，确定各物料的区域图；所述目标工位装载有至少一个物料，所述各物料的区域图中携带有各物料的边界尺寸信息和高度信息；

基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板；

基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿；

基于各物料的抓取顺序以及各物料的抓取位姿，对各物料进行抓取。

根据本发明提供的一种物料抓取方法，所述基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板，包括：

基于各物料的边界尺寸信息，确定各物料的外接矩形，并基于各物料的外接矩形从预设模板库中确定各物料对应的候选模板；

基于各候选模板对应的物料尺寸信息，以及各物料的边界尺寸信息，计算各候选模板的匹配因子，并基于各候选模板的匹配因子确定各候选模板的匹配值，并将最大匹配值对应的候选模板作为对应物料的匹配模板。

根据本发明提供的一种物料抓取方法，所述基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿，包括：

按照各物料的高度从高到低进行排序，并将排序后的物料顺序作为各物料的抓取顺序；

将各物料的匹配模板对应的抓取点中心坐标转换成世界坐标，并基于所述世界坐标确定各物料的抓取位姿。

根据本发明提供的一种物料抓取方法，所述确定目标工位的物料深度图，包括：

获取所述目标工位中物料的点云数据；

对所述物料的点云数据进行单通道数据处理，得到所述物料深度图。

根据本发明提供的一种物料抓取方法，所述点云数据是通过传感器获取的，所述传感器包括线激光传感器或视觉传感器。

根据本发明提供的一种物料抓取方法，所述基于所述物料深度图，确定各物料的区域图，包括：

对所述物料深度图进行图像预处理，并对预处理后的物料深度图进行图像分割，得到各物料的区域图。

根据本发明提供的一种物料抓取方法，所述确定目标工位的物料深度图，之前还包括：

在当前工位对应的上一工位进入预设扫描区域时，获取上一工位的物料信息以及上一工位的上料信息；

基于上一工位的物料信息，以及上一工位的上料信息，确定当前工位是否装载有物料，若是，则将当前工位作为所述目标工位，若否，则切换至下一工位作为当前工位。

本发明还提供一种物料抓取装置，包括：

区域确定单元，用于确定目标工位的物料深度图，并基于所述物料深度图，确定各物料的区域图；所述目标工位装载有至少一个物料，所述各物料的区域图中携带有各物料的边界尺寸信息和高度信息；

模板匹配单元，用于基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板；

位姿确定单元，用于基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿；

物料抓取单元，用于基于各物料的抓取顺序以及各物料的抓取位姿，对各物料进行抓取。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述物料抓取方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述物料抓取方法的步骤。

本发明提供的物料抓取方法、装置、电子设备和存储介质，基于各物料的区域图携带的边界尺寸信息能够自动且准确地从预设模板库中获取匹配模板，进而能够准确确定物料的抓取位姿，抓取精度和效率较高。此外，本发明实施例基于各物料的区域图中携带的高度信息，对目标工位中的多个物料进行抓取排序，并依序对多个物料进行抓取，相较于传统方法中仅能针对单个物料进行抓取，抓取效率更高。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的物料抓取方法的流程示意图；

图2是本发明提供的物料抓取硬件架构的结构示意图；

图3是本发明提供的物料抓取系统的结构示意图；

图4是本发明提供的物料抓取装置的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

传统的工业机器人抓取方法包括：(1)利用传感器和预设距离对物料进行抓取，将目标物体的位置作为确定机器人下一次需要移动的预定距离的依据，但该方法通过传感器和预定距离来进行预判抓取位置，还停留在传感器阶段，不能适应动态场景，鲁棒性较差。(2)通过背景差分法对拍摄图像进行分割进行物料提取，并对提取出的区域进行模板匹配，从而引导机器人进行抓取，但该方法中的物料模板需要人工导入，而且利用背景差分法进行物料分割，受环境光影响较大。(3)通过扫描的物体3D模型进行模板匹配，计算每个视角的最优抓取位姿及抓取成功率，但该方法流程复杂，需要创建物体的3D模型，工件较大时，费时费力，并且方法当工件堆料较高时不能准确计算工件的抓取力及抓取位置。(4)利用拍摄图像与导入的模板的拟合数据，通过计算工件的重心来引导机器人抓取，但该方法中物料模板需要人工导入，且不能高度自适应、工位切换也需要人工切换。

对此，本发明提供一种物料抓取方法。图1是本发明提供的物料抓取方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤110、确定目标工位的物料深度图，并基于物料深度图，确定各物料的区域图；目标工位装载有至少一个物料，各物料的区域图中携带有各物料的边界尺寸信息和高度信息。

具体地，目标工位指装载有至少一个物料的工位，该目标工位中装载的物料待抓取。由于在生产作业线上存在多个候选工位，若候选工位中没有装载物料，则不需要进行物料抓取，因此本发明实施例可以采用图像识别算法确定候选工位中是否存在物料，若是，则将对应的候选工位作为目标工位。

在确定目标工位之后，可以通过TOF相机获取物料深度图，也可以通过3D扫描设备获取物料点云数据，再将物料点云数据转换为物料深度图，本发明实施例对此不作具体限定。

在获取物料深度图后，可以对物料深度图进行分割，获取各物料对应的区域图，其中，各物料的区域图中包含有各物料的边界尺寸信息和高度信息，边界尺寸信息可以用于表征各物料的边界轮廓信息。

步骤120、基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板。

具体地，在确定各物料的边界尺寸信息之后，可以确定各物料区域对应的外接矩形，并在预设模板库中进行模板匹配，筛选得到各物料的匹配模板。其中，各物料的匹配模板是指与各物料匹配度最高的模板，该模板可以是各物料对应的电子图纸数据，也可以是各物料的3D模型数据，本发明实施例对此不作具体限定。

相较于传统方法中需要人工导入匹配模板，本发明实施例能够基于各物料的边界尺寸信息自动从预设模板库中准确得到匹配模板，进而能够准确确定物料的抓取位姿，抓取精度较高，而且全程是自动化选取匹配模板，效率较高。

步骤130、基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿。

步骤140、基于各物料的抓取顺序以及各物料的抓取位姿，对各物料进行抓取。

具体地，在存在多个物料需要进行抓取时，通常是按照物料高度从高到低的顺序进行抓取，因此基于各物料的高度信息，可以确定各物料的抓取顺序。在确定各物料的匹配模板之后，可以确定各物料对应的抓取点中心坐标，并将抓取点中心坐标进行转换，得到各物料的抓取位姿。

在确定各物料的抓取顺序以及各物料的抓取位姿后，可以按照各物料的抓取顺序依次采用对应物料的抓取位姿，对各物料进行抓取。

由此可见，本发明实施例通过各物料的区域图中携带的高度信息，可以对目标工位中的多个物料进行抓取排序，并依序对多个物料进行抓取，相较于传统方法中仅能针对单个物料进行抓取，本发明实施例的抓取效率更高。

本发明实施例提供的物料抓取方法，基于各物料的区域图携带的边界尺寸信息能够自动且准确从预设模板库中获取匹配模板，进而能够准确确定物料的抓取位姿，抓取精度和效率较高。此外，本发明实施例基于各物料的区域图中携带的高度信息，对目标工位中的多个物料进行抓取排序，并依序对多个物料进行抓取，相较于传统方法中仅能针对单个物料进行抓取，抓取效率更高。

基于上述实施例，基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板，包括：

基于各物料的边界尺寸信息，确定各物料的外接矩形，并基于各物料的外接矩形从预设模板库中确定各物料对应的候选模板；

基于各候选模板对应的物料尺寸信息，以及各物料的边界尺寸信息，计算各候选模板的匹配因子，并基于各候选模板的匹配因子确定各候选模板的匹配值，并将最大匹配值对应的候选模板作为对应物料的匹配模板。

具体地，在获取各物料的边界尺寸信息之后，可以基于边界尺寸信息确定各物料的外接矩形，然后基于各物料的外接矩形从预设模板库中确定各物料对应的候选模板。其中，候选模板中携带有不同矩形的长度信息和宽度信息，例如，可以基于外接矩形的长度信息和宽度信息，确定长度范围和宽度范围，然后在预设模板库中筛选同时满足长度范围和宽度范围的模板作为候选模板。

若只存在一个候选模板，则可以直接将该候选模板作为匹配模板。若存在多个候选模板，则基于各候选模板对应的物料尺寸信息，以及各物料的边界尺寸信息，计算各候选模板的匹配因子；其中匹配因子包括匹配度、匹配分数和拟合度中的至少一种。在确定匹配因子后，基于匹配因子确定各候选模板的匹配值，匹配值越大，表明对应的候选模板与物料的匹配程度越高，因此本发明实施例将最大匹配值(即最优匹配)对应的候选模板作为对应物料的匹配模板。其中，匹配因子可以包括匹配度、匹配分数、拟合度等中的一种或多种。

由此可见，本发明实施例首先基于各物料的边界尺寸信息，在预设模板库中进行初步筛选得到候选模板，然后计算各候选模板的匹配度，从各候选模板中进行精确筛选得到各物料的匹配模板，从而能够基于匹配模板准确确定物料的抓取位姿，提高物料的抓取精度。

基于上述任一实施例，基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿，包括：

按照各物料的高度从高到低进行排序，并将排序后的物料顺序作为各物料的抓取顺序；

将各物料的匹配模板对应的抓取点中心坐标转换成世界坐标，并基于世界坐标确定各物料的抓取位姿。

具体地，在存在多个物料需要进行抓取时，通常是按照物料高度从高到低的顺序进行抓取，因此基于各物料的高度信息，可以对物料进行排序，并将排序后的物料顺序作为各物料的抓取顺序。在确定各物料的匹配模板之后，可以确定各物料对应的抓取点中心坐标，并将抓取点中心坐标转换为世界坐标，并基于世界坐标确定各物料的抓取位姿。

由此可见，本发明实施例通过各物料的区域图中携带的高度信息，可以对目标工位中的多个物料进行抓取排序，并依序对多个物料进行抓取，相较于传统方法中仅能针对单个物料进行抓取，本发明实施例的抓取效率更高。

基于上述任一实施例，确定目标工位的物料深度图，包括：

获取目标工位中物料的点云数据；

对物料的点云数据进行单通道数据处理，得到物料深度图。

具体地，物料的点云数据可以通过3D扫描设备获取，然后对物料的点云数据进行单通道数据处理，将物料的点云数据转换为物料深度图，由于深度图的每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近，因此物料深度图直接反应了物料可见表面的几何形状，从而后续可以基于物料深度图准确获取物料的边界尺寸信息以及高度信息，进而准确对物料进行抓取，提高物料的抓取精度。

基于上述任一实施例，点云数据是通过传感器获取的，传感器包括线激光传感器或视觉传感器。

具体地，点云数据除了具有几何位置信息以外，有的还有颜色信息。本发明实施例中的点云数据既可以采用线激光传感器获取，也可以通过视觉传感器获取，本发明实施例对此不作具体限定。其中，视觉传感器包括结构光传感器、双目视觉传感器、TOF传感器等。

基于上述任一实施例，基于物料深度图，确定各物料的区域图，包括：

对物料深度图进行图像预处理，并对预处理后的物料深度图进行图像分割，得到各物料的区域图。

具体地，在确定物料深度图后，对物料深度图进行图像预处理，从而可以准确提取物料深度图中物料的边界轮廓信息，然后对预处理后的物料深度图进行高度自适应分割，若只存在一个物料，则分割得到该物料的区域图(区域图中包含该物料的边界尺寸信息以及高度信息)；若存在多个物料，则分割得到各物料的区域图。

基于上述任一实施例，确定目标工位的物料深度图，之前还包括：

在预设扫描区域内，获取候选工位的物料信息以及候选工位的上料信息；

基于候选工位的物料信息，以及候选工位的上料信息，确定候选工位是否装载有物料，若是，则将候选工位作为目标工位，若否，则切换至下一工位作为候选工位。

具体地，目标工位指装载有至少一个物料的工位，该目标工位中装载的物料待抓取。由于在生产作业线上存在多个候选工位，若候选工位中没有装载物料，则不需要进行物料抓取，因此本发明实施例可以设置预设扫描区域，当检测到候选工位进入预设扫描区域时，可以采用图像识别算法确定候选工位中是否存在物料，即获取候选工位的物料信息。同时，可以从服务器中获取候选工位的上料信息，如是否对候选工位进行了上料，若扫描得到的候选工位的物料信息中显示候选工位存在物料，并且上料信息中也显示已对候选工位进行上料，从而表明候选工位中装载有物料，可以将其作为目标工位。若扫描得到的候选工位的物料信息中显示候选工位存在物料，但上料信息中显示并未对候选工位进行上料，则可能是扫描中存在噪声影响识别结果。若扫描得到的候选工位的物料信息中显示候选工位不存在物料，且上料信息中显示并未对候选工位进行上料，则表明候选工位中没有装载物料，此时可以切换至下一工位进行判断，将下一工位作为候选工位，采用上述方法判断下一工位是否可以作为目标工位。

由此可见，本发明实施例能够自动判断候选工位是否可以作为目标工位，从而实现智能化选择目标工位进行物料抓取。此外，本发明实施例除了基于候选工位的物料信息判断候选工位是否存在物料，还同时结合候选工位的上料信息进一步验证候选工位中是否装载有物料，避免在扫描时噪声影响判断结果的准确性，从而能够准确确定目标工位并进行物料抓取，进一步提高了物料抓取的准确度。

基于上述任一实施例，本发明还提供一种物料抓取方法，该方法包括：

在确定目标工位后，携带有相机的机器人对工位上的物料进行点云数据扫描，并对扫描到的物料点云数据进行单通道数据处理，将其转换成具有高度信息的深度图像。在深度图像的基础上，进行图像预处理，去除噪声影响。然后，通过设定的高度参数对图像预处理后的深度图像进行分割，得到最上层物料区域，获取满足要求的连通区域的个数，并对分割后的图像进行区域索引；

在得到物料区域分割索引后，根据区域外接矩形长和宽在模板库中进行模板筛选，具体为：求取模板库中各模板的轮廓外接矩形长和宽，通过设定阈值，比较各模板和各区域外接矩形长和宽，初步筛选出与各区域匹配的模板。

接着，根据筛选机制，从初步筛选出的模板中筛选出与各区域最优匹配对应的模板，并读取最优匹配模板的抓取点，以及将最优匹配对应的模板抓取点中心坐标转换成世界坐标引导机器人进行物料抓取。

需要说明的是，本发明实施例中确定目标工位时，可以通过机器人提前设置预设扫描区域，机器人根据上位机的工位信息及预设扫描区域自主判断对应工位是否装载有物料，若是，则将其作为目标工位，若否，则切换至下一工位进行判断，从而实现多工位的自主切换。

此外，上述机器人可以是六轴工业机器人，也可以是工业机器人，还可以是桁架手或者四轴等，或是能够携带相机进行拍照的可控制设备。

其中，本发明实施例提供的物料抓取方法是基于图2所示的物料抓取硬件架构实现的，该硬件架构包括六轴工业机械臂、线激光传感器、料框等，线激光传感器安装于机械臂末端，料框放置在机器人臂展行程范围内，由机械臂带动线激光传感器进行采集图像。整个物料抓取系统是由机器人、工控机、扫描设备组成(如图3所示)，机器人根据PLC程序来执行动作；工控机作为中间媒介，担负着数据传输及数据处理的任务；扫描设备为图像数据的输入提供硬件支持。

下面对本发明提供的物料抓取装置进行描述，下文描述的物料抓取装置与上文描述的物料抓取方法可相互对应参照。

基于上述任一实施例，本发明还提供一种物料抓取装置，如图4所示，该装置包括：

区域确定单元410，用于确定目标工位的物料深度图，并基于所述物料深度图，确定各物料的区域图；所述目标工位装载有至少一个物料，所述各物料的区域图中携带有各物料的边界尺寸信息和高度信息；

模板匹配单元420，用于基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板；

位姿确定单元430，用于基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿；

物料抓取单元440，用于基于各物料的抓取顺序以及各物料的抓取位姿，对各物料进行抓取。

基于上述任一实施例，所述模板匹配单元420，包括：

初筛单元，用于基于各物料的边界尺寸信息，确定各物料的外接矩形，并基于各物料的外接矩形从预设模板库中确定各物料对应的候选模板；

精筛单元，用于基于各候选模板对应的物料尺寸信息，以及各物料的边界尺寸信息，计算各候选模板的匹配因子，并基于各候选模板的匹配因子确定各候选模板的匹配值，并将最大匹配值对应的候选模板作为对应物料的匹配模板。

基于上述任一实施例，所述位姿确定单元430，包括：

排序单元，用于按照各物料的高度从高到低进行排序，并将排序后的物料顺序作为各物料的抓取顺序；

转换单元，用于将各物料的匹配模板对应的抓取点中心坐标转换成世界坐标，并基于所述世界坐标确定各物料的抓取位姿。

基于上述任一实施例，所述区域确定单元410，包括：

获取单元，用于获取所述目标工位中物料的点云数据；

处理单元，用于对所述物料的点云数据进行单通道数据处理，得到所述物料深度图。

基于上述任一实施例，所述点云数据是通过传感器获取的，所述传感器包括线激光传感器或视觉传感器。

基于上述任一实施例，所述区域确定单元410，用于：

对所述物料深度图进行图像预处理，并对预处理后的物料深度图进行图像分割，得到各物料的区域图。

基于上述任一实施例，还包括目标工位确定单元，用于：

在预设扫描区域内，获取候选工位的物料信息以及候选工位的上料信息；

基于所述候选工位的物料信息，以及所述候选工位的上料信息，确定所述候选工位是否装载有物料，若是，则将所述候选工位作为所述目标工位，若否，则切换至下一工位作为候选工位。

图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行物料抓取方法，该方法包括：确定目标工位的物料深度图，并基于所述物料深度图，确定各物料的区域图；所述目标工位装载有至少一个物料，所述各物料的区域图中携带有各物料的边界尺寸信息和高度信息；基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板；基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿；基于各物料的抓取顺序以及各物料的抓取位姿，对各物料进行抓取。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的物料抓取方法，该方法包括：确定目标工位的物料深度图，并基于所述物料深度图，确定各物料的区域图；所述目标工位装载有至少一个物料，所述各物料的区域图中携带有各物料的边界尺寸信息和高度信息；基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板；基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿；基于各物料的抓取顺序以及各物料的抓取位姿，对各物料进行抓取。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的物料抓取方法，该方法包括：确定目标工位的物料深度图，并基于所述物料深度图，确定各物料的区域图；所述目标工位装载有至少一个物料，所述各物料的区域图中携带有各物料的边界尺寸信息和高度信息；基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板；基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿；基于各物料的抓取顺序以及各物料的抓取位姿，对各物料进行抓取。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种物料抓取方法，其特征在于，包括：

确定目标工位的物料深度图，并基于所述物料深度图，确定各物料的区域图；所述目标工位装载有至少一个物料，所述各物料的区域图中携带有各物料的边界尺寸信息和高度信息；

基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板；

基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿；

基于各物料的抓取顺序以及各物料的抓取位姿，对各物料进行抓取。

2.根据权利要求1所述的物料抓取方法，其特征在于，所述基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板，包括：

基于各物料的边界尺寸信息，确定各物料的外接矩形，并基于各物料的外接矩形从预设模板库中确定各物料对应的候选模板；

基于各候选模板对应的物料尺寸信息，以及各物料的边界尺寸信息，计算各候选模板的匹配因子，并基于各候选模板的匹配因子确定各候选模板的匹配值，并将最大匹配值对应的候选模板作为对应物料的匹配模板。

3.根据权利要求1所述的物料抓取方法，其特征在于，所述基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿，包括：

按照各物料的高度从高到低进行排序，并将排序后的物料顺序作为各物料的抓取顺序；

将各物料的匹配模板对应的抓取点中心坐标转换成世界坐标，并基于所述世界坐标确定各物料的抓取位姿。

4.根据权利要求1至3任一项所述的物料抓取方法，其特征在于，所述确定目标工位的物料深度图，包括：

获取所述目标工位中物料的点云数据；

对所述物料的点云数据进行单通道数据处理，得到所述物料深度图。

5.根据权利要求4所述的物料抓取方法，其特征在于，所述点云数据是通过传感器获取的，所述传感器包括线激光传感器或视觉传感器。

6.根据权利要求1至3任一项所述的物料抓取方法，其特征在于，所述基于所述物料深度图，确定各物料的区域图，包括：

对所述物料深度图进行图像预处理，并对预处理后的物料深度图进行图像分割，得到各物料的区域图。

7.根据权利要求1至3任一项所述的物料抓取方法，其特征在于，所述确定目标工位的物料深度图，之前还包括：

在预设扫描区域内，获取候选工位的物料信息以及候选工位的上料信息；

基于所述候选工位的物料信息，以及所述候选工位的上料信息，确定所述候选工位是否装载有物料，若是，则将所述候选工位作为所述目标工位，若否，则切换至下一工位作为候选工位。

8.一种物料抓取装置，其特征在于，包括：

区域确定单元，用于确定目标工位的物料深度图，并基于所述物料深度图，确定各物料的区域图；所述目标工位装载有至少一个物料，所述各物料的区域图中携带有各物料的边界尺寸信息和高度信息；

模板匹配单元，用于基于各物料的边界尺寸信息，在预设模板库中进行模板匹配，确定各物料的匹配模板；

位姿确定单元，用于基于各物料的高度信息，确定各物料的抓取顺序，以及基于各物料的匹配模板，确定各物料的抓取位姿；

物料抓取单元，用于基于各物料的抓取顺序以及各物料的抓取位姿，对各物料进行抓取。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述物料抓取方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述物料抓取方法的步骤。

Images