CN112025701A - 抓取物体的方法、装置、计算设备和存储介质 - Google Patents

抓取物体的方法、装置、计算设备和存储介质 Download PDF

Info

Publication number
CN112025701A
CN112025701A CN202010803687.8A CN202010803687A CN112025701A CN 112025701 A CN112025701 A CN 112025701A CN 202010803687 A CN202010803687 A CN 202010803687A CN 112025701 A CN112025701 A CN 112025701A
Authority
CN
China
Prior art keywords
grabbing
suction nozzle
target object
determining
suction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010803687.8A
Other languages
English (en)
Other versions
CN112025701B (zh
Inventor
王亚杰
汪鹏飞
刘羽
任宇鹏
卢维
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010803687.8A priority Critical patent/CN112025701B/zh
Publication of CN112025701A publication Critical patent/CN112025701A/zh
Application granted granted Critical
Publication of CN112025701B publication Critical patent/CN112025701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B25J15/065—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum provided with separating means for releasing the gripped object after suction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本公开公开了一种抓取物体的方法、装置、计算设备和存储介质。用于解决相关技术中对物体的抓取效率或抓取效果有待提高的问题。该方法中本考虑了吸盘与物体的抓取面之间的尺寸大小关系，通过调整吸盘相对抓取面的位置，使得吸盘中有足够数量的吸嘴能够吸附在抓取面上。进一步的，本公开中还考虑了抓取面的平面度以便于保证各个吸嘴在抓取物体时能够封闭，保证吸盘对物体的抓力。此外，还考虑可物体与放置点的位置关系，来确定抓取排序，节约物体的抓取时间。另外，本公开还考虑了物体的倾角以及放置路径上对物体的碰撞来排序物体的抓取排序，使得物体的抓取排序更为合理。

Description

抓取物体的方法、装置、计算设备和存储介质
技术领域
本公开涉及人工智能技术领域，特别涉及一种抓取物体的方法、装置、计算设备和存储介质。
背景技术
目前，随着自动化水平的不断提高，机器人已经广泛用于食品、药品、电子行业的包装、分拣与装配过程中。通过机器视觉技术与工业机器人在生产中的结合，能够更好地应用于各种流水线作业，完成对不同形状和状态的物体抓取和搬运，极大地提升了生产效率。
相关技术中，通过3D(三维)视觉相机得到场景中包裹的姿态信息，过滤掉上方有遮挡的包裹，按照包裹表面中心高度、姿态方向等信息，由路径规划程序根据视觉输出的结果引导机器人运动并控制夹具动作，完成对包裹的抓取。然而相关技术中还会存在包裹抓取失败的情况。
发明内容
本公开的目的是提供一种抓取物体的方法、装置、计算设备和存储介质，用于解决相关技术中包裹抓取失败的问题。
第一方面，本公开实施例提供了一种抓取物体的方法，包括：
根据抓取顺序确定待抓取的目标物体；
获取预先确定的用于抓取所述目标物体的吸盘的抓取姿态信息，所述抓取姿态信息中至少包括所述目标物体的抓取点，其中，所述抓取点满足预设抓取条件，所述预设抓取条件包括所述吸盘中有至少指定数量的吸嘴的吸附区域在抓取面内；所述抓取面为根据所述抓取点抓取所述目标物体时，位于所述目标物体上的操作面；
根据所述姿态信息控制所述吸盘抓取所述目标物体。
在一个实施例中，所述目标物体的抓取点是根据以下方法确定的：
根据所述吸盘的吸嘴分布，以及各吸嘴的尺寸，确定所述吸盘在所述抓取面内的抓取点。
在一个实施例中，所述根据所述吸盘的吸嘴分布，以及各吸嘴的尺寸，确定所述吸盘在所述抓取面内的抓取点，包括：
以所述抓取面的几何中心点为基准，将所述吸盘投影到所述抓取面上，其中，所述吸盘的几何中心点的投影点为所述抓取面的几何中心点；
根据所述吸盘在所述抓取面的投影，以及各吸嘴在所述吸盘的位置分布和尺寸，确定吸嘴的投影在所述抓取面内的吸嘴数量；
若投影在所述抓取面内的吸嘴数量大于或等于所述指定数量时，将所述抓取面的几何中心点作为所述抓取点；
若投影在所述抓取面内的吸嘴数量小于所述指定数量时，将所述吸盘的投影在所述抓取面内进行移动，直至移动后的所述吸盘的投影使得大于或等于所述指定数量的吸嘴的投影在所述抓取面内时，将所述吸盘的几何中心点的投影点作为所述抓取点。
在一个实施例中，所述抓取姿态信息中还包括所述吸盘与所述抓取面的抓取距离，所述方法还包括：
根据以下方法确定所述抓取距离：
在确定所述吸盘的抓取点之后，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间；
若能够形成封闭空间，则确定所述抓取距离为第一距离；
若不能够形成封闭空间，则确定所述抓取距离为第二距离，其中，所述第二距离小于所述第一距离。
在一个实施例中，所述检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间，包括：
针对用于吸取所述目标物体的任一吸嘴执行：
获取所述抓取面内的满足指定条件的点云数据，所述指定条件为包含在所述吸嘴在所述抓取面内的投影区域内；并，
根据所述点云数据的位置信息以及所述第二距离，从所述点云数据中筛选出包含在所述吸嘴内的点云数据作为有效点云数据；
根据用于吸取所述目标物体的各吸嘴的有效点云数据，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间。
在一个实施例中，所述根据用于吸取所述目标物体的各吸嘴的有效点云数据，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间，包括：
若任一吸嘴的有效点云数据的数据量小于指定数据量，则确定用于吸取所述目标物体的吸嘴和所述抓取面未能够形成封闭空间；若各吸嘴的有效点云数据量均大于或等于所述指定数据量，则确定用于吸取所述目标物体的吸嘴和所述抓取面能够形成封闭空间；
或者，
针对任一吸嘴执行：
根据所述吸嘴的有效点云数据，确定能够包含所述吸嘴的有效点云数据的最小矩形；
若所述吸嘴能够包含在所述最小矩形内，则确定所述吸嘴能够吸附所述物体；若所述吸嘴不能够包含在所述最小矩形内，则确定所述吸嘴不能够吸附所述物体；
当任一吸嘴不能够吸附所述物体时，确定用于吸取所述目标物体的吸嘴和所述抓取面不能够形成封闭空间；
当各吸嘴均能够吸附所述物体时，则确定用于吸取所述目标物体的吸嘴和所述抓取面能够形成封闭空间。
在一个实施例中，所述检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间，包括：
根据所述抓取面的点云数据，确定用于吸取所述目标物体的各吸嘴的吸附区域的平面度；
当任一吸嘴的吸附区域的平面度高于预设平面度，则确定所述目标物体的吸嘴和所述抓取面不能形成封闭空间；
当各吸嘴的吸附区域的平面度小于或等于所述预设平面度，则确定所述目标物体的吸嘴和所述抓取面能形成封闭空间。
在一个实施例中，所述方法还包括：
根据以下方法确定物体集合中各物体的抓取顺序：
根据以下参数中的至少一种，确定所述物体集合中各物体的抓取面的抓取代价：物体与放置点在水平面的距离、放置路径上碰撞物体的碰撞信息、物体的倾斜角度；其中，所述放置路径为从物体的抓取点至物体的放置点的路径；
按照抓取代价确定各物体的抓取顺序，其中抓取代价高的物体的抓取顺序排序在抓取代价低的物体之后。
在一个实施例中，所述抓取代价与所述距离成正比；
所述碰撞信息包括与所述吸盘产生碰撞的物体数量以及碰撞程度；其中，所述物体数量和所述碰撞程度均与所述抓取代价成正比关系；
所述倾斜角度与所述抓取代价成正比关系。
在一个实施例中，所述确定所述物体集合中各物体的抓取面的抓取代价之前，所述方法还包括：
根据以下方法筛选需要确定抓取代价的抓取面：
采集所述物体集合的点云图像；
从所述点云图像中提取各物体的表面的姿态信息以及轮廓信息；
由各物体的表面构成表面集合，将所述表面集合中满足过滤条件的表面滤除掉，得到所述需要确定抓取代价的抓取面；
其中，所述过滤条件包括以下中的至少一种：根据轮廓信息确定的表面面积小于预设面积、根据姿态信息确定的倾斜角度大于预设倾斜角度、表面的平面度大于指定平面度、表面积小于所述吸盘面积且周围存在其他更高的物体。
第二方面，本公开实施例还提供了一种抓取物体的装置，包括：
目标物体确定模块，用于根据抓取顺序确定待抓取的目标物体；
姿态信息获取模块，用于获取预先确定的用于抓取所述目标物体的吸盘的抓取姿态信息，所述抓取姿态信息中至少包括所述目标物体的抓取点，其中，所述抓取点满足预设抓取条件，所述预设抓取条件包括所述吸盘中有至少指定数量的吸嘴的吸附区域在抓取面内；所述抓取面为根据所述抓取点抓取所述目标物体时，位于所述目标物体上的操作面；
执行模块，用于根据所述姿态信息控制所述吸盘抓取所述目标物体。
在一个实施例中，所述装置还包括：
抓取点确定模块，用于根据所述吸盘的吸嘴分布，以及各吸嘴的尺寸，确定所述吸盘在所述抓取面内的抓取点。
在一个实施例中，所述根据所述吸盘的吸嘴分布，以及各吸嘴的尺寸，所述抓取点确定模块，用于：
以所述抓取面的几何中心点为基准，将所述吸盘投影到所述抓取面上，其中，所述吸盘的几何中心点的投影点为所述抓取面的几何中心点；
根据所述吸盘在所述抓取面的投影，以及各吸嘴在所述吸盘的位置分布和尺寸，确定吸嘴的投影在所述抓取面内的吸嘴数量；
若投影在所述抓取面内的吸嘴数量大于或等于所述指定数量时，将所述抓取面的几何中心点作为所述抓取点；
若投影在所述抓取面内的吸嘴数量小于所述指定数量时，将所述吸盘的投影在所述抓取面内进行移动，直至移动后的所述吸盘的投影使得大于或等于所述指定数量的吸嘴的投影在所述抓取面内时，将所述吸盘的几何中心点的投影点作为所述抓取点。
在一个实施例中，所述抓取姿态信息中还包括所述吸盘与所述抓取面的抓取距离，所述装置还包括：
抓取距离确定模块，用于：
在确定所述吸盘的抓取点之后，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间；
若能够形成封闭空间，则确定所述抓取距离为第一距离；
若不能够形成封闭空间，则确定所述抓取距离为第二距离，其中，所述第二距离小于所述第一距离。
在一个实施例中，所述抓取距离确定模块，用于：
针对用于吸取所述目标物体的任一吸嘴执行：
获取所述抓取面内的满足指定条件的点云数据，所述指定条件为包含在所述吸嘴在所述抓取面内的投影区域内；并，
根据所述点云数据的位置信息以及所述第二距离，从所述点云数据中筛选出包含在所述吸嘴内的点云数据作为有效点云数据；
根据用于吸取所述目标物体的各吸嘴的有效点云数据，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间。
在一个实施例中，所述抓取距离确定模块，用于：
若任一吸嘴的有效点云数据的数据量小于指定数据量，则确定用于吸取所述目标物体的吸嘴和所述抓取面未能够形成封闭空间；若各吸嘴的有效点云数据量均大于或等于所述指定数据量，则确定用于吸取所述目标物体的吸嘴和所述抓取面能够形成封闭空间；
或者，
针对任一吸嘴执行：
根据所述吸嘴的有效点云数据，确定能够包含所述吸嘴的有效点云数据的最小矩形；
若所述吸嘴能够包含在所述最小矩形内，则确定所述吸嘴能够吸附所述物体；若所述吸嘴不能够包含在所述最小矩形内，则确定所述吸嘴不能够吸附所述物体；
当任一吸嘴不能够吸附所述物体时，确定用于吸取所述目标物体的吸嘴和所述抓取面不能够形成封闭空间；
当各吸嘴均能够吸附所述物体时，则确定用于吸取所述目标物体的吸嘴和所述抓取面能够形成封闭空间。
在一个实施例中，所述抓取距离确定模块，用于：
根据所述抓取面的点云数据，确定用于吸取所述目标物体的各吸嘴的吸附区域的平面度；
当任一吸嘴的吸附区域的平面度高于预设平面度，则确定所述目标物体的吸嘴和所述抓取面不能形成封闭空间；
当各吸嘴的吸附区域的平面度小于或等于所述预设平面度，则确定所述目标物体的吸嘴和所述抓取面能形成封闭空间。
在一个实施例中，所述装置还包括：
抓取顺序确定模块，用于根据以下参数中的至少一种，确定所述物体集合中各物体的抓取面的抓取代价：物体与放置点在水平面的距离、放置路径上碰撞物体的碰撞信息、物体的倾斜角度；其中，所述放置路径为从物体的抓取点至物体的放置点的路径；
按照抓取代价确定各物体的抓取顺序，其中抓取代价高的物体的抓取顺序排序在抓取代价低的物体之后。
在一个实施例中，所述抓取代价与所述距离成正比；
所述碰撞信息包括与所述吸盘产生碰撞的物体数量以及碰撞程度；其中，所述物体数量和所述碰撞程度均与所述抓取代价成正比关系；
所述倾斜角度与所述抓取代价成正比关系。
在一个实施例中，所述确定所述物体集合中各物体的抓取面的抓取代价之前，所述装置还包括：
抓取面筛选模块，用于：
采集所述物体集合的点云图像；
从所述点云图像中提取各物体的表面的姿态信息以及轮廓信息；
由各物体的表面构成表面集合，将所述表面集合中满足过滤条件的表面滤除掉，得到需要确定抓取代价的抓取面；
其中，所述过滤条件包括以下中的至少一种：根据轮廓信息确定的表面面积小于预设面积、根据姿态信息确定的倾斜角度大于预设倾斜角度、表面的平面度大于指定平面度、表面积小于所述吸盘面积且周围存在其他更高的物体。
第三方面，本公开另一实施例还提供了一种计算设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例提供的任一抓取物体的方法。
第四方面，本公开另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本公开实施例中的任一抓取物体的方法。
本公开实施例，本公开中考虑了吸盘与物体的抓取面之间的尺寸大小关系，通过调整吸盘相对抓取面的位置，使得吸盘中有足够数量的吸嘴能够吸附在抓取面上。进一步的，本公开中还考虑了抓取面的平面度以便于保证各个吸嘴在抓取物体时能够封闭，保证吸盘对物体的抓力。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本公开一个实施例的应用环境的示意图；
图2为根据本公开一个实施例的抓取物体的流程示意图；
图3为根据本公开一个实施例的抓取物体的流程另一示意图；
图4为根据本公开一个实施例的抓取面之间的影响关系的示意图；
图5为根据本公开一个实施例的吸盘的示意图；
图6为根据本公开一个实施例的在抓取面内移动吸盘的示意图；
图7为根据本公开一个实施例的抓取物体的流程的另一示意图；
图8为根据本公开一个实施例的在抓取面内移动吸盘的另一示意图；
图9为根据本公开一个实施例的在垂直抓取面方向内移动吸盘的示意图；
图10为根据本公开一个实施例的抓取物体的流程的另一示意图；
图11为根据本公开一个实施例的分割点云数据的示意图；
图12为根据本公开一个实施例的确定吸嘴是否封闭的示意图；
图13为根据本公开一个实施例的抓取面堆叠情况的示意图；
图14为根据本公开一个实施例的抓取物体的流程的另一示意图；
图15为根据本公开一个实施例的抓取物体的装置示意图；
图16为根据本公开一个实施例的计算设备的示意图。
具体实施方式
发明人研究发现，在使用吸盘抓取物体时，相关技术中并未考虑吸盘与物体的尺寸大小导致吸盘抓取物体时不能够有足够数量的吸嘴进行抓取，导致抓取失败。
有鉴于此，本公开提出了一种抓取物体的方法、装置、计算设备和存储介质，用于解决上述问题。本公开中考虑了吸盘与物体的抓取面之间的尺寸大小关系，通过调整吸盘相对抓取面的位置，使得吸盘中有足够数量的吸嘴能够吸附在抓取面上。进一步的，本公开中还考虑了抓取面的平面度以便于保证各个吸嘴在抓取物体时能够封闭，保证吸盘对物体的抓力。
此外，在另一个实施例中，本申请中还考虑了对抓取面的抓取代价，来对物体的抓取顺序进行排序。
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
图1为根据本公开一个实施例的应用环境的示意图。
如图1所示，该应用环境中例如可以包括存储系统10、服务器20、3D传感器30、用于抓取物体的机械臂40以及堆放的物体50。其中，其中，网络60可以是广义上的用于信息传递的网络，可以包括一个或多个通信网络，诸如无线通信网络、因特网、私域网、局域网、城域网、广域网或是蜂窝数据网络等。
图1中仅以一个3D传感器为例对本公开中提供的物体抓取方法进行说明，实施时，可配置多个3D传感器。
3D传感器用于获取堆放的物体(后文简称物体集合)的三维影像如点云数据，通过网络60发送给服务器20，服务器20可将获取的点云数据存储在存储系统10中以便于后续使用。服务器20对物体集合的点云数据进行处理，得到各个物体的表面的姿态以及表面积，并得到机械臂对各个物体的抓取顺序和抓取路径以及放置路径。并将抓取路径以及放置路径下发给机械臂执行。其中，抓取路径用于表示机械臂从某一状态移动到被抓取物体的抓取点的路径以及抓取姿态，放置路径用于表示机械臂抓取物体后将物体搬运到放置点的路径。
其中，如图1所示，机械臂的夹具为吸盘401，吸盘上分布有多个吸嘴(图中未示出)用于吸取物体。抓取姿态中包括吸盘相对物体的位置以及距离。本公开提供的物体抓取方法能够充分考虑物体的抓取面的平面度、面积、以及物体之间的相对位置关系以提高抓取成功率，并在生成物体的抓取顺序时充分考虑物体与放置点之间的距离、以及放置路径上对其他物体的碰撞影响以及物体自身的姿态信息，由此本公开提供的物体抓取方法能够从各种因素出发提高物体的抓取成功率和效率。
需要说明的是，本公开实施例中的存储系统例如可以是缓存系统、也可以是硬盘存储、内存存储等等。
为便于进一步理解本公开实施例提供的物体抓取方法，下面进一步结合附图对此进行说明。
如图2所示，为本公开实施例提供的抓取物体的方法的流程图，包括：
步骤201：根据抓取顺序确定待抓取的目标物体；
步骤202：获取预先确定的用于抓取所述目标物体的吸盘的抓取姿态信息，所述抓取姿态信息中至少包括所述目标物体的抓取点，其中，所述抓取点满足预设抓取条件，所述预设抓取条件包括所述吸盘中有至少指定数量的吸嘴的吸附区域在所述抓取面内；所述抓取面为根据所述抓取点抓取所述目标物体时，位于所述目标物体上的操作面；
步骤203：根据所述姿态信息控制所述吸盘抓取所述目标物体。
下面就本公开中如何选取抓取面、如何确定抓取姿态以及如何对物体进行排序分别进行说明。
一、筛选抓取面
如图3所示，在步骤301中：采用3D传感器采集所述物体集合的点云图像；然后，在步骤302中，从所述点云图像中提取各物体的表面的姿态信息以及轮廓信息；然后对各表面的信息进行分析过滤掉不能完成抓取或利于完成抓取的表面。可实施为在步骤303中，由各物体的表面构成表面集合，将所述表面集合中满足过滤条件的表面滤除掉，得到所述需要确定抓取代价的抓取面；
其中，所述过滤条件包括以下中的至少一种：根据轮廓信息确定的表面面积小于预设面积、根据姿态信息确定的倾斜角度大于预设倾斜角度、表面的平面度大于指定平面度。
也即，尺寸较小的表面不适合使用机械臂执行器端的吸盘吸取；倾斜角度过大时可能使机械臂处于盲角或盲位且机械臂运动轴容易与其它包裹发生碰撞；而平面度较差时容易吸取失败，故此，可将以上三种平面从表面集合
Figure BDA0002628319600000111
中移除，加入不可抓集合
Figure BDA0002628319600000121
中。
此外，比较包裹尺寸与吸盘尺寸大小，若包裹尺寸小于吸盘尺寸，且此包裹周边存在更高包裹，则抓取此包裹时吸盘将会压到相邻包裹，需将此包裹从集合
Figure BDA0002628319600000122
中移除，加入不可抓集合
Figure BDA0002628319600000126
中；相应的，若包裹尺寸大于吸盘尺寸，则可以作为抓取面。其原理如图4所示：图4中对于物体B而言，其表面2的面积小于吸盘E的面积，且物体B比物体A的高度要低。故此，当以物体B的表面2作为抓取面时，吸盘无法完成抓取还可能碰撞物体A故此，需要将物体B的表面2移动到不可抓集合
Figure BDA0002628319600000124
中。而，相反的，物体D的高度虽然低于物体C的高度，但是物体D的表面2的面积大于吸盘E的面积，故此吸盘在抓取物体D的表面2时能够吸取住物体D且不会对物体C产生碰撞，故此物体D的表面2可保留在表面集合
Figure BDA0002628319600000125
中作为可抓取面。
也可理解为，当表面2的面积小于吸盘面积时，则需要检测表面2周边是否存在高度更高的物体表面1，如果存在，则抓取表面2时就可能压到表面1；若表面2的面积大于吸盘面积，则抓取表面2时，就不需检测周边是否存在更高的表面1了，因为即便存在更高的表面1，抓取表面2时也不会压到表面1。
至此，各抓取面已筛选完成。在此基础上可进行后续的对抓取姿态以及抓取排序的识别。
二、抓取姿态的确定
确定一个好的抓取姿态以便于尽可能确定出最好的抓取位置。本公开中抓取姿态可包括抓取点，以及吸盘相对抓取面的距离(后文简称抓取距离)。通过这两个参数可以确定出一个最佳的抓取位姿。
在介绍如何确定抓取姿态之前，首先对吸盘和物体的一些信息进行说明。如图5所示，为物体表面与吸盘的示意图：假设吸盘上包括4个吸嘴，且以2*2阵列、等间距排布。假设吸嘴中心点之间间距为45mm(毫米)，吸嘴直径35mm、吸嘴长度50mm且吸盘可压缩量为15mm，吸盘底盘厚度为30mm。具有了吸盘的吸嘴阵列以及吸嘴特征信息之后，可以根据物体的抓取面的姿态信息和大小来确定何时的抓取点以及抓取距离。当然，吸盘也可以是圆形或其他形状，图5中为描述方便仅采用矩形进行表示。
吸盘能否吸取包裹，即吸盘是否有足够的数量的吸嘴形成闭合的接触面，因此在公开实施例提供的方法中，可考虑每个吸嘴与包裹的接触面的接触情况，可从以下两方面进行考量。
1、抓取点：
相关技术中，抓取点往往是抓取面的几何中心点，也即吸盘的几何中心点与抓取面的几何中心点对齐。当抓取面的面积小于吸盘的面积时，导致吸盘边缘的吸嘴不能吸附到抓取面上。如图6中左侧“调整前”的示意图所示，4个吸嘴均有将近一半的空间吸附不到抓取面，难于完成对物体的抓取。故此，本公开中考虑这一点，将对吸盘在抓取面的方向上进行移动以保证有足够数据的吸嘴能够吸附到抓取面。如图6中所示的右侧“调整后”的示意图所示，吸左侧的两个吸嘴不能吸附到抓取面，但是吸盘的右侧两个吸嘴能够吸附到抓取面。
故此，本公开实施例中为了达到上述效果，根据所述吸盘的吸嘴分布，以及各吸嘴的尺寸，确定所述吸盘在所述抓取面内的抓取点。实施时，住取点的确定可实施为如图7所示，包括：
步骤701：以所述抓取面的几何中心点为基准，将所述吸盘投影到所述抓取面上，其中，所述吸盘的几何中心点的投影点为所述抓取面的几何中心点；
步骤702：根据所述吸盘在所述抓取面的投影，以及各吸嘴在所述吸盘的位置分布和尺寸，确定吸嘴的投影在所述抓取面内的吸嘴数量；
步骤703：若投影在所述抓取面内的吸嘴数量大于或等于所述指定数量时，将所述抓取面的几何中心点作为所述抓取点；
步骤704：若投影在所述抓取面内的吸嘴数量小于所述指定数量时，将所述吸盘的投影在所述抓取面内进行移动，直至移动后的所述吸盘的投影使得大于或等于所述指定数量的吸嘴的投影在所述抓取面内时，将所述吸盘的几何中心点的投影点作为所述抓取点。
例如，如图8所示，以两吸嘴为例，图8中每个圆圈标识一个吸嘴，A和B为吸嘴吸附区域在抓取面的投影。在移动前，如图8中的左侧图所示，吸嘴A和吸嘴B均有部分区域在抓取面的边界外，故此，吸嘴A和吸嘴B均无法吸附抓取面，当移动后，如图8中的右侧图所示，吸嘴B完全包裹在抓取面内，能够对抓取面进行吸附。当有多个吸嘴时，可以各级吸嘴的阵列排布移动投影中心，使得多个吸嘴能够吸附抓取面即可。
2、抓取距离：
如前文所述，当抓取面平面度很差时，表面很粗糙时此时不利于吸嘴和抓取面形成封闭空间。故此，本公开中不仅考虑在抓取面方向上调整抓取点，还会考虑在垂直于抓取面的方向上对吸盘的调整。如图9所示，通过在垂直于抓取面的方向上向下压吸盘，使得吸盘内能够容纳更多的点云数据，如图9中的右侧图所示。
实施时，可以根据以下方法确定所述抓取距离，如图10所述，包括：
步骤1001：在确定所述吸盘的抓取点之后，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间；
步骤1002：若能够形成封闭空间，则确定所述抓取距离为第一距离；
步骤1003：若不能够形成封闭空间，则确定所述抓取距离为第二距离，其中，所述第二距离小于所述第一距离。
其中，第一距离可理解为采用任何现有技术方法确定的距离，本公开在此距离基础上对齐进行调整得到第二距离以保证吸嘴在吸取物体时能够封闭。
由此，通过吸嘴是否能够封闭的检测，进一步保证了吸盘抓取物体时的吸附力。进一步保证抓取的成功率。
在一个实施例中，关于步骤1001中“检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间”的实现，可实施为：
方式1：针对用于吸取所述目标物体的任一吸嘴执行：
获取所述抓取面内的满足指定条件的点云数据，所述指定条件为包含在所述吸嘴在所述抓取面内的投影区域内；并，根据所述点云数据的位置信息以及所述第二距离，从所述点云数据中筛选出包含在所述吸嘴内的点云数据作为有效点云数据；然后，根据用于吸取所述目标物体的各吸嘴的有效点云数据，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间。
例如，吸盘与抓取面的距离可采用抓取面最高点与吸盘的高度之间的距离来表示。例如吸盘距离抓取面-1mm处时，可以根据每个吸嘴吸附区域内的点云数据，确定包含在该吸嘴内的点云数据作为有效点云数据。
由此，本公开中可以根据抓取面的自身的平面度特征控制吸盘的抓取距离。
例如，若任一吸嘴的有效点云数据的数据量小于指定数据量，则确定用于吸取所述目标物体的吸嘴和所述抓取面未能够形成封闭空间；若各吸嘴的有效点云数据量均大于或等于所述指定数据量，则确定用于吸取所述目标物体的吸嘴和所述抓取面能够形成封闭空间。
例如，如图11所示，左侧图为分割前的点云数据，右侧图为对物体进行表面分割后得到的物体表面的分割图。每个吸嘴为一个圆柱体，可以根据吸嘴的位置以及抓取面的位置和抓取面内各点云数据的高度数据，确定出包含在吸嘴的圆柱体内的点云数据。分析的结果可如图12所示，以四吸嘴为例，图12中，十字线代表吸盘的几何中心点。其四周的白色点为包含在相应吸嘴的圆柱体内的各个点云数据。由图12可知，上排两个吸嘴的圆柱体内包含的点云数据较多，故此，上排两个吸嘴能够封闭。相应的，下排两个吸嘴的点云数据较少，下排两个吸嘴难以封闭。
此外，除了可以根据点云数据数量进行是否封闭的识别，本公开中还可以根据点云数据的最小包围盒进行识别。可实施为，针对任一吸嘴可执行：根据所述吸嘴的有效点云数据，确定能够包含所述吸嘴的有效点云数据的最小矩形；若所述吸嘴能够包含在所述最小矩形内，则确定所述吸嘴能够吸附所述物体；若所述吸嘴不能够包含在所述最小矩形内，则确定所述吸嘴不能够吸附所述物体；当每个吸嘴的判定完成之后，结合各个吸嘴的状况检测整体吸盘的情况。例如，当任一吸嘴不能够吸附所述物体时，确定用于吸取所述目标物体的吸嘴和所述抓取面不能够形成封闭空间；当各吸嘴均能够吸附所述物体时，则确定用于吸取所述目标物体的吸嘴和所述抓取面能够形成封闭空间。
其中，最小矩形即最小包围盒，当最小包围盒的面积大于相应吸嘴的面积时，可理解为该吸嘴可封闭，否侧，当最小包围盒的面积小于或等于吸嘴的面积时，可理解为该吸嘴不可封闭。
方式2：对于是否封闭的检测还可执行为，包括以下步骤：
步骤S1：根据所述抓取面的点云数据，确定用于吸取所述目标物体的各吸嘴的吸附区域的平面度；
步骤S2：当任一吸嘴的吸附区域的平面度高于预设平面度，则确定所述目标物体的吸嘴和所述抓取面不能形成封闭空间；当各吸嘴的吸附区域的平面度小于或等于所述预设平面度，则确定所述目标物体的吸嘴和所述抓取面能形成封闭空间。
该实施方式中，通过考虑简单的平面度能够简化是否封闭的检测。实施起来比较方面。
三、物体的抓取排序
本公开中，为了提高其他的抓取效率可参考物体与放置点的距离、放置路径上的障碍等来确定抓取面的抓取代价，并以此对各物体的抓取顺序进行排序。
实施时，如图12所示，可以考虑以下因素进行顺序，包括：
(1)物体与放置点在水平面的距离
本申请中，所述抓取代价与所述距离成正比。也即，距离放置点越近的物体，优先抓取，这样能够提高抓取的效率，节约对多个物体的抓取操作的总执行时间。
其中，可采用公式(1)来表示物体与放置点在水平面的距离:
Figure BDA0002628319600000171
在公式(1)中，xi,yi为抓取面的几何中心的坐标，x,y为放置点坐标。Li可表示为由距离确定的抓取代价。
(2)放置路径上碰撞物体的碰撞信息。
其中，所述放置路径为从物体的抓取点至物体的放置点的路径。碰撞信息可包括与所述吸盘产生碰撞的物体数量以及碰撞程度；其中，所述物体数量和所述碰撞程度均与所述抓取代价成正比关系。
放置路径上的物体可包括两中情况：
第一种情况，物体的堆叠情况，如图13所示，上层物体的表面在下层物体的表面上，导致下层物体的表面具有缺角。可识别出上下两层物体的堆叠情况。上层物体堆叠在下层物体上时，抓取下层物体会导致碰撞上层物体，那么抓取代价可增加
Figure BDA0002628319600000172
即处于下层属于可抓包裹，但优先级会后移，因抓取下层会对上层包裹造成难以预估的影响。
第二种情况是，不存在堆叠物体的情况下，放置路径上对其他问题的碰撞，可以检测放置路径上如果存在其他物体，则说明机械臂在抓取过程中可能会导致包裹间的碰撞，因此需要加如碰撞代价
Figure BDA0002628319600000173
(3)物体的倾斜角度；
检测平面集合
Figure BDA0002628319600000174
中包裹的倾斜角度，倾角的增大也会增加抓取难度，因此需要增加角度代价
Figure BDA0002628319600000175
因此，倾斜角度与所述抓取代价也成正比关系。
综上所述，结合现场情况，合理分配各代价权重数值，最终的抓取代价可表示为如公式(2)所示：
Ci＝ω1*Li+ω2*φp+ω3*φa+ω4*φc (2)
其中，Ci为抓取代价；ω1、ω2、ω3、ω4为权重系数。
得到抓取代价后，在排序时，可按照抓取代价确定各物体的抓取顺序，其中抓取代价高的物体的抓取顺序排序在抓取代价低的物体之后。
综上所述，本公开中，抓取物体的方法可包括的主要流程如图14所示，包括以下步骤：
步骤1401：采集物体集合的点云图像。
步骤1402：从点云图像中提取各物体的表面的姿态信息以及轮廓信息。
步骤1403：由各物体的表面构成表面集合，将表面集合中满足过滤条件的表面滤除掉，得到需要确定抓取代价的抓取面。
步骤1404：确定物体集合中各物体的抓取面的抓取代价。
步骤1405：按照抓取代价确定各物体的抓取顺序。
步骤1406：针对各抓取面，根据吸盘的吸嘴分布，以及各吸嘴的尺寸，确定吸盘在抓取面内的抓取点。
步骤1407：在确定吸盘的抓取点之后，检测用于吸取目标物体的吸嘴和抓取面是否能够形成封闭空间，若是执行步骤1408，否则执行步骤1409。
步骤1408：若能够形成封闭空间，则确定抓取距离为第一距离。
步骤1409：若不能够形成封闭空间，则确定抓取距离为第二距离。
步骤1410：根据抓取顺序确定待抓取的目标物体。
步骤1411：获取预先确定的用于抓取目标物体的吸盘的抓取姿态信息。
步骤1412：根据抓取姿态信息控制吸盘抓取目标物体。
综上所述本申请中具有如下几方面的有益效果：
1.在时间效率上的提升：考虑放置点与包裹的相对位置关系，从靠近放置点端开始抓取，时间效率更高；
2.在安全性上的提升：考虑待抓取包裹与放置点间是否存在其它包裹，这样能保证机械臂放置过程中已抓取包裹与环境中包裹不会发生碰撞，将环境中的平面划分为可抓取集合与不可抓取集合，保证机械臂抓取过程中的安全性；
3.在抓取效果上的提升：本方法中充分考虑执行器与包裹相关信息，例如，对于执行器为吸盘情况，考虑每个吸嘴能否吸取，并通过在三维空间位置的微调，使得抓取更加稳定。
基于相同的发明构思，如图15所示，提出一种抓取物体的装置1500，包括：
目标物体确定模块1501，用于根据抓取顺序确定待抓取的目标物体；
姿态信息获取模块1502，用于获取预先确定的用于抓取所述目标物体的吸盘的抓取姿态信息，所述抓取姿态信息中至少包括所述目标物体的抓取点，其中，所述抓取点满足预设抓取条件，所述预设抓取条件包括所述吸盘中有至少指定数量的吸嘴的吸附区域在所述抓取面内；所述抓取面为根据所述抓取点抓取所述目标物体时，位于所述目标物体上的操作面；
执行模块1503，用于根据所述姿态信息控制所述吸盘抓取所述目标物体。
在一个实施例中，所述装置还包括：
抓取点确定模块，用于根据所述吸盘的吸嘴分布，以及各吸嘴的尺寸，确定所述吸盘在所述抓取面内的抓取点。
在一个实施例中，所述根据所述吸盘的吸嘴分布，以及各吸嘴的尺寸，所述抓取点确定模块，用于：
以所述抓取面的几何中心点为基准，将所述吸盘投影到所述抓取面上，其中，所述吸盘的几何中心点的投影点为所述抓取面的几何中心点；
根据所述吸盘在所述抓取面的投影，以及各吸嘴在所述吸盘的位置分布和尺寸，确定吸嘴的投影在所述抓取面内的吸嘴数量；
若投影在所述抓取面内的吸嘴数量大于或等于所述指定数量时，将所述抓取面的几何中心点作为所述抓取点；
若投影在所述抓取面内的吸嘴数量小于所述指定数量时，将所述吸盘的投影在所述抓取面内进行移动，直至移动后的所述吸盘的投影使得大于或等于所述指定数量的吸嘴的投影在所述抓取面内时，将所述吸盘的几何中心点的投影点作为所述抓取点。
在一个实施例中，所述抓取姿态信息中还包括所述吸盘与所述抓取面的抓取距离，所述装置还包括：
抓取距离确定模块，用于：
在确定所述吸盘的抓取点之后，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间；
若能够形成封闭空间，则确定所述抓取距离为第一距离；
若不能够形成封闭空间，则确定所述抓取距离为第二距离，其中，所述第二距离小于所述第一距离。
在一个实施例中，所述抓取距离确定模块，用于：
针对用于吸取所述目标物体的任一吸嘴执行：
获取所述抓取面内的满足指定条件的点云数据，所述指定条件为包含在所述吸嘴在所述抓取面内的投影区域内；并，
根据所述点云数据的位置信息以及所述第二距离，从所述点云数据中筛选出包含在所述吸嘴内的点云数据作为有效点云数据；
根据用于吸取所述目标物体的各吸嘴的有效点云数据，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间。
在一个实施例中，所述抓取距离确定模块，用于：
若任一吸嘴的有效点云数据的数据量小于指定数据量，则确定用于吸取所述目标物体的吸嘴和所述抓取面未能够形成封闭空间；若各吸嘴的有效点云数据量均大于或等于所述指定数据量，则确定用于吸取所述目标物体的吸嘴和所述抓取面能够形成封闭空间；
或者，
针对任一吸嘴执行：
根据所述吸嘴的有效点云数据，确定能够包含所述吸嘴的有效点云数据的最小矩形；
若所述吸嘴能够包含在所述最小矩形内，则确定所述吸嘴能够吸附所述物体；若所述吸嘴不能够包含在所述最小矩形内，则确定所述吸嘴不能够吸附所述物体；
当任一吸嘴不能够吸附所述物体时，确定用于吸取所述目标物体的吸嘴和所述抓取面不能够形成封闭空间；
当各吸嘴均能够吸附所述物体时，则确定用于吸取所述目标物体的吸嘴和所述抓取面能够形成封闭空间。
在一个实施例中，所述抓取距离确定模块，用于：
根据所述抓取面的点云数据，确定用于吸取所述目标物体的各吸嘴的吸附区域的平面度；
当任一吸嘴的吸附区域的平面度高于预设平面度，则确定所述目标物体的吸嘴和所述抓取面不能形成封闭空间；
当各吸嘴的吸附区域的平面度小于或等于所述预设平面度，则确定所述目标物体的吸嘴和所述抓取面能形成封闭空间。
在一个实施例中，所述装置还包括：
抓取顺序确定模块，用于根据以下参数中的至少一种，确定所述物体集合中各物体的抓取面的抓取代价：物体与放置点在水平面的距离、放置路径上碰撞物体的碰撞信息、物体的倾斜角度；其中，所述放置路径为从物体的抓取点至物体的放置点的路径；
按照抓取代价确定各物体的抓取顺序，其中抓取代价高的物体的抓取顺序排序在抓取代价低的物体之后。
在一个实施例中，所述抓取代价与所述距离成正比；
所述碰撞信息包括与所述吸盘产生碰撞的物体数量以及碰撞程度；其中，所述物体数量和所述碰撞程度均与所述抓取代价成正比关系；
所述倾斜角度与所述抓取代价成正比关系。
在一个实施例中，所述确定所述物体集合中各物体的抓取面的抓取代价之前，所述装置还包括：
抓取面筛选模块，用于：
采集所述物体集合的点云图像；
从所述点云图像中提取各物体的表面的姿态信息以及轮廓信息；
由各物体的表面构成表面集合，将所述表面集合中满足过滤条件的表面滤除掉，得到需要确定抓取代价的抓取面；
其中，所述过滤条件包括以下中的至少一种：根据轮廓信息确定的表面面积小于预设面积、根据姿态信息确定的倾斜角度大于预设倾斜角度、表面的平面度大于指定平面度、表面积小于所述吸盘面积且周围存在其他更高的物体。
关于各抓取物体的装置中各操作的实施以及有益效果可参见前文方法中的描述，此处不再赘述。
在介绍了本公开示例性实施方式的抓取物体的方法和装置之后，接下来，介绍根据本公开的另一示例性实施方式的计算设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本公开的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本公开各种示例性实施方式的抓取物体的方法中的步骤。例如，处理器可以执行如抓取物体的方法中的步骤。
下面参照图16来描述根据本公开的这种实施方式的计算设备160。图16显示的计算设备160仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图16所示，计算设备160以通用计算设备的形式表现。计算设备160的组件可以包括但不限于：上述至少一个处理器161、上述至少一个存储器162、连接不同系统组件(包括存储器162和处理器161)的总线163。
总线163表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器162可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1621和/或高速缓存存储器1622，还可以进一步包括只读存储器(ROM)1623。
存储器162还可以包括具有一组(至少一个)程序模块1624的程序/实用工具1625，这样的程序模块1624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备160也可以与一个或多个外部设备164(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算设备160交互的设备通信，和/或与使得该计算设备160能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口165进行。并且，计算设备160还可以通过网络适配器166与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器166通过总线163与用于计算设备160的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备160使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本公开提供的一种抓取物体的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的一种抓取物体的方法中的步骤，例如，计算机设备可以执行如图2-3所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开的实施方式的用于抓取物体的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务端上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程抓取物体的设备的处理器以产生一个机器，使得通过计算机或其他可编程抓取物体的设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程抓取物体的设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程抓取物体的设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (13)

1.一种抓取物体的方法，其特征在于，所述方法包括：
根据抓取顺序确定待抓取的目标物体；
获取预先确定的用于抓取所述目标物体的吸盘的抓取姿态信息，所述抓取姿态信息中至少包括所述目标物体的抓取点，其中，所述抓取点满足预设抓取条件，所述预设抓取条件包括所述吸盘中有至少指定数量的吸嘴的吸附区域在抓取面内；所述抓取面为根据所述抓取点抓取所述目标物体时，位于所述目标物体上的操作面；
根据所述姿态信息控制所述吸盘抓取所述目标物体。
2.根据权利要求1所述的方法，其特征在于，所述目标物体的抓取点是根据以下方法确定的：
根据所述吸盘的吸嘴分布，以及各吸嘴的尺寸，确定所述吸盘在所述抓取面内的抓取点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述吸盘的吸嘴分布，以及各吸嘴的尺寸，确定所述吸盘在所述抓取面内的抓取点，包括：
以所述抓取面的几何中心点为基准，将所述吸盘投影到所述抓取面上，其中，所述吸盘的几何中心点的投影点为所述抓取面的几何中心点；
根据所述吸盘在所述抓取面的投影，以及各吸嘴在所述吸盘的位置分布和尺寸，确定吸嘴的投影在所述抓取面内的吸嘴数量；
若投影在所述抓取面内的吸嘴数量大于或等于所述指定数量时，将所述抓取面的几何中心点作为所述抓取点；
若投影在所述抓取面内的吸嘴数量小于所述指定数量时，将所述吸盘的投影在所述抓取面内进行移动，直至移动后的所述吸盘的投影使得大于或等于所述指定数量的吸嘴的投影在所述抓取面内时，将所述吸盘的几何中心点的投影点作为所述抓取点。
4.根据权利要求1所述的方法，其特征在于，所述抓取姿态信息中还包括所述吸盘与所述抓取面的抓取距离，所述方法还包括：
根据以下方法确定所述抓取距离：
在确定所述吸盘的抓取点之后，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间；
若能够形成封闭空间，则确定所述抓取距离为第一距离；
若不能够形成封闭空间，则确定所述抓取距离为第二距离，其中，所述第二距离小于所述第一距离。
5.根据权利要求4所述的方法，其特征在于，所述检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间，包括：
针对用于吸取所述目标物体的任一吸嘴执行：
获取所述抓取面内的满足指定条件的点云数据，所述指定条件为包含在所述吸嘴在所述抓取面内的投影区域内；并，
根据所述点云数据的位置信息以及所述第二距离，从所述点云数据中筛选出包含在所述吸嘴内的点云数据作为有效点云数据；
根据用于吸取所述目标物体的各吸嘴的有效点云数据，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间。
6.根据权利要求5所述的方法，其特征在于，所述根据用于吸取所述目标物体的各吸嘴的有效点云数据，检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间，包括：
若任一吸嘴的有效点云数据的数据量小于指定数据量，则确定用于吸取所述目标物体的吸嘴和所述抓取面未能够形成封闭空间；若各吸嘴的有效点云数据量均大于或等于所述指定数据量，则确定用于吸取所述目标物体的吸嘴和所述抓取面能够形成封闭空间；
或者，
针对任一吸嘴执行：
根据所述吸嘴的有效点云数据，确定能够包含所述吸嘴的有效点云数据的最小矩形；
若所述吸嘴能够包含在所述最小矩形内，则确定所述吸嘴能够吸附所述物体；若所述吸嘴不能够包含在所述最小矩形内，则确定所述吸嘴不能够吸附所述物体；
当任一吸嘴不能够吸附所述物体时，确定用于吸取所述目标物体的吸嘴和所述抓取面不能够形成封闭空间；
当各吸嘴均能够吸附所述物体时，则确定用于吸取所述目标物体的吸嘴和所述抓取面能够形成封闭空间。
7.根据权利要求4所述的方法，其特征在于，所述检测用于吸取所述目标物体的吸嘴和所述抓取面是否能够形成封闭空间，包括：
根据所述抓取面的点云数据，确定用于吸取所述目标物体的各吸嘴的吸附区域的平面度；
当任一吸嘴的吸附区域的平面度高于预设平面度，则确定所述目标物体的吸嘴和所述抓取面不能形成封闭空间；
当各吸嘴的吸附区域的平面度小于或等于所述预设平面度，则确定所述目标物体的吸嘴和所述抓取面能形成封闭空间。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据以下方法确定物体集合中各物体的抓取顺序：
根据以下参数中的至少一种，确定所述物体集合中各物体的抓取面的抓取代价：物体与放置点在水平面的距离、放置路径上碰撞物体的碰撞信息、物体的倾斜角度；其中，所述放置路径为从物体的抓取点至物体的放置点的路径；
按照抓取代价确定各物体的抓取顺序，其中抓取代价高的物体的抓取顺序排序在抓取代价低的物体之后。
9.根据权利要求8所述的方法，其特征在于，所述抓取代价与所述距离成正比；
所述碰撞信息包括与所述吸盘产生碰撞的物体数量以及碰撞程度；其中，所述物体数量和所述碰撞程度均与所述抓取代价成正比关系；
所述倾斜角度与所述抓取代价成正比关系。
10.根据权利要求8所述的方法，其特征在于，所述确定所述物体集合中各物体的抓取面的抓取代价之前，所述方法还包括：
根据以下方法筛选需要确定抓取代价的抓取面：
采集所述物体集合的点云图像；
从所述点云图像中提取各物体的表面的姿态信息以及轮廓信息；
由各物体的表面构成表面集合，将所述表面集合中满足过滤条件的表面滤除，得到所述需要确定抓取代价的抓取面；
其中，所述过滤条件包括以下中的至少一种：根据轮廓信息确定的表面面积小于预设面积、根据姿态信息确定的倾斜角度大于预设倾斜角度、表面的平面度大于指定平面度、表面积小于所述吸盘面积且周围存在其他更高的物体。
11.一种抓取物体的装置，其特征在于，所述装置包括：
目标物体确定模块，用于根据抓取顺序确定待抓取的目标物体；
姿态信息获取模块，用于获取预先确定的用于抓取所述目标物体的吸盘的抓取姿态信息，所述抓取姿态信息中至少包括所述目标物体的抓取点，其中，所述抓取点满足预设抓取条件，所述预设抓取条件包括所述吸盘中有至少指定数量的吸嘴的吸附区域在抓取面内；所述抓取面为根据所述抓取点抓取所述目标物体时，位于所述目标物体上的操作面；
执行模块，用于根据所述姿态信息控制所述吸盘抓取所述目标物体。
12.一种计算设备，其特征在于，包括：存储器以及处理器；
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1-10任一项所述的方法。
13.一种计算机存储介质，存储有计算机程序，其特征在于，所述计算机程序在被计算机执行时用于执行如权利要求1-10中任一权利要求所述的方法。
CN202010803687.8A 2020-08-11 2020-08-11 抓取物体的方法、装置、计算设备和存储介质 Active CN112025701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010803687.8A CN112025701B (zh) 2020-08-11 2020-08-11 抓取物体的方法、装置、计算设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010803687.8A CN112025701B (zh) 2020-08-11 2020-08-11 抓取物体的方法、装置、计算设备和存储介质

Publications (2)

Publication Number Publication Date
CN112025701A true CN112025701A (zh) 2020-12-04
CN112025701B CN112025701B (zh) 2022-02-18

Family

ID=73577748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010803687.8A Active CN112025701B (zh) 2020-08-11 2020-08-11 抓取物体的方法、装置、计算设备和存储介质

Country Status (1)

Country Link
CN (1) CN112025701B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN113146636A (zh) * 2021-04-27 2021-07-23 深圳市一诺维奇教育科技有限公司 一种物体抓取方法、装置及柔性机器人
CN113284129A (zh) * 2021-06-11 2021-08-20 梅卡曼德（北京）机器人科技有限公司 基于3d包围盒的压箱检测方法及装置
CN113400285A (zh) * 2021-06-15 2021-09-17 深圳市华星光电半导体显示技术有限公司 基板取放装置及取放方法
CN114347040A (zh) * 2022-02-18 2022-04-15 创新奇智(合肥)科技有限公司 目标物的拾取方法、装置、机器人以及存储介质
CN114348639A (zh) * 2022-01-10 2022-04-15 梅卡曼德（北京）机器人科技有限公司 用于多分区吸盘的物体抓取方法、装置、设备和介质
CN114589703A (zh) * 2022-04-25 2022-06-07 北京京东乾石科技有限公司 端拾器控制方法、端拾器装置、搬运机器人及存储介质
CN115476349A (zh) * 2021-05-31 2022-12-16 梅卡曼德（北京）机器人科技有限公司 夹具组校验方法、装置、电子设备和存储介质
CN115476348A (zh) * 2021-05-31 2022-12-16 梅卡曼德（北京）机器人科技有限公司 夹具控制方法、装置、电子设备和存储介质
CN116810797A (zh) * 2023-08-08 2023-09-29 荆州双金再生资源有限公司 一种工业机器人智能控制系统
CN118269105A (zh) * 2024-05-29 2024-07-02 佛山隆深机器人有限公司 一种基于工业机械臂的洗碗机部件装配方法及相关装置
CN118269105B (zh) * 2024-05-29 2024-07-30 佛山隆深机器人有限公司 一种基于工业机械臂的洗碗机部件装配方法及相关装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105252251A (zh) * 2015-11-02 2016-01-20 西北工业大学 一种实现飞行器隔热片自动抓取和精准贴合的装置及方法
CN106003119A (zh) * 2016-06-24 2016-10-12 先驱智能机械（深圳）有限公司 吸取式机械手的物体抓取方法及物体抓取系统
CN107690377A (zh) * 2017-04-27 2018-02-13 深圳配天智能技术研究院有限公司 基于机器人系统的零件抓取方法及机器人系统、夹具
CN209970767U (zh) * 2019-05-07 2020-01-21 华普电子（常熟）有限公司 一种尺寸可调的吸盘组
EP3623324A1 (en) * 2018-09-11 2020-03-18 Kabushiki Kaisha Toshiba Conveyance apparatus, conveyance system and conveyance method
CN210210440U (zh) * 2019-05-29 2020-03-31 北京京东尚科信息技术有限公司 端拾器和拣选机器人
CN110992372A (zh) * 2019-11-21 2020-04-10 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
CN111344118A (zh) * 2017-11-17 2020-06-26 奥卡多创新有限公司 用于定位物品和为每个物品计算适当抓取点的机器人系统的控制设备和方法
CN211164015U (zh) * 2019-11-20 2020-08-04 苏州专益智能科技有限公司 一种能够自动切换机种的吸盘组
CN111504328A (zh) * 2020-05-22 2020-08-07 梅卡曼德（北京）机器人科技有限公司 机器人运动规划方法、路径规划方法、抓取方法及其装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105252251A (zh) * 2015-11-02 2016-01-20 西北工业大学 一种实现飞行器隔热片自动抓取和精准贴合的装置及方法
CN106003119A (zh) * 2016-06-24 2016-10-12 先驱智能机械（深圳）有限公司 吸取式机械手的物体抓取方法及物体抓取系统
CN107690377A (zh) * 2017-04-27 2018-02-13 深圳配天智能技术研究院有限公司 基于机器人系统的零件抓取方法及机器人系统、夹具
CN111344118A (zh) * 2017-11-17 2020-06-26 奥卡多创新有限公司 用于定位物品和为每个物品计算适当抓取点的机器人系统的控制设备和方法
EP3623324A1 (en) * 2018-09-11 2020-03-18 Kabushiki Kaisha Toshiba Conveyance apparatus, conveyance system and conveyance method
CN209970767U (zh) * 2019-05-07 2020-01-21 华普电子（常熟）有限公司 一种尺寸可调的吸盘组
CN210210440U (zh) * 2019-05-29 2020-03-31 北京京东尚科信息技术有限公司 端拾器和拣选机器人
CN211164015U (zh) * 2019-11-20 2020-08-04 苏州专益智能科技有限公司 一种能够自动切换机种的吸盘组
CN110992372A (zh) * 2019-11-21 2020-04-10 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
CN111504328A (zh) * 2020-05-22 2020-08-07 梅卡曼德（北京）机器人科技有限公司 机器人运动规划方法、路径规划方法、抓取方法及其装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN113146636A (zh) * 2021-04-27 2021-07-23 深圳市一诺维奇教育科技有限公司 一种物体抓取方法、装置及柔性机器人
CN115476349A (zh) * 2021-05-31 2022-12-16 梅卡曼德（北京）机器人科技有限公司 夹具组校验方法、装置、电子设备和存储介质
CN115476348A (zh) * 2021-05-31 2022-12-16 梅卡曼德（北京）机器人科技有限公司 夹具控制方法、装置、电子设备和存储介质
CN113284129A (zh) * 2021-06-11 2021-08-20 梅卡曼德（北京）机器人科技有限公司 基于3d包围盒的压箱检测方法及装置
CN113400285A (zh) * 2021-06-15 2021-09-17 深圳市华星光电半导体显示技术有限公司 基板取放装置及取放方法
CN114348639B (zh) * 2022-01-10 2024-01-30 梅卡曼德（北京）机器人科技有限公司 用于多分区吸盘的物体抓取方法、装置、设备和介质
CN114348639A (zh) * 2022-01-10 2022-04-15 梅卡曼德（北京）机器人科技有限公司 用于多分区吸盘的物体抓取方法、装置、设备和介质
CN114347040A (zh) * 2022-02-18 2022-04-15 创新奇智(合肥)科技有限公司 目标物的拾取方法、装置、机器人以及存储介质
CN114347040B (zh) * 2022-02-18 2024-06-11 创新奇智(合肥)科技有限公司 目标物的拾取方法、装置、机器人以及存储介质
CN114589703A (zh) * 2022-04-25 2022-06-07 北京京东乾石科技有限公司 端拾器控制方法、端拾器装置、搬运机器人及存储介质
CN116810797B (zh) * 2023-08-08 2024-04-26 浙江求实机器人有限公司 一种工业机器人智能控制系统
CN116810797A (zh) * 2023-08-08 2023-09-29 荆州双金再生资源有限公司 一种工业机器人智能控制系统
CN118269105A (zh) * 2024-05-29 2024-07-02 佛山隆深机器人有限公司 一种基于工业机械臂的洗碗机部件装配方法及相关装置
CN118269105B (zh) * 2024-05-29 2024-07-30 佛山隆深机器人有限公司 一种基于工业机械臂的洗碗机部件装配方法及相关装置

Also Published As

Publication number Publication date
CN112025701B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN112025701B (zh) 抓取物体的方法、装置、计算设备和存储介质
US11383380B2 (en) Object pickup strategies for a robotic device
CN113021401B (zh) 用于夹持和保持物体的机器人多爪夹持器总成和方法
US9649767B2 (en) Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US9205558B1 (en) Multiple suction cup control
AU2015307191B2 (en) Combination of stereo and structured-light processing
US9802317B1 (en) Methods and systems for remote perception assistance to facilitate robotic object manipulation
US10766141B1 (en) Robotic system with a coordinated transfer mechanism
JP7175487B1 (ja) 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法
CN113538459A (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
CN109648562B (zh) 箱体抓取控制方法、箱体放置控制方法、相关装置及系统
CN115485216A (zh) 机器人多表面夹持器组件及其操作方法
CN113800270A (zh) 一种用于物流拆垛的机器人控制方法及系统
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法
CN118343510A (zh) 一种拆垛方法、系统、装置、设备以及存储介质
KR20230072392A (ko) 화물 하차 자동화 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN117696445A (zh) 一种基于机械臂的高效快递分拣方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant