CN112109086B - 面向工业堆叠零件的抓取方法、终端设备及可读存储介质 - Google Patents

面向工业堆叠零件的抓取方法、终端设备及可读存储介质 Download PDF

Info

Publication number
CN112109086B
CN112109086B CN202010916161.0A CN202010916161A CN112109086B CN 112109086 B CN112109086 B CN 112109086B CN 202010916161 A CN202010916161 A CN 202010916161A CN 112109086 B CN112109086 B CN 112109086B
Authority
CN
China
Prior art keywords
industrial
grabbing
industrial part
parts
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010916161.0A
Other languages
English (en)
Other versions
CN112109086A (zh
Inventor
曾龙
赵嘉宇
刘冠宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202010916161.0A priority Critical patent/CN112109086B/zh
Publication of CN112109086A publication Critical patent/CN112109086A/zh
Application granted granted Critical
Publication of CN112109086B publication Critical patent/CN112109086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种面向工业堆叠零件的抓取方法、终端设备及可读存储介质，方法包括：生成堆叠场景中标准位姿摆放下的工业零件的一系列抓取位姿并获取位姿估计结果；采用可抓取性评价函数评价所述位姿估计结果，所述可抓取性评价函数表达式如下：
Figure DDA0002665091430000011
f1是抓取位置可达性的评价值；f2是待抓取的工业零件的相对高度的评价值；f3是待抓取的工业零件的稳定性的评价值；f4是末端执行器抓取角度的评价值；αi是对应评价值的权重参数；确定抓取顺序和对应每个所述工业零件的抓取位姿。提高了抓取的稳定性和效率，满足工业需求。

Description

面向工业堆叠零件的抓取方法、终端设备及可读存储介质
技术领域
本发明涉及机器人抓取技术领域，尤其涉及一种面向工业堆叠零件的抓取方法、终端设备及可读存储介质。
背景技术
我国目前机器人领域发展迅速，抓取机器人作为其中很大一部分开始广泛应用于家庭和工业场景中，但目前在工业场景中应用抓取机器人仍有较大挑战，主要有：工业场景一般对效率和稳定性要求非常高，既要求机械臂能够高效率地抓取并转移零件，又要求整个运动过程稳定不出差错；另一方面，工业上多为堆叠场景，而无论对于计算机视觉领域识别堆叠场景，还是机器人路径规划避免碰撞，目前的研究都不成熟。
抓取规划主要指在已经获得工业堆叠场景中各个工业零件位姿之后，对场景中工业零件抓取顺序和对应抓取位姿的规划。CN111243017A公开了一种基于3D视觉的智能机器人抓取方法，通过神经网络训练后能自主进行无碰撞路径规划，可以很好地适应工业拾取、分拣、装配等工作。CN106272424A公开了一种工业机器人抓取方法，通过单目相机和三维力传感器实现自适应抓取，最终可抓取散乱、倾斜放置的物品，降低工业零件空间位姿估计的难度。CN108555908B公开一种基于RGBD相机的堆叠工件姿态识别及拾取方法，可以实现对散乱堆叠、各种类型的工件的姿态识别和抓取。在工业生产中，一种常见的场景是同种零件杂乱堆放在物料箱内。通过上面三个专利信息可以看出，目前对于堆叠场景中零件的位姿估计和抓取时的路径规划已有一些方法。工业实际应用场景中，机械臂的末端执行器广泛使用多夹爪，零件的抓取顺序规划对抓取效率有重要影响，即先抓哪个工业零件，后抓哪个工业零件。目前的抓取方法一般只是按照随机顺序进行抓取，或多数只应用于实验室，并没有太关注一次拍照，多次抓取这方面的效率优化问题。本发明提出一个零件可抓取性的评价方法及相应装置，提高零件抓取的稳定性和效率。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种面向工业堆叠零件的抓取方法、终端设备及可读存储介质。
为了解决上述问题，本发明采用的技术方案如下所述：
一种面向工业堆叠零件的抓取方法，包括如下步骤：S1：生成堆叠场景中标准位姿摆放下的工业零件的一系列抓取位姿并获取位姿估计结果；S2：采用可抓取性评价函数评价所述位姿估计结果，所述可抓取性评价函数表达式如下：
Figure BDA0002665091410000021
其中，f1是抓取位置可达性的评价值；f2是待抓取的工业零件的相对高度的评价值；f3是待抓取的工业零件的稳定性的评价值；f4是末端执行器抓取角度的评价值；αi是对应评价值的权重参数；S3：确定抓取顺序和对应每个所述工业零件的抓取位姿。
优选地，抓取位置可达性是当夹爪抓取所述工业零件时的位姿和场景中其他所述工业零件可能发生碰撞时，函数值为0；若不会发生碰撞，函数值为1；抓取位置可达性表达式定义为：
Figure BDA0002665091410000022
优选地，待抓取的工业零件的相对高度是根据堆叠场景中的所述位姿估计结果获得所述工业零件的质心高度，计算高度差值最大的两个工业零件的高度差作为分母，以待评价的所述工业零件与质心高度最低的工业零件的高度差作为分子，表达式定义为：
Figure BDA0002665091410000023
其中，hp、hmin、hmax分别表示待测工业零件p的质心高度，堆叠场景中工业零件的最低的质心高度、最高的质心高度。
优选地，抓取稳定性表达式定义为：
Figure BDA0002665091410000024
其中，p是待测工业零件，np是与待测工业零件接触的零件个数，nmax是所有待抓取的工业零件中与周围的工业零件接触的零件个数的最大值。
优选地，末端执行器抓取角度的表达式定义为：
f4(p)＝cos(Obest，Op)
其中，Obest是末端执行器的最佳抓取角度，Op是末端执行器的实际抓取角度。
优选地，利用场景体素化计算抓取可达性和抓取稳定性。
优选地，抓取可达性计算过程包括：获得所述末端执行器最后位姿的采样点，计算末端执行器最后位姿占据的所有体素空间，则抓取可达性表达式表示为：
Figure BDA0002665091410000031
其中，Vgrasp是末端执行器占据的体素空间，V是整个体素化空间，包含所有的体素格；Vi是第i个工业零件占据的体素空间。
优选地，抓取稳定性计算过程包括：扩展待评价工业零件的包围盒，然后通过采样点获得扩展后所述工业零件表面占据的体素，计算所述体素与周围工业零件是否有交集，抓取稳定性表达式如下：
Figure BDA0002665091410000032
Figure BDA0002665091410000033
Figure BDA0002665091410000034
其中，Yi,p表征第i个工业零件和待测工业零件p是否有相交体素。
本发明还提供一种面向工业堆叠零件的稳定抓取的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一所述方法的步骤。
本发明在提高一种可读存储介质，所述可读存储介质是计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为：提供一种面向工业堆叠零件的抓取方法、终端设备及可读存储介质，通过采用可抓取性评价函数进行末端执行器的抓取位姿评价，获得最后的抓取规划结果，整个过程高效，同时兼顾了抓取时的稳定性，保证抓取时最大可能不出差错，提高了抓取的稳定性和效率，满足工业需求。
进一步地，本发明的可抓取性评价函数考虑了抓取可达性(碰撞检测)，抓取稳定性，抓取工业零件高度，夹爪抓取角度四个方面，同时每个评价指标权重可以进行灵活调整，可以使抓取在效率和稳定性两方面得到平衡。
再进一步地，可抓取性评价函数关注到了抓取稳定性评价指标，从而使得一次拍照和抓取规划可以规划出多个抓取零件，提高效率。
最后，本发明的方法可抓取性评价函数通用性较强，对场景中的工业零件形状没有特殊限制。
附图说明
图1是本发明实施例中一种面向工业堆叠零件的抓取方法的示意图。
图2是本发明实施例中一种面向工业堆叠零件的抓取系统的示意图。
图3是本发明实施例中抓取工业零件的流程的示意图。
图4是本发明实施例中工业零件的抓取位姿生成方式示意图。
图5是本发明实施例中面向工业堆叠零件的抓取方法规划部分的流程图。
图6是本发明实施例中抓取角度示意图。
图7(a)是本发明实施例中工业零件标注位姿采样点的示意图。
图7(b)是本发明实施例中工业零件初始化体素模型的示意图。
图7(c)是本发明实施例中工业零件最终体素模型的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明提供一种面向工业堆叠零件的抓取方法，包括如下步骤：
S1：生成堆叠场景中标准位姿摆放下的工业零件的一系列抓取位姿并获取位姿估计结果；
S2：采用可抓取性评价函数评价所述位姿估计结果，所述可抓取性评价函数表达式如下：
Figure BDA0002665091410000051
其中，f1是抓取位置可达性的评价值；f2是待抓取的工业零件的相对高度的评价值；f3是待抓取的工业零件的稳定性的评价值；f4是末端执行器抓取角度的评价值；αi是对应评价值的权重参数；
S3：确定抓取顺序和对应每个所述工业零件的抓取位姿。
本发明提供一种面向工业堆叠零件的抓取方法，采用可抓取性评价函数进行末端执行器的抓取位姿评价，获得最后的抓取规划结果，整个过程高效，同时兼顾了抓取时的稳定性，保证抓取时最大可能不出差错，提高了抓取的稳定性和效率，满足工业需求。
进一步地，本发明的可抓取性评价函数考虑了抓取可达性(碰撞检测)，抓取稳定性，抓取工业零件高度，夹爪抓取角度四个方面，同时每个评价指标权重可以进行灵活调整，可以使抓取在效率和稳定性两方面得到平衡。
再进一步地，可抓取性评价函数关注到了抓取稳定性评价指标，从而使得一次拍照和抓取规划可以规划出多个抓取零件，提高效率。
最后，本发明的方法可抓取性评价函数通用性较强，对场景中的工业零件形状没有特殊限制。
在一种具体的实施例中，在工业生产线上，一个常见的场景是同种零件散乱堆叠在一个很大的物料筐里，需要机械手在避免碰撞的前提下尽可能快速地将零件转移到另一个位置。
如图2所示，基于上述场景，本发明提供一种面向工业堆叠零件的抓取系统，整个抓取环境主要由深度视觉相机，包括但不限于EnsensoN35等；多自由度机械臂，包括但不限于UR3等；自适应夹爪,包括但不限于Robotiq85夹爪等，计算机，物料筐和待抓取工业零件构成。机械臂，夹爪，物料筐和待抓工业零件在一条直线上，深度相机在物料筐的一侧方便拍照，计算机通过数据线连接深度相机，机械臂和夹爪，摆放在不会干涉到拍照和机械臂抓取的位置。计算机向深度相机发送拍照的信号，深度相机用于拍照并将点云图像传递给计算机，计算机通过使用本发明提出的方法处理后获得场景中物体位置并计算出合适的抓取顺序和抓取位姿,规划出路径后将信息传递给机械臂操纵机械和夹爪进行抓取，机械臂和夹爪受计算机的控制将工业零件从物料筐转移到对应工业零件摆放位置。
如图3所示，采用上述系统和本发明的方法抓取工业零件的流程如下所示：
1.点云预处理：由深度相机获取所述堆叠场景的点云，通过背景剔除和滤波后获得所述工业零件的点云。背景剔除采用的方法包括但不限于对实际抓取场景点云和预拍摄背景点云对比，将每个背景点生成球形包围盒并搜索在球内的场景点并删除，以获得背景剔除的初步效果。滤波目的是对背景剔除后剩余的一些杂点噪点做进一步去除，方法包括但不限于应用PCL编程库，直接调用filter模块中的双边滤波，高斯滤波等。
2.位姿估计：将所述工业零件的点云输入三维点云深度学习网络，计算并获得所述工业零件工业零件的质心位姿；三维点云深度学习网络包括但不限于：Pointnet，PPR-Net等。
3.抓取规划：根据所述工业零件的类型去匹配模板库中的预定义位姿得到所述位姿估计结果；采用可抓取性评价函数评价所述位姿估计结果。
假定堆叠场景中有a个工业零件，该种类预定义b种抓取位姿，那么该场景可抓取性评价函数需要评价a×b种位姿，该堆叠场景通过可抓取性评价函数定量评价所有可能的抓取位姿的抓取效果，可抓取性评价函数表达式如下：
Figure BDA0002665091410000071
之后利用可抓取性评价函数计算出场景中所有工业零件的所有可能位姿的评价值，排序可获得物料框内的工业零件的抓取顺序和对应抓取位姿。
4.轨迹执行：将对应抓取位姿传输给机械臂，通过计算获得无干涉的机械臂运动路径，路径规划方法包括但不限于调用机器人操作系统ROS平台下的MoveIT！模块等。
如图4所示，是工业零件的抓取位姿生成方式示意图。根据这个示意图生成标准位姿摆放下的工业零件的一系列抓取位姿。在一种具体的实施例中，工业零件是圆柱形，圆柱形零件预定义标准抓取位姿，以圆柱轴线为旋转轴，将1、2、3三个初始位姿每隔20°转动一次获得新的位姿。
如图5所示，面向工业堆叠零件的抓取方法规划部分的流程图。对所有堆叠场景中的工业零件的所有可能的抓取位姿计算f2，f3，f4的值，之后对计算出的抓取函数值进行排序，按顺序对每个抓取位姿计算其f1值验证抓取可达性是否满足要求，如果发生碰撞干涉则舍弃这个结果去验证下一个可能的抓取位姿，直到获得一个合适的抓取顺序。
在上述步骤3中，输入：场景的位姿估计结果(位姿列表)
输出：抓取顺序和对应工业零件的抓取位姿
本发明的输入是通过深度神经网络估计出的场景中零件位置和姿态信息，之后预定义好每个零件可能的抓取位姿并带入到可抓取性评价函数中获得评价值，对其进行排序得到合适的抓取顺序，并记录这些抓取位姿输出给机械臂，机械臂通过ROS下的MoveIT！模块操控机械臂进行抓取。
抓取位置可达性是当夹爪抓取所述工业零件时的位姿和场景中其他所述工业零件可能发生碰撞时，函数值为0；若不会发生碰撞，函数值为1；抓取位置可达性表达式定义为：
Figure BDA0002665091410000072
待抓取的工业零件的相对高度是根据堆叠场景中的所述位姿估计结果获得所述工业零件的质心高度，计算高度差值最大的两个工业零件的高度差作为分母，以待评价的所述工业零件与质心高度最低的工业零件的高度差作为分子，表达式定义为：
Figure BDA0002665091410000081
其中，hp、hmin、hmax分别表示待测工业零件p的质心高度，堆叠场景中工业零件的最低的质心高度、最高的质心高度。
抓取稳定性指的是移除待评价零件后对整个场景的破坏程度，待抓零件周围的零件越多，移除之后可能会对周围场景的破坏性越大，，抓取稳定性表达式定义为：
Figure BDA0002665091410000082
其中，p是待测工业零件，np是与待测工业零件接触的零件个数，nmax是所有待抓取的工业零件中与周围的工业零件接触的零件个数的最大值。
如图6所示，图中O点是物体或工业零件的质心；由于机械臂、待抓零件和相机的摆放位置相对固定，因此机械臂在实际操控夹爪进行抓取时夹爪抓取方向会被限制在一定角度范围内。基于以上情况，末端执行器抓取角度的表达式定义为：
f4(p)＝cos(Obest，Op)
其中，Obest是末端执行器的最佳抓取角度，Op是末端执行器的实际抓取角度。
如图7(a)-图7(c)所示，在计算抓取可达性和抓取稳定性时，将堆叠场景的点云场景转化为体素场景进行计算，提高了这两项评价指标的计算效率，节省了时间。体素化过程如下：首先获得工业零件在标准位姿下的表面和内部采样点，之后设置体素格边长同时初始化体素化场景，最后通过采样点的位姿转换计算出每个零件占据了哪些体素空间。
在计算抓取可达性和抓取稳定性时，将堆叠场景的点云场景转化为体素场景进行计算，提高了这两项评价指标的计算效率，节省了时间。
抓取可达性计算过程包括：获得所述末端执行器最后位姿的采样点，计算末端执行器最后位姿占据的所有体素空间，则抓取可达性表达式表示为：
Figure BDA0002665091410000091
其中，Vgrasp是末端执行器占据的体素空间，V是整个体素化空间，包含所有的体素格；Vi是第i个工业零件占据的体素空间。
抓取稳定性计算过程包括：扩展待评价工业零件的包围盒，然后通过采样点获得扩展后所述工业零件表面占据的体素，计算所述体素与周围工业零件是否有交集，抓取稳定性表达式如下：
Figure BDA0002665091410000092
Figure BDA0002665091410000093
Figure BDA0002665091410000094
其中，Yi,p表征第i个工业零件和待测工业零件p是否有相交体素。
在本发明的一种具体的实施例中，采用现有技术的方法对有20个物体的堆叠场景进行抓取实验，T1指拍照并获得点云的时间，T2指应用深度学习网络进行位姿估计的时间，T3指使用抓取规划方法获得抓取顺序和对应抓取位姿的时间，E指单次拍照规划出的可抓物体个数，R指成功抓取的物体个数，S指每次的抓取状态(1为成功，其他数字表示未成功)，P表示单次拍照下的抓取成功率。可以看出，在机械臂抓取前进行的过程，利用可抓取性函数进行抓取规划T3所消耗的时间最多，三个步骤总共耗时约9s，总共尝试了18次抓取成功16次，成功率为89％，结果统计如表1所示。
表1现有技术的方法进行抓取的试验结果
Figure BDA0002665091410000101
采用本发明的方法共进行六次抓取实验，每次实验抓取场景均为20个物体的堆叠场景，每个场景最多拍照10次，统计数据如下表2和表3所示。与现有技术的方法进行对比，之前在抓取前的抓取规划时间超过15s，且每次只能规划出1个抓取物体和位姿。通过应用可抓取性评价函数后，每次抓取前的抓取规划时间平均小于10s，同时每次平均能规划出2.60个抓取位置，平均规划出每个抓取物体时间为3.62s，大大提高了效率。
表2本发明的方法进行抓取的试验结果
Figure BDA0002665091410000102
表3本发明的方法进行抓取的统计结果
Figure BDA0002665091410000103
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (8)

1.一种面向工业堆叠零件的抓取方法，其特征在于，包括如下步骤：
S1：生成堆叠场景中标准位姿摆放下的工业零件的一系列抓取位姿并获取位姿估计结果；
S2：采用可抓取性评价函数评价所述位姿估计结果，所述可抓取性评价函数表达式如下：
Figure FDA0003129442500000011
其中，f1是抓取位置可达性的评价值；f2是待抓取的工业零件的相对高度的评价值；f3是待抓取的工业零件的稳定性的评价值；f4是末端执行器抓取角度的评价值；αi是对应评价值的权重参数；
S3：确定抓取顺序和对应每个所述工业零件的抓取位姿；
抓取位置可达性是当夹爪抓取所述工业零件时的位姿和场景中其他所述工业零件可能发生碰撞时，函数值为0；若不会发生碰撞，函数值为1；抓取位置可达性表达式定义为：
Figure FDA0003129442500000012
待抓取的工业零件的相对高度是根据堆叠场景中的所述位姿估计结果获得所述工业零件的质心高度，计算高度差值最大的两个工业零件的高度差作为分母，以待评价的所述工业零件与质心高度最低的工业零件的高度差作为分子，表达式定义为：
Figure FDA0003129442500000013
其中，hp、hmin、hmax分别表示待测工业零件p的质心高度，堆叠场景中工业零件的最低的质心高度、最高的质心高度。
2.如权利要求1所述的面向工业堆叠零件的抓取方法，其特征在于，抓取稳定性表达式定义为：
Figure FDA0003129442500000014
其中，p是待测工业零件，np是与待测工业零件接触的零件个数，nmax是所有待抓取的工业零件中与周围的工业零件接触的零件个数的最大值。
3.如权利要求2所述的面向工业堆叠零件的抓取方法，其特征在于，末端执行器抓取角度的表达式定义为：
f4(p)＝cos(Obest，Op)
其中，Obest是末端执行器的最佳抓取角度，Op是末端执行器的实际抓取角度。
4.如权利要求3所述的面向工业堆叠零件的抓取方法，其特征在于，利用场景体素化计算抓取可达性和抓取稳定性。
5.如权利要求4所述的面向工业堆叠零件的抓取方法，其特征在于，抓取可达性计算过程包括：获得所述末端执行器最后位姿的采样点，计算末端执行器最后位姿占据的所有体素空间，则抓取可达性表达式表示为：
Figure FDA0003129442500000021
其中，Vgrasp是末端执行器占据的体素空间，V是整个体素化空间，包含所有的体素格；Vi是第i个工业零件占据的体素空间。
6.如权利要求5所述的面向工业堆叠零件的抓取方法，其特征在于，抓取稳定性计算过程包括：扩展待评价工业零件的包围盒，然后通过采样点获得扩展后所述工业零件表面占据的体素，计算所述体素与周围工业零件是否有交集，抓取稳定性表达式如下：
Figure FDA0003129442500000022
Figure FDA0003129442500000023
Figure FDA0003129442500000024
其中，Yi,p表征第i个工业零件和待测工业零件p是否有相交体素。
7.一种面向工业堆叠零件的稳定抓取的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一所述方法的步骤。
8.一种可读存储介质，所述可读存储介质是计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一所述方法的步骤。
CN202010916161.0A 2020-09-03 2020-09-03 面向工业堆叠零件的抓取方法、终端设备及可读存储介质 Active CN112109086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010916161.0A CN112109086B (zh) 2020-09-03 2020-09-03 面向工业堆叠零件的抓取方法、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010916161.0A CN112109086B (zh) 2020-09-03 2020-09-03 面向工业堆叠零件的抓取方法、终端设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112109086A CN112109086A (zh) 2020-12-22
CN112109086B true CN112109086B (zh) 2021-08-10

Family

ID=73804719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010916161.0A Active CN112109086B (zh) 2020-09-03 2020-09-03 面向工业堆叠零件的抓取方法、终端设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112109086B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150427A (zh) * 2020-09-17 2020-12-29 山东洛杰斯特物流科技有限公司 基于点云信息的混合拆垛方法、装置及设备
CN113246130B (zh) * 2021-05-26 2022-03-22 中国科学院宁波材料技术与工程研究所 一种工件抓取和拨动干预方法及系统
TWI768954B (zh) * 2021-06-04 2022-06-21 所羅門股份有限公司 取物設備控制方法、三維點雲資料處理方法、自動取物系統及控制系統
CN115431258A (zh) * 2021-06-04 2022-12-06 京东科技信息技术有限公司 机械臂控制方法、装置、电子设备和存储介质
CN113246140B (zh) * 2021-06-22 2021-10-15 沈阳风驰软件股份有限公司 一种基于相机测量的多模型工件无序抓取方法及装置
CN113524188A (zh) * 2021-07-20 2021-10-22 熵智科技(深圳)有限公司 一种转向节抓取方法、装置、计算机设备及介质
CN113580149B (zh) * 2021-09-30 2021-12-21 湖南大学 基于关键点预测网络的无序混叠工件抓取方法和系统
WO2023092519A1 (zh) * 2021-11-28 2023-06-01 梅卡曼德（北京）机器人科技有限公司 抓取控制方法、装置、电子设备和存储介质
CN114074331A (zh) * 2022-01-19 2022-02-22 成都考拉悠然科技有限公司 一种基于视觉的无序抓取方法及机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992401A (zh) * 2017-11-29 2018-05-04 平安科技（深圳）有限公司 性能测试评价方法、装置、终端设备及存储介质
CN109816730A (zh) * 2018-12-20 2019-05-28 先临三维科技股份有限公司 工件抓取方法、装置、计算机设备和存储介质
CN110315535A (zh) * 2019-06-10 2019-10-11 西北工业大学 一种基于连续路径的机器人目标抓取检测方法
CN111259934A (zh) * 2020-01-09 2020-06-09 清华大学深圳国际研究生院 一种基于深度学习的堆叠物体6d位姿估计方法和装置
CN111283686A (zh) * 2020-03-05 2020-06-16 亿嘉和科技股份有限公司 一种用于带电作业机器人抓取支线场景下的抓取姿态计算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992401A (zh) * 2017-11-29 2018-05-04 平安科技（深圳）有限公司 性能测试评价方法、装置、终端设备及存储介质
CN109816730A (zh) * 2018-12-20 2019-05-28 先临三维科技股份有限公司 工件抓取方法、装置、计算机设备和存储介质
CN110315535A (zh) * 2019-06-10 2019-10-11 西北工业大学 一种基于连续路径的机器人目标抓取检测方法
CN111259934A (zh) * 2020-01-09 2020-06-09 清华大学深圳国际研究生院 一种基于深度学习的堆叠物体6d位姿估计方法和装置
CN111283686A (zh) * 2020-03-05 2020-06-16 亿嘉和科技股份有限公司 一种用于带电作业机器人抓取支线场景下的抓取姿态计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冗余度机器人多目标优化的研究;宁英豪;《机械工程与自动化》;20130430;第99-101页 *

Also Published As

Publication number Publication date
CN112109086A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112109086B (zh) 面向工业堆叠零件的抓取方法、终端设备及可读存储介质
CN113610921B (zh) 混合工件抓取方法、设备及计算机可读存储介质
CN110640730B (zh) 生成用于机器人场景的三维模型的方法和系统
CN109015640B (zh) 抓取方法、系统、计算机装置及可读存储介质
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及系统
US20220245849A1 (en) Machine learning an object detection process using a robot-guided camera
CN112847375B (zh) 一种工件抓取方法、装置、计算机设备及存储介质
CN112464410B (zh) 一种工件抓取顺序的确定方法、装置、计算机设备及介质
CN113858188A (zh) 工业机器人的抓取方法和设备、计算机存储介质以及工业机器人
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN112936257A (zh) 一种工件抓取方法、装置、计算机设备及存储介质
CN112192577A (zh) 一种应用于机器人抓取场景的一拍多抓方法
CN114310892B (zh) 基于点云数据碰撞检测的物体抓取方法、装置和设备
CN112828892A (zh) 一种工件抓取方法、装置、计算机设备及存储介质
CN108555902B (zh) 一种机器人分拣物品的方法、装置及机器人
CN113538576B (zh) 基于双臂机器人的抓取方法、装置及双臂机器人
CN113269112A (zh) 一种抓取区域的识别方法、装置、电子设备及存储介质
CN112338922B (zh) 一种五轴机械臂抓取放置方法及相关装置
WO2024067006A1 (zh) 无序线材分拣方法、装置及系统
CN114750164B (zh) 一种透明物体的抓取方法、系统及计算机可读存储介质
CN116229156A (zh) 机器人及其控制方法、装置和可读存储介质
CN114241286B (zh) 对象的抓取方法、装置、存储介质及电子装置
JP6041710B2 (ja) 画像認識方法
CN114952836A (zh) 多指手机器人抓取方法、装置与机器人系统
CN113298877A (zh) 物体装配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant