CN114851208B - 物体抓取方法以及用于抓取物体的系统 - Google Patents
物体抓取方法以及用于抓取物体的系统 Download PDFInfo
- Publication number
- CN114851208B CN114851208B CN202210680636.XA CN202210680636A CN114851208B CN 114851208 B CN114851208 B CN 114851208B CN 202210680636 A CN202210680636 A CN 202210680636A CN 114851208 B CN114851208 B CN 114851208B
- Authority
- CN
- China
- Prior art keywords
- grabbed
- module
- end effector
- grabbing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 239000012636 effector Substances 0.000 claims abstract description 259
- 238000007599 discharging Methods 0.000 claims abstract description 105
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims description 49
- 239000000463 material Substances 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 15
- 238000005303 weighing Methods 0.000 claims description 12
- 239000013072 incoming material Substances 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 210000000078 claw Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本公开提供的物体抓取方法以及用于抓取物体的系统,该方法包括:获取上料装置中待抓取区域的点云信息;基于所述点云信息,确定所述待抓取区域中的待抓取物体的特征信息,并基于所述特征信息确定末端执行器类型,所述末端执行器类型用于指示抓取模块中用于抓取的末端执行器,其中,所述抓取模块包括多个末端执行器;控制所述抓取模块基于所述末端执行器类型切换所述抓取模块的末端执行器,并控制所述抓取模块基于所切换到的末端执行器,将所述上料装置中的待抓取物体抓取放置于放料装置中。进而,通过上述方法可以避免在控制抓取模块进行物体抓取过程中,容易出现由于末端执行器不合适而导致的物体掉落的现象。
Description
技术领域
本公开涉及电子技术领域,尤其涉及一种物体抓取方法以及用于抓取物体的系统。
背景技术
当前,随着电子技术的不断发展,用于自动识别并抓取物体的装置在生产生活中起到了重要的作用,例如,可以应用于物流运输领域以提高运输效率。目前,在用于自动化物体抓取的装置中,通常设置有用于抓取物体的末端执行器,并通过控制末端执行器来实现物体的抓取。
然而,在实际应用过程中,需要抓取的物体种类较多,而自动化物体抓取装置所配置的末端执行器类型较为单一,使得自动化物体抓取装置所能抓取的物体种类也较少,当自动化抓取装置与待抓取的物体不匹配时,容易在抓取过程中出现物品掉落的现象。
为了避免上述问题,急需要提供一种新的物体抓取方法。
发明内容
本公开提供一种物体抓取方法以及用于抓取物体的系统,用以解决相关技术中在物体抓取时容易出现物品掉落的问题。
第一方面,本公开提供一种物体抓取方法,包括:
获取上料装置中待抓取区域的点云信息;
基于所述点云信息,确定所述待抓取区域中的待抓取物体的特征信息,并基于所述特征信息确定末端执行器类型,所述末端执行器类型用于指示抓取模块中用于抓取的末端执行器,其中,所述抓取模块包括多个末端执行器;
控制所述抓取模块基于所述末端执行器类型切换所述抓取模块的末端执行器,并控制所述抓取模块基于所切换到的末端执行器,将所述上料装置中的待抓取物体抓取放置于放料装置中。
在一些实施例中,所述特征信息包括:表面平整度、形状信息、材料信息中的至少一项;基于所述特征信息确定末端执行器类型,包括:
基于所述特征信息以及预设对应关系,确定所述抓取模块中的末端执行器类型,所述预设对应关系用于指示特征信息与末端执行器类型之间的对应关系。
在一些实施例中,所述控制所述抓取模块基于所切换到的末端执行器,将所述上料装置中的待抓取物体抓取放置于放料装置中,包括:
重复执行以下步骤,直至达到第一停止条件:
获取所述上料装置中的待抓取区域的点云信息;
若基于所述待抓取区域的点云信息,在所述待抓取区域的待抓取物体中可确定出所述抓取模块当前需要抓取的物体,则控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中,其中,所述第一停止条件为确定所述上料装置中的待抓取物体已被全部抓取。
在一些实施例中,所述获取所述上料装置中的待抓取区域体的点云信息之后,所述方法还包括:
重复执行以下步骤,直至达到第二停止条件:
若基于所述待抓取区域的点云信息,在所述待抓取区域的待抓取物体中未确定出所述抓取模块当前需要抓取的物体,且所述上料装置中的待抓取物体未被全部抓取,则控制所述上料装置震动;
获取震动后所述上料装置中的所述待抓取区域的点云信息,其中,所述第二停止条件为确定基于震动后所述上料装置中的所述待抓取区域的点云信息,在所述上料装置中的所述待抓取区域待抓取物体中可确定出所述抓取模块当前需要抓取的物体。
在一些实施例中,所述控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之前,所述方法还包括:
获取所述待抓取区域中的待抓取物体的第一重量值以及所述放料装置中的物体的第二重量值;
所述控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之后,所述方法还包括:
获取所述待抓取区域中的待抓取物体的第三重量值以及所述放料装置中物体的第四重量值;
基于所述第一重量值与所述第三重量值的变化量,以及所述第二重量值和所述第四重量值的变化量,确定所述抓取模块抓取过程中是否发生末端执行器抓取失败事件。
在一些实施例中,所述控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之前,所述方法还包括:
获取所述放料装置中物体的第一图像信息以及所述抓取模块当前需要抓取的物体的第二图像信息;
基于所述第一图像信息以及所述第二图像信息,确定所述当前需要抓取的物体在所述放料装置中的摆放位置信息;
所述控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中,包括:
控制所述抓取模块基于所切换到的末端执行器以及所述摆放位置信息,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中。
在一些实施例中,所述控制所述抓取模块基于所述控制所述抓取模块基于所切换到的末端执行器以及所述摆放位置信息,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之后,所述方法还包括:
获取所述放料装置中物体的第三图像信息;
将所述第三图像信息与所述第二图像信息进行图像比对,确定所述抓取模块抓取过程中是否发生末端执行器抓取失败事件。
在一些实施例中,所述抓取模块中所切换到的末端执行器上设置有与其对应的传感器;所述方法还包括:
在控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中的过程中,实时获取所述传感器当前上报检测值,并基于所述当前上报的检测值调节所述抓取模块中所切换到的末端执行器的控制参数。
在一些实施例中,所述基于所述当前上报的检测值调节所述抓取模块中所切换到的末端执行器的控制参数,包括:
若确定所述当前上报的检测值小于前一次上报的检测值,且所述当前上报的检测值与所述前一次上报的检测值的差值大于预设阈值,则增加所切换到的末端执行器的控制参数,所述控制参数用于指示所述末端执行器的抓取力度。
在一些实施例中,若所切换到的末端执行器的执行器类型为气吸类型,则所述传感器为气压传感器,且所述控制参数为所述末端执行器的吸力值、所述末端执行器的气阀开启值中的至少一项;
若所切换到的末端执行器的执行器类型为电爪类型或者软爪类型,则所述传感器为压力传感器,且所述控制参数为所述末端执行器力度、与所述当前需要抓取的物体的距离值中的至少一项。
第二方面,本公开提供一种用于抓取物体的系统,所述系统包括上料装置、放料装置、抓取模块、来料识别模块以及控制单元;所述抓取模块、所述来料识别模块分别与所述控制单元具有通信连接关系;
所述来料识别模块,用于获取所述上料装置中待抓取区域的点云信息;
所述上料装置,用于存放待抓取物体;
所述放料装置,用于存放抓取后的物体;
所述控制单元,用于执行如权利要求1-10任一项所述的方法;
所述抓取模块包括多个末端执行器,所述抓取模块用于在所述控制单元的控制下,切换所述末端执行器,并用于将所述上料装置中的待抓取物体抓取放置于放料装置中。
在一些实施例中,所述系统还包括:震框模块;所述上料装置设置在所述震框模块表面;所述震框模块与所述控制单元具有通信连接关系;
所述震框模块,用于在所述控制单元基于所述待抓取区域的点云信息,在所述待抓取区域的待抓取物体中未确定出所述抓取模块当前需要抓取的物体时,控制所述上料装置震动。
在一些实施例中,所述系统还包括:放料识别模块以及第一称重模块;所述放料识别模块、所述第一称重模块分别与所述控制单元具有通信连接关系;
所述放料识别模块,用于获取所述放料装置中物体的图像信息;
所述第一称重模块,用于获取所述放料装置中物体的重量值;
所述震框模块,还用于获取所述上料装置中待抓取物体的重量值。
第三方面,本公开提供一种物体抓取装置,所述物体抓取装置,包括:
第一获取单元,用于获取上料装置中待抓取区域的点云信息。
第一确定单元,用于基于所述点云信息,确定所述待抓取区域中的待抓取物体的特征信息。
第二确定单元,用于基于所述特征信息确定末端执行器类型,所述末端执行器类型用于指示抓取模块中用于抓取的末端执行器,其中,所述抓取模块包括多个末端执行器。
第一操控单元,用于控制所述抓取模块基于所述末端执行器类型切换所述抓取模块的末端执行器。
第二操控单元,用于控制所述抓取模块基于所切换到的末端执行器,将所述上料装置中的待抓取物体抓取放置于放料装置中。
在一些实施例中,所述特征信息包括:表面平整度、形状信息、材料信息中的至少一项;所述第一确定单元,具体用于:基于所述特征信息以及预设对应关系,确定所述抓取模块中的末端执行器类型,所述预设对应关系用于指示特征信息与末端执行器类型之间的对应关系。
在一些实施例中,所述第二操控单元,包括:
重复执行以下第一获取模块以及第一控制模块,直至达到第一停止条件。
第一获取模块,用于获取所述上料装置中的待抓取区域的点云信息。
第一控制模块,用于若基于所述待抓取区域的点云信息,在所述待抓取区域的待抓取物体中可确定出所述抓取模块当前需要抓取的物体,则控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中,其中,所述第一停止条件为确定所述上料装置中的待抓取物体已被全部抓取。
在一些实施例中,所述装置还包括:
重复执行以下第二控制模块以及第三控制模块,直至达到第二停止条件:
第二控制模块,用于在所述第一获取模块获取所述上料装置中的待抓取区域体的点云信息之后,若基于所述待抓取区域的点云信息,在所述待抓取区域的待抓取物体中未确定出所述抓取模块当前需要抓取的物体,且所述上料装置中的待抓取物体未被全部抓取,则控制所述上料装置震动。
第二获取模块,用于获取震动后所述上料装置中的所述待抓取区域的点云信息,其中,所述第二停止条件为确定基于震动后所述上料装置中的所述待抓取区域的点云信息,在所述上料装置中的所述待抓取区域待抓取物体中可确定出所述抓取模块当前需要抓取的物体。
在一些实施例中,所述装置还包括:
第三获取模块,用于在所述第一控制模块控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之前,获取所述待抓取区域中的待抓取物体的第一重量值以及所述放料装置中的物体的第二重量值。
第四获取模块,用于在所述第一控制模块控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之后,获取所述待抓取区域中的待抓取物体的第三重量值以及所述放料装置中物体的第四重量值。
第一确定模块,用于基于所述第一重量值与所述第三重量值的变化量,以及所述第二重量值和所述第四重量值的变化量,确定所述抓取模块抓取过程中是否发生末端执行器抓取失败事件。
在一些实施例中,所述装置还包括:
第五获取模块,用于在所述第一控制模块控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之前,获取所述放料装置中物体的第一图像信息以及所述抓取模块当前需要抓取的物体的第二图像信息。
第二确定模块,用于基于所述第一图像信息以及所述第二图像信息,确定所述当前需要抓取的物体在所述放料装置中的摆放位置信息。
所述第一控制模块,具体用于控制所述抓取模块基于所切换到的末端执行器以及所述摆放位置信息,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中。
在一些实施例中,所述控制所述抓取模块基于所述控制所述抓取模块基于所切换到的末端执行器以及所述摆放位置信息,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之后,所述装置还包括:
第六获取模块,用于在所述第一控制模块控制所述抓取模块基于所述控制所述抓取模块基于所切换到的末端执行器以及所述摆放位置信息,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之后,获取所述放料装置中物体的第三图像信息。
第三确定模块,用于将所述第三图像信息与所述第二图像信息进行图像比对,确定所述抓取模块抓取过程中是否发生末端执行器抓取失败事件。
在一些实施例中,所述抓取模块中所切换到的末端执行器上设置有与其对应的传感器;所述装置还包括:
第三操控单元,在控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中的过程中,实时获取所述传感器当前上报检测值,并基于所述当前上报的检测值调节所述抓取模块中所切换到的末端执行器的控制参数。
在一些实施例中,所述第三操控单元,具体用于:
若确定所述当前上报的检测值小于前一次上报的检测值,且所述当前上报的检测值与所述前一次上报的检测值的差值大于预设阈值,则增加所切换到的末端执行器的控制参数,所述控制参数用于指示所述末端执行器的抓取力度。
在一些实施例中,若所切换到的末端执行器的执行器类型为气吸类型,则所述传感器为气压传感器,且所述控制参数为所述末端执行器的吸力值、所述末端执行器的气阀开启值中的至少一项。
若所切换到的末端执行器的执行器类型为电爪类型或者软爪类型,则所述传感器为压力传感器,且所述控制参数为所述末端执行器力度、与所述当前需要抓取的物体的距离值中的至少一项
第四方面,本公开提供一种电子设备,包括:存储器,处理器;
存储器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器,用于根据所述可执行指令执行如第一方面任一项所述的方法。
第五方面,本公开提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。
第六方面,本公开一种计算机程序产品,所述计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现第一方面中任一项所述的方法。
本公开提供的物体抓取方法以及用于抓取物体的系统,该方法包括:获取上料装置中待抓取区域的点云信息;基于所述点云信息,确定所述待抓取区域中的待抓取物体的特征信息,并基于所述特征信息确定末端执行器类型,所述末端执行器类型用于指示抓取模块中用于抓取的末端执行器,其中,所述抓取模块包括多个末端执行器;控制所述抓取模块基于所述末端执行器类型切换所述抓取模块的末端执行器,并控制所述抓取模块基于所切换到的末端执行器,将所述上料装置中的待抓取物体抓取放置于放料装置中。本公开中通过在抓取模块中配置多个不同的末端执行器,在抓取时可以基于获取到的待抓取区域的点云信息,确定待抓取区域中的待抓取物体的特征信息,并基于待抓取物体的特征信息,来控制抓取模块中当前用于抓取的末端执行器,以便确定出适合于当前待抓取物体的末端执行器。进而,通过上述方法可以避免在控制抓取模块进行物体抓取过程中,容易出现由于末端执行器不合适而导致的物体掉落的现象。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本公开实施例提供的一种物体抓取方法的流程示意图;
图2为本公开实施例提供的一种物体抓取方法的流程示意图;
图3为本公开实施例提供的一种物体抓取方法的流程示意图;
图4为本公开实施例提供的一种用于抓取物体的系统的示意图;
图5为本公开实施例提供的第二种用于抓取物体的系统的示意图;
图6为本公开实施例提供的一种用于抓取物体的系统的结构示意图;
图7为本公开实施例提供的一种物体抓取装置的结构示意图;
图8为本公开实施例提供的第二种物体抓取装置的结构示意图;
图9为本公开实施例中提供的一种电子设备的结构示意图。
附图标记说明:
1:支撑台;2:上料装置;3:放料装置;4:第一识别模块;5:第二识别模块;
6:第三识别模块;7:抓取模块。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与本公开的一些方面相一致的装置和方法的例子。
随着电子技术的不断发展,为了便于物体的运送以及分发,越来越多的用于抓取物体的自动化装置已经应用到人类的生产和生活中。相关技术中,在用于自动化抓取物体的装置中,通常会设置有末端执行器,通过对末端执行器进行控制来抓取待抓取的物体。
然而,由于待抓取的物体的种类较多,使得上述用于自动化抓取物体的装置无法适用于各类待抓取的物体,容易在抓取过程中出现物体损坏等现象。
本公开提供的物体抓取方法以及用于抓取物体的系统,用以解决上述技术问题。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。
图1为本公开实施例提供的一种物体抓取方法的流程示意图,如图1所示,该方法包括以下步骤:
S101、获取上料装置中待抓取区域的点云信息。
示例性地,本实施例所提供的方法的执行主体可以为物体抓取装置,该物体抓取装置可以为服务器、也可以为终端设备、也可以为处理器、也可以为芯片等,本实施例不做限定。以下实施例中,以电子设备为执行主体进行说明。
本实施例中的上料装置,用于存放有待抓取的物体。抓取模块,用于在电子设备的控制下,将上料装置中的待抓取的物体并放置在放料装置中,其中,放料装置用于存放抓取后的物体。
在电子设备控制抓取模块进行物体抓取时,首先,电子设备可以获取上料装置中待抓取区域的点云信息。电子设备所获取到的点云信息可以为摄像头拍摄后发送至电子设备的。
一个示例中,当电子设备获取到待抓取区域的点云信息之后,可以通过对获取到的点云信息进行分析处理,进而确定当前待抓取区域中是否存在待抓取的物体,若存在待抓取的物体,则可以继续执行以下步骤。
S102、基于点云信息,确定待抓取区域中的待抓取物体的特征信息。
示例性地,在电子设备获取到点云信息之后,可以通过对点云信息进行分析处理,进而确定出待抓取区域中的待抓取物体的特征信息。
一个示例中,电子设备在对点云信息进行分析处理时,首先可以对点云信息进行分割处理,进而在获取到的点云图像中确定中待抓取的物体对应的点云信息,之后,通过对待抓取物体对应的点云信息进行分析处理,确定出待抓取物体的特征信息。
S103、基于特征信息确定末端执行器类型,末端执行器类型用于指示抓取模块中用于抓取的末端执行器,其中,抓取模块包括多个末端执行器。
示例性地,本实施例中,抓取模块中设置有多个不同的末端执行器,末端执行器与末端执行器类型之间一一对应。电子设备在确定出待抓取物体的特征信息之后,可以基于待抓取物体的特征信息,确定出抓取模块在抓取上述待抓取物体时,需要使用的末端执行器的执行器类型。
一个示例中,抓取模块中的多个末端执行器的类型可以为电爪、软爪、磁吸、气吸、气爪中的至少两项。
一个示例中,步骤S102确定出的特征信息可以为待抓取物体的轮廓信息,电子设备可以基于待抓取物体的轮廓信息,确定出抓取模块中的末端执行器在抓取上述抓取物体时,末端执行器的夹爪部位需要张开的尺寸。之后,基于上述需要张开的尺寸,符合上述需要张开的尺寸要求的末端执行器的类型,作为本步骤中所确定出的末端执行器类型。
S104、控制抓取模块基于末端执行器类型切换抓取模块的末端执行器,并控制抓取模块基于所切换到的末端执行器,将上料装置中的待抓取物体抓取放置于放料装置中。
示例性地,电子设备在通过步骤S103确定出末端执行器类型之后,电子设备可以控制抓取模块将抓取模块当前使用的末端执行器切换为步骤S103所确定出的末端执行器类型所指示的末端执行器,之后,电子设备控制抓取模块基于切换后的末端执行器对待抓取区域中的待抓取物体进行抓取放置到放料装置中。
在实际应用的过程中,若电子设备基于待抓取区域的点云信息,确定在待抓取区域中可以包括有多个不同种类的待抓取物体,例如,可以包含罐装饮料、充气包装的食物等,此时,在电子设备控制抓取模块抓取待抓取区域中的任一待抓取物体之前,电子设备均可以基于该待抓取物体的点云信息,确定是否对抓取模块中的末端执行器进行切换。
此外,若电子设备基于待抓取区域的点云信息,确定在待抓取区域中包括有同一种类的多个待抓取物体,则此时,在电子设备控制抓取模块抓取待抓取区域中的首个待抓取物体之前,电子设备可以基于该待抓取物体的点云信息,确定是否对抓取模块中的末端执行器进行切换。之后电子设备可以控制抓取模块基于确定出的末端执行器类型所指示的末端执行器,对待抓取区域中的待抓取物体进行抓取,直至该区域中的物体被全部抓取。
可以理解的是,本实施例中,抓取模块中可以配置有多个不同的末端执行器。电子设备可以基于获取到的待抓取区域的点云信息,确定待抓取区域中的待抓取物体的特征信息,并基于待抓取物体的特征信息,来控制抓取模块中当前用于抓取的末端执行器,以便确定出适合于当前待抓取物体的末端执行器。进而,通过上述方法可以避免在电子设备控制抓取模块进行物体抓取过程中,容易出现由于末端执行器不合适而导致的物体掉落的现象。
图2为本公开实施例提供的一种物体抓取方法的流程示意图,如图2所示,该方法包括以下步骤:
S201、获取上料装置中待抓取区域的点云信息。
示例性地,本步骤可以参见步骤S101,此处不再赘述。
S202、基于点云信息,确定待抓取区域中的待抓取物体的特征信息;特征信息包括:表面平整度、形状信息、材料信息中的至少一项。
示例性地,本实施例中,在获取到点云信息之后,可以基于点云信息中所包含的强度信息、坐标信息等,确定出待抓取物体的表面平整度、待抓取物体的形状信息、以及待抓取物体的材料信息中的至少一项。
举例来说,电子设备可以再确定出待抓取物体对应的多个点云后,基于多个点云的位置坐标来确定出待抓取物体的表面平整度、以及待抓取物体的形状信息。并且,电子设备所获取到的待抓取区域的点云信息中的强度信息,来分析得到待抓取物体的材料信息,例如是否为金属材料等。
S203、基于特征信息以及预设对应关系,确定抓取模块中的末端执行器类型,预设对应关系用于指示特征信息与末端执行器类型之间的对应关系,末端执行器类型用于指示抓取模块中用于抓取的末端执行器,其中,抓取模块包括多个末端执行器。
示例性地,在获取到特征信息之后,可以基于电子设备中设置的预设对应关系来进一步确定出抓取模块中的末端执行器类型。其中,预设对应关系可以用于表征特征信息与末端执行器类型之间的对应关系。
举例来说,当特征信息包括:表面平整度、形状信息、材料信息时,此时,可以基于表面平整度、形状信息、材料信息与末端执行器类型四者之间的预设对应关系来确定出抓取模块中用于抓取待抓取物体的末端执行器的类型。
可以理解的是,本实施例中,在确定末端执行器类型时,可基于特征信息与末端执行器类型之间的对应关系来确定抓取模块中用于抓取待抓取物体的末端执行器类型,以便可以确定出适合于待抓取物体的末端执行器,减少抓取模块在抓取过程中发生掉件的现象。
S204、控制抓取模块基于末端执行器类型切换抓取模块的末端执行器。
示例性地,本步骤可以参见步骤S104,此处不再赘述。
重复执行以下步骤S205-S208,直至达到第一停止条件:
S205、获取上料装置中的待抓取区域的点云信息。
示例性地,本实施例中,以上料装置中包括有多个待抓取物体为例,且多个待抓取物体为同一种类的物体(此处,同一种类物体用于基于物体的特征信息所确定出的末端执行器类型相同)进行举例说明。
重复执行以下步骤S206-S207,直至达到第二停止条件:
S206、若基于待抓取区域的点云信息,在待抓取区域的待抓取物体中未确定出抓取模块当前需要抓取的物体,且上料装置中的待抓取物体未被全部抓取,则控制上料装置震动。
示例性地,在电子设备控制抓取模块进行抓取时,首先,电子设备会获取当前待抓取区域中的点云信息,并基于所获取到的当前待抓取区域中的点云信息确定是否可以确定出待抓取的物体。
此处,需要说明的是,电子设备基于点云信息,在待抓取区域的待抓取物体中未确定出抓取模块当前需要抓取的物体用于表征当前待抓取区域中的待抓取物体的摆放对于抓取模块中的末端执行器的抓取而言难度较大。举例来说,当末端执行器采用磁吸式末端执行器时,磁吸式末端执行器与待抓取区域中各个待抓取物体的表面的接触面积都较小,容易导致抓取过程中出现掉件现象,此时电子设备会认为无法确定出抓取模块当前需要抓取的物体。又比如说,当抓取模块采用夹爪式的末端执行器时,此时,抓取待抓取区域中各个待抓取物体时,电子设备确定末端执行器中的夹爪无法准确夹住任意一个待抓取物体,容易出现待抓取物体掉落的现象,则此时,电子设备会认为无法确定出抓取模块当前需要抓取的物体。
若电子设备基于当前待抓取区域的点云信息,未能确定出当前需要抓取的物体,并且待抓取区域中还存在有待抓取物体时,此时,电子设备会控制上料装置发生震动,进而使得上料装置中待抓取区域中的待抓取物体的位置发生变化。
S207、获取震动后上料装置中的待抓取区域的点云信息,其中,第二停止条件为确定基于震动后上料装置中的待抓取区域的点云信息,在上料装置中的待抓取区域待抓取物体中可确定出抓取模块当前需要抓取的物体。
示例性地,在电子设备控制上料装置震动之后,电子设备继续获取震动后的上料装置中的待抓取区域的待抓取物体的点云信息,并继续基于此时获取到的待抓取区域中的点云信息确定是否可以确定出抓取模块当前需要抓取的物体。若电子设备仍无法确定出当前需要抓取的物体,则可以返回执行步骤S206,直至电子设备基于震动后的待抓取区域的点云信息可以在待抓取区域的待抓取物体中确定出抓取模块当前需要抓取的物体。
一个示例中,在电子设备控制上料装置震动时,可以基于上料装置的待抓取区域中所包含的待抓取物体的重量来确定上料装置的震动强度,以便可以有效的改变上料装置中待抓取区域的待抓取物体的位置。
可以理解的是,本实施例中,当待抓取区域中仍存在有待抓取物体,但电子设备基于当前的待抓取区域的点云信息无法确定出抓取模块当前需要抓取的物体时,则此时可以通过控制上料装置震动的方式来改变上料装置中待抓取物体的位置,以便降低后续在抓取过程中发生掉件的现象。
S208、若基于待抓取区域的点云信息,在待抓取区域的待抓取物体中可确定出抓取模块当前需要抓取的物体,则控制抓取模块基于所切换到的末端执行器,将抓取模块当前需要抓取的物体抓取放置于放料装置中,其中,第一停止条件为确定上料装置中的待抓取物体已被全部抓取。
示例性地,当电子设备基于当前获取到的待抓取区域的点云信息可以确定出抓取模块当前需要抓取的物体时,此时,电子设备可以控制抓取模块对确定出的当前需要抓取的物体进行抓取,并放置到放料装置中,进而,电子设备在每次控制抓取模块进行抓取之前,都会重复执行上述步骤S205-S208,直至待抓取区域中的待抓取物体被全部抓取完毕。
可以理解的是,本实施例中,电子设备在每次控制抓取模块进行抓取时,都会确定当前是否可以确定出抓取模块当前需要抓取的物体,进而提高待抓取物体被成功抓取且不发生掉落现象的概率。
在一些实施例中,在执行步骤S208中的“控制抓取模块基于所切换到的末端执行器,将抓取模块当前需要抓取的物体抓取放置于放料装置中”步骤时,还可以包括以下步骤:
第一步骤:获取待抓取区域中的待抓取物体的第三重量值以及放料装置中物体的第四重量值。
第二步骤:控制抓取模块基于所切换到的末端执行器,将抓取模块当前需要抓取的物体抓取放置于放料装置中。
第三步骤:获取待抓取区域中的待抓取物体的第三重量值以及放料装置中物体的第四重量值。
第四步骤:基于第一重量值与第三重量值的变化量,以及第二重量值和第四重量值的变化量,确定抓取模块抓取过程中是否发生末端执行器抓取失败事件。
示例性地,在本实施例中,为了检测抓取模块在抓取物体的过程中是否发生抓取失败事件(即,抓取模块未能将其抓取的物体放置到放料装置中),本实施例中,在执行S208中的“控制抓取模块基于所切换到的末端执行器,将抓取模块当前需要抓取的物体抓取放置于放料装置中”步骤之前,首先电子设备会获取上料装置中的待抓取区域中的待抓取物体的第一重量值以及放料装置中的物体的第二重量值。之后,电子设备控制抓取模块对当前需要抓取的物体进行抓取,并将当前需要抓取的物体放置到放料装置中。当电子设备确定抓取模块已经进行了释放当前需要抓取的物体的动作时(例如,电子设备控制抓取模块中的夹爪宽度变宽或者控制抓取模块中末端执行器的磁力下降等动作),之后,获取上料装置中待抓取区域中的待抓取物体的第三重量值以及放料装置中待抓取物体的第四重量值,进而电子设备确定第一重量值与第三重量值的之间的变化量(即第一重量值和第三重量值之间的差值),和第二重量值与第四重量值之间的变化量(即第二重量值和第四重量值之间的差值),并将上述两个变化量进行比对,若二者相同,则确定未发生抓取失败事件,若两个变化量不相同,则电子设备确定当前发生抓取失败事件。
可以理解的是,本实施例中通过比对抓取物体前后,上料装置中物体的重量值的变化量以及放料装置中物体的重量值的变化量,来确定是否发生抓取失败事件,上述方式实现较为简单,且能够有效的对抓取模块是否成功抓取进行有效监测。以便在发生抓取失败事件之后,能够对用户进行有效提醒。
一个示例中,抓取模块中所切换到的末端执行器上设置有与其对应的传感器;在执行步骤S208中的“控制抓取模块基于所切换到的末端执行器,将抓取模块当前需要抓取的物体抓取放置于放料装置中”步骤的过程中,还可以包括以下步骤:
实时获取传感器当前上报检测值,并基于当前上报的检测值调节抓取模块中所切换到的末端执行器的控制参数。
示例性地,本实施例中,在抓取模块所切换到的末端执行器中也可以设置有传感器。其中,不同类型的末端执行器上可以设置不同类型的传感器。例如,气吸类型的末端执行器可以设置气压传感器,其中,气压传感器的数值可以用于指示末端执行机构在抓取物体时对物体产生的作用力。末端执行器的执行器类型为电爪类型或者软爪类型时,可以对应的设置压力传感器,其中,压力传感器的数值可以用于指示末端执行机构在抓取物体时对物体产生的作用力。
之后,在抓取过程中,电子设备可以实时监测传感器所检测到的数据,并基于所检测到的数据调节抓取模块中所切换到末端执行器中的控制参数。其中,控制参数为用于指示调节末端执行机构在抓取物体时对物体产生的作用力的参数。
一个示例中,在电子设备控制抓取模块抓取物体的过程中,电子设备可以对获取到的传感器所检测到的数值进行曲线拟合,若通过拟合后的曲线确定出传感器的数值出现下降的趋势,则可以增大控制参数的取值,以便增大末端执行机构在抓取物体时对物体产生的作用力,避免抓取模块在抓取并移动物体的过程中,出现物体掉落的现象。
可以理解的是,本实施例中,在末端执行器中设置有传感器,并且,在该末端执行器抓取过程中,还会实时监测传感器的检测值,以便电子设备可以基于传感器的数值对末端执行器的控制参数进行调整,进而避免出现抓取到的物体掉落的现象。
一个示例中,在执行步骤“基于当前上报的检测值调节抓取模块中所切换到的末端执行器的控制参数”时,具体地,可以通过以下方式实现:若确定当前上报的检测值小于前一次上报的检测值,且当前上报的检测值与前一次上报的检测值的差值大于预设阈值,则增加所切换到的末端执行器的控制参数,控制参数用于指示末端执行器的抓取力度。
示例性地,本实施例中,控制参数具体用于指示切换到的末端执行器对当前抓取的物体的抓取力度。在基于传感器检测到的检测值,对切换到的末端执行器的控制参数进行调整时,此时,电子设备可以通过直接将当前时刻下所获取到的检测值与前一时刻下获取的检测值进行比对,若当前时刻下的检测值小于前一时刻下的检测值,且二者之间的差值大于预设阈值,则表明末端执行器对当前待抓取物体的抓取力度下降,为了避免出现由于抓取力度下降所导致当前抓取物体掉落的现象,可以增加末端执行器的控制参数的取值,以便加大对当前抓取的物体的抓取力度。
本实施例中,在对控制参数进行调节时,电子设备可以直接基于当前获取的检测值以及前一时刻获取的检测值比较,若当前检测值小于前一次获取的检测值,且二者之间的差值大于预设阈值时,则此时,可以增加末端执行器的控制参数,以增加对当前抓取的物体的抓取力度。可以理解的是,本实施例中所提供的方法无需对所获取到的检测值进行曲线拟合,耗时较短,可以有效避免在抓取过程中出现物体掉落的现象。
在实际应用中,举例来说,若所切换到的末端执行器的执行器类型为气吸类型,则传感器为气压传感器,且控制参数为末端执行器的吸力值、末端执行器的气阀开启值中的至少一项;若所切换到的末端执行器的执行器类型为电爪类型或者软爪类型,则传感器为压力传感器,且控制参数为末端执行器力度、与当前需要抓取的物体的距离值中的至少一项。
也就是说,当末端执行器为气吸型末端执行器时,此时,可以通过调节末端执行器中的气阀开启值,或者末端执行器的吸力值中的至少一项,来调节末端执行器对当前抓取的物体的抓取力度。可以理解的是,气阀开启值越大或者吸力值越大,所对应的对于物体的抓取力度也就越大。
当末端执行器为电爪类型或者软爪类型时,此时,可以通过调节末端执行器力度,或者当前需要抓取的物体的距离值中的至少一项,来调节末端执行器对当前抓取的物体的抓取力度。其中,当前需要抓取的物体的距离值,用于指示夹爪末端相对于待抓取物体被抓取时待抓取物体顶端的距离。可以理解的是,抓取力度越大,该待抓取物体所感受到的抓取力度越大,夹爪末端与待抓取物体顶端之间的距离越大,待抓取物体从夹爪中掉落的用时越长。
本实施例中,在对待抓取物体进行抓取时,当待抓取区域中仍存在有待抓取物体,但电子设备基于当前的待抓取区域的点云信息无法确定出抓取模块当前需要抓取的物体时,则此时可以通过控制上料装置震动的方式来改变上料装置中待抓取物体的位置,以便降低后续在抓取过程中发生掉件的现象。并且,在抓取物体并放置物体的过程中,为了避免发生掉件现象,电子设备还会实时获取所切换到的末端执行器中的传感器所检测到的检测值,进而对该末端执行器对应的控制参数进行调整,进而避免在抓取到物体后发生物体掉落的事件的概率值。
图3为本公开实施例提供的一种物体抓取方法的流程示意图,如图3所示,该方法包括以下步骤:
S301、获取上料装置中待抓取区域的点云信息。
S302、基于点云信息,确定待抓取区域中的待抓取物体的特征信息。
S303、基于特征信息确定末端执行器类型,末端执行器类型用于指示抓取模块中用于抓取的末端执行器,其中,抓取模块包括多个末端执行器。
S304、控制抓取模块基于末端执行器类型切换抓取模块的末端执行器。
示例性地,步骤S301-步骤S304可以参见步骤S101-步骤S104,此处不再赘述。
重复执行以下步骤S305-S308,直至达到第一停止条件:
S305、获取上料装置中的待抓取区域的点云信息。
S306、若基于待抓取区域的点云信息,在待抓取区域的待抓取物体中可确定出抓取模块当前需要抓取的物体,则获取放料装置中物体的第一图像信息以及抓取模块当前需要抓取的物体的第二图像信息。
S307、基于第一图像信息以及第二图像信息,确定当前需要抓取的物体在放料装置中的摆放位置信息。
S308、控制抓取模块基于所切换到的末端执行器以及摆放位置信息,将抓取模块当前需要抓取的物体抓取放置于放料装置中,其中,第一停止条件为确定上料装置中的待抓取物体已被全部抓取。
示例性地,本实施例中,在电子设备基于当前获取到的待抓取区域的点云信息,确定出抓取模块当前需要抓取的物体之后,此时,为了提高放料装置中物体的存储空间利用率,此时,电子设备可以通过获取当前需要抓取的物体的第二图像信息以及放料装置中物体的第一图像信息,通过分别对第一图像信息以及第二图像信息进行图像处理,进而,确定当前需要抓取的物体在放料装置中的摆放位置信息。
举例来说,在确定摆放位置信息时,可以通过第一图像信息确定在放料装置中的各个物体的形状信息,并通过第二图像信息确定当前需要抓取的物体的形状信息,之后,电子设备通过获取到的形状信息,进行位置规划,进而得到当前需要抓取的物体的摆放位置信息。之后,电子设备通过控制抓取模块中所切换到的末端执行器,将其抓取的物体放置确定出的摆放位置信息所指示的位置。
在电子设备控制抓取模块中的末端执行器将其抓取的物体放置到确定出的摆放位置之后,继续重复执行步骤S305-S308,直至待抓取区域中不存在待抓取物体。
可以理解的是,本实施例中,在电子设备控制抓取模块进行抓取之前,可以通过获取当前需要抓取的物体的第二图像信息以及放料装置中物体的第一图像信息,来确定该当前需要抓取的物体在放料装置中放置时的摆放位置信息,进而可以提高放料装置存放空间的空间利用率。
在一些实施例中,在步骤S308之后,还可以包括以下步骤:
第一步骤:获取放料装置中物体的第三图像信息。
第二步骤:将第三图像信息与第二图像信息进行图像比对,确定抓取模块抓取过程中是否发生末端执行器抓取失败事件。
示例性地,本实施例中,在电子设备控制抓取模块将当前需要抓取的物体放置到放料装置中摆放位置信息所指示的位置之后,电子设备还可以继续获取放料装置中物体的第三图像信息。之后将获取到的第三图像信息以及放置物体之前获取到当前需要抓取的物体的第二图像信息进行比对,进而确定出电子设备在控制抓取模块对当前需要抓取的物体进行抓取放置的过程中,是否出现抓取失败事件(即,是否出现物体掉落的事件)。
可以理解的是,本实施例中,在电子设备每次控制抓取模块对当前需要抓取的物体进行抓取放置之后,可以通过比对放置后放料装置中物体的第三图像信息以及放置前获取的当前需要抓取的物体的第二图像信息,来进行是否出现抓取失败事件的监测,以便用户可以及时发现物体抓取过程中的物体掉落事件。
图4为本公开实施例提供的一种用于抓取物体的系统的示意图,如图4所示,该系统中包括系统包括上料装置、放料装置、抓取模块、来料识别模块以及控制单元;抓取模块、来料识别模块分别与控制单元具有通信连接关系;来料识别模块,用于获取上料装置中待抓取区域的点云信息;上料装置,用于存放待抓取物体;放料装置,用于存放抓取后的物体;抓取模块包括多个末端执行器,抓取模块用于在控制单元的控制下,切换末端执行器,并用于将上料装置中的待抓取物体抓取放置于放料装置中。控制单元,用于执行如上述任一实施例中的方法。
示例性地,本实施例中所提供的用于抓取物体的系统中,来料识别模块可以用于获取上料装置中待抓取区域的点云信息,之后,将其获取到的点云信息发送至控制单元,进而使得控制单元,可以基于所获取到点云信息对抓取模块中的末端执行器进行控制。具体的控制过程可以参见图1-图3中的任一实施例所提供的方法,此处不再赘述。
此外,本实施例中控制单元与抓取模块之间的通信连接方式以及控制单元与来料识别模块之间的通信连接方式,不作具体限制。
图5为本公开实施例提供的第二种用于抓取物体的系统的示意图,如图5所示,在图4所示的系统的示意图的基础上,本实施例中,在该系统中还包括有震框模块。此外,上料装置设置在震框模块表面;震框模块与控制单元具有通信连接关系;震框模块,用于在控制单元基于待抓取区域的点云信息,在待抓取区域的待抓取物体中未确定出抓取模块当前需要抓取的物体时,控制上料装置震动。
在一些实施例中,放料识别模块以及第一称重模块;放料识别模块、第一称重模块分别与控制单元具有通信连接关系;放料识别模块,用于获取放料装置中物体的图像信息;第一称重模块,用于获取放料装置中物体的重量值;震框模块,还用于获取上料装置中待抓取物体的重量值,进而控制单元可以基于第一称重模块中物体的重量值的变化量以及震框模块所监测到的待抓取物体的重量值,来确定是否出现抓取失败事件。
本实施例提供的系统,用于实现上述方法提供的技术方案,其实现原理和技术效果类似,不再赘述。
图6为本公开实施例提供的一种用于抓取物体的系统的结构示意图。如图6所示,在该系统中,包括:控制单元(图中未示出)、支撑台1、上料装置2、放料装置3、第一识别模块4、第二识别模块5、第三识别模块6以及抓取模块7。其中,支撑台1用于对上料装置2以及放料装置3起到支撑作用,抓取模块7用于将上料装置2中的待抓取物体抓取放置到放料装置3中。第二识别模块5设置在支撑台1的支撑部件上,用于拍摄获取上料装置2中的待抓取区域的点云信息。以便控制单元可以基于第二识别模块5所获取的点云信息确定当前需要抓取的物体。第三识别模块6设置在支撑台1的支撑部件上,用于拍摄获取放料装置2中的物体的图像信息,以便控制单元可以基于获取到的图像信息确定抓取模块7所抓取的物体在放料装置2中的摆放位置信息。
在一些可能的情况下,在支撑台1中的支撑部件上还设置有第一识别模块4。此外,在支撑台1的上料装置侧(即,图中抓取模块7的左侧区域)可以设置有传送机构,将上料装置从支撑台1的左侧传送至当前图中所示的上料装置2所处的位置,即由图中虚线矩形框所处的位置传送至上料装置2所处的位置。当上料装置2传送至图中上料装置2所处的区域后,此时抓取模块7才可以进行抓取。在该情况下,第一识别模块4可用于识别即将到达图示中上料装置2所处区域的上料装置(即,图中的虚线矩形框)中的点云信息,以便控制单元可以基于该点云信息提前确定出抓取该装置中物体时,抓取模块中的末端执行器的类型。当虚线框移动至图式中上料装置2所处区域后,控制单元可以基于所确定出的末端执行器来切换抓取模块7中的末端执行器。之后,控制单元可以基于第二识别模块5上传的点云信息,确定待抓取的物体。此外,在一些情况中,控制单元也可以基于第二识别模块5所上传的点云信息,确定是否切换抓取模块7中的末端执行器类型。并且,在一些情况中,控制单元还可以基于第二识别模块2所获取的点云信息,控制上述传送机构的转动。
在一些实施例中,在图中上料装置2所处区域的下方可以设置有震框模块,以便控制单元在无法确定出当前待抓取的物体,且上料装置2中还存在未抓取的物体时,则控制单元可以控制震框模块震动。此外,震框模块中还可以设置重力检测装置来检测上料装置2中的物体重量。可以理解的是,图6中所示的各模块间的位置关系仅为举例说明,在实际应用过程中不做具体限制。
在一些实施例中,在放料装置3下方也可以设置有第一称重模块,进而通过第一称重模块来检测放料装置3中的物体的重量。
图7为本公开实施例提供的一种物体抓取装置的结构示意图,如图7所示,该装置包括:
第一获取单元71,用于获取上料装置中待抓取区域的点云信息。
第一确定单元72,用于基于点云信息,确定待抓取区域中的待抓取物体的特征信息。
第二确定单元73,用于基于特征信息确定末端执行器类型,末端执行器类型用于指示抓取模块中用于抓取的末端执行器,其中,抓取模块包括多个末端执行器。
第一操控单元74,用于控制抓取模块基于末端执行器类型切换抓取模块的末端执行器。
第二操控单元75,用于控制抓取模块基于所切换到的末端执行器,将上料装置中的待抓取物体抓取放置于放料装置中。
本实施例提供的系统,用于实现上述方法提供的技术方案,其实现原理和技术效果类似,不再赘述。
图8为本公开实施例提供的第二种物体抓取装置的结构示意图,如图8所示,在图7所示的装置的结构的基础上,本实施例中:特征信息包括:表面平整度、形状信息、材料信息中的至少一项;第一确定单元72,具体用于:基于特征信息以及预设对应关系,确定抓取模块中的末端执行器类型,预设对应关系用于指示特征信息与末端执行器类型之间的对应关系。
在一些实施例中,第二操控单元75,包括:
重复执行以下第一获取模块751以及第一控制模块752,直至达到第一停止条件。
第一获取模块751,用于获取上料装置中的待抓取区域的点云信息。
第一控制模块752,用于若基于待抓取区域的点云信息,在待抓取区域的待抓取物体中可确定出抓取模块当前需要抓取的物体,则控制抓取模块基于所切换到的末端执行器,将抓取模块当前需要抓取的物体抓取放置于放料装置中,其中,第一停止条件为确定上料装置中的待抓取物体已被全部抓取。
在一些实施例中,装置还包括:
重复执行以下第二控制模块753以及第三控制模块754,直至达到第二停止条件:
第二控制模块753,用于在第一获取模块751获取上料装置中的待抓取区域体的点云信息之后,若基于待抓取区域的点云信息,在待抓取区域的待抓取物体中未确定出抓取模块当前需要抓取的物体,且上料装置中的待抓取物体未被全部抓取,则控制上料装置震动。
第二获取模块754,用于获取震动后上料装置中的待抓取区域的点云信息,其中,第二停止条件为确定基于震动后上料装置中的待抓取区域的点云信息,在上料装置中的待抓取区域待抓取物体中可确定出抓取模块当前需要抓取的物体。
在一些实施例中,装置还包括:
第三获取模块755,用于在第一控制模块752控制抓取模块基于所切换到的末端执行器,将抓取模块当前需要抓取的物体抓取放置于放料装置中之前,获取待抓取区域中的待抓取物体的第一重量值以及放料装置中的物体的第二重量值。
第四获取模块756,用于在第一控制模块752控制抓取模块基于所切换到的末端执行器,将抓取模块当前需要抓取的物体抓取放置于放料装置中之后,获取待抓取区域中的待抓取物体的第三重量值以及放料装置中物体的第四重量值。
第一确定模块757,用于基于第一重量值与第三重量值的变化量,以及第二重量值和第四重量值的变化量,确定抓取模块抓取过程中是否发生末端执行器抓取失败事件。
在一些实施例中,装置还包括:
第五获取模块,用于在第一控制模块752控制抓取模块基于所切换到的末端执行器,将抓取模块当前需要抓取的物体抓取放置于放料装置中之前,获取放料装置中物体的第一图像信息以及抓取模块当前需要抓取的物体的第二图像信息。
第二确定模块,用于基于第一图像信息以及第二图像信息,确定当前需要抓取的物体在放料装置中的摆放位置信息。
第一控制模块752,具体用于控制抓取模块基于所切换到的末端执行器以及摆放位置信息,将抓取模块当前需要抓取的物体抓取放置于放料装置中。
在一些实施例中,装置还包括:
第六获取模块,用于在第一控制模块752控制抓取模块基于控制抓取模块基于所切换到的末端执行器以及摆放位置信息,将抓取模块当前需要抓取的物体抓取放置于放料装置中之后,获取放料装置中物体的第三图像信息。
第三确定模块,用于将第三图像信息与第二图像信息进行图像比对,确定抓取模块抓取过程中是否发生末端执行器抓取失败事件。
在一些实施例中,抓取模块中所切换到的末端执行器上设置有与其对应的传感器;装置还包括:
第三操控单元76,在控制抓取模块基于所切换到的末端执行器,将抓取模块当前需要抓取的物体抓取放置于放料装置中的过程中,实时获取传感器当前上报检测值,并基于当前上报的检测值调节抓取模块中所切换到的末端执行器的控制参数。
在一些实施例中,第三操控单元76,具体用于:
若确定当前上报的检测值小于前一次上报的检测值,且当前上报的检测值与前一次上报的检测值的差值大于预设阈值,则增加所切换到的末端执行器的控制参数,控制参数用于指示末端执行器的抓取力度。
在一些实施例中,若所切换到的末端执行器的执行器类型为气吸类型,则传感器为气压传感器,且控制参数为末端执行器的吸力值、末端执行器的气阀开启值中的至少一项。
若所切换到的末端执行器的执行器类型为电爪类型或者软爪类型,则传感器为压力传感器,且控制参数为末端执行器力度、与当前需要抓取的物体的距离值中的至少一项。
本公开提供一种电子设备,包括:存储器,处理器;
存储器;用于存储处理器可执行指令的存储器;
其中,处理器,用于根据可执行指令执行方法。
图9为本公开实施例中提供的一种电子设备的结构示意图,如图9所示,该电子设备包括:
处理器(processor)291,电子设备还包括了存储器(memory)292;还可以包括通信接口(Communication Interface)293和总线294。其中,处理器291、存储器292、通信接口293、可以通过总线294完成相互间的通信。通信接口293可以用于信息传输。处理器291可以调用存储器294中的逻辑指令,以执行上述实施例的方法。
此外,上述的存储器292中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器292作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令/模块。处理器291通过运行存储在存储器292中的软件程序、指令以及模块,从而执行功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器292可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器292可以包括高速随机存取存储器,还可以包括非易失性存储器。
本公开提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现任一项的方法。
本公开一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现任一项的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (14)
1.一种物体抓取方法,其特征在于,包括:
获取上料装置中待抓取区域的点云信息;
基于所述点云信息,确定所述待抓取区域中的待抓取物体的特征信息,并基于所述特征信息确定末端执行器类型,所述末端执行器类型用于指示抓取模块中用于抓取的末端执行器,其中,所述抓取模块包括多个末端执行器;
控制所述抓取模块基于所述末端执行器类型切换所述抓取模块的末端执行器,并控制所述抓取模块基于所切换到的末端执行器,将所述上料装置中的待抓取物体抓取放置于放料装置中;
所述获取上料装置中的待抓取区域的点云信息之后,所述方法还包括:
重复执行以下步骤,直至达到第二停止条件:
若基于所述待抓取区域的点云信息,在所述待抓取区域的待抓取物体中未确定出所述抓取模块当前需要抓取的物体,且所述上料装置中的待抓取物体未被全部抓取,则控制所述上料装置震动;
获取震动后所述上料装置中的所述待抓取区域的点云信息,其中,所述第二停止条件为确定基于震动后所述上料装置中的所述待抓取区域的点云信息,在所述上料装置中的所述待抓取区域待抓取物体中可确定出所述抓取模块当前需要抓取的物体。
2.根据权利要求1所述的方法,其特征在于,所述特征信息包括:表面平整度、形状信息、材料信息中的至少一项;基于所述特征信息确定末端执行器类型,包括:
基于所述特征信息以及预设对应关系,确定所述抓取模块中的末端执行器类型,所述预设对应关系用于指示特征信息与末端执行器类型之间的对应关系。
3.根据权利要求1所述的方法,其特征在于,所述控制所述抓取模块基于所切换到的末端执行器,将所述上料装置中的待抓取物体抓取放置于放料装置中,包括:
重复执行以下步骤,直至达到第一停止条件:
获取所述上料装置中的待抓取区域的点云信息;
若基于所述待抓取区域的点云信息,在所述待抓取区域的待抓取物体中可确定出所述抓取模块当前需要抓取的物体,则控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中,其中,所述第一停止条件为确定所述上料装置中的待抓取物体已被全部抓取。
4.根据权利要求1所述的方法,其特征在于,所述控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之前,所述方法还包括:
获取所述待抓取区域中的待抓取物体的第一重量值以及所述放料装置中的物体的第二重量值;
所述控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之后,所述方法还包括:
获取所述待抓取区域中的待抓取物体的第三重量值以及所述放料装置中物体的第四重量值;
基于所述第一重量值与所述第三重量值的变化量,以及所述第二重量值和所述第四重量值的变化量,确定所述抓取模块抓取过程中是否发生末端执行器抓取失败事件。
5.根据权利要求1所述的方法,其特征在于,所述控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之前,所述方法还包括:
获取所述放料装置中物体的第一图像信息以及所述抓取模块当前需要抓取的物体的第二图像信息;
基于所述第一图像信息以及所述第二图像信息,确定所述当前需要抓取的物体在所述放料装置中的摆放位置信息;
所述控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中,包括:
控制所述抓取模块基于所切换到的末端执行器以及所述摆放位置信息,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中。
6.根据权利要求5所述的方法,其特征在于,所述控制所述抓取模块基于所述控制所述抓取模块基于所切换到的末端执行器以及所述摆放位置信息,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中之后,所述方法还包括:
获取所述放料装置中物体的第三图像信息;
将所述第三图像信息与所述第二图像信息进行图像比对,确定所述抓取模块抓取过程中是否发生末端执行器抓取失败事件。
7.根据权利要求4-6任一项所述的方法,其特征在于,所述抓取模块中所切换到的末端执行器上设置有与其对应的传感器;所述方法还包括:
在控制所述抓取模块基于所切换到的末端执行器,将所述抓取模块当前需要抓取的物体抓取放置于放料装置中的过程中,实时获取所述传感器当前上报检测值,并基于所述当前上报的检测值调节所述抓取模块中所切换到的末端执行器的控制参数。
8.根据权利要求7所述的方法,其特征在于,所述基于所述当前上报的检测值调节所述抓取模块中所切换到的末端执行器的控制参数,包括:
若确定所述当前上报的检测值小于前一次上报的检测值,且所述当前上报的检测值与所述前一次上报的检测值的差值大于预设阈值,则增加所切换到的末端执行器的控制参数,所述控制参数用于指示所述末端执行器的抓取力度。
9.根据权利要求8所述的方法,其特征在于,若所切换到的末端执行器的执行器类型为气吸类型,则所述传感器为气压传感器,且所述控制参数为所述末端执行器的吸力值、所述末端执行器的气阀开启值中的至少一项;
若所切换到的末端执行器的执行器类型为电爪类型或者软爪类型,则所述传感器为压力传感器,且所述控制参数为所述末端执行器力度、与所述当前需要抓取的物体的距离值中的至少一项。
10.一种用于抓取物体的系统,其特征在于,所述系统包括上料装置、放料装置、抓取模块、来料识别模块以及控制单元;所述抓取模块、所述来料识别模块分别与所述控制单元具有通信连接关系;
所述来料识别模块,用于获取所述上料装置中待抓取区域的点云信息;
所述上料装置,用于存放待抓取物体;
所述放料装置,用于存放抓取后的物体;
所述控制单元,用于执行如权利要求1-9任一项所述的方法;
所述抓取模块包括多个末端执行器,所述抓取模块用于在所述控制单元的控制下,切换所述末端执行器,并用于将所述上料装置中的待抓取物体抓取放置于放料装置中;
所述系统还包括:震框模块;所述上料装置设置在所述震框模块表面;所述震框模块与所述控制单元具有通信连接关系;
所述震框模块,用于在所述控制单元基于所述待抓取区域的点云信息,在所述待抓取区域的待抓取物体中未确定出所述抓取模块当前需要抓取的物体时,控制所述上料装置震动。
11.根据权利要求10所述的系统,其特征在于,所述系统还包括:放料识别模块以及第一称重模块;所述放料识别模块、所述第一称重模块分别与所述控制单元具有通信连接关系;
所述放料识别模块,用于获取所述放料装置中物体的图像信息;
所述第一称重模块,用于获取所述放料装置中物体的重量值;
所述震框模块,还用于获取所述上料装置中待抓取物体的重量值。
12.一种电子设备,其特征在于,包括:
存储器,处理器以及计算机程序;
其中,所述处理器可以对在计算机系统内执行的指令进行处理;所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1-9中任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-9中任一项所述的方法。
14.一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210680636.XA CN114851208B (zh) | 2022-06-16 | 2022-06-16 | 物体抓取方法以及用于抓取物体的系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210680636.XA CN114851208B (zh) | 2022-06-16 | 2022-06-16 | 物体抓取方法以及用于抓取物体的系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114851208A CN114851208A (zh) | 2022-08-05 |
CN114851208B true CN114851208B (zh) | 2024-02-02 |
Family
ID=82624909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210680636.XA Active CN114851208B (zh) | 2022-06-16 | 2022-06-16 | 物体抓取方法以及用于抓取物体的系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114851208B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111390957A (zh) * | 2020-04-30 | 2020-07-10 | 覃立万 | 移动机器人的机械臂末端执行器自动更换系统和方法 |
CN111508066A (zh) * | 2020-04-16 | 2020-08-07 | 北京迁移科技有限公司 | 一种基于3d视觉的无序堆叠工件抓取系统及交互方法 |
CN112236273A (zh) * | 2018-05-11 | 2021-01-15 | 泽恩机器人技术有限公司 | 废物分类机器人 |
CN112847346A (zh) * | 2020-12-30 | 2021-05-28 | 深兰人工智能芯片研究院(江苏)有限公司 | 机械手控制方法、装置、设备及计算机可读存储介质 |
CN112873205A (zh) * | 2021-01-15 | 2021-06-01 | 陕西工业职业技术学院 | 基于双夹具实时切换的工业机器人无序抓取方法 |
CN114025928A (zh) * | 2019-06-27 | 2022-02-08 | 松下知识产权经营株式会社 | 末端执行器的控制系统以及末端执行器的控制方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7386365B2 (en) * | 2004-05-04 | 2008-06-10 | Intuitive Surgical, Inc. | Tool grip calibration for robotic surgery |
US20200346351A1 (en) * | 2019-04-30 | 2020-11-05 | Walmart Apollo, Llc | Systems and methods for picking up and transferring items using a robotic device |
KR20210063975A (ko) * | 2019-11-25 | 2021-06-02 | 엘지전자 주식회사 | 로봇 및 그 제어 방법 |
-
2022
- 2022-06-16 CN CN202210680636.XA patent/CN114851208B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112236273A (zh) * | 2018-05-11 | 2021-01-15 | 泽恩机器人技术有限公司 | 废物分类机器人 |
CN114025928A (zh) * | 2019-06-27 | 2022-02-08 | 松下知识产权经营株式会社 | 末端执行器的控制系统以及末端执行器的控制方法 |
CN111508066A (zh) * | 2020-04-16 | 2020-08-07 | 北京迁移科技有限公司 | 一种基于3d视觉的无序堆叠工件抓取系统及交互方法 |
CN111390957A (zh) * | 2020-04-30 | 2020-07-10 | 覃立万 | 移动机器人的机械臂末端执行器自动更换系统和方法 |
CN112847346A (zh) * | 2020-12-30 | 2021-05-28 | 深兰人工智能芯片研究院(江苏)有限公司 | 机械手控制方法、装置、设备及计算机可读存储介质 |
CN112873205A (zh) * | 2021-01-15 | 2021-06-01 | 陕西工业职业技术学院 | 基于双夹具实时切换的工业机器人无序抓取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114851208A (zh) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7411932B2 (ja) | 自動パッケージ登録システム、デバイス、および方法 | |
US11625854B2 (en) | Intelligent forklift and method for detecting pose deviation of container | |
US9694499B2 (en) | Article pickup apparatus for picking up randomly piled articles | |
JP6374993B2 (ja) | 複数の吸着カップの制御 | |
JP2023528728A (ja) | ピックアンドプレースロボットシステム | |
CN108495738A (zh) | 用于提供动态机器人控制系统的系统和方法 | |
CN112025701B (zh) | 抓取物体的方法、装置、计算设备和存储介质 | |
EP1862270A3 (en) | Workpiece picking device and method | |
CN109775376A (zh) | 不规则随机物料的机器人拆垛方法 | |
CN207841338U (zh) | 一种机械臂 | |
JP2013529554A (ja) | ロボットシステムにおける物理的な物体の選択のための方法 | |
CN108127666B (zh) | 一种机械臂的抓取方法、系统及机械臂 | |
CN108098776B (zh) | 一种自动抓取方法、装置、机械手及存储介质 | |
JP7175487B1 (ja) | 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法 | |
CN109648562B (zh) | 箱体抓取控制方法、箱体放置控制方法、相关装置及系统 | |
CN114851208B (zh) | 物体抓取方法以及用于抓取物体的系统 | |
CN108698225B (zh) | 机器人码放货物的方法及机器人 | |
CN115744272A (zh) | 机器人多表面夹持器组件及其操作方法 | |
CN109863365B (zh) | 从容器中拾取对象的方法、电子设备和系统 | |
CN114670175A (zh) | 服务机器人、服务机器人控制方法、系统及存储介质 | |
CN112585064B (zh) | 软包装、处理软包装的机器人系统和方法 | |
WO2020049774A1 (ja) | マニピュレータおよび移動ロボット | |
CN116323108A (zh) | 利用机器人夹持器操纵载荷单元的方法和系统 | |
US20230071488A1 (en) | Robotic system with overlap processing mechanism and methods for operating the same | |
EP4395965A1 (en) | Robotic system with overlap processing mechanism and methods for operating the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 1100, 1st Floor, No. 6 Chuangye Road, Shangdi Information Industry Base, Haidian District, Beijing 100085 Applicant after: MECH-MIND (BEIJING) ROBOTICS TECHNOLOGIES CO.,LTD. Address before: 100085 1001, floor 1, building 3, No.8 Chuangye Road, Haidian District, Beijing Applicant before: MECH-MIND (BEIJING) ROBOTICS TECHNOLOGIES CO.,LTD. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |