CN117657755A - 工件的抓取系统和机器人 - Google Patents
工件的抓取系统和机器人 Download PDFInfo
- Publication number
- CN117657755A CN117657755A CN202211097299.8A CN202211097299A CN117657755A CN 117657755 A CN117657755 A CN 117657755A CN 202211097299 A CN202211097299 A CN 202211097299A CN 117657755 A CN117657755 A CN 117657755A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- grabbing
- unit
- image
- workpieces
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 238000003860 storage Methods 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 24
- 238000000034 method Methods 0.000 description 23
- 101100467407 Rattus norvegicus Rab3il1 gene Proteins 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/902—Devices for picking-up and depositing articles or materials provided with drive systems incorporating rotary and rectilinear movements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种工件的抓取系统和机器人,包括:处理单元、视觉传感器单元、执行单元,其中,处理单元包括:接收单元、位姿识别单元、抓取序列生成单元;所述接收单元,用于接收所述视觉传感器单元发送的第一图像,所述第一图像中包含有两个及以上工件;所述位姿识别单元,用于获取第一图像中工件的位姿信息;所述抓取序列生成单元,用于根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;所述执行单元,用于根据工件抓取序列表,执行工件的抓取任务。本发明能够通过视觉传感器单元获取待抓取的工件图像,基于图像中工件的位姿信息,制定动态的抓取优先级,从而可以有效地提高工件的抓取效率。
Description
技术领域
本发明涉及智能制造和高端制造,具体地,涉及一种工件的抓取系统和机器人。
背景技术
目前,基于二维/三维视觉的机器人抓取技术,已经在物流快递、仓库搬运、拆码垛等简单场景中广泛应用,视觉引导的机器人增强了面对复杂环境的感知能力。近年来,随着工件6D姿态估计算法的研究日趋增加,设备的计算能力日益提高,机器人抓取系统已经在工件无序散乱堆叠、无序工件装配、柔性抓取等相关领域得到应用。
由于杂乱堆放的工件的位姿各不相同,机器人对工件的抓取顺序以及抓取策略,会直接影响工件的抓取成功率以及抓取效率。现有的机器人在抓取工件时,经常会卡顿在某一工件上,即抓取某一工件失败时,仍然进行多次尝试,导致抓取时间延长,抓取效率低下。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种工件的抓取系统和机器人。
第一方面,本申请实施例提供一种工件的抓取系统,用以根据动态的抓取优先级抓取工件,所述系统包括:处理单元、视觉传感器单元、执行单元,其中,处理单元包括:接收单元、位姿识别单元、抓取序列生成单元;
所述接收单元,用于接收所述视觉传感器单元发送的第一图像,所述第一图像中包含有两个及以上工件;
所述位姿识别单元,用于获取第一图像中工件的位姿信息;
所述抓取序列生成单元,用于根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;
所述执行单元,用于根据工件抓取序列表,执行工件的抓取任务。
可选地,所述位姿识别单元,具体用于:
从所述第一图像中识别出各个工件的外部轮廓,得到工件的轮廓线;
将工件的轮廓线与数据库中工件的轮廓数据进行比对,确定工件的位姿信息,所述位姿信息包括:工件的轴角度、指示面的朝向;所述轮廓数据包括:俯拍视角下工件在不同位姿下的轮廓形状。
可选地,所述抓取序列生成单元确定的抓取优先级包括以下任一或者任多项策略:
从上层往下层抓取;
从左侧往右侧抓取,或者从右侧往左侧抓取;
根据工件的遮挡率,从遮挡低的工件开始依次抓取;
按照网格划分方式,依次抓取网格中的工件;
根据工件的轴角度的大小,依次进行抓取。
可选地,所述执行单元,具体用于:
确定每次抓取任务的间隔时长,和/或,每次抓取时机械臂的移动步长;
按照所述间隔时长,和/或移动步长,顺次执行工件抓取序列表中的工件;
在连续抓取M次工件之后,更新所述工件抓取序列表,其中,M为大于1的自然数。
可选地,所述处理单元还包括:抓取策略生成单元,所述抓取策略生成单元,具体用于:
根据所述第一图像中工件的位姿信息,确定所述工件抓取序列表中各个工件的抓取策略,所述抓取策略包括:抓取时的切入角度、抓取时的作用力、抓取时的作用力方向。
可选地,当抓取同一工件失败的次数大于N次时,所述处理单元的接收单元,还用于接收视觉系统发送的第二图像,所述第二图像中包含有两个及以上工件,其中,N为大于1的自然数;
所述位姿识别单元,还用于获取第二图像中工件的位姿信息;
所述抓取序列生成单元,还用于根据第二图像中工件的位姿信息确定抓取的优先级,得到更新的工件抓取序列表;
所述执行单元,还用于根据更新的工件抓取序列表,执行工件的抓取任务。
可选地,当抓取同一工件失败的次数大于N次时,所述处理单元还用于将对应工件添加至失败列表中,其中,N为大于1的自然数;
所述执行单元,还用于跳过抓取失败的工件,执行工件抓取序列表中下一个工件的抓取任务。
可选地,所述执行单元,还用于:
在连续执行P次成功抓取之后,依次执行所述失败列表中工件的抓取任务,其中,P为大于1的自然数;或者,
在完成工件抓取序列表中全部抓取任务之后,依次执行失败列表中工件的抓取任务。
可选地,所述处理单元,还包括:定位单元,所述定位单元用于在执行工件的抓取任务时,确定工件与执行单元末端机构之间的位置关系。
本申请实施例还提供一种机器人,包括:机器人本体、驱动系统和机械臂,其中:
所述机器人本体中的处理器,用于根据第一方面中任一项所述的工件的抓取系统所确定的工件抓取序列表,生成针对机械臂的控制指令;
所述驱动系统,用于根据所述控制指令,带动所述机械臂按照所述工件抓取序列表,执行工件的抓取任务。
与现有技术相比,本发明具有如下的有益效果:
本申请中通过设置包含处理单元、视觉传感器单元、执行单元的工件的抓取系统,其中,处理单元包括:接收单元、位姿识别单元、抓取序列生成单元;接收单元,用于接收视觉传感器单元发送的第一图像,第一图像中包含有两个及以上工件;位姿识别单元,用于获取第一图像中工件的位姿信息;抓取序列生成单元,用于根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;执行单元,用于根据工件抓取序列表,执行工件的抓取任务。从而能够通过视觉传感器单元获取待抓取的工件图像,基于图像中工件的位姿信息,制定动态的抓取优先级,从而可以有效地提高工件的抓取效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本申请一实施例提供的机器人系统的示意性架构图;
图2为本申请一实施例提供的工件的抓取系统的结构示意图;
图3为本申请另一实施例提供的工件的抓取系统的结构示意图;
图4为本申请又一实施例提供的工件的抓取系统的结构示意图;
图5为本申请一实施例提供的工件的抓取设备的结构示意图;
图6是本发明实施例中的计算机可读存储介质的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例,例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
以下对本申请的描述使用的机器人作为示例。对于本领域技术人员将会显而易见的是,可以不受限制地使用其他类型的机器人,本申请的实施例可以应用于各种类型的机器人。例如,可移动的物流机器人,大型作业流水线上的机器人,单纯的搬运机器人等等,本申请的实施例并不限于此。
图1为本申请一实施例提供的机器人系统的示意性架构图,如图1所示,机器人系统100可以包括:底座101、驱动电机102、转向机构103、机械臂104、夹爪105、滑轨106、视觉传感器107、物料框108。驱动电机102安装在底座101上,驱动电机102与转向机构103耦合连接,用以驱动转向机构103带动机械臂104转动,机械臂104的旋转角度可以是360度周向转动。机械臂104的远端装载有至少一个夹爪105。滑轨106设置在机器人系统100的作业空间上方,在滑轨106上安装有一个或者多个视觉传感器107,视觉传感器107可以沿着滑轨移动,用以调整拍摄角度和位置。参见图1,视觉传感器107实时获取物料框108中各个工件109的图片,并识别和定位出图片中各个工件的位姿信息,并将位姿信息发送给机器人系统100的控制器,由控制器生成一系列的控制指令。最后,驱动电机102根据这一系列的控制指令,带动机械臂104执行工件的抓取和分拣任务。
在一些实施例中,视觉传感器107根据机器人系统100的控制器发送的指令,确定物料框108的位置。参见图1,视觉传感器107移动至物料框108的上方,拍摄包含完整工件的工件图片,并将该工件图片以无线方式或者有线方式发送给控制器。
在一种实施例中,控制器可以是远程端的上位机,远程端的上位机和机器人系统100内的嵌入式处理器通信连接。在另一种实施例中,控制器可以是集成在机器人系统100内部的处理器。
示例性的,控制器接收到视觉传感器发送的第一图像,该第一图像中包含有两个及以上工件;获取第一图像中工件的位姿信息;根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;根据工件抓取序列表,执行工件的抓取任务。从而能够通过视觉传感器获取待抓取的工件图像,基于图像中工件的位姿信息,制定动态的抓取优先级,从而可以有效地提高工件的抓取效率。
应理解,上述对于机器人系统各组成部分的命名仅是出于标识的目的,并不应理解为对本申请的实施例的限制。
图2为本申请一实施例提供的工件的抓取系统的结构示意图,如图2所示,本实施例中的工件的抓取系统200可以包括:处理单元210、视觉传感器单元220、执行单元230,其中,处理单元210包括:接收单元211、位姿识别单元212、抓取序列生成单元213;接收单元211,用于接收视觉传感器单元发送的第一图像,第一图像中包含有两个及以上工件;位姿识别单元212,用于获取第一图像中工件的位姿信息;抓取序列生成单元213,用于根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;执行单元230,用于根据工件抓取序列表,执行工件的抓取任务。
本实施例中,视觉传感器单元220可以是工业相机,也可以是常规的摄像头。视觉传感器单元220在作业现场采集到第一图像。这里的第一图像是指在执行抓取任务之前,拍摄到的包含多个工件的图像。
在一种可选的实施例中,位姿识别单元212,具体用于:从第一图像中识别出各个工件的外部轮廓,得到工件的轮廓线;将工件的轮廓线与数据库中工件的轮廓数据进行比对,确定工件的位姿信息,位姿信息包括:工件的轴角度、指示面的朝向;轮廓数据包括:俯拍视角下工件在不同位姿下的轮廓形状。
在另一种可选的实施例中,机器人自带的控制器或者与机器人远程连接的上位机,通过提前加载的识别算法,可以识别出第一图像中各个工件的位姿信息,例如工件的倾斜角度、位置等等。
在又一种可选的实施例中,抓取序列生成单元确定的抓取优先级包括以下任一或者任多项策略:
从上层往下层抓取;
从左侧往右侧抓取,或者从右侧往左侧抓取;
根据工件的遮挡率,从遮挡低的工件开始依次抓取;
按照网格划分方式,依次抓取网格中的工件;
根据工件的轴角度的大小,依次进行抓取。
示例性的,当根据工件的遮挡率,从遮挡低的工件开始依次抓取时,机器人的控制器或者与机器人远程连接的上位机,调用工件的轮廓模板,依次遍历工件,确定各个工件的遮挡率,然后从遮挡率低的工件开始抓取。
需要说明的是,当抓取工件之后,其他工件的位姿可能因为抓取动作而产生变化。针对这一问题,可以设置抓取次数,在执行一定的抓取次数之后,重新进行工件抓取优先级的确定。
示例性的,当按照网格划分方式,依次抓取网格中的工件时,机器人的控制器或者与机器人远程连接的上位机在获取的第一图像上划分成若干个网格,遍历抓取每个网格中的工件。例如可以根据网格分布,从左至右逐行进行抓取。
示例性的,有些工件是对称结构的,或者是按某一轴线对称,此时可以参考工件轴线与水平方向或者竖直方向的夹角来指定抓取优先级。
需要说明的是,本实施例不限定具体的抓取优先级策略,本领域技术人员可以结合上述各个实施例中的策略进行组合设置。
本实施例,通过在执行抓取任务之前,先根据第一图像中工件的位姿信息,确定工件抓取序列表中各个工件的抓取策略。从而可以灵活地设置针对不同姿态的抓取策略,提高抓取的成功率,使得机器人能够更加高效地抓取到工件。
本实施例中,可以在执行抓取任务之前,确定每次抓取任务的间隔时长,和/或,每次抓取时机械臂的移动步长。然后,按照间隔时长,和/或移动步长,顺次执行工件抓取序列表中的工件;在连续抓取M次工件之后,更新工件抓取序列表,其中,M为大于1的自然数。
示例性的,当抓取同一工件失败的次数大于N次时,处理单元210的接收单元211,还用于接收视觉系统发送的第二图像,第二图像中包含有两个及以上工件,其中,N为大于1的自然数。位姿识别单元212,还用于获取第二图像中工件的位姿信息;抓取序列生成单元213,还用于根据第二图像中工件的位姿信息确定抓取的优先级,得到更新的工件抓取序列表;执行单元230,还用于根据更新的工件抓取序列表,执行工件的抓取任务。
示例性的,当抓取同一工件失败的次数大于N次时,处理单元210还用于将对应工件添加至失败列表中,其中,N为大于1的自然数;执行单元230,还用于跳过抓取失败的工件,执行工件抓取序列表中下一个工件的抓取任务。
示例性的,执行单元230,还用于:在连续执行P次成功抓取之后,依次执行失败列表中工件的抓取任务,其中,P为大于1的自然数;或者,在完成工件抓取序列表中全部抓取任务之后,依次执行失败列表中工件的抓取任务。
本实施例中,当抓取同一工件多次失败时,为了避免机器人卡顿在该工件的抓取任务上,可以采用视觉系统重新获取工件图像的位姿信息,以更新工件抓取序列表中各个工件的优先级。也可以等待若干回合之后再重新抓取失败的工件。从而提升整体的抓取效率,避免抓取任务陷入死循环。
需要说明的是,本实施例不限定在抓取失败后的优先级更新策略,本领域技术人员可以根据需要来调整等待过程中机器人的抓取任务。
本实施例,通过接收视觉传感器单元发送的第一图像,第一图像中包含有两个及以上工件;获取第一图像中工件的位姿信息;根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;根据工件抓取序列表,执行工件的抓取任务。从而能够通过接收视觉传感器单元获取待抓取的工件图像,基于图像中工件的位姿信息,制定动态的抓取优先级,从而可以有效地提高工件的抓取效率。
图3为本申请另一实施例提供的工件的抓取系统的结构示意图,如图3所示,本实施例中的工件的抓取系统200可以包括:处理单元210、视觉传感器单元220、执行单元230,其中,处理单元210包括:接收单元211、位姿识别单元212、抓取序列生成单元213、抓取策略生成单元214;接收单元211,用于接收视觉传感器单元发送的第一图像,第一图像中包含有两个及以上工件;位姿识别单元212,用于获取第一图像中工件的位姿信息;抓取序列生成单元213,用于根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;抓取策略生成单元214,用于根据第一图像中工件的位姿信息,确定工件抓取序列表中各个工件的抓取策略;执行单元230,用于根据工件抓取序列表,执行工件的抓取任务。
本实施例中,工件位姿的不同对应的抓取策略也不同。示例性的,抓取策略可以包括:抓取时的切入角度、抓取时的作用力、抓取时的作用力方向。
在一种可选的实施方式中,可以预先在仿真软件中注册工件不同姿态的抓取策略。例如在某一设定的轴角度范围,采用第一种抓取策略;在其他的轴角度范围,采用第二种抓取策略。
本实施例,通过在执行抓取任务之前,先根据第一图像中工件的位姿信息,确定工件抓取序列表中各个工件的抓取策略。从而可以灵活地设置针对不同姿态的抓取策略,提高抓取的成功率,使得机器人能够更加高效地抓取到工件。
图4为本申请又一实施例提供的工件的抓取系统的结构示意图,如图4所示,本实施例中的工件的抓取系统200可以包括:处理单元210、视觉传感器单元220、执行单元230,其中,处理单元210包括:接收单元211、位姿识别单元212、抓取序列生成单元213、抓取策略生成单元214、定位单元215;接收单元211,用于接收视觉传感器单元发送的第一图像,第一图像中包含有两个及以上工件;位姿识别单元212,用于获取第一图像中工件的位姿信息;抓取序列生成单元213,用于根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;抓取策略生成单元214,用于根据第一图像中工件的位姿信息,确定工件抓取序列表中各个工件的抓取策略;定位单元215,用于在执行工件的抓取任务时,确定工件与执行单元末端机构之间的位置关系。执行单元230,用于根据工件抓取序列表,执行工件的抓取任务。
本实施例,通过接收视觉传感器单元发送的第一图像,第一图像中包含有两个及以上工件;获取第一图像中工件的位姿信息;根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;根据工件抓取序列表,执行工件的抓取任务。从而能够通过视觉系统获取待抓取的工件图像,基于图像中工件的位姿信息,制定动态的抓取优先级,从而可以有效地提高工件的抓取效率。
进一步地,本申请实施例还提供了工件的抓取方法,本实施例中的方法可以包括:
步骤S1、接收视觉传感器单元发送的第一图像,第一图像中包含有两个及以上工件。
本实施例中,视觉传感器单元可以是工业相机,也可以是常规的摄像头。视觉传感器单元在作业现场采集到第一图像。这里的第一图像是指在执行抓取任务之前,拍摄到的包含多个工件的图像。
步骤S2、获取第一图像中工件的位姿信息。
本实施例中,机器人自带的控制器或者与机器人远程连接的上位机,通过提前加载的识别算法,可以识别出第一图像中各个工件的位姿信息,例如工件的倾斜角度、位置等等。
示例性的,可以从第一图像中识别出各个工件的外部轮廓,得到工件的轮廓线;
将工件的轮廓线与数据库中工件的轮廓数据进行比对,确定工件的位姿信息,位姿信息包括:工件的轴角度、指示面的朝向;轮廓数据包括:俯拍视角下工件在不同位姿下的轮廓形状。
步骤S3、根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表。
在一种可选的实施方式中,可以根据工件的堆叠顺序从上层往下层抓取。示例性的,依次遍历工件,从最上层的工件开始抓取。
在一种可选的实施方式中,可以从左侧往右侧抓取,或者从右侧往左侧抓取。
在一种可选的实施方式中,可以根据工件的遮挡率,从遮挡低的工件开始依次抓取。示例性的,机器人的控制器或者与机器人远程连接的上位机,调用工件的轮廓模板,依次遍历工件,确定各个工件的遮挡率,然后从遮挡率低的工件开始抓取。
需要说明的是,当抓取工件之后,其他工件的位姿可能因为抓取动作而产生变化。针对这一问题,可以设置抓取次数,在执行一定的抓取次数之后,重新进行工件抓取优先级的确定。
在一种可选的实施方式中,可以按照网格划分方式,依次抓取网格中的工件。示例性的,机器人的控制器或者与机器人远程连接的上位机在获取的第一图像上划分成若干个网格,遍历抓取每个网格中的工件。例如可以根据网格分布,从左至右逐行进行抓取。
在一种可选的实施方式中,可以根据工件的轴角度的大小,依次进行抓取。示例性的,有些工件是对称结构的,或者是按某一轴线对称,此时可以参考工件轴线与水平方向或者竖直方向的夹角来指定抓取优先级。
需要说明的是,本实施例不限定具体的抓取优先级策略,本领域技术人员可以结合上述各个实施例中的策略进行组合设置。
步骤S4、根据工件抓取序列表,执行工件的抓取任务。
本实施例中,可以在执行抓取任务之前,确定每次抓取任务的间隔时长,和/或,每次抓取时机械臂的移动步长。然后,按照间隔时长,和/或移动步长,顺次执行工件抓取序列表中的工件;在连续抓取M次工件之后,更新工件抓取序列表,其中,M为大于1的自然数。
本实施例,通过接收视觉传感器单元发送的第一图像,第一图像中包含有两个及以上工件;获取第一图像中工件的位姿信息;根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;根据工件抓取序列表,执行工件的抓取任务。从而能够通过视觉系统获取待抓取的工件图像,基于图像中工件的位姿信息,制定动态的抓取优先级,从而可以有效地提高工件的抓取效率。
上述方法还包括:根据第一图像中工件的位姿信息,确定工件抓取序列表中各个工件的抓取策略。
本实施例中,工件位姿的不同对应的抓取策略也不同。示例性的,抓取策略可以包括:抓取时的切入角度、抓取时的作用力、抓取时的作用力方向。
在一种可选的实施方式中,可以预先在仿真软件中注册工件不同姿态的抓取策略。例如在某一设定的轴角度范围,采用第一种抓取策略;在其他的轴角度范围,采用第二种抓取策略。
本实施例,通过在执行抓取任务之前,先根据第一图像中工件的位姿信息,确定工件抓取序列表中各个工件的抓取策略。从而可以灵活地设置针对不同姿态的抓取策略,提高抓取的成功率,使得机器人能够更加高效地抓取到工件。
上述方法还可以包括:当抓取同一工件失败的次数大于N次时,接收视觉传感器单元发送的第二图像。获取第二图像中工件的位姿信息。根据第二图像中工件的位姿信息确定抓取的优先级,得到更新的工件抓取序列表。根据更新的工件抓取序列表,执行工件的抓取任务。
在一种可选的实施方式中,当抓取同一工件失败的次数大于N次时,将对应工件添加至失败列表中,其中,N为大于1的自然数;跳过抓取失败的工件,执行工件抓取序列表中下一个工件的抓取任务。
在另一种可选的实施方式中,在连续执行P次成功抓取之后,依次执行失败列表中工件的抓取任务,其中,P为大于1的自然数。
在又一种可选的实施方式中,在完成工件抓取序列表中全部抓取任务之后,依次执行失败列表中工件的抓取任务。
本实施例中,第二图像中包含有两个及以上工件,其中,N为大于1的自然数。
本实施例中,当抓取同一工件多次失败时,为了避免机器人卡顿在该工件的抓取任务上,可以采用视觉系统重新获取工件图像的位姿信息,以更新工件抓取序列表中各个工件的优先级。也可以等待若干回合之后再重新抓取失败的工件。从而提升整体的抓取效率,避免抓取任务陷入死循环。
需要说明的是,本实施例不限定在抓取失败后的优先级更新策略,本领域技术人员可以根据需要来调整等待过程中机器人的抓取任务。
图5为本申请一实施例提供的工件的抓取设备的结构示意图,本实施例中工件的抓取设备500可以包括:处理器501和存储器502。
存储器502,用于存储程序;存储器502,可以包括易失性存储器(英文:volatilememory),例如随机存取存储器(英文:random-access memory,缩写:RAM),如静态随机存取存储器(英文:static random-access memory,缩写:SRAM),双倍数据率同步动态随机存取存储器(英文:Double Data Rate Synchronous Dynamic Random Access Memory,缩写:DDR SDRAM)等;存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory)。存储器502用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等,上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器502中。并且上述的计算机程序、计算机指令、数据等可以被处理器501调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器502中。并且上述的计算机程序、计算机指令、数据等可以被处理器501调用。
处理器501,用于执行存储器502存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器501和存储器502可以是独立结构,也可以是集成在一起的集成结构。当处理器501和存储器502是独立结构时,存储器502、处理器501可以通过总线503耦合连接。
本实施例的工件轮廓的标注设备500可以执行上述方法的技术方案,其具体实现过程和技术原理参见上述方法中的相关描述,此处不再赘述。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“平台”。
此外,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当用户设备的至少一个处理器执行该计算机执行指令时,用户设备执行上述各种可能的方法。
其中,计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于通信设备中。
本申请还提供一种程序产品,程序产品包括计算机程序,计算机程序存储在可读存储介质中,服务器的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得服务器实施上述本发明实施例任一的方法。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:只读内存(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
图6是本发明实施例中的计算机可读存储介质的结构示意图。参考图6所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品600,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (10)
1.一种工件的抓取系统,其特征在于,用以根据动态的抓取优先级抓取工件,所述系统包括:处理单元、视觉传感器单元、执行单元,其中,处理单元包括:接收单元、位姿识别单元、抓取序列生成单元;
所述接收单元,用于接收所述视觉传感器单元发送的第一图像,所述第一图像中包含有两个及以上工件;
所述位姿识别单元,用于获取第一图像中工件的位姿信息;
所述抓取序列生成单元,用于根据第一图像中工件的位姿信息确定抓取的优先级,得到工件抓取序列表;
所述执行单元,用于根据工件抓取序列表,执行工件的抓取任务。
2.根据权利要求1所述的工件的抓取系统,其特征在于,所述位姿识别单元,具体用于:
从所述第一图像中识别出各个工件的外部轮廓,得到工件的轮廓线;
将工件的轮廓线与数据库中工件的轮廓数据进行比对,确定工件的位姿信息,所述位姿信息包括:工件的轴角度、指示面的朝向;所述轮廓数据包括:俯拍视角下工件在不同位姿下的轮廓形状。
3.根据权利要求1所述的工件的抓取系统,其特征在于,所述抓取序列生成单元确定的抓取优先级包括以下任一或者任多项策略:
从上层往下层抓取;
从左侧往右侧抓取,或者从右侧往左侧抓取;
根据工件的遮挡率,从遮挡低的工件开始依次抓取;
按照网格划分方式,依次抓取网格中的工件;
根据工件的轴角度的大小,依次进行抓取。
4.根据权利要求1所述的工件的抓取系统,其特征在于,所述执行单元,具体用于:
确定每次抓取任务的间隔时长,和/或,每次抓取时机械臂的移动步长;
按照所述间隔时长,和/或移动步长,顺次执行工件抓取序列表中的工件;
在连续抓取M次工件之后,更新所述工件抓取序列表,其中,M为大于1的自然数。
5.根据权利要求1所述的工件的抓取系统,其特征在于,所述处理单元还包括:抓取策略生成单元,所述抓取策略生成单元,具体用于:
根据所述第一图像中工件的位姿信息,确定所述工件抓取序列表中各个工件的抓取策略,所述抓取策略包括:抓取时的切入角度、抓取时的作用力、抓取时的作用力方向。
6.根据权利要求1-5中任一项所述的工件的抓取系统,其特征在于,当抓取同一工件失败的次数大于N次时,所述处理单元的接收单元,还用于接收视觉系统发送的第二图像,所述第二图像中包含有两个及以上工件,其中,N为大于1的自然数;
所述位姿识别单元,还用于获取第二图像中工件的位姿信息;
所述抓取序列生成单元,还用于根据第二图像中工件的位姿信息确定抓取的优先级,得到更新的工件抓取序列表;
所述执行单元,还用于根据更新的工件抓取序列表,执行工件的抓取任务。
7.根据权利要求1-5中任一项所述的工件的抓取系统,其特征在于,当抓取同一工件失败的次数大于N次时,所述处理单元还用于将对应工件添加至失败列表中,其中,N为大于1的自然数;
所述执行单元,还用于跳过抓取失败的工件,执行工件抓取序列表中下一个工件的抓取任务。
8.根据权利要求7中所述的工件的抓取系统,其特征在于,所述执行单元,还用于:
在连续执行P次成功抓取之后,依次执行所述失败列表中工件的抓取任务,其中,P为大于1的自然数;或者,
在完成工件抓取序列表中全部抓取任务之后,依次执行失败列表中工件的抓取任务。
9.根据权利要求1-5中任一项中所述的工件的抓取系统,其特征在于,所述处理单元,还包括:定位单元,所述定位单元用于在执行工件的抓取任务时,确定工件与执行单元末端机构之间的位置关系。
10.一种机器人,其特征在于,包括:机器人本体、驱动系统和机械臂,其中:
所述机器人本体中的处理器,用于根据权利要求1-9中任一项所述的工件的抓取系统所确定的工件抓取序列表,生成针对机械臂的控制指令;
所述驱动系统,用于根据所述控制指令,带动所述机械臂按照所述工件抓取序列表,执行工件的抓取任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211097299.8A CN117657755A (zh) | 2022-09-08 | 2022-09-08 | 工件的抓取系统和机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211097299.8A CN117657755A (zh) | 2022-09-08 | 2022-09-08 | 工件的抓取系统和机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117657755A true CN117657755A (zh) | 2024-03-08 |
Family
ID=90083369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211097299.8A Pending CN117657755A (zh) | 2022-09-08 | 2022-09-08 | 工件的抓取系统和机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117657755A (zh) |
-
2022
- 2022-09-08 CN CN202211097299.8A patent/CN117657755A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3405910B1 (en) | Deep machine learning methods and apparatus for robotic grasping | |
EP3414710B1 (en) | Deep machine learning methods and apparatus for robotic grasping | |
CN112828892B (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
CN111283675B (zh) | 一种机器人动作回归控制方法、装置、机器人和存储介质 | |
EP3936286A1 (en) | Robot control device, robot control method, and robot control program | |
US20230330858A1 (en) | Fine-grained industrial robotic assemblies | |
CN109641706B (zh) | 拣货方法、系统及其应用的获持与放置系统、机器人 | |
Van Molle et al. | Learning to grasp from a single demonstration | |
CN117657755A (zh) | 工件的抓取系统和机器人 | |
CN117657754A (zh) | 工件的抓取方法、装置、设备及存储介质 | |
EP4445343A1 (en) | Systems and methods for locating objects with unknown properties for robotic manipulation | |
CN112171664B (zh) | 基于视觉识别的生产线机器人轨迹补偿方法、装置和系统 | |
CN117428751A (zh) | 机器人运行环境的模拟系统和机器人 | |
CN117656049A (zh) | 工件的拨动方法、装置、设备及存储介质 | |
CN117657756A (zh) | 工件的拨动系统和机器人 | |
De Coninck et al. | Learning to Grasp Arbitrary Household Objects from a Single Demonstration | |
CN117863166A (zh) | 工件的放置定位系统和机器人 | |
CN117876471A (zh) | 工件的放置方法、装置、设备及存储介质 | |
TWI734237B (zh) | 自動控制方法以及自動控制裝置 | |
CN117428752A (zh) | 机器人的3d视觉仿真系统和机器人 | |
CN118613353A (zh) | 用于物体检测和拾取顺序确定的系统和方法 | |
CN115246124A (zh) | 物体抓取方法、装置、电子设备和存储介质 | |
CN117428820A (zh) | 机器人运行环境的模拟方法、装置、设备及存储介质 | |
CN117208567A (zh) | 用于物料筐无序拣取的取料方法、装置、设备及存储介质 | |
CN118691679A (zh) | 料框侧面定位方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |