CN116175540B - 基于位置及朝向的抓取控制方法、装置、设备和介质 - Google Patents

基于位置及朝向的抓取控制方法、装置、设备和介质 Download PDF

Info

Publication number
CN116175540B
CN116175540B CN202111426975.7A CN202111426975A CN116175540B CN 116175540 B CN116175540 B CN 116175540B CN 202111426975 A CN202111426975 A CN 202111426975A CN 116175540 B CN116175540 B CN 116175540B
Authority
CN
China
Prior art keywords
orientation
grabbing
grabbed
value
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111426975.7A
Other languages
English (en)
Other versions
CN116175540A (zh
Inventor
崔致豪
丁有爽
邵天兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mech Mind Robotics Technologies Co Ltd
Original Assignee
Mech Mind Robotics Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mech Mind Robotics Technologies Co Ltd filed Critical Mech Mind Robotics Technologies Co Ltd
Priority to CN202111426975.7A priority Critical patent/CN116175540B/zh
Publication of CN116175540A publication Critical patent/CN116175540A/zh
Application granted granted Critical
Publication of CN116175540B publication Critical patent/CN116175540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本申请公开了一种基于位置及朝向的抓取控制方法、装置、设备和介质。基于位置及朝向的抓取控制方法包括：获取待抓取物品的位置特征以及朝向特征；基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系；基于所述待抓取物品的位置与所述兴趣区域的关系，以及所述待抓取物品的朝向特征，确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取。本发明综合考虑物品的朝向特征以及物品的位置特征，在抓取时先判断物品是否在容易抓取的区域内，基于与物品是否在该区域内采取不同的抓取方案，与仅考虑物品朝向特征的方案相比，抓取排序更为准确，进而提高了使用机器人的抓取效果。

Description

基于位置及朝向的抓取控制方法、装置、设备和介质
技术领域
本申请涉及机械手臂或夹具的自动控制、程序控制B25J领域，更具体而言，特别涉及基于位置及朝向的抓取控制方法、装置、设备和介质。
背景技术
目前，在商场，超市以及物流等领域，已经逐渐开始使用机器人代替人工执行货物的分拣，搬运，摆放等操作，受限于传统的机器人只能以预先确定好的方式运作或者以有限度的智能方式进行运作，导致在这些场景中，对待作业物品的位置和摆放都有较高的要求。例如，对于某个超市中的分拣任务，任务需求是将放置在物料框中的待分拣物品取出，并搬运至指定位置。在该任务中，机器人将通过视觉识别物料框中的每个物品所在的位置，并将物品取出放置在指定位置，在这样的任务中，为了保证机器人能够顺利地抓取每个物品，现有方案需要工作人员先将物品整齐地摆放至物料框中，并且物料框中的每个物品都需要按照特定的姿态摆放，例如，罐装饮品、盒装食品，袋装食品等，均需要开口正面朝上摆放，之后将放置有摆放整齐的大量物品的物料框运至机器人作业区域，由机器人执行抓取作业。
对于这种需要将大量物品分拣抓取至指定位置的场景，传统的方案在识别出所有的物品后，通常需要基于物品的高低，或者抓取该物品所配置的夹具尺寸，确定物品的抓取顺序，并基于确定的顺序控制夹具执行对物品的抓取，在一些方案中，在确定抓取顺序还可以考虑物品是否被压叠等情况。然而，在上述抓取场景中，如果大量物品并非以整齐的姿态摆放，而是以无序，散乱的方式堆放在一起，使用现有的抓取方案时，会出现意料之外的将物品推倒，带飞，甚至无法成功抓取的情况，特别是当待抓取物品位于料框壁，或者其他特别高大的物体等障碍物旁边时，由于这些障碍物会对夹具的运动以及夹取过程造成障碍，阻挡夹具，而现有的抓取控制方案并没有考虑到这样的作业场景，抓取效果不佳。因此需要能够运用于这种密集物品散乱摆放，并且使用夹具抓取这些物品的场景中的，抓取成功率较高的抓取控制方案，以解决这类场景下可能出现的各种问题。
发明内容
鉴于上述问题，提出了本发明以便克服上述问题或者至少部分地解决上述问题。具体地，本发明还提出了一种综合考虑物品的朝向特征以及物品的位置特征的抓取控制方案，在抓取时先判断物品是否在容易抓取的区域内，基于与物品是否在该区域内采取不同的抓取方案，使得在某些场景下，例如，大量物品散乱放置在容器内，或者大量物品所在区域有坚固的能够影响抓取的障碍物时，与仅考虑物品朝向特征的方案相比，抓取排序更为准确，进而提高了使用机器人的抓取效果。
本申请权利要求和说明书所披露的所有方案均具有上述一个或多个创新之处，相应地，能够解决上述一个或多个技术问题。具体地，本申请提供一种基于位置及朝向的抓取控制方法、装置、设备和介质。
本申请的实施方式的基于位置及朝向的抓取控制方法，包括：
获取待抓取物品的位置特征以及朝向特征；
基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系；
基于所述待抓取物品的位置与所述兴趣区域的关系，以及所述待抓取物品的朝向特征，确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取。
在某些实施方式中，所述位置特征包括待抓取物体在参考坐标系下的坐标。
在某些实施方式中，所述参考坐标系包括相机坐标系。
在某些实施方式中，所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取包括：将多个待抓取物品的抓取特征值排序，并按照排序结果控制夹具执行抓取。
在某些实施方式中，位于所述兴趣区域内的待抓取物品的抓取特征值确定方法与位于所述兴趣区域外的待抓取物品的抓取特征值确定方法不同。
本申请的实施方式的基于位置及朝向的抓取控制装置，包括：
特征获取模块，用于获取待抓取物品的位置特征以及朝向特征；
位置关系确定模块，用于基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系；
抓取特征值确定模块，用于基于所述待抓取物品的位置与所述兴趣区域的关系，以及所述待抓取物品的朝向特征，确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取。
在某些实施方式中，所述位置特征包括待抓取物体在参考坐标系下的坐标。
在某些实施方式中，所述参考坐标系包括相机坐标系。
在某些实施方式中，所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取包括：将多个待抓取物品的抓取特征值排序，并按照排序结果控制夹具执行抓取。
在某些实施方式中，位于所述兴趣区域内的待抓取物品的抓取特征值确定方法与位于所述兴趣区域外的待抓取物品的抓取特征值确定方法不同。
本申请的实施方式的电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式的基于位置及朝向的抓取控制方法。
本申请的实施方式的计算机可读存储介质其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式的基于位置及朝向的抓取控制方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请的物品分拣场景下的待抓取物品与料框关系的示意图；
图2是本申请某些实施方式的料框参数的示意图；
图3是本申请某些实施方式的掩膜预处理的示意图；
图4是与旋转矩阵相关的俯仰轴、滚转轴和偏航轴的示意图；
图5是本申请某些实施方式的基于物品相对位置关系以及朝向的抓取控制方法的流程示意图；
图6是以料框正上方的相机坐标系作为参考坐标系的示意图；
图7是本申请某些实施方式的基于物品相对位置关系以及朝向的抓取控制装置的结构示意图；
图8是本申请某些实施方式的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在具体实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明可以用于基于视觉识别的工业机器人控制场景中。一个典型的基于视觉识别的工业机器人控制场景包括用于采集图像的装置，用于生产线的硬件及生产线PLC等控制装置，用于执行任务的机器人部件，以及用于对这些装置进行控制的操作系统或软件。用于采集图像的装置可以包括2D或3D的智能/非智能工业相机，依据不同的功能和应用场景，可以包括面阵相机、线阵相机、黑白相机、彩色相机、CCD相机、CMOS相机、模拟相机、数字相机、可见光相机、红外相机、紫外相机等；生产线可以包括包装生产线、分拣生产线、物流生产线、加工生产线等需要使用机器人的生产线；工业场景中使用的用于执行任务的机器人部件可以是仿生机器人，例如人型机器人或者狗型机器人，也可以是传统的工业机器人，例如机械臂等；工业机器人可以是操作型机器人，程控型机器人，示教再现型机器人，数控型机器人，感觉控制型机器人，适应控制型机器人，学习控制型机器人，智能机器人等；机械臂依据工作原理可以是球坐式机械手，多关节式机械手，直角坐标式机械手，圆柱坐标式机械手，极坐标式机械手等，依据机械臂的功能，可以使用抓取机械臂，码垛机械臂，焊接机械臂，工业机械臂；机械臂的末端可以装配有末端执行器，末端执行器依据任务的需要，可以使用机器人夹具，机器人抓手，机器人工具快换装置，机器人碰撞传感器，机器人旋转连接器，机器人压力工具，顺从装置，机器人喷涂枪，机器人毛刺清理工具，机器人弧焊焊枪，机器人电焊焊枪等；机器人夹具可以是各类通用夹具，通用夹具是指结构已经标准化，且有较大适用范围的夹具，例如，车床用的三爪卡盘和四爪卡盘，铣床用的平口钳及分度头等。又如，按夹具所用夹紧动力源，可将夹具分为手动夹紧夹具、气动夹紧夹具、液压夹紧夹具、气液联动夹紧夹具、电磁夹具、真空夹具等，或者其它能够拾取物品的仿生器械。用于采集图像的装置，用于生产线的硬件及生产线PLC等控制装置，用于执行任务的机器人部件，以及用于对这些装置进行控制的操作系统或软件之间可基于TCP协议、HTTP协议、GRPC协议(Google Remote Procedure Call Protocol，谷歌远程过程调用协议)进行通信，以传递各种控制指令或命令。操作系统或软件可以设置于任意的电子设备中，典型的此类电子设备包括工业计算机，个人计算机，笔记本电脑，平板电脑，手机等，电子设备可以通过有线或无线的方式与其它设备或系统进行通信。此外，本发明中出现的抓取指的是广义的能够控制住物品以改变物品的位置的任意的抓取动作，而并非局限于狭义的以“抓”的方式抓取物品，换句话说，诸如吸取，抬起，套紧等方式对物品的抓取，也属于本发明抓取的范围。本发明中待抓取物品可以是纸箱、纸盒、塑料软包(包括但不限于零食包装、牛奶利乐枕包装、牛奶塑料包装等等)、药妆瓶、药妆品、和/或不规则的玩具等物品等等，这些待抓取物品可以放置在地面、托盘、传送带和/或物料筐内。
待抓取物品通常会堆在箱子中搬运至现场，这种堆积物品的箱子通常称之为料框，在执行抓取时，机械臂或者夹具在运动过程中可能碰到料框，因此料框以及料框中的物品的摆放位置对抓取有重要的影响。作为一个较佳的实施例，可以获取料框的各项参数。如图2所示，可以对料框数据进行处理，提取或生成对抓取有影响的辅助参数，这样的参数包括：料框的高度，料框的宽度，料框的长度，以及对料框的宽度和长度进行分割后获得的网格。应当理解，高度，宽度和长度都是确定的数值，而网格的分割方式及数量则是本领域技术人员根据所使用的夹具，抓取方式以及待抓取物品的特征等实际情况自行分割的，使用网格能够方便地对待抓取物品的位置进行标定。料框数据可以是预设的，或者通过相机采集的。
应当理解，由于在实际抓取时，夹具需要在物品的可抓取区域内执行抓取，非可抓取区域对抓取没有实质性的作用，因此本发明中的物品也可以是物品可抓取区域。物品的可抓取区域是指物品表面上能够被夹具抓取的部位，在工业场景中，待抓取物品可能以整齐，有序的方式放置，此时，每个物品的可抓取区域基本相同，确定可抓取区域的方式也较为简单；也可能以混乱和无序的方式堆在一起，此时每个物品的可抓取区域都是随机的，需要以复杂的方式确定可抓取区域。本实施例不限定具体的使用场景以及确定可抓取区域的具体方法，只要能够获取可抓取区域即可。
一种可行的确定可抓取区域并生成掩膜的实施方式可以是，首先，在获取了包括一个或多个待抓取物品的图像数据后，对该图像数据进行处理，以识别出图像中的每一个像素点，例如对于一个256*256的图像来说，应当识别出256*256＝65536个像素点；之后基于这些像素点中的每一个像素点的特征对整个图像中所包括的全部像素点进行分类，其中，像素点的特征主要是指像素点的RGB值，在实际的应用场景中，为了方便为特征分类，也可以将RGB彩色图处理为灰度图，利用灰度值进行分类。对于像素点的分类，可以预先确定需要将像素点分成哪几类，例如，拍摄获得的RGB图像中包括一大堆饮料罐，食品盒以及料框，因此如果目的是生成其中饮料罐，食品盒以及料框的掩膜，则预先确定的分类可以是饮料罐，食品盒和料框。我们可以为这三种不同的分类设置一个标识，标识可以是数字，例如饮料罐为1，食品盒为2，料框为3，也可以是颜色，例如饮料罐为红色，食品盒为蓝色，料框为绿色，以此分类并进行处理后，最终获得的图像中会以1或者红色标识饮料罐，2或者蓝色标识食品盒，3或者绿色标识料框。本实施例中要生成的是物品的可抓取区域的掩膜，因此仅为可抓取区域分类，例如蓝色，以此方式处理后的图像中的蓝色区域即为待抓取物品的可抓取区域的掩膜；接下来为每个分类创建图像输出的通道，该通道的作用是将输入图像中的所有与分类有关的特征提取出来作为输出。例如，我们为可抓取区域这个类创建图像输出的通道后，将采集到的RGB彩色图像输入该通道，则可以从该通道的输出中获取提取了可抓取区域的特征的图像。最后，我们将处理获得的可抓取区域的特征图像与原始RGB图像进行组合，即可生成标识有可抓取区域掩膜的合成图像数据。
以此方式生成的掩膜有时是不合适的，例如，有些掩膜的大小和形状不方便进行后续的处理；再如，有些区域虽然生成了掩膜，然而夹具在掩膜的位置并不能执行抓取。不合适的掩膜会对后续的处理过程带来很大的影响，因此需要对生成的掩膜进行预处理后再供其它步骤使用。如图3所示，对掩膜的预处理可以包括：1、对掩膜进行膨胀处理，以填补掩膜图像的缺失、不规则等缺陷。例如，对于掩膜上的每一个像素点，可以把该点周围一定数量的点，例如8-25个点，设为与该点颜色相同。该步骤相当于把每个像素点的周围都进行填充，因此假如物品掩膜存在缺失，该操作会将缺失部分全部填充，如此处理之后，物品掩膜就会变得完整，不存在缺失，同时掩膜整体上也会因为膨胀而略为变“胖”，适当的膨胀有助于后续进一步的图像处理操作；2、判断掩码的面积是否满足预定的条件，如果不满足，则剔除该掩膜。首先较小的掩膜区域很可能是错误的，因为图像数据的连续性，一个可抓取区域通常会包括众多数量的具有类似特征的像素点，离散的小像素点形成的掩膜区域可能并非真正的可抓取区域；其次，机器人末端执行机构，即夹具，在执行抓取任务时，其落脚位置需要有一定的面积，如果可抓取区域的面积过小，夹具根本无法在该区域落脚，也就无法抓取物品，因此过于小的掩膜是没有意义的。前述预定的条件，可以根据夹具的大小以及噪点的大小等条件自行设定，其值可以为一个确定的大小，或包含的像素点的数量，或者一比例，例如，可以将预定的条件设为0.1％，即掩膜面积与整体图像面积的比例小于0.1％时，即认为该掩膜不可用，进而将其从图像中剔除；3、判断掩码中的点云个数是否少于预设的最少点云个数。点云个数反映了相机采集质量的好坏，如果某个可抓取区域中点云个数过少，说明对于该区域的拍摄是不够准确的。点云可以用于控制夹具执行抓取，数量过少可能对夹具的控制过程产生影响。因此，可以设置某个掩膜区域中最少应当包括的点云的个数，例如：10个，当某个可抓取区域中覆盖的点云个数少于10个时，则将掩膜从图像数据中剔除或者为可抓取区域随机添加点云，直到达到10个为止。
本发明的物品的图像、位姿、旋转矩阵、朝向、位置等均可以是物品的可抓取区域的图像、位姿、旋转矩阵、朝向、位置等。接下来的方案中不会特别地基于“物品的可抓取区域”进行描述，本领域技术人员能够理解本发明实施例中出现的哪些“物品”可以替换为“物品的可抓取区域”。
在如图1所示的工业场景中，待抓取物品放置在一个较深的物料框中。一般的散乱在待抓取物品周围的其它物品，对抓取造成的障碍较小，因为夹具在抓取的过程中可以将这些物品推开或者令这些物品轻微形变后再抓取待抓取物品，并不会对抓取过程有显著的影响。而类似于深物料框这样的容易或者其它较为坚固的障碍物则不同，由于其框壁较高，且很难移动或形变，因而会对夹具的移动以及抓取造成障碍，甚至导致抓取失败。如图1所示，假如待抓取物品位于物料框的框壁附近，而其可抓取区域又朝向框壁，则夹具在抓取时，很可能会撞上框壁，导致抓取失败；然而，如果待抓取物品位于物料框的中心区域，则无论朝向哪个方向，抓取难度都是一致的。因此，在类似的场景下，抓取时仅考虑物品的朝向特征是不够的。为了解决这个问题，发明人经过研究，提出了一种基于物品的综合位姿，即物品的位置与物品的朝向，对抓取进行控制的方法，这也是本发明的重点之一。
图5示出了根据本发明一个实施例的基于待抓取物品的位置和朝向对物品的抓取进行控制的方法的流程示意图。如图5所示，该方法至少包括以下步骤：
步骤S200，获取待抓取物品的位置特征以及朝向特征；
步骤S210，基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系；
步骤S220，基于所述待抓取物品的位置与所述兴趣区域的关系，以及所述待抓取物品的朝向特征，确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取。
对于步骤S200，如图1所示，当物品朝向正上方时，对于夹具来说是最方便抓取的，朝向越偏向XY平面，则越难抓取。物品的朝向特征就是用来反映物品的朝向偏向XY平面的程度。反映物品的方向或旋转的特征都可以用作朝向特征，例如角度，或者特定的投影值等，本实施例中不作限定。作为一种优选的实施方式，可以基于物体的旋转矩阵获得物体的朝向特征。当一个具有特定朝向的物品进行一定的旋转后，将变换为另一个特定朝向，旋转矩阵即用来表达该物品进行了怎样的旋转。从本质上来讲，旋转矩阵反映了一个坐标系中的坐标在另一个坐标系中表示的转换关系。
在一种实施方式中，假设作为基准的物品位姿具有正面朝上的朝向，即使得物品的可抓取区域与Z轴垂直的朝向，而待抓取物品的位姿则是由基准位姿旋转之后得到的。假设从基准位姿旋转到物品当前位姿的旋转矩阵为则待抓取物品的朝向特征可以根据R获得。在一种实施方式中，物体的朝向特征可以为(Xvector，Yvector，Zvector)，其中Xvector，Yvector，Zvector分别为旋转矩阵第三行第一，二，三列的值，即，Xvector＝x3，Yvector＝y3，Zvector＝z3。
现有技术中存在多种形式的旋转矩阵，本发明对此不做限定。可选的，本发明的旋转矩阵可以是基于欧拉角获得的旋转矩阵。任何一个旋转可以表示为依次绕着三个旋转轴旋三个角度的组合，这三个角度为称为欧拉角。如图4所示，一个物品的旋转由3个旋转分量描述，可以理解为笛卡尔坐标系中的X轴，Y轴，Z轴，其中X轴为俯仰轴，沿X轴顺时钟旋转的角度为俯仰角，记为α；Y轴为偏航轴，沿Y轴顺时钟旋转的角度为偏航角，记为β；Z轴为滚转轴，沿Z轴顺时钟旋转的角度为滚转角，记为γ。任何一种旋转都可以视为三种旋转方式的组合，例如如果某个物品是以XYZ方式旋转的，则表示该物品先沿X轴顺时针旋转α，再沿Y轴顺时针旋转β，最后沿Z轴旋转γ。不同的旋转方式，其旋转矩阵是不同的，总计有12中旋转方式。优选地，可以令物品从基准方向以ZYX方式旋转到当前状态，相应地，待抓取物品的旋转矩阵可以为
物品的位置特征可以是物体在参考坐标系下的坐标。参考坐标系可以是世界坐标系，即以真实世界中的某个点作为原点建立的坐标系；可以是相机坐标系，即以相机的光心为原点建立的坐标系，该坐标系的z轴指向相机的正前方；也可以是图像坐标系，该坐标系是以相机光心在成像平面的投影作为原点建立的坐标系。本发明优选使用以相机为原点的相机坐标系作为参考坐标系。如图6所示，本发明中相机在深框中间的正上方进行拍照，参考坐标系的原点为相机，即坐标为(0，0，0)的点在相机内，在该种参考坐标系下，位于相机左边的点，其X轴的坐标值为负，位于相机的后面的点，其Y轴的坐标值为负，位于相机下方的点，其Z轴的坐标值为负。假设某个物品当前的位置的坐标为(Xpose,Ypose,Zpose)，则该物品的位置特征可以是(Xpose,Ypose,Zpose)。
对于步骤S210，虽然本发明中均以料框为例进行说明，然而在实际的工业场景中，物品可能会放置在其它容器中，例如，桶。兴趣区域(Area of Interest)在本实施例中是指这样的一种区域，在该区域中，容易使用夹具抓取，不太会产生抓取失败的问题，例如图1中的料框的内圈区域。兴趣区域通常是参考区域的中心区域，然而如果使用了不同的容器，或者料框也被物理分隔成多个格子，兴趣区域也可能是中心区域以外的区域。参考区域是与兴趣区域相关联的区域，参考区域可以是整个容器的区域，或者容器的部分区域。具体的参考区域和兴趣区域可以根据实际情况的需要而确定，本实施的重点在于判断物品是否位于兴趣区域内，并根据判断结果控制抓取，不对确定兴趣区域的方法进行限定，可以通过任意的方式确定兴趣区域，例如，以中心点为圆心，固定长度为半径作圆，圆内区域即为兴趣区域。无论物品的朝向如何，兴趣区域本身就已经区分了抓取物品的难易程度，如前所述，物品位于兴趣区域内还是位于兴趣区域外，其抓取难度完全不同。如图1所示，当待抓取物品位于料框内圈时，物品的朝向对抓取的影响在各个方向上都是对称的，例如，内圈物品朝向料框右侧45度角或者朝向料框左侧45度角，抓取难度上几乎没有差别。而在内圈之外的物品，其朝向框壁45度角时，与朝向框中心45度角时，抓取难度大为不同。因此需要先确定物品是否位于兴趣区域内，可以采用任意现有的方法确定物品是否位于兴趣区域内，例如可以获取包括待抓取物品以及区域的图像，识别待抓取物品与所在区域的位置关系，并确定待抓取物品是否位于兴趣区域内。
在一个实施方式中，为了确定物品是否位于参考区域内，可以先利用下面的公式计算物体的位置抑制值：
其中，Xinhibit_ratio为X轴的位置抑制值，Yinhibit_ratio为Y轴的位置抑制值，AX为X轴的位置抑制参数，AY为Y轴的位置抑制参数根据实际抓取场景的需要，AX和AY可以任意取值。。
对于某个待抓取物品，其是否位于兴趣区域内可以采用以下公式进行计算：
Binner_N＝Xcondition_N&Ycondition_N (5)
其中，Xcondition_N为第N个物体的X坐标值是否满足抑制条件的判断结果，其值为1代表该物品的X坐标值满足抑制条件，反之，则代表不满足；Ycondition_N为第N个物体的Y坐标值是否满足抑制条件的判断结果，与Xcondition_N类似，其值为1则代表该物品的Y坐标值满足抑制条件，反之，则代表不满足；Xpose_N为第N个物体的X坐标值，Ypose_N为第N个物体的Y坐标值。Binner_N为第N个物体是否位于兴趣区域内的判断结果，其值为1则代表该物品位于兴趣区域内，反之，则代表该物品位于兴趣区域之外；N为输出的物体位姿的个数；&代表“与运算”，其运算规则为1&1＝1，1&0＝0，0&1＝0，0&0＝0。公式(5)的含义是，对于某个物品，只有该物品所在的位置的X坐标值以及Y坐标值都满足相对应的抑制条件时，才认为该物品位于兴趣区域内。
对于步骤S220，如前所述，本实施例中位于兴趣区域内的物品与位于兴趣区域外的物品，其抓取难度完全不同，因而抓取特征值的计算方式也完全不同，抓取特征值的大小反映了抓取的难易程度，本发明中的抓取特征值越大表明抓取越容易。对于任意的待抓取物品来说，可以采用以下公式计算抓取特征值：
R(N)＝Rinner_N+Router_N (6)
其中，R(N)为第N个待抓取物品的抓取特征值，Rinner_N为该物品的兴趣区域内抓取特征值，Router_N为该物品的兴趣区域外抓取特征值。对于R(N)的两个分量，其中Rinner_N按照以下公式进行计算：
Rinner_N＝Binner_N*Zvector_N (7)
公式(7)中，Binner_N为第N个待抓取物体是否位于兴趣区域内的判断结果，其计算方式见公式(5)；Zvector_N为第N个待抓取物品的Z轴的朝向特征值，相当于物品的朝向在Z轴上的投影。在一种实施方式中，假设该待抓取物品的旋转矩阵为则Zvector_N可以为该旋转矩阵第3行第三列的分量，即为z3_N。
对于R(N)的另一个分量Router_N
，可以先采用以下公式计算朝向抑制值：
Xinhibit_N＝Max(sign[Xpose_N*Xvector_N],0)*BX+CX (8)
Yinhibit_N＝Max(sign[Ypose_N*Yvector_N],0)*BY+CY (9)
其中，Xinhibit_N为第N个物品的X轴的朝向抑制值；Yinhibit_N为第N个物品的Y轴的朝向抑制值；Max()为最大值函数，Max(a,b)的取值规则为取a和b中最大的那个值；sign[]为符号函数，仅与“[]”中数值的符号有关，而与取值无关，具体地，当“[]”中的值为负时，其值为-1，当“[]”中的值为正时，其值为1；BX，BY，CX和CY均为抑制幅度调整参数；Xvector_N为第N个待抓取物品的X轴的朝向特征值，相当于物品的朝向在X轴上的投影；Yvector_N为第N个待抓取物品的Y轴的朝向特征值，相当于物品的朝向在Y轴上的投影。
可以采用如下公式分别计算X轴和Y轴的抓取特征值：
其中，X(N)为第N个待抓取物品的X轴的抓取特征值；Y为第N个待抓取物品的Y轴的抓取特征值；DX和DY为抓取特征值调整参数，这两个参数是为了调整最终计算的抓取特征值的大小，使其处于一个容易理解，且方便处理的区间，类似于将抓取特征值进行归一化处理。
接下来回到步骤S230，如前所述，待抓取物品可能存在于参考区域的兴趣区域内，也可能存在与参考区域的兴趣区域外。对于某一个待抓取物品，可以基于公式(6)计算其特征值，即分别计算该物品的区域内特征值以及区域外特征值，并将两者相加获得抓取特征值，其中Rinner_N采用公式(7)计算，Router_N可以采用以下公式进行计算：
Router_N＝Bouter_N*Max{X(N),Y(N)} (12)
Bouter_N＝～Binner_N (13)
其中，“～”为取反运算，其运算规则是～0＝1,～1＝0，当Binner为集合时，Bouter也为集合。例如，假设在一次抓取任务中，有5个物品或者有5个位姿需要抓取，对于这5个物品构成的组合，其Binner＝[0,1,0,0,0]，则根据公式(13)可得Bouter＝[1,0,1,1,1]，这表示这五个物品中的第1,3,4,5个都在兴趣区域之外；X(N)为第N个待抓取物品的X轴的抓取特征值，Y(N)为第N个待抓取物品的Y轴的抓取特征值。如图1所示，某个待抓取物体要么位于内圈，要么位于外圈，不可能同时存在于内圈和外圈，体现公式中则是Bouter_N和Binner_N互相取反，因而在其中一个为0时，另一个必然为1，不可能同时为1。
在获得了抓取特征值后，即可依据每个物品的抓取特征值进行排序，并控制夹具按照顺序执行对物品的抓取。根据实际情况的需要，可以仅按照抓取特征值进行排序，也可以将基于朝向得到的特征值与其它特征值进行结合，并进行综合的排序。如果结合多个特征值进行排序，可以将多个特征值归一化，并为每个特征值设定权值，基于归一化特征值以及对应的权值进行排序，以控制夹具基于排序结果执行抓取。
另外，针对上述实施例中的任一个：
基于抓取特征值的顺序，控制夹具抓取多个待抓取物品时，可以按照顺序依次抓取其中的多个待抓取物品，例如，在一次抓取任务中获得了三个物品的抓取特征值，分别为第一个物品5，第二个物品10，第三个物品15，则可以控制夹具在第一次抓取时抓取第三个物品，在第二次抓取时抓取第二个物品，在第三次抓取时抓取第一个物品；也可以只抓取其中抓取特征值最高的物品，而在下次抓取时重新计算抓取特征值，例如，在一次抓取任务中获得了5个物品的抓取特征值，分别为第一个物品5，第二个物品10，第三个物品15，第四个物品11，第五个物品18，由于第五个物品的抓取特征值最高，则在第一次抓取时控制夹具抓取第五个物品；第二次抓取前，重新获取图像数据，并计算剩下的4个物品的抓取特征值，并抓取其中特征值最高的，依次类推，直至抓取完成。
另外，需要说明的是，虽然本发明的每个实施例都具有特定的特征组合，然而，这些特征在实施例之间的进一步组合和交叉组合也是可行的。
图7示出了根据本发明又一个实施例的抓取控制装置，该装置包括：
特征获取模块600，用于获取待抓取物品的位置特征以及朝向特征，即用于实现步骤S200；
位置关系确定模块610，用于基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系，即用于实现步骤S210；
抓取特征值确定模块620，用于基于所述待抓取物品的位置与所述兴趣区域的关系，以及所述待抓取物品的朝向特征，确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取，即用于实现步骤S220。
应当理解，在上述由图7所示的装置实施例中，仅描述了模块的主要功能，各个模块的全部功能与方法实施例中相应步骤相对应，各个模块的工作原理同样可以参照方法实施例中相应步骤的描述。另外，虽然上述实施例中限定了功能模块的功能与方法的对应关系，然而本领域技术人员能够理解，功能模块的功能并不局限于上述对应关系，即特定的功能模块还能够实现其他方法步骤或方法步骤的一部分。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施方式的方法。需要指出的是，本申请实施方式的计算机可读存储介质存储的计算机程序可以被电子设备的处理器执行，此外，计算机可读存储介质可以是内置在电子设备中的存储介质，也可以是能够插拔地插接在电子设备的存储介质，因此，本申请实施方式的计算机可读存储介质具有较高的灵活性和可靠性。
图8示出了根据本发明实施例的一种电子设备的结构示意图，电子设备可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等，本发明具体实施例并不对电子设备的具体实现做限定。
如图8所示，该电子设备可以包括：处理器(processor)1202、通信接口(Communications Interface)1204、存储器(memory)1206、以及通信总线1208。
其中：
处理器1202、通信接口1204、以及存储器1206通过通信总线1208完成相互间的通信。
通信接口1204，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器1202，用于执行程序1210，具体可以执行上述方法实施例中的相关步骤。
具体地，程序1210可以包括程序代码，该程序代码包括计算机操作指令。
处理器1202可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器1206，用于存放程序1210。存储器1206可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序1210可以通过通信接口1204从网络上被下载及安装，和/或从可拆卸介质被安装。在该程序被处理器1202执行时，可以使得处理器1202执行上述方法实施例中的各项操作。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
应当理解，本申请的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (12)

1.一种基于位置及朝向的抓取控制方法，其特征在于，包括：
获取待抓取物品的位置特征以及朝向特征；
基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系；
基于所述待抓取物品的位置与所述兴趣区域的关系，参考区域的特征，以及所述待抓取物品的朝向特征和位置特征，并结合朝向抑制值确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取，在抓取排序中，抓取特征值越高则抓取优先级越高；
所述兴趣区域是容易使用夹具抓取的区域；
所述朝向抑制值是用于进行朝向抑制的数值；所述朝向抑制是指对物品朝向特定方向时所获得的朝向特征的数值进行抑制，所述朝向抑制包括：减小特定方向获得的朝向特征的数值，或增大与特定方向不同的其它方向获得的朝向特征的数值。
2.根据权利要求1所述的抓取控制方法，其特征在于：所述位置特征包括待抓取物体在参考坐标系下的坐标。
3.根据权利要求2所述的抓取控制方法，其特征在于：所述参考坐标系包括相机坐标系。
4.根据权利要求1所述的抓取控制方法，其特征在于，所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取包括：将多个待抓取物品的抓取特征值排序，并按照排序结果控制夹具执行抓取。
5.根据权利要求1-4中任一项所述的抓取控制方法，其特征在于：位于所述兴趣区域内的待抓取物品的抓取特征值确定方法与位于所述兴趣区域外的待抓取物品的抓取特征值确定方法不同。
6.一种基于位置及朝向的抓取控制装置，其特征在于，包括：
特征获取模块，用于获取待抓取物品的位置特征以及朝向特征；
位置关系确定模块，用于基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系；
抓取特征值确定模块，用于基于所述待抓取物品的位置与所述兴趣区域的关系，参考区域的特征，以及所述待抓取物品的朝向特征和位置特征，并结合朝向抑制值确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取，在抓取排序中，抓取特征值越高则抓取优先级越高；
所述兴趣区域是容易使用夹具抓取的区域；
所述朝向抑制值是用于进行朝向抑制的数值；所述朝向抑制是指对物品朝向特定方向时所获得的朝向特征的数值进行抑制，所述朝向抑制包括：减小特定方向获得的朝向特征的数值，或增大与特定方向不同的其它方向获得的朝向特征的数值。
7.根据权利要求6所述的抓取控制装置，其特征在于：所述位置特征包括待抓取物体在参考坐标系下的坐标。
8.根据权利要求7所述的抓取控制装置，其特征在于：所述参考坐标系包括相机坐标系。
9.根据权利要求6所述的抓取控制装置，其特征在于，所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取包括：将多个待抓取物品的抓取特征值排序，并按照排序结果控制夹具执行抓取。
10.根据权利要求6-9中任一项所述的抓取控制装置，其特征在于：位于所述兴趣区域内的待抓取物品的抓取特征值确定方法与位于所述兴趣区域外的待抓取物品的抓取特征值确定方法不同。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的基于位置及朝向的抓取控制方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的基于位置及朝向的抓取控制方法。
CN202111426975.7A 2021-11-28 2021-11-28 基于位置及朝向的抓取控制方法、装置、设备和介质 Active CN116175540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111426975.7A CN116175540B (zh) 2021-11-28 2021-11-28 基于位置及朝向的抓取控制方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111426975.7A CN116175540B (zh) 2021-11-28 2021-11-28 基于位置及朝向的抓取控制方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN116175540A CN116175540A (zh) 2023-05-30
CN116175540B true CN116175540B (zh) 2023-11-10

Family

ID=86440860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111426975.7A Active CN116175540B (zh) 2021-11-28 2021-11-28 基于位置及朝向的抓取控制方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN116175540B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012183593A (ja) * 2011-03-03 2012-09-27 Kawasaki Heavy Ind Ltd 電磁石ハンドおよびそれを用いたロボットシステム
CN111791239A (zh) * 2020-08-19 2020-10-20 苏州国岭技研智能科技有限公司 一种结合三维视觉识别可实现精确抓取的方法
CN111932490A (zh) * 2020-06-05 2020-11-13 浙江大学 一种用于工业机器人的视觉系统抓取信息提取方法
JP2021020266A (ja) * 2019-07-26 2021-02-18 オムロン株式会社 ロボットの動作を決定する装置、方法およびプログラム
CN113664825A (zh) * 2021-07-19 2021-11-19 清华大学深圳国际研究生院 一种基于强化学习的堆叠场景机械臂抓取方法与装置
CN113711275A (zh) * 2019-04-18 2021-11-26 博洛尼亚大学 在机器学习中为图像中的对象标注创建训练数据可变性

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012183593A (ja) * 2011-03-03 2012-09-27 Kawasaki Heavy Ind Ltd 電磁石ハンドおよびそれを用いたロボットシステム
CN113711275A (zh) * 2019-04-18 2021-11-26 博洛尼亚大学 在机器学习中为图像中的对象标注创建训练数据可变性
JP2021020266A (ja) * 2019-07-26 2021-02-18 オムロン株式会社 ロボットの動作を決定する装置、方法およびプログラム
CN111932490A (zh) * 2020-06-05 2020-11-13 浙江大学 一种用于工业机器人的视觉系统抓取信息提取方法
CN111791239A (zh) * 2020-08-19 2020-10-20 苏州国岭技研智能科技有限公司 一种结合三维视觉识别可实现精确抓取的方法
CN113664825A (zh) * 2021-07-19 2021-11-19 清华大学深圳国际研究生院 一种基于强化学习的堆叠场景机械臂抓取方法与装置

Also Published As

Publication number Publication date
CN116175540A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
DE102019130048B4 (de) Ein Robotersystem mit Srückverlustverwaltungsmechanismus
US10124489B2 (en) Locating, separating, and picking boxes with a sensor-guided robot
JP2010247959A (ja) 箱状ワーク認識装置および方法
JP6697204B1 (ja) ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置
CN113858188A (zh) 工业机器人的抓取方法和设备、计算机存储介质以及工业机器人
CN115703232A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法
CN116175542B (zh) 确定夹具抓取顺序的方法、装置、电子设备和存储介质
CN116175540B (zh) 基于位置及朝向的抓取控制方法、装置、设备和介质
CN116197888B (zh) 物品位置确定方法、装置、电子设备和存储介质
CN116175541B (zh) 抓取控制方法、装置、电子设备和存储介质
JP2015182212A (ja) ロボットシステム、ロボット、制御装置、及び制御方法
CN116214494A (zh) 抓取控制方法、装置、电子设备和存储介质
CN116197885B (zh) 基于压叠检测的图像数据过滤方法、装置、设备和介质
CN116197887B (zh) 生成抓取辅助图像的图像数据处理方法、装置、电子设备和存储介质
CN116197886A (zh) 图像数据处理方法、装置、电子设备和存储介质
JP5332873B2 (ja) 袋状ワーク認識装置および方法
US20230071488A1 (en) Robotic system with overlap processing mechanism and methods for operating the same
WO2023092519A1 (zh) 抓取控制方法、装置、电子设备和存储介质
CN116188559A (zh) 图像数据处理方法、装置、电子设备和存储介质
JP7398662B2 (ja) ロボット多面グリッパアセンブリ及びその操作方法
CN116205837A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN115609569A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法
JP2024019690A (ja) 物体の取り扱いを伴うロボットシステムのためのシステム及び方法
CN115258510A (zh) 具有物体更新机制的机器人系统和用于操作所述机器人系统的方法
JP2023121062A (ja) 位置検出装置、ピッキングシステム、位置検出方法、及び、位置検出装置用プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant