CN116214494A - 抓取控制方法、装置、电子设备和存储介质 - Google Patents

抓取控制方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116214494A
CN116214494A CN202111426973.8A CN202111426973A CN116214494A CN 116214494 A CN116214494 A CN 116214494A CN 202111426973 A CN202111426973 A CN 202111426973A CN 116214494 A CN116214494 A CN 116214494A
Authority
CN
China
Prior art keywords
orientation
grabbed
grabbing
gripping
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111426973.8A
Other languages
English (en)
Inventor
崔致豪
丁有爽
邵天兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mech Mind Robotics Technologies Co Ltd
Original Assignee
Mech Mind Robotics Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mech Mind Robotics Technologies Co Ltd filed Critical Mech Mind Robotics Technologies Co Ltd
Priority to CN202111426973.8A priority Critical patent/CN116214494A/zh
Publication of CN116214494A publication Critical patent/CN116214494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本申请公开了一种抓取控制方法、装置、电子设备和存储介质。抓取控制方法包括：获取包括至少一个待抓取物品的图像数据；对所述图像数据进行处理，以获取待抓取物品的与朝向有关的朝向特征；至少基于所述待抓取物品的朝向特征控制夹具以执行对至少一个待抓取物品的抓取。本发明的抓取方案在控制夹具进行抓取时，考虑了待抓取物品的朝向特征，相对于现有的方案，能够更为准确地确定具有不同朝向的物品的抓取难易程度，减少了抓取失败的可能性，特别是在大量物品散乱堆放的工业场景中执行抓取时，现有的方案因为并不考虑物品的朝向特征对抓取的影响导致在这样的场景中使用机器人作业效果不佳，而本发明则能够大大提高这种场景下的机器人抓取效果。

Description

抓取控制方法、装置、电子设备和存储介质
技术领域
本申请涉及机械手臂或夹具的自动控制、程序控制B25J领域，更具体而言，特别涉及抓取控制方法、装置、电子设备和存储介质。
背景技术
目前，在商场，超市以及物流等领域，已经逐渐开始使用机器人代替人工执行货物的分拣，搬运，摆放等操作，受限于传统的机器人只能以预先确定好的方式运作或者以有限度的智能方式进行运作，导致在这些场景中，对待作业物品的位置和摆放都有较高的要求。例如，对于某个超市中的分拣任务，任务需求是将放置在物料框中的待分拣物品取出，并搬运至指定位置。在该任务中，机器人将通过视觉识别物料框中的每个物品所在的位置，并将物品取出放置在指定位置，在这样的任务中，为了保证机器人能够顺利地抓取每个物品，现有方案需要工作人员先将物品整齐地摆放至物料框中，并且物料框中的每个物品都需要按照特定的姿态摆放，例如，罐装饮品、盒装食品，袋装食品等，均需要开口正面朝上摆放，之后将放置有摆放整齐的大量物品的物料框运至机器人作业区域，由机器人执行抓取作业。
对于这种需要将大量物品分拣抓取至指定位置的场景，传统的方案在识别出所有的物品后，通常需要基于物品的高低，或者抓取该物品所配置的夹具尺寸，确定物品的抓取顺序，并基于确定的顺序控制夹具执行对物品的抓取，在一些方案中，在确定抓取顺序还可以考虑物品是否被压叠等情况。然而，在上述抓取场景中，如果大量物品并非以整齐的姿态摆放，而是以无序，散乱的方式堆放在一起，使用现有的抓取方案时，会出现意料之外的将物品推倒，带飞，甚至无法成功抓取的情况，特别是当待抓取物品位于料框壁，或者其他特别高大的物体等障碍物旁边时，由于这些障碍物会对夹具的运动以及夹取过程造成障碍，阻挡夹具，而现有的抓取控制方案并没有考虑到这样的作业场景，抓取效果不佳。因此需要能够运用于这种密集物品散乱摆放，并且使用夹具抓取这些物品的场景中的，抓取成功率较高的抓取控制方案，以解决这类场景下可能出现的各种问题。
发明内容
鉴于上述问题，提出了本发明以便克服上述问题或者至少部分地解决上述问题。具体地，首先，本发明的抓取方案在控制夹具进行抓取时，考虑了待抓取物品的朝向特征，相对于现有的方案，能够更为准确地确定具有不同朝向的物品的抓取难易程度，减少了抓取失败的可能性，特别是在大量物品散乱堆放的工业场景中执行抓取时，现有的方案因为并不考虑物品的朝向特征对抓取的影响导致在这样的场景中使用机器人作业效果不佳，而本发明则能够大大提高这种场景下的机器人抓取效果；其次，本发明还提出了一种综合考虑物品的朝向特征以及物品的位置特征的抓取控制方案，在抓取时先判断物品是否在容易抓取的区域内，基于与物品是否在该区域内采取不同的抓取方案，使得在某些场景下，例如，大量物品散乱放置在容器内，或者大量物品所在区域有坚固的能够影响抓取的障碍物时，与仅考虑物品朝向特征的方案相比，抓取排序更为准确，进而提高了使用机器人的抓取效果；再次，本发明提出了一种基于数值确定待抓取物品是否位于特定区域的方案，由于预设了位置抑制值，仅需要基于待抓取物品的位置特征值及其与位置抑制值的关系，即可确定该待抓取物品是否位于特定区域内，与现有的基于图像数据分析的方案相比，运算速度大大提高，判断的准确性也较高，并且因为不依赖图像数据，对获取的图像数据的质量也没有要求；最后，本发明还提出了一种专用于大量物品散乱放置在靠近影响抓取的障碍物附近的场景下，对夹具进行控制并执行抓取的方法，该方法通过数值方式，并基于朝向抑制值确定物品的抓取特征值，使得物品在背离障碍物时能够获得高于物品朝向障碍物时的抓取特征值，并基于抓取特征值控制夹具进行抓取，使得夹具能够先抓取最不容易抓取失败的物品，从而提高了抓取的效果。
本申请权利要求和说明书所披露的所有方案均具有上述一个或多个创新之处，相应地，能够解决上述一个或多个技术问题。具体地，本申请提供一种抓取控制方法、装置、电子设备和存储介质。
本申请的实施方式的抓取控制方法，包括：
获取包括至少一个待抓取物品的图像数据；
对所述图像数据进行处理，以获取待抓取物品的与朝向有关的朝向特征；
至少基于所述待抓取物品的朝向特征控制夹具以执行对至少一个待抓取物品的抓取。
在某些实施方式中，所述至少一个待抓取物品包括所述至少一个待抓取物品的可抓取区域。
在某些实施方式中，所述控制夹具以执行对至少一个待抓取物品的抓取包括确定至少一个待抓取物品的抓取顺序，并控制夹具按照抓取顺序执行对至少一个待抓取物品的抓取。
在某些实施方式中，对所述图像数据进行处理，以获取至少一个待抓取物品的与位置有关的位置特征，以及，至少基于所述待抓取物品的朝向特征以及位置特征控制夹具以执行对至少一个待抓取物品的抓取。
在某些实施方式中，所述朝向特征基于待抓取物品的旋转矩阵获取。
在某些实施方式中，所述旋转矩阵的基准朝向为所述待抓取物品的可抓取区域垂直于Z轴时的朝向。
在某些实施方式中，所述旋转矩阵为基于欧拉角的旋转矩阵。
本申请的实施方式的抓取控制装置，包括：
图像数据获取模块，用于获取包括至少一个待抓取物品的图像数据；
朝向特征获取模块，用于对所述图像数据进行处理，以获取待抓取物品的与朝向有关的朝向特征；
抓取控制模块，用于至少基于所述待抓取物品的朝向特征控制夹具以执行对至少一个待抓取物品的抓取。
在某些实施方式中，所述至少一个待抓取物品包括所述至少一个待抓取物品的可抓取区域。
在某些实施方式中，所述抓取控制模块具体用于确定至少一个待抓取物品的抓取顺序，并控制夹具按照抓取顺序执行对至少一个待抓取物品的抓取。
在某些实施方式中，位置特征获取模块，用于对所述图像数据进行处理，以获取至少一个待抓取物品的与位置有关的位置特征；所述抓取控制模块用于至少基于所述待抓取物品的朝向特征以及位置特征控制夹具以执行对至少一个待抓取物品的抓取。
在某些实施方式中，所述朝向特征基于待抓取物品的旋转矩阵获取。
在某些实施方式中，所述旋转矩阵的基准朝向为所述待抓取物品的可抓取区域垂直于Z轴时的朝向。
在某些实施方式中，所述旋转矩阵为基于欧拉角的旋转矩阵。
本申请的实施方式的电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式的抓取控制方法。
本申请的实施方式的计算机可读存储介质其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式的抓取控制方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请的物品分拣场景下的待抓取物品与料框关系的示意图；
图2是本申请某些实施方式的基于物品朝向的抓取控制方法的流程示意图；
图3是本申请某些实施方式的料框参数的示意图；
图4是本申请某些实施方式的掩膜预处理的示意图；
图5是与旋转矩阵相关的俯仰轴、滚转轴和偏航轴的示意图；
图6是本申请某些实施方式的基于物品相对位置关系以及朝向的抓取控制方法的流程示意图；
图7是以料框正上方的相机坐标系作为参考坐标系的示意图；
图8是本申请某些实施方式的确定物品所在位置的方法的流程示意图；
图9是本申请某些实施方式的针对障碍物旁边的物体的抓取控制方法的流程示意图；
图10是本申请某些实施方式的基于物品朝向的抓取控制装置的结构示意图；
图11是本申请某些实施方式的基于物品相对位置关系以及朝向的抓取控制装置的结构示意图；
图12是本申请某些实施方式的确定物品所在位置的装置的结构示意图；
图13是本申请某些实施方式的针对障碍物旁边的物体的抓取控制装置的结构示意图；
图14是本申请某些实施方式的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在具体实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明可以用于基于视觉识别的工业机器人控制场景中。一个典型的基于视觉识别的工业机器人控制场景包括用于采集图像的装置，用于生产线的硬件及生产线PLC等控制装置，用于执行任务的机器人部件，以及用于对这些装置进行控制的操作系统或软件。用于采集图像的装置可以包括2D或3D的智能/非智能工业相机，依据不同的功能和应用场景，可以包括面阵相机、线阵相机、黑白相机、彩色相机、CCD相机、CMOS相机、模拟相机、数字相机、可见光相机、红外相机、紫外相机等；生产线可以包括包装生产线、分拣生产线、物流生产线、加工生产线等需要使用机器人的生产线；工业场景中使用的用于执行任务的机器人部件可以是仿生机器人，例如人型机器人或者狗型机器人，也可以是传统的工业机器人，例如机械臂等；工业机器人可以是操作型机器人，程控型机器人，示教再现型机器人，数控型机器人，感觉控制型机器人，适应控制型机器人，学习控制型机器人，智能机器人等；机械臂依据工作原理可以是球坐式机械手，多关节式机械手，直角坐标式机械手，圆柱坐标式机械手，极坐标式机械手等，依据机械臂的功能，可以使用抓取机械臂，码垛机械臂，焊接机械臂，工业机械臂；机械臂的末端可以装配有末端执行器，末端执行器依据任务的需要，可以使用机器人夹具，机器人抓手，机器人工具快换装置，机器人碰撞传感器，机器人旋转连接器，机器人压力工具，顺从装置，机器人喷涂枪，机器人毛刺清理工具，机器人弧焊焊枪，机器人电焊焊枪等；机器人夹具可以是各类通用夹具，通用夹具是指结构已经标准化，且有较大适用范围的夹具，例如，车床用的三爪卡盘和四爪卡盘，铣床用的平口钳及分度头等。又如，按夹具所用夹紧动力源，可将夹具分为手动夹紧夹具、气动夹紧夹具、液压夹紧夹具、气液联动夹紧夹具、电磁夹具、真空夹具等，或者其它能够拾取物品的仿生器械。用于采集图像的装置，用于生产线的硬件及生产线PLC等控制装置，用于执行任务的机器人部件，以及用于对这些装置进行控制的操作系统或软件之间可基于TCP协议、HTTP协议、GRPC协议(Google Remote Procedure Call Protocol，谷歌远程过程调用协议)进行通信，以传递各种控制指令或命令。操作系统或软件可以设置于任意的电子设备中，典型的此类电子设备包括工业计算机，个人计算机，笔记本电脑，平板电脑，手机等，电子设备可以通过有线或无线的方式与其它设备或系统进行通信。此外，本发明中出现的抓取指的是广义的能够控制住物品以改变物品的位置的任意的抓取动作，而并非局限于狭义的以“抓”的方式抓取物品，换句话说，诸如吸取，抬起，套紧等方式对物品的抓取，也属于本发明抓取的范围。本发明中待抓取物品可以是纸箱、纸盒、塑料软包(包括但不限于零食包装、牛奶利乐枕包装、牛奶塑料包装等等)、药妆瓶、药妆品、和/或不规则的玩具等物品等等，这些待抓取物品可以放置在地面、托盘、传送带和/或物料筐内。
发明人发现在大量物品密集，散乱堆放的场景中，例如将多个待抓取物品堆置于物料框中，现有的方案之所以效果变差，是因为每个物品都具有独特的朝向，如图1所示，假设需要从深料框中抓取多个物品，这些物品中的部分物品的可抓取区域正对着料框口，部分物品的可抓取区域朝向料框壁，显然其中正对着料框口的物品会比较好抓，特别是当物品位于料框边缘附近且可抓取区域朝向其旁边的料框壁时，夹具甚至可能无法抓取到该物品。而现有的方案在确定抓取顺序时，由于仅考虑了高度，压叠，吸盘大小对抓取难易程度的影响，没有考虑物品位姿，或者更具体地，物品朝向对抓取难易程度的影响，因而在密集物品，散乱堆放的抓取场景中的抓取效果不佳，因为这样的场景中，朝向对物品的抓取影响很大。因此，发明人发现解决该技术问题的方法是至少应当依据物品的朝向特征对抓取进行控制。
图2示出了根据本发明一个实施例的基于待抓取物品的位姿朝向对物品的抓取进行控制的方法的流程示意图。如图2所示，该方法包括：
步骤S100，获取包括至少一个待抓取物品的图像数据；
步骤S110，对所述图像数据进行处理，以获取待抓取物品的与朝向有关的朝向特征；
步骤S120，至少基于所述待抓取物品的朝向特征控制夹具以执行对至少一个待抓取物品的抓取。
对于步骤S100，本实施例中不限定图像数据的类型以及获取方式。作为一个示例，获取的图像数据可以包括点云或者RGB彩色图，可以通过3D工业相机获取点云信息，3D工业相机一般装配有两个镜头，分别从不同的角度捕捉待抓取物品组，经过处理后能够实现物体的三维图像的展示。将待抓取物品组置于视觉传感器的下方，两个镜头同时拍摄，根据所得到的两个图像的相对姿态参数，使用通用的双目立体视觉算法计算出待涂胶玻璃的各点的X、Y、Z坐标值及各点的坐标朝向，进而转变为待抓取物品组的点云数据。具体实施时，也可以使用激光探测器、LED等可见光探测器、红外探测器以及雷达探测器等元件生成点云，本发明对具体实现方式不作限定。
通过以上方式获取的点云数据是三维的数据，为了滤除对抓取影响较小的维度对应的数据，减小数据处理量进而加速数据处理速度，提高效率，可将获取的三维的待抓取物品组点云数据正投影映射到二维平面上。
作为一个示例，也可以生成该正投影对应的深度图。可以沿垂直于物品的深度方向获取与三维物品区域相对应的二维彩色图以及对应于二维彩色图的深度图。其中，二维彩色图对应于与预设深度方向垂直的平面区域的图像；对应于二维彩色图的深度图中的各个像素点与二维彩色图中的各个像素点一一对应，且各个像素点的取值为该像素点的深度值。
待抓取物品通常会堆在箱子中搬运至现场，这种堆积物品的箱子通常称之为料框，在执行抓取时，机械臂或者夹具在运动过程中可能碰到料框，因此料框以及料框中的物品的摆放位置对抓取有重要的影响。作为一个较佳的实施例，可以获取料框的各项参数。如图3所示，可以对料框数据进行处理，提取或生成对抓取有影响的辅助参数，这样的参数包括：料框的高度，料框的宽度，料框的长度，以及对料框的宽度和长度进行分割后获得的网格。应当理解，高度，宽度和长度都是确定的数值，而网格的分割方式及数量则是本领域技术人员根据所使用的夹具，抓取方式以及待抓取物品的特征等实际情况自行分割的，使用网格能够方便地对待抓取物品的位置进行标定。料框数据可以是预设的，或者通过相机采集的。
应当理解，由于在实际抓取时，夹具需要在物品的可抓取区域内执行抓取，非可抓取区域对抓取没有实质性的作用，因此本发明中的物品也可以是物品可抓取区域。物品的可抓取区域是指物品表面上能够被夹具抓取的部位，在工业场景中，待抓取物品可能以整齐，有序的方式放置，此时，每个物品的可抓取区域基本相同，确定可抓取区域的方式也较为简单；也可能以混乱和无序的方式堆在一起，此时每个物品的可抓取区域都是随机的，需要以复杂的方式确定可抓取区域。本实施例不限定具体的使用场景以及确定可抓取区域的具体方法，只要能够获取可抓取区域即可。
一种可行的确定可抓取区域并生成掩膜的实施方式可以是，首先，在获取了包括一个或多个待抓取物品的图像数据后，对该图像数据进行处理，以识别出图像中的每一个像素点，例如对于一个256*256的图像来说，应当识别出256*256＝65536个像素点；之后基于这些像素点中的每一个像素点的特征对整个图像中所包括的全部像素点进行分类，其中，像素点的特征主要是指像素点的RGB值，在实际的应用场景中，为了方便为特征分类，也可以将RGB彩色图处理为灰度图，利用灰度值进行分类。对于像素点的分类，可以预先确定需要将像素点分成哪几类，例如，拍摄获得的RGB图像中包括一大堆饮料罐，食品盒以及料框，因此如果目的是生成其中饮料罐，食品盒以及料框的掩膜，则预先确定的分类可以是饮料罐，食品盒和料框。我们可以为这三种不同的分类设置一个标识，标识可以是数字，例如饮料罐为1，食品盒为2，料框为3，也可以是颜色，例如饮料罐为红色，食品盒为蓝色，料框为绿色，以此分类并进行处理后，最终获得的图像中会以1或者红色标识饮料罐，2或者蓝色标识食品盒，3或者绿色标识料框。本实施例中要生成的是物品的可抓取区域的掩膜，因此仅为可抓取区域分类，例如蓝色，以此方式处理后的图像中的蓝色区域即为待抓取物品的可抓取区域的掩膜；接下来为每个分类创建图像输出的通道，该通道的作用是将输入图像中的所有与分类有关的特征提取出来作为输出。例如，我们为可抓取区域这个类创建图像输出的通道后，将采集到的RGB彩色图像输入该通道，则可以从该通道的输出中获取提取了可抓取区域的特征的图像。最后，我们将处理获得的可抓取区域的特征图像与原始RGB图像进行组合，即可生成标识有可抓取区域掩膜的合成图像数据。
以此方式生成的掩膜有时是不合适的，例如，有些掩膜的大小和形状不方便进行后续的处理；再如，有些区域虽然生成了掩膜，然而夹具在掩膜的位置并不能执行抓取。不合适的掩膜会对后续的处理过程带来很大的影响，因此需要对生成的掩膜进行预处理后再供其它步骤使用。如图4所示，对掩膜的预处理可以包括：1、对掩膜进行膨胀处理，以填补掩膜图像的缺失、不规则等缺陷。例如，对于掩膜上的每一个像素点，可以把该点周围一定数量的点，例如8-25个点，设为与该点颜色相同。该步骤相当于把每个像素点的周围都进行填充，因此假如物品掩膜存在缺失，该操作会将缺失部分全部填充，如此处理之后，物品掩膜就会变得完整，不存在缺失，同时掩膜整体上也会因为膨胀而略为变“胖”，适当的膨胀有助于后续进一步的图像处理操作；2、判断掩码的面积是否满足预定的条件，如果不满足，则剔除该掩膜。首先较小的掩膜区域很可能是错误的，因为图像数据的连续性，一个可抓取区域通常会包括众多数量的具有类似特征的像素点，离散的小像素点形成的掩膜区域可能并非真正的可抓取区域；其次，机器人末端执行机构，即夹具，在执行抓取任务时，其落脚位置需要有一定的面积，如果可抓取区域的面积过小，夹具根本无法在该区域落脚，也就无法抓取物品，因此过于小的掩膜是没有意义的。前述预定的条件，可以根据夹具的大小以及噪点的大小等条件自行设定，其值可以为一个确定的大小，或包含的像素点的数量，或者一比例，例如，可以将预定的条件设为0.1％，即掩膜面积与整体图像面积的比例小于0.1％时，即认为该掩膜不可用，进而将其从图像中剔除；3、判断掩码中的点云个数是否少于预设的最少点云个数。点云个数反映了相机采集质量的好坏，如果某个可抓取区域中点云个数过少，说明对于该区域的拍摄是不够准确的。点云可以用于控制夹具执行抓取，数量过少可能对夹具的控制过程产生影响。因此，可以设置某个掩膜区域中最少应当包括的点云的个数，例如：10个，当某个可抓取区域中覆盖的点云个数少于10个时，则将掩膜从图像数据中剔除或者为可抓取区域随机添加点云，直到达到10个为止。
本发明的物品的图像、位姿、旋转矩阵、朝向、位置等均可以是物品的可抓取区域的图像、位姿、旋转矩阵、朝向、位置等。接下来的方案中不会特别地基于“物品的可抓取区域”进行描述，本领域技术人员能够理解本发明实施例中出现的哪些“物品”可以替换为“物品的可抓取区域”。
对于步骤S110，如图1所示，当物品朝向正上方时，对于夹具来说是最方便抓取的，朝向越偏向XY平面，则越难抓取。物品的朝向特征就是用来反映物品的朝向偏向XY平面的程度。反映物品的方向或旋转的特征都可以用作朝向特征，例如角度，或者特定的投影值等，本实施例中不作限定。作为一种优选的实施方式，可以基于物体的旋转矩阵获得物体的朝向特征。当一个具有特定朝向的物品进行一定的旋转后，将变换为另一个特定朝向，旋转矩阵即用来表达该物品进行了怎样的旋转。从本质上来讲，旋转矩阵反映了一个坐标系中的坐标在另一个坐标系中表示的转换关系。
在一种实施方式中，假设作为基准的物品位姿具有正面朝上的朝向，即使得物品的可抓取区域与Z轴垂直的朝向，而待抓取物品的位姿则是由基准位姿旋转之后得到的。假设从基准位姿旋转到物品当前位姿的旋转矩阵为
Figure BDA0003378971610000081
则待抓取物品的朝向特征可以根据R获得。在一种实施方式中，物体的朝向特征可以为(Xvector，Yvector，Zvector)，其中Xvector，Yvector，Zvector分别为旋转矩阵第三行第一，二，三列的值，即，Xvector＝x3，Yvector＝y3，Zvector＝z3。
现有技术中存在多种形式的旋转矩阵，本发明对此不做限定。可选的，本发明的旋转矩阵可以是基于欧拉角获得的旋转矩阵。任何一个旋转可以表示为依次绕着三个旋转轴旋三个角度的组合，这三个角度为称为欧拉角。如图5所示，一个物品的旋转由3个旋转分量描述，可以理解为笛卡尔坐标系中的X轴，Y轴，Z轴，其中X轴为俯仰轴，沿X轴顺时钟旋转的角度为俯仰角，记为α；Y轴为偏航轴，沿Y轴顺时钟旋转的角度为偏航角，记为β；Z轴为滚转轴，沿Z轴顺时钟旋转的角度为滚转角，记为γ。任何一种旋转都可以视为三种旋转方式的组合，例如如果某个物品是以XYZ方式旋转的，则表示该物品先沿X轴顺时针旋转α，再沿Y轴顺时针旋转β，最后沿Z轴旋转γ。不同的旋转方式，其旋转矩阵是不同的，总计有12中旋转方式。优选地，可以令物品从基准方向以ZYX方式旋转到当前状态，相应地，待抓取物品的旋转矩阵可以为
Figure BDA0003378971610000091
对于步骤S120，在一个实施方式中，可以基于物品的朝向特征以及所使用的夹具，计算夹具执行抓取时的位姿，包括夹具的旋转角度，夹具的姿势等，以控制夹具以某个角度或姿势在物品的可抓取区域执行物品的抓取。在另外的实施方式中，至少一个待抓取物品的朝向特征计算朝向特征值也可以用来对多个待抓取物品进行抓取难易程度的排序，即，基于所获得朝向特征值对全部待抓取物品进行排序，并按照排序的顺序控制夹具进行抓取。优选地，当某个物体具有朝向特征(Xvector，Yvector，Zvector)时，该物体的朝向特征值可以为Max{Xvector，Yvector，Zvector}。
上述实施例公开的方案可以用于抓取以任意方式摆放的物品，然而在如图1所示的工业场景中，待抓取物品放置在一个较深的物料框中。一般的散乱在待抓取物品周围的其它物品，对抓取造成的障碍较小，因为夹具在抓取的过程中可以将这些物品推开或者令这些物品轻微形变后再抓取待抓取物品，并不会对抓取过程有显著的影响。而类似于深物料框这样的容易或者其它较为坚固的障碍物则不同，由于其框壁较高，且很难移动或形变，因而会对夹具的移动以及抓取造成障碍，甚至导致抓取失败。如图1所示，假如待抓取物品位于物料框的框壁附近，而其可抓取区域又朝向框壁，则夹具在抓取时，很可能会撞上框壁，导致抓取失败；然而，如果待抓取物品位于物料框的中心区域，则无论朝向哪个方向，抓取难度都是一致的。因此，在类似的场景下，抓取时仅考虑物品的朝向特征是不够的。为了解决这个问题，发明人经过研究，提出了一种基于物品的综合位姿，即物品的位置与物品的朝向，对抓取进行控制的方法，这也是本发明的重点之一。
图6示出了根据本发明一个实施例的基于待抓取物品的位置和朝向对物品的抓取进行控制的方法的流程示意图。如图6所示，该方法至少包括以下步骤：
步骤S200，获取待抓取物品的位置特征以及朝向特征；
步骤S210，基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系；
步骤S220，基于所述待抓取物品的位置与所述兴趣区域的关系，以及所述待抓取物品的朝向特征，确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取。
对于步骤S200，物品的朝向特征可以采用与步骤S110类似的方式获取，此处不再赘述。物品的位置特征可以是物体在参考坐标系下的坐标。参考坐标系可以是世界坐标系，即以真实世界中的某个点作为原点建立的坐标系；可以是相机坐标系，即以相机的光心为原点建立的坐标系，该坐标系的z轴指向相机的正前方；也可以是图像坐标系，该坐标系是以相机光心在成像平面的投影作为原点建立的坐标系。本发明优选使用以相机为原点的相机坐标系作为参考坐标系。如图7所示，本发明中相机在深框中间的正上方进行拍照，参考坐标系的原点为相机，即坐标为(0，0，0)的点在相机内，在该种参考坐标系下，位于相机左边的点，其X轴的坐标值为负，位于相机的后面的点，其Y轴的坐标值为负，位于相机下方的点，其Z轴的坐标值为负。假设某个物品当前的位置的坐标为(Xpose,Ypose,Zpose)，则该物品的位置特征可以是(Xpose,Ypose,Zpose)。
对于步骤S210，虽然本发明中均以料框为例进行说明，然而在实际的工业场景中，物品可能会放置在其它容器中，例如，桶。兴趣区域(Area of Interest)在本实施例中是指这样的一种区域，在该区域中，容易使用夹具抓取，不太会产生抓取失败的问题，例如图10中的料框的内圈区域。兴趣区域通常是参考区域的中心区域，然而如果使用了不同的容器，或者料框也被物理分隔成多个格子，兴趣区域也可能是中心区域以外的区域。参考区域是与兴趣区域相关联的区域，参考区域可以是整个容器的区域，或者容器的部分区域。具体的参考区域和兴趣区域可以根据实际情况的需要而确定，本实施的重点在于判断物品是否位于兴趣区域内，并根据判断结果控制抓取，不对确定兴趣区域的方法进行限定，可以通过任意的方式确定兴趣区域，例如，以中心点为圆心，固定长度为半径作圆，圆内区域即为兴趣区域。无论物品的朝向如何，兴趣区域本身就已经区分了抓取物品的难易程度，如前所述，物品位于兴趣区域内还是位于兴趣区域外，其抓取难度完全不同。如图1所示，当待抓取物品位于料框内圈时，物品的朝向对抓取的影响在各个方向上都是对称的，例如，内圈物品朝向料框右侧45度角或者朝向料框左侧45度角，抓取难度上几乎没有差别。而在内圈之外的物品，其朝向框壁45度角时，与朝向框中心45度角时，抓取难度大为不同。因此需要先确定物品是否位于兴趣区域内，现有的方法确定某个物品是否位于某个区域时，通常采用图像数据分析的方式，例如可以获取包括待抓取物品以及区域的图像，识别待抓取物品与所在区域的位置关系，并确定待抓取物品是否位于兴趣区域内，然而由于这种方式引入了对图像数据进行分析的处理，运算速度较慢。发明人经过研究发明了一种基于数值的方式计算待抓取物品是否位于兴趣区域内的方法，该方法虽然泛用性不佳，但是运算速度快，且准确率高，是本发明的重点之一。
图8示出了根据本发明一个实施例的确定待抓取物品是否位于兴趣区域内的方法的流程示意图。如图8所示，该方法至少包括以下步骤：
步骤S300，基于参考区域的特征计算物品的位置抑制值，所述位置抑制值的大小与所述参考区域的兴趣区域的大小相关；
步骤S310，获取多个物品中的每一个物品的位置特征值；
步骤S320，对于多个物品中的每一个物品，基于该物品的位置特征值，所述位置抑制值以及参考区域的尺寸，确定该物品是否位于所述参考区域的兴趣区域内；其中，所述物品的位置特征值包括物品在参考坐标系下的X轴的坐标值以及Y轴的坐标值。
对于步骤S300，位置抑制相当于基于参考区域的尺寸特征，例如长，宽，高，而对参考区域进行的抑制，以划定与参考区域相关的兴趣区域的数值范围。如果物品的位置位于抑制后的数值范围内，则认为物品在兴趣区域内。位置抑制值则是用于进行位置抑制的数值。在一种实施方式中，假设多个待抓取物品放置在如图1所示的物料框中，且该物料框的长度为L，宽度为W，兴趣区域为物料框的中心区域。则可以利用下面的公式计算物体的位置抑制值：
Figure BDA0003378971610000111
Figure BDA0003378971610000112
其中，Xinhibit_ratio为X轴的位置抑制值，Yinhibit_ratio为Y轴的位置抑制值，AX为X轴的位置抑制参数，AY为Y轴的位置抑制参数，在本实施例中，AX和AY取值越大则表示被认为是中心区域的范围越小。根据实际抓取场景的需要，AX和AY可以任意取值。发明人在图1所示的场景下就AX和AY的取值进行了多次试验，其中效果最好的取值是AX和AY的值均为0.1。
对于步骤S310，可以采用与步骤S200类似的方式获取物品的位置特征，此处不再赘述。具体采用哪些位置特征值进行计算，则需要根据具体的计算方法来确定。如果某个物品的位置特征为(Xpose,Ypose,Zpose),并且使用以公式(1)和(2)计算获得的位置抑制值来确定物品是否位于兴趣区域内时，则需要使用Xpose和Ypose这两个位置特征值进行后续的处理。
对于步骤S320，对于每个待抓取物品，可以通过判断该物品的位置特征值是否满足抑制条件，来确定物品是否位于参考区域的兴趣区域内，而抑制条件与位置抑制值是相关联的。具体地，如果以公式(1)和(2)计算获得的位置抑制值来确定物品是否位于兴趣区域内，则，对于某个待抓取物品，其是否位于兴趣区域内可以采用以下公式进行计算：
Figure BDA0003378971610000121
Figure BDA0003378971610000122
Binner_N＝Xcondition_N&Ycondition_N (5)
其中，Xcondition_N为第N个物体的X坐标值是否满足抑制条件的判断结果，其值为1代表该物品的X坐标值满足抑制条件，反之，则代表不满足；Ycondition_N为第N个物体的Y坐标值是否满足抑制条件的判断结果，与Xcondition_N类似，其值为1则代表该物品的Y坐标值满足抑制条件，反之，则代表不满足；Xpose_N为第N个物体的X坐标值，Ypose_N为第N个物体的Y坐标值。Binner_N为第N个物体是否位于兴趣区域内的判断结果，其值为1则代表该物品位于兴趣区域内，反之，则代表该物品位于兴趣区域之外；N为输出的物体位姿的个数；&代表“与运算”，其运算规则为1&1＝1，1&0＝0，0&1＝0，0&0＝0。公式(5)的含义是，对于某个物品，只有该物品所在的位置的X坐标值以及Y坐标值都满足相对应的抑制条件时，才认为该物品位于兴趣区域内。
在一种实施方式中，可以将多个物品的X坐标值，Y坐标值否位于兴趣区域内的判断结果组成一个集合后再进行计算，即令Xcondition＝[Xcondition_1,Xcondition_2,…,Xcondition_N]，Ycondition＝[Ycondition_1,Ycondition_2,…,Ycondition_N]，再依据公式(5)计算Binner＝[Binner_1,Binner_2,…,Binner_N]。举个例子，假设在一次抓取任务中，有5个物品或者有5个位姿需要抓取，对于这5个物品构成的组合，这五个物品中，第二个物品和第五个物品所在位置的X轴坐标满足抑制条件，且第一个，第二个和第三个物品的Y轴坐标满足抑制条件，则有Xcondition＝[0,1,0,0,1]，Ycondition＝[1,1,1,0,0]，则根据公式(5)计算可得这个组合的Binner＝[0,1,0,0,0]，这表示，这5个物品中，只有第二个物品位于兴趣区域内。
对于步骤S220，如前所述，本实施例中位于兴趣区域内的物品与位于兴趣区域外的物品，其抓取难度完全不同，因而抓取特征值的计算方式也完全不同，抓取特征值的大小反映了抓取的难易程度，本发明中的抓取特征值越大表明抓取越容易。对于任意的待抓取物品来说，可以采用以下公式计算抓取特征值：
R(N)＝Rinner_N+Router_N (6)
其中，R(N)为第N个待抓取物品的抓取特征值，Rinner_N为该物品的兴趣区域内抓取特征值，Router_N为该物品的兴趣区域外抓取特征值。对于R(N)的两个分量，其中Rinner_N按照以下公式进行计算：
Rinner_N＝Binner_N*Zvector_N (7)
公式(7)中，Binner_N为第N个待抓取物体是否位于兴趣区域内的判断结果，其计算方式见公式(5)；Zvector_N为第N个待抓取物品的Z轴的朝向特征值，相当于物品的朝向在Z轴上的投影。在一种实施方式中，假设该待抓取物品的旋转矩阵为
Figure BDA0003378971610000131
则Zvector_N可以为该旋转矩阵第3行第三列的分量，即为z3_N。
对于R(N)的另一个分量Router_N。应当理解，物体在料框旁边，本质上相当于物体在某个对抓取构成障碍的障碍物旁边，发明人发现现有技术中未曾有人讨论过在执行多物体抓取的任务时，对于多个位于障碍旁边的物品，如何根据物品的位置和朝向来判断物品的抓取难易程度，并确定抓取顺序的方案。为了解决这个问题，发明人开发了一套抓取控制方案，该方案能够依据物品的位置和朝向量化物品的抓取难易程度，专用于抓取能够影响抓取的障碍物旁边的多个待抓取物品，这是本发明的重点之一。
图9示出了根据本发明一个实施例的确定障碍物旁边的待抓取物品的抓取难易程度的方法的流程示意图。如图9所示，该方法至少包括以下步骤：
步骤S400，获取待抓取物品的位置特征以及朝向特征；
步骤S410，基于所述位置特征以及朝向特征，计算待抓取物品的朝向抑制值；其中，所述朝向抑制值使得物品的朝向背离障碍物时的抓取特征值大于物品的朝向指向障碍物时的抓取特征值；
步骤S420，基于所述待抓取物品的所述位置特征，所述朝向特征以及所述朝向抑制值，计算所述待抓取物品的抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取。
对于步骤S400，可以采用与步骤S200类似的方式获取待抓取物品的位置特征以及朝向特征，此处不再赘述；
对于步骤S410，朝向抑制是指对物品朝向特定方向时所获得的朝向特征值进行抑制，朝向抑制可以是，减小该特定方向获得的方向特征值，或者也可以是增大与特定方向不同的其它方向的方向特征值。用于进行朝向抑制的数值称为朝向抑制值。在如图1所示的场景中，朝向抑制值可以采用以下公式进行计算：
Xinhibit_N＝Max(sign[Xpose_N*Xvector_N],0)*BX+CX (8)
Yinhibit_N＝Max(sign[Ypose_N*Yvector_N],0)*BY+CY (9)
其中，Xinhibit_N为第N个物品的X轴的朝向抑制值；Yinhibit_N为第N个物品的Y轴的朝向抑制值；Max()为最大值函数，Max(a,b)的取值规则为取a和b中最大的那个值；sign[]为符号函数，仅与“[]”中数值的符号有关，而与取值无关，具体地，当“[]”中的值为负时，其值为-1，当“[]”中的值为正时，其值为1；BX，BY，CX和CY均为抑制幅度调整参数；Xvector_N为第N个待抓取物品的X轴的朝向特征值，相当于物品的朝向在X轴上的投影；Yvector_N为第N个待抓取物品的Y轴的朝向特征值，相当于物品的朝向在Y轴上的投影。对于第N个待抓取物品，设其旋转矩阵为
Figure BDA0003378971610000141
则Xvector_N可以为该旋转矩阵第3行第1列的分量，即为X3_N，而Yvector_N可以为该旋转矩阵第3行第2列的分量，即为Y3_N。关于抑制幅度调整参数BX，BY，CX和CY的取值，设置这几个参数的目的主要是为了调整朝向的抑制幅度，避免朝向抑制值过大或者过小，使得计算得到的抓取特征值过小或者过大，其取值可以根据具体的场景试验得到，例如1，2或3。在如图1所示的场景中，发明人就这4个参数的取值进行了多次试验，得出效果最好的取值为BX＝BY＝2，CX＝CY＝1。
对于步骤S420，在获得X轴和Y轴的朝向抑制值后，可以利用朝向抑制值分别计算X轴和Y轴的抓取特征值。抓取特征值综合考虑了位置特征，朝向特征以及参考区域的特征，并结合朝向抑制值进行计算，在抓取排序中，分值越高则抓取优先级越高，因此抓取特征值的计算方式在综合考虑以上参数的基础上，应当使得朝向越好的物品获得越高的抓取特征值。在一种实施方式中，可以采用如下公式分别计算X轴和Y轴的抓取特征值：
Figure BDA0003378971610000142
Figure BDA0003378971610000143
其中，X(N)为第N个待抓取物品的X轴的抓取特征值；Y为第N个待抓取物品的Y轴的抓取特征值；DX和DY为抓取特征值调整参数，这两个参数是为了调整最终计算的抓取特征值的大小，使其处于一个容易理解，且方便处理的区间，类似于将抓取特征值进行归一化处理，例如，可以通过抓取特征值调整参数将抓取特征值控制在[0,2]的区间内。在如图1所示的场景中，发明人就这2个参数的取值进行了多次试验，得出效果最好的取值为DX＝DY＝-1。在图1所示的场景中，料框壁存在于X轴指向的方向以及Y轴指向的方向，而夹具可以选择这两个方向中任意一个好抓的方向进行抓取，因此物品的综合抓取特征值可以为Max{X(N),Y(N)}，即取X(N)和Y(N)中最大的一个值。应当理解，本实施例的方案专用于待抓取物品旁边有障碍物的场景，并不考虑一般的场景。
接下来回到步骤S230，如前所述，待抓取物品可能存在于参考区域的兴趣区域内，也可能存在与参考区域的兴趣区域外。对于某一个待抓取物品，可以基于公式(6)计算其特征值，即分别计算该物品的区域内特征值以及区域外特征值，并将两者相加获得抓取特征值，其中Rinner_N采用公式(7)计算，Router_N可以采用以下公式进行计算：
Router_N＝Bouter_N*Max{X(N),Y(N)} (12)
Bouter_N＝～Binner_N (13)
其中，“～”为取反运算，其运算规则是～0＝1,～1＝0，当Binner为集合时，Bouter也为集合。例如，假设在一次抓取任务中，有5个物品或者有5个位姿需要抓取，对于这5个物品构成的组合，其Binner＝[0,1,0,0,0]，则根据公式(13)可得Bouter＝[1,0,1,1,1]，这表示这五个物品中的第1,3,4,5个都在兴趣区域之外；X(N)为第N个待抓取物品的X轴的抓取特征值，Y(N)为第N个待抓取物品的Y轴的抓取特征值。如图1所示，某个待抓取物体要么位于内圈，要么位于外圈，不可能同时存在于内圈和外圈，体现公式中则是Bouter_N和Binner_N互相取反，因而在其中一个为0时，另一个必然为1，不可能同时为1。
在获得了抓取特征值后，即可依据每个物品的抓取特征值进行排序，并控制夹具按照顺序执行对物品的抓取。根据实际情况的需要，可以仅按照抓取特征值进行排序，也可以将基于朝向得到的特征值与其它特征值进行结合，并进行综合的排序。如果结合多个特征值进行排序，可以将多个特征值归一化，并为每个特征值设定权值，基于归一化特征值以及对应的权值进行排序，以控制夹具基于排序结果执行抓取。
另外，针对上述实施例中的任一个：
基于抓取特征值的顺序，控制夹具抓取多个待抓取物品时，可以按照顺序依次抓取其中的多个待抓取物品，例如，在一次抓取任务中获得了三个物品的抓取特征值，分别为第一个物品5，第二个物品10，第三个物品15，则可以控制夹具在第一次抓取时抓取第三个物品，在第二次抓取时抓取第二个物品，在第三次抓取时抓取第一个物品；也可以只抓取其中抓取特征值最高的物品，而在下次抓取时重新计算抓取特征值，例如，在一次抓取任务中获得了5个物品的抓取特征值，分别为第一个物品5，第二个物品10，第三个物品15，第四个物品11，第五个物品18，由于第五个物品的抓取特征值最高，则在第一次抓取时控制夹具抓取第五个物品；第二次抓取前，重新获取图像数据，并计算剩下的4个物品的抓取特征值，并抓取其中特征值最高的，依次类推，直至抓取完成。
另外，需要说明的是，虽然本发明的每个实施例都具有特定的特征组合，然而，这些特征在实施例之间的进一步组合和交叉组合也是可行的。
根据上述实施例，首先，本发明的抓取方案在控制夹具进行抓取时，考虑了待抓取物品的朝向特征，相对于现有的方案，能够更为准确地确定具有不同朝向的物品的抓取难易程度，减少了抓取失败的可能性，特别是在大量物品散乱堆放的工业场景中执行抓取时，现有的方案因为并不考虑物品的朝向特征对抓取的影响导致在这样的场景中使用机器人作业效果不佳，而本发明则能够大大提高这种场景下的机器人抓取效果；其次，本发明还提出了一种综合考虑物品的朝向特征以及物品的位置特征的抓取控制方案，在抓取时先判断物品是否在容易抓取的区域内，基于与物品是否在该区域内采取不同的抓取方案，使得在某些场景下，例如，大量物品散乱放置在容器内，或者大量物品所在区域有坚固的能够影响抓取的障碍物时，与仅考虑物品朝向特征的方案相比，抓取排序更为准确，进而提高了使用机器人的抓取效果；第三，本发明提出了一种基于数值确定待抓取物品是否位于特定区域的方案，由于预设了位置抑制值，仅需要基于待抓取物品的位置特征值及其与位置抑制值的关系，即可确定该待抓取物品是否位于特定区域内，与现有的基于图像数据分析的方案相比，虽然泛用性较差，但是运算速度大大提高，判断的准确性也较高，并且因为不依赖图像数据，对获取的图像数据的质量也没有要求；第四，本发明还提出了一种专用于大量物品散乱放置在靠近影响抓取的障碍物附近的场景下，对夹具进行控制并执行抓取的方法，该方法通过数值方式，并基于朝向抑制值使得物品在背离障碍物时能够获得高于物品朝向障碍物时的抓取特征值，使得在这种场景下，能够让最容易抓取的物品最先被抓走，从而提高了抓取的效果。
图10示出了根据本发明又一个实施例的抓取控制装置，该装置包括：
图像数据获取模块500，用于获取包括至少一个待抓取物品的图像数据，即用于实现步骤S100；
朝向特征获取模块510，用于对所述图像数据进行处理，以获取待抓取物品的与朝向有关的朝向特征，即用于实现步骤S110；
抓取控制模块520，用于至少基于所述待抓取物品的朝向特征控制夹具以执行对至少一个待抓取物品的抓取，即用于实现步骤S120。
图11示出了根据本发明又一个实施例的抓取控制装置，该装置包括：
特征获取模块600，用于获取待抓取物品的位置特征以及朝向特征，即用于实现步骤S200；
位置关系确定模块610，用于基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系，即用于实现步骤S210；
抓取特征值确定模块620，用于基于所述待抓取物品的位置与所述兴趣区域的关系，以及所述待抓取物品的朝向特征，确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取，即用于实现步骤S220。
图12示出了根据本发明又一个实施例的物品位置确定装置，该装置包括：
位置抑制值确定模块700，用于基于参考区域的特征计算物品的位置抑制值，所述位置抑制值的大小与物品所在参考区域的兴趣区域的大小相关，即用于实现步骤S300；
位置特征值确定模块710，用于获取多个物品中的每一个物品的位置特征值，即用于实现步骤S310；
位置确定模块720，用于对于多个物品中的每一个物品，基于该物品的位置特征值，所述位置抑制值以及参考区域的尺寸，确定该物品是否位于所述参考区域的兴趣区域内；其中，所述物品的位置特征值包括物品在参考坐标系下的X轴的坐标值以及Y轴的坐标值，即用于实现步骤S320。
图13示出了根据本发明又一个实施例的抓取控制装置，该装置包括：
特征获取模块800，用于获取待抓取物品的位置特征以及朝向特征，即用于实现步骤S400；
朝向抑制值确定模块810，用于基于所述位置特征以及朝向特征，确定待抓取物品的朝向抑制值；其中，所述朝向抑制值使得在物品的朝向背离障碍物时的抓取特征值大于在物品的朝向指向障碍物时的抓取特征值，即用于实现步骤S410；
抓取特征值确定模块820，用于基于所述待抓取物品的所述位置特征，所述朝向特征以及所述朝向抑制值，确定所述待抓取物品的抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取，即用于实现步骤S420。
应当理解，在上述由图10-图13所示的装置实施例中，仅描述了模块的主要功能，各个模块的全部功能与方法实施例中相应步骤相对应，各个模块的工作原理同样可以参照方法实施例中相应步骤的描述。例如，上述实施例中抓取特征值确定模块820用于实现步骤S420的方法，表明说明书用于描述和解释步骤S420的那部分内容也是用于描述和解释抓取特征值确定模块820的功能的内容。另外，虽然上述实施例中限定了功能模块的功能与方法的对应关系，然而本领域技术人员能够理解，功能模块的功能并不局限于上述对应关系，即特定的功能模块还能够实现其他方法步骤或方法步骤的一部分。例如，上述实施例描述了抓取特征值确定模块820用于实现步骤S420的方法，然而根据实际情况的需要，抓取特征值确定模块820也可以用于实现步骤S400或S410的方法或方法的一部分。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施方式的方法。需要指出的是，本申请实施方式的计算机可读存储介质存储的计算机程序可以被电子设备的处理器执行，此外，计算机可读存储介质可以是内置在电子设备中的存储介质，也可以是能够插拔地插接在电子设备的存储介质，因此，本申请实施方式的计算机可读存储介质具有较高的灵活性和可靠性。
图14示出了根据本发明实施例的一种电子设备的结构示意图，电子设备可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等，本发明具体实施例并不对电子设备的具体实现做限定。
如图14所示，该电子设备可以包括：处理器(processor)1202、通信接口(Communications Interface)1204、存储器(memory)1206、以及通信总线1208。
其中：
处理器1202、通信接口1204、以及存储器1206通过通信总线1208完成相互间的通信。
通信接口1204，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器1202，用于执行程序1210，具体可以执行上述方法实施例中的相关步骤。
具体地，程序1210可以包括程序代码，该程序代码包括计算机操作指令。
处理器1202可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器1206，用于存放程序1210。存储器1206可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序1210可以通过通信接口1204从网络上被下载及安装，和/或从可拆卸介质被安装。在该程序被处理器1202执行时，可以使得处理器1202执行上述方法实施例中的各项操作。
概括地说，本发明的发明内容包括：
一种抓取控制方法，包括：
获取包括至少一个待抓取物品的图像数据；
对所述图像数据进行处理，以获取待抓取物品的与朝向有关的朝向特征；
至少基于所述待抓取物品的朝向特征控制夹具以执行对至少一个待抓取物品的抓取。
可选的，所述至少一个待抓取物品包括所述至少一个待抓取物品的可抓取区域。
可选的，所述控制夹具以执行对至少一个待抓取物品的抓取包括确定至少一个待抓取物品的抓取顺序，并控制夹具按照抓取顺序执行对至少一个待抓取物品的抓取。
可选的，对所述图像数据进行处理，以获取至少一个待抓取物品的与位置有关的位置特征，以及，至少基于所述待抓取物品的朝向特征以及位置特征控制夹具以执行对至少一个待抓取物品的抓取。
可选的，所述朝向特征基于待抓取物品的旋转矩阵获取。
可选的，所述旋转矩阵的基准朝向为所述待抓取物品的可抓取区域垂直于Z轴时的朝向。
可选的，所述旋转矩阵为基于欧拉角的旋转矩阵。
一种抓取控制装置，包括：
图像数据获取模块，用于获取包括至少一个待抓取物品的图像数据；
朝向特征获取模块，用于对所述图像数据进行处理，以获取待抓取物品的与朝向有关的朝向特征；
抓取控制模块，用于至少基于所述待抓取物品的朝向特征控制夹具以执行对至少一个待抓取物品的抓取。
可选的，所述至少一个待抓取物品包括所述至少一个待抓取物品的可抓取区域。
可选的，所述抓取控制模块具体用于确定至少一个待抓取物品的抓取顺序，并控制夹具按照抓取顺序执行对至少一个待抓取物品的抓取。
可选的，还包括：位置特征获取模块，用于对所述图像数据进行处理，以获取至少一个待抓取物品的与位置有关的位置特征；所述抓取控制模块用于至少基于所述待抓取物品的朝向特征以及位置特征控制夹具以执行对至少一个待抓取物品的抓取。
可选的，所述朝向特征基于待抓取物品的旋转矩阵获取。
可选的，所述旋转矩阵的基准朝向为所述待抓取物品的可抓取区域垂直于Z轴时的朝向。
可选的，所述旋转矩阵为基于欧拉角的旋转矩阵。
一种抓取控制方法，包括：
获取待抓取物品的位置特征以及朝向特征；
基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系；
基于所述待抓取物品的位置与所述兴趣区域的关系，以及所述待抓取物品的朝向特征，确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取。
可选的，所述位置特征包括待抓取物体在参考坐标系下的坐标。
可选的，所述参考坐标系包括相机坐标系。
可选的，所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取包括：将多个待抓取物品的抓取特征值排序，并按照排序结果控制夹具执行抓取。
可选的，位于所述兴趣区域内的待抓取物品的抓取特征值确定方法与位于所述兴趣区域外的待抓取物品的抓取特征值确定方法不同。
一种抓取控制装置，包括：
特征获取模块，用于获取待抓取物品的位置特征以及朝向特征；
位置关系确定模块，用于基于所述位置特征，确定待抓取物品的位置与待抓取物品所在参考区域的兴趣区域的关系；
抓取特征值确定模块，用于基于所述待抓取物品的位置与所述兴趣区域的关系，以及所述待抓取物品的朝向特征，确定抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取。
可选的，所述位置特征包括待抓取物体在参考坐标系下的坐标。
可选的，所述参考坐标系包括相机坐标系。
可选的，所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取包括：将多个待抓取物品的抓取特征值排序，并按照排序结果控制夹具执行抓取。
可选的，位于所述兴趣区域内的待抓取物品的抓取特征值确定方法与位于所述兴趣区域外的待抓取物品的抓取特征值确定方法不同。
一种物品位置确定方法，包括：
基于参考区域的特征计算物品的位置抑制值，所述位置抑制值的大小与物品所在参考区域的兴趣区域的大小相关；
获取多个物品中的每一个物品的位置特征值；
对于多个物品中的每一个物品，基于该物品的位置特征值，所述位置抑制值以及参考区域的尺寸，确定该物品是否位于所述参考区域的兴趣区域内；其中，所述物品的位置特征值包括物品在参考坐标系下的X轴的坐标值以及Y轴的坐标值。
可选的，所述兴趣区域的范围随着所述位置抑制值的增大而增大。
可选的，当待抓取物品X轴的坐标值以及Y轴的坐标值均满足抑制条件时，确定该待抓取物品位于兴趣区域内，其中，所述抑制条件与所述位置抑制值相关。
可选的，将多个待抓取物品的X轴的坐标值是否满足抑制条件的判断结果组成集合，以及将多个待抓取物品的Y轴的坐标值是否满足抑制条件的判断结果组成集合，并基于两个集合确定多个待抓取物品中的每一个是否位于兴趣区域内。
一种物品位置确定装置，包括：
位置抑制值确定模块，用于基于参考区域的特征计算物品的位置抑制值，所述位置抑制值的大小与物品所在参考区域的兴趣区域的大小相关；
位置特征值确定模块，用于获取多个物品中的每一个物品的位置特征值；
位置确定模块，用于对于多个物品中的每一个物品，基于该物品的位置特征值，所述位置抑制值以及参考区域的尺寸，确定该物品是否位于所述参考区域的兴趣区域内；其中，所述物品的位置特征值包括物品在参考坐标系下的X轴的坐标值以及Y轴的坐标值。
可选的，所述兴趣区域的范围随着所述位置抑制值的增大而增大。
可选的，当待抓取物品X轴的坐标值以及Y轴的坐标值均满足抑制条件时，确定该待抓取物品位于兴趣区域内，其中，所述抑制条件与所述位置抑制值相关。
可选的，将多个待抓取物品的X轴的坐标值是否满足抑制条件的判断结果组成集合，以及将多个待抓取物品的Y轴的坐标值是否满足抑制条件的判断结果组成集合，并基于两个集合确定多个待抓取物品中的每一个是否位于兴趣区域内。
一种抓取控制方法，包括：
获取待抓取物品的位置特征以及朝向特征；
基于所述位置特征以及朝向特征，确定待抓取物品的朝向抑制值；其中，所述朝向抑制值使得在物品的朝向背离障碍物时的抓取特征值大于在物品的朝向指向障碍物时的抓取特征值；
基于所述待抓取物品的所述位置特征，所述朝向特征以及所述朝向抑制值，确定所述待抓取物品的抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取。
可选的，在物品的朝向背离障碍物时的朝向抑制值大于在物品的朝向指向障碍物时的朝向抑制值。
可选的，所述确定所述待抓取物品的抓取特征值包括：分别计算待抓取物品的X轴的抓取特征值以及Y轴的抓取特征值，并将其中较大的一个作为物品的抓取特征值。
可选的，对所述朝向抑制值和/或抓取特征值进行缩放处理。
一种抓取控制装置，包括：
特征获取模块，用于获取待抓取物品的位置特征以及朝向特征；
朝向抑制值确定模块，用于基于所述位置特征以及朝向特征，确定待抓取物品的朝向抑制值；其中，所述朝向抑制值使得在物品的朝向背离障碍物时的抓取特征值大于在物品的朝向指向障碍物时的抓取特征值；
抓取特征值确定模块，用于基于所述待抓取物品的所述位置特征，所述朝向特征以及所述朝向抑制值，确定所述待抓取物品的抓取特征值；所述抓取特征值能够用于控制夹具执行对待抓取物品的抓取。
可选的，在物品的朝向背离障碍物时的朝向抑制值大于在物品的朝向指向障碍物时的朝向抑制值。
可选的，所述确定所述待抓取物品的抓取特征值包括：分别计算待抓取物品的X轴的抓取特征值以及Y轴的抓取特征值，并将其中较大的一个作为物品的抓取特征值。
可选的，对所述朝向抑制值和/或抓取特征值进行缩放处理。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
应当理解，本申请的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (16)

1.一种抓取控制方法，其特征在于，包括：
获取包括至少一个待抓取物品的图像数据；
对所述图像数据进行处理，以获取待抓取物品的与朝向有关的朝向特征；
至少基于所述待抓取物品的朝向特征控制夹具以执行对至少一个待抓取物品的抓取。
2.根据权利要求1所述的抓取控制方法，其特征在于，所述至少一个待抓取物品包括所述至少一个待抓取物品的可抓取区域。
3.根据权利要求1或2所述的抓取控制方法，其特征在于：
所述控制夹具以执行对至少一个待抓取物品的抓取包括确定至少一个待抓取物品的抓取顺序，并控制夹具按照抓取顺序执行对至少一个待抓取物品的抓取。
4.根据权利要求1或2所述的抓取控制方法，其特征在于，还包括：
对所述图像数据进行处理，以获取至少一个待抓取物品的与位置有关的位置特征，以及，至少基于所述待抓取物品的朝向特征以及位置特征控制夹具以执行对至少一个待抓取物品的抓取。
5.根据权利要求1或2所述的抓取控制方法，其特征在于：所述朝向特征基于待抓取物品的旋转矩阵获取。
6.根据权利要求5所述的抓取控制方法，其特征在于：所述旋转矩阵的基准朝向为所述待抓取物品的可抓取区域垂直于Z轴时的朝向。
7.根据权利要求5所述的抓取控制方法，其特征在于：所述旋转矩阵为基于欧拉角的旋转矩阵。
8.一种抓取控制装置，其特征在于，包括：
图像数据获取模块，用于获取包括至少一个待抓取物品的图像数据；
朝向特征获取模块，用于对所述图像数据进行处理，以获取待抓取物品的与朝向有关的朝向特征；
抓取控制模块，用于至少基于所述待抓取物品的朝向特征控制夹具以执行对至少一个待抓取物品的抓取。
9.根据权利要求8所述的抓取控制装置，其特征在于，所述至少一个待抓取物品包括所述至少一个待抓取物品的可抓取区域。
10.根据权利要求8或9所述的抓取控制装置，其特征在于：
所述抓取控制模块具体用于确定至少一个待抓取物品的抓取顺序，并控制夹具按照抓取顺序执行对至少一个待抓取物品的抓取。
11.根据权利要求8或9所述的抓取控制装置，其特征在于，还包括：
位置特征获取模块，用于对所述图像数据进行处理，以获取至少一个待抓取物品的与位置有关的位置特征；所述抓取控制模块用于至少基于所述待抓取物品的朝向特征以及位置特征控制夹具以执行对至少一个待抓取物品的抓取。
12.根据权利要求8或9所述的抓取控制装置，其特征在于：所述朝向特征基于待抓取物品的旋转矩阵获取。
13.根据权利要求12所述的抓取控制装置，其特征在于：所述旋转矩阵的基准朝向为所述待抓取物品的可抓取区域垂直于Z轴时的朝向。
14.根据权利要求12所述的抓取控制装置，其特征在于：所述旋转矩阵为基于欧拉角的旋转矩阵。
15.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的抓取控制方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的抓取控制方法。
CN202111426973.8A 2021-11-28 2021-11-28 抓取控制方法、装置、电子设备和存储介质 Pending CN116214494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111426973.8A CN116214494A (zh) 2021-11-28 2021-11-28 抓取控制方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111426973.8A CN116214494A (zh) 2021-11-28 2021-11-28 抓取控制方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116214494A true CN116214494A (zh) 2023-06-06

Family

ID=86568287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111426973.8A Pending CN116214494A (zh) 2021-11-28 2021-11-28 抓取控制方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116214494A (zh)

Similar Documents

Publication Publication Date Title
DE102019130048B4 (de) Ein Robotersystem mit Srückverlustverwaltungsmechanismus
US10124489B2 (en) Locating, separating, and picking boxes with a sensor-guided robot
JP6697204B1 (ja) ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置
JP2010247959A (ja) 箱状ワーク認識装置および方法
CN115330819A (zh) 一种软包分割定位方法、工控机和机器人抓取系统
CN116175542B (zh) 确定夹具抓取顺序的方法、装置、电子设备和存储介质
CN112802107A (zh) 基于机器人的夹具组的控制方法及装置
CN110533717B (zh) 一种基于双目视觉的目标抓取方法及装置
CN116175541B (zh) 抓取控制方法、装置、电子设备和存储介质
CN116197888B (zh) 物品位置确定方法、装置、电子设备和存储介质
CN116175540B (zh) 基于位置及朝向的抓取控制方法、装置、设备和介质
WO2023187006A1 (en) Controlling a robotic manipulator for packing an object
CN116214494A (zh) 抓取控制方法、装置、电子设备和存储介质
CN113800270B (zh) 一种用于物流拆垛的机器人控制方法及系统
CN116197887B (zh) 生成抓取辅助图像的图像数据处理方法、装置、电子设备和存储介质
CN116197885B (zh) 基于压叠检测的图像数据过滤方法、装置、设备和介质
CN116197886A (zh) 图像数据处理方法、装置、电子设备和存储介质
JP5332873B2 (ja) 袋状ワーク認識装置および方法
WO2023092519A1 (zh) 抓取控制方法、装置、电子设备和存储介质
CN116188559A (zh) 图像数据处理方法、装置、电子设备和存储介质
JP7398662B2 (ja) ロボット多面グリッパアセンブリ及びその操作方法
US20230071488A1 (en) Robotic system with overlap processing mechanism and methods for operating the same
CN116205837A (zh) 图像数据处理方法、装置、电子设备和存储介质
JP2024019690A (ja) 物体の取り扱いを伴うロボットシステムのためのシステム及び方法
CN115703238A (zh) 用于机器人物体放置的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination