CN112775959A - 机械手的抓取位姿确定方法及系统、存储介质 - Google Patents
机械手的抓取位姿确定方法及系统、存储介质 Download PDFInfo
- Publication number
- CN112775959A CN112775959A CN202010725634.9A CN202010725634A CN112775959A CN 112775959 A CN112775959 A CN 112775959A CN 202010725634 A CN202010725634 A CN 202010725634A CN 112775959 A CN112775959 A CN 112775959A
- Authority
- CN
- China
- Prior art keywords
- grabbed
- pose
- scanning
- preset database
- manipulator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000005484 gravity Effects 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012916 structural analysis Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
Abstract
一种机械手的抓取位姿确定方法及系统、存储介质，所述方法包括：采集待抓取物体所在空间的全局图像；基于预设数据库对全局图像进行图像识别，以识别所述待抓取物体是否存在于所述预设数据库，其中，所述预设数据库存储有至少一个物体的形状数据以及对应的最优抓取位姿；若识别结果表明所述待抓取物体不存在于所述预设数据库，则对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型；根据所述待抓取物体的3D模型计算最优抓取位姿。通过本发明方案能够有效确定任意物体尤其是未知物体的最佳抓取位姿，使得机械手对任意物体执行抓取任务时，始终能够以物体的重心对机械手的力矩尽可能小的状态完成抓取。
Description
技术领域
本发明涉及机械手控制技术领域，具体地涉及一种机械手的抓取位姿确定方法及系统、存储介质。
背景技术
在机械手抓取任务中，需要确定机械手抓取待抓取物体时的抓取位姿。如果抓取位姿确定不当，机械手按不当的抓取位姿抓取物体时，物体的重心偏离机械手会给机械手带来过大的力矩，严重降低机械手的抓取能力。或者，由于重心偏离，还极有可能存在机械手抓着物体移动期间物体自机械手滑落的风险。对于某些材料的待抓取物体，其外表可承受压强有限，当抓取位姿存在重心偏离时，机械臂需要加大其端部机械手的抓握力以抵消额外的力矩，使得待抓取物体存在损坏风险。
目前最常见的做法为判断物体位置后由机械臂固定抓取位姿抓取。具体而言，通过三维(three dimensions，简称3D)摄像机标定物体在世界参照系的位置后指导机械臂将其端部的机械手移动到该位置，通过驱动机械手的手指电机完成对物体的抓取。此种抓取法对于任何物体都是固定抓取位姿或仅有极微小的调整，对于物体形态差异较大的物体，此种固定抓取位姿的机械手抓取法显然并不适合。
现有技术也有采用示教法，该方法通过预先对机械臂进行示教，由人工告知机械手物体的最佳抓取位姿，此后机械手可以自己根据待抓取物体的坐标系做坐标系转换来完成对不同位姿的物体实施最佳抓取。但示教法的缺点是对于每一新物品均需要示教一次，人力成本高，无法适应工业化流水线的应用场景。
现有技术还有一种基于全局和局部视觉语义的机器人动态抓取方法。具体而言，采用机械手局部相机和全局相机相互协同的方法识别物体的类别和尺寸并确定夹手尺寸，通过调整夹手的尺寸和力度来完成对物体的抓取。但是，这种方式的实现前提是机器人能够有效识别待抓取物体，对于未在识别库内的物体则无法完成夹手的最优抓取确定。
综上，现有技术无法提供一种能够适用于任意物体的机械手抓取位姿确定方案，尤其是对未知的待抓取物体而言，现有技术无法在首次碰到未知的待抓取物体时即准确确定最佳抓取位姿。
发明内容
本发明解决的技术问题是如何确定任意物体尤其是未知物体的最佳抓取位姿。
为解决上述技术问题，本发明实施例提供一种机械手的抓取位姿确定方法，包括：采集待抓取物体所在空间的全局图像；基于预设数据库对所述全局图像进行图像识别，以识别所述待抓取物体是否存在于所述预设数据库，其中，所述预设数据库存储有至少一个物体的形状数据以及对应的最优抓取位姿；若识别结果表明所述待抓取物体不存在于所述预设数据库，则对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型；根据所述待抓取物体的3D模型计算最优抓取位姿。
可选的，所述全局图像包括深度信息；所述对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型包括：至少基于所述深度信息对所述全局图像进行语义分割，以自所述空间中区分出所述待抓取物体；根据语义分割结果规划3D扫描路径；沿着所述3D扫描路径扫描所述待抓取物体，以建立所述待抓取物体的3D模型。
可选的，所述语义分割结果包括所述待抓取物体的边界信息和在基准面上的投影中心信息；所述根据语义分割结果规划3D扫描路径包括：根据所述待抓取物体的边界信息和在基准面上的投影中心信息规划所述3D扫描路径，以使所述3D扫描路径沿着所述待抓取物体的边界的至少一部分延伸并经过所述待抓取物体在基准面上的投影中心。
可选的，所述3D扫描路径为连续的扫描路线，和/或，所述3D扫描路径包括多个相互间隔的扫描点。
可选的，所述根据所述待抓取物体的3D模型计算最优抓取位姿包括：对所述待抓取物体的3D模型进行结构分析，以计算得到所述待抓取物体的重心；根据所述待抓取物体的重心确定所述最优抓取位姿。
可选的，所述抓取位姿确定方法还包括：若识别结果表明所述待抓取物体存在于所述预设数据库，则根据所述预设数据库的存储信息确定所述待抓取物体的最优抓取位姿。
可选的，对所述待抓取物体的3D扫描是基于设置于所述机械手的3D扫描模块实现的。
本发明实施例还提供一种机械手的抓取位姿确定系统，包括：全局摄像设备，用于采集待抓取物体所在空间的全局图像；图像识别模块，与所述全局摄像设备耦接以接收所述全局图像，所述图像识别模块基于预设数据库对所述全局图像进行图像识别，以识别所述待抓取物体是否存在于所述预设数据库，其中，所述预设数据库存储有至少一个物体的形状数据以及对应的最优抓取位姿；控制模块，与所述图像识别模块耦接以接收识别结果；3D扫描模块，与所述控制模块耦接，若识别结果表明所述待抓取物体不存在于所述预设数据库，则响应于所述控制模块的控制指令，所述3D扫描模块对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型；处理模块，与所述3D扫描模块耦接，所述处理模块根据所述待抓取物体的3D模型计算最优抓取位姿。
可选的，所述控制模块还与所述处理模块耦接以接收所述最优抓取位姿，并控制所述机械手按所述最优抓取位姿抓取所述待抓取物体。
可选的，所述3D扫描模块设置于所述机械手并与所述机械手同步运动。
可选的，所述处理模块包括：结构分析单元，用于对所述待抓取物体的3D模型进行结构分析，以计算得到所述待抓取物体的重心，并根据所述待抓取物体的重心确定所述最优抓取位姿。
本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例提供一种机械手的抓取位姿确定方法，包括：采集待抓取物体所在空间的全局图像；基于预设数据库对所述全局图像进行图像识别，以识别所述待抓取物体是否存在于所述预设数据库，其中，所述预设数据库存储有至少一个物体的形状数据以及对应的最优抓取位姿；若识别结果表明所述待抓取物体不存在于所述预设数据库，则对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型；根据所述待抓取物体的3D模型计算最优抓取位姿。
采用本实施例方案，能够有效确定任意待抓取物体尤其是未知物体的最佳抓取位姿，使得机械手对任意物体执行抓取任务时，始终能够以待抓取物体的重心对机械手的力矩尽可能小的状态进行抓取。具体而言，基于包含深度信息的全局图像对待抓取物体进行图像识别，若无法识别则表明待抓取物体并不存在于预设数据库，可以确定待抓取物体是首次出现的未知物体。进一步，通过对未知的待抓取物体进行实时3D扫描并建模，使得不依赖数据库中的已有数据而是实时确定对未知物体的最优抓取位姿成为可能。由此，在抓取任务中，对于任意待抓取物体均可以确定对其的最佳抓取位姿，确保待抓取物体的重力对机械手的力矩尽可能小，使得机械手能够以最优的状态完成抓取。
进一步，本发明实施例还提供一种机械手的抓取位姿确定系统，包括：全局摄像设备，用于采集待抓取物体所在空间的全局图像；图像识别模块，与所述全局摄像设备耦接以接收所述全局图像，所述图像识别模块基于预设数据库对所述全局图像进行图像识别，以识别所述待抓取物体是否存在于所述预设数据库，其中，所述预设数据库存储有至少一个物体的形状数据以及对应的最优抓取位姿；控制模块，与所述图像识别模块耦接以接收识别结果；3D扫描模块，与所述控制模块耦接，若识别结果表明所述待抓取物体不存在于所述预设数据库，则响应于所述控制模块的控制指令，所述3D扫描模块对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型；处理模块，与所述3D扫描模块耦接，所述处理模块根据所述待抓取物体的3D模型计算最优抓取位姿。
采用本实施例方案，提供一种智能判定最佳抓取点的系统，能够有效解决工业场景中，机械手随机抓取时存在的由于抓取位置不佳而导致的物体脱落或夹手压力超过物体承受能力等问题。当首次碰到未知物体时，本实施例所述系统基于3D扫描模块获得未知物体的实时3D模型，进而基于处理模块合理确定未知物体的最佳抓取位姿。由此，即使是未存储于预设数据库的待抓取物体，采用本实施例方案仍能精准确定对这类未知物体的最优抓取位姿，使得采用本实施例方案的机械手能够适用于各种各样的工业应用场景。且无需前期投入大量的人力成本来示教、构建预设数据库，使得降低人力成本成为可能。
进一步，对于根据3D模型确定的最优抓取位姿，可以基于所述3D模型确定的待抓取物体的形状数据以及对应的最优抓取位姿存储至预设数据库，以在实际应用中实现对预设数据库的不断扩充。由此，下一次再出现所述待抓取物体时，基于全局图像既能有效识别该待抓取物体，并基于预设数据库直接确定对应的最优抓取位姿，无需再次调用3D扫描模块实时扫描建模。
附图说明
图1是本发明实施例一种机械手的抓取位姿确定方法的流程图；
图2是本发明实施例一种机械手的抓取位姿确定系统的原理示意图；
图3是本发明实施例一个典型应用场景的示意图。
具体实施方式
如背景技术所言，现有技术无法提供一种能够适用于任意物体的机械手抓取位姿确定方案，尤其是对未知的待抓取物体而言，现有技术无法在首次碰到未知的待抓取物体时即准确确定最佳抓取位姿。
为解决上述技术问题，本发明实施例提供一种机械手的抓取位姿确定方法，包括：采集待抓取物体所在空间的全局图像；基于预设数据库对所述全局图像进行图像识别，以识别所述待抓取物体是否存在于所述预设数据库，其中，所述预设数据库存储有至少一个物体的形状数据以及对应的最优抓取位姿；若识别结果表明所述待抓取物体不存在于所述预设数据库，则对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型；根据所述待抓取物体的3D模型计算最优抓取位姿。
采用本实施例方案，能够有效确定任意待抓取物体尤其是未知物体的最佳抓取位姿，使得机械手对任意物体执行抓取任务时，始终能够以待抓取物体的重心对机械手的力矩尽可能小的状态进行抓取。具体而言，基于包含深度信息的全局图像对待抓取物体进行图像识别，若无法识别则表明待抓取物体并不存在于预设数据库，可以确定待抓取物体是首次出现的未知物体。进一步，通过对未知的待抓取物体进行实时3D扫描并建模，使得不依赖数据库中的已有数据而是实时确定对未知物体的最优抓取位姿成为可能。由此，在抓取任务中，对于任意待抓取物体均可以确定对其的最佳抓取位姿，确保待抓取物体的重力对机械手的力矩尽可能小，使得机械手能够以最优的状态完成抓取。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种机械手的抓取位姿确定方法的流程图。
本实施例方案可以应用于工业场景，如流水线上机械手抓取产品的应用场景。
具体地，本实施例所述抓取位姿可以包括抓取位置和抓取姿态，其中，抓取位置可以指机械手的手指在待抓取物体上的具体着力位置，抓取姿态可以指机械手相对于待抓取物体的手指延伸方向、手指的弯曲弧度等。
进一步而言，采用本实施方案可以确定机械手抓取待抓取物体时的最优抓取位姿，所述最优抓取位姿至少使得抓取待抓取物体时对机械手手腕的力矩尽量小、力矩基本在机械手的弧度中心。在实际应用中，本领域技术人员可以根据需要调整对最优抓取位姿的具体定义，以使机械手的动作符合待抓取的产品的实际需求。例如，对于流水线上脆度较大的产品，对应的最优抓取位姿适于使得机械手与产品的重心基本重合，以使机械手的抓握力尽可能的减小。又例如，对于硬度较大、不易变形的产品，对应的最优抓取位姿与产品的重心之间的重合度可以不同那么严格，只要使得机械手的手腕负担不至于过大即可。
参考图1，本实施例所述机械手的抓取位姿确定方法可以包括如下步骤：
步骤S101，采集待抓取物体所在空间的全局图像；
步骤S102，基于预设数据库对所述全局图像进行图像识别，以识别所述待抓取物体是否存在于所述预设数据库，其中，所述预设数据库存储有至少一个物体的形状数据以及对应的最优抓取位姿；
步骤S103，若识别结果表明所述待抓取物体不存在于所述预设数据库，则对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型；
步骤S104，根据所述待抓取物体的3D模型计算最优抓取位姿。
在一个具体实施中，全局图像可以包括深度信息
具体地，全局图像可以基于颜色和深度(RGB and Depth Map，简称RGBD)全局相机实时采集得到。其中，深度图(Depth Map)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道，类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。也即，所述全局图像可以包括RGB图像和深度图，其中RGB图像包含待抓取物体所在空间的平面信息，深度图包含待抓取物体所在空间的深度信息。
进一步，所述深度信息可以用于指示待抓取物体在空间内的大概范围。基于所述深度信息，可以确定所述待抓取物体的三维信息。
在一个具体实施中，所述预设数据库可以存储有机械手历史上抓取过的物体的形状信息以及对应的最优抓取位姿。进一步，所述预设数据库还可以包括历史上执行所述步骤S103扫描得到的物体的3D模型，以及执行步骤S104确定的对应的最优抓取位姿。
其中，物体的形状信息可以包括物体的三维信息、轮廓数据等。
相应的，在所述步骤S102中，可以对所述步骤S101实施采集到的全局图像进行图像识别，以识别所述待抓取物体是否与所述预设数据库中已存的物体的形状相一致。若识别成功，则表明所述待抓取物体属于已知物体，可以采用根据所述预设数据库中存储的最优抓取位姿控制机械手进行抓取操作。若识别失败，则表明所述待抓取物体属于未知物体，预设数据库中存储的数据不具有指导性，则执行步骤S103和步骤S104，以基于3D建模实时确定最优抓取位姿。
进一步，可以至少根据深度信息对全局图像进行图像识别，以区分出全局图像中的背景和待抓取物体，并进一步识别待抓取物体是否已存于预设数据库。
在一个具体实施中，在所述步骤S102中，可以将全局图像中具有深度信息的物体确定为待抓取物体，并将所述待抓取物体与所述预设数据库中的物体逐一进行比对。
在一个具体实施中，若所述全局图像中同时识别对多个待抓取物体，则可以逐一对所述多个待抓取物体进行处理，如逐一与预设数据库中的物体进行比对，以确定各待抓取物体是已知物体还是未知物体。
在一个具体实施中，所述步骤S103可以包括步骤：至少基于深度信息对所述全局图像进行语义分割，以自所述空间中区分出所述待抓取物体；根据语义分割结果规划3D扫描路径；沿着所述3D扫描路径扫描所述待抓取物体，以建立所述待抓取物体的3D模型。
具体地，所述语义分割可以用于区分全局图像中的待抓取物体和背景。例如，将全局图像中的深度信息为零(即二维部分)的区域分割为背景，深度信息不为零的区域(即三维部分)分割为待抓取物体。
在一个具体实施中，所述语义分割结果可以包括所述待抓取物体的边界信息和在基准面上的投影中心信息。
具体地，所述边界信息可以指待抓取物体的轮廓信息。
更为具体地，所述基准面可以指放置所述待抓取物体的操作台。
相应的，所述根据语义分割结果规划3D扫描路径可以包括步骤：根据所述待抓取物体的边界信息和在基准面上的投影中心信息规划所述3D扫描路径，以使所述3D扫描路径沿着所述待抓取物体的边界的至少一部分延伸并经过所述待抓取物体在基准面上的投影中心。
例如，所述3D扫描路径可以规划为，使得机械手以距离所述待抓取物体在基准面上的投影中心一定距离的位置绕待抓取物体旋转180°，以使设置于机械手上的3D扫描模块对待抓取物体进行半圆周扫描，从而得到待抓取物体的3D模型。
又例如，在上述扫半周的基础上，所述3D扫描路径可以规划为控制机械手以距离所述待抓取物体在基准面上的投影中心一定距离的位置绕待抓取物体旋转180°扫描两次，每次扫待抓取物体的一半区域，以扫描到待抓取物体的所有部分。
在一个变化例中，可以先基于对全局图像的图像识别结果得到待抓取物体的一部分3D信息。对于全局图像中无法识别、全局图像未拍到的部分或者被其他物体遮挡住的部分规划对应的3D扫描路径，以通过3D扫描的方式获得这部分的结构信息，进而与基于图像识别得到的3D信息补全得到所述待抓取物体的3D模型。
在一个具体实施中，所述3D扫描路径可以为连续的扫描路线，如围绕待抓取物体转一圈。
当然，3D扫描路径也可以不局限于自左到右近180°匀速旋转，也可根据实际3D成像原理选择合适的3D扫描路径。
例如，所述3D扫描路径可以包括多个相互间隔的扫描点。如对于采用飞行时间(Time of Flight，简称TOF)技术3D扫描仪，规划的3D扫描路径可以仅选择待抓取物体的左上方45°、正上方90°以及右上方135°三点进行扫描。
在一个具体实施中，所述步骤S104可以包括步骤：对所述待抓取物体的3D模型进行结构分析，以计算得到所述待抓取物体的重心；根据所述待抓取物体的重心确定所述最优抓取位姿。
在一个具体实施中，在执行所述步骤S103以获取所述待抓取物体的3D模型后，执行步骤S104之前，可以基于所述3D模型判别是否存在多个物体堆叠在一起的情形。
例如，若多个待抓取物体较紧密的贴合在一起的情形，则对全局图像进行图像识别时可能无法成功分离识别出各待抓取物体。相应的，可以基于对所述多个待抓取物体整体的3D建模来进行甄别，进而针对每个待抓取物体分别确定重心以及对应的最优抓取位姿。
在一个具体实施中，对所述待抓取物体的3D扫描可以是基于所述机械手实现的。例如，3D扫描仪可以集成于或设置于机械手的最后一道关节上，并随着机械手同步运动。由此，无需额外设置3D扫描仪的移动控制结构即可实现对待抓取物体的全方位3D扫描。
由上，采用本实施例方案，能够有效确定任意待抓取物体尤其是未知物体的最佳抓取位姿，使得机械手对任意物体执行抓取任务时，始终能够以待抓取物体的重心对机械手的力矩尽可能小的状态进行抓取。
具体而言，基于包含深度信息的全局图像对待抓取物体进行图像识别，若无法识别则表明待抓取物体并不存在于预设数据库，可以确定待抓取物体是首次出现的未知物体。
进一步，通过对未知的待抓取物体进行实时3D扫描并建模，使得不依赖数据库中的已有数据而是实时确定对未知物体的最优抓取位姿成为可能。
由此，在抓取任务中，对于任意待抓取物体均可以确定对其的最佳抓取位姿，确保待抓取物体的重力对机械手的力矩尽可能小，使得机械手能够以最优的状态完成抓取。
例如，采用本实施例方案，首先基于人工智能对待抓取物体进行识别和分类；若分类失败，表明待抓取物体不在预设数据库中，则基于合理规划的3D扫描路径获取较精确的待抓取物体的3D模型。基于3D模型计算得到重心，根据估算的重心确定机械手抓取时力矩最小的施力点和姿势，最终确定最佳抓取位姿。
图2是本发明实施例一种机械手的抓取位姿确定系统的原理示意图；图3是本发明实施例一个典型应用场景的示意图。
具体而言，图2示出的机械手的抓取位姿确定系统2可以用于实施上述图1所示机械手的抓取位姿确定方法，以控制机械手22按最优抓取位姿抓取待抓取物体。
结合图2和图3，本实施例所述机械手的抓取位姿确定系统2可以包括全局摄像设备21，用于采集待抓取物体3所在空间的全局图像，其中，所述全局图像包括深度信息。
具体地，待抓取物体3所在空间可以包括机械手22的工作空间。例如，参考图3，待抓取物体3可以放置于操作台4上，机械手22的活动范围可以覆盖操作台4的大部分区域，以将放置于操作台4上的待抓取物体3抓取至指定位置。其中，所述指定位置可以为操作台4上的特定区域，也可以为操作台4以外的区域。
进一步，所述全局摄像设备21可以包括RGBD全局相机。例如，参考图3，在机械手22的工作空间内，RGBD全局相机可以安装在高处，其可视角覆盖机械手22的整个工作空间以对整个空间进行拍摄，并实时上传采集到的RGBD数据。其中，RGBD全局相机采集得到的RGBD数据即所述全局图像，所述全局图像可以包含机械手22的整个工作空间的深度信息。通过对RGBD数据进行处理可以完成对待抓取物体3的语义分割、识别、坐标确定等功能。
在一个具体实施中，RGBD全局相机可以为结构光相机、双目相机等。
继续参考图3，可以通过支架5将RGBD全局相机固定在机械手22的工作空间的上方，并保证其可视角覆盖机械手22的整个工作空间。例如，RGBD全局相机可以固定在机械手22的工作空间的正上方或斜上方，只要其可视角覆盖整个工作空间即可。
通过预先的系统标定做坐标转换可以得到机械手22的工作空间内任意物体的世界坐标。
在一个具体实施中，继续参考图2和图3，所述机械手的抓取位姿确定系统2可以包括图像识别模块23，与所述全局摄像设备21耦接以接收所述全局图像，所述图像识别模块23可以基于预设数据库对所述全局图像进行图像识别，以识别所述待抓取物体3是否存在于所述预设数据库，其中，所述预设数据库存储有至少一个物体的形状数据以及对应的最优抓取位姿。
具体地，图像识别模块23可以是运行在计算平台上的计算机程序。
进一步，图像识别模块23对全局图像的计算可以在本地的计算机上完成，也可以在云计算平台上完成。
进一步，图像识别模块23可以对RGBD全局相机采集到的RGBD数据的图像进行处理，如空间的语义分割、物体识别分类、确定物体的坐标系、深度解算等。其中，物体的坐标系可以用于描述待抓取物体3的朝向。通过对全局图像进行带深度信息的图像识别(即3D人工智能(Artificial Intelligence，简称AI)识别)，可以确定待抓取物体3的物体坐标系。
进一步，图像识别模块23可以由深度神经网络实现图像识别。例如，深度神经网络可以包括卷积神经网络(Convolutional Neural Networks，简称CNN)、域卷积神经网络(Region-CNN，简称R-CNN)等。
在一个具体实施中，继续参考图2和图3，所述机械手的抓取位姿确定系统2可以包括控制模块24，与所述图像识别模块23耦接以接收识别结果。
对于空间内的待抓取物体3，图像识别模块23可以根据RGBD数据对空间进行语义分割和识别。
如果待抓取物体3是已知的在库物体，则控制模块24可以根据相应模型计算出待抓取物体3的坐标系与全局(世界)坐标的转移矩阵。进而从预设数据库中调用预先设定的最优抓取位姿并根据算出的转移矩阵解算出机械手22抓取的位置和姿态数据，上传给机械臂控制器完成抓取。
在一个具体实施中，机械手系统可以包括机械臂控制器(可以集成于机械臂底座25)、机械臂26以及多指的机械手22。机械臂26可活动地安装在机械臂底座25上，机械臂26的可移动范围构成了机械手22的工作空间。
机械臂26根据实际场景有4自由度(degree of freedom，简称DOF)、5DOF、6DOF等不同自由度的情况。
机械臂26的末端耦接有执行实际抓取任务的机械手22。所述机械手22为多指机械手，如2指的简易夹手或多指抓手。多指抓手适于完成多物体的灵巧抓取，最少的多指为3指。
机械臂控制器用以将图像识别模块23提供的机械手的最优抓取位姿转换为机械臂26中电机的实际操作信号。
在一个具体实施中，对于不在预设数据库库中的物体，无法获得预设的最优抓取位姿。且全局摄像设备21受到视角的限制，可能只能获得待抓取物体3的部分3D信息，无法形成封闭的3D模型以计算重心。
因此，继续参考图2和图3，所述机械手的抓取位姿确定系统2可以包括3D扫描模块27，与所述控制模块24耦接，若图像识别模块23的识别结果表明所述待抓取物体3不存在于所述预设数据库，则响应于所述控制模块24的控制指令，所述3D扫描模块27可以对所述待抓取物体3进行3D扫描，以建立所述待抓取物体3的3D模型。
具体地，所述3D扫描模块27可以设置于所述机械手22并与所述机械手22同步运动。例如，3D扫描模块27可以固定在机械臂26最后一个关节处，其扫描坐标系与机械手22坐标系的转移关系固定。例如，参考图3，3D扫描模块27的数量可以为两个，并相对的设置于机械手22与机械臂26的连接处。
3D扫描模块27用以完成对未知的待抓取物体3的3D建模，以便将3D模型传递给处理模块28，使得处理模块28能够计算出待抓取物体3的重心，进一步确认最优抓取位姿。
3D扫描模块27可以是基于线激光扫描进行3D建模的，也可以用TOF方法或者结构光方法进行3D建模。本实施方案对此不作限制，只要能对物体进行一定精度上的3D建模即可。
在一个具体实施中，控制模块24可以对所述全局图像进行语义分割，以确定待抓取物体3的边界信息和在操作台4上的投影中心信息。
进一步，以待抓取物体3的边界为参考，控制机械手22移动到距离待抓取物体3左侧边界一定距离的水平位置并开启3D扫描模块27，如图3实线部分所示位置。
进一步，控制模块24可以控制机械手22以距离待抓取物体3在操作台4上的投影中心固定的距离旋转近180°，如图3中虚线箭头所示的3D扫描路径。
此时，3D扫描模块27相当于对待抓取物体3完成了半圆周扫描，对于无法扫描到的部分可近似认为其贴合操作台4的桌面，是一个平面。因此，可以获得待抓取物体3的封闭3D模型。
在一个具体实施中，继续参考图2和图3，所述机械手的抓取位姿确定系统2可以包括处理模块28，与所述3D扫描模块27耦接，所述处理模块28根据所述待抓取物体3的3D模型计算最优抓取位姿。
具体地，处理模块28可以包括结构分析单元281，用于对所述待抓取物体3的3D模型进行结构分析，以计算得到所述待抓取物体3的重心，并根据所述待抓取物体3的重心确定所述最优抓取位姿。
例如，根据3D模型计算物体重心的算法可以包括解析积分法、蒙特卡罗计算法等。
进一步，所述控制模块24还与所述处理模块28耦接以接收所述最优抓取位姿，并控制所述机械手22按所述最优抓取位姿抓取所述待抓取物体3。
由于工业场景中大多数待抓取物体的密度是均匀分布的，因此将3D扫描模块27获取的封闭3D模型送入结构分析单元281中可计算出待抓取物体3的重心位置，再根据重心位置解算多指抓取重力力矩最小的位置，得到机械手22的最优抓取位姿，上传到机械臂控制器中完成对未知物体的最优抓取。
采用本实施例方案，提供一种智能判定最佳抓取点的系统，能够有效解决工业场景中，机械手随机抓取时存在的由于抓取位置不佳而导致的物体脱落或夹手压力超过物体承受能力等问题。当首次碰到未知物体时，本实施例所述系统基于3D扫描模块获得未知物体的实时3D模型，进而基于处理模块合理确定未知物体的最佳抓取位姿。由此，即使是未存储于预设数据库的待抓取物体，采用本实施例方案仍能精准确定对这类未知物体的最优抓取位姿，使得采用本实施例方案的机械手能够适用于各种各样的工业应用场景。且无需前期投入大量的人力成本来示教、构建预设数据库，使得降低人力成本成为可能。
进一步，对于根据3D模型确定的最优抓取位姿，可以基于所述3D模型确定的待抓取物体的形状数据以及对应的最优抓取位姿存储至预设数据库，以在实际应用中实现对预设数据库的不断扩充。由此，下一次再出现所述待抓取物体时，基于全局图像既能有效识别该待抓取物体，并基于预设数据库直接确定对应的最优抓取位姿，无需再次调用3D扫描模块实时扫描建模。
由上，采用本实施例方案，首先由RGBD全局相机完成RGBD数据的获取，并通过算法完成语义分割和识别。
当物体识别为库内已知物体时，根据模型解算物体的坐标系，调取预先设定的最优抓取位姿，将坐标系转移至全局(世界)坐标系并将最优抓取位姿上传给机械手完成抓取。
当物体并非库内已知物体时，确定物体边界及投影中心，规划3D扫描路径并开启3D扫描仪，执行3D扫描完成3D建模。根据模型解算物体重心，并解算力矩最小的抓取位姿，上传抓取位姿至机械手完成抓取。
进一步地，本发明实施例还公开一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1至图3所示实施例中所述的方法技术方案。优选地，所述存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。所述存储介质可以包括ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (12)
1.一种机械手的抓取位姿确定方法，其特征在于，包括：
采集待抓取物体所在空间的全局图像；
基于预设数据库对所述全局图像进行图像识别，以识别所述待抓取物体是否存在于所述预设数据库，其中，所述预设数据库存储有至少一个物体的形状数据以及对应的最优抓取位姿；
若识别结果表明所述待抓取物体不存在于所述预设数据库，则对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型；
根据所述待抓取物体的3D模型计算最优抓取位姿。
2.根据权利要求1所述的抓取位姿确定方法，其特征在于，所述全局图像包括深度信息；所述对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型包括：
至少基于所述深度信息对所述全局图像进行语义分割，以自所述空间中区分出所述待抓取物体；
根据语义分割结果规划3D扫描路径；
沿着所述3D扫描路径扫描所述待抓取物体，以建立所述待抓取物体的3D模型。
3.根据权利要求2所述的抓取位姿确定方法，其特征在于，所述语义分割结果包括所述待抓取物体的边界信息和在基准面上的投影中心信息；所述根据语义分割结果规划3D扫描路径包括：
根据所述待抓取物体的边界信息和在基准面上的投影中心信息规划所述3D扫描路径，以使所述3D扫描路径沿着所述待抓取物体的边界的至少一部分延伸并经过所述待抓取物体在基准面上的投影中心。
4.根据权利要求2所述的抓取位姿确定方法，其特征在于，所述3D扫描路径为连续的扫描路线，和/或，所述3D扫描路径包括多个相互间隔的扫描点。
5.根据权利要求1所述的抓取位姿确定方法，其特征在于，所述根据所述待抓取物体的3D模型计算最优抓取位姿包括：
对所述待抓取物体的3D模型进行结构分析，以计算得到所述待抓取物体的重心；
根据所述待抓取物体的重心确定所述最优抓取位姿。
6.根据权利要求1所述的抓取位姿确定方法，其特征在于，还包括：
若识别结果表明所述待抓取物体存在于所述预设数据库，则根据所述预设数据库的存储信息确定所述待抓取物体的最优抓取位姿。
7.根据权利要求1所述的抓取位姿确定方法，其特征在于，对所述待抓取物体的3D扫描是基于设置于所述机械手的3D扫描模块实现的。
8.一种机械手的抓取位姿确定系统，其特征在于，包括：
全局摄像设备，用于采集待抓取物体所在空间的全局图像；
图像识别模块，与所述全局摄像设备耦接以接收所述全局图像，所述图像识别模块基于预设数据库对所述全局图像进行图像识别，以识别所述待抓取物体是否存在于所述预设数据库，其中，所述预设数据库存储有至少一个物体的形状数据以及对应的最优抓取位姿；
控制模块，与所述图像识别模块耦接以接收识别结果；
3D扫描模块，与所述控制模块耦接，若识别结果表明所述待抓取物体不存在于所述预设数据库，则响应于所述控制模块的控制指令，所述3D扫描模块对所述待抓取物体进行3D扫描，以建立所述待抓取物体的3D模型；处理模块，与所述3D扫描模块耦接，所述处理模块根据所述待抓取物体的3D模型计算最优抓取位姿。
9.根据权利要求8所述的抓取位姿确定系统，其特征在于，所述控制模块还与所述处理模块耦接以接收所述最优抓取位姿，并控制所述机械手按所述最优抓取位姿抓取所述待抓取物体。
10.根据权利要求8所述的抓取位姿确定系统，其特征在于，所述3D扫描模块设置于所述机械手并与所述机械手同步运动。
11.根据权利要求8所述的抓取位姿确定系统，其特征在于，所述处理模块包括：
结构分析单元，用于对所述待抓取物体的3D模型进行结构分析，以计算得到所述待抓取物体的重心，并根据所述待抓取物体的重心确定所述最优抓取位姿。
12.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010725634.9A CN112775959A (zh) | 2020-07-24 | 2020-07-24 | 机械手的抓取位姿确定方法及系统、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010725634.9A CN112775959A (zh) | 2020-07-24 | 2020-07-24 | 机械手的抓取位姿确定方法及系统、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112775959A true CN112775959A (zh) | 2021-05-11 |
Family
ID=75750135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010725634.9A Pending CN112775959A (zh) | 2020-07-24 | 2020-07-24 | 机械手的抓取位姿确定方法及系统、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112775959A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113679303A (zh) * | 2021-09-26 | 2021-11-23 | 复旦大学 | 一种喷洒清洁机器人及其控制方法 |
| CN113753562A (zh) * | 2021-08-24 | 2021-12-07 | 深圳市长荣科机电设备有限公司 | 一种基于直线电机的搬运方法、系统、装置及存储介质 |
| CN115026836A (zh) * | 2022-07-21 | 2022-09-09 | 深圳市华成工业控制股份有限公司 | 五轴机械手的控制方法、装置、设备及存储介质 |
| WO2022252959A1 (zh) * | 2021-06-04 | 2022-12-08 | 京东科技信息技术有限公司 | 机械臂控制方法、装置、电子设备和计算机可读存储介质 |
| CN115837985A (zh) * | 2023-02-28 | 2023-03-24 | 纳博特南京科技有限公司 | 一种基于机器视觉的无序抓取方法 |
| CN116147527A (zh) * | 2023-02-15 | 2023-05-23 | 思看科技(杭州)股份有限公司 | 三维扫描系统及其扫描路径规划方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120111245A (ko) * | 2011-03-31 | 2012-10-10 | 성균관대학교산학협력단 | 로봇손의 파지 조작 장치 및 방법 |
| CN103753585A (zh) * | 2014-01-10 | 2014-04-30 | 南通大学 | 一种基于视觉图像分析的机械手及抓紧力智能调节方法 |
| CN104856720A (zh) * | 2015-05-07 | 2015-08-26 | 东北电力大学 | 一种基于rgb-d传感器的机器人辅助超声扫描系统 |
| CN108115688A (zh) * | 2017-12-29 | 2018-06-05 | 深圳市越疆科技有限公司 | 一种机械臂的抓取控制方法、系统及机械臂 |
| CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
| CN109015640A (zh) * | 2018-08-15 | 2018-12-18 | 深圳清华大学研究院 | 抓取方法、系统、计算机装置及可读存储介质 |
| CN109241964A (zh) * | 2018-08-17 | 2019-01-18 | 上海非夕机器人科技有限公司 | 机械臂的抓取点的获取方法及设备 |
-
2020
- 2020-07-24 CN CN202010725634.9A patent/CN112775959A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120111245A (ko) * | 2011-03-31 | 2012-10-10 | 성균관대학교산학협력단 | 로봇손의 파지 조작 장치 및 방법 |
| CN103753585A (zh) * | 2014-01-10 | 2014-04-30 | 南通大学 | 一种基于视觉图像分析的机械手及抓紧力智能调节方法 |
| CN104856720A (zh) * | 2015-05-07 | 2015-08-26 | 东北电力大学 | 一种基于rgb-d传感器的机器人辅助超声扫描系统 |
| CN108115688A (zh) * | 2017-12-29 | 2018-06-05 | 深圳市越疆科技有限公司 | 一种机械臂的抓取控制方法、系统及机械臂 |
| CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
| CN109015640A (zh) * | 2018-08-15 | 2018-12-18 | 深圳清华大学研究院 | 抓取方法、系统、计算机装置及可读存储介质 |
| CN109241964A (zh) * | 2018-08-17 | 2019-01-18 | 上海非夕机器人科技有限公司 | 机械臂的抓取点的获取方法及设备 |
Non-Patent Citations (2)
| Title |
|---|
| [澳]KING NGI NGAN HONGLIANG LI, 国防工业出版社 * |
| [澳]KING NGI NGAN HONGLIANG LI: "《视频分割及其应用》", 30 April 2014, 国防工业出版社 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022252959A1 (zh) * | 2021-06-04 | 2022-12-08 | 京东科技信息技术有限公司 | 机械臂控制方法、装置、电子设备和计算机可读存储介质 |
| CN113753562A (zh) * | 2021-08-24 | 2021-12-07 | 深圳市长荣科机电设备有限公司 | 一种基于直线电机的搬运方法、系统、装置及存储介质 |
| CN113679303A (zh) * | 2021-09-26 | 2021-11-23 | 复旦大学 | 一种喷洒清洁机器人及其控制方法 |
| CN115026836A (zh) * | 2022-07-21 | 2022-09-09 | 深圳市华成工业控制股份有限公司 | 五轴机械手的控制方法、装置、设备及存储介质 |
| CN116147527A (zh) * | 2023-02-15 | 2023-05-23 | 思看科技(杭州)股份有限公司 | 三维扫描系统及其扫描路径规划方法 |
| CN115837985A (zh) * | 2023-02-28 | 2023-03-24 | 纳博特南京科技有限公司 | 一种基于机器视觉的无序抓取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112775959A (zh) | 机械手的抓取位姿确定方法及系统、存储介质 | |
| CN108109174B (zh) | 一种用于散乱零件随机分拣的机器人单目引导方法和系统 | |
| US11691273B2 (en) | Generating a model for an object encountered by a robot | |
| CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
| CN107618030B (zh) | 基于视觉的机器人动态跟踪抓取方法及系统 | |
| US11117262B2 (en) | Intelligent robots | |
| JP5458885B2 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
| CN110640730B (zh) | 生成用于机器人场景的三维模型的方法和系统 | |
| CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
| US8244402B2 (en) | Visual perception system and method for a humanoid robot | |
| Song et al. | CAD-based pose estimation design for random bin picking using a RGB-D camera | |
| CN108161931A (zh) | 基于视觉的工件自动识别及智能抓取系统 | |
| CN110751691B (zh) | 一种基于双目视觉的管件自动抓取方法 | |
| CN110355754A (zh) | 机器人手眼系统、控制方法、设备及存储介质 | |
| EP1477934A2 (en) | Image processing apparatus | |
| JP6042291B2 (ja) | ロボット、ロボット制御方法、及びロボット制御プログラム | |
| CN111645074A (zh) | 一种机器人抓取定位方法 | |
| CN111958604A (zh) | 一种高效的基于cad模型的异形毛刷单目视觉示教抓取方法 | |
| Tsarouchi et al. | Vision system for robotic handling of randomly placed objects | |
| CN111745640A (zh) | 物体检测方法、物体检测装置以及机器人系统 | |
| US20190278991A1 (en) | Control apparatus, robot system, and method of detecting object | |
| CN114187312A (zh) | 目标物的抓取方法、装置、系统、存储介质及设备 | |
| US10656097B2 (en) | Apparatus and method for generating operation program of inspection system | |
| CN112805127A (zh) | 用于创建机器人控制程序的方法和设备 | |
| KR102452315B1 (ko) | 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210511 |
|
| RJ01 | Rejection of invention patent application after publication |