CN114454168B - 一种动态视觉机械臂抓取方法、系统及电子设备 - Google Patents
一种动态视觉机械臂抓取方法、系统及电子设备 Download PDFInfo
- Publication number
- CN114454168B CN114454168B CN202210134063.0A CN202210134063A CN114454168B CN 114454168 B CN114454168 B CN 114454168B CN 202210134063 A CN202210134063 A CN 202210134063A CN 114454168 B CN114454168 B CN 114454168B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- information
- point cloud
- grabbing
- magic cube
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000005192 partition Methods 0.000 claims abstract description 27
- 238000000638 solvent extraction Methods 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开一种动态视觉机械臂抓取方法、系统及电子设备。一种动态视觉机械臂抓取方法，包括采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息，通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息，根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据，将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面，根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂。本发明针对动态的物品包裹，以及针对多个种类的包裹实现对包裹的分类抓取，而且取放的成本较低、效率较高，达到机代人的效果，满足了动态物品包裹的市场需要。
Description
技术领域
本发明涉及物流分拣技术领域，特别是涉及一种动态视觉机械臂抓取方法、系统及电子设备。
背景技术
随着电子商务的快速发展，物流快递行业每天都需要运送的包裹的规模也越来越大，对自动化分拣包裹的需求也越来越高。
目前快递分拣行业对于无序的动态的包裹抓取采用的是人为方式的取放，对于现有机械式抓取的案例大多也是针对有序且静态的物品包裹，来进行坐标定位的机械式抓取，现有技术中的抓取只能针对有序且静态的物品包裹，不能针对多个种类的包裹实现对包裹的分类抓取，而且取放的成本较高、效率较低，因此伴随着物流快递行业体量的剧增和市场的需求，动态物品包裹的取放方法成为市场的需要。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种动态视觉机械臂抓取方法、系统及电子设备，用于解决现有技术中的不能针对多个种类的包裹实现对包裹的分类抓取，而且取放的成本较高、效率较低的问题。
为实现上述目的及其他相关目的，本发明提供一种动态视觉机械臂抓取方法，包括：
S1、采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息；
S2、通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息；
S3、根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据；
S4、将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面；
S5、根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂。
在本发明的一实施例中，所述图像信息包括包裹和机械臂图像信息。
在本发明的一实施例中，所述图像的分割信息包括每个包裹的类别、最小正矩形以及边界轮廓线。
在本发明的一实施例中，所述步骤S2中的通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息包括：
S21、所述分割算法采用深度学习分割算法，以Mask_RCNN算法为基础，特征提取部分采用ResNet50结构，使用FPN网络产生不同分辨率的特征图像；
S22、在所述不同分辨率的特征图像上使用RPN网络结构产生区域框建议，对提取到的图像中的目标区域进行卷积，得到每个包裹的类别、最小正矩形以及边界轮廓线。
在本发明的一实施例中，所述步骤S4中的将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面包括：
S41、将每个所述分区的点云数据按照xyz坐标轴进行等距分段，分割为多个魔方空间；
S42、每个所述魔方空间包括多个点云数据；
S43、通过最小二乘法拟合每个所述魔方空间的平面。
在本发明的一实施例中，所述步骤S5中的根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂包括：
S51、将拟合后的平面拼接，得到拼接后的平面；
S52、选取拼接后的平面中最适合抓取的平面；
S53、确定所述最适合抓取的平面的中心，计算最适合抓取的平面的法向量，根据所述法向量计算机械臂的角度。
本发明还提供一种动态视觉机械臂抓取系统，包括：
摄像机，用于采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息；
分割单元，用于通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息；
分区单元，用于根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据；
魔方切割单元，用于将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面；
计算单元，用于根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂。
本发明还提供一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的动态视觉机械臂抓取方法。
如上所述，本发明的一种动态视觉机械臂抓取方法、系统及电子设备，具有以下有益效果：
本发明的动态视觉机械臂抓取方法实现对动态物品包裹的取放，针对动态的物品包裹，以及针对多个种类的包裹实现对包裹的分类抓取，而且取放的成本较低、效率较高，达到机代人的效果，满足了动态物品包裹的市场需要。
附图说明
图1为本申请一个实施例提供的一种动态视觉机械臂抓取方法的工作流程图。
图2为本申请又一个实施例提供的一种动态视觉机械臂抓取方法的工作流程图。
图3为本申请实施例提供的一种动态视觉机械臂抓取方法的步骤S2的工作流程图。
图4为本申请实施例提供的一种动态视觉机械臂抓取方法的步骤S4的工作流程图。
图5为本申请实施例提供的一种动态视觉机械臂抓取方法的步骤S5的工作流程图。
图6为本申请实施例提供的一种动态视觉机械臂抓取系统的结构原理框图。
图7为本申请实施例提供的一种电子设备的结构原理框图。
图8为本申请实施例提供的一种计算机可读存储介质的结构原理框图。
元件标号说明
10 摄像机
20 分割单元
30 分区单元
40 魔方切割单元
50 计算单元
60 处理器
70 存储器
80 计算机可读存储介质
90 计算机指令
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1、图2，图1为本申请一个实施例提供的一种动态视觉机械臂抓取方法的工作流程图。图2为本申请又一个实施例提供的一种动态视觉机械臂抓取方法的工作流程图。本发明提供一种动态视觉机械臂抓取方法，包括：
步骤S1、采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息。具体的，在供包台上方安装有2D或3D相机，当系统启动时，相机会根据机械臂状态进行，将图片及相关信息发送到分割服务，分割服务收到请求时，解析参数取得图片，之后运行分割算法，算法返回图片中每个包裹的类别及边界轮廓线。所述图像信息包括包裹和机械臂图像信息。
步骤S2、通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息。具体的，所述图像的分割信息包括每个包裹的类别、最小正矩形以及边界轮廓线。
步骤S3、根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据。具体的，每个图像的分割信息就是一个物体轮廓，3D点云根据这些轮廓信息，把点云分成多个物体的点云。例如，图像中有两个盒子，那么点云就会分成两个盒子的点云和其他点云，共3块。
步骤S4、将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面。
步骤S5、根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂。
请参阅图3，图3为本申请实施例提供的一种动态视觉机械臂抓取方法的步骤S2的工作流程图。所述步骤S2中的通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息包括：
步骤S21、所述分割算法采用深度学习分割算法，以Mask_RCNN算法为基础，特征提取部分采用ResNet50结构，使用FPN网络产生不同分辨率的特征图像。
步骤S22、在所述不同分辨率的特征图像上使用RPN网络结构产生区域框建议，对提取到的图像中的目标区域进行卷积，得到每个包裹的类别、最小正矩形以及边界轮廓线。
分割算法原理：算法采用深度学习分割算法，以mask_rcnn算法为基础，特征提取部分采用resnet50结构，同时使用fpn网络产生不同分辨率的特征图，在不同分辨率的特征图上使用rpn结构产生区域框建议，对提取到的roi(Region of interest)指的是一张图片中认为有存在目标的区域)进行卷积，最后得到每个包裹的类别、最小正矩形及包裹的边界轮廓。算法分为训练和推理两个部分，前期收集不同场景下的包裹图片，对图片进行打标，然后运行算法进行训练，训练完成后，将算法部署在算法服务器上，以http服务形式启动。
请参阅图4，图4为本申请实施例提供的一种动态视觉机械臂抓取方法的步骤S4的工作流程图。所述步骤S4中的将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面包括：步骤S41、将每个所述分区的点云数据按照xyz坐标轴进行等距分段，分割为多个魔方空间。步骤S42、每个所述魔方空间包括多个点云数据。步骤S43、通过最小二乘法拟合每个所述魔方空间的平面。
请参阅图5，图5为本申请实施例提供的一种动态视觉机械臂抓取方法的步骤S5的工作流程图。所述步骤S5中的根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂包括：步骤S51、将拟合后的平面拼接，得到拼接后的平面。步骤S52、选取拼接后的平面中最适合抓取的平面。步骤S53、确定所述最适合抓取的平面的中心，计算最适合抓取的平面的法向量，根据所述法向量计算机械臂的角度。具体的，把点云按照xyz轴进行等距分段，分割成类似魔方一样的小空间。每个魔方空间有一些点云数据，这些点云数据就是小空间里的点，可以利用最小二乘的方法拟合平面AX＝B，用最小二乘方法解平面方程的系数。
本发明的一种动态视觉机械臂抓取方法，具体在应用过程中包括如下内容：
使用mask_rcnn算法对rgb图像进行实例分割，区分不同的物体类别及对应物体的轮廓信息。
对无序抓取的包裹，首先将包裹盒子进行轮廓区分，依据分割信息对点云进行分区，这个步骤就是把点云分成不同类，分别处理，这样运算量可以减少一些。
把包裹的点云根据轮廓进行分类、分别处理，对每个分区的点云数据，进行魔方空间切割，对每个小空间的点云数据拟合一个小平面对点云做魔方空间切割，也就是把点云按x、y、z轴方向对点云进行切割，这样3个维度同时切割，就把点云切割为更小的类别，每个类别所占有的空间就是一个小立方体。用魔方空间的方法对每个分类的点云进行分割，分割成小的魔方空间，这样为了计算最合适的抓取面。每个立方体内的点云数据，利用最小二乘的方法做平面的拟合运算，拟合出每个立方体的小平面(这个平面的边界也就是这个小立方体内点云数据都范围)。每个小的魔方空间，拟合到一个平面，这个平面也可以看作抓取面的一部分。把这些小的平面拼接成大的平面，然后再计算抓取面，抓取面对计算，涉及到匹配机械臂吸盘的匹配率，合适的角度和位置，匹配率就越高。把上面小的抓取面拼接成大的抓取面，为后面挑选合适的面打下基础。找到到了抓取面，可以计算这个抓取面对法向量，和抓取面对中心点然后根据这个中心点和法向量计算欧拉角，挑选最合适的抓取面，然后把参数传给机械臂。为了计算方便，可以将工件坐标的z朝下，这样，平面的东西要抓取的时候，所有的欧拉角都是0，这样便于查找错误。
请参阅图6，图6为本申请实施例提供的一种动态视觉机械臂抓取系统的结构原理框图。与本发明的一种动态视觉机械臂抓取方法原理相似的是，本发明还提供一种动态视觉机械臂抓取系统，包括：所述摄像机10用于采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息。所述分割单元20用于通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息。所述分区单元30用于根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据。所述魔方切割单元40用于将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面。所述计算单元50用于根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂。
请参阅图7，图7为本申请实施例提供的一种电子设备的结构原理框图。本发明还提出一种电子设备，所述电子设备包括处理器60和存储器70，所述存储器70存储有程序指令，所述处理器60运行程序指令实现上述的动态视觉机械臂抓取方法。所述处理器60可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件；所述存储器70可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。所述存储器70也可以为随机存取存储器(Random Access Memory，RAM)类型的内部存储器，所述处理器60、存储器70可以集成为一个或多个独立的电路或硬件，如：专用集成电路(Application SpecificIntegratedCircuit，ASIC)。需要说明的是，上述的存储器70中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
请参阅图8，图8为本申请实施例提供的一种计算机可读存储介质的结构原理框图。本发明还提出一种计算机可读存储介质80，所述计算机可读存储介质80存储有计算机指令90，所述计算机指令90用于使所述计算机执行上述的动态视觉机械臂抓取方法。计算机可读存储介质80可以是，电子介质、磁介质、光介质、电磁介质、红外介质或半导体系统或传播介质。计算机可读存储介质80还可以包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘可以包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-RW)和DVD。
综上所述，本发明的动态视觉机械臂抓取方法实现对动态物品包裹的取放，针对动态的物品包裹，以及针对多个种类的包裹实现对包裹的分类抓取，而且取放的成本较低、效率较高，达到机代人的效果，满足了动态物品包裹的市场需要。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (7)
1.一种动态视觉机械臂抓取方法，其特征在于，包括：
S1、采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息；
S2、通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息；
S3、根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据；
S4、将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面；
S5、根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂；
所述S4中的将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面包括：
S41、将每个所述分区的点云数据按照xyz坐标轴进行等距分段，分割为多个魔方空间；
S42、每个所述魔方空间包括多个点云数据；
S43、通过最小二乘法拟合每个所述魔方空间的平面。
2.根据权利要求1所述的一种动态视觉机械臂抓取方法，其特征在于：所述图像信息包括包裹和机械臂图像信息。
3.根据权利要求2所述的一种动态视觉机械臂抓取方法，其特征在于：所述图像的分割信息包括每个包裹的类别、最小正矩形以及边界轮廓线。
4.根据权利要求3所述的一种动态视觉机械臂抓取方法，其特征在于，所述S2中的通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息包括：
S21、所述分割算法采用深度学习分割算法，以Mask_RCNN算法为基础，特征提取部分采用ResNet50结构，使用FPN网络产生不同分辨率的特征图像；
S22、在所述不同分辨率的特征图像上使用RPN网络结构产生区域框建议，对提取到的图像中的目标区域进行卷积，得到每个包裹的类别、最小正矩形以及边界轮廓线。
5.根据权利要求1所述的一种动态视觉机械臂抓取方法，其特征在于，所述S5中的根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂包括：
S51、将拟合后的平面拼接，得到拼接后的平面；
S52、选取拼接后的平面中最适合抓取的平面；
S53、确定所述最适合抓取的平面的中心，计算最适合抓取的平面的法向量，根据所述法向量计算机械臂的角度。
6.一种动态视觉机械臂抓取系统，其特征在于，包括：
摄像机，用于采集图像信息，对所述图像信息进行解析参数，得到解析后的图像信息；
分割单元，用于通过分割算法对所述解析后的图像信息进行分割，得到图像的分割信息；
分区单元，用于根据所述图像的分割信息对3D点云进行分区，得到多个分区的点云数据；
魔方切割单元，用于将每个所述分区的点云数据进行魔方切割，并拟合魔方切割后的每个空间的平面；
所述魔方切割单元，还用于将每个所述分区的点云数据按照xyz坐标轴进行等距分段，分割为多个魔方空间，每个所述魔方空间包括多个点云数据；
所述魔方切割单元，还用于通过最小二乘法拟合每个所述魔方空间的平面；
计算单元，用于根据拟合后的平面，计算机械臂最佳抓取信息，并发送至机械臂。
7.一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，其特征在于：所述处理器运行程序指令实现如权利要求1-5任意一项所述的动态视觉机械臂抓取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210134063.0A CN114454168B (zh) | 2022-02-14 | 2022-02-14 | 一种动态视觉机械臂抓取方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210134063.0A CN114454168B (zh) | 2022-02-14 | 2022-02-14 | 一种动态视觉机械臂抓取方法、系统及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114454168A CN114454168A (zh) | 2022-05-10 |
| CN114454168B true CN114454168B (zh) | 2024-03-22 |
Family
ID=81413090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210134063.0A Active CN114454168B (zh) | 2022-02-14 | 2022-02-14 | 一种动态视觉机械臂抓取方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114454168B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114783068B (zh) * | 2022-06-16 | 2022-11-15 | 深圳市信润富联数字科技有限公司 | 姿态识别方法、装置、电子装置和存储介质 |
| CN115463845B (zh) * | 2022-09-02 | 2023-10-31 | 赛那德科技有限公司 | 一种基于动态包裹下的识别抓取方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108247635A (zh) * | 2018-01-15 | 2018-07-06 | 北京化工大学 | 一种深度视觉的机器人抓取物体的方法 |
| CN110211180A (zh) * | 2019-05-16 | 2019-09-06 | 西安理工大学 | 一种基于深度学习的机械臂自主抓取方法 |
| CN110322515A (zh) * | 2019-07-02 | 2019-10-11 | 工极智能科技（苏州）有限公司 | 基于双目立体视觉的工件识别及抓取点提取方法 |
| CN111476840A (zh) * | 2020-05-14 | 2020-07-31 | 阿丘机器人科技(苏州)有限公司 | 目标定位方法、装置、设备及计算机可读存储介质 |
| CN113327298A (zh) * | 2021-07-05 | 2021-08-31 | 深圳市拓普智造科技有限公司 | 基于图像实例分割和点云pca算法的一种抓取姿态估计方法 |
| CN113538486A (zh) * | 2021-07-13 | 2021-10-22 | 长春工业大学 | 一种提高汽车钣金工件的识别与定位精度的方法 |
| CN113977581A (zh) * | 2021-11-10 | 2022-01-28 | 胜斗士(上海)科技技术发展有限公司 | 抓取系统及抓取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11030766B2 (en) * | 2019-03-25 | 2021-06-08 | Dishcraft Robotics, Inc. | Automated manipulation of transparent vessels |
-
2022
- 2022-02-14 CN CN202210134063.0A patent/CN114454168B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108247635A (zh) * | 2018-01-15 | 2018-07-06 | 北京化工大学 | 一种深度视觉的机器人抓取物体的方法 |
| CN110211180A (zh) * | 2019-05-16 | 2019-09-06 | 西安理工大学 | 一种基于深度学习的机械臂自主抓取方法 |
| CN110322515A (zh) * | 2019-07-02 | 2019-10-11 | 工极智能科技（苏州）有限公司 | 基于双目立体视觉的工件识别及抓取点提取方法 |
| CN111476840A (zh) * | 2020-05-14 | 2020-07-31 | 阿丘机器人科技(苏州)有限公司 | 目标定位方法、装置、设备及计算机可读存储介质 |
| CN113327298A (zh) * | 2021-07-05 | 2021-08-31 | 深圳市拓普智造科技有限公司 | 基于图像实例分割和点云pca算法的一种抓取姿态估计方法 |
| CN113538486A (zh) * | 2021-07-13 | 2021-10-22 | 长春工业大学 | 一种提高汽车钣金工件的识别与定位精度的方法 |
| CN113977581A (zh) * | 2021-11-10 | 2022-01-28 | 胜斗士(上海)科技技术发展有限公司 | 抓取系统及抓取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习双目视觉技术的果实识别与定位研究;张磊;中国优秀硕士学位论文全文数据库(第6期);7-31 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114454168A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109870983B (zh) | 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统 | |
| CN114454168B (zh) | 一种动态视觉机械臂抓取方法、系统及电子设备 | |
| US11216971B2 (en) | Three-dimensional bounding box from two-dimensional image and point cloud data | |
| CN111754515B (zh) | 堆叠物品的顺序抓取方法和装置 | |
| CN112802105A (zh) | 对象抓取方法及装置 | |
| CN110632608B (zh) | 一种基于激光点云的目标检测方法和装置 | |
| CN113191174B (zh) | 物品定位方法和装置、机器人及计算机可读存储介质 | |
| WO2023193401A1 (zh) | 点云检测模型训练方法、装置、电子设备及存储介质 | |
| CN112070782B (zh) | 识别场景轮廓的方法、装置、计算机可读介质及电子设备 | |
| CN112927353A (zh) | 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端 | |
| CN111815706A (zh) | 面向单品类拆垛的视觉识别方法、装置、设备及介质 | |
| CN111369611B (zh) | 图像像素深度值优化方法及其装置、设备和存储介质 | |
| CN114783068A (zh) | 姿态识别方法、装置、电子装置和存储介质 | |
| CN115082498A (zh) | 一种机器人抓取位姿估计方法、装置、设备及存储介质 | |
| US8411082B1 (en) | Streamed ray tracing system and method | |
| CN114648640A (zh) | 一种目标物单体化方法、装置、设备及存储介质 | |
| CN113111787A (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN111275758B (zh) | 混合型3d视觉定位方法、装置、计算机设备及存储介质 | |
| US20220128347A1 (en) | System and method to measure object dimension using stereo vision | |
| CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
| CN116309882A (zh) | 一种面向无人叉车应用的托盘检测和定位方法及系统 | |
| EP3579138A1 (en) | Method for determining a type and a state of an object of interest | |
| CN111753858A (zh) | 一种点云匹配方法、装置和重定位系统 | |
| CN115482277A (zh) | 一种社交距离风险预警方法及装置 | |
| CN113378864A (zh) | 一种锚框参数的确定方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Hua Inventor after: Li Haibin Inventor after: Zhao Han Inventor before: Li Haibin Inventor before: Zhao Han |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |