CN111496770B - 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 - Google Patents
基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 Download PDFInfo
- Publication number
- CN111496770B CN111496770B CN202010273493.1A CN202010273493A CN111496770B CN 111496770 B CN111496770 B CN 111496770B CN 202010273493 A CN202010273493 A CN 202010273493A CN 111496770 B CN111496770 B CN 111496770B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- module
- path
- grabbing
- planning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/08—Programme-controlled manipulators characterised by modular constructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Fuzzy Systems (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明提出一种基于3D视觉与深度学习的智能搬运机械臂系统，包括视觉检测模块、训练学习模块、运动规划模块以及控制模块，视觉检测模块对物体进行图像采集，并发送至控制模块；训练学习模块对机械臂需要执行抓取动作的物体进行样本数据采集并形成数据库；运动规划模块包括路径规划部分和抓取动作规划部分，路径规划部分实现机械臂的路径规划，并实现机械臂自主选择路径且避障的功能；抓取动作规划部分实现抓取功能；控制模块处理视觉检测模块、训练学习模块及运动规划模块传输的信息并传递相应命令至视觉检测模块、训练学习模块及运动规划模块，使机械臂完成路径移动与抓取。使得工作场景更加多样化，生产运输更加智能化，拓宽机械臂的应用领域。
Description
技术领域
本发明涉及图像处理、人工智能以及机械臂技术，尤其涉及一种基于3D视觉与深度学习的智能搬运机械臂系统及其使用方法。
背景技术
专利公开号CN 108789414 A公开了一种基于三维机器视觉的智能机械臂系统及其控制方法，利用激光测距模块对物件进行检测。通过投影仪、相机和摄像头，投影仪在物体上的条纹来采集物件的大小和位置。接着，通过时间及大小等信息，自动调整机械臂的抓取位置，从而能够实现对不同规格物件的智能抓取处理。利用投影条纹大小检查对于工作场景的光线要求以及摄像头均有较高要求，并且本方法并没有对于智能抓取方法进行阐释，智能化方法不明确。
专利公开号CN 108247617 A公开了一种智能机械臂系统。他通过摄像头能够识别操作员的手势可以完成认证功、手势远程控制、异常入侵监测和动态作业功能，通过视觉测量的方式，使工业机械臂具备人机交互、动态测量的能力。本专利主要侧重于人机交互和人工辅助操作，并没能实现机械臂系统的全自动操作。
专利公开号CN 109607168 A公开了一种用于物资取放的智能机械臂系统，利用优化机械结构解决了原本仓库机械臂只能用于取放二象限货架货物的问题。但是应用场景仍然比较单一，只能应用于仓库。
专利公开号CN 110202052 A公开了一种适用于冲压场合智能机械手运作方法，采用的智能机械手替换人工操作方法。所述智能机械手内包括扫描模块、数据对比模块、校准模块、纠偏模块和定时模块。首先仍然存在应用场景单一的问题，其次对于智能机械手的各个模块的工作流程及方法都没有详细的描述，“智能化”方法不明确。
专利公开号CN 109794940 A一种双目人工智能机械臂教学装置，包括高性能计算机、机械臂、PLC控制器和物料传送带。通过各部分与高性能计算机连接，该装置满足了多个理工科专业的应用式的教学需要。机械臂的抓取端上设有图像采集装置(CCD双目摄像头)和超声波探头。摄像头用于测量距离，同时配合图像预处理器，实现分拣功能。该机械臂可在不同的功能应用场景完成任务，使用了提取图像边缘、周线跟踪、提取特征点、曲线分割及分段匹配、图形描述、数据库比对及物体识别的检测流程。该方法远没有使用人工智能实现分拣高效，同时对于机械臂抓取和路径规划未作说明。
发明内容
本发明的目的是提供一种基于3D视觉与深度学习的智能搬运机械臂系统及使用方法，以实现机械臂的目标定位及抓取，完成自动化分拣及搬运。
本发明为解决其技术问题所采用的技术方案是：
基于3D视觉与深度学习的智能搬运机械臂系统，包括视觉检测模块、训练学习模块、运动规划模块以及控制模块，其中：
视觉检测模块对物体进行图像采集，并发送至控制模块；
训练学习模块对机械臂需要执行抓取动作的物体进行样本数据采集并形成数据库；
运动规划模块包括路径规划部分和抓取动作规划部分，路径规划部分实现机械臂的路径规划，并实现机械臂自主选择路径且避障的功能；抓取动作规划部分实现抓取功能；
控制模块处理视觉检测模块、训练学习模块及运动规划模块传输的信息并传递相应命令至视觉检测模块、训练学习模块及运动规划模块，使机械臂完成路径移动与抓取。
具体地，
视觉检测模块具有双目深度摄像头与RGB摄像头，并利用双目深度摄像头对物体进行图像采集，利用RGB摄像头采集可见光图像，利用双目深度摄像头采集物体的深度信息，并根据要求发送给控制模块；
训练学习模块利用Canny算子处理样本的可见光图像，获得相应的边缘特征集合，然后将得到的特征集送至建立好的深度卷积神经网络进行数据训练，得到分拣使用的数据库；
路径规划部分通过强化学习的Q-learning算法实现机械臂的路径规划；Q-learning算法中的Q指Q表，此张表由状态State和动作Action作为横纵轴，每一个格就代表在当前State下执行当前Action能获得的价值回馈，用Q(s,a)表示，称为Q值；
抓取动作规划部分根据得到的目标边缘和深度信息通过比例换算得到物体的实际大小，最后根据大小决定抓手的张开角度，实现抓取功能；
控制模块首先采用Canny算子提取RGB图像的边缘特征，然后将特征发送至数据库进行比对和判断，如果数据符合数据库的训练结果，则对采集的深度图和RGB图进行处理，获得目标的位置和大小数据，接着对目标进行位置标定，根据标定位置与目标位置进行路径规划并发送给机械臂，最后机械臂完成路径移动和抓取。
上述系统的使用方法，包括：
1)架设机械臂平台：将机械臂固定起来，并将相机用支架安装在机械臂附近不影响工作的位置；
2)系统开始工作，建立一个以机械臂底座中心为坐标原点的三维坐标系，并将周围环境添加到坐标系中(如一些障碍物，高低平台)，进行各部件位姿的初始化；
3)视觉检测系统通过双目深度摄像头同时采集RGB与深度图像，首先将采集的RGB图发送给控制中心，接着等待控制中心反馈采集图像的边缘特征信息与数据库的样本数据集的对比结果，如若结果为非机械臂动作对象则转而检测下一目标；
4)结果若为机械臂动作对象，控制中心则结合相机所在的坐标位置、深度图的深度信息以及得到的边缘特征信息，采用比例换算，在坐标系中建立目标物体的模型，利用Q-learning算法规划机械臂初始位置与目标位置之间的路径；
5)机械臂到达目标位置后，控制中心依据建立的物体模型大小，发送给机械臂张开抓手的指令，机械臂接收指令并完成抓取，随后，再次利用强化学习算法规划当前所在位置与目的地的路径，完成转移、复位和初始化；
6)数据库模块：首先采集大量样本的RGB图，利用Canny算子进行边缘特征提取，接着利用深度卷积神经网络进行数据训练，最后获得目标边缘特征数据库，当收到新目标的边缘特征信息时，利用已训练的模型进行判断，反馈结果；
7)路径规划模块使用强化学习中的Q-learning算法，将加入Q-learning算法的机械臂作为Agent，即智能体，将每次运动后的位置状态作为State，即每次运动后对机械臂的输入，每次动作过程中机械臂各关节的运动作为Action，每次预判位置与目前所处位置之间的空间关系作为Reward，即在每次运动中对于机械臂运动规划的反馈，每次的位置所处坐标系作为Environment，接收action，返回state和reward。
目前的智能机械臂系统设计仍较为简单，比如利用投影大小检测，利用机械机构优化方便工作，针对“智能化”部分的设计存在局限，大部分都没有引入先进的人工智能算法及模型。另一方面，市面上充斥着各种各样应用于不同工作的机械臂系统，但是都存在应用局限和场景要求。本方案首先利用Canny算子提取样本可见光图像的边缘特征，随后将处理得到的样本特征集利用深度卷积神经网络进行训练，建立数据库。随后控制中心每次都会对新的待检目标进行处理，并直接与已建立的数据库中的数据进行比对，返回结果给控制中心，从而实现机械臂在抓取活动中的自主识别抓取物的目的。其次，利用强化学习实现机械臂在运动过程中的自主避障。前两项工作的完成，可以摆脱此前需要人工辅助或是机械臂工作场景单一的缺点，使得工作场景更加多样化，生产运输更加智能化，拓宽机械臂的应用领域。
本发明的优点在于：
该系统主要利用了机器学习的方法，首先利用深度卷积神经网络对处理后的样本边缘特征进行训练，从而得到数据库，使得机械臂可以自主分辨目标，增加了机械臂的可工作范畴。其次利用强化学习进行路径规划，也是使得工作场景更加多样化。这两者的结合可以使机械臂的应用性大大增强。此外该设计的完成可以实现无人工作和自动化。
附图说明
图1是本发明提出的基于3D视觉与深度学习的智能搬运机械臂系统的系统架构图；
图2是数据库工作流程图；
图3是视觉检测工作流程图；
图4是动作规划工作流程图；
图5是强化学习路径规划流程图；
图6是机械臂系统总工作流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合图示与具体实施例，进一步阐述本发明。
如图1～图6所示，本发明提出的基于3D视觉与深度学习的智能搬运机械臂系统包括视觉检测模块、训练学习模块、运动规划模块以及控制模块，视觉检测模块对物体进行图像采集，并发送至控制模块；该视觉检测模块具有双目深度摄像头与RGB摄像头，并利用双目深度摄像头对物体进行图像采集，利用RGB摄像头采集可见光图像，利用双目深度摄像头采集物体的深度信息，并根据要求发送给控制模块；训练学习模块对机械臂需要执行抓取动作的物体进行样本数据采集并形成数据库；该训练学习模块利用Canny算子处理样本的可见光图像，获得相应的边缘特征集合，然后将得到的特征集送至建立好的深度卷积神经网络进行数据训练，得到分拣使用的数据库；运动规划模块包括路径规划部分和抓取动作规划部分，路径规划部分实现机械臂的路径规划，并实现机械臂自主选择路径且避障的功能；抓取动作规划部分实现抓取功能；路径规划部分通过强化学习的Q-learning算法实现机械臂的路径规划；Q-learning算法中的Q指Q表，此张表由状态State和动作Action作为横纵轴，每一个格就代表在当前State下执行当前Action能获得的价值回馈，用Q(s,a)表示，称为Q值；抓取动作规划部分根据得到的目标边缘和深度信息通过比例换算得到物体的实际大小，最后根据大小决定抓手的张开角度，实现抓取功能；控制模块处理视觉检测模块、训练学习模块及运动规划模块传输的信息并传递相应命令至视觉检测模块、训练学习模块及运动规划模块，使机械臂完成路径移动与抓取；控制模块首先采用Canny算子提取RGB图像的边缘特征，然后将特征发送至数据库进行比对和判断，如果数据符合数据库的训练结果，则对采集的深度图和RGB图进行处理，获得目标的位置和大小数据，接着对目标进行位置标定，根据标定位置与目标位置进行路径规划并发送给机械臂，最后机械臂完成路径移动和抓取。
上述系统的使用方法，包括：
1)架设机械臂平台：将机械臂固定起来，并将相机用支架安装在机械臂附近不影响工作的位置；
2)系统开始工作，建立一个以机械臂底座中心为坐标原点的三维坐标系，并将周围环境添加到坐标系中(如一些障碍物，高低平台)，进行各部件位姿的初始化；
3)视觉检测系统通过双目深度摄像头同时采集RGB与深度图像，首先将采集的RGB图发送给控制中心，接着等待控制中心反馈采集图像的边缘特征信息与数据库的样本数据集的对比结果，如若结果为非机械臂动作对象则转而检测下一目标；
4)结果若为机械臂动作对象，控制中心则结合相机所在的坐标位置、深度图的深度信息以及得到的边缘特征信息，采用比例换算，在坐标系中建立目标物体的模型，利用Q-learning算法规划机械臂初始位置与目标位置之间的路径；
5)机械臂到达目标位置后，控制中心依据建立的物体模型大小，发送给机械臂张开抓手的指令，机械臂接收指令并完成抓取，随后，再次利用强化学习算法规划当前所在位置与目的地的路径，完成转移、复位和初始化；
6)数据库模块：首先采集大量样本的RGB图，利用Canny算子进行边缘特征提取，接着利用深度卷积神经网络进行数据训练，最后获得目标边缘特征数据库，当收到新目标的边缘特征信息时，利用已训练的模型进行判断，反馈结果；
7)路径规划模块使用强化学习中的Q-learning算法，将加入Q-learning算法的机械臂作为Agent，即智能体，将每次运动后的位置状态作为State，即每次运动后对机械臂的输入，每次动作过程中机械臂各关节的运动作为Action，每次预判位置与目前所处位置之间的空间关系作为Reward，即在每次运动中对于机械臂运动规划的反馈，每次的位置所处坐标系作为Environment，接收action，返回state和reward。
以上实施方式只为说明本发明的技术构思及特点，其目的在于让本领域的技术人员了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。
Claims (3)
1.基于3D视觉与深度学习的智能搬运机械臂系统，其特征在于，包括视觉检测模块、训练学习模块、运动规划模块以及控制模块，其中：
视觉检测模块对物体进行图像采集，并发送至控制模块；
训练学习模块对机械臂需要执行抓取动作的物体进行样本数据采集并形成利用Canny算子进行边缘特征提取，接着利用深度卷积神经网络进行数据训练，最后获得目标边缘特征的数据库，当收到新目标的边缘特征信息时，利用已训练的模型进行判断，反馈结果；
运动规划模块包括路径规划部分和抓取动作规划部分，路径规划部分实现机械臂的路径规划，并实现机械臂自主选择路径且避障的功能；抓取动作规划部分实现抓取功能；
控制模块处理视觉检测模块、训练学习模块及运动规划模块传输的信息并传递相应命令至视觉检测模块、训练学习模块及运动规划模块，使机械臂完成路径移动与抓取，具体如下：(1)视觉检测系统通过双目深度摄像头同时采集RGB与深度图像，首先将采集的RGB图发送给控制中心，接着等待控制中心反馈采集图像的边缘特征信息与数据库的样本数据集的对比结果，如若结果为非机械臂动作对象则转而检测下一目标；(2)结果若为机械臂动作对象，控制中心则结合相机所在的坐标位置、深度图的深度信息以及得到的边缘特征信息，采用比例换算，在坐标系中建立目标物体的模型，利用Q-learning算法规划机械臂初始位置与目标位置之间的路径；(3)机械臂到达目标位置后，控制中心依据建立的物体模型大小，发送给机械臂张开抓手的指令，机械臂接收指令并完成抓取，随后，再次利用强化学习算法规划当前所在位置与目的地的路径，完成转移、复位和初始化。
2.根据权利要求1所述的基于3D视觉与深度学习的智能搬运机械臂系统，其特征在于：
视觉检测模块具有双目深度摄像头与RGB摄像头，并利用双目深度摄像头对物体进行图像采集，利用RGB摄像头采集可见光图像，利用双目深度摄像头采集物体的深度信息，并根据要求发送给控制模块。
3.根据权利要求1所述的基于3D视觉与深度学习的智能搬运机械臂系统，其特征在于：
训练学习模块利用Canny算子处理样本的可见光图像，获得相应的边缘特征集合，然后将得到的特征集送至建立好的深度卷积神经网络进行数据训练，得到分拣使用的数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010273493.1A CN111496770B (zh) | 2020-04-09 | 2020-04-09 | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010273493.1A CN111496770B (zh) | 2020-04-09 | 2020-04-09 | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111496770A CN111496770A (zh) | 2020-08-07 |
| CN111496770B true CN111496770B (zh) | 2023-04-07 |
Family
ID=71849234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010273493.1A Active CN111496770B (zh) | 2020-04-09 | 2020-04-09 | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111496770B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036261A (zh) * | 2020-08-11 | 2020-12-04 | 海尔优家智能科技（北京）有限公司 | 手势识别方法、装置、存储介质、电子装置 |
| CN111951248B (zh) * | 2020-08-12 | 2023-11-28 | 上海仁度生物科技股份有限公司 | 一种用于自动化核酸提取设备的定位校准装置及方法 |
| CN112025679B (zh) * | 2020-08-26 | 2021-09-24 | 大连理工大学 | 视触觉融合的五指机械手仿人抓取方法 |
| CN111908155A (zh) * | 2020-09-10 | 2020-11-10 | 佛山科学技术学院 | 一种集装箱机器人自动装卸系统 |
| CN114594757A (zh) * | 2020-12-07 | 2022-06-07 | 山东新松工业软件研究院股份有限公司 | 一种协作机器人的视觉路径规划方法 |
| CN112530267B (zh) * | 2020-12-17 | 2022-11-08 | 河北工业大学 | 一种基于计算机视觉的机械臂智能示教方法及应用 |
| CN112720494A (zh) * | 2020-12-29 | 2021-04-30 | 北京航天测控技术有限公司 | 机械臂避障运动规划方法和装置 |
| CN112847392B (zh) * | 2020-12-30 | 2022-05-20 | 深兰智能科技(上海)有限公司 | 机械手控制方法、装置、设备及计算机可读存储介质 |
| CN112951230A (zh) * | 2021-02-08 | 2021-06-11 | 谈斯聪 | 一种远端及自主实验机器人装置、管理系统及方法 |
| CN113145484A (zh) * | 2021-02-24 | 2021-07-23 | 上海电机学院 | 基于机器视觉的定量药物分拣系统 |
| CN113172663A (zh) * | 2021-03-24 | 2021-07-27 | 深圳先进技术研究院 | 一种机械手抓取稳定性识别方法、装置和电子设备 |
| CN113232019A (zh) * | 2021-05-13 | 2021-08-10 | 中国联合网络通信集团有限公司 | 机械臂控制方法、装置、电子设备及存储介质 |
| CN113343355B (zh) * | 2021-06-08 | 2022-10-18 | 四川大学 | 基于深度学习的飞机蒙皮型面检测路径规划方法 |
| CN113758415A (zh) * | 2021-06-30 | 2021-12-07 | 广东食品药品职业学院 | 一种基于深度学习的机器视觉定位支架及系统及定位方法 |
| CN113561178B (zh) * | 2021-07-30 | 2024-02-13 | 燕山大学 | 一种水下机器人智能抓取装置及其方法 |
| CN113716323A (zh) * | 2021-08-17 | 2021-11-30 | 成都新气象科技实业股份有限公司 | 一种容器智能搬运方法 |
| CN113409394A (zh) * | 2021-08-17 | 2021-09-17 | 成都信息工程大学 | 一种智能叉取方法及系统 |
| CN113706628A (zh) * | 2021-08-17 | 2021-11-26 | 成都信息工程大学 | 一种智能搬运机器人协作系统及其对特征图像的处理方法 |
| CN113777336B (zh) * | 2021-09-08 | 2023-08-04 | 广州赛特智能科技有限公司 | 一种生物标本的自动化检测系统及方法 |
| CN114055501A (zh) * | 2021-11-17 | 2022-02-18 | 长春理工大学 | 一种机器人抓取系统及其控制方法 |
| CN114193440B (zh) * | 2022-01-04 | 2023-09-12 | 中船重工鹏力（南京）智能装备系统有限公司 | 基于3d视觉的机器人自动抓取系统及方法 |
| CN114750155B (zh) * | 2022-04-26 | 2023-04-07 | 广东天太机器人有限公司 | 一种基于工业机器人的物件分类控制系统及方法 |
| CN114986518B (zh) * | 2022-07-19 | 2022-11-04 | 聊城一明五金科技有限公司 | 用于汽车拆解生产线的智能控制方法及系统 |
| CN115519546B (zh) * | 2022-10-25 | 2023-06-27 | 中国科学院国家空间科学中心 | 一种基于智能视觉的天地协同空间科学实验机器人 |
| CN116894616A (zh) * | 2023-08-04 | 2023-10-17 | 湖南大学 | 基于机器视觉识别系统智能控制新能源物流车组装方法 |
| CN117555308B (zh) * | 2024-01-12 | 2024-04-26 | 泉州装备制造研究所 | 一种基于无人叉车的托盘回收方法、系统及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096518A (zh) * | 2016-06-02 | 2016-11-09 | 哈尔滨多智科技发展有限公司 | 基于深度学习的快速动态人体动作提取、识别方法 |
| CN106874914B (zh) * | 2017-01-12 | 2019-05-14 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN106990777A (zh) * | 2017-03-10 | 2017-07-28 | 江苏物联网研究发展中心 | 机器人局部路径规划方法 |
| CN108594803B (zh) * | 2018-03-06 | 2020-06-12 | 吉林大学 | 基于q-学习算法的路径规划方法 |
| CN108972549B (zh) * | 2018-07-03 | 2021-02-19 | 华南理工大学 | 基于Kinect深度摄像头的工业机械臂实时避障规划抓取系统 |
| CN109048892A (zh) * | 2018-07-26 | 2018-12-21 | 西北工业大学 | 一种基于q学习的机械臂末端避障方法 |
| CN109886271B (zh) * | 2019-01-22 | 2021-01-26 | 浙江大学 | 融合深度学习网络和改进边缘检测的图像精确分割方法 |
| CN110281231B (zh) * | 2019-03-01 | 2020-09-29 | 浙江大学 | 无人化fdm增材制造的移动机器人三维视觉抓取方法 |
-
2020
- 2020-04-09 CN CN202010273493.1A patent/CN111496770B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111496770A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111496770B (zh) | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 | |
| CN111055281B (zh) | 一种基于ros的自主移动抓取系统与方法 | |
| CN110948492B (zh) | 一种基于深度学习的三维抓取平台和抓取方法 | |
| CN116600947A (zh) | 多模式综合信息识别移动式双臂机器人装置、系统及方法 | |
| JP2023090917A (ja) | 高度化したスキャンメカニズムを有するロボットシステム | |
| CN111421539A (zh) | 一种基于计算机视觉的工业零件智能识别与分拣系统 | |
| CN111243017B (zh) | 基于3d视觉的智能机器人抓取方法 | |
| CN111462154B (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
| US11648678B2 (en) | Systems, devices, articles, and methods for calibration of rangefinders and robots | |
| CN112518748B (zh) | 面向运动物品的视觉机械臂自动抓取方法与系统 | |
| CN110716559B (zh) | 一种用于商场超市拣货机器人的综合控制方法 | |
| CN112102368B (zh) | 一种基于深度学习的机器人垃圾分类分拣方法 | |
| CN113284178A (zh) | 物体码垛方法、装置、计算设备及计算机存储介质 | |
| Pan et al. | Manipulator package sorting and placing system based on computer vision | |
| Li et al. | A YOLO-GGCNN based grasping framework for mobile robots in unknown environments | |
| CN108470165A (zh) | 一种采摘机器人果实视觉协同搜索方法 | |
| Li et al. | A mobile robotic arm grasping system with autonomous navigation and object detection | |
| CN111975776A (zh) | 基于深度学习和卡尔曼滤波的机器人移动跟踪系统及方法 | |
| Wang et al. | GraspFusionNet: a two-stage multi-parameter grasp detection network based on RGB–XYZ fusion in dense clutter | |
| CN114187312A (zh) | 目标物的抓取方法、装置、系统、存储介质及设备 | |
| Schnaubelt et al. | Autonomous assistance for versatile grasping with rescue robots | |
| KR102452315B1 (ko) | 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법 | |
| CN114888768A (zh) | 一种基于多传感器融合的移动双工业机器人协同抓取系统及方法 | |
| CN115446839A (zh) | 一种基于视觉系统的机械臂多类型物品抓取方法、系统及装置 | |
| Rauer et al. | An autonomous mobile handling robot using object recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |