CN111243017A - 基于3d视觉的智能机器人抓取方法 - Google Patents
基于3d视觉的智能机器人抓取方法 Download PDFInfo
- Publication number
- CN111243017A CN111243017A CN201911349363.5A CN201911349363A CN111243017A CN 111243017 A CN111243017 A CN 111243017A CN 201911349363 A CN201911349363 A CN 201911349363A CN 111243017 A CN111243017 A CN 111243017A
- Authority
- CN
- China
- Prior art keywords
- robot
- coordinate system
- grabbing
- vision
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 230000002787 reinforcement Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000009193 crawling Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种基于3D视觉的智能机器人抓取方法，包括：步骤1，完成智能抓取系统的手眼标定；步骤2，完成基于卷积神经网络的抓取规划模型的训练；步骤3，完成智能智能机器人在真实环境下的抓取。本发明的优点在于：基于3D视觉的智能机器人自主抓取方法，能在非结构环境下完成3D物体识别定位、自主无碰撞路径规划等工作，在工业机器人的拾取、分拣、码垛、装配等工作环境下都有非常重要的应用价值，能显著提高工业机器人在3C行业种类繁多、生产线快速更新特点下的自适应能力。
Description
技术领域
本发明涉及机器人智能控制技术领域，尤其是涉及到一种基于3D视觉的智能机器人抓取方法。
背景技术
3C数码产品(包括计算机、通信类、消费类电子产品的合称)由于其智能化、使用方便、功能强大，越来越受到消费者的欢迎。目前，3C产品的产量也在逐步攀升。
随着3C产品生产过程中的人工成本的快速上升，厂家越来越希望从自动化生产获得更低的成本、更高的效率以及最佳的良品率。机器人技术作为近年来快速发展的智能自动化技术，在工业生产中得到了越来越多地应用。3C行业中，目前也使用了智能机器人的抓取系统，用于3C产品的输送与装配作业中。
发明人在研究中发现，现有技术的智能机器人抓取系统，大都都是基于二维机器视觉，通过识别输送过程中的工件的二维特征(包括定位和颜色等)，以便机器人进行抓取装配，其应用场景中的工件一般比较简单和规则化，以至于仅通过二维特征就容易被机器人所抓取，不适用于更加复杂或具有不易抓取的物体形状(例如具有易滑动的圆弧表面形状)的场景。另外，基于二维机器视觉的抓取系统，工件在输送过程中一般不能有堆叠，如果产生堆叠，一是容易识别失败，二是没有有效地方法确定出供机器人精确稳定抓取的区域。另外，现有的技术泛化能力较差，当抓取目标变更后，以往的抓取策略就不再适用。综上所述，为了推进3C产品的智能化生产技术，有必要提供新的基于3D机器视觉的智能抓取方法。
发明内容
有鉴于此，有必要针对上述的问题，提供一种基于3D视觉的机器人抓取方法，相比于现有技术，能够实现对具有更加复杂形状的工件的抓取，并具备抓取策略的泛化能力，实现对工件的稳定抓取。
一种基于3D视觉的智能机器人抓取方法，包括：
步骤1，完成智能抓取系统的手眼标定；
步骤2，完成基于卷积神经网络的抓取规划模型的训练；
步骤3，完成智能智能机器人在真实环境下的抓取。
所述步骤1的流程具体包括：
搭建所述智能抓取系统，所述智能抓取系统包括Kinect-2.0、YuMi机器人及计算机；所述Kinect-2.0用于作为视觉传感器采集3D视觉数据，所述计算机与所述Kinect-2.0、所述YuMi连接，以完成抓取规划模型训练，并控制所述YuMi机器人实现抓取；
所述Kinect-2.0利用3D相机获取待抓取目标三维6DOF的姿态点云数据；
采用眼在手外的手眼标定方式；
对所述待抓取目标三维6DOF的姿态点云数据进行标定，完成3D相机与所述YuMi机器人的数据互联，以得到相机坐标系和机器人坐标系的参数转换。
所述采用眼在手外的手眼标定方式，包括以下步骤：
标定3D相机的深度图像坐标系与红外相机坐标系求解齐次变化矩阵；
将标定板放在固定位置，读取标定板角点在深度图像中的坐标并将其转换为红外坐标系下坐标记录数据；
控制机器人手臂移动至该坐标记录数据在机器人坐标系之下XYZ；
反复上述流程采集多组公共点数据，使用迭代最近点算法求解出三维坐标系旋转偏移矩阵；
利用前面得到的相机参数完成抓取目标三维点云数据的配准。
深度图像坐标系与红外坐标系的关系为：
其中，OdXdYdZd坐标系表示红外相机坐标系，OoUdVd坐标系表示深度图像坐标系，O1XY为红外相机成像平面坐标系，其X轴与Ud轴平行，Y轴与Vd平行，原点O1的坐标为
坐标系OdXdYdZd坐标原点是红外相机的光心；
其中，P(ud,vd)为深度图像坐标系上一点，在红外坐标系相对应的点为P(xd,yd,zd)，fx与fy表示红外相机的焦距，
与
表示图像坐标系的中心点坐标。
机器人坐标系与3D相机的深度坐标系的转换模型为：
其中，[XR YR ZR]表示YuMi机器人坐标系的点坐标，[XK YK ZK]为3D相机的深度坐标系，λ为两个坐标系尺度比例因子，[ΔTx ΔTy ΔTz]为坐标系平移增量。
所述步骤2的流程，包括：
对深度图像数据进行预处理操作去除采集过程中产生的噪声；
将预处理后的点云数据输入到全卷积网络FCN中，完成3D物体识别，并得到初步的候选抓取区域坐标；
基于深度强化学习的C空间自主路径规划及实时避障；
将前面生成的候选抓取区域坐标和C空间路径在仿真环境下依据深度强化学习DQN理论进行循环试错运行，直到抓取策略足够稳定后，将深度强化学习训练后的抓取策略输出。
所述全卷积网络FCN是一种基于多模态HHA编码的深度学习网络。
多模态HHA编码模块的输入特征融合过程包括：
多模态卷积神经网络将3D视场传感器输出的Depth深度图像进行HHA编码；
多模态卷积神经网络与RGB彩色图像进行对齐操作，并输入到ResNet50模块；
对输入的RGB信息和Depth信息做特征融合。
全卷积神经网络FCN的处理过程包括：
对深度数据进行采样聚类得到一些图心，并以每一个图心为基础做全局池化；
进入多任务阶段，将下采样得到的特征图输入分割和分类的子网络，分类的子网络找多尺度下实现对物体的分类和包围框检测，分割的网络实现物体可抓取区域检测。
损失函数为
L(Pos,Neg)＝∑Lclass+∑(Lclass+αLBoundBox+βLGraspRegion)，
其中，Pos表示正样本，Neg表示负样本，Lclass指识别所得种类的误差，LBoundBox是指物体的包围框误差，LGraspRegion指抓取检测区域的误差。
深度学习强化的训练阶段包括：
通过3D视觉传感器观测环境，并给机器人输入RGB-D；
机器人随机初始化的深度神经网络根据输入State，输出空间里面的机器人动作参数；
机器人执行该动作后，环境观测机器人的动作有无触碰障碍物，并给出一个反馈；
机器人的DNN网络获得反馈，计算网络损失，训练DNN网络的参数；
深度强化学习模型根据3D视觉传感器的连续RGB-D数据集作为输入，并把内部已训练好的深度神经网络输出策略和之前建立的传感器-机器人坐标变换模型相结合，引导机器人躲避障碍物，进行路径规划仿真。
训练阶段的反馈函数为：
Reward＝aL1+bL2，
其中，Reward表示训练阶段的反馈函数，L1表示障碍物度量二范数，L2表示目标物度量二范数。
本发明的优点在于：基于3D视觉的智能机器人自主抓取方法，能在非结构环境下完成3D物体识别定位、自主无碰撞路径规划等工作，在工业机器人的拾取、分拣、码垛、装配等工作环境下都有非常重要的应用价值，能显著提高工业机器人在3C行业种类繁多、产线快速更新特点下的自适应能力。
附图说明
图1为本发明实施例提供的一种基于3D视觉的智能机器人抓取方法的流程示意图；
图2为本发明实施例提供的机器人智能抓取系统；
图3为本发明实施例提供的多模态HHA编码模块；
图4为本发明实施例提供的前端全卷积网络的结构示意图；
图5为本发明实施例提供的基于深度强化学习的C空间路径规划算法原理图；
图6为本发明实施例提供的深度强化学习中的DNN网络结构。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例中：
如图1，一种基于3D视觉的智能机器人抓取方法，包括以下步骤：
步骤1：完成抓取系统的手眼标定；
步骤2：完成基于卷积神经网络的抓取规划模型训练；
步骤3：完成机器人在真实环境下的抓取。
步骤1中，抓取系统的手眼标定包括以下步骤：
①搭建机器人智能抓取系统，其如图2所示：
智能抓取系统由Kinect-2.0、YuMi机器人及计算机构成；其中，YuMi机器人作为执行器负责抓取，Kinect-2.0作为视觉传感器负责数据采集；计算机与Kinect-2.0、YuMi机器人分别通过USB-3.0和网线连接。
②利用3D相机获取抓取目标三维6DOF的姿态点云数据。
③采用眼在手外(Eye-To-Hand)的手眼标定方式：
对待抓取目标三维6DOF的姿态点云数据进行标定，完成3D相机与智能机器人的数据互联，以得到相机坐标系和机器人坐标系之间的参数转换；
所述Eye-to-Hand的手眼标定方式，包括以下步骤：
标定3D相机的深度图像坐标系与红外相机坐标系求解齐次变化矩阵；
将标定板放在固定位置，读取标定板角点在深度图像中的坐标并将其转换为红外坐标系下坐标记录数据；
式1表示深度图像像素坐标系与红外坐标系的关系，式中，fx与fy表示红外相机的焦距，ud与vd表示图像坐标系的中心点坐标；
控制机器人手臂移动至该位置记录该点在机器人坐标系之下XYZ；
反复上述流程采集多组公共点数据，并使用迭代最近点算法求解出三维坐标系旋转偏移矩阵；
式2表示三维坐标系转换模型，式中，[XR YR ZR]表示机器人坐标系的点坐标，[XKYK ZK]为3D相机的深度坐标系，λ为两个坐标系尺度比例因子，[ΔTX ΔTY ΔTZ]T平移矩阵为坐标系平移增量。
④利用前面得到的相机参数完成抓取目标三维点云数据的配准；
由于点云数据的无序性特征，在采集的数据基础上还需利用区域生长的方法对局部缺失数据点进行补全；
所述点云数据的配准方法，包括以下步骤：
采用最小二乘法计算目标函数整体误差；
使用SVD分解方法将目标函数简化求解旋转矩阵；
根据式3求解平移参数；
式3中，(xi,yi,zi)表示原始坐标，(x'i,y'i,z'i)表示目标坐标，λ表示深度相机和机器人坐标比例因子，R表示旋转矩阵。
步骤2中，基于卷积神经网络的抓取规划模型训练包括以下步骤：
①对深度图像数据进行预处理操作去除采集过程中产生的噪声；
图像预处理包括：梯度计算、深度图缺失值补全、二值化等操作。
②将预处理后的点云数据输入到一个全卷积网络(FCN)中，完成3D物体识别，并得到初步的候选抓取区域坐标；
所述全卷积网络(FCN)是指一种基于HHA的编码深度图像的方法，多模态HHA编码模块如图3所示：
其输入是将深度图像转换为3种不同的通道(水平差异、对地高度以及表面法向量的角度)，结合原来的RGB彩色三通道，一共是6个通道数据输入的深度神经网络；
所述多模态HHA编码模块的输入特征融合过程包括以下几个步骤：
多模态卷积神经网络将3D视场传感器输出的Depth深度图像进行HHA编码；
多模态卷积神经网络与RGB彩色图像进行对齐操作，并格子输入到ResNet50模块；
对输入的RGB信息和depth信息做特征融合；
所述全卷积网络(FCN)的输出包括物体种类、包围框、可抓取区域，前端全卷积网络的结构示意图如图4所示，其处理过程包括以下几个步骤：
对深度数据进行采样聚类得到一些图心，并以每一个图心为基础做全局池化；
进入多任务阶段，将下采样得到的特征图输入分割和分类的子网络，分类的子网络找多尺度下实现对物体的分类和包围框检测，分割的网络实现物体可抓取区域检测；
所述多模态、多任务深度卷积神经网络的损失函数定义如下式4所示；
式4中，Pos表示正样本，Neg表示负样本，Lclass是指识别所得种类的误差、LBoundBox是指物体的包围框误差、LGraspRegion指抓取检测区域的误差。
③基于深度强化学习的C空间自主路径规划及实时避障，其算法原理如图5所示：
依靠3D视觉系统，实时区分动态环境中的目标地点及障碍物，训练深度神经网络输出运动策略，引导机器人抓取目标物体；
所述C空间为机器人每个臂的转角形成空间；
将机器人的动作在C空间中描述成一个点，并参考平面中点的路径规划方法，进行路径规划研究。
④将前面生成的候选抓取区域坐标和C空间路径在仿真环境下依据深度强化学习(DQN)理论进行循环试错运行，直到抓取策略足够稳定后，将经深度强化学习训练后的抓取策略输出；
深度强化学习中的DNN网络结构如图6所示：
所述深度强化学习的训练阶段包括以下几个步骤：
通过3D视觉传感器观测环境，并给机器人输入RGB-D；
机器人随机初始化的深度神经网络根据输入State，输出空间里面的机器人动作参数；
机器人执行该动作后，环境观测机器人的动作有无触碰障碍物，并给出一个反馈；
机器人的DNN网络获得反馈，计算网络损失，训练DNN网络的参数；
训练阶段的反馈函数定义如下式5所示；
Reward＝a×L1+b×L2--式5
在式5中，Reward表示训练阶段的反馈函数，L1表示障碍物度量二范数，L2为目标物度量二范数；
深度强化学习模型根据3D视觉传感器的连续RGB-D数据集作为输入，并把内部已训练好的深度神经网络输出策略和之前建立的传感器-机器人坐标变换模型相结合，引导机器人躲避障碍物，进行路径规划仿真。
步骤3中，根据坐标系转换参数将抓取点映射到机器人坐标系，将由深度强化学习训练后的抓取策略应用到真实环境中，完成目标的抓取。
本发明的优点在于：基于3D视觉的智能机器人自主抓取方法，能在非结构环境下完成3D物体识别定位、自主无碰撞路径规划等工作，在工业机器人的拾取、分拣、码垛、装配等工作环境下都有非常重要的应用价值，能显著提高工业机器人在3C行业种类繁多、生产线快速更新特点下的自适应能力。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种基于3D视觉的智能机器人抓取方法，其特征在于，包括：
步骤1，完成智能抓取系统的手眼标定；
步骤2，完成基于卷积神经网络的抓取规划模型的训练；
步骤3，完成智能智能机器人在真实环境下的抓取。
2.根据权利要求1所述的基于3D视觉的智能机器人抓取方法，其特征在于，所述步骤1的流程具体包括：
搭建所述智能抓取系统，所述智能抓取系统包括Kinect-2.0、YuMi机器人及计算机；所述Kinect-2.0用于作为视觉传感器采集3D视觉数据，所述计算机与所述Kinect-2.0、所述YuMi连接，以完成抓取规划模型训练，并控制所述YuMi机器人实现抓取；
所述Kinect-2.0利用3D相机获取待抓取目标三维6DOF的姿态点云数据；
采用眼在手外的手眼标定方式；
对所述待抓取目标三维6DOF的姿态点云数据进行标定，完成3D相机与所述YuMi机器人的数据互联，以得到相机坐标系和机器人坐标系的参数转换。
3.根据权利要求2所述的基于3D视觉的智能机器人抓取方法，其特征在于，所述采用眼在手外的手眼标定方式，包括以下步骤：
标定3D相机的深度图像坐标系与红外相机坐标系求解齐次变化矩阵；
将标定板放在固定位置，读取标定板角点在深度图像中的坐标并将其转换为红外坐标系下坐标记录数据；
控制机器人手臂移动至该坐标记录数据在机器人坐标系之下XYZ；
反复上述流程采集多组公共点数据，使用迭代最近点算法求解出三维坐标系旋转偏移矩阵；
利用前面得到的相机参数完成抓取目标三维点云数据的配准。
4.根据权利要求3所述的基于3D视觉的智能机器人抓取方法，其特征在于，深度图像坐标系与红外坐标系的关系为：
其中，OdXdYdZd坐标系表示红外相机坐标系，OoUdVd坐标系表示深度图像坐标系，O1XY为红外相机成像平面坐标系，其X轴与Ud轴平行，Y轴与Vd平行，原点O1的坐标为
坐标系OdXdYdZd坐标原点是红外相机的光心；
其中，P(ud,vd)为深度图像坐标系上一点，在红外坐标系相对应的点为P(xd,yd,zd)，fx与fy表示红外相机的焦距，
与
表示图像坐标系的中心点坐标。
5.根据权利要求3所述的基于3D视觉的智能机器人抓取方法，其特征在于，机器人坐标系与3D相机的深度坐标系的转换模型为：
其中，[XR YR ZR]表示YuMi机器人坐标系的点坐标，[XK YK ZK]为3D相机的深度坐标系，λ为两个坐标系尺度比例因子，
为坐标系平移增量。
6.根据权利要求2所述的基于3D视觉的智能机器人抓取方法，其特征在于，所述步骤2的流程，包括：
对深度图像数据进行预处理操作去除采集过程中产生的噪声；
将预处理后的点云数据输入到全卷积网络FCN中，完成3D物体识别，并得到初步的候选抓取区域坐标；
基于深度强化学习的C空间自主路径规划及实时避障；
将前面生成的候选抓取区域坐标和C空间路径在仿真环境下依据深度强化学习DQN理论进行循环试错运行，直到抓取策略足够稳定后，将深度强化学习训练后的抓取策略输出。
7.根据权利要求6所述的基于3D视觉的智能机器人抓取方法，其特征在于，所述全卷积网络FCN是一种基于多模态HHA编码的深度学习网络。
8.根据权利要求7所述的基于3D视觉的智能机器人抓取方法，其特征在于，多模态HHA编码模块的输入特征融合过程包括：
多模态卷积神经网络将3D视场传感器输出的Depth深度图像进行HHA编码；
多模态卷积神经网络与RGB彩色图像进行对齐操作，并输入到ResNet50模块；
对输入的RGB信息和Depth信息做特征融合。
9.根据权利要求6所述的基于3D视觉的智能机器人抓取方法，其特征在于，全卷积神经网络FCN的处理过程包括：
对深度数据进行采样聚类得到一些图心，并以每一个图心为基础做全局池化；
进入多任务阶段，将下采样得到的特征图输入分割和分类的子网络，分类的子网络找多尺度下实现对物体的分类和包围框检测，分割的网络实现物体可抓取区域检测。
10.根据权利要求9所述的基于3D视觉的智能机器人抓取方法，其特征在于，损失函数为
L(Pos,Neg)＝∑Lclass+∑(Lclass+αLBoundBox+βLGraspRegion)，
其中，Pos表示正样本，Neg表示负样本，Lclass指识别所得种类的误差，LBoundBox是指物体的包围框误差，LGraspRegion指抓取检测区域的误差。
11.根据权利要求6所述的基于3D视觉的智能机器人抓取方法，其特征在于，深度学习强化的训练阶段包括：
通过3D视觉传感器观测环境，并给机器人输入RGB-D；
机器人随机初始化的深度神经网络根据输入State，输出空间里面的机器人动作参数；
机器人执行该动作后，环境观测机器人的动作有无触碰障碍物，并给出一个反馈；
机器人的DNN网络获得反馈，计算网络损失，训练DNN网络的参数；
深度强化学习模型根据3D视觉传感器的连续RGB-D数据集作为输入，并把内部已训练好的深度神经网络输出策略和之前建立的传感器-机器人坐标变换模型相结合，引导机器人躲避障碍物，进行路径规划仿真。
12.根据权利要求11所述的基于3D视觉的智能机器人抓取方法，其特征在于，训练阶段的反馈函数为：
Reward＝aL1+bL2，
其中，Reward表示训练阶段的反馈函数，L1表示障碍物度量二范数，L2表示目标物度量二范数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911349363.5A CN111243017B (zh) | 2019-12-24 | 2019-12-24 | 基于3d视觉的智能机器人抓取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911349363.5A CN111243017B (zh) | 2019-12-24 | 2019-12-24 | 基于3d视觉的智能机器人抓取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111243017A true CN111243017A (zh) | 2020-06-05 |
| CN111243017B CN111243017B (zh) | 2024-05-10 |
Family
ID=70879391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911349363.5A Active CN111243017B (zh) | 2019-12-24 | 2019-12-24 | 基于3d视觉的智能机器人抓取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111243017B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101410A (zh) * | 2020-08-05 | 2020-12-18 | 中国科学院空天信息创新研究院 | 一种基于多模态特征融合的图像像素语义分割方法及系统 |
| CN112435297A (zh) * | 2020-12-02 | 2021-03-02 | 达闼机器人有限公司 | 目标物体位姿确定方法、装置、存储介质及电子设备 |
| CN112720494A (zh) * | 2020-12-29 | 2021-04-30 | 北京航天测控技术有限公司 | 机械臂避障运动规划方法和装置 |
| CN113392584A (zh) * | 2021-06-08 | 2021-09-14 | 华南理工大学 | 基于深度强化学习和方向估计的视觉导航方法 |
| CN113877827A (zh) * | 2021-09-14 | 2022-01-04 | 深圳玩智商科技有限公司 | 物流件抓取方法、抓取设备及存储介质 |
| CN113894050A (zh) * | 2021-09-14 | 2022-01-07 | 深圳玩智商科技有限公司 | 物流件分拣方法、分拣设备及存储介质 |
| CN114611911A (zh) * | 2022-03-02 | 2022-06-10 | 博雷顿科技有限公司 | 多工种车辆无人驾驶协同作业设计方法、算法系统及车辆 |
| CN114933176A (zh) * | 2022-05-14 | 2022-08-23 | 江苏经贸职业技术学院 | 一种采用人工智能的3d视觉码垛系统 |
| CN115294562A (zh) * | 2022-07-19 | 2022-11-04 | 广西大学 | 一种植保机器人作业环境智能感知方法 |
| CN115393255A (zh) * | 2022-02-17 | 2022-11-25 | 中科芯集成电路有限公司 | 基于视觉与神经网络的航空杆件自动组装检测装置及方法 |
| WO2023273179A1 (zh) * | 2021-06-29 | 2023-01-05 | 达闼科技（北京）有限公司 | 抓取网络训练方法、系统、电子设备及存储介质 |
| RU2791587C1 (ru) * | 2022-05-18 | 2023-03-10 | Самсунг Электроникс Ко., Лтд. | Способ обеспечения компьютерного зрения |
| CN117455837A (zh) * | 2023-09-22 | 2024-01-26 | 苏州诺克汽车工程装备有限公司 | 一种基于深度学习的高反光汽车零件识别上料方法与系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN107253191A (zh) * | 2017-05-22 | 2017-10-17 | 广州中国科学院先进技术研究所 | 一种双机械臂系统及其协调控制方法 |
| CN110136169A (zh) * | 2019-04-26 | 2019-08-16 | 哈尔滨工业大学（深圳） | 一种基于nurbs的无标记面状柔性体变形跟踪方法 |
-
2019
- 2019-12-24 CN CN201911349363.5A patent/CN111243017B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN107253191A (zh) * | 2017-05-22 | 2017-10-17 | 广州中国科学院先进技术研究所 | 一种双机械臂系统及其协调控制方法 |
| CN110136169A (zh) * | 2019-04-26 | 2019-08-16 | 哈尔滨工业大学（深圳） | 一种基于nurbs的无标记面状柔性体变形跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 卢岸潇: "基于双目立体视觉的工件定位技术研究" * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101410A (zh) * | 2020-08-05 | 2020-12-18 | 中国科学院空天信息创新研究院 | 一种基于多模态特征融合的图像像素语义分割方法及系统 |
| CN112435297A (zh) * | 2020-12-02 | 2021-03-02 | 达闼机器人有限公司 | 目标物体位姿确定方法、装置、存储介质及电子设备 |
| CN112720494A (zh) * | 2020-12-29 | 2021-04-30 | 北京航天测控技术有限公司 | 机械臂避障运动规划方法和装置 |
| CN113392584A (zh) * | 2021-06-08 | 2021-09-14 | 华南理工大学 | 基于深度强化学习和方向估计的视觉导航方法 |
| CN113392584B (zh) * | 2021-06-08 | 2022-12-16 | 华南理工大学 | 基于深度强化学习和方向估计的视觉导航方法 |
| WO2023273179A1 (zh) * | 2021-06-29 | 2023-01-05 | 达闼科技（北京）有限公司 | 抓取网络训练方法、系统、电子设备及存储介质 |
| CN113877827A (zh) * | 2021-09-14 | 2022-01-04 | 深圳玩智商科技有限公司 | 物流件抓取方法、抓取设备及存储介质 |
| CN113894050A (zh) * | 2021-09-14 | 2022-01-07 | 深圳玩智商科技有限公司 | 物流件分拣方法、分拣设备及存储介质 |
| CN115393255A (zh) * | 2022-02-17 | 2022-11-25 | 中科芯集成电路有限公司 | 基于视觉与神经网络的航空杆件自动组装检测装置及方法 |
| CN114611911A (zh) * | 2022-03-02 | 2022-06-10 | 博雷顿科技有限公司 | 多工种车辆无人驾驶协同作业设计方法、算法系统及车辆 |
| CN114611911B (zh) * | 2022-03-02 | 2024-07-12 | 博雷顿科技股份公司 | 多工种车辆无人驾驶协同作业设计方法、系统及车辆 |
| CN114933176A (zh) * | 2022-05-14 | 2022-08-23 | 江苏经贸职业技术学院 | 一种采用人工智能的3d视觉码垛系统 |
| RU2791587C1 (ru) * | 2022-05-18 | 2023-03-10 | Самсунг Электроникс Ко., Лтд. | Способ обеспечения компьютерного зрения |
| CN115294562B (zh) * | 2022-07-19 | 2023-05-09 | 广西大学 | 一种植保机器人作业环境智能感知方法 |
| CN115294562A (zh) * | 2022-07-19 | 2022-11-04 | 广西大学 | 一种植保机器人作业环境智能感知方法 |
| CN117455837A (zh) * | 2023-09-22 | 2024-01-26 | 苏州诺克汽车工程装备有限公司 | 一种基于深度学习的高反光汽车零件识别上料方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111243017B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111243017B (zh) | 基于3d视觉的智能机器人抓取方法 | |
| CN108280856B (zh) | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 | |
| CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
| CN111251295B (zh) | 一种应用于参数化零件的视觉机械臂抓取方法及装置 | |
| CN111496770A (zh) | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 | |
| CN112907735B (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
| CN112518748B (zh) | 面向运动物品的视觉机械臂自动抓取方法与系统 | |
| CN110969660B (zh) | 一种基于三维立体视觉和点云深度学习的机器人上料系统 | |
| CN111598172B (zh) | 基于异构深度网络融合的动态目标抓取姿态快速检测方法 | |
| Liu et al. | CNN-based vision model for obstacle avoidance of mobile robot | |
| Zheng et al. | Industrial part localization and grasping using a robotic arm guided by 2D monocular vision | |
| CN115861780B (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
| CN113284179A (zh) | 一种基于深度学习的机器人多物体分拣方法 | |
| CN113822946B (zh) | 一种基于计算机视觉的机械臂抓取方法 | |
| CN118122642A (zh) | 一种板簧压力分拣方法及分拣系统 | |
| Cheng et al. | Object handling using autonomous industrial mobile manipulator | |
| CN114140526A (zh) | 一种基于深度学习的无序工件三维视觉位姿估计方法 | |
| CN117340929A (zh) | 一种基于三维点云数据的柔性夹爪抓取处置装置及方法 | |
| Wang et al. | GraspFusionNet: a two-stage multi-parameter grasp detection network based on RGB–XYZ fusion in dense clutter | |
| CN115194774A (zh) | 一种基于多目视觉的双机械臂抓握系统控制方法 | |
| Lei et al. | Multi-stage 3d pose estimation method of robot arm based on RGB image | |
| Sun et al. | Precise grabbing of overlapping objects system based on end-to-end deep neural network | |
| Fan et al. | Multitarget Flexible Grasping Detection Method for Robots in Unstructured Environments. | |
| An et al. | An Autonomous Grasping Control System Based on Visual Object Recognition and Tactile Perception | |
| Liu et al. | The Application of Machine Vision Algorithm in Obstacle Recognition and Navigation of Logistics Robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |