CN108081266B - 一种基于深度学习的机械臂手部抓取物体的方法 - Google Patents

一种基于深度学习的机械臂手部抓取物体的方法 Download PDF

Info

Publication number
CN108081266B
CN108081266B CN201711162385.1A CN201711162385A CN108081266B CN 108081266 B CN108081266 B CN 108081266B CN 201711162385 A CN201711162385 A CN 201711162385A CN 108081266 B CN108081266 B CN 108081266B
Authority
CN
China
Prior art keywords
output
layer
network
data
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711162385.1A
Other languages
English (en)
Other versions
CN108081266A (zh
Inventor
王传江
侯鹏亮
王栋
朱坤怀
张远来
袁振
孙秀娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN201711162385.1A priority Critical patent/CN108081266B/zh
Publication of CN108081266A publication Critical patent/CN108081266A/zh
Application granted granted Critical
Publication of CN108081266B publication Critical patent/CN108081266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于深度学习的机械臂手部物体抓取方法，属于多自由度机械手控制技术领域，在抓取事物之前采用深度学习网络架构提前做好标签，进行训练分类，一个标签对应一种抓取角度做好数据库，当使用者说出指令，经过语音识别确定要抓取的物体，然后经过图像识别与定位找到物体并返回图像坐标与机械臂手部抓取的角度，经过粒子群优化的BP神经网络对图像坐标进行矫正，最后经过GRNN网络反解出各个电机需要转的角度，转到目标后机械手完成抓取。本发明可以实现选定目标抓取，同时避免了抓取不稳定的问题。

Description

一种基于深度学习的机械臂手部抓取物体的方法
技术领域
本发明属于多自由度机械手控制技术领域，具体涉及一种基于深度学习的机械臂手部抓取物体的方法。
背景技术
随着社会的不断发展，人们对社会服务的需求也会随之增加，老年人与残疾人士也成为人们关注的焦点。老年人口的迅速增长，导致老龄化在我国已经非常严重。据统计，在2016年60岁以上的人口已经达到了2.3亿多，但并没有如此多的护理人员来照顾这些老人。不仅如此，大量的伤残人士同样需要大量的护理人员。传统的护理方式已经不能满足现在社会现状的需求，先进的护理机器人将会改善老年人与残疾人的生活。随着护理机器人走进人们的视野，护理机器人的功能更加完善。国内外对护理机器人的研发一直没有松懈过，不论是荷兰Exact Dynamics公司生产的MANUS康复机器人手臂，还是德国宇航中心研发的LWR轻型机械臂，护理机械臂的研发从未停止过，护理机械臂手部准确抓取不同物体的难点也随之凸显出来。
关节电机转动一定的角度，通过路径规划找到合理的路径，转到目标，通过手部来进行抓取，但是具有如下缺点：不同物体的抓取稳定度不足，大多数机械臂只抓取单一特定结构的物体，而且容易将待抓取物碰倒。
发明内容
针对现有技术中存在的上述技术问题，本发明提出了一种基于深度学习的机械臂手部抓取物体的方法，设计合理，克服了现有技术的不足，具有良好的效果。
为了实现上述目的，本发明采用如下技术方案：
一种基于深度学习的机械臂手部抓取物体的方法，采用双目相机、工作站以及多自由度机械臂实现语音控制机械臂抓取物体，采取对待抓取物进行理想化抓取，记录下此时机械臂各关节电机的角度，做好映射关系，一个物体对应着一组机械臂电机的理论角度值；
具体包括如下步骤：
步骤1：特定人语音训练；具体包括如下步骤：
步骤1.1：对语音信号序列X(n)进行预处理，得到序列Xm(n)后，进行傅里叶变换：
X(i,k)＝FFT[Xm(n)]；
普线能量：E(i,k)＝[X(i,k)]2；
步骤1.2：经过Mel滤波器Hm(k)滤波：
Figure GDA0002261854600000021
其中，0≤m≤M，M是滤波器Hm(k)的数量；
经过Mel滤波器Hm(k)之后的能量：
Figure GDA0002261854600000022
0≤m≤M；
步骤1.3：计算离散余弦变化倒谱的MFCC特征参数：
Figure GDA0002261854600000023
步骤1.4：将计算得到的特征矩阵跟指令以文件名称的形式存起来，当收到语音信号时进行匹配，确定语音命令，得到待抓取物体；
步骤2：通过双目相机进行三维建模；具体包括如下步骤：
步骤2.1：进行离线双目相机标定，求得双目相机的内外参数，确定旋转矩阵与平移矩阵，从而将世界坐标系进行平移和转换得到摄像机坐标系；
步骤2.2：根据双目相机焦距进行三角几何变换得到图像物理坐标系；
步骤2.3：根据双目相机内参数、像素和公制单位的比率得到图像像素坐标系，得到物体在图像物理坐标系中的坐标值；
步骤3：通过粒子群优化三层BP神经网络对机械臂的角度进行矫正；具体包括如下步骤：
步骤3.1：样本采集，输入样本是不准确的三维坐标值，输出样本是期望的三维坐标值；
步骤3.2：初始化，对中间多个神经元的权值跟阈值进行赋值；
步骤3.3：将训练样本输入到网络中，通过传递函数计算出网络的实际输出；
步骤3.4：根据目标输出和实际输出求得一般化误差；
步骤3.5：根据一般化误差对中间多个神经元的权值跟阈值进行矫正，直至神经网络的全局误差小于设定的误差；
步骤3.6：粒子群优化BP的误差函数；
隐含层节点yi输出：
Figure GDA0002261854600000024
其中：xi为输入节点，wji为输入与隐层之间的权值，
Figure GDA0002261854600000025
输出节点的输出：
Figure GDA0002261854600000031
其中：vlj为隐层与输出之间的权值，
Figure GDA0002261854600000032
输出节点的误差E：
Figure GDA0002261854600000033
其中：tl为期望的输出；输出节点的误差函数E作为粒子群的优化函数；
步骤4：通过广义回归神经网络GRNN进行求逆解，从而求出各个电机的角度；具体包括如下步骤：
步骤4.1：采集机械臂待抓取物体位置的三维坐标，以及此时对应的电机角度；
步骤4.2：将采集的机械臂的三维坐标作为输入，将电机角度作为期望输出，进行GRNN网络建模；
步骤5：训练AlexNet网络的model；
在Caffe环境下，通过GPU训练AlexNet网络的model，通过python或者vs2013加载Caffe，调用model，对待抓取的物体进行识别；
步骤6：通过机械臂进行抓取。
优选地，步骤5中，具体包括如下步骤：
步骤5.1：收集样本，做好标签分类，选择物体的照片，对物体进行人工分类并做好标记，图片的大小均为227*227像素；
步骤5.2：样本输入时减去每张照片的均值，生成均值文件；
步骤5.3：建立AlexNet神经网络；具体包括如下步骤：
步骤5.3.1：修改输出神经元的个数，对来自最底层的数据类型ImageData类型进行转换，转成LMDB格式，然后执行步骤5.3.2进行初始化；
步骤5.3.2：对图片进行剪切并设置顶层数据的维数，进行卷积操作，对图像的局部特征进行相关性特征提取，然后将局部特征连接起来就是图像整体的图像特征，每张图片的数据与权重相乘然后加上偏置就是中间层输出结果；
步骤5.3.3：经过下采样层对卷积层的输出进行平均值池化，降低数据维数，之后进行全连接得到最终的数据；
步骤5.3.4：从输出层到输入层的反向计算，也是遍历所有数据，然后根据顶层的数据梯度直接计算出偏置梯度，根据底层数据和顶层的数据梯度相乘计算出权重的梯度，然后顶层数据梯度与权重相乘得到底层的数据梯度；
步骤5.4：进行参数调节，修改参数文件的内容；
每次测试迭代1000次，每1000次进行一次测试，网络学习率0.01，网络动量值0.9，网络权重衰减0.0005，最大迭代次数设置5000，每20次显示一次，保存中间结果1000，model模式选择GPU；
步骤5.5：应用Python加载Caffe训练好的model，然后通过摄像头对待识别物体进行识别，之后与样本匹配选择出与待识别物体最接近的标签。
本发明所带来的有益技术效果：
本发明提出的基于深度学习的机械臂手部物体抓取方法，极大地提高了机械臂抓取物体时的准确度与稳定性，可以很好的解决机械手在抓取物体时导致的抓取物不平衡或者碰倒抓取物等一系列抓取问题，并且可以对多种物体进行稳定抓取。
附图说明
图1为基于深度学习的机械臂手部物体抓取方法的流程图。
图2为双目相机坐标转换示意图。
图3为AlexNet网络结构图。
图4为BP神经网络误差示意图。
图5为AlexNet训练参数结果测试图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
一种基于深度学习的机械臂手部抓取物体的方法，其流程如图1所示，采用双目相机、工作站以及多自由度机械臂实现语音控制机械臂抓取物体，采取对待抓取物进行理想化抓取，记录下此时机械臂各关节电机的角度，做好映射关系，一个物体对应着一组机械臂电机的理论角度值；具体包括以下步骤：
步骤1：特定人语音训练；具体包括如下步骤：
步骤1.1：对语音信号序列X(n)进行预处理，得到序列Xm(n)后，进行傅里叶变换：
X(i,k)＝FFT[Xm(n)]；
普线能量：E(i,k)＝[X(i,k)]2；
步骤1.2：经过Mel滤波器Hm(k)滤波：
Figure GDA0002261854600000051
其中，0≤m≤M，M是滤波器Hm(k)的数量；
经过Mel滤波器Hm(k)之后的能量：
Figure GDA0002261854600000052
0≤m≤M；
步骤1.3：计算离散余弦变化倒谱的MFCC特征参数：
Figure GDA0002261854600000053
步骤1.4：将计算得到的特征矩阵跟指令以文件名称的形式存起来，当收到语音信号时进行匹配，确定语音命令，得到待抓取物体；
步骤2：通过双目相机进行三维建模；其流程如图2所示，具体包括如下步骤：
步骤2.1：进行离线双目相机标定，求得双目相机的内外参数，确定旋转矩阵与平移矩阵，从而将世界坐标系进行平移和转换得到摄像机坐标系；
步骤2.2：根据双目相机焦距进行三角几何变换得到图像物理坐标系；
步骤2.3：根据双目相机内参数、像素和公制单位的比率得到图像像素坐标系，得到物体在图像物理坐标系中的坐标值；
步骤3：通过粒子群优化三层BP神经网络对机械臂的角度进行矫正；具体包括如下步骤：
步骤3.1：样本采集，输入样本是不准确的三维坐标值，输出样本是期望的三维坐标值；
步骤3.2：初始化，对中间多个神经元的权值跟阈值进行赋值；
步骤3.3：将训练样本输入到网络中，通过传递函数计算出网络的实际输出；
步骤3.4：根据目标输出和实际输出求得一般化误差；
步骤3.5：根据一般化误差对中间多个神经元的权值跟阈值进行矫正，直至神经网络的全局误差小于设定的误差；
步骤3.6：粒子群优化BP神经网络的误差函数；
隐含层节点yi输出：
Figure GDA0002261854600000054
其中：xi为输入节点，wji为输入与隐层之间的权值，
Figure GDA0002261854600000055
输出节点的输出：
Figure GDA0002261854600000056
其中：vlj为隐层与输出之间的权值，
Figure GDA0002261854600000061
输出节点的误差E：
Figure GDA0002261854600000062
其中：tl为期望的输出；输出节点的误差函数E作为粒子群的优化函数；
BP神经网络误差如图4所示。
步骤4：通过广义回归神经网络GRNN进行求逆解，从而求出各个电机的角度；具体包括如下步骤：
步骤4.1：采集机械臂待抓取物体位置的三维坐标，以及此时对应的电机角度；
步骤4.2：将采集的机械臂的三维坐标作为输入，将电机角度作为期望输出，进行GRNN网络建模；
步骤5：训练AlexNet网络的model；
在Caffe环境下，通过GPU训练AlexNet网络的model，通过python或者vs2013加载Caffe，调用model，对待抓取的物体进行识别；
AlexNet网络结构如图3所示，AlexNet训练参数结果如图5所示。
步骤6：通过机械臂进行抓取。
在步骤5中，具体包括如下步骤：
步骤5.1：收集样本，做好标签分类，选择物体的照片，对物体进行人工分类并做好标记，图片的大小均为227*227像素；
步骤5.2：样本输入时减去每张照片的均值，生成均值文件；
步骤5.3：建立AlexNet神经网络；具体包括如下步骤：
步骤5.3.1：修改输出神经元的个数，对来自最底层的数据类型ImageData类型进行转换，转成LMDB格式，然后执行步骤5.3.2进行初始化；
步骤5.3.2：对图片进行剪切并设置顶层数据的维数，进行卷积操作，对图像的局部特征进行相关性特征提取，然后将局部特征连接起来就是图像整体的图像特征，每张图片的数据与权重相乘然后加上偏置就是中间层输出结果；
步骤5.3.3：经过下采样层对卷积层的输出进行平均值池化，降低数据维数，之后进行全连接得到最终的数据；
步骤5.3.4：从输出层到输入层的反向计算，也是遍历所有数据，然后根据顶层的数据梯度直接计算出偏置梯度，根据底层数据和顶层的数据梯度相乘计算出权重的梯度，然后顶层数据梯度与权重相乘得到底层的数据梯度；
步骤5.4：进行参数调节，修改lenet_solver.prototxt文件内容；
每次测试迭代1000次，每1000次进行一次测试，网络学习率0.01，网络动量值0.9，网络权重衰减0.0005，最大迭代次数设置5000，每20次显示一次，保存中间结果1000，model模式选择GPU；
步骤5.5：应用Python加载Caffe训练好的model，然后通过摄像头对待识别物体进行识别，之后与样本匹配选择出与待识别物体最接近的标签。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (2)

1.一种基于深度学习的机械臂手部抓取物体的方法，采用双目相机、工作站以及多自由度机械臂实现语音控制机械臂抓取物体，采取对待抓取物进行理想化抓取，记录下此时机械臂各关节电机的角度，做好映射关系，一个物体对应着一组机械臂电机的理论角度值；其特征在于：具体包括如下步骤：
步骤1：特定人语音训练；具体包括如下步骤：
步骤1.1：对语音信号序列X(n)进行预处理，得到序列Xm(n)后，进行傅里叶变换：
X(i,k)＝FFT[Xm(n)]；
普线能量：E(i,k)＝[X(i,k)]2；
步骤1.2：经过Mel滤波器Hm(k)滤波：
Figure FDA0002261854590000011
其中，0≤m≤M，M是滤波器Hm(k)的数量；
经过Mel滤波器Hm(k)之后的能量：
Figure FDA0002261854590000012
步骤1.3：计算离散余弦变化倒谱的MFCC特征参数：
Figure FDA0002261854590000013
步骤1.4：将计算得到的特征矩阵跟指令以文件名称的形式存起来，当收到语音信号时进行匹配，确定语音命令，得到待抓取物体；
步骤2：通过双目相机进行三维建模；具体包括如下步骤：
步骤2.1：进行离线双目相机标定，求得双目相机的内外参数，确定旋转矩阵与平移矩阵，从而将世界坐标系进行平移和转换得到摄像机坐标系；
步骤2.2：根据双目相机焦距进行三角几何变换得到图像物理坐标系；
步骤2.3：根据双目相机内参数、像素和公制单位的比率得到图像像素坐标系，得到物体在图像物理坐标系中的坐标值；
步骤3：通过粒子群优化三层BP神经网络对机械臂的角度进行矫正；具体包括如下步骤：
步骤3.1：样本采集，输入样本是不准确的三维坐标值，输出样本是期望的三维坐标值；
步骤3.2：初始化，对中间多个神经元的权值跟阈值进行赋值；
步骤3.3：将训练样本输入到网络中，通过传递函数计算出网络的实际输出；
步骤3.4：根据目标输出和实际输出求得一般化误差；
步骤3.5：根据一般化误差对中间多个神经元的权值跟阈值进行矫正，直至神经网络的全局误差小于设定的误差；
步骤3.6：粒子群优化BP的误差函数；
隐含层节点yi输出：
Figure FDA0002261854590000021
其中：xi为输入节点，wji为输入与隐层之间的权值，
Figure FDA0002261854590000022
输出节点的输出：
Figure FDA0002261854590000023
其中：vlj为隐层与输出之间的权值，
Figure FDA0002261854590000024
输出节点的误差E：
Figure FDA0002261854590000025
其中：tl为期望的输出；输出节点的误差函数E作为粒子群的优化函数；
步骤4：通过广义回归神经网络GRNN进行求逆解，从而求出各个电机的角度；具体包括如下步骤：
步骤4.1：采集机械臂待抓取物体位置的三维坐标，以及此时对应的电机角度；
步骤4.2：将采集的机械臂的三维坐标作为输入，将电机角度作为期望输出，进行GRNN网络建模；
步骤5：训练AlexNet网络的model；
在Caffe环境下，通过GPU训练AlexNet网络的model，通过python或者vs2013加载Caffe，调用model，对待抓取的物体进行识别；
步骤6：通过机械臂进行抓取。
2.根据权利要求1所述的基于深度学习的机械臂手部抓取物体的方法，其特征在于：步骤5中，具体包括如下步骤：
步骤5.1：收集样本，做好标签分类，选择物体的照片，对物体进行人工分类并做好标记，图片的大小均为227*227像素；
步骤5.2：样本输入时减去每张照片的均值，生成均值文件；
步骤5.3：建立AlexNet神经网络；具体包括如下步骤：
步骤5.3.1：修改输出神经元的个数，对来自最底层的数据类型ImageData类型进行转换，转成LMDB格式，然后执行步骤5.3.2进行初始化；
步骤5.3.2：对图片进行剪切并设置顶层数据的维数，进行卷积操作，对图像的局部特征进行相关性特征提取，然后将局部特征连接起来就是图像整体的图像特征，每张图片的数据与权重相乘然后加上偏置就是中间层输出结果；
步骤5.3.3：经过下采样层对卷积层的输出进行平均值池化，降低数据维数，之后进行全连接得到最终的数据；
步骤5.3.4：从输出层到输入层的反向计算，也是遍历所有数据，然后根据顶层的数据梯度直接计算出偏置梯度，根据底层数据和顶层的数据梯度相乘计算出权重的梯度，然后顶层数据梯度与权重相乘得到底层的数据梯度；
步骤5.4：进行参数调节，修改参数文件的内容；
每次测试迭代1000次，每1000次进行一次测试，网络学习率0.01，网络动量值0.9，网络权重衰减0.0005，最大迭代次数设置5000，每20次显示一次，保存中间结果1000，model模式选择GPU；
步骤5.5：应用Python加载Caffe训练好的model，然后通过摄像头对待识别物体进行识别，之后与样本匹配选择出与待识别物体最接近的标签。
CN201711162385.1A 2017-11-21 2017-11-21 一种基于深度学习的机械臂手部抓取物体的方法 Active CN108081266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711162385.1A CN108081266B (zh) 2017-11-21 2017-11-21 一种基于深度学习的机械臂手部抓取物体的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711162385.1A CN108081266B (zh) 2017-11-21 2017-11-21 一种基于深度学习的机械臂手部抓取物体的方法

Publications (2)

Publication Number Publication Date
CN108081266A CN108081266A (zh) 2018-05-29
CN108081266B true CN108081266B (zh) 2020-03-10

Family

ID=62172649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711162385.1A Active CN108081266B (zh) 2017-11-21 2017-11-21 一种基于深度学习的机械臂手部抓取物体的方法

Country Status (1)

Country Link
CN (1) CN108081266B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108748101B (zh) * 2018-06-21 2020-08-07 南京航空航天大学 一种配有气动软体末端件的机械臂控制系统
CN109188902A (zh) * 2018-08-08 2019-01-11 重庆两江微链智能科技有限公司 一种机器人学习方法、控制方法、装置、存储介质及主控设备
CN109483534B (zh) * 2018-11-08 2022-08-02 腾讯科技（深圳）有限公司 一种物体抓取方法、装置和系统
CN109176532B (zh) * 2018-11-09 2020-09-29 中国科学院自动化研究所 一种机械臂路径规划方法、系统及装置
CN110154023B (zh) * 2019-05-22 2021-06-04 同济大学 一种基于运动学分析的多臂协同焊接机器人控制方法
CN110202583B (zh) * 2019-07-09 2020-12-22 华南理工大学 一种基于深度学习的仿人机械手控制系统及其控制方法
JP7221183B2 (ja) * 2019-09-20 2023-02-13 株式会社日立製作所 機械学習方法、フォークリフト制御方法、及び機械学習装置
CN111015676B (zh) * 2019-12-16 2023-04-28 中国科学院深圳先进技术研究院 基于无手眼标定的抓取学习控制方法、系统、机器人及介质
CN111151463B (zh) * 2019-12-24 2021-12-14 北京无线电测量研究所 一种基于3d视觉的机械臂分拣抓取系统及方法
CN111797929B (zh) * 2020-07-07 2023-08-22 金陵科技学院 一种基于cnn与pso的双目机器人障碍特征检测方法
CN111993416B (zh) * 2020-07-30 2021-09-14 浙江大华技术股份有限公司 一种控制机械臂运动的方法、设备、系统以及装置
CN112294599B (zh) * 2020-10-30 2021-09-07 中国科学院自动化研究所 基于人体参数的训练轨迹生成模型构建方法、系统、装置
CN113628509A (zh) * 2021-08-19 2021-11-09 柳州工学院 一种多功能几何教学投影仪
CN113752255B (zh) * 2021-08-24 2022-12-09 浙江工业大学 一种基于深度强化学习的机械臂六自由度实时抓取方法
CN114347687B (zh) * 2022-01-05 2023-05-12 珠海中京电子电路有限公司 Outer离线AOI自动化上、下板记录方法、自动手臂机及应用
CN114453852A (zh) * 2022-02-16 2022-05-10 上海海事大学 基于语音识别控制机械臂进行叶片装配的方法和系统
CN114523478B (zh) * 2022-04-24 2022-06-28 季华实验室 机械臂结构参数的补偿模型获取方法和补偿方法
CN114932560B (zh) * 2022-07-25 2022-11-22 山东贞元汽车车轮有限公司 一种机械臂抓取轮毂的自动控制方法和系统
CN116330310B (zh) * 2023-02-14 2023-11-07 河南泽远网络科技有限公司 一种低延时机器人交互方法
CN116699166B (zh) * 2023-08-08 2024-01-02 国网浙江省电力有限公司宁波供电公司 一种基于视觉识别的油色谱样品自动定位方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120239396A1 (en) * 2011-03-15 2012-09-20 At&T Intellectual Property I, L.P. Multimodal remote control
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法
CN104078039A (zh) * 2013-03-27 2014-10-01 广东工业大学 基于隐马尔科夫模型的家用服务机器人语音识别系统

Also Published As

Publication number Publication date
CN108081266A (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
CN108081266B (zh) 一种基于深度学习的机械臂手部抓取物体的方法
CN110827342B (zh) 三维人体模型重建方法及存储设备、控制设备
CN111738261B (zh) 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
CN110163187A (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN111968217B (zh) 基于图片的smpl参数预测以及人体模型生成方法
CN107688856B (zh) 基于深度强化学习的室内机器人场景主动识别方法
CN110222580B (zh) 一种基于三维点云的人手三维姿态估计方法和装置
CN111523486B (zh) 一种基于改进CenterNet的机械臂抓取检测方法
JP7412847B2 (ja) 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム
CN109858569A (zh) 基于目标检测网络的多标签物体检测方法、系统、装置
CN110827398A (zh) 基于深度神经网络的室内三维点云自动语义分割算法
CN111553949A (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN113158833B (zh) 一种基于人体姿态的无人车控制指挥方法
CN110969660A (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN112489117A (zh) 一种单视角点云下基于域迁移的机器人抓取位姿检测方法
CN110796700A (zh) 基于卷积神经网络的多物体抓取区域定位方法
CN114627290A (zh) 一种基于改进DeepLabV3+网络的机械零部件图像分割算法
CN110532441A (zh) 一种电子元器件智慧管理方法及其系统
CN110910349A (zh) 一种基于航拍视觉的风电机组状态获取方法
CN110889460B (zh) 一种基于协同注意力机制的机械臂指定物体抓取方法
Hao et al. General target detection method based on improved SSD
He et al. Visual recognition and location algorithm based on optimized YOLOv3 detector and RGB depth camera
CN115439744A (zh) 基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180529

Assignee: Qingdao Zhuo Xintong Intelligent Technology Co.,Ltd.

Assignor: Shandong University of Science and Technology

Contract record no.: X2021370010027

Denomination of invention: A method of grasping object by manipulator hand based on depth learning

Granted publication date: 20200310

License type: Exclusive License

Record date: 20210728