CN106874914B - 一种基于深度卷积神经网络的工业机械臂视觉控制方法 - Google Patents

一种基于深度卷积神经网络的工业机械臂视觉控制方法 Download PDF

Info

Publication number
CN106874914B
CN106874914B CN201710021710.6A CN201710021710A CN106874914B CN 106874914 B CN106874914 B CN 106874914B CN 201710021710 A CN201710021710 A CN 201710021710A CN 106874914 B CN106874914 B CN 106874914B
Authority
CN
China
Prior art keywords
layer
target object
crawl
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710021710.6A
Other languages
English (en)
Other versions
CN106874914A (zh
Inventor
皮思远
肖南峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710021710.6A priority Critical patent/CN106874914B/zh
Publication of CN106874914A publication Critical patent/CN106874914A/zh
Application granted granted Critical
Publication of CN106874914B publication Critical patent/CN106874914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的工业机械臂视觉控制方法，包括步骤：1)目标物体视觉信息采集与预处理；2)训练与调整深度卷积神经网络模型；3)验证模型与保存模型。本发明结合深度卷积神经网络提取不同姿态的目标物体的理想抓取位置，提升了系统能够适用的范围，从而克服了传统视觉控制发放识别特定目标物体差问题，有效简化工业机械臂的使用难度，为工业机械臂控制提供新的方法，具备良好的扩展性。

Description

一种基于深度卷积神经网络的工业机械臂视觉控制方法
技术领域
本发明涉及工业机械臂领域，尤其是指一种基于深度卷积神经网络的工业机械臂视觉控制方法。
背景技术
在工业生产中，工业机械臂可以替代人力进行简单和重复性的工作，例如：拾取、组装、焊接、包装、敲打、剪切、打磨、拖拽等生产操作。特别是在危险、恶劣的作业环境下使用机器人技术降低潜在的安全风险。研究机器人技术是实现智能制造，降低企业生产成本的重要的途径。
“运动规划”和“任务确定”是工业机械臂的关键的两类技术。“运动规划”可以分为路径规划(path planning)和轨迹生成(trajectory generation)两部分。路径规划的目的是为工业机械臂找到一系列无干涉、并能成功完成任务的路径点，这些路径点可以是三维空间中的坐标，或者关节角度，路径规划即为工业机械臂确定工作过程中需要经过的特定位置的集合；轨迹生成负责为工业机械臂生成一系列在运动上连续的参考点和附加信息，轨迹生成即确定工业机械臂以何种方式、速度通过路径规划生成的路径点集合。
“任务确定”是研究和解决工业机械臂如何识别目标物体。工业机械臂需要能够识别目标物体，然后才能进行后续生产操作。目前这部分存在很大缺陷，现有的工业机械臂需要要求物件出现在固定的空间三维坐标位置上。工业机械臂再从这个位置针对不同作业对物件进行具体操作。
目前在传统工业机器人上的控制技术(正逆运动学，正逆动力学，轨迹规划，参数辨识，误差补偿等)在理论上已经非常成熟了，只要给定目标坐标，就能配合多种方法进行轨迹规划获取一条适当的运动路径和运动过程中的动力输出配置。
目前生产上的工业机械臂使用方式有以下几种：
1.拖动示教：即通过拖动工业机器人来教会工业机器人按照固定的轨迹进行工作，使用上十分简单，但是面对复杂工作不能很好的进行规划，而且这种拖动方式需要人来进行，工业机器人存在一定危险性。
2.外部示教：利用手：势传感器来操作机器人，让机器人模仿手的运动。但是问题在于这些传感器的精度不高，短期内无法用于工业生产。
3.语音示教：利用预定义的语音指令来操纵工业机器人运动，存在问题是可操作精度差，不能很好的进行精细的工作。
4.编程示教：即利用工业机器人的示教盒进行编程控制工业机器人的运转，这需要工厂中有熟悉机器人的使用人员。
以上的4种工业机器人使用方式都存在的缺点的是，工业机器人需要按照预定义的程序运转，需要专业人员进行维护，并且应用到新任务中的复杂度高。部署和实施上的困难在很大程度上限制了机器人产业的反展。给定目标物体信息，工业机械臂便可完成相应生产操作，但是如何确定目标物体是应用的一大难题。因此亟需一种智能的能够自动识别目标物体的算法用于控制工业机械臂，降低工业机械臂的应用成本。
发明内容
本发明的目的在于克服现有工业机械臂视觉控制技术自动化水平与智能化层度低，提出了一种基于深度卷积神经网络的工业机械臂视觉控制方法，该方法考虑了工业机械臂相对稳定的室内工作环境要求，克服通过重复性编程控制工业机器人的缺点；结合机器学习与机器视觉，利用仿生物视觉方法的深度卷积神经网络的提取目标零件的能力，提升工业机械臂视觉系统识别目标零件的准确度，优化工业机械臂的使用和加速工业机械臂在生产中的应用。
为实现上述目的，本发明所提供的技术方案为：一种基于深度卷积神经网络的工业机械臂视觉控制方法，具体包含以下步骤：
1)目标物体视觉信息采集与预处理
将目标物体放置于工作台上，利用CCD照像机采集目标物体图像的颜色信息图片和深度信息，以及进行人工标注理想抓取位姿点。
2)训练与调整深度卷积神经网络模型
利用步骤1)中采集的目标物体对预设深度神经网络进行训练，得到目标物体模型高层次特征表达，得到预训练的深度卷积神经网络模型，并利用一组测试数据调整和测试预训练的深度卷积神经网络模型的准确率。
3)验证模型与保存模型
将CCD照像机采集新的目标物体图像的样本作为步骤2)得到的深度卷积神经网络的输入，得到目标物体上的理想抓取位置，以此位置作为目标点，控制机械臂进行抓取操作。
在步骤1)中，目的是充分获取到目标物体的视觉信息表示以及标注理想抓取位置，利用CCD照相机采集目标物体视觉信息。具体要求为采集在工作台上不同姿态，不同位置，不同方向的目标物体视觉信息图片，这样才能充分表示在多种情况下目标物体的实际分布。目标物体可以有多种，比如电子零件、剪刀、水杯、手机天线等物体。在工厂实际加工中生产线上需要加工的多类别的。采集生产线上需要加工的多种目标物体的视觉信息图像样本可使训练后的深度卷积神经网络具备识别多种目标物体抓取位置的能力。规整采集到的目标物体图像大小为248×248像素。人工使用方框标注目标物体的理想抓取位置，即工业机械臂的夹具需要运动到此区域才能完成成功的抓取。目标物体的理想抓取位置可能存在多个，便可以多次标注，以5元组的形式表示标注的理想抓取位置：(抓取中心x坐标，抓取中心y坐标，方框长度，方框高度，方框与水平方向的夹角)，其中夹角用弧度制表示。标注的多个抓取点，其重要性不同，对于规则的目标物体，工业机械臂抓取的成功概率是越接近目标物体中心的抓取成功率越高。由此需要对采集的图像进行二值化，然后利用高斯分布，计算目标物体图像中目标物体中心的抓取成功可能性，抓取成功可能性是由(0，1)区间表示的概率，其中目标物体中心点的抓取可能性设为1，目标物体的边界抓取可能性设为0。对人工标准的5元组集合进行添加上抓取成功可能性属性即最终得到关于抓取位置的6元组(抓取成功可能性，抓取中心x坐标，抓取中心y坐标，方框长度，方框高度，方框与水平方向的夹角)。由此，训练深度卷积神经网络所需要的目标物体视觉信息图像样本和标注信息已经完备。
在步骤2)中，本发明采用深度卷积神经网络对工作台上的目标物体的理想抓取点进行识别从而控制工业机械臂进行抓取等工业加工处理操作，具体实现为如下：
在深度卷积神经网络中主要包括卷积运算操作层、下采样层、激活层(在本发明中使用的是修正线性单元函数)以及全连接层(一般用于深度卷积网络的最后一层，得出深度卷积网络的预测结果)。
卷积运算操作层相对于传统的神经网络中的层减少了层中权重参数的数量。卷积运算操作层通过令每个神经元与下一层的若干个局部区域相连接。将目标物体视觉信息图像(长、宽固定)输入到卷积运算层中，计算权重和局部区域图像像素值的内积，卷积运算后的输出y与卷积核w、卷积前的输入x关系如下：
其中yj是卷积后输出向量中的元素，xi是与yj对应的卷积前输入的局部区域中的像素，从而提取局部区域的特征结果信息，在整幅图像上滑动的重复计算这个过程，提取得到整幅图像关于此权重向量的特征结果信息，这部分权重值组成的向量称为卷积核或过滤器。过滤器能够提取出目标物体图像的部分特征信息，当过滤器与局部区域图像像素进行内积操作时，存在特征内积输出展现为激活状态。经过卷积运算操作后就能得到新的目标物体的二维表示，在单个卷积运算操作层中应用若干过滤器提取目标物体若干新的二维表示，其中过滤器相对应的特征的表达结果保留在新的二维表示中，在训练过程中，会根据神经网络预测结果与真实结果的误差，通过反向计算最终误差对每一层的参数的导数(即误差函数的梯度)对卷积核进行修正，从而使网络能够学习到目标物体理想抓取位置的特征。
在卷积运算操作层中过滤器(卷积核)也是其独特新颖之处，根据历史经验用高纬度的数据训练传统的神经网络会造成梯度消失、陷入局部最优等困难。在卷积运算操作层中，每一层的神经元仅与上一层的局部区域相连接，前一层的以滑动窗口的方式对内积和像素值进行内积操作。在内积操作中，仅窗口中的目标物体图像像素值参与内积运算。滑动方式是每次窗口向右移动若干单位的像素(使得窗口覆盖新的局部区域)，若已到达目标物体图像的右边界，则移动窗口回到目标图像的左边界，并将窗口向下移动若干单位的像素。此窗口即为过滤器(卷积核)，其具有长度和宽度(具有长×宽的像素大小的区域)。上述运算提取出目标物体图像具有过滤器所表示特征的过滤结果。在实际应用中，过滤器的长、宽、数量属于超参数，需要手动设置。通过这样的方式，过滤器减少了卷积操作层中需要的参数数量，实现了层中参数共享的作用。
下采样层，也即池化层，经过卷积运算操作层后，得到的目标物体新的二维表示仍然存在维度过高的情形，维数过多使得训练难度增加，容易使得深度卷积网络产生过拟合现象，需要通过下采样方法降低新的二维表示的数据维度。下采样的方法是对图像数据中不同位置的特征进行聚合统计，具体是：将目标物体新的二维表示分割成大小相同的若干的小区域，以此小区域的统计特征表示该区域，从而使得数据的维度降低。下采样常采用2×2的分割区域大小。通常卷积运算操作层和下采样层合并认为是一层。
本发明的深度卷积神经网络的在上述的基本层上叠加产生的，由5个卷积层、3个下采样层、2个全连接层以及一个DropOut层组合而成。最终输出的是一个6元组描述的抓取位置点，包含抓取位置的信息，其具体形式即步骤1)中处理后的标注信息：(抓取成功可能性，抓取中心x坐标，抓取中心y坐标，方框长度，方框高度，方框与水平方向的夹角)。
第一层是卷积运算操作层与下采样层，这一层输入的是248×248像素大小的目标物体视觉信息图像。大小为9×9像素的32个过滤器，填充值为4，使用的激活函数是修正线性单元函数，使用2×2的核进行下采样输出为：124×124×32,然后进行正则化处理。
第二层是卷积运算操作层与下采样层，这一层输入的是124×124×32的图像，采用大小为9×9像素的32个过滤器，填充值为4，使用的激活函数是修正线性单元函数，使用2×2的核进行下采样输出为：68×68×32的二维图像。
第三层是卷积运算操作层，这一层输入的是68×68×32的图像，采用大小为7×7像素的16个过滤器，填充值为3，使用的激活函数是修正线性单元函数，这一层不使用下采样，输出为68×68×16的二维图像。
第四层是卷积运算操作层，这一层输入的是68×68×16的图像，采用大小为5×5像素的12个过滤器，填充值为2，使用的激活函数是修正线性单元函数，这一层不使用下采样，输出为68×68×12的二维图像。
第五层是卷积运算操作层与下采样层，这一层输入的是68×68×16的图像，采用大小为3×3像素的6个过滤器，填充值为1，使用的激活函数是修正线性单元函数，使用2×2的核进行下采样输出为：34×34×6的二维图像。
第六层是全连接层，接收的输入是6936维的向量，即上一神经网络层的输出展开后的向量，输出2000维的向量，使用的激活函数是修正线性单元函数。
第七层是DropOut层，接收2000维的输入向量，输出1000维向量采用的激活函数是修正线性单元函数防止过拟合，DropOut层仅产生80％的输出。
第八层是全连接层接收上一层的输出，通过softmax函数产生一个6元抓取位置描述(抓取成功可能性，抓取中心x坐标，抓取中心y坐标，方框长度，方框高度，方框与水平方向的夹角)。
在本发明的深度卷积神经网络中，前七层使用的是线性修正单元函数，经过探究发现在大、复杂的数据上，线性修正单元函数比对数似然函数在训练中更加快收敛，使得训练效率提高，线性修正单元函数定义如下：
f(x)＝max(0,x)
因为线性修正单元函数的在0点处并不连续，在利用随机梯度下降算法反向训练算法的时候要求其中的神经元激活函数连续可导，人为定义线性修正单元函数在0点处的导数为：
本发明中深度卷积神经网络输出的结果重要程度不一致，其中抓取成功可能性最重要，深度卷积神经网络能够给出抓取成功率最高的可能性预测，因此在损失函数中加入惩罚项，提高预测抓取成功可能性对在深度卷积神经网络中的影响，将6元组以(a,x,y,w,h,c)表示，其中a对应抓取成功可能性，x对应抓取中心x坐标，y对应抓取中心y坐标，w对应方框长度，h对应方框高度，c对应方框与水平方向的夹角，损失函数为：
通过超参数λ增大a(抓取成功可能性)的影响，式中 表示输入样本的目标标签，即步骤1)中描述的人工标注标签。
训练阶段，通过将步骤1)中得到的目标物体样本数据分割成3部分：训练集合、验证集合、测试集合。利用批量随机梯度下降的方法训练深度卷积神经网络。需要对深度卷积神经网络的学习率参数η，mini-batch大小参数以及迭代次数等超参数进行调优。每次训练后在验证集合上验证训练后的神经网络预测结果，满足一定成功率阈值后即可停止训练。
测试阶段，利用分割后的测试集合进行测试训练后深度卷积神经网络的泛化误差，满足一定成功率阈值后即可进入步骤3)，若低于此成功率则需要对深度卷积神经网络的超参数进行调优重新训练。
在步骤3)中，预先标定CCD照相机的位置与工业机械臂使得工业机械臂坐标系与CCD照相机图片坐标系相匹配(使CCD图片坐标系与工业机械臂坐标系只有平移变换)，即需要获得CCD照相机与工业机械臂的横坐标偏差Δx，纵坐标偏差Δy以及工作台与工业机械臂坐标空间零点z轴方向的偏差的Δz，利用齐次坐标变换即可将CCD照相机坐标系的点，变为工业机械臂坐标系中的点：
其中(rx,ry,rz)即为转换后工业机械臂坐标系中的点，通过设置CCD照相机与工业机械臂之间的偏移使得视觉控制方法中预测出的抓取位置点中的(x,y)坐标结合工作台与的工业机械臂坐标空间零点z轴方向的偏差能够转化成工业机械臂坐标系中的空间点(rx,ry,rz)。
在工作台上放置需要进行抓取操作的目标物体，经过CCD照相机采集目标物体视觉信息图像后，将图像大小规整为248×248，送入训练后的深度卷积神经网络进行预测，得到深度卷积神经网络预测后的抓取位置点，将此目标点进行转换到工业机械臂坐标空间的坐标点(x,y,z)，同时需要对末端执行器夹具的角度进行调整(根据深度卷积神经网络预测6元组中的方框与水平方向的夹角)，然后实施抓取操作。
往复验证此过程以验证实际生产中的视觉控制方法的成功率，当满足一定成功率后便可认为具有实用性。对于不同生产应用场景此成功率有所不同。可将训练得到的神经网络模型进行保存便于生产和功能更新。也可将训练后的神经网络移植到其他工业生产线中，由此体现了本发明具有的共享性。
本发明与现有技术相比，具有以下优点与有益效果：
1、本发明首次将深度卷积神经网络应用在工业机械臂的视觉控制中，能够提取不同姿态的目标物体的理想抓取位置，并能够识别多种物体的理想抓取位置，提升了系统能够适用的范围，从而克服了传统视觉控制系统智能识别特定目标物体。
2、与以往的工业机械臂编程示教控制方法不同，本发明方法有效的简化了工业机械臂的使用难度，为工业机械臂控制提供了一种新的解决方案。与以往的视觉控制系统不同，本发明能够持续集成识别新的目标物体的深度卷积神经网络，具备良好的扩展性。
3、本发明提出的基于深度卷积神经网络的工业机械臂视觉控制方法，不仅可以适用于工业机械臂的抓取操作，也可适用于工业机械臂进行焊接、敲打等其他操作，也可适用于delta并联机器人的视觉控制。
附图说明
图1为本发明方法的流程图。
图2为本发明的深度卷积神经网络结构图。
图3为生产应用中机械臂实验示意图。
图4为本发明的目标物体视觉信息采集与预处理的结果示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
以六自由度冗余工业机械臂为例，如图1所示，本实施例的基于深度卷积神经网络的工业机械臂视觉控制方法，具体包括以下步骤：
1)目标物体视觉信息采集与预处理
将目标物体放置于工作台上，利用CCD照像机采集目标物体在工作台上不同姿态，不同位置，不同方向的图像的颜色信息图片，以及进行人工标注理想抓取位姿点。目的是充分获取到目标物体的视觉信息表示以及标注理想抓取位置，这样才能充分表示在多种情况下目标物体的实际分布。目标物体可以有多种，比如电子零件、剪刀、水杯、手机天线等物体。在工厂实际加工中生产线上需要加工的多类别的。采集生产线上需要加工的多种目标物体的视觉信息图像样本可使训练后的深度卷积神经网络具备识别多种目标物体抓取位置的能力。规整采集到的目标物体图像大小为248×248像素。人工使用方框标注目标物体的理想抓取位置，即工业机械臂的夹具需要运动到此区域才能完成成功的抓取。目标物体的理想抓取位置可能存在多个，便可以多次标注，如图4所示，以5元组的形式表示标注的理想抓取位置：(抓取中心x坐标，抓取中心y坐标，方框长度，方框高度，方框与水平方向的夹角)，其中夹角用弧度制表示。标注的多个抓取点，其重要性不同，在图4中，中间标注的方框区域的抓取位置抓取可能性最大。对于规则的目标物体，工业机械臂抓取的成功概率是越接近目标物体中心的抓取成功率越高。由此需要对采集的图像进行二值化，然后利用高斯分布，计算目标物体图像中目标物体中心的抓取成功可能性，抓取成功可能性是由(0，1)区间表示的概率，其中目标物体中心点的抓取可能性设为1，目标物体的边界抓取可能性设为0。对人工标准的5元组集合进行添加上抓取成功可能性属性即最终得到关于抓取位置的6元组(抓取成功可能性，抓取中心x坐标，抓取中心y坐标，方框长度，方框高度，方框与水平方向的夹角)。由此，训练深度卷积神经网络所需要的目标物体视觉信息图像样本和标注信息已经完备。
2)训练与调整深度卷积神经网络模型
本发明采用深度卷积神经网络对工作台上的目标物体的理想抓取点进行识别从而控制工业机械臂进行抓取等工业加工处理操作，具体实施如下：
卷积运算操作层相对于传统的神经网络中的层减少了层中权重参数的数量。卷积运算操作层通过令每个神经元与下一层的若干个局部区域相连接。将目标物体视觉信息图像(长、宽固定)输入到卷积运算层中，计算权重和局部区域图像像素值的内积，卷积运算后的输出y与卷积核w、卷积前的输入x关系如下：
其中yj是卷积后输出向量中的元素，xi是与yj对应的卷积前输入的局部区域中的像素，从而提取局部区域的特征结果信息，在整幅图像上滑动的重复计算这个过程，提取得到整幅图像关于此权重向量的特征结果信息，这部分权重值组成的向量称为卷积核或过滤器。过滤器能够提取出目标物体图像的部分特征信息，当过滤器与局部区域图像像素进行内积操作时，存在特征内积输出展现为激活状态。经过卷积运算操作后就能得到新的目标物体的二维表示，在单个卷积运算操作层中应用若干过滤器提取目标物体若干新的二维表示，其中过滤器相对应的特征的表达结果保留在新的二维表示中。
在卷积运算操作层中过滤器(卷积核)也是其独特之处，在实际应用中，过滤器的长、宽、数量属于超参数，需要手动设置，本发明的深度卷积神经网络的不同层分别采用了9×9，7×7，5×5，3×3大小的过滤器。
下采样层在实施中的下采样层采用2×2的分割区域大小。卷积运算操作层和下采样层合并认为是一层。
如图2所示，本实施例上述的深度卷积神经网络具体由5个卷积层、3个下采样层、2个全连接层以及一个DropOut层组合而成，最终输出的是一个6元组描述的抓取位置点，包含抓取位置的信息，其具体形式即步骤1)中处理后的标注信息：(抓取成功可能性，抓取中心x坐标，抓取中心y坐标，方框长度，方框高度，方框与水平方向的夹角)。
第一层是卷积运算操作层与下采样层，这一层输入的是248×248像素大小的目标物体视觉信息图像。大小为9×9像素的32个过滤器，填充值为4，使用的激活函数是修正线性单元函数，使用2×2的核进行下采样输出为：124×124×32,然后进行正则化处理。
第二层是卷积运算操作层与下采样层，这一层输入的是124×124×32的图像，采用大小为9×9像素的32个过滤器，填充值为4，使用的激活函数是修正线性单元函数，使用2×2的核进行下采样输出为：68×68×32的二维图像。
第三层是卷积运算操作层，这一层输入的是68×68×32的图像，采用大小为7×7像素的16个过滤器，填充值为3，使用的激活函数是修正线性单元函数，这一层不使用下采样，输出为68×68×16的二维图像。
第四层是卷积运算操作层，这一层输入的是68×68×16的图像，采用大小为5×5像素的12个过滤器，填充值为2，使用的激活函数是修正线性单元函数，这一层不使用下采样，输出为68×68×12的二维图像。
第五层是卷积运算操作层与下采样层，这一层输入的是68×68×16的图像，采用大小为3×3像素的6个过滤器，填充值为1，使用的激活函数是修正线性单元函数，使用2×2的核进行下采样输出为：34×34×6的二维图像。
第六层是全连接层，接收的输入是6936维的向量，即上一神经网络层的输出展开后的向量，输出2000维的向量，采用的激活函数是修正线性单元函数。
第七层是DropOut层，接收2000维的输入向量，输出1000维向量采用的激活函数是修正线性单元函数防止过拟合，DropOut层仅产生80％的输出。
第八层是全连接层接收上一层的输出，通过softmax函数产生一个6元抓取位置描述(抓取成功可能性，抓取中心x坐标，抓取中心y坐标，方框长度，方框高度，方框与水平方向的夹角)。
在本发明的深度卷积神经网络中，前七层使用的是线性修正单元函数，经过探究发现在大、复杂的数据上，线性修正单元函数比对数似然函数在训练中更加快收敛，使得训练效率提高，线性修正单元函数定义如下：
f(x)＝max(0,x)
因为线性修正单元函数的在0点处并不连续，在利用随机梯度下降算法反向训练算法的时候要求其中的神经元激活函数连续可导，人为定义线性修正单元函数在0点处的导数为：
本发明中深度卷积神经网络输出的结果重要程度不一致，其中抓取成功可能性最重要，深度卷积神经网络能够给出抓取成功率最高的可能性预测，因此在损失函数中加入惩罚项，提高预测抓取成功可能性对在深度卷积神经网络中的影响，将6元组以(a,x,y,w,h,c)表示，其中a对应抓取成功可能性，x对应抓取中心x坐标，y对应抓取中心y坐标，w对应方框长度，h对应方框高度，c对应方框与水平方向的夹角，损失函数为：
通过超参数λ增大a(抓取成功可能性)的影响，式中 表示输入样本的目标标签，即步骤1)中描述的人工标注标签。在实施中将超参数λ设置为0.1。
训练阶段，通过将步骤1)中得到的目标物体样本数据分割成3部分：训练集合、验证集合、测试集合。利用批量随机梯度下降的方法训练深度卷积神经网络。需要对深度卷积神经网络的学习率参数η，mini-batch大小参数以及迭代次数等超参数进行调优。每次训练后在验证集合上验证训练后的神经网络预测结果，满足一定成功率阈值后即可停止训练。在本实施例使用了28种小物体的数据集合(包含被子、剪刀、笔、遥控器等)。在本实验中设置学习率参数为0.05，mini-batch为64，进行了2000迭代实验，最终在验证集合上神经网络的预测结果与真实结果相比得到的准确率为86.72％。
测试阶段，利用分割后的测试集合进行测试训练后深度卷积神经网络的泛化误差。满足一定成功率阈值后即可进入步骤3)，若低于此成功率则需要对深度卷积神经网络的超参数进行调优重新训练。在此例中设置的阀值为85％，在实验集合上本发明的深度卷积神经网络实现86.34％的准确率。证明网络的泛化能力足够，面对28种的目标物体能够成功实现抓取超过8成的物体。
3)验证模型与保存模型
如图3所示，预先标定CCD照相机的位置与工业机械臂使得工业机械臂坐标系与CCD照相机图片坐标系相匹配(使CCD图片坐标系与工业机械臂坐标系只有平移变换)，即需要获得CCD照相机与工业机械臂的横坐标偏差Δx，纵坐标偏差Δy以及工作台与工业机械臂坐标空间零点z轴方向的偏差的Δz，利用齐次坐标变换即可将CCD照相机坐标系的点，变为工业机械臂坐标系中的点：
其中(rx,ry,rz)即为转换后工业机械臂坐标系中的点，通过设置CCD照相机与工业机械臂之间的偏移使得视觉控制方法中预测出的抓取位置点中的(x,y)坐标结合工作台与的工业机械臂坐标空间零点z轴方向的偏差能够转化成工业机械臂坐标系中的空间点(rx,ry,rz)。
在工作台上放置需要进行抓取操作的目标物体，经过CCD照相机采集目标物体视觉信息图像后，将图像大小规整为248×248，送入训练后的深度卷积神经网络进行预测，得到深度卷积神经网络预测后的抓取位置点，将此目标点进行转换到工业机械臂坐标空间的坐标点(x,y,z)，同时需要对末端执行器夹具的角度进行调整(根据深度卷积神经网络预测6元组中的方框与水平方向的夹角)，然后实施抓取操作。
往复验证此过程以验证实际生产中的视觉控制方法的成功率，当满足一定成功率后便可认为具有实用性。对于不同生产应用场景此成功率有所不同。可将训练得到的神经网络模型进行保存便于生产和功能更新。也可将训练后的神经网络移植到其他工业生产线中，由此体现了本发明方法具有的共享性。
总之，本发明提出的基于深度卷积神经网络的工业机械臂视觉控制方法简化了传统编织示教方式控制工业机械臂的难度，同时又具有良好的扩展适应性，值得推广。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.一种基于深度卷积神经网络的工业机械臂视觉控制方法，其特征在于，包括以下步骤：
1)目标物体视觉信息采集与预处理
将目标物体放置于工作台上，利用CCD照像机采集目标物体图像的颜色信息图片和深度信息，以及进行人工标注理想抓取位姿点；
2)训练与调整深度卷积神经网络模型
利用步骤1)中采集的目标物体对预设深度神经网络进行训练，得到目标物体模型高层次特征表达，得到预训练的深度卷积神经网络模型，并利用一组测试数据调整和测试预训练的深度卷积神经网络模型的准确率；
其中，采用深度卷积神经网络对工作台上的目标物体的理想抓取点进行识别从而控制工业机械臂进行抓取工业加工处理操作，具体实现为如下：
在深度卷积神经网络中主要包括卷积运算操作层、下采样层、激活层以及全连接层；其中在激活层中使用的是修正线性单元函数，全连接层用于深度卷积网络的最后一层，得出深度卷积网络的预测结果；
卷积运算操作层通过令每个神经元与下一层的若干个局部区域相连接，将目标物体视觉信息图像输入到卷积运算层中，计算权重和局部区域图像像素值的内积，卷积运算后的输出y与卷积核w、卷积前的输入x关系如下：
其中yj是卷积后输出向量中的元素，xi是与yj对应的卷积前输入的局部区域中的像素，从而提取局部区域的特征结果信息，在整幅图像上滑动的重复计算这个过程，提取得到整幅图像关于此权重向量的特征结果信息，这部分权重值组成的向量称为卷积核或过滤器；过滤器能够提取出目标物体图像的部分特征信息，当过滤器与局部区域图像像素进行内积操作时，存在特征内积输出展现为激活状态；经过卷积运算操作后就能得到新的目标物体的二维表示，在单个卷积运算操作层中应用若干过滤器提取目标物体若干新的二维表示，其中过滤器相对应的特征的表达结果保留在新的二维表示中，在训练过程中，根据神经网络预测结果与真实结果的误差，通过反向计算最终误差对每一层的参数的导数，即误差函数的梯度对卷积核进行修正，从而使网络能够学习到目标物体理想抓取位置的特征；
在卷积运算操作层中，每一层的神经元仅与上一层的局部区域相连接，前一层的以滑动窗口的方式对内积和像素值进行内积操作；在内积操作中，仅窗口中的目标物体图像像素值参与内积运算；滑动方式是每次窗口向右移动若干单位的像素即使得窗口覆盖新的局部区域，若已到达目标物体图像的右边界，则移动窗口回到目标图像的左边界，并将窗口向下移动若干单位的像素；此窗口即为过滤器或卷积核，其具有长度和宽度即具有长×宽的像素大小的区域；上述运算提取出目标物体图像具有过滤器所表示特征的过滤结果；在实际应用中，过滤器的长、宽、数量属于超参数，需要手动设置；通过这样的方式，过滤器减少了卷积操作层中需要的参数数量，实现了层中参数共享的作用；
下采样层，也即池化层，经过卷积运算操作层后，得到的目标物体新的二维表示仍然存在维度过高的情形，维数过多使得训练难度增加，容易使得深度卷积网络产生过拟合现象，需要通过下采样方法降低新的二维表示的数据维度；下采样的方法是对图像数据中不同位置的特征进行聚合统计，具体是：将目标物体新的二维表示分割成大小相同的若干的小区域，以此小区域的统计特征表示该区域，从而使得数据的维度降低；通常卷积运算操作层和下采样层合并认为是一层；
3)验证模型与保存模型
将CCD照像机采集新的目标物体图像的样本作为步骤2)得到的深度卷积神经网络的输入，得到目标物体上的理想抓取位置，以此位置作为目标点，控制机械臂进行抓取操作。
2.根据权利要求1所述的一种基于深度卷积神经网络的工业机械臂视觉控制方法，其特征在于：在步骤1)中，获取目标物体的视觉信息表示以及标注理想抓取位置，利用CCD照相机采集目标物体视觉信息，具体要求为：采集在工作台上不同姿态，不同位置，不同方向的目标物体视觉信息图片，以充分表示在多种情况下目标物体的实际分布；目标物体有多种，采集多种目标物体的视觉信息图像样本能够使训练后的深度卷积神经网络具备识别多种目标物体抓取位置的能力；规整采集到的目标物体图像大小为248×248像素，人工使用方框标注目标物体的理想抓取位置，即工业机械臂的夹具需要运动到此区域才能完成成功的抓取；以5元组的形式表示标注的理想抓取位置：抓取中心x坐标、抓取中心y坐标、方框长度、方框高度、方框与水平方向的夹角，其中夹角用弧度制表示；标注的多个抓取点，其重要性不同，对于规则的目标物体，工业机械臂抓取的成功概率是越接近目标物体中心的抓取成功率越高；由此需要对采集的图像进行二值化，然后利用高斯分布，计算目标物体图像中目标物体中心的抓取成功可能性，抓取成功可能性是由(0，1)区间表示的概率，其中目标物体中心点的抓取可能性设为1，目标物体的边界抓取可能性设为0；对人工标准的5元组集合进行添加上抓取成功可能性属性即最终得到关于抓取位置的6元组：抓取成功可能性、抓取中心x坐标、抓取中心y坐标、方框长度、方框高度、方框与水平方向的夹角。
3.根据权利要求1所述的一种基于深度卷积神经网络的工业机械臂视觉控制方法，其特征在于：所述深度卷积神经网络由5个卷积层、3个下采样层、2个全连接层以及一个DropOut层组合而成，最终输出的是一个6元组描述的抓取位置点，包含抓取位置的信息，其具体形式即步骤1)中处理后的标注信息：抓取成功可能性、抓取中心x坐标、抓取中心y坐标、方框长度、方框高度、方框与水平方向的夹角；
第一层是卷积运算操作层与下采样层，这一层输入的是248×248像素大小的目标物体视觉信息图像，大小为9×9像素的32个过滤器，填充值为4，使用的激活函数是修正线性单元函数，使用2×2的核进行下采样输出为：124×124×32,然后进行正则化处理；
第二层是卷积运算操作层与下采样层，这一层输入的是124×124×32的图像，采用大小为9×9像素的32个过滤器，填充值为4，使用的激活函数是修正线性单元函数，使用2×2的核进行下采样输出为：68×68×32的二维图像；
第三层是卷积运算操作层，这一层输入的是68×68×32的图像，采用大小为7×7像素的16个过滤器，填充值为3，使用的激活函数是修正线性单元函数，这一层不使用下采样，输出为68×68×16的二维图像；
第四层是卷积运算操作层，这一层输入的是68×68×16的图像，采用大小为5×5像素的12个过滤器，填充值为2，使用的激活函数是修正线性单元函数，这一层不使用下采样，输出为68×68×12的二维图像；
第五层是卷积运算操作层与下采样层，这一层输入的是68×68×16的图像，采用大小为3×3像素的6个过滤器，填充值为1，使用的激活函数是修正线性单元函数，使用2×2的核进行下采样输出为：34×34×6的二维图像；
第六层是全连接层，接收的输入是6936维的向量，即上一神经网络层的输出展开后的向量，输出2000维的向量，使用的激活函数是修正线性单元函数；
第七层是DropOut层，接收2000维的输入向量，输出1000维向量采用的激活函数是修正线性单元函数防止过拟合，DropOut层仅产生80％的输出；
第八层是全连接层接收上一层的输出，通过softmax函数产生一个6元抓取位置描述：抓取成功可能性、抓取中心x坐标、抓取中心y坐标、方框长度、方框高度、方框与水平方向的夹角；
在上述深度卷积神经网络中，前七层使用的是线性修正单元函数，该线性修正单元函数定义如下：
f(x)＝max(0,x)
因为线性修正单元函数的在0点处并不连续，在利用随机梯度下降算法反向训练算法的时候要求其中的神经元激活函数连续可导，人为定义线性修正单元函数在0点处的导数为：
上述深度卷积神经网络输出的结果重要程度不一致，其中抓取成功可能性最重要，深度卷积神经网络能够给出抓取成功率最高的可能性预测，因此在损失函数中加入惩罚项，提高预测抓取成功可能性对在深度卷积神经网络中的影响，将6元组以(a,x,y,w,h,c)表示，其中a对应抓取成功可能性，x对应抓取中心x坐标，y对应抓取中心y坐标，w对应方框长度，h对应方框高度，c对应方框与水平方向的夹角，损失函数为：
通过超参数λ增大a的影响，式中表示输入样本的目标标签，即步骤1)中描述的人工标注标签；
训练阶段，通过将步骤1)中得到的目标物体样本数据分割成3部分：训练集合、验证集合、测试集合；利用批量随机梯度下降的方法训练深度卷积神经网络；需要对深度卷积神经网络的学习率参数η，mini-batch大小参数以及迭代次数等超参数进行调优；每次训练后在验证集合上验证训练后的神经网络预测结果，满足预设成功率阈值后即可停止训练；
测试阶段，利用分割后的测试集合进行测试训练后深度卷积神经网络的泛化误差，满足预设成功率阈值后即可进入步骤3)，若低于此成功率则需要对深度卷积神经网络的超参数进行调优重新训练。
4.根据权利要求1所述的一种基于深度卷积神经网络的工业机械臂视觉控制方法，其特征在于：在步骤3)中，预先标定CCD照相机的位置与工业机械臂使得工业机械臂坐标系与CCD照相机图片坐标系相匹配，即使CCD图片坐标系与工业机械臂坐标系只有平移变换，即需要获得CCD照相机与工业机械臂的横坐标偏差Δx，纵坐标偏差Δy以及工作台与工业机械臂坐标空间零点z轴方向的偏差的Δz，利用齐次坐标变换即可将CCD照相机坐标系的点，变为工业机械臂坐标系中的点：
其中(rx,ry,rz)即为转换后工业机械臂坐标系中的点，通过设置CCD照相机与工业机械臂之间的偏移使得视觉控制方法中预测出的抓取位置点中的(x,y)坐标结合工作台与的工业机械臂坐标空间零点z轴方向的偏差能够转化成工业机械臂坐标系中的空间点(rx,ry,rz)；
在工作台上放置需要进行抓取操作的目标物体，经过CCD照相机采集目标物体视觉信息图像后，将图像大小规整为248×248，送入训练后的深度卷积神经网络进行预测，得到深度卷积神经网络预测后的抓取位置点，将此目标点进行转换到工业机械臂坐标空间的坐标点(x,y,z)，同时需要对末端执行器夹具的角度进行调整，然后实施抓取操作；
往复验证此过程以验证实际生产中的视觉控制方法的成功率，当满足预设成功率阀值后便认为具有实用性，对于不同生产应用场景此成功率阀值有所不同，根据实际应用场景确定抓取成功率阀值，能够将训练得到的神经网络模型进行保存便于生产和功能更新。
CN201710021710.6A 2017-01-12 2017-01-12 一种基于深度卷积神经网络的工业机械臂视觉控制方法 Active CN106874914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710021710.6A CN106874914B (zh) 2017-01-12 2017-01-12 一种基于深度卷积神经网络的工业机械臂视觉控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710021710.6A CN106874914B (zh) 2017-01-12 2017-01-12 一种基于深度卷积神经网络的工业机械臂视觉控制方法

Publications (2)

Publication Number Publication Date
CN106874914A CN106874914A (zh) 2017-06-20
CN106874914B true CN106874914B (zh) 2019-05-14

Family

ID=59158247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710021710.6A Active CN106874914B (zh) 2017-01-12 2017-01-12 一种基于深度卷积神经网络的工业机械臂视觉控制方法

Country Status (1)

Country Link
CN (1) CN106874914B (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3606707A2 (en) 2017-06-28 2020-02-12 Google LLC Machine learning methods and apparatus for semantic robotic grasping
CN107328787A (zh) * 2017-07-05 2017-11-07 北京科技大学 一种基于深度卷积神经网络的金属板带表面缺陷检测系统
CN109407603B (zh) * 2017-08-16 2020-03-06 北京猎户星空科技有限公司 一种控制机械臂抓取物体的方法及装置
CN109410211A (zh) * 2017-08-18 2019-03-01 北京猎户星空科技有限公司 一种图像中目标物体的分割方法及装置
CN109559341B (zh) * 2017-09-27 2021-03-26 北京猎户星空科技有限公司 一种机械臂抓取方案的生成方法及装置
KR102563752B1 (ko) * 2017-09-29 2023-08-04 삼성전자주식회사 뉴럴 네트워크를 위한 트레이닝 방법, 뉴럴 네트워크를 이용한 인식 방법 및 그 장치들
CN109598264B (zh) * 2017-09-30 2020-10-16 北京猎户星空科技有限公司 物体抓取方法及装置
WO2019087357A1 (ja) * 2017-11-02 2019-05-09 三菱電機株式会社 キャリブレーション装置、キャリブレーション方法および制御装置
JP6676030B2 (ja) * 2017-11-20 2020-04-08 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法
CN108340367A (zh) * 2017-12-13 2018-07-31 深圳市鸿益达供应链科技有限公司 用于机械臂抓取的机器学习方法
CN108230391A (zh) * 2017-12-13 2018-06-29 深圳市鸿益达供应链科技有限公司 智能识别方法
CN108196453B (zh) * 2018-01-24 2020-11-20 中南大学 一种机械臂运动规划群体智能计算方法
WO2019148453A1 (zh) * 2018-02-02 2019-08-08 深圳蓝胖子机器人有限公司 目标识别模型训练方法、目标识别方法、设备及机器人
CN108229665A (zh) * 2018-02-02 2018-06-29 上海建桥学院 一种以深度卷积神经网络为基础的零件分拣系统
CN108399639B (zh) * 2018-02-12 2021-01-26 杭州蓝芯科技有限公司 基于深度学习的快速自动抓取与摆放方法
TWI673586B (zh) * 2018-02-14 2019-10-01 國立交通大學 即時訓練軌跡導引系統及方法
CN108536011A (zh) * 2018-03-19 2018-09-14 中山大学 一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法
CN110293550B (zh) * 2018-03-21 2021-06-18 北京猎户星空科技有限公司 机械臂移动控制方法、装置和智能设备
CN110298877A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种物体三维位姿的确定方法、装置及电子设备
CN110298879B (zh) * 2018-03-21 2021-08-27 北京猎户星空科技有限公司 一种待抓取物体位姿的确定方法、装置及电子设备
CN110293552B (zh) * 2018-03-21 2020-12-08 北京猎户星空科技有限公司 机械臂控制方法、装置、控制设备及存储介质
CN110293549B (zh) * 2018-03-21 2021-06-22 北京猎户星空科技有限公司 机械臂控制方法、装置及神经网络模型训练方法、装置
WO2019192402A1 (zh) * 2018-04-02 2019-10-10 鲁班嫡系机器人（深圳）有限公司 一种插机方法及插机设备
CN108673534B (zh) * 2018-04-20 2020-11-03 江苏大学 一种利用人造突触网络系统实现智能分拣的软体机械手
JP7091820B2 (ja) * 2018-05-14 2022-06-28 オムロン株式会社 制御システム、学習データ作成装置、学習装置および判定装置
CN109213147A (zh) * 2018-08-01 2019-01-15 上海交通大学 一种基于深度学习的机器人避障轨迹规划方法及系统
CN109188902A (zh) * 2018-08-08 2019-01-11 重庆两江微链智能科技有限公司 一种机器人学习方法、控制方法、装置、存储介质及主控设备
CN108624880B (zh) * 2018-08-10 2019-08-06 南通大学 一种激光熔覆质量智能控制系统及其智能控制方法
CN109159113B (zh) * 2018-08-14 2020-11-10 西安交通大学 一种基于视觉推理的机器人作业方法
CN109241964A (zh) * 2018-08-17 2019-01-18 上海非夕机器人科技有限公司 机械臂的抓取点的获取方法及设备
CN109102543B (zh) * 2018-08-17 2021-04-02 深圳蓝胖子机器智能有限公司 基于图像分割的物体定位方法、设备和存储介质
CN109048903B (zh) * 2018-08-17 2021-08-27 上海非夕机器人科技有限公司 机械臂插轴入孔的方法及设备
CN113190013B (zh) * 2018-08-31 2023-06-27 创新先进技术有限公司 控制终端运动的方法和装置
CN109291657B (zh) * 2018-09-11 2020-10-30 东华大学 基于卷积神经网络航天结构件工业物联标识激光打码系统
CN109410275B (zh) * 2018-10-15 2021-07-06 深圳一步智造科技有限公司 位置预测方法、装置、设备以及可读存储介质
CN109358628A (zh) * 2018-11-06 2019-02-19 江苏木盟智能科技有限公司 一种货箱对位方法及机器人
CN109584298B (zh) * 2018-11-07 2020-07-28 上海交通大学 面向机器人自主物体拾取任务的在线自学习方法
CN109483534B (zh) * 2018-11-08 2022-08-02 腾讯科技（深圳）有限公司 一种物体抓取方法、装置和系统
CN109658413B (zh) 2018-12-12 2022-08-09 达闼机器人股份有限公司 一种机器人目标物体抓取位置检测的方法
CN109636789B (zh) * 2018-12-13 2021-07-30 银河水滴科技（北京）有限公司 基于图像分割的轨道扣件的零件缺失检测方法及装置
CN109702741B (zh) * 2018-12-26 2020-12-18 中国科学院电子学研究所 基于自监督学习神经网络的机械臂视觉抓取系统及方法
CN109513557B (zh) * 2018-12-27 2024-05-24 海安科大机器人科技有限公司 一种基于视觉引导的船舶分段喷涂机器人自主喷涂方法
CN109807887B (zh) * 2019-01-18 2020-09-15 上海交通大学 基于深度神经网络的柔性臂智能感知与控制方法和系统
CN109895095B (zh) * 2019-02-11 2022-07-15 赋之科技(深圳)有限公司 一种训练样本的获取方法、装置和机器人
CN110018738B (zh) * 2019-03-04 2021-09-21 华南理工大学 一种基于真实场景情感表达的情感转换系统
CN109934864B (zh) * 2019-03-14 2023-01-20 东北大学 面向机械臂抓取位姿估计的残差网络深度学习方法
CN110039537B (zh) * 2019-03-15 2021-07-13 北京精密机电控制设备研究所 一种基于神经网络的在线自学习多关节运动规划方法
CN109986560B (zh) * 2019-03-19 2023-02-14 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
CN110125930B (zh) * 2019-04-18 2021-05-11 华中科技大学 一种基于机器视觉和深度学习的机械臂抓取控制方法
CN110238840B (zh) * 2019-04-24 2021-01-29 中山大学 一种基于视觉的机械臂自主抓取方法
CN110210367B (zh) * 2019-05-28 2021-11-09 达闼机器人有限公司 一种训练数据的获取方法、电子设备及存储介质
CN110223351B (zh) * 2019-05-30 2021-02-19 杭州蓝芯科技有限公司 一种基于卷积神经网络的深度相机定位方法
CN110171001A (zh) * 2019-06-05 2019-08-27 闽南师范大学 一种基于CornerNet的智能分拣机械臂系统和抓取控制方法
CN110302981B (zh) * 2019-06-17 2021-03-23 华侨大学 一种固废分拣在线抓取方法和系统
CN110253581A (zh) * 2019-06-25 2019-09-20 华北水利水电大学 一种基于视觉识别的辅助抓取方法
WO2021002465A1 (ja) * 2019-07-03 2021-01-07 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 情報処理装置、ロボットシステム、および、情報処理方法
CN110363127A (zh) * 2019-07-04 2019-10-22 陕西丝路机器人智能制造研究院有限公司 机器人对工件关键点识别与定位的方法
CN110202583B (zh) * 2019-07-09 2020-12-22 华南理工大学 一种基于深度学习的仿人机械手控制系统及其控制方法
CN110363288B (zh) * 2019-07-15 2023-05-09 上海点积实业有限公司 一种神经网络的输入图像生成方法和系统
CN110782038A (zh) * 2019-09-27 2020-02-11 深圳蓝胖子机器人有限公司 自动标记训练样本的方法和系统及监督学习的方法和系统
CN110732814A (zh) * 2019-09-29 2020-01-31 珠海市众创芯慧科技有限公司 一种基于视觉技术的智能焊接机器人
CN110688722B (zh) * 2019-10-17 2023-08-08 深制科技(苏州)有限公司 一种基于深度学习的零部件属性矩阵自动生成方法
CN111167731B (zh) * 2019-10-23 2022-11-08 武汉库柏特科技有限公司 一种产品分拣方法、产品分拣系统和智能分拣机器人
CN110939351A (zh) * 2019-10-28 2020-03-31 优创嘉(大连)科技有限公司 一种视觉智控门控制方法及视觉智控门
TWI790408B (zh) * 2019-11-19 2023-01-21 財團法人工業技術研究院 抓取裝置及抓取方法
CN112989881A (zh) * 2019-12-16 2021-06-18 深圳慧智星晨科技有限公司 一种无监督可迁移的3d视觉物体抓取方法
CN111496770B (zh) * 2020-04-09 2023-04-07 上海电机学院 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法
CN111337496A (zh) * 2020-04-13 2020-06-26 黑龙江北草堂中药材有限责任公司 一种中药材挑拣装置及挑拣方法
CN111923053A (zh) * 2020-04-21 2020-11-13 广州里工实业有限公司 基于深度视觉的工业机器人物件抓取示教系统及方法
DE102020212076B4 (de) * 2020-09-25 2024-08-14 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines physikalischen Systems
CN113245235B (zh) * 2021-04-16 2023-03-28 嘉联支付有限公司 一种基于3d视觉的商品分类方法及装置
CN113327295A (zh) * 2021-06-18 2021-08-31 华南理工大学 一种基于级联全卷积神经网络的机器人快速抓取方法
CN116128960A (zh) * 2021-09-17 2023-05-16 山西大学 一种基于机器学习的工件自动抓取方法、系统及装置
CN113733140B (zh) * 2021-10-09 2023-01-10 衢州职业技术学院 一种基于双目视觉的机械臂抓取控制方法
CN114104655B (zh) * 2021-11-13 2022-10-28 浙江安胜科技股份有限公司 链条线跟随方法及装置
CN114310851B (zh) * 2022-01-27 2023-06-16 华南理工大学 一种机器人免力矩传感器的拖动示教方法
CN114519813A (zh) * 2022-02-22 2022-05-20 广东工业大学 一种机械臂目标抓取方法及系统
CN114888790B (zh) * 2022-04-18 2023-10-24 金陵科技学院 基于散料三维特征分布的空间坐标寻位方法
CN116309849B (zh) * 2023-05-17 2023-08-25 新乡学院 一种基于视觉雷达的起重机定位方法
CN116968022B (zh) * 2023-07-14 2024-05-28 武汉纺织大学 一种基于视觉引导的机械臂抓取目标物体方法及系统
CN117216728B (zh) * 2023-11-09 2024-02-02 金成技术股份有限公司 挖掘机动臂稳定性检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069413A (zh) * 2015-07-27 2015-11-18 电子科技大学 一种基于深度卷积神经网络的人体姿势识别方法
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN105772407A (zh) * 2016-01-26 2016-07-20 耿春茂 一种基于图像识别技术的垃圾分类机器人
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069413A (zh) * 2015-07-27 2015-11-18 电子科技大学 一种基于深度卷积神经网络的人体姿势识别方法
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN105772407A (zh) * 2016-01-26 2016-07-20 耿春茂 一种基于图像识别技术的垃圾分类机器人
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A vision-based robotic grasping system using deep learning for 3D object recognition and pose estimation;Jincheng Yu等;《2013 IEEE International Conference on Robotics and Biomimetics》;20131231;第1175 - 1180页
Real-Time Grasp Detection Using Convolutional Neural Networks;Joseph Redmon, et al.;《IEEE International Conference on Robotics and Automation》;20151231;正文第I节-第V节，附图2-5

Also Published As

Publication number Publication date
CN106874914A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN106874914B (zh) 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN105911992B (zh) 一种移动机器人的自动规划路径方法及移动机器人
CN110322510A (zh) 一种利用轮廓信息的6d位姿估计方法
CN102073270B (zh) 单输入单输出时滞系统的分数阶pid控制方法
CN109202904A (zh) 一种机械臂运动路径的确定方法及确定系统
CN109740742A (zh) 一种基于lstm神经网络的目标跟踪方法
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN110210398A (zh) 一种三维点云语义分割标注方法
CN103105774B (zh) 基于改进的量子进化算法的分数阶pid控制器整定方法
CN108710906A (zh) 基于轻量级网络LightPointNet的实时点云模型分类方法
CN106981198A (zh) 用于旅行时间预测的深度学习网络模型及其建立方法
CN105911988A (zh) 一种自动制图装置及方法
CN109766995A (zh) 深度神经网络的压缩方法与装置
CN106127121A (zh) 一种基于夜间灯光数据的建成区智能化提取方法
CN109108978A (zh) 基于学习泛化机制的三自由度空间机械臂运动规划方法
CN106446493A (zh) 单斜相二氧化钒材料点缺陷形成能的高通量模拟方法
CN109031949A (zh) 一种智能制造系统协同控制方法
Lee et al. Hybrid embroidery: exploring interactive fabrication in handcrafts
Xu et al. A new welding path planning method based on point cloud and deep learning
CN108724734B (zh) 一种基于密集特征的3d打印前处理分层算法
Thomsen et al. Predicting and steering performance in architectural materials
Jani et al. 3D affine registration using teaching-learning based optimization
CN110154020A (zh) 一种自适应动态规划的柔性机械臂控制方法
Yin et al. An intelligent 3d printing path planning algorithm 3d printing path planning algorithm: An intelligent sub-path planning algorithm
Fan et al. Survey of the selection and evaluation for dispatching rules in dynamic job shop scheduling problem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant