CN113743287A - 基于脉冲神经网络的机器人自适应抓取控制方法及系统 - Google Patents

基于脉冲神经网络的机器人自适应抓取控制方法及系统 Download PDF

Info

Publication number
CN113743287A
CN113743287A CN202111014867.9A CN202111014867A CN113743287A CN 113743287 A CN113743287 A CN 113743287A CN 202111014867 A CN202111014867 A CN 202111014867A CN 113743287 A CN113743287 A CN 113743287A
Authority
CN
China
Prior art keywords
mechanical arm
neural network
grabbing
image
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111014867.9A
Other languages
English (en)
Other versions
CN113743287B (zh
Inventor
燕锐
李嘉鑫
张宇豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Zhejiang Lab
Original Assignee
Zhejiang University of Technology ZJUT
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT, Zhejiang Lab filed Critical Zhejiang University of Technology ZJUT
Priority to CN202111014867.9A priority Critical patent/CN113743287B/zh
Publication of CN113743287A publication Critical patent/CN113743287A/zh
Application granted granted Critical
Publication of CN113743287B publication Critical patent/CN113743287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于脉冲神经网络的机器人自适应抓取控制方法及系统，首先将神经网络初始模型转换为脉冲神经网络模型；其次根据待预测深度图像确定在抓取范围内是否存在待抓取物体；然后将待预测深度图像和待预测彩色图像进行融合后输入至所述脉冲神经网络模型进行预测，获得机械手臂抓取位姿；最后根据机械手臂抓取位姿对机械手臂进行操纵控制，以使抓取物体。本发明转换后的脉冲神经网络模型不仅最大程度的保留了全卷积神经网络的准确率，同时对于不同大小、形状的物体能够实现自适应的抓取，对于在抓取范围内的未参与预训练的物体也有较高的抓取准确率。

Description

基于脉冲神经网络的机器人自适应抓取控制方法及系统
技术领域
本发明涉及机器人控制技术领域，特别是涉及一种基于脉冲神经网络的机器人自适应抓取控制方法及系统。
背景技术
物体抓取是机器人与环境交互过程中的重要挑战之一，机械手臂抓取过程涉及到空间感知、路径规划和运动控制等多个方面。其中抓取物体的空间感知主要有以下两种方式：模型特征匹配方法和基于深度学习方法。模型特征匹配方法需要对每一类物体都进行特征提取，因此存在泛化性能差的缺点；现有基于深度学习方法需要较多的标签数据，并且由于使用浮点计算导致运算量过大。另外，上述两种方法还存在抓取率低以及模型耗时长的缺点。
发明内容
本发明的目的是提供一种基于脉冲神经网络的机器人自适应抓取控制方法及系统，以提高抓取率。
为实现上述目的，本发明提供了一种基于脉冲神经网络的机器人自适应抓取控制方法，所述方法包括：
步骤S1：构建神经网络初始模型；
步骤S2：将所述神经网络初始模型转换为脉冲神经网络模型；所述脉冲神经网络模型包括脉冲编码器、编码网络、解码网络、输出层和脉冲解码器；
步骤S3：获取待预测深度图像和待预测彩色图像；
步骤S4：根据所述待预测深度图像判断在抓取范围内是否存在待抓取物体；如果存在待抓取物体，则执行“步骤S5”；如果不存在待抓取物体，则返回“步骤S3”；
步骤S5：将所述待预测深度图像和所述待预测彩色图像进行融合，获得待预测融合图像；
步骤S6：将所述待预测融合图像输入至所述脉冲神经网络模型进行预测，获得机械手臂抓取位姿；
步骤S7：根据所述机械手臂抓取位姿对机械手臂进行操纵控制，以使抓取物体。
可选地，所述构建神经网络初始模型，具体包括：
步骤S11：获取多张待抓取物体的深度图像和各所述深度图像对应的彩色图像，确定各所述深度图像对应的抓取位姿标签；
步骤S12：对多张待抓取物体的深度图像和各所述深度图像对应的彩色图像分别融合，获得多张矩阵融合图像；
步骤S13：基于多张所述矩阵融合图像和各所述深度图像对应的抓取位姿标签构建训练集；
步骤S14：将所述训练集输入至全卷积人工神经网络进行训练，获得神经网络初始模型。
可选地，所述根据所述机械手臂抓取位姿对机械手臂进行操纵控制，以使抓取物体，具体包括：
步骤S71：将所述机械手臂抓取位姿转换到机械臂坐标系下，控制机械手臂的手指张开宽度与wT相等；机械臂坐标系下的机械手臂抓取位姿
Figure BDA0003239578780000021
pT表示机械臂坐标系下抓取相对于相机中心点的坐标，
Figure BDA0003239578780000022
和wT分别表示机械臂坐标系下抓取相对于相机中心的旋转角和夹持器需要张开的宽度；
步骤S72：根据标定结果控制机械手臂移动到pT的正上方一段距离，旋转手臂腕关节，使得机械手臂的手腕方向与
Figure BDA0003239578780000023
的方向一致；所述标定结果为机械手臂与相机之间标定的空间位置坐标；
步骤S73：根据待预测深度图像判断机械手臂的手指与物体间的距离，并根据所述距离控制机械手臂垂直向下移动，直到机械手臂的手指到达物体高度；
步骤S74：控制机械手臂的手指关节闭合，执行抓取操作。
可选地，所述将所述待预测融合图像输入至所述脉冲神经网络模型进行预测，获得机械手臂抓取位姿，具体包括：
利用脉冲编码器对所述预测融合图像进行脉冲编码；
利用编码网络对脉冲编码后的图像再次进行编码，获得编码图像；
利用解码网络对所述编码图像进行解码，获得解码图像；
利用输出层对所述解码图像进行卷积操作；
利用所述脉冲解码器将经过卷积操作的解码图像再次进行脉冲解码，获得机械手臂抓取位姿。
本发明还提供一种基于脉冲神经网络的机器人自适应抓取控制系统，所述系统包括：
神经网络初始模型构建模块，用于构建神经网络初始模型；
转换模块，用于将所述神经网络初始模型转换为脉冲神经网络模型；
获取模块，用于获取待预测深度图像和待预测彩色图像；
判断模块，用于根据所述待预测深度图像判断在抓取范围内是否存在待抓取物体；如果存在待抓取物体，则执行“融合模块”；如果不存在待抓取物体，则返回“获取模块”；
融合模块，用于将所述待预测深度图像和所述待预测彩色图像进行融合，获得待预测融合图像；
预测模块，用于将所述待预测融合图像输入至所述脉冲神经网络模型进行预测，获得机械手臂抓取位姿；
操纵控制模块，用于根据所述机械手臂抓取位姿对机械手臂进行操纵控制，以使抓取物体。
可选地，所述构建神经网络初始模型，具体包括：
获取单元，用于获取多张待抓取物体的深度图像和各所述深度图像对应的彩色图像，确定各所述深度图像对应的抓取位姿标签；
融合单元，用于对多张待抓取物体的深度图像和各所述深度图像对应的彩色图像分别融合，获得多张矩阵融合图像；
训练集构建单元，用于基于多张所述矩阵融合图像和各所述深度图像对应的抓取位姿标签构建训练集；
训练单元，用于将所述训练集输入至全卷积人工神经网络进行训练，获得神经网络初始模型。
可选地，所述操纵控制模块，具体包括：
手指张开宽度确定单元，用于将所述机械手臂抓取位姿转换到机械臂坐标系下，控制机械手臂的手指张开宽度与wT相等；机械臂坐标系下的机械手臂抓取位姿
Figure BDA0003239578780000041
pT表示机械臂坐标系下抓取相对于相机中心点的坐标，
Figure BDA0003239578780000042
和wT分别表示机械臂坐标系下抓取相对于相机中心的旋转角和夹持器需要张开的宽度；
手腕方向确定单元，用于根据标定结果控制机械手臂移动到pT的正上方一段距离，旋转手臂腕关节，使得机械手臂的手腕方向与
Figure BDA0003239578780000043
的方向一致；所述标定结果为机械手臂与相机之间标定的空间位置坐标；
移动单元，用于根据待预测深度图像判断机械手臂的手指与物体间的距离，并根据所述距离控制机械手臂垂直向下移动，直到机械手臂的手指到达物体高度；
抓取单元，用于控制机械手臂的手指关节闭合，执行抓取操作。
可选地，所述脉冲神经网络模型包括脉冲编码器、编码网络、解码网络、输出层和脉冲解码器；
所述脉冲编码器，用于对所述预测融合图像进行脉冲编码；
所述编码网络，用于对脉冲编码后的图像再次进行编码，获得编码图像；
所述解码网络，用于对所述编码图像进行解码，获得解码图像；
所述输出层，用于对所述解码图像进行卷积操作；
所述脉冲解码器，用于将经过卷积操作的解码图像再次进行脉冲解码，获得机械手臂抓取位姿。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明转换后的脉冲神经网络模型不仅最大程度的保留了全卷积神经网络的准确率，同时对于不同大小、形状的物体能够实现自适应的抓取，对于在抓取范围内的未参与预训练的物体也有较高的抓取准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于脉冲神经网络的机器人自适应抓取控制方法流程图；
图2为本发明神经网络初始模型结构图；
图3为本发明脉冲神经网络模型结构图；
图4为本发明基于脉冲神经网络的机器人自适应抓取控制系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于脉冲神经网络的机器人自适应抓取控制方法及系统，以提高抓取率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
脉冲神经网络是第三代神经网络，相比于传统的神经网络具有更强的生物可解释性以及更高的计算效率。与传统的神经网络不同，脉冲神经网络通过一系列离散的精确的具有时间特性的脉冲序列传递信息而不是连续的实数数值，因而更加贴近生物神经系统，具有稀疏而强大的计算能力。因而使用基于脉冲神经的机器人感知、认知模型不仅能够解决目前传统神经网络的缺点，同时对于机器人智能化也有重要的研究应用价值。但目前的脉冲神经网络研究受限于缺乏有效调节脉冲神经网络的学习算法，以及神经形态硬件的发展，只能使用简单的网络结构来处理简单的任务。因此本发明使用转换算法将传统神经网络的实数值输入输出解释为脉冲神经网络脉冲发放的频率，最后使用基于转换算法的脉冲神经网络抓取位姿预测算法，不仅具有脉冲神经网络的特性，也保留了较高的准确率。
如图1所示，本发明公开了一种基于脉冲神经网络的机器人自适应抓取控制方法，所述方法包括：
步骤S1：构建神经网络初始模型。
步骤S2：将所述神经网络初始模型转换为脉冲神经网络模型；所述脉冲神经网络模型包括脉冲编码器、编码网络、解码网络、输出层和脉冲解码器。
步骤S3：获取待预测深度图像和待预测彩色图像。
步骤S4：根据所述待预测深度图像判断在抓取范围内是否存在待抓取物体；如果存在待抓取物体，则执行“步骤S5”；如果不存在待抓取物体，则返回“步骤S3”。
步骤S5：将所述待预测深度图像和所述待预测彩色图像进行融合，获得待预测融合图像。
步骤S6：将所述待预测融合图像输入至所述脉冲神经网络模型进行预测，获得机械手臂抓取位姿。
步骤S7：根据所述机械手臂抓取位姿对机械手臂进行操纵控制，以使抓取物体。
作为一种可选的实施方式，本发明所述构建神经网络初始模型，具体包括：
步骤S11：获取多张待抓取物体的深度图像和各所述深度图像对应的彩色图像，确定各所述深度图像对应的抓取位姿标签。
步骤S12：对多张待抓取物体的深度图像和各所述深度图像对应的彩色图像分别融合，获得多张矩阵融合图像。
步骤S13：基于多张所述矩阵融合图像和各所述深度图像对应的抓取位姿标签构建训练集。
步骤S14：将所述训练集输入至全卷积人工神经网络进行训练，获得神经网络初始模型。
步骤S2：将所述神经网络初始模型转换为脉冲神经网络模型，具体包括：
将所述神经网络初始模型中人工神经元的输入输出激活等价于脉冲神经元的脉冲发放频率，具体公式为：
Figure BDA0003239578780000061
其中，
Figure BDA0003239578780000062
为第l层第i个人工神经元的输出激活值，
Figure BDA0003239578780000063
为第l-1层第j个人工神经元与第l层第i个人工神经元的突触连接权值，
Figure BDA0003239578780000064
为偏置项，f()为FCNN的激活函数单元，通常使用ReLU函数；
Figure BDA0003239578780000065
为SFCN中第l层第i个脉冲神经元的脉冲发放频率，
Figure BDA0003239578780000066
表示t时刻第l层第i个脉冲神经元的输出脉冲，输出脉冲值为0或1，T为脉冲时间窗。
为了模拟人工神经元的激活模式，脉冲神经元采用累积发放(integrate-and-fire,IF)神经元模型，即神经元累积膜电位，达到阈值后发放脉冲且神经元复位。在实际操作中，通常使用离散迭代形式的神经元动力学方程：
Figure BDA0003239578780000071
其中，
Figure BDA0003239578780000072
为t时刻第l层第i个脉冲神经元的膜电位，θ为脉冲神经元的发放阈值。
综上，FCNN所采用的ReLU激活函数可用脉冲发放条件进行解释和模拟，而对于使用的线性激活函数，将FCNN的负值解释为SFCN中脉冲神经元发放的抑制性脉冲即负脉冲，同时对式(2)进行补充如下：
Figure BDA0003239578780000073
为了进一步简化超参数的选取并满足脉冲神经元的频率限制(最大发放频率不超过1kHz)，将FCNN得到的权重做进一步调整，同时可将SFCN中脉冲神经元的阈值统一设置为1，即：
Figure BDA0003239578780000074
其中，
Figure BDA0003239578780000075
为归一化后的突触权重，λl为SFCN第l层输出的统计最大值。由于可能存在异常数据，因此通常取数据的p分位数，其中p取99.9％。
本发明神经网络初始模型为全卷积神经网络(Fully Convolutional NeuralNetworks,FCNN)，如图2-图3所示，本发明公开的脉冲神经网络模型(Spiking FullyConvolutional Networks，简称SFCN)相比于神经网络初始模型多设置了脉冲编码器和脉冲解码器。
如图3所示，本发明设计的脉冲神经网络模型由脉冲编码器、编码网络、解码网络、输出层和脉冲解码器构成；本发明利用脉冲编码器对预测融合图像进行脉冲编码器，利用编码网络对脉冲编码后的图像再次进行编码，获得编码图像，利用解码网络对编码图像进行解码，获得解码图像；利用输出层对所述解码图像进行卷积操作；利用所述脉冲解码器将经过卷积操作的解码图像进行脉冲解码，获得预测的机械手臂抓取位姿。其中，SFCN输入是待预测融合图像I；所述待预测融合图像为320*320*4大小的矩阵图像，320*320为像素，4为通道。编码网络(Encoder)包括5个卷积层(激活函数为ReLU)；前4个卷积层包括卷积和最大池化，第5个卷积层仅包括一个卷积。所述解码网络(Decoder)包括4个反卷积层(激活函数为线性函数)。每个反卷积层的结构包含反卷积(Transposed Convolution)、卷积和批标准化(Batch Normalization,BN)。所述输出层包括8个2*2*5的卷积滤波器。
如图3所示，脉冲编码后的图像经过5次卷积和4个最大池化(maxpooling)操作进行编码，获得编码图像。第一卷积层采用64个3*3*4的卷积滤波器；第二卷积层采用128个3*3*64的卷积滤波器；第三卷积层采用256个3*3*128的卷积滤波器；第四卷积层采用512个3*3*256的卷积滤波器。第五卷积层采用512个3*3*512的卷积滤波器。
将所述编码图像通过4个反卷积层进行解码，获得解码图像。第一反卷积层的输出形状为第四卷积层最大池化后的形状，再与第三卷积层的最大池化值使用256个1*1*64的卷积滤波器进行卷积操作的结果进行相加，再输入第二反卷积层进行上采样。第二反卷积层的输出形状为第三卷积层最大池化后的形状，再与第二卷积层的最大池化值使用128个1*1*32的卷积滤波器进行卷积操作的结果进行相加，再输入第三反卷积层进行上采样。第三反卷积层的输出形状为第二卷积层最大池化后的形状，再与第一卷积层的最大池化值使用64个1*1*16的卷积滤波器进行卷积操作的结果进行相加，再输入第四反卷积层进行上采样。第四反卷积层的输出形状为第一卷积层最大池化后的形状。
本发明将经过卷积操作的解码图像进行脉冲解码，获得预测的机械手臂抓取位姿，具体公式为：
Figure BDA0003239578780000081
其中，g为机械手臂抓取位姿，
Figure BDA0003239578780000082
表示抓取相对于相机中心点的坐标，
Figure BDA0003239578780000083
和w分别表示抓取相对相机中心的旋转角和夹持器需要张开的宽度。
作为一种可选的实施方式，本发明所述根据所述机械手臂抓取位姿对机械手臂进行操纵控制，以使抓取物体，具体包括：
步骤S71：将所述机械手臂抓取位姿转换到机械臂坐标系下，控制机械手臂的手指张开宽度与wT相等；机械臂坐标系下的机械手臂抓取位姿
Figure BDA0003239578780000091
pT表示机械臂坐标系下抓取相对于相机中心点的坐标，
Figure BDA0003239578780000092
和wT分别表示机械臂坐标系下抓取相对于相机中心的旋转角和夹持器需要张开的宽度。
步骤S72：根据标定结果控制机械手臂移动到pT的正上方一段距离，旋转手臂腕关节，使得机械手臂的手腕方向与
Figure BDA0003239578780000093
的方向一致；所述标定结果为机械手臂与相机之间标定的空间位置坐标；所述物体抓取中心点为抓取相对于相机中心点的坐标。
步骤S73：根据待预测深度图像判断机械手臂的手指与物体间的距离，并根据所述距离控制机械手臂垂直向下移动，直到机械手臂的手指到达物体高度。
步骤S74：控制机械手臂的手指关节闭合，执行抓取操作。
如图4所示，本发明还公开一种基于脉冲神经网络的机器人自适应抓取控制系统，所述系统包括：
神经网络初始模型构建模块401，用于构建神经网络初始模型；
转换模块402，用于将所述神经网络初始模型转换为脉冲神经网络模型；
获取模块403，用于获取待预测深度图像和待预测彩色图像；
判断模块404，用于根据所述待预测深度图像判断在抓取范围内是否存在待抓取物体；如果存在待抓取物体，则执行“融合模块405”；如果不存在待抓取物体，则返回“获取模块403”；
融合模块405，用于将所述待预测深度图像和所述待预测彩色图像进行融合，获得待预测融合图像；
预测模块406，用于将所述待预测融合图像输入至所述脉冲神经网络模型进行预测，获得机械手臂抓取位姿；
操纵控制模块407，用于根据所述机械手臂抓取位姿对机械手臂进行操纵控制，以使抓取物体。
作为一种可选的实施方式，本发明所述构建神经网络初始模型401，具体包括：
获取单元，用于获取多张待抓取物体的深度图像和各所述深度图像对应的彩色图像，确定各所述深度图像对应的抓取位姿标签；
融合单元，用于对多张待抓取物体的深度图像和各所述深度图像对应的彩色图像分别融合，获得多张矩阵融合图像；
训练集构建单元，用于基于多张所述矩阵融合图像和各所述深度图像对应的抓取位姿标签构建训练集；
训练单元，用于将所述训练集输入至全卷积人工神经网络进行训练，获得神经网络初始模型。
作为一种可选的实施方式，本发明所述操纵控制模块407，具体包括：
手指张开宽度确定单元，用于将所述机械手臂抓取位姿转换到机械臂坐标系下，控制机械手臂的手指张开宽度与wT相等；机械臂坐标系下的机械手臂抓取位姿
Figure BDA0003239578780000101
pT表示机械臂坐标系下抓取相对于相机中心点的坐标，
Figure BDA0003239578780000102
和wT分别表示机械臂坐标系下抓取相对于相机中心的旋转角和夹持器需要张开的宽度；
手腕方向确定单元，用于根据标定结果控制机械手臂移动到pT的正上方一段距离，旋转手臂腕关节，使得机械手臂的手腕方向与
Figure BDA0003239578780000103
的方向一致；所述标定结果为机械手臂与相机之间标定的空间位置坐标；
移动单元，用于根据待预测深度图像判断机械手臂的手指与物体间的距离，并根据所述距离控制机械手臂垂直向下移动，直到机械手臂的手指到达物体高度；
抓取单元，用于控制机械手臂的手指关节闭合，执行抓取操作。
作为一种可选的实施方式，本发明所述脉冲神经网络模型包括脉冲编码器、编码网络、解码网络、输出层和脉冲解码器；
所述脉冲编码器，用于对所述预测融合图像进行脉冲编码；
所述编码网络，用于对脉冲编码后的图像再次进行编码，获得编码图像；
所述解码网络，用于对所述编码图像进行解码，获得解码图像；
所述输出层，用于对所述解码图像进行卷积操作；
所述脉冲解码器，用于将经过卷积操作的解码图像再次进行脉冲解码，获得机械手臂抓取位姿。
本发明公开的方案具有以下优点：
高效性：本发明基于脉冲神经网络的抓取位姿预测算法使用离散的具有时间特性的脉冲序列传递信息，不仅在计算过程中丰富了时间维度信息，同时在神经形态器件上有更快的运行速度，提高了计算有效性。
鲁棒性：本发明转换后的脉冲神经网络模型不仅最大程度的保留了全卷积神经网络的准确率，同时对于不同大小、形状的物体能够实现自适应的抓取，对于在抓取范围内的未参与预训练的物体也有较高的抓取准确率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于脉冲神经网络的机器人自适应抓取控制方法，其特征在于，所述方法包括：
步骤S1：构建神经网络初始模型；
步骤S2：将所述神经网络初始模型转换为脉冲神经网络模型；所述脉冲神经网络模型包括脉冲编码器、编码网络、解码网络、输出层和脉冲解码器；
步骤S3：获取待预测深度图像和待预测彩色图像；
步骤S4：根据所述待预测深度图像判断在抓取范围内是否存在待抓取物体；如果存在待抓取物体，则执行“步骤S5”；如果不存在待抓取物体，则返回“步骤S3”；
步骤S5：将所述待预测深度图像和所述待预测彩色图像进行融合，获得待预测融合图像；
步骤S6：将所述待预测融合图像输入至所述脉冲神经网络模型进行预测，获得机械手臂抓取位姿；
步骤S7：根据所述机械手臂抓取位姿对机械手臂进行操纵控制，以使抓取物体。
2.根据权利要求1所述的基于脉冲神经网络的机器人自适应抓取控制方法，其特征在于，所述构建神经网络初始模型，具体包括：
步骤S11：获取多张待抓取物体的深度图像和各所述深度图像对应的彩色图像，确定各所述深度图像对应的抓取位姿标签；
步骤S12：对多张待抓取物体的深度图像和各所述深度图像对应的彩色图像分别融合，获得多张矩阵融合图像；
步骤S13：基于多张所述矩阵融合图像和各所述深度图像对应的抓取位姿标签构建训练集；
步骤S14：将所述训练集输入至全卷积人工神经网络进行训练，获得神经网络初始模型。
3.根据权利要求1所述的基于脉冲神经网络的机器人自适应抓取控制方法，其特征在于，所述根据所述机械手臂抓取位姿对机械手臂进行操纵控制，以使抓取物体，具体包括：
步骤S71：将所述机械手臂抓取位姿转换到机械臂坐标系下，控制机械手臂的手指张开宽度与wT相等；机械臂坐标系下的机械手臂抓取位姿
Figure FDA0003239578770000021
pT表示机械臂坐标系下抓取相对于相机中心点的坐标，
Figure FDA0003239578770000022
和wT分别表示机械臂坐标系下抓取相对于相机中心的旋转角和夹持器需要张开的宽度；
步骤S72：根据标定结果控制机械手臂移动到pT的正上方一段距离，旋转手臂腕关节，使得机械手臂的手腕方向与
Figure FDA0003239578770000023
的方向一致；所述标定结果为机械手臂与相机之间标定的空间位置坐标；
步骤S73：根据待预测深度图像判断机械手臂的手指与物体间的距离，并根据所述距离控制机械手臂垂直向下移动，直到机械手臂的手指到达物体高度；
步骤S74：控制机械手臂的手指关节闭合，执行抓取操作。
4.根据权利要求1所述的基于脉冲神经网络的机器人自适应抓取控制方法，其特征在于，所述将所述待预测融合图像输入至所述脉冲神经网络模型进行预测，获得机械手臂抓取位姿，具体包括：
利用脉冲编码器对所述预测融合图像进行脉冲编码；
利用编码网络对脉冲编码后的图像再次进行编码，获得编码图像；
利用解码网络对所述编码图像进行解码，获得解码图像；
利用输出层对所述解码图像进行卷积操作；
利用所述脉冲解码器将经过卷积操作的解码图像再次进行脉冲解码，获得机械手臂抓取位姿。
5.一种基于脉冲神经网络的机器人自适应抓取控制系统，其特征在于，所述系统包括：
神经网络初始模型构建模块，用于构建神经网络初始模型；
转换模块，用于将所述神经网络初始模型转换为脉冲神经网络模型；
获取模块，用于获取待预测深度图像和待预测彩色图像；
判断模块，用于根据所述待预测深度图像判断在抓取范围内是否存在待抓取物体；如果存在待抓取物体，则执行“融合模块”；如果不存在待抓取物体，则返回“获取模块”；
融合模块，用于将所述待预测深度图像和所述待预测彩色图像进行融合，获得待预测融合图像；
预测模块，用于将所述待预测融合图像输入至所述脉冲神经网络模型进行预测，获得机械手臂抓取位姿；
操纵控制模块，用于根据所述机械手臂抓取位姿对机械手臂进行操纵控制，以使抓取物体。
6.根据权利要求5所述的基于脉冲神经网络的机器人自适应抓取控制系统，其特征在于，所述构建神经网络初始模型，具体包括：
获取单元，用于获取多张待抓取物体的深度图像和各所述深度图像对应的彩色图像，确定各所述深度图像对应的抓取位姿标签；
融合单元，用于对多张待抓取物体的深度图像和各所述深度图像对应的彩色图像分别融合，获得多张矩阵融合图像；
训练集构建单元，用于基于多张所述矩阵融合图像和各所述深度图像对应的抓取位姿标签构建训练集；
训练单元，用于将所述训练集输入至全卷积人工神经网络进行训练，获得神经网络初始模型。
7.根据权利要求5所述的基于脉冲神经网络的机器人自适应抓取控制系统，其特征在于，所述操纵控制模块，具体包括：
手指张开宽度确定单元，用于将所述机械手臂抓取位姿转换到机械臂坐标系下，控制机械手臂的手指张开宽度与wT相等；机械臂坐标系下的机械手臂抓取位姿
Figure FDA0003239578770000031
pT表示机械臂坐标系下抓取相对于相机中心点的坐标，
Figure FDA0003239578770000032
和wT分别表示机械臂坐标系下抓取相对于相机中心的旋转角和夹持器需要张开的宽度；
手腕方向确定单元，用于根据标定结果控制机械手臂移动到pT的正上方一段距离，旋转手臂腕关节，使得机械手臂的手腕方向与
Figure FDA0003239578770000033
的方向一致；所述标定结果为机械手臂与相机之间标定的空间位置坐标；
移动单元，用于根据待预测深度图像判断机械手臂的手指与物体间的距离，并根据所述距离控制机械手臂垂直向下移动，直到机械手臂的手指到达物体高度；
抓取单元，用于控制机械手臂的手指关节闭合，执行抓取操作。
8.根据权利要求5所述的基于脉冲神经网络的机器人自适应抓取控制系统，其特征在于，所述脉冲神经网络模型包括脉冲编码器、编码网络、解码网络、输出层和脉冲解码器；
所述脉冲编码器，用于对所述预测融合图像进行脉冲编码；
所述编码网络，用于对脉冲编码后的图像再次进行编码，获得编码图像；
所述解码网络，用于对所述编码图像进行解码，获得解码图像；
所述输出层，用于对所述解码图像进行卷积操作；
所述脉冲解码器，用于将经过卷积操作的解码图像再次进行脉冲解码，获得机械手臂抓取位姿。
CN202111014867.9A 2021-08-31 2021-08-31 基于脉冲神经网络的机器人自适应抓取控制方法及系统 Active CN113743287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111014867.9A CN113743287B (zh) 2021-08-31 2021-08-31 基于脉冲神经网络的机器人自适应抓取控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111014867.9A CN113743287B (zh) 2021-08-31 2021-08-31 基于脉冲神经网络的机器人自适应抓取控制方法及系统

Publications (2)

Publication Number Publication Date
CN113743287A true CN113743287A (zh) 2021-12-03
CN113743287B CN113743287B (zh) 2024-03-26

Family

ID=78734416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111014867.9A Active CN113743287B (zh) 2021-08-31 2021-08-31 基于脉冲神经网络的机器人自适应抓取控制方法及系统

Country Status (1)

Country Link
CN (1) CN113743287B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116512254A (zh) * 2023-04-11 2023-08-01 中国人民解放军军事科学院国防科技创新研究院 基于方向的机械臂智能控制方法及系统、设备、存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564012A (zh) * 2017-08-01 2018-01-09 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
CN108354578A (zh) * 2018-03-14 2018-08-03 重庆金山医疗器械有限公司 一种胶囊内镜定位系统
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN108838991A (zh) * 2018-03-06 2018-11-20 南昌工程学院 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
US20200156241A1 (en) * 2018-11-21 2020-05-21 Ford Global Technologies, Llc Automation safety and performance robustness through uncertainty driven learning and control
CN111738261A (zh) * 2020-06-30 2020-10-02 张辉 基于位姿估计和校正的单图像机器人无序目标抓取方法
WO2020207017A1 (zh) * 2019-04-11 2020-10-15 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备
CN112605983A (zh) * 2020-12-01 2021-04-06 浙江工业大学 一种适用于密集环境下的机械臂推抓系统
CN112734727A (zh) * 2021-01-11 2021-04-30 安徽理工大学 一种基于改进深度神经网络的苹果采摘方法
CN112809679A (zh) * 2021-01-25 2021-05-18 清华大学深圳国际研究生院 可形变物体抓取的方法、装置及计算机可读存储介质
US20210182545A1 (en) * 2019-12-11 2021-06-17 Lg Electronics Inc. Apparatus and method for controlling electronic device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564012A (zh) * 2017-08-01 2018-01-09 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
CN108838991A (zh) * 2018-03-06 2018-11-20 南昌工程学院 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
CN108354578A (zh) * 2018-03-14 2018-08-03 重庆金山医疗器械有限公司 一种胶囊内镜定位系统
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
US20200156241A1 (en) * 2018-11-21 2020-05-21 Ford Global Technologies, Llc Automation safety and performance robustness through uncertainty driven learning and control
WO2020207017A1 (zh) * 2019-04-11 2020-10-15 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备
US20210182545A1 (en) * 2019-12-11 2021-06-17 Lg Electronics Inc. Apparatus and method for controlling electronic device
CN111738261A (zh) * 2020-06-30 2020-10-02 张辉 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN112605983A (zh) * 2020-12-01 2021-04-06 浙江工业大学 一种适用于密集环境下的机械臂推抓系统
CN112734727A (zh) * 2021-01-11 2021-04-30 安徽理工大学 一种基于改进深度神经网络的苹果采摘方法
CN112809679A (zh) * 2021-01-25 2021-05-18 清华大学深圳国际研究生院 可形变物体抓取的方法、装置及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116512254A (zh) * 2023-04-11 2023-08-01 中国人民解放军军事科学院国防科技创新研究院 基于方向的机械臂智能控制方法及系统、设备、存储介质
CN116512254B (zh) * 2023-04-11 2024-01-23 中国人民解放军军事科学院国防科技创新研究院 基于方向的机械臂智能控制方法及系统、设备、存储介质

Also Published As

Publication number Publication date
CN113743287B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN111985343B (zh) 一种行为识别深度网络模型的构建方法及行为识别方法
Park et al. A depth camera-based human activity recognition via deep learning recurrent neural network for health and social care services
CN108196453B (zh) 一种机械臂运动规划群体智能计算方法
CN111079561A (zh) 一种基于虚拟训练的机器人智能抓取方法
US20150032258A1 (en) Apparatus and methods for controlling of robotic devices
CN105772407A (zh) 一种基于图像识别技术的垃圾分类机器人
KR20180004898A (ko) 딥러닝 기반의 이미지 처리 기술 및 그 방법
Kase et al. Put-in-box task generated from multiple discrete tasks by ahumanoid robot using deep learning
RU2665273C2 (ru) Обучаемые визуальные маркеры и способ их продуцирования
CN113205048B (zh) 一种手势识别方法及识别系统
CN113172629B (zh) 一种基于时序触觉数据处理的物体抓取方法
CN111152227A (zh) 一种基于引导式dqn控制的机械臂控制方法
Inoue et al. Transfer learning from synthetic to real images using variational autoencoders for robotic applications
CN113743287A (zh) 基于脉冲神经网络的机器人自适应抓取控制方法及系统
CN115588237A (zh) 一种基于单目rgb图像的三维手部姿态估计方法
Mayer et al. FFHNet: Generating multi-fingered robotic grasps for unknown objects in real-time
CN111914639A (zh) 轻量级卷积时空简单循环单元模型的驾驶动作识别方法
CN112045680B (zh) 一种基于行为克隆的布料码垛机器人控制系统及控制方法
CN113681552B (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN112975968B (zh) 基于第三视角可变主体演示视频的机械臂模仿学习方法
Ito et al. Integrated learning of robot motion and sentences: Real-time prediction of grasping motion and attention based on language instructions
CN113771027A (zh) 一种基于深度学习的双臂协作抓取方法
CN116394264B (zh) 基于群体编码脉冲神经网络的多机械臂协同运动规划方法
Hwang et al. A deep learning approach for seamless integration of cognitive skills for humanoid robots
Oikonomou et al. A framework for active vision-based robot planning using spiking neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant