CN115431279B - 弱刚度特性条件下基于视触融合的机械臂自主抓取方法 - Google Patents

弱刚度特性条件下基于视触融合的机械臂自主抓取方法 Download PDF

Info

Publication number
CN115431279B
CN115431279B CN202211381475.0A CN202211381475A CN115431279B CN 115431279 B CN115431279 B CN 115431279B CN 202211381475 A CN202211381475 A CN 202211381475A CN 115431279 B CN115431279 B CN 115431279B
Authority
CN
China
Prior art keywords
visual
information
characteristic
tactile
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211381475.0A
Other languages
English (en)
Other versions
CN115431279A (zh
Inventor
阮文俊
朱文博
王恺
卢清华
罗陆锋
张云志
苏彩红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202211381475.0A priority Critical patent/CN115431279B/zh
Publication of CN115431279A publication Critical patent/CN115431279A/zh
Application granted granted Critical
Publication of CN115431279B publication Critical patent/CN115431279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了弱刚度特性条件下基于视触融合的机械臂自主抓取方法，该方法包括：获取视觉图像与触觉数据并进行数据预处理，得到视觉信息与触觉信息；对视觉信息与触觉信息进行融合处理，得到特征信息；基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果；根据分类结果对机械臂在自主抓取弱刚度特性物体的状态进行监测与控制。通过使用本发明，能够更加准确的把握机械臂抓取物体的状态。本发明作为弱刚度特性条件下基于视触融合的机械臂自主抓取方法，可广泛应用于机器人控制技术领域。

Description

弱刚度特性条件下基于视触融合的机械臂自主抓取方法
技术领域
本发明涉及机器人控制技术领域，尤其涉及弱刚度特性条件下基于视触融合的机械臂自主抓取方法。
背景技术
随着传感器技术与深度学习技术的快速发展，将传感器与深度学习网络应用于机器人等也取得了长足的进步，其中，机器人目标抓取在任务中主要应用了视觉和触觉，现在的很多触觉融合系统都会通过各种各样的抓取实验来检验感知系统的好坏，但是，对于易变性即弱刚度特性条件下的待抓取物，现有的技术更多的只是判断抓取物是否会发生滑移现象，对待抓取物的刚度以及形状等并没有很好的判断，且现有技术对于机器人抓取物件的视觉技术与触觉技术在特征融合上存在考虑不充分等问题，导致现有的机器人机械臂难以更加友好的、柔顺的对待抓取物进行抓取。
发明内容
为了解决上述技术问题，本发明的目的是提供弱刚度特性条件下基于视触融合的机械臂自主抓取方法，能够更加准确的把握机械臂抓取物体的状态。
本发明所采用的第一技术方案是：弱刚度特性条件下基于视触融合的机械臂自主抓取方法，包括以下步骤：
获取视觉图像与触觉数据并进行数据预处理，得到视觉信息与触觉信息；
对视觉信息与触觉信息进行融合处理，得到特征信息；
基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果；
根据分类结果对机械臂在自主抓取弱刚度特性物体的状态进行监测与控制。
进一步，所述获取视觉图像与触觉数据并进行数据预处理，得到视觉信息与触觉信息这一步骤，其具体包括：
获取机器人机械臂末端的视觉图像与触觉数据，所述视觉图像由安装于机器人机械臂末端的视觉相机获得，所述触觉数据由安装于机器人机械臂末端的触觉传感器获得；
将视觉图像与触觉数据输入至特征提取模块进行特征提取处理，所述特征提取模块包括CNN卷积神经网络模型和CL卷积神经网络模型；
基于CNN卷积神经网络模型对视觉图像进行视觉特征提取处理，得到视觉信息；
基于CL卷积神经网络模型对触觉数据进行卷积操作处理，得到触觉信息。
进一步，所述特征提取模块的特征提取过程的表达式如下所示：
Figure 100002_DEST_PATH_IMAGE001
Figure 451409DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
/>
上式中，
Figure 731737DEST_PATH_IMAGE004
表示CNN卷积神经网络模型的特征提取操作，/>
Figure 100002_DEST_PATH_IMAGE005
表示CL卷积神经网络模型的卷积操作，/>
Figure 820915DEST_PATH_IMAGE006
表示对视觉图片进行作差处理，/>
Figure 5909DEST_PATH_IMAGE007
表示采集到视觉图像，/>
Figure 169037DEST_PATH_IMAGE008
表示采集到的第0帧视觉图像，/>
Figure 414074DEST_PATH_IMAGE009
表示视觉信息，/>
Figure 521707DEST_PATH_IMAGE010
表示触觉信息，/>
Figure 651337DEST_PATH_IMAGE011
、/>
Figure 528026DEST_PATH_IMAGE012
和/>
Figure 84909DEST_PATH_IMAGE013
表示特征图的长度、宽度和通道数，/>
Figure 679839DEST_PATH_IMAGE014
表示视觉和触觉信息的帧数。
进一步，所述对视觉信息与触觉信息进行融合处理，得到特征信息这一步骤，其具体包括：
对视觉信息与触觉信息进行切片重组处理，得到初步的特征信息；
基于SE注意力机制网络模型对初步的特征信息进行赋予权重参数并评估处理，得到特征信息。
进一步，所述对视觉信息与触觉信息进行切片重组处理，得到初步的特征信息这一步骤，其具体包括：
根据预设的空间位置对视觉信息与触觉信息进行编码处理，得到视觉信息的特征切片向量与触觉信息的特征切片向量；
对视觉信息的特征切片向量与触觉信息的特征切片向量进行重组处理，得到重组后的切片向量；
对重组后的切片向量进行特征提取处理，得到初步的特征信息。
进一步，所述基于SE注意力机制网络模型对初步的特征信息进行赋予权重参数并评估处理，得到特征信息这一步骤，其具体包括：
将初步的特征信息输入至SE注意力机制网络模型，所述SE注意力机制网络模型包括池化层、感知机层和层；
基于SE注意力机制网络模型的池化层，对初步的特征信息进行全局平均池化处理，得到全局特征信息；
基于SE注意力机制网络模型的感知机层，对全局特征信息进行非线性特征变换处理，得到全局特征信息的权重参数；
基于SE注意力机制网络模型的层，对全局特征信息的权重参数进行重标定处理，得到特征信息。
进一步，所述基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果这一步骤，其具体包括：
将特征信息输入至长短期记忆神经网络，所述长短期记忆神经网络包括编码层、全连接层和分类层；
基于长短期记忆神经网络的编码层对特征信息进行编码处理，得到特征向量；
基于长短期记忆神经网络的全连接层对特征向量进行降维处理，得到降维后的特征向量；
基于长短期记忆神经网络的分类层对降维后的特征向量进行分类处理，得到分类结果。
本发明方法的有益效果是：本发明在机器人机械臂末端的抓取物体过程中通过引入视觉信息与触觉信息，进一步对视觉信息与触觉信息进行融合处理，对视觉信息与触觉信息的特征信息进行切片重组处理并基于各信息权重进行重新标定处理，能够更加准确的把握机械臂在抓取物体过程中的状态，最后通过LSTM神经网络对机械臂抓取过程中的状态进行分类处理，能够及时预测到机械臂抓取物体过程是否发生变形与滑移现象。
附图说明
图1是本发明弱刚度特性条件下基于视触融合的机械臂自主抓取方法的步骤流程图；
图2是本发明提出的基于Resnet50+SE+LSTM的总体框架示意图；
图3是现有的对视觉触觉信息的融合操作示意图；
图4是本发明对视觉触觉信息进行切片重组的示意图；
图5是本发明基于视触融合的机械臂自主抓取方法的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1、图2和图5，本发明提供了弱刚度特性条件下基于视触融合的机械臂自主抓取方法，该方法包括以下步骤：
S1、获取视觉图像与触觉数据并进行数据预处理，得到视觉信息与触觉信息；
具体地，获取视觉图像与触觉数据，其中，所述视觉信息的获取过程为将采集到的多帧图像（3x224x224）减去第0帧的图像（代表夹爪初始化视觉信息）得到的图像差，再经过修改后Resnet50网络的特征提取，得到（256x4x4）视觉特征，所述触觉信息的获取过程为将采集到的多帧触觉数据（3x4x4）经过一层卷积层(in_channels=3，out_channels=256，kernel_size=3，stride=1，padding=1)，得到（256x4x4）触觉特征，视觉图像由安装于机器人机械臂末端的视觉相机获得，所述触觉数据由安装于机器人机械臂末端的触觉传感器获得，进一步视觉的特征
Figure 206635DEST_PATH_IMAGE009
由Resnet50提取，把采集到相应的图像与第0帧的图像（视觉传感器初始的图像）作差作为输入，即视觉相机会采集多帧图像作为输入，第0帧作为视觉的初始信息，每次采集到的图像都要与第一采集的图像进行作差处理，对于触觉传感器，把4x4x3触觉数据经过一层卷(CL)(in_channels=3，out_channels=256，kernel_size=3，stride=1，padding=1)的输出作为触觉的特征/>
Figure 78776DEST_PATH_IMAGE010
，目的是增加触觉信息的通道数以便于后期的特征融合，其中，所述特征提取模块的特征提取过程的表达式如下所示：
Figure 934124DEST_PATH_IMAGE001
Figure 157295DEST_PATH_IMAGE002
Figure 222203DEST_PATH_IMAGE003
上式中，
Figure 480009DEST_PATH_IMAGE004
表示CNN卷积神经网络模型的特征提取操作，/>
Figure 237749DEST_PATH_IMAGE005
表示CL卷积神经网络模型的卷积操作，/>
Figure 807271DEST_PATH_IMAGE006
表示对视觉图片进行作差处理，/>
Figure 816815DEST_PATH_IMAGE007
表示采集到视觉图像，/>
Figure 788182DEST_PATH_IMAGE008
表示采集到的第0帧视觉图像，/>
Figure 857770DEST_PATH_IMAGE009
表示视觉信息，/>
Figure 914587DEST_PATH_IMAGE010
表示触觉信息，/>
Figure 462243DEST_PATH_IMAGE011
、/>
Figure 288117DEST_PATH_IMAGE012
和/>
Figure 387660DEST_PATH_IMAGE013
表示特征图的长度、宽度和通道数，/>
Figure 72719DEST_PATH_IMAGE014
表示视觉和触觉信息的帧数。
S2、对视觉信息与触觉信息进行融合处理，得到特征信息；
具体地，视触觉特征融合主要的作用是基于视觉和触觉的特征进行可学习的表征，现如今视觉和触觉的信息融合大多数采用简单的特征拼接，具体如图3所示，然而这种融合方式并不能很好表征两个模态之间的差异性和关联性，由于直接融合的方法比较简单，视觉触觉模态融合的主流方法依然是直接融合方式；
本方案提出的融合方法与直接融合方法不同，本发明将最终的特征信息
Figure 286050DEST_PATH_IMAGE015
分为两个阶段来提取特征，首先是对视觉和触觉的特征进行“切片重组”处理，把相同状态的不同模态重新排序获得早期的特征，其次对重组后的早期特征进行SE注意力机制以获得最终的可学习特征。
S21、对视觉信息与触觉信息进行切片重组处理，得到初步的特征信息；
具体地，初步的视觉触觉信息融合，在给定的视觉信息
Figure 107376DEST_PATH_IMAGE009
和触觉信息/>
Figure 643399DEST_PATH_IMAGE010
，基于它们构建早期的视觉触觉融合/>
Figure 550175DEST_PATH_IMAGE016
，其表达式如下所示：
Figure 564268DEST_PATH_IMAGE017
上式中，
Figure 364734DEST_PATH_IMAGE018
表示切片重组操作，/>
Figure 681445DEST_PATH_IMAGE016
表示初步的特征信息；
参照图4，设
Figure 200152DEST_PATH_IMAGE019
、/>
Figure 893301DEST_PATH_IMAGE020
为特征/>
Figure 813852DEST_PATH_IMAGE009
和/>
Figure 567045DEST_PATH_IMAGE010
中的空间位置，/>
Figure 573047DEST_PATH_IMAGE021
，图4中/>
Figure 804308DEST_PATH_IMAGE022
表示空间位置/>
Figure 579366DEST_PATH_IMAGE019
处特征/>
Figure 503460DEST_PATH_IMAGE009
的向量，类似地，/>
Figure 745827DEST_PATH_IMAGE023
表示空间位置/>
Figure 46359DEST_PATH_IMAGE020
处特征/>
Figure 410344DEST_PATH_IMAGE010
的向量，因此，定义空间位置/>
Figure 505339DEST_PATH_IMAGE019
、/>
Figure 485933DEST_PATH_IMAGE020
早期融合的特征如下所示：
Figure 58997DEST_PATH_IMAGE024
上式中，
Figure 808647DEST_PATH_IMAGE025
表示两个切片向量的串联操作；
初步的融合特征向量对
Figure 933598DEST_PATH_IMAGE009
中特定位置/>
Figure 11275DEST_PATH_IMAGE019
和/>
Figure 778243DEST_PATH_IMAGE010
中特定位置/>
Figure 992187DEST_PATH_IMAGE020
进行编码，编码后的特征/>
Figure 553618DEST_PATH_IMAGE016
总的通道数的为/>
Figure 118592DEST_PATH_IMAGE026
，长度和宽度都为为/>
Figure 158092DEST_PATH_IMAGE027
，因此，初步的特征被表示为/>
Figure 757700DEST_PATH_IMAGE028
。
S22、基于SE注意力机制网络模型对初步的特征信息进行赋予权重参数并评估处理，得到特征信息；
具体地，初步的融合的特征块的各个通道可能包括很多冗余信息，进一步通过SE注意力机制进一步加强和提取有利于抓取任务评估的
Figure 227383DEST_PATH_IMAGE016
的特征，它通过挤压和激发向原始特征图的各个通道添加不同的权重参数信息，所述SE注意力机制网络模型的操作表达式如下所示：
Figure 404287DEST_PATH_IMAGE029
上式中，
Figure 122844DEST_PATH_IMAGE030
表示SE注意力机制网络模型的操作函数；
其中，所述SE注意力机制网络模型包括Squeeze部分，其操作具体为首先通过全局平均池化，将重组后的特征压缩为1个实数，将特征图（16x16x512）变为（1x1x512）；Excitation部分，其操作具体为给特征的每个通道生成一个权重值，通过两层的全连接构建通道之间的相关性，（1x1x512）变成（1x1x512）；Scale部分，其操作具体为将前面得到的归一化权重逐通道乘以权重系数，即（16x16x512）*（1x1x512）变成（16x16x512）；
SE注意力机制首先会对早期的
Figure 436014DEST_PATH_IMAGE016
进行挤压从/>
Figure 214614DEST_PATH_IMAGE031
经过全局的平均池化的/>
Figure 878814DEST_PATH_IMAGE032
，/>
Figure 260116DEST_PATH_IMAGE033
为从每个通道本身提取出来的权重，再经过/>
Figure 568738DEST_PATH_IMAGE034
模块（/>
Figure 642873DEST_PATH_IMAGE035
具体为FC+RELU+FC+Sigmoid）得到不同通道注意力的权重/>
Figure 404156DEST_PATH_IMAGE033
，再将不同通道注意力的权重作用于到/>
Figure 589149DEST_PATH_IMAGE016
上，每个通道乘上每个通道上相对应的权重即/>
Figure 752278DEST_PATH_IMAGE036
模块得到/>
Figure 731735DEST_PATH_IMAGE015
。
S3、基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果。
具体地，对于LSTM模块，我们选择使用的是长短期记忆网络（LSTM），LSTM已经广泛运用到处理视频的数据，这跟我们的任务非常类似，
Figure 107877DEST_PATH_IMAGE015
经过SE注意力机制得到/>
Figure 971928DEST_PATH_IMAGE037
后再经过一个全连接层可得到64个视觉触觉跨模态的特征/>
Figure 114196DEST_PATH_IMAGE038
，并将这64个特征作为LSTM的输入，LSTM里面具有两层的隐藏层，两层的隐藏层都是64，模型最后的部分是分类模块，其对LSTM模块的输出作为输入进行分类并且输出分类的结果，其中，所述长短期记忆神经网络的处理表达式如下所示：
Figure 671080DEST_PATH_IMAGE039
上式中，
Figure 531588DEST_PATH_IMAGE040
表示全连接层，/>
Figure 261647DEST_PATH_IMAGE041
表示具有两层隐藏层的LSTM，/>
Figure 524001DEST_PATH_IMAGE042
表示分类结果，其中，/>
Figure 251785DEST_PATH_IMAGE043
，分别表示结果对应为不接触、适当接触、过度接触、不滑移和滑移；
进一步的，在得到结果之后，下一步操作是控制二指夹爪得宽度和力度，具体为当状态为不接触或者滑移时，夹爪的宽度变小，夹爪的力度变大；当状态为适当和没滑移时，夹爪的宽度和力度将不变；当状态为变形时，夹爪的宽度变大，夹爪的力度变小。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，包括以下步骤：
获取机器人机械臂末端的视觉图像与触觉数据，所述视觉图像由安装于机器人机械臂末端的视觉相机获得，所述触觉数据由安装于机器人机械臂末端的触觉传感器获得；
将视觉图像与触觉数据输入至特征提取模块进行特征提取处理，所述特征提取模块包括CNN卷积神经网络模型和CL卷积神经网络模型；
基于CNN卷积神经网络模型对视觉图像进行视觉特征提取处理，得到视觉信息；
基于CL卷积神经网络模型对触觉数据进行卷积操作处理，得到触觉信息；
根据预设的空间位置对视觉信息与触觉信息进行编码处理，得到视觉信息的特征切片向量与触觉信息的特征切片向量；
对视觉信息的特征切片向量与触觉信息的特征切片向量进行重组处理，得到重组后的切片向量；
对重组后的切片向量进行特征提取处理，得到初步的特征信息，其具体包括；
初步的视觉触觉信息融合，在给定的视觉信息
Figure DEST_PATH_IMAGE001
和触觉信息
Figure 426507DEST_PATH_IMAGE002
，基于它们构建早期的视觉触觉融合，其表达式如下所示：
Figure 742082DEST_PATH_IMAGE004
上式中，
Figure DEST_PATH_IMAGE005
表示切片重组操作，
Figure 546090DEST_PATH_IMAGE006
表示初步的特征信息；
设
Figure DEST_PATH_IMAGE007
、
Figure 619219DEST_PATH_IMAGE008
为特征
Figure 229192DEST_PATH_IMAGE001
和
Figure 396344DEST_PATH_IMAGE002
中的空间位置，
Figure DEST_PATH_IMAGE009
，
Figure 636832DEST_PATH_IMAGE010
表示空间位置
Figure 259574DEST_PATH_IMAGE007
处特征
Figure 814184DEST_PATH_IMAGE001
的向量，
Figure DEST_PATH_IMAGE011
表示空间位置
Figure 635509DEST_PATH_IMAGE008
处特征
Figure 250161DEST_PATH_IMAGE002
的向量，因此，定义空间位置
Figure 360200DEST_PATH_IMAGE007
、
Figure 452921DEST_PATH_IMAGE008
早期融合的特征如下所示：
Figure DEST_PATH_IMAGE013
上式中，
Figure 391402DEST_PATH_IMAGE014
表示两个切片向量的串联操作；
初步的融合特征向量对
Figure 176956DEST_PATH_IMAGE001
中特定位置
Figure 774290DEST_PATH_IMAGE007
和
Figure 936281DEST_PATH_IMAGE002
中特定位置
Figure 794516DEST_PATH_IMAGE008
进行编码，编码后的特征
Figure 16550DEST_PATH_IMAGE006
总的通道数的为
Figure DEST_PATH_IMAGE015
，长度和宽度分别为
Figure 773284DEST_PATH_IMAGE016
、
Figure DEST_PATH_IMAGE017
，因此，初步的特征被表示为
Figure 408140DEST_PATH_IMAGE018
基于SE注意力机制网络模型对初步的特征信息进行赋予权重参数并评估处理，得到特征信息；
基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果，所述分类结果包括不接触、适当接触、过度接触、不滑移和滑移；
根据分类结果对机械臂在自主抓取弱刚度特性物体的状态进行监测与控制。
2.根据权利要求1所述弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，所述特征提取模块的特征提取过程的表达式如下所示：
Figure 386461DEST_PATH_IMAGE020
Figure 982658DEST_PATH_IMAGE022
Figure 554585DEST_PATH_IMAGE024
上式中，
Figure DEST_PATH_IMAGE025
表示CNN卷积神经网络模型的特征提取操作，
Figure 589537DEST_PATH_IMAGE026
表示CL卷积神经网络模型的卷积操作，
Figure DEST_PATH_IMAGE027
表示对视觉图片进行作差处理，
Figure 94468DEST_PATH_IMAGE028
表示采集到视觉图像，
Figure DEST_PATH_IMAGE029
表示采集到的第0帧视觉图像，
Figure 799250DEST_PATH_IMAGE001
表示视觉信息，
Figure 858473DEST_PATH_IMAGE002
表示触觉信息，
Figure 25012DEST_PATH_IMAGE030
、
Figure DEST_PATH_IMAGE031
和
Figure 256885DEST_PATH_IMAGE032
表示特征图的长度、宽度和通道数，
Figure DEST_PATH_IMAGE033
表示视觉和触觉信息的帧数。
3.根据权利要求2所述弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，所述基于SE注意力机制网络模型对初步的特征信息进行赋予权重参数并评估处理，得到特征信息这一步骤，其具体包括：
将初步的特征信息输入至SE注意力机制网络模型，所述SE注意力机制网络模型包括Squeeze层、Excitation层和Scale层；
基于SE注意力机制网络模型的Squeeze层，对初步的特征信息进行全局平均池化处理，得到全局特征信息；
基于SE注意力机制网络模型的Excitation层，对全局特征信息进行非线性特征变换处理，得到全局特征信息的权重参数；
基于SE注意力机制网络模型的Scale层，对全局特征信息的权重参数进行重标定处理，得到特征信息。
4.根据权利要求3所述弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，所述基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果这一步骤，其具体包括：
将特征信息输入至长短期记忆神经网络，所述长短期记忆神经网络包括编码层、全连接层和分类层；
基于长短期记忆神经网络的编码层对特征信息进行编码处理，得到特征向量；
基于长短期记忆神经网络的全连接层对特征向量进行降维处理，得到降维后的特征向量；
基于长短期记忆神经网络的分类层对降维后的特征向量进行分类处理，得到分类结果。
CN202211381475.0A 2022-11-07 2022-11-07 弱刚度特性条件下基于视触融合的机械臂自主抓取方法 Active CN115431279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211381475.0A CN115431279B (zh) 2022-11-07 2022-11-07 弱刚度特性条件下基于视触融合的机械臂自主抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211381475.0A CN115431279B (zh) 2022-11-07 2022-11-07 弱刚度特性条件下基于视触融合的机械臂自主抓取方法

Publications (2)

Publication Number Publication Date
CN115431279A CN115431279A (zh) 2022-12-06
CN115431279B true CN115431279B (zh) 2023-03-24

Family

ID=84253017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211381475.0A Active CN115431279B (zh) 2022-11-07 2022-11-07 弱刚度特性条件下基于视触融合的机械臂自主抓取方法

Country Status (1)

Country Link
CN (1) CN115431279B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116587287A (zh) * 2023-06-29 2023-08-15 廊坊市珍圭谷科技有限公司 一种搬运机器人自动控制方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109129474B (zh) * 2018-08-10 2020-07-14 上海交通大学 基于多模态融合的机械手主动抓取装置及方法
CN109344288B (zh) * 2018-09-19 2021-09-24 电子科技大学 一种基于多模态特征结合多层注意力机制的结合视频描述方法
EP4165561A1 (en) * 2020-06-15 2023-04-19 National University of Singapore Event-driven visual-tactile sensing and learning for robots
CN112288041B (zh) * 2020-12-15 2021-03-30 之江实验室 一种多模态深度神经网络的特征融合方法
CN112809679B (zh) * 2021-01-25 2023-04-07 清华大学深圳国际研究生院 可形变物体抓取的方法、装置及计算机可读存储介质
CN113850109A (zh) * 2021-03-01 2021-12-28 天翼智慧家庭科技有限公司 一种基于注意力机制和自然语言处理的视频图像告警方法
CN113172629B (zh) * 2021-05-06 2023-08-01 清华大学深圳国际研究生院 一种基于时序触觉数据处理的物体抓取方法
CN114722950B (zh) * 2022-04-14 2023-11-07 武汉大学 一种多模态的多变量时间序列自动分类方法及装置
CN114700947A (zh) * 2022-04-20 2022-07-05 中国科学技术大学 基于视触融合的机器人及其抓取系统和方法

Also Published As

Publication number Publication date
CN115431279A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
Takahashi et al. Deep visuo-tactile learning: Estimation of tactile properties from images
JP6506245B2 (ja) 組付動作を学習する機械学習装置および部品組付システム
JP6680750B2 (ja) 制御装置及び機械学習装置
JP6587195B2 (ja) 触覚情報推定装置、触覚情報推定方法、プログラム及び非一時的コンピュータ可読媒体
WO2020241037A1 (ja) 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム
CN115431279B (zh) 弱刚度特性条件下基于视触融合的机械臂自主抓取方法
JP2017064910A (ja) ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
US8401825B2 (en) Methods and systems for data processing and their applications
CN110238840B (zh) 一种基于视觉的机械臂自主抓取方法
Zhang et al. Hardness recognition of fruits and vegetables based on tactile array information of manipulator
CN115510727B (zh) 一种抓取机构稳定抓持力阈值计算及其控制方法
CN117725528A (zh) 一种基于深度特征融合的工业场景下人员动作识别方法
Yan et al. Detection of slip from vision and touch
CN116135484A (zh) 一种基于vtf视触觉信息交互的弱刚度物体抓取方法
CN113780460A (zh) 一种材质识别方法、装置、机器人、电子设备及存储介质
KR20190140546A (ko) 영상 기반 힘 예측 시스템 및 그 방법
WO2023074209A1 (ja) 把持力推定装置、把持力推定方法及び把持力推定プログラム
JP7249928B2 (ja) 触覚情報推定装置、触覚情報推定方法及びプログラム
CN113894779A (zh) 一种应用于机器人交互的多模态数据处理方法
JP6625784B1 (ja) ロボットシステム、ロボット及び制御方法
WO2021240589A1 (ja) 学習装置、推論装置、プログラム、学習方法及び推論方法
CN114496263B (zh) 用于体重指数估计的神经网络模型建立方法及存储介质
CN118163114A (zh) 一种视触觉跨模态特征融合的工件抓取检测方法及系统
CN117831743A (zh) 基于物联网技术的居家养老健康监测管理系统及方法
CN116403091A (zh) 基于梯度自适应采样和3d神经网络的触觉物体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant