CN113370184A - 一种基于视触融合的全向自适应触感手指及其使用方法 - Google Patents

一种基于视触融合的全向自适应触感手指及其使用方法 Download PDF

Info

Publication number
CN113370184A
CN113370184A CN202110687700.2A CN202110687700A CN113370184A CN 113370184 A CN113370184 A CN 113370184A CN 202110687700 A CN202110687700 A CN 202110687700A CN 113370184 A CN113370184 A CN 113370184A
Authority
CN
China
Prior art keywords
touch
contact
image sensor
force
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110687700.2A
Other languages
English (en)
Inventor
宋超阳
万芳
刘生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Southern University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202110687700.2A priority Critical patent/CN113370184A/zh
Publication of CN113370184A publication Critical patent/CN113370184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/007—Means or methods for designing or fabricating manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视触融合的全向自适应触感手指及其使用方法，包括：软体手指本体、图像传感器和支架；图像传感器安装在支架之间，支架安装在软体手指本体的底部且图像传感器置于软体手指本体的正下方；在全向自适应触感手指与物体接触的过程，基于内在力感知原理，通过视触融合实现非嵌入式形式的触感，克服软体触感中内外感知的耦合求解问题，实现大变形部位二维接触力位置、大小感知，同时简化制备工艺流程。

Description

一种基于视触融合的全向自适应触感手指及其使用方法
技术领域
本发明涉及软体机械手触觉传感技术领域，具体涉及一种基于视触融合的全向自适应触感手指及其使用方法。
背景技术
软体手的触觉不同于刚性机械手，软体手自身材料、结构的柔顺性、非线性、粘弹性以及迟滞特性等为其触觉传感的实现造成了很大的障碍。目前的软体触感实现基本采用嵌入式的手段，分别以导电液、可拉伸电极、光栅等为触感媒介，在不影响软体手自身性能的前提下，通过检测阻抗、电容以及光谱信号的变化，实现一定的接触力位置、大小的感知功能。
2017年，浙江大学的梁观浩研制了一种高分辨率、高灵敏度的电容式触觉传感阵列，实现了接触单元的三维接触力感知。该触感单元由三部分构成：上部接触凸台，中部传感单元以及柔性底座。其中传感单元的主要原理是在两极板间放置弹性介质，将变形信号转化为极板间电容，梁通过理论建模、仿真以及实验标定的形式建立电容值与受力大小之间的模型，实现多维度接触力的测量。单个传感单元的体积为毫米级，因而可以很方便的实现高密度的排布与感知。但是该传感器制备的工艺复杂、量程较小，需要通过光刻机等高价设备加工。2018年，韩国高等科学技术学院的Han等人设计出一种1×3分布的阻抗式传感阵列可以识别接触位置以及正压力。他们提出了一种递归神经网络模型-启发式递归神经网络，在两种压阻式传感单元阵列上进行了验证实验，结果表明经由该种网络训练出的模型能够很好的分辨出力的作用位置，同时预测正压力的大小。2019年，意大利生物机器人研究院的Massari等人将排布有四段布拉格光栅(FBG)的光纤嵌入一条6mm厚弹性条的中间，构成了1×4的传感单元阵列，并提出了基于学习的传感系统标定方法。当有外部载荷时，光栅会产生局部弯曲，透射光的波长发生偏移，通过接收器检测接收端的光谱信息就可以获取到波长偏移量。在数据采集过程中，Massari等人利用有限元仿真与物理加载实验混合的形式获取光栅反射光谱信号与加载信息(加载位置以及加载力)的数据对，有效的减少了实验数据采集量，提高了数据采集效率。之后，通过神经网络训练出相应的四个光栅波长偏移量数据对集合与加载信息集合之间的映射模型，实现了单一维度上的加载位置以及加载力大小的连续预测，预测的均方根误差分别为2.45mm(0～86mm)和0.164N(0～2.5N)，决定系数分别为0.99、0.97，括弧内为测定量程。。
由以上分析可知，嵌入式传感技术在软体触感领域得到广泛的研究应用，但是，一方面嵌入式传感的形式使得触感手指的整体的制备工艺流程复杂，很难实现批量制备。另一方面，以上的研究基本假定基底为刚性，因此其感知部位往往局限于手指的尖端(工作中基本不变形)，对于工作过程中自身存在较大弯曲的部位，以上的传感方式很难实现预期效果。
发明内容
针对现有技术中存在的上述问题，本发明提供一种基于视触融合的全向自适应触感手指及其使用方法，将图像传感器引入软体手触感领域，基于内在力感知原理，通过视触融合实现非嵌入式形式的触感，克服软体触感中内外感知的耦合求解问题，实现大变形部位二维接触力位置、大小感知，同时简化制备工艺流程。
本发明公开了一种基于视触融合的全向自适应触感手指，包括：软体手指本体、图像传感器和支架；
所述图像传感器安装在所述支架之间，所述支架安装在所述软体手指本体的底部且所述图像传感器置于所述软体手指本体的正下方。
作为本发明的进一步改进，所述软体手指本体为空间三维网络结构，所述空间三维网络结构基于节点的位置并采用连杆在空间中进行有序组合。
作为本发明的进一步改进，所述图像传感器包括USB摄像头。
作为本发明的进一步改进，所述支架由两个结构相同的半支架组合而成，所述支架的中部设有用于容纳所述图像传感器的容纳腔；所述软体手指本体通过螺栓与所述支架安装固定。
本发明还公开了一种全向自适应触感手指的使用方法，包括：
在所述全向自适应触感手指与物体接触的过程，基于视触融合预测二维接触力位置及大小。
作为本发明的进一步改进，所述基于视触融合预测二维接触力位置及大小，具体包括：
模型建立：
获取多组接触变形过程中图像传感器捕捉到的图像I、加载高度及水平位移(Δx,h)以及接触位置的接触力沿水平和竖直方向的分力(Fx,Fy)，并将其分别存入传感图像集合A、加载位置集合B、接触力集合C中；
通过力学加载实验标定的方法，建立加载位置集合B到接触力集合C离散单映射的位力映射模型fBC；
通过深度学习的方法，建立传感图像集合A到加载位置集合B抽象单映射的图位映射模型fAB；
实验预测：
基于所述图像传感器实时获取软体手指本体的传感图像It；
基于所述图位映射模型fAB和传感图像It，预测出当前的加载位置(Δxt,ht)；
基于所述位力映射模型fBC和当前的加载位置(Δxt,ht)，预测出当前的二维接触力大小(Fxt,Fyt)。
作为本发明的进一步改进，所述模型建立，包括：
将所述全向自适应触感手指安装在多轴力学测量平台上，将推杆作用于软体手指本体上；
通过在给定加载高度及水平位移(Δx,h)下，测量对应的支反力，获得对应的接触位置的接触力沿水平和竖直方向的分力(Fx,Fy)；
通过图像传感器获取软体手指本体的传感图像I；
重复上述步骤，得到所述传感图像集合A、加载位置集合B和接触力集合C。
作为本发明的进一步改进，在所述模型建立过程中，
基于加载位置集合B和接触力集合C中对应的(Δx,h)和(Fx,Fy)，通过线性插值的方法，建立加载位置集合B到接触力集合C离散单映射的位力映射模型fBC。
作为本发明的进一步改进，在建立位力映射模型fBC时，将软体手指本体的变形区域划分为N个矩形区域，将(Δx,h)所处矩形区域内所有测试点支反力的平均值作为该区域支反力的表征。
作为本发明的进一步改进，在建立图位映射模型fAB前，对原始图像I0进行滤波、去噪、扩展和缩放处理，得到图像I。
与现有技术相比，本发明的有益效果为：
1、本发明采用非嵌入式结构，整体构型简单、制备方便，整个触感手指只包含四个主要零件：软体手指本体、摄像头、两个相同的支架；整体的装配可以在几分钟内完成，有利于批量化制备生产，推广工业应用；
2、本发明能够同时感知大变形部位二维接触力的位置以及大小，上述信息可用于抓取过程中进行形状识别、滑移检测、增强抓取稳定性等。
附图说明
图1为本发明一种实施例公开的基于视触融合的全向自适应触感手指的爆炸结构示意图；
图2为本发明一种实施例公开的基于视触融合的全向自适应触感手指的软体手指本体三维结构图；
图3为本发明一种实施例公开的基于视触融合的全向自适应触感手指的支架三维结构图；
图4为本发明一种实施例公开的基于视触融合的全向自适应触感手指的支架力学测量平台；
图5为本发明一种实施例公开的基于视触融合的全向自适应触感手指的原理示意图；
图6为本发明一种实施例公开的基于视触融合的全向自适应触感手指的设计流程图；
图7为本发明一种实施例公开的基于视触融合的全向自适应触感手指的支架加载区域类划分示意图；
图8为本发明一种实施例公开的基于视触融合的全向自适应触感手指的支架图片预处理效果图；
图9为本发明一种实施例公开的基于视触融合的全向自适应触感手指的支架实时运行系统界面图。
图中：
1、软体手指本体；2、支架；3、图像传感器；4、5，安装孔；6、沉孔。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
本发明提供一种基于视触融合的全向自适应触感手指，在此结构的基础上，可基于触觉感知帮助机器人完成安全、高效的自适应抓取；其中，
如图1～3所示，本发明的全向自适应触感手指的硬件部分由上下两部分组成，上部分为被动式自适应的软体手指本体1，同时也是触觉感知的弹性元件；下部分主要由支架2和图像传感器3构成。
本发明的软体手指本体1为空间三维网络结构，空间三维网络结构基于节点的位置并采用连杆在空间中进行有序组合。具体的，空间三维网络结构为第一基本单元、第二基本单元、一个第一基本单元和多个第二基本单元的叠合、或多个第二基本单元的叠合；其中，第一基本单元包括第一上层结构和第一下层结构，第一上层结构包含一个第一节点，第一下层结构包含至少三个第二节点，至少三个第二节点不共线；第一节点和所有第二节点通过连杆构成三维网络结构，连杆连接在两个第二节点之间或第一节点与第二节点之间；第二基本单元包括第二上层结构和第二下层结构，第二上层结构包含至少两个第三节点，第二下层结构包含至少两个第四节点，至少两个第四节点与至少两个第三节点不共面；所有第三节点和所有第四节点通过连杆构成三维网络结构，连杆连接在两个第三节点之间、两个第四节点之间或第三节点与第四节点之间。进一步，空间三维网络结构参见申请人的现有专利201910461095X、2019104610911、2019104610907、2019104609933、2019104609967、2019104610428、201910460542X的相关记载。如图1、2所示，本发明的软体手指本体1采用的是多个第二基本单元的叠合，可为任意形状的网格手指结构，如圆柱状、长方体状等等，其在抓取过程中对目标物品具有全方向的适应性和包覆性。更进一步，软体手指本体1优选使用TPU软体材料覆膜成型。
本发明的支架2将图像传感器3包裹后安装在软体手指本体1的底部，并使图像传感器3置于软体手指本体1的正下方。其中，图像传感器3可选用常用的网络USB摄像头；如图1、3所示，支架2由两个结构相同的半支架组合而成，支架2的中部设有用于容纳图像传感器3的容纳腔；支架2由PLA材料采用FDM技术加工成型，软体手指本体1通过螺栓与支架2安装固定。
本发明全向自适应触感手指的硬件整体的结构简单、制备装配简易，从加工到组装成型只包含3个步骤，包括：
步骤1、软体手指本体1加工成型：
软体手指本体1的材料采用TPU95，加工工艺采用覆膜成型；其中，在手指的底端设有4个直径3mm的安装孔5，用于通过螺栓与支架的连接，在手指的表面及指尖存在14个直径2mm的安装孔4。
步骤2、支架2加工成型：
支架2结构相对复杂，因而采用FDM技术加工成型，材料选用PLA；支架主体打印完毕后，在支架的上下端面将M3铜螺母加热后嵌入沉孔6中。
步骤3、零部件装配：
首先将购买的USB摄像头安装到支架2内部，通过长螺钉固定左右支架2；然后通过螺栓将软体手指本体1固定在支架上端面即可完成装配。
如图5、6所示，本发明的全向自适应触感手指与物体接触的过程，基于视触融合预测二维接触力位置及大小；具体包括：
步骤1、硬件环境的搭建：
设计所需的全向自适应触感手指结构、形状及材料。
步骤2、映射模型的建立：
步骤21、获取多组接触变形过程中图像传感器捕捉到的图像I、加载高度及水平位移(Δx,h)以及接触位置的接触力沿水平和竖直方向的分力(Fx,Fy)，并将其分别存入传感图像集合A、加载位置集合B、接触力集合C中；其中，加载位置和接触力共同构成了完整的外部触感信息(Δx,h,Fx,Fy)
步骤22、通过力学加载实验标定的方法，建立特定摩擦及接触曲率半径条件下加载位置集合B到接触力集合C离散单映射的位力映射模型fBC；
步骤23、借助图像传感器捕捉手指自身的几何特征作为触感信号,通过深度学习的方法，建立传感图像集合A到加载位置集合B抽象单映射的图位映射模型fAB；
步骤3、实时系统建立
实时系统建立是将两个映射模型嵌入到循环运行的系统中，实现触感信息的连续预测，建立实时触感系统；
例如，在某时刻t发生接触变形时，基于图像传感器实时获取软体手指本体的传感图像It；基于图位映射模型fAB和传感图像It，预测出当前的加载位置(Δxt,ht)；基于位力映射模型fBC和当前的加载位置(Δxt,ht)，预测出当前的二维接触力大小(Fxt,Fyt)。
实施例：
步骤1、硬件环境的搭建：
全向自适应触感手指的结构及装配方法详见上述；
步骤2、映射模型的建立：
1、位力映射模型
通过力学加载实验，借助图4所示的多轴力学测量平台，通过在给定的加载条件(Δx,h)下，测量对应的支反力，即可获得(Fx,Fy)在(Δx,h)的空间分布的散点图；通过线性插值的方法，可建立加载位置集合B到接触力集合C离散单映射的位力映射模型fBC；借助位力映射模型fBC，通过输入加载位置(Δx,h)可以求解出对应的(Fx,Fy)；
2、图位映射模型
通过迁移学习的方法构建构建图位映射模型，以Alexnet网络为例，对迁移学习模型的构建过程进行说明。模型的输入为227×227×3大小的RGB的图片。整个模型共包含8个权重层，其中包含5个卷积层和3个全连接层，共计6000多万个参数，并且已经在ImageNet数据集上完成了繁重的预训练工作。在现有的模型基础上，保留前7个权重层的结构及参数，只对最后一个全连接层进行调整，对加载位置区间进行分类(回归)预测，建立学习模型Alexnet-M。
如图7所示，通过将设定的变形区域划分为50个矩形块，在每个区域内均匀采集50组图片数据，然后在HSV域对图像进行预处理，数据预处理效果如图8所示，步骤为：
1)、通过将像素尺寸为1280×720×3的彩色图片I0由RGB空间转换到HSV空间，获得图片Ih。通过设定色相阈值，可以过滤掉大部分异色背景；在滤波后，残留的的噪点主要为推杆与手指接触部分，因为白色推杆的反光作用而难以滤除。考虑到白色物体的反光性好，因此其在图片中的强度一般高于其他颜色的物体。因此，在第一次滤波的基础上，我们通过设定明度的阈值进行滤波，并将图片二值化，得到图片Ib。
2)、Ib中仍存在部分零星散落的噪点，通过对二值图中连通域的识别，提取图像中的最大连通域，实现图片中散落噪点的过滤，对滤波后的图形边缘进行小幅度的光滑处理后，获得图片Ib1。
3)、对图片Ib1的二值图Ib2进行扩展，将得到的图片的由单通道扩展为三通道，每一通道都与原图片保持一致，得到尺寸为1280×720×3的图片Ib3。
4)、为了满足Alexnet-M等神经网络对图片的输入尺寸的要求，需要对原图片进行缩放处理。
将预处理好的数据按加载条件打上对应的类别标签整理成数据集，按0.7：0.2：0.1进行随机分类后，获得训练集、验证集以及测试集。训练后的模型在验证集的预测准确率为88.20％，在测试集的预测准确率为90.00％。
步骤3、实时系统建立
系统的实时运行在笔记本电脑的Matlab环境下完成，基本的运行界面如图9所示。整个程序的控制版面由过Matlab的GUI界面制作完成，左半部实时显示触感图像和对接触位置的预测信息，右下部显示当前加载状态下的预测力及系统运行的频率，右上部为操作区，控制系统的开始、终止以及数据采集。
进一步，由于图位映射模型目前采用分类算法，因此其预测的加载位置并非是准确的点，而是分布在(Δx,h)空间的一片矩形区域。不能确定加载点的具体坐标，因此目前我们暂时无法通过位力映射模型直接求解对应点的支反力。为了验证该种视触融合方案的可行性，我们提出了一种暂时性的粗略的支反力评估方法，用矩形区域内所有测试点支反力的平均值作为该区域支反力的表征。我们在整体加载空间内随机选取了250个位置点进行测试，对二维接触力的预测效果对于水平(法向)支反力Fx预测的均方根误差值为0.820N，决定系数为0.998。对于竖直(切向)支反力,Fy预测的均方根误差值为0.355N，决定系数为0.946，已经具有初步的使用价值。
应用：
本发明的触感手指可通过支架底端的安装孔固定在不同安装板上的形式组成构型不同的软体抓手，用于各种类型物体的抓取。其对接触力位置和大小的感知，有助于抓取过程中滑动监测、物体形状识别、物品硬度识别等功能的实现。
滑动监测：触感手指能够对接触力的位置进行感知。在竖直抓取过程中，当滑移产生时接触的高度位置会发生变化，因而通过检测抓取过程中的接触高度h，就可以实现滑移检测。
物品形状识别：不同形状的物品被抓取时，手指的变形特征会有不同的趋势。我们通过摄像头将手指变形记录在图片中，然后通过机器学习的算法，用图片数据进行训练，就可以实现对不同形状物品的区分。
物品硬度识别：不同硬度的物品，在受到相同加载力时会产生不同的变形信号。其中较硬的物品变形小而较软的物品则变形较大。根据这一信息，我们依据特定加载位移下，触感手指接触位置信息中的接触深度Δx，就可以完成对物品的硬度识别。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视触融合的全向自适应触感手指，其特征在于，包括：软体手指本体、图像传感器和支架；
所述图像传感器安装在所述支架之间，所述支架安装在所述软体手指本体的底部且所述图像传感器置于所述软体手指本体的正下方。
2.如权利要求1所述的全向自适应触感手指，其特征在于，所述软体手指本体为空间三维网络结构，所述空间三维网络结构基于节点的位置并采用连杆在空间中进行有序组合。
3.如权利要求1所述的全向自适应触感手指，其特征在于，所述图像传感器包括USB摄像头。
4.如权利要求1～3中任一项所述的全向自适应触感手指，其特征在于，所述支架由两个结构相同的半支架组合而成，所述支架的中部设有用于容纳所述图像传感器的容纳腔；所述软体手指本体通过螺栓与所述支架安装固定。
5.如权利要求1-4任一项所述的全向自适应触感手指的使用方法，其特征在于，包括：
在所述全向自适应触感手指与物体接触的过程，基于视触融合预测二维接触力位置及大小。
6.如权利要求5所述的使用方法，其特征在于，所述基于视触融合预测二维接触力位置及大小，具体包括：
模型建立：
获取多组接触变形过程中图像传感器捕捉到的图像I、加载高度及水平位移(Δx,h)以及接触位置的接触力沿水平和竖直方向的分力(Fx,Fy)，并将其分别存入传感图像集合A、加载位置集合B、接触力集合C中；
通过力学加载实验标定的方法，建立加载位置集合B到接触力集合C离散单映射的位力映射模型fBC；
通过深度学习的方法，建立传感图像集合A到加载位置集合B抽象单映射的图位映射模型fAB；
实验预测：
基于所述图像传感器实时获取软体手指本体的传感图像It；
基于所述图位映射模型fAB和传感图像It，预测出当前的加载位置(Δxt,ht)；
基于所述位力映射模型fBC和当前的加载位置(Δxt,ht)，预测出当前的二维接触力大小(Fxt,Fyt)。
7.如权利要求6所述的使用方法，其特征在于，所述模型建立，包括：
将所述全向自适应触感手指安装在多轴力学测量平台上，将推杆作用于软体手指本体上；
通过在给定加载高度及水平位移(Δx,h)下，测量对应的支反力，获得对应的接触位置的接触力沿水平和竖直方向的分力(Fx,Fy)；
通过图像传感器获取软体手指本体的传感图像I；
重复上述步骤，得到所述传感图像集合A、加载位置集合B和接触力集合C。
8.如权利要求6所述的使用方法，其特征在于，在所述模型建立过程中，
基于加载位置集合B和接触力集合C中对应的(Δx,h)和(Fx,Fy)，通过线性插值的方法，建立加载位置集合B到接触力集合C离散单映射的位力映射模型fBC。
9.如权利要求6所述的使用方法，其特征在于，在建立位力映射模型fBC时，将软体手指本体的变形区域划分为N个矩形区域，将(Δx,h)所处矩形区域内所有测试点支反力的平均值作为该区域支反力的表征。
10.如权利要求6所述的使用方法，其特征在于，在建立图位映射模型fAB前，对原始图像I0进行滤波、去噪、扩展和缩放处理，得到图像I。
CN202110687700.2A 2021-06-21 2021-06-21 一种基于视触融合的全向自适应触感手指及其使用方法 Pending CN113370184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110687700.2A CN113370184A (zh) 2021-06-21 2021-06-21 一种基于视触融合的全向自适应触感手指及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110687700.2A CN113370184A (zh) 2021-06-21 2021-06-21 一种基于视触融合的全向自适应触感手指及其使用方法

Publications (1)

Publication Number Publication Date
CN113370184A true CN113370184A (zh) 2021-09-10

Family

ID=77578171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110687700.2A Pending CN113370184A (zh) 2021-06-21 2021-06-21 一种基于视触融合的全向自适应触感手指及其使用方法

Country Status (1)

Country Link
CN (1) CN113370184A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117381799A (zh) * 2023-12-11 2024-01-12 南方科技大学 基于机器视觉的抓取装置控制方法、抓取装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117381799A (zh) * 2023-12-11 2024-01-12 南方科技大学 基于机器视觉的抓取装置控制方法、抓取装置及存储介质
CN117381799B (zh) * 2023-12-11 2024-04-16 南方科技大学 基于机器视觉的抓取装置控制方法、抓取装置及存储介质

Similar Documents

Publication Publication Date Title
Kappassov et al. Tactile sensing in dexterous robot hands
JP4206057B2 (ja) 光学式触覚センサを用いた力ベクトル再構成法
US8101904B2 (en) Compliant tactile sensor for generating a signal related to an applied force
JP7061784B2 (ja) 触覚センサ、触覚測定装置、学習済みモデル、および識別装置
Huang et al. Machine learning-based multi-modal information perception for soft robotic hands
Piacenza et al. Data-driven super-resolution on a tactile dome
CN111079333B (zh) 柔性触觉传感器深度学习感知方法
EP3903080B1 (en) Tactile sensor
Tongpadungrod et al. An approach to optimise the critical sensor locations in one-dimensional novel distributive tactile surface to maximise performance
Pezzementi et al. Characterization and simulation of tactile sensors
CN113370184A (zh) 一种基于视触融合的全向自适应触感手指及其使用方法
Fang et al. A cross-modal tactile sensor design for measuring robotic grasping forces
Scimeca et al. Soft morphological processing of tactile stimuli for autonomous category formation
Park et al. Softness-adaptive pinch-grasp strategy using fingertip tactile information of robot hand
Emnett et al. A novel whisker sensor used for 3D contact point determination and contour extraction
Li et al. Continuous marker patterns for representing contact information in vision-based tactile sensor: Principle, algorithm, and verification
Lyu et al. Three-fingers FBG tactile sensing system based on squeeze-and-excitation LSTM for object classification
Wang et al. Large‐Scale Surface Shape Sensing with Learning‐Based Computational Mechanics
Judd et al. Neatskin: A discrete impedance tomography skin sensor
CN215471116U (zh) 一种可实现视频融合的全向自适应触感手指
Costi et al. Topological study on the design of soft strain sensors for simultaneous multi-point contact localization
Maeno et al. Geometry design of an elastic finger-shaped sensor for estimating friction coefficient by pressing an object
Ohka et al. A surface-shape recognition system mimicking human mechanism for tactile sensation
Gilday et al. Design and characterisation of a soft barometric sensing skin for robotic manipulation
Shi et al. Machine Learning-Assisted Dual Fiber Bragg Grating-Based Flexible Direction Sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination