CN109176590A - 一种具有压滑觉感知的柔性指尖、装置及方法 - Google Patents

Abstract

本发明公开了一种具有压滑觉感知的柔性指尖、装置及方法，柔性指尖包括力致发光薄膜和图像采集装置；其中，所述力致发光薄膜在柔性指尖与物体接触时因受力而产生形变并发光，其发光强度与所受应力成正比；所述图像采集装置实时采集力致发光薄膜的光强信息，通过检测力致发光薄膜发光所形成的光圈圆心位置实现柔性指尖滑动方向与滑动摩擦力。本申请结构简单、构思新颖，能同时检测接触力与滑移信号，并在一定程度上反映被测物体的纹理特征。

Description

一种具有压滑觉感知的柔性指尖、装置及方法

技术领域

本公开涉及机器人智能感知技术领域，特别是涉及一种具有压滑觉感知的柔性指尖、装置及方法。

背景技术

压滑觉是机器人获取环境信息的一种重要感知形式，具有压力、滑动感知能力的机器人手在抓取相对较硬的物体时应既能抓住物体防止滑落，又能确保抓取力不致过大而损坏手指本身；在抓取较软的物体时，能够确保抓取力适度，不会因抓取力逐渐变大使得被抓物体变形甚至损坏。

发明人在实际研究中发现，目前绝大多数的触觉传感器仅能实现正压力的检测，无法检测机器人手与被抓物体间的相对滑动趋势。

机器人手与被抓物体间的相对滑动在实现时触觉信号(压)和滑觉信号(滑)的分离存在一定困难，比如电容式传感器，压跟滑都会影响电容的变化，难以分离压、滑对电容变化的关系。其次传统的压电式、电容式检测精度低、灵敏度不高，连线较多，尺寸较大。

发明内容

为了解决现有技术的不足，本公开提供了一种柔性指尖压滑觉感知装置，对提高机器人手精确抓取操作的稳定性、准确性具有重要意义。

一种具有压滑觉感知的柔性指尖，包括力致发光薄膜和图像采集装置；

其中，所述力致发光薄膜在柔性指尖与物体接触时因受力而产生形变并发光，其发光强度与所受应力成正比；

所述图像采集装置实时采集力致发光薄膜的光强信息，通过检测力致发光薄膜发光所形成的光圈圆心位置实现柔性指尖滑动方向与滑动摩擦力。

进一步的，所述具有压滑觉感知的柔性指尖还包括硅胶弹性体、镍钛合金骨架，所述硅胶弹性体位于柔性指尖的最外层，所述的镍钛合金骨架位于柔性指尖的中间层，所述的力致发光薄膜位于柔性指尖的最内层；

其中，所述的力致发光薄膜由力致发光材料混合在环氧树脂中制备形成薄膜，其发光强度与所受应力成正比，用于指尖结构的应力实时可视化显示。

进一步的，所述图像采集装置为微型CCD摄像头，所述微型CCD摄像头悬于柔性指尖正上方，用于采集力致发光薄膜的光强分布。

本申请还公开了一种具有压滑觉感知的柔性指尖装置，包括控制器及具有压滑觉感知的柔性指尖，所述具有压滑觉感知的柔性指尖所采集力致发光薄膜的光强分布传输至控制器进行处理；

所述控制器通过对采集的图像的处理实现压觉检测及滑动检测；压觉检测时，利用霍夫变换检测图像中发光部位的圆心与半径，半径与指尖所受压力成正比，从而得到指尖所受压力；

滑动检测时，图像中心指向两圆心中点的方向为滑动方向，滑动过程中的指尖正压力与两圆的平均半径成正比，得到指尖滑动时所受压力。

本申请还公开了一种具有压滑觉感知的柔性指尖装置的图像处理方法，包括：

将柔性指尖碰触物体，使柔性指尖受力发生变形；

柔性指尖内层的力致发光薄膜受力发光，其发光强度与施加应力成正比；

建立三维坐标系：指尖结构为半球状，选取指尖结构的球心作为圆心O，Z轴指向指尖，建立直角坐标系O_XYZ，指尖结构上任一点坐标可表示为(x,y,z)；

实时采集力致发光薄膜的光强图像，直接传输到控制器中进行数据处理；

压觉检测：利用霍夫变换检测图像中发光部位的圆心(x,y)与半径(r)，根据像素点计算的圆圈的半径r与指尖所受压力F成正比；

根据几何投影关系：指尖位置O’(0,0,R)映射到二维图像原点O，外力F作用点(x’,y’,z’)映射到二维图像坐标为(x,y)，计算出外力作用点坐标和作用方向，实现柔性指尖外力大小、位置与方向感知；

滑动检测：指尖滑动过程中，采用霍夫变换处理图像时检测出两个圆(x1,y1,z1,r1)、(x2,y2,z2,r2)，图像中心指向两圆心中点的方向为滑动方向；

图像中心指向圆圈圆心的方向即为滑动方向，图像中心到圆圈圆心的距离d与滑动摩擦力f成正比；滑动过程中的指尖正压力与两圆的平均半径((r1+r2)/2)成正比，获得滑动时的指尖滑动方向、滑动摩擦力及滑动过程中的指尖正压力。

进一步，根据柔性指尖所受压力、摩擦力计算摩擦系数，摩擦力计算公式f＝u*F，根据计算出摩擦力f和压力F，因而摩擦系数可以计算。

进一步的，控制器中进行数据处理时，通过二值化处理，将彩色图像或灰度图像转化成黑白图像；再利用孔洞填充函数将二值图像中间的黑色空洞填满，便于下一步的圆检测处理。

进一步的，压觉检测时，圆圈的半径r与指尖所受压力F成正比，m是比例系数：

F＝m*r。

进一步的，压觉检测时，外力作用点坐标和作用方向分别是：

进一步的，滑动检测时，图像中心指向两圆心中点的方向为滑动方向：

图像中心到圆圈圆心的距离d与滑动摩擦力f成正比，k是比例系数：

滑动过程中的指尖正压力与两圆的平均半径((r1+r2)/2)成正比：

本申请还公开了一种机器人，所述机器人包括具有压滑觉感知的柔性指尖装置，所述具有压滑觉感知的柔性指尖装置安装于机器人手末端。

与现有技术相比，本公开的有益效果是：

本申请结构简单、构思新颖，能同时检测接触力与滑移信号，并在一定程度上反映被测物体的纹理特征。

本申请检测接触力与滑移信号能够使得机器人手在抓取相对较硬的物体时应既能抓住物体防止滑落，又能确保抓取力不致过大而损坏手指本身；在抓取较软的物体时，能够确保抓取力适度，不会因抓取力逐渐变大使得被抓物体变形甚至损坏。另外，纹理特征，如粗糙性、方向性、花纹、材质等，对增强机器人对物体识别能力具有重要意义。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本申请实施例子的柔性指尖结构截面示意图；

图2(a)为本申请实施例子的柔性指尖压滑觉求解模型整体示意图；

图2(b)为本申请实施例子的柔性指尖压滑觉求解模型局部放大图；

图3(a)为本申请实施例子的柔性指尖受压力的应变云图；

图3(b)为本申请实施例子的柔性指尖滑动过程中的应变云图；

图4(a)-图4(c)分别为本申请实施例子的柔性指尖在不同压力作用下经图像处理后检测到的圆；

图5为本申请实施例子的柔性指尖滑动过程中检测到的圆；

图中：1、柔性指尖，2、硅胶弹性体，3、镍钛合金骨架，4、力致发光薄膜，5、微型CCD摄像头，6、被接触物体表面，7、力致发光薄膜应变发光区域，8、二值化处理后的光亮区域，9、检测到的光圈，10、光圈的圆心，11、柔性指尖的中心，12、滑动检测到圆a，13、圆a的圆心，14、滑动检测到的圆b，15、圆b的圆心。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本申请的一种典型的实施方式中，如图1所示，一种具有压滑觉感知的柔性指尖1，包括硅胶弹性体2、镍钛合金骨架3、力致发光薄膜4和微型CCD摄像头5。

硅胶弹性体位于柔性指尖的最外层，用于增加指尖弹性，缓冲抓握、触碰过程中指尖与接触物体间作用力，起到保护手指和物体的作用。

镍钛合金骨架位于柔性指尖的中间层，其厚度应保证指尖与物体接触时既能产生微小变形，又保证可靠稳定抓取。硅胶弹性体与镍钛合金骨架之间可通过粘结剂进行粘合；具体厚度，可通过有限元仿真软件，研究不同镍钛合金骨架厚度下的指尖受力与变形的关系。通过仿真分析，得到既能保证抓取力度(不太软)，又能发生变形(不太硬)的最优厚度。

力致发光薄膜位于柔性指尖的最内层，可由力致发光材料混合在环氧树脂中制备形成薄膜，其发光强度与所受应力成正比，用于指尖结构的应力实时可视化显示。

微型CCD摄像头悬于柔性指尖正上方，用于采集力致发光薄膜的光强分布，传至机器人主控制器(CPU)进行分析决策。

本申请的另一实施例子，公开了一种柔性指尖压滑觉感知装置，包括硅胶弹性体、镍钛合金骨架、力致发光薄膜、微型CCD摄像头及主控制器。柔性手指与物体接触位置因受力而产生形变，力致发光薄膜因形变发光，微型CCD摄像头实时采集力致发光薄的光强信息，通过检测光圈圆心位置可以实现柔性指尖滑动方向与滑动摩擦力感知，通过光圈半径大小可是实现指尖压力检测，并能在一定程度上反映被接触物体表面的粗糙度等纹理特征。

本申请的另一实施例子，还公开了一种机器人，将柔性指尖安装于机器人手末端碰触物体，柔性指尖检测的数据传输至机器人的主控制器。

本申请的又一实施例子，公开了一种指尖触滑觉检测方法，步骤如下：

1)将柔性指尖安装于机器人手末端碰触物体，使柔性指尖受力发生变形；

2)柔性指尖内层的力致发光薄膜受力发光，其发光强度与施加应力成正比；

3)如图2(a)-图2(b)所示，柔性指尖碰触物体至被接触物体表面6，形成力致发光薄膜应变发光区域7，建立三维坐标系：指尖结构为半球状，因此选取指尖结构的球心作为圆心O，Z轴指向指尖，建立直角坐标系O_XYZ，指尖结构上任一点坐标可表示为(x,y,z)；R为半球状结构的球半径。

4)微型CCD摄像头实时采集力致发光薄膜的光强图像，通过USB接口直接传动到CPU中进行数据处理。

如图3(a)-图3(b)所示，通过二值化处理，将彩色图像或灰度图像转化成黑白图像，形成二值化处理后的光亮区域8；再利用孔洞填充函数将二值图像中间的黑色空洞填满，便于下一步的圆检测处理；

5)压觉检测：利用霍夫变换检测图像中发光部位的圆心(x,y)与半径(r)。白色圆圈的半径r(可根据像素点计算出来)与指尖所受压力F成正比(m是比例系数，具体可通过仿真、实验方式确定)：

F＝m*r

根据几何投影关系：指尖位置O’(0,0,R)映射到二维图像原点O，外力F作用点(x’,y’,z’)映射到二维图像坐标为(x,y)，可以计算出外力作用点坐标：

和作用方向：

实现柔性指尖外力大小、位置与方向感知。

如图4(a)-图4(c)为柔性指尖在不同压力作用下经图像处理后检测到的光圈9及光圈的圆心10。

5)如图5所示，滑动检测：指尖滑动过程中，应变分布不均匀，采集的图像区域存在凹陷，其中，柔性指尖的中心11在指尖滑动过程中滑动检测到圆a12，圆a的圆心13，滑动检测到的圆b14，圆b的圆心15。

采用霍夫变换处理图像时检测出两个圆(x1,y1,z1,r1)、(x2,y2,z2,r2)。图像中心指向两圆心中点的方向为滑动方向：

图像中心指向白色圆圈圆心的方向即为滑动方向，图像中心到白色圆圈圆心的距离d(距离可通过像素点计算出来)与滑动摩擦力f成正比(k是比例系数，具体可通过仿真、实验等方式确定)：

相似的，滑动过程中的指尖正压力与两圆的平均半径((r1+r2)/2)成正比：

根据柔性指尖所受压力、摩擦力可以反映出被接触物体的表面纹理、精细程度，如摩擦系数，摩擦力计算公式f＝u*F，根据前面两个公式可计算出摩擦力f和压力F，因而摩擦系数可以计算。

本发明的工作原理如下：在抓取物体时，柔性手指与物体接触位置因受力而产生形变，其形变与接触位置及接触力大小有关：变形区域的圆心位置就是接触位置；变形区域半径r与接触力F成正比F＝m*r；

力致发光薄膜因形变发光，且其发光强度与所受应力成正比。微型CCD摄像头实时采集力致发光薄的光强信息并进行图像处理，通过检测图像中圆形个数区别外界作用是静压力还是滑动：1个圆则表示为静压力，两个圆则表示是滑动作用。通过光圈半径可解算出外界压力作用大小，光圈圆心坐标求解作用力位置与方向，实现指尖任一点的压觉感知。滑动过程，图像中心指向两个光圈的等效圆心的方向即为滑动方向，图像中心到等效圆心的距离可求解出滑动中的摩擦力，等效半径可反映滑动中的正压力，并能在一定程度上反映被接触物体表面的粗糙度等纹理特征。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种具有压滑觉感知的柔性指尖，其特征是，包括力致发光薄膜和图像采集装置；

其中，所述力致发光薄膜在柔性指尖与物体接触时因受力而产生形变并发光，其发光强度与所受应力成正比；

所述图像采集装置实时采集力致发光薄膜的光强信息，通过检测力致发光薄膜发光所形成的光圈圆心位置实现柔性指尖滑动方向与滑动摩擦力。

2.如权利要求1所述的一种具有压滑觉感知的柔性指尖，其特征是，所述具有压滑觉感知的柔性指尖还包括硅胶弹性体、镍钛合金骨架，所述硅胶弹性体位于柔性指尖的最外层，所述的镍钛合金骨架位于柔性指尖的中间层，所述的力致发光薄膜位于柔性指尖的最内层；

其中，所述的力致发光薄膜由力致发光材料混合在环氧树脂中制备形成薄膜，其发光强度与所受应力成正比，用于指尖结构的应力实时可视化显示。

3.如权利要求1所述的一种具有压滑觉感知的柔性指尖，其特征是，所述图像采集装置为微型CCD摄像头，所述微型CCD摄像头悬于柔性指尖正上方，用于采集力致发光薄膜的光强分布。

4.一种具有压滑觉感知的柔性指尖装置，其特征是，包括控制器及权利要求1-3任一所述的具有压滑觉感知的柔性指尖，所述具有压滑觉感知的柔性指尖所采集力致发光薄膜的光强分布传输至控制器进行处理；

所述控制器通过对采集的图像的处理实现压觉检测及滑动检测；压觉检测时，利用霍夫变换检测图像中发光部位的圆心与半径，半径与指尖所受压力成正比，从而得到指尖所受压力；

滑动检测时，图像中心指向两圆心中点的方向为滑动方向，滑动过程中的指尖正压力与两圆的平均半径成正比，得到指尖滑动时所受压力。

5.采用权利要求4所述的一种具有压滑觉感知的柔性指尖装置的图像处理方法，其特征是，包括：

将柔性指尖碰触物体，使柔性指尖受力发生变形；

柔性指尖内层的力致发光薄膜受力发光，其发光强度与施加应力成正比；

建立三维坐标系：指尖结构为半球状，选取指尖结构的球心作为圆心O，Z轴指向指尖，建立直角坐标系O_XYZ，指尖结构上任一点坐标可表示为(x,y,z)；

实时采集力致发光薄膜的光强图像，直接传输到控制器中进行数据处理；

压觉检测：利用霍夫变换检测图像中发光部位的圆心(x,y)与半径(r)，根据像素点计算的圆圈的半径r与指尖所受压力F成正比；

根据几何投影关系：指尖位置O’(0,0,R)映射到二维图像原点O，外力F作用点(x’,y’,z’)映射到二维图像坐标为(x,y)，计算出外力作用点坐标和作用方向，实现柔性指尖外力大小、位置与方向感知；

滑动检测：指尖滑动过程中，采用霍夫变换处理图像时检测出两个圆(x1,y1,z1,r1)、(x2,y2,z2,r2)，图像中心指向两圆心中点的方向为滑动方向；

图像中心指向圆圈圆心的方向即为滑动方向，图像中心到圆圈圆心的距离d与滑动摩擦力f成正比；滑动过程中的指尖正压力与两圆的平均半径((r1+r2)/2)成正比，获得滑动时的指尖滑动方向、滑动摩擦力及滑动过程中的指尖正压力。

6.如权利要求5所述的一种具有压滑觉感知的柔性指尖装置的图像处理方法，其特征是，根据柔性指尖所受压力、摩擦力计算摩擦系数，摩擦力计算公式f＝u*F，根据计算出摩擦力f和压力F，因而摩擦系数可以计算。

7.如权利要求5所述的一种具有压滑觉感知的柔性指尖装置的图像处理方法，其特征是，控制器中进行数据处理时，通过二值化处理，将彩色图像或灰度图像转化成黑白图像；再利用孔洞填充函数将二值图像中间的黑色空洞填满，便于下一步的圆检测处理。

8.如权利要求5所述的一种具有压滑觉感知的柔性指尖装置的图像处理方法，其特征是，压觉检测时，圆圈的半径r与指尖所受压力F成正比，m是比例系数：

F＝m*r；

压觉检测时，外力作用点坐标和作用方向分别是：

9.如权利要求5所述的一种具有压滑觉感知的柔性指尖装置的图像处理方法，其特征是，滑动检测时，图像中心指向两圆心中点的方向为滑动方向：

图像中心到圆圈圆心的距离d与滑动摩擦力f成正比，k是比例系数：

滑动过程中的指尖正压力与两圆的平均半径((r1+r2)/2)成正比：

10.一种机器人，所述机器人包括权利要求5所述的具有压滑觉感知的柔性指尖装置，所述具有压滑觉感知的柔性指尖装置安装于机器人手末端。