CN111610865A - 一种基于多感知系统的电容式触觉手柄的控制方法 - Google Patents

Abstract

本发明为一种基于多感知系统的电容式触觉手柄的控制方法，所述触觉手柄上包裹有电容阵列柔性压力传感器、触觉手柄沿手柄长度方向一端安装拉压传感器，在触觉手柄内部安装惯性测量装置IMU；该方法的具体步骤是：获取拉压传感器采集的位移信号，检测到沿手柄竖直方向的受力变化，同时获取惯性测量装置IMU测量到的手柄来自三个方向的线性加速度和旋转角速率；获取人手抓握触觉手柄时的抓握图像，对抓握图像进行处理；利用卷积神经网络模型确定手握意图，进行多感知信息融合。该方法适用于在接触式人机协作中对人手抓握信息的采集，可实时估计人手姿态，准确判断操作者意图。

Description

一种基于多感知系统的电容式触觉手柄的控制方法

技术领域

本发明涉及信息采集与处理、机器学习和丝网印刷等领域，具体是一种基于多感知系统的电容式触觉手柄的控制方法。

背景技术

近年来，人机协作成为了机器人领域中最热门的研究方向之一，而在人机协作中尽可能全方位感知与提取操作者意图则是实现人机交互的基础与前提。人可通过视觉、听觉、触/力觉感知周围环境信息，目前，在机器听觉与视觉方面的发展已经较为成熟，但对操作者抓握所依靠的触/力信息获取研究的很少，常见的抓握意图检测主要通过六维力传感器，但是价格昂贵，操作不方便，检测到的相关抓握信息也有所欠缺，传统的触觉数据手套结构复杂，制作困难，穿戴繁琐，成本较高。而如何更好地处理识别到的抓握图像的信息和提高识别效率也是意图检测的重点。因此，迫切需要一种制作方便，价格低廉，高精度的装置来感知人手的抓握姿态与运动趋势，并对获取的抓握信息进行合理处理，使得获取的信息更加完善，进而充分展现操作者的抓握意图。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于多感知系统的电容式触觉手柄的控制方法。该方法适用于在接触式人机协作中对人手抓握信息的采集，可实时估计人手姿态，准确判断操作者意图。

本发明解决所述技术问题采用的技术方案是：

一种基于多感知系统的电容式触觉手柄的控制方法，所述触觉手柄上包裹有电容阵列柔性压力传感器、触觉手柄沿手柄长度方向一端安装拉压传感器，在触觉手柄内部安装惯性测量装置IMU；该方法的具体步骤是：

第一步、信息采集与处理

1-1获取拉压传感器采集的位移信号，检测到沿手柄竖直方向的受力变化，同时获取惯性测量装置IMU测量到的手柄来自三个方向的线性加速度和旋转角速率；

1-2抓握图像预处理

获取人手抓握触觉手柄时的抓握图像，对抓握图像进行处理：采用背景差分方式，对采集到的抓握数据进行去噪处理，将去噪后的数据进行高通滤波后得到人手紧抓握灰度图像，再进行二值化操作，获取预处理后的抓握图像；

1-3建立映射关系

标准抓握状态下获得的预处理后抓握图像为标准抓握图像，将标准抓握图像人手抓握状态进行区域分割，分为三部分区域，四指区域、拇指大鱼际区域、小鱼际区域，明确抓握时三部分区域的受力分布；

将真实人手分为九个区域，分别为拇指(1)、大鱼际(2)、小鱼际(3)、掌心(4)、前掌(5)、食指(6)、中指(7)、无名指(8)、小指(9)；

将标准抓握图像与真实人手之间构建映射关系，四指区域对应食指(6)、中指(7)、无名指(8)、小指(9)，拇指大鱼际区域对应拇指(1)、大鱼际(2)，小鱼际区域对应小鱼际(3)，三部分区域围成的部分对应掌心，实现抓握图像的区域分割；

第二步、构建卷积神经网络模型

将获得的标准抓握图像分成五类，即扭转、反向扭转、掌心前推、拇指横推和四指侧拉，将其输入到卷积神经网络模型CNN中，CNN的输入层后接一个卷积层，在卷积操作之前先用“0”对输入图像进行边界填充处理，将其进行灰度扩展，使扩展后图像能经过第一个卷积层C1处理之后，图像又变为初始输入层的大小，使得原图像每个像素都进行了卷积；之后在隐含层内处理后通过输出层输出；

通过离线训练的方式五类手握意图进行模式识别，得到训练好的卷积神经网络模型；

第三步、多感知信息融合

实时获取操作者当前的抓握图像经过第一步中的预处理及特征点提取后得到标准抓握图像，将该标准抓握图像输入到第二步训练好的卷积神经网络模型中，确定手握意图；根据CNN训练得到的手握意图，再研究连续一段时间与之相关的标准抓握图像三个区域的受力变化情况，明确操作者速度意图信息；

同时获取拉压传感器采集的位移信号，检测到沿手柄竖直方向的受力变化，获取惯性测量装置IMU测量到的手柄来自三个方向的线性加速度和旋转角速率，确定手柄的当前姿态、速度和位移，进而确定操作者的意图。

选取人手抓握时手掌部分不遮挡手柄缝隙位置的状态为标准抓握状态，当在非标准抓握状态下时，需要在第一步中对抓握图像进行特征点提取：

考虑到人手抓握方向和角度的不确定性，所采集到的抓握图像中手掌各部分区域相对位置分布并不固定，采用Harris角点检测算法来选取并定位任意预处理后的抓握图像的分割后不同区域特征点，进行像素点的平移，最终实现任意抓握图像向标准抓握图像的转换。

特征点提取的具体过程是：采用Harris角点提取算法，针对分割后的标准抓握图像的不同区域，在提取到的角点中根据强度梯度关系筛选出5个强度最强的角点，经过对不同人手抓握图像观察以及抓握状态评估，确定出特征点梯度响应最强点所在的区域，将该区域的特征点的坐标信息与该操作者标准抓握状态下的特征点坐标对应变换，进行像素点平移操作；其中确定位于人手模型中大鱼际末端靠近手腕的区域的一个角点的区域受力均匀，压力分布状态相对稳定，特征点梯度响应最强。

上述卷积神经网络模型训练时设置批训练中的样本批尺寸(batchsize)为100，一个训练周期为10，学习率为0.6，迭代次数为110。

与现有技术相比，本发明制作的触觉手柄结构简单，操作方便，传感器精度高，并且装有拉压力传感器、惯性测量装置IMU，可以更加全面的感知操作者意图；本发明采用了一种基于卷积神经网络的识别人手不同抓握状态的方法，且准确率较高。

综合分析现有的针对人手实体的姿势进行识别的技术，目前统一的手势库还较少，识别出来的图像是三维彩色，识别速度缓慢，图像处理起来比较复杂，识别过程中对周围环境要求比较高，如光线过暗或过亮都会影响识别准确率。本发明是对采集到的二维灰度图像进行处理，识别速度明显提高，受外界干扰也比较小，噪声小，操作起来方便。

现有的抓握动态识别仅能分析抓握和无抓握状态，本发明可适用于多种状态，如扭转、反向扭转、掌心前推、拇指横推和四指侧拉等。

现有的神经网络仅限于手部外部轮廓或者手部实体的识别，本发明提供了一种多分类的卷积神经网络，可以识别出手掌各区域的受力分布，有效地感知操作者意图。

本发明具有一定的特殊性，不同领域的识别方法不能拿来使用，人手大小形状不同，即使是在相同状态下也有差异，而且抓握的特征不容易被定义和提取。

附图说明

图1是本发明一种实施例的多感知触觉手柄整体结构示意图。

图2是本发明一种实施例的整体结构图。

图3是本发明一种实施例的传感器标定实验结构示意图。

图4a是本发明一种实施例的触觉传感器单个电容性能曲线图。

图4b是本发明一种实施例的触觉传感电容单元一致性曲线图。

图5是紧抓握状态区域分割图。

图6本发明一种实施例的标准抓握状态转换。

图7是本发明一种实施例的卷积神经网络各层参数图。

图8是本发明一种实施例的卷积神经网络模型训练流程图。

图中：1、拉压力传感器；2、电容阵列柔性压力传感器；3、惯性测量装置IMU；4、信号采集装置；5、无线传输装置；6、上位机；7、触觉手柄与机器连接装置；8、外部封装屏蔽层；9、上电极层；10、介电层；11、下电极层；12、缓冲层；13、手柄主体。

具体实施方式

下面结合实施例及附图对本发明作进一步的说明，但并不以此作为对本申请权利要求保护范围的限定。

本发明基于多感知系统的电容式触觉手柄的控制方法，所述触觉手柄上包裹有电容阵列柔性压力传感器、触觉手柄沿手柄长度方向一端安装拉压传感器，在触觉手柄内部安装惯性测量装置IMU；该方法的具体步骤是：

第一步、信息采集与处理

1-1获取拉压传感器采集的位移信号，检测到沿手柄竖直方向的受力变化，同时获取惯性测量装置IMU测量到的手柄来自三个方向的线性加速度和旋转角速率；

1-2抓握图像预处理

获取人手抓握触觉手柄时的抓握图像，对抓握图像进行处理：采用背景差分方法，对采集到的抓握数据进行去噪处理，将去噪后的数据进行高通滤波后得到人手紧抓握灰度图像，然后通过阈值自适应进行二值化操作，获取预处理后的抓握图像；

1-3建立映射关系

选取手抓握时未触及到缝隙位置的状态为标准抓握状态，标准抓握状态下获得的预处理后抓握图像为标准抓握图像，考虑到抓握图像的形态特点以及对下一步抓握图像的特征点位置选取、抓握姿态的定义研究，将标准抓握图像人手抓握状态进行区域分割，分为三部分区域，四指区域、拇指大鱼际区域、小鱼际区域，明确抓握时三部分区域的受力分布；

将真实人手分为九个区域，分别为拇指(1)、大鱼际(2)、小鱼际(3)、掌心(4)、前掌(5)、食指(6)、中指(7)、无名指(8)、小指(9)；

将标准抓握图像与真实人手之间构建映射关系，四指区域对应食指(6)、中指(7)、无名指(8)、小指(9)，拇指大鱼际区域对应拇指(1)、大鱼际(2)，小鱼际区域对应小鱼际(3)，三部分区域围成的部分对应掌心，实现抓握图像的区域分割；

1-4特征点提取

考虑到人手抓握方向和角度的不确定性，所采集到的抓握图像中手掌各部分区域相对位置分布并不固定，采用Harris角点提取算法来选取并定位任意预处理后的抓握图像的特征点，进行像素点的平移，在提取到的角点中根据强度梯度关系筛选出5个强度最强的角点，经过对不同人手抓握图像观察以及抓握状态评估，选取了位于人手模型中大鱼际末端靠近手腕的区域的一个角点，该区域受力均匀，压力分布状态相对稳定，特征点梯度响应最强，符合作为特征点的特性要求；将提取到的特征点的坐标信息与该操作者标准抓握状态下的特征点坐标对应变换，进行像素点平移操作，最终实现任意抓握图像向标准抓握图像的转换，进而建立任意抓握图像与真实人手之间的不同区域的对应关系；手握状态分为五类：扭转、反向扭转、掌心前推、拇指横推和四指侧拉；

第二步、构建卷积神经网络模型

将获得的标准抓握图像分成五类，即扭转、反向扭转、掌心前推、拇指横推和四指侧拉，将其输入到卷积神经网络模型CNN中，CNN的输入层为28×28的原始图像，输入层后接一个卷积层，在卷积操作之前先用“0”对输入图像进行边界填充处理，将其扩展成32×32的灰度图像，经过第一个卷积层C1处理之后，图像又变为28×28，使原图像每个像素都进行了卷积；之后在隐含层内处理后通过输出层输出；

通过离线训练的方式对五类手握意图进行模式识别，得到训练好的卷积神经网络模型；

第三步、多感知信息融合

实时获取操作者当前的抓握图像经过第一步中的预处理及特征点提取后得到标准抓握图像，将该标准抓握图像输入到第二步训练好的卷积神经网络模型中，确定手握意图；根据CNN训练得到的手握意图，再研究连续一段时间与之相关的标准抓握图像三个区域的受力变化情况，明确操作者速度意图信息。例如CNN分类为拇指横推时，则划分的三个区域中拇指大鱼际区域为主要受力区域，其受力分布比其他2个区域更加明显，并且如果该区域受力逐渐增大，可以认为操作者想让机器运动的快一些，相反如果该区域受力逐渐减小，可以认为操作者想让机器运动的慢一些。

同时获取拉压传感器采集的位移信号，检测到沿手柄竖直方向的受力变化，获取惯性测量装置IMU测量到的手柄来自三个方向的线性加速度和旋转角速率，确定手柄的当前姿态、速度和位移，进而确定操作者的意图，如以神经网络模型确定操作者手握意图是扭转为例，通过这两个传感器的配合，进一步确定操作者是想在扭转过程的同时向上运动还是向下运动，并准确反映此时运动的速度状态以及扭转的角度等。

实施例

本实施例的电容式触觉手柄如图1所示，包括圆柱形手柄主体13、包裹在手柄主体外表面的电容阵列柔性压力传感器2，所述手柄主体外表面沿手柄主体长度方向开设有缝隙，在缝隙周围的手柄主体内部的区域部分掏空，缝隙与内部掏空区域联通，用于放置固定在柔性压力传感器上的连接线；在手柄主体的顶端装有用于检测人手抓握时沿手柄竖直方向的受力情况的拉压力传感器，手柄主体内部掏空区域内安装有惯性测量装置IMU 3，惯性测量装置IMU用于实时检测与反映操作者抓握触觉手柄过程中手柄主体的运动状态，在三维空间中的角速度和加速度；

拉压力传感器、惯性测量装置IMU、柔性压力传感器均通过PCI接口与信号采集装置4相连接，通过无线传输装置5与上位机6连接完成通讯。上位机收集到电信号的数值变化，通过数据处理可以显示出人手在不同姿态下抓握的压力分布图像、拉压力传感器1的受力变化曲线以及惯性测量装置IMU3测量到的来自三个方向的线性加速度和旋转角速率，通过上位机6解算可获得触觉手柄的姿态、速度和位移等信息。

所述电容阵列柔性压力传感器2包括外部封装屏蔽层8、上电极层9、介电层10、下电极层11和缓冲层12。所述上电极层9和下电极层11的平行电极在空间上垂直相交，交叉的部分构成一个小的电容单元。

本发明所述的电容式触觉手柄的制作方法是：

(1)电极层的制作

将织物裁剪成大小合适的布块，并且熨烫平整，将其放置并固定在丝印台上，已经定制好的丝网印版置于斜纹布上方并与斜纹布间隔高度1.5-2.5cm，在丝网印版的上倒入适量的含银量为60％的石墨烯导电银浆，用刮印刮板刮至导电银浆覆盖整个图案，重复该步骤2-3次，抬起丝网印版，取下已经印刷好的布块放入工业用烤箱，直至导电银浆变干取出。用万用表测量导电性能，单条电极电阻值在3-3.2欧，且任意2条电极的电阻值差值不超过0.2欧。上电极层电极宽度为4mm，相邻两条电极之间的间距为1mm，下电极层电极宽度为4mm，相邻两条电极之间的间距为1.1mm，阵列数为28个。

(2)传感器接线

选取上下两电极层所有平行电极的一端，沿相邻电极之间的间隙将纯棉斜纹布裁剪1cm的长度，采用铜片压紧的方式对电极与灰排线进行固定，并用绝缘胶带包裹住铜片外表面。

(3)手柄封装

将上、下两电极层的的电极相互垂直放置，采用较强机械特性、高回弹性、高耐磨性的聚氨酯海绵作为中间介电层10。外部封装屏蔽层8选用醋酸乙烯共聚物单面海绵胶带，选用无尘布作为缓冲层12，然后整个包裹在打印好的手柄主体13上，线路部分放置在手柄一侧的凹槽之中，在手柄主体13内部下方位置放置惯性测量装置IMU3。一般地，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量用于实时检测与反映操作者抓握触觉手柄过程中手柄13的运动状态，在三维空间中的角速度和加速度，并以此解算出物体的姿态。

触觉手柄13顶端安装拉压力传感器1，检测人手抓握时沿手柄竖直方向的受力情况。

(4)传感器标定

为了明确所设计制作触觉传感器(电容阵列柔性压力传感器)的单个电容单元性能以及传感器电容单元整体一致性优劣，需要搭建实验平台，对触觉传感器进行标定实验，如图3。本文利用了型号为ZQ-990A的触摸屏压力计对电容式传感单元进行压力测试，采用机器自动加压的方式，对传感单元在0-60N范围内实施连续性加载。

当电容单元未受到外界压力时，C₀＝ε·s/d；当电容单元受到外界压力时，C₁＝ε·s/d₁。

触觉传感器的性能曲线如图4a-图4b所示，图4a加载压力和电容示数在一定范围内呈现出正比例关系，表明传感器具有良好的机械重复性能图。图4b在传感器上均匀随机选择了10个不同位置的电容单元进行了压力加载实验，并对测得的这10个不同位置的电容单元的压力加载实验的数值点进行拟合，拟合曲线参见图4b中的黑线，可见拟合曲线趋于平稳，触觉传感器电容单元的一致性特征相对良好，在一定程度上满足人手抓握需求。

本发明触觉手柄的控制方法，步骤如下：

(1)信息采集与处理

本发明所述的触觉手柄旨在检测操作者操作意图，检测人手手掌中心、手指等各个部位的动作规律，将触觉手柄采集的人手局部变化数据作为输入信号，经采集卡与上位机处理生成28×28矩阵，然后对矩阵进行处理。

惯性测量装置IMU一般由一个三轴加速度计和一个三轴陀螺仪组成。加速度计是一种能够测量加速度的传感器。加速度计的本质是检测力而非加速度，即加速度计的检测装置捕获的是引起加速度的惯性力，随后可利用牛顿第二定律F＝ma获得加速度值。陀螺仪的每个通道检测一个轴的旋转，根据得到三轴的加速度和三轴的角速度可以解算出三个方向的角度。

由加速度计解算角度

由陀螺仪解算角度

两种解算出来的角度通过数据融合得到一个既没有累计误差、噪声又小的角度数据。

拉压力传感器和惯性测量装置IMU分别与采集卡相连，拉压力传感器检测到的沿手柄竖直方向的受力变化和惯性测量装置IMU测量到手柄的来自三个方向的线性加速度和旋转角速率，通过采集卡上传到上位机，由上位机解算可以得到手柄的姿态、速度和位移等信息，进而后期通过人体模型可以解算出人体手臂的姿态，实现对操作者的意图理解。

为了实现图像与真实人手之间的一一对应，方便后续对图像进行区域分割与特征点选取定位，随机提取一张人手抓握触觉手柄时的图像，将抓握图像分布与真实人手之间构建映射关系，如图5所示。图5中(a)是人手区域分布的真实人手图像，以右手为例，大致分为9个区域，分别为(1)拇指、(2)大鱼际、(3)小鱼际、(4)掌心、(5)前掌、(6)食指、(7)中指、(8)无名指、(9)小指；图5中(b)为经过预处理后右手紧抓握手柄的灰度图像，可以看出不同区域的压力分布特点。考虑到抓握图像的形态特点以及对抓握姿态的合理定义与研究，将人手抓握状态进行区域分割，主要分为三部分区域，左上部分的四指区域、右半部分的拇指大鱼际区域和中下部分的小鱼际区域。

由于人手抓握方向和角度的不确定性，所采集到的抓握图像中手掌各部分区域相对位置分布并不固定，本发明采用Harris角点检测算法，选取并定位抓握图像的特征点。考虑到不同人手掌的外形差别以及抓握习惯上的差异，导致手掌各区域受力状态存在一定的差异，从而所提取的角点坐标位置并不固定，无法对抓握图像上的特征点或区域实施精准定位。所以在进行Harris角点提取之前，首先对抓握图像进行处理。本发明采用了背景差分方法，对采集到的抓握数据进行去噪处理，得到人手紧抓握灰度图像，然后选取合适的阈值(阈值可以人为根据经验进行设置，也可以通过阈值自适应的方式进行二值化操作)进行二值化操作，将生成的二值化图像进行形态学开运算操作，去除除四指部分孤立的空白区域，同时保留图像的形态特征，这个操作在一定程度上削弱了四指区域对特征点的定位和提取的不良影响。

对处理过后的图像进行Harris角点提取，在提取到的角点中筛选出5个强度最强的角点，经过对不同人手抓握图像观察以及抓握状态评估，选取位于人手模型中大鱼际末端靠近手腕的区域的一个角点，该区域受力均匀，压力分布状态相对稳定，将提取到的特征点的坐标信息与该操作者标准抓握状态(手抓握时未触及到缝隙位置的状态为标准抓握状态)下的特征点坐标对应变换，进行像素点平移操作，最终实现任意抓握图像向标准抓握图像的转换，如图6。

本专利采用的Harris角点提取适用于任意抓握状态下的抓握图像，是其他现有技术无法做到的。抓握图像的标准化使得手掌各部分区域之前的位置相对固定，进而提高了对不同抓握状态分类识别的准确度与可靠性。

(2)卷积神经网络模型训练

本发明采用卷积神经网络的机器学习的方法，通过离线训练的方式实现对操作者操作意图进行模式识别。

本发明设计了适合五分类的CNN，分别为扭转、反向扭转、掌心前推、拇指横推和四指侧拉，该CNN包括输入层、隐含层和输出层，其中隐含层分为第一个卷积层C1、第一个池化层S2、第二个卷积层C3、第二个池化层S4、第三个卷积层C5和全连接层F6。在进行卷积操作之前，对图像进行了边缘填充处理，输入层In为1个28×28的矩阵，第一个卷积层C1有6个5×5的卷积核，特征图为6个28×28的矩阵；两个池化层S2均为2×2的核，第二个卷积层为16个5×5的卷积核，第三个卷积层为120个5×5的卷积核，卷积层的输出由线性整流ReLU函数处理，使用2×2的核进行池化处理，目的是减少特征图，加快计算速度，上述过程共执行两次，最后通过分类器进行实时分类输出图像的抓握姿态；全连接层有5个1×1核，输出五维向量。其具体结构参见图7，各层详细参数参见下表。

CNN输入的原始图像为28×28，考虑到在进行卷积操作时，卷积核中心一般到不了图片最边缘像素，导致图像边缘无法被处理，所以在卷积操作前先用“0”对输入图像进行边界填充处理，将其扩展成32×32的灰度图像，经过卷积层C1处理之后，图像又变为28×28，使得原图像每个像素都进行了卷积。这个操作既保持了数据在空间维度上的尺寸，又保留了完整的图片边缘信息，进而保证了经过多次卷积之后对抓握图像的边缘特征提取更为充分。

卷积操作为神经网络核心过程，卷积核工作过程为

其中，

为第l层第j个神经元，M_j为输入特征集合，

为卷积核，

为偏置项，f(·)为ReLU激励函数。ReLU函数表达式为：

f(x)＝max(0,x)…【2】

ReLU代替传统的经常使用的tanh和sigmoid函数，加速了网络训练的速度，降低了计算的复杂度，对各种干扰更加具有鲁棒性，并且在一定程度上避免了梯度消失问题。

同时在卷积层与ReLU层之间对输出进行批量归一化操作，提高了收敛速度的同时由降低了训练过程中过拟合的风险。

本发明的池化层选择最大池化，池化过程表示为

其中down(·)为下采样函数，β为乘性偏置。

在CNN的多分类问题中，针对c类N个训练样本的误差函数为

其中，

为第n个样本对应的第k个实际输出，

第n个样本对应的第k个理论输出。

使用随机梯度下降法完成模型的收敛工作，损失函数计算公式如下:

式中，W为权重，b为偏置项，

为第个训练样本期望值，q为训练样本类别，C为训练样本类别数，N为训练样本总数，I(·)为指示函数，当

时I为1，否则为0。

权重迭代更新表达式为：

式中η为学习率，对于每一个权值都有一个特定的学习率。

综上，卷积神经网络模型训练流程图参见图8。

(3)训练数据集建立与处理

在卷积神经网络分类过程中，训练数据是一个重要环节。本发明共采集了3000张人手抓握的图像信息，将采集到的图像数据分为了5种类型：扭转、反向扭转、掌心前推、拇指横推和四指侧拉。其中用于训练的图像共2000张，用于测试的图像共500张，用于验证的图像共500张。本发明选取了不同身高、不同体重、不同年龄段的30名参与者进行人手抓握实验，保证了数据集的全面性及均匀各个类别样例的差异性，提高了训练的可靠度。

训练的具体过程是：初始化权值和偏置参数，设置学习率、批大小，输入训练样本和标签值，计算隐含层各神经元输入输出，计算输出层各神经元输入输出，调整隐含层和输出层各节点权值和偏置，判断是否全部样本都训练完毕，若没有完毕继续返回输入训练样本和标签值；如果训练完毕，则更新迭代次数，判断迭代次数是否大于最大迭代次数N或者误差是否小于最小精度误差e，如果满足终止条件则训练结束，如果不满足则继续迭代训练。这里最小精度误差设置为1％。

在验证卷积神经网络的训练结果过程中，综合考虑计算机的内存利用率与数据量的处理速度。在一定范围内，一般来说样本批尺寸越大，其确定的下降方向越准，引起训练震荡越小，本发明将批训练中的样本批尺寸(batchsize)预设为100，通过设置不同学习率与不同迭代次数观测整个数据集的训练准确率与测试准确率。如果学习率过大或过小，都会影响收敛速度，因此控制学习率使其在多次迭代后衰减，使得网络可以顺利收敛.。本发明选取的一个训练周期为10，学习率初选为1，学习率间隔设置为0.01、0.05、0.1、0.2、0.4、0.6、0.8、0.9、1，实验证明当学习率为0.6，迭代次数为110时准确率达到98.5％，在相同学习率与迭代次数下，再次测试准确率高达97.8％，满足最小精度误差e的要求，综上考虑迭代次数设置为110，训练结果在一定程度上满足五种不同抓握状态下的识别要求，识别精度高。

本发明未述及之处适用于现有技术。

Claims (7)

1.一种基于多感知系统的电容式触觉手柄的控制方法，所述触觉手柄上包裹有电容阵列柔性压力传感器、触觉手柄沿手柄长度方向一端安装拉压传感器，在触觉手柄内部安装惯性测量装置IMU；该方法的具体步骤是：

第一步、信息采集与处理

1-1获取拉压传感器采集的位移信号，检测到沿手柄竖直方向的受力变化，同时获取惯性测量装置IMU测量到的手柄来自三个方向的线性加速度和旋转角速率；

1-2抓握图像预处理

获取人手抓握触觉手柄时的抓握图像，对抓握图像进行处理：采用背景差分方式，对采集到的抓握数据进行去噪处理，将去噪后的数据进行高通滤波后得到人手紧抓握灰度图像，再进行二值化操作，获取预处理后的抓握图像；

1-3建立映射关系

标准抓握状态下获得的预处理后抓握图像为标准抓握图像，将标准抓握图像人手抓握状态进行区域分割，分为三部分区域，四指区域、拇指大鱼际区域、小鱼际区域，明确抓握时三部分区域的受力分布；

将真实人手分为九个区域，分别为拇指(1)、大鱼际(2)、小鱼际(3)、掌心(4)、前掌(5)、食指(6)、中指(7)、无名指(8)、小指(9)；

将标准抓握图像与真实人手之间构建映射关系，四指区域对应食指(6)、中指(7)、无名指(8)、小指(9)，拇指大鱼际区域对应拇指(1)、大鱼际(2)，小鱼际区域对应小鱼际(3)，三部分区域围成的部分对应掌心，实现抓握图像的区域分割；

第二步、构建卷积神经网络模型

将获得的标准抓握图像分成五类，即扭转、反向扭转、掌心前推、拇指横推和四指侧拉，将其输入到卷积神经网络模型CNN中，CNN的输入层后接一个卷积层，在卷积操作之前先用“0”对输入图像进行边界填充处理，将其进行灰度扩展，使扩展后图像能经过第一个卷积层C1处理之后，图像又变为初始输入层的大小，使得原图像每个像素都进行了卷积；之后在隐含层内处理后通过输出层输出；

通过离线训练的方式对五类手握意图进行模式识别，得到训练好的卷积神经网络模型；

第三步、多感知信息融合

实时获取操作者当前的抓握图像经过第一步中的预处理及特征点提取后得到标准抓握图像，将该标准抓握图像输入到第二步训练好的卷积神经网络模型中，确定手握意图；根据CNN训练得到的手握意图，再研究连续一段时间与之相关的标准抓握图像三个区域的受力变化情况，明确操作者速度意图信息；

同时获取拉压传感器采集的位移信号，检测到沿手柄竖直方向的受力变化，获取惯性测量装置IMU测量到的手柄来自三个方向的线性加速度和旋转角速率，确定手柄的当前姿态、速度和位移，进而确定操作者的意图。

2.根据权利要求1所述的控制方法，其特征在于，选取人手抓握时手掌部分不遮挡手柄缝隙位置的状态为标准抓握状态，当在非标准抓握状态下时，需要在第一步中对抓握图像进行特征点提取：

考虑到人手抓握方向和角度的不确定性，所采集到的抓握图像中手掌各部分区域相对位置分布并不固定，采用Harris角点提取算法来选取并定位任意预处理后的抓握图像的分割后不同区域特征点，进行像素点的平移，最终实现任意抓握图像向标准抓握图像的转换。

3.根据权利要求2所述的控制方法，其特征在于，特征点提取的具体过程是：采用Harris角点提取算法，针对分割后的标准抓握图像的不同区域，在提取到的角点中根据强度梯度关系筛选出5个强度最强的角点，经过对不同人手抓握图像观察以及抓握状态评估，确定出特征点梯度相应最强点所在的区域，将该区域的特征点的坐标信息与该操作者标准抓握状态下的特征点坐标对应变换，进行像素点平移操作；其中确定位于人手模型中大鱼际末端靠近手腕的区域的一个角点的区域受力均匀，压力分布状态相对稳定，特征点梯度响应最强。

4.根据权利要求1所述的控制方法，其特征在于，所述卷积神经网络模型训练时设置批训练中的样本批尺寸为100，一个训练周期为10，学习率为0.6，迭代次数为110。

5.根据权利要求1所述的控制方法，其特征在于，CNN的输入层为28×28的原始图像，输入层后接一个卷积层，在卷积操作之前先用“0”对输入图像进行边界填充处理，将其扩展成32×32的灰度图像，经过第一个卷积层C1处理之后，图像变为28×28。

6.根据权利要求1所述的控制方法，其特征在于，所述电容式触觉手柄包括圆柱形手柄主体、包裹在手柄主体外表面的电容阵列柔性压力传感器，所述手柄主体外表面沿手柄主体长度方向开设有缝隙，在缝隙周围的手柄主体内部的区域部分掏空，缝隙与内部掏空区域联通，用于放置固定在柔性压力传感器上的连接线；在手柄主体的顶端装有用于检测人手抓握时沿手柄竖直方向的受力情况的拉压力传感器，手柄主体内部掏空区域内安装有惯性测量装置IMU。

7.根据权利要求6所述的控制方法，其特征在于，所述电容阵列柔性压力传感器包括外部封装屏蔽层、上电极层、介电层、下电极层和缓冲层；所述上电极层和下电极层的平行电极在空间上垂直相交，交叉的部分构成一个小的电容单元；电极层采用含银量为60％的石墨烯导电银浆印制在纯棉斜纹布上制成，单条电极电阻值在3-3.2欧，且任意2条电极的电阻值差值不超过0.2欧。

Images