CN110491251A

CN110491251A - 一种标准化手语模拟智能手套

Info

Publication number: CN110491251A
Application number: CN201910820641.4A
Authority: CN
Inventors: 李菲; 李迎春; 郑纯然; 徐峰
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2019-08-29
Filing date: 2019-08-29
Publication date: 2019-11-22
Anticipated expiration: 2039-08-29
Also published as: CN110491251B

Abstract

本发明公开了一种标准化手语模拟智能手套，包括手套本体、柔性应变传感器、微处理器电路板、供电模块和输出模块。柔性应变传感器固定于手套的手指关节处，由人的手指屈伸控制柔性应变传感器阻值改变，使柔性应变传感器两端分压改变。通过低通滤波器将得到电压信号中的高频分量过滤，再经过ADC转换传输给微处理器，最后经微处理器输出手势翻译结果。结果可以在OLED上显示、可通过TTS语音合成芯片和扬声器进行中英文播报，还可通过蓝牙模块将结果发送到手机APP上。该智能手套体型小巧、成本低廉、操作简单、输出形式多样、实用性强，为手语教学和手语交流提供技术支持。

Description

一种标准化手语模拟智能手套

技术领域

本发明属于智能可穿戴设备领域，具体涉及一种可以利用手套模拟标准定义的手语基本手势动作特征，并进行语音播报、屏幕显示、蓝牙传输的智能化手语识别翻译装置。

背景技术

手语作为听障人士、语言障碍人士之间及其与其他人之间的一种有效的沟通方式，在日常生活中应用广泛，但不同国家和地域之间的手语存在很多差异，很多带有地方特色，导致手语的学习较为困难，手语教育也不够普及，因此发展能翻译手语的智能设备显得尤为重要。

目前手语手势尚没有统一化的标准，不利于来自不同区域的听障人士和语言障碍人士相互交流。中国专利CN109542220A提出了一种带有校准和学习功能的手语手套、系统及实现方法，其通过自主学习使用者的手势动作，解决了传统手语手套动作识别率受个体差异的影响及词汇量小的问题，但并不利于标准化手语的发展(标准化手语的特点是动作个性化程度低，手势简单规范)；该专利也并未解决影响标准化手语发展的关键问题，即如何确保手套内的传感器随手指活动产生的信号可以准确的模拟和反映手语手势(主要涉及指关节的屈伸)，避免造成手语翻译结果的混淆；该专利中提到的5条弯曲传感器仅检测手指整体发生屈伸时的信号(这是由于应变传感器本身的检测性能不足，无法准确检测掌指关节屈曲引起的信号变化，及由指间关节屈曲引起的信号变化)，因而使其无法通过使用单一类型传感器精确地模拟手语动作。中国专利CN105353866A提出了一种用于采集手语识别用数据的手套，其使用了多种传感器对手部多个节点的弯曲角度进行检测，以获得可以准确模拟手部动作的信号，但大量使用非柔性传感器无法保证其作为可穿戴设备的舒适度和实用性；而且该专利中使用的方位角传感器的测试原理和操作过程比应变传感器复杂，且缺乏集成化的信号检测和数据处理设备，需要计算机辅助数据处理，不能实时直观地输出信号(翻译结果)，不利于可穿戴设备的批量生产和推广应用。

为方便听障人士和语言障碍人士之间相互沟通并与其他人建立简易的交流方式，亟需一种有效的辅助工具，可简单、高效的识别标准化的手语手势，从而进行正常交流，并发挥手语教学作用。

发明内容

本发明的目的在于提供一种标准化手语模拟智能手套，其能够有效的翻译不同个体的手语手势，从而实现标准化手语的教学和利用标准化手语进行沟通交流。

为达到上述目的，本发明采用了以下方案：

该智能手套包括手套本体、应变传感器组、微处理器电路板及与微处理器电路板相连的手语手势翻译结果输出模块；所述微处理器电路板设置在手套本体上，应变传感器组包括多个分别设置在手套本体上的与不同手指关节位置对应的柔性应变传感器，微处理器电路板包括用于根据柔性应变传感器随手指活动(根据标准化手语定义的手势)产生的信号(即与手势对应的一组信号，简称手势信号)进行手语手势翻译的模组，柔性应变传感器采用弹性导电纤维。

优选的，所述柔性应变传感器由碳纳米管/聚二甲基硅氧烷弹性导电纤维(即CNTs/PDMS弹性导电纤维，简称CNTs/PDMS纤维)制成，该弹性导电纤维(直径为微米级)包括PDMS纤维基体以及分散在该纤维基体内的导电物质CNTs，所述弹性导电纤维中碳的质量分数为30％～50％，氧的质量分数为19％～25％，硅的质量分数为30％～45％。CNTs/PDMS纤维不仅使柔性应变传感器具有良好的弹性，可通过打结等简单方式与柔性导线连接(连接位置称为结点)，而且使柔性应变传感器具有良好的导电性和均一性，电阻值与拉伸长度存在良好线性关系，灵敏度高、响应快速，易于信号的采集和翻译处理。

优选的，所述柔性应变传感器由单根直径为100～450μm的CNTs/PDMS纤维组成，拉伸应变范围为0～400％。

上述弹性导电纤维的制备方法，包括以下步骤：

1)将PDMS前体与固化剂混合均匀，得料液；

2)将CNTs与所述料液混合均匀，得粘稠状物料；混合中，CNTs的用量为料液质量的0.1～0.2倍；

3)将所述粘稠状物料经过预固化处理后透过筛网挤出成型，得到纤维状半固体，或者，将所述粘稠状物料直接透过筛网挤出成型，得到纤维状半固体；

4)将纤维状半固体进行固化处理，得到CNTs/PDMS弹性导电纤维。

优选的，所述步骤1)中，PDMS前体:固化剂的质量比为10:1～25:1，以保证固化后形成的PDMS具有适宜的硬度和弹性。

优选的，所述步骤3)中，预固化处理采用对粘稠状物料进行干燥实现，干燥时间根据粘稠状物料的粘度确定，避免纤维在挤出成型时相互粘连。

优选的，所述预固化处理具体包括以下步骤：将粘稠状物料于20～30℃下静置0.5～24小时；或者将粘稠状物料置于50～70℃烘箱中烘干≤1小时。

优选的，所述筛网的孔径为100～500μm。

优选的，所述步骤4)中，固化处理的条件为将纤维状半固体置于50～70℃烘箱中烘干0.5～5小时，所述烘箱的温度进一步优选为60～65℃。

优选的，所述手套本体采用纤维织物制成，柔性应变传感器嵌入于手套本体的纤维织物中，传感器两端通过打结的方式分别连接很细的柔性导线(可以有效避免由导电银浆等物质粘贴的连接方式所带来的不牢靠性)且结点固定在手套本体上；不仅使智能手套柔软、舒适、透气，变形后容易迅速恢复，能正确无延迟地反映手势，而且使柔性应变传感器产生的信号及时输出，从而得到采集、处理和翻译。

优选的，所述微处理器电路板具体包括系统板和外设驱动板，所述系统板包括微处理器模块；所述外设驱动板包括与微处理器模块分别相连的ADC调理模块和接口模块，ADC调理模块包括手势信号采集子模块，手势信号采集子模块包括与对应柔性应变传感器串联的并联支路分压电阻。

优选的，所述ADC调理模块还包括低通滤波子模块，各柔性应变传感器所在的并联支路分别与低通滤波子模块相连。利用低通滤波子模块可以去除由上述弹性导电纤维的迟滞现象带来的波形噪音变化，清除杂波，能更加准确地、特异性地读取应柔性变传感器产生的信号。

优选的，所述系统板还包括与微处理器模块相连的用于提供ADC基准电压的校准模块。利用基准电压可校正测量结果，避免了线路排布、电能传输和损耗等因素对实际测量结果的影响，可以显著降低结果的误差。

优选的，所述外设驱动板还包括与ADC调理模块、微处理器模块、所述输出模块及校准模块分别相连的供电模块。

优选的，所述输出模块包括设置在外设驱动板上的语音模块及与接口模块分别相连的显示模块、蓝牙模块。

优选的，所述显示模块采用OLED显示屏，语音模块包括与微处理器模块相连的语音合成芯片及与该芯片相连的扬声器。

本发明的有益效果体现在：

本发明采用弹性导电纤维作为柔性应变传感器，将该应变传感器固定于手套本体的手指关节对应位置处，由人的手指屈伸活动控制应变传感器阻值改变，从而使应变传感器两端分压改变，产生手势信号，通过采集、滤波及转换后传输给微处理器，经微处理器翻译后即可输出结果。该智能手套成本低廉、操作简单，为手语教学和交流提供有效的技术支持。

进一步的，该智能手套输出形式多样；电路简单可靠，易于实现小型化和可穿戴效果，实用性强。

附图说明

图1为本发明实施例1中智能手套的结构示意图；图中：1为手套本体，2为应变传感器，3为微处理器电路板，4为供电模块，5为输出模块。

图2为本发明实施例1中智能手套各部分的工作流程框图。

图3为本发明实施例1中采用的ATMEGA2560最小系统板的结构示意图；其中：(a)ATMEGA2560-16AU单片机；(b)复位电路。

图4为本发明实施例1中采用的ADC调理电路的示意图；(a)手势信号采集电路；(b)低通滤波电路。

图5为本发明实施例1中采用的电源滤波电路的示意图。

图6为本发明实施例1中采用的顶板接口(a)及语音模块(b)的电路示意图。

图7为本发明实施例1中采用的程序下载接口的电路示意图。

图8为本发明实施例1中采用的供电模块(主要涉及稳压部分)的电路示意图。

图9为本发明实施例1制备的CNTs/PDMS纤维的形貌直观图(a)及扫描电镜图(b)。

图10为本发明实施例1制备的CNTs/PDMS纤维的能谱图。

图11为本发明采用不同实施例制备的CNTs/PDMS纤维作为应变传感器时的性能比较；其中：(a)实施例1；(b)实施例2(对比例)；△R/R₀表征电阻变化率，其中R₀为无拉伸下纤维的电阻值，△R为纤维被拉伸不同长度对应的实时电阻变化量(即相对于R₀的变化量)；GF为应变系数，代表拉伸100％时的电阻变化率。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，本部分的描述仅是示例性和解释性的，不应理解为对本发明的保护范围有任何的限制作用。

实施例1

(一)CNTs/PDMS纤维制备

1)用天平称量1g的PDMS前体、0.1g的PDMS固化剂和0.2g的CNTs。

2)将称量的PDMS前体与PDMS固化剂于室温混合震荡5分钟并放入培养皿，将称量的CNTs边搅拌边加入所述培养皿中，直到所述培养皿中的溶液变成粘稠的黑色半固体。

3)将注射器前端预先用小刀切断并磨平，保留前后直径相同的圆柱体区域，即得到无头注射器，将粘稠的黑色半固体装进配有活塞的无头注射器的圆柱体内并压实。

4)推动活塞杆，将无头注射器内的混合物透过120μm孔径的筛网并挤出(挤压注射器时要使得注射器前端的切口紧密的贴在筛网的一侧表面，并且匀速推动活塞杆，中间不能移动注射器，保证注射器内的混合物均匀透过筛网，且没有中断，再收集、处理挤出的纤维状半固体)，将挤出的纤维状半固体放入60℃烘箱中固化1小时，制成固态的CNTs/PDMS弹性导电纤维(简称CNTs/PDMS纤维，图9a)。

所制备的CNTs/PDMS纤维长度可调节，平均直径为100μm(图9b)，在纤维的微观结构中可见CNTs嵌入到PDMS基底中，该纤维含C(49.07％)、O(19.79％)及Si(31.14％)三种元素(图10)，其中C来自CNTs和PDMS，O和Si来自于PDMS。

经断裂拉伸实验可知，所制备的CNTs/PDMS纤维具有较好的弹性，拉伸长度达到340％，断裂强度为16.71MPa，杨氏模量为7.64MPa，说明具有较强的韧性。

上述CNTs/PDMS纤维制备中，PDMS前体(Base)及PDMS固化剂(Curing Agent)采用试剂盒产品(SYLGARD^TM 184 Silicone Elastomer Kit)。CNTs和PDMS前体混合时采用先加少量CNTs到PDMS前体与固化剂的混合物中，搅拌均匀后再继续加入，如此反复，直至将称量的全部CNTs分次混入，以保证混合的均一性。在60℃烘箱中的固化处理(步骤4)的目的是以该烘箱内的温度和干燥的环境使半固态的纤维逐渐向固态转化。

(二)智能手套制备

参见图1及图2，手语模拟智能手套包括手套本体1、柔性应变传感器2、微处理器电路板3、供电模块4及输出模块5，其中输出模块5包括OLED显示屏、语音模块(TTS语音合成芯片及扬声器)及HC-42蓝牙模块。柔性应变传感器2固定于手套本体1上与手指关节对应位置处，由人的手指关节屈伸控制柔性应变传感器2阻值改变，从而使柔性应变传感器2两端分压改变。通过微处理器电路板3进行低通滤波将得到电压信号中的高频分量过滤，再经过ADC转换传输给微处理器，最后经微处理器处理后输出手势翻译结果。结果可以在OLED显示屏上显示、可通过TTS语音合成芯片和扬声器进行中英文播报、也可通过蓝牙模块将结果发送到手机APP上。

上述手语模拟智能手套具体制作步骤如下：

1)制作柔性应变传感器

截取制备的单根CNTs/PDMS纤维使其长度可以覆盖手指关节，该纤维的电阻具有随着拉伸长度变化而变化的特点。简单的验证测试方法如下：将该纤维连接在含有定值电阻的电路中，用示波器测量纤维两端的电压随拉伸长度变化情况，可得其分压变化与拉伸长度的关系，经计算可得纤维的电阻变化率与拉伸长度成正比，具有柔性应变传感器的特点。

2)制作手套本体

手套本体1是采用商业化的棉纤维织物制成的手套状织物结构，柔性导线固定在织物结构中，以便柔性应变传感器2与安装在手套本体1上的电路板连接并传输电信号。

3)制作微处理器电路板

微处理器电路板3分为两部分：ATMEGA2560最小系统板和外设驱动板，二者位于手套本体1靠近手背的一侧上，用于采集、处理(滤波和ADC转换采样)和翻译使用者做出一定手语手势时各柔性应变传感器2由于手指各关节屈伸而产生的不同电信号，并进行UART通信。

微处理器电路板3采用了多层结构PCB板，尺寸(约为5cm×5cm)小于成年人手背的大小，可以有效地节约空间。另外通过使用排插结构，布线方便，容易固定在手套本体1上。微处理器电路板3可以根据需求打印成柔性电路板，更加贴合人体皮肤，有利于提高可穿戴设备的舒适度。

参见图3，ATMEGA2560最小系统板上除了包括ATMEGA2560-16AU单片机(图3a)及复位电路(图3b)，还包括校准电路，具体采用连接在ATMEGA2560-16AU单片机第86引脚上的2个两千欧姆的电阻(Ra12、Ra13)。

参见图4，外设驱动板包括ADC调理电路，ADC调理电路包括手势信号采集电路(图4a)及低通滤波电路(图4b)。其中，手势信号采集电路包括与安装在手套本体1上的柔性应变传感器2串联(该传感器两端通过柔性导线分别与双排接插件ADC_IN并排的两针相连)的两千欧姆的分压电阻，一个分压电阻(Ra1-Ra9中的任意一个，一端接入双排接插件ADC_IN的编号为1、3、5…17中的对应针)和对应串联的柔性应变传感器2形成一个并联支路，Ra10所在并联支路作为备用支路，各并联支路接供电模块4。低通滤波电路包括通过双排接插件ADC_IN的对应针(编号1、3、5…17)接入并联支路的滤波电容(Ca1-Ca9中的任意一个，Ca10为备用)，双排接插件ADC_IN的对应针(编号1、3、5…19)分别与ATMEGA2560-16AU单片机的第87-96引脚连接(由单片机完成ADC转换采样，最终将采集自各柔性应变传感器2的模拟信号变换为数字信号)。

外设驱动板还包括与ATMEGA2560-16AU单片机相连的接口电路，接口电路包括蓝牙模块(简称BT)接口和OLED显示屏(简称OL)接口(图6a)，及程序下载接口(图7，使用ICSP口，避免了AVR单片机传统烧录程序的复杂设计)。

外设驱动板还包括与ATMEGA2560-16AU单片机相连的语音模块(图6b，含TTS语音合成芯片)。

所述OLED显示屏设置于外设驱动板上，与对应接口相连，用于显示识别翻译结果，所述OLED显示屏采用0.91寸的显示尺寸，与传统的LCD相比显得小巧别致，增加了智能手套设计的美感；所述蓝牙模块设置于外设驱动板上，与对应接口相连，用于将识别翻译结果发送到配套的手机APP上；所述TTS语音合成芯片用于将识别翻译结果(文字信息)转化成语音，并输出，所述TTS语音合成芯片可以合成不同音调、不同音量的男女声中英文单词，该芯片(例如，型号为XFS5152)可以借助扬声器播报英文单词；扬声器设置于TTS语音合成芯片上，用于将功率放大后的电信号转换为声音信号。

参见图5及图8，供电模块4包括滤波电路及恒压源稳压电路，供电模块4设置于外设驱动板的背面，用于给位于正面的微处理器、ADC调理电路、各输出模块5(可直接连接在图6接口电路上)等部分供电。所述供电模块4尺寸约为3cm×4cm，容易固定，其中稳压电路调整供电模块4给其他不同模块供电的电压需求(5V和3.3V)，同时避免在充放电过程中因电压不稳引起的误差。

4)柔性应变传感器的安装与连接

4.1柔性应变传感器1的固定位置参照手指关节的分布(图1)：与拇指对应的柔性应变传感器为1个，可与拇指的2个关节均接触；与余其四指对应的柔性应变传感器分别为2个，其中一个柔性应变传感器可与手指的近手掌侧第一关节(即掌指关节)接触，另一个柔性应变传感器可与第一关节外侧(朝向指尖)的第二关节及第三关节(即两个指间关节)接触。即在一个手套本体1上布置了9个柔性应变传感器2。

4.2利用手套本体1上的柔性导线将固定的每个柔性应变传感器2(单根纤维)与对应一个分压电阻串联，形成9个并联支路。

工作原理：供电模块4给9个固定于手套本体1的对应于手指关节处的柔性应变传感器所在的并联支路提供电压。通过人的手指屈伸改变柔性应变传感器2的阻值，可以使柔性应变传感器2两端分压改变。经过低通滤波，将采集得到电压信号中的高频分量过滤，再通过ADC转换，使ATMEGA2560-16AU单片机获得手势信号，通过分析比对输出结果。结果可以在OLED上显示、通过TTS语音合成芯片进行中英文播报、也可通过蓝牙模块将结果发送到手机APP上。

在使用时：先将连接好电源线(通过供电模块的USB接口USB-5P，或直接利用可充电电池)的手套本体1戴在手上并贴合皮肤，使每个柔性应变传感器2对应各自相应的指关节，然后将程序导入电路板中，打开电源开关，用手指对照标准手语表做出对应的动作。

ATMEGA2560-16AU单片机根据各柔性应变传感器2在不同手指屈伸状态下的电路分压信号，通过ADC转换，获得代表每根手指(关节)的弯曲和伸直信息的“1”或“0”信号(即弯曲时产生的电压信号与伸直时的电压信号不同)，使用者通过不同手指的屈伸可形成一个九个元素的二进制数组，通过预存的语音库，就可以判断使用者的手势的对错，从而达到教学的目的。

ATMEGA2560-16AU单片机根据各柔性应变传感器2在不同手指屈伸状态下的电路分压信号，确定手指(关节)的屈伸状态，分别将伸直与弯曲的状态记为“0”和“1”，通过九组“0”和“1”的排列组合确定对应的手势及其代表的含义，并经内部程序自动识别输出信号，从而通过语音、文字显示等输出手势含义，达到交流目的。

实施例2

除了弹性导电纤维，其他与实施例1相同。

1)用天平称量1g的PDMS前体、0.1g的PDMS固化剂和0.175g的CNTs。

4)推动活塞杆，将无头注射器内的混合物透过500μm孔径的筛网并挤出(挤压注射器时要使得注射器前端的切口紧密的贴在筛网的一侧表面，并且匀速推动活塞杆，中间不能移动注射器，保证注射器内的混合物均匀透过筛网，且没有中断，再收集、处理挤出的纤维状半固体)，将挤出的纤维状半固体放入60℃烘箱中固化1小时，制成固态的CNTs/PDMS弹性导电纤维(简称CNTs/PDMS纤维)，平均直径480μm，其应变性能如图11b所示，应变系数GF为0.36。

相对于实施例1中的CNTs/PDMS纤维的应变系数GF＝2.17(图11a)，实施例2制备的纤维单位拉伸长度引起的电阻变化率较小，不利于信号的识别，且线性相关性也较差，对于0和1的采样出现较大误差。

因此，根据以上实施例1-2可以看出，应变传感器在应变性能方面的提升，可以显著提高识别效率，解决现有技术存在的信号特征不明显、不易准确提取(通过采样等方式)的问题。

总之，本发明的智能手套具有以下优势：

1.整体结构紧凑，结构小巧，可安装于手套上；

2.可充电使用，实用性强；

3.可以将手势信号以多种形式输出，可以适用于不同人群；

4.可以将信息发送至手机APP上，从而实现远程服务；

5.自行设计的电路板，方便二次开发和使用，并显著提高了测量信号的准确性，提高了手语翻译模型的泛化性。

Claims

1.一种标准化手语模拟智能手套，其特征在于：该智能手套包括手套本体(1)、应变传感器组、微处理器电路板(3)及与微处理器电路板(3)相连的手语手势翻译结果输出模块(5)；所述微处理器电路板(3)设置在手套本体(1)上，应变传感器组包括多个分别设置在手套本体(1)上的与不同手指关节位置对应的柔性应变传感器(2)，微处理器电路板包括用于根据柔性应变传感器(2)随手指活动产生的信号进行手语手势翻译的模组，柔性应变传感器(2)采用弹性导电纤维。

2.根据权利要求1所述一种标准化手语模拟智能手套，其特征在于：所述柔性应变传感器(2)由碳纳米管/聚二甲基硅氧烷弹性导电纤维制成，该弹性导电纤维包括聚二甲基硅氧烷纤维基体以及分散在该纤维基体内的导电物质碳纳米管，所述弹性导电纤维中碳的质量分数为30％～50％，氧的质量分数为19％～25％，硅的质量分数为30％～45％。

3.根据权利要求2所述一种标准化手语模拟智能手套，其特征在于：所述柔性应变传感器(2)由单根直径为100～450μm的碳纳米管/聚二甲基硅氧烷弹性导电纤维组成。

4.根据权利要求1所述一种标准化手语模拟智能手套，其特征在于：所述手套本体(1)采用纤维织物制成，柔性应变传感器(2)嵌入于手套本体(1)的纤维织物中，柔性应变传感器(2)两端与嵌入于手套本体(1)的纤维织物中的柔性导线以打结的方式连接。

5.根据权利要求1所述一种标准化手语模拟智能手套，其特征在于：所述微处理器电路板(3)具体包括系统板和外设驱动板，所述系统板包括微处理器模块；所述外设驱动板包括与微处理器模块分别相连的ADC调理模块和接口模块，ADC调理模块包括手势信号采集子模块，手势信号采集子模块包括与对应柔性应变传感器(2)串联的并联支路分压电阻。

6.根据权利要求5所述一种标准化手语模拟智能手套，其特征在于：所述ADC调理模块还包括低通滤波子模块，各柔性应变传感器(2)所在的并联支路分别与低通滤波子模块相连。

7.根据权利要求5所述一种标准化手语模拟智能手套，其特征在于：所述系统板还包括与微处理器模块相连的用于提供ADC基准电压的校准模块。

8.根据权利要求7所述一种标准化手语模拟智能手套，其特征在于：所述外设驱动板还包括与ADC调理模块、微处理器模块、所述输出模块(5)及校准模块分别相连的供电模块(4)。

9.根据权利要求5所述一种标准化手语模拟智能手套，其特征在于：所述输出模块(5)包括设置在外设驱动板上的语音模块、显示模块及蓝牙模块，显示模块及蓝牙模块分别与接口模块相连。

10.根据权利要求9所述一种标准化手语模拟智能手套，其特征在于：所述显示模块采用OLED显示屏，语音模块包括与微处理器模块相连的语音合成芯片及与该芯片相连的扬声器。