CN106097835B - 一种聋哑人交流智能辅助系统及交流的方法 - Google Patents

Abstract

本发明公开了一种聋哑人交流智能辅助系统，包括左手采集传输层和右手采集传输层，左手采集传输层和右手采集传输层均与应用层连接，应用层与云管理层连接。还公开了利用上述聋哑人交流智能辅助系统交流的方法。本发明的一种聋哑人交流智能辅助系统，能够有效促进聋哑人与健听人之间的沟通交流，还为聋哑人提供个性化手语定制、手语字典查询、课堂同步学习等扩展功能。本发明的一种聋哑人交流智能辅助系统，结构简单、佩戴方便、使用人性化。

Description

一种聋哑人交流智能辅助系统及交流的方法

技术领域

本发明属于通信系统技术领域，具体涉及一种聋哑人交流智能辅助系统，还涉及利用上述辅助系统交流的方法。

背景技术

中国是世界人口数量最大的国家，相对应的聋哑人等具有听力语言障碍的人员数量也是相当巨大的，他们需要国家及全社会的关心和帮助的。而手语是听力语言障碍者最重要的交际手段，但是由于健听人不懂手语，导致聋哑人无法与健听人进行交流，缩小了聋哑人的交流圈子，使他们更难融入社会。因此，有必要对聋哑人等语言障碍人士使用的手语进行相关智能化处理，让他们更方便地与健听人进行交流，从而帮助他们更好地融入社会。

目前现有的数据手套大致归为两类，一类是通过手部或腰部等其他部位同时佩戴设备，进行数据采集，一定程度上提高了手语识别精度和词汇量，但是要求用户佩戴设备过多，过于繁琐影响舒适度，造成用户体验感差；另一类是只在手部布设传感器设备，这样减少了佩戴设备，但同时只集中在对手部动作的采集，而忽略手部位置的采集，造成采集数据不完整，影响手语识别精度。如果要提高识别率，就必须增加额外的设备，无疑增加了成本，降低了用户体验度。因此，本发明针对手语手势特点进行精确分析，减少不必要的设备，科学合理布设传感器，通过自主训练建立自定义规则，提高手语的识别效率，以及通过个性化手语定制功能提高交流效率，并采用WiFi自组网方式进行无线数据传输，克服了蓝牙一对一传输速度慢的问题。同时能够将健听者的话语实时转换为文字显示输出，实现了聋哑人与健听人之间的双向交流。此外，本发明还为聋哑用户提供了手语字典查询以及课堂同步学习等增值服务。

发明内容

本发明的目的是提供一种聋哑人交流智能辅助系统，解决了现有手语识别设备结构繁琐、识别精度低的问题。

本发明的目的还在于提供利用上述辅助系统交流的方法。

本发明所采用的第一种技术方案是，一种聋哑人交流智能辅助系统，包括左手采集传输层和右手采集传输层，左手采集传输层和右手采集传输层均与应用层连接，应用层与云管理层连接。

本发明的特点还在于：

左手采集传输层包括依次连接的数据采集传感器组A、转换电路组A、A/D模数采集模块A、串口转WiFi模块A，串口转WiFi模块A与应用层通过WiFi局域网连接；

右手采集传输层包括依次连接的数据采集传感器组a、转换电路组a、A/D模数采集模块a、串口转WiFi模块a，串口转WiFi模块a与应用层通过WiFi局域网连接。

数据采集传感器组A包括位于左手手套的大拇指背部的第一弯曲传感器A、位于左手手套的食指背部的第二弯曲传感器A、位于左手手套的中指背部的第三弯曲传感器A、位于左手手套的无名指背部的第四弯曲传感器A、位于左手手套的小拇指背部的第五弯曲传感器A，以及位于左手手套的大拇指指腹部的第一压力传感器A、位于左手手套的食指靠近中指一侧的侧面的第二压力传感器A、位于左手手套的中指靠近无名指一侧的侧面的第三压力传感器A、位于左手手套的无名指靠近小拇指一侧的侧面的第四压力传感器A、位于左手手背靠近手腕处的加速度传感器A；

转换电路组A包括与第一弯曲传感器A连接的第一转换电路A、与第二弯曲传感器A连接的第二转换电路A、与第三弯曲传感器A连接的第三转换电路A、与第四弯曲传感器A连接的第四转换电路A、与第五弯曲传感器A连接的第五转换电路A、与第一压力传感器A连接的第六转换电路A、与第二压力传感器A连接的第七转换电路A、与第三压力传感器A连接的第八转换电路A、与第四压力传感器A连接的第九转换电路A，第一转换电路A、第二转换电路A、第三转换电路A、第四转换电路A、第五转换电路A、第六转换电路A、第七转换电路A、第八转换电路A、第九转换电路A、加速度传感器A的XYZ轴3个输出通道均与A/D模数采集模块A的采集通道对应连接。

数据采集传感器组a包括位于右手手套的大拇指背部的第一弯曲传感器a、位于右手手套的食指背部的第二弯曲传感器a、位于右手手套的中指背部的第三弯曲传感器a、位于右手手套的无名指背部的第四弯曲传感器a、位于右手手套的小拇指背部的第五弯曲传感器a，以及位于右手手套的大拇指指腹部的第一压力传感器a、位于右手手套的食指靠近中指一侧的侧面的第二压力传感器a、位于右手手套的中指靠近无名指一侧的侧面的第三压力传感器a、位于右手手套的无名指靠近小拇指一侧的侧面的第四压力传感器a、位于右手手背靠近手腕处的加速度传感器a；

转换电路组a包括与第一弯曲传感器a连接的第一转换电路a、与第二弯曲传感器a连接的第二转换电路a、与第三弯曲传感器a连接的第三转换电路a、与第四弯曲传感器a连接的第四转换电路a、与第五弯曲传感器a连接的第五转换电路a、与第一压力传感器a连接的第六转换电路a、与第二压力传感器a连接的第七转换电路a、与第三压力传感器a连接的第八转换电路a、与第四压力传感器a连接的第九转换电路a，第一转换电路a、第二转换电路a、第三转换电路a、第四转换电路a、第五转换电路a、第六转换电路a、第七转换电路a、第八转换电路a、第九转换电路a、加速度传感器a的XYZ轴3个输出通道均与A/D模数采集模块a的采集通道对应连接。

本发明所采用的第二种技术方案是，利用上述一种聋哑人交流智能辅助系统交流的方法，具体按照以下步骤实施：

步骤1：数据采集传感器组A和数据采集传感器组a分别测量左手和右手手指的弯曲程度、手指之间的并拢分散状态及手部位置空间坐标的数据信息；

步骤2：将步骤1测量到的数据信息分别经过转换电路组A和转换电路组a之后，经A/D模数采集模块A和A/D模数采集模块a进行数据采集，对采集到的模拟量数据进行转换或换算，分别得到各个弯曲传感器和各个压力传感器的数字量电压值，及得到加速度传感器A及加速度传感器a的XYZ轴的坐标数据；

步骤3：将步骤2得到的数据信息发送至串口转WiFi模块A和串口转WiFi模块a的串口，再通过socket通信连接将串口转WiFi模块A和串口转WiFi模块a的串口得到的数据均通过WiFi局域网发送到应用层并进行解析；

步骤4：应用层将步骤3解析后的数据进行手语智能识别，形成手势动作对应的编码值，根据该编码值在云管理层中的手语字典表或应用层中的本地离线手语字典表进行检索，获得对应编码值代表的手语语义文本，并将该文本转成语音进行播放。

本发明所采用的第二种技术方案的特点还在于：

步骤1中手指的弯曲程度及手指之间的并拢分散状态具体为：

根据《中国手语》对手指手形状态进行分档，建立本地状态规则表，主要用于存储对手指手形状态的量化值以及传感器在对应手指手形状态下的基准电压值范围：

左手及右手的大拇指弯曲程度进行量化，均分为3种状态：0、1、2；

左手及右手的食指弯曲程度进行量化，均分为4种状态：0、1、2、3；

左手及右手的中指弯曲程度进行量化，均分为4种状态：0、1、2、3；

左手及右手的无名指弯曲程度进行量化，均分为4种状态：0、1、2、3；

左手及右手的小拇指弯曲程度进行量化，均分为4种状态：0、1、2、3；

其中，大拇指弯曲传感器的0表示手指处于伸直或放松状态，1表示手指处于伸直与全部弯曲之间的弯曲状态，2表示手指全部弯曲的状态；其余手指弯曲传感器的0均表示手指处于伸直或放松状态，1均表示手指如手势“9”时食指的弯曲程度，2均表示该手指与大拇指接触时的弯曲状态如手势“7”中的中指的弯曲程度，3表示手指全部弯曲的状态；

左手的大拇指指腹第一压力传感器A、食指侧面第二压力传感器A、中指侧面第三压力传感器A、无名指侧面第四压力传感器A、及右手的大拇指指腹第一压力传感器a、食指侧面第二压力传感器a、中指侧面第三压力传感器a、无名指侧面第四压力传感器a均分为2种状态：0、1，其中所有压力传感器的0表示分散不接触的状态，1表示手指并拢相接触的状态；

数据采集传感器组A和数据采集传感器组a采集左手和右手上所有手指的弯曲程度、手指之间的并拢分散状态的实时数据值及手部位置空间坐标数据，在本地建立实时数据表。

步骤3中串口转WiFi模块A和串口转WiFi模块a通过WiFi热点与应用层建立连接具体为：

设置左手采集传输层的A/D模数采集模块A和右手采集传输层的A/D模数采集模块a的串口通信参数的波特率为9600、数据位为8、停止位为1、无校验，串口转WiFi模块A和串口转WiFi模块a的串口通信参数的波特率为9600、数据位为8、停止位为1、无校验，设置串口转WiFi模块A和串口转WiFi模块a为透明传输模式，网络工作模式为TCP/client，并设置所要连接的WiFi热点的SSID、密码以及服务端IP地址和端口号，同时在应用层的移动终端建立WiFi热点，将该热点的SSID和密码设置为与串口转WiFi模块A和串口转WiFi模块a中的相同，WiFi热点建立之后串口转WiFi模块A和串口转WiFi模块a将自动与该热点建立连接，左手采集传输层和右手采集传输层与应用层的移动终端之间就组成了一个WiFi无线局域网；

步骤3中在应用层进行解析数据具体为：

将应用层得到的流数据包转换成字符串格式，对字符包进行分割，通过字符串提取获得每个通道对应的传感器电压数据的字符串，最后将该字符串转成float类型的浮点数，这样就将每个A/D模数采集模块A和A/D模数采集模块a各个通道采集到的数据提取出来了。

步骤4中云管理层中的手语字典表具体为：

包括字段手语编码值、语义、图片、描述、分类，将《中国手语》的所有词汇通过语义、图片、描述、分类等字段存储到表中，根据状态规则表对手语手势进行编码，形成手语编码值，按照拇指、中指、无名指、小拇指弯曲程度，拇指、食指与中指、中指与无名指、无名指与小拇指之间的压力传感器是否接触依次进行手语语义的编码；

应用层中的本地离线手语字典表字段包括手语编码值、语义、分类，本地离线手语字典表能够同步云管理层上的手语字典表，通过离线手语字典表能够提高手语词汇搜索速度。

步骤4中手语智能识别具体为：

将应用层的移动终端挂在用户的胸前，实时采集移动终端中的加速度传感器的XYZ轴坐标数据，将移动终端的加速度传感器的XYZ轴坐标数据作为位置原点，将步骤2中得到的加速度传感器A及加速度传感器a的XYZ轴的坐标数据与位置原点坐标数据进行比较，当加速度传感器A及加速度传感器a的实时Z轴数据与移动终端的实时Z轴数据误差大于0.5时，判定为未进行手语表达，继续进行实时采集；否则，判定为处于手语表达状态，则对手势进行识别，具体为：将步骤3中应用层解析出的各个弯曲传感器、压力传感器电压数据与状态规则表中的对应的基准电压值进行匹配，依次输出各个弯曲传感器和各个压力传感器对应每个手指手形的状态量化值，并将这些状态量化值进行编码，获取该手形对应的编码值，将得到的手形对应的编码值作为手语语义检索的关键字，在建立的手语字典表中进行查询，查找到该编码值所代表的手语含义，并获取该含义的文本信息，实现了手语的智能识别；

步骤4中转成语音进行输出具体为：将手语智能识别之后得到的手语语义文本信息合成语音并输出。

还包括语音识别：将健听人表达的话语进行实时录音监听，并将监听到的语音快速翻译成文本并显示在应用层的移动终端的界面上，提供给聋哑用户，方便聋哑用户快速理解健听人表达的内容；

还包括手语字典及课堂同步学习的增值服务，手语字典具体为：用户通过查询云管理层中的手语字典表，获得手语的语义信息、手势图片以及手势做法描述信息进行学习，通过手语字典查询提高用户对手语的掌握程度；

课堂同步学习，具体为：通过语音识别方法，对课堂上老师讲课内容进行录音并实时转换为文字，同时保存在课堂信息表中，方便用户课堂学习及课后复习；

还包括自主训练建立规则，具体为：引导用户按照用户自己的手势动作习惯建立个人的状态规则表，即采集并记录用户动作所对应的各个弯曲传感器及各个压力传感器实时电压数据范围，将该数据范围作为用户该手指状态下的基准电压数据范围存入对应的状态规则表中，形成新的状态规则表，用户在以后做手语时就以新的状态规则表作为手语手势量化的标准；

还包括个性化手语定制，具体为：用户自己设计手势，定义手势含义，将常用的复杂语句快速用手语表达，采集该手势下的传感器数据，同时与状态规则表中的基准电压值范围匹配，匹配后依次输出该事实电压数据所对应的状态量化值，由这些状态量化值生成一个新的手语编码值，生成手语编码值后，用户输入该编码值所代表的语义的文本信息，并保存到本地手语字典表中，形成一条新的手语语义记录。

本发明的有益效果是：本发明一种聋哑人交流智能辅助系统，是针对聋哑人与健听人交流沟通困难的问题，设计实现了一套用于辅助聋哑人与健听人沟通的软件及相应外设。聋哑人可以通过佩戴无线数据手套进行手语实时表达，通过WiFi局域网与移动终端进行实时无线通信，将采集到的手势数据信息通过客户端软件智能识别转换为对应的语音信息，并由移动终端输出，这样健听人就能够理解聋哑人所要表达的内容。同时，通过移动终端的客户端软件把健听人的语音表达实时的转化为文本文字,显示在智能手机屏幕上，便于聋哑人快速理解，实现双向交流。通过该系统的实现，解决了健听人与聋哑人交流时因不懂手语含义而导致沟通不畅的问题，有效地促进了聋哑人与健听人之间的沟通交流。同时，本发明对传统的手语转换设备进行了创造性的改造，使得结构更加简单、佩戴更加方便、使用更加人性化，此外本发明还提供个性化手语定制、手语字典查询、课堂同步学习等扩展功能，提高了聋哑人的参与程度，为聋哑人更好的融入社会提供了一种新的途径。

附图说明

图1是本发明一种聋哑人交流智能辅助系统的结构示意图；

图2是本发明一种聋哑人交流智能辅助系统中各个传感器在左手手套上的位置布设图；

图3是本发明一种聋哑人交流智能辅助系统中各个传感器在右手手套上的位置布设图；

图4是本发明一种聋哑人交流智能辅助系统中各个传感器的外围转换电路图。

图中，100.左手采集传输层，101.第一弯曲传感器A，102.第二弯曲传感器A，103.第三弯曲传感器A，104.第四弯曲传感器A，105.第五弯曲传感器A，106.第一压力传感器A，107.第二压力传感器A，108.第三压力传感器A，109.第四压力传感器A，110.加速度传感器A，111.第一转换电路A，112.第二转换电路A，113.第三转换电路A，114.第四转换电路A，115.第五转换电路A，116.第六转换电路A，117.第七转换电路A，118.第八转换电路A，119.第九转换电路A，120.A/D模数采集模块A，121.串口转WiFi模块A；

200.左手采集传输层，201.第一弯曲传感器a，202.第二弯曲传感器a，203.第三弯曲传感器a，204.第四弯曲传感器a，205.第五弯曲传感器a，206.第一压力传感器a，207.第二压力传感器a，208.第三压力传感器a，209.第四压力传感器a，210.加速度传感器a，211.第一转换电路a，212.第二转换电路a，213.第三转换电路a，214.第四转换电路a，215.第五转换电路a，216.第六转换电路a，217.第七转换电路a，218.第八转换电路a，219.第九转换电路a，220.A/D模数采集模块a，221.串口转WiFi模块a；

300.应用层，400.云管理层，401.通信服务器，402.数据服务器，403.Web服务器。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种聋哑人交流智能辅助系统，结构如图1所示，包括左手采集传输层100和右手采集传输层200，左手采集传输层100和右手采集传输层200均与应用层300连接，应用层300与云管理层400连接。

其中，左手采集传输层100包括依次连接的数据采集传感器组A、转换电路组A、A/D模数采集模块A120、串口转WiFi模块A121，串口转WiFi模块A121与应用层300通过WiFi局域网连接；右手采集传输层200包括依次连接的数据采集传感器组a、转换电路组a、A/D模数采集模块a220、串口转WiFi模块a221，串口转WiFi模块a221与应用层300通过WiFi局域网连接。

如图2所示，数据采集传感器组A包括位于左手手套的大拇指背部的第一弯曲传感器A101、位于左手手套的食指背部的第二弯曲传感器A102、位于左手手套的中指背部的第三弯曲传感器A103、位于左手手套的无名指背部的第四弯曲传感器A104、位于左手手套的小拇指背部的第五弯曲传感器A105，以及位于左手手套的大拇指指腹部的第一压力传感器A106、位于左手手套的食指靠近中指一侧的侧面的第二压力传感器A107、位于左手手套的中指靠近无名指一侧的侧面的第三压力传感器A108、位于左手手套的无名指靠近小拇指一侧的侧面的第四压力传感器A109、位于左手手背靠近手腕处的加速度传感器A110；转换电路组A包括与第一弯曲传感器A101连接的第一转换电路A111、与第二弯曲传感器A102连接的第二转换电路A112、与第三弯曲传感器A103连接的第三转换电路A113、与第四弯曲传感器A104连接的第四转换电路A114、与第五弯曲传感器A105连接的第五转换电路A115、与第一压力传感器A106连接的第六转换电路A116、与第二压力传感器A107连接的第七转换电路A117、与第三压力传感器A108连接的第八转换电路A118、与第四压力传感器A109连接的第九转换电路A119，第一转换电路A111、第二转换电路A112、第三转换电路A113、第四转换电路A114、第五转换电路A115、第六转换电路A116、第七转换电路A117、第八转换电路A118、第九转换电路A119、加速度传感器A110的XYZ轴3个输出通道均与A/D模数采集模块A120的采集通道对应连接。

如图3所示，数据采集传感器组a包括位于右手手套的大拇指背部的第一弯曲传感器a201、位于右手手套的食指背部的第二弯曲传感器a202、位于右手手套的中指背部的第三弯曲传感器a203、位于右手手套的无名指背部的第四弯曲传感器a204、位于右手手套的小拇指背部的第五弯曲传感器a205，以及位于右手手套的大拇指指腹部的第一压力传感器a206、位于右手手套的食指靠近中指一侧的侧面的第二压力传感器a207、位于右手手套的中指靠近无名指一侧的侧面的第三压力传感器a208、位于右手手套的无名指靠近小拇指一侧的侧面的第四压力传感器a209、位于右手手背靠近手腕处的加速度传感器a210；转换电路组a包括与第一弯曲传感器a201连接的第一转换电路a211、与第二弯曲传感器a202连接的第二转换电路a212、与第三弯曲传感器a203连接的第三转换电路a213、与第四弯曲传感器a204连接的第四转换电路a214、与第五弯曲传感器a205连接的第五转换电路a215、与第一压力传感器a206连接的第六转换电路a216、与第二压力传感器a207连接的第七转换电路a217、与第三压力传感器a208连接的第八转换电路a218、与第四压力传感器a209连接的第九转换电路a219，第一转换电路a211、第二转换电路a212、第三转换电路a213、第四转换电路a214、第五转换电路a215、第六转换电路a216、第七转换电路a217、第八转换电路a218、第九转换电路a219、加速度传感器a210的XYZ轴3个输出通道均与A/D模数采集模块a220的采集通道对应连接。

上述所有弯曲传感器均主要测量手指的弯曲程度，而第一压力传感器A106、第一压力传感器a206主要判断两个拇指是否与其他部位接触以及两个拇指分别与两个食指的并拢分散状态，其他六个压力传感器主要用于判断食指、中指、无名指、小拇指相邻的两两之间的并拢分散状态。

本发明所述的弯曲传感器与压力传感器均属于柔性电阻型传感器，必须通过转换电路组A及转换电路组a将传感器因挤压形变或弯曲形变导致的电阻值变化转换为电压值的变化，接法如图4所示，图中Ti(i＝1，…，9)分别对应左手的第一弯曲传感器A101～第五弯曲传感器A105、第一压力传感器A106～第四压力传感器A109及右手的第一弯曲传感器a201～第五弯曲传感器a205、第一压力传感器a206～第四压力传感器a209，Ri可选用9KΩ～15KΩ之间的定值电阻，则通过测量Ri两端输出电压来度量传感器的实时电压值。

第一弯曲传感器A101～第五弯曲传感器A105、第一压力传感器A106～第四压力传感器A109及第一弯曲传感器a201～第五弯曲传感器a205、第一压力传感器a206～第四压力传感器a209经转换电路组A及转换电路组a之后与A/D模数采集模块A120、A/D模数采集模块a220连接，A/D模数采集模块A120、A/D模数采集模块a220将模拟量的电压值转换成对应的数字量数据，为后续处理提供数据，加速度传感器A110、加速度传感器a210分别与A/D模数采集模块A120、A/D模数采集模块a220连接，通过A/D模数采集模块A120、A/D模数采集模块a220将XYZ轴的模拟量电压值转换成数字量数据并换算成实际的XYZ轴坐标数据。A/D模数采集模块A120、A/D模数采集模块a220均通过RS232串口分别与串口转WiFi模块A121、串口转WiFi模块a221连接。串口转WiFi模块A121、串口转WiFi模块a221均设置为透明传输、TCP客户端的工作模式，串口转WiFi模块A121、串口转WiFi模块a221再分别与应用层300中的移动终端自建的WiFi热点连接，组成一个自适应的局域网。A/D模数采集模块A120、A/D模数采集模块a220采集到的数据采用socket通信方式通过无线局域网传输，传输到应用层300的移动终端客户端软件中处理解析，将手势动作实时转换成语音输出。

应用层300的移动终端能够实现手语识别、手语字典、课堂同步等功能。

云管理层400包括通信服务器401、数据服务器402和Web服务器403。用于手语字典表、用户表、设备信息表、课堂信息表等数据的更新，以及移动终端客户端软件的更新与维护，从而为聋哑用户提供个性化定制服务。

建立数据库：状态规则表、实时数据表、手语字典表、用户表、设备信息表、课堂信息表

根据《中国手语》对手指手形状态进行分档，建立本地状态规则表，主要用于存储对手指手形状态的量化值以及传感器在对应手指手形状态下的基准电压值范围：

左手及右手的大拇指弯曲程度进行量化，均分为3种状态：0、1、2，对应基准电压值范围分别为：2.01～2.17、2.3～2.68、2.7～2.9；

左手及右手的食指弯曲程度进行量化，均分为4种状态：0、1、2、3，对应基准电压值范围分别为：1.87～2.2、2.47～2.5、2.6～2.7、2.98～3.1；

左手及右手的中指弯曲程度进行量化，均分为4种状态：0、1、2、3，对应基准电压值范围分别为：1.87～2.48、2.5～2.76、2.86～3.0、3.1～3.24；

左手及右手的无名指弯曲程度进行量化，均分为4种状态：0、1、2、3，对应基准电压值范围分别为：1.82～2.13、2.2～2.53、2.64～2.84、2.81～3.0；

左手及右手的小拇指弯曲程度进行量化，均分为4种状态：0、1、2、3，对应基准电压值范围分别为：2.0～1.3、2.7～2.8、2.9～3.15、3.3～3.55；

其中，大拇指弯曲传感器的0表示手指处于伸直或放松状态，1表示手指处于伸直与全部弯曲之间的弯曲状态，2表示手指全部弯曲的状态；其余手指弯曲传感器的0均表示手指处于伸直或放松状态，1均表示手指如手势“9”时食指的弯曲程度，2均表示该手指与大拇指接触时的弯曲状态如手势“7”中的中指的弯曲程度，3表示手指全部弯曲的状态；

左手的大拇指指腹第一压力传感器A106、食指侧面第二压力传感器A107、中指侧面第三压力传感器A108、无名指侧面第四压力传感器A109、及右手的大拇指指腹第一压力传感器a206、食指侧面第二压力传感器a207、中指侧面第三压力传感器a208、无名指侧面第四压力传感器a209均分为2种状态：0、1，对应基准电压值范围分别为：0.5～4.9、5，其中所有压力传感器的0表示分散不接触的状态，1表示手指并拢相接触的状态；根据这些对手指手形状态进行离散量化，为后续编码准备。

数据采集传感器组A和数据采集传感器组a测量左手和右手上所有手指的弯曲程度及手指之间的并拢分散状态的实时数据值和手部位置空间坐标数据，在本地建立实时数据表，主要用于存储左手和右手上所有传感器的实时数据值，为后续的手语智能识别提供数据基础。

根据《中国手语》以及状态规则表，在云服务器400的数据服务器402的数据库中建立手语字典表，主要字段有手语编码值、语义、图片、描述、分类等。将《中国手语》的所有词汇通过语义、图片、描述、分类等字段存储到表中，根据状态规则表对手语手势进行编码，形成手语编码值。按照拇指、中指、无名指、小拇指弯曲程度，拇指、食指与中指、中指与无名指、无名指与小拇指之间的压力传感器是否接触依次进行手语语义的编码。例如，手势字母“A”的编码值为033330111，手势字母“B”的编码值为200000111。同时在客户端软件中建立本地离线手语字典表，主要字段有手语编码值、语义、分类等，该表能够同步云服务器上的手语字典表，通过离线手语字典表能够提高手语词汇搜索速度。

在云服务器400的数据服务器402的数据库中建立用户表、设备信息表、课堂信息表等数据表，用户表主要用于存储用户的基本信息，如用户名、密码、性别、年龄等，方便后期针对不同用户需求提供不同服务以及对用户进行管理；设备信息表主要用于存储手套设备的基本信息，如设备ID、编号、工作状态等，方便实现对设备的管理维护；课堂信息表主要用于存储用户课堂录音以及转换后的文本信息，方便用户课堂学习及课后复习。

设置左手采集传输层100的A/D模数采集模块A120和右手采集传输层200的A/D模数采集模块a220的串口通信参数的波特率为9600、数据位为8、停止位为1、无校验，串口转WiFi模块A121和串口转WiFi模块a221的串口通信参数的波特率为9600、数据位为8、停止位为1、无校验，设置串口转WiFi模块A121和串口转WiFi模块a221为透明传输模式，网络工作模式为TCP/client，并设置所要连接的WiFi热点的SSID(Service Set Identifier，服务集标识)、密码以及服务端IP地址和端口号，即设定为这个WiFi局域网中手机的地址和端口号，比如IP地址192.168.43.1，端口6553。同时在应用层300的移动终端建立WiFi热点，将该热点的SSID和密码设置为与串口转WiFi模块A121和串口转WiFi模块a221中的相同，WiFi热点建立之后串口转WiFi模块A121和串口转WiFi模块a221将自动与该热点建立连接，左手采集传输层100和右手采集传输层200与应用层300的移动终端之间就组成了一个WiFi无线局域网。

利用一种聋哑人交流智能辅助系统交流的方法，具体按照以下步骤实施：

步骤1：左手采集传输层100的A/D模数采集模块A120和右手采集传输层200的A/D模数采集模块a220分别发送采集命令，数据采集传感器组A和数据采集传感器组a分别测量左手和右手手指的弯曲程度、手指之间的并拢分散状态及手部位置空间坐标的数据信息；

步骤2：将步骤1测量到的数据信息分别经过转换电路组A和转换电路组a之后，经A/D模数采集模块A120和A/D模数采集模块a220进行数据采集，对采集到的模拟量数据进行转换或换算，分别得到各个弯曲传感器和各个压力传感器的数字量电压值，及得到加速度传感器A110及加速度传感器a210的XYZ轴的坐标数据；

步骤3：将步骤2得到的数据信息轮询发送至串口转WiFi模块A121和串口转WiFi模块a221的串口，再通过socket通信连接将串口转WiFi模块A121和串口转WiFi模块a221的串口得到的数据均通过WiFi局域网发送到应用层300。其中，socket通信连接的实现过程为：在移动终端的客户端软件中建立socket服务端通信子程序，新建ServerSocket对象并且指定端口号如6553，通过侦听方式等待接收客户端发送数据，在程序的配置文件中将该子程序设置为service工作模式，该服务将随着客户端软件的启动自动执行，生命周期将随着程序的结束而终止。通过该子程序实现对连接客户端实时侦听，并将通过无线传输获取的数据包存入手机的缓存区，等待进一步的处理。

对上述采集传输到缓存区的传感器数据包进行实时解析，将应用层300得到的流数据包转换成字符串格式，对字符包进行分割，通过字符串提取获得每个通道对应的传感器电压数据的字符串，最后将该字符串转成float类型的浮点数，这样就将每个A/D模数采集模块A120和A/D模数采集模块a220各个通道采集到的数据提取出来了，数据解析成功后将各个通道的数据存储到建立在本地实时数据表中的对应字段中。

步骤4：应用层300将步骤3解析后的数据进行手语智能识别，形成手势动作对应的编码值，根据该编码值在云管理层400中的手语字典表或应用层300中的本地离线手语字典表进行检索，获得对应编码值代表的手语语义文本，并将该文本转成语音进行播放。

其中，手语智能识别具体为：将应用层300的移动终端挂在用户的胸前，实时采集移动终端中内置的加速度传感器的XYZ轴坐标数据，将移动终端的加速度传感器的XYZ轴坐标数据作为位置原点，将步骤2中得到的加速度传感器A110及加速度传感器a210的XYZ轴坐标数据与位置原点坐标数据进行比较，当加速度传感器A110及加速度传感器a210的实时Z轴数据与移动终端的实时Z轴数据误差大于0.5时，判定为未进行手语表达，继续进行实时采集；否则，判定为处于手语表达状态，则对手势进行识别，具体为：将步骤3中应用层300解析出的各个弯曲传感器、压力传感器的电压数据与状态规则表中的对应的基准电压值进行匹配，依次输出各个弯曲传感器和各个压力传感器对应每个手指手形的状态量化值，并将这些状态量化值进行编码，获取该手形对应的编码值，例如使用左手输入字母“A”时，各传感器的状态量化值和对应采集到实时电压数据依次为：0，2.1；3，3.2；3，3.1；3，3.17；3，3.26；0，5；1，3.6；1，4.5；1，2.3。通过程序自动生成“A”的编码为033330111。将得到的手形对应的编码值作为手语语义检索的关键字，在建立的手语字典表中进行查询，查找到该编码值所代表的手语含义，并获取该含义的文本信息，实现了手语的智能识别；例如，使用上述“A”的编码033330111作为关键字在手语字典表中进行查询，便可查到一条记录，该记录中包含了该手势对应的字母“A”的信息。

对上述智能识别后获得的语义文本信息，进行语音输出：调用语音识别引擎的SDK进行语音合成，首先创建SpeechSynthesizer对象，再采用startSpeaking()方法进行合成，最后将上述获取的文本信息合成语音并输出，模拟健全人开口说话。同时，聋哑用户也可直接在程序中输入想要表达的文字，通过调用该子程序将文字合成为语音并且输出，进行语音播报，实现与健听人的交流。

本发明还可以进行语音识别，即对输入的语音信息进行识别，以文字形式显示出来：调用语音识别引擎的SDK进行语音听写，首先创建SpeechRecognizer对象，再建立监听器RecognizerListener对象，通过startListening()方法进行听写，实现对健听人表达的话语进行实时录音监听，并将监听到的语音快速翻译成文本并显示在应用层300的移动终端的界面上，提供给聋哑用户，方便聋哑用户快速理解健听人表达的内容。

本发明还设计了手语字典及课堂同步学习等增值服务。实现手语字典查询，具体在客户端软件中设计手语字典查询子程序，该子程序向用户提供手语搜索功能，用户可以通过查询云管理层400中云服务器端的手语字典表，可以获得手语的语义信息、手势图片以及手势做法描述等信息进行学习，通过手语字典查询能够提高用户对手语的掌握程度。实现课堂同步学习，具体在客户端软件中设计课堂同步学习子程序，可以通过上述的语音识别方法，对课堂上老师讲课内容进行录音并实时转换为文字，同时保存在课堂信息表中，方便用户课堂学习及课后复习，为聋哑用户提供一种走出特殊教育融入正常社会，与健听人一起进行学习的方法。

该设备的具体工作模式如下：首先佩戴手套设备，将手机挂于胸前位置，设备上电工作后与移动终端客户端软件通过WiFi局域网建立socket连接，然后通过A/D模数采集模块A120和A/D模数采集模块a220进行数据采集，再对采集到的数据进行解析，然后通过手语智能识别得到所做手形对应的编码值，并检索到该编码值所代表的手语含义，再将手语含义的文本信息转换成语音并进行语音播报，至此就实现了对手语的翻译，这样健听人就能够理解聋哑人所要表达的意思。同时，移动终端客户端软件可以将健听人所说的话语实时转换成文字并在软件界面显示，从而实现了双向沟通。

本发明的一大亮点是用户可以根据自己的手形通过自主训练建立自定义规则，实现对状态规则表中手语手形状态量化值的校正。上述状态规则表是根据多数人的手形习惯建立的普遍性规则，为了提高手语的识别准确率，聋哑用户可以根据自己的手势动作习惯建立个人的状态规则表。具体是在客户端软件中设计自定义规则的子程序实现，该子程序能够引导用户按照上述的状态规则表规定的手指状态做出对应的手势动作，采集并记录该动作所对应的弯曲传感器及压力传感器实时电压数据范围，最后将该数据范围作为用户该手指状态下的基准电压数据范围存入对应的状态规则表中，形成新的状态规则表，用户在以后做手语时就以新的状态规则表作为手语手势量化的标准。通过用户自主训练可以根据个人手部动作的特点实现规则的自主定制，最终提高手语翻译精度。

本发明的另一大亮点是可以针对不同用户实现个性化手语定制，用户可自己设计手势，定义手势含义，将常用的复杂语句快速用手语表达，有效地提高手语交流效率。具体是在客户端软件中设计自定义手语子程序，该子程序能够引导用户通过手套自定义一个手势，并采集该手势下的传感器数据，同时与状态规则表中的基准电压值范围匹配，匹配后依次输出该实时电压数据所对应的状态量化值，由这些状态量化值生成一个新的手语编码值。生成手语编码值后，用户输入该编码值所代表的语义的文本信息，并保存到本地手语字典表中，形成一条新的手语语义记录。用户再次做该动作时，就可以直接进行识别并输出语音。这样可以将复杂语义信息所代表的手语手势简化，减少手势动作的时间，实现快速播报自定义的常用语，节省交流时间，使双方交流更加通畅。

Claims (3)

1.一种聋哑人交流智能辅助系统交流的方法，其特征在于，利用一种聋哑人交流智能辅助系统，所述聋哑人交流智能辅助系统包括左手采集传输层(100)和右手采集传输层(200)，左手采集传输层(100)和右手采集传输层(200)均与应用层(300)连接，应用层(300)与云管理层(400)连接；

所述左手采集传输层(100)包括依次连接的数据采集传感器组A、转换电路组A、A/D模数采集模块A(120)、串口转WiFi模块A(121)，串口转WiFi模块A(121)与所述应用层(300)通过WiFi局域网连接；

所述右手采集传输层(200)包括依次连接的数据采集传感器组a、转换电路组a、A/D模数采集模块a(220)、串口转WiFi模块a(221)，串口转WiFi模块a(221)与所述应用层(300)通过WiFi局域网连接；

所述数据采集传感器组A包括位于左手手套的大拇指背部的第一弯曲传感器A(101)、位于左手手套的食指背部的第二弯曲传感器A(102)、位于左手手套的中指背部的第三弯曲传感器A(103)、位于左手手套的无名指背部的第四弯曲传感器A(104)、位于左手手套的小拇指背部的第五弯曲传感器A(105)，以及位于左手手套的大拇指指腹部的第一压力传感器A(106)、位于左手手套的食指靠近中指一侧的侧面的第二压力传感器A(107)、位于左手手套的中指靠近无名指一侧的侧面的第三压力传感器A(108)、位于左手手套的无名指靠近小拇指一侧的侧面的第四压力传感器A(109)、位于左手手背靠近手腕处的加速度传感器A(110)；

所述转换电路组A包括与第一弯曲传感器A(101)连接的第一转换电路A(111)、与第二弯曲传感器A(102)连接的第二转换电路A(112)、与第三弯曲传感器A(103)连接的第三转换电路A(113)、与第四弯曲传感器A(104)连接的第四转换电路A(114)、与第五弯曲传感器A(105)连接的第五转换电路A(115)、与第一压力传感器A(106)连接的第六转换电路A(116)、与第二压力传感器A(107)连接的第七转换电路A(117)、与第三压力传感器A(108)连接的第八转换电路A(118)、与第四压力传感器A(109)连接的第九转换电路A(119)，第一转换电路A(111)、第二转换电路A(112)、第三转换电路A(113)、第四转换电路A(114)、第五转换电路A(115)、第六转换电路A(116)、第七转换电路A(117)、第八转换电路A(118)、第九转换电路A(119)、所述加速度传感器A(110)的XYZ轴3个输出通道均与所述A/D模数采集模块A(120)的采集通道对应连接；

所述数据采集传感器组a包括位于右手手套的大拇指背部的第一弯曲传感器a(201)、位于右手手套的食指背部的第二弯曲传感器a(202)、位于右手手套的中指背部的第三弯曲传感器a(203)、位于右手手套的无名指背部的第四弯曲传感器a(204)、位于右手手套的小拇指背部的第五弯曲传感器a(205)，以及位于右手手套的大拇指指腹部的第一压力传感器a(206)、位于右手手套的食指靠近中指一侧的侧面的第二压力传感器a(207)、位于右手手套的中指靠近无名指一侧的侧面的第三压力传感器a(208)、位于右手手套的无名指靠近小拇指一侧的侧面的第四压力传感器a(209)、位于右手手背靠近手腕处的加速度传感器a(210)；

转换电路组a包括与第一弯曲传感器a(201)连接的第一转换电路a(211)、与第二弯曲传感器a(202)连接的第二转换电路a(212)、与第三弯曲传感器a(203)连接的第三转换电路a(213)、与第四弯曲传感器a(204)连接的第四转换电路a(214)、与第五弯曲传感器a(205)连接的第五转换电路a(215)、与第一压力传感器a(206)连接的第六转换电路a(216)、与第二压力传感器a(207)连接的第七转换电路a(217)、与第三压力传感器a(208)连接的第八转换电路a(218)、与第四压力传感器a(209)连接的第九转换电路a(219)，第一转换电路a(211)、第二转换电路a(212)、第三转换电路a(213)、第四转换电路a(214)、第五转换电路a(215)、第六转换电路a(216)、第七转换电路a(217)、第八转换电路a(218)、第九转换电路a(219)、所述加速度传感器a(210)的XYZ轴3个输出通道均与所述A/D模数采集模块a(220)的采集通道对应连接；

具体按照以下步骤实施：

步骤1：数据采集传感器组A和数据采集传感器组a分别测量左手和右手手指的弯曲程度、手指之间的并拢分散状态及手部位置空间坐标的数据信息，

其中，手指的弯曲程度及手指之间的并拢分散状态具体为：

根据《中国手语》对手指手形状态进行分档，建立本地状态规则表，主要用于存储对手指手形状态的量化值以及传感器在对应手指手形状态下的基准电压值范围：

左手及右手的大拇指弯曲程度进行量化，均分为3种状态：0、1、2；

左手及右手的食指弯曲程度进行量化，均分为4种状态：0、1、2、3；

左手及右手的中指弯曲程度进行量化，均分为4种状态：0、1、2、3；

左手及右手的无名指弯曲程度进行量化，均分为4种状态：0、1、2、3；

左手及右手的小拇指弯曲程度进行量化，均分为4种状态：0、1、2、3；

其中，大拇指弯曲传感器的0表示手指处于伸直或放松状态，1表示手指处于伸直与全部弯曲之间的弯曲状态，2表示手指全部弯曲的状态；其余手指弯曲传感器的0均表示手指处于伸直或放松状态，1均表示手指如手势“9”时食指的弯曲程度，2均表示该手指与大拇指接触时的弯曲状态如手势“7”中的中指的弯曲程度，3表示手指全部弯曲的状态；

左手的大拇指指腹第一压力传感器A(106)、食指侧面第二压力传感器A(107)、中指侧面第三压力传感器A(108)、无名指侧面第四压力传感器A(109)、及右手的大拇指指腹第一压力传感器a(206)、食指侧面第二压力传感器a(207)、中指侧面第三压力传感器a(208)、无名指侧面第四压力传感器a(209)均分为2种状态：0、1，其中所有压力传感器的0表示分散不接触的状态，1表示手指并拢相接触的状态；

数据采集传感器组A和数据采集传感器组a采集左手和右手上所有手指的弯曲程度、手指之间的并拢分散状态的实时数据值及手部位置空间坐标数据，在本地建立实时数据表；

还包括语音识别：将健听人表达的话语进行实时录音监听，并将监听到的语音快速翻译成文本并显示在应用层(300)的移动终端的界面上，提供给聋哑用户，方便聋哑用户快速理解健听人表达的内容；

还包括手语字典及课堂同步学习的增值服务，手语字典具体为：用户通过查询云管理层(400)中的手语字典表，获得手语的语义信息、手势图片以及手势做法描述信息进行学习，通过手语字典查询提高用户对手语的掌握程度；

课堂同步学习，具体为：通过语音识别方法，对课堂上老师讲课内容进行录音并实时转换为文字，同时保存在课堂信息表中，方便用户课堂学习及课后复习；

还包括自主训练建立规则，具体为：引导用户按照用户自己的手势动作习惯建立个人的状态规则表，即采集并记录用户动作所对应的各个弯曲传感器及各个压力传感器实时电压数据范围，将该数据范围作为用户该手指状态下的基准电压数据范围存入对应的状态规则表中，形成新的状态规则表，用户在以后做手语时就以新的状态规则表作为手语手势量化的标准；

还包括个性化手语定制，具体为：用户自己设计手势，定义手势含义，将常用的复杂语句快速用手语表达，采集该手势下的传感器数据，同时与状态规则表中的基准电压值范围匹配，匹配后依次输出电压数据所对应的状态量化值，由这些状态量化值生成一个新的手语编码值，生成手语编码值后，用户输入该编码值所代表的语义的文本信息，并保存到本地手语字典表中，形成一条新的手语语义记录；

步骤2：将步骤1测量到的数据信息分别经过转换电路组A和转换电路组a之后，经A/D模数采集模块A(120)和A/D模数采集模块a(220)进行数据采集，对采集到的模拟量数据进行转换或换算，分别得到各个弯曲传感器和各个压力传感器的数字量电压值，及得到加速度传感器A(110)及加速度传感器a(210)的XYZ轴的坐标数据；

步骤3：将步骤2得到的数据信息发送至串口转WiFi模块A(121)和串口转WiFi模块a(221)的串口，再通过socket通信连接将串口转WiFi模块A(121)和串口转WiFi模块a(221)的串口得到的数据均通过WiFi局域网发送到应用层(300)并进行解析；

步骤4：应用层(300)将步骤3解析后的数据进行手语智能识别，形成手势动作对应的编码值，根据该编码值在云管理层(400)中的手语字典表或应用层(300)中的本地离线手语字典表进行检索，获得对应编码值代表的手语语义文本，并将该文本转成语音进行播放，手语智能识别具体为：

将应用层(300)的移动终端挂在用户的胸前，实时采集移动终端中的加速度传感器的XYZ轴坐标数据，将移动终端的加速度传感器的XYZ轴坐标数据作为位置原点，将步骤2中得到的加速度传感器A(110)及加速度传感器a(210)的XYZ轴的坐标数据与位置原点坐标数据进行比较，当加速度传感器A(110)及加速度传感器a(210)的实时Z轴数据与移动终端的实时Z轴数据误差大于0.5时，判定为未进行手语表达，继续进行实时采集；否则，判定为处于手语表达状态，则对手势进行识别，具体为：将步骤3中应用层(300)解析出的各个弯曲传感器、压力传感器电压数据与状态规则表中的对应的基准电压值进行匹配，依次输出各个弯曲传感器和各个压力传感器对应每个手指手形的状态量化值，并将这些状态量化值进行编码，获取该手形对应的编码值，将得到的手形对应的编码值作为手语语义检索的关键字，在建立的手语字典表中进行查询，查找到该编码值所代表的手语含义，并获取该含义的文本信息，实现了手语的智能识别；

步骤4中转成语音进行输出具体为：将手语智能识别之后得到的手语语义文本信息合成语音并输出。

2.根据权利要求1所述的一种聋哑人交流智能辅助系统交流的方法，其特征在于，所述步骤3中串口转WiFi模块A(121)和串口转WiFi模块a(221)通过WiFi热点与应用层(300)建立连接具体为：

设置左手采集传输层(100)的A/D模数采集模块A(120)和右手采集传输层(200)的A/D模数采集模块a(220)的串口通信参数的波特率为9600、数据位为8、停止位为1、无校验，串口转WiFi模块A(121)和串口转WiFi模块a(221)的串口通信参数的波特率为9600、数据位为8、停止位为1、无校验，设置串口转WiFi模块A(121)和串口转WiFi模块a(221)为透明传输模式，网络工作模式为TCP/client，并设置所要连接的WiFi热点的SSID、密码以及服务端IP地址和端口号，同时在应用层(300)的移动终端建立WiFi热点，将该热点的SSID和密码设置为与串口转WiFi模块A(121)和串口转WiFi模块a(221)中的相同，WiFi热点建立之后串口转WiFi模块A(121)和串口转WiFi模块a(221)将自动与该热点建立连接，左手采集传输层(100)和右手采集传输层(200)与应用层(300)的移动终端之间就组成了一个WiFi无线局域网；

步骤3中在应用层(300)进行解析数据具体为：

将应用层(300)得到的流数据包转换成字符串格式，对字符包进行分割，通过字符串提取获得每个通道对应的传感器电压数据的字符串，最后将该字符串转成float类型的浮点数，这样就将每个A/D模数采集模块A(120)和A/D模数采集模块a(220)各个通道采集到的数据提取出来了。

3.根据权利要求1所述的一种聋哑人交流智能辅助系统交流的方法，其特征在于，所述步骤4中云管理层(400)中的手语字典表具体为：

包括字段手语编码值、语义、图片、描述、分类，将《中国手语》的所有词汇通过语义、图片、描述、分类字段存储到表中，根据状态规则表对手语手势进行编码，形成手语编码值，按照拇指、中指、无名指、小拇指弯曲程度，拇指、食指与中指、中指与无名指、无名指与小拇指之间的压力传感器是否接触依次进行手语语义的编码；

应用层(300)中的本地离线手语字典表字段包括手语编码值、语义、分类，本地离线手语字典表能够同步云管理层(400)上的手语字典表，通过离线手语字典表能够提高手语词汇搜索速度。

Images