CN103426342B - 一种语音沟通方法和语音沟通装置 - Google Patents

Abstract

本发明提供了一种基于动作识别的语音沟通方法和语音沟通装置，其特征在于：将动作进行组合来形成单击动作、双击动作以及三击动作，将单击动作、双击动作以及三击动作进行组合以形成运动组合；利用控制单元来控制感知模块对运动组合进行感应检测，并采集到运动组合，并且在运动组合中滤除误动作后形成实际运动组合；将实际运动组合的运动参数存储在预编码信息数据库中；使用识别模块对采集到的运动参数进行识别、判断、分析；基于预编码信息数据库中存储的按照一定的编码方式与动作组合相对应的汉语拼音，利用解码识别模块将实际运动组合进行解码；控制单元控制信息输出模块中的扬声器播放出与实际运动组合相应的语音音频文件。

Description

一种语音沟通方法和语音沟通装置

技术领域

本发明涉及一种语音沟通方法，特别涉及一种基于动作识别的语音沟通方法和实现该语音沟通方法的语音沟通装置。

背景技术

交流沟通是人类行为的基础，人际交流是人与人之间的信息传递。人与人之间的交流方式可大致分为口头语言、文字语言、肢体语言。

在通常情况下，人与人之间的交流是通过语言进行直接交流的，但是一旦遇到失去语言表达能力的患者，例如在重症病房内使用机械通气的患者，由于气管插管或气管切开，引起暂时失声从而无法表达自己要求和感受。又例如带呼吸面罩的病人，正常说话是依靠气流冲击声带使得声带振动而发声，但呼吸机改变了人的正常生理呼吸，因此在使用呼吸机过程中患者往往无法说话。那么，这类患者易产生恐惧、焦虑的心理，承受着由疾病带来的生理上和心理上的双重折磨。

为此，在已有技术方案中，提出了一种重症患者需求识别交流卡及方法，交流内容有限。针对带呼吸面罩的病人，也有研究者提出一种允许病人说话的呼吸机，但这些对于重症而根本无法发声的患者，并不能从根本上解决他们与医护人员及他人之间的交流问题。

另外，国内外众多学者也做了相关技术研究，如利用脑电波扫描技术与他人交流的方法与装置，包括利用追踪眼球活动，以及利用脸部侦测等新发声方法，然而，这些技术及装置发展尚不成熟，存在体积庞大、功能复杂、不便于携带并且价格昂贵、实用性不够理想的缺陷。

现实生活中，由于疾病或意外等因素，导致许多病人虽然不能言语、行动不便但意识清晰，失语患者的部分身体部位仍然是可以进行敲击、摆动或紧握等动作的。那么，如何帮助这类患者来表达需求、进行信息交流、保证护士能够准确识别以方便进行护理，是目前所需要迫切解决的问题。

发明内容

本发明的目的在于提供一种基于动作识别并且简单易学的语音沟通方法和用于实现该语音沟通方法的快速便携、低成本的语音沟通装置，能够将患者可动部位的肢体动作转化为相应的语音进行播放。

本发明提供的一种基于动作识别的语音沟通方法，具有这样的特征，它具有以下步骤:将动作进行组合来形成单击动作、双击动作以及三击动作，将单击动作、双击动作以及三击动作进行组合以形成运动组合；利用控制单元来控制感知模块对运动组合进行感应检测，并采集到运动组合，并且在运动组合中滤除误动作后形成实际运动组合；将实际运动组合的运动参数存储在预编码信息数据库中；使用识别模块对采集到的运动参数进行识别、判断、分析；基于预编码信息数据库中存储的按照一定的编码方式与动作组合相对应的汉语拼音，利用解码识别模块将实际运动组合进行解码；控制单元控制信息输出模块中的扬声器播放出与实际运动组合相应的语音音频文件。其中，在预编码信息数据库中存储有每一个语音音频文件对应一个语音地址码，语音地址码对应着语音音频文件的文件存储起始地址，控制单元能够根据文件存储起始地址找到与实际运动组合对应的在预编码信息数据库中相应存储位置的语音音频文件。

在本发明的语音沟通方法中，还可以具有这样的特征：其中，动作可以是敲击、摆动以及紧握中的任意一种。

在本发明的语音沟通方法中，还可以具有这样的特征：其中，感知模块对运动组合进行感应检测时，可利用动作幅度、速度、力度、单次动作方式完成时间、单次动作组合时间以及两次动作组合的间隔时间中任意一种参数来进行检测。

在本发明的语音沟通方法中，还可以具有这样的特征：其中，当动作的动作力度、速度以及幅度大于预编码信息数据库中设定的阈值并且实际持续时间小于所设定的时间时，才判定形成实际运动组合。

在本发明的语音沟通方法中，还可以具有这样的特征：其中，一定的编码方式为：以汉字的读音为输入单位和提取，通过三次运动组合来分别输入声母、韵母和声调，在预编码信息数据库中预先存储有用于输入23个声母的动作组合、用于输入39个韵母的动作组合、用于输入一至四以及轻声5个声调的动作组合、用于输入音节码的动作组合、用于功能确认的动作组合。

在本发明的语音沟通方法中，还可以具有这样的特征：其中，一定的编码方式为：将用于求助或日常交流的短语、字词或句子进行编码，在预编码信息数据库中预先存储由单击动作、双击动作以及三击动作组成的组合及其所对应的汉字、词语、常用语，以形成动作组合常用字词句编码表。

在本发明的语音沟通方法中，还可以具有这样的特征：其中，用于输入23个声母的动作组合、用于输入39个韵母的动作组合、用于输入一至四以及轻声5个声调的动作组合、用于输入音节码的动作组合、用于功能确认的动作组合分别为：

（1）声母码：下述的动作组合声母码编码表显示了用于输入23个声母的动作组合，用数字1表示同一动作下有效的单击动作，数字2表示同一动作下有效的双击动作：

（2）韵母码：下述的动作组合韵母码编码表显示了用于输入39个韵母的动作组合，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作：

（3）声调码，下述的动作组合声调码编码表显示了用于一至四以及轻声5个声调的动作组合，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作：

（4）音节码：按照声母码、韵母码、声调码或特殊发音码、声调码的先后顺序依次排列，得到多组动作组合，即为音节码，

（5）功能码：下述的动作组合功能码编码表显示了用于输入功能确认的动作组合，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作：

在本发明的语音沟通方法中，还可以具有这样的特征：其中，动作组合常用字词句编码表如下，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作：

另外，本发明还提供了一种实现如上的语音沟通方法的语音沟通装置，具有这样的特征，具有：感知模块，用于感知动作所引起的运动组合信号；预编码信息数据库，用于存储运动组合信号和预存储按照一定的编码方式与动作组合相对应的汉语拼音；识别模块，与预编码信息数据库连接，用于对采集到的运动组合信号进行分析、判断、识别；解码识别模块，分别连接预编码信息数据库和识别模块，用于识别运动组合并且滤除误动作后以形成实际运动组合；信息输出模块，内置有扬声器，用于播放出与实际运动组合相应的语音音频文件；控制单元，用于控制感知模块、预编码信息数据库、识别模块、解码识别模块以及信息输出模块。

在本发明的语音沟通装置中，还可以具有这样的特征：其中，感知模块包含用于给操作者佩戴的操作端。当操作者手指可灵活运动时，操作端则设计成指套，佩戴于指尖；当操作者手掌可敲击或紧握动作时，操作端则设计成贴片，贴于手掌；当操作者脚掌可做敲击动作时，操作端则设计成贴片，贴于脚掌。

本发明的效果在于：

本发明提供的一种基于动作识别的语音沟通方法和语音沟通装置，能有效避免现有重症残障人士与健全人之间沟通的局限性，而且只需按照一定的规律做单击动作、双击动作以及三击动作即可，交流丰富灵活并且易于掌握，能够在部分身体部位可动的失语患者重症残障人群中广泛使用。本发明提供的语音沟通装置快速便携、低成本。

附图说明

图1是本发明的实施例中实现语音沟通方法的语音沟通装置的结构示意框图；

图2是本发明的实施例中实现语音沟通方法的语音沟通装置中感知模块的工作原理框图；

图3是本发明的实施例中实现语音沟通方法的语音沟通装置中识别模块的工作原理框图；

图4是本发明的实施例中基于动作识别的语音沟通方法的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

图1是本发明的实施例中实现语音沟通方法的语音沟通装置10的结构示意框图；

如图1所示，本实施例中用于实现语音沟通方法的语音沟通装置10包括：感知模块11、识别模块12、预编码信息数据库13、解码识别模块14、信息输出模块15以及未显示的控制单元。

感知模块11用于感知动作所引起的运动组合信号。感知模块11内置一加速度传感器、陀螺仪和压力传感器。

识别模块12用于对采集到的运动组合信号进行分析、判断、识别。在感知模块11识别出的具体某一动作模式后，对由单击、双击、三击组成的组合进行判断识别。

预编码信息数据库13与感知模块11和识别模块12分别连接，不仅存储运动组合信号，而且还预存储有按照一定的编码方式与动作组合相对应的汉语拼音以及根据重症残障人士的身体状况设定的动作幅度、速度、力度的运动参数阈值、单次动作方式完成时间，单次动作组合时间，两次动作组合的间隔时间等。另外，预编码信息数据库13存储有与动作组合相对应的多种编码表，包括有用于输入23个声母的动作组合的动作组合声母码编码表、用于输入39个韵母的动作组合的动作组合韵母码编码表、用于输入一至四以及轻声5个声调的动作组合的动作组合声调码编码表、用于输入音节码的动作组合、用于功能确认的动作组合的动作组合功能码编码表。预编码信息数据库13中存储的每一个语音音频文件对应一个语音地址码，语音地址码对应着语音音频文件的文件存储起始地址。

解码识别模块14，用于将实际运动组合进行解码。解码识别模块14根据文件存储起始地址能够找到预编码信息数据库13中存储的每一个语音音频文件及其相关信息。在获得识别后的动作组合后，解码识别模块14依据内置的算法生成对应的操作码，一个动作组合对应生成一个确定的声母码或韵母码或声调码或常用字词句码的操作码，并将操作码翻译成相应的一个或多个语音地址码，并按照地址码找到预编码信息数据库13中的相应存储位置的语音音频文件，然后传送至信息输出模块15。

信息输出模块15与解码识别模块14连接，信息输出模块15接受解码识别模块14传送的实际动作组合，信息输出模块15内置有扬声器，用于播放出与实际运动组合相应的语音音频文件。

控制单元，用于连接控制感知模块11、预编码信息数据库13、识别模块12、解码识别模块14以及信息输出模块15，在本实施例中，控制单元采用51系列的单片机。

图2是本发明的实施例中实现语音沟通方法的语音沟通装置10中感知模块11的工作原理框图。

如图2所示，在感知模块11中，接收到用户发出动作16后，先判断识别用户所发出的动作是属于无意识动作或者正常的身体动作，还属于希望与人沟通时所做的专门动作17，然后识别出患者的所发出的动作具体属于敲击、摆动或紧握这三种动作模式下的哪一种18，实时检测用户的相关运动参数，并存储在预编码信息数据库13中，再由识别模块12进行动作方式识别19。

图3是本发明的实施例中实现语音沟通方法的语音沟通装置10中识别模块12的工作原理框图。

如图3所示，在识别模块12中，顺次对单击20、双击21、三击22以及对由单击、双击以及三击进行组合形成动作组合23进行判断识别。识别模块12依据内置的算法分析、识别所检测到的敲击、摆动或紧握动作信息，并根据单击、双击、三击这三种不同的动作方式出现的先后顺序及次数识别出该动作组合。

图4是本发明的实施例中基于动作识别的语音沟通方法的流程图。

在本实施例中，将利用敲击动作来进行具体实施，单击动作、双击动作、三击动作分别是单次动作、两次连续动作、三次连续动作，以下简称为单击、双击、三击。

本实施例采用统一的编码方式，即由单击、双击、三击的所形成的动作组合，无论在敲击动作下还是其他动作下所对应的编码是一样的。即不同动作模式下的单击、双击、三击这三种方式之间按出现的次序及次数进行组合，来统一编码。例如，操作者先后进行单次敲击、双次敲击和操作者先后进行单次紧握、双次紧握以及操作者先后进行单次摆动、双次摆动的编码解码是一样的。

如图4所示，在本实施例的语音沟通方法中，实现语音沟通方法的语音沟通装置10处于待机模式24；

用户发出动作16，并将动作进行组合后，形成了单击动作、双击动作以及三击动作，再将单击动作、双击动作以及三击动作进行组合以形成运动组合；

控制单元控制感知模块11对运动组合进行感应检测，并采集到该运动组合所对应产生的运动参数，并且在运动组合中滤除误动作后形成实际运动组合。感知模块11先判断识别用户所发出的动作是属于无意识动作或者正常的身体动作，还属于希望与人沟通时所做的专门动作17，然后感知出患者的所发出的动作具体属于敲击、摆动或紧握这三种动作模式下的哪一种18；

将实际运动组合的运动参数存储在预编码信息数据库13中；

使用识别模块12对采集到的运动参数进行识别、判断、分析，来识别出有效的单击动作、双击动作以及三击动作，以识别出一系列动作组合的具体含义24；

基于预编码信息数据库13中存储的按照一定的编码方式与动作组合相对应的汉语拼音，利用解码识别模块14将实际运动组合进行解码，比对识别出来的实际动作组合与预编码信息数据库13中存储的动作组合25，若一致，则生成对应的编码，执行相应的响应，否则停止执行，进入待机状态，等待用户下一次动作的触发26；

控制单元控制信息输出模块15中的扬声器播放出与实际运动组合相应的语音音频文件，将汉字分为音节或常用字、词、句来进行输出27；

响应执行完毕后，控制清除数据库中存储的感知模块11采集到的以及识别模块12识别后的用户动作组合数据27；

语音沟通装置10判断是否进入待机模式后28，则流程结束。

在感知模块11对运动组合进行感应检测时，可利用动作幅度、速度、力度、单次动作方式完成时间、单次动作组合时间以及两次动作组合的间隔时间中任意一种参数来进行检测。

当动作的动作力度、速度以及幅度大于预编码信息数据库13中设定的阈值并且实际持续时间小于所设定的时间时，滤除误动作后才判定形成实际运动组合。针对不同的用户，或者同一用户在不同的身体状况下，他们所发出的的动作的幅度、力度、速度等运动参数并不一样，因此通过设置预编码信息数据库13中的相关参数使得该装置更加适宜使用该装置的患者。

在滤除误动作时，具有下述感知判断过程：当单次动作的运动参数大于该预编码信息数据库13中所设定的阈值，并且实际持续时间小于该预编码信息数据库13中所设定的单次动作方式完成时间，简单的说，即力度大、速度快或者幅度大并且时间短，则判断为一次有效单击；

基于前一次有效单击，当在上述单次动作方式完成时间内再次进行一次有效单击时，判断为一次有效双击；

基于前一次有效双击，当在上述双击动作方式完成时间内再次进行一次有效单击时，判断为一次有效三击；

若在该单次动作时间内单击次数大于三次，则判断为无效动作，将不产生任何响应；

当最后一次有效动作完成后的停顿时间大于预编码信息数据库13中所设定的两次动作组合的间隔时间时，才判断为一次有效动作组合，形成了实际运动组合。

预编码信息数据库13中存储有汉字一千三百多个不同读音的语音数据，以及部分常用语。在预编码信息数据库13中存储有每一个语音音频文件对应一个语音地址码，语音地址码对应着语音音频文件的文件存储起始地址，控制单元能够根据文件存储起始地址找到与实际运动组合对应的在预编码信息数据库13中相应存储位置的语音音频文件。用户所做的一个敲击、摆动或紧握动作组合只生成对应的数据库中相应的一个语音地址码。

由于患者个人能力的不同，有对拼音较熟练的患者，也有例如老人等对拼音不熟练的患者，为了涵盖用户群更广，本实施例的预编码信息数据库13中提供了两种编码方式：一种是基于拼音的编码方式，一种是基于短语、字词或语句的编码方式。

在基于拼音的编码方式中，由于汉语拼音的构成，有声母、韵母、音调，汉字有一千三百多个不同的读音。该方法通过以汉字的读音为输入单位和提取，在敲击、摆动或紧握这三种不同的动作模式下，根据单击、双击以及三击这三种动作方式出现的先后顺序及次数的不同所组成的组合进行编码，即动作的组合及其所对应的汉语拼音，包括声母码、韵母码、声调码及它们所组成的音节所对应的语音都被存储于预编码信息数据库13中。同时，预编码信息数据库13中也存储了部分功能码。

动作组合的模式可以根据患者的具体身体状况及动作习惯而设定。感知模块11包含用于给操作者佩戴的操作端，当操作者手指可灵活运动时，那么操作端则设计成指套，佩戴于指尖；当操作者手掌可敲击或紧握动作时，那么操作端则设计成贴片，贴于手掌；当操作者脚掌可做敲击动作时，那么操作端则设计成贴片，贴于脚掌。

通过三次动作组合来分别输入声母、韵母以及声调，包括：第一次组合输入声母、第二次组合输入韵母、第三次组合输入声调；

在完成一个字、一个词组或一句话的输入后，根据用户的需要，输入确认发音码所对应的身体动作组合，即可控制信息输出模块15内置的扬声器将这些字或词组或句子以语音的形式输出，最终建立起肢体语言与口头语言之间的桥梁。

那么，基于拼音的编码方式为：以汉字的读音为输入单位和提取，通过三次运动组合来分别输入声母、韵母和声调，在预编码信息数据库13中预先存储有用于输入23个声母的动作组合、用于输入39个韵母的动作组合、用于输入一至四以及轻声5个声调的动作组合、用于输入音节码的动作组合、用于功能确认的动作组合，分别为：

（1）声母码：下述的动作组合声母码编码表显示了用于输入23个声母的动作组合，用数字1表示同一动作下有效的单击动作，数字2表示同一动作下有效的双击动作：

（2）韵母码：下述的动作组合韵母码编码表显示了用于输入39个韵母的动作组合，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作：

操作者先后进行单次敲击、双次敲击和操作者先后进行单次紧握、双次紧握以及操作者先后进行单次摆动、双次摆动的编码解码是一样的。通过查编码表可知他们解码后都将被解码为声母码b。。

（3）声调码，下述的动作组合声调码编码表显示了用于一至四以及轻声5个声调的动作组合，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作：

（4）音节码：按照声母码、韵母码、声调码或特殊发音码、声调码的先后顺序依次排列，得到多组动作组合，即为音节码，

（5）功能码：下述的动作组合功能码编码表显示了用于输入功能确认的动作组合，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作：

当装置处于待机状态时，通过用户发出开机码的组合动作使该装置进入工作模式，或者通过用户发出关机码的组合动作使该装置关机。

在基于拼音的编码方式时，用户使用动作组合输入中文汉字的读音时，按照动作组合编码表依次输入声母的字母、韵母的字母及其声调，从而完成带四声的汉字拼音输入，然而，对于仅有韵母发音的汉字，只需依次输入韵母的字母及其声调，即完成该汉字拼音的输入。在完成一个字或一组词或一句话后，根据用户的实际需要，只要做出确认发音码对应的动作组合，即可把刚刚完成的输入的字或词或句以语音的方式输出。

基于短语、字词或语句的编码方式只是将患者求助或日常交流常用的几个短语、字词或句子进行编码。预编码信息数据库13用于存储在敲击、摆动或紧握动作模式下，由单击、双击以及三击这三种方式所组成的动作组合常用字词句编码表，即单击、双击、三击组成的组合及其所对应的汉字、词语、常用语。患者只需对照编码表，通过单次或多次敲击组合作为输入，在完成所需表达的内容后，输入确认发音码所对应的身体动作组合，即可由解码识别模块14控制信息输出模块15内置的扬声器将这些字或词组或句子以语音的形式输出。此方法是基于拼音编码方法的一个子集。

那么，基于短语、字词或语句的编码方式为：在预编码信息数据库13中预先存储由单击动作、双击动作以及三击动作组成的组合及其所对应的汉字、词语、常用语，以形成动作组合常用字词句编码表。

动作组合常用字词句编码表如下，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作：

基于短语、字词或语句的编码方式能够依据患者的实际身体状况及常用的字词句进行简单的编码，此种基于短语、字词或语句的编码方式类似于基于拼音编码方法中常用字词句的编码，只是动作组合及相应的字词句的编码可依据患者的要求进行编码。

在预编码信息数据库13中，将每个音节的发音与该音节的音节码一一对应，并将这一种一一对应关系设立数据库，通过数据库实现输入音节码得到该音节的发音。

汉字是多种方言的共同书写体系，每个字代表一个音节。中国大陆现今以普通话作为标准读音，普通话的音节由一个声母、一个韵母及声调确定，实际用到1300多个音节。因此，预编码信息数据库13中的每一个语音音频文件录制的是一个字或多个字的组合发音，音频文件的内容是国家标准字库对应的字的标准发音，包括重症残障人士的部分常用字词句对应的发音。

这样，利用可活动的身体部位如单个手指、手掌或脚掌的敲击、摆动或紧握，依据单次动作、两次连续动作或三次连续动作这三种不同动作方式出现的先后顺序及次数进行组合，操作者就可以生成多种多样的动作组合类型，而每一个动作组合类型又对应了一个确定的声母码或韵母码或声调码或常用字词句码等操作码，结果就是操作者只利用单个手指、手掌或脚掌就能生成许多个不同的操作码。这些操作码的组合又被翻译成一个语音音频文件的语音地址码，即语音音频文件的数据库，在解码识别模块14的控制下就可以实时地实现语音音频文件的调用、播放，实现重症残障人士的语言交流。

实施例的作用与效果

本实施例提供的一种基于动作识别的语音沟通方法，能有效避免现有重症残障人士与健全人之间沟通的局限性，而且只需按照一定的规律做单击动作、双击动作以及三击动作即可，交流丰富灵活并且易于掌握，能够在部分身体部位可动的失语患者重症残障人群中广泛使用。

本实施例提供的一种基于动作识别的语音沟通方法中，仅仅通过用可移动身体部位的敲击、摆动或紧握动作表达拼音文字或常用字词句，其字母及常用字词句不多，学习起来很容易，只需按照动作组合编码表在一定时间内完成组合动作即可。由于只用三种动作方式的组合就可完成汉语语音编码，因而编码简单，操作容易。只要重症监护病人会汉语拼音，再记住动作组合汉语拼音或动作组合常用字词句编码表，就可熟练地使用与他人对话，与外界联系。

本实施例提供的语音沟通装置中快速便携、低成本，用户可随身携带将患者可动部位的肢体动作转化为相应的语音进行播放，更为重症残障人士提供了使用的方便条件。能够打破重症残障人士与普通人之间的交流障碍，能够改善部分身体部位可动的重症残障人士的生活环境，扩大社交范围。

本实施例提供的一种基于动作识别的语音沟通方法据患者的身体状况及患者使用习惯的不同，能够识别三种可移动身体部位的动作模式：敲击、摆动或者紧握，灵活度高，更人性化。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

本实施例中提供控制单元为51系列的单片机，本发明的控制单元也可以采用TI的MSP430单片机或采用其他专用DSP或ARM等数字处理器。

另外，本发明还可以针对患者的需求对可移动身体部位的敲击、摆动或紧握动作进行编码，以扩展敲击组合的响应接口，如控制开门关门，控制灯开灯灭等，为重症残障人士带去了佳音。

Claims (9)

1.一种基于动作识别的语音沟通方法，用于失去语言表达能力的重症患者，其特征在于，具有以下步骤：

根据所述重症患者的身体情况设定所述动作的幅度、速度和力度，将所述动作进行组合来形成单击动作、双击动作以及三击动作，将所述单击动作、所述双击动作以及所述三击动作进行组合以形成运动组合；

利用控制单元来控制感知模块对所述运动组合进行感应检测，并采集到所述运动组合，并且在所述运动组合中滤除误动作后形成实际运动组合；

将实际运动组合的运动参数存储在预编码信息数据库中；

使用识别模块对采集到的所述运动参数进行识别、判断、分析；

基于所述预编码信息数据库中存储的按照一定的编码方式与动作组合相对应的汉语拼音，利用解码识别模块将所述实际运动组合进行解码；

所述控制单元控制信息输出模块中的扬声器播放出与所述实际运动组合相应的语音音频文件；

其中，在所述预编码信息数据库中存储有每一个语音音频文件对应一个语音地址码，语音地址码对应着语音音频文件的文件存储起始地址；

所述控制单元能够根据所述文件存储起始地址找到与所述实际运动组合对应的在所述预编码信息数据库中相应存储位置的所述语音音频文件,

所述一定的编码方式为：以汉字的读音为输入单位和提取，通过三次运动组合来分别输入声母、韵母和声调，在所述预编码信息数据库中预先存储有用于输入23个声母的动作组合、用于输入39个韵母的动作组合、用于输入一至四以及轻声5个声调的动作组合、用于输入音节码的动作组合、用于功能确认的动作组合。

2.根据权利要求1中所述的语音沟通方法，其特征在于：

其中，所述动作可以是敲击、摆动以及紧握中的任意一种。

3.根据权利要求1中所述的语音沟通方法，其特征在于：

其中，所述感知模块对所述运动组合进行感应检测时，可利用动作幅度、速度、力度、单次动作方式完成时间、单次动作组合时间以及两次动作组合的间隔时间中任意一种参数来进行检测。

4.根据权利要求1中所述的语音沟通方法，其特征在于：

其中，当所述动作的动作力度、速度以及幅度大于所述预编码信息数据库中设定的阈值并且实际持续时间小于所设定的时间时，才判定形成所述实际运动组合。

5.根据权利要求1中所述的语音沟通方法，其特征在于：

其中，用于输入23个声母的动作组合、用于输入39个韵母的动作组合、用于输入一至四以及轻声5个声调的动作组合、用于输入音节码的动作组合、用于功能确认的动作组合分别为：

(1)声母码：下述的动作组合声母码编码表显示了用于输入23个声母的动作组合，用数字1表示同一动作下有效的单击动作，数字2表示同一动作下有效的双击动作：

(2)韵母码：下述的动作组合韵母码编码表显示了用于输入39个韵母的动作组合，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作：

(3)声调码，下述的动作组合声调码编码表显示了用于一至四以及轻声5个声调的动作组合，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作：

(4)音节码：按照声母码、韵母码、声调码或特殊发音码、声调码的先后顺序依次排列，得到多组动作组合，即为音节码，

(5)功能码：下述的动作组合功能码编码表显示了用于输入功能确认的动作组合，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作

。

6.一种基于动作识别的语音沟通方法，用于失去语言表达能力的重症患者，其特征在于，具有以下步骤：

根据所述重症患者的身体情况设定所述动作的幅度、速度和力度，将所述动作进行组合来形成单击动作、双击动作以及三击动作，将所述单击动作、所述双击动作以及所述三击动作进行组合以形成运动组合；

利用控制单元来控制感知模块对所述运动组合进行感应检测，并采集到所述运动组合，并且在所述运动组合中滤除误动作后形成实际运动组合；

将实际运动组合的运动参数存储在预编码信息数据库中；

使用识别模块对采集到的所述运动参数进行识别、判断、分析；

基于所述预编码信息数据库中存储的按照一定的编码方式与动作组合相对应的汉语拼音，利用解码识别模块将所述实际运动组合进行解码；

所述控制单元控制信息输出模块中的扬声器播放出与所述实际运动组合相应的语音音频文件；

其中，在所述预编码信息数据库中存储有每一个语音音频文件对应一个语音地址码，语音地址码对应着语音音频文件的文件存储起始地址；

所述控制单元能够根据所述文件存储起始地址找到与所述实际运动组合对应的在所述预编码信息数据库中相应存储位置的所述语音音频文件，

所述一定的编码方式为：将用于求助或日常交流的短语、字词或句子进行编码，在所述预编码信息数据库中预先存储由所述单击动作、所述双击动作以及所述三击动作组成的组合及其所对应的汉字、词语、常用语，以形成动作组合常用字词句编码表。

7.根据权利要求6中所述的语音沟通方法，其特征在于：

其中，动作组合常用字词句编码表如下所述，用数字1表示同一动作下有效的单击动作、数字2表示同一动作下有效的双击动作、数字3表示同一动作下有效的三击动作

。

8.一种实现基于动作识别的语音沟通方法的语音沟通装置，用于失去语言表达能力的重症患者，其特征在于，具有：

感知模块，用于感知动作所引起的运动组合信号；

预编码信息数据库，用于存储所述运动组合信号和预存储按照一定的编码方式与动作组合相对应的汉语拼音以及根据所述重症患者的身体状况设定的动作幅度、速度、力度的运动参数阈值；

识别模块，与所述预编码信息数据库连接，用于对采集到的运动组合信号进行分析、判断、识别；

解码识别模块，分别连接所述预编码信息数据库和所述识别模块，用于识别所述运动组合并且滤除误动作后以形成实际运动组合；

信息输出模块，内置有扬声器，用于播放出与实际运动组合相应的语音音频文件；

控制单元，用于控制所述感知模块、所述预编码信息数据库、所述识别模块、所述解码识别模块以及所述信息输出模块，

其中，所述一定的编码方式为：以汉字的读音为输入单位和提取，通过三次运动组合来分别输入声母、韵母和声调，在所述预编码信息数据库中预先存储有用于输入23个声母的动作组合、用于输入39个韵母的动作组合、用于输入一至四以及轻声5个声调的动作组合、用于输入音节码的动作组合、用于功能确认的动作组合。

9.根据权利要求8中所述的语音沟通装置，其特征在于：

其中，所述感知模块包含用于给操作者佩戴的操作端，

当操作者手指可灵活运动时，操作端则设计成指套，佩戴于指尖；

当操作者手掌可敲击或紧握动作时，操作端则设计成贴片，贴于手掌；

当操作者脚掌可做敲击动作时，操作端则设计成贴片，贴于脚掌。