CN102999154B - 一种基于肌电信号的辅助发声方法及装置 - Google Patents

Abstract

本发明涉及一种基于肌电信号的辅助发声方法及装置，所述方法包含：利用肌电信号获得辅助发声所需的先验知识库的步骤；基于先验知识库识别“发声”动作对应的词语或汉字，并对汉字或词语语音合成的步骤。验知识库获得方法为：1)对要学习的汉字或词语进行“发声”，采集该“发声”动作引起的相关的肌肉运动，产生表面肌电信号；2)将“发声”相关的表面肌电信号传输给表面肌电信号的筛选与分离模块；3)表面肌电信号的筛选与分离模块对肌电信号进行处理，提取“发声”相关的肌电语音信号；4)语音肌电信号识别模块提取肌电语音信号的特征值，建立肌电语音信号与汉字或词语“发声”之间的对应关系5)多次重复上述步骤，最终获得先验知识库。

Description

一种基于肌电信号的辅助发声方法及装置

技术领域

本发明涉及一种基于肌电信号的辅助发声方法，特别地，涉及一种基于肌电信号的辅发声方法及装置。

背景技术

根据2006年进行的第二次残疾人抽样调查结果推算，全国言语残疾人口127万，占1.53％。发声障碍会严重影响生活质量，造成沟通的不便，而且对家庭和社会来说都是沉重的负担。

发声障碍的病因分为两大类-器质性的和非器质性的。器质性的发声障碍源于患者喉部的疾病，特别是半喉和全喉的切除术会导致患者发声功能的丧失；非器质性发音障碍多是由精神因素引起的失声。

非器质性发音障碍又称心因性发音障碍，其表现为程度不同的嗓音嘶哑，喉头检查阴性，咳嗽、笑或清嗓子时声音接近正常。目前的治疗方法是：除发音训练外，结合精神上的照顾开导，适当选用暗示或诱导治疗，治疗恢复时间比较慢。

器质性的发声障碍失去了发音器官，动力器官肺虽存在，但气体的交换通过气管造瘘口进行，不经咽腔和鼻腔。目前，主要有3种辅助发声方法即食管音、气管食管音和人工喉。1)食管音的缺点是发音连贯性差，声时短，音调低，只适合在小范围、背景安静的环境中交流。发音不当常可引起腹胀及烧心感。2)气管食管音包括外瘘法和内瘘法。外瘘法手术过程复杂，外装置给病人造成不便，设计原理不适合颈部廓清手术和放疗后的患者，并发症如误吸仍难避免；内瘘法发音时需要用手堵住气管造瘘口，同时并发症也越来越引起人们的重视，其长期发音效果还需观察。3)人工喉的优点是设备简单，发出的声音声时长、响亮，可作长时间交谈。据统计，使用人工喉的患者，3年和5年后仍有57％的和50％的人在继续使用，高于食管音和气管食管音。其缺点是使用不甚方便，交谈时宛如手持烟斗一样需要用手将其固定，讲话时不能双手同时工作；而且发音的音质单调、刺耳，带有金属音。

目前，其它的辅助发声方法还有：

美国犹他大学科学家利用两组植入癫痫患者大脑中的微电极阵列成功实现将大脑信号转化为口语单词。这一成果能够帮助因患严重麻痹症而失去语言能力的患者轻松地表达自己的思想。这种微电极阵列每组包括16个微电极，通常植入到头骨之下，大脑之上。这项发明证明了大脑信号解码为计算机发音的口语单词的可行性。但是这种方法的手术难度很大，危险性高。

美国的AUDEO家公司从事脑电波方案的研究，通过传感器提取患者发声的脑电波信号进行判别，此产品的技术复杂度更高，只是用于英语发音，也处于试用阶段。

中科院计算所采用手语合成技术来辅助发声障碍的患者进行说话，普通人和聋哑人的交流需要通过电脑来完成。电脑的屏幕上有一个虚拟人，它能将输入的每一句话都用手语翻译出来，而聋哑人只要戴上一个特制的手套，他的手语也马上变成了屏幕上的一行行文字。这种方案的优点是聋哑人群均适用，缺点是讲话时双手不能工作，识别率低，仍处于科研阶段。

发明内容

本发明的目的是，针对上述辅助发声方法的缺点，结合发声障碍者的需求，提供一种使用安全、方便美观、学习时间短、发声效果好的辅助发声方法，即本发明提供一种基于肌电信号的辅助发声方法及装置。

为了实现上述目的，本发明提供一种基于肌电信号的辅助发声方法，该方法基于发声方面的机能，包含：

用于获得利用肌电信号辅助发声所需的先验知识库的步骤。

用于基于先验知识库识别“发声”动作对应的词语或汉字，并对汉字或词语进行语音合成的步骤。

可选的，所述的先验知识库采用如下方法获得：

1)对要学习的汉字或词语进行“发声”，采集该“发声”动作引起的相关的肌肉运动，产生表面肌电信号。

2)将“发声”相关的表面肌电信号传输给表面肌电信号的筛选与分离模块。

3)表面肌电信号的筛选与分离模块对肌电信号进行滤波、归一化和盲源分离处理，提取出与此汉字或词语“发声”相关的肌电语音信号。

4)语音肌电信号识别模块提取肌电语音信号的特征值，利用神经网络和支持向量机技术，建立肌电语音信号与汉字或词语“发声”之间的对应关系，将此关系保存下来。

5)多次重复上述步骤，最终获得先验知识库。

可选的，所述基于先验知识库识别“发声”动作对应的词语或汉字的过程包含如下步骤：

1)执行“发声”动作。

2)采集该“发声”动作对应的颈部或面部附近与语音相关位置的相关的表面肌电信号并将其传输给表面肌电信号的筛选与分离模块。

3)表面肌电信号的筛选与分离模块对表面肌电信号进行滤波、归一化和盲源分离算法进行处理，以滤除表面肌电信号中包含的眨眼、呼吸或心跳引起的杂波。

4)语音肌电信号识别模块提取上步最终得到的肌电信号的特征值，建立肌电信号与先验知识库的对应关系，识别“发声”动作的汉字或词语。

5)利用语音合成技术将该汉字或词语的语音播放出来。

上述技术方案中，所述步骤2)进一步为：

首先，采用截止频率为2K的低通滤波器进行滤波，并对滤波后的信号进行白化处理；然后，利用独立分量ICA自然梯度串行更新算法或者批处理更新算法进行盲源分离的计算，得到相互独立的多通道数据；最后，将相互独立的多通道数据进行分类后，排除干扰信号。

基于上述方法本发明还提供一种基于肌电信号的辅助发声装置，该装置基于发声方面的机能，包含：

传感器：用于采集表皮肌电信号。

发送单元：采集后进行带通滤波，将信号通过有线(或无线)的方式传递给表面肌电信号的筛选与分离模块。

表面肌电信号的筛选与分离模块：将多路信号进行筛选与分离，将干扰信号(眨眼，呼吸，脉搏等引起的肌电信号)滤除。只保留由发声引起的肌电信号。和

语音肌电信号识别模块：将肌电信号经模式识别技术提取出特征值，与发声的汉字或词语形成对应关系。

上述技术方案中，所述的装置还包含语音合成单元，该单元用于将所需要发生的汉字或词语通过语音合成技术通过语音的方式播放出来。

可选的，所述表面肌电信号的筛选和分离模块首先采用截止频率为2K的低通滤波器进行滤波，并对滤波后的信号进行白化处理；然后，利用独立分量ICA自然梯度串行更新算法或者批处理更新算法进行盲源分离的计算，等到相互独立的多通道数据；最后，将相互独立的多通道数据进行分类后，排除干扰信号。

本发明充分发挥了患者依然存在的发声方面某些机能，通过采集发声时的表面肌电信号，建立其与所发声音之间的关系，从而辅助发声障碍的患者发声。这样的方案更加自然简洁，可以大大提高了患者的生活品质。

本发明的优点在于：

1.由于患者原先会使用声带进行发声，因此学习时间比较短，而且学习的过程相对更加自然、快速、容易掌握、不会给患者带来痛苦。而食道发声法，哑语的学习相比之下要复杂的多。

2.气管食管发音需要手术安装，而这种辅助发声设备则只需要将电极简单佩戴就可以。患者减轻了安装的痛苦而且安全，无副作用。

3.本系统在使用的时候，双手可以同时工作，操作更加方便灵活。

4.由于使用的语音合成技术发音，因此患者使用本系统后发出的声音理论上可以更加自然，更加接近正常人发音的特性。

附图说明

图1是本发明的辅助发声学习过程原理示意图；

图2是本发明的辅助发声系统工作原理图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的描述。

本发明在广泛的调研的基础上，结合发声障碍者的需求，吸取以往的辅助发声系统地优缺点，提出了一种新型的辅助发声方法。这种辅助发声设备的原理是，通过采集患者“发声”时口腔，颈部或面部等部位的多路肌电信号。通过已有的先验知识，将其“翻译”成“语言”，再通过语音合成技术将“语言”转化为语音信号。

本发明提供的肌电信号的辅助发声方法及装置，该方法包括辅助发声学习过程和辅助发射过程，其中辅助发声学习过程包括：患者将肌电传感器贴于患者颈部或面部附近与语音相关位置，使用专用软件里的特定汉字发声库进行汉字发声的学习。在学习过程中，患者并不能真正发出声音来，但是在学习中可以引起相应的肌肉运动，产生表面肌电信号。系统将根据每个患者的不同发声习惯提取有效的表面肌电信号，通过肌电信号的识别算法，将其进行分类识别，建立与汉字或词语得对应关系。辅助发声过程包括：学习完成后，使用本系统时，将肌电传感器贴于患者颈部或面部附近与语音相关位置，采集多路肌电信号；将信号进行预处理和放大；将多路表面肌电信号进行筛选与分离；提取可以突出反映语音表达的信号；利用肌电信号的识别技术并根据已有的经验数据，将表面肌电信号与语音信号建立对应关系；通过语音合成技术将语音播放出来。

本发明提出一种通过采集患者“发声”时口腔、颈部或面部等部位的多路肌电信号，利用通过学习获得的先验知识，将这些肌电信号“翻译”成“语言”，再经过语音合成技术将“语言”转化为语音信号的辅助发声方法。

本发明的基于肌电信号的辅助发声方法包括学习和使用两个过程。

所述的学习过程，是指获得利用肌电信号辅助发声所需的先验知识的过程。其具体做法是：1)患者对要学习的汉字或词语进行“发声”，在此过程中，患者并不能真正发出声音来，但可以引起相关的肌肉运动，产生表面肌电信号。2)贴于患者颈部或面部附近与语音相关位置的肌电传感器采集这些与此汉字或词语“发声”相关的表面肌电信号并将其传输给计算机。3)表面肌电信号的筛选与分离模块对进行信号进行滤波、归一化、盲源分离等算法进行处理，以滤除眨眼、呼吸、心跳等引起的杂波，提取出与此汉字或词语“发声”相关的肌电语音信号。4)语音肌电信号识别模块提取肌电信号的特征值，利用神经网络和支持向量机技术，建立肌电信号与此汉字或词语“发声”之间的对应关系，将这一关系保存下来。5)多次重复上述过程，最终获得此汉字或词语的作为辅助发声系统工作的先验知识。

针对学习发声汉字和词语库中的每个汉字或词语进行学习，最终获得先验知识库。

所述的使用过程是指利用贴于患者颈部或面部附近与语音相关位置的肌电传感器采集患者“发声”的表面肌电信号，再利用学习获得的先验知识库，识别患者“发声”的汉字或词语，最后利用语音合成技术发出语音的过程。其具体做法是：1)患者“发声”。2)贴于患者颈部或面部附近与语音相关位置的肌电传感器采集这些与此汉字或词语“发声”相关的表面肌电信号并将其传输给计算机。3)表面肌电信号的筛选与分离模块对进行信号进行滤波、归一化、盲源分离等算法进行处理，以滤除眨眼、呼吸、心跳等引起的杂波，提取出与此汉字或词语“发声”相关的肌电语音信号。4)语音肌电信号识别模块提取肌电信号的特征值，利用神经网络和支持向量机技术，建立肌电信号与先验知识库的对应关系，识别出患者“发声”的汉字或词语。5)利用语音合成技术将该汉字或词语的语音播放出来。

本发明的基于肌电信号的辅助发声方法包括学习和使用两个过程，具体流程描述如下。

如图1所示，所述的学习过程的具体步骤：

1)患者对学习发声汉字和词语库1中的单个汉字或词语进行“发声”，在此过程中，患者并不能真正发出声音来，但可以引起相关的肌肉运动，产生表面肌电信号。

2)多路采集肌电信号与传输模块2利用贴于患者颈部或面部附近与语音相关位置的肌电传感器采集这些与此汉字或词语“发声”相关的表面肌电信号并将其传输给计算机。

3)表面肌电信号的筛选与分离模3块对进行信号进行滤波、归一化、盲源分离等算法进行处理，以滤除眨眼、呼吸、心跳等引起的杂波，提取出与此汉字或词语“发声”相关的肌电语音信号。

步骤3采用的具体算法为：采用截止频率为2K的低通滤波器进行滤波。滤波后对其进行白化处理(即使多通道数据互相正交，且能量都等于1)。利用独立分量ICA自然梯度串行更新算法或者批处理更新算法，进行盲源分离的计算，等到相互独立的多通道数据。将这一结果进行分类后，排除干扰信号，将又语音引起的肌电信号传递给语音肌电信号识别模块。

4)语音肌电信号识别模块4提取肌电信号的特征值，利用神经网络和支持向量机技术，建立肌电信号与此汉字或词语“发声”之间的对应关系，将这一关系保存下来。

5)多次重复步骤1-4，最终获得此汉字或词语的作为辅助发声系统工作的先验知识。

针对学习发声汉字和词语库中的每个汉字或词语进行学习，最终获得先验知识库5。

如图2所示，所述的使用过程的具体步骤：

1)患者“发声”。

2)多路采集肌电信号与传输模块2利用贴于患者颈部或面部附近与语音相关位置的肌电传感器采集这些与此汉字或词语“发声”相关的表面肌电信号并将其传输给计算机。

3)表面肌电信号的筛选与分离模3块对进行信号进行滤波、白化、盲源分离等算法进行处理，以滤除眨眼、呼吸、心跳等引起的杂波，提取出与此汉字或词语“发声”相关的肌电语音信号。

4)语音肌电信号识别模块4提取肌电信号的特征值，利用神经网络和支持向量机技术，建立肌电信号与先验知识库5的对应关系，识别出患者“发声”的汉字或词语。

5)利用语音合成模块7将该汉字或词语的语音播放出来。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于肌电信号的辅助发声方法，该方法基于发声方面的机能，包含：

用于获得利用肌电信号辅助发声所需的先验知识库的步骤；

用于基于先验知识库识别“发声”动作对应的词语或汉字，并对汉字或词语进行语音合成的步骤；

所述的先验知识库采用如下方法获得：

11)对要学习的汉字或词语进行“发声”，采集该“发声”动作引起的相关的肌肉运动，产生表面肌电信号；

12)将“发声”相关的表面肌电信号传输给表面肌电信号的筛选与分离模块；

13)表面肌电信号的筛选与分离模块对肌电信号进行滤波、归一化和盲源分离处理，提取出与此汉字或词语“发声”相关的肌电语音信号；

14)语音肌电信号识别模块提取肌电语音信号的特征值，利用神经网络和支持向量机技术，建立肌电语音信号与汉字或词语“发声”之间的对应关系，将此关系保存下来；

15)多次重复上述步骤，最终获得先验知识库；

所述基于先验知识库识别“发声”动作对应的词语或汉字的过程包含如下步骤：

21)执行“发声”动作；

22)采集该“发声”动作对应的颈部或面部附近与语音相关位置的相关的表面肌电信号并将其传输给表面肌电信号的筛选与分离模块；

23)表面肌电信号的筛选与分离模块对表面肌电信号进行滤波、归一化和盲源分离算法进行处理，以滤除表面肌电信号中包含的眨眼、呼吸或心跳引起的杂波；

24)语音肌电信号识别模块提取步骤23)最终得到的肌电信号的特征值，建立肌电信号与先验知识库的对应关系，识别“发声”动作的汉字或词语；

25)利用语音合成技术将该汉字或词语的语音播放出来。

2.根据权利要求1所述的基于肌电信号的辅助发声方法，其特征在于，所述步骤12)进一步为：

首先，采用截止频率为2K的低通滤波器进行滤波，并对滤波后的信号进行白化处理；

然后，利用独立分量ICA自然梯度串行更新算法或者批处理更新算法进行盲源分离的计算，得到相互独立的多通道数据；

最后，将相互独立的多通道数据进行分类后，排除干扰信号。

3.一种基于肌电信号的辅助发声装置，该装置基于发声方面的机能，包含：

传感器：用于采集表皮肌电信号；

发送单元：采集后进行带通滤波，将信号通过有线或无线的方式传递给表面肌电信号的筛选与分离模块；

表面肌电信号的筛选与分离模块：将多路信号进行筛选与分离，将干扰信号滤除，只保留由发声引起的肌电信号，所述干扰信号为包含眨眼，呼吸或脉搏引起的肌电信号；和

语音肌电信号识别模块：将肌电信号经模式识别技术提取出特征值，与发声的汉字或词语形成对应关系；

其中，所述表面肌电信号的筛选和分离模块首先采用截止频率为2K的低通滤波器进行滤波，并对滤波后的信号进行白化处理；然后，利用独立分量ICA自然梯度串行更新算法或者批处理更新算法进行盲源分离的计算，等到相互独立的多通道数据；最后，将相互独立的多通道数据进行分类后，排除干扰信号。

4.根据权利要求3所述的基于肌电信号的辅助发声装置，其特征在于，所述的装置还包含语音合成单元，该单元用于将所需要发生的汉字或词语通过语音合成技术通过语音的方式播放出来。