CN104637350B - 一种成人听力言语康复系统 - Google Patents

Abstract

本发明公开了一种成人听力言语康复系统，所述系统包括：信息管理模块、参数设置模块、单字发音评估模块、单字发音训练模块、词语跟读训练模块、语音录放模块、自动发音评估模块和随机序列产生模块。本发明用于失语症中的表现症状为复述障碍或朗读障碍患者以及构音发音障碍患者在言语康复治疗中的发音朗读训练，提高上述失语症患者的语言反馈能力、构音发音障碍患者发音准确程度以及连续发音的协调能力，同时大幅减轻言语康复师的工作强度。通过图片、文字、动态图像、语音等多媒体互动形式对患者进行多感官强化刺激，增加患者康复训练的主观积极性，提高康复训练效果；对于康复师而言，则可减少其简单枯燥的重复性劳动。

Description

一种成人听力言语康复系统

技术领域

本发明涉及电子信息以及辅助康复系统技术领域，具体涉及一种用成人听力言语康复系统。

背景技术

语言是人类表达思想、传递信息、参与社会人际交往的一项重要能力。它通过应用符号达到交流的能力，是复杂神经心理活动的结果，按照语言社会建立的常规来实现。符号包括口头的和书面的以及姿势的，如手势、表情等，由此产生了理解、传入、表达、传出四种基本的语言行为方式。言语是指口语能力，是个体利用语言进行交际的活动过程，需要口唇和舌的协调运动。言语是传送语言信息的重要发送工具。一旦言语能力受限，将会对个体的社会互动、认知学习、工作交流、心理发展产生巨大负面影响。如果个体的言语表述得不到正确表达，往往会衍生问题行为。对于言语障碍者，其表现症状为：发音模糊不清、声韵母无法有机结合，无法明确表达声调，对于此类患者往往采用干预的方式来促进他们的言语发音协调能力。对于部分失语症患者，其表现症状为：听复述困难、朗读困难。对于此类患者往往需要进行密集强度的语音刺激，使其改善听复述、朗读能力。

现有技术的绝大多数言语康复训练仪器针对的是儿童群体，对于成人言语康复尚未发现。（补充说明儿童的为什么不能直接用于成人，技术上的缺陷导致的成人和儿童会不同还是非技术原因导致的不同呢）

发明内容

本发明的目的在于，为克服上述问题，本发明提供了一种成人听力言语康复系统。

为了实现上述目的，本发明提供一种成人听力言语康复系统，所述系统包括：信息管理模块1、参数设置模块2、单字发音评估模块3、单字发音训练模块4、词语跟读训练模块5、语音录放模块6、自动发音评估模块7和随机序列产生模块8。

所述随机序列产生模块8，用于产生随机序列；所述语音录放模块6，用于对语音信号进行播放和录取；所述自动发音评估模块，用于对录取的用户的发音与标准语音进行比对；所述参数设置模块2，用于配置参数，所述参数包含：测试模式、矫正次数、放音次数和评估方式，其中所述测试模式包括：自动、半自动和人工；所述信息管理模块1，用于为测试或训练对象建立信息库，所述信息库内容包括姓名、年龄或性别；或直接调用信息库信息，用于将本次的训练数据导入用户信息库中；所述单字发音评估模块，用于调用随机序列产生模块将评估语音内容次序打乱、然后调用语音录放模块先播放评估内容再录取用户的发声，最后再调用自动发音评估模块对录取的用户的发音进行准确性评估；所述单字发音训练模块，用于首先调用随机序列产生模块将评估语音内容次序打乱，然后调用语音录放模块先播放评估内容再录取用户的发声，最后再将标准音与录取的用户的发音进行比对，如果结果正确，则开始下一项内容训练；如果比对错误，则对语音进行矫正处理；所述词语跟读训练模块，用于调用随机序列产生模块将评估内容次序打乱，然后调用语音录放模块播放评估内容并录取用户发音，最后调用音频比对模块，向用户播放标准读音和用户自己的发音。

其中，自动发音评估模块的识别结果需返回单字发音评估模块和单字发音训练模块，用于单字发音训练模块对发音不标准的语音进行矫正训练。

与现有的技术相比较，本发明如下优势：

本发明技术方案用于失语症中的表现症状为复述障碍或朗读障碍患者以及构音发音障碍患者在言语康复治疗中的发音朗读训练，提高上述失语症患者的语言反馈能力、构音发音障碍患者发音准确程度以及连续发音的协调能力，同时大幅减轻言语康复师的工作强度。此外，本发明通过图片、文字、动态图像、语音等多媒体互动形式对患者进行多感官强化刺激，增加患者康复训练的主观积极性，提高康复训练效果；对于康复师而言，则可减少其简单枯燥的重复性劳动，减轻工作强度，提高工作效率。

附图说明

图1为本发明的成人听力言语康复系统的系统框图；

图2为本发明的单字发音评估模块框图，其中，在进行单字发音评估时，系统使用录音功能，所以需要调用语音录放模块；在进行单字发音评估时，系统会调用隐含的自动语音识别模块；

图3为本发明的单字发音训练模块框图，其中，在进行单字发音训练时，系统使用录放功能，所以需要调用语音录放模块；在进行单字发音训练时，系统会调用隐含的自动语音识别时，当识别正确时系统将不进入矫正模块，当识别错误时系统进入矫正训练模块；

图4为本发明的词语跟读训练模块框图，其中，在进行词语跟读训练时，系统使用到录放功能，所以需要调用语音录放模块；

图5为本发明的单字发音训练模块中的矫正模块训练块框图，其中，在进行矫正训练时，系统使用到录放功能，所以需要调用语音录放模块。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的描述。

本发明提供一种成人听力言语康复系统，所述系统包括：信息管理模块1、参数设置模块2、单字发音评估模块3、单字发音训练模块4、词语跟读训练模块5、语音录放模块6、自动发音评估模块7和随机序列产生模块8。

所述随机序列产生模块8，用于产生随机序列；所述语音录放模块6，用于对语音信号进行播放和录取；所述自动发音评估模块，用于对录取的用户的发音与标准语音进行比对；所述参数设置模块2，用于配置参数，所述参数包含：测试模式、矫正次数、放音次数和评估方式，其中所述测试模式包括：自动、半自动和人工；所述信息管理模块1，用于为测试或训练对象建立信息库，所述信息库内容包括姓名、年龄或性别；或直接调用信息库信息，用于将本次的训练数据导入用户信息库中；所述单字发音评估模块3，用于调用随机序列产生模块8将评估语音内容次序打乱、然后调用语音录放模块6先播放评估内容再录取用户的发声，最后再调用自动发音评估模块7对录取的用户的发音进行准确性评估；所述单字发音训练模块4，用于首先调用随机序列产生模块将评估语音内容次序打乱，然后调用语音录放模块先播放评估内容再录取用户的发声，最后再将标准音与录取的用户的发音进行比对，如果结果正确，则开始下一项内容训练；如果比对错误，则对语音进行矫正处理；所述词语跟读训练模块，用于调用随机序列产生模块将评估内容次序打乱，然后调用语音录放模块播放评估内容并录取用户发音，最后调用音频比对模块，向用户播放标准读音和用户自己的发音。

其中，自动发音评估模块的识别结果需返回单字发音评估模块和单字发音训练模块，用于单字发音训练模块对发音不标准的语音进行矫正训练。

上述单字发音评估模块3进一步包括：评估模式选择，用于从自动评估和手动评估两种模式中选择一种评估模式；评估项目选择模块，用于选择具体评估项目，所述评估项目包含韵母、声母和声调；和自动评价模块31或手动评价模块32，用于对输入的语音进行韵母评估33、声母评估34或声调评估35。

上述单字发音训练模块4进一步包括：训练项目决策子模块，用于选择具体训练项目，所述训练项目包含：韵母训练、声母训练、声调训练；输出模块，依据选择的训练项目将语音输入随机序列产生模块；和矫正子模块，用于将自动发音评估模块返回的不准确的发音记性矫正处理。

上述矫正训练模块44进一步包含：动态图像播放模块，用于播放正确发音的动态图像；音频比对模块，用于当收到用户录音后，对标准音和用户的录音进行比对。

上述词语跟读训练模块5进一步包括：前位聚焦训练模块51、后位聚焦训练模块52、鼻音亢进训练模块53、鼻音低下训练模块54和音频对比模块55；所述前位聚焦训练51，用于训练病人舌跟上抬发音；所述后位聚焦训练52，用于训练病人口唇闭合的发音；所述鼻音亢进训练53，用于训练鼻音过重病人减少发鼻音的次数；所述鼻音低下训练54，用于训练多发鼻音；和所述音频对比模块55，用于让患者听与感受标准发音与自己错误发音之间的差别。

上述自动发音评估模块进一步包含：端点检测算法模块、自动语音识别语法模块和声调识别算法模块。

所述端点检测算法模块，用于自动录取有用的说话语音并自动关闭录音，该项算法可以保证录音时长因人而异；用于防止患者抢读；用于自动精确截取有效的录音从而提高自动识别声母、韵母和声调的概率。

所述自动语音识别语法模块，用于设定识别语法，进而提高自动识声母、韵母的识别率。

所述声调识别算法模块，用于自动识别声调。

上述端点检测算法模块进一步包含：实时截取模块和精确截取模块。

实时截取模块，用于采用自适应能量门限法确定粗略截取有效录音，该第一实时截取模块进一步包含：

噪音过滤子模块，用于设定一个先验经验能量门限阈值，该门限值用于滤除抢读现象，该子模块如果在打开录音的瞬间就能检测到一个相对较高的能量，则该能量为噪音或者抢读声，滤除噪音或抢读音。

能量阈值更新子模块，用于当滤除某个噪声或抢读声后，开始计时，当经过某一设定时间段的等待，如果检测到的能量依然小于噪音过滤子模块设定的能量门限阈值时，则根据这段等待时间内的能量建立新的能量阈值。

信号检测子模块，用于根据能量阈值更新子模块建立的新阈值作为语音信号的起始点的新门限值对后续信号进行检测，当在某一时刻检测到的语音信号大于该新门限值时，系统再次开始计时，计时时间大约也在50毫秒左右；当信号连续50毫秒时间都大于新门限值，系统则认为检测到了语音信号的起始点；反之，如果50毫秒内出现信号能量小于新门限值的情况，系统则将计时器清零，从下一次检测到大于新门限值的点重新计时。

结尾点检测子模块，用于当检测到起始点后，采用信号检测子模块采用的策略检测结尾点。

精确截取模块，用于采用语音信号的前后相邻采样点之间的绝对差值进行计算，进而精确截取有效录音，所述第二精确截取模块进一步包含：

分帧子模块，用于对信号分帧，即将信号按照一定方式分段，每一段信号与相邻前后段信号都有部分重合。

第一处理子模块，用于对分帧后的信号进行做差值计算，及前一个采样点信号减去后一个采样点信号，并且取绝对值。

第二处理子模块，用于取每帧的差值最大值，进而获得一列数据，然后对这列数据设定一个门限值，依据设定的门限值将这列数据转化为二进制序列；其中，将大于设定的门限值的数据设置为1，小于门限值的数据设置为0。

有效录音获取子模块，用于取其中连续为1的最长的那段数据，而该段数据的第一个1所在的位置和最后一个1之间的数据段就是有效录音数据段。

上述声调识别算法模块进一步包含：基频曲线获取模块，用于利用自相关算法得出基频曲线；截取模块，用于根据人的基频特点截取65-600Hz的曲线信号；和声调曲线获得模块，用于根据人发声的特点，先对基频曲线做均值，然后以均值为中心上下浮动100Hz，之后仅保留在范围内的数值从而获得声调曲线。

实施例

如图1所示，本发明为计算机辅助成人听力言语康复系统框图；进入该系统后，首先需要对系统的参数进行配置。需要配置的参数包括测试模式包括、矫正次数、放音次数、评估方式等。测试模式包括：自动、半自动、人工。矫正次数有播放1遍、2遍、3遍的选项。放音次数有播放1遍、2遍、3遍的选项。测试模式有人工测试和系统自动测试两个选项。具体含义在单字发音评估模块、单字发音训练模块以及矫正训练模块内详述。上述参数由康复师根据患者情况预先设定上述参数。在完成参数设置后，随后进入信息管理模块1。对于新患者，康复师需要为其创建患者信息库，信息库包括住院号、姓名、年龄、性别、医生诊断信息、备注以及患者的训练过程中的数据库；对于老用户，则直接调用其信息库，保证本次的训练数据被导入该患者信息库中。如果患者是新用户，则需要首先进行训前单字发音评估3；如果是老用户则可以根据患者实际情况进行单字发音训练4、词语跟读训练5、或者训后单字发音评估3。

如图2所示，单字发音评估模块框图；进入该模块3后，康复师可选择自动评估31或者手动评估32。在选定评估模式后，选择想要评估的项目，分别为韵母33、声母34、声调35，选定评估内容后，系统会根据图1流程首先调用随机序列生成模块8将评估内容次序打乱，避免患者记忆效应。之后调用语音录放模块6先播放评估内容，后录取患者的发声。此时，如果选择是自动评估31系统将调用自动发音评估模块7，如果选择手动评估32，康复师自行判断。每项评估完成后系统自动生成评估数据保存在用户信息库中。

如图3所示，单字发音训练模块框图：进入该模块后3后，该模块包含初、中、高级三项。三个选项中都包含韵母41、声母42训练，根据难易程度每个选项中的训练内容不同，其中高级选项中还包括了声调43训练。选择某级选项后，确定训练项目以及内容。系统会根据图1流程首先调用随机序列生成模块8将评估内容次序打乱。之后调用语音录放模块6首先播放评估内容，随后录取患者的发声。在声音录制完毕后，系统将调用自动发音评估模块7对患者声音进行比对，如果结果正确，系统开始下一项内容训练。如果比对错误，系统则调用矫正训练模块44。

如图5所示，矫正训练模块框图：进入该模块44后，其包扩动态图像模块441、和音频比对模块442、训练计数模块443。在进行矫正过程中，系统调用语音录放模块6播放评估内容，与此同时调用动态图像模块，播放正确发音的动态图像。在系统收录到患者录音后，系统调用音频比对模块，播放标准音和患者录音。整个播放一次标准音，患者录音一次，调用一次音频比对模块被称作一次矫正周期。矫正周期次数不超过参数设置设2中的设定矫正次数，由训练计数模块控制计数，当矫正次数达到规定次数后，系统结束本项内容的矫正，进入下一项内容训练。与此同时，系统在获取患者的录音后，同步调用了自动发音评估模块。如果识别正确，即使此时矫正次数尚未用完，也会结束当前本项矫正训练内容，进入下一项内容训练。

如图4所示，词语跟读模块框图：进入该模块5后，其包含前位聚焦训练51、后位聚焦训练52、鼻音亢进训练53、鼻音低下训练54、音频对比模块55。康复师根据患者具体情况选择上述四项内容训练。当选定训练内容后，系统根据图1流程首先调用随机序列生成模块8将评估内容次序打乱，避免患者记忆效应。之后调用语音录放模块6首先播放评估内容，随后录取患者的发声。之后调用音频比对模块，向患者播放标准读音和其自己的声音。

本发明提供一种成人听力言语训练方法，所述方法包含：

步骤1，播放选定的训练内容，所述的训练内容为标准的汉字读音，同时在屏幕上显示播放汉字的汉语拼音和与其对应的汉字；

步骤2，患者通过视觉和听觉刺激获得该读音后，让其复述该读音，同时系统对患者的读音进行录音和识别；

步骤3，系统在自动识别之后，然后将识别结果告诉患者，如果识别结果正确说明患者无需对该读音训练，系统会进入下一个读音训练；反之，系统则会进入矫正状态；

步骤4，系统此时再次播放训练内容的标准读音，而此时屏幕上显示不再是训练内容的汉语拼音和对应汉字，而是发该声音的口型动态视频以及发音器官运动视频；

步骤5，重复步骤2；

步骤6，如果此时系统识别结果为正确系统显示鼓励性提示，并退出矫正进入下一内容训练；反之，系统会播放内容的标准发音以及患者的读音；

步骤7重复步骤4-6；

其中，步骤4-6为一次矫正过程；重复次数在参数设置中设定。

需要说明的是，以上介绍的本发明的实施方案而并非限制。本领域的技术人员应当理解，任何对本发明技术方案的修改或者等同替代都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围内。

Claims (8)

1.一种成人听力言语康复系统，其特征在于，所述系统包括：

信息管理模块(1)、参数设置模块(2)、单字发音评估模块(3)、单字发音训练模块(4)、词语跟读训练模块(5)、语音录放模块(6)、自动发音评估模块(7)和随机序列产生模块(8)；

所述随机序列产生模块(8)，用于产生随机序列；

所述语音录放模块(6)，用于对语音信号进行播放和录取；

所述自动发音评估模块，用于对录取的用户的发音与标准语音进行比对；

所述参数设置模块(2)，用于配置参数，所述参数包含：测试模式、矫正次数、放音次数和评估方式，其中所述测试模式包括：自动、半自动和人工；

所述信息管理模块(1)，用于为测试或训练对象建立信息库，所述信息库内容包括姓名、年龄或性别；用于直接调用信息库信息，将本次的训练数据导入用户信息库中；

所述单字发音评估模块，用于调用随机序列产生模块将评估语音内容次序打乱、然后调用语音录放模块先播放评估内容再录取用户的发声，最后再调用自动发音评估模块对录取的用户的发音进行准确性评估；

所述单字发音训练模块，用于首先调用随机序列产生模块将评估语音内容次序打乱，然后调用语音录放模块先播放评估内容再录取用户的发声，最后再将标准音与录取的用户的发音进行比对，如果结果正确，则开始下一项内容训练；如果比对错误，则对语音进行矫正处理；

所述词语跟读训练模块，用于调用随机序列产生模块将评估内容次序打乱，然后调用语音录放模块播放评估内容并录取用户发音，最后调用音频比对模块，向用户播放标准读音和用户自己的发音；

其中，自动发音评估模块的识别结果需返回单字发音评估模块和单字发音训练模块，用于单字发音训练模块对发音不标准的语音进行矫正训练。

2.根据权利要求1所述的成人听力言语康复系统，其特征在于，所述单字发音评估模块(3)进一步包括：

评估模式选择，用于从自动评估和手动评估两种模式中选择一种评估模式；

评估项目选择模块，用于选择具体评估项目，所述评估项目包含韵母、声母和声调；和

自动评价模块(31)或手动评价模块(32)，用于对输入的语音进行韵母评估(33)、声母评估(34)或声调评估(35)。

3.根据权利要求1所述的成人听力言语康复系统，其特征在于，所述单字发音训练模块(4)进一步包括：

训练项目决策子模块，用于选择具体训练项目，所述训练项目包含：韵母训练、声母训练、声调训练；

输出模块，依据选择的训练项目将语音输入随机序列产生模块；和

矫正训练模块，用于将自动发音评估模块返回的不准确的发音进行矫正处理。

4.根据权利要求3所述的成人听力言语康复系统，其特征在于，所述矫正训练模块(44)进一步包含：

动态图像播放模块，用于播放正确发音的动态图像；

音频比对模块，用于当收到用户录音后，对标准音和用户的录音进行比对。

5.根据权利要求1所述的成人听力言语康复系统，其特征在于，所述词语跟读训练模块(5)进一步包括：前位聚焦训练模块(51)、后位聚焦训练模块(52)、鼻音亢进训练模块(53)、鼻音低下训练模块(54)和音频对比模块(55)；

所述前位聚焦训练模块(51)，用于训练病人舌跟上抬发音；

所述后位聚焦训练模块(52)，用于训练病人口唇闭合的发音；

所述鼻音亢进训练模块(53)，用于训练鼻音过重病人减少发鼻音的次数；

所述鼻音低下训练模块(54)，用于训练多发鼻音；和

所述音频对比模块(55)，用于让患者听与感受标准发音与自己错误发音之间的差别。

6.根据权利要求1所述的成人听力言语康复系统，其特征在于，所述自动发音评估模块进一步包含：端点检测算法模块、自动语音识别语法模块和声调识别算法模块；

所述端点检测算法模块，用于自动录取有用的说话语音并自动关闭录音，该项算法可以保证录音时长因人而异；用于防止患者抢读；用于自动精确截取有效的录音从而提高自动识别声母、韵母和声调的概率；

所述自动语音识别语法模块，用于设定识别语法，进而提高自动识别声母、韵母的识别率；所述声调识别算法模块，用于自动识别声调。

7.根据权利要求6所述的成人听力言语康复系统，其特征在于，所述端点检测算法模块进一步包含：

第一实时截取模块，用于采用自适应能量门限法确定粗略截取有效录音，该第一实时截取模块进一步包含：

噪音过滤子模块，用于设定一个先验经验能量门限阈值，该门限阈值用于滤除抢读现象，该子模块如果在打开录音的瞬间就能检测到一个相对较高的能量，则该能量为噪音或者抢读声，滤除噪音或抢读音；

能量阈值更新子模块，用于当滤除某个噪声或抢读声后，开始计时，当经过某一设定时间段的等待，如果检测到的能量依然小于噪音过滤子模块设定的能量门限阈值时，则根据这段等待时间内的能量建立新的能量阈值；

信号检测子模块，用于根据能量阈值更新子模块建立的新阈值作为语音信号的起始点的新门限阈值对后续信号进行检测，当在某一时刻检测到的语音信号大于该新门限阈值时，系统再次开始计时，计时时间也在50毫秒；当信号连续50毫秒时间都大于新门限阈值，系统则认为检测到了语音信号的起始点；反之，如果50毫秒内出现信号能量小于新门限阈值的情况，系统则将计时器清零，从下一次检测到大于新门限阈值的点重新计时；

结尾点检测子模块，用于当检测到起始点后，采用信号检测子模块采用的策略检测结尾点；

第二精确截取模块，用于采用语音信号的前后相邻采样点之间的绝对差值进行计算，进而精确截取有效录音，所述第二精确截取模块进一步包含：

分帧子模块，用于对信号分帧，即将信号按照一定方式分段，每一段信号与相邻前后段信号都有部分重合；

第一处理子模块，用于对分帧后的信号进行做差值计算，及前一个采样点信号减去后一个采样点信号，并且取绝对值；

第二处理子模块，用于取每帧的差值最大值，进而获得一列数据，然后对这列数据设定一个门限值，依据设定的门限值将这列数据转化为二进制序列；

其中，将大于设定的门限值的数据设置为1，小于门限值的数据设置为0；

有效录音获取子模块，用于取其中连续为1的最长的那段数据，而该段数据的第一个1所在的位置和最后一个1之间的数据段就是有效录音数据段。

8.根据权利要求6所述的成人听力言语康复系统，其特征在于，所述声调识别算法模块进一步包含：

基频曲线获取模块，用于利用自相关算法得出基频曲线；

截取模块，用于根据人的基频特点截取65-600Hz的曲线信号；

声调曲线获得模块，用于根据人发声的特点，先对基频曲线做均值，然后以均值为中心上下浮动100Hz，之后仅保留在范围内的数值从而获得声调曲线。