CN116487003A - 语言障碍患者的康复训练系统 - Google Patents
语言障碍患者的康复训练系统 Download PDFInfo
- Publication number
- CN116487003A CN116487003A CN202310427190.4A CN202310427190A CN116487003A CN 116487003 A CN116487003 A CN 116487003A CN 202310427190 A CN202310427190 A CN 202310427190A CN 116487003 A CN116487003 A CN 116487003A
- Authority
- CN
- China
- Prior art keywords
- training
- patient
- vocabulary
- rehabilitation
- question
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 438
- 208000011977 language disease Diseases 0.000 title claims abstract description 25
- 230000006854 communication Effects 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 51
- 238000012544 monitoring process Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 241000283973 Oryctolagus cuniculus Species 0.000 description 3
- 230000006735 deficit Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 241000237858 Gastropoda Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 208000030979 Language Development disease Diseases 0.000 description 1
- 208000036626 Mental retardation Diseases 0.000 description 1
- 241000220259 Raphanus Species 0.000 description 1
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 1
- 206010041467 Speech disorder developmental Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 208000030251 communication disease Diseases 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 208000027765 speech disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Developmental Disabilities (AREA)
- Primary Health Care (AREA)
- Psychiatry (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了语言康复训练技术领域的语言障碍患者的康复训练系统包括：训练信息生成模块，用于采集患者的基础信息，并根据基础信息获取若干适宜患者训练的训练词汇和训练语境生成适宜患者康复训练的训练集；训练模式选择模块，用于为使用者提供训练模式选择，并根据使用者所选择的训练模式在训练集内提取若干符合使用者所选择的训练模式的训练词汇和训练语境。本发明，针对于语言障碍儿童，能够根据患者的情况生成符合患者的训练语段，让患者全情的投入到语言康复训练中，在情景对话中无意的对词汇和读音进行学习，且使患者长期保持对语言康复训练的兴趣。
Description
技术领域
本发明属于语言康复训练技术领域，具体是语言障碍患者的康复训练系统。
背景技术
语言是学习、社会交往、个性发育中一个重要的能力。从广义上来说，儿童言语和语言障碍又称沟通障碍，并影响日后的阅读和书写。其中发展性语言障碍是指在没有听力缺陷、智力迟钝、神经或精神损伤的情况下，言语能力的不到正常发展，此时通常需要进行一定的康复训练，使得患者的语言能力可以得到提升。
为了减少康复训练工作量、提高康复训练效率，中国专利文献CN112017748A提出了一种语言障碍患者的康复训练系统，包括：首次训练计划生成模块用于在首次训练时基于患者信息生成本次的训练计划；题目选取模块用于从题目库中选取出N道符合本次的训练计划中的重点训练类型及难度系数的题目，M道符合次重点训练类型及难度系数的题目；训练模块用于利用选出的M+N道题目对患者进行训练，得到患者本次的训练结果并保存；训练计划更新模块用于根据历次训练的训练结果以及患者信息调整本次的训练计划，得到新的训练计划。该发明的技术方案，降低了医生的工作量及主观因素影响，有利于提高训练效率，提高训练效果。
实际使用中，上述技术方案会重复、集中的让儿童患者进行康复训练，对于儿童来说重复、集中的训练会使儿童患者在训练过程中觉得枯燥乏味逐渐厌倦，对康复训练的兴趣逐渐下降甚至产生抗拒，致使语言康复训练质量得不到保证。且对于儿童来说学习词汇更易在无意中获取，重复、集中的训练能够对所训练的词汇内容掌握，可是对于儿童患者的语言能力提升有限。
发明内容
本发明的目的是提供一种语言障碍患者的康复训练系统，通过逐步培养儿童患者对语言康复训练的兴趣，使其在无意中对词汇和读音进行学习，更好的对儿童患者的语言能力进行提升。
为了实现上述目的，本发明的技术方案如下：
一种语言障碍患者的康复训练系统，包括：
训练信息生成模块，用于采集患者的基础信息，并根据基础信息获取若干适宜患者训练的训练词汇和训练语境生成适宜患者康复训练的训练集；
训练模式选择模块，用于为使用者提供训练模式选择，并根据使用者所选择的训练模式在训练集内提取若干符合使用者所选择的训练模式的训练词汇和训练语境；
训练题目生成模块，用于将训练模式选择模块所提取的训练词汇融合到所提取的训练语境中生成由若干交流语句组成的若干组交流语段，生成每组交流语段对应的训练题目，并根据训练题目的难易程度进行训练题目排序生产训练题目序列；
训练模块，包括主训练单元、监测单元、主训练数据库、辅训练单元和辅训练数据库，
所述主训练单元用于依次提取训练题目序列内的训练题目对患者进行康复训练；
所述监测单元用于收录康复训练过程中患者发出的语音生成第一语音数据；
所述主训练数据库用于获取当前训练题目，并对第一语音数据内当前训练题目所含训练词汇的语音进行提取生成若干与训练词汇对应的第二语音数据，并对第二语音数据内的各训练词汇的声母、韵母和声调读音的标准程度以及语速进行评价，并将第二语音数据内声母、韵母、声调读音和语速达标的训练词汇进行记录；
所述辅助训练单元用于基于训练词汇的声母、韵母和声调读音的标准程度以及语速评价结果，在当前训练题目结束后给予患者鼓励；
所述辅训练数据库用于采集并记录训练题目内声母、韵母、声调读音和语速未达标的训练词汇，并将未达标的训练词汇内的声母和韵母进行重新组合生产新训练词汇；
所述训练信息生成模块还用于根据新训练词汇获取新训练语境，并将新训练词汇和新训练语境生成用于患者康复训练纠错的新训练集，所述训练题目生成模块还用于将新训练词汇和新训练语境组合成若干新训练题目，并将新训练题目随机插入到训练题目序列内。
上述方案的技术原理如下：
根据患者的基础情况选择适宜患者的训练集，并根据所选择的模式匹配合适的训练词汇和训练语境，训练的过程中从简单到难依次开始训练，让患者逐步对由简单到难的词汇进行掌握，逐渐训练患者的语言能力。在训练过程中通过情景对话的方式进行训练，将需要训练的词汇融合到情景对话中去，降低患者对康复训练的抗拒心里，让患者在情景对话中获得乐趣，使其能够在无意间逐渐掌握需训练词汇。由于语言能力的康复训练还要对患者的发音标准能力进行提升，对于训练不达标的训练词汇，不会重复对患者进行集中、重复训练，避免患者厌倦，而是将训练不达标的词汇的声母和韵母进行拆分并重新组成训练词汇，并且新的训练词汇会融合到后面训练的情景对话内，让患者在对话中不断学习词汇，同时锻炼患者的发音标准能力，使得患者的语言能力在对话中不断提升。
采用上述方案有以下有益效果：
与现有技术相比，本方案通过情景对话的方式对语言障碍患者进行康复训练，让患者在情景对话的过程中无意的对词汇进行学习，在这样无意的学习过程中患者能够更加有效的掌握词汇，并结合情景对话中上下文的支持，让患者融入到语境当中使其不会觉得语言康复训练枯燥乏味；将词汇分散的布设于语句当中，并从易到难得进行训练，使患者的语言能力逐步得到训练，同时，训练完一段对话后给予患者鼓励，使其保持对语言训练的兴趣。
此外，利用患者先天具备的视觉参照和模仿能力，在情景对话过程中患者能够通过观察与其对话人的交流时的口型，通过参照模仿的方式使患者的语言能力得到提升。对于训练不合格的词汇采用声母、韵母重新组合搭配的方式，在保持所训练发音不变的同时提供给患者新的词汇进行训练，避免单个词汇重复出现导致患者产生厌倦心里。
综上所述，针对于语言障碍儿童，本发明遵从“兴趣是最好的老师”的原则，让患者全情的投入到语言康复训练中，逐步培养患者对语言康复训练的兴趣，让其在无意间得到语言能力的提升。
进一步，辅训练数据库还用于根据未达标的训练词汇内的声母和韵母生成声母和韵母对应的谐音词汇；辅助训练单元还用于接收谐音词汇，并生成含有谐音词汇的鼓励语句给予患者鼓励，若谐音词汇不适于生成鼓励语句，则在给予患者鼓励后播放含有谐音词汇的语句。
有益效果：通过以标准读音朗读未达标的声母和韵母的谐音词汇，使患者收听标准的声母韵母发音，辅助完成对患者声母和韵母标准发音的训练。
进一步，训练模式包括人机交流模式和多人交流模式，训练模式选择模块根据训练模式对各参与者的音色进行采集，训练题目生成模块根据多人交流模式的人数以及各参与者和患者的音色生成若干组由多人对话组成的交流语段。
有益效果：对多人交流模式下各个参与者的音色进行采集，结合不同人的音色为参与者提供与其音色匹配的交流语句，使得情景对话更加真实贴切，营造更加真实的氛围感。
进一步，辅训练数据库还用于将属于当前训练题目但第二语音数据中未提取到的训练词汇处理为遗留词汇，训练题目生成模块还用于根据当前训练题目的训练语境将遗留词汇插入到当前训练题目除患者所属交流语句外的交流语句内。
有益效果：情景对话时，对于患者的遗留词汇(无法正常发音的词汇)将其插入到参与者的交流语句中，患者通过参照模仿别人发音的方式对无法正常发音的词汇进行学习，相较于将患者无法正常发音的词汇集中、重复进行训练，患者通过参照模仿别人发音的方式有着更好的学习效果。
进一步，监测模块还用于获取当前训练题目对应交流语段内各语句所属使用者，并计算训练过程中各交流语句的衔接时间，当衔接时间超过阈值时，则给予衔接缓慢的使用者提示。
有益效果：使参与者和患者精神始终保持集中在对话情景中，从而使情景对话在更加逼真的情景下进行。
进一步，监测模块还用于对患者和各参与者的训练状态进行采集，并通过辅训练模块给予训练状态不集中的使用者提示。
有益效果：避免患者和参与者走神影响训练效果，同时让参与者与患者尽量面对面交流，使患者可以更好的参照学习。
进一步，所述难易程度判断标准包括训练词汇的发音难度和交流语段长度。
有益效果：结合训练词汇的发音难度以及交流语段的长度进行难易程度判断，将发音简单语段较短的训练题目优先对患者进行训练，逐渐培养起患者的训练兴趣。
进一步，辅训练数据库将当前训练题目内语速未达标的训练词汇处理为对比词汇，辅训练单元用于获取对比词汇标准语速朗读语音和与语速未达标的训练词汇对应的第二语音，并将上述语音在当前题目训练完成后对比播放。
有益效果：通过语速对比的方式让患者可以从听觉方面只管的了解到标准的语速，便于患者对语速进行调整。
进一步，训练信息生成模块还用于采集患者的训练习惯和训练偏好，并根据训练习惯和训练偏好对训练集内的训练词汇和训练语境进行更新。
有益效果：通过基于患者的训练情况，逐渐了解到患者的训练偏好和训练习惯，根据训练偏好和训练习惯不断的对训练集内的训练词汇和训练语境进行更新，让训练词汇和训练语境逐渐与患者的训练习惯和训练偏好贴合，提升患者对康复训练的兴趣。
进一步，还包括状态监测模块，状态监测模块用于根据患者音色采集患者的声源的方向以及距离，当患者的声源的方向或者距离异常时，通过检测单元对患者当前图像进行采集，若成功采集到患者当前图像则对患者进行提示，若未成功采集到患者当前图像，发出对医护人员或者参与者发出提示；状态监测模块还用于对第一语音数据的清晰度进行评价，当清晰度低于阈值时，则对患者的使用状态进行检测，若患者的使用状态异常则对患者进行提示，若患者的使用状态正常则对第一语音数据进行降噪处理。
有益效果：通过对患者的语音质量进行分析，判断患者的使用情况，在患者康复训练异常状态下进行时给予患者或者医护及参与者提示，辅助儿童患者能够在最佳状态下进行康复训练；此外，通过对第一语音数据的清晰度进行评价，判断是否系统音频接收受到影响，并在音频接收受到影响时给予患者提示，若第一语音数据为患者自身原因，则对患者的音频进行降噪，减少客观因素对患者康复训练的影响，并提升康复训练的效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明语言障碍患者的康复训练系统实施例的系统框图；
图2为本发明语言障碍患者的康复训练系统实施例的训练模块框图；
图3为本发明语言障碍患者的康复训练系统实施例的简易流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“竖向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
下面通过具体实施方式进一步详细说明：
说明书附图中的附图标记包括：训练信息生成模块1、训练模式选择模块2、训练题目生成模块3、训练模块4、主训练单元401、监测单元402、主训练数据库403、辅训练单元404、辅训练数据库405、状态监测模块5。
实施例一：如附图1所示，一种语言障碍患者的康复训练系统，主要用于儿童语言障碍患者的康复训练，该系统包括训练信息生成模块1、训练模式选择模块2、训练题目生成模块3和训练模块4。
训练信息生成模块1用于采集患者的基础信息，并根据基础信息获取若干适宜患者训练的训练词汇和训练语境生成适宜患者康复训练的训练集。上述基础信息包括患者的年龄、性别、音色和语言障碍患病程度。
训练模式选择模块2用于为使用者提供训练模式选择，并根据使用者所选择的训练模式在训练集内提取若干符合使用者所选择的训练模式的训练词汇和训练语境。训练模式包括人机交流模式和多人交流模式，其中人机交流模式下，为患者提供对话动画，使其与动画进行交互；其中多人交流模式下，对各参与者的音色进行采集，其中参与者一般为语言功能正常的人。在人机交流模式下患者观察动画发音时的口型，在多人交流模式下患者观察参与者发音时的口型，充分发挥患者视觉参照和模仿能力进行语言能力的提升。
训练题目生成模块3用于将训练模式选择模块2所提取的训练词汇融合到所提取的训练语境中生成由若干交流语句组成的若干组交流语段，生成每组交流语段对应的训练题目，并根据训练题目的难易程度进行训练题目排序生产训练题目序列，易程度判断标准包括训练词汇的发音难度和交流语段长度。训练题目生成模块3根据多人交流模式的人数以及各参与者和患者的音色生成若干组由多人对话组成的交流语段。
具体的，例如患者性别为女年龄为三的儿童，参与者即为其两个家属，采集患者的音色以及其两个家属的音色，重点基于两个家属的音色分配两个家属不同的角色，让其交流语段中扮演不同的角色，为后续情景交流营造更加真实的氛围。
根据上述例子，生成用于训练女性儿童的交流语段一：家属1(小公鸡)：“早上好！小白兔，你要去哪里？”，患者(小白兔)：“早上好！小公鸡，我要去采萝卜”，家属1(小公鸡)：“早上好！小蜗牛，你要去哪里？”，家属2(小蜗牛)“早上好！小公鸡，我要去看我的朋友”，患者(小白兔)：“小公鸡，你是要去哪里呢？”，家属1(小公鸡)：“我要去捉虫子”。该组语段中主要是对“早上好”“去哪里”“要去”的训练，通过这样情景对话可以让患者身临其境，在其中无意识的对词汇进行学习。
训练模块4包括主训练单元401、监测单元402、主训练数据库403、辅训练单元404和辅训练数据库405。
所述主训练单元401用于依次提取训练题目序列内的训练题目对患者进行康复训练，按照训练题目序列进行依次训练，训练难度从易到难使患者更容易接收，与此同时根据不同的训练语境播放相应的背景营造更加真实的氛围。
所述监测单元402用于收录康复训练过程中患者发出的语音生成第一语音数据，即对患者情景对话过程中的语音进行采集。具体的根据预先采集的患者音色识别情景对话的录音中患者的语音，对患者所发出的语音进行提取，并在此基础上对患者发出的语音进行噪音去除，降低杂音对第一语音数据的影响。
所述主训练数据库403用于获取当前训练题目，并对第一语音数据内当前训练题目所含训练词汇的语音进行提取生成若干与训练词汇对应的第二语音数据，并对第二语音数据内的各训练词汇的声母、韵母和声调读音的标准程度以及语速进行评价，并将第二语音数据内声母、韵母、声调读音和语速达标的训练词汇进行记录。
例如，此时正在训练上述交流语段一，通过采集其中患者发出的语音中的“早上好”“去哪里”“要去”，并分别对它们的声母、韵母和声调读音的标准程度以及语速进行评价，主要的评价方式是根据患者读音和语速与标准读音和语速进行比对，将差异值与阈值进行比较，根据需求可设置在声母和韵母差异值未超过阈值，语速差异超过阈值的情况下，评价该训练词汇达标；为了使训练保持较高质量，本实施例在声母、韵母、声调读音和语速中任意一项差异值超过阈值的情况下则判定该词汇未达标。
所述辅助训练单元用于基于训练词汇的声母、韵母和声调读音的标准程度以及语速评价结果，在当前训练题目结束后给予患者鼓励。无论患者的评价结果好与坏均给予正面的鼓励给予患者继续学习的信心。
所述辅训练数据库405用于采集并记录训练题目内声母、韵母、声调读音和语速未达标的训练词汇，并将未达标的训练词汇内的声母和韵母进行重新组合生产新训练词汇。
所述训练信息生成模块1还用于根据新训练词汇获取新训练语境，并将新训练词汇和新训练语境生成用于患者康复训练纠错的新训练集，所述训练题目生成模块3还用于将新训练词汇和新训练语境组合成若干新训练题目，并将新训练题目随机插入到训练题目序列内。
具体的，当交流语段一内的三个词汇中“要去”未达标，则将“要去”的声母和韵母进行拆分得到声母“y、q”韵母“ao、u”，将“y、q”与“ao、u”重新组合或者直接生成同音词汇，在声母和韵母无法直接重新组合的情况下借助其余声母和韵母进行组合，比如“y、q”与“ao、u”无法直接进行组合从接触韵母“i”生成新的词汇“一起”，生成的新词汇于原词汇发音类似，可是完全是新的词汇，让患者在无意中即对该读音进行了训练。
所述训练信息生成模块1还用于采集患者的训练习惯和训练偏好，并根据训练习惯和训练偏好对训练集内的训练词汇和训练语境进行更新。具体的是对患者训练时的情绪、面部表情和每次训练时长进行获取，对于患者情绪喜悦、面部表情微笑且训练时间维持较长的训练的词汇和训练语境进行采集，并匹配与其相似的词汇和训练语境，将这些符合患者喜好的词汇更新到训练集内。
实施例二：如附图1所示：与实施例一相比，不同之处在于，辅训练数据库405还用于根据未达标的训练词汇内的声母和韵母生成声母和韵母对应的谐音词汇；辅助训练单元还用于接收谐音词汇，并生成含有谐音词汇的鼓励语句给予患者鼓励，若谐音词汇不适于生成鼓励语句，则在给予患者鼓励后播放含有谐音词汇的语句。
辅训练数据库405还用于将属于当前训练题目但第二语音数据中未提取到的训练词汇处理为遗留词汇，训练题目生成模块3还用于根据当前训练题目的训练语境将遗留词汇插入到当前训练题目除患者所属交流语句外的交流语句内。
辅训练数据库405将当前训练题目内语速未达标的训练词汇处理为对比词汇，辅训练单元404用于获取对比词汇标准语速朗读语音和与语速未达标的训练词汇对应的第二语音，并将上述语音在当前题目训练完成后对比播放。
本实施例主要是对语言障碍儿童的进一步辅助学习，具体的，主要是利用一些声母和韵母的谐音词汇来辅助儿童学习，比如当儿童语言康复训练时“要去”这个训练词汇未达标时。则提取“要去”中的声母和韵母“y、q、ao、u”，根据声母韵母可以生产它们的谐音词汇“一、七、凹、屋”，将这些字融合到鼓励语句中，若是不适宜组合鼓励语句，则将他们组合平凑一端语句在鼓励完成后阅读给患者听。其次，针对于患者不能无法读出的词汇，将它们都直接添加到除患者以外的交流语句内，让电脑或者参与者在情景对话过程中让患者听到，患者还可参照参与者读出该词汇时的口型，从而完成对患者不能读出的词汇的辅助练习。最后是对患者阅读的语速矫正，只要是将患者语速较快或者较慢的词汇在练习完一道题目后播放给患者听，让患者学习正确的语速。
实施例三：如附图1所示：与实施例二相比，不同之处在于，监测模块还用于获取当前训练题目对应交流语段内各语句所属使用者，并计算训练过程中各交流语句的衔接时间，当衔接时间超过阈值时，则给予衔接缓慢的使用者提示。
监测模块还用于对患者和各参与者的训练状态进行采集，并通过辅训练模块4给予训练状态不集中的使用者提示。具体的是对患者和参与者的面部表情、眼神以及动作姿态进行采集，判断患者和各参与者是否有走神的情况。
本实施例增加了对训练过程中的检测，通过检测交流过程中语句的衔接时间，以及训练时参与者和患者的训练状态，并给予不集中的参与者和患者提示，使其尽量能够认真的完成语言康复训练。
实施例四：如附图1所示：与实施例三相比，不同之处在于，针对年龄较小(3～4岁)儿童，由于儿童年龄较小在使用平板等移动终端操作康复训练系统时会受到诸多因素影响，导致康复训练的效果不佳，由此在上述实施例的基础上本实施例加入了状态监测模块5，状态监测模块5用于根据患者音色采集患者的声源的方向以及距离，当患者的声源的方向或者距离异常时，通过检测单元对患者当前图像进行采集，若成功采集到患者当前图像则对患者进行提示，若未成功采集到患者当前图像，发出对医护人员或者家属发出提示。具体的，状态监测模块5为采用麦克风阵列的收音设备，根据患者声源的来向判断患者声源的方向，判断患者是否正常面对康复训练设备，或者在康复训练设备的精确收音方位角范围内；还对患者声源与收音设备之间的距离进行预估，判断患者的发声位置与收音设备的距离是否在精确收音距离范围内；如果没有在精确收音的方位角范围内和距离范围内时，则发出振动提示并附带提示消息，督促患者矫正训练状态，使收音设备能够精确的采集的年龄较小儿童康复训练时的语音，促进康复训练效果。
此外状态监测模块5还用于对第一语音数据的清晰度进行评价，当清晰度低于阈值时，则对患者的使用状态进行检测，若患者的使用状态异常则对患者进行提示，若患者的使用状态正常则对第一语音数据进行降噪处理。具体的，通过失真等级评分对第一语音数据进行清晰度评价，对于清晰度不达标的第一语音数据，首先通过陀螺仪对康复训练设备的姿态和对收音设备内每个麦克风的收音情况进行检测，若检测到康复训练设备姿态倾斜度较大或者收音设备的某个麦克风收音质量(响度)差异较大，则可能患者使用康复训练设备时使某个麦克风无法正常收音，从而发出振动提示并附带提示消息，督促患者对康复训练设备的状态进行修正。在康复训练设备的姿态和对收音设备内每个麦克风的收音情况检测正常的情况下，可能时由于康复训练周围噪音影响，则对第一语音数据进行降噪处理，提高第一语音的质量。
另外使用触控设备进行康复训练时，还可在康复训练进行过程中对触控设备的触控区域进行临时锁定，避免儿童触碰导致康复训练终止，影响康复训练的完整性。
综合上述，通过状态监测模块5有效的保证了低龄儿童依旧能够在较为良好的康复训练状态下进行康复训练，保证康复训练的效果。
以上所述的仅是本发明的实施例，方案中公知的具体结构和/或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.一种语言障碍患者的康复训练系统，其特征在于，包括：
训练信息生成模块，用于采集患者的基础信息，并根据基础信息获取若干适宜患者训练的训练词汇和训练语境生成适宜患者康复训练的训练集；
训练模式选择模块，用于为使用者提供训练模式选择，并根据使用者所选择的训练模式在训练集内提取若干符合使用者所选择的训练模式的训练词汇和训练语境；
训练题目生成模块，用于将训练模式选择模块所提取的训练词汇融合到所提取的训练语境中生成由若干交流语句组成的若干组交流语段，生成每组交流语段对应的训练题目，并根据训练题目的难易程度进行训练题目排序生产训练题目序列；
训练模块，包括主训练单元、监测单元、主训练数据库、辅训练单元和辅训练数据库，
所述主训练单元用于依次提取训练题目序列内的训练题目对患者进行康复训练；
所述监测单元用于收录康复训练过程中患者发出的语音生成第一语音数据；
所述主训练数据库用于获取当前训练题目，并对第一语音数据内当前训练题目所含训练词汇的语音进行提取生成若干与训练词汇对应的第二语音数据，并对第二语音数据内的各训练词汇的声母、韵母和声调读音的标准程度以及语速进行评价，并将第二语音数据内声母、韵母、声调读音和语速达标的训练词汇进行记录；
所述辅助训练单元用于基于训练词汇的声母、韵母和声调读音的标准程度以及语速评价结果，在当前训练题目结束后给予患者鼓励；
所述辅训练数据库用于采集并记录训练题目内声母、韵母、声调读音和语速未达标的训练词汇，并将未达标的训练词汇内的声母和韵母进行重新组合生产新训练词汇；
所述训练信息生成模块还用于根据新训练词汇获取新训练语境，并将新训练词汇和新训练语境生成用于患者康复训练纠错的新训练集，所述训练题目生成模块还用于将新训练词汇和新训练语境组合成若干新训练题目，并将新训练题目随机插入到训练题目序列内。
2.根据权利要求1所述的语言障碍患者的康复训练系统，其特征在于：辅训练数据库还用于根据未达标的训练词汇内的声母和韵母生成声母和韵母对应的谐音词汇；辅助训练单元还用于接收谐音词汇，并生成含有谐音词汇的鼓励语句给予患者鼓励，若谐音词汇不适于生成鼓励语句，则在给予患者鼓励后播放含有谐音词汇的语句。
3.根据权利要求2所述的语言障碍患者的康复训练系统，其特征在于：训练模式包括人机交流模式和多人交流模式，训练模式选择模块根据训练模式对各参与者的音色进行采集，训练题目生成模块根据多人交流模式的人数以及各参与者和患者的音色生成若干组由多人对话组成的交流语段。
4.根据权利要求3所述的语言障碍患者的康复训练系统，其特征在于：辅训练数据库还用于将属于当前训练题目但第二语音数据中未提取到的训练词汇处理为遗留词汇，训练题目生成模块还用于根据当前训练题目的训练语境将遗留词汇插入到当前训练题目除患者所属交流语句外的交流语句内。
5.根据权利要求4所述的语言障碍患者的康复训练系统，其特征在于：监测模块还用于获取当前训练题目对应交流语段内各语句所属使用者，并计算训练过程中各交流语句的衔接时间，当衔接时间超过阈值时，则给予衔接缓慢的使用者提示。
6.根据权利要求5所述的语言障碍患者的康复训练系统，其特征在于：监测模块还用于对患者和各参与者的训练状态进行采集，并通过辅训练模块给予训练状态不集中的使用者提示。
7.根据权利要求6所述的语言障碍患者的康复训练系统，其特征在于：所述难易程度判断标准包括训练词汇的发音难度和交流语段长度。
8.根据权利要求7所述的语言障碍患者的康复训练系统，其特征在于：辅训练数据库将当前训练题目内语速未达标的训练词汇处理为对比词汇，辅训练单元用于获取对比词汇标准语速朗读语音和与语速未达标的训练词汇对应的第二语音，并将上述语音在当前题目训练完成后对比播放。
9.根据权利要求8所述的语言障碍患者的康复训练系统，其特征在于：训练信息生成模块还用于采集患者的训练习惯和训练偏好，并根据训练习惯和训练偏好对训练集内的训练词汇和训练语境进行更新。
10.根据权利要求9所述的语言障碍患者的康复训练系统，其特征在于：还包括状态监测模块，状态监测模块用于根据患者音色采集患者的声源的方向以及距离，当患者的声源的方向或者距离异常时，通过检测单元对患者当前图像进行采集，若成功采集到患者当前图像则对患者进行提示，若未成功采集到患者当前图像，发出对医护人员或者家属发出提示；状态监测模块还用于对第一语音数据的清晰度进行评价，当清晰度低于阈值时，则对患者的使用状态进行检测，若患者的使用状态异常则对患者进行提示，若患者的使用状态正常则对第一语音数据进行降噪处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310427190.4A CN116487003A (zh) | 2023-04-19 | 2023-04-19 | 语言障碍患者的康复训练系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310427190.4A CN116487003A (zh) | 2023-04-19 | 2023-04-19 | 语言障碍患者的康复训练系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116487003A true CN116487003A (zh) | 2023-07-25 |
Family
ID=87217217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310427190.4A Pending CN116487003A (zh) | 2023-04-19 | 2023-04-19 | 语言障碍患者的康复训练系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116487003A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117390557A (zh) * | 2023-12-13 | 2024-01-12 | 深圳汉尼康科技有限公司 | 一种多功能进阶语言沟通辅助训练数据管理系统 |
| CN118016250A (zh) * | 2024-04-09 | 2024-05-10 | 北京智精灵科技有限公司 | 一种基于虚拟人的精神障碍康复训练系统 |
-
2023
- 2023-04-19 CN CN202310427190.4A patent/CN116487003A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117390557A (zh) * | 2023-12-13 | 2024-01-12 | 深圳汉尼康科技有限公司 | 一种多功能进阶语言沟通辅助训练数据管理系统 |
| CN117390557B (zh) * | 2023-12-13 | 2024-03-12 | 深圳汉尼康科技有限公司 | 一种多功能进阶语言沟通辅助训练数据管理系统 |
| CN118016250A (zh) * | 2024-04-09 | 2024-05-10 | 北京智精灵科技有限公司 | 一种基于虚拟人的精神障碍康复训练系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106851216B (zh) | 一种基于人脸和语音识别的课堂行为监控系统及方法 | |
| Marschark | Raising and educating a deaf child: A comprehensive guide to the choices, controversies, and decisions faced by parents and educators | |
| Moyer | Foreign accent: The phenomenon of non-native speech | |
| Holcomb | Introduction to American deaf culture | |
| Engwall | Analysis of and feedback on phonetic features in pronunciation training with a virtual teacher | |
| Green et al. | Lip movement exaggerations during infant-directed speech | |
| CN116487003A (zh) | 语言障碍患者的康复训练系统 | |
| Soto-Faraco et al. | Discriminating languages by speech-reading | |
| Alighieri et al. | Effectiveness of speech intervention in patients with a cleft palate: Comparison of motor-phonetic versus linguistic-phonological speech approaches | |
| JP5335668B2 (ja) | 多種類言語に適用可能なコンピュータ使用による聾唖者の発音学習支援方法 | |
| Cox | Now You're Talking: Human Conversation from the Neanderthals to Artificial Intelligence | |
| Meniado | First language acquisition: A case study of a three-year old Lebanese child | |
| Ewing et al. | Teaching deaf children to talk | |
| Chan | The perception of English speech sounds by Cantonese ESL learners in Hong Kong | |
| Nittrouer et al. | Perceptual weighting strategies of children with cochlear implants and normal hearing | |
| Darrow | Music therapy in the treatment of the hearing-impaired | |
| Casillas | The longitudinal development of fine phonetic detail in late learners of Spanish | |
| Zuliyan | Songs as Media in Teaching Pronunciation | |
| CN113208592B (zh) | 一种具有多作答模式的心理测试系统 | |
| Gorman | A framework for speechreading acquisition tools | |
| Öster | Computer-based speech therapy using visual feedback with focus on children with profound hearing impairments | |
| CN113593374A (zh) | 一种口肌训练结合的多模态言语康复训练系统 | |
| Clendon et al. | Facilitating speech and language development in children with cochlear implants using computer technology | |
| Eriksson | That voice sounds familiar: Factors in speaker recognition | |
| Yang | Speech recognition rates and acoustic analyses of English vowels produced by Korean students |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |