CN107456208A - 多模式交互的言语语言功能障碍评估系统与方法 - Google Patents
多模式交互的言语语言功能障碍评估系统与方法 Download PDFInfo
- Publication number
- CN107456208A CN107456208A CN201610388275.6A CN201610388275A CN107456208A CN 107456208 A CN107456208 A CN 107456208A CN 201610388275 A CN201610388275 A CN 201610388275A CN 107456208 A CN107456208 A CN 107456208A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- tested personnel
- tested
- assessment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000003993 interaction Effects 0.000 title claims abstract description 36
- 230000001755 vocal effect Effects 0.000 title claims abstract description 35
- 230000004064 dysfunction Effects 0.000 title claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 61
- 230000006870 function Effects 0.000 claims abstract description 34
- 230000004382 visual function Effects 0.000 claims abstract description 13
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims description 46
- 238000004458 analytical method Methods 0.000 claims description 39
- 238000007418 data mining Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000007170 pathology Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000013461 design Methods 0.000 claims description 9
- 230000002269 spontaneous effect Effects 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 7
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 7
- 230000036541 health Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 230000004438 eyesight Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000002889 sympathetic effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008821 health effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000012854 evaluation process Methods 0.000 description 4
- 201000008482 osteoarthritis Diseases 0.000 description 4
- 201000007201 aphasia Diseases 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 208000006011 Stroke Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 238000010207 Bayesian analysis Methods 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000004925 denaturation Methods 0.000 description 1
- 230000036425 denaturation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 206010013932 dyslexia Diseases 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 210000004704 glottis Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000004202 respiratory function Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000004454 trace mineral analysis Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 208000011293 voice disease Diseases 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
- A61B5/121—Audiometering evaluating hearing capacity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Neurology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Otolaryngology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Nursing (AREA)
- Ophthalmology & Optometry (AREA)
- Psychology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明提供一种多模式交互的言语语言功能障碍评估系统，包括：用户登录模块，用于提供用户登录、注册、找回密码的入口；被测试人员管理模块，用于管理被测试人员信息；量表选择及测试模块，用于选择量表并根据所述量表进行多模式交互性测试，得到测试数据，所述量表选择及测试模块包括：视功能模块，用于采集被测试人员视功能相关的数据；听功能模块，用于采集所述被测试人员听功能相关的数据；书写模块，用于采集所述被测试人员的书写数据；以及绘图模块，用于采集所述被测试人员的绘图数据；以及量表评估及结果生成模块，用于对所述测试数据进行评估后生成评估结果。本发明还提供了相应的多模式交互的言语语言功能障碍评估方法。
Description
技术领域
本发明涉及言语测量领域，尤其涉及一种多模式交互的言语语言功能障碍评估系统与方法。
背景技术
世界卫生组织数据显示，我国脑卒中发生率正以每年8.7％的速度上升，比美国高出一倍。失语症和构音障碍是脑卒中主要后遗症之一，56％-69％的急慢性脑血管病被测试人员会伴有言语和语言功能障碍。目前，对言语语言功能障碍的评估大多依据评估量表进行人工评估。这种方式的优势是评估过程便于掌控，被测试人员配合度高，评估人员可以依据评估过程中被测试人员的综合表现给出最贴近被测试人员言语语言功能水平的主观评价，评估结果更准确。但是基于人工的评估方式效率偏低，受评估评估人员经验和能力水平的影响较大。人工评估过程耗时较长，对评估人员能力水平要求较高，评估时评估人员需要实时进行打分，并进行各项评分结果的计算，工作量巨大。此外，言语语言功能障碍评估除失语症外，还包括构音障碍、认知状况等其他方面的评估，各种量表达十余种之多。评估完成后被测试人员评估结果的保存、查询等都十分繁琐，而且很多评估是根据被测试人员的语音，这些音频数据是传统量表无法保存的，也无法跟踪评价被测试人员的康复进展。
但是，目前的评估系统仍然存在一些缺陷和不足：
一是系统缺少专业的客观评估算法。现有系统在进行评估时仍然需要依赖评估人员的主观评价，由于评估人员经验、能力水平、判断标准、自身状态等都存在一定的差异，因而容易造成主观评估标准难以统一，不同评估人员的评估结果存在差异，或者同一评估人员在不同时间和状态下评估结果不同。
二是评估系统基于Windows平台，主体设备相对笨重，甚至需要工作台车。被测试人员在进行评估时易产生紧张感和疲劳感，无法得到被测试人员的有效配合。此外，评估时的操作比较繁琐，缺少简单易操作的多模式交互方式，外围硬件设备较多。被测试人员需要正确使用键盘、鼠标、话筒、手写板等各种输入设备，给被测试人员带了使用上的不便。而且，用户使用键盘和鼠标等设备进行的交互输入都是精确的输入，但人们的动作或思想等往往并不很精确，人类语言本身也具有高度模糊性，人们在生活中常常习惯于使用大量的非精确的信息交流。对于言语语言功能障碍被测试人员来说，现有评估系统在采集被测试人员数据时仍旧依靠键盘、鼠标、耳机、话筒等传统的交互方式，设备复杂，不易操作。
三是评估系统自动化程度仍然不高。一些评估系统仍采用电脑与实物卡片相结合的方式，未将语音系统及画图、写字等结合进去。这就造成测试项目没有完全地实现计算机化操作，违背了计算机评估系统的设计初衷。
四是缺少远程在线评估以及多用户存储和多模式数据管理等功能。由于我国言语语言被测试人员数量多、分布广、经济条件有限，且大部分存在一定的运动及肢体障碍，无法远程在线评估将使得被测试人员就诊遭遇极大的不便。
发明内容
本发明的目的在于，解决测试手段单一落后、评估方法不够客观专业、专业等问题。
本发明的目的是采用以下技术方案来实现的:
一种多模式交互的言语语言功能障碍评估系统，包括：
用户登录模块，用于提供用户登录、注册、找回密码的入口；
被测试人员管理模块，用于管理被测试人员信息；
量表选择及测试模块，用于选择量表并根据所述量表进行多模式交互性测试，得到测试数据，所述量表选择及测试模块包括：视功能模块，用于采集被测试人员视功能相关的数据；听功能模块，用于采集所述被测试人员听功能相关的数据；书写模块，用于采集所述被测试人员的书写数据；以及绘图模块，用于采集所述被测试人员的绘图数据；以及
量表评估及结果生成模块，用于对所述测试数据进行客观评估、并结合主观评估生成评估结果。
一种多模式交互的言语语言功能障碍评估方法，包括以下步骤：
步骤S1，提供用户登录、注册、找回密码的入口；
步骤S2，管理被测试人员信息；
步骤S3，选择量表并根据所述量表进行多模式交互性测试，得到测试数据，包括：
步骤S31，采集被测试人员视功能相关的数据；
步骤S32，采集所述被测试人员听功能相关的数据；
步骤S33，采集所述被测试人员的书写数据；以及
步骤S34，采集所述被测试人员的绘图数据；以及
步骤S4，对所述测试数据进行客观评估、并结合主观评估生成评估结果。
相较于现有技术，本发明提供的多模式交互的言语语言功能障碍评估系统及方法提供多模式交互性测试，能够提高评估结果的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1是本发明第一实施例提供的多模式交互的言语语言功能障碍评估系统的结构示意图。
图2是本发明第一实施例提供的评估系统的量表选择及测试模块的结构示意图。
图3是本发明第一实施例提供的评估系统的量表评估及结果生成模块的结构示意图。
图4是本发明第二实施例提供的多模式交互的言语语言功能障碍评估系统的结构示意图。
图5是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法的流程示意图。
图6是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法显示的用户登录模块界面示意图。
图7是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法提供的病人管理模块界面示意图。
图8是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法提供的医生登录后添加病人界面示意图。
图9是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法提供的量表选择界面示意图。
图10是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法提供的量表测试界面示意图。
图11是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法中步骤3的流程示意图。
图12是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法中步骤S41的流程示意图。
图13是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法中步骤S42的流程示意图。
图14是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法提供的量表结果生成界面示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，图1是本发明第一实施例提供的多模式交互的言语语言功能障碍评估系统100的结构示意图。评估系统100包括用户登录模块12，被测试人员管理模块14，量表选择及测试模块16，以及量表评估及结果生成模块18。
用户登录模块12用于提供用户登录、注册、找回密码的入口。
具体地，系统接入互联网后，用户可在用户登录界面选择登录、注册、找回密码等功能。
被测试人员管理模块14用于管理被测试人员信息。
具体地，用户登录成功后，被测试人员信息自动加载，用户可以对被测试人员进行管理，例如新建被测试人员、删除或修改被测试人员信息、被测试人员分组、被测试人员信息更新等。
量表选择及测试模块16用于选择量表并根据所述量表进行多模式交互性测试，得到测试数据，请参阅图2，所述量表选择及测试模块16包括：视功能模块161，用于采集被测试人员视功能相关的数据；听功能模块162，用于采集所述被测试人员听功能相关的数据；书写模块163，用于采集所述被测试人员的书写数据；以及绘图模块164，用于采集所述被测试人员的绘图数据。
进一步地，所述视功能模块161还用于令所述被测试人员在测试界面上进行图-字匹配、看图命名、看图说话、视觉音旁一致性辨识。
进一步地，所述听功能模块162还用于令所述被测试人员完成听-图匹配、听辨识匹配、听数字广度匹配、同音字辨识；还用于采集所述被测试人员的连续语音，包括但不限于呼吸、发声、共鸣、构音不同发音系统的病理语音，以及用于令所述被测试人员进行单词复述、非词复述、句子复述、限定场景自发叙述。
所述绘图模块164还用于令所述被测试人员按照要求绘制不同的图形或者完成连线任务，以及记录所述被测试人员在绘制过程中笔迹或手指的走势、快慢、停顿。
所述量表选择及测试模块16还可以包括舌特征模块165，用于采集反映舌运动特征的相关特征参数。
请参阅图3，量表评估及结果生成模块18用于对所述测试数据进行评估后生成评估结果，进一步包括：第一评估模块181，用于评估言语认知加工损害；以及第二评估模块182，用于评估语音输出功能障碍。
所述第一评估模块181用于评估语料设计、评估言语输出准确度、评估言语运动计划、用于评估内容合理性；以及用于建立评估模型。
所述第二评估模块182用于用于评估语料设计、用于多维声学分析；用于评估发音准确度；以及用于评估言语清晰度。
发音准确度评估具体包括：收集、分析和处理正常人朗读发音数据，在此基础上建立正常人发音声学模型；应用语音学分析技术，针对每个音素，提取反映区别性的元音和辅音声学特征参数，根据需要选择其中若干参数，建立一个多特征、多尺度的病理评估模型；以及以言语病理学家的主观评估结果为映射目标，应用多维模式分类理论，建立分类评估模型和打分算法，以评估被测试人员对给定字、词、句发音的准确程度。
综上，本实施例提供的多模式交互的言语语言功能障碍评估系统100让被测试人员通过多模式的交互方式进行评估测试，系统根据被测试人员的输入，运用专业自动评估模型对被测试人员言语障碍类型、言语加工过程受损情况进行评估分析，解决了现有评估系统测试手段单一落后、缺少专业全面的客观评估算法的问题；本实施例提供的评估系统100可以根据采集到的数据对单个评估个体进行评估分析和统计分析。
另外，本实施例提供的评估系统100可以采用客户端和服务器结构。客户端基于Android/iOS等移动平台实现，具备医生/病人登陆、病人信息管理、量表管理、量表测试、远程评估、数据管理等功能。服务器用于存储用户登录验证，医生/病人信息、量表信息、评估数据、原始文件等数据，以及计算客观评价结果。客户端和服务器之间采用HTTP/FTP传输协议。因此，评估系统具有友好的交互方式，使病人可以轻松完成评估，而且在线评估可以帮助病人足不出户完成评估，解决了偏远中小医院以及社区诊室无法进行专业言语语言功能障碍评估的难题。
请参阅图4，本发明第二实施例提供的评估系统200与评估系统100基本相同，不同之处在于：进一步包括数据挖掘与分析模块29，用于：确定评估数据挖掘的目标和评估标准；搜索所有与评估对象有关的内容和评估数据信息，完成数据的初步收集，形成原始数据，对所述原始数据进行抽样分析，列出数据属性；对所述原始数据进行审核与整理，针对各种类型的数据采取相应的数据预处理方法，以及根据所述数据挖掘的目标和数据的特征，选择合适的模型，进行数据转换；使用合适的数据挖掘算法完成数据分析；对分析结果进行医学解释，并反馈给医生，帮助医生判断被测试人员康复训练成效；以及，将分析结果集成到实际康复训练过程中，并有计划地实施和控制。
综上，本实施例提供的多模式交互的言语语言功能障碍评估系统200让被测试人员通过多模式的交互方式进行评估测试，系统根据被测试人员的输入，运用专业自动评估模型对被测试人员言语障碍类型、言语加工过程受损情况进行评估分析，解决了现有评估系统测试手段单一落后、缺少专业全面的客观评估算法的问题；本实施例提供的评估系统200既可以根据采集到的数据对单个评估个体进行评估分析和统计分析，又可以对大量评估数据进行数据挖掘与分析，结合被测试人员具体的评估结果给出有针对性的康复训练，实现康复训练效果长期跟踪分析。
请参阅图5，图5是本发明第三实施例提供的多模式交互的言语语言功能障碍评估方法的流程示意图，方法包括以下步骤：
步骤S1，提供用户登录、注册、找回密码的入口。
具体地，系统接入互联网后，用户可在用户登录界面选择登录、注册、找回密码等功能。
请参阅图6，在用户登录模块界面中，用户输入用户名(40)及密码(41)点击登陆按钮(43)进行登录，系统将用户输入的用户名及密码与服务器端进行匹配，完成登录。注册按钮(42)完成用户注册功能。新用户注册时，系统检查用户信息输入格式是否正确，上传并保存用户的注册信息，并向用户邮箱发送激活链接。用户激活后根据自己设置的用户名及密码进行登录。找回密码按钮(44)帮助用户找回登录密码，系统将向用户邮箱发送确认邮件，用户通过邮件进行身份确认，找回密码。设置按钮(45)进行系统设置。系统需要在登录前就已经连接到网络，通过该按钮设置连接方式，默认采用Wi-Fi(一种允许电子设备连接到一个无线局域网的技术)。系统还具有用户登出系统功能、删除该设备上的该用户记录功能。
步骤S2，管理被测试人员信息。
具体地，用户登录成功后，被测试人员信息自动加载，用户可以对被测试人员进行管理，例如新建被测试人员、删除或修改被测试人员信息、被测试人员分组、被测试人员信息更新等。
请参阅图7，侧边栏(50)按照组显示被测试人员列表。点击组名，展开或收缩被测试人员列表。长按组名，可进行组操作：编辑组、重命名组、删除组、群发。点击被测试人员进行该被测试人员的量表评估。长按被测试人员，可进行被测试人员操作，如编辑被测试人员、删除被测试人员、查看被测试人员、发送邮件、组选择等。增加组按钮(51)，删除组按钮(52)，编辑组按钮(53)也可进行组的操作。点击被测试人员后将看到被测试人员信息(60)，文本框(54)显示被测试人员症状描述，(58)显示被测试人员已近做过的评估量表，该栏内容由系统在评估结束后自动更新。编辑按钮(55)，删除按钮(56)完成编辑被测试人员信息以及删除被测试人员的功能。发送邮件按钮(57)将评估结果以邮件的形式发送到被测试人员邮箱。点击立即评估按钮(59)即可开始进行评估测试。
请参阅图8，用户按照系统要求填写被测试人员信息。(61)为被测试人员基本信息，日期填写通过(64)进行滚动选择。(62)内置语音识别引擎，用户点击后自动将输入语音转换成文本文字并在文本框(63)中进行显示，(63)支持文本的编辑。保存按钮(65)负责将被测试人员信息保存至数据库中。
步骤S3，选择量表并根据所述量表进行多模式交互性测试，得到测试数据。
具体地，医生决定进行评估后首先选择需要评估的被测试人员，然后选择所要进行评估的量表。系统加载测试量表后检查声音设备是否正常，检查通过后开始量表测试。量表测试题目分为主观题目和客观题目。被测试人员测试时客观题目结果直接上传至数据库中进行保存；而被测试人员的主观输入(文本、音频、图形)将上传至文件系统，由医生对所述主观输入进行主观题目的评估，评价结果提交至系统。
请参阅图9，系统显示内置的16种评估量表。这些量表按照构音量表、认知量表、语言量表分为三类，并通过颜色加以区分。第一行(70)为构音量表，第二行(71)为认知量表，第三行(72)为语言量表。用户选择量表时点击相应的方块按钮即可完成选择。
量表选择后，系统跳转至量表测试界面，如图10所示。在图10中，左侧边栏显示被测试人员信息(80)，量表种类及量表名称(81)。(82)显示测试进度，(85)显示测试用时。被测试人员按照题目指示(83)及题目内容(84)开始测试。录音按钮(87)、删除按钮(88)完成录音和删除录音的操作，音频显示控件(86)动态显示输入音频特征，(86)、(87)、(88)为当前题目中为完成测试设置的按钮及控件。根据题目的不同，按钮控件的位置、功能均有不同。被测试人员完成该题目后点击下一页按钮(89)，系统保存当前页面输入的数据，并自动跳转到下一道题目。
本实施例通过视、听、说、写、画等方式采集测试数据。整个测试过程可以被远程实时观察，评估人员可以观察被测试人员测试时的状态，作为主观评估依据。请参阅图11，步骤S3进一步包括以下步骤：
步骤S31，采集被测试人员视功能相关的数据。
具体地，被测试人员在测试界面上进行图-字匹配、看图命名、看图说话、视觉音旁一致性辨识。相应的功能模块根据需要被测试的内容展示各种评估量表并以图文并茂的测试界面展示出来，被测试人员在测试界面上根据提示完成测试。
步骤S32，采集被测试人员听功能相关的数据。
具体地，被测试人员要完成听-图匹配、听辨识匹配、听数字广度匹配、同音字辨识等任务，以对被测试人员听理解系统、词汇语义系统等言语认知加工功能水平进行评估。
进一步地，采集被测试人员的连续语音，包括但不限于呼吸、发声、共鸣、构音不同发音系统的病理语音等；然后，采用语音识别技术和声学分析对连续语音的发音准确度、言语清晰度进行合理化评估。
进一步地，根据被测试人员对单词复述、非词复述、句子复述、限定场景自发叙述等任务的完成情况对被测试人员的言语认知情况进行评估。
系统内置语音提示可以帮助有阅读障碍的被测试人员顺利进行测试。被测试人员即使不具备阅读能力，仍然可以根据语音提示完成评估。
步骤S33，采集被测试人员的书写数据。
具体地，系统内置基于Tomoe的手写输入识别引擎，可以对被测试人员书写的文字进行识别、自动记录笔迹，以便评估人员评估。
步骤S34，采集被测试人员的绘图数据。
具体地，要求被测试人员按照要求绘制不同的图形或者完成连线任务，记录被测试人员所画内容并判断正误，同时，还可以记录和分析被测试人员绘制过程中笔迹(手指)走势、快慢、停顿等。此项功能可以测试视空间与执行功能。
在以上以及以后的步骤中，被测试人员均会在测试界面进行触摸操作。优选地，触摸区域可适当放大，这样只需要大致触摸到正确的区域即可。进一步地，还可以根据被测试人员的触摸力度自动调整触摸系统的感应灵敏度，方便被测试人员操作。优选地，操作界面选择按钮可以进行简化以减少测试过程中误点误触情况的发生。
进一步地，还可以包括步骤S35,采集反映舌运动特征的相关特征参数。
步骤S4，对所述测试数据进行客观评估、并结合主观评估生成评估结果。
系统根据主客观评价数据，调用该量表对应的评估结果计算方法，计算出被测试人员的评估结果，最后生成标准格式的评估报告，并将最终结果上传至服务器。
步骤S4进一步包括第一评估步骤S41：言语认知加工损害自动评估。
请参阅图12，第一评估步骤S41包括以下步骤：
步骤S411，评估语料设计，包括反映听理解系统、词汇语义系统、言语输出词典、言语运动计划、言语输出缓存等水平的听-图匹配、图-字匹配、听辨识匹配、听数字广度匹配，视觉音旁一致性辨识、同音字辨识、单词复述、非词复述、句子复述、限定场景自发叙述等一系列任务，以实现对被测试人员的整体言语认知加工功能评估；
步骤S412，言语输出准确度客观评估，包括以下步骤：收集、分析和处理正常发音数据，包括朗读语音和自发语音两种数据类型，在此基础上建立正常发音声学模型；以及，对评估时麦克风接收到的被测试人员的声音做声学模型的评分，以评估被测试人员对给定复述的字、词、句发音。
步骤S413，言语运动计划客观评估。
在复述任务中，需要判断被测试人员语言表达的流利程度，具体地，采集被测试人员读句子的音频，然后对音频的静音段比重做评价，获得被测试人员读出给定句子的流利程度。
步骤S414，内容合理性客观评估。具体是指，在限定场景自发叙述任务中，对被测试人员的语音进行识别，借助语义词典，提取以下参数表征其语法、语义运用能力：
1)词比值：真实词与叹词和假词的比值；
2)实词比值：真实词中实词与虚词的比值；
3)完整度：复述自发语言中完整句子占总句子的比值；
4)复杂度：复合句子的比值；
5)长度：平均句子长度。
步骤S415，建立评估模型。具体地，在选取上述指标的基础上，采用相关性分析、贝叶斯分析、高斯过程、模糊集合运算等分析方式,对语言障碍进行特征提取,分阶段、分层次集合归类，建立各类指标间的作用关系网络。优选地，还可以进一步通过变量关联的富集度确定在关系网络中起关键作用的特征指标。
第一评估步骤S41结合视听刺激、多维声学分析和语音识别技术，依据评估模型，从听、看、说、复述等不同认知层级进行功能分析，对语言加工过程是否受损，以及受损的模块和损害的原因进行评估。
进一步地，本实施例提供的评估方法还包括第二评估步骤S42，语音输出功能障碍客观评估。
步骤S42基于病理语音学进行评估，采用多维声学分析方法分析被测试人员呼吸、发声、共鸣、构音不同发音系统的病理语音，获取其障碍类型，采用语音识别技术和声学分析对连续语音的发音准确度、言语清晰度进行合理化评估，请参阅图13，具体步骤包括：
步骤S421，评估语料设计。从长时间单元音发音、单词发音、轮替运动的快速重复字词发音、句子阅读、段落阅读等一系列从简单到复杂的言语行为学实验，例如可以包括：长时间单元音发音(5-10s)：要求受试者尽可能长时间以舒适的音强和音高(pitch)发/ɑ/、/i/、/u/、/e/三次；轮替运动的快速重复字词发音：要求受试者以所听到的音强快速发/Pa/、/Ta/、/Ka/轮次发音，持续2分钟，至少保证每次呼吸间隔内连续发音5次；句子阅读：要求受试者阅读音节匹配的构音障碍评估量表中句子；段落阅读：要求受试者大声朗读经过音素匹配后的汉语失语症检查量表中复述段落；
步骤S422，多维声学分析。对持续元音的声学特征提取包括线性的基频、扰动特征以及声带振动熵等非线性声学特征，声门噪声扰动参数用以表征声带振动的运动学特性，借助以开发的嗓音质量评估模型对嗓音质量进行分析；提出基于经验模式分解(EMD)的高阶统计特征来评估嗓音的信噪比；对于快速重复字词发音，采用贝叶斯音频跳跃点检测方法提取辅音与元音转换斜率和易变性，同时辅以声强特性，用以分析发音呼吸功能；对于韵律学特征，分析连续语音任务中，停顿次数、百分比、发音速率和发音能量稳定性以及音调变化比作为特征参数。
获取反映舌运动特征的相关特征参数后，可利用元音声学图面积估计发音舌位运动范围，选取FCR等参数评估发音器官运动功能，这样就可以从呼吸、发音、构音不同系统评估构音障碍的不同亚型以及超音段音位的语音障碍。
步骤S423，发音准确度评估，包括以下步骤：收集、分析和处理正常人发音数据，包括朗读语音和自发语音两种数据类型，在此基础上建立正常人发音声学模型；以及，对训练时麦克风接收到的被测试人员的声音做声学模型的评分，以自动评估被测试人员对给定字、词、句发音的准确程度。
步骤S424，言语清晰度评估，包括以下步骤：收集、分析和处理正常人朗读发音数据，在此基础上建立正常人发音声学模型；应用语音学分析技术，针对每个音素，提取反映区别性的元音和辅音声学特征参数，根据需要选择其中若干参数，建立一个多特征、多尺度的病理评估模型；以言语病理学家的主观评估结果为映射目标，应用多维模式分类理论，建立高效的分类评估模型和打分算法，以自动评估被测试人员对给定字、词、句发音的准确程度。
第二评估步骤S42采用多维声学分析方法分析被测试人员呼吸、发声、共鸣、构音不同发音系统的病理语音，获取其障碍类型，并采用语音识别技术和声学分析对连续语音的发音准确度、言语清晰度进行合理化评估。
第一评估步骤S41和第二评估步骤S42属于客观评估，由系统在后台自动完成。除了客观评估，还有主观评估，图14显示了主观评估过程。左侧边栏显示被测试人员信息(90)，量表种类及量表名称(91)。(92)显示评估进度。题目指示(93)及题目内容(94)帮助医生明确所要评估的内容，医生在评估结果栏(95)进行操作。该栏内设有音频播放按钮和评估结果输入框，医生点击播放按钮播放被测试人员测试时的音频，根据音频内容进行主观评价，并将评价结果输入到框中，点击保存按钮(96)进行保存。图14中显示的内容及布局仅为当前题目下的评估界面，根据题目的不同，评估界面也会不同。
主客观评估结果会共同给出一个针对当前测试人员的评估结果。如果需要进行长期观察、跟踪被测试人员的情况，或者需要处理大量被测试人员的数据，就进一步进行步骤S5，数据挖掘与分析。具体步骤如下：确定评估数据挖掘的目标和结论的评估标准；搜索所有与评估对象有关的内容和评估数据信息，完成数据的初步收集，对原始数据进行抽样分析，列出数据属性；对原始数据进行审核与整理，针对各种类型的数据采取相应的数据预处理方法，以及根据数据挖掘方法的目标和数据的特征，选择合适的模型，实现数据的转换；使用合适的数据挖掘算法完成数据分析，具体分析方法包括但不限于概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析和偏差分析等；对分析结果进行医学解释，并反馈给医生，帮助医生判断被测试人员康复训练成效；将分析结果集成到实际康复训练过程中，并有计划地实施和控制。
步骤S5将存储的被测试人员长期评估数据通过基于稀疏回归的数据特征变量选择与判别分析对言语康复度量指标建模，采用网络分析的方式，检验各类指标之间的两两相关性及多指标间的协同关联性，区分指标之间的直接关联与间接关联，建立作用关系网络，构建康复评估模型，提供康复方案有效性和个体化康复建议。
综上，本实施例提供的多模式交互的言语语言功能障碍评估方法让被测试人员通过多模式的交互方式进行评估测试，系统根据被测试人员的输入，运用专业自动评估模型对被测试人员言语障碍类型、言语加工过程受损情况进行评估分析，解决了现有评估方法测试手段单一落后、缺少专业全面的客观评估算法的问题；本实施例提供的评估方法既可以根据采集到的数据对单个评估个体进行评估分析和统计分析，又可以对大量评估数据进行数据挖掘与分析，结合被测试人员具体的评估结果给出有针对性的康复训练，实现康复训练效果长期跟踪分析。
另外，本实施例提供的评估方法可以使病人在线完成评估，解决了偏远中小医院以及社区诊室无法进行专业言语语言功能障碍评估的难题。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (24)
1.一种多模式交互的言语语言功能障碍评估系统，其特征在于，包括：
用户登录模块，用于提供用户登录、注册、找回密码的入口；
被测试人员管理模块，用于管理被测试人员信息；
量表选择及测试模块，用于选择量表并根据所述量表进行多模式交互性测试，得到测试数据，所述量表选择及测试模块包括：
视功能模块，用于采集被测试人员视功能相关的数据；
听功能模块，用于采集所述被测试人员听功能相关的数据；
书写模块，用于采集所述被测试人员的书写数据；以及
绘图模块，用于采集所述被测试人员的绘图数据；以及
量表评估及结果生成模块，用于对所述测试数据进行客观评估、并结合主观评估生成评估结果。
2.如权利要求1所述的评估系统，其特征在于：所述视功能模块还用于令所述被测试人员在测试界面上进行图-字匹配、看图命名、看图说话、视觉音旁一致性辨识。
3.如权利要求1所述的评估系统，其特征在于：所述听功能模块还用于令所述被测试人员完成听-图匹配、听辨识匹配、听数字广度匹配、同音字辨识。
4.如权利要求1所述的评估系统，其特征在于：所述听功能模块还用于采集所述被测试人员的连续语音，包括但不限于呼吸、发声、共鸣、构音不同发音系统的病理语音。
5.如权利要求1所述的评估系统，其特征在于：所述听功能模块还用于令所述被测试人员进行单词复述、非词复述、句子复述、限定场景自发叙述。
6.如权利要求1所述的评估系统，其特征在于：所述绘图模块还用于令所述被测试人员按照要求绘制不同的图形或者完成连线任务，以及记录所述被测试人员在绘制过程中笔迹或手指的走势、快慢、停顿。
7.如权利要求1所述的评估系统，其特征在于：所述量表选择及测试模块进一步包括:
舌特征模块，用于采集反映舌运动特征的相关特征参数。
8.如权利要求1所述的评估系统，其特征在于：所述量表评估及结果生成模块还进一步包括：
第一评估模块，用于评估言语认知加工损害；以及
第二评估模块，用于评估语音输出功能障碍。
9.如权利要求8所述的评估系统，其特征在于：所述第一评估模块还用于：评估语料设计；评估言语输出准确度；评估言语运动计划；评估内容合理性；以及建立评估模型。
10.如权利要求8所述的评估系统，其特征在于：所述第二评估模块还用于：评估语料设计；多维声学分析；评估发音准确度；以及用于评估言语清晰度。
11.如权利要求10所述的评估系统，其特征在于：所述言语评估模块进一步用于收集、分析和处理正常人朗读发音数据，建立正常人发音声学模型；应用语音学分析技术，针对每个音素，提取反映区别性的元音和辅音声学特征参数，根据需要选择其中若干参数，建立病理评估模型；以及以言语病理学家的主观评估结果为映射目标，建立分类评估模型和打分算法，以评估被测试人员对给定字、词、句发音的准确程度。
12.如权利要求1所述的评估系统，其特征在于：进一步包括数据挖掘与分析模块，用于：确定评估数据挖掘的目标和评估标准；搜索所有与评估对象有关的内容和评估数据信息，完成数据的初步收集，形成原始数据，对所述原始数据进行抽样分析，列出数据属性；对所述原始数据进行审核与整理，针对各种类型的数据采取相应的数据预处理方法，以及根据所述数据挖掘的目标和数据的特征，选择合适的模型，进行数据转换；使用合适的数据挖掘算法完成数据分析；对分析结果进行医学解释，并反馈给医生，帮助医生判断被测试人员康复训练成效；以及，将分析结果集成到实际康复训练过程中，并有计划地实施和控制。
13.一种多模式交互的言语语言功能障碍评估方法，其特征在于，包括以下步骤：
步骤S1，提供用户登录、注册、找回密码的入口；
步骤S2，管理被测试人员信息；
步骤S3，选择量表并根据所述量表进行多模式交互性测试，得到测试数据，包括：
步骤S31，采集被测试人员视功能相关的数据；
步骤S32，采集所述被测试人员听功能相关的数据；
步骤S33，采集所述被测试人员的书写数据；以及
步骤S34，采集所述被测试人员的绘图数据；以及
步骤S4，对所述测试数据进行客观评估、并结合主观评估生成评估结果。
14.如权利要求13所述的评估方法，其特征在于：所述步骤S31包括：令所述被测试人员在测试界面上进行图-字匹配、看图命名、看图说话、视觉音旁一致性辨识。
15.如权利要求13所述的评估方法，其特征在于：所述步骤S32包括：令所述被测试人员完成听-图匹配、听辨识匹配、听数字广度匹配、同音字辨识。
16.如权利要求13所述的评估方法，其特征在于：所述步骤S32包括：采集所述被测试人员的连续语音，包括但不限于呼吸、发声、共鸣、构音不同发音系统的病理语音。
17.如权利要求13所述的评估方法，其特征在于：所述步骤S32包括：令所述被测试人员进行单词复述、非词复述、句子复述、限定场景自发叙述。
18.如权利要求13所述的评估方法，其特征在于：所述步骤S34包括：令所述被测试人员按照要求绘制不同的图形或者完成连线任务，以及记录所述被测试人员在绘制过程中笔迹或手指的走势、快慢、停顿。
19.如权利要求13所述的评估方法，其特征在于：步骤S3进一步包括:
步骤S35,采集反映舌运动特征的相关特征参数。
20.如权利要求13所述的评估方法，其特征在于：步骤S4进一步包括以下步骤：
第一评估步骤S41：言语认知加工损害自动评估；以及
第二评估步骤S42，语音输出功能障碍客观评估。
21.如权利要求20所述的评估方法，其特征在于：所述第一评估步骤S41包括以下步骤：
步骤S411，评估语料设计；
步骤S412，言语输出准确度客观评估；
步骤S413，言语运动计划客观评估；
步骤S414，内容合理性客观评估；以及
步骤S415，建立评估模型。
22.如权利要求20所述的评估方法，其特征在于：所述第二评估步骤S42包括以下步骤：
步骤S421，评估语料设计；
步骤S422，多维声学分析；
步骤S423，发音准确度评估；以及
步骤S424，言语清晰度评估。
23.如权利要求22所述的评估方法，其特征在于：步骤S424进一步包括以下步骤：
步骤S4241，收集、分析和处理正常人朗读发音数据，建立正常人发音声学模型；
步骤S4242，应用语音学分析技术，针对每个音素，提取反映区别性的元音和辅音声学特征参数，根据需要选择其中若干参数，建立病理评估模型；以及步骤S4243，以言语病理学家的主观评估结果为映射目标，建立分类评估模型和打分算法，以评估被测试人员对给定字、词、句发音的准确程度。
24.如权利要求13所述的评估方法，其特征在于：进一步包括步骤S5，数据挖掘与分析，包括：确定评估数据挖掘的目标和评估标准；搜索所有与评估对象有关的内容和评估数据信息，完成数据的初步收集，形成原始数据，对所述原始数据进行抽样分析，列出数据属性；对所述原始数据进行审核与整理，针对各种类型的数据采取相应的数据预处理方法，以及根据所述数据挖掘的目标和数据的特征，选择合适的模型，进行数据转换；使用合适的数据挖掘算法完成数据分析；对分析结果进行医学解释，并反馈给医生，帮助医生判断被测试人员康复训练成效；以及，将分析结果集成到实际康复训练过程中，并有计划地实施和控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610388275.6A CN107456208A (zh) | 2016-06-02 | 2016-06-02 | 多模式交互的言语语言功能障碍评估系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610388275.6A CN107456208A (zh) | 2016-06-02 | 2016-06-02 | 多模式交互的言语语言功能障碍评估系统与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107456208A true CN107456208A (zh) | 2017-12-12 |
Family
ID=60544811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610388275.6A Pending CN107456208A (zh) | 2016-06-02 | 2016-06-02 | 多模式交互的言语语言功能障碍评估系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107456208A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108113651A (zh) * | 2017-12-15 | 2018-06-05 | 汪洁 | 一种汉语失语症心理语言评价方法及评价系统 |
| CN108877891A (zh) * | 2018-09-05 | 2018-11-23 | 北京中医药大学东直门医院 | 便携式穴位刺激与人机交互语言康复训练仪及测试方法 |
| CN109166629A (zh) * | 2018-09-10 | 2019-01-08 | 深圳市科迈爱康科技有限公司 | 失语症评价与康复辅助的方法及系统 |
| CN109360645A (zh) * | 2018-08-01 | 2019-02-19 | 太原理工大学 | 一种构音障碍发音运动异常分布的统计分类方法 |
| CN110189826A (zh) * | 2019-05-16 | 2019-08-30 | 苏州好博医疗器械有限公司 | 一种基于交互式软件操作平台的量表评定系统及方法 |
| CN110827980A (zh) * | 2019-11-08 | 2020-02-21 | 广州科慧健远医疗科技有限公司 | 一种基于声学指标的构音障碍分级评估方法 |
| CN111028863A (zh) * | 2019-12-20 | 2020-04-17 | 广州科慧健远医疗科技有限公司 | 一种基于神经网络诊断卒中后构音障碍声调错误的方法及其诊断装置 |
| CN111276130A (zh) * | 2020-01-21 | 2020-06-12 | 河南优德医疗设备股份有限公司 | 计算机语言认识教育系统的mfcc倒谱系数计算方法 |
| CN111613330A (zh) * | 2020-05-15 | 2020-09-01 | 首都医科大学 | 基于谵妄意识模糊快速评估法的智能评估系统 |
| CN113425293A (zh) * | 2021-06-29 | 2021-09-24 | 上海交通大学医学院附属新华医院 | 一种听觉失认障碍评估系统及方法 |
| CN114664132A (zh) * | 2022-04-05 | 2022-06-24 | 苏州市立医院 | 语言康复训练装置及方法 |
| WO2023032553A1 (ja) * | 2021-09-02 | 2023-03-09 | パナソニックホールディングス株式会社 | 構音異常検出方法、構音異常検出装置、及びプログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006109268A1 (en) * | 2005-04-13 | 2006-10-19 | Koninklijke Philips Electronics N.V. | Automated speech disorder detection method and apparatus |
| CN102063903A (zh) * | 2010-09-25 | 2011-05-18 | 中国科学院深圳先进技术研究院 | 言语交互训练系统及方法 |
| CN103705218A (zh) * | 2013-12-20 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 构音障碍识别的方法、系统和装置 |
| CN103730130A (zh) * | 2013-12-20 | 2014-04-16 | 中国科学院深圳先进技术研究院 | 一种病理嗓音的检测方法和系统 |
| CN104252804A (zh) * | 2013-06-25 | 2014-12-31 | 常州市建本医疗康复器材有限公司 | 言语康复评定与训练系统 |
| US20160135735A1 (en) * | 2014-11-17 | 2016-05-19 | Elwha LLC, a limited liability company of the State of Delaware | Determining treatment compliance using speech patterns passively captured from a patient environment |
| CN105631188A (zh) * | 2015-12-18 | 2016-06-01 | 上海德滨康投资管理有限公司 | 神经重症康复诊疗系统 |
-
2016
- 2016-06-02 CN CN201610388275.6A patent/CN107456208A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006109268A1 (en) * | 2005-04-13 | 2006-10-19 | Koninklijke Philips Electronics N.V. | Automated speech disorder detection method and apparatus |
| CN102063903A (zh) * | 2010-09-25 | 2011-05-18 | 中国科学院深圳先进技术研究院 | 言语交互训练系统及方法 |
| CN104252804A (zh) * | 2013-06-25 | 2014-12-31 | 常州市建本医疗康复器材有限公司 | 言语康复评定与训练系统 |
| CN103705218A (zh) * | 2013-12-20 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 构音障碍识别的方法、系统和装置 |
| CN103730130A (zh) * | 2013-12-20 | 2014-04-16 | 中国科学院深圳先进技术研究院 | 一种病理嗓音的检测方法和系统 |
| US20160135735A1 (en) * | 2014-11-17 | 2016-05-19 | Elwha LLC, a limited liability company of the State of Delaware | Determining treatment compliance using speech patterns passively captured from a patient environment |
| CN105631188A (zh) * | 2015-12-18 | 2016-06-01 | 上海德滨康投资管理有限公司 | 神经重症康复诊疗系统 |
Non-Patent Citations (1)
| Title |
|---|
| 静进等: "《神经心理学》", 30 November 2015, 中国医药科技出版社 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108113651A (zh) * | 2017-12-15 | 2018-06-05 | 汪洁 | 一种汉语失语症心理语言评价方法及评价系统 |
| CN109360645B (zh) * | 2018-08-01 | 2021-06-11 | 太原理工大学 | 一种构音障碍发音运动异常分布的统计分类方法 |
| CN109360645A (zh) * | 2018-08-01 | 2019-02-19 | 太原理工大学 | 一种构音障碍发音运动异常分布的统计分类方法 |
| CN108877891A (zh) * | 2018-09-05 | 2018-11-23 | 北京中医药大学东直门医院 | 便携式穴位刺激与人机交互语言康复训练仪及测试方法 |
| CN109166629A (zh) * | 2018-09-10 | 2019-01-08 | 深圳市科迈爱康科技有限公司 | 失语症评价与康复辅助的方法及系统 |
| CN110189826A (zh) * | 2019-05-16 | 2019-08-30 | 苏州好博医疗器械有限公司 | 一种基于交互式软件操作平台的量表评定系统及方法 |
| CN110827980B (zh) * | 2019-11-08 | 2022-08-26 | 广州科慧健远医疗科技有限公司 | 一种基于声学指标的构音障碍分级评估方法 |
| CN110827980A (zh) * | 2019-11-08 | 2020-02-21 | 广州科慧健远医疗科技有限公司 | 一种基于声学指标的构音障碍分级评估方法 |
| CN111028863A (zh) * | 2019-12-20 | 2020-04-17 | 广州科慧健远医疗科技有限公司 | 一种基于神经网络诊断卒中后构音障碍声调错误的方法及其诊断装置 |
| CN111276130A (zh) * | 2020-01-21 | 2020-06-12 | 河南优德医疗设备股份有限公司 | 计算机语言认识教育系统的mfcc倒谱系数计算方法 |
| CN111613330A (zh) * | 2020-05-15 | 2020-09-01 | 首都医科大学 | 基于谵妄意识模糊快速评估法的智能评估系统 |
| CN111613330B (zh) * | 2020-05-15 | 2023-12-15 | 首都医科大学 | 基于谵妄意识模糊快速评估法的智能评估系统 |
| CN113425293A (zh) * | 2021-06-29 | 2021-09-24 | 上海交通大学医学院附属新华医院 | 一种听觉失认障碍评估系统及方法 |
| WO2023032553A1 (ja) * | 2021-09-02 | 2023-03-09 | パナソニックホールディングス株式会社 | 構音異常検出方法、構音異常検出装置、及びプログラム |
| CN114664132A (zh) * | 2022-04-05 | 2022-06-24 | 苏州市立医院 | 语言康复训练装置及方法 |
| CN114664132B (zh) * | 2022-04-05 | 2024-04-30 | 苏州市立医院 | 语言康复训练装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107456208A (zh) | 多模式交互的言语语言功能障碍评估系统与方法 | |
| JP6858316B2 (ja) | 認知機能リハビリテーション訓練方法および装置 | |
| Morales et al. | A cross-modal review of indicators for depression detection systems | |
| CN101201980B (zh) | 一种基于语音情感识别的远程汉语教学系统 | |
| US20150302866A1 (en) | Speech affect analyzing and training | |
| CN106073706B (zh) | 一种面向简易精神状态量表的个性化信息和音频数据分析方法及系统 | |
| Asci et al. | Machine-learning analysis of voice samples recorded through smartphones: the combined effect of ageing and gender | |
| CN106663383A (zh) | 分析受试者的方法和系统 | |
| Henríquez et al. | Nonlinear dynamics characterization of emotional speech | |
| CN109299865A (zh) | 基于语义分析的心理测评系统及方法、信息数据处理终端 | |
| Byun et al. | Deriving gradient measures of child speech from crowdsourced ratings | |
| Samareh et al. | Detect depression from communication: How computer vision, signal processing, and sentiment analysis join forces | |
| CN113035232B (zh) | 一种基于语音识别的心理状态预测系统、方法及装置 | |
| Zakariah et al. | [Retracted] An Analytical Study of Speech Pathology Detection Based on MFCC and Deep Neural Networks | |
| Gillespie et al. | Identification of affective state change in adults with aphasia using speech acoustics | |
| Atará-Piraquive et al. | Gender differences in vocal doses among occupational voice users: a systematic review of literature and meta-analysis | |
| Flores et al. | Depression screening using deep learning on follow-up questions in clinical interviews | |
| He | Stress and emotion recognition in natural speech in the work and family environments | |
| Qadri et al. | A critical insight into multi-languages speech emotion databases | |
| CN117666790A (zh) | 一种基于脑机接口技术的沉浸式口才表达训练系统 | |
| Diana et al. | T-pattern analysis and cognitive load manipulation to detect low-stake lies: an exploratory study | |
| Wang | Detecting pronunciation errors in spoken English tests based on multifeature fusion algorithm | |
| Mohr et al. | Formal methods of cultural analysis | |
| Cohen et al. | Validating biobehavioral technologies for use in clinical psychiatry | |
| Salimath et al. | Detecting levels of depression in text based on metrics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171212 |
|
| RJ01 | Rejection of invention patent application after publication |