CN108877841A - 一种评测语言状态的方法及装置 - Google Patents
一种评测语言状态的方法及装置 Download PDFInfo
- Publication number
- CN108877841A CN108877841A CN201810573229.2A CN201810573229A CN108877841A CN 108877841 A CN108877841 A CN 108877841A CN 201810573229 A CN201810573229 A CN 201810573229A CN 108877841 A CN108877841 A CN 108877841A
- Authority
- CN
- China
- Prior art keywords
- user
- language
- evaluation
- test
- scheme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000011156 evaluation Methods 0.000 claims abstract description 125
- 230000004044 response Effects 0.000 claims abstract description 11
- 230000003993 interaction Effects 0.000 claims description 47
- 230000005236 sound signal Effects 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 16
- 238000001228 spectrum Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 230000001755 vocal effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001465382 Physalis alkekengi Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008140 language development Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请提供了一种评测语言状态的方法及装置，其中，该方法包括：获取语言评测方案；基于所述语言评测方案，向用户输出引导指令，并采集用户响应引导指令所作出的响应行为；语言评测方案是根据用户基础信息确定的，所述用户基础信息包括以下的至少两个：年龄、性别、身高和体重；根据用户的响应行为，确定用户的评测结果；所述评测结果包括以下至少一个结果：能否说话、口语表达及理解是否障碍。本申请实施例通过生成语言评测方案，分析用户语言评测结果，以此判定儿童是否发育正常以及被检测人是否存在语言障碍。
Description
技术领域
本申请涉及用户行为数据处理技术领域，具体而言，涉及一种评测语言状态的方法及装置。
背景技术
语言是是人类最重要的交际工具，是人们进行沟通的主要表达方式，语音、语义发生异常或在语言发展上有迟缓或异常皆可算是一种语言障碍，所以，对于儿童的是否存在语言障碍的测试十分重要。
发明内容
有鉴于此，本申请的目的在于提供一种评测语言状态的方法和装置，以检查儿童是否发育正常以及被检测人是否存在语言障碍。
第一方面，本申请实施例提供了一种评测语言状态的方法，其中，包括获取语言评测方案；
基于所述语言评测方案，向用户输出引导指令，并采集用户响应引导指令所作出的响应行为；语言评测方案是根据用户基础信息确定的，所述用户基础信息包括以下的至少两个：年龄、性别、身高和体重；
根据用户的响应行为，确定用户的评测结果；所述评测结果包括以下至少一个结果：能否说话、口语表达与理解。
结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述语言评测方案包括评测语言场景方案和评测语言采集方案；
评测语言场景方案包括场景参与形式、场景主题和；所述场景参与形式包括陪同或独立参与；所述场景主题包括以下至少一个主题：语音语调检测、语义识别；
评测语言采集方案包括以下任意一个或多个：音频采集和传感器信号采集；
或，评测语言采集方案包括以下一个或多个：语音语调采集和语义采集。
结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，根据用户的响应行为，确定用户的评测结果包括：
通过音频采集设备生成用户行为音频；
根据用户行为音频中的音频信号频谱与参考音频信号频谱的相似度确定用户的语音语调变化情况；
所述参考音频信号是预先存储在处理器中的；
根据用户的语音语调变化情况确定用户的评测结果。
结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，根据用户的响应行为，确定用户的评测结果包括：
通过不同角度的音频采集设备获取用户的响应行为，以生成多个用户音频信号；
对采集到的用户音频信号提取音频信号频谱；
识别音频信号频谱的波峰位置；
获取各波峰位置对应的特征值和时间点，根据各特征值和时间点得到用户音频信号的第一时间序列；
对比第一时间序列与第二时间序列，根据对比结果得到用户音频信号与参考音频信号的相似度；所述第二时间序列为参考音频信号的时间序列；
根据音频信号相似度确定用户的语音语调变化情况；
根据用户的语音语调变化情况确定用户的评测结果。
本申请实施例提供了第一方面的第四种可能的实施方式，其中，
根据用户基础信息，确定相应的语言状态评测方案；用户基础信息包括年龄、身高、性别和体重；
所述语言状态评测方案还包括相应的评测语言场景方案，评测语言场景方案包括真实场景或虚拟场景、陪同或独立；
所述语言状态评测方案还包括相应的评测语言采集方案，评测语言采集方案包括采集柱；所述采集柱上包括多个声音采集设备、声音播放设备；
所述语言评测方案，包括在陪同或独立的场景内，测试用户听到声音后的跟读情况；
所述声音采集设备设置在场景内不同角度的位置，用于采集用户在听到声音后不同角度下的反馈的语言；
所述声音播放设备设置在场景内不同角度的位置，用于播放音频提示，以引导用户在场景内的行为；
语言评测方案包括：
语音语调语言检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的跟读情况；
声音播放设备,用于引导用户进行语言反馈；音频采集设备，用于采集用户在进行语言反馈后的语音语调。
确定最终评测结果，能否说话；
语义识别语言检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的跟读情况；
声音播放设备引导用户进行语言反馈；音频采集设备采集用户在进行语言反馈后的语义；
确定最终评测结果，口语表达及理解是否障碍。
第二方面，本申请实施例还提供了一种评测语言状态的装置，应用于如第一方面所述的方法，该装置包括：评测室主体和设置在评测室主体上的采集模块、提示模块、处理器和交互屏，处理器分别与采集模块、提示模块、交互屏电性连接；
所述采集模块用于采集评测室主体内的用户响应引导指令所作出的响应行为，并将采集到的响应行为发送到处理器；
所述提示模块用于向评测室主体内的用户发出引导指令；
所述处理器，用于按照如第一方面所述的方法执行相应的动作；
所述交互屏，用于人机交互。
结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述采集模块包括声音采集设备，和/或传感器采集设备；
所述提示模块包括声音播放设备，和/或文字指示设备；
所述声音采集设备包括话筒和录音机；
所述声音播放设备包括广播、音箱和扬声器；
所述文字指示设备包括提示板、文字标志；
所述传感器采集设备包括光敏传感器、声敏传感器、气敏传感器、化学传感器；
所述交互屏包括主交互屏和辅助交互屏，主交互屏用于根据系统提供的问题，与用户进行人机交互；辅助交互屏用于辅助人机交互。
结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第二种可能的实施方式，其中，所述评测室主体由设置在四个角落的采集柱支撑，以使评测室保持立体结构；
所述采集柱上设置有采集模块和提示模块；
所述采集柱上设置有导轨，采集模块和提示模块可沿导轨从评测室主体顶面板朝评测室底面板的方向滑动。
结合第二方面，本申请实施例提供了第二方面的第三种可能的实施方式，其中，所述评测室主体上还设置虚拟现实模块，所述虚拟现实模块用于构建用户在评测室内的数据交互。
结合第二方面，本申请实施例提供了第二方面的第四种可能的实施方式，其中，所述评测室四周由自动幕布围成，自动幕布可为卷轴或者平拉。
本申请实施例提供的一种评测语言状态的方法和装置，采用获取用户基础信息来构建语言评测方案，并引导用户做出响应，并采集用户的响应行为，进行分析得出用户的语言评测结果，即能否说话与跟读。与现有技术中的人工评测相比，其更适配于待评测用户，并可以根据用户个人情况生成用户个性化的语言评测方案，更易得出较为准确的评测结果。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种评测语言状态的方法的流程图；
图2示出了本申请实施例所提供的另一种评测语言状态的方法的流程图；
图3示出了本申请实施例所提供的一种评测语言状态的装置的结构示意图；
图4示出了本申请实施例所提供的一种评测语言状态的装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
针对语言的检查在现实中非常普遍，检查过程绝大多数以人工检查为主，得到的检测结果一般是直接基于即可得到的结果，并且很少以年龄、性别等基础信息对用户进行区分检测。针对该种情况，申请人提供了一种进行语言评测的方法。
如图1所示，本申请实施例提供一种评测语言状态的方法，包括：如下步骤S101-S103：
S101，获取语言评测方案；
S102，基于所述语言评测方案，向用户输出引导指令，并采集用户响应引导指令所作出的响应行为；语言评测方案是根据用户基础信息确定的，所述用户基础信息包括以下的至少两个：年龄、性别、身高和体重；
S103，根据用户的响应行为，确定用户的评测结果；所述评测结果包括以下至少一个结果：能否说话、口语表达及理解是否障碍。
其中，所述语言评测方案包括评测语言场景方案和评测语言采集方案；
评测语言场景方案包括场景参与形式、场景主题；所述场景参与形式包括陪同或独立参与；所述场景主题包括以下至少一个主题：语音语调检测、语义识别；
具体的，评测语言场景方案就是建立对语言测试的相应反应行为与场景的对应关系，包含建立对应行为与场景设定元素的对应关系，场景设定元素包含场景适应年龄段、场景参与者、场景主题、场景形式等的对应关系；包含建立对应行为与场景设定的对应关系，场景设定包含适应年龄段、人与人的设定、人与物的设定、行为与流程内容的对应关系。场景适应年龄段是根据用户输入的用户基础信息确定的，根据不同的年龄段确定不同的评测语言场景方案。场景参与形式包括陪同或独立参与。场景的参与者包括用户，以及用户的陪伴者，当用户是完全民事行为能人时，则可以独自参与语言评测；当用户是限制民事行为能力人或者无民事行为人时，需要在监护人的陪同下进入评测场景参与语言评测。场景主题包括以下至少一个主题：语音语调检测、语义识别。场景形式可以是真实或者虚拟，可以利用虚拟现实来实现用户的语言评测。
评测语言采集方案包括以下任意一个或多个：音频采集和传感器信号采集；
或，评测语言采集方案包括以下一个或多个：语音语调采集和语义采集。
本申请所提供的方法中，步骤S103包括如下步骤：
将用户的响应行为输入到评测模型中，以使模型输出评测结果；其中，模型用于表征如下两点：
1.从跟读情况的反应的角度来确定评测结果；
2.评测结果(能否说话、口语表达及理解是否障碍)与年龄及特定行为的对应关系。
当然，步骤S103还可以通过查表的方式来确定，并不必然采用输入到模型中的方式来实现。
本申请实施例还提供一种评测语言状态的方法中，根据用户的响应行为，确定用户的评测结果包括：
通过音频采集设备生成用户行为音频；
根据用户行为音频中的音频信号频谱与参考音频信号频谱的相似度确定用户的语音语调变化情况；
所述参考音频信号是预先存储在处理器中的；
根据用户的语音语调变化情况确定用户的评测结果。
具体地，针对用户在场景中的行为，建立对用户语音语调和语义等的采集方案。评测语言采集方案包括以下任意一个或多个：音频采集和传感器信号采集，或者评测语言采集方案包括以下一个或多个：语音语调采集和语义采集。进行传感器信号采集时，所使用到的传感器包括光敏传感器、声敏传感器、气敏传感器、化学传感器、压敏传感器、温敏传感器以及流体传感器等。
语音语调采集和语义的采集可以通过音频采集设备采集，同时也可以利用传感器来采集用户的各种语言反应。对于用户的语音语调进行以下的处理，将参考音频预先存储在处理器中，如用户听到音频后，进行跟读。根据用户跟读音频的情况确定用户的评测结果，根据用户的响应行为，确定用户的评测结果包括：通过音频采集设备生成用户语言音频，根据用户语言音频中的音频信号频谱与参考音频信号频谱的相似度确定用户的语音语调变化情况，参考音频信号是预先存储在处理器中的，根据用户的语音语调变化情况确定用户的评测结果。
本申请实施例还提供一种评测语言状态的方法中：
根据用户的响应行为，确定用户的评测结果包括：
通过不同角度的音频采集设备获取用户的响应行为，以生成多个用户音频信号；
对采集到的用户音频信号提取音频信号频谱；
识别音频信号频谱的波峰位置；
获取各波峰位置对应的特征值和时间点，根据各特征值和时间点得到用户音频信号的第一时间序列；
对比第一时间序列与第二时间序列，根据对比结果得到用户音频信号与参考音频信号的相似度；所述第二时间序列为参考音频信号的时间序列；其中，第二时间序列所对应的时间长度小于10秒。
根据音频信号相似度确定用户的语音语调变化情况；
根据用户的语音语调变化情况确定用户的评测结果。
具体的，通过不同角度的音频采集设备获取用户的响应行为，以生成多个用户音频信号，对采集到的用户音频信号提取音频信号频谱，识别音频信号频谱的波峰位置，获取各波峰位置对应的特征值和时间点，根据各特征值和时间点得到用户音频信号的第一时间序列，对比第一时间序列与第二时间序列，根据对比结果得到用户音频信号与参考音频信号的相似度；所述第二时间序列为参考音频信号的时间序列，其中，第二时间序列所对应的时间长度小于10秒，当在获取个波峰位置对应的时间点的时候，需要参照第二时间序列所对应的长度。根据音频信号相似度确定用户的语音语调变化情况，根据用户的语音语调变化情况确定用户的评测结果。
本申请实施例还提供一种评测语言状态的方法，包括：
根据用户基础信息，确定相应的语言状态评测方案；用户基础信息包括年龄、身高、性别和体重；
所述语言状态评测方案还包括相应的评测语言场景方案，评测语言场景方案包括真实场景或虚拟场景、陪同或独立；
所述语言状态评测方案还包括相应的评测语言采集方案，评测语言采集方案包括采集柱；所述采集柱上包括多个声音采集设备、声音播放设备；
所述语言评测方案，包括在陪同或独立的场景内，测试用户听到声音后的跟读情况；
所述声音采集设备设置在场景内不同角度的位置，用于采集用户在听到声音后不同角度下的反馈的语言；
所述声音播放设备设置在场景内不同角度的位置，用于播放音频提示，以引导用户在场景内的行为；
语言评测方案包括：
语音语调语言检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的跟读情况；
声音播放设备,用于引导用户进行语言反馈；音频采集设备，用于采集用户在进行语言反馈后的语音语调。
确定最终评测结果，能否说话；
语义识别语言检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的跟读情况；
声音播放设备引导用户进行语言反馈；音频采集设备采集用户在进行语言反馈后的语义；
确定最终评测结果，口语表达及理解是否障碍。具体的，语言评测方案包括：
语音语调语言检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的语言反应。
播放词组并指示其跟读时，无跟读，为不能说话；
播放词组并指示其跟读时，进行跟读，为能说话。
语义识别语言检测方案，包括：用户在陪同或独立的情况下，测试测试用户听到声音后的语言反应，音频采集设备采集用户在听到声音后，反馈的语言的语义。
播放语句并指示其跟读时，未跟读，为口语表达及理解障碍；
播放语句并指示其跟读时，进行跟读，为口语表达及理解正常。
举例说明，首先是采集用户基础信息，由用户录入初始信息，可以是被评测用户录入或者由其监护人录入。
例：采集被评测用户的基础信息
1)用户1：年龄：5岁10个月、性别：男性、身高：100CM，体重：22.5kg
需父母或监护人辅助录入基础信息；
1)用户2：年龄：6岁3个月、性别：女性、身高：105CM，体重：24.8kg
根据以上信息，输出评测方案：
用户1：在父母的陪同下，在播放词组和语句测试孩子在对播放的词组和语句的反馈；
用户2：在父母的陪同下，在播放词组和语句测试孩子在对播放的词组和语句的反馈；
2)评测场景
用户1：真实场景、陪同、父母；
用户2：真实场景、陪同、父母；
3)采集方案(匹配孩子身高、多角度采集)
用户1：1米的采集柱，含多个声音播放设备、声音采集设备；
用户2：1米的采集柱，含多个声音播放设备、声音采集设备；
采集柱是指集成了声音播放设备、采集声音的设备等的集成采集装置。
评测方根据方案配置场景、内容、流程。
用户1：划分评测区、安装调试采集设备；
用户2：划分评测区、安装调试采集设备；
被评估用户进入构建的场景，被评估用户按流程去完成指定特定行为的流程和内容。
采集系统采集用户在场景中的语音语调、人机交互结果、表情等数据，采集系统上传采集的数据到服务端数据分析平台。
用户1：采集用户在听到词组和语句后的反馈；
用户2：采集用户在听到词组和语句后的反馈。
服务端数据分析平台分析用户的各类行为数据，并给各类数据结果进行赋值，赋值结果主要为能说话/不能说话、能跟读/不能跟读。
用户1：播放词组并指示其跟读时，进行跟读；-能说话；
播放词组并指示其跟读时，无跟读；-不能说话；
播放语句并指示其跟读时，进行跟读；-口语表达及理解正常；
播放语句指示其跟读时，无跟读；-口语表达及理解障碍；
用户2：播放词组并指示其跟读时，进行跟读；-能说话；
播放词组并指示其跟读时，无跟读；-不能说话；
播放语句并指示其跟读时，进行跟读；-口语表达及理解正常；
播放语句指示其跟读时，无跟读；-口语表达及理解障碍；
例如：
用户1：播放词组时，能够跟读、播放语句时，口语表达及理解障碍；
用户2：播放词组时，能够跟读、播放语句时，口语表达及理解正常；
儿童作为被评测用户，语言评测的方案举例如下：
如图2所示，本申请实施例还提供一种评测语言状态的装置，应用于上述所有方法实施例。该装置包括：
评测室主体和设置在评测室主体上的采集模块201、提示模块202和处理器203，处理器分别与采集模块201、提示模块202电性连接；
所述采集模块201用于采集评测室主体内的用户响应引导指令所作出的响应行为，并将采集到的响应行为发送到处理器；
所述提示模块202用于向评测室主体内的用户发出引导指令；
所述处理器203，用于按照如权利要求1-5任一项所述的方法执行相应的动作。
评测室是一个立体的结构，四周由采集柱作为支撑柱使评测室保持立体结构，评测室四周可以由幕布围成，幕布可以是平拉或者为卷轴的形式。
如图3所示，本申请实施例还提供一种评测语言状态的装置，包括：
所述采集模块包括声音采集设备，和/或传感器采集设备；
所述提示模块包括声音播放设备，和/或文字指示设备；
所述声音采集设备包括话筒和录音机；
所述声音播放设备包括广播、音箱和扬声器；
所述文字指示设备包括提示板、文字标志；
所述传感器采集设备包括光敏传感器、声敏传感器、气敏传感器、化学传感器；
所述交互屏包括主交互屏和辅助交互屏，主交互屏用于根据系统提供的问题，与用户进行人机交互；辅助交互屏用于辅助人机交互。
采集模块、提示模块和处理器设置在评测室主体30内，处理器311也可以设置在评测室主体30外。采集模块、提示模块分别和处理器311电性相连。采集模块将在评测室主体内采集到的用户响应行为上传到处理器311，由处理器311进行分析处理。采集模块包括声音采集设备、和传感器采集设备，声音采集设备包括话筒和录音机，录像机和图像传感器等。提示模块设置在评测室主体30内，以发出引导指令引导评测用户按照指令行为。提示模块包括声音播放设备和文字指示设备等。声音播放设备包括广播、音箱和扬声器307，文字指示设备包括提示板、文字标志，交互屏包括主交互屏306和辅助交互屏310，主交互屏306用于根据系统提供的问题，与用户进行人机交互，辅助交互屏310用于辅助人机交互。
本申请实施例还提供一种评测语言状态的装置，包括：
所述评测室主体由设置在四个角落的采集柱支撑，以使评测室保持立体结构；
所述采集柱上设置有采集模块和提示模块；
所述采集柱上设置有导轨，采集模块和提示模块可沿导轨从评测室主体顶面板朝评测室底面板的方向滑动。
评测室内部设置有采集柱301，采集模块和提示模块可以设置在采集柱301上，采集柱301上设置有导轨，导轨沿整个采集柱平行布置，以使采集模块和提示模块可以沿着导轨从评测室顶面板向底面板的方向上下滑动，导轨可以是多条，以安装不同角度的采集模块和提示模块。评测室顶面板上安装灯具303，营造构建交互环境光效，也可以安装身高采集设备304，如超声波身高测量组件等。评测室的底面板上安装有人体信号采集设备307，包括体重采集设备，人体成分测量组件等，同时也设置有电源，以使整个评测室保持正常运行。评测室的前面板上设置有主交互屏305，以及扬声器306，交互屏305和扬声器306也可以安装在其他面板上，辅助交互屏309主要是为主交互屏305提供辅助作用，所以辅助交互屏309的安装位置可以在主交互屏305周围的任何面板上，另外，评测室主体30内还设置有电源308。
另外，本申请实施例还提供一种评测语言状态的装置，其中评测室内还设置虚拟现实模块，包括：
所述虚拟现实模块用于构建用户在评测室内的数据交互。
虚拟现实模块可以采集评测室内交互数据，如评测室内的用户的头、眼以及手的动作采集，还比如，用户发出的声音的采集。
如图4所示，本申请实施例还提供一种评测语言状态的装置，其中，所述评测室四周由自动幕布围成，包括：
自动幕布可为卷轴或者平拉。
图4为评测室主题的平面结果图，其中顶面板上设置有灯具405和身高采集设备404，前面板上设置有主交互屏407、扬声器408，底面板上设置有人体信号采集设备409和电源410，右面板上设置有辅助交互屏402和处理器403，采集柱401、410、411、412同时作为评测室主体的支撑柱。每两个支撑柱之间设置有幕布406、413、414、415。此处，幕布采用白塑幕,当用户进入评测室时，根据其所要测试的项目，播放一些具有引导性的示例视频，还可以播放一些儿童感兴趣的画面，使儿童更快的适应其所处的环境。
本申请实施例所提供的一种语言评测的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种评测语言状态的方法，其特征在于，包括：
获取语言评测方案；
基于所述语言评测方案，向用户输出引导指令，并采集用户响应引导指令所作出的响应行为；语言评测方案是根据用户基础信息确定的，所述用户基础信息包括以下的至少两个：年龄、性别、身高和体重；
根据用户的响应行为，确定用户的评测结果；所述评测结果包括以下至少一个结果：能否说话、口语表达及理解是否障碍。
2.根据权利要求1所述的一种评测语言状态的方法，其特征在于：
所述语言评测方案包括评测语言场景方案和评测语言采集方案；
评测语言场景方案包括场景参与形式、场景主题；所述场景参与形式包括陪同或独立参与；所述场景主题包括以下至少一个主题：语音语调检测、语义识别；
评测语言采集方案包括以下任意一个或多个：音频采集和传感器信号采集；
或，评测语言采集方案包括以下一个或多个：语音语调采集和语义采集。
3.根据权利要求1所述的一种评测语言状态的方法，其特征在于：
根据用户的响应行为，确定用户的评测结果包括：
通过音频采集设备生成用户行为音频；
根据用户行为音频中的音频信号频谱与参考音频信号频谱的相似度确定用户的语音语调变化情况；
所述参考音频信号是预先存储在处理器中的；
根据用户的语音语调变化情况确定用户的评测结果。
4.根据权利要求1所述的一种评测语言状态的方法，其特征在于：
根据用户的响应行为，确定用户的评测结果包括：
通过不同角度的音频采集设备获取用户的响应行为，以生成多个用户音频信号；
对采集到的用户音频信号提取音频信号频谱；
识别音频信号频谱的波峰位置；
获取各波峰位置对应的特征值和时间点，根据各特征值和时间点得到用户音频信号的第一时间序列；
对比第一时间序列与第二时间序列，根据对比结果得到用户音频信号与参考音频信号的音频信号相似度；所述第二时间序列为参考音频信号的时间序列；
根据音频信号相似度确定用户的语音语调变化情况；
根据用户的语音语调变化情况确定用户的评测结果。
5.根据权利要求3所述的一种评测语言状态的方法，其特征在于：
根据用户基础信息，确定相应的语言状态评测方案；用户基础信息包括年龄、身高、性别和体重；
所述语言状态评测方案还包括相应的评测语言场景方案，评测语言场景方案包括真实场景或虚拟场景、陪同或独立；
所述语言状态评测方案还包括相应的评测语言采集方案，评测语言采集方案包括采集柱；所述采集柱上包括多个声音采集设备、声音播放设备；
所述语言评测方案，包括在陪同或独立的场景内，测试用户听到声音后的跟读情况；
所述声音采集设备设置在场景内不同角度的位置，用于采集用户在听到声音后不同角度下的反馈的语言；
所述声音播放设备设置在场景内不同角度的位置，用于播放音频提示，以引导用户在场景内的行为；
语言评测方案包括：
语音语调语言检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的跟读情况；
声音播放设备,用于引导用户进行语言反馈；音频采集设备，用于采集用户在进行语言反馈后的语音语调。
确定最终评测结果，能否说话；
语义识别语言检测方案，包括：用户在陪同或独立的情况下，测试用户听到声音后的跟读情况；
声音播放设备引导用户进行语言反馈；音频采集设备采集用户在进行语言反馈后的语义；
确定最终评测结果，口语表达及理解是否障碍。
6.一种评测语言状态的装置，应用于如权利要求1-5任一项所述的方法，其特征在于，该装置包括：评测室主体和设置在评测室主体上的采集模块、提示模块、处理器和交互屏，处理器分别与采集模块、提示模块、交互屏电性连接；
所述采集模块用于采集评测室主体内的用户响应引导指令所作出的响应行为，并将采集到的响应行为发送到处理器；
所述提示模块用于向评测室主体内的用户发出引导指令；
所述处理器，用于按照如第一方面所述的方法执行相应的动作；
所述交互屏，用于人机交互。
7.根据权利要求6所述的一种评测语言状态的装置，其特征在于：
所述采集模块包括声音采集设备，和/或传感器采集设备；
所述提示模块包括声音播放设备，和/或文字指示设备；
所述声音采集设备包括话筒和录音机；
所述声音播放设备包括广播、音箱和扬声器；
所述文字指示设备包括提示板、文字标志；
所述传感器采集设备包括光敏传感器、声敏传感器、气敏传感器、化学传感器；
所述交互屏包括主交互屏和辅助交互屏，主交互屏用于根据系统提供的问题，与用户进行人机交互；辅助交互屏用于辅助人机交互。
8.根据权利要求6所述的一种评测语言状态的装置，其特征在于：
所述评测室主体由设置在四个角落的采集柱支撑，以使评测室保持立体结构；
所述采集柱上设置有采集模块和提示模块；
所述采集柱上设置有导轨，采集模块和提示模块可沿导轨从评测室主体顶面板朝评测室底面板的方向滑动。
9.根据权利要求6所述的一种评测语言状态的装置，其特征在于：
所述评测室主体上还设置虚拟现实模块，所述虚拟现实模块用于构建用户在评测室内的数据交互。
10.根据权利要求6所述的一种评测语言状态的装置，其特征在于：
所述评测室四周由自动幕布围成，自动幕布可为卷轴或者平拉。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810573229.2A CN108877841A (zh) | 2018-06-06 | 2018-06-06 | 一种评测语言状态的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810573229.2A CN108877841A (zh) | 2018-06-06 | 2018-06-06 | 一种评测语言状态的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108877841A true CN108877841A (zh) | 2018-11-23 |
Family
ID=64337106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810573229.2A Pending CN108877841A (zh) | 2018-06-06 | 2018-06-06 | 一种评测语言状态的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108877841A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020141374A1 (en) * | 2019-01-04 | 2020-07-09 | International Business Machines Corporation | Natural language processor for using speech to cognitively detect and analyze deviations from a baseline |
| CN111739527A (zh) * | 2020-06-01 | 2020-10-02 | 广东小天才科技有限公司 | 语音识别方法及电子设备、计算机可读存储介质 |
| CN111863022A (zh) * | 2020-07-23 | 2020-10-30 | 中国科学技术大学 | 一种基于异型双麦克风阵列的儿童声音特征检测方法 |
| CN112617755A (zh) * | 2020-12-28 | 2021-04-09 | 深圳市艾利特医疗科技有限公司 | 言语功能障碍检测方法、装置、设备、存储介质及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063903A (zh) * | 2010-09-25 | 2011-05-18 | 中国科学院深圳先进技术研究院 | 言语交互训练系统及方法 |
| CN104810017A (zh) * | 2015-04-08 | 2015-07-29 | 广东外语外贸大学 | 基于语义分析的口语评测方法和系统 |
| CN104810025A (zh) * | 2015-03-31 | 2015-07-29 | 天翼爱音乐文化科技有限公司 | 音频相似度检测方法及装置 |
-
2018
- 2018-06-06 CN CN201810573229.2A patent/CN108877841A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063903A (zh) * | 2010-09-25 | 2011-05-18 | 中国科学院深圳先进技术研究院 | 言语交互训练系统及方法 |
| CN104810025A (zh) * | 2015-03-31 | 2015-07-29 | 天翼爱音乐文化科技有限公司 | 音频相似度检测方法及装置 |
| CN104810017A (zh) * | 2015-04-08 | 2015-07-29 | 广东外语外贸大学 | 基于语义分析的口语评测方法和系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020141374A1 (en) * | 2019-01-04 | 2020-07-09 | International Business Machines Corporation | Natural language processor for using speech to cognitively detect and analyze deviations from a baseline |
| US11133026B2 (en) | 2019-01-04 | 2021-09-28 | International Business Machines Corporation | Natural language processor for using speech to cognitively detect and analyze deviations from a baseline |
| CN111739527A (zh) * | 2020-06-01 | 2020-10-02 | 广东小天才科技有限公司 | 语音识别方法及电子设备、计算机可读存储介质 |
| CN111863022A (zh) * | 2020-07-23 | 2020-10-30 | 中国科学技术大学 | 一种基于异型双麦克风阵列的儿童声音特征检测方法 |
| CN111863022B (zh) * | 2020-07-23 | 2022-09-30 | 中国科学技术大学 | 一种基于异型双麦克风阵列的儿童声音特征检测方法 |
| CN112617755A (zh) * | 2020-12-28 | 2021-04-09 | 深圳市艾利特医疗科技有限公司 | 言语功能障碍检测方法、装置、设备、存储介质及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Canault et al. | Reliability of the language environment analysis system (LENA™) in European French | |
| CN108877841A (zh) | 一种评测语言状态的方法及装置 | |
| CN105792752B (zh) | 用于诊断和治疗语言相关障碍的计算技术 | |
| CN106548772A (zh) | 语音识别测试系统及方法 | |
| US20130158977A1 (en) | System and Method for Evaluating Speech Exposure | |
| EP2269182A2 (en) | Methods and devices for language skill development | |
| Dilley et al. | Individual differences in mothers' spontaneous infant-directed speech predict language attainment in children with cochlear implants | |
| Schuppler et al. | GRASS: the Graz corpus of Read And Spontaneous Speech. | |
| Tang et al. | The acquisition of phonological alternations: The case of the Mandarin tone sandhi process | |
| CN108937970A (zh) | 一种评测情感状态的方法及装置 | |
| Reynolds et al. | Synthetic speech comprehension: A comparison of children with normal and impaired language skills | |
| Patel et al. | Identifying prosodic contrasts in utterances produced by 4-, 7-, and 11-year-old children | |
| Gould et al. | The cognitive chronometric architecture of reading aloud: semantic and lexical effects on naming onset and duration | |
| CN108937971A (zh) | 一种评测注意力状态的方法及装置 | |
| CN108764204A (zh) | 一种评测知觉状态的方法及装置 | |
| CN108877836A (zh) | 一种评测言语状态的方法及装置 | |
| CN108937861A (zh) | 一种评测睡眠状态的方法及装置 | |
| Palo et al. | Effect of phonetic onset on acoustic and articulatory speech reaction times studied with tongue ultrasound | |
| CN108777171A (zh) | 一种评测感觉状态的方法及装置 | |
| Skantze | A testbed for examining the timing of feedback using a map task | |
| CN108777165A (zh) | 一种评测社交状态的方法及装置 | |
| Tao et al. | CUEMPATHY: A counseling speech dataset for psychotherapy research | |
| Van der Stelt et al. | Exploring the acoustic vowel space in two-year-old children: Results for Dutch and Hungarian | |
| CN108764364A (zh) | 一种评测应激反应状态的方法及装置 | |
| CN108766564A (zh) | 一种评测思维状态的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |