CN108742602A - 一种基于脑电波的结巴检测方法 - Google Patents

一种基于脑电波的结巴检测方法 Download PDF

Info

Publication number
CN108742602A
CN108742602A CN201810254915.3A CN201810254915A CN108742602A CN 108742602 A CN108742602 A CN 108742602A CN 201810254915 A CN201810254915 A CN 201810254915A CN 108742602 A CN108742602 A CN 108742602A
Authority
CN
China
Prior art keywords
stammerer
brain wave
signal
audio
fluency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810254915.3A
Other languages
English (en)
Inventor
蒋阳波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schoolpal Online Hangzhou Technology Co ltd
Original Assignee
Schoolpal Online Hangzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Schoolpal Online Hangzhou Technology Co ltd filed Critical Schoolpal Online Hangzhou Technology Co ltd
Priority to CN201810254915.3A priority Critical patent/CN108742602A/zh
Publication of CN108742602A publication Critical patent/CN108742602A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Power Engineering (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于脑电波的结巴检测方法。它包括训练阶段和评测阶段，所述的训练阶段指的是：运用脑电波信号，利用深度学习技术来训练音频流利度、重复性的特征提取模型，根据特征提取模型提取特征，最终训练得到结巴评测模型；所述的评测阶段指的是：脑电波传感器获取脑电波信号，提取音频流利度、重复性的特征，利用结巴评测模型对音频进行结巴检测。本发明的有益效果是：运行脑电波检测、信号处理技术和机器学习方法，实现了对测试者的语音进行准确、自动的结巴评测。

Description

一种基于脑电波的结巴检测方法
技术领域
本发明涉及机器学习相关技术领域，尤其是指一种基于脑电波的结巴检测方法。
背景技术
结巴是一种言语障碍，表现在言语上的反复犹豫或停顿和某些语音的拖长。结巴给人们造成很大的困扰，对生活、工作、学习造成不利的影响，及时的发现结巴和对结巴的治疗，可以很大的改善结巴。对结巴的检测，当前主要靠医生的检测。自动的结巴检测对于结巴的及时发现和治疗尤其重要。随着现代科学技术的发展，脑电波技术的发展进入快车道，在新的领域应用越来越多。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种能够自动评测结巴的基于脑电波的结巴检测方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于脑电波的结巴检测方法，包括训练阶段和评测阶段，所述的训练阶段指的是：运用脑电波信号，利用深度学习技术来训练音频流利度、重复性的特征提取模型，根据特征提取模型提取特征，最终训练得到结巴评测模型；所述的评测阶段指的是：脑电波传感器获取脑电波信号，提取音频流利度、重复性的特征，利用结巴评测模型对音频进行结巴检测。
本发明提出了结巴自动评测方法，通过采集使用者的脑电波信号，通过深度学习算法提取有关说话的流利度、重复性的特征，在结巴评测模型上进行打分，得到最终的结巴评测得分。本发明运行脑电波检测、信号处理技术和机器学习方法，实现了对测试者的语音进行准确、自动的结巴评测。
作为优选，所述的训练阶段步骤如下：
(1)数据收集和标注，建立脑电波信号语料、结巴语料库及标注文件；脑电波传感器检测人脑，每次将采集得到脑电波原始信号转换为脑电波数字信号；同时录制音频文件，人工对音频文件进行听音，对对应脑电波信号文件标注相应音频流利度、重复性的人工打分文件；设定音频流利度分为五个等级，音频重复性分为五个等级，其中五个等级分别对应的数值为0、1、2、3、4；
(2)利用信号处理算法处理脑电波数字信号，得到频谱信号；具体流程如下：将脑电波数字信号进行分段处理，对每一段信号利用快速傅里叶变换得到频域信号，对频域信号提取功率谱，最后对功率谱进行Log变换，得到Log功率谱，即频谱信号；
(3)运用频谱信号及步骤(1)标注的包含音频流利度、重复性的人工打分文本，利用深度学习模型训练音频流利度、重复性的特征模型，同时利用深度学习模型对频谱信号提取特征；
(4)利用训练得到的特征模型对脑电波数字信号提取有关结巴的音频流利度、重复性的特征得分，并根据线性回归算法训练最终的结巴评测模型。
作为优选，在步骤(2)中，分段处理方式具体为：每段长度为1s，每段处理完毕，向后移动0.5s，相邻两段之间会有0.5s重叠，重复处理，直到处理完毕；快速傅里叶变换是离散傅里叶变换的快速算法。
作为优选，在步骤(3)中，所述的深度学习模型包括深度神经网络、卷积神经网络和循环神经网络；深度学习是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法，提取的特征包括音频流利度、重复性，这些特征是深度学习算法自动学习得到，之后对脑电波信号相应的时间片段上进行标注即可。
作为优选，在步骤(4)中，设定音频流利度分为五个等级，音频重复性分为五个等级，其中五个等级分别对应的数值为0、1、2、3、4，线性回归算法公式如下：Y＝AX+b，该公式是向量形式，其中，Y是最终得分，A和b是口语打分模型参数，A是矢量，b是标量，X是提取的特征向量。
作为优选，所述的评测阶段步骤如下：
(a)脑电波传感器检测人脑，每次将采集得到脑电波原始信号转换为脑电波数字信号；
(b)利用信号处理算法处理脑电波数字信号，得到频谱信号，将脑电波数字信号进行分段处理，对每一段信号利用快速傅里叶变换得到频域信号，对频域信号提取功率谱，最后对功率谱进行Log变换；
(c)根据训练得到的深度学习模型，对频谱信号提取音频流利度、重复性的特征；
(d)利用训练得到的结巴评测模型，并根据提取的特征对音频进行结巴评测。
作为优选，在步骤(b)中，分段处理方式具体为：每段长度为1s，每段处理完毕，向后移动0.5s，相邻两段之间会有0.5s重叠，重复处理，直到处理完毕；快速傅里叶变换是离散傅里叶变换的快速算法。
本发明的有益效果是：运行脑电波检测、信号处理技术和机器学习方法，实现了对测试者的语音进行准确、自动的结巴评测。
具体实施方式
下面结合具体实施方式对本发明做进一步的描述。
一种基于脑电波的结巴检测方法，包括训练阶段和评测阶段，所述的训练阶段指的是：运用脑电波信号，利用深度学习技术来训练音频流利度、重复性的特征提取模型，根据特征提取模型提取特征，最终训练得到结巴评测模型；所述的评测阶段指的是：脑电波传感器获取脑电波信号，提取音频流利度、重复性的特征，利用结巴评测模型对音频进行结巴检测。
其中：训练阶段步骤如下：
(1)数据收集和标注，建立脑电波信号语料、结巴语料库及标注文件；脑电波传感器检测人脑，每次将采集得到脑电波原始信号转换为脑电波数字信号；同时录制音频文件，人工对音频文件进行听音，对对应脑电波信号文件标注相应音频流利度、重复性的人工打分文件；设定音频流利度分为五个等级，音频重复性分为五个等级，其中五个等级分别对应的数值为0、1、2、3、4；
(2)利用信号处理算法处理脑电波数字信号，得到频谱信号；具体流程如下：将脑电波数字信号进行分段处理，对每一段信号利用快速傅里叶变换得到频域信号，对频域信号提取功率谱，最后对功率谱进行Log变换，得到Log功率谱，即频谱信号；分段处理方式具体为：每段长度为1s，每段处理完毕，向后移动0.5s，相邻两段之间会有0.5s重叠，重复处理，直到处理完毕；快速傅里叶变换是离散傅里叶变换的快速算法；
(3)运用频谱信号及步骤(1)标注的包含音频流利度、重复性的人工打分文本，利用深度学习模型训练音频流利度、重复性的特征模型，同时利用深度学习模型对频谱信号提取特征；深度学习模型包括深度神经网络、卷积神经网络和循环神经网络；深度学习是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法，提取的特征包括音频流利度、重复性，这些特征是深度学习算法自动学习得到，之后对脑电波信号相应的时间片段上进行标注即可；
(4)利用训练得到的特征模型对脑电波数字信号提取有关结巴的音频流利度、重复性的特征得分，并根据线性回归算法训练最终的结巴评测模型；其中：设定音频流利度分为五个等级，音频重复性分为五个等级，其中五个等级分别对应的数值为0、1、2、3、4，线性回归算法公式如下：Y＝AX+b，该公式是向量形式，其中，Y是最终得分，A和b是口语打分模型参数，A是矢量，b是标量，X是提取的特征向量。
评测阶段步骤如下：
(a)脑电波传感器检测人脑，每次将采集得到脑电波原始信号转换为脑电波数字信号；
(b)利用信号处理算法处理脑电波数字信号，得到频谱信号，将脑电波数字信号进行分段处理，对每一段信号利用快速傅里叶变换得到频域信号，对频域信号提取功率谱，最后对功率谱进行Log变换；分段处理方式具体为：每段长度为1s，每段处理完毕，向后移动0.5s，相邻两段之间会有0.5s重叠，重复处理，直到处理完毕；快速傅里叶变换是离散傅里叶变换的快速算法；
(c)根据训练得到的深度学习模型，对频谱信号提取音频流利度、重复性的特征；
(d)利用训练得到的结巴评测模型，并根据提取的特征对音频进行结巴评测。
本发明提出了结巴自动评测方法，通过采集使用者的脑电波信号，通过深度学习算法提取有关说话的流利度、重复性的特征，在结巴评测模型上进行打分，得到最终的结巴评测得分。本发明运行脑电波检测、信号处理技术和机器学习方法，实现了对测试者的语音进行准确、自动的结巴评测。

Claims (7)

1.一种基于脑电波的结巴检测方法，其特征是，包括训练阶段和评测阶段，所述的训练阶段指的是：运用脑电波信号，利用深度学习技术来训练音频流利度、重复性的特征提取模型，根据特征提取模型提取特征，最终训练得到结巴评测模型；所述的评测阶段指的是：脑电波传感器获取脑电波信号，提取音频流利度、重复性的特征，利用结巴评测模型对音频进行结巴检测。
2.根据权利要求1所述的一种基于脑电波的结巴检测方法，其特征是，所述的训练阶段步骤如下：
(1)数据收集和标注，建立脑电波信号语料、结巴语料库及标注文件；脑电波传感器检测人脑，每次将采集得到脑电波原始信号转换为脑电波数字信号；同时录制音频文件，人工对音频文件进行听音，对对应脑电波信号文件标注相应音频流利度、重复性的人工打分文件；设定音频流利度分为五个等级，音频重复性分为五个等级，其中五个等级分别对应的数值为0、1、2、3、4；
(2)利用信号处理算法处理脑电波数字信号，得到频谱信号；具体流程如下：将脑电波数字信号进行分段处理，对每一段信号利用快速傅里叶变换得到频域信号，对频域信号提取功率谱，最后对功率谱进行Log变换，得到Log功率谱，即频谱信号；
(3)运用频谱信号及步骤(1)标注的包含音频流利度、重复性的人工打分文本，利用深度学习模型训练音频流利度、重复性的特征模型，同时利用深度学习模型对频谱信号提取特征；
(4)利用训练得到的特征模型对脑电波数字信号提取有关结巴的音频流利度、重复性的特征得分，并根据线性回归算法训练最终的结巴评测模型。
3.根据权利要求2所述的一种基于脑电波的结巴检测方法，其特征是，在步骤(2)中，分段处理方式具体为：每段长度为1s，每段处理完毕，向后移动0.5s，相邻两段之间会有0.5s重叠，重复处理，直到处理完毕；快速傅里叶变换是离散傅里叶变换的快速算法。
4.根据权利要求2所述的一种基于脑电波的结巴检测方法，其特征是，在步骤(3)中，所述的深度学习模型包括深度神经网络、卷积神经网络和循环神经网络；深度学习是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法，提取的特征包括音频流利度、重复性，这些特征是深度学习算法自动学习得到，之后对脑电波信号相应的时间片段上进行标注即可。
5.根据权利要求2所述的一种基于脑电波的结巴检测方法，其特征是，在步骤(4)中，设定音频流利度分为五个等级，音频重复性分为五个等级，其中五个等级分别对应的数值为0、1、2、3、4，线性回归算法公式如下：Y＝AX+b，该公式是向量形式，其中，Y是最终得分，A和b是口语打分模型参数，A是矢量，b是标量，X是提取的特征向量。
6.根据权利要求2或3或4或5所述的一种基于脑电波的结巴检测方法，其特征是，所述的评测阶段步骤如下：
(a)脑电波传感器检测人脑，每次将采集得到脑电波原始信号转换为脑电波数字信号；
(b)利用信号处理算法处理脑电波数字信号，得到频谱信号，将脑电波数字信号进行分段处理，对每一段信号利用快速傅里叶变换得到频域信号，对频域信号提取功率谱，最后对功率谱进行Log变换；
(c)根据训练得到的深度学习模型，对频谱信号提取音频流利度、重复性的特征；
(d)利用训练得到的结巴评测模型，并根据提取的特征对音频进行结巴评测。
7.根据权利要求6所述的一种基于脑电波的结巴检测方法，其特征是，在步骤(b)中，分段处理方式具体为：每段长度为1s，每段处理完毕，向后移动0.5s，相邻两段之间会有0.5s重叠，重复处理，直到处理完毕；快速傅里叶变换是离散傅里叶变换的快速算法。
CN201810254915.3A 2018-03-26 2018-03-26 一种基于脑电波的结巴检测方法 Pending CN108742602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810254915.3A CN108742602A (zh) 2018-03-26 2018-03-26 一种基于脑电波的结巴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810254915.3A CN108742602A (zh) 2018-03-26 2018-03-26 一种基于脑电波的结巴检测方法

Publications (1)

Publication Number Publication Date
CN108742602A true CN108742602A (zh) 2018-11-06

Family

ID=63980276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810254915.3A Pending CN108742602A (zh) 2018-03-26 2018-03-26 一种基于脑电波的结巴检测方法

Country Status (1)

Country Link
CN (1) CN108742602A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2310377C1 (ru) * 2006-02-13 2007-11-20 Государственное учреждение "Санкт-Петербургский научно-исследовательский психоневрологический институт им. В.М. Бехтерева (НИПИ им. В.М. Бехтерева") Способ прогнозирования тяжести течения ювенильной миоклонической эпилепсии у детей
CN101740024A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 基于广义流利的口语流利度自动评估方法
CN101739868A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 一种用于口语测试的文本朗读水平自动评估诊断方法
ES2391054A1 (es) * 2010-12-08 2012-11-21 Manuel Augusto PRADO VELASCO Dispositivo adaptativo y multimodal de realimentación auditiva alterada para la tartamudez basado en un avatar neurofisiológico
WO2014066855A1 (en) * 2012-10-26 2014-05-01 The Regents Of The University Of California Methods of decoding speech from brain activity data and devices for practicing the same
CN103890838A (zh) * 2011-06-10 2014-06-25 X-系统有限公司 用于分析声音的方法和系统
CN104586387A (zh) * 2015-01-19 2015-05-06 秦皇岛市惠斯安普医学系统有限公司 一种时、频、空域多参数脑电特征提取与融合方法
CN104605845A (zh) * 2015-01-30 2015-05-13 南京邮电大学 一种基于diva模型的脑电信号处理方法
CN104771164A (zh) * 2015-03-09 2015-07-15 河北医科大学第一医院 运用事件相关电位仪辅助筛查轻度认知障碍的方法
CN105279387A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统
CN105361856A (zh) * 2015-11-26 2016-03-02 中国科学院深圳先进技术研究院 模拟飞行员狭小空间的睡眠剥夺模型系统
CN105559779A (zh) * 2016-03-01 2016-05-11 夏鹏 一种通过脑电频谱进行认知评价的方法
US20170172523A1 (en) * 2014-07-07 2017-06-22 University College Cork - National University Of Ireland, Cork Real time audification of neonatal electroencephalogram (eeg) signals

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2310377C1 (ru) * 2006-02-13 2007-11-20 Государственное учреждение "Санкт-Петербургский научно-исследовательский психоневрологический институт им. В.М. Бехтерева (НИПИ им. В.М. Бехтерева") Способ прогнозирования тяжести течения ювенильной миоклонической эпилепсии у детей
CN101740024A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 基于广义流利的口语流利度自动评估方法
CN101739868A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 一种用于口语测试的文本朗读水平自动评估诊断方法
ES2391054A1 (es) * 2010-12-08 2012-11-21 Manuel Augusto PRADO VELASCO Dispositivo adaptativo y multimodal de realimentación auditiva alterada para la tartamudez basado en un avatar neurofisiológico
CN103890838A (zh) * 2011-06-10 2014-06-25 X-系统有限公司 用于分析声音的方法和系统
WO2014066855A1 (en) * 2012-10-26 2014-05-01 The Regents Of The University Of California Methods of decoding speech from brain activity data and devices for practicing the same
US20170172523A1 (en) * 2014-07-07 2017-06-22 University College Cork - National University Of Ireland, Cork Real time audification of neonatal electroencephalogram (eeg) signals
CN104586387A (zh) * 2015-01-19 2015-05-06 秦皇岛市惠斯安普医学系统有限公司 一种时、频、空域多参数脑电特征提取与融合方法
CN104605845A (zh) * 2015-01-30 2015-05-13 南京邮电大学 一种基于diva模型的脑电信号处理方法
CN104771164A (zh) * 2015-03-09 2015-07-15 河北医科大学第一医院 运用事件相关电位仪辅助筛查轻度认知障碍的方法
CN105279387A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统
CN105361856A (zh) * 2015-11-26 2016-03-02 中国科学院深圳先进技术研究院 模拟飞行员狭小空间的睡眠剥夺模型系统
CN105559779A (zh) * 2016-03-01 2016-05-11 夏鹏 一种通过脑电频谱进行认知评价的方法

Similar Documents

Publication Publication Date Title
CN101201980B (zh) 一种基于语音情感识别的远程汉语教学系统
CN109065027B (zh) 语音区分模型训练方法、装置、计算机设备及存储介质
CN103117061B (zh) 一种基于语音的动物识别方法及装置
CN107274888B (zh) 一种基于倍频程信号强度和差异化特征子集的情感语音识别方法
WO2017088364A1 (zh) 动态选择语音模型的语音识别方法及装置
CN105841797A (zh) 一种基于mfcc和svm的车窗电机异常噪声检测方法及装置
CN103714826B (zh) 面向声纹鉴定的共振峰自动匹配方法
CN107799114A (zh) 一种猪只咳嗽声音识别方法及系统
CN105448291A (zh) 基于语音的帕金森症检测方法及检测系统
CN101976564A (zh) 昆虫声音识别方法
CN105825852A (zh) 一种英语口语朗读考试评分方法
CN106611604A (zh) 一种基于深度神经网络的自动语音叠音检测方法
Huang et al. Intelligent feature extraction and classification of anuran vocalizations
CN102623009A (zh) 一种基于短时分析的异常情绪自动检测和提取方法和系统
CN108874889A (zh) 基于目标体图像的目标体检索方法、系统及装置
CN109408660A (zh) 一种基于音频特征的音乐自动分类的方法
CN109272986A (zh) 一种基于人工神经网络的狗声音情感分类方法
Baird et al. Emotion recognition in public speaking scenarios utilising an lstm-rnn approach with attention
CN106205635A (zh) 语音处理方法及系统
CN115512688A (zh) 异音检测方法及装置
CN108537261A (zh) 一种基于脑电波的作文评测方法
CN108447504A (zh) 一种基于脑电波的口语评测方法
CN109545198A (zh) 一种基于卷积神经网络的英语口语母语度判断方法
CN108742602A (zh) 一种基于脑电波的结巴检测方法
CN116369949A (zh) 一种脑电信号分级情绪识别方法、系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106