CN109875515A - 一种基于阵列式表面肌电的发音功能评估系统 - Google Patents

一种基于阵列式表面肌电的发音功能评估系统 Download PDF

Info

Publication number
CN109875515A
CN109875515A CN201910228434.XA CN201910228434A CN109875515A CN 109875515 A CN109875515 A CN 109875515A CN 201910228434 A CN201910228434 A CN 201910228434A CN 109875515 A CN109875515 A CN 109875515A
Authority
CN
China
Prior art keywords
pronunciation
function
myoelectricity
neck surface
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910228434.XA
Other languages
English (en)
Other versions
CN109875515B (zh
Inventor
陈世雄
朱明星
李光林
杨子健
庄佳烁
王小晨
汪鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201910228434.XA priority Critical patent/CN109875515B/zh
Publication of CN109875515A publication Critical patent/CN109875515A/zh
Priority to PCT/CN2019/130813 priority patent/WO2020192230A1/zh
Application granted granted Critical
Publication of CN109875515B publication Critical patent/CN109875515B/zh
Priority to US16/927,948 priority patent/US20210128049A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/394—Electromyography [EMG] specially adapted for electroglottography or electropalatography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/296—Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6822—Neck
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7242—Details of waveform analysis using integration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A61B2562/046—Arrangements of multiple sensors of the same type in a matrix array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明属于发音评估技术领域，尤其涉及一种基于阵列式表面肌电的发音功能评估系统，该系统包括下位机和上位机，其中：下位机，用于通过阵列式肌电电极获取发音过程中的面颈部肌电信号，并将面颈部肌电信号传输至上位机；上位机，用于分析发音过程中面颈部阵列式肌电信号变化特征与发音功能的生理相关性，建立发音过程中面颈部肌肉运动的三维动态能量分布图，获取发音肌群的动态可视化时空信息，提取肌电特征值，建立正常发音功能面颈部肌电特征分布标准化数据库，采用模板匹配与差异化分析算法，解析发音肌群的功能异常情况以及受损程度。更加完全、客观的解析发音过程中发音肌群的电生理特性，实现对发音功能实时、客观、精准评估。

Description

一种基于阵列式表面肌电的发音功能评估系统
技术领域
本发明属于发音评估技术领域，尤其涉及一种基于阵列式表面肌电的发音功能评估系统。
背景技术
语音是人类信息交流的重要工具，它包含了人们的感情和情绪等信息，是社会交往能力的重要体现。语音交流更是人类社会生存的基本功能，能否无损地发出声音是表达自身情感的关键。发音时，来自肺部的气流通过喉部，肌肉收缩，使软骨活动起来，也同时带动声带活动，使声带放松或拉紧，声门随之打开或关闭，从而产生声音。声音的高低不同是控制声带的松紧造成的。而声调决定于振动时声带的长度、张力、质量和位置。发音器官之间能正常、有序的工作依赖于中枢神经系统对其控制，其间任何一个环节发生异常，都会导致发音功能障碍。
发音功能障碍是常见疾患，且很可能会成为相关疾病的后遗症或并发症，有调查表明有近75％～90％的帕金森病患者伴有发音方面的障碍，在脑卒中患者的发生率为30％～40％，并且严重的情况下，发音功能障碍在15％的脑卒中患者中长期存在。这些症状严重影响了患者的日常交流能力，给家庭和社会造成严重负担。另一方面随着时代的进步与发展，人们的生活愈发多样化，从事语音和歌唱以及教育类职业的人数渐多，这些人群在工作中也需要高质量的声音，从而提高他们的专业水平。有研究表明将近31％的销售人员、44％的运动教练以及58％的教师均有不同程度的构音障碍。构音障碍严重影响相关领域人员的工作，有相关报道表明美国大约2800万的职业是与嗓音密切相关，每年约有7.2％的人员由于构音障碍而失业，其中教师职业人员高达20％，由于构音障碍而导致失业造成的经济损失高达25亿美元的。据不完全统计，目前我国约有137万患者因发音功能丧失而不能正常说话。因此对发音功能及时、准确地评价与检测，对社会发展以及医疗的进步都具有巨大的意义。
现有语音功能的检测大多基于语音信号，但是语音信号对环境要求较高，一旦测试环境嘈杂语音信号就难以准确传递；对语音信号处理需要获取声学参数，而清音在发音时，声带不发生振动，没有明显的语音特征，以至于发音检测准确性不高；发音是复杂的神经肌肉活动，单纯的语音信号无法检测发音过程的生理特性。
发音是一个非常复杂的神经肌肉运动过程，需要中枢神经系统对各个发音器官以及与发音运动的相关发音肌肉协同控制来完成。与发音功能相关的肌群多达40多个，其中主要发音肌群集中在颈部和面部。相关肌群运动的速度、力量、范围、方向和协调性影响着发音功能，其间任何一个肌肉功能发生异常都会导致发音功能障碍，声音损害的程度与神经肌肉受损的程度密切相关。
肌电信号是肌肉收缩时产生的电信号，肌电信号与肌肉的活动情况和功能状态间有着较强的关联性，所以可以在不同程度上体现出相应神经肌肉的活动水平。表面肌电信号是肌肉在产生兴奋发生收缩时，在肌肉表面被表面电极记录的生物电信号。由于表面肌电具有无创、操作简单、成本低和能提供定量定性分析等优点，被广泛应用于医学检测和生物反馈治疗中。现有的表面肌电检测手段都是基于单个或几个电极来完成，对于发音肌群，从声带运动到共鸣构音器官的运动，涉及到的肌群大部分为小肌肉群的精细运动，因此很难用单个或几个电极来对构音功能进行评价。临床上缺乏早期准确识别个体发声功能特征的手段，导致现有嗓音康复训练策略缺乏个体化和精细化，影响康复效果。
发明内容
有鉴于此，本发明实施例提供了一种基于阵列式表面肌电的发音功能评估系统，以解决现有技术中缺乏早期准确识别个体发声功能特征的手段，导致现有嗓音康复训练策略缺乏个体化和精细化的问题。
本发明实施例提供的一种基于阵列式表面肌电的发音功能评估系统，可以包括：
下位机，用于通过阵列式肌电电极获取发音过程中的面颈部肌电信号，并将面颈部肌电信号传输至上位机；
上位机，用于分析发音过程中面颈部阵列式肌电信号变化特征与发音功能的生理相关性，建立发音过程中面颈部肌肉运动的三维动态能量分布图，获取发音肌群的动态可视化时空信息，提取肌电特征值，建立正常发音功能面颈部肌电特征分布标准化数据库，采用模板匹配与差异化分析算法，解析发音肌群的功能异常情况以及受损程度。
进一步地，所述上位机可以包括：
信号接收及预处理模块，用于接收到下位机传输的肌电信号，通过预设的滤波器滤除工频干扰和基线漂移，并通过预设的优化算法滤除肌电信号中的干扰噪声；
发音功能动态可视化模块，用于对信号进行时域、频域的特征提取，通过提取时域特征值肌电均方根，并进行加窗处理，得到反应肌电能量强度的时域值，并将肌电能量强度与色彩相对应，形成面颈部的三维动态能量分布图，并获取发音肌群的动态可视化时空信息；
发音功能肌电特征量化评估模块，用于提取肌电特征值，建立正常发音功能面颈部肌电特征分布标准化数据库，采用模板匹配与差异化分析算法，解析发音肌群的功能异常情况以及受损程度。
进一步地，所述上位机还可以包括：
GUI实时显示模块，用于将发音过程中的特征值的计算算法模块化，打包为单独的功能控件函数，将发音功能肌电特征量化评估模块实时显示在GUI界面上。
进一步地，所述优化算法可以包括独立成分分析算法、主成分分析算法和/或模板匹配算法。
进一步地，所述肌电特征值可以包括时域特征值、频域特征值、面颈部能量分布比和/或肌肉协同量。
进一步地，所述时域特征值可以包括平均肌电值、积分肌电值、均方根值、过零率和/或肌电方差；
所述频域特征值可以包括功率谱密度、中值频率、平均功率频率、峰值频率、平均功率和/或频率比；
所述面颈部能量分布比可以包括能量相对面积、能量相对宽度和/或能量梯度；
所述肌肉协同量可以包括协同数量及系数。
进一步地，所述下位机包括阵列式肌电信号采集模块，所述阵列式肌电信号采集模块包括：
阵列式肌电电极，用于获取发音过程中的面颈部肌电信号；
肌电采集电路，用于将面颈部肌电信号传输至上位机。
进一步地，所述阵列式肌电电极包括面部4×5阵列式表面肌电电极以及颈部8×5阵列式表面肌电电极各两片。
进一步地，所述肌电采集电路包括微控制器、右腿驱动、模数转换器、独立同步时钟、前置信号滤波放大器和低噪声电源。
进一步地，所述肌电采集电路具体用于将肌电信号经过右腿驱动反馈到人体进行信号共模抑制，将肌电信号通过前置信号滤波放大器进行滤波及放大并传输给模数转换器，在独立同步时钟控制下实现多路肌电信号同步实时采集，传输到微控制器并通过WIFI发送至所述上位机。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例提供的一种基于阵列式表面肌电的发音功能评估系统包括下位机和上位机，其中，下位机，用于通过阵列式肌电电极获取发音过程中的面颈部肌电信号，并将面颈部肌电信号传输至上位机；上位机，用于分析发音过程中面颈部阵列式肌电信号变化特征与发音功能的生理相关性，建立发音过程中面颈部肌肉运动的三维动态能量分布图，获取发音肌群的动态可视化时空信息，提取肌电特征值，建立正常发音功能面颈部肌电特征分布标准化数据库，采用模板匹配与差异化分析算法，解析发音肌群的功能异常情况以及受损程度。针对语音信号的缺点，本发明采用表面肌电信号对发音的电生理功能进行评价。由于肌电信号具有对环境要求较低、稳定性强、抗干扰能力较强等优点，并且表面肌电信号与发音功能有着较强的生理相关性，因此采集发音过程中面颈部的表面肌电信号进行分析，能有效的评价发音活动生理功能的特性。且本实施例中通过阵列式肌电电极采集肌电信号，更加完全、客观的解析发音过程中发音肌群的电生理特性，最终通过采集发音过程中肌肉活动时的肌电信号，实现对神经功能和肌肉做定量或定性的分析，使发音功能评价可视化、精细化，实现对发音功能实时、客观、精准评估。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于阵列式表面肌电的发音功能评估系统的结构框图；
图2为阵列式肌电信号采集模块的结构框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的一种基于阵列式表面肌电的发音功能评估系统的结构框图，为了便于说明，仅示出了与本实施例相关的部分。
请参阅图1，本发明实施例中提供的一种基于阵列式表面肌电的发音功能评估系统可以包括下位机和上位机。
所述下位机，用于通过阵列式肌电电极获取发音过程中的面颈部肌电信号，并将面颈部肌电信号传输至上位机。
所述上位机，用于分析发音过程中面颈部阵列式肌电信号变化特征与发音功能的生理相关性，建立发音过程中面颈部肌肉运动的三维动态能量分布图，获取发音肌群的动态可视化时空信息，提取肌电特征值，建立正常发音功能面颈部肌电特征分布标准化数据库，采用模板匹配与差异化分析算法，解析发音肌群的功能异常情况以及受损程度。
所述下位机可以包括阵列式肌电信号采集模块，如图2所示，所述阵列式肌电信号采集模块可以包括阵列式肌电电极和肌电采集电路。
所述阵列式肌电电极，用于获取发音过程中的面颈部肌电信号。
在本实施例的一种具体实现中，所述阵列式肌电电极可以包括面部4×5阵列式表面肌电电极(20通道)以及颈部8×5阵列式表面肌电电极(40通道)各两片。电极个数可根据使用者需要而增减，最多可达120通道。所述表面肌电电极为圆形或方形镀金电极，电极直径根据需要设置不同的大小。所有电极以较小的间距等间距附着在柔性基底上，形成可弯曲、与皮肤紧密贴合的阵列电极片，可以实时的获取使用者皮肤表面的多通道、高密度肌电信号。由于采用可多达120通道的肌电电极可以获取更多更全面的肌电信号，采用阵列式电极，电极间距小，可以获取更精细的信息；采用柔性电极，可以根据皮肤的弯曲程度改变形状，能更好的与皮肤贴合，获取的肌电信号更稳定、可靠。
所述肌电采集电路，用于将面颈部肌电信号传输至上位机。
在本实施例的一种具体实现中，所述肌电采集电路可以包括微控制器(MicroController Unit，MCU)、右腿驱动、模数转换器、独立同步时钟、前置信号滤波放大器和低噪声电源等主要部分，其中，所述微控制器中集成了WIFI功能。所述肌电采集电路具体用于将肌电信号经过右腿驱动反馈到人体进行信号共模抑制，将肌电信号通过前置信号滤波放大器进行滤波及放大并传输给模数转换器，在独立同步时钟控制下实现多路肌电信号同步实时采集，传输到微控制器并通过WIFI发送至所述上位机。由于无线传输比传统有线电极更方便，佩戴简单、减少了有线电极导线之间的缠绕带来的影响。WIFI传输不丢失数据，保证了数据的完整性。多路肌电同时无线传输，弥补了传统无线电极通道少信息不全的缺陷。
所述上位机可以包括：信号接收及预处理模块、发音功能动态可视化模块和发音功能肌电特征量化评估模块，还可以包括GUI实时显示模块。
所述信号接收及预处理模块，用于接收到下位机传输的肌电信号，通过预设的滤波器滤除工频干扰和基线漂移，并通过预设的优化算法滤除肌电信号中的干扰噪声。一方面最大限度的保存原始数据的信息量，另一方面提高信号质量为进一步功能特征分析提供可靠数据。其中，所述滤波器可以包括高通标准滤波器和/或低通标准滤波器等，所述优化算法可以包括独立成分分析算法(Independent Component Analysis，ICA)、主成分分析算法(Principal Component Analysis，PCA)和/或模板匹配算法等，所述干扰噪声包括伪迹和/或心电等。
所述发音功能动态可视化模块，用于对信号进行时域、频域的特征提取，通过提取时域特征值肌电均方根，并进行加窗处理，得到一系列反应肌电能量强度的时域值，通过软件算法处理，将肌电能量强度与色彩相对应，形成面颈部的三维动态能量分布图，并获取发音肌群的动态可视化时空信息，将面颈部发音肌群所采集到的多通道肌电的时间和空间特性可视化。同时对肌电进行频域分析提取肌电频谱分布图、时频分布图，将发音过程中肌电频域分布特性可视化。通过这样的方式，提供在发音阶段的发音肌群动态变化信息，实时、直观地获得发音肌群协同工作下的动态运动情况，解决了现阶段不能实时、直观获取发音过程中相关肌群活动动态信息的问题。
所述发音功能肌电特征量化评估模块，用于对经过预处理后多通道肌电信号进行特征提取，提取肌电特征值，建立正常发音功能面颈部肌电特征分布标准化数据库，通过采集待检测受试者的面颈部多通道阵列式表面肌电信号，与正常发音功能数据库特征进行模板匹配与差异化分析，解析发音肌群的功能异常情况以及受损程度。通过这样的方式，从多个角度全面分析发音功能，实现客观量化评估，保证了发音肌群功能分析的可靠性。建立正常发音功能面颈部肌电特征分布标准化数据库，弥补了正常发音功能肌电特性的空白，并且通过采集待检测受试者的面颈部多通道阵列式表面肌电信息，与正常发音功能数据库特征进行模板匹配与差异化分析，解析发音肌群的功能异常情况以及受损程度，为发音功能障碍评定受损等级，实现了发音功能精准评估。
所述肌电特征值可以包括时域特征值、频域特征值、面颈部能量分布比和/或肌肉协同量等。所述时域特征值可以包括平均肌电值(AEMG)、积分肌电值(iEMG)、均方根值(RMS)、过零率(ZCR)和/或肌电方差(VAR)等，所述频域特征值可以包括功率谱密度(PSD)、中值频率(MF)、平均功率频率(MPF)、峰值频率(PKF)、平均功率(MNP)和/或频率比(FR)等，所述面颈部能量分布比可以包括能量相对面积、能量相对宽度和/或能量梯度等，所述肌肉协同量可以包括协同数量及系数。除此之外，还有时频法、空间法、混沌与分形等方法可提供特征值。
所述GUI实时显示模块，用于将发音过程中的特征值的计算算法(可以包括肌电波形、面颈部能量分布、肌电频谱分布、时频域特征值、面颈部能量分布比和/或肌肉协同分布等特征值的计算算法)模块化，打包为单独的功能控件函数，通过软件调用评估模块，各个功能控件集成在同一个环境下，最终将发音功能肌电特征量化评估模块实时显示在GUI界面上。
以上内容均是针对面颈部发音肌群的肌电信息进行采集分析，除此之外，其他部位与发音功能相关的肌肉，如腹部，同样包含了一定的发音运动信息，也可作为本实施例的肌电信息来源，进行发音功能评估。
综上所述，本发明实施例提供的一种基于阵列式表面肌电的发音功能评估系统包括下位机和上位机，其中，下位机，用于通过阵列式肌电电极获取发音过程中的面颈部肌电信号，并将面颈部肌电信号传输至上位机；上位机，用于分析发音过程中面颈部阵列式肌电信号变化特征与发音功能的生理相关性，建立发音过程中面颈部肌肉运动的三维动态能量分布图，获取发音肌群的动态可视化时空信息，提取肌电特征值，建立正常发音功能面颈部肌电特征分布标准化数据库，采用模板匹配与差异化分析算法，解析发音肌群的功能异常情况以及受损程度。针对语音信号的缺点，本发明采用表面肌电信号对发音的电生理功能进行评价。由于肌电信号具有对环境要求较低、稳定性强、抗干扰能力较强等优点，并且表面肌电信号与发音功能有着较强的生理相关性，因此采集发音过程中面颈部的表面肌电信号进行分析，能有效的评价发音活动生理功能的特性。且本实施例中通过阵列式肌电电极采集肌电信号，更加完全、客观的解析发音过程中发音肌群的电生理特性，最终通过采集发音过程中肌肉活动时的肌电信号，实现对神经功能和肌肉做定量或定性的分析，使发音功能评价可视化、精细化，实现对发音功能实时、客观、精准评估。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能系统、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能系统、模块完成，以完成以上描述的全部或者部分功能。实施例中的各功能系统、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能系统、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于阵列式表面肌电的发音功能评估系统，其特征在于，包括：
下位机，用于通过阵列式肌电电极获取发音过程中的面颈部肌电信号，并将面颈部肌电信号传输至上位机；
上位机，用于分析发音过程中面颈部阵列式肌电信号变化特征与发音功能的生理相关性，建立发音过程中面颈部肌肉运动的三维动态能量分布图，获取发音肌群的动态可视化时空信息，提取肌电特征值，建立正常发音功能面颈部肌电特征分布标准化数据库，采用模板匹配与差异化分析算法，解析发音肌群的功能异常情况以及受损程度。
2.根据权利要求1所述的系统，其特征在于，所述上位机包括：
信号接收及预处理模块，用于接收到下位机传输的肌电信号，通过预设的滤波器滤除工频干扰和基线漂移，并通过预设的优化算法滤除肌电信号中的干扰噪声；
发音功能动态可视化模块，用于对信号进行时域、频域的特征提取，通过提取时域特征值肌电均方根，并进行加窗处理，得到反应肌电能量强度的时域值，并将肌电能量强度与色彩相对应，形成面颈部的三维动态能量分布图，并获取发音肌群的动态可视化时空信息；
发音功能肌电特征量化评估模块，用于提取肌电特征值，建立正常发音功能面颈部肌电特征分布标准化数据库，采用模板匹配与差异化分析算法，解析发音肌群的功能异常情况以及受损程度。
3.根据权利要求2所述的系统，其特征在于，所述上位机还包括：
GUI实时显示模块，用于将发音过程中的特征值的计算算法模块化，打包为单独的功能控件函数，将发音功能肌电特征量化评估模块实时显示在GUI界面上。
4.根据权利要求2所述的系统，其特征在于，所述优化算法包括独立成分分析算法、主成分分析算法和/或模板匹配算法。
5.根据权利要求2所述的系统，其特征在于，所述肌电特征值包括时域特征值、频域特征值、面颈部能量分布比和/或肌肉协同量。
6.根据权利要求5所述的系统，其特征在于，所述时域特征值包括平均肌电值、积分肌电值、均方根值、过零率和/或肌电方差；
所述频域特征值包括功率谱密度、中值频率、平均功率频率、峰值频率、平均功率和/或频率比；
所述面颈部能量分布比包括能量相对面积、能量相对宽度和/或能量梯度；
所述肌肉协同量包括协同数量及系数。
7.根据权利要求1所述的系统，其特征在于，所述下位机包括阵列式肌电信号采集模块，所述阵列式肌电信号采集模块包括：
阵列式肌电电极，用于获取发音过程中的面颈部肌电信号；
肌电采集电路，用于将面颈部肌电信号传输至上位机。
8.根据权利要求7所述的系统，其特征在于，所述阵列式肌电电极包括面部4×5阵列式表面肌电电极以及颈部8×5阵列式表面肌电电极各两片。
9.根据权利要求7所述的系统，其特征在于，所述肌电采集电路包括微控制器、右腿驱动、模数转换器、独立同步时钟、前置信号滤波放大器和低噪声电源。
10.根据权利要求9所述的系统，其特征在于，所述肌电采集电路具体用于将肌电信号经过右腿驱动反馈到人体进行信号共模抑制，将肌电信号通过前置信号滤波放大器进行滤波及放大并传输给模数转换器，在独立同步时钟控制下实现多路肌电信号同步实时采集，传输到微控制器并通过WIFI发送至所述上位机。
CN201910228434.XA 2019-03-25 2019-03-25 一种基于阵列式表面肌电的发音功能评估系统 Active CN109875515B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910228434.XA CN109875515B (zh) 2019-03-25 2019-03-25 一种基于阵列式表面肌电的发音功能评估系统
PCT/CN2019/130813 WO2020192230A1 (zh) 2019-03-25 2019-12-31 一种基于阵列式表面肌电的发音功能评估系统
US16/927,948 US20210128049A1 (en) 2019-03-25 2020-07-13 Pronunciation function evaluation system based on array high-density surface electromyography

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910228434.XA CN109875515B (zh) 2019-03-25 2019-03-25 一种基于阵列式表面肌电的发音功能评估系统

Publications (2)

Publication Number Publication Date
CN109875515A true CN109875515A (zh) 2019-06-14
CN109875515B CN109875515B (zh) 2020-05-26

Family

ID=66934052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910228434.XA Active CN109875515B (zh) 2019-03-25 2019-03-25 一种基于阵列式表面肌电的发音功能评估系统

Country Status (3)

Country Link
US (1) US20210128049A1 (zh)
CN (1) CN109875515B (zh)
WO (1) WO2020192230A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110960215A (zh) * 2019-12-20 2020-04-07 首都医科大学附属北京同仁医院 一种喉肌电图同步音频信号采集方法及设备
CN110960214A (zh) * 2019-12-20 2020-04-07 首都医科大学附属北京同仁医院 一种表面肌电图同步音频信号采集方法及设备
CN111709314A (zh) * 2020-05-27 2020-09-25 杭州电子科技大学 基于面部表面肌电的情感分布识别方法
WO2020192230A1 (zh) * 2019-03-25 2020-10-01 中国科学院深圳先进技术研究院 一种基于阵列式表面肌电的发音功能评估系统
CN111887869A (zh) * 2020-08-06 2020-11-06 复旦大学附属中山医院 一种肌力测定系统及应用
CN112263254A (zh) * 2020-06-11 2021-01-26 复旦大学附属华山医院 一种基于表面肌电信号传感器的人体能量消耗预测系统及其预测方法
CN115919313A (zh) * 2022-11-25 2023-04-07 合肥工业大学 一种基于时空特征的面部肌电情绪识别方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113974635B (zh) * 2021-10-22 2022-08-30 上海交通大学 一种可穿戴的HD-sEMG传感器及其制备方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1442802A (zh) * 2002-02-28 2003-09-17 株式会社Ntt都科摩 信息识别装置与信息识别方法
US20130289434A1 (en) * 2012-04-30 2013-10-31 National Chiao Tung University Device for Measuring and Analyzing Electromyography signals
CN103919549A (zh) * 2013-07-25 2014-07-16 深圳先进技术研究院 一种反馈治疗吞咽障碍的装置及设备
KR101739484B1 (ko) * 2015-06-09 2017-05-24 (주) 로임시스템 생체신호 계측모듈, 웨어러블 근전도 밴드 및 생체계측 모바일 장치
CN106725467A (zh) * 2017-01-03 2017-05-31 深圳先进技术研究院 阵列式肌电信号采集装置及下背痛辅助诊断系统
CN109243572A (zh) * 2018-11-08 2019-01-18 中科数字健康科学研究院（南京）有限公司 一种精准运动评估和康复训练系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482048A (en) * 1993-06-30 1996-01-09 University Of Pittsburgh System and method for measuring and quantitating facial movements
US20070249957A1 (en) * 2006-04-19 2007-10-25 Patrick Gentempo Mapping spinal muscle tone
US7996076B2 (en) * 2007-04-02 2011-08-09 The Regents Of The University Of Michigan Automated polysomnographic assessment for rapid eye movement sleep behavior disorder
US9564061B2 (en) * 2010-09-21 2017-02-07 Kennesaw State University Research And Service Foundation, Inc. Vocalization training method
CN102169690A (zh) * 2011-04-08 2011-08-31 哈尔滨理工大学 基于表面肌电信号的语音信号识别系统和识别方法
US9078578B2 (en) * 2013-07-02 2015-07-14 General Electric Company System and method for optimizing electrocardiography study performance
CN103519785B (zh) * 2013-09-24 2016-01-27 上海泰亿格康复服务有限公司 基于实时语音多维建模的语音障碍多维测量系统及其方法
JP6518932B2 (ja) * 2013-12-16 2019-05-29 国立大学法人大阪大学 運動解析装置及び運動解析プログラム
AU2015222761B2 (en) * 2014-02-28 2019-10-10 Powell Mansfield, Inc. Systems, methods and devices for sensing EMG activity
CN105919591A (zh) * 2016-04-12 2016-09-07 东北大学 一种基于表面肌电信号的手语识别发声系统及方法
CN108630193B (zh) * 2017-03-21 2020-10-02 北京嘀嘀无限科技发展有限公司 语音识别方法及装置
CA3072750A1 (en) * 2017-08-28 2019-03-07 Lorenzo Noveri An improved device for detecting, interrupting, monitoring and treating parafunctional activities in odontological field
US10878818B2 (en) * 2017-09-05 2020-12-29 Massachusetts Institute Of Technology Methods and apparatus for silent speech interface
KR102528466B1 (ko) * 2017-12-19 2023-05-03 삼성전자주식회사 복수 화자의 음성 신호 처리 방법 및 그에 따른 전자 장치
US20210361227A1 (en) * 2018-04-05 2021-11-25 Google Llc System and Method for Generating Diagnostic Health Information Using Deep Learning and Sound Understanding
CN109875515B (zh) * 2019-03-25 2020-05-26 中国科学院深圳先进技术研究院 一种基于阵列式表面肌电的发音功能评估系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1442802A (zh) * 2002-02-28 2003-09-17 株式会社Ntt都科摩 信息识别装置与信息识别方法
US20130289434A1 (en) * 2012-04-30 2013-10-31 National Chiao Tung University Device for Measuring and Analyzing Electromyography signals
CN103919549A (zh) * 2013-07-25 2014-07-16 深圳先进技术研究院 一种反馈治疗吞咽障碍的装置及设备
KR101739484B1 (ko) * 2015-06-09 2017-05-24 (주) 로임시스템 생체신호 계측모듈, 웨어러블 근전도 밴드 및 생체계측 모바일 장치
CN106725467A (zh) * 2017-01-03 2017-05-31 深圳先进技术研究院 阵列式肌电信号采集装置及下背痛辅助诊断系统
CN109243572A (zh) * 2018-11-08 2019-01-18 中科数字健康科学研究院（南京）有限公司 一种精准运动评估和康复训练系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020192230A1 (zh) * 2019-03-25 2020-10-01 中国科学院深圳先进技术研究院 一种基于阵列式表面肌电的发音功能评估系统
CN110960215A (zh) * 2019-12-20 2020-04-07 首都医科大学附属北京同仁医院 一种喉肌电图同步音频信号采集方法及设备
CN110960214A (zh) * 2019-12-20 2020-04-07 首都医科大学附属北京同仁医院 一种表面肌电图同步音频信号采集方法及设备
CN110960214B (zh) * 2019-12-20 2022-07-19 首都医科大学附属北京同仁医院 一种表面肌电图同步音频信号采集方法及设备
CN111709314A (zh) * 2020-05-27 2020-09-25 杭州电子科技大学 基于面部表面肌电的情感分布识别方法
CN111709314B (zh) * 2020-05-27 2023-08-22 杭州电子科技大学 基于面部表面肌电的情感分布识别方法
CN112263254A (zh) * 2020-06-11 2021-01-26 复旦大学附属华山医院 一种基于表面肌电信号传感器的人体能量消耗预测系统及其预测方法
CN111887869A (zh) * 2020-08-06 2020-11-06 复旦大学附属中山医院 一种肌力测定系统及应用
CN115919313A (zh) * 2022-11-25 2023-04-07 合肥工业大学 一种基于时空特征的面部肌电情绪识别方法
CN115919313B (zh) * 2022-11-25 2024-04-19 合肥工业大学 一种基于时空特征的面部肌电情绪识别方法

Also Published As

Publication number Publication date
US20210128049A1 (en) 2021-05-06
WO2020192230A1 (zh) 2020-10-01
CN109875515B (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN109875515A (zh) 一种基于阵列式表面肌电的发音功能评估系统
Stepp Surface electromyography for speech and swallowing systems: measurement, analysis, and interpretation
Song et al. Test–retest reliability of the speech-evoked auditory brainstem response
King et al. Deficits in auditory brainstem pathway encoding of speech sounds in children with learning problems
Smith et al. Development of functional synergies for speech motor coordination in childhood and adolescence
CN106407733A (zh) 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法
Patil et al. The physiological microphone (PMIC): A competitive alternative for speaker assessment in stress detection and speaker verification
Lowell et al. Respiratory and laryngeal function during spontaneous speaking in teachers with voice disorders
Stepp et al. Modulation of neck intermuscular beta coherence during voice and speech production
Stepp et al. Use of neck strap muscle intermuscular coherence as an indicator of vocal hyperfunction
CN108478224A (zh) 基于虚拟现实与脑电的紧张情绪检测系统及检测方法
CN104887198A (zh) 基于人体生理信号多参数融合的疼痛定量分析系统及方法
CN103989482B (zh) 用于幻听检测的声音刺激器及用于幻听检测的装置
Stemple Voice research: so what? A clearer view of voice production, 25 years of progress; the speaking voice
Dwire et al. Repeated measures of vocal fundamental frequency perturbation obtained using the Visi-Pitch
TW201350087A (zh) 腦波訊號分析裝置及利用其之專注力分析方法
Mautner A cross-system instrumental voice profile of the aging voice: With considerations of jaw posture effects
Hinterberger Orchestral sonification of brain signals and its application to brain-computer interfaces and performing arts
Pouw et al. The human voice aligns with whole-body kinetics
Wang et al. A review of research on brain-computer interface based on imagined speech
CN116269447B (zh) 一种基于语音调制和脑电信号的言语认知评估系统
Reed et al. Changes in Intermuscular Coherence as a Function of Age and Phase of Speech Production During an Overt Reading Task
Cao et al. Two frequencies sequential coding for the assr-based brain-computer interface application
Fuentes-Aguilar et al. Biosignals analysis (heart, phonatory system, and muscles)
Sidequersky QUANTITATIVE ANALYSIS OF THE SPEECH AND LIP MOVEMENTS THROUGH OPTOELECTRONIC MOTION ANALYSIS AND SURFACE ELETROMYOGRAPHY

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant