CN110059575A - 一种基于表面肌电唇语识别的辅助沟通系统 - Google Patents

一种基于表面肌电唇语识别的辅助沟通系统 Download PDF

Info

Publication number
CN110059575A
CN110059575A CN201910228442.4A CN201910228442A CN110059575A CN 110059575 A CN110059575 A CN 110059575A CN 201910228442 A CN201910228442 A CN 201910228442A CN 110059575 A CN110059575 A CN 110059575A
Authority
CN
China
Prior art keywords
lip reading
subsystem
signal
electromyography signal
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910228442.4A
Other languages
English (en)
Inventor
陈世雄
朱明星
王小晨
李光林
杨子健
汪鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201910228442.4A priority Critical patent/CN110059575A/zh
Publication of CN110059575A publication Critical patent/CN110059575A/zh
Priority to US16/960,496 priority patent/US20210217419A1/en
Priority to PCT/CN2019/130814 priority patent/WO2020192231A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/16—Classification; Matching by matching signal segments

Abstract

本发明属于语音识别辅助沟通技术领域，尤其涉及一种基于表面肌电唇语识别的辅助沟通系统，包括：训练子系统，用于通过高密度阵列式电极采集唇语动作过程中的面颈部肌电信号，通过信号预处理算法提高信号质量，通过分类算法对唇语动作类型进行分类，通过通道选择算法选取最优电极个数和最优位置，并建立肌电信号与唇语信息之间的最优匹配模板，上传至网络终端存储；检测子系统，用于基于所述训练子系统选取的最优电极个数和位置，采集最优位置处唇语动作过程中的肌电信号，调用最优匹配模板，对肌电信号进行分类解码，识别唇语信息，并转化成对应的语音和图像信息，实时显示出来，实现唇语识别，从而大大提高了唇语识别的准确率。

Description

一种基于表面肌电唇语识别的辅助沟通系统
技术领域
本发明属于语音识别辅助沟通技术领域，尤其涉及一种基于表面肌电唇语识别的辅助沟通系统。
背景技术
语言是人类特有的表达情感、传递信息、参与社会交往的重要能力，发音是语言表达的基础。发音是一个非常复杂的神经中枢系统控制肌肉协同运动的过程，是多个器官、多个肌群相互配合、相互协作的结果。在发音时，面部肌肉和颈部肌肉会相应地进行运动，发不同的音，对应的面颈部肌肉运动模式也不同。因此，可以通过采集面颈部的表面肌肉电信号，通过特征提取、分类，将不同的发音和不同的肌群电生理变化对应起来，从而识别发音信息，进而辅助患者与他人沟通。
根据2006年全国第二次残疾人抽样调查结果，我国有8296万残疾人，其中有127万唇语残疾人口，占总人口数的1.53％。发声障碍严重降低他们的生活质量，影响他们的日常生活交流，造成沟通的不便，对他们的家庭和社会来说都是沉重的负担。而发音障碍的诊断及治疗在临床上仍不够成熟，他们迫切需要辅助沟通产品来帮助他们表达、交流。
表面肌电信号是肌肉系统进行随意性和非随意性活动时产生的生物电变化经表面电极引导、放大、显示和记录所获得的一维电压时间序列信号，反映了运动神经元的生物电活动形成于众多外周运动单位电位在时间和空间上的总和，与肌肉活动情况有较大的关联，在一定程度上可以体现相关肌肉的活动水平，因此，通过对表面肌电进行分析可以观察到相关肌肉的运动情况。表面肌电作为一种客观量化的手段，具有无创、操作简单、成本较低和能提供定量定性分析等优点，因此被广泛应用于医学研究、人机交互等领域。
近年来，已经有一些研究使用肌电进行语音识别辅助沟通，但现有技术中肌电采集往往仅使用少数几个电极放置在已知的几块发音肌肉上，电极的个数和位置均是人为主观选取，所选取的电极个数和通道数不一定是最优方案，存在一定的局限性，唇语识别准确率较低。
发明内容
有鉴于此，本发明实施例为发音困难但可以用口形、唇语表达的患者提供了一种基于表面肌电唇语识别的辅助沟通系统，以解决现有技术中，通过人为主观选取电极的个数和位置，难以得到最优方案，语音信号识别准确率较低的问题。
本发明实施例提供的一种基于表面肌电唇语识别的辅助沟通系统，可以包括：
训练子系统，用于通过高密度阵列式电极采集唇语动作过程中的面颈部肌电信号，通过信号预处理算法提高信号质量，通过分类算法对唇语动作类型进行分类，通过通道选择算法选取最优电极个数和最优位置，并建立肌电信号与唇语信息之间的最优匹配模板，上传至网络终端存储；
检测子系统，用于基于所述训练子系统选取的最优电极个数和位置，采集最优位置处唇语动作过程中的肌电信号，调用最优匹配模板，对肌电信号进行分类解码，识别唇语信息，并转化成对应的语音和图像信息，实时显示出来，实现唇语识别。
进一步地，所述训练子系统可以包括训练子系统下位机和训练子系统上位机，所述训练子系统下位机可以包括：
高密度阵列式电极，用于通过粘贴在面颈部发音肌群上来获取使用者唇语过程中发音肌群的高密度肌电信号；
肌电采集模块，用于对高密度阵列电极采集到的信号进行放大、滤波、模数转换，并传输到训练子系统上位机。
进一步地，所述训练子系统上位机可以包括用户交互模块和信号分类、校正匹配反馈训练模块，所述用户交互模块可以包括：
肌电信号显示子模块，用于实时显示采集的肌电信号；
唇语训练场景显示子模块，用于提供唇语场景图片和文字；
通道选择定位图表显示子模块，用于提供电极在面部和颈部的位置分布情况。
进一步地，所述信号分类、校正匹配反馈训练模块可以包括：
信号处理子模块，用于采用滤波器滤除工频干扰和基线漂移，利用小波变换、模板匹配算法滤除肌电信号中的干扰噪声；
分类子模块，用于提取与指定短句的发音相关的肌电信号，提取特征值，建立肌电信号与所述指定短句之间的对应关系，基于肌电信息对采集的唇语内容进行分类；
通道选取子模块，用于选取最优匹配模板，建立个人训练集，并传输到网络终端。
进一步地，所述检测子系统可以包括检测子系统下位机和检测子系统上位机，所述检测子系统下位机可以包括：
贴片式柔性电极，用于采集最优位置处唇语动作过程中的肌电信号；
无线肌电采集模块，用于将贴片式柔性电极采集的肌电信息，通过无线传输到检测子系统上位机。
进一步地，所述检测子系统上位机可以包括：
个人训练集下载模块，用于通过连接网络，从训练子系统网络共享端口，调用个人训练集，并存储于APP客户端；
唇语信息识别解码模块，用于对信号进行降噪滤波处理，并对肌电信号与个人训练集进行特征匹配，通过采用分类算法，解码唇语信息，识别出唇语内容，将分类结果所对应的唇语内容转换成文字信息，并转换成语音和图片进行实时传输显示；
APP显示交互模块，用于进行通道选取最优数据集显示、电极位置实时显示、肌电信号实时显示、分类结果实时显示和/或语音图片翻译显示。
进一步地，所述唇语信息识别解码模块还用于将识别结果传送给系统设置的紧急联系人。
进一步地，所述高密度阵列式电极可以包括130个单电极，且各个单电极之间以中心间距1厘米的高密度形式排列。
进一步地，所述训练子系统下位机还可以包括电极放置孔板。
进一步地，所述肌电采集模块可以包括微控制器、模数转换器、独立同步时钟、前置信号滤波放大器和低噪声电源。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例使用训练子系统通过高密度阵列式电极采集唇语动作过程中的面颈部肌电信号，通过信号预处理算法提高信号质量，通过分类算法对唇语动作类型进行分类，通过通道选择算法选取最优电极个数和最优位置，并建立肌电信号与唇语信息之间的最优匹配模板，上传至网络终端存储。在此基础上，使用检测子系统基于所述训练子系统选取的最优电极个数和位置，采集最优位置处唇语动作过程中的肌电信号，调用最优匹配模板，对肌电信号进行分类解码，识别唇语信息，并转化成对应的语音和图像信息，实时显示出来，实现唇语识别。通过这种先全面、后局部的策略，采用高密度阵列式电极实时、完整地获取发音过程中的肌电信号，经过处理、分析，筛选出肌肉活动中对唇语动作贡献最大的电极，并确定最优电极个数和电极位置，实现客观定位唇语识别电极选取，从而大大提高了唇语识别的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于表面肌电唇语识别的辅助沟通系统的结构框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的一种基于表面肌电唇语识别的辅助沟通系统的结构框图，为了便于说明，仅示出了与本实施例相关的部分。
请参阅图1，本发明实施例中提供的一种基于表面肌电唇语识别的辅助沟通系统可以包括训练子系统和检测子系统。
所述训练子系统，用于通过高密度阵列式电极采集唇语动作过程中的面颈部肌电信号，通过信号预处理算法提高信号质量，通过分类算法对唇语动作类型进行分类，通过通道选择算法选取最优电极个数和最优位置，并建立肌电信号与唇语信息之间的最优匹配模板，上传至网络终端存储。
所述检测子系统，用于基于所述训练子系统选取的最优电极个数和位置，采集最优位置处唇语动作过程中的肌电信号，调用最优匹配模板，对肌电信号进行分类解码，识别唇语信息，并转化成对应的语音和图像信息，实时显示出来，实现唇语识别。
所述训练子系统可以包括下位机和上位机两部分，即训练子系统下位机和训练子系统上位机。
所述训练子系统下位机可以包括高密度阵列式电极和肌电采集模块。
所述高密度阵列式电极，用于通过粘贴在面颈部发音肌群上来获取使用者唇语过程中发音肌群的高密度肌电信号。之所以需要首先通过所述高密度阵列式电极来获取肌电信号，是由于个人习惯、发音方式不尽相同，每个人发音用力部位并不完全一样，发音过程的肌肉活动有一定差别，肌肉活动特性位置也是不同的，对不同的人在相同的几块肌肉位置放置电极是非常不合理的，因此，在本实施例中首先通过所述高密度阵列式电极来采集全面的肌电信号。
所述高密度阵列式电极可以由众多的单电极组成，具体的单电极数目以及各个单电极之间的间距均可以根据使用者面颈部尺寸实现个性化定制，以保证可以采集全面的发音肌群肌电信号为准。优选地，所述高密度阵列式电极可以包括130个单电极，且各个单电极之间以中心间距1cm的高密度形式排列。
所述肌电采集模块可以为130通道的肌电采集模块，包括微控制器(MicroController Unit，MCU)、模数转换器、独立同步时钟、前置信号滤波放大器和低噪声电源，用于对高密度阵列电极采集到的信号进行放大、滤波、模数转换，并通过USB或者其它传输途径传输到训练子系统上位机。
优选地，所述训练子系统下位机还可以包括电极放置孔板，每个孔板中设置相应的电极孔位，其中孔间距在1cm左右，以确保电极距离足够小。孔板分为4种规格：20孔，25孔，40孔，48孔，分别可以同时放置20、25、40、48个电极，减少工作量，操作起来更方便。
所述训练子系统上位机可以为台式机、笔记本电脑、平板电脑等设备，包括用户交互模块和信号分类、校正匹配反馈训练模块。
所述用户交互模块可以包括肌电信号显示子模块、唇语训练场景显示子模块和通道选择定位图表显示子模块。
所述肌电信号显示子模块，用于实时显示采集的肌电信号，同时提供了单通道信号选择功能，可以实时观测所有通道信号质量，确保信号的可靠性。
所述唇语训练场景显示子模块，用于提供日常生活需要的唇语场景图片和文字为用户提供个性化训练集，通过固定的场景模式训练，采集肌电信号并存储，作为唇语分析肌电数据库。另外该子模块还提供了如：“再读一遍”、“下一场景”等任务提示，为重复训练以及下一步操作提供友好交互。
所述通道选择定位图表显示子模块，用于提供电极在面部和颈部的位置分布情况，通过训练分类，实时显示所选取的有效通道的个数和具体位置。
所述信号分类、校正匹配反馈训练模块可以包括信号处理子模块、分类子模块和通道选取子模块。
所述信号处理子模块，用于采用IIR带通滤波器以及基于优化算法的滤波器初步滤除工频干扰和基线漂移，然后利用小波变换、模板匹配算法等算法进一步滤除肌电信号中的伪迹、心电等干扰噪声，对信号进行预处理，提高信号质量和可靠性。
所述分类子模块，用于对信号进行归一化、盲源分离等算法处理，以提取与指定短句的发音相关的肌电信号，提取特征值，利用线性分类器、神经网络和支持向量机技术，建立肌电信号与所述指定短句之间的对应关系，基于肌电信息对所采集的唇语内容进行分类。
所述通道选取子模块，用于经过多次校正匹配，选取出最少通道个数和最优分类精度的肌电模板，将肌电信号与唇语信息的最优匹配模板存储保存，建立个人训练集，并将该最优模块数据集传输到网络终端。
由于个人习惯、发音方式不尽相同，每个人发音用力部位并不完全一样，发音过程的肌肉活动有一定差别，肌肉活动特性位置也是不同的。因此要准确识别唇语信息，有必要对使用者进行多次发音训练，建立个人训练集，存储肌电信号与指定短句之间的对应关系，并确定个性化的电极最优解。
所述检测子系统可以包括下位机和上位机两部分，即检测子系统下位机和检测子系统上位机。
所述检测子系统下位机包括贴片式柔性电极和无线肌电采集模块。
所述贴片式柔性电极，用于采集最优位置处唇语动作过程中的肌电信号。现有的肌电电极硬板电极，与皮肤贴合程度有限，皮肤的拉扯形变容易给所肌电数据带来较大的噪声干扰，而所述贴片式柔性电极包含若干个柔性材料做成的FPC软板单电极，形成可弯曲、与皮肤紧密结合的定制柔性电极片，具体的单电极数目可以根据实际情况进行设置，优选地，可以将其设置为8个。用户根据训练子系统计算结果选取所需要使用的柔性电极个数以及电极在面颈部的放置位置，个性化程度高，与皮肤紧密贴合，跟随皮肤微形变，获取的肌电信息更稳定、可靠。
所述无线肌电采集模块集成了8通道肌电采集与无线传输功能，其中采用了集成WIFI功能的微控制器、前置放大电路、模数转换电路等，用于将贴片式柔性电极采集的肌电信息，通过WIFI等无线传输到检测子系统上位机。无线传输比传统有线电极更方便，佩戴简单、减少有线电极导线之间的缠绕带来的影响。WIFI传输不丢失数据，保证了数据的完整性。多路肌电信息同时无线传输，弥补了传统方法中电极通道少信息不全的缺陷。
所述检测子系统上位机可以为手机、平板电脑等设备，包括个人训练集下载模块、唇语信息识别解码模块和APP显示交互模块。
所述个人训练集下载模块，用于通过连接网络，从训练子系统网络共享端口，调用个人训练集，并存储于APP客户端。
所述唇语信息识别解码模块包括了数据预处理、肌电在线分类、分类结果语音转换等功能模块，用于采用IIR滤波器、小波变换等对信号进行降噪滤波处理，并对肌电信号与个人训练集进行特征匹配，通过采用分类算法，解码唇语信息，识别出唇语内容，将分类结果所对应的唇语内容转换成文字信息，通过处理调用语音和图片模板，转换成语音和图片进行实时传输显示，还用于将识别结果通过APP传送给系统设置的紧急联系人。
目前的辅助沟通系统大都需要沟通者与患者面对面，或者保持较近位置。但日常生活中，患者在很多一个人的场合也需要与他人进行交流，例如：独自在家要寻求帮助。本实施例借助无线发送技术，识别出患者的唇语信息后，一方面将唇语识别结果通过APP转换成语音和图片播放展示出来；另一方面通过用户链接，自动发送到设置好的紧急联系人手机APP上，使他人能够即时、远程地获得患者的唇语信息。
所述APP显示交互模块，用于进行通道选取最优数据集显示、电极位置实时显示、肌电信号实时显示、分类结果实时显示和/或语音图片翻译显示。
以上内容均是针对面颈部发音肌群的肌电信息进行采集分析，除此之外，其他部位与发音功能相关的肌肉，如腹部，同样包含了一定的发音运动信息，也可作为本实施例的肌电信息来源，进行发音信息识别。
本实施例的核心内容为基于高密度肌电的唇语识别，唇语识别不仅可以用于发音障碍人士，还可以推广到其他不便发音或噪音较强场合，如：水下作业，嘈杂工厂等，具有巨大的发展空间。
综上所述，本发明实施例使用训练子系统通过高密度阵列式电极采集唇语动作过程中的面颈部肌电信号，通过信号预处理算法提高信号质量，通过分类算法对唇语动作类型进行分类，通过通道选择算法选取最优电极个数和最优位置，并建立肌电信号与唇语信息之间的最优匹配模板，上传至网络终端存储。在此基础上，使用检测子系统基于所述训练子系统选取的最优电极个数和位置，采集最优位置处唇语动作过程中的肌电信号，调用最优匹配模板，对肌电信号进行分类解码，识别唇语信息，并转化成对应的语音和图像信息，实时显示出来，实现唇语识别。通过这种先全面、后局部的策略，采用高密度阵列式电极实时、完整地获取发音过程中的肌电信号，经过处理、分析，筛选出肌肉活动中对唇语动作贡献最大的电极，并确定最优电极个数和电极位置，实现客观定位唇语识别电极选取，从而大大提高了唇语识别的准确率。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能系统、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能系统、模块完成，以完成以上描述的全部或者部分功能。实施例中的各功能系统、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能系统、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于表面肌电唇语识别的辅助沟通系统，其特征在于，包括：
训练子系统，用于通过高密度阵列式电极采集唇语动作过程中的面颈部肌电信号，通过信号预处理算法提高信号质量，通过分类算法对唇语动作类型进行分类，通过通道选择算法选取最优电极个数和最优位置，并建立肌电信号与唇语信息之间的最优匹配模板，上传至网络终端存储；
检测子系统，用于基于所述训练子系统选取的最优电极个数和位置，采集最优位置处唇语动作过程中的肌电信号，调用最优匹配模板，对肌电信号进行分类解码，识别唇语信息，并转化成对应的语音和图像信息，实时显示出来，实现唇语识别。
2.根据权利要求1所述的系统，其特征在于，所述训练子系统包括训练子系统下位机和训练子系统上位机，所述训练子系统下位机包括：
高密度阵列式电极，用于通过粘贴在面颈部发音肌群上来获取使用者唇语过程中发音肌群的高密度肌电信号；
肌电采集模块，用于对高密度阵列电极采集到的信号进行放大、滤波、模数转换，并传输到训练子系统上位机。
3.根据权利要求2所述的系统，其特征在于，所述训练子系统上位机包括用户交互模块和信号分类、校正匹配反馈训练模块，所述用户交互模块包括：
肌电信号显示子模块，用于实时显示采集的肌电信号；
唇语训练场景显示子模块，用于提供唇语场景图片和文字；
通道选择定位图表显示子模块，用于提供电极在面部和颈部的位置分布情况。
4.根据权利要求3所述的系统，其特征在于，所述信号分类、校正匹配反馈训练模块包括：
信号处理子模块，用于采用滤波器滤除工频干扰和基线漂移，利用小波变换、模板匹配算法滤除肌电信号中的干扰噪声；
分类子模块，用于提取与指定短句的发音相关的肌电信号，提取特征值，建立肌电信号与所述指定短句之间的对应关系，基于肌电信息对采集的唇语内容进行分类；
通道选取子模块，用于选取最优匹配模板，建立个人训练集，并传输到网络终端。
5.根据权利要求1所述的系统，其特征在于，所述检测子系统包括检测子系统下位机和检测子系统上位机，所述检测子系统下位机包括：
贴片式柔性电极，用于采集最优位置处唇语动作过程中的肌电信号；
无线肌电采集模块，用于将贴片式柔性电极采集的肌电信息，通过无线传输到检测子系统上位机。
6.根据权利要求5所述的系统，其特征在于，所述检测子系统上位机包括：
个人训练集下载模块，用于通过连接网络，从训练子系统网络共享端口，调用个人训练集，并存储于APP客户端；
唇语信息识别解码模块，用于对信号进行降噪滤波处理，并对肌电信号与个人训练集进行特征匹配，通过采用分类算法，解码唇语信息，识别出唇语内容，将分类结果所对应的唇语内容转换成文字信息，并转换成语音和图片进行实时传输显示；
APP显示交互模块，用于进行通道选取最优数据集显示、电极位置实时显示、肌电信号实时显示、分类结果实时显示和/或语音图片翻译显示。
7.根据权利要求6所述的系统，其特征在于，所述唇语信息识别解码模块还用于将识别结果传送给系统设置的紧急联系人。
8.根据权利要求1所述的系统，其特征在于，所述高密度阵列式电极包括130个单电极，且各个单电极之间以中心间距1厘米的高密度形式排列。
9.根据权利要求2所述的系统，其特征在于，所述训练子系统下位机还包括电极放置孔板。
10.根据权利要求2所述的系统，其特征在于，所述肌电采集模块包括微控制器、模数转换器、独立同步时钟、前置信号滤波放大器和低噪声电源。
CN201910228442.4A 2019-03-25 2019-03-25 一种基于表面肌电唇语识别的辅助沟通系统 Pending CN110059575A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910228442.4A CN110059575A (zh) 2019-03-25 2019-03-25 一种基于表面肌电唇语识别的辅助沟通系统
US16/960,496 US20210217419A1 (en) 2019-03-25 2019-12-31 Lip-language recognition aac system based on surface electromyography
PCT/CN2019/130814 WO2020192231A1 (zh) 2019-03-25 2019-12-31 一种基于表面肌电唇语识别的辅助沟通系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910228442.4A CN110059575A (zh) 2019-03-25 2019-03-25 一种基于表面肌电唇语识别的辅助沟通系统

Publications (1)

Publication Number Publication Date
CN110059575A true CN110059575A (zh) 2019-07-26

Family

ID=67317373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910228442.4A Pending CN110059575A (zh) 2019-03-25 2019-03-25 一种基于表面肌电唇语识别的辅助沟通系统

Country Status (3)

Country Link
US (1) US20210217419A1 (zh)
CN (1) CN110059575A (zh)
WO (1) WO2020192231A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865705A (zh) * 2019-10-24 2020-03-06 中国人民解放军军事科学院国防科技创新研究院 多模态融合的通讯方法、装置、头戴设备及存储介质
CN111190484A (zh) * 2019-12-25 2020-05-22 中国人民解放军军事科学院国防科技创新研究院 一种多模态交互系统和方法
CN111419230A (zh) * 2020-04-17 2020-07-17 上海交通大学 一种用于运动单元解码的表面肌电信号采集系统
WO2020192231A1 (zh) * 2019-03-25 2020-10-01 中国科学院深圳先进技术研究院 一种基于表面肌电唇语识别的辅助沟通系统
CN111832412A (zh) * 2020-06-09 2020-10-27 北方工业大学 一种发声训练矫正方法及系统
CN112349182A (zh) * 2020-11-10 2021-02-09 中国人民解放军海军航空大学 一种聋哑人交谈辅助系统
CN112741619A (zh) * 2020-12-23 2021-05-04 清华大学 一种自驱动唇语动作捕捉装置
CN112927704A (zh) * 2021-01-20 2021-06-08 中国人民解放军海军航空大学 一种沉默式全天候单兵通信系统
CN113887339A (zh) * 2021-09-15 2022-01-04 天津大学 融合表面肌电信号与唇部图像的无声语音识别系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
CN112330713B (zh) * 2020-11-26 2023-12-19 南京工程学院 基于唇语识别的重度听障患者言语理解度的改进方法
CN113627401A (zh) * 2021-10-12 2021-11-09 四川大学 融合双注意力机制的特征金字塔网络的肌电手势识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169690A (zh) * 2011-04-08 2011-08-31 哈尔滨理工大学 基于表面肌电信号的语音信号识别系统和识别方法
CN102999154A (zh) * 2011-09-09 2013-03-27 中国科学院声学研究所 一种基于肌电信号的辅助发声方法及装置
CN203252647U (zh) * 2012-09-29 2013-10-30 艾利佛公司 用于判定生理特征的可佩带的设备
CN103948388A (zh) * 2014-04-23 2014-07-30 深圳先进技术研究院 一种肌电采集装置
WO2015133713A1 (en) * 2014-03-05 2015-09-11 Samsung Electronics Co., Ltd. Voice synthesis apparaatus and method for synthesizing voice
CN105636431A (zh) * 2013-05-20 2016-06-01 艾利佛公司 响应基于传感器数据的生物体状态的组合扬声器和光源
US9789306B2 (en) * 2014-12-03 2017-10-17 Neurohabilitation Corporation Systems and methods for providing non-invasive neurorehabilitation of a patient

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613613B2 (en) * 2004-12-10 2009-11-03 Microsoft Corporation Method and system for converting text to lip-synchronized speech in real time
CN108227904A (zh) * 2016-12-21 2018-06-29 深圳市掌网科技股份有限公司 一种虚拟现实语言交互系统与方法
CN108319912A (zh) * 2018-01-30 2018-07-24 歌尔科技有限公司 一种唇语识别方法、装置、系统和智能眼镜
CN110059575A (zh) * 2019-03-25 2019-07-26 中国科学院深圳先进技术研究院 一种基于表面肌电唇语识别的辅助沟通系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169690A (zh) * 2011-04-08 2011-08-31 哈尔滨理工大学 基于表面肌电信号的语音信号识别系统和识别方法
CN102999154A (zh) * 2011-09-09 2013-03-27 中国科学院声学研究所 一种基于肌电信号的辅助发声方法及装置
CN203252647U (zh) * 2012-09-29 2013-10-30 艾利佛公司 用于判定生理特征的可佩带的设备
CN105636431A (zh) * 2013-05-20 2016-06-01 艾利佛公司 响应基于传感器数据的生物体状态的组合扬声器和光源
WO2015133713A1 (en) * 2014-03-05 2015-09-11 Samsung Electronics Co., Ltd. Voice synthesis apparaatus and method for synthesizing voice
CN106233379A (zh) * 2014-03-05 2016-12-14 三星电子株式会社 声音合成设备和用于合成声音的方法
CN103948388A (zh) * 2014-04-23 2014-07-30 深圳先进技术研究院 一种肌电采集装置
US9789306B2 (en) * 2014-12-03 2017-10-17 Neurohabilitation Corporation Systems and methods for providing non-invasive neurorehabilitation of a patient

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
北京市耳鼻咽喉科研究所: "《国外医学 耳鼻咽喉科学新技术专辑》", 31 October 1979 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020192231A1 (zh) * 2019-03-25 2020-10-01 中国科学院深圳先进技术研究院 一种基于表面肌电唇语识别的辅助沟通系统
CN110865705A (zh) * 2019-10-24 2020-03-06 中国人民解放军军事科学院国防科技创新研究院 多模态融合的通讯方法、装置、头戴设备及存储介质
CN110865705B (zh) * 2019-10-24 2023-09-19 中国人民解放军军事科学院国防科技创新研究院 多模态融合的通讯方法、装置、头戴设备及存储介质
CN111190484A (zh) * 2019-12-25 2020-05-22 中国人民解放军军事科学院国防科技创新研究院 一种多模态交互系统和方法
CN111419230A (zh) * 2020-04-17 2020-07-17 上海交通大学 一种用于运动单元解码的表面肌电信号采集系统
CN111832412A (zh) * 2020-06-09 2020-10-27 北方工业大学 一种发声训练矫正方法及系统
CN111832412B (zh) * 2020-06-09 2024-04-09 北方工业大学 一种发声训练矫正方法及系统
CN112349182A (zh) * 2020-11-10 2021-02-09 中国人民解放军海军航空大学 一种聋哑人交谈辅助系统
CN112741619A (zh) * 2020-12-23 2021-05-04 清华大学 一种自驱动唇语动作捕捉装置
CN112927704A (zh) * 2021-01-20 2021-06-08 中国人民解放军海军航空大学 一种沉默式全天候单兵通信系统
CN113887339A (zh) * 2021-09-15 2022-01-04 天津大学 融合表面肌电信号与唇部图像的无声语音识别系统及方法

Also Published As

Publication number Publication date
US20210217419A1 (en) 2021-07-15
WO2020192231A1 (zh) 2020-10-01

Similar Documents

Publication Publication Date Title
CN110059575A (zh) 一种基于表面肌电唇语识别的辅助沟通系统
Kim et al. Emotion recognition based on physiological changes in music listening
CN106569604B (zh) 视听双模态语义匹配和语义失配协同刺激脑机接口方法
CN102999154B (zh) 一种基于肌电信号的辅助发声方法及装置
CN113288183B (zh) 一种基于面颈部表面肌电的无声语音识别方法
CN105956624B (zh) 基于空时频优化特征稀疏表示的运动想象脑电分类方法
CN106407733A (zh) 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法
CN107402635B (zh) 结合脑电波与虚拟现实的心理健康调节方法及系统
Lopez-Larraz et al. Syllable-based speech recognition using EMG
Rattanyu et al. Emotion monitoring from physiological signals for service robots in the living space
CN109460144A (zh) 一种基于发声神经电位的脑机接口控制系统及方法
Chen et al. Emotion recognition with audio, video, EEG, and EMG: a dataset and baseline approaches
CN111000556A (zh) 一种基于深度模糊森林的情绪识别方法
CN115376695A (zh) 基于扩展现实的神经心理评估及干预的方法、系统和装置
Zhu et al. Towards optimizing electrode configurations for silent speech recognition based on high-density surface electromyography
Li et al. Multi-modal emotion recognition based on deep learning of EEG and audio signals
CN106843509B (zh) 一种脑机接口系统
Zhou et al. Improved phoneme-based myoelectric speech recognition
CN113143270A (zh) 一种基于生物雷达和语音信息的双模态融合情绪识别方法
Koct et al. Speech Activity Detection from EEG using a feed-forward neural network
CN113724687B (zh) 基于脑电信号的语音生成方法、装置、终端及存储介质
Hassib Mental task classification using single-electrode brain computer interfaces
Al-Anbary et al. A Survey of Eeg Signals Prepossessing and Classification for Imagined Speech Application
Sharma et al. Human-Computer Interaction with Special Emphasis on Converting Brain Signals to Speech
Tan et al. Extracting spatial muscle activation patterns in facial and neck muscles for silent speech recognition using high-density sEMG

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726

RJ01 Rejection of invention patent application after publication