CN114488878A - 基于眼电控制的智能设备控制系统及控制方法 - Google Patents
基于眼电控制的智能设备控制系统及控制方法 Download PDFInfo
- Publication number
- CN114488878A CN114488878A CN202111646398.2A CN202111646398A CN114488878A CN 114488878 A CN114488878 A CN 114488878A CN 202111646398 A CN202111646398 A CN 202111646398A CN 114488878 A CN114488878 A CN 114488878A
- Authority
- CN
- China
- Prior art keywords
- waveform
- blink
- electro
- voice
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004397 blinking Effects 0.000 claims abstract description 25
- 230000009471 action Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 230000000193 eyeblink Effects 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 4
- 238000002570 electrooculography Methods 0.000 claims 6
- 238000012795 verification Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 210000001595 mastoid Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000011977 language disease Diseases 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/25—Pc structure of the system
- G05B2219/25257—Microcontroller
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及一种基于眼电控制的智能设备控制系统，用户只需进行眨眼这样轻松的动作便可发送控制指令，而且对用户的眨眼动作的识别是经过大众标准化的标准波形特征值和个性化的个人眨眼波形的双重校验的，如果只经过大众标准化的标准波形特征值校验，设置较低的对比要求则导致准确性差，设置较高的对比要求则包容性差；如果只经过个性化的个人眨眼波形校验，设置较低的对比要求同样导致准确性差，设置较高的对比要求则控制难度大。因此两者结合的控制系统及方法能够既保证眨眼动作识别的精确度高，从而对智能设备的可控性高，又具有包容性强和易于控制的优点。
Description
技术领域
本发明涉及智能设备控制技术领域，尤其是涉及一种基于眼电控制的智能设备控制系统及控制方法。
背景技术
据国家统计据数据显示，截止2019年，我国老年人口达1.8亿，残障人口达8502万，其中语言残障130万，肢体残障2472万，部分老年及残障人群难以通过肢体操控主流电子、电器设备，生活质量严重受到影响。随着脑机接口技术、语音控制技术、电子集成技术等相关技术的迅速发展，脑电、语音等生理信号在智能设备控制技术中的应用日趋增多。现有技术中一种脑电控制的家用设备的控制方法、系统(CN201610034725.1)通过脑电波信号和脑部血流信息综合考量生成对应的控制指令来控制家用设备。然而，现有的控制系统/方法仍存在以下问题：
1、采集用于控制智能设备的生理信号时，受到环境的干扰影响大，系统无法分辨用户真实发生的控制和环境噪声产生的生理信号，导致容易发生对智能设备的误控制。
2、传统脑电控制需要用户集中脑部注意力对脑电波进行控制，这对用户的身体、精神状态要求较高，使用难度高。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于眼电控制的智能设备控制系统，对用户真实发生的控制信号识别度高，能够避免对智能设备的误控制，且容易控制。
本发明是通过以下技术方案实现的：一种基于眼电控制的智能设备控制系统，其特征在于：包括眼电信号获取单元、眼电信号分析单元和指令发送控制单元，所述眼电信号获取单元获取实时眼电模拟信号并转换为实时眼电数字信号；所述眼电信号分析单元包括标准眼电模型库、用户眼电模型库、波形截取模块、眨眼识别模块和眼电指令生成模块，所述标准眼电模型库存储标准波形特征值；所述用户眼电模型库存储用户的个人眨眼波形；所述波形截取模块截取所述实时眼电数字信号中的眨眼识别波形；所述眨眼识别模块将所述眨眼识别波形的波形特征值与所述标准波形特征值进行对比，同时计算所述眨眼识别波形与用户的个人眨眼波形的相似度，并根据对比结果发送眨眼通知至所述眼电指令生成模块；所述眼电指令生成模块根据一持续时间内接收所述眨眼通知的次数生成眼电控制指令；所述指令发送控制单元将所述眼电控制指令发送至智能设备。
相对于现有技术，本发明提供一种基于眼电控制的智能设备控制系统，用户只需进行眨眼这样轻松的动作便可发送控制指令，而且对用户的眨眼动作的识别是经过大众标准化的标准波形特征值和个性化的个人眨眼波形的双重校验的，如果只经过大众标准化的标准波形特征值校验，设置较低的对比要求则导致准确性差，设置较高的对比要求则包容性差；如果只经过个性化的个人眨眼波形校验，设置较低的对比要求同样导致准确性差，设置较高的对比要求则控制难度大。因此两者结合的控制系统及方法能够既保证眨眼动作识别的精确度高，从而对智能设备的可控性高，又具有包容性强和易于控制的优点。
进一步地，所述标准波形特征值包括标准波峰幅值、标准波谷幅值和标准波峰波谷时间差值；当所述眨眼识别波形的波峰幅值大于所述标准波峰幅值，且所述眨眼识别波形的波谷幅值小于所述标准波谷幅值，且所述眨眼识别波形的波峰波谷时间差值属于标准波峰波谷时间差值的取值范围内，且所述眨眼识别波形与用户的个人眨眼波形的相似度大于一设定相似度阀值时，所述眨眼识别模块发送眨眼通知至所述眼电指令生成模块。
进一步地，所述标准波形特征值包括标准波峰幅值、标准波谷幅值和标准波峰波谷时间差值；所述个人眨眼波形是用户个人的多个有效眨眼波形的平均波形，所述有效眨眼波形的波峰幅值大于所述标准波峰幅值，且所述有效眨眼波形的波谷幅值小于所述标准波谷幅值，且所述有效眨眼波形的波峰波谷时间差值属于所述标准波峰波谷时间差值的取值范围内。
进一步地，所述标准波峰幅值为标准眨眼波形组的均值波峰幅值，所述标准波谷幅值为标准眨眼波形组的均值波谷幅值，所述标准波峰波谷时间差值的取值范围为(-σ，σ)，σ为标准眨眼波形组的均值波峰波谷时间差值的均方差；所述标准眨眼波形组为多个不同人的眨眼动作的眼电数字信号的波形的集合。
进一步地，所述波形截取模块检测所述实时眼电数字信号的波形发生跳变的时间点作为眨眼识别起始点，并以所述眨眼识别起始点截取一设定时间段的实时眼电数字信号的波形作为眨眼识别波形。
进一步地，还包括语音信号获取单元和语音信号分析单元，所述语音信号获取单元获取实时语音模拟信号并转换为实时语音数字信号；所述语音信号分析单元包括语音特征提取模块、语音解码器、指令词条库和语音指令生成模块，所述语音特征提取模块对所述实时语音数字信号进行声学特征的提取；所述语音解码器根据语音特征提取模块提取的所述声学特征获得语音识别结果；所述指令词条库存储与不同语音控制指令对应的指令词条；所述语音指令生成模块根据所述语音识别结果在所述指令词条库中匹配生成语音控制指令；所述指令发送控制单元根据用户设定的控制模式将所述眼电控制指令或所述语音控制指令发送至智能设备。
进一步地，还包括实现无线通讯的第一通讯模块、第二通讯模块和第三通讯模块，以及实现网络通讯的云端服务器；所述眼电信号获取单元通过所述第一通讯模块将眼电数字信号发送至所述眼电信号分析单元；所述语音信号分析单元通过所述第二通讯模块将语音控制指令发送至指令发送控制单元；所述指令发送控制单元通过所述第三通讯模块将所述眼电控制指令或所述语音控制指令发送至所述云端服务器，经由所述云端服务器将所述眼电控制指令或所述语音控制指令转发至智能设备。
进一步地，所述眼电信号获取单元包括眼电信号采集模块和眼电信号处理模块，所述眼电信号采集模块采集实时眼电模拟信号；所述眼电信号处理模块对所述实时眼电模拟信号进行信号增益以抑制所述实时眼电模拟信号中的低频噪声和失调电压，以及进行模数转换获得实时眼电数字信号；所述眼电信号分析单元还包括带通滤波模块，所述带通滤波模块对所述波形截取模块截取的眨眼识别波形进行0.1～10Hz的带通滤波；所述语音信号获取单元包括语音信号采集模块和语音信号处理模块，所述语音信号采集模块采集模块采集实时语音模拟信号；所述语音信号处理模块对所述实时语音模拟信号进行幅值放大处理和滤波处理，以及进行模数转换获得实时语音数字信号，并再次进行数字滤波处理。
基于同一发明构思，本发明还提供一种基于眼电控制的智能设备控制方法，其特征在于：获取实时眼电模拟信号，并转换为实时眼电数字模拟信号；截取所述实时眼电数字信号中的眨眼识别波形；将所述眨眼识别波形的波形特征值与所述标准波形特征值进行对比，同时计算所述眨眼识别波形与个人眨眼波形的相似度，并根据对比结果生成眨眼通知；根据以该眨眼通知对应的眨眼识别波形的起始点开始的一持续时间内接收的所述眨眼通知次数生成眼电控制指令；发送所述眼电控制指令至智能设备。
进一步地，所述标准波形特征值包括标准波峰幅值、标准波谷幅值和标准波峰波谷时间差值；当所述眨眼识别波形的波峰幅值大于所述标准波峰幅值，且所述眨眼识别波形的波谷幅值小于所述标准波谷幅值，且所述眨眼识别波形的波峰波谷时间差值属于标准波峰波谷时间差值的取值范围内，且所述眨眼识别波形与用户的个人眨眼波形的相似度大于一设定相似度阀值时，生成眨眼通知。
进一步地，所述标准波形特征值包括标准波峰幅值、标准波谷幅值和标准波峰波谷时间差值；所述个人眨眼波形是用户个人的多个有效眨眼波形的平均波形，所述有效眨眼波形的波峰幅值大于所述标准波峰幅值，且所述有效眨眼波形的波谷幅值小于所述标准波谷幅值，且所述有效眨眼波形的波峰波谷时间差值属于所述标准波峰波谷时间差值的取值范围内。
进一步地，所述标准波峰幅值为标准眨眼波形组的均值波峰幅值，所述标准波谷幅值为标准眨眼波形组的均值波谷幅值，所述标准波峰波谷时间差值的取值范围为(-σ，σ)，σ为标准眨眼波形组的均值波峰波谷时间差值的均方差；所述标准眨眼波形组为多个不同人的眨眼动作的眼电数字信号的波形的集合。
进一步地，截取所述实时眼电数字信号中的眨眼识别波形时以所述实时眼电数字信号的波形发生跳变的时间点作为眨眼识别起始点，并以所述眨眼识别起始点截取一设定时间段的实时眼电数字信号的波形作为眨眼识别波形。
进一步地，根据用户设定的控制模式发送所述眼电控制指令或所述语音控制指令发送至智能设备；所述语音控制指令的生成方法包括：获取实时语音模拟信号，并转换为实时语音数字信号；提取所述实时语音数字信号中的声学特征，根据该声学特征获取语音识别结果；根据所述语音识别结果生成对应的语音控制指令。
进一步地，通过网络通讯的方式发送所述眼电控制指令或所述语音控制指令发送至智能设备。
进一步地，对所述实时眼电模拟信号进行信号增益以抑制所述实时眼电模拟信号中的低频噪声和失调电压后转换为所述实时眼电数字信号；对截取的所述眨眼识别波形进行0.1～10Hz的带通滤波；对所述实时语音模拟信号进行幅值放大处理和滤波处理后转换为所述实时语音数字信号，并对该实时语音数字信号再次进行数字滤波处理。
附图说明
图1为一实施例的基于眼电控制的智能设备控制系统的结构示意图。
图2为图1的基于眼电控制的智能设备控制系统的电信号获取单元结构示意图。
图3为图2所示的眼电信号采集模块的采集点示意图。
图4为图1的基于眼电控制的智能设备控制系统的眼电信号分析单元的结构示意图。
图5为图1的基于眼电控制的智能设备控制系统的语音信号获取单元的结构示意图。
图6为图1的基于眼电控制的智能设备控制系统的语音信号分析单元的结构示意图。
图7为图1的基于眼电控制的智能设备控制系统的反馈单元的结构示意图。
图8为另一实施例的基于眼电控制的智能设备控制系统的结构示意图。
下面结合附图，对本发明的技术方案进行详细的描述。
具体实施方式
本发明的基于眼电控制的智能设备控制系统通过采集用户的眼电信号或语音信号来获取用户对智能设备的控制指令，在根据眼电信号获取控制指令时，从用户的眼电信号中分析得到用户的眨眼次数，并在分析中通过标准眼电模型和用户眼电模型的双重验证来检测出用户真实的眨眼动作，以避免环境干扰或设备抖动等外界因素引起眼电信号变化而导致误判，具体通过以下实施例进行说明。
请参阅图1，其为本实施例的基于眼电控制的智能设备控制系统的结构示意图。该基于眼电控制的智能设备控制系统包括眼电信号获取单元10、眼电信号分析单元20、语音信号获取单元30、语音信号分析单元40、指令发送控制单元50和反馈单元60，其中，眼电信号获取单元10实时采集并处理眼电信号；眼电信号分析电源20对所述眼电信号获取单元10的眼电信号进行分析以获得眼电控制指令；语音信号获取单元20实时采集并处理语音信号；语音信号分析单元40对所述语音信号获取单元20的语音信号进行分析以获得语音控制指令；指令发送控制单元50接收眼电信号分析单元20的眼电控制指令和语音信号分析单元40的语音控制指令，并控制最终控制指令为眼电控制指令或语音控制指令；反馈单元60根据眼电信号获取单元10和指令发送控制单元50的信号向用户进行图像和语音的反馈。
具体地，请参阅图2，其为本实施例的眼电信号获取单元10的结构示意图，所述眼电信号获取单元10包括眼电信号采集模块11和眼电信号处理模块12。
其中，所述眼电信号采集模块11采集来自用户的实时眼电模拟信号，并传输至所述眼电信号处理模块12。更具体地，所述眼电信号采集模块11选用眼电极导联，例如脑环等脑机接口设备，以采样率为250Hz进行采集。请参阅图3，其为本实施例的眼电信号采集模块11的采集点示意图，所述眼电信号采集模块11包括三个采集通道，分别为CH1采集通道、COM采集通道和COMLEG采集通道，其中CH1采集通道的眼电极放置在用户左眉上方，记录垂直EOG(Electro-oculogram眼电图)信号，即眼电模拟信号；COM采集通道的眼电极作为参考电极放置在用户左侧乳突；COMLEG采集通道的眼电极放置在用户右侧乳突，作为右腿驱动电路的输入通道。
所述眼电信号处理模块12对所述眼电信号采集模块11采集的实时眼电模拟信号进行信号增益以抑制所述实时眼电模拟信号中的低频噪声和失调电压；以及进行模数转换以获得实时眼电数字信号，并传输至眼电信号分析单元20。更具体地，在对所述实时眼电模拟信号的信号增益中，选用全差分电容耦合放大器通过斩波调制技术进行低频噪声和失调电压的抑制。在对所述实时眼电模拟信号的模数转换中，首先对所述实时眼电模拟信号进行抽样使实时眼电模拟信号离散化；然后将实时眼电模拟信号的连续幅度量化为若干具有一定间隔的离散值；最后将量化后的离散值通过编码转换为二进制的实时眼电数字信号。
请参阅图4，其为本实施例的眼电信号分析单元20的结构示意图，所述眼电信号分析单元20包括标准眼电模型库21、用户眼电模型库22、波形截取模块23、带通滤波模块24、眨眼识别模块25和眼电指令生成模块26。
其中，所述标准眼电模型库21存储标准波形特征值，所述标准波形特征值为大众化的眨眼眼电数字信号波形的特征值，包括标准波峰幅值、标准波谷幅值和标准波峰波谷时间差值。在本实施例中，所述标准波峰幅值为一标准眨眼波形组的均值波峰幅值；所述标准波谷幅值为所述标准眨眼波形组的均值波谷幅值；所述标准波峰波谷时间差值的取值范围(-σ，σ)，σ为所述标准眨眼波形组的均值波峰波谷时间差值的均方差。所述标准眨眼波形组为多个不同人的眨眼动作的眼电数字信号的波形的集合。
所述用户眼电模型库22存储用户的个人眨眼波形，所述个人眨眼波形是用户个人发生真实眨眼动作时的眼电数字信号的有效眨眼波形，该有效眨眼波形的波峰幅值大于所述标准波峰幅值，且该有效眨眼波形的波谷幅值小于所述标准波谷幅值，且该有效眨眼波形的波峰波谷时间差值属于所述标准波峰波谷时间差值的取值范围内。优选地，所述个人眨眼波形可以是用户个人的多个有效眨眼波形的平均波形，具体实施中所述个人眨眼波形可以是10个有效眨眼波形的平均波形。
所述波形截取模块23从所述眼电信号获取单元10的实时眼电数字信号中截取眨眼识别波形。首先，所述波形截取模块23检测实时眼电数字信号中的眨眼识别起始点，所述眨眼识别起始点为实时眼电数字信号的波形发生跳变的时间点；然后以所述眨眼识别起始点为起点截取设定时间段的实时眼电数字信号的波形作为眨眼识别波形，由于人类眨眼动作通常持续0.3～0.8s，因此本实施例的设定时间段选为0.6s。更具体地，在检测所述眨眼识别起始点时可选用5点移动平均法，当实时眼电数字信号的一时间点的幅值与前5个连续时间点的幅值均值的差大于一设定阀值时，则该时间点为眨眼识别起始点。
所述带通滤波模块24对所述眨眼识别波形进行0.1～10Hz的带通滤波。
所述眨眼识别模块25根据所述标准眼电模型库21的标准波形特征值和所述用户眼电模型库22的个人眨眼波形对所述波形截取模块23截取的眨眼识别波形或所述带通滤波模块24滤波后的眨眼识别波形进行眨眼动作的识别，具体为提取所述眨眼识别波形的波峰幅值、波谷幅值和波峰波谷位置差值，并与所述标准眼电模型库21中的标准特征值进行比较，同时计算滤波后的眨眼识别波形与当前用户的个人眨眼波形的相似度，具体可选以Pearson相关系数作为相似度的计算；当所述眨眼识别波形的波峰幅值大于所述标准波峰幅值，且所述眨眼识别波形的波谷幅值小于标准波谷幅值，且所述眨眼识别波形的波峰波谷时间差值属于标准波峰波谷时间差值的取值范围内，且所述眨眼识别波形与当前用户的个人眨眼波形的相似度大于设定的相似度阀值时，则判定当前用户发生了眨眼动作，并发送眨眼通知至所述眼电指令生成模块26。
所述眼电指令生成模块26根据所述眨眼识别模块25发送的眨眼通知记录用户在一持续时间内的眨眼次数，并根据该眨眼次数生成眼电控制指令。更具体地，当所述眼电指令生成模块26在就绪状态中接收到所述眨眼通知时，则以该眨眼通知对应的眨眼识别波形的眨眼识别起始点开始，在一设定持续时间内记录所接收的眨眼通知次数作为眨眼次数，本实施例设定持续时间段为3s。获得眨眼次数后，根据不同的眨眼次数生成不同的眼电控制指令并发送至所述指令发送控制单元50。当超过设定时间，则回到就绪状态。
请参阅图5，其为本实施例的语音信号获取单元30的结构示意图，所述语音信号获取单元30包括语音信号采集模块31和语音信号处理模块32，其中，所述语音信号采集模块31采集来自用户的实时语音模拟信号，并传输至所述语音信号处理模块32。所述语音信号处理模块32对所述语音信号采集模块31采集的实时语音模拟信号进行幅值放大处理，随后再进行滤波处理以滤出环境噪声带来的干扰信号，然后将放大滤波后的实时语音模拟信号转换为实时语音数字信号，最后对该实时语音数字信号进行数字滤波处理以再次滤除环境与其他干扰造成的噪音信号，并将滤波后的实时语音数字信号传输至所述语音信号分析单元40。更具体地，对实时语音模拟信号的幅值放大可通过TDA2005功放电路实现。将实时语音模拟信号转化为实时语音数字信号可通过ADC采集技术实现。
请参阅图6，其为本实施例的语音信号分析单元40的结构示意图，所述语音信号分析单元40包括语音特征提取模块41、语音解码器42、指令词条库43和语音指令生成模块44。
其中，所述语音特征提取模块41对所述语音信号获取单元30的实时语音数字信号进行声学特征的提取，更具体地，首先对所述实时语音数字信号通过预加重处理、分帧加窗处理和端点检测得到语音数字信号中的有效内容，然后通过梅尔频率倒谱系数法在该有效内容中提取声学特征。
所述语音解码器42包括用户声学模型库421、语言模型库422和发音字典423，所述用户声学模型库421存储以用户个人声学特征训练的用户个人声学模型，将语音特征提取模块41提取的声学特征输入用户个人声学模型得到用户语音中的发音信息；所述发音字典43是存储所有词语的发音的词典，将所述用户声学模型库421得到的发音信息输入发音字典43得到符合该发音信息的所有词语；所述语言模型库42存储以词语的出现频率以及句子的语法规则训练的语言模型，将所述发音字典43得到的所有词语输入语言模型库42计算出符合句子的语法规则及出现频率高的词语作为最终的语音识别结果。更具体地，所述语言模型通过对文本数据集通过TF-IDF算法提取关键词，然后将提取的关键词输入神经网络进行训练得到。
所述指令词条库43存储与不同语音控制指令对应的指令词条。
所述语音指令生成模块44根据所述语音解码器42得到的语音识别结果在所述指令词条库43中匹配得到对应的语音控制指令，并发送至所述指令发送控制单元50。
所述指令发送控制单元50根据用户设定的控制模式确定最终控制指令，并将最终控制指令发送至智能设备。用户设定的控制模式包括眼电模式和语音模式，当设定为眼电模式时，指令发送控制单元50发送眼电控制指令；当设定为语音模式时，指令发送控制单元50发送语音控制指令。在具体实施中，用户可以通过电脑、手机等电子设备中的网页或应用程序输入需要设定的模式。在一优选实施例中，所述眼电信号采集模块11设有人体感应器，当用户未设定控制模式时，若人体感应器感应到用户佩戴眼电信号采集模块11的设备进行眼电信号采集，则自动设定为眼电模式，指令发送控制单元50发送眼电控制指令。
请参阅图7，其为本实施例的反馈单元60的结构示意图，所述反馈单元60包括图像反馈模块61和语音反馈模块62，其中图像反馈模块71根据所述眼电信号采集模块11的眼电模拟信号生成眼电信号曲线，同时根据指令发送控制单元50的控制模式显示不同控制模式对应的图像，同时根据智能设备的工作状态显示工作状态对应的图像。语音反馈模块62播放指令发送控制单元50发送的控制指令所对应的语音信息。
请参阅图8，其为另一实施例的基于眼电控制的智能设备控制系统的结构示意图，在另一实施例中，所述眼电信号获取单元10通过第一通讯模块71将眼电数字信号发送至眼电信号分析单元20。所述语音信号分析单元40通过第二通讯模块72将语音控制指令发送至指令发送控制单元50。所述第一通讯模块71和第二通讯模块72为无线通讯模块，具体可以是蓝牙通讯、3G通讯、4G通讯、WIFI无线通讯等无线通讯方式。所述指令发送控制单元50通过第三通讯模块73将最终控制指令发送至一云端服务器74，该云端服务器再通过网络通信发送至智能设备，所述第三通讯模块73为无线网络通讯模块，如WIFI无线通讯、3G通讯、4G通讯等。
在一具体实施中，所述眼电信号分析单元20、指令发送控制单元50可以集成在一个或多个微处理器中实现，例如stm3210x系列或51系列或MSP430微处理器。
当用户进行眼电控制时，所述眼电信号获取单元10的眼电信号采集设备11采集用户的实时眼电模拟信号；接着所述眼电信号处理模块12对该实时眼电模拟信号进行信号增益后转换为实时眼电数字信号并传输至眼电信号分析单元20；所述眼电信号分析单元20的眨眼识别模块25检测并截取该实时眼电数字信号中的眨眼识别波形，然后提取该眨眼识别波形的波形特征值，并将该波形特征值与标准眼电模型库21中的标准特征值进行对比，同时眨眼识别模块25将该眨眼识别波形与用户眼电模型库22中当前用户的个人眨眼波形进行对比，当对比结果符合眨眼动作的要求时，将发送眨眼通知至眼电指令生成模块26；所述眼电指令生成模块26记录一段持续时间内接收到的眨眼通知次数，接着根据该眨眼通知次数生成对应的眼电控制指令并发送至指令发送控制单元50；所述指令发送控制单元50将该眼电控制指令直接发送至智能设备或通过云端服务器转发至智能设备，至此完成对智能设备的眼电控制。
当用户进行语音控制时，所述语音信号获取单元30的语音信号采集设备31采集用户的实时语音模拟信号；接着所述语音信号处理模块32对该实时语音模拟信号进行放大滤波处理后转化成实时语音数字信号，并对该实时语音数字信号进行再次滤波后发送至语音信号分析单元40；语音信号分析单元40的语音特征提取模块41提取滤波后的实时语音数字信号中的声学特征，并输入语音解码器42获取语音识别结果；语音指令生成模块44再根据该语音识别结果在指令词条库43中匹配得到语音控制指令，并发送至指令发送控制单元50；所述指令发送控制单元50将该眼电控制指令直接发送至智能设备或通过云端服务器转发至智能设备，至此完成对智能设备的语音控制。
基于同一发明构思，本发明还提供一种智能设备的控制方法，该控制方法根据用户设定的控制模式确定最终控制指令为眼电控制指令或语音控制指令，并将最终控制指令发送至智能设备或通过云端服务器转发至智能设备。
所述眼电控制指令的生成包括步骤：
A1：获取实时眼电模拟信号，并对所述实时眼电模拟信号进行信号增益后，转换为实时眼电数字模拟信号；
A2：检测所述实时眼电数字信号中的眨眼识别起始点，以所述眨眼识别起始点为起点截取设定时间段的实时眼电数字信号的波形作为眨眼识别波形，对该眨眼识别波形进行带通滤波；
A3：提取所述眨眼识别波形的波峰幅值、波谷幅值和波峰波谷位置差值，并与标准特征值进行比较，同时计算所述眨眼识别波形与当前用户的个人眨眼波形的相似度；
A4：当所述眨眼识别波形的波峰幅值大于所述标准波峰幅值，且所述眨眼识别波形的波谷幅值小于标准波谷幅值，且所述眨眼识别波形的波峰波谷时间差值属于标准波峰波谷时间差值的取值范围内，且所述眨眼识别波形与当前用户的个人眨眼波形的相似度大于设定的相似度阀值时，生成眨眼通知；
A5：获取所述眨眼通知，并以该眨眼通知对应的眨眼识别波形的眨眼识别起始点开始，在一设定持续时间内记录生成眨眼通知的次数作为眨眼次数，并根据该眨眼次数生成对应的眼电控制指令。
所述语音控制指令的生成包括步骤：
B1：获取实时语音模拟信号，并对所述语音模拟信号进行幅值放大处理和滤波处理后，转换为实时语音数字信号，并进行数字滤波处理；
B2：提取所述实时语音数字信号中的声学特征，根据该声学特征获取所述实时语音数字信号中的发音信息，根据该发音信息获取符合该发音信息的所有词语，计算出所有词语中符合句子的语法规则及出现频率高的词语作为最终的语音识别结果；
B3：根据所述语音识别结果生成对应的语音控制指令。
该控制方法中的更具体的实施方式与本发明的智能设备的控制系统相同，因此在此不再赘述。
相对于现有技术，本发明基于眼电控制的智能设备控制系统及控制方法可以通过眼电控制或语音控制，在满足肢体不便人群对智能设备控制的同时，还能满足有语言障碍人群对智能设备控制。在眼电控制中，用户只需进行眨眼这样轻松的动作便可发送控制指令。而且对用户的眨眼动作的识别是经过大众标准化的标准波形特征值和个性化的个人眨眼波形的双重校验的，如果只经过大众标准化的标准波形特征值校验，设置较低的对比要求则导致准确性差，设置较高的对比要求则包容性差；如果只经过个性化的个人眨眼波形校验，设置较低的对比要求同样导致准确性差，设置较高的对比要求则控制难度大。因此两者结合的控制系统及方法能够既保证眨眼动作识别的精确度高，从而对智能设备的可控性高，又具有包容性强和易于控制的特点。
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。
Claims (16)
1.一种基于眼电控制的智能设备控制系统，其特征在于：包括眼电信号获取单元、眼电信号分析单元和指令发送控制单元，所述眼电信号获取单元获取实时眼电模拟信号并转换为实时眼电数字信号；
所述眼电信号分析单元包括标准眼电模型库、用户眼电模型库、波形截取模块、眨眼识别模块和眼电指令生成模块，所述标准眼电模型库存储标准波形特征值；所述用户眼电模型库存储用户的个人眨眼波形；所述波形截取模块截取所述实时眼电数字信号中的眨眼识别波形；所述眨眼识别模块将所述眨眼识别波形的波形特征值与所述标准波形特征值进行对比，同时计算所述眨眼识别波形与用户的个人眨眼波形的相似度，并根据对比结果发送眨眼通知至所述眼电指令生成模块；所述眼电指令生成模块根据以该眨眼通知对应的眨眼识别波形的起始点开始的一持续时间内接收的所述眨眼通知次数生成眼电控制指令；
所述指令发送控制单元将所述眼电控制指令发送至智能设备。
2.根据权利要求1所述的基于眼电控制的智能设备控制系统，其特征在于：所述标准波形特征值包括标准波峰幅值、标准波谷幅值和标准波峰波谷时间差值；当所述眨眼识别波形的波峰幅值大于所述标准波峰幅值，且所述眨眼识别波形的波谷幅值小于所述标准波谷幅值，且所述眨眼识别波形的波峰波谷时间差值属于标准波峰波谷时间差值的取值范围内，且所述眨眼识别波形与用户的个人眨眼波形的相似度大于一设定相似度阀值时，所述眨眼识别模块发送眨眼通知至所述眼电指令生成模块。
3.根据权利要求1所述的基于眼电控制的智能设备控制系统，其特征在于：所述标准波形特征值包括标准波峰幅值、标准波谷幅值和标准波峰波谷时间差值；所述个人眨眼波形是用户个人的多个有效眨眼波形的平均波形，所述有效眨眼波形的波峰幅值大于所述标准波峰幅值，且所述有效眨眼波形的波谷幅值小于所述标准波谷幅值，且所述有效眨眼波形的波峰波谷时间差值属于所述标准波峰波谷时间差值的取值范围内。
4.根据权利要求2-3中任一项所述的基于眼电控制的智能设备控制系统，其特征在于：所述标准波峰幅值为标准眨眼波形组的均值波峰幅值，所述标准波谷幅值为标准眨眼波形组的均值波谷幅值，所述标准波峰波谷时间差值的取值范围为(-σ，σ)，σ为标准眨眼波形组的均值波峰波谷时间差值的均方差；所述标准眨眼波形组为多个不同人的眨眼动作的眼电数字信号的波形的集合。
5.根据权利要求1所述的基于眼电控制的智能设备控制系统，其特征在于：所述波形截取模块检测所述实时眼电数字信号的波形发生跳变的时间点作为眨眼识别起始点，并以所述眨眼识别起始点截取一设定时间段的实时眼电数字信号的波形作为眨眼识别波形。
6.根据权利要求1所述的基于眼电控制的智能设备控制系统，其特征在于：还包括语音信号获取单元和语音信号分析单元，所述语音信号获取单元获取实时语音模拟信号并转换为实时语音数字信号；
所述语音信号分析单元包括语音特征提取模块、语音解码器、指令词条库和语音指令生成模块，所述语音特征提取模块对所述实时语音数字信号进行声学特征的提取；所述语音解码器根据语音特征提取模块提取的所述声学特征获得语音识别结果；所述指令词条库存储与不同语音控制指令对应的指令词条；所述语音指令生成模块根据所述语音识别结果在所述指令词条库中匹配生成语音控制指令；
所述指令发送控制单元根据用户设定的控制模式将所述眼电控制指令或所述语音控制指令发送至智能设备。
7.根据权利要求6所述的基于眼电控制的智能设备控制系统，其特征在于：还包括实现无线通讯的第一通讯模块、第二通讯模块和第三通讯模块，以及实现网络通讯的云端服务器；所述眼电信号获取单元通过所述第一通讯模块将眼电数字信号发送至所述眼电信号分析单元；所述语音信号分析单元通过所述第二通讯模块将语音控制指令发送至指令发送控制单元；所述指令发送控制单元通过所述第三通讯模块将所述眼电控制指令或所述语音控制指令发送至所述云端服务器，经由所述云端服务器将所述眼电控制指令或所述语音控制指令转发至智能设备。
8.根据权利要求1所述的基于眼电控制的智能设备控制系统，其特征在于：所述眼电信号获取单元包括眼电信号采集模块和眼电信号处理模块，所述眼电信号采集模块采集实时眼电模拟信号；所述眼电信号处理模块对所述实时眼电模拟信号进行信号增益以抑制所述实时眼电模拟信号中的低频噪声和失调电压，以及进行模数转换获得实时眼电数字信号；
所述眼电信号分析单元还包括带通滤波模块，所述带通滤波模块对所述波形截取模块截取的眨眼识别波形进行0.1～10Hz的带通滤波；
所述语音信号获取单元包括语音信号采集模块和语音信号处理模块，所述语音信号采集模块采集模块采集实时语音模拟信号；所述语音信号处理模块对所述实时语音模拟信号进行幅值放大处理和滤波处理，以及进行模数转换获得实时语音数字信号，并再次进行数字滤波处理。
9.一种基于眼电控制的智能设备控制方法，其特征在于：获取实时眼电模拟信号，并转换为实时眼电数字模拟信号；截取所述实时眼电数字信号中的眨眼识别波形；将所述眨眼识别波形的波形特征值与所述标准波形特征值进行对比，同时计算所述眨眼识别波形与个人眨眼波形的相似度，并根据对比结果生成眨眼通知；根据以该眨眼通知对应的眨眼识别波形的起始点开始的一持续时间内接收的所述眨眼通知次数生成眼电控制指令；发送所述眼电控制指令至智能设备。
10.根据权利要求9所述的基于眼电控制的智能设备控制方法，其特征在于：所述标准波形特征值包括标准波峰幅值、标准波谷幅值和标准波峰波谷时间差值；当所述眨眼识别波形的波峰幅值大于所述标准波峰幅值，且所述眨眼识别波形的波谷幅值小于所述标准波谷幅值，且所述眨眼识别波形的波峰波谷时间差值属于标准波峰波谷时间差值的取值范围内，且所述眨眼识别波形与用户的个人眨眼波形的相似度大于一设定相似度阀值时，生成眨眼通知。
11.根据权利要求9所述的基于眼电控制的智能设备控制方法，其特征在于：所述标准波形特征值包括标准波峰幅值、标准波谷幅值和标准波峰波谷时间差值；所述个人眨眼波形是用户个人的多个有效眨眼波形的平均波形，所述有效眨眼波形的波峰幅值大于所述标准波峰幅值，且所述有效眨眼波形的波谷幅值小于所述标准波谷幅值，且所述有效眨眼波形的波峰波谷时间差值属于所述标准波峰波谷时间差值的取值范围内。
12.根据权利要求10-11中任一项所述的基于眼电控制的智能设备控制方法，其特征在于：所述标准波峰幅值为标准眨眼波形组的均值波峰幅值，所述标准波谷幅值为标准眨眼波形组的均值波谷幅值，所述标准波峰波谷时间差值的取值范围为(-σ，σ)，σ为标准眨眼波形组的均值波峰波谷时间差值的均方差；所述标准眨眼波形组为多个不同人的眨眼动作的眼电数字信号的波形的集合。
13.根据权利要求9所述的基于眼电控制的智能设备控制方法，其特征在于：截取所述实时眼电数字信号中的眨眼识别波形时以所述实时眼电数字信号的波形发生跳变的时间点作为眨眼识别起始点，并以所述眨眼识别起始点截取一设定时间段的实时眼电数字信号的波形作为眨眼识别波形。
14.根据权利要求9所述的基于眼电控制的智能设备控制方法，其特征在于：根据用户设定的控制模式发送所述眼电控制指令或所述语音控制指令发送至智能设备；
所述语音控制指令的生成方法包括：获取实时语音模拟信号，并转换为实时语音数字信号；提取所述实时语音数字信号中的声学特征，根据该声学特征获取语音识别结果；根据所述语音识别结果生成对应的语音控制指令。
15.根据权利要求14所述的基于眼电控制的智能设备控制方法，其特征在于：通过网络通讯的方式发送所述眼电控制指令或所述语音控制指令发送至智能设备。
16.根据权利要求9所述的基于眼电控制的智能设备控制方法，其特征在于：对所述实时眼电模拟信号进行信号增益以抑制所述实时眼电模拟信号中的低频噪声和失调电压后转换为所述实时眼电数字信号；对截取的所述眨眼识别波形进行0.1～10Hz的带通滤波；对所述实时语音模拟信号进行幅值放大处理和滤波处理后转换为所述实时语音数字信号，并对该实时语音数字信号再次进行数字滤波处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111646398.2A CN114488878A (zh) | 2021-12-29 | 2021-12-29 | 基于眼电控制的智能设备控制系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111646398.2A CN114488878A (zh) | 2021-12-29 | 2021-12-29 | 基于眼电控制的智能设备控制系统及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114488878A true CN114488878A (zh) | 2022-05-13 |
Family
ID=81507721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111646398.2A Pending CN114488878A (zh) | 2021-12-29 | 2021-12-29 | 基于眼电控制的智能设备控制系统及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114488878A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101598973A (zh) * | 2009-06-26 | 2009-12-09 | 安徽大学 | 基于眼电信号的人机交互系统 |
| CN101599127A (zh) * | 2009-06-26 | 2009-12-09 | 安徽大学 | 眼电信号的特征提取与识别方法 |
| CN106293050A (zh) * | 2015-08-19 | 2017-01-04 | 北京智谷睿拓技术服务有限公司 | 输入信息确定方法和设备 |
| CN107007407A (zh) * | 2017-04-12 | 2017-08-04 | 华南理工大学 | 基于眼电的轮椅控制系统 |
| CN108470155A (zh) * | 2018-03-06 | 2018-08-31 | 中国船舶重工集团公司第七二四研究所 | 一种雷达辐射源个体识别的大规模流式数据处理方法 |
| US20200064921A1 (en) * | 2016-11-16 | 2020-02-27 | Samsung Electronics Co., Ltd. | Electronic device and control method thereof |
| CN112578682A (zh) * | 2021-01-05 | 2021-03-30 | 陕西科技大学 | 一种基于眼电控制的智能助障家居系统 |
| CN113314119A (zh) * | 2021-07-27 | 2021-08-27 | 深圳百昱达科技有限公司 | 语音识别智能家居控制方法及装置 |
-
2021
- 2021-12-29 CN CN202111646398.2A patent/CN114488878A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101598973A (zh) * | 2009-06-26 | 2009-12-09 | 安徽大学 | 基于眼电信号的人机交互系统 |
| CN101599127A (zh) * | 2009-06-26 | 2009-12-09 | 安徽大学 | 眼电信号的特征提取与识别方法 |
| CN106293050A (zh) * | 2015-08-19 | 2017-01-04 | 北京智谷睿拓技术服务有限公司 | 输入信息确定方法和设备 |
| US20200064921A1 (en) * | 2016-11-16 | 2020-02-27 | Samsung Electronics Co., Ltd. | Electronic device and control method thereof |
| CN107007407A (zh) * | 2017-04-12 | 2017-08-04 | 华南理工大学 | 基于眼电的轮椅控制系统 |
| CN108470155A (zh) * | 2018-03-06 | 2018-08-31 | 中国船舶重工集团公司第七二四研究所 | 一种雷达辐射源个体识别的大规模流式数据处理方法 |
| CN112578682A (zh) * | 2021-01-05 | 2021-03-30 | 陕西科技大学 | 一种基于眼电控制的智能助障家居系统 |
| CN113314119A (zh) * | 2021-07-27 | 2021-08-27 | 深圳百昱达科技有限公司 | 语音识别智能家居控制方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059575A (zh) | 一种基于表面肌电唇语识别的辅助沟通系统 | |
| CN101464729B (zh) | 基于听觉认知神经信号的自主意愿表达方法 | |
| US10878818B2 (en) | Methods and apparatus for silent speech interface | |
| CN106267514B (zh) | 基于脑电反馈的情绪调控系统 | |
| CN110604565A (zh) | 一种基于便携式eeg设备的脑部健康筛查方法 | |
| CN103294199B (zh) | 一种基于脸部肌音信号的无声信息识别系统 | |
| AU2021250913B2 (en) | Localized collection of biological signals, cursor control in speech-assistance interface based on biological electrical signals and arousal detection based on biological electrical signals | |
| CN107981997B (zh) | 一种基于人脑运动意图的智能轮椅控制方法及系统 | |
| CN103793058A (zh) | 一种主动式脑机交互系统运动想象任务分类方法及装置 | |
| CN110367934B (zh) | 一种基于非语音身体声音的健康监测方法及监测系统 | |
| CN111856958A (zh) | 智能家居控制系统、控制方法、计算机设备及存储介质 | |
| CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
| CN109460144A (zh) | 一种基于发声神经电位的脑机接口控制系统及方法 | |
| CN116339509A (zh) | 一种智能终端设备的控制方法及控制装置 | |
| CN104571533A (zh) | 一种基于脑机接口技术的装置和方法 | |
| CN113855052B (zh) | 一种基于正念冥想的神经反馈干预系统及方法 | |
| CN111685779A (zh) | 一种基于便携式eeg设备的精神分裂障碍筛查方法 | |
| CN112672120B (zh) | 一种带语音分析功能的投影仪及个人健康数据生成方法 | |
| CN104793743A (zh) | 一种虚拟社交系统及其控制方法 | |
| CN112578682A (zh) | 一种基于眼电控制的智能助障家居系统 | |
| CN114488878A (zh) | 基于眼电控制的智能设备控制系统及控制方法 | |
| CN109982046A (zh) | 一种便于婴幼儿护理的云自动摄像监控系统及方法 | |
| CN213423727U (zh) | 一种基于tgam的智能家居控制装置 | |
| CN209515202U (zh) | 一种急救信息传递系统 | |
| CN113208621A (zh) | 一种基于eeg信号的梦境交互方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220513 |