CN107358026A - 一种基于脑机接口和物联网的残疾人智能陪护系统 - Google Patents
一种基于脑机接口和物联网的残疾人智能陪护系统 Download PDFInfo
- Publication number
- CN107358026A CN107358026A CN201710448687.9A CN201710448687A CN107358026A CN 107358026 A CN107358026 A CN 107358026A CN 201710448687 A CN201710448687 A CN 201710448687A CN 107358026 A CN107358026 A CN 107358026A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msub
- mtr
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B19/00—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow
- G08B19/005—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow combined burglary and fire alarm systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于脑机接口和物联网的残疾人智能陪护系统，克服了现有技术中，残疾人陪护系统对残疾人情感和安全问题仍需改进的问题。该发明包括脑控轮椅助行子系统、情绪与体征安全监测子系统、家居突发情况报警子系统和信息采集处理子系统，其中脑控轮椅助行子系统将脑电帽采集的脑电信号传递给信息采集处理子系统，信息采集处理子系统对用户脑电信号进行处理识别，再将处理识别后的脑电控制信号经过转换器输入脑控轮椅的控制单元来控制轮椅行动；情绪与体征安全监测子系统根据检测结果通过智能陪护机器人调节用户情绪。该技术将脑电信号处理转化为控制命令，辅助残疾人控制电动轮椅，保障其健康和安全，减少医生及家属的负担。
Description
技术领域
该发明涉及一种残疾人智能陪护系统，特别是涉及一种基于脑机接口和物联网的残疾人智能陪护系统。
背景技术
当前，中国残疾人数量逐渐增多，各类家庭安全事故骤增。对于行动不便的残疾人，尤其是高位截瘫和双肢残疾，他们的行动需要轮椅的协助。有的因为缺乏健全的双手，甚至连基本的家用电器都无法使用。此外，他们也易受各种心理问题困扰。残疾人的照料和护理问题日益突出。伴随着我国残疾人事业的跨越式发展，健全残疾人社会保障和服务体系，切实保障残疾人权益已经引起了社会各界广泛的关注。然而，残疾人的身体、心理照顾等方面的供需矛盾仍尤为突出，由于缺乏照顾和陪伴而导致的残疾人安全事故屡有发生。目前，市场上虽已有不少残疾人陪护系统，但针对残疾人情感和安全问题考虑的智能陪护系统还较少，并不能满足残疾人的实际应用需求。
发明内容
本发明克服了现有技术中，残疾人陪护系统对残疾人情感和安全问题的考虑仍需改进和提升的问题，提供一种照顾陪护效果好的基于脑机接口和物联网的残疾人智能陪护系统。
本发明的技术解决方案是，提供一种具有以下步骤的基于脑机接口和物联网的残疾人智能陪护系统：包括脑控轮椅助行子系统、情绪与体征安全监测子系统、家居突发情况报警子系统和信息采集处理子系统，其中脑控轮椅助行子系统将脑电帽采集的脑电信号传递给信息采集处理子系统，信息采集处理子系统对用户脑电信号进行处理识别，再将处理识别后的脑电控制信号经过转换器输入脑控轮椅的控制单元来控制轮椅行动；情绪与体征安全监测子系统将脑电帽采集的脑电信号传递给信息采集处理子系统，信息采集处理子系统对脑电信号进行处理，再将处理后的脑电信号传递给情绪与体征安全监测子系统来检测用户情绪，情绪与体征安全监测子系统根据检测结果通过智能陪护机器人调节用户情绪；家居突发情况报警子系统将传感器采集到的数据传递给信息采集处理子系统，经信息采集处理子系统处理后回传给家居突发情况报警子系统，其对突发情况进行报警。
优选地，所述脑控轮椅助行子系统包括，运动想像脑电信号的检测分类算法，其具体算法为：
步骤1、使用Emotive Epoc+脑电帽采集头部脑电波信号，采用独立分量分析法滤除眨眼、眼动、吞咽动作产生的眼电和肌电的伪迹干扰信号；其具体处理流程为：
设X(t)＝[x1(t),x2(t),Λ,xN(t)]T是N维的目标观测信号，S(t)＝[s1(t),s2(t),Λ,sN(t)]T是产生观测信号的N个源信号X(t)和S(t)两者之间相互独立；V(t)＝[v1(t),v2(t),Λ,vN(t)]T是N维噪声，混合过程表示如下：
记作：X(t)＝AS(t)+V(t)
其中矩阵A是混合矩阵，独立分量分析法是基于观测信号和源信号是统计独立的假设，在源信号和混合矩阵未知的情况下，通过分离矩阵W，使得输出信号Y逼近真实源信号S(t)；输出信号Y(t)表示如下：
Y(t)＝WX(t)
步骤2、对上一步获取的信号采用小波包分解法，提取事件相关同步电位作为特征向量；具体求解流程为，采用Daubechies小波函数，对脑电信号进行6级小波包分解，在分解出来的小波包子带上提取向量分量的指标值，并构成特征向量；
步骤3、采用支持向量机分类器对特征向量进行分类处理；具体求解流程为，采用径向基核函数对脑电信号进行分类:
步骤4、根据运动想象的分类结果对轮椅进行控制。
优选地，所述情绪与体征安全监测子系统包括如下工作步骤：
步骤1、人体体温传感器定时检测人体温度；
步骤2、将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点；
步骤3、汇集节点通过串口将数据传给计算机，计算机程序对数据进行判定，
步骤4、计算机根据判定结果实现蜂鸣器报警和计算机语音报警；
步骤5、使用Emotive Epoc+脑电帽采集头部脑电波信号，采用独立分量分析法滤除眨眼、眼动、吞咽动作产生的眼电和肌电的伪迹干扰信号，其具体处理流程为：
设X(t)＝[x1(t),x2(t),Λ,xN(t)]T是N维的目标观测信号，S(t)＝[s1(t),s2(t),Λ,sN(t)]T是产生观测信号的N个源信号X(t)和S(t)两者之间相互独立；V(t)＝[v1(t),v2(t),Λ,vN(t)]T是N维噪声，混合过程表示如下：
记作：X(t)＝AS(t)+V(t)
其中矩阵A是混合矩阵，独立分量分析法是基于观测信号和源信号是统计独立的假设，在源信号和混合矩阵未知的情况下，通过分离矩阵W，使得输出信号Y逼近真实源信号S(t)；输出信号Y(t)表示如下：
Y(t)＝WX(t)
步骤6、对上一步获取的信号采用频域分析方法，提取事件相关同步电位作为特征向量,具体如下，对上一步获取的信号，采用频域分析方法，利用STFT计算功率谱，将功率谱分为四个频带，分别为δ频带、θ频带、α频带、β频带，在这四个频带对于频率进行平均，分别求出每一电极上在每一秒内四个频带上的平均能量，这些平均能量的值，作为脑电信号在每一秒的特征值；
步骤7、采用支持向量机分类器对特征向量进行分类处理，具体求解流程为，采用径向基核函数对脑电信号进行分类:
步骤8、通过语音反馈情绪识别结果并通过智能陪护机器人进行情绪干预。
优选地，所述智能陪护机器人为NAO机器人。
优选地，所述家居突发情况报警子系统对火灾烟雾和外人入侵状态进行报警，其中火灾烟雾报警功能包括如下工作步骤：
步骤1、室内烟雾传感器定时检测烟雾；
步骤2、将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点；
步骤3、汇集节点通过串口将数据传给计算机，计算机程序对数据进行判定；
步骤4、计算机根据判定结果实现蜂鸣器报警、灯光闪烁报警、向用户和陪护人员发送警报信息、在客户端显示火灾发生位置、计算机语音报警和派机器人侦查拍摄现场；
其中外人入侵报警功能包括如下工作步骤：
步骤1、在门、窗处的热释电传感器检测到有入侵者进入；
步骤2、将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点，将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点；
步骤3、五秒后，隐蔽开关没有关闭，功能正常运行；
步骤4、汇集节点通过串口将数据传给计算机，并由计算机程序进行判定，
步骤5、计算机根据判定结果实现蜂鸣器报警、计算机语音报警、向用户和陪护人员发送警报信息并显示入侵者在房间中的位置。
优选地，所述信息采集与处理子系统包括如下工作步骤：
步骤1、各个子系统将数据通过串口传递给计算机；
步骤2、计算机通过matlab对脑电信号处理；
步骤3、计算机通过C#程序对zigbee传感网信号处理；
步骤4、计算机将处理完成后的数据回传给各个子系统。
优选地，所述脑控轮椅上安装有arduino开发板，智能陪护轮椅前部装有超声波传感器，其通过数据线与智能陪护轮椅上的arduino开发板相连，实现自动避障，自动避障的过程包括如下步骤：
步骤1、超声波传感器检测前方障碍物到传感器的距离小于5米，并回传给arduino开发板；
步骤2、arduino开发板对回传数据进行判断，然后给轮椅电动机运行电路中的继电器发送电信号，使其断开，对轮椅制动，同时给蜂鸣器发出指令，蜂鸣器报警；
步骤3、经过5s后，arduino开发板给继电器发送电信号，使其闭合，轮椅电动机运行电路恢复，同时给蜂鸣器发出指令，蜂鸣器停止工作。
与现有技术相比，本发明基于脑机接口和物联网的残疾人智能陪护系统具有以下优点：基于脑机接口的电动轮椅实现通过脑电对轮椅的控制，在现今医疗方法还无法完全帮助某些特殊人群疾病的情况下，建立一套基于脑机接口的助行系统，即采集脑电信号，通过信号处理转化为控制命令，从而辅助残疾人控制电动轮椅，能够帮助残疾人的康复生活，减少医护人员及家属的工作量。
把情绪融入智能陪护系统，通过脑电能够客观准确地反映人的情绪状态。脑电实时性强、反应灵敏、不易伪装和识别结果客观真实，此时无须任何的表情语言，就可以与外界进行情感交流。此外，有情绪监控功能可以实时对用户的心理状况进行检测，便于陪护人员了解掌握用户的心理动态，来预防用户产生消极的想法而酿成的悲剧。
引入脑机交互方式的智能陪护，借助NAO机器人的仿人外表，能够与人进行对话交流等互动。当人出现负性情绪时，可以进行情绪调节，如唱歌跳舞对话等。此外，NAO机器人还可以进行拍照以及其他娱乐功能。NAO机器人可以进行心理的陪护，这在目前的产品应用中是鲜有的。
附图说明
图1是本发明基于脑机接口和物联网的残疾人智能陪护系统的整体流程图；
图2是本发明基于脑机接口和物联网的残疾人智能陪护系统中体征安全监测子系统的流程图；
图3是本发明基于脑机接口和物联网的残疾人智能陪护系统中外人入侵报警功能的流程图；
图4是本发明基于脑机接口和物联网的残疾人智能陪护系统中火灾烟雾报警功能的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明基于脑机接口和物联网的残疾人智能陪护系统作进一步说明，本发明所采用的技术方案是：运用脑机接口技术和物联网技术，提出并开发了一套面向残疾人情感和安全保障的智能陪护系统。该系统主要由信息采集处理子系统、脑控轮椅助行子系统、情绪与体征安全监测子系统、家居突发情况报警子系统四大子系统组成。系统能够实现基于脑电的电动轮椅控制、人体体征和情绪的监测、家居突发情况干预处理的功能，能够实时监测残疾人的情绪和生理状态变化，并能适时地通过智能化的人机交互进行预警或干预，可为残疾人提供身体、心理、情感等多方面的照顾、陪伴和安全保障。
如图所示，本实施例中包括脑控轮椅助行子系统、情绪与体征安全监测子系统、家居突发情况报警子系统和信息采集处理子系统，其中脑控轮椅助行子系统中脑电信号采集器通过无线传输模块将采集到的脑电信号传输给信息采集处理子系统，信息采集处理子系统对用户脑电信号进行处理识别，再将处理识别后的脑电控制信号经过转换器输入脑控轮椅的控制单元来控制轮椅行动。
无线传输模块可以通过WIFI和蓝牙进行传输控制。
情绪与体征安全监测子系统将脑电帽采集脑电信号后传递给信息采集处理子系统，信息采集处理子系统对脑电信号进行处理，再将处理后的脑电信号传递给情绪与体征安全监测子系统来检测用户情绪，情绪与体征安全监测子系统根据检测结果通过智能陪护机器人调节用户情绪；家居突发情况报警子系统将传感器采集到的数据传给信息采集处理子系统，经信息采集处理子系统处理后回传给家居突发情况报警子系统，其对突发情况进行报警。
所述脑控轮椅助行子系统包括，运动想像脑电信号的检测分类算法，其具体算法为：
步骤1、使用Emotive Epoc+脑电帽采集头部脑电波信号，采用独立分量分析法(ICA)滤除眨眼、眼动、吞咽动作产生的眼电和肌电的伪迹干扰信号；其具体处理流程为：
设X(t)＝[x1(t),x2(t),Λ,xN(t)]T是N维的目标观测信号，S(t)＝[s1(t),s2(t),Λ,sN(t)]T是产生观测信号的N个源信号X(t)和S(t)两者之间相互独立；V(t)＝[v1(t),v2(t),Λ,vN(t)]T是N维噪声，混合过程表示如下：
记作：X(t)＝AS(t)+V(t)
其中矩阵A是混合矩阵，ICA的目的是基于观测信号和源信号是统计独立的假设，在源信号和混合矩阵未知的情况下，通过分离矩阵W，使得输出信号Y逼近真实源信号S(t)；输出信号Y(t)表示如下：
Y(t)＝WX(t)
步骤2、对上一步获取的信号采用小波包分解法，提取事件相关同步电位作为特征向量；具体求解流程为，采用Daubechies小波(db4)函数，对EEG信号进行6级小波包分解。在分解出来的小波包子带上提取向量分量的指标值，并构成特征向量。
步骤3、采用支持向量机分类器对特征向量进行分类处理；具体求解流程为，采用径向基核函数对脑电信号进行分类:
步骤4、根据运动想象的分类结果对轮椅进行控制。
所述情绪与体征安全监测子系统包括如下工作步骤：
步骤1、人体体温传感器定时检测人体温度；
步骤2、将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点；
步骤3、汇集节点通过串口将数据传给计算机，计算机程序对数据进行判定，
步骤4、计算机根据判定结果实现蜂鸣器报警和计算机语音报警；
步骤5、使用Emotive Epoc+脑电帽采集头部脑电波信号，采用独立分量分析法(ICA)滤除眨眼、眼动、吞咽动作产生的眼电和肌电的伪迹干扰信号，其具体处理流程为：
设X(t)＝[x1(t),x2(t),Λ,xN(t)]T是N维的目标观测信号，S(t)＝[s1(t),s2(t),Λ,sN(t)]T是产生观测信号的N个源信号X(t)和S(t)两者之间相互独立；V(t)＝[v1(t),v2(t),Λ,vN(t)]T是N维噪声，混合过程表示如下：
记作：X(t)＝AS(t)+V(t)
其中矩阵A是混合矩阵，ICA的目的是基于观测信号和源信号是统计独立的假设，在源信号和混合矩阵未知的情况下，通过分离矩阵W，使得输出信号Y逼近真实源信号S(t)；输出信号Y(t)表示如下：
Y(t)＝WX(t)
步骤6、对上一步获取的信号采用频域分析方法，提取事件相关同步电位作为特征向量,具体如下，对上一步获取的信号，采用频域分析方法，利用STFT计算功率谱，将功率谱分为四个频带，分别为δ频带(1-3Hz)、θ频带(4-7Hz)、α频带(8-13Hz)、β频带(14-30Hz)，在这四个频带对于频率进行平均，分别求出每一电极上在每一秒内四个频带上的平均能量，这些平均能量的值，即可作为脑电信号在每一秒的特征值；
步骤7、采用支持向量机分类器对特征向量进行分类处理，具体求解流程为，采用径向基核函数对脑电信号进行分类:
步骤8、通过语音反馈情绪识别结果并通过智能陪护机器人进行情绪干预。
所述智能陪护机器人为NAO机器人。
所述家居突发情况报警子系统对火灾烟雾和外人入侵状态进行报警，其中火灾烟雾报警功能包括如下工作步骤：
步骤1、室内烟雾传感器检测到烟雾；
步骤2、将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点；
步骤3、汇集节点通过串口将数据传给计算机，计算机程序对数据进行判定；
步骤4、计算机根据判定结果实现蜂鸣器报警、灯光闪烁报警、向用户和陪护人员发送警报信息、在客户端显示火灾发生位置、计算机语音报警和派机器人侦查拍摄现场；
其中外人入侵报警功能包括如下工作步骤：
步骤1、在门、窗处的热释电传感器检测到有入侵者进入；
步骤2、将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点，将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点；
步骤3、五秒后，隐蔽开关没有关闭，功能正常运行；
步骤4、汇集节点通过串口将数据传给计算机，并由计算机程序进行判定，
步骤5、计算机根据判定结果实现蜂鸣器报警、计算机语音报警、向用户和陪护人员发送警报信息并显示入侵者在房间中的位置。
所述信息采集处理子系统包括如下工作步骤：
步骤1、各个子系统将数据通过串口传递给计算机；
步骤2、计算机通过matlab对脑电信号处理；
步骤3、计算机通过C#程序对zigbee传感网信号处理；
步骤4、计算机将处理完成后的数据回传给各个子系统。
所述脑控轮椅上安装有arduino开发板，智能陪护轮椅前部装有超声波传感器，其通过数据线与智能陪护轮椅上的arduino开发板相连，实现自动避障，自动避障的过程包括如下步骤：
步骤1、超声波传感器检测前方障碍物到传感器的距离小于5米，并回传给arduino开发板；
步骤2、arduino开发板对回传数据进行判断，然后给轮椅电动机运行电路中的继电器发送电信号，使其断开，对轮椅制动，同时给蜂鸣器发出指令，蜂鸣器报警；
步骤3、经过5s后，arduino开发板给继电器发送电信号，使其闭合，轮椅电动机运行电路恢复，同时给蜂鸣器发出指令，蜂鸣器停止工作。
Claims (7)
1.一种基于脑机接口和物联网的残疾人智能陪护系统，其特征在于：其包括脑控轮椅助行子系统、情绪与体征安全监测子系统、家居突发情况报警子系统和信息采集处理子系统，其中脑控轮椅助行子系统将脑电帽采集的脑电信号传递给信息采集处理子系统，信息采集处理子系统对用户脑电信号进行处理识别，再将处理识别后的脑电控制信号经过转换器输入脑控轮椅的控制单元来控制轮椅行动；情绪与体征安全监测子系统将脑电帽采集的脑电信号传递给信息采集处理子系统，信息采集处理子系统对脑电信号进行处理，再将处理后的脑电信号传递给情绪与体征安全监测子系统来检测用户情绪，情绪与体征安全监测子系统根据检测结果通过智能陪护机器人调节用户情绪；家居突发情况报警子系统将传感器采集到的数据传递给信息采集处理子系统，经信息采集处理子系统处理后回传给家居突发情况报警子系统，其对突发情况进行报警。
2.根据权利要求1所述的基于脑机接口和物联网的残疾人智能陪护系统，其特征在于：所述脑控轮椅助行子系统包括，运动想像脑电信号的检测分类算法，其具体算法为：
步骤1、使用Emotive Epoc+脑电帽采集头部脑电波信号，采用独立分量分析法滤除眨眼、眼动、吞咽动作产生的眼电和肌电的伪迹干扰信号；其具体处理流程为：
设X(t)＝[x1(t),x2(t),Λ,xN(t)]T是N维的目标观测信号，S(t)＝[s1(t),s2(t),Λ,sN(t)]T是产生观测信号的N个源信号X(t)和S(t)两者之间相互独立；V(t)＝[v1(t),v2(t),Λ,vN(t)]T是N维噪声，混合过程表示如下：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>M</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<mi>&Lambda;</mi>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mrow>
<mn>1</mn>
<mi>N</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>M</mi>
</mtd>
<mtd>
<mi>M</mi>
</mtd>
<mtd>
<mi>M</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mrow>
<mi>N</mi>
<mn>1</mn>
</mrow>
</msub>
</mtd>
<mtd>
<mi>&Lambda;</mi>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mrow>
<mi>N</mi>
<mi>N</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>s</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>M</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>s</mi>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>M</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>v</mi>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
记作：X(t)＝AS(t)+V(t)
其中矩阵A是混合矩阵，独立分量分析法是基于观测信号和源信号是统计独立的假设，在源信号和混合矩阵未知的情况下，通过分离矩阵W，使得输出信号Y逼近真实源信号S(t)；输出信号Y(t)表示如下：
Y(t)＝WX(t)
步骤2、对上一步获取的信号采用小波包分解法，提取事件相关同步电位作为特征向量；具体求解流程为，采用Daubechies小波函数，对脑电信号进行6级小波包分解，在分解出来的小波包子带上提取向量分量的指标值，并构成特征向量；
步骤3、采用支持向量机分类器对特征向量进行分类处理；具体求解流程为，采用径向基核函数对脑电信号进行分类:
<mrow>
<mi>K</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
步骤4、根据运动想象的分类结果对轮椅进行控制。
3.根据权利要求2所述的基于脑机接口和物联网的残疾人智能陪护系统，其特征在于：所述情绪与体征安全监测子系统包括如下工作步骤：
步骤1、人体体温传感器定时检测人体温度；
步骤2、将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点；
步骤3、汇集节点通过串口将数据传给计算机，计算机程序对数据进行判定，
步骤4、计算机根据判定结果实现蜂鸣器报警和计算机语音报警；
步骤5、使用Emotive Epoc+脑电帽采集头部脑电波信号，采用独立分量分析法滤除眨眼、眼动、吞咽动作产生的眼电和肌电的伪迹干扰信号，其具体处理流程为：
设X(t)＝[x1(t),x2(t),Λ,xN(t)]T是N维的目标观测信号，S(t)＝[s1(t),s2(t),Λ,sN(t)]T是产生观测信号的N个源信号X(t)和S(t)两者之间相互独立；V(t)＝[v1(t),v2(t),Λ,vN(t)]T是N维噪声，混合过程表示如下：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>M</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<mi>&Lambda;</mi>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mrow>
<mn>1</mn>
<mi>N</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>M</mi>
</mtd>
<mtd>
<mi>M</mi>
</mtd>
<mtd>
<mi>M</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mrow>
<mi>N</mi>
<mn>1</mn>
</mrow>
</msub>
</mtd>
<mtd>
<mi>&Lambda;</mi>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mrow>
<mi>N</mi>
<mi>N</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>s</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>M</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>s</mi>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>M</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>v</mi>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
记作：X(t)＝AS(t)+V(t)
其中矩阵A是混合矩阵，独立分量分析法是基于观测信号和源信号是统计独立的假设，在源信号和混合矩阵未知的情况下，通过分离矩阵W，使得输出信号Y逼近真实源信号S(t)；输出信号Y(t)表示如下：
Y(t)＝WX(t)
步骤6、对上一步获取的信号采用频域分析方法，提取事件相关同步电位作为特征向量,具体如下，对上一步获取的信号，采用频域分析方法，利用STFT计算功率谱，将功率谱分为四个频带，分别为δ频带、θ频带、α频带、β频带，在这四个频带对于频率进行平均，分别求出每一电极上在每一秒内四个频带上的平均能量，这些平均能量的值，作为脑电信号在每一秒的特征值；
步骤7、采用支持向量机分类器对特征向量进行分类处理，具体求解流程为，采用径向基核函数对脑电信号进行分类:
<mrow>
<mi>K</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
步骤8、通过语音反馈情绪识别结果并通过智能陪护机器人进行情绪干预。
4.根据权利要求3所述的基于脑机接口和物联网的残疾人智能陪护系统，其特征在于：所述智能陪护机器人为NAO机器人。
5.根据权利要求4所述的基于脑机接口和物联网的残疾人智能陪护系统，其特征在于：所述家居突发情况报警子系统对火灾烟雾和外人入侵状态进行报警，其中火灾烟雾报警功能包括如下工作步骤：
步骤1、室内烟雾传感器定时检测烟雾；
步骤2、将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点；
步骤3、汇集节点通过串口将数据传给计算机，计算机程序对数据进行判定；
步骤4、计算机根据判定结果实现蜂鸣器报警、灯光闪烁报警、向用户和陪护人员发送警报信息、在客户端显示火灾发生位置、计算机语音报警和派机器人侦查拍摄现场；
其中外人入侵报警功能包括如下工作步骤：
步骤1、在门、窗处的热释电传感器检测到有入侵者进入；
步骤2、将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点，将检测数据通过zigbee传感网的Z-Stack传输协议回传给zigbee数据汇集节点；
步骤3、五秒后，隐蔽开关没有关闭，功能正常运行；
步骤4、汇集节点通过串口将数据传给计算机，并由计算机程序进行判定，
步骤5、计算机根据判定结果实现蜂鸣器报警、计算机语音报警、向用户和陪护人员发送警报信息并显示入侵者在房间中的位置。
6.根据权利要求5所述的基于脑机接口和物联网的残疾人智能陪护系统，其特征在于：所述信息采集与处理子系统包括如下工作步骤：
步骤1、各个子系统将数据通过串口传递给计算机；
步骤2、计算机通过matlab对脑电信号处理；
步骤3、计算机通过C#程序对zigbee传感网信号处理；
步骤4、计算机将处理完成后的数据回传给各个子系统。
7.根据包含权利要求6所述的基于脑机接口和物联网的残疾人智能陪护系统，其特征在于：所述脑控轮椅上安装有arduino开发板，智能陪护轮椅前部装有超声波传感器，其通过数据线与智能陪护轮椅上的arduino开发板相连，实现自动避障，自动避障的过程包括如下步骤：
步骤1、超声波传感器检测前方障碍物到传感器的距离小于5米，并回传给arduino开发板；
步骤2、arduino开发板对回传数据进行判断，然后给轮椅电动机运行电路中的继电器发送电信号，使其断开，对轮椅制动，同时给蜂鸣器发出指令，蜂鸣器报警；
步骤3、经过5s后，arduino开发板给继电器发送电信号，使其闭合，轮椅电动机运行电路恢复，同时给蜂鸣器发出指令，蜂鸣器停止工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710448687.9A CN107358026A (zh) | 2017-06-14 | 2017-06-14 | 一种基于脑机接口和物联网的残疾人智能陪护系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710448687.9A CN107358026A (zh) | 2017-06-14 | 2017-06-14 | 一种基于脑机接口和物联网的残疾人智能陪护系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107358026A true CN107358026A (zh) | 2017-11-17 |
Family
ID=60273820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710448687.9A Pending CN107358026A (zh) | 2017-06-14 | 2017-06-14 | 一种基于脑机接口和物联网的残疾人智能陪护系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107358026A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416786A (zh) * | 2018-02-02 | 2018-08-17 | 华侨大学 | 一种基于人形机器人识别物体形状和色彩的方法 |
| CN108829245A (zh) * | 2018-05-30 | 2018-11-16 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统 |
| CN109166612A (zh) * | 2018-08-14 | 2019-01-08 | 龚映清 | 一种基于眼动及脑电信息的大型游戏场景康复系统及方法 |
| CN109605385A (zh) * | 2018-11-28 | 2019-04-12 | 东南大学 | 一种混合脑机接口驱动的康复辅助机器人 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011123059A1 (en) * | 2010-03-31 | 2011-10-06 | Agency For Science, Technology And Research | Brain- computer interface system and method |
| CN103099693A (zh) * | 2013-02-07 | 2013-05-15 | 王禹 | 基于脑电/语音指令助残控制系统 |
| CN104970790A (zh) * | 2015-06-11 | 2015-10-14 | 昆明理工大学 | 一种运动想象脑电波解析方法 |
| CN105054928A (zh) * | 2015-07-17 | 2015-11-18 | 张洪振 | 一种基于bci装置脑电波采集分析的情绪展示设备 |
| CN106097656A (zh) * | 2016-08-22 | 2016-11-09 | 南京工程学院 | 基于物联网的老人看护系统 |
| CN106127191A (zh) * | 2016-07-06 | 2016-11-16 | 东南大学 | 基于小波包分解及逻辑回归的脑电分类方法 |
| CN106529421A (zh) * | 2016-10-21 | 2017-03-22 | 燕山大学 | 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 |
-
2017
- 2017-06-14 CN CN201710448687.9A patent/CN107358026A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011123059A1 (en) * | 2010-03-31 | 2011-10-06 | Agency For Science, Technology And Research | Brain- computer interface system and method |
| CN103099693A (zh) * | 2013-02-07 | 2013-05-15 | 王禹 | 基于脑电/语音指令助残控制系统 |
| CN104970790A (zh) * | 2015-06-11 | 2015-10-14 | 昆明理工大学 | 一种运动想象脑电波解析方法 |
| CN105054928A (zh) * | 2015-07-17 | 2015-11-18 | 张洪振 | 一种基于bci装置脑电波采集分析的情绪展示设备 |
| CN106127191A (zh) * | 2016-07-06 | 2016-11-16 | 东南大学 | 基于小波包分解及逻辑回归的脑电分类方法 |
| CN106097656A (zh) * | 2016-08-22 | 2016-11-09 | 南京工程学院 | 基于物联网的老人看护系统 |
| CN106529421A (zh) * | 2016-10-21 | 2017-03-22 | 燕山大学 | 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416786A (zh) * | 2018-02-02 | 2018-08-17 | 华侨大学 | 一种基于人形机器人识别物体形状和色彩的方法 |
| CN108829245A (zh) * | 2018-05-30 | 2018-11-16 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统 |
| CN108829245B (zh) * | 2018-05-30 | 2019-08-23 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统 |
| CN109166612A (zh) * | 2018-08-14 | 2019-01-08 | 龚映清 | 一种基于眼动及脑电信息的大型游戏场景康复系统及方法 |
| CN109166612B (zh) * | 2018-08-14 | 2020-11-06 | 深圳睿瀚医疗科技有限公司 | 一种基于眼动及脑电信息的大型游戏场景康复系统及方法 |
| CN109605385A (zh) * | 2018-11-28 | 2019-04-12 | 东南大学 | 一种混合脑机接口驱动的康复辅助机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358026A (zh) | 一种基于脑机接口和物联网的残疾人智能陪护系统 | |
| Jerritta et al. | Physiological signals based human emotion recognition: a review | |
| Gao et al. | A recurrence network-based convolutional neural network for fatigue driving detection from EEG | |
| Chai et al. | Brain–computer interface classifier for wheelchair commands using neural network with fuzzy particle swarm optimization | |
| Begum | Intelligent driver monitoring systems based on physiological sensor signals: A review | |
| Swangnetr et al. | Emotional state classification in patient–robot interaction using wavelet analysis and statistics-based feature selection | |
| CN104757954A (zh) | 一种车用健康监测与舒适性调节系统及其监测、调节方法 | |
| Tiwari et al. | MIDNN-a classification approach for the EEG based motor imagery tasks using deep neural network | |
| CN116564561A (zh) | 基于生理与情感特征的智能语音看护系统及看护方法 | |
| Poorna et al. | Classification of EEG based control using ANN and KNN—A comparison | |
| Abdel-Rahman et al. | An affordable approach for detecting drivers' drowsiness using EEG signal analysis | |
| Rajan et al. | Statistical Investigation of EEG Based Abnormal Fatigue Detection Using LabVIEW | |
| Chai et al. | Enhancing accuracy of mental fatigue classification using advanced computational intelligence in an electroencephalography system | |
| Mangalagowri et al. | EEG feature extraction and classification using feed forward backpropogation algorithm for emotion detection | |
| CN107066956A (zh) | 一种基于体域网的多源情感识别机器人 | |
| Tang et al. | Signal identification system for developing rehabilitative device using deep learning algorithms | |
| CN106726208A (zh) | 一种智能轮椅控制系统 | |
| Tamura et al. | Development of the electric wheelchair hands-free semi-automatic control system using the surface-electromyogram of facial muscles | |
| Yücelbas et al. | Detection of sleep spindles in sleep EEG by using the PSD methods | |
| Bi et al. | Detecting emergency situations by monitoring drivers' states from EEG | |
| CN112578682A (zh) | 一种基于眼电控制的智能助障家居系统 | |
| Long et al. | An eeg-based bci system for controlling lower exoskeleton to step over obstacles in realistic walking situation | |
| Kurebayashi et al. | Mental-state estimation model with time-series environmental data regarding cognitive function | |
| Selvamathiseelan et al. | Brain controlled smart home automation system | |
| Shashidhar et al. | Smart Electric Wheelchair for disabled and paralyzed person using Attention Values on Arduino |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171117 |
|
| RJ01 | Rejection of invention patent application after publication |