CN116353615A - 一种基于脑波信号进行人机交互的方法、装置及设备 - Google Patents
一种基于脑波信号进行人机交互的方法、装置及设备 Download PDFInfo
- Publication number
- CN116353615A CN116353615A CN202310272838.5A CN202310272838A CN116353615A CN 116353615 A CN116353615 A CN 116353615A CN 202310272838 A CN202310272838 A CN 202310272838A CN 116353615 A CN116353615 A CN 116353615A
- Authority
- CN
- China
- Prior art keywords
- state
- mode
- brain wave
- control
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 160
- 230000003993 interaction Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000006870 function Effects 0.000 claims abstract description 44
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000005611 electricity Effects 0.000 claims abstract description 13
- 238000007654 immersion Methods 0.000 claims description 44
- 238000001228 spectrum Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 32
- 230000008909 emotion recognition Effects 0.000 claims description 32
- 230000008451 emotion Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 11
- 230000002996 emotional effect Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 7
- 206010054196 Affect lability Diseases 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000036651 mood Effects 0.000 claims description 3
- 230000006996 mental state Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000560 biocompatible material Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000001652 frontal lobe Anatomy 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010012374 Depressed mood Diseases 0.000 description 1
- 208000036626 Mental retardation Diseases 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 210000001152 parietal lobe Anatomy 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008667 sleep stage Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种基于脑波信号进行人机交互的方法、装置及设备，所述方法包括：通过脑电采集设备获取原始脑波信号并进行预处理；基于当前开启的人机交互模式，根据各人机交互模式下所需的至少一个状态指标，对预处理后的脑波信号进行特征提取；根据特征提取后得到的与各状态指标对应的脑波特征信息，确定当前各状态指标的状态值；根据各状态指标的状态值，确定满足任一人机交互模式下的控制开启条件时，执行所述该人机交互模式对应的控制功能。本申请基于脑波信号监测用户的真实精神状态及将识别到的用户真实意图转换为相应的控制信号，实现各人机交互模式下基于用户的脑波信号对车辆的控制。
Description
技术领域
本申请属于车辆控制领域，尤其涉及一种基于脑波信号进行人机交互的方法、装置及设备。
背景技术
汽车智能化对人、车、环境关系带来新的影响，人机交互已经成为智能汽车发展和创新的核心要素。围绕智能化的自动驾驶系统、车载信息娱乐系统、智能车载语音交互系统、道路状况信息系统等一系列功能将以汽车作为载体建立起一个特殊的生态系统，实现智能汽车的场景化应用。
脑机接口在大脑与外部环境之间建立一种全新的不依赖于外周神经和肌肉的交流与控制通道，从而实现大脑与外部设备的直接交互。随着神经科学、生物兼容性材料、传感器、大数据和人工智能等技术的进步，脑机接口技术进入了快速发展阶段，在信号获取和处理、解码算法和系统实现等关键技术领域取得了很多进展，能够在人脑与外部环境之间建立沟通以达到控制设备的目的。
在现有的智能汽车的场景化应用中，人机交互基于面部特征、肢体动作和语音的研究，但是这些外在特征容易伪装，并不能反应出用户真实的情绪，如检测用户是否处于疲劳驾驶状态时，如果基于瞳孔变化及眼睛大小进行判断，瞳孔变化可能是由于别的原因产生，而有的用户可能眼睛自然状态下就很小，因此在某些情况下，这两种外在特征无法像人体内部的脑波信号一样反映真实的人体疲劳状况。
发明内容
本申请的目的是提供一种基于脑波信号进行人机交互的方法、装置及设备，用以基于脑波信号监测用户的真实精神状态及将识别到的用户真实意图转换为相应的控制信号，实现各人机交互模式下基于用户的脑波信号对车辆的控制。
第一方面，本申请提供了一种基于脑波信号进行人机交互的方法，应用于智能车辆，所述方法包括：
通过脑电采集设备获取原始脑波信号并进行预处理；
基于当前开启的人机交互模式，根据各人机交互模式下所需的至少一个状态指标，对预处理后的脑波信号进行特征提取；
根据特征提取后得到的与各状态指标对应的脑波特征信息，确定当前各状态指标的状态值；
根据各状态指标的状态值，确定满足任一人机交互模式下的控制开启条件时，执行所述该人机交互模式对应的控制功能。
在一种可能的实施方式中，通过脑电采集设备获取原始脑波信号并进行预处理，包括：
通过脑电采集设备获取原始脑波信号，对所述原始脑波信号进行放大和滤波，得到滤除噪声的脑波信号；
基于预设的时频变换算法，将滤除噪声的脑波信号进行时频转换，得到不同频段对应的频谱信号。
在一种可能的实施方式中，所述人机交互模式包括疲劳检测模式、情绪识别模式、沉浸空间模式及车窗遥控模式中的至少一种；
与所述疲劳检测模式对应的状态指标包括疲劳程度，与所述情绪识别模式对应的状态指标包括情绪稳定度，与所述沉浸空间模式对应的状态指标包括放松度和专注度，与所述车窗遥控模式对应的状态指标包括眨眼频率；
根据各人机交互模式下所需的至少一个状态指标，对预处理后的脑波信号进行特征提取，包括如下至少一个步骤：
确定当前开启疲劳检测模式时，根据预处理后得到的不同频段对应的频谱信号，从与放松状态相关的α波形中提取放松状态特征、从潜意识层面的θ波形中提取潜意识相关特征、从与眨眼相关的频段的频谱信号中提取眨眼波形特征；
确定当前开启情绪识别模式时，根据预处理后的得到的不同频段对应的频谱信号，从与紧张状态相关的β波形中提取紧张状态特征；
确定当前开启沉浸空间模式时，根据预处理后得到的不同频段对应的频谱信号，从与放松状态相关的α波形中提取放松度指数和专注度指数；
确定当前开启车窗遥控模式时，根据得到的不同频段对应的频谱信号，从与眨眼相关的频段的频谱信号中提取眨眼波形特征。
在一种可能的实施方式中，所述疲劳检测模式的开启条件包括车辆处于高速行驶状态，或车辆连续行驶时间超过预设时长，或者接收到开启疲劳检测模式的控制指示；
根据各状态指标的状态值，确定满足疲劳检测模式的控制开启条件时，执行所述该人机交互模式对应的控制功能，包括：
根据当前疲劳程度的状态值确定用户处于疲劳驾驶状态时，确定满足疲劳检测模式下的控制开启条件并执行如下至少一个步骤：
控制车辆进行疲劳驾驶状态语音提醒、播放相关放松音乐、采用UI界面画面方式提醒休息、释放有醒神作用的气味；
根据车辆位置确定最近的停车地点，并根据用户的确认信息确定是否更改为目的地；
将所述用户的相关信息上传到后台，接收后台通过语音或通话的方式进行的提醒。
在一种可能的实施方式中，所述情绪识别模式的开启条件包括接收到开启情绪识别模式的控制指示；
根据各状态指标的状态值，确定满足情绪识别模式下的控制开启条件时，执行所述情绪识别模式对应的控制功能，包括：
根据当前情绪稳定度的状态值确定用户处于情绪不稳定状态时，确定满足情绪识别模式下的控制开启条件并执行如下至少一个步骤：
控制车辆对情绪不稳定状态语音提醒、播放舒缓情绪相关音乐、控制释放有舒缓情绪作用的气味；
针对用户的驾驶行为进行监控，并将车辆的驾驶模式更改为预设的安全驾驶模式。
在一种可能的实施方式中，所述沉浸空间模式的开启条件包括车速为零状态下接收到开启沉浸空间模式的控制指示，且根据预处理后的脑波信号确定用户处于放松状态；
根据各状态指标的状态值，确定满足沉浸空间模式下的控制开启条件时，执行所述沉浸空间模式对应的控制功能，包括：
根据当前放松度指数确定用户处于放松状态时，确定满足沉浸空间模式下的控制开启条件并执行如下至少一个步骤：
控制车辆按照预设的放松状态下的配置，播放放松状态对应的音视频、释放有放松作用的气味；
控制车辆确定用户所在座椅，并按照预设的放松状态下的配置调整用户所在座椅；
根据当前专注度指数确定用户处于专注状态时，确定退出沉浸空间模式并执行如下至少一个步骤：
控制车辆恢复进入沉浸空间模式前播放音频、释放有提神作用的气味；
控制车辆恢复用户座椅到进入沉浸空间模式前的状态。
在一种可能的实施方式中，所述车窗遥控模式的开启条件包括接收到开启车窗遥控模式的控制指示且检测到用户眨眼频率达到设定值；
根据各状态指标的状态值，确定满足车窗遥控模式下的控制开启条件时，执行所述车窗遥控模式对应的控制功能，包括：
根据当前眨眼频率的状态值确定用户在设定时间间隔内眨眼的次数达到设定值时，确定满足车窗遥控模式下的控制开启条件并执行如下步骤：
控制车辆监控用户当前看向的车窗，并对所述车窗发出开/闭窗指令。
第二方面，本申请提供了一种基于脑波信号进行人机交互的装置，包括：
数据获取与处理模块，用于通过脑电采集设备获取原始脑波信号并进行预处理；
特征提取模块，用于基于当前开启的人机交互模式，根据各人机交互模式下所需的至少一个状态指标，对预处理后的脑波信号进行特征提取；
状态值确定模块，用于根据特征提取后得到的与各状态指标对应的脑波特征信息，确定当前各状态指标的状态值；
人机交互控制模块，用于根据各状态指标的状态值，确定满足任一人机交互模式下的控制开启条件时，执行所述该人机交互模式对应的控制功能。
第三方面，本申请实施例提供了一种基于脑波信号进行人机交互的设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本申请第一方面中提供的任一项所述的基于脑波信号进行人机交互的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行如本申请第一方面中提供的任一项所述的基于脑波信号进行人机交互的方法。
本申请的实施例提供的技术方案至少带来以下有益效果：
本申请提供一种基于脑波信号进行人机交互的方法、装置及设备，基于脑波信号分析用户的真实精神状态进行相应的疲劳检测及情绪识别，并从视觉、嗅觉、听觉等多种模态进行提醒以及可以将识别到的用户真实意图转换为相应的控制信号，实现用户对车辆各模块的遥控。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于脑波信号进行人机交互的方法流程图；
图2为本申请实施例提供的脑机接口佩戴流程示意图；
图3为本申请实施例提供的信号采集与处理模块示意图；
图4为本申请实施例提供的脑机接口与车辆交互示意图；
图5为本申请实施例提供的疲劳检测模式下的模块交互示意图；
图6为本申请实施例提供的情绪识别模式下的模块交互示意图；
图7为本申请实施例提供的沉浸空间模式下的模块交互示意图；
图8为本申请实施例提供的车窗遥控模式下的模块交互示意图；
图9为本申请实施例提供的基于脑波信号进行人机交互的装置示意图；
图10为本申请实施例提供的基于脑波信号进行人机交互的设备示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。其中，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
脑电图(Electroencephalogram,EEG)是一种使用电生理指标记录产生人体头皮电信号活动的方法，脑电图通过测量记录在大脑皮层或头皮表面的神经元内的离子电流引起的电位波动，反映大脑活动时的电波变化。脑波信号的监测作为脑科学理论研究的基础，被广泛运用于临床实践应用中。
研究表明，人的认知行为和心理活动与脑波信号具有较强的相关性，脑波信号可以直观反应个体的情绪活动。随着神经科学、生物兼容性材料、传感器、大数据和人工智能等技术的进步，脑波信息解码被广泛用于脑机接口系统(brain computer interfacesystem,BCIs)，脑机接口系统是一种脑电采集设备，可以实现脑波信号获取和处理，通过将脑机接口系统输出的不同频段的脑波信号转换为相应的物理控制信号，可以实现大脑与外部设备的直接交互，以达到利用脑波信号实现人机交互的目的。
在现有的智能汽车的场景化应用中，人机交互基于面部特征、肢体动作和语音的研究，但是这些外在特征容易伪装，并不能反应出用户真实的情绪，如检测用户是否处于疲劳驾驶状态时，如果基于瞳孔变化及眼睛大小进行判断，瞳孔变化可能是由于别的原因产生，而有的用户可能眼睛可能自然状态下就很小，因此在某些情况下，这两种外在特征无法像人体内部的脑波信号一样反映真实的人体疲劳状况。
鉴于上述问题，本申请提供一种基于脑波信号进行人机交互的方法，应用于智能车辆，如图1所示，所述方法包括以下步骤。
S101，通过脑电采集设备获取原始脑波信号并进行预处理；
在本申请实施例中，在脑机接口开启状态下，需要检测用户是否正确佩戴脑电采集设备，并在检测到用户未正确佩戴脑电采集设备时提醒用户，直到用户正确佩戴脑电采集设备后开始提醒用户脑机接口进入正常工作状态。
作为一种可行的实施方式，通过脑电采集设备获取原始脑波信号之前，如图2所示，为本申请实施例提供的脑机接口佩戴流程，如下：
S201，接收脑电采集设备发送的初始原始脑波信号，将接收的初始原始脑波信号与正确佩戴下对应的原始脑补信号进行特征匹配；
S202，根据匹配结果，确定所述脑电采集设备是否被正确佩戴，若是则执行S203，若否则执行S204；
S203，发出佩戴正确提示信息；
S204，发出佩戴失败提示信息并执行S201。
作为一种可行的实施方式，通过脑电采集设备获取原始脑波信号并进行预处理，包括：
通过脑电采集设备获取原始脑波信号，对所述原始脑波信号进行放大和滤波，得到滤除噪声的脑波信号；
基于预设的时频变换算法，将滤除噪声的脑波信号进行时频转换，得到不同频段对应的频谱信号。
在本申请实施例中，使用非侵入式的脑机接口获取原始脑波信号并进行预处理。利用头戴式的脑电采集设备上的非接触式干式电极可以从头皮上采集原始脑波信号，由于采集到的原始脑波信号比较微弱且存在伪迹(artifact)，所以需要对采集到的原始脑波信号进行预处理。
预处理包括将原始脑波信号经过放大处理后滤除伪迹，其中，要去除的伪迹主要包括肌电、心电、工频干扰、电磁干扰及其他与任务不相关的脑波信号，如图3所示，为本申请实施例提供的信号采集与处理模块示意图，本申请将放大后的脑波信号经过高通滤波电路、低通滤波电路及工频限波电路的处理，将容易产生干扰的频段过滤掉，只保留有效的频段的脑波信号。对于不易通过滤波去除的伪迹，将有效的频段的脑波信号通过主放大电路再次放大后，采用时域滤波、空域滤波等方法，找出干扰信号并将其余脑电信号分离开。
采集到的原始的脑波信号经过上述放大和滤除伪迹的预处理后，还需要进行频域转换的预处理。通过对原始脑波信号进行预处理得到经过放大和滤除伪迹的脑波信号，之后将经过放大和滤除伪迹的脑波信号从时域转化到频域，可以从中提取出相关频域特性作为脑波特征信息。
本申请实施例中，基于预设的时频变换算法，对经过放大和滤除伪迹的脑波信号进行时频转换，得到不同频段对应的频谱信号。示例性的，所述时频转换算法包括离散傅里叶变换(Discrete FourierTransform，DFT)，快速傅里叶变换(Fast Fourier Transform，FFT)等算法。
本申请实施例中，将经过放大和滤除伪迹的脑波信号转换出的频谱信号按照不同频段被分为delta波(1-4Hz)、theta波(4-7Hz)、alpha波(8-13Hz)、beta波(13-30Hz)、gamma波(30-47Hz)这5个频段。
上述由经过放大和滤除伪迹的脑波信号所转换成的频谱信号按照不同频段划分的5个频段及其对应的脑部特征信息如下：
delta波(1-4Hz)：研究表明该范围的脑波信号通常出现在婴幼儿阶段或智力发育不成熟，或者成人在疲劳和深度睡眠阶段；
theta波(4-7Hz)：在青少年(10岁至17岁)中该范围的脑波信号出现较多，当成人处于精神放松或浅度睡眠也有可能出现该频带信号，常出现在额叶；在成人在有抑郁情绪或者精神病患者中，该频率波也极为明显，常出现在颞顶叶；
alpha波(8-13Hz)：该范围信号通常在人处于安静、清醒，闭目养神状态下时出现在枕叶，睁眼或受到其他外部刺激时，alpha波会消失；
beta波(13-30Hz)：是人类逻辑分析等主要脑波成分，主要集中在大脑额叶。当人处于清醒或者精神紧张、情绪激动时，大脑容易产生该频段信号；
gamma波(30-47Hz)：是脑波信号中频率最高的成分。当人专注于某一事物时或处于警觉时，容易产生gamma波。
基于上述说明，本申请实施例中脑机接口的作用为通过脑电采集设备采集原始脑波信号，以及将原始脑波信号经过预处理后转换为上述5个频段的频谱信号。
S102，基于当前开启的人机交互模式，根据各人机交互模式下所需的至少一个状态指标，对预处理后的脑波信号进行特征提取；
如图4所示，为本申请实施例提供的脑机接口与车辆交互示意图，在本申请实施例中，基于脑波读取系统与车辆控制系统的交互实现人机交互，其中，脑波读取系统通过脑电采集设备进行原始脑波信号采集，以及通过滤波放大电路及预先设置的频域转换算法进行脑波信号处理，最后得到前述5个频段的频谱信号，之后，将不同频段的频谱信号发送给车辆控制系统。
车辆控制系统接收到不同频段的频谱信号后，判断当前所处的人机交互模式及所需的至少一个状态指标，对预处理后的脑波信号进行特征提取。基于从各频段提取的脑部特征信息，车辆控制系统可以实时分析佩戴脑电采集设备的用户的意图，并根据具体的通信或控制应用要求，将上述解码的用户意图所表征的逻辑控制信号转换为语义控制信号，并将语义控制信号转化为相应的物理控制信号。因此，在当前开启的人机交互模式下，车辆控制系统通过解码出的用户意图所对应的物理控制信号，可以控制相关驱动电路完成开启的人机交互模式下的相应控制指令。
需要说明的是，在一个或多个实施例中，本申请中脑机接口与车辆控制系统之间的通信方式可以是蓝牙，还可以是其他的无线或有线通信方式，本申请对此不作限定。
在本申请实施例中，所述人机交互模式包括疲劳检测模式、情绪识别模式、沉浸空间模式及车窗遥控模式中的至少一种。其中，所述疲劳检测模式用于检测用户是否处于疲劳状态，并在检测到用户处于疲劳状态时，车辆控制系统根据预先配置好的设置控制车辆各模块执行相应操作，与所述疲劳检测模式对应的状态指标包括疲劳程度；
所述情绪识别模式用于检测用户是否情绪稳定状态，并在检测到用户处于情绪不稳定的状态如激动、焦虑状态时，车辆控制系统根据预先配置好的设置控制车辆各模块执行相应操作，与所述情绪识别模式对应的状态指标包括情绪稳定度；
所述沉浸空间模式用于检测用户是否处于放松状态，并在检测到用户处于放松状态时，车辆控制系统根据预先配置好的设置控制车辆各模块执行相应操作，与所述沉浸空间模式对应的状态指标包括放松度和专注度；
所述车窗遥控模式用于检测用户的眨眼频率是否达到设定值，并在所述用户的眨眼频率达到设定值时，对用户需要遥控的车窗进行相应控制，与所述车窗遥控模式对应的状态指标包括眨眼频率。
需要说明的是，本申请实施例中提出的基于脑波信号的人机交互模式不限于上述4种人机交互模式，还可以包括其他根据实际需求提出的基于脑波信号实现用户意图与车辆多模态交互的人机交互模式，本申请对此不作限定。
S103，根据特征提取后得到的与各状态指标对应的脑波特征信息，确定当前各状态指标的状态值；
基于上述S102，根据各人机交互模式下的状态指标对应提取的脑波特征信息，可以确定当前各状态指标的状态值，进而可以确定当前人机交互模式下当前各状态指标的状态值是否满足相应的控制开启条件。
S104，根据各状态指标的状态值，确定满足任一人机交互模式下的控制开启条件时，执行所述该人机交互模式对应的控制功能。
车辆控制系统基于当前开启的人机交互模式分析接收到的脑波信号对应的脑波特征信息，并确定当前开启的人机交互模式所对应的各状态指标的状态值，基于各状态指标的状态值确定满足任一人机交互模式下的控制开启条件时，执行所述该人机交互模式对应的控制功能。
下面对前述四种人机交互模式的开启条件及对应的控制功能进行说明。
(1)疲劳检测模式
如图5所示，为本申请实施例所提供的疲劳检测模式下的模块交互示意图。
控制开启条件：车辆处于高速行驶状态，或车辆连续行驶时间超过预设时长，或者接收到开启疲劳检测模式的控制指示。
特征提取：确定当前开启疲劳检测模式时，根据预处理后得到的不同频段对应的频谱信号，从与放松状态相关的α波形中提取放松状态特征、从潜意识层面的θ波形中提取潜意识相关特征、从与眨眼相关的频段的频谱信号中提取眨眼波形特征；
其中，眨眼波形特征是指眨眼产生的肌肉电流会对脑波信号造成干扰，使脑波信号转换为的连续的频谱信号呈现对应的眨眼波形特征。
控制功能：根据当前疲劳程度的状态值确定用户处于疲劳驾驶状态时，执行如下至少一个步骤：
①控制车辆进行疲劳驾驶状态语音提醒、播放相关放松音乐、采用UI界面画面方式提醒休息、释放有醒神作用的气味；
其中，控制车辆进行疲劳驾驶状态的语音提醒可以为“您已进入到疲劳状态，请注意安全驾驶”；采用UI界面画面方式提醒休息可以为控制车机及仪表弹出需要休息的UI画面，示例性的，可采用咖啡杯图案。
②根据车辆位置确定最近的停车地点，并根据用户的确认信息确定是否更改为目的地；
其中，最近的停车地点包括利用车机导航软件依据车辆位置计算出的最近的服务区或休息区，在车机导航软件上可自动并更改目的地添加服务区或休息区途经点，要求驾驶员进行休息，驾驶员可根据个人情况选择是否进行休息。
③将所述用户的相关信息上传到后台，接收后台通过语音或通话的方式进行的提醒。
在一个或多个实施例，在开启疲劳检测模式后，基于当前疲劳程度的状态值确定用户未处于疲劳驾驶状态时，在设定时间间隔后再次基于当前疲劳程度的状态值判断用户是否处于疲劳驾驶状态时。
需要说明的是，在本申请实施例中，检测到用户处于疲劳状态时所执行的控制方法不限于以上三种，还可以包括其他为降低用户疲劳驾驶所带来的负面影响而制定的控制方法，本申请对此不作限定。
(2)情绪识别模式
如图6所示，为本申请实施例所提供的情绪识别模式下的模块交互示意图。
控制开启条件：接收到开启情绪识别模式的控制指示。
特征提取：确定当前开启情绪识别模式时，根据预处理后的得到的不同频段对应的频谱信号，从与紧张状态相关的β波形中提取紧张状态特征；
控制功能：根据当前情绪稳定度的状态值确定用户处于情绪不稳定状态时，执行如下至少一个步骤：
①控制车辆对情绪不稳定状态语音提醒、播放舒缓情绪相关音乐、控制释放有舒缓情绪作用的气味；
其中，控制车辆对情绪不稳定状态进行的语音提醒可以为“您情绪有些激动，请注意安全驾驶”。
②针对用户的驾驶行为进行监控，并将车辆的驾驶模式更改为预设的安全驾驶模式。
其中，控制车辆针对用户的驾驶行为进行监控，并将车辆的驾驶模式更改为预设的安全驾驶模式可以为由运动模式或其他的行驶模式转为ECO模式(自动挡汽车的经济模式)，防止用户由于情绪激动做出较为偏激的驾驶行为。
在一个或多个实施例，在开启情绪识别模式后，基于当前情绪稳定度的状态值确定用户处于情绪稳定状态时，在设定时间间隔后再次基于当前情绪稳定度的状态值判断用户是否处于情绪不稳定状态。
需要说明的是，在本申请实施例中，检测到用户处于情绪不稳定状态时所执行的控制方法不限于以上给出的控制方法，还可以包括其他为降低用户处于情绪不稳定状态所带来的负面影响而制定的控制方法，本申请对此不作限定。
(3)沉浸空间模式
如图7所示，为本申请实施例所提供的沉浸空间模式下的模块交互示意图。
控制开启条件：车速为零状态下接收到开启沉浸空间模式的控制指示，且根据预处理后的脑波信号确定用户处于放松状态。
其中，车速为0可以为检测到发动机转速为0或者是电动车电源状态未在ready挡位。
作为一种可行的实施方式，所述控制开启条件还包括利用毫米波雷达确定戴有脑机接口的用户处于车内。
特征提取：确定当前开启沉浸空间模式时，根据预处理后得到的不同频段对应的频谱信号，从与放松状态相关的α波形中提取放松度指数和专注度指数；
控制功能：根据当前放松度指数确定用户处于放松状态时执行如下至少一个步骤：
①控制车辆按照预设的放松状态下的配置，播放放松状态对应的音视频、释放有放松作用的气味；
②控制车辆确定用户所在座椅，并按照预设的放松状态下的配置调整用户所在座椅；
其中，控制车辆按照预设的放松状态下的配置，播放放松状态对应的音视频以及调整用户座椅时，可以播放设置好的白噪音并将UI界面画面切换到设置好的轻松画面，以及将有人的座椅进入女王座椅模式。
根据当前专注度指数确定用户处于专注状态时，确定退出沉浸空间模式并执行如下至少一个步骤：
①控制车辆恢复进入沉浸空间模式前播放音频、释放有提神作用的气味；
②控制车辆恢复用户座椅到进入沉浸空间模式前的状态。
需要说明的是，上述放松度指数、专注度指数为基于现有的eSense算法对脑波信号进行计算得出的数值，具体的计算方法这里不再详述。
需要说明的是，在本申请实施例中，检测到用户处于放松或专注状态时所执行的控制方法不限于以上给出的控制方法，还可以包括其他为提高用户的放松度或提高用户的专注度而制定的控制方法，本申请对此不作限定。
(4)车窗遥控模式
如图8所示，为本申请实施例所提供的车窗遥控模式下的模块交互示意图。
控制开启条件：接收到开启车窗遥控模式的控制指示且检测到用户眨眼频率达到设定值。
作为一种可行的实施方式，所述控制开启条件还包括利用毫米波雷达确定戴有脑机接口的用户处于车内，或者电动车电源状态在Ready挡位或ON挡位。
特征提取：确定当前开启车窗遥控模式时，根据得到的不同频段对应的频谱信号，从与眨眼相关的频段的频谱信号中提取眨眼波形特征。
控制功能：根据当前眨眼频率的状态值确定用户在设定时间间隔内眨眼的次数达到设定值时，控制车辆监控用户当前看向的车窗，并对所述车窗发出开/闭窗指令。
作为一种可行的实施方式，基于车内的摄像头对用户的眼球进行追踪，以监控用户当前看向的车窗。
需要说明的是，在本申请实施例中，检测到用户眨眼频率达到设定值时所执行的控制方法不限于以上给出的控制方法，还可以包括其他根据实际需求而制定的控制方法，本申请对此不作限定。
本申请实施例所提供的一种应用于智能车辆的基于脑波信号进行人机交互的方法，可以将基于脑波信号分析用户的真实精神状态进行相应的疲劳检测及情绪识别，并从视觉、嗅觉、听觉等多种模态进行提醒以及可以将识别到的用户真实意图转换为相应的控制信号，实现用户对车辆各模块的遥控。
基于相同的发明构思，本申请实施例还提供一种基于脑波信号进行人机交互的装置，如图9所示，所述装置包括：
数据获取与处理模块901，用于通过脑电采集设备获取原始脑波信号并进行预处理；
在一种可能的实施方式中，通过脑电采集设备获取原始脑波信号之前，所述数据获取与处理模块还用于：
接收脑电采集设备发送的初始原始脑波信号，将接收的初始原始脑波信号与正确佩戴下对应的原始脑补信号进行特征匹配；
根据匹配结果，确定所述脑电采集设备是否被正确佩戴，并在确定未被正确佩戴时发出提示信息，至确定所述脑电采集设备被正确佩戴。
在一种可能的实施方式中，所述数据获取与处理模块通过脑电采集设备获取原始脑波信号并进行预处理，包括：
通过脑电采集设备获取原始脑波信号，对所述原始脑波信号进行放大和滤波，得到滤除噪声的脑波信号；
基于预设的时频变换算法，将滤除噪声的脑波信号进行时频转换，得到不同频段对应的频谱信号。
特征提取模块902，用于基于当前开启的人机交互模式，根据各人机交互模式下所需的至少一个状态指标，对预处理后的脑波信号进行特征提取；
在一种可能的实施方式中，所述人机交互模式包括疲劳检测模式、情绪识别模式、沉浸空间模式及车窗遥控模式中的至少一种；
与所述疲劳检测模式对应的状态指标包括疲劳程度，与所述情绪识别模式对应的状态指标包括情绪稳定度，与所述沉浸空间模式对应的状态指标包括放松度和专注度，与所述车窗遥控模式对应的状态指标包括眨眼频率；
所述特征提取模块根据各人机交互模式下所需的至少一个状态指标，对预处理后的脑波信号进行特征提取，包括如下至少一个步骤：
确定当前开启疲劳检测模式时，根据预处理后得到的不同频段对应的频谱信号，从与放松状态相关的α波形中提取放松状态特征、从潜意识层面的θ波形中提取潜意识相关特征、从与眨眼相关的频段的频谱信号中提取眨眼波形特征；
确定当前开启情绪识别模式时，根据预处理后的得到的不同频段对应的频谱信号，从与紧张状态相关的β波形中提取紧张状态特征；
确定当前开启沉浸空间模式时，根据预处理后得到的不同频段对应的频谱信号，从与放松状态相关的α波形中提取放松度指数和专注度指数；
确定当前开启车窗遥控模式时，根据得到的不同频段对应的频谱信号，从与眨眼相关的频段的频谱信号中提取眨眼波形特征。
状态值确定模块903，用于根据特征提取后得到的与各状态指标对应的脑波特征信息，确定当前各状态指标的状态值；
人机交互控制模块904，用于根据各状态指标的状态值，确定满足任一人机交互模式下的控制开启条件时，执行所述该人机交互模式对应的控制功能。
在一种可能的实施方式中，所述疲劳检测模式的开启条件包括车辆处于高速行驶状态，或车辆连续行驶时间超过预设时长，或者接收到开启疲劳检测模式的控制指示；
所述人机交互控制模块根据各状态指标的状态值，确定满足疲劳检测模式的控制开启条件时，执行所述该人机交互模式对应的控制功能，包括：
根据当前疲劳程度的状态值确定用户处于疲劳驾驶状态时，确定满足疲劳检测模式下的控制开启条件并执行如下至少一个步骤：
控制车辆进行疲劳驾驶状态语音提醒、播放相关放松音乐、采用UI界面画面方式提醒休息、释放有醒神作用的气味；
根据车辆位置确定最近的停车地点，并根据用户的确认信息确定是否更改为目的地；
将所述用户的相关信息上传到后台，接收后台通过语音或通话的方式进行的提醒。
在一种可能的实施方式中，所述情绪识别模式的开启条件包括接收到开启情绪识别模式的控制指示；
所述人机交互控制模块根据各状态指标的状态值，确定满足情绪识别模式下的控制开启条件时，执行所述情绪识别模式对应的控制功能，包括：
根据当前情绪稳定度的状态值确定用户处于情绪不稳定状态时，确定满足情绪识别模式下的控制开启条件并执行如下至少一个步骤：
控制车辆对情绪不稳定状态语音提醒、播放舒缓情绪相关音乐、控制释放有舒缓情绪作用的气味；
针对用户的驾驶行为进行监控，并将车辆的驾驶模式更改为预设的安全驾驶模式。
在一种可能的实施方式中，所述沉浸空间模式的开启条件包括车速为零状态下接收到开启沉浸空间模式的控制指示，且根据预处理后的脑波信号确定用户处于放松状态；
所述人机交互控制模块根据各状态指标的状态值，确定满足沉浸空间模式下的控制开启条件时，执行所述沉浸空间模式对应的控制功能，包括：
根据当前放松度指数确定用户处于放松状态时，确定满足沉浸空间模式下的控制开启条件并执行如下至少一个步骤：
控制车辆按照预设的放松状态下的配置，播放放松状态对应的音视频、释放有放松作用的气味；
控制车辆确定用户所在座椅，并按照预设的放松状态下的配置调整用户所在座椅；
根据当前专注度指数确定用户处于专注状态时，确定退出沉浸空间模式并执行如下至少一个步骤：
控制车辆恢复进入沉浸空间模式前播放音频、释放有提神作用的气味；
控制车辆恢复用户座椅到进入沉浸空间模式前的状态。
在一种可能的实施方式中，所述车窗遥控模式的开启条件包括接收到开启车窗遥控模式的控制指示且检测到用户眨眼频率达到设定值；
所述人机交互控制模块根据各状态指标的状态值，确定满足车窗遥控模式下的控制开启条件时，执行所述车窗遥控模式对应的控制功能，包括：
根据当前眨眼频率的状态值确定用户在设定时间间隔内眨眼的次数达到设定值时，确定满足车窗遥控模式下的控制开启条件并执行如下步骤：
控制车辆监控用户当前看向的车窗，并对所述车窗发出开/闭窗指令。
上述各模块的具体实施方式参照前述实施例，这里不再详述。
基于相同的发明构思，本申请还提供一种基于脑波信号进行人机交互的设备1000，如图10所示，包括至少一个处理器1002；以及与所述至少一个处理器通信连接的存储器1001；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于脑波信号进行人机交互的方法。
存储器1001用于存储程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器1001可以为易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，简称RAM)；也可以为非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，简称HDD)或固态硬盘(solid-state drive，简称SSD)；还可以为上述任一种或任多种易失性存储器和非易失性存储器的组合。
处理器1002可以是中央处理器(central processing unit，简称CPU)，网络处理器(network processor，简称NP)或者CPU和NP的组合。还可以是硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，简称ASIC)，可编程逻辑器件(programmable logic device，简称PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，简称CPLD)，现场可编程逻辑门阵列(field-programmable gate array，简称FPGA)，通用阵列逻辑(generic array logic，简称GAL)或其任意组合。
基于相同的发明构思，本申请实施例提供一种计算机程序介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述实施例中基于脑波信号进行人机交互的方法。
上述存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种基于脑波信号进行人机交互的方法，应用于智能车辆，其特征在于，所述方法包括：
通过脑电采集设备获取原始脑波信号并进行预处理；
基于当前开启的人机交互模式，根据各人机交互模式下所需的至少一个状态指标，对预处理后的脑波信号进行特征提取；
根据特征提取后得到的与各状态指标对应的脑波特征信息，确定当前各状态指标的状态值；
根据各状态指标的状态值，确定满足任一人机交互模式下的控制开启条件时，执行所述该人机交互模式对应的控制功能。
2.根据权利要求1所述的方法，其特征在于，通过脑电采集设备获取原始脑波信号并进行预处理，包括：
通过脑电采集设备获取原始脑波信号，对所述原始脑波信号进行放大和滤波，得到滤除噪声的脑波信号；
基于预设的时频变换算法，将滤除噪声的脑波信号进行时频转换，得到不同频段对应的频谱信号。
3.根据权利要求1～2任一所述的方法，其特征在于，所述人机交互模式包括疲劳检测模式、情绪识别模式、沉浸空间模式及车窗遥控模式中的至少一种；
与所述疲劳检测模式对应的状态指标包括疲劳程度，与所述情绪识别模式对应的状态指标包括情绪稳定度，与所述沉浸空间模式对应的状态指标包括放松度和专注度，与所述车窗遥控模式对应的状态指标包括眨眼频率；
根据各人机交互模式下所需的至少一个状态指标，对预处理后的脑波信号进行特征提取，包括如下至少一个步骤：
确定当前开启疲劳检测模式时，根据预处理后得到的不同频段对应的频谱信号，从与放松状态相关的α波形中提取放松状态特征、从潜意识层面的θ波形中提取潜意识相关特征、从与眨眼相关的频段的频谱信号中提取眨眼波形特征；
确定当前开启情绪识别模式时，根据预处理后的得到的不同频段对应的频谱信号，从与紧张状态相关的β波形中提取紧张状态特征；
确定当前开启沉浸空间模式时，根据预处理后得到的不同频段对应的频谱信号，从与放松状态相关的α波形中提取放松度指数和专注度指数；
确定当前开启车窗遥控模式时，根据得到的不同频段对应的频谱信号，从与眨眼相关的频段的频谱信号中提取眨眼波形特征。
4.根据权利要求3所述的方法，其特征在于，所述疲劳检测模式的开启条件包括车辆处于高速行驶状态，或车辆连续行驶时间超过预设时长，或者接收到开启疲劳检测模式的控制指示；
根据各状态指标的状态值，确定满足疲劳检测模式的控制开启条件时，执行所述该人机交互模式对应的控制功能，包括：
根据当前疲劳程度的状态值确定用户处于疲劳驾驶状态时，确定满足疲劳检测模式下的控制开启条件并执行如下至少一个步骤：
控制车辆进行疲劳驾驶状态语音提醒、播放相关放松音乐、采用UI界面画面方式提醒休息、释放有醒神作用的气味；
根据车辆位置确定最近的停车地点，并根据用户的确认信息确定是否更改为目的地；
将所述用户的相关信息上传到后台，接收后台通过语音或通话的方式进行的提醒。
5.根据权利要求3所述的方法，其特征在于，所述情绪识别模式的开启条件包括接收到开启情绪识别模式的控制指示；
根据各状态指标的状态值，确定满足情绪识别模式下的控制开启条件时，执行所述情绪识别模式对应的控制功能，包括：
根据当前情绪稳定度的状态值确定用户处于情绪不稳定状态时，确定满足情绪识别模式下的控制开启条件并执行如下至少一个步骤：
控制车辆对情绪不稳定状态语音提醒、播放舒缓情绪相关音乐、控制释放有舒缓情绪作用的气味；
针对用户的驾驶行为进行监控，并将车辆的驾驶模式更改为预设的安全驾驶模式。
6.根据权利要求3所述的方法，其特征在于，所述沉浸空间模式的开启条件包括车速为零状态下接收到开启沉浸空间模式的控制指示，且根据预处理后的脑波信号确定用户处于放松状态；
根据各状态指标的状态值，确定满足沉浸空间模式下的控制开启条件时，执行所述沉浸空间模式对应的控制功能，包括：
根据当前放松度指数确定用户处于放松状态时，确定满足沉浸空间模式下的控制开启条件并执行如下至少一个步骤：
控制车辆按照预设的放松状态下的配置，播放放松状态对应的音视频、释放有放松作用的气味；
控制车辆确定用户所在座椅，并按照预设的放松状态下的配置调整用户所在座椅；
根据当前专注度指数确定用户处于专注状态时，确定退出沉浸空间模式并执行如下至少一个步骤：
控制车辆恢复进入沉浸空间模式前播放音频、释放有提神作用的气味；
控制车辆恢复用户座椅到进入沉浸空间模式前的状态。
7.根据权利要求4所述的方法，其特征在于，所述车窗遥控模式的开启条件包括接收到开启车窗遥控模式的控制指示且检测到用户眨眼频率达到设定值；
根据各状态指标的状态值，确定满足车窗遥控模式下的控制开启条件时，执行所述车窗遥控模式对应的控制功能，包括：
根据当前眨眼频率的状态值确定用户在设定时间间隔内眨眼的次数达到设定值时，确定满足车窗遥控模式下的控制开启条件并执行如下步骤：
控制车辆监控用户当前看向的车窗，并对所述车窗发出开/闭窗指令。
8.一种基于脑波信号进行人机交互的装置，其特征在于，包括：
数据获取与处理模块，用于通过脑电采集设备获取原始脑波信号并进行预处理；
特征提取模块，用于基于当前开启的人机交互模式，根据各人机交互模式下所需的至少一个状态指标，对预处理后的脑波信号进行特征提取；
状态值确定模块，用于根据特征提取后得到的与各状态指标对应的脑波特征信息，确定当前各状态指标的状态值；
人机交互控制模块，用于根据各状态指标的状态值，确定满足任一人机交互模式下的控制开启条件时，执行所述该人机交互模式对应的控制功能。
9.一种基于脑波信号进行人机交互的设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310272838.5A CN116353615A (zh) | 2023-03-15 | 2023-03-15 | 一种基于脑波信号进行人机交互的方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310272838.5A CN116353615A (zh) | 2023-03-15 | 2023-03-15 | 一种基于脑波信号进行人机交互的方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116353615A true CN116353615A (zh) | 2023-06-30 |
Family
ID=86913304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310272838.5A Pending CN116353615A (zh) | 2023-03-15 | 2023-03-15 | 一种基于脑波信号进行人机交互的方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116353615A (zh) |
-
2023
- 2023-03-15 CN CN202310272838.5A patent/CN116353615A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109464130B (zh) | 睡眠辅助方法、系统及可读存储介质 | |
| CN109316170B (zh) | 基于深度学习的脑电波辅助睡眠及唤醒系统 | |
| Li et al. | Single-channel EEG-based mental fatigue detection based on deep belief network | |
| WO2018176962A1 (zh) | 一种基于脑电波信号的机器人控制系统及方法、头戴装置 | |
| CN102715902A (zh) | 特殊人群的情绪监护方法 | |
| Sahayadhas et al. | Physiological signal based detection of driver hypovigilance using higher order spectra | |
| WO2014200433A1 (en) | Sound-induced sleep method and a system therefor | |
| CN116981393A (zh) | 监测生物特征数据以确定精神状态和输入命令 | |
| CN106175699B (zh) | 基于催眠术的智能辅助睡眠设备 | |
| CN109002817A (zh) | 基于自动驾驶车辆驾驶疲劳时变规律的接管绩效监测预警系统 | |
| WO2020186915A1 (zh) | 一种注意力检测方法及系统 | |
| Choi et al. | Determination of the concentrated state using multiple EEG channels | |
| KR20210116309A (ko) | 운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하는 기술 | |
| Monori et al. | Processing EEG signals acquired from a consumer grade BCI device | |
| Gunawan et al. | Brainwave classification of visual stimuli based on low cost EEG spectrogram using DenseNet | |
| Abhang et al. | Emotion Recognition using Speech and EEG Signal–A | |
| Purnamasari et al. | Mobile EEG based drowsiness detection using K-nearest neighbor | |
| CN206007247U (zh) | 一种基于脑电波防疲劳监测的骨传导反馈装置 | |
| Li et al. | Driver distraction from the EEG perspective: A review | |
| CN113208630A (zh) | 一种基于eeg睡眠信号的阿尔兹海默症筛查方法及系统 | |
| CN116353615A (zh) | 一种基于脑波信号进行人机交互的方法、装置及设备 | |
| CN210244579U (zh) | 一种基于脑电波、三轴加速传感器的预、报警装置 | |
| CN115626167A (zh) | 基于情绪识别的驾驶控制方法、装置、设备及存储介质 | |
| Li et al. | Emotion recognition based on low-cost in-ear EEG | |
| CN115686208A (zh) | 基于eeg的音乐诱发情绪识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |