CN106529421A - 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 - Google Patents
基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 Download PDFInfo
- Publication number
- CN106529421A CN106529421A CN201610916704.2A CN201610916704A CN106529421A CN 106529421 A CN106529421 A CN 106529421A CN 201610916704 A CN201610916704 A CN 201610916704A CN 106529421 A CN106529421 A CN 106529421A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- module
- eeg
- driver
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统，包括脑电信号采集部分、脑电信号处理分析部分、疲劳报警及语音控制车载电器部分。脑电信号采集部分采集模拟量脑电信号输出至脑电信号处理部分，脑电信号处理部分对脑电信号进行处理且计算驾驶员疲劳程度并将结果发送至疲劳报警及语音控制车载电器部分，疲劳报警及语音控制车载电器部分根据得到的结果做出相应的报警并发送至电器设备控制模块进行对车载电器设备的控制。本发明针对驾驶员在驾驶过程中产生的疲劳和情绪状况进行检测，消除因驾驶疲劳和“路怒”驾驶带来的安全隐患，降低交通事故的发生率，并能语音控制空调、多媒体、天窗等设备辅助控制，提高驾驶的安全性。
Description
技术领域
本发明涉及神经科学和信息技术的结合应用领域，尤其是涉及信号处理、神经控制及自动控制的辅助驾驶系统。
背景技术
随着交通业和汽车行业的发展，交通事故已成为当前各国面临的严重性问题。我国更是一个道路交通事故高发的交通大国，据不完全统计，2014和2015年道路交通事故分别为196812和198394起，死亡人数分别为58523和58539人，造成的人员伤亡和财产损失巨大；而这些事故中相当一部分交通事故源于驾驶员因素，例如驾驶员酒后驾车、驾驶疲劳以及情绪波动等状况。其中因驾驶员疲劳导致的交通事故约占全部交通事故的15％，道路交通安全日益成为全社会关注的焦点。因此发明一种直接有效的驾驶员疲劳检测系统将有助于降低因疲劳驾驶、酒后驾、情绪驾驶等引起的交通事故和人身伤害，提高驾驶安全性和便捷舒适性，推进智能辅助驾驶技术的发展。
目前驾驶员疲劳和情绪检测主要在以下三个方面，首先是车辆行驶参数检测依据车辆行驶环境和对汽车操控变量来判断驾驶员疲劳状况，这主要用于疲劳检测且受环境因素影响比较大且灵敏度低；其次是对驾驶员行为特征进行检测包括眨眼频率、面部表情和头部动作幅度，这些行为特征的检测依靠于图像处理和一些加速度类型传感器完成，虽然传感器检测比较准确但是图像处理过程中环境光照对摄像机影响很大且准确率低；第三种就是针对驾驶员生理参数包括心电、眼电和脑电等进行检测判别驾驶员疲劳程度和情绪状况，生理信号检测驾驶员疲劳和情绪最客观有效，尤其是脑电信号能够对驾驶员做最真实的反应，已成为反映驾驶员精神状况的最佳标准信号之一。
现有商业化的驾驶员疲劳和情绪检测系统装置有美国研制的驾驶员打瞌睡侦测系统DDDS，日本提出的“电子清醒带”，深圳长途汽车公司的“司机疲劳事故预防器”。这些产品都是通过视觉处理检测驾驶员面部以及眼部状态，或者检测驾驶员肌电信号和控制汽车方向盘物理量等来判断驾驶员疲劳程度情绪变化，视觉处理在应用上有诸多的限制并且物理量的分析也不能精确的反应驾驶员的精神状态。为了提高对驾驶员驾驶过程中疲劳状况和情绪变化检测的准确度美国加州大学圣地亚哥分校的CHIN-Teng Lin等人率先提取出基于脑电信号来分析驾驶员疲劳状况的方法，随后国内很多研究团队也开始进行基于脑电信号的驾驶员疲劳和情绪分析，但是现有的分析只是停留在实验室阶段实用性有待提高并，目前还没有十分完善的基于脑电分析的商用驾驶员疲劳检测和情绪分析系统。
发明内容
本发明目的在于提供一种通过脑电信号来分析驾驶员疲劳状况和情绪变化提早发现潜在的驾驶危险、能语音控制车载电器设备、提高驾驶安全性和便捷性的基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统。
为实现上述目的，采用了以下技术方案：本发明所述系统包括脑电信号采集部分、脑电信号处理部分、疲劳报警及语音控制车载电器部分；
其中，脑电信号采集部分与脑电信号处理部分通过无线传输技术进行连接，脑电信号采集部分获取多通道模拟脑电信号并进行放大、滤波和模数转换处理后输出数据至脑电信号分析处理部分；
脑电信号处理部分与疲劳报警及语音控制车载电器部分采用有线数据传输技术进行连接，脑电信号处理部分对输入的脑电信号进行特征提取，通过计算分析得出疲劳指数和情绪状况信息并发送至疲劳报警及语音控制车载电器部分；
疲劳报警及语音控制车载电器部分在满足报警条件时根据不同的警报等级发出不同类型的报警且根据用户语音控制播放音乐或打开其他电器设备。
进一步的，脑电信号采集部分包括博瑞康公司的32位导联电极帽和Neuracle无线放大器，32位导联电极帽输出脑电模拟信号至Neuracle无线放大器连接；Neuracle无线放大器将收到的脑电模拟信号送入放大模块放大后输出至滤波模块进行滤波，模数转换模块将滤波后的脑电信号转化为数字量并由无线发送模块输出至脑电信号处理部分。
进一步的，Neuracle无线放大器中滤波模块设定为0～35HZ带通滤波；Neuracle无线放大器中模数转换的分辨率为24bit；Neuracle无线放大器中无线发送模块的传输速率为2.4GH、最大传输距离为30M。
进一步的，所述脑电信号处理部分由无线接收模块、脑电信号分析模块、显示屏依次连接组成；无线接收模块接收来自脑电信号采集部分的数据并传输至脑电信号分析模块；脑电信号分析模块由脑电信号预处理子模块、脑电信号特征提取子模块和情绪及疲劳状态分类模块组成，脑电信号分析模块对脑电信号进行三部分处理得到驾驶员精神状态并发送至疲劳报警及语音控制车载电器部分和显示屏。
进一步的，脑电信号预处理子模块利用独立分量分析(independent componentanalysis,ICA)算法对无线接收模块接收到的各通道脑电信号进行预处理，去除工频或者眼电面部肌电的伪迹干扰，得到预处理后的脑电信号用于特征提取模块的特征量获取。
进一步的，脑电信号特征提取子模块的输入端连接脑电信号预处理子模块的输出端，脑电信号特征提取子模块的输出端连接情绪及疲劳状态分类模块；脑电信号特征提取子模块利用变分模态分解(Variational Mode Decomposition,VMD)方法，对无噪声的EEG信号进行时频域的特征提取，得到额叶区和枕区反映驾驶员疲劳状态的θ波(4～8Hz)和β波(12～32Hz)额叶区反映驾驶员情绪变化的β波这些频率特征指标送入情绪及疲劳状态分类模块用于驾驶员疲劳等级计算和情绪分析。
进一步的，情绪及疲劳状态分类模块根据脑电信号特征提取子模块中得到的反应驾驶员疲劳状态θ波和β波和情绪状态β波分别计算上述各波段的能量，通过将θ波和β波的能量做比求得比值大小定义为疲劳指数Fθ/β，根据额叶区beta波功率值区分驾驶员平静、兴奋、悲伤3种情绪，并将疲劳指数和情绪状态在显示界面进行显示让驾驶员可以关注到当前疲劳和情绪状况。
进一步的，疲劳报警及语音控制车载电器部分包括语音识别模块、电气控制模块、电器设备驱动模块、语音报警模块和灯光报警模块；其中：电气控制模块的输入端采用串口通信的方式与脑电信号处理部分相连，电气控制模块的输出端与电器设备驱动模块的输入端连接，电器设备驱动模块的输出端分别与灯光报警模块、语音报警模块、车载多媒体和/或天窗、雨刷、空调连接；语音识别模块接收用户的语音指令并进行识别，电气控制模块采用STM32单片机通过串口通信的方式读取语音识别模块的识别结果，电气控制模块根据不同指令驱动电气设备驱动模块完成设备的相应动作。
工作过程大致如下：
步骤1，在驾驶员驾驶过程中从驾驶员头皮获取多通道脑电信号，通过放大、滤波后，对多通道脑电信号进行A/D转换得到数字信号；
步骤2，将步骤1采集到的数字信号以无线通信的方式传输给脑电信号处理模块，脑电信号处理模块中的脑电信号预处理自子模块通过基于独立分量分析(independentcomponent analysis,ICA)算法对实时采集的EEG进行预处理，提取有效频段并去除以去除伪迹干扰，得到纯净的脑电信号；
步骤3，脑电信号特征提取子模块对步骤2得到预处理后的脑电信号数据数据进行读取，通过变分模态分解(Variational Mode Decomposition,VMD)方法，实现不同节律下脑电特征的有效提取得到反应脑疲劳和情绪的的θ波和β波；
步骤4，将步骤3分析得到的两个波段信号能量做比得到脑疲劳指数Fθ/β，将脑疲劳指数大小以及反映情绪的波段能量大小发送至情绪及疲劳状态分类模块，精神状态分子子模块根据疲劳指数大小判断驾驶员疲劳等级以及当前情绪状况，并判断当前驾驶员是否疲劳或者情绪激动，如果出现疲劳或者情绪则将报警命令发送至疲劳报警及语音控制车载电器部分；
步骤5，实时显示步骤4得到的驾驶员疲劳程度和情绪状况；
步骤6，疲劳报警及语音控制车载电器部分根据步骤5得到的控制指令完成相应的灯光和语音报警；
步骤7，获取驾驶过程中用户的语音指令；
步骤8，根据接收到的用户发出的语音分析得到用户的控制意图进行对相应汽车电器设备的控制。
与现有技术相比，本发明具有如下优点：本发明适用于汽车、火车驾驶等需要高度注意力且情绪平定的工作岗位，在用户因长时间的驾驶产生疲劳或者愤怒情绪时及时做出报警提醒，并且语音辅助控制增加了用户使对汽车或其他设备用的便捷性，本发明为提早发现因疲劳驾驶和情绪驾驶产生的潜在驾驶危险提供新途径，对于降低因疲劳或者路怒驾驶引起的交通事故发生率和缓解交通拥堵等具有一定现实意义和应用价值，对于其他现有的设备而言检测精确，本发明具有深远的社会意义和较高的使用价值。
附图说明
图1为本发明的整体结构框图。
图2为本发明所需采集脑电信号电极对应头皮位置图。
图3为脑电信号采集部分的连接图。
图4为脑电信号处理部分与疲劳情绪报警及语音控制车载电器部分的连接图。附图标号：1-脑电信号采集部分、2-脑电信号处理部分、3-疲劳报警及语音控制车载电器部分、101-32位导联电极帽、102-采集电极、103-信号放大模块、104-滤波模块、105-模数转换模块、106-无线发送模块、201-无线接收模、202-脑电信号分析模块、203-显示屏、204-脑电信号预处理子模块、205-脑电信号特征提取子模块、206-情绪及疲劳状态分类模块、301-语音识别模块、302-电气控制模块、303-电器设备驱动模块、304-语音报警模块、305-灯光报警模块、306-天窗、307-空调、308-车载多媒体。
具体实施方式
下面结合附图对本发明做进一步说明：
如图1所示的本发明的结构简图中，本发明所述系统包括脑电信号采集部分1、脑电信号处理部分2和疲劳报警及语音控制车载电器部分3，
其中：脑电信号采集部分采集模拟量脑电信号通过放大、滤波、模数转换后无线输出数字量脑电信号至脑电信号处理部分，脑电信号处理部对输入的数字量脑电信号进行预处理、特特征提取、识别驾驶员情绪状况计算驾驶员疲劳程度并将结果发送至疲劳报警及语音控制车载电器部分，疲劳报警及语音控制车载电器部分根据得到的结果做出相应的报警，语音控制车载电器设备部分识别用户语音指令并将识别结果发送至电器设备控制模块进行对车载电器设备的控制。脑电信号采集部分与脑电信号处理部分通过无线传输的方式连接。
所述脑电信号采集部分如图3所示包括：32位导联电极帽101、采集电极102以及依次串级连接的信号放大模块103、滤波模块104、模数转换模块105和无线发送模块106。其中：采集电极位于电极帽内与信号放大模块相连输出模拟脑电信号，信号放大器将收到的模拟信号送入放大模块放大后输出至滤波模块进行滤波，模数转换模块将滤波后的脑电信号转化为数字量并由无线发送模块输出至脑电分析部分。
所述32位导联电极帽101使用其中5个通道，如图2所示分别对应头皮电极位置分布上的F3，F4，O1，O2位置作为驾驶员脑电信号采集通道并取CPZ位置的电极作为参考电极和接地电极。信号放大模块为二级放大放大倍数为24倍；滤波模块为人为设定0HZ-35HZ带通滤波；模数转换模块的分辨率为16bit；无线发送模块的传输速率为2.45GH最大传输距离为30M。
所述的脑电信号处理部分如图4所示包括：无线接收模201、脑电信号分析模块202和显示屏203，其中：无线接收模块接收来自信号采集部分的数据并传输至脑电信号分析模块，脑电信号分析模块由脑电信号预处理子模块204、脑电信号特征提取子模块205和情绪及疲劳状态分类模块206组成并对依次对脑电信号进行三部分处理得到驾驶员精神状态并发送至反馈部分和显示屏显示驾驶员实时精神状态。
所述脑电信号预处理子模块根据无线接收模块接收到的数字量脑电信号利用独立分量分析(independent component analysis,ICA)算法对实时采集的各通道脑电信号进行预处理，以去除工频或者眼电面部肌电的伪迹干扰，从而得到比较干净的单纯脑电信号用于传递给特征提取模块的特征量提取。
所述脑电信号特征提取子模块连接脑电信号预处理子模块，利用变分模态分解(Variational Mode Decomposition,VMD)方法，对无噪声的EEG信号进行时频域的特征提取，得到额叶区和枕区反映驾驶员疲劳状态的4～8Hzθ波和12～32Hzβ波以及额叶区反映驾驶员情绪变化的14～30Hzβ波并将这些频率特征指标送入情绪及疲劳状态分类模块用于驾驶员疲劳等级计算和情绪分析。
所述驾驶员精神状态分析计算子模块连接特征提取子模块模块，负责根据特征提取子模块中得到的反应驾驶员疲劳状态θ波和β波和情绪状态β波分别计算上述各波段的能量，通过将θ波和β波的能量做比求得比值大小定义为疲劳指数Fθ/β，根据额叶区beta波功率值区分驾驶员平静、兴奋、悲伤3种情绪，并将疲劳指数和情绪状态在显示界面进行显示让驾驶员可以关注到当前疲劳和情绪状况，同时将疲劳指数和情绪识别结果发送至反馈模块。疲劳等级分类模块根据疲劳指数的大小将疲劳分为轻度疲劳、中度疲劳和重度疲劳三种情况，
所述疲劳情绪报警及语音控制车载电器部分如图4所示包括语音识别模块301、电气控制模块302、电器设备驱动模块303、语音报警模块304、灯光报警模块305、天窗306、空调307、车载多媒体308，其中：电气控制模块采用串口通信的方式接受脑电信号处理部分发送过来的识别结果分别控制语音模块和灯光报警模块作出相应报警，语音报警模块根据疲劳等级的不同发出不同的提示语音，根据情绪识别的结果在愤怒时提示驾驶员并播放舒缓的音乐，灯光报警模块304根据不同的疲劳等级的不同在轻度疲劳时绿灯闪烁，在中度疲劳时黄灯闪烁，在重度疲劳时红灯闪烁。语音识别模块接收用户的语音指令(包括播放音乐、打开天窗、打开空调等指令)并进行识别，将识别结果通过串口通信的方式发送至电器设备控制模块，控制模块根据不同指令驱动电气设备驱动模块实现对天窗、空调、车载多媒体的控制。
所述电气设备控制模块采用STM32单片机，通过串口通信的方式一方面接收脑电信号处理部分的识别结果驱动语音模块和灯光模块报警另一方面读取语音识别模块的识别结果，对识别出的的语音指令对应的控制命令驱动不同通道的电器设备驱动模块输出控制结果。
如图2所示，32通道电极帽在使用时选取图中五个位置的电极通道作为信号采集通道和参考地。
如图3所示，使用时驾驶员将电极帽戴在头上，确保电极贴在头皮上，打开无线放大器开关。驾驶员脑电信号由放大模块、滤波模块、模数转换模块处理后由无线发送模块发送至脑电信号处理部分的无线接收模块。
如图4所示，信号由无线接收模块得到以后，经过脑电信号分析模块处理分析得到当前驾驶员情绪状态和疲劳状态传输到显示屏，驾驶员可以直观的看到自己的当前疲劳程度。同时脑电信号分析模块也将计算分析得到的疲劳等级和情绪类别发送至疲劳情绪报警及语音控制车载电器部分3，疲劳情绪报警及语音控制车载电器部分中的电器控制模块根据接收到的疲劳等级控制语音报警部分和灯光报警部分发出相应类别的报警，同时电器控制模块根据接收到的情绪类别判断当前情绪的好坏，当情绪比较糟糕时也会引发语音和灯光报警；语音识别模块根据接收到的用户语音指令识别用户控制意图并将识别结果发送至电器控制模块，电器控制模块控制电器驱动模块实现车载电器设备天窗、空调和车载多媒体根据用户控制意图做出相应动作。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (8)
1.一种基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统，其特征在于：所述系统包括脑电信号部分、脑电信号处理部分、疲劳报警及语音控制车载电器部分；
其中，脑电信号采集部分与脑电信号处理部分通过无线传输技术进行连接，脑电信号采集部分获取多通道模拟脑电信号并进行放大、滤波和模数转换处理后输出数据至脑电信号分析处理部分；
脑电信号处理部分与疲劳报警及语音控制车载电器部分采用有线数据传输技术进行连接，脑电信号处理部分对输入的脑电信号进行特征提取，通过计算分析得出疲劳指数和情绪状况信息并发送至疲劳报警及语音控制车载电器部分；
疲劳报警及语音控制车载电器部分在满足报警条件时根据不同的警报等级发出不同类型的报警且根据用户语音控制播放音乐或打开其他电器设备。
2.根据权利要求1所述的基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统，其特征在于：脑电信号采集部分包括博瑞康公司的32位导联电极帽和Neuracle无线放大器，32导联电极帽输出脑电模拟信号至Neuracle无线放大器连接；Neuracle无线放大器将收到的脑电模拟信号送入放大模块放大后输出至滤波模块进行滤波，模数转换模块将滤波后的脑电信号转化为数字量并由无线发送模块输出至脑电信号处理部分。
3.根据权利要求2所述的基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统，其特征在于：Neuracle无线放大器中滤波模块设定为0～35HZ带通滤波；Neuracle无线放大器中模数转换的分辨率为24bit；Neuracle无线放大器中无线发送模块的传输速率为2.4GH、最大传输距离为30M。
4.根据权利要求1所述的基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统，其特征在于：所述脑电信号处理部分由无线接收模块、脑电信号分析模块、显示屏依次连接组成；无线接收模块接收来自脑电信号采集部分的数据并传输至脑电信号分析模块；脑电信号分析模块由脑电信号预处理子模块、脑电信号特征提取子模块和情绪及疲劳状态分类模块组成，脑电信号分析模块对脑电信号进行三部分处理得到驾驶员精神状态并发送至疲劳报警及语音控制车载电器部分和显示屏。
5.根据权利要求4所述的基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统，其特征在于：脑电信号预处理子模块利用独立分量分析(independent component analysis,ICA)算法对无线接收模块接收到的各通道脑电信号进行预处理，去除工频、眼电及肌电等伪迹干扰，得到预处理后的脑电信号用于特征提取模块的特征量获取。
6.根据权利要求4所述的基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统，其特征在于：脑电信号特征提取子模块的输入端连接脑电信号预处理子模块的输出端，脑电信号特征提取子模块的输出端连接情绪及疲劳状态分类模块；脑电信号特征提取子模块利用变分模态分解(Variational Mode Decomposition,VMD)方法，对去噪后的脑电信号进行时频域的特征提取，得到额叶区和枕区反映驾驶员疲劳状态的θ波(4～8Hz)和β波(12～32Hz)额叶区反映驾驶员情绪变化的β波这些频率特征指标送入情绪及疲劳状态分类模块用于驾驶员疲劳等级计算和情绪分析。
7.根据权利要求4所述的基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统，其特征在于：情绪及疲劳状态分类模块根据脑电信号特征提取子模块中得到的反应驾驶员疲劳状态θ波和β波和情绪状态β波分别计算上述各波段的能量，通过将θ波和β波的能量做比求得比值大小定义为疲劳指数Fθ/β，根据额叶区beta波功率值区分驾驶员平静、兴奋、悲伤3种情绪，并将疲劳指数和情绪状态在显示界面进行显示让驾驶员可以关注到当前疲劳和情绪状况。
8.根据权利要求1所述的基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统，其特征在于：疲劳报警及语音控制车载电器部分包括语音识别模块、电气控制模块、电器设备驱动模块、语音报警模块和灯光报警模块；其中：电气控制模块的输入端采用串口通信的方式与脑电信号处理部分相连，电气控制模块的输出端与电器设备驱动模块的输入端连接，电器设备驱动模块的输出端分别与灯光报警模块、语音报警模块、车载多媒体和/或天窗、雨刷、空调连接；语音识别模块接收用户的语音指令并进行识别，电气控制模块采用STM32单片机通过串口通信的方式读取语音识别模块的识别结果，电气控制模块根据不同指令驱动电气设备驱动模块完成设备的相应动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610916704.2A CN106529421A (zh) | 2016-10-21 | 2016-10-21 | 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610916704.2A CN106529421A (zh) | 2016-10-21 | 2016-10-21 | 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106529421A true CN106529421A (zh) | 2017-03-22 |
Family
ID=58332821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610916704.2A Pending CN106529421A (zh) | 2016-10-21 | 2016-10-21 | 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106529421A (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358026A (zh) * | 2017-06-14 | 2017-11-17 | 中国人民解放军信息工程大学 | 一种基于脑机接口和物联网的残疾人智能陪护系统 |
| CN107451651A (zh) * | 2017-07-28 | 2017-12-08 | 杭州电子科技大学 | 一种基于粒子群优化的h‑elm的驾驶疲劳检测方法 |
| CN107458382A (zh) * | 2017-08-22 | 2017-12-12 | 京东方科技集团股份有限公司 | 车辆控制装置、控制方法和平视显示装置 |
| CN107595302A (zh) * | 2017-09-06 | 2018-01-19 | 西安交通大学 | 一种利用脑电信号监测用户精神状态的装置及方法 |
| CN108268887A (zh) * | 2017-12-15 | 2018-07-10 | 西安电子科技大学 | 基于虚拟驾驶与eeg检测的驾驶人安全意识评估方法 |
| CN108710895A (zh) * | 2018-04-23 | 2018-10-26 | 安徽大学 | 基于独立分量分析的运动想象脑电信号分类方法 |
| CN108733020A (zh) * | 2017-04-19 | 2018-11-02 | 奥迪股份公司 | 用于车辆的远程控制设备和方法 |
| CN108764169A (zh) * | 2018-05-31 | 2018-11-06 | 厦门大学 | 一种基于机器学习的驾驶员情绪识别与显示装置及方法 |
| CN108958486A (zh) * | 2018-07-06 | 2018-12-07 | 重庆邮电大学 | 基于人脸识别脑电n170成分的情绪脑机接口系统 |
| CN108937923A (zh) * | 2018-08-02 | 2018-12-07 | 扬州市紫麓信息技术有限公司 | 一种基于脑电信号、眼电信号和肌电信号的疲劳驾驶监测系统 |
| CN109373500A (zh) * | 2018-10-23 | 2019-02-22 | 珠海格力电器股份有限公司 | 一种具有与人互动功能的空调控制方法及空调器 |
| CN109907755A (zh) * | 2019-04-26 | 2019-06-21 | 上海理工大学 | 一种基于bci的疲劳驾驶监测和干预系统 |
| CN109985301A (zh) * | 2017-12-29 | 2019-07-09 | 新华网股份有限公司 | 降低疲劳的处理方法和装置 |
| CN109984761A (zh) * | 2017-12-29 | 2019-07-09 | 新华网股份有限公司 | 疲劳信息的显示方法及装置 |
| CN109992113A (zh) * | 2019-04-09 | 2019-07-09 | 燕山大学 | 一种基于多场景诱发的mi-bci系统及其控制方法 |
| CN110084998A (zh) * | 2019-04-18 | 2019-08-02 | 西安理工大学 | 便携式驾驶疲劳监测与干预装置及其方法 |
| WO2020042109A1 (zh) * | 2018-08-30 | 2020-03-05 | 西门子（中国）有限公司 | 用于安全控制的脑机接口装置以及机器人系统 |
| CN111045640A (zh) * | 2019-12-13 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 一种汽车驾驶员数据采集系统和穿戴式辅助驾驶设备 |
| CN111358475A (zh) * | 2020-03-16 | 2020-07-03 | 国网安徽省电力有限公司 | 电力系统高危作业人员精神状态评估方法及系统 |
| CN111824047A (zh) * | 2019-04-15 | 2020-10-27 | 比亚迪股份有限公司 | 车辆控制方法、装置、车辆及存储介质 |
| CN111839508A (zh) * | 2020-07-30 | 2020-10-30 | 陕西科技大学 | 基于精神状态检测与控制的车辆安全驾驶系统 |
| CN112026698A (zh) * | 2020-08-20 | 2020-12-04 | 索巢科技有限公司 | 自动纠错装置的汽车紧急制动系统 |
| CN112451833A (zh) * | 2020-11-10 | 2021-03-09 | 东北电力大学 | 一种基于个性化音乐推荐器的驾驶疲劳检测缓解系统及方法 |
| CN112562267A (zh) * | 2020-11-27 | 2021-03-26 | 深圳腾视科技有限公司 | 车载安全机器人和安全驾驶辅助方法 |
| CN113002558A (zh) * | 2021-03-30 | 2021-06-22 | 复旦大学 | 一种基于脑电信号的残疾人辅助智能驾驶系统和方法 |
| CN113607433A (zh) * | 2021-08-27 | 2021-11-05 | 广汽本田汽车有限公司 | 基于驾驶员生理信息的车道保持辅助系统的台架检证平台 |
| CN115211854A (zh) * | 2021-04-19 | 2022-10-21 | 天津科技大学 | 一种基于脑电波的智能自适应司机人机交互情绪调节方法 |
| US20220369978A1 (en) * | 2021-05-18 | 2022-11-24 | Hyundai Mobis Co., Ltd. | System and method for determining driver's fatigue |
| TWI799343B (zh) * | 2022-08-26 | 2023-04-11 | 中原大學 | 運用田口法於汽車駕駛人夜間瞌睡偵測方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104571533A (zh) * | 2015-02-10 | 2015-04-29 | 北京理工大学 | 一种基于脑机接口技术的装置和方法 |
| CN104688220A (zh) * | 2015-01-28 | 2015-06-10 | 西安交通大学 | 一种去除脑电信号中眼电伪迹的方法 |
| CN104965584A (zh) * | 2015-05-19 | 2015-10-07 | 西安交通大学 | 基于ssvep与osp的混合脑-机接口方法 |
| CN105788176A (zh) * | 2016-05-25 | 2016-07-20 | 厦门理工学院 | 疲劳驾驶监测提醒方法及系统 |
-
2016
- 2016-10-21 CN CN201610916704.2A patent/CN106529421A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104688220A (zh) * | 2015-01-28 | 2015-06-10 | 西安交通大学 | 一种去除脑电信号中眼电伪迹的方法 |
| CN104571533A (zh) * | 2015-02-10 | 2015-04-29 | 北京理工大学 | 一种基于脑机接口技术的装置和方法 |
| CN104965584A (zh) * | 2015-05-19 | 2015-10-07 | 西安交通大学 | 基于ssvep与osp的混合脑-机接口方法 |
| CN105788176A (zh) * | 2016-05-25 | 2016-07-20 | 厦门理工学院 | 疲劳驾驶监测提醒方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 孙宇: "基于脑_机接口的驾驶员疲劳度检测预警系统研究", 《中国优秀硕士学位论文全文数据库》 * |
| 赵艳丽 等: "新型多功能驾驶员状态监测系统设计", 《制造业自动化》 * |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108733020A (zh) * | 2017-04-19 | 2018-11-02 | 奥迪股份公司 | 用于车辆的远程控制设备和方法 |
| CN108733020B (zh) * | 2017-04-19 | 2021-10-01 | 奥迪股份公司 | 用于车辆的远程控制设备和方法 |
| CN107358026A (zh) * | 2017-06-14 | 2017-11-17 | 中国人民解放军信息工程大学 | 一种基于脑机接口和物联网的残疾人智能陪护系统 |
| CN107451651A (zh) * | 2017-07-28 | 2017-12-08 | 杭州电子科技大学 | 一种基于粒子群优化的h‑elm的驾驶疲劳检测方法 |
| US11396232B2 (en) | 2017-08-22 | 2022-07-26 | Boe Technology Group Co., Ltd. | Vehicle control device, vehicle control method and head-up display apparatus |
| CN107458382A (zh) * | 2017-08-22 | 2017-12-12 | 京东方科技集团股份有限公司 | 车辆控制装置、控制方法和平视显示装置 |
| CN107458382B (zh) * | 2017-08-22 | 2019-09-10 | 京东方科技集团股份有限公司 | 车辆控制装置、控制方法和平视显示装置 |
| CN107595302A (zh) * | 2017-09-06 | 2018-01-19 | 西安交通大学 | 一种利用脑电信号监测用户精神状态的装置及方法 |
| CN108268887A (zh) * | 2017-12-15 | 2018-07-10 | 西安电子科技大学 | 基于虚拟驾驶与eeg检测的驾驶人安全意识评估方法 |
| CN108268887B (zh) * | 2017-12-15 | 2021-12-03 | 西安电子科技大学 | 基于虚拟驾驶与eeg检测的驾驶人安全意识评估方法 |
| CN109985301A (zh) * | 2017-12-29 | 2019-07-09 | 新华网股份有限公司 | 降低疲劳的处理方法和装置 |
| CN109984761A (zh) * | 2017-12-29 | 2019-07-09 | 新华网股份有限公司 | 疲劳信息的显示方法及装置 |
| CN108710895B (zh) * | 2018-04-23 | 2022-03-22 | 安徽大学 | 基于独立分量分析的运动想象脑电信号分类方法 |
| CN108710895A (zh) * | 2018-04-23 | 2018-10-26 | 安徽大学 | 基于独立分量分析的运动想象脑电信号分类方法 |
| CN108764169A (zh) * | 2018-05-31 | 2018-11-06 | 厦门大学 | 一种基于机器学习的驾驶员情绪识别与显示装置及方法 |
| CN108958486A (zh) * | 2018-07-06 | 2018-12-07 | 重庆邮电大学 | 基于人脸识别脑电n170成分的情绪脑机接口系统 |
| CN108937923A (zh) * | 2018-08-02 | 2018-12-07 | 扬州市紫麓信息技术有限公司 | 一种基于脑电信号、眼电信号和肌电信号的疲劳驾驶监测系统 |
| CN113039507A (zh) * | 2018-08-30 | 2021-06-25 | 西门子（中国）有限公司 | 用于安全控制的脑机接口装置以及机器人系统 |
| WO2020042109A1 (zh) * | 2018-08-30 | 2020-03-05 | 西门子（中国）有限公司 | 用于安全控制的脑机接口装置以及机器人系统 |
| CN109373500A (zh) * | 2018-10-23 | 2019-02-22 | 珠海格力电器股份有限公司 | 一种具有与人互动功能的空调控制方法及空调器 |
| CN109992113A (zh) * | 2019-04-09 | 2019-07-09 | 燕山大学 | 一种基于多场景诱发的mi-bci系统及其控制方法 |
| CN109992113B (zh) * | 2019-04-09 | 2020-05-15 | 燕山大学 | 一种基于多场景诱发的mi-bci系统及其控制方法 |
| CN111824047A (zh) * | 2019-04-15 | 2020-10-27 | 比亚迪股份有限公司 | 车辆控制方法、装置、车辆及存储介质 |
| CN110084998A (zh) * | 2019-04-18 | 2019-08-02 | 西安理工大学 | 便携式驾驶疲劳监测与干预装置及其方法 |
| CN109907755A (zh) * | 2019-04-26 | 2019-06-21 | 上海理工大学 | 一种基于bci的疲劳驾驶监测和干预系统 |
| CN111045640A (zh) * | 2019-12-13 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 一种汽车驾驶员数据采集系统和穿戴式辅助驾驶设备 |
| CN111045640B (zh) * | 2019-12-13 | 2023-04-11 | 中国科学院深圳先进技术研究院 | 一种汽车驾驶员数据采集系统和穿戴式辅助驾驶设备 |
| CN111358475A (zh) * | 2020-03-16 | 2020-07-03 | 国网安徽省电力有限公司 | 电力系统高危作业人员精神状态评估方法及系统 |
| CN111839508A (zh) * | 2020-07-30 | 2020-10-30 | 陕西科技大学 | 基于精神状态检测与控制的车辆安全驾驶系统 |
| CN112026698A (zh) * | 2020-08-20 | 2020-12-04 | 索巢科技有限公司 | 自动纠错装置的汽车紧急制动系统 |
| CN112451833A (zh) * | 2020-11-10 | 2021-03-09 | 东北电力大学 | 一种基于个性化音乐推荐器的驾驶疲劳检测缓解系统及方法 |
| CN112562267A (zh) * | 2020-11-27 | 2021-03-26 | 深圳腾视科技有限公司 | 车载安全机器人和安全驾驶辅助方法 |
| CN113002558A (zh) * | 2021-03-30 | 2021-06-22 | 复旦大学 | 一种基于脑电信号的残疾人辅助智能驾驶系统和方法 |
| CN115211854A (zh) * | 2021-04-19 | 2022-10-21 | 天津科技大学 | 一种基于脑电波的智能自适应司机人机交互情绪调节方法 |
| US20220369978A1 (en) * | 2021-05-18 | 2022-11-24 | Hyundai Mobis Co., Ltd. | System and method for determining driver's fatigue |
| CN113607433A (zh) * | 2021-08-27 | 2021-11-05 | 广汽本田汽车有限公司 | 基于驾驶员生理信息的车道保持辅助系统的台架检证平台 |
| CN113607433B (zh) * | 2021-08-27 | 2024-03-08 | 广汽本田汽车有限公司 | 基于驾驶员生理信息的车道保持辅助系统的台架检证平台 |
| TWI799343B (zh) * | 2022-08-26 | 2023-04-11 | 中原大學 | 運用田口法於汽車駕駛人夜間瞌睡偵測方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106529421A (zh) | 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 | |
| CN104146722B (zh) | 一种基于头部信号的驾驶疲劳检测分级预警方法 | |
| CN105678959B (zh) | 一种疲劳驾驶监控预警方法及系统 | |
| CN105869356A (zh) | 一种铁路司机工作状态的评估干预系统及方法 | |
| CN105748050A (zh) | 一种车载健康诊断系统 | |
| CN103919565A (zh) | 一种疲劳驾驶脑电信号特征提取与识别的方法 | |
| CN109664821B (zh) | 基于语音干预的防疲劳与防超速车载监控装置及其方法 | |
| CN103489323B (zh) | 一种红绿灯的识别装置 | |
| CN113378771A (zh) | 驾驶员状态确定方法、装置、驾驶员监控系统、车辆 | |
| CN104691333B (zh) | 基于车道偏离频次的长途客车驾驶员疲劳状态评价方法 | |
| CN109953763A (zh) | 一种基于深度学习的车载驾驶行为检测预警系统及方法 | |
| CN102874113A (zh) | 驾驶员突发疾病后的安全保护系统 | |
| CN110533880A (zh) | 一种基于心电信号的异常驾驶状态检测及预警控制方法 | |
| CN108937923A (zh) | 一种基于脑电信号、眼电信号和肌电信号的疲劳驾驶监测系统 | |
| CN110367975A (zh) | 一种基于脑机接口的疲劳驾驶检测预警方法 | |
| CN114652532B (zh) | 基于ssvep与注意力检测的多功能脑控轮椅系统 | |
| CN203552404U (zh) | 一种驾驶疲劳预警系统 | |
| CN112150767A (zh) | 基于物联网与计算机的疲劳驾驶监控系统 | |
| CN111839508A (zh) | 基于精神状态检测与控制的车辆安全驾驶系统 | |
| CN203149771U (zh) | 一种疲劳驾驶警示系统 | |
| CN106859644A (zh) | 一种基于脑电波的疲劳驾驶监控系统及监控方法 | |
| CN110930641A (zh) | 一种基于生理信息分析的疲劳驾驶预警系统及方法 | |
| CN111080940A (zh) | 一种基于阈值体系的疲劳驾驶预警方法及系统 | |
| CN110742602B (zh) | 一种基于脑电与车辆行驶数据的激进驾驶状态识别方法 | |
| CN107168313A (zh) | 控制车辆驾驶的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170322 |