CN105595996B - 一种眼电与脑电综合判定的疲劳驾驶脑电监测方法 - Google Patents
一种眼电与脑电综合判定的疲劳驾驶脑电监测方法 Download PDFInfo
- Publication number
- CN105595996B CN105595996B CN201610136838.2A CN201610136838A CN105595996B CN 105595996 B CN105595996 B CN 105595996B CN 201610136838 A CN201610136838 A CN 201610136838A CN 105595996 B CN105595996 B CN 105595996B
- Authority
- CN
- China
- Prior art keywords
- eeg
- time
- later
- eeg signals
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0006—ECG or EEG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
Abstract
本发明公开了一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,包括步骤:一、设备连接及参数初始化:将脑电信号获取装置与脑电信号监测终端连接,并通过脑电信号监测终端的主控芯片对疲劳台阶参数进行设定;二、脑电波信号采集:采用脑电信号获取装置对驾驶员的脑电波信号进行采集及预处理,并将预处理后的脑电波信号同步传送至脑电信号监测终端;三、脑电波信号分析处理:脑电信号监测终端的主控芯片同时调用眼电判定模块和脑电判定模块,对脑电信号获取装置采集并预处理后的脑电波信号分别进行分析处理。本发明方法步骤简单、设计合理且实现方便、使用效果好,能简便、快速、实时对驾驶员的疲劳驾驶状态进行准确监测,实用价值高。
Description
技术领域
本发明属于脑电波监测技术领域,尤其是涉及一种眼电与脑电综合判定的疲劳驾驶脑电监测方法。
背景技术
随着我国经济社会的发展,我国公路道路建设突飞猛进的增长,汽车和驾驶员的数量也随之迅猛增加,给日常生活带来便利的同时,交通事故的频繁发生也给社会带来了重大的损失。现如今,减少交通事故的发生及减小人员伤亡的各种技术手段都应用而生,当前最多被采用的疲劳检测手段是驾驶员驾车行为分析,即通过记录和解析驾驶员转动方向盘、踩刹车等行为特征,判别驾驶员是否疲劳;但是这种方式受驾驶员驾驶习惯的影响极大,没有统一、科学且有效的判定理论进行支撑。另一类疲劳检测方法是通过图像分析手段对驾驶员脸部与眼睛特征进行疲劳评估,此种方法通过图像采集及处理系统来分析当前驾驶员是否疲劳,具有一定的实时性,但是依然没有普遍适用性,因为每个人的生物特征是不一样的,有的人眼睛的外在表现并不能代表此刻的精神状态,所以也存在很大的误差;另外,目前此种方法采用的图像采集及处理系统主要包括基于ARM的疲劳驾驶检测系统、挂耳朵式疲劳预警器、手表式疲劳驾驶检测系统、方向盘触摸式疲劳驾驶检测系统等,其中基于ARM的疲劳驾驶检测系统存在的问题是系统构成过于繁杂,功能单一,且可靠性差;挂耳朵式疲劳预警器的功能非常简单,低头就报警,然而考虑到打瞌睡不一定就低头,且瞌睡导致的低头特征出现的比较晚,因而实时性不太好;手表式疲劳驾驶检测系统利用脉搏的跳动来估测人是否疲劳,没有科学的理论支撑和权威的科学依据,且不能解决突然睡着的问题;方向盘触摸式疲劳驾驶检测系统利用在方向盘上安装一些传感器来感知驾驶员是否握住方向盘,而驾驶员是否握住方向盘与疲劳状态本质上没有直接关系,并且安装传感器后使方向盘操作不方便。
另外,目前所采用的疲劳驾驶检测手段大多都是驾驶前或驾驶后测量,是超前或滞后的,而非实时的,况且在驾驶室有限的空间内安置复杂的检测仪器也是十分困难的;而且,驾驶员脱离驾驶室或未进入驾驶室的精神状态是不同的。因此,开发一套车载的、实时的驾驶员疲劳检测系统及对应的疲劳驾驶监测方法已成为国内外专家学者共同追求的目标。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其方法步骤简单、设计合理且实现方便、使用效果好,能简便、快速、实时对驾驶员的疲劳驾驶状态进行准确监测,实用价值高。
为解决上述技术问题,本发明采用的技术方案是:一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征在于:该方法包括以下步骤:
步骤一、设备连接及参数初始化:将脑电信号获取装置与脑电信号监测终端连接,并通过脑电信号监测终端的主控芯片对疲劳台阶参数s_c进行设定;此时,疲劳台阶参数s_c的数值为0;
所述脑电信号获取装置为Mindwave Mobile脑立方耳机或TGAM模块;所述脑电信号监测装置包括主控芯片以及分别与主控芯片连接的时钟电路和报警提示单元;
步骤二、脑电波信号采集:采用脑电信号获取装置且按照预先设定的采样频率对驾驶员的脑电波信号进行采集及预处理,并将预处理后的脑电波信号同步传送至脑电信号监测终端;
所述脑电波信号中包含原始脑电波信号,且所述原始脑电波信号的采样频率为512Hz;
步骤三、脑电波信号分析处理:所述脑电信号监测终端的主控芯片调用眼电判定模块和脑电判定模块,同时对脑电信号获取装置采集并预处理后的脑电波信号分别进行分析处理;
其中,所述主控芯片调用所述眼电判定模块进行分析处理时,过程如下:
步骤3011、眨眼次数判断阈值确定:按照采样时间先后顺序对脑电信号获取装置连续P秒内采集并预处理后的脑电波信号分别进行分析处理,并根据分析处理结果对眨眼次数判断阈值n0进行确定;其中,P=2×p,其中p为正整数且p≥20;
本步骤中,对脑电信号获取装置任一秒内采集并预处理后的脑电波信号进行分析处理时,过程如下:
步骤30111、脑电波信号同步存储:对此时接收到的脑电信号获取装置一秒内采集并预处理后的脑电波信号进行同步存储,所存储的脑电波信号为当前待处理脑电波信号;
步骤30112、原始脑电波信号提取及脑电波信号能量计算:从步骤30111中所述当前待处理脑电波信号中提取出原始脑电波信号,并对当前待处理脑电波信号的能量e进行计算;
所述当前待处理脑电波信号中包括512个所述原始脑电波信号,512个所述原始脑电波信号中第i个所述原始脑电波信号的信号值记作Xi;
对当前待处理脑电波信号的能量e进行计算时,根据公式(7)进行计算;公式(7)中,N=512;
步骤30113、眨眼判定:根据步骤30112中计算得出的当前待处理脑电波信号的能量e,对该秒内驾驶员是否眨眼进行判断,并得出该秒的眨眼判定值bk:当e>E2时,bk=1;否则,bk=0;其中,E=280~320;
步骤30114、眨眼判定值同步存储:对步骤30113中得出的眨眼判定值bk进行同步存储,完成脑电信号获取装置该秒内采集并预处理后的脑电波信号的分析处理过程;
步骤30115、下一秒内采集并预处理后的脑电波信号分析处理:按照步骤30111至步骤30114中所述的方法,对脑电信号获取装置下一秒内采集并预处理后的脑电波信号进行分析处理,并得出该秒的眨眼判定值bk;
步骤30116、P-2次重复步骤30115,直至完成脑电信号获取装置连续P秒内采集并预处理后的脑电波信号的分析处理过程,并获得各秒的眨眼判定值bk;
步骤30117、眨眼判定值叠加:对步骤30116中所获得的连续P秒内各秒的眨眼判定值bk进行叠加,并获得眨眼判定值之和bkZ;
步骤30118、眨眼次数判断阈值确定:根据步骤30117中所获得的眨眼判定值之和bkz,并按照公式计算得出眨眼次数判断阈值n0;
其中,n为正整数且n≥4;
并且,n×Q=P,其中Q为正整数且Q=2~10;
步骤3012、疲劳驾驶判断前脑电波信号分析处理,过程如下:
步骤30121、判断阈值确定后下一秒内采集并预处理后的脑电波信号分析处理:步骤30118中所述眨眼次数判断阈值n0确定后,按照步骤30111至步骤30114中所述的方法,对脑电信号获取装置下一秒内采集并预处理后的脑电波信号进行分析处理,并得出该秒的眨眼判定值bk;
步骤30122、n-2次重复步骤30121,直至完成步骤30118中所述眨眼次数判断阈值n0确定后脑电信号获取装置连续n-1秒内采集并预处理后的脑电波信号的分析处理过程,并获得各秒的眨眼判定值bk;
步骤3013、疲劳驾驶判断开始后脑电波信号分析处理:步骤3012中完成疲劳驾驶判断前脑电波信号分析处理后,所述眼电判定模块按照采样时间先后顺序对脑电信号获取装置每秒内采集并预处理后的脑电波信号分别进行分析处理,并根据分析处理结果对此时驾驶员是否处于疲劳驾驶状态进行判断;
本步骤中,所述眼电判定模块对脑电信号获取装置任一秒内采集并预处理后的脑电波信号进行分析处理时,过程如下:
步骤30131、脑电波信号分析处理:按照步骤30111至步骤30114中所述的方法,对脑电信号获取装置此时采集并预处理后的脑电波信号进行分析处理,并得出此时的眨眼判定值bk;
步骤30132、眨眼判定值叠加:将步骤30131中得出的眨眼判定值bk与前Q-1秒内各秒的眨眼判定值bk进行叠加,并获得此时的眨眼判定值之和bkz;
所述眨眼判定值之和bkz为脑电信号获取装置连续Q秒内各秒的眨眼判定值bk的总和;
步骤30133、疲劳驾驶判断:根据步骤30133中得出的眨眼判定值之和bkz,并结合步骤30118中所确定的眨眼次数判断阈值n0,对此时驾驶员是否处于疲劳驾驶状态进行判断:当bkz>n0时,说明此时驾驶员处于疲劳驾驶状态,所述主控芯片控制报警提示单元进行报警提示;否则,说明此时驾驶员处于正常驾驶状态;
步骤30134、返回步骤30131,对脑电信号获取装置下一秒内采集并预处理后的脑电波信号进行分析处理;
所述主控芯片调用所述脑电判定模块对脑电信号获取装置采集并预处理后的脑电波信号进行分析处理时,按照采样时间先后顺序对脑电信号获取装置每秒内采集并预处理后的脑电波信号分别进行分析处理,并根据分析处理结果对此时驾驶员是否处于疲劳驾驶状态进行判断;并且,所述脑电判定模块对脑电信号获取装置每秒内采集并预处理后的脑电波信号的分析处理方法均相同;所述脑电判定模块对脑电信号获取装置任一秒内采集并预处理后的脑电波信号进行分析处理时,过程如下:
步骤3021、脑电波信号同步存储:对此时接收到的脑电信号获取装置一秒内采集并预处理后的脑电波信号进行同步存储;
步骤3022、冥想度与专注度提取:从此时所处理脑电波信号中提取出冥想度M与专注度A;
步骤3023、冥想度修正值及时间纠正参数确定:根据时钟电路提供的当前时刻T,对此时的冥想度修正值ΔM和时间纠正参数ΔT分别进行确定;
其中,对冥想度修正值ΔM进行确定时,当当前时刻T晚于6点且不晚于12点时,ΔM=30~15;当当前时刻T晚于12点且不晚于15点时,ΔM=15~0;当当前时刻T晚于15点且不晚于19点时,ΔM=0~15;当当前时刻T晚于0点且不晚于6点或当前时刻T晚于19点且不晚于0点时,ΔM=0;
对时间纠正参数ΔT进行确定时,当当前时刻T晚于6点且不晚于12点时,ΔT=2~1.5;当当前时刻T晚于12点且不晚于15点时,ΔT=1.5~1.0;当当前时刻T晚于15点且不晚于19点时,ΔT=1.0~1.5;当当前时刻T晚于0点且不晚于6点或当前时刻T晚于19点且不晚于0点时,ΔT=1.0;
步骤3024、疲劳台阶参数增减处理:根据步骤3022中提取出的冥想度M与专注度A,并结合步骤3023中所确定的冥想度修正值ΔM和时间纠正参数ΔT,对此时疲劳台阶参数s_c的数值进行增减处理,并获得增减处理后的疲劳台阶参数s_c:当时,将疲劳台阶参数s_c的数值加1;否则,对疲劳台阶参数s_c的数值进行判断:当疲劳台阶参数s_c的数值为0时,疲劳台阶参数s_c的数值保持不变;当疲劳台阶参数s_c的数值≥1时,将疲劳台阶参数s_c的数值减1;
步骤3025、疲劳驾驶判断:根据步骤3024中增减处理后的疲劳台阶参数s_c的数值,对此时驾驶员是否处于疲劳驾驶状态进行判断:当步骤3024中增减处理后的疲劳台阶参数s_c的数值>N时,说明此时驾驶员处于疲劳驾驶状态,所述主控芯片控制报警提示单元进行报警提示;否则,说明此时驾驶员处于正常驾驶状态;
其中,N为预先设定的疲劳驾驶判断阈值,N为正整数且N=2~8;
步骤3026、返回步骤3021,对脑电信号获取装置下一秒内采集并预处理后的脑电波信号进行分析处理。
上述一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征是:步骤3011中所述的p=30;步骤30118中所述的n=30,Q=2;
步骤3025中所述的N=3。
上述一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征是:步骤3023中采用时间区间法对冥想度修正值ΔM进行确定时,当当前时刻T晚于6点且不晚于15点时,时间越晚,冥想度修正值ΔM越小;当当前时刻T晚于15点且不晚于19点时,时间越晚,冥想度修正值ΔM越大;
步骤3023中采用时间区间法对时间纠正参数ΔT进行确定时,当当前时刻T晚于6点且不晚于15点时,时间越晚,时间纠正参数ΔT越小;当当前时刻T晚于15点且不晚于19点时,时间越晚,时间纠正参数ΔT越大。
上述一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征是:步骤一中将脑电信号获取装置与脑电信号监测终端连接时,还需以无线通信方式将脑电信号监测终端的主控芯片与上位机连接;
步骤3025中所述主控芯片控制报警提示单元进行报警提示时,所述主控芯片同步向上位机发送该驾驶员的疲劳驾驶报警信息。
上述一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征是:步骤一中所述脑电信号监测终端还包括与主控芯片连接的参数输入单元;
步骤一中以无线通信方式将脑电信号监测终端的主控芯片与上位机连接后,还需通过参数输入单元输入驾驶员基本信息,所述主控芯片对所输入的驾驶员基本信息进行存储并将所述驾驶员基本信息同步传送至上位机;
所述驾驶员基本信息包括驾驶员的姓名和联系方式。
上述一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征是:所述脑电信号监测终端为智能手机。
上述一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征是:步骤三中进行脑电波信号分析处理过程中,所述脑电信号监测终端的主控芯片还需调用导航模块同步获取驾驶员所驾驶车辆的车辆基本信息,所述车辆基本信息包括车辆地理位置和车速。
上述一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征是:步骤一中所述脑电信号获取装置与脑电信号监测装置之间以无线通信方式进行通信;
所述TGAM模块包括对驾驶员的脑电波信号进行提取的脑电信号提取装置和对脑电信号提取装置所提取信号进行采样及预处理的脑电信号预处理装置,所述脑电信号预处理装置与脑电信号提取装置相接,所述脑电信号提取装置包括对驾驶员额叶区的电位进行实时采样的第一脑电电极以及对驾驶员的耳部电位进行实时采样的第二脑电电极和第三脑电电极,所述第一脑电电极、第二脑电电极和第三脑电电极均与脑电信号预处理装置相接;
所述脑电信号监测装置还包括与主控芯片相接的第二无线通信模块;
所述脑电信号获取装置与第一无线通信模块相接,所述脑电信号获取装置通过第一无线通信模块和第二无线通信模块与主控芯片进行通信。
上述一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征是:步骤3023中对冥想度修正值ΔM进行确定时,过程如下:
步骤A1、当前时刻整点值确定:对当前时刻T的整点值进行确定;所述时钟电路提供的当前时刻T为24小时制,当前时刻T的整点值记作nt,其中nt为当前时刻T中“时”的数值;
其中,nt为整数且nt=0~23;
步骤A2、冥想度修正值ΔM确定:根据步骤A1中所确定的nt,并结合当前时刻T,对此时的冥想度修正值ΔM进行确定:当当前时刻T晚于6点且不晚于12点时,根据公式对冥想度修正值ΔM进行计算;当当前时刻T晚于12点且不晚于15点时,根据公式对冥想度修正值ΔM进行计算;当当前时刻T晚于15点且不晚于19点时,根据公式对冥想度修正值ΔM进行计算;
公式(1)和(2)中,bt1=12;公式(3)中,bt2=15。
上述一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征是:步骤3023中对时间纠正参数ΔT进行确定时,过程如下:
步骤B1、当前时刻整点值确定:对当前时刻T的整点值进行确定;所述时钟电路提供的当前时刻T为24小时制,当前时刻T的整点值记作nt,其中nt为当前时刻T中“时”的数值;
其中,nt为整数且nt=0~23;
步骤B2、时间纠正参数ΔT确定:根据步骤B1中所确定的nt,并结合当前时刻T,对此时的时间纠正参数ΔT进行确定:当当前时刻T晚于6点且不晚于12点时,根据公式对时间纠正参数ΔT进行计算;当当前时刻T晚于12点且不晚于15点时,根据公式对时间纠正参数ΔT进行计算;当当前时刻T晚于15点且不晚于19点时,根据公式对时间纠正参数ΔT进行计算;
公式(1)和(2)中,bt1=12;公式(3)中,bt2=15。
本发明与现有技术相比具有以下优点:
1、方法步骤简单、设计合理且实现方便,投入成本较低。
2、疲劳驾驶脑电监测速度快,能同步分析处理得出驾驶员的脑电状态。
3、所采用的硬件结构简单,仅包括脑电信号获取装置与脑电信号监测终端即可实现,其中脑电信号监测终端可采用智能手机,结构简单、体积小且能随身携带,并且使用操作简便,能有效简化驾驶员的操作过程。只需手机便能完成脑电波信号接收及分析处理、获取位置信息与车速、与上位机通信等功能。所采用的脑电信号获取装置与脑电信号监测装置的电路简单、设计合理、接线方便且使用操作简便,投入成本较低,并且实际安装布设方便。
4、只需在智能手机上开发一个能实现本发明所公开疲劳驾驶脑电监测方法的应用软件便能实现脑电波信号的分析处理,同时能将与上位机进行通信。
5、与导航模块相配合,基于电子地图,能实时获取驾驶员当前的车速和地理位置,并能所获取的驾驶员当前的车速和地理位置以及疲劳驾驶脑电监测结果同步传送至上位机(即服务器),这样通过上位机能对驾驶员的位置信息与身体疲劳状况进行远程、智能监控。
6、安全可靠,能有效减少疲劳驾驶事故发生概率,当监测出驾驶员处于疲劳驾驶状态时,脑电信号监测终端会及时进行报警以提醒驾驶员;另一方面,脑电信号监测终端会将疲劳驾驶报警信息同步传送至上位机,通过上位机进行同步显示(包括处于疲劳驾驶状态的驾驶员的姓名和联系方式等),上位机根据驾驶员的联系方式,以电话呼叫方式对驾驶员进行告警。
7、采用脑电信号监测终端的主控芯片同时调用眼电判定模块和脑电判定模块进行处理,将眼电判定与脑电判定相结合,克服单一判断方式存在的准确性较低、速度较慢等问题,在监测准确性和监测速度上都有很大的提升。眼电判定模块和脑电判定模块中任一个模块判断出需进行报警时,主控芯片均控制报警提示单元进行报警,以防出现漏报现象,从而大幅降低了疲劳驾驶事故发生率。
8、脑电判定模块采用台阶式疲劳判定方法对脑电波信号同步进行分析处理,并对驾驶员的疲劳驾驶状态进行实时判断。并且,实际进行监测时,根据实时采集并预处理的脑电波信号,并结合对应一天内不同时间的冥想度修正值及时间纠正参数进行判断,驾驶疲劳状态监测结果非常准确。实际判断时,并不是直接得出判断结果,而是利用“台阶法”进行判断,通过对增减处理后的疲劳台阶参数判断,当疲劳台阶参数达到预先设定的疲劳驾驶判断阈值时,才会进行报警提示,通常采用语音报警方式,如控制报警提示单元发出“请注意安全”的语音报警信息。
9、眼电判定模块基于能量值进行判断,该数值为脑电信号获取装置直接输出的数值,实现简便且数据处理量小、监测速度快,并且以Q秒内采集并预处理后的脑电波信号为一个判断对象,能有效提高监测结果的准确性。
10、采用脑电波信号作为生理疲劳的决策依据,与传统的行为特征分析、图像处理技术等有着很大的内在优势,有着脑波科学权威的理论支持。
11、使用效果好且实用价值高,经济效益及社会效益显著,能简便对驾驶员的疲劳驾驶状态进行实时监测,并能根据监测结果控制报警提示单元进行报警提示,让驾驶员实时处于清晰状态,减少车祸的发生,因而具有实时性,监测效果好。并且,本发明采用能准确表征疲劳驾驶的脑电波信号分析处理方法,为驾驶员确定了客观的疲劳驾驶检测依据,为进一步研究开发车载、实时的疲劳驾驶报警系统奠定了基础,也为交通管理部门科学、合理地干预疲劳驾驶,最大限度降低人为交通事故提供了可靠依据。同时,本发明功能全面,具有道路导航、语音报警、车速提示、位置提示、上位机远程监控等功能,并且操作简便、易于普及、成本低廉、实现简便。
综上所述,本发明方法步骤简单、设计合理且实现方便、使用效果好,能简便、快速对驾驶员的疲劳驾驶状态进行准确监测。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
图1-1为本发明眼电判定模块的分析处理流程框图。
图1-2为本发明脑电判定模块的分析处理流程框图。
图2为本发明脑电信号获取装置与脑电信号监测装置的电路原理框图。
图3为本发明脑电信号获取装置与第一无线通信模块的电路原理图。
附图标记说明:
1—脑电信号获取装置;1-1—脑电信号提取装置;
1-11—第一脑电电极;1-12—第二脑电电极;1-13—第三脑电电极;
1-2—脑电信号预处理装置;2—脑电信号监测装置;
2-1—主控芯片;2-2—报警提示单元;
2-3—第二无线通信模块;2-4—参数输入单元;
2-5—疲劳台阶参数置零单元;2-6—时钟电路;
3—第一无线通信模块;4—上位机。
具体实施方式
如图1所示的一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,包括以下步骤:
步骤一、设备连接及参数初始化:将脑电信号获取装置1与脑电信号监测终端2连接,并通过脑电信号监测终端2的主控芯片2-1对疲劳台阶参数s_c进行设定;此时,疲劳台阶参数s_c的数值为0;
所述脑电信号获取装置1为Mindwave Mobile脑立方耳机或TGAM模块;所述脑电信号监测装置2包括主控芯片2-1以及分别与主控芯片2-1连接的时钟电路2-6和报警提示单元2-2。
实际使用时,所述脑电信号监测装置2位于驾驶员所驾驶车辆内。
步骤二、脑电波信号采集:采用脑电信号获取装置1且按照预先设定的采样频率对驾驶员的脑电波信号进行采集及预处理,并将预处理后的脑电波信号同步传送至脑电信号监测终端2;
所述脑电波信号中包含原始脑电波信号,且所述原始脑电波信号的采样频率为512Hz。
步骤三、脑电波信号分析处理:所述脑电信号监测终端2的主控芯片2-1调用眼电判定模块和脑电判定模块,同时对脑电信号获取装置1采集并预处理后的脑电波信号分别进行分析处理;
其中,如图1-1所示,所述主控芯片2-1调用所述眼电判定模块进行分析处理时,过程如下:
步骤3011、眨眼次数判断阈值确定:按照采样时间先后顺序对脑电信号获取装置1连续P秒内采集并预处理后的脑电波信号分别进行分析处理,并根据分析处理结果对眨眼次数判断阈值n0进行确定;其中,P=2×p,其中p为正整数且p≥20;
本步骤中,对脑电信号获取装置1任一秒内采集并预处理后的脑电波信号进行分析处理时,过程如下:
步骤30111、脑电波信号同步存储:对此时接收到的脑电信号获取装置1一秒内采集并预处理后的脑电波信号进行同步存储,所存储的脑电波信号为当前待处理脑电波信号;
步骤30112、原始脑电波信号提取及脑电波信号能量计算:从步骤30111中所述当前待处理脑电波信号中提取出原始脑电波信号,并对当前待处理脑电波信号的能量e进行计算;
所述当前待处理脑电波信号中包括512个所述原始脑电波信号,512个所述原始脑电波信号中第i个所述原始脑电波信号的信号值记作Xi;
对当前待处理脑电波信号的能量e进行计算时,根据公式(7)进行计算;公式(7)中,N=512;
步骤30113、眨眼判定:根据步骤30112中计算得出的当前待处理脑电波信号的能量e,对该秒内驾驶员是否眨眼进行判断,并得出该秒的眨眼判定值bk:当e>E2时,bk=1;否则,bk=0;其中,E=280~320;
步骤30114、眨眼判定值同步存储:对步骤30113中得出的眨眼判定值bk进行同步存储,完成脑电信号获取装置1该秒内采集并预处理后的脑电波信号的分析处理过程;
步骤30115、下一秒内采集并预处理后的脑电波信号分析处理:按照步骤30111至步骤30114中所述的方法,对脑电信号获取装置1下一秒内采集并预处理后的脑电波信号进行分析处理,并得出该秒的眨眼判定值bk;
步骤30116、P-2次重复步骤30115,直至完成脑电信号获取装置1连续P秒内采集并预处理后的脑电波信号的分析处理过程,并获得各秒的眨眼判定值bk;
步骤30117、眨眼判定值叠加:对步骤30116中所获得的连续P秒内各秒的眨眼判定值bk进行叠加,并获得眨眼判定值之和bkZ;
步骤30118、眨眼次数判断阈值确定:根据步骤30117中所获得的眨眼判定值之和bkz,并按照公式计算得出眨眼次数判断阈值n0;
其中,n为正整数且n≥4;
并且,n×Q=P,其中Q为正整数且Q=2~10;
步骤3012、疲劳驾驶判断前脑电波信号分析处理,过程如下:
步骤30121、判断阈值确定后下一秒内采集并预处理后的脑电波信号分析处理:步骤30118中所述眨眼次数判断阈值n0确定后,按照步骤30111至步骤30114中所述的方法,对脑电信号获取装置1下一秒内采集并预处理后的脑电波信号进行分析处理,并得出该秒的眨眼判定值bk;
步骤30122、n-2次重复步骤30121,直至完成步骤30118中所述眨眼次数判断阈值n0确定后脑电信号获取装置1连续n-1秒内采集并预处理后的脑电波信号的分析处理过程,并获得各秒的眨眼判定值bk;
步骤3013、疲劳驾驶判断开始后脑电波信号分析处理:步骤3012中完成疲劳驾驶判断前脑电波信号分析处理后,所述眼电判定模块按照采样时间先后顺序对脑电信号获取装置1每秒内采集并预处理后的脑电波信号分别进行分析处理,并根据分析处理结果对此时驾驶员是否处于疲劳驾驶状态进行判断;
如图1-2所示,本步骤中,所述眼电判定模块对脑电信号获取装置1任一秒内采集并预处理后的脑电波信号进行分析处理时,过程如下:
步骤30131、脑电波信号分析处理:按照步骤30111至步骤30114中所述的方法,对脑电信号获取装置1此时采集并预处理后的脑电波信号进行分析处理,并得出此时的眨眼判定值bk;
步骤30132、眨眼判定值叠加:将步骤30131中得出的眨眼判定值bk与前Q-1秒内各秒的眨眼判定值bk进行叠加,并获得此时的眨眼判定值之和bkz;
所述眨眼判定值之和bkz为脑电信号获取装置1连续Q秒内各秒的眨眼判定值bk的总和;
步骤30133、疲劳驾驶判断:根据步骤30133中得出的眨眼判定值之和bkz,并结合步骤30118中所确定的眨眼次数判断阈值n0,对此时驾驶员是否处于疲劳驾驶状态进行判断:当bkz>n0时,说明此时驾驶员处于疲劳驾驶状态,所述主控芯片2-1控制报警提示单元2-2进行报警提示;否则,说明此时驾驶员处于正常驾驶状态;
步骤30134、返回步骤30131,对脑电信号获取装置1下一秒内采集并预处理后的脑电波信号进行分析处理;
所述主控芯片2-1调用所述脑电判定模块对脑电信号获取装置1采集并预处理后的脑电波信号进行分析处理时,按照采样时间先后顺序对脑电信号获取装置1每秒内采集并预处理后的脑电波信号分别进行分析处理,并根据分析处理结果对此时驾驶员是否处于疲劳驾驶状态进行判断;并且,所述脑电判定模块对脑电信号获取装置1每秒内采集并预处理后的脑电波信号的分析处理方法均相同;所述脑电判定模块对脑电信号获取装置1任一秒内采集并预处理后的脑电波信号进行分析处理时,过程如下:
步骤3021、脑电波信号同步存储:对此时接收到的脑电信号获取装置1一秒内采集并预处理后的脑电波信号进行同步存储;
步骤3022、冥想度与专注度提取:从此时所处理脑电波信号中提取出冥想度M与专注度A;
步骤3023、冥想度修正值及时间纠正参数确定:根据时钟电路2-6提供的当前时刻T,对此时的冥想度修正值ΔM和时间纠正参数ΔT分别进行确定;
其中,对冥想度修正值ΔM进行确定时,当当前时刻T晚于6点且不晚于12点时,ΔM=30~15;当当前时刻T晚于12点且不晚于15点时,ΔM=15~0;当当前时刻T晚于15点且不晚于19点时,ΔM=0~15;当当前时刻T晚于0点且不晚于6点或当前时刻T晚于19点且不晚于0点时,ΔM=0;
对时间纠正参数ΔT进行确定时,当当前时刻T晚于6点且不晚于12点时,ΔT=2~1.5;当当前时刻T晚于12点且不晚于15点时,ΔT=1.5~1.0;当当前时刻T晚于15点且不晚于19点时,ΔT=1.0~1.5;当当前时刻T晚于0点且不晚于6点或当前时刻T晚于19点且不晚于0点时,ΔT=1.0;
步骤3024、疲劳台阶参数增减处理:根据步骤3022中提取出的冥想度M与专注度A,并结合步骤3023中所确定的冥想度修正值ΔM和时间纠正参数ΔT,对此时疲劳台阶参数s_c的数值进行增减处理,并获得增减处理后的疲劳台阶参数s_c:当时,将疲劳台阶参数s_c的数值加1;否则,对疲劳台阶参数s_c的数值进行判断:当疲劳台阶参数s_c的数值为0时,疲劳台阶参数s_c的数值保持不变;当疲劳台阶参数s_c的数值≥1时,将疲劳台阶参数s_c的数值减1;
步骤3025、疲劳驾驶判断:根据步骤3024中增减处理后的疲劳台阶参数s_c的数值,对此时驾驶员是否处于疲劳驾驶状态进行判断:当步骤3024中增减处理后的疲劳台阶参数s_c的数值>N时,说明此时驾驶员处于疲劳驾驶状态,所述主控芯片2-1控制报警提示单元2-2进行报警提示;否则,说明此时驾驶员处于正常驾驶状态;
其中,N为预先设定的疲劳驾驶判断阈值,N为正整数且N=2~8;
步骤3026、返回步骤3021,对脑电信号获取装置1下一秒内采集并预处理后的脑电波信号进行分析处理。
其中,晚于6点中不包括6点,不晚于12点包括12点;晚于12点中不包括12点,不晚于15点中包括15点;晚于15点中不包括15点,不晚于19点中包括19点。
步骤30112中计算得出的当前待处理脑电波信号的能量e为反映眨眼强度的参数,能量e的数值越大,眨眼强度越大。此处,判定当e>E2时,说明眨眼强度已经达到眨眼的程度,人为此时发生一次眨眼。
实际使用过程中,所述眼电判定模块和/或所述脑电判定模块判断出此时驾驶员处于疲劳驾驶状态时,所述主控芯片2-1均控制报警提示单元2-2进行报警提示,因而能有效减小漏报率,克服单一判断方法存在的监测准确性和监测速度的问题。另一方面,所述眼电判定模块和所述脑电判定模块的监测准确性均较高。
本实施例中,步骤一中所述脑电信号获取装置1与脑电信号监测装置2之间以无线通信方式进行通信。
所述TGAM模块包括对驾驶员的脑电波信号进行提取的脑电信号提取装置1-1和对脑电信号提取装置1-1所提取信号进行采样及预处理的脑电信号预处理装置1-2,所述脑电信号预处理装置1-2与脑电信号提取装置1-1相接,所述脑电信号提取装置1-1包括对驾驶员额叶区的电位进行实时采样的第一脑电电极1-11以及对驾驶员的耳部电位进行实时采样的第二脑电电极1-12和第三脑电电极1-13,所述第一脑电电极1-11、第二脑电电极1-12和第三脑电电极1-13均与脑电信号预处理装置1-2相接。
同时,所述脑电信号监测装置2还包括分别与主控芯片2-1相接的第二无线通信模块2-3和疲劳台阶参数置零单元2-5。本实施例中,所述疲劳台阶参数置零单元2-5为与主控芯片连接的按键或按钮。
实际使用时,所述脑电信号获取装置1与第一无线通信模块3相接,所述脑电信号获取装置1通过第一无线通信模块3和第二无线通信模块2-3与主控芯片2-1进行通信。
所述Mindwave Mobile脑立方耳机或TGAM(ThinkGear AM)模块是美国NeuroSky(神念科技)公司为大众市场应用所设计的脑电波采集及预处理产品。其中TGAM模块是美国NeuroSky(神念科技)公司为大众市场应用所设计的脑波传感器ASIC模块,也称TGAM脑电模块(简称TGAM模块)。
所述Mindwave Mobile脑立方耳机或TGAM模块均能可处理并输出脑波频率谱、脑电信号质量、原始脑电波和三个Neurosky的eSense参数:专注度,冥想度(也称放松度)和眨眼侦测。实际使用时,通过串口可获取所述Mindwave Mobile脑立方耳机和TGAM模块传输过来的数据,所述Mindwave Mobile脑立方耳机和TGAM模块分别以512Hz的频率发送原始数据包(即原始脑电波),且以1Hz的频率发送经eSenseTM算法处理后的数据包。由于所述Mindwave Mobile脑立方耳机和TGAM模块与人体的界面只需一个简单的干接触点,可以很容易的运用于玩具、视频游戏和健康设备中,又由于能耗小,适合用在以电池供电的便携式消费产品的应用上。
实际使用时,所述Mindwave Mobile脑立方耳机和TGAM模块采集并预处理后的脑电波信号中包含原始脑电波信号。并且,所述脑电信号获取装置1(即Mindwave Mobile脑立方耳机或TGAM模块)输出的脑电波信号均为经快速傅里叶变换(即FFT变换)后的频域信号。在时域中,所述原始脑电波信号为电位随时间变化的信号,其中电位的单位为μV(即微伏),时间的单位为s。实际使用时,也可以用脑电信号获取装置1输出原始脑电波信号的时域信号,再采用外设的控制芯片进行快速傅里叶变换。
经快速傅里叶变换后,将时域信号变换为频域信号。对于频域信号而言,自变量是频率,其横轴是频率,纵轴是该频率信号的幅度,表达信号的频率成分。
经快速傅里叶变换后,获得通常说的频谱图。频谱图描述了信号的频率结构及频率与该频率信号幅度的关系。
此处,所述原始脑电波信号为频域信号,所述原始脑电波信号的信号值为信号的幅度,即经快速傅里叶变换计算得出的纵坐标值。
本实施例中,所述原始脑电波信号为脑电信号获取装置1直接输出的信号,只需直接使用即可,因而实现非常简便。
所述脑电信号获取装置1内部分析自动输出脑电波信号,并处理输出Neurosky获得专利的eSense专注度和放松度指数数据,最后由UART接口输出。此模块采样率为512Hz,频率范围3Hz-100Hz,输出512Hz的脑波原始波形数据(即原始脑电波数据)、8组1Hz的独立的脑波数据和eSense指数数据。因而,一秒内采集并预处理后的脑电波信号中包括512个所述原始脑电波信号,对应512个原始数据小包。
每个所述原始数据小包的格式是AA AA 04 80 02 xxHigh xxLow xxCheckSum,前面的AA AA 04 80 02是不变的,后三个字节是一直变化的,xxHigh和xxLow组成原始数据rawdata。因而,一个原始数据小包里面只包含一个有用数据,即rawdata,一个原始数据小包就是一个原始脑电波信号数据。上述数据格式,参见美国NeuroSky(神念科技)公司有关脑电波信号数据格式说明,此为现有公知常识。
实际使用时,在脑电信号获取装置1输出的字符串中寻找0XAA 0XAA 0X20开头的字符串,该字符串的第3个字符代表的是poorsingle,第31个字符代表的是冥想度,第33个字符代表的是集中度(也称专注度)。
实际使用时,所述脑电信号监测装置2布设在驾驶员所驾驶的车辆内。所述报警提示单元2-2为语音提示单元。
如图3所示,本实施例中,所述脑电信号预处理装置1-2为美国NeuroSky公司研发的TGAM芯片。所述第一脑电电极1-11的输出端接TGAM芯片的EEG引脚,第二脑电电极1-12的输出端接TGAM芯片的REF引脚,第三脑电电极1-13的输出端接TGAM芯片的EEG_GND引脚。实际使用时,所述第二脑电电极1-12为参考电极。
实际使用过程中,所述TGAM芯片的EEG端输入第一脑电电极1-11所采样的脑电信号,EEG_shiled端的作用是屏蔽在第一脑电电极1-11所采样脑电信号输入TGAM芯片之前这段时间的干扰;REF端输入第二脑电电极1-2所采样的脑电信号,将第二脑电电极1-12所采样的耳部脑电信号作为参考电位,能有效滤除自发式脑电波;REF_shiled端主要是屏蔽第二脑电电极1-12所采样脑电信号输入TGAM芯片之前这段时间的干扰;脑波地线也连接在人体的耳部,即第三脑电电极1-13所采样的脑电信号,主要的作用是为了屏蔽人体头部以下电波的影响,譬如心电波就是一种比较强的干扰波,脑波地线的连接能有效滤除心电波。也就是说,第三脑电电极1-13为采集脑电波接地信号的电极。
本实施例中,所述第一无线通信模块3和第二无线通信模块2-3均为蓝牙无线通信模块。并且,所述蓝牙无线通信模块为HL-MD08R-C2A模块。实际使用时,所述第一无线通信模块3和第二无线通信模块2-3也可以采用其它类型的无线通信模块。
本实施例中,所述第一脑电电极1-11放置在按照10─20系统电极放置法确定的驾驶员的左额极上,所述第二脑电电极1-12和第三脑电电极1-13均放置在按照10─20系统电极放置法确定的驾驶员的左颞中上。其中,10─20系统电极放置法,即国际脑电图学会规定的标准电极放置法。因而,脑电信号提取装置1-1主要采集的是前额区,具体是左额极(FP1)这一电极位点上的电位。所述第二脑电电极1-12和第三脑电电极1-13均放置在左颞中(T3)这一电极位点上。
本实施例中,所述TGAM芯片的型号为TGAM1,所述第一无线通信模块3和第二无线通信模块2-3均为BlueTooth芯片。实际接线时,所述TGAM芯片的TXD引脚与第一无线通信模块3的RX引脚相接。所述TGAM芯片的电源端和TGAM芯片的VCC管脚均接+3.3V电源端。
本实施例中,所述脑电信号监测终端2还包括与主控芯片2-1连接的显示单元。实际使用过程中,通过所述显示单元对驾驶员的冥想度M与专注度A等信息进行同步显示,方便用户动态的勘测自己的脑电活动状态。
本实施例中,步骤3025中所述的N=3。
实际使用时,可根据具体需要,对N的取值大小进行相应调整。
本实施例中,步骤3011中所述的p=30;步骤30118中所述的n=30,Q=2。
实际使用时,可根据具体需要,对p和Q的取值大小进行相应调整。
实际使用过程中,步骤3023中采用时间区间法对冥想度修正值ΔM进行确定时,当当前时刻T晚于6点且不晚于15点时,时间越晚,冥想度修正值ΔM越小;当当前时刻T晚于15点且不晚于19点时,时间越晚,冥想度修正值ΔM越大;
步骤3023中采用时间区间法对时间纠正参数ΔT进行确定时,当当前时刻T晚于6点且不晚于15点时,时间越晚,时间纠正参数ΔT越小;当当前时刻T晚于15点且不晚于19点时,时间越晚,时间纠正参数ΔT越大。
因而,本发明采用的冥想度修正值ΔM和时间纠正参数ΔT为根据当前时刻获取的动态值,设计合理,能有效提高疲劳驾驶监测精度。对冥想度修正值ΔM进行上述设定的原因在于:从6点到上午12点人体就会逐渐处于疲劳状态,冥想度逐渐增大,减小冥想度修正值ΔM也符合规律;从12点到15点是人在一天中最困的时候,冥想度修正值ΔM也会减小;从15点到19点人又慢慢恢复了精神,因而冥想度修正值ΔM又会慢慢增加;其它时间默认冥想度修正值ΔM为0。因而,冥想度修正值ΔM的确定过程简单、合理且使用效果好。
相应地,当疲劳的时候,冥想度与专注度会出现倍数关系,但是会随时间的变化而变化,倍数关系几乎都在1到2之间,这个系数会随着人体的疲劳状态成正比关系增长。同理,早上6点到上午12点,时间纠正参数ΔT会减小,取值范围在2.0~1.5之间;从12点到15点,时间纠正参数ΔT也会减小,取值范围在1.5~1.0;从15点到19点,时间纠正参数ΔT会增加,取值范围为1.0~1.5。
为实现简便且进一步提高检测准确性,本实施例中,步骤3023中对冥想度修正值ΔM进行确定时,过程如下:
步骤A1、当前时刻整点值确定:对当前时刻T的整点值进行确定;所述时钟电路2-6提供的当前时刻T为24小时制,当前时刻T的整点值记作nt,其中nt为当前时刻T中“时”的数值;
其中,nt为整数且nt=0~23;
步骤A2、冥想度修正值ΔM确定:根据步骤A1中所确定的nt,并结合当前时刻T,对此时的冥想度修正值ΔM进行确定:当当前时刻T晚于6点且不晚于12点时,根据公式对冥想度修正值ΔM进行计算;当当前时刻T晚于12点且不晚于15点时,根据公式对冥想度修正值ΔM进行计算;当当前时刻T晚于15点且不晚于19点时,根据公式对冥想度修正值ΔM进行计算;
公式(1)和(2)中,bt1=12;公式(3)中,bt2=15。
本实施例中,步骤3023中对时间纠正参数ΔT进行确定时,过程如下:
步骤B1、当前时刻整点值确定:对当前时刻T的整点值进行确定;所述时钟电路2-6提供的当前时刻T为24小时制,当前时刻T的整点值记作nt,其中nt为当前时刻T中“时”的数值;
其中,nt为整数且nt=0~23;
步骤B2、时间纠正参数ΔT确定:根据步骤B1中所确定的nt,并结合当前时刻T,对此时的时间纠正参数ΔT进行确定:当当前时刻T晚于6点且不晚于12点时,根据公式对时间纠正参数ΔT进行计算;当当前时刻T晚于12点且不晚于15点时,根据公式对时间纠正参数ΔT进行计算;当当前时刻T晚于15点且不晚于19点时,根据公式对时间纠正参数ΔT进行计算;
公式(1)和(2)中,bt1=12;公式(3)中,bt2=15。
本实施例中,当前时刻T记作nt:fz,其中nt为当前时刻T中“时”的数值,fz为当前时刻T中“分”的数值。因而,nt和fz分别为当前时刻T中“时”和“分”的数值,直接读数即可。
本实施例中,步骤一中将脑电信号获取装置1与脑电信号监测终端2连接时,还需以无线通信方式将脑电信号监测终端2的主控芯片2-1与上位机4连接;
步骤305中所述主控芯片2-1控制报警提示单元2-2进行报警提示时,所述主控芯片2-1同步向上位机4发送该驾驶员的疲劳驾驶报警信息。
实际使用时,所述主控芯片2-1与上位机4之间以无线通信方式进行连接。
本实施例中,步骤一中所述脑电信号监测终端2还包括与主控芯片2-1连接的参数输入单元2-4。
步骤一中以无线通信方式将脑电信号监测终端2的主控芯片2-1与上位机4连接后,还需通过参数输入单元2-4输入驾驶员基本信息,所述主控芯片2-1对所输入的驾驶员基本信息进行存储并将所述驾驶员基本信息同步传送至上位机4。
所述驾驶员基本信息包括驾驶员的姓名和联系方式。
本实施例中,所述脑电信号监测终端2为智能手机。
实际使用时,所述脑电信号监测终端2也可以采用其它类型的数据处理终端,如掌上电脑、ipad等。
本实施例中,步骤三中进行脑电波信号分析处理过程中,所述脑电信号监测终端2的主控芯片2-1还需调用导航模块同步获取驾驶员所驾驶车辆的车辆基本信息,所述车辆基本信息包括车辆地理位置和车速。
并且,所述主控芯片2-1能控制报警提示单元2-2每隔一段时间(如5s)播报一次当前所处的地理位置,在开车的时候没有必要分心去看手机地图而发生不安全事故。
实际使用时,所述导航模块也可以采用的车载导航软件,如高德导航软件等。同时,在判断出驾驶员处于驾驶疲劳状态时,所述主控芯片2-1结合导航模块同步获取的所驾驶车辆的车辆基本信息,驾驶员和通过上位机4进行远程监控的监控人员均能对驾驶员处于疲劳状态时的位置进行准确把握,这样当驾驶员驾驶车辆出现位置改变时,上位机4或脑电信号监测终端2会通过报警提示单元2-2发出语音提示或播放音乐,对驾驶员进行再次刺激;并且,远程监控人员也可以通过手机通话的方式对驾驶员进行提醒,提醒驾驶员此时是否满足安全驾驶要求。
另外,当驾驶员当前转为清醒状态后,驾驶员按下疲劳台阶参数置零单元2-5,通过主控芯片2-1将疲劳台阶参数s_c的数值设定为0。
本实施例中,步骤302中进行冥想度与专注度提取之前,还需从此时所处理脑电波信号中提取出poorsingle,并根据poorsingle的数值对此时脑电信号获取装置1的佩戴姿势是否正确进行判断:当poorsingle的数值大于200时,说明脑电信号获取装置1的佩戴姿势不正确;否则,说明脑电信号获取装置1的佩戴姿势正确。
实际使用过程中,所述报警提示单元2-2为语音提示单元。根据poorsingle的数值对此时脑电信号获取装置1的佩戴姿势是否正确进行判断的过程,由所述主控芯片2-1完成,当判断出脑电信号获取装置1的佩戴姿势不正确时,报警提示单元2-2发出语音提示,如“您的佩戴姿势有错误”语音播报,这样更能使检测过程更加准确,防止因为没有佩戴好耳机导致错误数据的传出。poorsingle为脑电信号获取装置1直接输出的数据,只需提取即可。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。
Claims (8)
1.一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征在于:该方法包括以下步骤:
步骤一、设备连接及参数初始化:将脑电信号获取装置(1)与脑电信号监测终端(2)连接,并通过脑电信号监测终端(2)的主控芯片(2-1)对疲劳台阶参数s_c进行设定;此时,疲劳台阶参数s_c的数值为0;
所述脑电信号获取装置(1)为Mindwave Mobile脑立方耳机或TGAM模块;所述脑电信号监测装置(2)包括主控芯片(2-1)以及分别与主控芯片(2-1)连接的时钟电路(2-6)和报警提示单元(2-2);
步骤二、脑电波信号采集:采用脑电信号获取装置(1)且按照预先设定的采样频率对驾驶员的脑电波信号进行采集及预处理,并将预处理后的脑电波信号同步传送至脑电信号监测终端(2);
所述脑电波信号中包含原始脑电波信号,且所述原始脑电波信号的采样频率为512Hz;所述脑电信号获取装置(1)输出的脑电波信号均为经快速傅里叶变换后的频域信号;
步骤三、脑电波信号分析处理:所述脑电信号监测终端(2)的主控芯片(2-1)调用眼电判定模块和脑电判定模块,同时对脑电信号获取装置(1)采集并预处理后的脑电波信号分别进行分析处理;
其中,所述主控芯片(2-1)调用所述眼电判定模块进行分析处理时,过程如下:
步骤3011、眨眼次数判断阈值确定:按照采样时间先后顺序对脑电信号获取装置(1)连续P秒内采集并预处理后的脑电波信号分别进行分析处理,并根据分析处理结果对眨眼次数判断阈值n0进行确定;其中,P=2×p,其中p为正整数且p≥20;
本步骤中,对脑电信号获取装置(1)任一秒内采集并预处理后的脑电波信号进行分析处理时,过程如下:
步骤30111、脑电波信号同步存储:对此时接收到的脑电信号获取装置(1)一秒内采集并预处理后的脑电波信号进行同步存储,所存储的脑电波信号为当前待处理脑电波信号;
步骤30112、原始脑电波信号提取及脑电波信号能量计算:从步骤30111中所述当前待处理脑电波信号中提取出原始脑电波信号,并对当前待处理脑电波信号的能量e进行计算;
所述当前待处理脑电波信号中包括512个所述原始脑电波信号,512个所述原始脑电波信号中第i个所述原始脑电波信号的信号值记作Xi;
对当前待处理脑电波信号的能量e进行计算时,根据公式(7)进行计算;公式(7)中,N=512;
步骤30113、眨眼判定:根据步骤30112中计算得出的当前待处理脑电波信号的能量e,对该秒内驾驶员是否眨眼进行判断,并得出该秒的眨眼判定值bk:当e>E2时,bk=1;否则,bk=0;其中,E=280~320;
步骤30114、眨眼判定值同步存储:对步骤30113中得出的眨眼判定值bk进行同步存储,完成脑电信号获取装置(1)该秒内采集并预处理后的脑电波信号的分析处理过程;
步骤30115、下一秒内采集并预处理后的脑电波信号分析处理:按照步骤30111至步骤30114中所述的方法,对脑电信号获取装置(1)下一秒内采集并预处理后的脑电波信号进行分析处理,并得出该秒的眨眼判定值bk;
步骤30116、P-2次重复步骤30115,直至完成脑电信号获取装置(1)连续P秒内采集并预处理后的脑电波信号的分析处理过程,并获得各秒的眨眼判定值bk;
步骤30117、眨眼判定值叠加:对步骤30116中所获得的连续P秒内各秒的眨眼判定值bk进行叠加,并获得眨眼判定值之和bkZ;
步骤30118、眨眼次数判断阈值确定:根据步骤30117中所获得的眨眼判定值之和bkz,并按照公式计算得出眨眼次数判断阈值n0;
其中,n为正整数且n≥4;
并且,n×Q=P,其中Q为正整数且Q=2~10;
步骤3012、疲劳驾驶判断前脑电波信号分析处理,过程如下:
步骤30121、判断阈值确定后下一秒内采集并预处理后的脑电波信号分析处理:步骤30118中所述眨眼次数判断阈值n0确定后,按照步骤30111至步骤30114中所述的方法,对脑电信号获取装置(1)下一秒内采集并预处理后的脑电波信号进行分析处理,并得出该秒的眨眼判定值bk;
步骤30122、n-2次重复步骤30121,直至完成步骤30118中所述眨眼次数判断阈值n0确定后脑电信号获取装置(1)连续n-1秒内采集并预处理后的脑电波信号的分析处理过程,并获得各秒的眨眼判定值bk;
步骤3013、疲劳驾驶判断开始后脑电波信号分析处理:步骤3012中完成疲劳驾驶判断前脑电波信号分析处理后,所述眼电判定模块按照采样时间先后顺序对脑电信号获取装置(1)每秒内采集并预处理后的脑电波信号分别进行分析处理,并根据分析处理结果对此时驾驶员是否处于疲劳驾驶状态进行判断;
本步骤中,所述眼电判定模块对脑电信号获取装置(1)任一秒内采集并预处理后的脑电波信号进行分析处理时,过程如下:
步骤30131、脑电波信号分析处理:按照步骤30111至步骤30114中所述的方法,对脑电信号获取装置(1)此时采集并预处理后的脑电波信号进行分析处理,并得出此时的眨眼判定值bk;
步骤30132、眨眼判定值叠加:将步骤30131中得出的眨眼判定值bk与前Q-1秒内各秒的眨眼判定值bk进行叠加,并获得此时的眨眼判定值之和bkz;
所述眨眼判定值之和bkz为脑电信号获取装置(1)连续Q秒内各秒的眨眼判定值bk的总和;
步骤30133、疲劳驾驶判断:根据步骤30133中得出的眨眼判定值之和bkz,并结合步骤30118中所确定的眨眼次数判断阈值n0,对此时驾驶员是否处于疲劳驾驶状态进行判断:当bkz>n0时,说明此时驾驶员处于疲劳驾驶状态,所述主控芯片(2-1)控制报警提示单元(2-2)进行报警提示;否则,说明此时驾驶员处于正常驾驶状态;
步骤30134、返回步骤30131,对脑电信号获取装置(1)下一秒内采集并预处理后的脑电波信号进行分析处理;
所述主控芯片(2-1)调用所述脑电判定模块对脑电信号获取装置(1)采集并预处理后的脑电波信号进行分析处理时,按照采样时间先后顺序对脑电信号获取装置(1)每秒内采集并预处理后的脑电波信号分别进行分析处理,并根据分析处理结果对此时驾驶员是否处于疲劳驾驶状态进行判断;并且,所述脑电判定模块对脑电信号获取装置(1)每秒内采集并预处理后的脑电波信号的分析处理方法均相同;所述脑电判定模块对脑电信号获取装置(1)任一秒内采集并预处理后的脑电波信号进行分析处理时,过程如下:
步骤3021、脑电波信号同步存储:对此时接收到的脑电信号获取装置(1)一秒内采集并预处理后的脑电波信号进行同步存储;
步骤3022、冥想度与专注度提取:从此时所处理脑电波信号中提取出冥想度M与专注度A;
步骤3023、冥想度修正值及时间纠正参数确定:根据时钟电路(2-6)提供的当前时刻T,对此时的冥想度修正值ΔM和时间纠正参数ΔT分别进行确定;
其中,对冥想度修正值ΔM进行确定时,当当前时刻T晚于6点且不晚于12点时,ΔM=30~15;当当前时刻T晚于12点且不晚于15点时,ΔM=15~0;当当前时刻T晚于15点且不晚于19点时,ΔM=0~15;当当前时刻T晚于0点且不晚于6点或当前时刻T晚于19点且不晚于0点时,ΔM=0;
对时间纠正参数ΔT进行确定时,当当前时刻T晚于6点且不晚于12点时,ΔT=2~1.5;当当前时刻T晚于12点且不晚于15点时,ΔT=1.5~1.0;当当前时刻T晚于15点且不晚于19点时,ΔT=1.0~1.5;当当前时刻T晚于0点且不晚于6点或当前时刻T晚于19点且不晚于0点时,ΔT=1.0;
步骤3024、疲劳台阶参数增减处理:根据步骤3022中提取出的冥想度M与专注度A,并结合步骤3023中所确定的冥想度修正值ΔM和时间纠正参数ΔT,对此时疲劳台阶参数s_c的数值进行增减处理,并获得增减处理后的疲劳台阶参数s_c:当时,将疲劳台阶参数s_c的数值加1;否则,对疲劳台阶参数s_c的数值进行判断:当疲劳台阶参数s_c的数值为0时,疲劳台阶参数s_c的数值保持不变;当疲劳台阶参数s_c的数值≥1时,将疲劳台阶参数s_c的数值减1;
步骤3025、疲劳驾驶判断:根据步骤3024中增减处理后的疲劳台阶参数s_c的数值,对此时驾驶员是否处于疲劳驾驶状态进行判断:当步骤3024中增减处理后的疲劳台阶参数s_c的数值>N时,说明此时驾驶员处于疲劳驾驶状态,所述主控芯片(2-1)控制报警提示单元(2-2)进行报警提示;否则,说明此时驾驶员处于正常驾驶状态;
其中,N为预先设定的疲劳驾驶判断阈值,N为正整数且N=2~8;
步骤3026、返回步骤3021,对脑电信号获取装置(1)下一秒内采集并预处理后的脑电波信号进行分析处理;
步骤一中将脑电信号获取装置(1)与脑电信号监测终端(2)连接时,还需以无线通信方式将脑电信号监测终端(2)的主控芯片(2-1)与上位机(4)连接;
步骤3025中所述主控芯片(2-1)控制报警提示单元(2-2)进行报警提示时,所述主控芯片(2-1)同步向上位机(4)发送该驾驶员的疲劳驾驶报警信息;
步骤3023中采用时间区间法对冥想度修正值ΔM进行确定时,当当前时刻T晚于6点且不晚于15点时,时间越晚,冥想度修正值ΔM越小;当当前时刻T晚于15点且不晚于19点时,时间越晚,冥想度修正值ΔM越大;
步骤3023中采用时间区间法对时间纠正参数ΔT进行确定时,当当前时刻T晚于6点且不晚于15点时,时间越晚,时间纠正参数ΔT越小;当当前时刻T晚于15点且不晚于19点时,时间越晚,时间纠正参数ΔT越大。
2.按照权利要求1所述的一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征在于:步骤3011中所述的p=30;步骤30118中所述的n=30,Q=2;
步骤3025中所述的N=3。
3.按照权利要求1所述的一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征在于:步骤一中所述脑电信号监测终端(2)还包括与主控芯片(2-1)连接的参数输入单元(2-4);
步骤一中以无线通信方式将脑电信号监测终端(2)的主控芯片(2-1)与上位机(4)连接后,还需通过参数输入单元(2-4)输入驾驶员基本信息,所述主控芯片(2-1)对所输入的驾驶员基本信息进行存储并将所述驾驶员基本信息同步传送至上位机(4);
所述驾驶员基本信息包括驾驶员的姓名和联系方式。
4.按照权利要求1或2所述的一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征在于:所述脑电信号监测终端(2)为智能手机。
5.按照权利要求1或2所述的一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征在于:步骤三中进行脑电波信号分析处理过程中,所述脑电信号监测终端(2)的主控芯片(2-1)还需调用导航模块同步获取驾驶员所驾驶车辆的车辆基本信息,所述车辆基本信息包括车辆地理位置和车速。
6.按照权利要求1或2所述的一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征在于:步骤一中所述脑电信号获取装置(1)与脑电信号监测装置(2)之间以无线通信方式进行通信;
所述TGAM模块包括对驾驶员的脑电波信号进行提取的脑电信号提取装置(1-1)和对脑电信号提取装置(1-1)所提取信号进行采样及预处理的脑电信号预处理装置(1-2),所述脑电信号预处理装置(1-2)与脑电信号提取装置(1-1)相接,所述脑电信号提取装置(1-1)包括对驾驶员额叶区的电位进行实时采样的第一脑电电极(1-11)以及对驾驶员的耳部电位进行实时采样的第二脑电电极(1-12)和第三脑电电极(1-13),所述第一脑电电极(1-11)、第二脑电电极(1-12)和第三脑电电极(1-13)均与脑电信号预处理装置(1-2)相接;
所述脑电信号监测装置(2)还包括与主控芯片(2-1)相接的第二无线通信模块(2-3);
所述脑电信号获取装置(1)与第一无线通信模块(3)相接,所述脑电信号获取装置(1)通过第一无线通信模块(3)和第二无线通信模块(2-2)与主控芯片(2-1)进行通信。
7.按照权利要求1或2所述的一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征在于:步骤3023中对冥想度修正值ΔM进行确定时,过程如下:
步骤A1、当前时刻整点值确定:对当前时刻T的整点值进行确定;所述时钟电路(2-6)提供的当前时刻T为24小时制,当前时刻T的整点值记作nt,其中nt为当前时刻T中“时”的数值;
其中,nt为整数且nt=0~23;
步骤A2、冥想度修正值ΔM确定:根据步骤A1中所确定的nt,并结合当前时刻T,对此时的冥想度修正值ΔM进行确定:当当前时刻T晚于6点且不晚于12点时,根据公式对冥想度修正值ΔM进行计算;当当前时刻T晚于12点且不晚于15点时,根据公式对冥想度修正值ΔM进行计算;当当前时刻T晚于15点且不晚于19点时,根据公式对冥想度修正值ΔM进行计算;
公式(1)和(2)中,bt1=12;公式(3)中,bt2=15。
8.按照权利要求1或2所述的一种眼电与脑电综合判定的疲劳驾驶脑电监测方法,其特征在于:步骤3023中对时间纠正参数ΔT进行确定时,过程如下:
步骤B1、当前时刻整点值确定:对当前时刻T的整点值进行确定;所述时钟电路(2-6)提供的当前时刻T为24小时制,当前时刻T的整点值记作nt,其中nt为当前时刻T中“时”的数值;
其中,nt为整数且nt=0~23;
步骤B2、时间纠正参数ΔT确定:根据步骤B1中所确定的nt,并结合当前时刻T,对此时的时间纠正参数ΔT进行确定:当当前时刻T晚于6点且不晚于12点时,根据公式对时间纠正参数ΔT进行计算;当当前时刻T晚于12点且不晚于15点时,根据公式对时间纠正参数ΔT进行计算;当当前时刻T晚于15点且不晚于19点时,根据公式对时间纠正参数ΔT进行计算;
公式(1)和(2)中,bt1=12;公式(3)中,bt2=15。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610136838.2A CN105595996B (zh) | 2016-03-10 | 2016-03-10 | 一种眼电与脑电综合判定的疲劳驾驶脑电监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610136838.2A CN105595996B (zh) | 2016-03-10 | 2016-03-10 | 一种眼电与脑电综合判定的疲劳驾驶脑电监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105595996A CN105595996A (zh) | 2016-05-25 |
CN105595996B true CN105595996B (zh) | 2019-05-31 |
Family
ID=55976752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610136838.2A Expired - Fee Related CN105595996B (zh) | 2016-03-10 | 2016-03-10 | 一种眼电与脑电综合判定的疲劳驾驶脑电监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105595996B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106811875A (zh) * | 2016-12-19 | 2017-06-09 | 苏州市青田企业发展有限公司 | 一种缝纫机 |
CN107296627B (zh) * | 2017-07-14 | 2020-05-26 | 深圳市德力凯医疗设备股份有限公司 | 脑血流自动调节指数的输出方法、存储介质及超声设备 |
CN107296596A (zh) * | 2017-07-18 | 2017-10-27 | 西安科技大学 | 一种煤矿井下的工作人员疲劳监测系统和方法 |
CN107510453B (zh) * | 2017-10-12 | 2019-12-24 | 北京翼石科技有限公司 | 一种前额区脑电分析方法 |
US10836403B2 (en) * | 2017-12-04 | 2020-11-17 | Lear Corporation | Distractedness sensing system |
CN109991891A (zh) * | 2017-12-29 | 2019-07-09 | 新华网股份有限公司 | 疲劳缓解系统 |
CN109009173B (zh) * | 2018-08-30 | 2022-02-01 | 北京机械设备研究所 | 一种基于脑电-眼动双模态信号的疲劳检测与调控方法 |
CN109472224A (zh) * | 2018-10-26 | 2019-03-15 | 蓝色传感(北京)科技有限公司 | 基于eeg与eog融合的疲劳驾驶检测系统 |
CN109464152B (zh) * | 2019-01-09 | 2021-11-26 | 浙江强脑科技有限公司 | 脑部疲劳状态的检测方法、设备及计算机可读存储介质 |
US11524691B2 (en) | 2019-07-29 | 2022-12-13 | Lear Corporation | System and method for controlling an interior environmental condition in a vehicle |
CN110507319B (zh) * | 2019-09-04 | 2022-04-15 | 杭州回车电子科技有限公司 | 一种疲劳度检测方法及设备 |
CN113208611A (zh) * | 2021-04-13 | 2021-08-06 | 中南民族大学 | 一种融合机器学习与物联网技术的疲劳驾驶实时监测系统 |
CN114081514A (zh) * | 2021-10-27 | 2022-02-25 | 山东浪潮科学研究院有限公司 | 一种提取眼部信息检测驾驶员疲劳驾驶的方法及系统 |
CN114159077B (zh) * | 2022-02-09 | 2022-05-31 | 浙江强脑科技有限公司 | 基于脑电信号的冥想评分方法、装置、终端及存储介质 |
CN115568864A (zh) * | 2022-09-30 | 2023-01-06 | 东北林业大学 | 一种驾驶行为信息采集及检测系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102125429A (zh) * | 2011-03-18 | 2011-07-20 | 上海交通大学 | 基于眼电信号的警觉度检测系统 |
CN105011951A (zh) * | 2014-04-24 | 2015-11-04 | 闽南师范大学 | 一种用脑电波提取眼睛眨动次数的装置及方法 |
-
2016
- 2016-03-10 CN CN201610136838.2A patent/CN105595996B/zh not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
驾驶疲劳检测研究;杨程程;《中国优秀硕士学位论文全文数据库 哲学与人文科学辑 (月刊 ) 2015 年 第 03 期 2015年2月16日—3月15日出版》;20150315;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN105595996A (zh) | 2016-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105595996B (zh) | 一种眼电与脑电综合判定的疲劳驾驶脑电监测方法 | |
CN105615878B (zh) | 一种疲劳驾驶脑电监测方法 | |
CN105595997B (zh) | 一种基于台阶式疲劳判定的疲劳驾驶脑电监测方法 | |
CN104146722B (zh) | 一种基于头部信号的驾驶疲劳检测分级预警方法 | |
CN105015552B (zh) | 驾驶员状态监测系统及其控制方法 | |
CN111166357A (zh) | 多传感器融合的疲劳监测装置系统及其监测方法 | |
CN105015551B (zh) | 驾驶员状态监测系统、用于控制该系统的方法及车辆 | |
CN204618221U (zh) | 一种具有健康监测功能的手环 | |
CN110013249B (zh) | 一种便携式可调式的头戴癫痫监测仪 | |
CN105054951B (zh) | 一种基于眨眼频率识别的疲劳驾驶脑电监测方法 | |
CN204274420U (zh) | 学生用智能健康安全电子手环及健康管理系统 | |
CN107226123A (zh) | 一种多模式生物感应方向盘 | |
CN106491104A (zh) | 基于智能穿戴设备的驾驶员状态智能实时监测系统和方法 | |
CN105827731A (zh) | 基于融合模型的智能化健康管理服务器、系统及其控制方法 | |
CN106725384A (zh) | 一种用于孕妇体征监测的智能手环系统 | |
CN104468743A (zh) | 基于健康管理的儿童健康监控与提醒系统及其运行方法 | |
CN103606245A (zh) | 基于蓝牙脑电耳机和安卓手机的疲劳驾驶检测预警系统 | |
CN103021134A (zh) | 汽车疲劳驾驶监测报警装置 | |
CN101968918A (zh) | 反馈式疲劳检测系统 | |
CN104484570B (zh) | 一种电子终端及信息处理方法 | |
CN107595306A (zh) | 一种基于脑电信号分析的疲劳驾驶预警系统 | |
CN103876716A (zh) | 一种具有监护功能的无线腕表及应用该无线腕表的方法 | |
CN114652532B (zh) | 基于ssvep与注意力检测的多功能脑控轮椅系统 | |
CN110367975A (zh) | 一种基于脑机接口的疲劳驾驶检测预警方法 | |
CN105193430A (zh) | 一种保护装置、可穿戴设备及保护方法和显示系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190531 Termination date: 20210310 |