CN117077086A - 一种超前脑疲劳预警系统、设备和存储介质 - Google Patents

一种超前脑疲劳预警系统、设备和存储介质 Download PDF

Info

Publication number
CN117077086A
CN117077086A CN202310914092.3A CN202310914092A CN117077086A CN 117077086 A CN117077086 A CN 117077086A CN 202310914092 A CN202310914092 A CN 202310914092A CN 117077086 A CN117077086 A CN 117077086A
Authority
CN
China
Prior art keywords
module
fatigue
time
brain fatigue
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310914092.3A
Other languages
English (en)
Inventor
谢康宁
李艳
汤池
罗二平
翟雅文
马焦焦
刘娟
景达
颜泽栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Medical University of PLA
Original Assignee
Air Force Medical University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Medical University of PLA filed Critical Air Force Medical University of PLA
Priority to CN202310914092.3A priority Critical patent/CN117077086A/zh
Publication of CN117077086A publication Critical patent/CN117077086A/zh
Priority to NL2036641A priority patent/NL2036641A/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

本发明公开了一种超前脑疲劳预警系统、设备和存储介质，包括数据获取模块、预处理模块、调节能力计算模块、疲劳预警模块、存储模块和通信模块；数据获取模块用于获取待预测对象的瞳孔直径数据；预处理模块，用于将瞳孔直径数据进行预处理，去除无效数据，并线性插值；调节能力计算模块，用于基于预处理后的瞳孔直径数据计算，并通过环境光指数进行矫正，得到不断更新的脑疲劳调节能力时间序列；疲劳预警模块模块，用于根据得到的疲劳调节能力时间序列建立超前预测模型，利用超前预测模型得到的预测线与脑疲劳报警阈值线交点计算距离脑疲劳的剩余时间启动报警；通信模块将脑疲劳调节能力、报警方式等上传到远程服务器，便于管理方监控；存储模块将中间数据存档。

Description

一种超前脑疲劳预警系统、设备和存储介质
技术领域
本发明涉及神经科学和信号处理技术领域，特别涉及一种超前脑疲劳预警系统、设备和存储介质。
背景技术
车辆驾驶员、飞行员、管制员等人的疲劳主要表现为脑疲劳。脑疲劳的特点是脑疲劳初期的掩盖效应和后期的突发效应。通俗地讲，任务初期虽然看起来不累，但脑疲劳一直在累积，中后期不知不觉中走神、打盹。初期的掩盖效应和中后期的突发性带来了预警时间短的重大隐患。外显的脑疲劳是两个内部因素共同作用的结果，一是逐渐累积的生理性脑疲劳，反映了认知资源持续消耗，二是调节系统，反映了高级中枢的调节和补偿作用，初期可掩盖生理性疲劳，通常在30-120分钟任务后生理性疲劳掩盖不住会表现出脑疲劳，常规指标是通过面部表情、眼睑闭合率、脑电等反应出来，属于“疲劳后测量”，存在严重安全隐患。
例如申请号为200920160060.4一种口含式疲劳预警器，正常情况下牙齿咬合，不报警，疲劳或精力不集中时，松开报警器，蜂鸣器启动报警。此方法需要时刻咬住报警器，对驾驶员产生干扰，而且当发现疲劳时，疲劳已经到了非常危险的程度，对于安全驾驶的提示作用有待提高。申请号为201310229235.3的中国专利《汽车驾驶员疲劳状态预判系统专利》中，其利用驾驶员眼睛闭合时间为特征，启动报警。可以看出，以上的方法都属于“疲劳后测量”，当测量到疲劳时，脑疲劳已经外显出来，这时的疲劳已经到了非常危险的程度，存在严重安全隐患，对于安全驾驶的提示作用有待提高。
综上所述，当前的脑疲劳测量方法大多是从不同的侧面反映脑疲劳的外在表现，反映了调节系统对生理性脑疲劳的调节结果(生理性疲劳被掩盖)。因此，只能在生理性脑疲劳累积到足够大(掩盖效应失效)脑疲劳表现出来后才能测量到，基于这种疲劳后测量方法的预警系统往往就存在预警滞后，不能提前对驾驶员进行智能预警的问题。
发明内容
针对上述存在的问题，本发明旨在提供一种脑疲劳预警系统，克服脑疲劳的掩盖效应，基于超前预测模型能够将脑疲劳检测从传统的“疲劳后测量”提前到“疲劳前测量”，并利用脑疲劳预警系统进行智能化预测和干预。
为了实现上述目的，本发明所采用的技术方案如下：
一种超前脑疲劳预警系统，其特征在于，包括数据获取模块、预处理模块、调节能力计算模块、疲劳预警模块、通信模块和存储模块；
数据获取模块，用于获取待预测对象的瞳孔直径数据；
预处理模块，用于将所述的瞳孔直径数据进行预处理，去除无效数据，并线性插值，得到预处理后的瞳孔直径数据；
调节能力计算模块，用于基于预处理后的瞳孔直径数据进行计算，并通过环境光指数进行矫正，得到不断更新的调节能力时间序列；
疲劳预警模块，用于根据得到的调节能力时间序列进行数学建模，建立超前预测模型，并计算即将发生脑疲劳的剩余的时间并进行报警；
通信模块，用于将脑疲劳调节能力、报警方式等上传到远程服务器，便于管理方监控；
存储模块，用于对中间数据进行存档。
进一步地，所述疲劳预警模块，包括脑疲劳发生时间预测子模块以及报警烈度设置子模块；
脑疲劳发生时间预测子模块，用于根据得到的调节能力时间序列建立超前预测模型，并利用超前预测模型得到尚未发生的预测线，再将得到的预测线与事先确定的阈值线相交，计算即将发生脑疲劳的剩余的时间；
报警烈度设置子模块，用于根据用户设置的阈值，将得到的发生脑疲劳的剩余的时间与阈值相比，触发不同的报警烈度，根据不同的报警烈度进行报警。
进一步地，所述报警烈度分为若干等级，不同等级的报警烈度对应不同的报警音、语音以及震动强度。
进一步地，所述超前预测模型的构建方法包括：
步骤1：获取当前被测人员的瞳孔直径数据以及环境光数据，对瞳孔直径数据进行预处理，去除异常值，对去除异常值后的空缺进行线性插值得到预处理后的瞳孔直径数据；
步骤2：根据预处理后的瞳孔直径数据，定义调节能力指数，并计算调节能力指数得到调节能力指数的时间序列；
步骤3：根据环境光数据，计算环境光指数，采用自适应滤波器去除环境光干扰，得到矫正的调节能力指数的时间序列；
步骤4：根据矫正后的调节能力指数的时间序列构建脑疲劳调节能力预测模型。
进一步地，步骤2的具体步骤为：
步骤21：记瞳孔直径时间序列为x(1)(i),1≤i≤N,其中N是时间序列的长度，并取其中的m个点形成向量um(j)：
um(j)＝[x(1)(j+k):0≤k≤m-1]；
步骤22：定义向量um(i)和um(j)之间的距离为d：
步骤23：计算时间序列x(1)(i)的标准差为r，统计满足d<r的所有一组向量um(i)和um(j)的数量，并将其记作Am；
步骤24：计算S(1)：
步骤25：将瞳孔直径时间序列为x(1)(i)每2个值平均作为新的值，形成新的时间序列x(2)(i)，重复执行步骤21-24得到S(2)；
步骤26：重复执行步骤25，依次得到S(3),S(4),…,S(τ)，其中τ为[10,30]区间中的数；
步骤27：定义调节能力指数的计算公式为：
步骤28：采用滑动窗计算S，且滑动窗宽的设置公式为：
其中，Fs是瞳孔直径的采样频率；
步骤29：根据计算出的调节能力指数，得到调节能力指数的时间序列S(n)。
进一步地，步骤3的具体步骤为：
步骤31：通过环境传感器采集环境光时间序列y(i),1≤i≤N,其中N是时间序列的长度，并取其中的m个点形成向量um(j)：
um(j)＝[y(j+k):0≤k≤m-1]；
步骤32：定义向量um(i)和um(j)之间的距离为d：
步骤33：计算时间序列y(i)的标准差为r，统计满足d<r的所有一组向量um(i)和um(j)的数量，并将其记作Am；
步骤34：根据公式(1)得到T；
步骤35：采用滑动窗计算T，得到环境光指数时间序列T1,T2,T3,…。
步骤36：将步骤29中得到的调节能力指数S(n)的滑动窗序列重定义为d(n),n＝1,2,…；
步骤37:将d(n)表示为：
d(n)＝S(n)+T1(n),n＝1,2,…
其中，T1(n)是由环境光引起的瞳孔调节指数成分；S(n)为瞳孔引起的真实的调节能力指数成分；
e(n)＝d(n)-z(n),n＝1,2,…
其中，e(n)是d(n)和自适应滤波器输出z(n)的误差；
步骤38：可通过迭代法求出自适应滤波器的权重向量w:
w(n+1)＝w(n)+μ[p-Rw(n)]
这里的n代表迭代次数，μ表示正常数，p是数据的互相关向量，R是数据的相关矩阵。
步骤39：基于求解得到的e(n)，得到矫正的调节能力指数的时间序列。
进一步地，构建的预测模型包括用于预测脑疲劳外显发生时间距当前时间大于5分钟的情况下的脑疲劳超前预测模型，以及用于预测脑疲劳外显发生时间距当前时间小于等于5分钟的情况下的临近阈值的脑疲劳精准预测模型：
(1)脑疲劳超前预测模型用于预测脑疲劳外显发生距离当前时间大于5分钟的情况，具体步骤为：
步骤41：定义调节能力指数的时间序列的损失函数：
步骤42：对于每一个输入时刻点tn，预测估计值为：
步骤43：定义平均损失函数为：
步骤44：根据公式(7)求解使L(p,b)最小化的参数：
且：
(2)脑疲劳精准预测模型用于预测脑疲劳外显发生距离当前时间小于等于5分钟的情况，其构建步骤为：
步骤45：在实时记录的过程中，记录一段时间；
步骤46：并根据以上步骤得到时刻-调节能力指数的时间序列(t1,S1),(t2,S2),…(tN2,SN2)后，建立自回归模型，
步骤47：自回归模型的阶数可选择为50，数据窗口100s，每1s更新1次，用于预测25s的波形。
一种电子设备，其特征在于，包括，
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求4-7中任一项所述步骤。
一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求4-7中任一项所述步骤。
本发明的有益效果是：
第一、本发明所提系统可直接安装于交通工具载体或工作台上(例如车辆、飞机、轮船、无人机操作台、空管员工作台等)，通过非接触、无干扰的采集设备对瞳孔直径进行采集，不需要电极接触，也不需要穿戴，并且，本系统还设置了多个等级的报警烈度，根据使用者提前设置的烈度即可在检测到疲劳时以相应的告警烈度进行报警。
第二，本发明提出超前预测模型，通过瞳孔直径的调节能力指数对脑疲劳进行预测，直接测量认知调节能力大小，克服了传统疲劳检测和预测的限制，而不受掩盖效应和突发效应的影响，基于该预测模型，构建了脑疲劳预警系统，通过该预警系统能够对车辆、飞机等驾驶员或仪器仪表操作人员进行语音、振动等方式的告警，在人员达到危险脑疲劳阈值前就得到相应的告警，实现疲劳前干预。
附图说明
图1为本系统的模块架构图；
图2本系统通过超前预测模型进行报警的流程图；
图3为脑疲劳预警系统的测试界面；
图4为文本显示区的子区域划分。
具体实施方式
为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
如图1所示，本发明提出了一种脑疲劳预警系统，其包括数据获取模块、预处理模块、调节能力计算模块、疲劳预警模块、存储模块和通信模块；
数据获取模块，用于获取待预测被测人员(车辆驾驶员、飞行员、无人机驾驶员、空管员等)的瞳孔直径数据；
预处理模块，用于将所述的瞳孔直径数据进行预处理，去除无效数据，并进行线性插值，得到预处理后的瞳孔直径数据；
调节能力计算模块，用于基于预处理后的瞳孔直径数据进行计算，并通过环境光指数进行矫正，得到不断更新的脑疲劳调节能力时间序列得到不断更新的调节能力时间序列；
疲劳预警模块，包括脑疲劳发生时间预测子模块以及报警烈度设置子模块；
所述脑疲劳发生时间预测子模块，用于根据得到的调节能力时间序列进行数学建模，建立超前预测模型，并利用超前预测模型得到尚未发生的预报复杂度时间序列，再将得到的预测线与事先确定的阈值线相交，计算即将发生脑疲劳的剩余的时间；
报警烈度设置子模块，用于根据用户设置的阈值(可以通过实验获得)，将得到的发生脑疲劳的剩余的时间与阈值相比，触发不同的报警烈度，根据不同的报警烈度进行报警；
本系统可设置的报警烈度为报警烈度1级、报警烈度2级、报警烈度3级、……；不同等级的报警烈度，对应不同的报警音、语音以及震动强度，作为一个优选的实施例，其报警烈度信息如表1所示。
表1报警烈度划分举例
2、超前预测模型的构建方法
本发明提出的超前脑疲劳预警系统是基于超前预测模型实现的，构建超前预测模型包括以下步骤：
步骤1：获取待监测的驾驶员的瞳孔直径数据，对得到的瞳孔直径数据进行预处理：去除异常值，对去除异常值后的空缺进行线性插值，从而得到预处理后的瞳孔直径数据；
步骤2：定义调节能力指数，对预处理后的瞳孔直径数据取时间窗，得到相应的瞳孔直径时间序列数据，对该时间窗内的瞳孔直径时间序列数据进行计算得到调节能力指数的时间序列，根据该时间序列进行线性预测模型建模；其具体包括：
(1)根据瞳孔直径时间序列定义调节能力指数
首先，记瞳孔直径时间序列为x(1)(i),1≤i≤N,其中N是时间序列的长度，取其中的m个点形成向量um(j):
um(k)＝[x(1)(j+k):0≤k≤m-1]
其中，j变量为该时间序列中按从前到后的顺序依次选取的点的序号；k变量为偏移量，范围是0到m-1；m为嵌入向量um(j)的维数，即向量中元素的个数；
其次，定义两个向量um(i)和um(j)之间的距离为d,
再次，计算瞳孔直径时间序列x(1)(i)的标准差为r,统计距离d<r的所有一对向量um(um(i)和um(j))的数量(一对满足以上条件的向量计数1)，记作Am，基于Am计算S(1)：
再次，将瞳孔直径时间序列为x(1)(i)每2个值进行平均值计算，并将得到的平均值作为新的值，从而形成新的瞳孔直径时间序列x(2)(i)，重复执行上述步骤，根据公式1得到S(2)，以此类推，得到S(3),S(4),…,S(τ)，其中，τ为10-30之间的数，该值取决于瞳孔直径的采样率，采样率越高，τ值越大，优选地，采样率为100Hz时，τ设置为10。
最后，将调节能力指数定义为：
(2)通过滑动窗计算调节能力指数
本发明采用滑动窗计算S，滑动窗宽通过以下公式确定：
其中，Fs是瞳孔直径的采样频率；
滑动窗移动的步长在0.1-10s之间，步长越短，越有利于后面的预测建模(提高预测精度)，但计算量也越大，因此本发明的步长设置为1s。
通过计算，可得到调节能力指数的时间序列S(n)。
(3)根据调节能力指数连续值构建生理性脑疲劳调节能力预测线性模型，获取疲劳相关的参数，其具体包括：
首先，定义损失函数：
其次，对于每一个输入时刻点tn，预测估计值为：
用损失函数计算预测估计值与真实值的差异：
再次，将平均损失函数定义为:
并通过公式7求解使L(p,b)最小化的参数(p,b)：
得到：
其中，p*,b*分别是生理系脑疲劳调节能力预测线性模型的斜率和截距；
(4)脑疲劳精准预测模型用于预测脑疲劳外显发生距离当前时间小于等于5分钟的情况，其构建步骤为：在实时记录的过程中，记录一段时间；并根据以上步骤得到时刻-调节能力指数的时间序列(t1,S1),(t2,S2),…(tN2,SN2)后，建立自回归模型，自回归模型的阶数可选择为50，数据窗口100s，每1s更新1次，用于预测25s的波形。
综上，公式5，公式8和公式9描述的线性模型以及(4)中描述的AR模型即为本发明所构建的超前预测模型，前者用于超前预测，后者用于接近脑疲劳时较为精准的预测，原理是既考虑了调节能力曲线局部的周期性和长期的衰减趋势。生理性脑疲劳随着工作任务近似线性增加，此时，本发明所构建的超前预测模型将通过负斜率和任务开始时的起始值作为线性预测参数。
步骤3：根据建立的超前预测模型和预设的阈值进行脑疲劳预测；
根据得到的线性预测参数，接着可通过实验确定3-5个(或更多个阈值)，例如，早期报警阈值(提前20分钟)，中期报警阈值(5分钟)，晚期报警阈值(1分钟)和临界报警阈值(20秒)；
如图2所示，本系统基于上述方法根据最终不同的报警阈值进行报警。
实施例
为了验证本发明所提系统的有效性，对其功能进行验证。
1、测试系统说明
为了便于测试，本发明设计了脑疲劳预警系统的测试界面，该界面如图3所示。从图3中可以看出其分为图表区、文本显示区、按键区、文本输入区；
红色所框区域为图表区，其中左半部主要功能为绘制实时瞳孔直径图像，即从眼动仪中获得的数据并绘制其与时间的关系图像；其中右半部主要功能为绘制生理性脑疲劳指数图像，即通过分析瞳孔直径数据进而推算其生理性脑疲劳指数，其曲线用红色绘制，并且对被测人员剩余工作时间进行预测，预测方式用到两种分别为线性模型和AR模型，将在开始计算5分钟后开始首次绘制，其预测图像分别以蓝色和橙色绘制。
橙色区域为按键区，其中start按键为启动眼动仪，此时眼动仪将接收被测人员的实验数据；startall按键为同时启动绘制瞳孔直径曲线和MSE曲线，相当于同时按下瞳孔直径曲线按键和MSE按键；瞳孔直径曲线按键和MSE按键功能分别为启动绘制瞳孔直径曲线和MSE曲线；Calibration按键为启动眼动仪校准；stop按键为停止按键可暂停程序；clear按键主要功能为清除数据相当于复位。
绿色区域为文本输入区主要功能为保存本次数据与图像，需要输入文件名。
蓝色区域为文本显示区，其又分为5个区域，如图4所示，其中1区显示数值为瞳孔数据的个数，2区显示数值为瞳孔的大小，3区显示数值为记录下疲劳指数的大小，4区显示数值为第几个疲劳指数的点，5区显示为报告被测人员剩余工作时间，开始计算5分钟后开始首次预测且每30s进行更新。
2、测试流程
S1：将人体眼球与眼动仪对准且距离一定，按照眼动仪校准软件流程进行校准确保实验采集数据真实可靠；
S2：采用模拟驾驶软件进行模拟驾驶；
S3：进入脑疲劳预警系统的测试界面，点击start按键启动眼动仪，再点击startall按键或者依次按下瞳孔直径曲线按键和MSE按键，此时可根据用户需要点击stop按键中止代码，点击stop按键后根据需求可点击clear按键清除数据或者通过文本输入区保存此次数据；
S4：预设报警阈值时间，例如20分钟，在脑疲劳智能预警系统预测时间小于20分钟时，根据相应报警烈度的提醒方式进行语音提醒，同时观察预测疲劳时间的变化是否升高。
3、测试结果
执行以上测试流程后，从脑疲劳预警系统的测试界面的被测人员剩余工作时间区域中能够看出，经过本预警系统的报警干预后，被测人员的预测疲劳时间升高，曲线也出现一定程度的上升，从而表面本发明的预警系统能够对驾驶员进行智能干预。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种超前脑疲劳预警系统，其特征在于，包括数据获取模块、预处理模块、调节能力计算模块、疲劳预警模块、通信模块和存储模块；
数据获取模块，用于获取待预测对象的瞳孔直径数据；
预处理模块，用于将所述的瞳孔直径数据进行预处理，去除无效数据，并线性插值，得到预处理后的瞳孔直径数据；
调节能力计算模块，用于基于预处理后的瞳孔直径数据进行计算，并通过环境光指数进行矫正，得到不断更新的调节能力时间序列；
疲劳预警模块，用于根据得到的调节能力时间序列进行数学建模，建立超前预测模型，并计算即将发生脑疲劳的剩余的时间并进行报警；
通信模块，用于将脑疲劳调节能力、报警方式等上传到远程服务器，便于管理方监控；
存储模块，用于对中间数据进行存档。
2.如权利要求1所述的超前脑疲劳预警系统，其特征在于，所述疲劳预警模块，包括脑疲劳发生时间预测子模块以及报警烈度设置子模块；
脑疲劳发生时间预测子模块，用于根据得到的调节能力时间序列建立超前预测模型，并利用超前预测模型得到尚未发生的预测线，再将得到的预测线与事先确定的阈值线相交，计算即将发生脑疲劳的剩余的时间；
报警烈度设置子模块，用于根据用户设置的阈值，将得到的发生脑疲劳的剩余的时间与阈值相比，触发不同的报警烈度，根据不同的报警烈度进行报警。
3.如权利要求1所述的超前脑疲劳预警系统，其特征在于，所述报警烈度分为若干等级，不同等级的报警烈度对应不同的报警音、语音以及震动强度。
4.如权利要求1所述的超前脑疲劳预警系统，其特征在于，所述超前预测模型的构建方法包括：
步骤1：获取当前被测人员的瞳孔直径数据以及环境光数据，对瞳孔直径数据进行预处理，去除异常值，对去除异常值后的空缺进行线性插值得到预处理后的瞳孔直径数据；
步骤2：根据预处理后的瞳孔直径数据，定义调节能力指数，并计算调节能力指数得到调节能力指数的时间序列；
步骤3：根据环境光数据，计算环境光指数，采用自适应滤波器去除环境光干扰，得到矫正的调节能力指数的时间序列；
步骤4：根据矫正后的调节能力指数的时间序列构建脑疲劳调节能力预测模型。
5.如权利要求4所述的超前脑疲劳预警系统，其特征在于，步骤2的具体步骤为：
步骤21：记瞳孔直径时间序列为x(1)(i),1≤i≤N,其中N是时间序列的长度，并取其中的m个点形成向量um(j)：
um(j)＝[x(1)(j+k):0≤k≤m-1]；
步骤22：定义向量um(i)和um(j)之间的距离为d：
步骤23：计算时间序列x(1)(i)的标准差为r，统计满足d<r的所有一组向量um(i)和um(j)的数量，并将其记作Am；
步骤24：计算S(1)：
步骤25：将瞳孔直径时间序列为x(1)(i)每2个值平均作为新的值，形成新的时间序列x(2)(i)，重复执行步骤21-24得到S(2)；
步骤26：重复执行步骤25，依次得到S(3),S(4),…,S(τ)，其中τ为[10,30]区间中的数；
步骤27：定义调节能力指数的计算公式为：
步骤28：采用滑动窗计算S，且滑动窗宽的设置公式为：
其中，Fs是瞳孔直径的采样频率；
步骤29：根据计算出的调节能力指数，得到调节能力指数的时间序列S(n)。
6.如权利要求5所述的超前脑疲劳预警系统，其特征在于，步骤3的具体步骤为：
步骤31：通过环境传感器采集环境光时间序列y(i),1≤i≤N,其中N是时间序列的长度，并取其中的m个点形成向量um(j)：
um(j)＝[y(j+k):0≤k≤m-1]；
步骤32：定义向量um(i)和um(j)之间的距离为d：
步骤33：计算时间序列y(i)的标准差为r，统计满足d<r的所有一组向量um(i)和um(j)的数量，并将其记作Am；
步骤34：根据公式(1)得到T；
步骤35：采用滑动窗计算T，得到环境光指数时间序列T1,T2,T3,…；
步骤36：将步骤29中得到的调节能力指数S(n)的滑动窗序列重定义为d(n),n＝1,2,…；
步骤37:将d(n)表示为：
d(n)＝S(n)+T1(n),n＝1,2,…
其中，T1(n)是由环境光引起的瞳孔调节指数成分；S(n)为瞳孔引起的真实的调节能力指数成分；
e(n)＝d(n)-z(n),n＝1,2,…
其中，e(n)是d(n)和自适应滤波器输出z(n)的误差；
步骤38：可通过迭代法求出自适应滤波器的权重向量w:
w(n+1)＝w(n)+μ[p-Rw(n)]
这里的n代表迭代次数，μ表示正常数，p是数据的互相关向量，R是数据的相关矩阵；
步骤39：基于求解得到的e(n)，得到矫正的调节能力指数的时间序列。
7.如权利要求5所述的超前脑疲劳预警系统，其特征在于，构建的预测模型包括用于预测脑疲劳外显发生时间距当前时间大于5分钟的情况下的脑疲劳超前预测模型，以及用于预测脑疲劳外显发生时间距当前时间小于等于5分钟的情况下的临近阈值的脑疲劳精准预测模型：
(1)脑疲劳超前预测模型的构建步骤为：
步骤41：定义调节能力指数的时间序列的损失函数：
步骤42：对于每一个输入时刻点tn，预测估计值为：
步骤43：定义平均损失函数为：
步骤44：根据公式(7)求解使L(p,b)最小化的参数：
且：
(2)脑疲劳精准预测模型的构建步骤为：
步骤45：在实时记录的过程中，记录一段时间；
步骤46：并根据以上步骤得到时刻-调节能力指数的时间序列(t1,S1),(t2,S2),…(tN2,SN2)后，建立自回归模型，
步骤47：自回归模型的阶数可选择为50，数据窗口100s，每1s更新1次，用于预测25s的波形。
8.一种电子设备，其特征在于，包括，
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求4-7中任一项所述步骤。
9.一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求4-7中任一项所述步骤。
CN202310914092.3A 2023-07-25 2023-07-25 一种超前脑疲劳预警系统、设备和存储介质 Pending CN117077086A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310914092.3A CN117077086A (zh) 2023-07-25 2023-07-25 一种超前脑疲劳预警系统、设备和存储介质
NL2036641A NL2036641A (en) 2023-07-25 2023-12-22 Advanced Mental Fatigue Early Warning System, Electronic Device and Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310914092.3A CN117077086A (zh) 2023-07-25 2023-07-25 一种超前脑疲劳预警系统、设备和存储介质

Publications (1)

Publication Number Publication Date
CN117077086A true CN117077086A (zh) 2023-11-17

Family

ID=88718492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310914092.3A Pending CN117077086A (zh) 2023-07-25 2023-07-25 一种超前脑疲劳预警系统、设备和存储介质

Country Status (2)

Country Link
CN (1) CN117077086A (zh)
NL (1) NL2036641A (zh)

Also Published As

Publication number Publication date
NL2036641A (en) 2024-03-25

Similar Documents

Publication Publication Date Title
CN102098955B (zh) 检测微入睡事件的方法和设备
US6346887B1 (en) Eye activity monitor
US11834052B2 (en) Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program
US20090040054A1 (en) Real-time driving danger level prediction
CN103974656A (zh) 瞌睡检测方法和设备
CN106913333B (zh) 一种持续性注意水平的敏感性特征指标的选取方法
CN108926352B (zh) 一种驾驶疲劳检测方法及系统
JP6839090B2 (ja) 動力車両の運転手の覚醒レベルを予知する装置および方法
CN108154095A (zh) 一种确定疲劳驾驶的方法、装置和车辆
CN112220480B (zh) 基于毫米波雷达和相机融合的驾驶员状态检测系统及车辆
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
JP3480483B2 (ja) 覚醒度推定装置
Baccour et al. Camera-based driver drowsiness state classification using logistic regression models
CN117077086A (zh) 一种超前脑疲劳预警系统、设备和存储介质
CN112132475A (zh) 司机驾驶安全绩效考核方法及系统
CN105894732A (zh) 一种疲劳驾驶监测系统
JP6468635B2 (ja) 眠気推定装置及び眠気推定プログラム
Utomo et al. Driver fatigue prediction using different sensor data with deep learning
CN107007292B (zh) 用于获知疲劳的方法
JP3960168B2 (ja) 生体状態推定方法及び装置、プログラム
Ma et al. Research on drowsy-driving monitoring and warning system based on multi-feature comprehensive evaluation
US20240144723A1 (en) Advanced Mental Fatigue Early Warning System, Electronic Device and Storage Medium
JP7231035B2 (ja) 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム
CN113901866A (zh) 一种机器视觉的疲劳驾驶预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination