CN106599821A - 基于bp神经网络的管制员疲劳检测方法及系统 - Google Patents
基于bp神经网络的管制员疲劳检测方法及系统 Download PDFInfo
- Publication number
- CN106599821A CN106599821A CN201611118480.7A CN201611118480A CN106599821A CN 106599821 A CN106599821 A CN 106599821A CN 201611118480 A CN201611118480 A CN 201611118480A CN 106599821 A CN106599821 A CN 106599821A
- Authority
- CN
- China
- Prior art keywords
- value
- eyelid
- pressure value
- neural network
- perclos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims abstract description 60
- 230000036772 blood pressure Effects 0.000 claims abstract description 46
- 230000035487 diastolic blood pressure Effects 0.000 claims abstract description 42
- 230000035488 systolic blood pressure Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000004088 simulation Methods 0.000 claims abstract description 18
- 210000000744 eyelid Anatomy 0.000 claims description 134
- 238000005259 measurement Methods 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 10
- 230000004399 eye closure Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 230000002618 waking effect Effects 0.000 claims description 6
- 206010016256 fatigue Diseases 0.000 description 58
- 230000001815 facial effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000011897 real-time detection Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/24—Computer workstation operators
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Cardiology (AREA)
- Psychiatry (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Fuzzy Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Ophthalmology & Optometry (AREA)
- Vascular Medicine (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
Abstract
本发明涉及疲劳检测领域,具体涉及一种基于BP神经网络的管制员疲劳检测方法及系统。本发明的基于BP神经网络的管制员疲劳检测方法包括:采集管制员的脉搏值和血压值,根据所述血压值得到舒张压值和收缩压值;将所述脉搏值、所述舒张压值和所述收缩压值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;若所述PERCLOS值仿真结果大于疲劳阈值,则判断所述管制员处于疲劳状态。本发明提供的基于BP神经网络的管制员疲劳检测方法及系统,基于BP神经网络,通过检测脉搏值和血压值来实时检测人体的疲劳程度,使实时疲劳检测变得更为简单,且降低了检测成本。
Description
技术领域
本发明涉及疲劳检测技术领域,具体涉及一种基于BP神经网络的管制员疲劳检测方法及系统。
背景技术
随着空中交通流量的日益增长,空中交通管制员的工作负荷越来越大,其疲劳程度对空中交通系统安全水平有着重要影响。国际民航组织已经为疲劳风险管理制定了Doc9966规章制度手册。欧美发达国家也先后将针对飞行员的疲劳检测系统或者方法扩展到管制员疲劳检测应用上。中国民航局以国际民航组织Doc9966为指导,也在CCAR-121文件中明确了疲劳风险管理的规则。
但是,到目前为止,虽然国内外研究者提出了多种疲劳检测与管理方法和体系,但是这些方法主要有三方面不足。一是主观性较强,如大量问卷表格被用于疲劳判定和预测中,研究人员会根据被测者的回答结果结合经验进行打分以确定疲劳程度,这样难免会受到研究者主观判断的影响;二是难以进行实时检测,有相当一部分正在使用的方法均是通过观察较长时间内(如连续几十天)被测者的表现,从而建立疲劳趋势预测图表,再根据图表来判定在某一段时间内管制员是否疲劳。这样就直接忽略了管制员当前身体状况,可能对检测结果造成一定的影响;三是当前已有的适用于实时疲劳检测的方法大多采用对面部特征进行采集和识别的方法,这种方法需要高精度视频检测设备随时拍摄管制员,从成本角度分析不具备优势。
发明内容
针对现有技术中的缺陷,本发明提供的基于BP神经网络的管制员疲劳检测方法及系统,基于BP神经网络,通过检测脉搏值和血压值来实时检测人体的疲劳程度,使实时疲劳检测变得更为简单,且降低了检测成本。
本发明提供的一种基于BP神经网络的管制员疲劳检测方法,包括:采集管制员的脉搏值和血压值,根据所述血压值得到舒张压值和收缩压值;将所述脉搏值、所述舒张压值和所述收缩压值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;若所述PERCLOS值仿真结果大于疲劳阈值,则判断所述管制员处于疲劳状态。
本发明提供的基于BP神经网络的管制员疲劳检测方法,在实时检测中只用通过简单经济的方式检测管制员的脉搏值和血压值,根据血压值得到舒张压值和收缩压值,将脉搏值、舒张压值和收缩压值输入预先构建的BP神经网络模型就能精准地估计出管制员当前的PERCLOS值仿真结果,从而检测管制员的疲劳状态。因此,本发明提供的方法使实时疲劳检测变得更为简单,且降低了检测成本。
优选地,所述BP神经网络模型的训练方法包括:建立BP神经网络模型并随机生成所述BP神经网络模型的参数,所述BP神经网络模型包括输入层、中间层、输出层,所述输入层包含3个节点,所述中间层包含多个节点,所述输出层包含1个节点,所述输入层和所述中间层之间,以及所述中间层和所述输出层之间均采用全连接模式;采集管制员的脉搏值和血压值以及对应的眼睑闭合数据,根据所述血压值得到舒张压值和收缩压值,根据所述眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括所述脉搏值、所述舒张压值、所述收缩压值以及对应的PERCLOS值测量结果;从生成的样本中选取一个样本,将样本中的脉搏值、舒张压值和收缩压值输入所述BP神经网络模型,得到PERCLOS值预估结果;根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数;若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
优选地,所述根据所述眼睑闭合数据得到的PERCLOS值测量结果,包括:从所述眼睑闭合数据中获取所述管制员清醒状态下的上下眼睑最大距离,所述眼睑闭合数据为眼睑闭合幅度随时间的变化,所述眼睑闭合幅度为上下眼睑之间的距离;将所述眼睑闭合数据除以所述上下眼睑最大距离,得到眼睑闭合程度;根据所述眼睑闭合程度,计算单位时间内的闭眼时间;将闭眼时间除以所述单位时间得到PERCLOS值测量结果。
优选地,所述根据所述眼睑闭合程度,计算单位时间内的闭眼时间,包括:在单位时间内,眼睑闭合程度大于70%或80%的对应的时间段的总和为所述单位时间内的闭眼时间。
优选地,若达到预设停止条件,则终止训练,否则重新选取样本再进行训练,包括:根据所述PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果得到全局误差,若所述全局误差小于误差阈值或训练次数达到预设的最大次数,则终止训练,否则重新选取样本再进行训练。
优选地,根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数,包括:计算所述PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果的输出误差;根据所述输出误差相对于中间层到输出层各边权值的偏导数,更新所述中间层到输出层各边权值;根据所述输出误差相对于输入层到中间层各边权值的偏导数,更新所述输入层到中间层各边权值;根据所述输出误差相对于输出层偏置的偏导数,更新所述输出层偏置;根据所述输出误差相对于中间层偏置的偏导数,更新所述中间层偏置。
本发明提供的一种基于BP神经网络的管制员疲劳检测系统,包括:原始数据处理模块,用于采集管制员的脉搏值和血压值,根据所述血压值得到舒张压值和收缩压值;疲劳值输出模块,用于将所述脉搏值、所述舒张压值和所述收缩压值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;疲劳判断模块,用于若所述PERCLOS值仿真结果大于疲劳阈值,则判断所述管制员处于疲劳状态。
本发明提供的基于BP神经网络的管制员疲劳检测系统,在实时检测中只用通过简单经济的方式检测管制员的脉搏值和血压值,根据血压值得到舒张压值和收缩压值,将脉搏值、舒张压值和收缩压值输入预先构建的BP神经网络模型就能精准地估计出管制员当前的PERCLOS值仿真结果,从而检测管制员的疲劳状态。因此,本发明提供的方法使实时疲劳检测变得更为简单,且降低了检测成本。
优选地,还包括BP神经网络模型训模块用于:建立BP神经网络模型并随机生成所述BP神经网络模型的参数,所述BP神经网络模型包括输入层、中间层、输出层;所述输入层包含3个节点,所述中间层包含多个节点,所述输出层包含1个节点;所述输入层和所述中间层之间,以及所述中间层和所述输出层之间均采用全连接模式;采集管制员的脉搏值、血压值以及对应的眼睑闭合数据,根据所述血压值得到舒张压值和收缩压值,根据所述眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括所述脉搏值、所述舒张压值、所述收缩压值以及对应的PERCLOS值测量结果;从生成的样本中选取一个样本,将样本中的脉搏值、舒张压值、收缩压值输入所述BP神经网络模型,得到PERCLOS值预估结果;根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数;若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
优选地,在所述BP神经网络模型训模块中,所述根据所述眼睑闭合数据得到的PERCLOS值测量结果,包括:从所述眼睑闭合数据中获取所述管制员清醒状态下的上下眼睑最大距离,所述眼睑闭合数据为眼睑闭合幅度随时间的变化,所述眼睑闭合幅度为上下眼睑之间的距离;将所述眼睑闭合数据除以所述上下眼睑最大距离,得到眼睑闭合程度;根据所述眼睑闭合程度,计算单位时间内的闭眼时间;将闭眼时间除以所述单位时间得到PERCLOS值测量结果。
优选地,在所述BP神经网络模型训模块中,所述根据所述眼睑闭合程度,计算单位时间内的闭眼时间,包括:在单位时间内,眼睑闭合程度大于70%或80%的对应的时间段的总和为所述单位时间内的闭眼时间。
附图说明
图1为PERCLOS测量原理的示意图;
图2为本发明实施例所采用的三层BP神经网络模型的结构示意图;
图3为本发明实施例所提供的基于BP神经网络的管制员疲劳检测方法的流程图;
图4为本发明实施例所提供的基于BP神经网络的管制员疲劳检测系统的结构框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
脉搏值和血压值是十分重要的人体生理指标,能够间接地反映人体的疲劳程度。PERCLOS值为单位时间内眼睛闭合时间所占的比例,为公认地能够直接反映疲劳程度的值。本发明实施例提供的基于BP神经网络的管制员疲劳检测方法,通过BP神经网络模型得到脉搏值和血压值与PERCLOS值之间的关系。
给管制员佩戴手环,采集管制员的脉搏值和血压值,并通过高清智能算法摄像机对管制员的脸部特征进行全程实时视频,得到与脉搏值和血压值在时间轴上同步的眼睑闭合数据。
对采集到的血压值进行处理,从中获取血压的舒张压值和收缩压值。
对采集到的被测者脸部特征视频进行相关图像处理,得到眼睑闭合数据。具体方法包括已下三个步骤:
步骤S10,进行人眼定位。
进行人眼定位的主要过程如下:
眼睛区域与周围区域相比,具有灰度值较低且灰度变化率较大的特点。因此可基于眼睛图像的灰度信息进行定位。分为以下两个步骤:
(1)眼睛粗略定位
准确定位人脸后,根据面部器官分布,人眼在脸部的上半部,可以很简单的确定一个大概区域。观察人脸图片,发现眼部在水平方向经过皮肤、左眼眼白、左眼瞳孔、左眼眼白、皮肤、右眼眼白、右眼瞳孔、右眼眼白、皮肤、灰度变化较大。在灰度变化突变处进行微分,将产生高值,将其绝对值累加,则灰度变化越大的那一行,累积值越大。计算公式如下:
Δhf(x,y)=f(x,y)-f(x-1,y)
f(x,y)为得到的人脸区域的灰度图像,通过实验发现,在眼睛处导数变化值之和的绝对值最大,通过此方法可粗略判断人眼所在线的位置。
(2)人眼精确定位
通过观察发现眼睛周围Cb值较高,而Cr值较低,因此根据以下公式计算得到特征图,以突出眼部特征:
其中,EyeMap是眼睛特征图,(Cb)2,(Cb/Cr)都归一化到[0,255]之间,是由Cr求反得到(255,Cr)。在得到EyeMap图后,设定阀值T,将EyeMap小于T的值设为0,这一步可视为一个简单的滤波以去掉非眼部特征的干扰。
得到EyeMap滤波图后,结合人眼粗定位结果,从左到右搜索,按比例定义相对于人脸区域一定大小的框,当框进EyeMap滤波图值的和最大时,即为人眼。
步骤S20,完成定位后,利用动态模板匹配的方法跟踪眼睛。动态模板匹配过程具体包括:设眼睛模板左上角的位置为(x,y),下一帧的搜索范围是原位置上沿上、下、左、右4个方向各扩展10个像素,其公式为
上式中,N是模板中像索的个数;M为模板;I为图像中待匹配的部分。可得所有大于阈值的p的最大值所对应的坐标为最匹配的位置,以此得到的眼睛图像作为下一帧图像的模板。在追踪的过程中,若得到的p均小于阈值或两眼的行距过大则重新回到眼睛的检测过程。
步骤S30,根据从视频中跟踪到眼睛的图像,测量得到上下眼睑之间的距离,即眼睑闭合幅度,眼睑闭合幅度随时间的变化即为眼睑闭合数据;根据上述得到的眼睑闭合数据得到的PERCLOS值测量结果,具体实现方式包括以下步骤:从眼睑闭合数据中获取管制员清醒状态下的上下眼睑最大距离;将眼睑闭合数据除以上下眼睑最大距离,得到眼睑闭合程度,眼睑闭合程度与时间的关系如图1所示;根据眼睑闭合程度,计算单位时间内的闭眼时间;将闭眼时间除以单位时间得到PERCLOS值测量结果。
疲劳识别基于PERCLOS的P80(或P70)模型,即将眼睑闭合程度大于80%(或70%)的眼睛状态判断为闭合状态。以初始时刻管制员清醒时的上下眼睑最大距离为标准,若以后得到的距离小于此距离的80%(或70%)则判断为闭合。PERCLOS值测量结果由眼睛开闭的范围和持续时长短所决定,其测量原理如图1所示,以一次闭眼—睁眼过程为例,t1~t4时间段为单位时间,对应眼睑闭合程度大于20%的时间段;t2~t3时间段为闭眼时间,对应眼睑闭合程度大于80%(或70%)的时间段;通过下列公式即可计算出PERCLOS值,
其中,f为眼睛闭合时间的百分比,表示在一次闭眼—睁眼过程中,f越大,眼睛接近闭合的时间越长,疲劳的可能性就越大,f值即为需要求解的PERCLOS值。实际使用该方法时,根据从视频中跟踪到眼睛的图像,测量得到上下眼睑之间的距离;根据测量得到上下眼睑之间的距离和预先获取的被测者的上下眼睑最大距离,得到眼睑闭合程度;采集多帧数据后即可得到眼睑闭合程度与帧序列号(相当于时间)对应的曲线,即用帧序列号来表示时间。
上述是通过对眼睑闭合程度-时间的曲线进行分析,采用P80(或P70)模型测量PERCLOS值,该方法能够精确地得到PERCLOS值,但前提是需要得到准确的眼睑闭合程度-时间的曲线图,这就需要对视频进行精确地分析采集。
为了简化PERCLOS值的计算过程,步骤S30的另一种实现方式为:根据从视频中跟踪到眼睛的图像,测量得到上下眼睑之间的距离;根据测量得到上下眼睑之间的距离和预先获取的被测者的上下眼睑最大距离,得到眼睑闭合程度,若眼睑闭合程度大于80%(或70%),则判定该帧图像为眼睑闭合帧;将单位时间内眼睑闭合帧数与处理的总帧数的比值作为PERCLOS值。该方法首先判断单帧图像中的眼睛是闭合还是睁开,然后统计闭眼帧数在总帧数中占的比例来判断管制员是否处于疲劳状态,该方法对视频采集的精度要求更低,处理速度更快。假设实验视频的帧率为10f·s-1,分辨率为640×480,时长60s,则以每6s视频作为1个检测单元,间隔0.33s取1帧作眼睛状态检测。统计每个检测单元内18帧图像的状态,得到眼睑闭合帧数CloseFr ame_Num和处理的总帧数SumFrame_Num,依据公式计算相应的PERCLOS值
如果所得PERCLOS值大于实验确定的阈值50%,则判断此时管制员已处于疲劳状态,通过报警系统进行警告。
由于本发明实施例中采用的BP神经网络模型的输入向量X=(x1,x2,x3)和输出向量Y=(y)的维度均较低,为避免BP神经网络模型过于复杂而影响实时计算效果,优选采用三层BP神经网络模型进行预测,具体如图2所示,BP神经网络模型包括输入层、中间层、输出层。输入层包含3个节点,分别对应单个测试样本的脉搏值、舒张压值和收缩压值。中间层包含多个节点,中间层节点数不仅与输入层和输出层的节点数有关,更与需解决的问题的复杂程度和转换函数的形式以及样本数据的特性等因素有关,本发明实施例中,在一定取值范围内通过网络训练测试得到中间层节点数的优选值为8,中间层设置8个节点,能保证网络性能、减小网络的系统误差,同时缩短网络训练时间。输出层包含1个节点,对应单个测试样本的PERCLOS值。输入层和中间层之间,以及中间层和输出层之间均采用全连接模式,即输入层的每一个节点到中间层每一个节点均用一条边相连,中间层和输出层之间也采用同样的连接方式。
如图3所示,设输入层节点分别为i1、i2、i3,中间层节点分别为h1、h2、……h8,输出层节点为o1。输入层节点到中间层节点的边权值设为wiij,1≤i≤3,1≤j≤8,中间层节点到输出层节点的边权值设为woij,1≤i≤8,j=1。
中间层的输入和输出的映射关系、输出层的输入和输出的映射关系采用S型函数,即
y'=y(1-y)
对中间层节点,其输入形式为输出形式为hok=f(hik),1≤k≤8,其中,bik为偏置值。
对输出层节点,其输入形式为输出形式为yo=f(yi),其中bo为偏置值。
本发明实施例中采用的BP神经网络模型的训练方法包括:采集管制员的脉搏值和血压值以及对应的眼睑闭合数据,根据血压值得到舒张压值和收缩压值,根据眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括脉搏值、舒张压值、收缩压值以及对应的PERCLOS值测量结果;从生成的样本中选取一个样本,将样本中的脉搏值、舒张压值和收缩压值输入BP神经网络模型,得到PERCLOS值预估结果;根据PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新BP神经网络模型的参数;若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
其中,若达到预设停止条件,则终止训练,否则重新选取样本再进行训练,包括:根据PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果得到全局误差,若全局误差小于误差阈值或训练次数达到预设的最大次数,则终止训练,否则重新选取样本再进行训练。
其中,根据PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果的误差,更新BP神经网络模型的参数,包括:计算PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果的输出误差;根据输出误差相对于中间层到输出层各边权值的偏导数,更新中间层到输出层各边权值;根据输出误差相对于输入层到中间层各边权值的偏导数,更新输入层到中间层各边权值;根据输出误差相对于输出层偏置的偏导数,更新输出层偏置;根据输出误差相对于中间层偏置的偏导数,更新中间层偏置。
下面结合具体公式,具体说明BP神经网络模型的训练方法:
步骤一:网络初始化。对所有边权值和激发函数偏置值随机初始化为一个[-1,1]区间上的数。设置学习次数n=1,即通过第1个样本来进行学习。
步骤二:给定一个样本其中,分别代表第n次学习(即第n个样本)中采用的慢α波功率百分比、α波和β波的功率比值、θ波和慢α波的功率比值,代表第n次学习中采用的PERCLOS数值。首先根据第3小节的内容计算网络理论输出yo。
步骤三:定义实际输出与网络理论输出的误差
步骤四:计算输出误差相对于中间层到输出层各边权值的偏导数
因此,
步骤五:计算输出误差相对于输入层到中间层各边权值的偏导数
因此,
步骤六:计算输出误差相对于输出层偏置的偏导数,其推导过程与步骤四中类似。此处直接给出结果
步骤七:计算输出误差相对于中间层偏置的偏导数,其推导过程与步骤五中类似。此处直接给出结果
步骤八:更新边权值以及偏置值。
步骤九:判断学习终止条件。首先计算全局误差
其中,yom代表在第m次学习中网络理论输出值,代表在第m次学习中的实际输出值。可以将yom理解为第m次学习中网络输出的PERCLOS值预估结果,而代表在第m次学习中采用的PERCLOS值测量结果,即第m个样本的PERCLOS值测量结果。如果E小于一个预设的值,或者n达到预设的最大学习次数,则终止学习,给出学习好的三层神经网络结构。否则,令n=n+1,转步骤二,开始下一次学习。
基于上述BP神经网络,本发明实施例提供了一种基于BP神经网络的管制员疲劳检测方法,如图3所示,包括:
步骤S1,采集管制员的脉搏值和血压值,根据血压值得到舒张压值和收缩压值。
步骤S2,将脉搏值、舒张压值和收缩压值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果。
步骤S3,若PERCLOS值仿真结果大于疲劳阈值,则判断管制员处于疲劳状态。
其中,疲劳阈值优选0.5。
本发明实施例提供的基于BP神经网络的管制员疲劳检测方法,在实时检测中只用通过简单经济的方式检测管制员的脉搏值和血压值,根据血压值得到血压的舒张压值和收缩压值,将脉搏值、舒张压值和收缩压值输入预先构建的BP神经网络模型就能精准地估计出管制员当前的PERCLOS值仿真结果,从而检测管制员的疲劳状态。现有技术直接通过高清摄像检测人脸面部特征,得到PERCLOS值来判断管制员的疲劳状态,为了得到较高的检测精度对检测设备的要求极高,这会大大增加检测的成本,相应的人脸面部特征算法也较为复杂,不利于实时检测。而本发明提供的方法检测的是管制员的脉搏值和血压值,相比人脸识别来说,需要的设备和使用的算法都较为简单,为实现实时疲劳检测提供了有利的支持,且降低了检测成本。
基于与上述基于BP神经网络的管制员疲劳检测方法相同的发明构思,本发明实施例提供的一种基于BP神经网络的管制员疲劳检测系统,如图4所示,包括:原始数据处理模块101,用于采集管制员的脉搏值和血压值,根据血压值得到舒张压值和收缩压值;疲劳值输出模块102,用于将脉搏值、舒张压值和收缩压值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;疲劳判断模块103,用于若PERCLOS值仿真结果大于疲劳阈值,则判断管制员处于疲劳状态。
本发明实施例提供的基于BP神经网络的管制员疲劳检测系统,在实时检测中只用通过简单经济的方式检测管制员的脉搏值和血压值,根据血压值得到血压的舒张压值和收缩压值,将脉搏值、舒张压值和收缩压值输入预先构建的BP神经网络模型就能精准地估计出管制员当前的PERCLOS值仿真结果,从而检测管制员的疲劳状态。现有技术直接通过高清摄像检测人脸面部特征,得到PERCLOS值来判断管制员的疲劳状态,为了得到较高的检测精度对检测设备的要求极高,这会大大增加检测的成本,相应的人脸面部特征算法也较为复杂,不利于实时检测。而本发明提供的方法检测的是管制员的脉搏值和血压值,相比人脸识别来说,需要的设备和使用的算法都较为简单,为实现实时疲劳检测提供了有利的支持,且降低了检测成本。
本发明实施例提供的基于BP神经网络的管制员疲劳检测系统还包括BP神经网络模型训模块,用于:建立BP神经网络模型并随机生成BP神经网络模型的参数,BP神经网络模型包括输入层、中间层、输出层;输入层包含3个节点,中间层包含多个节点,输出层包含1个节点;输入层和中间层之间,以及中间层和输出层之间均采用全连接模式;采集管制员的脉搏值、血压值以及对应的眼睑闭合数据,根据血压值得到舒张压值和收缩压值,根据眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括脉搏值、舒张压值、收缩压值以及对应的PERCLOS值测量结果;从生成的样本中选取一个样本,将样本中的脉搏值、舒张压值、收缩压值输入BP神经网络模型,得到PERCLOS值预估结果;根据PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新BP神经网络模型的参数;若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
其中,在BP神经网络模型训模块中,根据眼睑闭合数据得到的PERCLOS值测量结果,包括:从眼睑闭合数据中获取管制员清醒状态下的上下眼睑最大距离,眼睑闭合数据为眼睑闭合幅度随时间的变化,眼睑闭合幅度为上下眼睑之间的距离;将眼睑闭合数据除以上下眼睑最大距离,得到眼睑闭合程度;根据眼睑闭合程度,计算单位时间内的闭眼时间;将闭眼时间除以单位时间得到PERCLOS值测量结果。
其中,在BP神经网络模型训模块中,根据眼睑闭合程度,计算单位时间内的闭眼时间,包括:在单位时间内,眼睑闭合程度大于70%或80%的对应的时间段的总和为单位时间内的闭眼时间。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于BP神经网络的管制员疲劳检测方法,其特征在于,包括:
采集管制员的脉搏值和血压值,根据所述血压值得到舒张压值和收缩压值;
将所述脉搏值、所述舒张压值和所述收缩压值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;
若所述PERCLOS值仿真结果大于疲劳阈值,则判断所述管制员处于疲劳状态。
2.根据权利要求1所述的方法,其特征在于,所述BP神经网络模型的训练方法包括:
建立BP神经网络模型并随机生成所述BP神经网络模型的参数,所述BP神经网络模型包括输入层、中间层、输出层,所述输入层包含3个节点,所述中间层包含多个节点,所述输出层包含1个节点,所述输入层和所述中间层之间、以及所述中间层和所述输出层之间均采用全连接模式;
采集管制员的脉搏值和血压值以及对应的眼睑闭合数据,根据所述血压值得到舒张压值和收缩压值,根据所述眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括所述脉搏值、所述舒张压值、所述收缩压值以及对应的PERCLOS值测量结果;
从生成的样本中选取一个样本,将样本中的脉搏值、舒张压值和收缩压值输入所述BP神经网络模型,得到PERCLOS值预估结果;
根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数;
若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
3.根据权利要求2所述的方法,其特征在于,所述根据所述眼睑闭合数据得到的PERCLOS值测量结果,包括:
从所述眼睑闭合数据中获取所述管制员清醒状态下的上下眼睑最大距离,所述眼睑闭合数据为眼睑闭合幅度随时间的变化,所述眼睑闭合幅度为上下眼睑之间的距离;
将所述眼睑闭合数据除以所述上下眼睑最大距离,得到眼睑闭合程度;
根据所述眼睑闭合程度,计算单位时间内的闭眼时间;
将闭眼时间除以所述单位时间得到PERCLOS值测量结果。
4.根据权利要求3所述的方法,其特征在于,所述根据所述眼睑闭合程度,计算单位时间内的闭眼时间,包括:在单位时间内,眼睑闭合程度大于70%或80%的对应的时间段的总和为所述单位时间内的闭眼时间。
5.根据权利要求2所述的方法,其特征在于,若达到预设停止条件,则终止训练,否则重新选取样本再进行训练,包括:根据所述PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果得到全局误差,若所述全局误差小于误差阈值或训练次数达到预设的最大次数,则终止训练,否则重新选取样本再进行训练。
6.根据权利要求2所述的方法,其特征在于,根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数,包括:
计算所述PERCLOS值预估结果和选取的样本中的PERCLOS值测量结果的输出误差;
根据所述输出误差相对于中间层到输出层各边权值的偏导数,更新所述中间层到输出层各边权值;
根据所述输出误差相对于输入层到中间层各边权值的偏导数,更新所述输入层到中间层各边权值;
根据所述输出误差相对于输出层偏置的偏导数,更新所述输出层偏置;
根据所述输出误差相对于中间层偏置的偏导数,更新所述中间层偏置。
7.一种基于BP神经网络的管制员疲劳检测系统,其特征在于,包括:
原始数据处理模块,用于采集管制员的脉搏值和血压值,根据所述血压值得到舒张压值和收缩压值;
疲劳值输出模块,用于将所述脉搏值、所述舒张压值和所述收缩压值输入预先训练好的BP神经网络模型,得到PERCLOS值仿真结果;
疲劳判断模块,用于若所述PERCLOS值仿真结果大于疲劳阈值,则判断所述管制员处于疲劳状态。
8.根据权利要求7所述的系统,其特征在于,还包括BP神经网络模型训模块用于:
建立BP神经网络模型并随机生成所述BP神经网络模型的参数,所述BP神经网络模型包括输入层、中间层、输出层;所述输入层包含3个节点,所述中间层包含多个节点,所述输出层包含1个节点;所述输入层和所述中间层之间、以及所述中间层和所述输出层之间均采用全连接模式;
采集管制员的脉搏值、血压值以及对应的眼睑闭合数据,根据所述血压值得到舒张压值和收缩压值,根据所述眼睑闭合数据得到的PERCLOS值测量结果,并生成多个样本,每个样本包括所述脉搏值、所述舒张压值、所述收缩压值以及对应的PERCLOS值测量结果;
从生成的样本中选取一个样本,将样本中的脉搏值、舒张压值、收缩压值输入所述BP神经网络模型,得到PERCLOS值预估结果;
根据所述PERCLOS值预估结果和选取的样本的PERCLOS值测量结果的误差,更新所述BP神经网络模型的参数;
若达到预设停止条件,则终止训练,否则重新选取样本再进行训练。
9.根据权利要求8所述的系统,其特征在于,在所述BP神经网络模型训模块中,所述根据所述眼睑闭合数据得到的PERCLOS值测量结果,包括:
从所述眼睑闭合数据中获取所述管制员清醒状态下的上下眼睑最大距离,所述眼睑闭合数据为眼睑闭合幅度随时间的变化,所述眼睑闭合幅度为上下眼睑之间的距离;
将所述眼睑闭合数据除以所述上下眼睑最大距离,得到眼睑闭合程度;
根据所述眼睑闭合程度,计算单位时间内的闭眼时间;
将闭眼时间除以所述单位时间得到PERCLOS值测量结果。
10.根据权利要求9所述的系统,其特征在于,在所述BP神经网络模型训模块中,所述根据所述眼睑闭合程度,计算单位时间内的闭眼时间,包括:在单位时间内,眼睑闭合程度大于70%或80%的对应的时间段的总和为所述单位时间内的闭眼时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611118480.7A CN106599821A (zh) | 2016-12-07 | 2016-12-07 | 基于bp神经网络的管制员疲劳检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611118480.7A CN106599821A (zh) | 2016-12-07 | 2016-12-07 | 基于bp神经网络的管制员疲劳检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106599821A true CN106599821A (zh) | 2017-04-26 |
Family
ID=58597371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611118480.7A Pending CN106599821A (zh) | 2016-12-07 | 2016-12-07 | 基于bp神经网络的管制员疲劳检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106599821A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107913058A (zh) * | 2017-12-07 | 2018-04-17 | 中车大连机车车辆有限公司 | 机车司乘人员健康监视系统 |
CN110164471A (zh) * | 2019-05-06 | 2019-08-23 | 中国民用航空局空中交通管理局 | 基于空中交通管制员陆空通话语音的疲劳监测方法 |
CN111814516A (zh) * | 2019-04-11 | 2020-10-23 | 上海集森电器有限公司 | 一种驾驶员疲劳检测方法 |
CN112971749A (zh) * | 2021-03-23 | 2021-06-18 | 童心堂健康科技(北京)有限公司 | 基于人工智能的疲劳检测方法和装置 |
CN113243919A (zh) * | 2021-04-01 | 2021-08-13 | 上海工程技术大学 | 一种列车司机疲劳状态识别及监控系统 |
CN113284320A (zh) * | 2021-04-01 | 2021-08-20 | 上海工程技术大学 | 一种列车司机疲劳状态的超前预测方法及系统 |
CN114120296A (zh) * | 2021-12-03 | 2022-03-01 | 西南交通大学 | 高速铁路调度员疲劳程度定量分级方法及装置 |
CN114912829A (zh) * | 2022-06-02 | 2022-08-16 | 中国民用航空飞行学院 | 一种飞行员高原适飞的评估方法及系统 |
US11504034B2 (en) * | 2017-07-27 | 2022-11-22 | Vita-Course Digital Technologies (Tsingtao) Co., Ltd. | Systems and methods for determining blood pressure of a subject |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103839379A (zh) * | 2014-02-27 | 2014-06-04 | 长城汽车股份有限公司 | 汽车及用于其的驾驶员疲劳预警检测方法和系统 |
CN105719431A (zh) * | 2016-03-09 | 2016-06-29 | 深圳市中天安驰有限责任公司 | 一种疲劳驾驶检测系统 |
CN105769120A (zh) * | 2016-01-27 | 2016-07-20 | 深圳地平线机器人科技有限公司 | 疲劳驾驶检测方法和装置 |
-
2016
- 2016-12-07 CN CN201611118480.7A patent/CN106599821A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103839379A (zh) * | 2014-02-27 | 2014-06-04 | 长城汽车股份有限公司 | 汽车及用于其的驾驶员疲劳预警检测方法和系统 |
CN105769120A (zh) * | 2016-01-27 | 2016-07-20 | 深圳地平线机器人科技有限公司 | 疲劳驾驶检测方法和装置 |
CN105719431A (zh) * | 2016-03-09 | 2016-06-29 | 深圳市中天安驰有限责任公司 | 一种疲劳驾驶检测系统 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11504034B2 (en) * | 2017-07-27 | 2022-11-22 | Vita-Course Digital Technologies (Tsingtao) Co., Ltd. | Systems and methods for determining blood pressure of a subject |
CN107913058A (zh) * | 2017-12-07 | 2018-04-17 | 中车大连机车车辆有限公司 | 机车司乘人员健康监视系统 |
CN111814516A (zh) * | 2019-04-11 | 2020-10-23 | 上海集森电器有限公司 | 一种驾驶员疲劳检测方法 |
CN110164471A (zh) * | 2019-05-06 | 2019-08-23 | 中国民用航空局空中交通管理局 | 基于空中交通管制员陆空通话语音的疲劳监测方法 |
CN112971749A (zh) * | 2021-03-23 | 2021-06-18 | 童心堂健康科技(北京)有限公司 | 基于人工智能的疲劳检测方法和装置 |
CN112971749B (zh) * | 2021-03-23 | 2023-10-17 | 童心堂健康科技(北京)有限公司 | 基于人工智能的疲劳检测方法和装置 |
CN113243919A (zh) * | 2021-04-01 | 2021-08-13 | 上海工程技术大学 | 一种列车司机疲劳状态识别及监控系统 |
CN113284320A (zh) * | 2021-04-01 | 2021-08-20 | 上海工程技术大学 | 一种列车司机疲劳状态的超前预测方法及系统 |
CN114120296A (zh) * | 2021-12-03 | 2022-03-01 | 西南交通大学 | 高速铁路调度员疲劳程度定量分级方法及装置 |
CN114912829A (zh) * | 2022-06-02 | 2022-08-16 | 中国民用航空飞行学院 | 一种飞行员高原适飞的评估方法及系统 |
CN114912829B (zh) * | 2022-06-02 | 2023-04-07 | 中国民用航空飞行学院 | 一种飞行员高原适飞的评估方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106599821A (zh) | 基于bp神经网络的管制员疲劳检测方法及系统 | |
CN106691440A (zh) | 基于bp神经网络的管制员疲劳检测方法及系统 | |
CN102715889B (zh) | 一种脑力负荷检测方法 | |
CN108664947A (zh) | 一种基于表情识别的疲劳驾驶预警方法 | |
CN106845395A (zh) | 一种基于人脸识别进行活体检测的方法 | |
CN110197169A (zh) | 一种非接触式的学习状态监测系统及学习状态检测方法 | |
CN104123549B (zh) | 一种用于疲劳驾驶实时监测的眼睛定位方法 | |
CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
CN102567734B (zh) | 基于比值的视网膜细小血管分割方法 | |
CN111728590A (zh) | 基于动态功能连接的个体认知能力预测方法和系统 | |
CN109645989A (zh) | 一种麻醉深度估计方法及系统 | |
CN106951870A (zh) | 主动视觉注意的监控视频显著事件智能检测预警方法 | |
CN107844780A (zh) | 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置 | |
CN110020632A (zh) | 一种基于深度学习的人脸识别用于检测疲劳驾驶的方法 | |
CN106510736B (zh) | 基于多维心理状态指标的心理状态判定方法与系统 | |
CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
CN109583331A (zh) | 基于深度学习的人手腕脉口位置精准定位方法 | |
CN113470820A (zh) | 一种艾灸机器人智能控制方法 | |
CN107967941A (zh) | 一种基于智能视觉重构的无人机人体健康监控方法与系统 | |
CN112200138B (zh) | 基于计算机视觉的课堂学情分析方法 | |
CN109344763A (zh) | 一种基于卷积神经网络的斜眼检测方法 | |
Yang et al. | Emotion recognition using deep neural network with vectorized facial features | |
CN108937905A (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
CN110364260A (zh) | 基于指示性语言范式的孤独症早期评估装置及系统 | |
CN109846476A (zh) | 一种基于机器学习技术的室颤识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170426 |