CN117392643A - 一种驾驶员疲劳程度的评价方法、装置、介质和电子设备 - Google Patents
一种驾驶员疲劳程度的评价方法、装置、介质和电子设备 Download PDFInfo
- Publication number
- CN117392643A CN117392643A CN202311253130.1A CN202311253130A CN117392643A CN 117392643 A CN117392643 A CN 117392643A CN 202311253130 A CN202311253130 A CN 202311253130A CN 117392643 A CN117392643 A CN 117392643A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- type
- value
- driver
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000008921 facial expression Effects 0.000 claims description 69
- 230000036387 respiratory rate Effects 0.000 claims description 32
- 230000001815 facial effect Effects 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 10
- 206010039203 Road traffic accident Diseases 0.000 abstract description 6
- 206010016256 fatigue Diseases 0.000 description 241
- 238000012549 training Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 230000029058 respiratory gaseous exchange Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 229910052760 oxygen Inorganic materials 0.000 description 4
- 239000001301 oxygen Substances 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000035565 breathing frequency Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008288 physiological mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Veterinary Medicine (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Databases & Information Systems (AREA)
- Cardiology (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请提供了一种驾驶员疲劳程度的评价方法、装置、介质和电子设备。本申请在驾驶员行车过程中,实时对驾驶员进行多种疲劳类型的检测,至少通过每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,然后,通过多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值。避免在复杂的驾驶环境中,单一的生理参数值会受到多种因素的干扰,从而导致对驾驶员疲劳程度的评价结果不够准确,不能及时提醒驾驶员避免疲劳驾驶。从而导致驾驶员失去对车辆的控制,容易导致交通事故。通过综合评估,提高了评价的实时性、准确性和可靠性。
Description
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种驾驶员疲劳程度的评价方法、装置、介质和电子设备。
背景技术
驾驶员在跑长途时,容易产生疲劳,存在极大安全隐患。
但是驾驶员往往在疲劳状态而不自知,强打精神进行驾驶,导致驾驶员疏忽大意,失去对车辆的控制,从而容易导致交通事故。
因此,本申请提供了一种驾驶员疲劳程度的评价方法,以解决上述技术问题。
发明内容
本申请的目的在于提供一种驾驶员疲劳程度的评价方法、装置、介质和电子设备,能够解决上述提到的至少一个技术问题。具体方案如下:
根据本申请的具体实施方式,第一方面,本申请提供一种驾驶员疲劳程度的评价方法,包括:
获取驾驶员的多种疲劳类型各自的当前参数平均值;
至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值;
基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值。
可选的,所述多种疲劳类型包括多种生理类型和/或面部表情类型。
可选的,所述至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,包括以下公式:
其中,Vi表示生理类型i的当前疲劳程度值,Qi表示生理类型i的预设权重值,Ci表示生理类型i的当前生理参数平均值,Ri表示生理类型i的预设日常生理参数平均值。
可选的,所述基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,包括以下公式:
Vf=Qf×(1+Gf×10%)×100;
其中,Vf表示面部表情类型的当前疲劳程度值,Qf表示面部表情类型的预设权重值,Gf表示面部表情类型的当前面部疲劳参数平均值。
可选的,所述基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值,包括:
基于所述多种疲劳类型的当前疲劳程度值之和,获得所述驾驶员的综合疲劳程度值。
可选的,所述多种生理类型包括心率类型和/或呼吸频率类型。
可选的,所述方法还包括:
当所述综合疲劳程度值大于预设疲劳阈值时,提示所述驾驶员处于疲劳驾驶状态。
根据本申请的具体实施方式,第二方面,本申请提供一种驾驶员疲劳程度的评价装置,包括:
获取单元,用于获取驾驶员的多种疲劳类型各自的当前参数平均值;
确定单元,用于至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值;
获得单元,用于基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值。
可选的,所述多种疲劳类型包括多种生理类型和/或面部表情类型。
可选的,所述至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,包括以下公式:
其中,Vi表示生理类型i的当前疲劳程度值,Qi表示生理类型i的预设权重值,Ci表示生理类型i的当前生理参数平均值,Ri表示生理类型i的预设日常生理参数平均值。
可选的,所述基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,包括以下公式:
Vf=Qf×(1+Gf×10%)×100;
其中,Vf表示面部表情类型的当前疲劳程度值,Qf表示面部表情类型的预设权重值,Gf表示面部表情类型的当前面部疲劳参数平均值。
可选的,所述基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值,包括:
基于所述多种疲劳类型的当前疲劳程度值之和,获得所述驾驶员的综合疲劳程度值。
可选的,所述多种生理类型包括心率类型和/或呼吸频率类型。
可选的,所述装置还包括:
提示单元,用于当所述综合疲劳程度值大于预设疲劳阈值时,提示所述驾驶员处于疲劳驾驶状态。
根据本申请的具体实施方式,第三方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上任一项所述驾驶员疲劳程度的评价方法。
根据本申请的具体实施方式,第四方面,本申请提供一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上任一项所述驾驶员疲劳程度的评价方法。
本申请实施例的上述方案与现有技术相比,至少具有以下有益效果:
本申请提供了一种驾驶员疲劳程度的评价方法、装置、介质和电子设备。本申请在驾驶员行车过程中,实时对驾驶员进行多种疲劳类型的检测,至少通过每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,然后,通过多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值。避免在复杂的驾驶环境中,单一的生理参数值会受到多种因素的干扰,从而导致对驾驶员疲劳程度的评价结果不够准确,不能及时提醒驾驶员避免疲劳驾驶。从而导致驾驶员失去对车辆的控制,容易导致交通事故。通过综合评估,提高了评价的实时性、准确性和可靠性。进而及时提醒驾驶员当前的身体状态,减少驾驶员疲劳驾驶,保证了驾驶员能够处于良好的驾驶状态下行车,保证了驾驶安全,降低了事故风险,提高了驾驶员的驾驶体验。
附图说明
图1示出了根据本申请实施例的驾驶员疲劳程度的评价方法的流程图;
图2示出了根据本申请实施例的驾驶员疲劳程度的评价装置的单元框图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本申请实施例中可能采用术语第一、第二、第三等来描述,但这些描述不应限于这些术语。这些术语仅用来将描述区分开。例如,在不脱离本申请实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
特别需要说明的是,在说明书中存在的符号和/或数字,如果在附图说明中未被标记的,均不是附图标记。
下面结合附图详细说明本申请的可选实施例。
在评估驾驶员疲劳状态时,通常检测驾驶员单一的生理参数值(比如心率)来衡量驾驶员在驾驶过程中是否处于疲劳状态。但是,在复杂的驾驶环境中,单一的生理参数值会受到多种因素的干扰,从而导致对驾驶员疲劳程度的评价结果不够准确,不能及时提醒驾驶员避免疲劳驾驶。从而导致驾驶员失去对车辆的控制,容易导致交通事故。
为此,本申请提供的实施例,即一种驾驶员疲劳程度的评价方法的实施例,以解决上述技术问题。
下面结合图1对本申请实施例进行详细说明。
步骤S101,获取驾驶员的多种疲劳类型各自的当前参数平均值。
本申请实施例为评价驾驶员的疲劳程度,提供了多种疲劳类型的参数值,通过多种疲劳类型的参数值对驾驶员的疲劳程度进行评价。
在本申请实施例中,获取每种疲劳类型各自的当前参数平均值,通过每种疲劳类型的当前参数平均值降低偶发因素对各个疲劳类型的参数值的影响。
当前参数平均值,是指在当前时间段内采集的属于同一疲劳类型的多个参数值的平均值,其中,所述当前时间段是指当前时间点前预设时长的时间段。
在一些具体实施例中,所述多种疲劳类型包括多种生理类型和/或面部表情类型。
生理类型,是指与生物机体的生命活动和各个器官的机能相关的类型。
面部表情类型,是指驾驶员面部表情的类型。
驾驶员的面部表情类型的判断,采用卷积神经网络(英文全称ConvolutionalNeural Network,简称CNN)的深度学习算法,构建面部表情识别模型。将面部表情识别模型提前部署到车辆的数据处理器中,数据处理器基于摄像头实时采集的驾驶员的面部图像输入面部表情识别模型中,面部表情识别模型对驾驶员的面部图像进行面部疲劳参数值的划分,输出面部疲劳参数值。
例如,面部疲劳参数值包括:0(表示不疲劳)、1(表示轻度疲劳)、2(表示中度疲劳)和3(表示严重疲劳)。
面部表情识别模型采用以下的训练过程:
1、数据收集:首先,需要收集大量人类面部疲劳表情的图像数据集,以便训练面部表情识别模型能够识别面部疲劳的表情;
2、数据预处理:在使用图像数据训练面部表情识别模型之前,需要对其进行预处理。这包括调整图像的大小和色彩空间,以及标准化像素值。还会进行数据增强操作,如旋转、翻转、剪切等,增加数据集的多样性,提高模型的泛化能力;
3、数据划分:将数据集分为训练集、验证集和测试集。训练集用于训练面部表情识别模型,验证集用于调整面部表情识别模型的超参数,测试集用于评估面部表情识别模型的性能。训练面部表情识别模型涉及的超参数包括:
31、卷积层参数:卷积层是面部表情识别模型的核心组件,通过一组具有学习能力的过滤器来提取图像中的特征。卷积层的参数包括:卷积核大小、卷积核数量、卷积步幅和填充方式,卷积层的参数能够影响卷积层的感受野(即卷积神经网络每一层输出的特征图(feature map)上的像素点映射回输入图像上的区域大小,也就是特征图上一点,相对于原图的大小,也是卷积神经网络特征所能看到输入图像的区域。)和输出特征图的大小,从而影响模型的性能;
32、池化层参数:池化层能够降低特征图的空间大小,从而减少模型参数和计算复杂度,池化层的参数包括池化核大小和步幅;
33、全连接层参数:全连接层能够将特征图转换为向量,并输出最终的预测结果,全连接层的参数包括输出维度和激活函数;
34、激活函数参数:激活函数能够引入非线性特征,增加模型的表达能力,激活函数包括ReLU函数、sigmoid函数和tanh函数;
35、损失函数参数:损失函数用于衡量面部表情识别模型输出与真实标签之间的差距,损失函数包括交叉熵损失和均方误差损失。
36、优化器参数:优化器用于更新面部表情识别模型的参数,以最小化损失函数,优化器包括梯度下降优化器和Adam优化器。
37、在训练面部表情识别模型时,使用一些技术(比如dropout、正则化和批量归一化)来优化模型的性能,这些技术被认为是面部表情识别模型的超参数进行调整以达到最佳性能。
4.模型训练:使用训练集数据来训练面部表情识别模型;训练的目标是使面部表情识别模型能够准确地识别人类面部疲劳表情;训练过程中需要指定损失函数和优化器,比如,采用交叉熵损失函数和Adam优化器,以及设置训练轮数、学习率、批量大小等超参数;使用验证集来监控模型的训练过程,防止出现过拟合现象:
41、训练轮数,是指采用训练集对面部表情识别模型的训练次数;训练轮数越多,面部表情识别模型的精度越高,但同时训练时间也会增加,过多的训练轮数可能会导致过拟合;通过验证集能够确定合适的训练轮数。
42、学习率:是指每次参数更新时的步长,决定了模型在训练过程中的收敛速度;学习率过大易导致震荡和不稳定,学习率过小易导致收敛过慢或者收敛到局部最优解,通过面部表情识别模型的表现能够确定合适的学习率;
43、批量大小:是指每次训练时使用的样本数量,批量大小影响面部表情识别模型的收敛速度和稳定性,较大的批量大小能够提高模型的收敛速度和计算效率,但会导致模型过拟合;而较小的批量大小能够减小模型过拟合的风险,但训练时间较长;通过试验能够确定合适的批量大小;
5、模型评估:使用测试集数据对面部表情识别模型进行评估;评估指标包括分类准确率、召回率和精度;如果评估结果不理想,则调整并重新训练面部表情识别模型;例如,在实验车内,对面部表情识别模型进行测试,判断面部表情识别模型识别的是否准确,从而判断面部表情识别模型的可行性;
6、部署:面部表情识别模型经过充分的测试并且能够达到预期的性能后,可以将其部署到生产环境中,也就是部署到车辆的数据处理器中;在此过程中,需要考虑模型的性能、准确性和可扩展性,以及如何处理未知的危险品。通过定期远程将更新的面部表情识别模型推送到数据处理器中,进行面部表情识别模型的升级。
由于驾驶员个体存在差异,会对驾驶员在驾驶过程中多个时间点的面部表情分别进行图像采样,通过面部表情识别模型获得驾驶员的面部疲劳参数值。
面部表情类型的当前参数平均值,是指在当前时间段内采集的属于面部表情类型的多个面部疲劳参数值的平均值。
本具体实施例不仅提供了多种生理类型的生理参数值作为评价驾驶员疲劳程度的依据,还提供了面部表情类型的参数值作为评价驾驶员疲劳程度的辅助依据。以便降低驾驶环境对单一生理参数值的影响,提高评价的准确性。
在一些具体实施例中,所述多种生理类型包括心率类型和/或呼吸频率类型。
心率类型的生理参数值包括驾驶员的心率值。
心率值,是指每分钟心脏跳动的次数。在疲劳状态下,通常会出现心率上升的情况。疲劳可能导致身体需要更多的氧气和能量来维持正常的功能,因此心脏会更快地跳动,以满足这种需求。
当驾驶员处于疲劳状态时,心率值通常会增加以帮助身体提供更多的氧气和能量以满足身体的需求。正常心率值为60-100次/分钟,但当驾驶员处于疲劳状态时,心率值会高达100次以上/分钟。如果超过正常心率值,则确定心率值异常,存在疲劳风险。
采用光学传感器或心率传感器能够检测驾驶员的心率值。
光学传感器通过可见光(比如红光或蓝光)来检测驾驶员的心率。当用户的心脏跳动时,血液会在身体中流动,从而在皮肤上产生细小的波动。光学传感器会使用光学传感器来检测这些波动,并计算出用户的心率;
心率传感器设置在驾驶员的手腕上,通过测量皮肤的电信号感知皮肤下的血管信号,根据这些血管信号来计算出用户的心率。
所述心率类型的当前参数平均值,是指在当前时间段内采集的属于心率类型的多个心率值的平均值。
呼吸频率类型的生理参数值包括驾驶员的呼吸频率值。
呼吸频率值,是指每分钟的呼吸次数。呼吸频率值也会在疲劳状态下增加,因为身体需要更多的氧气来支持疲劳时的代谢需求。
当驾驶员处于疲劳状态时,呼吸频率会增加,以提供更多的氧气和能量以满足身体的需求。正常呼吸频率值为12-18次/分钟,但当驾驶员处于疲劳状态时,呼吸频率值会高达20次以上/分钟。如果超过正常呼吸频率值,则确定呼吸频率值异常,存在疲劳风险。
采用电阻式呼吸传感器和电容式呼吸传感器采集驾驶员的呼吸频率值。
电阻式呼吸传感器基于皮肤电阻的变化来检测呼吸。当呼吸时,肺部会扩张和收缩,改变皮肤电阻值。电阻式呼吸传感器采用两个电极,当呼吸时,一个电极放置在额头或其他敏感区域,另一个电极放置在胸前或腹部。通过测量皮肤电阻值的变化计算出呼吸频率。
电容式呼吸传感器基于电容变化来检测呼吸。当呼吸时,肺部会扩张和收缩,改变胸腔和腹腔之间的电容值。电容式呼吸传感器采用一个电极放置在胸腔,另一个电极放置在腹腔,通过测量电容值的变化计算出呼吸频率。
所述呼吸频率类型的当前参数平均值,是指在当前时间段内采集的属于呼吸频率类型的多个呼吸频率值的平均值。
本具体实施例提供了心率类型的生理参数值和/或呼吸频率类型的生理参数值作为评价驾驶员疲劳程度的依据,以便降低驾驶环境对单一生理参数值的影响,提高评价的准确性。
步骤S102,至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值。
在本申请实施例中,将多种疲劳类型作为一个整体分配权重值,例如,多种疲劳类型的预设权重值的和值为100%。而对于不同的疲劳类型,根据每种疲劳类型在评价中的重要性划分各自的预设权重值,以便能够准确地去评估驾驶员疲劳程度。
在医学中,心率值和呼吸频率值均是作为判断人疲劳的指标,但心率值相比呼吸频率值更容易评估疲劳状态。
心率值和呼吸频率值都是反映身体状况的重要生理指标,但它们受到不同的生理机制的影响。心率值通常更敏感地反映出身体的应激和负荷,因为心脏的收缩受到自主神经系统的直接控制。当身体感到疲劳或应激时,心率值往往会迅速增加,而呼吸频率值可能不会有快速的变化。心率值的变化通常比呼吸频率值更快反映出身体的状况变化。这使得心率值成为一种更敏感的指标,用于监测疲劳或应激状态的变化。
面部表情类型的面部疲劳参数值在其量化程度上不如心率值和呼吸频率值的精确程度高,因此在本算法中作为辅助判断手段,其权重占比最低。
因此,在多种疲劳类型各自的预设权重值占比分配上,心率值是最灵敏,且可量化的判断疲劳状态的指标,心率类型的预设权重值占比最高;呼吸频率值可量化程度其次,呼吸频率类型的预设权重值占比其次;面部表情类型的预设权重值最低。例如,心率类型的预设权重值为50%,呼吸频率类型的预设权重值为35%,面部表情类型的预设权重值为15%。
在一些具体实施例中,所述至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,包括以下公式:
其中,Vi表示生理类型i的当前疲劳程度值,Qi表示生理类型i的预设权重值,Ci表示生理类型i的当前生理参数平均值,Ri表示生理类型i的预设日常生理参数平均值。
当前参数平均值包括当前生理参数平均值。
预设日常生理参数平均值,是在驾驶员处于正常身体状态时在预设时长的时间段内采集的生理参数的平均值。本具体实施例以预设日常生理参数平均值作为计算当前疲劳程度值的基准值。
例如,i表示心率类型,如果Qi表示心率类型的预设权重值为50%,Ci表示心率类型的当前生理参数平均值为110次/分钟,Ri表示心率类型的预设日常生理参数平均值为100次/分钟,则Vi表示心率类型的当前疲劳程度值为55;如果Qi表示心率类型的预设权重值为50%,Ci表示心率类型的当前生理参数平均值为90次/分钟,Ri表示心率类型的预设日常生理参数平均值为100次/分钟,则Vi表示心率类型的当前疲劳程度值为45。
例如,i表示呼吸频率类型,如果Qi表示呼吸频率类型的预设权重值为35%,Ci表示呼吸频率类型的当前生理参数平均值为22次/分钟,Ri表示呼吸频率类型的预设日常生理参数平均值为20次/分钟,则Vi表示呼吸频率类型的当前疲劳程度值为38.5;如果Qi表示心率类型的预设权重值为50%,Ci表示心率类型的当前生理参数平均值为18次/分钟,Ri表示心率类型的预设日常生理参数平均值为20次/分钟,则Di表示心率类型的当前疲劳程度值为31.5。
在一些具体实施例中,所述基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,包括以下公式:
Vf=Qf×(1+Gf×10%)×100;
其中,Vf表示面部表情类型的当前疲劳程度值,Qf表示面部表情类型的预设权重值,Gf表示面部表情类型的当前面部疲劳参数平均值。
当前参数平均值包括当前面部疲劳参数平均值。
例如,面部疲劳参数值包括:0(表示不疲劳)、1(表示轻度疲劳)、2(表示中度疲劳)和3(表示严重疲劳);如果Qf表示面部表情类型的15%,Gf表示面部表情类型的当前面部疲劳参数平均值为1,则Vf表示面部表情类型的当前疲劳程度值为16.5;如果Qf表示面部表情类型的15%,Gf表示面部表情类型的当前面部疲劳参数平均值为3,则Vf表示面部表情类型的当前疲劳程度值为19.5。
步骤S103,基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值。
本申请实施例根据多种疲劳类型各自的当前疲劳程度值对驾驶员的疲劳程度进行综合评估,从而提高了评价的实时性、准确性和可靠性。
在一些具体实施例中,所述基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值,包括:
步骤S103a,基于所述多种疲劳类型的当前疲劳程度值之和,获得所述驾驶员的综合疲劳程度值。
例如,如果多种疲劳类型包括:心率类型、呼吸频率类型和面部表情类型,则获得所述驾驶员的综合疲劳程度值包括以下公式:
V=V1+V2+Vf;
其中,V表示所述驾驶员的综合疲劳程度值,V1表示心率类型的当前疲劳程度值,V2表示呼吸频率类型的当前疲劳程度值,Vf表示面部表情类型的当前疲劳程度值。
本具体实施例通过多种疲劳类型各自的当前疲劳程度值对驾驶员的疲劳程度进行综合评估,从而提高了评价的准确性和可靠性。
在一些具体实施例中,所述方法还包括以下步骤:
步骤S104,当所述综合疲劳程度值大于预设疲劳阈值时,提示所述驾驶员处于疲劳驾驶状态。
本具体实施例在驾驶员驾车途中,实时对驾驶员进行采样(每3秒采样一次)并评价。如果综合疲劳程度值超过预设疲劳阈值(比如100),则证明驾驶员存在疲劳驾驶的危险性。通过扬声器和车载屏幕提醒驾驶员已经处于疲劳驾驶状态,从而保证驾驶员的行车安全。
本申请实施例在驾驶员行车过程中,实时对驾驶员进行多种疲劳类型的检测,至少通过每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,然后,通过多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值。避免在复杂的驾驶环境中,单一的生理参数值会受到多种因素的干扰,从而导致对驾驶员疲劳程度的评价结果不够准确,不能及时提醒驾驶员避免疲劳驾驶。从而导致驾驶员失去对车辆的控制,容易导致交通事故。通过综合评估,提高了评价的实时性、准确性和可靠性。进而及时提醒驾驶员当前的身体状态,减少驾驶员疲劳驾驶,保证了驾驶员能够处于良好的驾驶状态下行车,保证了驾驶安全,降低了事故风险,提高了驾驶员的驾驶体验。
本申请还提供了承接上述实施例的装置实施例,用于实现如上实施例所述的方法步骤,基于相同的名称含义的解释与如上实施例相同,具有与如上实施例相同的技术效果,此处不再赘述。
如图2所示,本申请提供一种驾驶员疲劳程度的评价装置200,包括:
获取单元201,用于获取驾驶员的多种疲劳类型各自的当前参数平均值;
确定单元202,用于至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值;
获得单元203,用于基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值。
可选的,所述多种疲劳类型包括多种生理类型和/或面部表情类型。
可选的,所述至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,包括以下公式:
其中,Vi表示生理类型i的当前疲劳程度值,Qi表示生理类型i的预设权重值,Ci表示生理类型i的当前生理参数平均值,Ri表示生理类型i的预设日常生理参数平均值。
可选的,所述基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,包括以下公式:
Vf=Qf×(1+Gf×10%)×100;
其中,Vf表示面部表情类型的当前疲劳程度值,Qf表示面部表情类型的预设权重值,Gf表示面部表情类型的当前面部疲劳参数平均值。
可选的,所述基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值,包括:
基于所述多种疲劳类型的当前疲劳程度值之和,获得所述驾驶员的综合疲劳程度值。
可选的,所述多种生理类型包括心率类型和/或呼吸频率类型。
可选的,所述装置还包括:
提示单元,用于当所述综合疲劳程度值大于预设疲劳阈值时,提示所述驾驶员处于疲劳驾驶状态。
本申请实施例在驾驶员行车过程中,实时对驾驶员进行多种疲劳类型的检测,至少通过每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,然后,通过多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值。避免在复杂的驾驶环境中,单一的生理参数值会受到多种因素的干扰,从而导致对驾驶员疲劳程度的评价结果不够准确,不能及时提醒驾驶员避免疲劳驾驶。从而导致驾驶员失去对车辆的控制,容易导致交通事故。通过综合评估,提高了评价的实时性、准确性和可靠性。进而及时提醒驾驶员当前的身体状态,减少驾驶员疲劳驾驶,保证了驾驶员能够处于良好的驾驶状态下行车,保证了驾驶安全,降低了事故风险,提高了驾驶员的驾驶体验。
本实施例提供一种电子设备,所述电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上实施例所述的方法步骤。
本申请实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行如上实施例所述的方法步骤。
最后应说明的是:本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述比较简单,相关之处参见方法部分说明即可。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种驾驶员疲劳程度的评价方法,其特征在于,包括:
获取驾驶员的多种疲劳类型各自的当前参数平均值;
至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值;
基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值。
2.根据权利要求1所述的方法,其特征在于,所述多种疲劳类型包括多种生理类型和/或面部表情类型。
3.根据权利要求2所述的方法,其特征在于,所述至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,包括以下公式:
其中,Vi表示生理类型i的当前疲劳程度值,Qi表示生理类型i的预设权重值,Ci表示生理类型i的当前生理参数平均值,Ri表示生理类型i的预设日常生理参数平均值。
4.根据权利要求2所述的方法,其特征在于,所述基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值,包括以下公式:
Vf=Qf×(1+Gf×10%)×100;
其中,Vf表示面部表情类型的当前疲劳程度值,Qf表示面部表情类型的预设权重值,Gf表示面部表情类型的当前面部疲劳参数平均值。
5.根据权利要求1所述的方法,其特征在于,所述基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值,包括:
基于所述多种疲劳类型的当前疲劳程度值之和,获得所述驾驶员的综合疲劳程度值。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述多种生理类型包括心率类型和/或呼吸频率类型。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述综合疲劳程度值大于预设疲劳阈值时,提示所述驾驶员处于疲劳驾驶状态。
8.一种驾驶员疲劳程度的评价装置,其特征在于,包括:
获取单元,用于获取驾驶员的多种疲劳类型各自的当前参数平均值;
确定单元,用于至少基于每种疲劳类型的当前参数平均值和对应疲劳类型的预设权重值,确定对应疲劳类型的当前疲劳程度值;
获得单元,用于基于所述多种疲劳类型各自的当前疲劳程度值获得所述驾驶员的综合疲劳程度值。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311253130.1A CN117392643A (zh) | 2023-09-26 | 2023-09-26 | 一种驾驶员疲劳程度的评价方法、装置、介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311253130.1A CN117392643A (zh) | 2023-09-26 | 2023-09-26 | 一种驾驶员疲劳程度的评价方法、装置、介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117392643A true CN117392643A (zh) | 2024-01-12 |
Family
ID=89438194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311253130.1A Pending CN117392643A (zh) | 2023-09-26 | 2023-09-26 | 一种驾驶员疲劳程度的评价方法、装置、介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117392643A (zh) |
-
2023
- 2023-09-26 CN CN202311253130.1A patent/CN117392643A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10234936B2 (en) | Smart wearable devices and methods with attention level and workload sensing | |
JP2020536623A (ja) | モバイルデバイスを用いたユーザの健康の連続的監視 | |
CN106999065A (zh) | 使用加速度测量术的可穿戴疼痛监测器 | |
IT201900005868A1 (it) | Procedimento di elaborazione di un segnale elettrofisiologico, sistema, prodotto informatico e veicolo corrispondenti | |
US10877444B1 (en) | System and method for biofeedback including relevance assessment | |
JP2022523631A (ja) | 心拍数測定システム | |
KR102528032B1 (ko) | 비행 전 조종사의 피로도 체크 방법 및 피로도 체크 시스템 | |
JP2019531227A (ja) | 運転者の快適レベルを決定するための制御装置、システム及び方法 | |
CN111358453B (zh) | 一种血压分类预测方法和装置 | |
US20220165393A1 (en) | System for the detection and management of mental, emotional, and behavioral disorders | |
CN115024725A (zh) | 融合心理状态多参数检测的肿瘤治疗辅助决策系统 | |
CN114901128A (zh) | 心律失常性心跳弹性睡眠呼吸暂停检测 | |
Premalatha et al. | Design and implementation of intelligent patient in-house monitoring system based on efficient XGBoost-CNN approach | |
WO2022232992A1 (en) | System and method for determining risk of stroke for person | |
CN116570283A (zh) | 一种围手术期患者情绪监测系统及方法 | |
CN117392643A (zh) | 一种驾驶员疲劳程度的评价方法、装置、介质和电子设备 | |
Murugan et al. | Analysis of different measures to detect driver states: A review | |
KR102434393B1 (ko) | 인공지능을 이용한 환자의 쇼크 발생 예측 방법, 장치 및 컴퓨터프로그램 | |
JP7403166B2 (ja) | 睡眠時無呼吸症候群判定装置、睡眠時無呼吸症候群判定装置の動作方法、及び、睡眠時無呼吸症候群判定プログラム | |
JP2023025436A (ja) | 学習済みモデルの生成方法、教師データの生成装置、学習モデルの生成装置、および疾病発症リスクの予測装置 | |
CN110974222A (zh) | 一种基于听觉诱发信号进行麻醉深度监测的装置 | |
Li et al. | Assessment of firefighter-training effectiveness in China based on human-factor parameters and machine learning | |
US11779282B2 (en) | Method for determining degree of response to physical activity | |
Nagahanumaiah | Multi-modal Human Fatigue Classification using Wearable Sensors for Human-Robot Teams | |
Ahmad et al. | Monitoring and prediction of exhaustion threshold during aerobic exercise based on physiological system using artificial neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |