CN116965781A - 一种驾驶员生命体征和驾驶行为监控方法及系统 - Google Patents

一种驾驶员生命体征和驾驶行为监控方法及系统 Download PDF

Info

Publication number
CN116965781A
CN116965781A CN202310484940.1A CN202310484940A CN116965781A CN 116965781 A CN116965781 A CN 116965781A CN 202310484940 A CN202310484940 A CN 202310484940A CN 116965781 A CN116965781 A CN 116965781A
Authority
CN
China
Prior art keywords
driving
information
driver
face
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310484940.1A
Other languages
English (en)
Other versions
CN116965781B (zh
Inventor
王燕清
杨种学
程欣雨
纽曼
舒欣雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xiaozhuang University
Original Assignee
Nanjing Xiaozhuang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xiaozhuang University filed Critical Nanjing Xiaozhuang University
Priority to CN202310484940.1A priority Critical patent/CN116965781B/zh
Publication of CN116965781A publication Critical patent/CN116965781A/zh
Application granted granted Critical
Publication of CN116965781B publication Critical patent/CN116965781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/33—Heart-related electrical modalities, e.g. electrocardiography [ECG] specially adapted for cooperation with other devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Nursing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Critical Care (AREA)
  • Emergency Management (AREA)
  • Emergency Medicine (AREA)
  • Vascular Medicine (AREA)
  • Evolutionary Computation (AREA)

Abstract

本发明公开了一种驾驶员生命体征和驾驶行为监控方法及系统，所述方法包括：根据监测的驾驶员的生命体征参数，分析驾驶员的疲劳程度，根据分析结果给出驾驶提醒，其中，所述生命体征参数包括心电、血压、体温和心率；识别驾驶员的人脸信息，获得人脸数据信息，根据人脸数据信息中的关键点获得脸部模型的特征点，将特征点的参数作为面部状态数据；提取网络预测的人体关键点信息。该驾驶员生命体征和驾驶行为监控方法及系统，通过监测驾驶员的生命体征参数，并结合识别提取的人脸关键点信息，判断驾驶员的疲劳程度以及驾驶行为，根据判断结果及时作出相应的提醒及反馈，以有效保障驾驶员的驾驶安全。

Description

一种驾驶员生命体征和驾驶行为监控方法及系统
技术领域
本发明涉及一种驾驶员生命体征和驾驶行为监控方法及系统，属于驾驶员监控系统技术领域。
背景技术
目前，DMS(Driver Monitor System)是驾驶员监控系统。其目的是防止驾驶员出现危险行为。由于计算机视觉技术的进步，DMS系统已经成为了一种完整的车载可视化方案，可以帮助驾驶员更安全地驾驶。
当前，在“完全自动驾驶”尚待验证的情况下，“人机共驾”是行业与市场的最优选择。“人机共驾”阶段更加关注驾驶员的状态监测，DMS技术是智能驾驶的重要组成部分。随着自动驾驶的发展，DMS将成为刚需。
目前市场上的检测设备性能单一，无法满足人们对健康的多方面需求。大部分设备只能测量心跳、血压、体温等，对于更深层更关键的数据则无能为力。手机app更是连数据的准确性和实时性都无法得到保证。
同时，全国汽车保有量不断提高，交通安全需求也日渐增长。由于驾驶员身体状况不佳，如身体不适、疲劳、心脏病发作、心律失常等，导致车祸发生的比例高达37％，这是一个严重的安全隐患。
可见，为保障驾驶员的驾驶安全，亟需一种驾驶员生命体征和驾驶行为监控方法及系统。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种驾驶员生命体征和驾驶行为监控方法及系统，通过监测驾驶员的生命体征参数，并结合识别提取的人脸关键点信息，判断驾驶员的疲劳程度以及驾驶行为，根据判断结果及时作出相应的提醒及反馈，以有效保障驾驶员的驾驶安全。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种驾驶员生命体征和驾驶行为监控方法，包括：
根据监测的驾驶员的生命体征参数，分析驾驶员的疲劳程度，根据分析结果给出驾驶提醒，其中，所述生命体征参数包括心电、血压、体温和心率；
识别驾驶员的人脸信息，获得人脸数据信息，根据人脸数据信息中的关键点获得脸部模型的特征点，将特征点的参数作为面部状态数据；
提取网络预测的人体关键点信息，建立颈部、肩膀和手臂对应的向量，根据信息设计条件，结合面部状态数据，判断行为动作，其中，所述信息设计条件包括角度和方向；
根据判断的行为动作，与预设的驾驶异常行为作比较，若符合驾驶异常行为，给出相应的驾驶提醒；其中，所述驾驶异常行为包括疲劳驾驶、喝水和抽烟。
进一步的，所述疲劳程度的监测分析方法，包括：
判断用户手掌是否与方向盘盘辐上用于检测的芯片相贴合，若不贴合，发出贴合提醒；
当用户手掌与芯片贴合时，采集用户的生命体征参数，将采集数据传输至用户APP，并与阈值进行比较；
当有任意一项数据超过或低于阈值时，继续判断该数据是否严重超出或低于阈值，否则，持续监测生命体征参数；
当有任意一项数据严重超出或低于阈值时，输出严重疲劳驾驶并停止行驶的语音提醒，将信息同步传送给用户、家人及交警部门，并启动自动驾驶直至结束行程，否则，输出疲劳驾驶语音提醒，并持续监测生命体征参数。
进一步的，所述行为动作的判断方法，包括：
从函数中提取网络预测的人体关键点信息，将获得的关键点信息输入Mask R-CNN网络；
使用display_keypoints()函数将关键点信息分别存储在两个列表中，使用cv2.line()函数对这些关键点坐标进行绘制，建立颈部向量左肩向量/>右肩向量左臂向量/>右臂向量/>左手向量/>右手向量/>左腿向量/>右腿向量/>左脚向量/>右脚向量/>并设定算法与阈值进行行为判断；
使用append函数将列表存储在a、b两个列表内，建立垂直参照线，将左肩与左手的坐标信息提取并计算其长度，其次计算对应向量之间的角度信息，并根据向量的角度与长度信息变化判断是否发生相应的动作。
进一步的，所述疲劳驾驶的判断方法包括：
根据MTCNN人脸检测模型定位的人脸及五官，利用PFLD算法检测人脸关键点；
根据获得的面部关键点信息，计算单位时间内眨眼次数和哈欠次数，其中，所述眨眼次数通过眼部的开合度和持续时间比例计算，所述哈欠次数采用外轮廓疲劳门槛的平均值进行统计；
根据面部信息计算结果，判断在一定时间内的眨眼次数是否低于阈值或哈欠次数是否超过阈值，若符合，则输出疲劳驾驶警报，将信息同步传送给用户、家人及交警部门，并启动自动驾驶直至结束行程，否则，持续监测面部关键点信息。
进一步的，所述疲劳驾驶的判断方法还包括：
根据监测的驾驶员面部信息和生命体征信息计算疲劳值，判断疲劳值与所设阈值大小；
当疲劳值异常时，输出疲劳异常警报，将信息同步传送给用户、家人及交警部门，并启动自动驾驶直至结束行程，否则，持续监测面部信息和生命体征信息。
进一步的，所述喝水通过抬头和手部动作进行判断，其中所述抬头的判定方法为：当num_face小于1时，若并且/>与/>都小于1/2时，判定为抬头；
若大于1/2，则判定为向左抬头；
若大于1/2，则判定为向右抬头；
所述抬手动作检测方法包括：当网络检测到水杯存在，且人体坐标时，若/>大于1/2，并且维持5帧以上，则判定为左手举杯喝水。当/>时，若/>大于1/2，并且维持5帧以上，则判定为右手举杯喝水。其中公式中x、y表示手部的与颈部的关键点坐标提取结果，通过计算手部终点到颈部线段的垂直距离，若该距离小于四分之一的肩部总长，并且保持3s以上，则判定为喝水行为。
进一步的，当人脸信息采集不到时，提取出双肩与颈部的关键点坐标，建立对应向量，计算出双肩与颈部线段的长度，若颈部长度大于双肩之和的三分之二并且颈部向量与双肩的角度都大于70度，即可判定为抬头。若颈部与左肩的角度小于60度，则判定为向左方向抬头。若颈部与右肩的角度小于60度时，则判定为向右方向抬头。
进一步的，所述抽烟动作检测方法，包括：
当网络检测到香烟存在，香烟位置与头部线段AA’垂直距离L与脸部水平长度之比小于1/2，且维持5帧以上，则判定为抽烟行为；
其中，当网络检测到香烟位置与左手点位D的直线距离L1小于左手线段CD，人体坐标时，若/>大于1/2，并且维持5帧以上，判定为左手抽烟行为；
当香烟位置与右手点位D’的直线距离L2小于右手线段C’D’，时，若/>大于1/2，并且维持5帧以上，则判定为右手抽烟行为。
第二方面，本发明提供了一种驾驶员生命体征和驾驶行为监控系统，包括：
生命体征监测模块：用于根据监测的驾驶员的生命体征参数，分析驾驶员的疲劳程度，根据分析结果给出驾驶提醒，其中，所述生命体征参数包括心电、血压、体温和心率；
人脸检测模块：用于识别驾驶员的人脸信息，获得人脸数据信息，根据人脸数据信息中的关键点获得脸部模型的特征点，将特征点的参数作为面部状态数据；
驾驶行为分析模块：用于提取网络预测的人体关键点信息，建立颈部、肩膀和手臂对应的向量，根据信息设计条件，结合面部状态数据，判断行为动作，其中，所述信息设计条件包括角度和方向；
驾驶异常行为预警模块：用于根据判断的行为动作，与预设的驾驶异常行为作比较，若符合驾驶异常行为，给出相应的驾驶提醒；其中，所述驾驶异常行为包括疲劳驾驶、喝水和抽烟。
与现有技术相比，本发明所达到的有益效果：
本发明提供的驾驶员生命体征和驾驶行为监控方法及系统，通过监测驾驶员的生命体征参数，并结合识别提取的人脸关键点信息，判断驾驶员的疲劳程度以及驾驶行为，根据判断结果及时作出相应的提醒及反馈，以有效保障驾驶员的驾驶安全。
附图说明
图1是实施例一提供的驾驶员生命体征和驾驶行为监控方法的流程图；
图2是图1中疲劳程度监测分析流程图；
图3是图1中行为判断流程图；
图4是融合识别流程图；
图5是人脸106个关键点的示意图；
图6是人脸眼部区域关键点分布的示意图；
图7是人脸嘴部区域的关键点分布的示意图；
图8是人体关键点信息图；
图9是函数波形绘制流程图；
图10是嘴部关键点示意图；
图11是EAR值计算示意图；
图12是人体关键点信息图；
图13是驾驶员动作识别Mask R-CNN网络框架的示意图；
图14是检测驾驶员面部信息的示意图；
图15是检测驾驶员进入车内的示意图；
图16是检测驾驶员离开车的示意图；
图17是检测打哈欠的示意图；
图18是检测连续眨眼的示意图；
图19是检测说话的示意图；
图20是检测喝水的示意图；
图21是检测抽烟的示意图；
图22是检测3秒未看道路情况的示意图；
图23驾驶员生命体征和驾驶行为监控系统的示意图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符"/"，一般表示前后关联对象是一种“或”的关系。
实施例一：
图1是本发明实施例一中的一种驾驶员生命体征和驾驶行为监控方法的流程图。本实施例提供的驾驶员生命体征和驾驶行为监控方法可应用于终端，可以由驾驶员生命体征和驾驶行为监控系统来执行，该装置可以由软件和/或硬件的方式实现，该系统可以集成在终端中，例如：任一具备通信功能的智能手机，平板电脑或计算机设备。参见图1，本实施的方法具体包括如下步骤：
步骤A:根据监测的驾驶员的生命体征参数，分析驾驶员的疲劳程度，根据分析结果给出驾驶提醒，其中，所述生命体征参数包括心电、血压、体温和心率；
步骤B:识别驾驶员的人脸信息，获得人脸数据信息，根据人脸数据信息中的关键点获得脸部模型的特征点，将特征点的参数作为面部状态数据；
步骤C:提取网络预测的人体关键点信息，建立颈部、肩膀和手臂对应的向量，根据信息设计条件，结合面部状态数据，判断行为动作，其中，所述信息设计条件包括角度和方向；
步骤D:根据判断的行为动作，与预设的驾驶异常行为作比较，若符合驾驶异常行为，给出相应的驾驶提醒；其中，所述驾驶异常行为包括疲劳驾驶、喝水和抽烟。
步骤Aa:如图2所示，所述疲劳程度的监测分析方法，包括：
判断用户手掌是否与方向盘盘辐上用于检测的芯片相贴合，若不贴合，发出贴合提醒；
当用户手掌与芯片贴合时，采集用户的生命体征参数，将采集数据传输至用户APP，并与阈值进行比较；
当有任意一项数据超过或低于阈值时，继续判断该数据是否严重超出或低于阈值，否则，持续监测生命体征参数；
当有任意一项数据严重超出或低于阈值时，输出严重疲劳驾驶并停止行驶的语音提醒，将信息同步传送给用户、家人及交警部门，并启动自动驾驶直至结束行程，否则，输出疲劳驾驶语音提醒，并持续监测生命体征参数。
步骤Ca:所述行为动作的判断方法，包括：
从display_keypoints()函数中提取网络预测的人体关键点信息，将获得的关键点信息输入Mask R-CNN网络；
使用display_keypoints()函数将关键点信息分别存储在两个列表中，使用cv2.line()函数对这些关键点坐标进行绘制，建立颈部向量左肩向量/>右肩向量左臂向量/>右臂向量/>左手向量/>右手向量/>左腿向量/>右腿向量/>左脚向量/>右脚向量/>并设定算法与阈值进行行为判断；
使用append函数将列表存储在a、b两个列表内，建立垂直参照线，将左肩与左手的坐标信息提取并计算其长度，其次计算对应向量之间的角度信息，并根据向量的角度与长度信息变化判断是否发生相应的动作。
步骤Da:所述疲劳驾驶的判断方法包括：
根据MTCNN人脸检测模型定位的人脸及五官，利用PFLD算法检测人脸关键点；
根据获得的面部关键点信息，计算单位时间内眨眼次数和哈欠次数，其中，所述眨眼次数通过眼部的开合度和持续时间比例计算，所述哈欠次数采用外轮廓疲劳门槛的平均值进行统计；
根据面部信息计算结果，判断在一定时间内的眨眼次数是否低于阈值或哈欠次数是否超过阈值，若符合，则输出疲劳驾驶警报，将信息同步传送给用户、家人及交警部门，并启动自动驾驶直至结束行程，否则，持续监测面部关键点信息；
具体而言，利用dlib库检测人脸的关键点，运用OpenCV对视频进行灰度处理，检测出嘴巴的位置，通过计算嘴部的横纵比得出EAR值，将EAR值与所设置的阈值进行对比；
当面部识别中的EAR值大于阈值，并维持在5帧以上，即可判定为打哈欠，接着当EAR值小于阈值后，判定结束，打哈欠的次数增加；
连续眨眼为三次眨眼的时间间隔，当小于阈值时，判断为连续眨眼。
步骤Db:如图4所示，所述疲劳驾驶的判断方法还包括：
根据监测的驾驶员面部信息和生命体征信息计算疲劳值，判断疲劳值与所设阈值大小；
当疲劳值异常时，输出疲劳异常警报，将信息同步传送给用户、家人及交警部门，并启动自动驾驶直至结束行程，否则，持续监测面部信息和生命体征信息。
步骤Dc:所述喝水通过抬头和手部动作进行判断，其中所述抬头的判定方法为：当脸部特征点的数量个数num_face小于1时，若并且/>与都小于1/2时，判定为抬头；
若大于1/2，则判定为向左抬头；
若大于1/2，则判定为向右抬头；
所述抬手动作检测方法包括：当网络检测到水杯存在，且人体坐标时，若/>大于1/2，并且维持5帧以上，则判定为左手举杯喝水。当/>时，若/>大于1/2，并且维持5帧以上，则判定为右手举杯喝水。其中公式中x、y表示手部的与颈部的关键点坐标提取结果，通过计算手部终点到颈部线段的垂直距离，若该距离小于四分之一的肩部总长，并且保持3s以上，则判定为喝水行为。
步骤Dd:当人脸信息采集不到时，提取出双肩与颈部的关键点坐标，建立对应向量，计算出双肩与颈部线段的长度，若颈部长度大于双肩之和的三分之二并且颈部向量与双肩的角度都大于70度，即可判定为抬头。若颈部与左肩的角度小于60度，则判定为向左方向抬头。若颈部与右肩的角度小于60度时，则判定为向右方向抬头。
步骤De:所述抽烟动作检测方法，包括：
当网络检测到香烟存在，香烟位置与头部线段AA’垂直距离L与脸部水平长度之比小于1/2，且维持5帧以上，则判定为抽烟行为；
其中，当网络检测到香烟位置与左手点位D的直线距离L1小于左手线段CD，人体坐标时，若/>大于1/2，并且维持5帧以上，判定为左手抽烟行为；
当香烟位置与右手点位D’的直线距离L2小于右手线段C’D’，时，若/>大于1/2，并且维持5帧以上，则判定为右手抽烟行为。
本方法主要由两部分组成：监测生命体征和监测驾驶行为。其中，监测驾驶行为主要由人脸识别和行为识别来完成。利用MTCNN人脸检测模型，可以即时获得摄像机头中的驾驶员人脸数据信息，并利用PFLD算法对其中的关键点进行检测，从而获得脸部模型的特征点，并基于这些特征点的参数，对疲劳程度进行准确的判断。利用LSTM网络模型，我们可以从人体11组关键点和储存的关节点运动数据中提取出有用的信息，并结合面部特征，从而实现对驾驶者行为的准确识别。监测血压、心率、血氧等生命体征主要采用基于LSTM的PPG和ECG融合算法。
驾驶疲劳状态检测流程如图3所示，采用MTCNN人脸检测模型，可以即时获得摄像机头中驾车员工的人脸图片，并采用具有较高效率和准确率的PFLD算法开展重点测试，从而获得脸部特征点，如嘴部和眼部，并测算出在规定时段内眨眼和打哈欠的频次，以此来判定司机的疲惫状态。
MTCNN是一种具有深度学习思想的特定目标检测器，它将级联和由粗到精的思想结合起来，在传统硬件上实现的检测效果十分出色，尤其是在人脸检测任务中，它的检测水准更是出众，而且还有很大的优化空间。
人脸关键点检测在实际应用中面对着许多风险：1)人脸表情改变繁杂，真实环境光线变化大，而且大部分人脸部分被遮蔽；2)人脸是3D的，位姿改变繁多，而且摄影器材和周围环境会影响图像品质；3)训练数据的各类别出现不平衡，在运算有限的机器(如手机)终端上，需要充分考虑运算速率和模型规格的情况。
为了使对于提高脸部测量的准确性，PFLD算法是一种有效的人脸关键点检测方法，它有助于在繁杂情况中保证较高的精度。
首先，我们利用PFLD算法来检查驾驶员的面部特征。这种方法会对驾驶员的轮廓、眉毛、眼睛、鼻尖和嘴部做出检测。在本系统中，我们一般采用嘴部和眼部的重点来加以检测。
通过使用PFLD算法，我们可以获取眼部的关键信息，包括眼部的开合度和持续时间比例。这些信息可以用来评估眼部疲劳状况。为了提高算法的准确性，我们采用了结合左右眼的方法来测量眼球长宽比(eye aspect ration，EAR)：
其中，x66、x70、x75、x79为第66个、第70个、第75个、第79个关键点的横坐标，y67、y68、y71、y72、y73、y76、y77、y78、y80、y81、y82为第67个、第68个、第69个、第71个、第72个、第73个、第76个、第77个、第78个、第80个、第81个、第82个关键点的纵坐标。
在获取驾驶员的眼睛长宽比后，将计算打哈欠次数。
人的嘴部状况可以分成紧闭、讲话和打哈欠3种，而当处于疲劳状况时，人们会不断地打哈欠。为了更好地了解人脸嘴部的疲劳特征，我们可以从图中提取出关键点，如图7所示。
通过嘴部的开度，我们可以设置一个阈值点来判断它是不是处在打哈欠阶段。当嘴部开度达到规定程度时，阈值会持续下降，并且会延续一段时间.为了确定哈欠状况，我们可以采用外轮廓疲倦门槛MAR1和内轮廓疲劳门槛MAR2的平均值MAR来进行统计，以此来估算单位时间内哈欠的次数。
驾驶危险动作包括打电话、吸烟、玩手机、喝水等。行为识别模块是在tensorflow中实现使用多特征心电信号融合的LSTM(LongShort-Term Memory，长短期记忆网络)结构的循环神经网络的。先提取网络预测的人体关键点信息，在理想状态下将得到如图8所示的11组关键点信息。根据其中的角度、方向等信息设计条件，结合面部信息进行动作的判定。由于驾驶员一般只在进入驾驶室和离开时会有较大的全身动作，所以只识别颈部、肩膀、手臂几个动作就基本完成了该系统所需的行为动作识别。
LSTM神经网络模式是一个独特RNN模式，它具有进入门、遗忘门和输出门三个独特的门结构，可以有效地处理和预测序列数据，并且能够根据上一步的信息做出更加精准的决策，而且具有更强的泛化能力，因此可以有效地解决长时间记忆问题。
摄像头安装在方向盘上，它能够捕获身体的主要关节点活动信息，并将其存储在计算机视角下，以便更准确地识别身体运动轨迹。与传统的人体姿态识别相比，基于动作捕获技术的人体姿态识别更加精准，能够很好地捕获动作细部，而且不受物体颜色或遮挡的限制。
在方向盘一个盘辐安装感应芯片装置，驾驶者可以按照需要将其手掌贴合，从而获取体温、心率、血压、心电等信息，并将这些信息即时呈现在方位盘液晶显示屏上，同时，这些信息还可以透过线路与充电后盖相连接，最后，通过蓝牙设备将这些体征信息传输到移动APP中。
采用融合PPG光电+ECG心电测量技术和体温测量技术的人体体征信号采集技术，可以实时监测驾驶员的生命体征，并结合监测数据进行分析，及时采取有效的应对措施，从而保障驾驶员的安全。
由于ECG标志在驾驶过程中或许会丧失，这或许会导致性命体征参数的严重偏差。因此，为了尽可能准确地复原真实信号，必须对损失的信息加以补全，以确保安全驾驶。本文采用基于LSTM的PPG和ECG融合算法很好地解决了以上问题。首先，从ECG和PPG数据中提取信息，然后对数据进行归一化，生成LSTM输入时间序列。接下来，通过建模练习和存储，制作出损失函数波形，如图9所示，使用相同的频谱和持续时间，ECG和PPG数据结果被规范化为0-1区间，并将其转换为时间顺序，以便开展培训，使用一定值均差函数和Adam优化器来提高建模的准确性和可靠性。由于使用LSTM预测技术，我们能够对原始数据加以校准，从而测算出HRV信号在不同时间段内的时域和频率参数变化情况。
使用BP算法实现人脸目标识别时，人脸识别的精度较高，但当训练集进行更新时，网络权重需要重新训练，由于网络中的参数较多，所以每次更新都需要花费大量的时间，且每次训练时网络的收敛速度较慢，这些都是需要进一步优化的地方。系统在实际使用时会出现中途添加司机信息的情况，这时若重新训练网络，则会占用大量的时间。这一点虽然在测试时没有体现，但若放在实际使用会十分影响用户的使用体验。
其具体实现技术路线为：
首先利用dlib库检测到人脸68个关键点，运用OpenCV对视频进行灰度处理，检测出嘴巴的位置，之后通过计算嘴部的横纵比得出EAR值，将EAR值与所设置的阈值进行对比，判断相应的嘴部动作是否发生。
将人脸经过dlib库处理后会得到64个人脸的关键点信息，为实现嘴部动作的识别，本文将嘴部信息单独提出，如图10所示。
如图11所示，嘴部动作可以利用49、51、53、57、59、55这六个点的坐标信息计算嘴部的闭合程度。经过闭合度计算并根据EAR值设定相应的阈值，从而实现对人脸嘴部动作的判别。
动作识别主要从函数中提取网络预测的人体关键点信息，若是理想状态，将得到{AA’、AB、AB’、BC、BC’、CD、CD’、EF、EF’、FG、FG’}11组关键点信息(如图12所示)，然后分别建立颈部向量左肩向量/>右肩向量/>左臂向量/>右臂向量/>左手向量右手向量/>左腿向量/>右腿向量/>左脚向量/>右脚向量/>根据其中的角度、方向等信息设计条件，并结合面部信息进行动作的判定。由于驾驶员除了进入驾驶室和离开时会有较大全身动作，其余动作为颈部、肩膀、手臂的几个动作基本完成了所需行为动作识别。
将图12放入Mask R-CNN网络后(如图13)，使用display_keypoints()函数将11组关键点信息分别存储在两个列表中，使用cv2.line()函数这些关键点坐标进行绘制，之后建立相关向量，并设定算法与阈值进行行为判断，下面结合代码简要介绍举手动作的实现方式：
a.append([Joint_start[:2][0],Joint_start[:2][1]])
A’A＝[100,100,100,10]
BB’＝[a[1][0],a[1][1],b[1][0],b[1][1]]
#左肩坐标信息右肩同理
FF’＝[a[5][0],a[5][1],b[5][0],b[5][1]]
#左手坐标信息右手同理。
neck_length＝length(a’a[0],a’a[1],a’a[2],a’a[3])
left_length＝length(BB’[0],BB’[1],BB’[2],BB’[3])
#左肩长度右肩同理
首先使用append函数将列表存储在a、b两个列表内，建立垂直参照线，将左肩与左手的坐标信息提取并计算其长度。其次计算对应向量之间的角度信息，并根据角度与长度信息变化判断是否发生。
识别驾驶员身份信息，姓名、性别、年龄以及面部信息特征的提取。如图14识别出驾驶员的姓名、性别、并通过预测年龄约25-32岁。
实现方法：通过人脸识别，提取面部特征，通过关键点之间的距离、角度等特征，输入模型中，在数据库中对比找到相应信息并通过眼睛长宽比和嘴巴长宽比表示睁眼状态、闭眼状态，通过嘴巴实时长宽比，得到其张口、闭口的状态……通过状态变化频率,分析眼睛是否疲劳或者是否在打哈欠、是否在讲话等行为。
“离开”行为与“进入”行为实现方法：当人体关键点的数量个数num_point与脸部特征点的数量个数num_face都小于1，并维持超过3帧，判定为离开，记录离开时间。当num_point大于5并且num_face大于1时，若与/>的值均小于1/2，即判定为回来，记录归来时间并进行离开次数的增加。当人体关键点的个数小于等于1，并且检测不到人脸时，维持超过3帧，判定为离开，并记录离开时间。当检测到人脸并且人体关键点个数大于5时，利用两肩的坐标建立向量，如果两肩的角度与水平方向在30度以内，即判定为回来，记录归来时间并进行次数的增加。(离开时间、归来时间、间隔时间只会出现2s的时间)。
为了节省空间，当驾驶员离开1秒后，不再进行身份识别、行为预测，故图16中没有左上角的数据报告。
“疲劳驾驶”系列行为实现方法：其中打哈欠为当面部识别中的EAR值大于阈值，并维持在5帧以上，即可判定为打哈欠，接着当EAR值小于阈值后，判定结束，打哈欠的次数增加。
实现代码：
if mar>MAR_THRESH:
Mouth_counter+＝1
else:
if mCOUNTER>＝Mouth_Count_Frames:
Mounth_total+＝1
Mouth_counter＝0
#嘴部参数更新
if yawning＝＝1:
result_frame＝cv2ImgAddText(result_frame,"打哈欠！",10,240)
yawning＝0
#判断行为是否发生并更新参数
与张嘴时间超过某一个阈值一样，连续眨眼为三次眨眼的时间间隔，当小于阈值时，判断为连续眨眼。
“驾驶分神”系列行为实现方法：检测说话的方法与连续眨眼一致，连续三次张嘴的时间在一定时间段内，则判断为说话状态，同时设置短时间内无法再次进入说话状态。
喝水通过抬头和手部动作进行判断，其中抬头的判定方法为：当num_face小于1时，若并且/>与/>都小于1/2时，判定为抬头。若/> 大于1/2，则判定为向左抬头。若/> 大于1/2，则判定为向右抬头。当人脸信息采集不到时，提取出双肩与颈部的关键点坐标，建立对应向量，计算出双肩与颈部线段的长度，若颈部长度大于双肩之和的三分之二并且颈部向量与双肩的角度都大于70度，即可判定为抬头。若颈部与左肩的角度小于60度，则判定为向左方向抬头。若颈部与右肩的角度小于60度时，则判定为向右方向抬头。
其中抬手动作检测方法为：当网络检测到水杯存在、人体坐标时，若/>大于1/2，并且维持5帧以上，则判定为左手举杯喝水。当/>时，若/>大于1/2，并且维持5帧以上，则判定为右手举杯喝水。其中公式中x、y表示手部的与颈部的关键点坐标提取结果，通过计算手部终点到颈部线段的垂直距离，若该距离小于四分之一的肩部总长，并且保持3s以上，则判定为喝水行为。
其中抽烟动作检测方法为：当网络检测到香烟存在，香烟位置与头部线段AA’垂直距离L与脸部水平长度之比小于1/2，且维持5帧以上，则判定为抽烟行为，当网络检测到香烟位置与左手点位D的直线距离L1小于左手线段CD，人体坐标时，若/>大于1/2，并且维持5帧以上，判定为左手抽烟行为。当香烟位置与右手点位D’的直线距离L2小于右手线段C’D’，/>时，若/>大于1/2，并且维持5帧以上，则判定为右手抽烟行为。
目前我们也通过使用物品识别的方式来提高行为识别的正确率，但其对算力的要求也更高，对实时识别和实时提醒有更高的要求和挑战。
最后，关于三秒未观察道路的行为是在颈部向量过低、过高、偏左、偏右时进行计时，若在短时间内，判断为观看驾驶室内的后视镜或车侧的后视镜，则计时清零。但长时间不恢复坐姿会被判断为走神，进行累加，当短时间内多次走神(包括未观察道路、讲话、抽烟、喝水)会使提示文字变为红色，进行驾驶提醒。
综上所述，本实施例提供的驾驶员生命体征和驾驶行为监控方法，通过监测驾驶员的生命体征参数，并结合识别提取的人脸关键点信息，判断驾驶员的疲劳程度以及驾驶行为，根据判断结果及时作出相应的提醒及反馈，以有效保障驾驶员的驾驶安全。
实施例二：
驾驶员生命体征和驾驶行为监控系统，包括：
生命体征监测模块：用于根据监测的驾驶员的生命体征参数，分析驾驶员的疲劳程度，根据分析结果给出驾驶提醒，其中，所述生命体征参数包括心电、血压、体温和心率；
人脸检测模块：用于识别驾驶员的人脸信息，获得人脸数据信息，根据人脸数据信息中的关键点获得脸部模型的特征点，将特征点的参数作为面部状态数据；
驾驶行为分析模块：用于提取网络预测的人体关键点信息，建立颈部、肩膀和手臂对应的向量，根据信息设计条件，结合面部状态数据，判断行为动作，其中，所述信息设计条件包括角度和方向；
驾驶异常行为预警模块：用于根据判断的行为动作，与预设的驾驶异常行为作比较，若符合驾驶异常行为，给出相应的驾驶提醒；其中，所述驾驶异常行为包括疲劳驾驶、喝水和抽烟。
本发明实施例所提供的驾驶员生命体征和驾驶行为监控系统可执行本发明任意实施例所提供的驾驶员生命体征和驾驶行为监控方法，具备执行方法相应的功能模块和有益效果。
实施例三：
本发明实施例还提供了一种计算机设备，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
根据监测的驾驶员的生命体征参数，分析驾驶员的疲劳程度，根据分析结果给出驾驶提醒，其中，所述生命体征参数包括心电、血压、体温和心率；
识别驾驶员的人脸信息，获得人脸数据信息，根据人脸数据信息中的关键点获得脸部模型的特征点，将特征点的参数作为面部状态数据；
提取网络预测的人体关键点信息，建立颈部、肩膀和手臂对应的向量，根据信息设计条件，结合面部状态数据，判断行为动作，其中，所述信息设计条件包括角度和方向；
根据判断的行为动作，与预设的驾驶异常行为作比较，若符合驾驶异常行为，给出相应的驾驶提醒；其中，所述驾驶异常行为包括疲劳驾驶、喝水和抽烟。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
根据监测的驾驶员的生命体征参数，分析驾驶员的疲劳程度，根据分析结果给出驾驶提醒，其中，所述生命体征参数包括心电、血压、体温和心率；
识别驾驶员的人脸信息，获得人脸数据信息，根据人脸数据信息中的关键点获得脸部模型的特征点，将特征点的参数作为面部状态数据；
提取网络预测的人体关键点信息，建立颈部、肩膀和手臂对应的向量，根据信息设计条件，结合面部状态数据，判断行为动作，其中，所述信息设计条件包括角度和方向；
根据判断的行为动作，与预设的驾驶异常行为作比较，若符合驾驶异常行为，给出相应的驾驶提醒；其中，所述驾驶异常行为包括疲劳驾驶、喝水和抽烟。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种驾驶员生命体征和驾驶行为监控方法，其特征是，包括：
根据监测的驾驶员的生命体征参数，分析驾驶员的疲劳程度，根据分析结果给出驾驶提醒，其中，所述生命体征参数包括心电、血压、体温和心率；
识别驾驶员的人脸信息，获得人脸数据信息，根据人脸数据信息中的关键点获得脸部模型的特征点，将特征点的参数作为面部状态数据；
提取网络预测的人体关键点信息，建立颈部、肩膀和手臂对应的向量，根据信息设计条件，结合面部状态数据，判断行为动作，其中，所述信息设计条件包括角度和方向；
根据判断的行为动作，与预设的驾驶异常行为作比较，若符合驾驶异常行为，给出相应的驾驶提醒；其中，所述驾驶异常行为包括疲劳驾驶、喝水和抽烟。
2.根据权利要求1所述的驾驶员生命体征和驾驶行为监控方法，其特征是，所述疲劳程度的监测分析方法，包括：
判断用户手掌是否与方向盘盘辐上用于检测的芯片相贴合，若不贴合，发出贴合提醒；
当用户手掌与芯片贴合时，采集用户的生命体征参数，将采集数据传输至用户APP，并与阈值进行比较；
当有任意一项数据超过或低于阈值时，继续判断该数据是否严重超出或低于阈值，否则，持续监测生命体征参数；
当有任意一项数据严重超出或低于阈值时，输出严重疲劳驾驶并停止行驶的语音提醒，将信息同步传送给用户、家人及交警部门，并启动自动驾驶直至结束行程，否则，输出疲劳驾驶语音提醒，并持续监测生命体征参数。
3.根据权利要求1所述的驾驶员生命体征和驾驶行为监控方法，其特征是，所述行为动作的判断方法，包括：
从函数中提取网络预测的人体关键点信息，将获得的关键点信息输入Mask R-CNN网络；
使用display_keypoints()函数将关键点信息分别存储在两个列表中，使用cv2.line()函数对这些关键点坐标进行绘制，建立颈部向量左肩向量/>右肩向量/>左臂向量/>右臂向量/>左手向量/>右手向量/>左腿向量/>右腿向量/>左脚向量/>右脚向量/>并设定算法与阈值进行行为判断；
使用append函数将列表存储在a、b两个列表内，建立垂直参照线，将左肩与左手的坐标信息提取并计算其长度，其次计算对应向量之间的角度信息，并根据向量的角度与长度信息变化判断是否发生相应的动作。
4.根据权利要求1所述的驾驶员生命体征和驾驶行为监控方法，其特征是，所述疲劳驾驶的判断方法包括：
根据MTCNN人脸检测模型定位的人脸及五官，利用PFLD算法检测人脸关键点；
根据获得的面部关键点信息，计算单位时间内眨眼次数和哈欠次数，其中，所述眨眼次数通过眼部的开合度和持续时间比例计算，所述哈欠次数采用外轮廓疲劳门槛的平均值进行统计；
根据面部信息计算结果，判断在一定时间内的眨眼次数是否低于阈值或哈欠次数是否超过阈值，若符合，则输出疲劳驾驶警报，将信息同步传送给用户、家人及交警部门，并启动自动驾驶直至结束行程，否则，持续监测面部关键点信息。
5.根据权利要求4所述的驾驶员生命体征和驾驶行为监控方法，其特征是，所述疲劳驾驶的判断方法还包括：
根据监测的驾驶员面部信息和生命体征信息计算疲劳值，判断疲劳值与所设阈值大小；
当疲劳值异常时，输出疲劳异常警报，将信息同步传送给用户、家人及交警部门，并启动自动驾驶直至结束行程，否则，持续监测面部信息和生命体征信息。
6.根据权利要求1所述的驾驶员生命体征和驾驶行为监控方法，其特征是，所述喝水通过抬头和手部动作进行判断，其中所述抬头的判定方法为：当num_face小于1时，若并且/>与/>都小于1/2时，判定为抬头；
若 大于1/2，则判定为向左抬头；
若 大于1/2，则判定为向右抬头；
所述抬手动作检测方法包括：当网络检测到水杯存在，且人体坐标时，若/>大于1/2，并且维持5帧以上，则判定为左手举杯喝水。当/>时，若/>大于1/2，并且维持5帧以上，则判定为右手举杯喝水。其中公式中x、y表示手部的与颈部的关键点坐标提取结果，通过计算手部终点到颈部线段的垂直距离，若该距离小于四分之一的肩部总长，并且保持3s以上，则判定为喝水行为。
7.根据权利要求6所述的驾驶员生命体征和驾驶行为监控方法，其特征是，当人脸信息采集不到时，提取出双肩与颈部的关键点坐标，建立对应向量，计算出双肩与颈部线段的长度，若颈部长度大于双肩之和的三分之二并且颈部向量与双肩的角度都大于70度，即可判定为抬头。若颈部与左肩的角度小于60度，则判定为向左方向抬头。若颈部与右肩的角度小于60度时，则判定为向右方向抬头。
8.根据权利要求1所述的驾驶员生命体征和驾驶行为监控方法，其特征是，所述抽烟动作检测方法，包括：
当网络检测到香烟存在，香烟位置与头部线段AA’垂直距离L与脸部水平长度之比小于1/2，且维持5帧以上，则判定为抽烟行为；
其中，当网络检测到香烟位置与左手点位D的直线距离L1小于左手线段CD，人体坐标时，若/>大于1/2，并且维持5帧以上，判定为左手抽烟行为；
当香烟位置与右手点位D’的直线距离L2小于右手线段C’D’，时，若/>大于1/2，并且维持5帧以上，则判定为右手抽烟行为。
9.一种驾驶员生命体征和驾驶行为监控系统，其特征在于，包括：
生命体征监测模块：用于根据监测的驾驶员的生命体征参数，分析驾驶员的疲劳程度，根据分析结果给出驾驶提醒，其中，所述生命体征参数包括心电、血压、体温和心率；
人脸检测模块：用于识别驾驶员的人脸信息，获得人脸数据信息，根据人脸数据信息中的关键点获得脸部模型的特征点，将特征点的参数作为面部状态数据；
驾驶行为分析模块：用于提取网络预测的人体关键点信息，建立颈部、肩膀和手臂对应的向量，根据信息设计条件，结合面部状态数据，判断行为动作，其中，所述信息设计条件包括角度和方向；
驾驶异常行为预警模块：用于根据判断的行为动作，与预设的驾驶异常行为作比较，若符合驾驶异常行为，给出相应的驾驶提醒；其中，所述驾驶异常行为包括疲劳驾驶、喝水和抽烟。
10.根据权利要求1所述的驾驶员生命体征和驾驶行为监控装置，其特征是，所述生命体征监测模块的监测分析方法，包括：
判断用户手掌是否与方向盘盘辐上用于检测的芯片相贴合，若不贴合，发出贴合提醒；
当用户手掌与芯片贴合时，采集用户的生命体征参数，将采集数据传输至用户APP，并与阈值进行比较；
当有任意一项数据超过或低于阈值时，继续判断该数据是否严重超出或低于阈值，否则，持续监测生命体征参数；
当有任意一项数据严重超出或低于阈值时，输出严重疲劳驾驶并停止行驶的语音提醒，将信息同步传送给用户、家人及交警部门，并启动自动驾驶直至结束行程，否则，输出疲劳驾驶语音提醒，并持续监测生命体征参数。
CN202310484940.1A 2023-04-28 2023-04-28 一种驾驶员生命体征和驾驶行为监控方法及系统 Active CN116965781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310484940.1A CN116965781B (zh) 2023-04-28 2023-04-28 一种驾驶员生命体征和驾驶行为监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310484940.1A CN116965781B (zh) 2023-04-28 2023-04-28 一种驾驶员生命体征和驾驶行为监控方法及系统

Publications (2)

Publication Number Publication Date
CN116965781A true CN116965781A (zh) 2023-10-31
CN116965781B CN116965781B (zh) 2024-01-05

Family

ID=88477415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310484940.1A Active CN116965781B (zh) 2023-04-28 2023-04-28 一种驾驶员生命体征和驾驶行为监控方法及系统

Country Status (1)

Country Link
CN (1) CN116965781B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408847A (zh) * 2023-12-15 2024-01-16 环球数科集团有限公司 基于5g核心网的校务智慧管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130009761A1 (en) * 2011-07-05 2013-01-10 Saudi Arabian Oil Company Systems, Computer Medium and Computer-Implemented Methods for Monitoring Health and Ergonomic Status of Drivers of Vehicles
CN109540546A (zh) * 2018-12-05 2019-03-29 交通运输部公路科学研究所 一种不安全驾驶行为监控装置的测试系统及测试方法
CN109543651A (zh) * 2018-12-06 2019-03-29 长安大学 一种驾驶员危险驾驶行为检测方法
CN109987036A (zh) * 2017-12-29 2019-07-09 周秦娜 一种基于驾驶员身体姿态提高交互准确度的控制方法
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法
CN111666818A (zh) * 2020-05-09 2020-09-15 大连理工大学 一种驾驶员异常姿态检测方法
CN114764912A (zh) * 2020-12-30 2022-07-19 中兴通讯股份有限公司 驾驶行为识别方法、设备和存储介质
US20230001930A1 (en) * 2021-07-01 2023-01-05 Harman International Industries, Incorporated Method and system for driver posture monitoring
CN115589572A (zh) * 2022-09-28 2023-01-10 珠海市魅族科技有限公司 驾驶员坐姿检测方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130009761A1 (en) * 2011-07-05 2013-01-10 Saudi Arabian Oil Company Systems, Computer Medium and Computer-Implemented Methods for Monitoring Health and Ergonomic Status of Drivers of Vehicles
CN109987036A (zh) * 2017-12-29 2019-07-09 周秦娜 一种基于驾驶员身体姿态提高交互准确度的控制方法
CN109540546A (zh) * 2018-12-05 2019-03-29 交通运输部公路科学研究所 一种不安全驾驶行为监控装置的测试系统及测试方法
CN109543651A (zh) * 2018-12-06 2019-03-29 长安大学 一种驾驶员危险驾驶行为检测方法
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法
CN111666818A (zh) * 2020-05-09 2020-09-15 大连理工大学 一种驾驶员异常姿态检测方法
CN114764912A (zh) * 2020-12-30 2022-07-19 中兴通讯股份有限公司 驾驶行为识别方法、设备和存储介质
US20230001930A1 (en) * 2021-07-01 2023-01-05 Harman International Industries, Incorporated Method and system for driver posture monitoring
CN115589572A (zh) * 2022-09-28 2023-01-10 珠海市魅族科技有限公司 驾驶员坐姿检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马艳丽, 驾驶员驾驶特性与道路交通安全对策研究, pages 57 - 90 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408847A (zh) * 2023-12-15 2024-01-16 环球数科集团有限公司 基于5g核心网的校务智慧管理系统
CN117408847B (zh) * 2023-12-15 2024-04-02 环球数科集团有限公司 基于5g核心网的校务智慧管理系统

Also Published As

Publication number Publication date
CN116965781B (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
Ji et al. Fatigue state detection based on multi-index fusion and state recognition network
Wang et al. Driver fatigue detection: a survey
Li et al. Modeling of driver behavior in real world scenarios using multiple noninvasive sensors
CN111166357A (zh) 多传感器融合的疲劳监测装置系统及其监测方法
CN113033503A (zh) 一种多特征融合的危险驾驶行为检测方法及系统
CN112434611B (zh) 基于眼部运动细微特征的早期疲劳检测方法及系统
CN109460703B (zh) 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
CN116965781B (zh) 一种驾驶员生命体征和驾驶行为监控方法及系统
CN109977930A (zh) 疲劳驾驶检测方法及装置
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN109543577A (zh) 一种基于面部表情特征的疲劳驾驶检测预警方法
Huang et al. P-FDCN based eye state analysis for fatigue detection
Alam et al. Real-time distraction detection based on driver's visual features
CN113989788A (zh) 一种基于深度学习和多指标融合的疲劳检测方法
CN112949345A (zh) 疲劳监测方法及系统、行车记录仪和智能座舱
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
CN114220158A (zh) 基于深度学习的疲劳驾驶检测方法
CN113887386A (zh) 基于深度学习和机器学习的多特征融合的疲劳检测方法
CN112528767A (zh) 基于机器视觉的施工机械操作员疲劳作业检测系统及方法
CN114998874A (zh) 一种基于深度学习的驾驶员异常行为检测方法
CN114792437A (zh) 一种基于面部特征的安全驾驶行为分析的方法及系统
CN114492656A (zh) 一种基于计算机视觉和传感器的疲劳度监测系统
Berri et al. A 3D vision system for detecting use of mobile phones while driving
CN113239729B (zh) 一种基于数据融合的疲劳驾驶识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant