CN114987500A - 驾驶员状态监控方法、终端设备及存储介质 - Google Patents

驾驶员状态监控方法、终端设备及存储介质 Download PDF

Info

Publication number
CN114987500A
CN114987500A CN202210611293.1A CN202210611293A CN114987500A CN 114987500 A CN114987500 A CN 114987500A CN 202210611293 A CN202210611293 A CN 202210611293A CN 114987500 A CN114987500 A CN 114987500A
Authority
CN
China
Prior art keywords
driver
driving state
abnormal
state
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210611293.1A
Other languages
English (en)
Inventor
郑勇
谢彬彬
陈祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hangsheng Electronic Co Ltd
Original Assignee
Shenzhen Hangsheng Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hangsheng Electronic Co Ltd filed Critical Shenzhen Hangsheng Electronic Co Ltd
Priority to CN202210611293.1A priority Critical patent/CN114987500A/zh
Publication of CN114987500A publication Critical patent/CN114987500A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种驾驶员状态监控方法、终端设备及存储介质，属于安全驾驶技术领域。其驾驶员状态监控方法包括：在车辆驾驶时，获取驾驶员的人脸图像；从所述人脸图像中提取所述驾驶员的人像数据特征；根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。本发明通过对驾驶员的驾驶状态进行实时监控，实现了在所述驾驶员的驾驶状态不佳的情况下，及时提醒引导所述驾驶员恢复到正常驾驶状态，全面的提升驾驶安全及驾乘体验。

Description

驾驶员状态监控方法、终端设备及存储介质
技术领域
本发明涉及安全驾驶技术领域，尤其涉及驾驶员状态监控方法、终端设备及存储介质。
背景技术
车辆的逐步普及，给人们的生活带来便捷，但同时，越来越多的交通事故也随之发生，安全驾驶问题已成为目前驾驶员以及社会考虑的重要问题。
随着科学技术的不断进步，驾驶辅助系统也取得了发展。然而，普通的驾驶功能已经无法满足人们的驾驶体验以及驾驶安全需求，当前驾驶辅助系统需要驾驶员配合完成，比如，当驾驶员感觉到身体不适时，驾驶员只能通过自己感知身体状态，控制自身驾驶行为，无法通过外部辅助及时地提供可靠、安全的辅助驾驶服务，只能驾驶员通过手动设置车载设备，辅助驾驶。
因此，如何在驾驶员身体状况不佳的情况下，更加及时、方便的提升驾驶的安全性以及驾乘的体验感，是首要解决的问题。
发明内容
本申请的主要目的在于提供一种驾驶员状态监控方法、终端设备及存储介质，旨在解决在驾驶员身体状况不佳的情况下，更加及时、方便的提升驾驶的安全性以及驾乘的体验感。
为实现上述目的，本申请提供一种驾驶员状态监控方法，所述驾驶员状态监控方法包括：
在车辆驾驶时，获取驾驶员的人脸图像；
从所述人脸图像中提取所述驾驶员的人像数据特征；
根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；
若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。
可选的，所述在车辆驾驶过程中，获取驾驶员的人脸图像的步骤包括：
将所述人脸图像处理为黑白灰度图像；
过滤掉所述黑白灰度图像中的非面部区域，得到黑白灰度人像；
拆分校正所述黑白灰度人像；
对拆分校正后的黑白灰度人像进行整合，得到标准化的脸部建模数据；
根据预先设定的数据特征点，从所述标准的脸部建模数据中提取人像数据特征，所述人像数据特征包括眉毛、嘴部和眼部的数据特征及区域数据特征。
可选的，所述根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态的步骤包括：
对比所述驾驶员的人像数据特征与数据库中正常驾驶状态的人像数据特征；
若一致，则判定为正常驾驶状态；
否则，判定为异常驾驶状态。
可选的，所述判定为异常驾驶状态的步骤之后还包括的步骤包括：
确定所述异常驾驶状态的类型，所述异常驾驶状态的类型包括疲劳驾驶状态、分心驾驶状态、下车异常状态、消极情绪驾驶状态和身体机能异常驾驶状态中一种或多种；
所述若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制的步骤包括：
根据所述异常驾驶状态的类型，对所述驾驶员进行异常提醒和/或引导操作控制。
可选的，所述确定所述异常驾驶状态的类型为疲劳驾驶状态的步骤包括：
根据所述眼部或嘴部的数据特征及区域数据特征，通过检测算法判断是否存在闭眼行为或打哈欠行为，若存在两种行为中一种或多种，则判定为疲劳驾驶状态。
可选的，所述确定所述异常驾驶状态的类型为分心驾驶状态的步骤包括：
根据所述驾驶员的眼部数据特征及区域数据特征，通过检测算法判断是否存在视线偏离路面的行为，得到视线偏离结果；
根据所述视线偏离结果结合分心判定的衡量标准判断所述驾驶员是否存在分心驾驶行为，若存在，则判定为分心驾驶状态。
可选的，所述确定所述异常驾驶状态的类型为消极情绪驾驶状态的步骤包括：
根据所述驾驶员的眉毛、嘴部和眼部的数据特征及其区域数据特征与数据库中预先设定的消极情绪数据特征进行对比，判断是否一致，若一致，则判定为消极情绪驾驶状态。
可选的，所述根据所述异常驾驶状态的类型，对所述驾驶员进行异常提醒和/或引导操作控制的步骤包括：
若所述异常驾驶状态为疲劳驾驶状态和/或分心驾驶状态，则划分所述异常驾驶状态的等级；
根据所述异常驾驶状态的等级对所述驾驶员执行等级报警策略；
若所述异常驾驶状态为消极情绪驾驶状态和/或下车异常状态，则对所述驾驶员进行语音提醒和/或蜂鸣提醒；
若所述异常驾驶状态为身体机能异常驾驶状态，则开启车载辅助系统并导航最近医院路线。
可选的，判定为正常驾驶状态之前，判断身体机能异常驾驶状态的步骤包括：
获取身体机能数据；
将所述身体机能数据和预先设定身体机能数据的正常范围做对比；
若超出所述身体机能数据的正常范围，则判定为身体机能异常驾驶状态。
可选的，所述将所述驾驶员的人像数据特征与数据库中正常驾驶状态的人像数据特征做对比之前，所述数据库的步骤包括：
创建数据库；
存储不同驾驶状态的人像数据特征。
可选的，获取驾驶员的人脸图像之前的步骤还包括：
通过车载人脸识别设备采集人脸图像；
判断是否采集到人脸图像；
若在限定时间内未采集到人脸图像，则结合车辆后排座位判断是否有活体生物；
若存在活体生物，则判定为下车异常驾驶状态。
本申请实施例还提出一种驾驶员状态监控系统，所述驾驶员状态监控系统包括：
车载人脸识别设备，用于采集驾驶员单张或者多张连续面部表情图片；
车载中控设备，用于在车辆驾驶过程中，采集驾驶员的人脸图像；从所述人脸图像中提取所述驾驶员的人像数据特征；根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。
本申请实施例还提出一种驾驶员状态监控装置，所述驾驶员状态监控装置包括：
采集模块，用于在车辆驾驶过程中，采集驾驶员的人脸图像；
提取模块，用于从所述人脸图像中提取所述驾驶员的人像数据特征；
判断模块，用于根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；
引导控制模块，用于若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。
本申请实施例还提出一种终端设备，所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的驾驶员状态监控程序，所述驾驶员状态监控程序被所述处理器执行时实现所述的驾驶员状态监控方法的步骤。
本申请实施例还提出一种存储介质，所述存储介质上存储有驾驶员状态监控程序，所述驾驶员状态监控程序被处理器执行时实现所述的驾驶员状态监控方法的步骤。
本申请实施例提出的驾驶员状态监控方法、系统、装置、终端设备以及存储介质，通过在车辆驾驶时，获取驾驶员的人脸图像；从所述人脸图像中提取所述驾驶员的人像数据特征；根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。通过对驾驶员的驾驶状态进行实时监控，实现了针对不同的异常驾驶状态及时提醒引导驾驶员恢复正常驾驶状态，全面的提升驾驶安全以及驾乘体验的效果。解决了驾驶员由于身体状态不佳产生的驾驶安全隐患的问题。
附图说明
图1为本申请驾驶员状态监控方法所属终端设备的功能模块示意图；
图2为本申请驾驶员状态监控方法第一示例性实施例的流程示意图；
图3为本申请驾驶员状态监控方法第二示例性实施例的流程示意图；
图4为本申请驾驶员状态监控方法第三示例性实施例的流程示意图；
图5为本申请驾驶员状态监控方法第四示例性实施例的流程示意图；
图6为本申请驾驶员状态监控方法第五示例性实施例的流程示意图；
图7为本申请驾驶员状态监控方法第六示例性实施例的流程示意图；
图8为本申请驾驶员状态监控方法第七示例性实施例的流程示意图；
图9为本申请驾驶员状态监控方法第八示例性实施例的流程示意图；
图10为本申请驾驶员状态监控方法第九示例性实施例的流程示意图；
图11为本申请驾驶员状态监控方法第十示例性实施例的流程示意图；
图12为本申请驾驶员状态监控方法第十一示例性实施例的流程示意图；
图13为本申请驾驶员状态监控方法第十二示例性实施例的流程示意图；
图14为本申请驾驶员状态监控方法第十二示例性实施例的详细的流程示意图；
图15为本申请驾驶员状态监控方法涉及的系统架构图；
图16为本申请驾驶员状态监控方法详细流程图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：通过在车辆驾驶时，获取驾驶员的人脸图像；从所述人脸图像中提取所述驾驶员的人像数据特征；根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。基于本方案，通过对驾驶员的驾驶状态进行实时监控，实现了针对不同的异常驾驶状态及时提醒引导驾驶员恢复正常驾驶状态，全面的提升驾驶安全以及驾乘体验的效果。解决了驾驶员由于身体状态不佳产生的驾驶安全隐患的问题。
具体地，参照图1，图1为本申请驾驶员状态监控装置所属终端设备的功能模块示意图。该驾驶员状态监控装置可以为独立于终端设备的、能够进行驾驶员状态实时监控、提醒的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中，该图片修复装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及驾驶员状态监控程序，驾驶员状态监控装置可以将获取驾驶员的人脸图像；从所述人脸图像中提取所述驾驶员的人像数据特征；根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的驾驶员状态监控程序被处理器执行时实现以下步骤：
获取驾驶员的人脸图像；
从所述人脸图像中提取所述驾驶员的人像数据特征；
根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；
若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
将所述人脸图像处理为黑白灰度图像；
过滤掉所述黑白灰度图像中的非面部区域，得到黑白灰度人像；
拆分校正所述黑白灰度人像；
对拆分校正后的黑白灰度人像进行整合，得到标准化的脸部建模数据；
根据预先设定的数据特征点，从所述标准的脸部建模数据中提取人像数据特征，所述人像数据特征包括眉毛、嘴部和眼部的数据特征及区域数据特征。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
对比所述驾驶员的人像数据特征与数据库中正常驾驶状态的人像数据特征；
若一致，则判定为正常驾驶状态；
否则，判定为异常驾驶状态。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
确定所述异常驾驶状态的类型，所述异常驾驶状态的类型包括疲劳驾驶状态、分心驾驶状态、下车异常状态、消极情绪驾驶状态和身体机能异常驾驶状态中一种或多种。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
根据所述眼部或嘴部的数据特征及区域数据特征，通过检测算法判断是否存在闭眼行为或打哈欠行为，若存在两种行为中一种或多种，则判定为疲劳驾驶状态。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
根据所述驾驶员的眼部数据特征及区域数据特征，通过检测算法判断是否存在视线偏离路面的行为，得到视线偏离结果；
根据所述视线偏离结果结合分心判定的衡量标准判断所述驾驶员是否存在分心驾驶行为，若存在，则判定为分心驾驶状态。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
根据所述驾驶员的眉毛、嘴部和眼部的数据特征及其区域数据特征与数据库中预先设定的消极情绪数据特征进行对比，判断是否一致，若一致，则判定为消极情绪驾驶状态。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
若所述异常驾驶状态为疲劳驾驶状态和/或分心驾驶状态，则划分所述异常驾驶状态的等级；
根据所述异常驾驶状态的等级对所述驾驶员执行等级报警策略；
若所述异常驾驶状态为消极情绪驾驶状态和/或下车异常状态，则对所述驾驶员进行语音提醒和/或蜂鸣提醒；
若所述异常驾驶状态为身体机能异常驾驶状态，则开启车载辅助系统并导航最近医院路线。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
获取身体机能数据；
将所述身体机能数据和预先设定身体机能数据的正常范围做对比；
若超出所述身体机能数据的正常范围，则判定为身体机能异常驾驶状态。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
创建数据库；
存储不同驾驶状态的人像数据特征。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
通过车载人脸识别设备采集人脸图像；
判断是否采集到人脸图像；
若在限定时间内未采集到人脸图像，则结合车辆后排座位判断是否有活体生物；
若存在活体生物，则判定为下车异常驾驶状态。
进一步地，存储器130中的驾驶员状态监控程序被处理器执行时还实现以下步骤：
对所述驾驶员进行人脸识别；
若所述驾驶员的人脸识别失败，则引导所述驾驶员注册人脸账号；
登录所述驾驶员的人脸账号，同步所述驾驶员的驾驶习惯的车载设备数据，在网络环境下同步所述驾驶员的媒体账号信息。
本实施例通过上述方案，具体通过在车辆驾驶时，获取驾驶员的人脸图像；从所述人脸图像中提取所述驾驶员的人像数据特征；根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。基于本方案，通过对驾驶员的驾驶状态进行实时监控，实现了针对不同的异常驾驶状态及时提醒引导驾驶员恢复正常驾驶状态，全面的提升驾驶安全以及驾乘体验的效果。解决了驾驶员由于身体状态不佳产生的驾驶安全隐患的问题。
基于上述终端设备架构但不限于上述架构，提出本申请方法实施例。
参照图2，图2为本申请驾驶员状态监控方法第一示例性实施例的流程示意图。所述驾驶员状态监控方法包括：
步骤S110，在车辆驾驶时，获取驾驶员的人脸图像；
具体地，车载中控设备通过车载控制器局域网络、无线网络和蓝牙等数据传输的方式连接硬件设备，并通过车载人脸识别设备采集所述驾驶员人脸图片，并发送所述驾驶员的单张或者多张连续面部图片给车载中控设备的数据处理器。
步骤S120，从所述人脸图像中提取所述驾驶员的人像数据特征；
具体地，所述车载中控设备的数据处理器通过处理所述驾驶员人脸图片，获得标准的脸部建模数据，再通过事先设定的脸部划分区域以及面部五官的关键数据特征点，进行人像数据特征的提取。
步骤S130，根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；
具体地，所述驾驶员的人像数据特征和数据库中所预先设定的所述驾驶员的正常驾驶状态的人像数据特征做对比，从而判定所述驾驶员处于正常驾驶状态或异常驾驶状态。
步骤S140，若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制；
具体地，当所述驾驶员处于异常驾驶状态时，车载中控系统通过控制屏画面、语音以及车身座椅、天窗等部件，及时给与驾驶员正向安全引导，直至驾驶风险解除。
本实施例通过上述方案，具体通过在车辆驾驶时，获取驾驶员的人脸图像；从所述人脸图像中提取所述驾驶员的人像数据特征；根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。本方案通过车载人脸识别设备发送驾驶员的人脸图片给车载中控模块，并对图片做标准化处理和提取对比，得到驾驶状态的类型，实现了针对不同的异常驾驶状态及时提醒引导控制驾驶员恢复正常驾驶状态，全面的提升驾驶安全以及驾乘体验的效果。解决了驾驶员由于身体状态不佳产生的驾驶安全隐患的问题。
进一步地，参照图3，图3为本申请驾驶员状态监控方法第二示例性实施例的流程示意图，在上述步骤S120，所述从所述人脸图像中提取所述驾驶员的人像数据特征可以包括：
步骤S1201，将所述人脸图像处理为黑白灰度图像；
具体地，通过调整所述驾驶员的人脸图像RGB值，再调整对比度，将图像处理为黑白灰度图像，为所述驾驶员的人脸数据处理做准备。
步骤S1202，过滤掉所述黑白灰度图像中的非面部区域，得到黑白灰度人像；
具体地，所述黑白灰度图像中有头发，衣服和围巾等遮挡物遮挡了所属驾驶员的面部区域时，通过预先设定的人脸模板识别遮挡物，并将遮挡物的像素点除去，通过现有修补算法，修补面部区域像素点，得到黑白灰度人像。
步骤S1203，拆分校正所述黑白灰度人像；
具体地，对所述黑白灰度人像中五官特征进行分解、打散、放大缩小处理，对所述黑白灰度人像中面部区域进行几何切割及分析校正。
步骤S1204，对拆分校正后的黑白灰度人像进行整合，得到标准化的脸部建模数据；
具体地，对所述拆分校正后的五官及面部区域做数据整合，定位五官及面部区域的位置，得到标准的脸部建模数据。
步骤S1205，根据预先设定的数据特征点，从所述标准的脸部建模数据中提取人像数据特征，所述人像数据特征包括眉毛、嘴部和眼部的数据特征及区域数据特征；
具体地，人的面部表情是通过人脸面部的特征点去分辨的，因此需要提取所述面部预先设定的数据特征点，用于综合判断及分析人的面部表情。
本实施例通过上述方案，具体通过将所述人脸图像处理为黑白灰度图像；过滤掉所述黑白灰度图像中的非面部区域，得到黑白灰度人像；拆分校正所述黑白灰度人像；细节和特征进行整合，得到标准化的脸部建模数据。本方案主要通过对获取到的人脸图像转化为黑白灰度图像，进而再过滤、检测和校正及数据化处理得到标准的脸部建模数据，并从中提取人像数据特征，所述人像数据特征包括眉毛、嘴部和眼部的数据特征及区域数据特征，进而实现对面部特征的数据化，标准化处理和提取，为后续通过面部数据特征识别所述驾驶员的驾驶状态提供数据支持。
进一步地，参照图4，图4为本申请驾驶员状态监控方法第三示例性实施例的流程示意图，在上述步骤S130，所述根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态包括：
步骤S1301，对比所述驾驶员的人像数据特征与数据库中正常驾驶状态的人像数据特征；
具体地，将所述驾驶员的人像数据特征与所述数据库中正常驾驶状态的人像数据特征包括面部五官特征和面部区域特征进行逐一对比。
步骤S1302，若一致，则判定为正常驾驶状态；
具体地，步骤S1301的结果相似度等于或大于预先设置的相似度阈值，则判定为正常驾驶状态。
步骤S1303，不一致，判定为异常驾驶状态；
具体地，步骤S131的结果相似度小于预先设置的相似度阈值，则判定为异常驾驶状态。
本实施例通过上述方案，具体通过对比所述驾驶员的人像数据特征与数据库中正常驾驶状态的人像数据特征；若一致，则判定为正常驾驶状态；否则，判定为异常驾驶状态。本方案主要通过将获取到的人像数据特征与预先设定的正常状态的人像数据特征做对比，再通过相似度阈值进行判定，得到了所述驾驶员的驾驶状态的判定结果，为后续所述驾驶员异常驾驶状态类型的判定提供了先决条件，使最终的判定结果更为准确。
进一步地，参照图5，图5为本申请驾驶员状态监控方法第四示例性实施例的流程示意图，在上述步骤S1303，所述判定为异常驾驶状态之后还包括：
步骤S1304，确定所述异常驾驶状态的类型，所述异常驾驶状态的类型包括疲劳驾驶状态、分心驾驶状态、下车异常状态、消极情绪驾驶状态和身体机能异常驾驶状态中一种或多种。
具体地，在驾驶员在开车时，实时获取到人脸图像，进行人像数据特征提取，再通过与数据库中不同异常驾驶状态的人像数据特征做比对，从而确定所述异常驾驶状态的类型。
本实施例通过上述方案，具体通过确定所述异常驾驶状态的类型。本方案主要通过将所述驾驶员异常状态的人像数据特征与数据库中不同异常驾驶状态的人像数据特征做比对，从而确定所述异常驾驶状态的类型，从而获取到判定结果，使得所述驾驶员的异常驾驶状态更加清楚、准确。
进一步地，参照图6，图6为本申请驾驶员状态监控方法第五示例性实施例的流程示意图，上述步骤S1304，所述确定所述异常驾驶状态的类型为疲劳驾驶状态包括：
步骤S13041，根据所述眼部或嘴部的数据特征及区域数据特征，通过检测算法判断是否存在闭眼行为或打哈欠行为，若存在两种行为中一种或多种，则判定为疲劳驾驶状态。
本实施例通过上述方案，具体通过根据所述眼部或嘴部的数据特征及区域数据特征，通过检测算法判断是否存在闭眼行为或打哈欠行为，若存在两种行为任一种，则判定为疲劳驾驶状态。本方案主要对所述驾驶员打哈欠行为和闭眼行为的识别，从而得到疲劳驾驶状态的判定结果，使得所述驾驶员的疲劳驾驶状态被快速，准确地识别判定。
进一步地，参照图7，图7为本申请驾驶员状态监控方法第六示例性实施例的流程示意图，上述步骤S1304，确定所述异常驾驶状态的类型为分心驾驶状态可以包括：
步骤S13042，根据所述驾驶员的眼部数据特征及区域数据特征，通过检测算法判断是否存在视线偏离路面的行为，得到视线偏离结果；
具体地，检测所述驾驶员是否存在视线偏离路面的情况。主要利用人眼成像原理，实时检测所述驾驶员瞳孔点计算出视线角度，根据预先设定的正常角度范围进行衡量，从而判定所述驾驶员视线是否偏离路面。
步骤S13043，根据所述视线偏离结果结合分心判定的衡量标准判断所述驾驶员是否存在分心驾驶行为，若存在，则判定为分心驾驶状态；
具体地，所述分心判定的衡量标准，根据实时统计所述驾驶员驾驶姿态，并通过深度学习算法自动校正分心驾驶人脸面部数据特征值范围，从而获得不同驾驶员相对一致的分心判定的衡量标准；结合所述驾驶员视线偏离结果，若所述驾驶员视线判定为偏离或者所述驾驶员人像数据特征符合分心判定范围，则判定所述驾驶员为分心驾驶状态。
本实施例通过上述方案，具体通过根据所述驾驶员的眼部数据特征及区域数据特征，通过检测算法判断是否存在视线偏离路面的行为，得到视线偏离结果；根据所述视线偏离结果结合分心判定的衡量标准判断所述驾驶员是否存在分心驾驶行为，若存在，则判定为分心驾驶状态。本方案主要通过对所述驾驶员的视线偏离角度和分心程度的判定，使得所述驾驶员的分心驾驶状态被快速，准确地识别判定。
进一步地，参照图8，图8为本申请驾驶员状态监控方法第七示例性实施例的流程示意图，上述步骤S1304，确定所述异常驾驶状态的类型为消极情绪驾驶状态可以包括：
步骤S13044，根据所述驾驶员的眉毛、嘴部和眼部的数据特征及其区域数据特征与数据库中预先设定的消极情绪数据特征进行对比，判断其是否一致，若一致，则判定为消极情绪驾驶状态。
本实施例通过上述方案，具体通过根据所述驾驶员的眉毛、嘴部和眼部的数据特征及其区域数据特征与数据库中预先设定的消极情绪数据特征进行对比，判断其是否一致，若一致，则判定为消极情绪驾驶状态。本方案主要通过对眉毛、嘴部、眼部数据特征比对，使得所述驾驶员的消极情绪驾驶状态被快速，准确地识别判定。
进一步地，参照图9，图9为本申请驾驶员状态监控方法第八示例性实施例的流程示意图，上述步骤S140，若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制可以包括：
步骤S1401，若所述异常驾驶状态为疲劳驾驶状态和/或分心驾驶状态，则划分所述异常驾驶状态的等级；
具体地，当所述异常驾驶状态为疲劳驾驶状态时，将所述疲劳驾驶状态的数据特征和数据库中不同等级的疲劳驾驶状态的人像数据特征进行对比，得到所述不同等级的疲劳驾驶状态的相似度比对结果，将大于等于相似度阀值的结果作为划分的依据，并将最大相似度结果对应的所述疲劳驾驶状态等级作为最终判定结果，其中，疲劳驾驶状态的等级有低度疲劳驾驶状态、中度疲劳驾驶状态和深度疲劳驾驶状态。
具体地，当所述异常驾驶状态为分心驾驶状态时，将所述分心驾驶状态的数据特征和数据库中不同等级的分心驾驶状态的人像数据特征进行对比，得到所述不同等级的分心驾驶状态的相似度比对结果，将大于等于相似度阀值的结果作为划分的依据，取最大相似度结果作为判定所述疲劳驾驶状态等级的依据，并结合交通法律法规限定的车速、连续驾驶时长和驾驶时间段判定所述分心驾驶状态的等级，所述分心驾驶状态的等级有轻度分心驾驶状态、中度分心驾驶状态和深度分心驾驶状态。
步骤S1402，根据所述异常驾驶状态的等级对所述驾驶员执行等级报警策略；
具体地，低级疲劳驾驶状态时，语音系统提示所述驾驶员是否需要打开车窗或者播放音乐，舒缓疲劳驾驶状态；
中度疲劳驾驶状态，语音系统提示所述驾驶员是否需要打开车窗、播放音乐以及导航到附近合适的停车地点，进行及时休息，缓解疲劳驾驶；
深度疲劳驾驶状态，车载中控系统发送指令打开车窗，并启动导航，规划最近合适停车地点，指引所述驾驶员驾驶到就近合适地点休息；
轻度分心驾驶状态和中度分心驾驶状态时，主驾座椅震动提醒，语音提示所述驾驶员正视前方，专心驾驶；
高度分心驾驶状态，语音系统提示所述驾驶员已经危险驾驶，同时车载中控模块发送指令开启驾驶辅助功能，如导航，语音提示功能；
步骤S1403，若所述异常驾驶状态为消极情绪驾驶状态和/或下车异常状态，则对所述驾驶员进行语音提醒和/或蜂鸣提醒；
步骤S1404，若所述异常驾驶状态为身体机能异常驾驶状态，则开启车载辅助系统并导航最近医院路线；
当所述驾驶员身体状态不佳，这时，车载中控系统发送指令开启导航功能，根据自动搜索到最近的医院路线开始导航。
具体地，本实施例通过上述方案，具体通过若所述异常驾驶状态为疲劳驾驶状态和/或分心驾驶状态，则划分所述异常驾驶状态的等级；根据所述异常驾驶状态的等级对所述驾驶员执行等级报警策略；若所述异常驾驶状态为消极情绪驾驶状态和/或下车异常状态，则对所述驾驶员进行语音提醒和/或蜂鸣提醒；若所述异常驾驶状态为身体机能异常驾驶状态，则开启车载辅助系统并导航最近医院路线。本方案主要针对不同的异常驾驶状态及时提醒引导控制驾驶员恢复正常驾驶状态，全面的提升了驾驶安全以及驾乘体验。解决了驾驶员由于身体状态不佳产生的驾驶安全隐患的问题。
进一步地，参照图10，图10为本申请驾驶员状态监控方法第九示例性实施例的流程示意图，上述步骤S130之前，可以判断是否身体机能异常状态，其中，所述判断是否身体机能异常驾驶状态可以包括：
步骤S127，获取身体机能数据；
具体地，所述身体机能数据的获取可以通过方向盘触控或智能手表测量人体心率、血压等，再通过车身网络、无线网络或蓝牙传输到车载中控设备。
步骤S128，将所述身体机能数据和预先设定身体机能数据的正常范围做对比；
具体地，所述正常范围的身体机能数据，包括但不限于心率，血压。
步骤S129，若超出所述身体机能数据的正常范围，则判定为身体机能异常驾驶状态。
具体地，若超出所述正常范围的身体机能数据，则判定为身体机能异常驾驶状态；若未超出，则判定为正常驾驶状态。
本实施例通过上述方案，具体通过获取身体机能数据；将身体机能数据和预先设定的正常范围的身体机能数据比对；若超出所述身体机能数据的正常范围，则判定为身体机能异常驾驶状态。本方案主要通过硬件设备对所述驾驶员身体机能的数据采集，并与人体机能正常数据范围做对比，从而确定驾驶员是否存在驾驶安全隐患，使得所述驾驶员的身体机能异常驾驶状态被快速，准确地识别判定。
进一步地，参照图11，图11为本申请驾驶员状态监控方法第十示例性实施例的流程示意图，上述步骤S130之前，所述驾驶员状态监控方法还包括：
步骤S125，创建数据库；
具体地，所述数据库可创建于本地存储设备或者远程存储设备，若要对数据进行存取，需先判断是否支持无线网络，若支持，则从所述远程设备的数据库中存取，若不支持，则从所述本地设备的数据库中存取；若出现无线网络没有信号的情况，可以先从所述本地设备的数据库存取数据，恢复无线网络后，同步本地增量数据到所述远程设备中的数据库。
步骤S126，存储不同驾驶状态的人像数据特征。
具体地，所述不同驾驶状态包括低度疲劳驾驶状态、中度疲劳驾驶状态、深度疲劳驾驶状态、低度分心驾驶状态、中度分心驾驶状态、深度分心驾驶状态、消极情绪驾驶状态和正常驾驶状态，所述人像数据特征包括眼睛、嘴巴和眉毛数据特征及区域数据特征。
本实施例通过上述方案，具体通过创建数据库；存储不同驾驶状态的人像数据特征。本方案主要通过存储不同驾驶状态的人像数据特征，为判定所述驾驶员的驾驶状态提供数据支持。
进一步地，参照图12，图12为本申请驾驶员状态监控方法第十一示例性实施例的流程示意图，上述步骤S110之前，所述驾驶员状态监控方法还包括：
步骤S90，通过车载人脸识别设备采集人脸图像；
步骤S91，判断是否采集到人脸图像；
具体地，通过现有人脸识别技术判断是否采集到人脸图片。
步骤S92，若在限定时间内未采集到人脸图像，则结合车辆后排座位判断是否有活体生物；
具体地，通过车载人脸识别设备采集图像，再根据现有活体生物检测技术判断是否检测到活体生物。
步骤S93，若存在活体生物，则判定为下车异常驾驶状态。
本实施例通过上述方案，具体通过车载人脸识别设备采集人脸图像；判断是否采集到人脸图像；若在限定时间内未采集到人脸图像，则结合车辆后排座位判断是否有活体生物；若存在活体生物，则判定为下车异常驾驶状态。本方案主要通过现有的人脸识别技术和活体生物检测技术，实现了所述驾驶员下车时，及时检测车辆内部是否存在活体生物，从而确定是否存在安全隐患，使得所述驾驶员的下车异常驾驶状态被快速，准确地识别判定。
进一步地，参照图13，图13为本申请驾驶员状态监控方法第十二示例性实施例的流程示意图，上述步骤S110之前，所述驾驶员状态监控方法还包括：
步骤S101，对所述驾驶员进行人脸识别；
具体地，通过现有人脸识别技术基于人脸识别设备对所述驾驶员的面部信息采集并判断是否注册成功。
步骤S102，若所述驾驶员的人脸识别失败，则引导所述驾驶员注册人脸账号；
具体地，若提示人脸识别失败，所述驾驶员人脸图像通过人脸识别系统进行注册和录入，生成人脸账号；
步骤S103,登录所述驾驶员的人脸账号，同步所述驾驶员的驾驶习惯的车载设备数据，在网络环境下同步所述驾驶员的媒体账号信息。
具体地，注册成功后，再次通过人脸识别系统登录人脸账号，从而获取所述驾驶员车载设备使用习惯，并引导用户设置；网络环境下同步所述驾驶员的音乐等媒体账号信息，其中，车载设备使用习惯是驾驶员设置后保存在本地设备或远程设备的数据。
参考图14，图14为本申请驾驶员状态监控方法第十二示例性实施例的详细的流程示意图。
本实施例通过上述方案，具体通过对所述驾驶员进行人脸识别；若所述驾驶员的人脸识别失败，则引导所述驾驶员注册人脸账号；登录所述驾驶员的人脸账号，同步所述驾驶员的驾驶习惯的车载设备数据，在网络环境下同步所述驾驶员的媒体账号信息。本方案主要通过现有的人脸识别技术，在车辆启动后，对驾驶员进行脸部识别，对未识别到的驾驶员注册人脸账号，对识别成功的驾驶员同步设备数据和媒体账号信息，引导所述驾驶员操作设备、系统，为所述驾驶员带来了方便、快捷的驾驶体验感。
参考图15，图16，图15为本申请驾驶员状态监控方法涉及的系统架构图；图16为本申请驾驶员状态监控方法详细流程图，本方案整体流程包括：
在车辆启动后，电启动车载设备、人脸识别设备、车载中控主机，所述车载中控主机包括硬件设备系统显示屏以及运行的语音系统、人脸识别系统，车载中控系统。
首先，车载人脸识别设备实时采集驾驶员的人脸图像，然后对所述驾驶员进行人脸识别注册；
接着，在车辆驾驶时，车载中控系统获取到所述驾驶员的人脸图像并发送到车载中控主机的数据处理器，处理为标准化的人脸建模数据；
之后，提取人像数据特征；进而根据数据库中的正常驾驶状态判断所述驾驶员的驾驶状态；
然后再对异常驾驶状态进行类别分析判定或等级划分；
最后，车载中控主机根据异常状态的类型执行相对应的报警策略，如语音系统提示是否需要开启导航功能或娱乐功能、是否需要打开天窗、减缓车速，驾驶员可以通过操作系统显示屏设置或语音回复控制；
若所述驾驶员处于高度异常驾驶状态，则自动开启车载辅助功能，如导航系统或语音系统或主驾座椅震动提醒，实现了在驾驶员的驾驶状态不佳的情况下，及时提醒引导驾驶员恢复到正常驾驶状态，全面的提升驾驶安全及驾乘体验。
本申请实施例还提出一种驾驶员状态监控系统，所述驾驶员状态监控系统包括：
车载人脸识别设备，用于采集驾驶员单张或者多张连续面部表情图片；
车载中控设备，用于在车辆驾驶过程中，采集驾驶员的人脸图像；从所述人脸图像中提取所述驾驶员的人像数据特征；根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。
本申请实施例还提出一种驾驶员状态监控装置，所述驾驶员状态监控装置包括：
采集模块，用于在车辆驾驶过程中，采集驾驶员的人脸图像；
提取模块，用于从所述人脸图像中提取所述驾驶员的人像数据特征；
判定模块，用于根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；
引导控制模块，用于根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态。
此外，本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的驾驶员状态监控程序，所述驾驶员状态监控程序被所述处理器执行时实现如上所述的驾驶员状态监控方法的步骤。
由于本驾驶员状态监控程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
本申请实施例还提出一种存储介质，所述存储介质上存储有驾驶员状态监控程序，所述驾驶员状态监控程序被处理器执行时实现所述的驾驶员状态监控方法的步骤。
由于本驾驶员状态监控程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
本发明实施例提出的驾驶员状态监控方法、终端设备及存储介质，通过在车辆驾驶时，获取驾驶员的人脸图像；从所述人脸图像中提取所述驾驶员的人像数据特征；根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。基于本方案，通过对驾驶员的驾驶状态实时进行监控，实现了针对不同的异常驾驶状态及时提醒引导驾驶员恢复正常驾驶状态，全面的提升驾驶安全以及驾乘体验的效果，解决了驾驶员由于身体状态不佳产生的驾驶安全隐患的问题。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种驾驶员状态监控方法，其特征在于，所述驾驶员状态监控方法包括以下步骤：
在车辆驾驶时，获取驾驶员的人脸图像；
从所述人脸图像中提取所述驾驶员的人像数据特征；
根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态；
若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制。
2.如权利要求1所述驾驶员状态监控方法，其特征在于，所述从所述人脸图像中提取所述驾驶员的人像数据特征的步骤包括：
将所述人脸图像处理为黑白灰度图像；
过滤掉所述黑白灰度图像中的非面部区域，得到黑白灰度人像；
拆分校正所述黑白灰度人像；
对拆分校正后的黑白灰度人像进行整合，得到标准化的脸部建模数据；
根据预先设定的数据特征点，从所述标准的脸部建模数据中提取人像数据特征，所述人像数据特征包括眉毛、嘴部和眼部的数据特征及区域数据特征。
3.如权利要求1所述驾驶员状态监控方法，其特征在于，所述根据所述驾驶员的人像数据特征判断所述驾驶员的驾驶状态的步骤包括：
对比所述驾驶员的人像数据特征与数据库中正常驾驶状态的人像数据特征；
若一致，则判定为正常驾驶状态；
否则，判定为异常驾驶状态。
4.如权利要求3所述驾驶员状态监控方法，其特征在于，所述判定为异常驾驶状态的步骤之后还包括：
确定所述异常驾驶状态的类型，所述异常驾驶状态的类型包括疲劳驾驶状态、分心驾驶状态、下车异常状态、消极情绪驾驶状态和身体机能异常驾驶状态中一种或多种；
所述若所述驾驶员的驾驶状态为异常驾驶状态，则对所述驾驶员进行异常提醒和/或引导操作控制的步骤包括：
根据所述异常驾驶状态的类型，对所述驾驶员进行异常提醒和/或引导操作控制。
5.如权利要求4所述驾驶员状态监控方法，其特征在于，确定所述异常驾驶状态的类型为疲劳驾驶状态的步骤包括：
根据所述眼部或嘴部的数据特征及区域数据特征，通过检测算法判断是否存在闭眼行为或打哈欠行为，若存在两种行为中一种或多种，则判定为疲劳驾驶状态；
确定所述异常驾驶状态的类型为分心驾驶状态的步骤包括：
根据所述驾驶员的眼部的数据特征及区域数据特征，通过检测算法判断是否存在视线偏离路面的行为，得到视线偏离结果；
根据所述视线偏离结果结合分心判定的衡量标准判断所述驾驶员是否存在分心驾驶行为，若存在，则判定为分心驾驶状态；
确定所述异常驾驶状态的类型为消极情绪驾驶状态的步骤包括：
根据所述驾驶员的眉毛、嘴部和眼部的数据特征及区域数据特征与数据库中预先设定的消极情绪数据特征进行对比，判断是否一致，若一致，则判定为消极情绪驾驶状态。
6.如权利要求4所述的驾驶员状态监控方法，其特征在于，所述根据所述异常驾驶状态的类型，对所述驾驶员进行异常提醒和/或引导操作控制的步骤包括：
若所述异常驾驶状态为疲劳驾驶状态和/或分心驾驶状态，则划分所述异常驾驶状态的等级；
根据所述异常驾驶状态的等级对所述驾驶员执行等级报警策略；
若所述异常驾驶状态为消极情绪驾驶状态和/或下车异常状态，则对所述驾驶员进行语音提醒和/或蜂鸣提醒；
若所述异常驾驶状态为身体机能异常驾驶状态，则开启车载辅助系统并导航最近医院路线。
7.如权利要求3所述驾驶员状态监控方法，其特征在于，所述判定为正常驾驶状态之前，判断身体机能异常驾驶状态的步骤包括：
获取身体机能数据；
将所述身体机能数据和预先设定身体机能数据的正常范围做对比；
若超出所述身体机能数据的正常范围，则判定为身体机能异常驾驶状态。
8.如权利要求1所述驾驶员状态监控方法，其特征在于，所述在车辆驾驶时，获取驾驶员的人脸图像之前的步骤包括：
通过车载人脸识别设备采集人脸图像；
判断是否采集到人脸图像；
若在限定时间内未采集到人脸图像，则结合车辆后排座位判断是否有活体生物；
若存在活体生物，则判定为下车异常驾驶状态。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的驾驶员状态监控程序，所述驾驶员状态监控程序被所述处理器执行时实现如权利要求1-8中任一项所述的驾驶员状态监控方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有驾驶员状态监控程序，所述驾驶员状态监控程序被处理器执行时实现如权利要求1-8中任一项所述的驾驶员状态监控方法的步骤。
CN202210611293.1A 2022-05-31 2022-05-31 驾驶员状态监控方法、终端设备及存储介质 Pending CN114987500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210611293.1A CN114987500A (zh) 2022-05-31 2022-05-31 驾驶员状态监控方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210611293.1A CN114987500A (zh) 2022-05-31 2022-05-31 驾驶员状态监控方法、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN114987500A true CN114987500A (zh) 2022-09-02

Family

ID=83031957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210611293.1A Pending CN114987500A (zh) 2022-05-31 2022-05-31 驾驶员状态监控方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN114987500A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565354A (zh) * 2022-11-18 2023-01-03 深圳智者行天下科技有限公司 一种基于人工智能的商用车驾驶员安全监测系统
CN116901975A (zh) * 2023-09-12 2023-10-20 深圳市九洲卓能电气有限公司 一种车载ai安防监控系统及其方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565354A (zh) * 2022-11-18 2023-01-03 深圳智者行天下科技有限公司 一种基于人工智能的商用车驾驶员安全监测系统
CN115565354B (zh) * 2022-11-18 2023-03-10 深圳智者行天下科技有限公司 一种基于人工智能的商用车驾驶员安全监测系统
CN116901975A (zh) * 2023-09-12 2023-10-20 深圳市九洲卓能电气有限公司 一种车载ai安防监控系统及其方法
CN116901975B (zh) * 2023-09-12 2023-11-21 深圳市九洲卓能电气有限公司 一种车载ai安防监控系统及其方法

Similar Documents

Publication Publication Date Title
US20200057487A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
CN114987500A (zh) 驾驶员状态监控方法、终端设备及存储介质
CN112277955B (zh) 辅助驾驶方法、装置、设备及存储介质
EP3488382B1 (en) Method and system for monitoring the status of the driver of a vehicle
CN101466305B (zh) 用于确定和分析视觉兴趣位置的方法
EP2111796B1 (en) Awake state judging model making device, awake state judging device, and warning device
CN112041910A (zh) 信息处理装置、移动设备、方法和程序
CN110395260B (zh) 车辆、安全驾驶方法和装置
Jiménez et al. Gaze fixation system for the evaluation of driver distractions induced by IVIS
CN109664891A (zh) 辅助驾驶方法、装置、设备及存储介质
CN105654753A (zh) 一种智能车载安全驾驶辅助方法及系统
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
JP2017007652A (ja) 言語制御のための文脈を認識する方法、言語制御のための言語制御信号を決定する方法、および方法を実施するための装置
CN114746311B (zh) 用于载具中的识别和生物监测的管理系统和方法
CN108423004A (zh) 一种双目识别驾驶员状态检测系统及方法
KR20210086014A (ko) 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템
EP4042322A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
JP2019182244A (ja) 音声認識装置及び音声認識方法
CN108875617A (zh) 辅助驾驶方法和装置、车辆
CN113128295A (zh) 一种车辆驾驶员危险驾驶状态识别方法及装置
CN114519900A (zh) 乘车方法、装置、电子设备及存储介质
CN112617829A (zh) 用于识别驾驶员的安全相关的情绪状态的方法和设备
CN114701503A (zh) 车辆驾驶人员驾驶行为调整方法、装置、设备及存储介质
CN111860280A (zh) 一种基于深度学习的驾驶员违章行为识别系统
CN113561988A (zh) 一种基于视线追踪的语音控制方法、汽车及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination