CN113312948A - 一种使用深度学习模型检测睡意的方法、设备及系统 - Google Patents

一种使用深度学习模型检测睡意的方法、设备及系统 Download PDF

Info

Publication number
CN113312948A
CN113312948A CN202010222254.3A CN202010222254A CN113312948A CN 113312948 A CN113312948 A CN 113312948A CN 202010222254 A CN202010222254 A CN 202010222254A CN 113312948 A CN113312948 A CN 113312948A
Authority
CN
China
Prior art keywords
driver
learning model
deep learning
drowsiness
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010222254.3A
Other languages
English (en)
Inventor
陈伟日
莫家豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Productivity Council
Original Assignee
Hong Kong Productivity Council
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Productivity Council filed Critical Hong Kong Productivity Council
Priority to CN202010222254.3A priority Critical patent/CN113312948A/zh
Publication of CN113312948A publication Critical patent/CN113312948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness

Abstract

本申请涉及一种使用深度学习模型检测睡意的方法、设备及系统，其中，该方法包括：通过方向盘角度仪检测方向盘方向改变的频率和幅度；使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意；通过光学图像传感器获取驾驶者的面部实时图像；使用第二深度学习模型，根据一个时间窗内的面部实时图像，识别驾驶者的点头动作和/或哈欠动作；根据点头动作和/或哈欠动作的频率确定驾驶者是否有睡意。该方法，使用深度学习模型识别睡意，并且该方法既包括使用深度学习模型的点头和哈欠识别，又包括根据方向盘数据通过使用深度学习模型识别睡意，提高了睡意识别的可靠性和准确度，并适用于戴眼镜、口罩的情况。

Description

一种使用深度学习模型检测睡意的方法、设备及系统
技术领域
本申请涉及睡意检测技术领域，尤其涉及一种使用深度学习模型检测睡意的方法、设备及系统。
背景技术
驾驶途中驾驶者出现睡意会为各道路使用者带来危险，睡意侦测系统可以侦查到驾驶者睡意而发出合适的声音警告去提醒驾驶者，从而减低交通意外发生机会。相关技术中运用图像分析的方法(例如眼部张开程度、口部张开程度等)检测驾驶者是否有睡意。但传统的图像分析方法在驾驶者戴眼镜、戴口罩情况下可靠度会大幅下降。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种使用深度学习模型检测睡意的方法、设备及系统。
第一方面，本申请提供了一种使用深度学习模型检测睡意的方法，包括：通过方向盘角度仪检测方向盘方向改变的频率和幅度；使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意；以及，通过光学图像传感器获取驾驶者的面部实时图像；使用第二深度学习模型，根据一个时间窗内的面部实时图像，识别驾驶者的点头动作和/或哈欠动作；根据点头动作和/或哈欠动作的频率确定驾驶者是否有睡意。
在某些实施例中，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意，包括：使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者有睡意的概率；根据识别得到驾驶者有睡意的概率判断驾驶者是否有睡意；如果识别得到驾驶者有睡意的概率大于预设值，确定驾驶者有睡意。
在某些实施例中，还包括：根据面部实时图像分析驾驶者的眼部张开百分比和口部张开百分比；根据眼部张开百分比和口部张开百分比判断驾驶者是否有睡意；如果一个时间窗内检测到，眼部张开百分比小于等于第一眼部张开预设值超过第一眼部次数，或者口部张开百分比持续小于等于第一口部张开预设值，确定驾驶者有睡意；如果一个时间窗内检测到，眼部张开百分比持续大于等于第二眼部张开预设值，以及口部张开百分比持续大于等于第二口部张开预设值，根据眼部张开百分比和口部张开百分比的加权平均确定有睡意的概率；如果概率大于预设值时，确定驾驶者有睡意。
在某些实施例中，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意，包括：使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者有睡意的概率；检测睡意的方法还包括：根据眼部张开百分比、口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率；其中，如果检测到驾驶者佩戴口罩，根据眼部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率；和/或，如果检测到驾驶者佩戴有色眼镜，根据口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。
在某些实施例中，还包括检测驾驶者是否在笑，其中，如果检测到驾驶者在笑，根据口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。
在某些实施例中，还包括检测驾驶速度；其中，如果检测到驾驶速度大于预设速度，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意。
在某些实施例中，还包括：根据面部实时图像分析驾驶者的面部是否持续朝下；如果驾驶者的面部持续朝下，确定驾驶者有睡意。
第二方面，本申请提供了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；计算机程序被处理器执行时实现检测睡意的方法的步骤。
第三方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有睡意检测程序，睡意检测程序被处理器执行时实现检测睡意的方法的步骤。
第四方面，本申请提供了一种检测睡意的系统，包括：方向盘角度仪；光学图像传感器；计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；其中，计算机程序被处理器执行时实现检测睡意的方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，使用深度学习模型识别驾驶者是否有睡意，并且该方法既包括使用深度学习模型的点头和哈欠识别，又包括根据方向盘数据通过使用深度学习模型识别睡意，提高了睡意识别的可靠性和准确度，并且适用于驾驶者戴眼镜、戴口罩的情况。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的睡意检测系统一种实施方式的硬件结构示意图；
图2为本申请实施例提供的计算机设备一种实施方式的硬件示意图；
图3为本申请实施例提供的睡意检测程序一种实施方式的结构框图；以及
图4为本申请实施例提供的检测睡意的方法一种实施方式的流程图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
图1为本申请实施例提供的睡意检测系统一种实施方式的硬件结构示意图，如图1所示，睡意检测系统100包括：方向盘角度仪10、光学图像传感器20和计算机设备30。方向盘角度仪10，设置于方向盘，检测方向盘的转动。光学图像传感器20，采集驾驶者的面部图像。计算机设备30可包括车辆内的控制系统，或者其他计算机设备。计算机设备30与方向盘角度仪10及光学图像传感器20通信连接。
在某些实施例中，光学图像传感器20为红外摄像头。作为示例性说明，红外摄像头通过红外线滤光片实现日夜转换，即在白天时打开滤光片，以阻挡红外线进入电荷耦合器件(CCD)，让CCD只能感应到可见光；夜视或光照条件不好的状态下，滤光片停止工作，不再阻挡红外线进入CCD，红外线经物体反射后进入镜头进行成像。
在某些实施例中，计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图2所示，本实施例的计算机设备30至少包括但不限于：可通过系统总线相互通信连接的存储器31、处理器32。需要指出的是，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器31(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器31可以是计算机设备30的内部存储单元，例如该计算机设备30的硬盘或内存。在另一些实施例中，存储器31也可以是计算机设备30的外部存储设备，例如该计算机设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器31还可以既包括计算机设备30的内部存储单元也包括其外部存储设备。本实施例中，存储器31通常用于存储安装于计算机设备30的操作系统和各类应用软件，例如检测睡意的程序代码等。此外，存储器31还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器32在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器32通常用于控制计算机设备30的总体操作。本实施例中，处理器32用于运行存储器31中存储的程序代码或者处理数据，例如睡意检测程序，以实现检测睡意的方法的步骤。
图3为本申请提供的一种睡意检测程序的结构框图，如图3所示，睡意检测程序包括：方向盘检测模块311、点头动作检测模块312、哈欠动作检测模块313、眼部张开检测模块314、口部张开检测模块315，以及决策模块316。
方向盘检测模块311，根据方向盘方向改变的频率和幅度，使用第一深度学习模型40，识别驾驶者是否有睡意。在某些实施例中，识别出驾驶者有睡意或无睡意。在另一些实施例中，识别出驾驶者有睡意的概率。作为示例性说明，第一深度学习模型40由方向盘数据预先训练得到，方向盘数据包括方向盘方向改变的频率和幅度，以及驾驶者是否有睡意的标签。作为示例性说明，第一深度学习模型40为卷积层网络架构，有24卷积层和2层全连结层。
点头动作检测模块312和哈欠动作检测模块313，根据一个时间窗内的面部实时图像，使用第二深度学习模型50识别驾驶者是否有点头动作和哈欠动作。一个时间窗内包含多帧连续的图像。在某些实施例中，第二深度学习模型50由面部实时图像训练所得。作为示例性说明，第二深度学习模型50为卷积层网络架构，有24卷积层和2层全连结层。
眼部张开检测模块314，根据面部实时图像，分析驾驶者眼部张开的百分比。口部张开检测模块315，根据面部实时图像，分析驾驶者口部张开的百分比。
在本申请实施例中，关于模型训练数据的内容和形式，模型训练方法是用约5000张真实图片去训练模型辨认口罩，笑，眼镜，打呵欠。训练方法是用上了24层卷积层接上2层全积层去计算。
在本申请实施例中，关于口部及眼部的百分比计算，通过用了图像分析方法的面部标志(face landmark)分析面部特征，分别用了face landmark中的点去计算口部及眼部像素点(pixel)作为面积。分别用了第37-42点去计算右眼的pixel，再用43-48点去计算左眼的pixel，而口部pixel则用第61-68点去计算。具体参考相关技术，本申请对此不做赘述。
作为示例性说明，最初先用10秒时间用上述方法得出正常情况下的口部，眼部的pixel作为正常情况下的口部，眼部面积，之后再实时侦测口部，眼部的pixel变化，就可以得出口部，眼部的面积变化。
决策模块316，根据方向盘检测模块311、点头动作检测模块312、哈欠动作检测模块313、眼部张开检测模块314、口部张开检测模块315中至少部分检测结果，确定驾驶者是否有睡意。
图4为本申请实施例提供的检测睡意的方法一种实施方式的流程图，如图4所示，检测睡意的方法包括步骤S402至步骤S404。
步骤S402，通过方向盘角度仪检测方向盘方向改变的频率和幅度；使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意。
步骤S404，通过光学图像传感器获取驾驶者的面部实时图像；使用第二深度学习模型，根据一个时间窗内的面部实时图像，识别驾驶者的点头动作和/或哈欠动作；根据点头动作和/或哈欠动作的频率确定驾驶者是否有睡意。
在某些实施例中，步骤S404中，如果5秒内侦测到3次或以上的点头，则确认为有睡意。
在某些实施例中，步骤S402中，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意，包括：使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者有睡意的概率；根据识别得到驾驶者有睡意的概率判断驾驶者是否有睡意；如果识别得到驾驶者有睡意的概率大于预设值(例如80％)，确定驾驶者有睡意。
在某些实施例中，检测睡意的方法还包括：根据面部实时图像分析驾驶者的眼部张开百分比和口部张开百分比；根据眼部张开百分比和口部张开百分比判断驾驶者是否有睡意。
其中，如果一个时间窗(例如3秒)内检测到，眼部张开百分比持续小于等于第一眼部张开预设值(例如20％)，或者口部张开百分比持续小于等于第一口部张开预设值(例如30％)，确定驾驶者有睡意。
其中，如果一个时间窗(例如5秒)内检测到，眼部张开百分比大于等于第二眼部张开预设值(例如40％)超过第二眼部次数，以及口部张开百分比大于等于第二口部张开预设值超过第二口部次数，根据眼部张开百分比和口部张开百分比的加权平均确定有睡意的概率；如果该概率(例如95％)大于预设值时，确定驾驶者有睡意。
在某些实施例中，步骤S402中，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意，包括：使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者有睡意的概率。检测睡意的方法还包括：根据眼部张开百分比、口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。如果该概率大于预设值(例如95％)时，确定驾驶者有睡意。
在某些实施例中，还包括检测驾驶者是否佩戴口罩，如果检测到驾驶者佩戴口罩，根据眼部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。在某些实施例中，还包括检测驾驶者是否佩戴有色眼镜，如果检测到驾驶者佩戴有色眼镜，根据口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。
在某些实施例中，检测睡意的方法还包括检测驾驶者是否在笑，其中，如果检测到驾驶者在笑，则根据口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。如果该概率大于预设值(例如95％)时，确定驾驶者有睡意。
在某些实施例中，检测睡意的方法还包括检测驾驶速度。如果检测到驾驶速度大于预设速度(例如10Km/h)，则步骤S402中，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意；否则，不使用方向盘方向改变的频率和幅度识别驾驶者是否有睡意。
在某些实施例中，检测睡意的方法还包括：根据面部实时图像分析驾驶者的面部是否持续朝下。如果驾驶者的面部持续朝下，确定驾驶者有睡意。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储睡意检测程序，被处理器执行时实现检测睡意的方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种使用深度学习模型检测睡意的方法，其特征在于，包括：
通过方向盘角度仪检测方向盘方向改变的频率和幅度；使用第一深度学习模型，根据一个时间窗内方向盘方向改变的频率和幅度，识别所述驾驶者是否有睡意；以及
通过光学图像传感器获取驾驶者的面部实时图像；使用第二深度学习模型，根据一个时间窗内的面部实时图像，识别所述驾驶者的点头动作和/或哈欠动作；根据点头动作和/或哈欠动作的频率确定所述驾驶者是否有睡意。
2.根据权利要求1所述的使用深度学习模型检测睡意的方法，其特征在于，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别所述驾驶者是否有睡意，包括：
使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别所述驾驶者有睡意的概率；
根据识别得到所述驾驶者有睡意的概率判断所述驾驶者是否有睡意；
如果识别得到所述驾驶者有睡意的概率大于预设值，确定所述驾驶者有睡意。
3.根据权利要求1所述的使用深度学习模型检测睡意的方法，其特征在于，还包括：
根据所述面部实时图像分析所述驾驶者的眼部张开百分比和口部张开百分比；
根据眼部张开百分比和口部张开百分比判断所述驾驶者是否有睡意；
如果一个时间窗内检测到，所述眼部张开百分比持续小于等于第一眼部张开预设值，或者所述口部张开百分比持续小于等于第一口部张开预设值，确定所述驾驶者有睡意；
如果所述一个时间窗内检测到，所述眼部张开百分比持续大于等于第二眼部张开预设值，以及所述口部张开百分比持续大于等于第二口部张开预设值，根据所述眼部张开百分比和所述口部张开百分比的加权平均确定有睡意的概率；如果所述概率大于预设值时，确定所述驾驶者有睡意。
4.根据权利要求3所述的使用深度学习模型检测睡意的方法，其特征在于，
使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别所述驾驶者是否有睡意，包括：使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别所述驾驶者有睡意的概率；
所述检测睡意的方法还包括：根据所述眼部张开百分比、所述口部张开百分比和所述第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率；其中，
如果检测到所述驾驶者佩戴口罩，根据所述眼部张开百分比和所述第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率；和/或
如果检测到所述驾驶者佩戴有色眼镜，根据所述口部张开百分比和所述第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。
5.根据权利要求4所述的使用深度学习模型检测睡意的方法，其特征在于，还包括检测所述驾驶者是否在笑，其中，如果检测到所述驾驶者在笑，根据所述口部张开百分比和所述第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。
6.根据权利要求1所述的使用深度学习模型检测睡意的方法，其特征在于，还包括检测驾驶速度；其中，如果检测到所述驾驶速度大于预设速度，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别所述驾驶者是否有睡意。
7.根据权利要求1所述的使用深度学习模型检测睡意的方法，其特征在于，还包括：
根据所述面部实时图像分析所述驾驶者的面部是否持续朝下；
如果所述驾驶者的面部持续朝下，确定所述驾驶者有睡意。
8.一种计算机设备，其特征在于，包括：
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的使用深度学习模型检测睡意的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有睡意检测程序，所述睡意检测程序被处理器执行时实现如权利要求1至7中任一项所述的使用深度学习模型检测睡意的方法的步骤。
10.一种检测睡意的系统，其特征在于，包括：
方向盘角度仪；
光学图像传感器；
计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
其中，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的使用深度学习模型检测睡意的方法的步骤。
CN202010222254.3A 2020-03-26 2020-03-26 一种使用深度学习模型检测睡意的方法、设备及系统 Pending CN113312948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010222254.3A CN113312948A (zh) 2020-03-26 2020-03-26 一种使用深度学习模型检测睡意的方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010222254.3A CN113312948A (zh) 2020-03-26 2020-03-26 一种使用深度学习模型检测睡意的方法、设备及系统

Publications (1)

Publication Number Publication Date
CN113312948A true CN113312948A (zh) 2021-08-27

Family

ID=77370152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010222254.3A Pending CN113312948A (zh) 2020-03-26 2020-03-26 一种使用深度学习模型检测睡意的方法、设备及系统

Country Status (1)

Country Link
CN (1) CN113312948A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN105139070A (zh) * 2015-08-27 2015-12-09 南京信息工程大学 基于人工神经网络和证据理论的疲劳驾驶评价方法
JP2019016178A (ja) * 2017-07-07 2019-01-31 マツダ株式会社 居眠り運転警報装置
CN109389806A (zh) * 2018-11-08 2019-02-26 山东大学 基于多信息融合的疲劳驾驶检测预警方法、系统及介质
CN110781872A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN105139070A (zh) * 2015-08-27 2015-12-09 南京信息工程大学 基于人工神经网络和证据理论的疲劳驾驶评价方法
JP2019016178A (ja) * 2017-07-07 2019-01-31 マツダ株式会社 居眠り運転警報装置
CN109389806A (zh) * 2018-11-08 2019-02-26 山东大学 基于多信息融合的疲劳驾驶检测预警方法、系统及介质
CN110781872A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别系统

Similar Documents

Publication Publication Date Title
US11461595B2 (en) Image processing apparatus and external environment recognition apparatus
Mbouna et al. Visual analysis of eye state and head pose for driver alertness monitoring
JP5127392B2 (ja) 分類境界確定方法及び分類境界確定装置
US20180107901A1 (en) Image processing device, object detection device, image processing method
CN111274881A (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN110826370B (zh) 车内人员的身份识别方法、装置、车辆及存储介质
CN110728218A (zh) 危险驾驶行为的预警方法、装置、电子设备及存储介质
CN112277957B (zh) 一种用于驾驶员分心纠正的预警方法及其系统、存储介质
WO2022161139A1 (zh) 行驶朝向检测方法、装置、计算机设备及存储介质
CN112699802A (zh) 一种驾驶员微表情检测装置及方法
CN112613471B (zh) 人脸活体检测方法、装置及计算机可读存储介质
Santos et al. Car recognition based on back lights and rear view features
CN115690892B (zh) 一种眯眼识别方法、装置、电子设备及存储介质
CN109770922B (zh) 嵌入式疲劳检测系统及方法
CN113312948A (zh) 一种使用深度学习模型检测睡意的方法、设备及系统
WO2023108364A1 (zh) 驾驶员状态检测方法、装置及存储介质
Juboori et al. Fatigue detection system for the drivers using video analysis of facial expressions
US20220058416A1 (en) Printed character recognition
Vinodhini et al. A behavioral approach to detect somnolence of CAB drivers using convolutional neural network
CN116052136B (zh) 分心检测方法、车载控制器和计算机存储介质
JP7230710B2 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム
Radhika et al. Container based Driver Fatigue System using IoT
Preetham et al. Investigations on Improving Drivers' Safety using Artificial Intelligence and Internet of Things
CN110191323B (zh) 一种汽车防刮蹭及刮蹭问责系统、方法、存储介质及终端
CN113435415A (zh) 一种基于图像增强技术的疲劳驾驶检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination