CN117765515A - 一种疲劳与不良行为监测预警方法及系统 - Google Patents

Abstract

本发明公开了一种疲劳与不良行为监测预警方法及系统，涉及监测技术领域，所述方法能够获取驾驶员红外图像及可见光图像，对所述红外图像和所述可见光图像进行融合处理，得到融合图像；对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置；基于所述眼部关键点位置获取眼高及视线变化值，基于所述下颌部关键点位置获取下颌部横纵比及嘴部横纵比；根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比确定疲劳与不良行为类型及其对应的危险程度；根据所述疲劳与不良行为类型及其对应的危险程度进行预警。本发明解决了现有技术疲劳与驾驶行为识别效率低，无法及时预警的问题。

Description

一种疲劳与不良行为监测预警方法及系统

技术领域

本发明涉及监测技术领域，具体涉及一种疲劳与不良行为监测预警方法及系统。

背景技术

驾驶监测是对车辆中驾驶人员的驾驶状态进行监测，利用DSM摄像头获取的图像，通过视觉跟踪、目标检测、动作识别等技术对驾驶员的驾驶行为及生理状态进行检测，当驾驶员发生疲劳、分心、打电话、抽烟等危险情况时在系统设定时间内报警以避免事故发生，能有效规范驾驶员的驾驶行为、大大降低交通事故发生的几率。

随着图像识别技术的逐渐发展，现有的汽车进行驾驶监测的过程，都是对整个驾驶仓进行识别，再根据手部、人脸等识别结果进行预警，这种方式需要识别的内容较多，计算量大，识别时间长，并且现有车载系统的图像识别在这么大的计算量下容易卡顿，进一步增加了识别时间，识别效率低，无法及时对驾驶员的疲劳与不良行为进行预警，导致交通事故的发生。

发明内容

针对现有技术中的缺陷，本发明提供一种疲劳与不良行为监测预警方法及系统，能够提供疲劳与危险驾驶识别效率。

一方面，一种疲劳与不良行为监测预警方法，包括：

获取驾驶员红外图像及可见光图像，对所述红外图像和所述可见光图像进行融合处理，得到融合图像；

对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置；

基于所述眼部关键点位置获取眼高及视线变化值，基于所述下颌部关键点位置获取下颌部横纵比及嘴部横纵比；

根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比确定疲劳与不良行为类型及其对应的危险程度；

根据所述疲劳与不良行为类型及其对应的危险程度进行预警。

优选的，对所述红外图像和所述可见光图像进行融合处理，得到融合图像，包括：

针对正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像分别赋予相应的计算权重；

基于所述红外图像、所述可见光图像的像素值以及所述计算权重，进行加权平均计算，得到融合图像

优选的，对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置，包括：

对所述融合图像进行分割，获取眼部区域图像和下颌部区域图像；

从所述眼部区域图像中提取眼部关键点位置；

从所述下颌部区域图像中提取嘴巴关键点位置和下颌部关键点位置。

优选的，所述眼部区域图像包括左眼区域图像和右眼区域图像，从所述目标眼部区域图像中提取眼部关键点位置，包括：

对所述左眼区域图像和右眼区域图像进行融合，得到融合眼部区域图像；

从所述融合眼部区域图像中提取关键点位置。

优选的，所述眼部关键点特征包括眼部最高点、眼球中心点、眼部最低点、眼部最右点和眼部最左点；所述嘴巴关键点包括嘴部最高点、嘴部最低点、嘴部最右点和嘴部最左点；所述下颌部关键点包括下颌骨最左点、下颌骨最右点和下巴最低点。

优选的，基于所述眼部关键点位置获取眼高及视线变化值，包括：

根据所述眼部最高点与所述眼部最低点确定眼高；

根据所述眼部最高点、眼部最低点、眼部最右点和眼部最左点确定拟合眼球中心点；

计算所述眼球中心点与所述拟合眼球中心点的距离以及所述眼球中心点偏离所述拟合眼球中心点的角度，根据所述距离和所述角度确定眼部视线变化值。

优选的，基于所述下颌部关键点位置获取下颌部横纵比及嘴部横纵比，包括：

根据所述嘴部最高点、嘴部最低点、嘴部最右点和嘴部最左点确定嘴巴横纵比；

根据下颌骨最左点、下颌骨和下巴最低点确定下颌部纵横比值。

优选的，根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比确定疲劳与不良行为类型及其对应的危险程度，包括：

在下颌部横纵比急剧减小，眼高急剧变低，且嘴部被手遮挡时，确定存在一级打哈欠行为，根据下颌部横纵比变小程度和眼高变小程度计算初始哈欠危险程度，根据嘴部被手遮挡的时长计算危险补偿值，根据所述初始哈欠危险程度和危险补偿值计算一级哈欠危险程度

在下颌部横纵比急剧减小，且眼高急剧变低时，确定存在二级打哈欠行为，根据下颌部横纵比变小程度和眼高变小程度计算二级哈欠危险程度；

在下颌部横纵比急剧变小，且眼高轻微变高时，确定存在三级打哈欠行为，根据所述下颌部横纵比变化程度计算初始哈欠危险程度，根据眼高变化程度计算危险抑制值，根据所述眼高变化程度和危险抑制值计算三级哈欠危险程度；

在眼高急剧变低至零时，确定存在闭眼行为，根据闭眼时长计算闭眼危险程度；

在视线变化值长时间大于预设变化阈值时，确定存在注意力分散行为，根据视线变化值和停留时间计算注意分散危险程度；

在下颌部横纵比无法识别时，确定存在接类打电话行为，根据无法识别时长计算接类打电话危险程度；

在嘴部横纵比无法识别时，确定存在类抽烟行为，根据无法识别时长计算类抽烟行为危险程度。

优选的，根据所述疲劳与不良行为类型及其对应的危险程度进行预警，包括：

在危险程度大于预设危险程度时，录制危险事件视频；

调取与所述疲劳与不良行为类型及其对应的危险程度对应的提示策略进行危险提示。

另一方面，一种疲劳与不良行为监测预警系统，包括：

图像采集模块，用于获取驾驶员红外图像及可见光图像，对所述红外图像和所述可见光图像进行融合处理，得到融合图像；

特征提取模块，用于对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置；

特征识别模块，用于基于所述眼部关键点位置获取眼高及视线变化值，基于所述下颌部关键点位置获取下颌部横纵比、嘴部横纵比及遮挡情况；

图像识别模块，用于根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比及遮挡情况确定疲劳与不良行为类型及其对应的危险程度；

危险预警模块，用于根据所述疲劳与不良行为类型及其对应的危险程度进行预警。

本发明的有益效果体现在：本发明实施例提供了一种疲劳与不良行为监测预警方法及系统，能够获取驾驶员红外图像及可见光图像，对所述红外图像和所述可见光图像进行融合处理，得到融合图像；对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置；基于所述眼部关键点位置获取眼高及视线变化值，基于所述下颌部关键点位置获取下颌部横纵比及嘴部横纵比；根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比确定疲劳与不良行为类型及其对应的危险程度；根据所述疲劳与不良行为类型及其对应的危险程度进行预警。本发明解决了现有技术疲劳与驾驶行为识别效率低，无法及时预警的问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明实施例提供了一种疲劳与不良行为监测预警方法的流程图；

图2为本发明实施例提供了一种疲劳与不良行为监测预警系统的结结构图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例1

如图1所示，本发明实施例提供了一种疲劳与不良行为监测预警方法，包括：

步骤1，获取驾驶员红外图像及可见光图像，对所述红外图像和所述可见光图像进行融合处理，得到融合图像。

在本发明实施例中，对所述红外图像和所述可见光图像进行融合处理，得到融合图像，包括针对正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像分别赋予相应的计算权重；基于所述红外图像、所述可见光图像的像素值以及所述计算权重，进行加权平均计算，得到融合图像。

其中，所述计算权重根据天气情况设置。

具体的，本实施例的多目摄像头包括红外摄像头以及可见光摄像头，该多目摄像头优选为双目摄像头，即包括一个红外摄像头以及一个可见光摄像头，摄像头正对驾驶员设置，以对驾驶员整个面部进行图像采集。在实际应用中，当司机在夜间或可见度较低的环境驾驶车辆时，传统的疲劳检测系统无法准确对司机的面部特征进行提取。一张彩色图片由3张灰度图像构成，利用第4幅则构成红外图像，红外图像能减少雾霾、烟尘等因素的干扰，在夜间有着卓越的图像效果，但在对比度、分辨率等方面，又不如可见光图像，故将二者结合互补，使得融合图像拥有更好的视觉效果和丰富的图像信息，可以大幅度的提高图像信息的利用率、可信度和检测判别精度。

应当说明的是，对于本实施例方法的触发时机，通常是在接收到汽车启动指令时，调用多目摄像头实时采集红外图像以及可见光图像。

具体的，本实施例采用基于空间域的加权平均融合方法对两种图像进行融合，对可见光图像和红外图像的像素点进行直接运算，也即将源图像像素的灰度值进行线性加权平均，从而综合两幅原始图像的像素信息，得到融合图像。

在本实施例一种实施方式中，上述将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像的步骤之前，还包括：将红外图像以及可见光图像中其中一幅图像作为待配准图像，并将另一幅图像作为参考图像；对待配准图像以及参考图像分别进行特征提取得到特征点，并通过相似性度量匹配特征点对；通过特征点对之间的相对关系确定图像空间坐标变换参数；基于图像空间坐标变换参数对待配准图像进行图像配准。

通过步骤1，本发明实施例可获取精准的图像信息，以减少夜间、天气不好等光照不足的情况对图像识别的影响，极大提高了图像识别精度。

步骤2，对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置。

在进行人脸特征提取之前，还需要构建人脸特征提取模型。本发明实施例构建的人脸提取模块对图像进行分割，并且能够对分割后的图像进行独立特征提取。

在本发明实施例中，对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置，包括：对所述融合图像进行分割，获取眼部区域图像和下颌部区域图像；从所述眼部区域图像中提取眼部关键点位置；从所述下颌部区域图像中提取嘴巴关键点位置和下颌部关键点位置；对所述左眼区域图像和右眼区域图像进行融合，得到融合眼部区域图像；从所述融合眼部区域图像中提取关键点位置。其中，所述眼部关键点特征包括眼部最高点、眼球中心点、眼部最低点、眼部最右点和眼部最左点；所述嘴巴关键点包括嘴部最高点、嘴部最低点、嘴部最右点和嘴部最左点；所述下颌部关键点包括下颌骨最左点、下颌骨最右点和下巴最低点。

通过对融合图像进行分割，可以将图像分成眼部区域图像和下颌部区域图像，以便更好地关注感兴趣的区域。分割可以使用图像处理技术，如阈值分割、边缘检测或语义分割等方法。不需要去计算脸部轮廓、手部轮廓和眉毛等数据，有利于提高识别效率。另外，在进行眼部特征提取时，对左右眼图像提前进行了融合，采用融合后的眼睛图像可以提高识别精度，且不需要重复对左右眼进行特征提取，进一步提高了特征提取效率。

步骤3，基于所述眼部关键点位置获取眼高及视线变化值，基于所述下颌部关键点位置获取下颌部横纵比及嘴部横纵比。

在本发明实施例中，基于所述眼部关键点位置获取眼高及视线变化值，包括：根据所述眼部最高点与所述眼部最低点确定眼高；根据所述眼部最高点、眼部最低点、眼部最右点和眼部最左点确定拟合眼球中心点；计算所述眼球中心点与所述拟合眼球中心点的距离以及所述眼球中心点偏离所述拟合眼球中心点的角度，根据所述距离和所述角度确定眼部视线变化值；根据所述嘴部最高点、嘴部最低点、嘴部最右点和嘴部最左点确定嘴巴横纵比；根据下颌骨最左点、下颌骨和下巴最低点确定下颌部纵横比值。

具体的，根据所述眼部最高点、眼部最低点所在直线，所述眼部最右点和眼部最左点所在直线的交点确定拟合眼部中心点。

需要说明的是，由于驾驶员可能存在偏头情况，得到眼部视线变化值后，还需要根据根据所述眼部最高点和眼部最左点的距离、所述眼部最高点与眼部最右点的距离的差值确定矫正系数，根据所述矫正系数对眼部视线变化值进行矫正，得到最终的眼部视线变化值。

本发明实施例根据关键点的位置和测量值，可以得出眼高和视线变化值、嘴巴横纵比以及下颌部纵横比值。眼高是通过眼部最高点与眼部最低点之间的距离来确定的，可以反映眼睛在垂直方向上的位置。拟合眼球中心点是通过眼部最高点、眼部最低点、眼部最右点和眼部最左点来确定的，用于估计眼球的中心位置。眼部视线变化值是通过计算眼球中心点与拟合眼球中心点之间的距离和角度来确定的，用于表示眼球在空间中的偏移程度和方向变化。嘴巴横纵比是通过嘴部最高点、嘴部最低点、嘴部最右点和嘴部最左点来确定的，用于描述嘴巴在水平和垂直方向上的形状比例。下颌部纵横比值是通过下颌骨最左点、下颌骨和下巴最低点来确定的，用于表示下颌部在垂直和水平方向上的比例。

为了提高识别效率，本发明实施例进步减少了需要提取的特征点，通过少量的特征点，就可以实现疲劳与不良行为的精准监测预警。

步骤4，根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比确定疲劳与不良行为类型及其对应的危险程度。

哈欠是一种属条件反射的深呼吸活动，人在疲倦时大脑神经支配的一种生理反应，通常是由于疲劳、睡眠不足、缺氧或无聊等因素引起的。哈欠开始时，由于口腔和咽喉部肌肉强烈收缩，使口腔强制开大，与此同时胸腔扩展，双肩抬高，使肺能吸入较平常为多的空气。呼气时，大量二氧化碳也随之被排出。当血中二氧化碳浓度降到正常范围后，不再刺激人体的哈欠反射，于是人便不再打哈欠了，打哈欠过程中一般伴有闭眼和手部动作，因此，本发明实施例以眼睛变化情况、下颌部变化情况及嘴部变化情况来识别、评估打哈欠行为。另外，由于打哈欠行为中的闭眼和手部动作都是可以认为控制的，因此，本发明实施例以下颌部横纵比变化情况来打哈欠危险程度，以眼睛的变化情况和手部的变化情况来确定对应的抑制和补偿程度。

具体的，当下颌部横纵比急剧减小、眼高急剧变低，并且嘴部被手遮挡时，可确定存在一级打哈欠行为。一级打哈欠的危险程度可以根据下颌部横纵比和眼高的变化程度进行计算。下颌部横纵比变小程度和眼高变小程度越大，一级打哈欠的危险程度越高。此外，嘴部被手遮挡的时长也可以作为危险补偿值进行计算，以进一步确定一级打哈欠的危险程度。

具体的，当下颌部横纵比急剧减小并且眼高急剧变低时，可确定存在二级打哈欠行为。二级打哈欠的危险程度可以根据下颌部横纵比和眼高的变化程度进行计算。下颌部横纵比变小程度和眼高变小程度越大，二级打哈欠的危险程度越高。

具体的，当下颌部横纵比急剧变小并且眼高轻微变高时，可确定存在三级打哈欠行为。三级打哈欠的危险程度可以根据下颌部横纵比的变化程度和眼高的变化程度进行计算。下颌部横纵比变小程度越大，初始哈欠的危险程度越高；而眼高的变化程度可以作为危险抑制值，即程度越大，表示哈欠的危险程度越低。

这些级别和程度的划分可以用于评估和衡量不同打哈欠行为的危险程度，从而提醒人们采取相应的措施，如休息、补充睡眠或寻找其他刺激来提神。

闭眼行为是指眼睛完全关闭的状态，即无法看到外界的光线和景象。闭眼行为通常发生在人们感到疲劳、困倦或需要休息的时候。闭眼行为对于安全而言可能具有一定的风险，特别是在需要保持警觉和集中注意力的活动中，如驾驶汽车、操作机器设备或进行精细工作等。在这些情况下，闭眼行为可能导致注意力不集中，增加发生事故或错误的风险。

具体的，当眼高急剧变低至零时，可以确定存在闭眼行为。闭眼的危险程度可以根据闭眼的时长进行评估。闭眼的时长越长，表示人们处于闭眼状态的时间越久，这可能意味着他们的注意力和警觉度降低，因此闭眼的危险程度也相应增加。

需要说明的是，在计算闭眼危险程度时，还应当考虑单次闭眼时长、两次闭眼时间间隔、监测周期内的连续闭眼次数以及闭眼的时间衰减。

具体的，在视线变化值长时间大于预设变化阈值时，确定存在注意力分散行为，根据视线变化值和停留时间计算注意分散危险程度。

需要说明的是，为了进一步减少计算量，在拟合眼球中心点之后，可以拟合眼球中心点为圆心，按照预设半径参数拟合多个不同危险程度的同心圆，根据同心圆所在区域对应的危险程度确定注意力分散危险程度。

为了进一步提高识别效率，本发明实施例并不对抽烟行为和打电话行为进行精准识别，是需要识别到类行为即可，这是因为无论时抽烟行为还是吃东西喝水等类抽烟行为，无法是打电话还是戴耳机等类抽烟行为，都会让驾驶员的手部脱离方向盘，容易导致交通事故的发生。

具体的，在下颌部横纵比无法识别时，确定存在接类打电话行为，根据无法识别时长计算接类打电话危险程度；在嘴部横纵比无法识别时，确定存在类抽烟行为，根据无法识别时长计算类抽烟行为危险程度。

需要注意的是，若要进一步识别精准行为，可对这种车内烟雾传感器配合识别抽烟行为，根据声音传感器识别打电话行为。

步骤5，根据所述疲劳与不良行为类型及其对应的危险程度进行预警。

在本发明实施例中，根据所述疲劳与不良行为类型及其对应的危险程度进行预警，包括：在危险程度大于预设危险程度时，录制危险事件视频；调取与所述疲劳与不良行为类型及其对应的危险程度对应的提示策略进行危险提示。

具体的，当监测到存在疲劳与不良行为时，会自动录制驾驶仓内的视频并结合车辆行驶数据，生成危险事件视频，在网络良好时，将该危险事件发送给管理终端。通过危险事件视频为驾驶员工作评估和事故调查等提供重要的证据，方便后续追溯。基于疲劳与不良行为类型及其对应的危险程度，选择合适的提示策略进行危险提示。例如，通过声音警报、震动座椅或仪表盘上的警示灯来提醒驾驶员注意安全，避免潜在的事故。

驾驶员可能同时存在上述一项或者多项疲劳与不良驾驶行为，在存在多项是，根据各个类型对应的权重计算其综合危险值，根据类型和综合危险值进行提示。

本发明实施例通过危险事件视频，可帮助评价驾驶员及确定事故责任，通过危险提示，使得驾驶员可以及时采取行动，改变不良行为或休息，从而降低事故风险，有助于提高道路安全性，保护驾驶员和其他道路使用者的生命和财产安全。

综上，本发明实施例提供了一种疲劳与不良行为监测预警方法，能够获取驾驶员红外图像及可见光图像，对所述红外图像和所述可见光图像进行融合处理，得到融合图像；对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置；基于所述眼部关键点位置获取眼高及视线变化值，基于所述下颌部关键点位置获取下颌部横纵比及嘴部横纵比；根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比确定疲劳与不良行为类型及其对应的危险程度；根据所述疲劳与不良行为类型及其对应的危险程度进行预警。本发明解决了现有技术疲劳与驾驶行为识别效率低，无法及时预警的问题。

实施例2

如图2所示，本发明实施例提供了一种疲劳与不良行为监测预警系统，包括：

图像采集模块，用于获取驾驶员红外图像及可见光图像，对所述红外图像和所述可见光图像进行融合处理，得到融合图像；

特征提取模块，用于对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置；

特征识别模块，用于基于所述眼部关键点位置获取眼高及视线变化值，基于所述下颌部关键点位置获取下颌部横纵比、嘴部横纵比及遮挡情况；

图像识别模块，用于根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比及遮挡情况确定疲劳与不良行为类型及其对应的危险程度；

危险预警模块，用于根据所述疲劳与不良行为类型及其对应的危险程度进行预警。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种疲劳与不良行为监测预警方法，其特征在于，包括：

获取驾驶员红外图像及可见光图像，对所述红外图像和所述可见光图像进行融合处理，得到融合图像；

对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置；

基于所述眼部关键点位置获取眼高及视线变化值，基于所述下颌部关键点位置获取下颌部横纵比及嘴部横纵比；

根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比确定疲劳与不良行为类型及其对应的危险程度；

根据所述疲劳与不良行为类型及其对应的危险程度进行预警。

2.根据权利要求1所述的一种疲劳与不良行为监测预警方法，其特征在于，对所述红外图像和所述可见光图像进行融合处理，得到融合图像，包括：

针对正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像分别赋予相应的计算权重；

基于所述红外图像、所述可见光图像的像素值以及所述计算权重，进行加权平均计算，得到融合图像。

3.根据权利要求1所述的一种疲劳与不良行为监测预警方法，其特征在于，对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置，包括：

对所述融合图像进行分割，获取眼部区域图像和下颌部区域图像；

从所述眼部区域图像中提取眼部关键点位置；

从所述下颌部区域图像中提取嘴巴关键点位置和下颌部关键点位置。

4.根据权利要求3所述的一种疲劳与不良行为监测预警方法，其特征在于，所述眼部区域图像包括左眼区域图像和右眼区域图像，从所述目标眼部区域图像中提取眼部关键点位置，包括：

对所述左眼区域图像和右眼区域图像进行融合，得到融合眼部区域图像；

从所述融合眼部区域图像中提取关键点位置。

5.根据权利要求3所述的一种疲劳与不良行为监测预警方法，其特征在于，所述眼部关键点特征包括眼部最高点、眼球中心点、眼部最低点、眼部最右点和眼部最左点；所述嘴巴关键点包括嘴部最高点、嘴部最低点、嘴部最右点和嘴部最左点；所述下颌部关键点包括下颌骨最左点、下颌骨最右点和下巴最低点。

6.根据权利要求5所述的一种疲劳与不良行为监测预警方法，其特征在于，基于所述眼部关键点位置获取眼高及视线变化值，包括：

根据所述眼部最高点与所述眼部最低点确定眼高；

根据所述眼部最高点、眼部最低点、眼部最右点和眼部最左点确定拟合眼球中心点；

计算所述眼球中心点与所述拟合眼球中心点的距离以及所述眼球中心点偏离所述拟合眼球中心点的角度，根据所述距离和所述角度确定眼部视线变化值。

7.根据权利要求5所述的一种疲劳与不良行为监测预警方法，其特征在于，基于所述下颌部关键点位置获取下颌部横纵比及嘴部横纵比，包括：

根据所述嘴部最高点、嘴部最低点、嘴部最右点和嘴部最左点确定嘴巴横纵比；

根据下颌骨最左点、下颌骨和下巴最低点确定下颌部纵横比值。

8.根据权利要求6所述的一种疲劳与不良行为监测预警方法，其特征在于，根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比确定疲劳与不良行为类型及其对应的危险程度，包括：

在下颌部横纵比急剧减小，眼高急剧变低，且嘴部被手遮挡时，确定存在一级打哈欠行为，根据下颌部横纵比变小程度和眼高变小程度计算初始哈欠危险程度，根据嘴部被手遮挡的时长计算危险补偿值，根据所述初始哈欠危险程度和危险补偿值计算一级哈欠危险程度；

在下颌部横纵比急剧减小，且眼高急剧变低时，确定存在二级打哈欠行为，根据下颌部横纵比变小程度和眼高变小程度计算二级哈欠危险程度；

在下颌部横纵比急剧变小，且眼高轻微变高时，确定存在三级打哈欠行为，根据所述下颌部横纵比变化程度计算初始哈欠危险程度，根据眼高变化程度计算危险抑制值，根据所述眼高变化程度和危险抑制值计算三级哈欠危险程度；

在眼高急剧变低至零时，确定存在闭眼行为，根据闭眼时长计算闭眼危险程度；

在视线变化值长时间大于预设变化阈值时，确定存在注意力分散行为，根据视线变化值和停留时间计算注意分散危险程度；

在下颌部横纵比无法识别时，确定存在接类打电话行为，根据无法识别时长计算接类打电话危险程度；

在嘴部横纵比无法识别时，确定存在类抽烟行为，根据无法识别时长计算类抽烟行为危险程度。

9.根据权利要求6所述的一种疲劳与不良行为监测预警方法，其特征在于，根据所述疲劳与不良行为类型及其对应的危险程度进行预警，包括：

在危险程度大于预设危险程度时，录制危险事件视频；

调取与所述疲劳与不良行为类型及其对应的危险程度对应的提示策略进行危险提示。

10.一种疲劳与不良行为监测预警系统，其特征在于，包括：

图像采集模块，用于获取驾驶员红外图像及可见光图像，对所述红外图像和所述可见光图像进行融合处理，得到融合图像；

特征提取模块，用于对所述融合图像进行人脸特征提取，获取眼部关键点位置和下颌部关键点位置；

特征识别模块，用于基于所述眼部关键点位置获取眼高及视线变化值，基于所述下颌部关键点位置获取下颌部横纵比、嘴部横纵比及遮挡情况；

图像识别模块，用于根据所述眼高、视线变化值、下颌部横纵比、嘴部横纵比及遮挡情况确定疲劳与不良行为类型及其对应的危险程度；

危险预警模块，用于根据所述疲劳与不良行为类型及其对应的危险程度进行预警。