CN112241647A - 一种基于深度相机的危险驾驶行为预警装置和方法 - Google Patents

一种基于深度相机的危险驾驶行为预警装置和方法 Download PDF

Info

Publication number
CN112241647A
CN112241647A CN201910640578.6A CN201910640578A CN112241647A CN 112241647 A CN112241647 A CN 112241647A CN 201910640578 A CN201910640578 A CN 201910640578A CN 112241647 A CN112241647 A CN 112241647A
Authority
CN
China
Prior art keywords
face
depth
mouth
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910640578.6A
Other languages
English (en)
Other versions
CN112241647B (zh
Inventor
张维忠
袁翠梅
李金宝
李广文
张宏峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Dianzhiyun Intelligent Technology Co ltd
Original Assignee
Qingdao Dianzhiyun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Dianzhiyun Intelligent Technology Co ltd filed Critical Qingdao Dianzhiyun Intelligent Technology Co ltd
Priority to CN201910640578.6A priority Critical patent/CN112241647B/zh
Publication of CN112241647A publication Critical patent/CN112241647A/zh
Application granted granted Critical
Publication of CN112241647B publication Critical patent/CN112241647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度相机的危险驾驶行为预警装置和方法，包括深度相机、特征点定位模块、状态识别模块、驾驶状态预警模块，首先获取红外图像与深度图像样本，获取人脸区域、人脸特征点，基于获取的人脸特征点集合及危险状态评估，包括打电话行为检测、抽烟行为检测、正视行为检测、观看视频检测、手机屏幕亮度监测。本发明基于深度相机的疲劳驾驶检测及危险驾驶行为识别算法，利用人脸特征点的标定，实现了对驾驶员的危险驾驶行为进行预警，实验证明，本算法稳定性好，对系统要求较低，可移植到嵌入式系统上使用，具有较强的实用价值，鲁邦性强，可适用于复杂光线变化的场景。

Description

一种基于深度相机的危险驾驶行为预警装置和方法
技术领域
本发明涉及驾驶监控预警技术领域，具体涉及一种基于深度相机 的危险驾驶行为预警装置和方法。
背景技术
当前我国是汽车制造大国，汽车保有量居世界第二，不断增多的 车辆带来的不仅是出行的便利，也带来了一系列的问题。其中，频繁 发生的交通事故已经成为最重要的问题，每年发生的交通事故造成的 死亡人数逐年递增，并且据美国国家公路交通安全管理局(NHTSA) 的调查报告显示，在发生的事故中，由危险驾驶行为引起的交通事故 占了很大的比例，比如吸烟、接打电话等，目前这些危险行为一般采 用在车内安装烟感器检测是否有烟雾产生，对应吸烟，但是车内吸烟 的不一定是司机，在方向盘上安装压力传感器，检测司机的手是否离 开方向盘，以确定是否接打电话或者是抽烟，危险驾驶行为检测一直 是一个难点，像抽烟、打电话等行为无法很好的检测，大部分的抽烟 检测都仅能在白天进行识别，且运行效率低，识别率低,传统的机器 学习和深度学习有样本库较少、环境复杂、复杂度高、速度低等问题。
发明内容
为克服所述不足，本发明的目的在于提供一种基于深度相机的危 险驾驶行为预警装置和方法。
本发明解决其技术问题所采用的技术方案是：一种基于深度相机 的危险驾驶行为预警装置，包括深度相机、特征点定位模块、状态识 别模块、驾驶状态预警模块。
所述深度相机安装在驾驶员的前方，用于获取驾驶员的不戴眼 睛、戴眼镜正面图像集合；
人脸特征点定位模块提取深度相机的每帧图像的视觉特征参数， 通过红外图像预处理后识别面部，进而使用随机森林和全局线性回归 相结合的方法训练出的LBF特征模型获取人脸特征点；
状态识别模块用于对人脸特征点定位模块提取的人脸进行分析， 提取眼睛状态信息、嘴巴状态信息，获得眼睛状态、嘴巴状态的识别 结果返回值；
驾驶状态预警模块对眼睛状态和嘴巴状态进行综合分析，获得驾 驶员的危险评估结果，若超出设定值，这进行危险状态预警。
所述深度相机采用Intel Realsense深度摄像头。
一种基于深度相机的危险驾驶行为预警方法，包括以下步骤：
S1获取红外图像与深度图像样本
深度相机获取人脸图像样本；
S2离线训练获取人脸区域、人脸特征点，具体包括以下方法：
S21人脸区域检测
采用局部二值模式进行人脸检测；
S22获取人脸特征点
在获得人脸区域后，包括正面脸部区域和侧面脸部区域，使用 Ren Shaoqing提出的随机森林和全局线性回归相结合的方法，进行 人脸标定获取特征点，有较高的准确率和实时性，包括以下步骤：
S221首先使用随机森林算法和形状索引特征得到图像的局部二 值特征,然后线性回归求解回归模型，然后使用训练得到的特征图和 线性方程得到更新后的人脸区域Δs,与上一个阶段相加得到当前步 骤的人脸区域，不断迭代直至结束；
S222使用OpenCV3.4及其contrib模块加载模型，首先创建人 脸关键点检测对象类对象，然后加载训练后的人脸对齐模型，并创建 存储人脸关键点的容器，在检测到人脸的区域内，检测人脸关键点， 这样可以缩减检测区域，提高标定的准确率和实时性，然后绘制出特 征点，并把特征点转为类获取特征点坐标；
在人脸检测前，因通过红外得到的灰度图像偏暗，需对其进行直 方图均衡化，处理后的图像面部识别率明显提高，在预处理后再进行 人脸检测与特征点检测。
S23获取戴眼镜时，人脸特征点
在S21、S22的基础上加入戴眼镜检测来对应相应的阈值，戴眼 镜的人脸特征点检测的具体算法如下：
S231对获得的红外图像进行预处理，使用均值滤波平滑图像；
S232使用sobel算子，进行图像Y方向的边缘检测；
S233对边缘检测后的面部图像，进行二值化处理；
S234利用S22中求得的面部特征点，计算出两眼的中间坐标与 鼻部特征点的距离、眼睛的内角点，以此来分割出眼镜中间特征点区 域，分割出的面部特征点戴眼镜与不戴眼镜的情况；
S235在分割的面部特征区域，求眼镜边缘占面部特征区域的百 分比，即白色像素所占比值，比值超过一定阈值时为戴眼镜情况；
S3危险状态评估
S31打电话行为检测
S311在前面用红外图像获得了人脸区域，在此区域的基础上， 把其宽度拓展为1.5倍，获取区域为头部区域，为了排除座椅靠背等 深度图像中的非面部噪声，利用深度信息去除噪声，获得去噪后的头 部深度图像后，将其转换为8位的灰度图像，然后使用自动阈值对其 进行二值化处理，再对二值化后的图像取反获得明显轮廓的二值图 像；
S312获取连通区域
得到头部的二值化图像后，从图像中查找轮廓，得到连通域，计 算并得出其面部连通域面积，根据连通域的变化情况，即可获得头部 状态，当前面部深度与上一帧深度面部深度的差值，当差值范围变化 到达一定阈值时，发出危险驾驶的预警；
S32抽烟行为检测
S321利用获取的面部特征点，定位嘴部区域
选取嘴部区域，取嘴部宽度方向的最左边特征点的x坐标的起 点，选取鼻部最下边缘的特征点为嘴部区域y坐标的起点，嘴部宽度 方向的最右边特征点与嘴部宽度方向的最左边特征点的x坐标的差 值为嘴部区域的宽，嘴部最下端的特征点与鼻部最下边缘的特征点的 y坐标的差值为嘴部区域的高，即为选定的嘴部ROI区域；
S322计算嘴部深度像素
对嘴部区域内的所有深度像素，累加求和然后求得平均值，即当 前嘴部深度，保存上一帧的嘴部深度，将当前帧嘴部深度与上一帧的 嘴部深度做差，记录嘴部深度差值，另一方面，选取鼻部下边缘两端 的特征点，以及两眼睛内角点为特征点的之间的区域为鼻部区域，计 算该鼻部区域的深度像素平均值，保存当前鼻部深度，将当前帧的嘴 部深度与鼻部深度做差，记录嘴鼻差值；
S323判断是否吸烟
将当前帧嘴部深度与上一帧的嘴部深度差值、嘴部深度与鼻部深 度差值联合判断是否发生抽烟行为，可以据此找出阈值，通过是否到 达阈值判断是否发生抽烟行为，当达到阈值时，驾驶状态预警模块发 出预警信号；
S33正视行为检测
在驾驶员行车过程中，是否正视前方也是危险驾驶行为的一个重 要判定行为，超30％的车祸是因为不注视前方，侧脸与他人交谈发生 的，因此采用基于LBP特征的侧脸检测模型检测识别侧脸，正视行为 检测流程如下:
S331红外图像直方图均衡化，高斯滤波平滑去噪；
S332使用OpenCV加载基于LBP特征的人脸检测模型，实时检测 人脸；
S333因训练的LBP侧脸检测模型只是左侧脸单脸检测模型，因 此对检测到的人脸区域求其关于Y轴对称的图像。
S334对分割出的人脸区域与其Y轴对称图像，使用LBP侧脸检 测模型检测侧脸；
S335当正脸未被检测到时，侧脸计时器开始计时，如计时中正 脸被检测到，计时器置零；
S336当计时器计时达2s时，判断发生侧脸交谈等未注视前方行 为，启动发出预警。
本发明具有以下有益效果：本发明基于深度相机的疲劳驾驶检测 及危险驾驶行为识别算法，利用人脸特征点的标定，实现了对驾驶员 的危险驾驶行为进行预警，实验证明，本算法稳定性好，对系统要求 较低，可移植到嵌入式系统上使用，具有较强的实用价值，鲁邦性强， 可适用于复杂光线变化的场景，为夜间的危险驾驶预警提供了新方 法，具有较高的实用价值。
附图说明
图1为本发明的流程示意图。
图2为本发明的LBP算子示意图。
图3为本发明的预处理后的人脸检测与特征点获取示意图。
图4为本发明的打电话状态的深度图像。
图5为本发明的打电话状态的二值图像。
图6为本发明的打电话连通域图。
图7为本发明的连通域波形图。
图8为本发明的连通域变化图。
图9为本发明的68特征点图。
图10为本发明的ROI区域图。
图11为本发明的嘴部深度差值变化图。
图12为本发明的嘴鼻差值变化图。
图13为本发明的分割的人脸图。
图14为本发明的分割的人脸Y轴对称图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
如图1-14所示的一种基于深度相机的疲劳驾驶预警系统，包括 深度相机、人脸特征点定位模块、状态识别模块、驾驶状态预警模块；
所述深度相机安装在驾驶员的前方，用于获取驾驶员的不戴眼 睛、戴眼镜正面图像集合；
人脸特征点定位模块提取深度相机的每帧图像的视觉特征参数， 通过红外图像预处理后识别面部，进而使用随机森林和全局线性回归 相结合的方法训练出的LBF特征模型获取人脸特征点；
状态识别模块用于对人脸特征点定位模块提取的人脸进行分析， 提取眼睛状态信息、嘴巴状态信息，获得眼睛状态、嘴巴状态的识别 结果返回值；
驾驶状态预警模块对眼睛状态和嘴巴状态进行综合分析，获得驾 驶员的危险评估结果，若超出设定值，这进行危险状态预警。
所述深度相机采用Intel Realsense深度摄像头。
一种基于深度相机的危险驾驶行为预警方法，包括以下步骤：
S1获取红外图像与深度图像样本
深度相机获取人脸图像样本；
S2离线训练获取人脸区域、人脸特征点，具体包括以下方法：
S21人脸区域检测
采用局部二值模式进行人脸检测，所述局部二值模式LBP(Local BinaryPatterns)算子是在一个3*3的窗口内取其中心像素值为阈 值，周围8个像素值与其比较，大于标记为1，否则为0，首先计算 图像的LBPi，其中图像大小为(w-2*radius，h-2*radius)，然后计算 各像素在第n邻域所对应像素的偏移坐标，利用双线性差值计算像素(x,y)第n邻域的灰度值和编码，得出所以像素的LBP编码值，计算 每个LBPi图像的宽度和高度，按行统计每个LBPi直方图各值高度， 将结果存储在HIST中，并将高度除以(宽度*高度)，进行直方图归 一化，以行为主序列将HIST转换为1维的向量矩阵，最后计算直方 图之间的距离来判定是否为人脸；
S22获取人脸特征点
在获得人脸区域后，包括正面脸部区域和侧面脸部区域，使用 Ren Shaoqing提出的随机森林和全局线性回归相结合的方法，进行 人脸标定获取特征点，有较高的准确率和实时性，包括以下步骤：
S221首先使用随机森林算法和形状索引特征得到图像的局部二 值特征,然后线性回归求解回归模型，然后使用训练得到的特征图和 线性方程得到更新后的人脸区域Δs,与上一个阶段相加得到当前步 骤的人脸区域，不断迭代直结束；
S222使用OpenCV3.4及其contrib模块加载模型，首先创建人 脸关键点检测对象类对象，然后加载训练后的人脸对齐模型，并创建 存储人脸关键点的容器，在检测到人脸的区域内，检测人脸关键点， 这样可以缩减检测区域，提高标定的准确率和实时性，然后绘制出特 征点，并把特征点转为类获取特征点坐标；
在人脸检测前，因通过红外得到的灰度图像偏暗，需对其进行直 方图均衡化，处理后的图像面部识别率明显提高，在预处理后再进行 人脸检测与特征点检测。
S23获取戴眼镜时，人脸特征点
由于是否佩戴眼镜会对EAR阈值产生影响，因佩戴眼镜使图像中 的人眼特征点拟合产生了影响，在S2.1、S2.2的基础上加入戴眼镜 检测来对应相应的阈值，戴眼镜的人脸特征点检测的具体算法如下：
S231对获得的红外图像进行预处理，使用均值滤波平滑图像；
S232使用sobel算子，进行图像Y方向的边缘检测；
S233对边缘检测后的面部图像，进行二值化处理；
S234利用S22中求得的面部特征点，计算出两眼的中间坐标与 鼻部特征点的距离、眼睛的内角点，以此来分割出眼镜中间特征点区 域，分割出的面部特征点戴眼镜与不戴眼镜的情况；
S235在分割的面部特征区域，求眼镜边缘占面部特征区域的百 分比，即白色像素所占比值，比值超过一定阈值时为戴眼镜情况；
S3危险状态评估
S31打电话行为检测
S311在前面用红外图像获得了人脸区域，在此区域的基础上， 把其宽度拓展为1.5倍，以便可以正确的捕获打电话等手部状态，此 区域为头部(ROI)区域，原始的深度图像边缘多锯齿状，先对其做 形态学腐蚀处理，使其边缘更加平滑，在获得头部的ROI区域后，如 图4、图5所示，为了排除座椅靠背等深度图像中的非面部噪声，利 用深度信息去除噪声，将面部前后十公分范围外的深度像素置为零， 采用以下计算方法：
Figure BDA0002131715320000101
其中one_meter为深度图像中，一米所对应的深度值，Dface为 人脸区域深度像素的平均值，即面部到摄像头的距离Dface：
Figure BDA0002131715320000102
获得去噪后的头部深度图像后，将其转换为8位的灰度图像，然 后使用自动阈值对其进行二值化处理，再对二值化后的图像取反获得 明显轮廓的二值图像，如图6所示；
S312获取连通区域
得到头部的二值化图像后，从图像中查找轮廓，得到联通域，计 算并得出其面部连通域面积，根据连通域的变化情况，即可获得头部 状态。在计算连通域变化时，如果人脸相对摄像头的距离发生明显的 变化，即人脸占据屏幕的比值变大时会产生干扰，为了消除前后移动 使头部区域大小变化的影响，计算当前面部深度与上一帧面部深度的 差值，当面部深度差值范围变化在0.01，即1公分以内时，才进行 计算，计算当前帧的面部连通区域与前一帧的面部连通区域的比值， 只有打电话或手置于侧面等危险驾驶行为时，当前帧的面部连通区域 与前一帧的面部连通区域的比值才会发生明显变化，面部通域在发生 危险驾驶行为时的变化，和当前帧的面部连通区域与前一帧的面部连 通区域的比值areachange的变化情况如图7、图8所示，进而可通过 数据分析求出阈值，当当前帧的面部连通区域与前一帧的面部连通区 域的比值到达阈值时，发出危险驾驶的预警，阈值设为1.1，当超出阈值时，驾驶状态预警模块发出预警信号；
S32抽烟行为检测
S321利用获取的面部特征点，定位嘴部区域
选取嘴部区域，取嘴部宽度方向的最左边特征点49的x坐标的 起点，选取鼻部最下边缘的特征点32为嘴部区域y坐标的起点，嘴 部宽度方向的最右边特征点55与嘴部宽度方向的最左边特征点49的 x坐标的差值为嘴部区域的宽，嘴部最下端的特征点58与鼻部最下 边缘的特征点32的y坐标的差值为嘴部区域的高，即为选定的嘴部 ROI区域；
S322计算嘴部深度像素
对嘴部区域内的所有深度像素，累加求和然后求得平均值，即当 前嘴部深度，保存上一帧的嘴部深度，将当前帧嘴部深度与上一帧的 嘴部深度做差，记录嘴部深度差值，另一方面，选取鼻部下边缘两端 的特征点32、36,以及两眼睛内侧端特征点40、43的区域为鼻部区 域，计算该鼻部区域的深度像素平均值，保存当前鼻部深度，将当前 帧的嘴部深度与鼻部深度做差，记录嘴鼻差值；
S323判断是否吸烟
嘴部深度差值与嘴鼻差值联合判断是否发生抽烟行为，经过实际 长时间的实验，绘制出的嘴部深度差值与嘴鼻差值变化图如图12所 示，可以清楚的看到当发生抽烟行为时，嘴部深度差值与嘴鼻差值会 出现明显的变化，可以据此找出阈值，嘴部深度差值为0.05，嘴鼻 差值阈值为500，通过是否到达阈值判断是否发生抽烟行为，当达到 阈值时，驾驶状态预警模块发出预警信号；
S33正视行为检测
在驾驶员行车过程中，是否正视前方也是危险驾驶行为的一个重 要判定行为，超30％的车祸是因为不注视前方，侧脸与他人交谈发生 的，因此采用基于LBP特征的侧脸检测模型检测识别侧脸，正视行为 检测流程如下:
S331红外图像直方图均衡化，高斯滤波平滑去噪；
S332使用OpenCV加载基于LBP特征的人脸检测模型，实时检测 人脸，如图13所示；
S333因训练的LBP侧脸检测模型只是左侧脸单脸检测模型，因 此对检测到的人脸区域求其关于Y轴对称的图像，如图14所示。
S334对分割出的人脸区域与其Y轴对称图像，使用LBP侧脸检 测模型检测侧脸；
S335当正脸未被检测到时，侧脸计时器开始计时，如计时中正 脸被检测到，计时器置零；
S336当计时器计时达2s时，判断发生侧脸交谈等未注视前方行 为，启动发出预警。
本发明不局限于所述实施方式，任何人应得知在本发明的启示下 作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入 本发明的保护范围之内。
本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (7)

1.一种基于深度相机的危险驾驶行为预警装置，其特征在于：包括深度相机、特征点定位模块、状态识别模块、驾驶状态预警模块；
所述深度相机安装在驾驶员的前方，用于获取驾驶员的不戴眼睛、戴眼镜正面图像集合；
人脸特征点定位模块提取深度相机的每帧图像的视觉特征参数，通过红外图像预处理后识别面部，进而使用随机森林和全局线性回归相结合的方法训练出的LBF特征模型获取人脸特征点；
状态识别模块用于对人脸特征点定位模块提取的人脸进行分析，提取眼睛状态信息、嘴巴状态信息，获得眼睛状态、嘴巴状态的识别结果返回值；
驾驶状态预警模块对眼睛状态和嘴巴状态进行综合分析，获得驾驶员的危险评估结果，若超出设定值，这进行危险状态预警。
2.根据权利要求1所述的一种基于深度相机的危险驾驶行为预警装置，其特征在于：所述深度相机采用Intel Realsense深度摄像头。
3.一种基于深度相机的危险驾驶行为预警方法，其特征在于：包括以下步骤：
S1获取红外图像与深度图像样本
深度相机获取人脸图像样本；
S2获取人脸区域、人脸特征点，具体包括：
S21人脸区域检测
采用局部二值模式进行人脸检测；
S22获取人脸特征点
在获得人脸区域后，包括正面脸部区域和侧面脸部区域，使用Ren Shaoqing提出的随机森林和全局线性回归相结合的方法，进行人脸标定获取特征点；
S3危险状态评估
S31打电话行为检测
S311在前面用红外图像获得了人脸区域，在此区域的基础上，把其宽度拓展为1.5倍，获取区域为头部区域，为了排除座椅靠背等深度图像中的非面部噪声，利用深度信息去除噪声，获得去噪后的头部深度图像后，将其转换为8位的灰度图像，然后使用自动阈值对其进行二值化处理，再对二值化后的图像取反获得明显轮廓的二值图像；
S312获取连通区域
得到头部的二值化图像后，从图像中查找轮廓，得到连通域，计算并得出其面部连通域面积，根据连通域的变化情况，即可获得头部状态，当前面部深度与上一帧深度的差值，当差值范围变化到达一定阈值时，发出危险驾驶的预警；
S32抽烟行为检测
S321利用获取的面部特征点，定位嘴部区域
选取嘴部区域，取嘴部宽度方向的最左边特征点的x坐标的起点，选取鼻部最下边缘的特征点为嘴部区域y坐标的起点，嘴部宽度方向的最右边特征点与嘴部宽度方向的最左边特征点的x坐标的差值为嘴部区域的宽，嘴部最下端的特征点与鼻部最下边缘的特征点的y坐标的差值为嘴部区域的高，即为选定的嘴部区域；
S322计算嘴部深度像素
对嘴部区域内的所有深度像素，累加求和然后求得平均值，即当前嘴部深度，保存上一帧的嘴部深度，将当前帧嘴部深度与上一帧的嘴部深度做差，记录嘴部深度差值，另一方面，选取鼻部下边缘两端的特征点，以及两眼睛内侧端特征点的区域为鼻部区域，计算该鼻部区域的深度像素平均值，保存当前鼻部深度，将当前帧的嘴部深度与鼻部深度做差，记录嘴鼻差值；
S323判断是否吸烟
将当前帧与上一帧的嘴部深度差值与嘴部深度与鼻部深度差值联合判断是否发生抽烟行为，可以据此找出阈值，通过是否到达阈值判断是否发生抽烟行为，当达到阈值时，驾驶状态预警模块发出预警信号；
S33正视行为检测
采用基于LBP特征的侧脸检测模型检测识别侧脸，判断发生侧脸交谈等未注视前方行为，启动发出预警。
4.根据权利要求3所述的一种基于深度相机的危险驾驶行为预警方法，其特征在于：所述步骤S2中的人脸特征点的方法为：
S221首先使用随机森林算法和形状索引特征得到图像的局部二值特征,然后线性回归求解回归模型，然后使用训练得到的特征图和线性方程得到更新后的人脸区域△s,与上一个阶段相加得到当前步骤的人脸区域，不断迭代直至结束；
S222使用OpenCV3.4及其contrib模块加载模型，首先创建人脸关键点检测对象类对象，然后加载训练后的人脸对齐模型，并创建存储人脸关键点的容器，在检测到人脸的区域内，检测人脸关键点，这样可以缩减检测区域，提高标定的准确率和实时性，然后绘制出特征点，并把特征点转为类获取特征点坐标。
5.根据权利要求3或4所述的一种基于深度相机的危险驾驶行为预警方法，其特征在于：在人脸检测前，因通过红外得到的灰度图像偏暗，需对其进行直方图均衡化，处理后的图像面部识别率明显提高，在预处理后再进行人脸检测与特征点检测。
6.根据权利要求4所述的一种基于深度相机的危险驾驶行为预警方法，其特征在于：所述步骤S2中获取人脸特征点，还包括获取佩戴眼镜时，人脸特征点，其具体算法如下：
S231对获得的红外图像进行预处理，使用均值滤波平滑图像；
S232使用sobel算子，进行图像Y方向的边缘检测；
S233对边缘检测后的面部图像，进行二值化处理；
S234利用S22中求得的面部特征点，计算出两眼的中间坐标与鼻部特征点的距离、眼睛的内角点，以此来分割出眼镜中间特征点区域，分割出的面部特征点戴眼镜与不戴眼镜的情况；
S235在分割的面部特征区域，求眼镜边缘占面部特征区域的百分比，即白色像素所占比值，比值超过一定阈值时为戴眼镜情况。
7.根据权利要求3所述的一种基于深度相机的危险驾驶行为预警方法，其特征在于：所述步骤S33中正视行为检测流程如下:
S331红外图像直方图均衡化，高斯滤波平滑去噪；
S332使用OpenCV加载基于LBP特征的人脸检测模型，实时检测人脸；
S333因训练的LBP侧脸检测模型只是左侧脸单脸检测模型，因此对检测到的人脸区域求其关于Y轴对称的图像；
S334对分割出的人脸区域与其Y轴对称图像，使用LBP侧脸检测模型检测侧脸；
S335当正脸未被检测到时，侧脸计时器开始计时，如计时中正脸被检测到，计时器置零；
S336当计时器计时达2s时，判断发生侧脸交谈等未注视前方行为，启动发出预警。
CN201910640578.6A 2019-07-16 2019-07-16 一种基于深度相机的危险驾驶行为预警装置和方法 Active CN112241647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910640578.6A CN112241647B (zh) 2019-07-16 2019-07-16 一种基于深度相机的危险驾驶行为预警装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910640578.6A CN112241647B (zh) 2019-07-16 2019-07-16 一种基于深度相机的危险驾驶行为预警装置和方法

Publications (2)

Publication Number Publication Date
CN112241647A true CN112241647A (zh) 2021-01-19
CN112241647B CN112241647B (zh) 2023-05-09

Family

ID=74166688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910640578.6A Active CN112241647B (zh) 2019-07-16 2019-07-16 一种基于深度相机的危险驾驶行为预警装置和方法

Country Status (1)

Country Link
CN (1) CN112241647B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591615A (zh) * 2021-07-14 2021-11-02 广州敏视数码科技有限公司 一种基于多模型的驾驶员抽烟检测方法
CN113971839A (zh) * 2021-12-23 2022-01-25 宏景科技股份有限公司 检测图像、视频中人体异常行为方法、装置、设备和介质
CN115443979A (zh) * 2022-09-28 2022-12-09 广东电网有限责任公司江门供电局 一种杆架式变压器的小动物驱逐系统、方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247934A (zh) * 2017-05-27 2017-10-13 湖北天业云商网络科技有限公司 一种基于快速特征点定位的全天候哈欠检测方法及系统
CN107330378A (zh) * 2017-06-09 2017-11-07 湖北天业云商网络科技有限公司 一种基于嵌入式图像处理的驾驶员行为检测系统
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN109614892A (zh) * 2018-11-26 2019-04-12 青岛小鸟看看科技有限公司 一种疲劳驾驶检测方法、装置和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247934A (zh) * 2017-05-27 2017-10-13 湖北天业云商网络科技有限公司 一种基于快速特征点定位的全天候哈欠检测方法及系统
CN107330378A (zh) * 2017-06-09 2017-11-07 湖北天业云商网络科技有限公司 一种基于嵌入式图像处理的驾驶员行为检测系统
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN109614892A (zh) * 2018-11-26 2019-04-12 青岛小鸟看看科技有限公司 一种疲劳驾驶检测方法、装置和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘柯柯: "基于深度图像的驾驶人姿态识别", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
胡志强: "基于卷积循环神经网络的驾驶员疲劳检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591615A (zh) * 2021-07-14 2021-11-02 广州敏视数码科技有限公司 一种基于多模型的驾驶员抽烟检测方法
CN113971839A (zh) * 2021-12-23 2022-01-25 宏景科技股份有限公司 检测图像、视频中人体异常行为方法、装置、设备和介质
CN115443979A (zh) * 2022-09-28 2022-12-09 广东电网有限责任公司江门供电局 一种杆架式变压器的小动物驱逐系统、方法及设备
CN115443979B (zh) * 2022-09-28 2024-03-19 广东电网有限责任公司江门供电局 一种杆架式变压器的小动物驱逐系统、方法及设备

Also Published As

Publication number Publication date
CN112241647B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN107292251B (zh) 一种基于人眼状态的驾驶员疲劳检测方法及系统
CN110532976B (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN112241647B (zh) 一种基于深度相机的危险驾驶行为预警装置和方法
CN110751051B (zh) 一种基于机器视觉的异常驾驶行为检测方法
US7362885B2 (en) Object tracking and eye state identification method
CN107330378A (zh) 一种基于嵌入式图像处理的驾驶员行为检测系统
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
CN104091157A (zh) 一种基于特征融合的行人检测方法
CN111832461B (zh) 一种基于视频流的非机动车骑行人员头盔佩戴检测方法
CN106846734A (zh) 一种疲劳驾驶检测装置及方法
CN106650635B (zh) 一种驾驶员后视镜查看行为检测方法及系统
CN104915642B (zh) 前方车辆测距方法及装置
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量系统及方法
CN111626272A (zh) 一种基于深度学习的驾驶员疲劳监测系统
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN103927548A (zh) 一种新的避免车辆碰撞的刹车行为检测方法
CN107886034A (zh) 行车提醒方法、装置及车辆
CN112132821B (zh) 一种基于图像处理的开口销丢失检测方法
Cheng et al. A fatigue detection system with eyeglasses removal
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
KR101523765B1 (ko) 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법
Rani et al. Development of an Automated Tool for Driver Drowsiness Detection
CN104966064A (zh) 基于视觉的前方行人测距方法
CN108960181B (zh) 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant