CN106898119A - 基于双目摄像头的安全作业智能监控系统及方法 - Google Patents
基于双目摄像头的安全作业智能监控系统及方法 Download PDFInfo
- Publication number
- CN106898119A CN106898119A CN201710283430.2A CN201710283430A CN106898119A CN 106898119 A CN106898119 A CN 106898119A CN 201710283430 A CN201710283430 A CN 201710283430A CN 106898119 A CN106898119 A CN 106898119A
- Authority
- CN
- China
- Prior art keywords
- face
- eyes
- region
- image
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明公开了基于双目摄像头的安全作业智能监控系统及方法，处理器对左右摄像头拍摄的左右图像数据进行滤波、ROI区域提取、深度计算，获取深度图像；对深度图像进行识别，获取眼睛和嘴巴图像区域；对该图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，判断眼睛最大距离是否小于阈值T1、嘴巴最大距离是否大于阈值T2，若是，则判断眼睛闭合、嘴巴张开的时间是否达到报警阈值，若达到，则向车载中控台发送报警指令，车载中控台控制振动反馈装置实现对驾驶员的提醒。本发明对眼睛、嘴巴运动状态的检测精度高，通过振动反馈装置实现振动提醒，从本质上制止疲劳驾驶带来的交通事故。
Description
技术领域
本发明涉及图像处理、模式识和自动化技术领域，尤其涉及基于双目摄像头的安全作业智能监控系统及方法。
背景技术
疲劳驾驶是导致高交通事故中比较重要的因素，因而如何高效、准确、快速的检测驾驶员是否在疲劳驾驶，并在已知疲劳驾驶的情况下如何防止，就显得尤为重要。
目前检测疲劳驾驶的技术手段主要是通过机器视觉的方式，主要检测眼睛或嘴巴的运动状态(是否闭合、张开等状态)，通过某种状态机判断当前是否是疲劳驾驶状态；由于受驾驶舱环境光照等复杂多变的因素影响，导致检测眼睛或嘴巴的位置定位不够准确，结果会导致估计眼睛或嘴巴的运动状态不够精确，导致无检测概率比较大，而且对检测到的疲劳驾驶状态都是通过语音进行报警，这样从本质上没有制止疲劳驾驶带来的交通事故。
发明内容
针对上述问题中存在的不足之处，本发明提供一种基于双目摄像头的安全作业智能监控系统及方法。
为实现上述目的，本发明的第一目的在于提供一种基于双目摄像头的安全作业智能监控系统，包括：设置在驾驶员前方的智能设备、车载中控台和安装在驾驶员座椅上的振动反馈装置；
所述智能设备包括：
左摄像头，用于拍摄包含眼睛和嘴巴的左图像数据；
右摄像头，用于拍摄包含眼睛和嘴巴的右图像数据；
处理器，用于对左右图像数据进行滤波、ROI区域提取、深度计算，获取ROI区域的深度图像；将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，获取眼睛和嘴巴图像区域；对眼睛和嘴巴图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，作为眼睛关键距离和嘴巴关键距离；判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；
车载中控台接收报警指令，控制振动反馈装置振动，实现对驾驶员的提醒。
作为本发明的进一步改进，所述处理器包括：
滤波模块，用于对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；
ROI区域提取模块，用于对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；
深度图像获取模块，用于利用双目摄像头的标定参数及双目成像原理，对左右ROI区域进行深度计算，获取ROI区域的深度图像；
识别模型建立模块，用于对采集的大样本进行半监督随机森林学习，人工对大样本ROI区域中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；该样本包括：嘴巴的张开及闭合、眼睛的张开及闭合；
识别模块，用于将ROI区域的深度图像送入到识别模型中，进行像素分类，获取眼睛和嘴巴图像区域；并对眼睛和嘴巴图像区域分别进行PCA计算，获取眼睛区域和嘴巴区域的二维图像方向；
边缘检测模块，用于对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓；根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离；
判断模块，用于判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令。
作为本发明的进一步改进，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；
当眼睛闭合和/或嘴巴张开的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
当眼睛闭合和/或嘴巴张开的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
当眼睛闭合和/或嘴巴张开的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
作为本发明的进一步改进，所述智能设备安装在驾驶员前方的仪表盘上。
作为本发明的进一步改进，所述车载中控台与处理器、振动反馈装置的数据传输形式均采用蓝牙传输。
本发明的第二目的在于提供一种基于双目摄像头的安全作业智能监控方法，包括：
步骤1、输入双目摄像头采集的左图像数据和右图像数据；
步骤2、对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；
步骤3、对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；
步骤4、利用双目摄像头的标定参数及双目成像原理，对左右ROI区域进行深度计算，获取ROI区域的深度图像；
步骤5、将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，进行像素分类，获取眼睛和嘴巴图像区域；
步骤6、对眼睛和嘴巴图像区域分别进行PCA计算，获取眼睛区域和嘴巴区域的二维图像方向；
步骤7、对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓；
步骤8、根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线；
步骤9、计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离；
步骤10、判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开，跳至步骤11；
步骤11、判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；
步骤12、车载中控台接收报警指令，控制振动反馈装置振动，实现对驾驶员的提醒。
作为本发明的进一步改进，在步骤5中，所述识别模型的建立方法为：
步骤51、采集大样本数据；
步骤52、依据步骤1-4，获取每个样本ROI区域的深度图像；
步骤53、通过半监督随机森林学习法，人工对大样本ROI深度图像中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；该样本包括：嘴巴的张开及闭合、眼睛的张开及闭合。
作为本发明的进一步改进，在步骤53中，半监督随机森林的参数设计为：
树的个数：200，二叉树的深度：100，每层树的最佳分割候选点个数：4，预测精度：0.001。
作为本发明的进一步改进，在步骤11中，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；
当眼睛闭合和/或嘴巴张开的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
当眼睛闭合和/或嘴巴张开的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
当眼睛闭合和/或嘴巴张开的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
作为本发明的进一步改进，所述预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s。
与现有技术相比，本发明的有益效果为：
本发明提供基于双目摄像头的安全作业智能监控系统及方法，通过将计算得到的眼睛、嘴巴关键距离与各自设定的阈值进行比较来判断眼睛、嘴巴的闭合/张开状态，若眼睛闭合、嘴巴张开则表明驾驶员处于疲劳状态；并进一步在预设时间内，通过检测眼睛闭合、嘴巴张开的时间来判断驾驶员是否处于疲劳驾驶，当处于疲劳驾驶时，车载中控台控制振动反馈装置振动，实现对驾驶员的提醒；本发明对眼睛、嘴巴运动状态的检测精度高，通过振动反馈装置实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。
附图说明
图1为本发明一种实施例公开的基于双目摄像头的安全作业智能监控系统的框架图；
图2为图1中处理器的框架图；
图3为本发明一种实施例公开的基于双目摄像头的安全作业智能监控方法流程图；
图4为本发明一种实施例公开的眼睛分割线及眼睛关键距离的示意图。
图中：
10、智能设备；11、左摄像头；12、右摄像头；13、处理器；20、车载中控台；30、振动反馈装置。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1所示，本发明提供一种基于双目摄像头的安全作业智能监控系统，包括：设置在驾驶员前方的智能设备10、车载中控台20和安装在驾驶员座椅上的振动反馈装置30；其中，智能设备10可安装在驾驶员前方的仪表盘上，车载中控台20为汽车的总控制中心，智能设备10、车载中控台20和振动反馈装置30之间通过蓝牙进行信息交互。
本发明的智能设备10包括：左摄像头11、右摄像头12、处理器13和电源；其中：
左摄像头11用于拍摄包含眼睛和嘴巴的左图像数据，右摄像头12用于拍摄包含眼睛和嘴巴的右图像数据；左摄像头11和右摄像头12构成了双目摄像头。
处理器13，处理器13用于对左右图像数据进行滤波、ROI区域提取、深度计算，获取ROI区域的深度图像；将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，获取眼睛和嘴巴图像区域；对眼睛和嘴巴图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，作为眼睛关键距离和嘴巴关键距离；判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；车载中控台20接收报警指令，控制振动反馈装置30振动，实现对驾驶员的提醒。
如图2所示，本发明的处理器13包括：滤波模块、ROI区域提取模块、深度图像获取模块、识别模型建立模块、识别模块、边缘检测模块和判断模块；其中：
滤波模块，用于对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；
ROI区域提取模块，用于对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；其中，本发明在汽车驾驶舱对摄像头的安装是有一定要求，一般要求标准是驾驶员正常驾驶状态下，驾驶员的头部位置正好落在摄像头图像区域的中间区域即可；即ROI区域是图像中间区域；
深度图像获取模块，利用提前对双目摄像头的标定参数，通过双目立体成像原理(三角定位)，对左右ROI区域进行深度数据计算，获取ROI区域的深度图像；
识别模型建立模块，用于采集300000个不同人的样本作为大样本数据，获取每个样本ROI区域的深度图像，通过半监督随机森林学习法，人工对大样本ROI深度图像中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；其中，半监督随机森林的参数设计为：树的个数：200，二叉树的深度：100，每层树的最佳分割候选点个数：4，预测精度：0.001；样本中必须包含人的嘴巴张开，眼睛闭合状态等情况；
识别模块，用于将深度图像送入到通过离线训练得到的眼睛、嘴巴识别模型中，对ROI的深度图像进行像素分类，获取眼睛和嘴巴图像区域；并对眼睛和嘴巴图像区域分别进行PCA计算(PCA(Principal Component Analysis)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性)，获取眼睛区域和嘴巴区域的二维图像方向；
边缘检测模块，用于对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓，如图4所示的眼睛轮廓。根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，如图4所示的眼睛分割线；嘴巴分割线与眼睛分割线一致，用于分割上嘴唇和下嘴唇，图中未示出。计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离。如图4所示，以眼睛轮廓为例，将眼睛分割线两侧相对应的边缘点相连(保证两边缘点的连接线与眼睛分割线垂直或最近似垂直)，求得所有对应两边缘点的距离d1、d2···dn，并从所有距离中找出最大的距离d最大，该距离即为眼睛关键距离，形成该距离的两边缘点即为眼睛关键点；嘴巴关键距离的获取方法与上述方法一致。
判断模块，用于判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；其中，阈值T1、阈值T2可人为根据需求进行设定。判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值A1、A2、A3，0＜A1＜A2＜A3＜A；若达到，则向车载中控台发送报警指令；其中，本发明优选预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s；同时，还可根据实际需求设计不同的阈值；
a、当眼睛闭合和/或嘴巴张开的时间大于0且小于30s，则处理器不发送报警指令；
b、当眼睛闭合和/或嘴巴张开的时间大于30s且小于150s，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
c、当眼睛闭合和/或嘴巴张开的时间大于150s且小于200s，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
d、当眼睛闭合和/或嘴巴张开的时间大于200s且小于300s，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
优选的，本发明的车载中控台20接收处理器13的报警指令，并向控制振动反馈装置30发送指令，控制其工作，实现对驾驶员的振动提醒。其中，振动反馈装置安装在驾驶员座椅上，其可采用多个振动凸点，通过处理器的判断结果，控制不同数量的振动凸点振动，从而实现3种振动模式(也可根据需求设计成多种振动模式)。
优选的，该智能监控系统还包括：设置在驾驶室内的语音播报装置；
语音播报装置与车载中控台20相连，当车载中控台接收到报警指令时，车载中控台通过蓝牙信号向语音播报装置发送指令，控制语音播报装置进行语音提醒。
如图3所示，本发明提供一种基于双目摄像头的安全作业智能监控方法，包括：
S101、输入双目摄像头采集的左图像数据和右图像数据，图像数据为双目摄像头采集的驾驶员面部图像。
S102、对左右图像数据分别进行传统的高斯平滑滤波，平滑窗口为7*7。
S103、对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；其中，本发明在汽车驾驶舱对摄像头的安装是有一定要求，一般要求标准是驾驶员正常驾驶状态下，驾驶员的头部位置正好落在摄像头图像区域的中间区域即可；即ROI区域是图像中间区域。
S104、利用提前对双目摄像头的标定参数，通过双目立体成像原理(三角定位)，对左右ROI区域进行深度数据计算，获取ROI区域的深度图像。
S105、将深度图像送入到通过离线训练得到的眼睛、嘴巴识别模型中，对ROI的深度图像进行像素分类，获取眼睛和嘴巴图像区域；其中，识别模型的建立方法为：
a、采集300000个不同人的样本作为大样本数据；
b、依据S101-S104，获取每个样本ROI区域的深度图像；
c、通过半监督随机森林学习法，人工对大样本ROI深度图像中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；其中，半监督随机森林的参数设计为：树的个数：200，二叉树的深度：100，每层树的最佳分割候选点个数：4，预测精度：0.001；样本中必须包含人的嘴巴张开，眼睛闭合状态等情况。
S106、对眼睛和嘴巴图像区域分别进行PCA计算(PCA(Principal ComponentAnalysis)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性)，获取眼睛区域和嘴巴区域的二维图像方向。
S107、对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓，如图4所示的眼睛轮廓。
S108、根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，如图4所示的眼睛分割线；嘴巴分割线与眼睛分割线一致，用于分割上嘴唇和下嘴唇，图中未示出。
S109、计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离。如图4所示，以眼睛轮廓为例，将眼睛分割线两侧的边缘点相连(连接线与眼睛分割线垂直或近似垂直)，求得所有对应两边缘点的距离d1、d2···dn，并从所有距离中找出最大的距离d最大，该距离即为眼睛关键距离，形成该距离的两边缘点即为眼睛关键点；嘴巴关键距离的获取方法与上述方法一致。
S110、判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开，可表示驾驶员处于疲劳状态；跳至S111。其中，阈值T1、阈值T2可人为根据需求进行设定。
S111、判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值A1、A2、A3，0＜A1＜A2＜A3＜A；若达到，则向车载中控台发送报警指令；其中，本发明优选预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s；同时，还可根据实际需求设计不同的阈值；
a、当眼睛闭合和/或嘴巴张开的时间大于0且小于30s，则处理器不发送报警指令；
b、当眼睛闭合和/或嘴巴张开的时间大于30s且小于150s，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
c、当眼睛闭合和/或嘴巴张开的时间大于150s且小于200s，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
d、当眼睛闭合和/或嘴巴张开的时间大于200s且小于300s，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
S112、车载中控台接收报警指令，控制振动反馈装置振动，实现对驾驶员的提醒。
本发明提供基于双目摄像头的安全作业智能监控系统及方法，通过将计算得到的眼睛、嘴巴关键距离与各自设定的阈值进行比较来判断眼睛、嘴巴的闭合/张开状态，若眼睛闭合、嘴巴张开则表明驾驶员处于疲劳状态；并进一步在预设时间内，通过检测眼睛闭合、嘴巴张开的时间来判断驾驶员是否处于疲劳驾驶，当处于疲劳驾驶时，车载中控台控制振动反馈装置振动，实现对驾驶员的提醒；本发明对眼睛、嘴巴运动状态的检测精度高，通过振动反馈装置实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于双目摄像头的安全作业智能监控系统，其特征在于，包括：设置在驾驶员前方的智能设备、车载中控台和安装在驾驶员座椅上的振动反馈装置；
所述智能设备包括：
左摄像头，用于拍摄包含眼睛和嘴巴的左图像数据；
右摄像头，用于拍摄包含眼睛和嘴巴的右图像数据；
处理器，用于对左右图像数据进行滤波、ROI区域提取、深度计算，获取ROI区域的深度图像；将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，获取眼睛和嘴巴图像区域；对眼睛和嘴巴图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，作为眼睛关键距离和嘴巴关键距离；判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；
车载中控台接收报警指令，控制振动反馈装置振动，实现对驾驶员的提醒。
2.如权利要求1所述的基于双目摄像头的安全作业智能监控系统，其特征在于，所述处理器包括：
滤波模块，用于对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；
ROI区域提取模块，用于对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；
深度图像获取模块，用于利用双目摄像头的标定参数及双目成像原理，对左右ROI区域进行深度计算，获取ROI区域的深度图像；
识别模型建立模块，用于对采集的大样本进行半监督随机森林学习，人工对大样本ROI区域中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；该样本包括：嘴巴的张开及闭合、眼睛的张开及闭合；
识别模块，用于将ROI区域的深度图像送入到识别模型中，进行像素分类，获取眼睛和嘴巴图像区域；并对眼睛和嘴巴图像区域分别进行PCA计算，获取眼睛区域和嘴巴区域的二维图像方向；
边缘检测模块，用于对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓；根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离；
判断模块，用于判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令。
3.如权利要求1所述的基于双目摄像头的安全作业智能监控系统，其特征在于，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；
当眼睛闭合和/或嘴巴张开的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
当眼睛闭合和/或嘴巴张开的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
当眼睛闭合和/或嘴巴张开的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
4.如权利要求1所述的基于双目摄像头的安全作业智能监控系统，其特征在于，所述智能设备安装在驾驶员前方的仪表盘上。
5.如权利要求1所述的基于双目摄像头的安全作业智能监控系统，其特征在于，所述车载中控台与处理器、振动反馈装置的数据传输形式均采用蓝牙传输。
6.一种如权利要求1-5中任一项所述的基于双目摄像头的安全作业智能监控系统的方法，其特征在于，包括：
步骤1、输入双目摄像头采集的左图像数据和右图像数据；
步骤2、对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；
步骤3、对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；
步骤4、利用双目摄像头的标定参数及双目成像原理，对左右ROI区域进行深度计算，获取ROI区域的深度图像；
步骤5、将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，进行像素分类，获取眼睛和嘴巴图像区域；
步骤6、对眼睛和嘴巴图像区域分别进行PCA计算，获取眼睛区域和嘴巴区域的二维图像方向；
步骤7、对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓；
步骤8、根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线；
步骤9、计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离；
步骤10、判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开，跳至步骤11；
步骤11、判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；
步骤12、车载中控台接收报警指令，控制振动反馈装置振动，实现对驾驶员的提醒。
7.如权利要求6中所述的基于双目摄像头的安全作业智能监控方法，其特征在于，在步骤5中，所述识别模型的建立方法为：
步骤51、采集大样本数据；
步骤52、依据步骤1-4，获取每个样本ROI区域的深度图像；
步骤53、通过半监督随机森林学习法，人工对大样本ROI深度图像中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；该样本包括：嘴巴的张开及闭合、眼睛的张开及闭合。
8.如权利要求7中所述的基于双目摄像头的安全作业智能监控方法，其特征在于，在步骤53中，半监督随机森林的参数设计为：
树的个数：200，二叉树的深度：100，每层树的最佳分割候选点个数：4，预测精度：0.001。
9.如权利要求6中所述的基于双目摄像头的安全作业智能监控方法，其特征在于，在步骤11中，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；
当眼睛闭合和/或嘴巴张开的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
当眼睛闭合和/或嘴巴张开的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
当眼睛闭合和/或嘴巴张开的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
10.如权利要求9所述的基于双目摄像头的安全作业智能监控方法，其特征在于，所述预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710283430.2A CN106898119A (zh) | 2017-04-26 | 2017-04-26 | 基于双目摄像头的安全作业智能监控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710283430.2A CN106898119A (zh) | 2017-04-26 | 2017-04-26 | 基于双目摄像头的安全作业智能监控系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106898119A true CN106898119A (zh) | 2017-06-27 |
Family
ID=59197164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710283430.2A Pending CN106898119A (zh) | 2017-04-26 | 2017-04-26 | 基于双目摄像头的安全作业智能监控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106898119A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107941273A (zh) * | 2017-11-15 | 2018-04-20 | 国网湖南省电力公司检修公司 | 一种带电作业安全预警方法和装置 |
| CN107992813A (zh) * | 2017-11-27 | 2018-05-04 | 北京搜狗科技发展有限公司 | 一种唇部状态检测方法及装置 |
| CN108234826A (zh) * | 2018-01-15 | 2018-06-29 | 厦门美图之家科技有限公司 | 图像处理方法及装置 |
| CN108921080A (zh) * | 2018-06-27 | 2018-11-30 | 北京旷视科技有限公司 | 图像识别方法、装置及电子设备 |
| CN110941367A (zh) * | 2018-09-25 | 2020-03-31 | 福州瑞芯微电子股份有限公司 | 一种基于双摄的识别方法及终端 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101030316A (zh) * | 2007-04-17 | 2007-09-05 | 北京中星微电子有限公司 | 一种汽车安全驾驶监控系统和方法 |
| CN102122357A (zh) * | 2011-03-17 | 2011-07-13 | 电子科技大学 | 一种基于人眼睁闭状态的疲劳检测方法 |
| CN104257392A (zh) * | 2014-09-26 | 2015-01-07 | 马天驰 | 一种疲劳驾驶检测提醒的方法及检测提醒装置 |
| CN105469035A (zh) * | 2015-11-17 | 2016-04-06 | 中国科学院重庆绿色智能技术研究院 | 基于双目视频分析的驾驶员不良驾驶行为检测系统 |
| CN105844252A (zh) * | 2016-04-01 | 2016-08-10 | 南昌大学 | 一种面部关键部位的疲劳检测方法 |
| CN106203293A (zh) * | 2016-06-29 | 2016-12-07 | 广州鹰瞰信息科技有限公司 | 一种检测疲劳驾驶的方法和装置 |
-
2017
- 2017-04-26 CN CN201710283430.2A patent/CN106898119A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101030316A (zh) * | 2007-04-17 | 2007-09-05 | 北京中星微电子有限公司 | 一种汽车安全驾驶监控系统和方法 |
| CN102122357A (zh) * | 2011-03-17 | 2011-07-13 | 电子科技大学 | 一种基于人眼睁闭状态的疲劳检测方法 |
| CN104257392A (zh) * | 2014-09-26 | 2015-01-07 | 马天驰 | 一种疲劳驾驶检测提醒的方法及检测提醒装置 |
| CN105469035A (zh) * | 2015-11-17 | 2016-04-06 | 中国科学院重庆绿色智能技术研究院 | 基于双目视频分析的驾驶员不良驾驶行为检测系统 |
| CN105844252A (zh) * | 2016-04-01 | 2016-08-10 | 南昌大学 | 一种面部关键部位的疲劳检测方法 |
| CN106203293A (zh) * | 2016-06-29 | 2016-12-07 | 广州鹰瞰信息科技有限公司 | 一种检测疲劳驾驶的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 宋全有等: "基于改进型深度LLE和随机森林的人脸检测算法", 《电子器件》 * |
| 高喆: "多重空间特征融合的手势识别", 《小型微型计算机系统》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107941273A (zh) * | 2017-11-15 | 2018-04-20 | 国网湖南省电力公司检修公司 | 一种带电作业安全预警方法和装置 |
| CN107992813A (zh) * | 2017-11-27 | 2018-05-04 | 北京搜狗科技发展有限公司 | 一种唇部状态检测方法及装置 |
| CN108234826A (zh) * | 2018-01-15 | 2018-06-29 | 厦门美图之家科技有限公司 | 图像处理方法及装置 |
| CN108234826B (zh) * | 2018-01-15 | 2021-03-02 | 厦门美图之家科技有限公司 | 图像处理方法及装置 |
| CN108921080A (zh) * | 2018-06-27 | 2018-11-30 | 北京旷视科技有限公司 | 图像识别方法、装置及电子设备 |
| CN110941367A (zh) * | 2018-09-25 | 2020-03-31 | 福州瑞芯微电子股份有限公司 | 一种基于双摄的识别方法及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106898119A (zh) | 基于双目摄像头的安全作业智能监控系统及方法 | |
| CN106965675A (zh) | 一种货车集群智能安全作业系统 | |
| CN110532976A (zh) | 基于机器学习和多特征融合的疲劳驾驶检测方法及系统 | |
| CN104751600B (zh) | 基于虹膜识别的防疲劳驾驶安全设备及其使用方法 | |
| CN106485191B (zh) | 一种驾驶员疲劳状态检测方法及系统 | |
| CN110096957B (zh) | 基于面部识别和行为识别融合的疲劳驾驶监测方法和系统 | |
| CN105488453B (zh) | 一种基于图像处理的驾驶员未系安全带检测识别方法 | |
| US20190122059A1 (en) | Signal light detection | |
| CN108446645B (zh) | 基于深度学习的车载人脸识别方法 | |
| CN109190488B (zh) | 基于深度学习YOLOv3算法的前车车门打开检测方法及装置 | |
| CN107273816B (zh) | 基于车载前视单目相机的交通限速标识检测识别方法 | |
| CN109484935A (zh) | 一种电梯轿厢监控方法、装置及系统 | |
| CN105844257A (zh) | 基于机器视觉雾天行车错失道路标志牌的预警系统及方法 | |
| CN111611970B (zh) | 一种基于城管监控视频的乱扔垃圾行为检测方法 | |
| CN106339692B (zh) | 一种疲劳驾驶状态信息确定方法及系统 | |
| CN106570444A (zh) | 基于行为识别的车载智能提醒方法及系统 | |
| CN109815937A (zh) | 疲劳状态智能识别方法、装置及电子设备 | |
| CN106467057A (zh) | 车道偏离预警的方法、装置及系统 | |
| CN104335244A (zh) | 对象物识别装置 | |
| CN107944425A (zh) | 道路标志的识别方法和装置 | |
| CN111985373A (zh) | 基于交通路口识别的安全预警方法、装置及电子设备 | |
| CN110147731A (zh) | 车辆类型识别方法及相关产品 | |
| KR102051136B1 (ko) | 클라우드서버를 기반을 하는 인공지능 대쉬보드로봇을 이용한 사용자 상태인식시스템 | |
| CN112818871B (zh) | 一种基于半分组卷积的全融合神经网络的目标检测方法 | |
| CN108108651B (zh) | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170627 |