CN113989887A - 基于视觉特征信息融合的设备操作人员疲劳状态检测方法 - Google Patents
基于视觉特征信息融合的设备操作人员疲劳状态检测方法 Download PDFInfo
- Publication number
- CN113989887A CN113989887A CN202111235915.7A CN202111235915A CN113989887A CN 113989887 A CN113989887 A CN 113989887A CN 202111235915 A CN202111235915 A CN 202111235915A CN 113989887 A CN113989887 A CN 113989887A
- Authority
- CN
- China
- Prior art keywords
- particles
- mouth
- parameters
- characteristic
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 230000004927 fusion Effects 0.000 title claims abstract description 13
- 230000000007 visual effect Effects 0.000 title claims abstract description 13
- 239000002245 particle Substances 0.000 claims abstract description 103
- 210000003128 head Anatomy 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012706 support-vector machine Methods 0.000 claims abstract description 8
- 241001282135 Poromitra oscitans Species 0.000 claims description 14
- 206010048232 Yawning Diseases 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- 238000012512 characterization method Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 210000000744 eyelid Anatomy 0.000 claims description 5
- 230000002068 genetic effect Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 239000003814 drug Substances 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000000193 eyeblink Effects 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000002618 waking effect Effects 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000035772 mutation Effects 0.000 claims description 2
- 238000009401 outcrossing Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000036391 respiratory frequency Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视觉特征信息融合的设备操作人员疲劳状态检测方法，在各种疲劳表征中挑选眼部，嘴部，头部轮廓作为检测组合，基于检测组合对设备操作人员进行疲劳判断。采用特征级联分类器检测人眼，并用粒子滤波算法跟踪眼部位置；使用灰度处理检测嘴部并修改临界点提高检测精度，再通过特征点相对位置判断头部状态，通过选择上述三个方法组合成总检测方法来进行设备操作人员在不同状态下的综合检测。检测后获取参数并建立设备操作人员疲劳检测模型；使用支持向量机对模型进行机器学习，实时分析出操作者此时是否疲劳，很好的满足了不同状态下对表征参数分析得出疲劳程度的应用需求。
Description
技术领域
本发明属于疲劳状态检测领域，尤其涉及一种基于视觉特征信息融合的设备操作人员疲劳状态检测方法。
背景技术
目前已有的疲劳检测的研究方向主要是疲劳驾驶检测，大部分集中在车辆行为特征检测、行为特征检测、生理特征检测。前者主要检测方向盘偏移程度和车辆据道路中间白线的距离来预测疲劳，在设备使用中并不适用，而后两者对于疲劳检测有广泛使用性，但后者一部分主要基于生理参数如EEG(脑电图检测)、EKG(心电图检测)、EMG(肌电图检测)，MIT研制了内置各种传感器测量心电图，肌电图的系统--Smart Car，而英国诺丁汉伦特大学开发的HARKEN可采集驾驶员呼吸频率和心率来检测疲劳。但是类似的研究成果中，仪器普遍具有成本高，难以实时监测等缺点，同时由于生理信号检测大多需要与被测者接触，对使用者干扰大且不利于推广。
而目前广泛使用的面部检测中，眼睑闭合时间(PERCLOS)是疲劳表征目前最有效参数，利用双目摄像头对瞳孔位置及尺寸进行计算，利用人眼视网膜对不同波长的红外光的反射差异性原理，实现了PERCLOS的计算。但是，单一特征的疲劳检测方法存在局限性，且过度依赖面部识别、光线亮度、计算数量大等多种缺陷导致无法取得较好的结果。且在头部运动规律检测中，算法主要针对车辆行驶，对于头部的运动判断轨迹过于单一，无法兼容到设备操作的疲劳检测中，需要重新进行数据集的模拟测试和统计，并优化算法以使适应在设备场景下进行检测的目的。
发明内容
本发明提供了一种基于视觉特征信息融合的设备操作人员疲劳状态检测方法，将疲劳检测识别由疲劳驾驶检测延伸到设备操作疲劳检测，重新优化算法并对头部的运动轨迹有特殊的针对性处理，获得了具有鲁棒性的疲劳检测模型。
实现本发明的技术解决方案为：一种基于视觉特征信息融合的设备操作人员疲劳状态检测方法，包括以下步骤：
步骤1、根据“中华中医药学会团体标准”，分别采集操作人员在其标准中的清醒和疲劳状态下头部信息的视频，头部信息包括头部轮廓、人眼和口部。
步骤2、基于Haar-Like特征级联分类器的检测方法对上述视频进行人眼检测，基于均值偏移理论的粒子滤波进行眼睛跟踪，粒子滤波重采样之后，抛弃权值小的粒子，保留权值大的粒子，由权值大的粒子衍生出新的粒子，并且衍生出的所有新粒子权值相同，然后利用均值偏移理论对每个新产生的粒子进行迭代；迭代之后更新每个粒子的位置，使每个粒子都收敛到目标附近，不间断跟踪用于判断眼睛实时位置，从而通过已有的眼睑闭合参数即PERCLOS测量原理以获取到实时的眼部眨眼参数；同时转入步骤3。
步骤3、通过ASM方法确定嘴部区域的位置，将嘴部特征点内的区域作为输入图像，并将输入的RGB图像转换为灰度图像；对灰度图像进行图像增强处理，调节其灰度值直到嘴部区域与背景之间的灰度值强度超过设定阈值；对嘴部区域的图像进行二值化，通过形态学重建去除噪声并填充嘴部空白区域，提取嘴部区域的高度值和嘴部附近的黑白像素比值，对开口程度进行评估，将评估结果与标准打哈欠临界点进行对比，获取此时是否打哈欠的信息，将当前状态是否打哈欠作为嘴部参数；转入步骤4。
步骤4、基于SIFT特征点提取人脸特征参数，即双眼和嘴巴的三角形特征区域中双眼和嘴巴的相对位置参数，将三角形特征区域作为感兴趣区域ROIs，基于SIFT描述子的匹配算法提取感兴趣区域ROIs内眼部、嘴部的SIFT特征点；首先确定SIFT特征点描述子的梯度主方向，即SIFT特征点领域像素梯度直方图的峰值位置；然后将4×4×8共128维矢量作为SIFT特征点的描述子，通过特征点匹配从待处理图像中提取眼部、嘴部SIFT特征点集；通过特征点匹配得到模板图像ROIs的SIFT特征点描述子与感兴趣区域ROIs的特征点描述子之间的欧氏距离；然后将最近的欧氏距离p值和次近的欧氏距离值的比值与阈值进行比较，若p小于该阈值，则感兴趣区域ROIs的特征点即为SIFT特征点，通过获取到的特征点判断出头部摆动角度，即头部参数；转入步骤5。
步骤5、根据上述步骤中获取到的眨眼参数、嘴部参数以及头部参数，通过遗传算法和粒子群算法混合优化基于支持向量机，建立装备操作人员疲劳检测模型。
步骤6、利用装备操作人员疲劳检测模型，判断待测包含头部信息的视频中的操作人员状态为清醒或疲劳。
本发明与现有技术相比，其显著优点在于：
(1)、选取最严谨的眼睑闭合参数(PERCLOS)作为主要的检测依据，进行更高效的眼部定位及追踪。
(2)、综合嘴部参数进行辅助检测，使用灰度处理提高嘴部分辨准确度，有效提高对嘴部的辨识度。
(3)、通过面部SIFT特征点提取，分析特征点来检测头部运动轨迹对应的三个坐标轴的旋转角度，更好的满足对设备操作的针对性检测。
(4)、在众多表征参数中选择上述技术检测选择的三个表征参数，既避免使用单表征参数判断时产生高误差，也避免过多表征参数同时检测时难以平衡权重的问题。
(5)、根据疲劳监测表进行设备操作的参数统计，完成数据集，并基于SVM向量机分析多个参数对疲劳的影响和判断，填补在不同状态下操作设备的数据集的空白。
附图说明
图1为Haar-Like特征级联分类器的检测结果图。
图2为嘴部状态变化图，其中图(a)为嘴部状态的灰度化图像处理图，图(b)为嘴部状态的图像增强效果图，图(c)为嘴部状态的二值化处理结果图，图(d)为嘴部状态的预处理结果图。
图3为基于SIFT特征点提取人脸特征参数进行头部分析的模拟图，其中图(a)为面部视图，图(b)为头部向正下方摆动时的面部朝向图，图(c)为头部向右下方摆动时的面部朝向图，图(d)为头部向左下方摆动时的面部朝向图。
图4为基于视觉特征信息融合的设备操作人员疲劳状态检测方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
结合图4，一种基于视觉特征信息融合的设备操作人员疲劳状态检测方法，所述方法包括以下步骤：
步骤1、在各种疲劳表征中挑选眼部，嘴部，头部轮廓作为检测组合，根据“中华中医药学会团体标准”，分别采集操作人员在其标准中的清醒和疲劳状态下具有上述检测组合的视频。
步骤2、如图1所示，基于Haar-Like特征级联分类器的检测方法对上述视频进行人眼检测，基于均值偏移理论的粒子滤波进行眼睛跟踪，粒子滤波重采样之后，抛弃权值小的粒子，保留权值大的粒子，由权值大的粒子衍生出新的粒子，并且衍生出的所有新粒子权值相同，然后利用均值偏移理论对每个新产生的粒子进行迭代；迭代之后更新每个粒子的位置，使每个粒子都收敛到目标附近，不间断跟踪用于判断眼睛实时位置，从而通过已有的眼睑闭合参数即PERCLOS测量原理以获取到实时的眼部眨眼参数；用少量的粒子就可实现目标的跟踪，提高跟踪的实时性，具体如下：
步骤2-1、粒子采样，初始化时，确定眼睛目标的位置x0，取粒子数为Ns，t表示粒子序号，其权值初始值为1/Ns，所有粒子的权值之和为1，每个粒子代表目标的一个可能的运动状态，也就是目标的一个可能位置xt＝x0+bξ，其中ξ为[-1,1]内的随机数，表示可能变化的随机位置数，系数b为常数计算以每个粒子为中心的目标搜索窗口的直方图H(b)＝(nb，ub，∑b)，当初始时目标区域的中心为x0时，二阶直方图
目标特征B＝1,…,Ns，均值向量
协方差矩阵
表示直方图系数；转入步骤2-2。
步骤2-2、粒子状态转移，采用一阶系统实现眼睛的跟踪；粒子的坐标(Xt，Yt)的一阶系统状态转移方程为：
其中系数A1、B1、A2、B2为常数，参量wt-1为[0,1]内的随机数，转入步骤2-3。
步骤2-3、粒子更新，观察每个粒子所代表的目标可能状态和目标真实状态之间的相似程度，接近目标真是状态的粒子赋予较大的权值，反之赋予较小权值；转入步骤2-4。
步骤2-4、计算各粒子相应权重加权值以确定目标的最终位置：xnew，转入步骤2-5。
步骤2-5、重采样，通过对粒子和相应权值表示的概率密度函数重新采样，增加权值较大的粒子个数，转入步骤2-6。
步骤2-6、基于均值偏移的粒子优化，由MeanShift理论可知，均值偏移向量指向相似度极大的方向，即与目标最相似的位置，利用均值偏移迭代，更新粒子的位置。
转入步骤3。
步骤3、通过ASM方法确定嘴部区域的位置，将嘴部特征点内的区域作为输入图像，并将输入的RGB图像转换为灰度图像，从而减少图像的处理时间，如图2(a)图所示；对灰度图像进行图像增强处理，调节其灰度值直到嘴部区域与背景之间的灰度值强度超过设定阈值；对嘴部区域的图像进行二值化，如图2(b)图和图2(c)图所示，通过形态学重建去除噪声并填充嘴部空白区域，提取嘴部区域的高度值和嘴部附近的黑白像素比值，对开口程度进行评估，结果显示为图2(d)中图像，将评估结果与标准打哈欠临界点进行对比，针对操作设备过程中操作人员的疲劳程度会逐渐增加这一现象，决定将固定的临界点改为两种针对性的临界点，对比是否超过临界点获取此时是否打哈欠的信息，具体如下：
嘴部区域的高度值和嘴部附近的黑白像素比值必须满足三个基本条件具体公式如下：
NBS>Th1
NWC>Th2
h>Th3
其中NBS表示当前倾与参考顿中的黑色像素数之比必须大于阈值Th1，NWC表示当前帧嘴部区域的黑色像素数量与嘴部周围区域中的白色像素数量之比必须大于阈值Th2；h表示嘴部区域的商度，高度必须大于阈值Th3；只有当3个条件同时满足，才判定检测到的特定顿为打哈欠。
因为操作人员要进行长时间的设备操作，因此当检测到打哈欠后对打哈欠判断的临界点要进行更严格的调整，以提高后续实时检测的精度，保证之后长时间的人员操作过程中能准确的检测到是否疲劳。所以第一次检测到打哈欠后将基本条件公式修改为：
NBS>0.8*Th1
NWC>0.8*Th2
h>0.8*Th3
后续始终以该临界点作为标准进行循环检测，直到人员停止操作，中断检测后再恢复原有临界点。
转入步骤4。
步骤4、基于SIFT特征点提取人脸特征参数，即双眼和嘴巴的三角形特征区域中双眼和嘴巴的相对位置参数，如图3所示，通过左右眼的相对距离以及左右眼分别和嘴部的相对距离即图中的d1，d2，d3，分析得出被测者的面部朝向，具体分析细节如下：将三角形特征区域作为感兴趣区域ROIs，基于SIFT描述子的匹配算法提取感兴趣区域ROIs内眼部、嘴部的SIFT特征点；首先确定SIFT特征点描述子的梯度主方向，即SIFT特征点领域像素梯度直方图的峰值位置；然后将4×4×8共128维矢量作为SIFT特征点的描述子，通过特征点匹配从待处理图像中提取眼部、嘴部SIFT特征点集；通过特征点匹配得到模板图像ROIs的SIFT特征点描述子与感兴趣区域ROIs的特征点描述子之间的欧氏距离；然后将最近的欧氏距离p值和次近的欧氏距离值的比值与阈值进行比较，若p小于该阈值，则感兴趣区域ROIs的特征点即为SIFT特征点，通过获取到的特征点判断出头部摆动角度，即头部参数。
基于SIFT特征点匹配获取左眼、右眼以及嘴部的SIFT特征点，并将其作为提取面部特征的处理对象；然后分别计算左眼、右眼以及嘴部的SIFT特征点的中点坐标L(xL,yL)、R(xR,yR)、M(xM,yM)，基于中点坐标计算以下三个特征矢量，具体步骤如下：
步骤4-1、提取眼部特征矢量：设左眼、右眼的SIFT特征点集分别为{(xLi,yLi)}、{(xRj,yRj)}，其中左眼特征点集坐标参数i＝1,2,……,I，右眼特征点集坐标参数j＝1,2,……,J；
计算左眼所有特征点到L(xL,yL)的距离di(L)、右眼所有特征点到R(xR,yR)的距离dj(L)
式中，左眼特征点的中点横坐标
左眼特征点的中点纵坐标
嘴部的SIFT特征点的中点横坐标
嘴部的SIFT特征点的中点纵坐标
根据di(L)、di(R)得出双眼特征点分别到双眼中点均值
以及上述距离计算时的标准差δ(L)、δ(R)。
步骤4-2、提取嘴部特征参数：设嘴部的SIFT特征点集为{M(k)＝(xMk,yMk)}，特征点序号k＝1,2,……,K，K为所有特征点数量；计算眼部所有特征点到M(xMk,yMk)的距离dK(M)：
式中，横坐标
纵坐标
转入步骤5。
步骤5、针对选择进行检测的三个表征参数即上述步骤中获取到的眨眼参数、嘴部参数以及头部参数，进行同等权重的组合，作为独有的综合检测表征参数集，然后通过遗传算法和粒子群算法对综合表征参数集进行混合优化基于支持向量机，建立装备操作人员疲劳检测模型，具体如下：
步骤5-1、参数预处理，为了能够消除获取到的参数特征值之间的量纲影响，保证设备操作人员疲劳检测模型的精度，就需要对数据进行归一化处理。最有效的数据归一化方法是最值归一化方法，对上述步骤获得的眨眼参数，嘴部参数，头部参数进行进行线性变换，将其结果映射到某一规定的区间之间，将结果映射到[0，1]区间，其映射如下：
其中，x，y为不同的参数特征值，xmin为样本数据的最小值，xmax为样本数据的最大值。利用该方法将训练集和测试集数据归一化到[0，1]区间，提高模型分类的准确率。
步骤5-2、对核函数参数g和惩罚参数c进行优化，选取最优参数，进一步提升设备操作人员疲劳检测模型分类的准确率。寻优方法是让核函数参数g和惩罚参数c用K-fold交叉验证方法(K-foldCrossValidation,K-CV)找到一定意义下的最佳函数参数g和惩罚参数c。首先在一定范围内选定核函数参数g和惩罚参数c的值，将上述步骤获得的眨眼参数，嘴部参数，头部参数平均分成z组，每次将一个子集数据做一次测试集，剩下的z-1组子集数据作为训练集，这样构建分类器会得到z个支持向量机模型，以z个支持向量机模型测试集的分类结果准确率的平均值作为此指定参数下分类器的性能指标，重新改变参数值，重复上述步骤，最后取使测试集分类准确率最高的那一组参数为最佳参数。
步骤5-3、使用GA-PSO混合算法将遗传算法的交叉、变异思想运用到粒子群算法中，在个体粒子进行更新时，先选择适应度较低的个体粒子与个体最优粒子进行交叉操作，如果新产生的粒子的适应度比之前的要高，那就将新粒子代替原来的粒子，否则两个粒子不进行交换。所有粒子交叉操作结束后，对新粒子进行变异操作，同样的如果新产生的粒子的适应度比之前的要高，那就将新粒子代替原来的粒子，否则两个粒子不进行交换。重复上述步骤，以此迭代更新粒子，直到达到结束条件，得到设备操作人员疲劳检测模型判断的全局最优解。
步骤6、利用设备操作人员疲劳检测模型，判断新的包含头部信息的视频中的操作人员状态为清醒或疲劳。
Claims (5)
1.一种基于视觉特征信息融合的设备操作人员疲劳状态检测方法，其特征在于，所述方法包括以下步骤：
步骤1、在各种疲劳表征中挑选眼部、嘴部、头部轮廓作为检测组合，检测内容根据“中华中医药学会团体标准”，分别采集操作人员在其标准中的清醒和疲劳状态下具有上述检测组合的视频；
步骤2、基于Haar-Like特征级联分类器的检测方法对上述视频进行人眼检测，基于均值偏移理论的粒子滤波进行眼睛跟踪，粒子滤波重采样之后，抛弃权值小的粒子，保留权值大的粒子，由权值大的粒子衍生出新的粒子，并且衍生出的所有新粒子权值相同，然后利用均值偏移理论对每个新产生的粒子进行迭代；迭代之后更新每个粒子的位置，使每个粒子都收敛到目标附近，不间断跟踪用于判断眼睛实时位置，从而通过已有的眼睑闭合参数即PERCLOS测量原理以获取到实时的眼部眨眼参数；同时转入步骤3；
步骤3、通过ASM方法确定嘴部区域的位置，将嘴部特征点内的区域作为输入图像，并将输入的RGB图像转换为灰度图像；对灰度图像进行图像增强处理，调节其灰度值直到嘴部区域与背景之间的灰度值强度超过设定阈值；对嘴部区域的图像进行二值化，通过形态学重建去除噪声并填充嘴部空白区域，提取嘴部区域的高度值和嘴部附近的黑白像素比值，对开口程度进行评估，评估结果与标准打哈欠临界点进行对比，针对操作设备过程中操作人员的疲劳程度会逐渐增加这一现象，决定将固定的临界点改为两种针对性的临界点，对比是否超过临界点获取此时是否打哈欠的信息，将当前状态是否打哈欠作为嘴部参数；转入步骤4；
步骤4、基于SIFT特征点提取人脸特征参数，即双眼和嘴巴的三角形特征区域中双眼和嘴巴的相对位置参数，将三角形特征区域作为感兴趣区域ROIs，基于SIFT描述子的匹配算法提取感兴趣区域ROIs内眼部、嘴部的SIFT特征点；首先确定SIFT特征点描述子的梯度主方向，即SIFT特征点领域像素梯度直方图的峰值位置；然后将4×4×8共128维矢量作为SIFT特征点的描述子，通过特征点匹配从待处理图像中提取眼部、嘴部SIFT特征点集；通过特征点匹配得到模板图像ROIs的SIFT特征点描述子与感兴趣区域ROIs的特征点描述子之间的欧氏距离；然后将最近的欧氏距离p值和次近的欧氏距离值的比值与阈值进行比较，若p小于该阈值，则感兴趣区域ROIs的特征点即为SIFT特征点，通过获取到的特征点判断出头部摆动角度，即头部参数；转入步骤5；
步骤5、针对选择进行检测的三个表征参数即上述步骤中获取到的眨眼参数、嘴部参数以及头部参数，进行同等权重的组合，作为综合检测表征参数集，通过遗传算法和粒子群算法对综合表征参数集进行混合优化基于支持向量机，建立装备操作人员疲劳检测模型；
步骤6、利用装备操作人员疲劳检测模型，判断待测包含头部信息的视频中的操作人员状态为清醒或疲劳。
2.根据权利要求1所述的基于视觉特征信息融合的设备操作人员疲劳状态检测方法，其特征在于：步骤2中的具体步骤如下：
步骤2-1、粒子采样，初始化时，确定眼睛目标的位置x0，取粒子数为Ns，t表示粒子序号，其权值初始值为1/Ns，所有粒子的权值之和为1，每个粒子代表目标的一个可能的运动状态，也就是目标的一个可能位置xt＝x0+bξ，其中ξ为[-1，1]内的随机数，表示可能变化的随机位置数，系数b为常数计算以每个粒子为中心的目标搜索窗口的直方图H(b)＝(nb，ub，∑b)，当初始时目标区域的中心为x0时，二阶直方图
目标特征B＝1，…，Ns，均值向量
协方差矩阵
δ[B(xt)-B]表示直方图系数；转入步骤2-2；
步骤2-2、粒子状态转移，采用一阶系统实现眼睛的跟踪；粒子的坐标(Xt，Yt)的一阶系统状态转移方程为：
其中系数A1、B1、A2、B2为常数，wt-1为[0，1]内的随机数，转入步骤2-3；
步骤2-3、粒子更新，观察每个粒子所代表的目标可能状态和目标真实状态之间的相似程度，接近目标真是状态的粒子赋予较大的权值，反之赋予较小权值；转入步骤2-4；
步骤2-4、计算各粒子相应权重加权值以确定目标的最终位置xnew，转入步骤2-5；
步骤2-5、重采样，通过对粒子和相应权值表示的概率密度函数重新采样，增加权值较大的粒子个数，转入步骤2-6；
步骤2-6、基于均值偏移的粒子优化，由MeanShift理论可知，均值偏移向量指向相似度极大的方向，即与目标最相似的位置，利用均值偏移迭代，更新粒子的位置。
3.根据权利要求2所述的基于视觉特征信息融合的设备操作人员疲劳状态检测方法，其特征在于，步骤3中，嘴部区域的高度值和嘴部附近的黑白像素比值必须满足三个基本条件具体公式即临界点如下：
NBS＞Th1
NWC＞Th2
h＞Th3
其中NBS表示当前倾与参考顿中的黑色像素数之比，必须大于阈值Th1，NWC表示当前帧嘴部区域的黑色像素数量与嘴部周围区域中的白色像素数量之比，必须大于阈值Th2；h表示嘴部区域的商度，高度必须大于阈值Th3；只有当3个条件同时满足，才判定检测到的特定顿为打哈欠；
第一次检测到打哈欠后将基本条件公式修改为：
NBS＞0.8*Th1
NWC＞0.8*Th2
h＞0.8*Th3
后续始终以该临界点作为标准进行循环检测，直到人员停止操作，中断检测后再恢复原有临界点。
4.根据权利要求3所述的基于视觉特征信息融合的设备操作人员疲劳状态检测方法，其特征在于，步骤4中，基于SIFT特征点匹配获取左眼、右眼以及嘴部的SIFT特征点，并将其作为提取面部特征的处理对象；然后分别计算左眼、右眼以及嘴部的SIFT特征点的中点坐标分别对应为L(xL，yL)、R(xR，yR)、M(xM，yM)，基于中点坐标计算以下三个特征矢量，具体步骤如下：
步骤4-1、提取眼部特征矢量：设左眼、右眼的SIFT特征点集分别为{(xLi，yLi)}、{(xRj，yRj)}，其中左眼特征点集坐标参数i＝1，2，......，I，右眼特征点集坐标参数j＝1，2，......，J；
计算左眼所有特征点到L(xL，yL)的距离di(L)、右眼所有特征点到R(xR，yR)的距离dj(L)
式中，左眼特征点的中点横坐标
左眼特征点的中点纵坐标
嘴部的SIFT特征点的中点横坐标
嘴部的SIFT特征点的中点纵坐标
根据di(L)、di(R)得出双眼特征点分别到双眼中点均值d(L)、d(R)以及上述距离计算时的标准差δ(L)、δ(R)；
步骤4-2、提取嘴部特征参数：设嘴部的SIFT特征点集为{M(k)＝(xMk，yMk)}，特征点序号k＝1，2，……，K，K为所有特征点数量；计算眼部所有特征点到M(xMk，yMk)的距离dK(M)
式中，横坐标
纵坐标
5.根据权利要求1所述的基于视觉特征信息融合的设备操作人员疲劳状态检测方法，其特征在于，步骤5中，具体步骤如下：
步骤5-1、利用最值归一化方法对上述步骤获得的眨眼参数、嘴部参数、头部参数进行线性变换，将其结果映射到[0，1]区间，其映射如下：
其中，x为每一个样本数据，xmin为样本数据的最小值，xmax为样本数据的最大值；
步骤5-2、对核函数参数g和惩罚参数c进行优化，选取最优参数，进一步提升设备操作人员疲劳检测模型分类的准确率；寻优方法是让核函数参数g和惩罚参数c用K-fold交叉验证方法找到一定意义下的最佳函数参数g和惩罚参数c；首先在一定范围内选定核函数参数g和惩罚参数c的值，将上述步骤获得的眨眼参数，嘴部参数，头部参数平均分成z组，每次将一个子集数据做一次测试集，剩下的z-1组子集数据作为训练集，这样构建分类器会得到z个支持向量机模型，以z个支持向量机模型测试集的分类结果准确率的平均值作为此指定参数下分类器的性能指标，重新改变参数值，重复上述步骤，最后取使测试集分类准确率最高的那一组参数为最佳参数；
步骤5-3、使用GA-PSO混合算法将遗传算法的交叉、变异思想运用到粒子群算法中，在个体粒子进行更新时，先选择适应度较低的个体粒子与个体最优粒子进行交叉操作，如果新产生的粒子的适应度比之前的要高，那就将新粒子代替原来的粒子，否则两个粒子不进行交换；所有粒子交叉操作结束后，对新粒子进行变异操作，同样的如果新产生的粒子的适应度比之前的要高，那就将新粒子代替原来的粒子，否则两个粒子不进行交换；重复上述步骤，以此迭代更新粒子，直到达到结束条件，得到设备操作人员疲劳检测模型判断的全局最优解。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111235915.7A CN113989887A (zh) | 2021-10-22 | 2021-10-22 | 基于视觉特征信息融合的设备操作人员疲劳状态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111235915.7A CN113989887A (zh) | 2021-10-22 | 2021-10-22 | 基于视觉特征信息融合的设备操作人员疲劳状态检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113989887A true CN113989887A (zh) | 2022-01-28 |
Family
ID=79740584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111235915.7A Pending CN113989887A (zh) | 2021-10-22 | 2021-10-22 | 基于视觉特征信息融合的设备操作人员疲劳状态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989887A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116805405A (zh) * | 2023-08-25 | 2023-09-26 | 南通大学 | 用于铣床设备的智能防护方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254151A (zh) * | 2011-06-16 | 2011-11-23 | 清华大学 | 一种基于面部视频分析的驾驶人疲劳检测方法 |
| US9198575B1 (en) * | 2011-02-15 | 2015-12-01 | Guardvant, Inc. | System and method for determining a level of operator fatigue |
| CN106530623A (zh) * | 2016-12-30 | 2017-03-22 | 南京理工大学 | 一种疲劳驾驶检测装置及检测方法 |
| CN111368580A (zh) * | 2018-12-25 | 2020-07-03 | 北京入思技术有限公司 | 一种基于视频分析的疲劳状态检测方法及装置 |
-
2021
- 2021-10-22 CN CN202111235915.7A patent/CN113989887A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9198575B1 (en) * | 2011-02-15 | 2015-12-01 | Guardvant, Inc. | System and method for determining a level of operator fatigue |
| CN102254151A (zh) * | 2011-06-16 | 2011-11-23 | 清华大学 | 一种基于面部视频分析的驾驶人疲劳检测方法 |
| CN106530623A (zh) * | 2016-12-30 | 2017-03-22 | 南京理工大学 | 一种疲劳驾驶检测装置及检测方法 |
| CN111368580A (zh) * | 2018-12-25 | 2020-07-03 | 北京入思技术有限公司 | 一种基于视频分析的疲劳状态检测方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| BK SAVA: "Real Time Driver Fatigue Detection Based on SVM Algorithm", 2018 6TH INTERNATIONAL CONFERENCE ON CONTROL ENGINEERING & INFORMATION TECHNOLOGY (CEIT), 1 July 2019 (2019-07-01) * |
| 冯文文;曹银杰;李晓琳;胡卫生;: "基于改进的深度卷积神经网络的人脸疲劳检测", 科学技术与工程, 18 May 2020 (2020-05-18) * |
| 李强: "基于PERCLOS的列车司机驾驶疲劳检测研究", 中国优秀硕士论文全文数据库 信息科技辑, 15 July 2014 (2014-07-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116805405A (zh) * | 2023-08-25 | 2023-09-26 | 南通大学 | 用于铣床设备的智能防护方法及系统 |
| CN116805405B (zh) * | 2023-08-25 | 2023-10-27 | 南通大学 | 用于铣床设备的智能防护方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106846734B (zh) | 一种疲劳驾驶检测装置及方法 | |
| CN106169081B (zh) | 一种基于不同照度的图像分类及处理方法 | |
| CN108053615B (zh) | 基于微表情的驾驶员疲劳驾驶状态检测方法 | |
| CN111062292B (zh) | 一种疲劳驾驶检测装置与方法 | |
| CN110532887A (zh) | 一种基于面部特征融合的疲劳驾驶检测方法及系统 | |
| CN109460703B (zh) | 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法 | |
| CN110728241A (zh) | 一种基于深度学习多特征融合的驾驶员疲劳检测方法 | |
| CN111460950B (zh) | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 | |
| CN112528815A (zh) | 基于多模态信息融合的疲劳驾驶检测方法 | |
| CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
| CN110705468B (zh) | 基于图像分析的眼动范围识别方法和系统 | |
| CN111291701B (zh) | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 | |
| CN107563996A (zh) | 一种新型视神经盘分割方法及系统 | |
| CN109409298A (zh) | 一种基于视频处理的视线追踪方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN112438741B (zh) | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 | |
| CN113989788A (zh) | 一种基于深度学习和多指标融合的疲劳检测方法 | |
| CN111428555B (zh) | 一种分关节的手部姿态估计方法 | |
| CN114020155A (zh) | 一种基于眼动仪的高精度视线定位方法 | |
| CN115346197A (zh) | 一种基于双向视频流的驾驶员分心行为识别方法 | |
| CN107967944A (zh) | 一种基于Hadoop的户外环境大数据人体健康监测方法与平台 | |
| CN113989887A (zh) | 基于视觉特征信息融合的设备操作人员疲劳状态检测方法 | |
| Rajevenceltha et al. | A novel approach for drowsiness detection using local binary patterns and histogram of gradients | |
| Panicker et al. | Open-eye detection using iris–sclera pattern analysis for driver drowsiness detection | |
| CN111104817A (zh) | 一种基于深度学习的疲劳检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |