CN118470690A - 利用眼动追踪技术的驾驶员注意力分析方法、设备及介质 - Google Patents
利用眼动追踪技术的驾驶员注意力分析方法、设备及介质 Download PDFInfo
- Publication number
- CN118470690A CN118470690A CN202410466589.8A CN202410466589A CN118470690A CN 118470690 A CN118470690 A CN 118470690A CN 202410466589 A CN202410466589 A CN 202410466589A CN 118470690 A CN118470690 A CN 118470690A
- Authority
- CN
- China
- Prior art keywords
- eye
- driver
- pupil
- ratio
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims description 42
- 210000001747 pupil Anatomy 0.000 claims abstract description 65
- 230000001815 facial effect Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 230000004424 eye movement Effects 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 241001282135 Poromitra oscitans Species 0.000 claims description 4
- 206010048232 Yawning Diseases 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 208000032140 Sleepiness Diseases 0.000 claims description 3
- 206010041349 Somnolence Diseases 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000037321 sleepiness Effects 0.000 claims description 3
- 210000000554 iris Anatomy 0.000 description 37
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种利用眼动追踪技术的驾驶员注意力分析方法，涉及辅助驾驶领域，包括：根据获取的脸部帧图信息、霍夫圆变换以及Blob检测，识别虹膜边缘和追踪瞳孔位置；构建几何模型；在检测发生中断时，通过历史坐标数据，恢复瞳孔位置；通过几何模型以及脸部帧图信息中的眼睛帧，确定视线方向，计算眼睛帧的中心点；根据几何模型的中心与中心点的相对位置，计算水平比率和垂直比率；根据水平比率、垂直比率进行视线跟踪，检测视线方向；通过视线方向，进行注意力分析，确定分析结果。有效地识别驾驶员的分心或疲劳迹象，并及时采取措施以预防潜在的安全风险。该系统对于提高驾驶安全性至关重要，可在驾驶员分心或疲劳时提供必要的警示和干预。
Description
技术领域
本申请涉及辅助驾驶领域，尤其涉及一种利用眼动追踪技术的驾驶员注意力分析方法、设备及介质。
背景技术
随着自动化技术在交通和车辆领域的不断发展，对驾驶员注意力分析的需求越来越迫切。驾驶员在行驶过程中的注意力直接影响到行车安全和效率，而现代交通环境的复杂性使得持续保持高度集中注意力成为一大挑战。因此，开发一种有效的系统以分析驾驶员在实际驾驶或模拟环境中的注意力模式变得尤为重要。
计算机视觉技术的进步为通过跟踪眼动来分析注意力提供了可能性。这项技术能够监测驾驶员的眼动，并分析他们对特定路况的反应、疲劳度、分心情况等多种心理和行为状态。利用面部识别、头部位置估计、身体姿态分析等算法，可以实现对驾驶员眼动的准确跟踪。市场上也有各种传感器和设备如Kinect One传感器和Tobii眼动追踪器等可以用于这一目的。
根据是否对使用者造成侵入，眼动追踪技术可以分为两大类：侵入式和非侵入式方法。侵入式方法由于需要与驾驶员身体直接接触，可能引起不适，从而影响其可靠性和舒适度。非侵入式技术则不需要直接接触，其中计算机视觉系统就属于非侵入式方法，这种方法不仅更可靠和舒适，而且计算机视觉模型不需要大量的数据，更适合快速有效地估算眼睛位置和跟踪视线方向。
本发明的目标是创建一个非侵入式的计算机视觉系统，该系统能够追踪驾驶员的眼动方向并分析其注意力。这一系统可以通过使用车辆内置的摄像头实现，摄像头将追踪面部、眼睛的运动，并准确估计视线方向。通过理解驾驶员的注意力模式，该系统有望帮助提升驾驶安全性，并可能在驾驶员培训、行车疲劳监测等领域发挥作用。
现有技术大多通过使用各种眼动追踪器来追踪驾驶员的眼动，系统的设备通常昂贵且设置复杂。
发明内容
本发明的目的在于：为了解决上述背景技术中所提到的问题，提供一种成本效益高且使用简单的利用眼动追踪技术的驾驶员注意力分析方法、设备及介质。
本申请的上述目的是通过以下技术方案得以实现的：
S1：获取脸部帧图信息；
S2：根据脸部帧图信息、霍夫圆变换以及Blob检测，识别虹膜边缘和追踪瞳孔位置；
S3：构建几何模型；在检测发生中断时，根据几何模型以及脸部帧图信息中的历史坐标数据，恢复瞳孔位置；
S4：通过几何模型以及脸部帧图信息中的眼睛帧，确定视线方向，计算眼睛帧的中心点；根据几何模型的中心与中心点的相对位置，计算水平比率和垂直比率；
S5：根据水平比率、垂直比率进行视线跟踪，检测视线方向；通过视线方向，进行注意力分析，确定分析结果。
可选的，步骤S1包括：
S11：获取驾驶员的实时视频；
S12：通过Adaboost算法对Haar级联分类器进行训练；
S13：使用训练后的Haar级联分类器在实时视频中进行识别，确定脸部区域和眼部区域；通过条件过滤对眼部区域进行检验；通过OpenCV库检测脸部区域和眼部区域，获取脸部帧图信息。
可选的，步骤S13包括：
S13a：在脸部区域识别完成后，对眼部区域的提取过程中；过滤识别框较小的脸部区域，选择识别框最大的脸部区域；
S13b：将眼部区域的识别限制在脸部区域的上半部分；
S13c：通过Haar级联分类器检测限定后的眼部区域。
可选的，步骤S2包括：
S21：调整脸部帧图信息的亮度和对比度；根据调整后的脸部帧图信息，通过霍夫圆变换调整边缘检测阈值，识别虹膜边缘信息；
S22：根据环境光线的强弱，调整原始脸部帧图的二值化阈值；通过调整后的二值化阈值，对虹膜边缘信息进行二值化处理；
S23：通过Blob检测算法识别二值化处理后的虹膜边缘信息的最暗像素点，以追踪瞳孔位置。
可选的，在步骤S21中识别虹膜边缘信息的方法还包括：
通过Daugman算法分析虹膜的边缘信息的像素值的变化，识别虹膜边缘信息。
可选的，步骤S4包括：
通过Haar级联分类器获取的脸部帧图信息中的眼睛帧，确定眼睛帧的宽度和长度，计算眼睛帧的中心点；
将中心点设定为眼睛的几何中心，确定眼睛的几何中心与几何模型的中心的相对位置；
根据相对位置，通过分割瞳孔的坐标与眼睛帧的宽度和高度，计算每只眼睛的水平比率和垂直比率；取两只眼睛的水平比率的平均值和垂直比率的平均值，得出最终的水平比率和垂直比率；
具体的计算公式如下：
对于左眼，水平比率L0计算公式为：
其中，l1是左眼瞳孔的横坐标，w1是左眼帧的宽度；
对于右眼，水平比率R0计算公式为：
其中，r1是右眼瞳孔的横坐标，w2是右眼帧的宽度；
最终的水平比率H为：
对于左眼，垂直比率L1计算公式为：
其中，l2是左眼瞳孔的纵坐标，h1是左眼帧的高度；
对于右眼，垂直比率R1计算公式为：
其中，r2是右眼瞳孔的纵坐标，h2是右眼帧的宽度；
最终的垂直比率V为：
可选的，步骤S5包括：
使用最终的水平比率和垂直比率，将视线方向细分为九个区域：中心、左、右、上、上左、上右、下、下左和下右；
当水平比率大于0.5时，认为瞳孔位于眼睛帧的右侧；当水平比率小于0.5时，位于左侧；当水平比率等于0.5时，位于中心；
当垂直比率大于0.5时，认为瞳孔位于眼睛帧的上侧；当垂直比率小于0.5时，位于下侧；当垂直比率等于0.5时，位于中心；
设置极端阈值，根据水平比率、垂直比率进行视线跟踪，判断驾驶员的眼动方向，若驾驶员的视线方向在预设时间内持续偏离正前方，进入等待模式，在等待时间后重新检测驾驶员的视线方向；
若在等待时间后，驾驶员的视线依旧未回到前方，判定为疲劳驾驶。
可选的，方法还包括：
通过脸部帧图信息，检测上下唇之间的距离；
根据预设距离阈值、上下唇之间的距离以及预设张嘴时间阈值，判断驾驶员是否显露出疲劳或嗜睡的打哈欠行为，确定判断结果；
通过判断结果，调整分析结果。
一种电子设备，包括处理器、存储器、用户接口及网络接口，所述存储器用于存储指令，所述用户接口和网络接口用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行一种利用眼动追踪技术的驾驶员注意力分析方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行一种利用眼动追踪技术的驾驶员注意力分析方法。
本申请提供的技术方案带来的有益效果是：
1.利用霍夫圆变换以及Blob检测对获取的脸部帧图信息进行虹膜边缘识别和瞳孔位置追踪；构建一个易于理解且操作简单的几何模型进行注意力分析，确定驾驶员的视线方向。极大地提高了对眼部特征的识别精度和对视线方向的估计能力。在复杂的驾驶环境中，通过对驾驶员眼部动态的实时捕捉与分析，有效地识别和预测驾驶员的注意力分布，提前警示潜在的安全风险。
2.使用通过Adaboost算法训练后的Haar级联分类器进行面部识别。Haar级联分类器易于理解和使用，仅依赖于计算机视觉，降低了成本效益，使用简单，而且易于实施。
3.Daugman算法更侧重于寻找虹膜的特征，以实现更精确的虹膜识别，尽管需要更复杂的计算过程。Blob检测算法通过识别最暗的区域来精确定位瞳孔。此外可以配置算法的参数，以确保它能够可靠地检测到瞳孔并排除其他暗区域，从而实现精确的瞳孔定位。
4.根据环境光线的强弱，调整原始脸部帧图的二值化阈值；通过调整后的二值化阈值，对虹膜边缘信息进行二值化处理；二值化处理简化了Haar级联分类器的数据处理过程，减少了内存使用，降低了计算负荷，提高了系统效率。
附图说明
下面将结合附图及实施例对本申请作进一步说明，附图中：
图1是本申请实施例中利用眼动追踪技术的驾驶员注意力分析方法的步骤图；
图2是本申请实施例中利用眼动追踪技术的驾驶员注意力分析方法的电子设备结构示意图。
具体实施方式
为了对本申请的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本申请的具体实施方式。
本申请的实施例提供了一种利用眼动追踪技术的驾驶员注意力分析方法。
请参考图1，图1是本申请实施例中一种利用眼动追踪技术的驾驶员注意力分析方法的步骤图，包括：
S1：获取脸部帧图信息；
S2：根据脸部帧图信息、霍夫圆变换以及Blob检测，识别虹膜边缘和追踪瞳孔位置；
S3：构建几何模型；在检测发生中断时，根据几何模型以及脸部帧图信息中的历史坐标数据，恢复瞳孔位置；
S4：通过几何模型以及脸部帧图信息中的眼睛帧，确定视线方向，计算眼睛帧的中心点；根据几何模型的中心与中心点的相对位置，计算水平比率和垂直比率；
S5：根据水平比率、垂直比率进行视线跟踪，检测视线方向；通过视线方向，进行注意力分析，确定分析结果。
步骤S1包括：
S11：获取驾驶员的实时视频；
S12：通过Adaboost算法对Haar级联分类器进行训练；
S13：使用训练后的Haar级联分类器在实时视频中进行识别，确定脸部区域和眼部区域；通过条件过滤对眼部区域进行检验；通过OpenCV库检测脸部区域和眼部区域，获取脸部帧图信息。
具体的，在Haar Cascade分类器(即，Haar级联分类器)的训练阶段，Haar Cascade分类器通过Adaboost算法进行强化学习。Adaboost算法挑选一系列最有效的Haar-like特征，用以区分正样本(含有目标对象)与负样本(不含目标对象)。Haar Cascade分类器的结构由多个相互级联的分类器组成，每个级联分类器包含若干强分类器。这些级联的分类器共同工作，通过逐级排除非目标区域，有效提升检测速度和准确性。在应用Haar Cascade分类器时，系统会在输入图像上使用滑动窗口，每次移动一小步，以检测目标对象的可能位置。在每个窗口位置，Haar级联分类器将应用其强分类器来判断是否存在目标对象。
Haar Cascade分类器通过利用Haar-like特征和机器学习，可以在图像中快速准确地定位目标对象，这在驾驶员注意力分析系统中有很好的适用性，能有效地捕捉到驾驶员的面部和眼睛，为后续的分析提供了关键的输入数据。
具体的，驾驶过程中系统将获取实时视频输入，通常来自车辆内置摄像头或外部摄像头传感器。这个视频流将被用来检测驾驶员的面部和眼睛。
步骤S13包括：
S13a：在脸部区域识别完成后，对眼部区域的提取过程中；过滤识别框较小的脸部区域，选择识别框最大的脸部区域；
S13b：将眼部区域的识别限制在脸部区域的上半部分；
S13c：通过Haar级联分类器检测限定后的眼部区域。
具体的，面部区域是第一步，通过在实时视频的视频帧中搜索面部特征，Haar级联分类器将返回脸部的坐标、宽度和高度等信息。系统便能获取面部在图像中的位置。为了增强眼睛检测的精确度，将执行条件性的过滤步骤。通过条件过滤提高眼睛检测的准确性，仅在脸部区域的上半部分进行眼睛检测，排除低于脸部一半高度的任何物体。这个条件过滤的目的是排除那些不够可信或低于脸部一半高度的眼睛检测结果。通常眼睛位于脸部的上半部分，而低于这个位置的对象可能是嘴巴、鼻子或其他特征，而不是眼睛。
步骤S2包括：
S21：调整脸部帧图信息的亮度和对比度；根据调整后的脸部帧图信息，通过霍夫圆变换调整边缘检测阈值，识别虹膜边缘信息；
S22：根据环境光线的强弱，调整原始脸部帧图的二值化阈值；通过调整后的二值化阈值，对虹膜边缘信息进行二值化处理；
S23：通过Blob检测算法识别二值化处理后的虹膜边缘信息的最暗像素点，以追踪瞳孔位置。
具体的，通过图像矩以及虹膜边缘信息，计算出瞳孔的质心；Blob检测算法通过瞳孔的质心实现对瞳孔位置的精确识别。
具体的，在进行虹膜分割和瞳孔检测之前，应先对脸部帧图信息进行预处理以优化后续步骤的准确性和效率。对于每一帧图像，可以进一步的图像预处理，包括亮度和对比度的调整，以确保适应不同的照明条件，使得虹膜和瞳孔更加明显。
在虹膜分割阶段使用霍夫圆变换算法，利用霍夫圆变换后系统会尝试检测眼睛中虹膜的圆形边缘。此时霍夫圆变换需要一定的参数设置，如最小和最大半径，以便适应不同的眼睛尺寸。此阶段的目标是确定虹膜的边界，找到虹膜的外轮廓。
具体的，霍夫圆变换是一种用于检测虹膜和瞳孔圆形曲线的算法，通过将平面上的点转换为参数空间，使用圆的一般公式来判断像素点是否位于圆的边缘。在处理灰度眼睛图像之前，首先使用5x5的高斯滤波器进行降噪，以平滑图像并去除噪声。为了执行霍夫变换，必须进行边缘提取，这是通过Canny边缘检测技术完成的，其中Canny边缘检测器的滞后阈值化有助于确定像素点是否位于边缘上，同时消除了小像素的噪声。为了识别虹膜和巩膜的边缘，强度梯度的最低值和最大值保持在较小的范围内(20,70)，而较短范围内的更高值(100,120)用于检测圆形虹膜-瞳孔边缘，最终计算出了瞳孔的近似中心点。
与霍夫圆变化算法对应，Daugman算法也用于识别虹膜，它通过在灰度眼睛图像上测量不同半径的一组圆来实现，其目标是找到强度值下降最大的两个相邻圆，表示虹膜的位置。算法使用高斯滤波平滑图像，但这里有一个假设，即虹膜都位于眼睛图像中心1/3的区域。所有潜在的虹膜中心点在这个区域内标记，然后通过评估它们来找到虹膜，但这可能会消耗较多计算资源。为了降低计算复杂度，考虑每三个潜在中心点之一，以提高算法速度，尽管可能会降低准确性。最后，虹膜的半径是通过找到具有最大delta值的圆来确定，这个圆代表虹膜。与霍夫圆变换相比，Daugman算法更侧重于寻找虹膜的特征，以实现更精确的虹膜识别，尽管需要更复杂的计算过程。
在完成虹膜的分割之后，紧接着进行瞳孔位置识别。采用了Blob检测技术寻找图像中的最暗部分，即瞳孔所在位置。在对包含虹膜边缘信息的图像进行二值化处理之后，Blob检测算法通过识别最暗的区域来精确定位瞳孔。此外可以配置算法的参数，以确保它能够可靠地检测到瞳孔并排除其他暗区域，从而实现精确的瞳孔定位。
具体的，Blob检测算法用于在图像中找到具有共同特征的像素聚类，而在这种情况下，它用于识别眼睛中心的最暗像素，也就是瞳孔。这个算法操作于二值图像上，而这些二值图像是通过一种叫做二值化的过程创建的。二值化将灰度图像(0-255)转化为黑白图像(0-1)，以提高分类器算法的效率。二值化处理的第一步是确定灰度图的阈值。接下来，系统将逐个检视图像中的像素点，比较它们的灰度值与阈值的大小。对于灰度值高于阈值的像素，它们将被设置为白色；如果较小，则被转化为黑色。
二值化处理简化了Haar级联分类器的数据处理，减少了内存使用，降低了计算负荷，提高了系统效率。需要注意的是，阈值可能需要根据光照条件的变化进行调整。目标是使瞳孔呈现为一个清晰的斑点，以便斑点检测器能够快速识别它。斑点检测器在代码开始时配置了特定设置，以帮助过滤瞳孔，这些设置可能包括最小斑点面积为1500、凸度阈值为0.8(因为瞳孔可能不总是完美圆形)以及识别黑色斑点的能力等。通常，还会对二值图像应用额外的图像处理步骤，如腐蚀、膨胀和中值滤波，以减少噪音。当检测到瞳孔斑点时，通常会在其周围绘制一个圆圈以突出显示其位置。这个算法的主要目的是准确地找到眼睛中心的瞳孔位置。
具体的，通过图像矩以及边缘信息，计算出瞳孔的质心；质心检测也是用来定位眼睛中心的瞳孔位置。质心检测方法依赖于对眼睛图像中的轮廓的识别，轮廓是连接具有相同强度的边界上所有连续点的曲线。通常会应用轮廓近似方法，以减少不必要的点的数量并仅检索所需的坐标。然后从检测到的轮廓中创建了完整的嵌套轮廓层次结构，这有助于识别瞳孔的轮廓。
同时可以使用图像矩来确定瞳孔的质心，图像矩提供了关于图像各种参数的信息，如图像的面积和质心。通过计算质心，算法可以找到图像内瞳孔的地理中心，从而实现对瞳孔位置的精确跟踪。这个方法的主要目的是准确找到瞳孔的位置，并通过图像矩计算出瞳孔的质心，从而实现对瞳孔位置的精确跟踪。
在步骤S21中识别虹膜边缘信息的方法还包括：
通过Daugman算法分析虹膜的边缘信息的像素值的变化，识别虹膜边缘信息。
步骤S4包括：
通过Haar级联分类器获取的脸部帧图信息中的眼睛帧，确定眼睛帧的宽度和长度，计算眼睛帧的中心点；
将中心点设定为眼睛的几何中心，确定眼睛的几何中心与几何模型的中心的相对位置；
根据相对位置，通过分割瞳孔的坐标与眼睛帧的宽度和高度，计算每只眼睛的水平比率和垂直比率；取两只眼睛的水平比率的平均值和垂直比率的平均值，得出最终的水平比率和垂直比率；
具体的计算公式如下：
对于左眼，水平比率L0计算公式为：
其中，l1是左眼瞳孔的横坐标，w1是左眼帧的宽度；
对于右眼，水平比率R0计算公式为：
其中，r1是右眼瞳孔的横坐标，w2是右眼帧的宽度；
最终的水平比率H为：
对于左眼，垂直比率L1计算公式为：
其中，l2是左眼瞳孔的纵坐标，h1是左眼帧的高度；
对于右眼，垂直比率R1计算公式为：
其中，r2是右眼瞳孔的纵坐标，h2是右眼帧的宽度；
最终的垂直比率V为：
步骤S5包括：
使用最终的水平比率和垂直比率，将视线方向细分为九个区域：中心、左、右、上、上左、上右、下、下左和下右；
当水平比率大于0.5时，认为瞳孔位于眼睛帧的右侧；当水平比率小于0.5时，位于左侧；当水平比率等于0.5时，位于中心；
当垂直比率大于0.5时，认为瞳孔位于眼睛帧的上侧；当垂直比率小于0.5时，位于下侧；当垂直比率等于0.5时，位于中心；
设置极端阈值，根据水平比率、垂直比率进行视线跟踪，判断驾驶员的眼动方向，若驾驶员的视线方向在预设时间内持续偏离正前方，进入等待模式，在等待时间后重新检测驾驶员的视线方向；
若在等待时间后，驾驶员的视线依旧未回到前方，判定为疲劳驾驶。
方法还包括：
通过脸部帧图信息，检测上下唇之间的距离；
根据预设距离阈值、上下唇之间的距离以及预设张嘴时间阈值，判断驾驶员是否显露出疲劳或嗜睡的打哈欠行为，确定判断结果；
通过判断结果，调整分析结果。
具体地，本申请的算法流程如下：
1、开始：启动算法。
2、捕获帧：从摄像头获取视频帧。
3、识别面部与眼睛：采用Haar特征来辨识视频帧中的面部和眼睛位置。
4、确定左右眼：根据帧的中心x坐标确定左眼和右眼。
5、提取眼部帧图：从整个视频帧中分离出眼部区域。
6、转化成灰阶图像：把分离出的眼部帧图转换成灰度图形。
7、设立二进制化阈值：确定一个特定阈值以便进行图像的二进制化处理。
8、确定瞳孔位置：通过质心定位技术来识别瞳孔的坐标。
9、如果眼睛未检测到，则认为对象已消失。
10、计算水平和垂直比率：计算眼睛的水平和垂直比率。
11、估计视线方向：基于比率估算出视线的方向。
12、开始计时：对可能的不专注状态开始计时。
1)如果视线方向超出最大阈值或低于最小阈值，并且时间超过10秒，则判断为不专注状态。
2)停止计时。
13、检测口部标记点：使用dlib库检测驾驶员口部的标记点。
14、检查打哈欠阈值：通过监测上唇和下唇之间的距离，如果超过设定阈值，则系统判断驾驶员此时处于疲劳驾驶状态。
15、结束：算法执行完毕
本系统在注意力分析的准确率和响应时间上都有显著提升，尤其在连续驾驶监测和分心行为识别方面展现出更高的稳定性和可靠性。此外，通过优化算法和计算流程，本系统在保持高性能的同时，还大幅降低了计算资源的需求和系统的整体成本，使得它不仅适用于高端车辆系统，也可被广泛应用于普通消费级车辆，极大地扩展了其市场应用范围和潜在用户基础。总体来说，本发明提供了一种全新、高效且经济的解决方案，用于提升驾驶安全性和舒适性，其独特的技术优势和广泛的应用前景预示着其在未来交通安全领域的重要价值。
需要说明的是：上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置和方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请还公开一种电子设备。参照图2，图2是本申请实施例的公开的一种电子设备的结构示意图。该电子设备500可以包括：至少一个处理器501，至少一个网络接口504，用户接口503，存储器505，至少一个通信总线502。
其中，通信总线502用于实现这些组件之间的连接通信。
其中，用户接口503可以包括显示屏(Display)、摄像头(Camera)，可选用户接口503还可以包括标准的有线接口、无线接口。
其中，网络接口504可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器501可以包括一个或者多个处理核心。处理器501利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器505内的指令、程序、代码集或指令集，以及调用存储在存储器505内的数据，执行服务器的各种功能和处理数据。可选的，处理器501可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器501可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器501中，单独通过一块芯片进行实现。
其中，存储器505可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。
可选的，该存储器505包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器505可用于存储指令、程序、代码、代码集或指令集。存储器505可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器505可选的还包括但不限于至少一个位于远离前述处理器501的存储装置。参照图2，作为一种计算机存储介质的存储器505中可以包括操作系统、网络通信模块、用户接口模块以及一种利用眼动追踪技术的驾驶员注意力分析方法的应用程序。
在图2所示的电子设备500中，用户接口503主要用于为用户提供输入的接口，获取用户输入的数据；而处理器501可以用于调用存储器505中存储一种利用眼动追踪技术的驾驶员注意力分析方法的应用程序，当由一个或多个处理器501执行时，使得电子设备500执行如上述实施例中一个或多个的方法。需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几种实施方式中，应该理解到，所披露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接包括但不限于通过一些服务接口，装置或单元的间接耦合或通信连接，包括但不限于电性或其他的形式。
作为分离部件说明的单元包括但不限于或者也可以不是物理上分开的，作为单元显示的部件包括但不限于或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也包括但不限于各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的商品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件商品的形式体现出来，该计算机软件商品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。
本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
Claims (10)
1.一种利用眼动追踪技术的驾驶员注意力分析方法，其特征在于，方法包括以下步骤：
S1：获取脸部帧图信息；
S2：根据脸部帧图信息、霍夫圆变换以及Blob检测，识别虹膜边缘和追踪瞳孔位置；
S3：构建几何模型；在检测发生中断时，根据几何模型以及脸部帧图信息中的历史坐标数据，恢复瞳孔位置；
S4：通过几何模型以及脸部帧图信息中的眼睛帧，确定视线方向，计算眼睛帧的中心点；根据几何模型的中心与中心点的相对位置，计算水平比率和垂直比率；
S5：根据水平比率、垂直比率进行视线跟踪，检测视线方向；通过视线方向，进行注意力分析，确定分析结果。
2.如权利要求1所述的一种利用眼动追踪技术的驾驶员注意力分析方法，其特征在于，步骤S1包括：
S11：获取驾驶员的实时视频；
S12：通过Adaboost算法对Haar级联分类器进行训练；
S13：使用训练后的Haar级联分类器在实时视频中进行识别，确定脸部区域和眼部区域；通过条件过滤对眼部区域进行检验；通过OpenCV库检测脸部区域和眼部区域，获取脸部帧图信息。
3.如权利要求2所述的一种利用眼动追踪技术的驾驶员注意力分析方法，其特征在于，步骤S13包括：
S13a：在脸部区域识别完成后，对眼部区域的提取过程中；过滤识别框较小的脸部区域，选择识别框最大的脸部区域；
S13b：将眼部区域的识别限制在脸部区域的上半部分；
S13c：通过Haar级联分类器检测限定后的眼部区域。
4.如权利要求1所述的一种利用眼动追踪技术的驾驶员注意力分析方法，其特征在于，步骤S2包括：
S21：调整脸部帧图信息的亮度和对比度；根据调整后的脸部帧图信息，通过霍夫圆变换调整边缘检测阈值，识别虹膜边缘信息；
S22：根据环境光线的强弱，调整原始脸部帧图的二值化阈值；通过调整后的二值化阈值，对虹膜边缘信息进行二值化处理；
S23：通过Blob检测算法识别二值化处理后的虹膜边缘信息的最暗像素点，以追踪瞳孔位置。
5.如权利要求4所述的一种利用眼动追踪技术的驾驶员注意力分析方法，其特征在于，在步骤S21中识别虹膜边缘信息的方法还包括：
通过Daugman算法分析虹膜的边缘信息的像素值的变化，识别虹膜边缘信息。
6.如权利要求1所述的一种利用眼动追踪技术的驾驶员注意力分析方法，其特征在于，步骤S4包括：
通过Haar级联分类器获取的脸部帧图信息中的眼睛帧，确定眼睛帧的宽度和长度，计算眼睛帧的中心点；
将中心点设定为眼睛的几何中心，确定眼睛的几何中心与几何模型的中心的相对位置；
根据相对位置，通过分割瞳孔的坐标与眼睛帧的宽度和高度，计算每只眼睛的水平比率和垂直比率；取两只眼睛的水平比率的平均值和垂直比率的平均值，得出最终的水平比率和垂直比率；
具体的计算公式如下：
对于左眼，水平比率L0计算公式为：
其中，l1是左眼瞳孔的横坐标，w1是左眼帧的宽度；
对于右眼，水平比率R0计算公式为：
其中，r1是右眼瞳孔的横坐标，w2是右眼帧的宽度；
最终的水平比率H为：
对于左眼，垂直比率L1计算公式为：
其中，l2是左眼瞳孔的纵坐标，h1是左眼帧的高度；
对于右眼，垂直比率R1计算公式为：
其中，r2是右眼瞳孔的纵坐标，h2是右眼帧的宽度；
最终的垂直比率V为：
7.如权利要求1所述的一种利用眼动追踪技术的驾驶员注意力分析方法，其特征在于，步骤S5包括：
使用最终的水平比率和垂直比率，将视线方向细分为九个区域：中心、左、右、上、上左、上右、下、下左和下右；
当水平比率大于0.5时，认为瞳孔位于眼睛帧的右侧；当水平比率小于0.5时，位于左侧；当水平比率等于0.5时，位于中心；
当垂直比率大于0.5时，认为瞳孔位于眼睛帧的上侧；当垂直比率小于0.5时，位于下侧；当垂直比率等于0.5时，位于中心；
设置极端阈值，根据水平比率、垂直比率进行视线跟踪，判断驾驶员的眼动方向，若驾驶员的视线方向在预设时间内持续偏离正前方，进入等待模式，在等待时间后重新检测驾驶员的视线方向；
若在等待时间后，驾驶员的视线依旧未回到前方，判定为疲劳驾驶。
8.如权利要求1所述的一种利用眼动追踪技术的驾驶员注意力分析方法，其特征在于，方法还包括：
通过脸部帧图信息，检测上下唇之间的距离；
根据预设距离阈值、上下唇之间的距离以及预设张嘴时间阈值，判断驾驶员是否显露出疲劳或嗜睡的打哈欠行为，确定判断结果；
通过判断结果，调整分析结果。
9.一种电子设备，其特征在于，包括处理器(501)、存储器(505)、用户接口(503)及网络接口(504)，所述存储器(505)用于存储指令，所述用户接口(503)和网络接口(504)用于给其他设备通信，所述处理器(501)用于执行所述存储器(505)中存储的指令，以使所述电子设备(500)执行如权利要求1-8任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如权利要求1-8任意一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410466589.8A CN118470690A (zh) | 2024-04-18 | 2024-04-18 | 利用眼动追踪技术的驾驶员注意力分析方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410466589.8A CN118470690A (zh) | 2024-04-18 | 2024-04-18 | 利用眼动追踪技术的驾驶员注意力分析方法、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118470690A true CN118470690A (zh) | 2024-08-09 |
Family
ID=92159954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410466589.8A Pending CN118470690A (zh) | 2024-04-18 | 2024-04-18 | 利用眼动追踪技术的驾驶员注意力分析方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118470690A (zh) |
-
2024
- 2024-04-18 CN CN202410466589.8A patent/CN118470690A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Radman et al. | Automated segmentation of iris images acquired in an unconstrained environment using HOG-SVM and GrowCut | |
| CN107704805B (zh) | 疲劳驾驶检测方法、行车记录仪及存储装置 | |
| CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
| US20200143146A1 (en) | Target object recognition method and apparatus, storage medium, and electronic device | |
| EP1589485B1 (en) | Object tracking and eye state identification method | |
| Alioua et al. | Driver’s fatigue detection based on yawning extraction | |
| CN102289660B (zh) | 一种基于手部姿态跟踪的违规驾驶行为检测方法 | |
| Gupta et al. | Implementation of motorist weariness detection system using a conventional object recognition technique | |
| US20080226139A1 (en) | Eyelid detection apparatus, eyelid detection method and program therefor | |
| CN111553214B (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
| Lashkov et al. | Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing | |
| Jiménez-Pinto et al. | Face salient points and eyes tracking for robust drowsiness detection | |
| JP2012221162A (ja) | 対象物検出装置及びプログラム | |
| Devi et al. | Driver drowsiness detection using skin color algorithm and circular hough transform | |
| US20220139113A1 (en) | Method and device for detecting object in image | |
| Panicker et al. | Open-eye detection using iris–sclera pattern analysis for driver drowsiness detection | |
| CN110119720B (zh) | 一种实时眨眼检测与人眼瞳孔中心定位方法 | |
| CN116012822B (zh) | 一种疲劳驾驶的识别方法、装置及电子设备 | |
| CN110598521A (zh) | 一种基于人脸图像智能分析的行为与生理状态识别方法 | |
| CN118470690A (zh) | 利用眼动追踪技术的驾驶员注意力分析方法、设备及介质 | |
| Shi et al. | EPS: robust pupil edge points selection with haar feature and morphological pixel patterns | |
| CN114663930A (zh) | 一种活体检测方法、装置、终端设备及存储介质 | |
| CN108108010A (zh) | 一种全新的静态手势检测与识别系统 | |
| JP3963789B2 (ja) | 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 | |
| Yangon et al. | A novel real-time face tracking algorithm for detection of driver fatigue |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |