CN117173776A - 一种基于红外摄像的瞳孔数据疲劳检测方法、系统及设备 - Google Patents
一种基于红外摄像的瞳孔数据疲劳检测方法、系统及设备 Download PDFInfo
- Publication number
- CN117173776A CN117173776A CN202311264028.1A CN202311264028A CN117173776A CN 117173776 A CN117173776 A CN 117173776A CN 202311264028 A CN202311264028 A CN 202311264028A CN 117173776 A CN117173776 A CN 117173776A
- Authority
- CN
- China
- Prior art keywords
- pupil
- data
- fatigue
- eye
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 212
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 230000008859 change Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 26
- 238000003331 infrared imaging Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 8
- 230000006978 adaptation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004438 eyesight Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000004308 accommodation Effects 0.000 claims description 3
- 208000003464 asthenopia Diseases 0.000 abstract description 27
- 210000000720 eyelash Anatomy 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 241000284156 Clerodendrum quadriloculare Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本发明公开一种基于红外摄像的瞳孔数据疲劳检测方法、系统及设备，涉及目标检测技术领域。获取被测试者的眼部红外图像数据；采用图像处理算法对所述眼部红外图像数据进行处理，得到瞳孔的位置数据和边缘数据；根据所述瞳孔的位置数据和边缘数据，得到T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集；将所述T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集与疲劳严重程度视觉模拟量表作对比，得到瞳孔数据疲劳检测结果。本发明提高了被测试者视觉疲劳程度的检测准确性。
Description
技术领域
本发明涉及目标检测技术领域，特别是涉及一种基于红外摄像的瞳孔数据疲劳检测方法、系统及设备。
背景技术
通过采集眼部红外图像数据并进行瞳孔参数提取，可以获得关于瞳孔的各种参数，如瞳孔直径、瞳孔波动程度、瞳孔适应速度等。这些参数反映了眼球的生理状态和活动情况。同时，通过量表工具如疲劳视觉模拟量表(Visual Analogue Scale for Fatigue，VAS-F)和眼部主诉调查表(Eye Complaints Questionnaire，ECQ)对被测试者进行评估，可以获取与视觉疲劳相关的评估数据，如主观疲劳感受、眼部不适等。
在产品中建立视觉疲劳模型时，将瞳孔参数与视觉疲劳的评估数据进行关联分析。通过统计分析和机器学习等方法，可以探索瞳孔参数与视觉疲劳之间的关系。例如，瞳孔直径的变化可能与视觉疲劳程度有关，较大的瞳孔直径可能表示较高的视觉疲劳水平。瞳孔波动程度的增加可能与眼睛疲劳程度相关，而瞳孔适应速度的减慢可能与长时间使用电子设备引起的视觉疲劳有关。传统瞳孔检测方法中存在主观性较强、局限性较大和检测结果准确性低的问题。
发明内容
本发明实施例的目的是提供一种基于红外摄像的瞳孔数据疲劳检测方法、系统及设备，以提高被测试者视觉疲劳程度的检测准确性。
为实现上述目的，本发明实施例提供了如下方案：
一种基于红外摄像的瞳孔数据疲劳检测方法，包括：
获取被测试者的眼部红外图像数据；
采用图像处理算法对所述眼部红外图像数据进行处理，得到瞳孔的位置数据和边缘数据；
根据所述瞳孔的位置数据和边缘数据，得到T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集；
将所述T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集与疲劳严重程度视觉模拟量表作对比，得到瞳孔数据疲劳检测结果。
可选地，采用图像处理算法对所述眼部红外图像数据进行处理，得到瞳孔的位置数据和边缘数据，具体包括：
采用带有约束条件的Haar-like特征对所述眼部红外图像数据进行处理，得到矩形的瞳孔区域；
采用形态学方法和RANSAC拟合对所述矩形的瞳孔区域进行定位，得到椭圆形的瞳孔区域；
根据所述椭圆形的瞳孔区域，得到瞳孔的位置数据和边缘数据；
所述Haar-like特征的响应值用于表征瞳孔-虹膜的对比度特征；
所述瞳孔-虹膜的对比度特征表示为外部特征区域i1＝(x-2w，y-2w，3w)与内部特征区域i0＝(x，y，w)的均值之差；
其中(x，y)表示所述内部特征区域左上角的坐标，w表示内部特征区域宽度的一半；具体公式为：
其中，表示内部特征区域像素强度之和；表示外部特征区域像素强度之和；表示内部特征区域的面积，表示外部特征区域的面积。
可选地，所述眼部红外图像数据包括：瞳孔暗度数据、瞳孔区域数据和眼睛区域数据。
可选地，所述瞳孔暗度数据的全局约束为：
其中，PU表示内部特征区域特征强度的均值；PIC表示外部特征区域特征强度的均值；
所述瞳孔区域数据和眼睛区域数据的全局约束为：
将所述眼部红外图像数据下采样到预设分辨率，根据比例关系对所述内部特征区域宽度w进行约束；具体公式为：
s.t.w∈[W/14,H/2]；
其中，W表示眼部红外图像的宽度；H表示眼部红外图像的高度。
可选地，所述带有约束条件的Haar-like特征计算公式为：
其中，a为超参量。
可选地，所述瞳孔直径位置变化数据集包括：平均瞳孔直径、瞳孔波动程度和瞳孔适应速度；
平均瞳孔直径用于表征T时间段内所述瞳孔直径位置变化数据中所有帧的瞳孔直径平均值；
瞳孔波动程度用于表征T时间段内所述瞳孔直径位置变化数据中所有帧的瞳孔直径变化的标准差；
瞳孔适应速度用于表征T时间段内所述瞳孔直径位置变化数据中所有帧的极值点所形成直线斜率绝对值的平均值；计算公式为：
其中，N表示T时间段内极值点的个数，Sn表示第n帧的瞳孔直径，Sn+1表示第n+1帧的瞳孔直径，Fn表示第n帧的时间点，Fn+1表示第n+1帧的时间点。
可选地，所述瞳孔中心位置变化数据集包括：闭眼百分比、眨眼参数和扫视参数；
眨眼参数包括眨眼时间和眨眼次数；眨眼时间表示在T时间段内眨眼时间的平均值；眨眼次数表示在T时间段内的眨眼次数总和；
扫视参数包括：扫视时长和扫视速度；扫视时长表示T时间段内的平均扫视时长；扫视速度表示T时间段内的最大扫视速度。
为实现上述目的，本发明实施例还提供了如下方案：
一种基于红外摄像的瞳孔数据疲劳检测系统，包括：
图像采集模块，用于获取被测试者的眼部红外图像数据；
预处理模块，与所述图像采集模块连接，用于采用图像处理算法对所述眼部红外图像数据进行处理，得到瞳孔的位置数据和边缘数据；
特征提取模块，与所述预处理模块连接，用于根据所述瞳孔的位置数据和边缘数据，得到T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集；
输出模块，与所述特征提取模块连接，用于将所述T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集与疲劳严重程度视觉模拟量表作对比，得到瞳孔数据疲劳检测结果。
一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于红外摄像的瞳孔数据疲劳检测方法。
一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现所述的基于红外摄像的瞳孔数据疲劳检测方法。
在本发明实施例中，图像采集模块为非接触式数据采集方式，可以非接触地捕捉眼部区域的图像数据。相比传统接触式方法，这种非接触式采集方式更加便捷和舒适，能够提高测试的可接受性和参与度。
预处理模块采用图像处理算法得到精确的瞳孔的位置数据和边缘数据；这使得瞳孔参数提取更加准确和可靠，提高了疲劳检测的精度。
将T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集与疲劳严重程度视觉模拟量表作对比，用于评估被测试者的视觉疲劳程度和回答相关问题。通过综合分析红外图像数据和评估数据，能够更全面地评估视觉疲劳状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于红外摄像的瞳孔数据疲劳检测方法的流程示意图；
图2为本发明实施例提供的基于红外摄像的瞳孔数据疲劳检测系统的详细结构图；
图3为本发明实施例提供的模拟办公室示意图。
符号说明：
图像采集模块-1，预处理模块-2，特征提取模块-3，输出模块-4，光源-5，屏幕-6，红外相机-7。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于红外摄像的瞳孔数据疲劳检测方法、系统及设备，用于无接触地检测人体的疲劳状态，以解决现有的被测试者视觉疲劳程度的检测准确性低的问题。
一种基于红外摄像的瞳孔数据疲劳检测系统通过红外摄像设备采集瞳孔数据，并利用数据处理和分析来提取瞳孔相关的参数，如均值瞳孔直径、瞳孔波动程度、瞳孔适应速度、闭眼百分比、平均闭眼时间、闭眼次数、平均扫视速度和峰值扫视速度等。基于这些参数，系统可以判断被测试者的疲劳水平。通过该系统，可以实现准确可靠的疲劳状态监测，具有广泛的应用前景，特别适用于交通运输、安防监控和工业生产等领域。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1示出了上述基于红外摄像的瞳孔数据疲劳检测方法的一种示例性流程。下面对各步骤进行详细介绍。
步骤1：获取被测试者的眼部红外图像数据；
所述眼部红外图像数据包括：瞳孔暗度数据、瞳孔区域数据和眼睛区域数据。
所述瞳孔暗度数据的全局约束为：
其中，PU表示内部特征区域特征强度的均值；PIC表示外部特征区域特征强度的均值；
所述瞳孔区域数据和眼睛区域数据的全局约束为：
将所述眼部红外图像数据下采样到预设分辨率，根据比例关系对所述内部特征区域宽度w进行约束；具体公式为：
s.t.w∈[W/14,H/2]；
其中，W表示眼部红外图像的宽度；H表示眼部红外图像的高度。
在一个示例中，被测试者的眼部红外图像数据具体可以由红外摄像设备采集。通过红外摄像技术，可以非接触地捕捉眼部区域的图像，采集到的图像数据将传输到计算机进行后续的图像处理和分析。在数据采集过程中，借助量表工具，如疲劳视觉模拟量表(Visual Analogue Scale for Fatigue，VAS-F)和眼部主诉调查表(Eye ComplaintsQuestionnaire，ECQ)，进行相应的评估和问题回答。这些量表评估工具可用于获取与视觉疲劳相关的评估数据。采集到的视觉疲劳数据将用于后续的视觉疲劳模型的建立。
在另一个示例中，根据经典的瞳孔图像，本发明实施例提出：
瞳孔暗度：瞳孔作为全图中最暗的区域，瞳孔的强度值总是全图中最小的，且受光照的影响较小；
瞳孔区域：瞳孔区域始终大于睫毛遮挡区域；
眼睛区域：瞳孔图像中包含了整个眼角区域，即图像的宽度大于眼裂宽度，图像的高度大于上下眼睑中心点距离。
针对人眼睫毛遮挡的情况，本发明实施例对瞳孔区域和眼睛区域进行约束，主要限制(x，y，w)三维空间中w的寻找范围。人眼瞳孔直径的峰值为2mm和8mm，人眼眼裂平均宽度为28mm，同时本发明实施例的图像首先会先将原图像下采样到640×360的分辨率，根据比例关系可以对内部像素区域宽度w的约束。
由于多目标优化模型较难求解，本发明实施例采用线性加权的方式将多目标优化模型转化为单目标优化模型。因此不需要额外对其进行归一化处理。
步骤2：采用图像处理算法对所述眼部红外图像数据进行处理，得到瞳孔的位置数据和边缘数据；具体包括：
采用带有约束条件的Haar-like特征对所述眼部红外图像数据进行处理，得到矩形的瞳孔区域(内部像素区域)；
采用形态学方法和RANSAC拟合对所述矩形的瞳孔区域进行定位，得到椭圆形的瞳孔区域(外部像素区域)；
根据所述椭圆形的瞳孔区域，得到瞳孔的位置数据和边缘数据；
所述Haar-like特征的响应值用于表征瞳孔-虹膜的对比度特征；
所述瞳孔-虹膜的对比度特征表示为外部特征区域i1＝(x-2w，y-2w，3w)与内部特征区域i0＝(x，y，w)的均值之差；
其中(x，y)表示所述内部特征区域左上角的坐标，w表示内部特征区域宽度的一半；具体公式为：
其中，表示内部特征区域像素强度之和；表示外部特征区域像素强度之和；表示内部特征区域的面积，表示外部特征区域的面积。
在一个示例中，外部特征区域的宽度是内部特征区域的3倍。
所述带有约束条件的Haar-like特征计算公式为：
其中，a为超参量。
在一个示例中，采用图像处理算法对眼部红外图像数据进行处理，以定位和提取瞳孔的位置和边缘，该步骤的作用是确定瞳孔的区域，并将其用于后续的参数提取。在本发明实施例中提出了一种带有约束条件的Haar-like特征来检测瞳孔区域，以应对外部光照变化和睫毛遮挡等噪声因素。
Haar-like特征的响应值反应的是瞳孔-虹膜的对比度特征，该瞳孔-虹膜的对比度特征表示为外部特征区域i1＝(x-2w，y-2w，3w)与内部特征区域i0＝(x，y，w)的均值之差，其中(x，y)表示为内部特征区域左上角的坐标，w表示的是内部特征区域宽度的一半。瞳孔-虹膜的对比度特征比其他对比度特征(虹膜-巩膜对比度特征、巩膜-眼睑对比度特征、虹膜-眼睑对比度特征)响应值更大。
Haar-like特征可以定位到宽度为w的方形区域，该结果表现为在方形区域内外特征强度的对比度最大，可能是瞳孔区域。然而，为了寻找椭圆形的瞳孔，需要进一步处理粗略定位的结果。这可以通过图像的形态学方法和RANSAC拟合来实现。这些方法能够精确地确定瞳孔的直径和中心位置。
在现有技术中，传统的Haar-like模型由于光照、拍摄角度、睫毛过长等因素，可能会错误的检测出睫毛、眼角、以及虹膜等区域。主要是因为由于光照强度的变化，导致眼角-眼睑对比度强度、虹膜-巩膜对比度强度可以会比瞳孔-虹膜的对比度高，其次由于人的睫毛长度以及灰度不同，可能导致睫毛-周围环境对比度比瞳孔-虹膜的对比度高，因此本发明实施例对Haar-like特征进行改进，提出了带约束的Haar-like特征来改进上述条件差异所带来的问题。
步骤3：根据所述瞳孔的位置数据和边缘数据，得到T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集；
所述瞳孔直径位置变化数据集包括：平均瞳孔直径、瞳孔波动程度和瞳孔适应速度；
平均瞳孔直径用于表征T时间段内所述瞳孔直径位置变化数据中所有帧的瞳孔直径平均值；
瞳孔波动程度用于表征T时间段内所述瞳孔直径位置变化数据中所有帧的瞳孔直径变化的标准差，用于表示瞳孔对刺激的反应强度。
瞳孔适应速度用于表征T时间段内所述瞳孔直径位置变化数据中所有帧的极值点所形成直线斜率绝对值的平均值；计算公式为：
其中，N表示T时间段内极值点的个数，Sn表示第n帧的瞳孔直径，Sn+1表示第n+1帧的瞳孔直径，Fn表示第n帧的时间点，Fn+1表示第n+1帧的时间点。
在一个示例中，极值点包括极大值和极小值。极值点所形成直线斜率是指：相邻的一一对应的一组极大值点与极小值点之间的连线的斜率。
所述瞳孔中心位置变化数据集包括：闭眼百分比、眨眼参数和扫视参数；
眨眼参数包括眨眼时间和眨眼次数；眨眼时间表示在T时间段内眨眼时间的平均值；眨眼次数表示在T时间段内的眨眼次数总和，用来表示眨眼的频率。
扫视参数包括：扫视时长和扫视速度；扫视时长表示T时间段内的平均扫视时长；扫视速度表示T时间段内的最大扫视速度，用于表示扫视的快慢程度。
在一个示例中，瞳孔中心位置变化数据集中的眨眼帧用下述两个条件判断：
(1)椭圆长宽比(ρ):测量瞳孔的圆度，即瞳孔椭圆小轴和长轴之间的比率，这个指标倾向于更圆的椭圆，一般来说，椭圆长宽比大于3便认为拟合的椭圆不是瞳孔；
(2)椭圆轮廓对比度(γ):基于瞳孔暗度，认为椭圆拟合的区域一定是周围区域中像素强度值最低的。通过计算经过椭圆边缘点与瞳孔中心的线性方程，比较椭圆内外线段的平均强度，如果内段平均强度低于外段平均强度，则满足瞳孔暗度假设。
具体来说，将整个圆周按照10度为步长划分为36个线段，对于每个线段，计算椭圆边缘点到瞳孔中心的直线方程，并在内外两侧各取一定长度的线段，计算两侧线段的平均强度，并进行比较。如果超过一半的线段满足椭圆暗度假设，则认为拟合的椭圆为瞳孔椭圆。
判断条件(η)的表达式为：
η＝ρ&γ；
其中，椭圆长宽比(ρ)、椭圆轮廓对比度(γ)、约束条件(η)都是逻辑变量，如果判断条件(η)取值为0说明此时帧处于眨眼状态。
上述8个参数可以客观地描述实验中瞳孔的反应变化情况，从而更好地评估此时注意力状况的视觉疲劳状态。
步骤4：将所述T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集与疲劳严重程度视觉模拟量表作对比，得到瞳孔数据疲劳检测结果。
在一个示例中，瞳孔直径为瞳孔椭圆形的长轴，以眼部红外图像的左上角的像素点为原点建立坐标系。根据上述8个瞳孔参数的视觉疲劳判断，可以使用支持向量机(Support Vector Machine，SVM)、随机森林(Random Forest)或人工神经网络(ArtificialNeural Network，ANN)构建一个视觉疲劳的分类器，将瞳孔参数作为输入层的特征，通过多个中间层和输出层进行疲劳分类预测。具体选择哪种方法取决于数据集的规模、特征的性质以及对精度和效率的需求。
综上所述，在本发明实施例中，图像采集模块为非接触式数据采集方式，可以非接触地捕捉眼部区域的图像数据。相比传统接触式方法，这种非接触式采集方式更加便捷和舒适，能够提高测试的可接受性和参与度。
预处理模块采用图像处理算法得到精确的瞳孔的位置数据和边缘数据；这使得瞳孔参数提取更加准确和可靠，提高了疲劳检测的精度。
将T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集与疲劳严重程度视觉模拟量表作对比，用于评估被测试者的视觉疲劳程度和回答相关问题。通过综合分析红外图像数据和评估数据，能够更全面地评估视觉疲劳状态。
实施例一：
为了更好的验证基于红外摄像的瞳孔数据疲劳检测方法的有效性，本发明实施例采用6个公开数据集来分析模型的结果，共包含26034张图像，这些数据集是在头戴式Dikablis移动眼动仪下进行的道路驾驶实验中记录的。这些数据集的挑战性非常高，因为存在光照条件经常变化、眼睑和睫毛遮挡瞳孔、运动模糊、光线反射以及瞳孔与虹膜之间对比度低等问题，如下表1所示：
本发明实施例提出的基于红外摄像的瞳孔数据疲劳检测方法与已有的Starburst、ExCuSe、ElSe算法对上述的6个数据集进行了比较，从5像素误差的检测率方面报告了上述基于红外摄像的瞳孔数据疲劳检测方法的性能。如下表2所示：
表1
表2
由表1可知，上述6个数据集中的5个数据集在5像素误差范围内，本发明实施例提出的基于红外摄像的瞳孔数据疲劳检测方法明显优于其他算法，即使在最差的数据集Data2中也优于Starburst和ExCuSe，检测率为47.13％。在剩下的5个数据集中，本发明实施例提出的基于红外摄像的瞳孔数据疲劳检测方法在检测率方面都表现优异，平均检测率大于60％，其中在数据集Data4中，检测率比次优的ElSe算法提高了20.53％，可见本发明实施例提出的基于红外摄像的瞳孔数据疲劳检测方法在低光照、睫毛膏、眼影等干扰的情况下表现优异。
实施例二：
本实施例场景为一个模拟的办公室，具体布置如图3所示，为了固定被试者的头部位置，桌面上采用颈托，并且颈托到屏幕的距离为50cm，以确保被试者能够在合适的距离下进行工作。桌面上还放置了用于瞳孔数据采集的红外摄像机，红外摄像机采用的是Alluvium 1800U，为了确保瞳孔图像的清晰度，采用了视明通的12V6灯的红外补光灯。
基于红外摄像的瞳孔数据疲劳检测系统包含以下操作：
实验通过Alluvium 1800U红外相机保存了实验过程中每一帧的瞳孔图像，每隔10min通过屏幕中的ECQ量表进行一次疲劳数据采集，最终建立了瞳孔图像与视觉疲劳对应的数据库。
瞳孔定位：为了降低基于红外摄像的瞳孔数据疲劳检测系统复杂度，首先将瞳孔图像下采样到到640×360的分辨率，为了减少光照、拍摄角度、睫毛过长等因素的影响，本发明实施例采用带有约束的Haar-like特征来对瞳孔区域进行定位。
由于目标函数没有解析解，只能采用滑动窗口的方式。虽然本发明实施例对w进行了约束，但是Haar-like特征仍然是在三维空间(特征位置(x，y)以及特征宽度w)中寻找最大响应值，其时间复杂度为O(W×H×H×S)，S为方形区域面积。采用方形区域而没有采用椭圆区域作为Haar-like特征是因为方形区域可以用积分图的方式进行求解，省去卷积的复杂度，将原有时间复杂度降低至O(W×H×H)。
积分图每个位置保存的信息是从图像左上角像素点到该像素点围成矩形中包含的所有像素强度之和，即：
积分图像可以采用增量的方式来计算：
SAT(x+w,y+h)＝SAT(x,y+h)+SAT(x+w,y)-SAT(x,y)+I(x+w,y+h)；
根据积分图的原理，可以计算出PIC和PU的值：
带约束的Haar-like特征只能找到瞳孔的大致区域，为了更一步得到瞳孔数据，还需对得到的瞳孔区域进行精确定位。
精确定位：本发明实施例通过图像的形态学方法和RANSAC拟合够精确地确定瞳孔的直径和中心位置，亦可通过其他方法来椭圆拟合和边缘检测的方法来定位。
图像的二值化处理主要是得到的均值PU，扫描图像的每个像素点的像素强度值，如果该强度值大于PU，则设为255，反之设为0：
图像的膨胀处理主要是对二值化后的物体边界点进行扩充，可以填补由于遮挡所造成的图像空洞：
其中，k为膨胀椭圆结构体，当膨胀椭圆结构体的中心平移到BIN图像中的一点(x，y)，且结构体与BIN至少有一点交，则保留点(x，y)，然后对膨胀后的图像进行Canny滤波就可以提取瞳孔的边缘像素。
最后RANSAC算法通对瞳孔的轮廓点进行拟合，从而得到椭圆的参数。具体来说：
步骤S1：从边缘像素中随机取5个数据点进行椭圆方程拟合，并求出椭圆方程参数。椭圆一般方程为：
Ax2+Bxy+Cy2+Dx+Ey+F＝0；
步骤S2：利用求得的椭圆模型进行数据点评估，判断出是否符合该椭圆模型的内点集。
步骤S3：计算出的内点集数量是否大于上一次内点集数量，如果是，则更新最优内点集及最优椭圆模型。
步骤S4：判断最优内点集是否达到预期数量，如果是，则退出循环，输出最优椭圆模型，否则继续执行上述操作步骤S1至步骤S3，直到最大循环次数。
值得注意的是：在进行步骤S1和步骤S2时，需要判断求解的椭圆参数是否合法，例如需要满足A*C-(B/2)^2>0的条件。此外，在步骤S2中可以设置代数距离和几何距离的阈值，用于判断数据点是否属于内点集。请参见表3：
表3
被试者需要按照量表中的描述，根据自己的实际情况选择相应的选项或给出相应的分数。通过回答这些问题，可以获得一个综合的视觉疲劳得分，用于评估一个人的视觉疲劳程度，视觉疲劳程度采用百分制的方式来描述。
将8个瞳孔参数与百分制的疲劳得分输入疲劳模型中进行训练，模型可采用支持向量机(Support Vector Machine，SVM)、随机森林(Random Forest)以及人工神经网络(Artificial Neural Network，ANN)等模型，本发明中采用了线性回归、支持向量机、决策树以及随机森林四种方式举例说明，分别用相关系数R2和均方误差MSE来描述模型的结果，请参见表4：
表4
结果可见，本发明实施例提取的8种瞳孔参数与视觉疲劳之间具有较高的相关性，说明通过本发明提出的瞳孔参数模型可以很好的进行视觉疲劳程度的判断。
以下是一些常见的替代方案：
对于视觉疲劳模型可以采用人工神经网络等多种其他模型来替代，可以根据相关系数R2和均方误差MSE来选取合适的模型。
对于提取参数的方法，采用Starburst和ExCuSe等其他瞳孔识别模型得到的精度不如本发明的提出的方法精度高。
为实现上述目的，本发明实施例还提供了如下方案：
一种基于红外摄像的瞳孔数据疲劳检测系统，请参见图2，包括：
图像采集模块1用于获取被测试者的眼部红外图像数据；
预处理模块2与所述图像采集模块1连接，预处理模块2用于采用图像处理算法对所述眼部红外图像数据进行处理，得到瞳孔的位置数据和边缘数据；
特征提取模块3与所述预处理模块2连接，特征提取模块3用于根据所述瞳孔的位置数据和边缘数据，得到T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集；
输出模块4与所述特征提取模块3连接，输出模块4用于将所述T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集与疲劳严重程度视觉模拟量表作对比，得到瞳孔数据疲劳检测结果。
进一步地，本发明还提供一种电子设备，该电子设备可以包括：处理器、通信接口、存储器和通信总线。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的计算机程序，以执行所述处理器执行所述计算机程序时实现所述的基于红外摄像的瞳孔数据疲劳检测方法。
此外，上述的存储器中的计算机程序通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现所述的基于红外摄像的瞳孔数据疲劳检测方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明实施例的限制。
Claims (10)
1.一种基于红外摄像的瞳孔数据疲劳检测方法，其特征在于，包括：
获取被测试者的眼部红外图像数据；
采用图像处理算法对所述眼部红外图像数据进行处理，得到瞳孔的位置数据和边缘数据；
根据所述瞳孔的位置数据和边缘数据，得到T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集；
将所述T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集与疲劳严重程度视觉模拟量表作对比，得到瞳孔数据疲劳检测结果。
2.根据权利要求1所述的基于红外摄像的瞳孔数据疲劳检测方法，其特征在于，采用图像处理算法对所述眼部红外图像数据进行处理，得到瞳孔的位置数据和边缘数据，具体包括：
采用带有约束条件的Haar-like特征对所述眼部红外图像数据进行处理，得到矩形的瞳孔区域；
采用形态学方法和RANSAC拟合对所述矩形的瞳孔区域进行定位，得到椭圆形的瞳孔区域；
根据所述椭圆形的瞳孔区域，得到瞳孔的位置数据和边缘数据；
所述Haar-like特征的响应值用于表征瞳孔-虹膜的对比度特征；
所述瞳孔-虹膜的对比度特征表示为外部特征区域i1＝(x-2w，y-2w，3w)与内部特征区域i0＝(x，y，w)的均值之差；
其中(x，y)表示所述内部特征区域左上角的坐标，w表示内部特征区域宽度的一半；具体公式为：
其中，表示内部特征区域像素强度之和；表示外部特征区域像素强度之和；表示内部特征区域的面积，表示外部特征区域的面积。
3.根据权利要求2所述的基于红外摄像的瞳孔数据疲劳检测方法，其特征在于，所述眼部红外图像数据包括：瞳孔暗度数据、瞳孔区域数据和眼睛区域数据。
4.根据权利要求3所述的基于红外摄像的瞳孔数据疲劳检测方法，其特征在于，所述瞳孔暗度数据的全局约束为：
其中，PU表示内部特征区域特征强度的均值；PIC表示外部特征区域特征强度的均值；
所述瞳孔区域数据和眼睛区域数据的全局约束为：
将所述眼部红外图像数据下采样到预设分辨率，根据比例关系对所述内部特征区域宽度w进行约束；具体公式为：
s.t.w∈[W/14,H/2]；
其中，W表示眼部红外图像的宽度；H表示眼部红外图像的高度。
5.根据权利要求4所述的基于红外摄像的瞳孔数据疲劳检测方法，其特征在于，所述带有约束条件的Haar-like特征计算公式为：
其中，a为超参量。
6.根据权利要求1所述的基于红外摄像的瞳孔数据疲劳检测方法，其特征在于，所述瞳孔直径位置变化数据集包括：平均瞳孔直径、瞳孔波动程度和瞳孔适应速度；
平均瞳孔直径用于表征T时间段内所述瞳孔直径位置变化数据中所有帧的瞳孔直径平均值；
瞳孔波动程度用于表征T时间段内所述瞳孔直径位置变化数据中所有帧的瞳孔直径变化的标准差；
瞳孔适应速度用于表征T时间段内所述瞳孔直径位置变化数据中所有帧的极值点所形成直线斜率绝对值的平均值；计算公式为：
其中，N表示T时间段内极值点的个数，Sn表示第n帧的瞳孔直径，Sn+1表示第n+1帧的瞳孔直径，Fn表示第n帧的时间点，Fn+1表示第n+1帧的时间点。
7.根据权利要求1所述的基于红外摄像的瞳孔数据疲劳检测方法，其特征在于，所述瞳孔中心位置变化数据集包括：闭眼百分比、眨眼参数和扫视参数；
眨眼参数包括眨眼时间和眨眼次数；眨眼时间表示在T时间段内眨眼时间的平均值；眨眼次数表示在T时间段内的眨眼次数总和；
扫视参数包括：扫视时长和扫视速度；扫视时长表示T时间段内的平均扫视时长；扫视速度表示T时间段内的最大扫视速度。
8.一种基于红外摄像的瞳孔数据疲劳检测系统，其特征在于，包括：
图像采集模块，用于获取被测试者的眼部红外图像数据；
预处理模块，与所述图像采集模块连接，用于采用图像处理算法对所述眼部红外图像数据进行处理，得到瞳孔的位置数据和边缘数据；
特征提取模块，与所述预处理模块连接，用于根据所述瞳孔的位置数据和边缘数据，得到T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集；
输出模块，与所述特征提取模块连接，用于将所述T时间段内瞳孔直径位置变化数据集和瞳孔中心位置变化数据集与疲劳严重程度视觉模拟量表作对比，得到瞳孔数据疲劳检测结果。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项中所述的基于红外摄像的瞳孔数据疲劳检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1-7任一项所述的基于红外摄像的瞳孔数据疲劳检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311264028.1A CN117173776A (zh) | 2023-09-28 | 2023-09-28 | 一种基于红外摄像的瞳孔数据疲劳检测方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311264028.1A CN117173776A (zh) | 2023-09-28 | 2023-09-28 | 一种基于红外摄像的瞳孔数据疲劳检测方法、系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117173776A true CN117173776A (zh) | 2023-12-05 |
Family
ID=88931822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311264028.1A Pending CN117173776A (zh) | 2023-09-28 | 2023-09-28 | 一种基于红外摄像的瞳孔数据疲劳检测方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173776A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118155424A (zh) * | 2024-05-09 | 2024-06-07 | 贵州大学 | 基于数据交互实现高速公路的道路安全管理方法及系统 |
-
2023
- 2023-09-28 CN CN202311264028.1A patent/CN117173776A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118155424A (zh) * | 2024-05-09 | 2024-06-07 | 贵州大学 | 基于数据交互实现高速公路的道路安全管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109493954B (zh) | 一种基于类别判别定位的sd-oct图像视网膜病变检测系统 | |
| US10564446B2 (en) | Method, apparatus, and computer program for establishing a representation of a spectacle lens edge | |
| CN109684915B (zh) | 瞳孔跟踪图像处理方法 | |
| CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
| TWI719587B (zh) | 眼底圖像定量分析的前置處理方法及存放裝置 | |
| CN111291701B (zh) | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 | |
| CN117173776A (zh) | 一种基于红外摄像的瞳孔数据疲劳检测方法、系统及设备 | |
| CN106960199B (zh) | 一种真彩色眼象图白睛区域的完整提取方法 | |
| CN112733772B (zh) | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 | |
| CN113190117B (zh) | 瞳孔、光斑定位方法、数据计算方法及相关装置 | |
| CN109840484A (zh) | 一种基于边缘滤波、椭圆评价和瞳孔验证的瞳孔检测方法 | |
| CN115731203A (zh) | 白内障图像识别方法、装置、计算机设备和可读存储介质 | |
| CN110929570A (zh) | 虹膜快速定位装置及其定位方法 | |
| US10956735B1 (en) | System and method for determining a refractive error from red reflex images of eyes | |
| Nirmala et al. | HoG based Naive Bayes classifier for glaucoma detection | |
| CN117274278A (zh) | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 | |
| US10441159B2 (en) | System and method for classifying and quantifying age-related macular degeneration | |
| Karakaya et al. | An iris segmentation algorithm based on edge orientation for off-angle iris recognition | |
| Zhao et al. | Fast localization algorithm of eye centers based on improved hough transform | |
| Chen et al. | Robust iris segmentation algorithm based on self-adaptive Chan–Vese level set model | |
| US10617294B1 (en) | System and method for determining the spherical power of eyes based on measured refractive error | |
| CN110751064B (zh) | 基于图像处理的眨眼次数分析方法和系统 | |
| CN115375611A (zh) | 一种基于模型训练的屈光检测方法和检测系统 | |
| Cania et al. | Technique automatic for detection and segmentation of optic disc area in retinal image | |
| CN113011393B (zh) | 基于改进混合投影函数的人眼定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |