CN114821757B - 一种获取视疲劳状态的数据处理系统 - Google Patents

Abstract

本发明提供了一种获取视疲劳状态的数据处理系统，通过对目标用户的面部红外图像进行识别，得到面部区域以及眼部区域的第一目标子区域、第二目标子区域和第三目标子区域，然后获取各区域的平均温度值、最大值和最小值，然后基于各区域的平均温度值、最大值和最小值获得第一目标参数。本发明能够基于眼部区域的温度特征获取视疲劳状态，适用性好。

Description

一种获取视疲劳状态的数据处理系统

技术领域

本发明涉及人机交互领域，具体涉及一种获取视疲劳状态的数据处理系统。

背景技术

专利文献1（CN104766056A）提供了一种人机交互方法、装置及虚拟头戴设备，公开的技术方案中包括通过对拍摄的红外图像中的眼轮廓参数进行特征提取，以对眼睛状态进行检测。

专利文献2（CN113052051A）公开了一种视疲劳检测方法，公开的技术方案包括对拍摄的脸部图像中的手部和眼睛之间的距离以及手部运动时长进行识别，以对眼睛状态进行检测。然而，还可通过对图像中的其它特征进行提取来进行检测。

因此，本发明希望提供另外一种基于红外图像识别特征以对眼部状态进行检测的方案。

发明内容

针对上述技术问题，本发明实施例提供一种获取视疲劳状态的数据处理系统，用于至少解决上述技术问题之一。

本发明采用的技术方案为：

本发明实施例提供一种获取视疲劳状态的数据处理系统，所述系统包括：处理器以及与处理器通信连接的数据库和显示器；所述数据库中存储有目标用户处于睁眼状态的面部红外图像；所述处理器用于执行计算机程序，实现如下步骤：

S10，从数据库中获取面部红外图像并对面部红外图像中的面部区域进行识别。

S20，在识别出的面部区域中识别出眼部区域，并在识别出的眼部区域中识别出第一目标子区域A、第二目标子区域B和第三目标子区域C，A=B∪C。

S30，分别获取面部区域最大温度值maxT_F、最小温度值minT_F和平均温度值Avg_F、第一目标子区域A的最大温度值maxT_A、最小温度值minT_A和平均温度值Avg_A、第二目标子区域B的最大温度值maxT_B、最小温度值minT_B和平均温度值Avg_B以及第三目标子区域C的最大温度值maxT_C、最小温度值minT_C和平均温度值Avg_C。

S40，基于获取的最大温度值、最小温度值和平均温度值获取第一目标参数，所述第一目标参数包括：第一区差异参数值D1= Avg_A-Avg_F、第二区差异参数值D2=Avg_B-Avg_F、第三区差异参数值D3=Avg_C-Avg_F、第一极差参数值E1 =maxT_A-minT_A、第二极差参数值E2=maxT_B-minT_B、第三极差参数值E3=maxT_C-minT_C和视觉差异参数值V=Avg_B-Avg_C。

S50，基于设定的参数值参照表，在所述显示器上对获取的第一目标参数进行显示。

本发明提供的获取视疲劳状态的数据处理系统，通过对目标用户的面部红外图像进行识别，得到面部区域以及眼部区域的第一目标子区域、第二目标子区域和第三目标子区域，然后获取各区域的平均温度值、最大值和最小值，然后基于各区域的平均温度值、最大值和最小值获得表征眼睛状态的第一目标参数。本发明由于利用的是面部红外图像，因此，不会涉及到隐私和受环境光影响等问题，并且，系统能够自动对目标用户的视疲劳状态进行获取，适用性好。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的系统的处理器执行计算机程序时实现的步骤示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现代医学认为眼疲劳形成原因可能包括以下两方面：一方面是眼球长时间地处于搜索注视状态，眼外肌和睫状肌代谢增加，造成代谢废物（主要包括氧自由基）的产生和积累增加，从而造成肌细胞结构损伤和功能下降；另一方面是视细胞消耗过度，而所需营养物质供应不及时，造成黄斑及视网膜恢复时间延长。眼球的内外眼肌就如同人体的其他肌肉一样持续地收绷就会紧张、疲劳、酸胀、麻木，造成血液流动滞缓、淤血和神经紧张，导致视疲劳。当眼周局部循环阻滞时，局部温度升高明显。因此通过判断眼周特定区域的温度即可在一定程度上反应眼部肌肉的疲劳状态。

基于此，本发明的技术思想在于提供一种获取视疲劳状态的数据处理系统，用于对目标用户的面部红外图像进行分析处理，以得到表征眼部状态的目标参数。在实际应用场景中，可以基于该目标参数给出对应性的防护建议。

进一步地，在本发明实施例提供的获取视疲劳状态的数据处理系统可包括：处理器以及与处理器通信连接的数据库和显示器；所述数据库中存储有目标用户处于睁眼状态的面部红外图像。

在本发明实施例中，目标用户处于睁眼状态的面部红外图像可通过图像采集装置获取。图像采集装置可红外摄像装置例如红外图像传感器等。图像采集装置用于将采集目标用户处于睁眼状态的面部红外图像并发送给所述数据库。

在本发明实施例中，处理器用于对面部红外图像进行预处理，包括将图像中的像素点的位置坐标和温度值之间的关系进行提取并存储到存储器中，例如，可以数据表的形式进行存储。数据表的第p行可包括（S_pq，T_pq），S_pq为第p行的第q个像素点的位置，T_pq为S_pq对应的温度值，p的取值为1到M1，q的取值为1到M2。M1为图像中的像素行数，q为图像中的像素列数，基于图像的大小确定。

本领域技术人员知晓，通过红外图像获取每个像素点的温度值可为现有技术。

进一步地，处理器还用于对预处理后的面部红外图像进行处理，得到表征眼睛状态的第一目标参数。具体地，所述处理器用于执行计算机程序，实现如图1所示的步骤：

S10，从数据库中获取面部红外图像并对面部红外图像中的面部区域进行识别。

S20，在识别出的面部区域中识别出眼部区域，并在识别出的眼部区域中识别出第一目标子区域A、第二目标子区域B和第三目标子区域C，A=B∪C。

在本发明实施例中，所述第一目标子区域A可为由眼眶围成的区域，所述第二目标子区域B可为在上眼睑和下眼睑之间暴露的区域，第三目标子区域C为第一目标子区域A中除第二目标子区域B之外的区域。本领域技术人员知晓，眼眶、上眼睑和下眼睑的具体位置可为现有技术。

在本发明实施例中，各区域的识别可基于利用标注了各区域的标注图像作为训练集训练后的语义分割模型进行识别，例如，可基于训练后的DDRNet模型。本领域技术人员知晓，利用标注图像对DDRNet模型进行训练可为现有技术。

在本发明实施例中，采用训练后的DDRNet模型识别出的眼眶可用第一标识线表示，以及识别出的上眼睑和下眼睑可用第二标识线表示。识别出的第一标识线和第二标识线可采用不同颜色表示。可知，第一标识线围成的区域为第一目标子区域A，第二标识线围成的区域为第二目标子区域B，第一标识线和第二标识线之间的区域为第三目标子区域C。需要说明的是，眼部区域包括两只眼睛的眼部区域。

S30，分别获取面部区域最大温度值maxT_F、最小温度值minT_F和平均温度值Avg_F、第一目标子区域A的最大温度值maxT_A、最小温度值minT_A和平均温度值Avg_A、第二目标子区域B的最大温度值maxT_B、最小温度值minT_B和平均温度值Avg_B以及第三目标子区域C的最大温度值maxT_C、最小温度值minT_C和平均温度值Avg_C。

基于本发明对第一目标子区域A、B和C的划分，可知，第一目标子区域A的温度可代表全眼特征温度特征，第二目标子区域B的温度可代表睁眼状态下可见的角膜及其内测组织红外温度特征，第三目标子区域C的温度可代表眼肌红外温度特征。

在本发明实施例中，S30可进一步包括：

S301，分别获取面部区域的像素集S_F=（s¹ _F，s² _F，…，sⁿ _F）、第一目标子区域A中的像素集S_A=（s¹ _A，s² _A，…，sⁿ¹ _A）、第二目标子区域B中的像素集S_B=（s¹ _B，s² _B，…，sⁿ² _B）和第三目标子区域C中的像素集S_C=（s¹ _C，s² _C，…，sⁿ³ _C）；其中，s^h _F为S_F中的第h个像素点的位置，sⁱ _A为S_A中的第i个像素点的位置，s^j _B为S_B中的第j个像素点的位置，s^k _C为S_C中的第k个像素点的位置，h的取值为1到n，i的取值为1到n1，j的取值为1到n2，k的取值为1到n3，n、n1、n2和n3分别为S_F、S_A、S_B和S_C中的像素点的数量。

S302，分别基于S_F、S_A、S_B和S_C，获取对应的温度集T_F=（t¹ _F，t² _F，…，tⁿ _F）、T_A=（t¹ _A，t² _A，…，tⁿ¹ _A）、T_B=（t¹ _B，t² _B，…，tⁿ² _B）和T_C=（t¹ _C，t² _C，…，tⁿ³ _C），t^h _F、tⁱ _A、t^j _B和t^k _C分别为s^h _F、sⁱ _A、s^j _B和s^k _C对应的温度值。

S303，分别获面部区域的平均温度值Avg_F=

、最大温度值maxT_F=max（t¹ _F， t² _F，…，tⁿ _F）和最小温度值minT_F=min（t¹ _F，t² _F，…，tⁿ _F）。

S304，分别获取第一目标子区域A的平均温度值Avg_A=

、最大温度值maxT_A=max（t¹ _A，t² _A，…，tⁿ¹ _A）和最小温度值minT_A=min（t¹ _A，t² _A，…，tⁿ¹ _A）。

S305，分别获取第二目标子区域B的平均温度值Avg_B=

、最大温度值maxT_B= max（t¹ _B，t² _B，…，tⁿ² _B）和最小温度值minT_B=min（t¹ _B，t² _B，…，tⁿ² _B）。

S306，分别获取第三目标子区域C的平均温度值Avg_C=

、最大温度值maxT_C= max（t¹ _C，t² _C，…，tⁿ³ _C）和最小温度值minT_C=min（t¹ _C，t² _C，…，tⁿ³ _C）。

本领域技术人员知晓，获取每个区域内的像素点位置可为现有技术。基于获取的像素点位置，可通过查阅存储器中的数据表获得对应的温度值。

S40，基于获取的最大温度值、最小温度值和平均温度值获取第一目标参数，所述第一目标参数包括：第一区差异参数值D1= Avg_A-Avg_F、第二区差异参数值D2=Avg_B-Avg_F、第三区差异参数值D3=Avg_C-Avg_F、第一极差参数值E1 =maxT_A-minT_A、第二极差参数值E2=maxT_B-minT_B、第三极差参数值E3=maxT_C-minT_C和视觉差异参数值V=Avg_B-Avg_C。

在本发明实施例中，D1、D2、D3代表不同区域的温度变化，其中，D1可表示代表整个眼部的综合状态，D2可反应眼组织的炎症、干燥等情况，D3可数反应肌肉疲劳、代谢障碍情况。E1、E2、E3代表不同区域内的温度差异，V用于比较肌肉疲劳/代谢障碍情况，与眼炎症、干燥等情况，两种状态的强弱。

S50，基于设定的参数值参照表，在所述显示器上对获取的第一目标参数进行显示。

进一步地，在本发明实施例中，所述设定的参数值参照表可包括区差异参数值参照表、第一极差参数值参照表、第二极差参数值参照表和视觉差异参数值参照表。

其中，所述区差异参数值参照表包括n个区差异判断范围和对应的显示标识。在一个示意性实施例中，区差异参数值参照表可如下表1所示：

表1：区差异参数值参照表

在本发明实施例中，n可基于实际需要进行设置，优选，n≥2。每个区差异判断范围可基于实际情况确定，例如，基于数据统计确定。

进一步地，在S50中，如果Du位于第v个区差异判断范围内，则在显示器上将Du以第j个区差异判断范围对应的显示标识进行显示，u的取值为1到3，v的取值为1到n。

例如，在表1示出的区差异参数值参照表中，第1个区差异判断范围为1.10~1.50，对应的显示标识为正常，第2个区差异判断范围为1.60~2.00，对应的显示标识为1，依次类推。需要说明的是，本发明给出的显示标识仅是一个示例，也可为根据实际需要设置其他显示标识。

进一步地，所述极差参数值参照表包括n个极差判断范围和对应的显示标识。在一个示意性实施例中，第一极差参数值参照表可如下表2所示：

表2：极差参数值参照表

每个极差判断范围可基于实际情况确定，例如，基于数据统计确定。

进一步地，在S50中，如果Eu位于第v个极差判断范围内，则在显示器上将Eu以第v个极差判断范围对应的显示标识进行显示。

例如，在表2示出的极差参数值参照表中，E1的第1个区差异判断范围为0~1，对应的显示标识为正常，E1的第2个区差异判断范围为1.1~1.5，对应的显示标识为1，依次类推。

进一步地，所述视觉差异参数值参照表包括等于视觉差异判断值、大于视觉差异判断值和小于视觉差异判断值以及对应的显示标识。在一个示意性实施例中，视觉差异参数值参照表可如下表3所示：

表3：视觉差异参数值参照表

	正常	眼肌代谢障碍	炎症、干燥等不适
				V	0	＞0	＜0

在表3示出的视觉差异参数值参照表中，视觉差异判断值可为0，如果V等于视觉差异判断值，对应的显示标识为正常；如果V大于视觉差异判断值，对应的显示标识可为眼肌代谢障碍；如果V小于视觉差异判断值，对应的显示标识可为炎症、干燥等不适等。

用眼过度造成眼肌疲劳，也会出现干涩等不适，会造成频繁眨眼来缓解干涩等不适，因此可通过眨眼频率及闭眼时间来判断非困倦导致的视力疲劳。

进一步地，所述数据库中还存储有目标用户在设定时间段∆T内的视频流，即图像采集装置在∆T内对目标用户进行连续拍摄（例如录像）获得对应的视频流，所述视频流中包括目标用户的N帧面部红外图像。设定时间段∆T的单位可为秒或者分钟，优选为秒。

进一步地，本发明实施例提供的系统还包括：第一计数器C1、第二计数器C2和第三计数器C3，C1、C2和C3的初始值为0。C1、C2和C3可为集成在处理器中的程序。

进一步地，所述处理器还用于执行计算机程序以实现如下步骤：

S60，对所述视频流中的眼睛状态进行识别，得到第二目标参数；

S60进一步包括：

S601，对于N帧面部红外图像中的任一图像r，对图像r的眼睛进行识别并对识别到的眼睛的状态进行识别，如果识别到的眼睛状态为第一状态，执行S602；如果识别到的眼睛状态为第二状态，执行S604；r的取值为1到N。

S602，如果r=1，设置C1=C1+1，执行S607；如果r≥2，执行S603。

S603，如果图像r-1中的眼睛状态为第一状态，设置C1=C1+1；如果图像r-1中的眼睛状态为第二状态，设置C1=C1+1，C3=C3+1；执行S607。

S604，如果r=1，设置C2=C2+1，执行S507；如果r≥2，执行S605。

S606，如果图像r-1中的眼睛状态为第二状态，设置C2=C2+1；如果图像r-1中的眼睛状态为第一状态，设置C2=C2+1，C3=C3+1；执行S607。

S607，设置r=r+1；如果r≤N；执行S501；否则，执行S608。

S608，获取眨眼频率f=C3/∆T、第一状态参数值H1=C1/（C1+C2）和第二状态参数值H2=C2/（C1+C2）。

通过步骤S601至S607，得到的C1的值为眼睛状态为第一状态的图像帧数，得到的C2的值为眼睛状态为第二状态的图像帧数，得到的C3的值为状态切换次数，包括由睁眼状态切换为闭眼状态以及由闭眼状态切换为睁眼状态。

S609，基于f、H1和H2得到第二目标参数，即第二目标参数包括f、H1和H2。

在本发明实施例中，所述第一状态可为睁眼状态或者闭眼状态，所述第二状态可为闭眼状态或者睁眼状态。即，第一状态为睁眼状态，第二状态为闭眼状态，或者，第一状态为闭眼状态，第二状态为睁眼状态。

在本发明实施例中，眼睛位置和眼睛状态的检测可基于标注了眼睛位置和眼睛状态的标注图像作为训练集训练后的目标检测模型进行检测，例如可采用YOLOV5模型。本领域技术人员知晓，利用标注图像对YOLOV5模型进行训练可为现有技术。

进一步地，所述处理器还用于执行计算机程序以实现如下步骤：

S70，如果f位于第一设定阈值范围内，则以第一显示标识进行显示，否则以第二显示标识显示。

在本发明实施例中，第一设定阈值范围可基于实际情况确定，在一个示意性实施例中，第一设定阈值范围可为15~20次/min。第一显示标识和第二显示标识可基于实际需要进行设置，可为文字、数字等。在一个示意性实施例中，第一显示标识可为正常，第二显示标识可为异常等。在另一个示意性实施例中，第一显示标识可为0，第二显示标识可为1等。

在另一个实施例中，第一显示标识和第二显示标识的颜色可不同，例如，第一显示标识为绿色，第二显示标识为黄色或者红色等。

S80，如果H1位于第二设定阈值范围内，则以第一显示标识进行显示，否则以第二显示标识显示。

在本发明实施例中，第二设定阈值范围可基于实际情况确定，在一个示意性实施例中，第二设定阈值范围可为0.075~0.133。

S90，如果H2位于第三设定阈值范围内，则以第一显示标识进行显示，否则以第二显示标识显示。

在本发明实施例中，第三设定阈值范围可基于实际情况确定，在一个示意性实施例中，第三设定阈值范围可为0.867~0.925。

在该实施例中，由于同时获取了第一目标参数和第二目标参数，与前述实施例相比，能够更好体现眼部状态，从而在实际应用场景中，能够获取到更加准确的视觉疲劳状态参数。

在一个实际应用场景中，显示器可为专业人员例如眼科医生使用的显示装置，眼科医生可基于显示的显示标识对目标用户的眼疲劳程度进行判断并给出对应的防护建议，如按摩、点穴、熏蒸、眼保健操等。

进一步地，由于数据库中存储有不同时间得到的第一目标参数和第二目标参数，相关人员可基于历史的第一目标参数和第二目标参数对比获取视觉疲劳程度变化。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。

Claims (7)

1.一种获取视疲劳状态的数据处理系统，其特征在于，所述系统包括：处理器以及与处理器通信连接的数据库和显示器；

所述数据库中存储有目标用户处于睁眼状态的面部红外图像；

所述处理器用于执行计算机程序，实现如下步骤：

S10，从数据库中获取面部红外图像并对面部红外图像中的面部区域进行识别；

S20，在识别出的面部区域中识别出眼部区域，并在识别出的眼部区域中识别出第一目标子区域A、第二目标子区域B和第三目标子区域C，A=B∪C；所述第一目标子区域为由眼眶围成的区域，所述第二目标子区域为在上眼睑和下眼睑之间暴露的区域；

S30，分别获取面部区域最大温度值maxT_F、最小温度值minT_F和平均温度值Avg_F、第一目标子区域A的最大温度值maxT_A、最小温度值minT_A和平均温度值Avg_A、第二目标子区域B的最大温度值maxT_B、最小温度值minT_B和平均温度值Avg_B以及第三目标子区域C的最大温度值maxT_C、最小温度值minT_C和平均温度值Avg_C；

S40，基于获取的最大温度值、最小温度值和平均温度值获取第一目标参数，所述第一目标参数包括：第一区差异参数值D1= Avg_A-Avg_F、第二区差异参数值D2=Avg_B-Avg_F、第三区差异参数值D3=Avg_C-Avg_F、第一极差参数值E1 =maxT_A-minT_A、第二极差参数值E2=maxT_B-minT_B、第三极差参数值E3=maxT_C-minT_C和视觉差异参数值V=Avg_B-Avg_C；

S50，基于设定的参数值参照表，在所述显示器上对获取的第一目标参数进行显示；

所述数据库中还存储有目标用户在设定时间段∆T内的视频流，所述视频流中包括目标用户的N帧面部红外图像；

以及还包括：第一计数器C1、第二计数器C2和第三计数器C3，C1、C2和C3的初始值为0；

所述处理器还用于执行计算机程序以实现如下步骤：

S60，对所述视频流中的眼睛状态进行识别，得到第二目标参数；

S60进一步包括：

S601，对于N帧面部红外图像中的任一图像r，对图像r的眼睛进行识别并对识别到的眼睛的状态进行识别，如果识别到的眼睛状态为第一状态，执行S602；如果识别到的眼睛状态为第二状态，执行S604；r的取值为1到N；

S602，如果r=1，设置C1=C1+1，执行S606；如果r≥2，执行S603；

S603，如果图像r-1中的眼睛状态为第一状态，设置C1=C1+1；如果图像r-1中的眼睛状态为第二状态，设置C1=C1+1，C3=C3+1；执行S606；

S604，如果r=1，设置C2=C2+1，执行S606；如果r≥2，执行S605；

S605，如果图像r-1中的眼睛状态为第二状态，设置C2=C2+1；如果图像r-1中的眼睛状态为第一状态，设置C2=C2+1，C3=C3+1；执行S606；

S606，设置r=r+1；如果r≤N；执行S601；否则，执行S607；

S607，获取眨眼频率f=C3/∆T、第一状态参数值H1=C1/（C1+C2）和第二状态参数值H2=C2/（C1+C2）；

S608，基于f、H1和H2得到第二目标参数。

2.根据权利要求1所述的系统，其特征在于，所述设定的参数值参照表包括区差异参数值参照表、极差参数值参照表和视觉差异参数值参照表；

所述区差异参数值参照表包括n个区差异判断范围和对应的显示标识；

所述极差参数值参照表包括n个极差判断范围和对应的显示标识；

所述视觉差异参数值参照表包括等于视觉差异判断值、大于视觉差异判断值和小于视觉差异判断值以及对应的显示标识。

3.根据权利要求2所述的系统，其特征在于，S50进一步包括：

S501，如果Du位于第v个区差异判断范围内，则在显示器上将Du以第j个区差异判断范围对应的显示标识进行显示，u的取值为1到3，v的取值为1到n；

S502，如果Eu位于第v个极差判断范围内，则在显示器上将Eu以第v个极差判断范围对应的显示标识进行显示。

4.根据权利要求3所述的系统，其特征在于，第v个区差异判断范围对应的显示标识和第v个极差判断范围对应的显示标识相同。

5.根据权利要求1所述的系统，其特征在于，所述处理器还用于执行计算机程序以实现如下步骤：

S70，如果f位于第一设定阈值范围内，则以第一显示标识进行显示，否则以第二显示标识显示；

S80，如果H1位于第二设定阈值范围内，则以第一显示标识进行显示，否则以第二显示标识显示；

S90，如果H2位于第三设定阈值范围内，则以第一显示标识进行显示，否则以第二显示标识显示。

6.根据权利要求1所述的系统，其特征在于，所述第一状态为睁眼状态或者闭眼状态，所述第二状态为闭眼状态或者睁眼状态。

7.根据权利要求3或5所述的系统，其特征在于，所述处理器还用于执行计算机程序以实现如下步骤：

基于显示的显示标识输出对应的防护建议。

Images