CN116994323A - 眼部疲劳信息的检测方法、装置、设备及存储介质 - Google Patents

眼部疲劳信息的检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116994323A
CN116994323A CN202310811241.3A CN202310811241A CN116994323A CN 116994323 A CN116994323 A CN 116994323A CN 202310811241 A CN202310811241 A CN 202310811241A CN 116994323 A CN116994323 A CN 116994323A
Authority
CN
China
Prior art keywords
pupil
eye fatigue
eye
information
gazing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310811241.3A
Other languages
English (en)
Inventor
朱章春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kangjian Information Technology Shenzhen Co Ltd
Original Assignee
Kangjian Information Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kangjian Information Technology Shenzhen Co Ltd filed Critical Kangjian Information Technology Shenzhen Co Ltd
Priority to CN202310811241.3A priority Critical patent/CN116994323A/zh
Publication of CN116994323A publication Critical patent/CN116994323A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Abstract

本发明涉及人工智能领域及数字医疗领域,揭露一种眼部疲劳信息的检测方法,包括:获取使用眼部拍照设备输出的眼部图像数据,眼部图像数据中记录有连续时间序列内形成的瞳孔信息,在连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将不同时间点对应的瞳孔特征形成瞳孔变化轨迹,然后根据瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征,利用预先训练的图像分类模型在瞳孔变化轨迹的基础上对注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。本发明通过使用眼部图像数据中的瞳孔信息来实现眼部疲劳信息的即时检测,能够在短时间内提供准确的检测结果,有利于对眼部疲劳信息进行实时监控。

Description

眼部疲劳信息的检测方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域及数字医疗领域,尤其是涉及到眼部疲劳信息的检测方法、装置、设备及存储介质。
背景技术
随着科技的不断进步,人们生活方式正在逐渐改变。互联网、电子产品已经成为日常生活中不可缺少的一部分,而长时间使用电子设备、长时间注视近距离物体或不标准的视觉活动都会导致眼部疲劳,如果眼部疲劳得不到及时缓解便会诱发眼部近视。
通常情况下,正常人的瞳孔为圆形,黑色透明、两侧等大,直径约2.5毫米,瞳孔的变化范围可以是非常大,当极度收缩时,人眼瞳孔的直径可小于1毫米,而当遇到刺激或者兴奋极度扩张时,可大于9毫米,虹膜的括约肌能够收缩到其长度的87%,除了生理调节变化外,若瞳孔直径小于2毫米或大于5毫米,边缘不规则,色泽异常,对光反应迟钝或消失等,常常预示了眼部疾病的发生。因此,有必要在眼部疾病发生之前对眼部疲劳信息进行准确检测,然而,传统的眼部疲劳信息通常需要去专业机构接受眼科检测,并在检测过程中保持眼球干净,使得眼部疲劳信息的检测过程较为复杂,很难在短时间内提供准确的检测结果。
发明内容
有鉴于此,本发明提供了一种眼部疲劳信息的检测方法、装置及设备,主要目的在于解决现有技术中眼部疲劳信息的检测过程较为复杂,很难在短时间内提供准确的检测结果的问题。
依据本发明一个方面,提供了一种眼部疲劳信息的检测方法,包括:
获取使用眼部拍照设备输出的眼部图像数据,所述眼部图像数据中记录有连续时间序列内形成的瞳孔信息;
在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹;
根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征;
利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。
进一步地,所述在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹,包括:
对所述连续时间序列内形成的瞳孔信息进行分析,确定瞳孔信息在不同属性维度上关联的特征描述;
利用所述瞳孔信息在不同属性维度上关联的特征描述,在所述瞳孔信息中捕获不同时间点对应的瞳孔特征;
按照时间顺序将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹。
进一步地,所述根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征,包括:
在所述瞳孔变化轨迹范围内,使用不同时间点上瞳孔特征对应的特征数值计算注视时间范围内的瞳孔运动特征,使用不同时间点上瞳孔特征对应的特征数值统计瞳孔特征在注视时间范围内的瞳孔分布特征;
根据所述注视时间范围内的瞳孔运动特征以及所述瞳孔特征在注视时间范围内的瞳孔分布特征,确定注视时间范围内的瞳孔变化特征。
进一步地,在所述利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息之前,所述方法还包括:
预先收集眼部图像的样本数据,使用机器学习算法对所述样本数据中的瞳孔变化轨迹以及瞳孔变化特征进行网络模型训练;
在网络模型的训练过程中,使用样本数据对应的眼部疲劳程度标签判断网络模型输出的预测信息是否满足迭代停止条件,当所述网络模型输出的预测信息满足迭代停止条件时,将满足迭代停止条件的网络模型作为图像分类模型。
进一步地,所述方法还包括:
在不同瞳孔放大倍数的注视场景中,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度;
利用所述瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度计算眼部疲劳得分,使用所述眼部疲劳得分对所述样本数据进行眼部疲劳程度标记,得到样本数据对应的眼部疲劳程度标签。
进一步地,所述在不同瞳孔放大倍数的注视场景中,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度,包括:
在不同瞳孔放大倍数的注视场景中,记录样本参与者的注视时间以及主观评估的眼部疲劳;
在确保注视场景中评估条件一致性的基础上,记录样本参与者的注视时间和瞳孔放大倍数;
将所述注视时间与主观评估的眼部疲劳程度进行关联分析,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度。
进一步地,在所述获取使用眼部拍照设备输出的眼部图像数据之后,所述方法还包括:
对所述眼部图像数据进行预处理,所述预处理包括去除噪声处理、数据插值处理以及数据平滑处理中的至少一项。
将预处理后的眼部图像数据中不同时间点对应的瞳孔信息以连续的时间序列形式进行保存,得到连续时间序列形式的瞳孔信息。
依据本发明另一个方面,提供了一种眼部疲劳信息的检测装置,包括:
获取单元,用于获取使用眼部拍照设备输出的眼部图像数据,所述眼部图像数据中记录有连续时间序列内形成的瞳孔信息;
捕获单元,用于在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹;
第一确定单元,用于根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征;
检测单元,用于利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。
进一步地,所述捕获单元,具体用于对所述连续时间序列内形成的瞳孔信息进行分析,确定瞳孔信息在不同属性维度上关联的特征描述;利用所述瞳孔信息在不同属性维度上关联的特征描述,在所述瞳孔信息中捕获不同时间点对应的瞳孔特征;按照时间顺序将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹。
进一步地,所述第一确定单元,具体用于在所述瞳孔变化轨迹范围内,使用不同时间点上瞳孔特征对应的特征数值计算注视时间范围内的瞳孔运动特征,使用不同时间点上瞳孔特征对应的特征数值统计瞳孔特征在注视时间范围内的瞳孔分布特征;根据所述注视时间范围内的瞳孔运动特征以及所述瞳孔特征在注视时间范围内的瞳孔分布特征,确定注视时间范围内的瞳孔变化特征。
进一步地,所述装置还包括:
训练单元,用于在所述利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息之前,预先收集眼部图像的样本数据,使用机器学习算法对所述样本数据中的瞳孔变化轨迹以及瞳孔变化特征进行网络模型训练;
生成单元,用于在网络模型的训练过程中,使用样本数据对应的眼部疲劳程度标签判断网络模型输出的预测信息是否满足迭代停止条件,当所述网络模型输出的预测信息满足迭代停止条件时,将满足迭代停止条件的网络模型作为图像分类模型。
进一步地,所述装置还包括:
第二确定单元,用于在不同瞳孔放大倍数的注视场景中,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度;
标记单元,用于利用所述瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度计算眼部疲劳得分,使用所述眼部疲劳得分对所述样本数据进行眼部疲劳程度标记,得到样本数据对应的眼部疲劳程度标签。
进一步地,所述第二确定单元,具体用于在不同瞳孔放大倍数的注视场景中,记录样本参与者的注视时间以及主观评估的眼部疲劳;在确保注视场景中评估条件一致性的基础上,记录样本参与者的注视时间和瞳孔放大倍数;将所述注视时间与主观评估的眼部疲劳程度进行关联分析,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度。
进一步地,所述装置还包括:
预处理单元,用于在所述获取使用眼部拍照设备输出的眼部图像数据之后,对所述眼部图像数据进行预处理,所述预处理包括去除噪声处理、数据插值处理以及数据平滑处理中的至少一项;
保存单元,用于将预处理后的眼部图像数据中不同时间点对应的瞳孔信息以连续的时间序列形式进行保存,得到连续时间序列形式的瞳孔信息。
依据本发明又一个方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现眼部疲劳信息的检测方法的步骤。
依据本发明再一个方面,提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现眼部疲劳信息的检测方法的步骤。
借由上述技术方案,本发明提供一种眼部疲劳信息的检测方法、装置、设备及存储介质,通过获取使用眼部拍照设备输出的眼部图像数据,眼部图像数据中记录有连续时间序列内形成的瞳孔信息,在连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将不同时间点对应的瞳孔特征形成瞳孔变化轨迹,然后根据瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征,利用预先训练的图像分类模型在瞳孔变化轨迹的基础上对注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。与现有技术中去专业机构进行眼部疲劳信息的检测方式相比,本申请可通过眼部拍照设备获取到眼部图像数据,使用眼部图像数据中的瞳孔信息来实现眼部疲劳信息的即时检测,进一步将瞳孔变化特征与眼部疲劳程度进行关联检测,能够在短时间内提供准确的检测结果,有利于对眼部疲劳信息进行实时监控。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明一实施例中眼部疲劳信息的检测方法的一应用环境示意图;
图2是本发明一实施例中眼部疲劳信息的检测方法的一流程示意图;
图3是图1中步骤S20的一具体实施方式流程示意图;
图4是图1中步骤S30的一具体实施方式流程示意图;
图5是本发明另一实施例中眼部疲劳信息的检测方法的一流程示意图;
图6是本发明另一实施例中眼部疲劳信息的检测方法的一流程示意图;
图7是本发明一实施例中眼部疲劳信息的检测装置的一结构示意图;
图8是本发明一实施例中计算机设备的一结构示意图;
图9是本发明一实施例中计算机设备的另一结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供的眼部疲劳信息的检测方法,可应用在如图1的应用环境中,其中,客户端通过网络与服务端进行通信。客户端可以提供眼部疲劳信息的检测服务,服务端可以获取使用眼部拍照设备输出的眼部图像数据,眼部图像数据中记录有连续时间序列内形成的瞳孔信息,在连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将不同时间点对应的瞳孔特征形成瞳孔变化轨迹,然后根据瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征,利用预先训练的图像分类模型在瞳孔变化轨迹的基础上对注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。在本发明中,通过眼部拍照设备获取到眼部图像数据,使用眼部图像数据中的瞳孔信息来实现眼部疲劳信息的即时检测,进一步将瞳孔变化特征与眼部疲劳程度进行关联检测,能够在短时间内提供准确的检测结果,有利于对眼部疲劳信息进行实时监控。其中,客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。下面通过具体的实施例对本发明进行详细的描述。
请参阅图2所示,图2为本发明实施例提供的眼部疲劳信息的检测方法的一个流程示意图,包括如下步骤:
S10、获取使用眼部拍照设备输出的眼部图像数据。
其中,眼部拍照设备可以是带有拍摄或者录制功能的拍照眼镜,或者布置在眼部前方的采集设备等,用户可通过佩戴拍照眼镜获取眼部图像数据,这里拍照眼镜可设置间隔拍摄时间,例如,间隔1分钟自动拍摄眼部图像。
可以理解的是,眼部拍照设备主要是围绕眼部的眼球进行拍摄,在拍摄得到的眼部图像主要记录的是瞳孔信息,由于眼部拍照设备会伴随时间推移不断执行拍照功能,相应的,拍摄得到的眼部图像数据中记录有连续时间序列内形成的瞳孔信息,这里瞳孔信息包括瞳孔在眼部图片中的描述信息,例如,眼部图片中的瞳孔位置、瞳孔直径大小等。
S20、在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹。
考虑到连续时间序列内形成的瞳孔信息相当于不同时间点上瞳孔部位的属性反映,通过对瞳孔信息进行属性分析,结合瞳孔信息中瞳孔位置以及瞳孔直径大小等,捕获瞳孔信息中不同时间点对应的瞳孔特征,这里瞳孔特征可以是瞳孔大小、瞳孔位置、瞳孔形状等。
需要说明的是,眼部疲劳通常是用眼过度引起的,而瞳孔特征的变化能够在特定场景中反映眼部疲劳程度,通过分析瞳孔特征的变化,可获取有关眼部疲劳程度的瞳孔变化轨迹,进一步使用瞳孔变化轨迹来预测眼部疲程度。具体地,如图3所示,在步骤S20中,也即在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹,包括如下步骤:
S21、对所述连续时间序列内形成的瞳孔信息进行分析,确定瞳孔信息在不同属性维度上关联的特征描述。
S22、利用所述瞳孔信息在不同属性维度上关联的特征描述,在所述瞳孔信息中捕获不同时间点对应的瞳孔特征。
S23、按照时间顺序将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹。
其中,瞳孔信息在不同属性维度上关联的特征描述可以包括但不局限与瞳孔大小、瞳孔尺寸、瞳孔位置等。为了确保眼部图像数据的准确性和稳定性,瞳孔信息以连续时间序列记录下来,相应的,按照时间顺序将不同时间点对应的瞳孔特征形成瞳孔变化轨迹,以保证瞳孔变化轨迹在时间变化上的连贯性。
S30、根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征。
可以理解的是,对眼部疲劳信息的检测,瞳孔变化轨迹是关键,通过分析连续时间序列内瞳孔信息获取到的瞳孔变化轨迹中可覆盖注视时间内的瞳孔变化特征,这里瞳孔变化特征至少包括瞳孔运动速度、瞳孔加速度、瞳孔注视点的稳定性、瞳孔注视时间的分布模式等。
需要理解的是,在瞳孔变化轨迹的基础上,需要从瞳孔变化轨迹中提取有关眼疲劳的相关特征,这些特征即为瞳孔变化特征,可通过计算和/或统计分析来获取。具体地,如图4所示,步骤S30中,也即根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征,包括如下步骤:
S31、在所述瞳孔变化轨迹范围内,使用不同时间点上瞳孔特征对应的特征数值计算注视时间范围内的瞳孔运动特征,使用不同时间点上瞳孔特征对应的特征数值统计瞳孔特征在注视时间范围内的瞳孔分布特征。
S32、根据所述注视时间范围内的瞳孔运动特征以及所述瞳孔特征在注视时间范围内的瞳孔分布特征,确定注视时间范围内的瞳孔变化特征。
具体在瞳孔变化轨迹范围内,不同时间点上瞳孔特征对应的特征数值是变化的,一方面,瞳孔特征对应的特征数值能够反映当前时间点上的瞳孔运动状态,通过计算相邻时间点上瞳孔运动状态的特征数值的变化,可得到注视时间范围内的瞳孔运动特征,例如,瞳孔运动频率的变化、瞳孔运动速度等,一方面,瞳孔特征对应的特征数值能够反映还能反映当前时间点的瞳孔运动位置,通过统计相邻时间点上瞳孔运动位置特征数值的变化,可得到注视时间范围内的瞳孔分布特征,例如,瞳孔注视点的偏离程度、瞳孔注视时间的分布模式等。
进一步地,考虑到眼部疲劳检测除了瞳孔变化还涉及到主观感受因素,这里可以在瞳孔变化特征的基础上,加入眼部疲劳的主观感受因素作为附加特征,以增加瞳孔变化特征与眼部疲劳程度的关联检测,例如,用眼时间、用眼环境等。
S40、利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。
其中,预先训练的图像分类模型可以采用卷积神经网络模型来进行图像分类的训练,在实际应用时可将训练好的图像分类模型集成到眼部拍照设备中,通过眼部拍照设备上集成的图像分类模型,输出眼部疲劳程度的预测信息,进一步根据眼部疲劳程度的预测信息,来帮助用户自助检测是否存在眼部疲劳情况,这里眼部疲劳程度的预测信息可通过数值和/或等级等形式出现,当眼部疲劳程度的预测信息大于或等于设定数值时,即判定用户存在眼部疲劳情况,并通过眼部拍照设备弹出疲劳提示消息。
进一步地,如图5所示,在步骤S40之前,方法还包括:
S50、预先收集眼部图像的样本数据,使用机器学习算法对所述样本数据中的瞳孔变化轨迹以及瞳孔变化特征进行网络模型训练。
S60、在网络模型的训练过程中,使用样本数据对应的眼部疲劳程度标签判断网络模型输出的预测信息是否满足迭代停止条件,当所述网络模型输出的预测信息满足迭代停止条件时,将满足迭代停止条件的网络模型作为图像分类模型。
其中,眼部图像的样本数据可以是疲劳眼病例的眼部图像数据,这些眼部图像数可以来着医疗机构的医疗记录、眼科诊所的眼底图片、自拍等。为了确保眼部图像数据的准确性和稳定性,可针对眼部图像数据进行预处理。例如,去噪声、亮度均衡、旋转纠正、剪裁等操作,进一步将预处理后的眼部图像数据中不同时间点对应的瞳孔信息以连续的时间序列形式进行保存,得到连续时间序列形式的瞳孔信息,根据瞳孔信息获取样本数据中的瞳孔变化轨迹以及瞳孔变化特征。
具体在网络模型的训练过程中,基于瞳孔变化轨迹以及瞳孔变化特征,使用机器学习算法进行网络模型的训练,使用已标记的眼部疲劳程度标签与网络模型实际输出眼部疲劳程度的预测信息进行比较,如果输出的预测信息与眼部疲劳程度标签的匹配度越高,说明网络模型输出的预测信息越接近真实值,当网络模型输出的预测信息满足迭代停止条件时,说明网络模型具有较好的预测效果,可结束网络模型的训练,将满足迭代停止条件的网络模型作为图像分类模型。
进一步地,考虑到模型输出预测结果的准确性,在网络模型训练过程中通常需要预先对眼部图像的样本数据进行标记,以通过标记数据来验证模型输出的预测结果是否准确,如图6所示,在步骤S40之前,方法还包括:
S70、在不同瞳孔放大倍数的注视场景中,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度。
S80、利用所述瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度计算眼部疲劳得分,使用所述眼部疲劳得分对所述样本数据进行眼部疲劳程度标记,得到样本数据对应的眼部疲劳程度标签。
可以理解的是,瞳孔放大倍数与注视时间都会对眼部疲劳产生的影响程度,具体瞳孔放大倍数和注视时间与眼部疲劳之间的关系可通过实验数据分析来确定具体的疲劳产生阈值,作为一种可实施的方式,可设计如下实验,在不同瞳孔放大倍数的注视场景中,记录样本参与者的注视时间以及主观评估的眼部疲劳,在确保注视场景中评估条件一致性的基础上,记录样本参与者的注视时间和瞳孔放大倍数,例如,光线、参与者的坐姿和注视物的距离等,进一步将注视时间与主观评估的眼部疲劳程度进行关联分析,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度。
进一步地,基于数据分析的结果,可以确定一个阈值,使用该阈值表示当瞳孔放大倍数和注视时间达到一定程度时,眼部疲劳发生的概率显著增加,该阈值作为一个指导,超过该阈值说明存在眼部疲劳,将眼部图像的样本数据标记为疲劳,否则说明不存在眼部疲劳,将眼部图像的样本数据标记为非疲劳。当眼部疲劳程度的预测信息为存在眼部疲劳时,可弹出提示消息,用于提醒使用者在超过该阈值之前进行适当眼部休息和调整。
具体地,可使用一个简单的数学公式来估计瞳孔放大倍数和注视时间对眼部疲劳的影响程度,通过以下公式可计算得到眼部疲劳得分:眼部疲劳得分=瞳孔放大倍数×注视时间,其中,瞳孔放大倍数表示瞳孔在观察特定物体时相对于初始大小的放大倍数,注视时间表示持续注视特定物体的时间(以秒为单位),也就是说,眼部疲劳得分会随着瞳孔放大倍数和注视时间的增加而增加,较高的暗部疲劳得分可能意味着更高的眼部疲劳程度。
进一步地,为了确保眼部图像数据的准确性和稳定性,在步骤S10之后,即获取使用眼部拍照设备输出的眼部图像数据之后,方法还包括:对眼部图像数据进行预处理,这里预处理包括去除噪声处理、数据插值处理以及数据平滑处理中的至少一项,然后将预处理后的眼部图像数据中不同时间点对应的瞳孔信息以连续的时间序列形式进行保存,得到连续时间序列形式的瞳孔信息。
本实施例提供了一种眼部疲劳信息的检测方法,通过获取使用眼部拍照设备输出的眼部图像数据,眼部图像数据中记录有连续时间序列内形成的瞳孔信息,在连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将不同时间点对应的瞳孔特征形成瞳孔变化轨迹,然后根据瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征,利用预先训练的图像分类模型在瞳孔变化轨迹的基础上对注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。与现有技术中去专业机构进行眼部疲劳信息的检测方式相比,本申请可通过眼部拍照设备获取到眼部图像数据,使用眼部图像数据中的瞳孔信息来实现眼部疲劳信息的即时检测,进一步将瞳孔变化特征与眼部疲劳程度进行关联检测,能够在短时间内提供准确的检测结果,有利于对眼部疲劳信息进行实时监控。
在一实施例中,提供一种眼部疲劳信息的检测装置,该眼部疲劳信息的检测装置与上述实施例中眼部疲劳信息的检测方法一一对应。如图7所示,该眼部疲劳信息的检测装置包括:获取单元101、捕获单元102、第一确定单元103、检测单元104。各功能模块详细说明如下:
获取单元101,用于获取使用眼部拍照设备输出的眼部图像数据,所述眼部图像数据中记录有连续时间序列内形成的瞳孔信息;
捕获单元102,用于在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹;
第一确定单元103,用于根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征;
检测单元104,用于利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。
在一实施例中,所述捕获单元102,具体用于对所述连续时间序列内形成的瞳孔信息进行分析,确定瞳孔信息在不同属性维度上关联的特征描述;利用所述瞳孔信息在不同属性维度上关联的特征描述,在所述瞳孔信息中捕获不同时间点对应的瞳孔特征;按照时间顺序将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹。
进一步地,所述第一确定单元103,具体用于在所述瞳孔变化轨迹范围内,使用不同时间点上瞳孔特征对应的特征数值计算注视时间范围内的瞳孔运动特征,使用不同时间点上瞳孔特征对应的特征数值统计瞳孔特征在注视时间范围内的瞳孔分布特征;根据所述注视时间范围内的瞳孔运动特征以及所述瞳孔特征在注视时间范围内的瞳孔分布特征,确定注视时间范围内的瞳孔变化特征。
进一步地,所述装置还包括:
训练单元,用于在所述利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息之前,预先收集眼部图像的样本数据,使用机器学习算法对所述样本数据中的瞳孔变化轨迹以及瞳孔变化特征进行网络模型训练;
生成单元,用于在网络模型的训练过程中,使用样本数据对应的眼部疲劳程度标签判断网络模型输出的预测信息是否满足迭代停止条件,当所述网络模型输出的预测信息满足迭代停止条件时,将满足迭代停止条件的网络模型作为图像分类模型。
进一步地,所述装置还包括:
第二确定单元,用于在不同瞳孔放大倍数的注视场景中,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度;
标记单元,用于利用所述瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度计算眼部疲劳得分,使用所述眼部疲劳得分对所述样本数据进行眼部疲劳程度标记,得到样本数据对应的眼部疲劳程度标签。
进一步地,所述第二确定单元,具体用于在不同瞳孔放大倍数的注视场景中,记录样本参与者的注视时间以及主观评估的眼部疲劳;在确保注视场景中评估条件一致性的基础上,记录样本参与者的注视时间和瞳孔放大倍数;将所述注视时间与主观评估的眼部疲劳程度进行关联分析,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度。
进一步地,所述装置还包括:
预处理单元,用于在所述获取使用眼部拍照设备输出的眼部图像数据之后,对所述眼部图像数据进行预处理,所述预处理包括去除噪声处理、数据插值处理以及数据平滑处理中的至少一项;
保存单元,用于将预处理后的眼部图像数据中不同时间点对应的瞳孔信息以连续的时间序列形式进行保存,得到连续时间序列形式的瞳孔信息。
本实施例提供了一种眼部疲劳信息的检测装置,通过获取使用眼部拍照设备输出的眼部图像数据,眼部图像数据中记录有连续时间序列内形成的瞳孔信息,在连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将不同时间点对应的瞳孔特征形成瞳孔变化轨迹,然后根据瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征,利用预先训练的图像分类模型在瞳孔变化轨迹的基础上对注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。与现有技术中去专业机构进行眼部疲劳信息的检测方式相比,本申请可通过眼部拍照设备获取到眼部图像数据,使用眼部图像数据中的瞳孔信息来实现眼部疲劳信息的即时检测,进一步将瞳孔变化特征与眼部疲劳程度进行关联检测,能够在短时间内提供准确的检测结果,有利于对眼部疲劳信息进行实时监控。
关于眼部疲劳信息的检测装置的具体限定可以参见上文中对于眼部疲劳信息的检测方法的限定,在此不再赘述。上述眼部疲劳信息的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种眼部疲劳信息的检测方法服务端侧的功能或步骤。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是客户端,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种眼部疲劳信息的检测方法客户端侧的功能或步骤
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取使用眼部拍照设备输出的眼部图像数据,所述眼部图像数据中记录有连续时间序列内形成的瞳孔信息;
在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹;
根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征;
利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取使用眼部拍照设备输出的眼部图像数据,所述眼部图像数据中记录有连续时间序列内形成的瞳孔信息;
在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹;
根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征;
利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。
需要说明的是,上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤,可对应参阅前述方法实施例中,服务端侧以及客户端侧的相关描述,为避免重复,这里不再一一描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种眼部疲劳信息的检测方法,其特征在于,所述方法包括:
获取使用眼部拍照设备输出的眼部图像数据,所述眼部图像数据中记录有连续时间序列内形成的瞳孔信息;
在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹;
根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征;
利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。
2.根据权利要求1所述的方法,其特征在于,所述在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹,包括:
对所述连续时间序列内形成的瞳孔信息进行分析,确定瞳孔信息在不同属性维度上关联的特征描述;
利用所述瞳孔信息在不同属性维度上关联的特征描述,在所述瞳孔信息中捕获不同时间点对应的瞳孔特征;
按照时间顺序将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹。
3.根据权利要求1所述的方法,其特征在于,所述根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征,包括:
在所述瞳孔变化轨迹范围内,使用不同时间点上瞳孔特征对应的特征数值计算注视时间范围内的瞳孔运动特征,使用不同时间点上瞳孔特征对应的特征数值统计瞳孔特征在注视时间范围内的瞳孔分布特征;
根据所述注视时间范围内的瞳孔运动特征以及所述瞳孔特征在注视时间范围内的瞳孔分布特征,确定注视时间范围内的瞳孔变化特征。
4.根据权利要求1所述的方法,其特征在于,在所述利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息之前,所述方法还包括:
预先收集眼部图像的样本数据,使用机器学习算法对所述样本数据中的瞳孔变化轨迹以及瞳孔变化特征进行网络模型训练;
在网络模型的训练过程中,使用样本数据对应的眼部疲劳程度标签判断网络模型输出的预测信息是否满足迭代停止条件,当所述网络模型输出的预测信息满足迭代停止条件时,将满足迭代停止条件的网络模型作为图像分类模型。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在不同瞳孔放大倍数的注视场景中,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度;
利用所述瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度计算眼部疲劳得分,使用所述眼部疲劳得分对所述样本数据进行眼部疲劳程度标记,得到样本数据对应的眼部疲劳程度标签。
6.根据权利要求5所述的方法,其特征在于,所述在不同瞳孔放大倍数的注视场景中,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度,包括:
在不同瞳孔放大倍数的注视场景中,记录样本参与者的注视时间以及主观评估的眼部疲劳;
在确保注视场景中评估条件一致性的基础上,记录样本参与者的注视时间和瞳孔放大倍数;
将所述注视时间与主观评估的眼部疲劳程度进行关联分析,确定瞳孔放大倍数与注视时间对眼部疲劳产生的影响程度。
7.根据权利要求1-6中任一项所述的方法,其特征在于,在所述获取使用眼部拍照设备输出的眼部图像数据之后,所述方法还包括:
对所述眼部图像数据进行预处理,所述预处理包括去除噪声处理、数据插值处理以及数据平滑处理中的至少一项;
将预处理后的眼部图像数据中不同时间点对应的瞳孔信息以连续的时间序列形式进行保存,得到连续时间序列形式的瞳孔信息。
8.一种眼部疲劳信息的检测装置,其特征在于,所述装置包括:
获取单元,用于获取使用眼部拍照设备输出的眼部图像数据,所述眼部图像数据中记录有连续时间序列内形成的瞳孔信息;
捕获单元,用于在所述连续时间序列内形成的瞳孔信息中捕获不同时间点对应的瞳孔特征,将所述不同时间点对应的瞳孔特征形成瞳孔变化轨迹;
第一确定单元,用于根据所述瞳孔变化轨迹,确定注视时间范围内的瞳孔变化特征;
检测单元,用于利用预先训练的图像分类模型在所述瞳孔变化轨迹的基础上对所述注视时间范围内的瞳孔变化特征与眼部疲劳程度进行关联检测,得到眼部疲劳程度的预测信息。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310811241.3A 2023-07-04 2023-07-04 眼部疲劳信息的检测方法、装置、设备及存储介质 Pending CN116994323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310811241.3A CN116994323A (zh) 2023-07-04 2023-07-04 眼部疲劳信息的检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310811241.3A CN116994323A (zh) 2023-07-04 2023-07-04 眼部疲劳信息的检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116994323A true CN116994323A (zh) 2023-11-03

Family

ID=88520462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310811241.3A Pending CN116994323A (zh) 2023-07-04 2023-07-04 眼部疲劳信息的检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116994323A (zh)

Similar Documents

Publication Publication Date Title
US10970841B2 (en) Processing fundus images using machine learning models
EP3373798B1 (en) Method and system for classifying optic nerve head
JP2023171650A (ja) プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
CN110807427B (zh) 一种视线追踪方法、装置、计算机设备和存储介质
Komogortsev et al. Multimodal ocular biometrics approach: A feasibility study
JP2020124590A (ja) 注目範囲推定装置、その方法およびプログラム
US10952604B2 (en) Diagnostic tool for eye disease detection using smartphone
EP3655314B1 (en) A method of performing an eye examination test
US9924861B2 (en) System and methods for assessing vision using a computing device
CN111028218A (zh) 眼底图像质量判定模型训练方法、装置和计算机设备
KR20190082149A (ko) 녹내장 발생 예측 방법
EP4090229A1 (en) Systems and methods for optical evaluation of pupillary psychosensory responses
CN113835660A (zh) 显示屏调整方法、装置、计算机设备及存储介质
CN116863522A (zh) 痤疮分级方法、装置、设备及介质
WO2024060418A1 (zh) 基于眼部异常姿态的异常屈光状态识别方法及装置
CN116994323A (zh) 眼部疲劳信息的检测方法、装置、设备及存储介质
CA2878374A1 (en) Kinetic-based tool for biometric identification, verification, validation and profiling
US20230237848A1 (en) System and method for characterizing droopy eyelid
US20220245811A1 (en) Analysis of retinal imaging using video
Deng et al. Pupil trajectory tracing from video-oculography with a new definition of pupil location
Pratap et al. Correcting automatic cataract diagnosis systems against noisy/blur environment
US10617294B1 (en) System and method for determining the spherical power of eyes based on measured refractive error
Abdulin et al. Eye Movement Biometrics on Wearable Devices: What Are the Limits?
Fu et al. Exploiting active learning in novel refractive error detection with smartphones
EP4105827B1 (en) Method and system for personalized eye blink detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination