CN114926645A - 视觉疲劳的检测方法和视觉疲劳的检测装置 - Google Patents

视觉疲劳的检测方法和视觉疲劳的检测装置 Download PDF

Info

Publication number
CN114926645A
CN114926645A CN202210702476.4A CN202210702476A CN114926645A CN 114926645 A CN114926645 A CN 114926645A CN 202210702476 A CN202210702476 A CN 202210702476A CN 114926645 A CN114926645 A CN 114926645A
Authority
CN
China
Prior art keywords
pupil
visual fatigue
image
set time
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210702476.4A
Other languages
English (en)
Inventor
马君显
马捷
曾令武
徐�明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wyselife Tech Ltd Shenzhen
Original Assignee
Wyselife Tech Ltd Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wyselife Tech Ltd Shenzhen filed Critical Wyselife Tech Ltd Shenzhen
Priority to CN202210702476.4A priority Critical patent/CN114926645A/zh
Publication of CN114926645A publication Critical patent/CN114926645A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种视觉疲劳的检测方法,包括如下步骤:对瞳孔施加设定参数的刺激光;获得在所述刺激光作用下的瞳孔图像采样,得到时间相关的准连续变化的瞳孔图像中瞳孔尺寸的数据;根据设定时间内所获得的多帧瞳孔图像中的瞳孔的尺寸数据,得到设定时间内瞳孔时间相关变化数据;对得到的所述瞳孔的变化数据进行处理,得到设定时间内瞳孔的调节速率;将得到的瞳孔的调节速率和预设值比较,当得到的瞳孔调节速率小于预设值时,判断出现视觉疲劳状态。本发明还涉及一种视觉疲劳的检测装置。实施本发明的视觉疲劳的检测方法和实现视觉疲劳状态检测的装置,具有以下有益效果:成本较低、便于操作且便于推广。

Description

视觉疲劳的检测方法和视觉疲劳的检测装置
技术领域
本发明涉及人眼对光的神经反射检测领域,更具体地说,涉及一种视觉疲劳的检测方法和视觉疲劳的检测装置。
背景技术
光不仅能使人眼产生视觉,还能调节人体的生物节律、生理指标、情绪、认知等,该效应被称之为光的非视觉效应(Non-visual biological effect),且通常与光照参数(例如1维时间参数、2维偏振参数、3维空间参数、4维颜色参数等)有关。研究发现,不仅患有睡眠障碍、各类抑郁、阿尔茨海默氏症、帕金森病、少儿孤独症等精神和神经系统疾病的病人,甚至存在睡眠不足、消极心理、身体过劳者、精神压力大的正常人,以及过度饮酒或者服用其它具有强烈神经刺激的饮品或者药品,以及患有糖尿病、贫血、高血压等基础疾病者更容易出现视觉疲劳,或者视觉疲劳时出现的表现更为强烈。因此,视觉疲劳的检测不仅是视疲劳综合症(视疲劳是一种以眼部症状为基础,眼或全身器质因素与精神或者心理因素相互交织的综合征)的判断依据,而且与其它诸多相关病症的预防、诊断、治疗的基础,例如在一些情况下,特别在采用光疗治疗或缓解一些疾病的症状时,在视觉疲劳的基础上进行光疗或结合某些选择进行光疗的效果较好。所以,视觉疲劳状态是一种较为重要的基础状态。现有技术中也能够使用一些手段检测视觉疲劳状态。例如,以脑电、眼电、CFF、验光指标等生理参数作为评估参数的部分客观测量法,或者使用眼动仪等设备取得眼动、瞳孔直径、眨眼等参数来判断视觉疲劳状态等等。但是,眼动仪价格昂贵,需要专业人员操作,不能推广使用,而客观测量法的操作繁琐,也需要专业的人员操作和判断。因此,现有技术中的视觉疲劳的检测方法成本高、难于操作且不利于推广使用。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述成本高、难于操作切不利于推广使用的缺陷,提供一种成本较低、便于操作且便于推广的视觉疲劳的检测方法和视觉疲劳的检测装置。
本发明解决其技术问题所采用的技术方案是:构造一种视觉疲劳的检测方法,包括如下步骤:
对瞳孔施加设定参数的刺激光;
取得在所述刺激光作用下的瞳孔图像,得到当前采集的瞳孔图像中瞳孔的尺寸;保留设定时间内采集到的瞳孔的尺寸,得到设定时间内瞳孔的变化数据;
对得到的所述瞳孔的变化数据进行处理,得到设定时间内瞳孔的调节速率;
将得到的瞳孔的调节速率和预设值比较,当得到的瞳孔调节速率小于预设值时,判断出现视觉疲劳状态。
更进一步地,所述刺激光包括在时间和波长上按照设定规律变化的光脉冲序列或所述刺激光源包括5500K、5W的自然白光灯,其设置位置与瞳孔距离大于3厘米。
更进一步地,所述瞳孔的调节速率通过对一个设定时间内的瞳孔的变化数据或由所述瞳孔的变化数据得到的变化曲线的拐点进行计算而得到。
更进一步地,所述瞳孔的调节速率通过如下计算取得:
Figure BDA0003704855760000021
其中,Sn+1与Sn分别代表设定时间内的瞳孔的变化数据或由所述瞳孔的变化数据得到的变化曲线的第n+1和第n个拐点,Fn+1和Fn分别代表第n+1和第n个拐点对应的时间,N代表设定时间内拐点的个数,所述拐点是指瞳孔的尺寸由收缩转为扩张或由扩张转为收缩的数据所在的位置。
更进一步地,当得到的瞳孔调节速率小于预设值时,判断当前设定时间内取得的瞳孔图像中眨眼频率是否增加和眨眼时间是否加长,如是,判断出现视觉疲劳状态。
更进一步地,所述刺激光施加于左眼或右眼,所述瞳孔图像由右眼或左眼取得;所述瞳孔图像通过红外照明光源进行补光后由摄像模组取得。
更进一步地,所述摄像模组的镜头设置在其采集图像的左眼或右眼的下方,镜头的光轴与该眼的水平视轴夹角为10到20度。
更进一步地,得到当前采集的瞳孔图像中瞳孔的尺寸包括将采集到的瞳孔图像按照一定的频率逐帧进行图像处理,得到其中的瞳孔图像,并将得到的瞳孔图像进行椭圆拟合,得到瞳孔尺寸。
本发明还涉及一种视觉疲劳的检测装置,包括:
刺激光源,用于对瞳孔施加设定强度和设定参数的刺激光;
瞳孔参数取得模块,用于不断取得在所述刺激光作用下的瞳孔图像,得到当前采集的瞳孔图像中瞳孔的尺寸;保留设定时间内采集到的瞳孔的尺寸,得到设定时间内瞳孔的变化数据;
瞳孔调节速率取得模块,用于对得到的所述瞳孔的变化数据进行处理,得到设定时间内瞳孔的调节速率;
状态判断模块,用于将得到的瞳孔的调节速率和预设值比较,当得到的瞳孔调节速率小于预设值时,判断出现视觉疲劳状态。
更进一步地,所述瞳孔调节速率取得模块通过对一个设定时间内的瞳孔的变化数据或由所述瞳孔的变化数据得到的变化曲线的拐点进行计算而得到瞳孔调节速率。
实施本发明的视觉疲劳的检测方法和视觉疲劳的检测装置,具有以下有益效果:由于使用刺激光,为被检测者构建一个安全稳定的、不受周边环境影响的测试条件,持续地对被测试者的眼睛进行较强光线的刺激;同时,通过持续地取得被测试瞳孔的图像,并对这些图像进行处理,得到能够表达被测试者的视觉疲劳状态的瞳孔参数,即瞳孔调节速率,由此得到被测试者的视觉疲劳状态;上述方法通过选择对瞳孔调节速率,将之前使用专业仪器进行测试的参数(例如,眼动、瞳孔直径、眨眼等),通过摄像模组和数据的运算处理配合,经过对瞳孔图像数据的处理和运算得到能够表征视觉疲劳状态的瞳孔调节速率,使得不需要现有的昂贵的专业仪器(例如,眼动仪)也能够快速进行视觉疲劳状态的检测。因此,其成本较低、便于操作且便于推广。
附图说明
图1是本发明视觉疲劳的检测方法和视觉疲劳的检测装置实施例中视觉疲劳的检测方法流程图;
图2是所述实施例中由瞳孔图像得到瞳孔尺寸的步骤流程图;
图3是所述实施例中高斯滤波的模板结构示意图;
图4是所述实施例中装置的结构示意图。
具体实施方式
下面将结合附图对本发明实施例作进一步说明。
如图1所示,在本发明的视觉疲劳的检测方法和视觉疲劳的检测装置实施例中,视觉疲劳的检测方法包括如下步骤:
步骤S11使用设定的刺激光照射瞳孔:在本实施例中,需要对瞳孔施加设定强度和设定参数的刺激光;由于在现有的图像检测技术大多基于脑电、核磁共振等复杂而昂贵设备,而且摄取和处理这些设备的信息需要超出临床医生技巧,这些设备并不适合眼部的图像检测。也有例如眼动仪之类的专门用于眼部检测的设备,但是这些设备对于瞳孔的图像检测同样存在信息摄取和数据处理技术较为复杂,设备成本较高,不可能实现居家使用。为此,在本实施例中,构建一种视觉疲劳的检测方法和装置,不仅能实现视觉疲劳的检测,还能使得使用者能够居家使用,不用到专门的位置或地点去做检测或治疗。该方法在检测阶段发射编码刺激光信号引发瞳孔响应,这些刺激光信号由专用的光源发出,具有设定的参数(包括强度和频率),以保证在其照射时不会对人体带来不利的影响,并能够实现某种设定的目的,例如有利于特定类型的被检测者;同时,上述刺激光还可以在整个状态检测过程都保持或按照某种设定的规律变化,以保证对瞳孔的照射和隔离外界环境对瞳孔的影响,例如,当不存在上述刺激光时,如果周围环境光、视觉内容稳定时,瞳孔处于动态稳定状态,无法或者需要较长的时间才能取得测量参数以表示瞳孔的状态,从而导致本实施例中的方法会出现较大偏差。在本实施例中,一种情况下,所述刺激光包括在时间和波长上按照设定规律变化的光脉冲序列或所述刺激光源包括5500K(灯的色温)的自然白光灯,其功率小于或等于5W,其设置位置与瞳孔距离不大于3厘米。例如,可将上述光源设置在一个合适位置的支架或头戴式支架上。在本实施例中,大多数采用了RGBW即红绿蓝白四色光,理论上可以叠加出任意色光,并且多个参数可调,可以在使用过程中通过某种反馈过程,形成对特定的用户具有较好效果的刺激光参数的设定。由于一个任意光的光场可在时间、偏振、空间、颜色4类相互正交的自由度子空间框架下完整描述,同时由于上述自由度子空间的维度数分别为1、2、3、4,故完整描述一个任意光场总共需要10个相互正交的光场参数或者坐标。对于一般人造光场而言,上述10个相互正交的物理参数可完整描述某光照作用瞬间的光场分布,所以也可以将上述表示了一个特定光的一系列包括时间序列光场参数定义为“光照配方”。在本实施例中,上述刺激光的设定参数可以包括在颜色自由度的子空间内,例如在RGB色标下,再增加一个光强参数,即除了三个颜色坐标外,再增加一个照度或者光强坐标来表示一种设定的光。
一种情况下,在本实施例中,鉴于40HZ脑电波对于认知的特殊意义以及蓝光(一般指中心波长在360-480nm之间)对于成像(对应视网膜锥状和杆状细胞)以及非成像(对应视网膜所谓ipRGCs或者内内禀感光神经节细胞)视觉认知的特定意义,可以优先选择刺激光信号为蓝光40HZ闪烁光刺激,瞳孔附近的照度或者能量密度为2mW/cm2
作为一种对比,可用0HZ绿光,使其与上述刺激光的功率密度相等,两者形成两个序列,先后作用。形成对比。
在信号处理方面,一般要求现在正常情况下(例如获得良好休息的早晨),获得一组基础对比数据,该组数据包括刺激光和对比光;测量情况下,获得一组测量数据,包括刺激光和对比光;基础数据可以作为判决阈值的上限,对比上述基础数据和测量数据可以作为后续的测量数据归一化的基准。
作为本实施例中的另外一种对比,也可以可用0Hz蓝光和0Hz绿光对比,主要0Hz蓝光较为强烈的视觉警觉作用,更容易使得被检测人员在视觉紧张的情况下进入视觉疲劳状态。
步骤S12持续使用摄像模组取得瞳孔图像:在本步骤中,不断取得在所述刺激光作用下的瞳孔图像。使用同样安装在支架或头戴式支架上的摄像模组,在整个状态测试区间不断地取得在刺激光作用下的图像。值得一提的是,在本实施例中,刺激光照射的瞳孔和摄像模组取得图像的瞳孔并不是同一个瞳孔,一般来讲,所述刺激光施加于左眼或右眼,所述瞳孔图像由右眼或左眼取得;所述瞳孔图像通过红外照明光源进行补光后由摄像模组取得。所述摄像模组的镜头设置在其采集图像的左眼或右眼的下方,镜头的光轴与该眼的水平视轴夹角为10到20度。
在本实施例中,上述摄像模组是一种用于获取视频或者图片的工具。其成像的大致过程如下:首先,光线经由摄像头上的镜片进入内部,然后经过滤光片(对于红外镜头,滤光片负责过滤可见光,对于可见光镜头,滤光片负责过滤红外波段)过滤,并由图像传感器(CCD或CMOS)接收,图像传感器将光信号转换为电信号后经过A/D转换电路将模拟电信号转换为数字电信号,此时,输出的数据为原始图片,格式为Rawdata。该数据格式是没有经过任何数字图像处理以及压缩的。所以,还会使用DSP对上述取得的图像数据进行进一步的处理,这些处理通常包括去噪、颜色校准、格式转换等,最后输出我们日常见到的jpg、png等格式的图片。由于摄像头根据传感器最终接收的光的波段可以分为可见光镜头与红外镜头,这两种镜头都能拍摄瞳孔,但在可见光下,一方面:成像图片中瞳孔和虹膜的灰度差异不明显,影响后续对瞳孔尺寸的获取。另一方面:容易受环境光以及角膜反射光的干扰。而红外光成像下除了瞳孔外,人眼其他组织对红外光都有较高的反射率,能够与瞳孔区域形成强烈的灰度差异,边缘信息明显,同时不容易受到环境光的干扰,成像效果更稳定。因此,在本实施例中使用红外摄像模组进行拍摄。可见,在本实施例中,摄像模组上设置有照明的红外光源,而红外光源的个数与排列位置会一定程度上影响成像效果,光源个数越多,在瞳孔附近形成的小光斑越多,对后续的瞳孔区域分割以及边界点影响越大,而光源的分布位置则会影响光照均匀性。在本实施例中,使用上下2个对称的红外光源的得到的结果既能够满足照明的需求,又不会对后续的数据处理带来不利的影响或影响较小。
步骤S13对设定时间内的瞳孔图像逐帧进行处理,得到其瞳孔尺寸:在本步骤中,对设定时间(例如,单位时间)内得到的瞳孔图像逐帧进行处理,得到每帧中采集的瞳孔图像中瞳孔的尺寸;这样得到设定时间内多帧中的瞳孔图像中瞳孔的尺寸,这些得到的多个瞳孔的尺寸,就是设定时间内瞳孔的变化数据。
步骤S14对设定时间内的瞳孔变化数据进行运算,得到该设定时间内的瞳孔的调节速率:在本步骤中,对得到的所述瞳孔的变化数据进行处理,得到设定时间内瞳孔的调节速率;具体而言,所述瞳孔的调节速率通过对一个设定时间内的瞳孔的变化数据或由所述瞳孔的变化数据得到的变化曲线的拐点进行计算而得到。在本实施例中,瞳孔的调节速率指的是一段时间内瞳孔大小变化的平均速度。首先需要获取某一段时间(即设定时间)内瞳孔直径变化曲线或数据,将上述曲线或数据中的表示瞳孔由收缩转为扩张或者由扩张转为收缩的点记为拐点Sn。即所述瞳孔的调节速率通过如下计算取得:
Figure BDA0003704855760000071
其中,Sn+1与Sn分别代表设定时间内的瞳孔的变化数据或由所述瞳孔的变化数据得到的变化曲线的第n+1和第n个拐点,Fn+1和Fn分别代表第n+1和第n个拐点对应的时间,N代表设定时间内拐点的个数,所述拐点是指瞳孔的尺寸由收缩转为扩张或由扩张转为收缩的数据所在的位置。
步骤S15依据所述瞳孔的调节速率得到视觉疲劳的状态:在本步骤中,将得到的瞳孔的调节速率和预设值比较,当得到的瞳孔调节速率小于预设值时,判断出现视觉疲劳状态。在本实施例中,上述预设值可以通过大数据的方式,从存储的数据的服务器上动态地得到,当然也可以是根据以往的检测或治疗数据,事先得到一个预设值并用于和上述得到的瞳孔的调节速率进行比较。上述预设值还可以是上述在设定的时间或状态下,采用指定的刺激光(例如上述的用0HZ绿光),对瞳孔照射指定时间后得到的瞳孔调节速率作为预设值,该时间足以使得被测试人员进入视觉疲劳状态,但是其总的光照强度又不会带来损伤。值得一提的是,在确定了视觉疲劳的状态后,可以对被测量者施加具有某种光特性的光疗,以缓解其由于某些疾病带来的症状,例如阿尔茨海默症。在本实施例中,对于较快进入视觉疲劳状态或者持续测量较短时间就已经进入视觉疲劳状态,和较慢进入视觉疲劳状态或者持续测量较长时间才进入视觉疲劳状态的使用者,其采用光疗时的光特性是不同的。而这些光特性的不同,又进一步影响其下一次视觉疲劳状态检测的持续时间或者进入视觉疲劳状态的时间。由此,形成一个闭环的、在某些步骤上引入外部数据的检测治疗过程,能够筛选出具有一定普遍意义的治疗用的光特性或光配方(即对治疗光的波长、强度、持续时间以及调制方式或调制参数的选择)。
值得一提的是,在上述的描述中仅仅是采用对瞳孔的调节速率进行判断来确定被检测人员是否进入视觉疲劳的状态的。在一些情况下,也可以在使用其他参数对上述判断进行验证或将其他参数也作为判断条件,例如,判断当前设定时间内取得的瞳孔图像中眨眼频率是否增加和眨眼时间是否加长等等,在确定眨眼频率增加和眨眼时间加长的情况下,才判断进入视觉疲劳状态。当然,上述眨眼频率和眨眼时间也是通过上述摄像模组取得的图像得到的,只是增加了额外的判断步骤,例如,当发现瞳孔完全消失,则认为处于眨眼中,其持续的时间就是眨眼时间等等。
总之,在本实施例中,采用的是施加一定的刺激光,然后取得与时间相关的准连续(间隔一个帧频率)的瞳孔图像,得到这些瞳孔图像中的瞳孔尺寸,再由这些瞳孔尺寸中找出其拐点,代入上述公式计算,得到设定时间或单位时间内瞳孔的变化速率,从而判断当前被测试者的视觉疲劳状态。当判断被测试者还未处于视觉疲劳状态时,可以继续重复上述步骤测试,直到其出现视觉疲劳状态或按照规定需要终止测试。
如前所述,由一帧瞳孔的图像中取得其中的瞳孔尺寸是对瞳孔图像进行处理的主要目的。图2示出了本实施例中由瞳孔图片中取得瞳孔尺寸的方法,包括如下步骤:
步骤S31提取帧:在本步骤中,得到视频数据,确定当前将要处理的帧,再从视频中提取该帧图像的数据。
步骤S32对该帧图像进行滤波:在本步骤中,在得到每一帧的图像数据后,先进行图像数据平滑滤波去噪,减少后续处理的计算时间以及背景带来的干扰。
步骤S33在帧图像中对瞳孔进行定位:在本步骤中,对图片中的瞳孔位置进行粗定位。例如,使用积分投影方法进行本步骤中的定位。
步骤S34二值化及去噪处理:在本步骤中,在得到定位后的区域之后,通过二值化分割从图像中分割出瞳孔区域。此时,得到的图片中有可能包含一些噪声,其主要原因为红外光源在角膜上反射形成的光斑以及眼皮对瞳孔区域遮蔽。对于瞳孔区域内的非连通区域噪声,采用形态学去噪处理,对于瞳孔边界的噪声,通过计算边界点的曲率后分割正确边界解决。在处理完二值化图像后,使用canny边缘检测对边界进行提取。
步骤S35对瞳孔进行椭圆拟合:在本步骤中,根据上述步骤中得到的边界结果,使用霍夫椭圆变换进行拟合,将其转换为一个较为标准的椭圆形状,便于后续进行直径测量或取得。值得一提的是,之所以进行椭圆处理,是因为摄像模组放置位置是在瞳孔前方偏下的位置,并不是直接对准瞳孔的。这样的位置取得的瞳孔图像就不是圆形的,而是椭圆的,所以进行椭圆拟合,将其转换为椭圆形状。
步骤S36得到瞳孔直径:在本步骤中,对上述步骤中拟合得到的椭圆进行测量或处理,得到瞳孔直径。
总体上来看,在本实施例中,对于上述瞳孔图像数据的处理首先包括预处理,包括从视频中提取每一帧的图片,以及对图片进行空间域的滤波。
在本实施例中,采用的是以视频的方式获取瞳孔的动态信息。所以,在进行处理之前,需要将视频数据转成帧数据,可以通过编写程序将视频中的每一帧采集出来,其中每一帧的分辨率为1280x720,如果视频采集的帧数为120(帧/s),设每次状态检测的时间为10秒,则共1200张图片。
一张图片通常是由CCD或CMOS图像传感器将接受到的光信号转换为电信号,再经过内部的A/D转换电路将模拟信号转为数字信号,最后通过DSP图像处理完成加工、格式转换后输出。在整个生成、传输的过程中,不可避免的会产生噪声,这些噪声会影响到后续的数据处理,所以,在进行后续的操作前,首先需要对图像进行平滑滤波操作来降低噪声的干扰。而图像的平滑滤波常用的有3种:中值滤波、均值滤波以及高斯滤波。这些滤波的原理都是基于噪声点与周围点的灰度值相差较大来实现。
高斯滤波:该类滤波器同属于线性滤波器,其通过对滤波器所覆盖邻域内像素点取加权平均来实现。通常,模板中心点会赋予最大的权重,其他点的权值则和它们与中心点的距离成反比。通过根据距离赋予不同的权重能在一定程度上减弱均值操作带来的影响,一个典型的高斯滤波模板如图3所示。由于需要处理大量的图片,所以为了减少时间成本的同时尽可能减弱均值操作对边界的模糊,在本实施例,可以采用上述图3所示的3x3的高斯滤波模板。
如前所述,在本实施例中,每次状态检测至少会获取1200张图片,每张图片除了平滑预处理后还需要经过一系列的处理,如果使用原图进行处理,需要大量的时间成本。此外,后续分割瞳孔的方法是基于二值化分割,如果直接对原图进行分割的话,容易受到其他与瞳孔灰度接近的区域的影响。所以,在本实施例中,对原图的瞳孔区域进行粗定位,通过裁剪得到一张小尺寸的缩略图。这样,既能减少背景的干扰,又能减少后续的处理时间。
目前,对瞳孔区域的定位主要是应用于眼动追踪、人脸识别等领域。在本实施例中优先采用灰度投影法进行瞳孔定位。
灰度投影法指的是通过对图片的每一行或每一列的灰度值进行求和得到水平投影曲线与垂直投影曲线。之后,通过对这2条投影曲线中的特征点来定位瞳孔。在本实施例中,使用了积分投影、方差投影或混合投影之一或多种组合使用。
积分投影指的是计算水平、垂直方向上每一行和每一列上的像素点的灰度值总和作为投影曲线函数值。在红外图像中,瞳孔区域的灰度值较低,而其他区域的灰度值较高,基于这一点可以得知,瞳孔所在行或列的灰度和小于周围的背景。利用这一点,就有可能通过灰度积分投影的方法去定位瞳孔。但在本实施例中,拍摄到的图片中,可能会出现瞳孔的左上方区域存在灰度值较低的背景的情况,这有时会导致瞳孔和其周围区域的投影函数值接近,从而难以分辨。
而方差投影是为了解决当图像中目标区域与其周围行列的灰度值总和接近进而导致难以定位目标区域的问题,其计算式中不再是计算每行或每列像素点灰度值的和而是计算方差。
当目标和周围区域行列的灰度值和相差较大时,采用积分投影,而当目标与周围区域行列的灰度方差的差异较大时可以选择方差投影,两种方法虽然各有优劣,但不通用,为了解决此类问题,可以使用混合积分投影。
混合积分投影函数中,既包括了积分投影,又包括了混合投影。其思想是通过同时获取积分投影与方差投影的结果,并对其赋予权重来实现。该方法首先需要对积分投影和方差投影进行归一化,
上述三种投影方法各有优点,可以根据实际情况在本实施例中结合使用。在本实施例中,由于受到可能出现在边沿位置的黑色背景的影响,混合投影在在水平方向上表现较差,但在垂直方向上表现较好。由于受到上述可能出现的黑色背景的影响,在水平方向上从投影曲线上很难找到瞳孔所在区域,因此可以首先基于垂直投影的结果对图片的水平像素进行裁剪,得到的瞳孔上方与下方区域灰度和较高,方差较低,而瞳孔区域灰度和较低,方差较高的图片,再进一步的定位使用方差投影,最后,通过水平方差投影对图片的垂直像素进行裁剪,得到最后的瞳孔粗定位结果。
为了从图像上分割出瞳孔区域,采用二值化的方法来处理。二值化指的是通过选取一个阈值,对整张图片或目标区域进行处理,将大于阈值的置为255(或0),小于阈值的设为0(或255)。理想的情况下是,目标区域的灰度值均低于阈值,而背景的灰度值均高于阈值。因此,在二值化分割中,最关键的点在于阈值的选取。目前,通常使用以下方法来获取阈值:迭代法、Otsu大津阈值法、直方图法。
由于现有的阈值选择方法均不能直接适用于本实施例,为此,本实施例中在直方图法的基础上结合实验的实际情况做出修改。由于本实施例中为红外成像而非可见光,拍摄所用照明光源稳定,不会受到环境光的干扰,而且经过粗定位,已经有效避免了眉毛、背景等相似灰度值的影响。所以拍摄到的红外图像中,瞳孔区域的灰度值都在50以内,即瞳孔区域的波峰位于0-50之间,而背景的波峰位于50之后,所以以50为边界,在小于50灰度值的区间中找一个波峰作为瞳孔区域,在大于50灰度值的区间内找一个波峰作为背景区域,然后取这2个波峰之间的波谷作为最终的阈值。
通过上述处理已经得到了包含瞳孔区域的二值化图像,但瞳孔中间还存在一些小的非连通域,这是红外光源在角膜上反射形成的光斑导致的。为了获得全连通的瞳孔区域,可以使用数学形态学的方法去噪。
数学形态学是一种以形态为基础的对图像进行分析的数学工具,它的基本思想是用具有一定形态的结构元素去度量和提取图像中对应的形状以达到对图像进行分析和识别的目的。形态学处理主要包括腐蚀、膨胀、开运算以及闭运算。也就是说,在本实施例中首先通过腐蚀操作去除瞳孔中的光斑,由于腐蚀操作会导致边界“细化”,影响直径的判断,所以还需要在腐蚀后执行膨胀操作。
在获取到瞳孔区域的二值化图像后,为了后续得到更准确的霍夫椭圆检测结果,还需要将瞳孔边缘检测出来。图像的边缘通常指的是图像中灰度值剧烈变化的点所组成的集合。而本实施例中图像经过二值化处理,瞳孔区域和背景区域的灰度值有着明显的差异,能够很轻松的检测出来。
在基本边缘检测中,相比其他诸如使用Sobel、Prewitt、Roberts等梯度算子进行检测的方法,canny检测算法能够检测到更全的边缘,同时与实际位置偏差最小。故本实施例中采用canny算法进行边缘检测。
除了红外光源反射造成的光斑外,二值化后的图像还有可能由于眨眼导致瞳孔被遮挡,使得瞳孔区域为不规则的半圆,此时,为了获得更好的拟合结果,需要对边界点进行过滤。
由于本实施例中,镜头光轴并非是与人眼视轴平行,并且眼球会不断地左右运动。所以拍摄出来的照片中瞳孔并非都是标准的圆形,而是呈椭圆状。因此,需要将瞳孔作为椭圆来进行拟合。
最常见的椭圆拟合方法为最小二乘法与基于Hough变换椭圆检测法。最小二乘法虽然实现起来比较简单,但容易受噪声点干扰,稳定性较差。而基于Hough变换的拟合方法抗干扰性强,所以本实验选择使用基于霍夫变换的椭圆拟合法。
霍夫变换的主要思想是将目标空间中的点映射到参数空间。然后取参数空间中交点中累加值最多的点所对应的参数作为要拟合目标的参数。
可以看到,对于眨眼帧,通过计算曲率并根据曲率定位出有效边界点与无效边界点的边界点后分割出有效边界点能够取得不错的拟合效果。
此外,在本实施例中,对于完全闭眼以及闭眼超过百分之90%的帧,无法使用椭圆拟合或者椭圆拟合的结果并不理想,因此,可以通过插值的办法来估计这些帧的瞳孔大小。
本发明还涉及一种视觉疲劳的检测装置,如图4所示,该检测装置包括:刺激光源1用于对瞳孔施加设定强度和设定参数的刺激光;瞳孔参数取得模块2用于不断取得在所述刺激光作用下的瞳孔图像,得到当前采集的瞳孔图像中瞳孔的尺寸;保留设定时间内采集到的瞳孔的尺寸,得到设定时间内瞳孔的变化数据;瞳孔调节速率取得模块3用于对得到的所述瞳孔的变化数据进行处理,得到设定时间内瞳孔的调节速率;状态判断模块4用于将得到的瞳孔的调节速率和预设值比较,当得到的瞳孔调节速率小于预设值时,判断出现视觉疲劳状态。
其中,所述瞳孔调节速率取得模块3通过对一个设定时间内的瞳孔的变化数据或由所述瞳孔的变化数据得到的变化曲线的拐点进行计算而得到瞳孔调节速率。
在本实施例中,上述瞳孔参数取得模块2本质上是一个具有设置在特定位置上的红外照明灯的摄像模块,其取得的图像数据传输到一个处理器(例如,DSP处理器)上进行图像数据处理,而瞳孔调节速率取得模块3和状态判断模块4可以是上述处理器中实现特定功能的软件或硬件模块,也可以是单独的处理器;刺激光源1从物理上来讲是一个发出特定参数的硬件模组,其发光特性可以是被硬件固定的,也可以是通过连接的控制器(例如,上述的DSP或别的控制器)控制器发光特性。上述各模块的物理载体可以被安装在同一个支架上,该支架符合对各部件的位置要求,例如,刺激光具瞳孔的距离和瞳孔参数取得模块2距瞳孔的距离和位置限定等等,且符合人们居家使用的要求。这些部件可以组合形成一个装置,通过有线或无线的信道和服务器连接,以便取得大数据对当前的参数进行更改或接收指令对参数进行更改。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视觉疲劳的检测方法,其特征在于,包括如下步骤:
对瞳孔施加设定参数的刺激光;
取得在所述刺激光作用下的瞳孔图像,得到当前采集的瞳孔图像中瞳孔的尺寸;保留设定时间内采集到的瞳孔的尺寸,得到设定时间内瞳孔的变化数据;
对得到的所述瞳孔的变化数据进行处理,得到设定时间内瞳孔的调节速率;
将得到的瞳孔的调节速率和预设值比较,当得到的瞳孔调节速率小于预设值时,判断出现视觉疲劳状态。
2.根据权利要求1所述的视觉疲劳的检测方法,其特征在于,所述刺激光包括在时间和波长上按照设定规律变化的光脉冲序列或所述刺激光源包括5500K/5W的自然白光灯,其设置位置与瞳孔距离大于3厘米。
3.根据权利要求1所述的视觉疲劳的检测方法,其特征在于,所述瞳孔的调节速率通过对一个设定时间内的瞳孔的变化数据或由所述瞳孔的变化数据得到的变化曲线的拐点进行计算而得到。
4.根据权利要求3所述的视觉疲劳的检测方法,其特征在于,所述瞳孔的调节速率通过如下计算取得:
Figure FDA0003704855750000011
其中,Sn+1与Sn分别代表设定时间内的瞳孔的变化数据或由所述瞳孔的变化数据得到的变化曲线的第n+1和第n个拐点,Fn+1和Fn分别代表第n+1和第n个拐点对应的时间,N代表设定时间内拐点的个数,所述拐点是指瞳孔的尺寸由收缩转为扩张或由扩张转为收缩的数据所在的位置。
5.根据权利要求1所述的视觉疲劳的检测方法,其特征在于,当得到的瞳孔调节速率小于预设值时,判断当前设定时间内取得的瞳孔图像中眨眼频率是否增加和眨眼时间是否加长,如是,判断出现视觉疲劳状态。
6.根据权利要求1所述的视觉疲劳的检测方法,其特征在于,所述刺激光施加于左眼或右眼,所述瞳孔图像由右眼或左眼取得;所述瞳孔图像通过红外照明光源进行补光后由摄像模组取得。
7.根据权利要求6所述的视觉疲劳的检测方法,其特征在于,所述摄像模组的镜头设置在其采集图像的左眼或右眼的下方,镜头的光轴与该眼的水平视轴夹角为10到20度。
8.根据权利要求7所述的视觉疲劳的检测方法,其特征在于,得到当前采集的瞳孔图像中瞳孔的尺寸包括将采集到的瞳孔图像按照一定的频率逐帧进行图像处理,得到其中的瞳孔图像,并将得到的瞳孔图像进行椭圆拟合,得到瞳孔尺寸。
9.一种视觉疲劳的检测装置,其特征在于,包括:
刺激光源,用于对瞳孔施加设定参数的刺激光;
瞳孔参数取得模块,用于取得在所述刺激光作用下的瞳孔图像,得到当前采集的瞳孔图像中瞳孔的尺寸;保留设定时间内采集到的瞳孔的尺寸,得到设定时间内瞳孔的变化数据;
瞳孔调节速率取得模块,用于对得到的所述瞳孔的变化数据进行处理,得到设定时间内瞳孔的调节速率;
状态判断模块,用于将得到的瞳孔的调节速率和预设值比较,当得到的瞳孔调节速率小于预设值时,判断出现视觉疲劳状态。
10.根据如权利要求9所述的检测装置,其特征在于,所述瞳孔调节速率取得模块通过对一个设定时间内的瞳孔的变化数据或由所述瞳孔的变化数据得到的变化曲线的拐点进行计算而得到瞳孔调节速率。
CN202210702476.4A 2022-06-21 2022-06-21 视觉疲劳的检测方法和视觉疲劳的检测装置 Pending CN114926645A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210702476.4A CN114926645A (zh) 2022-06-21 2022-06-21 视觉疲劳的检测方法和视觉疲劳的检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210702476.4A CN114926645A (zh) 2022-06-21 2022-06-21 视觉疲劳的检测方法和视觉疲劳的检测装置

Publications (1)

Publication Number Publication Date
CN114926645A true CN114926645A (zh) 2022-08-19

Family

ID=82814094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210702476.4A Pending CN114926645A (zh) 2022-06-21 2022-06-21 视觉疲劳的检测方法和视觉疲劳的检测装置

Country Status (1)

Country Link
CN (1) CN114926645A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012050759A (ja) * 2010-09-03 2012-03-15 Hitachi Ltd 視覚疲労度検出装置、視覚疲労度制御装置及び視覚疲労度検出方法
CN103263247A (zh) * 2013-04-22 2013-08-28 陕西科技大学 一种基于纸张白度的视疲劳检测方法
CN103680465A (zh) * 2013-11-18 2014-03-26 天津三星通信技术研究有限公司 视疲劳的检测及缓解方法
CN107595307A (zh) * 2017-10-23 2018-01-19 湖南科技大学 基于机器视觉人眼识别的疲劳驾驶检测装置及检测方法
KR102032487B1 (ko) * 2018-05-29 2019-10-15 상명대학교산학협력단 시각 피로 측정 장치 및 방법
CN111209833A (zh) * 2019-12-31 2020-05-29 广东科学技术职业学院 一种疲劳驾驶检测方法及无人驾驶设备
CN113693552A (zh) * 2021-08-24 2021-11-26 东莞市东全智能科技有限公司 视觉疲劳监测方法、装置、电子设备及可读存储介质
CN114041794A (zh) * 2021-11-23 2022-02-15 浙江大学 驾驶状态的监测方法、装置和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012050759A (ja) * 2010-09-03 2012-03-15 Hitachi Ltd 視覚疲労度検出装置、視覚疲労度制御装置及び視覚疲労度検出方法
CN103263247A (zh) * 2013-04-22 2013-08-28 陕西科技大学 一种基于纸张白度的视疲劳检测方法
CN103680465A (zh) * 2013-11-18 2014-03-26 天津三星通信技术研究有限公司 视疲劳的检测及缓解方法
CN107595307A (zh) * 2017-10-23 2018-01-19 湖南科技大学 基于机器视觉人眼识别的疲劳驾驶检测装置及检测方法
KR102032487B1 (ko) * 2018-05-29 2019-10-15 상명대학교산학협력단 시각 피로 측정 장치 및 방법
CN111209833A (zh) * 2019-12-31 2020-05-29 广东科学技术职业学院 一种疲劳驾驶检测方法及无人驾驶设备
CN113693552A (zh) * 2021-08-24 2021-11-26 东莞市东全智能科技有限公司 视觉疲劳监测方法、装置、电子设备及可读存储介质
CN114041794A (zh) * 2021-11-23 2022-02-15 浙江大学 驾驶状态的监测方法、装置和系统

Similar Documents

Publication Publication Date Title
US9408535B2 (en) Photorefraction ocular screening device and methods
JP6530239B2 (ja) 両眼計測装置、両眼計測方法、及び両眼計測プログラム
US7614745B2 (en) System for analyzing eye responses to automatically determine impairment of a subject
EP1587414B1 (en) A pupilometer
JP7197708B2 (ja) 眼底画像定量分析の前置処理方法および記憶装置
CN103745257A (zh) 一种基于图像识别的锥细胞密度的计算方法
Borgen et al. Visible-spectrum biometric retina recognition
CN112069986A (zh) 高龄老人眼动机器视觉跟踪方法及装置
CN114502059A (zh) 用于评估瞳孔反应的系统和方法
CN110916608A (zh) 一种屈光度检测装置
CN114937024A (zh) 图像评估方法、装置和计算机设备
Usher et al. Ocular biometrics: simultaneous capture and analysis of the retina and iris
CN114926645A (zh) 视觉疲劳的检测方法和视觉疲劳的检测装置
Wankhede et al. Optic disc detection using histogram based template matching
CN111419173B (zh) 基于眼底图像的黄斑色素密度测量方法及设备
Raman et al. The effects of spatial resolution on an automated diabetic retinopathy screening system's performance in detecting microaneurysms for diabetic retinopathy
Minar et al. Automatic detection of the macula in retinal fundus images using multilevel thresholding
CN108230287B (zh) 一种眼前节图像的晶体区域的检测方法及装置
Abdel-Hamid Retinal image analysis using image processing techniques
Khan et al. Cost-effective early warning solution for anisocoria eye-disease through optical sensing and machine learning: A preliminary analysis
Stepanov et al. Impact of illumination spectrum and eye pigmentation on image quality from a fundus camera using transscleral illumination
Pathak et al. A novel cataract detection algorithm using clinical data mapping
US20240081641A1 (en) System for strabismus assessment and a method of strabismus assessment
Mengko et al. Image Processing in Retinal Angiography: Extracting Angiographical Features without the Requirement of Contrast Agents.
KR102667772B1 (ko) 스마트폰을 이용한 동공반응 검사방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination