CN113616195A - 基于状态信息区分眨眼类型的方法、装置、介质及设备 - Google Patents

基于状态信息区分眨眼类型的方法、装置、介质及设备 Download PDF

Info

Publication number
CN113616195A
CN113616195A CN202110914682.7A CN202110914682A CN113616195A CN 113616195 A CN113616195 A CN 113616195A CN 202110914682 A CN202110914682 A CN 202110914682A CN 113616195 A CN113616195 A CN 113616195A
Authority
CN
China
Prior art keywords
blink
current
determining
state
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110914682.7A
Other languages
English (en)
Inventor
郑钦象
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eye Hospital of Wenzhou Medical University
Original Assignee
Eye Hospital of Wenzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eye Hospital of Wenzhou Medical University filed Critical Eye Hospital of Wenzhou Medical University
Priority to CN202110914682.7A priority Critical patent/CN113616195A/zh
Publication of CN113616195A publication Critical patent/CN113616195A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于状态信息区分眨眼类型的方法、装置、计算机可读存储介质及电子设备,通过获取当前眨眼过程对应的状态信息;其中状态信息表征当前眨眼过程中伴随的其他特征信息;然后根据该状态信息,确定当前眨眼过程的眨眼类型;即根据当前眨眼过程对应的其他特征信息来区分当前眨眼过程是有意识还是无意识的,以剔除部分有意识眨眼对最后统计结果的干扰,不仅降低了数据统计的难度,而且可以准确获知眨眼的数据,为后续的预判提供了准确的数据基础。

Description

基于状态信息区分眨眼类型的方法、装置、介质及设备
技术领域
本申请涉及图像处理技术领域,具体涉及一种基于状态信息区分眨眼类型的方法、装置、计算机可读存储介质及电子设备。
背景技术
眨眼又称瞬目反射,是一种快速的眼睑的周期性运动,是由提上睑肌和眼轮匝肌的收缩和放松过程中产生的作用力而形成的。眨眼时产生的肌肉作用力促进睑板腺睑脂的分泌,并将分泌的睑脂挤压至眼睑边缘,上下眼睑彼此接触便可将其沿着睑缘均匀扩散至泪膜中,从而形成泪膜的脂质层,达到润滑眼表,减少泪液蒸发的作用。眨眼异常则会相应地引起一系列眼部症状与体征的变化。随着上下眼睑接触的减少,眼睑边缘脂质储存库脂质减少,进一步出现泪膜分布不均匀。长期阻塞会引起睑板腺的废用性萎缩,从而导致睑板腺丢失。所以当出现眨眼异常时,会出现眼表疾病、睑板腺丢失。
通过统计患者眨眼数据以预判其眼睛表现是否正常显然具有监控患者眼睛疾病的一个有效手段,然而,现有的统计过程中,患者可能会因为紧张等因素导致有意识眨眼的数量明显增加,从而导致统计结果不准确。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种眨眼数据的统计方法、装置、计算机可读存储介质及电子设备,解决了上述统计眨眼数据不准确的问题。
根据本申请的一个方面,提供了一种基于状态信息区分眨眼类型的方法,包括:获取当前眨眼过程对应的状态信息;其中所述状态信息表征所述当前眨眼过程中伴随的其他特征信息;以及根据所述状态信息,确定所述当前眨眼过程的眨眼类型;其中,所述眨眼类型包括有意识眨眼和无意识眨眼。
在一实施例中,所述状态信息包括:眼电波信号;其中,所述根据所述状态信息,确定所述当前眨眼过程的眨眼类型包括:根据所述眼电波信号的峰值和波长,确定所述眨眼类型。
在一实施例中,所述状态信息包括:面部动作;其中,所述根据所述状态信息,确定所述当前眨眼过程的眨眼类型包括:根据所述面部动作的幅度,确定所述眨眼类型。
在一实施例中,所述根据所述状态信息,确定所述当前眨眼过程的眨眼类型包括:分别比对所述状态信息与所述有意识眨眼对应的有意识状态和所述无意识眨眼对应的无意识状态,得到有意识差异和无意识差异;当所述有意识差异小于或等于第一预设差异值时,确定所述眨眼类型为有意识眨眼;以及当所述无意识差异小于或等于第二预设差异值时,确定所述眨眼类型为无意识眨眼。
在一实施例中,所述当前眨眼过程的确定方式包括:获取预设时间段内包含眼部运动的视频数据;识别所述视频数据的每帧图像,得到上眼睑和下眼睑之间的目标区域;计算所述目标区域对应的睑裂高度;根据所述睑裂高度,确定所述目标区域的开合状态;以及根据当前图像的目标区域的开合状态和所述当前图像相邻的多帧图像的目标区域的开合状态,确定所述当前眨眼过程。
在一实施例中,所述根据当前图像的目标区域的开合状态和所述当前图像相邻的多帧图像的目标区域的开合状态,确定所述当前眨眼过程包括:当所述当前图像的目标区域的开合状态和所述当前图像相邻的多帧图像的目标区域的开合状态由睁眼状态变为闭眼状态后再次变为睁眼状态时,确定所述当前图像和所述当前图像相邻的多帧图像为所述当前眨眼过程。
在一实施例中,所述识别所述视频数据的每帧图像,得到上眼睑和下眼睑之间的目标区域包括:将所述视频数据的每帧图像输入识别模型,得到所述上眼睑和所述下眼睑之间的所述目标区域;其中,所述识别模型包括神经网络模型。
根据本申请的另一个方面,提供了一种基于状态信息区分眨眼类型的装置,包括:状态获取模块,用于获取当前眨眼过程对应的状态信息;其中所述状态信息表征所述当前眨眼过程中伴随的其他特征信息;以及类型确定模块,用于根据所述状态信息,确定所述当前眨眼过程的眨眼类型;其中,所述眨眼类型包括有意识眨眼和无意识眨眼。
根据本申请的另一个方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述任一所述的基于状态信息区分眨眼类型的方法。
根据本申请的另一个方面,提供了一种电子设备,所述电子设备包括:处理器;以及用于存储所述处理器可执行指令的存储器;所述处理器用于执行上述任一所述的基于状态信息区分眨眼类型的方法。
本申请提供的一种基于状态信息区分眨眼类型的方法、装置、计算机可读存储介质及电子设备,通过获取当前眨眼过程对应的状态信息;其中状态信息表征当前眨眼过程中伴随的其他特征信息;然后根据该状态信息,确定当前眨眼过程的眨眼类型;即根据当前眨眼过程对应的其他特征信息来区分当前眨眼过程是有意识还是无意识的,以剔除部分有意识眨眼对最后统计结果的干扰,不仅降低了数据统计的难度,而且可以准确获知眨眼的数据,为后续的预判提供了准确的数据基础。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本申请一示例性实施例提供的一种基于状态信息区分眨眼类型的方法的流程示意图。
图2是本申请另一示例性实施例提供的一种基于状态信息区分眨眼类型的方法的流程示意图。
图3是本申请一示例性实施例提供的一种当前眨眼过程的确定方法的流程示意图。
图4是本申请一示例性实施例提供的一种目标区域识别方法的流程示意图。
图5是本申请一示例性实施例提供的一种睑裂高度计算方法的流程示意图。
图6是本申请一示例性实施例提供的一种目标区域开合状态确定方法的流程示意图。
图7是本申请一示例性实施例提供的一种基于状态信息区分眨眼类型的装置的结构示意图。
图8是本申请另一示例性实施例提供的一种基于状态信息区分眨眼类型的装置的结构示意图。
图9是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
图1是本申请一示例性实施例提供的一种基于状态信息区分眨眼类型的方法的流程示意图。如图1所示,该基于状态信息区分眨眼类型的方法包括:
步骤100:获取当前眨眼过程对应的状态信息;其中状态信息表征当前眨眼过程中伴随的其他特征信息。
通过获取当前眨眼过程中对应的状态信息以确定当前眨眼过程的具体类型。其中,状态信息可以包括眼电波信号和面部动作等,具体的,可以通过眼电传感器等设备来检测患者的眼电波信号,也可以通过图像采集传感器来采集患者的面部动作,例如鼻子动作、面部肌肉动作等。
步骤200:根据状态信息,确定当前眨眼过程的眨眼类型;其中,眨眼类型包括有意识眨眼和无意识眨眼。
可选的,根据眼电波信号的峰值和波长,确定眨眼类型。
可选的,根据面部动作的幅度,确定眨眼类型。
由于眨眼过程可以分为有意识眨眼和无意识眨眼两种,而为了提高检测精度,需要剔除有意识眨眼,然后从眨眼动作本身很难区分这两种眨眼类型。因此,本申请从眨眼过程伴随的其他特征信息(眼电波信号的峰值和波长,和/或面部动作的幅度)来区分两种类型,以提高后续检测的准确性。
本申请提供的一种基于状态信息区分眨眼类型的方法,通过获取当前眨眼过程对应的状态信息;其中状态信息表征当前眨眼过程中伴随的其他特征信息;然后根据该状态信息,确定当前眨眼过程的眨眼类型;即根据当前眨眼过程对应的其他特征信息来区分当前眨眼过程是有意识还是无意识的,以剔除部分有意识眨眼对最后统计结果的干扰,不仅降低了数据统计的难度,而且可以准确获知眨眼的数据,为后续的预判提供了准确的数据基础。
图2是本申请另一示例性实施例提供的一种基于状态信息区分眨眼类型的方法的流程示意图。如图2所示,步骤200可以包括:
步骤210:分别比对状态信息与有意识眨眼对应的有意识状态和无意识眨眼对应的无意识状态,得到有意识差异和无意识差异。
在获取了当前眨眼过程对应的状态信息后,通过分别比对状态信息与有意识眨眼对应的有意识状态和无意识眨眼对应的无意识状态,得到有意识差异和无意识差异;即通过比对以得到当前的状态信息与标准的有意识状态和无意识状态的差异。
步骤220:当有意识差异小于或等于第一预设差异值时,确定眨眼类型为有意识眨眼。
步骤230:当无意识差异小于或等于第二预设差异值时,确定眨眼类型为无意识眨眼。
当有意识差异小于或等于第一预设差异值时,即当前眨眼过程对应的状态信息与有意识状态比较接近,则确定眨眼类型为有意识眨眼。当无意识差异小于或等于第二预设差异值时,即当前眨眼过程对应的状态信息与无意识状态比较接近,则确定眨眼类型为无意识眨眼。其中,第一预设差异值可以等于第二预设差异值,也可以不等。
图3是本申请一示例性实施例提供的一种当前眨眼过程的确定方法的流程示意图。如图3所示,当前眨眼过程的确定方式可以是:
步骤310:获取预设时间段内包含眼部运动的视频数据。
通过获取一定时间内的视频流数据,该视频流数据包含多帧图像数据,其他每帧图形数据包含眼部图像,即多帧眼部图形组合形成眼部动作,例如眨眼动作。具体的获取方式是通过摄像器件(例如摄像头)采集患者眼部的视频流数据。
步骤320:识别视频数据的每帧图像,得到上眼睑和下眼睑之间的目标区域。
识别视频数据中的每帧图像,从而得到上眼睑和下眼睑之间的目标区域,也就是眼球区域或(眼睛睁开区域)。
在一实施例中,步骤320的具体实现方式可以是:将视频数据的每帧图像输入识别模型(如神经网络模型),得到上眼睑和下眼睑之间的目标区域。
步骤330:计算目标区域对应的睑裂高度。
通过计算目标区域的睑裂高度,即眼睛睁开的高度,以确定当前图像中的眼睛是否睁开以及睁开的程度。
步骤340:根据睑裂高度,确定目标区域的开合状态。
开合状态可以是睁眼状态、闭眼状态或半睁眼状态。在计算得到睑裂高度后,根据该睑裂高度以判断当前图像中眼睛是睁眼状态、闭眼状态或半睁眼状态。
步骤350:根据当前图像的目标区域的开合状态和当前图像相邻的多帧图像的目标区域的开合状态,确定当前眨眼过程。
在获取了每帧图像中眼睛的开合状态后,根据多帧连续图像中眼睛的开合状态的变化,确定当前眨眼过程。
在一实施例中,步骤350的具体实现方式可以是:当当前图像的目标区域的开合状态和当前图像相邻的多帧图像的目标区域的开合状态由睁眼状态变为闭眼状态后再次变为睁眼状态时,确定当前图像和当前图像相邻的多帧图像为当前眨眼过程。
图4是本申请一示例性实施例提供的一种目标区域识别方法的流程示意图。如图4所示,步骤320可以包括:
步骤321:根据上眼睑和下眼睑之间区域的像素值,选取视频数据的每帧图像中封闭的种子区域。
图像中不同位置的像素值是有区别的,特别是对应人体不同器官的像素值的差异更大,根据眼球区域对应的像素值选取一个封闭的区域作为种子区域,即选取一小块区域作为确定目标区域的种子区域。
步骤322:当存在种子区域时,以种子区域为中心向周围扩展以确定目标区域的边界线。
当存在种子区域时,即上眼睑和下眼睑之间存在目标区域,以该种子区域为中心向周围扩展。具体的,以该种子区域为中心检测周围的像素点的像素值与该种子区域边界像素点的像素值之间的差值,当该差值小于一个预设值时,则说明该周围的像素点也为目标区域内的点,直至该差值大于该预设值时,即找到了目标区域的边界线,从而确定了目标区域范围。
步骤323:对确定了目标区域的边界线的每帧图像进行二值化处理,得到包含目标区域的二值化图像。
在确定了目标区域的边界线后,对图像进行二值化处理,即将目标区域的像素值调整为统一的灰度值(例如255等)、而将其他的非目标区域统一调整为背景(其灰度值调整为0),从而可以更加鲜明的实现目标区域与其他区域的对比。
在一实施例中,如图4所示,步骤320还可以包括:
步骤324:当不存在种子区域时,确定目标区域为闭眼状态。
当种子区域不存在时,即上眼睑和下眼睑之间存在目标区域,说明此时的上眼睑和下眼睑是相互贴合的,也就是说此时眼睛为闭眼状态。
图5是本申请一示例性实施例提供的一种睑裂高度计算方法的流程示意图。如图5所示,步骤330可以包括:
步骤331:根据上眼睑的两端端点得到第一参考线。
步骤332:根据下眼睑的两端端点得到第二参考线。
在获取了目标区域的边界线后,该边界线的上下边界即为上眼睑和下眼睑的图像,根据上眼睑和下眼睑的两端端点即可得到第一参考线和第二参考线。具体的,第一参考线和第二参考线可以分别为上眼睑两端端点的连线、下眼睑两端端点的连线。
步骤333:根据第一参考线和第二参考线,确定睑裂高度方向。
由于每个人的眼睑不同,甚至有的人眼睛有些倾斜,此时若按照水平和竖直方向来计算睑裂高度会出现不准确的情况。因此,本申请通过上眼睑和下眼睑确定第一参考线和第二参考线,然后根据第一参考线和第二参考线来确定睑裂高度的方向。具体的,可以是根据第一参考线和第二参考线得到一个参考方向,该参考方向可以由第一参考线和第二参考线拟合得到,即第一参考线和第二参考线上的所有点到该参考方向所在直线的距离总和最小。在得到参考方向后,即可确定睑裂高度的方向为与该参考方向垂直的方向。
步骤334:选取睑裂高度方向上上眼睑和下眼睑之间的最大距离作为睑裂高度。
在确定了睑裂方向后,即可计算沿着睑裂方向上眼睑和下眼睑之间的多个距离值,选取其中的最大值作为睑裂高度可以更好的反应当前眼睛的开合状态。
图6是本申请一示例性实施例提供的一种目标区域开合状态确定方法的流程示意图。如图6所示,步骤340可以包括:
步骤341:选取视频数据的所有睑裂高度中的最大值和最小值。
由于每个人睁眼和闭眼状态不同,例如有的人闭眼时其上眼睑和下眼睑之间的睑裂高度并不是零,因此,本申请在计算得到每帧图像中的睑裂高度后,选取所有睑裂高度中的最大值和最小值,分别以该最大值和最小值作为该患者的睁眼最大状态和闭眼状态。
步骤342:计算睑裂高度与最大值之间的最大差异以及与最小值之间的最小差异。
分别计算所有图像中的睑裂高度与最大值之间的最大差异以及与最小值之间的最小差异,从而来判断该睑裂高度对应的开合状态。
步骤343:当最大差异小于或等于第一预设差异时,确定目标区域的开合状态为睁眼状态。
当最大差异小于或等于第一预设差异时,即说明当前图像中目标区域的睑裂高度与最大睁眼状态的差异较小,此时可以确定当前图像对应的眼睛开合状态为睁眼状态。
步骤344:当最小差异小于或等于第二预设差异时,确定目标区域的开合状态为闭眼状态。
当最小差异小于或等于第二预设差异时,即说明当前图像中目标区域的睑裂高度与最小睁眼状态的差异较小,此时可以确定当前图像对应的眼睛开合状态为闭眼状态。其中,第二预设差异可以等于第一预设差异,也可以不等于。
步骤345:当最大差异大于第一预设差异且最小差异大于第二预设差异时,确定目标区域的开合状态为半睁眼状态。
当最大差异大于第一预设差异且最小差异大于第二预设差异时,即说明当前图像中目标区域的睑裂高度与最大睁眼状态的差异较大,同时与最小睁眼状态的差异较大,此时可以确定当前图像对应的眼睛开合状态为半睁眼状态。
图7是本申请一示例性实施例提供的一种基于状态信息区分眨眼类型的装置的结构示意图。如图7所示,该基于状态信息区分眨眼类型的装置70包括:状态获取模块71,用于获取当前眨眼过程对应的状态信息;其中状态信息表征当前眨眼过程中伴随的其他特征信息;以及类型确定模块72,用于根据状态信息,确定当前眨眼过程的眨眼类型;其中,眨眼类型包括有意识眨眼和无意识眨眼。
本申请提供的一种基于状态信息区分眨眼类型的装置,通过状态获取模块71获取当前眨眼过程对应的状态信息;其中状态信息表征当前眨眼过程中伴随的其他特征信息;然后类型确定模块72根据该状态信息,确定当前眨眼过程的眨眼类型;即根据当前眨眼过程对应的其他特征信息来区分当前眨眼过程是有意识还是无意识的,以剔除部分有意识眨眼对最后统计结果的干扰,不仅降低了数据统计的难度,而且可以准确获知眨眼的数据,为后续的预判提供了准确的数据基础。
图8是本申请另一示例性实施例提供的一种基于状态信息区分眨眼类型的装置的结构示意图。如图8所示,类型确定模块72可以包括:差异比对单元721,用于分别比对状态信息与有意识眨眼对应的有意识状态和无意识眨眼对应的无意识状态,得到有意识差异和无意识差异;类型判断单元722,用于当有意识差异小于或等于第一预设差异值时,确定眨眼类型为有意识眨眼,当无意识差异小于或等于第二预设差异值时,确定眨眼类型为无意识眨眼。
在一实施例中,如图8所示,该基于状态信息区分眨眼类型的装置70还可以包括:视频获取模块73,用于获取预设时间段内包含眼部运动的视频数据;图像识别模块74,用于识别视频数据的每帧图像,得到上眼睑和下眼睑之间的目标区域;高度计算模块75,用于计算目标区域对应的睑裂高度;状态确定模块76,用于根据睑裂高度,确定目标区域的开合状态;其中,开合状态包括睁眼状态、闭眼状态和半睁眼状态;以及过程确定模块77,用于根据当前图像的目标区域的开合状态和当前图像相邻的多帧图像的目标区域的开合状态,确定当前眨眼过程。
在一实施例中,图像识别模块74可以进一步配置为:将视频数据的每帧图像输入识别模型,得到上眼睑和下眼睑之间的目标区域;其中,识别模型包括神经网络模型。该识别模型可以由标准图像数据训练得到。
在一实施例中,过程确定模块77可以进一步配置为:当当前图像的目标区域的开合状态和当前图像相邻的多帧图像的目标区域的开合状态由睁眼状态变为闭眼状态后再次变为睁眼状态时,确定当前图像和当前图像相邻的多帧图像为当前眨眼过程。
在一实施例中,如图8所示,图像识别模块74可以包括:种子选取单元741,用于根据上眼睑和下眼睑之间区域的像素值,选取视频数据的每帧图像中封闭的种子区域;边界线确定单元742,用于当存在种子区域时,以种子区域为中心向周围扩展以确定目标区域的边界线;二值化单元743,用于对确定了目标区域的边界线的每帧图像进行二值化处理,得到包含目标区域的二值化图像。
在一实施例中,状态确定模块76可以进一步配置为:当不存在种子区域时,确定目标区域为闭眼状态。
在一实施例中,如图8所示,高度计算模块75可以包括:第一获取单元751,用于根据上眼睑的两端端点得到第一参考线;第二获取单元752,用于根据下眼睑的两端端点得到第二参考线;方向确定单元753,用于根据第一参考线和第二参考线,确定睑裂高度方向;高度选取单元754,用于选取睑裂高度方向上上眼睑和下眼睑之间的最大距离作为睑裂高度。
在一实施例中,如图8所示,状态确定模块76可以包括:最值选取单元761,用于选取视频数据的所有睑裂高度中的最大值和最小值;差异计算单元762,用于计算睑裂高度与最大值之间的最大差异以及与最小值之间的最小差异;状态判断单元763,用于当最大差异小于或等于第一预设差异时,确定目标区域的开合状态为睁眼状态,当最小差异小于或等于第二预设差异时,确定目标区域的开合状态为闭眼状态,当最大差异大于第一预设差异且最小差异大于第二预设差异时,确定目标区域的开合状态为半睁眼状态。
下面,参考图9来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
图9图示了根据本申请实施例的电子设备的框图。
如图9所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的基于状态信息区分眨眼类型的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
在该电子设备是单机设备时,该输入装置13可以是通信网络连接器,用于从第一设备和第二设备接收所采集的输入信号。
此外,该输入设备13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图9中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于状态信息区分眨眼类型的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于状态信息区分眨眼类型的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于状态信息区分眨眼类型的方法,其特征在于,包括:
获取当前眨眼过程对应的状态信息;其中所述状态信息表征所述当前眨眼过程中伴随的其他特征信息;以及
根据所述状态信息,确定所述当前眨眼过程的眨眼类型;其中,所述眨眼类型包括有意识眨眼和无意识眨眼。
2.根据权利要求1所述的基于状态信息区分眨眼类型的方法,其特征在于,所述状态信息包括:眼电波信号;其中,所述根据所述状态信息,确定所述当前眨眼过程的眨眼类型包括:
根据所述眼电波信号的峰值和波长,确定所述眨眼类型。
3.根据权利要求1所述的基于状态信息区分眨眼类型的方法,其特征在于,所述状态信息包括:面部动作;其中,所述根据所述状态信息,确定所述当前眨眼过程的眨眼类型包括:
根据所述面部动作的幅度,确定所述眨眼类型。
4.根据权利要求2或3所述的基于状态信息区分眨眼类型的方法,其特征在于,所述根据所述状态信息,确定所述当前眨眼过程的眨眼类型包括:
分别比对所述状态信息与所述有意识眨眼对应的有意识状态和所述无意识眨眼对应的无意识状态,得到有意识差异和无意识差异;
当所述有意识差异小于或等于第一预设差异值时,确定所述眨眼类型为有意识眨眼;以及
当所述无意识差异小于或等于第二预设差异值时,确定所述眨眼类型为无意识眨眼。
5.根据权利要求1所述的基于状态信息区分眨眼类型的方法,其特征在于,所述当前眨眼过程的确定方式包括:
获取预设时间段内包含眼部运动的视频数据;
识别所述视频数据的每帧图像,得到上眼睑和下眼睑之间的目标区域;
计算所述目标区域对应的睑裂高度;
根据所述睑裂高度,确定所述目标区域的开合状态;以及
根据当前图像的目标区域的开合状态和所述当前图像相邻的多帧图像的目标区域的开合状态,确定所述当前眨眼过程。
6.根据权利要求5所述的基于状态信息区分眨眼类型的方法,其特征在于,所述根据当前图像的目标区域的开合状态和所述当前图像相邻的多帧图像的目标区域的开合状态,确定所述当前眨眼过程包括:
当所述当前图像的目标区域的开合状态和所述当前图像相邻的多帧图像的目标区域的开合状态由睁眼状态变为闭眼状态后再次变为睁眼状态时,确定所述当前图像和所述当前图像相邻的多帧图像为所述当前眨眼过程。
7.根据权利要求5所述的基于状态信息区分眨眼类型的方法,其特征在于,所述识别所述视频数据的每帧图像,得到上眼睑和下眼睑之间的目标区域包括:
将所述视频数据的每帧图像输入识别模型,得到所述上眼睑和所述下眼睑之间的所述目标区域;
其中,所述识别模型包括神经网络模型。
8.一种基于状态信息区分眨眼类型的装置,其特征在于,包括:
状态获取模块,用于获取当前眨眼过程对应的状态信息;其中所述状态信息表征所述当前眨眼过程中伴随的其他特征信息;以及
类型确定模块,用于根据所述状态信息,确定所述当前眨眼过程的眨眼类型;其中,所述眨眼类型包括有意识眨眼和无意识眨眼。
9.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-7任一所述的基于状态信息区分眨眼类型的方法。
10.一种电子设备,所述电子设备包括:
处理器;以及
用于存储所述处理器可执行指令的存储器;
所述处理器用于执行上述权利要求1-7任一所述的基于状态信息区分眨眼类型的方法。
CN202110914682.7A 2021-08-10 2021-08-10 基于状态信息区分眨眼类型的方法、装置、介质及设备 Withdrawn CN113616195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110914682.7A CN113616195A (zh) 2021-08-10 2021-08-10 基于状态信息区分眨眼类型的方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110914682.7A CN113616195A (zh) 2021-08-10 2021-08-10 基于状态信息区分眨眼类型的方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN113616195A true CN113616195A (zh) 2021-11-09

Family

ID=78384067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110914682.7A Withdrawn CN113616195A (zh) 2021-08-10 2021-08-10 基于状态信息区分眨眼类型的方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN113616195A (zh)

Similar Documents

Publication Publication Date Title
Soukupova et al. Eye blink detection using facial landmarks
JP7070605B2 (ja) 注目範囲推定装置、その方法およびプログラム
JP5841538B2 (ja) 関心度推定装置および関心度推定方法
US20120323087A1 (en) Affective well-being supervision system and method
Kurylyak et al. Detection of the eye blinks for human's fatigue monitoring
Kuwahara et al. Eye fatigue estimation using blink detection based on Eye Aspect Ratio Mapping (EARM)
Pimplaskar et al. Real time eye blinking detection and tracking using opencv
JP6755839B2 (ja) 運動パフォーマンス推定装置、その方法、およびプログラム
CN113835660A (zh) 显示屏调整方法、装置、计算机设备及存储介质
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
EP3164055A1 (en) Eye condition determination system
KR20190083155A (ko) 운전자 상태 검출 장치 및 그 방법
JP6322927B2 (ja) インタラクション装置、インタラクションプログラムおよびインタラクション方法
JP6479708B2 (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
CN113616195A (zh) 基于状态信息区分眨眼类型的方法、装置、介质及设备
CN113662566B (zh) 一种基于电信号的眨眼检测方法、装置、介质及电子设备
CN113616196A (zh) 一种眨眼数据的统计方法、装置、介质及电子设备
Lee et al. Eye-wearable head-mounted tracking and gaze estimation interactive machine system for human–machine interface
Modak et al. Human head pose and eye state based driver distraction monitoring system
CN113487582A (zh) 图像评估方法及装置、计算机可读存储介质及电子设备
KR20210072350A (ko) 전기 안구도 측정을 통한 안구 운동 상태 기반의 렌더링 방법
KR20200015169A (ko) Vr컨텐츠를 이용하는 사용자의 시각 기능 확인 방법
CN112528714A (zh) 基于单光源的注视点估计方法、系统、处理器及设备
JP2017202048A (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
CN113591682A (zh) 疲劳状态检测方法、装置、可读存储介质以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211109

WW01 Invention patent application withdrawn after publication