CN112137622B - 一种有意识眨眼和无意识眨眼的判断方法及装置 - Google Patents

一种有意识眨眼和无意识眨眼的判断方法及装置 Download PDF

Info

Publication number
CN112137622B
CN112137622B CN202010952851.1A CN202010952851A CN112137622B CN 112137622 B CN112137622 B CN 112137622B CN 202010952851 A CN202010952851 A CN 202010952851A CN 112137622 B CN112137622 B CN 112137622B
Authority
CN
China
Prior art keywords
blink
graphene
conscious
blinking
resistance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010952851.1A
Other languages
English (en)
Other versions
CN112137622A (zh
Inventor
牛亚峰
左洪瑞
陆卫兵
薛澄岐
肖浪
周小舟
周蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010952851.1A priority Critical patent/CN112137622B/zh
Publication of CN112137622A publication Critical patent/CN112137622A/zh
Application granted granted Critical
Publication of CN112137622B publication Critical patent/CN112137622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6821—Eye
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种有意识眨眼和无意识眨眼的判断方法及装置，其中判断方法的步骤为：对被试者进行无意识眨眼和有意识眨眼的实验，通过贴敷在被试者眼轮匝肌上的石墨烯传感器采集被试者进行上述有意识眨眼和无意识眨眼时石墨烯阻值变化的电信号，得到被试者无意识眨眼的时间特征的检测范围和峰值特征的检测范围，有意识眨眼的时间特征的检测范围和峰值特征的检测范围；获取被试者非实验状态某单次眨眼时石墨烯阻值变化的电信号，提取获取的电信号的时间特征和峰值特征；根据上步提取的时间特征和峰值特征判断是有意识眨眼和无意识眨眼。本发明不受环境影响，可更加稳定、可靠、准确地判断有意识眨眼和无意识眨眼。

Description

一种有意识眨眼和无意识眨眼的判断方法及装置
技术领域
本发明涉及一种基于石墨烯传感器和射频技术的有意识眨眼和无意识眨眼的区分方法，采用柔性石墨烯应力传感器和RFID无源标签技术对眨眼信号进行读取和传输，通过信号的时间特征和峰值特征实现对有意识眨眼和无意识眨眼的区分。
背景技术
随着科技和社会的不断进步，新型交互方式推陈出新，带来了传统交互方式所不具备的用户体验。对于失去行动能力和操作能力的特殊人群来说，使用眨眼进行交互控制也成为他们更好地融入当前社会的可靠工具。此外，眨眼信号也可区分人的疲劳状态。
眨眼可分为无意识眨眼与有意识眨眼，无意识眨眼是指由于外部环境的变化等因素，眼睑进行的不自主开合运动；而有意识眨眼是指人主观驱动进行的眨眼活动。其中，无意识眨眼的持续时间通常为300-400ms，有意识眨眼的持续时间为700-800ms[1-3]，且检测到的无意识和有意识眨眼的电信号峰值相差较大[4]。因此，眨眼过程的持续时间特征和眨眼电信号的峰值特征可作为无意识眨眼和有意识眨眼的区分依据之一。
当前检测眨眼的方法主要为基于摄像头拍摄的图像分析法以及基于眼动仪的眨眼信号检测方法，两者均对环境有较高要求，例如环境光线较差时，检测结果会受到较大影响。
而当前学术研究中，分辨有意识眨眼和无意识眨眼的方法主要是在眼周围设置电极，用电位差的方式直接采集肌肉本身产生的眼电信号，然后通过采集的眼电信号进行判断，然而眼电信号受其他身体部位电信号干扰较大。
发明内容
本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种不受环境因素影响的能可靠、准确地判断有意识眨眼和无意识眨眼的判断方法及装置。
为解决上述技术问题，本发明采用的技术方案是：
一种有意识眨眼和无意识眨眼的判断方法，步骤为：
通过贴敷在眼轮匝肌上的石墨烯传感器，获取单次眨眼时石墨烯阻值变化的电信号；
提取获取的电信号的时间特征和峰值特征；
根据提取的时间特征和峰值特征判断是有意识眨眼和无意识眨眼，判断依据为：
判定为无意识眨眼时，单次眨眼中获取的时间特征Tc与峰值特征Fc满足如下条件：
Tc∈[Tmin,Tmax]∩FC∈[Fmin,Fmax]
判定为有意识眨眼时，单次眨眼中获取的时间特征Tc与峰值特征Fc满足如下条件：
Tc∈[T′min,T′max]∩FC∈[F′min,F′max]
其中，[Tmin,Tmax]和[Fmin,Fmax]分别为无意识眨眼的时间特征的检测范围和峰值特征的检测范围，[T′min,T′max]和[F′min,F′max]分别为有意识眨眼的时间特征的检测范围和峰值特征的检测范围。
步骤1包括：
步骤11：被试者分别进行有意识眨眼和无意识眨眼的实验任务，记录被试者有意识眨眼N次，无意识眨眼M次；石墨烯传感器采集实验中的M次无意识眨眼的石墨烯阻值变化过程的电信号F(t)与N次有意识眨眼的石墨烯阻值变化过程的电信号F(t′)；t和t′为采样时间点且
Figure BDA0002677600460000021
n为采样率，q为石墨烯电阻变化过程的电信号的采样个数；
步骤12：对所采集的有意识眨眼和无意识眨眼石墨烯阻值变化电信号进行5Hz的低通滤波处理,去除周期在200ms以下的干扰信号；
对采集到的有意识眨眼和无意识眨眼石墨烯阻值变化电信号进行，滤波处理的原因是因人眼的运动以及眼睑的不自主运动所导致的干扰信号可能对信号处理产生影响，滤波处理的目的是去除周期在200ms以下的干扰信号，以增加无意识眨眼和有意识眨眼的判断精度。
步骤13：对所采集无意识眨眼与有意识眨眼石墨烯阻值变化电信号进行分段:
获取M次无意识眨眼的时间点ti和N次有意识眨眼的时间点t′j，i为[1，M]区间内的整数，j为[1，N]区间内的整数；
ti和t′j分别构成无意识眨眼和有意识眨眼的时间序列,根据时间点ti和t′j，判定距离ti最近的无意识眨眼的两个非正值石墨烯阻值变化值F(tis)和F(tie)，和距离t′j最近的有意识眨眼的两个非正值石墨烯阻值变化值F(t′js)和F(t′je)，石墨烯阻值变化值F(tis)、F(tie)、F(t′js)、F(t′je)所对应的时间点tis、tie、t′js、t′je，其中tis表示第i次无意识眨眼动作的起始时间点，tie表示第i次无意识眨眼动作的结束时间点，t′js表示第j次有意识眨眼动作的起始时间点，t′je表示第j次有意识眨眼动作的结束时间点，tis＜tie，t′js＜t′je，对所采集无意识眨眼与有意识眨眼石墨烯阻值变化电信号进行[tis,tie]和[t′js,t′je]区间内的分段处理，共获得M段无意识眨眼和N段有意识眨眼所对应的石墨烯阻值变化电信号；
步骤14：提取无意识眨眼与有意识眨眼的每段石墨烯阻值变化电信号的时间特征和峰值特征：
提取石墨烯阻值变化电信号的时间特征的过程为：
分别对M段无意识眨眼和N段有意识眨眼所对应的石墨烯阻值变化电信号进行眨眼时长的计算，获得T(i)和T′(j)，T(i)为第i次无意识眨眼所对应的眨眼时长，T′(j)为第j次有意识眨眼所对应的眨眼时长，即：
T(i)＝tie-tis
T′(j)＝t′je-t′js
分别对T(i)和T′(j)进行从小到大的排序，获得Tmax、Tmin、T′max和T′min，其中，Tmax为M次无意识眨眼持续时间的最大值，Tmin为M次无意识眨眼持续时间的最小值，T′max为M次有意识眨眼持续时间的最大值，T′min为N次有意识眨眼持续时间的最小值，Tmax、Tmin、T′max和′min为石墨烯阻值变化电信号的时间特征；
提取石墨烯阻值变化电信号的峰值特征的过程为：
根据分段处理后的M段无意识眨眼和N段有意识眨眼所对应的石墨烯阻值变化电信号进行峰值提取，共得到M个无意识眨眼信号峰值F(i)与N个有意识眨眼信号峰值F′(j)，每个F(i)与F′(j)分别为[tis,tie]和[t′js,t′je]的分段时间范围内的石墨烯阻值变化电信号的峰值；
对F(i)与F′(j)分别进行从小到大的排序，获得Fmax、Fmin、F′max和F′min，其中，Fmax为M次无意识眨眼所检测检测石墨烯阻值变化电信号峰值的最大值，Fmin为M次无意识眨眼所检测检测石墨烯阻值变化电信号峰值的最小值，F′max为N次有意识眨眼所检测检测石墨烯阻值变化电信号峰值的最大值，F′min为N次有意识眨眼所检测检测石墨烯阻值变化电信号峰值的最小值，Fmax、Fmin、F′max和F′min为所述石墨烯阻值变化电信号的峰值特征。
所述无意识眨眼实验任务为：无意识眨眼实验任务在屏幕上进行，包括提示阶段、任务执行阶段和任务结束提示阶段；
在所述提示阶段，屏幕上呈现标记，呈现时长TS后消失，TS＝1000～2000ms，此阶段用于提醒被试注意；
在所述任务执行阶段，要求被试者在放松的状态下使用显示器进行浏览网页和观看视频的活动，采集系统用于采集实验任务过程中被试者眨眼时的石墨烯电阻变化电信号，在获得N个时间点的时间序列后实验结束；
在所述任务结束提示阶段，采集获得N个时间点后，停止采集被试者眨眼的石墨烯电阻变化电信号。
所述的有意识眨眼实验任务为：
有意识眨眼实验任务在屏幕上进行，包括提示阶段、任务执行阶段和任务结束提示阶段；
在所述提示阶段，屏幕上呈现标记，呈现时长TS后消失，TS＝1000～2000ms，此阶段用于提醒被试注意；
在所述眨眼命令呈现阶段，通过屏幕显示发出眨眼提示；此阶段被试者通过上述眨眼提示，完成一次眨眼的任务，采集实验任务过程中被试者眨眼时的石墨烯电阻变化电信号；
在空屏阶段，屏幕呈现白色空屏，呈现时长TS，此阶段用于消除被试者的视觉残留。
所述标记为面积为32px*32px的黑色十字叉。
所述眨眼提示为呈现在屏幕中央的面积为800px*400px的“请眨眼一次”字样。
所述屏幕为1920px*1280px的电脑屏幕。
与现有技术相比，本发明的优点是：
本发明基于石墨烯本身具备亲肤，灵敏度高，应变范围较大的特征，因此采用石墨烯传感器贴敷于眼轮匝肌上，即便在黑暗条件下仍可以进行眨眼行为的检测，不受环境影响。并且相比于图像分析法和眼动仪眨眼检测，本发明提出的检测方法不需要进行事先的视线校准，且在检测过程中头部也可以自由转动，可靠性更强。
相比于通过电极直接检测肌肉电位变化的眼电信号，本发明通过石墨烯柔性传感器直接获取的是眨眼时眼轮匝肌的收缩信号，然后将眼轮匝肌的收缩信号再转化为石墨烯阻值变化电信号，通过提取人眨眼时石墨烯阻值变化电信号的时间特征和峰值特征，与事先建立的个人眨眼特征数据库进行比对，来更加稳定、可靠、准确地判断有意识眨眼和无意识眨眼，通过识别有意识眨眼和无意识眨眼，对用户认知疲劳和兴趣度的评估，以及实现更为精确的人机交互控制等方面具有重要意义。
附图说明
图1:基于石墨烯传感器和射频技术的有意识眨眼和无意识眨眼判定方法流程图；
图2:RFID标签模块示意图；
图3:无意识眨眼与有意识眨眼时间特征和峰值特征示意图；
图4:RFID标签粘贴位置示意图；
图5:某单次眨眼采集系统眼镜模块示意图；
图6:建立个人眨眼特征数据库微处理器模块构成示意图；
图7:某单次眨眼采集系统微处理器模块构成示意图。
具体实施方式
下面结合附图，本发明作详细说明：
本发明有意识眨眼和无意识眨眼的判断方法，参见图1，包括以下步骤：
步骤1:通过对被试者进行实验，建立个人眨眼特征数据库：
步骤11：采集有意识眨眼和无意识的眨眼石墨烯阻值变化电信号。
采集有意识眨眼和无意识眨眼石墨烯阻值变化电信号的系统包括：RFID标签模块、阅读器模块，眨眼检测模块和微处理器模块。
RFID标签模块的构成如图2所示，由石墨烯应力传感器、电容器、电感器和柔性基底组成，电容器和电感器印制在柔性基底FPC材料上与石墨烯应力传感器相连，石墨烯应力传感器为柔性应力传感器，可附着在皮肤上，随皮肤压缩和拉伸而不会对其造成不可挽回的破坏，石墨烯应力传感器用于探测眼轮匝肌的收缩信号，眼轮匝肌只在眨眼过程中的闭眼进行短暂的收缩并迅速恢复，石墨烯传感器在眼轮匝肌收缩时阻值迅速变大，形成与眨眼对应的阻值波动电信号，从而将眼轮匝肌的收缩信号转化为石墨烯阻值变化电信号，电容器和电感器用于和石墨烯传感器共同组成谐振电路，将石墨烯阻值变化电信号传送至阅读器模块中。
阅读器模块和微处理器模块位于眼镜中，阅读器模块用于向RFID标签模块发射电磁波，并接收反射回来的石墨烯阻值变化电信号。
眨眼检测模块包括眨眼检测器和计时器，计时器在信号采集开始时计时，眨眼检测器与计时器相连，在检测到被试者进行眨眼动作后，将信号传输到计时器中，记录所有眨眼动作发生的时间点，构成时间序列。
微处理器模块的构成如图6所示，包含信号存储器、信号处理器、时阈检测器、峰值检测器和排序器，信号存储器用于对采集到的石墨烯阻值变化电信号进行存储，信号处理器与眨眼检测模块的计时器相连，用于对石墨烯阻值变化电信号进行5Hz低通滤波处理和转换，时阈检测器用于提取每次眨眼的持续时间并进行存储，峰值检测器用于检测石墨烯电阻值的峰值，排序器用于对检测到的石墨烯电阻值的峰值及眨眼持续时间进行从小到大的排序。
采集有意识眨眼和无意识眨眼石墨烯阻值变化电信号的过程为：将RFID标签模块贴置在被试者眼角下方(见图4)并使被试者佩戴好眼镜，要求被试者分别进行有意识眨眼和无意识眨眼的实验任务，记录被试者有意识眨眼N次和无意识眨眼M次，N和M可以相同，各以150次举例说明。记录被试者有意识眨眼和无意识眨眼各150次，石墨烯传感器用于采集实验中的150次无意识眨眼的石墨烯阻值变化过程的电信号F(t)与有意识眨眼的石墨烯阻值变化过程的电信号F(t′)；F(t)和F(t′)的单位为欧姆，t和t′为采样时间点且
Figure BDA0002677600460000071
t和t′的单位为ms，n为采样率，q为石墨烯电阻变化电信号的采样个数。
无意识眨眼实验任务为：
无意识眨眼实验任务在1920px*1280px的电脑屏幕上进行，包括提示阶段、任务执行阶段、任务结束提示阶段。在提示阶段，电脑屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，此阶段用于提醒被试注意；在任务执行阶段，要求被试者在放松的状态下使用显示器进行浏览网页和观看视频的活动，采集系统用于采集实验任务过程中被试者眨眼时的石墨烯电阻变化电信号，在获得150个时间点的时间序列后实验结束，预计用时约10分钟；在任务结束提示阶段，采集获得150个时间点后，实验任务界面出现提示告知被试者实验结束并停止采集被试者眨眼的石墨烯电阻变化电信号。
有意识眨眼实验任务为：有意识眨眼实验任务在1920px*1280px的电脑屏幕上进行，通过在屏幕呈现眨眼的操作指令要求被试者进行眨眼，操作指令的呈现包括提示阶段、眨眼命令呈现阶段以及空屏阶段，共进行150次，在提示阶段，电脑屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，此阶段用于提醒被试注意；在眨眼命令呈现阶段，屏幕中央呈现面积为800px*400px的“请眨眼一次”字样，此阶段被试者完成一次眨眼的任务，采集实验任务过程中被试者眨眼时的石墨烯电阻变化电信号；在空屏阶段，屏幕呈现白色空屏，呈现时间为1000ms，此阶段用于消除被试者的视觉残留。
步骤12：对所采集的有意识眨眼和无意识眨眼石墨烯阻值变化电信号进行滤波处理。
对采集到的有意识眨眼和无意识眨眼石墨烯阻值变化电信号进行5Hz的低通滤波处理，滤波处理的原因是因人眼的运动以及眼睑的不自主运动所导致的干扰信号可能对信号处理产生影响，滤波处理的目的是去除周期在200ms以下的干扰信号，以增加无意识眨眼和有意识眨眼的判断精度。
步骤13：对所采集无意识眨眼与有意识眨眼石墨烯阻值变化电信号进行分段。
眨眼检测模块中的计时器获取无意识眨眼和有意识眨眼各150个时间点ti和t′j，i为[1，150]区间内的整数，j为[1，150]区间内的整数，ti和t′j分别构成无意识眨眼和有意识眨眼的时间序列，每一个时间点表示眨眼检测模块中的眨眼检测器检测到被试者眨眼一次时所输出的时刻。根据时间点ti和t′j，信号处理器判定距离ti最近的无意识眨眼的两个非正值石墨烯阻值变化值F(tis)和F(tie)，和距离tj最近的有意识眨眼的两个非正值石墨烯阻值变化值F(t′js)和F(t′je)，石墨烯阻值变化值F(tis)、F(tie)、F(t′js)、F(t′je)，所对应的时间点tis、tie、t′js、t′je，其中tis表示第i次无意识眨眼动作的起始时间点，tie表示第i次无意识眨眼动作的结束时间点，t′js表示第j次有意识眨眼动作的起始时间点，t′je表示第j次有意识眨眼动作的结束时间点，tis＜tie，t′js＜t′je，对所采集无意识眨眼与有意识眨眼石墨烯阻值变化电信号进行[tis,tie]和[t′js,t′je]区间内的分段处理，共获得150段无意识眨眼和150段有意识眨眼所对应的石墨烯阻值变化电信号。
步骤14：提取无意识眨眼与有意识眨眼的每段石墨烯阻值变化电信号的时间特征和峰值特征。
提取石墨烯阻值变化电信号的时间特征的过程为：微处理模块中的时阈检测器分别对150段无意识眨眼和150段有意识眨眼所对应的石墨烯阻值变化电信号进行眨眼时长的计算，获得T(i)和T′(j)，T(i)为第i次无意识眨眼所对应的眨眼时长，T′(j)为第j次有意识眨眼所对应的眨眼时长，即：
T(i)＝tie-tis
T′(j)＝t′je-t′js
由排序器分别对T(i)和T′(j)进行从小到大的排序，获得Tmax、Tmin、T′max和T′min，其中，Tmax为150次无意识眨眼持续时间的最大值，Tmin为150次无意识眨眼持续时间的最小值，T′max为150次有意识眨眼持续时间的最大值，T′min为150次有意识眨眼持续时间的最小值。图3即为无意识眨眼与有意识眨眼时间特征和峰值特征示意图，图中，Tmax、Tmin、T′max和T′min为石墨烯阻值变化电信号的时间特征。
提取石墨烯阻值变化电信号的峰值特征的过程为：微处理模块中的峰值检测器分别根据分段处理后的150段无意识眨眼和150段有意识眨眼所对应的石墨烯阻值变化电信号进行峰值提取，共得到150个无意识眨眼信号峰值F(i)与150个有意识眨眼信号峰值F′(i)，i为[1，150]区间内的整数，每个F(i)与F′(i)分别为[tis,tie]和[t′is,t′ie]的分段时间范围内的石墨烯阻值变化电信号的峰值，由排序器对F(i)与F′(i)分别进行从小到大的排序，获得Fmax、Fmin、F′max和F′min，其中，Fmax为150次无意识眨眼所检测检测石墨烯阻值变化电信号峰值的最大值，Fmin为150次无意识眨眼所检测检测石墨烯阻值变化电信号峰值的最小值，F′max为150次有意识眨眼所检测检测石墨烯阻值变化电信号峰值的最大值，F′min为150次有意识眨眼所检测检测石墨烯阻值变化电信号峰值的最小值，Fmax、Fmin、F′max和F′min为所述石墨烯阻值变化电信号的峰值特征。
步骤15：建立个人眨眼特征数据库。
个人眨眼数据库中，无意识眨眼的时间特征的检测范围和峰值特征的检测范围分别为[Tmin,Tmax]和[Fmin,Fmax]，有意识眨眼的时间特征的检测范围和峰值特征的检测范围分别为[T′min,T′max]和[F′min,F′max]。
步骤2：某单次眨眼时石墨烯阻值变化电信号的时间特征和峰值特征提取：
采集某单次眨眼时石墨烯阻值变化电信号的系统包括：RFID标签模块和眼镜模块；RFID标签模块用于在某单次眨眼中采集被试者眨眼信息并传输到眼镜模块中，包括石墨烯应力传感器、电容器、电感器和柔性基底。
眼镜模块的构成如图5所示，包含阅读器模块、微处理器模块和蓝牙发射器模块。阅读器模块用于向贴置眼角下方的RFID标签发射电磁波并接收反射回来的石墨烯阻值变化电信号。微处理器模块的构成如图7所示，包含信号存储器、信号处理器、阈值检测器、计时器、峰值检测器和判断器。微处理器与阅读器模块、蓝牙发射模块相连，信号存储器用于对某单次眨眼中所采集的石墨烯阻值变化电信号进行存储，信号处理器用于对某单次眨眼中石墨烯阻值变化电信号进行5Hz的低通滤波处理和转换，阈值检测器用于检测当前石墨烯阻值变化电信号是否为正值，当阻值变化电信号为正值时，阈值检测器将第一阈值信号传输给计时器，计时器开始计时，石墨烯阻值变化电信号为非正值时，阈值检测器将第二阈值信号传输给计时器，计时器终止计时，峰值检测器提取该时间区域内的石墨烯阻值变化电信号的峰值，判断器将计时器计时结果与对应的峰值检测器提取的峰值结果与个人眨眼特征数据库进行比较。蓝牙发射模块将比较结果发射至终端设备。
某单次眨眼时石墨烯阻值变化电信号的采集过程为：将RFID标签模块贴置在被试者眼角下方，并使被试者佩戴好眼镜，要求被试者开始对终端进行指定操作。被试者眨眼起始动作所引发的正值石墨烯阻值变化电信号触发眼镜模块中的计时器模块开始计时，且峰值检测器开始对峰值进行检测，被试者眨眼动作结束时石墨烯阻值变化电信号呈非正数，计时器模块停止计时，峰值检测器停止检测，计时器和峰值检测器将计时结果Tc与峰值检测结果Fc输出至判断器，由蓝牙发射模块将判断结果发送至终端设备。
步骤3：某单次眨眼所提取的石墨烯阻值变化电信号的时间特征和峰值特征与个人眨眼特征数据库中的时间特征的检测范围和峰值特征的检测范围比较，判定某单次眨眼为有意识眨眼或无意识眨眼：
由某单次眨眼所提取的时间特征Tc与峰值特征Fc，在判断器中对某单次眨眼所提取的石墨烯阻值变化电信号的时间特征和峰值特征与个人眨眼特征数据库中的时间特征的检测范围和峰值特征的检测范围比较，判定该次眨眼为有意识眨眼或无意识眨眼，判定依据如下：
判定为无意识眨眼时，某单次眨眼中获取的时间特征Tc与峰值特征Fc满足如下条件：
Tc∈[Tmin,Tmax]∩FC∈[Fmin,Fmax]
判定为有意识眨眼时，某单次眨眼中获取的时间特征Tc与峰值特征Fc满足如下条件：
Tc∈[T′min,T′max]∩FC∈[F′min,F′max]
不符合判定条件情况发生时，认定为有意识眨眼和无意识眨眼识别失败，需要重新进行眨眼操作。

Claims (9)

1.一种有意识眨眼和无意识眨眼的判断方法，步骤为：
步骤1：对被试者进行无意识眨眼和有意识眨眼的实验，通过贴敷在被试者眼轮匝肌上的石墨烯传感器采集被试者进行上述有意识眨眼和无意识眨眼时石墨烯阻值变化的电信号，得到被试者无意识眨眼的时间特征的检测范围[Tmin，Tmax]和峰值特征的检测范围[Fmin，Fmax]，有意识眨眼的时间特征的检测范围[T′min，T′max]和峰值特征的检测范围[F′min，F′max]；
步骤2：获取被试者非实验状态某单次眨眼时石墨烯阻值变化的电信号，提取获取的电信号的时间特征和峰值特征；
步骤3：根据步骤2提取的时间特征和峰值特征判断是有意识眨眼和无意识眨眼，判断依据为：
判定为无意识眨眼时，单次眨眼中获取的时间特征与峰值特征满足如下条件：
TC∈[Tmin，Tmax]∩FC∈[Fmin，Fmax]
判定为有意识眨眼时，单次眨眼中获取的时间特征与峰值特征满足如下条件：
TC∈[T′min，T′max]∩FC∈[F′min，F′max]
其中，TC为单次眨眼中获取的时间特征，FC为单次眨眼中获取的峰值特征；
步骤1包括：
步骤11：被试者分别进行有意识眨眼和无意识眨眼的实验任务，记录被试者有意识眨眼N次，无意识眨眼M次，其中，N≥150；M≥150；石墨烯传感器采集实验中的M次无意识眨眼的石墨烯阻值变化过程的电信号F(t)与N次有意识眨眼的石墨烯阻值变化过程的电信号F(t′)；t和t′为采样时间点且
Figure FDA0003888270760000011
n为采样率，q为石墨烯电阻变化过程的电信号的采样个数；
步骤12：对所采集的有意识眨眼和无意识眨眼石墨烯阻值变化电信号进行5Hz的低通滤波处理，去除周期在200ms以下的干扰信号；
步骤13：对所采集无意识眨眼与有意识眨眼石墨烯阻值变化电信号进行分段：
获取M次无意识眨眼的时间点ti和N次有意识眨眼的时间点t′j，i为[1，M]区间内的整数，j为[1，N]区间内的整数；
ti和t′j分别构成无意识眨眼和有意识眨眼的时间序列，根据时间点ti和t′j，判定距离ti最近的无意识眨眼的两个非正值石墨烯阻值变化值F(tis)和F(tie)，和距离t′j最近的有意识眨眼的两个非正值石墨烯阻值变化值F(t′js)和F(t′je)，石墨烯阻值变化值F(tis)、F(tie)、F(t′js)、F(t′je)所对应的时间点tis、tie、t′js、t′je，其中tis表示第i次无意识眨眼动作的起始时间点，tie表示第i次无意识眨眼动作的结束时间点，t′js表示第j次有意识眨眼动作的起始时间点，t′je表示第j次有意识眨眼动作的结束时间点，tis＜tie，t′js＜t′je，对所采集无意识眨眼与有意识眨眼石墨烯阻值变化电信号进行[tis，tie]和[t′js，t′je]区间内的分段处理，共获得M段无意识眨眼和N段有意识眨眼所对应的石墨烯阻值变化电信号；
步骤14：提取无意识眨眼与有意识眨眼的每段石墨烯阻值变化电信号的时间特征和峰值特征：
提取石墨烯阻值变化电信号的时间特征的过程为：
分别对M段无意识眨眼和N段有意识眨眼所对应的石墨烯阻值变化电信号进行眨眼时长的计算，获得T(i)和T′(j)，T(i)为第i次无意识眨眼所对应的眨眼时长，T′(j)为第j次有意识眨眼所对应的眨眼时长，即：
T(i)＝tie-tis
T′(j)＝t′je-t′js
分别对T(i)和T′(j)进行从小到大的排序，获得Tmax、Tmin、T′max和T′min，其中，Tmax为M次无意识眨眼持续时间的最大值，Tmin为M次无意识眨眼持续时间的最小值，T′max为N次有意识眨眼持续时间的最大值，T′min为N次有意识眨眼持续时间的最小值，Tmax、Tmin、T′max和T′min为石墨烯阻值变化电信号的时间特征；
提取石墨烯阻值变化电信号的峰值特征的过程为：
根据分段处理后的M段无意识眨眼和N段有意识眨眼所对应的石墨烯阻值变化电信号进行峰值提取，共得到M个无意识眨眼信号峰值F(i)与N个有意识眨眼信号峰值F′(j)，每个F(i)与F′(j)分别为[tis，tie]和[t′js，t′je]的分段时间范围内的石墨烯阻值变化电信号的峰值；
对F(i)与F′(j)分别进行从小到大的排序，获得Fmax、Fmin、F′max和F′min，其中，Fmax为M次无意识眨眼所检测石墨烯阻值变化电信号峰值的最大值，Fmin为M次无意识眨眼所检测石墨烯阻值变化电信号峰值的最小值，F′max为N次有意识眨眼所检测石墨烯阻值变化电信号峰值的最大值，F′min为N次有意识眨眼所检测石墨烯阻值变化电信号峰值的最小值，Fmax、Fmin、F′max和F′min为所述石墨烯阻值变化电信号的峰值特征。
2.根据权利要求1所述的有意识眨眼和无意识眨眼的判断方法，其特征在于：所述无意识眨眼实验任务为：无意识眨眼实验任务在屏幕上进行，包括提示阶段、任务执行阶段和任务结束提示阶段；
在所述提示阶段，屏幕上呈现标记，呈现时长TS后消失，TS＝1000～2000ms，此阶段用于提醒被试注意；
在所述任务执行阶段，要求被试者在放松的状态下使用显示器进行浏览网页和观看视频的活动，采集系统用于采集实验任务过程中被试者眨眼时的石墨烯电阻变化电信号，在获得Q个时间点的时间序列后实验结束；
在所述任务结束提示阶段，采集获得Q个时间点后，停止采集被试者眨眼的石墨烯电阻变化电信号。
3.根据权利要求1所述的有意识眨眼和无意识眨眼的判断方法，其特征在于：所述的有意识眨眼实验任务为：
有意识眨眼实验任务在屏幕上进行，包括提示阶段、眨眼命令呈现阶段以及空屏阶段；
在所述提示阶段，屏幕上呈现标记，呈现时长TS后消失，TS＝1000～2000ms，此阶段用于提醒被试注意；
在所述眨眼命令呈现阶段，通过屏幕显示发出眨眼提示；此阶段被试者通过上述眨眼提示，完成一次眨眼的任务，采集实验任务过程中被试者眨眼时的石墨烯电阻变化电信号；
在空屏阶段，屏幕呈现白色空屏，呈现时长TS，此阶段用于消除被试者的视觉残留。
4.根据权利要求2或3所述的有意识眨眼和无意识眨眼的判断方法，其特征在于：所述标记为面积为32px*32px的黑色十字叉。
5.根据权利要求3所述的有意识眨眼和无意识眨眼的判断方法，其特征在于：所述眨眼提示为呈现在屏幕中央的面积为800px*400px的“请眨眼一次”字样。
6.根据权利要求2或3所述的有意识眨眼和无意识眨眼的判断方法，其特征在于：所述屏幕为1920px*1280px的电脑屏幕。
7.一种用于实现权利要求1-6任一所述判断方法的装置，其特征在于，包括RFID标签模块和眼镜模块；所述RFID标签模块由石墨烯应力传感器、电容器、电感器和柔性基底组成，电容器和电感器印制在柔性基底FPC材料上与石墨烯应力传感器相连，电容器和电感器用于和石墨烯传感器共同组成谐振电路，将石墨烯阻值变化电信号传送至眼镜模块中；
所述眼镜模块包括阅读器模块，眨眼检测模块和微处理器模块；
所述阅读器模块和微处理器模块位于眼镜中，阅读器模块用于向RFID标签模块发射电磁波，并接收反射回来的石墨烯阻值变化电信号；
所述眨眼检测模块包括眨眼检测器和计时器；所述计时器在信号采集开始时计时，所述眨眼检测器与计时器相连，在检测到被试者进行眨眼动作后，将信号传输到计时器中，记录所有眨眼动作发生的时间点，构成时间序列；
所述微处理器模块包含信号存储器、信号处理器、时阈检测器、峰值检测器和排序器；信号存储器用于对采集到的石墨烯阻值变化电信号进行存储；信号处理器与眨眼检测模块的计时器相连，用于对石墨烯阻值变化电信号进行5Hz低通滤波处理和转换；时阈检测器用于提取每次眨眼的持续时间并进行存储；峰值检测器用于检测石墨烯电阻值的峰值；排序器用于对检测到的石墨烯电阻值的峰值及眨眼持续时间进行从小到大的排序。
8.根据权利要求7所述的装置，其特征在于，所述微处理器模块还包括阈值检测器、计时器和判断器；阈值检测器用于检测当前石墨烯阻值变化电信号是否为正值，当阻值变化电信号为正值时，阈值检测器将第一阈值信号传输给计时器，计时器开始计时；石墨烯阻值变化电信号为非正值时，阈值检测器将第二阈值信号传输给计时器，计时器终止计时；判断器将计时器计时结果、对应的峰值检测器提取的峰值结果，分别与个人眨眼特征数据库进行比较。
9.根据权利要求8所述的装置，其特征在于，所述眼镜模块还包括蓝牙发射器模块，蓝牙发射模块将判断器的比较结果发射至终端设备。
CN202010952851.1A 2020-09-11 2020-09-11 一种有意识眨眼和无意识眨眼的判断方法及装置 Active CN112137622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010952851.1A CN112137622B (zh) 2020-09-11 2020-09-11 一种有意识眨眼和无意识眨眼的判断方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010952851.1A CN112137622B (zh) 2020-09-11 2020-09-11 一种有意识眨眼和无意识眨眼的判断方法及装置

Publications (2)

Publication Number Publication Date
CN112137622A CN112137622A (zh) 2020-12-29
CN112137622B true CN112137622B (zh) 2022-11-22

Family

ID=73890922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010952851.1A Active CN112137622B (zh) 2020-09-11 2020-09-11 一种有意识眨眼和无意识眨眼的判断方法及装置

Country Status (1)

Country Link
CN (1) CN112137622B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012247975A (ja) * 2011-05-27 2012-12-13 Ikutoku Gakuen 信号生成装置、電子機器制御装置およびプログラム
JP2015045943A (ja) * 2013-08-27 2015-03-12 一行 竹原 まばたき検出装置
CN104182041B (zh) * 2014-08-08 2017-07-14 北京智谷睿拓技术服务有限公司 眨眼类型确定方法及眨眼类型确定装置
CN106408876A (zh) * 2016-09-20 2017-02-15 浙江理工大学 一种基于柔性电子皮肤的疲劳驾驶监测系统及监测方法
CN109520648B (zh) * 2018-10-22 2020-09-22 华南理工大学 一种可穿戴压阻式压力传感器及其制备方法和应用

Also Published As

Publication number Publication date
CN112137622A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN107979985B (zh) 一种车载健康安全驾驶辅助装置
CN111012367A (zh) 一种精神疾病的智能识别系统
CN109953763A (zh) 一种基于深度学习的车载驾驶行为检测预警系统及方法
CN111012345A (zh) 眼部疲劳度检测系统及方法
CN107480635B (zh) 一种基于双模态分类模型融合的扫视信号识别方法及系统
Lu et al. Can steering wheel detect your driving fatigue?
Lv et al. Design and implementation of an eye gesture perception system based on electrooculography
US20220022805A1 (en) Seizure detection via electrooculography (eog)
CN112137622B (zh) 一种有意识眨眼和无意识眨眼的判断方法及装置
Jiao et al. Detecting driver sleepiness from EEG alpha wave during daytime driving
CN111724896B (zh) 一种基于多刺激图片或视频erp的毒瘾评估系统
CN104793743B (zh) 一种虚拟社交系统及其控制方法
CN113116356A (zh) 一种基于视觉脑电信号分析的自我意识障碍辅助诊断系统
CN117122324A (zh) 基于多模态情感数据融合的从业人员心理健康检测方法
Murukesh et al. Drowsiness detection for drivers using computer vision
CN106344008B (zh) 睡眠状态分析中清醒状态检测方法和系统
CN112181137B (zh) 眨眼识别装置、控制装置、识别方法及控制方法
CN106384096B (zh) 一种基于眨眼检测的疲劳驾驶监测方法
CN106361327B (zh) 睡眠状态分析中清醒状态检测方法和系统
CN115444422A (zh) 一种基于眼动数据的真实环境心理负荷评估方法和系统
Vural Video based detection of driver fatigue
KR20200009595A (ko) 온바디 센서 기반 감정-섭식 패턴 자동 생성 서버 및 그 방법
CN107736889B (zh) 一种人体协调性检测装置的检测方法
Qu et al. A method for distinguishing between involuntary and voluntary blinks based on graphene sensor
CN114399752A (zh) 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant