CN112181137A - 眨眼识别装置、控制装置、识别方法及控制方法 - Google Patents

眨眼识别装置、控制装置、识别方法及控制方法 Download PDF

Info

Publication number
CN112181137A
CN112181137A CN202010952855.XA CN202010952855A CN112181137A CN 112181137 A CN112181137 A CN 112181137A CN 202010952855 A CN202010952855 A CN 202010952855A CN 112181137 A CN112181137 A CN 112181137A
Authority
CN
China
Prior art keywords
blink
resistance value
value change
electric signal
time domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010952855.XA
Other languages
English (en)
Other versions
CN112181137B (zh
Inventor
牛亚峰
肖浪
陆卫兵
薛澄岐
左洪瑞
周小舟
周蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010952855.XA priority Critical patent/CN112181137B/zh
Publication of CN112181137A publication Critical patent/CN112181137A/zh
Application granted granted Critical
Publication of CN112181137B publication Critical patent/CN112181137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R27/00—Arrangements for measuring resistance, reactance, impedance, or electric characteristics derived therefrom
    • G01R27/02—Measuring real or complex resistance, reactance, impedance, or other two-pole characteristics derived therefrom, e.g. time constant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种眨眼识别装置、控制装置、识别方法及控制方法，其中眨眼控制的识别装置包括：石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B；识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼。本发明通过石墨烯柔性传感器将眨眼时眼轮匝肌的收缩信号转化为石墨烯阻值变化电信号，通过提取人眨眼控制时石墨烯阻值变化电信号的时域特征和频域特征，和先前建立的个人眨眼数据特征库比对，从而实现控制命令。相较于基于图像分析的眨眼控制方法，该方法具有较高的准确性和可靠性。

Description

眨眼识别装置、控制装置、识别方法及控制方法
技术领域
本发明涉及一种基于石墨烯传感器和射频技术的眨眼控制方法，采用柔性石墨烯应力传感器和RFID无芯片标签技术对眨眼信号进行读取和传输，通过信号的模式识别实现对终端的控制。
背景技术
当前人类社会的交互方式发展趋向多样化，对电子设备和界面的交互方式越来越简单，但对于失去活动能力的残疾人而言其交互途径少之又少，利用眨眼来进行控制可以成为解决残疾人交互问题的方法之一，通过将不同的眨眼动作定义为对应的操作命令，实现通过眨眼进行人机交互。
当前眼球追踪控制系统中对人眼眨眼的检测方法主要是通过图像分析方法，通过摄像头所捕捉的实时人眼图像进行计算分析，来判断眨眼行为。这种方法受环境影响较大，例如光线影响，人头部与摄像头的空间位置的影响。
发明内容
本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种不受环境影响的具有较高准确率和可靠性的眨眼控制的识别装置、控制装置、识别方法及控制方法。
为解决上述技术问题，本发明采用的技术方案是：
一种眨眼控制的识别装置，其特征在于，包括：
石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；
信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征
Figure BDA0002677603120000011
的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征
Figure BDA0002677603120000021
的欧几里德距离与1之和的倒数；
识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼。
时域相似度A设定的条件为：A≥0.9；频域相似度B设定的条件为：B≥0.9。
时域特征Y包括均值Y1，平均幅值Y2，方差Y3，均方根Y4，峰峰值Y5，波形因子Y6，峭度因子Y7，偏斜度因子Y8。
频域特征S包括频谱平均振幅S1，频谱方差S2，第一频谱特征频率S3和第二频谱特征频率S4。
一种眨眼控制的控制装置，其特征在于，包括：
石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；
信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征
Figure BDA0002677603120000022
的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征
Figure BDA0002677603120000025
的欧几里德距离与1之和的倒数；
识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼；
控制模块，根据识别模块判断的控制眨眼，激发对应的眨眼控制命令。
一种眨眼控制的识别方法，其特征在于，包括：
通过石墨烯传感器获取眨眼控制时的石墨烯阻值变化电信号；
提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征
Figure BDA0002677603120000023
的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征
Figure BDA0002677603120000024
的欧几里德距离与1之和的倒数；
根据时域相似度A和频域相似度B，判断眨眼是否为控制眨眼。
判断眨眼是否为控制眨眼的条件为：时域相似度A≥0.9；频域相似度B≥0.9。
一种眨眼控制的控制方法，其特征在于，包括：
通过石墨烯传感器获取眨眼控制时的石墨烯阻值变化电信号；
提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征
Figure BDA0002677603120000031
的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征
Figure BDA0002677603120000032
的欧几里德距离与1之和的倒数；
根据时域相似度A和频域相似度B，判断眨眼是否为控制眨眼；
检测首次控制眨眼信号并在设定的时间内识别控制眨眼的次数；
根据确定的控制眨眼的次数，激发对应的眨眼控制命令。
判断眨眼是否为控制眨眼的条件为：时域相似度A≥0.9；频域相似度B≥0.9。
所述眨眼控制命令包括p次眨眼控制命令，其中p＝1，2，3...，P，每个眨眼命令代表不同的眨眼控制命令。
本发明将基于石墨烯柔性传感器和无芯片标签技术应用于眨眼控制，然后进行信号处理与模式识别，使终端能够识别用户的眨眼控制命令，完成用户希望的控制行为，终端可以是智能设备或计算机界面。
与现有技术相比，本发明的优点是：
本发明基于石墨烯柔性传感器和无源RFID标签技术，贴置眼周眼轮匝肌处，直接检测眨眼信号，因此不受光环境影响，暗光条件下也可检测，本检测方法对被试的姿势也没有任何要求，可以任意活动。石墨烯柔性传感器的特点为体积小，亲肤，轻薄，基于柔性基底的无源RFID标签也具有同样的特点，因此本发明使用方便，操作方法简单。
本发明通过石墨烯柔性传感器将眨眼时眼轮匝肌的收缩信号转化为石墨烯阻值变化电信号，通过提取人眨眼控制时石墨烯阻值变化电信号的时域特征和频域特征，和先前建立的个人眨眼数据特征库比对，从而实现控制命令。相较于基于图像分析的眨眼控制方法，该方法具有较高的准确性和可靠性。
附图说明
图1：基于石墨烯传感器和射频技术的眨眼控制方法流程图：
图2：一次眨眼命令的信号特征图；
图3：两次眨眼命令的信号特征图；
图4：三次眨眼命令的信号特征图；
图5：RFID标签模块；
图6：RFID标签模块与眼睛的位置图；
图7：眼镜结构图；
图8：步骤1.1中微处理器模块的连接示意图；
图9：步骤1.2和步骤2中微处理器模块的连接关系；
图10：单次眨眼实验任务过程示意图；
图11：眨眼控制终端小车的示意图。
具体实施方式
下面结合附图，对本发明作详细说明：
本发明眨眼识别或控制，是基于石墨烯传感器获取眨眼的工作，然后进行识别和控制的，控制流程如图1所示，具体如下：
步骤1、建立个人眨眼数据特征库：
用于获取被试者眨眼控制命令，主要包括RFID柔性标签、眼镜和终端设备的通信，确定眨眼时石墨烯形变的阈值，获取被试者眨眼控制时的石墨烯阻值变化电信号，原始信号离线分析，石墨烯阻值变化电信号时域和频域特征的提取，微处理器处理；
步骤2、实际任务过程中，被试者眨眼控制时石墨烯阻值变化电信号的时域和频域特征提取；
步骤3、相似度计算和激发对应眨眼控制命令。
本发明眨眼控制方法，通过贴在眼角下方的石墨烯传感器将被试者眨眼信号转化为石墨烯阻值变化电信号，通过射频技术将信号无线传输到眼镜中的微处理器模块进行处理，依据石墨烯阻值变化电信号的不同实现了眨眼控制的不同命令。
步骤1：建立个人眨眼数据特征库：
步骤1.1：确定眨眼时石墨烯形变的阈值。对被试者完成一次眨眼时的石墨烯阻值变化电信号进行采集，确定可识别为首次眨眼信号的阈值，该阈值用于步骤1.2中触发计时器。
采集系统为：RFID标签模块、阅读器模块和微处理器模块。
RFID标签模块的构成如图5所示，由石墨烯应力传感器、电容器、电感器和柔性基底组成，电容器和电感器印制在柔性基底FPC材料上与石墨烯应力传感器相连。石墨烯应力传感器为柔性应力传感器，可附着在皮肤上，随皮肤压缩和拉伸而不会对其造成不可挽回的破坏，石墨烯应力传感器用于探测眼轮匝肌的收缩信号，眼轮匝肌只在眨眼过程中的闭眼进行短暂的收缩并迅速恢复，石墨烯传感器在眼轮匝肌收缩时阻值迅速变大，形成与眨眼对应的阻值波动电信号，从而将眼轮匝肌的收缩信号转化为石墨烯阻值变化电信号，电容器和电感器用于和石墨烯传感器共同组成谐振电路，将石墨烯阻值变化电信号传送至阅读器模块中。阅读器模块和微处理器模块位于眼镜中，阅读器模块用于向RFID标签模块发射电磁波，并接收反射回来的石墨烯阻值变化电信号。微处理器模块的构成如图8所示，包含信号存储器、信号处理器、峰值检测器、排序器和阈值检测器，存储器用于对采集到的石墨烯阻值变化电信号进行存储，信号处理器用于对石墨烯阻值变化电信号进行处理和转换，峰值检测器用于检测石墨烯电阻值的峰值，排序器用于对检测到的石墨烯电阻值的峰值进行从小到大的排序，阈值检测器用于储存步骤1.1中可识别为首次眨眼信号的阈值和检测步骤1.2中首次眨眼信号的阈值。
一次眨眼时的石墨烯阻值变化电信号的采集过程为：将RFID标签模块贴置在被试者眼角下方(见图6)并使被试者佩戴好眼镜，要求被试者对测试图像进行重复200次的单次眨眼实验任务，石墨烯传感器采集200次实验任务中原始石墨烯阻值变化过程的电信号F(t″)，单次眨眼任务所记录的石墨烯阻值变化电信号总时长为5s，F(t″)为石墨烯阻值变化电信号表达通式，F(t″)的单位为欧姆，t″为采样时间点且
Figure BDA0002677603120000051
t″的单位为ms，n为采样率，q为石墨烯电阻变化电信号的采样个数且q为[1，5n]区间上的整数。
单次的眨眼实验任务为：测试图像呈现于1920px*1280px的电脑屏幕上，测试图像的呈现包括提示阶段、眨眼图片呈现阶段以及空屏阶段，在提示阶段，电脑屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，此阶段用于提醒被试注意；在眨眼图片呈现阶段，屏幕中央呈现面积为800px*400px的“眨眼一次”字样，呈现时间为5s，此阶段被试者完成一次眨眼的任务；在空屏阶段，屏幕呈现白色空屏，呈现时间为1000ms，此阶段用于消除被试者的视觉残留。
确定可识别为首次眨眼信号的阈值的过程为：微处理器模块中的峰值检测器对200次实验任务中单次眨眼信号F(t″)分别提取5s内的最大峰值Fm，
Figure BDA0002677603120000061
共得到200个Fm，将200个Fm输入到排序器中按照阻值大小进行从小到大的排序，得到最小值Fmin，定义Fmin的0.9倍为首次眨眼信号的阈值，将阈值输入到阈值检测器中进行储存，并应用于步骤1.2中判断首次眨眼信号。
步骤1.2对被试者三种眨眼控制命令所对应的石墨烯阻值变化电信号进行采集。
信号采集系统为：RFID标签模块、眼镜模块，RFID标签模块由柔性石墨烯应力传感器、电容器、电感器和柔性基底组成，用于采集被试者眨眼信息并传输到阅读器模块中。眼镜模块的构成如图7所示，包含阅读器模块、微处理器模块、计时器模块和蓝牙发射器模块，阅读器模块用于向贴置眼角下方的RFID标签发射电磁波并接收反射回来的石墨烯阻值变化电信号，微处理器模块的构成如图9所示，包含信号存储器、信号处理器、峰值检测器、排序器和阈值检测器，微处理器模块与计时器模块、阅读器模块、蓝牙发射模块相连，信号存储器用于对所采集的石墨烯阻值变化电信号进行存储，信号处理器用于对石墨烯阻值变化电信号进行处理和转换，阈值检测器用于检测首次眨眼信号并传输阈值信号给计时器。计时器模块包含震动器、计时器、声音报警器，震动器用于在接收到阈值检测器传输过来的阈值信号时开启震动且震动时间为1s、计时器用于计时5s、声音报警器用于在计时结束时进行音标提示且提示时间为1s，当计时器接收到微处理器中阈值检测器发射来的第一个阈值信号时，计时器开始计时，同时震动器震动提示，5s后声音报警器采用30分贝耳标提示，在5s的计时过程中，当阈值检测器再次发射阈值信号给计时器时，计时器不重复归零计时，直至5s结束。蓝牙发射模块用于将控制命令信号发射至终端设备。
三种眨眼控制命令的石墨烯阻值变化电信号采集过程为：将RFID标签模块贴置在被试者眼角下方，并使被试者佩戴好眼镜，要求被试者分别进行“眨眼一次”控制命令实验，“眨眼两次”控制命令实验和“眨眼三次”控制命令实验。“眨眼一次”控制命令实验为：要求被试者佩戴好RFID标签和眼镜后，进行一次眨眼，触发计时器计时5s，计时器停止后间隔1s再进行一次眨眼，重复上述步骤，使被试者进行100次“眨眼一次”控制命令。“眨眼两次”控制命令实验为：要求被试者佩戴好RFID标签和眼镜后，进行连续的两次眨眼，两次眨眼中的首次眨眼触发计时器计时5s，被试者的连续两次眨眼需要在所计时的5s内完成，计时器停止后间隔1s再次进行连续的两次眨眼，重复上述步骤，使被试者进行100次“眨眼两次”控制命令。“眨眼三次”控制命令实验为：要求被试者佩戴好RFID标签和眼镜后，进行连续的三次眨眼，三次眨眼中的首次眨眼触发计时器计时5s，被试者的连续三次眨眼需要在所计时的5s内完成，计时器停止后间隔1s再次进行连续的三次眨眼，重复上述步骤，使被试者进行100次“眨眼三次”控制命令。4次及以上眨眼控制的操作原理类同，本发明方案不做描述。石墨烯传感器分别采集到三种眨眼控制命令所对应的100段5s内石墨烯阻值变化电信号，每种操作命令的100个测试样本组成一个群组。
步骤1.3：对原始石墨烯阻值变化电信号离线分析，离线分析包括对各原始石墨烯阻值变化电信号进各群组叠加平均，获取各眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA0002677603120000071
为眨眼控制命令的群组平均电信号的表达通式，表示眨眼i次所对应的眨眼控制命令的群组平均电信号。i为数字1、2、3，分别指一次眨眼、两次眨眼、三次眨眼。离线分析在信号处理器完成，其中一次眨眼、两次眨眼、三次眨眼信号如图2、3、4所示。
群组叠加平均是分别对三种眨眼控制命令的100次测试所得的原始石墨烯阻值变化电信号yi(t)进行叠加平均得到
Figure BDA0002677603120000072
i次眨眼控制原始电信号yi(t)，t为采样时间点且
Figure BDA0002677603120000073
t的单位为ms，n为采样率，m为石墨烯电阻变化电信号的采样个数且m为[1，5n]区间上的整数。
步骤1.4对每种操作命令的群组平均电信号
Figure BDA0002677603120000081
进行时域和频域特征的提取，时域特征
Figure BDA0002677603120000087
包括均值
Figure BDA0002677603120000088
平均幅值
Figure BDA0002677603120000089
方差
Figure BDA00026776031200000810
均方根
Figure BDA00026776031200000811
峰峰值
Figure BDA00026776031200000812
波形因子
Figure BDA00026776031200000813
峭度因子
Figure BDA00026776031200000814
偏斜度因子
Figure BDA00026776031200000815
频域特征
Figure BDA00026776031200000816
包括频谱平均振幅
Figure BDA00026776031200000817
频谱方差
Figure BDA00026776031200000819
第一频谱特征频率
Figure BDA00026776031200000833
和第二频谱特征频率
Figure BDA00026776031200000818
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA00026776031200000834
的时域特征
Figure BDA00026776031200000820
中的均值
Figure BDA00026776031200000821
为：
Figure BDA0002677603120000082
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA00026776031200000835
的时域特征
Figure BDA00026776031200000822
中的平均幅值
Figure BDA00026776031200000823
为：
Figure BDA0002677603120000083
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA00026776031200000824
的时域特征
Figure BDA00026776031200000825
中的方差
Figure BDA00026776031200000826
为：
Figure BDA0002677603120000084
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA00026776031200000827
的时域特征
Figure BDA00026776031200000828
中的均方根
Figure BDA00026776031200000829
为：
Figure BDA0002677603120000085
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA00026776031200000830
的时域特征
Figure BDA00026776031200000831
中的峰峰值
Figure BDA00026776031200000832
为：
Figure BDA0002677603120000086
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA0002677603120000098
的时域特征
Figure BDA0002677603120000096
中的波形因子
Figure BDA0002677603120000097
为：
Figure BDA0002677603120000091
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA0002677603120000099
的时域特征
Figure BDA00026776031200000910
中的峭度因子
Figure BDA00026776031200000911
为：
Figure BDA0002677603120000092
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA00026776031200000912
的时域特征
Figure BDA00026776031200000913
中的偏斜度因子
Figure BDA00026776031200000914
为：
Figure BDA0002677603120000093
对眨眼i次所对应眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA00026776031200000915
的频域特征的提取方法如下：
分别对眨眼i次所对应眨眼控制命令的群组平均石墨烯阻值变化电信号
Figure BDA00026776031200000916
进行傅立叶变换，得到如下
Figure BDA00026776031200000917
的频谱函数
Figure BDA00026776031200000918
Figure BDA0002677603120000094
其中-i代表复数单位，t为采样时间点且
Figure BDA0002677603120000095
m为石墨烯电阻变化电信号的采样个数且m为[1，5n]区间上的整数，n是采样率，k代表谱线数且为[1，5n]区间上的整数。
然后，对i次眨眼所对应眨眼控制命令的群组平均石墨烯电阻变化电信号频域特征指标
Figure BDA0002677603120000106
提取如下：
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征
Figure BDA0002677603120000107
中频谱平均振幅
Figure BDA0002677603120000108
Figure BDA0002677603120000101
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征
Figure BDA0002677603120000109
中频谱方差
Figure BDA00026776031200001010
Figure BDA0002677603120000102
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征
Figure BDA00026776031200001011
中第一频谱特征频率Si3
Figure BDA0002677603120000103
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征
Figure BDA00026776031200001013
中第二频谱特征频率
Figure BDA00026776031200001014
Figure BDA0002677603120000104
以上式子中fk均为第k条频谱线的频率值，fk的计算公式为
Figure BDA0002677603120000105
其中Fs为采样频率，k代表谱线数且为[1，5n]区间上的整数。
步骤1.5：将已提取的三种命令的平均电信号的时域特征值和频域特征值送入微处理器模块处理，并在微处理器模块中建立被试者的个人眨眼数据特征库，个人眨眼数据特征库与蓝牙发射模块相连。
步骤2：实际任务中被试者眨眼控制时石墨烯阻值变化电信号的时域和频域特征提取：
步骤2.1：实际任务中被试者眨眼控制时石墨烯阻值变化电信号的采集：
实际任务中的石墨烯阻值变化电信号的采集系统为：RFID标签模块和眼镜模块，RFID标签模块由石墨烯应力传感器、电容器、电感器和柔性基底组成，用于在实际任务中采集被试者眨眼信息并传输到眼镜模块中。眼镜模块包含阅读器模块、微处理器模块、计时器模块和蓝牙发射器模块，阅读器模块用于向贴置眼角下方的RFID标签发射电磁波并接收反射回来的石墨烯阻值变化电信号，微处理器模块包含信号存储器、信号处理器、峰值检测器、排序器和阈值检测器，与计时器模块、阅读器模块、蓝牙发射模块相连，信号存储器用于对实际任务中所采集的石墨烯阻值变化电信号进行存储，信号处理器用于对实际任务中石墨烯阻值变化电信号进行处理和转换，阈值检测器用于检测首次眨眼信号并传输阈值信号给计时器。计时器模块包含震动器、计时器、声音报警器，震动器用于在接收到阈值检测器传输过来的阈值信号时开启震动且震动时间为1s、计时器用于计时5s、声音报警器用于在计时结束时进行音标提示且提示时间为1s，当计时器接收到微处理器中阈值检测器发射来的第一个阈值信号时，计时器开始计时，同时震动器震动提示，5s后声音报警器采用30分贝耳标提示，在5s的计时过程中，当阈值检测器再次发射阈值信号给计时器时，计时器不重复归零计时，直至5s结束。所述蓝牙发射模块于将控制命令信号发射至终端设备。
实际任务中的石墨烯阻值变化电信号的采集过程为：将RFID标签模块贴置在被试者眼角下方，并使被试者佩戴好眼镜，要求被试者开始对终端进行眨眼控制操作。被试者首次眨眼触发眼镜中计时器开始计时，计时器计时5秒为一次眨眼控制命令的时长，被试者在计时器开启的5s内完成眨眼控制操作，微处理器模块记录5s内的石墨烯阻值变化电信号y′(t′)，y′(t′)为实际任务中眨眼控制时5秒内的石墨烯阻值变化电信号的表达通式，t′为实际任务中眨眼控制的采样时间点且
Figure BDA0002677603120000111
t′的单位为ms，n为采样率，p为实际任务中眨眼控制时石墨烯阻值变化电信号的采样个数且p为[1，5n]区间上的整数。
步骤2.2：实际任务中石墨烯阻值变化电信号的时域和频域特征提取：
对实际任务中石墨烯阻值变化电信号y′(t′)进行时域特征Y和频域特征S的提取。时域特征Y包括均值Y1，平均幅值Y2，方差Y3，均方根Y4，峰峰值Y5，波形因子Y6，峭度因子Y7，偏斜度因子Y8。频域特征S包括频谱平均振幅S1，频谱方差S2，第一频谱特征频率S3和第二频谱特征频率S4。
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的均值Y1为：
Figure BDA0002677603120000121
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的平均幅值Y2为：
Figure BDA0002677603120000122
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的方差Y3为：
Figure BDA0002677603120000123
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的均方根Y4为：
Figure BDA0002677603120000124
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的峰峰值Y5为：
Figure BDA0002677603120000125
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的波形因子Y6为：
Figure BDA0002677603120000126
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的峭度因子Y7为：
Figure BDA0002677603120000127
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的偏斜度因子Y8为：
Figure BDA0002677603120000128
以上八个式子中所述的y′(t′)为被试者实际任务中眨眼控制时的石墨烯阻值变化电信号的表达通式，t′为进行眨眼控制时采样时间点且
Figure BDA0002677603120000131
n为采样率，p为眨眼控制时石墨烯阻值变化电信号的采样个数且p为[1，5n]区间上的整数。
对被试者实际任务中的石墨烯阻值变化电信号y′(t′)的频域特征的提取方法如下：
首先对被试者实际任务中的石墨烯阻值变化电信号y′(t′)进行傅立叶变换，得到如下y′(t′)的频谱函数S(k′)：
Figure BDA0002677603120000132
其中-i代表复数单位，t′为采样时间点且
Figure BDA0002677603120000133
p为石墨烯电阻变化电信号的采样个数且p为[1，5n]区间上的整数，n是采样率，k′代表谱线数且为[1，5n]区间上的整数。
对石墨烯电阻变化电信号频域特征指标S提取如下：
实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中频谱平均振幅S1
Figure BDA0002677603120000134
实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中频谱方差S2
Figure BDA0002677603120000135
实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中第一频谱特征频率S3
Figure BDA0002677603120000136
实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中第二频谱特征频率S4
Figure BDA0002677603120000137
以上式子中f′k′均为第k′条频谱线的频率值，f′k′的计算公式为
Figure BDA0002677603120000138
其中Fs为采样频率，k′代表谱线数且为[1，5n]区间上的整数。
步骤3：相似度计算和激发对应眨眼控制命令：
计算实际任务中石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的三种眨眼控制命令所对应的石墨烯阻值变化电信号的时域特征
Figure BDA0002677603120000144
的时域相似度Ai，i＝1，2，3，分别对应一次眨眼，两次眨眼和三次眨眼。再计算实际任务中石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中的三种眨眼控制命令所对应的石墨烯阻值变化电信号的频域特征
Figure BDA0002677603120000145
的频域相似度Bi，i＝1，2，3，分别对应一次眨眼，两次眨眼和三次眨眼。若时域相似度Ai及频域相似度Bi同时满足大于0.9的条件，则激发对应的眨眼控制命令，即眨眼i次所对应的眨眼控制命令，通过蓝牙发射模块将控制信号传输到终端的蓝牙接收模块，实现对终端设备的控制。
以终端为玩具小车为例，如图11所示，小车内包含蓝牙接收模块，驱动模块和电池模块，定义三种眨眼控制命令对应三种操控方式，“眨眼一次”为前进，“眨眼两次”为后退，“眨眼三次”为停止。针对不同的终端，可自行定义三种眨眼控制命令的对应操作，在这不做具体描述。
步骤3中被试者在实际任务中进行眨眼操作时石墨烯阻值变化电信号与先前所建立的个人眨眼数据特征库中的电信号的时域相似度Ai的计算过程如下：
对眨眼控制命令所对应电信号的时域特征值
Figure BDA0002677603120000146
进行z-score标准化处理得到
Figure BDA0002677603120000147
Figure BDA0002677603120000141
Figure BDA0002677603120000148
为个人眨眼数据特征库中i次眨眼所对应控制命令的石墨烯阻值变化电信号的第j个时域特征值，j为[1，8]之间的整数。
μi为眨眼i次所对应控制命令的时域特征值的总体平均值：
Figure BDA0002677603120000142
δi为眨眼i次所对应控制命令的时域特征值的总体标准差：
Figure BDA0002677603120000143
对实际任务中的电信号的时域特征值Yj进行z-score标准化处理得到Yj′：
Figure BDA0002677603120000151
Yj为实际任务中的电信号的第j个时域特征值，j为[1，8]之间的整数。
μ为实际任务中的电信号的时域特征值的总体平均值：
Figure BDA0002677603120000152
δ为实际任务中的电信号的时域特征值的总体标准差：
Figure BDA0002677603120000153
时域相似度Ai：
Figure BDA0002677603120000154
Ai表示实际任务中电信号的时域特征与眨眼i次所对应控制命令的时域特征的相似度，
步骤3中被试者在实际任务中进行眨眼操作时石墨烯阻值变化电信号与先前所建立的个人眨眼数据特征库中的电信号的频域相似度Bi的计算过程如下：
对眨眼控制命令所对应电信号的频域特征值
Figure BDA00026776031200001510
进行z-score标准化处理得到
Figure BDA0002677603120000155
Figure BDA0002677603120000156
Figure BDA0002677603120000157
为个人眨眼数据特征库中i次眨眼所对应控制命令的石墨烯阻值变化电信号的第l个频域特征值，l为[1，4]之间的整数。
σi为眨眼i次所对应控制命令的频域特征值的总体平均值：
Figure BDA0002677603120000158
ωi为眨眼i次所对应控制命令的频域特征值的总体标准差：
Figure BDA0002677603120000159
对实际任务中的电信号的频域特征值Sl进行z-score标准化处理得到Sl′：
Figure BDA0002677603120000161
Sl为实际任务中的电信号的第l个频域特征值，l为[1，4]之间的整数。
σ为实际任务中的电信号的频域特征值的总体平均值：
Figure BDA0002677603120000162
ω为实际任务中的电信号的频域特征值的总体标准差：
Figure BDA0002677603120000163
频域相似度Bi：
Figure BDA0002677603120000164
Bi表示实际任务中电信号的频域特征与眨眼i次所对应控制命令的频域特征的相似度。

Claims (10)

1.一种眨眼控制的识别装置，其特征在于，包括：
石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；
信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征
Figure FDA0002677603110000011
的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征
Figure FDA0002677603110000012
的欧几里德距离与1之和的倒数；
识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼。
2.根据权利要求1所述的识别装置，其特征在于，时域相似度A设定的条件为：A≥0.9；频域相似度B设定的条件为：B≥0.9。
3.根据权利要求1所述的识别装置，其特征在于，时域特征Y包括均值Y1，平均幅值Y2，方差Y3，均方根Y4，峰峰值Y5，波形因子Y6，峭度因子Y7，偏斜度因子Y8。
4.根据权利要求1所述的识别装置，其特征在于，频域特征S包括频谱平均振幅S1，频谱方差S2，第一频谱特征频率S3和第二频谱特征频率S4。
5.一种眨眼控制的控制装置，其特征在于，包括：
石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；
信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征
Figure FDA0002677603110000013
的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征
Figure FDA0002677603110000014
的欧几里德距离与1之和的倒数；
识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼；
控制模块，根据识别模块判断的控制眨眼，激发对应的眨眼控制命令。
6.一种眨眼控制的识别方法，其特征在于，包括：
通过石墨烯传感器获取眨眼控制时的石墨烯阻值变化电信号；
提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征
Figure FDA0002677603110000021
的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征
Figure FDA0002677603110000022
的欧几里德距离与1之和的倒数；
根据时域相似度A和频域相似度B，判断眨眼是否为控制眨眼。
7.根据权利要求6所述的识别方法，其特征在于，判断眨眼是否为控制眨眼的条件为：时域相似度A≥0.9；频域相似度B≥0.9。
8.一种眨眼控制的控制方法，其特征在于，包括：
通过石墨烯传感器获取眨眼控制时的石墨烯阻值变化电信号；
提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征
Figure FDA0002677603110000023
的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征
Figure FDA0002677603110000024
的欧几里德距离与1之和的倒数；
根据时域相似度A和频域相似度B，判断眨眼是否为控制眨眼；
检测首次控制眨眼信号并在设定的时间内识别控制眨眼的次数；
根据确定的控制眨眼的次数，激发对应的眨眼控制命令。
9.根据权利要求8所述的控制方法，其特征在于，判断眨眼是否为控制眨眼的条件为：时域相似度A≥0.9；频域相似度B≥0.9。
10.根据权利要求8所述的控制方法，其特征在于，所述眨眼控制命令包括p次眨眼控制命令，其中p＝1,2,3…，P，每个眨眼命令代表不同的眨眼控制命令。
CN202010952855.XA 2020-09-11 2020-09-11 眨眼识别装置、控制装置、识别方法及控制方法 Active CN112181137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010952855.XA CN112181137B (zh) 2020-09-11 2020-09-11 眨眼识别装置、控制装置、识别方法及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010952855.XA CN112181137B (zh) 2020-09-11 2020-09-11 眨眼识别装置、控制装置、识别方法及控制方法

Publications (2)

Publication Number Publication Date
CN112181137A true CN112181137A (zh) 2021-01-05
CN112181137B CN112181137B (zh) 2024-05-03

Family

ID=73921800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010952855.XA Active CN112181137B (zh) 2020-09-11 2020-09-11 眨眼识别装置、控制装置、识别方法及控制方法

Country Status (1)

Country Link
CN (1) CN112181137B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699230A (zh) * 2014-01-14 2014-04-02 东南大学 一种基于图标脑电控制的数字界面交互方法
CN104068850A (zh) * 2014-06-03 2014-10-01 广州中国科学院先进技术研究所 基于fpga的脑电眼电信号分析方法和系统
CN104142583A (zh) * 2014-07-18 2014-11-12 广州市香港科大霍英东研究院 一种具有眨眼检测功能的智能眼镜及实现方法
CN106408876A (zh) * 2016-09-20 2017-02-15 浙江理工大学 一种基于柔性电子皮肤的疲劳驾驶监测系统及监测方法
CN106970124A (zh) * 2017-02-24 2017-07-21 浙江大学 一种基于移动终端的用于生化检测的nfc标签传感器系统及其应用
CN107346447A (zh) * 2017-09-05 2017-11-14 北京石墨烯研究院 Nfc/rfid智能标签及其制造方法和应用
CN108693660A (zh) * 2017-11-07 2018-10-23 纳智源科技（唐山）有限责任公司 一种智能眼镜
CN209951222U (zh) * 2018-12-24 2020-01-17 深圳和而泰数据资源与云技术有限公司 眨眼监测器和眼戴设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699230A (zh) * 2014-01-14 2014-04-02 东南大学 一种基于图标脑电控制的数字界面交互方法
CN104068850A (zh) * 2014-06-03 2014-10-01 广州中国科学院先进技术研究所 基于fpga的脑电眼电信号分析方法和系统
CN104142583A (zh) * 2014-07-18 2014-11-12 广州市香港科大霍英东研究院 一种具有眨眼检测功能的智能眼镜及实现方法
CN106408876A (zh) * 2016-09-20 2017-02-15 浙江理工大学 一种基于柔性电子皮肤的疲劳驾驶监测系统及监测方法
CN106970124A (zh) * 2017-02-24 2017-07-21 浙江大学 一种基于移动终端的用于生化检测的nfc标签传感器系统及其应用
CN107346447A (zh) * 2017-09-05 2017-11-14 北京石墨烯研究院 Nfc/rfid智能标签及其制造方法和应用
CN108693660A (zh) * 2017-11-07 2018-10-23 纳智源科技（唐山）有限责任公司 一种智能眼镜
CN209951222U (zh) * 2018-12-24 2020-01-17 深圳和而泰数据资源与云技术有限公司 眨眼监测器和眼戴设备

Also Published As

Publication number Publication date
CN112181137B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN107979985B (zh) 一种车载健康安全驾驶辅助装置
EP2698112B1 (en) Real-time stress determination of an individual
US10952680B2 (en) Electroencephalogram bioamplifier
CN110737201B (zh) 一种监护方法、装置、存储介质及空调
CN111062021B (zh) 一种基于可穿戴设备进行身份认证的方法及装置
EP3187967B1 (en) Terminal control method and system
CN104274191A (zh) 一种心理测评方法及其系统
US20220051039A1 (en) Biometric identification using electroencephalogram (eeg) signals
CN107480716A (zh) 一种结合eog和视频的扫视信号识别方法及系统
CN111724896B (zh) 一种基于多刺激图片或视频erp的毒瘾评估系统
CN108958482A (zh) 一种基于卷积神经网络的相似性动作识别装置及方法
CN111627555B (zh) 一种基于深度学习的智能检查诊断系统
CN109840451A (zh) 一种基于心电身份识别的智能支付可穿戴环及其支付方法
CN108962379B (zh) 一种脑神经系统疾病的手机辅助检测系统
CN109567832A (zh) 一种基于智能手环的检测愤怒驾驶状态的方法及系统
CN107480635B (zh) 一种基于双模态分类模型融合的扫视信号识别方法及系统
CN106446822B (zh) 基于圆拟合的眨眼检测方法
CN110464369A (zh) 一种基于人体体征数值的精神状态判断算法
CN112057090B (zh) 基于体表极低频电势差特征的情绪判断穿戴式设备和方法
CN116631063B (zh) 基于用药行为识别的老人智能看护方法、装置及设备
CN112181137A (zh) 眨眼识别装置、控制装置、识别方法及控制方法
CN115553779A (zh) 一种情绪识别方法、装置、电子设备及存储介质
CN112137622B (zh) 一种有意识眨眼和无意识眨眼的判断方法及装置
CN106384096B (zh) 一种基于眨眼检测的疲劳驾驶监测方法
CN107736889B (zh) 一种人体协调性检测装置的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant