CN112181137B - 眨眼识别装置、控制装置、识别方法及控制方法 - Google Patents
眨眼识别装置、控制装置、识别方法及控制方法 Download PDFInfo
- Publication number
- CN112181137B CN112181137B CN202010952855.XA CN202010952855A CN112181137B CN 112181137 B CN112181137 B CN 112181137B CN 202010952855 A CN202010952855 A CN 202010952855A CN 112181137 B CN112181137 B CN 112181137B
- Authority
- CN
- China
- Prior art keywords
- blink
- time domain
- frequency domain
- electric signal
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims abstract description 174
- 229910021389 graphene Inorganic materials 0.000 claims abstract description 174
- 230000008859 change Effects 0.000 claims abstract description 140
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000004397 blinking Effects 0.000 claims abstract description 22
- 210000003205 muscle Anatomy 0.000 claims abstract description 7
- 230000003595 spectral effect Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 14
- 238000002759 z-score normalization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008602 contraction Effects 0.000 abstract description 5
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 description 20
- 239000011521 glass Substances 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 239000003990 capacitor Substances 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100001678 Emericella variicolor andM gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R27/00—Arrangements for measuring resistance, reactance, impedance, or electric characteristics derived therefrom
- G01R27/02—Measuring real or complex resistance, reactance, impedance, or other two-pole characteristics derived therefrom, e.g. time constant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种眨眼识别装置、控制装置、识别方法及控制方法，其中眨眼控制的识别装置包括：石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B；识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼。本发明通过石墨烯柔性传感器将眨眼时眼轮匝肌的收缩信号转化为石墨烯阻值变化电信号，通过提取人眨眼控制时石墨烯阻值变化电信号的时域特征和频域特征，和先前建立的个人眨眼数据特征库比对，从而实现控制命令。相较于基于图像分析的眨眼控制方法，该方法具有较高的准确性和可靠性。
Description
技术领域
本发明涉及一种基于石墨烯传感器和射频技术的眨眼控制方法，采用柔性石墨烯应力传感器和RFID无芯片标签技术对眨眼信号进行读取和传输，通过信号的模式识别实现对终端的控制。
背景技术
当前人类社会的交互方式发展趋向多样化，对电子设备和界面的交互方式越来越简单，但对于失去活动能力的残疾人而言其交互途径少之又少，利用眨眼来进行控制可以成为解决残疾人交互问题的方法之一，通过将不同的眨眼动作定义为对应的操作命令，实现通过眨眼进行人机交互。
当前眼球追踪控制系统中对人眼眨眼的检测方法主要是通过图像分析方法，通过摄像头所捕捉的实时人眼图像进行计算分析，来判断眨眼行为。这种方法受环境影响较大，例如光线影响，人头部与摄像头的空间位置的影响。
发明内容
本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种不受环境影响的具有较高准确率和可靠性的眨眼控制的识别装置、控制装置、识别方法及控制方法。
为解决上述技术问题，本发明采用的技术方案是：
一种眨眼控制的识别装置，其特征在于，包括：
石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；
信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征/>的欧几里德距离与1之和的倒数；
识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼。
时域相似度A设定的条件为：A≥0.9；频域相似度B设定的条件为：B≥0.9。
时域特征Y包括均值Y1，平均幅值Y2，方差Y3，均方根Y4，峰峰值Y5，波形因子Y6，峭度因子Y7，偏斜度因子Y8。
频域特征S包括频谱平均振幅S1，频谱方差S2，第一频谱特征频率S3和第二频谱特征频率S4。
一种眨眼控制的控制装置，其特征在于，包括：
石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；
信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征/>的欧几里德距离与1之和的倒数；
识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼；
控制模块，根据识别模块判断的控制眨眼，激发对应的眨眼控制命令。
一种眨眼控制的识别方法，其特征在于，包括：
通过石墨烯传感器获取眨眼控制时的石墨烯阻值变化电信号；
提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征/>的欧几里德距离与1之和的倒数；
根据时域相似度A和频域相似度B，判断眨眼是否为控制眨眼。
判断眨眼是否为控制眨眼的条件为：时域相似度A≥0.9；频域相似度B≥0.9。
一种眨眼控制的控制方法，其特征在于，包括：
通过石墨烯传感器获取眨眼控制时的石墨烯阻值变化电信号；
提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征/>的欧几里德距离与1之和的倒数；
根据时域相似度A和频域相似度B，判断眨眼是否为控制眨眼；
检测首次控制眨眼信号并在设定的时间内识别控制眨眼的次数；
根据确定的控制眨眼的次数，激发对应的眨眼控制命令。
判断眨眼是否为控制眨眼的条件为：时域相似度A≥0.9；频域相似度B≥0.9。
所述眨眼控制命令包括p次眨眼控制命令，其中p＝1，2，3...，P，每个眨眼命令代表不同的眨眼控制命令。
本发明将基于石墨烯柔性传感器和无芯片标签技术应用于眨眼控制，然后进行信号处理与模式识别，使终端能够识别用户的眨眼控制命令，完成用户希望的控制行为，终端可以是智能设备或计算机界面。
与现有技术相比，本发明的优点是：
本发明基于石墨烯柔性传感器和无源RFID标签技术，贴置眼周眼轮匝肌处，直接检测眨眼信号，因此不受光环境影响，暗光条件下也可检测，本检测方法对被试的姿势也没有任何要求，可以任意活动。石墨烯柔性传感器的特点为体积小，亲肤，轻薄，基于柔性基底的无源RFID标签也具有同样的特点，因此本发明使用方便，操作方法简单。
本发明通过石墨烯柔性传感器将眨眼时眼轮匝肌的收缩信号转化为石墨烯阻值变化电信号，通过提取人眨眼控制时石墨烯阻值变化电信号的时域特征和频域特征，和先前建立的个人眨眼数据特征库比对，从而实现控制命令。相较于基于图像分析的眨眼控制方法，该方法具有较高的准确性和可靠性。
附图说明
图1：基于石墨烯传感器和射频技术的眨眼控制方法流程图：
图2：一次眨眼命令的信号特征图；
图3：两次眨眼命令的信号特征图；
图4：三次眨眼命令的信号特征图；
图5：RFID标签模块；
图6：RFID标签模块与眼睛的位置图；
图7：眼镜结构图；
图8：步骤1.1中微处理器模块的连接示意图；
图9：步骤1.2和步骤2中微处理器模块的连接关系；
图10：单次眨眼实验任务过程示意图；
图11：眨眼控制终端小车的示意图。
具体实施方式
下面结合附图，对本发明作详细说明：
本发明眨眼识别或控制，是基于石墨烯传感器获取眨眼的工作，然后进行识别和控制的，控制流程如图1所示，具体如下：
步骤1、建立个人眨眼数据特征库：
用于获取被试者眨眼控制命令，主要包括RFID柔性标签、眼镜和终端设备的通信，确定眨眼时石墨烯形变的阈值，获取被试者眨眼控制时的石墨烯阻值变化电信号，原始信号离线分析，石墨烯阻值变化电信号时域和频域特征的提取，微处理器处理；
步骤2、实际任务过程中，被试者眨眼控制时石墨烯阻值变化电信号的时域和频域特征提取；
步骤3、相似度计算和激发对应眨眼控制命令。
本发明眨眼控制方法，通过贴在眼角下方的石墨烯传感器将被试者眨眼信号转化为石墨烯阻值变化电信号，通过射频技术将信号无线传输到眼镜中的微处理器模块进行处理，依据石墨烯阻值变化电信号的不同实现了眨眼控制的不同命令。
步骤1：建立个人眨眼数据特征库：
步骤1.1：确定眨眼时石墨烯形变的阈值。对被试者完成一次眨眼时的石墨烯阻值变化电信号进行采集，确定可识别为首次眨眼信号的阈值，该阈值用于步骤1.2中触发计时器。
采集系统为：RFID标签模块、阅读器模块和微处理器模块。
RFID标签模块的构成如图5所示，由石墨烯应力传感器、电容器、电感器和柔性基底组成，电容器和电感器印制在柔性基底FPC材料上与石墨烯应力传感器相连。石墨烯应力传感器为柔性应力传感器，可附着在皮肤上，随皮肤压缩和拉伸而不会对其造成不可挽回的破坏，石墨烯应力传感器用于探测眼轮匝肌的收缩信号，眼轮匝肌只在眨眼过程中的闭眼进行短暂的收缩并迅速恢复，石墨烯传感器在眼轮匝肌收缩时阻值迅速变大，形成与眨眼对应的阻值波动电信号，从而将眼轮匝肌的收缩信号转化为石墨烯阻值变化电信号，电容器和电感器用于和石墨烯传感器共同组成谐振电路，将石墨烯阻值变化电信号传送至阅读器模块中。阅读器模块和微处理器模块位于眼镜中，阅读器模块用于向RFID标签模块发射电磁波，并接收反射回来的石墨烯阻值变化电信号。微处理器模块的构成如图8所示，包含信号存储器、信号处理器、峰值检测器、排序器和阈值检测器，存储器用于对采集到的石墨烯阻值变化电信号进行存储，信号处理器用于对石墨烯阻值变化电信号进行处理和转换，峰值检测器用于检测石墨烯电阻值的峰值，排序器用于对检测到的石墨烯电阻值的峰值进行从小到大的排序，阈值检测器用于储存步骤1.1中可识别为首次眨眼信号的阈值和检测步骤1.2中首次眨眼信号的阈值。
一次眨眼时的石墨烯阻值变化电信号的采集过程为：将RFID标签模块贴置在被试者眼角下方(见图6)并使被试者佩戴好眼镜，要求被试者对测试图像进行重复200次的单次眨眼实验任务，石墨烯传感器采集200次实验任务中原始石墨烯阻值变化过程的电信号F(t″)，单次眨眼任务所记录的石墨烯阻值变化电信号总时长为5s，F(t″)为石墨烯阻值变化电信号表达通式，F(t″)的单位为欧姆，t″为采样时间点且t″的单位为ms，n为采样率，q为石墨烯电阻变化电信号的采样个数且q为[1，5n]区间上的整数。
单次的眨眼实验任务为：测试图像呈现于1920px*1280px的电脑屏幕上，测试图像的呈现包括提示阶段、眨眼图片呈现阶段以及空屏阶段，在提示阶段，电脑屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，此阶段用于提醒被试注意；在眨眼图片呈现阶段，屏幕中央呈现面积为800px*400px的“眨眼一次”字样，呈现时间为5s，此阶段被试者完成一次眨眼的任务；在空屏阶段，屏幕呈现白色空屏，呈现时间为1000ms，此阶段用于消除被试者的视觉残留。
确定可识别为首次眨眼信号的阈值的过程为：微处理器模块中的峰值检测器对200次实验任务中单次眨眼信号F(t″)分别提取5s内的最大峰值Fm，共得到200个Fm，将200个Fm输入到排序器中按照阻值大小进行从小到大的排序，得到最小值Fmin，定义Fmin的0.9倍为首次眨眼信号的阈值，将阈值输入到阈值检测器中进行储存，并应用于步骤1.2中判断首次眨眼信号。
步骤1.2对被试者三种眨眼控制命令所对应的石墨烯阻值变化电信号进行采集。
信号采集系统为：RFID标签模块、眼镜模块，RFID标签模块由柔性石墨烯应力传感器、电容器、电感器和柔性基底组成，用于采集被试者眨眼信息并传输到阅读器模块中。眼镜模块的构成如图7所示，包含阅读器模块、微处理器模块、计时器模块和蓝牙发射器模块，阅读器模块用于向贴置眼角下方的RFID标签发射电磁波并接收反射回来的石墨烯阻值变化电信号，微处理器模块的构成如图9所示，包含信号存储器、信号处理器、峰值检测器、排序器和阈值检测器，微处理器模块与计时器模块、阅读器模块、蓝牙发射模块相连，信号存储器用于对所采集的石墨烯阻值变化电信号进行存储，信号处理器用于对石墨烯阻值变化电信号进行处理和转换，阈值检测器用于检测首次眨眼信号并传输阈值信号给计时器。计时器模块包含震动器、计时器、声音报警器，震动器用于在接收到阈值检测器传输过来的阈值信号时开启震动且震动时间为1s、计时器用于计时5s、声音报警器用于在计时结束时进行音标提示且提示时间为1s，当计时器接收到微处理器中阈值检测器发射来的第一个阈值信号时，计时器开始计时，同时震动器震动提示，5s后声音报警器采用30分贝耳标提示，在5s的计时过程中，当阈值检测器再次发射阈值信号给计时器时，计时器不重复归零计时，直至5s结束。蓝牙发射模块用于将控制命令信号发射至终端设备。
三种眨眼控制命令的石墨烯阻值变化电信号采集过程为：将RFID标签模块贴置在被试者眼角下方，并使被试者佩戴好眼镜，要求被试者分别进行“眨眼一次”控制命令实验，“眨眼两次”控制命令实验和“眨眼三次”控制命令实验。“眨眼一次”控制命令实验为：要求被试者佩戴好RFID标签和眼镜后，进行一次眨眼，触发计时器计时5s，计时器停止后间隔1s再进行一次眨眼，重复上述步骤，使被试者进行100次“眨眼一次”控制命令。“眨眼两次”控制命令实验为：要求被试者佩戴好RFID标签和眼镜后，进行连续的两次眨眼，两次眨眼中的首次眨眼触发计时器计时5s，被试者的连续两次眨眼需要在所计时的5s内完成，计时器停止后间隔1s再次进行连续的两次眨眼，重复上述步骤，使被试者进行100次“眨眼两次”控制命令。“眨眼三次”控制命令实验为：要求被试者佩戴好RFID标签和眼镜后，进行连续的三次眨眼，三次眨眼中的首次眨眼触发计时器计时5s，被试者的连续三次眨眼需要在所计时的5s内完成，计时器停止后间隔1s再次进行连续的三次眨眼，重复上述步骤，使被试者进行100次“眨眼三次”控制命令。4次及以上眨眼控制的操作原理类同，本发明方案不做描述。石墨烯传感器分别采集到三种眨眼控制命令所对应的100段5s内石墨烯阻值变化电信号，每种操作命令的100个测试样本组成一个群组。
步骤1.3：对原始石墨烯阻值变化电信号离线分析，离线分析包括对各原始石墨烯阻值变化电信号进各群组叠加平均，获取各眨眼控制命令的群组平均石墨烯阻值变化电信号为眨眼控制命令的群组平均电信号的表达通式，表示眨眼i次所对应的眨眼控制命令的群组平均电信号。i为数字1、2、3，分别指一次眨眼、两次眨眼、三次眨眼。离线分析在信号处理器完成，其中一次眨眼、两次眨眼、三次眨眼信号如图2、3、4所示。
群组叠加平均是分别对三种眨眼控制命令的100次测试所得的原始石墨烯阻值变化电信号yi(t)进行叠加平均得到i次眨眼控制原始电信号yi(t)，t为采样时间点且t的单位为ms，n为采样率，m为石墨烯电阻变化电信号的采样个数且m为[1，5n]区间上的整数。
步骤1.4对每种操作命令的群组平均电信号进行时域和频域特征的提取，时域特征/>包括均值/>平均幅值/>方差/>均方根/>峰峰值/>波形因子/>峭度因子/>偏斜度因子/>频域特征/>包括频谱平均振幅/>频谱方差/>第一频谱特征频率/>和第二频谱特征频率/>
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的时域特征中的均值/>为：
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的时域特征中的平均幅值/>为：
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的时域特征中的方差/>为：
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的时域特征中的均方根/>为：
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的时域特征中的峰峰值/>为：
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的时域特征中的波形因子/>为：
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的时域特征中的峭度因子/>为：
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的时域特征中的偏斜度因子/>为：
对眨眼i次所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征的提取方法如下：
分别对眨眼i次所对应眨眼控制命令的群组平均石墨烯阻值变化电信号进行傅立叶变换，得到如下/>的频谱函数/>
其中-i代表复数单位，t为采样时间点且m为石墨烯电阻变化电信号的采样个数且m为[1，5n]区间上的整数，n是采样率，k代表谱线数且为[1，5n]区间上的整数。
然后，对i次眨眼所对应眨眼控制命令的群组平均石墨烯电阻变化电信号频域特征指标提取如下：
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征中频谱平均振幅/>
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征中频谱方差/>
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征中第一频谱特征频率Si3
i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征中第二频谱特征频率/>
以上式子中fk均为第k条频谱线的频率值，fk的计算公式为其中Fs为采样频率，k代表谱线数且为[1，5n]区间上的整数。
步骤1.5：将已提取的三种命令的平均电信号的时域特征值和频域特征值送入微处理器模块处理，并在微处理器模块中建立被试者的个人眨眼数据特征库，个人眨眼数据特征库与蓝牙发射模块相连。
步骤2：实际任务中被试者眨眼控制时石墨烯阻值变化电信号的时域和频域特征提取：
步骤2.1：实际任务中被试者眨眼控制时石墨烯阻值变化电信号的采集：
实际任务中的石墨烯阻值变化电信号的采集系统为：RFID标签模块和眼镜模块，RFID标签模块由石墨烯应力传感器、电容器、电感器和柔性基底组成，用于在实际任务中采集被试者眨眼信息并传输到眼镜模块中。眼镜模块包含阅读器模块、微处理器模块、计时器模块和蓝牙发射器模块，阅读器模块用于向贴置眼角下方的RFID标签发射电磁波并接收反射回来的石墨烯阻值变化电信号，微处理器模块包含信号存储器、信号处理器、峰值检测器、排序器和阈值检测器，与计时器模块、阅读器模块、蓝牙发射模块相连，信号存储器用于对实际任务中所采集的石墨烯阻值变化电信号进行存储，信号处理器用于对实际任务中石墨烯阻值变化电信号进行处理和转换，阈值检测器用于检测首次眨眼信号并传输阈值信号给计时器。计时器模块包含震动器、计时器、声音报警器，震动器用于在接收到阈值检测器传输过来的阈值信号时开启震动且震动时间为1s、计时器用于计时5s、声音报警器用于在计时结束时进行音标提示且提示时间为1s，当计时器接收到微处理器中阈值检测器发射来的第一个阈值信号时，计时器开始计时，同时震动器震动提示，5s后声音报警器采用30分贝耳标提示，在5s的计时过程中，当阈值检测器再次发射阈值信号给计时器时，计时器不重复归零计时，直至5s结束。所述蓝牙发射模块于将控制命令信号发射至终端设备。
实际任务中的石墨烯阻值变化电信号的采集过程为：将RFID标签模块贴置在被试者眼角下方，并使被试者佩戴好眼镜，要求被试者开始对终端进行眨眼控制操作。被试者首次眨眼触发眼镜中计时器开始计时，计时器计时5秒为一次眨眼控制命令的时长，被试者在计时器开启的5s内完成眨眼控制操作，微处理器模块记录5s内的石墨烯阻值变化电信号y′(t′)，y′(t′)为实际任务中眨眼控制时5秒内的石墨烯阻值变化电信号的表达通式，t′为实际任务中眨眼控制的采样时间点且t′的单位为ms，n为采样率，p为实际任务中眨眼控制时石墨烯阻值变化电信号的采样个数且p为[1，5n]区间上的整数。
步骤2.2：实际任务中石墨烯阻值变化电信号的时域和频域特征提取：
对实际任务中石墨烯阻值变化电信号y′(t′)进行时域特征Y和频域特征S的提取。时域特征Y包括均值Y1，平均幅值Y2，方差Y3，均方根Y4，峰峰值Y5，波形因子Y6，峭度因子Y7，偏斜度因子Y8。频域特征S包括频谱平均振幅S1，频谱方差S2，第一频谱特征频率S3和第二频谱特征频率S4。
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的均值Y1为：
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的平均幅值Y2为：
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的方差Y3为：
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的均方根Y4为：
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的峰峰值Y5为：
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的波形因子Y6为：
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的峭度因子Y7为：
实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的偏斜度因子Y8为：
以上八个式子中所述的y′(t′)为被试者实际任务中眨眼控制时的石墨烯阻值变化电信号的表达通式，t′为进行眨眼控制时采样时间点且n为采样率，p为眨眼控制时石墨烯阻值变化电信号的采样个数且p为[1，5n]区间上的整数。
对被试者实际任务中的石墨烯阻值变化电信号y′(t′)的频域特征的提取方法如下：
首先对被试者实际任务中的石墨烯阻值变化电信号y′(t′)进行傅立叶变换，得到如下y′(t′)的频谱函数S(k′)：
其中-i代表复数单位，t′为采样时间点且p为石墨烯电阻变化电信号的采样个数且p为[1，5n]区间上的整数，n是采样率，k′代表谱线数且为[1，5n]区间上的整数。
对石墨烯电阻变化电信号频域特征指标S提取如下：
实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中频谱平均振幅S1
实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中频谱方差S2
实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中第一频谱特征频率S3
实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中第二频谱特征频率S4
以上式子中f′k′均为第k′条频谱线的频率值，f′k′的计算公式为其中Fs为采样频率，k′代表谱线数且为[1，5n]区间上的整数。
步骤3：相似度计算和激发对应眨眼控制命令：
计算实际任务中石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的三种眨眼控制命令所对应的石墨烯阻值变化电信号的时域特征的时域相似度Ai，i＝1，2，3，分别对应一次眨眼，两次眨眼和三次眨眼。再计算实际任务中石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中的三种眨眼控制命令所对应的石墨烯阻值变化电信号的频域特征/>的频域相似度Bi，i＝1，2，3，分别对应一次眨眼，两次眨眼和三次眨眼。若时域相似度Ai及频域相似度Bi同时满足大于0.9的条件，则激发对应的眨眼控制命令，即眨眼i次所对应的眨眼控制命令，通过蓝牙发射模块将控制信号传输到终端的蓝牙接收模块，实现对终端设备的控制。
以终端为玩具小车为例，如图11所示，小车内包含蓝牙接收模块，驱动模块和电池模块，定义三种眨眼控制命令对应三种操控方式，“眨眼一次”为前进，“眨眼两次”为后退，“眨眼三次”为停止。针对不同的终端，可自行定义三种眨眼控制命令的对应操作，在这不做具体描述。
步骤3中被试者在实际任务中进行眨眼操作时石墨烯阻值变化电信号与先前所建立的个人眨眼数据特征库中的电信号的时域相似度Ai的计算过程如下：
对眨眼控制命令所对应电信号的时域特征值进行z-score标准化处理得到/>
为个人眨眼数据特征库中i次眨眼所对应控制命令的石墨烯阻值变化电信号的第j个时域特征值，j为[1，8]之间的整数。
μi为眨眼i次所对应控制命令的时域特征值的总体平均值：
δi为眨眼i次所对应控制命令的时域特征值的总体标准差：
对实际任务中的电信号的时域特征值Yj进行z-score标准化处理得到Yj′：
Yj为实际任务中的电信号的第j个时域特征值，j为[1，8]之间的整数。
μ为实际任务中的电信号的时域特征值的总体平均值：
δ为实际任务中的电信号的时域特征值的总体标准差：
时域相似度Ai：
Ai表示实际任务中电信号的时域特征与眨眼i次所对应控制命令的时域特征的相似度，
步骤3中被试者在实际任务中进行眨眼操作时石墨烯阻值变化电信号与先前所建立的个人眨眼数据特征库中的电信号的频域相似度Bi的计算过程如下：
对眨眼控制命令所对应电信号的频域特征值进行z-score标准化处理得到/>
为个人眨眼数据特征库中i次眨眼所对应控制命令的石墨烯阻值变化电信号的第l个频域特征值，l为[1，4]之间的整数。
σi为眨眼i次所对应控制命令的频域特征值的总体平均值：
ωi为眨眼i次所对应控制命令的频域特征值的总体标准差：
对实际任务中的电信号的频域特征值Sl进行z-score标准化处理得到Sl′：
Sl为实际任务中的电信号的第l个频域特征值，l为[1，4]之间的整数。
σ为实际任务中的电信号的频域特征值的总体平均值：
ω为实际任务中的电信号的频域特征值的总体标准差：
频域相似度Bi：
Bi表示实际任务中电信号的频域特征与眨眼i次所对应控制命令的频域特征的相似度。
Claims (8)
1.一种眨眼控制的识别装置，其特征在于，包括：
石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；
信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度Ai和频域相似度Bi，其中时域相似度Ai为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征的欧几里德距离与1之和的倒数；频域相似度Bi为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征/>的欧几里德距离与1之和的倒数；
识别模块，若时域相似度Ai及频域相似度Bi同时满足设定的条件，则判断眨眼为控制眨眼；
时域特征Y包括均值Y1、平均幅值Y2、方差Y3、均方根Y4、峰峰值Y5、波形因子Y6、峭度因子Y7及偏斜度因子Y8；频域特征S包括频谱平均振幅S1，频谱方差S2，第一频谱特征频率S3和第二频谱特征频率S4；
时域相似度Ai的计算过程如下：
对眨眼控制命令所对应电信号的时域特征值进行z-score标准化处理得到/>
为个人眨眼数据特征库中i次眨眼所对应控制命令的石墨烯阻值变化电信号的第j个时域特征值，j为[1,8]之间的整数；μi为眨眼i次所对应控制命令的时域特征值的总体平均值；δi为眨眼i次所对应控制命令的时域特征值的总体标准差：
对实际任务中的电信号的时域特征值Yj进行z-score标准化处理得到Yj′：
Yj为实际任务中的电信号的第j个时域特征值，j为[1,8]之间的整数；μ为实际任务中的电信号的时域特征值的总体平均值；δ为实际任务中的电信号的时域特征值的总体标准差；
时域相似度Ai：
Ai表示实际任务中电信号的时域特征与眨眼i次所对应控制命令的时域特征的相似度，
频域相似度Bi的计算过程如下：
对眨眼控制命令所对应电信号的频域特征值进行z-score标准化处理得到/>
为个人眨眼数据特征库中i次眨眼所对应控制命令的石墨烯阻值变化电信号的第l个频域特征值，l为[1,4]之间的整数；σi为眨眼i次所对应控制命令的频域特征值的总体平均值：ωi为眨眼i次所对应控制命令的频域特征值的总体标准差：
对实际任务中的电信号的频域特征值Sl进行z-score标准化处理得到Sl ′：
Sl为实际任务中的电信号的第l个频域特征值；σ为实际任务中的电信号的频域特征值的总体平均值；ω为实际任务中的电信号的频域特征值的总体标准差：
频域相似度Bi：
Bi表示实际任务中电信号的频域特征与眨眼i次所对应控制命令的频域特征的相似度。
2.根据权利要求1所述的识别装置，其特征在于，时域相似度A设定的条件为：A≥0.9；频域相似度B设定的条件为：B≥0.9。
3.一种眨眼控制的控制装置，其特征在于，包括：
石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；
信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征/>的欧几里德距离与1之和的倒数；
识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼；
控制模块，根据识别模块判断的控制眨眼，激发对应的眨眼控制命令；
时域特征Y包括均值Y1、平均幅值Y2、方差Y3、均方根Y4、峰峰值Y5、波形因子Y6、峭度因子Y7及偏斜度因子Y8；频域特征S包括频谱平均振幅S1，频谱方差S2，第一频谱特征频率S3和第二频谱特征频率S4；
时域相似度Ai的计算过程如下：
对眨眼控制命令所对应电信号的时域特征值进行z-score标准化处理得到/>
为个人眨眼数据特征库中i次眨眼所对应控制命令的石墨烯阻值变化电信号的第j个时域特征值，j为[1,8]之间的整数；μi为眨眼i次所对应控制命令的时域特征值的总体平均值；δi为眨眼i次所对应控制命令的时域特征值的总体标准差：
对实际任务中的电信号的时域特征值Yj进行z-score标准化处理得到Yj′：
Yj为实际任务中的电信号的第j个时域特征值，j为[1,8]之间的整数；μ为实际任务中的电信号的时域特征值的总体平均值；δ为实际任务中的电信号的时域特征值的总体标准差；
时域相似度Ai：
Ai表示实际任务中电信号的时域特征与眨眼i次所对应控制命令的时域特征的相似度，
频域相似度Bi的计算过程如下：
对眨眼控制命令所对应电信号的频域特征值进行z-score标准化处理得到/>
为个人眨眼数据特征库中i次眨眼所对应控制命令的石墨烯阻值变化电信号的第l个频域特征值，l为[1,4]之间的整数；σi为眨眼i次所对应控制命令的频域特征值的总体平均值：ωi为眨眼i次所对应控制命令的频域特征值的总体标准差：
对实际任务中的电信号的频域特征值Sl进行z-score标准化处理得到Sl ′：
Sl为实际任务中的电信号的第l个频域特征值；σ为实际任务中的电信号的频域特征值的总体平均值；ω为实际任务中的电信号的频域特征值的总体标准差：
频域相似度Bi：
Bi表示实际任务中电信号的频域特征与眨眼i次所对应控制命令的频域特征的相似度。
4.一种基于权利要求1或2所述眨眼控制的识别装置的识别方法，其特征在于，包括：
通过石墨烯传感器获取眨眼控制时的石墨烯阻值变化电信号；
提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征/>的欧几里德距离与1之和的倒数；
根据时域相似度A和频域相似度B，判断眨眼是否为控制眨眼。
5.根据权利要求4所述的识别方法，其特征在于，判断眨眼是否为控制眨眼的条件为：时域相似度A≥0.9；频域相似度B≥0.9。
6.一种基于权利要求3所述眨眼控制的控制装置的控制方法，其特征在于，包括：
通过石墨烯传感器获取眨眼控制时的石墨烯阻值变化电信号；
提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征的欧几里德距离与1之和的倒数；频域相似度B为信号处理模块提取的石墨烯阻值变化电信号的频域特征S与被试眨眼数据特征库中石墨烯阻值变化电信号的频域特征/>的欧几里德距离与1之和的倒数；
根据时域相似度A和频域相似度B，判断眨眼是否为控制眨眼；
检测首次控制眨眼信号并在设定的时间内识别控制眨眼的次数；
根据确定的控制眨眼的次数，激发对应的眨眼控制命令。
7.根据权利要求6所述的控制方法，其特征在于，判断眨眼是否为控制眨眼的条件为：时域相似度A≥0.9；频域相似度B≥0.9。
8.根据权利要求6所述的控制方法，其特征在于，所述眨眼控制命令包括p次眨眼控制命令，其中p＝1,2,3…，P，每个眨眼命令代表不同的眨眼控制命令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010952855.XA CN112181137B (zh) | 2020-09-11 | 2020-09-11 | 眨眼识别装置、控制装置、识别方法及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010952855.XA CN112181137B (zh) | 2020-09-11 | 2020-09-11 | 眨眼识别装置、控制装置、识别方法及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112181137A CN112181137A (zh) | 2021-01-05 |
| CN112181137B true CN112181137B (zh) | 2024-05-03 |
Family
ID=73921800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010952855.XA Active CN112181137B (zh) | 2020-09-11 | 2020-09-11 | 眨眼识别装置、控制装置、识别方法及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112181137B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699230A (zh) * | 2014-01-14 | 2014-04-02 | 东南大学 | 一种基于图标脑电控制的数字界面交互方法 |
| CN104068850A (zh) * | 2014-06-03 | 2014-10-01 | 广州中国科学院先进技术研究所 | 基于fpga的脑电眼电信号分析方法和系统 |
| CN104142583A (zh) * | 2014-07-18 | 2014-11-12 | 广州市香港科大霍英东研究院 | 一种具有眨眼检测功能的智能眼镜及实现方法 |
| CN106408876A (zh) * | 2016-09-20 | 2017-02-15 | 浙江理工大学 | 一种基于柔性电子皮肤的疲劳驾驶监测系统及监测方法 |
| CN106970124A (zh) * | 2017-02-24 | 2017-07-21 | 浙江大学 | 一种基于移动终端的用于生化检测的nfc标签传感器系统及其应用 |
| CN107346447A (zh) * | 2017-09-05 | 2017-11-14 | 北京石墨烯研究院 | Nfc/rfid智能标签及其制造方法和应用 |
| CN108693660A (zh) * | 2017-11-07 | 2018-10-23 | 纳智源科技（唐山）有限责任公司 | 一种智能眼镜 |
| CN209951222U (zh) * | 2018-12-24 | 2020-01-17 | 深圳和而泰数据资源与云技术有限公司 | 眨眼监测器和眼戴设备 |
-
2020
- 2020-09-11 CN CN202010952855.XA patent/CN112181137B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699230A (zh) * | 2014-01-14 | 2014-04-02 | 东南大学 | 一种基于图标脑电控制的数字界面交互方法 |
| CN104068850A (zh) * | 2014-06-03 | 2014-10-01 | 广州中国科学院先进技术研究所 | 基于fpga的脑电眼电信号分析方法和系统 |
| CN104142583A (zh) * | 2014-07-18 | 2014-11-12 | 广州市香港科大霍英东研究院 | 一种具有眨眼检测功能的智能眼镜及实现方法 |
| CN106408876A (zh) * | 2016-09-20 | 2017-02-15 | 浙江理工大学 | 一种基于柔性电子皮肤的疲劳驾驶监测系统及监测方法 |
| CN106970124A (zh) * | 2017-02-24 | 2017-07-21 | 浙江大学 | 一种基于移动终端的用于生化检测的nfc标签传感器系统及其应用 |
| CN107346447A (zh) * | 2017-09-05 | 2017-11-14 | 北京石墨烯研究院 | Nfc/rfid智能标签及其制造方法和应用 |
| CN108693660A (zh) * | 2017-11-07 | 2018-10-23 | 纳智源科技（唐山）有限责任公司 | 一种智能眼镜 |
| CN209951222U (zh) * | 2018-12-24 | 2020-01-17 | 深圳和而泰数据资源与云技术有限公司 | 眨眼监测器和眼戴设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112181137A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3241492B1 (en) | Heart rate detection method and device | |
| CN111887867A (zh) | 基于表情识别与心理学测试生成性格的分析方法及系统 | |
| CN107480716B (zh) | 一种结合eog和视频的扫视信号识别方法及系统 | |
| CN111062021B (zh) | 一种基于可穿戴设备进行身份认证的方法及装置 | |
| US20220051039A1 (en) | Biometric identification using electroencephalogram (eeg) signals | |
| CN110737201A (zh) | 一种监护方法、装置、存储介质及空调 | |
| CN108920699B (zh) | 一种基于N2pc的目标识别反馈系统及方法 | |
| CN111724896B (zh) | 一种基于多刺激图片或视频erp的毒瘾评估系统 | |
| CN107480635B (zh) | 一种基于双模态分类模型融合的扫视信号识别方法及系统 | |
| CN113143273A (zh) | 一种在线视频学习中学习者注意状态智能检测系统及方法 | |
| CN106446822B (zh) | 基于圆拟合的眨眼检测方法 | |
| CN104793743B (zh) | 一种虚拟社交系统及其控制方法 | |
| CN112181137B (zh) | 眨眼识别装置、控制装置、识别方法及控制方法 | |
| CN114519900A (zh) | 乘车方法、装置、电子设备及存储介质 | |
| CN110766057A (zh) | 一种手势识别装置及方法 | |
| CN116439802A (zh) | 一种掌式超声装置和成像方法 | |
| CN115553779A (zh) | 一种情绪识别方法、装置、电子设备及存储介质 | |
| Murukesh et al. | Drowsiness detection for drivers using computer vision | |
| CN112137622B (zh) | 一种有意识眨眼和无意识眨眼的判断方法及装置 | |
| CN112861607B (zh) | 一种远距离激光活体识别方法 | |
| CN208081225U (zh) | 应用于个人心理状态检测的潜在情绪智能分析系统 | |
| CN106384096B (zh) | 一种基于眨眼检测的疲劳驾驶监测方法 | |
| CN114764580A (zh) | 一种基于无穿戴设备的实时人体手势识别方法 | |
| CN109508089B (zh) | 一种基于层级随机森林的视线控制系统与方法 | |
| CN107736889B (zh) | 一种人体协调性检测装置的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |