CN113855019B - 基于eog、emg以及压电信号的表情识别方法和装置 - Google Patents
基于eog、emg以及压电信号的表情识别方法和装置 Download PDFInfo
- Publication number
- CN113855019B CN113855019B CN202110984277.2A CN202110984277A CN113855019B CN 113855019 B CN113855019 B CN 113855019B CN 202110984277 A CN202110984277 A CN 202110984277A CN 113855019 B CN113855019 B CN 113855019B
- Authority
- CN
- China
- Prior art keywords
- signal
- eog
- piezoelectric
- emg
- target electrode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000002595 magnetic resonance imaging Methods 0.000 title description 2
- 238000001514 detection method Methods 0.000 claims abstract description 138
- 230000033001 locomotion Effects 0.000 claims abstract description 49
- 238000001914 filtration Methods 0.000 claims description 91
- 230000009471 action Effects 0.000 claims description 71
- 238000012549 training Methods 0.000 claims description 51
- 238000000354 decomposition reaction Methods 0.000 claims description 50
- 210000003128 head Anatomy 0.000 claims description 36
- 230000001815 facial effect Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 210000001061 forehead Anatomy 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000004424 eye movement Effects 0.000 abstract description 3
- 238000002567 electromyography Methods 0.000 description 143
- 238000002570 electrooculography Methods 0.000 description 142
- 230000008921 facial expression Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000004350 Strabismus Diseases 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请涉及一种基于EOG、EMG以及压电信号的表情识别方法和装置，其中，该表情识别方法包括：获取在检测对象头部的目标电极位点采集到的电信号，从电信号中提取出目标电极位点的EOG信号和EMG信号；获取压电传感器采集到的第二电信号，从第二电信号中提取出压电信号；从EOG信号中提取对应的EOG时域信号，并输入眼部检测深度网络得到眼部动作，将从EMG信号中提取对应的EMG频域信号，和从压电信号中提取压电时域信号，共同输入面部检测深度网络得到面部区域动作，将眼部动作和面部区域动作进行组合，输出检测对象的表情类型。其基于设备自身目标电极位点对应的EOG信号、EMG信号和压电信号实现了对检测对象的表情类型的识别，从而扩大了表情识别技术的应用范围。
Description
技术领域
本申请涉及信号处理领域，特别是涉及基于EOG、EMG以及压电信号的表情识别方法和装置。
背景技术
由于面部表情包含了丰富的情绪和心理信息，表情识别技术在人机交互、智慧医疗、安防以及通信等领域有着重要的应用价值。目前的面部表情识别往往通过摄像头和计算机视觉系统来实现。例如。在VR领域中，往往通过VR设备内置和外置的摄像头来采集数据，并经由计算机视觉系统来完成面部表情的识别。这种集成摄像设备与计算机视觉系统的产品形态复杂，成本较高，从而不利推广，使得基于计算机视觉的面部表情识别的应用受限。
针对相关技术中存在基于计算机视觉的面部表情识别的应用受限的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种基于EOG、EMG以及压电信号的表情识别方法和装置，以解决相关技术中存在基于计算机视觉的面部表情识别的应用受限的问题。
第一个方面，在本实施例中提供了一种基于EOG、EMG以及压电信号的表情识别方法，包括：
获取在检测对象头部的目标电极位点采集到的第一电信号，从所述第一电信号中提取出所述目标电极位点的EOG信号和EMG信号；其中，所述目标电极位点包括位于所述检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于所述检测对象的眼部且相对于所述鼻翼对称设置的至少两个位点；
获取在所述检测对象头部的压电传感器采集到的第二电信号，从所述第二电信号中提取出压电信号；
从所述目标电极位点的EOG信号中提取对应的EOG时域信号，并将所述EOG时域信号输入训练完备的眼部检测深度网络，识别出所述EOG信号对应的眼部动作；
从所述目标电极位点的EMG信号中提取对应的EMG频域信号，从所述压电信号中提取对应的压电时域信号，将所述EMG频域信号和所述压电时域信号输入训练完备的面部检测深度网络，识别出所述EMG信号对应的面部区域动作；
将识别得到的所述眼部动作和所述面部区域动作进行组合，输出所述检测对象的表情类型。
在其中的一些实施例中，所述从所述第一电信号中提取出所述目标电极位点的EOG信号和EMG信号，包括：
将所述第一电信号输入第一带通滤波器得到所述目标电极位点的第一滤波信号，将所述第一电信号输入第二带通滤波器得到所述目标电极位点的第二滤波信号；其中，所述第一带通滤波器的通带频率低于所述第二带通滤波器的通带频率；
对所述第一滤波信号进行小波分解，并基于对应的第一阈值过滤策略进行小波系数过滤处理后，重构得到所述目标电极位点的EOG信号；
对所述第二滤波信号进行小波分解，并基于对应的第二阈值过滤策略进行小波系数过滤处理后，重构得到所述目标电极位点的EMG信号。
在其中的一些实施例中，所述对所述第一滤波信号进行小波分解，并基于对应的第一阈值过滤策略进行小波系数过滤处理后，重构得到所述目标电极位点的EOG信号，包括：
根据db4小波基对所述第一滤波信号进行6层小波分解，并基于Birge-Massart自适应策略对所述6层小波分解后的每层小波系数进行过滤后，重构得到所述目标电极位点的EOG信号；
所述对所述第二滤波信号进行小波分解，并基于对应的第二阈值过滤策略进行小波系数过滤处理后，重构得到所述目标电极位点的EMG信号，包括：
根据db4小波基对所述第二滤波信号进行6层小波分解，对所述6层小波分解后得到的CA6系数、CD6系数以及CD5系数置零，并将所述6层小波分解得到的CD4系数、CD3系数、CD2系数以及CD1系数中低于预设阈值的小波系数置零，重构得到所述目标电极位点的EMG信号。
在其中的一些实施例中，所述第二电信号为原始压电信号，所述获取在所述检测对象头部的压电传感器采集到的第二电信号，从所述第二电信号中提取出压电信号，包括：
获取设置于所述目标电极位点的压电传感器采集到的原始压电信号；其中，所述压电传感器重叠于所述目标电极位点上；
将所述原始压电信号输入第三带通滤波器，得到所述压电信号。
在其中的一些实施例中，所述从所述目标电极位点的EOG信号中提取对应的EOG时域信号，包括：
将所述目标电极位点的EOG信号的信号片段输入卷积层，得到所述目标电极位点对应的EOG时域信号。
在其中的一些实施例中，所述从所述目标电极位点的EMG信号中提取对应的EMG频域信号，包括：
对所述目标电极位点的EMG信号的信号片段进行傅里叶变换，得到所述目标电极位点对应的EMG频域信号。
在其中的一些实施例中，所述从所述压电信号中提取对应的压电时域信号，包括：
将所述压电信号的信号片段输入卷积层，得到所述压电时域信号。
在其中的一些实施例中，所述将所述EOG时域信号输入训练完备的眼部检测深度网络，识别出所述EOG信号对应的眼部动作，包括：
将所述EOG时域信号，输入预先根据眼部动作训练样本训练得到的眼部检测深度网络，识别出所述EOG信号对应的眼部动作，其中，所述眼部动作训练样本由预先确定的表情训练样本分解得到。
在其中的一些实施例中，所述将所述EMG频域信号和所述压电时域信号输入训练完备的面部检测深度网络，识别出所述EMG信号和所述压电信号对应的面部区域动作，包括：
将所述EMG频域信号，经过LSTM层后与所述压电时域信号共同输入预先根据面部区域动作训练样本训练得到的面部检测深度网络，识别出所述EMG信号对应的面部区域动作，其中，所述面部区域动作训练样本由预先确定的表情训练样本分解得到。
在其中的一些实施例中，所述目标电极位点还包括位于所述检测对象耳后，且相对于鼻翼对称设置的至少两个位点。
第二个方面，在本实施例中提供了一种基于EOG和EMG的表情识别装置，包括：第一采集模块、第二采集模块、第一提取模块、第二提取模块以及识别模块，其中：
所述第一采集模块，用于获取在检测对象头部的目标电极位点采集到的第一电信号，从所述第一电信号中提取出所述目标电极位点的EOG信号和EMG信号；其中，所述目标电极位点包括位于所述检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于所述检测对象的眼部且相对于所述鼻翼对称设置的至少两个位点；
所述第二采集模块，所述第二采集模块，用于获取在所述检测对象头部的压电传感器采集到的第二电信号，从所述第二电信号中提取出压电信号；
所述第一提取模块，用于从所述目标电极位点的EOG信号中提取对应的EOG时域信号，并将所述EOG时域信号输入训练完备的眼部检测深度网络，识别出所述EOG信号对应的眼部动作；
所述第二提取模块，用于从所述目标电极位点的EMG信号中提取对应的EMG频域信号，从所述压电信号中提取对应的压电时域信号，将所述EMG频域信号和所述压电时域信号输入训练完备的面部检测深度网络，识别出所述EMG信号和所述压电信号对应的面部区域动作；
所述识别模块，用于将识别得到的所述眼部动作和所述面部区域动作进行组合，输出所述检测对象的表情类型。
第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的基于EOG、EMG以及压电信号的表情识别方法。
第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的基于EOG、EMG以及压电信号的表情识别方法。
上述基于EOG、EMG以及压电信号的表情识别方法和装置，获取在检测对象头部的目标电极位点采集到的第一电信号，从第一电信号中提取出目标电极位点的EOG信号和EMG信号；其中，目标电极位点包括位于检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于检测对象的眼部且相对于鼻翼对称设置的至少两个位点，获取在检测对象头部的压电传感器采集到的第二电信号，从第二电信号中提取出压电信号，从目标电极位点的EOG信号中提取对应的EOG时域信号，并将EOG时域信号输入训练完备的眼部检测深度网络，识别出EOG信号对应的眼部动作，从目标电极位点的EMG信号中提取对应的EMG频域信号，从压电信号中提取对应的压电时域信号，将EMG频域信号和压电时域信号输入训练完备的面部检测深度网络，识别出EMG信号和压电信号对应的面部区域动作，将识别得到的眼部动作和面部区域动作进行组合，输出检测对象的表情类型。其实现了从检测对象的不同目标电极位点提取EOG信号和EMG信号，从压电传感器提取压电信号，能够在不借助摄像设备进行图像数据采集的前提下，基于设备自身采集的EOG信号、EMG信号以及压电信号实现对检测对象的表情类型的识别，从而扩大了表情识别技术的应用范围。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是相关技术的基于EOG、EMG以及压电信号的表情识别方法的终端的硬件结构框图；
图2是本实施例的基于EOG、EMG以及压电信号的表情识别方法的流程图；
图3是优选实施例的基于EOG、EMG以及压电信号的表情识别方法的流程图；
图4是本实施例的基于EOG、EMG以及压电信号的表情识别装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的基于EOG(electro-oculography，眼电信号)和EMG(electromyography，肌电信号)的表情识别方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的基于EOG和EMG的表情识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种基于EOG、EMG以及压电信号的表情识别方法，图2是本实施例的基于EOG、EMG以及压电信号的表情识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S210，获取在检测对象头部的目标电极位点采集到的第一电信号，从第一电信号中提取出目标电极位点的EOG信号和EMG信号；其中，目标电极位点包括位于检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于检测对象的眼部且相对于鼻翼对称设置的至少两个位点。
其中，该第一电信号为设置于检测对象头部的不同电极位点采集到的电信号，其中包含了该检测对象的面部区域动作和眼部动作的信息，因此可以通过提取该电信号中的EOG信号和EMG信号，作为分析该检测对象面部区域动作和眼部动作的基础数据。具体地，目标电极位点可以包括位于检测对象前额，相对于鼻翼对称设置的至少两个位点，以及位于检测对象眼部，且相对于鼻翼对称设置的至少两个位点。另外地，目标电极位点还可以包括位于检测对象头部其他区域的位点，例如检测对象双耳的耳后等区域。可以理解的是，目标电极位点的具体位置可以根据实际的应用场景进行调整和确定。
为了从位于检测对象头部不同区域的目标电极位点采集的第一电信号中提取出EOG信号和EMG信号，以进行后续面部的肌肉运动特征的计算，可以对该第一电信号进行对应的滤波、小波分解以及重构处理，获得设置于检测对象的前额、眼部以及其他面部区域的目标电极位点的EOG信号和EMG信号。具体地，可以为第一电信号设置不同参数的带通滤波器进行信号过滤，以提取出EOG信号和EMG信号。在分别将该第一电信号输入不同参数的带通滤波器，得到不同的滤波信号后，通过分别对不同的滤波信号进行相应的小波分解和重构处理，得到对应的EOG信号和EMG信号。其中，可以根据实际应用场景预先设置两种不同通带频率的带通滤波器。例如，带通滤波器A和带通滤波器B用于对第一电信号进行滤波，其中，带通滤波器A的通带频率相比带通滤波器B较低。将目标电极位点采集到的第一电信号输入带通滤波器A得到第一种滤波信号，将目标电极位点采集到的第一电信号输入带通滤波器B得到第二种滤波信号。通过对第一种滤波信号进行小波分解和重构得到EOG信号，通过对第二种滤波信号进行小波分解和重构得到EMG信号。其中，也可以基于EOG信号和EMG信号各自的特性，对小波分解后的第一种滤波信号和第二种滤波信号的小波系数进行对应的阈值过滤，在过滤后完成EOG信号和EMG信号的重构。
步骤S220，获取在检测对象头部的压电传感器采集到的第二电信号，从第二电信号中提取出压电信号。
具体地，压电传感器是将压力变化值转换为电信号，表征压力的变化，无需与检测对象头部的皮肤接触，因此可以将压电传感器设置于与检测对象头部接触的其他部件上，压电传感器通过与检测对象头部接触的其他部件，采集原始压电信号，将该原始压电信号作为第二电信号。优选地，可以将压电传感器重叠设置于目标电极位点上，也即，压电传感器通过目标电极位点采集检测对象的压电信号，从而避免增加产品形态的复杂度，节省生产成本。
进一步地，在压电传感器采集到第二电信号后，可以将该第二电信号输入带通滤波器进行滤波，滤除漂移和工频噪声，保留第二电信号的主要信息，得到滤波后的压电信号。该用于压电信号的带通滤波器的通带频率可以为0.1Hz至5Hz。
步骤S230，从目标电极位点的EOG信号中提取对应的EOG时域信号，并将EOG时域信号输入训练完备的眼部检测深度网络，识别出EOG信号对应的眼部动作。
在EOG信号的时域信号中包含了检测对象丰富的眼部动作信息，可以在提取到EOG信号后，对该EOG信号进行时域信号的提取。具体地，可以对EOG信号进行卷积处理，获得对应的EOG时域信号。另外地，眼部检测深度网络可以为预先利用眼部动作训练集训练得到的深度神经网络。眼部动作训练集中包含有预先设置好的不同眼部动作的标签，将EOG时域信号输入训练完备的眼部检测深度网络后，通过眼部检测深度网络对EOG时域信号进行分类处理，能够得到与眼部动作训练集中的标签对应的眼部动作。优选地，眼部动作训练集可以由预先确定的表情类别分解得到。例如，可以预先定义一种类别为“微笑”的表情，并将该表情进一步分解为“眯眼”的眼部动作。在通过眼部检测深度网络对EOG时域信号进行分析，识别得到“眯眼”的眼部动作后，可以结合后续其他深度网络检测到的其他分解动作，来确定检测对象的面部是否产生了“微笑”这一表情动作。
步骤S240，从目标电极位点的EMG信号中提取对应的EMG频域信号，从压电信号中提取对应的压电时域信号，将EMG频域信号和压电时域信号输入训练完备的面部检测深度网络，识别出EMG信号和压电信号对应的面部区域动作。
具体地，由于EMG信号在时域上属于非周期非平稳信号，包含的信息较少，在频域上相比时域上更易于分辨面部区域动作的信息，因此对EMG信号进行频域变换，以得到对应的EMG频域信号。具体地，该频域变换可以为傅里叶变换。另外地，压电信号的时域信号中包含了更多信息，因此可以将压电信号输入卷积层，进行卷积变换后得到压电时域信号。将EMG频域信号和压电时域信号共同输入面部检测深度网络中，可以提高面部检测深度网络进行面部区域动作识别的准确度。
另外，训练完备的面部检测深度网络可以由预先确定的面部区域动作训练集训练得到，其中，该面部区域动作训练集还包含了面部区域动作类别的标签。另外，根据面部区域的不同，还可以对应设置多个不同的面部检测深度网络，其中，每一个面部检测深度网络用于识别一个面部区域的面部区域动作。同样地，该面部区域动作训练集也可以由预先确定的表情类别分解得到。例如，可以将“微笑”这一表情分解得到的“两颊抬高”作为一种面部区域动作。
步骤S250，将识别得到的眼部动作和面部区域动作进行组合，输出检测对象的表情类型。
具体地，根据眼部检测深度网络识别得到的EOG信号对应的眼部动作，以及面部检测深度网络识别得到的EMG信号和压电信号对应的面部区域动作，来确定该检测对象的表情类型。例如，当眼部检测深度网络识别到检测对象进行了“眯眼”的眼部动作，并且面部检测深度网络识别到检测对象进行了“两颊抬高”的面部区域动作，则根据预先设置的表情类型，以及该表情类型对应的分解动作，可以确定检测对象的面部表情为“微笑”。优选地，由于眼部动作相对面部区域动作较少，可以通过将设置于检测对象头部不同位置的目标电极位点对应的EOG时域信号输入一个眼部检测深度网络，完成眼部动作的识别。另外地，将设置于检测对象头部不同位置的目标电极位点对应的EMG时域信号和压电信号，以多对多的形式输入不同的面部检测深度网络。也即，分别将EMG频域信号输入多个不同的面部检测深度网络，将压电时域信号输入多个不同的面部检测深度网络。最后将识别出的一个眼部动作与识别出的多个面部区域动作进行组合，得到检测对象的表情类型。
在本实施例中，通过提取设置于检测对象头部的目标电极位点的电信号中的EOG信号、EMG信号以及压电信号，基于EOG信号、EMG信号和压电信号来完成表情类型的识别的方式，能够应用于本身设置有头部电极位点的产品。例如虚拟现实(Virtual Reality,简称VR)设备、增强现实(Augmented Reality,简称AR)设备以及其他类型的头部可穿戴装置，从而在无需增加该类产品的形态复杂度的前提下，实现该类产品的表情识别功能。另外，压电传感器可以直接设置于电极位点上，无需为压电传感器的设置额外设计其他部件。相比目前需要外接摄像机采集检测对象的面部图像数据，并利用计算机视觉系统分析检测对象表情类型的方式而言，本实施例能够降低生产成本，并扩展表情识别技术的应用领域。
上述步骤S210至步骤S250，获取在检测对象头部的目标电极位点采集到的第一电信号，从第一电信号中提取出目标电极位点的EOG信号和EMG信号；其中，目标电极位点包括位于检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于检测对象的眼部且相对于鼻翼对称设置的至少两个位点，获取在检测对象头部的压电传感器采集到的第二电信号，从第二电信号中提取出压电信号，从目标电极位点的EOG信号中提取对应的EOG时域信号，并将EOG时域信号输入训练完备的眼部检测深度网络，识别出EOG信号对应的眼部动作，从目标电极位点的EMG信号中提取对应的EMG频域信号，从压电信号中提取对应的压电时域信号，将EMG频域信号和压电时域信号输入训练完备的面部检测深度网络，识别出EMG信号和压电信号对应的面部区域动作，将识别得到的眼部动作和面部区域动作进行组合，输出检测对象的表情类型。其实现了从检测对象的不同目标电极位点提取EOG信号和EMG信号，从压电传感器提取压电信号，能够在不借助摄像设备进行图像数据采集的前提下，基于设备自身采集的EOG信号、EMG信号以及压电信号实现对检测对象的表情类型的识别，从而扩大了表情识别技术的应用范围。
另外地，在一个实施例中，基于上述步骤S210，从第一电信号中提取出目标电极位点的EOG信号和EMG信号，具体包括以下步骤：
步骤S211，将第一电信号输入第一带通滤波器得到目标电极位点的第一滤波信号，将第一电信号输入第二带通滤波器得到目标电极位点的第二滤波信号；其中，第一带通滤波器的通带频率低于第二带通滤波器的通带频率。
具体地，可以选择通带频率较低的，例如通带频率为0.05Hz至5Hz的带通滤波器作为第一带通滤波器。该第一带通滤波器用于对目标电极位点采集的第一电信号进行滤波，提取频率范围在0.05Hz至5Hz的第一电信号，作为用于提取EOG信号的滤波信号。另外还可以选择通带频率较高的，例如通带频率为10Hz至100Hz的带通滤波器作为第二带通滤波器。该第二带通滤波器用于对目标电极位点采集的第一电信号进行滤波，提取频率范围在10Hz至100Hz的第一电信号，作为用于提取EMG信号的滤波信号。
步骤S212，对第一滤波信号进行小波分解，并基于对应的第一阈值过滤策略进行小波系数过滤处理后，重构得到目标电极位点的EOG信号。
具体地，利用对应的第一阈值过滤策略确定的阈值，将对第一滤波信号进行小波分解得到的小波系数中，低于该阈值的小波系数置零，重构得到EOG信号。
步骤S213，对第二滤波信号进行小波分解，并基于对应的第二阈值过滤策略进行小波系数过滤处理后，重构得到目标电极位点的EMG信号。
同样地，利用对应的第二阈值过滤策略确定的阈值，将对第二滤波信号进行小波分解得到的小波系数中，低于该阈值的小波系数置零，重构得到EMG信号。
进一步地，在一个实施例中，基于上述步骤S212，对第一滤波信号进行小波分解，并基于对应的第一阈值过滤策略进行小波系数过滤处理后，重构得到目标电极位点的EOG信号，具体包括以下步骤：
步骤S2121，根据db4小波基对第一滤波信号进行6层小波分解，并基于Birge-Massart(软阈值小波变换)自适应策略对6层小波分解后的每层小波系数进行过滤后，重构得到目标电极位点的EOG信号。
基于上述步骤S213，对第二滤波信号进行小波分解，并基于对应的第二阈值过滤策略进行小波系数过滤处理后，重构得到目标电极位点的EMG信号，具体包括以下步骤：
根据db4小波基对第二滤波信号进行6层小波分解，对6层小波分解后得到的CA6系数、CD6系数以及CD5系数置零，并将6层小波分解得到的CD4系数、CD3系数、CD2系数以及CD1系数中低于预设阈值的小波系数置零，重构得到目标电极位点的EMG信号。
另外地，在一个实施例中，基于上述步骤S220，第二电信号为原始压电信号，获取在检测对象头部的压电传感器采集到的第二电信号，从第二电信号中提取出压电信号，具体包括以下步骤：
步骤S221，获取设置于目标电极位点的压电传感器采集到的原始压电信号；其中，压电传感器重叠于目标电极位点上。
步骤S222，将原始压电信号输入第三带通滤波器，得到压电信号。
另外地，在一个实施例中，基于上述步骤S230，从目标电极位点的EOG信号中提取对应的EOG时域信号，具体包括以下步骤：
步骤S231，将目标电极位点的EOG信号的信号片段输入卷积层，得到目标电极位点对应的EOG时域信号。
具体地，可以将EOG信号输入信号滑动窗，对该EOG信号进行信号片段截取后，将截取后的信号片段输入卷积层进行卷积运算，得到该EOG信号的时域信号。
另外地，在一个实施例中，基于上述步骤S240，从目标电极位点的EMG信号中提取对应的EMG频域信号，具体包括以下步骤：
步骤S241，对目标电极位点的EMG信号的信号片段进行傅里叶变换，得到目标电极位点对应的EMG频域信号。
具体地，可以将EMG信号输入信号滑动窗，对该EMG信号进行信号片段截取，并对截取后的EMG信号片段进行傅里叶变换，从而得到目标电极位点对应的EMG频域信号。另外，在将EMG频域信号输入面部检测深度网络，进行面部区域动作的识别之前，还可以将EMG频域信号输入长短期记忆(Long short-termmemory,简称为LSTM)层进行处理，以提高面部检测深度网络的识别准确度。
另外地，在一个实施例中，基于上述步骤S240，从压电信号中提取对应的压电时域信号，具体包括以下步骤：
步骤S242，将压电信号的信号片段输入卷积层，得到压电时域信号。
具体地，可以将压电信号输入信号滑动窗，对该压电信号进行信号片段截取，并对截取后的压电信号片段进行傅里叶变换，从而得到压电时域信号。
另外地，在一个实施例中，基于上述步骤S230，将EOG时域信号输入训练完备的眼部检测深度网络，识别出EOG信号对应的眼部动作，具体包括以下步骤：
步骤S232，将EOG时域信号，输入预先根据眼部动作训练样本训练得到的眼部检测深度网络，识别出EOG信号对应的眼部动作，其中，眼部动作训练样本由预先确定的表情训练样本分解得到。
另外地，在一个实施例中，基于上述步骤S240，将EMG频域信号和压电时域信号输入训练完备的面部检测深度网络，识别出EMG信号和压电信号对应的面部区域动作，具体包括以下步骤：
步骤S243，将EMG频域信号，经过LSTM层后与压电时域信号共同输入预先根据面部区域动作训练样本训练得到的面部检测深度网络，识别出EMG信号和压电信号对应的面部区域动作，其中，面部区域动作训练样本由预先确定的表情训练样本分解得到。
另外地，在一个实施例中，目标电极位点还包括位于检测对象耳后，且相对于鼻翼对称设置的至少两个位点。
上述步骤S210至步骤S250，将第一电信号输入第一带通滤波器得到目标电极位点的第一滤波信号，将第一电信号输入第二带通滤波器得到目标电极位点的第二滤波信号，并对第一滤波信号进行小波分解、过滤以及重构后得到EOG信号，对第二滤波信号进行小波分解、过滤以及重构后得到EMG信号，从而实现了对检测对象不同位置的目标电极位点的EOG信号和EMG信号的提取；通过获取设置于目标电极位点的压电传感器采集到的原始压电信号，将原始压电信号输入第三带通滤波器，得到压电信号，从而实现了对压电信号的提取；将EOG信号的信号片段输入卷积层，得到目标电极位点对应的EOG时域信号，对EMG信号的信号片段进行傅里叶变换，得到目标电极位点对应的EMG频域信号，将EOG时域信号作为眼部动作识别的特征数据，将EMG频域信号和压电时域信号作为面部区域动作识别的特征数据，从而提高了识别结果的准确度和效率；利用预先确定的表情类型分解得到眼部动作训练样本和面部区域动作训练样本，并基于识别到的眼部动作和面部区域动作的组合来确定检测对象的表情类型，从而提高了表情类型的识别结果的准确度；本实施例的表情识别步骤，能够在不借助摄像设备进行图像数据采集的前提下，基于设备自身采集的EOG信号、EMG信号以及压电信号实现对检测对象的表情类型的识别，从而扩大了表情识别技术的应用范围。
下面通过优选实施例对本实施例进行描述和说明。
图3是本优选实施例的基于EOG和EMG的表情识别方法的流程图。如图3所示，包括以下步骤：
步骤S310，获取各位点采集的第一电信号；
步骤S320，将该第一电信号经过带通滤波器A，经小波分解重构后得到EOG信号；
步骤S330，将该第一电信号经过带通滤波器B，经小波分解重构后得到EMG信号；其中，带通滤波器A通带频率低于带通滤波器B；
步骤S340，获取设置于各位点上的压电传感器采集的第二电信号，将该第二电信号经过带通滤波器C，得到带通滤波后的压电信号；
步骤S350，将EOG信号经过信号截取的滑动窗和卷积层后输入深度网络E，识别得到检测对象的眼部动作；
步骤S360，将EMG信号经过信号截取的滑动窗并进行傅里叶变换得到EMG频域信号，将压电信号经过信号截取的滑动窗并输入卷积层得到压电时域信号；
步骤S370，将EMG频域信号经LSTM层后与压电时域信号共同输入深度网络D1至深度网络Dk，分别得到由深度网络D1至深度网络Dk识别得到的面部区域1至面部区域K的面部区域动作；
步骤S380，将识别得到的眼部动作和面部区域1至面部区域K的面部区域动作组合，得到检测对象的表情类型。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，步骤S320和步骤S330，步骤S350和步骤S360。
在本实施例中还提供了一种基于EOG和EMG的表情识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是本实施例的基于EOG、EMG以及压电信号的表情识别装置40的结构框图，如图4所示，该基于EOG、EMG以及压电信号的表情识别装置40包括：第一采集模块42、第二采集模块44、第一提取模块46、第二提取模块48以及识别模块50，其中：
第一采集模块42，用于获取在检测对象头部的目标电极位点采集到的第一电信号，从第一电信号中提取出目标电极位点的EOG信号和EMG信号；其中，目标电极位点包括位于检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于检测对象的眼部且相对于鼻翼对称设置的至少两个位点；
第二采集模块44，用于获取在检测对象头部的压电传感器采集到的第二电信号，从第二电信号中提取出压电信号；
第一提取模块46，用于从目标电极位点的EOG信号中提取对应的EOG时域信号，并将EOG时域信号输入训练完备的眼部检测深度网络，识别出EOG信号对应的眼部动作；
第二提取模块48，用于从目标电极位点的EMG信号中提取对应的EMG频域信号，从压电信号中提取对应的压电时域信号，将EMG频域信号和压电时域信号输入训练完备的面部检测深度网络，识别出EMG信号和压电信号对应的面部区域动作；
识别模块50，用于将识别得到的眼部动作和面部区域动作进行组合，输出检测对象的表情类型。
上述基于EOG、EMG以及压电信号的表情识别装置40，获取在检测对象头部的目标电极位点采集到的第一电信号，从第一电信号中提取出目标电极位点的EOG信号和EMG信号；其中，目标电极位点包括位于检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于检测对象的眼部且相对于鼻翼对称设置的至少两个位点，获取在检测对象头部的压电传感器采集到的第二电信号，从第二电信号中提取出压电信号，从目标电极位点的EOG信号中提取对应的EOG时域信号，并将EOG时域信号输入训练完备的眼部检测深度网络，识别出EOG信号对应的眼部动作，从目标电极位点的EMG信号中提取对应的EMG频域信号，从压电信号中提取对应的压电时域信号，将EMG频域信号和压电时域信号输入训练完备的面部检测深度网络，识别出EMG信号和压电信号对应的面部区域动作，将识别得到的眼部动作和面部区域动作进行组合，输出检测对象的表情类型。其实现了从检测对象的不同目标电极位点提取EOG信号和EMG信号，从压电传感器提取压电信号，能够在不借助摄像设备进行图像数据采集的前提下，基于设备自身采集的EOG信号、EMG信号以及压电信号实现对检测对象的表情类型的识别，从而扩大了表情识别技术的应用范围。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
获取在检测对象头部的目标电极位点采集到的第一电信号，从第一电信号中提取出目标电极位点的EOG信号和EMG信号；其中，目标电极位点包括位于检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于检测对象的眼部且相对于鼻翼对称设置的至少两个位点；
获取在检测对象头部的压电传感器采集到的第二电信号，从第二电信号中提取出压电信号；
从目标电极位点的EOG信号中提取对应的EOG时域信号，并将EOG时域信号输入训练完备的眼部检测深度网络，识别出EOG信号对应的眼部动作；
从目标电极位点的EMG信号中提取对应的EMG频域信号，从压电信号中提取对应的压电时域信号，将EMG频域信号和压电时域信号输入训练完备的面部检测深度网络，识别出EMG信号和压电信号对应的面部区域动作；
将识别得到的眼部动作和面部区域动作进行组合，输出检测对象的表情类型。
在其中一个实施例中，上述处理器在运行计算机程序时还执行以下步骤：
将第一电信号输入第一带通滤波器得到目标电极位点的第一滤波信号，将第一电信号输入第二带通滤波器得到目标电极位点的第二滤波信号；其中，第一带通滤波器的通带频率低于第二带通滤波器的通带频率；
对第一滤波信号进行小波分解，并基于对应的第一阈值过滤策略进行小波系数过滤处理后，重构得到目标电极位点的EOG信号；
对第二滤波信号进行小波分解，并基于对应的第二阈值过滤策略进行小波系数过滤处理后，重构得到目标电极位点的EMG信号。
在其中一个实施例中，上述处理器在运行计算机程序时还执行以下步骤：
对第一滤波信号进行小波分解，并基于对应的第一阈值过滤策略进行小波系数过滤处理后，重构得到目标电极位点的EOG信号，包括：
根据db4小波基对第一滤波信号进行6层小波分解，并基于Birge-Massart自适应策略对6层小波分解后的每层小波系数进行过滤后，重构得到目标电极位点的EOG信号；
对第二滤波信号进行小波分解，并基于对应的第二阈值过滤策略进行小波系数过滤处理后，重构得到目标电极位点的EMG信号，包括：
根据db4小波基对第二滤波信号进行6层小波分解，对6层小波分解后得到的CA6系数、CD6系数以及CD5系数置零，并将6层小波分解得到的CD4系数、CD3系数、CD2系数以及CD1系数中低于预设阈值的小波系数置零，重构得到目标电极位点的EMG信号。
在其中一个实施例中，上述处理器在运行计算机程序时还执行以下步骤：
获取设置于目标电极位点的压电传感器采集到的原始压电信号；其中，压电传感器重叠于目标电极位点上；
将原始压电信号输入第三带通滤波器，得到压电信号。
在其中一个实施例中，上述处理器在运行计算机程序时还执行以下步骤：
将目标电极位点的EOG信号的信号片段输入卷积层，得到目标电极位点对应的EOG时域信号。
在其中一个实施例中，上述处理器在运行计算机程序时还执行以下步骤：
对目标电极位点的EMG信号的信号片段进行傅里叶变换，得到目标电极位点对应的EMG频域信号。
在其中一个实施例中，上述处理器在运行计算机程序时还执行以下步骤：
将压电信号的信号片段输入卷积层，得到压电时域信号。
在其中一个实施例中，上述处理器在运行计算机程序时还执行以下步骤：
将EOG时域信号，输入预先根据眼部动作训练样本训练得到的眼部检测深度网络，识别出EOG信号对应的眼部动作，其中，眼部动作训练样本由预先确定的表情训练样本分解得到。
在其中一个实施例中，上述处理器在运行计算机程序时还执行以下步骤：
将EMG频域信号，经过LSTM层后与压电时域信号共同输入预先根据面部区域动作训练样本训练得到的面部检测深度网络，识别出EMG信号和压电信号对应的面部区域动作，其中，面部区域动作训练样本由预先确定的表情训练样本分解得到。
在其中一个实施例中，目标电极位点还包括位于检测对象耳后，且相对于鼻翼对称设置的至少两个位点。
上述电子装置，获取在检测对象头部的目标电极位点采集到的第一电信号，从第一电信号中提取出目标电极位点的EOG信号和EMG信号；其中，目标电极位点包括位于检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于检测对象的眼部且相对于鼻翼对称设置的至少两个位点，获取在检测对象头部的压电传感器采集到的第二电信号，从第二电信号中提取出压电信号，从目标电极位点的EOG信号中提取对应的EOG时域信号，并将EOG时域信号输入训练完备的眼部检测深度网络，识别出EOG信号对应的眼部动作，从目标电极位点的EMG信号中提取对应的EMG频域信号，从压电信号中提取对应的压电时域信号，将EMG频域信号和压电时域信号输入训练完备的面部检测深度网络，识别出EMG信号和压电信号对应的面部区域动作，将识别得到的眼部动作和面部区域动作进行组合，输出检测对象的表情类型。其实现了从检测对象的不同目标电极位点提取EOG信号和EMG信号，从压电传感器提取压电信号，能够在不借助摄像设备进行图像数据采集的前提下，基于设备自身采集的EOG信号、EMG信号以及压电信号实现对检测对象的表情类型的识别，从而扩大了表情识别技术的应用范围。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的基于EOG、EMG以及压电信号的表情识别方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于EOG和EMG的表情识别方法。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种基于EOG、EMG以及压电信号的表情识别方法，其特征在于，包括：
获取在检测对象头部的目标电极位点采集到的第一电信号，从所述第一电信号中提取出所述目标电极位点的EOG信号和EMG信号；其中，所述目标电极位点包括位于所述检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于所述检测对象的眼部且相对于所述鼻翼对称设置的至少两个位点；
获取在所述检测对象头部的压电传感器采集到的第二电信号，从所述第二电信号中提取出压电信号；
从所述目标电极位点的EOG信号中提取对应的EOG时域信号，并将所述EOG时域信号输入训练完备的眼部检测深度网络，识别出所述EOG信号对应的眼部动作；
从所述目标电极位点的EMG信号中提取对应的EMG频域信号，从所述压电信号中提取对应的压电时域信号，将所述EMG频域信号和所述压电时域信号输入训练完备的面部检测深度网络，识别出所述EMG信号和所述压电信号对应的面部区域动作；
将识别得到的所述眼部动作和所述面部区域动作进行组合，输出所述检测对象的表情类型。
2.根据权利要求1所述的基于EOG、EMG以及压电信号的表情识别方法，其特征在于，所述从所述第一电信号中提取出所述目标电极位点的EOG信号和EMG信号，包括：
将所述第一电信号输入第一带通滤波器得到所述目标电极位点的第一滤波信号，将所述第一电信号输入第二带通滤波器得到所述目标电极位点的第二滤波信号；其中，所述第一带通滤波器的通带频率低于所述第二带通滤波器的通带频率；
对所述第一滤波信号进行小波分解，并基于对应的第一阈值过滤策略进行小波系数过滤处理后，重构得到所述目标电极位点的EOG信号；
对所述第二滤波信号进行小波分解，并基于对应的第二阈值过滤策略进行小波系数过滤处理后，重构得到所述目标电极位点的EMG信号。
3.根据权利要求2所述的基于EOG、EMG以及压电信号的表情识别方法，其特征在于：
所述对所述第一滤波信号进行小波分解，并基于对应的第一阈值过滤策略进行小波系数过滤处理后，重构得到所述目标电极位点的EOG信号，包括：
根据db4小波基对所述第一滤波信号进行6层小波分解，并基于Birge-Massart自适应策略对所述6层小波分解后的每层小波系数进行过滤后，重构得到所述目标电极位点的EOG信号；
所述对所述第二滤波信号进行小波分解，并基于对应的第二阈值过滤策略进行小波系数过滤处理后，重构得到所述目标电极位点的EMG信号，包括：
根据db4小波基对所述第二滤波信号进行6层小波分解，对所述6层小波分解后得到的CA6系数、CD6系数以及CD5系数置零，并将所述6层小波分解得到的CD4系数、CD3系数、CD2系数以及CD1系数中低于预设阈值的小波系数置零，重构得到所述目标电极位点的EMG信号。
4.根据权利要求1所述的基于EOG、EMG以及压电信号的表情识别方法，其特征在于，所述第二电信号为原始压电信号，所述获取在所述检测对象头部的压电传感器采集到的第二电信号，从所述第二电信号中提取出压电信号，包括：
获取设置于所述目标电极位点的压电传感器采集到的原始压电信号；其中，所述压电传感器重叠于所述目标电极位点上；
将所述原始压电信号输入第三带通滤波器，得到所述压电信号。
5.根据权利要求1所述的基于EOG、EMG以及压电信号的表情识别方法，其特征在于，所述从所述目标电极位点的EOG信号中提取对应的EOG时域信号，包括：
将所述目标电极位点的EOG信号的信号片段输入卷积层，得到所述目标电极位点对应的EOG时域信号。
6.根据权利要求1所述的基于EOG、EMG以及压电信号的表情识别方法，其特征在于，所述从所述目标电极位点的EMG信号中提取对应的EMG频域信号，包括：
对所述目标电极位点的EMG信号的信号片段进行傅里叶变换，得到所述目标电极位点对应的EMG频域信号。
7.根据权利要求1所述的基于EOG、EMG以及压电信号的表情识别方法，其特征在于，所述从所述压电信号中提取对应的压电时域信号，包括：
将所述压电信号的信号片段输入卷积层，得到所述压电时域信号。
8.根据权利要求1所述的基于EOG、EMG以及压电信号的表情识别方法，其特征在于，所述将所述EOG时域信号输入训练完备的眼部检测深度网络，识别出所述EOG信号对应的眼部动作，包括：
将所述EOG时域信号，输入预先根据眼部动作训练样本训练得到的眼部检测深度网络，识别出所述EOG信号对应的眼部动作，其中，所述眼部动作训练样本由预先确定的表情训练样本分解得到。
9.根据权利要求1所述的基于EOG、EMG以及压电信号的表情识别方法，其特征在于，所述将所述EMG频域信号和所述压电时域信号输入训练完备的面部检测深度网络，识别出所述EMG信号和所述压电信号对应的面部区域动作，包括：
将所述EMG频域信号，经过LSTM层后与所述压电时域信号共同输入预先根据面部区域动作训练样本训练得到的面部检测深度网络，识别出所述EMG信号和所述压电信号对应的面部区域动作，其中，所述面部区域动作训练样本由预先确定的表情训练样本分解得到。
10.根据权利要求1至9中任一项所述的基于EOG、EMG以及压电信号的表情识别方法，其特征在于，所述目标电极位点还包括位于所述检测对象耳后，且相对于所述鼻翼对称设置的至少两个位点。
11.一种基于EOG、EMG以及压电信号的表情识别装置，其特征在于，包括：第一采集模块、第二采集模块、第一提取模块、第二提取模块以及识别模块，其中：
所述采集模块，用于获取在检测对象头部的目标电极位点采集到的第一电信号，从所述第一电信号中提取出所述目标电极位点的EOG信号和EMG信号；其中，所述目标电极位点包括位于所述检测对象的前额且相对于鼻翼对称设置的至少两个位点，以及位于所述检测对象的眼部且相对于所述鼻翼对称设置的至少两个位点；
所述第二采集模块，用于获取在所述检测对象头部的压电传感器采集到的第二电信号，从所述第二电信号中提取出压电信号；
所述第一提取模块，用于从所述目标电极位点的EOG信号中提取对应的EOG时域信号，并将所述EOG时域信号输入训练完备的眼部检测深度网络，识别出所述EOG信号对应的眼部动作；
所述第二提取模块，用于从所述目标电极位点的EMG信号中提取对应的EMG频域信号，从所述压电信号中提取对应的压电时域信号，将所述EMG频域信号和所述压电时域信号输入训练完备的面部检测深度网络，识别出所述EMG信号和所述压电信号对应的面部区域动作；
所述识别模块，用于将识别得到的所述眼部动作和所述面部区域动作进行组合，输出所述检测对象的表情类型。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至10中任一项所述的基于EOG、EMG以及压电信号的表情识别方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的基于EOG、EMG以及压电信号的表情识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110984277.2A CN113855019B (zh) | 2021-08-25 | 2021-08-25 | 基于eog、emg以及压电信号的表情识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110984277.2A CN113855019B (zh) | 2021-08-25 | 2021-08-25 | 基于eog、emg以及压电信号的表情识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113855019A CN113855019A (zh) | 2021-12-31 |
| CN113855019B true CN113855019B (zh) | 2023-12-29 |
Family
ID=78988461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110984277.2A Active CN113855019B (zh) | 2021-08-25 | 2021-08-25 | 基于eog、emg以及压电信号的表情识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113855019B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6032072A (en) * | 1998-01-30 | 2000-02-29 | Aspect Medical Systems, Inc. | Method for enhancing and separating biopotential signals |
| CN101069214A (zh) * | 2004-10-01 | 2007-11-07 | 索尼电影娱乐公司 | 为计算机图形动画制作跟踪面部肌肉和眼睛运动的系统和方法 |
| CN101310242A (zh) * | 2005-09-12 | 2008-11-19 | 埃默迪弗系统股份有限公司 | 用于检测和分类面部肌肉运动的方法和系统 |
| CN101598973A (zh) * | 2009-06-26 | 2009-12-09 | 安徽大学 | 基于眼电信号的人机交互系统 |
| CN102341035A (zh) * | 2009-03-17 | 2012-02-01 | 高级头脑监控公司 | 成人和儿童睡眠质量的评估系统 |
| KR101633057B1 (ko) * | 2015-04-22 | 2016-06-23 | 재단법인 실감교류인체감응솔루션연구단 | 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법 |
| CN108762504A (zh) * | 2018-05-28 | 2018-11-06 | 广州脑李信息科技有限公司 | 一种通过单眨眼控制的人机录入装置、方法及系统 |
| CN109620185A (zh) * | 2019-01-31 | 2019-04-16 | 山东大学 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
| CN109934173A (zh) * | 2019-03-14 | 2019-06-25 | 腾讯科技（深圳）有限公司 | 表情识别方法、装置及电子设备 |
| CN110025322A (zh) * | 2019-04-11 | 2019-07-19 | 辽宁师范大学 | 基于滤波与集成分类器的多模态生理信号情感分类方法 |
| CN110037693A (zh) * | 2019-04-24 | 2019-07-23 | 中央民族大学 | 一种基于面部表情和eeg的情绪分类方法 |
| CN110249337A (zh) * | 2017-05-01 | 2019-09-17 | 谷歌有限责任公司 | 使用眼睛追踪相机对面部表情分类 |
| CN110705656A (zh) * | 2019-11-11 | 2020-01-17 | 中国电子科技集团公司第十四研究所 | 一种基于eeg传感器的面部动作识别方法 |
| US10564717B1 (en) * | 2018-07-16 | 2020-02-18 | Facebook Technologies, Llc | Apparatus, systems, and methods for sensing biopotential signals |
| CN211213144U (zh) * | 2019-06-25 | 2020-08-11 | 杭州回车电子科技有限公司 | 头戴式设备 |
| CN111626113A (zh) * | 2020-04-20 | 2020-09-04 | 北京市西城区培智中心学校 | 一种基于面部动作单元的面部表情识别方法和装置 |
| CN111653005A (zh) * | 2020-04-09 | 2020-09-11 | 中国人民解放军战略支援部队信息工程大学 | 基于脑电信号的身份认证方法、保险箱解锁方法及系统 |
| CN111856958A (zh) * | 2020-07-27 | 2020-10-30 | 西北大学 | 智能家居控制系统、控制方法、计算机设备及存储介质 |
| CN113058159A (zh) * | 2021-06-03 | 2021-07-02 | 杭州回车电子科技有限公司 | 用于经颅电刺激的电极佩戴情况检测方法和装置 |
| WO2021139475A1 (zh) * | 2020-01-08 | 2021-07-15 | 上海商汤临港智能科技有限公司 | 一种表情识别方法及装置、设备、计算机可读存储介质、计算机程序产品 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7554549B2 (en) * | 2004-10-01 | 2009-06-30 | Sony Corporation | System and method for tracking facial muscle and eye motion for computer graphics animation |
| US9013264B2 (en) * | 2011-03-12 | 2015-04-21 | Perceptive Devices, Llc | Multipurpose controller for electronic devices, facial expressions management and drowsiness detection |
| US10943100B2 (en) * | 2017-01-19 | 2021-03-09 | Mindmaze Holding Sa | Systems, methods, devices and apparatuses for detecting facial expression |
| US11783627B2 (en) * | 2020-02-10 | 2023-10-10 | Massachusetts Institute Of Technology | Methods and apparatus for detecting and classifying facial motions |
-
2021
- 2021-08-25 CN CN202110984277.2A patent/CN113855019B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6032072A (en) * | 1998-01-30 | 2000-02-29 | Aspect Medical Systems, Inc. | Method for enhancing and separating biopotential signals |
| CN101069214A (zh) * | 2004-10-01 | 2007-11-07 | 索尼电影娱乐公司 | 为计算机图形动画制作跟踪面部肌肉和眼睛运动的系统和方法 |
| CN101310242A (zh) * | 2005-09-12 | 2008-11-19 | 埃默迪弗系统股份有限公司 | 用于检测和分类面部肌肉运动的方法和系统 |
| CN102341035A (zh) * | 2009-03-17 | 2012-02-01 | 高级头脑监控公司 | 成人和儿童睡眠质量的评估系统 |
| CN101598973A (zh) * | 2009-06-26 | 2009-12-09 | 安徽大学 | 基于眼电信号的人机交互系统 |
| KR101633057B1 (ko) * | 2015-04-22 | 2016-06-23 | 재단법인 실감교류인체감응솔루션연구단 | 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법 |
| CN110249337A (zh) * | 2017-05-01 | 2019-09-17 | 谷歌有限责任公司 | 使用眼睛追踪相机对面部表情分类 |
| CN108762504A (zh) * | 2018-05-28 | 2018-11-06 | 广州脑李信息科技有限公司 | 一种通过单眨眼控制的人机录入装置、方法及系统 |
| US10564717B1 (en) * | 2018-07-16 | 2020-02-18 | Facebook Technologies, Llc | Apparatus, systems, and methods for sensing biopotential signals |
| CN109620185A (zh) * | 2019-01-31 | 2019-04-16 | 山东大学 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
| CN109934173A (zh) * | 2019-03-14 | 2019-06-25 | 腾讯科技（深圳）有限公司 | 表情识别方法、装置及电子设备 |
| CN110025322A (zh) * | 2019-04-11 | 2019-07-19 | 辽宁师范大学 | 基于滤波与集成分类器的多模态生理信号情感分类方法 |
| CN110037693A (zh) * | 2019-04-24 | 2019-07-23 | 中央民族大学 | 一种基于面部表情和eeg的情绪分类方法 |
| CN211213144U (zh) * | 2019-06-25 | 2020-08-11 | 杭州回车电子科技有限公司 | 头戴式设备 |
| CN110705656A (zh) * | 2019-11-11 | 2020-01-17 | 中国电子科技集团公司第十四研究所 | 一种基于eeg传感器的面部动作识别方法 |
| WO2021139475A1 (zh) * | 2020-01-08 | 2021-07-15 | 上海商汤临港智能科技有限公司 | 一种表情识别方法及装置、设备、计算机可读存储介质、计算机程序产品 |
| CN111653005A (zh) * | 2020-04-09 | 2020-09-11 | 中国人民解放军战略支援部队信息工程大学 | 基于脑电信号的身份认证方法、保险箱解锁方法及系统 |
| CN111626113A (zh) * | 2020-04-20 | 2020-09-04 | 北京市西城区培智中心学校 | 一种基于面部动作单元的面部表情识别方法和装置 |
| CN111856958A (zh) * | 2020-07-27 | 2020-10-30 | 西北大学 | 智能家居控制系统、控制方法、计算机设备及存储介质 |
| CN113058159A (zh) * | 2021-06-03 | 2021-07-02 | 杭州回车电子科技有限公司 | 用于经颅电刺激的电极佩戴情况检测方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| Perdiz, J ; Pires, G ; Nunes, UJ.Emotional State Detection Based on EMG and EOG Biosignals: a Short Survey.《IEEE 5TH PORTUGUESE MEETING ON BIOENGINEERING (ENBENG)》.2017,1-4. * |
| 凌文芬,陈思含,彭勇等.基于3D分层卷积融合的多模态生理信号情绪识别.《智能科学与技术学报》.2021,76-84. * |
| 基于多生理信号的多频段情感分类方法研究;张素华;《中国优秀硕士学位论文全文数据库》;I136-201 * |
| 基于小波分析的EEG伪迹去除与特征分析研究;黄思娟;《中国优秀硕士学位论文全文数据库》;E080-5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113855019A (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Channel selection method for EEG emotion recognition using normalized mutual information | |
| WO2021143353A1 (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| Ko et al. | Multi-scale neural network for EEG representation learning in BCI | |
| WO2019242330A1 (zh) | 一种监控方法、识别方法、相关装置及系统 | |
| CN111523601B (zh) | 一种基于知识引导和生成对抗学习的潜在情绪识别方法 | |
| CN111563480A (zh) | 冲突行为检测方法、装置、计算机设备和存储介质 | |
| CN113128552B (zh) | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 | |
| Zhao et al. | A 3D convolutional neural network for emotion recognition based on EEG signals | |
| CN111797804A (zh) | 一种基于深度学习的信道状态信息人类活动识别方法及系统 | |
| CN108334766A (zh) | 电子装置、解锁方法及相关产品 | |
| Chen et al. | NeuroBiometric: An eye blink based biometric authentication system using an event-based neuromorphic vision sensor | |
| Guerrero-Mendez et al. | Identification of motor imagery tasks using power-based connectivity descriptors from EEG signals | |
| Park et al. | EEG-based gait state and gait intention recognition using spatio-spectral convolutional neural network | |
| CN109634408B (zh) | 一种Hololens手势识别的扩展方法 | |
| CN113855019B (zh) | 基于eog、emg以及压电信号的表情识别方法和装置 | |
| Ghonchi et al. | Spatio-temporal deep learning for EEG-fNIRS brain computer interface | |
| CN109919050B (zh) | 身份识别方法和装置 | |
| CN111814738A (zh) | 基于人工智能的人脸识别方法、装置、计算机设备及介质 | |
| CN113749656B (zh) | 基于多维生理信号的情感识别方法和装置 | |
| Rasheed et al. | Classification of hand-grasp movements of stroke patients using eeg data | |
| CN116115240A (zh) | 基于多分支图卷积网络的脑电情绪识别方法 | |
| CN111444863B (zh) | 基于相机的5g车载网络云辅助的驾驶员情绪识别方法 | |
| CN113655884A (zh) | 设备控制方法、终端及系统 | |
| CN113208623A (zh) | 一种基于卷积神经网络的睡眠分期方法、系统 | |
| CN108399006B (zh) | 信号处理方法及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |