CN113749656A - 基于多维生理信号的情感识别方法和装置 - Google Patents
基于多维生理信号的情感识别方法和装置 Download PDFInfo
- Publication number
- CN113749656A CN113749656A CN202110962595.9A CN202110962595A CN113749656A CN 113749656 A CN113749656 A CN 113749656A CN 202110962595 A CN202110962595 A CN 202110962595A CN 113749656 A CN113749656 A CN 113749656A
- Authority
- CN
- China
- Prior art keywords
- signal
- emotion
- emotion recognition
- degree
- pleasure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008909 emotion recognition Effects 0.000 claims abstract description 68
- 230000004913 activation Effects 0.000 claims abstract description 39
- 238000013136 deep learning model Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 230000036760 body temperature Effects 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 230000036772 blood pressure Effects 0.000 claims description 9
- 238000013145 classification model Methods 0.000 claims description 9
- 210000003205 muscle Anatomy 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000003387 muscular Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 210000003128 head Anatomy 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 101000802640 Homo sapiens Lactosylceramide 4-alpha-galactosyltransferase Proteins 0.000 description 1
- 102100035838 Lactosylceramide 4-alpha-galactosyltransferase Human genes 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003304 psychophysiological effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Abstract
本申请涉及一种基于多维生理信号的情感识别方法和装置，其中，该基于多维生理信号的情感识别方法包括：获取待检测信号的信号特征，所述信号特征包括时域特征和频域特征中的至少一种；将所述信号特征输入深度学习模型，得到对应的情感分类参数，所述情感分类参数包括愉悦度参数、激活度参数以及优势度参数；基于所述情感分类参数，确定情感识别结果。通过本申请，解决了情感类别的识别准确度较低的问题，实现了准确识别情感类别的技术效果。
Description
技术领域
本申请涉及脑电检测领域，特别是涉及一种基于多维生理信号的情感识别方法和装置。
背景技术
随着可穿戴设备和网络带宽的发展，利用多维度的生理信号计算情感将成为未来可穿戴设备的一个重要研究方向。目前，一些研究正在尝试通过分析脑电、心电和皮肤电等生理信号获取被试者的情感状态。将采集的生理信号输入预先训练好的神经网络模型，得到预先设定的多种情感类别中的一种。
PAD模型认为情感具有愉悦度、激活度和优势度三个维度，其中P代表愉悦度(Pleasure-displeasure)，表示个体情感状态的正负特性；A代表激活度(Arousal-nonarousal)，表示个体的神经生理激活水平；D代表优势度(Dominance-submissiveness)，表示个体对场景和他人的控制状态。同时也可以通过这三个维度的值来代表具体的情感。
现有技术中的情感类别的设定，大多是用于描述情感的主观体验。但由于传统的情感研究较多的关注愉悦度和激活度，但这两个维度并不能有效的区分有些情感，如愤怒和恐惧等，进而导致了情感类别的识别准确度较低的问题。
针对相关技术中存在情感类别的识别准确度较低的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种基于多维生理信号的情感识别方法和装置，以解决相关技术中情感类别的是被准确度较低的问题。
第一个方面，在本实施例中提供了一种基于多维生理信号的情感识别方法，包括：
获取待检测信号的信号特征，所述信号特征包括时域特征和频域特征中的至少一种；
将所述信号特征输入深度学习模型，得到对应的情感分类参数，所述情感分类参数包括愉悦度参数、激活度参数以及优势度参数；
基于所述情感分类参数，确定情感识别结果。
在其中的一个实施例中，所述待检测信号包括眼电信号、肌肉电信号、心率信号、血压信号、皮肤电信号和体温信号中的至少一种以及脑电信号。
在其中的一个实施例中，所述获取待检测信号的信号特征包括：获取待检测信号；将所述待检测信号进行带通滤波和小波去噪，得到目标信号，所述目标信号包括眼电信号和肌肉电信号中的至少一种以及脑电信号；基于所述目标信号获取所述信号特征。
在其中的一个实施例中，所述基于所述目标信号获取所述信号特征包括：将所述目标信号进行小波分解，得到小波系数；将所述小波系数输入卷积网络，得到所述目标信号的时域特征和频域特征。
在其中的一个实施例中，所述将所述信号特征输入深度学习模型之前包括：获取训练信号以及对应的所述情感分类参数，组成训练集；基于所述训练集训练深度神经网络，得到所述深度学习模型。
在其中的一个实施例中，所述深度学习模型包括愉悦度分类模型、激活度分类模型以及优势度分类模型，所述将所述信号特征输入深度学习模型，得到对应的情感分类参数包括：将所述信号特征输入所述深度学习模型，得到多个愉悦度等级以及对应的愉悦度置信度、多个激活度等级以及对应的激活度置信度和多个优势度等级以及对应的优势度置信度。
在其中的一个实施例中，所述基于所述情感分类参数，确定情感识别结果包括：将每个所述愉悦度等级对应的愉悦度置信度与所述激活度置信度以及优势度置信度相乘，得到多个情感识别置信度；将数值最大的所述情感识别置信度作为目标置信度；将所述目标置信度对应的情感类别作为情感识别结果。
第二个方面，在本实施例中提供了一种情感识别装置，包括：
获取模块，用于获取待检测信号的信号特征，所述信号特征包括时域特征和频域特征中的至少一种；
计算模块，用于将所述信号特征输入深度学习模型，得到对应的情感分类参数，所述情感分类参数包括愉悦度参数、激活度参数以及优势度参数；
识别模块，用于基于所述情感分类参数，确定情感识别结果。
第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的基于多维生理信号的情感识别方法。
第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的基于多维生理信号的情感识别方法。
与相关技术相比，在本实施例中提供的基于多维生理信号的情感识别方法，通过获取待检测信号的信号特征，所述信号特征包括时域特征和频域特征中的至少一种；将所述信号特征输入深度学习模型，得到对应的情感分类参数，所述情感分类参数包括愉悦度参数、激活度参数以及优势度参数；基于所述情感分类参数，确定情感识别结果，解决了情感类别的识别准确度较低问题，实现了准确识别情感类别的技术效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例的基于多维生理信号的情感识别方法的终端的硬件结构框图；
图2是本申请实施例的基于多维生理信号的情感识别方法的流程图；
图3是根据本申请实施例的基于多维生理信号的情感识别方法的目标信号获取流程图；
图4是根据本申请实施例的基于多维生理信号的情感识别方法的信号特征获取示意图；
图5是根据本申请实施例的基于多维生理信号的情感识别方法的置信度获取示意图；
图6是根据本申请实施例的基于多维生理信号的情感识别方法的情绪识别示意图；
图7是本实施例的基于多维生理信号的情感识别装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本申请实施例的基于多维生理信号的情感识别方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的基于多维生理信号的情感识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
人类情感是一种心理-生理过程，通常由对象或情境的有意识或无意识的感知而触发，往往与情绪、气质、个性、性格以及动机有关。人的情感在其进行决策处理、互相交往和认知过程中扮演着非常重要的角色，可以通过情感词汇、声音强调、面部表情和手势等非语言线索表达出来。近年来，随着信息技术的不断提升和对情感理解的不断深入，情感识别已在文本、言语、面部表情方面取得了较大进展。此外，由于脑电信号的获取不容易被侵入，而且价格也更实惠，并能广泛应用于医疗领域中，因此基于脑电的自动情感识别技术也越来越受到人们的关注。
在本实施例中提供了一种基于多维生理信号的情感识别方法，图2是本申请实施例的基于多维生理信号的情感识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取待检测信号的信号特征，所述信号特征包括时域特征和频域特征中的至少一种。
具体的，该待检测信号为被测人员的生理信号，且至少包括被测人员的脑电信号。优选的，待检测信号包括被测人员的脑电信号、眼电信号、肌肉电信号、心率信号、血压信号、皮肤电信号和体温信号。进一步的，优选的被检测信号为头部可获取的生理信号，这是由于目前的大多数研究中出现的生理信号情感计算方法，其研究设备大多是体型较大的实验室设备，如多导脑电仪等。不同维度的生理信号的采集位点可能相差较大，例如在多数研究中，心率是通过手腕光电式传感器或胸部心率带获得，而皮肤电信号则是在手部获得，这些不同位置的传感器难以集成到一台小型轻便的可穿戴设备中，不利于信号的采集。与此同时，由于数据的采集基于大型设备，实验数据的采集大多在实验室或医院完成，实验场景和数据量受限，难以利用数据进行大规模的深度学习。因此，通过小型轻便的可穿戴设备获取头部的生理信号，一方面便于用户穿戴，另一方面便于大批量推广，进而采集大量不同场景的被测人员的生理数据，基于该数据进行大规模的深度学习，提高情感识别的准确度。在其中的一个实施例中，还可将脑电信号的FFT频谱，即傅里叶变换频谱作为信号特征输入深度神经网络。
步骤S202，将所述信号特征输入深度学习模型，得到对应的情感分类参数，所述情感分类参数包括愉悦度参数、激活度参数以及优势度参数。
具体的，本实施例中基于PAD情感模型的愉悦度、激活度以及优势度三个维度进行情感分类。将待检测信号的信号特征输入到训练好的深度学习模型之后，会得到与信号特征对应的愉悦度标签以及相应的概率、与信号特征对应的激活度标签以及相应的概率、对应的激活度标签以及相应的概率。其中，愉悦度标签是预先设置的愉悦度等级，例如将愉悦度按从低到高的顺序设定五个等级的标签。愉悦度等级的数量可以根据实际需要进行设定，在本实施例中不作具体限定。相应的，激活度标签是预先设置的激活度等级，优势度标签也是预先设置的优势度等级。
步骤S203，基于所述情感分类参数，确定情感识别结果。
具体的，根据获取的愉悦度标签、激活度标签、优势度标签以及各自相应的概率，将每种标签中的概率相乘，得到计算结果，将概率最大的计算结果对应的情感类别作为情感识别结果。
通过上述步骤，本申请通过将PAD情感模型与深度学习模型相结合，改进了现有技术中，直接将预先分类好的情感类别作为识别模型的识别类别；通过获取被试人员的生理信号确定对应的愉悦度、激活度以及优势度，并基于信号特征经过深度学习模型得到的愉悦度概率、激活度概率以及优势度概率，确定最终的情感类别，提高了情感识别的准确度。
在其中的一个实施例中，所述待检测信号包括眼电信号、肌肉电信号、心率信号、血压信号、皮肤电信号和体温信号中的至少一种以及脑电信号。
具体的，本实施例中的待检测信号，包括但不限于脑电信号EEG、眼电信号EOG、肌肉电信号EMG、心率、血压、皮肤电导率、体温等生理信号，基于多维度的生理信号进行情感识别，可以提高情感识别的准确度。优选的，多维度生理信号均在头部获取，以便于将传感器集成到头部可穿戴设备中。在其中的一个实施例中，该可穿戴设备还可与AR设备相结合以提高生理信号的采集效果。AR，即Augmented Reality，简称AR，增强现实技术。增强现实技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的增强。结合AR技术的可穿戴设备采集可以获取被测人员多种场景下的生理信号，并且获取到的生理信号更准确，有利于进一步提高情感识别的准确率。
在其中的一个实施例中，基于头部可穿戴设备，采集原始电信号的电极也设置在头部，以Fpz位点为参考，采集前额Fp1、Fp2、AF7、AF8，耳后Tp9、Tp10以及眼部周围等无毛发区域的信号，从中分类出EEG、EOG、EMG信号。心率和血压可通过压电式脉搏传感器采集，皮肤电也可用过前额的电极采集，而体温可通过体温传感器采集得到。
在其中的一个实施例中，所述获取待检测信号的信号特征包括：获取待检测信号；将所述待检测信号进行带通滤波和小波去噪，得到目标信号，所述目标信号包括眼电信号和肌肉电信号中的至少一种以及脑电信号；基于所述目标信号获取所述信号特征。
具体的，图3是根据本申请实施例的基于多维生理信号的情感识别方法的目标信号获取流程图，如图3所示，本实施例中的待检测信号为电极采集得到的原始电信号，将原始电信号分别经过不同的带通滤波和小波去噪模块处理后，提取EEG、EOG、EMG信号分别输入前置的时频特征提取模块。
在其中的一个实施例中，所述基于所述目标信号获取所述信号特征包括：将所述目标信号进行小波分解，得到小波系数；将所述小波系数输入卷积网络，得到所述目标信号的时域特征和频域特征。
具体的，图4是根据本申请实施例的基于多维生理信号的情感识别方法的信号特征获取示意图，如图4所示，前置时频特征提取模块，是将目标信号小波分解至n层，n的数目可根据实际需要进行调整，本实施例对此不作具体限定。再分别将各层小波系数输入卷积网络，将信号包含的时域和频域特征转换为一系列编码，并输入深度神经网络。
其中，小波分解，每一层分解的结果是上次分解得到的低频信号再分解成低频和高频两个部分。如此经过n层分解后，原始信号X被分解为X＝D1+D2+…+Dn+An。其中，D1、D2…Dn分别为第一层、第二层到第n层分解得到的高频信号，An为第N层分解得到的低频信号。
在其中的一个实施例中，所述将所述信号特征输入深度学习模型之前包括：获取训练信号以及对应的所述情感分类参数，组成训练集；基于所述训练集训练深度神经网络，得到所述深度学习模型。
具体的，采集不同人员在不同场景下的生理信号，将该生理信息作为训练信号。优选的，通过可穿戴设备对生理信号进行采集，这是由于可穿戴设备自身就具有便携和量产的优势，可以在不同场景下以及短时间内获取到大量的数据。在采集数据时，通过主观量表获取数据对应的PAD情感维度等级，将该等级作为数据标签，将深度神经网络的输出设置为PAD情感模型的三个维度，包括愉悦度、激活度和优势度。每个维度设置多个分类等级。分类等级的数目可以根据实际需要进行调整，这与训练数据采集过程中的主观量表的设计有关。本申请对此不作具体限定。根据采集到的生理信号和数据标签训练深度神经网络。
在其中的一个实施例中，所述深度学习模型包括愉悦度分类模型、激活度分类模型以及优势度分类模型，所述将所述信号特征输入深度学习模型，得到对应的情感分类参数包括：将所述信号特征输入所述深度学习模型，得到多个愉悦度等级以及对应的愉悦度置信度、多个激活度等级以及对应的激活度置信度和多个优势度等级以及对应的优势度置信度。
具体的，图5是根据本申请实施例的基于多维生理信号的情感识别方法的置信度获取示意图。如图5所示，通道1、通道2和通道3分别表示不同的电极采集的原始电信号。对每个通道的原始电信号进行分类，得到脑电EEG信号、眼电EOG信号和肌肉电EMG信号，将这3种信号输入时域特征提取模块，得到其时域特征和频域特征，再将该时域特征和频域特征输入深度神经网络，与此同时，将皮肤电导率信号输入深度神经网络，将根据脉搏波信号得到的心率信号和血压信号输入深度神经网络，将体温信号输入深度神经网络，输出多个愉悦度等级以及对应的概率，该概率即为置信度。
在其中的一个实施例中，所述基于所述情感分类参数，确定情感识别结果包括：将每个所述愉悦度等级对应的愉悦度置信度与所述激活度置信度以及优势度置信度相乘，得到多个情感识别置信度；将数值最大的所述情感识别置信度作为目标置信度；将所述目标置信度对应的情感类别作为情感识别结果。
具体的，图6是根据本申请实施例的基于多维生理信号的情感识别方法的情绪识别示意图，如图6所示，深度神经网络在PAD三个维度上的输出空间中形成5*5*5＝125个点，每个点对应一种具体的情绪特征。由于神经网络的输出是每个维度上5个等级分类的概率，故空间中125个点的分类概率可由以下公式计算得到：
P(i,j,k)＝P(i)P(j)P(k)
其中P(i,j,k)，i，j，k分别为PAD模型在三个维度上的分类等级。若设置5个分类等级，则i、j、k均可取1、2、3、4、5中的任一数字。P(i)是第i等级的愉悦度对应的概率，即愉悦度置信度；P(j)是j等级的激活度对应的概率，即激活度置信度；P(k)是k等级的优势度对应的概率，即优势度置信度。
最后，根据空间中所有点的分类概率值，选取概率值最高的点作为预测点，在根据预先设定好的情感分布空间，例如预先定义好空间中的某一个区域对应喜悦，输出识别到的情感分类为喜悦。
通过以上步骤，本申请的基于多维生理信号的情感识别方法，利用基于头部获取的EEG、EOG、EMG、心率、血压、皮肤电导率、体温等生理信号，综合判断使用者的实时情感状态，输出的情感分类更加丰富且细分等级更高，由于可集成与头部可穿戴设备中，如AR等，可在不同场景采集到大量数据，情感识别的准确度更高，后续可迭代空间更大。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中还提供了一种基于多维生理信号的情感识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是本实施例的基于多维生理信号的情感识别装置的结构框图，如图7所示，该装置包括：
获取模块10，用于获取待检测信号的信号特征，所述信号特征包括时域特征和频域特征中的至少一种；
计算模块20，用于将所述信号特征输入深度学习模型，得到对应的情感分类参数，所述情感分类参数包括愉悦度参数、激活度参数以及优势度参数；
识别模块30，用于基于所述情感分类参数，确定情感识别结果。
获取模块10，还用于获取眼电信号、肌肉电信号、心率信号、血压信号、皮肤电信号和体温信号中的至少一种以及脑电信号。
计算模块20，还用于获取待检测信号；将所述待检测信号进行带通滤波和小波去噪，得到目标信号，所述目标信号包括眼电信号和肌肉电信号中的至少一种以及脑电信号；基于所述目标信号获取所述信号特征。
计算模块20，还用于将所述目标信号进行小波分解，得到小波系数；将所述小波系数输入卷积网络，得到所述目标信号的时域特征和频域特征。
计算模块20，还用于获取训练信号以及对应的所述情感分类参数，组成训练集；基于所述训练集训练深度神经网络，得到所述深度学习模型。
计算模块20，还用于将所述信号特征输入所述深度学习模型，得到多个愉悦度等级以及对应的愉悦度置信度、多个激活度等级以及对应的激活度置信度和多个优势度等级以及对应的优势度置信度。
识别模块30，还用于将每个所述愉悦度等级对应的愉悦度置信度与所述激活度置信度以及优势度置信度相乘，得到多个情感识别置信度；将数值最大的所述情感识别置信度作为目标置信度；将所述目标置信度对应的情感类别作为情感识别结果。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取待检测信号的信号特征，所述信号特征包括时域特征和频域特征中的至少一种。
S2，将所述信号特征输入深度学习模型，得到对应的情感分类参数，所述情感分类参数包括愉悦度参数、激活度参数以及优势度参数。
S3，基于所述情感分类参数，确定情感识别结果。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的基于多维生理信号的情感识别方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于多维生理信号的情感识别方法。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于多维生理信号的情感识别方法，其特征在于，包括：
获取待检测信号的信号特征，所述信号特征包括时域特征和频域特征中的至少一种；
将所述信号特征输入深度学习模型，得到对应的情感分类参数，所述情感分类参数包括愉悦度参数、激活度参数以及优势度参数；
基于所述情感分类参数，确定情感识别结果。
2.根据权利要求1所述的基于多维生理信号的情感识别方法，其特征在于，所述待检测信号包括眼电信号、肌肉电信号、心率信号、血压信号、皮肤电信号和体温信号中的至少一种以及脑电信号。
3.根据权利要求1所述的基于多维生理信号的情感识别方法，其特征在于，所述获取待检测信号的信号特征包括：
获取待检测信号；
将所述待检测信号进行带通滤波和小波去噪，得到目标信号，所述目标信号包括眼电信号和肌肉电信号中的至少一种以及脑电信号；
基于所述目标信号获取所述信号特征。
4.根据权利要求3所述的基于多维生理信号的情感识别方法，其特征在于，所述基于所述目标信号获取所述信号特征包括：
将所述目标信号进行小波分解，得到小波系数；
将所述小波系数输入卷积网络，得到所述目标信号的时域特征和频域特征。
5.根据权利要求1所述的基于多维生理信号的情感识别方法，其特征在于，所述将所述信号特征输入深度学习模型之前包括：
获取训练信号以及对应的所述情感分类参数，组成训练集；
基于所述训练集训练深度神经网络，得到所述深度学习模型。
6.根据权利要求1所述的基于多维生理信号的情感识别方法，其特征在于，所述深度学习模型包括愉悦度分类模型、激活度分类模型以及优势度分类模型，所述将所述信号特征输入深度学习模型，得到对应的情感分类参数包括：
将所述信号特征输入所述深度学习模型，得到多个愉悦度等级以及对应的愉悦度置信度、多个激活度等级以及对应的激活度置信度和多个优势度等级以及对应的优势度置信度。
7.根据权利要求6所述的基于多维生理信号的情感识别方法，其特征在于，所述基于所述情感分类参数，确定情感识别结果包括：将每个所述愉悦度等级对应的愉悦度置信度与所述激活度置信度以及优势度置信度相乘，得到多个情感识别置信度；
将数值最大的所述情感识别置信度作为目标置信度；
将所述目标置信度对应的情感类别作为情感识别结果。
8.一种基于多维生理信号的情感识别装置，其特征在于，包括：
获取模块，用于获取待检测信号的信号特征，所述信号特征包括时域特征和频域特征中的至少一种；
计算模块，用于将所述信号特征输入深度学习模型，得到对应的情感分类参数，所述情感分类参数包括愉悦度参数、激活度参数以及优势度参数；
识别模块，用于基于所述情感分类参数，确定情感识别结果。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于多维生理信号的情感识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于多维生理信号的情感识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962595.9A CN113749656B (zh) | 2021-08-20 | 2021-08-20 | 基于多维生理信号的情感识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962595.9A CN113749656B (zh) | 2021-08-20 | 2021-08-20 | 基于多维生理信号的情感识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113749656A true CN113749656A (zh) | 2021-12-07 |
| CN113749656B CN113749656B (zh) | 2023-12-26 |
Family
ID=78790708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110962595.9A Active CN113749656B (zh) | 2021-08-20 | 2021-08-20 | 基于多维生理信号的情感识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113749656B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114947852A (zh) * | 2022-06-14 | 2022-08-30 | 华南师范大学 | 一种多模态情感识别方法、装置、设备及存储介质 |
| CN117547271A (zh) * | 2023-12-11 | 2024-02-13 | 好心情健康产业集团有限公司 | 一种心理素质智能评估分析仪 |
| CN117547271B (zh) * | 2023-12-11 | 2024-04-26 | 好心情健康产业集团有限公司 | 一种心理素质智能评估分析仪 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002067194A2 (en) * | 2001-02-20 | 2002-08-29 | I & A Research Inc. | System for modeling and simulating emotion states |
| WO2008030542A2 (en) * | 2006-09-07 | 2008-03-13 | The Procter & Gamble Company | Methods for measuring emotive response and selection preference |
| CN102222500A (zh) * | 2011-05-11 | 2011-10-19 | 北京航空航天大学 | 结合情感点的汉语语音情感提取及建模方法 |
| CN102715911A (zh) * | 2012-06-15 | 2012-10-10 | 天津大学 | 基于脑电特征的情绪状态识别方法 |
| JP2013105232A (ja) * | 2011-11-11 | 2013-05-30 | Nippon Telegr & Teleph Corp <Ntt> | 感情推定装置及び感情推定方法 |
| US20140112556A1 (en) * | 2012-10-19 | 2014-04-24 | Sony Computer Entertainment Inc. | Multi-modal sensor based emotion recognition and emotional interface |
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
| CN107479702A (zh) * | 2017-08-04 | 2017-12-15 | 西南大学 | 一种使用脑电信号的人类情感优势度分类识别方法 |
| CN107578785A (zh) * | 2017-09-05 | 2018-01-12 | 哈尔滨工业大学 | 基于Gamma分布分析的音乐连续情感特征分析评价方法 |
| CN107944473A (zh) * | 2017-11-06 | 2018-04-20 | 南京邮电大学 | 一种基于多分类器主客观融合的生理信号情感识别方法 |
| CN108682431A (zh) * | 2018-05-09 | 2018-10-19 | 武汉理工大学 | 一种pad三维情感空间中的语音情感识别方法 |
| US20190139217A1 (en) * | 2017-08-14 | 2019-05-09 | Harold Szu | System and Method of Capturing Subtle Emotional Behavior |
| CN109767787A (zh) * | 2019-01-28 | 2019-05-17 | 腾讯科技（深圳）有限公司 | 情绪识别方法、设备及可读存储介质 |
| WO2019144542A1 (en) * | 2018-01-26 | 2019-08-01 | Institute Of Software Chinese Academy Of Sciences | Affective interaction systems, devices, and methods based on affective computing user interface |
| KR20190100090A (ko) * | 2019-08-08 | 2019-08-28 | 엘지전자 주식회사 | 로봇 및 그를 이용한 무드 인식 방법 |
| WO2019180452A1 (en) * | 2018-03-21 | 2019-09-26 | Limbic Limited | Emotion data training method and system |
| CN110321563A (zh) * | 2019-06-28 | 2019-10-11 | 浙江大学 | 基于混合监督模型的文本情感分析方法 |
| CN110507308A (zh) * | 2019-09-04 | 2019-11-29 | 杭州回车电子科技有限公司 | 一种生物电信号处理方法及设备 |
| CN111462774A (zh) * | 2020-03-19 | 2020-07-28 | 河海大学 | 一种基于深度学习的音乐情感可信分类方法 |
| CN112656427A (zh) * | 2020-11-26 | 2021-04-16 | 山西大学 | 一种基于维度模型的脑电信号情绪识别方法 |
| CN112800998A (zh) * | 2021-02-05 | 2021-05-14 | 南京邮电大学 | 融合注意力机制和dmcca的多模态情感识别方法及系统 |
-
2021
- 2021-08-20 CN CN202110962595.9A patent/CN113749656B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002067194A2 (en) * | 2001-02-20 | 2002-08-29 | I & A Research Inc. | System for modeling and simulating emotion states |
| WO2008030542A2 (en) * | 2006-09-07 | 2008-03-13 | The Procter & Gamble Company | Methods for measuring emotive response and selection preference |
| CN102222500A (zh) * | 2011-05-11 | 2011-10-19 | 北京航空航天大学 | 结合情感点的汉语语音情感提取及建模方法 |
| JP2013105232A (ja) * | 2011-11-11 | 2013-05-30 | Nippon Telegr & Teleph Corp <Ntt> | 感情推定装置及び感情推定方法 |
| CN102715911A (zh) * | 2012-06-15 | 2012-10-10 | 天津大学 | 基于脑电特征的情绪状态识别方法 |
| US20140112556A1 (en) * | 2012-10-19 | 2014-04-24 | Sony Computer Entertainment Inc. | Multi-modal sensor based emotion recognition and emotional interface |
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
| CN107479702A (zh) * | 2017-08-04 | 2017-12-15 | 西南大学 | 一种使用脑电信号的人类情感优势度分类识别方法 |
| US20190139217A1 (en) * | 2017-08-14 | 2019-05-09 | Harold Szu | System and Method of Capturing Subtle Emotional Behavior |
| CN107578785A (zh) * | 2017-09-05 | 2018-01-12 | 哈尔滨工业大学 | 基于Gamma分布分析的音乐连续情感特征分析评价方法 |
| CN107944473A (zh) * | 2017-11-06 | 2018-04-20 | 南京邮电大学 | 一种基于多分类器主客观融合的生理信号情感识别方法 |
| WO2019144542A1 (en) * | 2018-01-26 | 2019-08-01 | Institute Of Software Chinese Academy Of Sciences | Affective interaction systems, devices, and methods based on affective computing user interface |
| WO2019180452A1 (en) * | 2018-03-21 | 2019-09-26 | Limbic Limited | Emotion data training method and system |
| CN108682431A (zh) * | 2018-05-09 | 2018-10-19 | 武汉理工大学 | 一种pad三维情感空间中的语音情感识别方法 |
| CN109767787A (zh) * | 2019-01-28 | 2019-05-17 | 腾讯科技（深圳）有限公司 | 情绪识别方法、设备及可读存储介质 |
| CN110321563A (zh) * | 2019-06-28 | 2019-10-11 | 浙江大学 | 基于混合监督模型的文本情感分析方法 |
| KR20190100090A (ko) * | 2019-08-08 | 2019-08-28 | 엘지전자 주식회사 | 로봇 및 그를 이용한 무드 인식 방법 |
| CN110507308A (zh) * | 2019-09-04 | 2019-11-29 | 杭州回车电子科技有限公司 | 一种生物电信号处理方法及设备 |
| CN111462774A (zh) * | 2020-03-19 | 2020-07-28 | 河海大学 | 一种基于深度学习的音乐情感可信分类方法 |
| CN112656427A (zh) * | 2020-11-26 | 2021-04-16 | 山西大学 | 一种基于维度模型的脑电信号情绪识别方法 |
| CN112800998A (zh) * | 2021-02-05 | 2021-05-14 | 南京邮电大学 | 融合注意力机制和dmcca的多模态情感识别方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| BRAN, A AND VAIDIS, DC: "On the Characteristics of the Cognitive Dissonance State: Exploration Within the Pleasure Arousal Dominance Model", 《PSYCHOLOGICA BELGICA》, vol. 60, no. 01, pages 86 - 102 * |
| 周慧: "基于PAD三维情绪模型的情感语音转换与识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 06 * |
| 张婷: "基于PAD三维情感模型的情感语音研究", 《中国优秀硕士学位论文全文数据库》, no. 10 * |
| 麻海芳, 王碧莉, 陈俊等: "声音概念垂直空间隐喻表征的初步探讨", 《心理科学》, vol. 41, no. 03, pages 526 - 532 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114947852A (zh) * | 2022-06-14 | 2022-08-30 | 华南师范大学 | 一种多模态情感识别方法、装置、设备及存储介质 |
| CN114947852B (zh) * | 2022-06-14 | 2023-01-10 | 华南师范大学 | 一种多模态情感识别方法、装置、设备及存储介质 |
| CN117547271A (zh) * | 2023-12-11 | 2024-02-13 | 好心情健康产业集团有限公司 | 一种心理素质智能评估分析仪 |
| CN117547271B (zh) * | 2023-12-11 | 2024-04-26 | 好心情健康产业集团有限公司 | 一种心理素质智能评估分析仪 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113749656B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shu et al. | A review of emotion recognition using physiological signals | |
| Jenke et al. | Feature extraction and selection for emotion recognition from EEG | |
| Saganowski et al. | Emotion recognition using wearables: A systematic literature review-work-in-progress | |
| Benalcázar et al. | Hand gesture recognition using machine learning and the Myo armband | |
| Kumar et al. | Envisioned speech recognition using EEG sensors | |
| Krishna et al. | An efficient mixture model approach in brain-machine interface systems for extracting the psychological status of mentally impaired persons using EEG signals | |
| Abo‐Zahhad et al. | State‐of‐the‐art methods and future perspectives for personal recognition based on electroencephalogram signals | |
| CN111209885A (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| Murugappan et al. | Frequency band analysis of electrocardiogram (ECG) signals for human emotional state classification using discrete wavelet transform (DWT) | |
| Rached et al. | Emotion recognition based on brain-computer interface systems | |
| CN111407243B (zh) | 一种基于深度学习的脉搏信号压力识别方法 | |
| Yang et al. | Physiological-based emotion detection and recognition in a video game context | |
| Sourina et al. | A Real-time Fractal-based Brain State Recognition from EEG and its Applications. | |
| Szczuko | Real and imaginary motion classification based on rough set analysis of EEG signals for multimedia applications | |
| CN109961018B (zh) | 脑电信号分析方法、系统及终端设备 | |
| Ahirwal et al. | Emotion recognition system based on EEG signal: a comparative study of different features and classifiers | |
| Tiwari et al. | Machine learning approach for the classification of EEG signals of multiple imagery tasks | |
| CN111276159A (zh) | 一种婴儿发音分析方法及服务器 | |
| Li et al. | Identification of emotion using electroencephalogram by tunable Q-factor wavelet transform and binary gray wolf optimization | |
| CN113749656B (zh) | 基于多维生理信号的情感识别方法和装置 | |
| Medina Salgado et al. | Fuzzy entropy relevance analysis in DWT and EMD for BCI motor imagery applications | |
| Immanuel et al. | Recognition of emotion with deep learning using EEG signals-the next big wave for stress management in this covid-19 outbreak | |
| Li et al. | Multi-modal emotion recognition based on deep learning of EEG and audio signals | |
| Motogna et al. | Strategy for affective computing based on HRV and EDA | |
| CN112998725A (zh) | 一种基于运动观察的脑机接口技术的康复方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |