CN116687406A - 情绪识别方法、装置、电子设备及存储介质 - Google Patents
情绪识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116687406A CN116687406A CN202310505657.2A CN202310505657A CN116687406A CN 116687406 A CN116687406 A CN 116687406A CN 202310505657 A CN202310505657 A CN 202310505657A CN 116687406 A CN116687406 A CN 116687406A
- Authority
- CN
- China
- Prior art keywords
- matrix
- riemann
- signals
- emotion recognition
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000011159 matrix material Substances 0.000 claims abstract description 140
- 230000009467 reduction Effects 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 230000008451 emotion Effects 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 57
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 19
- 210000004556 brain Anatomy 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 13
- 230000002996 emotional effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 3
- 238000013100 final test Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Power Engineering (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请涉及脑电信号处理技术领域，特别涉及一种情绪识别方法、装置、电子设备及存储介质，其中，方法包括：获取多通道脑电信号；通过可调Q因子小波变换算法将多通道脑电信号中每个通道脑电信号进行频带划分，得到多个预设频带的重构信号，基于多个预设频带的重构信号构造黎曼空间上的对称正定矩阵；设计基于对数欧式几何度量的黎曼流形的目标函数，根据目标函数确定最优映射矩阵，并利用最优映射矩阵对黎曼空间上的对称正定矩阵进行降维操作得到降维矩阵，利用最小黎曼均值距离算法对降维矩阵进行情绪识别，得到脑电信号对应的情绪类别。由此，解决了相关技术中基于脑电信号研究情绪过程中，情绪状态的特征可辨识度较低以及情绪识别分类准确度较低等问题。
Description
技术领域
本申请涉及脑电信号处理技术领域，特别涉及一种情绪识别方法、装置、电子设备及存储介质。
背景技术
情绪是伴随多种感觉、思想和行为等产生的生理和心理状态的主观认知经验的概括。积极情绪状态有助于个人身心健康，然而长期的消极情绪状态对个人的生理或心理健康有着极大的影响。情绪识别本质是将有关情绪的特征数据与内在情绪建立一种非线性的映射函数。情绪识别在日常生活中应用非常广泛，如在医学方面，其作为精神疾病的诊疗提供理论的依据。在高危人群中，如飞行员和客车司机，他们的情绪状态直接影响了其专注度，从而影响驾驶的安全性。脑电信号潜在的大多数电生理特征可由脑电图记录的分析来提取，通过脑电信号发觉大脑状态的潜在信息，受到了越来越多的学者的关注。
目前，大多数学者都是基于多通道脑电信号的手动提取有效特征或者基于深度神经网络来设计，例如小波分解、经验模态分解对信号提取样本熵、分形维数等统计学特征，或者利用卷积神经网络、循环神经网络对信号及标签信息设计特征模型。但此类方法既耗时且难度较高，且无法完整获取脑电信号的空域特征。
近年来，基于黎曼流形的几何工具对脑电信号分析处理逐渐成为研究热点。协方差矩阵作为表征信号的二阶统计学特征，协方差矩阵构成为对称正定矩阵，其坐落在黎曼流形空间上，可借助黎曼几何的工具对脑电信号序列进行深入研究，挖掘高维空间的潜在的空间结构信息。例如通过小波包变换提取时频域信息构造增强的对称正定矩阵，接着利用仿射不变黎曼度量设计双线性降维算法来降低样本的维度，对降维后的对称正定矩阵进行切空间映射，利用支持向量机进行情绪分类。然而仿射不变黎曼度量的计算效率非常大且容易产生过拟合的问题，导致情绪分类准确度大大降低。
发明内容
本申请提供一种情绪识别方法、装置、电子设备及存储介质，以解决相关技术中基于脑电信号研究情绪过程中，情绪状态的特征可辨识度较低以及情绪识别分类准确度较低等问题。
本申请第一方面实施例提供一种情绪识别方法，包括以下步骤：获取多通道脑电信号；通过可调Q因子小波变换算法将所述多通道脑电信号中每个通道脑电信号进行频带划分，得到多个预设频带的重构信号，基于所述多个预设频带的重构信号构造黎曼空间上的对称正定矩阵；设计基于对数欧式几何度量的黎曼流形的目标函数，根据所述目标函数确定最优映射矩阵，并利用所述最优映射矩阵对所述黎曼空间上的对称正定矩阵进行降维操作得到降维矩阵，利用最小黎曼均值距离算法对所述降维矩阵进行情绪识别，得到脑电信号对应的情绪类别。
可选地，所述基于所述多个预设频带的重构信号构造黎曼空间上的对称正定矩阵，包括：基于所述多个预设频带的重构信号构造新信号样本；对所述新信号样本进行协方差运算得到所述对称正定矩阵。
可选地，所述设计基于对数欧式几何度量的黎曼流形的目标函数，包括：基于黎曼流形的几何特性，利用对数欧式几何的方式度量对称正定矩阵间的距离关系，构建黎曼流形降维的损失函数；根据所述对称正定矩阵的邻近点构成图的连接关系确定黎曼图仿射函数；根据所述黎曼流形降维的损失函数、所述黎曼图仿射函数和正交约束条件构造所述目标函数。
可选地，所述目标函数为：
s.t.VVT＝IM
其中，V为映射矩阵，VT为映射矩阵的转置，M为映射矩阵的维度，N为每个脑电信号的采样点数量，uij为权重系数，Zi，Zj分别为黎曼流形空间上其中一个点，代表脑电样本信号的特征信息，为基于对数欧式几何的距离度量，IM表示M×M的单位矩阵。
可选地，所述降维矩阵为：
其中，P为降维矩阵，V为映射矩阵，Z为对称正定矩阵，VT为映射矩阵的转置，M为映射矩阵的维度，SPD(M)为维度为M的对称正定矩阵空间。
可选地，所述最小黎曼均值距离算法为：
其中，Pj为第j个脑电信号的测试样本，Ck为第k类的情绪状态，寻找与对称正定矩阵Ck的最小黎曼距离，最终测试样本标签为Ck对应的标签类别，k为每个情绪类别，k*为最优的标签，为基于黎曼仿射不变的距离度量。
可选地，在通过可调Q因子小波变换算法将所述多通道脑电信号中每个通道脑电信号进行频带划分之前，还包括：对脑电信号进行预设时长的无重叠时域截段，并利用四阶巴特沃斯滤波器剔除脑电信号的噪声信号。
本申请第二方面实施例提供一种情绪识别装置，包括：获取模块，用于获取多通道脑电信号；构造模块，用于通过可调Q因子小波变换算法将所述多通道脑电信号中每个通道脑电信号进行频带划分，得到多个预设频带的重构信号，基于所述多个预设频带的重构信号构造黎曼空间上的对称正定矩阵；识别模块，用于设计基于对数欧式几何度量的黎曼流形的目标函数，根据所述目标函数确定最优映射矩阵，并利用所述最优映射矩阵对所述黎曼空间上的对称正定矩阵进行降维操作得到降维矩阵，利用最小黎曼均值距离算法对所述降维矩阵进行情绪识别，得到脑电信号对应的情绪类别。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的情绪识别方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的情绪识别方法。
由此，本申请至少具有如下有益效果：
本申请实施例利用可调Q因子小波变化对多通道脑电信号进行分解，利用多个频带的信号分量来构建协方差矩阵，以此来表征大脑的时域、频域和空域的特征信息，对称正定矩阵坐落在黎曼流形空间中，利用黎曼几何的距离来实现多种情绪状态的检测，无需额外的提取统计学特征，很好融合各通道之间的空间信息，算法新颖高效且可靠性高；利用对数欧式几何度量的双线性降维算法，使得低维空间能够保持原始流形空间的黎曼距离的关系，有效避免了过拟合和计算量大的问题；目标函数增加黎曼图仿射函数，通过图结构对每个样本和其局部邻域构成，邻域的边权重刻画了邻域样本间的关系，使得低维空间的每个邻域与高维间的邻域保持一致，有效抑制信号噪声较大的情况等有益效果。由此，解决了相关技术中基于脑电信号研究情绪过程中，情绪状态的特征可辨识度较低以及情绪识别分类准确度较低等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种情绪识别方法的流程图；
图2为根据本申请实施例提供的黎曼流形空间上对称正定矩阵降维的效果图；
图3为根据本申请具体实施例提供的情绪识别方法的流程图；
图4为根据本申请实施例提供的情绪识别装置的示意图；
图5为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的情绪识别方法、装置、电子设备及存储介质。针对上述背景技术中提到的相关技术中借用黎曼几何的工具对脑电信号序列进行深入研究，实现对情绪的分类，但是仿射不变黎曼度量的计算效率非常大且容易产生过拟合的问题，进一步导致情绪分类准确度大大降低的问题，本申请提供了一种情绪识别方法，在该方法中，借助对数欧式几何度量快速计算两个对称正定矩阵距离，保持了几何特性和空间信息，同时也增加了样本的可辨识度。由此，解决了相关技术中基于脑电信号研究情绪过程中，情绪状态的特征可辨识度较低以及情绪识别分类准确度较低等问题。
具体而言，图1为本申请实施例所提供的一种情绪识别方法的流程示意图。
如图1所示，该情绪识别方法包括以下步骤：
在步骤S101中，获取多通道脑电信号。
其中，本申请实施例可以通过脑电设备采集获取得到多通道脑电信号。
需要说明的是，本申请实施例需要根据被试者的不同情绪状态(积极、评级和消极)收集不同的脑电信号，获取对应的标签信息。
在步骤S102中，通过可调Q因子小波变换算法将多通道脑电信号中每个通道脑电信号进行频带划分，得到多个预设频带的重构信号，基于多个预设频带的重构信号构造黎曼空间上的对称正定矩阵。
其中，预设频带依据可调Q因子小波变换算法进行频带划分；一个信号样本表示为：
其中，Xi为第i个样本数据，C为脑电的通道数，N为每个脑电信号的采集点数量，m为样本的总数。
可以理解的是，本申请实施例通过可调Q因子小波变换算法将每个通道脑电信号进行频带划分，获得多个预设频带的重构信号，根据重构信号构造黎曼空间上的对称正定矩阵。
需要说明的是，可调Q因子小波变化是一种Q因子可调的离散时间小波变换，它通过三元参数品质因子Q、冗余度r、分阶层J进行参数化，其中品质因子Q表示小波振荡的持续程度；冗余度r表示当为无穷大时小波变化所有自带的总的过采样率；分解层数J代表分解层数。根据先验知识，参数设置为Q＝1，r＝3，j＝6。接着通过可调Q因子小波变换算法将每个通道的脑电信号进行子频带划分，获得近似四个特定频带(θ(4-8Hz),α(8-13Hz),β(13-30Hz),γ(30-45Hz))的重构信号，基于重构信号构造黎曼空间上的对称正定矩阵。
在本申请实施例中，在通过可调Q因子小波变换算法将多通道脑电信号中每个通道脑电信号进行频带划分之前，还包括：对脑电信号进行预设时长的无重叠时域截段，并利用四阶巴特沃斯滤波器剔除脑电信号的噪声信号。
其中，预设时长可以依据具体情况进行设定，比如可以为2秒～10秒。
可以理解的是，本申请实施例在通过可调Q因子小波变化算法将每个通道的脑电信号进行频带划分之前，需要对脑电时长进行预设时长的无重叠域阶段，利用四阶巴特沃斯滤波器剔除噪声信号。其中，设计频带为4-45Hz的四阶巴特沃斯滤波器对脑电信号Xi提出噪声干扰和运动伪影，降噪后的信号表示为
在本申请实施例中，基于多个预设频带的重构信号构造黎曼空间上的对称正定矩阵，包括：基于多个预设频带的重构信号构造新信号样本；对新信号样本进行协方差运算得到对称正定矩阵。
可以理解的是，本申请实施例基于获得的多个预设频带的重构信号，根据重构信号组成新的信号样本，构造具有辨识度的协方差矩阵，进一步进行协方差运算得到对称正定矩阵。
具体而言，获取近似四个频带(θ(4-8Hz),α(8-13Hz),β(13-30Hz),γ(30-45Hz))的重构信号，将其按顺序排列成新的信号样本Yi，其表示为：
其中，为经过四阶巴特沃斯滤波器的脑电信号，C为脑电的通道数，N为信号采集点数量，Yi的通道数目变为4C。协方差矩阵特征描述着大脑状态可分性的信息，坐落在高维的对称正定矩阵空间上，对新的信号样本进行协方差运算，得到对称正定矩阵，表示为：
其中，表示为对称正定矩阵空间，其坐落在黎曼流形空间。/>表示为对称矩阵空间，/>表示为正定矩阵空间。
需要说明的是，本申请实施例基于可调Q因子小波变化对多通道脑电信号进行分解，利用多个预设频带的信号分量来构建协方差矩阵，以此来表征大脑的时域、频数和空域的特征信息。协方差矩阵坐落在黎曼流形空间中，利用黎曼几何的距离来实现多种情绪的检测，无需额外的提取统计学特征，很好的融合各通道之间的空间信息。
在步骤S103中，设计基于对数欧式几何度量的黎曼流形的目标函数，根据目标函数确定最优映射矩阵，并利用最优映射矩阵对黎曼空间上的对称正定矩阵进行降维操作得到降维矩阵，利用最小黎曼均值距离算法对降维矩阵进行情绪识别，得到每个通道脑电信号对应的情绪类别。
可以理解的是，本申请实施例可以设计基于对数欧式几何度量的黎曼流形的目标函数，获取最优映射矩阵，对原始的黎曼流形点进行双向性降维运算，进一步利用最优映射矩阵对黎曼空间上对称正定矩阵进行降维操作，最后利用最小黎曼均值距离算法对降维矩阵进行情绪识别，完成不同情绪状态的检测。其中，目标函数，降维矩阵，最小黎曼均值距离算法在下述实施例中具体阐述。
在本申请实施例中，设计基于对数欧式几何度量的黎曼流形的目标函数，包括：基于黎曼流形的几何特性，利用对数欧式几何的方式度量对称正定矩阵间的距离关系，构建黎曼流形降维的损失函数；根据对称正定矩阵的邻近点构成图的连接关系确定黎曼图仿射函数；根据黎曼流形降维的损失函数、黎曼图仿射函数和正交约束条件构造目标函数。
其中，基于黎曼流形的几何特性，利用对数欧式几何的方式度量对称正定矩阵间的距离关系，构建黎曼流形降维的损失函数，表示为：
损失函数表示降维后的对称正定矩阵的相似度，寻找最优的映射矩阵。其中，Zi,Zj分别为黎曼流形空间上其中一个点，代表脑电样本信号特征信息。对称正定矩阵的对数欧式几何度量表示为：
其中，||·||F为矩阵的Frobenius范数和表示为矩阵对数运算log(Z)＝Udiag(log(σk))UT表示为对称正定矩阵Z的对数运算，其中，Z＝Udiag(σk)UT表示为Z的特征值分解，U为Z的特征向量，σi为Z的特征值。
在本申请实施例中，黎曼图仿射函数由对称正定矩阵Zi的临近点构成图的连接关系，计算其边权重。权重矩阵U＝[uij]，其表示为：
这里表示为黎曼测地线距离。其中uij表示权重系数，当/>和Zj存在邻近关系，/>当Zi和Zj不存在邻近关系，uij＝0。U反映了黎曼流形降维后的局部结构。
需要说明的是，为确保降维后的矩阵为对称正定矩阵，即需要添加正交约束/>来实现，其中M<N和IM表示M×M的单位矩阵。
可以理解的是，本申请实施例可以基于黎曼流形的几何特性，利用对数欧式几何的方式度量对称正定矩阵间的距离关系，构造黎曼流形降维的损失函数。目标函数由黎曼图仿射函数和降维后对称正定矩阵的相似度构成，黎曼图仿射函数uij有对称正定矩阵矩阵Zi的临近点构成图的连接关系。约束条件为映射矩阵的正交约束，表示为：
s.t.VVT＝IM
其中，V为映射矩阵，VT为映射矩阵的转置，为映射矩阵的维度，为每个脑电信号的采样点数量，uij为权重系数，Zi，Zj分别为黎曼流形空间上其中一个点，代表脑电样本信号的特征信息，为基于对数欧式几何的距离度量，IM表示M×M的单位矩阵。
下一步，对log(VZVT)在IN处进行泰勒展开，可表示为：
进一步地，将目标函数化简为：
s.t.VVT＝IM
令
则
最后，采用迭代特征值分析算法求解目标函数的优化问题，选择前M个特征向量得到最优映射矩阵V*。
在本申请实施例中，通过最优映射矩阵V*对黎曼空间上的对称正定矩阵进行降维操作得到降维矩阵为：
其中，P为降维矩阵，V为映射矩阵，Z为对称正定矩阵，VT为映射矩阵的转置，M为映射矩阵的维度，SPD(M)为维度为M的对称正定矩阵空间。
需要说明的是，本申请实施中由于协方差的维数过大，导致特征模型的运算效率大大增减，因此选择基于欧式几何度量的降维算法，使用最优映射矩阵来达到降维效果，使得低维空间能够保持原始流行空间的黎曼距离的关系，这有效避免了过拟合和计算量大的问题，降维的效果图如图2所示。目标函数增加黎曼图仿射函数，目的是通过图结构对每个样本和其局部邻域构成，邻域的边权重刻画了邻域样本间的关系，使得低维空间的每个邻域与高维间的邻域保持一致，有效抑制信号噪声较大的情况。
在本申请实施例中，利用最小黎曼均值距离算法对降维矩阵进行情绪识别，最小黎曼均值距离算法为：
其中，Pj为第j个脑电信号的测试样本，Ck表示第k类的情绪状态，寻找与对称正定矩阵Ck的最小黎曼距离，最终测试样本标签为Ck对应的标签类别，k为每个情绪类别，k*为最优的标签，为基于黎曼仿射不变的距离度量。。
综上，下面通过一个具体实施例来阐述本申请实施例的情绪识别方法具体流程如图3所示：
S01：通过脑电设备采集多通道脑电信号，根据被试者的三种情绪状态(积极、平静和消极)收集不同的脑电信号，获得对应的标签信息，对脑电信号进行长度为无重叠时域截段，利用四阶巴特沃斯滤波器剔除噪声信号。
S02：通过可调Q因子小波变换算法将每个通道的脑电信号进行子频带划分，获得近似四个特定频带(θ(4-8Hz),α(8-13Hz),β(13-30Hz),γ(30-45Hz))的重构信号，根据重构信号组合成新的信号样本，构造具有辨识度的协方差矩阵。
S03：设计基于对数欧式几何度量的黎曼流形降维的损失函数，获取最优映射矩阵，对原始的黎曼流形点进行双线性降维运算。
S04：最后利用最优映射矩阵对黎曼空间上对称正定矩阵进行降维操作，接着对降维后的协方差矩阵通过最小黎曼均值距离算法完成三种情绪状态的检测。
根据本申请实施例提出的情绪识别方法，利用可调Q因子小波变化对多通道脑电信号进行分解，利用多个频带的信号分量来构建协方差矩阵，以此来表征大脑的时域、频域和空域的特征信息，对称正定矩阵坐落在黎曼流形空间中，利用黎曼几何的距离来实现多种情绪状态的检测，无需额外的提取统计学特征，很好融合各通道之间的空间信息，算法新颖高效且可靠性高；利用对数欧式几何度量的双线性降维算法，使得低维空间能够保持原始流形空间的黎曼距离的关系，有效避免了过拟合和计算量大的问题；目标函数增加黎曼图仿射函数，通过图结构对每个样本和其局部邻域构成，邻域的边权重刻画了邻域样本间的关系，使得低维空间的每个邻域与高维间的邻域保持一致，有效抑制信号噪声较大的情况。
其次参照附图描述根据本申请实施例提出的情绪识别装置。
图4是本申请实施例的情绪识别装置的方框示意图。
如图4所示，该情绪识别装置10包括：获取模块100、构造模块200和识别模块300。
其中，获取模块100用于获取多通道脑电信号；构造模块200用于通过可调Q因子小波变换算法将多通道脑电信号中每个通道脑电信号进行频带划分，得到多个预设频带的重构信号，基于多个预设频带的重构信号构造黎曼空间上的对称正定矩阵；识别模块300用于设计基于对数欧式几何度量的黎曼流形的目标函数，根据目标函数确定最优映射矩阵，并利用最优映射矩阵对黎曼空间上的对称正定矩阵进行降维操作得到降维矩阵，利用最小黎曼均值距离算法对降维矩阵进行情绪识别，得到脑电信号对应的情绪类别。
需要说明的是，前述对情绪识别方法实施例的解释说明也适用于该实施例的情绪识别装置，此处不再赘述。
根据本申请实施例提出的情绪识别装置，利用可调Q因子小波变化对多通道脑电信号进行分解，利用多个频带的信号分量来构建协方差矩阵，以此来表征大脑的时域、频域和空域的特征信息，对称正定矩阵坐落在黎曼流形空间中，利用黎曼几何的距离来实现多种情绪状态的检测，无需额外的提取统计学特征，很好融合各通道之间的空间信息，算法新颖高效且可靠性高；利用对数欧式几何度量的双线性降维算法，使得低维空间能够保持原始流形空间的黎曼距离的关系，有效避免了过拟合和计算量大的问题；目标函数增加黎曼图仿射函数，通过图结构对每个样本和其局部邻域构成，邻域的边权重刻画了邻域样本间的关系，使得低维空间的每个邻域与高维间的邻域保持一致，有效抑制信号噪声较大的情况。
图5为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
处理器502执行程序时实现上述实施例中提供的情绪识别方法。
进一步地，电子设备还包括：
通信接口503，用于存储器501和处理器502之间的通信。
存储器501，用于存放可在处理器502上运行的计算机程序。
存储器501可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
处理器502可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的情绪识别方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种情绪识别方法，其特征在于，包括以下步骤：
获取多通道脑电信号；
通过可调Q因子小波变换算法将所述多通道脑电信号中每个通道脑电信号进行频带划分，得到多个预设频带的重构信号，基于所述多个预设频带的重构信号构造黎曼空间上的对称正定矩阵；
设计基于对数欧式几何度量的黎曼流形的目标函数，根据所述目标函数确定最优映射矩阵，并利用所述最优映射矩阵对所述黎曼空间上的对称正定矩阵进行降维操作得到降维矩阵，利用最小黎曼均值距离算法对所述降维矩阵进行情绪识别，得到脑电信号对应的情绪类别。
2.根据权利要求1所述的情绪识别方法，其特征在于，所述基于所述多个预设频带的重构信号构造黎曼空间上的对称正定矩阵，包括：
基于所述多个预设频带的重构信号构造新信号样本；
对所述新信号样本进行协方差运算得到所述对称正定矩阵。
3.根据权利要求1所述的情绪识别方法，其特征在于，所述设计基于对数欧式几何度量的黎曼流形的目标函数，包括：
基于黎曼流形的几何特性，利用对数欧式几何的方式度量对称正定矩阵间的距离关系，构建黎曼流形降维的损失函数；
根据所述对称正定矩阵的邻近点构成图的连接关系确定黎曼图仿射函数；
根据所述黎曼流形降维的损失函数、所述黎曼图仿射函数和正交约束条件构造所述目标函数。
4.根据权利要求1或3所述的情绪识别方法，其特征在于，所述目标函数为：
其中，V为映射矩阵，VT为映射矩阵的转置，为映射矩阵的维度，为每个脑电信号的采样点数量，uij为权重系数，Zi，Zj分别为黎曼流形空间上其中一个点，代表脑电样本信号的特征信息，为基于对数欧式几何的距离度量，IM表示M×M的单位矩阵。
5.根据权利要求1所述的情绪识别方法，其特征在于，所述降维矩阵为：
其中，P为降维矩阵，V为映射矩阵，Z为对称正定矩阵，VT为映射矩阵的转置，M为映射矩阵的维度，SPD()为维度为M的对称正定矩阵空间。
6.根据权利要求1所述的情绪识别方法，其特征在于，所述最小黎曼均值距离算法为：
其中，Pj为第j个脑电信号的测试样本，Ck为第k类的情绪状态，寻找与对称正定矩阵Ck的最小黎曼距离，最终测试样本标签为Ck对应的标签类别，k为每个情绪类别，k*为最优的标签，为基于黎曼仿射不变的距离度量。
7.根据权利要求1所述的情绪识别方法，其特征在于，在通过可调Q因子小波变换算法将所述多通道脑电信号中每个通道脑电信号进行频带划分之前，还包括：
对脑电信号进行预设时长的无重叠时域截段，并利用四阶巴特沃斯滤波器剔除脑电信号的噪声信号。
8.一种情绪识别装置，其特征在于，包括：
获取模块，用于获取多通道脑电信号；
构造模块，用于通过可调Q因子小波变换算法将所述多通道脑电信号中每个通道脑电信号进行频带划分，得到多个预设频带的重构信号，基于所述多个预设频带的重构信号构造黎曼空间上的对称正定矩阵；
识别模块，用于设计基于对数欧式几何度量的黎曼流形的目标函数，根据所述目标函数确定最优映射矩阵，并利用所述最优映射矩阵对所述黎曼空间上的对称正定矩阵进行降维操作得到降维矩阵，利用最小黎曼均值距离算法对所述降维矩阵进行情绪识别，得到脑电信号对应的情绪类别。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的情绪识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-7任一项所述的情绪识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310505657.2A CN116687406B (zh) | 2023-05-06 | 2023-05-06 | 情绪识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310505657.2A CN116687406B (zh) | 2023-05-06 | 2023-05-06 | 情绪识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116687406A true CN116687406A (zh) | 2023-09-05 |
| CN116687406B CN116687406B (zh) | 2024-01-02 |
Family
ID=87838182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310505657.2A Active CN116687406B (zh) | 2023-05-06 | 2023-05-06 | 情绪识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116687406B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930790A (zh) * | 2016-04-19 | 2016-09-07 | 电子科技大学 | 基于核稀疏编码的人体行为识别方法 |
| CN108764351A (zh) * | 2018-05-30 | 2018-11-06 | 佛山科学技术学院 | 一种基于测地距离的黎曼流形保持核学习方法及装置 |
| CN109376787A (zh) * | 2018-10-31 | 2019-02-22 | 聚时科技(上海)有限公司 | 流形学习网络及基于其的计算机视觉图像集分类方法 |
| CN109615014A (zh) * | 2018-12-17 | 2019-04-12 | 清华大学 | 一种基于kl散度优化的数据分类系统与方法 |
| KR20200093970A (ko) * | 2019-01-29 | 2020-08-06 | 중앙대학교 산학협력단 | 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법 |
| CN113255603A (zh) * | 2021-06-29 | 2021-08-13 | 中国人民解放军国防科技大学 | 基于黎曼流形监督降维的增强矩阵恒虚警率检测方法 |
| CN114139572A (zh) * | 2021-10-29 | 2022-03-04 | 杭州电子科技大学 | 一种基于增强对称正定矩阵的脑电情绪识别方法 |
| CN114373224A (zh) * | 2021-12-28 | 2022-04-19 | 华南理工大学 | 基于自监督学习的模糊3d骨架动作识别方法及装置 |
| CN114510956A (zh) * | 2020-10-28 | 2022-05-17 | 中国科学院沈阳自动化研究所 | 基于黎曼空间量化的多类别运动想象脑电信号识别方法 |
| CN114757236A (zh) * | 2022-06-13 | 2022-07-15 | 广东工业大学 | 基于tqwt与svmd的脑电信号去噪优化方法及系统 |
| CN114863548A (zh) * | 2022-03-22 | 2022-08-05 | 天津大学 | 基于人体运动姿态非线性空间特征的情绪识别方法及装置 |
| CN114970603A (zh) * | 2022-04-27 | 2022-08-30 | 海南卷积科技有限公司 | 基于分形模式特征生成函数的脑电信号情感识别方法 |
-
2023
- 2023-05-06 CN CN202310505657.2A patent/CN116687406B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930790A (zh) * | 2016-04-19 | 2016-09-07 | 电子科技大学 | 基于核稀疏编码的人体行为识别方法 |
| CN108764351A (zh) * | 2018-05-30 | 2018-11-06 | 佛山科学技术学院 | 一种基于测地距离的黎曼流形保持核学习方法及装置 |
| CN109376787A (zh) * | 2018-10-31 | 2019-02-22 | 聚时科技(上海)有限公司 | 流形学习网络及基于其的计算机视觉图像集分类方法 |
| CN109615014A (zh) * | 2018-12-17 | 2019-04-12 | 清华大学 | 一种基于kl散度优化的数据分类系统与方法 |
| KR20200093970A (ko) * | 2019-01-29 | 2020-08-06 | 중앙대학교 산학협력단 | 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법 |
| CN114510956A (zh) * | 2020-10-28 | 2022-05-17 | 中国科学院沈阳自动化研究所 | 基于黎曼空间量化的多类别运动想象脑电信号识别方法 |
| CN113255603A (zh) * | 2021-06-29 | 2021-08-13 | 中国人民解放军国防科技大学 | 基于黎曼流形监督降维的增强矩阵恒虚警率检测方法 |
| CN114139572A (zh) * | 2021-10-29 | 2022-03-04 | 杭州电子科技大学 | 一种基于增强对称正定矩阵的脑电情绪识别方法 |
| CN114373224A (zh) * | 2021-12-28 | 2022-04-19 | 华南理工大学 | 基于自监督学习的模糊3d骨架动作识别方法及装置 |
| CN114863548A (zh) * | 2022-03-22 | 2022-08-05 | 天津大学 | 基于人体运动姿态非线性空间特征的情绪识别方法及装置 |
| CN114970603A (zh) * | 2022-04-27 | 2022-08-30 | 海南卷积科技有限公司 | 基于分形模式特征生成函数的脑电信号情感识别方法 |
| CN114757236A (zh) * | 2022-06-13 | 2022-07-15 | 广东工业大学 | 基于tqwt与svmd的脑电信号去噪优化方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| HUANG Z，等: "Projection metric learning on Grassmann manifold with application to video based face recognition", 《IEEE.IEEE》 * |
| ZHIWU HUANG，等: "Log-Euclidean Metric Learning on Symmetric Positive Definite Manifold with Application to Image Set Classification", 《PROCEEDINGS OF THE 32 ND INTERNATIONAL CONFERENCE ON MACHINE LEARNING》, vol. 37 * |
| 马杲东: "基于稀疏表示的小样本人脸图像集分类研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116687406B (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xie et al. | Wavelet-based sparse functional linear model with applications to EEGs seizure detection and epilepsy diagnosis | |
| Güler et al. | Adaptive neuro-fuzzy inference system for classification of EEG signals using wavelet coefficients | |
| US8577451B2 (en) | System and methods for neurologic monitoring and improving classification and treatment of neurologic states | |
| Zamanian et al. | A new feature extraction method to improve emotion detection using EEG signals | |
| Peng et al. | Automatic epileptic seizure detection via Stein kernel-based sparse representation | |
| Zeng et al. | A new approach for the detection of abnormal heart sound signals using TQWT, VMD and neural networks | |
| Taqi et al. | Classification and discrimination of focal and non-focal EEG signals based on deep neural network | |
| CN114366124B (zh) | 一种基于半监督深度卷积通道注意力单分类网络的癫痫脑电识别方法 | |
| CN111310570A (zh) | 一种基于vmd和wpd的脑电信号情感识别方法及系统 | |
| CA3063321A1 (en) | Method, command, device and program to determine at least one brain network involved in carrying out a given process | |
| Tawhid et al. | Automatic and efficient framework for identifying multiple neurological disorders from EEG signals | |
| Jadhav et al. | Automated sleep stage scoring using time-frequency spectra convolution neural network | |
| CN115414051A (zh) | 一种脑电信号自适应窗口的情绪分类识别方法 | |
| Putra et al. | EEG-based emotion classification using wavelet decomposition and K-nearest neighbor | |
| Chalaki et al. | Epileptic seizure classification using ConvLSTM deep classifier and rotation short-time Fourier Transform | |
| CN114209320A (zh) | 一种基于图互信息最大化的抑郁症患者脑电识别系统 | |
| CN116687406B (zh) | 情绪识别方法、装置、电子设备及存储介质 | |
| CN115017960B (zh) | 一种基于时空联合mlp网络的脑电信号分类方法及应用 | |
| CN116439730A (zh) | 一种基于脑连接特征和领域自适应的睡眠分期方法和装置 | |
| CN105787459A (zh) | 一种基于最优评分稀疏判别的erp信号分类方法 | |
| Rukhsar et al. | Barnes–Hut approximation based accelerating t-SNE for seizure detection | |
| Wang et al. | Combining STFT and random forest algorithm for epileptic detection | |
| Shnitzer et al. | Alternating diffusion maps for dementia severity assessment | |
| CN114305387A (zh) | 基于磁共振成像的脑小血管病变图像分类方法、设备及介质 | |
| Abenna et al. | Alcohol use disorders automatic detection based BCI systems: a novel EEG classification based on machine learning and optimization algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |