CN117370768A - 一种精神患者的情绪波动检测方法及系统 - Google Patents
一种精神患者的情绪波动检测方法及系统 Download PDFInfo
- Publication number
- CN117370768A CN117370768A CN202311675916.2A CN202311675916A CN117370768A CN 117370768 A CN117370768 A CN 117370768A CN 202311675916 A CN202311675916 A CN 202311675916A CN 117370768 A CN117370768 A CN 117370768A
- Authority
- CN
- China
- Prior art keywords
- emotion
- data
- recognition model
- target
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003340 mental effect Effects 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title abstract description 12
- 230000036651 mood Effects 0.000 title description 7
- 230000008451 emotion Effects 0.000 claims abstract description 319
- 230000008909 emotion recognition Effects 0.000 claims abstract description 189
- 230000006399 behavior Effects 0.000 claims abstract description 32
- 230000008921 facial expression Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 206010027951 Mood swings Diseases 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims description 50
- 230000001121 heart beat frequency Effects 0.000 claims description 29
- 208000019901 Anxiety disease Diseases 0.000 claims description 27
- 206010063659 Aversion Diseases 0.000 claims description 27
- 230000036506 anxiety Effects 0.000 claims description 27
- 230000000630 rising effect Effects 0.000 claims description 27
- 230000036760 body temperature Effects 0.000 claims description 25
- 230000036772 blood pressure Effects 0.000 claims description 22
- 239000008280 blood Substances 0.000 claims description 13
- 210000004369 blood Anatomy 0.000 claims description 13
- 230000036391 respiratory frequency Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000035565 breathing frequency Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 4
- 238000012958 reprocessing Methods 0.000 claims description 4
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 claims description 3
- 239000008103 glucose Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 208000028017 Psychotic disease Diseases 0.000 claims 1
- 230000003542 behavioural effect Effects 0.000 claims 1
- 230000002996 emotional effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 230000028327 secretion Effects 0.000 description 2
- UCTWMZQNUQWSLP-VIFPVBQESA-N (R)-adrenaline Chemical compound CNC[C@H](O)C1=CC=C(O)C(O)=C1 UCTWMZQNUQWSLP-VIFPVBQESA-N 0.000 description 1
- 229930182837 (R)-adrenaline Natural products 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 210000000941 bile Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 206010061428 decreased appetite Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 201000006549 dyspepsia Diseases 0.000 description 1
- 229960005139 epinephrine Drugs 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004051 gastric juice Anatomy 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 210000000514 hepatopancreas Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000035922 thirst Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请提供了一种精神患者的情绪波动检测方法及系统,用于检测精神患者的情绪波动。该方法主要包括:获取目标精神患者在预置时间段的生理数据、语音数据、面部表情数据以及行为数据;根据生理数据确定目标精神患者是否出现情绪异常波动;若出现情绪异常波动,则根据生理数据的变换趋势确定对应的情绪识别模型;不同的生理数据的变换趋势对应一个或多个情绪识别模型,不同的情绪识别模型用于识别不同的情绪;将语音数据、面部表情数据以及行为数据装换为目标数据特征;将目标数据特征输入到对应的情绪识别模型得到对应的情绪识别结果。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种精神患者的情绪波动检测方法及系统。
背景技术
情绪的波动往往伴随着生理指标的变化,比如与情绪有关的生理指标主要有:皮肤电、呼吸、血压、脉搏、血氧含量、血管容积、腺体分泌、体温等;同时临床医学和理论心理学表明,人体的情绪波动与自身的身心健康息息相关,尤其是精神患者人群,他们很多时候无意识地情绪波动就埋下了致命的隐患。
因此,精神患者进行情绪波动的监测尤其重要,但目前市场上却并没有相关的人体情绪波动监测产品出现,需要进一步进行研究。
发明内容
本申请实施例提供一种精神患者的情绪波动检测方法及系统,用于检测精神患者的情绪波动。
本发明实施例提供一种精神患者的情绪波动检测方法,方法包括:
获取目标精神患者在预置时间段的生理数据、语音数据、面部表情数据以及行为数据;
根据所述生理数据确定所述目标精神患者是否出现情绪异常波动;
若出现所述情绪异常波动,则根据所述生理数据的变换趋势确定对应的情绪识别模型;不同的生理数据的变换趋势对应一个或多个情绪识别模型,不同的情绪识别模型用于识别不同的情绪;
将所述语音数据、所述面部表情数据以及所述行为数据装换为目标数据特征;
将所述目标数据特征输入到对应的所述情绪识别模型得到对应的情绪识别结果。
在本发明提供的一个可选实施例中,所述生理数据至少包括心跳频率数据、呼吸频率数据、体温数据、血糖数据、血压数据;所述根据所述生理数据确定所述目标精神患者是否出现情绪异常波动,包括:
确定在所述预置时间段内的心跳频率数据、呼吸频率数据、体温数据、血糖数据、血压数据分别对应的变化趋势是否超过预置数值;
若存在变化趋势超过所述预置数值的心跳频率数据、呼吸频率数据、体温数据和/或血压数据,则确定所述目标精神患者出现情绪异常波动。
在本发明提供的一个可选实施例中,所述根据所述生理数据的变换趋势确定对应的情绪识别模型,包括:
若所述心跳频率数据、所述呼吸频率数据的变化趋势为上升,确定对应的情绪识别模型为快乐情绪识别模型;
若所述血糖数据、所述体温数据的变化趋势为上升,确定对应的情绪识别模型为害羞情绪识别模型;
若所述心跳频率数据的变化趋势为上升,所述体温数据的变化趋势为下降,确定对应的情绪识别模型为恐惧情绪识别模型;
若所述血压数据的变化趋势为上升,确定对应的情绪识别模型为厌恶情绪识别模型、紧张情绪识别模型、焦虑情绪识别模型;
若所述心跳频率数据的变化趋势为上升且所述体温数据的变化趋势为上升,确定对应的情绪识别模型为发怒情绪识别模型;
若所述心跳频率数据的变化趋势为下降,确定对应的情绪识别模型为悲伤情绪识别模型。
在本发明提供的一个可选实施例中,所述将所述语音数据、所述面部表情数据以及所述行为数据装换为目标数据特征,包括:
将所述语音转换为文本数据,以及将所述面部表情数据以及所述行为数据分别转换图片数据;
对所述文本数据以及所述图片数据进行去重处理;
将经过去重处理的文本数据以及图片数据确定为目标数据特征。
在本发明提供的一个可选实施例中,所述将所述目标数据特征输入到对应的所述情绪识别模型得到对应的情绪识别结果,包括:
将所述目标数据特征分别输入到对应的所述情绪识别模型得到对应情绪类别的情绪预测值;
根据得到的所有情绪类别的情绪预测值得到对应的情绪识别结果。
在本发明提供的一个可选实施例中,所述根据得到的所有情绪类别的情绪预测值得到对应的情绪识别结果,包括:
根据得到的所有情绪类别获取多个情绪类别组,/>,n为得到的所有情绪类别的数量;
根据所述情绪类别组及其对应的两个情绪类别的同时出现概率、情绪预测值对通过所述情绪识别模型得到的情绪类别进行过滤;
将过滤后的情绪类别确定对应的情绪识别结果。
在本发明提供的一个可选实施例中,所述根据所述情绪类别组及其对应的两个情绪类别的同时出现概率、情绪预测值对通过所述情绪识别模型得到的情绪类别进行过滤,包括:
获取同时出现概率小于目标数值的情绪类别组确定为目标情绪类别组;
将所述目标情绪类别组中情绪预测值小的情绪类别删除;
将剩余的情绪类别中情绪预测值大于预置概率值的情绪类别确定为情绪识别结果。
在本发明提供的一个可选实施例中,所述方法还包括:
从样本数据中提取样本文本数据以及样本图片数据,样本文本数据由样本数据中的语音数据转换而来,样本图片数据由样本数据中的面部表情数据以及行为数据分别转换而来;
对所述样本数据中的语音数据进行情感分析得到第一情感类别;对所述样本图片数据进行图像识别得到第二情感类别;对所述样本文本数据进行文字识别分析得到第三情感类别;
根据所述第一情感类别、所述第二情感类别以及所述第三情感类别确定所述样本数据对应的情感类别;
根据所述样本数据及其对应的情感类别进行模型训练得到所述情绪识别模型。
在本发明提供的一个可选实施例中,所述根据所述第一情感类别、所述第二情感类别以及所述第三情感类别确定所述样本数据对应的情感类别,包括:
确定所述第一情感类别、所述第二情感类别以及所述第三情感类别中是否存在相同的情感类别;
若存在,将所述第一情感类别、所述第二情感类别以及所述第三情感类别中相同的情感类别确定为所述样本数据对应的情感类别;
若不存在,则将每两个情绪类别的同时出现概率大于目标概率值的情感类别确定为所述样本数据对应的情感类别。
本发明实施例提供一种精神患者的情绪波动检测系统,装置包括:
获取模块,用于获取目标精神患者在预置时间段的生理数据、语音数据、面部表情数据以及行为数据;
确定模块,用于根据所述生理数据确定所述目标精神患者是否出现情绪异常波动;
所述确定模块,还用于若出现所述情绪异常波动,则根据所述生理数据的变换趋势确定对应的情绪识别模型;不同的生理数据的变换趋势对应一个或多个情绪识别模型,不同的情绪识别模型用于识别不同的情绪;
转换模块,用于将所述语音数据、所述面部表情数据以及所述行为数据装换为目标数据特征;
识别模块,用于将所述目标数据特征输入到每个所述情绪识别模型得到对应的情绪识别结果。
本发明提供一种精神患者的情绪波动检测方法及系统,首先获取目标精神患者在预置时间段的生理数据、语音数据、面部表情数据以及行为数据,然后根据生理数据确定目标精神患者是否出现情绪异常波动;若出现情绪异常波动,则根据生理数据的变换趋势确定对应的情绪识别模型;将语音数据、面部表情数据以及行为数据装换为目标数据特征;最后将目标数据特征输入到对应的情绪识别模型得到对应的情绪识别结果。由于本发明中不同的生理数据的变换趋势对应一个或多个情绪识别模型,不同的情绪识别模型用于识别不同的情绪,本发明根据生理数据的变化趋势对应的情绪识别模型得到对应的情绪识别结果,从而通过本实施例可以实现检测出精神患者的情绪波动。
附图说明
图1为本申请提供的一种精神患者的情绪波动检测方法流程图;
图2为本申请提供的一种情绪识别模型的训练方法的流程图;
图3为本申请提供的一种精神患者的情绪波动检测系统结构图。
具体实施方式
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本申请实施例的技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请实施例技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
请参阅图1所示,为本发明实施例提供的一种精神患者的情绪波动检测方法,该方法执行流程如下所示:
S101,获取目标精神患者在预置时间段的生理数据、语音数据、面部表情数据以及行为数据。
其中,生理数据具体可以通过目标精神患者佩戴的穿戴设备,如该穿戴设备为电子手环,通过该电子手环获取生理数据;语音数据同样也可以通过佩戴的穿戴设备获取,即通过穿戴设备录制目标精神患者产生的语音。预置时间段可以根据实际需求进行设定,如该预置时间段为3小时、5小时、一天等,本实施例对此不做具体限定。
在本实施例中,面部表情数据以及行为数据可以通过摄像设备获取,即通过摄像设备拍摄目标精神患者的面部以及举止行为。
S102,根据生理数据确定目标精神患者是否出现情绪异常波动。
其中,所述生理数据至少包括心跳频率数据、呼吸频率数据、体温数据、血糖数据、血压数据。
需要说明的是,由于情绪变化对身体的各项指标会产生明显的影响。不同的情绪状态会导致不同的生理反应,这可能包括心率、血压、呼吸频率、皮肤温度和肌肉紧张度等方面的变化。因此,本实施例根据所述生理数据确定所述目标精神患者是否出现情绪异常波动,包括:确定在所述预置时间段内的心跳频率数据、呼吸频率数据、体温数据、血糖数据、血压数据分别对应的变化趋势是否超过预置数值;若存在变化趋势超过所述预置数值的心跳频率数据、呼吸频率数据、体温数据和/或血压数据,则确定所述目标精神患者出现情绪异常波动。其中,预置数值为根据实际情况具体设置的数值。
S103,若出现情绪异常波动,则根据生理数据的变换趋势确定对应的情绪识别模型。
其中,不同的生理数据的变换趋势对应一个或多个情绪识别模型,不同的情绪识别模型用于识别不同的情绪。具体的,情绪识别模型可以包括:快乐情绪识别模型、害羞情绪识别模型、恐惧情绪识别模型、厌恶情绪识别模型、紧张情绪识别模型、焦虑情绪识别模型、发怒情绪识别模型、悲伤情绪识别模型等,即每个情绪识别模型为一个二分类神经网络模型,通过对应的情绪识别模型识别目标精神患者是否出现对应的情绪。
在本申请提供一个可选实施例中,所述根据所述生理数据的变换趋势确定对应的情绪识别模型,包括:若所述心跳频率数据、所述呼吸频率数据的变化趋势为上升,确定对应的情绪识别模型为快乐情绪识别模型;若所述血糖数据、所述体温数据的变化趋势为上升,确定对应的情绪识别模型为害羞情绪识别模型;若所述心跳频率数据的变化趋势为上升,所述体温数据的变化趋势为下降,确定对应的情绪识别模型为恐惧情绪识别模型;若所述血压数据的变化趋势为上升,确定对应的情绪识别模型为厌恶情绪识别模型、紧张情绪识别模型、焦虑情绪识别模型;若所述心跳频率数据的变化趋势为上升且所述体温数据的变化趋势为上升,确定对应的情绪识别模型为发怒情绪识别模型;若所述心跳频率数据的变化趋势为下降,确定对应的情绪识别模型为悲伤情绪识别模型。
例如,针对快乐情绪可能的情绪体验:感到暖和心跳加速,肌肉放松;身体治标的变化:心率加快,心率变异性降低,呼吸频率变快,瞳孔缩小,唾液、胃液、胆汁分泌增多。在本实施例中,若心跳频率数据、呼吸频率数据的变化趋势为上升时,确定对应的情绪识别模型为快乐情绪识别模型。
又例如,针对焦虑情绪可能的情绪体验:口渴、食欲不振、消化不良;肾上腺素增多,消化腺活动减弱,血压升高。在本实施例中,若血压数据的变化趋势为上升,确定对应的情绪识别模型为焦虑情绪识别模型。
S104,将语音数据、面部表情数据以及行为数据装换为目标数据特征。
在本申请提供一个可选实施例中,所述将所述语音数据、所述面部表情数据以及所述行为数据装换为目标数据特征,包括:将所述语音转换为文本数据,以及将所述面部表情数据以及所述行为数据分别转换图片数据;对所述文本数据以及所述图片数据进行去重处理;将经过去重处理的文本数据以及图片数据确定为目标数据特征。
具体的,本实施例面部表情数据以及行为数据分别转换为一帧帧的图片数据,然后对转换的图片数据进行匹配,将相似度比较高的图片进行去重处理,然后将经过去重处理的文本数据以及图片数据确定为目标数据特征。由此以最小的数据量表示目标数据特征,从而可在后续步骤中可以提高情绪识别结果的识别效率。
S105,将目标数据特征输入到对应的情绪识别模型得到对应的情绪识别结果。
其中,情绪识别模型为根据大量的样本数据训练而得到的神经网络模型,该神经网络模型为二分类模型。在本实施例中,在得到目标数据特征之后,将该目标数据特征输入到对应的情绪识别模型得到情绪识别结果。
需要说明的是,输入的情绪识别模型可以为多个,如针对于血压数据的变化趋势为上升,确定对应的情绪识别模型为厌恶情绪识别模型、紧张情绪识别模型、焦虑情绪识别模型,即需要将目标数据特征分别输入到厌恶情绪识别模型、紧张情绪识别模型、焦虑情绪识别模型中,通过三个模型得到的情绪识别结果确定对应的目标精神患者的情绪。具体的,如输入到三个模型得到的情绪识别结果为:厌恶情绪的概率为60%,紧张情绪的概率为80%,焦虑情绪的概率为85,则可以取概率值最高的情绪作为最终的情绪识别结果;也可以将超过一定概率指的情绪作为最终的情绪识别结果,如将概率值达到80%的紧张情绪和焦虑情绪作为最终的情绪识别结果。
在本申请提供的一个可选实施例中,所述将所述目标数据特征输入到对应的所述情绪识别模型得到对应的情绪识别结果,包括:
S1051,将所述目标数据特征分别输入到对应的所述情绪识别模型得到对应情绪类别的情绪预测值。
其中,情绪预测值为一个概率值,如输入的情绪识别模型为紧张情绪识别模型,则通过该模型得到的结果为是否为紧张情绪的概率值。
S1052,根据得到的所有情绪类别获取多个情绪类别组。
其中,,n为得到的所有情绪类别的数量。
在本实施例中,情绪类别组中为根据情绪识别模型得到的所有情绪类别得到的情绪组合,该情绪类别组合中包括两种情绪类别。
例如,针对于血压数据的变化趋势为上升,确定对应的情绪识别模型为厌恶情绪识别模型、紧张情绪识别模型、焦虑情绪识别模型,即需要将目标数据特征分别输入到厌恶情绪识别模型、紧张情绪识别模型、焦虑情绪识别模型中,通过三个模型得到的情绪识别结果确定对应的目标精神患者的情绪,即通过三个模型得到的情绪类别组为(厌恶、紧张),(厌恶、焦虑),(紧张,焦虑),其中1-3,即n为三种情绪类别。
S1053,根据所述情绪类别组及其对应的两个情绪类别的同时出现概率、情绪预测值对通过所述情绪识别模型得到的情绪类别进行过滤。
需要说明的是,两个情绪类别的同时出现概率是根据大量数据仅需统计得到的,如(快乐、悲伤)两个情绪类别在同一时刻同时出现在一个人的身上的概率为0%;(紧张,焦虑)两个情绪类别在同一时刻同时出现在一个人的身上的概率为70%。
在本实施例中,针对两个情绪类别的同时出现概率、情绪预测值可对得到情绪类别进行过滤,以此提高情绪波动的检测结果以及监测精度。
具体的在本申请提供的一个可选实施例中,所述根据所述情绪类别组及其对应的两个情绪类别的同时出现概率、情绪预测值对通过所述情绪识别模型得到的情绪类别进行过滤,包括:获取同时出现概率小于目标数值的情绪类别组确定为目标情绪类别组;将目标情绪类别组中情绪预测值小的情绪类别删除;将剩余的情绪类别确定为情绪识别结果,或者将剩余的情绪类别中情绪预测值大于预置概率值或者最大的情绪类别确定为情绪识别结果。
例如,通过三个模型得到的情绪类别组为(厌恶、紧张),(厌恶、焦虑),(紧张,焦虑),厌恶的情绪预测值为60%、紧张的情绪预测值为80%、焦虑的情绪预测值为90%。其中,(厌恶、紧张)的同时出现概率为20%、(厌恶、焦虑)的同时出现概率为25%、(紧张,焦虑)的同时出现概率为70%,若目标数值为60%,则可将(厌恶、紧张)以及(厌恶、焦虑)确定为目标情绪类别组,然后将目标情绪类别组中情绪预测值小的情绪类别删除,即将厌恶的情绪类别删除,将得到紧张,焦虑作为检测到的情绪类别,或将焦虑作为检测到的情绪类别。
S1054,将过滤后的情绪类别确定对应的情绪识别结果。
对于本发明实施例,在将目标数据特征分别输入到对应的情绪识别模型得到对应情绪类别的情绪预测值后,根据得到的所有情绪类别获取多个情绪类别组,之后根据情绪类别组/>及其对应的两个情绪类别的同时出现概率、情绪预测值对通过情绪识别模型得到的情绪类别进行过滤,最后将过滤后的情绪类别确定对应的情绪识别结果。从而通过本实施例可以提高检测到的情绪类别的准确性。
本发明实施例提供一种精神患者的情绪波动检测方法,首先获取目标精神患者在预置时间段的生理数据、语音数据、面部表情数据以及行为数据,然后根据生理数据确定目标精神患者是否出现情绪异常波动;若出现情绪异常波动,则根据生理数据的变换趋势确定对应的情绪识别模型;将语音数据、面部表情数据以及行为数据装换为目标数据特征;最后将目标数据特征输入到对应的情绪识别模型得到对应的情绪识别结果。由于本发明中不同的生理数据的变换趋势对应一个或多个情绪识别模型,不同的情绪识别模型用于识别不同的情绪,本发明根据生理数据的变化趋势对应的情绪识别模型得到对应的情绪识别结果,从而通过本实施例可以实现检测出精神患者的情绪波动。
请参阅图2所示,为本发明实施例提供的一种情绪识别模型的训练方法,该方法执行流程如下所示:
S201,从样本数据中提取样本文本数据以及样本图片数据。
其中,样本文本数据由样本数据中的语音数据转换而来,样本图片数据由样本数据中的面部表情数据以及行为数据分别转换而来。需要说明的是,样本数据中的语音数据、面部表情数据以及行为数据的获取方式与图1对应步骤的描述内容相同,本实施例在此不再赘述。
S202,对样本数据中的语音数据进行情感分析得到第一情感类别;对样本图片数据进行图像识别得到第二情感类别;对样本文本数据进行文字识别分析得到第三情感类别。
S203,根据所述第一情感类别、所述第二情感类别以及所述第三情感类别确定所述样本数据对应的情感类别。
在本申请提供的一个可选实施例中,所述根据所述第一情感类别、所述第二情感类别以及所述第三情感类别确定所述样本数据对应的情感类别,包括:确定所述第一情感类别、所述第二情感类别以及所述第三情感类别中是否存在相同的情感类别;若存在,将所述第一情感类别、所述第二情感类别以及所述第三情感类别中相同的情感类别确定为所述样本数据对应的情感类别;若不存在,则将每两个情绪类别的同时出现概率大于目标概率值的情感类别确定为所述样本数据对应的情感类别。
例如,第一情感类别、第二情感类别以及第三情感类别分别为厌恶、紧张、厌恶,即存在两个相同的情感类别(厌恶),则将厌恶确定为样本数据对应的情感类别;若第一情感类别、第二情感类别以及第三情感类别分别为厌恶、紧张、焦虑,其中(厌恶、紧张)的同时出现概率为20%、(厌恶、焦虑)的同时出现概率为25%、(紧张,焦虑)的同时出现概率为70%,若目标概率值为65%,则将紧张,焦虑确定为样本数据对应的情感类别。
S204,根据所述样本数据及其对应的情感类别进行模型训练得到所述情绪识别模型。
在本实施例中,首先从样本数据中提取样本文本数据以及样本图片数据,然后对样本数据中的语音数据进行情感分析得到第一情感类别;对样本图片数据进行图像识别得到第二情感类别;对样本文本数据进行文字识别分析得到第三情感类别,然后根据第一情感类别、第二情感类别以及第三情感类别确定样本数据对应的情感类别,即本申请通过多种方式多种数据类型共同确定样本数据对应的情感类别,以此保证样本数据情感标签确定的准确性,进而提高根据样本数据及其对应的情感类别训练的情绪识别模型的准确性。
在一实施例中,提供一种精神患者的情绪波动检测系统,该精神患者的情绪波动检测系统与上述精神患者的情绪波动检测方法一一对应。如图3所示,该装置包括:
获取模块31,用于获取目标精神患者在预置时间段的生理数据、语音数据、面部表情数据以及行为数据;
确定模块32,用于根据所述生理数据确定所述目标精神患者是否出现情绪异常波动;
所述确定模块32,还用于若出现所述情绪异常波动,则根据所述生理数据的变换趋势确定对应的情绪识别模型;不同的生理数据的变换趋势对应一个或多个情绪识别模型,不同的情绪识别模型用于识别不同的情绪;
转换模块33,用于将所述语音数据、所述面部表情数据以及所述行为数据装换为目标数据特征;
识别模块34,用于将所述目标数据特征输入到每个所述情绪识别模型得到对应的情绪识别结果。
在本发明提供的一个可选实施例中,所述生理数据至少包括心跳频率数据、呼吸频率数据、体温数据、血糖数据、血压数据;确定模块32,具体用于:
确定在所述预置时间段内的心跳频率数据、呼吸频率数据、体温数据、血糖数据、血压数据分别对应的变化趋势是否超过预置数值;
若存在变化趋势超过所述预置数值的心跳频率数据、呼吸频率数据、体温数据和/或血压数据,则确定所述目标精神患者出现情绪异常波动。
在本发明提供的一个可选实施例中,确定模块32,具体用于:
若所述心跳频率数据、所述呼吸频率数据的变化趋势为上升,确定对应的情绪识别模型为快乐情绪识别模型;
若所述血糖数据、所述体温数据的变化趋势为上升,确定对应的情绪识别模型为害羞情绪识别模型;
若所述心跳频率数据的变化趋势为上升,所述体温数据的变化趋势为下降,确定对应的情绪识别模型为恐惧情绪识别模型;
若所述血压数据的变化趋势为上升,确定对应的情绪识别模型为厌恶情绪识别模型、紧张情绪识别模型、焦虑情绪识别模型;
若所述心跳频率数据的变化趋势为上升且所述体温数据的变化趋势为上升,确定对应的情绪识别模型为发怒情绪识别模型;
若所述心跳频率数据的变化趋势为下降,确定对应的情绪识别模型为悲伤情绪识别模型。
在本发明提供的一个可选实施例中,转换模块33,具体用于:
将所述语音转换为文本数据,以及将所述面部表情数据以及所述行为数据分别转换图片数据;
对所述文本数据以及所述图片数据进行去重处理;
将经过去重处理的文本数据以及图片数据确定为目标数据特征。
在本发明提供的一个可选实施例中,识别模块34,具体用于:
将所述目标数据特征分别输入到对应的所述情绪识别模型得到对应情绪类别的情绪预测值;
根据得到的所有情绪类别的情绪预测值得到对应的情绪识别结果。
在本发明提供的一个可选实施例中,识别模块34,具体用于:
根据得到的所有情绪类别获取多个情绪类别组,/>,n为得到的所有情绪类别的数量;
根据所述情绪类别组及其对应的两个情绪类别的同时出现概率、情绪预测值对通过所述情绪识别模型得到的情绪类别进行过滤;
将过滤后的情绪类别确定对应的情绪识别结果。
在本发明提供的一个可选实施例中,识别模块34,具体用于:
获取同时出现概率小于目标数值的情绪类别组确定为目标情绪类别组;
将所述目标情绪类别组中情绪预测值小的情绪类别删除;
将剩余的情绪类别中情绪预测值大于预置概率值的情绪类别确定为情绪识别结果。
在本发明提供的一个可选实施例中,该装置还用于:
从样本数据中提取样本文本数据以及样本图片数据,样本文本数据由样本数据中的语音数据转换而来,样本图片数据由样本数据中的面部表情数据以及行为数据分别转换而来;
对所述样本数据中的语音数据进行情感分析得到第一情感类别;对所述样本图片数据进行图像识别得到第二情感类别;对所述样本文本数据进行文字识别分析得到第三情感类别;
根据所述第一情感类别、所述第二情感类别以及所述第三情感类别确定所述样本数据对应的情感类别;
根据所述样本数据及其对应的情感类别进行模型训练得到所述情绪识别模型。
在本发明提供的一个可选实施例中,确定模块32,还用于:
确定所述第一情感类别、所述第二情感类别以及所述第三情感类别中是否存在相同的情感类别;
若存在,将所述第一情感类别、所述第二情感类别以及所述第三情感类别中相同的情感类别确定为所述样本数据对应的情感类别;
若不存在,则将每两个情绪类别的同时出现概率大于目标概率值的情感类别确定为所述样本数据对应的情感类别。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种精神患者的情绪波动检测方法,其特征在于,所述方法包括:
获取目标精神患者在预置时间段的生理数据、语音数据、面部表情数据以及行为数据;
根据所述生理数据确定所述目标精神患者是否出现情绪异常波动;
若出现所述情绪异常波动,则根据所述生理数据的变换趋势确定对应的情绪识别模型;不同的生理数据的变换趋势对应一个或多个情绪识别模型,不同的情绪识别模型用于识别不同的情绪;
将所述语音数据、所述面部表情数据以及所述行为数据装换为目标数据特征;
将所述目标数据特征输入到对应的所述情绪识别模型得到对应的情绪识别结果。
2.根据权利要求1所述的方法,其特征在于,所述生理数据至少包括心跳频率数据、呼吸频率数据、体温数据、血糖数据、血压数据;所述根据所述生理数据确定所述目标精神患者是否出现情绪异常波动,包括:
确定在所述预置时间段内的心跳频率数据、呼吸频率数据、体温数据、血糖数据、血压数据分别对应的变化趋势是否超过预置数值;
若存在变化趋势超过所述预置数值的心跳频率数据、呼吸频率数据、体温数据和/或血压数据,则确定所述目标精神患者出现情绪异常波动。
3.根据权利要求2所述的方法,其特征在于,所述根据所述生理数据的变换趋势确定对应的情绪识别模型,包括:
若所述心跳频率数据、所述呼吸频率数据的变化趋势为上升,确定对应的情绪识别模型为快乐情绪识别模型;
若所述血糖数据、所述体温数据的变化趋势为上升,确定对应的情绪识别模型为害羞情绪识别模型;
若所述心跳频率数据的变化趋势为上升,所述体温数据的变化趋势为下降,确定对应的情绪识别模型为恐惧情绪识别模型;
若所述血压数据的变化趋势为上升,确定对应的情绪识别模型为厌恶情绪识别模型、紧张情绪识别模型、焦虑情绪识别模型;
若所述心跳频率数据的变化趋势为上升且所述体温数据的变化趋势为上升,确定对应的情绪识别模型为发怒情绪识别模型;
若所述心跳频率数据的变化趋势为下降,确定对应的情绪识别模型为悲伤情绪识别模型。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述将所述语音数据、所述面部表情数据以及所述行为数据装换为目标数据特征,包括:
将所述语音转换为文本数据,以及将所述面部表情数据以及所述行为数据分别转换图片数据;
对所述文本数据以及所述图片数据进行去重处理;
将经过去重处理的文本数据以及图片数据确定为目标数据特征。
5.根据权利要求3所述的方法,其特征在于,所述将所述目标数据特征输入到对应的所述情绪识别模型得到对应的情绪识别结果,包括:
将所述目标数据特征分别输入到对应的所述情绪识别模型得到对应情绪类别的情绪预测值;
根据得到的所有情绪类别的情绪预测值得到对应的情绪识别结果。
6.根据权利要求5所述的方法,其特征在于,所述根据得到的所有情绪类别的情绪预测值得到对应的情绪识别结果,包括:
根据得到的所有情绪类别获取多个情绪类别组,/>,n为得到的所有情绪类别的数量;
根据所述情绪类别组及其对应的两个情绪类别的同时出现概率、情绪预测值对通过所述情绪识别模型得到的情绪类别进行过滤;
将过滤后的情绪类别确定对应的情绪识别结果。
7.根据权利要求6所述的方法,其特征在于,所述根据所述情绪类别组及其对应的两个情绪类别的同时出现概率、情绪预测值对通过所述情绪识别模型得到的情绪类别进行过滤,包括:
获取同时出现概率小于目标数值的情绪类别组确定为目标情绪类别组;
将所述目标情绪类别组中情绪预测值小的情绪类别删除;
将剩余的情绪类别中情绪预测值大于预置概率值的情绪类别确定为情绪识别结果。
8.根据权利要求4所述的方法,其特征在于,所述方法还包括:
从样本数据中提取样本文本数据以及样本图片数据,样本文本数据由样本数据中的语音数据转换而来,样本图片数据由样本数据中的面部表情数据以及行为数据分别转换而来;
对所述样本数据中的语音数据进行情感分析得到第一情感类别;对所述样本图片数据进行图像识别得到第二情感类别;对所述样本文本数据进行文字识别分析得到第三情感类别;
根据所述第一情感类别、所述第二情感类别以及所述第三情感类别确定所述样本数据对应的情感类别;
根据所述样本数据及其对应的情感类别进行模型训练得到所述情绪识别模型。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第一情感类别、所述第二情感类别以及所述第三情感类别确定所述样本数据对应的情感类别,包括:
确定所述第一情感类别、所述第二情感类别以及所述第三情感类别中是否存在相同的情感类别;
若存在,将所述第一情感类别、所述第二情感类别以及所述第三情感类别中相同的情感类别确定为所述样本数据对应的情感类别;
若不存在,则将每两个情绪类别的同时出现概率大于目标概率值的情感类别确定为所述样本数据对应的情感类别。
10.一种精神患者的情绪波动检测系统,所述情绪波动检测系统基于权利要求1-9任一项所述的方法,其特征在于,所述装置包括:
获取模块,用于获取目标精神患者在预置时间段的生理数据、语音数据、面部表情数据以及行为数据;
确定模块,用于根据所述生理数据确定所述目标精神患者是否出现情绪异常波动;
所述确定模块,还用于若出现所述情绪异常波动,则根据所述生理数据的变换趋势确定对应的情绪识别模型;不同的生理数据的变换趋势对应一个或多个情绪识别模型,不同的情绪识别模型用于识别不同的情绪;
转换模块,用于将所述语音数据、所述面部表情数据以及所述行为数据装换为目标数据特征;
识别模块,用于将所述目标数据特征输入到每个所述情绪识别模型得到对应的情绪识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311675916.2A CN117370768B (zh) | 2023-12-08 | 2023-12-08 | 一种精神患者的情绪波动检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311675916.2A CN117370768B (zh) | 2023-12-08 | 2023-12-08 | 一种精神患者的情绪波动检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117370768A true CN117370768A (zh) | 2024-01-09 |
CN117370768B CN117370768B (zh) | 2024-03-05 |
Family
ID=89400705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311675916.2A Active CN117370768B (zh) | 2023-12-08 | 2023-12-08 | 一种精神患者的情绪波动检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117370768B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016074407A1 (zh) * | 2014-11-11 | 2016-05-19 | 中兴通讯股份有限公司 | 一种用户界面的主题切换方法、装置及终端 |
CN107392124A (zh) * | 2017-07-10 | 2017-11-24 | 珠海市魅族科技有限公司 | 情绪识别方法、装置、终端及存储介质 |
CN107633203A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | 面部情绪识别方法、装置及存储介质 |
CN109460752A (zh) * | 2019-01-10 | 2019-03-12 | 广东乐心医疗电子股份有限公司 | 一种情绪分析方法、装置、电子设备及存储介质 |
CN110826637A (zh) * | 2019-11-11 | 2020-02-21 | 广州国音智能科技有限公司 | 情绪识别方法、系统及计算机可读存储介质 |
CN113827240A (zh) * | 2021-09-22 | 2021-12-24 | 北京百度网讯科技有限公司 | 情绪分类方法和情绪分类模型的训练方法、装置及设备 |
CN115553779A (zh) * | 2022-11-07 | 2023-01-03 | 电科疆泰(深圳)科技发展有限公司 | 一种情绪识别方法、装置、电子设备及存储介质 |
CN116691699A (zh) * | 2023-07-26 | 2023-09-05 | 广汽本田汽车有限公司 | 基于情绪识别的驾驶模式调节方法、系统、装置及介质 |
-
2023
- 2023-12-08 CN CN202311675916.2A patent/CN117370768B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016074407A1 (zh) * | 2014-11-11 | 2016-05-19 | 中兴通讯股份有限公司 | 一种用户界面的主题切换方法、装置及终端 |
CN107392124A (zh) * | 2017-07-10 | 2017-11-24 | 珠海市魅族科技有限公司 | 情绪识别方法、装置、终端及存储介质 |
CN107633203A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | 面部情绪识别方法、装置及存储介质 |
CN109460752A (zh) * | 2019-01-10 | 2019-03-12 | 广东乐心医疗电子股份有限公司 | 一种情绪分析方法、装置、电子设备及存储介质 |
CN110826637A (zh) * | 2019-11-11 | 2020-02-21 | 广州国音智能科技有限公司 | 情绪识别方法、系统及计算机可读存储介质 |
CN113827240A (zh) * | 2021-09-22 | 2021-12-24 | 北京百度网讯科技有限公司 | 情绪分类方法和情绪分类模型的训练方法、装置及设备 |
CN115553779A (zh) * | 2022-11-07 | 2023-01-03 | 电科疆泰(深圳)科技发展有限公司 | 一种情绪识别方法、装置、电子设备及存储介质 |
CN116691699A (zh) * | 2023-07-26 | 2023-09-05 | 广汽本田汽车有限公司 | 基于情绪识别的驾驶模式调节方法、系统、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117370768B (zh) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210106265A1 (en) | Real time biometric recording, information analytics, and monitoring systems and methods | |
WO2018070935A1 (en) | Determining sleep stages | |
JeyaJothi et al. | A comprehensive review: computational models for obstructive sleep apnea detection in biomedical applications | |
Sánchez-Reolid et al. | One-dimensional convolutional neural networks for low/high arousal classification from electrodermal activity | |
CN113299358A (zh) | 基于评估量表的负性情绪筛查方法、装置及设备 | |
Wijasena et al. | A survey of emotion recognition using physiological signal in wearable devices | |
CN115089179A (zh) | 一种心理情绪洞察分析方法及系统 | |
Rajwal et al. | Convolutional neural network-based EEG signal analysis: A systematic review | |
Rahman et al. | Biofeedback towards machine learning driven self-guided virtual reality exposure therapy based on arousal state detection from multimodal data | |
CN117370768B (zh) | 一种精神患者的情绪波动检测方法及系统 | |
Immanuel et al. | Recognition of emotion with deep learning using EEG signals-the next big wave for stress management in this covid-19 outbreak | |
Rahim et al. | Emotion charting using real-time monitoring of physiological signals | |
Pangistu et al. | Deep learning on game addiction detection based on electroencephalogram | |
Dessai et al. | Emotion Detection and Classification Using Machine Learning Techniques | |
Saputra et al. | Identification of Human Stress Based on EEG Signals Using Machine Learning | |
Begawan et al. | Sleep stage identification based on EEG signals using parallel convolutional neural network and recurrent neural network | |
Maria et al. | Stress prediction using enhanced feature selection and knn model | |
Singh et al. | Emotion recognition using deep convolutional neural network on temporal representations of physiological signals | |
CN111986820A (zh) | 健康咨询信息的处理方法、装置和电子设备 | |
Fangmeng et al. | Emotional changes detection for dementia people with spectrograms from physiological signals | |
Stas | Hybrid convolutional-multilayer perceptron artificial neural network for person recognition by high gamma EEG features | |
CN110675953A (zh) | 利用人工智能和大数据筛查识别精神病患者的方法 | |
Gore et al. | Types of Data with Algorithms for Assessing Mental Health Conditions | |
US20240136051A1 (en) | User analysis and predictive techniques for digital therapeutic systems | |
Kumar et al. | Sleep Track: Automated Detection and Classification of Sleep Stages |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |