CN117796808A - 情绪识别方法、装置、电子设备和可读存储介质 - Google Patents
情绪识别方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN117796808A CN117796808A CN202410054674.3A CN202410054674A CN117796808A CN 117796808 A CN117796808 A CN 117796808A CN 202410054674 A CN202410054674 A CN 202410054674A CN 117796808 A CN117796808 A CN 117796808A
- Authority
- CN
- China
- Prior art keywords
- information
- feature
- user
- acceleration
- acc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 40
- 230000001133 acceleration Effects 0.000 claims abstract description 205
- 238000013186 photoplethysmography Methods 0.000 claims abstract description 85
- 208000019901 Anxiety disease Diseases 0.000 claims abstract description 57
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 229920000333 poly(propyleneimine) Polymers 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 17
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008451 emotion Effects 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000002996 emotional effect Effects 0.000 description 9
- 230000036506 anxiety Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000004213 regulation of atrial cardiomyocyte membrane depolarization Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
- A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Medicine (AREA)
- Emergency Management (AREA)
- Critical Care (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Nursing (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
Abstract
本申请公开了一种情绪识别方法、装置、电子设备和可读存储介质,属于人工智能技术领域。所述情绪识别方法包括:采集用户的状态信息,其中,所述状态信息包括光电容积脉搏波描记法PPG信息和加速度ACC信息;对所述PPG信息和所述ACC信息进行特征计算,得到目标特征信息;在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态,所述参考特征值通过样本状态信息计算得到,所述样本状态信息为在所述用户处于非焦虑状态下获取的信息。
Description
技术领域
本申请涉及人工智能技术领域,具体涉及一种情绪识别方法、装置、电子设备和可读存储介质。
背景技术
相关技术中,针对一些特定人群,可能需要在日常生活中实时关注其情绪状态,例如,针对存在精神疾病的人群而言,由于其可能无法准确的表达自身需求,因此,通常需要相应的监护人员关注其情绪状态,并根据其情绪状态给出相应的反馈。然而,基于现有情绪识别方法对用户的情绪进行识别的过程中,存在情绪识别的准确性较差的问题。
发明内容
本申请提供了及一种情绪识别方法、装置、电子设备和可读存储介质,可以提高对用户的焦虑情绪识别的准确性。
第一方面,本申请实施例提供了一种情绪识别方法,所述方法包括:
采集用户的状态信息,其中,所述状态信息包括光电容积脉搏波描记法PPG信息和加速度ACC信息;
对所述PPG信息和所述ACC信息进行特征计算,得到目标特征信息;
在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态,所述参考特征值通过样本状态信息计算得到,所述样本状态信息为在所述用户处于非焦虑状态下获取的信息。
第二方面,本申请实施例提供了一种情绪识别装置,所述装置包括:
采集模块,用于采集用户的状态信息,其中,所述状态信息包括光电容积脉搏波描记法PPG信息和加速度ACC信息;
计算模块,用于对所述PPG信息和所述ACC信息进行特征计算,得到目标特征信息;
确定模块,用于在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态,所述参考特征值通过样本状态信息计算得到,所述样本状态信息为在所述用户处于非焦虑状态下获取的信息。
第三方面,本申请实施例提供了一种电子设备,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面的方法的步骤。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面的方法的步骤。
本申请实施例中,在对用户进行情绪识别的过程中,通过基于PPG信息和ACC信息进行特征计算,得到目标特征信息,并基于目标特征信息判断用户是否处于焦虑状态,由于所述目标特征信息融合了用户的PPG信息和ACC信息,因此,有利于提高对用户的焦虑情绪识别的准确性。
附图说明
图1是本申请实施例提供的情绪识别方法的流程示意图之一;
图2是本申请实施例提供的情绪识别方法的流程示意图之二;
图3是本申请实施例提供的情绪识别装置的结构示意图;
图4本申请实施例提供的一种电子设备的结构示意图;
图5本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的一种情绪识别方法、装置、电子设备和可读存储介质进行详细地说明。
请参见图1,图1为本申请实施例提供的一种情绪识别方法的流程示意图,所述方法包括:
步骤101、采集用户的状态信息,其中,所述状态信息包括光电容积脉搏波描记法(Photo Plethysmo Graphic,PPG)信息和加速度(Acceleration,ACC)信息;
步骤102、对所述PPG信息和所述ACC信息进行特征计算,得到目标特征信息;
步骤103、在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态,所述参考特征值通过样本状态信息计算得到,所述样本状态信息为在所述用户处于非焦虑状态下获取的信息。
其中,上述情绪识别方法可以应用于各种情绪识别设备。在本申请一些实施例中,所述情绪识别方法可以应用于智能穿戴设备,相应地,所述用户为穿戴所述智能穿戴设备的用户,如此,用户进行穿戴所述智能穿戴设备,即可实现对用户的情绪进行实时监测。下文以所述情绪识别方法应用于智能穿戴设备为例,对本申请实施例中的情绪识别方法作进一步的解释说明。
其中,上述智能穿戴设备可以是各种类型的智能穿戴设备,例如,可以是智能手表、智能手环等。
可以理解的是,所述智能穿戴设备中设有用于检测佩戴者的PPG信息和ACC信息检测元件,例如,所述智能穿戴设备可以包括用于检测PPG信息的光学传感器和用于检测ACC信息的三轴加速度传感器。
上述PPG信息可以表征上述用户的心率变化状态,由于不同的情绪状态对应的心率值通常不同,因此,可以根据所述PPG信息预测所述用户的是否处于焦虑状态。
上述ACC信息可以表征用户的运动状态,由于当用户处于运动状态时,用户的心率通常会增加,即用户的运动状态可以直接对上述PPG信息产生影响。因此,若不考虑用户的运动状态,直接基于PPG信息对用户的焦虑状态进行识别,可能因用户的运动状态的影响,而导致焦虑情绪识别的准确性较差的问题。
基于此,本申请实施例中,在对用户的情绪进行识别时,通过融合PPG信息和ACC信息进行特征计算,得到目标特征信息,并基于目标特征信息对所述用户的焦虑情绪进行识别,得到识别结果。如此,可以排除用户的运动状态对焦虑情绪识别过程的干扰。
其中,上述状态信息可以是预设时间窗口中,所述用户的状态信息,所述预设时间窗口可以是当前时间点之前的一小段时间,例如,可以是当前时间点之前的5分钟内的状态信息,或者,可以是当前时间点之前的3分钟内的状态信息等。由于基于所述状态信息识别到的情绪状态可以视为用户当前的情绪状态,因此,可以通过实时根据当前时间点前的预设时间窗口内的状态信息对用户的情绪状态进行预测,或者,每隔预设时间窗口对用户的情绪状态进行一次预测,从而可以实现对用户的情绪状态的实时监测。
上述用户可以是各种类型的用户,具体可以是具有情绪关怀需求的人群,下文以所述用户为ASD儿童为例,对本申请实施例提供的方法作进一步的解释说明。如此,基于本申请实施例的方法可以实时监测ASD儿童是否处于焦虑状态,以便于给予他们更多的呵护和关爱,更好的照顾他们。且采用本申请实施例的方法仅需使用常规穿戴产品就可实现监测ASD儿童是否处于焦虑状态,让监测更无感,而且还美观时尚。
上述参考特征值可以是基于用户处于非焦虑状态下的历史状态信息生成的特征值,具体地,通过对历史状态信息中的PPG信息和加速度ACC信息进行特征计算,得到的用户处于非焦虑状态下的特征信息。即所述参考特征值可以作为用户处于非焦虑状态下的特征信息的理想值。如此,当所述目标特征信息位于所述参考特征值附近时,可以确定所述用户处于非焦虑状态。相应地,当所述目标特征信息偏离所述参考特征值较远时,可以确定所述用户处于焦虑状态。
其中,上述预设阈值可以是根据实际经验确定的阈值,具体而言,可以基于如下公式对用户的焦虑状态进行判断:
其中,所述表示的是目标特征信息,所述δk表示的是参考特征值,所述τ表示的是预设阈值。
该实施方式中,在对用户进行情绪识别的过程中,通过基于PPG信息和ACC信息进行特征计算,得到目标特征信息,并基于目标特征信息判断用户是否处于焦虑状态,由于所述目标特征信息融合了用户的PPG信息和ACC信息,因此,有利于提高对用户的焦虑情绪识别的准确性。
可选地,所述对所述PPG信息和所述ACC信息进行特征计算,得到目标特征信息,包括:
提取所述PPG信息进行特征提取,得到峰峰值期间(Peak-to-Peak Interval,PPI)特征,以及,对所述ACC信息进行处理,得到所述用户的三轴加速度特征;
对所述PPI特征和所述三轴加速度特征进行特征计算,得到所述目标特征信息。
其中,上述PPI是指PP间期,其表示的一次心动周期的时间,一般用RR间期来表示。
具体地,为保证输入到算法中的信号尽可能少的受到噪声干扰,可以在“提取所述PPG信息进行特征提取,以及,对所述ACC信息进行处理”之前,
对PPG信息和ACC信息进行预处理,然后,对预处理后的PPG信息和ACC信息进行特征提取,得到所述PPI特征和三轴加速度特征。其中,预处理可以是通过滤波算法对持续采集到的PPG信息和ACC信息进行去噪处理。
该实施方式中,通过对所述PPI特征和所述三轴加速度特征进行特征计算,从而得到所述目标特征信息。
可选地,所述PPG信息包括预设时间窗口内所述用户的心率数据;
所述提取所述PPG信息进行特征提取,得到峰峰值期间PPI特征,包括:
对所述PPG信息中的P波进行识别,得到所述PPG信息中PPI的数量;
基于所述PPI的数量和所述预设时间窗口的时间长度生成所述PPI特征,其中,所述PPI特征为所述PPI的数量与所述预设时间窗口的时间长度的比值。
其中,所述预设时间窗口可以是当前时间点之前的一小段时间,例如,可以是当前时间点之前的5分钟内,或者,可以是当前时间点之前的3分钟内等。所述对所述PPG信息中的P波进行识别,即对所述PPG信息中的所有P波进行识别,具体可以是通过各种P波定位算法对P波进行定位,从而根据P波的数量计算PPI的数量。具体而言,由于一个PPI内包括一个P波,因此,可以将所识别到的P波的数量确定为所述PPI的数量。其中,所述P波为最初产生的偏离的波,它反映心房除极过程的电位变化,代表了两个心房的去极。
具体地,上述PPI特征可以是能够反映PPI整体趋势相关的特征,由于反应交感神经与副交感神经变化的PP间期相对较缓慢,因此需要使用一个缓慢变化的PP间期趋势,基于此,本申请实施例通过使用滑动窗口内PP间期的平均值来反应这种趋势,具体可以通过如下公式计算所述PPI特征:
其中,是从PPG信息中提取的PP间期集合,T表征的是所述/>中的PP期间的数量,W是滑动窗长,所述滑动窗长即上述预设时间窗口的时间长度,yk是从第k个滑动窗口中计算出来的PPI特征,k≤T。
在本申请一些实施例中,可以预先确定用户在各种情绪状态和运动状态下的PP间期数量的变化趋势,在实际监测过程中,可以通过持续计算连续时间段内各个滑动窗口内的PPI特征,从而可以根据PPI特征确定实时PP间期数量的变化趋势,如此,可以根据所确定的实时PP间期数量的变化趋势和当前的运动状态,确定用户的当前情绪状态。
该实施方式中,通过对所述PPG信息中的P波进行识别,得到所述PPG信息中PPI的数量,并基于所述PPI的数量和所述预设时间窗口的时间长度生成所述PPI特征,从而实现所述PPI特征的提取过程。
可选地,所述ACC信息包括所述预设时间窗口内所述用户的运动加速度;
所述对所述ACC信息进行处理,得到所述用户的三轴加速度特征,包括:
基于所述ACC信息计算第一加速度参数、第二加速度参数和第三加速度参数,其中,所述第一加速度参数为所述用户在所述预设时间窗口内,沿三轴坐标系中的X轴方向的加速度标准差;所述第二加速度参数为所述用户在所述预设时间窗口内,沿所述三轴坐标系中的Y轴方向的加速度标准差;所述第三加速度参数为所述用户在所述预设时间窗口内,沿所述三轴坐标系中的Z轴方向的加速度标准差;
基于第一权重矩阵,对所述第一加速度参数、所述第二加速度参数和所述第三加速度参数进行加权求和,得到所述三轴加速度特征;
所述对所述PPI特征和所述三轴加速度特征进行特征计算,得到所述目标特征信息,包括:
将所述PPI特征和所述三轴加速度特征的乘积确定为所述目标特征信息。
可以理解的是,所述ACC信息可以包括所述预设时间窗口内,各个时刻所述用户的三轴加速度。
上述基于所述ACC信息计算第一加速度参数、第二加速度参数和第三加速度参数,具体可以采用如下公式进行计算:
其中,分别是第k个滑动窗口中的X、Y和Z三个坐标轴的加速度平均值,yacc-xk表示第k滑动窗口中第一加速度参数,yacc-yk表示第k滑动窗口中第二加速度参数,yacc-zk表示第k滑动窗口中第三加速度参数。W表示第k滑动窗口的滑动窗长。
上述第一权重矩阵可以是预先根据经验确定的权重矩阵,且所述第一权重矩阵中可以包括与三轴坐标系中的三个坐标轴一一对应的三个权重值,如此,通过该第一权重矩阵,对所述第一加速度参数、所述第二加速度参数和所述第三加速度参数进行加权求和,可以得到所述三轴加速度特征,由于该三轴加速度特征计算了三个坐标轴的加速度特征,从而可以反映用户整体的运动状态。
具体地,上述第一权重矩阵可以表示为在对所述第一加速度参数、所述第二加速度参数和所述第三加速度参数进行加权求和的过程中,可以基于上述第一加速度参数、第二加速度参数和第三加速度参数构建如下3×1的矩阵:
如此,上述基于第一权重矩阵,对所述第一加速度参数、所述第二加速度参数和所述第三加速度参数进行加权求和,得到所述三轴加速度特征具体可以通过如下公式计算得到:
其中,所述Bk+1表示三轴加速度特征。
鉴于孤独症儿童的特殊性,难以采集到大量数据,无法使用需要大量数据的监督学习方法,但是焦虑的识别对于他们又极其重要,因此本申请实施例采用了一种多模态的无监督学习算法,即将反应PPI趋势相关的特征及反应佩戴者是否运动的ACC相关特征持续输入到无监督学习的算法中,算法不断更新当前状态,当检测到焦虑唤醒时算法输出焦虑唤醒状态,否则持续进行检测。
具体地,所述多模态的无监督学习算法可以通过如下公式,实现对PPI特征和三轴加速度特征的融合,得到目标特征信息:
其中,所述表示的是目标特征信息,所述yk+1表示的是PPI特征,且所述yk+1可以通过上述实施例中的PPI特征计算公式计算得到。
可以理解的是,所述多模态的无监督学习算法在得到所述目标特征信息之后,可以根据所述目标特征信息判断所述用户的情绪状态,其具体实现过程可以参见下文实施例中对所述用户的情绪状态进行判断的相关实施例。
该实施方式中,通过基于第一权重矩阵,对所述第一加速度参数、所述第二加速度参数和所述第三加速度参数进行加权求和,从而得到所述三轴加速度特征,此外,通过将所述PPI特征和所述三轴加速度特征的乘积确定为所述目标特征信息,从而实现上述PPG信息和ACC信息进行特征计算的过程。
可选地,在所述目标特征信息与所述参考特征值之间的差值小于或等于所述预设阈值的情况下,确定所述用户处于非焦虑状态。
该实施方式中,通过在所述目标特征信息与参考特征值之间的差值小于或等于预设阈值的情况下,确定所述用户处于非焦虑状态,如此,可以实现基于目标特征信息对用户的情绪状态进行判断的过程。
可选地,在所述得到目标特征信息之后,所述方法还包括:
在所述目标特征信息与所述参考特征值之间的差值小于或等于所述预设阈值的情况下,基于所述目标特征信息对所述参考特征值进行更新。
具体地,由于对于真实用户而言,正常情况下,情绪通常是缓慢变化的过程,因此,在正常非焦虑情况下,相邻两次对用户的情绪检测得的目标特征信息存在较小的波动。当累次检测的次数较多时,即便用户始终处于非焦虑状态,然而,由于多次情绪波动的累计,最后一次检测到的目标特征信息与首次检测到的目标特征信息也将存在较大的差异,因此,若始终采用同一个参考特征值,可能因为用户的正常情绪波动的不断累计,而导致后续情绪识别不准确的问题。
基于此,本申请实施例中,可以在每次情绪识别完毕之后,对所述参考特征值进行更新,以避免用户正常的情绪波动的累积,而导致后续情绪识别结果不准确的问题,具体可以通过如下公式对所述参考特征值进行更新:
其中,所述δk+1为第k次情绪检测之后,更新后的参考特征值,所述δk为第k次情绪检测过程中的参考特征值,所述为第k次情绪检测过程中的目标特征值,所述τ为预设阈值。
该实施方式中,在所述目标特征信息与所述参考特征值之间的差值大于所述预设阈值的情况下,即情绪识别结果表征用户处于非焦虑状态下,基于所述目标特征信息对所述参考特征值进行更新,如此,可以避免因用户情绪的正常波动,而导致后续的情绪识别结果不准确的问题。
可选地,所述在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态之后,所述方法还包括:
在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,输出提醒信息。
其中,所述提醒信息可以是灯光闪烁、音频报警或者通过短信的形式向相关人员绑定的终端发送短信提醒信息。
该实施方式中,通过在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,即情绪识别结果表征用户处于焦虑状态下,输出提醒信息,如此,方便即时通知相关人员用户处于焦虑状态,以便于相关人员即时安抚用户,从而可以更好的照顾用户。
可选地,所述在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态之前,所述方法还包括:
采集N个样本状态信息,其中,所述样本状态信息为在用户处于非焦虑状态的情况下,采集的样本PPG信息和样本ACC信息,所述N为大于1的整数;
对所述N个样本状态信息中的PPG信息和ACC信息进行特征计算,得到与所述N个样本状态信息一一对应的N个目标特征信息;
将所述N个目标特征信息的平均值确定为所述参考特征值。
其中,所述N个样本状态信息可以是用户处于非焦虑状态下,N个滑动窗口采集的状态信息,针对每个样本状态信息均通过上述实施例中的融合方法,将样本状态信息中的样本PPG信息和样本ACC信息进行融合,得到N个目标特征信息。即该N个目标特征信息均为用户处于非焦虑状态下的目标特征信息,然后,将所述N个目标特征信息的平均值确定为所述参考特征值,从而可以提高所确定的参考特征值的准确性。
上述确定参考特征值的过程,具体可以通过如下公式实现:
基于上述PPI特征计算公式,计算所述N个样本状态信息中PPG信息对应的PPI特征,得到N个PPI特征为:y1,y2,…,yN;
基于上述三轴加速度特征计算公式,计算所述N个样本状态信息中PPG信息对应的三轴加速度特征,得到N个三轴加速度特征为:yacc-x1,yacc-x2,…,yacc-xN,yacc-y1,yacc-y2,…,yacc-yN,yacc-z1,yacc-z2,…,yacc-zN;
将三轴加速度特征组成一个3×N的矩阵:
使用一个经验权重矩阵来对三轴加速度特征进行融合,则融合后的特征值矩阵B计算方法如下:
由上式可知,计算过后,B为一个1×N的矩阵,而N个PPI特征同样可以组成如下1×N的矩阵:
P=[y1 … yN]
为了使得最后计算出来的状态值既能反应PPI的趋势又能反应ACC的变化,则需要将融合后的ACC特征矩阵B与PPI的特征值矩阵进行融合,得到的基线状态δ0可通过如下公式计算得出:
其中,所述δ0即可作为上述参考特征值。
该实施方式中,通过基于N个样本状态信息确定所述参考特征值,从而有利于提高所确定的参考特征值的准确性。
请参见图2,为本申请实施例提供中,以所述智能穿戴设备为智能手表为例,提供的一种情绪识别方法的流程示意图,所述方法包括以下步骤:
在用户佩戴智能手表的情况下,实时采集用户的PPG信息和ACC信息;
对PPG信息和ACC信息进行预处理,得到预处理后的PPG信息和ACC信息;
对预处理后的PPG信息和ACC信息进行特征提取,得到PPI特征和三轴加速度特征;
基于多模态的无监督学习算法,利用所述PPI特征和三轴加速度特征对用户的情绪状态进行预测;
在用户处于焦虑状态的情况下,输出表征用户处于焦虑状态的提醒信息;
在用户处于在焦虑状态的情况下,基于后续采集的状态信息对用户的情绪状态进行预测,同时,可以基于本次得到目标特征信息对参考特征值进行更新。
该实施方式的具体实现过程与上述实施例类似,为避免重复,在此不再予以赘述。
请参见图3,图3为本申请实施例提供的一种情绪识别装置300的结构示意图,所述装置包括:
采集模块301,用于采集用户的状态信息,其中,所述状态信息包括光电容积脉搏波描记法PPG信息和加速度ACC信息;
计算模块302,用于对所述PPG信息和所述ACC信息进行特征计算,得到目标特征信息;
确定模块303,用于在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态,所述参考特征值通过样本状态信息计算得到,所述样本状态信息为在所述用户处于非焦虑状态下获取的信息。
可选地,所述计算模块302,包括:
特征提取子模块,用于提取所述PPG信息进行特征提取,得到峰峰值期间PPI特征,以及,对所述ACC信息进行处理,得到所述用户的三轴加速度特征;
计算子模块,用于对所述PPI特征和所述三轴加速度特征进行特征计算,得到所述目标特征信息。
可选地,所述PPG信息包括预设时间窗口内所述用户的心率数据;所述特征提取子模块,包括:
识别单元,用于对所述PPG信息中的P波进行识别,得到所述PPG信息中PPI的数量;
生成单元,用于基于所述PPI的数量和所述预设时间窗口的时间长度生成所述PPI特征,其中,所述PPI特征为所述PPI的数量与所述预设时间窗口的时间长度的比值。
可选地,所述ACC信息包括所述预设时间窗口内所述用户的运动加速度;所述特征提取子模块,还包括:
计算单元,用于基于所述ACC信息计算第一加速度参数、第二加速度参数和第三加速度参数,其中,所述第一加速度参数为所述用户在所述预设时间窗口内,沿三轴坐标系中的X轴方向的加速度标准差;所述第二加速度参数为所述用户在所述预设时间窗口内,沿所述三轴坐标系中的Y轴方向的加速度标准差;所述第三加速度参数为所述用户在所述预设时间窗口内,沿所述三轴坐标系中的Z轴方向的加速度标准差;
所述计算单元,还用于基于第一权重矩阵,对所述第一加速度参数、所述第二加速度参数和所述第三加速度参数进行加权求和,得到所述三轴加速度特征;
所述计算子模块,具体用于将所述PPI特征和所述三轴加速度特征的乘积确定为所述目标特征信息。
可选地,在所述目标特征信息与所述参考特征值之间的差值小于或等于所述预设阈值的情况下,确定所述用户处于非焦虑状态。
可选地,所述装置还包括:
更新模块,用于在所述目标特征信息与所述参考特征值之间的差值大于所述预设阈值的情况下,基于所述目标特征信息对所述参考特征值进行更新。
可选地,所述采集模块301,还用于采集N个样本状态信息,其中,所述样本状态信息为在用户处于非焦虑状态的情况下,采集的样本PPG信息和样本ACC信息,所述N为大于1的整数;
对所述N个样本状态信息中的PPG信息和ACC信息进行特征计算,得到与所述N个样本状态信息一一对应的N个目标特征信息;
将所述N个目标特征信息的平均值确定为所述参考特征值。
该实施方式中,在对用户进行情绪识别的过程中,通过基于PPG信息和ACC信息进行特征计算,得到目标特征信息,并基于目标特征信息判断用户是否处于焦虑状态,由于所述目标特征信息融合了用户的PPG信息和ACC信息,因此,有利于提高对用户的焦虑情绪识别的准确性。
本申请实施例中的情绪识别装置300可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为智能手表、智能手环、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、其他可穿戴设备等,本申请实施例不作具体限定。
本申请实施例中的情绪识别装置300可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的情绪识别装置300能够实现图1和图2的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图4所示,本申请实施例还提供了一种电子设备400,包括处理器401,存储器402,存储在存储器402上并可在所述处理器401上运行的程序或指令,该程序或指令被处理器401执行时实现上述情绪识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5本申请实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
其中,所述传感器505,用于采集用户的状态信息,其中,所述状态信息包括光电容积脉搏波描记法PPG信息和加速度ACC信息;
所述处理器510,用于对所述PPG信息和所述ACC信息进行特征计算,得到目标特征信息;
处理器510,还用于在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态,所述参考特征值通过样本状态信息计算得到,所述样本状态信息为在所述用户处于非焦虑状态下获取的信息。
可选地,所述处理器510,还用于提取所述PPG信息进行特征提取,得到峰峰值期间PPI特征,以及,对所述ACC信息进行处理,得到所述用户的三轴加速度特征;
所述处理器510,还用于对所述PPI特征和所述三轴加速度特征进行特征计算,得到所述目标特征信息。
可选地,所述处理器510,还用于对所述PPG信息中的P波进行识别,得到所述PPG信息中PPI的数量;
所述处理器510,还用于基于所述PPI的数量和所述预设时间窗口的时间长度生成所述PPI特征,其中,所述PPI特征为所述PPI的数量与所述预设时间窗口的时间长度的比值。
可选地,所述处理器510,还用于基于所述ACC信息计算第一加速度参数、第二加速度参数和第三加速度参数,其中,所述第一加速度参数为所述用户在所述预设时间窗口内,沿三轴坐标系中的X轴方向的加速度标准差;所述第二加速度参数为所述用户在所述预设时间窗口内,沿所述三轴坐标系中的Y轴方向的加速度标准差;所述第三加速度参数为所述用户在所述预设时间窗口内,沿所述三轴坐标系中的Z轴方向的加速度标准差;
所述处理器510,还用于基于第一权重矩阵,对所述第一加速度参数、所述第二加速度参数和所述第三加速度参数进行加权求和,得到所述三轴加速度特征;
所述处理器510,还用于将所述PPI特征和所述三轴加速度特征的乘积确定为所述目标特征信息。
可选地,所述处理器510,还用于在所述目标特征信息与所述参考特征值之间的差值小于或等于所述预设阈值的情况下,基于所述目标特征信息对所述参考特征值进行更新。
可选地,所述传感器505,还用于采集N个样本状态信息,其中,所述样本状态信息为在用户处于非焦虑状态的情况下,采集的样本PPG信息和样本ACC信息,所述N为大于1的整数;
所述处理器510,还用于对所述N个样本状态信息中的PPG信息和ACC信息进行特征计算,得到与所述N个样本状态信息一一对应的N个目标特征信息;
所述处理器510,还用于将所述N个目标特征信息的平均值确定为所述参考特征值。
本领域技术人员可以理解,电子设备500还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
应理解的是,本申请实施例中,输入单元504可以包括图形处理器(GraphicsProcessing Unit,GPU)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器509可以包括易失性存储器或非易失性存储器,或者,存储器509可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器509包括但不限于这些和任意其它适合类型的存储器。
处理器510可包括一个或多个处理单元;可选的,处理器510集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述情绪识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述情绪识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (12)
1.一种情绪识别方法,其特征在于,所述方法包括:
采集用户的状态信息,其中,所述状态信息包括光电容积脉搏波描记法PPG信息和加速度ACC信息;
对所述PPG信息和所述ACC信息进行特征计算,得到目标特征信息;
在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态,所述参考特征值通过样本状态信息计算得到,所述样本状态信息为在所述用户处于非焦虑状态下获取的信息。
2.根据权利要求1所述的方法,其特征在于,所述对所述PPG信息和所述ACC信息进行特征计算,得到目标特征信息,包括:
提取所述PPG信息进行特征提取,得到峰峰值期间PPI特征,以及,对所述ACC信息进行处理,得到所述用户的三轴加速度特征;
对所述PPI特征和所述三轴加速度特征进行特征计算,得到所述目标特征信息。
3.根据权利要求2所述的方法,其特征在于,所述PPG信息包括预设时间窗口内所述用户的心率数据;
所述提取所述PPG信息进行特征提取,得到峰峰值期间PPI特征,包括:
对所述PPG信息中的P波进行识别,得到所述PPG信息中PPI的数量;
基于所述PPI的数量和所述预设时间窗口的时间长度生成所述PPI特征,其中,所述PPI特征为所述PPI的数量与所述预设时间窗口的时间长度的比值。
4.根据权利要求3所述的方法,其特征在于,所述ACC信息包括所述预设时间窗口内所述用户的运动加速度;
所述对所述ACC信息进行处理,得到所述用户的三轴加速度特征,包括:
基于所述ACC信息计算第一加速度参数、第二加速度参数和第三加速度参数,其中,所述第一加速度参数为所述用户在所述预设时间窗口内,沿三轴坐标系中的X轴方向的加速度标准差;所述第二加速度参数为所述用户在所述预设时间窗口内,沿所述三轴坐标系中的Y轴方向的加速度标准差;所述第三加速度参数为所述用户在所述预设时间窗口内,沿所述三轴坐标系中的Z轴方向的加速度标准差;
基于第一权重矩阵,对所述第一加速度参数、所述第二加速度参数和所述第三加速度参数进行加权求和,得到所述三轴加速度特征;
所述对所述PPI特征和所述三轴加速度特征进行特征计算,得到所述目标特征信息,包括:
将所述PPI特征和所述三轴加速度特征的乘积确定为所述目标特征信息。
5.根据权利要求1所述的方法,其特征在于,在所述得到目标特征信息之后,所述方法还包括:
在所述目标特征信息与所述参考特征值之间的差值小于或等于所述预设阈值的情况下,基于所述目标特征信息对所述参考特征值进行更新。
6.根据权利要求1所述的方法,其特征在于,所述在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态之前,所述方法还包括:
采集N个所述样本状态信息,其中,所述样本状态信息为在用户处于非焦虑状态的情况下,采集的样本PPG信息和样本ACC信息,所述N为大于1的整数;
对所述N个样本状态信息中的PPG信息和ACC信息进行特征计算,得到与所述N个样本状态信息一一对应的N个目标特征信息;
将所述N个目标特征信息的平均值确定为所述参考特征值。
7.一种情绪识别装置,其特征在于,所述装置包括:
采集模块,用于采集用户的状态信息,其中,所述状态信息包括光电容积脉搏波描记法PPG信息和加速度ACC信息;
计算模块,用于对所述PPG信息和所述ACC信息进行特征计算,得到目标特征信息;
确定模块,用于在所述目标特征信息与参考特征值之间的差值大于预设阈值的情况下,确定所述用户处于焦虑状态,所述参考特征值通过样本状态信息计算得到,所述样本状态信息为在所述用户处于非焦虑状态下获取的信息。
8.根据权利要求7所述的装置,其特征在于,所述计算模块,包括:
特征提取子模块,用于提取所述PPG信息进行特征提取,得到峰峰值期间PPI特征,以及,对所述ACC信息进行处理,得到所述用户的三轴加速度特征;
计算子模块,用于对所述PPI特征和所述三轴加速度特征进行特征计算,得到所述目标特征信息。
9.根据权利要求8所述的装置,其特征在于,所述PPG信息包括预设时间窗口内所述用户的心率数据;所述特征提取子模块,包括:
识别单元,用于对所述PPG信息中的P波进行识别,得到所述PPG信息中PPI的数量;
生成单元,用于基于所述PPI的数量和所述预设时间窗口的时间长度生成所述PPI特征,其中,所述PPI特征为所述PPI的数量与所述预设时间窗口的时间长度的比值。
10.根据权利要求9所述的装置,其特征在于,所述ACC信息包括所述预设时间窗口内所述用户的运动加速度;所述特征提取子模块,还包括:
计算单元,用于基于所述ACC信息计算第一加速度参数、第二加速度参数和第三加速度参数,其中,所述第一加速度参数为所述用户在所述预设时间窗口内,沿三轴坐标系中的X轴方向的加速度标准差;所述第二加速度参数为所述用户在所述预设时间窗口内,沿所述三轴坐标系中的Y轴方向的加速度标准差;所述第三加速度参数为所述用户在所述预设时间窗口内,沿所述三轴坐标系中的Z轴方向的加速度标准差;
所述计算单元,还用于基于第一权重矩阵,对所述第一加速度参数、所述第二加速度参数和所述第三加速度参数进行加权求和,得到所述三轴加速度特征;
所述计算子模块,具体用于将所述PPI特征和所述三轴加速度特征的乘积确定为所述目标特征信息。
11.根据权利要求7所述的装置,其特征在于,所述装置还包括:
更新模块,用于在所述目标特征信息与所述参考特征值之间的差值大于所述预设阈值的情况下,基于所述目标特征信息对所述参考特征值进行更新。
12.根据权利要求7所述的装置,其特征在于,所述采集模块,还用于采集N个所述样本状态信息,其中,所述样本状态信息为在用户处于非焦虑状态的情况下,采集的样本PPG信息和样本ACC信息,所述N为大于1的整数;
对所述N个样本状态信息中的PPG信息和ACC信息进行特征计算,得到与所述N个样本状态信息一一对应的N个目标特征信息;
将所述N个目标特征信息的平均值确定为所述参考特征值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410054674.3A CN117796808A (zh) | 2024-01-12 | 2024-01-12 | 情绪识别方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410054674.3A CN117796808A (zh) | 2024-01-12 | 2024-01-12 | 情绪识别方法、装置、电子设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117796808A true CN117796808A (zh) | 2024-04-02 |
Family
ID=90421961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410054674.3A Pending CN117796808A (zh) | 2024-01-12 | 2024-01-12 | 情绪识别方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117796808A (zh) |
-
2024
- 2024-01-12 CN CN202410054674.3A patent/CN117796808A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10636524B2 (en) | Method and system for optimized wake-up strategy via sleeping stage prediction with recurrent neural networks | |
Ortiz | Smartphone-based human activity recognition | |
Hnoohom et al. | An Efficient ResNetSE Architecture for Smoking Activity Recognition from Smartwatch. | |
Boudouane et al. | Fall detection system with portable camera | |
WO2020207317A1 (zh) | 用户健康评估方法、装置、存储介质及电子设备 | |
CN115227213B (zh) | 心率测量方法、电子设备及计算机可读存储介质 | |
CN112057066A (zh) | 心率的检测方法、可穿戴设备及计算机存储介质 | |
Fährmann et al. | Double deep q-learning with prioritized experience replay for anomaly detection in smart environments | |
Yu et al. | A practical wearable fall detection system based on tiny convolutional neural networks | |
Silva et al. | Automated development of custom fall detectors: Position, model and rate impact in performance | |
Dhanraj et al. | Efficient smartphone-based human activity recognition using convolutional neural network | |
CN111265841B (zh) | 一种游泳圈数确定方法、装置、设备及存储介质 | |
Masum et al. | Human activity recognition using multiple smartphone sensors | |
D’Aniello et al. | Situation identification in smart wearable computing systems based on machine learning and Context Space Theory | |
Parmar et al. | A comprehensive survey of various approaches on human fall detection for elderly people | |
Yousuf et al. | A ubiquitous architecture for wheelchair fall anomaly detection using low-cost embedded sensors and isolation forest algorithm | |
Khan et al. | Visionary vigilance: Optimized YOLOV8 for fallen person detection with large-scale benchmark dataset | |
CN117796808A (zh) | 情绪识别方法、装置、电子设备和可读存储介质 | |
Xing et al. | EVAL cane: Nonintrusive monitoring platform with a novel gait-based user-identification scheme | |
Ahmed et al. | Taking meredith out of Grey's anatomy: Automating hospital ICU emergency signaling | |
Olsen | Detecting Human Emotions Using Smartphone Accelerometer Data | |
Gomathy et al. | Fall detection for elderly people using machine learning | |
Marshal et al. | An Image-based Fall Detection System for the Elderly using YOLOv5 | |
CN115496105B (zh) | 睡眠预测模型训练方法、睡眠状况预测方法及相关装置 | |
Zhao et al. | A data augmentation strategy for skeleton-based fall detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |