CN109394209A - 一种面向孕妇音乐治疗的个性化情感调节系统及方法 - Google Patents

一种面向孕妇音乐治疗的个性化情感调节系统及方法 Download PDF

Info

Publication number
CN109394209A
CN109394209A CN201811200242.XA CN201811200242A CN109394209A CN 109394209 A CN109394209 A CN 109394209A CN 201811200242 A CN201811200242 A CN 201811200242A CN 109394209 A CN109394209 A CN 109394209A
Authority
CN
China
Prior art keywords
emotion
pregnant woman
vector
mean
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811200242.XA
Other languages
English (en)
Other versions
CN109394209B (zh
Inventor
姜大志
马云驹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Original Assignee
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University filed Critical Shantou University
Priority to CN201811200242.XA priority Critical patent/CN109394209B/zh
Publication of CN109394209A publication Critical patent/CN109394209A/zh
Application granted granted Critical
Publication of CN109394209B publication Critical patent/CN109394209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Acoustics & Sound (AREA)
  • Pulmonology (AREA)
  • Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Anesthesiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Artificial Intelligence (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pain & Pain Management (AREA)
  • Educational Technology (AREA)
  • Hematology (AREA)
  • Evolutionary Biology (AREA)

Abstract

本发明实施例公开了一种面向孕妇音乐治疗的个性化情感调节系统，胎龄特征识别模块、语音交互与语义情感识别模块、体征生理参数处理模块、脑电波生理参数处理模块、理疗音乐推荐模块。本发明实施例还公开了一种面向孕妇音乐治疗的个性化情感调节方法。采用本发明，有效地减缓孕妇在妊娠期间产生的负面心理情绪，可应用于医院护理、家庭护理以及相关心理护理情境下的应用领域。该发明的基础模型为人形机器人，通过识别孕妇胎龄特征及相关生理参数，推送相应的音乐调节孕妇的情绪，并可根据生理、心理、音乐“情绪舒缓医疗报告”协助参考。

Description

一种面向孕妇音乐治疗的个性化情感调节系统及方法
技术领域
本发明涉及人工智能领域，尤其涉及一种面向孕妇音乐治疗的个性化情感调节系统及方法。
背景技术
孕产期是女性特有的关键期，该时期女性经历怀孕和生产的特殊过程，在这一整个过程中，孕妇的情绪发生着一系列不同的变化，其中包括：高兴、忧虑、压抑、恐惧、焦虑等等。在长达280天的怀孕过程中，这种跌宕起伏的情绪转换过程，不尽影响着孕妇的身心健康，对胎儿也有一定程度影响，同样受着妈妈的情绪变化产生不同的影响。妊娠期间母亲心境平和，情绪稳定时，胎动缓和而有规律，当孕妇情绪激动时，则可能造成胎儿的过度运动和心率加快。如果这种恶劣的情绪持续较长时间，胎儿活动的强度和频率会比平时增加10倍，从而给胎儿带来不同程度的伤害，甚至严重焦虑的孕妇经常伴有恶性妊娠呕吐，可能导致流产、早产、产程延长和难产等情况。
由此可见，孕妇的精神状态和情绪变化与胎儿的发育及能否顺利分娩息息相关，孕妇在妊娠期内情绪的有效调节不仅十分必要，而且刻不容缓。
在现有技术中，关情绪调节及其相关类似平台做的研究和发明比较单一，普遍不能获得比较好的情绪识别及情绪调节结果，存在以下缺点：
1、现有的技术大多面向的是普通群体。有针对性地面向孕妇群体，实现情绪调节，并没有得到全面的重视，更谈不上成熟的应用。
2、现有的技术大多通过简单的人机交互，以及调查问卷等简单手段获取对象情感状态，这导致多数情况下的情绪判断不准确，例如人机对话中对象可能处于一种“伪装”状态，以至无法准确判断。
3、现有的技术大多仅能够完成一次性的情绪判断，并不能实现实时地动态地情绪调节，也即不存在情绪的闭环调节。
4、现有的技术大多只有单一的情绪获取渠道，对于情绪判断的准确率不高。
5、现有的技术对于情绪调节是基于现有的带有情绪标签的资料库，面对不同年龄段或不同个性的人群，往往只能推送相同的情绪调节资料，不能推送符合的个人特性、合适的情绪调节资料。
6、现有的技术大多仅仅只面向需求情绪调节的对象，并且只做单一的情绪调节，并没有对生理学、心理学起到推动、协助作用。
发明内容
本发明实施例所要解决的技术问题在于，提供一种面向孕妇音乐治疗的个性化情感调节方法。可通过识别孕妇的整体体型体征获得孕妇的胎龄特征，由此推送相应的专业心理音乐。
为了解决上述技术问题，本发明实施例提供了一种面向孕妇音乐治疗的个性化情感调节系统，包括胎龄特征识别模块、语音交互与语义情感识别模块、体征生理参数处理模块、脑电波生理参数处理模块、理疗音乐推荐模块；
所述胎龄特征识别模块用于通过摄像记录孕妇的体型体征，由摄像图像计算体型曲率特征矩阵，通过多分类回归算法实现胎龄识别；
所述语音交互与语义情感识别模块用于在孕妇的人机对话过程及内容中进行语音情感识别与语义情感识别；
所述体征生理参数处理模块通过获取心率、体温、呼吸频率的信息，以多组时间序列作为所述理疗音乐推荐模块的组成特征参数参与专业心理治疗音乐的推送；
所述脑电波生理参数处理模块用于以固定的短时间窗口为单位获取脑电波信号时间序列，并以分类器进行情感分类获得单位时间窗口的情感坐标，在情感象限中描绘，最终形成几何多边形，取情感多边形特征点作为所述理疗音乐推荐模块的特征参数；
所述理疗音乐推荐模块用于将获得的体征生理参数、脑电波生理参数实时调整情感向量，更新推荐结果。
进一步地，所述理疗音乐推荐模块包括推荐算法和情绪趋近模型，所述情绪趋近模型包括低落－高涨、悲伤－快乐构成的二维坐标。
更进一步地，所述理疗音乐推荐模块用于将所述语音交互与语义情感识别模块、体征生理参数处理模块、脑电波生理参数处理模块所获取的数据构成2 维情感向量，并在设定的时间窗口在所述情绪趋近模型中实时描绘并最终形成点群；
对所述点群用具有噪声聚类方法聚类后，对于各组簇适用以下公式得到点群特征点，
其中Dist函数为欧几里得距离，Mean函数为均值函数，xk为簇中心点向量，xm为所有点的中心点向量，其中中心点向量计算方法为
根据设定的情感目标向量，计算相应的情感调节向量xadjust，计算公式如下；
xadjust＝xfeature-α(xtarget-xfeature)
其中xtarget为设定的情感目标向量，α为步进系数；
对于实时获取的情感向量，若超过设定的情感限制区域的数量大于设定的阈值，直接触发(2)(3)步骤，实现情感调节的“紧急调控”，即：
Num(|xtarget-xi|>LIM)<Numalert
其中Num函数为获得元素个数，xtarget为设定的情感目标向量，xi为实时获得的情感向量，LIM为设定的情感限制区域“半径”，Numalert表示设定的数量阈值；
对于每一个窗口的情感向量xfeature，保留并计算一次情感调节周期之间的平均情感状态，
xfeat_mean＝Mean(∑xfeature)
对于当前次情感调节周期内，计算情感调节向量的均值：
xadjust_mean＝Mean(∑xadjust)
模型输出的结果为上一次情感调节周期的平均情感状态与当前次情感调节向量均值的向量和：
x＝xadjust_mean+xfeat_mean
根据孕妇孕周，选择合适的理疗音乐集及其在模型中的映射表示
基于理疗音乐在模型中的映射表示根据模型输出结果x与前一周期的平均情感状态xfeat_mean找出最合适的理疗音乐：
更进一步地，还包括理疗记录与情绪报告模块，用于通过孕妇舒缓理疗过程的生理信号特征，计算形成孕妇在理疗过程中的情绪变化曲线。
相应地，本发明实施例还提供了一种面向孕妇音乐治疗的个性化情感调节方法，包括以下步骤：
S1：通过孕妇与终端的人机对话进行语音情感识别与语义情感的识别，对所述语音情感与语义情感进行均值计算得到孕妇初始的情绪特征作为参与专业心理治疗音乐的推送的参数；
S2：通过摄像记录孕妇的体型体征，由图像计算体型曲率特征矩阵，通过多分类回归算法实现胎龄识别作为参与专业心理治疗音乐的推送的参数；
S3：实时获取心率、体温、呼吸频率的信息，以多组时间序列作为参与专业心理治疗音乐的推送的参数；
S4：以固定的短时间窗口为单位获取脑电波信号时间序列，并以分类器进行情感分类获得单位时间窗口的情感坐标，在情感象限中描绘，最终形成几何多边形，取情感多边形特征点作为参与专业心理治疗音乐的推送的参数；
S5：实时调整情感向量，更新推荐结果。
更进一步地，所述S1具体包括在语音识别中选取包括共振峰轨迹、能量、说话速率、发音持续时间、语音波形和基音轨迹作为特征，选取多模式SVM－KNN 分类器进行多情感识别；选取情感词库对文本进行情感匹配从而得到文本的情感；对语音情感与语义情感进行均值计算得到孕妇初始的情绪特征。
更进一步地，所述S2具体包括如下步骤：
(1)获得孕妇的人体形态图像序列后，对图像序列进行灰度化处理；
(2)对图像序列做平滑预处理，以消除图像噪声，具体采用领域平均法，通过单位点与其邻域内像素点的平均值去除突变噪声像素点；
(3)采用均值法提取检测区域的背景图像，其中图像序列表示为 Pic(n＝1，2，...，k)，采用均值法提取背景图像，其背景图像单位像素点表示为：
其中pi(x，y)为第i帧图像序列的像素点，根据以上公式可获得检测区域的背景图像；
(4)采用背景差分法获得孕妇人体区域，将图像序列中的所有图像与背景图像相减并叠加、平均所有图像结果，获得人体区域图：
(5)根据设定的阈值，对人体区域图的灰度图图像做二值化处理；
(6)对获得的人体区域图进一步做中值滤波处理，去除人体图像外的噪声点；
(7)使用Canny算子提取人体边缘轮廓，获得单位像素的人体轮廓图；
计算像素点向量矩阵，即通过Freeman的八链码理论计算轮廓线的每个像素点的链码值；
(8)计算孕妇体型特征点及其相关的特征矩阵，由支持向量机多类别分类获得孕妇孕周参数。
更进一步地，所述S4具体包括如下步骤：
(1)通过EEG传感器以固定的短时间窗口为单位获取脑电波信号时间序列；
(2)经过降噪、滤波处理并实现节律波提取；
(3)由获得IMF分量(IntrinsicModeFunction，数据序列本征模函数)；
(4)对IMF分量作特征抽取；
(5)分类器进行情感分类获得单位时间窗口的情感坐标；
(6)在情感象限中描绘，最终形成几何多边形；
(7)取情感多边形特征点作为理疗音乐推荐模块的特征参数，实现对对象实时的个性化情感调节；
(8)在一定时间窗口内，若情感坐标特征点超过设定的阈值，则调整治疗音乐，以实现对对象的动态化情感调节。
更进一步地，所述S5具体包括：
(1)由步骤S1－S4获得2维情感向量，并在设定的时间窗口在所述情绪趋近模型中实时描绘并最终形成点群；
对所述点群用具有噪声聚类方法聚类后，对于各组簇适用以下公式得到点群特征点，
其中Dist函数为欧几里得距离，Mean函数为均值函数，xk为簇中心点向量，xm为所有点的中心点向量，其中中心点向量计算方法为
根据设定的情感目标向量，计算相应的情感调节向量xadjust，计算公式如下；
xadjust＝xfeature-α(xtarget-xfeature)
其中xtarget为设定的情感目标向量，α为步进系数；
对于实时获取的情感向量，若超过设定的情感限制区域的数量大于设定的阈值，直接触发(2)(3)步骤，实现情感调节的“紧急调控”，即：
Num(|xtarget-xi|>LIM)<Numalert
其中Num函数为获得元素个数，xtarget为设定的情感目标向量，xi为实时获得的情感向量，LIM为设定的情感限制区域“半径”，Numalert表示设定的数量阈值；
对于每一个窗口的情感向量xfeature，保留并计算一次情感调节周期之间的平均情感状态，
xfeat_mean＝Mean(∑xfeature)
对于当前次情感调节周期内，计算情感调节向量的均值：
xadjust_mean＝Mean(∑xadjust)
模型输出的结果为上一次情感调节周期的平均情感状态与当前次情感调节向量均值的向量和：
x＝xadjust_mean+xfeat_mean
根据孕妇孕周，选择合适的理疗音乐集及其在模型中的映射表示
基于理疗音乐在模型中的映射表示根据模型输出结果x与前一周期的平均情感状态xfeat_mean找出最合适的理疗音乐：
实施本发明实施例，具有如下有益效果：本发明实时监控孕妇的情绪波动、通过语音语义分析孕妇情感，并自动识别孕妇的孕周，利用智能生理手环获取孕妇多组时间序列的生理信息；通过脑电/心电传感器实时获取孕妇EEG/ECG 信号；利用以上特征通过机器学习算法作出理疗音乐推荐，帮助孕妇在孕产期舒缓调节情绪，
附图说明
图1是本发明系统的整体结构示意框图；
图2是Freeman链码值在点P处的表示以及其码值对应的方向的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
参照图1所示的结构示意图。
本发明实施例的一种面向孕妇音乐治疗的个性化情感调节系统，包括以下模块。
1、用户登录及交互模块：用户通过液晶显示扫描二维码注册及登录系统，并可根据显示填写、选择相应的信息，良好的界面提高用户的交互体验。
2、语音交互与语义情感识别模块：通过孕妇与终端的人机对话，实现用户无需手动动作完成系统操作；并且系统提出相关问答题让孕妇回答，根据孕妇与终端的人机对话过程及内容，进行语音情感识别与语义情感识别。在语音识别中选取共振峰轨迹、能量、说话速率、发音持续时间、语音波形和基音轨迹作为特征，选取多模式SVM－KNN(支持向量机－k近邻法)分类器进行多情感识别。对于语义识别，则选取中科院的情感词库对文本进行情感匹配从而得到文本的情感。最后对语音情感与语义情感进行均值计算得到孕妇初始的情绪特征，作为音乐理疗的初始特征参数参与专业心理音乐的推送。
3、胎龄特征识别模块：通过摄像记录孕妇的体型体征，经过降噪、ROI区域监测、轮廓勾画等处理，由图像计算体型曲率特征矩阵，基于该特征使用多分类回归算法实现胎龄识别，并作为音乐理疗的一部分特征参数参与专业心理音乐的推送。其具体过程如下：
(1)获得孕妇的人体形态图像序列后，对图像序列进行灰度化处理；
(2)对图像序列做平滑预处理，以消除图像噪声，具体采用领域平均法，通过单位点与其邻域内像素点的平均值去除突变噪声像素点；
(3)采用均值法提取检测区域的背景图像，其中图像序列表示为 Pic(n＝1，2，...，k)，采用均值法提取背景图像，其背景图像单位像素点表示为：
其中pi(x，y)为第i帧图像序列的像素点，根据以上公式可获得检测区域的背景图像；
(4)采用背景差分法获得孕妇人体区域，将图像序列中的所有图像与背景图像相减并叠加、平均所有图像结果，获得人体区域图，即：
(5)根据设定的阈值，对人体区域图的灰度图图像做二值化处理；
(6)对获得的人体区域图进一步做中值滤波处理，去除人体图像外的噪声点；
(7)使用Canny算子提取人体边缘轮廓，获得单位像素的人体轮廓图；
(8)计算像素点向量矩阵，即通过Freeman的八链码理论计算轮廓线的每个像素点的链码值，Freeman链码值在点P处的表示以及其码值对应的方向如图 2所示。
计算孕妇体型特征点及其相关的特征矩阵，由支持向量机多类别分类获得孕妇孕周参数。
4、体征生理参数处理模块：通过配备PPG传感器、红外热电堆传感器、无线传输模块的生理监测手环，实时获取心率、体温、呼吸频率的信息，经过信号降噪、滤波、时频转换、特征抽取等处理，以多组时间序列作为理疗音乐推荐模块的一部分特征参数参与专业心理治疗音乐的推送。
5、脑电波生理参数处理模块：
(1)通过EEG(electroencephalograph，脑电图描记器)传感器以固定的短时间窗口为单位获取脑电波信号时间序列；
(2)经过降噪、滤波处理并实现节律波提取；
(3)由EMD(EmpiricalModeDecomposition，经验模态分解)获得IMF 分量(IntrinsicModeFunction，数据序列本征模函数)；
(4)对IMF分量作特征抽取；
(5)分类器进行情感分类获得单位时间窗口的情感坐标
(6)在情感象限中描绘，最终形成几何多边形；
(7)取情感多边形特征点(如形心点等)作为理疗音乐推荐模块的特征参数，实现对对象实时的个性化情感调节。
(8)在一定时间窗口内，若情感坐标特征点超过设定的阈值，则调整治疗音乐，以实现对对象的动态化情感调节。
6、理疗音乐推荐模块：该模块为性化情感调节平台的核心模块，其通过前述的初始化程序，包括胎龄特征识别、语音语义情感识别，确定初始的情感向量；由理疗进行过程中获得的体征生理参数、脑电波生理参数，实时调整情感向量，更新推荐结果。
该模块主要包含推荐算法和“情绪趋近模型”。模型以二维坐标为基础，分别以“低落－高涨”、“悲伤－快乐”为轴，其处理过程如下：
(1)由语音交互与语义情感识别模块、体征生理参数处理模块、脑电波生理参数处理模块获得2维情感向量，以一定的时间窗口在模型中实时描绘并最终形成点群；
(2)对点群用具有噪声的基于密度的聚类方法(DBSCAN，Density－BasedSpatialClusteringof ApplicationswithNoise)聚类后，对于各组簇适用以下公式得到点群特征点，也即当前过程的情感向量；
其中Dist函数为欧几里得距离，Mean函数为均值函数，xk为簇中心点向量，xm为所有点的中心点向量，其中中心点向量计算方法为
(3)根据设定的情感目标向量，计算相应的情感调节向量xadjust，计算公式如下；
xadjust＝xfeature-α(xtarget-xfeature)
其中xtarget为设定的情感目标向量，α为步进系数；
(4)对于实时获取的情感向量，若超过设定的情感限制区域的数量大于设定的阈值，直接触发(2)(3)步骤，实现情感调节的“紧急调控”，即：
Num(|xtarget-xi|>LIM)<Numalert
其中Num函数为获得元素个数，xtarget为设定的情感目标向量，xi为实时获得的情感向量，LIM为设定的情感限制区域“半径”，Numalert表示设定的数量阈值；
(5)对于每一个窗口的情感向量xfeature，保留并计算一次情感调节周期之间的平均情感状态，
xfeat_mean＝Mean(∑xfeature)
对于当前次情感调节周期内，计算情感调节向量的均值：
xadjust_mean＝Mean(∑xadjust)
模型输出的结果为上一次情感调节周期的平均情感状态与当前次情感调节向量均值的向量和：
x＝xadjust_mean+xfeat_mean
(6)根据孕妇孕周，选择合适的理疗音乐集及其在模型中的映射表示
(7)基于理疗音乐在模型中的映射表示根据模型输出结果x与前一周期的平均情感状态xfeat_mean找出最合适的理疗音乐：
7、理疗记录与情绪报告模块：该模块通过孕妇舒缓理疗过程的生理信号特征，计算形成孕妇在理疗过程中的情绪变化曲线，即记录时间序列的情感向量 xfeature与情感调节周期的信息，供相关理疗医师分析孕妇的情绪波动性、不稳定性，作为更专业的心理治疗参考。
8、理疗音乐集模块：收纳多种类型的孕妇情绪理疗音乐，并且音乐集中音乐涵盖多种特征标签，包含胎龄、情绪，以便实现精确、快速的音乐推荐。
本发明实施例还提供了一种面向孕妇音乐治疗的个性化情感调节方法，包括以下步骤：
S1：通过孕妇与终端的人机对话进行语音情感识别与语义情感的识别，对所述语音情感与语义情感进行均值计算得到孕妇初始的情绪特征作为参与专业心理治疗音乐的推送的参数；
S2：通过摄像记录孕妇的体型体征，由图像计算体型曲率特征矩阵，通过多分类回归算法实现胎龄识别作为参与专业心理治疗音乐的推送的参数；
S3：实时获取心率、体温、呼吸频率的信息，以多组时间序列作为参与专业心理治疗音乐的推送的参数；
S4：以固定的短时间窗口为单位获取脑电波信号时间序列，并以分类器进行情感分类获得单位时间窗口的情感坐标，在情感象限中描绘，最终形成几何多边形，取情感多边形特征点作为参与专业心理治疗音乐的推送的参数；
S5：实时调整情感向量，更新推荐结果。
其中，在S1中，通过孕妇与终端的人机对话，实现用户无需手动动作完成系统操作；并且系统提出相关问答题让孕妇回答，根据孕妇与终端的人机对话过程及内容，进行语音情感识别与语义情感识别。在语音识别中选取共振峰轨迹、能量、说话速率、发音持续时间、语音波形和基音轨迹作为特征，选取多模式SVM－KNN(支持向量机－k近邻法)分类器进行多情感识别。对于语义识别，则选取中科院的情感词库对文本进行情感匹配从而得到文本的情感。最后对语音情感与语义情感进行均值计算得到孕妇初始的情绪特征，作为音乐理疗的初始特征参数参与专业心理音乐的推送。
在S2中，通过摄像记录孕妇的体型体征，经过降噪、ROI区域监测、轮廓勾画等处理，由图像计算体型曲率特征矩阵，基于该特征使用多分类回归算法实现胎龄识别，并作为音乐理疗的一部分特征参数参与专业心理音乐的推送。其具体过程如下：
(9)获得孕妇的人体形态图像序列后，对图像序列进行灰度化处理；
(10)对图像序列做平滑预处理，以消除图像噪声，具体采用领域平均法，通过单位点与其邻域内像素点的平均值去除突变噪声像素点；
(11)采用均值法提取检测区域的背景图像，其中图像序列表示为Pic(n＝1，2，...，k)，采用均值法提取背景图像，其背景图像单位像素点表示为：
其中pi(x，y)为第i帧图像序列的像素点，根据以上公式可获得检测区域的背景图像；
(12)采用背景差分法获得孕妇人体区域，将图像序列中的所有图像与背景图像相减并叠加、平均所有图像结果，获得人体区域图，即：
(13)根据设定的阈值，对人体区域图的灰度图图像做二值化处理；
(14)对获得的人体区域图进一步做中值滤波处理，去除人体图像外的噪声点；
(15)使用Canny算子提取人体边缘轮廓，获得单位像素的人体轮廓图；
(16)计算像素点向量矩阵，即通过Freeman的八链码理论计算轮廓线的每个像素点的链码值，Freeman链码值在点P处的表示以及其码值对应的方向如图2所示。
计算孕妇体型特征点及其相关的特征矩阵，由支持向量机多类别分类获得孕妇孕周参数。
在S3中，通过配备PPG传感器、红外热电堆传感器、无线传输模块的生理监测手环，实时获取心率、体温、呼吸频率的信息，经过信号降噪、滤波、时频转换、特征抽取等处理，以多组时间序列作为理疗音乐推荐模块的一部分特征参数参与专业心理治疗音乐的推送。
在S4中，(1)通过EEG(electroencephalograph，脑电图描记器)传感器以固定的短时间窗口为单位获取脑电波信号时间序列；
(2)经过降噪、滤波处理并实现节律波提取；
(3)由EMD(EmpiricalModeDecomposition，经验模态分解)获得IMF 分量(IntrinsicModeFunction，数据序列本征模函数)；
(4)对IMF分量作特征抽取；
(5)分类器进行情感分类获得单位时间窗口的情感坐标
(6)在情感象限中描绘，最终形成几何多边形；
(7)取情感多边形特征点(如形心点等)作为理疗音乐推荐模块的特征参数，实现对对象实时的个性化情感调节。
(8)在一定时间窗口内，若情感坐标特征点超过设定的阈值，则调整治疗音乐，以实现对对象的动态化情感调节。
在S5中，通过前述的初始化程序，包括胎龄特征识别、语音语义情感识别，确定初始的情感向量；由理疗进行过程中获得的体征生理参数、脑电波生理参数，实时调整情感向量，更新推荐结果。
主要包括主要包含推荐算法和“情绪趋近模型”。模型以二维坐标为基础，分别以“低落－高涨”、“悲伤－快乐”为轴，其处理过程如下：
(1)由语音交互与语义情感识别模块、体征生理参数处理模块、脑电波生理参数处理模块获得2维情感向量，以一定的时间窗口在模型中实时描绘并最终形成点群；
(2)对点群用具有噪声的基于密度的聚类方法(DBSCAN，Density－Based SpatialClusteringofApplicationswithNoise)聚类后，对于各组簇适用以下公式得到点群特征点，也即当前过程的情感向量；
其中Dist函数为欧几里得距离，Mean函数为均值函数，xk为簇中心点向量，xm为所有点的中心点向量，其中中心点向量计算方法为
(3)根据设定的情感目标向量，计算相应的情感调节向量xadjust，计算公式如下；
xadjust＝xfeature-α(xtarget-xfeature)
其中xtarget为设定的情感目标向量，α为步进系数；
(4)对于实时获取的情感向量，若超过设定的情感限制区域的数量大于设定的阈值，直接触发(2)(3)步骤，实现情感调节的“紧急调控”，即：
Num(|xtarget-xi|>LIM)<Numalert
其中Num函数为获得元素个数，xtarget为设定的情感目标向量，xi为实时获得的情感向量，LIM为设定的情感限制区域“半径”，Numalert表示设定的数量阈值；
(5)对于每一个窗口的情感向量xfeature，保留并计算一次情感调节周期之间的平均情感状态，
xfeat_mean＝Mean(∑xfeature)
对于当前次情感调节周期内，计算情感调节向量的均值：
xadjust_mean＝Mean(∑xadjust)
模型输出的结果为上一次情感调节周期的平均情感状态与当前次情感调节向量均值的向量和：
x＝xadjust_mean+xfeat_mean
(6)根据孕妇孕周，选择合适的理疗音乐集及其在模型中的映射表示
(7)基于理疗音乐在模型中的映射表示根据模型输出结果x与前一周期的平均情感状态xfeat_mean找出最合适的理疗音乐：
本发明具有如下优点：
1.实现多渠道获取情绪。
现有的情感调节技术对于情绪识别仅仅来源于单一渠道的人体数据，如 EEG、ECG等，这往往造成情绪识别上不准确性高。本方案采取多类数据融合的手段，不仅仅对孕妇做单一的情绪识别，还包括语音语义情感识别、体征数据、脑电波数据等，如语音语调、语速、语义情感、胎龄相关信息、孕妇心率、体温、血压、血氧饱和度等生理信息的时间序列，EEG/ECG时间序列信号。由此提高情绪判断的准确率，推荐更加准确的理疗音乐。
2.基于情绪动态调控的情感调节音乐推荐模型。
现有的音乐情感调节技术对于推荐模型，只能单一地以一首歌或固定地时间段作为理疗周期，这一方面造成对理疗音乐的情绪标签准确性非常高方能保证每一理疗周期的有效性，另一方面无法捕捉人类多变的情绪，对孕妇人群中特殊的心理特点难以有效稳定，多方面的弊端导致现有技术的推荐模型较为呆板。本方案采取的多体感数据融合推荐模型，不断分析一定理疗时间内的孕妇情绪，及时调整不符合的理疗音乐，避免不合适的理疗音乐加重孕妇心理病情，同时也在一定程度上弥补了理疗音乐主观标签的不精确性。
3.多体感数据融合的情感调节音乐推荐模型。
现有的音乐情感调节技术对于推荐模型，在单一的数据源下模型并不复杂，只需接受唯一的体感数据及其对应的情感关系。本方案统一了多体感数据的输出口径，实现大量数据点作为推荐模型的输入，以达到更好的聚类算法效果；同时，在离群点(异常点)数据的处理上，既不完全将其抛弃，也不完全接受，而是根据其离群程度采取不同的影响因子，以此维护了客观数据存在性；再者，在处理理疗音乐与情感状态、情感目标的对应关系时，考虑了音乐情感与情感趋势方向的一致性，这与心理学上情绪稳定、情绪调控的理论吻合，比现有技术的模型相比更加具有专业性。
4.针对孕妇群体的心理调节音乐。
现有的音乐情感调节技术的音乐集，有适合自闭症患者，有适合抑郁患者，也有仅仅针对普通人。本方案中，专门针对于孕妇群体设计，收纳更多种类的孕妇情绪理疗音乐，作不同孕期的音乐分类，并对音乐进行特征提取，使音乐集中的音乐涵盖多种特征标签，根据孕妇情绪推荐理疗音乐，帮助舒缓调节孕妇的情绪。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种面向孕妇音乐治疗的个性化情感调节系统，其特征在于，包括胎龄特征识别模块、语音交互与语义情感识别模块、体征生理参数处理模块、脑电波生理参数处理模块、理疗音乐推荐模块；
所述胎龄特征识别模块用于通过摄像记录孕妇的体型体征，由摄像图像计算体型曲率特征矩阵，通过多分类回归算法实现胎龄识别；
所述语音交互与语义情感识别模块用于在孕妇的人机对话过程及内容中进行语音情感识别与语义情感识别；
所述体征生理参数处理模块通过获取心率、体温、呼吸频率的信息，以多组时间序列作为所述理疗音乐推荐模块的组成特征参数参与专业心理治疗音乐的推送；
所述脑电波生理参数处理模块用于以固定的短时间窗口为单位获取脑电波信号时间序列，并以分类器进行情感分类获得单位时间窗口的情感坐标，在情感象限中描绘，最终形成几何多边形，取情感多边形特征点作为所述理疗音乐推荐模块的特征参数；
所述理疗音乐推荐模块用于将获得的体征生理参数、脑电波生理参数实时调整情感向量，更新推荐结果。
2.根据权利要求1所述的面向孕妇音乐治疗的个性化情感调节系统，其特征在于，所述理疗音乐推荐模块包括推荐算法和情绪趋近模型，所述情绪趋近模型包括低落－高涨、悲伤－快乐构成的二维坐标。
3.根据权利要求2所述的面向孕妇音乐治疗的个性化情感调节系统，其特征在于，所述理疗音乐推荐模块用于将所述语音交互与语义情感识别模块、体征生理参数处理模块、脑电波生理参数处理模块所获取的数据构成2维情感向量，并在设定的时间窗口在所述情绪趋近模型中实时描绘并最终形成点群；
对所述点群用具有噪声聚类方法聚类后，对于各组簇适用以下公式得到点群特征点，
其中Dist函数为欧几里得距离，Mean函数为均值函数，xk为簇中心点向量，xm为所有点的中心点向量，其中中心点向量计算方法为
根据设定的情感目标向量，计算相应的情感调节向量xadjust，计算公式如下；
xadjust＝xfeature-α(xtarget-xfeature)
其中xtarget为设定的情感目标向量，α为步进系数；
对于实时获取的情感向量，若超过设定的情感限制区域的数量大于设定的阈值，直接触发(2)(3)步骤，实现情感调节的“紧急调控”，即：
Num(|xtarget-xi|>LIM)<Numalert
其中Num函数为获得元素个数，xtarget为设定的情感目标向量，xi为实时获得的情感向量，LIM为设定的情感限制区域“半径”，Numalert表示设定的数量阈值；
对于每一个窗口的情感向量xfeature，保留并计算一次情感调节周期之间的平均情感状态，
xfeat_mean＝Mean(∑xfeature)
对于当前次情感调节周期内，计算情感调节向量的均值：
xadjust_mean＝Mean(∑xadjust)
模型输出的结果为上一次情感调节周期的平均情感状态与当前次情感调节向量均值的向量和：
x＝xadjust_mean+xfeat_mean
根据孕妇孕周，选择合适的理疗音乐集及其在模型中的映射表示l(β)。
基于理疗音乐在模型中的映射表示l(β)，根据模型输出结果x与前一周期的平均情感状态xfeat_mean找出最合适的理疗音乐：
4.根据权利要求1－3任一项所述的面向孕妇音乐治疗的个性化情感调节系统，其特征在于，还包括理疗记录与情绪报告模块，用于通过孕妇舒缓理疗过程的生理信号特征，计算形成孕妇在理疗过程中的情绪变化曲线。
5.一种面向孕妇音乐治疗的个性化情感调节方法，其特征在于，包括以下步骤：
S1：通过孕妇与终端的人机对话进行语音情感识别与语义情感的识别，对所述语音情感与语义情感进行均值计算得到孕妇初始的情绪特征作为参与专业心理治疗音乐的推送的参数；
S2：通过摄像记录孕妇的体型体征，由图像计算体型曲率特征矩阵，通过多分类回归算法实现胎龄识别作为参与专业心理治疗音乐的推送的参数；
S3：实时获取心率、体温、呼吸频率的信息，以多组时间序列作为参与专业心理治疗音乐的推送的参数；
S4：以固定的短时间窗口为单位获取脑电波信号时间序列，并以分类器进行情感分类获得单位时间窗口的情感坐标，在情感象限中描绘，最终形成几何多边形，取情感多边形特征点作为参与专业心理治疗音乐的推送的参数；
S5：实时调整情感向量，更新推荐结果。
6.根据权利要求5所述的面向孕妇音乐治疗的个性化情感调节方法，其特征在于，所述S1具体包括在语音识别中选取包括共振峰轨迹、能量、说话速率、发音持续时间、语音波形和基音轨迹作为特征，选取多模式SVM－KNN分类器进行多情感识别；选取情感词库对文本进行情感匹配从而得到文本的情感；对语音情感与语义情感进行均值计算得到孕妇初始的情绪特征。
7.根据权利要求5所述的面向孕妇音乐治疗的个性化情感调节方法，其特征在于，所述S2具体包括如下步骤：
(1)获得孕妇的人体形态图像序列后，对图像序列进行灰度化处理；
(2)对图像序列做平滑预处理，以消除图像噪声，具体采用领域平均法，通过单位点与其邻域内像素点的平均值去除突变噪声像素点；
(3)采用均值法提取检测区域的背景图像，其中图像序列表示为Pic(n＝1，2，...，k)，采用均值法提取背景图像，其背景图像单位像素点表示为：
其中pi(x，y)为第i帧图像序列的像素点，根据以上公式可获得检测区域的背景图像；
(4)采用背景差分法获得孕妇人体区域，将图像序列中的所有图像与背景图像相减并叠加、平均所有图像结果，获得人体区域图：
(5)根据设定的阈值，对人体区域图的灰度图图像做二值化处理；
(6)对获得的人体区域图进一步做中值滤波处理，去除人体图像外的噪声点；
(7)使用Canny算子提取人体边缘轮廓，获得单位像素的人体轮廓图；
(8)计算像素点向量矩阵，即通过Freeman的八链码理论计算轮廓线的每个像素点的链码值；
(9)计算孕妇体型特征点及其相关的特征矩阵，由支持向量机多类别分类获得孕妇孕周参数。
8.根据权利要求5所述的面向孕妇音乐治疗的个性化情感调节方法，其特征在于，所述S4具体包括如下步骤：
(1)通过EEG传感器以固定的短时间窗口为单位获取脑电波信号时间序列；
(2)经过降噪、滤波处理并实现节律波提取；
(3)由获得IMF分量(IntrinsicModeFunction，数据序列本征模函数)；
(4)对IMF分量作特征抽取；
(5)分类器进行情感分类获得单位时间窗口的情感坐标；
(6)在情感象限中描绘，最终形成几何多边形；
(7)取情感多边形特征点作为理疗音乐推荐模块的特征参数，实现对对象实时的个性化情感调节；
(8)在一定时间窗口内，若情感坐标特征点超过设定的阈值，则调整治疗音乐，以实现对对象的动态化情感调节。
9.根据权利要求5－8任一项所述的面向孕妇音乐治疗的个性化情感调节方法，其特征在于，所述S5具体包括：
(1)由步骤S1－S4获得2维情感向量，并在设定的时间窗口在所述情绪趋近模型中实时描绘并最终形成点群；
对所述点群用具有噪声聚类方法聚类后，对于各组簇适用以下公式得到点群特征点，
其中Dist函数为欧几里得距离，Mean函数为均值函数，xk为簇中心点向量，xm为所有点的中心点向量，其中中心点向量计算方法为
根据设定的情感目标向量，计算相应的情感调节向量xadjust，计算公式如下；
xadjust＝xfeature-α(xtarget-xfeature)
其中xtarget为设定的情感目标向量，α为步进系数；
对于实时获取的情感向量，若超过设定的情感限制区域的数量大于设定的阈值，直接触发(2)(3)步骤，实现情感调节的“紧急调控”，即：
Num(|xtarget-xi|>LIM)<Numalert
其中Num函数为获得元素个数，xtarget为设定的情感目标向量，xi为实时获得的情感向量，LIM为设定的情感限制区域“半径”，Numalert表示设定的数量阈值；
对于每一个窗口的情感向量xfeature，保留并计算一次情感调节周期之间的平均情感状态，
xfeat_mean＝Mean(∑xfeature)
对于当前次情感调节周期内，计算情感调节向量的均值：
xadjust_mean＝Mean(∑xadjust)
模型输出的结果为上一次情感调节周期的平均情感状态与当前次情感调节向量均值的向量和：
x＝xadjust_mean+xfeat_mean
根据孕妇孕周，选择合适的理疗音乐集及其在模型中的映射表示l(β)。
基于理疗音乐在模型中的映射表示l(β)，根据模型输出结果x与前一周期的平均情感状态xfeat_mean找出最合适的理疗音乐：
CN201811200242.XA 2018-10-15 2018-10-15 一种面向孕妇音乐治疗的个性化情感调节系统及方法 Active CN109394209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811200242.XA CN109394209B (zh) 2018-10-15 2018-10-15 一种面向孕妇音乐治疗的个性化情感调节系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811200242.XA CN109394209B (zh) 2018-10-15 2018-10-15 一种面向孕妇音乐治疗的个性化情感调节系统及方法

Publications (2)

Publication Number Publication Date
CN109394209A true CN109394209A (zh) 2019-03-01
CN109394209B CN109394209B (zh) 2021-07-06

Family

ID=65467248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811200242.XA Active CN109394209B (zh) 2018-10-15 2018-10-15 一种面向孕妇音乐治疗的个性化情感调节系统及方法

Country Status (1)

Country Link
CN (1) CN109394209B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110947075A (zh) * 2019-11-27 2020-04-03 华南理工大学 基于脑波音乐的个性化精神状态调节系统及调节方法
CN111068159A (zh) * 2019-12-27 2020-04-28 兰州大学 一种基于脑电信号的音乐反馈抑郁情绪调节系统
CN111227813A (zh) * 2020-02-17 2020-06-05 济南奥康医疗设备有限公司 产妇心理压力和盆底肌力双动态评估和分级干预装置
CN111616722A (zh) * 2020-06-03 2020-09-04 吕丹青 一种检测情绪变化的方法、系统以及穿戴设备
CN112604123A (zh) * 2020-12-16 2021-04-06 中山职业技术学院 一种音乐疗法的监控系统
WO2021073646A1 (zh) * 2019-10-18 2021-04-22 四川大学华西医院 一种基于语言引导与心率反应来评估情绪特征的方法
CN112842337A (zh) * 2020-11-11 2021-05-28 郑州大学第一附属医院 一种用于移动查房场景的情感疏导系统及方法
CN113100711A (zh) * 2021-04-08 2021-07-13 南通市妇幼保健院 一种临产产妇健康状况实时追踪的方法和系统
CN113223718A (zh) * 2021-06-02 2021-08-06 重庆医药高等专科学校 一站式情绪宣泄系统
CN113712572A (zh) * 2020-11-25 2021-11-30 北京未名脑脑科技有限公司 认知功能的评估系统和方法
CN113780546A (zh) * 2020-05-21 2021-12-10 华为技术有限公司 一种评估女性情绪的方法及相关装置、设备
CN113941072A (zh) * 2021-10-20 2022-01-18 北京深睡眠科技有限公司 一种基于ai智能与疗愈的新概念睡眠舱

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021406A (zh) * 2012-12-18 2013-04-03 台州学院 基于压缩感知的鲁棒性语音情感识别方法
CN103111006A (zh) * 2013-01-31 2013-05-22 江苏中京智能科技有限公司 智能心情调整仪
CN106264571A (zh) * 2016-08-29 2017-01-04 无锡卓信信息科技股份有限公司 一种服刑人员情绪调节方法及系统
CN106310484A (zh) * 2015-06-25 2017-01-11 丛才卜 一种用于缓解情绪及压力的促进健康装置
CN106909620A (zh) * 2017-01-17 2017-06-30 广东小天才科技有限公司 一种用于早教的功能性音乐分类方法及系统
CN107049338A (zh) * 2017-04-12 2017-08-18 河南工业大学 一种基于计算机通信的医学用情绪检测装置
CN107174238A (zh) * 2017-05-19 2017-09-19 深圳睿京科技有限公司 生理数据的处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021406A (zh) * 2012-12-18 2013-04-03 台州学院 基于压缩感知的鲁棒性语音情感识别方法
CN103111006A (zh) * 2013-01-31 2013-05-22 江苏中京智能科技有限公司 智能心情调整仪
CN106310484A (zh) * 2015-06-25 2017-01-11 丛才卜 一种用于缓解情绪及压力的促进健康装置
CN106264571A (zh) * 2016-08-29 2017-01-04 无锡卓信信息科技股份有限公司 一种服刑人员情绪调节方法及系统
CN106909620A (zh) * 2017-01-17 2017-06-30 广东小天才科技有限公司 一种用于早教的功能性音乐分类方法及系统
CN107049338A (zh) * 2017-04-12 2017-08-18 河南工业大学 一种基于计算机通信的医学用情绪检测装置
CN107174238A (zh) * 2017-05-19 2017-09-19 深圳睿京科技有限公司 生理数据的处理方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073646A1 (zh) * 2019-10-18 2021-04-22 四川大学华西医院 一种基于语言引导与心率反应来评估情绪特征的方法
CN110947075A (zh) * 2019-11-27 2020-04-03 华南理工大学 基于脑波音乐的个性化精神状态调节系统及调节方法
CN111068159A (zh) * 2019-12-27 2020-04-28 兰州大学 一种基于脑电信号的音乐反馈抑郁情绪调节系统
CN111227813A (zh) * 2020-02-17 2020-06-05 济南奥康医疗设备有限公司 产妇心理压力和盆底肌力双动态评估和分级干预装置
CN113780546A (zh) * 2020-05-21 2021-12-10 华为技术有限公司 一种评估女性情绪的方法及相关装置、设备
CN111616722A (zh) * 2020-06-03 2020-09-04 吕丹青 一种检测情绪变化的方法、系统以及穿戴设备
CN112842337A (zh) * 2020-11-11 2021-05-28 郑州大学第一附属医院 一种用于移动查房场景的情感疏导系统及方法
CN113712572A (zh) * 2020-11-25 2021-11-30 北京未名脑脑科技有限公司 认知功能的评估系统和方法
CN112604123A (zh) * 2020-12-16 2021-04-06 中山职业技术学院 一种音乐疗法的监控系统
CN113100711A (zh) * 2021-04-08 2021-07-13 南通市妇幼保健院 一种临产产妇健康状况实时追踪的方法和系统
CN113223718A (zh) * 2021-06-02 2021-08-06 重庆医药高等专科学校 一站式情绪宣泄系统
CN113941072A (zh) * 2021-10-20 2022-01-18 北京深睡眠科技有限公司 一种基于ai智能与疗愈的新概念睡眠舱

Also Published As

Publication number Publication date
CN109394209B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN109394209A (zh) 一种面向孕妇音乐治疗的个性化情感调节系统及方法
Awais et al. LSTM-based emotion detection using physiological signals: IoT framework for healthcare and distance learning in COVID-19
Zhang et al. A noninvasive blood glucose monitoring system based on smartphone PPG signal processing and machine learning
US11468288B2 (en) Method of and system for evaluating consumption of visual information displayed to a user by analyzing user&#39;s eye tracking and bioresponse data
CN104871160B (zh) 用于感觉和认知剖析的系统和方法
CN105022929B (zh) 一种人格特质值测验的认知准确度分析方法
CN110801221B (zh) 基于无监督特征学习的睡眠呼吸暂停片段检测设备
Li et al. A fusion framework based on multi-domain features and deep learning features of phonocardiogram for coronary artery disease detection
Cabon et al. Video and audio processing in paediatrics: A review
Maqsood et al. A benchmark study of machine learning for analysis of signal feature extraction techniques for blood pressure estimation using photoplethysmography (PPG)
CN107402635B (zh) 结合脑电波与虚拟现实的心理健康调节方法及系统
CN108714020B (zh) 自适应心理调节仪、实时眼动延时求取方法及存储介质
Kang et al. 1D convolutional autoencoder-based PPG and GSR signals for real-time emotion classification
CN111110256A (zh) 一种基于人体面部红外热像的情绪测量方法
Mellouk et al. CNN-LSTM for automatic emotion recognition using contactless photoplythesmographic signals
CN115024725A (zh) 融合心理状态多参数检测的肿瘤治疗辅助决策系统
Huang et al. Electroencephalogram-based motor imagery classification using deep residual convolutional networks
Motogna et al. Strategy for affective computing based on HRV and EDA
CN113749656A (zh) 基于多维生理信号的情感识别方法和装置
Choi et al. Weighted knowledge distillation of attention-LRCN for recognizing affective states from PPG signals
Jindal MobileSOFT: U: A deep learning framework to monitor heart rate during intensive physical exercise
Li et al. The study of emotion recognition from physiological signals
Kim et al. Development of person-independent emotion recognition system based on multiple physiological signals
CN114842972A (zh) 确定用户状态的方法、装置、电子设备及介质
Markova et al. Detection of acute stress caused by cognitive tasks based on physiological signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant