CN108577866A - 一种多维情感识别与缓解的系统及方法 - Google Patents

一种多维情感识别与缓解的系统及方法 Download PDF

Info

Publication number
CN108577866A
CN108577866A CN201810297846.4A CN201810297846A CN108577866A CN 108577866 A CN108577866 A CN 108577866A CN 201810297846 A CN201810297846 A CN 201810297846A CN 108577866 A CN108577866 A CN 108577866A
Authority
CN
China
Prior art keywords
module
emotion
mood
multidimensional
smart machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810297846.4A
Other languages
English (en)
Inventor
陈晓鹂
骆迎东
周川鸿
黄琢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201810297846.4A priority Critical patent/CN108577866A/zh
Publication of CN108577866A publication Critical patent/CN108577866A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0016—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the smell sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Hematology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Anesthesiology (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Toys (AREA)

Abstract

本发明涉及一种多维情感识别与缓解的系统及方法，系统包括：获取模块、情感识别模块、数据库模块、决策模块、智能设备控制模块、智能设备模块和数据传输模块；获取模块用于获取目标的情感数据；情感识别模块对情感数据进行预处理与特征提取，并基于数据库模块中存储的情绪模型，对情感数据进行分析匹配以确定目标的情绪多维结果；决策模块基于情绪多维结果进行计算而形成决策方案；智能设备控制模块基于决策方案生成控制指令；智能设备模块基于控制指令完成操作。本发明的系统和方法对情绪判断的精确度高，利用智能设备实现家庭的情绪识别与缓解，方案更加个性化。

Description

一种多维情感识别与缓解的系统及方法
技术领域
本发明涉及医疗设备技术领域，尤其涉及一种多维情感识别与缓解的系统及方法。
背景技术
近年来，情绪病已经成为一种非常普遍的都市心理疾病，以抑郁症为例，当前抑郁症已经成为世界第四大疾病，预计到2020年可能将成为仅次于心脏病的人类第二大疾患，抑郁症将成为21世纪人类的主要杀手。严重的患者中有15％会选择自杀来结束生命，2/3的患者曾有过自杀的念头，每年因抑郁症自杀死亡的人数估计高达100万。如今，全世界患有抑郁症的人数在不断增长，在未来的一年里，将有5.8％的男子和9.5％的女子会出现抑郁症症状。
传统的技术采用的是控制器与传感器、显示屏、麦克风、音响等设备对患者的情绪进行识别与缓解，识别精度不高，误判与错判率相对较高，同时可以输出的方案也较为的单一，不利于长时间、多次数的使用，对于突发性的患者在多次体验后甚至可能会出现适得其反的后果。
如今智能家居走进了千家万户，智能音箱、智能电视、智能墙壁、智能门窗、智能香薰机都以随处可见，通过计算机的控制系统即可实现对设备的控制。这种智能化的控制可以时时的实现调整，更加“人性化”实现更多种方案的精确输出，与传统的广定义域的输出有了巨大的改进。
发明内容
有鉴于此，本发明提供了一种多维情感识别与缓解的系统，对情绪判断的精确度高，利用智能设备实现家庭的情绪识别与缓解，方案更加个性化。
为实现上述目的，本发明采用了一种技术方案：一种多维情感识别与缓解的系统，所述多维情感识别与缓解的系统包括：获取模块、情感识别模块、数据库模块、决策模块、智能设备控制模块、智能设备模块和数据传输模块；所述获取模块用于获取目标的情感数据，并通过所述数据传输模块将其传输给所述情感识别模块；所述情感识别模块对所述情感数据进行预处理与特征提取，并基于所述数据库模块中存储的情绪模型，对所述情感数据进行分析匹配以确定所述目标的情绪多维结果，并通过所述数据传输模块将其传输给所述决策模块；所述决策模块基于所述情绪多维结果进行计算而形成决策方案，并通过所述数据传输模块将其传输给所述智能设备控制模块；所述智能设备控制模块基于所述决策方案生成控制指令，并通过所述数据传输模块将其传输给所述智能设备模块；所述智能设备模块基于所述控制指令完成操作。
进一步地，所述获取模块包括面部情感获取单元、语言情感获取单元、肢体情感获取单元，所述面部情感获取单元用于获取所述目标的面部情感数据，所述语言情感获取单元用于获取所述目标的语言情感数据，所述肢体情感获取单元用于获取所述目标的肢体情感数据。
进一步地，所述目标的情绪多维结果包括语言的情绪类型和情绪等级、面部的情绪类型和情绪等级与肢体的情绪类型和情绪等级。
进一步地，所述数据库模块用于存储不同情绪的情感模型、各个情感模型的情绪等级、文字情绪库。
进一步地，由所述决策模块生成的决策方案包括针对不同情绪类型所采用的不同方案，以及针对同一情绪类型的不同情绪等级所采用的不同方案。
进一步地，由所述智能设备控制模块生成的控制指令包括一组控制指令，一组控制指令中的各个控制指令对应传输给不同的智能设备模块。
进一步地，所述智能设备模块包括智能影音、智能照明、智能窗帘、智能空调、智能安防、智能香薰机中的一种或几种。
为实现上述目的，本发明采用了另一种技术方案：一种通过上述任一项所述的多维情感识别与缓解的系统实现的多维情感识别与缓解的方法，包括如下步骤：
步骤101：通过所述获取模块获取目标的情感数据以作为底层特征；
步骤102：向所述情感识别模块中输入所述底层特征，对其进行预处理和分析，以获取与所述底层特征相对应的高级特征，以及面部变化、语言变化、肢体变化；
步骤103：将获取的面部变化、语言变化、肢体变化与所述数据库模块中的各个情感模型分别进行匹配计算，以获取语言匹配结果、面部匹配结果与肢体匹配结果；
步骤104：将上述匹配结果与所述数据库模块中的各个情感模型的情绪等级对比，分别确定各个匹配结果的情绪等级，确定出所述目标的情绪多维结果；
步骤105：将所述情绪多维结果传入所述决策模块，由所述决策模块根据所述情绪多维结果进行计算而形成决策方案；
步骤106：将所述决策方案传入所述智能设备控制模块，由所述智能设备控制模块生成控制指令并传入对应的智能设备模块；
步骤107：各个智能设备模块根据所述控制指令执行决策方案。
进一步地，方法还包括：在步骤107执行完毕后，重复执行步骤101-104以获取所述目标的新的情绪多维结果，由所述决策模块将新的情绪多维结果与之前的情绪多维结果进行对比，以判断所述目标的情绪是否得到缓解，若情绪得到缓解，则将步骤105中的所述决策方案存入所述数据库模块中，并将其标记为更高的优先权，作为优选方案；否则，继续执行步骤105-107，所述决策模块根据所述新的情绪多维结果进行计算而形成新的决策方案，所述智能设备控制模块生成新的控制指令，各个智能设备模块根据新的控制指令执行新的决策方案。
进一步地，判断所述目标的情绪是否得到缓解的标准为：情绪的类型是否由生气、焦虑、害怕、无聊或厌恶向中性、高兴进行演变，或者情绪的等级是否由高级向低级进行演变。
本发明的实施例提供的技术方案带来的有益效果是：(1)本发明的结构简单，可以在现有的体感设备上将深度摄像头、红外传感器、红外投影等进行集成，同时实现对智能家居设备的控制；(2)本发明对情绪判断的精确度高，依靠先进的技术、多方位的获取数据、将获取结果进行个性化的处理来实现针对性的方案；(3)本发明利用智能设备，根据视觉、听觉、嗅觉的刺激安抚情绪爆发的理论，可以实现多种方案的实施，实施方案更加个性化，更加具有针对性；(4)本发明可以获得用户的情感表达偏向，利于其情绪的识别与缓解。
附图说明
图1是本发明的多维情感识别与缓解的系统的组成示意图；
图2是本发明的获取模块的组成示意图；
图3是本发明的多维情感识别与缓解的方法流程图。
图中：10-获取模块，11-面部情感获取单元，12-语言情感获取单元，13-肢体情感获取单元，20-情感识别模块，30-数据库模块，40-决策模块，50-智能设备控制模块，60-智能设备模块，70-数据传输模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
如图1所示，本发明提供了一种多维情感识别与缓解的系统，包括获取模块10、情感识别模块20、数据库模块30、决策模块40、智能设备控制模块50、智能设备模块60和数据传输模块70。
所述获取模块10用于周期性获取目标(例如用户或患者)的肢体动作、面部表情、语言内容、声学特征等情感数据，作为目标的底层特征。获取一组情感数据的时间间隔和次数可根据实际情况进行设定与调整，例如获取所述目标在1分钟内的情感数据，可以是每间隔2秒、连续对面部拍照30次作为一组面部情感数据，每间隔5秒、连续录音12次作为一组语言情感数据，每间隔10秒、连续记录肢体动作6次作为一组肢体情感数据等。如图2所示，所述获取模块10包括面部情感获取单元11、语言情感获取单元12、肢体情感获取单元13。所述面部情感获取单元11用于获取所述目标的面部(例如包括眉、眼、鼻、嘴、耳、脸等)情感数据，例如目标的面部照片、面部深度照片、面部红外图等，所述面部情感获取单元11包括但不限于高速摄像机、普通相机、近红外摄像机、近红外传感器等。所述语言情感获取单元12用于获取所述目标的语言情感数据，包括语言的文字信息和所述目标的声学特征等，所述语言情感获取单元12包括但不限于录音机、A/D转换器等。所述肢体情感获取单元13用于获取所述目标的肢体运动轨迹，包括所述目标的肢体各个部位(例如手、头、肘、胯、足等)的移动位移、移动角度和眼球转动的角度与频率等，所述肢体情感获取单元13包括但不限于深度摄像头、高速摄像机。
所述情感识别模块20用于对所述情感数据进行预处理和分析，例如对目标的肢体动作、面部情绪、语言内容、声调变化等进行预处理和分析，以确定目标的情绪多维结果。所述情感识别模块20对从所述获取模块10中获取的各维度的情感数据进行预处理，然后分析出高级特征和高级特征的时间函数图，通过与所述数据库模块30中存储的情感模型进行匹配。例如，用一维卷积神经网络抽象出高级特征，然后利用递归神经网络捕捉时间维度上的语言变化；使用二维卷积神经网络和一个类似的卷积神经捕捉时间维度上的面部变化；使用三维卷积神经网络和一个类似的卷积神经捕捉时间维度上的肢体变化。
所述数据库模块30用于存储不同情绪的情感模型、各个情感模型的情绪等级、文字情绪库和其他数据，所述情感模型包括多种不同情绪(例如高兴、中性、无聊、害怕、焦虑、厌恶、生气7种情绪)在时间维度上的语言变化模型、面部变化模型与肢体变化模型，其中每种情绪依据激烈程度又分为多个情绪等级(例如程度由低到高分别10级，1级表示情绪最低，10级表示情绪最高)，同时，所述数据库模块30还可以将目标的情绪表达偏向性等重要数据与情绪缓解数据进行存储，来实现系统的不断优化。
所述决策模块40根据所述情感识别模块20生成的所述目标的情绪多维结果来计算而形成决策方案和对多种不同的情绪多维结果进行对比判断，所述决策方案可以是单一的(例如只需要一种智能设备模块60进行执行操作)，也可以是多维的(需要两种或两种以上的智能设备模块60来执行操作)。对多种不同的情绪多维结果进行对比判断时，包括判断情绪的类型是否改变、情绪的等级是否改变。
所述智能设备控制模块50接收所述决策模块40的决策方案，以此产生控制指令并传输给对应的智能设备模块60予以执行，所述控制指令可以是一组控制指令，一组控制指令中的各个控制指令对应传输给不同的智能设备模块60，例如两种或两种以上的控制指令分别对应传输给两种或两种以上的智能设备模块60。
所述智能设备模块60接收并执行所述智能设备控制模块50的控制指令，包括执行的时间段和时长等。所述智能设备模块60包括但不限于智能影音、智能照明、智能窗帘、智能空调、智能安防、智能香薰机等。
所述数据传输模块70用于本发明的系统各个模块间的数据传输，例如所述获取模块10获取的情感数据传输至所述情感识别模块20中，所述情感识别模块20生成的情感数据对应的高级特征传输至所述数据库模块30中，所述数据库模块30匹配的情绪多维结果传输至所述决策模块40中，所述决策模块40形成的决策方案传输至所述智能设备控制模块50中，所述智能设备控制模块50的控制指令传输至所述智能设备模块60中。所述数据传输模块70包括但不限于蓝牙、WiFi等。
如图3所示，本发明还涉及一种基于多维情感识别与缓解的方法，利用上述多维情感识别与缓解的系统来实现，具体包括以下步骤：
步骤101：通过所述获取模块10获取目标的情感数据以作为底层特征，所述情感数据包括目标的肢体动作、面部情绪、语言内容和声学特征等；
步骤102：向所述情感识别模块20中输入所述底层特征，对其进行预处理和分析，以获取与所述底层特征相对应的高级特征，以及所述高级特征随时间变化的函数，也即面部变化、语言变化、肢体变化；
步骤103：将获取的面部变化、语言变化、肢体变化与所述数据库模块50中的各个情感模型分别进行匹配计算，以获取语言匹配结果、面部匹配结果与肢体匹配结果；
步骤104：将上述匹配结果与所述数据库模块50中的各个情感模型的情绪等级对比，分别确定各个匹配结果的情绪等级，确定出所述目标的情绪多维结果；
步骤105：将所述情绪多维结果传入所述决策模块40，由所述决策模块40根据所述情绪多维结果进行计算而形成决策方案；
步骤106：将所述决策方案传入所述智能设备控制模块50，由所述智能设备控制模块50生成控制指令并传入对应的智能设备模块60，所述控制指令包括各个智能设备模块60的执行时长和时间段；
步骤107：各个智能设备模块60根据所述控制指令执行决策方案，所述决策方案的工作时间为一个工作周期。
上述方法还包括：在步骤107执行完毕后，也即当所述决策方案执行完毕后，重复执行步骤101-104以获取所述目标的新的情绪多维结果，由所述决策模块40将新的情绪多维结果与之前的情绪多维结果进行对比，以判断目标的情绪是否得到缓解，包括情绪的类型和等级是否缓解，例如情绪类型由生气、焦虑、害怕、无聊、厌恶向中性、高兴进行演变，或者情绪等级由高级向低级进行演变。如果情绪得到缓解，则将步骤105中的所述决策方案存入所述数据库模块30中，并将其标记为更高的优先权，作为缓解该目标情绪的优选方案；否则，继续执行步骤105-107，所述决策模块40根据所述新的情绪多维结果进行计算而形成新的决策方案，所述智能设备控制模块50生成新的控制指令，各个智能设备模块60根据新的控制指令执行新的决策方案，对所述目标进行进一步的情绪缓解。
在步骤101中，由所述面部情感获取单元11获取的底层特征包括面部红外热图、面部照片、面部视频、面部深度照片等。由所述语言情感获取单元12获取的底层特征包括目标的语言和声学特征，并对语言进行文字化处理，判断抽离出其中情绪强烈的词汇；并对所述声学特征的韵律特征以及频谱特征进行记录，所述韵律特征包括但不限于基频、能量、语速、共振峰等，所述频谱特征包括但不限于频率倒谱系数(Mel-Frequency CepstralCoefficients，MFCC)和感知线性预测(Perceptual Linear Prediction，PLP)等，例如使用录音机对目标的声音进行获取，再来通过A/D转换器将声音信号转换为数字信号，通过数字信号获取声学特征。由所述肢体情感获取单元13对目标的自体骨骼信息进行识别与空间定位，记录其运动的轨迹，包括肢体各个部位的移动位移、移动角度、眼球转动的角度和频率等，例如通过深度摄像头获取目标的深度图像，通过骨骼识别算法库深度图像识别出人体关节点并提取空间坐标，经过滤波、空间向量计算获得数据，作为底层特征。
在步骤102中，对所述底层特征进行预处理包括数据筛选和去噪，例如获取的面部照片中可能包括全身照，则需要将其进行面部部分的提取；又例如将视频数据转化为以帧模式存储的数据并对其去噪、分辨率降采样等。对所述底层特征进行分析包括特征提取以获取高级特征，通过获取的面部照片、面部深度照片或面部红外图等来对目标的面部肌肉群进行捕捉，提取出高级特征，可通过LBP与PCA结合的方法获得，例如微笑时脸部的苹果肌收缩，对其左苹果肌和右苹果肌的收缩程度进行提取以作为高级特征，同时做出高级特征的时间函数图。
在步骤103中，所述情感识别模块20将其获取的面部变化、语言变化、肢体变化与所述数据库模块50中的各个情感模型分别进行匹配计算，获取面部匹配结果、语言匹配结果与肢体匹配结果，也即分别确定面部、语音和肢体所对应的情绪类型，三者所匹配的情绪类型可能相同、也可能不同，例如面部变化与焦虑匹配、语音变化与害怕匹配、肢体变化与无聊匹配。
在步骤104中，所述情感识别模块20将通过所述数据库模块50中的各个情感模型的情绪等级进一步确定上述匹配结果的情绪等级，也即将获取的语言匹配结果、面部匹配结果与肢体匹配结果分别确定情绪等级，例如面部变化与焦虑10级匹配、语音变化与害怕4级匹配、肢体变化与无聊1级匹配，由此获得了所述目标的情绪多维结果。
在步骤105中，所述决策模块40将根据所述目标的情绪多维结果进行计算以形成决策方案，所述决策方案包括针对不同情绪所采用的不同方案，以及针对同一情绪的不同情绪等级所采用的不同方案。例如，针对焦虑的方案为播放影音、针对焦虑10级的方案为播放影音30分钟，针对害怕的方案为释放香味、针对害怕4级的方案为释放薄荷香香味，针对无聊的方案为调整光照、针对无聊1级的方案为增加光照，最终形成的决策方案可以：智能影音播放舒缓类歌曲、智能香薰机释放薄荷香香味与智能照明控制光照强度为10000Lux。
在步骤106中，所述智能设备控制模块50针对接收的决策方案来生成控制指令，所述控制指令包括针对不同智能设备模块60的对应控制指令，分别传给对应的智能设备模块60，例如将播放舒缓类音乐30分钟的控制指令传给智能影音、释放薄荷香香味10分钟的控制指令传给智能香薰机、控制光照强度为10000Lux的控制指令传给智能照明。
本发明的实施例提供的技术方案带来的有益效果是：(1)本发明的结构简单，可以在现有的体感设备上将深度摄像头、红外传感器、红外投影等进行集成，同时实现对智能家居设备的控制；(2)本发明对情绪判断的精确度高，依靠先进的技术、多方位的获取数据、将获取结果进行个性化的处理来实现针对性的方案；(3)本发明利用智能设备，根据视觉、听觉、嗅觉的刺激安抚情绪爆发的理论，可以实现多种方案的实施，实施方案更加个性化，更加具有针对性；(4)本发明可以获得用户的情感表达偏向，利于其情绪的识别与缓解。
值得说明的是：在本发明的描述中，提及的相关决策方案和设定的时间参数等仅为方便理解本理解，在进行实际操作时，上述决策方案和设定参数等均可进行更改，且均应包含在本发明的保护范围内。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多维情感识别与缓解的系统，其特征在于，所述多维情感识别与缓解的系统包括：获取模块、情感识别模块、数据库模块、决策模块、智能设备控制模块、智能设备模块和数据传输模块；所述获取模块用于获取目标的情感数据，并通过所述数据传输模块将其传输给所述情感识别模块；所述情感识别模块对所述情感数据进行预处理与特征提取，并基于所述数据库模块中存储的情绪模型，对所述情感数据进行分析匹配以确定所述目标的情绪多维结果，并通过所述数据传输模块将其传输给所述决策模块；所述决策模块基于所述情绪多维结果进行计算而形成决策方案，并通过所述数据传输模块将其传输给所述智能设备控制模块；所述智能设备控制模块基于所述决策方案生成控制指令，并通过所述数据传输模块将其传输给所述智能设备模块；所述智能设备模块基于所述控制指令完成操作。
2.如权利要求1所述的多维情感识别与缓解的系统，其特征在于：所述获取模块包括面部情感获取单元、语言情感获取单元、肢体情感获取单元，所述面部情感获取单元用于获取所述目标的面部情感数据，所述语言情感获取单元用于获取所述目标的语言情感数据，所述肢体情感获取单元用于获取所述目标的肢体情感数据。
3.如权利要求1所述的多维情感识别与缓解的系统，其特征在于：所述目标的情绪多维结果包括语言的情绪类型和情绪等级、面部的情绪类型和情绪等级与肢体的情绪类型和情绪等级。
4.如权利要求1所述的多维情感识别与缓解的系统，其特征在于：所述数据库模块用于存储不同情绪的情感模型、各个情感模型的情绪等级、文字情绪库。
5.如权利要求1所述的多维情感识别与缓解的系统，其特征在于：由所述决策模块生成的决策方案包括针对不同情绪类型所采用的不同方案，以及针对同一情绪类型的不同情绪等级所采用的不同方案。
6.如权利要求1所述的多维情感识别与缓解的系统，其特征在于：由所述智能设备控制模块生成的控制指令包括一组控制指令，一组控制指令中的各个控制指令对应传输给不同的智能设备模块。
7.如权利要求1所述的多维情感识别与缓解的系统，其特征在于：所述智能设备模块包括智能影音、智能照明、智能窗帘、智能空调、智能安防、智能香薰机中的一种或几种。
8.一种通过权利要求1-7任一项所述的多维情感识别与缓解的系统实现的多维情感识别与缓解的方法，其特征在于：包括如下步骤：
步骤101：通过所述获取模块获取目标的情感数据以作为底层特征；
步骤102：向所述情感识别模块中输入所述底层特征，对其进行预处理和分析，以获取与所述底层特征相对应的高级特征，以及面部变化、语言变化、肢体变化；
步骤103：将获取的面部变化、语言变化、肢体变化与所述数据库模块中的各个情感模型分别进行匹配计算，以获取语言匹配结果、面部匹配结果与肢体匹配结果；
步骤104：将上述匹配结果与所述数据库模块中的各个情感模型的情绪等级对比，分别确定各个匹配结果的情绪等级，确定出所述目标的情绪多维结果；
步骤105：将所述情绪多维结果传入所述决策模块，由所述决策模块根据所述情绪多维结果进行计算而形成决策方案；
步骤106：将所述决策方案传入所述智能设备控制模块，由所述智能设备控制模块生成控制指令并传入对应的智能设备模块；
步骤107：各个智能设备模块根据所述控制指令执行决策方案。
9.如权利要求8所述的通过权利要求1-7任一项所述的多维情感识别与缓解的系统实现的多维情感识别的方法，其特征在于：方法还包括：在步骤107执行完毕后，重复执行步骤101-104以获取所述目标的新的情绪多维结果，由所述决策模块将新的情绪多维结果与之前的情绪多维结果进行对比，以判断所述目标的情绪是否得到缓解，若情绪得到缓解，则将步骤105中的所述决策方案存入所述数据库模块中，并将其标记为更高的优先权，作为优选方案；否则，继续执行步骤105-107，所述决策模块根据所述新的情绪多维结果进行计算而形成新的决策方案，所述智能设备控制模块生成新的控制指令，各个智能设备模块根据新的控制指令执行新的决策方案。
10.如权利要求9所述的通过权利要求1-7任一项所述的多维情感识别与缓解的系统实现的多维情感识别的方法，其特征在于：判断所述目标的情绪是否得到缓解的标准为：情绪的类型是否由生气、焦虑、害怕、无聊或厌恶向中性、高兴进行演变，或者情绪的等级是否由高级向低级进行演变。
CN201810297846.4A 2018-04-03 2018-04-03 一种多维情感识别与缓解的系统及方法 Pending CN108577866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810297846.4A CN108577866A (zh) 2018-04-03 2018-04-03 一种多维情感识别与缓解的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810297846.4A CN108577866A (zh) 2018-04-03 2018-04-03 一种多维情感识别与缓解的系统及方法

Publications (1)

Publication Number Publication Date
CN108577866A true CN108577866A (zh) 2018-09-28

Family

ID=63625412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810297846.4A Pending CN108577866A (zh) 2018-04-03 2018-04-03 一种多维情感识别与缓解的系统及方法

Country Status (1)

Country Link
CN (1) CN108577866A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109199414A (zh) * 2018-10-30 2019-01-15 武汉理工大学 一种基于脑电信号的视听诱发情绪识别方法及系统
CN110262413A (zh) * 2019-05-29 2019-09-20 深圳市轱辘汽车维修技术有限公司 智能家居控制方法、控制装置、车载终端及可读存储介质
CN111214691A (zh) * 2020-03-09 2020-06-02 中国美术学院 一种智能香薰机
CN111413874A (zh) * 2019-01-08 2020-07-14 北京京东尚科信息技术有限公司 用于控制智能设备的方法、装置和系统
CN112017758A (zh) * 2020-09-15 2020-12-01 龙马智芯（珠海横琴）科技有限公司 情感识别方法、装置、情感识别系统以及分析决策终端
CN113116319A (zh) * 2021-04-22 2021-07-16 科曼利(广东)电气有限公司 一种感知情绪用以转化场景变换的智能家居控制系统
CN113133764A (zh) * 2020-01-17 2021-07-20 曾建荣 数据收集管理系统
CN116909159A (zh) * 2023-01-17 2023-10-20 广东维锐科技股份有限公司 一种基于心情指数的智能家居控制系统及方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1581149A (zh) * 2004-03-25 2005-02-16 东南大学 运用人的情绪和情绪变化信息构建人机界面的方法
CN1692341A (zh) * 2002-12-11 2005-11-02 索尼株式会社 信息处理设备、信息处理方法、程序以及存储介质
CN101226743A (zh) * 2007-12-05 2008-07-23 浙江大学 基于中性和情感声纹模型转换的说话人识别方法
CN101618280A (zh) * 2009-06-30 2010-01-06 哈尔滨工业大学 具有人机交互功能的仿人头像机器人装置及行为控制方法
CN101930735A (zh) * 2009-06-23 2010-12-29 富士通株式会社 语音情感识别设备和进行语音情感识别的方法
CN103258531A (zh) * 2013-05-29 2013-08-21 安宁 一种用于说话人无关的语音情感识别的谐波特征提取方法
CN103460289A (zh) * 2011-03-28 2013-12-18 诺基亚公司 检测面部变化的方法和设备
CN104036776A (zh) * 2014-05-22 2014-09-10 毛峡 一种应用于移动终端的语音情感识别方法
CN204272460U (zh) * 2014-12-15 2015-04-15 欧普照明股份有限公司 一种智能照明系统及具有该智能照明系统的智能照明灯具
CN104965552A (zh) * 2015-07-03 2015-10-07 北京科技大学 一种基于情感机器人的智能家居环境协同控制方法及系统
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN105574478A (zh) * 2015-05-28 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种信息处理的方法和装置
CN105559804A (zh) * 2015-12-23 2016-05-11 上海矽昌通信技术有限公司 一种基于多种监控的心情管家系统
CN105976809A (zh) * 2016-05-25 2016-09-28 中国地质大学（武汉） 基于语音和面部表情的双模态情感融合的识别方法及系统
CN106264568A (zh) * 2016-07-28 2017-01-04 深圳科思创动实业有限公司 非接触式情绪检测方法和装置
CN106293102A (zh) * 2016-10-13 2017-01-04 旗瀚科技有限公司 一种基于用户心情变化情绪的机器人情感交流方法
CN106295568A (zh) * 2016-08-11 2017-01-04 上海电力学院 基于表情和行为双模态结合的人类自然状态情感识别方法
CN106804076A (zh) * 2017-02-28 2017-06-06 深圳市喜悦智慧实验室有限公司 一种智能家居的照明系统
CN106897706A (zh) * 2017-03-02 2017-06-27 上海帆煜自动化科技有限公司 一种情绪识别装置
CN106919924A (zh) * 2017-03-07 2017-07-04 佛山市融信通企业咨询服务有限公司 一种基于人面识别的情绪分析系统
CN107293309A (zh) * 2017-05-19 2017-10-24 四川新网银行股份有限公司 一种基于客户情绪分析提升舆情监控效率的方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1692341A (zh) * 2002-12-11 2005-11-02 索尼株式会社 信息处理设备、信息处理方法、程序以及存储介质
CN1581149A (zh) * 2004-03-25 2005-02-16 东南大学 运用人的情绪和情绪变化信息构建人机界面的方法
CN101226743A (zh) * 2007-12-05 2008-07-23 浙江大学 基于中性和情感声纹模型转换的说话人识别方法
CN101930735A (zh) * 2009-06-23 2010-12-29 富士通株式会社 语音情感识别设备和进行语音情感识别的方法
CN101618280A (zh) * 2009-06-30 2010-01-06 哈尔滨工业大学 具有人机交互功能的仿人头像机器人装置及行为控制方法
CN103460289A (zh) * 2011-03-28 2013-12-18 诺基亚公司 检测面部变化的方法和设备
CN103258531A (zh) * 2013-05-29 2013-08-21 安宁 一种用于说话人无关的语音情感识别的谐波特征提取方法
CN104036776A (zh) * 2014-05-22 2014-09-10 毛峡 一种应用于移动终端的语音情感识别方法
CN204272460U (zh) * 2014-12-15 2015-04-15 欧普照明股份有限公司 一种智能照明系统及具有该智能照明系统的智能照明灯具
CN105574478A (zh) * 2015-05-28 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种信息处理的方法和装置
CN104965552A (zh) * 2015-07-03 2015-10-07 北京科技大学 一种基于情感机器人的智能家居环境协同控制方法及系统
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN105559804A (zh) * 2015-12-23 2016-05-11 上海矽昌通信技术有限公司 一种基于多种监控的心情管家系统
CN105976809A (zh) * 2016-05-25 2016-09-28 中国地质大学（武汉） 基于语音和面部表情的双模态情感融合的识别方法及系统
CN106264568A (zh) * 2016-07-28 2017-01-04 深圳科思创动实业有限公司 非接触式情绪检测方法和装置
CN106295568A (zh) * 2016-08-11 2017-01-04 上海电力学院 基于表情和行为双模态结合的人类自然状态情感识别方法
CN106293102A (zh) * 2016-10-13 2017-01-04 旗瀚科技有限公司 一种基于用户心情变化情绪的机器人情感交流方法
CN106804076A (zh) * 2017-02-28 2017-06-06 深圳市喜悦智慧实验室有限公司 一种智能家居的照明系统
CN106897706A (zh) * 2017-03-02 2017-06-27 上海帆煜自动化科技有限公司 一种情绪识别装置
CN106919924A (zh) * 2017-03-07 2017-07-04 佛山市融信通企业咨询服务有限公司 一种基于人面识别的情绪分析系统
CN107293309A (zh) * 2017-05-19 2017-10-24 四川新网银行股份有限公司 一种基于客户情绪分析提升舆情监控效率的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
裴金胤等: "情感化智能家居系统设计", 《智能应用》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109199414A (zh) * 2018-10-30 2019-01-15 武汉理工大学 一种基于脑电信号的视听诱发情绪识别方法及系统
CN111413874A (zh) * 2019-01-08 2020-07-14 北京京东尚科信息技术有限公司 用于控制智能设备的方法、装置和系统
CN110262413A (zh) * 2019-05-29 2019-09-20 深圳市轱辘汽车维修技术有限公司 智能家居控制方法、控制装置、车载终端及可读存储介质
CN113133764A (zh) * 2020-01-17 2021-07-20 曾建荣 数据收集管理系统
CN111214691A (zh) * 2020-03-09 2020-06-02 中国美术学院 一种智能香薰机
CN112017758A (zh) * 2020-09-15 2020-12-01 龙马智芯（珠海横琴）科技有限公司 情感识别方法、装置、情感识别系统以及分析决策终端
CN112017758B (zh) * 2020-09-15 2021-04-30 龙马智芯（珠海横琴）科技有限公司 情感识别方法、装置、情感识别系统以及分析决策终端
CN113116319A (zh) * 2021-04-22 2021-07-16 科曼利(广东)电气有限公司 一种感知情绪用以转化场景变换的智能家居控制系统
CN116909159A (zh) * 2023-01-17 2023-10-20 广东维锐科技股份有限公司 一种基于心情指数的智能家居控制系统及方法

Similar Documents

Publication Publication Date Title
CN108577866A (zh) 一种多维情感识别与缓解的系统及方法
CN103366618B (zh) 基于人工智能与虚拟现实用于汉语学习培训的场景设备
Schuller et al. Emotion recognition in the noise applying large acoustic feature sets
CN107972028B (zh) 人机交互方法、装置及电子设备
Kessous et al. Multimodal emotion recognition in speech-based interaction using facial expression, body gesture and acoustic analysis
US20180018985A1 (en) System and method for detecting repetitive speech
CN108764010A (zh) 情绪状态确定方法及装置
CN108227932A (zh) 交互意图确定方法及装置、计算机设备及存储介质
CN108334583A (zh) 情感交互方法及装置、计算机可读存储介质、计算机设备
CN110110169A (zh) 人机交互方法及人机交互装置
Castellano et al. Multimodal emotion recognition from expressive faces, body gestures and speech
Wimmer et al. Low-level fusion of audio and video feature for multi-modal emotion recognition
Kim et al. Emotion recognition using physiological and speech signal in short-term observation
WO2019034184A1 (zh) 融合声学特征和发音运动特征的发音评估方法和系统
Paleari et al. Features for multimodal emotion recognition: An extensive study
CN111920420A (zh) 一种基于统计学习的患者行为多模态分析与预测系统
Rao et al. Recognition of emotions from video using acoustic and facial features
Abouelenien et al. Multimodal gender detection
Niewiadomski et al. Towards multimodal expression of laughter
Hammami et al. Pathological voices detection using support vector machine
Amin et al. HMM based automatic Arabic sign language translator using Kinect
Ye et al. Attention bidirectional LSTM networks based mime speech recognition using sEMG data
Haq et al. Using lip reading recognition to predict daily Mandarin conversation
Liu et al. Emotional tone-based audio continuous emotion recognition
Atassi et al. Emotional vocal expressions recognition using the COST 2102 Italian database of emotional speech

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928

RJ01 Rejection of invention patent application after publication