CN114533063A - 一种多源监测结合的情感计算系统及方法 - Google Patents
一种多源监测结合的情感计算系统及方法 Download PDFInfo
- Publication number
- CN114533063A CN114533063A CN202210166099.7A CN202210166099A CN114533063A CN 114533063 A CN114533063 A CN 114533063A CN 202210166099 A CN202210166099 A CN 202210166099A CN 114533063 A CN114533063 A CN 114533063A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- emotion
- layer
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 78
- 238000004364 calculation method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012544 monitoring process Methods 0.000 title claims abstract description 22
- 230000003993 interaction Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 39
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 230000006837 decompression Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 3
- 230000002618 waking effect Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 description 7
- 230000002996 emotional effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008436 biogenesis Effects 0.000 description 1
- 239000000796 flavoring agent Substances 0.000 description 1
- 235000019634 flavors Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008285 neurophysiological mechanism Effects 0.000 description 1
- 230000009914 physiological arousal Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提出一种多源监测结合的情感计算系统及方法包括采集层、处理层、内端应用层和数据层，采集层内设有视频采集模块、语音采集模块和问卷统计模块，处理层内设有设有视频特征提取单元、音频特征提取单元和问卷提取单元，内端应用层内设有模型分析计算模块、数据融合模块和人机交互模块，其方法包括采集用户进行人机交互过程中的视频数据、语音数据以及问卷调查，并对视频数据、语音数据以及问卷调查的数据进行分别处理，再通过模型分析计算模块进行分析计算；通过视频采集模块、语音采集模块以及问卷统计模块的配合，来采用视频、语音以及问卷的方式作为情感计算的数据来源，及采用多源监测进行结合来提升情感计算的精准性。
Description
技术领域
本发明涉及情感计算技术领域，尤其涉及一种多源监测结合的情感计算系统及方法。
背景技术
情感计算的概念是在1997年由MIT媒体实验室Picard教授提出，她指出情感计算是与情感相关，来源于情感或能够对情感施加影响的计算，中国科学院自动化研究所的胡包刚等人也通过自己的研究，提出了对情感计算的定义：“情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，并使计算机具有更高的、全面的智能”，情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统，即赋予计算机像人一样的观察、理解和生成各种情感特征的能力；
情感具有三种成分：主观体验(个体对不同情感状态的自我感受)、外部表现(在情感状态发生时身体各部分的动作量化形式，即表情)和生理唤醒(情感产生的生理反应)，从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪，基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同的适应功能，人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭遇阻碍时的愤怒，以及与味觉(味道)目标相违背的厌恶，而复杂情绪则是由基本情绪的不同组合派生出来的；
在人机交互的过程中，生硬的交互方式，使得人机之间的距离较远，继而创建感知、识别和理解人类情感的能力，并能针对用户的情感做出智能、灵敏、友好反应的个人计算系统，来缩短人机之间的距离，营造真正和谐的人机环境，但现有的情感计算系统由于采用的是单方面的数据来源，比如采用文本数据的形式来进行计算，其结果的精准性较低，因此本发明提出一种多源监测结合的情感计算系统及方法以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明的目的在于提出一种多源监测结合的情感计算系统及方法，该种多源监测结合的情感计算系统及方法通过视频采集模块、语音采集模块以及问卷统计模块的配合，来采用视频、语音以及问卷的方式作为情感计算的数据来源，及采用多源监测进行结合来提升情感计算的精准性，从而解决现有技术中情感计算系统计算精准性较低的问题。
为实现本发明的目的，本发明通过以下技术方案实现：一种多源监测结合的情感计算系统及方法，包括采集层、处理层、内端应用层和数据层，所述采集层的输出端与处理层的输入端连接，且采集层内设有视频采集模块、语音采集模块和问卷统计模块，所述处理层的输出端与内端应用层的输入端连接，且处理层内设有设有视频特征提取单元、音频特征提取单元和问卷提取单元，所述内端应用层的输出端与数据层的输入端连接，且内端应用层内设有模型分析计算模块、数据融合模块和人机交互模块，所述数据层内设有信息数据库、表情分类数据库和情感分析语料库。
进一步改进在于：还包括有外端应用层，所述外端应用层的输出端与数据层的输入端连接，且外端应用层内设有用户登录模块和解压模块，所述用户登录模块的输出端与人机交互模块的输入端连接，所述人机交互模块的输出端与解压模块的输入端连接，所述解压模块内预设有解压小游戏。
进一步改进在于：所述内端应用层内还设有模型训练模块，所述模型训练模块的输入端与数据融合模块的输出端连接，并采集数据融合模块的融合数据作为模型训练集，所述模型训练模块的输出端与模型分析计算模块的输入端连接，并用于输出训练好的模型。
进一步改进在于：所述外端应用层内还设有无线通信模块、搜索模块和播放模块，所述搜索模块和播放模块的输出端均通过无线通信模块与外部连接，且搜索模块内预设有搜索引擎，所述播放模块用于播放外部网络公开的音乐文件以及文本录音文件。
进一步改进在于：所述处理层内还设有文字转换模块和情感词识别模块，所述文字转换模块的输入端与音频特征提取模块的输出端连接，且用于将获取的音频数据转换成文本信息数据，所述情感词识别模块的输入端与文字转换模块的输出端连接，且用于对文本信息数据内具有情感倾向的词语进行自动识别抽取。
进一步改进在于：所述外端应用层内还设有意见收集模块，用于收集用户的意见，所述意见收集模块的输入端与人机交互模块的输出端连接，所述人机交互模块的输出端与视频采集模块、语音采集模块和问卷统计模块的输入端连接。
一种多源监测结合的情感计算系统的方法，包括如下步骤：
步骤一：启动系统，用户通过用户登录模块进行用户登录，登录后，通过人机交互模块与用户进行交互，并唤醒视频采集模块和语言采集模块，通过视频采集模块和语言采集模块对用户在与系统进行交互过程中的面部表情和语音进行采集；
步骤二：步骤一中视频采集模块和语言采集模块所采集到的数据，分别输送至视频特征提取单元和音频特征提取单元内，由视频特征提取单元和音频特征提取单元对输入的数据进行特征提取，得到提取后的数据；
步骤三：步骤二中得到提取后的数据，输送至模型分析计算模块内，由模型分析计算模块对提取后的数据进行分析计算，得到各个数据所对应的情感系数，再通过数据融合模块将各个数据所对应的情感系数进行结合，再通过人机交互模块对结合的结果进行输出。
进一步改进在于：在视频特征提取单元以及音频特征提取单元进行对应的特征提取之前，需要对视频数据以及音频数据进行处理。
进一步改进在于：步骤三中，将当次结合的结果以及各个数据对应的情感系数输送至模型训练模块内，作为模型的训练集。
本发明的有益效果为：该种多源监测结合的情感计算系统及方法通过视频采集模块、语音采集模块以及问卷统计模块的配合，来采用视频、语音以及问卷的方式作为情感计算的数据来源，及采用多源监测进行结合来提升情感计算的精准性，且采用用户登录系统的模式，使得本系统可以在信息数据库内针对不同的建立不同的用户信息，即在应对不同的用户时，方便切换，同时，通过视频特征提取单元、音频特征提取单元和问卷提取单元，分别对对应的数据进行处理，避免结合在一起处理导致的数据遗漏等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一的系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
根据图1所示，本实施例提出了一种多源监测结合的情感计算系统及方法，一种多源监测结合的情感计算系统及方法，包括采集层、处理层、内端应用层和数据层，所述采集层的输出端与处理层的输入端连接，且采集层内设有用于采集用户视频数据的视频采集模块、采集用户语音数据的语音采集模块和采集用户填写问卷数据的问卷统计模块，所述处理层的输出端与内端应用层的输入端连接，且处理层内设有设有视频特征提取单元、音频特征提取单元和问卷提取单元，所述内端应用层的输出端与数据层的输入端连接，且内端应用层内设有模型分析计算模块、数据融合模块和人机交互模块，所述数据层内设有用于存储不同用户信息的信息数据库、用于模型分析计算模块调取的表情分类数据库和用于模型分析计算模块调取的情感分析语料库，人机交互模块则是用于与用户进行交互。
还包括有外端应用层，所述外端应用层的输出端与数据层的输入端连接，且外端应用层内设有用户登录模块和解压模块，所述用户登录模块的输出端与人机交互模块的输入端连接，所述人机交互模块的输出端与解压模块的输入端连接，所述解压模块内预设有解压小游戏。
所述内端应用层内还设有模型训练模块，所述模型训练模块的输入端与数据融合模块的输出端连接，并采集数据融合模块的融合数据作为模型训练集，所述模型训练模块的输出端与模型分析计算模块的输入端连接，并用于输出训练好的模型，其中，将前一次分析计算的结果作为下一次分析训练的数据，从而系统具有不断学习的功能，并辅以用户登录模块，针对不同的用户，有着不同的计算结果，并将该次计算结果作为下一次的模型训练的训练集，使得系统能够更适配用户。
所述外端应用层内还设有无线通信模块、搜索模块和播放模块，所述搜索模块和播放模块的输出端均通过无线通信模块与外部连接，且搜索模块内预设有搜索引擎，所述播放模块用于播放外部网络公开的音乐文件以及文本录音文件。
所述外端应用层内还设有意见收集模块，用于收集用户的意见，所述意见收集模块的输入端与人机交互模块的输出端连接，所述人机交互模块的输出端与视频采集模块、语音采集模块和问卷统计模块的输入端连接。
一种多源监测结合的情感计算系统的方法，包括如下步骤：
步骤一：启动系统，用户通过用户登录模块进行用户登录，登录后，通过人机交互模块与用户进行交互，并唤醒视频采集模块和语言采集模块，通过视频采集模块和语言采集模块对用户在与系统进行交互过程中的面部表情和语音进行采集；
步骤二：步骤一中视频采集模块和语言采集模块所采集到的数据，分别输送至视频特征提取单元和音频特征提取单元内，由视频特征提取单元和音频特征提取单元对输入的数据进行特征提取，得到提取后的数据；
步骤三：步骤二中得到提取后的数据，输送至模型分析计算模块内，由模型分析计算模块对提取后的数据进行分析计算，得到各个数据所对应的情感系数，再通过数据融合模块将各个数据所对应的情感系数进行结合，再通过人机交互模块对结合的结果进行输出。
在视频特征提取单元以及音频特征提取单元进行对应的特征提取之前，需要对视频数据以及音频数据进行处理。
步骤三中，将当次结合的结果以及各个数据对应的情感系数输送至模型训练模块内，作为模型的训练集。
其中，问卷统计模块的数据是为主动型，即需要用户对预设的问卷进行填写，根据用户填写的问卷来判断当前用户所处于的情绪状态，若用户不进行问卷填写时，则后续不用将问卷数据纳入模型计算的数据集内。
实施例二
本实施例与实施例一的区别在于，所述处理层内还设有文字转换模块和情感词识别模块，所述文字转换模块的输入端与音频特征提取模块的输出端连接，且用于将获取的音频数据转换成文本信息数据，所述情感词识别模块的输入端与文字转换模块的输出端连接，且用于对文本信息数据内具有情感倾向的词语进行自动识别抽取，相对于音频数据来说，其说话的语气以及音调会有所区别，即将其转换为文字数据，并通过情感词识别模块捕捉其文字数据内的情感词，并将该情感词与情感分析语料库进行分析比对，将其结果输送至数据融合模块内，进行结合，利于提升情感计算的准确性。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种多源监测结合的情感计算系统，其特征在于：包括采集层、处理层、内端应用层和数据层，所述采集层的输出端与处理层的输入端连接，且采集层内设有视频采集模块、语音采集模块和问卷统计模块，所述处理层的输出端与内端应用层的输入端连接，且处理层内设有设有视频特征提取单元、音频特征提取单元和问卷提取单元，所述内端应用层的输出端与数据层的输入端连接，且内端应用层内设有模型分析计算模块、数据融合模块和人机交互模块，所述数据层内设有信息数据库、表情分类数据库和情感分析语料库。
2.根据权利要求1所述的一种多源监测结合的情感计算系统，其特征在于：还包括有外端应用层，所述外端应用层的输出端与数据层的输入端连接，且外端应用层内设有用户登录模块和解压模块，所述用户登录模块的输出端与人机交互模块的输入端连接，所述人机交互模块的输出端与解压模块的输入端连接，所述解压模块内预设有解压小游戏。
3.根据权利要求1所述的一种多源监测结合的情感计算系统，其特征在于：所述内端应用层内还设有模型训练模块，所述模型训练模块的输入端与数据融合模块的输出端连接，并采集数据融合模块的融合数据作为模型训练集，所述模型训练模块的输出端与模型分析计算模块的输入端连接，并用于输出训练好的模型。
4.根据权利要求2所述的一种多源监测结合的情感计算系统，其特征在于：所述外端应用层内还设有无线通信模块、搜索模块和播放模块，所述搜索模块和播放模块的输出端均通过无线通信模块与外部连接，且搜索模块内预设有搜索引擎，所述播放模块用于播放外部网络公开的音乐文件以及文本录音文件。
5.根据权利要求1所述的一种多源监测结合的情感计算系统，其特征在于：所述处理层内还设有文字转换模块和情感词识别模块，所述文字转换模块的输入端与音频特征提取模块的输出端连接，且用于将获取的音频数据转换成文本信息数据，所述情感词识别模块的输入端与文字转换模块的输出端连接，且用于对文本信息数据内具有情感倾向的词语进行自动识别抽取。
6.根据权利要求2所述的一种多源监测结合的情感计算系统，其特征在于：所述外端应用层内还设有意见收集模块，用于收集用户的意见，所述意见收集模块的输入端与人机交互模块的输出端连接，所述人机交互模块的输出端与视频采集模块、语音采集模块和问卷统计模块的输入端连接。
7.应用于权利要求1所述的一种多源监测结合的情感计算系统的方法，其特征在于：包括如下步骤：
步骤一：启动系统，用户通过用户登录模块进行用户登录，登录后，通过人机交互模块与用户进行交互，并唤醒视频采集模块和语言采集模块，通过视频采集模块和语言采集模块对用户在与系统进行交互过程中的面部表情和语音进行采集；
步骤二：步骤一中视频采集模块和语言采集模块所采集到的数据，分别输送至视频特征提取单元和音频特征提取单元内，由视频特征提取单元和音频特征提取单元对输入的数据进行特征提取，得到提取后的数据；
步骤三：步骤二中得到提取后的数据，输送至模型分析计算模块内，由模型分析计算模块对提取后的数据进行分析计算，得到各个数据所对应的情感系数，再通过数据融合模块将各个数据所对应的情感系数进行结合，再通过人机交互模块对结合的结果进行输出。
8.根据权利要求7所述的一种多源监测结合的情感计算系统，其特征在于：在视频特征提取单元以及音频特征提取单元进行对应的特征提取之前，需要对视频数据以及音频数据进行处理。
9.根据权利要求7所述的一种多源监测结合的情感计算系统，其特征在于：步骤三中，将当次结合的结果以及各个数据对应的情感系数输送至模型训练模块内，作为模型的训练集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210166099.7A CN114533063B (zh) | 2022-02-23 | 2022-02-23 | 一种多源监测结合的情感计算系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210166099.7A CN114533063B (zh) | 2022-02-23 | 2022-02-23 | 一种多源监测结合的情感计算系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114533063A true CN114533063A (zh) | 2022-05-27 |
| CN114533063B CN114533063B (zh) | 2023-10-27 |
Family
ID=81678178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210166099.7A Active CN114533063B (zh) | 2022-02-23 | 2022-02-23 | 一种多源监测结合的情感计算系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114533063B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN108334583A (zh) * | 2018-01-26 | 2018-07-27 | 上海智臻智能网络科技股份有限公司 | 情感交互方法及装置、计算机可读存储介质、计算机设备 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| US20190295533A1 (en) * | 2018-01-26 | 2019-09-26 | Shanghai Xiaoi Robot Technology Co., Ltd. | Intelligent interactive method and apparatus, computer device and computer readable storage medium |
| WO2020135194A1 (zh) * | 2018-12-26 | 2020-07-02 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
| CN112201228A (zh) * | 2020-09-28 | 2021-01-08 | 苏州贝果智能科技有限公司 | 一种基于人工智能的多模态语义识别服务接入方法 |
| CN112418172A (zh) * | 2020-12-11 | 2021-02-26 | 苏州元启创人工智能科技有限公司 | 基于多模信息智能处理单元的多模信息融合情感分析方法 |
| CN113343860A (zh) * | 2021-06-10 | 2021-09-03 | 南京工业大学 | 一种基于视频图像和语音的双模态融合情感识别方法 |
-
2022
- 2022-02-23 CN CN202210166099.7A patent/CN114533063B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN108334583A (zh) * | 2018-01-26 | 2018-07-27 | 上海智臻智能网络科技股份有限公司 | 情感交互方法及装置、计算机可读存储介质、计算机设备 |
| US20190295533A1 (en) * | 2018-01-26 | 2019-09-26 | Shanghai Xiaoi Robot Technology Co., Ltd. | Intelligent interactive method and apparatus, computer device and computer readable storage medium |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| WO2020135194A1 (zh) * | 2018-12-26 | 2020-07-02 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
| CN112201228A (zh) * | 2020-09-28 | 2021-01-08 | 苏州贝果智能科技有限公司 | 一种基于人工智能的多模态语义识别服务接入方法 |
| CN112418172A (zh) * | 2020-12-11 | 2021-02-26 | 苏州元启创人工智能科技有限公司 | 基于多模信息智能处理单元的多模信息融合情感分析方法 |
| CN113343860A (zh) * | 2021-06-10 | 2021-09-03 | 南京工业大学 | 一种基于视频图像和语音的双模态融合情感识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114533063B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11226673B2 (en) | Affective interaction systems, devices, and methods based on affective computing user interface | |
| Song et al. | Spectral representation of behaviour primitives for depression analysis | |
| CN111368609B (zh) | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 | |
| US11645547B2 (en) | Human-machine interactive method and device based on artificial intelligence | |
| CN111459290B (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
| Kumaran et al. | Fusion of mel and gammatone frequency cepstral coefficients for speech emotion recognition using deep C-RNN | |
| Gerczuk et al. | Emonet: A transfer learning framework for multi-corpus speech emotion recognition | |
| CN108334583A (zh) | 情感交互方法及装置、计算机可读存储介质、计算机设备 | |
| CN111462841B (zh) | 一种基于知识图谱的抑郁症智能诊断装置及系统 | |
| JP4965322B2 (ja) | ユーザ支援方法、ユーザ支援装置およびユーザ支援プログラム | |
| CN108764010A (zh) | 情绪状态确定方法及装置 | |
| CN110517689A (zh) | 一种语音数据处理方法、装置及存储介质 | |
| CN113380271B (zh) | 情绪识别方法、系统、设备及介质 | |
| CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
| Leini et al. | Study on speech recognition method of artificial intelligence deep learning | |
| Zhou et al. | Tamfn: Time-aware attention multimodal fusion network for depression detection | |
| JP2019045978A (ja) | 対話制御装置、学習装置、対話制御方法、学習方法、制御プログラム、および、記録媒体 | |
| CN113035232B (zh) | 一种基于语音识别的心理状态预测系统、方法及装置 | |
| Gladys et al. | Survey on Multimodal Approaches to Emotion Recognition | |
| Alhussein et al. | Emotional climate recognition in interactive conversational speech using deep learning | |
| CN113139525A (zh) | 一种基于多源信息融合的情感识别方法和人机交互系统 | |
| CN112086169A (zh) | 采用心理数据标签化建模的交互式心理疏导系统 | |
| CN116778921A (zh) | 语音交流的情感分析智能会话系统、方法、设备及介质 | |
| CN117235354A (zh) | 一种基于多模态大模型的用户个性化服务策略及系统 | |
| CN114533063A (zh) | 一种多源监测结合的情感计算系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |