CN117933269A - 一种基于情感分布的多模态深度模型构建方法及系统 - Google Patents
一种基于情感分布的多模态深度模型构建方法及系统 Download PDFInfo
- Publication number
- CN117933269A CN117933269A CN202410331477.1A CN202410331477A CN117933269A CN 117933269 A CN117933269 A CN 117933269A CN 202410331477 A CN202410331477 A CN 202410331477A CN 117933269 A CN117933269 A CN 117933269A
- Authority
- CN
- China
- Prior art keywords
- emotion
- sequence
- recombined
- text
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 137
- 238000010276 construction Methods 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 14
- 230000006798 recombination Effects 0.000 claims description 13
- 238000005215 recombination Methods 0.000 claims description 13
- 230000008521 reorganization Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000002996 emotional effect Effects 0.000 description 5
- 206010063659 Aversion Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000017194 Affective disease Diseases 0.000 description 1
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 1
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 description 1
- 208000020401 Depressive disease Diseases 0.000 description 1
- 208000013875 Heart injury Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Epidemiology (AREA)
- Developmental Disabilities (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于情感分布的多模态深度模型构建方法及系统，涉及计算机技术领域，具体步骤为：对采访数据按照情感效价属性进行重组，获得重组文本序列和重组语音序列；利用预训练模型从重组文本序列和重组语音序列提取文本初始语义特征和语音初始语义特征；利用元素感知的注意力机制对级联特征向量中不同的重要性进行学习，获得融合特征向量；利用情感编码将重组文本序列的情感分布信息投射成情感代码，获得情感分布的特征向量；基于融合特征向量和情感分布的特征向量构建多模态深度模型。本发明利用大规模预训练语言模型为句子生成情感标签，并基于不同模态的预训练模型构建多模态融合模型，减少在有限数据样本下出现的过拟合现象。
Description
技术领域
本发明涉及计算机技术领域，更具体的说是涉及一种基于情感分布的多模态深度模型构建方法及系统。
背景技术
近年来，抑郁症已经成为一种常见的精神障碍疾病，该疾病在国内外患病率呈逐年上升趋势，对个人身心健康和社会造成了严重的负担，已经成为一项值得关注的社会问题。然而目前临床医疗对于抑郁症的检测还主要依靠问卷调查以及医生的主观诊断，时常会出现误诊的情况，再加上现在抑郁症检测手段的局限性，许多抑郁症患者不能及时得到准确的检测，从而延误了后续治疗。
随着人工智能技术和大数据技术的蓬勃发展，相关研究发现在有比较充足的注释数据下结合深度神经网络，在有监督学习的模式下可以在不同任务中取得不错的效果。然而在抑郁症诊断的场景下，往往存在着数据量稀少的情况，因此遵循上述有监督学习的模式对任务进行建模往往会出现过拟合或欠拟合的问题，模型也难以具有良好的泛化性。现有研究也开始尝试利用多模态数据的互补性和冗余性来联合学习多模态特征表示，弥补单模态信息的局限性。然而一方面如何对多模态数据进行有效建模，从而挖掘不同模态之间的互补性信息，提升多模态深度模型的性能是一个尚待解决的问题。另一方面情感作为一种重要的生理心理的反应，与抑郁症本身有着密切的联系，如何利用情感，提升多模态深度模型在应用中的性能也是重要的目标，因此，如何克服上述缺陷是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于情感分布的多模态深度模型构建方法及系统，克服了上述缺陷。
为了实现上述目的，本发明提供如下技术方案：
一种基于情感分布的多模态深度模型构建方法，具体步骤为：
数据重组：对采访数据按照情感效价属性分别进行文本重组和语音重组，获得重组文本序列和重组语音序列；
语义特征提取：分别利用预训练模型对重组文本序列和重组语音序列进行初始语义特征提取，获得文本初始语义特征和语音初始语义特征；
重要性学习：利用元素感知的注意力机制对文本初始语义特征和语音初始语义特征的级联特征向量中不同的重要性进行学习，获得融合特征向量；
情感分布提取：利用情感编码将重组文本序列的情感分布信息投射成情感代码，获得情感分布的特征向量；
模型构建：基于融合特征向量和情感分布的特征向量构建多模态深度模型。
可选的，数据重组的具体步骤为：
对采访数据中的任一语句利用大规模预训练语言模型进行问答，获得任一语句的情感标签；
基于任一语句和其对应的情感标签构建数据序列；
按照情感标签对数据序列中的语句按照预设规则进行顺序排列，获得重组序列。
可选的，初始语义特征提取的具体步骤为：
利用RoBERTa模型对重组文本序列提取文本初始语义特征；
利用wav2vec2对重组语音序列提取语音初始语义特征。
其优点在于，预训练模型从一开始提取数据的一般语义特征，通过微调预训练模型可以快速拟合下游任务数据，减少了从头开始训练数据时，尤其是在数据量不充足的情况下容易出现的模型过拟合现象。
可选的，重要性学习的获取步骤为：
利用两层全连接层、ReLU激活函数以及Sigmoid激活函数获取级联特征向量的元素学习注意力权值；
基于元素学习注意力权值与级联特征向量获得融合特征向量。
可选的，重要性学习的表达式为：
式中，为级联特征向量；/>为元素学习注意力权值。
可选的，情感分布获取的具体步骤为：
将重组文本序列根据情感映射规则转换为数值序列；
根据数值序列计算各个情感标签的出现比例；
基于数值序列和各个情感标签的出现比例获得情感代码。
可选的，情感代码的表达式为：
式中，为各个情感标签的设置值；/>为各个标签的可用数量。
一种基于情感分布的多模态深度模型构建系统，包括：
数据重组模块：用于对采访数据按照情感效价属性分别进行文本重组和语音重组，获得重组文本序列和重组语音序列；
语义特征提取模块：用于分别利用预训练模型对重组文本序列和重组语音序列进行初始语义特征提取，获得文本初始语义特征和语音初始语义特征；
重要性学习模块：用于利用元素感知的注意力机制对文本初始语义特征和语音初始语义特征的级联特征向量中不同的重要性进行学习，获得融合特征向量；
情感分布提取模块：用于利用情感编码将重组文本序列的情感分布信息投射成情感代码，获得情感分布的特征向量；
模型构建模块：用于基于融合特征向量和情感分布的特征向量构建多模态深度模型。
经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于情感分布的多模态深度模型构建方法及系统，利用不同模态的预训练模型分别挖掘不同模态的特征，然后基于注意力机制细粒度挖掘不同模态特征元素间的重要性，从而实现深度融合，同时利用大规模预训练语言模型提取原始数据中的情感分布信息，设计了情感引导的数据重组以及情感编码，从而分别在模型输入层和决策层融合情感分布信息，提升样本数据的可判别性。且本发明根据情感标签的效价属性重新组织回答内容，将情感分布引入原始数据，其中利用大规模预训练语言模型为句子生成情感标签，避免了人工标注的问题，基于不同模态的预训练模型构建多模态融合模型可以对数据提取一般语义特征，减少在有限数据样本下出现的过拟合现象，同时根据患者访谈中情感类别的比例设计了情感编码，从而为决策层提供了额外的情感分布信息，进一步提升了模型的检测能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明方法流程示意图；
图2为本发明中数据重组的方法流程示意图；
图3为本发明的重要性学习方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例公开了一种基于情感分布的多模态深度模型构建方法，具体如图1所示，步骤为：
步骤1、对采访数据按照情感效价属性分别进行文本重组和语音重组，获得重组文本序列和重组语音序列，具体如图2所示，为：
对采访数据中的任一语句利用大规模预训练语言模型进行问答，获得任一语句的情感标签；
基于任一语句和其对应的情感标签构建数据序列；
按照情感标签对数据序列中的语句按照预设规则进行顺序排列，获得重组序列。
进一步的，将任意一个受访者的采访内容，记录的数据表达为，其中文本和语音模态包含了一系列样本回答的句子，分别表示为/>和，i和N分别表示样本的索引和回答语句的数量。在进行情感引导的回答重组时，假定样本回答的语句之间语义内容是相互独立的，在样本中的语句顺序不会影响模型对于数据语音内容的提取。此外，由于观察到原始抑郁症访谈数据中，语句的情感分布是混乱的，因此模型难以从中学习到情感分布的不同。因此，对语句进行重组从而使数据按情感类别在效价尺度上有序后，可以引入情感分布信息帮助模型更好地从原始数据中学习不同样本的情感差异。
情感引导的回答重组旨在对文本和语音/>重排序从而使其按照负性到正性情感类别顺序有序。根据情感效价属性，可以实现对情感类别进行负性到正性的排序。具体来说，对/>中的每个语句/>利用大规模预训练语言模型Chatgpt进行问答，并设计了一个固定提示语句/>(给定句子：“/>”，请判断这个句子的情感类别属于厌恶、害怕、伤心、愤怒、开心、惊喜中的哪一个类别)，从而为每个语句/>生成情感标签/>。其中，情感标签/>的取值范围是七种情感类别（厌恶、害怕、伤心、愤怒、自然、高兴、惊喜）。每个语句和它们被生成的情感标签共同表示为序列，具体为：
（1）；
然后，将具有同样情感标签的语句在局部上放置一起，然后对整个序列根据效价的负性情感到正性情感顺序（厌恶、害怕、伤心、愤怒、自然、高兴、惊喜）排序，从而使整个序列全局上有序，文本序列/>因此被引入情感分布信息，表示为/>：
（2）；
同样，对语音序列进行上述操作，/>被重组之后表示为：
（3）；
步骤2、分别利用预训练模型对重组文本序列和重组语音序列进行初始语义特征提取，获得文本初始语义特征和语音初始语义特征，具体为：
对于给定的重组文本和语音序列和/>，利用一个文本预训练模型/>和一个语音预训练模型/>分别提取它们的初始一般语义特征，其分别表示/>（其中/>表示的维度）和/>（其中/>表示/>的维度）。其中/>和/>分别为RoBERTa和wav2vec2预训练模型。文本转录原始数据/>会先由RoBERTa源自GPT-2的分词器，使用进行字节级字节对编码进行分词，原始语音波形数据/>先被wav2vec2离散化；再使用RoBERTa和wav2vec2输出的CLS标记作为/>和/>的特征表示/>和/>。
步骤3、利用元素感知的注意力机制对文本初始语义特征和语音初始语义特征的级联特征向量中不同的重要性进行学习，获得融合特征向量，具体为：
将和/>进行级联得到/>，对/>使用元素感知的注意力机制（EWA）学习/>中不同的重要性。其中，元素感知的注意力机制旨在进一步对文本和语音的特征表示进行深度融合。如图3所示，本实施例中利用注意力机制对特征向量/>的元素学习不同重要性并重新分配权值。具体来说，利用了两层全连接层和ReLU激活函数以及Sigmoid激活函数对特征向量/>的元素学习注意力权值：
（4）；
其中，表示权值，/>和/>分别为可学习的参数。
在得到学习的参数后，通过与特征向量/>点乘进行加权：
（5）；
其中表示融合特征向量。
步骤4、利用情感编码将重组文本序列的情感分布信息投射成情感代码，获得情感分布的特征向量，具体为：
本实施例中设计了情感编码（EE）将中的情感分布状态投射情感代码（其中/>表示/>的维度），表达式为：
（6）；
其中，情感编码为决策层提供额外的情感分布信息。具体来说，本发明对上述七种情感标签分别设置了不同的值，如表1所示。每个情感标签根据表1中对应的值映射，因此文本序列/>被转换为一系列数值序列/>：
（7）；
本实施例分别计算了具有同样映射值的/>的数量，然后计算每种情感标签出现的比例/>：
（8）；
表1情感映射
随后，本实施例将文本序列映射为一个情感代码/>，/>中的元素按照数值从小到大的顺序排列，对应于情感效价属性由负性情感到正性情感的顺序。在/>中被使用的数量通过以下公式计算：
（9）；
其中，代表向下取整操作。在有了映射值/>以及可用数量后，可以直接得到/>维度的情感代码/>：
（10）；
其中，维度的设置与融合的多模态特征表示/>的维度应该在相同的数量级上，/>可以被看作是情感分布的特征向量，与/>级联共同提供给决策层预测结果。
步骤5、基于融合特征向量和情感分布的特征向量构建多模态深度模型。
通过对和/>进行级联得到特征向量/>。
本申请还公开了一种基于情感分布的多模态深度模型构建系统，包括：
数据重组模块：用于对采访数据按照情感效价属性分别进行文本重组和语音重组，获得重组文本序列和重组语音序列；
语义特征提取模块：用于分别利用预训练模型对重组文本序列和重组语音序列进行初始语义特征提取，获得文本初始语义特征和语音初始语义特征；
重要性学习模块：用于利用元素感知的注意力机制对文本初始语义特征和语音初始语义特征的级联特征向量中不同的重要性进行学习，获得融合特征向量；
情感分布提取模块：用于利用情感编码将重组文本序列的情感分布信息投射成情感代码，获得情感分布的特征向量；
模型构建模块：用于基于融合特征向量和情感分布的特征向量构建多模态深度模型。
实施例2
相关心理学研究已经表明抑郁症是一种情感障碍，其主要特征是持续存在消极情绪以及难以体验积极的情绪，因此抑郁症患者在访谈中的情感分布与正常人可能有所不同。此外，情感作为一种重要的生理心理的反应，也会表现于抑郁症患者日常生活中，比如持续性心情低落、存在心境一致性认知偏向、情绪性信息错误记忆等。因此，情感可作为与抑郁症相关的一种重要特征引入到抑郁障碍辅助诊断技术中。因此，应用实施例1的方法构建了一种基于情感分布引导的多模态抑郁辅助模型。
在获得对和/>进行级联得到特征向量/>后，通过由两层全连接层组成的分类器或者是回归器预测结果：
（11）；
其中，表示被预测的精神状态，/>和/>均为可学习的参数。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于情感分布的多模态深度模型构建方法，其特征在于，具体步骤为：
数据重组：对采访数据按照情感效价属性分别进行文本重组和语音重组，获得重组文本序列和重组语音序列；
语义特征提取：分别利用预训练模型对重组文本序列和重组语音序列进行初始语义特征提取，获得文本初始语义特征和语音初始语义特征；
重要性学习：利用元素感知的注意力机制对文本初始语义特征和语音初始语义特征的级联特征向量中不同的重要性进行学习，获得融合特征向量；
情感分布提取：利用情感编码将重组文本序列的情感分布信息投射成情感代码，获得情感分布的特征向量；
模型构建：基于融合特征向量和情感分布的特征向量构建多模态深度模型。
2.根据权利要求1所述的一种基于情感分布的多模态深度模型构建方法，其特征在于，数据重组的具体步骤为：
对采访数据中的任一语句利用大规模预训练语言模型进行问答，获得任一语句的情感标签；
基于任一语句和其对应的情感标签构建数据序列；
按照情感标签对数据序列中的语句按照预设规则进行顺序排列，获得重组序列。
3.根据权利要求1所述的一种基于情感分布的多模态深度模型构建方法，其特征在于，初始语义特征提取的具体步骤为：
利用RoBERTa模型对重组文本序列提取文本初始语义特征；
利用wav2vec2对重组语音序列提取语音初始语义特征。
4.根据权利要求1所述的一种基于情感分布的多模态深度模型构建方法，其特征在于，重要性学习的获取步骤为：
利用两层全连接层、ReLU激活函数以及Sigmoid激活函数获取级联特征向量的元素学习注意力权值；
基于元素学习注意力权值与级联特征向量获得融合特征向量。
5.根据权利要求4所述的一种基于情感分布的多模态深度模型构建方法，其特征在于，重要性学习的表达式为：
；
式中，为级联特征向量；/>为元素学习注意力权值。
6.根据权利要求1所述的一种基于情感分布的多模态深度模型构建方法，其特征在于，情感分布获取的具体步骤为：
将重组文本序列根据情感映射规则转换为数值序列；
根据数值序列计算各个情感标签的出现比例；
基于数值序列和各个情感标签的出现比例获得情感代码。
7.根据权利要求6所述的一种基于情感分布的多模态深度模型构建方法，其特征在于，情感代码的表达式为：
；
式中，为各个情感标签的设置值；/>为各个标签的可用数量。
8.一种基于情感分布的多模态深度模型构建系统，其特征在于，包括：
数据重组模块：用于对采访数据按照情感效价属性分别进行文本重组和语音重组，获得重组文本序列和重组语音序列；
语义特征提取模块：用于分别利用预训练模型对重组文本序列和重组语音序列进行初始语义特征提取，获得文本初始语义特征和语音初始语义特征；
重要性学习模块：用于利用元素感知的注意力机制对文本初始语义特征和语音初始语义特征的级联特征向量中不同的重要性进行学习，获得融合特征向量；
情感分布提取模块：用于利用情感编码将重组文本序列的情感分布信息投射成情感代码，获得情感分布的特征向量；
模型构建模块：用于基于融合特征向量和情感分布的特征向量构建多模态深度模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410331477.1A CN117933269B (zh) | 2024-03-22 | 2024-03-22 | 一种基于情感分布的多模态深度模型构建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410331477.1A CN117933269B (zh) | 2024-03-22 | 2024-03-22 | 一种基于情感分布的多模态深度模型构建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117933269A true CN117933269A (zh) | 2024-04-26 |
| CN117933269B CN117933269B (zh) | 2024-06-18 |
Family
ID=90766946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410331477.1A Active CN117933269B (zh) | 2024-03-22 | 2024-03-22 | 一种基于情感分布的多模态深度模型构建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117933269B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140365208A1 (en) * | 2013-06-05 | 2014-12-11 | Microsoft Corporation | Classification of affective states in social media |
| CN108682431A (zh) * | 2018-05-09 | 2018-10-19 | 武汉理工大学 | 一种pad三维情感空间中的语音情感识别方法 |
| CN109472232A (zh) * | 2018-10-31 | 2019-03-15 | 山东师范大学 | 基于多模态融合机制的视频语义表征方法、系统及介质 |
| CN112489635A (zh) * | 2020-12-03 | 2021-03-12 | 杭州电子科技大学 | 一种基于增强注意力机制的多模态情感识别方法 |
| US20210191506A1 (en) * | 2018-01-26 | 2021-06-24 | Institute Of Software Chinese Academy Of Sciences | Affective interaction systems, devices, and methods based on affective computing user interface |
| WO2021134277A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市优必选科技股份有限公司 | 情感识别方法、智能装置和计算机可读存储介质 |
| CN114898779A (zh) * | 2022-04-07 | 2022-08-12 | 上海应用技术大学 | 融合多模态的语音情感识别方法及系统 |
| CN114973062A (zh) * | 2022-04-25 | 2022-08-30 | 西安电子科技大学 | 基于Transformer的多模态情感分析方法 |
| CN116127982A (zh) * | 2022-12-13 | 2023-05-16 | 零犀(北京)科技有限公司 | 一种多模态情感分析的方法、装置、设备及介质 |
| CN116304973A (zh) * | 2023-02-14 | 2023-06-23 | 广东财经大学 | 一种基于多模态融合的课堂教学情感识别方法和系统 |
| WO2023163383A1 (ko) * | 2022-02-28 | 2023-08-31 | 에스케이텔레콤 주식회사 | 멀티모달 기반 실시간 감정인식 방법 및 장치 |
| CN117497140A (zh) * | 2023-10-09 | 2024-02-02 | 合肥工业大学 | 一种基于细粒度提示学习的多层次抑郁状态检测方法 |
| CN117609882A (zh) * | 2023-11-29 | 2024-02-27 | 山东交通学院 | 基于多模态前缀和跨模态注意力的情感分析方法及系统 |
| CN117672268A (zh) * | 2023-11-21 | 2024-03-08 | 重庆邮电大学 | 基于相对熵对齐融合的多模态语音情感识别方法 |
-
2024
- 2024-03-22 CN CN202410331477.1A patent/CN117933269B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140365208A1 (en) * | 2013-06-05 | 2014-12-11 | Microsoft Corporation | Classification of affective states in social media |
| US20210191506A1 (en) * | 2018-01-26 | 2021-06-24 | Institute Of Software Chinese Academy Of Sciences | Affective interaction systems, devices, and methods based on affective computing user interface |
| CN108682431A (zh) * | 2018-05-09 | 2018-10-19 | 武汉理工大学 | 一种pad三维情感空间中的语音情感识别方法 |
| CN109472232A (zh) * | 2018-10-31 | 2019-03-15 | 山东师范大学 | 基于多模态融合机制的视频语义表征方法、系统及介质 |
| WO2021134277A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市优必选科技股份有限公司 | 情感识别方法、智能装置和计算机可读存储介质 |
| CN112489635A (zh) * | 2020-12-03 | 2021-03-12 | 杭州电子科技大学 | 一种基于增强注意力机制的多模态情感识别方法 |
| WO2023163383A1 (ko) * | 2022-02-28 | 2023-08-31 | 에스케이텔레콤 주식회사 | 멀티모달 기반 실시간 감정인식 방법 및 장치 |
| CN114898779A (zh) * | 2022-04-07 | 2022-08-12 | 上海应用技术大学 | 融合多模态的语音情感识别方法及系统 |
| CN114973062A (zh) * | 2022-04-25 | 2022-08-30 | 西安电子科技大学 | 基于Transformer的多模态情感分析方法 |
| CN116127982A (zh) * | 2022-12-13 | 2023-05-16 | 零犀(北京)科技有限公司 | 一种多模态情感分析的方法、装置、设备及介质 |
| CN116304973A (zh) * | 2023-02-14 | 2023-06-23 | 广东财经大学 | 一种基于多模态融合的课堂教学情感识别方法和系统 |
| CN117497140A (zh) * | 2023-10-09 | 2024-02-02 | 合肥工业大学 | 一种基于细粒度提示学习的多层次抑郁状态检测方法 |
| CN117672268A (zh) * | 2023-11-21 | 2024-03-08 | 重庆邮电大学 | 基于相对熵对齐融合的多模态语音情感识别方法 |
| CN117609882A (zh) * | 2023-11-29 | 2024-02-27 | 山东交通学院 | 基于多模态前缀和跨模态注意力的情感分析方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| JIAYU YE: "Multi-modal depression detection based on emotional audio and evaluation text", 《ELSEVIER JOURNAL OF AFFECTIVE DISORDERS》, vol. 295, 1 September 2021 (2021-09-01), pages 904 - 913, XP086836928, DOI: 10.1016/j.jad.2021.08.090 * |
| YANRONG GUO: "A Topic-Attentive Transformer-based Model For Multimodal Depression Detection", 《ARXIV:2206.13256》, 27 June 2022 (2022-06-27), pages 1 - 10 * |
| 陈师哲;王帅;金琴;: "多文化场景下的多模态情感识别", 软件学报, no. 04, 4 December 2017 (2017-12-04), pages 1 - 6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117933269B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444709B (zh) | 文本分类方法、装置、存储介质及设备 | |
| Joshi et al. | Depression detection using emotional artificial intelligence and machine learning: A closer review | |
| Lupyan et al. | Language is not just for talking: Redundant labels facilitate learning of novel categories | |
| Atkins et al. | Topic models: a novel method for modeling couple and family text data. | |
| CN112131393A (zh) | 一种基于bert和相似度算法的医疗知识图谱问答系统构建方法 | |
| CN104217226B (zh) | 基于深度神经网络与条件随机场的对话行为识别方法 | |
| CN110110059B (zh) | 一种基于深度学习的医疗对话系统意图识别分类方法 | |
| CN113127624B (zh) | 问答模型的训练方法及装置 | |
| CN113435211B (zh) | 一种结合外部知识的文本隐式情感分析方法 | |
| US20230315994A1 (en) | Natural Language Processing for Addressing Bias | |
| CN111540470B (zh) | 一种基于bert迁移学习的社交网络抑郁倾向检测模型及其训练方法 | |
| CN110569343B (zh) | 一种基于问答的临床文本结构化方法 | |
| WO2023029501A1 (zh) | 智能问诊方法、装置、电子设备及存储介质 | |
| CN114443846B (zh) | 一种基于多层级文本异构图的分类方法、装置及电子设备 | |
| CN110889505A (zh) | 一种图文序列匹配的跨媒体综合推理方法和系统 | |
| CN117497140B (zh) | 一种基于细粒度提示学习的多层次抑郁状态检测方法 | |
| Qi et al. | Evaluating the efficacy of supervised learning vs large language models for identifying cognitive distortions and suicidal risks in chinese social media | |
| CN117150320A (zh) | 对话数字人情感风格相似度评价方法及系统 | |
| CN117933269B (zh) | 一种基于情感分布的多模态深度模型构建方法及系统 | |
| CN113486657B (zh) | 一种基于知识辅助的情感-原因对抽取系统 | |
| Guo | Revisiting Item Semantics in Measurement: A New Perspective Using Modern Natural Language Processing Embedding Techniques | |
| Lai | English Flipped Classroom Teaching Mode Based on Emotion Recognition Technology | |
| CN114582449A (zh) | 基于XLNet-BiGRU-CRF模型的电子病历命名实体标准化方法和系统 | |
| Li | [Retracted] Application of an Improved LSTM Model to Emotion Recognition | |
| Mallios | Virtual doctor: an intelligent human-computer dialogue system for quick response to people in need |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |