CN116561533A - 一种教育元宇宙中虚拟化身的情感演化方法及终端 - Google Patents
一种教育元宇宙中虚拟化身的情感演化方法及终端 Download PDFInfo
- Publication number
- CN116561533A CN116561533A CN202310815919.5A CN202310815919A CN116561533A CN 116561533 A CN116561533 A CN 116561533A CN 202310815919 A CN202310815919 A CN 202310815919A CN 116561533 A CN116561533 A CN 116561533A
- Authority
- CN
- China
- Prior art keywords
- emotion
- expression
- evolution
- mode
- avatar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 550
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 122
- 230000004927 fusion Effects 0.000 claims abstract description 91
- 230000008909 emotion recognition Effects 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 63
- 230000008859 change Effects 0.000 claims description 52
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 23
- 230000001815 facial effect Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012300 Sequence Analysis Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 8
- 230000002996 emotional effect Effects 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 5
- 239000002245 particle Substances 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 101150052583 CALM1 gene Proteins 0.000 description 4
- 101150095793 PICALM gene Proteins 0.000 description 4
- 101150014174 calm gene Proteins 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- 241001539473 Euphoria Species 0.000 description 1
- 206010015535 Euphoric mood Diseases 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种教育元宇宙中虚拟化身的情感演化方法及终端，通过采集虚拟化身的表情数据和音频数据，并基于其进行情感特征提取，使用情感特征融合模型对提取到的声音情感特征和表情情感特征进行融合，对融合得到的多模态情感特征融合结果进行情感识别，得到与其对应的情感类别，基于情感类别的语义向量对多模态情感特征融合结果进行标注，生成情感演化序列，按照从情感演化序列提取到的目标情感演化模式驱动虚拟化身进行情感表达，形成统一、联合的多模态情感特征融合结果，实现了虚拟化身情感的自我演化，赋予了虚拟化身更丰富、更智能的情感表达形式，从而提高虚拟化身的情感感知能力，实现更丰富、更真实的情感表达。
Description
技术领域
本发明涉及元宇宙的教学应用技术领域，尤其涉及一种教育元宇宙中虚拟化身的情感演化方法及终端。
背景技术
情感演化技术是指使用计算机技术实现情感演化过程，即模拟情感的产生、发展、变化和表达，从而实现更加真实、自然的情感交流。它被广泛应用于人机交互领域中，分析、建模用户的语音、面部表情等情感因素，能够有效地识别和解析情感信息，并推断情感变化的趋势。随着自然语言处理、深度学习等技术的不断成熟，情感演化技术被越来越广泛地应用于智能教学系统中，以使其更加贴近人类的情感表达方式，更加准确地反馈师生用户的对话。
在教育元宇宙中，情感演化技术可以为虚拟化身提供更丰富的情感表达和反馈，从而为虚拟化身的情感演化提供新的途径。现有的教育元宇宙中，虽然可以使用情感演化技术推断真实师生用户驱动的虚拟化身情感规律，但还存在诸多的问题：
（1）虚拟化身情感演化未考虑其自身数据：仅基于真实师生用户表情和对话数据，难以实现虚拟化身情感的自我演化；
（2）多模态数据存在异质性问题：多模态情感特征融合大多使用特征层、决策层和模型层的融合策略，未形成统一的联合情感特征表示；
（3）情感演化过程缺少情感类别语义信息：由于缺乏情感类别语义信息，所构建的情感演化模型较难准确地描述不同情感类别之间的转移和转换关系。
发明内容
本发明所要解决的技术问题是：提供一种教育元宇宙中虚拟化身的情感演化方法及终端，能够提高虚拟化身的情感感知能力，实现更丰富、更真实的情感表达。
为了解决上述技术问题，本发明采用的技术方案为：
一种教育元宇宙中虚拟化身的情感演化方法，包括步骤：
采集虚拟化身的表情数据和音频数据，并基于所述表情数据和所述音频数据进行情感特征提取，得到声音情感特征和表情情感特征；
使用情感特征融合模型对所述声音情感特征和所述表情情感特征进行融合，得到多模态情感特征融合结果，并对所述多模态情感特征融合结果进行情感识别，得到与所述多模态情感特征融合结果对应的情感类别；
确定所述情感类别的语义向量，并基于所述情感类别的语义向量对所述多模态情感特征融合结果进行标注，生成情感演化序列；
从所述情感演化序列中提取目标情感演化模式，并按照所述目标情感演化模式驱动所述虚拟化身进行情感表达。
为了解决上述技术问题，本发明采用的另一种技术方案为：
一种教育元宇宙中虚拟化身的情感演化终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
采集虚拟化身的表情数据和音频数据，并基于所述表情数据和所述音频数据进行情感特征提取，得到声音情感特征和表情情感特征；
使用情感特征融合模型对所述声音情感特征和所述表情情感特征进行融合，得到多模态情感特征融合结果，并对所述多模态情感特征融合结果进行情感识别，得到与所述多模态情感特征融合结果对应的情感类别；
确定所述情感类别的语义向量，并基于所述情感类别的语义向量对所述多模态情感特征融合结果进行标注，生成情感演化序列；
从所述情感演化序列中提取目标情感演化模式，并按照所述目标情感演化模式驱动所述虚拟化身进行情感表达。
本发明的有益效果在于：通过采集虚拟化身的表情数据和音频数据，并基于其进行情感特征提取，使用情感特征融合模型对提取到的声音情感特征和表情情感特征进行融合，对融合得到的多模态情感特征融合结果进行情感识别，得到与其对应的情感类别，基于情感类别的语义向量对多模态情感特征融合结果进行标注，生成情感演化序列，按照从情感演化序列提取到的目标情感演化模式驱动虚拟化身进行情感表达，相较于现有技术，能够实时采集虚拟化身自身数据，形成统一、联合的多模态情感特征融合结果，并结合情感类别语义信息实现最终的情感表达，以此实现了虚拟化身情感的自我演化，赋予了虚拟化身更丰富、更智能的情感表达形式，从而提高虚拟化身的情感感知能力，实现更丰富、更真实的情感表达。
附图说明
图1为本发明实施例的一种教育元宇宙中虚拟化身的情感演化方法的步骤流程图；
图2为本发明实施例的一种教育元宇宙中虚拟化身的情感演化终端的结构示意图；
图3为本发明实施例的教育元宇宙中虚拟化身的情感演化方法中的虚拟化身表情变化示意图；
图4为本发明实施例的教育元宇宙中虚拟化身的情感演化方法中的虚拟化身面部关键点索引和位置坐标示意图；
图5为本发明实施例的教育元宇宙中虚拟化身的情感演化方法中的预设的表情情感特征提取模型示意图；
图6为本发明实施例的教育元宇宙中虚拟化身的情感演化方法中的情感特征融合模型示意图；
图7为本发明实施例的教育元宇宙中虚拟化身的情感演化方法中的预设的情感识别模型示意图；
图8为本发明实施例的教育元宇宙中虚拟化身的情感演化方法中的基于深度学习的潜在空间模型示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1，一种教育元宇宙中虚拟化身的情感演化方法，包括步骤：
采集虚拟化身的表情数据和音频数据，并基于所述表情数据和所述音频数据进行情感特征提取，得到声音情感特征和表情情感特征；
使用情感特征融合模型对所述声音情感特征和所述表情情感特征进行融合，得到多模态情感特征融合结果，并对所述多模态情感特征融合结果进行情感识别，得到与所述多模态情感特征融合结果对应的情感类别；
确定所述情感类别的语义向量，并基于所述情感类别的语义向量对所述多模态情感特征融合结果进行标注，生成情感演化序列；
从所述情感演化序列中提取目标情感演化模式，并按照所述目标情感演化模式驱动所述虚拟化身进行情感表达。
从上述描述可知，本发明的有益效果在于：通过采集虚拟化身的表情数据和音频数据，并基于其进行情感特征提取，使用情感特征融合模型对提取到的声音情感特征和表情情感特征进行融合，对融合得到的多模态情感特征融合结果进行情感识别，得到与其对应的情感类别，基于情感类别的语义向量对多模态情感特征融合结果进行标注，生成情感演化序列，按照从情感演化序列提取到的目标情感演化模式驱动虚拟化身进行情感表达，相较于现有技术，能够实时采集虚拟化身自身数据，形成统一、联合的多模态情感特征融合结果，并结合情感类别语义信息实现最终的情感表达，以此实现了虚拟化身情感的自我演化，赋予了虚拟化身更丰富、更智能的情感表达形式，从而提高虚拟化身的情感感知能力，实现更丰富、更真实的情感表达。
进一步地，所述基于所述表情数据和所述音频数据进行情感特征提取，得到声音情感特征和表情情感特征包括：
对所述表情数据进行预处理，得到预处理后的表情数据；
对所述音频数据进行预处理，得到预处理后的音频数据；
使用D-vectors算法结合动态时间规整算法将所述预处理后的表情数据和所述预处理后的音频数据进行对齐，得到最终对齐结果；
对所述最终对齐结果中的表情数据和音频数据进行情感特征提取，得到声音情感特征和表情情感特征。
由上述描述可知，对表情数据和音频数据进行预处理，去除无用信息，以便提高后续数据处理效率，同时使用D-vectors算法结合动态时间规整算法将预处理后的表情数据和预处理后的音频数据进行对齐，对齐后进行情感特征提取，以此提高数据读取效率，更快速地提取情感特征。
进一步地，所述对所述最终对齐结果中的表情数据和音频数据进行情感特征提取，得到声音情感特征和表情情感特征包括：
使用预设窗口大小对所述最终对齐结果中的音频数据进行分割，得到窗口信号；
使用傅里叶变换算法计算每一所述窗口信号的幅值和相位时频分布；
按照时间顺序拼接所述幅值和相位时频分布，生成梅尔频率倒谱系数；
将所述梅尔频率倒谱系数输入至循环神经网络，输出声音情感特征；
使用离线余弦变换算法根据所述最终对齐结果中的表情数据生成离散变换矩阵；
使用高斯混合模型算法将所述离散变换矩阵转换为表情变化特征表示；
将所述表情变化特征表示输入至预设的表情情感特征提取模型，输出表情情感特征。
由上述描述可知，将梅尔频率倒谱系数输入至循环神经网络，输出声音情感特征，使用高斯混合模型算法将离散变换矩阵转换为表情变化特征表示，再将其输入至预设的表情情感特征提取模型，得到表情情感特征，以便于后续对数据进行进一步地理解和分析，提高处理效率。
进一步地，所述使用情感特征融合模型对所述声音情感特征和所述表情情感特征进行融合，得到多模态情感特征融合结果包括：
对所述声音情感特征和所述表情情感特征分别进行归一化处理，得到声音情感特征向量和表情情感特征向量；
使用切比雪夫距离计算所述声音情感特征向量和所述表情情感特征向量的相似度；
根据所述相似度基于所述声音情感特征向量和所述表情情感特征向量使用注意力机制计算每一向量的权重比值，所述向量为声音情感特征向量或表情情感特征向量；
根据所述每一向量的权重比值、所述声音情感特征向量和所述表情情感特征向量得到声音情感特征向量表示以及表情情感特征向量表示；
将所述声音情感特征向量表示以及所述表情情感特征向量表示输入至情感特征融合模型，输出多模态情感特征融合结果。
由上述描述可知，将声音情感特征向量表示以及表情情感特征向量表示输入至情感特征融合模型，输出多模态情感特征融合结果，能够形成统一的联合情感特征表示，在后续情感识别时能够有效提高识别的准确率。
进一步地，所述对所述多模态情感特征融合结果进行情感识别，得到与所述多模态情感特征融合结果对应的情感类别包括：
将所述多模态情感特征融合结果输入至预设的情感识别模型，输出情感类别置信分数；
使用欧式距离计算所述置信分数和预设情感类别向量之间的相似度；
从所述相似度中选择最高相似度，并将与所述最高相似度对应的目标预设情感类别向量确定为与所述多模态情感特征融合结果对应的情感类别。
由上述描述可知，将与最高相似度对应的目标预设情感类别向量确定为与多模态情感特征融合结果对应的情感类别，能够得到虚拟化身当下对应的情感，有利于后续实现更准确地情感演化。
进一步地，所述确定所述情感类别的语义向量包括：
使用与所述多模态情感特征融合结果对应的情感类别对所述最终对齐结果中的表情数据和音频数据进行标注，得到标注后的表情数据和音频数据；
确定所述情感类别的正负极性和强度值，并使用基于神经网络的情感知识表示算法根据所述标注后的表情数据和音频数据以及所述正负极性和强度值得到所述情感类别的语义向量。
由上述描述可知，使用基于神经网络的情感知识表示算法根据标注后的表情数据和音频数据以及正负极性和强度值得到情感类别的语义向量，以此可准确地描述不同情感类别之间的转移和转换关系。
进一步地，所述基于所述情感类别的语义向量对所述多模态情感特征融合结果进行标注，生成情感演化序列包括：
使用所述情感类别的语义向量标注所述多模态情感特征融合结果，生成情感语义序列；
使用核函数计算所述情感语义序列中不同情感语义之间的适应度；
判断是否存在一适应度低于预设适应度阈值，若是，则使用语义改写算法修正与所述适应度对应的情感语义，得到修正后的情感语义序列，并使用时间序列分析算法基于所述修正后的情感语义序列生成情感演化序列，若否，则使用时间序列分析算法基于所述情感语义序列生成情感演化序列。
由上述描述可知，通过对情感语义序列进行修正，能够保证情感演化序列的准确性，从而实现更准确的虚拟化身的情感表达。
进一步地，所述从所述情感演化序列中提取目标情感演化模式包括：
使用广义序列模式挖掘算法根据所述情感演化序列中的情感语义确定情感演化模式集合；
使用条件随机场算法计算所述情感演化模式集合中每一情感演化模式的概率值；
将概率值最大的情感演化模式确定为目标情感演化模式。
由上述描述可知，使用条件随机场算法计算情感演化模式集合中每一情感演化模式的概率值，将概率值最大的情感演化模式确定为目标情感演化模式，目标情感演化模式可作为后续情感表达的参考标准，以便实现更丰富、更真实的情感表达。
进一步地，所述按照所述目标情感演化模式驱动所述虚拟化身进行情感表达包括：
将所述表情变化特征表示和所述多模态情感特征融合结果输入至基于深度学习的潜在空间模型，输出情感-表情变化潜在分布空间；
使用所述情感-表情变化潜在分布空间将所述目标情感演化模式转换为所述虚拟化身的脸部关键点的坐标变化；
获取所述虚拟化身的面部纹理信息；
根据所述脸部关键点的坐标变化使用动态纹理映射算法更新所述面部纹理信息，得到最新的面部纹理信息；
按照最新的面部纹理信息驱动所述虚拟化身的面部表情变化；
使用惯性测量算法将所述目标情感演化模式转换为体态动作指令；
使用坐标转换算法建立虚拟坐标系，并根据所述虚拟坐标系将所述体态动作指令转换为所述虚拟化身的肢体运动轨迹；
基于所述肢体运动轨迹计算运动参数，并按照所述运动参数驱动所述虚拟化身的体态运动。
由上述描述可知，将表情变化特征表示和多模态情感特征融合结果输入至基于深度学习的潜在空间模型，输出情感-表情变化潜在分布空间，根据情感-表情变化潜在分布空间将目标情感演化模式进行转换，最终驱动虚拟化身的面部表情变化和体态运动，从而实现了虚拟化身情感的自我演化，赋予了虚拟化身更丰富、更智能的情感表达形式。
请参照图2，本发明另一实施例提供了一种教育元宇宙中虚拟化身的情感演化终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述教育元宇宙中虚拟化身的情感演化方法中的各个步骤。
本发明上述的教育元宇宙中虚拟化身的情感演化方法及终端能够适用于存在虚拟化身的教育元宇宙场景，以下通过具体实施方式进行说明：
请参照图1、图3-图8，本发明的实施例一为：
一种教育元宇宙中虚拟化身的情感演化方法，包括步骤：
S1、采集虚拟化身的表情数据和音频数据，并基于所述表情数据和所述音频数据进行情感特征提取，得到声音情感特征和表情情感特征，具体包括：
S11、采集虚拟化身的表情数据和音频数据，具体包括：
在一种可选的实施方式中，所述虚拟化身包括教师虚拟化身和学生虚拟化身；
S111、将表情侦测组件附加至虚拟化身，在教学、研讨和学习交流等场景中，监听虚拟化身的表情变化，如图3所示，包括微笑（图3中的（1））、嘴巴张开（图3中的（2））、瞪眼（图3中的（3））、嘴巴收缩（图3中的（4））、平静（图3中的（5））和眼睛眯起（图3中的（6）），如图4所示，获取虚拟化身的与所述表情变化对应的面部左眉（图4中的301）、右眉（图4中的302）、左眼（图4中的303）、右眼（图4中的304）、鼻子（图4中的305）和嘴巴（图4中的306）的关键点索引依次标记为LEB、REB、LE、RE、N、M以及坐标位置依次为(xLEB,yLEB)、(xREB,yREB)、(xLE,yLE)、(xRE,yRE)、(xN,yN)、(xM,yM)，将其作为表情数据。
S112、将音频监听组件附加至虚拟化身，设置音频采样率、采样位数和量化位数，记录虚拟化身的对话音频信号。
S113、根据虚拟化身在场景中的空间位置坐标使用自适应波束形成算法对所述对话音频信号进行处理，得到处理后的对话音频信号，提高音频信号频率响应和幅度范围，具体包括：
（1）获取虚拟化身在场景中的空间位置坐标(x, y)；
（2）将空间位置坐标(x, y)转换为队列元素坐标，具体的：
；
式中，ai表示阵列元素在x方向上的坐标，bi表示阵列元素在y方向上的坐标，AES表示阵列元素间距；
（3）根据队列元素坐标计算队列元素到虚拟化身的距离DS，具体的：
；
（4）根据队列元素到虚拟化身的距离DS计算队阵元素的相位延迟PL，具体的：
；
式中，θ表示波束指向角度；
（5）根据队阵元素的相位延迟PL计算队阵元素的权重W，具体为：
W=e2πf×(PL-α)；
式中，f表示高通滤波器截止频率，α表示权值调整参数；
（6）分别修正音频频率和幅度，得到修正后的音频频率和修正后的幅度/>，具体为：
；
；
式中，F表示音频频率，A表示幅度，d表示一个长程空间滤波器的冲激响应，s表示对话音频信号；
（7）根据修正后的音频频率和修正后的幅度/>生成处理后的对话音频信号。
S114、利用实时音频混合技术整合处理后的对话音频信号，得到音频数据。
S115、将虚拟化身的表情变化作为元素，记录与表情变化对应的关键点键和变化值，使用XML格式标准化虚拟化身的表情数据，比如微笑表情变化，并保存为.XML文件格式。
以微笑表情变化为例说明标准化数据步骤，具体为：
（1）初始虚拟化身左眼、右眼、嘴巴位置坐标为(xa0,ya0,za0)、(xb0,yb0,zb0)、(xc0,yc0,zc0)；
（2）将关键词、类型、位置类型、持续时间、映射分别定义为key、type、position、duration、mapping；
（3）微笑表情变化后，虚拟化身左眼、右眼、嘴巴位置坐标为(xa1,ya1,za1)、(xb1,yb1,zb1)、(xc1,yc1,zc1)，持续时间为d；
（4）使用如下式子规范虚拟化身表情数据：
{key: LE, type: position, mapping: {{xa0,xa1}{ya0,ya1}{za0,za1}}, key:RE, type: position, mapping: {{xb0,xb1}{yb0,yb1}{zb0,zb1}}, key: M, type:position, mapping: {{xc0,xc1}{yc0,yc1}{zc0,zc1}}, key: duration, type: float（浮点型数据类型）, duration: d}。
S116、使用.WAV无损压缩数字音频文件格式存储音频数据。
S117、根据SFTP上传协议（SSH File Transfer Protocol，安全文件传输协议）结合热备份策略，将表情数据和音频数据备份、存储到云端服务器。
S12、对所述表情数据进行预处理，得到预处理后的表情数据，具体包括：
S121、使用Fast-SIC拟合算法计算虚拟化身表情数据中表情变化几何、纹理、光照和姿态参数。
S122、根据表情变化几何、纹理、光照和姿态参数使用信息熵算法获取表情参数变化置信度。
S123、从所述表情数据中剔除表情参数变化置信度最低的表情变化，并使用基于空间金字塔的平滑算法去除剔除后的表情数据中的噪声点和断点，得到预处理后的表情数据。
S13、对所述音频数据进行预处理，得到预处理后的音频数据，具体包括：
S131、使用快速傅里叶变换去噪法捕捉、去除所述音频数据中频率成分，并滤除背景噪声和杂声，得到滤除后的音频数据。
S132、采用均衡器调节所述滤除后的音频数据中高音、中音、低音的比例，并提高音频的音色和音质，使用自适应均衡器算法调整音频音量、平衡和频率参数，得到预处理后的音频数据。
S14、使用D-vectors算法结合动态时间规整算法将所述预处理后的表情数据和所述预处理后的音频数据进行对齐，得到最终对齐结果，具体包括：
S141、使用D-vectors算法计算所述预处理后的表情数据和所述预处理后的音频数据之间的阈值、步长对齐参数。
S142、使用动态时间规整算法获取匹配距离，并从中选择最小匹配距离，获取参数值，对齐所述预处理后的表情数据和所述预处理后的音频数据，得到初步对齐结果。
S143、使用粒子群优化算法优化并调整所述初步对齐结果，得到最终对齐结果；
在一种可选的实施方式中，具体为：
（1）将微笑、瞪眼、平静表情变化和声音定义为{e微笑,e瞪眼,e平静}和{v微笑,v瞪眼,v平静}；
（2）依据表情变化和声音顺序，依次构造{e微笑,v微笑}、{e瞪眼,v瞪眼}和{e平静,v平静}粒子；
（3）初始化粒子群速度、权重和位置，具体为：
vi(0),wi(0),pi(0)=v0,w0,p0；
式中，i为粒子编号，vi(0) 表示未初始化的粒子速度，wi(0) 表示未初始化的粒子权重，pi(0) 表示未初始化的粒子位置，v0表示粒子初始速度，w0表示粒子初始权重，p0表示粒子初始位置；
（4）计算每个粒子与其他粒子之间的距离，具体为：
ci(t+1)=ci(t)×wi(t)；
式中，ci(t)表示第i个粒子在第t次迭代时的竞争权重，其初始值为1，ci(t+1) 表示第i个粒子在第t+1次迭代时的竞争权重，wi(t)表示第i个粒子在第t次迭代时的权重；
（5）迭代更新粒子位置，具体为：
；
式中，pi(t+1)表示第i个粒子在第t+1次迭代时的位置，pi(t)表示第i个粒子在第t次迭代时的位置，vj(t)表示第j个粒子在第t次迭代时的速度，αi(t)表示用于控制第i个粒子速度和方向的自适应参数，M表示粒子数量；
（6）依据粒子位置，调整粒子顺序为{e微笑,v微笑}、{e平静,v平静}和{e瞪眼,v瞪眼}，并根据调整后的粒子顺序获取调整后的表情变化和声音为{e微笑,e平静,e瞪眼}和{v微笑,v平静,v瞪眼}，即可作为最终对齐结果。
S15、对所述最终对齐结果中的表情数据和音频数据进行情感特征提取，得到声音情感特征和表情情感特征，具体包括：
S151、使用预设窗口大小对所述最终对齐结果中的音频数据进行分割，得到窗口信号。
S152、使用傅里叶变换算法计算每一所述窗口信号的幅值和相位时频分布。
S153、按照时间顺序拼接所述幅值和相位时频分布，生成梅尔频率倒谱系数。
S154、将所述梅尔频率倒谱系数输入至循环神经网络，输出声音情感特征，所述声音情感特征包括共振峰频率和谐波噪声比。
S155、使用离线余弦变换算法根据所述最终对齐结果中的表情数据生成离散变换矩阵，所述离散变换矩阵包括平移离散变换矩阵、旋转离散变换矩阵、缩放离散变换矩阵和错切离散变换矩阵；
具体的，使用离线余弦变换算法根据所述最终对齐结果中的表情数据的面部关键点及其变化生成平移离散变换矩阵、旋转离散变换矩阵、缩放离散变换矩阵和错切离散变换矩阵。
S156、使用高斯混合模型算法将所述离散变换矩阵转换为表情变化特征表示，具体为：
（1）获取所述离散变换矩阵A；
（2）重新构造离散变换矩阵A，得到最新离散变换矩阵X，具体的：
X=CA+σ2A；
式中，σ2表示所述离散变换矩阵A的方差，C表示所述离散变换矩阵A的协方差矩阵；
（3）初始化n×n协方差矩阵U，其中n表示最新离散变换矩阵X的维数；
（4）迭代计算协方差矩阵U：
式中，Xi表示最新离散变换矩阵X的第i行；
（5）若Cov(U)≈0，则停止迭代，并获取U为离散变换矩阵A的特征向量；
（6）根据离散变换矩阵A的特征向量得到表情变化特征表示。
S157、将所述表情变化特征表示输入至预设的表情情感特征提取模型，输出表情情感特征；
其中，如图5所示，所述预设的表情情感特征提取模型依次由2个卷积核为5×5的卷积神经网络层（图5中的401和402）、最大池化层（图5中的403）、卷积核为3×3的卷积神经网络层（图5中的404）、最大池化层（图5中的405）、卷积核为3×3的卷积神经网络层（图5中的406）、卷积核为1×1卷积神经网络层（图5中的407）、最大池化层（图5中的408）和全连接层（图5中的409）构成；
具体的，将所述表情变化特征表示输入至预设的表情情感特征提取模型，提取如面部表情高兴、惊讶、厌烦、困惑、疲劳、专注和自信等表情情感特征。
S2、使用情感特征融合模型对所述声音情感特征和所述表情情感特征进行融合，得到多模态情感特征融合结果，并对所述多模态情感特征融合结果进行情感识别，得到与所述多模态情感特征融合结果对应的情感类别，具体包括：
S21、对所述声音情感特征和所述表情情感特征分别进行归一化处理，得到声音情感特征向量和表情情感特征向量；
具体的，按照预设维度大小使用t分布随机邻域嵌入算法将所述声音情感特征和所述表情情感特征映射到同一维度，得到初始的声音情感特征向量和表情情感特征向量；
分别计算所述初始的声音情感特征向量和表情情感特征向量的均值和方差，并分别将所述初始的声音情感特征向量和表情情感特征向量的值减去均值，再除以标准差，然后将向量元素值映射到[-1,1]范围，得到声音情感特征向量和表情情感特征向量。
S22、使用切比雪夫距离计算所述声音情感特征向量和所述表情情感特征向量的相似度。
S23、根据所述相似度基于所述声音情感特征向量和所述表情情感特征向量使用注意力机制计算每一向量的权重比值，所述向量为声音情感特征向量或表情情感特征向量；
在一种可选的实施方式中，所述注意力机制为基于细粒度的注意力机制。
S24、根据所述每一向量的权重比值、所述声音情感特征向量和所述表情情感特征向量得到声音情感特征向量表示以及表情情感特征向量表示；
具体的，将所述每一向量的权重比值分别与各自对应的所述声音情感特征向量和所述表情情感特征向量的各维度相乘，得到声音情感特征向量表示以及表情情感特征向量表示，以此赋予特征向量不同权重比。
S25、将所述声音情感特征向量表示以及所述表情情感特征向量表示输入至情感特征融合模型，输出多模态情感特征融合结果；
其中，所述情感特征融合模型由双向循环神经网络层、前馈神经网络层、卷积神经网络层和全连接层依次构成；
具体的，如图6所示，将所述声音情感特征向量表示以及所述表情情感特征向量表示输入至情感特征融合模型，使用模型中的双向循环神经网络层提取、合并上述情感特征向量表示中听觉、视觉信息，获取视听模态情感向量（即图6中的多模态情感向量），采用前馈神经网络层从视听模态情感向量中提取类型、指向、持续、意图和背景等潜在情感特征，依次使用卷积神经网络层和全连接层融合这些潜在情感特征，输出多模态情感特征融合结果。
在一种可选的实施方式中，在步骤S25与S26之间还包括：确定预设情感类别向量，具体包括：
依据情感的积极、消极和中性极性，确定预设情感类别，如快乐、幸福、满足、欣喜、恐惧、嫉妒、怨恨、报复、贪婪、迷信、愤怒、满意、平静、放松和舒适，根据MAHNOB-HCI多模态情感数据库为预设情感类别赋予情感正负极性和强度值为{+100, +50, +30, +20, -50,-20, -100, -25, -10, -55, -60, +25, +10, +15, +20}。
依据预设情感类别的正负极性和强度值，排序预设情感类别，并根据排序后的预设情感类别构建情感词典，根据情感词典获取情感类别索引位置和总数，使用独热编码将预设情感类别转换为向量，向量中索引位置的元素为1，其余位置元素为0，得到预设情感类别向量，具体步骤如下（1）-（3）：
（1）依据预设情感类别的正负极性和强度值，从大到小排序预设情感类别，得到排序后的预设情感类别，如快乐、幸福、满足、满意、欣喜、舒适、放松、平静、贪婪、妒忌、报复、恐惧、迷信、愤怒和怨恨；
（2）构建情感词典，为排序后的预设情感类别分配索引位置，如获取总数为15，放松情感类别被分配的索引位置为6；
（3）编码索引位置为i个预设情感类别，具体的：
v={0,...,xi,...,0}；
式中，xi为情感类别向量中索引位置为i的元素，值为1；比如放松情感类别可转换为向量v放松={0,0,0,0,0,0,1,0,0,0,0,0,0,0,0}。
S26、将所述多模态情感特征融合结果输入至预设的情感识别模型，输出情感类别置信分数；
其中，所述预设的情感识别模型由依次堆叠的1D-Inception特征学习模块、自注意力模块、双向循环神经网络层、全连接层和归一化指数函数层构成，所述1D-Inception特征学习模块包括5个卷积神经网络层、1个最大池化层以及拼接层，如图7所示。
S27、使用欧式距离计算所述置信分数和预设情感类别向量之间的相似度。
具体的，使用欧式距离计算所述置信分数和每一预设情感类别向量之间的相似度。
S28、从所述相似度中选择最高相似度，并将与所述最高相似度对应的目标预设情感类别向量确定为与所述多模态情感特征融合结果对应的情感类别。
S3、确定所述情感类别的语义向量，并基于所述情感类别的语义向量对所述多模态情感特征融合结果进行标注，生成情感演化序列，具体包括：
S31、使用与所述多模态情感特征融合结果对应的情感类别对所述最终对齐结果中的表情数据和音频数据进行标注，得到标注后的表情数据和音频数据；
具体的，根据时间序列为所述最终对齐结果中的表情数据和音频数据标注与所述多模态情感特征融合结果对应的情感类别，得到标注后的表情数据和音频数据。
S32、确定所述情感类别的正负极性和强度值，并使用基于神经网络的情感知识表示算法根据所述标注后的表情数据和音频数据以及所述正负极性和强度值得到所述情感类别的语义向量，以此实现情感类别语义表示。
S33、使用所述情感类别的语义向量标注所述多模态情感特征融合结果，生成情感语义序列；
具体的，使用所述情感类别的语义向量标注所述多模态情感特征融合结果，生成情感语义，并组成情感语义序列。
S34、使用核函数计算所述情感语义序列中不同情感语义之间的适应度。
S35、判断是否存在一适应度低于预设适应度阈值，若是，则使用语义改写算法修正与所述适应度对应的情感语义，得到修正后的情感语义序列，并使用时间序列分析算法基于所述修正后的情感语义序列生成情感演化序列，若否，则使用时间序列分析算法基于所述情感语义序列生成情感演化序列。
其中，所述使用时间序列分析算法基于所述情感语义序列生成情感演化序列，具体为：
使用时间序列分析算法从所述情感语义序列中捕捉情感类别变化时间点，沿时间轴标记所述情感语义序列，生成情感演化序列。
S4、从所述情感演化序列中提取目标情感演化模式，并按照所述目标情感演化模式驱动所述虚拟化身进行情感表达，具体包括：
S41、使用广义序列模式挖掘算法根据所述情感演化序列中的情感语义确定情感演化模式集合；
具体的，使用广义序列模式挖掘算法计算所述情感演化序列中相邻情感语义之间相似性、对立性、上下文、并列和转移关系，推断得到情感演化模式集合。
S42、使用条件随机场算法计算所述情感演化模式集合中每一情感演化模式的概率值；
其中，所述条件随机场算法步骤为：
（1）将情感演化模式定义为Q = {w1,w2,w3,...,wn}，其中，n表示情感演化模式长度；
（2）初始化嵌入矩阵，具体的：
Mij=P(wi|wj) ；
式中，wi表示第i位置的情感类别，wj表示为第j位置的情感类别，Mij表示情感类别wi出现在情感类别wj前面的概率值；
（3）使用前向计算和后向计算得到每个情感类别概率值，具体的：
；
；
式中，P(wj|wi) 表示情感类别wj出现在情感类别wi前面的概率值，P(wi|wj) 表示情感类别wi出现在情感类别wj前面的概率值，P(wi)表示第i位置的情感类别出现的概率，P(wj)表示第j位置的情感类别出现的概率；
（4）计算情感演化模式的概率值P(Q)，具体的：
P(Q)= P(w1|w2)P(w2|w3)...P(wn-1|wn)。
S43、将概率值最大的情感演化模式确定为目标情感演化模式。
S44、将所述表情变化特征表示和所述多模态情感特征融合结果输入至基于深度学习的潜在空间模型，如8图所示，输出情感-表情变化潜在分布空间；
其中，图8中701为基于深度学习的潜在空间模型中的情感编码器，图8中702为基于深度学习的潜在空间模型中的表情解码器。
S45、使用所述情感-表情变化潜在分布空间将所述目标情感演化模式转换为所述虚拟化身的脸部关键点的坐标变化；
在一种可选的实施方式中，所述虚拟化身的脸部关键点的坐标变化为左眉、右眉、左眼、右眼、鼻子、嘴、下巴区域关键点部位特征的坐标变化。
S46、获取所述虚拟化身的面部纹理信息；
具体的，使用Gabor小波变换提取虚拟化身的面部纹理信息。
S47、根据所述脸部关键点的坐标变化使用动态纹理映射算法更新所述面部纹理信息，得到最新的面部纹理信息；
其中，以所述脸部关键点的坐标变化属于微笑表情变化为例，所述动态纹理映射算法具体为：
（1）微笑表情变化，虚拟化身左眼位置坐标从(xa0,ya0,za0)变化为(xa1,ya1,za1)；
（2）计算缩放程度sx、sy、sz以及平移距离T，具体的：
；
；
式中，tx表示坐标xa0到坐标xa1的平移距离，ty表示坐标ya0到坐标ya1的平移距离，tz表示坐标za0到坐标za1的平移距离；
（3）构建纹理变换矩阵M，具体的：
；
（4）计算纹理坐标，具体的：
；
（5）将纹理坐标作为参数，传递给图形渲染管线红的纹理映射单元，更新虚拟化身面部纹理，得到最新的面部纹理信息。
S48、按照最新的面部纹理信息驱动所述虚拟化身的面部表情变化；
具体的，按照最新的面部纹理信息调用虚拟化身面部情感特征变化脚本驱动所述虚拟化身的面部表情变化。
S49、使用惯性测量算法将所述目标情感演化模式转换为体态动作指令；
在一种可选的实施方式中，所述体态动作指令包括点头、摇头、歪头、屈膝、缩脖、耸肩、手臂挥动和移动脚步中的至少一种。
S410、使用坐标转换算法建立虚拟坐标系，并根据所述虚拟坐标系将所述体态动作指令转换为所述虚拟化身的肢体运动轨迹；
S411、基于所述肢体运动轨迹计算运动参数，并按照所述运动参数驱动所述虚拟化身的体态运动；
其中，所述运动参数包括关节角度、速度和加速度运动参数；
具体的，基于所述肢体运动轨迹计算关节角度、速度和加速度运动参数，并按照关节角度、速度和加速度运动参数驱动所述虚拟化身的体态运动。
请参照图2，本发明的实施例二为：
一种教育元宇宙中虚拟化身的情感演化终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的教育元宇宙中虚拟化身的情感演化方法中的各个步骤。
综上所述，本发明提供的一种教育元宇宙中虚拟化身的情感演化方法及终端，通过采集虚拟化身的表情数据和音频数据，并基于其进行情感特征提取，使用情感特征融合模型对提取到的声音情感特征和表情情感特征进行融合，对融合得到的多模态情感特征融合结果进行情感识别，得到与其对应的情感类别，基于情感类别的语义向量对多模态情感特征融合结果进行标注，生成情感演化序列，按照从情感演化序列提取到的目标情感演化模式驱动虚拟化身进行情感表达，相较于现有技术，能够实时采集虚拟化身自身数据，形成统一、联合的多模态情感特征融合结果，并结合情感类别语义信息实现最终的情感表达，以此实现了虚拟化身情感的自我演化，赋予了虚拟化身更丰富、更智能的情感表达形式，从而提高虚拟化身的情感感知能力，实现更丰富、更真实的情感表达；并且，使用基于神经网络的情感知识表示算法根据标注后的表情数据和音频数据以及正负极性和强度值得到情感类别的语义向量，以此可准确地描述不同情感类别之间的转移和转换关系。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，包括步骤：
采集虚拟化身的表情数据和音频数据，并基于所述表情数据和所述音频数据进行情感特征提取，得到声音情感特征和表情情感特征；
使用情感特征融合模型对所述声音情感特征和所述表情情感特征进行融合，得到多模态情感特征融合结果，并对所述多模态情感特征融合结果进行情感识别，得到与所述多模态情感特征融合结果对应的情感类别；
确定所述情感类别的语义向量，并基于所述情感类别的语义向量对所述多模态情感特征融合结果进行标注，生成情感演化序列；
从所述情感演化序列中提取目标情感演化模式，并按照所述目标情感演化模式驱动所述虚拟化身进行情感表达。
2.根据权利要求1所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述基于所述表情数据和所述音频数据进行情感特征提取，得到声音情感特征和表情情感特征包括：
对所述表情数据进行预处理，得到预处理后的表情数据；
对所述音频数据进行预处理，得到预处理后的音频数据；
使用D-vectors算法结合动态时间规整算法将所述预处理后的表情数据和所述预处理后的音频数据进行对齐，得到最终对齐结果；
对所述最终对齐结果中的表情数据和音频数据进行情感特征提取，得到声音情感特征和表情情感特征。
3.根据权利要求2所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述对所述最终对齐结果中的表情数据和音频数据进行情感特征提取，得到声音情感特征和表情情感特征包括：
使用预设窗口大小对所述最终对齐结果中的音频数据进行分割，得到窗口信号；
使用傅里叶变换算法计算每一所述窗口信号的幅值和相位时频分布；
按照时间顺序拼接所述幅值和相位时频分布，生成梅尔频率倒谱系数；
将所述梅尔频率倒谱系数输入至循环神经网络，输出声音情感特征；
使用离线余弦变换算法根据所述最终对齐结果中的表情数据生成离散变换矩阵；
使用高斯混合模型算法将所述离散变换矩阵转换为表情变化特征表示；
将所述表情变化特征表示输入至预设的表情情感特征提取模型，输出表情情感特征。
4.根据权利要求1所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述使用情感特征融合模型对所述声音情感特征和所述表情情感特征进行融合，得到多模态情感特征融合结果包括：
对所述声音情感特征和所述表情情感特征分别进行归一化处理，得到声音情感特征向量和表情情感特征向量；
使用切比雪夫距离计算所述声音情感特征向量和所述表情情感特征向量的相似度；
根据所述相似度基于所述声音情感特征向量和所述表情情感特征向量使用注意力机制计算每一向量的权重比值，所述向量为声音情感特征向量或表情情感特征向量；
根据所述每一向量的权重比值、所述声音情感特征向量和所述表情情感特征向量得到声音情感特征向量表示以及表情情感特征向量表示；
将所述声音情感特征向量表示以及所述表情情感特征向量表示输入至情感特征融合模型，输出多模态情感特征融合结果。
5.根据权利要求1所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述对所述多模态情感特征融合结果进行情感识别，得到与所述多模态情感特征融合结果对应的情感类别包括：
将所述多模态情感特征融合结果输入至预设的情感识别模型，输出情感类别置信分数；
使用欧式距离计算所述置信分数和预设情感类别向量之间的相似度；
从所述相似度中选择最高相似度，并将与所述最高相似度对应的目标预设情感类别向量确定为与所述多模态情感特征融合结果对应的情感类别。
6.根据权利要求2所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述确定所述情感类别的语义向量包括：
使用与所述多模态情感特征融合结果对应的情感类别对所述最终对齐结果中的表情数据和音频数据进行标注，得到标注后的表情数据和音频数据；
确定所述情感类别的正负极性和强度值，并使用基于神经网络的情感知识表示算法根据所述标注后的表情数据和音频数据以及所述正负极性和强度值得到所述情感类别的语义向量。
7.根据权利要求1所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述基于所述情感类别的语义向量对所述多模态情感特征融合结果进行标注，生成情感演化序列包括：
使用所述情感类别的语义向量标注所述多模态情感特征融合结果，生成情感语义序列；
使用核函数计算所述情感语义序列中不同情感语义之间的适应度；
判断是否存在一适应度低于预设适应度阈值，若是，则使用语义改写算法修正与所述适应度对应的情感语义，得到修正后的情感语义序列，并使用时间序列分析算法基于所述修正后的情感语义序列生成情感演化序列，若否，则使用时间序列分析算法基于所述情感语义序列生成情感演化序列。
8.根据权利要求1所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述从所述情感演化序列中提取目标情感演化模式包括：
使用广义序列模式挖掘算法根据所述情感演化序列中的情感语义确定情感演化模式集合；
使用条件随机场算法计算所述情感演化模式集合中每一情感演化模式的概率值；
将概率值最大的情感演化模式确定为目标情感演化模式。
9.根据权利要求3所述的一种教育元宇宙中虚拟化身的情感演化方法，其特征在于，所述按照所述目标情感演化模式驱动所述虚拟化身进行情感表达包括：
将所述表情变化特征表示和所述多模态情感特征融合结果输入至基于深度学习的潜在空间模型，输出情感-表情变化潜在分布空间；
使用所述情感-表情变化潜在分布空间将所述目标情感演化模式转换为所述虚拟化身的脸部关键点的坐标变化；
获取所述虚拟化身的面部纹理信息；
根据所述脸部关键点的坐标变化使用动态纹理映射算法更新所述面部纹理信息，得到最新的面部纹理信息；
按照最新的面部纹理信息驱动所述虚拟化身的面部表情变化；
使用惯性测量算法将所述目标情感演化模式转换为体态动作指令；
使用坐标转换算法建立虚拟坐标系，并根据所述虚拟坐标系将所述体态动作指令转换为所述虚拟化身的肢体运动轨迹；
基于所述肢体运动轨迹计算运动参数，并按照所述运动参数驱动所述虚拟化身的体态运动。
10.一种教育元宇宙中虚拟化身的情感演化终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的一种教育元宇宙中虚拟化身的情感演化方法中的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310815919.5A CN116561533B (zh) | 2023-07-05 | 2023-07-05 | 一种教育元宇宙中虚拟化身的情感演化方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310815919.5A CN116561533B (zh) | 2023-07-05 | 2023-07-05 | 一种教育元宇宙中虚拟化身的情感演化方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116561533A true CN116561533A (zh) | 2023-08-08 |
| CN116561533B CN116561533B (zh) | 2023-09-29 |
Family
ID=87500375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310815919.5A Active CN116561533B (zh) | 2023-07-05 | 2023-07-05 | 一种教育元宇宙中虚拟化身的情感演化方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116561533B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117196042A (zh) * | 2023-11-03 | 2023-12-08 | 福建天晴数码有限公司 | 一种教育元宇宙中学习目标的语义推理方法及终端 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090055426A (ko) * | 2007-11-28 | 2009-06-02 | 중앙대학교 산학협력단 | 특징 융합 기반 감정인식 방법 및 시스템 |
| CN101474481A (zh) * | 2009-01-12 | 2009-07-08 | 北京科技大学 | 情感机器人系统 |
| CN110516696A (zh) * | 2019-07-12 | 2019-11-29 | 东南大学 | 一种基于语音和表情的自适应权重双模态融合情感识别方法 |
| CN112818861A (zh) * | 2021-02-02 | 2021-05-18 | 南京邮电大学 | 一种基于多模态上下文语义特征的情感分类方法及系统 |
| CN113947127A (zh) * | 2021-09-15 | 2022-01-18 | 复旦大学 | 一种用于陪伴机器人的多模态情感识别方法和系统 |
| CN114399818A (zh) * | 2022-01-05 | 2022-04-26 | 广东电网有限责任公司 | 一种多模态人脸情绪识别方法及装置 |
| CN115543089A (zh) * | 2022-10-20 | 2022-12-30 | 昆明奥智科技有限公司 | 一种基于五维情绪模型的虚拟人情感交互系统及方法 |
-
2023
- 2023-07-05 CN CN202310815919.5A patent/CN116561533B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090055426A (ko) * | 2007-11-28 | 2009-06-02 | 중앙대학교 산학협력단 | 특징 융합 기반 감정인식 방법 및 시스템 |
| CN101474481A (zh) * | 2009-01-12 | 2009-07-08 | 北京科技大学 | 情感机器人系统 |
| CN110516696A (zh) * | 2019-07-12 | 2019-11-29 | 东南大学 | 一种基于语音和表情的自适应权重双模态融合情感识别方法 |
| CN112818861A (zh) * | 2021-02-02 | 2021-05-18 | 南京邮电大学 | 一种基于多模态上下文语义特征的情感分类方法及系统 |
| CN113947127A (zh) * | 2021-09-15 | 2022-01-18 | 复旦大学 | 一种用于陪伴机器人的多模态情感识别方法和系统 |
| CN114399818A (zh) * | 2022-01-05 | 2022-04-26 | 广东电网有限责任公司 | 一种多模态人脸情绪识别方法及装置 |
| CN115543089A (zh) * | 2022-10-20 | 2022-12-30 | 昆明奥智科技有限公司 | 一种基于五维情绪模型的虚拟人情感交互系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117196042A (zh) * | 2023-11-03 | 2023-12-08 | 福建天晴数码有限公司 | 一种教育元宇宙中学习目标的语义推理方法及终端 |
| CN117196042B (zh) * | 2023-11-03 | 2024-01-30 | 福建天晴数码有限公司 | 一种教育元宇宙中学习目标的语义推理方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116561533B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Oliver et al. | Layered representations for human activity recognition | |
| US20210397266A1 (en) | Systems and methods for language driven gesture understanding | |
| CN113822192B (zh) | 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质 | |
| CN108416065A (zh) | 基于层级神经网络的图像-句子描述生成系统及方法 | |
| CN116171473A (zh) | 用于视听事件定位的双模态关系网络 | |
| CN113361636B (zh) | 一种图像分类方法、系统、介质及电子设备 | |
| CN111966800A (zh) | 情感对话生成方法、装置及情感对话模型训练方法、装置 | |
| CN116561533B (zh) | 一种教育元宇宙中虚拟化身的情感演化方法及终端 | |
| CN115631267A (zh) | 生成动画的方法及装置 | |
| CN111653270B (zh) | 语音处理方法、装置、计算机可读存储介质及电子设备 | |
| CN117251057A (zh) | 一种基于aigc构建ai数智人的方法及系统 | |
| CN116304973A (zh) | 一种基于多模态融合的课堂教学情感识别方法和系统 | |
| Gao et al. | Spoken language acquisition based on reinforcement learning and word unit segmentation | |
| CN117152308B (zh) | 一种虚拟人动作表情优化方法与系统 | |
| US11521594B2 (en) | Automated pipeline selection for synthesis of audio assets | |
| CN117892175A (zh) | 一种snn多模态目标识别方法、系统、设备及介质 | |
| Roy et al. | Learning audio-visual associations using mutual information | |
| CN116758451A (zh) | 基于多尺度和全局交叉注意力的视听情感识别方法及系统 | |
| CN116244474A (zh) | 一种基于多模态情感特征融合的学习者学习状态获取方法 | |
| CN115472182A (zh) | 一种基于注意力特征融合的多通道自编码器的语音情感识别方法及装置 | |
| CN115631285A (zh) | 基于统一驱动的人脸渲染方法、装置、设备及存储介质 | |
| CN113420783B (zh) | 一种基于图文匹配的智能人机交互方法及装置 | |
| Choudhury et al. | Review of Various Machine Learning and Deep Learning Techniques for Audio Visual Automatic Speech Recognition | |
| Jayanthi et al. | Sign Language Recognition using Deep CNN with Normalised Keyframe Extraction and Prediction using LSTM: CONTINUOUS SIGN LANGUAGE GESTURE RECOGNITION AND PREDICTION | |
| CN113488069A (zh) | 基于生成式对抗网络的语音高维特征快速提取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |