CN115206492A - 基于眼动反馈的情绪识别能力自适应训练方法及其装置 - Google Patents
基于眼动反馈的情绪识别能力自适应训练方法及其装置 Download PDFInfo
- Publication number
- CN115206492A CN115206492A CN202110389075.3A CN202110389075A CN115206492A CN 115206492 A CN115206492 A CN 115206492A CN 202110389075 A CN202110389075 A CN 202110389075A CN 115206492 A CN115206492 A CN 115206492A
- Authority
- CN
- China
- Prior art keywords
- virtual character
- emotion
- character expression
- animation
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 94
- 230000004424 eye movement Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 39
- 230000014509 gene expression Effects 0.000 claims abstract description 233
- 230000008451 emotion Effects 0.000 claims abstract description 111
- 230000000007 visual effect Effects 0.000 claims abstract description 69
- 230000000638 stimulation Effects 0.000 claims abstract description 43
- 230000003044 adaptive effect Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 208000029560 autism spectrum disease Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 206010003805 Autism Diseases 0.000 description 2
- 208000020706 Autistic disease Diseases 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- UTGQNNCQYDRXCH-UHFFFAOYSA-N N,N'-diphenyl-1,4-phenylenediamine Chemical compound C=1C=C(NC=2C=CC=CC=2)C=CC=1NC1=CC=CC=C1 UTGQNNCQYDRXCH-UHFFFAOYSA-N 0.000 description 1
- 208000029726 Neurodevelopmental disease Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/90—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Alternative & Traditional Medicine (AREA)
- Human Computer Interaction (AREA)
- Pharmacology & Pharmacy (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种基于眼动反馈的情绪识别能力自适应训练方法及其装置。方法包括：获取本轮训练的视觉刺激材料，包括至少两种不同情绪类型的虚拟人物表情动画；按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；实时获取被训练的眼动轨迹数据以及获取对每种情绪类型的虚拟人物表情动画的判别结果；根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判别结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；根据每种情绪类型的相似度调整情绪类型的虚拟人物表情动画的表情强度参数，用作下一轮训练的视觉刺激材料，以自适应地调整视觉刺激材料的强度。
Description
技术领域
本发明属于计算机图形技术领域，具体地讲，涉及一种基于眼动反馈的情绪识别能力自适应训练方法及装置、计算机可读存储介质、计算机设备。
背景技术
自闭症谱系障碍(autism spectrum disorder，ASD)，是一类以不同程度的社会交流和互动缺陷，以及刻板行为、狭隘兴趣为主要特征的神经发育障碍性疾病，这些症状在儿童早期出现，并限制或损害了日常功能，由于孤独症谱系障碍具有高致残率，58％—78％患有自闭症的成人在生活自理、教育、就业和同伴关系等方面都存在不同程度的困难。难以理解别人的情绪被认为是自闭症患者的核心特征，也被认为是社会交流互动障碍的最重要原因。有研究表明，自闭症儿童在照片、卡通和视频剪辑中识别面部表情的能力上，比正常发育的儿童更不准确，这是因为自闭症儿童在与人对话的场景中，并不能很好的集中注意力于对话方产生面部表情的关键区域上，由此影响了自闭症儿童对情绪的识别。
针对自闭症患者存在情感识别能力障碍的问题，相关领域学者在理论研究和康复手段方面做了一系列探索。但在训练使用的刺激材料方面，现有技术的刺激材料在表情动作方面没有强关联性，并且无法根据自闭症患者的训练情况进行自适应变化，例如仅仅使用固定的真人的图片、视频或者某些真实场景直接对自闭症患者进行情感识别能力训练，然而患者很难从这些刺激材料中获得对表情动作的基础认识，无法增强患者的情绪感知元学习能力。
发明内容
(一)本发明所要解决的技术问题
本发明解决的技术问题是：如何在训练过程中根据被训练对象的训练情况的自适应选择相应强度的视觉刺激材料，以增强被训练对象的情绪感知元学习能力。
(二)本发明所采用的技术方案
一种基于眼动反馈的情绪识别能力自适应训练方法，所述方法包括：
获取本轮训练的视觉刺激材料，所述视觉刺激材料包括至少两种不同情绪类型的虚拟人物表情动画；
按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，且在每种情绪类型的虚拟人物表情动画展示完成时，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；
实时获取被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动轨迹数据以及获取被训练对象对每种情绪类型的虚拟人物表情动画的判别结果；
根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判别结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；
根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料，重复上述步骤，直至满足训练完成条件。
优选地，所述判断结果包括正确判别结果和/或错误判别结果，当存在错误判别结果时，在获取到被训练对象对每种虚拟人物表情动画的判别结果之后，所述方法还包括：
利用错误判别结果所对应的虚拟人物表情动画对被训练对象进行辅助训练，以使被训练对象观测所述虚拟人物表情动画时的眼动轨迹数据达到阈值条件。
优选地，当存在错误判别结果，根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度的方法包括：
将错误判别结果所对应的虚拟人物表情动画的相似度设置为零，相似度为零表示虚拟人物表情动画的表情强度参数保持不变。
优选地，当存在正确判别结果，根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度的方法包括：
根据正确判别结果所对应的虚拟人物表情动画的眼动轨迹数据提取单人注视轨迹特征和单人注视轨迹路径长度；
根据单人注视轨迹特征和预先获取的正常人注视轨迹趋势特征得到编辑距离；
根据所述编辑距离和单人注视轨迹路径长度计算得到每种情绪类型的虚拟人物表情动画所对应的相似度。
优选地，根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料的方法包括：
根据相似度和表情强度参数之间的预设转换关系确定表情强度参数，所述表情强度参数包括表情浓度系数和表情持续时间；
根据所述表情浓度系数得到面部控制点坐标值，并利用狄利克雷自由变形算法得到的虚拟人物面部待变形点的新坐标值；
根据所述虚拟人物面部待变形点的新坐标值和表情持续时间合成调整表情强度参数后的虚拟人物表情动画。
优选地，在得到每种情绪类型的虚拟人物表情动画所对应的相似度之后，所述方法还包括：
判断每种情绪类型的虚拟人物表情动画所对应的相似度是否大于或等于预定值；
若是，则将相似度大于或等于预定值的虚拟人物表情动画从下一轮训练的视觉刺激材料中删除。
优选地，利用错误判别结果所对应的虚拟人物表情动画对被训练对象进行辅助训练，以使被训练对象观测所述虚拟人物表情动画时的眼动轨迹数据达到阈值条件的方法包括：
向被训练对象重新展示错误判别结果所对应的虚拟人物表情动画，同时按照预定顺序在虚拟人物表情动画中添加注视导航辅助框，注视导航辅助框用于提示注视区域；
实时监测被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动追踪数据，根据所述眼动追踪数据判断被训练对象对注视区域的观察顺序与注视导航辅助框的添加顺序是否一致；
若是，则结束辅助训练；若否，则重复上述步骤。
本申请还公开了一种基于眼动反馈的情绪识别能力自适应训练装置，所述装置包括：
动画获取单元，用于获取本轮训练的视觉刺激材料，所述视觉刺激材料包括至少两种不同情绪类型的虚拟人物表情动画；
用户互动单元，用于按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，且在每种情绪类型的虚拟人物表情动画展示完成时，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；
眼动追踪单元，用于实时获取被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动轨迹数据以及获取被训练对象对每种虚拟人物表情动画的判别结果；
数据处理单元，用于根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；
参数调整单元，用于根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料，重复上述步骤，直至满足训练完成条件。
本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有基于眼动反馈的情绪识别能力自适应训练程序，所述基于眼动反馈的情绪识别能力自适应训练程序被处理器执行时实现上述的基于眼动反馈的情绪识别能力自适应训练方法。
本申请还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的基于眼动反馈的情绪识别能力自适应训练程序，所述基于眼动反馈的情绪识别能力自适应训练程序被处理器执行时实现上述的基于眼动反馈的情绪识别能力自适应训练方法。
(三)有益效果
本发明公开了一种基于眼动反馈的情绪识别能力自适应训练方法，相对于传统的训练方法，具有如下技术效果：
在训练使用的刺激材料方面，采用从夸张到微小强度的虚拟人物头像动画作为视觉刺激材料，并且能够根据自闭症患者的训练情况进行自适应选择，有利于患者区分和学习细微变化的表情动作，增强患者的情绪感知元学习能力。在训练任务设计方面，本实施例设计的任务从简单到复杂，并且可根据提出的相似度计算方法评估被训练对象的训练效果，进行自适应动态调整训练任务。
附图说明
图1为本发明的实施例一的基于眼动反馈的情绪识别能力自适应训练方法的流程图；
图2为本发明的实施例一的相似度的计算方法流程图；
图3为本发明的实施例一的视觉元素划分示意图；
图4为本发明的实施例一的虚拟人物表情动画的生成流程图；
图5为本发明的实施例一的辅助训练的过程示意图；
图6为本发明的实施例二的基于眼动反馈的情绪识别能力自适应训练装置的原理框架图；
图7为本发明的实施例四的计算机设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在详细描述本申请的各个实施例之前，首先简单描述本申请的发明构思：现有技术中，在对自闭症患者进行训练时，选用的视觉刺激材料一般为固定的图片、视频，但是患者很难获得有效训练，本申请提出了一种基于眼动反馈的情绪识别能力自适应训练方法，采用虚拟人物表情动画作为视觉刺激材料，在训练过程中，实时监测被训练对象观察虚拟人物表情动画时的眼动轨迹数据以及情绪类型的的判别结果，进一步计算得到相似度，根据相似度实时调整下一轮训练需要利用的虚拟人物表情动画的表情强度参数，从而在训练过程中调整每一轮视觉刺激材料的表情强度，整体过程中刺激材料的表情强度从夸张到微小强度，有利于被训练对象区分和学习细微变化的表情动作，增强患者的情绪感知元学习能力。
如图1所示，本实施例一的基于眼动反馈的情绪识别能力自适应训练方法包括如下步骤：
步骤S10：获取本轮训练的视觉刺激材料，所述视觉刺激材料包括至少两种不同情绪类型的虚拟人物表情动画；
步骤S20：按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，且在每种情绪类型的虚拟人物表情动画展示完成时，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；
步骤S30：实时获取被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动轨迹数据以及获取被训练对象对每种情绪类型的虚拟人物表情动画的判别结果；
步骤S40：根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；
步骤S50：根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料，重复上述步骤，直至满足训练完成条件。
示例性地，在初次训练时，视觉刺激材料的表情强度参数设置为K＝1，T＝5，K表示表情浓度系数，T表示持续时间，K＝1代表夸张表情，T＝5表示该表情持续5秒钟。为了实现良好的训练效果，每组视觉刺激材料需要包括若干种不同情绪类型的虚拟人物表情动画，且需要按照随机顺序向被训练对象展示。例如，初次训练的视觉刺激材料含有六种类型的虚拟人物表情动画，分别为高兴happy、伤心sad、自然neutral、生气angry、厌恶disgust和惊喜surprise。
进一步地，在实际过程，通过显示屏播放虚拟人物表情动画，显示屏上方可安装眼动追踪设备，利用眼动追踪设备实时监测被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动轨迹数据。显示屏在播放完每一段虚拟人物表情动画后，显示屏弹出判别该种虚拟人物表情动画所对应的情绪类别的提示语，可让被训练对象通过触摸显示屏或鼠标点击的方式选择情绪类别，从而获取到获取被训练对象对每种情绪类型的虚拟人物表情动画的判别结果。需要说明的是，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令还可以采用其他形式，例如语音提示等，本实施例并不进行限制。
当一组虚拟人物表情动画播放完成后，获取到了每种情绪类型的虚拟人物表情动画对应的眼动轨迹数据和判别结果。判别结果中可能包括正确判别结果和错误判别结果，当存在错误判别结果时，将错误判别结果所对应的虚拟人物表情动画的相似度设置为零，相似度为零表示虚拟人物表情动画的表情强度参数保持不变。当存在错误判别结果时，说明被训练对象完全不能识别该情绪类型的表情，则在下一轮训练时，需要利用相同强度的虚拟人物表情动画重复进行训练，因此在将相似度设置为零。
进一步地，对于正确判别结果，说明被训练对象能识别出该情绪类型的表情，但是需要进一步确定被训练对象对该表情的识别程度，以确定下一轮训练时该类型表情的强度，采用相似度来表征识别程度。具体来说，正确判别结果所对应的虚拟人物表情动画的相似度计算方法包括如下步骤：
步骤S41：根据正确判别结果所对应的虚拟人物表情动画的眼动轨迹数据提取单人注视轨迹特征和单人注视轨迹路径长度；
步骤S42：根据单人注视轨迹特征和预先获取的正常人注视轨迹特征得到编辑距离；
步骤S43：根据所述编辑距离和单人注视轨迹路径长度计算得到每种情绪类型的虚拟人物表情动画所对应的相似度。
示例性地，在步骤S41中，由于眼动轨迹数据包含视线投射位置，因此本实施例一将虚拟人物表情动画分割为如图3所示的视觉元素区域，目的是为了获得患者对此虚拟人物表情动画的关注点和路径。其中共有三个区域，分别是面部表情产生区域[A，B，C，D，E，，F，G]，面部非表情产生区域[J，K，L，M，N，O]和其他无关区域[P，Q，R，S，T，U]。
进一步地，将被训练对象在屏幕显示内容上的一系列注视时间和该显示的各个视觉元素作为输入，然后通过在视觉元素以及在此元素上的注视时间来表示单人注视轨迹。例如当单人的注视轨迹表示为A[250ms]B[150ms]C[200ms]，这意味着这个人按顺序观看视觉元素ABC的时间分别为250ms，150ms和200ms。视觉元素可以在单人注视轨迹中连续存在(ABBC)或非连续存在(ABAC)，每个路径视觉元素的每一个非连续存在都被称为该元素的实例，一个特定视觉元素的实例通过使用数字来区分彼此，其中最长的实例用下标1来表示。例如A2[150]B1[150]B1[200]A1[250]，再将连续存在的相同元素合并，如A2[150]B1[150]B1[200]A1[250]→A2[150]B1[350]A1[250]，此路径为单人注视轨迹特征。单人注视轨迹路径长度为字符串的长度，例如A2[150]B1[350]A1[250]的路径长度为3。
在步骤S42中，由于本实施例一需要将被训练对象的单人注视轨迹和正常人的注视轨迹进行对比，因此需要先统计出多个正常人对虚拟人物表情动画的注视轨迹，在对被训练对象进行训练之前，向多个正常人展示同样的视觉刺激材料，获取每个正常人的眼动轨迹数据，根据上述的提取方法得到每个正常人的注视轨迹特征，进一步再计算得到正常人注视轨迹趋势特征。
具体地，首先计算每个正常人的注视轨迹特征中每个视觉元素的顺序优先级值的计算公式如下：
其中Ψi表示每个正常人的注视轨迹特征中第i个视觉元素的顺序优先级值，Pi表示在每个正常人的注视轨迹特征中该视觉元素的位置(从0开始)，L1表示正常人注视轨迹路径的长度，maxi表示为最大顺序优先级值，默认为1，mini表示最小顺序优先级值，计算公式为：
mini＝1/L1
例如当L1＝10时，mini＝1。因此能够得到每条路径中的每个实例的顺序优先级值。
示例性地，假设正常人甲的注视轨迹特征为“ABCDE”，路径长度为5，视觉元素A、B、C、D、E的位置分别为P1＝0、P2＝1、P3＝2、P4＝3、P5＝4，因此根据上述计算公式，甲的视觉元素A、B、C、D、E的顺序优先级值分别为为Ψ1＝1(即A＝1)，B＝0.8，C＝0.6，D＝0.4，E＝0.2。假设正常人乙的注视轨迹特征为“ACBD”，根据上述计算公式，乙的视觉元素A、C、B、D的顺序优先级值为A＝1，C＝0.75，B＝0.5，D＝0.25。
其次，根据多个正常人的视觉元素的顺序优先级值，统计每个视觉元素的总顺序优先级值，设共有u个视觉元素，y＝{y1,y2,...yu}为所有视觉元素的集合，则可以根据如下公式进行计算：
计算每个视觉元素的总顺序优先级值，其中
表示视觉元素y1的总优先级值，
表示第i个人的视觉元素y1的顺序优先级值。然后根据各个视觉元素的总顺序优先级值按降序排序，生成正常人注视轨迹趋势特征。对于相同的优先级值，还考虑实例的总持续时间和存在的总数。然后删除实例的下标识号，例如A1→A，以及排除重复如ABBC→ABC，最后由视觉元素来表达趋势特征。示例性地，根据上述计算得到的正常人甲和乙顺序优先级值，甲乙两人的各个视觉元素的总顺序优先级值分别是A为2，B为1.3，C为1.35，D为0.65，E为0.2，因此根据甲乙两人的注视轨迹特征统计得到的正常人注视轨迹趋势特征为ACBDE。
进一步地，在步骤S43中，编辑距离D表示将一个字符串转换为另一个字符串所需的最小数量的编辑操作(添加、删除和/或替换)，例如被训练对象的单人注视轨迹特征和正常人轨迹特征的字符串分别表示为“ABCDE”和“BD”，将A，C，E删除，此时编辑距离D＝3。相似度的计算公式如下：
S表示相似度，L表示被训练对象的单人注视轨迹路径长度。在上述实施例中，相似度为S＝100*(1-3/5)＝40，即“ABCDE”和“BD”的相似度为40％。
进一步地，在步骤S50中，根据预先设定的映射关系，根据相似度确定下一轮训练的视觉刺激材料的表情强度参数，映射关系如下：
其中，k表示表情浓度系数，T表示表情持续时间。S∈[0,25)所对应的虚拟人物表情动画强度为夸张，S∈[25,50)所对应的虚拟人物表情动画强度为正常，S∈[50,75)所对应的虚拟人物表情动画强度为微小。
进一步地，表情浓度系数k与面部控制点坐标值p的映射关系如下：
其中，pi表示当前k表情浓度系数下第i个面部控制点坐标值，di表示第i个面部控制点无表情时的坐标点与夸张强度表情时坐标点的距离，
表示第i个面部控制点无表情时的坐标值。因此，当k等于1时表示得到第i个面部控制点夸张级别强度的坐标值。
进一步地，根据得到的面部控制点坐标值，利用狄利克雷自由变形算法得到的虚拟人物面部待变形点的新坐标值，从而可以根据所述虚拟人物面部待变形点的新坐标值和表情持续时间合成调整表情强度参数后的虚拟人物表情动画。具体过程如图4所示，狄利克雷自由变形算法(DFFD算法)为现有技术，本实施例仅描述该算法的主要步骤，包括如下：
给定一组控制点的集合P＝{p1,p2,…,pn}和任意点x，任意点x的坐标可通过集合P中的点以坐标差值的方式表示。Sibson坐标是一个局部坐标系，点x只受它周围能够影响到它的控制点影响，因此影响点x的控制点集可能是集合P中所有的点，也可能是P的一个子集。假设集合P中所有的点都是影响x的控制点，那么x可用下面公式表示。
其中，
且ui>0(0≤i≤n)。设P′＝{p′1,p′2,…,p′n}为点集P＝{p1,p2,…,pn}中控制点移动位置后的坐标值。那么随着控制点的移动，点x的坐标值也相应改变。设点x的坐标移动后的新坐标值为x′，Δx为位移差，即x′＝x+Δx，则要求x′只要求出Δx即可，下面给出计算Δx的流程。
假设影响点x位置移动的控制点集为P＝{p1,p2,…,pn}，它移动后的坐标表示为P′＝{p′1,p′2,…,p′n}，其中p′i为pi移动后的坐标值，Δpi表示点p′i与点pi的位移差值，即p′i＝pi+Δpi。下面首先通过点集P＝{p1,p2,…,pn}建立n维m次的Bezier单形，其中m是一个常数，一般取1或2。
设B＝{qI}(I＝(i1,i2,…,in),|I|＝i1+i2+…+in＝m)为n维m次Bezier单形的控制点集，它的计算方法由下面公式给出(当m＝1时那么B＝＝P，则此步骤可以省略)。
其中，pJ(j1,j2,…,jn),|J|＝j1+j2+…+jn＝1)是pi(pi∈P)的另一种表示形式，即p(1,0,…,0)＝p1,p(0,1,…,0)＝p2,p(0,0,…,n)＝pn。
是伯恩斯坦基函数，由以下公式给出。
其中i+j+k＝n,r+s+t＝1。设B＝{q′I}(I＝(i1,i2,…,in),|I|＝i1+i2+…+in＝m)为点集P移动后P′形成的n维m次Bezier单形的控制点集合，其中q′I＝qI+ΔqI。那么Δx可通过以下公式求出。
其中U表示点x对应控制点qI的Sibson坐标。由此可见，只要计算出点x的邻居控制点以及相应的Sibson坐标，即可通过上述求出Δx，从而通过x′＝x+Δx求出x′，即虚拟人物面部待变形点的新坐标值。根据输入的面部控制点坐标值，即可计算得到每次变形后的新坐标，结合表情持续时间利用OpenGL技术即可生成新的虚拟人物表情动画。狄利克雷自由变形算法实现的关键在于三维坐标下Delaunay的划分与Sibson坐标的计算，这两部分内容属于现有技术，在此不进行赘述。
根据上述步骤S10至步骤S50，可以实现自适应选择不同强度的视觉刺激材料，本实施例一中主要使用的虚拟人物表情动画的强度包括夸张(k＝1，T＝5)、正常(k＝0.6，T＝3)、微小(k＝0.3，T＝1)三个强度等级，当被训练对象经过训练后，经过计算得到的注视轨迹的相似度在[0，25)之间时，对应播放夸张强度的表情动画，这是因为人们的表情主要产生区域为嘴部、眉毛、眼睛、额头和脸颊区域，相似度接近0代表着被训练对象没有关注或者没有按照正常人策略去关注表情产生区域，因此要播放夸张强度动画来对患者进行训练。如果相似度在[25，50)之间时，对应播放正常强度的表情动画；相似度在[50，75)之间时，对应播放微笑强度的表情动画。
进一步地，在另一实施方式中，当存在错误判别结果时，所述判断结果包括正确判别结果和/或错误判别结果，在获取到被训练对象对每种虚拟人物表情动画的判别结果之后，所述方法还包括：利用错误判别结果所对应的虚拟人物表情动画对被训练对象进行辅助训练，以使被训练对象观测所述虚拟人物表情动画时的眼动轨迹数据达到阈值条件。具体地，辅助训练包括如下步骤：
步骤一、向被训练对象重新展示错误判别结果所对应的虚拟人物表情动画，同时按照预定顺序在虚拟人物表情动画中添加注视导航辅助框，注视导航辅助框用于提示注视区域；
步骤二、实时监测被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动追踪数据，根据所述眼动追踪数据判断被训练对象对注视区域的观察顺序与注视导航辅助框的添加顺序是否一致；
步骤三、若是，则结束辅助训练；若否，则重复上述步骤。
在实际操作过程中，如图5所示，当视觉刺激材料开始播放时，按照正常人对此视觉刺激材料的注视轨迹顺序，在视觉刺激材料上叠加注视导航辅助框，强调注视区域。根据实时检测的眼动追踪数据，当患者将视线投射到强调的注视区域后，该注视导航辅助框会消失，当全部注视导航辅助框按照顺序正确消失后，屏幕显示“你真棒！”和该动画对应的表情标签；若患者并没有按顺序将视线投射到强调的注视区域，则在动画展示完毕后弹出“失败，请重来”的提示。通过辅助训练，可以进一步提高被训练对象对该情绪类型的虚拟人物表情动画的识别能力。
进一步地，在另一实施方式中，在得到每种情绪类型的虚拟人物表情动画所对应的相似度之后，所述方法还包括：
判断每种情绪类型的虚拟人物表情动画所对应的相似度是否大于或等于预定值；若是，则将相似度大于或等于预定值的虚拟人物表情动画从下一轮训练的视觉刺激材料中删除，若否，则在下一轮训练的视觉刺激材料中继续保留。示例性地，预定值选定为75，经过两轮训练之后，六种类型的虚拟人物表情动画的相似度分别为Shappy＝80、Ssad＝78、Sneutral＝50、Sangry＝60、Sdisgust＝30和Ssurprise＝20，高兴和伤心两种情绪类型的虚拟人物表情动画的相似度大于75，表示被训练对象对这两种表情的识别能力已经足够强，后续不需要对该情绪类型的虚拟人物表情动画进行训练，可以在下一轮训练中剔除该情绪类型的虚拟人物表情动画。
本实施例一公开的基于眼动反馈的情绪识别能力自适应训练方法，在训练使用的刺激材料方面，采用从夸张到微小强度的虚拟人物头像动画作为视觉刺激材料，并且能够根据自闭症患者的训练情况进行自适应选择，有利于患者区分和学习细微变化的表情动作，增强患者的情绪感知元学习能力。在训练任务设计方面，本实施例设计的任务从简单到复杂，并且可根据提出的相似度计算方法评估被训练对象的训练效果，进行自适应动态调整训练任务。
进一步地，如图6所示，本实施例二还公开了一种基于眼动反馈的情绪识别能力自适应训练装置，所述装置包括动画获取单元100、用户互动单元200、眼动追踪单元300、数据处理单元400和参数调整单元500。动画获取单元100用于获取本轮训练的视觉刺激材料，所述视觉刺激材料包括至少两种不同情绪类型的虚拟人物表情动画；用户互动单元200用于按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，且在每种情绪类型的虚拟人物表情动画展示完成时，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；眼动追踪单元300用于实时获取被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动轨迹数据以及获取被训练对象对每种虚拟人物表情动画的判别结果；数据处理单元400用于根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；参数调整单元500用于根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料，重复上述步骤，直至满足训练完成条件。
进一步地，判断结果包括正确判别结果和/或错误判别结果，当存在错误判别结果时，用户交互单元200还用于利用错误判别结果所对应的虚拟人物表情动画对被训练对象进行辅助训练，以使被训练对象观测所述虚拟人物表情动画时的眼动轨迹数据达到阈值条件。具体的，用户交互单元200还用于向被训练对象重新展示错误判别结果所对应的虚拟人物表情动画，同时按照预定顺序在虚拟人物表情动画中添加注视导航辅助框，注视导航辅助框用于提示注视区域，眼动追踪单元300还用于实时监测被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动追踪数据，根据所述眼动追踪数据判断被训练对象对注视区域的观察顺序与注视导航辅助框的添加顺序是否一致，若是，则结束辅助训练；若否，则重复上述步骤。
进一步地，当存在错误判别结果时，数据处理单元400还用于将错误判别结果所对应的虚拟人物表情动画的相似度设置为零，相似度为零表示虚拟人物表情动画的表情强度参数保持不变。当存在正确判别结果，数据处理单元400还用于根据正确判别结果所对应的虚拟人物表情动画的眼动轨迹数据提取单人注视轨迹特征和单人注视轨迹路径长度；根据单人注视轨迹特征和预先获取的正常人注视轨迹趋势特征得到编辑距离；根据所述编辑距离和单人注视轨迹路径长度计算得到每种情绪类型的虚拟人物表情动画所对应的相似度。
进一步地，参数调整单元500用于：根据相似度和表情强度参数之间的预设转换关系确定表情强度参数，所述表情强度参数包括表情浓度系数和表情持续时间；根据所述表情浓度系数得到面部控制点坐标值，并利用狄利克雷自由变形算法得到的虚拟人物面部待变形点的新坐标值；根据所述虚拟人物面部待变形点的新坐标值和表情持续时间合成调整表情强度参数后的虚拟人物表情动画。进一步地，在得到每种情绪类型的虚拟人物表情动画所对应的相似度之后，参数调整单元500还用于：判断每种情绪类型的虚拟人物表情动画所对应的相似度是否大于或等于预定值；若是，则将相似度大于或等于预定值的虚拟人物表情动画从下一轮训练的视觉刺激材料中删除。
其中，动画获取单元100、用户互动单元200、眼动追踪单元300、数据处理单元400和参数调整单元500的更详细工作过程可参照实施例一的相关描述，在此不进行赘述。
本实施例三还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有基于眼动反馈的情绪识别能力自适应训练程序，所述基于眼动反馈的情绪识别能力自适应训练程序被处理器执行时实现上述的基于眼动反馈的情绪识别能力自适应训练方法。
本实施例四还公开了一种计算机设备，在硬件层面，如图7所示，该终端包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。所述计算机可读存储介质11上存储有基于眼动反馈的情绪识别能力自适应训练程序，所述基于眼动反馈的情绪识别能力自适应训练程序被处理器执行时实现上述的基于眼动反馈的情绪识别能力自适应训练方法。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。
Claims (10)
1.一种基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，所述方法包括：
获取本轮训练的视觉刺激材料，所述视觉刺激材料包括至少两种不同情绪类型的虚拟人物表情动画；
按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，且在每种情绪类型的虚拟人物表情动画展示完成时，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；
实时获取被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动轨迹数据以及获取被训练对象对每种情绪类型的虚拟人物表情动画的判别结果；
根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判别结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；
根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料，重复上述步骤，直至满足训练完成条件。
2.根据权利要求1所述的基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，所述判断结果包括正确判别结果和/或错误判别结果，当存在错误判别结果时，在获取到被训练对象对每种虚拟人物表情动画的判别结果之后，所述方法还包括：
利用错误判别结果所对应的虚拟人物表情动画对被训练对象进行辅助训练，以使被训练对象观测所述虚拟人物表情动画时的眼动轨迹数据达到阈值条件。
3.根据权利要求2所述的基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，当存在错误判别结果，根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度的方法包括：
将错误判别结果所对应的虚拟人物表情动画的相似度设置为零，相似度为零表示虚拟人物表情动画的表情强度参数保持不变。
4.根据权利要求2所述的基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，当存在正确判别结果，根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度的方法包括：
根据正确判别结果所对应的虚拟人物表情动画的眼动轨迹数据提取单人注视轨迹特征和单人注视轨迹路径长度；
根据单人注视轨迹特征和预先获取的正常人注视轨迹趋势特征得到编辑距离；
根据所述编辑距离和单人注视轨迹路径长度计算得到每种情绪类型的虚拟人物表情动画所对应的相似度。
5.根据权利要求4所述的基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料的方法包括：
根据相似度和表情强度参数之间的预设转换关系确定表情强度参数，所述表情强度参数包括表情浓度系数和表情持续时间；
根据所述表情浓度系数得到面部控制点坐标值，并利用狄利克雷自由变形算法得到的虚拟人物面部待变形点的新坐标值；
根据所述虚拟人物面部待变形点的新坐标值和表情持续时间合成调整表情强度参数后的虚拟人物表情动画。
6.根据权利要求4所述的基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，在得到每种情绪类型的虚拟人物表情动画所对应的相似度之后，所述方法还包括：
判断每种情绪类型的虚拟人物表情动画所对应的相似度是否大于或等于预定值；
若是，则将相似度大于或等于预定值的虚拟人物表情动画从下一轮训练的视觉刺激材料中删除。
7.根据权利要求2所述的基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，利用错误判别结果所对应的虚拟人物表情动画对被训练对象进行辅助训练，以使被训练对象观测所述虚拟人物表情动画时的眼动轨迹数据达到阈值条件的方法包括：
向被训练对象重新展示错误判别结果所对应的虚拟人物表情动画，同时按照预定顺序在虚拟人物表情动画中添加注视导航辅助框，注视导航辅助框用于提示注视区域；
实时监测被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动追踪数据，根据所述眼动追踪数据判断被训练对象对注视区域的观察顺序与注视导航辅助框的添加顺序是否一致；
若是，则结束辅助训练；若否，则重复上述步骤。
8.一种基于眼动反馈的情绪识别能力自适应训练装置，其特征在于，所述装置包括：
动画获取单元，用于获取本轮训练的视觉刺激材料，所述视觉刺激材料包括至少两种不同情绪类型的虚拟人物表情动画；
用户互动单元，用于按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，且在每种情绪类型的虚拟人物表情动画展示完成时，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；
眼动追踪单元，用于实时获取被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动轨迹数据以及获取被训练对象对每种虚拟人物表情动画的判别结果；
数据处理单元，用于根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；
参数调整单元，用于根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料，重复上述步骤，直至满足训练完成条件。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于眼动反馈的情绪识别能力自适应训练程序，所述基于眼动反馈的情绪识别能力自适应训练程序被处理器执行时实现权利要求1至7任一项所述的基于眼动反馈的情绪识别能力自适应训练方法。
10.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的基于眼动反馈的情绪识别能力自适应训练程序，所述基于眼动反馈的情绪识别能力自适应训练程序被处理器执行时实现权利要求1至7任一项所述的基于眼动反馈的情绪识别能力自适应训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110389075.3A CN115206492A (zh) | 2021-04-12 | 2021-04-12 | 基于眼动反馈的情绪识别能力自适应训练方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110389075.3A CN115206492A (zh) | 2021-04-12 | 2021-04-12 | 基于眼动反馈的情绪识别能力自适应训练方法及其装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115206492A true CN115206492A (zh) | 2022-10-18 |
Family
ID=83571638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110389075.3A Pending CN115206492A (zh) | 2021-04-12 | 2021-04-12 | 基于眼动反馈的情绪识别能力自适应训练方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115206492A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115390678A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 虚拟人交互方法、装置、电子设备及存储介质 |
| CN115990016A (zh) * | 2022-12-02 | 2023-04-21 | 天津大学 | 一种基于眼动特征的孤独特质程度检测装置 |
| WO2024103464A1 (zh) * | 2022-11-18 | 2024-05-23 | 深圳先进技术研究院 | 一种情绪训练系统 |
-
2021
- 2021-04-12 CN CN202110389075.3A patent/CN115206492A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115390678A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 虚拟人交互方法、装置、电子设备及存储介质 |
| WO2024103464A1 (zh) * | 2022-11-18 | 2024-05-23 | 深圳先进技术研究院 | 一种情绪训练系统 |
| CN115990016A (zh) * | 2022-12-02 | 2023-04-21 | 天津大学 | 一种基于眼动特征的孤独特质程度检测装置 |
| CN115990016B (zh) * | 2022-12-02 | 2024-04-19 | 天津大学 | 一种基于眼动特征的孤独特质程度检测装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yi et al. | Audio-driven talking face video generation with learning-based personalized head pose | |
| US12053301B2 (en) | Classifying facial expressions using eye-tracking cameras | |
| US8988436B2 (en) | Training system and methods for dynamically injecting expression information into an animated facial mesh | |
| CN115206492A (zh) | 基于眼动反馈的情绪识别能力自适应训练方法及其装置 | |
| US10453172B2 (en) | Sparse-data generative model for pseudo-puppet memory recast | |
| Le et al. | Live speech driven head-and-eye motion generators | |
| Lance et al. | Emotionally expressive head and body movement during gaze shifts | |
| CN106068514A (zh) | 用于在不受约束的媒体中识别面孔的系统和方法 | |
| CN109886216B (zh) | 基于vr情景人脸图像复原的表情识别方法、设备及介质 | |
| JP2023103335A (ja) | コンピュータプログラム、サーバ装置、端末装置及び表示方法 | |
| CN114429767A (zh) | 视频生成方法、装置、电子设备以及存储介质 | |
| Agarwal et al. | Synthesis of realistic facial expressions using expression map | |
| CN112200236A (zh) | 人脸参数识别模型的训练方法、人脸参数的识别方法 | |
| Celiktutan et al. | Continuous prediction of perceived traits and social dimensions in space and time | |
| Jourabloo et al. | Robust egocentric photo-realistic facial expression transfer for virtual reality | |
| Berisha et al. | Identifying regions that carry the best information about global facial configurations | |
| Carrigan et al. | Investigating perceptually based models to predict importance of facial blendshapes | |
| Lance et al. | Glances, glares, and glowering: how should a virtual human express emotion through gaze? | |
| Cinieri et al. | Eye Tracking and Speech Driven Human-Avatar Emotion-Based Communication | |
| Wang et al. | Flow2Flow: Audio-visual cross-modality generation for talking face videos with rhythmic head | |
| Chen et al. | VAST: Vivify your talking avatar via zero-shot expressive facial style transfer | |
| Lance et al. | The relation between gaze behavior and the attribution of emotion: An empirical study | |
| Vandeventer | 4D (3D Dynamic) statistical models of conversational expressions and the synthesis of highly-realistic 4D facial expression sequences | |
| Zhang et al. | REFA: Real-time Egocentric Facial Animations for Virtual Reality | |
| Feng et al. | EmoSpeaker: One-shot Fine-grained Emotion-Controlled Talking Face Generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |