CN109298779A - 基于虚拟代理交互的虚拟训练系统与方法 - Google Patents
基于虚拟代理交互的虚拟训练系统与方法 Download PDFInfo
- Publication number
- CN109298779A CN109298779A CN201810909949.1A CN201810909949A CN109298779A CN 109298779 A CN109298779 A CN 109298779A CN 201810909949 A CN201810909949 A CN 201810909949A CN 109298779 A CN109298779 A CN 109298779A
- Authority
- CN
- China
- Prior art keywords
- user
- virtual
- interview
- interaction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于虚拟代理交互的虚拟训练系统与方法，本发明允许用户根据自身需求或训练目标选择不同的交互类型、不同情境和不同性格特征的虚拟提问者进行面试训练，能满足多样性的焦虑情境呈现和个性化训练需求；利用3D眼镜和立体投影呈现仿真的虚拟训练环境，通过蓝牙耳机与虚拟提问者直接语音交互来实现自然、沉浸式的面试体验；在面试过程中进行多模态感知，包括动作识别、情感识别和生理状态识别，以此来更好地了解用户的面试状态。本系统不需要昂贵的虚拟现实设备，用户通过多次训练即可有效地降低焦虑，提高交流技能。
Description
技术领域
本发明涉及一种基于虚拟代理交互的虚拟训练系统与方法。
背景技术
虚拟现实(简称VR)技术在教育、训练甚至心理问题矫治方面均有重要实践意义和应用前景。由于VR技术可以构建三维、逼真的虚拟环境，在情境模拟中有诸多优势，因此对于情境性焦虑矫治和应对训练尤其有应用价值。Jumet 等人(2007)利用虚拟情境模拟来干预学生的考试焦虑。虚拟环境按照考试准备的时间呈现场景：考生的家、地铁、考点、走廊和教室。结果显示，虚拟现实环境能够激发高考试焦虑的学生的情绪反应，可用于焦虑症干预和技能训练。 Wallach等人(2011)的另外一项研究中，通过随机分组实验的方法比较虚拟情境模拟训练对公共演讲焦虑被试的干预效果，结果表明该方法用于降低公共演讲焦虑是可行的。因此，利用VR技术进行情境模拟来缓解面试焦虑并训练面试技能具有可行性。
在针对面试、演讲情境性焦虑的虚拟训练情境中，教学代理是一个关键部分。代理的存在和特征能显著影响训练体验和效果。除了具备特定的外貌特征，它们还需要具有一定的“知觉”以及可以被识别的“表情反应”进而与训练者进行互动，从而实现虚拟的社交活动。Slater(2010)等人曾将VR技术用于社交焦虑研究，并制作了能表现出不同态度(中立、赞赏、厌烦)的虚拟听众(代理)，让被试在虚拟听众前发表演讲。结果发现，被试的演讲效果明显受到虚拟听众的影响。Bian等人(2016)将具有不同人格类型的代理用于虚拟太极拳训练，也发现代理类型显著影响训练体验和表现。因此，在情境模拟时设定不同类型的虚拟代理是必要的。
综上所述，基于虚拟代理互动的VR训练环境应用于不同情境(如面试等) 的焦虑应对技能训练具有潜在应用价值。然而，目前虚少有研究通过提供系统地面试技能训练来切实地提升大学生的能力，从而降低相应的焦虑感。另外，现有研究也忽视了不同虚拟代理在虚拟情境模拟训练中的作用。
发明内容
本发明为了解决上述问题，提出了一种基于虚拟代理交互的虚拟训练系统与方法，本发明允许用户根据自身需求或训练目标选择不同的交互类型、不同情境和不同性格特征的虚拟提问者进行面试训练，能满足多样性的焦虑情境呈现和个性化训练需求；利用3D眼镜和立体投影呈现仿真的虚拟训练环境，通过蓝牙耳机与虚拟提问者直接语音交互来实现自然、沉浸式的面试体验；在面试过程中进行多模态感知，包括动作识别、情感识别和生理状态识别，以此来更好地了解用户的面试状态。本系统不需要昂贵的虚拟现实设备，用户通过多次训练即可有效地降低焦虑，提高交流技能。
为了实现上述目的，本发明采用如下技术方案：
一种基于虚拟代理交互的虚拟训练系统，包括：
人脸识别模块，被配置为对用户身份进行识别；
面试情景选择模块，被配置为进行类型选择和会议室场景选择；
情感识别模块，被配置为利用网络摄像头实时识别用户情绪状态；
动作识别模块，被配置为利用Kinect识别用户情景交互过程中的动作；
生理信号识别模块，被配置为通过生理信号传感器集用户的皮肤电、心电和脑电生理数据并进行实时分析以此得出用户情绪状态以及专注度；
交互模块，被配置为实现用户与虚拟提问者的交互，完成模拟情景，识别和记录用户的作答以及状态，并据此与用户进行反应和互动，完成模拟情景训练过程；
反馈模块，被配置为通过可视化图表的方式直观地反馈用户整个问答过程的表情管理表现，以及训练中的专注度和焦虑程度量化值。
进一步的，所述情景选择模块，具体包括交互类型选择、交互方式和交互者性格选择和场景选择。
进一步的，所述情感包括愤怒、蔑视、厌恶、恐惧、幸福、中立、悲伤和惊喜。
进一步的，所述动作识别模块对用户交互过程中的不规范动作，包括超过设定值的身体倾斜、超过设定次数的身体摇晃、手臂交叠、手臂超过次数的运动或超过设定时长不动、挠头、拨弄头发、跷二郎腿和腿部交叉和眼镜环看四周的动作。
一种基于虚拟代理交互的虚拟训练方法，包括以下步骤：
(1)通过Kinect ColorBasics-WPF对用户进行拍照并上传到人脸识别API 进行人脸识别和用户注册，并将用户ID保存到数据库；
(2)利用网络视像头实时捕获用户视频流，定时提取一次视频帧，并将帧图像提交人脸API进行情感检测和分析，同时将每次情感检测结果进行实时显示和存储，识别出图片中任何一张人脸的情绪；
(3)利用Kinect BodyBasics-WPF中的骨骼API识别用户骨骼点的三维坐标信息，数据对象类型以骨骼帧的形式提供，每一帧包括多个骨骼点，对骨骼点进行分析，采用关节角度描述姿势特征，以此准确捕获用户在交互过程中的不规范动作；
(4)利用脑波头带、心电传感器和皮肤电设备采集用户生理信息，将采集到的脑电、心电和皮肤电信号进行校准、采集、提取和解读；
(5)启动全语音系统，根据自己的需求依次进入交互类型选择、情境选择、交流提问者类型选择和场景选择，生成交互式场景；
(6)进行双方的交流提问过程；
(7)反馈用户在交流过程中出现的不规范动作，同时将整个交流过程中用户的情感状态绘制成雷达图、将Attention和Meditation的均值绘制成柱状图进行展示，将反馈结果存入数据库，并生成包含有用户头像、动作识别、情感识别和生理信号识别结果的反馈报告。
进一步的，所述步骤(3)中，具体过程包括；
进行人体轮廓分割，判断深度图像上的每个像素是否属于某一个用户，过滤背景像素；
进行人体部位识别，从人体轮廓中识别出不同部位；
进行关节定位，从人体部位中定位20个关节点，Kinect主动跟踪时，捕获用户身体各个关节点的三维位置信息；
通过观察确定身体关节与姿势的关联度超过设定的各关节点，从上述关节点中提取与姿势有关联的关节角度特征，通过对关节角度进行算法分析，即可识别用户面试过程中的不规范动作。
进一步的，不规范动作的具体识别部分包括以下至少一个：
①判断身体倾斜：取肩膀中心和脊柱中心关节点，对每一记录时间点，计算这两点所成直线在xOy平面上的斜率的倒数，当满足该值大于tan10°的时间点数量超过一定值时，判定用户身体出现过倾斜；
②判断身体摇晃：计算肩膀中心和脊柱中心关节点所成直线的斜率倒数出现过的最值，以此计算最左侧和最右侧所成夹角的正切值并与tan10°比较，若大于则说明倾斜超过10°，判定用户身体摇晃；
③判断手臂交叉：取关节点左肘、右肘)、左腕和右腕，计算左手和右手手臂部分这两条线段的相交情况，记录出现相交情况的时间点的个数，大于一定数值则判定用户出现手臂交叉的动作；
④判断手臂动作：取左右手的腕部关节点，判断其坐标是否在95％时间内变化不超过15cm，若是则给出缺少手部动作，肢体语言不够丰富的判定；
⑤判断挠头：取关节点左手、右手和头部，计算两手部节点与头部的距离，当距离小于设定值时，若手部节点的纵坐标较高，则说明出现该动作，当满足条件的时间点数大于一定值时，判定用户出现挠头或者频繁拨弄头发的动作；
⑥判断翘二郎腿或者交叉腿部：取关节点左膝盖、右膝盖、左踝、右踝、左臀和右臀，得到表示左右小腿和大腿的线段，取小腿线段的靠近膝盖部分的设定长度，计算左右的相交情况，同时，计算左右大腿线段的相交情况，当满足上述两种相交的时间点数量均超过一定值时，判定为翘二郎腿或者交叉腿部，当只有第一种相交的时间点数量超过一定值，判定为交叉腿部。
进一步的，所述步骤(4)中，通过心电传感器测量如下特征值：
实时心率：基于最近两次的R波间隔计算当前的实时心率(次/分钟)；
静息心率：依据一段时间内的平均心率，并计算此段结果与上个时间段的变化；
呼吸率：记录用户过去一段时间内的呼吸次数(次/分钟)，根据用户的 ECG/EKG和心率变异性(HRV)特征计算；
心脏年龄：根据他们的心率变异性(HRV)与普遍人群特征对比得出。
进一步的，所述步骤(4)中，对于脑电设备的工作过程包括：
对不同使用者脑电信号进行自适应计算及同步，以进行信号校准；
采用NeuroSky单导干电极技术，进行脑电信号采集；
从嘈杂环境中分离出脑电波信号，经过放大处理，产生清晰的脑电波信号；
通过eSenseTM算法将脑电波解读为eSense参数，用于表示用户当前的精神状态；
将eSense参数传递给智能设备，通过脑电波进行人机交互；
通过脑波头带采集用户脑波数据并采用NeuroSky算法进行分析，将其转换成专注度和冥想度两个度量值，专注度指数表明使用者精神集中度水平或注意度水平的强烈程度，冥想度指数表明使用者精神平静度水平或者放松度水平。
所述步骤(5)中，进行反馈建模的具体过程包括：为各个人格类型的交流提问者均设置各自的基线状态，当不需要做出反馈时，提问者根据基线设定来进行行为和情绪表达，训练过程中，通过用户生理指标识别并计算出用户的专注度和放松度两个指标，将这两个量作为两个维度，根据两维度的高度分划分成四个象限，即为四种反应条件，根据埃森克人格理论对不同人格类型特征的描述，为不同虚拟交流提问者设定四种反应条件下不同的反应模型。
与现有技术相比，本发明的有益效果为：
(1)本发明的系统使用方便、易操作、成本较低；
(2)交流类型多种，可以切实提高使用者的交流技巧；
(3)提供多种性格的虚拟交流提问者，不同性格特征的虚拟提问者与用户进行交互训练，可以帮助用户应对在真实交流情景过程中面对不同脾性交流者时产生的焦虑感。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本实施例的硬件组成结构图及面试示意图；
图2(a)为本实施例面试系统架构图；
图2(b)为本实施例面试系统整体流程图；
图2(c)为本实施例面试交互流程图；
图3为本实施例系统的部分功能图；
图3(a)为本实施例生理信号采集及分析图；
图3(b)为本实施例利用网络摄像头进行情感识别图；
图3(c)、图3(d)为本实施例利用Kinect进行动作识别图；
图4为本实施例面试情景选择图；
图5为本实施例中面试者动作表情建模图；
图6为本实施例反馈框图；
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。
本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。
以进行面试训练进行实例说明，当然，在其他实施例中，可以进行其他场景训练。
虚拟面试系统，该系统基于代理互动，不仅包括高真实性、可用性的训练环境，而且包括一套行之有效的训练内容。该系统允许用户根据自身需求或训练目标选择不同的面试类型、不同面试情境和不同性格特征的虚拟面试官进行面试训练，能满足多样性的焦虑情境呈现和个性化训练需求；利用3D眼镜和立体投影呈现仿真的虚拟训练环境，通过蓝牙耳机与虚拟面试官直接语音交互来实现自然、沉浸式的面试体验；在面试过程中进行多模态感知，包括动作识别、情感识别和生理状态识别，以此来更好地了解用户的面试状态。本系统不需要昂贵的虚拟现实设备，用户通过多次训练即可有效地降低面试焦虑，提高面试技能。
一种基于代理交互的虚拟面试系统由7个主要功能模块构成，包括：人脸识别模块、情境选择模块、情感识别模块、动作识别模块、生理信号采集分析模块、代理交互模块和面试结果分析反馈模块。
人脸识别模块。用于对用户身份的识别，该模块与反馈模块相结合将用户的面试反馈数据存入数据库；
面试情景选择模块。该模块基于丰富的虚拟训练内容库(虚拟场景、人物以及题库)来提供丰富和个性化的训练内容。主要包括：面试类型选择(公务员面试、研究生面试和企业面试)、面试方式选择(一对一面试和多对一面试)、面试官选择(胆汁质、多血质和黏液质面试官)和会议室场景选择；
情感识别模块。利用网络摄像头实时识别用户情感，可检测到的情感包括愤怒、蔑视、厌恶、恐惧、幸福、中立、悲伤和惊喜；
动作识别模块。利用Kinect识别用户面试过程中的不规范动作，目前系统可以对以下动作进行准确识别：不当的身体倾斜、过多的身体摇晃、手臂交叠(抱臂)、手臂适当运动(以及长期不动)、挠头、拨弄头发等、跷二郎腿和腿部交叉和眼镜环看四周等动作；
生理信号识别模块。通过生理信号传感器集用户的皮肤电、心电(ECG)和脑电(EEG)生理数据并进行实时分析以此得出用户焦虑等情绪状态以及专注度等训练状态。
面试交互模块。用于实现用户与虚拟面试官的交互，完成模拟面试过程。用户通过语音这种自然的方式与虚拟面试官进行交互，回答面试官的提问。通过这种情境设置，引发用户的面试焦虑体验。同时，虚拟面试官会识别和记录用户的作答以及面试状态，并据此与用户进行反应和互动。按照真实的面试流程，完成模拟面试训练过程。
面试反馈模块。通过可视化图表(雷达图和柱状图)的方式直观地反馈用户整个面试过程的表情管理表现，同时生成面试记录的PDF文件，不仅包括整个面试过程中的印象管理表现结果(不规范的动作以及表情管理)，以及训练中的专注度和焦虑程度量化值。
使用上述基于代理交互的虚拟面试系统，包括以下步骤：
(1)开启人脸识别模块：通过Kinect ColorBasics-WPF对用户进行拍照并上传到人脸识别API进行人脸识别和用户注册，并将用户ID保存到数据库。
(2)开启情感识别模块：网络视像头实时捕获用户视频流，每三秒提取一次视频帧，并将帧图像提交人脸API进行情感检测和分析，同时将每次情感检测结果进行实时显示和存储。
人脸API用标记了人类情绪的图片数据集进行训练，它能够识别出图片中任何一张人脸的情绪。该服务在图片上使用元数据，能够识别图上绝大多数人物是悲伤还是快乐，还能用在识别人们对特定事件(如展览、市场信息等)的反应。
(3)开启动作识别模块：利用Kinect BodyBasics-WPF中的骨骼API识别用户骨骼点的三维坐标信息，数据对象类型以骨骼帧的形式提供，每一帧最多可以保存20个点，对这些骨骼点(即关节点)进行分析，采用关节角度描述姿势特征，以此准确捕获用户在面试过程中的不规范动作：身体倾斜、翘二郎腿等。
(4)开启生理信号采集模块：为用户穿戴好生理信号采集设备，包括脑波头带、心电传感器和皮肤电设备，将采集到的脑电、心电和皮肤电信号进行校准、采集、提取和解读。
(5)面试情境选择：用户启动全语音面试系统，用户根据自己的需求依次进入面试类型选择界面(包括公务员、研究生和企业面试)、面试情境选择界面 (包括一对一面试和多对一面试)、面试官类型选择界面(包括胆汁质、多血质和黏液质面试官，如果选择了多人面试，将直接进入面试交互场景)和会议室场景选择界面完成选择，系统组合用户需求生成交互式面试场景。
(6)交互式面试：进入交互式面试，虚拟面试官给用户一分钟的时间进行自我介绍，然后根据用户的选择从面试题库中随机抽取四道问题让用户限时作答，在此面试过程中虚拟面试官将根据用户的生理状态建模，做出相应肢体动作回应用户(例如用户的专注度很低，但是放松度很高，面试官就会作出生气的动作提醒用户要端正面试态度)，用户可根据系统实时展示的心率、Attention (专注度)和Meditation(冥想度)值积极调整面试状态(提醒用户专注度低时要集中注意力，放松度低时要适当放松不要太紧张)完成面试(3D全语音交互式场景，利用3D眼镜用户可获得最真实的面试体验)。
(7)面试反馈：进入面试反馈场景，系统将会语音播报用户在面试过程中出现的不规范动作，同时将整个面试过程中用户的情感状态绘制成雷达图、将 Attention和Meditation的均值绘制成柱状图直观地展示给用户。此外，系统将面试反馈结果存入数据库，并生成包含有用户头像、动作识别、情感识别和生理信号识别结果的面试报告。
利用Kinect和人脸识别API识别使用该系统的用户，实现为老用户提供面试历史记录，为新老用户保存面试反馈结果；利用人脸API识别用户八种情感；利用体感设备(Kinect)对用户真实姿态的跟踪和识别，实现对用户面试过程中不规范动作的捕获；利用3D立体眼镜，通过蓝牙耳机与虚拟面试官交互即可感受沉浸式面试体验；利用可穿戴式生理设备(脑电、心电和皮肤电)采集用户生理数据并对其分析，实现对用户状态的解读，虚拟面试官通过解读用户状态并进行建模实现与用户的自然交互。该发明提供不同的面试类型(公务员、企业和研究生面试)、不同性格特征的面试官(胆汁质、多血质和黏液质)、不同的面试方式(一对一面试和多对一面试)和不同的会议室场景满足广大用户的面试需求。
如图1所示，搭建好的面试环境，网络摄像头用于捕捉用户面部表情，Kinect 进行人脸识别并捕获用户的姿势和动作，心电和脑电传感器采集用户生理数据；用户通过3D立体眼镜进行观看，并利用蓝牙耳机与虚拟面试官进行实时交互。
各设备型号如下：
①Kinect V2：微软第二代Kinect for Windows感应器
②心电、脑电、皮肤电传感器：NeuroSky神念科技蓝牙版脑波头带、BMD101 心电HRV蓝牙小盒子、皮肤电传感器模块
③3D立体眼镜：明基(BenQ)主动式3D眼镜
④蓝牙耳机：小米蓝牙耳机青春版
如图2(a)、2(b)和2(c)为本系统的架构图和流程图：
如图2(a)系统架构图所示，本系统的架构为对用户进行多模态信息采集和分析，然后将分析结果传给虚拟代理，虚拟代理根据用户的状态作出相应回应 (动作、表情)与用户进行交互，以此完成整个面试过程。
本发明的具体流程图如2(b)所示：
用户进入面试系统首先根据自己的需要选择面试类型，选择面试类型完毕将会跳转步骤(2)，否则退出系统面试结束；
用户根据自己的需要选择面试方式，选择一对一面试将会跳转步骤(3)，选择多对一面试将会跳转步骤(4)，否则跳转步骤(1)；
用户根据自己的喜好选择面试官，选择完毕将跳转步骤(4)，否则跳转步骤(3)；
系统根据用户的选择生成面试场景；
开启脑电、心电、皮肤电、Kinect传感器以及网络摄像头，进行多模态信号采集和分析；
面试官根据用户的Attention和Meditation进行动作反馈，与用户完成面试交互；
判断面试过程是否结束，如果是，跳转步骤(8)，否则，跳转步骤(5)；
根据用户整个面试过程中的动作识别、情感识别和生理信号情绪识别结果绘制图表进行多维分析与评价，并生成面试报告，整个面试过程结束；
本系统的面试交互部分的流程图如图2(c)所示：
在用户根据自己的要求选择好面试情境后，正式进入面试交互部分，首先，虚拟面试官要求用户进行一分钟的自我介绍，然后根据用户选择的面试类型(公务员、企业和研究生面试)从相应的面试题库中抽取四道问题对用户进行提问，用户在规定时间内对每道题进行回答。在用户回答过程中，虚拟面试官根据用户的专注度和放松度评估用户的面试状态，给出相应的表情互动。当所有面试问题回答完毕时，系统会将整个面试过程中情感识别、动作识别以及生理信号情感识别的结果进行处理汇总，以图表的形式生动直观地展示给用户，最后，生成面试报告，当用户再次进行面试时，会与之前结果进行比对，给出近期训练效果。
如图3(a)-3(d)为系统各部分的功能细化图及程序运行结果图：
系统功能有：多模态信号的识别与分析(生理信号情感识别、情感识别、动作识别)、面试情景选择、面试官动作建模
如图3为多模态信号采集与分析的功能图：
如图3(a)生理信号情感识别所示，利用心电、脑电传感器采集生理信号并以此解读用户的状态，生理信号采集的具体内容包括皮肤电、心电和脑电：
①采集用户的皮肤电数据：人们情绪变化时,交感神经活动度发生变化,汗腺分泌活动改变，由于汗液中存在大量的电解质，从而导致皮肤的导电性发生变化。对于情绪这种难以检测的心理活动，利用皮肤电阻进行测定是最有效的方法；
②通过心电传感器可测量如下特征值：
实时心率：基于最近两次的R波间隔计算当前的实时心率(次/分钟)；
静息心率：在实时心率算法中，心率的结果是基于最近两次心跳间隔计算的，因而这一结果受呼吸等因素的影响随时在变化。而静息心率的计算是依据一段时间内的平均心率进行的，并计算这个结果与上个时间段的变化；
放松度：可以基于用户的心率可变性(HRV)特征，提示用户其心跳是否属于放松,或者兴奋，压力，疲劳。取值范围从1到100。低数值提示兴奋，紧张或疲劳的生理状态(交感神经系统活跃)，而高数值则指示一种放松的状态(副交感神经活跃)；
呼吸率：记录了用户过去一分钟内的呼吸次数(次/分钟)。它是根据用户的ECG/EKG和心率变异性(HRV)特征计算的。
心脏年龄：表示了目标心脏的相对年龄,该值是根据他们的心率变异性(HRV) 与普遍人群特征对比得出的。
③脑电设备的工作流程如下：
信号校准：对不同使用者脑电信号进行自适应计算及同步，以进行信号校准。
信号采集：采用NeuroSky单导干电极技术，使得脑电信号采集变得简单易用。
信号提取：Think GearTM从嘈杂环境中分离出脑电波信号，经过放大处理，产生清晰的脑电波信号。
信息解读：通过eSenseTM专利算法将脑电波解读为eSense参数，用于表示用户当前的精神状态。
人机交互：将eSense参数传递给计算机、手机等智能设备，从而可以通过脑电波进行人机交互。
通过脑波头带采集用户脑波数据并采用NeuroSky算法进行分析，将其转换成Attention(专注度)和Meditation(冥想度)两个度量值，其中“专注度指数”表明了使用者精神“集中度”水平或“注意度”水平的强烈程度，“冥想度指数”表明了使用者精神“平静度”水平或者“放松度”水平；例如，当用户能够进入高度专注状态并且可以稳定地控制心理活动，该指数的值就会很高。该指数值的范围是0 到100。心烦意乱、精神恍惚、注意力不集中以及焦虑等精神状态都将降低专注度指数的数值。
“冥想度指数”表明了使用者精神“平静度”水平或者“放松度”水平。该指数值的范围是0到100。需要注意的是，放松度指数反映的是使用者的精神状态，而不是其身体状态，所以，简单地进行全身肌肉放松并不能快速地提高放松度水平。然而，对大多数人来说，在正常的环境下，进行身体放松通常有助于精神状态的放松。放松度水平的提高与大脑活动的减少有明显的关联。心烦意乱、精神恍惚、焦虑、激动不安等精神状态以及感官刺激等都将降低放松度指数的数值。
如图3(b)情感识别所示,对视频流进行实时分析，可检测到的情绪包括愤怒、蔑视、厌恶、恐惧、幸福、中立、悲伤和惊喜。这些情绪通过特定的面部特征分析来识别。
如图3(c)动作识别所示：人体姿势可定义为某一时刻身体关节点之间的相对位置，如果得到关节点的三位位置信息，那么关节点之间的相对位置就确定，但由于不同人的体型存在差异，原始坐标数据过于粗糙，所以采用关节角度描述姿势特征。
Kinect骨骼跟踪是在深度图像的基础上，利用机器学习方法逐步实现。第一步是人体轮廓分割，判断深度图像上的每个像素是否属于某一个用户，过滤背景像素。第二步是人体部位识别，从人体轮廓中识别出不同部位，例如头部、躯干、四肢等肢体。第三步是关节定位，从人体部位中定位20个关节点。Kinect 主动跟踪时，捕获用户身体20个关节点的三维位置信息，如图3(c)所示，关节点名称详见下表。
骨骼坐标系以红外深度图像摄像头为原点，X轴指向体感器的左边，Y轴指向体感器的上边，Z轴指向视野中的用户。
通过观察发现15个身体关节与姿势的关联度比较大，分别标记为“A”到“O”。从15个关节点中提取可能与姿势有关联的关节角度特征，通过对关节角度进行算法分析，即可识别用户面试过程中的不规范动作，如图3(d)所示；
不规范动作的具体识别算法如下：
①判断身体倾斜：取ShoulderCenter(C点：肩膀中心)和Spine(B点：脊柱中心)关节点，对每一记录时间点，计算这两点所成直线在xOy平面上的斜率的倒数(z轴为人与设备的距离，故可以不考虑)，当满足该值大于tan10°的时间点数量超过一定值时，判定用户身体出现过倾斜。
②判断身体摇晃：同(3-1)，计算这两点所成直线的斜率倒数出现过的最值，以此计算最左侧和最右侧所成夹角的正切值并与tan10°比较，若大于则说明倾斜超过10°，判定用户身体摇晃。
③判断手臂交叉：取关节点ElbowLeft(E点：左肘)、ElbowRight(H点：右肘)、WristLeft(F点：左腕)和WristRight(I点：右腕)，计算左手和右手手臂部分这两条线段的相交情况，记录出现相交情况的时间点的个数，大于一定数值则判定用户出现手臂交叉的动作。
④判断手臂动作(肢体语言)：取左右手的腕部关节点(F和I点)，判断其坐标是否在95％时间内变化不超过15cm，若是则给出"缺少手部动作，肢体语言不够丰富"的判定。
⑤判断挠头(拨弄头发)：取关节点handTipLeft(Q点：左手)、HandTipRight (R点：右手)和Head(P点：头部)，计算两手部节点与头部的距离，当距离小于8cm时，若手部节点的纵坐标较高，则说明出现了该动作，当满足条件的时间点数大于一定值时，判定用户出现挠头或者频繁拨弄头发的动作。
⑥判断翘二郎腿或者交叉腿部：取关节点KneeLeft(K点：左膝盖)、 KneeRight(N点：右膝盖)、AnkleLeft(L点：左踝)、AnkleRight(O点：右踝)、HipLeft(J点：左臀)和HipRight(M点：右臀)，可得到表示左右小腿和大腿的线段，取小腿线段的靠近膝盖部分的30％长度，计算左右的相交情况，同时，计算左右大腿线段的相交情况，当满足上述两种相交的时间点数量均超过一定值时，判定为翘二郎腿或者交叉腿部，当只有第一种相交的时间点数量超过一定值，判定为交叉腿部。
如图4所示，为面试情境选择模块，用户根据自己的需求和喜好进行面试类型选择(公务员、研究生和企业面试)，面试方式选择(一对一面试和多对一面试)、面试官选择(多血质、黏液质和胆汁质面试官)和会议室场景选择。
如图5所示，虚拟面试官反馈建模。首先，为三种人格类型的面试官均设置各自的基线状态。当不需要做出反馈时，面试官根据基线设定来进行行为和情绪表达。训练过程中，系统通过用户生理指标可识别并计算出用户的专注度和放松度两个指标，将这两个量作为两个维度，根据两维度的高度分划分成四个象限，即为四种反应条件。根据埃森克人格理论对不同人格类型特征的描述，为不同虚拟面试官设定四种反应条件下不同的反应模型。提前根据调查资料为虚拟面试官制作好了不同情绪和状态的面部表情和肢体动作模型动画，系统可根据该模型所定义的反应模式来调用相应动画对用户做出反应和反馈。
如图6所示，面试反馈模块，为了生动直观得向用户展示整个面试过程的反馈结果，故以图表(雷达图和柱状图)的方式直观地展示用户整个面试过程的情感状态，同时生成面试记录的PDF文件，该面试记录包括整个面试过程中不规范的动作，情感状态以及attention和meditation的均值。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于虚拟代理交互的虚拟训练系统，其特征是：包括：
人脸识别模块，被配置为对用户身份进行识别；
面试情景选择模块，被配置为进行类型选择和会议室场景选择；
情感识别模块，被配置为利用网络摄像头实时识别用户情绪状态；
动作识别模块，被配置为利用Kinect识别用户情景交互过程中的动作；
生理信号识别模块，被配置为通过生理信号传感器集用户的皮肤电、心电和脑电生理数据并进行实时分析以此得出用户情绪状态以及专注度；
交互模块，被配置为实现用户与虚拟提问者的交互，完成模拟情景，识别和记录用户的作答以及状态，并据此与用户进行反应和互动，完成模拟情景训练过程；
反馈模块，被配置为通过可视化图表的方式直观地反馈用户整个问答过程的表情管理表现，以及训练中的专注度和焦虑程度量化值。
2.如权利要求1所述的一种基于虚拟代理交互的虚拟训练系统，其特征是：所述情景选择模块，具体包括交互类型选择、交互方式和交互者性格选择和场景选择。
3.如权利要求1所述的一种基于虚拟代理交互的虚拟训练系统，其特征是：所述情感包括愤怒、蔑视、厌恶、恐惧、幸福、中立、悲伤和惊喜。
4.如权利要求1所述的一种基于虚拟代理交互的虚拟训练系统，其特征是：所述动作识别模块对用户交互过程中的不规范动作，包括超过设定值的身体倾斜、超过设定次数的身体摇晃、手臂交叠、手臂超过次数的运动或超过设定时长不动、挠头、拨弄头发、跷二郎腿和腿部交叉和眼镜环看四周的动作。
5.一种基于虚拟代理交互的虚拟训练方法，其特征是：包括以下步骤：
(1)通过Kinect ColorBasics-WPF对用户进行拍照并上传到人脸识别API进行人脸识别和用户注册，并将用户ID保存到数据库；
(2)利用网络视像头实时捕获用户视频流，定时提取一次视频帧，并将帧图像提交人脸API进行情感检测和分析，同时将每次情感检测结果进行实时显示和存储，识别出图片中任何一张人脸的情绪；
(3)利用Kinect BodyBasics-WPF中的骨骼API识别用户骨骼点的三维坐标信息，数据对象类型以骨骼帧的形式提供，每一帧包括多个骨骼点，对骨骼点进行分析，采用关节角度描述姿势特征，以此准确捕获用户在交互过程中的不规范动作；
(4)利用脑波头带、心电传感器和皮肤电设备采集用户生理信息，将采集到的脑电、心电和皮肤电信号进行校准、采集、提取和解读；
(5)启动全语音系统，根据自己的需求依次进入交互类型选择、情境选择、交流提问者类型选择和场景选择，生成交互式场景；
(6)进行双方的交流提问过程；
(7)反馈用户在交流过程中出现的不规范动作，同时将整个交流过程中用户的情感状态绘制成雷达图、将Attention和Meditation的均值绘制成柱状图进行展示，将反馈结果存入数据库，并生成包含有用户头像、动作识别、情感识别和生理信号识别结果的反馈报告。
6.如权利要求5所述的一种基于虚拟代理交互的虚拟训练方法，其特征是：所述步骤(3)中，具体过程包括；
进行人体轮廓分割，判断深度图像上的每个像素是否属于某一个用户，过滤背景像素；
进行人体部位识别，从人体轮廓中识别出不同部位；
进行关节定位，从人体部位中定位20个关节点，Kinect主动跟踪时，捕获用户身体各个关节点的三维位置信息；
通过观察确定身体关节与姿势的关联度超过设定的各关节点，从上述关节点中提取与姿势有关联的关节角度特征，通过对关节角度进行算法分析，即可识别用户面试过程中的不规范动作。
7.如权利要求5所述的一种基于虚拟代理交互的虚拟训练方法，其特征是：不规范动作的具体识别部分包括以下至少一个：
①判断身体倾斜：取肩膀中心和脊柱中心关节点，对每一记录时间点，计算这两点所成直线在xOy平面上的斜率的倒数，当满足该值大于tan10°的时间点数量超过一定值时，判定用户身体出现过倾斜；
②判断身体摇晃：计算肩膀中心和脊柱中心关节点所成直线的斜率倒数出现过的最值，以此计算最左侧和最右侧所成夹角的正切值并与tan10°比较，若大于则说明倾斜超过10°，判定用户身体摇晃；
③判断手臂交叉：取关节点左肘、右肘)、左腕和右腕，计算左手和右手手臂部分这两条线段的相交情况，记录出现相交情况的时间点的个数，大于一定数值则判定用户出现手臂交叉的动作；
④判断手臂动作：取左右手的腕部关节点，判断其坐标是否在95％时间内变化不超过15cm，若是则给出缺少手部动作，肢体语言不够丰富的判定；
⑤判断挠头：取关节点左手、右手和头部，计算两手部节点与头部的距离，当距离小于设定值时，若手部节点的纵坐标较高，则说明出现该动作，当满足条件的时间点数大于一定值时，判定用户出现挠头或者频繁拨弄头发的动作；
⑥判断翘二郎腿或者交叉腿部：取关节点左膝盖、右膝盖、左踝、右踝、左臀和右臀，得到表示左右小腿和大腿的线段，取小腿线段的靠近膝盖部分的设定长度，计算左右的相交情况，同时，计算左右大腿线段的相交情况，当满足上述两种相交的时间点数量均超过一定值时，判定为翘二郎腿或者交叉腿部，当只有第一种相交的时间点数量超过一定值，判定为交叉腿部。
8.如权利要求5所述的一种基于虚拟代理交互的虚拟训练方法，其特征是：所述步骤(4)中，通过心电传感器测量如下特征值：
实时心率：基于最近两次的R波间隔计算当前的实时心率(次/分钟)；
静息心率：依据一段时间内的平均心率，并计算此段结果与上个时间段的变化；
呼吸率：记录用户过去一段时间内的呼吸次数(次/分钟)，根据用户的ECG/EKG和心率变异性(HRV)特征计算；
心脏年龄：根据他们的心率变异性(HRV)与普遍人群特征对比得出。
9.如权利要求5所述的一种基于虚拟代理交互的虚拟训练方法，其特征是：所述步骤(4)中，对于脑电设备的工作过程包括：
对不同使用者脑电信号进行自适应计算及同步，以进行信号校准；
采用NeuroSky单导干电极技术，进行脑电信号采集；
从嘈杂环境中分离出脑电波信号，经过放大处理，产生清晰的脑电波信号；
通过eSenseTM算法将脑电波解读为eSense参数，用于表示用户当前的精神状态；
将eSense参数传递给智能设备，通过脑电波进行人机交互；
通过脑波头带采集用户脑波数据并采用NeuroSky算法进行分析，将其转换成专注度和冥想度两个度量值，专注度指数表明使用者精神集中度水平或注意度水平的强烈程度，冥想度指数表明使用者精神平静度水平或者放松度水平。
10.如权利要求5所述的一种基于虚拟代理交互的虚拟训练方法，其特征是：所述步骤(5)中，进行反馈建模的具体过程包括：为各个人格类型的交流提问者均设置各自的基线状态，当不需要做出反馈时，提问者根据基线设定来进行行为和情绪表达，训练过程中，通过用户生理指标识别并计算出用户的专注度和放松度两个指标，将这两个量作为两个维度，根据两维度的高度分划分成四个象限，即为四种反应条件，根据埃森克人格理论对不同人格类型特征的描述，为不同虚拟交流提问者设定四种反应条件下不同的反应模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810909949.1A CN109298779B (zh) | 2018-08-10 | 2018-08-10 | 基于虚拟代理交互的虚拟训练系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810909949.1A CN109298779B (zh) | 2018-08-10 | 2018-08-10 | 基于虚拟代理交互的虚拟训练系统与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109298779A true CN109298779A (zh) | 2019-02-01 |
| CN109298779B CN109298779B (zh) | 2021-10-12 |
Family
ID=65168249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810909949.1A Active CN109298779B (zh) | 2018-08-10 | 2018-08-10 | 基于虚拟代理交互的虚拟训练系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109298779B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110069991A (zh) * | 2019-03-18 | 2019-07-30 | 深圳壹账通智能科技有限公司 | 反馈信息确定方法、装置、电子设备及存储介质 |
| CN110210449A (zh) * | 2019-06-13 | 2019-09-06 | 沈力 | 一种用于虚拟现实交友的人脸识别系统及方法 |
| CN110458732A (zh) * | 2019-06-17 | 2019-11-15 | 深圳追一科技有限公司 | 培训方法、装置、计算机设备和存储介质 |
| CN110517012A (zh) * | 2019-08-09 | 2019-11-29 | 福建路阳信息科技有限公司 | 一种校园招聘管理系统 |
| CN111124125A (zh) * | 2019-12-25 | 2020-05-08 | 南昌市小核桃科技有限公司 | 基于虚拟现实的警务训练方法及系统 |
| CN111222837A (zh) * | 2019-10-12 | 2020-06-02 | 中国平安财产保险股份有限公司 | 智能化面试的方法、系统、设备及计算机存储介质 |
| CN111596761A (zh) * | 2020-05-03 | 2020-08-28 | 清华大学 | 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置 |
| CN112230777A (zh) * | 2020-10-29 | 2021-01-15 | 浙江工业大学 | 一种基于非接触式交互的认知训练系统 |
| CN112394813A (zh) * | 2020-11-05 | 2021-02-23 | 广州市南方人力资源评价中心有限公司 | 基于智能手环设备与脑电波采集设备的vr考试方法和装置 |
| CN112580602A (zh) * | 2020-12-30 | 2021-03-30 | 北京体育大学 | 一种规范握力测试的方法及装置 |
| CN112651714A (zh) * | 2020-12-25 | 2021-04-13 | 北京理工大学深圳研究院 | 一种基于多模态信息的面试测评方法和系统 |
| CN112734946A (zh) * | 2021-03-31 | 2021-04-30 | 南京航空航天大学 | 一种声乐表演教学方法及系统 |
| CN113095165A (zh) * | 2021-03-23 | 2021-07-09 | 北京理工大学深圳研究院 | 一种用于完善面试表现的模拟面试方法和装置 |
| CN114640699A (zh) * | 2022-02-17 | 2022-06-17 | 华南理工大学 | 基于vr角色扮演游戏交互的情绪诱发监测系统 |
| CN114721520A (zh) * | 2022-04-07 | 2022-07-08 | 江苏中科小达人智能科技有限公司 | 一种基于虚拟现实的交互式训练系统及方法 |
| CN115641942A (zh) * | 2022-12-01 | 2023-01-24 | 威特瑞特技术有限公司 | 一种基于虚拟现实的考试心理训练方法、装置和系统 |
| CN117438048A (zh) * | 2023-12-20 | 2024-01-23 | 深圳市龙岗区第三人民医院 | 一种精神科患者用心理障碍测评方法及系统 |
| CN117666790A (zh) * | 2023-12-06 | 2024-03-08 | 新励成教育科技股份有限公司 | 一种基于脑机接口技术的沉浸式口才表达训练系统 |
| CN117742496A (zh) * | 2023-12-27 | 2024-03-22 | 爱化身科技(北京)有限公司 | 虚拟场景中的交互体验设备、虚拟体验系统和方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530501A (zh) * | 2013-09-12 | 2014-01-22 | 西安交通大学 | 多感知通道交互的应激辅助决策实验装置及其实验方法 |
| CN104460950A (zh) * | 2013-09-15 | 2015-03-25 | 南京大五教育科技有限公司 | 利用虚拟现实技术实现用户与虚拟对象模拟交互 |
| CN104793743A (zh) * | 2015-04-10 | 2015-07-22 | 深圳市虚拟现实科技有限公司 | 一种虚拟社交系统及其控制方法 |
| CN105011949A (zh) * | 2014-04-25 | 2015-11-04 | 蔡雷 | 一种自动化测试的方法及装置 |
| CN106157722A (zh) * | 2016-08-18 | 2016-11-23 | 梁继斌 | 一种虚拟现实的面试训练方法和设备 |
| CN106663383A (zh) * | 2014-06-23 | 2017-05-10 | 因特维欧研发股份有限公司 | 分析受试者的方法和系统 |
| US20170160813A1 (en) * | 2015-12-07 | 2017-06-08 | Sri International | Vpa with integrated object recognition and facial expression recognition |
| CN106919251A (zh) * | 2017-01-09 | 2017-07-04 | 重庆邮电大学 | 一种基于多模态情感识别的虚拟学习环境自然交互方法 |
| US20170354882A1 (en) * | 2016-06-10 | 2017-12-14 | Colopl, Inc. | Method for providing virtual space, program for implementing the method to be executed by a computer, and system for providing virtual space |
| CN107480872A (zh) * | 2017-08-01 | 2017-12-15 | 深圳市鹰硕技术有限公司 | 一种基于数据交换网络的在线教学考评系统及方法 |
| CN107533677A (zh) * | 2015-02-11 | 2018-01-02 | 谷歌公司 | 用于产生与有关信息相关的传感器输出的方法、系统和介质 |
| CN107657955A (zh) * | 2017-11-09 | 2018-02-02 | 温州大学 | 一种基于vr虚拟课堂的语音交互提问系统及方法 |
| CN108052250A (zh) * | 2017-12-12 | 2018-05-18 | 北京光年无限科技有限公司 | 基于多模态交互的虚拟偶像演绎数据处理方法及系统 |
| EP3349442A1 (en) * | 2015-09-08 | 2018-07-18 | Clicked Inc. | Virtual reality image transmission method, image reproduction method, and program using same |
-
2018
- 2018-08-10 CN CN201810909949.1A patent/CN109298779B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530501A (zh) * | 2013-09-12 | 2014-01-22 | 西安交通大学 | 多感知通道交互的应激辅助决策实验装置及其实验方法 |
| CN104460950A (zh) * | 2013-09-15 | 2015-03-25 | 南京大五教育科技有限公司 | 利用虚拟现实技术实现用户与虚拟对象模拟交互 |
| CN105011949A (zh) * | 2014-04-25 | 2015-11-04 | 蔡雷 | 一种自动化测试的方法及装置 |
| CN106663383A (zh) * | 2014-06-23 | 2017-05-10 | 因特维欧研发股份有限公司 | 分析受试者的方法和系统 |
| CN107533677A (zh) * | 2015-02-11 | 2018-01-02 | 谷歌公司 | 用于产生与有关信息相关的传感器输出的方法、系统和介质 |
| CN104793743A (zh) * | 2015-04-10 | 2015-07-22 | 深圳市虚拟现实科技有限公司 | 一种虚拟社交系统及其控制方法 |
| EP3349442A1 (en) * | 2015-09-08 | 2018-07-18 | Clicked Inc. | Virtual reality image transmission method, image reproduction method, and program using same |
| US20170160813A1 (en) * | 2015-12-07 | 2017-06-08 | Sri International | Vpa with integrated object recognition and facial expression recognition |
| US20170354882A1 (en) * | 2016-06-10 | 2017-12-14 | Colopl, Inc. | Method for providing virtual space, program for implementing the method to be executed by a computer, and system for providing virtual space |
| CN106157722A (zh) * | 2016-08-18 | 2016-11-23 | 梁继斌 | 一种虚拟现实的面试训练方法和设备 |
| CN106919251A (zh) * | 2017-01-09 | 2017-07-04 | 重庆邮电大学 | 一种基于多模态情感识别的虚拟学习环境自然交互方法 |
| CN107480872A (zh) * | 2017-08-01 | 2017-12-15 | 深圳市鹰硕技术有限公司 | 一种基于数据交换网络的在线教学考评系统及方法 |
| CN107657955A (zh) * | 2017-11-09 | 2018-02-02 | 温州大学 | 一种基于vr虚拟课堂的语音交互提问系统及方法 |
| CN108052250A (zh) * | 2017-12-12 | 2018-05-18 | 北京光年无限科技有限公司 | 基于多模态交互的虚拟偶像演绎数据处理方法及系统 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110069991A (zh) * | 2019-03-18 | 2019-07-30 | 深圳壹账通智能科技有限公司 | 反馈信息确定方法、装置、电子设备及存储介质 |
| CN110210449A (zh) * | 2019-06-13 | 2019-09-06 | 沈力 | 一种用于虚拟现实交友的人脸识别系统及方法 |
| CN110458732A (zh) * | 2019-06-17 | 2019-11-15 | 深圳追一科技有限公司 | 培训方法、装置、计算机设备和存储介质 |
| CN110517012A (zh) * | 2019-08-09 | 2019-11-29 | 福建路阳信息科技有限公司 | 一种校园招聘管理系统 |
| CN111222837A (zh) * | 2019-10-12 | 2020-06-02 | 中国平安财产保险股份有限公司 | 智能化面试的方法、系统、设备及计算机存储介质 |
| CN111124125A (zh) * | 2019-12-25 | 2020-05-08 | 南昌市小核桃科技有限公司 | 基于虚拟现实的警务训练方法及系统 |
| CN111596761A (zh) * | 2020-05-03 | 2020-08-28 | 清华大学 | 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置 |
| CN112230777A (zh) * | 2020-10-29 | 2021-01-15 | 浙江工业大学 | 一种基于非接触式交互的认知训练系统 |
| CN112394813A (zh) * | 2020-11-05 | 2021-02-23 | 广州市南方人力资源评价中心有限公司 | 基于智能手环设备与脑电波采集设备的vr考试方法和装置 |
| CN112651714A (zh) * | 2020-12-25 | 2021-04-13 | 北京理工大学深圳研究院 | 一种基于多模态信息的面试测评方法和系统 |
| CN112580602A (zh) * | 2020-12-30 | 2021-03-30 | 北京体育大学 | 一种规范握力测试的方法及装置 |
| CN113095165A (zh) * | 2021-03-23 | 2021-07-09 | 北京理工大学深圳研究院 | 一种用于完善面试表现的模拟面试方法和装置 |
| CN112734946A (zh) * | 2021-03-31 | 2021-04-30 | 南京航空航天大学 | 一种声乐表演教学方法及系统 |
| CN114640699A (zh) * | 2022-02-17 | 2022-06-17 | 华南理工大学 | 基于vr角色扮演游戏交互的情绪诱发监测系统 |
| CN114721520A (zh) * | 2022-04-07 | 2022-07-08 | 江苏中科小达人智能科技有限公司 | 一种基于虚拟现实的交互式训练系统及方法 |
| CN115641942A (zh) * | 2022-12-01 | 2023-01-24 | 威特瑞特技术有限公司 | 一种基于虚拟现实的考试心理训练方法、装置和系统 |
| CN117666790A (zh) * | 2023-12-06 | 2024-03-08 | 新励成教育科技股份有限公司 | 一种基于脑机接口技术的沉浸式口才表达训练系统 |
| CN117438048A (zh) * | 2023-12-20 | 2024-01-23 | 深圳市龙岗区第三人民医院 | 一种精神科患者用心理障碍测评方法及系统 |
| CN117438048B (zh) * | 2023-12-20 | 2024-02-23 | 深圳市龙岗区第三人民医院 | 一种精神科患者用心理障碍测评方法及系统 |
| CN117742496A (zh) * | 2023-12-27 | 2024-03-22 | 爱化身科技(北京)有限公司 | 虚拟场景中的交互体验设备、虚拟体验系统和方法 |
| CN117742496B (zh) * | 2023-12-27 | 2024-06-14 | 爱化身科技(北京)有限公司 | 虚拟场景中的交互体验设备、虚拟体验系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109298779B (zh) | 2021-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109298779A (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
| CN109620185B (zh) | 基于多模态信息的自闭症辅助诊断系统、设备及介质 | |
| Fabri et al. | Mediating the expression of emotion in educational collaborative virtual environments: an experimental study | |
| KR102277820B1 (ko) | 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법 | |
| DE112014006082T5 (de) | Pulswellenmessvorrichtung, Mobilvorrichtung, medizinisches Ausrüstungssystem und biologisches Informations-Kommunikationssystem | |
| CN117438048B (zh) | 一种精神科患者用心理障碍测评方法及系统 | |
| Lazzeri et al. | Can a humanoid face be expressive? A psychophysiological investigation | |
| Chen et al. | DeepFocus: Deep encoding brainwaves and emotions with multi-scenario behavior analytics for human attention enhancement | |
| CN107402635B (zh) | 结合脑电波与虚拟现实的心理健康调节方法及系统 | |
| CN112008725B (zh) | 一种人机融合脑控机器人系统 | |
| CN108478224A (zh) | 基于虚拟现实与脑电的紧张情绪检测系统及检测方法 | |
| CN113837153B (zh) | 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统 | |
| CN111297379A (zh) | 一种基于感官传递的脑机结合系统和方法 | |
| Kadar et al. | Affective computing to enhance emotional sustainability of students in dropout prevention | |
| CN114640699B (zh) | 基于vr角色扮演游戏交互的情绪诱发监测系统 | |
| CN113035000A (zh) | 一种面向中枢整合康复治疗技术的虚拟现实训练系统 | |
| Hercegfi et al. | Experiences of virtual desktop collaboration experiments | |
| Tivatansakul et al. | Healthcare system design focusing on emotional aspects using augmented reality—Relaxed service design | |
| Groenegress et al. | The physiological mirror—a system for unconscious control of a virtual environment through physiological activity | |
| Tang et al. | An internet of things approach to “read” the emotion of children with autism spectrum disorder | |
| Garzotto et al. | Exploiting the integration of wearable virtual reality and bio-sensors for persons with neurodevelopmental disorders | |
| Soleymani | Implicit and Automated Emtional Tagging of Videos | |
| Guo et al. | Research on the Development Path of Sports Culture and Athletic Training in the Perspective of Intelligent Sports | |
| Łukowska et al. | Better act than see: individual differences in sensorimotor contingencies acquisition and (meta) cognitive strategies between users of a colour-to-sound sensory substitution device | |
| Kim et al. | Mediating individual affective experience through the emotional photo frame |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221101 Address after: B3, 6th floor, building 1, Shuntai Plaza, 2000 Shunhua Road, high tech Zone, Jinan City, Shandong Province, 250101 Patentee after: JINAN ALLVIEW INFORMATION TECHNOLOGY Co.,Ltd. Patentee after: SHANDONG University Address before: 272000 room 1110, floor 11, block C, Zhongde Plaza, No. 77, Rencheng Avenue, Rencheng District, Jining City, Shandong Province Patentee before: JINING BRANCH, JINAN ALLVIEW INFORMATION TECHNOLOGY Co.,Ltd. Patentee before: SHANDONG University |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: B3, 6th floor, building 1, Shuntai Plaza, 2000 Shunhua Road, high tech Zone, Jinan City, Shandong Province, 250101 Patentee after: Ovi Digital Technology Co.,Ltd. Patentee after: SHANDONG University Address before: B3, 6th floor, building 1, Shuntai Plaza, 2000 Shunhua Road, high tech Zone, Jinan City, Shandong Province, 250101 Patentee before: JINAN ALLVIEW INFORMATION TECHNOLOGY Co.,Ltd. Patentee before: SHANDONG University |