CN111596761A - 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置 - Google Patents

一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置 Download PDF

Info

Publication number
CN111596761A
CN111596761A CN202010368937.XA CN202010368937A CN111596761A CN 111596761 A CN111596761 A CN 111596761A CN 202010368937 A CN202010368937 A CN 202010368937A CN 111596761 A CN111596761 A CN 111596761A
Authority
CN
China
Prior art keywords
speech
virtual
real
speaker
anxiety level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010368937.XA
Other languages
English (en)
Other versions
CN111596761B (zh
Inventor
王运涛
瑞图
史元春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010368937.XA priority Critical patent/CN111596761B/zh
Publication of CN111596761A publication Critical patent/CN111596761A/zh
Application granted granted Critical
Publication of CN111596761B publication Critical patent/CN111596761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置,包括以下步骤:获取现实世界演讲者正常水平下的焦虑水平数据;生成至少虚拟演讲场所及虚拟听众;获取现实世界演讲者实时的焦虑水平数据,根据现实世界演讲者实时的焦虑水平数据,虚拟听众的姿势发生改变,以向演讲者实时反馈演讲效果和其焦虑水平;记录现实世界演讲者开始演讲至结束演讲的实时焦虑水平数据,生成本次练习演讲效果和焦虑水平的报告。本申请的有益效果有:让用户在虚拟现实中自行设计演讲场所、听众以及接受交互式的反馈,虚拟听众的反应为用户提供实时反馈,帮助用户降低其压力水平,及时调节演讲状态,提升用户演讲能力。

Description

一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置
技术领域
本发明涉及换脸技术及虚拟现实技术领域,具体而言,涉及一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置。
背景技术
优秀的演讲能力能够在个人的人格塑造,信心建立以及职业发展中起关键作用。虽然演讲技能对于大部分职业都十分重要,但由于社交焦虑症,很大部分人群难以在演讲时有效地表达自己的想法。根据调查,25%的人最害怕演讲,超过了恐高、怕黑或者怕血。而在公开场合里进行有效展示和演讲的这一重要技能也没有被纳入学校的正式教育体系。这导致了人们也鲜有机会能够练习演讲,但是演讲技能却只有通过练习取得进步。同时,也很难找到合适的练习场地、听众以及通过现场的反馈来改进自己的演讲。在演讲时,人们通常通过对于现场的感知来自我判断并取得练习结果的反馈,但在练习时却几乎不可能找到与正式场合相同的人来帮助自己进行判断和反馈。
2001年,有人曾对于人在虚拟现实环境中进行演讲的恐惧进行过研究,测试演讲者是否会对虚拟现实中的虚拟听众和场景产生和现实演讲现场中的听众和场景产生相同的反应。研究结果表明,演讲者会认为虚拟现实中的3D形象十分逼真。该研究还以教师为研究对象,探索了“在非公开环境下进行公开演讲”,帮助社交恐惧症患者提高教学表现。另一项研究则通过英语学习者的生理反应和非语言行为探究了他们对于公开演讲的焦虑,并表明他们能够在演讲练习和自我反思中受益。目前学界已对该领域不同的反馈方式进行了研究,包括不可交互式的虚拟听众反馈,直接视觉反馈和可交互式的虚拟听众的非语言反馈。在这些反馈方式中,可交互式的虚拟听众的非语言反馈产生了最好的结果。也有一项对照实验表明,VR技术可以用于缓解人们的对公开演讲的焦虑。
以上的研究和技术证明了VR技术用于练习演讲并提高个人演讲水平的可行性。但它们均缺乏对于虚拟练习环境和虚拟练习对象应该满足不同的练习情景和要求的重视,导致了其他们的练习缺乏个性化。
发明内容
为了克服上述问题或者至少部分地解决上述问题,本发明实施例提供一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置,呈现出了个性化虚拟的演讲练习环境,以供演讲者进行演讲练习,提高演讲能力。
本发明的实施例是这样实现的:
一种基于换脸技术及虚拟现实技术模拟演讲的方法,包括以下步骤:
S1:基于换脸技术及虚拟现实技术生成至少一个虚拟演讲场所及至少一个虚拟听众,从至少一个虚拟演讲场所及至少一个虚拟听众中选取一个虚拟演讲场所及至少一个虚拟听众;
S2:现实世界演讲者佩戴VR设备开始演讲后,获取现实世界演讲者实时的焦虑水平数据,根据现实世界演讲者实时的焦虑水平数据,虚拟听众的姿势发生改变,以向演讲者实时反馈演讲效果和其焦虑水平,直至演讲结束。
设计原理:
发明人经过长期的研究和实践发现,VR技术用于练习演讲并提高个人演讲水平具有可行性。但它们均缺乏对于虚拟练习环境和虚拟练习对象应该满足不同的练习情景和要求的重视,导致了其他们的练习系统缺乏个性化。现有技术中,用户无法自己设计演讲练习所用的虚拟环境和虚拟听众,无法通过虚拟对象的交互式反应获得演讲效果的反馈。综上,现有技术中仍然没有出现一个能够提供个性化练习体验并缓解用户演讲前焦虑的方法。鉴于此,本发明采用Deepfake变脸技术及虚拟现实技术能够让用户选取虚拟演讲场所及虚拟听众,并通过虚拟听众的面部表情、身体动作等向演讲者反馈自身的演讲效果和焦虑程度,从而使演讲者获得一定的安抚并缓解演讲焦虑,并生成练习演讲效果和焦虑水平的报告,在演讲练习和自我反思中受益,演讲者可以根据练习演讲效果和焦虑水平的报告知道自己的演讲存着哪些弱点,针对弱点进行练习以提高提高演讲能力。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,在步骤1之前还包括获取现实世界演讲者正常水平下的焦虑水平数据;在步骤2之后还包括:按照时间戳的顺序记录现实世界演讲者开始演讲至结束演讲的实时焦虑水平数据,将该实时焦虑水平数据与演讲者正常水平下的焦虑水平数据作对比,生成本次练习演讲效果和焦虑水平的报告。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,在步骤2中,生成至少一个虚拟演讲场所的方法包括:
上传所需的演讲场所图片或者从提供的案例中选择演讲场所图片,基于虚拟现实技术根据演讲场所图片生成360°演讲场所。这样设置的目的在于,视觉效果更好,使得演讲场所趋近真实,增加代入感。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,在步骤2中,生成至少一个虚拟听众的方法包括:
上传演讲者所需要的虚拟听众的信息,通过虚拟听众的信息利用Deepfake换脸技术生成虚拟听众,虚拟听众包括3D人物。
虚拟听众的信息包括种族、年龄及性别信息。这样设置的目的在于,提供个性化的解决方案来锻炼其演讲能力,并适应不同演讲者的不同要求;真实感和互动感,用户应该能够自己设计演讲练习所用的虚拟环境和虚拟听众,并能够通过虚拟对象的交互式反应获得演讲效果的反馈。前有的研究也展现了数种不同的通过虚拟观众的反馈方式对用户的感知造成的影响。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,虚拟听众的姿势包括虚拟听众的面部表情、身体动作。这样设置的目的在于,演讲者可以非常直观的观察到虚拟听众的身体状态发生改变,通过虚拟听众的面部表情、身体动作等向演讲者反馈自身的演讲效果和焦虑程度,从而使演讲者获得一定的安抚并缓解演讲焦虑。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,焦虑水平数据包括现实世界演讲者声音的响度数据、声音的停顿时间数据。这样设置的目的在于,通过长期的实践和研究发现,如果演讲者在演讲时紧张过度或准备不充分的情况下,演讲者的声音会变小,演讲会产生多次停顿;因此,可以根据现实世界演讲者演讲时声音的响度数据、声音的停顿时间数据判定演讲者的演讲状态;根据演讲者声音的响度数据、声音的停顿时间数据,虚拟听众的姿势、面部表情发送改变,例如虚拟听众的表情变为疑惑,焦躁不安;演讲者看到虚拟听众产生的变化后知道自己目前的演讲状态不好,此时,演讲者可以调节自己的状态,状态调整好之后,虚拟听众的表情变为开心的表情,演讲者看到虚拟听众逐渐改变成开心面孔时,会获得一定的安抚并进一步缓解演讲焦虑。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,焦虑水平数据还包括姿势、动作和生理特征,生理特征包括视网膜大小,皮肤电导率和心率。这样设置的目的在于,虚拟听众的面部表情、身体动作可以通过肉眼看到,但许多生理特征例如视网膜大小,皮肤电导率和心率是肉眼无法看到的,可以通过记录演讲者的生理特征进一步确定焦虑水平数据,根据多方面的数据确定焦虑水平数据,进一步提升焦虑水平数据的准确性。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,使用摄像装置监控现实世界演讲者的整个演讲过程,通过播放器播放演讲视频,针对演讲视频,根据演讲评审条件给出本次练习演讲效果和焦虑水平的报告。这样设置的目的在于,考虑到演讲练习过程中演讲者的身体动作例如手势也会发生变化,据观察,演讲者在紧张时会重复作同一个动作,也可通过演讲者的身体动作生成焦虑水平数据,从而生成出本次练习演讲效果和焦虑水平的报告。
一种基于换脸技术及虚拟现实技术模拟演讲的装置,包括VR设备,VR设备包括至少一个处理器、至少一个存储器和数据总线;其中:
处理器与存储器通过数据总线完成相互间的通信;存储器存储有可被处理器执行的程序指令,处理器调用程序指令以执行上述一种基于换脸技术及虚拟现实技术模拟演讲的方法。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的装置,还包括非暂态计算机可读存储介质,非暂态计算机可读存储介质用于存储计算机程序,计算机程序使处理器执行上述一种基于换脸技术及虚拟现实技术模拟演讲的方法。
本发明实施例至少具有如下优点或有益效果:
本申请一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置通过虚拟的练习环境,创造个性化的学习体验,从而帮助个人提高公众演讲水平。该技术方案能够让用户在虚拟现实中自行设计演讲场所、听众以及接受交互式的反馈,用户可以提供演讲场所的图像以及目标听众的相关信息。同时,虚拟听众的反应为用户提供实时反馈,帮助用户降低其压力水平,及时调节演讲状态,提升用户演讲能力;另外,本申请装置实时记录用户的演讲效果和焦虑程度根据演讲效果和焦虑程度生成练习演讲效果和焦虑水平的报告。演讲者可以根据练习演讲效果和焦虑水平的报告知道自己的演讲存着哪些弱点,针对弱点进行练习以提高提高演讲能力。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一种基于换脸技术及虚拟现实技术模拟演讲的方法的流程图;
图2为本发明实施例一种基于换脸技术及虚拟现实技术模拟演讲的方法的另一个实施例的流程图;
图3为本发明实施例一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置中处于演讲状态中的示意图;
图4为本发明实施例一种基于换脸技术及虚拟现实技术模拟演讲的方法中设置虚拟演讲场所及虚拟听众的示意图;
图5为本发明实施例一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置中使用摄像装置监控演讲者的示意图;
图6为本发明实施例一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置中VR设备示意图。
图标:10-现实世界演讲者,101-虚拟演讲场所,102-虚拟听众,11-摄像装置,12-VR设备,121-处理器,122-存储器,123-数据总线,13-播放器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中,还需要说明的是,除非另有明确的规定和限定,若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
实施例1
请参照图1-3,本实施例提供一种基于换脸技术及虚拟现实技术模拟演讲的方法,包括以下步骤:
S1:基于换脸技术及虚拟现实技术生成至少一个虚拟演讲场所101及至少一个虚拟听众102,从至少一个虚拟演讲场所101及至少一个虚拟听众102中选取一个虚拟演讲场所101及至少一个虚拟听众102;
S2:现实世界演讲者10佩戴VR设备12开始演讲后,获取现实世界演讲者10实时的焦虑水平数据,根据现实世界演讲者10实时的焦虑水平数据,虚拟听众102的姿势发生改变,以向演讲者实时反馈演讲效果和其焦虑水平,直至演讲结束;
进一步的,在本发明的一些实施例中,在步骤1之前还包括获取现实世界演讲者10正常水平下的焦虑水平数据;在步骤2之后还包括:按照时间戳的顺序记录现实世界演讲者10开始演讲至结束演讲的实时焦虑水平数据,将该实时焦虑水平数据与演讲者正常水平下的焦虑水平数据作对比,生成本次练习演讲效果和焦虑水平的报告。
发明人经过长期的研究和实践发现,VR技术用于练习演讲并提高个人演讲水平具有可行性。但它们均缺乏对于虚拟练习环境和虚拟练习对象应该满足不同的练习情景和要求的重视,导致了其他们的练习系统缺乏个性化。现有技术中,用户无法自己设计演讲练习所用的虚拟环境和虚拟听众102,无法通过虚拟对象的交互式反应获得演讲效果的反馈。综上,现有技术中仍然没有出现一个能够提供个性化练习体验并缓解用户演讲前焦虑的方法。鉴于此,本发明采用Deepfake变脸技术及虚拟现实技术能够让用户选取虚拟演讲场所101及虚拟听众102,并通过虚拟听众102的面部表情、身体动作等向演讲者反馈自身的演讲效果和焦虑程度,从而使演讲者获得一定的安抚并缓解演讲焦虑,在演讲练习和自我反思中受益。进一步的,根据演讲者的整场演讲状态生成练习演讲效果和焦虑水平的报告,演讲者可以根据练习演讲效果和焦虑水平的报告知道自己的演讲存着哪些弱点,针对弱点进行练习以提高提高演讲能力。
实施例2
请参照图4,本实施在实施例1的基础上进一步改进,在步骤2中,生成至少一个虚拟演讲场所101的方法包括:
上传所需的演讲场所图片或者从提供的案例中选择演讲场所图片,基于虚拟现实技术根据演讲场所图片生成360°演讲场所。这样设置的目的在于,视觉效果更好,使得演讲场所趋近真实,增加代入感。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,在步骤2中,生成至少一个虚拟听众102的方法包括:
上传演讲者所需要的虚拟听众102的信息,通过虚拟听众102的信息利用Deepfake换脸技术生成虚拟听众102,虚拟听众102包括3D人物。
虚拟听众102的信息包括种族、年龄及性别信息。这样设置的目的在于,提供个性化的解决方案来锻炼其演讲能力,并适应不同演讲者的不同要求;真实感和互动感,用户应该能够自己设计演讲练习所用的虚拟环境和虚拟听众102,并能够通过虚拟对象的交互式反应获得演讲效果的反馈。前有的研究也展现了数种不同的通过虚拟观众的反馈方式对用户的感知造成的影响。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,虚拟听众102的姿势包括虚拟听众102的面部表情、身体动作。这样设置的目的在于,演讲者可以非常直观的观察到虚拟听众102的身体状态发生改变,通过虚拟听众102的面部表情、身体动作等向演讲者反馈自身的演讲效果和焦虑程度,从而使演讲者获得一定的安抚并缓解演讲焦虑。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,焦虑水平数据包括现实世界演讲者10声音的响度数据、声音的停顿时间数据。这样设置的目的在于,通过长期的实践和研究发现,如果演讲者在演讲时紧张过度或准备不充分的情况下,演讲者的声音会变小,演讲会产生多次停顿;因此,可以根据现实世界演讲者10演讲时声音的响度数据、声音的停顿时间数据判定演讲者的演讲状态,例如正常状态下演讲分贝一般为60-80dB,设定阈值为60dB,当演讲者的声音小于60dB时,虚拟听众102的姿势、面部表情发送改变,又例如,正常状态下的演讲语句间停顿时间一般不超过10s,设定10s为阈值,当演讲者演讲语句间停顿时间超过10s时,虚拟听众102的姿势、面部表情发送改变;根据演讲者声音的响度数据、声音的停顿时间数据,虚拟听众102的姿势、面部表情发送改变,例如虚拟听众102的表情变为疑惑,焦躁不安,演讲者看到虚拟听众102产生的变化后知道自己目前的演讲状态不好,此时,演讲者可以调节自己的状态,状态调整好之后,虚拟听众102的表情变为开心的表情,演讲者看到虚拟听众102逐渐改变成开心面孔时,会获得一定的安抚并进一步缓解演讲焦虑。
在本发明的一些实施例中,一种基于换脸技术及虚拟现实技术模拟演讲的方法,焦虑水平数据还包括姿势、动作和生理特征,生理特征包括视网膜大小,皮肤电导率和心率。这样设置的目的在于,虚拟听众102的面部表情、身体动作可以通过肉眼看到,但许多生理特征例如视网膜大小,皮肤电导率和心率是肉眼无法看到的,生理特征也在一定程度上反映演讲者的状态,可以通过记录演讲者的生理特征进一步确定焦虑水平数据,根据多方面的数据确定焦虑水平数据,可以设定多个阈值,当高于或者低于阈值时虚拟听众102的姿势、面部表情发送改变,进一步提升焦虑水平数据的准确性。该设置是本领域人员的公知常识,此处不作详细记载。
实施例3
请参照图5,本实施在实施例1、实施例2的基础上进一步改进,与实施例1、实施例2的区别在于:使用摄像装置11监控现实世界演讲者10的整个演讲过程,通过播放器13播放演讲视频,针对演讲视频,根据演讲评审条件给出本次练习演讲效果和焦虑水平的报告。这样设置的目的在于,考虑到演讲练习过程中演讲者的身体动作例如手势也会发生变化,据观察,演讲者在紧张时会重复作同一个动作,也可通过演讲者的身体动作生成焦虑水平数据,从而生成出本次练习演讲效果和焦虑水平的报告。
实施例4
请参照图6,本实施与实施例1、实施例2及实施例3的区别在于:
一种基于换脸技术及虚拟现实技术模拟演讲的装置,包括VR设备12,VR设备12包括至少一个处理器121、至少一个存储器122和数据总线123;其中:
处理器121与存储器122通过数据总线123完成相互间的通信;存储器122存储有可被处理器121执行的程序指令,处理器121调用程序指令以执行上述一种基于换脸技术及虚拟现实技术模拟演讲的方法,执行例如:获取现实世界演讲者10正常水平下的焦虑水平数据;基于换脸技术及虚拟现实技术生成至少一个虚拟演讲场所101及至少一个虚拟听众102,从至少一个虚拟演讲场所101及至少一个虚拟听众102中选取一个虚拟演讲场所101及至少一个虚拟听众102;现实世界演讲者10佩戴VR设备12开始演讲,获取现实世界演讲者10实时的焦虑水平数据,根据现实世界演讲者10实时的焦虑水平数据,虚拟听众102的姿势发生改变,以向演讲者实时反馈演讲效果和其焦虑水平,直至演讲结束;按照时间戳的顺序记录现实世界演讲者10开始演讲至结束演讲的实时焦虑水平数据,将该实时焦虑水平数据与演讲者正常水平下的焦虑水平数据作对比,生成本次练习演讲效果和焦虑水平的报告。
一种基于换脸技术及虚拟现实技术模拟演讲的装置,还包括非暂态计算机可读存储介质,非暂态计算机可读存储介质用于存储计算机程序,计算机程序使处理器121执行上述一种基于换脸技术及虚拟现实技术模拟演讲的方法,执行例如:获取现实世界演讲者10正常水平下的焦虑水平数据;基于换脸技术及虚拟现实技术生成至少一个虚拟演讲场所101及至少一个虚拟听众102,从至少一个虚拟演讲场所101及至少一个虚拟听众102中选取一个虚拟演讲场所101及至少一个虚拟听众102;现实世界演讲者10佩戴VR设备12开始演讲,获取现实世界演讲者10实时的焦虑水平数据,根据现实世界演讲者10实时的焦虑水平数据,虚拟听众102的姿势发生改变,以向演讲者实时反馈演讲效果和其焦虑水平,直至演讲结束;按照时间戳的顺序记录现实世界演讲者10开始演讲至结束演讲的实时焦虑水平数据,将该实时焦虑水平数据与演讲者正常水平下的焦虑水平数据作对比,生成本次练习演讲效果和焦虑水平的报告。
综上,本发明的实施例提供通过虚拟的练习环境,创造个性化的学习体验,从而帮助个人提高公众演讲水平。该技术方案能够让用户在虚拟现实中自行设计演讲场所、听众以及接受交互式的反馈,用户可以提供演讲场所的图像以及目标听众的相关信息。同时,虚拟听众102的反应为用户提供实时反馈,帮助用户降低其压力水平,及时调节演讲状态,提升用户演讲能力;另外,本申请装置实时记录用户的演讲效果和焦虑程度根据演讲效果和焦虑程度生成练习演讲效果和焦虑水平的报告。演讲者可以根据练习演讲效果和焦虑水平的报告知道自己的演讲存着哪些弱点,针对弱点进行练习以提高提高演讲能力。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于换脸技术及虚拟现实技术模拟演讲的方法,其特征在于,包括以下步骤:
S1:基于换脸技术及虚拟现实技术生成至少一个虚拟演讲场所及至少一个虚拟听众,从至少一个虚拟演讲场所及至少一个虚拟听众中选取一个虚拟演讲场所及至少一个虚拟听众;
S2:现实世界演讲者佩戴VR设备开始演讲,获取现实世界演讲者实时的焦虑水平数据,根据现实世界演讲者实时的焦虑水平数据,所述虚拟听众的姿势发生改变,以向演讲者实时反馈演讲效果和其焦虑水平,直至演讲结束。
2.根据权利要求1所述的一种基于换脸技术及虚拟现实技术模拟演讲的方法,其特征在于,在所述步骤1之前还包括获取现实世界演讲者正常水平下的焦虑水平数据;在步骤2之后还包括:按照时间戳的顺序记录现实世界演讲者开始演讲至结束演讲的实时焦虑水平数据,将该实时焦虑水平数据与演讲者正常水平下的焦虑水平数据作对比,生成本次练习演讲效果和焦虑水平的报告。
3.根据权利要求1所述的一种基于换脸技术及虚拟现实技术模拟演讲的方法,其特征在于,所述步骤2中,生成至少一个虚拟演讲场所的方法包括:
上传所需的演讲场所图片或者从提供的案例中选择演讲场所图片,基于虚拟现实技术根据演讲场所图片生成360°演讲场所;
生成至少一个虚拟听众的方法包括:
上传演讲者所需要的虚拟听众的信息,通过虚拟听众的信息利用Deepfake换脸技术生成虚拟听众,所述虚拟听众包括3D人物。
4.根据权利要求3所述的一种基于换脸技术及虚拟现实技术模拟演讲的方法,其特征在于,所述虚拟听众的信息包括种族、年龄及性别信息。
5.根据权利要求1所述的一种基于换脸技术及虚拟现实技术模拟演讲的方法,其特征在于,所述虚拟听众的姿势包括虚拟听众的面部表情、身体动作。
6.根据权利要求1所述的一种基于换脸技术及虚拟现实技术模拟演讲的方法,其特征在于,所述焦虑水平数据包括现实世界演讲者声音的响度数据、声音的停顿时间数据。
7.根据权利要求6所述的一种基于换脸技术及虚拟现实技术模拟演讲的方法,其特征在于,所述焦虑水平数据还包括姿势、动作和生理特征,所述生理特征包括视网膜大小,皮肤电导率和心率。
8.根据权利要求1所述的一种基于换脸技术及虚拟现实技术模拟演讲的方法,其特征在于,使用摄像装置监控现实世界演讲者的整个演讲过程,通过播放器播放演讲视频,针对演讲视频,根据演讲评审条件给出本次练习演讲效果和焦虑水平的报告。
9.一种基于换脸技术及虚拟现实技术模拟演讲的装置,其特征在于,包括VR设备,所述VR设备包括至少一个处理器、至少一个存储器和数据总线;其中:
所述处理器与所述存储器通过所述数据总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令以执行如权利要求1至8任一所述的方法。
10.根据权利要求9所述的一种基于换脸技术及虚拟现实技术模拟演讲的装置,其特征在于,还包括非暂态计算机可读存储介质,所述非暂态计算机可读存储介质用于存储计算机程序,所述计算机程序使所述处理器执行如权利要求1至8任一所述的方法。
CN202010368937.XA 2020-05-03 2020-05-03 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置 Active CN111596761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010368937.XA CN111596761B (zh) 2020-05-03 2020-05-03 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010368937.XA CN111596761B (zh) 2020-05-03 2020-05-03 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置

Publications (2)

Publication Number Publication Date
CN111596761A true CN111596761A (zh) 2020-08-28
CN111596761B CN111596761B (zh) 2024-06-21

Family

ID=72191032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010368937.XA Active CN111596761B (zh) 2020-05-03 2020-05-03 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置

Country Status (1)

Country Link
CN (1) CN111596761B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220095720A (ko) * 2020-12-30 2022-07-07 고려대학교 산학협력단 바이오 피드백 및 노출치료 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 치료 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체
CN117541445A (zh) * 2023-12-11 2024-02-09 新励成教育科技股份有限公司 一种虚拟环境交互的口才训练方法、系统、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163178A (ja) * 1998-11-26 2000-06-16 Hitachi Ltd 仮想キャラクタとのインタラクション装置、及び仮想キャラクタの映像を生成するプログラムを記憶した記憶媒体
KR20010099277A (ko) * 2001-09-18 2001-11-09 김연준 대인 공포증 치료를 위한 가상 연설 시뮬레이터
CN106774897A (zh) * 2016-10-18 2017-05-31 朱金彪 虚拟机器人的方法和装置以及使用其的眼镜或头盔
CN106997243A (zh) * 2017-03-28 2017-08-01 北京光年无限科技有限公司 基于智能机器人的演讲场景监控方法及装置
US20180108357A1 (en) * 2016-10-14 2018-04-19 Beijing Baidu Netcom Science And Technology Co., L Td. Virtual reality speech control method and apparatus
CN108074431A (zh) * 2018-01-24 2018-05-25 杭州师范大学 一种应用vr技术演讲实训的系统及方法
CN208283895U (zh) * 2018-01-26 2018-12-25 北京纳虚光影科技有限公司 用于演讲展示的虚拟现实系统
CN109298779A (zh) * 2018-08-10 2019-02-01 济南奥维信息科技有限公司济宁分公司 基于虚拟代理交互的虚拟训练系统与方法
US20190130788A1 (en) * 2017-10-26 2019-05-02 Aquinas Learning, Inc. Virtual Reality Microsimulation Platform
US20190385613A1 (en) * 2018-06-19 2019-12-19 Verizon Patent And Licensing Inc. Methods and Systems for Speech Presentation in an Artificial Reality World
CN110764622A (zh) * 2019-11-01 2020-02-07 山东大学 一种虚拟现实多模式演讲训练工具

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163178A (ja) * 1998-11-26 2000-06-16 Hitachi Ltd 仮想キャラクタとのインタラクション装置、及び仮想キャラクタの映像を生成するプログラムを記憶した記憶媒体
KR20010099277A (ko) * 2001-09-18 2001-11-09 김연준 대인 공포증 치료를 위한 가상 연설 시뮬레이터
US20180108357A1 (en) * 2016-10-14 2018-04-19 Beijing Baidu Netcom Science And Technology Co., L Td. Virtual reality speech control method and apparatus
CN106774897A (zh) * 2016-10-18 2017-05-31 朱金彪 虚拟机器人的方法和装置以及使用其的眼镜或头盔
CN106997243A (zh) * 2017-03-28 2017-08-01 北京光年无限科技有限公司 基于智能机器人的演讲场景监控方法及装置
US20190130788A1 (en) * 2017-10-26 2019-05-02 Aquinas Learning, Inc. Virtual Reality Microsimulation Platform
CN108074431A (zh) * 2018-01-24 2018-05-25 杭州师范大学 一种应用vr技术演讲实训的系统及方法
CN208283895U (zh) * 2018-01-26 2018-12-25 北京纳虚光影科技有限公司 用于演讲展示的虚拟现实系统
US20190385613A1 (en) * 2018-06-19 2019-12-19 Verizon Patent And Licensing Inc. Methods and Systems for Speech Presentation in an Artificial Reality World
CN109298779A (zh) * 2018-08-10 2019-02-01 济南奥维信息科技有限公司济宁分公司 基于虚拟代理交互的虚拟训练系统与方法
CN110764622A (zh) * 2019-11-01 2020-02-07 山东大学 一种虚拟现实多模式演讲训练工具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
帅杨;: "虚拟现实技术在技能型课程教学中的运用――以演讲类课程教学为例", 黄冈师范学院学报, no. 06 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220095720A (ko) * 2020-12-30 2022-07-07 고려대학교 산학협력단 바이오 피드백 및 노출치료 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 치료 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체
WO2022145811A1 (ko) * 2020-12-30 2022-07-07 고려대학교 산학협력단 바이오 피드백 및 노출치료 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 치료 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 비일시적 기록 매체
KR102499966B1 (ko) * 2020-12-30 2023-02-14 고려대학교 산학협력단 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체
CN117541445A (zh) * 2023-12-11 2024-02-09 新励成教育科技股份有限公司 一种虚拟环境交互的口才训练方法、系统、设备及介质
CN117541445B (zh) * 2023-12-11 2024-06-28 新励成教育科技股份有限公司 一种虚拟环境交互的口才训练方法、系统、设备及介质

Also Published As

Publication number Publication date
CN111596761B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
US11024430B2 (en) Representation of symptom alleviation
US20190130788A1 (en) Virtual Reality Microsimulation Platform
CN111290568A (zh) 交互方法、装置及计算机设备
KR102104202B1 (ko) 가상 현실을 사용한 인지행동치료 장치
WO2018034716A1 (en) Behavioral rehearsal system and supporting software
Yuan et al. Quality of experience study for multiple sensorial media delivery
Karafotias et al. Intensifying emotional reactions via tactile gestures in immersive films
CN111596761B (zh) 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置
El-Yamri et al. Emotions-responsive audiences for VR public speaking simulators based on the speakers' voice
JP2018180503A (ja) パブリックスピーキング支援装置、及びプログラム
US20210296003A1 (en) Representation of symptom alleviation
Donnelly et al. Preparing students for clinical placement using 360-video
Fabri Emotionally expressive avatars for collaborative virtual environments
Vinnikov et al. Gaze-contingent auditory displays for improved spatial attention in virtual reality
US20200013311A1 (en) Alternative perspective experiential learning system
KR100445846B1 (ko) 대인 공포증 치료를 위한 가상 연설 시뮬레이터
US20240221518A1 (en) System and method for virtual online medical team training and assessment
Cláudio et al. Virtual characters with affective facial behavior
US20230047622A1 (en) VR-Based Treatment System and Method
KR101611559B1 (ko) 가상 현실 아바타의 사실적 표현 방법 및 이를 적용하는 시스템
Cláudio et al. Virtual environment to treat social anxiety
Takacs How and Why Affordable Virtual Reality Shapes the Future of Education.
JP6251800B1 (ja) 授業システム及び授業支援方法
Shankar Extended reality in educating the next generation of health professionals
Torrejon et al. Panoramic audio and video: towards an immersive learning experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant