CN110969237B - 两性关系视角下的人机虚拟互动构建方法、设备及介质 - Google Patents

两性关系视角下的人机虚拟互动构建方法、设备及介质 Download PDF

Info

Publication number
CN110969237B
CN110969237B CN201911283309.5A CN201911283309A CN110969237B CN 110969237 B CN110969237 B CN 110969237B CN 201911283309 A CN201911283309 A CN 201911283309A CN 110969237 B CN110969237 B CN 110969237B
Authority
CN
China
Prior art keywords
setting
scene
dialogue
man
pvr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911283309.5A
Other languages
English (en)
Other versions
CN110969237A (zh
Inventor
王华珍
游国龙
李欣雨
王烨楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201911283309.5A priority Critical patent/CN110969237B/zh
Publication of CN110969237A publication Critical patent/CN110969237A/zh
Application granted granted Critical
Publication of CN110969237B publication Critical patent/CN110969237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种两性关系视角下的人机虚拟互动构建方法，包括：1、搭建不同的场景模型并对场景模型的材质、灯光和色调参数进行设置；2、搭建不同的机器人模型并对机器人模型的性格、骨骼、面部表情进行设置；3、对场景模型的内部项目与机器人模型进行动画制作；4、创建智能语音交互应用，并对智能语音设备进行语音识别检测；5、创建人机交互应用，实现用户通过智能语音设备与机器人模型对话；6、构建评分系统，根据该评分系统对人机对话的结果进行评分；7、搭建基于Unity3D的Android开发环境，完成两性关系视角下的人机虚拟互动。本发明还提供一种电子设备和计算机可读存储介质，提高与异性交往的能力。

Description

两性关系视角下的人机虚拟互动构建方法、设备及介质
技术领域
本发明涉及计算机应用技术领域，特别涉及一种两性关系视角下的人机虚拟互动构建方法、设备及介质。
背景技术
互联网的发展给人们的生活带来很多便利的同时，也导致越来越多的年轻人变成“低头族”。不论何时何地，年轻人们总习惯于埋头看自己的手机，不是在打游戏就是在聊天软件上与人聊天，这就造成了大多数年轻人缺乏了面对面与人交往的能力。热别是面对心仪的异性时，他们经常会面红耳赤，紧张的没法和异性进行正常的交流。许多年轻人因为沟通能力的欠缺总是错过自己的心仪对象。
目前，大多数高等院校仅仅把大学生婚恋教育作为心理健康教育课的某一章节，内容简单粗略，这种教育方式显然无法达到对青年大学生的两性教育进行有效的引导。而传统的两性教育课程往往停留在理论上的教学，受到时间和空间上的限制，即便有科学性的理论指导，也无法达到一个高效的训练目的。现阶段已存的处理手段主要依靠老师的课堂教学，这样传统的教学手段不仅令人感到枯燥乏味，而且缺乏实践机会，很多人理论知识学习的非常到位，但真正在实践过程中无法很好地运用出来，这就导致了这种传统教学的高人力投入与低效益。种种迹象均表明，现代社会迫切需要想出一些有效的方法来锻炼年轻人的沟通能力。然而，现阶段VR+教育、AI+教育还处于行业起步期。在硬件性能趋同的背景下，消费级产品的受市场认可程度和注入内容的丰富程度将构成差异化竞争力。
发明内容
本发明要解决的技术问题，在于提供一种两性关系视角下的人机虚拟互动构建方法、设备及介质，集成VR+AI+教育模式，用户可在虚拟现实环境内观看理论教学与案例分析视频；然后自主选择交友类型，性别，互动场景，喜欢的机器人形象；选择完成后进入虚拟现实环境内，通过语音完成与机器人的交流互动；互动结束后系统会给出本次互动的最终评分与互动分析，指出本次互动的错误之处，帮助体验者改正错误，更好的与异性进行互动。
第一方面，本发明提供了一种两性关系视角下的人机虚拟互动构建方法，包括如下步骤：
步骤1、搭建不同的场景模型并对场景模型的材质、灯光和色调参数进行设置；
步骤2、搭建不同的机器人模型并对机器人模型的性格、骨骼、面部表情进行设置；
步骤3、对场景模型的内部项目与机器人模型进行动画制作；
步骤4、创建智能语音交互应用，并对智能语音设备进行语音识别检测；
步骤5、创建人机交互应用，实现用户通过智能语音设备与机器人模型对话；
步骤6、构建评分系统，根据该评分系统对人机对话的结果进行评分；
步骤7、搭建基于Unity3D的Android开发环境，基于Unity3D开发完成SDK接入，实现手柄点击功能、虚拟平台引导大厅开发流程与人机虚拟对话系统开发流程，从而完成两性关系视角下的人机虚拟互动。
进一步地，所述步骤1具体包括：
步骤11、使用基础建模以及复合建模完成主展厅、咖啡厅、图书馆、食堂、教室、游乐场六个场景及其内部项目的基础搭建；
步骤12、使用材质编辑器对不同场景的材质进行设置；具体有：
步骤121、将玻璃材质中漫反射、反射和折射的颜色参数：高光光泽度、反射光泽度和折射率进行设置；
步骤122、将大理石材质中漫反射的颜色设置为：在反射贴图通道中加载一张衰减程序贴图，设置其衰减类型，并设置高光光泽度和反射光泽度；
步骤123、发光材质新建VRay灯光材质球，设置所需要的颜色，在颜色的贴图通道中加载一个位图贴图；
步骤124、设置灯光类型：新建光度学灯光，调整灯光阴影类型，将灯光类型切换到Photometric光度学web灯光，在光度学文件路径里面添加光域网文件；
步骤13、设置场景色调，分为冷暖色调分别代表内向和外向两种不同性格。
进一步地，所述步骤2具体包括：
步骤21、构建复数个机器人模型，包括M个男生模型和N个女生模型，M和N为正整数；设置不同机器人模型对应的发型和服装，通过发型与穿着打扮的不同体现出不同性格，使用户根据人物的不同性格做出互动选择；
步骤22、通过创建bipe骨骼实现骨节设置，把骨骼拖到与机器人模型对齐的位置上，由上至下有顺序地调整骨骼的位置，使其与人体真实骨骼位置大致匹配；
步骤23、采用Morpher编辑器修改原始头部模型相应的通道权重值，来调整机器人模型的面部表情；具体有：
步骤231、复制头部模型，对原始头部模型添加Morpher编辑器；
步骤232、选定复制好的头部模型，删除其中的skin绑定，在可编辑网格中编辑顶部和底部位置，使其变形成需要的头部效果；
步骤233、对原始头部模型运用Morpher编辑器，从场景中选择复制的头部模型；
步骤234、根据复制的头部模型对原始头部模型修改其通道权重值，通过通道权重值调整原始头部模型所需要的效果后，删除复制的头部模型；
步骤235、将通道权重值导出为fbx文件，并将fbx文件导入到unity，完成人物面部表情的变化。
进一步地，所述步骤3具体包括：
步骤31、采用AE软件对场景模型的内部项目进行二维动画的设计与制作；具体有：
步骤311、在Photoshop中分不同图层绘制完成素材，分别保存为设定格式的图片；
步骤312、用图片素材拼接成视频动画；
步骤313、用AE软件在视频动画中加上所需要的动画效果与转场效果；
步骤32、采用3DMAX软件对机器人模型的行走动画进行三维动画的设计与制作；具体有：
步骤321、绑定好机器人模型的骨骼，包括腿部、脚部、手臂骨骼的绑定，不出现粘连情况；
步骤322、通过bipe骨骼的足迹模式为其设定足迹，调整足迹个数、步伐大小和运动方式，并按照实际行走路线调整足迹位置；
步骤323、待机器人模型走到指定位置时为其添加转身的动作，同时添加镜头的推进动画，使机器人模型正对镜头，镜头从场景后面调整至场景前面。
进一步地，所述步骤4具体包括：
步骤41、在百度AI开放平台中注册成为百度开发者，然后创建一个语音交互应用，获取APP ID、API KEY、SecretKEY和access_token信息；
步骤42、在代码中编辑正确的API Key和SecretKey，并根据API Key和SecretKey获取access_token；
步骤43、指定put地址，并将unity中的AudioClip数据转化为PCM格式16bit数据；
步骤44、通过代码实现单击智能语音设备时开始语音识别，打开智能语音设备并设置其录制时长、采样率以及是否循环录制，语音识别过程中有文本提示，若识别失败，则由文本提示用户重新按流程输入语音信号，若识别成功，则由文本提示用户进入下一个流程。
进一步地，所述步骤5具体包括：
步骤51、在对话体系中，采用人机对话一一映射的线性关系，用户的每句话对应着机器人模型的一种回答；
步骤52、采用对话树的结构进行对话，对话树的结构是一棵三层的三叉树，第一层为根节点，在对话体系中作为开场白，下面两层每个节点对应着三个子树或者叶子节点，对应着人机对话中用户所选择的三个分支：左子树、中间子树和右子树，用户通过智能语音设备进行对话和选择，并通过语音识别结果分别触发不同的对话流程。
进一步地，所述步骤6具体包括：
步骤61、在对话树中，将选择的三个分支：左子树、中间子树和右子树划为合适、一般与较差三种，分别给对应的左子树、中间子树和右子树设置相应的权值；
步骤62、人机对话一共有三轮，每一轮满分为100分，经过三轮对话后，最后的分数为总分/3，划分为不同等级，根据经过的对话分支的不同得到相对应的分数，并生成分析报告；
步骤63、在分析报告中，根据用户的选择与得分，得出用户具体的操作内容，并给出对应的建议。
进一步地，所述步骤7具体包括：
步骤71、搭建基于Unity3D的Android开发环境；具体有：
步骤711、下载并安装JAVA JDK，修改电脑环境变量，安装AndroidSDK，并且在unity中进行设置，填写对应的目标位置，让unity与JDK、SDK关联；
步骤712、在unity中创建一个测试场景，加入Build Setting中，选择Android应用平台进行导出，导出时，选择Player Setting进行导出的包名设置的Company Name和Product Name自定义的名称应和Package Name或come.CompanyName.ProductName的名称一致；
步骤72、基于Unity3D开发的SDK接入；具体有：
步骤721、打开Unity5.6.1f，新建工程后，保存当前场景用于SDK接入测试，在场景中，调整Transform信息后，导入SDK；
步骤722、进入Project选项卡，依次展开Assets>Pvr_UnitySDK>Prefabs，将Pvr_UnitySDK预制体拖放入场景，将其Transform组件的Position和Rotation均设置为(0，0，0)，放入后，按住Alt，移动鼠标，画面跟着上下左右转动；按住Alt+点击鼠标左键选择VR模式或Mono模式，在预制体的inspector中进行设置来取消VR模式显示；
步骤723、根据应用的类型设置头部和手部的跟踪类型：进入Pvr_UnitySDK的Inspector面板，如果头部是m dof，则需要设置HeadPose为m dof，如果手部是n dof，则需要设置HandPose为n dof；m和n为自然数；
步骤724、保存当前场景，进入File>Build Settings，点击Add Current，将当前场景加入构建列表，在Platform处选中Android，然后点击SwitchPlatform，最后点击Build完成打包；
步骤73、PICO开发之手柄点击功能的实现；具体有：
步骤731、在Pvr_UnitySDK中新建空物体，命名为HeadControl,作为它的子物体，再新建一个空物体，命名为HeadSetControl，用来显示凝视或者手柄点击的圆环，设为子物体，添加对应的组件，并将对象挂载到对应的组件上，修改圆环颜色，设置属性，实现手柄点击功能；
步骤732、展开Assets>Pvr_Controller>Prefabs，将PvrController0和PvrController1预制体放到场景中，作为Pvr_UnitySDK的子物体，与Head同级；
步骤733、展开Assets>Pvr_Controller>Prefabs，将ControllerManager预制体放到场景里，然后将PvrController0和PvrController1分别挂在ControllerManager上的Pvr_Controller脚本中，将Goblin_Controller下的toast挂在Pvr_ControllerManager脚本中，给ControllerManager添加Pvr_ControllerDemo组件，并将Pvr_UnitySDK中的对象相应的挂在Pvr_ControllerDemo组件对应位置上进行调整；
步骤734、实现手柄点击UI界面进行交互开发功能，调整Canvas的RenderMode为World Space，将Pvr_UnitySDK中的Head摄像机拖到相应位置，实现UI在虚拟现实中的操作功能，再在Canvas的Inspect0r面板上挂载相应Pvr组件；
步骤74、虚拟平台引导大厅开发流程与代码实现；具体有：
步骤741、实现引导界面的面板切换，通过三个Toggle自带的组件属性控制三个Panel的切换，将Toggle勾选时需要显示的GameObject的gameObject.SetActive，函数设为回调函数，当选中该Toggle时目标可见，取消Toggle时目标隐藏，实现标签页形式的UI；
步骤742、2D与3D动画在Unity3D内的的播放与暂停，创建Canvas，重命名为任意名称，在Canvas下添加UI对象RawImage，给它添加两个组件：videoPlayer和AudioSource，将相应动画和物体拖到应有的位置，编写控制代码，并将其作为组件添加到物体上，声明一段视频与图像，在Start()函数中让变量获取对应的组件，在Update()函数中让动画实时映射到图像上，完成动画的播放；
步骤743、设置界面的代码实现，通过代码完成参数选择设置、控制Button的图片切换、场景切换和摄像机的移动；
步骤75、人机虚拟对话系统开发流程及代码实现；具体有：
步骤751、对话体系的算法实现，编写存储对话体系中的对话语句的C#脚本，在其他脚本中进行变量与函数调用；
步骤752、对话流程的功能实现，添加开始按钮的点击事件，迭代器实现时间管理；
步骤753、人物显示与隐藏的实现，设置界面的脚本中定义并声明了整数型变量Sex_Num和Robote_Num，Sex_Num的取值范围为0或1，决定进入的对话场景中出现的机器人模型为男生或女生，Robote_Num的取值范围为0、1或2，决定了与机器人模型三种对应形象选择，采用脚本之间的传值方式进行控制与显示，当点击开始对话按钮时，触发点击事件，显示对应的机器人模型；
步骤754、场景切换渐变效果，PICO的SDK提供场景切换渐变效果，ScreenFade开启，设置场景切换渐变的颜色与持续时间。
第二方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、与传统枯燥单一的书本教学以及媒体教学不同，VR的沉浸感，临场感和趣味性，可以将枯燥乏味的知识以生动有趣的方式呈现，大大提高学生学习的积极性；
2、提供高度仿真的实验环境，营造一个真实环境的氛围，大大降低教学投入成本；
3、实验全程三维动画，声效俱全，学生体验感和互动性极强；
4、使用智能语音识别进行人机对话，使学生获得更加真实的交互式的体验；
5、锻炼两性交往能力，提高在异性面前的沟通能力；
6、实验项目具有可拓展性，可在系统框架下进行实验内容的扩增，进行更多教学内容的部署；
7、本发明不仅可以高效传授教学内容，还可以利用自身核心特点，覆盖旧思想、旧知识、旧内容，发展为两性关系理论知识和VR、AI高度融合之后的“新内容”。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明一种两性关系视角下的人机虚拟互动系统的框架示意图。
图2为本发明实施例一中两性关系视角下的人机虚拟互动构建方法中的流程图。
图3为本发明中评分系统的工作流程示意图。
图4为本发明中案例分析图。
图5为本发明中两性关系理论展示图。
图6为本发明中主设置界面示意图。
图7为本发明中“交友圈”设置界面示意图。
图8为本发明中“场景选择”设置界面示意图。
图9为本发明中“机器人性别”设置界面示意图。
图10为本发明中“机器人性格”设置界面示意图。
图11为本发明中“场景背景说明”(以咖啡厅为例)设置界面示意图。
图12为本发明中“人机对话”用户提问示意图(以咖啡厅为例)。
图13为本发明中“人机对话”用户提问话语显示图(以咖啡厅为例)。
图14为本发明中“人机对话”机器人回答显示图(以咖啡厅为例)。
图15为本发明中“人机对话”继续话题的选择(以咖啡厅为例)。
图16为本发明中用户进行两性交互的交流能力评分示意图。
图17为本发明中分析报告结果示意图。
图18为本发明实施例二中电子设备的结构示意图。
图19为本发明实施例三中介质的结构示意图。
具体实施方式
本申请实施例通过提供一种两性关系视角下的人机虚拟互动构建方法、设备及介质。
本申请实施例中的技术方案，总体思路如下：
一种两性关系视角下的人机虚拟互动构建方法、设备及介质在虚拟现实(VR)环境中加入人工智能(AI)交互技术，并将其运用在教育领域，是“VR+AI+教育”的创新集成模式。用户在VR世界中，放下心理包袱，可以沉浸式与虚拟机器人进行对话交流，体验学习两性互动的知识与技巧，丰富自己对两性互动知识的储备，提高与异性交往的能力，能促进该领域和相关技术的繁荣发展。
在介绍具体实施例之前，先介绍本申请实施例方法所对应的框架，如图1所示，系统大概分七个部分：场景模型搭建模块、机器人模型搭建模块、动画制作模块、智能语音交互模块、人机交互模块、评分系统构建模块和虚拟现实(VR)体验模块；
所述场景模型搭建模块，用于搭建不同的场景模型并对场景模型的材质、灯光和色调参数进行设置；
所述机器人模型搭建模块，用于搭建不同的机器人模型并对机器人模型的性格、骨骼、面部表情进行设置；
所述动画制作模块，用于对场景模型的内部项目与机器人模型进行动画制作；
所述智能语音交互模块，用于创建智能语音交互应用，并对智能语音设备进行语音识别检测；
所述人机交互模块，用于创建人机交互应用，实现用户通过智能语音设备与机器人模型对话；
所述评分系统构建模块，用于构建评分系统，根据该评分系统对人机对话的结果进行评分；
所述虚拟现实体验模块，用于搭建基于Unity3D的Android开发环境，基于Unity3D开发完成SDK接入，实现手柄点击功能、虚拟平台引导大厅开发流程与人机虚拟对话系统开发流程，从而完成两性关系视角下的人机虚拟互动。
实施例一
本实施例提供一种两性关系视角下的人机虚拟互动构建方法，如图2和图3所示，包括如下步骤：
步骤S1、搭建不同的场景模型并对场景模型的材质、灯光和色调参数进行设置；该步骤具体包括：
步骤S11、使用基础建模以及复合建模完成主展厅、咖啡厅、图书馆、食堂、教室、游乐场六个场景及其内部项目(如：旋转木马、摩天轮、鬼屋、过山车等)的基础搭建；
步骤S12、使用材质编辑器对不同场景的材质进行设置，使场景更加具有真实感；具体有：
步骤S121、将玻璃材质中漫反射、反射和折射的颜色参数：高光光泽度、反射光泽度和折射率进行设置，如：设置高光光泽度为0.9，反射光泽度为1，折射率为1.5；
步骤S122、将大理石材质中漫反射的颜色设置为：在反射贴图通道中加载一张衰减程序贴图，设置其衰减类型，并设置高光光泽度和反射光泽度，如：设置衰减类型为Fresnel，高光光泽度为0.85，反射光泽度为0.95；
步骤S123、发光材质新建VRay灯光材质球，设置所需要的颜色，在颜色的贴图通道中加载一个位图贴图；
步骤S124、设置灯光类型：新建光度学灯光，调整灯光阴影类型，将灯光类型切换到Photometric光度学web灯光，在光度学文件路径里面添加光域网文件；
步骤S13、设置场景色调，分为冷暖色调分别代表内向和外向两种不同性格。
步骤S2、搭建不同的机器人模型并对机器人模型的性格、骨骼、面部表情进行设置；该步骤具体包括：
步骤S21、构建复数个机器人模型，包括M个男生模型和N个女生模型，M和N为正整数，如：构建6个机器人模型，包括3个男生模型和3个女生模型；设置不同机器人模型对应的发型和服装，通过发型与穿着打扮的不同体现出不同性格，使用户根据人物的不同性格做出互动选择；
步骤S22、通过创建bipe骨骼实现骨节设置，把骨骼拖到与机器人模型对齐的位置上，由上至下有顺序地调整骨骼的位置，使其与人体真实骨骼位置大致匹配；
步骤S23、采用Morpher编辑器修改原始头部模型相应的通道权重值，来调整机器人模型的面部表情，达到表情改变的目的；具体有：
步骤S231、复制头部模型，对原始头部模型添加Morpher编辑器；
步骤S232、选定复制好的头部模型，删除其中的skin绑定，在可编辑网格中编辑顶部和底部位置，使其变形成需要的头部效果；
步骤S233、对原始头部模型运用Morpher编辑器，从场景中选择复制的头部模型；
步骤S234、根据复制的头部模型对原始头部模型修改其通道权重值，通过通道权重值调整原始头部模型所需要的效果后，删除复制的头部模型；
步骤S235、将通道权重值导出为fbx文件，并将fbx文件导入到unity，完成人物面部表情的变化。
步骤S3、对场景模型的内部项目与机器人模型进行动画制作；该步骤具体包括：
步骤S31、采用AE软件对场景模型的内部项目进行二维动画的设计与制作；具体有：
步骤S311、在Photoshop中分不同图层绘制完成素材，分别保存为设定格式(如：png格式)的图片；
步骤S312、用图片素材拼接成视频动画；
步骤S313、用AE软件在视频动画中加上所需要的动画效果与转场效果；
步骤S32、采用3DMAX软件对机器人模型的行走动画进行三维动画的设计与制作；具体有：
步骤S321、绑定好机器人模型的骨骼，包括腿部、脚部、手臂骨骼的绑定，不出现粘连情况；
步骤S322、通过bipe骨骼的足迹模式为其设定足迹，调整足迹个数、步伐大小和运动方式，并按照实际行走路线调整足迹位置；
步骤S323、待机器人模型走到指定位置时为其添加转身的动作，同时添加镜头的推进动画，使机器人模型正对镜头，镜头从场景后面调整至场景前面。
步骤S4、创建智能语音交互应用，并对智能语音设备进行语音识别检测；该步骤具体包括：
步骤S41、在百度AI开放平台中注册成为百度开发者，然后创建一个语音交互应用，获取APP ID、API KEY、Secret KEY和access_token信息；
步骤S42、在代码中编辑正确的API Key和SecretKey，并根据API Key和SecretKey获取access_token；
步骤S43、指定put地址，并将unity中的AudioClip数据转化为PCM格式16bit数据；
步骤S44、通过代码实现单击智能语音设备(如：麦克风)时开始语音识别，通过Microphone.Start()方法打开智能语音设备(如：麦克风)并设置其录制时长、采样率以及是否循环录制，语音识别过程中有文本提示“正在识别”，若识别失败，则由文本提示用户重新按流程输入语音信号，若识别成功，则由文本提示用户进入下一个流程。
步骤S5、创建人机交互应用，实现用户通过智能语音设备与机器人模型对话；该步骤具体包括：
步骤S51、在对话体系中，采用人机对话一一映射的线性关系，用户的每句话对应着机器人模型的一种回答；
步骤S52、采用对话树的结构进行对话，对话树的结构是一棵三层的三叉树，第一层为根节点，在对话体系中作为开场白，下面两层每个节点对应着三个子树或者叶子节点，对应着人机对话中用户所选择的三个分支：左子树、中间子树和右子树，用户通过智能语音设备进行对话和选择，并通过语音识别结果分别触发不同的对话流程。
步骤S6、构建评分系统，根据该评分系统对人机对话的结果进行评分；该步骤具体包括：
步骤S61、在对话树中，将选择的三个分支：左子树、中间子树和右子树划为合适、一般与较差三种，分别给对应的左子树、中间子树和右子树设置相应的权值：50，40和25；
步骤S62、人机对话一共有三轮，每一轮满分为100分，经过三轮对话后，最后的分数为总分/3，划分为A、B、C和D四个不同等级，根据经过的对话分支的不同得到相对应的分数，用作实验成绩和分析报告的判定依据，并生成分析报告；
步骤S63、在分析报告中，根据用户的选择与得分，得出用户具体的操作内容，并给出对应的建议，当等级达到B级及以上，即可开启恋爱模式，回到主展厅进行场景选择，继续体验。
步骤S7、搭建基于Unity3D的Android开发环境，基于Unity3D开发完成SDK接入，实现手柄点击功能、虚拟平台引导大厅开发流程与人机虚拟对话系统开发流程，从而完成两性关系视角下的人机虚拟互动；该步骤具体包括：
步骤S71、搭建基于Unity3D的Android开发环境；具体有：
步骤S711、下载并安装JAVA JDK，修改电脑环境变量，安装AndroidSDK，并且在unity中进行设置，填写对应的目标位置，让unity与JDK、SDK关联；
步骤S712、在unity中创建一个测试场景，加入Build Setting中，选择Android应用平台进行导出，导出时，选择Player Setting进行导出的包名设置的Company Name和Product Name自定义的名称应和Package Name或come.CompanyName.ProductName的名称一致；
步骤S72、基于Unity3D开发的SDK接入；具体有：
步骤S721、打开Unity5.6.1f，新建工程后，保存当前场景用于SDK接入测试，在场景中，调整Transform信息后，导入SDK(选择菜单Assets>ImportPackage>CustomPackage)；
步骤S722、进入Project选项卡，依次展开Assets>Pvr_UnitySDK>Prefabs，将Pvr_UnitySDK预制体拖放入场景，将其Transform组件的Position和Rotation均设置为(0，0，0)，放入后，按住Alt，移动鼠标，画面跟着上下左右转动；按住Alt+点击鼠标左键选择VR模式或Mono模式，在预制体的inspector中进行设置来取消VR模式显示；
步骤S723、根据应用的类型设置头部和手部的跟踪类型：进入Pvr_UnitySDK的Inspector面板，如果头部是m dof，则需要设置HeadPose为m dof，如果手部是n dof，则需要设置HandPose为n dof；m和n为自然数，如：如果头是6dof，则需要设置HeadPose为SixDof，如果手是6dof，则需要设置HandPose为Six Dof，在我们使用的开发平台中，使用的为3dof；
步骤S724、保存当前场景，进入File>Build Settings，点击Add Current，将当前场景加入构建列表，在Platform处选中Android，然后点击SwitchPlatform，最后点击Build完成打包；
步骤S73、PICO开发之手柄点击(凝视)功能的实现；具体有：
步骤S731、在Pvr_UnitySDK中新建空物体，命名为HeadControl,作为它的子物体，再新建一个空物体，命名为HeadSetControl，用来显示凝视或者手柄点击的圆环，设为子物体，添加对应的组件，并将对象挂载到对应的组件上，修改圆环颜色，设置属性，实现手柄点击功能；
步骤S732、展开Assets>Pvr_Controller>Prefabs，将PvrController0和PvrController1(在这里我使用的是双手柄控制，若是用单手柄控制，只需要将PvrController0放到场景中)预制体放到场景中，作为Pvr_UnitySDK的子物体，与Head同级；
步骤S733、展开Assets>Pvr_Controller>Prefabs，将ControllerManager预制体放到场景里，然后将PvrController0和PvrController1分别挂在ControllerManager上的Pvr_Controller脚本中，将Goblin_Controller下的toast挂在Pvr_ControllerManager脚本中，给ControllerManager添加Pvr_ControllerDemo组件，并将Pvr_UnitySDK中的对象相应的挂在Pvr_ControllerDemo组件对应位置上进行调整；
步骤S734、实现手柄点击UI界面进行交互开发功能，调整Canvas的RenderMode为World Space，将Pvr_UnitySDK中的Head摄像机拖到相应位置，实现UI在虚拟现实中的操作功能，再在Canvas的Inspect0r面板上挂载相应Pvr组件；
步骤S74、虚拟平台引导大厅开发流程与代码实现；具体有：
步骤S741、实现引导界面的面板切换，通过三个Toggle自带的组件属性控制三个Panel的切换，将Toggle勾选时需要显示的GameObject的gameObject.SetActive，函数设为回调函数，当选中该Toggle时目标可见，取消Toggle时目标隐藏，实现标签页形式的UI；
步骤S742、2D与3D动画在Unity3D内的的播放与暂停，创建Canvas，重命名为任意名称，在Canvas下添加UI对象RawImage，给它添加两个组件：videoPlayer和AudioSource，将相应动画和物体拖到应有的位置，编写控制代码，并将其作为组件添加到物体上，声明一段视频与图像，在Start()函数中让变量获取对应的组件，在Update()函数中让动画实时映射到图像上，完成动画的播放；
步骤S743、设置界面的代码实现，通过代码完成参数选择设置、控制Button的图片切换、场景切换和摄像机的移动；
步骤S75、人机虚拟对话系统开发流程及代码实现；具体有：
步骤S751、对话体系的算法实现，编写存储对话体系中的对话语句的C#脚本，在其他脚本中进行变量与函数调用；
步骤S752、对话流程的功能实现，添加开始按钮的点击事件，迭代器实现时间管理；
步骤S753、人物显示与隐藏的实现，设置界面的脚本中定义并声明了整数型变量Sex_Num和Robote_Num，Sex_Num的取值范围为0或1，决定进入的对话场景中出现的机器人模型为男生或女生，Robote_Num的取值范围为0、1或2，决定了与机器人模型三种对应形象选择，采用脚本之间的传值方式进行控制与显示，当点击开始对话按钮时，触发点击事件，显示对应的机器人模型；
步骤S754、场景切换渐变效果，PICO的SDK提供场景切换渐变效果，ScreenFade开启，设置场景切换渐变的颜色与持续时间(时间单位为S)。
采用Unity3D引擎与PICO一体机作为开发环境。在Unity中完成系统的开发和集成，之后由Unity3D导出的Android平台应用安装程序(apk)通过数据线导入PICO一体机中，进行安装。用户使用本系统的流程如下：
1.佩戴VR一体机。
2.进入引导大厅，观看前台的实验目标与规则介绍。学习墙展示了实验目标与规则介绍以供使用者阅读学习。选择使用手柄或者一体机自带的凝视功能点击地面上的圆圈，可以移动到展厅左面查看案例分析，如图4所示；也可以移动到展厅右面观看理论展示，如图5所示。
3.选择使用手柄或者一体机自带的凝视功能，点击地面上的圆圈，可以移动到展厅正前方墙面的主设置界面，如图6。通过交友圈面板可以选择熟人圈或者生人圈，如图7；在场景面板有四个选项：咖啡厅，图书馆，教室，食堂，如图8；用户可根据自身情况选择男生机器人或者女生机器人，如图9，选择喜欢的机器人形象和性格，如图10。完成上述选择，点击确定按钮则可进入相应的对话场景。
4.进入虚拟场景进行人机对话。进入虚拟场景后可以进行人机对话。首先是根据场景设计一个背景板，给用户一些关于两性认识的小建议，如面部管理，聊天技巧等，如图11。其次，用户点击“开始对话”进入多轮对话。画面中出现三个供用户说的话语选项，如图12。用户挑选其中任何一句，先点击话筒，对准麦克风字句清晰的说出这句话，如图13，语音识别后显示机器人的回答，如图14。完成一轮后可以点击继续话题，进行新一轮人机交互，如图15。
5.完成三轮对话后，得到等级评定，如图16，和分析报告，如图17。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
至此，一种两性关系视角下的人机虚拟互动构建方法全部结束。不难发现，本发明提出的一种两性关系视角下的人机虚拟互动构建方法创新性地构建“VR+AI+教育”的创新模式研究，在虚拟现实环境中加入智能语音交互技术，并将其运用在教育领域。使用户在VR世界中，放下心理包袱，可以沉浸式体验学习两性互动的知识与技巧，并能通过语音进行与机器人的互动，丰富自己对两性互动知识的储备，提高与异性交往的能力，能促进该领域和相关技术的繁荣发展。
基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例二。
实施例二
本实施例提供了一种电子设备，如图18所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。
由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例三。
实施例三
本实施例提供一种计算机可读存储介质，如图19所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
1、与传统枯燥单一的书本教学以及媒体教学不同，VR的沉浸感，临场感和趣味性，可以将枯燥乏味的知识以生动有趣的方式呈现，大大提高学生学习的积极性；
2、提供高度仿真的实验环境，营造一个真实环境的氛围，大大降低教学投入成本；
3、实验全程三维动画，声效俱全，学生体验感和互动性极强；
4、使用智能语音识别进行人机对话，使学生获得更加真实的交互式的体验；
5、锻炼两性交往能力，提高在异性面前的沟通能力；
6、实验项目具有可拓展性，可在系统框架下进行实验内容的扩增，进行更多教学内容的部署；
7、本发明不仅可以高效传授教学内容，还可以利用自身核心特点，覆盖旧思想、旧知识、旧内容，发展为两性关系理论知识和VR、AI高度融合之后的“新内容”。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (7)

1.一种两性关系视角下的人机虚拟互动构建方法，其特征在于：包括如下步骤：
步骤1、搭建不同的场景模型并对场景模型的材质、灯光和色调参数进行设置；
步骤2、搭建不同的机器人模型并对机器人模型的性格、骨骼、面部表情进行设置；
其中，所述步骤2具体包括：
步骤21、构建复数个机器人模型，包括M个男生模型和N个女生模型，M和N为正整数；设置不同机器人模型对应的发型和服装，通过发型与穿着打扮的不同体现出不同性格，使用户根据人物的不同性格做出互动选择；
步骤22、通过创建bipe骨骼实现骨节设置，把骨骼拖到与机器人模型对齐的位置上，由上至下有顺序地调整骨骼的位置，使其与人体真实骨骼位置大致匹配；
步骤23、采用Morpher编辑器修改原始头部模型相应的通道权重值，来调整机器人模型的面部表情；具体有：
步骤231、复制头部模型，对原始头部模型添加Morpher编辑器；
步骤232、选定复制好的头部模型，删除其中的skin绑定，在可编辑网格中编辑顶部和底部位置，使其变形成需要的头部效果；
步骤233、对原始头部模型运用Morpher编辑器，从场景中选择复制的头部模型；
步骤234、根据复制的头部模型对原始头部模型修改其通道权重值，通过通道权重值调整原始头部模型所需要的效果后，删除复制的头部模型；
步骤235、将通道权重值导出为fbx文件，并将fbx文件导入到unity，完成人物面部表情的变化；
步骤3、对场景模型的内部项目与机器人模型进行动画制作；
步骤4、创建智能语音交互应用，并对智能语音设备进行语音识别检测；
步骤5、创建人机交互应用，实现用户通过智能语音设备与机器人模型对话；
其中，所述步骤5具体包括：
步骤51、在对话体系中，采用人机对话一一映射的线性关系，用户的每句话对应着机器人模型的一种回答；
步骤52、采用对话树的结构进行对话，对话树的结构是一棵三层的三叉树，第一层为根节点，在对话体系中作为开场白，下面两层每个节点对应着三个子树或者叶子节点，对应着人机对话中用户所选择的三个分支：左子树、中间子树和右子树，用户通过智能语音设备进行对话和选择，并通过语音识别结果分别触发不同的对话流程；
步骤6、构建评分系统，根据该评分系统对人机对话的结果进行评分；
其中，所述步骤6具体包括：
步骤61、在对话树中，将选择的三个分支：左子树、中间子树和右子树划为合适、一般与较差三种，分别给对应的左子树、中间子树和右子树设置相应的权值；
步骤62、人机对话一共有三轮，每一轮满分为100分，经过三轮对话后，最后的分数为总分/3，划分为不同等级，根据经过的对话分支的不同得到相对应的分数，并生成分析报告；
步骤63、在分析报告中，根据用户的选择与得分，得出用户具体的操作内容，并给出对应的建议；
步骤7、搭建基于Unity3D的Android开发环境，基于Unity3D开发完成SDK接入，实现手柄点击功能、虚拟平台引导大厅开发流程与人机虚拟对话系统开发流程，从而完成两性关系视角下的人机虚拟互动。
2.根据权利要求1所述的一种两性关系视角下的人机虚拟互动构建方法，其特征在于：所述步骤1具体包括：
步骤11、使用基础建模以及复合建模完成主展厅、咖啡厅、图书馆、食堂、教室、游乐场六个场景及其内部项目的基础搭建；
步骤12、使用材质编辑器对不同场景的材质进行设置；具体有：
步骤121、将玻璃材质中漫反射、反射和折射的颜色参数：高光光泽度、反射光泽度和折射率进行设置；
步骤122、将大理石材质中漫反射的颜色设置为：在反射贴图通道中加载一张衰减程序贴图，设置其衰减类型，并设置高光光泽度和反射光泽度；
步骤123、发光材质新建VRay灯光材质球，设置所需要的颜色，在颜色的贴图通道中加载一个位图贴图；
步骤124、设置灯光类型：新建光度学灯光，调整灯光阴影类型，将灯光类型切换到Photometric光度学web灯光，在光度学文件路径里面添加光域网文件；
步骤13、设置场景色调，分为冷暖色调分别代表内向和外向两种不同性格。
3.根据权利要求1所述的一种两性关系视角下的人机虚拟互动构建方法，其特征在于：所述步骤3具体包括：
步骤31、采用AE软件对场景模型的内部项目进行二维动画的设计与制作；具体有：
步骤311、在Photoshop中分不同图层绘制完成素材，分别保存为设定格式的图片；
步骤312、用图片素材拼接成视频动画；
步骤313、用AE软件在视频动画中加上所需要的动画效果与转场效果；
步骤32、采用3DMAX软件对机器人模型的行走动画进行三维动画的设计与制作；具体有：
步骤321、绑定好机器人模型的骨骼，包括腿部、脚部、手臂骨骼的绑定，不出现粘连情况；
步骤322、通过bipe骨骼的足迹模式为其设定足迹，调整足迹个数、步伐大小和运动方式，并按照实际行走路线调整足迹位置；
步骤323、待机器人模型走到指定位置时为其添加转身的动作，同时添加镜头的推进动画，使机器人模型正对镜头，镜头从场景后面调整至场景前面。
4.根据权利要求1所述的一种两性关系视角下的人机虚拟互动构建方法，其特征在于：所述步骤4具体包括：
步骤41、在百度AI开放平台中注册成为百度开发者，然后创建一个语音交互应用，获取APP ID、API KEY、Secret KEY和access_token信息；
步骤42、在代码中编辑正确的API Key和Secret Key，并根据API Key和Secret Key获取access_token；
步骤43、指定put地址，并将unity中的AudioClip数据转化为PCM格式16bit数据；
步骤44、通过代码实现单击智能语音设备时开始语音识别，打开智能语音设备并设置其录制时长、采样率以及是否循环录制，语音识别过程中有文本提示，若识别失败，则由文本提示用户重新按流程输入语音信号，若识别成功，则由文本提示用户进入下一个流程。
5.根据权利要求1所述的一种两性关系视角下的人机虚拟互动构建方法，其特征在于：所述步骤7具体包括：
步骤71、搭建基于Unity3D的Android开发环境；具体有：
步骤711、下载并安装JAVA JDK，修改电脑环境变量，安装Android SDK，并且在unity中进行设置，填写对应的目标位置，让unity与JDK、SDK关联；
步骤712、在unity中创建一个测试场景，加入Build Setting中，选择Android应用平台进行导出，导出时，选择Player Setting进行导出的包名设置的Company Name和ProductName自定义的名称应和Package Name或come.Company Name.Product Name的名称一致；
步骤72、基于Unity3D开发的SDK接入；具体有：
步骤721、打开Unity5.6.1f，新建工程后，保存当前场景用于SDK接入测试，在场景中，调整Transform信息后，导入SDK；
步骤722、进入Project选项卡，依次展开Assets>Pvr_UnitySDK>Prefabs，将Pvr_UnitySDK预制体拖放入场景，将其Transform组件的Position和Rotation均设置为(0，0，0)，放入后，按住Alt，移动鼠标，画面跟着上下左右转动；按住Alt+点击鼠标左键选择VR模式或Mono模式，在预制体的inspector中进行设置来取消VR模式显示；
步骤723、根据应用的类型设置头部和手部的跟踪类型：进入Pvr_UnitySDK的Inspector面板，如果头部是m dof，则需要设置HeadPose为m dof，如果手部是n dof，则需要设置HandPose为n dof；m和n为自然数；
步骤724、保存当前场景，进入File>Build Settings，点击Add Current，将当前场景加入构建列表，在Platform处选中Android，然后点击Switch Platform，最后点击Build完成打包；
步骤73、PICO开发之手柄点击功能的实现；具体有：
步骤731、在Pvr_UnitySDK中新建空物体，命名为HeadControl,作为它的子物体，再新建一个空物体，命名为HeadSetControl，用来显示凝视或者手柄点击的圆环，设为子物体，添加对应的组件，并将对象挂载到对应的组件上，修改圆环颜色，设置属性，实现手柄点击功能；
步骤732、展开Assets>Pvr_Controller>Prefabs，将PvrController0和PvrController1预制体放到场景中，作为Pvr_UnitySDK的子物体，与Head同级；
步骤733、展开Assets>Pvr_Controller>Prefabs，将ControllerManager预制体放到场景里，然后将PvrController0和PvrController1分别挂在ControllerManager上的Pvr_Controller脚本中，将Goblin_Controller下的toast挂在Pvr_ControllerManager脚本中，给ControllerManager添加Pvr_ControllerDemo组件，并将Pvr_UnitySDK中的对象相应的挂在Pvr_ControllerDemo组件对应位置上进行调整；
步骤734、实现手柄点击UI界面进行交互开发功能，调整Canvas的Render Mode为WorldSpace，将Pvr_UnitySDK中的Head摄像机拖到相应位置，实现UI在虚拟现实中的操作功能，再在Canvas的Inspect0r面板上挂载相应Pvr组件；
步骤74、虚拟平台引导大厅开发流程与代码实现；具体有：
步骤741、实现引导界面的面板切换，通过三个Toggle自带的组件属性控制三个Panel的切换，将Toggle勾选时需要显示的GameObject的gameObject.SetActive，函数设为回调函数，当选中该Toggle时目标可见，取消Toggle时目标隐藏，实现标签页形式的UI；
步骤742、2D与3D动画在Unity3D内的播放与暂停，创建Canvas，重命名为任意名称，在Canvas下添加UI对象RawImage，给它添加两个组件：videoPlayer和AudioSource，将相应动画和物体拖到应有的位置，编写控制代码，并将其作为组件添加到物体上，声明一段视频与图像，在Start()函数中让变量获取对应的组件，在Update()函数中让动画实时映射到图像上，完成动画的播放；
步骤743、设置界面的代码实现，通过代码完成参数选择设置、控制Button的图片切换、场景切换和摄像机的移动；
步骤75、人机虚拟对话系统开发流程及代码实现；具体有：
步骤751、对话体系的算法实现，编写存储对话体系中的对话语句的C#脚本，在其他脚本中进行变量与函数调用；
步骤752、对话流程的功能实现，添加开始按钮的点击事件，迭代器实现时间管理；
步骤753、人物显示与隐藏的实现，设置界面的脚本中定义并声明了整数型变量Sex_Num和Robote_Num，Sex_Num的取值范围为0或1，决定进入的对话场景中出现的机器人模型为男生或女生，Robote_Num的取值范围为0、1或2，决定了与机器人模型三种对应形象选择，采用脚本之间的传值方式进行控制与显示，当点击开始对话按钮时，触发点击事件，显示对应的机器人模型；
步骤754、场景切换渐变效果，PICO的SDK提供场景切换渐变效果，Screen Fade开启，设置场景切换渐变的颜色与持续时间。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5任一项所述的方法。
CN201911283309.5A 2019-12-13 2019-12-13 两性关系视角下的人机虚拟互动构建方法、设备及介质 Active CN110969237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911283309.5A CN110969237B (zh) 2019-12-13 2019-12-13 两性关系视角下的人机虚拟互动构建方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911283309.5A CN110969237B (zh) 2019-12-13 2019-12-13 两性关系视角下的人机虚拟互动构建方法、设备及介质

Publications (2)

Publication Number Publication Date
CN110969237A CN110969237A (zh) 2020-04-07
CN110969237B true CN110969237B (zh) 2023-06-27

Family

ID=70034346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911283309.5A Active CN110969237B (zh) 2019-12-13 2019-12-13 两性关系视角下的人机虚拟互动构建方法、设备及介质

Country Status (1)

Country Link
CN (1) CN110969237B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882178A (zh) * 2020-07-09 2020-11-03 南京火眼金睛文化创意产业有限公司 智慧展厅中控方法、系统、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992180A (zh) * 2019-02-26 2019-07-09 努比亚技术有限公司 一种显示控制方法及移动终端、计算机可读存储介质
CN110210012A (zh) * 2019-05-28 2019-09-06 巢湖学院 一种基于虚拟现实技术交互性课件制作方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190332400A1 (en) * 2018-04-30 2019-10-31 Hootsy, Inc. System and method for cross-platform sharing of virtual assistants

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992180A (zh) * 2019-02-26 2019-07-09 努比亚技术有限公司 一种显示控制方法及移动终端、计算机可读存储介质
CN110210012A (zh) * 2019-05-28 2019-09-06 巢湖学院 一种基于虚拟现实技术交互性课件制作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Unity3D的机器人本体拆装的虚拟教学系统设计;尤炜焜;《机械研究与应用》;20180828(第04期);全文 *

Also Published As

Publication number Publication date
CN110969237A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
US20220148271A1 (en) Immersive story creation
Kwastek Aesthetics of interaction in digital art
Marini et al. Virtual reality as a communication process
Javornik et al. Magicface: Stepping into character through an augmented reality mirror
Cisneros et al. Virtual reality and choreographic practice: The potential for new creative methods
Campbell The theatre of the oppressed in practice today: An introduction to the work and principles of Augusto Boal
Harbison Performing image
CN114125529A (zh) 一种生成和演示视频的方法、设备及存储介质
François et al. Virtual reality as a versatile tool for research, dissemination and mediation in the humanities
CN110969237B (zh) 两性关系视角下的人机虚拟互动构建方法、设备及介质
Dow Understanding user engagement in immersive and interactive stories
Binkley The quickening of Galatea: Virtual creation without tools or media
Tornatzky et al. An Artistic Approach to Virtual Reality
Slaney et al. Ghosts in the Machine: a motion-capture experiment in distributed reception
Tang et al. Exploring the Design of Digital Twin Virtual Space for The Awaken Lion Culture Based on Technology Acceptance Modeling
Ma et al. Embodied Cognition Guides Virtual-Real Interaction Design to Help Yicheng Flower Drum Intangible Cultural Heritage Dissemination
Skogen Do You See What I See? Investigations into the Underlying Parameters of Visual Simplicity
Delbridge The cooling steam of the Polar Express: historical origins, properties and implications of performance capture
US20240050854A1 (en) Integrated Reality Gaming
Xin et al. AR Interaction Design Mode of Multi-user and Multi-character in Theme Parks
US20240165520A1 (en) Build and Design-an Integrated-Reality Educational Gaming Application
Slaney et al. Ghosts in the Machine: an experiment in distributed reception
Reyto Drawing Light in the Cave: Embodied Spatial Drawing in Virtual Reality with Agency and Presence
Blackaller Performing Process: The Artist Studio as Interactive Art
Cheng The role of immersive media in engaging Singapore's history & cultural heritage: Singapore history gallery and digiMuse as a case study (2006-2018)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant