CN111477049A

CN111477049A - 一种教育创新创业训练用智能化培训交互系统

Info

Publication number: CN111477049A
Application number: CN202010458904.4A
Authority: CN
Inventors: 唐凤霞
Original assignee: Anqing Normal University
Current assignee: Anqing Normal University
Priority date: 2020-05-27
Filing date: 2020-05-27
Publication date: 2020-07-31

Abstract

本发明公开了人机交互培训技术领域的一种教育创新创业训练用智能化培训交互系统，包括服务器和用于教学资源提取与展示的用户端，所述服务器配载有用于进行数据信息存储的数据库、用于进行音频分析处理的音频处理模块、视频分析处理的图像处理模块和服务器控制的中央处理器，数据库包括用于存储VR模拟场景教学资源的场景数据库和用于存储学员模拟场景反馈信息的学生交互数据库，将教学场景模拟课堂中的角色扮演场景直接使用VR进行代入，使学生沉浸在面试场景、商谈场景、人际交往场景等模拟环境中，使学生更直观地感受模拟场景中的氛围，进而使学生在模拟场景中得到较好地训练。

Description

一种教育创新创业训练用智能化培训交互系统

技术领域

本发明涉及人机交互培训技术领域，具体为一种教育创新创业训练用智能化培训交互系统。

背景技术

在我国，各高校每年都会向社会输送大量的毕业生。而在劳动力日渐饱和的市场，为了解决毕业生就业问题，国家鼓励并推动大学生进行自主创业，大学生创业逐渐被社会所承认和接受，同时也肩负着提高大学生毕业就业率和社会稳定等的历史使命。

为了帮助大学生进行自主创业，国家不仅大力建设大学生创业孵化基地，还鼓励各高校开设SYB课程，以便帮助大学生开展创业培训。为了在培训中锻炼大学生的创业能力，通常会开展场景模拟课堂，让学员通过角色扮演来相互演练面试场景、商谈场景、人际交往场景等。

但是，通过学员相互间的角色扮演进行场景演练，由于学员都是在校大学生，并未与社会企业有较深地接触，很难表现出场景需求中人物角色的本色，因此，学员之间角色扮演的互动较为生硬，难以让学员直观感受到模拟场景中的氛围，锻炼效果甚微。

基于此，本发明设计了一种教育创新创业训练用智能化培训交互系统，以解决上述问题。

发明内容

本发明的目的在于提供一种教育创新创业训练用智能化培训交互系统，以解决上述背景技术中提出的过学员相互间的角色扮演进行场景演练，由于学员都是在校大学生，并未与社会企业有较深地接触，很难表现出场景需求中人物角色的本色，因此，学员之间角色扮演的互动较为生硬，难以让学员直观感受到模拟场景中的氛围，锻炼效果甚微的问题。

为实现上述目的，本发明提供如下技术方案：一种教育创新创业训练用智能化培训交互系统，包括服务器和用于教学资源提取与展示的用户端，所述服务器配载有用于进行数据信息存储的数据库、用于进行音频分析处理的音频处理模块、视频分析处理的图像处理模块和服务器控制的中央处理器，数据库包括用于存储VR模拟场景教学资源的场景数据库和用于存储学员模拟场景反馈信息的学生交互数据库；所述用户端包括教师端和学生端，所述教师端配有教师端计算机，所述学生端配有学生端计算机和虚拟现实设备。

优选的，所述场景数据库通过云网端与合作的社会企业建立信息通信关系，获取合作的社会企业场景数据，并对其进行存储；服务器所收到的学生端反馈的信息与场景数据库相应场景信息进行时间轴音视信息合并，并存储至学生交互数据库中。

优选的，服务器通过学生端反馈的音频信息通过音频处理模块分析处理，并与场景数据库相应场景的音频信息以时间轴为基准进行合成，形成人机语音交互音频，再将合成的音频通过图像处理模块的处理，使其与场景数据库相应场景的视频信息以时间轴为基准进行合成，形成学生交互数据，并存储至学生交互数据库。

优选的，所述学生端计算机与虚拟现实设备通过无线网络连接，所述虚拟现实设备包含VR头显设备，所述VR头显设备包括音频输入模块和场景输出模块，所述音频输入模块负责对学生的语音进行拾取采集，并将采集的语音信息通过学生端计算机上传至服务器，所述场景输出模块包括音频输出模块和视频输出模块，所述音频输出模块负责VR场景的音频信息输出，所述视频输出模块负责VR场景的视频信息输出。

优选的，所述音频输入模块的载体为麦克风，用于拾取学生发出的语音，并语音转换为数字信号反馈给学生端计算机。

优选的，所述音频输出模块的载体为耳机，使用时戴于学生的双耳，用于传递VR场景的音频信息。

优选的，所述视频输出模块的载体为屏显，所述屏显采用曲面液晶屏的头戴式VR眼镜，使用时屏显置于学生眼部前方，用于播放VR场景的视频信息。

与现有技术相比，本发明的有益效果是：本发明将教学场景模拟课堂中的角色扮演场景直接使用VR进行代入，使学生沉浸在面试场景、商谈场景、人际交往场景等模拟环境中，使学生更直观地感受模拟场景中的氛围，进而使学生在模拟场景中得到较好地训练。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明设备层交互图；

图2为本发明服务器硬件搭载导视图；

图3为本发明虚拟现实设备人机交互图；

图4为本发明交互流程图。

附图中，各标号所代表的部件列表如下：

100-服务器，110-数据库，111-场景数据库，112-学生交互数据库，120-音频处理模块，130-图像处理模块，140-中央处理器，200-用户端，210-教师端，211-教师端计算机，220-学生端，221-学生端计算机，222-虚拟现实设备，001-VR头显设备，010-音频输入模块，011-麦克风，020-场景输出模块，030-音频输出模块，031-耳机，040-视频输出模块，041-屏显，S1-流程一，S2-流程二，S3-流程三。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-4，本发明提供一种技术方案：一种教育创新创业训练用智能化培训交互系统，包括服务器100和用户端200。服务器100配载有数据库110、音频处理模块120、图像处理模块130和中央处理器140。用户端200分别为教师端210和学生端220，教师端配备有教师端计算机211，学生端配备有学生端计算机221和虚拟现实设备222。

服务器100的数据库110由云端提供，并建立两个独立的数据存储位置，设为场景数据库111和学生交互数据库112。场景数据库111用于存储VR模拟场景教学资源，其数据资源由合作企业提供，主要为面试场景的VR数据（包括场地、面试官问答、面试者问答等视音信息）、商谈场景的VR数据（包括甲、乙双方商谈过程的视音信息）和人际交往场景的VR数据（包括同事工作沟通、上下级会议交流等视音信息），以便学生从面试官、面试者、商谈的甲、乙双方、以及上下级公司人员等多个角度进行场景演练，揣测并学习VR面试场景、商谈场景以及人际交往场景中的沟通技巧。学生交互数据库112用于存储学生在模拟场景中反馈的信息，每位学生在学生交互数据库112中会建立相应的子文件，并将其作为相应学生反馈信息的存储位置，以便后期老师和学生提取当时VR场景演练中的相关数据进行案例分析。

服务器100的音频处理模块120搭载Creative-Audigy-5的声卡处理模块，用于对场景数据库111和学生交互数据库112的音频数据进行音频压缩与解压缩运算、改变采样频率、解释MIDI指令或符号以及控制和协调直接存储器访问DMA工作。

服务器100的图像处理模块130搭载Quadro-M4000显卡，采用NVIDA CUDA架构，提升了专业作业的执行速度，NVIDA可扩式几何引擎，方便处理复杂模型和场景，提升人机交互的速度；采用H.264编码器，能独立于3D/运算管线运作，方便影像编码与其他编码即时运作，支持Shader Moder I5.0的GPU曲面细分，使模拟场景细致，提升了学生的视觉体验。

服务器100的中央处理器140选配为十八核心三十六线程的酷睿i9-10980XE，支持深度学习，通过安装市场上的AI虚拟机器人服务包，能够辅助服务器较快的读取VR场景数据资源，完成数据资源整合，并对数据资源进行学习，有助于提升AI虚拟机器人智能化程度，帮助学生完成VR场景的人机交互。

虚拟现实设备222配备有VR头显设备001，VR头显设备001包括音频输入模块010和场景输出模块020。频输入模块010的载体为麦克风011，用于拾取学生发出的语音，并语音转换为数字信号反馈给学生端计算机221，再由学生端计算机221传输至服务器100进行数据分析、整合，最后将分析整合后的数据信息存储至学生交互数据库112下的相对应的子文件中。场景输出模块020包括音频输出模块030和视频输出模块040。音音频输出模块030的载体为耳机031，使用时戴于学生的双耳，用于传递VR场景的音频信息；视频输出模块040的载体为屏显041，屏显041采用曲面液晶屏的头戴式VR眼镜，使用时屏显041置于学生眼部前方，用于播放VR场景的视频信息。

本发明的具体操作示例：

S1（场景信息选择），由教师通过211从100中选择VR场景数据。

S2（虚拟现实场景交互），学生由使用221获取教师选择的VR场景数据，并通过222的001进入场景进行角色演练，并由011对学生的语音进行拾取采取。

S3（数据整合），采集的语音信息由100的120和130以时间轴为基准进行视频和音频的合成，以此记录学生在VR场景中的交互信息，生成案例并存在至112中。

本发明的具体场景代入：

面试场景（学生代入面试官角度），VR场景中，原面试官音频被120屏蔽，学生视野切换为面试官视野，通过011发起与面试者的会话，面试者的会话内容可选择为“原话”（源VR数据中的面试者音频数据）和“AI”智能问答（AI虚拟机器人的面试者问答包音频数据）两种方式。

面试场景（学生代入面试者角度），VR场景中，原面试者音频被120屏蔽，学生视野切换为面试者视野，通过011发起与面试官的会话，面试官的会话内容可选择为“原话”（源VR数据中的面试官音频数据）和“AI”智能问答（AI虚拟机器人的面试官问答包音频数据）两种方式。

商谈场景（学生代入甲方角度），VR场景中，原甲方音频被120屏蔽，学生视野切换为甲方视野，通过011发起与乙方的会话，乙方的会话内容可选择为“原话”（源VR数据中的乙方音频数据）和“AI”智能问答（AI虚拟机器人的乙方问答包音频数据）两种方式。

商谈场景（学生代入乙方角度），VR场景中，原乙方音频被120屏蔽，学生视野切换为乙方视野，通过011发起与甲方的会话，甲方的会话内容可选择为“原话”（源VR数据中的甲方音频数据）和“AI”智能问答（AI虚拟机器人的甲方问答包音频数据）两种方式。

人际交往场景（学生代入职员角度），VR场景中，原职员音频被120屏蔽，学生视野切换为职员视野，通过011发起与同事或领导的会话，同事或领导的会话内容可选择为“原话”（源VR数据中的同事或领导音频数据）和“AI”智能问答（AI虚拟机器人的同事和领导问答包音频数据）两种方式。

将教学场景模拟课堂中的角色扮演场景直接使用VR进行代入，使学生沉浸在面试场景、商谈场景、人际交往场景等模拟环境中，使学生更直观地感受模拟场景中的氛围，进而使学生在模拟场景中得到较好地训练。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“设置”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，根据具体情况理解上述术语在本发明中的具体含义。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims

1.一种教育创新创业训练用智能化培训交互系统，包括服务器（100）和用于教学资源提取与展示的用户端（200），其特征在于：所述服务器（100）配载有用于进行数据信息存储的数据库（110）、用于进行音频分析处理的音频处理模块（120）、视频分析处理的图像处理模块（130）和服务器控制的中央处理器（140），数据库（110）包括用于存储VR模拟场景教学资源的场景数据库（111）和用于存储学员模拟场景反馈信息的学生交互数据库（112）；

所述用户端（200）包括教师端（210）和学生端（220），所述教师端（210）配有教师端计算机（211），所述学生端（220）配有学生端计算机（221）和虚拟现实设备（222）。

2.根据权利要求1所述的一种教育创新创业训练用智能化培训交互系统，其特征在于：所述场景数据库（111）通过云网端与合作的社会企业建立信息通信关系，获取合作的社会企业场景数据，并对其进行存储；服务器（100）所收到的学生端（220）反馈的信息与场景数据库（111）相应场景信息进行时间轴音视信息合并，并存储至学生交互数据库（112）中。

3.根据权利要求2所述的一种教育创新创业训练用智能化培训交互系统，其特征在于：服务器（100）通过学生端（220）反馈的音频信息通过音频处理模块（120）分析处理，并与场景数据库（111）相应场景的音频信息以时间轴为基准进行合成，形成人机语音交互音频，再将合成的音频通过图像处理模块（130）的处理，使其与场景数据库（111）相应场景的视频信息以时间轴为基准进行合成，形成学生交互数据，并存储至学生交互数据库（112）。

4.根据权利要求1所述的一种教育创新创业训练用智能化培训交互系统，其特征在于：所述学生端计算机（221）与虚拟现实设备（222）通过无线网络连接，所述虚拟现实设备（222）包含VR头显设备（001），所述VR头显设备（001）包括音频输入模块（010）和场景输出模块（020），所述音频输入模块（010）负责对学生的语音进行拾取采集，并将采集的语音信息通过学生端计算机（221）上传至服务器（100），所述场景输出模块（020）包括音频输出模块（030）和视频输出模块（040），所述音频输出模块（030）负责VR场景的音频信息输出，所述视频输出模块（040）负责VR场景的视频信息输出。

5.根据权利要求4所述的一种教育创新创业训练用智能化培训交互系统，其特征在于：所述音频输入模块（010）的载体为麦克风（011），用于拾取学生发出的语音，并语音转换为数字信号反馈给学生端计算机（221）。

6.根据权利要求4所述的一种教育创新创业训练用智能化培训交互系统，其特征在于：所述音频输出模块（030）的载体为耳机（031），使用时戴于学生的双耳，用于传递VR场景的音频信息。

7.根据权利要求4所述的一种教育创新创业训练用智能化培训交互系统，其特征在于：所述视频输出模块（040）的载体为屏显（041），所述屏显（041）采用曲面液晶屏的头戴式VR眼镜，使用时屏显（041）置于学生眼部前方，用于播放VR场景的视频信息。