CN117689508A - 基于mr设备的智能助教方法及系统 - Google Patents

Abstract

本发明公开了基于MR设备的智能助教方法及系统，方法包括：服务器若确定当前交互模式为AI助教语音交互模式及机器视觉交互模式中的机器视觉交互模式时，则将当前操作实训实验对应的工具图像采集指令发送至第一用户MR设备；第一用户MR设备基于虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至服务器以识别得到操作工具识别结果集；服务器基于操作工具识别结果集与当前操作实训实验对应的标准操作工具集的匹配结果，生成与对应的最终评价结果并发送至第一用户MR设备。本发明实施例能结合MR设备对用户的操作实训实验进行智能语音引导，也能对用户操作实训实验的过程进行记录和自动评分，提升了实训教学的用户体验。

Description

基于MR设备的智能助教方法及系统

技术领域

本发明涉及人工智能技术领域，尤其涉及基于MR设备的智能助教方法及系统。

背景技术

目前，在传统的职业教育的实训教学场景中，还受限于教学场地、装备成本、人员数量等因素，无法做到多个学生同时操作练习的情况，由此引入的在职业教育与实训场景中采用虚拟仿真技术辅助教学也有越来越多的案例。但是现在的VR虚拟仿真实训设备，因存在遮挡视线、眩晕等问题，无法在实操实训中有效使用。

发明内容

本发明实施例提供了基于MR设备的智能助教方法及系统，旨在解决现有技术中职业教育的实训教学场景中采用VR虚拟仿真实训设备，因存在遮挡视线、眩晕等情况，导致实训教学的交互效果差的问题。

第一方面，本发明实施例提供了一种基于MR设备的智能助教方法，应用于基于MR设备的智能助教系统，其中，所述基于MR设备的智能助教系统包括第一用户MR设备、第二用户MR设备及服务器，所述第一用户MR设备和所述第二用户MR设备均与所述服务器通讯连接；所述第一用户MR设备为学生用户类型的MR设备，所述第二用户MR设备为教师用户类型的MR设备；所述基于MR设备的智能助教方法包括：

所述第一用户MR设备或所述第二用户MR设备若接收到用户操作信息，则产生与所述用户操作信息对应的教学实训操作交互指令并发送至所述服务器；

所述服务器响应于所述第一用户MR设备或所述第二用户MR设备发送的教学实训操作交互指令，获取与所述教学实训操作交互指令对应的当前交互模式；

所述服务器若确定所述当前交互模式为AI助教语音交互模式，则获取通过所述第一用户MR设备或所述第二用户MR设备采集并上传的当前用户语音数据；

所述服务器基于预先训练的语音识别模型获取与所述当前用户语音数据对应的当前语音识别文本；

所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户MR设备或所述第二用户MR设备；

所述服务器若确定所述当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至所述第一用户MR设备；

所述第一用户MR设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集；

所述服务器基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备。

第二方面，本发明实施例还提供了一种基于MR设备的智能助教系统，其包括：第一用户MR设备、第二用户MR设备及服务器，所述第一用户MR设备和所述第二用户MR设备均与所述服务器通讯连接；所述第一用户MR设备为学生用户类型的MR设备，所述第二用户MR设备为教师用户类型的MR设备；

所述第一用户MR设备或所述第二用户MR设备用于若接收到用户操作信息，则产生与所述用户操作信息对应的教学实训操作交互指令并发送至所述服务器；

所述服务器，用于响应于所述第一用户MR设备或所述第二用户MR设备发送的教学实训操作交互指令，获取与所述教学实训操作交互指令对应的当前交互模式；

所述服务器，还用于若确定所述当前交互模式为AI助教语音交互模式，则获取通过所述第一用户MR设备或所述第二用户MR设备采集并上传的当前用户语音数据；基于预先训练的语音识别模型获取与所述当前用户语音数据对应的当前语音识别文本；基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户MR设备或所述第二用户MR设备；若确定所述当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至所述第一用户MR设备；

所述第一用户MR设备，还用于基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集；

所述服务器，还用于基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备。

本发明实施例提供了基于MR设备的智能助教方法及系统，方法包括第一用户MR设备或第二用户MR设备若接收到用户操作信息，则产生与用户操作信息对应的教学实训操作交互指令并发送至服务器；服务器响应于第一用户MR设备或第二用户MR设备发送的教学实训操作交互指令，获取与教学实训操作交互指令对应的当前交互模式；服务器若确定当前交互模式为AI助教语音交互模式，则获取通过第一用户MR设备或第二用户MR设备采集并上传的当前用户语音数据；服务器基于预先训练的语音识别模型获取与当前用户语音数据对应的当前语音识别文本；服务器基于当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与目标答复数据对应的多维度辅助答复数据，并将目标答复数据及多维度辅助答复数据发送至第一用户MR设备或第二用户MR设备；服务器若确定当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至第一用户MR设备；第一用户MR设备基于工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至服务器，以使得服务器基于预选训练的工具图像识别模型对工具操作视频或工具操作图片集进行识别，得到操作工具识别结果集；服务器基于操作工具识别结果集与当前操作实训实验对应的标准操作工具集的匹配结果，生成与当前操作实训实验对应的最终评价结果并发送至第一用户MR设备。本发明实施例能结合MR设备对用户的操作实训实验进行智能语音引导，也能对用户操作实训实验的过程进行记录和自动评分，提升了实训教学的用户体验。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于MR设备的智能助教方法的应用场景示意图；

图2为本发明实施例提供的基于MR设备的智能助教方法的流程示意图；

图3为本发明实施例提供的基于MR设备的智能助教方法的子流程示意图；

图4为本发明实施例提供的基于MR设备的智能助教方法的另一子流程示意图；

图5为本发明实施例提供的基于MR设备的智能助教方法的又一子流程示意图；

图6为本发明实施例提供的基于MR设备的智能助教方法的再一子流程示意图；

图7为本发明实施例提供的基于MR设备的智能助教系统的示意性框图；

图8为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请同时参考图1和图2，其中图1为本发明实施例基于MR设备的智能助教方法的场景示意图，图2是本发明实施例提供的基于MR设备的智能助教方法的流程示意图。如图1所示，本发明实施例提供的基于MR设备的智能助教方法应用于基于MR设备的智能助教系统中，所述基于MR设备的智能助教系统中包括第一用户MR设备10、第二用户MR设备20及服务器30，所述第一用户MR设备10和所述第二用户MR设备20均与所述服务器30通讯连接；所述第一用户MR设备10为学生用户类型的MR设备，所述第二用户MR设备20为教师用户类型的MR设备。其中，在第一用户MR设备10、第二用户MR设备20上除了混合现实功能的实现功能模块外，还均设置有图像采集单元和声音采集单元。所述服务器30则是云服务器或边缘服务器。

如图2所示，该方法包括以下步骤S110-S180。

S110、所述第一用户MR设备或所述第二用户MR设备若接收到用户操作信息，则产生与所述用户操作信息对应的教学实训操作交互指令并发送至所述服务器。

在本实施例中，当学生用户佩戴使用第一用户MR设备进行教学实训时，可以通过以下方式：

A1）按下第一用户MR设备上设置的实体按键以触发产生教学实训操作交互指令；

A2）通过操作第一用户MR设备投影的虚拟空间操作面板上的虚拟按键以触发产生教学实训操作交互指令；

A3）通过对第一用户MR设备发出控制语音数据，以对应触发产生教学实训操作交互指令；

A4）通过对第一用户MR设备发出控制手势，在控制手势被第一用户MR设备采集和识别到后，以对应触发产生教学实训操作交互指令。

但无论以上述多种方式中的任意一种以触发在第一用户MR设备中产生教学实训操作交互指令时，或是以上述多种方式中的任意一种以触发在第二用户MR设备中产生教学实训操作交互指令时，该教学实训操作交互指令均可以发送至服务器。

其中，在学生用户对第一用户MR设备进行用户操作时，可以选择AI助教语音交互模式或机器视觉交互模式（在该模式下学生用户可以进行结合混合现实技术的职业教育场景下的操作实训实验，如节温器拆装实验、水泵拆装实验、充电枪拆迁实验、充电底座拆装实验等）等交互模式。在教师用户对第二用户MR设备进行用户操作时，可以选择AI助教语音交互模式。

S120、所述服务器响应于所述第一用户MR设备或所述第二用户MR设备发送的教学实训操作交互指令，获取与所述教学实训操作交互指令对应的当前交互模式。

在本实施例中，在服务器接收到所述第一用户MR设备或所述第二用户MR设备发送的教学实训操作交互指令后，会解析获取与其对应的当前交互模式，如确定当前交互模式是AI助教语音交互模式及机器视觉交互模式等交互模式中的哪一种具体交互模式。服务器通过解析获取到当前交互模式，可在后续数据处理过程中调用相应的人工智能模型等以对所述第一用户MR设备或所述第二用户MR设备上传的数据进行识别和处理。

S130、所述服务器若确定所述当前交互模式为AI助教语音交互模式，则获取通过所述第一用户MR设备或所述第二用户MR设备采集并上传的当前用户语音数据。

在本实施例中，当在服务器中确定所述当前交互模式为AI助教语音交互模式，类似于学生用户或教师用户开启了MR设备的智能语音助手的功能，可以先由所述第一用户MR设备或所述第二用户MR设备采集当前用户语音数据，并上传

例如，先以学生用户与第一用户MR设备交互为例，学生用户可以说出如“我要学习节温器拆装实验”这一句话，此时该学生用户说出的话被第一用户MR设备采集并上传至服务器进行语音识别并对应反馈处理结果。

再以教师用户与第二用户MR设备交互为例，教师用户可以说出如“我要录制节温器拆装实验的教程”这一句话，此时该教师用户说出的话被第二用户MR设备采集并上传至服务器进行语音识别并对应反馈处理结果。

S140、所述服务器基于预先训练的语音识别模型获取与所述当前用户语音数据对应的当前语音识别文本。

在本实施例中，在服务器中预先完成了语音识别模型的训练，例如在服务器中存储有CTC模型、RNN-T模型或LAS模型等语音识别模型，通过语音识别模型可以获取到与所述当前用户语音数据对应的当前语音识别文本。

S150、所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户MR设备或所述第二用户MR设备。

在本实施例中，在服务器获取到了所述当前语音识别文本后，则在服务器本地的职业教育知识库中匹配获取目标答复数据和相应的多维度辅助答复数据。其中，在多维度辅助答复数据中至少包括图文视频输出结果及三维模型输出结果等除了纯文本形式以外的其他多样形式的答复数据。通过多维度形式的数据输出，可以使得用户接收到更多信息，能从多维度学习操作实训实验的相关知识。

在一实施例中，如图3所示，步骤S150包括：

S151、所述服务器获取基于预先训练的关键词提取模型获取与所述当前语音识别文本对应的当前关键词集；

S152、获取所述当前关键词集与所述职业教育知识库中各答复数据的关键词集之间的余弦相似度，以在各关键词集中获取与所述当前关键词集具有最大余弦相似度的目标关键词集，并获取所述目标关键词集对应的答复数据作为所述目标答复数据；

S153、从所述职业教育知识库中获取与所述目标答复数据对应的图文视频输出结果及三维模型输出结果，以组成所述多维度辅助答复数据。

在本实施例中，在服务器中还存储有预先完成训练的关键词提取模型（如词频-逆文本频率指数模型等），基于关键词提取模型可以提取出所述当前语音识别文本中的若干个关键词，从而得到与所述当前语音识别文本对应的当前关键词集。例如，参考上述示例中所示所述当前语音识别文本对应为“我要学习节温器拆装实验”，基于关键词提取模型可以提取出其包括学习、节温器、拆装实验这三个关键词，此时得到的当前关键词集即包括学习、节温器和拆装实验这三个关键词。

之后，因服务器的职业教育知识库中存储了多条答复数据，每一条答复数据也对应一个关键词集，且每一条答复数据还映射有至少一条图文视频输出结果及至少一个三维模型输出结果。这样，职业教育知识库中匹配获取与所述当前关键词集具有最大余弦相似度的目标关键词集后，获取到该目标关键词集对应的答复数据作为所述目标答复数据。在获取到目标答复数据的同时，基于职业教育知识库中每一条答复数据还映射有至少一条图文视频输出结果及至少一个三维模型输出结果的数据存储形式，还能获取到与目标答复数据对应的图文视频输出结果及三维模型输出结果，以组成与所述目标答复数据相对应的所述多维度辅助答复数据。这一目标答复数据及所述多维度辅助答复数据，则是可以由服务器发送至第一用户MR设备或第二用户MR设备进行本地查看和播放、三维模型自动演示，以使得第一用户MR设备或第二用户MR设备可以及时的接收到服务器发送的答复数据。

在一实施例中，步骤S150之后还包括：

所述第一用户MR设备或所述第二用户MR设备获取与所述多维度辅助答复数据中所述三维模型输出结果对应的模型拆装三维演示数据，并演示所述模型拆装三维演示数据。

在本实施例中，在服务器向第一用户MR设备或第二用户MR设备发送的多维度辅助答复数据中所述三维模型输出结果是一种可自动演示的模型拆装三维演示数据（模型拆装三维演示数据也可以理解为一种拆装教学模型），例如与包括学习、节温器和拆装实验这三个关键词组成的当前关键词集所对应的多维度辅助答复数据中三维模型输出结果对应节温器拆装实验教学视频，该模型拆装三维演示数据可以按照规定的程序步骤进行各个零部件模型的自动拆装演示，实现了图、文、模型、声音多维度结合的可视化信息传递。

S160、所述服务器若确定所述当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至所述第一用户MR设备。

在本实施例中，当在服务器中确定所述当前交互模式为机器视觉交互模式，类似于学生用户开启了MR设备进行当前操作实训实验的训练或测试，此时服务器在当前交互模式确定后，还要进一步确定用户在与第一用户MR设备交互时所选定的当前操作实训实验（如上示例中的节温器拆装实验），在服务器确定了当前操作实训实验后则生成对应的工具图像采集指令并发送至学生用户所使用的第一用户MR设备。学生用户所使用的第一用户MR设备在接收到工具图像采集指令后，则可以对之后学生用户的当前操作实训实验具体过程进行图像采集或视频采集，从而完成对当前操作实训实验的完整过程的采集和记录。

需要注意的是，在本申请中是以一个第一用户MR设备与服务器的交互场景为例来说明技术方案，在具体实施时可以是多个第一用户MR设备同时与服务器进行交互来进行操作实训实验。而且每一个第一用户MR设备与服务器进行交互的过程均是参考上述一个第一用户MR设备与服务器进行交互的过程。

S170、所述第一用户MR设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集。

在本实施例中，学生用户在具体基于当前操作实训实验进行操作时，最核心的检测过程是检测学生用户是否按照要求完成拿取到每一个操作工具，例如节温器拆装实验中要求学生用户按照操作工具1-操作工具10的顺序依次拿取每一个操作工具，然后使用每一个操作工具针对第一用户MR设备通过混合现实技术投影的三维虚拟模型进行相应的操作，只有满足上述要求才能成功完成此次当前操作实训实验。为了实现对学生用户在当前操作实训实验中是否按照预设的顺序要求拿取到每一个操作工具，可以通过第一用户MR设备的图像采集单元（如具体实施时采用摄像头）对学生用户在当前操作实训实验对应的实际操作过程进行操作过程采集记录，例如第一种方式是按照每拿取一个操作工具采集一次工具操作图片的方式，第二种方式是对学生用户的完整的操作过程进行视频记录。但无论以何种方式，均可以实现对学生用户操作过程的采集和记录，以便后续对当前操作实训实验进行评分。

在一实施例中，如图4所示，作为步骤S170的第一实施例，步骤S170包括：

S171a、所述第一用户MR设备若确定所述工具图像采集指令为训练模式图像采集指令，则第i次调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的第i次碰撞检测结果；其中，i的初始值为1；

S172a、若确定第i次碰撞检测结果对应检测成功结果，则通过所述第一用户MR设备采集第i轮工具操作图片或第i轮工具操作视频并发送至所述服务器，以使得所述服务器对第i轮工具操作图片或第i轮工具操作视频进行工具识别得到第i轮操作工具识别结果；

S173a、将i增1以更新i的取值；

S174a、若确定i未超出N，则返回执行所述第一用户MR设备若确定所述工具图像采集指令为训练模式图像采集指令，则第i次调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的第i次碰撞检测结果的步骤；其中，N为当前操作实训实验中所需使用工具的总个数；

S175a、若确定i超出N，则依序获取第1轮操作工具识别结果至第N轮操作工具识别结果以组成所述操作工具识别结果集。

在本实施例中，学生用户在操作第一用户MR设备选定了机器视觉交互模式，且该机器视觉交互模式为训练模式下的机器视觉交互模式，则服务器中生成的工具图像采集指令是训练模式图像采集指令，第一用户MR设备在接收到训练模式图像采集指令后，既可以是对完整操作视频采集的方式进行获取，也可以是对学生用户每拿取一次操作工具时采集一次工具操作图片的方式（这一方式下可以只采集有限张数的工具操作图片后上传服务器进行工具识别，降低服务器的数据处理压力）。而且，在每一次需要学生用户从上一个操作工具切换到下一个操作工具时，第一用户MR设备均会通过语音提示操作步骤的方式来引导学生用户去拿取下一个操作工具。通过上述方式，第一用户MR设备每采集到一张工具操作图片或与一个操作工具对应的工具操作视频后，立即上传至服务器进行工具识别，以得到当前轮次的工具识别结果。其中，服务器中存储有预先训练的工具识别模型（如目标检测模型等人工智能模型），通过工具识别模型能对每一张工具操作图像进行识别，也能对工具操作视频中提取到的关键帧图像进行识别。

在一实施例中，步骤S171a包括：

在第i次调用所述虚实拍照框碰撞检测策略时，获取所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框之间的重合度结果；

若所述重合度结果对应完全重合结果，且所述虚拟物品放置框与所述现实物品放置框之间的完全重合持续时间超过预设的持续时间阈值，则以碰撞检测成功作为第i次碰撞检测结果；

若所述重合度结果对应未完全重合结果，则以碰撞检测失败作为第i次碰撞检测结果。

在本实施例中，具体以在第1次调用所述虚实拍照框碰撞检测策略为例来说明，在第1次调用所述虚实拍照框碰撞检测策略时，获取所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框之间的重合度结果。在上述过程中，用户可以看到第一用户MR设备中对应显示的虚拟物品放置框，而且在学生用户实际进行当前操作实训实验时操作台上有一指定区域为现实物品放置框。当学生用户从当前操作实训实验对应提供的工具箱中取出了操作工具后，先是将虚拟物品放置框与现实物品放置框对齐（也即虚拟物品放置框的四个顶点坐标与现实物品放置框的四个顶点坐标完全相同，则可视为虚实拍照框碰撞成功，且对应碰撞检测成功的碰撞检测结果；当虚拟物品放置框的四个顶点坐标与现实物品放置框的四个顶点坐标不是完全相同，例如只有两个顶点坐标对齐，则视为虚实拍照框碰撞失败，且对应碰撞检测失败的碰撞检测结果），然后在确定虚拟物品放置框与现实物品放置框重合度结果对应完全重合结果且所述虚拟物品放置框与所述现实物品放置框之间的完全重合持续时间超过预设的持续时间阈值（如设置为3s），则以碰撞检测成功作为第1次碰撞检测结果。以此类推，其他轮次的碰撞检测结果也是参考第1次碰撞检测结果的获取过程。

在一实施例中，如图5所示，作为步骤S170的第二实施例，步骤S170包括：

S171b、所述第一用户MR设备若确定所述工具图像采集指令为考试模式图像采集指令，则调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的碰撞检测结果，以在碰撞检测结果对应检测成功结果时获取工具操作视频并发送至所述服务器；

S172b、所述服务器对所述工具操作视频进行工具识别得到多个操作工具识别结果以组成所述操作工具识别结果集。

在本实施例中，学生用户在操作第一用户MR设备选定了机器视觉交互模式，且该机器视觉交互模式为考试模式下的机器视觉交互模式，则服务器中生成的工具图像采集指令是考试模式图像采集指令，第一用户MR设备在接收到考试模式图像采集指令后，是对当前操作实训实验中学生完整操作视频采集的方式进行获取。而且，是在完成获取到当前操作实训实验中学生拿取所有操作工具的完整视频即工具操作视频后，再将工具操作视频发送至服务器进行识别。同样的，服务器中存储有预先训练的工具识别模型（如目标检测模型等人工智能模型），在对工具操作视频进行视频图像逐帧拆分后，按照预设的图像间隔帧数（这一预设图像间隔帧数与当前操作实训实验中针对每一操作工具的操作时长来确定，例如每一操作工具的操作时长为3min，且每一秒的工具操作视频能拆分为24帧视频图像时，则预设图像间隔帧数设置为4320帧）获取到多个关键帧图像，通过工具识别模型对工具操作视频中提取到的关键帧图像进行识别，即可依时序先后顺序分别得到多个操作工具识别结果以组成所述操作工具识别结果集。

S180、所述服务器基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备。

在本实施例中， 当在服务器中获取所述操作工具识别结果集后，可以与所述当前操作实训实验对应的标准操作工具集进行匹配得到匹配结果，然后基于该具体的匹配结果生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备。

例如，所述操作工具识别结果集与所述标准操作工具集相同，则表示学生用户完全按照当前操作实训实验对应的操作工具拿取顺序在进行实训，这就表示学生用户是通过了当前操作实训实验的训练或测试，此时生成一个成功完成当前操作实训实验的最终评价结果并发送至所述第一用户MR设备。可见，基于这一结合混合现实技术的方式，能支持多个学生用户同时进行操作实训实验，并针对每一个学生用户的操作实训实验过程进行采集和自动评分。

在一实施例中，如图6所示，步骤S180包括：

S181、所述服务器若确定所述操作工具识别结果集与所述标准操作工具集相同，则判定为匹配成功，并生成与匹配成功对应的第一评价结果作为所述最终评价结果，将所述最终评价结果并发送至所述第一用户MR设备；

S182、所述服务器若确定所述操作工具识别结果集与所述标准操作工具集不相同，则判定为匹配失败，并生成与失败对应的第二评价结果作为所述最终评价结果，将所述最终评价结果并发送至所述第一用户MR设备。

在本实施例中，所述操作工具识别结果集与所述标准操作工具集相同，则表示学生用户完全按照当前操作实训实验对应的操作工具拿取顺序在进行实训，也即所述操作工具识别结果集与所述标准操作工具集是匹配成功，这就表示学生用户是通过了当前操作实训实验的训练或测试，此时生成一个成功完成当前操作实训实验的第一评价结果，并以该第一评价结果作为最终评价结果并发送至所述第一用户MR设备。

所述操作工具识别结果集与所述标准操作工具集不相同，则表示学生用户没有完全按照当前操作实训实验对应的操作工具拿取顺序在进行实训，也即所述操作工具识别结果集与所述标准操作工具集是匹配失败，这就表示学生用户是未通过当前操作实训实验的训练或测试，此时生成一个未成功完成当前操作实训实验的第二评价结果，并以该第二评价结果作为最终评价结果并发送至所述第一用户MR设备。

可见，实施该方法的实施例能结合MR设备对用户的操作实训实验进行智能语音引导，也能对用户操作实训实验的过程进行记录和自动评分，提升了实训教学的用户体验。

图7是本发明实施例提供的一种基于MR设备的智能助教系统的示意性框图。如图7所示，对应于以上基于MR设备的智能助教方法，本发明还提供一种基于MR设备的智能助教系统。该基于MR设备的智能助教系统包括用于执行上述基于MR设备的智能助教方法的单元或设备。请同时参阅图1和图7，该基于MR设备的智能助教系统包括：第一用户MR设备10、第二用户MR设备20及服务器30，所述第一用户MR设备10和所述第二用户MR设备20均与所述服务器30通讯连接；所述第一用户MR设备10为学生用户类型的MR设备，所述第二用户MR设备20为教师用户类型的MR设备。其中，在第一用户MR设备10、第二用户MR设备20上除了混合现实功能的实现功能模块外，还均设置有图像采集单元和声音采集单元。所述服务器30则是云服务器或边缘服务器。

所述第一用户MR设备10或所述第二用户MR设备20，用于若接收到用户操作信息，则产生与所述用户操作信息对应的教学实训操作交互指令并发送至所述服务器；

所述服务器30，用于响应于所述第一用户MR设备或所述第二用户MR设备发送的教学实训操作交互指令，获取与所述教学实训操作交互指令对应的当前交互模式；

所述服务器30，还用于若确定所述当前交互模式为AI助教语音交互模式，则获取通过所述第一用户MR设备或所述第二用户MR设备采集并上传的当前用户语音数据；基于预先训练的语音识别模型获取与所述当前用户语音数据对应的当前语音识别文本；基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户MR设备或所述第二用户MR设备；若确定所述当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至所述第一用户MR设备；

所述第一用户MR设备10，还用于基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集；

所述服务器30，还用于基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于MR设备的智能助教系统中各设备的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

可见，实施该系统的实施例能结合MR设备对用户的操作实训实验进行智能语音引导，也能对用户操作实训实验的过程进行记录和自动评分，提升了实训教学的用户体验。

上述基于MR设备的智能助教系统可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。

请参阅图8，图8是本发明实施例提供的一种计算机设备的示意性框图。该计算机设备集成了本发明实施例所提供的任一种基于MR设备的智能助教系统。

参阅图8，该计算机设备包括通过系统总线401连接的处理器402、存储器和网络接口405，其中，存储器可以包括存储介质403和内存储器404。

该存储介质403可存储操作系统4031和计算机程序4032。该计算机程序4032包括程序指令，该程序指令被执行时，可使得处理器402执行一种基于MR设备的智能助教方法。

该处理器402用于提供计算和控制能力，以支撑整个计算机设备的运行。

该内存储器404为存储介质403中的计算机程序4032的运行提供环境，该计算机程序4032被处理器402执行时，可使得处理器402执行上述的基于MR设备的智能助教方法。

该网络接口405用于与其它设备进行网络通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器402用于运行存储在存储器中的计算机程序4032，以实现上述的基于MR设备的智能助教方法。

应当理解，在本发明实施例中，处理器402可以是中央处理单元（CentralProcessing Unit，CPU），该处理器402还可以是其他通用处理器、数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列 （Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行上述的基于MR设备的智能助教方法。

所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于MR设备的智能助教方法，应用于基于MR设备的智能助教系统，其特征在于，所述基于MR设备的智能助教系统包括第一用户MR设备、第二用户MR设备及服务器，所述第一用户MR设备和所述第二用户MR设备均与所述服务器通讯连接；所述第一用户MR设备为学生用户类型的MR设备，所述第二用户MR设备为教师用户类型的MR设备；所述基于MR设备的智能助教方法包括：

所述第一用户MR设备或所述第二用户MR设备若接收到用户操作信息，则产生与所述用户操作信息对应的教学实训操作交互指令并发送至所述服务器；

所述服务器响应于所述第一用户MR设备或所述第二用户MR设备发送的教学实训操作交互指令，获取与所述教学实训操作交互指令对应的当前交互模式；

所述服务器若确定所述当前交互模式为AI助教语音交互模式，则获取通过所述第一用户MR设备或所述第二用户MR设备采集并上传的当前用户语音数据；

所述服务器基于预先训练的语音识别模型获取与所述当前用户语音数据对应的当前语音识别文本；

所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户MR设备或所述第二用户MR设备；

所述服务器若确定所述当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至所述第一用户MR设备；

所述第一用户MR设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集；

所述服务器基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备。

2.根据权利要求1所述的方法，其特征在于，所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，包括：

所述服务器获取基于预先训练的关键词提取模型获取与所述当前语音识别文本对应的当前关键词集；

获取所述当前关键词集与所述职业教育知识库中各答复数据的关键词集之间的余弦相似度，以在各关键词集中获取与所述当前关键词集具有最大余弦相似度的目标关键词集，并获取所述目标关键词集对应的答复数据作为所述目标答复数据；

从所述职业教育知识库中获取与所述目标答复数据对应的图文视频输出结果及三维模型输出结果，以组成所述多维度辅助答复数据。

3.根据权利要求2所述的方法，其特征在于，在所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户MR设备或所述第二用户MR设备的步骤之后，所述方法还包括：

所述第一用户MR设备或所述第二用户MR设备获取与所述多维度辅助答复数据中所述三维模型输出结果对应的模型拆装三维演示数据，并演示所述模型拆装三维演示数据。

4.根据权利要求1所述的方法，其特征在于，所述第一用户MR设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集，包括：

所述第一用户MR设备若确定所述工具图像采集指令为训练模式图像采集指令，则第i次调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的第i次碰撞检测结果；其中，i的初始值为1；

若确定第i次碰撞检测结果对应检测成功结果，则通过所述第一用户MR设备采集第i轮工具操作图片或第i轮工具操作视频并发送至所述服务器，以使得所述服务器对第i轮工具操作图片或第i轮工具操作视频进行工具识别得到第i轮操作工具识别结果；

将i增1以更新i的取值；

若确定i未超出N，则返回执行所述第一用户MR设备若确定所述工具图像采集指令为训练模式图像采集指令，则第i次调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的第i次碰撞检测结果的步骤；其中，N为当前操作实训实验中所需使用工具的总个数；

若确定i超出N，则依序获取第1轮操作工具识别结果至第N轮操作工具识别结果以组成所述操作工具识别结果集。

5.根据权利要求4所述的方法，其特征在于，所述第i次调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的第i次碰撞检测结果，包括：

在第i次调用所述虚实拍照框碰撞检测策略时，获取所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框之间的重合度结果；

若所述重合度结果对应完全重合结果，且所述虚拟物品放置框与所述现实物品放置框之间的完全重合持续时间超过预设的持续时间阈值，则以碰撞检测成功作为第i次碰撞检测结果；

若所述重合度结果对应未完全重合结果，则以碰撞检测失败作为第i次碰撞检测结果。

6.根据权利要求1所述的方法，其特征在于，所述第一用户MR设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集，包括：

所述第一用户MR设备若确定所述工具图像采集指令为考试模式图像采集指令，则调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的碰撞检测结果，以在碰撞检测结果对应检测成功结果时获取工具操作视频并发送至所述服务器；

所述服务器对所述工具操作视频进行工具识别得到多个操作工具识别结果以组成所述操作工具识别结果集。

7.根据权利要求1所述的方法，其特征在于，所述服务器基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备，包括：

所述服务器若确定所述操作工具识别结果集与所述标准操作工具集相同，则判定为匹配成功，并生成与匹配成功对应的第一评价结果作为所述最终评价结果，将所述最终评价结果并发送至所述第一用户MR设备；

所述服务器若确定所述操作工具识别结果集与所述标准操作工具集不相同，则判定为匹配失败，并生成与失败对应的第二评价结果作为所述最终评价结果，将所述最终评价结果并发送至所述第一用户MR设备。

8.一种基于MR设备的智能助教系统，其特征在于，包括：第一用户MR设备、第二用户MR设备及服务器，所述第一用户MR设备和所述第二用户MR设备均与所述服务器通讯连接；所述第一用户MR设备为学生用户类型的MR设备，所述第二用户MR设备为教师用户类型的MR设备；

所述第一用户MR设备或所述第二用户MR设备，用于若接收到用户操作信息，则产生与所述用户操作信息对应的教学实训操作交互指令并发送至所述服务器；

所述服务器，用于响应于所述第一用户MR设备或所述第二用户MR设备发送的教学实训操作交互指令，获取与所述教学实训操作交互指令对应的当前交互模式；

所述服务器，还用于若确定所述当前交互模式为AI助教语音交互模式，则获取通过所述第一用户MR设备或所述第二用户MR设备采集并上传的当前用户语音数据；基于预先训练的语音识别模型获取与所述当前用户语音数据对应的当前语音识别文本；基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户MR设备或所述第二用户MR设备；若确定所述当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至所述第一用户MR设备；

所述第一用户MR设备，还用于基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集；

所述服务器，还用于基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备。

9.根据权利要求8所述的基于MR设备的智能助教系统，其特征在于，所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，包括：

所述服务器获取基于预先训练的关键词提取模型获取与所述当前语音识别文本对应的当前关键词集；

获取所述当前关键词集与所述职业教育知识库中各答复数据的关键词集之间的余弦相似度，以在各关键词集中获取与所述当前关键词集具有最大余弦相似度的目标关键词集，并获取所述目标关键词集对应的答复数据作为所述目标答复数据；

从所述职业教育知识库中获取与所述目标答复数据对应的图文视频输出结果及三维模型输出结果，以组成所述多维度辅助答复数据。

10.根据权利要求9所述的基于MR设备的智能助教系统，其特征在于，所述第一用户MR设备或所述第二用户MR设备，还用于获取与所述多维度辅助答复数据中所述三维模型输出结果对应的模型拆装三维演示数据，并演示所述模型拆装三维演示数据。