CN112559801A - 实验示教方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例涉及计算机技术领域，提供了一种实验示教方法、装置、电子设备和存储介质，所述实验示教方法包括：通过将实时获取的待进行示教的实验视频片段输入纠错模型中，输出纠错结果；若纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教。由此可见，本申请通过实时获取实验视频片段，并实时对实验视频片段中对应的实验动作错误进行纠正示教，而且利用纠错模型自动识别实验视频片段中错误的实验动作，避免传统方法中完全依赖于人工导致无法准确进行纠错的问题。

Description

实验示教方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种实验示教方法、装置、电子设备和存储介质。

背景技术

实验示教是一种直观有效的教学手段，由于学生年龄小，逻辑思维能力较差，且初步接触自然科学，在教学中必须使用直观的示教手段，使他们看到实实在在的自然现象，从而引导他们观察自然，激发学习兴趣，增强记忆和加深对理论的理解。

现有技术中的实验示教方法为：通过播放实验教学视频，学生根据教学视频完成实验，同时获取学生做实验过程中的整个视频，然后人工对视频进行分析和评估，但该方法只能在学生完成实验后才能判断学生实验过程中是否出现错误，无法实时指导学生进行实验示教，而且该方法完全依赖于人工进行分析和评估，耗时耗力，同时会由于人工失误造成分析错误，无法准确获取评估结果。

发明内容

本申请提供一种实验示教方法、装置、电子设备和存储介质，以实现实时且准确进行实验示教。

本申请提供一种实验示教方法，包括：

实时获取待进行示教的实验视频片段；

将所述实验视频片段输入纠错模型中，输出纠错结果；

若所述纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教；

其中，所述纠错模型是基于正确实验动作的样本视频片段和错误实验动作的样本视频片段训练得到。

根据本申请提供的一种实验示教方法，若所述纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教，包括：

若所述纠错结果为所述实验视频片段中对应的实验动作错误，则获取所述实验动作的标识信息，并基于所述标识信息从预设数据库中获取与错误实验动作对应的正确实验动作视频片段，并展示所述正确实验动作视频片段进行示教；

其中，所述预设数据库中存储有各实验动作对应的正确视频片段，以及各实验动作标识信息与所述正确视频片段的映射关系。

根据本申请提供的一种实验示教方法，展示错误实验动作对应的正确实验动作视频片段进行示教，包括：

通过AR眼镜展示错误实验动作对应的正确实验动作视频片段进行示教。

根据本申请提供的一种实验示教方法，实时获取待进行示教的实验视频片段，包括：

实时获取待进行示教的3D初始实验视频片段；

对所述3D初始实验视频片段依次进行灰度处理和去噪处理，获取待进行示教的实验视频片段。

本申请还提供一种实验示教装置，包括：

获取单元，用于实时获取待进行示教的实验视频片段；

纠错单元，用于将所述实验视频片段输入纠错模型中，输出纠错结果；

示教单元，用于若所述纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教；

其中，所述纠错模型是基于正确实验动作的样本视频片段和错误实验动作的样本视频片段训练得到。

根据本申请提供的一种实验示教装置，所述示教单元，具体用于：

若所述纠错结果为所述实验视频片段中对应的实验动作错误，则获取所述实验动作的标识信息，并基于所述标识信息从预设数据库中获取与错误实验动作对应的正确实验动作视频片段，并展示所述正确实验动作视频片段进行示教；

其中，所述预设数据库中存储有各实验动作对应的正确视频片段，以及各实验动作标识信息与所述正确视频片段的映射关系。

根据本申请提供的一种实验示教装置，所述示教单元，用于展示错误实验动作对应的正确实验动作视频片段进行示教，包括：

通过AR眼镜展示错误实验动作对应的正确实验动作视频片段进行示教。

根据本申请提供的一种实验示教装置，所述获取单元，包括：

获取子单元，用于实时获取待进行示教的3D初始实验视频片段；

处理单元，用于对所述3D初始实验视频片段依次进行灰度处理和去噪处理，获取待进行示教的实验视频片段。

本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述实验示教方法的步骤。

本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述实验示教方法的步骤。

本申请提供的实验示教方法、装置、电子设备和存储介质，通过将实时获取的待进行示教的实验视频片段输入纠错模型中，输出纠错结果；若纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教。由此可见，本申请通过实时获取实验视频片段，并实时对实验视频片段中对应的实验动作错误进行纠正示教，而且利用纠错模型自动识别实验视频片段中错误的实验动作，避免传统方法中完全依赖于人工导致无法准确进行纠错的问题。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的实验示教方法的流程示意图；

图2是本申请提供的实验示教方法中步骤110的实施方式的流程示意图；

图3是本申请提供的实验示教装置的结构示意图；

图4是本申请提供的实验示教装置的获取单元的结构示意图；

图5是本申请提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实验示教是一种直观有效的教学手段，由于学生年龄小，逻辑思维能力较差，且初步接触自然科学，在教学中必须使用直观的示教手段，使他们看到实实在在的自然现象，从而引导他们观察自然，激发学习兴趣，增强记忆和加深对理论的理解。

现有技术中的实验示教方法为：通过播放实验教学视频，学生根据教学视频完成实验，同时获取学生做实验过程中的整个视频，然后人工对视频进行分析和评估，从而获取学生做实验的评估结果。但该方法只能在学生完成实验后才能判断学生实验过程中是否出现错误，无法在实验过程中实时指导学生进行实验示教，而且该方法完全依赖于人工进行分析和评估，耗时耗力，同时会由于人工失误造成分析错误，无法准确获取评估结果。

对此，本申请提供一种实验示教方法。图1是本申请提供的实验示教方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤110、实时获取待进行示教的实验视频片段。

在本步骤中，需要说明的是，学生在做实验前，通常会先观看示教视频，然后根据示教视频完成相应的实验。在学生进行实验的过程中，可以通过摄像头采集待进行示教的实验视频片段，以获取学生在实验过程中的实验动作信息，根据实验动作信息可以判断该实验动作是否正确。

此外，本实施例是实时获取实验视频片段，从而在实验过程中可以实时判断对应的实验动作是否错误，相较于传统方法中针对完成实验的整个视频进行分析，本实施例提供的方法能够实时判断实验动作是否错误，从而可以提高示教效率。其中，实验视频片段可以通过3D-RGB摄像头获取，获取的信息包括用户的3D位姿信息和实验器材的3D位姿信息。

步骤120、将实验视频片段输入纠错模型中，输出纠错结果；其中，纠错模型是基于正确实验动作的样本视频片段和错误实验动作的样本视频片段训练得到。

在本步骤中，根据步骤110获取实验视频片段后，需要根据实验视频片段判断对应的实验动作是否错误，因此，本实施例通过将实验视频片段输入纠错模型中，可以获取纠错结果。其中，纠错结果指实验视频片段对应的实验动作是否符合标准实验动作，若是，则输出的纠错结果为实验动作正确，若否，则输出的纠错结果为实验动作错误。

其中，纠错模型是基于正确实验动作的样本视频片段和错误实验动作的样本视频片段训练得到，具体训练流程为：

获取若干数量的正确实验动作的样本视频片段和错误实验动作的样本视频片段，将样本视频片段输入初始纠错模型中进行训练，直至达到预设条件后结束训练。其中，预设条件可以为训练次数达到预设要求，也可以为纠错模型的损失小于预设值，本实施例对此不作具体限定。

由此可见，本实施例通过纠错模型自动获取纠错结果，相较于传统方法中采用人工分析获取评估结果，本实施例提供的方法能够高精度获取纠错结果，而且效率较高，节省了人力资源成本。

步骤130、若纠错结果为实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教。

在本步骤中，根据步骤120中的方法可以获取实验视频片段对应的纠错结果，若纠错结果为实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教。举例来说，若实验视频片段对应的纠错结果为实验动作A错误，则可以从标准规范实验视频中获取实验动作A对应的正确实验动作视频片段，并展示正确实验动作视频片段进行示教。可以理解的是，在纠错结果为实验动作错误时，还可以以信息提示的方式进行提醒，并展示正确实验动作视频片段；在纠错结果为实验动作正确时，则继续获取下一个实验动作对应的实验视频片段。

本申请提供的实验示教方法，通过将实时获取的待进行示教的实验视频片段输入纠错模型中，输出纠错结果；若纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教。由此可见，本申请通过实时获取实验视频片段，并实时对实验视频片段中对应的实验动作错误进行纠正示教，而且利用纠错模型自动识别实验视频片段中错误的实验动作，避免传统方法中完全依赖于人工导致无法准确进行纠错的问题。

基于上述实施例，若纠错结果为实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教，包括：

若纠错结果为实验视频片段中对应的实验动作错误，则获取实验动作的标识信息，并基于标识信息从预设数据库中获取与错误实验动作对应的正确实验动作视频片段，并展示正确实验动作视频片段进行示教；

其中，预设数据库中存储有各实验动作对应的正确视频片段，以及各实验动作标识信息与正确视频片段的映射关系。

在本实施例中，若纠错结果为实验视频片段中对应的实验动作错误，则需要展示错误实验动作对应的正确实验动作视频片段进行示教。为了能够快速准确获取对应的正确视频片段，本实施例通过获取实验动作的标识信息，基于标识信息从预设数据库中获取对应的正确实验动作视频片段。由于预设数据库中存储有各实验动作对应的正确视频片段，以及各实验动作标识信息与正确视频片段的映射关系，从而根据标识信息可以快速且准确获取对应的正确视频片段。

举例来说，对于化学实验片段视频，若纠错结果为“实验动作-药品的取用错误”，则以其标识信息“药品的取用”在预设数据库中查找，获取“药品的取用”对应的正确实验动作视频片段。

基于上述实施例，展示错误实验动作对应的正确实验动作视频片段进行示教，包括：

通过AR眼镜展示错误实验动作对应的正确实验动作视频片段进行示教。

在本实施例中，需要说明的是，采用AR眼镜可以实现全方位(360°)观看正确实验动作视频片段，从而在示教过程中，学生可以通过AR眼镜观察每个角度的实验动作，更加全面指导学生，不仅可以降低错误发生率，而且能够节省大量的时间。例如，在某些化学实验场景中，可能会涉及到一些危化品的操作，对于没有操作经验的学生来说，通过AR眼镜展示正确视频片段，可以避免错误操作的发生率，提高实验的安全性。此外，AR眼镜可以模拟实验器材，从而在不需要真实实验器材的场景下，也可以通过AR眼镜进行实验示教，节约了实验示教成本。

基于上述实施例，如图2所示，步骤110实时获取待进行示教的实验视频片段，包括：

步骤111、实时获取待进行示教的3D初始实验视频片段；

步骤112、对3D初始实验视频片段依次进行灰度处理和去噪处理，获取待进行示教的实验视频片段。

在本实施例中，需要说明的是，由于3D视频片段相较于2D视频片段，能够更精确模拟实验器材的位姿信息和用户实验动作的位姿信息，因此，本实施例通过获取待进行示教的3D初始实验视频片段，从而可以高精度获取对应的实验动作，进而准确获取纠错结果。

此外，在对实验视频片段进行分析时，由于环境和拍摄自身因素影响，需要对视频片段进行一定的转换，因此在分析视频片段之前，要对视频片段进行预处理，即对3D初始实验视频片段依次进行灰度处理和去噪处理。其中，灰度化的原理就是在RGB模型中，假定三个通道的值相等，然后用统一的灰度值表征该点的色彩信息，灰度值的范围是0到255。图像灰度化的方法主要有平均值法、加权平均法和最大值法三种。此外，在摄像机拍摄时，由于环境中光线、镜头表面灰尘以及传输信号问题的影响，不可避免的会存在一些噪声，为了能够准确获取纠错结果，还需要对3D初始实验视频片段进行去噪处理，去噪处理的方法包括空间域滤波、频率域滤波以及形态学运算等等。

由此可见，本申请通过对3D初始实验视频片段进行预处理，从而能够过滤初始实验视频片段中的噪声，进而准确获取纠错结果。

下面对本申请提供的实验示教装置进行描述，下文描述的实验示教装置与上文描述的实验示教方法可相互对应参照。

基于上述实施例，如图3所示，本申请提供一种实验示教装置，该装置包括：

获取单元310，用于实时获取待进行示教的实验视频片段；

纠错单元320，用于将实验视频片段输入纠错模型中，输出纠错结果；

示教单元330，用于若纠错结果为实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教；

其中，纠错模型是基于正确实验动作的样本视频片段和错误实验动作的样本视频片段训练得到。

本申请提供的实验示教装置，通过将实时获取的待进行示教的实验视频片段输入纠错模型中，输出纠错结果；若纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教。由此可见，本申请通过实时获取实验视频片段，并实时对实验视频片段中对应的实验动作错误进行纠正示教，而且利用纠错模型自动识别实验视频片段中错误的实验动作，避免传统方法中完全依赖于人工导致无法准确进行纠错的问题。

基于上述实施例，示教单元330，具体用于：

若纠错结果为实验视频片段中对应的实验动作错误，则获取实验动作的标识信息，并基于标识信息从预设数据库中获取与错误实验动作对应的正确实验动作视频片段，并展示正确实验动作视频片段进行示教；

其中，预设数据库中存储有各实验动作对应的正确视频片段，以及各实验动作标识信息与正确视频片段的映射关系。

基于上述实施例，示教单元330，用于展示错误实验动作对应的正确实验动作视频片段进行示教，包括：

通过AR眼镜展示错误实验动作对应的正确实验动作视频片段进行示教。

基于上述实施例，如图4所示，获取单元310，包括：

获取子单元311，用于实时获取待进行示教的3D初始实验视频片段；

处理单元312，用于对3D初始实验视频片段依次进行灰度处理和去噪处理，获取待进行示教的实验视频片段。

本申请实施例提供的实验示教装置用于执行上述实验示教方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

图5是本申请提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行实验示教方法，该方法包括：实时获取待进行示教的实验视频片段；将所述实验视频片段输入纠错模型中，输出纠错结果；若所述纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教；其中，所述纠错模型是基于正确实验动作的样本视频片段和错误实验动作的样本视频片段训练得到。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供的电子设备中的处理器510可以调用存储器530中的逻辑指令，实现上述实验示教方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的实验示教方法可相互对应参照。

所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的实验示教方法，该方法包括：实时获取待进行示教的实验视频片段；将所述实验视频片段输入纠错模型中，输出纠错结果；若所述纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教；其中，所述纠错模型是基于正确实验动作的样本视频片段和错误实验动作的样本视频片段训练得到。

本申请实施例提供的计算机程序产品被执行时，实现上述实验示教方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的实验示教方法可相互对应参照。

本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的实验示教方法，该方法包括：实时获取待进行示教的实验视频片段；将所述实验视频片段输入纠错模型中，输出纠错结果；若所述纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教；其中，所述纠错模型是基于正确实验动作的样本视频片段和错误实验动作的样本视频片段训练得到。

本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述实验示教方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种实验示教方法，其特征在于，包括：

实时获取待进行示教的实验视频片段；

将所述实验视频片段输入纠错模型中，输出纠错结果；

若所述纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教；

其中，所述纠错模型是基于正确实验动作的样本视频片段和错误实验动作的样本视频片段训练得到。

2.根据权利要求1所述的实验示教方法，其特征在于，若所述纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教，包括：

若所述纠错结果为所述实验视频片段中对应的实验动作错误，则获取所述实验动作的标识信息，并基于所述标识信息从预设数据库中获取与错误实验动作对应的正确实验动作视频片段，并展示所述正确实验动作视频片段进行示教；

其中，所述预设数据库中存储有各实验动作对应的正确视频片段，以及各实验动作标识信息与所述正确视频片段的映射关系。

3.根据权利要求1所述的实验示教方法，其特征在于，展示错误实验动作对应的正确实验动作视频片段进行示教，包括：

通过AR眼镜展示错误实验动作对应的正确实验动作视频片段进行示教。

4.根据权利要求1至3任一项所述的实验示教方法，其特征在于，实时获取待进行示教的实验视频片段，包括：

实时获取待进行示教的3D初始实验视频片段；

对所述3D初始实验视频片段依次进行灰度处理和去噪处理，获取待进行示教的实验视频片段。

5.一种实验示教装置，其特征在于，包括：

获取单元，用于实时获取待进行示教的实验视频片段；

纠错单元，用于将所述实验视频片段输入纠错模型中，输出纠错结果；

示教单元，用于若所述纠错结果为所述实验视频片段中对应的实验动作错误，则展示错误实验动作对应的正确实验动作视频片段进行示教；

其中，所述纠错模型是基于正确实验动作的样本视频片段和错误实验动作的样本视频片段训练得到。

6.根据权利要求5所述的实验示教装置，其特征在于，所述示教单元，具体用于：

若所述纠错结果为所述实验视频片段中对应的实验动作错误，则获取所述实验动作的标识信息，并基于所述标识信息从预设数据库中获取与错误实验动作对应的正确实验动作视频片段，并展示所述正确实验动作视频片段进行示教；

其中，所述预设数据库中存储有各实验动作对应的正确视频片段，以及各实验动作标识信息与所述正确视频片段的映射关系。

7.根据权利要求5所述的实验示教装置，其特征在于，所述示教单元，用于展示错误实验动作对应的正确实验动作视频片段进行示教，包括：

通过AR眼镜展示错误实验动作对应的正确实验动作视频片段进行示教。

8.根据权利要求5至7任一项所述的实验示教装置，其特征在于，所述获取单元，包括：

获取子单元，用于实时获取待进行示教的3D初始实验视频片段；

处理单元，用于对所述3D初始实验视频片段依次进行灰度处理和去噪处理，获取待进行示教的实验视频片段。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述实验示教方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述实验示教方法的步骤。

Images