CN114005054A - 一种ai智能评分系统 - Google Patents

Abstract

本发明揭示了一种AI智能评分系统，包括：数据采集模块：使用不同视角RGB相机对实验过程进行录制，获取评分数据；数据处理模块：用于对采集的数据进行帧划分以及帧图像数据的标注筛选和格式处理；模型搭建模块：用于对采集的帧图像数据进行分类、特征提取以及计算动作分类结果；结果输出模块：用于对动作分类结果进行输出。本发明利用多帧视频的双路视频分析神经网络，同时处理双帧率视频流，并对视频流的多帧对应的人的特征利用局部特征聚合，分类并分析视频片段对应的行为，能够准确、直观的实现智能评分，大大提升了教育教学的效率以及实验评估的公平性。

Description

一种AI智能评分系统

技术领域

本发明涉及智能教育领域，特别是涉及一种AI智能评分系统。

背景技术

随着文化教育重视程度的不断提高，教育行业特别是初中高中对实验等的要求也逐渐提高，这些实验往往需要老师在一旁指导和评分，根据做实验同学的实验过程是否标准基于打分评估。人工智能的发展使得智能化、自动化的实验评估成为了可能，智能化的评估可以使得实验过程不需要老师的参与，学生可以自主的完成实验过程，不仅大大节省了人力和时间，也能公平公正的保证实验成绩的真实可信。

目前的智能教育领域分为教学辅助、考试评测两大领域，前者为老师提供丰富的教学手段，通过AI教育技术手段判断教学质量，使教学更具针对性，学习效率提升，促进教学质量的提升；后者智能识别试卷和学生作业；智能阅卷与作业批改；通过AI教育技术深度学习，计算机可自动对发音进行评价，纠错、缺陷定位和分析。该两大领域均通过算法帮助教育教学的效率提升，与之相同，本专利意在为教育教学中的动手实验环节通过算法评估实现自动实验评估。

目前没有在物理化学等智能教育的实验领域相关的方案，但对于这样的动作评分任务，传统方法是基于单帧的目标检测来做的。基于单帧的目标检测根据检测到的内容在多帧之间形成时间上和空间上的关系，继而来做动作在时间维度的分析。其缺点很明显，最终的动作分析效果取决于每帧的检测效果，如果关键帧无法正确检测，则最终的动作分析效果将大打折扣；由于单帧的检测无法理解物体与人、物体与物体之间的关系，只能单独的进行检测，在理化生实验中往往有些实验得分点如“从左到右连接装置”需要理解人与物体的语义关系和时空关系，这一点基于单帧的目标检测方法无法做到；此外，传统目标检测需要的标注量要大于视频方法的标注量，存在一定的缺陷。

发明内容

本发明的目的在于，提供一种AI智能评分系统，以优化系统，提高效率。

为解决上述技术问题，本发明提供一种AI智能评分系统，包括：

数据采集模块：使用不同视角RGB相机对实验过程进行录制，获取评分数据；

数据处理模块：用于对采集的数据进行帧划分以及帧图像数据的标注筛选和格式处理；

模型搭建模块：用于对采集的帧图像数据进行分类、特征提取以及计算动作分类结果；

结果输出模块：用于对动作分类结果进行输出。

进一步的，所述数据采集模块用于对整个实验过程进行视频录制，且实验视频长度不超过30分钟。

进一步的，所述数据处理模块包括：

预处理单元：用于对实验视频进行帧划分以及片段划分；

数据标注单元：将划分后的视频片段最中间的图像取出，标注出其对应的人体位置以及该视频片段对应的动作类别；

数据检查单元：用于检查数据标注是否完整和准确，并对完整准确的数据进行格式整理。

进一步的，帧划分将视频按照30帧每秒的方式切分为单张帧图像。

进一步的，片段划分通过滑窗划分方式进行划分，且每个划分片段为90帧图像。

进一步的，所述模型搭建模块包括：

片段分类单元：用于将划分片段分为高采样率视频片段和低采样率视频片段；

特征提取单元：使用不同的3D卷积网络对高采样率视频片段和低采样率视频片段进行特征提取；

结果分析单元：使用全连接对高采样率视频片段和低采样率视频片段提取的特征结果进行分类，获取动作分类结果。

相比于现有技术，本发明至少具有以下有益效果：

本发明利用多帧视频的双路视频分析神经网络，同时处理双帧率视频流，并对视频流的多帧对应的人的特征利用局部特征聚合，分类并分析视频片段对应的行为，能够准确、直观的实现智能评分，大大提升了教育教学的效率以及实验评估的公平性。

附图说明

图1为本发明AI智能评分系统的整体结构示意图。

具体实施方式

下面将结合示意图对本发明的AI智能评分系统进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

如图1所示，本发明实施例提出了一种AI智能评分系统，包括：

数据采集模块：使用不同视角RGB相机对实验过程进行录制，获取评分数据；

数据处理模块：用于对采集的数据进行帧划分以及帧图像数据的标注筛选和格式处理；

模型搭建模块：用于对采集的帧图像数据进行分类、特征提取以及计算动作分类结果；

结果输出模块：用于对动作分类结果进行输出。

所述数据采集模块用于对整个实验过程进行视频录制，且实验视频长度不超过30分钟。

具体的，数据采集模块采用多个视角RGB相机进行实验视频的录制，视频必须包含整个实验过程，并且实验视频长度不超过30分钟。

所述数据处理模块包括：预处理单元：用于对实验视频进行帧划分以及片段划分，帧划分将视频按照30帧每秒的方式切分为单张帧图像，片段划分通过滑窗划分方式进行划分，且每个划分片段为90帧图像。数据标注单元：将划分后的视频片段最中间的图像取出，标注出其对应的人体位置以及该视频片段对应的动作类别。数据检查单元：用于检查数据标注是否完整和准确，并对完整准确的数据进行格式整理。

具体的，预处理单元在对实验视频处理过程中，对于长度超过30分钟的视频做截断，仅保留30分钟之前的视频。数据标注单元，在进行动作类别标注时，对于特定实验，可根据实验的得分要求设计动作类别标签，该标签包括位置标签和动作类别标签。数据检查单元工作时，对每个视频片段人工筛查人体框和数据标签的准确性。

所述模型搭建模块包括：片段分类单元：用于将划分片段分为高采样率视频片段和低采样率视频片段；特征提取单元：使用不同的3D卷积网络对高采样率视频片段和低采样率视频片段进行特征提取；结果分析单元：使用全连接对高采样率视频片段和低采样率视频片段提取的特征结果进行分类，获取动作分类结果。

具体的，首先片段分类单元将该视频片段分为高采样率视频片段和低采样率视频片段，其中高采样率视频片段对90帧视频使用相同间隔采样60张图像，而低采样率视频片段对90帧视频使用相同间隔采样15张图像，得到高采样率视频片段和低采样率视频片段。然后特征提取单元使用常用的3D卷积网络进行特征提取，两个视频片段使用不同的3D卷积网络进行特征提取，对所提取的特征利用人体框对应在特征图上的位置，进行局部池化，得到池化后的特征。这里人体框在训练阶段是标注中所标注的，而在推理阶段是使用人体检测网络检测得到的。经过局部池化后的特征再经过特征融合，使得两个分支的网络都能够得到对方的信息，从而进行信息交互。最后，结果分析单元将两个分支分别使用全连接进行分类，然后取得最终的动作分类结果。

具体的，使用的3D卷积网络由6个子结构组成，输入的数据先经过第一个3D卷积子结构，该卷积核的大小为[1，7，7]，即在时间维度上使用长度为1，而在空间维度上使用长度为7的卷积核，以步长[1，2，2]进行卷积，具体的，时间维度的步长为1，空间维度的步长为2。在第一个子结构的末端，通过一3D卷积将两个流的数据进行融合，其中融合的时间通道和低采样率输入进行对齐。同样的，后面经过四个相似的子结构，每个子结构由不同的3D卷积参数和融合层参数组成。最后，数据经过输出层进行结果输出，其输出层的组成为，局部池化层、激活层和全连接层，局部池化层的作用是将输入的特征和对应的输入框在特征层的空间维度上池化到统一尺度，然后经过激活层和全连接层映射到分类的输出，最后得到输出的概率结果。

以下列举所述AI智能评分系统的较优实施例，以清楚的说明本发明的内容，应当明确的是，本发明的内容并不限制于以下实施例，其他通过本领域普通技术人员的常规技术手段的改进亦在本发明的思想范围之内。

对于“测量物块密度”实验，其主要的要求是，按照实验的要求判断学生的动作是否达标或满足实验要求，对于满足实验要求的动作或行为，给予加分，否则不得分。

测量物块密度试验的操作：

1.将电子天平放在水平桌面上，按开机键开机，完成“清零”操作；2.将待测金属块轻放于电子天平的称量盘中央，观察、记录电子天平的示数m；3.在量筒中倒入适量的水，观察、记录量筒中水面对应的示数V1；4.将系有细线的待测金属块慢慢放入量筒并浸没在水中，观察、记录量筒中水面对应的示数V2；5.计算出待测金属块的体积V，并记录。

基于上述要求，本专利对该实验采用了三视角相机同时使用的方案。

对于操作1，使用上视角相机进行捕捉，捕捉天平放置操作和清零动作。对于操作2，使用正视角相机进行捕捉，捕捉金属块放置操作和读数操作。对于操作3，采用正视角相机进行捕捉，捕捉倒水操作、读数操作。对于操作4，采用侧视角相机进行捕捉，捕捉金属入筒操作、读数操作。对于操作5，采用正视角相机进行捕捉，捕捉读数操作。最后，将所有视角相机的捕捉结果进行综合，得到最终的实验评估结果。

基于上述相机视角方案，对神经网络设计了如下标签：

无关动作：与实验无关的动作；天平放置：放置天平动作；天平清零：天平清零动作；倒水：向量筒倒水；读数：读天平示数或读量筒示数；放金属块入筒：将金属块放置如量筒中。

基于上述标签进行数据采集，之后进行算法训练。训练初期，为了使训练效果更好，本专利在其他大型开源数据集上进行了预训练，即在Kinect动作分类数据集上进行了预训练，然后将预训练好的权重作为本实验训练初期权重的初始化，对本专利的实验进行进一步优化实验。需要提到的是，预训练数据集的分类类别更多，和本专利的实验数据和数据标签并不重叠。

部署阶段，本方法使用了faster-rcnn作为人体检测的网络，将检测到的人体框以0.9的阈值作为分界，将高于0.9阈值的结果作为本方法的输入，得到最后的实验动作识别结果。在应用阶段，本方法对测量物质密度视频为实验数据，6个视频为训练数据，1个视频为测试数据进行实验。在落地上，我们将上述方案以服务的形式部署在小型服务器上，方便调用。

综上所述，本发明利用多帧视频的双路视频分析神经网络，同时处理双帧率视频流，并对视频流的多帧对应的人的特征利用局部特征聚合，分类并分析视频片段对应的行为，能够准确、直观的实现智能评分，大大提升了教育教学的效率以及实验评估的公平性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种AI智能评分系统，其特征在于，包括：

数据采集模块：使用不同视角RGB相机对实验过程进行录制，获取评分数据；

数据处理模块：用于对采集的数据进行帧划分以及帧图像数据的标注筛选和格式处理；

模型搭建模块：用于对采集的帧图像数据进行分类、特征提取以及计算动作分类结果；

结果输出模块：用于对动作分类结果进行输出。

2.如权利要求1所述的AI智能评分系统，其特征在于，所述数据采集模块用于对整个实验过程进行视频录制，且实验视频长度不超过30分钟。

3.如权利要求1所述的AI智能评分系统，其特征在于，所述数据处理模块包括：

预处理单元：用于对实验视频进行帧划分以及片段划分；

数据标注单元：将划分后的视频片段最中间的图像取出，标注出其对应的人体位置以及该视频片段对应的动作类别；

数据检查单元：用于检查数据标注是否完整和准确，并对完整准确的数据进行格式整理。

4.如权利要求3所述的AI智能评分系统，其特征在于，帧划分将视频按照30帧每秒的方式切分为单张帧图像。

5.如权利要求3所述的AI智能评分系统，其特征在于，片段划分通过滑窗划分方式进行划分，且每个划分片段为90帧图像。

6.如权利要求5所述的AI智能评分系统，其特征在于，滑窗划分的步长为45帧图像。

7.如权利要求1所述的AI智能评分系统，其特征在于，所述模型搭建模块包括：

片段分类单元：用于将划分片段分为高采样率视频片段和低采样率视频片段；

特征提取单元：使用不同的3D卷积网络对高采样率视频片段和低采样率视频片段进行特征提取；

结果分析单元：使用全连接对高采样率视频片段和低采样率视频片段提取的特征结果进行分类，获取动作分类结果。

Images