CN116824459B - 一种实操考试的智能监测考评方法、系统及存储介质 - Google Patents
一种实操考试的智能监测考评方法、系统及存储介质 Download PDFInfo
- Publication number
- CN116824459B CN116824459B CN202311092055.5A CN202311092055A CN116824459B CN 116824459 B CN116824459 B CN 116824459B CN 202311092055 A CN202311092055 A CN 202311092055A CN 116824459 B CN116824459 B CN 116824459B
- Authority
- CN
- China
- Prior art keywords
- key
- acquiring
- sequence
- subsequence
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 72
- 238000012795 verification Methods 0.000 claims abstract description 23
- 230000004931 aggregating effect Effects 0.000 claims abstract description 10
- 230000005236 sound signal Effects 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000002068 genetic effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000011002 quantification Methods 0.000 abstract description 2
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 238000011176 pooling Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000000349 chromosome Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种实操考试的智能监测考评方法、系统及存储介质，包括，通过近景及远景摄像头获取目标考生的监测视频流，提取人脸关键帧进行身份验证，获取身份验证结果，在实操考试中进行重复验证；将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；构建操作识别模型预设实操项目的关键节点，读取目标考生的操作序列进行操作序列的考评；获取关键节点的考评结果，生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果。本方法实现了实操考试成绩的量化，保证了实操考试评分的准确性和公平性，并且实时生成实操画面回放同步字幕，确保考评的可追溯性。
Description
技术领域
本发明涉及考试监测技术领域，更具体的，涉及一种实操考试的智能监测考评方法、系统及存储介质。
背景技术
考试是一种检验考生学习能力和选拔人才的方法,通过考试,可以了解考生对所学知识的把握程度,从而选拔合适的人才。考场作为考试的场所,需要有监考人员进行监督,来防止考生在考试时作弊。只有公平公正的考试环境,才能够检验出考生的真实水平。随着科技的发展,监考的手段也不断地现代化。传统的监考方式主要依靠人工监考,考试中心会在每个考场安排监考和巡考人员来维持考场秩序。通常由于考试集中在期末,规模较大,并且监考人员精力有限,可能导致一些作弊行为难以被发现。虽然考场内设置有摄像头等设备,可以环顾考场的每个角落,但由于这类设备只有录制和回放两种简单的功能,所以还是需大量的人力来检验考场录像,浪费大量的人力物力。
目前的监考方式大多采用单一摄像头来识别作弊行为,这些方法识别准确率低,并且识别速度较慢。现有的实验操作考试系统普遍采用“现考后评”的方法，考生现场操作实时录像，考后网上集中评分。无论采用现场学生实验展示还是教师观看录像，教师的体力和脑力负荷极大，对学生实验操作行为的精准量化感知能力较弱。并且考评过程中容易存在教师批改效率低、评分标准不一的问题。因此如何通过人工智能实现实操考试的智能监测考评是需要解决的问题。
发明内容
为了解决上述技术问题，本发明提出了一种实操考试的智能监测考评方法、系统及存储介质。
本发明第一方面提供了一种实操考试的智能监测考评方法，包括：
通过近景及远景摄像头获取目标考生的监测视频流，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，获取身份验证结果，并在实操考试中进行重复验证；
将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；
构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，基于所述关键节点进行操作序列的考评；
获取关键节点的考评结果，根据所述考评结果生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果。
本方案中，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，具体为：
获取近景监测视频流及远景监测视频流，在所述近景监测视频流及远景监测视频流中获取实操场景关键帧及人脸关键帧；
将所述人脸关键帧进行预处理，根据预处理后的人脸关键帧提取感兴趣区域，将所述感兴趣区域导入ResNet网络获取特征图，在所述ResNet网络中引入通道注意力模块及空间注意力模块；
获取通道注意力权重及空间注意力权重对所述特征图加权，并将加权后的特征图进行相加聚合，获取全局特征；
预设面部关键点，基于所述面部关键点提取感兴趣区域的几何特征，将所述全局特征与几何特征进行融合，获取融合特征；
根据所述实操场景关键帧获取目标考生的实操考试操作范围，在所述实操考试操作范围中进行人像检测，当确定范围内人数为1时，则利用所述融合特征进行目标考生的身份查验；
获取目标考生考试过程中人脸关键帧对应的感兴趣区域序列，并基于面部关键点进行特征追踪，根据各关键点对应的融合特征与首次查验通过的身份信息对应的融合特征进行相似度计算；
根据所述相似度进行重复验证，并且预设监考人员人脸信息，当近景监测视频流及远景监测视频流中出现监考人员人脸信息，则作为背景信息进行忽略。
本方案中，将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记，具体为：
在实操考试期间提取近景监测视频流及远景监测视频流的实操关键帧，将不同摄像头的监测视频流的实操关键帧按照监测时间戳进行匹配，并获取近景监测视频流的声音信号；
对所述声音信号通过小波变换进行滤波去噪，并利用遗传算法对小波变换进行优化获取小波变化的阈值信息，利用阈值信息获取预处理后的声音信号；
将匹配后的实操关键帧与预处理后的声音信号进行融合，生成实操关键帧序列，获取目标考生的实操项目生成数据标签进行标记；
并在实操关键帧序列中获取人脸感兴趣区域，设置画面虚化图层对所述人脸感兴趣区域覆盖，将处理后的实操关键帧序列进行存储。
本方案中，构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，具体为：
基于操作项目预设关节点，根据所述预设关节点获取目标考生实操关键帧的关节拓扑结构，将所述关节拓扑结构结合工具信息进行图表示，并通过时空图卷积神经网络学习；
获取目标考生关节节点的向量化表示，获取关节节点的相邻关节节点以及不同时间戳同一关节节点的向量化表示，通过邻居聚合及特征传递更新关节节点的向量化；
通过所有关节节点重复迭代获取高维度的运动特征，利用Softmax函数识别目标考生的操作动作，获取目标考生的操作序列；
根据操作项目的得分点预设实操项目的关键节点，根据所述关键节点将所述操作序列划分为不同时间步长的操作子序列。
本方案中，基于所述关键节点进行操作序列的考评，具体为：
根据操作项目作为关键词提取标准操作序列，基于实操项目的关键节点对标准操作序列进行划分，生成对应的标准操作子序列；
获取每个关键节点对应的操作子序列，将子操作序列与所述标准操作子序列进行匹配获取操作特征组合，利用所述操作特征组合获取操作子序列与标准操作子序列之间的BTW距离；
根据所述BTW距离获取各操作子序列的评分系数，利用所述评分系数结合操作项目的分值信息获取关键节点对应操作子序列的操作考评结果。
本方案中，基于所述关键节点进行操作序列的考评，还包括：
获取操作项目的历史考评记录，在所述历史考评记录中读取各操作子序列的平均操作时间，读取各标准操作子序列的标准操作时间，计算所述平均操作时间与标准操作时间的偏差；
通过所述平均操作时间与标准操作时间进行对比，根据对比结果对操作子序列设置难易标签，并基于偏差设置难易标签对应的熟练度权重信息；
根据关键节点获取目标考生各操作子序列的操作时间，并根据操作子序列获取操作特征之间的间隔时间，构建熟练度考评模型，利用历史考评记录生成训练集与测试集，训练后输出符合预设标准的熟练度考评模型；
将目标考生各操作子序列的操作时间与操作特征之间的间隔时间导入熟练度考评模型，获取各操作子序列的熟练度得分，将所述熟练度得分结合熟练度权重信息结合获取各操作子序列的熟练度考评结果；
将各操作子序列的操作考评结果及熟练度考评结果结合获取考评结果。
本发明第二方面还提供了一种实操考试的智能监测考评系统，该系统包括：存储器、处理器，所述存储器中包括一种实操考试的智能监测考评方法程序，所述一种实操考试的智能监测考评方法程序被所述处理器执行时实现如下步骤：
通过近景及远景摄像头获取目标考生的监测视频流，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，获取身份验证结果，并在实操考试中进行重复验证；
将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；
构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，基于所述关键节点进行操作序列的考评；
获取关键节点的考评结果，根据所述考评结果生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果。
本发明公开了一种实操考试的智能监测考评方法、系统及存储介质，包括，通过近景及远景摄像头获取目标考生的监测视频流，提取人脸关键帧进行身份验证，获取身份验证结果，在实操考试中进行重复验证；将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；构建操作识别模型预设实操项目的关键节点，读取目标考生的操作序列进行操作序列的考评；获取关键节点的考评结果，生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果。本方法实现了实操考试成绩的量化，保证了实操考试评分的准确性和公平性，并且实时生成实操画面回放同步字幕，确保考评的可追溯性。
附图说明
图1示出了本发明一种实操考试的智能监测考评方法的流程图；
图2示出了本发明构建操作识别模型读取目标考生的操作序列的流程图；
图3示出了本发明基于关键节点进行操作序列的考评的流程图；
图4示出了本发明一种实操考试的智能监测考评系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种实操考试的智能监测考评方法的流程图。
如图1所示，本发明第一方面提供了一种实操考试的智能监测考评方法，包括：
S102，通过近景及远景摄像头获取目标考生的监测视频流，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，获取身份验证结果，并在实操考试中进行重复验证；
S104，将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；
S106，构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，基于所述关键节点进行操作序列的考评；
S108，获取关键节点的考评结果，根据所述考评结果生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果。
需要说明的是，在考试过程中引入了近景和远景两路摄像头，以便更好地保护考生的隐私，同时也能够确保考生在考试过程中的公平性和准确性。在考试开始之前，预设考试场地并安装摄像头，录制考生的考试过程。获取近景监测视频流及远景监测视频流，在所述近景监测视频流及远景监测视频流中获取实操场景关键帧及人脸关键帧；将所述人脸关键帧进行预处理，根据预处理后的人脸关键帧提取感兴趣区域，将所述感兴趣区域导入ResNet网络获取特征图，在所述ResNet网络中引入通道注意力模块及空间注意力模块；经过最大池化层和平均池化层生成不同的特征描述，并利用卷积核对特征描述进行卷积计算后进行相加，通过通道注意力模块使得特征的每个通道乘以通道注意力权重，使得重要通道的特征进行突出，生成通道特征图，在通道维度上经过最大池化层和平均池化层生成不同的特征描述，将特征描述进行拼接，输入空间注意力模块，将所有通道上的特征生成空间注意力权重，获取空间特征图，并将加权后的特征图进行相加聚合，获取全局特征。
预设面部关键点，基于所述面部关键点提取感兴趣区域的几何特征，将所述全局特征与几何特征进行融合，获取融合特征；根据所述实操场景关键帧获取目标考生的实操考试操作范围，在所述实操考试操作范围中进行人像检测，当确定范围内人数为1时，则利用所述融合特征进行目标考生的身份查验；获取目标考生考试过程中人脸关键帧对应的感兴趣区域序列，并基于面部关键点进行特征追踪，根据各关键点对应的融合特征与首次查验通过的身份信息对应的融合特征进行相似度计算；根据所述相似度进行重复验证，并且预设监考人员人脸信息，当近景监测视频流及远景监测视频流中出现监考人员人脸信息，则作为背景信息进行忽略。
需要说明的是，在实操考试期间提取近景监测视频流及远景监测视频流的实操关键帧，将不同摄像头的监测视频流的实操关键帧按照监测时间戳进行匹配，并获取近景监测视频流的声音信号；对所述声音信号通过小波变换进行滤波去噪，并利用遗传算法对小波变换进行优化获取小波变化的阈值信息；初始化需要优化的变量信息，包括平移量及尺度变量，确定染色体初始种群及参数优化区间，根据信号包络熵计算获取目标函数，所述包络熵的计算公式为，其中，/>表示不同参数组合的信号包络熵，/>为原始信号希尔伯特变换后做归一化处理，/>表示采样点个数；计算最小包络熵值确定最优参数组合，设置小波变换的阈值函数进行声音信号的滤波。获取预处理后的声音信号；将匹配后的实操关键帧与预处理后的声音信号进行融合，生成实操关键帧序列，获取目标考生的实操项目生成数据标签进行标记；并在实操关键帧序列中获取人脸感兴趣区域，设置画面虚化图层对所述人脸感兴趣区域覆盖，将处理后的实操关键帧序列进行存储，杜绝身份信息对后续阅卷人员产生影响。
图2示出了本发明构建操作识别模型读取目标考生的操作序列的流程图。
根据本发明实施例，构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，具体为：
S202，基于操作项目预设关节点，根据所述预设关节点获取目标考生实操关键帧的关节拓扑结构，将所述关节拓扑结构结合工具信息进行图表示，并通过时空图卷积神经网络学习；
S204，获取目标考生关节节点的向量化表示，获取关节节点的相邻关节节点以及不同时间戳同一关节节点的向量化表示，通过邻居聚合及特征传递更新关节节点的向量化；
S206，通过所有关节节点重复迭代获取高维度的运动特征，利用Softmax函数识别目标考生的操作动作，获取目标考生的操作序列；
S208，根据操作项目的得分点预设实操项目的关键节点，根据所述关键节点将所述操作序列划分为不同时间步长的操作子序列。
需要说明的是，由于操作项目大多数只用到上半身进行操作，为了减少模型复杂度，选取上半身的若干关节点作为预设关节点，预设需要增加的设备和工具，将设备和工具看做额外的关节节点，并不考虑设备和工具之间的连接。
图3示出了本发明基于关键节点进行操作序列的考评的流程图。
根据本发明实施例，基于所述关键节点进行操作序列的考评，具体为：
S302，根据操作项目作为关键词提取标准操作序列，基于实操项目的关键节点对标准操作序列进行划分，生成对应的标准操作子序列；
S304，获取每个关键节点对应的操作子序列，将子操作序列与所述标准操作子序列进行匹配获取操作特征组合，利用所述操作特征组合获取操作子序列与标准操作子序列之间的动态时间规整（BTW）距离；
S306，根据BTW距离获取各操作子序列的评分系数，利用所述评分系数结合操作项目的分值信息获取关键节点对应操作子序列的操作考评结果。
需要说明的是，基于所述关键节点进行操作序列的考评，还包括：获取操作项目的历史考评记录，在所述历史考评记录中读取各操作子序列的平均操作时间，读取各标准操作子序列的标准操作时间，计算所述平均操作时间与标准操作时间的偏差；通过所述平均操作时间与标准操作时间进行对比，根据对比结果对操作子序列设置难易标签，并基于偏差设置难易标签对应的熟练度权重信息；根据关键节点获取目标考生各操作子序列的操作时间，并根据操作子序列获取操作特征之间的间隔时间，基于神经网络、支持向量机等深度学习方法构建熟练度考评模型，利用历史考评记录生成训练集与测试集，训练后输出符合预设标准的熟练度考评模型；将目标考生各操作子序列的操作时间与操作特征之间的间隔时间导入熟练度考评模型，获取各操作子序列的熟练度得分，将所述熟练度得分结合熟练度权重信息结合获取各操作子序列的熟练度考评结果；将各操作子序列的操作考评结果及熟练度考评结果结合获取考评结果，所述考评结果能够作为考评辅助信息，将考评结果对序列进行标注并存储，方便考生进行成绩查验。
根据本发明实施例，还包括：获取目标考生的考评结果序列，根据所述考评结果序列获取本次操作项目对应的操作内容；
根据所述操作内容生成目标考生的个性化补充学习方案制定数据，通过所述个性化补充学习方案制定数据生成目标考生的重点学习方向；
将预设时间段内目标考生重点学习方向对应的学习内容与历史学习内容集合生成操作在线考评，进行综合性考察，判断目标考生的掌握情况，若目标考生的掌握情况小于预设掌握情况阈值，则调整目标考生的学习方案；
同时，根据目标考生的操作熟练度及操作在线考评结果对个性化补充学习方案制定数据进行更新。
图4示出了本发明一种实操考试的智能监测考评系统的框图。
本发明第二方面还提供了一种实操考试的智能监测考评系统4，该系统包括：存储器41、处理器42，所述存储器中包括实操考试的智能监测考评方法程序，所述实操考试的智能监测考评方法程序被所述处理器执行时实现如下步骤：
通过近景及远景摄像头获取目标考生的监测视频流，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，获取身份验证结果，并在实操考试中进行重复验证；
将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；
构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，基于所述关键节点进行操作序列的考评；
获取关键节点的考评结果，根据所述考评结果生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果。
需要说明的是，在考试过程中引入了近景和远景两路摄像头，以便更好地保护考生的隐私，同时也能够确保考生在考试过程中的公平性和准确性。在考试开始之前，预设考试场地并安装摄像头，录制考生的考试过程。获取近景监测视频流及远景监测视频流，在所述近景监测视频流及远景监测视频流中获取实操场景关键帧及人脸关键帧；将所述人脸关键帧进行预处理，根据预处理后的人脸关键帧提取感兴趣区域，将所述感兴趣区域导入ResNet网络获取特征图，在所述ResNet网络中引入通道注意力模块及空间注意力模块；经过最大池化层和平均池化层生成不同的特征描述，并利用卷积核对特征描述进行卷积计算后进行相加，通过通道注意力模块使得特征的每个通道乘以通道注意力权重，使得重要通道的特征进行突出，生成通道特征图，在通道维度上经过最大池化层和平均池化层生成不同的特征描述，将特征描述进行拼接，输入空间注意力模块，将所有通道上的特征生成空间注意力权重，获取空间特征图，并将加权后的特征图进行相加聚合，获取全局特征。
预设面部关键点，基于所述面部关键点提取感兴趣区域的几何特征，将所述全局特征与几何特征进行融合，获取融合特征；根据所述实操场景关键帧获取目标考生的实操考试操作范围，在所述实操考试操作范围中进行人像检测，当确定范围内人数为1时，则利用所述融合特征进行目标考生的身份查验；获取目标考生考试过程中人脸关键帧对应的感兴趣区域序列，并基于面部关键点进行特征追踪，根据各关键点对应的融合特征与首次查验通过的身份信息对应的融合特征进行相似度计算；根据所述相似度进行重复验证，并且预设监考人员人脸信息，当近景监测视频流及远景监测视频流中出现监考人员人脸信息，则作为背景信息进行忽略。
需要说明的是，在实操考试期间提取近景监测视频流及远景监测视频流的实操关键帧，将不同摄像头的监测视频流的实操关键帧按照监测时间戳进行匹配，并获取近景监测视频流的声音信号；对所述声音信号通过小波变换进行滤波去噪，并利用遗传算法对小波变换进行优化获取小波变化的阈值信息；初始化需要优化的变量信息，包括平移量及尺度变量，确定染色体初始种群及参数优化区间，根据信号包络熵计算获取目标函数，所述包络熵的计算公式为，其中，/>表示不同参数组合的信号包络熵，/>为原始信号希尔伯特变换后做归一化处理，/>表示采样点个数；计算最小包络熵值确定最优参数组合，设置小波变换的阈值函数进行声音信号的滤波。获取预处理后的声音信号；将匹配后的实操关键帧与预处理后的声音信号进行融合，生成实操关键帧序列，获取目标考生的实操项目生成数据标签进行标记；并在实操关键帧序列中获取人脸感兴趣区域，设置画面虚化图层对所述人脸感兴趣区域覆盖，将处理后的实操关键帧序列进行存储。
根据本发明实施例，构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，具体为：
基于操作项目预设关节点，根据所述预设关节点获取目标考生实操关键帧的关节拓扑结构，将所述关节拓扑结构结合工具信息进行图表示，并通过时空图卷积神经网络学习；
获取目标考生关节节点的向量化表示，获取关节节点的相邻关节节点以及不同时间戳同一关节节点的向量化表示，通过邻居聚合及特征传递更新关节节点的向量化；
通过所有关节节点重复迭代获取高维度的运动特征，利用Softmax函数识别目标考生的操作动作，获取目标考生的操作序列；
根据操作项目的得分点预设实操项目的关键节点，根据所述关键节点将所述操作序列划分为不同时间步长的操作子序列。
需要说明的是，由于操作项目大多数只用到上半身进行操作，为了减少模型复杂度，选取上半身的若干关节点作为预设关节点，预设需要增加的设备和工具，将设备和工具看做额外的关节节点，并不考虑设备和工具之间的连接。
根据本发明实施例，基于所述关键节点进行操作序列的考评，具体为：
根据操作项目作为关键词提取标准操作序列，基于实操项目的关键节点对标准操作序列进行划分，生成对应的标准操作子序列；
获取每个关键节点对应的操作子序列，将子操作序列与所述标准操作子序列进行匹配获取操作特征组合，利用所述操作特征组合获取操作子序列与标准操作子序列之间的BTW距离；
根据所述BTW距离获取各操作子序列的评分系数，利用所述评分系数结合操作项目的分值信息获取关键节点对应操作子序列的操作考评结果。
需要说明的是，基于所述关键节点进行操作序列的考评，还包括：获取操作项目的历史考评记录，在所述历史考评记录中读取各操作子序列的平均操作时间，读取各标准操作子序列的标准操作时间，计算所述平均操作时间与标准操作时间的偏差；通过所述平均操作时间与标准操作时间进行对比，根据对比结果对操作子序列设置难易标签，并基于偏差设置难易标签对应的熟练度权重信息；根据关键节点获取目标考生各操作子序列的操作时间，并根据操作子序列获取操作特征之间的间隔时间，基于神经网络、支持向量机等深度学习方法构建熟练度考评模型，利用历史考评记录生成训练集与测试集，训练后输出符合预设标准的熟练度考评模型；将目标考生各操作子序列的操作时间与操作特征之间的间隔时间导入熟练度考评模型，获取各操作子序列的熟练度得分，将所述熟练度得分结合熟练度权重信息结合获取各操作子序列的熟练度考评结果；将各操作子序列的操作考评结果及熟练度考评结果结合获取考评结果。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括实操考试的智能监测考评方法程序，所述实操考试的智能监测考评方法程序被处理器执行时，实现如上述任一项所述的实操考试的智能监测考评方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (5)
1.一种实操考试的智能监测考评方法，其特征在于，包括以下步骤：
通过近景及远景摄像头获取目标考生的监测视频流，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，获取身份验证结果，并在实操考试中进行重复验证；
将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；
构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，基于所述关键节点进行操作序列的考评；
获取关键节点的考评结果，根据所述考评结果生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果；
将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记，具体为：
在实操考试期间提取近景监测视频流及远景监测视频流的实操关键帧，将不同摄像头的监测视频流的实操关键帧按照监测时间戳进行匹配，并获取近景监测视频流的声音信号；
对所述声音信号通过小波变换进行滤波去噪，并利用遗传算法对小波变换进行优化获取小波变化的阈值信息，利用阈值信息获取预处理后的声音信号；
将匹配后的实操关键帧与预处理后的声音信号进行融合，生成实操关键帧序列，获取目标考生的实操项目生成数据标签进行标记；
并在实操关键帧序列中获取人脸感兴趣区域，设置画面虚化图层对所述人脸感兴趣区域覆盖，将处理后的实操关键帧序列进行存储；
构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，具体为：
基于操作项目预设关节点，根据所述预设关节点获取目标考生实操关键帧的关节拓扑结构，将所述关节拓扑结构结合工具信息进行图表示，并通过时空图卷积神经网络学习；
获取目标考生关节节点的向量化表示，获取关节节点的相邻关节节点以及不同时间戳同一关节节点的向量化表示，通过邻居聚合及特征传递更新关节节点的向量化；
通过所有关节节点重复迭代获取高维度的运动特征，利用Softmax函数识别目标考生的操作动作，获取目标考生的操作序列；
根据操作项目的得分点预设实操项目的关键节点，根据所述关键节点将所述操作序列划分为不同时间步长的操作子序列；
基于所述关键节点进行操作序列的考评，具体为：
根据操作项目作为关键词提取标准操作序列，基于实操项目的关键节点对标准操作序列进行划分，生成对应的标准操作子序列；
获取每个关键节点对应的操作子序列，将子操作序列与所述标准操作子序列进行匹配获取操作特征组合，利用所述操作特征组合获取操作子序列与标准操作子序列之间的动态时间规整距离；
根据所述动态时间规整距离获取各操作子序列的评分系数，利用所述评分系数结合操作项目的分值信息获取关键节点对应操作子序列的操作考评结果。
2.根据权利要求1所述的一种实操考试的智能监测考评方法，其特征在于，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，具体为：
获取近景监测视频流及远景监测视频流，在所述近景监测视频流及远景监测视频流中获取实操场景关键帧及人脸关键帧；
将所述人脸关键帧进行预处理，根据预处理后的人脸关键帧提取感兴趣区域，将所述感兴趣区域导入ResNet网络获取特征图，在所述ResNet网络中引入通道注意力模块及空间注意力模块；
获取通道注意力权重及空间注意力权重对所述特征图加权，并将加权后的特征图进行相加聚合，获取全局特征；
预设面部关键点，基于所述面部关键点提取感兴趣区域的几何特征，将所述全局特征与几何特征进行融合，获取融合特征；
根据所述实操场景关键帧获取目标考生的实操考试操作范围，在所述实操考试操作范围中进行人像检测，当确定范围内人数为1时，则利用所述融合特征进行目标考生的身份查验；
获取目标考生考试过程中人脸关键帧对应的感兴趣区域序列，并基于面部关键点进行特征追踪，根据各关键点对应的融合特征与首次查验通过的身份信息对应的融合特征进行相似度计算；
根据所述相似度进行重复验证，并且预设监考人员人脸信息，当近景监测视频流及远景监测视频流中出现监考人员人脸信息，则作为背景信息进行忽略。
3.根据权利要求1所述的一种实操考试的智能监测考评方法，其特征在于，基于所述关键节点进行操作序列的考评，还包括：
获取操作项目的历史考评记录，在所述历史考评记录中读取各操作子序列的平均操作时间，读取各标准操作子序列的标准操作时间，计算所述平均操作时间与标准操作时间的偏差；
通过所述平均操作时间与标准操作时间进行对比，根据对比结果对操作子序列设置难易标签，并基于偏差设置难易标签对应的熟练度权重信息；
根据关键节点获取目标考生各操作子序列的操作时间，并根据操作子序列获取操作特征之间的间隔时间，构建熟练度考评模型，利用历史考评记录生成训练集与测试集，训练后输出符合预设标准的熟练度考评模型；
将目标考生各操作子序列的操作时间与操作特征之间的间隔时间导入熟练度考评模型，获取各操作子序列的熟练度得分，将所述熟练度得分结合熟练度权重信息结合获取各操作子序列的熟练度考评结果；
将各操作子序列的操作考评结果及熟练度考评结果结合获取考评结果。
4.一种实操考试的智能监测考评系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种实操考试的智能监测考评方法程序，所述一种实操考试的智能监测考评方法程序被所述处理器执行时实现如下步骤：
通过近景及远景摄像头获取目标考生的监测视频流，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，获取身份验证结果，并在实操考试中进行重复验证；
将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；
构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，基于所述关键节点进行操作序列的考评；
获取关键节点的考评结果，根据所述考评结果生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果；
将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记，具体为：
在实操考试期间提取近景监测视频流及远景监测视频流的实操关键帧，将不同摄像头的监测视频流的实操关键帧按照监测时间戳进行匹配，并获取近景监测视频流的声音信号；
对所述声音信号通过小波变换进行滤波去噪，并利用遗传算法对小波变换进行优化获取小波变化的阈值信息，利用阈值信息获取预处理后的声音信号；
将匹配后的实操关键帧与预处理后的声音信号进行融合，生成实操关键帧序列，获取目标考生的实操项目生成数据标签进行标记；
并在实操关键帧序列中获取人脸感兴趣区域，设置画面虚化图层对所述人脸感兴趣区域覆盖，将处理后的实操关键帧序列进行存储；
构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，具体为：
基于操作项目预设关节点，根据所述预设关节点获取目标考生实操关键帧的关节拓扑结构，将所述关节拓扑结构结合工具信息进行图表示，并通过时空图卷积神经网络学习；
获取目标考生关节节点的向量化表示，获取关节节点的相邻关节节点以及不同时间戳同一关节节点的向量化表示，通过邻居聚合及特征传递更新关节节点的向量化；
通过所有关节节点重复迭代获取高维度的运动特征，利用Softmax函数识别目标考生的操作动作，获取目标考生的操作序列；
根据操作项目的得分点预设实操项目的关键节点，根据所述关键节点将所述操作序列划分为不同时间步长的操作子序列；
基于所述关键节点进行操作序列的考评，具体为：
根据操作项目作为关键词提取标准操作序列，基于实操项目的关键节点对标准操作序列进行划分，生成对应的标准操作子序列；
获取每个关键节点对应的操作子序列，将子操作序列与所述标准操作子序列进行匹配获取操作特征组合，利用所述操作特征组合获取操作子序列与标准操作子序列之间的动态时间规整距离；
根据所述动态时间规整距离获取各操作子序列的评分系数，利用所述评分系数结合操作项目的分值信息获取关键节点对应操作子序列的操作考评结果。
5.根据权利要求4所述的一种实操考试的智能监测考评系统，其特征在于，基于所述关键节点进行操作序列的考评，还包括：
获取操作项目的历史考评记录，在所述历史考评记录中读取各操作子序列的平均操作时间，读取各标准操作子序列的标准操作时间，计算所述平均操作时间与标准操作时间的偏差；
通过所述平均操作时间与标准操作时间进行对比，根据对比结果对操作子序列设置难易标签，并基于偏差设置难易标签对应的熟练度权重信息；
根据关键节点获取目标考生各操作子序列的操作时间，并根据操作子序列获取操作特征之间的间隔时间，构建熟练度考评模型，利用历史考评记录生成训练集与测试集，训练后输出符合预设标准的熟练度考评模型；
将目标考生各操作子序列的操作时间与操作特征之间的间隔时间导入熟练度考评模型，获取各操作子序列的熟练度得分，将所述熟练度得分结合熟练度权重信息结合获取各操作子序列的熟练度考评结果；
将各操作子序列的操作考评结果及熟练度考评结果结合获取考评结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311092055.5A CN116824459B (zh) | 2023-08-29 | 2023-08-29 | 一种实操考试的智能监测考评方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311092055.5A CN116824459B (zh) | 2023-08-29 | 2023-08-29 | 一种实操考试的智能监测考评方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116824459A CN116824459A (zh) | 2023-09-29 |
| CN116824459B true CN116824459B (zh) | 2023-12-08 |
Family
ID=88115279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311092055.5A Active CN116824459B (zh) | 2023-08-29 | 2023-08-29 | 一种实操考试的智能监测考评方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116824459B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419736A (zh) * | 2022-03-10 | 2022-04-29 | 成都西交智汇大数据科技有限公司 | 一种实验评分方法、系统、设备及可读存储介质 |
| CN114881541A (zh) * | 2022-07-06 | 2022-08-09 | 成都西交智汇大数据科技有限公司 | 一种考生成绩的评定方法、装置、设备及可读存储介质 |
| CN217770241U (zh) * | 2022-03-07 | 2022-11-08 | 广东新裕信息科技有限公司 | 理化生实验操作考评系统 |
| CN115860591A (zh) * | 2023-03-03 | 2023-03-28 | 济南大学 | 一种实验操作ai考试评分方法及系统 |
| CN116091967A (zh) * | 2022-12-27 | 2023-05-09 | 北京竞业达数字系统科技有限公司 | 一种实验操作考试的电子答卷处理方法和装置、电子设备 |
| CN116245405A (zh) * | 2023-02-08 | 2023-06-09 | 中山大学 | 实验仪器标准操作评分方法、系统、设备及存储介质 |
-
2023
- 2023-08-29 CN CN202311092055.5A patent/CN116824459B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN217770241U (zh) * | 2022-03-07 | 2022-11-08 | 广东新裕信息科技有限公司 | 理化生实验操作考评系统 |
| CN114419736A (zh) * | 2022-03-10 | 2022-04-29 | 成都西交智汇大数据科技有限公司 | 一种实验评分方法、系统、设备及可读存储介质 |
| CN114881541A (zh) * | 2022-07-06 | 2022-08-09 | 成都西交智汇大数据科技有限公司 | 一种考生成绩的评定方法、装置、设备及可读存储介质 |
| CN116091967A (zh) * | 2022-12-27 | 2023-05-09 | 北京竞业达数字系统科技有限公司 | 一种实验操作考试的电子答卷处理方法和装置、电子设备 |
| CN116245405A (zh) * | 2023-02-08 | 2023-06-09 | 中山大学 | 实验仪器标准操作评分方法、系统、设备及存储介质 |
| CN115860591A (zh) * | 2023-03-03 | 2023-03-28 | 济南大学 | 一种实验操作ai考试评分方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116824459A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| Li et al. | Benchmarking single-image dehazing and beyond | |
| You et al. | Relative CNN-RNN: Learning relative atmospheric visibility from images | |
| CN108509941B (zh) | 情绪信息生成方法和装置 | |
| CN111222500B (zh) | 一种标签提取方法及装置 | |
| CN111723784B (zh) | 一种风险视频识别方法、装置和电子设备 | |
| CN111754541A (zh) | 目标跟踪方法、装置、设备及可读存储介质 | |
| Laraba et al. | Dance performance evaluation using hidden Markov models | |
| CN111428448B (zh) | 文本生成方法、装置、计算机设备及可读存储介质 | |
| CN105005772A (zh) | 一种视频场景检测方法 | |
| CN111444873A (zh) | 视频中人物真伪的检测方法、装置、电子设备及存储介质 | |
| CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、系统及介质 | |
| CN111401105B (zh) | 一种视频表情识别方法、装置及设备 | |
| CN111738199A (zh) | 图像信息验证方法、装置、计算装置和介质 | |
| CN115546861A (zh) | 一种在线课堂专注度识别方法、系统、设备及介质 | |
| CN113283334B (zh) | 一种课堂专注度分析方法、装置和存储介质 | |
| CN111199172A (zh) | 基于终端录屏的处理方法及装置、存储介质 | |
| CN114971425B (zh) | 数据库信息监控方法、装置、设备及存储介质 | |
| CN116824459B (zh) | 一种实操考试的智能监测考评方法、系统及存储介质 | |
| CN112966547A (zh) | 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质 | |
| CN117152815A (zh) | 一种学生活动伴随式数据分析方法、装置及设备 | |
| Chen et al. | Classroom attention estimation method based on mining facial landmarks of students | |
| CN115659221A (zh) | 一种教学质量的评估方法、装置及计算机可读存储介质 | |
| CN115511670A (zh) | 一种在线教育方法及在线教育平台 | |
| Patil et al. | Automated Alarm System for Student Anomalous Action Detection in Examination Based on Video Surveillance Using ML Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |