CN115359412A - 一种盐酸中和实验评分方法、装置、设备及可读存储介质 - Google Patents
一种盐酸中和实验评分方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN115359412A CN115359412A CN202211299033.1A CN202211299033A CN115359412A CN 115359412 A CN115359412 A CN 115359412A CN 202211299033 A CN202211299033 A CN 202211299033A CN 115359412 A CN115359412 A CN 115359412A
- Authority
- CN
- China
- Prior art keywords
- experiment
- picture
- classification
- experimental
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 136
- VEXZGXHMUGYJMC-UHFFFAOYSA-N Hydrochloric acid Chemical compound Cl VEXZGXHMUGYJMC-UHFFFAOYSA-N 0.000 title claims abstract description 102
- 238000006386 neutralization reaction Methods 0.000 title claims abstract description 51
- 238000013077 scoring method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 30
- 238000012360 testing method Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 21
- 238000013145 classification model Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种盐酸中和实验评分方法、装置、设备及可读存储介质，涉及计算机技术领域，包括获取实时图像信息和历史实验视频数据；基于预设的目标检测算法和历史实验视频数据建立图片识别模型，将实时图像信息作为输入值，求解图片识别模型得到识别结果，识别结果包括实验步骤名称和实验器材图片；将实验器材图片进行图片分类处理得到分类结果，分类结果包括至少一个包含实验器材名称的实验器材状态信息；根据步骤名称、分类结果和预设的评分规则得到步骤评分。本发明的有益效果为：通过在图片识别模型中使用圆形锚框，提高了模型对俯视摄像头下圆形物体的检测精度，还减少了模型参数量，提高了模型检测的速度。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种盐酸中和实验评分方法、装置、设备及可读存储介质。
背景技术
化学是一门以实验为基础的科学，为了验证学生是否掌握了课程的基本概念，需要进行化学实验考试进行评价。在当前的化学考试中，往往需要人工对学生的操作进行一对一的观察和评价，形成最终实验得分，现需要一种能够对盐酸中和实验的操作进行识别的方法和装置，以此来对盐酸中和实验考试中的操作步骤进行自动评分，进而减少人力消耗和减少人工判断的主观性，保障实验评分的准确性。
发明内容
本发明的目的在于提供一种盐酸中和实验评分方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种盐酸中和实验评分方法，包括：
获取实时图像信息和历史实验视频数据，所述实时图像信息为至少一帧通过摄像设备采集的实验人员进行化学实验操作的图像；
基于预设的目标检测算法和所述历史实验视频数据建立图片识别模型，将所述实时图像信息作为输入值，求解所述图片识别模型得到识别结果，所述识别结果包括实验步骤名称和实验器材图片，所述实验器材图片为至少一张根据轮廓裁剪的实验器材图片；
将所述实验器材图片进行图片分类处理得到分类结果，所述分类结果包括至少一个包含实验器材名称的实验器材状态信息；
根据所述步骤名称、分类结果和预设的评分规则得到步骤评分。
第二方面，本申请还提供了一种盐酸中和实验评分装置，包括：
获取模块，用于获取实时图像信息和历史实验视频数据；
识别模块，基于预设的目标检测算法和所述历史实验视频数据建立图片识别模型，将所述实时图像信息作为输入值，求解所述图片识别模型得到识别结果，所述识别结果包括实验步骤名称和实验器材图片，所述实验器材图片为至少一张根据轮廓裁剪的实验器材图片；
分类模块，用于将所述实验器材图片进行图片分类处理得到分类结果；
评分模块，用于根据所述步骤名称、分类结果和预设的评分规则得到步骤评分。
第三方面，本申请还提供了一种盐酸中和实验评分设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述盐酸中和实验评分方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于盐酸中和实验评分方法的步骤。
本发明的有益效果为：
一、本发明通过对历史实验视频数据中的实验器材图片进行聚类获得大小不同的圆形锚框，通过采用圆形锚框对目标识别算法进行改进，进而提高了模型对俯视摄像头下圆形物体的检测精度，还减少了模型参数量，提高了模型检测的速度。
二、本发明通过将人脸模糊处理功能融入实验器材检测的目标识别算法中，不仅识别精度得到了提高，还缩短了实时图像的处理时间，避免实验画面中泄露考生隐私的可能性。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的盐酸中和实验评分方法流程示意图;
图2为本发明实施例中所述的盐酸中和实验评分装置结构示意图；
图3为本发明实施例中所述的盐酸中和实验评分设备结构示意图。
图中标记：1、获取模块；2、异常检测模块；21、第一处理单元；22、第一分析单元；23、第二分析单元；24、第三分析单元；3、识别模块；31、第二处理单元；32、第一聚类单元；33、第四分析单元；331、第六分析单元；332、第七分析单元；333、第八分析单元；334、第九分析单元；34、第五分析单元；341、第三处理单元；342、第十分析单元；343、第十一分析单元；344、第十二分析单元；345、第十三分析单元；4、分类模块；41、第四处理单元；42、第十四分析单元；43、第十五分析单元；5、评分模块；800、盐酸中和实验评分设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种盐酸中和实验评分方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300和步骤S400。
步骤S100、获取实时图像信息和历史实验视频数据，实时图像信息为至少一帧通过摄像设备采集的实验人员进行化学实验操作的图像。
可以理解的是本步骤是为了将所有的历史实验视频数据进行上传和存储，以识别学生实验中的正在进行的步骤和判断实验操作是否得分，其中实时图像信息为实验操作台前的俯视摄像头进行拍摄的视频。
步骤S200、对实时图像信息进行异常检测。
可以理解的是本步骤是为了检测摄像头拍摄角度是否正确，若发生拍摄异常的情况，可以及时中断考试并通知考务人员处理异常情况。需要说明的是，步骤S200包括步骤S210、步骤S220、步骤S230和步骤S240。
步骤S210、将历史实验视频数据进行预处理得到RGB图片集，基于RGB图片集对预设的语义分割模型进行训练得到异常检测模型。
可以理解的是本步骤是为了利用事先采集的数据进行语义分割模型DeepLabV3的训练，得到异常检测模型。
步骤S220、根据实时图像信息和异常检测模型得到判断结果。
可以理解的是本步骤是为了训练完毕的异常检测模型输出一张以上的三通道RGB图片，语义分割模型可以返回输入图片上每个像素点所属于的类别。在本实施例中语义分割模型将返回每个像素点是属于实验区域还是背景画面，通过对比图片内属于实验区域的像素点数量与属于背景画面的像素点数量，可以得知该摄像头是否正确拍摄实验区域，从而避免因摄像角度的偏移导致未能正确拍摄实验区域。与传统基于机器视觉的异常检测相比，基于深度学习的语义分割模型对于复杂环境的鲁棒性更强，在不同学校实验器材繁多的实验室内仍能保持极高的检测准确率，使得异常发生时考务人员能第一时间调整摄像头，避免因器材原因导致考生考试成绩无效。
步骤S230、若判断结果为不通过，则输出暂停实验操作的命令。
可以理解的是本步骤是识别到摄像头拍摄异常后暂停考试，并通知考务人员进行排障工作。
步骤S240、若判断结果为通过，则输出实时图像信息。
可以理解的是本步骤是检测到摄像头正常拍摄后，将实时图像信息输入至后续步骤中。
步骤S300、基于预设的目标检测算法和历史实验视频数据建立图片识别模型，将实时图像信息作为输入值，求解图片识别模型得到识别结果，识别结果包括实验步骤名称和实验器材图片，实验器材图片为至少一张根据轮廓裁剪的实验器材图片。
可以理解的是，本步骤通过将历史实验视频数据经过预处理后输入至改进的YOLOV5算法进行训练，得到图片识别模型，然后将实时图像信息输入至图片识别模型中识别出当前进行的实验步骤名称，同时图片识别模型中标注出实验器材的轮廓并沿轮廓进行裁剪得到实验器材图片。需要说明的是，步骤S300包括步骤S310、步骤S320、步骤S330和步骤S340。
S310、将历史实验视频数据进行预处理得到标准实验图像样本集。
可以理解的是，本步骤是将历史实验视频数据处理为帧图像，并在每帧图像中识别出实验器材的轮廓，并沿轮廓用圆形框进行框选和名称标注，最后整理得到标准实验图像样本集，提升后续对目标检测算法训练的效率。
S320、将标准实验图像样本集按照实验器材种类进行分类，并将分类完成的标准实验图像样本集按照类别进行聚类运算得到聚类结果，聚类结果包括每种实验器材的圆形锚框。
可以理解的是，本步骤是将标准实验图像样本集中标注的各种类实验器材圆形框尺寸汇总，然后每个类别的圆形框尺寸分别进行聚类运算得到圆形锚框。在本实施例中，根据盐酸中和实验中需要识别的实验器材将类别设置为9种，并通过聚类运算后，得到9个锚框，分别为：[9],[16],[22],[33],[40],[65],[72],[117],[227],其中括号内为圆形锚框的半径。同时由于在实验考试中摄像头为俯视摄像头，录制得到的试管、烧杯、培养皿、滴管等物体均为圆形，将检测框设置为圆形锚框，不仅提高了俯视摄像头下圆形物体的检测精度，还减少了模型参数量，提高了模型检测的速度。本实施例中使用K均值聚类法对圆形框尺寸进行分类运算，K均值聚类法为本领域技术人员的公知常识，本申请中不再赘述，也可使用其他聚类算法对圆形框尺寸进行聚类运算，本实施例中不做限制。
S330、基于聚类结果构建目标检测算法，将标准实验图像样本集作为输入值对目标检测算法进行训练，得到图片识别模型。
可以理解的是，本步骤是将聚类运算后得到的圆形锚框种类和尺寸作为目标检测算法中的锚框参数进行改进，其中目标检测算法可以包括YoloV5算法。用实验器材的圆形锚框尺寸替换目标检测算法中的锚框参数的原始值，由于原始值是在通用数据集基础上进行聚类得到的锚框的值，不适用于实验考试中识别实验器材这样的具体场景中进行训练，在替换掉算法中原有的锚框参数后，将标准实验图像样本集中包含的所有样本依次输入至改进后目标检测算法中对应的网络中进行训练，就能够得到对应的图片识别模型，便于后续用于目标检测。需要说明的是，步骤S330包括步骤S331、步骤S332、步骤S333和步骤S334。
步骤S331、将圆形锚框作为YoloV5算法中的锚框参数。
可以理解的是，本步骤中将YoloV5算法中的原始锚框参数替换为通过K均值聚类得到的圆形锚框参数，化学实验器材就是一种圆形特征较为明显的目标，针对性地采用圆形锚框可以获得比传统矩形锚框更好的效果，进而提高了模型检测的速度。
步骤S332、基于圆形锚框的形状特点和尺寸特点构建圆形框损失函数，使用非极大值抑制方法筛选出最佳圆形预测框。
可以理解的是，本步骤中根据损失函数计算损失时需要计算两个框A、B的GIoU，由于将矩形框变更为圆形框，所以GIoU计算公式也发生改变。在YoloV5中，分配先验框或使用非极大值抑制筛选预测框时需要计算两个框A、B的IoU即重叠度，由于将矩形框变更为圆形框，所以IoU计算公式也发生改变。
设圆A、B中
，则：
其中，
为圆A的面积，
为圆B的面积, 
为圆A的半径，
为圆B的半径，
为圆A的横坐标，
为圆B的横坐标，
为圆A的纵坐标，
为圆B的纵坐标，
为圆A
和圆B的圆心距离，
为圆A的余弦，
为圆B的余弦，IoU为圆A和圆B的重合度。
在YoloV5中，根据损失函数计算损失时需要计算两个框A、B的GIoU，由于将矩形框变更为圆形框，所以GIoU计算公式也发生改变。
其中，
为预测框圆C的面积，
为圆C的半径。
步骤S333、根据锚框参数和最佳圆形预测框构建目标检测算法。
可以理解的是，本步骤中是在现有技术YoloV5算法中的基础上对检测层部分的锚框参数和损失函数进行修改，得到了针对实验器材识别的目标检测算法，而YoloV5算法的其余内容不做修改，对YoloV5算法的改进运用为本领域技术人员的常识，本申请中不再赘述。通过建立针对实验器材识别的目标检测算法可以提升检测精度。
步骤S334、将标准实验图像样本集进行划分为训练集、测试集和验证集，并输入至目标检测算法中进行训练得到图片识别模型。
可以理解的是，本步骤中将标准实验图像样本集中俯视镜头下采集的各类实验器材图像进行随机划分，分别作为训练集、测试集和验证集，然后将其输入至目标检测算法中进行训练，在训练中预设一个Adam优化器，根据圆形框损失函数的变化趋势，调整学习率大小和迭代次数，直至圆形框损失函数变化趋势趋于稳定，进而得到图片识别模型。
S340、根据实时图像信息和图片识别模型得到识别结果。
可以理解的是，本步骤是将实时图像信息输入至图片识别模型进行识别检测，获取图像中实验器材的名称和位置关系，进而判断得到实验步骤名称，同时将识别到的实验器材沿轮廓进行剪裁得到实验器材图片。例如在盐酸中和实验中，使用图片识别模型检测俯视摄像头内的画面是否连续3帧内出现试管架、试管、试管刷、大烧杯、小烧杯、滴管，若出现上述实验器材，并且试管的圆形框与试管架的圆形框相交，试管刷的圆形框与试管架的圆形框相交，滴管的圆形框与小烧杯25的圆形框相交，即可确定该步骤为实验中 “检查实验用品是否齐全”步骤，图片识别模型即可输出该实验步骤的名称和经过剪裁后的实验器材图片。需要说明的是，步骤S340包括步骤S341、步骤S342、步骤S343、步骤S344和步骤S345。
步骤S341、将历史实验视频数据进行筛选处理得到人脸样本数据。
可以理解的是，本步骤是为了从历史实验数据中得到人脸样本数据，便于后续的训练。
步骤S342、基于人脸样本数据预设的人脸识别算法进行训练得到特征文件，并基于特征文件和人脸识别算法建立人脸检测模型。
可以理解的是，本步骤是在YoloV5算法中增加了的人脸检测层，通过人脸样本数据训练建立人脸检测模型，在识别实验器材前通过人脸检测对图片进行处理，对YoloV5算法的改进运用为本领域技术人员的常识，本申请中不再赘述。
步骤S343、基于人脸检测模型判断将实时图像中是否存在人脸信息。
可以理解的是，本步骤是为了避免实验过程拍摄到学生的脸部画面、造成学生隐私的泄露，本实施例中摄像头角度均为45°斜视或俯视，在正常实验流程中不会拍摄到学生的脸部画面。但若摄像头角度发生了偏移、或学生故意将脸部伸入摄像头拍摄画面内，不仅会造成学生隐私的泄露，还可能将学生脸部画面泄露给通过视频辅助阅卷的监考老师，从而给舞弊行为提供操作空间。
步骤S344、若未检测到人脸信息，则将实时图像输入至图片识别模型得到识别结果。
可以理解的是，本步骤在未检测到人脸信息时，则对实时图像不做更改输入至后续的图片识别模型中。
步骤S345、若检测到人脸信息，则对实时图像中的人脸轮廓进行模糊处理后输入至图片识别模型得到识别结果。
可以理解的是，在本步骤中若实时图像内出现人脸画面，则可将人脸检测框内的画面进行马赛克处理，即将矩形框分割为数个指定大小的正方形，每个正方形内的像素点均为正方形内所有像素点RGB数值的平均值，在学生云终端与教师云终端实时展示的实验画面为已经完成人脸马赛克的图片，从而避免学生隐私的泄露与监考舞弊的行为。同时还缩短了后续实时图像的处理时间，使得人脸马赛克功能达到了实时标准，杜绝了实验画面中泄露考生隐私的可能性。
S400、将实验器材图片进行图片分类处理得到分类结果，分类结果包括至少一个包含实验器材名称的实验器材状态信息。
可以理解的是，本步骤是为了通过使用基于Resnet50算法的图片分类模型对实验器材图片进行识别，识别出实验器材的状态信息。例如在盐酸中和实验中的“启开试剂瓶后，将瓶盖倒放在桌面”步骤，使用图片识别模型检测俯视摄像头内的画面是否出现玻璃瓶塞，若画面内的玻璃瓶塞的圆形框不与细口瓶的圆形框相交或者玻璃瓶塞的圆形框的中心点的高度低于细口瓶的圆形框的中心的高度，使用图片分类模型检测玻璃瓶塞的圆形框所裁剪的图片是否连续8帧状态为倒放的玻璃瓶塞。需要说明的是，步骤S400包括步骤S410、步骤S420和步骤S430。
步骤S410、将历史实验视频数据进行预处理，筛选出实验器材样本集，实验器材样本集内一个元素为一种实验器材名称及至少一张剪裁后的实验器材图片。
可以理解的是，本步骤是为了将历史实验视频数据进行处理转换为筛选出实验器材的图片并对每张实验器材的图片进行状态信息标注，方便后续的训练。
步骤S420、基于实验器材样本集对预设的分类算法进行训练得到状态信息分类结果，并基于状态信息分类结果建立图片分类模型。
可以理解的是，在本实施例中，将实验器材样本集作为输入值对Resnet50算法进行训练得到能够快速对实验器材图片进行状态判断的图片分类模型，也可使用其他图片分类算法对圆形框所裁剪的图片进行分类运算，本实施例中不做限制。
步骤S430、将实验器材图片输入至图片分类模型得到分类结果。
可以理解的是，本步骤是为了使用图片分类模型得到实验器材图片当前的状态信息，便于后续判断打分。
步骤S500、根据步骤名称、分类结果和预设的评分规则得到步骤评分。
可以理解的是，本步骤是为了将图片识别模型中得到的步骤名称和图片分类模型得到的分类结果，结合评分规则中的各步骤的分值对当前实验人员的操作步骤按照进行实时评分。
实施例2：
如图2所示，本实施例提供了一种盐酸中和实验评分装置，装置包括：
获取模块1，用于获取实时图像信息和历史实验视频数据。
异常检测模块2，用于对实时图像信息进行异常检测。
识别模块3，基于预设的目标检测算法和历史实验视频数据建立图片识别模型，将实时图像信息作为输入值，求解图片识别模型得到识别结果。
分类模块4，用于将实验器材图片进行图片分类处理得到分类结果。
评分模块5，用于根据步骤名称、分类结果和预设的评分规则得到步骤评分。
在本公开的一种具体实施方式中，异常检测模块2包括：
第一处理单元21，用于将历史实验视频进行预处理得到RGB图片集，基于RGB图片集对预设的语义分割模型进行训练得到异常检测模型。
第一分析单元22，根据实时图像信息和异常检测模型得到判断结果。
第二分析单元23，若判断结果为不通过，则输出暂停实验操作的命令。
第三分析单元24，若判断结果为通过，则输出实时图像信息。
在本公开的一种具体实施方式中，识别模块3包括：
第二处理单元31，用于将历史实验视频数据进行预处理得到标准实验图像样本集。
第一聚类单元32，用于将标准实验图像样本集按照实验器材种类进行分类，并将分类完成的标准实验图像样本集按照类别进行聚类运算得到聚类结果，聚类结果包括每种实验器材的圆形锚框。
第四分析单元33，基于聚类结果构建目标检测算法，将标准实验图像样本集作为输入值对目标检测算法进行训练，得到图片识别模型。
第五分析单元34，用于根据实时图像信息和图片识别模型得到识别结果。
在本公开的一种具体实施方式中，第四分析单元33包括：
第六分析单元331，用于将圆形锚框作为YoloV5算法中的锚框参数。
第七分析单元332，基于圆形锚框的形状特点和尺寸特点构建圆形框损失函数，使用非极大值抑制方法筛选出最佳圆形预测框。
第八分析单元333，根据锚框参数和最佳圆形预测框对YoloV5算法进行改进得到目标检测算法。
第九分析单元334，将标准实验图像样本集进行划分为训练集、测试集和验证集，并输入至目标检测算法中进行训练得到图片识别模型。
在本公开的一种具体实施方式中，第五分析单元34包括：
第三处理单元341，用于将历史实验视频数据进行筛选处理得到人脸样本数据。
第十分析单元342，基于人脸样本数据对预设的目标检测算法进行训练得到特征文件，并基于特征文件和预设的目标检测算法建立人脸检测模型。
第十一分析单元343，基于人脸检测模型判断将实时图像中是否存在人脸信息。
第十二分析单元344，若未检测到人脸信息，则将实时图像输入至图片识别模型得到识别结果。
第十三分析单元345，若检测到人脸信息，则对实时图像中的人脸轮廓进行模糊处理后输入至图片识别模型得到识别结果。
在本公开的一种具体实施方式中，分类模块4包括：
第四处理单元41，用于将历史实验视频数据进行预处理，筛选出实验器材样本集，实验器材样本集内一个元素为一种实验器材名称及至少一张剪裁后的实验器材图片。
第十四分析单元42，基于实验器材样本集对预设的分类算法进行训练得到状态信息分类结果，并基于状态信息分类结果建立图片分类模型。
第十五分析单元43，将实验器材图片输入至图片分类模型得到分类结果。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种盐酸中和实验评分设备，下文描述的一种盐酸中和实验评分设备与上文描述的一种盐酸中和实验评分方法可相互对应参照。
图3是根据示例性实施例示出的一种盐酸中和实验评分设备800的框图。如图3所示，该盐酸中和实验评分设备800可以包括：处理器801，存储器802。该盐酸中和实验评分设备800还可以包括多媒体组件803， I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该盐酸中和实验评分设备800的整体操作，以完成上述的盐酸中和实验评分方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该盐酸中和实验评分设备800的操作，这些数据例如可以包括用于在该盐酸中和实验评分设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random AccessMemory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该盐酸中和实验评分设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，盐酸中和实验评分设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的盐酸中和实验评分方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的盐酸中和实验评分方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由盐酸中和实验评分设备800的处理器801执行以完成上述的盐酸中和实验评分方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种盐酸中和实验评分方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的盐酸中和实验评分方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种盐酸中和实验评分方法，其特征在于，包括：
获取实时图像信息和历史实验视频数据，所述实时图像信息为至少一帧通过摄像设备采集的实验人员进行化学实验操作的图像；
基于预设的目标检测算法和所述历史实验视频数据建立图片识别模型，将所述实时图像信息作为输入值，求解所述图片识别模型得到识别结果，所述识别结果包括实验步骤名称和实验器材图片，所述实验器材图片为至少一张根据轮廓裁剪的实验器材图片；
将所述实验器材图片进行图片分类处理得到分类结果，所述分类结果包括至少一个包含实验器材名称的实验器材状态信息；
根据所述步骤名称、分类结果和预设的评分规则得到步骤评分。
2.根据权利要求1所述的盐酸中和实验评分方法，其特征在于,基于预设的目标检测算法和所述历史实验视频数据建立图片识别模型，将所述实时图像信息作为输入值，求解所述图片识别模型得到识别结果，包括：
将所述历史实验视频数据进行预处理得到标准实验图像样本集；
将所述标准实验图像样本集按照实验器材种类进行分类，并将分类完成的所述标准实验图像样本集按照类别进行聚类运算得到聚类结果，所述聚类结果包括每种实验器材的圆形锚框；
基于所述聚类结果构建目标检测算法，将所述标准实验图像样本集作为输入值对所述目标检测算法进行训练，得到图片识别模型；
根据所述实时图像信息和所述图片识别模型得到识别结果。
3.根据权利要求2所述的盐酸中和实验评分方法，其特征在于, 基于所述聚类结果构建目标检测算法，将所述标准实验图像样本集作为输入值对所述目标检测算法进行训练，得到图片识别模型，包括：
将所述圆形锚框作为YoloV5算法中的锚框参数；
基于所述圆形锚框的形状特点和尺寸特点构建圆形框损失函数，使用非极大值抑制方法筛选出最佳圆形预测框；
根据所述锚框参数和所述最佳圆形预测框对YoloV5算法进行改进得到目标检测算法；
将所述标准实验图像样本集进行划分为训练集、测试集和验证集，并输入至所述目标检测算法中进行训练得到图片识别模型。
4.根据权利要求1所述的盐酸中和实验评分方法，其特征在于, 将所述实验器材图片进行图片分类处理得到分类结果，包括：
将所述历史实验视频数据进行预处理，筛选出实验器材样本集，所述实验器材样本集内一个元素为一种实验器材名称及至少一张剪裁后的实验器材图片；
基于所述实验器材样本集对预设的分类算法进行训练得到状态信息分类结果，并基于所述状态信息分类结果建立图片分类模型；
将所述实验器材图片输入至所述图片分类模型得到分类结果。
5.一种盐酸中和实验评分装置，其特征在于，包括：
获取模块，用于获取实时图像信息和历史实验视频数据；
识别模块，基于预设的目标检测算法和所述历史实验视频数据建立图片识别模型，将所述实时图像信息作为输入值，求解所述图片识别模型得到识别结果，所述识别结果包括实验步骤名称和实验器材图片，所述实验器材图片为至少一张根据轮廓裁剪的实验器材图片；
分类模块，用于将所述实验器材图片进行图片分类处理得到分类结果；
评分模块，用于根据步骤名称、分类结果和预设的评分规则得到步骤评分。
6.根据权利要求5所述的盐酸中和实验评分装置，其特征在于，所述识别模块包括：
第二处理单元，用于将所述历史实验视频数据进行预处理得到标准实验图像样本集；
第一聚类单元，用于将所述标准实验图像样本集按照实验器材种类进行分类，并将分类完成的所述标准实验图像样本集按照类别进行聚类运算得到聚类结果，所述聚类结果包括每种实验器材的圆形锚框；
第四分析单元，基于所述聚类结果构建目标检测算法，将所述标准实验图像样本集作为输入值对所述目标检测算法进行训练，得到图片识别模型；
第五分析单元，用于根据所述实时图像信息和所述图片识别模型得到识别结果。
7.根据权利要求6所述的盐酸中和实验评分装置，其特征在于，所述第四分析单元包括：
第六分析单元，用于将所述圆形锚框作为YoloV5算法中的锚框参数；
第七分析单元，基于所述圆形锚框的形状特点和尺寸特点构建圆形框损失函数，使用非极大值抑制方法筛选出最佳圆形预测框；
第八分析单元，根据所述锚框参数和所述最佳圆形预测框对YoloV5算法进行改进得到目标检测算法；
第九分析单元，将所述标准实验图像样本集进行划分为训练集、测试集和验证集，并输入至所述目标检测算法中进行训练得到图片识别模型。
8.根据权利要求7所述的盐酸中和实验评分装置，其特征在于，所述分类模块，包括：
第四处理单元，用于将所述历史实验视频数据进行预处理，筛选出实验器材样本集，所述实验器材样本集内一个元素为一种实验器材名称及至少一张剪裁后的实验器材图片；
第十四分析单元，基于所述实验器材样本集对预设的分类算法进行训练得到状态信息分类结果，并基于所述状态信息分类结果建立图片分类模型；
第十五分析单元，将所述实验器材图片输入至所述图片分类模型得到分类结果。
9.一种盐酸中和实验评分设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述盐酸中和实验评分方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述盐酸中和实验评分方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211299033.1A CN115359412B (zh) | 2022-10-24 | 2022-10-24 | 一种盐酸中和实验评分方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211299033.1A CN115359412B (zh) | 2022-10-24 | 2022-10-24 | 一种盐酸中和实验评分方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115359412A true CN115359412A (zh) | 2022-11-18 |
| CN115359412B CN115359412B (zh) | 2023-03-03 |
Family
ID=84007811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211299033.1A Active CN115359412B (zh) | 2022-10-24 | 2022-10-24 | 一种盐酸中和实验评分方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115359412B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115775341A (zh) * | 2023-02-13 | 2023-03-10 | 广州海昇计算机科技有限公司 | 一种实验设备状态检测方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020009716A1 (en) * | 2000-04-05 | 2002-01-24 | Patricio Abarzua | Process for allele discrimination utilizing primer extension |
| CN111753635A (zh) * | 2020-03-31 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 化学实验操作的智能评分方法、装置及存储介质 |
| CN112084890A (zh) * | 2020-08-21 | 2020-12-15 | 杭州电子科技大学 | 基于gmm和cqfl的多尺度识别交通信号标志的方法 |
| CN112183667A (zh) * | 2020-10-31 | 2021-01-05 | 哈尔滨理工大学 | 一种协同深度学习的绝缘子故障检测方法 |
| CN113988563A (zh) * | 2021-10-21 | 2022-01-28 | 上海大风实验室设备有限公司 | 一种用于平面镜成像实验的智能赋分系统 |
| CN114549993A (zh) * | 2022-02-28 | 2022-05-27 | 成都西交智汇大数据科技有限公司 | 实验中线段图像的评分方法、系统、设备及可读存储介质 |
| CN114743270A (zh) * | 2022-04-22 | 2022-07-12 | 上海锡鼎智能科技有限公司 | 一种用于智能实验考评的特定动作检测方法 |
| CN115019240A (zh) * | 2022-08-04 | 2022-09-06 | 成都西交智汇大数据科技有限公司 | 化学实验操作的评分方法、装置、设备及可读存储介质 |
| CN115205262A (zh) * | 2022-07-19 | 2022-10-18 | 腾讯科技（深圳）有限公司 | 显微图像的处理方法、装置、计算机设备及存储介质 |
-
2022
- 2022-10-24 CN CN202211299033.1A patent/CN115359412B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020009716A1 (en) * | 2000-04-05 | 2002-01-24 | Patricio Abarzua | Process for allele discrimination utilizing primer extension |
| CN111753635A (zh) * | 2020-03-31 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 化学实验操作的智能评分方法、装置及存储介质 |
| CN112084890A (zh) * | 2020-08-21 | 2020-12-15 | 杭州电子科技大学 | 基于gmm和cqfl的多尺度识别交通信号标志的方法 |
| CN112183667A (zh) * | 2020-10-31 | 2021-01-05 | 哈尔滨理工大学 | 一种协同深度学习的绝缘子故障检测方法 |
| CN113988563A (zh) * | 2021-10-21 | 2022-01-28 | 上海大风实验室设备有限公司 | 一种用于平面镜成像实验的智能赋分系统 |
| CN114549993A (zh) * | 2022-02-28 | 2022-05-27 | 成都西交智汇大数据科技有限公司 | 实验中线段图像的评分方法、系统、设备及可读存储介质 |
| CN114743270A (zh) * | 2022-04-22 | 2022-07-12 | 上海锡鼎智能科技有限公司 | 一种用于智能实验考评的特定动作检测方法 |
| CN115205262A (zh) * | 2022-07-19 | 2022-10-18 | 腾讯科技（深圳）有限公司 | 显微图像的处理方法、装置、计算机设备及存储介质 |
| CN115019240A (zh) * | 2022-08-04 | 2022-09-06 | 成都西交智汇大数据科技有限公司 | 化学实验操作的评分方法、装置、设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王振国: "基于OPYOLv3-Tiny算法的电路实验器材检测及软件系统设计", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115775341A (zh) * | 2023-02-13 | 2023-03-10 | 广州海昇计算机科技有限公司 | 一种实验设备状态检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115359412B (zh) | 2023-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753635B (zh) | 化学实验操作的智能评分方法、装置及存储介质 | |
| JP2020507836A (ja) | 重複撮像を予測した手術アイテムの追跡 | |
| CN114549993B (zh) | 实验中线段图像的评分方法、系统、设备及可读存储介质 | |
| CN113628079A (zh) | 评分方法、装置、电子设备及可读介质 | |
| CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
| CN111415339B (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
| CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
| TWI747686B (zh) | 缺陷檢測方法及檢測裝置 | |
| CN111310826A (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
| CN115035092A (zh) | 基于图像的瓶体检测方法、装置、设备及存储介质 | |
| CN115359412B (zh) | 一种盐酸中和实验评分方法、装置、设备及可读存储介质 | |
| CN112991343A (zh) | 眼底图像黄斑区域的识别检测方法和装置及设备 | |
| CN106529470A (zh) | 一种基于多级深度卷积神经网络的手势识别方法 | |
| CN117671774B (zh) | 一种人脸情绪智能识别分析设备 | |
| CN117726991B (zh) | 一种高空吊篮安全带检测方法及终端 | |
| CN114332058A (zh) | 基于神经网络的血清质量识别方法、装置、设备及介质 | |
| Suksawatchon et al. | Shape Recognition Using Unconstrained Pill Images Based on Deep Convolution Network | |
| CN112967224A (zh) | 一种基于人工智能的电子电路板检测系统、方法及介质 | |
| CN111341459A (zh) | 分类深度神经网络模型的训练方法、遗传病检测方法 | |
| CN111768439A (zh) | 一种确定实验评分的方法、装置、电子设备及介质 | |
| CN114267016A (zh) | 一种用于线下多人考试的视觉辅助监考系统 | |
| CN114708634A (zh) | 基于人脸图像的相对体重分析方法、装置及电子设备 | |
| CN113916899A (zh) | 基于视觉识别的大输液软袋产品的检测方法、系统及装置 | |
| CN114878087A (zh) | 一种基于人工智能的压力容器气密性的检测方法及装置 | |
| CN113516328A (zh) | 数据处理方法、服务提供方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |