CN114186784A - 基于边缘计算的电学考试评分方法、系统、介质及设备 - Google Patents

基于边缘计算的电学考试评分方法、系统、介质及设备 Download PDF

Info

Publication number
CN114186784A
CN114186784A CN202111304978.3A CN202111304978A CN114186784A CN 114186784 A CN114186784 A CN 114186784A CN 202111304978 A CN202111304978 A CN 202111304978A CN 114186784 A CN114186784 A CN 114186784A
Authority
CN
China
Prior art keywords
information
component
obtaining
grading
target component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111304978.3A
Other languages
English (en)
Inventor
梁铭炬
梁凌宇
张原�
周伟津
刘利娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangdong Shunde Industrial Design Institute
Original Assignee
South China University of Technology SCUT
Guangdong Shunde Industrial Design Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangdong Shunde Industrial Design Institute filed Critical South China University of Technology SCUT
Priority to CN202111304978.3A priority Critical patent/CN114186784A/zh
Publication of CN114186784A publication Critical patent/CN114186784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于边缘计算的电学考试评分方法，包括获取测试人员选取的元器件信息，将该信息输入NPU边缘计算平台，得到各元器件的位置及种类信息及第一评分信息；通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息；通过CANNY边缘提取算法得到第一目标元器件的亮度及第三评分信息；通过边缘集合算法得到第二目标元器件的电阻值及第四评分信息；根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。相比现有技术，本发明能够通过人工智能建立统一标定标准，实现无人值守监考，并进行智能分数评定及分析。

Description

基于边缘计算的电学考试评分方法、系统、介质及设备
技术领域
本申请涉及物联网技术领域，特别是涉及一种基于边缘计算的电学考试评分方法、系统、介质及设备。
背景技术
随着电子信息技术的不断发展，智能化监考的相关技术也随之应用而生，如通过摄像头拍摄考生操作视频，老师后续通过视频进行评分、通过植入相关的传感器在电路元器件并通过物联网技术进行评分，但是此方案都存在一定的问题，如拍摄视频不清楚、迷糊、遮挡等问题会导致考试信息缺失，基于传感器物联网的方案会存在成本高、电路连接不稳定到时器件损坏等不确定情况。
发明内容
基于此，有必要针对上述技术问题，提供一种能够通过人工智能建立统一标定标准，实现无人值守监考，并进行智能分数评定及分析的基于边缘计算的电学考试评分方法、系统、介质及设备。
本发明实施例提供了一种基于边缘计算的电学考试评分方法，应用与一电路考试系统，所述方法包括以下步骤：
获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息；
通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息；
通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息；
通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息；
根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。
进一步地，获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息的方法包括：
获取实验器材数据集内各元器件的样本信息，根据所述样本信息对所述实验器材数据集进行多尺度扩充，得到实验器材训练集；
将所述实验器材训练集输入基于层级特征融合的SSD网络架构进行模型训练，得到SSD网络模型；
通过混合量化的压缩方法对所述SSD网络模型进行压缩及裁剪，得到混合量化网络模型；
将所述混合量化模型进行格式转换后，部署至NPU边缘计算平台。
进一步地，根据所述样本信息对所述实验器材数据集进行多尺度扩充的方法包括：
对所述实验器材数据集内的样本进行裁剪、平移、旋转、镜像、调整亮度和饱和度、添加椒盐噪声得到。
进一步地，通过基于轮廓的连通域提取算法提取各元器件的连接方式的方法包括：
基于各元器件的位置及大小进行整体图像的掩膜处理；
将掩膜处理后的RGB图像转化为HSV图像，采用基于HSV色彩空间的颜色筛选方法对实验台进行电线过滤，得到各连接线的灰度图像信息；
采用基于轮廓的连通域提取算法从所述灰度图像信息中提取线材图像信息；
基于各元器件的图像信息及线材图像信息，建立各元器件连接的拓扑连接图，并采用深度优先搜索的拓扑排序算法建立相关的图拓扑连接关系数据集。
进一步地，通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息的方法包括：
根据所述第一目标元器件的位置及大小信息，截取当前区域的第一区域图像信息；
基于CANNY的边缘提取及基于HOUGH圆变换获得所述第一区域图像中的第一目标元器件的准确位置及圆环像素点集；
统计所述圆环像素点集的明度信息，进而判断所述第一目标元器件的亮度变化，并得到第三评分信息。
进一步地，通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息的方法包括：
根据所述第二目标元器件的位置及大小信息，截取该区域的第二区域图像信息；
基于图像模板匹配算法将所述第二目标元器件的滑块形状信息通过在所述第二区域图像内进行匹配，得到滑块的位置信息，
获取模板中与所述滑块匹配的滑块目标；
根据边缘拟合算法得到所述滑块目标的中心点，通过所述中心点的位置坐标信息，以及与所述第二目标元器件的宽度信息和最大值进行比例计算，得到所述第二目标元器件的实时变阻值。
进一步地，所述第三目标元器件的读数的获取方法包括：
在所述第三目标元器件内内置AD转换器，通过嵌入式芯片读取该AD转换器的实时值，并通过内置的蓝牙模块及BLE5.0协议进行传输至所述NPU边缘计算平台。
本发明的另一实施例提出一种基于边缘计算的电学考试评分系统，所述系统包括：
第一评分模块，获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息；
第二评分模块，通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息；
第三评分模块，通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息；
第四评分模块，通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息；
综合评分模块，根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。
本发明的另一个实施例还提出一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的基于边缘计算的电学考试评分方法。
本发明的另一个实施例还提出一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的基于边缘计算的电学考试评分方法。
上述基于边缘计算的电学考试评分方法，获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息；通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息；通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息；通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息；根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。相比现有技术，本发明能够通过人工智能建立统一标定标准，实现无人值守监考，并进行智能分数评定及分析，满足了实际应用需求。
附图说明
图1为本发明实施例提供的基于边缘计算的电学考试评分方法的一种流程示意图；
图2为图1中步骤S11的具体流程示意图；
图3为步骤S11中的网络层混合量化结构图；
图4为图1中步骤S12的具体流程示意图；
图5为元器件连接线材二值化图像；
图6为元器件连接的拓扑连接图；
图7为本发明实施例提供的基于边缘计算的电学考试评分系统的结构框图；
图8为本发明实施例提供的设备终端的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。
如图1所示，本发明实施例提供的基于边缘计算的电学考试评分方法，应用与一电路考试系统，所述系统包括与嵌入式平台连接的摄像头及电压电流测量装置，以及与所述嵌入式平台连接的云平台。
具体的，云平台负责相关的电学实验考生登录信息管理、考试分配、考试分数统计的同时，具备相关的数据分析方法进行错题统计、难点归纳等大数据分析分析方法、考试报表生成、保存考生考试视频等功能。考试设备端使用具有NPU的边缘计算嵌入式平台，通过高清摄像头结合图像处理算法、人工神经网络模型评进行电路元器选取检测、元器件的连接正确性判断、变滑动变阻值测量，通过内置蓝牙模块读取具有蓝牙芯片的AD转换器芯片的电压表、电流表进行电压、电流的读取判断，这些信息通过具有NPU的边缘计算嵌入式平台中心进行汇总及根据规则进行分数评定，在通过相关网络协议进行上报云平台，在最终通过这些模块形成一个无人值守的中学电路考试系统。其中，所述摄像头通过USB与所述嵌入式平台连接，所述蓝牙电流表、电压表通过BLE5.0与所述嵌入式平台连接，所述嵌入式平台通过网络接口与所述云平台连接。
可以理解的，本发明将基于卷积神经网络目标检测技术与边缘计算的具有NPU(神经网络处理单元)嵌入式平台进行结合，开发出一个可以在嵌入式平台上独立运行的高性能电路实验器材检测系统，一方面代替人工检测的低效器件检查方案，准确地完成正式实验前的器材检测环节，同时考虑到考试生源规模及现场网络要求，利用边缘计算的技术可以有效减轻通过GPU(图形处理器)云服务器进行实时的卷积神经网络目标检测技术的硬件要求、视频传输的网络带宽要求要求，有效降低成本及提高计算能力。
如图2所示，所述方法包括步骤S11至步骤S15：
步骤S11，获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息。
由于电路元器件的型号选取判断，作为物理教学实验的关键组成部分，因此电路元器件的型号选取判断，以及通过分析电工器件图像获取电工器件的类别、属性、用途等信息，为元器件的位置及类别进行评分提供必要条件。
请参阅图2，获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息的如下步骤：
步骤S111，获取实验器材数据集内各元器件的样本信息，根据所述样本信息对所述实验器材数据集进行多尺度扩充，得到实验器材训练集；
步骤S122，将所述实验器材训练集输入基于层级特征融合的SSD网络架构进行模型训练，得到SSD网络模型；
步骤S113，通过混合量化的压缩方法对所述SSD网络模型进行压缩及裁剪，得到混合量化网络模型；
步骤S114，将所述混合量化模型进行格式转换后，部署至NPU边缘计算平台。
具体的，所述实验器材数据集是利用相机在不同考场环境下拍摄获得。网络接口如谷歌接口，其报错包括网络错误或者文本过长；谷歌接口可能对于某些网络不能用，具体不清楚，可以尝试挂VPN试试；且这个问题我没办法修复，请右键菜单更换百度、腾讯翻译接口。电路元器件种类包括初中物理教学常用的各种电工元器件设备。在得到初步的数据集即实验器材数据集之后采用了数据增强的方法进行电路实验器材数据集内样本的多尺度扩增，采用裁剪、平移、旋转、镜像、调整亮度和饱和度、添加椒盐噪声等方法增加训练样本数量，从而提高模型的泛化能力，减少模型的过拟合。
进一步地，将所述实验器材训练集输入基于层级特征融合的SSD网络架构进行模型训练，因为传统SSD卷积网络利用网络深度较浅的层进行小物体检测，使得浅层网络对小物体检测不够敏感，因此本发明采用基于层级特征融合的SSD算法结构，在进行目标分类与网络回归之前，针对浅层特征输出层，增加了一个层级特征融合模块层，利用反卷积操作，将深层网络与浅层网络进行信息融合，使得浅层网络具有较高语义信息，增强网络对小目标物体的敏感性。经过上述操作之后，SSD浅层网络将深层网络的全局信息加入到了其浅层网络中，弥补了浅层网络因为具有小的感受视野而无法获取全局信息的缺点；这种操作方式也进一步的丰富了浅层网络的语义信息。
进一步地，通过对所述实验器材训练集的训练得到在GPU上运行的SSD网络模型，因为GPU与NPU的性能的巨大差异，要在相关的具有NPU的边缘计算嵌入式平台运行的模型需要对齐进行进一步的压缩及量化操作，本发明采用基于混合量化的SSD网络模型的压缩方法进行模型压缩及裁剪。首先利用浮点型运算与整形运算的计算量差异特征，假如把模型全部转化为整形运算可以提高相关模型推理的数十倍速度，但是浮点型运算与整形运算的精度存在差异，如果如果单纯进行全局量化，压缩的模型将在精度上有很大的损失，因此本发明采用基于混合量化的SSD网络模型的压缩方法，以欧式距离、余弦距离作为评价标准分别对模型的每层网络进行量化与非量化的对比，同时通过模型推理结果的反向推导，得到哪个层级做量化处理可以有效减少计算量的同时精度保持一致，欧式距离的计算公式如下式所示：
Figure BDA0003338633380000081
Figure BDA0003338633380000082
其中，ρ为点(x2，y2)到点(x1，y1)之间的欧式距离；|X|为点(x2，y2)到原点的欧式距离。余弦距离：假设特征X和特征Y对应的向量分别为x1，x2，x3...xn和y1，y2，y3...yn，则两向量之间的余弦相似量计算公式如下式所示：
Figure BDA0003338633380000091
通过计算，本发明选取10作为定点化量化阈值，将欧式距离大于10的网络层调整为非量化模式，保留该层浮点型数据，其他网络层则调整为定点量化模式。网络层的混合量化结构图如图3所示。
进一步地。得到混合量化网络模型后，为在具有NPU的边缘计算平台上部署该模型，同时调用底层NPU处理器对算法模型进行推理加速，需要对GPU服务器上训练出的算法模型的格式进行转换，转换为可以在NPU处理器上运行的RKNN格式的模型文件，本发明通过模型架构转换工具将模型转化为NPU处理的rknn模型，最终通过相关的APP开发，调用摄像头进行实时图像采集，通过调用模型推理API进行实时的电路元器件监控，速度达到25帧每秒以上。
步骤S12，通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息。
由于基于卷积神经网络目标检测技术，只能进行相关的训练目标检测，而判断电路连接的正确性需要通过识别元器件之间的电线连接位置信息，通过已有的元器件的种类位置信息、位置信息等。
请参阅图4，通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息的方法包括如下步骤：
步骤S121，基于各元器件的位置及大小进行整体图像的掩膜处理；
步骤S122，将掩膜处理后的RGB图像转化为HSV图像，采用基于HSV色彩空间的颜色筛选方法对实验台进行电线过滤，得到各连接线的灰度图像信息；
步骤S123，采用基于轮廓的连通域提取算法从所述灰度图像信息中提取线材图像信息；
步骤S124，基于各元器件的图像信息及线材图像信息，建立各元器件连接的拓扑连接图，并采用深度优先搜索的拓扑排序算法建立相关的图拓扑连接关系数据集。
具体的，标定通过步骤S11得到的电路元器件的图像位置及图像框，利用图像处理中的mask(掩膜)处理算法把该区域标定为后图像算法的不处理区域，从而避免无用的元器件图像影响后续算法处理。把经过Mask处理后的RGB图像转化为HSV图像，然后采用基于HSV色彩空间的颜色刷选方法对实验台的进行电线过滤，得到各种连接线材红色线材(色相：0-10、156-180)、绿色线材(色相：35-77)蓝色线材(色相:100-124)在灰度图像信息，转化公式如下：
Figure BDA0003338633380000101
因为电路连接的线材的各组灰度图不是直线或者标准曲线图像，不能采用基于CANNY及HOUGH的边缘拟合检测算法。针对这种无规则的线材连接，本发明采用基于轮廓提取的连通域提取算法，获得各组线条的点集信息。首先灰度图像进行膨胀处理，以防止在图像采集及滤波过程由于线材图像过小而造成断开的问题，然后通过基于自适应阈值的二值化处理，通过连通域提取算法获取各个线材的图像特征点数据集，最后通过对各数据集进行边缘提取及图像特征点位置信息遍历，获得线材的端点坐标信息，元器件连接线材二值化图像如图5所示。
根据上步骤的线材端点信息及元器件的位置框大小信息，可以判断个线材与元器件的连接关系，如Ci代表元器件、Eij代表点的连接关系，进而建立各元器件连接的拓扑连接图，元器件连接的拓扑连接如图6所示，最后采用深度优先搜索的拓扑排序算法建立相关的图拓扑连接关系数据集，在进行连接评分判断时根据规则遍历拓扑数据集获得是否有相关连接信息或者存在多余连接信息，最终获得实验连接的评分。
步骤S13，通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息。
具体的，根据所述第一目标元器件的位置及大小信息，截取当前区域的第一区域图像信息；基于CANNY的边缘提取及基于HOUGH圆变换获得所述第一区域图像中的第一目标元器件的准确位置及圆环像素点集；统计所述圆环像素点集的明度信息，进而判断所述第一目标元器件的亮度变化，并得到第三评分信息。其中，所述第一目标元器件为小灯泡。
步骤S14，通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息。
具体的，根据所述第二目标元器件的位置及大小信息，截取该区域的第二区域图像信息；基于图像模板匹配算法将所述第二目标元器件的滑块形状信息(滑块子图)通过在所述第二区域图像内进行匹配，得到滑块的位置信息，获取模板中与所述滑块匹配的滑块目标；根据边缘拟合算法得到所述滑块目标的中心点，通过所述中心点的位置坐标信息X，以及所述第二目标元器件的宽度信息L及最大值RMAX进行比例计算，得到所述第二目标元器件的实时变阻值R，即
Figure BDA0003338633380000111
其中，所述第二目标元器件为滑动变阻器。
进一步地，模板匹配的计算相关系数的公式如下：
Figure BDA0003338633380000112
其中，R(i,j)为计算出来的滑块子图与模板的相关系数，Sij(m,n)是滑块子图在HSV空间的(m,n)坐标的的H色调值，T(m,n)为匹配模板在HSV空间的(m,n)坐标的H色调值。
可以理解的，当模板和变阻器中的滑块子图相似时，在被搜索图S中完成全部搜索后，找出R的最大值，其对应的子图即为匹配的滑块目标。
步骤S15，根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。
具体的，在所述第三目标元器件内内置AD转换器，通过嵌入式芯片读取该AD转换器的实时值，且内置的蓝牙模块通过低功耗的BLE5.0协议进行传输至所述NPU边缘计算平台。以使所述NPU边缘计算平台根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。其中，综合评分信息可以有各项评分信息累加得到，也可以通过乘以相应的比例系数后叠加得到。
上述基于边缘计算的电学考试评分方法，获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息；通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息；通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息；通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息；根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。相比现有技术，本发明能够通过人工智能建立统一标定标准，实现无人值守监考，并进行智能分数评定及分析，满足了实际应用需求。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图7，本发明提供还提供了一种基于边缘计算的电学考试评分系统，所述系统包括：
第一评分模块21，获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息。
具体的，获取实验器材数据集内各元器件的样本信息，根据所述样本信息对所述实验器材数据集进行多尺度扩充，得到实验器材训练集；将所述实验器材训练集输入基于层级特征融合的SSD网络架构进行模型训练，得到SSD网络模型；通过混合量化的压缩方法对所述SSD网络模型进行压缩及裁剪，得到混合量化网络模型；将所述混合量化模型进行格式转换后，部署至NPU边缘计算平台。
其中，根据所述样本信息对所述实验器材数据集内的样本进行多尺度扩充包括：对所述实验器材数据集进行裁剪、平移、旋转、镜像、调整亮度和饱和度、添加椒盐噪声得到。
第二评分模块22，通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息。
具体的，基于各元器件的位置及大小进行整体图像的掩膜处理；将掩膜处理后的RGB图像转化为HSV图像，采用基于HSV色彩空间的颜色筛选方法对实验台进行电线过滤，得到各连接线的灰度图像信息；采用基于轮廓的连通域提取算法从所述灰度图像信息中提取线材图像信息；基于各元器件的图像信息及线材图像信息，建立各元器件连接的拓扑连接图，并采用深度优先搜索的拓扑排序算法建立相关的图拓扑连接关系数据集。
第三评分模块23，通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息。
具体的，根据所述第一目标元器件的位置及大小信息，截取当前区域的第一区域图像信息；基于CANNY的边缘提取及基于HOUGH圆变换获得所述第一区域图像中的第一目标元器件的准确位置及圆环像素点集；统计所述圆环像素点集的明度信息，进而判断所述第一目标元器件的亮度变化，并得到第三评分信息。
第四评分模块24，通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息。
具体的，根据所述第二目标元器件的位置及大小信息，截取该区域的第二区域图像信息；基于图像模板匹配算法将所述第二目标元器件的滑块形状信息在所述第二区域图像内进行匹配，得到滑块的位置信息，获取模板中与所述滑块匹配的滑块目标；根据边缘拟合算法得到所述滑块目标的中心点，通过所述中心点的位置坐标信息，以及所述第二目标元器件的宽度信息和最大值进行比例计算，得到所述第二目标元器件的实时变阻值。
综合评分模块25，根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。
在所述第三目标元器件内内置AD转换器，通过嵌入式芯片读取该AD转换器的实时值，并通过内置的蓝牙模块及BLE5.0协议传输至所述NPU边缘计算平台。
本发明的另一个实施例还提出一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的基于边缘计算的电学考试评分方法。
本发明实施例所提供的基于边缘计算的电学考试评分系统，获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息；通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息；通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息；通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息；根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。相比现有技术，本发明能够通过人工智能建立统一标定标准，实现无人值守监考，并进行智能分数评定及分析，满足了实际应用需求。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的基于边缘计算的电学考试评分方法。
本发明实施例还提供了一种终端设备，参见图8所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现如上所述的基于边缘计算的电学考试评分方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、……)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图8结构框图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于边缘计算的电学考试评分方法，应用与一电路考试系统，其特征在于，所述方法包括以下步骤：
获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息；
通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息；
通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息；
通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息；
根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。
2.根据权利要求1所述的基于边缘计算的电学考试评分方法，其特征在于，获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息的方法包括：
获取实验器材数据集内各元器件的样本信息，根据所述样本信息对所述实验器材数据集进行多尺度扩充，得到实验器材训练集；
将所述实验器材训练集输入基于层级特征融合的SSD网络架构进行模型训练，得到SSD网络模型；
通过混合量化的压缩方法对所述SSD网络模型进行压缩及裁剪，得到混合量化网络模型；
将所述混合量化模型进行格式转换后，部署至NPU边缘计算平台。
3.根据权利要求2所述的基于边缘计算的电学考试评分方法，其特征在于，根据所述样本信息对所述实验器材数据集进行多尺度扩充的方法包括：
对所述实验器材数据集内的样本进行裁剪、平移、旋转、镜像、调整亮度和饱和度、添加椒盐噪声得到。
4.根据权利要求1所述的基于边缘计算的电学考试评分方法，其特征在于，通过基于轮廓的连通域提取算法提取各元器件的连接方式的方法包括：
基于各元器件的位置及大小进行整体图像的掩膜处理；
将掩膜处理后的RGB图像转化为HSV图像，采用基于HSV色彩空间的颜色筛选方法对实验台进行电线过滤，得到各连接线的灰度图像信息；
采用基于轮廓的连通域提取算法从所述灰度图像信息中提取线材图像信息；
基于各元器件的图像信息及线材图像信息，建立各元器件连接的拓扑连接图，并采用深度优先搜索的拓扑排序算法建立相关的图拓扑连接关系数据集。
5.根据权利要求1所述的基于边缘计算的电学考试评分方法，其特征在于，通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息的方法包括：
根据所述第一目标元器件的位置及大小信息，截取当前区域的第一区域图像信息；
基于CANNY的边缘提取及基于HOUGH圆变换获得所述第一区域图像中的第一目标元器件的准确位置及圆环像素点集；
统计所述圆环像素点集的明度信息，进而判断所述第一目标元器件的亮度变化，并得到第三评分信息。
6.根据权利要求1所述的基于边缘计算的电学考试评分方法，其特征在于，通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息的方法包括：
根据所述第二目标元器件的位置及大小信息，截取该区域的第二区域图像信息；
基于图像模板匹配算法将所述第二目标元器件的滑块形状信息在所述第二区域图像内进行匹配，得到滑块的位置信息，
获取模板中与所述滑块匹配的滑块目标；
根据边缘拟合算法得到所述滑块目标的中心点，通过所述中心点的位置坐标信息，以及所述第二目标元器件的宽度信息和最大值进行比例计算，得到所述第二目标元器件的实时变阻值。
7.根据权利要求1所述的基于边缘计算的电学考试评分方法，其特征在于，所述第三目标元器件的读数的获取方法包括：
在所述第三目标元器件内内置AD转换器，通过嵌入式芯片读取该AD转换器的实时值，并通过内置的蓝牙模块及BLE5.0协议传输至所述NPU边缘计算平台。
8.一种基于边缘计算的电学考试评分系统，其特征在于，所述系统包括：
第一评分模块，获取测试人员选取的元器件信息，将所述元器件信息输入NPU边缘计算平台，得到各元器件的位置及种类信息，并根据各元器件的位置及种类信息的得到第一评分信息；
第二评分模块，通过基于轮廓的连通域提取算法提取各元器件的连接方式，并根据各元器件的连接方式得到第二评分信息；
第三评分模块，通过CANNY边缘提取算法得到第一目标元器件的亮度，并根据所述第一目标元器件的亮度得到第三评分信息；
第四评分模块，通过边缘集合算法得到第二目标元器件的电阻值，并根据所述第二目标元器件的电阻值得到第四评分信息；
综合评分模块，根据第三目标元器件的读数、第一评分信息、第二评分信息、第三评分信息及第四评分信息，得到该测试人员的综合评分信息。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至7中任一项所述的基于边缘计算的电学考试评分方法。
10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1至7中任一项所述的基于边缘计算的电学考试评分方法。
CN202111304978.3A 2021-11-04 2021-11-04 基于边缘计算的电学考试评分方法、系统、介质及设备 Pending CN114186784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111304978.3A CN114186784A (zh) 2021-11-04 2021-11-04 基于边缘计算的电学考试评分方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111304978.3A CN114186784A (zh) 2021-11-04 2021-11-04 基于边缘计算的电学考试评分方法、系统、介质及设备

Publications (1)

Publication Number Publication Date
CN114186784A true CN114186784A (zh) 2022-03-15

Family

ID=80540763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111304978.3A Pending CN114186784A (zh) 2021-11-04 2021-11-04 基于边缘计算的电学考试评分方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN114186784A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543419A (zh) * 2023-07-06 2023-08-04 浙江大学金华研究院 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543419A (zh) * 2023-07-06 2023-08-04 浙江大学金华研究院 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统
CN116543419B (zh) * 2023-07-06 2023-11-07 浙江大学金华研究院 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统

Similar Documents

Publication Publication Date Title
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN107665492B (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN108182433B (zh) 一种表计读数识别方法及系统
WO2021196632A1 (zh) 一种全景数字病理图像智能分析系统及方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN109766936B (zh) 基于信息传递和注意力机制的图像变化检测方法
CN111783590A (zh) 一种基于度量学习的多类别小目标检测方法
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN105574550A (zh) 一种车辆识别方法及装置
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
CN105844279A (zh) 基于深度学习和sift特征的sar图像变化检测方法
CN110307903B (zh) 一种家禽特定部位无接触温度动态测量的方法
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN111597933B (zh) 人脸识别方法和装置
CN109344845A (zh) 一种基于Triplet深度神经网络结构的特征匹配方法
CN108615401B (zh) 基于深度学习的室内非均匀光线车位状况识别方法
CN110991412A (zh) 人脸识别的方法、装置、存储介质及电子设备
CN114494185A (zh) 一种基于rgb-t多尺度特征融合的电气设备故障检测方法
CN114581654A (zh) 一种基于互感器状态监测方法及装置
CN114186784A (zh) 基于边缘计算的电学考试评分方法、系统、介质及设备
CN110321869A (zh) 基于多尺度融合网络的人员检测和提取方法
CN111931721B (zh) 年检标签颜色和个数的检测方法、装置及电子设备
CN112560925A (zh) 一种复杂场景目标检测数据集构建方法及系统
CN116523858A (zh) 基于注意力机制的电力设备漏油检测方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination