CN116091803A - 一种巡检算法演进方向的校验方法及相关设备 - Google Patents
一种巡检算法演进方向的校验方法及相关设备 Download PDFInfo
- Publication number
- CN116091803A CN116091803A CN202310020298.1A CN202310020298A CN116091803A CN 116091803 A CN116091803 A CN 116091803A CN 202310020298 A CN202310020298 A CN 202310020298A CN 116091803 A CN116091803 A CN 116091803A
- Authority
- CN
- China
- Prior art keywords
- data set
- target
- algorithm
- image
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种巡检算法演进方向的校验方法及相关设备，所述方法包括：调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第二属性分数，所述目标算法为所述初始算法完成迭代后的算法；基于所述第一属性分数和所述第二属性分数确定是否存在所述第一属性分数和所述第二属性分数差异值大于预设值的目标图像，以判断所述目标算法的演进方向是否正确。
Description
技术领域
本发明涉及巡检及应急调度技术领域，尤其涉及一种巡检算法演进方向的校验方法及相关设备。
背景技术
随着科技的进步，电子设备发展越来越快，对应的软件也会迭代升级，在监控领域越来越多的算法被用于排查各种问题，伴随监控的应用领域的扩大，智能分析的功能变得越来越高级、越来越多样、也越来越复杂，当功能较少且简单时，人工检测廉价且高效快捷。但随着巡检所需功能越来越多，人工检测远远不能满足算法迭代方向的检验，造成算法迭代方向的检验费时费力，导致算法改进不及时，使得算法越来越不能满足需求。
发明内容
有鉴于此，本发明提供了一种巡检算法演进方向的校验方法及相关设备，用于解决现有技术中算法迭代方向的检验费时费力，导致算法改进不及时的问题。
为达上述之一或部分或全部目的或是其他目的，本发明提出一种巡检算法演进方向的校验方法，包括：调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；
调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数，所述目标算法为所述初始算法完成迭代后的算法；
基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确。
可选的，所述基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确的步骤，包括：
匹配所述第一数据集和所述第二数据集内各图像的所述第一初始属性分数和所述第一目标属性分数，得到所述第一数据集和所述第二数据集内各图像的第一差异值；
将所述第一差异值大于所述第一预设值的图像作为第一目标图像，并将所述第一目标图像保存至数据库；
若所述目标图像的数量大于阈值，则判断所述目标算法的演进方向不正确；
若所述目标图像的数量小于等于阈值，则调用所述目标算法将去除所述目标图像的目标缺陷图像集分割为第三数据集和第四数据集，并计算所述第三数据集和所述第四数据集的第二初始属性分数；
计算所述缺陷图像集的第二目标属性分数，并基于所述第二初始属性分数和第二目标属性分数得到所述第二初始属性分数和第二目标属性分数的第二差异值；
将大于第二预设值的第二差异值对应得第二目标图像保存至所述数据库内；
若所述数据库内第一目标图像和所述第二目标图像得数量之和小于等于所述阈值，则分别计算所述初始算法和所述目标算法的平均绝对比例错误和综合评价指标，并基于所述平均绝对比例错误和所述综合评价指标的变化幅度判断所述目标算法的演进方向是否正确。
可选的，所述计算所述缺陷图像集的第二目标属性分数的步骤，包括：
计算所述缺陷图像集的真正例、假正例、真反例和假反例；
基于所述真正例、所述假正例、所述真反例和所述假反例计算所述缺陷图像集的准确率、精确率和召回率，将所述缺陷图像集的准确率、精确率和召回率作为所述缺陷图像集的第二目标属性分数。
可选的，所述计算所述第三数据集和所述第四数据集的第二初始属性分数的步骤之前，包括：
计算所述第三数据集和所述第四数据集的真正例、假正例、真反例和假反例；
基于所述真正例、所述假正例、所述真反例和所述假反例计算所述缺陷图像集的准确率、精确率和召回率，将所述第三数据集和所述第四数据集的准确率、精确率和召回率作为所述第三数据集和所述第四数据集的第二初始属性分数。
可选的，所述匹配所述第一数据集和所述第二数据集内各图像的所述第一初始属性分数和所述第一目标属性分数，得到所述第一数据集和所述第二数据集内各图像的第一差异值的步骤，包括：
基于所述第一数据集和所述第二数据集内各图像的所述第一初始属性分数和所述第一目标属性分数计算所述第一数据集和所述第二数据集内各图像的平均绝对误差、均方根误差和平均绝对百分比误差；
将所述平均绝对误差、所述均方根误差和所述平均绝对百分比误差作为所述第一数据集和所述第二数据集内各图像的第一差异值。
可选的，在所述分别计算所述初始算法和所述目标算法的平均绝对比例错误和综合评价指标的步骤之前，还包括：
计算所述初始算法和所述目标算法的平均绝对偏差。
可选的，所述分别计算所述初始算法和所述目标算法的平均绝对比例错误和综合评价指标，并基于所述平均绝对比例错误和所述综合评价指标的变化幅度判断所述目标算法的演进方向是否正确的步骤，包括：
基于所述初始算法的平均绝对偏差和所述平均绝对误差计算所述初始算法的平均绝对比例错误；
基于所述目标算法的平均绝对偏差和所述平均绝对误差计算所述目标算法的平均绝对比例错误；
根据所述目标算法的平均绝对比例错误和所述初始算法的平均绝对比例错误获取所述平均绝对比例错误的变化幅度；
基于所述平均绝对比例错误和所述综合评价指标的变化幅度判断所述目标算法的演进方向是否正确，所述综合评价指标为精确率和召回率进行加权调和平均得统计量。
另一方面，本申请提供了一种巡检算法演进方向的校验装置，所述装置包括：
初始分析模块，用于调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；
目标分析模块，用于调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数，所述目标算法为所述初始算法完成迭代后的算法；
判断模块，用于基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确。
第三方面，本申请提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如上述的巡检算法演进方向的校验方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述的巡检算法演进方向的校验方法的步骤。
实施本发明实施例，将具有如下有益效果：
通过调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数，所述目标算法为所述初始算法完成迭代后的算法；基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确。通过计算初始算法和目标算法对图像进行分析时的属性分数确定是否存在目标图像，进而根据是否存在目标图像判断所述目标算法的演进方向是否正确，避免人工检测的不便，能够及时确定算法的演进方向是否正确，进而有利于算法的迭代，保证迭代后的算法满足实际需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1是本申请实施例提供的一种巡检算法演进方向的校验方法的流程图；
图2是本申请实施例提供的又一种巡检算法演进方向的校验方法的流程图；
图3是本申请实施例提供的一种巡检算法演进方向的校验装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图；
图5是本申请实施例提供的一种存储介质的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本申请实施例提供了一种巡检算法演进方向的校验方法，包括：
S101、调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；
示例性的，预设巡检图像数据集All，假定300张图片，其中，100张缺陷图像构成所述缺陷图像集，使用初始算法对All进行分析，筛选出带有某种缺陷的图片其中，误报的图片不删除，误报的图片分为正常图像err-A和有缺陷图像err-B，将All分为两大类，一类为正常图像，即，第一数据集A，包括err-A，另一类为有缺陷的图像，即，第二数据集B，包括数据集err-B；
S102、调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数，所述目标算法为所述初始算法完成迭代后的算法；
S103、基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确。
通过调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数，所述目标算法为所述初始算法完成迭代后的算法；基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确。通过计算初始算法和目标算法对图像进行分析时的属性分数确定是否存在目标图像，进而根据是否存在目标图像判断所述目标算法的演进方向是否正确，避免人工检测的不便，能够及时确定算法的演进方向是否正确，进而有利于算法的迭代，保证迭代后的算法满足实际需求。
在一种可能的实施方式中，所述基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确的步骤，包括：
匹配所述第一数据集和所述第二数据集内各图像的所述第一初始属性分数和所述第一目标属性分数，得到所述第一数据集和所述第二数据集内各图像的第一差异值；
将所述第一差异值大于所述第一预设值的图像作为第一目标图像，并将所述第一目标图像保存至数据库；
在一种可能的实施方式中，所述匹配所述第一数据集和所述第二数据集内各图像的所述第一初始属性分数和所述第一目标属性分数，得到所述第一数据集和所述第二数据集内各图像的第一差异值的步骤，包括：
基于所述第一数据集和所述第二数据集内各图像的所述第一初始属性分数和所述第一目标属性分数计算所述第一数据集和所述第二数据集内各图像的平均绝对误差、均方根误差和平均绝对百分比误差；
将所述平均绝对误差、所述均方根误差和所述平均绝对百分比误差作为所述第一数据集和所述第二数据集内各图像的第一差异值。
示例性的，使用初始算法对数据集A、B进行分析，并记录分析出的各项分数，比如MAE、MAPE、RMSE、TP、FP等，这些分数将作为标准值在后续步骤中使用，假定有一组数据，即，第一初始属性分数：
| 图片id | 模糊 | 偏色 | 亮度 |
| 1 | 70 | 80 | 90 |
使用目标算法对数据集A、B进行分析，每分析完一张图片，直到整个检测任务完成；
假定使用目标算法对数据集A、B进行分析得到的第一目标属性分数为：
| 图片id | 模糊 | 偏色 | 亮度 |
| 1 | 75 | 85 | 95 |
根据所述第一初始属性分数和所述第一目标属性分数计算所述第一数据集和所述第二数据集内各图像的平均绝对误差、均方根误差和平均绝对百分比误差的公式为：
计算平均绝对误差(MAE)：
计算方式：[(75-70)+(85-80)+(95-90)]/3
计算均方根误差(RMSE)：
计算方式：sqrt{[(75-70)+(85-80)+(95-90)]^2/3}
计算平均绝对百分比误差(MAPE)：
计算方式：[(75-70)/75+(85-80)/85+(95-90)/95]/3*100
将差异过大，即，与标准值(初始算法分析所得数值，例如，上述70、80、90)差异超过5％的图像保存到数据库，即，将所述第一差异值大于所述第一预设值的图像作为第一目标图像，并将所述第一目标图像保存至数据库，保存内容包括检测的图片名称、算法名称、MAE、RMSE、MAPE。
若所述目标图像的数量大于阈值，则判断所述目标算法的演进方向不正确；
若所述目标图像的数量小于等于阈值，则调用所述目标算法将去除所述目标图像的目标缺陷图像集分割为第三数据集和第四数据集，并计算所述第三数据集和所述第四数据集的第二初始属性分数；
示例性的，调用所述目标算法将去除所述目标图像的目标缺陷图像集分割为第三数据集New-A和第四数据集New-B。
计算所述缺陷图像集的第二目标属性分数，并基于所述第二初始属性分数和第二目标属性分数得到所述第二初始属性分数和第二目标属性分数的第二差异值；
将大于第二预设值的第二差异值对应得第二目标图像保存至所述数据库内；
若所述数据库内第一目标图像和所述第二目标图像得数量之和小于等于所述阈值，则分别计算所述初始算法和所述目标算法的平均绝对比例错误和综合评价指标，并基于所述平均绝对比例错误和所述综合评价指标的变化幅度判断所述目标算法的演进方向是否正确。
在一种可能的实施方式中，所述计算所述缺陷图像集的第二目标属性分数的步骤，包括：
计算所述缺陷图像集的真正例、假正例、真反例和假反例；
基于所述真正例、所述假正例、所述真反例和所述假反例计算所述缺陷图像集的准确率、精确率和召回率，将所述缺陷图像集的准确率、精确率和召回率作为所述缺陷图像集的第二目标属性分数。
在一种可能的实施方式中，所述计算所述第三数据集和所述第四数据集的第二初始属性分数的步骤之前，包括：
计算所述第三数据集和所述第四数据集的真正例、假正例、真反例和假反例；
基于所述真正例、所述假正例、所述真反例和所述假反例计算所述缺陷图像集的准确率、精确率和召回率，将所述第三数据集和所述第四数据集的准确率、精确率和召回率作为所述第三数据集和所述第四数据集的第二初始属性分数。
1.示例性的，计算所述缺陷图像集的TP、FP、TN、FN，根据检测结果分类后的集合New-A、New-B计算新的TP、FP、TN、FN；
真正例(TP)：正例样本被标记为正例，以图像检测为例：模糊图像被检测出来。
假正例(FP)：假例样本被标记为正例，以图像检测为例：正常图像被检测为模糊图像或者偏色图像等。
真反例(TN)：假例样本被标记为假例，以图像检测为例：正常图像检测为正常图像。
假反例(FN)：正例样本被标记为假例，以图像检测为例：模糊图像或者偏色图像被检测为正常图像。
计算准确率(Accuracy)；
准确率(Accuracy)＝(TP+TN)/(TP+TN+FP+FN)
计算精确率(Precision)：
精确率(Precision)＝TP/(TP/FP)
计算召回率(Recall)：
召回率(Recall)＝TP/(TP+FN)
将所述第三数据集和所述第四数据集的准确率、精确率和召回率作为所述第三数据集和所述第四数据集的第二初始属性分数，将所述缺陷图像集的准确率、精确率和召回率作为所述缺陷图像集的第二目标属性分数；
将差异过大，即，与标准值(第二目标属性分数)差异超过5％的数据保存到数据库，存储数据包括检测的图片名称、算法名称、Accuracy、Precision、Recall。
在一种可能的实施方式中，在所述分别计算所述初始算法和所述目标算法的平均绝对比例错误和综合评价指标的步骤之前，还包括：
计算所述初始算法和所述目标算法的平均绝对偏差。
示例性的，对于非时间序列数据，所述平均绝对比例错误等于平均绝对误差除以平均绝对偏差，所述平均绝对偏差从一个数据集的平均值或中心测量开始，用m表示；找到每个数据值与m有多少偏差，意味着获取每个数据值和m之间的差异，取每个差异的绝对值，将每个差异的绝对值加在一起，将每个差异的绝对值的总和除以n，结果是平均绝对偏差。
在一种可能的实施方式中，所述分别计算所述初始算法和所述目标算法的平均绝对比例错误和综合评价指标，并基于所述平均绝对比例错误和所述综合评价指标的变化幅度判断所述目标算法的演进方向是否正确的步骤，包括：
基于所述初始算法的平均绝对偏差和所述平均绝对误差计算所述初始算法的平均绝对比例错误；
基于所述目标算法的平均绝对偏差和所述平均绝对误差计算所述目标算法的平均绝对比例错误；
根据所述目标算法的平均绝对比例错误和所述初始算法的平均绝对比例错误获取所述平均绝对比例错误的变化幅度；
基于所述平均绝对比例错误和所述综合评价指标的变化幅度判断所述目标算法的演进方向是否正确，所述综合评价指标为精确率和召回率进行加权调和平均得统计量。
示例性的，根据目标算法的平均绝对比例错误MASE和综合评价指标F1-Measure的计算结果与初始算法迭代过程中计算得到MASE和F1-Measure进行算法演进方向是否正确的判断，使用百分比的方式判断，即，所述初始算法和所述目标算法的所述平均绝对比例错误和所述综合评价指标的变化幅度大于2％即为不合理的修改。
在一种可能的实施方式中，如图2所示，本申请提供了一种巡检算法演进方向的校验方法，包括：手动创建数据集，即，预设巡检图像数据集，采用现有算法创建数据集，即，调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，对整个数据集内的图片进行分析，即，得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，使用目标算法进行分析，并对图片进行打分，进行分类，即，调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数；根据每一张巡检完成的图像所打分数，计算分数的MAE、RMSE、MAPE，即，根据所述第一初始属性分数和所述第一目标属性分数计算所述第一数据集和所述第二数据集内各图像的平均绝对误差、均方根误差和平均绝对百分比误差；当整个任务完成时，即，所有图片完成分析并计算各图片的的MAE、RMSE、MAPE后，对整个任务的准确率、精确率和召回率进行计算，即，计算所述缺陷图像集的TP、FP、TN、FN，根据检测结果分类后的集合New-A、New-B计算新的TP、FP、TN、FN，进而计算准确率、精确率和召回率；检查数据库是否有新增数据，即，若所述数据库内第一目标图像和所述第二目标图像得数量之和小于等于所述阈值，阈值可设置为3，数据库新增数据(图片数量)大于等于3，则结束；否则计算所述初始算法和所述目标算法的平均绝对比例错误和综合评价指标，并基于所述平均绝对比例错误和所述综合评价指标的变化幅度判断所述目标算法的演进方向是否正确。
另一方面，如图3所示，本申请提供了一种巡检算法演进方向的校验装置，所述装置包括：
初始分析模块201，用于调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；
目标分析模块202，用于调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数，所述目标算法为所述初始算法完成迭代后的算法；
判断模块203，用于基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确。
一种可能的实施方式中，如图4所示，本申请实施例提供了一种电子设备300，包括：包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时，实现：调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数，所述目标算法为所述初始算法完成迭代后的算法；基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确的步骤。
在一种可能的实施方式中，如图5所示，本申请实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现：调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数，所述目标算法为所述初始算法完成迭代后的算法；基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确的步骤。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里上述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种巡检算法演进方向的校验方法，其特征在于，包括：
调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；
调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数，所述目标算法为所述初始算法完成迭代后的算法；
基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确。
2.如权利要求1所述的巡检算法演进方向的校验方法，其特征在于，所述基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确的步骤，包括：
匹配所述第一数据集和所述第二数据集内各图像的所述第一初始属性分数和所述第一目标属性分数，得到所述第一数据集和所述第二数据集内各图像的第一差异值；
将所述第一差异值大于所述第一预设值的图像作为第一目标图像，并将所述第一目标图像保存至数据库；
若所述目标图像的数量大于阈值，则判断所述目标算法的演进方向不正确；
若所述目标图像的数量小于等于阈值，则调用所述目标算法将去除所述目标图像的目标缺陷图像集分割为第三数据集和第四数据集，并计算所述第三数据集和所述第四数据集的第二初始属性分数；
计算所述缺陷图像集的第二目标属性分数，并基于所述第二初始属性分数和第二目标属性分数得到所述第二初始属性分数和第二目标属性分数的第二差异值；
将大于第二预设值的第二差异值对应得第二目标图像保存至所述数据库内；
若所述数据库内第一目标图像和所述第二目标图像得数量之和小于等于所述阈值，则分别计算所述初始算法和所述目标算法的平均绝对比例错误和综合评价指标，并基于所述平均绝对比例错误和所述综合评价指标的变化幅度判断所述目标算法的演进方向是否正确。
3.如权利要求2所述的巡检算法演进方向的校验方法，其特征在于，所述计算所述缺陷图像集的第二目标属性分数的步骤，包括：
计算所述缺陷图像集的真正例、假正例、真反例和假反例；
基于所述真正例、所述假正例、所述真反例和所述假反例计算所述缺陷图像集的准确率、精确率和召回率，将所述缺陷图像集的准确率、精确率和召回率作为所述缺陷图像集的第二目标属性分数。
4.如权利要求2所述的巡检算法演进方向的校验方法，其特征在于，所述计算所述第三数据集和所述第四数据集的第二初始属性分数的步骤之前，包括：
计算所述第三数据集和所述第四数据集的真正例、假正例、真反例和假反例；
基于所述真正例、所述假正例、所述真反例和所述假反例计算所述缺陷图像集的准确率、精确率和召回率，将所述第三数据集和所述第四数据集的准确率、精确率和召回率作为所述第三数据集和所述第四数据集的第二初始属性分数。
5.如权利要求2所述的巡检算法演进方向的校验方法，其特征在于，所述匹配所述第一数据集和所述第二数据集内各图像的所述第一初始属性分数和所述第一目标属性分数，得到所述第一数据集和所述第二数据集内各图像的第一差异值的步骤，包括：
基于所述第一数据集和所述第二数据集内各图像的所述第一初始属性分数和所述第一目标属性分数计算所述第一数据集和所述第二数据集内各图像的平均绝对误差、均方根误差和平均绝对百分比误差；
将所述平均绝对误差、所述均方根误差和所述平均绝对百分比误差作为所述第一数据集和所述第二数据集内各图像的第一差异值。
6.如权利要求5所述的巡检算法演进方向的校验方法，其特征在于，在所述分别计算所述初始算法和所述目标算法的平均绝对比例错误和综合评价指标的步骤之前，还包括：
计算所述初始算法和所述目标算法的平均绝对偏差。
7.如权利要求6所述的巡检算法演进方向的校验方法，其特征在于，所述分别计算所述初始算法和所述目标算法的平均绝对比例错误和综合评价指标，并基于所述平均绝对比例错误和所述综合评价指标的变化幅度判断所述目标算法的演进方向是否正确的步骤，包括：
基于所述初始算法的平均绝对偏差和所述平均绝对误差计算所述初始算法的平均绝对比例错误；
基于所述目标算法的平均绝对偏差和所述平均绝对误差计算所述目标算法的平均绝对比例错误；
根据所述目标算法的平均绝对比例错误和所述初始算法的平均绝对比例错误获取所述平均绝对比例错误的变化幅度；
基于所述平均绝对比例错误和所述综合评价指标的变化幅度判断所述目标算法的演进方向是否正确，所述综合评价指标为精确率和召回率进行加权调和平均得统计量。
8.一种巡检算法演进方向的校验装置，其特征在于，所述装置包括：
初始分析模块，用于调用初始算法对预设巡检图像数据集进行分类得到第一数据集和第二数据集，并得到所述第一数据集和所述第二数据集内各图像的第一初始属性分数，所述预设巡检图像数据集包括按预设比例设置的正常图像集和缺陷图像集；
目标分析模块，用于调用目标算法对所述第一数据集和所述第二数据集内各图像进行分析，得到所述第一数据集和所述第二数据集内各图像的第一目标属性分数，所述目标算法为所述初始算法完成迭代后的算法；
判断模块，用于基于所述第一初始属性分数和所述第一目标属性分数确定是否存在所述第一初始属性分数和所述第一目标属性分数的差异值大于第一预设值的目标图像，以判断所述目标算法的演进方向是否正确。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一项所述的巡检算法演进方向的校验方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7中任一项所述的巡检算法演进方向的校验方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310020298.1A CN116091803A (zh) | 2023-01-05 | 2023-01-05 | 一种巡检算法演进方向的校验方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310020298.1A CN116091803A (zh) | 2023-01-05 | 2023-01-05 | 一种巡检算法演进方向的校验方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116091803A true CN116091803A (zh) | 2023-05-09 |
Family
ID=86203949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310020298.1A Pending CN116091803A (zh) | 2023-01-05 | 2023-01-05 | 一种巡检算法演进方向的校验方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091803A (zh) |
-
2023
- 2023-01-05 CN CN202310020298.1A patent/CN116091803A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3937128A2 (en) | Image defect detection method and apparatus, electronic device, storage medium and product | |
| CN110688536A (zh) | 一种标签预测方法、装置、设备和存储介质 | |
| US20220327452A1 (en) | Method for automatically updating unit cost of inspection by using comparison between inspection time and work time of crowdsourcing-based project for generating artificial intelligence training data | |
| CN104022899A (zh) | 一种网络管理系统的三维评估方法及系统 | |
| CN117372424B (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
| CN109102486B (zh) | 基于机器学习的表面缺陷检测方法及装置 | |
| KR102232880B1 (ko) | 인공지능 학습데이터 생성을 위한 이미지 또는 동영상 수집을 위한 크라우드소싱 기반 프로젝트의 검수자 평가 방법 | |
| CN117611879A (zh) | 缺陷检测方法、装置、设备及计算机可读介质 | |
| CN111144429B (zh) | 对象分类方法及其系统、计算机系统及计算机可读介质 | |
| CN116091803A (zh) | 一种巡检算法演进方向的校验方法及相关设备 | |
| KR102159574B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과의 정확도 추정 및 관리 방법 | |
| KR102205810B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 재작업 결과의 자동 반려 방법 | |
| KR102195608B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 오브젝트 반려율을 활용한 자동 반려 방법 | |
| CN115293735A (zh) | 一种无人工厂工业互联网平台监测管理方法及系统 | |
| CN114266941A (zh) | 一种快速检测图像样本标注成果数据方法 | |
| CN114564391A (zh) | 确定测试用例的方法、装置、存储介质及电子设备 | |
| CN112685610A (zh) | 虚假注册账号识别方法及相关装置 | |
| KR102217092B1 (ko) | 애플리케이션의 품질 정보 제공 방법 및 장치 | |
| CN116012670A (zh) | 一种评估巡检算法迭代差异的方法及相关设备 | |
| CN112232031A (zh) | 电力物联网边缘数据模型校验方法、装置及存储介质 | |
| CN114429289A (zh) | 指标筛选方法、装置、电子设备和存储介质 | |
| CN113705859B (zh) | 偏差原因影响值的预测方法、装置、电子设备及存储介质 | |
| CN112612882B (zh) | 检阅报告生成方法、装置、设备和存储介质 | |
| CN111324757B (zh) | 地图数据的问题处理方法及装置 | |
| Wu et al. | Estimate the Precision of Defects Based on Reports Duplication in Crowdsourced Testing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |