CN113762359A - 一种面向rd时频数据的深度学习模型评测系统及方法 - Google Patents
一种面向rd时频数据的深度学习模型评测系统及方法 Download PDFInfo
- Publication number
- CN113762359A CN113762359A CN202110950679.0A CN202110950679A CN113762359A CN 113762359 A CN113762359 A CN 113762359A CN 202110950679 A CN202110950679 A CN 202110950679A CN 113762359 A CN113762359 A CN 113762359A
- Authority
- CN
- China
- Prior art keywords
- score
- verification set
- flops
- iou
- iou threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 83
- 238000013136 deep learning model Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012795 verification Methods 0.000 claims abstract description 158
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims description 129
- 238000001514 detection method Methods 0.000 claims description 92
- 238000012545 processing Methods 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 abstract description 6
- 238000007689 inspection Methods 0.000 abstract description 5
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 208000035126 Facies Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明一种面向RD时频数据的深度学习模型评测系统及方法，其过程包括验证集扩充、多IOU阈值F1计算、多IOU阈值mAP计算、FLOPs计算、评测指标集成计算。评测方法主体为验证集扩充方法及基于集成策略的模型评测方法，通过图像融合与检验机制对验证集进行扩充，解决面向RD时频数据短缺问题，可以在不引入明显噪声信息、不泄露目标标签信息、不改变数据分布情况下得到更大规模的验证集，使得验证集更好地表征整体数据的特征，更好地评测模型的泛化性能；用多IOU阈值的F1得分、多IOU阈值的mAP、FLOPs的加权得分表示深度学习模型的整体能力，可以更准确地表征模型在单点最优、全局平均最优、时间性能方面的能力，从而为面向RD时频数据的深度学习模型评测提供有力技术支撑。
Description
技术领域
本发明涉及航空航天、人工智能领域，特别涉及一种面向RD时频数据的深度学习模型评测系统及方法。
背景技术
随着深度学习在图像目标检测等计算机视觉方向的不断应用与快速发展，深度学习在越来越多领域战胜了传统方法，特别是在小样本学习的推动下，人们有信心在有标注的数据量较小的前提下，使用深度学习得到优异的效果。RD时频数据是通过雷达等装置采集到得，经过时频分析和图像绘制可以得到具有物理意义的图像。在对RD时频数据的应用中，目标检测是最受瞩目的领域之一。传统的基于RD时频数据的的目标检测方法往往涉及较多的基于经验的分析和判断，需要根据具体数据表征采用相应的分析方法，方法较为庞杂。而面向RD时频数据使用深度学习模型进行目标检测是未来发展的重心，RD时频数据集的采集与构建比较困难，原因在于获取RD时频数据需要专业设备与装置，采集到得数据还需要降噪、时频分析和图像绘制等过程，而且相比很多目标检测的常见数据集，RD时频数据的目标较小、轮廓模糊，干扰物与真实目标更难以区分。因此可以应用于目标检测的RD时频数据集的体量较小，一般在1000到2000张左右。根据一般规律，将把数据集中20％到30％的样本作为验证集，然而实际应用中由于训练数据珍贵，验证集的数量会在此基础上下调，因此带来的验证集数量不足问题对模型评测结果影响很大。面向RD时频数据基于深度学习模型的实时目标检测是目前具有很大潜力的研究领域，因此需要从尽可能全面的角度衡量深度学习模型的能力，除了多维度上的准确性指标，还要考虑模型的时间复杂度。因此，提出一种面向RD时频数据的深度学习模型评测方法十分必要。
从RD时频数据灰度图像的数据特征出发，设计一种面向RD时频数据的基于图像融合与检验机制的验证集扩充方法，通过将RD时频灰度图像中的目标框剪出形成目标池，对目标进行图像处理后与背景进行随机融合，通过复制粘贴盲检测的融合结果则纳入验证集。设计一种面向RD时频数据的考虑多维度准确性与时间性能的深度模型评测方法，综合考虑多交并比(IOU)阈值下的F1得分、多IOU阈值下的各类别平均精度(mAP)、浮点运算次数(FLOPs)三个指标，使用加权得分表示模型整体能力。因此，面向样本规模较小的RD时频数据，设计基于图像融合与检验机制的验证集扩充方法和考虑多维度准确性与时间性能的深度模型评测方法，可有效提高模型评测的准确性和有效性，更好地检验与衡量模型的整体能力。
目前国内外的图像增广方法较多，但是尚无一种面相RD时频数据图像的验证集扩充方法，国内外的单独采用多IOU阈值下的F1得分、多IOU阈值下的mAP、FLOPs之一作为模型评测指标的较为常见，但是尚无采用加权得分表示模型整体效果的实例。因此，开发一种面向RD时频数据的深度学习模型评测方法具有重要意义和实用价值。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供一种面向RD时频数据的深度学习模型评测系统及方法，包括验证集扩充方法及基于集成策略的模型评测方法，通过图像融合与检验机制对验证集进行扩充，可以在不引入明显噪声信息、不泄露目标标签信息、不改变数据分布情况下得到更大规模的验证集，使得验证集更好地表征整体数据的特征，更好地评测模型的泛化性能；用多IOU阈值的F1得分、多IOU阈值的mAP、FLOPs的加权得分表示深度学习模型的整体能力，可以更准确地表征模型在单点最优、全局平均最优、时间性能方面的能力，从而为面向RD时频数据的深度学习模型评测提供有力的技术支撑。
本发明的技术方案是：一种面向RD时频数据的深度学习模型评测系统，包括验证集扩充模块、多IOU阈值F1得分计算模块、多IOU阈值mAP计算模块、FLOPs计算模块和评测指标集成计算模块；
验证集扩充模块接收灰度化后的训练集和验证集、复制粘贴盲检测允许偏差、扩充数量作为输入，通过分析训练集和验证集整体数据中标签位置的整体分布，将训练集和验证集组成的整体数据图像中的目标剪出形成目标池，将背景挖空处理形成背景池，满足约束条件下进行目标图像处理并与背景随机融合，然后计算复制粘贴盲检测得分，根据得分是否满足得分要求，自动搜索图像处理参数或更换融合的目标与背景，直到满足得分要求则将融合图像纳入验证集，扩充过程完成后得到扩充后的验证集；
多IOU阈值F1得分计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、F1得分，然后计算各个类别的平均F1得分，最后计算各个IOU阈值下的平均F1得分；
多IOU阈值mAP计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、平均精确率AP，计算各个类别AP的平均值mAP，计算各个IOU阈值下mAP的平均值；
FLOPs计算模块将外置的深度学习模型结构配置作为输入，自动分析模型中的卷积层、池化层、全连接层的个数，根据维度和法则自动计算FLOPs；
评测指标集成计算模块对多IOU阈值F1得分、多IOU阈值mAP、FLOPs进行量纲化，计算得到加权和作为深度学习模型评测得分。
所述训练集和验证集整体数据中标签位置的整体分布包括：每个图像中目标个数分布、目标左上角坐标分布、目标旋转角度分布、复制粘贴盲检测得分分布。
所述验证集扩充模块内部的具体工作流程为：
步骤11、提示用户录入灰度化的训练集和验证集、扩充数量、复制粘贴盲检测允许偏差，统计训练集和验证集整体数据的目标左上角坐标范围分布、目标旋转角度分布、复制粘贴盲检得分范围；
步骤12、在训练集和验证集组成的整体数据上，将每个图像上的目标框剪切出来组成目标池，背景处填充背景色组成背景池，记录数据集中已经存在的<目标，背景>的配对关系；
步骤13、判断验证集扩充数量是否达到用户输入的扩充数量，若未达到，跳转执行步骤15；
步骤14、在步骤13的判断中，若验证集扩充数量达到用户输入的扩充数量，则退出验证集扩充模块工作流程；
步骤15、判断是否已经遍历完目标池和背景池，如果未遍历完，则跳转执行步骤17；
步骤16、在步骤15的判断中，如果已遍历完，则退出验证集扩充模块工作流程；
步骤17、随机从目标池和背景池中选择目标图像和背景图像，保证<目标，背景>配对关系没有出现过；
步骤18、对待融合的目标进行图像处理，处理手段包括背景透明和边缘模糊，背景透明参数和边缘模糊参数有预设的阈值范围和步长；
步骤19、根据整体数据的目标左上角坐标范围分布、目标旋转角度分布，生成随机融合参数：目标左上角坐标和旋转角度，将目标图像根据融合参数与背景进行融合；
步骤110、计算融合图像的复制粘贴盲检测得分，包括特征点提取、特征点匹配、聚类和几何评估，将复制粘贴盲检测得分量纲化到0到100范围内，分数越高表示图片是通过复制粘贴形式生成的概率越低；
步骤111、在原始数据的复制粘贴盲检得分范围基础上，范围下限向下偏移用户输入的允许偏差，判断当前融合图像的复制粘贴盲检测得分是否满足要求，如果满足要求则执行步骤112；
步骤112、将当前融合的图像加入验证集中，然后返回步骤13；这里只考虑每个图片中存在一个目标的情况，如果对于多目标情况，则需要将融合后的图片再次加入背景池并做好记录。
步骤113、在步骤111中，如果当前融合图像的复制粘贴盲检测得分不满足要求，则判断是否已经遍历完图像处理调参范围，如果已经遍历完，则返回步骤15；
步骤114、在步骤113的判断中，如果未遍历完图像处理调参范围，则调整图像处理参数，然后返回步骤18。
所述多IOU阈值F1得分计算模块内部的具体工作流程为：
步骤21、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
步骤22、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的F1平均得分；
步骤23、在步骤22的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤24；
步骤24、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的F1平均得分；
步骤25、在步骤24的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤26；
步骤26、判断是否已遍历完所有待评测验证集图片，如果已遍历完，则计算类别j的各个图像的F1得分的平均值；
步骤27、在步骤26的判断中，如果未遍历完所有待评测验证集图片，则获取下一个图像g，之后执行步骤28；
步骤28、对于步骤27获取到的图像，筛选出其中和当前类别j的第k个标注框的IOU大于等于IOU阈值i的若干个预测框；
步骤29、按照置信度降序顺序对步骤28筛选出的预测框进行排序；
步骤210、根据IOU阈值i，构建混淆矩阵，计算正检数TP、漏检数FN、误检数FP；
步骤211、计算精度
计算召回率
步骤212、计算F1得分
计算完成后返回步骤26。
所述多IOU阈值mAP计算模块内部的具体工作流程为：
步骤31、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
步骤32、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的mAP平均得分；
步骤33、在步骤32的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤34；
步骤34、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的AP平均得分；
步骤35、在步骤34的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤36；
步骤36、根据预设的置信度取值范围，在置信度阈值取值范围内进行等距取值，获得n个置信度阈值；
步骤37、筛选出评测图像中置信度大于等于第m个置信度阈值的若干个预测框；
步骤38、将若干个预测框分别与若干个标注框进行匹配；
步骤39、根据IOU阈值i，构建混淆矩阵，计算与第m个置信度阈值相对应的正检数TP、漏检数FN、误检数FP；
步骤310、计算与第m个置信度阈值相对应的精度
计算召回率
步骤311、判断是否已遍历完所有置信度阈值，如果未遍历完，则返回步骤37；
步骤312、在步骤311的判断中，如果已遍历完，则根据各个置信度下的precision和recall绘制P-R曲线获得分类j的AP，然后返回步骤34。
所述FLOPs计算模块内部的具体工作流程为：
步骤41、提示用户输入深度学习模型结构配置，并计算所有卷积层的FLOPs，每个卷积层FLOPs计算方式为：FLOPs＝[(Ci×kw×kh)+(Ci×kw×kh-1)+1]×C0×W×H，其中Ci×kw×kh表示一次卷积操作中的乘法运算量，(Ci×kw×kh-1)+1]表示一次卷积操作中的加法运算量；
步骤42、计算所有池化层的FLOPs，每个池化层FLOPs计算方式为FLOPs＝B×(H×W×C)×K2，其中B是批量大小，H×W是输出特征图的尺寸，C是输出通道数，K2是每个点乘法运算量；
步骤43、计算所有全连接层的FLOPs，每个全连接层FLOPs计算方式为FLOPs＝[I+(I-1)+1]＝(2×I)×O，其中第一个I表示乘法运算量，(I-1)表示加法运算量；
步骤44、将步骤41、42、43的FLOPs求和，得到模型整体的FLOPs，退出FLOPs计算模块工作流程。
所述评测指标集成计算模块的工作流程为：
步骤51、读取多IOU阈值F1得分计算结果；
步骤52、读取多IOU阈值mAP计算结果；
步骤53、读取FLOPs计算结果；
步骤54、根据多IOU阈值F1得分计算结果、多IOU阈值mAP计算结果、FLOPs计算结果的值域范围和特征，对三个结果进行同量纲化；
步骤55、根据预设的多IOU阈值F1得分计算结果权重、多IOU阈值mAP计算结果权重、FLOPs权重，计算三者的加权和，作为面向RD时频数据的深度学习模型评测指标。
一种面向RD时频数据的深度学习模型评测方法，步骤如下：
1)验证集扩充模块接收灰度化后的训练集和验证集、复制粘贴盲检测允许偏差、扩充数量作为输入，通过分析训练集和验证集整体数据中标签位置的整体分布，将训练集和验证集组成的整体数据图像中的目标剪出形成目标池，将背景挖空处理形成背景池，满足约束条件下进行目标图像处理并与背景随机融合，然后计算复制粘贴盲检测得分，根据得分是否满足得分要求，自动搜索图像处理参数或更换融合的目标与背景，直到满足得分要求则将融合图像纳入验证集；
2)多IOU阈值F1得分计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、F1得分，然后计算各个类别的平均F1得分，最后计算各个IOU阈值下的平均F1得分；
3)多IOU阈值mAP计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、平均精确率AP，计算各个类别AP的平均值mAP，计算各个IOU阈值下mAP的平均值；
4)FLOPs计算模块将外置的深度学习模型结构配置作为输入，自动分析模型中的卷积层、池化层、全连接层的个数，根据维度和法则自动计算FLOPs；
5)评测指标集成计算模块对多IOU阈值F1得分、多IOU阈值mAP、FLOPs进行量纲化，计算得到加权和作为深度学习模型评测得分。
所述训练集和验证集整体数据中标签位置的整体分布包括：每个图像中目标个数分布、目标左上角坐标分布、目标旋转角度分布、复制粘贴盲检测得分分布。
所述验证集扩充模块内部的具体工作流程为：
步骤11、提示用户录入灰度化的训练集和验证集、扩充数量、复制粘贴盲检测允许偏差，统计训练集和验证集整体数据的目标左上角坐标范围分布、目标旋转角度分布、复制粘贴盲检得分范围；
步骤12、在训练集和验证集组成的整体数据上，将每个图像上的目标框剪切出来组成目标池，背景处填充背景色组成背景池，记录数据集中已经存在的<目标，背景>的配对关系；
步骤13、判断验证集扩充数量是否达到用户输入的扩充数量，若未达到，跳转执行步骤15；
步骤14、在步骤13的判断中，若验证集扩充数量达到用户输入的扩充数量，则退出验证集扩充模块工作流程；
步骤15、判断是否已经遍历完目标池和背景池，如果未遍历完，则跳转执行步骤17；
步骤16、在步骤15的判断中，如果已遍历完，则退出验证集扩充模块工作流程；
步骤17、随机从目标池和背景池中选择目标图像和背景图像，保证<目标，背景>配对关系没有出现过；
步骤18、对待融合的目标进行图像处理，处理手段包括背景透明和边缘模糊，背景透明参数和边缘模糊参数有预设的阈值范围和步长；
步骤19、根据整体数据的目标左上角坐标范围分布、目标旋转角度分布，生成随机融合参数：目标左上角坐标和旋转角度，将目标图像根据融合参数与背景进行融合；
步骤110、计算融合图像的复制粘贴盲检测得分，包括特征点提取、特征点匹配、聚类和几何评估，将复制粘贴盲检测得分量纲化到0到100范围内，分数越高表示图片是通过复制粘贴形式生成的概率越低；
步骤111、在原始数据的复制粘贴盲检得分范围基础上，范围下限向下偏移用户输入的允许偏差，判断当前融合图像的复制粘贴盲检测得分是否满足要求，如果满足要求则执行步骤112；
步骤112、将当前融合的图像加入验证集中，然后返回步骤13；这里只考虑每个图片中存在一个目标的情况，如果对于多目标情况，则需要将融合后的图片再次加入背景池并做好记录。
步骤113、在步骤111中，如果当前融合图像的复制粘贴盲检测得分不满足要求，则判断是否已经遍历完图像处理调参范围，如果已经遍历完，则返回步骤15；
步骤114、在步骤113的判断中，如果未遍历完图像处理调参范围，则调整图像处理参数，然后返回步骤18。
所述多IOU阈值F1得分计算模块内部的具体工作流程为：
步骤21、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
步骤22、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的F1平均得分；
步骤23、在步骤22的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤24；
步骤24、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的F1平均得分；
步骤25、在步骤24的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤26；
步骤26、判断是否已遍历完所有待评测验证集图片，如果已遍历完，则计算类别j的各个图像的F1得分的平均值；
步骤27、在步骤26的判断中，如果未遍历完所有待评测验证集图片，则获取下一个图像g，之后执行步骤28；
步骤28、对于步骤27获取到的图像，筛选出其中和当前类别j的第k个标注框的IOU大于等于IOU阈值i的若干个预测框；
步骤29、按照置信度降序顺序对步骤28筛选出的预测框进行排序；
步骤210、根据IOU阈值i，构建混淆矩阵，计算正检数TP、漏检数FN、误检数FP；
步骤211、计算精度
计算召回率
步骤212、计算F1得分
计算完成后返回步骤26。
所述多IOU阈值mAP计算模块内部的具体工作流程为：
步骤31、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
步骤32、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的mAP平均得分；
步骤33、在步骤32的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤34；
步骤34、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的AP平均得分；
步骤35、在步骤34的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤36；
步骤36、根据预设的置信度取值范围，在置信度阈值取值范围内进行等距取值，获得n个置信度阈值；
步骤37、筛选出评测图像中置信度大于等于第m个置信度阈值的若干个预测框；
步骤38、将若干个预测框分别与若干个标注框进行匹配；
步骤39、根据IOU阈值i，构建混淆矩阵，计算与第m个置信度阈值相对应的正检数TP、漏检数FN、误检数FP；
步骤310、计算与第m个置信度阈值相对应的精度
计算召回率
步骤311、判断是否已遍历完所有置信度阈值，如果未遍历完，则返回步骤37；
步骤312、在步骤311的判断中，如果已遍历完，则根据各个置信度下的precision和recall绘制P-R曲线获得分类j的AP，然后返回步骤34。
所述FLOPs计算模块内部的具体工作流程为：
步骤41、提示用户输入深度学习模型结构配置，并计算所有卷积层的FLOPs，每个卷积层FLOPs计算方式为：FLOPs＝[(Ci×kw×kh)+(Ci×kw×kh-1)+1]×C0×W×H，其中Ci×kw×kh表示一次卷积操作中的乘法运算量，(Ci×kw×kh-1)+1]表示一次卷积操作中的加法运算量；
步骤42、计算所有池化层的FLOPs，每个池化层FLOPs计算方式为FLOPs＝B×(H×W×C)×K2，其中B是批量大小，H×W是输出特征图的尺寸，C是输出通道数，K2是每个点乘法运算量；
步骤43、计算所有全连接层的FLOPs，每个全连接层FLOPs计算方式为FLOPs＝[I+(I-1)+1]＝(2×I)×O，其中第一个I表示乘法运算量，(I-1)表示加法运算量；
步骤44、将步骤41、42、43的FLOPs求和，得到模型整体的FLOPs，退出FLOPs计算模块工作流程。
所述评测指标集成计算模块的工作流程为：
步骤51、读取多IOU阈值F1得分计算结果；
步骤52、读取多IOU阈值mAP计算结果；
步骤53、读取FLOPs计算结果；
步骤54、根据多IOU阈值F1得分计算结果、多IOU阈值mAP计算结果、FLOPs计算结果的值域范围和特征，对三个结果进行同量纲化；
步骤55、根据预设的多IOU阈值F1得分计算结果权重、多IOU阈值mAP计算结果权重、FLOPs权重，计算三者的加权和，作为面向RD时频数据的深度学习模型评测指标。
本发明与现有技术相比的优点在于：
(1)通过本发明提供的适用于规模普遍较小的RD时频数据的验证集扩充方法及深度学习模型评测方法，可以在不引入明显噪声信息、不泄露目标标签信息、不改变数据分布情况得到更大规模的验证集，基于此采用融合多维度准确性和时间性能的加权指标作为深度学习模型评测的依据，可以更准确地反映模型的整体能力。
(2)本发明设计了一种基于图像融合与检验机制的验证集扩充方法，通过复制粘贴盲检测对融合后的图像进行检验，该方法能够自动调节满足不引入明显噪声信息、不泄露目标标签信息条件的图像融合参数。该方法可以实现满足一定约束条件下的验证集自动化扩充，从而更好地评测深度学习模型的泛化性能。
(3)本发明设计了一种基于集成策略的深度学习评测方法，通过综合考虑多IOU阈值的F1得分、多IOU阈值的mAP、FLOPs三个指标，使用加权得分表示模型整体能力，可以更准确的表征模型在单点最优、全局平均最优、时间性能方面的能力。
(4)通过本发明可显著提高面向RD时频数据的深度学习模型评测准确性，降低扩充数据所需的人力成本，更全面地表示深度学习模型在预测准确性与预测时间方面能力，为筛选出面向RD时频数据的具有实时目标检测潜力的深度学习模型提供有力的评测依据。因此，将该技术应用于工程实际具有重要意义。
附图说明
图1为本发明系统结构图。
图2为验证集扩充模块工作流程图。
图3为多IOU阈值F1得分计算模块工作流程图。
图4为多IOU阈值mAP计算模块工作流程图。
图5为FLOPs计算模块工作流程图。
图6为评测指标集成计算模块工作流程图。
具体实施方式
如图1-6所示，本发明一种面向RD时频数据的深度学习模型评测系统，由验证集扩充模块、多IOU阈值F1得分计算模块、多IOU阈值mAP计算模块、FLOPs计算模块、评测指标集成计算模块构成。
所述的验证集扩充模块接收灰度化后的训练集和验证集、复制粘贴盲检测允许偏差、扩充数量作为输入，通过分析训练集和验证集整体数据中标签位置的整体分布，包括每个图像中目标个数分布、目标左上角坐标分布、目标旋转角度分布、复制粘贴盲检测得分分布，将图像中的目标剪出形成目标池，将背景挖空处理形成背景池，满足约束条件下进行目标图像处理并与背景随机融合，然后计算复制粘贴盲检测得分，根据得分是否满足得分要求，自动搜索图像处理参数或更换融合的目标与背景，直到满足得分要求则将融合图像纳入验证集。
验证集扩充完成后，多IOU阈值F1得分计算模块将验证集预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的recall、precision、F1得分，然后计算各个类别的平均F1得分，最后计算各个IOU阈值下的平均F1得分。
多IOU阈值F1得分计算完成后，多IOU阈值mAP计算模块将验证集预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的recall、precision、AP，计算各个类别AP的平均值得到mAP，计算各个IOU阈值下mAP的平均值。
多IOU阈值mAP计算完成后，FLOPs计算模块将深度学习模型结构配置作为输入，自动分析模型中的卷积层、池化层、全连接层的个数，根据维度和法则自动计算FLOPs。
FLOPs计算完成后，对多IOU阈值F1得分、多IOU阈值mAP、FLOPs进行量纲化，计算加权和作为深度学习模型评测得分。
所述验证集扩充模块的工作流程为：
1、提示用户录入灰度化的训练集和验证集、扩充数量、复制粘贴盲检测允许偏差，统计训练集和验证集整体数据的目标左上角坐标范围分布、目标旋转角度分布、复制粘贴盲检得分范围；
2、在训练集和验证集组成的整体数据上，将每个图像上的目标框剪切出来组成目标池，背景处填充背景色组成背景池，记录数据集中已经存在的<目标，背景>的配对关系；
3、判断验证集扩充数量是否达到用户输入的扩充数量，若未达到，继续执行步骤5；
4、在步骤3的判断中，若验证集扩充数量达到用户输入的扩充数量，则退出验证集扩充模块；
5、判断是否已经遍历完目标池和背景池，如果未遍历完，则继续执行步骤7；
6、在步骤5的判断中，如果已遍历完，则退出验证集扩充模块；
7、随机从目标池和背景池中选择目标图像和背景图像，保证<目标，背景>配对关系没有出现过；
8、对待融合的目标进行图像处理，处理手段包括背景透明和边缘模糊，背景透明参数和边缘模糊参数有预设的阈值范围和步长；
9、根据整体数据的目标左上角坐标范围分布、目标旋转角度分布，生成随机融合参数：目标左上角坐标和旋转角度，将目标图像根据融合参数与背景进行融合；
10、计算融合图像的复制粘贴盲检测得分，一般包括特征点提取、特征点匹配、聚类和几何评估，将复制粘贴盲检测得分量纲化到0到100范围内，分数越高表示图片是通过复制粘贴形式生成的概率越低。
11、在原始数据的复制粘贴盲检得分范围基础上，范围下限向下偏移用户输入的允许偏差，判断当前融合图像的复制粘贴盲检测得分是否满足要求，如果满足要求则继续执行步骤12。
12、将当前融合的图像加入验证集中，然后返回步骤3。这里只考虑每个图片中存在一个目标的情况，如果对于多目标情况，则需要将融合后的图片再次加入背景池并做好记录。
13、在步骤11中，如果当前融合图像的复制粘贴盲检测得分不满足要求，则判断是否已经遍历完图像处理调参范围，如果已经遍历完，则返回步骤5。
14、在步骤13的判断中，如果未遍历完图像处理调参范围，则调整图像处理参数，然后返回步骤8。
所述多IOU阈值F1得分计算模块的工作流程为：
1、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
2、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的F1平均得分；
3、在步骤2的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i；
4、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的F1平均得分；
5、在步骤4的判断中，如果未遍历完全部分类，则获取下一个类别j；
6、判断是否已遍历完所有待评测验证集图片，如果已遍历完，则计算类别j的各个图像的F1得分的平均值；
7、在步骤6的判断中，如果未遍历完所有待评测验证集图片，则获取下一个图像g；
8、对于步骤7获取到的图像，筛选出其中和当前类别j的第k个标注框的IOU大于等于IOU阈值i的若干个预测框；
9、按照置信度降序顺序对步骤8筛选出的预测框进行排序；
10、根据IOU阈值i，构建混淆矩阵，计算正检数TP、漏检数FN、误检数FP；
11、计算精度precision，
计算召回率recall，
12、计算F1得分，
计算完成后返回步骤6。
所述多IOU阈值mAP计算模块的工作流程为：
1、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
2、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的mAP平均得分；
3、在步骤2的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i；
4、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的AP平均得分；
5、在步骤4的判断中，如果未遍历完全部分类，则获取下一个类别j；
6、根据预设的置信度取值范围，在置信度阈值取值范围内进行等距取值，获得n个置信度阈值；
7、筛选出评测图像中置信度大于等于第m个置信度阈值的若干个预测框；
8、将若干个预测框分别与若干个标注框进行匹配；
9、根据IOU阈值i，构建混淆矩阵，计算与第m个置信度阈值相对应的正检数TP、漏检数FN、误检数FP；
10、计算与第m个置信度阈值相对应的精度precision，
计算召回率recall，
11、判断是否已遍历完所有置信度阈值，如果未遍历完，则返回步骤7；
12、在步骤11的判断中，如果已遍历完，则根据各个置信度下的precision和recall绘制P-R曲线获得分类j的AP，然后返回步骤4。
所述FLOPs计算模块的工作流程为：
1、提示用户输入深度学习模型结构配置，并计算所有卷积层的FLOPs，每个卷积层FLOPs计算方式为：FLOPs＝[(Ci×kw×kh)+(Ci×kw×kh-1)+1]×C0×W×H，其中Ci×kw×kh表示一次卷积操作中的乘法运算量，(Ci×kw×kh-1)+1]表示一次卷积操作中的加法运算量；
2、计算所有池化层的FLOPs，每个池化层FLOPs计算方式为FLOPs＝B×(H×W×C)×K2，其中B是批量大小，H×W是输出特征图的尺寸，C是输出通道数，K2是每个点乘法运算量；
3、计算所有全连接层的FLOPs，每个全连接层FLOPs计算方式为FLOPs＝[I+(I-1)+1]＝(2×I)×O，其中第一个I表示乘法运算量，(I-1)表示加法运算量；
4、将步骤1、2、3的FLOPs求和，得到模型整体的FLOPs，退出FLOPs计算模块；
所述评测指标集成计算模块的工作流程为：
1、读取多IOU阈值F1得分计算结果；
2、读取多IOU阈值mAP计算结果；
3、读取FLOPs计算结果；
4、根据多IOU阈值F1得分计算结果、多IOU阈值mAP计算结果、FLOPs计算结果的值域范围和特征，对三个结果进行同量纲化；
5、根据预设的多IOU阈值F1得分计算结果权重、多IOU阈值mAP计算结果权重、FLOPs权重，计算三者的加权和，作为面向RD时频数据的深度学习模型评测指标。
本发明还涉及一种面向RD时频数据的深度学习模型评测方法，步骤如下：
1)验证集扩充模块接收灰度化后的训练集和验证集、复制粘贴盲检测允许偏差、扩充数量作为输入，通过分析训练集和验证集整体数据中标签位置的整体分布，将训练集和验证集组成的整体数据图像中的目标剪出形成目标池，将背景挖空处理形成背景池，满足约束条件下进行目标图像处理并与背景随机融合，然后计算复制粘贴盲检测得分，根据得分是否满足得分要求，自动搜索图像处理参数或更换融合的目标与背景，直到满足得分要求则将融合图像纳入验证集；
2)多IOU阈值F1得分计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、F1得分，然后计算各个类别的平均F1得分，最后计算各个IOU阈值下的平均F1得分；
3)多IOU阈值mAP计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、平均精确率AP，计算各个类别AP的平均值mAP，计算各个IOU阈值下mAP的平均值；
4)FLOPs计算模块将外置的深度学习模型结构配置作为输入，自动分析模型中的卷积层、池化层、全连接层的个数，根据维度和法则自动计算FLOPs；
5)评测指标集成计算模块对多IOU阈值F1得分、多IOU阈值mAP、FLOPs进行量纲化，计算得到加权和作为深度学习模型评测得分。
所述训练集和验证集整体数据中标签位置的整体分布包括：每个图像中目标个数分布、目标左上角坐标分布、目标旋转角度分布、复制粘贴盲检测得分分布。
所述验证集扩充模块内部的具体工作流程为：
步骤11、提示用户录入灰度化的训练集和验证集、扩充数量、复制粘贴盲检测允许偏差，统计训练集和验证集整体数据的目标左上角坐标范围分布、目标旋转角度分布、复制粘贴盲检得分范围；
步骤12、在训练集和验证集组成的整体数据上，将每个图像上的目标框剪切出来组成目标池，背景处填充背景色组成背景池，记录数据集中已经存在的<目标，背景>的配对关系；
步骤13、判断验证集扩充数量是否达到用户输入的扩充数量，若未达到，跳转执行步骤15；
步骤14、在步骤13的判断中，若验证集扩充数量达到用户输入的扩充数量，则退出验证集扩充模块工作流程；
步骤15、判断是否已经遍历完目标池和背景池，如果未遍历完，则跳转执行步骤17；
步骤16、在步骤15的判断中，如果已遍历完，则退出验证集扩充模块工作流程；
步骤17、随机从目标池和背景池中选择目标图像和背景图像，保证<目标，背景>配对关系没有出现过；
步骤18、对待融合的目标进行图像处理，处理手段包括背景透明和边缘模糊，背景透明参数和边缘模糊参数有预设的阈值范围和步长；
步骤19、根据整体数据的目标左上角坐标范围分布、目标旋转角度分布，生成随机融合参数：目标左上角坐标和旋转角度，将目标图像根据融合参数与背景进行融合；
步骤110、计算融合图像的复制粘贴盲检测得分，包括特征点提取、特征点匹配、聚类和几何评估，将复制粘贴盲检测得分量纲化到0到100范围内，分数越高表示图片是通过复制粘贴形式生成的概率越低；
步骤111、在原始数据的复制粘贴盲检得分范围基础上，范围下限向下偏移用户输入的允许偏差，判断当前融合图像的复制粘贴盲检测得分是否满足要求，如果满足要求则执行步骤112；
步骤112、将当前融合的图像加入验证集中，然后返回步骤13；这里只考虑每个图片中存在一个目标的情况，如果对于多目标情况，则需要将融合后的图片再次加入背景池并做好记录。
步骤113、在步骤111中，如果当前融合图像的复制粘贴盲检测得分不满足要求，则判断是否已经遍历完图像处理调参范围，如果已经遍历完，则返回步骤15；
步骤114、在步骤113的判断中，如果未遍历完图像处理调参范围，则调整图像处理参数，然后返回步骤18。
所述多IOU阈值F1得分计算模块内部的具体工作流程为：
步骤21、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
步骤22、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的F1平均得分；
步骤23、在步骤22的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤24；
步骤24、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的F1平均得分；
步骤25、在步骤24的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤26；
步骤26、判断是否已遍历完所有待评测验证集图片，如果已遍历完，则计算类别j的各个图像的F1得分的平均值；
步骤27、在步骤26的判断中，如果未遍历完所有待评测验证集图片，则获取下一个图像g，之后执行步骤28；
步骤28、对于步骤27获取到的图像，筛选出其中和当前类别j的第k个标注框的IOU大于等于IOU阈值i的若干个预测框；
步骤29、按照置信度降序顺序对步骤28筛选出的预测框进行排序；
步骤210、根据IOU阈值i，构建混淆矩阵，计算正检数TP、漏检数FN、误检数FP；
步骤211、计算精度
计算召回率
步骤212、计算F1得分
计算完成后返回步骤26。
所述多IOU阈值mAP计算模块内部的具体工作流程为：
步骤31、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
步骤32、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的mAP平均得分；
步骤33、在步骤32的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤34；
步骤34、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的AP平均得分；
步骤35、在步骤34的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤36；
步骤36、根据预设的置信度取值范围，在置信度阈值取值范围内进行等距取值，获得n个置信度阈值；
步骤37、筛选出评测图像中置信度大于等于第m个置信度阈值的若干个预测框；
步骤38、将若干个预测框分别与若干个标注框进行匹配；
步骤39、根据IOU阈值i，构建混淆矩阵，计算与第m个置信度阈值相对应的正检数TP、漏检数FN、误检数FP；
步骤310、计算与第m个置信度阈值相对应的精度
计算召回率
步骤311、判断是否已遍历完所有置信度阈值，如果未遍历完，则返回步骤37；
步骤312、在步骤311的判断中，如果已遍历完，则根据各个置信度下的precision和recall绘制P-R曲线获得分类j的AP，然后返回步骤34。
所述FLOPs计算模块内部的具体工作流程为：
步骤41、提示用户输入深度学习模型结构配置，并计算所有卷积层的FLOPs，每个卷积层FLOPs计算方式为：FLOPs＝[(Ci×kw×kh)+(Ci×kw×kh-1)+1]×C0×W×H，其中Ci×kw×kh表示一次卷积操作中的乘法运算量，(Ci×kw×kh-1)+1]表示一次卷积操作中的加法运算量；
步骤42、计算所有池化层的FLOPs，每个池化层FLOPs计算方式为FLOPs＝B×(H×W×C)×K2，其中B是批量大小，H×W是输出特征图的尺寸，C是输出通道数，K2是每个点乘法运算量；
步骤43、计算所有全连接层的FLOPs，每个全连接层FLOPs计算方式为FLOPs＝[I+(I-1)+1]＝(2×I)×O，其中第一个I表示乘法运算量，(I-1)表示加法运算量；
步骤44、将步骤41、42、43的FLOPs求和，得到模型整体的FLOPs，退出FLOPs计算模块工作流程。
所述评测指标集成计算模块的工作流程为：
步骤51、读取多IOU阈值F1得分计算结果；
步骤52、读取多IOU阈值mAP计算结果；
步骤53、读取FLOPs计算结果；
步骤54、根据多IOU阈值F1得分计算结果、多IOU阈值mAP计算结果、FLOPs计算结果的值域范围和特征，对三个结果进行同量纲化；
步骤55、根据预设的多IOU阈值F1得分计算结果权重、多IOU阈值mAP计算结果权重、FLOPs权重，计算三者的加权和，作为面向RD时频数据的深度学习模型评测指标。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
Claims (14)
1.一种面向RD时频数据的深度学习模型评测系统，其特征在于：包括验证集扩充模块、多IOU阈值F1得分计算模块、多IOU阈值mAP计算模块、FLOPs计算模块和评测指标集成计算模块；
验证集扩充模块接收灰度化后的训练集和验证集、复制粘贴盲检测允许偏差、扩充数量作为输入，通过分析训练集和验证集整体数据中标签位置的整体分布，将训练集和验证集组成的整体数据图像中的目标剪出形成目标池，将背景挖空处理形成背景池，满足约束条件下进行目标图像处理并与背景随机融合，然后计算复制粘贴盲检测得分，根据得分是否满足得分要求，自动搜索图像处理参数或更换融合的目标与背景，直到满足得分要求则将融合图像纳入验证集，扩充过程完成后得到扩充后的验证集；
多IOU阈值F1得分计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、F1得分，然后计算各个类别的平均F1得分，最后计算各个IOU阈值下的平均F1得分；
多IOU阈值mAP计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、平均精确率AP，计算各个类别AP的平均值mAP，计算各个IOU阈值下mAP的平均值；
FLOPs计算模块将外置的深度学习模型结构配置作为输入，自动分析模型中的卷积层、池化层、全连接层的个数，根据维度和法则自动计算FLOPs；
评测指标集成计算模块对多IOU阈值F1得分、多IOU阈值mAP、FLOPs进行量纲化，计算得到加权和作为深度学习模型评测得分。
2.根据权利要求1所述的一种面向RD时频数据的深度学习模型评测系统，其特征在于：所述训练集和验证集整体数据中标签位置的整体分布包括：每个图像中目标个数分布、目标左上角坐标分布、目标旋转角度分布、复制粘贴盲检测得分分布。
3.根据权利要求1所述的一种面向RD时频数据的深度学习模型评测系统，其特征在于：所述验证集扩充模块内部的具体工作流程为：
步骤11、提示用户录入灰度化的训练集和验证集、扩充数量、复制粘贴盲检测允许偏差，统计训练集和验证集整体数据的目标左上角坐标范围分布、目标旋转角度分布、复制粘贴盲检得分范围；
步骤12、在训练集和验证集组成的整体数据上，将每个图像上的目标框剪切出来组成目标池，背景处填充背景色组成背景池，记录数据集中已经存在的<目标，背景>的配对关系；
步骤13、判断验证集扩充数量是否达到用户输入的扩充数量，若未达到，跳转执行步骤15；
步骤14、在步骤13的判断中，若验证集扩充数量达到用户输入的扩充数量，则退出验证集扩充模块工作流程；
步骤15、判断是否已经遍历完目标池和背景池，如果未遍历完，则跳转执行步骤17；
步骤16、在步骤15的判断中，如果已遍历完，则退出验证集扩充模块工作流程；
步骤17、随机从目标池和背景池中选择目标图像和背景图像，保证<目标，背景>配对关系没有出现过；
步骤18、对待融合的目标进行图像处理，处理手段包括背景透明和边缘模糊，背景透明参数和边缘模糊参数有预设的阈值范围和步长；
步骤19、根据整体数据的目标左上角坐标范围分布、目标旋转角度分布，生成随机融合参数：目标左上角坐标和旋转角度，将目标图像根据融合参数与背景进行融合；
步骤110、计算融合图像的复制粘贴盲检测得分，包括特征点提取、特征点匹配、聚类和几何评估，将复制粘贴盲检测得分量纲化到0到100范围内，分数越高表示图片是通过复制粘贴形式生成的概率越低；
步骤111、在原始数据的复制粘贴盲检得分范围基础上，范围下限向下偏移用户输入的允许偏差，判断当前融合图像的复制粘贴盲检测得分是否满足要求，如果满足要求则执行步骤112；
步骤112、将当前融合的图像加入验证集中，然后返回步骤13；这里只考虑每个图片中存在一个目标的情况，如果对于多目标情况，则需要将融合后的图片再次加入背景池并做好记录。
步骤113、在步骤111中，如果当前融合图像的复制粘贴盲检测得分不满足要求，则判断是否已经遍历完图像处理调参范围，如果已经遍历完，则返回步骤15；
步骤114、在步骤113的判断中，如果未遍历完图像处理调参范围，则调整图像处理参数，然后返回步骤18。
4.根据权利要求1所述的一种面向RD时频数据的深度学习模型评测系统，其特征在于：所述多IOU阈值F1得分计算模块内部的具体工作流程为：
步骤21、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
步骤22、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的F1平均得分；
步骤23、在步骤22的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤24；
步骤24、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的F1平均得分；
步骤25、在步骤24的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤26；
步骤26、判断是否已遍历完所有待评测验证集图片，如果已遍历完，则计算类别j的各个图像的F1得分的平均值；
步骤27、在步骤26的判断中，如果未遍历完所有待评测验证集图片，则获取下一个图像g，之后执行步骤28；
步骤28、对于步骤27获取到的图像，筛选出其中和当前类别j的第k个标注框的IOU大于等于IOU阈值i的若干个预测框；
步骤29、按照置信度降序顺序对步骤28筛选出的预测框进行排序；
步骤210、根据IOU阈值i，构建混淆矩阵，计算正检数TP、漏检数FN、误检数FP；
步骤211、计算精度
计算召回率
步骤212、计算F1得分
计算完成后返回步骤26。
5.根据权利要求1所述的一种面向RD时频数据的深度学习模型评测系统，其特征在于：所述多IOU阈值mAP计算模块内部的具体工作流程为：
步骤31、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
步骤32、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的mAP平均得分；
步骤33、在步骤32的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤34；
步骤34、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的AP平均得分；
步骤35、在步骤34的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤36；
步骤36、根据预设的置信度取值范围，在置信度阈值取值范围内进行等距取值，获得n个置信度阈值；
步骤37、筛选出评测图像中置信度大于等于第m个置信度阈值的若干个预测框；
步骤38、将若干个预测框分别与若干个标注框进行匹配；
步骤39、根据IOU阈值i，构建混淆矩阵，计算与第m个置信度阈值相对应的正检数TP、漏检数FN、误检数FP；
步骤310、计算与第m个置信度阈值相对应的精度
计算召回率
步骤311、判断是否已遍历完所有置信度阈值，如果未遍历完，则返回步骤37；
步骤312、在步骤311的判断中，如果已遍历完，则根据各个置信度下的precision和recall绘制P-R曲线获得分类j的AP，然后返回步骤34。
6.根据权利要求1所述的一种面向RD时频数据的深度学习模型评测系统，其特征在于：所述FLOPs计算模块内部的具体工作流程为：
步骤41、提示用户输入深度学习模型结构配置，并计算所有卷积层的FLOPs，每个卷积层FLOPs计算方式为：FLOPs＝[(Ci×kw×kh)+(Ci×kw×kh-1)+1]×C0×W×H，其中Ci×kw×kh表示一次卷积操作中的乘法运算量，(Ci×kw×kh-1)+1]表示一次卷积操作中的加法运算量；
步骤42、计算所有池化层的FLOPs，每个池化层FLOPs计算方式为FLOPs＝B×(H×W×C)×K2，其中B是批量大小，H×W是输出特征图的尺寸，C是输出通道数，K2是每个点乘法运算量；
步骤43、计算所有全连接层的FLOPs，每个全连接层FLOPs计算方式为FLOPs＝[I+(I-1)+1]＝(2×I)×O，其中第一个I表示乘法运算量，(I-1)表示加法运算量；
步骤44、将步骤41、42、43的FLOPs求和，得到模型整体的FLOPs，退出FLOPs计算模块工作流程。
7.根据权利要求1所述的一种面向RD时频数据的深度学习模型评测系统，其特征在于：所述评测指标集成计算模块的工作流程为：
步骤51、读取多IOU阈值F1得分计算结果；
步骤52、读取多IOU阈值mAP计算结果；
步骤53、读取FLOPs计算结果；
步骤54、根据多IOU阈值F1得分计算结果、多IOU阈值mAP计算结果、FLOPs计算结果的值域范围和特征，对三个结果进行同量纲化；
步骤55、根据预设的多IOU阈值F1得分计算结果权重、多IOU阈值mAP计算结果权重、FLOPs权重，计算三者的加权和，作为面向RD时频数据的深度学习模型评测指标。
8.一种面向RD时频数据的深度学习模型评测方法，其特征在于步骤如下：
1)验证集扩充模块接收灰度化后的训练集和验证集、复制粘贴盲检测允许偏差、扩充数量作为输入，通过分析训练集和验证集整体数据中标签位置的整体分布，将训练集和验证集组成的整体数据图像中的目标剪出形成目标池，将背景挖空处理形成背景池，满足约束条件下进行目标图像处理并与背景随机融合，然后计算复制粘贴盲检测得分，根据得分是否满足得分要求，自动搜索图像处理参数或更换融合的目标与背景，直到满足得分要求则将融合图像纳入验证集；
2)多IOU阈值F1得分计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、F1得分，然后计算各个类别的平均F1得分，最后计算各个IOU阈值下的平均F1得分；
3)多IOU阈值mAP计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、平均精确率AP，计算各个类别AP的平均值mAP，计算各个IOU阈值下mAP的平均值；
4)FLOPs计算模块将外置的深度学习模型结构配置作为输入，自动分析模型中的卷积层、池化层、全连接层的个数，根据维度和法则自动计算FLOPs；
5)评测指标集成计算模块对多IOU阈值F1得分、多IOU阈值mAP、FLOPs进行量纲化，计算得到加权和作为深度学习模型评测得分。
9.根据权利要求8所述的一种面向RD时频数据的深度学习模型评测方法，其特征在于：所述训练集和验证集整体数据中标签位置的整体分布包括：每个图像中目标个数分布、目标左上角坐标分布、目标旋转角度分布、复制粘贴盲检测得分分布。
10.根据权利要求8所述的一种面向RD时频数据的深度学习模型评测方法，其特征在于：所述验证集扩充模块内部的具体工作流程为：
步骤11、提示用户录入灰度化的训练集和验证集、扩充数量、复制粘贴盲检测允许偏差，统计训练集和验证集整体数据的目标左上角坐标范围分布、目标旋转角度分布、复制粘贴盲检得分范围；
步骤12、在训练集和验证集组成的整体数据上，将每个图像上的目标框剪切出来组成目标池，背景处填充背景色组成背景池，记录数据集中已经存在的<目标，背景>的配对关系；
步骤13、判断验证集扩充数量是否达到用户输入的扩充数量，若未达到，跳转执行步骤15；
步骤14、在步骤13的判断中，若验证集扩充数量达到用户输入的扩充数量，则退出验证集扩充模块工作流程；
步骤15、判断是否已经遍历完目标池和背景池，如果未遍历完，则跳转执行步骤17；
步骤16、在步骤15的判断中，如果已遍历完，则退出验证集扩充模块工作流程；
步骤17、随机从目标池和背景池中选择目标图像和背景图像，保证<目标，背景>配对关系没有出现过；
步骤18、对待融合的目标进行图像处理，处理手段包括背景透明和边缘模糊，背景透明参数和边缘模糊参数有预设的阈值范围和步长；
步骤19、根据整体数据的目标左上角坐标范围分布、目标旋转角度分布，生成随机融合参数：目标左上角坐标和旋转角度，将目标图像根据融合参数与背景进行融合；
步骤110、计算融合图像的复制粘贴盲检测得分，包括特征点提取、特征点匹配、聚类和几何评估，将复制粘贴盲检测得分量纲化到0到100范围内，分数越高表示图片是通过复制粘贴形式生成的概率越低；
步骤111、在原始数据的复制粘贴盲检得分范围基础上，范围下限向下偏移用户输入的允许偏差，判断当前融合图像的复制粘贴盲检测得分是否满足要求，如果满足要求则执行步骤112；
步骤112、将当前融合的图像加入验证集中，然后返回步骤13；这里只考虑每个图片中存在一个目标的情况，如果对于多目标情况，则需要将融合后的图片再次加入背景池并做好记录。
步骤113、在步骤111中，如果当前融合图像的复制粘贴盲检测得分不满足要求，则判断是否已经遍历完图像处理调参范围，如果已经遍历完，则返回步骤15；
步骤114、在步骤113的判断中，如果未遍历完图像处理调参范围，则调整图像处理参数，然后返回步骤18。
11.根据权利要求8所述的一种面向RD时频数据的深度学习模型评测方法，其特征在于：所述多IOU阈值F1得分计算模块内部的具体工作流程为：
步骤21、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
步骤22、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的F1平均得分；
步骤23、在步骤22的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤24；
步骤24、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的F1平均得分；
步骤25、在步骤24的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤26；
步骤26、判断是否已遍历完所有待评测验证集图片，如果已遍历完，则计算类别j的各个图像的F1得分的平均值；
步骤27、在步骤26的判断中，如果未遍历完所有待评测验证集图片，则获取下一个图像g，之后执行步骤28；
步骤28、对于步骤27获取到的图像，筛选出其中和当前类别j的第k个标注框的IOU大于等于IOU阈值i的若干个预测框；
步骤29、按照置信度降序顺序对步骤28筛选出的预测框进行排序；
步骤210、根据IOU阈值i，构建混淆矩阵，计算正检数TP、漏检数FN、误检数FP；
步骤211、计算精度
计算召回率
步骤212、计算F1得分
计算完成后返回步骤26。
12.根据权利要求8所述的一种面向RD时频数据的深度学习模型评测方法，其特征在于：所述多IOU阈值mAP计算模块内部的具体工作流程为：
步骤31、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；
步骤32、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的mAP平均得分；
步骤33、在步骤32的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤34；
步骤34、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的AP平均得分；
步骤35、在步骤34的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤36；
步骤36、根据预设的置信度取值范围，在置信度阈值取值范围内进行等距取值，获得n个置信度阈值；
步骤37、筛选出评测图像中置信度大于等于第m个置信度阈值的若干个预测框；
步骤38、将若干个预测框分别与若干个标注框进行匹配；
步骤39、根据IOU阈值i，构建混淆矩阵，计算与第m个置信度阈值相对应的正检数TP、漏检数FN、误检数FP；
步骤310、计算与第m个置信度阈值相对应的精度
计算召回率
步骤311、判断是否已遍历完所有置信度阈值，如果未遍历完，则返回步骤37；
步骤312、在步骤311的判断中，如果已遍历完，则根据各个置信度下的precision和recall绘制P-R曲线获得分类j的AP，然后返回步骤34。
13.根据权利要求8所述的一种面向RD时频数据的深度学习模型评测方法，其特征在于：所述FLOPs计算模块内部的具体工作流程为：
步骤41、提示用户输入深度学习模型结构配置，并计算所有卷积层的FLOPs，每个卷积层FLOPs计算方式为：FLOPs＝[(Ci×kw×kh)+(Ci×kw×kh-1)+1]×C0×W×H，其中Ci×kw×kh表示一次卷积操作中的乘法运算量，(Ci×kw×kh-1)+1]表示一次卷积操作中的加法运算量；
步骤42、计算所有池化层的FLOPs，每个池化层FLOPs计算方式为FLOPs＝B×(H×W×C)×K2，其中B是批量大小，H×W是输出特征图的尺寸，C是输出通道数，K2是每个点乘法运算量；
步骤43、计算所有全连接层的FLOPs，每个全连接层FLOPs计算方式为FLOPs＝[I+(I-1)+1]＝(2×I)×O，其中第一个I表示乘法运算量，(I-1)表示加法运算量；
步骤44、将步骤41、42、43的FLOPs求和，得到模型整体的FLOPs，退出FLOPs计算模块工作流程。
14.根据权利要求8所述的一种面向RD时频数据的深度学习模型评测方法，其特征在于：所述评测指标集成计算模块的工作流程为：
步骤51、读取多IOU阈值F1得分计算结果；
步骤52、读取多IOU阈值mAP计算结果；
步骤53、读取FLOPs计算结果；
步骤54、根据多IOU阈值F1得分计算结果、多IOU阈值mAP计算结果、FLOPs计算结果的值域范围和特征，对三个结果进行同量纲化；
步骤55、根据预设的多IOU阈值F1得分计算结果权重、多IOU阈值mAP计算结果权重、FLOPs权重，计算三者的加权和，作为面向RD时频数据的深度学习模型评测指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110950679.0A CN113762359B (zh) | 2021-08-18 | 2021-08-18 | 一种面向rd时频数据的深度学习模型评测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110950679.0A CN113762359B (zh) | 2021-08-18 | 2021-08-18 | 一种面向rd时频数据的深度学习模型评测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762359A true CN113762359A (zh) | 2021-12-07 |
| CN113762359B CN113762359B (zh) | 2024-02-13 |
Family
ID=78790350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110950679.0A Active CN113762359B (zh) | 2021-08-18 | 2021-08-18 | 一种面向rd时频数据的深度学习模型评测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762359B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204629A (zh) * | 2016-08-17 | 2016-12-07 | 西安电子科技大学 | 天基雷达与红外数据融合在轨动目标检测方法 |
| US20180240032A1 (en) * | 2017-02-23 | 2018-08-23 | Edico Genome, Corp. | Bioinformatics systems, apparatuses, and methods executed on a quantum processing platform |
| CN108710893A (zh) * | 2018-04-04 | 2018-10-26 | 中山大学 | 一种基于特征融合的数字图像相机源模型分类方法 |
| CN108986132A (zh) * | 2018-07-04 | 2018-12-11 | 华南理工大学 | 一种使用全卷积神经网络生成证件照Trimap图的方法 |
| CN110363151A (zh) * | 2019-07-16 | 2019-10-22 | 中国人民解放军海军航空大学 | 基于双通道卷积神经网络虚警可控的雷达目标检测方法 |
| GB202007986D0 (en) * | 2019-07-26 | 2020-07-15 | Adobe Inc | Utilizing a neural network having a two-stream encoder architecture to generate composite digital images |
| CN111950610A (zh) * | 2020-07-29 | 2020-11-17 | 中国科学院大学 | 基于精确尺度匹配的弱小人体目标检测方法 |
| CN112598729A (zh) * | 2020-12-24 | 2021-04-02 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 融合激光与相机的目标物体识别与定位方法 |
| CN112700158A (zh) * | 2021-01-07 | 2021-04-23 | 中国科学院空天信息创新研究院 | 基于多维度模型的算法效能评估方法 |
-
2021
- 2021-08-18 CN CN202110950679.0A patent/CN113762359B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204629A (zh) * | 2016-08-17 | 2016-12-07 | 西安电子科技大学 | 天基雷达与红外数据融合在轨动目标检测方法 |
| US20180240032A1 (en) * | 2017-02-23 | 2018-08-23 | Edico Genome, Corp. | Bioinformatics systems, apparatuses, and methods executed on a quantum processing platform |
| CN108710893A (zh) * | 2018-04-04 | 2018-10-26 | 中山大学 | 一种基于特征融合的数字图像相机源模型分类方法 |
| CN108986132A (zh) * | 2018-07-04 | 2018-12-11 | 华南理工大学 | 一种使用全卷积神经网络生成证件照Trimap图的方法 |
| CN110363151A (zh) * | 2019-07-16 | 2019-10-22 | 中国人民解放军海军航空大学 | 基于双通道卷积神经网络虚警可控的雷达目标检测方法 |
| GB202007986D0 (en) * | 2019-07-26 | 2020-07-15 | Adobe Inc | Utilizing a neural network having a two-stream encoder architecture to generate composite digital images |
| CN111950610A (zh) * | 2020-07-29 | 2020-11-17 | 中国科学院大学 | 基于精确尺度匹配的弱小人体目标检测方法 |
| CN112598729A (zh) * | 2020-12-24 | 2021-04-02 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 融合激光与相机的目标物体识别与定位方法 |
| CN112700158A (zh) * | 2021-01-07 | 2021-04-23 | 中国科学院空天信息创新研究院 | 基于多维度模型的算法效能评估方法 |
Non-Patent Citations (3)
| Title |
|---|
| GOLNAZ GHIASI等: "Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation", 《ARXIV》, pages 1 - 13 * |
| 张伟等: "DS-YOLO:一种部署在无人机终端上的小目标实时检测算法", 《南京邮电大学学报(自然科学版)》, vol. 41, no. 01, pages 86 - 98 * |
| 施富凯: "基于生成对抗网络的红外图像数据扩充方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 05, pages 032 - 46 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762359B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275688B (zh) | 基于注意力机制的上下文特征融合筛选的小目标检测方法 | |
| CN110287927B (zh) | 基于深度多尺度和上下文学习的遥感影像目标检测方法 | |
| CN109948522B (zh) | 一种基于深度神经网络的x光片手骨成熟度判读方法 | |
| CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
| CN110119753B (zh) | 一种重构纹理识别岩性的方法 | |
| CN109117836A (zh) | 一种基于焦点损失函数的自然场景下文字检测定位方法和装置 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN114627383B (zh) | 一种基于度量学习的小样本缺陷检测方法 | |
| CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| CN113487600B (zh) | 一种特征增强尺度自适应感知船舶检测方法 | |
| CN111414951B (zh) | 用于图像的细分类方法及装置 | |
| CN113420619A (zh) | 一种遥感影像建筑物提取方法 | |
| CN111985325A (zh) | 特高压环境评价中的航拍小目标快速识别方法 | |
| CN110660049A (zh) | 一种基于深度学习的轮胎缺陷检测方法 | |
| CN114972759A (zh) | 基于分级轮廓代价函数的遥感图像语义分割方法 | |
| CN113221956A (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
| CN113627257A (zh) | 检测方法、检测系统、设备和存储介质 | |
| CN116433840A (zh) | 无砟轨道板扣件的特异性伤损图像合成方法及检测方法 | |
| CN116229458A (zh) | 一种基于yolov5的包裹体的检测方法 | |
| CN113762359A (zh) | 一种面向rd时频数据的深度学习模型评测系统及方法 | |
| CN115375925A (zh) | 一种基于相位信息和深度学习的水下声呐图像匹配算法 | |
| CN116758363A (zh) | 一种权重自适应与任务解耦的旋转目标检测器 | |
| CN114782983A (zh) | 基于改进特征金字塔和边界损失的道路场景行人检测方法 | |
| McFall et al. | Technical feasibility of creating a beach grain size database with citizen scientists | |
| CN111369508A (zh) | 一种金属三维点阵结构的缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |