CN112215355A - 神经网络模型优化系统及方法 - Google Patents
神经网络模型优化系统及方法 Download PDFInfo
- Publication number
- CN112215355A CN112215355A CN202011081375.7A CN202011081375A CN112215355A CN 112215355 A CN112215355 A CN 112215355A CN 202011081375 A CN202011081375 A CN 202011081375A CN 112215355 A CN112215355 A CN 112215355A
- Authority
- CN
- China
- Prior art keywords
- detection
- network model
- iou
- neural network
- analysis module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 70
- 238000005457 optimization Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 192
- 238000004458 analytical method Methods 0.000 claims abstract description 70
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 238000007689 inspection Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000019771 cognition Effects 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 description 14
- 238000012800 visualization Methods 0.000 description 10
- 238000013136 deep learning model Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000006260 foam Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 239000004753 textile Substances 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 206010064996 Ulcerative keratitis Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种神经网络模型优化系统，包括第一分析模块、第二分析模块及反馈模块。第一分析模块用于划分图像的检测结果。第二分析模块用于计算各检测框与对应的标注框的交并比IoU值，根据IoU值与对应的IoU阈值的大小判断正负例，并计算各个目标类别的AP值。反馈模块提供用于接受输入的可视化操作界面，并依据输入信息输出检测图像。通过第一分析模块使得用户可以快速了解各个类别目标的图像检测结果的好坏情况，以对网络模型的检测能力有基本的认知，通过第二分析模块对网络模型进行更深入的挖掘，用户可以参考反馈的结果分析导致网络模型检测结果好坏的可能原因，实现有依据、有方向的改进模型。另，本发明还公开一种神经网络模型优化方法。
Description
技术领域
本发明涉及深度学习目标检测技术领域，尤其涉及一种神经网络模型优化系统及方法。
背景技术
随着深度学习技术的快速发展，基于深度学习的目标检测方法也在多个领域中都得到了广泛应用，在垃圾检测领域更是凸显深度学习的优势。许多研究学者提出了许多经典算法和网络架构，或者基于前人的基础做出有效的改进措施，例如2015年的Shaoqin Ren等人所提出的经典Faster R-CNN网络。
中国专利申请CN108985328A公开了一种用于判别角膜溃烂的深度学习模型的构建方法及其系统，其对角膜测试图像进行处理，利用AlexNet和VGGNet来获取不同的深度学习模型，并在此之后，通过不断调整深度学习模型的各类参数来获取新的深度学习模型，在每次调整后，均以识别率更高的深度学习模型作为基础与下次调整后的进行比较，因此能够针对深度学习模型的各项参数分别进行优化。该专利申请通过训练过程的不断学习模型参数来获取最优网络，从而达到不错的分类效果。
类似于上述专利申请，现有技术中往往是针对模型的检测结果进行参数的修改，通过修改后的模型检测结果若有提高就完成任务，若修改后的检测效果不好则重新修改模型网络结构或参数，并不能进行细致的分析和得出修改方向。以垃圾检测为例子，大部分研究人员只顾着使用当下新兴的技术去提升网络模型的检测结果，虽然大部分情况下检测效果有所提升，但这并不是最好的改进方案。例如，知道残差网络能够提升网络模型的最终检测结果，便在没有充分考虑网络架构和待检测目标的特征的前提下，只顾增加残差结构块的数量，并没有合理的改进思路和方向。
发明内容
本发明的目的在于提供一种神经网络模型优化系统及方法，以给网络模型的改进思路和方向提供参考。
为实现上述目的，本发明提供了一种神经网络模型优化系统，包括第一分析模块、第二分析模块以及反馈模块。其中，所述第一分析模块用于依据神经网络模型输出的检测框预测类别与真实的目标类别的比对结果以及IoU数量划分图像的检测结果。所述第二分析模块用于计算各检测框与对应的标注框的交并比IoU值，根据所述IoU值与对应的IoU阈值的大小判断正负例，并计算各个目标类别的AP值。所述反馈模块提供一用于接受输入的可视化操作界面，并依据输入信息输出对应的检测图像。
与现有技术相比，本发明的神经网络模型优化系统通过第一分析模块划分网络模型的检测结果，使得用户可以快速了解各个类别目标的图像检测结果的好坏情况，能够在最快的时间内对网络模型的检测能力有基本的认知；通过第二分析模块以IoU值为基础对网络模型进行更深入的挖掘，进而使得用户可以参考反馈的结果分析导致网络模型检测结果好坏的可能原因，以实现有依据、有方向的模型改进策略。
具体地，所述检测结果包括检测成功、检测失败、重复检测以及误检；若所述预测类别与目标类别相同，所述检测结果则为检测成功；若无法检测出图像中的目标，所述检测结果则为检测失败；若所述IoU数量过大而导致对目标重复检测，所述检测结果则为重复检测；若所述预测类别与目标类别不同，所述检测结果则为误检。
具体地，所述神经网络模型优化系统还包括输出获取模块，所述输出获取模块用于获取神经网络模型输出的检测框坐标、预测类别以及该预测类别对应的置信度。所述神经网络模型采用非极大值抑制处理后选取置信度较大的几个类别作为该检测框的预测类别。
较佳地，所述第二分析模块获取神经网络模型的检测框坐标，将所述检测框坐标转换为宽度和高度，并依据所述检测框的宽度和高度大小设置对应的所述IoU阈值。
较佳地，所述第二分析模块对各个目标类别的AP值进行加权计算获得神经网络模型的得分，并输出所述得分。
具体地，所述输入信息包括检测结果、目标类别、所述IoU阈值之至少一者。
较佳地，所述第二分析模块包括第一IoU检索模块，所述第一IoU检索模块用于依据所述反馈模块接收到的目标类别和所述IoU阈值输出对应的检测图像以及该检测图像中该目标类别对应的IoU值。
较佳地，所述第二分析模块还包括第二IoU检索模块，所述第二IoU检索模块用于依据所述反馈模块接收到的所述IoU阈值输出对应的检测图像以及该检测图像中所有的IoU值。
为实现上述目的，本发明还提供了一种神经网络模型优化方法，包括：
提供一神经网络模型优化系统，所述神经网络模型优化系统包括第一分析模块、第二分析模块以及反馈模块。
通过所述第一分析模块依据神经网络模型输出的检测框预测类别与真实的目标类别的比对结果以及IoU数量划分图像的检测结果。
通过所述第二分析模块计算各检测框与对应的标注框的交并比IoU值，根据所述IoU值与对应的IoU阈值的大小判断正负例，并计算各个目标类别的AP值。
通过所述反馈模块提供一用于接受输入的可视化操作界面，并依据输入信息输出对应的检测图像。
与现有技术相比，本发明通过第一分析模块划分网络模型的检测结果，使得用户可以快速了解各个类别目标的图像检测结果的好坏情况，能够在最快的时间内对网络模型的检测能力有基本的认知；通过第二分析模块以IoU值为基础对网络模型进行更深入的挖掘，进而使得用户可以参考反馈的结果分析导致网络模型检测结果好坏的可能原因，以实现有依据、有方向的模型改进策略。
具体地，所述检测结果包括检测成功、检测失败、重复检测以及误检；若所述预测类别与目标类别相同，所述检测结果则为检测成功；若无法检测出图像中的目标，所述检测结果则为检测失败；若所述IoU数量过大而导致对目标重复检测，所述检测结果则为重复检测；若所述预测类别与目标类别不同，所述检测结果则为误检。
具体地，所述神经网络模型优化系统还包括输出获取模块，通过所述输出获取模块获取神经网络模型输出的检测框坐标、预测类别以及该预测类别对应的置信度。所述神经网络模型采用非极大值抑制处理后选取置信度较大的几个类别作为该检测框的预测类别。
较佳地，通过所述第二分析模块获取神经网络模型的检测框坐标，将所述检测框坐标转换为宽度和高度，并依据所述检测框的宽度和高度大小设置对应的所述IoU阈值。
较佳地，通过所述第二分析模块对各个目标类别的AP值进行加权计算获得神经网络模型的得分，并输出所述得分。
具体地，所述输入信息包括检测结果、目标类别、所述IoU阈值之至少一者。
较佳地，所述第二分析模块包括第一IoU检索模块，通过所述第一IoU检索模块依据所述反馈模块接收到的目标类别和所述IoU阈值输出对应的检测图像以及该检测图像中该目标类别对应的IoU值。
较佳地，所述第二分析模块还包括第二IoU检索模块，通过所述第二IoU检索模块依据所述反馈模块接收到的所述IoU阈值输出对应的检测图像以及该检测图像中所有的IoU值。
附图说明
图1为本发明神经网络模型优化系统的组成框图。
图2为本发明反馈模块提供的可视化操作界面的示意图。
具体实施方式
为了详细说明本发明的技术内容、构造特征，以下结合具体实施方式并配合附图作进一步说明。
本发明涉及神经网络模型优化系统及方法，其基于网络模型的检测结果数据来反馈网络模型存在的不足之处，用户可以参考反馈的数据获得网络模型的改进思路和改进方向，从而有助于获得性能更优良的神经网络模型。以下，将参考附图详细描述本发明。
图1示出了本发明神经网络模型优化系统100一实施例的组成结构框图，如图1所示，神经网络模型优化系统100包括第一分析模块10、第二分析模块20以及反馈模块30。其中，第一分析模块10用于依据神经网络模型输出的检测框预测类别与真实的目标类别的比对结果以及IoU数量划分图像的检测结果。第二分析模块20用于计算各检测框与对应的标注框的交并比IoU值(Intersection Over Union)，根据IoU值与对应的IoU阈值的大小判断正负例，并计算各个目标类别的AP值。同时，第二分析模块20保存IoU值、AP值、目标正负例等信息。反馈模块30提供一用于接受输入的可视化操作界面31，并依据输入信息输出对应的检测图像(如图2所示)。
其中，图像的检测结果包括检测成功(MATCH)、检测失败(NO MATCH FOUND)、重复检测(REPEATED MATCH)以及误检(INSUFFICIENT OVERLAP)。具体的，若预测类别与目标类别相同，检测结果则为检测成功。若无法检测出图像中的目标，检测结果则为检测失败，该检测结果可以是由于摄像头存在摄像故障没有正常拍摄到图像或者网络模型没能区分检测图像中的前景部分和背景部分所导致的。若算法中预设的IoU数量阈值过大，导致对待检测目标的IoU数量过多(神经网络模型输出较多的检测框)而导致重复检测浪费计算资源，检测结果则为重复检测。若预测类别与目标类别不同，检测结果则为误检。其中，目标类别可以通过人为手动输入，也可以是神经网络模型的训练集数据中便带有目标类别信息。
在该实施例中，神经网络模型优化系统100还包括输出获取模块40和可视化模块50(如图2所示)。其中，该输出获取模块40用于获取神经网络模型输出的检测框坐标、预测类别以及该预测类别对应的置信度。具体而言，神经网络模型结合YOLOv4算法的特征提取网络和待检测图像进行目标的检测框的输出，其采用非极大值抑制处理(NMS)后，对于每个检测框，选取置信度较大的几个类别作为该检测框的预测类别，并将各个检测框的预测类别、该预测类别对应的置信度值以及检测框坐标进行打包，并输出成JSON文件。在一些实施例中，神经网络模型还基于预测类别及对应的置信度，将小于置信度阈值的值归0以排除预测结果不好的检测框，然后再分类别地对置信度值采用非极大值抑制处理，重新确定目标的最大概率类别，以此来进一步保证检测结果的可靠性。
附带一提的是，具体实施中可以通过下列步骤进行神经网络模型的训练，以获取最优的神经网络模型，再通过本发明的网络模型优化系统100对该最优的神经网络模型的性能进行分析，以给用户改进神经网络模型提供参考。步骤(1)获取待分类目标的目标图像数据集，目标图像数据集包括待分类目标深度图像和待分类目标多光谱图像；步骤(2)将待分类目标深度图像和待分类目标多光谱图像作图像配准处理；步骤(3)对配准后目标深度图像和配准后目标多光谱图像作分类标注处理；步骤(4)将标注后目标深度图像和标注后目标多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，同时记录训练的loss函数值和精确度，并生成最优神经网络模型。
输出获取模块40输出的JSON文件会被加载到可视化模块50，通过可视化模块50对检测框的信息(预测类别、置信度值、检测框坐标等)进行可视化，以便于算法技术人员查看。此外，可视化模块50将检测框的坐标和预测类别打包成xml格式保存，以备第二分析模块20调用。
在一实施例中，第二分析模块20结合JSON文件和xml文件，将检测框的坐标转换为宽度和高度，依据检测框的宽度和高度尺寸大小设置对应的IoU阈值。与常用固定IoU阈值和针对目标类别固定IoU阈值不同，第二分析模块20对检测框中预测到的不同大小的检测目标使用不同IoU阈值，可降低固定IoU阈值和针对目标类别固定IoU阈值这两种常见方法对网络模型检测精度的影响，可以提升模型的学习能力。
具体的，在该实施例中，依据表一确定各个检测框对应的IoU阈值。
| IoU阈值 | m为标注矩形框的较短边(宽和高中较小的值) |
| IoUt＝0.2 | m<0 |
| IoUt＝m/200 | 40≦m<120 |
| IoUt＝m/1500+0.52 | 120≦m<420 |
| IoUt＝0.8 | m≧420 |
表一
即是，当m小于0时，IoU阈值为0.2。当m在区间[40,120)时，IoU阈值为m/200。当m在区间[120,420)时，IoU阈值为m/1500+0.52。当m大于420时，IoU阈值为0.8。
第二分析模块20通过IoU值与IoU阈值的比较结果判断正例(T)和负例(F)，当IoU值超过对应的IoU阈值时则认为匹配成功，判断为正例；若IoU值低于对应的IoU阈值，则判断为负例。接着，结合目标类别就可以得到TP(网络模型预测正确的正样本)、TF(网络模型预测正确的负样本)、FP(网络模型预测错误的正样本)、FN(网络模型预测错误的负样本)。接着，再根据TP、TF、FP、FN计算出网络模型的Recall(召回率)和Precision(精确率)。然后，根据Recall(召回率)和Precision(精确率)制作出P-R曲线，其中横轴为召回率，纵轴为精确率，P-R曲线与坐标轴围城的面积即为平均精度AP(Average Precision)(现有技术)。
在该实施例中，第二分析模块20对各个目标类别的AP值进行加权计算获得神经网络模型的得分，并输出该得分，以供用户对网络模型的性能进行评估。其是结合企业对不同目标类别的容忍度来计算得分，而不是使用通用求和平均的方式进行计算。具体计算方式如下：
其中，score为网络模型得分，i为目标类别下标，c为目标类别数量，ki为第i个目标类别的权重，APi为第i个目标类别的AP值。
输入信息包括检测结果、目标类别、IoU阈值之至少一者。例如，用户可在可视化操作界面31中输入待查找的目标的类别名，同时输入待查找目标的IoU阈值范围，最终第二分析模块20可借由反馈模块30输出属于该IoU阈值范围内的可视化检测图像，便于用户观察IOU阈值对网络模型检测结果的影响程度。再例如，用户可在可视化操作界面31中输入某一检测结果(检测成功、检测失败、重复检测以及误检)，最终第一分析模块10可借由反馈模块30输出对应的可视化检测图像。再例如，用户可在可视化操作界面31中输入某一类别信息以及检测结果，最终神经网络模型优化系统100可输出对应的目标图像，用户可据此分析网络模型对该目标类别的检测能力。其中，目标类别可以为例如木棍(wood)、纺织物(textiles)、泡沫(foam)、塑料(plastic)、混泥土(Concrete)、玻璃(glass)、金属(metal)等。
在查找IoU阈值范围内的同类别目标图像时，反馈模块30将每一种类别目标的IoU阈值从高到低依次排序，同时也进行IoU阈值范围内的目标图像的筛选。反馈模块30借由排序算法可以实现用户对某一类别目标的快速检索和快速可视化。
如图1所示，第二分析模块20包括第一IoU检索模块21和第二IoU检索模块22，第一IoU检索模块21用于依据反馈模块30接收到的目标类别和IoU阈值输出对应的检测图像以及该检测图像中该目标类别对应的IoU值，以便于用户对某一类别目标的IOU进行针对性的分析。第二IoU检索模块22用于依据反馈模块30接收到IoU阈值输出对应的检测图像以及该检测图像中所有的IoU值，可以更便捷地浏览检测图像中的所有类别目标信息，继而对图像进行全面分析。
在一些实施例中，第一分析模块10还记录测试loss函数值并输出，以供用户结合loss函数值规划针对loss计算的改进方向。此外，第一分析模块10还通过可视化模块50对预测框坐标和真实的目标坐标进行可视化，以供算法技术人员对比两者的区别，进而便于初步了解网络模型的检测能力。
综上，本发明的神经网络模型优化系统100通过第一分析模块10划分网络模型的检测结果，使得用户可以快速了解各个类别目标的图像检测结果的好坏情况，能够在最快的时间内对网络模型的检测能力有基本的认知；通过第二分析模块20以IoU值为基础对网络模型进行更深入的挖掘，进而使得用户可以参考反馈的结果(IOU值、AP、模型得分、LOSS等)分析导致网络模型检测结果好坏的可能原因(例如，数据集中某一类别目标样本过少、网络模型参数初始化问题、Loss函数优化问题、网络模型架构选择问题等)，以实现有依据、有方向的模型改进策略。例如，可以根据各类别目标每个IoU阈值范围内，这一类目标的检测识别正确率的大小来评估该网络模型对这一类别目标的检测能力，以制定对应的模型改善方案。
本发明还提供一种神经网络模型优化方法，具体包括：
提供一神经网络模型优化系统100，所述神经网络模型优化系统100包括第一分析模块10、第二分析模块20以及反馈模块30(如图1所示)。
通过所述第一分析模块10依据神经网络模型输出的检测框预测类别与真实的目标类别的比对结果以及IoU数量划分图像的检测结果。其中，图像的检测结果包括检测成功(MATCH)、检测失败(NO MATCH FOUND)、重复检测(REPEATED MATCH)以及误检(INSUFFICIENT OVERLAP)。具体的，若预测类别与目标类别相同，检测结果则为检测成功。若无法检测出图像中的目标，检测结果则为检测失败，该检测结果可以是由于摄像头存在摄像故障没有正常拍摄到图像或者网络模型没能区分检测图像中的前景部分和背景部分所导致的。若算法中预设的IoU数量阈值过大，导致对待检测目标的IoU数量过多(神经网络模型输出较多的检测框)而导致重复检测浪费计算资源，检测结果则为重复检测。若预测类别与目标类别不同，检测结果则为误检。其中，目标类别可以通过人为手动输入，也可以是神经网络模型的训练集数据中便带有目标类别信息。
通过所述第二分析模块20计算各检测框与对应的标注框的交并比IoU值，根据所述IoU值与对应的IoU阈值的大小判断正负例，并计算各个目标类别的AP值。同时，保存IoU值、AP值、目标正负例等信息。
通过所述反馈模块30提供一用于接受输入的可视化操作界面31，并依据输入信息输出对应的检测图像。其中，输入信息包括检测结果、目标类别、IoU阈值之至少一者(如图2所示)。
在该实施例中，神经网络模型优化系统100还包括输出获取模块40和可视化模块50(如图1所示)。其中，通过该输出获取模块40获取神经网络模型输出的检测框坐标、预测类别以及该预测类别对应的置信度。通过可视化模块50对检测框的信息(预测类别、置信度值、检测框坐标等)进行可视化，以便于算法技术人员查看。此外，还通过可视化模块50将检测框的坐标和预测类别打包成xml格式保存，以备第二分析模块20调用。
在一实施例中，通过第二分析模块20将检测框的坐标转换为宽度和高度，并依据检测框的宽度和高度尺寸大小设置对应的IoU阈值。与常用固定IoU阈值和针对目标类别固定IoU阈值不同，第二分析模块20对检测框中预测到的不同大小的检测目标使用不同IoU阈值，可降低固定IoU阈值和针对目标类别固定IoU阈值这两种常见方法对网络模型检测精度的影响，可以提升模型的学习能力。
在该实施例中，还通过第二分析模块20对各个目标类别的AP值进行加权计算获得神经网络模型的得分，并输出该得分，以供用户对网络模型的性能进行评估。
在查找IoU阈值范围内的同类别目标图像时，反馈模块30是将每一种类别目标的IoU阈值从高到低依次排序，同时也进行IoU阈值范围内的目标图像的筛选。反馈模块30借由排序算法可以实现用户对某一类别目标的快速检索和快速可视化。
在该实施例中，第二分析模块20包括第一IoU检索模块21和第二IoU检索模块22(如图1所示)，通过第一IoU检索模块21依据反馈模块30接收到的目标类别和IoU阈值输出对应的检测图像以及该检测图像中该目标类别对应的IoU值，以便于用户对某一类别目标的IOU进行针对性的分析。通过第二IoU检索模块22依据反馈模块30接收到IoU阈值输出对应的检测图像以及该检测图像中所有的IoU值，可以更便捷地浏览检测图像中的所有类别目标信息，继而对图像进行全面分析。
在一些实施例中，还通过第一分析模块10记录测试loss函数值并输出，以供用户结合loss函数值规划针对loss计算的改进方向。此外，还通过第一分析模块10对预测框坐标和真实的目标坐标进行可视化，以供用户对比两者的区别，进而便于初步了解网络模型的检测能力。
综上，本发明通过第一分析模块10划分网络模型的检测结果，使得用户可以快速了解各个类别目标的图像检测结果的好坏情况，能够在最快的时间内对网络模型的检测能力有基本的认知；通过第二分析模块20以IoU值为基础对网络模型进行更深入的挖掘，进而使得用户可以参考反馈的结果(IOU值、AP、模型得分、LOSS等)分析导致网络模型检测结果好坏的可能原因(例如，数据集中某一类别目标样本过少、网络模型参数初始化问题、Loss函数优化问题、网络模型架构选择问题等)，以实现有依据、有方向的模型改进策略。例如，可以根据各类别目标每个IoU阈值范围内，这一类目标的检测识别正确率的大小来评估该网络模型对这一类别目标的检测能力，以制定对应的模型改善方案。
以上结合最佳实施例对本发明进行了描述，但本发明并不局限于以上揭示的实施例，而应当涵盖各种根据本发明的本质进行的修改、等效组合。
Claims (10)
1.一种神经网络模型优化系统，其特征在于，包括：
第一分析模块，用于依据神经网络模型输出的检测框预测类别与真实的目标类别的比对结果以及IoU数量划分图像的检测结果；
第二分析模块，用于计算各检测框与对应的标注框的交并比IoU值，根据所述IoU值与对应的IoU阈值的大小判断正负例，并计算各个目标类别的AP值；以及
反馈模块，提供一用于接受输入的可视化操作界面，并依据输入信息输出对应的检测图像。
2.如权利要求1所述的神经网络模型优化系统，其特征在于，所述检测结果包括检测成功、检测失败、重复检测以及误检；若所述预测类别与目标类别相同，所述检测结果则为检测成功；若无法检测出图像中的目标，所述检测结果则为检测失败；若所述IoU数量过大而导致对目标重复检测，所述检测结果则为重复检测；若所述预测类别与目标类别不同，所述检测结果则为误检。
3.如权利要求1所述的神经网络模型优化系统，其特征在于，还包括输出获取模块，所述输出获取模块用于获取神经网络模型输出的检测框坐标、预测类别以及该预测类别对应的置信度；所述神经网络模型采用非极大值抑制处理后选取置信度较大的几个类别作为该检测框的预测类别。
4.如权利要求1所述的神经网络模型优化系统，其特征在于，所述第二分析模块获取神经网络模型的检测框坐标，将所述检测框坐标转换为宽度和高度，并依据所述检测框的宽度和高度大小设置对应的所述IoU阈值。
5.如权利要求1所述的神经网络模型优化系统，其特征在于，所述第二分析模块对各个目标类别的AP值进行加权计算获得神经网络模型的得分，并输出所述得分。
6.如权利要求1至5任一项所述的神经网络模型优化系统，其特征在于，所述输入信息包括检测结果、目标类别、所述IoU阈值之至少一者。
7.如权利要求6所述的神经网络模型优化系统，其特征在于，所述第二分析模块包括第一IoU检索模块，所述第一IoU检索模块用于依据所述反馈模块接收到的目标类别和所述IoU阈值输出对应的检测图像以及该检测图像中该目标类别对应的IoU值。
8.如权利要求7所述的神经网络模型优化系统，其特征在于，所述第二分析模块还包括第二IoU检索模块，所述第二IoU检索模块用于依据所述反馈模块接收到的所述IoU阈值输出对应的检测图像以及该检测图像中所有的IoU值。
9.一种神经网络模型优化方法，其特征在于，包括：
提供一神经网络模型优化系统，所述神经网络模型优化系统包括第一分析模块、第二分析模块以及反馈模块；
通过所述第一分析模块依据神经网络模型输出的检测框预测类别与真实的目标类别的比对结果以及IoU数量划分图像的检测结果；
通过所述第二分析模块计算各检测框与对应的标注框的交并比IoU值，根据所述IoU值与对应的IoU阈值的大小判断正负例，并计算各个目标类别的AP值；
通过所述反馈模块提供一用于接受输入的可视化操作界面，并依据输入信息输出对应的检测图像。
10.如权利要求9所述的神经网络模型优化方法，其特征在于，所述第二分析模块获取神经网络模型的检测框坐标，将所述检测框坐标转换为宽度和高度，并依据所述检测框的宽度和高度大小设置对应的所述IoU阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011081375.7A CN112215355A (zh) | 2020-10-09 | 2020-10-09 | 神经网络模型优化系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011081375.7A CN112215355A (zh) | 2020-10-09 | 2020-10-09 | 神经网络模型优化系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215355A true CN112215355A (zh) | 2021-01-12 |
Family
ID=74054375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011081375.7A Pending CN112215355A (zh) | 2020-10-09 | 2020-10-09 | 神经网络模型优化系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215355A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221970A (zh) * | 2021-04-25 | 2021-08-06 | 武汉工程大学 | 基于深度卷积神经网络的提升式多标签语义分割方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704925A (zh) * | 2017-10-16 | 2018-02-16 | 清华大学 | 深度神经网络训练过程的可视分析系统及方法 |
| CN109344957A (zh) * | 2018-08-01 | 2019-02-15 | 浙江工业大学 | 基于差异比较的卷积神经网络可视分析方法 |
| KR101953752B1 (ko) * | 2018-05-31 | 2019-06-17 | 주식회사 뷰노 | 심층 신경망을 이용하여 영상의 분류 및 국소화를 수행하는 방법 및 이를 이용한 장치 |
| US20200104395A1 (en) * | 2018-10-02 | 2020-04-02 | Adobe Inc. | Performing automatic segment expansion of user embeddings using multiple user embedding representation types |
| CN111159279A (zh) * | 2019-12-31 | 2020-05-15 | 联想(北京)有限公司 | 一种模型可视化方法、设备及存储介质 |
| CN111540006A (zh) * | 2020-04-26 | 2020-08-14 | 河南大学 | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 |
-
2020
- 2020-10-09 CN CN202011081375.7A patent/CN112215355A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704925A (zh) * | 2017-10-16 | 2018-02-16 | 清华大学 | 深度神经网络训练过程的可视分析系统及方法 |
| KR101953752B1 (ko) * | 2018-05-31 | 2019-06-17 | 주식회사 뷰노 | 심층 신경망을 이용하여 영상의 분류 및 국소화를 수행하는 방법 및 이를 이용한 장치 |
| CN109344957A (zh) * | 2018-08-01 | 2019-02-15 | 浙江工业大学 | 基于差异比较的卷积神经网络可视分析方法 |
| US20200104395A1 (en) * | 2018-10-02 | 2020-04-02 | Adobe Inc. | Performing automatic segment expansion of user embeddings using multiple user embedding representation types |
| CN111159279A (zh) * | 2019-12-31 | 2020-05-15 | 联想(北京)有限公司 | 一种模型可视化方法、设备及存储介质 |
| CN111540006A (zh) * | 2020-04-26 | 2020-08-14 | 河南大学 | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| HONG-WEI ZHANG等: "Yarn-dyed Fabric Defect Detection with YOLOV2 Based on Deep Convolution Neural Networks", 2018 IEEE 7TH DATA DRIVEN CONTROL AND LEARNING SYSTEMS CONFERENCE(DDCLS), 1 November 2018 (2018-11-01), pages 170 - 174 * |
| 卢淑怡;张波;张旱文;俞豪;高浩然;刘波;: "一种空气污染物浓度预测深度学习平台", 上海师范大学学报(自然科学版), no. 01, 15 February 2020 (2020-02-15), pages 102 - 108 * |
| 周云才;张红民;: "利用多线程实现神经网络算法的可视化", 长江大学学报(自然科学版), no. 10, 28 October 2005 (2005-10-28), pages 320 - 322 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221970A (zh) * | 2021-04-25 | 2021-08-06 | 武汉工程大学 | 基于深度卷积神经网络的提升式多标签语义分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427807B (zh) | 一种时序事件动作检测方法 | |
| CN111181939B (zh) | 一种基于集成学习的网络入侵检测方法及装置 | |
| EP2181398B1 (en) | Multiple-instance pruning for learning efficient cascade detectors | |
| US20090018985A1 (en) | Histogram-based classifiers having variable bin sizes | |
| EP3151160B1 (en) | Visual attention detector and visual attention detection method | |
| CN103474065A (zh) | 基于自动分类技术的语音意图判定识别方法 | |
| CN111126278A (zh) | 针对少类别场景的目标检测模型优化与加速的方法 | |
| CN110781785A (zh) | 基于Faster RCNN算法改进的交通场景下行人检测方法 | |
| CN112257799A (zh) | 一种生活垃圾目标检测的方法、系统及装置 | |
| CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
| CN115409797A (zh) | 一种基于改进深度学习算法的pcb缺陷图像检测方法 | |
| JPWO2015146113A1 (ja) | 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム | |
| CN116310718A (zh) | 一种基于YOLOv5模型的害虫目标检测方法、系统及设备 | |
| CN112215355A (zh) | 神经网络模型优化系统及方法 | |
| KR20130067612A (ko) | 특징 벡터 분류기 및 이를 이용하는 인식 장치 | |
| CN113838099A (zh) | 一种基于孪生神经网络的单目标跟踪方法 | |
| CN114037001A (zh) | 基于wgan-gp-c和度量学习的机械泵小样本故障诊断方法 | |
| CN117152094A (zh) | 基于计算机视觉的钢板表面缺陷分析方法、装置及系统 | |
| CN115439700B (zh) | 一种图像处理方法、装置和机器可读存储介质 | |
| CN110988803A (zh) | 一种高置信度动态调整的雷达辐射源个体识别系统 | |
| JP2003196662A (ja) | カット検出装置およびそのプログラム | |
| CN111046861A (zh) | 识别红外影像是否存在样本设备的方法、构建电力设备识别模型的方法及应用 | |
| WO2023024417A1 (zh) | 人脸图像的质量筛选方法、装置、设备及存储介质 | |
| CN115546186B (zh) | 基于YOLO v4的农业病虫害检测方法及装置 | |
| CN113343964B (zh) | 一种平衡的水下声学图像目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |