CN115829005B - 面向卷积神经分类网络的缺陷自动诊断与修复方法及装置 - Google Patents

面向卷积神经分类网络的缺陷自动诊断与修复方法及装置 Download PDF

Info

Publication number
CN115829005B
CN115829005B CN202211580737.6A CN202211580737A CN115829005B CN 115829005 B CN115829005 B CN 115829005B CN 202211580737 A CN202211580737 A CN 202211580737A CN 115829005 B CN115829005 B CN 115829005B
Authority
CN
China
Prior art keywords
convolutional neural
importance
classification
layer
classification network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211580737.6A
Other languages
English (en)
Other versions
CN115829005A (zh
Inventor
程乐超
冯尊磊
胡佳聪
胡凯文
李睿杰
宋明黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211580737.6A priority Critical patent/CN115829005B/zh
Publication of CN115829005A publication Critical patent/CN115829005A/zh
Application granted granted Critical
Publication of CN115829005B publication Critical patent/CN115829005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明面向卷积神经分类网络的缺陷自动诊断与修复方法及装置，包括下列步骤：1）卷积神经分类网络预测重要性归一化；2）激活图重要性得分计算；3）正常样本激活图规律统计；4）分类错误样本激活图筛选；5）卷积神经分类网络自动化缺陷修复。本发明设计的是一种面向卷积神经分类网络的全自动缺陷诊断与修复方法，用于已经预训练的卷积神经分类网络模型缺陷检测与自动修复，能够有效提升深度卷积神经分类网络模型的分类性能。

Description

面向卷积神经分类网络的缺陷自动诊断与修复方法及装置
技术领域
本发明涉及模型缺陷检测与修复领域，特别涉及面向卷积神经分类网络的缺陷自动诊断与修复方法及装置。
背景技术
近年来，深度卷积神经分类网络(Convolutional Neural Network,CNN)在图像分类领域取得了里程碑式的进展，诸如在人脸识别、医学图像识别、遥感图像分类等图像识别应用领域均取得了许多重大突破。但是随着深度学习技术的快速发展，深度卷积神经分类网络的‘黑盒’特性带来的不足也越发明显，人类专家因为无法理解模型内部特征关联计算关系，无法在模型出错或性能较低时进行缺陷的诊断与修复，严重限制着深度卷积神经分类网络的真实场景应用落地与推广。
然而，深度卷积神经分类网络‘黑盒’特性，带来深度卷积神经分类网络性能优化的难题。目前已有的模型优化方向主要面向传统机器学习模型，而面向深度卷积神经网络的模型优化方法相对较少。面向传统机器学习模型的缺陷检测与修复方法主要基于传统机器学习方法的透明逻辑性，可以进行单步骤的缺陷检测，获得模型中的缺陷，通过专家的介入设计对应的优化策略进行模型的缺陷修复，从而实现模型性能的提升。然而已有的针对传统机器学习模型的方法无法诊断、修复‘黑盒’深度模型的缺陷。
目前，面向深度卷积神经分类网络的自动化缺陷检测与优化算法仍处于空白阶段，已有主要方法专注于深度卷积神经分类网络的可解释方法，然后基于可解释的结果，通过人为的设计对应的策略，来实现深度分类模型的性能提升与优化。已有的深度模型可解释方法主要包含两类：深度特征的可视化方法与深度模型预测结果分析方法。深度特征的可视化方法通过对深度特征图求解类别相关响应图，并叠加到原始图片来显示图像特征对预测结果的重要性；深度模型预测结果分析方法通过线性可理解模块来拟合深度模型模块预测、掩码独立性分析等技术，来实现预测结果与部分特征的相关性。然后上述面向深度模型的方法仅能实现相关特征的可视化与关联性分析，需要人类专家的交互介入来诊断缺陷，无法自动诊断缺陷，更不能对诊断出的缺陷进行自动化修复。
总结而言，当前针对‘黑盒’深度模型缺陷的诊断与修复一体化工作仍处于空白阶段。卷积神经分类网络的‘黑盒’特性严重阻碍着模型研发人员对深度模型计算、预测结果的深入理解，本发明设计的一种面向卷积神经分类网络的缺陷自动诊断与修复技术，提供了统一的便捷诊断优化工具，能够大幅提高模型研发的效率。
发明内容
本发明的目的在于提供面向卷积神经分类网络的缺陷自动诊断与修复方法及装置，以克服现有技术中的不足。
为实现上述目的，本发明提供如下技术方案：
本申请公开了一种面向卷积神经分类网络的缺陷自动诊断与修复方法，具体包括如下步骤：
S1、对于深度卷积神经分类网络模型，计算第l层中单个卷积滤波器的隐层贡献特征图集和输出激活图；计算第l层归一化的预测重要性；
S2、判断第l层归一化的预测重要性与阈值之间的大小关系；根据大小关系获取重要性得分；
S3、将同一类别的训练集通过深度卷积神经分类网络模型，获得分类错误与低置信度的样本和分类正确样本；计算分类错误与低置信度的样本的累积重要性得分与分类正确样本的累积重要性得分之间的差异性，筛选出第l层不应该有重要性贡献的输出激活图的集合；
S4、获取深度卷积神经分类网络模型中后三层的不应该有重要性贡献的输出激活图的集合，结合损失函数对深度卷积神经分类网络模型进行再训练。
作为优选，步骤S1具体包括如下子步骤：
S11、通过第l层的输入特征和卷积滤波器的卷积核，计算单个卷积滤波器的隐层贡献特征图集，所述隐层贡献特征图集由若干个隐层贡献特征图组成；
S12、通过隐层贡献特征图集计算第l层的输出激活图；
S13、计算隐层贡献特征图中所有值的加和值；通过隐层贡献特征图中所有值的加和值计算第l层归一化的预测重要性。
作为优选，步骤S2具体包括如下子步骤：
S21、若第l层归一化的预测重要性大于等于阈值，则重要性得分为1；反之重要性得分为0。
作为优选，所述阈值的取值为大于0小于等于1。
作为优选，步骤S3具体包括如下子步骤：
S31、统计各个分类错误与低置信度的样本在第l层第n个输出激活图对该类别的重要性得分，累积加和得到分类错误与低置信度的样本的累积重要性得分；
S32、统计各个分类正确样本在第l层第n个输出激活图对该类别的重要性得分，累积加和得到分类正确样本的累积重要性得分；
S33、计算分类错误与低置信度的样本的累积重要性得分与分类正确样本的累积重要性得分之间的差异性，筛选出第l层不应该有重要性贡献的输出激活图的集合。
本发明还公开了一种面向卷积神经分类网络的缺陷自动诊断与修复装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于上述的一种面向卷积神经分类网络的缺陷自动诊断与修复方法。
本发明还一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述的一种面向卷积神经分类网络的缺陷自动诊断与修复方法。
本发明的有益效果：
1、本发明可以有效获得分类模型相关的模型部件，对于模型推断过程的可解释有很大的帮助；
2、本发明针对已训练好的分类模型进行缺陷检测与修复，不需要从头训练模型，可以大幅节省模型训练时间损耗；
3、本发明提出了模型缺陷的修复方法，可以有效在已训练模型上进行性能提升，解决了深度模型性能受限的问题。
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
图1是本发明一种面向卷积神经分类网络的缺陷自动诊断与修复方法的流程示意图；
图2是本发明一种面向卷积神经分类网络的缺陷自动诊断与修复装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
参阅图1，本发明一种面向卷积神经分类网络的缺陷自动诊断与修复方法：
1)深度卷积神经网络预训练
对于任意深度卷积神经网络模型，诸如VGG-Net、ResNet、DenseNet等深度模型，在给出全量标注数据的情况下，利用模型原有损失函数Lossorig实现模型的最优化训练，获得预训练的深度卷积神经分类网络模型MCNN；
2)卷积神经分类网络预测重要性归一化
对于经过预训练收敛到最优的深度卷积神经分类网络模型MCNN，第l层的输入特征可以表示为
Figure BDA0003991002600000051
该层中对应的卷积滤波器表示为/>
Figure BDA0003991002600000052
每个卷积滤波器/>
Figure BDA0003991002600000053
包含N个卷积核，卷积核的数量根据不同网络架构具体数量不同，每个卷积滤波器/>
Figure BDA0003991002600000054
表示如下/>
Figure BDA0003991002600000055
对于单个卷积滤波器/>
Figure BDA0003991002600000056
隐层贡献特征图集
Figure BDA0003991002600000057
计算方式如下：/>
Figure BDA0003991002600000058
其中，/>
Figure BDA0003991002600000059
表示部分卷积操作；在获得隐层贡献特征图集/>
Figure BDA00039910026000000510
的基础上，第l层的输出特征图可以表示为/>
Figure BDA00039910026000000511
其中bk为第k个通道的偏置，以/>
Figure BDA00039910026000000512
为输入，l+1层的激活图/>
Figure BDA00039910026000000513
在经过激活函数f后可以获得
Figure BDA00039910026000000514
上述方式可以获得任意层的激活图；然后，采用隐层贡献特征图/>
Figure BDA00039910026000000515
中所有值的加和值/>
Figure BDA00039910026000000516
来表示该特征图/>
Figure BDA00039910026000000517
对输出/>
Figure BDA00039910026000000518
的重要性，其中∑+()表示贡献特征图中的矩阵数值加和操作；接着，第l层归一化的预测重要性/>
Figure BDA00039910026000000519
可以通过如下公式计算得到/>
Figure BDA00039910026000000520
归一化后的重要性/>
Figure BDA00039910026000000521
可以更公平的衡量所有卷积核重要性，其中min()与max()为集合中求取最小值与最大值操作，N为第l层卷积核的数量，ε表示一个极小值，通常设置为1-10，用来避免除零操作。
3)激活图重要性得分计算
对于步骤1)获得的归一化预测重要性
Figure BDA0003991002600000061
通过阈值α来过滤掉贡献值，获得离散的重要性得分/>
Figure BDA0003991002600000062
计算规则如下：当/>
Figure BDA0003991002600000063
时，重要性得分/>
Figure BDA0003991002600000064
当/>
Figure BDA0003991002600000065
时，重要性得分/>
Figure BDA0003991002600000066
其中阈值α的设置范围在0到1之间α∈(0,1]，本发明使用的α一般设置在0.1到0.2之间。
4)正常样本激活图规律统计
通过步骤1)至步骤2)可以有效的获得每个样本在第l层中N个卷积核
Figure BDA0003991002600000067
对输出结果的重要性得分/>
Figure BDA0003991002600000068
本发明的核心步骤找到深度分类模型中正确分类样本的分类正确的规律，然后基于正确分类样本的规律来提升分类模型对分错样本的识别能力；通过前期实验发现同一类别的不同分类正确样本通常在模型同一层的卷积核有相同的重要性得分，因此本发明首先统计每个类别中在模型每一层中卷积核重要性分布规律，对于W个类别分类的卷积神经网络其中第w个子类别，选择K个分类正确的样本，多个样本规律统计更加准确，通过累积加和的方式，可以获得第l层第n个激活图对类别w的累积重要性得分/>
Figure BDA0003991002600000069
统计发现，在同一个类别中，分类正确样本在第l层的重要性分布与累积重要性得分分布相似，可以得出结论，分类正确的样本使用近似的一些激活图；c
5)分类错误样本激活图筛选
基于同类别图片对应的激活图具有相似的贡献性特点，该步骤通过抑制分类错误样本不应该产生预测贡献的激活图值，来自动化提升卷积神经分类网络的分类性能，对于卷积神经分类网络第w个类别，通过测试获得训练集中分类错误与低置信度(置信度取0-1概率值，低于0.5的算作低置信度)的样本，统计这些分类错误与低置信度样本在第l层第n个激活图对类别w的重要性得分
Figure BDA0003991002600000071
计算分类错误与低置信度样本累积重要性得分与前一步骤4)中分类正确样本在第l层第n个激活图对类别w的累积重要性得分/>
Figure BDA0003991002600000072
之间的差异性，筛选出第l层不应该有重要性贡献M个激活图的集合/>
Figure BDA0003991002600000073
6)卷积神经分类网络自动化缺陷修复
对于包含L层卷积层的卷积神经分类网络，其原始分类损失函数为Lossorig,在经过原始训练后，利用上述步骤获得卷积层后三层对应的不该有重要性贡献的激活图集合
Figure BDA0003991002600000074
利用损失函数/>
Figure BDA0003991002600000075
追加一轮的再训练，可以自动修复卷积神经分类网络中缺陷，有效提升分类模型准确性，其中α为损失函数的平衡参数，e0为固定值激活图，作为激活图的最低响应值阈值。
本发明设计的是一种面向卷积神经分类网络的缺陷自动诊断与修复方法，用于已经预训练的卷积神经分类网络模型缺陷检测与自动修复，能够有效提升深度卷积神经分类网络模型的分类性能。
本发明一种面向卷积神经分类网络的缺陷自动诊断与修复装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图2所示，为本发明一种面向卷积神经分类网络的缺陷自动诊断与修复装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种面向卷积神经分类网络的缺陷自动诊断与修复装置。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.面向卷积神经分类网络的缺陷自动诊断与修复方法，其特征在于，具体包括如下步骤：
S1、对于深度卷积神经分类网络模型，计算第l层中单个卷积滤波器的隐层贡献特征图集和输出激活图；计算第l层归一化的预测重要性；
S11、通过第l层的输入特征和卷积滤波器的卷积核，计算单个卷积滤波器的隐层贡献特征图集，所述隐层贡献特征图集由若干个隐层贡献特征图组成；
S12、通过隐层贡献特征图集计算第l层的输出激活图；
S13、计算隐层贡献特征图中所有值的加和值；通过隐层贡献特征图中所有值的加和值计算第l层归一化的预测重要性；
S2、判断第l层归一化的预测重要性与阈值之间的大小关系；根据大小关系获取重要性得分；
S3、将同一类别的训练集通过深度卷积神经分类网络模型，获得分类错误与低置信度的样本和分类正确样本；计算分类错误与低置信度的样本的累积重要性得分与分类正确样本的累积重要性得分之间的差异性，筛选出第l层不应该有重要性贡献的输出激活图的集合；
S31、统计各个分类错误与低置信度的样本在第l层第n个输出激活图对该类别的重要性得分，累积加和得到分类错误与低置信度的样本的累积重要性得分；
S32、统计各个分类正确样本在第l层第n个输出激活图对该类别的重要性得分，累积加和得到分类正确样本的累积重要性得分；
S33、计算分类错误与低置信度的样本的累积重要性得分与分类正确样本的累积重要性得分之间的差异性，筛选出第l层不应该有重要性贡献的输出激活图的集合；
S4、获取深度卷积神经分类网络模型中后三层的不应该有重要性贡献的输出激活图的集合，结合损失函数对深度卷积神经分类网络模型进行再训练。
2.如权利要求1所述的面向卷积神经分类网络的缺陷自动诊断与修复方法，其特征在于，步骤S2具体包括如下子步骤：
S21、若第l层归一化的预测重要性大于等于阈值，则重要性得分为1；反之重要性得分为0。
3.如权利要求1所述的面向卷积神经分类网络的缺陷自动诊断与修复方法，其特征在于，所述阈值的取值为大于0小于等于1。
4.面向卷积神经分类网络的缺陷自动诊断与修复装置，其特征在于：包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-3任一项所述的面向卷积神经分类网络的缺陷自动诊断与修复方法。
5.一种计算机可读存储介质，其特征在于：其上存储有程序，该程序被处理器执行时，实现权利要求1-3任一项所述的面向卷积神经分类网络的缺陷自动诊断与修复方法。
CN202211580737.6A 2022-12-09 2022-12-09 面向卷积神经分类网络的缺陷自动诊断与修复方法及装置 Active CN115829005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211580737.6A CN115829005B (zh) 2022-12-09 2022-12-09 面向卷积神经分类网络的缺陷自动诊断与修复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211580737.6A CN115829005B (zh) 2022-12-09 2022-12-09 面向卷积神经分类网络的缺陷自动诊断与修复方法及装置

Publications (2)

Publication Number Publication Date
CN115829005A CN115829005A (zh) 2023-03-21
CN115829005B true CN115829005B (zh) 2023-06-27

Family

ID=85545998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211580737.6A Active CN115829005B (zh) 2022-12-09 2022-12-09 面向卷积神经分类网络的缺陷自动诊断与修复方法及装置

Country Status (1)

Country Link
CN (1) CN115829005B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762358A (zh) * 2021-08-18 2021-12-07 江苏大学 一种基于相对深度训练的半监督学习三维重建方法
CN114330714A (zh) * 2022-03-08 2022-04-12 北京环境特性研究所 卷积神经网络剪枝优化方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858506B (zh) * 2018-05-28 2022-11-18 哈尔滨工程大学 一种面向卷积神经网络分类结果的可视化算法
DE102019209462A1 (de) * 2019-06-27 2020-12-31 Robert Bosch Gmbh Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes
CN111583187B (zh) * 2020-04-14 2023-11-07 佛山市南海区广工大数控装备协同创新研究院 一种基于cnn可视化的pcb电路板缺陷检测方法
CN113642486A (zh) * 2021-08-18 2021-11-12 国网江苏省电力有限公司泰州供电分公司 一种具有机载前端识别模型的无人机配网巡检方法
CN114676852A (zh) * 2022-04-11 2022-06-28 重庆邮电大学 一种基于相关性类激活映射的通用对抗扰动生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762358A (zh) * 2021-08-18 2021-12-07 江苏大学 一种基于相对深度训练的半监督学习三维重建方法
CN114330714A (zh) * 2022-03-08 2022-04-12 北京环境特性研究所 卷积神经网络剪枝优化方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115829005A (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN110516305B (zh) 基于注意机制元学习模型的小样本下故障智能诊断方法
WO2019214309A1 (zh) 模型测试的方法及装置
WO2018112783A1 (zh) 图像识别方法及装置
CN111160582B (zh) 设备故障识别方法、装置及计算机可读存储介质
CN111626177B (zh) 一种pcb元件识别方法及装置
CN113673346A (zh) 一种基于多尺度SE-Resnet的电机振动数据处理与状态识别方法
CN111695620A (zh) 一种电力系统时间序列异常数据检测与修正方法及系统
CN113487223B (zh) 一种基于信息融合的风险评估方法和评估系统
CN113674862A (zh) 一种基于机器学习的急性肾功能损伤发病预测方法
CN117034143A (zh) 一种基于机器学习的分布式系统故障诊断方法及装置
CN115526847A (zh) 一种基于半监督学习的主板表面缺陷检测方法
CN115290326A (zh) 一种滚动轴承故障智能诊断方法
CN115829005B (zh) 面向卷积神经分类网络的缺陷自动诊断与修复方法及装置
CN117495640A (zh) 一种区域碳排放量预测方法及系统
CN116628612A (zh) 一种无监督异常检测方法、装置、介质及设备
CN116977725A (zh) 一种基于改进卷积神经网络的异常行为识别方法及装置
CN115115884A (zh) 对抗样本的检测方法、系统、设备及存储介质
CN111597934A (zh) 用于为统计应用处理训练数据的系统和方法
CN117197538B (zh) 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法
CN113486742B (zh) 一种故障识别方法、装置、系统及计算机可读存储介质
CN114648646B (zh) 一种图像分类方法及装置
CN116541713B (zh) 基于局部时频特征迁移学习的轴承故障诊断模型训练方法
CN117392440B (zh) 一种基于组织结构及颜色分类的纺织面料检索方法和系统
CN114723939B (zh) 基于注意力机制的非极大值抑制方法、系统、设备和介质
US20240105211A1 (en) Weakly-supervised sound event detection method and system based on adaptive hierarchical pooling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant