CN117974634B - 一种基于证据深度学习的无锚框表面缺陷可信检测方法 - Google Patents
一种基于证据深度学习的无锚框表面缺陷可信检测方法 Download PDFInfo
- Publication number
- CN117974634B CN117974634B CN202410361714.9A CN202410361714A CN117974634B CN 117974634 B CN117974634 B CN 117974634B CN 202410361714 A CN202410361714 A CN 202410361714A CN 117974634 B CN117974634 B CN 117974634B
- Authority
- CN
- China
- Prior art keywords
- defect
- thermodynamic diagram
- evidence
- uncertainty
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 174
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000010586 diagram Methods 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 13
- 238000007500 overflow downdraw method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000002950 deficient Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 238000000137 annealing Methods 0.000 claims description 2
- 239000008186 active pharmaceutical agent Substances 0.000 claims 2
- 238000005215 recombination Methods 0.000 claims 1
- 230000006798 recombination Effects 0.000 claims 1
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 206010068829 Overconfidence Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013531 bayesian neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000000306 component Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明属于基于计算机视觉的缺陷检测领域，公开了一种基于证据深度学习的无锚框表面缺陷可信检测方法，包括：获取缺陷样本训练数据集；构建基于证据深度学习的无锚框表面缺陷可信检测模型；使用所提出的不确定性自适应加权损失训练模型；获取缺陷样本测试数据集；将测试图像输入已训练的模型中，分别预测缺陷中心证据热力图、缺陷尺寸热力图和离散化误差热力图；使用D‑S理论对缺陷中心证据热力图局部峰值点进行可信融合，结合尺寸和离散化误差来生成最终结果。本发明使用证据深度学习方法建模不确定性，有效缓解现代深度网络过度自信的问题，降低高端装备核心零部件表面缺陷检测时漏检或误检风险。
Description
技术领域
本发明属于基于计算机视觉的缺陷检测领域，尤其是涉及深度神经网络不确定性建模以及工业产品表面缺陷检测领域，具体的说是涉及一种基于证据深度学习的无锚框表面缺陷可信检测方法。
背景技术
近年来，不少基于深度学习的缺陷检测方法被广泛应用在各种工业场景中。然而，On calibration of modern neural networks（International conference on machinelearning. PMLR，2017. Guo，Chuan，et al.)的研究指出，现代深度卷积神经网络输出的概率置信度与实际准确性并不一致。与早期的传统神经网络相比，现代深度卷积神经网络通常表现出过度自信（Over confidence）的特点。这一问题在许多风险敏感领域，如自动驾驶、医学影像分割，以及高端装备零部件表面缺陷检测等产生负面影响。因此，传统的缺陷检测网络(He，Yu，et al. "An end-to-end steel surface defect detection approachvia fusing multiple hierarchical features." IEEE transactions oninstrumentation and measurement 69.4 (2019): 1493-1504.以及Lv，Xiaoming，et al."Deep metallic surface defect detection: The new benchmark and detectionnetwork." Sensors 20.6 (2020): 1562.)仅以单一类别概率作为检测器输出的决策依据，无法充分评估网络输出的可靠性度量。特别是在缺陷样本较少的情况下，这类模型常常会产生过度自信的预测，给分布外样本输出非常高已知样本置信度，这种情况在对高端装备的核心零部件进行表面缺陷检测时候可能有潜在风险。
在现有的不确定性建模技术中，常见的有MC-Dropout(Y. Gal，“Uncertainty indeep learning,” Ph.D. dissertation，University of Cambridge，2016.)以及深度集成网络(Lakshminarayanan，Balaji，Alexander Pritzel，and Charles Blundell. "Simpleand scalable predictive uncertainty estimation using deep ensembles."Advances in neural information processing systems 30 (2017).)。这两种技术中，前者需要进行多次采样计算代价比较高，并且MC-Dropout方法只是对贝叶斯神经网络(BNN)的近似；后者使用多个模型集成，融合多个模型的预测结果，往往只能建模模型不确定性。
发明内容
为了解决基于计算机视觉的工业部件表面缺陷检测中模型输出不校准的问题以降低模型误检和漏检的几率，本发明提供了一种可实施的基于证据深度学习的无锚框表面缺陷可信检测方法。
为了达到上述目的，本发明是通过以下技术方案实现的：
本发明是一种基于证据深度学习的无锚框表面缺陷可信检测方法，包括以下步骤：
步骤1，获取用于网络训练的缺陷样本数据集；
步骤2，基于证据深度学习构建无锚框表面缺陷可信检测模型，包括特征提取网络的构建，缺陷中心证据热力图预测头的构建，缺陷尺寸预测头的构建，离散化误差预测头的构建。
步骤2.1，特征提取网络的构建。传统卷积网络通常仅利用最终一层卷积层的输出，这导致缺乏浅层纹理信息，同时，单一尺度特征图的能力在检测不同大小缺陷方面受到限制。现代特征提取网络，如FPN和HRNet等，通常采用多尺度融合的特征图来进行预测，这种做法不仅克服了上述限制，还通过利用多个尺度的特征图来提高多尺寸目标的检测性能。假设输入网络的图像为，该图像通道数为1，宽、高分别为/>和/>，将输/>入到特征提取网络中，特征提取网络是一个深度卷积网络记为/>，则图像/>对应的特征图为/>，/>是特征通道数，/>和/>是特征图的宽和高；
步骤2.2，缺陷中心热力图预测头的构建。将原始网络中用于生成缺陷中心类别概率热力图的激活函数如使用非负且值域为/>的激活函数如等替换，将缺陷中心热力图的预测头的输出建模成缺陷中心证据热力图。将缺陷中心热力图预测头记为/>，得到输出热力图，这个热力图共有/>个通道，宽、高分别为/>和/>，热力图上每一点都是一个/>维的向量，代表整个网络在这一点收集到的/>类缺陷以及背景的证据量；整个网络是指是卷积或全连接以及我的热力图预测头这整个网络。
步骤2.3，缺陷尺寸预测头和离散误差预测头的构建。这两个回归预测头分别记为和/>，将步骤2.1输出的特征图输入这两个预测头分别得到输出：，/>是一个/>维度，且尺寸为/>的热力图。/>，同样地，/>是一个/>维度，尺寸为的热力图。
步骤3，提出一种不确定性自适应加权的中心证据热力图损失，并结合尺寸损失和离散化误差损失训练所述基于证据深度学习的无锚框表面缺陷可信检测模型。
步骤3.1，为了建模不确定性，需要将证据预测头输出的证据转换成狄利克雷分布的参数，根据这些参数，结合主观逻辑理论，就可以计算缺陷中心证据热力图上每一点的类别概率向量、信念质量以及这个预测点的模型不确定性。对训练数据标签进行one-hot编码后使用二型极大似然损失技术来建模证据热力图预测头的损失。
然而，目标检测中存在非常严重的难易不平衡问题，使用Focal loss对损失进行加权是一种解决方案，但是在传统深度学习中，由于训练标签过硬，模型输出的置信概率存在不校准的问题，所以本发明使用模型不确定性替代Focal loss中的，实现了不确定性自适应加权的证据热力图预测头损失，用于难易样本自适应平衡加权。
另外在构建证据热力图损失函数时，为了同时避免预测错误的样本点证据量过大以及预测正确的样本点证据量过小，需要同时使用预测错误样本正则化项和预测正确样本正则化项进行损失惩罚。
步骤3.2，使用数据集中的标签框的尺寸信息在缺陷中心点对缺陷尺寸预测头进行监督。使用特征提取网络对原图的下采样倍数以及原图大小这两个信息，在缺陷中心点处对离散化误差预测头进行监督。
步骤3.3，计算目标总损失，选择好权重、学习率等超参数，使用小批量随机梯度下降算法进行优化。
步骤4，获取缺陷样本测试数据集；
步骤5，将测试图像输入训练好的缺陷检测模型中，分别得到缺陷中心证据热力图、对缺陷尺寸热力图及离散化误差热力图。
步骤6，根据主观逻辑理论以及D-S证据理论进行缺陷中心证据热力图局部峰值点可信融合，再结合缺陷尺寸热力图和离散化误差热力图得到最终预测框。具体步骤如下：
步骤6.1，缺陷中心证据热力图峰值点可信证据融合。将证据热力图上的每个点转换成对应的信念值和不确定性/>，获得了关于缺陷样本/>的主观意见热力图(Subjective logic heatmap)/>，其上每个像素点都可以看成一个对缺陷图像一个特定区域的“观测者”观测的结果，记为/>，前/>维代表了该“观测者”对这个区域是某类缺陷中心或是背景的信念值，最后一维代表了这个观测结果的不确定度。定义缺陷中心的不确定性加权的置信度为：/>，这个置信度不仅仅考虑了观测的置信度，还考虑了模型输出的不确定性/>。 由于相邻的“观测者”观测到的缺陷区域有较大地重叠，对于同一临近区域，模型会预测出多个相同缺陷的中心点，为了避免这种情况，需要对主观意见热力图上所有的/>区域的加权置信度取局部峰值点，记进行了局部峰值点操作后的缺陷中心热力图为/>。然而，只保留峰值而舍弃其他值的这种做法丢失了峰值点附近的有用信息，为了更好的利用非峰值点信息，本发明将使用证据融合的方法来计算峰值点最后的信念值以及不确定性。
取峰值操作后的缺陷中心热力图中得分最高的/>个点对应的整数值坐标，对每一个局部峰值点/>，使用可信融合方法计算其最后的置信度及不确定性。
步骤6.2，融合后的第个峰值点为/>，再结合缺陷尺寸热力图/>和离散化误差热力图/>得出最后预测框。我们记第/>个预测框为，/>分别是该预测框的位置和尺寸，/>为该预测框缺陷的类别标签，/>为该框的缺陷类别置信度，/>为模型对该预测框的不确定性估计。
优选的，步骤3.1中，所述缺陷中心证据热力图上每一点的类别概率向量、信念质量以及这个预测点的模型不确定性计算公式分别如下式所示：
，
其中是类别数，/>，/>代表第/>个样本，/>代表热力图上每一点所对应的向量的某一维度，/>。
优选的，步骤3.1中，所述证据热力图预测头的损失如下式所示：
，
其中是数据类别标签在每一点的One-hot编码，/>是/>函数。
优选的，步骤3.1中，所述不确定性自适应加权的证据热力图预测头损失如下式：
，
其中是控制不确定性权重的超参数，/>是模型不确定性。
优选的，步骤3.1中，所述错误样本正则化项如下式所示：
，
其中为/>函数，/>是/>函数，，/>代表两个向量中逐元素相乘，/>表示预测错误的类别的证据量。
优选的，步骤3.1中，所述预测正确样本正则化项如下式所示：
，
其中，代表这一点的模型不确定性，不确定性越小，正则化项带来的惩罚越小，反之亦然。/>为网络预测的标签类别的证据，标签类别证据越接近于0，正则化项带来的惩罚越大。
优选的，步骤6.1中，所述可信融合方法如下：对于每一个局部峰值点置信度及不确定性的计算方法下式所示：
，
其中为D-S证据融合方法，具体地，如果有两个观测结果则其融合规则如下式所示：
，
其中，代表了两个观测的冲突程度。
本发明的有益效果是：
（1）本发明将证据深度学习方法用于无锚框的工业产品表面缺陷检测模型，实现了在确保速度和准确性的同时，赋予模型输出不确定性的能力。这有助于有效缓解现代深度神经网络过于自信的问题，同时减少在对高端核心零部件进行表面缺陷检测时的漏检或误检风险。
（2）为了解决证据中心热力图中难易样本不平衡问题，建模不确定性后，本发明在二型极大似然损失中使用不确定性对难易样本进行自适应加权，提高了模型对难例样本的敏感程度。
（3）通过重新定义不确定性加权的置信度热力图，本发明更好地利用不确定性评估模型输出的缺陷中心热力图的置信概率。在热力图上的局部峰值点处使用可信证据融合方法，综合多源信息，提供更可靠的输出结果。
附图说明
图1是本发明的总体流程图。
图2是本发明的模型结构图。
图3是本发明提出的缺陷中心证据热力图局部峰值点证据融合模块。
具体实施方式
以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
如图1所示，本发明是一种基于证据深度学习的无锚框表面缺陷可信检测方法，具体包括如下步骤：
步骤1、准备缺陷样本训练数据集。首先我们定义训练数据集，代表第/>组训练数据，分别是缺陷图片/>，以及缺陷框标签。其中/>代表图片尺寸，样本/>为尺寸为的一通道灰度图片，/>代表训练集中样本总数。一张缺陷图片可能存在多个不同类别的缺陷，/>代表其中一个缺陷的中心点坐标和缺陷的宽和高，表示这个缺陷对应的标签。
步骤2、构建结合可信证据融合的不确定性感知的工业产品表面缺陷检测模型。具体包括以下步骤：
步骤2.1、构建特征提取网络。在本实施例中本发明使用FPN作为特征提取网络，用其输出的其中一个尺度的特征图进行阐述。如图2所示，FPN输出的其中一个特征图为。
步骤2.2、构建缺陷中心证据热力图预测头。缺陷中心证据热力图预测头用于获取缺陷类别以及该缺陷中心位置的证据。具体地，缺陷中心证据热力图预测头输出的热力图如下式所示：
，
其中 为/>卷积层，其输入输出通道均为256。 />为激活函数， />为/>卷积层，将/>的输出进行通道调整，输入通道为256，输出通道为缺陷类别数/>，多出的一类为背景类。再将/>的输出经过/>激活函数最终得到/>。如图2中的中心证据热力图Ev-based Heatmap所示，此热力图上每一个像素点/>都是一个向量/>，代表模型认为该点是某一类缺陷中心或背景的证据量。
步骤2.3、构建缺陷尺寸预测头。缺陷尺寸预测头用于获取每个缺陷中心所对应的缺陷宽、高尺寸。具体地，缺陷尺寸预测头输出的热力图如下式所示：
，
其中为/>卷积层，其输入输出通道均为256。 />为激活函数，此处/>的输入通道为256，输出通道为2，如图2中的缺陷尺寸热力图Size Heatmap所示，每个像素点对应预测的宽高为/>。
步骤2.4，构建离散化误差预测头。离散化误差预测头用于获取由于网络提取特征下采样操作导致的离散化误差值，以修正缺陷中心点位置。具体地，离散化误差预测头输出的热力图如下公式所示：
，
其中为/>卷积层，其输入输出通道均为256。/>为激活函数，此处/>的输入通道为256，最后输出通道为2，如图2中的离散误差热力图OffsetHeatmap所示，每个像素点对应预测的离散化误差为/>。
步骤3、训练所述结合可信证据融合的不确定性感知的工业产品表面缺陷检测模型。
步骤3.1、计算缺陷中心证据热力图预测头损失。缺陷中心证据热力图预测头输出的热力图为网络预测的证据量。如图2所示，本发明将证据量形式化为狄利克雷分布的参数/>，此时热力图上每个像素点/>就代表了多项分布(Multinomial distribution)的共轭先验分布（狄利克雷分布）的参数，记为。本发明通过计算狄利克雷分布的期望获得这个多项分布的类别概率向量
。同样，根据主观逻辑理论，可以计算得到在/>点的模型不确定性(Epistemic uncertainty)：，以及这点每一维度的信念值(Belief mass)：/>，且两者满足。
设缺陷中心热力图的真实标签为，其中每个像素点的值如下式所示：
，
有了上述定义，本发明得到在中心热力图上的每个像素点上的对应交叉熵损失的贝叶斯风险损失函数，见下式：
，
其中是/>函数。/>是控制不确定性权重的参数。/>是模型不确定性由于训练标签过硬，模型输出的置信概率可能存在不校准的问题，所以本发明使用/>替代了的Focal loss，用于难易样本自适应平衡加权。
此外对于无法正确分类的热力图像素点，希望网络在其正确类别上的输出不变，而其他类别输出的证据尽量为0，因此令，/>代表两个向量中逐元素相乘，/>表示预测不正确的类别的证据量，错误类别正则化项表达式如下式所示：
，
其中为/>函数，/>是/>函数。
另外，如果对预测错误类别的证据做正则化，会导致模型无法学习到预测正确但是证据量为0的样本，因此本发明增加另一个正则化项，目的是增加这些预测正确的0证据样本的证据量，正确类别正则化项如下式所示：
，
其中，代表这一点的不确定性，不确定性越小，正则化项带来的惩罚越小，反之亦然。/>为网络预测的标签类别的证据，标签类别证据越接近于0，正则化项带来的惩罚越大。
综上缺陷中心证据热力图预测头损失如下式所示：
，
其中为退火系数，/>，/>为当前训练的epoch数，/>为缺陷中心的数量。
步骤3.2、计算缺陷尺寸预测头损失。缺陷尺寸预测头输出的热力图为网络预测的每一点处缺陷的尺寸，若该点是缺陷中心。我本发明只在缺陷中心对其进行/>损失监督，缺陷尺寸预测头的损失函数如下式所示：
，
其中为网络预测的在/>这个缺陷中心的缺陷框宽高，/>为宽高的标签，/>为样本/>中所有的缺陷标签中心点，/>为缺陷标签中心个数。
步骤3.3、计算离散化误差预测头损失。离散化误差预测头输出的热力图为网络预测的每一点处的离散化误差，若该点是缺陷中心。只对其在缺陷中心点处进行/>损失监督，离散化误差预测头损失函数如下式所示：
，
其中为缺陷标签中心点坐标，/>为特征提取网络对原始图片的下采样倍数，由于下采样离散化误差，/>为整数。同样的，/>为缺陷标签中心个数。
步骤3.4，计算缺陷图片样本的总损失，如下式所示：
，
其中和/>分别为宽高预测损失和离散化误差损失的权重超参数。
本发明对训练数据集中所有/>个样本使用小批量随机梯度下降优化算法进行优化，最终得到训练好的模型。
步骤4、获取缺陷样本测试数据集。
步骤5、测试。将测试图像输入训练好的缺陷检测模型中，分别预测缺陷中心证据热力图、缺陷尺寸热力图以及离散化误差热力图。
步骤6、根据主观逻辑理论以及D-S证据理论进行缺陷中心证据热力图的可信融合，再结合尺寸和离散化误差得到最终预测框。
步骤6.1，缺陷中心证据热力图的可信证据融合。如图2所示，本发明将证据热力图上的每个点转换成对应的信念值和不确定性/>，获得了关于缺陷样本/>的主观意见热力图(Subjective logic heatmap)/>，其上每个像素点都可以看成一个对缺陷图像一个特定区域的“观测者”观测的结果，记为/>，前/>维代表了该“观测者”对这个区域是某类缺陷中心或是背景的信念值，最后一维代表了这个观测结果的不确定度。
定义缺陷中心的不确定性加权的置信度为：，这个置
信度不仅仅考虑了观测的置信度，还考虑了模型输出的不确定性。由于相邻的“观测
者”观测到的缺陷区域有较大地重叠，对于同一临近区域，模型会预测出多个相同缺陷的中
心点。如图3所示，为了避免这种情况需要对主观意见热力图上所有的区域的加权置信
度取局部峰值点，记进行了局部峰值点操作后的缺陷中心热力图为。然
而，只保留峰值而舍弃其他值的这种做法丢失了峰值点附近的有用信息，为了更好的利用
非峰值点信息，本发明将使用证据融合的方法来计算峰值点最后的信念值以及不确定性。
取峰值操作后的缺陷中心热力图中得分最高的/>个点对应的整数值坐标，每一个局部峰值点/>置信度及不确定性的计算方法如下式所示：
，
其中为D-S证据融合方法，具体地，如果有两个观测结果则其融合规则如下式所示：
，
其中，代表了两个观测的冲突程度。
步骤6.2，根据融合后的第个峰值点/>，再结合缺陷尺寸热力图/>和离散化误差热力图/>得出最后预测框。本发明记第/>个预测框为/>通过下式计算获得：
其中分别是该预测框的位置和尺寸，/>为该预测框缺陷的类别标签，/>为该框的缺陷类别置信度，/>为模型对该预测框的不确定性估计。
本发明使用证据深度学习方法建模不确定性，有效缓解现代深度网络过度自信的问题，降低高端装备核心零部件表面缺陷检测时漏检或误检风险。
本领域内的技术人员可以清晰地理解，本发明的实施例可通过计算机程序和相应的通用硬件平台来实现。从这个理解出发，本发明实施例的关键技术部分本质上或者可以说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序或软件产品可以存储在存储介质中，并包括多个指令，以便驱动一台包含数据处理单元的设备例如个人计算机、服务器、单片机、嵌入式微控制器(MCU)或网络设备等来执行本发明不同实施例或实施例的某些部分所描述的方法。
本发明提供了一种基于证据深度学习的无锚框表面缺陷可信检测方法。实现这一技术方案的方法和途径有多种，上述仅为本发明的具体实施方式之一。值得注意的是，对于本技术领域的专业人员来说，在不偏离本发明原理的前提下，可以进行多种改进和优化，这些改进和优化同样应视为本发明的保护范围。本实施例中未明确描述的各个组成部分均可使用现有技术来实现。
Claims (2)
1.一种基于证据深度学习的无锚框表面缺陷可信检测方法，其特征在于：所述无锚框表面缺陷可信检测方法用于基于计算机视觉的工业产品表面缺陷检测，该方法包括以下步骤：
步骤1、获取缺陷样本训练数据集；
步骤2、构建不确定性感知缺陷检测模型：基于证据深度学习构建无锚框表面缺陷可信检测模型，包括构建特征提取网络、构建缺陷中心证据热力图预测头、构建缺陷尺寸预测头和构建离散化误差预测头；
步骤3、提出一种不确定性自适应加权的中心证据热力图损失，并结合尺寸损失和离散化误差损失，训练所述不确定性感知缺陷检测模型；
步骤4、获取缺陷样本测试数据集；
步骤5、将测试图像输入训练好的不确定性感知缺陷检测模型中，分别预测缺陷中心证据热力图、缺陷尺寸热力图以及离散化误差热力图；
步骤6，基于DS证据融合的识别推理：根据主观逻辑理论以及DS证据理论进行缺陷中心证据热力图局部峰值点可信融合，再结合缺陷尺寸热力图和离散化误差热力图得到最终预测框，
其中：步骤3包括以下步骤：
步骤3.1、缺陷中心证据热力图预测头的不确定性自适应加权损失，具体包括以下步骤：
步骤3.1.1、缺陷中心证据热力图预测头输出的热力图为网络预测的证据量，通过证据量热力图，结合主观逻辑理论，将证据热力图转换成缺陷中心概率热力图/>缺陷中心概率热力图/>上任意一点(j,k)都代表这个点是某一类缺陷中心或者是背景的概率向量，计算方法为：
其中i为第i个样本，l为热力图/>上每一点所对应的向量的某一维度，l＝1,2,…,(C+1)；根据主观逻辑理论，计算得到在任意一点(j,k)的模型不确定性：/>以及任意一点(j,k)每一维度的信念值：/>且两者满足
步骤3.1.2、设缺陷中心热力图的真实标签为其中缺陷中心概率热力图/>上任意一点(j,k)的值为：
根据上述公式得到在中心热力图上的每个像素点上的对应交叉熵损失的贝叶斯风险损失函数：
其中ψ(·)是digamma函数，是缺陷中心概率热力图上第j,k位置的向量的第l维，αj,k是陷中心证据热力图上一点，/>是陷中心证据热力图上第j,k位置的向量的第l维，B(·)是Beta函数，满足/>Γ(·)为gamma函数；
步骤3.1.3、使用模型不确定性替代Focalloss中的p，实现了不确定性自适应加权的证据热力图预测头损失，表示为：
其中γ是控制不确定性权重的超参数；
步骤3.1.4、令⊙代表两个向量中逐元素相乘，/>表示预测错误的类别的证据量，错误分类正则项/>计算方式为：
其中Γ(·)为gamma函数，ψ(·)是digamma函数；
步骤3.1.5、增加一个正确类别正则化项：
其中表示任意一点(j,k)的模型不确定性，不确定性越小，正则化项带来的惩罚越小，反之亦然，/>为网络预测的标签类别的证据，标签类别证据越接近于0，正则化项带来的惩罚越大；
步骤3.1.6、缺陷中心证据热力图预测头损失表示：
其中λt为退火系数，t为当前训练的轮次，N为缺陷中心的数量；
步骤3.2、缺陷尺寸预测头和离散化误差预测头损失：缺陷尺寸预测头输出热力图和离散化误差预测头输出热力图/>分别代表整个网络预测的每一缺陷中心对应的缺陷的尺寸和离散化误差，在缺陷中心对/>和/>进行L1损失监督，损失函数记为/>和/>其中Θ代表整个网络中可学习的参数；
步骤3.3、计算单样本的总损失，并且训练：缺陷图片样本Xi的总损失为：
其中λwh和λoff分别为宽高预测损失和离散化误差损失的权重超参数；
步骤6包括以下步骤：
步骤6.1、缺陷中心证据热力图峰值点可信证据融合：将证据热力图上的每个点转换成对应的信念值bj,k和不确定性获得了关于缺陷样本Xi的主观意见热力图其上每个像素点/>都是一个对缺陷图像一个特定区域的“观测者”观测的结果Msl j,k，前C+1维代表了该“观测者”对这个区域是某类缺陷中心或是背景的信念值，最后一维代表了这个观测结果的不确定性；
定义缺陷中心的不确定性加权的置信度为：对主观意见热力图/>上所有的3×3区域的加权置信度取局部峰值点，记进行局部峰值点操作后的缺陷中心热力图为/>取峰值点操作后的缺陷中心热力图/>中得分最高的P个点对应的整数值坐标/>每一个局部峰值点/>置信度及不确定性的计算方法为：
其中为D-S证据融合方法，有两个观测结果/>则其融合规则为：
其中代表了两个观测的冲突程度；
步骤6.2，融合后的第m个峰值点为再结合缺陷尺寸热力图/>和离散化误差热力图/>得出最后预测框，记第m个预测框为{x(m),y(m),w(m),h(m),label(m)，c(m),u(m)}，x(m),y(m),w(m),h(m)分别是所述预测框的位置和尺寸，label(m)为所述预测框缺陷的类别标签，c(m)为所述预测框的缺陷类别置信度，u(m)为模型对所述预测框的不确定性估计。
2.根据权利要求1所述的一种基于证据深度学习的无锚框表面缺陷可信检测方法，其特征在于：所述步骤2具体包括以下步骤：
步骤2.1、构建特征提取网络：设输入特征提取网络的图像为所述图像通道数为1，宽、高分别为W0和H0，将图像Xi输入到特征提取网络中，特征提取网络是一个深度卷积网络记为G(·)，则图像Xi对应的特征图为/>D是特征通道数，W和H是特征图的宽和高；
步骤2.2、构建缺陷中心证据热力图预测头：将步骤2.1输出的特征图输入到缺陷中心证据热力图预测头中，将缺陷中心证据热力图预测头记为Fct(·)，得到输出热力图i是样本Xi编号，C表示数据集中缺陷的总类别数，所述热力图/>共有C+1个通道，宽、高分别为W和H，热力图/>上每一点都是一个C+1维的向量，代表整个网络在这一点收集到的C类缺陷以及背景的证据量；
步骤2.3、构建缺陷尺寸预测头：将步骤2.1输出的特征图FMi输入到缺陷尺寸预测头Fwh(·)，得到缺陷尺寸预测头输出的热力图
步骤2.4、构建离散化误差预测头：将步骤2.1输出的特征图输入到离散化误差预测头Foff(·)，得到离散化误差预测头输出的热力图
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410361714.9A CN117974634B (zh) | 2024-03-28 | 2024-03-28 | 一种基于证据深度学习的无锚框表面缺陷可信检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410361714.9A CN117974634B (zh) | 2024-03-28 | 2024-03-28 | 一种基于证据深度学习的无锚框表面缺陷可信检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117974634A CN117974634A (zh) | 2024-05-03 |
| CN117974634B true CN117974634B (zh) | 2024-06-04 |
Family
ID=90858010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410361714.9A Active CN117974634B (zh) | 2024-03-28 | 2024-03-28 | 一种基于证据深度学习的无锚框表面缺陷可信检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117974634B (zh) |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250935A (zh) * | 2016-08-15 | 2016-12-21 | 广东石油化工学院 | 遗传编程和加权证据理论融合的旋转机械故障诊断方法 |
| CN113240506A (zh) * | 2021-05-10 | 2021-08-10 | 浙江大学 | 一种基于无监督领域自适应的金融风控冷启动建模方法 |
| CN113469177A (zh) * | 2021-06-30 | 2021-10-01 | 河海大学 | 基于深度学习的排水管道缺陷检测方法及系统 |
| CN114372523A (zh) * | 2021-12-31 | 2022-04-19 | 北京航空航天大学 | 一种基于证据深度学习的双目匹配不确定性估计方法 |
| CN114492620A (zh) * | 2022-01-24 | 2022-05-13 | 西安电子科技大学 | 基于证据深度学习的可信多视角分类方法 |
| CN114970396A (zh) * | 2022-06-07 | 2022-08-30 | 北京理工大学 | 一种考虑随机和认知不确定性的cfd模型修正方法 |
| CN115293983A (zh) * | 2022-08-05 | 2022-11-04 | 太原理工大学 | 一种融合多层级互补特征的自适应图像超分辨率复原方法 |
| CN115359258A (zh) * | 2022-08-26 | 2022-11-18 | 中国科学院国家空间科学中心 | 一种成分不确定度测量的弱小目标检测方法及系统 |
| WO2022261766A1 (en) * | 2021-06-16 | 2022-12-22 | Vlasea Mihaela | Method and system for active learning using adaptive weighted uncertainty sampling (awus) |
| CN115661500A (zh) * | 2022-12-27 | 2023-01-31 | 南京邮电大学 | 基于二阶分布及不确定性感知聚类融合的目标检测方法 |
| CN116015708A (zh) * | 2022-11-17 | 2023-04-25 | 中国人民解放军战略支援部队信息工程大学 | 基于深度学习预测不确定性的恶意流量开集识别方法及装置 |
| CN116071315A (zh) * | 2022-12-31 | 2023-05-05 | 聚光科技(杭州)股份有限公司 | 一种基于机器视觉的产品可视缺陷检测方法及系统 |
| CN116226756A (zh) * | 2023-02-14 | 2023-06-06 | 中国科学院自动化研究所 | 开放域社会事件分类方法、装置、电子设备和存储介质 |
| CN116524062A (zh) * | 2023-07-04 | 2023-08-01 | 南京邮电大学 | 一种基于扩散模型的2d人体姿态估计方法 |
| CN116630751A (zh) * | 2023-07-24 | 2023-08-22 | 中国电子科技集团公司第二十八研究所 | 一种融合信息瓶颈和不确定性感知的可信目标检测方法 |
| CN116740587A (zh) * | 2023-04-07 | 2023-09-12 | 南京邮电大学 | 一种数据与模型双重不确定性感知的无人机航拍目标可信识别方法 |
| CN117058445A (zh) * | 2023-07-28 | 2023-11-14 | 中国人民解放军国防科技大学 | 基于不确定性的小样本sar图像目标识别方法及系统 |
| CN117079017A (zh) * | 2023-08-08 | 2023-11-17 | 云南大学 | 可信的小样本图像识别分类方法 |
| CN117241242A (zh) * | 2023-08-09 | 2023-12-15 | 西安工业大学 | 一种面向车联网的分层区块链共识方法 |
| CN117576383A (zh) * | 2023-10-24 | 2024-02-20 | 南京邮电大学 | 一种基于注意力解码的可信息肉分割方法及系统 |
| CN117635904A (zh) * | 2023-12-13 | 2024-03-01 | 南京邮电大学 | 一种动态自适应特征感知的可信低慢小无人机检测方法 |
| CN117633627A (zh) * | 2023-12-10 | 2024-03-01 | 北京工业大学 | 一种基于证据不确定性评估的深度学习未知网络流量分类方法及系统 |
| CN117689876A (zh) * | 2023-12-18 | 2024-03-12 | 郑州大学 | 一种鸟类视觉启发的复杂背景下运动目标显著性检测方法 |
| CN117745679A (zh) * | 2023-12-21 | 2024-03-22 | 河北工业大学 | 基于长条形状感知和特征调节的小径管焊接缺陷检测方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537871B (zh) * | 2017-03-03 | 2024-02-20 | 索尼公司 | 信息处理设备和信息处理方法 |
| US10587643B2 (en) * | 2017-11-28 | 2020-03-10 | International Business Machines Corporation | Detecting a root cause for a vulnerability using subjective logic in social media |
| US11108557B2 (en) * | 2017-11-30 | 2021-08-31 | Cable Television Laboratories, Inc. | Systems and methods for distributed trust model and framework |
| US11275976B2 (en) * | 2019-04-05 | 2022-03-15 | Siemens Healthcare Gmbh | Medical image assessment with classification uncertainty |
| US20210103814A1 (en) * | 2019-10-06 | 2021-04-08 | Massachusetts Institute Of Technology | Information Robust Dirichlet Networks for Predictive Uncertainty Estimation |
| CN114549842B (zh) * | 2022-04-22 | 2022-08-02 | 山东建筑大学 | 基于不确定性知识域自适应的半监督图像分割方法及系统 |
| US20230334296A1 (en) * | 2023-06-13 | 2023-10-19 | Intel Corporation | Methods and apparatus for uncertainty estimation for human-in-the-loop automation using multi-view belief synthesis |
-
2024
- 2024-03-28 CN CN202410361714.9A patent/CN117974634B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250935A (zh) * | 2016-08-15 | 2016-12-21 | 广东石油化工学院 | 遗传编程和加权证据理论融合的旋转机械故障诊断方法 |
| CN113240506A (zh) * | 2021-05-10 | 2021-08-10 | 浙江大学 | 一种基于无监督领域自适应的金融风控冷启动建模方法 |
| WO2022261766A1 (en) * | 2021-06-16 | 2022-12-22 | Vlasea Mihaela | Method and system for active learning using adaptive weighted uncertainty sampling (awus) |
| CN113469177A (zh) * | 2021-06-30 | 2021-10-01 | 河海大学 | 基于深度学习的排水管道缺陷检测方法及系统 |
| CN114372523A (zh) * | 2021-12-31 | 2022-04-19 | 北京航空航天大学 | 一种基于证据深度学习的双目匹配不确定性估计方法 |
| CN114492620A (zh) * | 2022-01-24 | 2022-05-13 | 西安电子科技大学 | 基于证据深度学习的可信多视角分类方法 |
| CN114970396A (zh) * | 2022-06-07 | 2022-08-30 | 北京理工大学 | 一种考虑随机和认知不确定性的cfd模型修正方法 |
| CN115293983A (zh) * | 2022-08-05 | 2022-11-04 | 太原理工大学 | 一种融合多层级互补特征的自适应图像超分辨率复原方法 |
| CN115359258A (zh) * | 2022-08-26 | 2022-11-18 | 中国科学院国家空间科学中心 | 一种成分不确定度测量的弱小目标检测方法及系统 |
| CN116015708A (zh) * | 2022-11-17 | 2023-04-25 | 中国人民解放军战略支援部队信息工程大学 | 基于深度学习预测不确定性的恶意流量开集识别方法及装置 |
| CN115661500A (zh) * | 2022-12-27 | 2023-01-31 | 南京邮电大学 | 基于二阶分布及不确定性感知聚类融合的目标检测方法 |
| CN116071315A (zh) * | 2022-12-31 | 2023-05-05 | 聚光科技(杭州)股份有限公司 | 一种基于机器视觉的产品可视缺陷检测方法及系统 |
| CN116226756A (zh) * | 2023-02-14 | 2023-06-06 | 中国科学院自动化研究所 | 开放域社会事件分类方法、装置、电子设备和存储介质 |
| CN116740587A (zh) * | 2023-04-07 | 2023-09-12 | 南京邮电大学 | 一种数据与模型双重不确定性感知的无人机航拍目标可信识别方法 |
| CN116524062A (zh) * | 2023-07-04 | 2023-08-01 | 南京邮电大学 | 一种基于扩散模型的2d人体姿态估计方法 |
| CN116630751A (zh) * | 2023-07-24 | 2023-08-22 | 中国电子科技集团公司第二十八研究所 | 一种融合信息瓶颈和不确定性感知的可信目标检测方法 |
| CN117058445A (zh) * | 2023-07-28 | 2023-11-14 | 中国人民解放军国防科技大学 | 基于不确定性的小样本sar图像目标识别方法及系统 |
| CN117079017A (zh) * | 2023-08-08 | 2023-11-17 | 云南大学 | 可信的小样本图像识别分类方法 |
| CN117241242A (zh) * | 2023-08-09 | 2023-12-15 | 西安工业大学 | 一种面向车联网的分层区块链共识方法 |
| CN117576383A (zh) * | 2023-10-24 | 2024-02-20 | 南京邮电大学 | 一种基于注意力解码的可信息肉分割方法及系统 |
| CN117633627A (zh) * | 2023-12-10 | 2024-03-01 | 北京工业大学 | 一种基于证据不确定性评估的深度学习未知网络流量分类方法及系统 |
| CN117635904A (zh) * | 2023-12-13 | 2024-03-01 | 南京邮电大学 | 一种动态自适应特征感知的可信低慢小无人机检测方法 |
| CN117689876A (zh) * | 2023-12-18 | 2024-03-12 | 郑州大学 | 一种鸟类视觉启发的复杂背景下运动目标显著性检测方法 |
| CN117745679A (zh) * | 2023-12-21 | 2024-03-22 | 河北工业大学 | 基于长条形状感知和特征调节的小径管焊接缺陷检测方法 |
Non-Patent Citations (6)
| Title |
|---|
| "An evidential classifier based on Dempster-Shafer theory and deep learning";Zheng Tong等;《arxiv》;20210325;第1-36页 * |
| "Dilated Densely Connected U-Net with Uncertainty Focus Loss for 3D ABUS Mass Segmentation";Xuyang Cao等;《Computer Methods and Programs in Biomedicine》;20210731;第209卷(第6期);第1123-1134页 * |
| "EvCenterNet: Uncertainty Estimation for Object Detection using Evidential Learning";Monish R等;《arxiv》;20230928;第1-8页 * |
| "基于多任务学习的间质性肺病分割算法";李威等;《计算机应用》;20230731;第1-12页 * |
| "多视角证据融合的虚假新闻赠别";李保珍等;《数据分析与知识发现》;20221231(第3期);第376-384页 * |
| 王子豪等."基于热力图预测的免'锚框'人物目标检测算法".《计算机工程》.2024,第1-11页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117974634A (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11586913B2 (en) | Power equipment fault detecting and positioning method of artificial intelligence inference fusion | |
| CN108921051B (zh) | 基于循环神经网络注意力模型的行人属性识别网络及技术 | |
| CN110765865B (zh) | 基于改进的yolo算法的水下目标检测方法 | |
| Kail et al. | Recurrent convolutional neural networks help to predict location of earthquakes | |
| Niu et al. | An adaptive pyramid graph and variation residual-based anomaly detection network for rail surface defects | |
| CN113496104A (zh) | 基于深度学习的降水预报订正方法及系统 | |
| CN107766823B (zh) | 基于关键区域特征学习的视频中异常行为检测方法 | |
| CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
| CN112927279A (zh) | 一种图像深度信息生成方法、设备及存储介质 | |
| CN111723780A (zh) | 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统 | |
| CN110633643A (zh) | 一种面向智慧社区的异常行为检测方法及系统 | |
| CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
| CN111753877B (zh) | 一种基于深度神经网络迁移学习的产品质量检测方法 | |
| CN117312769A (zh) | 一种基于BiLSTM的物联网时序数据异常检测方法 | |
| CN111144462A (zh) | 一种雷达信号的未知个体识别方法及装置 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| CN117974634B (zh) | 一种基于证据深度学习的无锚框表面缺陷可信检测方法 | |
| CN114048546A (zh) | 一种基于图卷积网络和无监督域自适应的航空发动机剩余使用寿命预测方法 | |
| CN116630751B (zh) | 一种融合信息瓶颈和不确定性感知的可信目标检测方法 | |
| CN112418149A (zh) | 一种基于深卷积神经网络的异常行为检测方法 | |
| CN116310812A (zh) | 基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法 | |
| CN116595465A (zh) | 基于自编码器和数据增强的高维稀疏数据离群点检测方法及系统 | |
| CN116740587A (zh) | 一种数据与模型双重不确定性感知的无人机航拍目标可信识别方法 | |
| CN113469954B (zh) | 一种肺结节良恶性评价方法及装置 | |
| Florin et al. | Hardness prediction for more reliable attribute-based person re-identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |