CN116758400A - 运输皮带异常检测方法、装置及计算机可读存储介质 - Google Patents
运输皮带异常检测方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116758400A CN116758400A CN202311021023.6A CN202311021023A CN116758400A CN 116758400 A CN116758400 A CN 116758400A CN 202311021023 A CN202311021023 A CN 202311021023A CN 116758400 A CN116758400 A CN 116758400A
- Authority
- CN
- China
- Prior art keywords
- belt
- abnormal
- tested
- conveyor belt
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000005856 abnormality Effects 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 110
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000003062 neural network model Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims description 41
- 238000012360 testing method Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 11
- 230000002547 anomalous effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 5
- 238000011897 real-time detection Methods 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 238000013526 transfer learning Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种运输皮带异常检测方法、装置及计算机可读存储介质，对神经网络模型进行预训练，对预训练后的神经网络模型进行运输皮带异常检测的模型微调，并构建运输皮带异常的特征库，根据特征库进行异常得分的自适应阈值搜索得到最优F1阈值，从而将待测试皮带图像的异常得分与最优F1阈值进行比较的结果能够确定待测试皮带图像是否异常。本实施例将深度学习和迁移学习结合并应用在运输皮带异常检测，提高了模型提取皮带异常特征的针对性和鲁棒性，并且采用自监督学习无需人工设计特征，提高了检测速度，能够实现实时检测，再有，通过自适应调整阈值来判断皮带数据是否异常，无需人工设置阈值。
Description
技术领域
本申请涉及图像检测技术领域，具体而言，涉及一种运输皮带异常检测方法、装置及计算机可读存储介质。
背景技术
在钢铁、煤炭、水泥等行业需要大型运输皮带运输各类物料。运输皮带的长度覆盖几百米到几公里，受使用时长，物料腐蚀、磨损、灼烧等因素存在绷断、撕裂等各类生成事故，这些生产事故不单导致停工还可能导致其他安全事故，因此在皮带绷断、撕裂之前对皮带的前期异常进行检测就显得非常必要与重要。
主流的无损皮带异常检测方法可以分为三类：基于传感器的检测方法、基于x射线/多光谱的检测方法和基于机器视觉/深度学习的检测方法。
其中，基于机器视觉的基本巡检系统由图像采集模块、图像预处理模块和图像分析模块组成。图像采集模块包含工业相机、光源和辅助设备，如编码器或触发开关。图像预处理和分析模块由高性能计算机或嵌入式设备处理。典型的基于机器视觉的图像处理算法包括准备、计算和分析等基本步骤，这些步骤是针对特定目标精心设计的。基于机器视觉的方法依赖于人为设计的特征提取算法，这是整个缺陷检测算法的核心部分。特征提取算法可分为四部分：(1)基于灰度的；(2) 基于纹理的；(3) 基于形状的；(4)基于变换的算法。
基于深度学习的传送带图像处理算法的基本目标是目标检测，更具体地说，检测传送带图像上的划痕，磨损或撕裂。深度卷积神经网络(DCNNs)是基于深度学习的检测或分类任务方法的领先架构，由几个基本组成部分组成：卷积层和池化层，通常分为模块、激活层、全连接层等。输入图像经过卷积层、激活层和全连接层加权后，被分类到某一类。
基于深度学习的主流目标检测方法分为两类：两阶段方法，以R-CNN(区域卷积神经网络)系列为代表；单阶段方法，以YOLO (You Only Look Once)方法和SSD (singleshot multibox detector)系列为代表。
基于机器视觉的检测方法不足表现在以下几个方面：
（1）可用性和应用性较差：传统的基于机器视觉的方法依赖于工程师的经验和环境条件，且该方法侧重于使用固定的算法和过程来处理图像，以提取图像的特定区域，这限制了其可用性和应用性。
（2）需要人工设置阈值：机器视觉方法的人工特征和部分方法的设计需要设置特殊的阈值，鲁棒性较差。
（3）检测速度慢：部分算法包含复杂的人工设计特征，部分方法采用线性相机获取高分辨率图像，算法速度有限，无法实现实时检测。
发明内容
本申请实施例的目的在于提供一种运输皮带异常检测方法、装置及计算机可读存储介质，用以现有的基于机器视觉的运输皮带检测，其可用性和应用性较差、需要人工设置阈值、检测速度慢等问题。
本申请实施例提供的一种运输皮带异常检测方法，包括：
使用自然场景图像对神经网络模型进行自监督学习的预训练；
使用运输皮带训练集的皮带图像，对预训练后的神经网络模型进行模型微调，以能够进行皮带异常检测；使用模型微调后的神经网络模型，对运输皮带训练集的皮带图像进行特征提取，得到运输皮带异常检测的特征图；根据所有特征图构建特征库；
根据特征库，获取运输皮带测试集的每一皮带图像对应的异常得分；对运输皮带测试集的每一皮带图像对应的异常得分进行自适应阈值搜索，得到最优F1阈值；
根据特征库，获取待测试皮带图像对应的异常得分；将待测试皮带图像对应的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将待测试皮带图像标记为异常；其中，最优F1值为兼顾精确率和召回率的F1值，F1值是精确率和召回率的调和平均值。
上述技术方案中，对神经网络模型进行预训练，对预训练后的神经网络模型进行运输皮带异常检测的模型微调，并构建运输皮带异常的特征库，根据特征库进行异常得分的自适应阈值搜索得到最优F1阈值，从而将待测试皮带图像的异常得分与最优F1阈值进行比较的结果能够确定待测试皮带图像是否异常。本实施例将深度学习和迁移学习结合并应用在运输皮带异常检测，提高了模型提取皮带异常特征的针对性和鲁棒性，并且采用自监督学习无需人工设计特征，提高了检测速度，能够实现实时检测，再有，通过自适应调整阈值来判断皮带数据是否异常，无需人工设置阈值。
在一些可选的实施方式中，使用自然场景图像对神经网络模型进行自监督学习的预训练，包括：
采用CutPaste的自监督学习方法，对预训练后的神经网络模型进行再次训练。
上述技术方案中，采用CutPaste的自监督学习方法重新训练了神经网络模型，仅需输入正常数据，通过CutPaste生成异常数据，进行自监督训练，其原因在于：相比监督学习，异常检测面对着独特的挑战：首先就是异常数据是极难获取的；其次，正常和异常数据之间的差异通常是细粒度的，因为高分辨率图像中的缺陷区域可能很小而且很细微；由于异常数据比较难以获取，构建异常检测器通常是半监督下进行，或者仅使用正常数据进行一类分类设置；由于异常块的分布是事先未知的，这些模型不能很好的检测出异常。
在一些可选的实施方式中，使用模型微调后的神经网络模型，对运输皮带训练集的皮带图像进行特征提取，得到运输皮带异常检测的特征图，包括：
将运输皮带训练集的皮带图像输入模型微调后的神经网络模型，获取微调后的神经网络模型的中间层输出的中间特征；
对所有中间特征，提取邻居的特征集合，合并邻居的特征集合，得到多个中间特征图。
上述技术方案中，采用神经网络模型的中间层提取中间特征，然后根据提取的中间特征构建中间特征图，其原因在于：若是从神经网络模型的最后一层提取特征存在两个问题：首先，最后一层提取的特征丢失了更多的局部正常样本信息，由于在测试时遇到的异常类型是未知的，这对下游异常检测性能是不利的；其次，在预训练时是根据自然场景图像进行的，预训练后的神经网络非常深入和抽象的特征偏向于自然图像分类，这与运输皮带异常检测任务和皮带数据只有很少的重叠。
在一些可选的实施方式中，根据所有特征图构建特征库，包括：
根据所有中间特征图构建局部特征集合；再根据局部特征集合，构建初始中间特征库；
对初始中间特征库，使用贪心算法进行抽样优化，得到中间特征库；其中，中间特征库为初始中间特征库的子集。
上述技术方案中，由于根据中间特征图构建的初始中间特征库会变大，运输皮带异常检测的运算时间和所需存储空间也随之增加，因此，本实施例使用贪心算法优化初始中间特征库得到所需的中间特征库，对初始中间特征库进行降维并尽可能保持其中编码的正常特征，中间特征库为初始中间特征库的子集，减少了运输皮带异常检测的时间。
在一些可选的实施方式中，根据特征库，获取运输皮带测试集的每一皮带图像对应的异常得分，包括：
将运输皮带测试集的每一皮带图像，划分为多个像素区域；
对每一像素区域，获取该像素区域距离中间特征库的领域质心最近的目标领域；
获取目标领域内的距离该像素区域最远的目标数据点，根据目标数据点与该像素区域的距离，得到该像素区域的异常得分。
上述技术方案中，将运输皮带测试集的每一皮带图像，划分为多个像素区域，然后根据中间特征库来得到每一像素区域的异常得分，该过程通过划分像素区域以及获取对应异常得分的方式，不仅检测速度快，还能够实现运算皮带异常的精准检测和定位。
在一些可选的实施方式中，对运输皮带测试集的每一皮带图像对应的异常得分进行自适应阈值搜索，得到最优F1阈值，包括：
对每个可能的F1阈值，将像素区域的异常得分与F1阈值进行比较，并根据比较结果将像素区域对应的皮带图像标记为正常或异常；
根据正常或异常的标签，以及比较结果，得到皮带图像的精确率和召回率；
通过在精确率和召回率之间找到平衡点，该平衡点对应的F1阈值即为最优F1阈值。
上述技术方案中，精确率(Precision)是针对预测结果而言的，其含义是在被所有预测为正的样本中实际为正样本的概率，召回率(Recall)是针对原样本而言的，其含义是在实际为正的样本中被预测为正样本的概率，精确率和召回率两个指标无法做到双高，因此，需要选择合适的平衡点来让精确率和召回率两个指标同时达到最高，这个平衡点即为最优F1阈值。具体做法为：对皮带图像的每个像素区域，获取对应的异常得分。对于每个可能的阈值，将异常得分与阈值进行比较，并根据比较结果将皮带图像标记为正常或异常。然后根据标签和比较结果，计算精确率和召回率。这里可以尝试不同的阈值范围，例如从最小得分到最大得分，或者使用一定的步长进行尝试。根据计算得到的精确率和召回率，计算F1值，F1值是精确率和召回率的调和平均值。最后，遍历所有阈值范围，找到使得F1值最大的阈值范围。这个范围将在精确率和召回率之间找到一个平衡点，以最大化F1值，这个F1值就是最优F1阈值。
在一些可选的实施方式中，根据特征库，获取待测试皮带图像对应的异常得分，包括：
将待测试皮带图像，划分为多个待测试像素区域；
对每一待测试像素区域，获取该待测试像素区域距离中间特征库的领域质心最近的目标领域；
获取目标领域内的距离该待测试像素区域最远的目标数据点，根据目标数据点与该待测试像素区域的距离，得到该待测试像素区域的异常得分。
在一些可选的实施方式中，将待测试皮带图像对应的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将对应皮带图像标记为异常，包括：
将待测试像素区域的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将该待测试像素区域对应的皮带图像标记为异常。
本申请实施例提供的一种运输皮带异常检测的装置，包括：
特征库获取模块，用于使用自然场景图像对神经网络模型进行自监督学习的预训练；
使用运输皮带训练集的皮带图像，对预训练后的神经网络模型进行模型微调，以能够进行皮带异常检测；使用模型微调后的神经网络模型，对运输皮带训练集的皮带图像进行特征提取，得到运输皮带异常检测的特征图；根据所有特征图构建特征库；
阈值获取模块，用于根据特征库，获取运输皮带测试集的每一皮带图像对应的异常得分；对运输皮带测试集的每一皮带图像对应的异常得分进行自适应阈值搜索，得到最优F1阈值；
检测模块，用于根据特征库，获取待测试皮带图像对应的异常得分；将待测试皮带图像对应的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将待测试皮带图像标记为异常。
本申请实施例提供的一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如以上任一所述的方法。
本申请实施例提供的一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如以上任一所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种运输皮带异常检测方法步骤流程图；
图2为本实施例提供的宽残差网络的结构示意图；
图3为本实施例提供的CutPaste增强过程示意图；
图4为本实施例提供的获取像素区域的异常得分示意图；
图5示出了本申请实施例提供的电子设备的一种可能的结构。
图标：
1-处理器，2-存储器，3-通信接口，4-通信总线。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参照图1，图1为本申请实施例提供的一种运输皮带异常检测方法步骤流程图，包括：
步骤100、使用自然场景图像对神经网络模型进行自监督学习的预训练；
步骤200、使用运输皮带训练集的皮带图像，对预训练后的神经网络模型进行模型微调，以能够进行皮带异常检测；使用模型微调后的神经网络模型，对运输皮带训练集的皮带图像进行特征提取，得到运输皮带异常检测的特征图；根据所有特征图构建特征库；
步骤300、根据特征库，获取运输皮带测试集的每一皮带图像对应的异常得分；对运输皮带测试集的每一皮带图像对应的异常得分进行自适应阈值搜索，得到最优F1阈值；
步骤400、根据特征库，获取待测试皮带图像对应的异常得分；将待测试皮带图像对应的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将对应皮带图像标记为异常。
本申请实施例中，对神经网络模型进行预训练，对预训练后的神经网络模型进行运输皮带异常检测的模型微调，并构建运输皮带异常的特征库，根据特征库进行异常得分的自适应阈值搜索得到最优F1阈值，从而将待测试皮带图像的异常得分与最优F1阈值进行比较的结果能够确定待测试皮带图像是否异常。本实施例将深度学习和迁移学习结合并应用在运输皮带异常检测，提高了模型提取皮带异常特征的针对性和鲁棒性，并且采用自监督学习无需人工设计特征，提高了检测速度，能够实现实时检测，再有，通过自适应调整阈值来判断皮带数据是否异常，无需人工设置阈值。
其中，在步骤100进行预训练时，可采用ImageNet数据集，ImageNet是一个用于视觉物体识别研究的大型数据库，ImageNet 中目前共有 14197122 幅图像，总共分为 21841个类别，通常所说的 ImageNet 数据集其实是指 ISLVRC2012 比赛用的子数据集，其中train 训练集有 1281167 张照片和标签共 1000 类，大概每类 1300 张图片，val验证集有 50000 副图像，每类 50 个数据，test测试集有 100000 副图片，每类 100 个数据。
本实施例中神经网络模型可采用在ImageNet数据集上预训练的WideResNet-50-2模型，具体的，WideResNet（宽残差网络），其一般结构如图2所示：它由一个初始卷积层conv1组成，然后是3组残差块(每组大小为N) conv2、conv3和conv4，然后是平均池化和最终分类层avg-pool。在实验中，conv1的大小都是固定的，而引入的加宽因子k缩放了三组conv2-4中剩余块的宽度。
需明确的是，神经网络模型除了使用WideResNet-50-2网络之外，还可以采用VGG16、ResNet18、Inception v1和DenseNet121等网络。
在一些可选的实施方式中，步骤100，使用自然场景图像对神经网络模型进行自监督学习的预训练，包括：
步骤110，采用CutPaste的自监督学习方法，对预训练后的神经网络模型进行再次训练。
本申请实施例中，采用CutPaste的自监督学习方法重新训练了神经网络模型，仅需输入正常数据，通过CutPaste生成异常数据，进行自监督训练，其原因在于：相比监督学习，异常检测面对着独特的挑战：首先就是异常数据是极难获取的；其次，正常和异常数据之间的差异通常是细粒度的，因为高分辨率图像中的缺陷区域可能很小而且很细微；由于异常数据比较难以获取，构建异常检测器通常是半监督下进行，或者仅使用正常数据进行一类分类设置；由于异常块的分布是事先未知的，这些模型不能很好的检测出异常。
本实施例中为了学习识别增强图像并鼓励模型检测不规则性的决策规则，具体采用了以下的CutPaste增强方法：
请参照图3，图3为本实施例提供的CutPaste增强过程示意图。通过CutPaste训练神经网络模型CNN来区分正常和增强数据分布的图像，它从正常数据中剪切一个小矩形区域并将其粘贴在随机位置。它是从整个图像或局部像素区域中训练表征。CutPaste增强的自监督学习的训练目标函数如下：
其中是正常数据集,/>是一个 CutPaste 增强，/>是一个由深度网络参数化的二元分类器，/>是指交叉熵损失。实际上，在将/>输入/>或/>之前应用数据增强，例如平移或像素抖动。
需明确的是，除了采取CutPaste的自监督学习方法来训练神经网络模型以外，也可以采取CutOut、Scar等自监督方法进行训练。
在一些可选的实施方式中，步骤200中，使用模型微调后的神经网络模型，对运输皮带训练集的皮带图像进行特征提取，得到运输皮带异常检测的特征图，包括：
步骤210、将运输皮带训练集的皮带图像输入模型微调后的神经网络模型，获取微调后的神经网络模型的中间层输出的中间特征；
步骤220、对所有中间特征，提取邻居的特征集合，合并邻居的特征集合，得到多个中间特征图。
本申请实施例中，采用神经网络模型的中间层提取中间特征，然后根据提取的中间特征构建中间特征图，其原因在于：若是从神经网络模型的最后一层提取特征存在两个问题：首先，最后一层提取的特征丢失了更多的局部正常样本信息，由于在测试时遇到的异常类型是未知的，这对下游异常检测性能是不利的；其次，在预训练时是根据自然场景图像进行的，预训练后的神经网络非常深入和抽象的特征偏向于自然图像分类，这与运输皮带异常检测任务和皮带数据只有很少的重叠。
在一些可选的实施方式中，步骤200中，根据所有特征图构建特征库，包括：
步骤230、根据所有中间特征图构建局部特征集合；再根据局部特征集合，构建初始中间特征库；
步骤240、对初始中间特征库，使用贪心算法进行抽样优化，得到中间特征库；其中，中间特征库为初始中间特征库的子集。
本申请实施例中，由于根据中间特征图构建的初始中间特征库会变大，运输皮带异常检测的运算时间和所需存储空间也随之增加，因此，本实施例使用贪心算法优化初始中间特征库得到所需的中间特征库，对初始中间特征库进行降维并尽可能保持其中编码的正常特征，中间特征库为初始中间特征库的子集，减少了运输皮带异常检测的时间。
其中，构建局部特征集合是为了不损失空间的分辨率和有用的特征，采用局部邻居聚合的方法来增加感受野，然后合并特征。
贪心算法本质上就是核心集二次抽样。从概念上讲，核心集二次抽样的目的是找到一个子集，对于通过A得到的解，通过S可以快速得到最近似解。通过核心集选择，以确保中间特征库的覆盖范围与初始中间特征库大致相似。
在一些可选的实施方式中，步骤300中，根据特征库，获取运输皮带测试集的每一皮带图像对应的异常得分，包括：
步骤310、将运输皮带测试集的每一皮带图像，划分为多个像素区域；
步骤320、对每一像素区域，获取该像素区域距离中间特征库的领域质心最近的目标领域；
步骤330、获取目标领域内的距离该像素区域最远的目标数据点，根据目标数据点与该像素区域的距离，得到该像素区域的异常得分。
本申请实施例中，将运输皮带测试集的每一皮带图像，划分为多个像素区域，然后根据中间特征库来得到每一像素区域的异常得分，该过程通过划分像素区域以及获取对应异常得分的方式，不仅检测速度快，还能够实现运算皮带异常的精准检测和定位。
具体的，请参照图4，图4为本实施例提供的获取像素区域的异常得分示意图，对像素区域query，首先找到最近距离最近领域的质心（图中的方块代表质心），找到距离像素区域query最近的质心后，锁定该领域，然后，在该领域内计算距离像素区域query最远的数据点，用这个数据点与像素区域query的距离计算像素区域query的异常得分。
在一些可选的实施方式中，步骤300中，对运输皮带测试集的每一皮带图像对应的异常得分进行自适应阈值搜索，得到最优F1阈值，包括：
步骤340、对每个可能的F1阈值，将像素区域的异常得分与F1阈值进行比较，并根据比较结果将像素区域对应的皮带图像标记为正常或异常；
步骤350、根据正常或异常的标签，以及比较结果，得到皮带图像的精确率和召回率；
步骤360、通过在精确率和召回率之间找到平衡点，该平衡点对应的F1阈值即为最优F1阈值。
本申请实施例中，精确率(Precision)是针对预测结果而言的，其含义是在被所有预测为正的样本中实际为正样本的概率，召回率(Recall)是针对原样本而言的，其含义是在实际为正的样本中被预测为正样本的概率，精确率和召回率两个指标无法做到双高，因此，需要选择合适的平衡点来让精确率和召回率两个指标同时达到最高，这个平衡点即为最优F1阈值。具体做法为：对皮带图像的每个像素区域，获取对应的异常得分。对于每个可能的阈值，将异常得分与阈值进行比较，并根据比较结果将皮带图像标记为正常或异常。然后根据标签和比较结果，计算精确率和召回率。这里可以尝试不同的阈值范围，例如从最小得分到最大得分，或者使用一定的步长进行尝试。根据计算得到的精确率和召回率，计算F1值，F1值是精确率和召回率的调和平均值。最后，遍历所有阈值范围，找到使得F1值最大的阈值范围。这个范围将在精确率和召回率之间找到一个平衡点，以最大化F1值，这个F1值就是最优F1阈值。
在一些可选的实施方式中，步骤400中，根据特征库，获取待测试皮带图像对应的异常得分，包括：
步骤410、将待测试皮带图像，划分为多个待测试像素区域；
步骤420、对每一待测试像素区域，获取该待测试像素区域距离中间特征库的领域质心最近的目标领域；
步骤430、获取目标领域内的距离该待测试像素区域最远的目标数据点，根据目标数据点与该待测试像素区域的距离，得到该待测试像素区域的异常得分。
在一些可选的实施方式中，步骤400中，将待测试皮带图像对应的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将对应皮带图像标记为异常，包括：
步骤440、将待测试像素区域的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将该待测试像素区域对应的皮带图像标记为异常。
本申请实施例提供的一种运输皮带异常检测的装置，包括：
特征库获取模块，用于使用自然场景图像对神经网络模型进行自监督学习的预训练；使用运输皮带训练集的皮带图像，对预训练后的神经网络模型进行模型微调，以能够进行皮带异常检测；使用模型微调后的神经网络模型，对运输皮带训练集的皮带图像进行特征提取，得到运输皮带异常检测的特征图；根据所有特征图构建特征库。
阈值获取模块，用于：根据特征库，获取运输皮带测试集的每一皮带图像对应的异常得分；对运输皮带测试集的每一皮带图像对应的异常得分进行自适应阈值搜索，得到最优F1阈值。
检测模块，用于根据特征库，获取待测试皮带图像对应的异常得分；将待测试皮带图像对应的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将待测试皮带图像标记为异常。
图5示出了本申请实施例提供的电子设备的一种可能的结构。参照图5，电子设备包括：处理器1、存储器2和通信接口3，这些组件通过通信总线4和/或其他形式的连接机构（未示出）互连并相互通讯。
其中，存储器2包括一个或多个（图中仅示出一个），其可以是，但不限于，随机存取存储器（Random Access Memory，简称RAM），只读存储器（Read Only Memory，简称ROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，简称EPROM），电可擦除可编程只读存储器（Electric Erasable Programmable Read-Only Memory，简称EEPROM）等。处理器1以及其他可能的组件可对存储器2进行访问，读和/或写其中的数据。
处理器1包括一个或多个（图中仅示出一个），其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器1可以是通用处理器，包括中央处理器（Central ProcessingUnit，简称CPU）、微控制单元（Micro Controller Unit，简称MCU）、网络处理器（NetworkProcessor，简称NP）或者其他常规处理器；还可以是专用处理器，包括神经网络处理器（Neural-network Processing Unit，简称NPU）、图形处理器（Graphics Processing Unit，简称GPU）、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific Integrated Circuits，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器1为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。
通信接口3包括一个或多个（图中仅示出一个），可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。通信接口3可以包括进行有线和/或无线通信的接口。
在存储器2中可以存储一个或多个计算机程序指令，处理器1可以读取并运行这些计算机程序指令，以实现本申请实施例提供的方法。
可以理解的，图5所示的结构仅为示意，电子设备还可以包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的结构。图5中所示的各组件可以采用硬件、软件或其组合实现。电子设备可能是实体设备，例如PC机、笔记本电脑、平板电脑、手机、服务器、嵌入式设备等，也可能是虚拟设备，例如虚拟机、虚拟化容器等。并且，电子设备也不限于单台设备，也可以是多台设备的组合或者大量设备构成的集群。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被计算机的处理器读取并运行时，执行本申请实施例提供的方法。例如，计算机可读存储介质可以实现为图5中电子设备中的存储器2。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种运输皮带异常检测方法，其特征在于，包括：
根据特征库，获取待测试皮带图像对应的异常得分；将所述待测试皮带图像对应的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将所述待测试皮带图像标记为异常；
其中，所述特征库的获取方法包括：
使用自然场景图像对神经网络模型进行自监督学习的预训练；
使用运输皮带训练集的皮带图像，对预训练后的神经网络模型进行模型微调，以能够进行皮带异常检测；使用模型微调后的神经网络模型，对运输皮带训练集的皮带图像进行特征提取，得到运输皮带异常检测的特征图；根据所有特征图构建所述特征库；
所述最优F1阈值的获取方法包括：
根据所述特征库，获取运输皮带测试集的每一皮带图像对应的异常得分；对运输皮带测试集的每一皮带图像对应的异常得分进行自适应阈值搜索，得到所述最优F1阈值。
2.如权利要求1所述的方法，其特征在于，所述使用自然场景图像对神经网络模型进行自监督学习的预训练，包括：
采用CutPaste的自监督学习方法，对预训练后的神经网络模型进行再次训练。
3.如权利要求2所述的方法，其特征在于，所述使用模型微调后的神经网络模型，对运输皮带训练集的皮带图像进行特征提取，得到运输皮带异常检测的特征图，包括：
将运输皮带训练集的皮带图像输入模型微调后的神经网络模型，获取微调后的神经网络模型的中间层输出的中间特征；
对所有中间特征，提取邻居的特征集合，合并邻居的特征集合，得到多个中间特征图。
4.如权利要求3所述的方法，其特征在于，所述根据所有特征图构建特征库，包括：
根据所有中间特征图构建局部特征集合；再根据局部特征集合，构建初始中间特征库；
对初始中间特征库，使用贪心算法进行抽样优化，得到中间特征库；其中，中间特征库为初始中间特征库的子集。
5.如权利要求4所述的方法，其特征在于，所述根据特征库，获取运输皮带测试集的每一皮带图像对应的异常得分，包括：
将运输皮带测试集的每一皮带图像，划分为多个像素区域；
对每一像素区域，获取该像素区域距离中间特征库的领域质心最近的目标领域；
获取目标领域内的距离该像素区域最远的目标数据点，根据目标数据点与该像素区域的距离，得到该像素区域的异常得分。
6.如权利要求5所述的方法，其特征在于，所述对运输皮带测试集的每一皮带图像对应的异常得分进行自适应阈值搜索，得到最优F1阈值，包括：
对每个F1阈值，将像素区域的异常得分与F1阈值进行比较，并根据比较结果将像素区域对应的皮带图像标记为正常或异常；
根据正常或异常的标签，以及比较结果，得到皮带图像的精确率和召回率；
通过在精确率和召回率之间找到平衡点，该平衡点对应的F1阈值即为最优F1阈值。
7.如权利要求6所述的方法，其特征在于，所述根据特征库，获取待测试皮带图像对应的异常得分，包括：
将待测试皮带图像，划分为多个待测试像素区域；
对每一待测试像素区域，获取该待测试像素区域距离中间特征库的领域质心最近的目标领域；
获取目标领域内的距离该待测试像素区域最远的目标数据点，根据目标数据点与该待测试像素区域的距离，得到该待测试像素区域的异常得分。
8.如权利要求7所述的方法，其特征在于，所述将待测试皮带图像对应的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将对应皮带图像标记为异常，包括：
将待测试像素区域的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将该待测试像素区域对应的皮带图像标记为异常。
9.一种运输皮带异常检测的装置，其特征在于，包括：
特征库获取模块，用于使用自然场景图像对神经网络模型进行自监督学习的预训练；
使用运输皮带训练集的皮带图像，对预训练后的神经网络模型进行模型微调，以能够进行皮带异常检测；使用模型微调后的神经网络模型，对运输皮带训练集的皮带图像进行特征提取，得到运输皮带异常检测的特征图；根据所有特征图构建特征库；
阈值获取模块，用于根据所述特征库，获取运输皮带测试集的每一皮带图像对应的异常得分；对运输皮带测试集的每一皮带图像对应的异常得分进行自适应阈值搜索，得到所述最优F1阈值；
检测模块，用于根据所述特征库，获取待测试皮带图像对应的异常得分；将所述待测试皮带图像对应的异常得分与最优F1阈值进行比较，若异常得分大于最优F1阈值，则将所述待测试皮带图像标记为异常。
10.一种计算机可读存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-8任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311021023.6A CN116758400B (zh) | 2023-08-15 | 2023-08-15 | 运输皮带异常检测方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311021023.6A CN116758400B (zh) | 2023-08-15 | 2023-08-15 | 运输皮带异常检测方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116758400A true CN116758400A (zh) | 2023-09-15 |
| CN116758400B CN116758400B (zh) | 2023-10-17 |
Family
ID=87951765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311021023.6A Active CN116758400B (zh) | 2023-08-15 | 2023-08-15 | 运输皮带异常检测方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758400B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200097720A1 (en) * | 2018-09-20 | 2020-03-26 | The Boeing Company | Image-based anomaly detection for aerial inspection using self-supervised learning |
| WO2021191908A1 (en) * | 2020-03-25 | 2021-09-30 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Deep learning-based anomaly detection in images |
| WO2021217859A1 (zh) * | 2020-04-30 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 目标异常识别方法、装置、电子设备及存储介质 |
| CN114821187A (zh) * | 2022-05-19 | 2022-07-29 | 济南大学 | 一种基于判别学习的图像异常检测和定位方法及系统 |
| US20220284301A1 (en) * | 2021-03-08 | 2022-09-08 | Robert Bosch Gmbh | Machine learned anomaly detection |
| US20220383128A1 (en) * | 2021-05-28 | 2022-12-01 | Zebra Technologies Corporation | Image-based anomaly detection based on a machine learning analysis of an object |
| CN115471646A (zh) * | 2022-10-19 | 2022-12-13 | 电子科技大学 | 一种无监督的快速图像异常检测与定位的方法 |
| CN115578585A (zh) * | 2022-09-30 | 2023-01-06 | 成都数之联科技股份有限公司 | 工业图像异常检测方法、系统、计算机设备和存储介质 |
| CN115713511A (zh) * | 2022-11-18 | 2023-02-24 | 神华准格尔能源有限责任公司 | 传送带的检测方法、装置和电子设备 |
| CN116433645A (zh) * | 2023-04-23 | 2023-07-14 | 湖南华菱湘潭钢铁有限公司 | 一种皮带鼓包检测方法与检测系统 |
-
2023
- 2023-08-15 CN CN202311021023.6A patent/CN116758400B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200097720A1 (en) * | 2018-09-20 | 2020-03-26 | The Boeing Company | Image-based anomaly detection for aerial inspection using self-supervised learning |
| WO2021191908A1 (en) * | 2020-03-25 | 2021-09-30 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Deep learning-based anomaly detection in images |
| WO2021217859A1 (zh) * | 2020-04-30 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 目标异常识别方法、装置、电子设备及存储介质 |
| US20220284301A1 (en) * | 2021-03-08 | 2022-09-08 | Robert Bosch Gmbh | Machine learned anomaly detection |
| US20220383128A1 (en) * | 2021-05-28 | 2022-12-01 | Zebra Technologies Corporation | Image-based anomaly detection based on a machine learning analysis of an object |
| CN114821187A (zh) * | 2022-05-19 | 2022-07-29 | 济南大学 | 一种基于判别学习的图像异常检测和定位方法及系统 |
| CN115578585A (zh) * | 2022-09-30 | 2023-01-06 | 成都数之联科技股份有限公司 | 工业图像异常检测方法、系统、计算机设备和存储介质 |
| CN115471646A (zh) * | 2022-10-19 | 2022-12-13 | 电子科技大学 | 一种无监督的快速图像异常检测与定位的方法 |
| CN115713511A (zh) * | 2022-11-18 | 2023-02-24 | 神华准格尔能源有限责任公司 | 传送带的检测方法、装置和电子设备 |
| CN116433645A (zh) * | 2023-04-23 | 2023-07-14 | 湖南华菱湘潭钢铁有限公司 | 一种皮带鼓包检测方法与检测系统 |
Non-Patent Citations (2)
| Title |
|---|
| 曾鑫超: "基于深度学习的异常检测技术研究", 《信息科技》, no. 04 * |
| 罗东亮等: "工业缺陷检测深度学习方法综述", 《信息科技》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116758400B (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic pavement crack detection by multi-scale image fusion | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| Liu et al. | A rail surface defect detection method based on pyramid feature and lightweight convolutional neural network | |
| CN111311538B (zh) | 一种基于卷积神经网络的多尺度轻量化道路路面检测方法 | |
| CN114549997B (zh) | 一种基于区域特征提取的x光图像缺陷检测方法和装置 | |
| Liu et al. | Visual defect inspection of metal part surface via deformable convolution and concatenate feature pyramid neural networks | |
| US20190244337A1 (en) | Unsupervised image-based anomaly detection using multi-scale context-dependent deep autoencoding gaussian mixture model | |
| CN116596875B (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN112381788A (zh) | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 | |
| CN112419268A (zh) | 一种输电线路图像缺陷检测方法、装置、设备及介质 | |
| CN114694178A (zh) | 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 | |
| CN116563291B (zh) | 一种smt智能防错上料检测仪 | |
| CN111310826A (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN116030237A (zh) | 工业缺陷检测方法、装置及电子设备、存储介质 | |
| Li et al. | A two-stage crack detection method for concrete bridges using Convolutional Neural Networks | |
| CN117952979B (zh) | 一种建设工程质量检测监管方法及系统 | |
| US11715288B2 (en) | Optical character recognition using specialized confidence functions | |
| Xu et al. | Multiple guidance network for industrial product surface inspection with one labeled target sample | |
| CN117372424B (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
| Han et al. | Targets mask U-Net for wind turbines detection in remote sensing images | |
| CN116758400B (zh) | 运输皮带异常检测方法、装置及计算机可读存储介质 | |
| CN112614121A (zh) | 一种多尺度小目标设备缺陷识别监测方法 | |
| CN115761613B (zh) | 一种基于卷积网络的隧道裂缝自动检测方法 | |
| Zhang et al. | USSC-YOLO: Enhanced Multi-Scale Road Crack Object Detection Algorithm for UAV Image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |