CN115631132A - 网络训练方法、缺陷检测方法、装置、存储介质和设备 - Google Patents

网络训练方法、缺陷检测方法、装置、存储介质和设备 Download PDF

Info

Publication number
CN115631132A
CN115631132A CN202211105292.6A CN202211105292A CN115631132A CN 115631132 A CN115631132 A CN 115631132A CN 202211105292 A CN202211105292 A CN 202211105292A CN 115631132 A CN115631132 A CN 115631132A
Authority
CN
China
Prior art keywords
belt
defect
image
neural network
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211105292.6A
Other languages
English (en)
Inventor
卞新超
姚文钊
黄卫周
黄泽鹏
王冬
韩冰
涂建平
冯军伟
王传奇
陈振森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoneng Zhuhai Port Co ltd
Original Assignee
Guoneng Zhuhai Port Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoneng Zhuhai Port Co ltd filed Critical Guoneng Zhuhai Port Co ltd
Priority to CN202211105292.6A priority Critical patent/CN115631132A/zh
Publication of CN115631132A publication Critical patent/CN115631132A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，特别地涉及一种网络训练方法、缺陷检测方法、装置、存储介质和设备，网络训练方法包括：获取皮带检测数据集；对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。

Description

网络训练方法、缺陷检测方法、装置、存储介质和设备
技术领域
本发明涉及图像处理技术领域，特别地涉及一种网络训练方法、缺陷检测方法、装置、存储介质和设备。
背景技术
目前，物料运送皮带是散装港口的重要设备，物料运送皮带的健康状况严重制约着散装港口的正常运转，缺陷检测是物料运送皮带运维工作的首要工作，皮带缺陷是设备在运行作业中，由于机械疲劳，意外损伤，老化等问题产生的，常常出现诸如皮带跑偏、钢铁插伤、接头鼓泡、钢丝绳裸漏等缺陷。皮带缺陷如果发现不及时，影响设备作业效率，一旦恶化，将存在作业危险，导致设备事故发生。
本领域亟需一种方案解决如何准确检测皮带缺陷的技术问题。
发明内容
本发明提供一种网络训练方法、缺陷检测方法、装置、存储介质和设备，解决了如何准确检测皮带缺陷的技术问题。
第一方面，本发明提供了一种网络训练方法，包括：
获取皮带检测数据集；
对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；
对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；
基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；
基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。
在一些实施例中，皮带检测数据集包括：皮带缺陷图像库和皮带无缺陷图像库；
缺陷类别包括：无缺陷、皮带跑偏、裂痕、钢筋裸漏、钢铁插伤和/或接头鼓泡。
在一些实施例中，第一神经网络包括Faster-RCNN，第二神经网络包括GoogLenet。
第二方面，本发明提供了一种缺陷检测方法，包括：
基于第一方面的第一神经网络，对目标皮带图像进行识别，得到目标皮带图像的缺陷区域定位框；
基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像；
基于第一方面的第二神经网络，对目标皮带图像对应的缺陷图像进行识别，得到缺陷图像对应的缺陷类别。
在一些实施例中，方法还包括：
根据缺陷类别确定维修策略；
根据维修策略确定维修流程。
在一些实施例中，基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像，包括：
基于缺陷区域定位框，对目标皮带图像进行裁剪，以从目标皮带图像中获取目标皮带图像对应的缺陷图像。
第三方面，本发明提供了一种网络训练装置，包括：
数据获取模块，用于获取皮带检测数据集；
区域标定模块，用于对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；
类别标定模块，用于对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；
第一训练模块，用于基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；
第二训练模块，用于基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。
第四方面，本发明提供了一种缺陷检测装置，包括：
区域识别模块，用于基于第一方面的第一神经网络，对目标皮带图像进行识别，得到目标皮带图像的缺陷区域定位框；
区域获取模块，用于基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像；
类别识别模块，用于基于第一方面的第二神经网络，对目标皮带图像对应的缺陷图像进行识别，得到缺陷图像对应的缺陷类别。
第五方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现第一方面的方法，或者实现第二方面的方法。
第六方面，本发明提供了一种设备，包括处理器和存储器，存储器上存储有计算机程序，处理器执行计算机程序时实现第一方面的方法，或者实现第二方面的方法。
本发明提供的一种网络训练方法、缺陷检测方法、装置、存储介质和设备，通过获取皮带检测数据集；对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数；从而得到了用于识别缺陷区域的第一神经网络和用于识别缺陷类型的第二神经网络，在此基础上，基于第一神经网络进行缺陷的区域识别，并基于第二神经网络对缺陷区域进行类别识别，从而能够准确识别皮带的缺陷类型。
本发明的技术方案，充分利用深度学习中的卷积神经网络算法的良好的检测能力。一方面可以高效准确地判断皮带设备故障问题，有助于对港口数字化和智慧化建设的目标实现；另一方面，有助于减轻设备技术管理人员在巡检的劳动强度和时间消耗，有利于设备技术人员对设备科学管理。
本发明的技术方案，提供一种于深度神经网络模型实现物料运送皮带缺陷检测的方法，利用深度卷积神经网络的较强的特征提取和特征学习能力对皮带缺陷图像进行缺陷识别，以帮助提高设备巡检人员对皮带故障的诊断效率。
本发明的技术方案，提供一种基于深度神经网络模型实现物料运送皮带缺陷检测的方法，综合利用两种不同模型的深度卷积神经网络，利用深度学习网络模型的强有力的特征学习和特征提取能力，可以高效准确地判断皮带是否有缺陷，从而客观如实的帮助巡检人员和技术人员提高诊断皮带缺陷故障的效率。
附图说明
在下文中将基于实施例并参考附图来对本发明进行更详细的描述：
图1为本发明实施例的一种网络训练方法流程示意图；
图2为本发明实施例的一种缺陷检测方法流程示意图；
图3为本发明实施例的一种网络训练装置结构示意图；
图4为本发明实施例的一种缺陷检测装置结构示意图；
图5为本发明实施例的一种基于深度卷积网络模型皮带缺陷检测方法流程图；
图6为本发明实施例的一种进行皮带缺陷剪裁的流程示意图；
图7为本发明实施例的一种用于定位皮带缺陷区域的深度卷积网络模型的整体流程图；
图8为本发明实施例的一种用于皮带缺陷识别的深度卷积网络模型的整体流程图。
在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，并对本发明如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。本发明实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明涉及到图像处理及模式识别领域，特别是涉及基于深度学习算法中的卷积神经网络模型的物料运送皮带的缺陷检测方法。
目前，物料运送皮带是散装港口的重要设备，物料运送皮带的健康状况严重制约着散装港口的正常运转，缺陷检测是物料运送皮带运维工作的首要工作，皮带缺陷是设备在运行作业中，由于机械疲劳，意外损伤，老化等问题产生的，常常出现诸如皮带跑偏、钢铁插伤，接头鼓泡，钢丝绳裸漏等缺陷。皮带缺陷如果发现不及时，影响设备作业效率，一旦恶化，将存在作业危险，导致设备事故发生。
本领域亟需一种方案解决如何自动检测皮带缺陷的技术问题。
目前，主要是基于人工对皮带设施进行故障检测，一般由巡检人员和设备维修人员基于目测进行检测，对设备故障进行评估，进一步实施具体维修策略；也存在利用基于传统视觉图像处理的方法进行皮带跑偏检测的运用。然而，这些方案存在如下技术问题。
1)基于人工对皮带设施故障检测的方法，由于设备运行的具体环境和作业的不同，导致皮带缺陷的具体表现和故障严重程度存在一定的差异，即使有经验的设备巡检人员也容易将其忽视，而产生误判误修等情况，且人工检测的方法效率较低。
2)在基于传统视觉图像处理的方法进行皮带跑偏检测的运用中，存在以下缺点：对皮带跑偏图像条件要求苛刻；采用传统图像处理的方法，其过程较为复杂，效率偏低；皮带缺陷识别的准确率低，可靠性差。
以下，将结合实施例对本发明的技术方案及其技术效果进行说明。
实施例一
图1为本发明实施例的一种网络训练方法流程示意图。如图1所示，本实施例提供一种网络训练方法，包括：
获取皮带检测数据集；
对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；
对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；
基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；
基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。
在本实施例中，构建皮带检测数据集包括：将搜集的皮带图像合并为皮带检测数据集，并对皮带检测数据集进行分类：分别将缺陷图像和无缺陷图像中各90％图像作为训练集中的图像；10％图像为测试集中的图像。
在本实施例中，第一神经网络为用于对皮带图像的缺陷区域进行定位的神经网络，第一神经网络为用于对皮带图像的缺陷类别进行识别的神经网络。
本实施的技术方案，通过获取皮带检测数据集；对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数；从而得到了用于识别缺陷区域的第一神经网络和用于识别缺陷类型的第二神经网络。提升了缺陷区域识别的准确度和缺陷类别判别的准确度。
实施例二
在上述实施例的基础上，本实施例提供了一种网络训练方法，
皮带检测数据集包括：皮带缺陷图像库和皮带无缺陷图像库；
缺陷类别包括：无缺陷、皮带跑偏、裂痕、钢筋裸漏、钢铁插伤和/或接头鼓泡。
在一些实施方式中，第一神经网络包括Faster-RCNN，第二神经网络包括GoogLenet，例如包括GoogLenet Inception V3。
Faster-RCNN是一种端到端的深度学习检测算法，其将特征提取、候选框选取、边框回归和分类都整合到一个网络中，从而有效的提高检测精度和检测效率。
GoogLeNet是一种深度学习结构，在这之前的AlexNet、VGG等结构都是通过增大网络的深度(层数)来获得更好的训练效果，但层数的增加会带来很多负作用，比如overfit、梯度消失、梯度爆炸等。Inception的提出则从另一种角度来提升训练结果：能更高效的利用计算资源，在相同的计算量下能提取到更多的特征，从而提升训练结果。
在本实施例中，构建皮带检测数据集包括：将搜集的包括皮带各式缺陷的皮带缺陷图像库和皮带无缺陷图像库合并为皮带检测数据集，并对皮带检测数据集进行分类：分别将缺陷图像和无缺陷图像中各90％图像作为训练集中的图像；10％图像为测试集中的图像。
在本实施例中，对皮带缺陷图像库的缺陷区域进行人工标定：在皮带缺陷图像库中，沿缺陷区域的四个顶点组成的四条外边位对缺陷区域进行标记，得到缺陷区域定位框。
在本实施例中，对皮带检测数据集的缺陷类型进行人工标定：无缺陷图像标记为0—无缺陷；缺陷图像根据具体情况分别标记为：1—皮带跑偏；2—裂痕；3—钢筋裸漏；4—钢铁插伤；5—接头鼓泡。
在本实施例中，对用于对皮带缺陷区域进行定位的深度卷积神经网络进行训练：利用皮带缺陷图像库中的训练集中的图像训练一个用于自动定位皮带缺陷区域的深度卷积神经网络，并确定深度卷积神经网络中的学习参数；
在本实施例中，对用于对皮带缺陷故障类别进行识别的深度卷积神经网络进行训练：利用皮带检测数据集中的训练集中的图像数据训练一个用于自动识别皮带缺陷故障类别的深度卷积神经网络模型，并确定深度卷积神经网络中的学习参数。
在本实施例中，还包括：深度卷积神经网络的结构建立，包括：
确定深度神经网络卷积层、反卷积层和全连接层的层数，每个卷积层、反卷积层和全连接层的特征图数、卷积层所用的卷积核大小和反卷积层所用的反卷积核的大小、池化层的层数和所用采样核的大小、以及训练步长。
在本实施例中，确定卷积神经网络的学习参数包括：通过不断降低损失函数的函数值来学习训练深度卷积神经网络的参数。
其中，用于定位皮带缺陷区域的深度卷积神经网络模型为Faster-RCNN，其的损失函数L({pi},{ti})为：
Figure BDA0003841528570000081
其中，i表示深度卷积神经网络中第i个锚点，pi为第i个锚点为皮带图像缺陷区域的预测概率，如果锚点为正则标签的真实值
Figure BDA0003841528570000082
为1，如果锚点为负则标签的真实值
Figure BDA0003841528570000083
为0，当标签的真实值
Figure BDA0003841528570000084
为1时，则相对应的回归损失函数Lreg将会被激活；ti为包含定位框四个顶点所对应的坐标参数向量，
Figure BDA0003841528570000085
为定位框的真实值；Lcls为两个类(目标以及非目标)的log损失函数；Lreg表示定位框的回归损失函数取为
Figure BDA0003841528570000086
其中R为1范数损失函数。用于检测皮带缺陷区域的卷积神经网络的学习速率设为0.001，迭代的次数设为100000。
在本实施例中，用于皮带缺陷识别的卷积神经网络为GoogLenet Inception V3深度卷积神经网络模型，其损失函数l为：
Figure BDA0003841528570000087
其中，g和
Figure BDA0003841528570000088
分别表示图像属于皮带缺陷的真实值和预测值，g＝1表示图像属于皮带缺陷，g＝0则为皮带正常，预测值表示属于皮带缺陷的预测概率，分布在[0,1]之间；每张图像的大小为N×W×H，其中N表示输出的类别数目，W和H表示图像的宽和高，n表示像素(i,j)的真实标记。用于检测皮带缺陷类别的卷积神经网络的学习速率设为0.001，迭代的次数设为100000。
本实施例的技术方案，通过将缺陷类别分为无缺陷、皮带跑偏、裂痕、钢筋裸漏、钢铁插伤和/或接头鼓泡，并使用Faster-RCNN作为第一神经网络，使用GoogLenet InceptionV3作为第二神经网络，能够减小训练成本。
实施例三
在上述实施例的基础上，图2为本发明实施例的一种缺陷检测方法流程示意图，如图2所示，本实施例提供了一种缺陷检测方法，包括：
基于上述实施例的第一神经网络，对目标皮带图像进行识别，得到目标皮带图像的缺陷区域定位框；
基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像；
基于上述实施例的第二神经网络，对目标皮带图像对应的缺陷图像进行识别，得到缺陷图像对应的缺陷类别。
在本实施例中，定位缺陷区域：利用训练好的用于定位皮带缺陷区域的深度卷积神经网络，定位皮带缺陷图像库中皮带缺陷图像的缺陷区域，得到含有缺陷区域的定位框，例如得到含有缺陷区域定位框的四个顶点坐标；
在本实施例中，剪切缺陷区域图像：完成皮带缺陷图像的缺陷区域定位后，根据所得到的含有缺陷区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到皮带缺陷区域图像；
在本实施例中，识别缺陷类别：利用训练好的用于皮带缺陷故障类别识别的深度卷积神经网络来识别裁剪得到的皮带缺陷区域图像和无缺陷图像库图像，输出检测的结果。
本实施例的技术方案，通过基于上述实施例的第一神经网络，对目标皮带图像进行识别，得到目标皮带图像的缺陷区域定位框；基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像；基于上述实施例的第二神经网络，对目标皮带图像对应的缺陷图像进行识别，得到缺陷图像对应的缺陷类别；从而将缺陷区域的检测与缺陷类别的识别分开，减少了缺陷区域检测的工作量，并提升了缺陷类别识别的准确度。本实施例的技术方案，利用两个深度卷积网络模型(Faster-RCNN和GoogLenet Inception_V3)实现对皮带缺陷进行区域定位并实现识别，基于缺陷类型实现负责维修策略。
实施例四
在上述实施例的基础上，本实施例提供了一种缺陷检测方法，方法还包括：
根据缺陷类别确定维修策略；
根据维修策略确定维修流程。
在本实施例中，确定维修策略：技术员根据网络检测结果确定具体维修策略，根据维修策略辅助技术人员做出标准维修工作流程。
本实施例的技术方案，在确定了缺陷类别之后，通过根据缺陷类别确定维修策略；根据维修策略确定维修流程；能够生成与缺陷类别对应的维修流程，提升了维修团队整体的维修水平。
实施例五
在上述实施例的基础上，本实施例提供了一种缺陷检测方法，基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像，包括：
基于缺陷区域定位框，对目标皮带图像进行裁剪，以从目标皮带图像中获取目标皮带图像对应的缺陷图像。
在本实施例中，针对步用于定位皮带缺陷区域的卷积神经网络对图像进行缺陷区域定位后，得到一个含有缺陷区域的定位框。裁剪皮带缺陷图像的缺陷区域，具体为根据含有缺陷区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到缺陷区域图像。
本实施例的技术方案，通过基于缺陷区域定位框，对目标皮带图像进行裁剪，以从目标皮带图像中获取目标皮带图像对应的缺陷图像，能够将待进行缺陷类别识别的图像由整个皮带图像减小为部分皮带图像，减少了缺陷类别识别所需要的工作量，并提升了缺陷类别识别的效率和准确度。
实施例六
在上述实施例的基础上，图3为本发明实施例的一种网络训练装置结构示意图，如图3所示，本实施例提供了一种网络训练装置，包括：
数据获取模块，用于获取皮带检测数据集；
区域标定模块，用于对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；
类别标定模块，用于对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；
第一训练模块，用于基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；
第二训练模块，用于基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。
可以理解的是，本实施例的技术方案细节及其技术效果与上述实施例相应，此处不再赘述。
实施例七
在上述实施例的基础上，图4为本发明实施例的一种缺陷检测装置结构示意图，如图4所示，本实施例提供了一种缺陷检测装置，包括：
区域识别模块，用于基于上述实施例的第一神经网络，对目标皮带图像进行识别，得到目标皮带图像的缺陷区域定位框；
区域获取模块，用于基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像；
类别识别模块，用于基于上述实施例的第二神经网络，对目标皮带图像对应的缺陷图像进行识别，得到缺陷图像对应的缺陷类别。
可以理解的是，本实施例的技术方案细节及其技术效果与上述实施例相应，此处不再赘述。
实施例八
在上述实施例的基础上，本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的方法。
上述存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等。
实施例九
在上述实施例的基础上，本实施例提供了一种设备，包括处理器和存储器，存储器上存储有计算机程序，处理器执行上述实施例的方法。
处理器可以是专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable LogicDevice，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中的方法。
存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
实施例十
在上述实施例的基础上，本实施例提供了一个应用实例。
本发明涉及到图像处理及模式识别领域，特别是涉及基于深度学习算法中的卷积神经网络模型的物料运送皮带的缺陷检测方法。
目前，物料运送皮带是散装港口的重要设备，物料运送皮带的健康状况严重制约着散装港口的正常运转，缺陷检测是物料运送皮带运维工作的首要工作，皮带缺陷是设备在运行作业中，由于机械疲劳，意外损伤，老化等问题产生的，常常出现诸如皮带跑偏、钢铁插伤，接头鼓泡，钢丝绳裸漏等缺陷。皮带缺陷如果发现不及时，影响设备作业效率，一旦恶化，将存在作业危险，导致设备事故发生。
本领域亟需一种方案解决如何自动检测皮带缺陷的技术问题。
目前，主要是基于人工对皮带设施进行故障检测，一般由巡检人员和设备维修人员基于目测进行检测，对设备故障进行评估，进一步实施具体维修策略；也存在利用基于传统视觉图像处理的方法进行皮带跑偏检测的运用。
现技术的缺陷有：
1)基于人工对皮带设施故障检测的方法，由于设备运行的具体环境和作业的不同，导致皮带缺陷的具体表现和故障严重程度存在一定的差异，即使有经验的设备巡检人员也容易将其忽视，而产生误判误修等情况，且人工检测的方法效率较低。
2)在基于传统视觉图像处理的方法进行皮带跑偏检测的运用中，存在以下缺点：对皮带跑偏图像条件要求苛刻；采用传统图像处理的方法，其过程较为复杂，效率偏低；皮带缺陷识别的准确率低，可靠性差。
本方案的目的：
本发明充分利用深度学习中的卷积神经网络算法的良好的检测能力。一方面可以高效准确地判断皮带设备故障问题，有助于对港口数字化和智慧化建设的目标实现；另一方面，有助于减轻设备技术管理人员在巡检的劳动强度和时间消耗，有利于设备技术人员对设备科学管理。
本发明实施例所要解决的技术问题在于，提供一种于深度神经网络模型实现物料运送皮带缺陷检测的方法，利用深度卷积神经网络的较强的特征提取和特征学习能力对皮带缺陷图像进行缺陷识别，以帮助提高设备巡检人员对皮带故障的诊断效率。
为了解决上述技术问题，本发明实施例提供了一种基于深度神经网络模型实现物料运送皮带缺陷检测的方法—图5，图6，方法包括以下步骤：
S1：皮带检测数据集构建：将搜集的包括皮带各式缺陷的皮带缺陷图像库和皮带无缺陷图像库合并为皮带检测数据集，并对皮带检测数据集进行分类：分别将缺陷图像和无缺陷图像中各90％图像作为训练集中的图像；10％图像为测试集中的图像。
S2：对皮带缺陷图像库的缺陷区域进行人工标定：在皮带缺陷图像库中，沿缺陷区域的四个顶点组成的四条外边位对缺陷区域进行标记，得到缺陷区域定位框。
S3：对皮带检测数据集的缺陷类型进行人工标定：无缺陷图像标记为0—无缺陷；缺陷图像根据具体情况分别标记为：1—皮带跑偏；2—裂痕；3—钢筋裸漏；4—钢铁插伤；5—接头鼓泡。
S4：对用于对皮带缺陷区域进行定位的深度卷积神经网络进行训练：利用皮带缺陷图像库中的训练集中的图像训练一个用于自动定位皮带缺陷区域的深度卷积神经网络—如图7所示，并确定深度卷积神经网络中的学习参数；在图7中，P*Q为图像的原始大小尺寸，经过预处理即裁剪，将图像尺寸统一为M*N。因为目前获取皮带图像数据的摄像头不同，所获取的图像尺寸也不同。
S5：对用于对皮带缺陷故障类别进行识别的深度卷积神经网络进行训练：利用皮带检测数据集中的训练集中的图像数据训练一个用于自动识别皮带缺陷故障类别的深度卷积神经网络模型，并确定深度卷积神经网络中的学习参数。
S6：定位缺陷区域：利用步骤S4中训练好的用于定位皮带缺陷区域的深度卷积神经网络，定位皮带缺陷图像库中皮带缺陷图像的缺陷区域，得到含有缺陷区域的定位框，例如得到含有缺陷区域定位框的四个顶点坐标。
S7：剪切缺陷区域图像：完成步骤S6中皮带缺陷图像的缺陷区域定位后，根据步骤S2中所得到的含有缺陷区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到皮带缺陷区域图像。
S8：识别缺陷类别：利用步骤S5中训练好的用于皮带缺陷故障类别识别的深度卷积神经网络来识别步骤S7中裁剪得到的皮带缺陷区域图像和无缺陷图像库图像，输出检测的结果—图8。
S9：确定维修策略：技术员根据网络检测结果确定具体维修策略，根据维修策略辅助技术人员做出标准维修工作流程。
其中，在S4之前，还包括：深度卷积神经网络的结构建立，包括：
确定深度神经网络卷积层、反卷积层和全连接层的层数，每个卷积层、反卷积层和全连接层的特征图数、卷积层所用的卷积核大小和反卷积层所用的反卷积核的大小、池化层的层数和所用采样核的大小、以及训练步长。
其中，确定卷积神经网络的学习参数包括：通过不断降低损失函数的函数值来学习训练深度卷积神经网络的参数。
其中，用于定位皮带缺陷区域的深度卷积神经网络模型为Faster-RCNN，其的损失函数L({pi},{ti})为：
Figure BDA0003841528570000151
其中，i表示深度卷积神经网络中第i个锚点，pi为第i个锚点为皮带图像缺陷区域的预测概率，如果锚点为正则标签的真实值
Figure BDA0003841528570000152
为1，如果锚点为负则标签的真实值
Figure BDA0003841528570000153
为0，当标签的真实值
Figure BDA0003841528570000154
为1时，则相对应的回归损失函数Lreg将会被激活；ti为包含定位框四个顶点所对应的坐标参数向量，
Figure BDA0003841528570000155
为定位框的真实值；Ncls为所取锚点个数，即定位框内像素大小；Lcls为两个类(目标以及非目标)的log损失函数；Nreg为特征图的大小；Lreg表示定位框的回归损失函数取为
Figure BDA0003841528570000156
其中R为1范数损失函数。用于检测皮带缺陷区域的卷积神经网络的学习速率设为0.001，迭代的次数设为100000。
用于皮带缺陷识别的卷积神经网络为GoogLenet Inception_V3深度卷积神经网络模型，其损失函数l为：
Figure BDA0003841528570000157
其中，g和
Figure BDA0003841528570000158
分别表示图像属于皮带缺陷的真实值和预测值，g＝1表示图像属于皮带缺陷，g＝0则为皮带正常，预测值表示属于皮带缺陷的预测概率，分布在[0,1]之间；每张图像的大小为N×W×H，其中N表示输出的类别数目，W和H表示图像的宽和高，n表示像素(i,j)的真实标记。用于检测皮带缺陷类别的卷积神经网络的学习速率设为0.001，迭代的次数设为100000。
在步骤S6中，针对步骤S4中利用训练好的用于定位皮带缺陷区域的卷积神经网络对图像进行缺陷区域定位后，得到一个含有缺陷区域的定位框。步骤S7中裁剪皮带缺陷图像的缺陷区域，具体为根据步骤S6中所得到的含有缺陷区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到缺陷区域图像。
本发明基于深度神经网络模型实现物料运送皮带缺陷检测的方法，本发明综合利用两种不同模型的深度卷积神经网络，利用深度学习网络模型的强有力的特征学习和特征提取能力，可以高效准确地判断皮带是否有缺陷，从而客观如实的帮助巡检人员和技术人员提高诊断皮带缺陷故障的效率。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然本发明所揭露的实施方式如上，但上述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种网络训练方法，其特征在于，包括：
获取皮带检测数据集；
对所述皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到所述皮带检测数据集中的每一皮带图像的缺陷区域定位框；
对所述皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到所述皮带检测数据集中的每一皮带图像的缺陷类别；
基于所述皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；
基于所述皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。
2.根据权利要求1所述的网络训练方法，其特征在于，
所述皮带检测数据集包括：皮带缺陷图像库和皮带无缺陷图像库；
所述缺陷类别包括：无缺陷、皮带跑偏、裂痕、钢筋裸漏、钢铁插伤和/或接头鼓泡。
3.根据权利要求1所述的网络训练方法，其特征在于，所述第一神经网络包括Faster-RCNN，所述第二神经网络包括GoogLenet。
4.一种缺陷检测方法，其特征在于，包括：
基于权利要求1至3中任一项所述的第一神经网络，对目标皮带图像进行识别，得到所述目标皮带图像的缺陷区域定位框；
基于所述缺陷区域定位框，从所述目标皮带图像中获取所述目标皮带图像对应的缺陷图像；
基于权利要求1至3中任一项所述的第二神经网络，对所述目标皮带图像对应的缺陷图像进行识别，得到所述缺陷图像对应的缺陷类别。
5.根据权利要求4所述的缺陷检测方法，其特征在于，所述方法还包括：
根据所述缺陷类别确定维修策略；
根据所述维修策略确定维修流程。
6.根据权利要求4所述的缺陷检测方法，其特征在于，所述基于所述缺陷区域定位框，从所述目标皮带图像中获取所述目标皮带图像对应的缺陷图像，包括：
基于所述缺陷区域定位框，对所述目标皮带图像进行裁剪，以从所述目标皮带图像中获取所述目标皮带图像对应的缺陷图像。
7.一种网络训练装置，其特征在于，包括：
数据获取模块，用于获取皮带检测数据集；
区域标定模块，用于对所述皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到所述皮带检测数据集中的每一皮带图像的缺陷区域定位框；
类别标定模块，用于对所述皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到所述皮带检测数据集中的每一皮带图像的缺陷类别；
第一训练模块，用于基于所述皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；
第二训练模块，用于基于所述皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。
8.一种缺陷检测装置，其特征在于，包括：
区域识别模块，用于基于权利要求1至3中任一项所述的第一神经网络，对目标皮带图像进行识别，得到所述目标皮带图像的缺陷区域定位框；
区域获取模块，用于基于所述缺陷区域定位框，从所述目标皮带图像中获取所述目标皮带图像对应的缺陷图像；
类别识别模块，用于基于权利要求1至3中任一项所述的第二神经网络，对所述目标皮带图像对应的缺陷图像进行识别，得到所述缺陷图像对应的缺陷类别。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法，或者实现权利要求4至6中任一项所述的方法。
10.一种设备，包括处理器和存储器，其特征在于，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的方法，或者实现权利要求4至6中任一项所述的方法。
CN202211105292.6A 2022-09-09 2022-09-09 网络训练方法、缺陷检测方法、装置、存储介质和设备 Pending CN115631132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211105292.6A CN115631132A (zh) 2022-09-09 2022-09-09 网络训练方法、缺陷检测方法、装置、存储介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211105292.6A CN115631132A (zh) 2022-09-09 2022-09-09 网络训练方法、缺陷检测方法、装置、存储介质和设备

Publications (1)

Publication Number Publication Date
CN115631132A true CN115631132A (zh) 2023-01-20

Family

ID=84903270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211105292.6A Pending CN115631132A (zh) 2022-09-09 2022-09-09 网络训练方法、缺陷检测方法、装置、存储介质和设备

Country Status (1)

Country Link
CN (1) CN115631132A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168020A (zh) * 2023-04-21 2023-05-26 纳琳科新材料(南通)有限公司 一种皮革缺陷检测方法
CN117173461A (zh) * 2023-08-29 2023-12-05 湖北盛林生物工程有限公司 一种多视觉任务的灌装容器缺陷检测方法、系统及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168020A (zh) * 2023-04-21 2023-05-26 纳琳科新材料(南通)有限公司 一种皮革缺陷检测方法
CN116168020B (zh) * 2023-04-21 2023-08-25 纳琳科新材料(南通)有限公司 一种皮革缺陷检测方法
CN117173461A (zh) * 2023-08-29 2023-12-05 湖北盛林生物工程有限公司 一种多视觉任务的灌装容器缺陷检测方法、系统及介质

Similar Documents

Publication Publication Date Title
CN115631132A (zh) 网络训练方法、缺陷检测方法、装置、存储介质和设备
Akagic et al. Pothole detection: An efficient vision based method using rgb color space image segmentation
CN110136101B (zh) 一种基于孪生距离比对的轮胎x光病疵检测方法
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
US11657491B2 (en) Learning data collection apparatus, learning data collection method, and program
CN108711148A (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN113781537B (zh) 一种轨道弹条扣件缺陷识别方法、装置和计算机设备
CN111046950A (zh) 一种图像处理方法、装置、存储介质和电子装置
CN111881970A (zh) 一种基于深度学习的外破图像智能识别方法
US11587299B2 (en) Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
CN110910360A (zh) 电网图像的定位方法和图像定位模型的训练方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN111931721B (zh) 年检标签颜色和个数的检测方法、装置及电子设备
CN109102486B (zh) 基于机器学习的表面缺陷检测方法及装置
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN116091503B (zh) 一种面板异物缺陷的判别方法、装置、设备及介质
CN114359285B (zh) 基于视觉上下文约束学习的电网缺陷检测方法和装置
CN115082650A (zh) 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法
CN115761257A (zh) 基于计算机视觉技术的零部件角度检测方法及装置
CN115438945A (zh) 基于电力设备巡检的风险识别方法、装置、设备及介质
CN114445326A (zh) 光伏面板异常检测方法、检测装置及计算机可读存储装置
CN112419316A (zh) 一种跨设备可见光纹理缺陷检测方法及装置
CN112070164A (zh) 干湿污泥分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination