CN110610483A - 裂纹图像获取、检测方法、计算机设备及可读存储介质 - Google Patents
裂纹图像获取、检测方法、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN110610483A CN110610483A CN201910739992.2A CN201910739992A CN110610483A CN 110610483 A CN110610483 A CN 110610483A CN 201910739992 A CN201910739992 A CN 201910739992A CN 110610483 A CN110610483 A CN 110610483A
- Authority
- CN
- China
- Prior art keywords
- image
- crack
- component
- equipment
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 114
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims description 21
- 238000002372 labelling Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000012212 insulator Substances 0.000 description 42
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000012795 verification Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种裂纹图像获取、检测方法、计算机设备及可读存储介质，属于计算机视觉技术领域。所述裂纹图像获取方法包括：通过对样本图像中目标设备进行检测，生成设备图像集，其次对设备图像集中的目标部件进行检测，生成部件图像集，然后对部件图像集进行处理，生成裂纹图像集；基于裂纹图像集训练检测模型；对样本图像的层层检测及对检测结果进行分割，结合了目标检测及语义分割技术来对裂纹进行识别，能够实现快速而准确地识别裂纹的具体像素，而不仅仅是识别其所在的外接矩形区域，据此而获取的裂纹图像更准确。本申请提供的裂纹检测方法，其裂纹检测模型基于上述裂纹图像获取方法获取的裂纹图像训练而成，能够快速而准确地识别裂纹。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种裂纹图像获取、检测方法、计算机设备及可读存储介质。
背景技术
由于一些设备常年暴露在外，长期处于暴晒、冰冻、台风等各种气候和各种环境因素影响下，其出现裂纹是一种难以避免的现象。这些设备的部件上出现裂纹，意味着这个部件可能发生了损坏，这种情况将会引发各种问题，如电力领域中，供电设备的部件出现裂纹，将会引发供电中断等各种问题，以至影响到整个整个电力系统的稳定运行。
常见的检查方法主要是人工观察、测量。近几年，随着无人机应用的普及，使用无人机进行设备巡检也成了一种新的方式，但是目前的相关识别算法在应对户外设备的裂纹进行识别方面，效果不佳，正确率不高。传统目标检测算法和流程不适用于设备部件裂纹的识别，一方面是由于裂纹仅占图像的很小一部分像素区域难以被发现，另一方面是因为此类算法仅仅检测包含目标对象的最小外接矩形而非它的实际像素，而狭长的裂纹检测结果并不适合用外接矩形来表达。语义分割算法虽然能将目标对象的像素分割出来，但它却极有可能将图像中的其它像素误判为目标对象的像素。同时这些检测算法往往是针对某一个特定对象进行的，并不能够对设备上的各种部件的裂纹进行有效的检测。
因此，目前的目标检测识别算法在进行裂纹检测时，准确率不高，并且可扩展性较差。
发明内容
本申请实施例提供了一种裂纹图像获取、检测方法、计算机设备及可读存储介质，能解决相关技术中对裂纹识别准确率低的问题。所述技术方案如下：
一方面，提供了一种裂纹图像获取方法，包括：
获取样本图像；其中，所述样本图像包括目标设备，所述目标设备包括目标部件，所述目标部件上具有裂纹；
检测出所述样本图像中的目标设备，得到设备图像，生成设备图像集；
依次检测所述设备图像中的所述目标部件，得到部件图像，生成部件图像集；
根据所述部件图像集，得到裂纹图像，生成裂纹图像集。
可选的，所述检测出所述样本图像中的目标设备，得到设备图像，以形成设备图像集，包括：
对所述样本图像集进行处理，筛选出包含所述目标设备的且符合像素要求的图像，生成第一设备图像集；
通过最小外接矩形框，对所述第一设备图像集中每一张图像中的目标设备进行标注，生成标注文件；
对所有已标注的图像进行汇总及编号，生成设备图像集。
可选的，所述依次检测所述设备图像中的所述目标部件，得到部件图像，以形成部件图像集，包括：
将所述设备图像集中的标注区域截取，生成第二设备图像集；
对所述第二设备图像集进行分析，筛选出包含目标部件的符合质量要求的图像，生成第一部件图像集；
通过最小外接矩形框，对所述第一部件图像集中每一张图像中的目标部件进行标注，生成标注文件；
对所有已标注的图像进行汇总及编号，生成部件图像集。
可选的，根据所述部件图像集，得到裂纹图像，以生成裂纹图像集，包括：将所述部件图像集中的标注区域截取、并根据部件状态进行分类，生成第二部件图像集；
对所述第二部件图像集进行分析，筛选出所有包含裂纹、并符合质量要求的部件图像，生成裂纹图像集。
可选的，根据所述部件图像集，得到裂纹图像，以生成裂纹图像集，包括：
对所述部件图像集进行分析，筛选出不包含裂纹的部件图像；
使用计算机工具软件设计模拟各种不同形状的裂纹，对所述各种不同形状的裂纹进行不同程度的翻转、拉伸以及角度变换，将生成的图像添加至所述裂纹图像集。
可选的，所述裂纹图像获取方法还包括：
选取待检测部件；
模拟真实工况对所述待检测部件进行破坏，使其产生裂纹；
获取多角度拍摄的所述裂纹的图像；
将生成的图像添加至所述裂纹图像集。
一方面，提供一种裂纹检测模型的训练方法，包括：
获取设备图像集；其中，所述设备图像集是通过对样本图像进行目标设备检测得到的；
基于所述设备图像集，训练设备检测模型；
获取部件图像集；其中，所述部件图像集是通过对所述设备图像集中的设备图像进行目标部件检测得到的；
基于所述部件图像集，训练部件检测模型；
获取裂纹图像集；其中，所述裂纹图像集是通过对所述部件图像集中的部件图像进行裂纹检测得到的；
基于所述裂纹图像集，训练裂纹检测模型；
依次级联所述设备检测模型、所述部件检测模型以及所述裂纹检测模型，以得到所述裂纹检测模型。
一方面，提供一种裂纹检测方法，包括：
获取待检测图像；
将所述待检测图像输入裂纹检测模型中，以检测出所述待检测图像中的裂纹；其中，所述裂纹检测模型是根据本申请提供的裂纹检测模型的训练方法训练得到的。
可选的，所述将所述待检测图像输入裂纹检测模型中，以检测出所述待检测图像中的裂纹，包括：
所述待检测图像能够通过离线或在线中的至少一种形式导入到处理设备中；
通过裂纹检测模型对所述待检测图像进行分析，识别所述待检测图像中的目标设备，生成设备图像；
通过裂纹检测模型对所述输变电设备图像进行分析，识别所述待检测图像中的目标设备的目标部件，生成部件图像；
通过裂纹检测模型对所述部件图像进行分析，识别所述待检测图像中的目标设备的目标部件上的裂纹；
计算并标注所述裂纹在所述待检测图像中的位置。
可选的，所述通过裂纹检测模型对所述待检测图像进行分析，识别所述待检测图像中的目标设备，生成设备图像，包括：
对所述待检测图像进行分析，若所述待检测图像中有目标设备，则通过外接矩形自动标注，截取出所述目标设备像素矩形，生成设备图像。
可选的，所述通过裂纹检测模型对所述输变电设备图像进行分析，识别所述待检测图像中的目标设备的目标部件，生成部件图像，包括：
对所述设备图像进行分析，通过外接矩形自动标注所述设备图像中的目标部件，截取出所述部件像素矩形，生成部件图像。
可选的，所述通过裂纹检测模型对所述部件图像进行分析，识别所述待检测图像中的目标设备的目标部件上的裂纹，包括：
对所述目标部件图像进行分析，若所述目标部件图像中存在有裂纹，自动标注出每一个相关像素点，生成所述相关像素点在所述目标部件图像中位置。
可选的，所述计算并标注所述裂纹在所述待检测图像中的位置，包括：
计算所有目标部件像素在原图像的实际位置；
根据所述相关像素点在所述目标部件图像中位置，计算所述裂纹在所述待检测图像中的位置。
一方面，提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或程序，所述至少一条指令或程序由所述处理器加载并执行以实现本申请提供的裂纹检测方法。
一方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令或程序，所述指令或程序由处理器加载并执行以实现本申请提供的裂纹检测方法。
本申请实施例提供的技术方案，带来的有益效果至少包括如下：
通过对样本图像中目标设备进行检测，生成设备图像集，其次对设备图像集中的目标部件进行检测，生成部件图像集，然后对部件图像集进行处理，生成裂纹图像集，通过对样本图像层层检测，以及对检测结果进一步分割，结合了目标检测及语义分割技术来对裂纹进行识别，能够实现快速而准确地识别裂纹的具体像素，而不仅仅是识别其所在的外接矩形区域，据此而获取的裂纹图像更准确。
本申请提供的裂纹检测方法，其裂纹检测模型基于上述裂纹图像获取方法获取的裂纹图像训练而成。本申请实施例提供的裂纹检测方法，通过裂纹检测模型，首先识别目标设备的外接矩形区域，继而从这个区域中进一步地识别出目标部件的外接矩形区域；继而从这个区域中进一步地识别出裂纹的具体像素；这种检测方式能够明确识别出裂纹的具体像素区域而非其所在的外接矩阵区域，并且由于通过两次检测分别识别目标设备与目标部件，既快速又准确。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中裂纹图像获取方法的一个示意的流程图；
图2为本发明实施例中裂纹图像模型训练方法的示意流程图；
图3为本发明实施例中裂纹检测方法的示意流程图；
图4为本发明实施例中裂纹图像获取、模型训练及检测方法的示意流程图；
图5为本申请一个示例性实施例中的计算机设备的框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本申请实施例提供一种裂纹图像获取方法，包括：
步骤101，获取样本图像；其中，样本图像包括目标设备，目标设备包括目标部件，目标部件上具有裂纹；
步骤102，检测出样本图像中的目标设备，得到设备图像，生成设备图像集；
步骤103，依次检测设备图像中的目标部件，得到部件图像，生成部件图像集；
步骤104，根据部件图像集，得到裂纹图像，生成裂纹图像集。
例如：在实时过程中结合经验梳理、总结出输电线路上较大概率出现裂纹的设备，将这些易出现裂纹的设备作为目标设备进一步剖析出具体发生裂纹现象的部件，如绝缘子设备的绝缘子片和绝缘子片连接处易出现裂纹。为了便于描述本方法的具体实施方式，下面以绝缘子设备为例进行阐述，待设备种类进行扩充后，此方法将依然适用。
可选的，检测出样本图像中的目标设备，得到设备图像，以形成设备图像集，包括：
对样本图像集进行处理，筛选出包含目标设备的且符合像素要求的图像，生成第一设备图像集；
通过最小外接矩形框，对第一设备图像集中每一张图像中的目标设备进行标注，生成标注文件；
对所有已标注的图像进行汇总及编号，生成设备图像集。
本申请的获取样本图像分为三个部分，包括设备图像的收集、部件图像的收集和裂纹图像收集三部分，以下以绝缘子设备为例进行说明。
设备图像收集包含了无人机及直升机巡视图像收集、图像的筛选、图像标注和图像汇总四个主要步骤：
1-1、收集无人机及直升机巡视图像。
1-2、图像筛选。筛选出数据集中所有包含绝缘子并符合质量要求的图像，判断依据：图像中任意一个绝缘子串的最小外接矩形框的最长边与原始图像短边的长度比大于5％。
1-3、图像标注。将每一张图像中的绝缘子用最小外接矩形框标出并生成标注文件。
1-4、图像汇总。对所有已标注图像进行汇总和统一编号。
可选的，依次检测设备图像中的目标部件，得到部件图像，以形成部件图像集，包括：
将设备图像集中的标注区域截取，生成第二设备图像集；
对第二设备图像集进行分析，筛选出包含目标部件的符合质量要求的图像，生成第一部件图像集；
通过最小外接矩形框，对第一部件图像集中每一张图像中的目标部件进行标注，生成标注文件；
对所有已标注的图像进行汇总及编号，生成部件图像集。
以下以绝缘子设备为例进行说明，部件图像的收集主要包括图像截取、图像筛选、图像标注和图像汇总四个主要步骤：
2-1、将标注出的绝缘子矩形区域从1-4所汇总的每一张图像中截取出来以生成设备图像。
2-2、图像的筛选。保留质量满足条件的设备图像，判断依据：图像中某一绝缘子部件(包括绝缘子片和绝缘子片连接处)的最小外接矩形框的最长边与所在设备图像的短边长度比大于5％。
2-3、图像标注。使用最小外接矩形将筛选出的每一张设备图像的绝缘子片以及绝缘子片连接处标注出来，并生成这张设备图像对应的标注文件。
2-4、图像汇总。将所有设备图像及其对应的标注文件进行汇总和统一编号。
可选的，根据部件图像集，得到裂纹图像，以生成裂纹图像集，包括：将部件图像集中的标注区域截取、并根据部件状态进行分类，生成第二部件图像集；
对第二部件图像集进行分析，筛选出所有包含裂纹、并符合质量要求的部件图像，生成裂纹图像集。
可选的，根据部件图像集，得到裂纹图像，以生成裂纹图像集，包括：
对部件图像集进行分析，筛选出不包含裂纹的部件图像；
使用计算机工具软件设计模拟各种不同形状的裂纹，对各种不同形状的裂纹进行不同程度的翻转、拉伸以及角度变换，将生成的图像添加至裂纹图像集。
可选的，裂纹图像获取方法还包括：
选取待检测部件；
模拟真实工况对待检测部件进行破坏，使其产生裂纹；
获取多角度拍摄的裂纹的图像；
将生成的图像添加至裂纹图像集。
以下以绝缘子设备为例进行说明，裂纹图像收集主要包含三个途径，分别为直接收集裂纹图像、模拟实验生成图像和图像拼接：
3-1、直接收集裂纹图像。
直接收集裂纹图像主要包含图像截取、图像筛选和图像收集三个主要步骤。
3-1-1、图像截取。根据2-4所汇总的设备图像及其标注文件截取出部件图像，做好分类，根据实际标注对象的情况分为绝缘子片正常、绝缘子片裂纹、绝缘子片连接处正常和绝缘子片连接处裂纹。
3-1-2、图像筛选。收集所有包含裂纹的部件图像，并保留其中质量符合下述条件的图像：(1)图像的短边至少包含500像素；(1)放大图像后裂纹清晰可见；(2)裂纹的最远像素距离与图像最短边的比值大于10％，其中最远像素距离指裂纹所包含的所有像素点中具有最远欧式距离的两个像素，
其数学表达式为：其中n为裂纹所占像素点的总数量，i和j指这些像素点中的任意两个，x和y指某一个像素点的横纵坐标，dmax指最远像素距离。
3-1-3、收集裂纹图像，生成裂纹图像集。
3-2、图像拼接。
图像拼接主要包含图像截取、图像筛选和实验生成图像三个主要步骤。
3-2-1、图像截取。同3-1-1。
3-2-2、图像筛选。收集不包含裂纹的部件图像，保留质量满足条件的图像，判断标准为：图像的短边至少包含500像素。
3-2-3、拼接图像。使用绘图工具设计模拟各种不同形状的裂纹，对这些裂纹进行不同程度的翻转、拉伸以及角度变换，生成多张矢量图，收集3-2-2中绝缘子部件图像，将部件图像和矢量图进行拼接以模拟真实图像，将获取的裂纹图像添加至裂纹图像集中，以补充3-1直接收集裂纹图像步骤中未发现的裂纹图像。
3-3、模拟实验生成图像。
选取若干与实际生产场景具备同等规格的绝缘子，模拟实际情况对绝缘子片和绝缘子片连接处进行破坏，使其产生裂纹，从不同角度对绝缘子片和绝缘子片连接处进行拍摄，保存裂纹图像，将这些裂纹图像添加至裂纹图像集中，以补充3-1直接收集裂纹图像步骤中未发现的裂纹图像。
3-4、图像标注、汇总。
使用标注工具对3-1和3-3所采集的图像进行标注，使用多边形标注出裂纹的外部轮廓，生成标注文档；由于3-2所采集的图像的裂缝所在的实际像素已知，可以直接生成标注文档，无需额外进行标注；同时对重复的裂纹图像进行删减；将所有标注好的图像进行汇总并进行统一编号，生成裂纹图像集。
本申请实施例提供的裂纹图像获取方法，带来的有益效果至少包括如下：
通过对样本图像中目标设备进行检测，生成设备图像集，其次对设备图像集中的目标部件进行检测，生成部件图像集，然后对部件图像集进行处理，生成裂纹图像集，通过对样本图像层层检测，以及对检测结果进一步分割，结合了目标检测及语义分割技术来对裂纹进行识别，能够实现快速而准确地识别裂纹的具体像素，而不仅仅是识别其所在的外接矩形区域，据此而获取的裂纹图像更准确。
本申请实施例提供一种裂纹检测模型的训练方法，包括：
步骤211，获取设备图像集；其中，设备图像集是通过对样本图像进行目标设备检测得到的；
步骤212，基于设备图像集，训练设备检测模型；
步骤221，获取部件图像集；其中，部件图像集是通过对设备图像集中的设备图像进行目标部件检测得到的；
步骤222，基于部件图像集，训练部件检测模型；
步骤231，获取裂纹图像集；其中，裂纹图像集是通过对部件图像集中的部件图像进行裂纹检测得到的；
步骤232，基于裂纹图像集，训练裂纹检测模型；
步骤200，依次级联设备检测模型、部件检测模型以及裂纹检测模型，以得到裂纹检测模型。
以下仍以绝缘子设备为例,进行实施例举例描述：
模型训练主要包括识别绝缘子设备的目标检测模型的训练、识别绝缘子部件的目标检测模型的训练以及识别裂纹的语义分割模型的训练三个主要步骤。
设备识别模型训练：为训练设备识别模型，需首先进行数据的拆分，而后进入一个迭代优化的过程，每一次迭代包含算法优化、训练模型、模型验证三个主要步骤，最终产生的模型可精确检测出图像中是否有绝缘子以及绝缘子数量和所在的像素位置，并用矩形框将其标出。
4-1、数据拆分。将2-4所采集图像分拆为数量不等的训练集和验证集，两者的数量比例设定为7:3、8:2或9:1为宜。
4-2、算法调优。选择业界公认的基于深度学习的目标检测算法作为基础算法，如FASTER-RCNN、YOLO-V3和RFCN等，(针对此绝缘子实例建议选用RFCN)，进行初步的参数调整。
4-3、训练模型。基于4-1所产生的训练数据集，使用4-2所选用的算法和参数进行模型训练。
4-4、模型验证。基于4-1所产生的验证数据集，进行实验验证，以平均精度为评判标准判断结果是否符合生产场景要求，如符合要求则保存模型，否则返回4-2的模型算法调优阶段。
部件识别模型训练：部件识别模型的实际训练步骤可参照4-1至4-4，最终生成的模型可精确识别出图像中是否有绝缘子片以及绝缘子片的连接处，并可以识别出它们的数量和位置，并用矩形框将他们标出。
裂纹识别模型训练：裂纹识别模型的实际训练步骤可参照4-1至4-4，不过所选用的算法将由语义分割算法来替代，针对此绝缘子示例建议采用DeepLabV3。最终模型可识别出图像中的裂纹相关像素。
最后，依次级联设备检测模型、部件检测模型以及裂纹检测模型，以得到裂纹检测模型。
本申请实施例提供一种裂纹检测方法，包括：
步骤301，获取待检测图像；
步骤302，将待检测图像输入裂纹检测模型中；其中，裂纹检测模型是根据本申请实施例提供的裂纹检测模型的训练方法训练得到的。
步骤303，识别待检测图像中的目标设备，生成设备图像；
步骤304，识别待检测图像中的目标设备的目标部件，生成部件图像；
步骤305，识别待检测图像中的目标设备的目标部件上的裂纹，生成裂纹图像；
步骤306，计算并标注所述裂纹在所述待检测图像中的位置。
例如，在使用本实施例提供的方法进行裂纹检测时，分别进行如下主要步骤：模型部署、图像采集、设备识别、截取设备图片、部件识别、截取部件图片、裂纹识别、反向计算裂纹在原图的位置等。
在模型部署环节，将上述训练方法生成的裂纹检测模型以服务的形式统一部署到服务器端。
然后使用无人机、直升机等工具巡视采集图像，获取待检测图像。无人机、直升机在输电巡视过程中所采集的图像可通过离线或者在线的形式导入服务器端。
可选的，将待检测图像输入裂纹检测模型中，以检测出待检测图像中的裂纹，包括：
待检测图像能够通过离线或在线中的至少一种形式导入到处理设备中；
通过裂纹检测模型对待检测图像进行分析，识别待检测图像中的目标设备，生成设备图像；
通过裂纹检测模型对输变电设备图像进行分析，识别待检测图像中的目标设备的目标部件，生成部件图像；
通过裂纹检测模型对部件图像进行分析，识别待检测图像中的目标设备的目标部件上的裂纹；
计算并标注裂纹在待检测图像中的位置。
例如，在识别设备阶段，使用所部署好的裂纹检测模型中的设备识别模型对所接收到的一张图像进行分析，识别出图像中是否有绝缘子，如果图像中包含绝缘子，模型将自动用外接矩形将其标注出来，这里某一矩形的表示方法为[x1,y1,w1,h1]，其中x1和y1分别为这个矩形最左上角像素的横纵坐标，w1和h1分别为矩形的宽和高，另外假设原始图像的宽和高分别为W1和H1。然后截取设备图片。依据上述的结果截取出绝缘子部分像素矩形并生成新的图片。
可选的，通过裂纹检测模型对待检测图像进行分析，识别待检测图像中的目标设备，生成设备图像，包括：
对待检测图像进行分析，若待检测图像中有目标设备，则通过外接矩形自动标注，截取出目标设备像素矩形，生成设备图像。
可选的，通过裂纹检测模型对输变电设备图像进行分析，识别待检测图像中的目标设备的目标部件，生成部件图像，包括：
对设备图像进行分析，通过外接矩形自动标注设备图像中的目标部件，截取出部件像素矩形，生成部件图像。
例如在识别部件环节，使用所部署好的裂纹检测模型中的部件识别模型，基于设备识别模型所反馈的设备图片进行自动识别，识别出图像中是否有绝缘子片以及绝缘子片的连接处，如果图像中包含它们，模型将自动用外接矩形将其标注出来，这里某一矩形的表示方法为[x2,y2,w2,h2]，其中x2和y2分别为这个矩形最左上角像素的横纵坐标，w2和h2分别为矩形的宽和高。
可选的，通过裂纹检测模型对部件图像进行分析，识别待检测图像中的目标设备的目标部件上的裂纹，包括：
对目标部件图像进行分析，若目标部件图像中存在有裂纹，自动标注出每一个相关像素点，生成相关像素点在目标部件图像中位置。
例如，在识别裂纹阶段，使用所部署好的裂纹检测模型中的裂纹识别模型，基于部件识别模型所反馈的部件图片进行自动识别，识别出图像中是否有裂纹，如果有裂纹，模型将自动标注出每一个相关像素点，假设某一像素点在此部件图片中的位置为(a,b)。
可选的，计算并标注裂纹在待检测图像中的位置，包括：
计算所有目标部件像素在原图像的实际位置；
根据相关像素点在目标部件图像中位置，计算裂纹在待检测图像中的位置。
例如，计算所有部件像素在原图像的实际位置，某一部件像素(a,b)在原始图像的像素位置可计算为：(a+x2+x1,b+y2+y1)，将这些像素位置信息标注并记录下来。
图5示出了本申请一个示例性实施例提供的计算机设备的结构框图。该计算机设备包括：处理器510和存储器520。
处理器510可以是中央处理器(英文：central processing unit，CPU)，网络处理器(英文：network processor，NP)或者CPU和NP的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integratedcircuit，ASIC)，可编程逻辑器件(英文：programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，FPGA)，通用阵列逻辑(英文：generic array logic，GAL)或其任意组合。
存储器520通过总线或其它方式与处理器510相连，存储器520中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述实施例中由处理终端执行的裂纹检测方法。
存储器520可以为易失性存储器(英文：volatile memory)，非易失性存储器(英文：non-volatile memory)或者它们的组合。易失性存储器可以为随机存取存储器(英文：random-access memory，RAM)，例如静态随机存取存储器(英文：static random accessmemory，SRAM)，动态随机存取存储器(英文：dynamic random access memory，DRAM)。非易失性存储器可以为只读存储器(英文：read only memory image，ROM)，例如可编程只读存储器(英文：programmable read only memory，PROM)，可擦除可编程只读存储器(英文：erasable programmable read only memory，EPROM)，电可擦除可编程只读存储器(英文：electrically erasable programmable read-only memory，EEPROM)。非易失性存储器也可以为快闪存储器(英文：flash memory)，磁存储器，例如磁带(英文：magnetic tape)，软盘(英文：floppy disk)，硬盘。非易失性存储器也可以为光盘。
本申请实施例还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述任一实施例所述的裂纹图像获取、检测方法。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (15)
1.一种裂纹图像获取方法，其特征在于，包括：
获取样本图像；其中，所述样本图像包括目标设备，所述目标设备包括目标部件，所述目标部件上具有裂纹；
检测出所述样本图像中的目标设备，得到设备图像，生成设备图像集；
依次检测所述设备图像中的所述目标部件，得到部件图像，生成部件图像集；
根据所述部件图像集，得到裂纹图像，生成裂纹图像集。
2.根据权利要求1所述的方法，其特征在于，所述检测出所述样本图像中的目标设备，得到设备图像，生成设备图像集，包括：
对所述样本图像集进行处理，筛选出包含所述目标设备的且符合像素要求的图像，生成第一设备图像集；
通过最小外接矩形框，对所述第一设备图像集中每一张图像中的目标设备进行标注，生成标注文件；
对所有已标注的图像进行汇总及编号，生成设备图像集。
3.根据权利要求1所述的方法，其特征在于，所述依次检测所述设备图像中的所述目标部件，得到部件图像，生成部件图像集，包括：
将所述设备图像集中的标注区域截取，生成第二设备图像集；
对所述第二设备图像集进行分析，筛选出包含目标部件的符合质量要求的图像，生成第一部件图像集；
通过最小外接矩形框，对所述第一部件图像集中每一张图像中的目标部件进行标注，生成标注文件；
对所有已标注的图像进行汇总及编号，生成部件图像集。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述部件图像集，得到裂纹图像，生成裂纹图像集，包括：
将所述部件图像集中的标注区域截取、并根据部件状态进行分类，生成第二部件图像集；
对所述第二部件图像集进行分析，筛选出所有包含裂纹、并符合质量要求的部件图像，生成裂纹图像集。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述部件图像集，得到裂纹图像，生成裂纹图像集，包括：
对所述部件图像集进行分析，筛选出不包含裂纹的部件图像；
使用计算机工具软件设计模拟各种不同形状的裂纹，对所述各种不同形状的裂纹进行不同程度的翻转、拉伸以及角度变换，将生成的图像添加至所述裂纹图像集。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
选取待检测部件；
模拟真实工况对所述待检测部件进行破坏，使其产生裂纹；
获取多角度拍摄的所述裂纹的图像；
将生成的图像添加至所述裂纹图像集。
7.一种裂纹检测模型的训练方法，其特征在于，包括：
获取设备图像集；其中，所述设备图像集是通过对样本图像进行目标设备检测得到的；
基于所述设备图像集，训练设备检测模型；
获取部件图像集；其中，所述部件图像集是通过对所述设备图像集中的设备图像进行目标部件检测得到的；
基于所述部件图像集，训练部件检测模型；
获取裂纹图像集；其中，所述裂纹图像集是通过对所述部件图像集中的部件图像进行裂纹检测得到的；
基于所述裂纹图像集，训练裂纹检测模型；
依次级联所述设备检测模型、所述部件检测模型以及所述裂纹检测模型，以得到所述裂纹检测模型。
8.一种裂纹检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入裂纹检测模型中，以检测出所述待检测图像中的裂纹；其中，所述裂纹检测模型是根据权利要求7所述的裂纹检测模型的训练方法训练得到的。
9.根据权利要求8所述的方法，其特征在于，所述将所述待检测图像输入裂纹检测模型中，以检测出所述待检测图像中的裂纹，包括：
所述待检测图像能够通过离线或在线中的至少一种形式导入到处理设备中；
通过裂纹检测模型对所述待检测图像进行分析，识别所述待检测图像中的目标设备，生成设备图像；
通过裂纹检测模型对所述输变电设备图像进行分析，识别所述待检测图像中的目标设备的目标部件，生成部件图像；
通过裂纹检测模型对所述部件图像进行分析，识别所述待检测图像中的目标设备的目标部件上的裂纹；
计算并标注所述裂纹在所述待检测图像中的位置。
10.根据权利要求9所述的方法，其特征在于，所述通过裂纹检测模型对所述待检测图像进行分析，识别所述待检测图像中的目标设备，生成设备图像，包括：
对所述待检测图像进行分析，若所述待检测图像中有目标设备，则通过外接矩形自动标注，截取出所述目标设备像素矩形，生成设备图像。
11.根据权利要求9所述的裂纹检测方法，其特征在于，所述通过裂纹检测模型对所述输变电设备图像进行分析，识别所述待检测图像中的目标设备的目标部件，生成部件图像，包括：
对所述设备图像进行分析，通过外接矩形自动标注所述设备图像中的目标部件，截取出所述部件像素矩形，生成部件图像。
12.根据权利要求9所述的裂纹检测方法，其特征在于，所述通过裂纹检测模型对所述部件图像进行分析，识别所述待检测图像中的目标设备的目标部件上的裂纹，包括：
对所述目标部件图像进行分析，若所述目标部件图像中存在有裂纹，自动标注出每一个相关像素点，生成所述相关像素点在所述目标部件图像中位置。
13.根据权利要求9所述的裂纹检测方法，其特征在于，所述计算并标注所述裂纹在所述待检测图像中的位置，包括：
计算所有目标部件像素在原图像的实际位置；
根据所述相关像素点在所述目标部件图像中位置，计算所述裂纹在所述待检测图像中的位置。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或程序，所述至少一条指令或程序由所述处理器加载并执行以实现如权利要求8至13中任一所述的裂纹检测方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或程序，所述指令或程序由处理器加载并执行以实现权利要求8至13中任一所述的裂纹检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910739992.2A CN110610483B (zh) | 2019-08-12 | 2019-08-12 | 裂纹图像获取、检测方法、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910739992.2A CN110610483B (zh) | 2019-08-12 | 2019-08-12 | 裂纹图像获取、检测方法、计算机设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110610483A true CN110610483A (zh) | 2019-12-24 |
| CN110610483B CN110610483B (zh) | 2022-02-22 |
Family
ID=68889808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910739992.2A Active CN110610483B (zh) | 2019-08-12 | 2019-08-12 | 裂纹图像获取、检测方法、计算机设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110610483B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612761A (zh) * | 2020-05-20 | 2020-09-01 | 中南大学 | 基于绝缘瓷瓶的破损检测方法 |
| CN111784667A (zh) * | 2020-06-30 | 2020-10-16 | 北京海益同展信息科技有限公司 | 一种裂纹识别方法及装置 |
| CN111986174A (zh) * | 2020-08-17 | 2020-11-24 | 深圳市商汤科技有限公司 | 缺陷检测方法、装置、电子设备及计算机存储介质 |
| CN111986176A (zh) * | 2020-08-20 | 2020-11-24 | 国网湖南省电力有限公司 | 一种裂纹图像识别方法、系统、终端及可读存储介质 |
| CN113139572A (zh) * | 2021-03-09 | 2021-07-20 | 西南交通大学 | 一种基于图像的列车空气弹簧的故障检测方法 |
| CN113379699A (zh) * | 2021-06-08 | 2021-09-10 | 上海电机学院 | 基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN116380935A (zh) * | 2023-06-02 | 2023-07-04 | 中南大学 | 一种高铁箱梁损伤检测机器车及损伤检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108037133A (zh) * | 2017-12-27 | 2018-05-15 | 武汉市智勤创亿信息技术股份有限公司 | 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统 |
| CN108921161A (zh) * | 2018-06-08 | 2018-11-30 | Oppo广东移动通信有限公司 | 模型训练方法、装置、电子设备和计算机可读存储介质 |
| CN108986105A (zh) * | 2018-06-12 | 2018-12-11 | 四川斐讯信息技术有限公司 | 一种基于内容的图像预处理方法及系统 |
| CN109697460A (zh) * | 2018-12-05 | 2019-04-30 | 华中科技大学 | 对象检测模型训练方法、目标对象检测方法 |
-
2019
- 2019-08-12 CN CN201910739992.2A patent/CN110610483B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108037133A (zh) * | 2017-12-27 | 2018-05-15 | 武汉市智勤创亿信息技术股份有限公司 | 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统 |
| CN108921161A (zh) * | 2018-06-08 | 2018-11-30 | Oppo广东移动通信有限公司 | 模型训练方法、装置、电子设备和计算机可读存储介质 |
| CN108986105A (zh) * | 2018-06-12 | 2018-12-11 | 四川斐讯信息技术有限公司 | 一种基于内容的图像预处理方法及系统 |
| CN109697460A (zh) * | 2018-12-05 | 2019-04-30 | 华中科技大学 | 对象检测模型训练方法、目标对象检测方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612761A (zh) * | 2020-05-20 | 2020-09-01 | 中南大学 | 基于绝缘瓷瓶的破损检测方法 |
| CN111784667A (zh) * | 2020-06-30 | 2020-10-16 | 北京海益同展信息科技有限公司 | 一种裂纹识别方法及装置 |
| CN111784667B (zh) * | 2020-06-30 | 2023-09-26 | 京东科技信息技术有限公司 | 一种裂纹识别方法及装置 |
| CN111986174A (zh) * | 2020-08-17 | 2020-11-24 | 深圳市商汤科技有限公司 | 缺陷检测方法、装置、电子设备及计算机存储介质 |
| CN111986176A (zh) * | 2020-08-20 | 2020-11-24 | 国网湖南省电力有限公司 | 一种裂纹图像识别方法、系统、终端及可读存储介质 |
| CN111986176B (zh) * | 2020-08-20 | 2021-06-15 | 国网湖南省电力有限公司 | 一种裂纹图像识别方法、系统、终端及可读存储介质 |
| CN113139572A (zh) * | 2021-03-09 | 2021-07-20 | 西南交通大学 | 一种基于图像的列车空气弹簧的故障检测方法 |
| CN113379699A (zh) * | 2021-06-08 | 2021-09-10 | 上海电机学院 | 基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN116380935A (zh) * | 2023-06-02 | 2023-07-04 | 中南大学 | 一种高铁箱梁损伤检测机器车及损伤检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110610483B (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110610483B (zh) | 裂纹图像获取、检测方法、计算机设备及可读存储介质 | |
| US20210319561A1 (en) | Image segmentation method and system for pavement disease based on deep learning | |
| CN109271856B (zh) | 基于扩张残差卷积的光学遥感图像目标检测方法 | |
| CN111784685A (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
| CN111814850A (zh) | 缺陷检测模型训练方法、缺陷检测方法及相关装置 | |
| CN111046950B (zh) | 一种图像处理方法、装置、存储介质和电子装置 | |
| CN111914720B (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
| CN110133443B (zh) | 基于平行视觉的输电线路部件检测方法、系统、装置 | |
| CN110059539A (zh) | 一种基于图像分割的自然场景文本位置检测方法 | |
| CN109919149B (zh) | 基于物体检测模型的物体标注方法及相关设备 | |
| CN110910360B (zh) | 电网图像的定位方法和图像定位模型的训练方法 | |
| CN115359239A (zh) | 风电叶片缺陷检测定位方法、装置、存储介质和电子设备 | |
| CN112330592A (zh) | 风机叶片缺陷检测方法和装置、存储介质 | |
| CN113240623A (zh) | 一种路面病害检测方法及装置 | |
| CN114880730A (zh) | 确定目标设备的方法、装置及光伏系统 | |
| CN115239646A (zh) | 输电线路的缺陷检测方法、装置、电子设备及存储介质 | |
| CN109615610B (zh) | 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法 | |
| CN112132892A (zh) | 目标位置标注方法、装置及设备 | |
| CN110728269A (zh) | 一种高铁接触网支柱杆号牌识别方法 | |
| CN113033386B (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| CN114694130A (zh) | 基于深度学习的铁路沿线电线杆及杆号检测方法和装置 | |
| CN111597939B (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
| CN111325076B (zh) | 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法 | |
| CN116758425A (zh) | 一种大基地光伏电站自动验收方法和装置 | |
| CN115690505A (zh) | 光伏组件故障检测方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Mao Guanghui Inventor after: Sun Zhengyun Inventor after: Chen Qipeng Inventor after: Li Chengqi Inventor after: Wu Peng Inventor after: Zhao Ting Inventor after: Zheng Xiaokun Inventor before: Chen Qipeng Inventor before: Li Chengqi Inventor before: Wu Peng Inventor before: Zhao Ting Inventor before: Zheng Xiaokun |