CN115330743A - 基于双光检测缺陷的方法及相应的系统 - Google Patents

基于双光检测缺陷的方法及相应的系统 Download PDF

Info

Publication number
CN115330743A
CN115330743A CN202211014553.3A CN202211014553A CN115330743A CN 115330743 A CN115330743 A CN 115330743A CN 202211014553 A CN202211014553 A CN 202211014553A CN 115330743 A CN115330743 A CN 115330743A
Authority
CN
China
Prior art keywords
target
defect
detected
infrared light
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211014553.3A
Other languages
English (en)
Inventor
杨启帆
时伟君
邹沉
胡卡
路成东
方书涵
杨艳
彭子健
黄平川
韩飞
赵海涛
李煜磊
侯晓松
陈元
李挺
李旭东
韩煦
袁军
周向
黄晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Guide Sensmart Tech Co ltd
Super High Voltage Co Of State Grid Hubei Electric Power Co ltd
Original Assignee
Wuhan Guide Sensmart Tech Co ltd
Super High Voltage Co Of State Grid Hubei Electric Power Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Guide Sensmart Tech Co ltd, Super High Voltage Co Of State Grid Hubei Electric Power Co ltd filed Critical Wuhan Guide Sensmart Tech Co ltd
Priority to CN202211014553.3A priority Critical patent/CN115330743A/zh
Publication of CN115330743A publication Critical patent/CN115330743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

本申请提供了基于双光检测缺陷的方法及相应的系统，包括：通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。本发明可以提高缺陷检测的准确性和效率。

Description

基于双光检测缺陷的方法及相应的系统
技术领域
本申请属于电力设备缺陷检测领域，尤其涉及基于双光检测缺陷的方法及相应的系统。
背景技术
缺陷检测是现有技术中经常会遇到的问题，通过对设备进行缺陷检测可以使用户实时了解运行中的设备是否出现问题，避免因缺陷造成设备宕机造成的经济损失，甚至避免由于电力设备的缺陷造成的人员伤亡。
目前缺陷检测的方式大致分为以下几种：
方式一：使用红外成像系统获取电力设备的运行过程中目标部件的图像，通过已标注的缺陷样本对目标部件进行检测，从而确定目部件是否出现缺陷。该方式在进行缺陷检测前，需要大量的标注工作，工作量极大。
方式二：使用红外成像系统获取电力设备的运行过程中目标部件的图像，通过分析图像的色彩特征来对图像进行分割，以检测缺陷。目前通过颜色分割来进行电力设备缺陷检测的问题之一就是成像分辨率不够，限制了成像的清晰度，无法通过色彩特征区分出较小的缺陷检测，例如，一些缺陷往往不会让设备的温度发生显著的变化，导致缺陷被漏检。
因此，目前缺陷检测的方式，均无法高效、准确地获取部件的缺陷。
发明内容
本发明实施例的主要目的在于提供基于双光检测缺陷的方法及相应的系统，基于目标检测模型对可见光图片进行分析，可以清晰准确地判断出待检测目标的类型，基于缺陷检测模型对红外光图片进行分析，可以准确的确定缺陷类型和位置，提高了缺陷检测的准确性和效率。
第一方面，提供了基于双光检测缺陷的方法，所述方法包括：
通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；
通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；
如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；
通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
在一个可能的实现方式中，所述目标检测模型为yolov5s模型，所述缺陷检测模型为SimCLR模型和/或生成性对抗网络。
在另一个可能的实现方式中，所述判断所述可见光图片中的待检测目标的类型是否为预设的目标类型，包括：
如果所述目标检测模型的输出结果的置信度高于预设的置信度阈值，则判断所述待检测目标的类型为预设的目标类型。
在另一个可能的实现方式中，所述通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷，包括：
通过拍摄设备在第一角度对所述待检测目标进行红外光拍摄，获取所述待检测目标的第一红外光图片；
通过预设的缺陷检测模型对所述第一红外光图片进行第一缺陷检测，获取所述待检测目标的第一缺陷检测结果；
根据所述第一缺陷检测结果获取所述缺陷的位置，通过拍摄设备在第二角度对缺陷进行红外光拍摄，获取所述缺陷的第二红外光图片；
通过预设的缺陷检测模型对所述第二红外光图片进行第二缺陷检测，获取所述待检测目标的第二缺陷检测结果；
如果所述第一缺陷检测结果和所述第二缺陷检测结果对应的缺陷位置的重合度大于或等于预设值，则将所述缺陷位置标记为目标缺陷位置。
在另一个可能的实现方式中，所述缺陷检测模型选用生成性对抗网络时，所述缺陷检测模型对所述红外光图片进行缺陷分析之前，训练所述缺陷检测模型的方法包括：
在无缺陷的所述待检测目标的红外光图片加上缺陷，作为第一缺陷图片，所述生成性对抗网络的生成器对所述第一缺陷图片进行修复，并交由所述生成性对抗网络的判别器分辨修复后的所述第一缺陷图片与无缺陷的所述待检测目标的红外光图片，所述生成性对抗网络经过训练后，所述判别器分辨所述第一缺陷图片与所述无缺陷的所述待检测目标的红外光图片的准确率等于预设阈值时，所述缺陷检测模型训练完成；
所述缺陷包括裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合。
第二方面，提供了一种基于双光检测缺陷的系统，所述系统包括：
可见光图片获取模块，用于通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；
目标类型判断模块，用于通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；
红外光图片获取模块，用于如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；
缺陷获取模块，用于通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
在一个可能的实现方式中，所述目标类型判断模块，包括：
目标类型判断单元，用于如果所述目标检测模型的输出结果的置信度高于预设的置信度阈值，则判断所述待检测目标的类型为预设的目标类型。
在另一个可能的实现方式中，所述缺陷获取模块，包括：
第一红外光图片获取单元，用于通过拍摄设备在第一角度对所述待检测目标进行红外光拍摄，获取所述待检测目标的第一红外光图片；
第一缺陷检测结果获取单元，用于通过预设的缺陷检测模型对所述第一红外光图片进行第一缺陷检测，获取所述待检测目标的第一缺陷检测结果；
第二红外光图片获取单元，用于根据所述第一缺陷检测结果获取所述缺陷的位置，通过拍摄设备在第二角度对缺陷进行红外光拍摄，获取所述缺陷的第二红外光图片；
第二缺陷检测结果获取单元，用于通过预设的缺陷检测模型对所述第二红外光图片进行第二缺陷检测，获取所述待检测目标的第二缺陷检测结果；
缺陷确定单元，用于如果所述第一缺陷检测结果和第二缺陷检测结果对应的缺陷位置的重合度大于或等于预设值，则将所述缺陷位置标记为目标缺陷位置。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面提供的基于双光检测缺陷的方法。
第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面提供的基于双光检测缺陷的方法。
区别于现有技术：本申请提供一种基于双光检测缺陷的方法，该方法包括：通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
在本申请中，基于目标检测模型对可见光图片进行分析，可以清晰准确地判断出待检测目标的类型，基于缺陷检测模型对红外光图片进行分析，可以准确的确定缺陷类型和位置，提高了缺陷检测的准确性和效率。
进一步地，本申请通过生成性对抗网络或自监督深度学习方式，来训练缺陷检测模型，极大地减少了标注工作量，节省成本。使用制冷型红外成像设备获取红外图片，可以更加精细地对温度进行成像，可以检测套管的裂纹和缺口等多种缺陷。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本发明一个实施例提供的基于双光检测缺陷的方法的流程图；
图2为本发明再一个实施例提供的基于双光检测缺陷的方法的流程图；
图3为本发明一个实施例提供的基于双光检测缺陷的系统的结构图；
图4为本发明再一个实施例提供的基于双光检测缺陷的系统的结构图；
图5为本发明一种电子设备的实体结构示意图；
图6为本发明提供的基于双光检测缺陷的流程示意图。
具体实现方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、模块、组件和/或它们的组。应该理解，当我们称模块被“连接”或“耦接”到另一模块时，它可以直接连接或耦接到其他模块，或者也可以存在中间模块。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实现方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如和解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例一：
如图1所示为本发明一个实施例提供的基于双光检测缺陷的方法的流程图，所述方法包括：
步骤101，通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；
步骤102，通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；
步骤103，如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；
步骤104，通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
其中，待检测目标为套管，该套管为陶瓷套管、钢管套管等。
在本发明实施例中，对于缺陷检测大致分为两个步骤：1、通过类型检测，判断待检测目标是否为预设的目标类型(如：是否为套管、是否为陶瓷套管等)；2、如果是待检测目标类型，则通过预设的缺陷检测模型检测待检测目标，获取待检测目标的缺陷。对于目标类型检测，首先拍摄包含待检测目标的可见光照片，通过预设的目标检测模型对可见光照片进行类型分析，如果类型分析的结果为是预设的目标类型，则进行缺陷检测。对于缺陷检测，首先拍摄包含待检测目标的红外光图片，通过预设的缺陷检测模型对红外光图片进行缺陷分析，根据分析的结果确定待检测目标的缺陷，并标记该缺陷。其中，所述缺陷包括但不限于：裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合。
所述目标检测模型为yolov5s模型，所述缺陷检测模型为SimCLR模型和/或生成性对抗网络。目标检测模型可以选用yolov5s、resnet、fastRCNN或mobilenet模型中的一种；生成性对抗网络还可以选用DCGAN、BEGAN、或者自监督模型SimLCR或AMDIM。
其中，本实施例一中，所述目标检测模型为yolov5s模型，所述缺陷检测模型选用自监督模型中的SimCLR模型。
在本发明实施例中，SimCLR模型在训练时使用约90％的无标注数据进行预训练，然后使用约10％的有标注数据对预训练的结果进行微调，最后通过包含已知缺陷的任务对微调的记过进行蒸馏，获取最终的检测模型。由于SimCLR模型采用了大量的无标注数据进行训练，极大的减轻了标注的工作量，提高了训练的效率。
对于给定的任意一张缺陷图片pi进行两次增广，对两幅经过增广的图片分别进行网络编码得到特征表达h2k-1，h2k，将特征应用到对比学习，其中，定义li,j为：
Figure BDA0003811999900000071
则损失定义为：
Figure BDA0003811999900000072
其中，sim(·)表示余弦相似性，T表示温标参数，N表示每次输入图片总数，i和j表示不同的两张图像序号，i和j的取值范围为1～2N的自然数，k∈{1,....,N},通过不断降低L来更新网络。
其中，所述判断所述可见光图片中的待检测目标的类型是否为预设的目标类型，包括：
如果所述类型分析的结果的置信度高于预设的置信度阈值，则判断所述待检测目标的类型为预设的目标类型。
在本发明实施例中，目标检测模型的分析结果通常通过置信度来表示，将分析结果的置信度与预设的置信度阈值进行比较，如果置信度高于置信度阈值，则待检测目标为预设的目标类型，反之则不是预设的目标类型。如：判断待检测目标是否为套管，目标检测模型的分析结果为“是套管的置信度为0.45”，如果置信度阈值为0.4，则置信度高于置信度阈值，待检测目标为套管，如果置信度阈值为0.5，则置信度低于置信度阈值，待检测目标不是套管。需要指出的是，该置信度阈值可根据实际应用的需要进行设置，本申请对此不作限定。优选的，所述置信度阈值为0.45。
本发明实施例，通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。使得可见光图片可以清晰准确的判断出待检测目标的类型，红外光对已确定类型的目标可以准确的确定缺陷类型和位置，提高了缺陷检测的准确性和效率。
如图2所示为本发明再一个实施例提供的基于双光检测缺陷的方法的流程图，所述通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷，包括：
步骤201，通过拍摄设备在第一角度对所述待检测目标进行红外光拍摄，获取所述待检测目标的第一红外光图片；
步骤202，通过预设的缺陷检测模型对所述第一红外光图片进行第一缺陷检测，获取所述待检测目标的第一缺陷检测结果；
步骤203，根据所述第一缺陷检测结果获取所述缺陷的位置，通过拍摄设备在第二角度对缺陷进行红外光拍摄，获取所述缺陷的第二红外光图片；
步骤204，通过预设的缺陷检测模型对所述第二红外光图片进行第二缺陷检测，获取所述待检测目标的第二缺陷检测结果；
步骤205，如果所述第一缺陷检测结果和所述第二缺陷检测结果对应的缺陷位置的重合度大于或等于预设值，则将所述缺陷位置标记为目标缺陷位置。
在本发明实施例中，对于缺陷位置的确定，首先从第一角度对待检测目标进行红外光拍摄，获取第一红外光图片，通过预设的缺陷检测模型对第一红外光图片进行第一缺陷检测，并获取第一缺陷检测结果；对第一缺陷检测结果对应的位置从第二角度对该位置进行红外光拍摄，获取第二红外光图片，通过预设的缺陷检测模型对第二红外光图片进行第二缺陷检测，并获取第二缺陷检测结果，如果第一缺陷检测结果对应的缺陷位置和第二缺陷检测结果对应的缺陷位置相同，则将该位置最终确定为缺陷。通过至少两次不同位置对缺陷进行拍摄红外光图片，进而对不同的红外光图片分别进行缺陷检测，通过两次缺陷检测的结果对缺陷进行判断，提高了缺陷检测结果的准确性。
实施例二：
在实施例一提供的基于双光检测缺陷的方法基础上，本实施例二的目标检测模型选用yolov5s模型，所述缺陷检测模型选用生成性对抗网络，例如边界平衡GAN(BoundaryEquilibrium GAN，简称BEGAN)网络时，所述缺陷检测模型对所述红外光图片进行缺陷分析之前，训练所述缺陷检测模型的方法包括：
在无缺陷的所述待检测目标的红外光图片加上缺陷，作为第一缺陷图片，所述生成性对抗网络的生成器对所述第一缺陷图片进行修复，并交由所述生成性对抗网络的判别器分辨修复后的所述第一缺陷图片与无缺陷的所述待检测目标的红外光图片，所述生成性对抗网络经过训练后，所述判别器分辨所述第一缺陷图片与所述无缺陷的所述待检测目标的红外光图片的准确率等于预设阈值时，所述缺陷检测模型训练完成；
所述缺陷包括裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合。
其中，在无缺陷的所述待检测目标的红外光图片加上缺陷信息是人为随机加上，针对目标检测模型yolov5s在检测细微缺陷目标能力上的不足，本实施例二对目标检测模型yolov5s增加了卷积注意力模块(Convolutional Block Attention Module，简称CBAM)，并在卷积注意力模块基础上又增加了小目标检测head，针对该head增加anchors:[4,6,8,12,10,23]增加anchors后使目标检测模型yolov5s可以覆盖最小像素为4～6像素，另外anchors可以根据需要自行定义参数。
本实施例一中，预设阈值设为0.5，生成性对抗网络可以选用已配置完成的生成器和判别器，生成器可以直接生成第一缺陷图片，判别器也可以直接分辨修复后的第一缺陷图片与无缺陷的待检测目标的红外光图片，此时判别器的准确性高于预设阈值，在生成器和判别器不断对抗的过程中，判别器逐渐分辨不清修复后的第一缺陷图片与无缺陷图片，准确性逐渐降低直至达到0.5，此时缺陷检测模型训练完成。
生成性对抗网络还可以选用已配置完成的生成器和未配置的判别器，生成器可以直接生成第一缺陷图片，但是判别器需要先学习和训练如何分辨修复后的第一缺陷图片与无缺陷图片，此时判别器的准确性低于预设阈值，但是在判别器经过学习和训练后，判别器可以直接分辨修复后的第一缺陷图片与无缺陷图片，此时判别器的准确性高于预设阈值，在生成器和判别器不断对抗的过程中，判别器逐渐分辨不清修复后的第一缺陷图片与无缺陷图片，准确性逐渐降低直至达到0.5，此时缺陷检测模型训练完成。
生成性对抗网络还可以选用未配置的生成器和已配置完成的判别器，生成器需要先学习和训练如何修复带有缺陷的图片，判别器也可以直接分辨修复后的第一缺陷图片与无缺陷的待检测目标的红外光图片，此时判别器的准确性高于预设阈值，在生成器经过学习和训练后，判别器逐渐分辨不清修复后的第一缺陷图片与无缺陷图片，准确性逐渐降低直至达到0.5，此时缺陷检测模型训练完成。
生成性对抗网络还可以选用未配置的生成器和未配置的判别器，生成器需要先学习和训练如何修复带有缺陷的图片，判别器也需要先学习和训练如何分辨修复后的第一缺陷图片与无缺陷图片，此时判别器的准确性低于预设阈值，在生成器和判别器不断学习和训练的过程中，判别器逐渐分辨不清修复后的第一缺陷图片与无缺陷图片，准确性逐渐降低直至达到0.5，此时缺陷检测模型训练完成。
本实施例一中选用的无缺陷图片具有多样性以及多角度性。
使用BEGAN网络作为缺陷检测模型的好处在于，在训练的过程中，只需要正常图片即可，即不存在缺陷的红外图片，避免了缺陷的多样性和不可预知性。在BEGAN网络中包括两个模块，即生成器和判别器。在生成器和判别器的训练过程中将没有缺陷的红外图片人为的随机加上一些缺陷上去，包括裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合，让BEGAN网络生成器去学习修复这些缺陷的网络，并交由判别器比较此图片与真实没有缺陷图片的真伪，经过多轮博弈循环后，得到达到要求的GAN网络。此时在检测阶段，输入一个真实的缺陷样本，BEGAN网络会对此缺陷进行修复，基于局部二值模式(Local BinaryPattern，简称LBP)就可以得到原有缺陷的信息。
实施例三：
如图3所示为本发明一个实施例提供的基于双光检测缺陷的系统的结构图，所述系统包括：
可见光图片获取模块301，用于通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；
目标类型判断模块302，用于通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；
红外光图片获取模块303，用于如果所述目标检测模型输出的结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；
缺陷获取模块304，用于通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
其中，待检测目标为套管，该套管为陶瓷套管、钢管套管等。
在本发明实施例中，对于缺陷检测大致分为两个步骤：1、通过类型检测，判断待检测目标是否为预设的目标类型(如：是否为套管、是否为陶瓷套管等)；2、如果是待检测目标类型，则通过预设的缺陷检测模型检测待检测目标，获取待检测目标的缺陷。对于目标类型检测，首先拍摄包含待检测目标的可见光照片，通过预设的目标检测模型对可见光照片进行类型分析，如果类型分析的结果为是预设的目标类型，则进行缺陷检测。对于缺陷检测，首先拍摄包含待检测目标的红外光图片，通过预设的缺陷检测模型对红外光图片进行缺陷分析，根据分析的结果确定待检测目标的缺陷，并标记该缺陷。其中，所述缺陷包括但不限于：裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合。
所述目标检测模型为yolov5s模型，所述缺陷检测模型为SimCLR模型和/或生成性对抗网络。目标检测模型可以选用yolov5s、resnet、fastRCNN或mobilenet模型中的一种；生成性对抗网络还可以选用DCGAN、BEGAN、或者自监督模型SimLCR或AMDIM。
其中，所述目标检测模型为yolov5s模型，所述缺陷检测模型选用自监督模型中的SimCLR模型。
在本发明实施例中，SimCLR模型在训练时使用约90％的无标注数据进行预训练，然后使用约10％的有标注数据对预训练的结果进行微调，最后通过包含已知缺陷的任务对微调的记过进行蒸馏，获取最终的检测模型。由于SimCLR模型采用了大量的无标注数据进行训练，极大的减轻了标注的工作量，提高了训练的效率。
对于给定的任意一张缺陷图片pi进行两次增广，对两幅经过增广的图片分别进行网络编码得到特征表达h2k-1，h2k，将特征应用到对比学习，其中，定义li,j为：
Figure BDA0003811999900000121
则损失定义为：
Figure BDA0003811999900000122
其中，sim(·)表示余弦相似性，T表示温标参数，N表示每次输入图片总数，i和j表示不同的两张图像序号，i和j的取值范围为1～2N的自然数，k∈{1,....,N},通过不断降低L来更新网络。
其中，所述目标类型判断模块302，包括：
目标类型判断单元，用于如果所述类型分析的结果的置信度高于预设的置信度阈值，则判断所述待检测目标的类型为预设的目标类型。
在本发明实施例中，目标检测模型的分析结果通常通过置信度来表示，将分析结果的置信度与预设的置信度阈值进行比较，如果置信度高于置信度阈值，则待检测目标为预设的目标类型，反之则不是预设的目标类型。如：判断待检测目标是否为套管，目标检测模型的分析结果为“是套管的置信度为0.45”，如果置信度阈值为0.4，则置信度高于置信度阈值，待检测目标为套管，如果置信度阈值为0.5，则置信度低于置信度阈值，待检测目标不是套管。需要指出的是，该置信度阈值可根据实际应用的需要进行设置，本申请对此不作限定。优选的，所述置信度阈值为0.45。
本发明实施例，通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。使得可见光图片可以清晰准确的判断出待检测目标的类型，红外光对已确定类型的目标可以准确的确定缺陷类型和位置，提高了缺陷检测的准确性和效率。
实施例四：
如图4所示为本发明一个实施例提供的基于双光检测缺陷的系统的结构图，所述缺陷获取模块304，包括：
第一红外光图片获取单元401，用于通过拍摄设备在第一角度对所述待检测目标进行红外光拍摄，获取所述待检测目标的第一红外光图片；
第一缺陷检测结果获取单元402，用于通过预设的缺陷检测模型对所述第一红外光图片进行第一缺陷检测，获取所述待检测目标的第一缺陷检测结果；
第二红外光图片获取单元403，用于根据所述第一缺陷检测结果获取所述缺陷的位置，通过拍摄设备在第二角度对缺陷进行红外光拍摄，获取所述缺陷的第二红外光图片；
第二缺陷检测结果获取单元404，用于通过预设的缺陷检测模型对所述第二红外光图片进行第二缺陷检测，获取所述待检测目标的第二缺陷检测结果；
缺陷确定单元405，用于如果所述第一缺陷检测结果和所述第二缺陷检测结果对应的缺陷位置的重合度大于或等于预设值，则将所述缺陷位置标记为目标缺陷位置。
在本发明实施例中，对于缺陷位置的确定，首先从第一角度对待检测目标进行红外光拍摄，获取第一红外光图片，通过预设的缺陷检测模型对第一红外光图片进行第一缺陷检测，并获取第一缺陷检测结果；对第一缺陷检测结果对应的位置从第二角度对该位置进行红外光拍摄，获取第二红外光图片，通过预设的缺陷检测模型对第二红外光图片进行第二缺陷检测，并获取第二缺陷检测结果，如果第一缺陷检测结果对应的缺陷位置和第二缺陷检测结果对应的缺陷位置相同，则将该位置最终确定为缺陷。通过至少两次不同位置对缺陷进行拍摄红外光图片，进而对不同的红外光图片分别进行缺陷检测，通过两次缺陷检测的结果对缺陷进行判断，提高了缺陷检测结果的准确性。
实施例五：
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行基于双光检测缺陷的方法，该方法包括：通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于双光检测缺陷的方法，该方法包括：通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于双光检测缺陷的方法，该方法包括：通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；如果所述目标检测模型的结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
如图6所示为本发明提供的基于双光检测缺陷的流程示意图，该流程包括：
步骤601，获取套管的可见光图片数据集，将该可见光图片数据集设置为可见光样本图片；
步骤602，通过可见光样本图片对预设的目标检测模型进行训练，获取经过训练的目标检测模型；
步骤603，通过可见光拍摄设备对待检测目标进行拍摄，获取待检测目标的可见光图片；
步骤604，将可见光图片输入经过训练的目标检测模型，判断该可将光图片对应的是否为套管；
步骤605，如果是，则通过红外管拍摄设备在不同角度对待检测目标拍摄至少2张红外光图片，并执行步骤608，如果否，则执行步骤611；
步骤606，获取套管的红外光缺陷数据集，将该红外光缺陷数据集设置为红外光样本图片；
步骤607，通过红外光样本图片对预设的缺陷检测模型进行训练，获取经过训练的红外光缺陷模型；
步骤608，将至少2张红外光图片输入经过训练的红外光缺陷模型，获取该至少2张红外光图片的缺陷检测结果；
步骤609，如果至少2张红外光图片的缺陷检测结果的缺陷位置的重合度大于或等于预设值，则待确定缺陷位置为缺陷位置，并执行步骤610，如果重合度小于预设值，则执行步骤611；
步骤610，标记该缺陷位置，并输出该缺陷位置；
步骤611，结束缺陷检测流程。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实现方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于双光检测缺陷的方法，其特征在于，所述方法包括：
通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；
通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；
如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；
通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
2.如权利要求1所述的方法，其特征在于，所述目标检测模型为yolov5s模型，所述缺陷检测模型为SimCLR模型和/或生成性对抗网络。
3.如权利要求1所述的方法，其特征在于，所述判断所述可见光图片中的待检测目标的类型是否为预设的目标类型，包括：
如果所述目标检测模型的输出结果的置信度高于预设的置信度阈值，则所述待检测目标的类型为预设的目标类型。
4.如权利要求1-3任一项所述的方法，其特征在于，所述通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷，包括：
通过拍摄设备在第一角度对所述待检测目标进行红外光拍摄，获取所述待检测目标的第一红外光图片；
通过预设的缺陷检测模型对所述第一红外光图片进行第一缺陷检测，获取所述待检测目标的第一缺陷检测结果；
根据所述第一缺陷检测结果获取所述缺陷的位置，通过拍摄设备在第二角度对缺陷进行红外光拍摄，获取所述缺陷的第二红外光图片；
通过预设的缺陷检测模型对所述第二红外光图片进行第二缺陷检测，获取所述待检测目标的第二缺陷检测结果；
如果所述第一缺陷检测结果和所述第二缺陷检测结果对应的缺陷位置的重合度大于或等于预设值，则将所述缺陷位置标记为目标缺陷位置。
5.如权利要求2所述的方法，其特征在于，所述缺陷检测模型选用生成性对抗网络时，所述缺陷检测模型对所述红外光图片进行缺陷分析之前，训练所述缺陷检测模型的方法包括：
在无缺陷的所述待检测目标的红外光图片加上缺陷，作为第一缺陷图片，所述生成性对抗网络的生成器对所述第一缺陷图片进行修复，并交由所述生成性对抗网络的判别器分辨修复后的所述第一缺陷图片与无缺陷的所述待检测目标的红外光图片，所述生成性对抗网络经过训练后，所述判别器分辨所述第一缺陷图片与所述无缺陷的所述待检测目标的红外光图片的准确率等于预设阈值时，所述缺陷检测模型训练完成；
所述缺陷包括裂纹缺陷、豁缺口缺陷和漏油缺陷中的一种或多种组合。
6.一种基于双光检测缺陷的系统，其特征在于，所述系统包括：
可见光图片获取模块，用于通过拍摄设备对待检测目标进行可见光拍摄，获取所述待检测目标的可见光图片；
目标类型判断模块，用于通过预设的目标检测模型对所述可见光图片进行类型分析，判断所述可见光图片中的待检测目标的类型是否为预设的目标类型；
红外光图片获取模块，用于如果所述目标检测模型的输出结果为是，通过拍摄设备对所述待检测目标进行红外光拍摄，获取所述待检测目标的红外光图片；
缺陷获取模块，用于通过预设的缺陷检测模型对所述红外光图片进行缺陷分析，根据所述缺陷分析的结果获取所述待检测目标的缺陷并标记所述缺陷。
7.如权利要求6所述的系统，其特征在于，所述目标类型判断模块，包括：
目标类型判断单元，用于如果所述目标检测模型的输出结果的置信度高于预设的置信度阈值，则所述待检测目标的类型为预设的目标类型。
8.如权利要求6-7任一项所述的系统，其特征在于，所述缺陷获取模块，包括：
第一红外光图片获取单元，用于通过拍摄设备在第一角度对所述待检测目标进行红外光拍摄，获取所述待检测目标的第一红外光图片；
第一缺陷检测结果获取单元，用于通过预设的缺陷检测模型对所述第一红外光图片进行第一缺陷检测，获取所述待检测目标的第一缺陷检测结果；
第二红外光图片获取单元，用于根据所述第一缺陷检测结果获取所述缺陷的位置，通过拍摄设备在第二角度对缺陷进行红外光拍摄，获取所述缺陷的第二红外光图片；
第二缺陷检测结果获取单元，用于通过预设的缺陷检测模型对所述第二红外光图片进行第二缺陷检测，获取所述待检测目标的第二缺陷检测结果；
缺陷确定单元，用于如果所述第一缺陷检测结果和所述第二缺陷检测结果对应的缺陷位置的重合度大于或等于预设值，则将所述缺陷位置标记为目标缺陷位置。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的基于双光检测缺陷的方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的基于双光检测缺陷的方法。
CN202211014553.3A 2022-08-23 2022-08-23 基于双光检测缺陷的方法及相应的系统 Pending CN115330743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211014553.3A CN115330743A (zh) 2022-08-23 2022-08-23 基于双光检测缺陷的方法及相应的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211014553.3A CN115330743A (zh) 2022-08-23 2022-08-23 基于双光检测缺陷的方法及相应的系统

Publications (1)

Publication Number Publication Date
CN115330743A true CN115330743A (zh) 2022-11-11

Family

ID=83925878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211014553.3A Pending CN115330743A (zh) 2022-08-23 2022-08-23 基于双光检测缺陷的方法及相应的系统

Country Status (1)

Country Link
CN (1) CN115330743A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495846A (zh) * 2023-12-27 2024-02-02 苏州镁伽科技有限公司 图像检测方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495846A (zh) * 2023-12-27 2024-02-02 苏州镁伽科技有限公司 图像检测方法、装置、电子设备及存储介质
CN117495846B (zh) * 2023-12-27 2024-04-16 苏州镁伽科技有限公司 图像检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN110610166B (zh) 文本区域检测模型训练方法、装置、电子设备和存储介质
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN111507990A (zh) 一种基于深度学习的隧道表面缺陷分割方法
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN111861978A (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
CN108550159B (zh) 一种基于图像三色分割的烟气浓度标识方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN111080609B (zh) 一种基于深度学习的闸瓦插销丢失检测方法
CN112348787A (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
CN112700489B (zh) 基于深度学习的船基视频图像海冰厚度测量方法及系统
CN111598858B (zh) 一种基于迁移学习的橡胶手套的检测方法及系统
CN111178392A (zh) 基于深度神经网络的航空发动机孔探图像损伤分割方法
CN115330743A (zh) 基于双光检测缺陷的方法及相应的系统
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN116089944A (zh) 基于迁移学习的跨平台应用程序异常检测方法、系统
CN114882009A (zh) 可适应多种表面状态的疲劳裂纹尖端自动检测方法及系统
CN115082650A (zh) 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法
CN116152674A (zh) 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法
CN113902719A (zh) 一种输电线路无人机巡检图像质量的检测方法
CN113902695A (zh) 一种针对色织物裁片缺陷区域的检测方法
CN113947567B (zh) 基于多任务学习的缺陷检测方法
CN117474915B (zh) 一种异常检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination