CN113658121A - 一种线路缺陷检测方法、系统及计算机存储介质 - Google Patents

一种线路缺陷检测方法、系统及计算机存储介质 Download PDF

Info

Publication number
CN113658121A
CN113658121A CN202110906170.6A CN202110906170A CN113658121A CN 113658121 A CN113658121 A CN 113658121A CN 202110906170 A CN202110906170 A CN 202110906170A CN 113658121 A CN113658121 A CN 113658121A
Authority
CN
China
Prior art keywords
image
defect
network model
sub
small sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110906170.6A
Other languages
English (en)
Other versions
CN113658121B (zh
Inventor
陈湘源
李宁
贺嘉玉
徐跃福
王乾坤
陈伟崇
高程
张宝军
李晓伟
乔鹏举
张玉龙
夏永兵
邹杰
武强
姜蓉蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN YIRI TECHNOLOGY CO LTD
Guoneng Yulin Energy Co ltd
Original Assignee
SHENZHEN YIRI TECHNOLOGY CO LTD
Guoneng Yulin Energy Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN YIRI TECHNOLOGY CO LTD, Guoneng Yulin Energy Co ltd filed Critical SHENZHEN YIRI TECHNOLOGY CO LTD
Priority to CN202110906170.6A priority Critical patent/CN113658121B/zh
Publication of CN113658121A publication Critical patent/CN113658121A/zh
Application granted granted Critical
Publication of CN113658121B publication Critical patent/CN113658121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种线路缺陷检测方法、系统及计算机存储介质，所述线路缺陷检测方法，包括：构建小样本目标检测网络模型，用于根据目标物的拍摄图像确定所述目标物的缺陷区域；构建小样本图像分类网络模型，用于确定所述缺陷区域所属的缺陷类型；向所述小样本目标检测网络模型中输入待测物的图像，并至少获得包含所述待测物的缺陷区域的第一图像；至少将所述第一图像输入至所述小样本分类模型中，得到所述缺陷区域所属的缺陷类型。本发明的线路检测方法能够基于拍摄待测物的图像而快速高效地确定出所述待测物是否具有缺陷区域，并确定出缺陷区域的缺陷类型。

Description

一种线路缺陷检测方法、系统及计算机存储介质
技术领域
本发明涉及互联网技术领域，特别涉及一种线路缺陷检测方法、系统及计算机存储介质。
背景技术
当前，在工业检测领域中，对样本数据较少的线路缺陷检测场景中，主要存在以下检测方法：
(1)人工巡检。人工巡检依靠工作人员巡逻，人眼进行检查发现缺陷。这种方式虽然准确率很高，无需复检，但是成本很高，需要投入大量人力物力。此外，某些场景如高铁线路、山林电网地势复杂，路线遥远，很难全面地进行人力巡检。
(2)传统视觉缺陷检测。传统视觉缺陷检测方法大多是手工特征工程，从颜色、形状、长宽比、角度等来确定被检测的目标是否存在缺陷，最终定义出一系列的规则来进行缺陷检测。虽然这种方案在简单的场景中取得了不错的效果，但是随着缺陷类型的变化和缺陷场景的增多，所有定义好的规则需要重新设计，带来大量重复工作。
(3)深度学习缺陷检测。深度学习的发展解决了传统手工设计特征的困难，在图像分类、目标检测等领域取得了显著效果。基于深度学习的缺陷检测技术通过大量缺陷图像的训练，形成自动特征提取结构，对缺陷进行定位。但是深度学习缺陷检测存在数据量需求大，工业数据收集成本高等问题。在缺陷数据集数量较少的情况下，难以实现较好的效果。
故，基于传统视觉缺陷检测的方法，随着缺陷类型的变化和缺陷场景的增多，所有定义好的规则需要重新设计，带来大量重复工作。而基于深度学习的方法依赖大量的训练数据，当大数据的要求不能满足时，这些方法的准确率会大幅下降，检测效果难以保证。
发明内容
本发明提供一种线路缺陷检测方法、系统及计算机存储介质，用以基于拍摄待测物的图像而快速高效地确定出所述待测物是否具有缺陷区域，并确定出缺陷区域的缺陷类型。
本发明提供一种线路缺陷检测方法，包括：
构建小样本目标检测网络模型，用于根据目标物的拍摄图像确定所述目标物的缺陷区域；
构建小样本图像分类网络模型，用于确定所述缺陷区域所属的缺陷类型；
向所述小样本目标检测网络模型中输入待测物的图像，并至少获得包含所述待测物的缺陷区域的第一图像；
至少将所述第一图像输入至所述小样本分类模型中，得到所述缺陷区域所属的缺陷类型。通过本申请的方法可以在样本数据量较小时仍能够快速高效地对线路缺陷进行检测。
在一实施例中，所述构建小样本目标检测网络模型，包括：
对所述目标物的不同部位分别拍摄多张图像；
基于所述多张图像的内容分别标注图像类型，所述图像类型包括表征拍摄部位正常的第一类型，和表征拍摄部分具有所述缺陷区域的第二类型；
基于标注的多张图像形成训练集和测试集；
基于所述训练集和测试集训练并测试第一网络模型，以形成所述小样本目标检测网络模型。本申请中小样本目标检测网络模型的训练过程中所需的训练数据易于制备，使得训练过程简单快速。
在一实施例中，所述第一网络模型为快速目标检测模型，
所述基于所述训练集和测试集训练并测试第一网络模型，包括：
基于所述训练集中的第一类型数据对所述快速目标检测模型进行预训练；
冻结经过预训练的所述快速目标检测模型中区域建议框分类网络及回归建议框位置网络的参数；
基于所述训练集中数量相同的第一类型数据和第二类型数据形成的小样本数据集训练被冻结参数的所述快速目标检测模型，以实现对所述快速目标检测模型的微调，得到所述小样本目标检测网络模型。本申请采用快速目标检测模型作为基础模型，可使得训练得到的目标检测网络模型的检测效率及精度更能得到保证。
在一实施例中，所述构建小样本图像分类网络模型，包括：
对所述目标物的不同部位分别拍摄多张图像；
将所述多张图像中具有所述缺陷区域的部分以及具有所述目标物的正常区域的部分分别进行剪裁，形成多个子图像；
对所述多个子图像进行缺陷类型的标注，所述缺陷类型包括缺陷类型1、缺陷类型2…缺陷类型n、无缺陷；
基于所述多个子图像训练第二网络模型，以形成所述小样本图像分类网络模型。本申请中小样本图像分类网络模型的训练过程中所需的训练数据易于制备，使得训练过程简单快速。
在一实施例中，所述第二网络模型为关系网络模型；
所述基于多个所述子图像训练第二网络模型，包括：
将所述多个子图像划分为多个第一子图像集和第二子图像集，其中第一子图像集包含标注有所述缺陷类型的子图像；
基于所述第一子图像集和第二子图像集训练所述关系网络模型。本申请中小样本图像分类网络模型采用关系网络模型作为基础模型，可保证训练得到的模型的图像分类效率及精度。
在一实施例中，所述关系网络模型包括用于提取图像特征的嵌入模块，以及确定任意两个图像特征相似度度量的关系模块；
所述基于所述第一子图像集和第二子图像集训练所述关系网络模型，包括：
将多个所述第一子图像集和第二子图像集输入至嵌入模块，以获得第一子图像集的特征和第二子图像集的特征；
将所述第一子图像集及第二子图像集的特征进行组合，形成多个特征组合，每个特征组合里均包括第一子图像集的特征和第二子图像集的特征；
将所述多个特征组合输入至所述关系模块中，以确定对应每个特征组合的相似度，同时使所述关系模块收敛，进而使所述关系网络模型收敛；
确定相似度最大值所对应的特征组合所属的缺陷类型为用于输出的分类结果。通过上述方法可确保在小样本图像分类网络模型在基于图像进行分类时，能够基于图像中的特征实现准确分类，确保分类精度。
在一实施例中，所述至少获得包含所述待测物的缺陷区域的第一图像，包括：
至少获得包含表征所述缺陷区域的坐标及预测置信度的第一图像。基于该第一图像，可使用户以及小样本图像分类网络模型快速确定出缺陷区域。
在一实施例中，所述至少将所述第一图像输入至所述小样本分类模型中，得到所述缺陷区域所属的缺陷类型，包括：
对所述第一图像进行裁剪，得到包含所述缺陷区域的第二图像；
将所述第二图像输入至所述小样本分类模型中，得到所述缺陷区域所属的缺陷类型。本申请中通过对第一图像进行裁剪，以得到包含缺陷区域的第二图像，使小样本图像分类模型直接基于第二图像进行识别分类，加快了分类速度。
本申请另一实施例还提供一种线路缺陷检测系统，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行以实现上述任一实施例中所述的线路缺陷检测方法。该系统结构简单，仅基于处理器及存储器便可实现上述线路缺陷检测方法。
本申请另一实施例还提供一种计算机存储介质，当存储介质中的指令由车载灯语编辑系统对应的处理器执行时，使得线路缺陷检测系统能够实现上述任一实施例中所述的线路缺陷检测方法。通过该计算机存储介质，可使线路缺陷检测方法的应用范围更为广泛。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明一实施例中的线路缺陷检测方法的方法流程图；
图2为本发明另一实施例中的线路缺陷检测方法的方法流程图。
图3为本发明另一实施例中的线路缺陷检测方法的方法流程图。
图4为本发明一实施例中的线路缺陷检测方法的实际应用流程图。
图5为本发明一实施例中的线路缺陷检测系统的结构关系图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为本发明一实施例中的线路缺陷检测方法的方法流程图，如图1所示，本发明实施例中的线路缺陷检测方法包括：
S11:构建小样本目标检测网络模型，用于根据目标物的拍摄图像确定目标物的缺陷区域；
S21:构建小样本图像分类网络模型，用于确定缺陷区域所属的缺陷类型；
S31:向小样本目标检测网络模型中输入待测物的图像，并至少获得包含待测物的缺陷区域的第一图像；
S41:至少将第一图像输入至小样本分类模型中，得到缺陷区域所属的缺陷类型。
本实施例所述的方案属于图像处理技术领域，更进一步涉及针对小样本场景下的线路缺陷检测。本实施例所述的方案可用于图像样本数据较少的线路缺陷检测场景中，如高铁线路缺陷检测、电网损坏器件检测、线路入侵物检测等。本实施例中的线路缺陷检测方法首先建立小样本目标检测网络模型和小样本图像分类网络模型，然后向小样本目标检测网络模型中输入图像，该图像为选取对应检测场景下，待检测物体的彩色图像或灰度图像作为输入图像，该小样本目标检测网络模型基于小样本目标检测算法对待测物的相关拍摄图像中的所有缺陷区域进行初步定位，然后系统可以将具有缺陷区域的图像进行裁剪后送入小样本图像分类网络模型中进行进一步的分类，得到缺陷类型。
鉴于目前部分线路缺陷检测场景的异常数据量极少，导致主流的缺陷检测算法不能达到较高的精度时，本实施例的检测方法针对该小样本场景提出了一种线路缺陷检测方法，检测精度高，检测流程简明易懂，容易实现，适合大规模应用；其次，本实施例将缺陷检测分为两部分：第一步为高召回率的缺陷定位；第二步为高精度的缺陷分类。先使用小样本目标检测网络模型对缺陷部位进行大范围的定位，尽量不漏掉任何一处缺陷。然后再使用高精度的小样本图像分类网络模型对定位出的缺陷块进行分类，进一步提高缺陷检测精度，降低缺陷检测误检率。另外，为了提升小样本场景下线路缺陷检测的精度，本实施例在上述的缺陷检测的过程中，分别选择适合其应用场景的小样本目标检测算法和小样本图像分类算法，增强了实际应用的鲁棒性，降低方法的误检率。
具体地，图2为本发明另一实施例中的线路缺陷检测方法的方法流程图，如图2所示，本实施例构建小样本目标检测网络模型，包括：
S12:对目标物的不同部位分别拍摄多张图像；
S13:基于多张图像的内容分别标注图像类型，图像类型包括表征拍摄部位正常的第一类型，和表征拍摄部分具有缺陷区域的第二类型；
S14:基于标注的多张图像形成训练集和测试集；
S15:基于训练集和测试集训练并测试第一网络模型，以形成小样本目标检测网络模型。
进一步地，本实施例中的第一网络模型为快速目标检测模型，当基于训练集和测试集训练并测试第一网络模型时，包括：
S16:基于训练集中的第一类型数据对快速目标检测模型进行预训练；
S17:冻结经过预训练的快速目标检测模型中区域建议框分类网络及回归建议框位置网络的参数；
S18:基于训练集中数量相同的第一类型数据和第二类型数据形成的小样本数据集训练被冻结参数的快速目标检测模型，以实现对快速目标检测模型的微调，得到小样本目标检测网络模型。
例如，选取由对应检测场景下对目标物拍摄得到的多张固定分辨率大小的彩色或灰度图像，作为待处理图像。对拍摄到的多张图像进行实例级别的标注，将数据集标注为{正常部位，缺陷部位}两大类，即第一类型和第二类型。接着对小样本目标检测网络模型进行训练，算法使用FsDet，而算法所使用的特征提取网络为ResNet101-FPN。具体流程如下：
a)模型预训练阶段：利用大量的正常部位数据对模型进行预训练。对于 FsDet小样本目标检测算法，预训练阶段持续18000次迭代(Iteration)，学习率为0.02，batch size为16；
b)模型微调阶段：使用正常部位数据和缺陷部位数据构建数量平衡的小样本数据集，及正常类别数据量和缺陷类别的数据量大致相同。将第一网络模型选择为快速目标检测网络模型(Faster R-CNN)，其包含三个部分，分别是：用于提取图像特征的主干网络(Backbone)；用于生产区域建议框的RPN (Region Proposal Network区域建议网络)；用于对区域建议框进行分类和回归的RoI(Region of Interest)Heads，即分类回归网络。其中，RoI Heads又由四个组件构成：用于对齐区域建议框特征的RoI Pooling；用于进一步提取建议框特征的RoI Feature Extractor；用于对区域建议框分类的Box Classifier；用于回归建议框位置的Box Regressor。在进行微调时，将Faster R-CNN中除 Box Classifier和Box Regressor的参数全部冻结后，再利用小样本数据集进行模型的训练。本实施例中的微调阶段持续40000次迭代(Iteration)，学习率为 0.001，batch size为16。
图3为本发明另一实施例中的线路缺陷检测方法的方法流程图。如图3 所示，本实施例在构建小样本图像分类网络模型时，包括：
S22:对目标物的不同部位分别拍摄多张图像；
S23:将多张图像中具有缺陷区域的部分以及具有目标物的正常区域的部分分别进行剪裁，形成多个子图像；
S24:对多个子图像进行缺陷类型的标注，缺陷类型包括缺陷类型1、缺陷类型2…缺陷类型n、无缺陷；
S25:基于多个子图像训练第二网络模型，以形成小样本图像分类网络模型。
进一步地，本实施例中的第二网络模型为关系网络模型，关系网络模型包括用于提取图像特征的嵌入模块，以及确定任意两个图像特征相似度度量的关系模块；当基于多个子图像训练第二网络模型时，包括：
S26:将多个子图像划分为多个第一子图像集和第二子图像集，其中第一子图像集包含标注有缺陷类型的子图像；
S27:将多个第一子图像集和第二子图像集输入至嵌入模块，以获得第一子图像集的特征和第二子图像集的特征；
S28:将第一子图像集及第二子图像集的特征进行组合，形成多个特征组合，每个特征组合里均包括第一子图像集的特征和第二子图像集的特征；
S29:将多个特征组合输入至关系模块中，以确定对应每个特征组合的相似度，同时使关系模块收敛，进而使关系网络模型收敛；
S210:确定相似度最大值所对应的特征组合所属的缺陷类型为用于输出的分类结果。
例如，首先准备小样本图像分类网络的训练数据以及测试数据，包括：将图像中的缺陷部位和正常部位进行裁剪，形成多个子图像。然后对裁剪下来的图像块进行图像级别的标注，将数据集标注为{缺陷1，缺陷2，…，缺陷n，无缺陷}。接着，基于制备的训练数据对小样本图像分类网络模型进行训练，算法使用Relation Network，即，第二网络模型采用关系网络模型，其主要包括两个模块：嵌入模块(embedding module)和关系模块(relationmodule)。其中嵌入模块的作用是提取输入图像特征，关系模块的作用是对任意两个特征向量进行相似度度量。具体训练流程如下：
a)模型训练：采用episode(数据片段)策略以模拟测试中出现的小样本情景。在每个episode(数据片段)中，系统从无缺陷数据集中选取部分图像分别作为支持集(supportset)和查询集(query set)，相当于作为第一子图像集和第二子图像集，其中支持集(第一子图像集)中的图像包含带有缺陷标注的子图像，而查询集图像不包含带有缺陷标注的子图像。将支持集图像和查询集图像一起输入嵌入模型提取特征，得到支持集各类别图像的特征和查询集图像的特征后，将它们两两组合并输入关系模型自适应学习特征向量之间的相似度，取相似度分数最高的类别作为查询集图像的分类结果，其中，本实施例中的训练的初始学习率设置为0.003，并且每隔100000个episode减小一半。
b)重复执行步骤a)直至关系网络模型收敛，形成小样本图像分类网络模型。
图4为本发明一实施例中的线路缺陷检测方法的实际应用流程图。如图4 所示，本实施例中至少获得包含待测物的缺陷区域的第一图像，包括：
S32:至少获得包含表征缺陷区域的坐标及预测置信度的第一图像。
继续结合图4所示，至少将第一图像输入至小样本分类模型中，得到缺陷区域所属的缺陷类型，包括：
S42:对第一图像进行裁剪，得到包含缺陷区域的第二图像；
S43:将第二图像输入至小样本分类模型中，得到缺陷区域所属的缺陷类型。
例如，获得训练好的小样本目标检测网络模型输出的预测结果，即第一图像，其包含表征缺陷区域的坐标及预测置信度：{[tlx,tly,brx,bry,cls_idx, score],…,[tlx,tly,brx,bry,cls_idx,score]}。该坐标代表缺陷类别预测框在图像中的位置，该预测框圈住的区域即为缺陷区域。上述坐标中的tlx代表预测框的左上角横坐标，tly代表预测框的左上角纵坐标；brx代表预测框的右下角横坐标；bry代表预测框的右下角纵坐标；cls_idx代表检测框所属的类别，其中0为正常类，1为缺陷类；score代表当前检测框的预测置信度。
根据上述步骤得到的检测结果对第一图像进行裁剪，第一图像中可以包含多个预测框，系统将每一个缺陷类别预测框都裁剪为单独的图像块，即第二图像，并将其作为小样本图像分类网络模型的输入数据。小样本图像分类网络模型获得第二图像后对第二图像的缺陷类型进行分类，包括将标注为{缺陷1，缺陷2，…，缺陷n}的缺陷图像作为数据集，从数据集每个类别中选取固定个数的图像作为支持集，其余图像作为查询集，将支持集图像和查询集图像一起输入训练好的网络提取特征，并将每个查询集图像的特征与各个类别支持集图像特征输入关系模型计算相似度分数，取相似度分数最高的类别作为该查询集图像的分类结果，最终输出所有查询集图像的分类结果。
图5为本发明实施例中的线路缺陷检测系统的结构关系图。如图5所示，本发明实施例提供一种线路缺陷检测系统，包括：
至少一个处理器520，
与至少一个处理器520接的存储器504，
所述存储器504可被所述一个处理器520指令，所述指令被所述至少一个处理器520实现上述任一实施例所述的车灯控制方法。
参照图5，该线路缺陷检测系统500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入 /输出(I/O)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制线路缺陷检测系统500的整体操作，该处理组件 502例如用于构造小样本目标检测网络模型、小样本网络分类模型等。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在线路缺陷检测系统500 的操作。这些数据的示例包括用于在线路缺陷检测系统500上操作的任何应用程序或方法的指令，如文字，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器 (SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件506为线路缺陷检测系统500的各种组件提供电源。电源组件 506可以包括电源管理系统，一个或多个电源，及其他与为线路缺陷检测系统 500生成、管理和分配电源相关联的组件。
多媒体组件508包括在线路缺陷检测系统500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608还可以包括一个前置摄像头和/或后置摄像头。当线路缺陷检测系统 600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当线路缺陷检测系统500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为线路缺陷检测系统600 提供各个方面的状态评估。例如，传感器组件514可以包括声音传感器。另外，传感器组件514可以检测到线路缺陷检测系统500的打开/关闭状态，组件的相对定位，例如组件为线路缺陷检测系统500的显示器和小键盘，传感器组件514还可以检测线路缺陷检测系统500或线路缺陷检测系统500的一个组件的位置改变，用户与线路缺陷检测系统500接触的存在或不存在，线路缺陷检测系统500方位或加速/减速和线路缺陷检测系统500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD 图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514 还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器，。
通信组件516被配置为使线路缺陷检测系统500提供和其他设备以及云平台之间进行有线或无线方式的通信能力。线路缺陷检测系统500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，线路缺陷检测系统500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述线路缺陷检测方法。
本发明一实施例还提供一种计算机存储介质，当存储介质中的指令由车载灯语编辑系统对应的处理器执行时，使得线路缺陷检测系统能够实现上述任一实施例所述的线路缺陷检测方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种线路缺陷检测方法，其特征在于，包括：
构建小样本目标检测网络模型，用于根据目标物的拍摄图像确定所述目标物的缺陷区域；
构建小样本图像分类网络模型，用于确定所述缺陷区域所属的缺陷类型；
向所述小样本目标检测网络模型中输入待测物的图像，并至少获得包含所述待测物的缺陷区域的第一图像；
至少将所述第一图像输入至所述小样本图像分类网络模型中，得到所述缺陷区域所属的缺陷类型。
2.如权利要求1所述的线路缺陷检测方法，其特征在于，所述构建小样本目标检测网络模型，包括：
对所述目标物的不同部位分别拍摄多张图像；
基于所述多张图像的内容分别标注图像类型，所述图像类型包括表征拍摄部位正常的第一类型，和表征拍摄部分具有所述缺陷区域的第二类型；
基于标注的多张图像形成训练集和测试集；
基于所述训练集和测试集训练并测试第一网络模型，以形成所述小样本目标检测网络模型。
3.根据权利要求2所述的线路缺陷检测方法，其特征在于，所述第一网络模型为快速目标检测模型，
所述基于所述训练集和测试集训练并测试第一网络模型，包括：
基于所述训练集中的第一类型数据对所述快速目标检测模型进行预训练；
冻结经过预训练的所述快速目标检测模型中区域建议框分类网络及回归建议框位置网络的参数；
基于所述训练集中数量相同的第一类型数据和第二类型数据形成的小样本数据集训练被冻结参数的所述快速目标检测模型，以实现对所述快速目标检测模型的微调，得到所述小样本目标检测网络模型。
4.根据权利要求1所述的线路缺陷检测方法，其特征在于，所述构建小样本图像分类网络模型，包括：
对所述目标物的不同部位分别拍摄多张图像；
将所述多张图像中具有所述缺陷区域的部分以及具有所述目标物的正常区域的部分分别进行剪裁，形成多个子图像；
对所述多个子图像进行缺陷类型的标注，所述缺陷类型包括缺陷类型1、缺陷类型2…缺陷类型n、无缺陷；
基于所述多个子图像训练第二网络模型，以形成所述小样本图像分类网络模型。
5.根据权利要求4所述的线路缺陷检测方法，其特征在于，所述第二网络模型为关系网络模型；
所述基于多个所述子图像训练第二网络模型，包括：
将所述多个子图像划分为多个第一子图像集和第二子图像集，其中第一子图像集包含标注有所述缺陷类型的子图像；
基于所述第一子图像集和第二子图像集训练所述关系网络模型。
6.根据权利要求5所述的线路缺陷检测方法，其特征在于，所述关系网络模型包括用于提取图像特征的嵌入模块，以及确定任意两个图像特征相似度度量的关系模块；
所述基于所述第一子图像集和第二子图像集训练所述关系网络模型，包括：
将多个所述第一子图像集和第二子图像集输入至嵌入模块，以获得第一子图像集的特征和第二子图像集的特征；
将所述第一子图像集及第二子图像集的特征进行组合，形成多个特征组合，每个特征组合里均包括第一子图像集的特征和第二子图像集的特征；
将所述多个特征组合输入至所述关系模块中，以确定对应每个特征组合的相似度，同时使所述关系模块收敛，进而使所述关系网络模型收敛；
确定相似度最大值所对应的特征组合所属的缺陷类型为用于输出的分类结果。
7.根据权利要求1所述的线路缺陷检测方法，其特征在于，所述至少获得包含所述待测物的缺陷区域的第一图像，包括：
至少获得包含表征所述缺陷区域的坐标及预测置信度的第一图像。
8.根据权利要求1所述的线路缺陷检测方法，其特征在于，所述至少将所述第一图像输入至所述小样本图像分类网络模型中，得到所述缺陷区域所属的缺陷类型，包括：
对所述第一图像进行裁剪，得到包含所述缺陷区域的第二图像；
将所述第二图像输入至所述小样本图像分类网络模型中，得到所述缺陷区域所属的缺陷类型。
9.一种线路缺陷检测系统，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行以实现如权利要求1-8任一项所述的线路缺陷检测方法。
10.一种计算机存储介质，当存储介质中的指令由车载灯语编辑系统对应的处理器执行时，使得线路缺陷检测系统能够实现如权利要求1-8任一项所述的线路缺陷检测方法。
CN202110906170.6A 2021-08-09 2021-08-09 一种线路缺陷检测方法、系统及计算机存储介质 Active CN113658121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110906170.6A CN113658121B (zh) 2021-08-09 2021-08-09 一种线路缺陷检测方法、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110906170.6A CN113658121B (zh) 2021-08-09 2021-08-09 一种线路缺陷检测方法、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113658121A true CN113658121A (zh) 2021-11-16
CN113658121B CN113658121B (zh) 2024-07-12

Family

ID=78490460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110906170.6A Active CN113658121B (zh) 2021-08-09 2021-08-09 一种线路缺陷检测方法、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113658121B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359285A (zh) * 2022-03-18 2022-04-15 南方电网数字电网研究院有限公司 基于视觉上下文约束学习的电网缺陷检测方法和装置
CN115063366A (zh) * 2022-06-14 2022-09-16 山东瑞邦自动化设备有限公司 缺陷手套识别多模型预测方法
CN116580025A (zh) * 2023-07-12 2023-08-11 宁德时代新能源科技股份有限公司 缺陷过滤方法、装置、计算机设备和存储介质
WO2024002187A1 (zh) * 2022-06-30 2024-01-04 中兴通讯股份有限公司 缺陷检测方法、缺陷检测设备及存储介质
WO2024000372A1 (zh) * 2022-06-30 2024-01-04 宁德时代新能源科技股份有限公司 一种缺陷检测的方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4675730A (en) * 1985-09-06 1987-06-23 Aluminum Company Of America Video surface inspection system
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN110163858A (zh) * 2019-05-27 2019-08-23 成都数之联科技有限公司 一种铝型材表面缺陷检测与分类方法及系统
CN111127571A (zh) * 2019-12-03 2020-05-08 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN111862067A (zh) * 2020-07-28 2020-10-30 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN112001922A (zh) * 2020-10-29 2020-11-27 飞础科智慧科技(上海)有限公司 带电设备的缺陷诊断方法及设备
CN112330591A (zh) * 2020-09-30 2021-02-05 中国铁道科学研究院集团有限公司 少样本学习的钢轨表面缺陷检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4675730A (en) * 1985-09-06 1987-06-23 Aluminum Company Of America Video surface inspection system
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN110163858A (zh) * 2019-05-27 2019-08-23 成都数之联科技有限公司 一种铝型材表面缺陷检测与分类方法及系统
CN111127571A (zh) * 2019-12-03 2020-05-08 歌尔股份有限公司 一种小样本缺陷分类方法和装置
WO2021109627A1 (zh) * 2019-12-03 2021-06-10 歌尔股份有限公司 一种小样本缺陷分类方法、装置及计算设备
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN111862067A (zh) * 2020-07-28 2020-10-30 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN112330591A (zh) * 2020-09-30 2021-02-05 中国铁道科学研究院集团有限公司 少样本学习的钢轨表面缺陷检测方法及装置
CN112001922A (zh) * 2020-10-29 2020-11-27 飞础科智慧科技(上海)有限公司 带电设备的缺陷诊断方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
代小红;陈华江;朱超平;: "一种基于改进Faster RCNN的金属材料工件表面缺陷检测与实现研究", 表面技术, no. 10, 20 October 2020 (2020-10-20) *
常海涛;苟军年;李晓梅;: "Faster R-CNN在工业CT图像缺陷检测中的应用", 中国图象图形学报, no. 07, 16 July 2018 (2018-07-16) *
陈广;杨震;: "基于卷积特征的光纤缺陷检测方法", 中国惯性技术学报, no. 01, 15 February 2019 (2019-02-15) *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359285A (zh) * 2022-03-18 2022-04-15 南方电网数字电网研究院有限公司 基于视觉上下文约束学习的电网缺陷检测方法和装置
CN114359285B (zh) * 2022-03-18 2022-07-29 南方电网数字电网研究院有限公司 基于视觉上下文约束学习的电网缺陷检测方法和装置
CN115063366A (zh) * 2022-06-14 2022-09-16 山东瑞邦自动化设备有限公司 缺陷手套识别多模型预测方法
WO2024002187A1 (zh) * 2022-06-30 2024-01-04 中兴通讯股份有限公司 缺陷检测方法、缺陷检测设备及存储介质
WO2024000372A1 (zh) * 2022-06-30 2024-01-04 宁德时代新能源科技股份有限公司 一种缺陷检测的方法和装置
EP4322106A4 (en) * 2022-06-30 2024-02-28 Contemporary Amperex Technology Co., Limited METHOD AND DEVICE FOR ERROR DETECTION
US11978189B2 (en) 2022-06-30 2024-05-07 Contemporary Amperex Technology Co., Limited Defect detection method and apparatus
CN116580025A (zh) * 2023-07-12 2023-08-11 宁德时代新能源科技股份有限公司 缺陷过滤方法、装置、计算机设备和存储介质
CN116580025B (zh) * 2023-07-12 2024-04-02 宁德时代新能源科技股份有限公司 缺陷过滤方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113658121B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN113658121B (zh) 一种线路缺陷检测方法、系统及计算机存储介质
CN111696128B (zh) 一种高速多目标检测跟踪和目标图像优选方法及存储介质
CN107451607B (zh) 一种基于深度学习的典型人物的身份识别方法
CN103324937B (zh) 标注目标的方法和装置
CN110147726A (zh) 业务质检方法和装置、存储介质及电子装置
CN110723432A (zh) 垃圾分类的方法及增强现实设备
CN111967368B (zh) 一种交通灯识别的方法和装置
JP6700373B2 (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
CN110889421A (zh) 目标物检测方法及装置
CN112651989B (zh) 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN110910415A (zh) 抛物检测方法、装置、服务器和计算机可读介质
CN114359669A (zh) 图片分析模型调整方法、装置以及计算机可读存储介质
CN112949408A (zh) 一种过鱼通道目标鱼类实时识别方法和系统
CN110889489A (zh) 神经网络的训练方法、图像识别方法及其装置
CN109409257A (zh) 一种基于弱监督学习的视频时序动作检测方法
CN110427810A (zh) 视频定损方法、装置、拍摄端及机器可读存储介质
CN114359235A (zh) 一种基于改进YOLOv5l网络的木材表面缺陷检测方法
Kejriwal et al. Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system
US11647249B2 (en) Testing rendering of screen objects
KR101124560B1 (ko) 동영상 내의 자동 객체화 방법 및 객체 서비스 저작 장치
CN116611482B (zh) 模型训练方法、装置、电子设备及介质
CN112733686A (zh) 用于云联邦的图像中的目标物识别方法及装置
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN115908952B (zh) 一种基于改进YOLOv5算法的高铁隧道卡具检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant