CN111986174A - 缺陷检测方法、装置、电子设备及计算机存储介质 - Google Patents

缺陷检测方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN111986174A
CN111986174A CN202010835350.5A CN202010835350A CN111986174A CN 111986174 A CN111986174 A CN 111986174A CN 202010835350 A CN202010835350 A CN 202010835350A CN 111986174 A CN111986174 A CN 111986174A
Authority
CN
China
Prior art keywords
image
component
defect
speed rail
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010835350.5A
Other languages
English (en)
Inventor
孙明珊
暴天鹏
吴立威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202010835350.5A priority Critical patent/CN111986174A/zh
Publication of CN111986174A publication Critical patent/CN111986174A/zh
Priority to KR1020217033426A priority patent/KR20220023327A/ko
Priority to JP2021561907A priority patent/JP2022549541A/ja
Priority to PCT/CN2020/132532 priority patent/WO2022036919A1/zh
Priority to TW109143250A priority patent/TW202209256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种缺陷检测方法、装置、电子设备及计算机存储介质，其中该方法包括：获取高铁接触网的待检测图像；从所述待检测图像中分割出高铁接触网的第一部件的图像；从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件；基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果。本申请实施例采用级联的方式对高铁接触网进行缺陷检测，有利于降低高铁接触网缺陷检测的漏检率，提高检测的准确性。

Description

缺陷检测方法、装置、电子设备及计算机存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种缺陷检测方法、装置、电子设备及计算机存储介质。
背景技术
随着高铁建设的不断发展，高铁供电系统安全性和可靠性的要求也在逐步提高，高铁接触网的安全检测与维护就显得尤为重要。接触网悬挂监测装置的普及极大地提高了接触网运营维护中图像采集作业的效率，但是，面对海量的图像数据，传统采用人工排查的方式对接触网进行缺陷检测的方式不仅耗时长、效率低，而且还存在漏检率较高的问题，导致接触网缺陷检测的准确性较低。
发明内容
针对上述问题，本申请提供了一种缺陷检测方法、装置、电子设备及存储介质，有利于降低高铁接触网缺陷检测的漏检率，提高接触网缺陷检测的准确性。
为实现上述目的，本申请实施例第一方面提供了一种缺陷检测方法，该方法包括：
获取高铁接触网的待检测图像；
从所述待检测图像中分割出高铁接触网的第一部件的图像；
从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件；
基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果。
结合第一方面，在一种可能的实施方式中，所述从所述待检测图像中分割出高铁接触网的第一部件的图像，包括：
对所述待检测图像进行特征提取，得到第一特征图；
基于所述第一特征图对所述第一部件进行定位和分类，得到所述第一部件的第一矩形检测框；
按照所述第一矩形检测框从所述待检测图像中分割出所述第一部件的图像。
结合第一方面，在一种可能的实施方式中，所述基于所述第一特征图对所述第一部件进行定位和分类，得到所述第一部件的第一矩形检测框，包括：
在所述第一特征图上进行所述第一部件的候选区域坐标预测和前、背景分类，确定出所述第一部件的前景目标；
将所述第一部件的前景目标在所述第一特征图中对应的特征进行池化处理，得到第一池化特征；
基于所述第一池化特征对所述第一部件进行分类，得到所述第一部件的类别和所述第一矩形检测框。
结合第一方面，在一种可能的实施方式中，所述从所述第一部件的图像中分割出高铁接触网的第二部件的图像，包括：
对所述第一部件的图像进行伽马校验，得到所述第一部件的待分割图像；
从所述第一部件的待分割图像中分割出所述第二部件的图像。
结合第一方面，在一种可能的实施方式中，所述从所述第一部件的待分割图像中分割出所述第二部件的图像，包括：
对所述第一部件的待分割图像进行特征提取，得到第二特征图；
基于所述第二特征图对所述第二部件进行定位和分类，得到所述第二部件的第二矩形检测框；
按照所述第二矩形检测框从所述第一部件的待分割图像中分割出所述第二部件的图像。
结合第一方面，在一种可能的实施方式中，所述基于所述第二特征图对所述第二部件进行定位和分类，得到所述第二部件的第二矩形检测框，包括：
在所述第二特征图上进行所述第二部件的候选区域坐标预测和前、背景分类，确定出所述第二部件的前景目标；
将所述第二部件的前景目标在所述第二特征图中对应的特征进行池化处理，得到第二池化特征；
基于所述第二池化特征对所述第二部件进行分类，得到所述第二部件的类别和所述第二矩形检测框。
结合第一方面，在一种可能的实施方式中，所述基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果，包括：
分别对所述第一部件的图像、所述第二部件的图像进行特征提取；
基于所述第一部件的图像提取出的特征对所述第一部件进行缺陷类型预测，得到所述第一部件的缺陷分类结果；所述第一部件的缺陷分类结果包括所述第一部件的缺陷类型和所述第一部件的类别；以及
基于所述第二部件的图像提取出的特征对所述第二部件进行缺陷类型预测，得到所述第二部件的缺陷分类结果；所述第二部件的缺陷分类结果包括所述第二部件的缺陷类型和所述第二部件的类别。
结合第一方面，在一种可能的实施方式中，在基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果之后，所述方法还包括：
根据所述缺陷分类结果进行缺陷预警。
结合第一方面，在一种可能的实施方式中，所述根据所述缺陷分类结果进行缺陷预警，包括：
针对所述第一部件，输出所述第一部件的缺陷类型、所述第一部件在所述待检测图像中的位置、所述第一部件的类别和所述第一部件所在的高铁线路，以进行缺陷预警；
针对所述第二部件，确定所述第二部件所属的目标第一部件，输出所述第二部件的缺陷类型、所述第二部件在所述待检测图像中的位置、所述第二部件的类别、所述目标第一部件在所述待检测图像中的位置、所述目标第一部件的类别和所述第二部件所在的高铁线路，以进行缺陷预警。
结合第一方面，在一种可能的实施方式中，所述获取高铁接触网的待检测图像，包括：
获取成像设备采集的高铁接触网原始图像；
对所述高铁接触网原始图像进行过滤，得到所述待检测图像。
本申请实施例第二方面提供了一种缺陷检测装置，该装置包括：
图像获取模块，用于获取高铁接触网的待检测图像；
第一检测模块，用于从所述待检测图像中分割出高铁接触网的第一部件的图像；
第二检测模块，用于从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件；
缺陷分类模块，用于基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果。
本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述第一方面任一种实施方式中的步骤。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行上述第一方面任一种实施方式中的步骤。
可以看出，本申请实施例通过获取高铁接触网的待检测图像；从所述待检测图像中分割出高铁接触网的第一部件的图像；从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件；基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果。这样对高铁接触网的待检测图像进行一级部件(即第一部件)的检测，从高铁接触网的待检测图像中分割出一级部件的图像，再对一级部件的图像进行二级部件(即第二部件)的检测，以识别出一级部件上的二级部件，分割出二级部件的图像，利用一级部件的图像和二级部件的图像进行缺陷分类，实现了级联式的高铁接触网缺陷检测，从而有利于降低高铁接触网缺陷检测的漏检率，进而提高接触网缺陷检测的准确性。同时，还有利于降低人工巡检成本、缩短检测时间、提高检测效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种缺陷检测方法的流程示意图；
图2为本申请实施例提供的一种高铁接触网缺陷检测的应用环境示意图；
图3为本申请实施例提供的一种对高铁接触网原始图像进行过滤的示意图；
图4为本申请实施例提供的一种高铁接触网缺陷检测模型的结构示意图；
图5A为本申请实施例提供的一种分割第一部件的示意图；
图5B为本申请实施例提供的一种分割第二部件的示意图；
图6为本申请实施例提供的另一种缺陷检测方法的流程示意图；
图7为申请实施例提供的一种基于特征图产生候选区域的示意图；
图8为申请实施例提供的一种缺陷检测装置的结构示意图；
图9为申请实施例提供的另一种缺陷检测装置的结构示意图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。
本申请实施例提出一种高铁接触网的缺陷检测方案，以降低高铁接触网缺陷检测的漏检率，提高缺陷检测的准确性。在具体实施中，采用了基于深度学习的高铁接触网缺陷检测模型，先从高铁接触网待检测图像中定位出一级部件，再从一级部件的图像中定位出与一级部件具有级联关系的二级部件，有利于降低部件的漏检率，利用一级部件的图像、二级部件的图像进行一级部件和二级部件的缺陷类型预测，最后缺陷预警时能够输出缺陷的具体位置、缺陷类型、缺陷所属的部件、缺陷所属部件的上级部件以及缺陷所在的具体线路段等，整个检测流程呈树结构，部件之间的结构化信息有利于运营维护人员快速确定缺陷位置、缺陷路线，从而展开接触网的维护工作，以保障高铁的安全运行，同时，有利于新部件、新缺陷的扩展。
以下结合相关附图对本申请实施例提供的缺陷检测方法进行详细阐述。
请参见图1，图1为本申请实施例提供的一种缺陷检测方法的流程示意图，该缺陷检测方法应用于服务器，例如：部署有基于深度学习的高铁接触网缺陷检测模型的服务器、电脑主机、云服务器等，如图1所示，包括步骤S11-S14：
S11，获取高铁接触网的待检测图像。
本申请具体实施例中，如图2所示，高铁巡检车通常在夜晚作业，巡检车上安装有高清成像设备和车载传感器，巡检车在高铁线路上行进，每当车载传感器检测到路线两侧的支柱时，便触发成像设备对接触网进行图像采集，得到高铁接触网原始图像，例如：巡检车上通常包括车头和车尾两组成像设备，当车载传感器检测到预设范围内有支柱时，便触发两组成像设备对接触网的支持部件、悬挂部件等进行正反面及整体布局的成像，由此得到大批量来自不同角度的高铁接触网原始图像。高铁接触网原始图像的分辨率通常有一个较佳的值，例如：6576*4384像素，但由于夜间作业、雾气弥漫等环境因素，导致采集的高铁接触网原始图像中仍然会存在分辨率较低的图像，例如：分辨率长宽低于2000像素，因此，如图3所示，需要对采集的高铁接触网原始图像进行过滤，从中筛选出分辨率长宽达到预设像素值的高铁接触网原始图像作为后续缺陷检测的待检测图像，过滤掉分辨率长宽低于预设像素值的高铁接触网原始图像。
S12，从所述待检测图像中分割出高铁接触网的第一部件的图像。
本申请具体实施例中，采用预训练的基于深度学习的高铁接触网缺陷检测模型对步骤S11中获取的待检测图像中的各部件进行缺陷检测，该高铁接触网缺陷检测模型包括第一部件检测器、第二部件检测器、缺陷分类器和缺陷预警模块，如图4所示，第一部件检测器的输入为待检测图像，用于从待检测图像中检测出高铁接触网的第一部件，例如：柱顶盖板、绝缘子、环杆-直角挂板关节、臂腕底座、AF线肩架底座、接触线中心锚结线夹、坠陀限制架等等，第二部件检测器用于从第一部件检测器输出的第一部件的图像中检测出第一部件上的第二部件，例如：绝缘子两端的螺栓、螺母、开口销等，其输出为第二部件的图像，缺陷分类器用于根据第一部件的图像对第一部件进行缺陷分类、根据第二部件的图像对第二部件进行缺陷分类，缺陷预警模块用于根据缺陷分类器输出的缺陷分类结果进行缺陷预警，其输出包括缺陷所在的位置、缺陷类型(如臂腕底座上开口销角度不到位)、缺陷所属部件的上级部件、缺陷所处的高铁线路等。可选的，第一部件检测器可以是two-stage检测器，也可以是one-stage检测器，two-stage的检测器基于从待检测图像提取出的特征图产生候选区域，然后对候选区域进行分类预测，得到第一部件的类别和矩形检测框坐标，该矩形检测框坐标可以是左上角和右下角的坐标，也可以是中心点坐标和长宽等，具体不作限定，如图5A所示，按照矩形检测框从待检测图像中分割出第一部件的图像，如绝缘子、臂腕底座等。one-stage检测器，不需要产生候选区域，其针对输入的待检测图像直接进行分类预测，得到第一部件的类别和矩形检测框坐标，然后按照该矩形检测框分割出第一部件的图像。可选的，第一部件检测器采用高铁接触网的样本图像进行训练，该样本图像中的第一部件带有类别标签，在训练过程中通过预设损失函数对该第一部件检测器进行调优。
S13，从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件。
本申请具体实施例中，第二部件是指第一部件上的子部件，二者具有级联关系，由于二级部件具有像素占比小的特点，在光线不佳的环境下，如果直接对步骤S12中分割出的第一部件的图像进行检测，出现漏检的可能性较高，因此，需要对第一部件的图像进行伽马校验，以提高图像质量，得到第一部件的待分割图像(即伽马校验后得到的图像)，然后通过第二部件检测器从待分割图像中分割出高铁接触网的第二部件的图像。可选的，该第二部件检测器可以与第一部件检测器相同，也可以不同，其可以与第一部件检测器一起训练，也可以单独训练，同理，得到第二部件的类别和矩形检测框后，如图5B所示，按照该矩形检测框从第一部件的图像中分割出第二部件的图像。
S14，基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果。
本申请具体实施例中，可选的，上述基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果，包括：
分别对所述第一部件的图像、所述第二部件的图像进行特征提取；
基于所述第一部件的图像提取出的特征对所述第一部件进行缺陷类型预测，得到所述第一部件的缺陷分类结果；所述第一部件的缺陷分类结果包括所述第一部件的缺陷类型和所述第一部件的类别；以及
基于所述第二部件的图像提取出的特征对所述第二部件进行缺陷类型预测，得到所述第而部件的缺陷分类结果；所述第二部件的缺陷分类结果包括所述第二部件的缺陷类型和所述第二部件的类别。
请继续参见图4，得到第一部件的图像和第二部件的图像后，将其输入缺陷分类器进行缺陷类型的概率预测。具体的，通过缺陷分类器的骨干网络提取出第一部件的图像的特征和第二部件的图像的特征，骨干网络主要进行卷积处理，然后基于提取出的特征，将该特征输入全连接层进行缺陷类型的概率预测，取概率最高的缺陷类型作为该部件的缺陷类型，例如：当前输入第一部件坠陀限制架的特征，全连接层通过分类处理，预测出该坠陀限制架存在裂纹的概率达到95％(最高)，则该坠陀限制架的缺陷类型即为存在裂纹。当然，缺陷分类器最终的输出除了部件的缺陷类型外，还有部件的类别索引和矩形检测框坐标，例如：c05，存在裂纹，c05即表示部件的类别索引，其中，第一部件的类别索引可在第一部件检测器得到第一部件的类别时确定，第二部件的类别索引可在第二部件检测器得到第二部件的类别时确定。其中，缺陷分类器可与第一部件检测器一起训练，也可与第二部件检测器一起训练，或者单独训练。
可选的，在基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果之后，所述方法还包括：根据所述缺陷分类结果进行缺陷预警。
本申请具体实施例中，所述根据所述缺陷分类结果进行缺陷预警，包括：
针对所述第一部件，输出所述第一部件的缺陷类型、所述第一部件在所述待检测图像中的位置、所述第一部件的类别和所述第一部件所在的高铁线路，以进行缺陷预警；
针对所述第二部件，确定所述第二部件所属的目标第一部件，输出所述第二部件的缺陷类型、所述第二部件在所述待检测图像中的位置、所述第二部件的类别、所述目标第一部件在所述待检测图像中的位置、所述目标第一部件的类别和所述第二部件所在的高铁线路，以进行缺陷预警。
具体的，目标第一部件是指第二部件的上级部件，缺陷预警模块的输入包括第一部件和第二部件的缺陷分类结果、第一部件和第二部件的矩形检测框坐标，可输出部件的缺陷类型、部件在待检测图像中的位置、部件的类别、部件所属上级部件在待检测图像中的位置、部件的上级部件的类别以及部件所在的高铁线路。可选的，部件在待检测图像中的位置以及部件的上级部件在待检测图像中的位置均以部件的矩形检测框呈现，部件的类别以及部件的上级部件的类别均以类别索引呈现，部件所在的高铁线路可根据成像设备上传高铁接触网原始图像时携带的标识进行输出，例如：某张高铁接触网原始图像携带有AB1002(A市到B市的第1002段线路)的标识，该标识会存在于整个缺陷检测过程中，当然，此处仅仅为一种举例说明，并不对本申请实施例造成限定。
另外，由于第一部件并没有所属的上级部件，因此第一部件的输出的预警信息包括第一部件的缺陷类型(如AF线肩架底座上螺母脱落)、第一部件在待检测图像中的位置(如AF线肩架底座的矩形检测框)、第一部件的类别和第一部件所在的高铁线路。而第二部件通常存上级部件，因此，需要确定第二部件所属的目标第一部件，在输出第二部件本身的缺陷类型、第二部件在待检测图像中的位置等信息，还需要输出该目标第一部件的类别、在待检测图像中的位置等。
进一步的，所述确定所述第二部件所属的目标第一部件，包括：
获取所述第二部件的第二矩形检测框与所有所述第一部件的第一矩形检测框的交集；
获取所述交集与所述第二矩形检测框之间的比值；
根据所述第二矩形检测框之间的比值确定所述第二部件所属的目标第一部件。
具体的，第一矩形检测框是指第一部件的边界框回归，第二矩形检测框是指第二部件的边界框回归，针对当前检测的定位钩(属于第二部件)，假设其第二矩形检测框为A，所有第一部件的第一矩形检测框为B1,B2,B3…Bn，先获取该第二矩形检测框A与所有第一矩形检测框B1,B2,B3…Bn的交集C1,C2,C3…Cn，再分别计算交集C1,C2,C3…Cn与第二矩形检测框A的比值C1/A,C2/A,C3/A…Cn/A，若C1/A为最大值，则将第一矩形检测框B1所对应的第一部件作为该定位钩所属的目标第一部件。该实施方式中，由于缺陷预警模块输入的是第一部件和第二部件的缺陷分类结果、第一部件和第二部件的矩形检测框坐标，因此，可根据第二部件与第一部件的矩形检测框的交集同第二部件的矩形检测框的比值来确定第二部件的上级部件，对整体检测耗时并未造成影响，且准确度满足需求。
本申请实施例通过获取高铁接触网的待检测图像；从所述待检测图像中分割出高铁接触网的第一部件的图像；从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件；基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果。这样对高铁接触网的待检测图像进行一级部件的检测，从高铁接触网的待检测图像中分割出一级部件的图像，再对一级部件的图像进行二级部件的检测，以识别出一级部件上的二级部件，分割出二级部件的图像，利用一级部件的图像和二级部件的图像进行缺陷分类，实现了级联式的高铁接触网缺陷检测，从而有利于降低高铁接触网缺陷检测的漏检率，进而提高接触网缺陷检测的准确性。同时，还有利于降低人工巡检成本、缩短检测时间、提高检测效率。
请参见图6，图6为本申请实施例提供的另一种缺陷检测方法的流程示意图，如图6所示，包括步骤S61-S67：
S61，获取高铁接触网的待检测图像；
S62，对所述待检测图像进行特征提取，得到第一特征图；
S63，基于所述第一特征图对高铁接触网的第一部件进行定位和分类，得到所述第一部件的第一矩形检测框；
S64，按照所述第一矩形检测框从所述待检测图像中分割出所述第一部件的图像；
S65，从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件；
S66，基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果；
S67，根据所述缺陷分类结果进行缺陷预警。
本申请具体实施例中，针对输入第一部件检测器的待检测图像，通过第一部件检测器的骨干网络对其进行特征提取，骨干网络主要进行卷积处理，其输出的特征图即上述的第一特征图，在该第一特征图上进行第一部件的候选区域坐标预测，产生如图7所示的候选区域，在该候选区域内进行前、背景分类，得到第一部件的前景目标，然后将该前景目标在第一特征图中对应的特征进行池化处理，其输出的特征即上述的第一池化特征，将该第一池化特征输入全连接层进行最终的分类，输出待检测图像中第一部件的类别和矩形检测框(即第一矩形检测框)，按照第一矩形检测框从待检测图像中分割出第一部件的图像，作为缺陷分类器的输入。该实施方式中，采用基于候选区域的第一部件检测器对待检测图像中的第一部件进行分类，精度更高。
可选的，所述从所述第一部件的图像中分割出高铁接触网的第二部件的图像，包括：
对所述第一部件的图像进行伽马校验，得到所述第一部件的待分割图像；
从所述第一部件的待分割图像中分割出所述第二部件的图像。
该实施方式中，对第一部件的图像进行伽马校验能够得到质量更好的待分割图像，有利于克服光线不佳给检测带来的影响，以准确分割出第二部件的图像，降低第二部件的漏检率。
可选的，所述从所述第一部件的待分割图像中分割出所述第二部件的图像，包括：
对所述第一部件的待分割图像进行特征提取，得到第二特征图；
基于所述第二特征图对所述第二部件进行定位和分类，得到所述第二部件的第二矩形检测框；
按照所述第二矩形检测框从所述第一部件的待分割图像中分割出所述第二部件的图像。
可选的，所述基于所述第二特征图对所述第二部件进行定位和分类，得到所述第二部件的第二矩形检测框，包括：
在所述第二特征图上进行所述第二部件的候选区域坐标预测和前、背景分类，确定出所述第二部件的前景目标；
将所述第二部件的前景目标在所述第二特征图中对应的特征进行池化处理，得到第二池化特征；
基于所述第二池化特征对所述第二部件进行分类，得到所述第二部件的类别和所述第二矩形检测框。
本申请具体实施例中，第二特征图是指第二部件检测器通过骨干网络从第一部件的子图提取出的特征图，第二池化特征是指第二部件检测器对第二部件的前景目标在第二特征图中对应的特征进行池化处理后得到的特征。需要说明的是，第二部件检测器与第一部件检测器的处理过程相同，同样是基于产生的候选区域进行第二部件的类别预测，输出第二部件的类别和第二矩形检测框。
其中，上述步骤S61-S67的具体实施方式，在图1所示的实施例中已有相关说明，且能达到相同或相似的有益效果，此处不再赘述。
基于图1或图6所示方法实施例的描述，本申请实施例还提供一种缺陷检测装置，请参见图8，图8为本申请实施例提供的一种缺陷检测装置的结构示意图，如图8所示，该装置包括：
图像获取模块81，用于获取高铁接触网的待检测图像；
第一检测模块82，用于从所述待检测图像中分割出高铁接触网的第一部件的图像；
第二检测模块83，用于从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件；
缺陷分类模块84，用于基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果。
在一种可能的实施方式中，在从所述待检测图像中分割出高铁接触网的第一部件的图像方面，第一检测模块82具体用于：
对所述待检测图像进行特征提取，得到第一特征图；
基于所述第一特征图对所述第一部件进行定位和分类，得到所述第一部件的第一矩形检测框；
按照所述第一矩形检测框从所述待检测图像中分割出所述第一部件的图像。
在一种可能的实施方式中，在基于所述第一特征图对所述第一部件进行定位和分类，得到所述第一部件的第一矩形检测框方面，第一检测模块82具体用于：
在所述第一特征图上进行所述第一部件的候选区域坐标预测和前、背景分类，确定出所述第一部件的前景目标；
将所述第一部件的前景目标在所述第一特征图中对应的特征进行池化处理，得到第一池化特征；
基于所述第一池化特征对所述第一部件进行分类，得到所述第一部件的类别和所述第一矩形检测框。
在一种可能的实施方式中，在从所述第一部件的图像中分割出高铁接触网的第二部件的图像方面，第二检测模块83具体用于：
对所述第一部件的图像进行伽马校验，得到所述第一部件的待分割图像；
从所述第一部件的待分割图像中分割出所述第二部件的图像。
在一种可能的实施方式中，在从所述第一部件的待分割图像中分割出所述第二部件的图像方面，第二检测模块83具体用于：
对所述第一部件的待分割图像进行特征提取，得到第二特征图；
基于所述第二特征图对所述第二部件进行定位和分类，得到所述第二部件的第二矩形检测框；
按照所述第二矩形检测框从所述第一部件的待分割图像中分割出所述第二部件的图像。
在一种可能的实施方式中，基于所述第二特征图对所述第二部件进行定位和分类，得到所述第二部件的第二矩形检测框方面，第二检测模块83具体用于：
在所述第二特征图上进行所述第二部件的候选区域坐标预测和前、背景分类，确定出所述第二部件的前景目标；
将所述第二部件的前景目标在所述第二特征图中对应的特征进行池化处理，得到第二池化特征；
基于所述第二池化特征对所述第二部件进行分类，得到所述第二部件的类别和所述第二矩形检测框。
在一种可能的实施方式中，在基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果方面，缺陷分类模块84具体用于：
分别对所述第一部件的图像、所述第二部件的图像进行特征提取；
基于所述第一部件的图像提取出的特征对所述第一部件进行缺陷类型预测，得到所述第一部件的缺陷分类结果；所述第一部件的缺陷分类结果包括所述第一部件的缺陷类型和所述第一部件的类别；以及
基于所述第二部件的图像提取出的特征对所述第二部件进行缺陷类型预测，得到所述第二部件的缺陷分类结果；所述第二部件的缺陷分类结果包括所述第二部件的缺陷类型和所述第二部件的类别。
在一种可能的实施方式中，如图9所示，该装置还包括缺陷预警模块85；所述缺陷预警模块85具体用于：
根据所述缺陷分类结果进行缺陷预警。
在一种可能的实施方式中，在根据所述缺陷分类结果进行缺陷预警方面，缺陷预警模块85具体用于：
针对所述第一部件，输出所述第一部件的缺陷类型、所述第一部件在所述待检测图像中的位置、所述第一部件的类别和所述第一部件所在的高铁线路，以进行缺陷预警；
针对所述第二部件，确定所述第二部件所属的目标第一部件，输出所述第二部件的缺陷类型、所述第二部件在所述待检测图像中的位置、所述第二部件的类别、所述目标第一部件在所述待检测图像中的位置、所述目标第一部件的类别和所述第二部件所在的高铁线路，以进行缺陷预警。
在一种可能的实施方式中，在获取高铁接触网的待检测图像方面，图像获取模块81具体用于：
获取成像设备采集的高铁接触网原始图像；
对所述高铁接触网原始图像进行过滤，得到所述待检测图像。
根据本申请的一个实施例，图8或图9所示的缺陷检测装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于缺陷检测装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图1或图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图8或图9中所示的缺陷检测装置设备，以及来实现本申请实施例的缺陷检测方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
基于上述方法实施例和装置实施例的描述，本申请实施例还提供一种电子设备。请参见图10，该电子设备至少包括处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004。其中，电子设备内的处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004可通过总线或其他方式连接。
计算机存储介质1004可以存储在电子设备的存储器中，所述计算机存储介质1004用于存储计算机程序，所述计算机程序包括程序指令，所述处理器1001用于执行所述计算机存储介质1004存储的程序指令。处理器1001(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中，本申请实施例提供的电子设备的处理器1001可以用于进行一系列缺陷检测处理：
获取高铁接触网的待检测图像；
从所述待检测图像中分割出高铁接触网的第一部件的图像；
从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件；
基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果。
再一个实施例中，处理器1001执行所述从所述待检测图像中分割出高铁接触网的第一部件的图像，包括：
对所述待检测图像进行特征提取，得到第一特征图；
基于所述第一特征图对所述第一部件进行定位和分类，得到所述第一部件的第一矩形检测框；
按照所述第一矩形检测框从所述待检测图像中分割出所述第一部件的图像。
再一个实施例中，处理器1001执行所述基于所述第一特征图对所述第一部件进行定位和分类，得到所述第一部件的第一矩形检测框，包括：
在所述第一特征图上进行所述第一部件的候选区域坐标预测和前、背景分类，确定出所述第一部件的前景目标；
将所述第一部件的前景目标在所述第一特征图中对应的特征进行池化处理，得到第一池化特征；
基于所述第一池化特征对所述第一部件进行分类，得到所述第一部件的类别和所述第一矩形检测框。
再一个实施例中，处理器1001执行所述从所述第一部件的图像中分割出高铁接触网的第二部件的图像，包括：
对所述第一部件的图像进行伽马校验，得到所述第一部件的待分割图像；
从所述第一部件的待分割图像中分割出所述第二部件的图像。
再一个实施例中，处理器1001执行所述从所述第一部件的待分割图像中分割出所述第二部件的图像，包括：
对所述第一部件的待分割图像进行特征提取，得到第二特征图；
基于所述第二特征图对所述第二部件进行定位和分类，得到所述第二部件的第二矩形检测框；
按照所述第二矩形检测框从所述第一部件的待分割图像中分割出所述第二部件的图像。
再一个实施例中，处理器1001执行所述基于所述第二特征图对所述第二部件进行定位和分类，得到所述第二部件的第二矩形检测框，包括：
在所述第二特征图上进行所述第二部件的候选区域坐标预测和前、背景分类，确定出所述第二部件的前景目标；
将所述第二部件的前景目标在所述第二特征图中对应的特征进行池化处理，得到第二池化特征；
基于所述第二池化特征对所述第二部件进行分类，得到所述第二部件的类别和所述第二矩形检测框。
再一个实施例中，处理器1001执行所述基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果，包括：
分别对所述第一部件的图像、所述第二部件的图像进行特征提取；
基于所述第一部件的图像提取出的特征对所述第一部件进行缺陷类型预测，得到所述第一部件的缺陷分类结果；所述第一部件的缺陷分类结果包括所述第一部件的缺陷类型和所述第一部件的类别；以及
基于所述第二部件的图像提取出的特征对所述第二部件进行缺陷类型预测，得到所述第二部件的缺陷分类结果；所述第二部件的缺陷分类结果包括所述第二部件的缺陷类型和所述第二部件的类别。
再一个实施例中，在基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果之后，处理器1001还用于执行：
根据所述缺陷分类结果进行缺陷预警。
再一个实施例中，处理器1001执行所述根据所述缺陷分类结果进行缺陷预警，包括：
针对所述第一部件，输出所述第一部件的缺陷类型、所述第一部件在所述待检测图像中的位置、所述第一部件的类别和所述第一部件所在的高铁线路，以进行缺陷预警；
针对所述第二部件，确定所述第二部件所属的目标第一部件，输出所述第二部件的缺陷类型、所述第二部件在所述待检测图像中的位置、所述第二部件的类别、所述目标第一部件在所述待检测图像中的位置、所述目标第一部件的类别和所述第二部件所在的高铁线路，以进行缺陷预警。
再一个实施例中，处理器1001执行所述获取高铁接触网的待检测图像，包括：
获取成像设备采集的高铁接触网原始图像；
对所述高铁接触网原始图像进行过滤，得到所述待检测图像。
示例性的，上述电子设备可以是电脑、电脑主机、服务器、云服务器、服务器集群等，电子设备可包括但不仅限于处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004，输入设备1002可以是键盘、触摸屏等，输出设备1003可以是扬声器、显示器、射频发送器等。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
需要说明的是，由于电子设备的处理器1001执行计算机程序时实现上述的缺陷检测方法中的步骤，因此上述缺陷检测方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器1001的计算机存储介质。在一个实施例中，可由处理器1001加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关缺陷检测方法的相应步骤。
示例性的，计算机存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，由于计算机存储介质的计算机程序被处理器执行时实现上述的缺陷检测方法中的步骤，因此上述缺陷检测方法的所有实施例均适用于该计算机存储介质，且均能达到相同或相似的有益效果。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种缺陷检测方法，其特征在于，所述方法包括：
获取高铁接触网的待检测图像；
从所述待检测图像中分割出高铁接触网的第一部件的图像；
从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件；
基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果。
2.根据权利要求1所述的方法，其特征在于，所述从所述待检测图像中分割出高铁接触网的第一部件的图像，包括：
对所述待检测图像进行特征提取，得到第一特征图；
基于所述第一特征图对所述第一部件进行定位和分类，得到所述第一部件的第一矩形检测框；
按照所述第一矩形检测框从所述待检测图像中分割出所述第一部件的图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征图对所述第一部件进行定位和分类，得到所述第一部件的第一矩形检测框，包括：
在所述第一特征图上进行所述第一部件的候选区域坐标预测和前、背景分类，确定出所述第一部件的前景目标；
将所述第一部件的前景目标在所述第一特征图中对应的特征进行池化处理，得到第一池化特征；
基于所述第一池化特征对所述第一部件进行分类，得到所述第一部件的类别和所述第一矩形检测框。
4.根据权利要求3所述的方法，其特征在于，所述从所述第一部件的图像中分割出高铁接触网的第二部件的图像，包括：
对所述第一部件的图像进行伽马校验，得到所述第一部件的待分割图像；
从所述第一部件的待分割图像中分割出所述第二部件的图像。
5.根据权利要求4所述的方法，其特征在于，所述从所述第一部件的待分割图像中分割出所述第二部件的图像，包括：
对所述第一部件的待分割图像进行特征提取，得到第二特征图；
基于所述第二特征图对所述第二部件进行定位和分类，得到所述第二部件的第二矩形检测框；
按照所述第二矩形检测框从所述第一部件的待分割图像中分割出所述第二部件的图像。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第二特征图对所述第二部件进行定位和分类，得到所述第二部件的第二矩形检测框，包括：
在所述第二特征图上进行所述第二部件的候选区域坐标预测和前、背景分类，确定出所述第二部件的前景目标；
将所述第二部件的前景目标在所述第二特征图中对应的特征进行池化处理，得到第二池化特征；
基于所述第二池化特征对所述第二部件进行分类，得到所述第二部件的类别和所述第二矩形检测框。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果，包括：
分别对所述第一部件的图像、所述第二部件的图像进行特征提取；
基于所述第一部件的图像提取出的特征对所述第一部件进行缺陷类型预测，得到所述第一部件的缺陷分类结果；所述第一部件的缺陷分类结果包括所述第一部件的缺陷类型和所述第一部件的类别；以及
基于所述第二部件的图像提取出的特征对所述第二部件进行缺陷类型预测，得到所述第二部件的缺陷分类结果；所述第二部件的缺陷分类结果包括所述第二部件的缺陷类型和所述第二部件的类别。
8.根据权利要求7所述的方法，其特征在于，在基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果之后，所述方法还包括：
根据所述缺陷分类结果进行缺陷预警。
9.根据权利要求8所述的方法，其特征在于，所述根据所述缺陷分类结果进行缺陷预警，包括：
针对所述第一部件，输出所述第一部件的缺陷类型、所述第一部件在所述待检测图像中的位置、所述第一部件的类别和所述第一部件所在的高铁线路，以进行缺陷预警；
针对所述第二部件，确定所述第二部件所属的目标第一部件，输出所述第二部件的缺陷类型、所述第二部件在所述待检测图像中的位置、所述第二部件的类别、所述目标第一部件在所述待检测图像中的位置、所述目标第一部件的类别和所述第二部件所在的高铁线路，以进行缺陷预警。
10.根据权利要求1所述的方法，所述获取高铁接触网的待检测图像，包括：
获取成像设备采集的高铁接触网原始图像；
对所述高铁接触网原始图像进行过滤，得到所述待检测图像。
11.一种缺陷检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取高铁接触网的待检测图像；
第一检测模块，用于从所述待检测图像中分割出高铁接触网的第一部件的图像；
第二检测模块，用于从所述第一部件的图像中分割出高铁接触网的第二部件的图像；所述第二部件为所述第一部件的子部件；
缺陷分类模块，用于基于所述第一部件的图像、所述第二部件的图像对所述第一部件、所述第二部件进行缺陷分类，得到缺陷分类结果。
12.一种电子设备，包括输入设备和输出设备，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-10任一项所述的方法。
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-10任一项所述的方法。
CN202010835350.5A 2020-08-17 2020-08-17 缺陷检测方法、装置、电子设备及计算机存储介质 Pending CN111986174A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010835350.5A CN111986174A (zh) 2020-08-17 2020-08-17 缺陷检测方法、装置、电子设备及计算机存储介质
KR1020217033426A KR20220023327A (ko) 2020-08-17 2020-11-28 결함 검출 방법, 장치, 전자 디바이스 및 컴퓨터 저장매체
JP2021561907A JP2022549541A (ja) 2020-08-17 2020-11-28 欠陥検出方法、装置、電子機器及びコンピュータ記憶媒体
PCT/CN2020/132532 WO2022036919A1 (zh) 2020-08-17 2020-11-28 缺陷检测方法、装置、电子设备及计算机存储介质
TW109143250A TW202209256A (zh) 2020-08-17 2020-12-08 缺陷檢測方法、裝置、電子設備及電腦儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010835350.5A CN111986174A (zh) 2020-08-17 2020-08-17 缺陷检测方法、装置、电子设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN111986174A true CN111986174A (zh) 2020-11-24

Family

ID=73434113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010835350.5A Pending CN111986174A (zh) 2020-08-17 2020-08-17 缺陷检测方法、装置、电子设备及计算机存储介质

Country Status (5)

Country Link
JP (1) JP2022549541A (zh)
KR (1) KR20220023327A (zh)
CN (1) CN111986174A (zh)
TW (1) TW202209256A (zh)
WO (1) WO2022036919A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712513A (zh) * 2021-01-05 2021-04-27 歌尔股份有限公司 产品缺陷检测方法、装置、设备及计算机可读存储介质
WO2022036919A1 (zh) * 2020-08-17 2022-02-24 深圳市商汤科技有限公司 缺陷检测方法、装置、电子设备及计算机存储介质
CN115937212A (zh) * 2023-02-08 2023-04-07 成都数之联科技股份有限公司 一种玻璃板裂纹检测方法、装置、设备及介质
US11763549B1 (en) * 2022-07-29 2023-09-19 Contemporary Amperex Technology Co., Limited Method and apparatus for training cell defect detection model

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359286A (zh) * 2022-03-21 2022-04-15 湖南应超智能计算研究院有限责任公司 一种基于人工智能的绝缘子缺陷识别方法、设备及介质
CN115170883B (zh) * 2022-07-19 2023-03-14 哈尔滨市科佳通用机电股份有限公司 一种制动缸活塞推杆开口销丢失故障检测方法
CN115359307B (zh) * 2022-10-24 2023-01-03 成都诺比侃科技有限公司 一种基于大数据的接触网验损缺陷数据管理方法及系统
TWI836744B (zh) * 2022-11-22 2024-03-21 金寶電子工業股份有限公司 影像追蹤方法及影像追蹤系統
CN116433659B (zh) * 2023-06-09 2023-08-29 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法
CN116660273B (zh) * 2023-07-28 2023-10-27 菲特（天津）检测技术有限公司 链条中链片缺失检测方法及电子设备
CN118657767A (zh) * 2024-08-19 2024-09-17 诺比侃人工智能科技(成都)股份有限公司 一种接触网悬挂装置连接件松脱现象的缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340019A (zh) * 2016-08-31 2017-01-18 西南交通大学 一种高铁接触网斜拉线固定钩不良状态检测方法
CN106504238A (zh) * 2016-10-31 2017-03-15 成都交大光芒科技股份有限公司 基于图像处理和卷积神经网络的铁路接触网缺陷检测方法
CN107168527A (zh) * 2017-04-25 2017-09-15 华南理工大学 基于区域卷积神经网络的第一视角手势识别与交互方法
US20190073568A1 (en) * 2017-09-06 2019-03-07 Kla-Tencor Corporation Unified neural network for defect detection and classification
CN110610483A (zh) * 2019-08-12 2019-12-24 全球能源互联网研究院有限公司 裂纹图像获取、检测方法、计算机设备及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457713B (zh) * 2010-10-29 2014-06-25 西门子公司 轨道侧故障检测系统及其实现方法和装置
CN106326894B (zh) * 2016-08-31 2019-07-12 西南交通大学 一种高铁接触网旋转双耳横向销钉不良状态检测方法
CN108664997A (zh) * 2018-04-20 2018-10-16 西南交通大学 基于级联Faster R-CNN的高铁接触网等电位线不良状态检测方法
CN111462045B (zh) * 2020-03-06 2022-07-01 西南交通大学 一种悬链支撑组件缺陷的检测方法
CN111986174A (zh) * 2020-08-17 2020-11-24 深圳市商汤科技有限公司 缺陷检测方法、装置、电子设备及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340019A (zh) * 2016-08-31 2017-01-18 西南交通大学 一种高铁接触网斜拉线固定钩不良状态检测方法
CN106504238A (zh) * 2016-10-31 2017-03-15 成都交大光芒科技股份有限公司 基于图像处理和卷积神经网络的铁路接触网缺陷检测方法
CN107168527A (zh) * 2017-04-25 2017-09-15 华南理工大学 基于区域卷积神经网络的第一视角手势识别与交互方法
US20190073568A1 (en) * 2017-09-06 2019-03-07 Kla-Tencor Corporation Unified neural network for defect detection and classification
CN110610483A (zh) * 2019-08-12 2019-12-24 全球能源互联网研究院有限公司 裂纹图像获取、检测方法、计算机设备及可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022036919A1 (zh) * 2020-08-17 2022-02-24 深圳市商汤科技有限公司 缺陷检测方法、装置、电子设备及计算机存储介质
CN112712513A (zh) * 2021-01-05 2021-04-27 歌尔股份有限公司 产品缺陷检测方法、装置、设备及计算机可读存储介质
US11763549B1 (en) * 2022-07-29 2023-09-19 Contemporary Amperex Technology Co., Limited Method and apparatus for training cell defect detection model
CN115937212A (zh) * 2023-02-08 2023-04-07 成都数之联科技股份有限公司 一种玻璃板裂纹检测方法、装置、设备及介质

Also Published As

Publication number Publication date
JP2022549541A (ja) 2022-11-28
TW202209256A (zh) 2022-03-01
WO2022036919A1 (zh) 2022-02-24
KR20220023327A (ko) 2022-03-02

Similar Documents

Publication Publication Date Title
CN111986174A (zh) 缺陷检测方法、装置、电子设备及计算机存储介质
US11048982B2 (en) Object detection machine learning
US20090110286A1 (en) Detection method
CN110276295B (zh) 车辆识别号码检测识别方法及设备
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
Hakim et al. Implementation of an image processing based smart parking system using Haar-Cascade method
CN117994250B (zh) 晶圆缺陷检测方法、装置、设备及存储介质
CN112270687A (zh) 布料瑕疵识别模型的训练方法和布料瑕疵的检测方法
CN112784817B (zh) 车辆所在车道检测方法、装置、设备及存储介质
CN111931721B (zh) 年检标签颜色和个数的检测方法、装置及电子设备
CN112101139B (zh) 人形检测方法、装置、设备及存储介质
CN116309583B (zh) 一种显示屏凹痕缺陷检测的方法和系统
CN110222652B (zh) 行人检测方法、装置及电子设备
CN112017065A (zh) 车辆定损理赔方法、装置及计算机可读存储介质
CN116843983A (zh) 路面病害识别方法、模型训练方法、电子设备及介质
CN112183554A (zh) 一种自动化道路边界轮廓提取方法
CN112991397B (zh) 交通牌跟踪方法、装置、设备和存储介质
Łubkowski et al. Assessment of quality of identification of data in systems of automatic licence plate recognition
CN111950538B (zh) 一种标签检测方法、装置以及计算机可读存储介质
Kharina et al. Software for car license plates recognition with minimal computing resources
Merolla et al. Automated Road Safety: Enhancing Sign and Surface Damage Detection with AI
CN114639037B (zh) 确定高速服务区的车辆饱和的方法及电子设备
Xu A fusion-based approach to deep-learning and edge-cutting algorithms for identification and color recognition of traffic lights
CN118799377A (zh) 车厢体积确定方法、装置、电子设备及存储介质
CN118096767A (zh) 一种晶圆切割不良缺陷检测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40031867

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201124