CN115082432B - 基于细粒度图像分类的小目标螺栓缺陷检测方法及装置 - Google Patents

基于细粒度图像分类的小目标螺栓缺陷检测方法及装置 Download PDF

Info

Publication number
CN115082432B
CN115082432B CN202210856153.0A CN202210856153A CN115082432B CN 115082432 B CN115082432 B CN 115082432B CN 202210856153 A CN202210856153 A CN 202210856153A CN 115082432 B CN115082432 B CN 115082432B
Authority
CN
China
Prior art keywords
bolt
image
training
target
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210856153.0A
Other languages
English (en)
Other versions
CN115082432A (zh
Inventor
李庆光
尹哲
刘晓平
杨建波
张文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongtuo Xinyuan Technology Co ltd
Original Assignee
Beijing Zhongtuo Xinyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongtuo Xinyuan Technology Co ltd filed Critical Beijing Zhongtuo Xinyuan Technology Co ltd
Priority to CN202210856153.0A priority Critical patent/CN115082432B/zh
Publication of CN115082432A publication Critical patent/CN115082432A/zh
Application granted granted Critical
Publication of CN115082432B publication Critical patent/CN115082432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于细粒度图像分类的小目标螺栓缺陷检测方法及装置。本发明涉及缺陷检测技术领域，解决现有螺栓缺陷方法迭代效率低，计算复杂，漏检率高的问题。获取风电场中含有螺栓部件的图像，对图像中的螺栓采用检测框进行标注，将图像分为训练集和验证集，输入FCOS目标检测器中进行训练，得到目标检测的模型权重，根据目标检测的模型权重推理出螺栓在图像中的位置，根据螺栓在图像中的位置，将螺栓从图像中分割出来对分割出来的螺栓进行分类，将分割出来的螺栓划分为训练集和验证集，输入SE‑DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重，对实时图像分类出螺栓的缺陷类型，降低漏检率。

Description

基于细粒度图像分类的小目标螺栓缺陷检测方法及装置
技术领域
本发明涉及缺陷检测技术领域，尤其涉及一种基于细粒度图像分类的小目标螺栓缺陷检测方法及装置。
背景技术
风电场的风电机组和升压站内都存在着大大小小的部件，而螺栓作为各部件的连接件，是保证设备能够稳定运行的前提。但是由于部件的长期运行，导致螺栓会出现一些缺陷，如锈蚀、脱落等。因此，需要及时地检测出螺栓缺陷的位置，并及时更换，以预防更大的隐患。
现有技术中，通常采用FasterRCNN或者Yolo系列模型对图像中的螺栓缺陷进行直接的检测。例如：公开号CN113177570A的专利公开的一种基于FasterRCNN级联的电塔螺栓异常检测方法，公开号CN114299403A的专利公开的一种电塔插销检测方法。上述现有方法只需要对螺栓缺陷进行人工标注，然后放入到目标检测器中进行训练即可，可实现对螺栓缺陷的直接检测。由于上述方法采用的是Anchor-based方法，Anchor-based是指先在图像上设定一系列形状各异、固定大小的先验框，由这些框去预测目标的位置和类别，若想要拟合至合适的bounding box（边界框），需要迭代更多的步数，也需要时刻关注于学习率的变化，否则很容易过拟合。同时，由于螺栓缺陷较少出现，这将导致正负样本极其不均衡，并且Anchor-based的方法在分配正负样本时计算比较复杂。此外，存在于设备间的螺栓小而密，此时若采用一个目标检测器会出现大量的漏检情况。
发明内容
本发明的目的在于提供一种基于细粒度图像分类的小目标螺栓缺陷检测方法及装置，以解决现有的风电机组和升压站内螺栓缺陷方法迭代效率低，计算复杂，漏检率高的问题。
本发明提供一种基于细粒度图像分类的小目标螺栓缺陷检测方法，包括：
获取风电场中含有螺栓部件的图像；
对所述图像中的螺栓采用检测框进行标注；
将所述图像分为训练集和验证集，输入FCOS目标检测器中进行训练，得到目标检测的模型权重；
根据目标检测的模型权重推理出螺栓在图像中的位置；
根据螺栓在图像中的位置，将螺栓从图像中分割出来；
对分割出来的螺栓进行分类，分为螺栓锈蚀、螺栓松动和螺栓正常；
将分割出来的螺栓划分为训练集和验证集，输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重；
获取风电场中设备的实时图像；
将实时图像输入FCOS目标检测器，利用FCOS目标检测器训练出的模型权重推理出螺栓的位置信息，从而将螺栓分割出来；再将分割出来的螺栓输入SE-DenseNet201图像分类器训练出的模型权重中，分类出螺栓的缺陷类型。
进一步地，将分割出来的螺栓输入SE-DenseNet201图像分类器训练出的模型权重中，分类出螺栓的缺陷类型之后，所述方法还包括：
如果分类结果是螺栓锈蚀，根据螺栓的位置信息，将其用矩形框标出位置，并标记为螺栓锈蚀；
如果分类结果是螺栓松动，根据螺栓的位置信息，将其用矩形框标出位置，并标记为螺栓松动；
如果分类结果是螺栓正常，不做任何标记。
进一步地，对所述图像中的螺栓采用检测框进行标注之后，所述方法还包括：
将所述图像转为灰度图像，以便将螺栓锈蚀的颜色特征去除掉，使得FCOS目标检测器专注于学习螺栓的形状特征。
进一步地，获取风电场中设备的实时图像之后，所述方法还包括：
将所述实时图像转为灰度图像，以便将螺栓锈蚀的颜色特征去除掉，使得FCOS目标检测器专注于学习螺栓的形状特征。
进一步地，将所述图像分为训练集和验证集，输入FCOS目标检测器中进行训练，得到目标检测的模型权重包括：
将图像按9：1划分为训练集和验证集；
将训练集和验证集输入FCOS目标检测器中进行训练，得到目标检测的模型权重，所述FCOS目标检测器基于Anchor-free实现。
进一步地，根据螺栓在图像中的位置，将螺栓从图像中分割出来包括：
利用opencv软件库将螺栓从图像中分割出来。
进一步地，将分割出来的螺栓划分为训练集和验证集，输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重包括：
将分割出来的螺栓按9：1划分为训练集和验证集；
将训练集和验证集输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重，DenseNet201图像分类器加入即插即用的注意力机制SeNet网络，构成基于视觉注意模型的SE-DenseNet201细粒度图像分类器。
第二方面，本发明还提供一种基于细粒度图像分类的小目标螺栓缺陷检测装置，包括：
获取单元，用于获取风电场中含有螺栓部件的图像；
标注单元，用于对所述图像中的螺栓采用检测框进行标注；
第一训练单元，用于将所述图像分为训练集和验证集，输入FCOS目标检测器中进行训练，得到目标检测的模型权重；
推理单元，用于根据目标检测的模型权重推理出螺栓在图像中的位置；
分割单元，用于根据螺栓在图像中的位置，将螺栓从图像中分割出来；
分类单元，用于对分割出来的螺栓进行分类，分为螺栓锈蚀、螺栓松动和螺栓正常；
第二训练单元，用于将分割出来的螺栓划分为训练集和验证集，输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重；
所述获取单元，还用于获取风电场中设备的实时图像；
输入单元，用于将实时图像输入FCOS目标检测器，利用FCOS目标检测器训练出的模型权重推理出螺栓的位置信息，从而将螺栓分割出来；再将分割出来的螺栓输入SE-DenseNet201图像分类器训练出的模型权重中，分类出螺栓的缺陷类型。
本发明的有益效果如下：本发明提供的一种基于细粒度图像分类的小目标螺栓缺陷检测方法及装置，通过获取风电场中含有螺栓部件的图像，对图像中的螺栓采用检测框进行标注将图像分为训练集和验证集，输入FCOS目标检测器中进行训练，得到目标检测的模型权重根据目标检测的模型权重推理出螺栓在图像中的位置根据螺栓在图像中的位置，将螺栓从图像中分割出来对分割出来的螺栓进行分类，分为螺栓锈蚀、螺栓松动和螺栓正常将分割出来的螺栓划分为训练集和验证集，输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重获取风电场中设备的实时图像；将实时图像输入FCOS目标检测器，利用FCOS目标检测器训练出的模型权重推理出螺栓的位置信息，从而将螺栓分割出来；再将分割出来的螺栓输入SE-DenseNet201图像分类器训练出的模型权重中，分类出螺栓的缺陷类型，本发明通过将检测过程分为了两个阶段，FCOS目标检测阶段和SE-DenseNet201图像分类阶段，可大大降低风电场设备的螺栓漏检率，并提升准确度。FCOS目标检测阶段和SE-DenseNet201图像分类阶段的两个模型的权重大小低于FasterRCNN，迭代效率上也高于yolo系列，解决了现有的风电机组和升压站内螺栓缺陷方法迭代效率低，计算复杂，漏检率高的问题。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于细粒度图像分类的小目标螺栓缺陷检测方法流程图；
图2为本发明实施例提供的基于细粒度图像分类的小目标螺栓缺陷检测装置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，本发明提供一种基于细粒度图像分类的小目标螺栓缺陷检测方法，该方法包括如下步骤：
S101，获取风电场中含有螺栓部件的图像。
在本实施例中，上述图像具体可通过图像采集装置采集于风电场的风电机组和升压站内含有螺栓部件的设备。
S102，对所述图像中的螺栓采用检测框进行标注。
在本实施例中，对上个步骤所采集的所有图像中的螺栓采用检测框进行标注。可采用人工标注的方式对螺栓进行标注。
进一步地，对所述图像中的螺栓采用检测框进行标注之后，所述方法还可以包括：将所述图像转为灰度图像，以便将螺栓锈蚀的颜色特征去除掉，使得FCOS目标检测器专注于学习螺栓的形状特征，这样能够提升后续步骤FCOS目标检测器的训练效率和FCOS目标检测器的模型精确度。
S103，将所述图像分为训练集和验证集，输入FCOS目标检测器中进行训练，得到目标检测的模型权重。
在本实施例中，将采用检测框进行标注之后的所有图像按9：1划分为训练集和验证集；将训练集和验证集输入FCOS目标检测器中进行训练，得到目标检测的模型权重，所述FCOS目标检测器基于Anchor-free目标检测方法实现。FCOS目标检测器无需成千上万个先验框，就能较快地回归bounding box（边界框）。由于引入了Center-ness（中心点打分）分支，使得一个目标不会预测多个框。
S104，根据目标检测的模型权重推理出螺栓在图像中的位置。
S105，根据螺栓在图像中的位置，将螺栓从图像中分割出来。
在本实施例中，利用opencv软件库将螺栓从图像中分割出来。
S106，对分割出来的螺栓进行分类，分为螺栓锈蚀、螺栓松动和螺栓正常。
具体可通过人工进行分类。
S107，将分割出来的螺栓划分为训练集和验证集，输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重。
在本实施例中，将分割出来的螺栓按9：1划分为训练集和验证集；将训练集和验证集输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重，本发明采用DenseNet201图像分类器加入即插即用的注意力机制SeNet网络，构成基于视觉注意模型的SE-DenseNet201细粒度图像分类器。DenseNet201是一个普通的图像分类器，由于螺栓缺陷的分类较为困难，尤其当螺栓处于轻微锈蚀时，是很难与正常的螺栓进行区分的，因此加入了即插即用的注意力机制SeNet网络，从而构成了基于视觉注意模型的细粒度图像分类模型SE-DenseNet201。SENet是一种注意力机制，它能够让模型获得需要重点关注的目标区域，并对该部分投入更大的权重，突出显著有用特征，抑制和忽略无关特征。所以能够给网络带来性能上的增益，能够提取更细粒度的特征。
S108，获取风电场中设备的实时图像。
进一步地，获取风电场中设备的实时图像之后，所述方法还包括：
将所述实时图像转为灰度图像，以便将螺栓锈蚀的颜色特征去除掉，使得FCOS目标检测器专注于学习螺栓的形状特征。
S109，将实时图像输入FCOS目标检测器，利用FCOS目标检测器训练出的模型权重推理出螺栓的位置信息，从而将螺栓分割出来；再将分割出来的螺栓输入SE-DenseNet201图像分类器训练出的模型权重中，分类出螺栓的缺陷类型。
S110，如果分类结果是螺栓锈蚀，根据螺栓的位置信息，将其用矩形框标出位置，并标记为螺栓锈蚀。
S111，如果分类结果是螺栓松动，根据螺栓的位置信息，将其用矩形框标出位置，并标记为螺栓松动。
S112，如果分类结果是螺栓正常，不做任何标记。
由以上实施例可知，本发明的基于细粒度图像分类的小目标螺栓缺陷检测方法，通过将检测过程分为了两个阶段，FCOS目标检测阶段和SE-DenseNet201图像分类阶段，可大大降低风电场设备的螺栓漏检率，并提升准确度。虽然将检测过程分为了两个阶段，但FCOS目标检测器和SE-DenseNet201细粒度图像分类器的权重大小仍然低于FasterRCNN，迭代效率上也高于yolo系列，解决了现有的风电机组和升压站内螺栓缺陷方法迭代效率低，计算复杂，漏检率高的问题。
请参阅图２，本发明还提供一种基于细粒度图像分类的小目标螺栓缺陷检测装置，包括：
获取单元201，用于获取风电场中含有螺栓部件的图像；
标注单元202，用于对所述图像中的螺栓采用检测框进行标注；
第一训练单元203，用于将所述图像分为训练集和验证集，输入FCOS目标检测器中进行训练，得到目标检测的模型权重；
推理单元204，用于根据目标检测的模型权重推理出螺栓在图像中的位置；
分割单元205，用于根据螺栓在图像中的位置，将螺栓从图像中分割出来；
分类单元206，用于对分割出来的螺栓进行分类，分为螺栓锈蚀、螺栓松动和螺栓正常；
第二训练单元207，用于将分割出来的螺栓划分为训练集和验证集，输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重；
所述获取单元201，还用于获取风电场中设备的实时图像；
输入单元208，用于将实时图像输入FCOS目标检测器，利用FCOS目标检测器训练出的模型权重推理出螺栓的位置信息，从而将螺栓分割出来；再将分割出来的螺栓输入SE-DenseNet201图像分类器训练出的模型权重中，分类出螺栓的缺陷类型。
本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于细粒度图像分类的小目标螺栓缺陷检测方法各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：Read-OnlyMemory，简称：ROM）或随机存储记忆体（英文：RandomAccessMemory，简称：RAM）等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于基于细粒度图像分类的小目标螺栓缺陷检测装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例中的说明即可。
Figure 227078DEST_PATH_IMAGE001
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (8)

1.一种基于细粒度图像分类的小目标螺栓缺陷检测方法，其特征在于，包括：
获取风电场中含有螺栓部件的图像；
对所述图像中的螺栓采用检测框进行标注；
将所述图像分为训练集和验证集，输入FCOS目标检测器中进行训练，得到目标检测的模型权重；
根据目标检测的模型权重推理出螺栓在图像中的位置；
根据螺栓在图像中的位置，将螺栓从图像中分割出来；
对分割出来的螺栓进行分类，分为螺栓锈蚀、螺栓松动和螺栓正常；
将分割出来的螺栓划分为训练集和验证集，输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重；
获取风电场中设备的实时图像；
将实时图像输入FCOS目标检测器，利用FCOS目标检测器训练出的模型权重推理出螺栓的位置信息，从而将螺栓分割出来；再将分割出来的螺栓输入SE-DenseNet201图像分类器训练出的模型权重中，分类出螺栓的缺陷类型。
2.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法，其特征在于，将分割出来的螺栓输入SE-DenseNet201图像分类器训练出的模型权重中，分类出螺栓的缺陷类型之后，所述方法还包括：
如果分类结果是螺栓锈蚀，根据螺栓的位置信息，将其用矩形框标出位置，并标记为螺栓锈蚀；
如果分类结果是螺栓松动，根据螺栓的位置信息，将其用矩形框标出位置，并标记为螺栓松动；
如果分类结果是螺栓正常，不做任何标记。
3.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法，其特征在于，对所述图像中的螺栓采用检测框进行标注之后，所述方法还包括：
将所述图像转为灰度图像，以便将螺栓锈蚀的颜色特征去除掉，使得FCOS目标检测器专注于学习螺栓的形状特征。
4.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法，其特征在于，获取风电场中设备的实时图像之后，所述方法还包括：
将所述实时图像转为灰度图像，以便将螺栓锈蚀的颜色特征去除掉，使得FCOS目标检测器专注于学习螺栓的形状特征。
5.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法，其特征在于，将所述图像分为训练集和验证集，输入FCOS目标检测器中进行训练，得到目标检测的模型权重包括：
将图像按9：1划分为训练集和验证集；
将训练集和验证集输入FCOS目标检测器中进行训练，得到目标检测的模型权重，所述FCOS目标检测器基于Anchor-free实现。
6.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法，其特征在于，根据螺栓在图像中的位置，将螺栓从图像中分割出来包括：
利用opencv软件库将螺栓从图像中分割出来。
7.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法，其特征在于，将分割出来的螺栓划分为训练集和验证集，输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重包括：
将分割出来的螺栓按9：1划分为训练集和验证集；
将训练集和验证集输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重，DenseNet201图像分类器加入即插即用的注意力机制SeNet网络，构成基于视觉注意模型的SE-DenseNet201细粒度图像分类器。
8.一种基于细粒度图像分类的小目标螺栓缺陷检测装置，其特征在于，包括：
获取单元，用于获取风电场中含有螺栓部件的图像；
标注单元，用于对所述图像中的螺栓采用检测框进行标注；
第一训练单元，用于将所述图像分为训练集和验证集，输入FCOS目标检测器中进行训练，得到目标检测的模型权重；
推理单元，用于根据目标检测的模型权重推理出螺栓在图像中的位置；
分割单元，用于根据螺栓在图像中的位置，将螺栓从图像中分割出来；
分类单元，用于对分割出来的螺栓进行分类，分为螺栓锈蚀、螺栓松动和螺栓正常；
第二训练单元，用于将分割出来的螺栓划分为训练集和验证集，输入SE-DenseNet201细粒度图像分类器进行训练，得到图像分类的模型权重；
所述获取单元，还用于获取风电场中设备的实时图像；
输入单元，用于将实时图像输入FCOS目标检测器，利用FCOS目标检测器训练出的模型权重推理出螺栓的位置信息，从而将螺栓分割出来；再将分割出来的螺栓输入SE-DenseNet201图像分类器训练出的模型权重中，分类出螺栓的缺陷类型。
CN202210856153.0A 2022-07-21 2022-07-21 基于细粒度图像分类的小目标螺栓缺陷检测方法及装置 Active CN115082432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210856153.0A CN115082432B (zh) 2022-07-21 2022-07-21 基于细粒度图像分类的小目标螺栓缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210856153.0A CN115082432B (zh) 2022-07-21 2022-07-21 基于细粒度图像分类的小目标螺栓缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN115082432A CN115082432A (zh) 2022-09-20
CN115082432B true CN115082432B (zh) 2022-11-01

Family

ID=83258767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210856153.0A Active CN115082432B (zh) 2022-07-21 2022-07-21 基于细粒度图像分类的小目标螺栓缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN115082432B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740004B (zh) * 2023-06-01 2024-01-30 中南大学 一种提高缺陷检测能力的多轮多模型融合检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1149334A (ja) * 1997-07-28 1999-02-23 Mitsubishi Motors Corp ボルト供給選別装置
CN112101437A (zh) * 2020-09-07 2020-12-18 平安科技（深圳）有限公司 基于图像检测的细粒度分类模型处理方法、及其相关设备
CN113034456A (zh) * 2021-03-18 2021-06-25 北京百度网讯科技有限公司 螺栓松动的检测方法、装置、设备以及存储介质
CN114677339A (zh) * 2022-03-11 2022-06-28 广州中科智巡科技有限公司 一种引入注意力机制的输电线路螺栓脱销缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1149334A (ja) * 1997-07-28 1999-02-23 Mitsubishi Motors Corp ボルト供給選別装置
CN112101437A (zh) * 2020-09-07 2020-12-18 平安科技（深圳）有限公司 基于图像检测的细粒度分类模型处理方法、及其相关设备
CN113034456A (zh) * 2021-03-18 2021-06-25 北京百度网讯科技有限公司 螺栓松动的检测方法、装置、设备以及存储介质
CN114677339A (zh) * 2022-03-11 2022-06-28 广州中科智巡科技有限公司 一种引入注意力机制的输电线路螺栓脱销缺陷检测方法

Also Published As

Publication number Publication date
CN115082432A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
Li et al. Sewer pipe defect detection via deep learning with local and global feature fusion
CN111723774A (zh) 一种基于无人机巡检的输电设备目标识别方法
CN111444939A (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
Hu et al. Defect identification method for poplar veneer based on progressive growing generated adversarial network and MASK R-CNN Model
CN115082432B (zh) 基于细粒度图像分类的小目标螺栓缺陷检测方法及装置
CN101738998B (zh) 一种基于局部判别分析的工业过程监测系统及方法
CN114241364A (zh) 一种架空输电线路异物目标快速标定方法
CN111881851A (zh) 一种基于uav和卷积神经网络的园林苗木智能检测与计数方法
CN111179262A (zh) 一种结合形状属性的电力巡检图像金具检测方法
CN115719337A (zh) 一种风力涡轮机表面缺陷检测方法
CN112907561A (zh) 一种基于深度学习的笔记本外观瑕疵检测方法
CN111199213B (zh) 一种变电站用设备缺陷检测方法及装置
Wang et al. Insulator defect recognition based on faster R-CNN
CN113591948A (zh) 一种缺陷模式识别方法、装置、电子设备和存储介质
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN111507249A (zh) 基于目标检测的变电站鸟窝识别方法
Jia Fabric defect detection based on open source computer vision library OpenCV
CN116229278B (zh) 一种输电线路防震锤锈蚀缺陷检测方法和系统
CN117593244A (zh) 一种基于改进注意力机制的膜产品缺陷检测方法
Chaoyue et al. Pin defect detection method of UAV patrol overhead line based on cascaded convolution network
CN112163626A (zh) 基于多维度感知的光伏电池遮荫区域成因分类方法及系统
CN116245233A (zh) 基于超分辨率重建技术的风电场风速降尺度方法
CN113496159B (zh) 一种多尺度卷积与动态权重代价函数的烟尘目标分割方法
CN113657310A (zh) 基于多层卷积神经网络的光伏组件红外热斑故障识别方法
Xu et al. Research on the Application of Deep Learning Object Detection in Rust Defect Detection of Power Equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant