CN114638989A - 一种基于目标检测和细粒度识别的故障分类可视化方法 - Google Patents

一种基于目标检测和细粒度识别的故障分类可视化方法 Download PDF

Info

Publication number
CN114638989A
CN114638989A CN202210259649.XA CN202210259649A CN114638989A CN 114638989 A CN114638989 A CN 114638989A CN 202210259649 A CN202210259649 A CN 202210259649A CN 114638989 A CN114638989 A CN 114638989A
Authority
CN
China
Prior art keywords
fault
neural network
target detection
convolutional neural
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210259649.XA
Other languages
English (en)
Inventor
徐琴珍
王潇祎
俞科栋
步兆军
张颀
杨绿溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210259649.XA priority Critical patent/CN114638989A/zh
Publication of CN114638989A publication Critical patent/CN114638989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于目标检测和细粒度识别的故障分类可视化方法，采用两阶段方法，首先通过目标检测定位到故障的位置，并保存坐标信息，此为第一阶段。当使用细粒度算法训练出模型后，利用第一阶段的坐标信息以及训练模型，就可以标注出发生故障所在的位置以及是否有故障，也即对分类后的结果进行了可视化操作，达到和目标识别一样的效果。该方法的可视化操作即为在图片中显式的标注出故障位置和所属类别。该分类方法在细粒度识别阶段使用的是弱监督方法，高效快捷，适用范围广，算力消耗低，与现阶段的单一目标检测方法和单一的细粒度识别算法相比，不仅提高了工业中故障分类的准确率而且可以对图片中的故障进行显式定位，满足工业需求。

Description

一种基于目标检测和细粒度识别的故障分类可视化方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于目标检测和细粒度识别的故障分类可视化方法。
背景技术
细粒度图像识别是计算机视觉中一个有趣的、基础的和具有挑战性的问题，几十年来一直是一个活跃的研究领域。细粒度图像分析主要处理属于同一元类别的多个子类别，如鸟、狗、车等的对象，细粒度分类需要能够找到物体之间的细微差别，将差别提取成物体的特征，进而实现对物体的分类。深度学习技术的出现，加速了细粒度领域的显著突破。
对于目标检测技术，目标检测是计算机视觉中比较简单的任务，用来在一张图片找到某些特定的物体，识别这些物体的种类，同时标出这些物体的位置。其中YOLO就是目标检测单阶段模型的代表之一，它具有速率高、背景误检率低、通用性强等优点。
目前，图像细粒度识别算法主要有两种：有监督信息的细粒度模型，和弱监督信息的细粒度模型。
有监督算法就是通过人为的给图像增添标注信息以及其他的一些辅助信息，使学习到的知识能更好的区分图像间的差异；弱监督算法指的是对图像仅使用图像级别标注信息。
有监督细粒度方法虽然取得了较满意的分类精度，但需要具备专业的知识进行人工标注，成本较高。弱监督的细粒度算法仅依赖图像级标签就可以实现图像识别，因此对弱监督的细粒度算法的研究是当前的主流趋势。
虽然目标检测算法已经占据了图像处理的半壁江山，但在一些实际的项问题中，并不能达到很好的效果。例如，工业项目中，存在一些区分度很小的故障图片，所以只采用单一的目标检测算法，对这类故障不能有很好的检测效果。又因工业图像背景复杂，图像色彩不鲜明，只采用细粒度算法会导致特征提取、识别不充分。除此之外，目标检测算法的结果图非常的直观，但一般的图像分类算法不会将分类后的结果进行可视化操作，在获取准确率的前提下，并不能具体直观的看出哪张图片存在漏检或者误检，不利于后续的改进处理。
发明内容
本发明目的在于提供一种基于目标检测和细粒度识别的故障分类可视化方法,以解决现有的单一的目标检测算法故障的识别效率低，并且在分类结果中不能直接标注出目标的位置以及目标分类结果的技术问题。
为解决上述技术问题，本发明的具体技术方案如下：
一种基于目标检测和细粒度识别的故障分类可视化方法，包括以下步骤：
步骤1：通过基于单个神经网络的目标检测系统对输入的故障图像进行特征提取，并训练得到模型；
步骤2：基于单个神经网络的目标检测系统根据训练好的模型对故障图片进行目标区域的裁剪，并将坐标信息提取出来，保存在文本文件中；
步骤3：将裁剪后的图片喂入双线性卷积神经网络中，双线性卷积神经网络对图片进行特征提取，训练出二分类模型；
步骤4：根据双线性卷积神经网络训练出的二分类模型文件联合坐标信息，对故障图片进行测试；
步骤5：在用于测试的故障图中标注出故障目标的位置和所属类别。
进一步的，所述基于单个神经网络的目标检测系统特征提取的方法包括以下步骤：
将故障图片输入网络，在backbone结构中，采用了特征金字塔结构自底向上提取特征；在neck结构中，采用了自顶向下的路径融合结构，缩短低层特征流向预测层的路径；在head结构和prediction结构中，对特征进行整合，分别以prediction1、prediction2和prediction3这3条路经融合不同感受野的低层特征，最终输出缺陷目标的边界框信息和类别信息。
进一步的，所述基于单个神经网络的目标检测系统根据训练好的模型对故障图片进行目标区域的裁剪，并将坐标信息保存在文本文件中具体包括以下步骤：
基于单个神经网络的目标检测系统根据训练好的模型对图片进行检测，并得到目标区域的坐标信息，中心点的坐标以及高度、宽度，将其转化为两个对顶点的坐标，并保存在文本文件中。
进一步的，所述将裁剪后的图片喂入双线性卷积神经网络中，双线性卷积神经网络对图片进行特征提取，训练出二分类模型包括：
双线性卷积神经网络适用于精细化的图像分类问题，该网络利用两个双线性卷积神经网络A和B对图像进行特征提取，再用双线性池化函数把双线性卷积神经网络提取的两组特征进行融合，最后在softmax层进行分类，在每一个位置对两个双线性卷积神经网络提取的特征做外积操作，X(I)＝A(I)TB(I)；
其中A(I)T是对双线性卷积神经网络A进行转置操作，B(I)是双线性卷积神经网络B，X(I)是两者的外积结果；
在训练过程中，两个双线性卷积神经网络同时被训练，并且整个训练过程是端到端的。
进一步的，所述的两个双线性卷积神经网络A和B是两个对称的网络。
进一步的，所述根据双线性卷积神经网络训练出的模型文件联合坐标信息，对故障图片进行测试，并在用于测试的故障图中标注出故障目标的位置和所属类别包括以下步骤：
把待检测的故障图片送入检测网络，根据分类函数输出概率最大的类别信息，并读取保存的文本文件中的坐标信息，把两个信息结合起来，在测试的故障图中画出预测框的位置以及预测类别。
进一步的，所述的分类函数为线性支持向量机。
进一步的，所述文本文件中的坐标信息是长方形的两个对顶点的坐标。
进一步的，运行基于目标检测和细粒度识别的故障分类可视化方法所需的环境包括pytorch环境和适配的cuda版本。
本发明的一种基于目标检测和细粒度识别的故障分类可视化方法具有以下优点：
本发明首先对图像进行标注等操作，接着输入到目标检测网络模型中进行特征提取，训练出模型；考虑到了细粒度分类阶段需要剔除掉背景的干扰，因此在用目标检测网络进行检测时，直接将图片裁剪成了预测框的大小，排除了背景的干扰，更有利于后续的细粒度分类操作；考虑到了细粒度分类阶段的结果可视化，因此在检测时，除了裁剪并同时获取目标框的坐标信息，保存在文本文件中；在图像检测中，特征提取一直是一项难题，本发明运用两个网络进行特征提取，并融合特征，使得特征提取的更加充分；最后，在细粒度分类的测试阶段，利用前面的文本文件将结果进行可视化；与单一的目标检测相比，不仅提高了检测精度，还达到了可视化的效果。
附图说明
图1为本发明的基于目标检测和细粒度识别的故障分类可视化方法流程图；
图2为本发明的目标检测网络的结构图；
图3为本发明的双线性卷积神经网络B-CNN的结构图；
图4为本发明的单一目标检测方法得到的结果图；
图5为本发明基于目标检测和细粒度识别的故障分类可视化方法的结果图。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于目标检测和细粒度识别的故障分类可视化方法做进一步详细的描述。
本发明的目的是提供一种基于目标检测和细粒度识别的故障分类可视化方法，能够准确对故障进行分类，并能显式的展示识别结果的方法，与单一的目标检测相比，在处理区分度不大的细微故障时，能够快速准确识别并标识出故障区域。
图1为本发明基于目标检测和细粒度识别的故障分类可视化方法流程图。如图1所示，本发明提供了一种多尺度目标识别方法，包括：
步骤1：输入故障图像，所述输入故障图像需要进行处理操作。
所述处理操作包括对输入图像在labelImage软件中进行标注，生成对应的xml文件，并且将输入图像划分为训练集、验证集和测试集。
步骤2：如图2所示，在目标检测网络中对图片特征提取，训练出模型文件。具体地，所述目标检测网络结构包含输入端、Backbone、Neck、Prediction。
所述输入端采用Mosaic数据增强的方式，过对图像随机缩放、随机裁剪、随机排布的方式进行拼接，利于小目标的检测；
所述Backbone结构中，采用了特征金字塔结构自底向上提取特征；
所述Neck结构，采用了自顶向下的路径融合结构，缩短低层特征流向预测层的路径；
所述Prediction结构，对特征进行整合，最终输出缺陷目标的边界框信息和类别信息，训练出后缀名为pt的模型。
步骤3：基于步骤2训练后的模型文件实现目标的检测与定位，并得到裁剪后的图片以及定位的坐标信息。具体地，所述步骤3操作包含检测、裁剪图片以及保存坐标信息三部分。
所述检测图片总体是使用detect函数，以及训练好的pt文件对图像进行预测和定位；
所述坐标信息是预测出图像的预测框之后，会生成坐标的参数，格式为xyxy，其中x为左顶点的坐标，y为右下角顶点的坐标，那么预测框的长度和宽度就可以计算出来，转换公式为：
length＝y[0]-x[0]
height＝x[1]-y[1]
所述裁剪图片是根据计算出来的预测框长度和宽度，在原图中进行裁剪。
所述保存坐标信息是将格式为xyxy的坐标参数依次写进文本文件中。
步骤4：如图3所示，将裁减后的图片送入双线性卷积神经网络B-CNN中进行特征提取，训练出模型。所述双线性网络B-CNN模型包括特征提取、特征融合、分类以及训练四部分。
所述特征提取是使用两个卷积神经网络对调整为448×448的图像进行特征的提取；
所述两个卷积神经网络采用vgg-16的结构，包含13个卷积层，3个全连接层，在本发明中，只采用了13个卷积层的结构。
所述特征融合是在图像的每一个位置，两个网络分别生成1×512大小的特征，在每一个位置对两个网络提取的特征做外积操作，得到该位置大小为
512×152的双线性特征，A(I)T是对一个双线性卷积神经网络进行转置操作，B(I)是另外一个双线性卷积神经网络，X(I)是两者的外积结果：
X(I)＝A(I)TB(I)
采用求和池化方式，将所有位置得到的双线性特征进行求和作为本幅图像的特征，大小为512×512，X＝∑lX(I)；
其中∑lX(I)是对双线性特征进行求和池化，X为池化后的结果。
对该双线性特征进行如下计算，X为双线性特征，Y为最终计算的结果：
Figure BDA0003549615610000051
所述分类是采用正则化操作作为该幅图片的特征，具体操作为，Y为双线性特征计算出来的结果，Z为正则化后的结果：
Figure BDA0003549615610000061
所述训练过程，两个网络可以同时被训练，并且整个训练过程是端到端的，得到训练模型。
步骤5：基于步骤4训练后的模型文件实现目标的检测，预测图片的类别，通过联合步骤3得到的坐标信息，在图片中标注出目标框的位置以及所属类别。具体地，在该步骤中包含预测图片类别以及标注目标框位置两部分。
所述预测图片类别是通过加载图像和已训练的模型，使用交叉熵损失函数计算测试过程中的损失，获取输出的最大值作为预测结果；
所述标注目标框的位置是读取图像对应的文本文件，提取出目标框的坐标，通过cv函数在用于测试的故障图中画出预测框以及预测类别。
本发明可较快的完成对故障图像的辨别，协助实现故障图像分类功能。
本发明与单一的目标识别相比，对于故障图像中区分度不大的细粒特征图像有很好的分类效果。图4是单一目标检测方法得到的结果图，图5是本发明的结果图。
本发明可以显式的展示分类结果，满足工业上实际的运行场景和应用需求，并且提高了检测的准确率。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (9)

1.一种基于目标检测和细粒度识别的故障分类可视化方法，其特征在于，包括以下步骤：
步骤1：通过基于单个神经网络的目标检测系统对输入的故障图像进行特征提取，并训练得到模型；
步骤2：基于单个神经网络的目标检测系统根据训练好的模型对故障图片进行目标区域的裁剪，并将坐标信息提取出来，保存在文本文件中；
步骤3：将裁剪后的图片喂入双线性卷积神经网络中，双线性卷积神经网络对图片进行特征提取，训练出二分类模型；
步骤4：根据双线性卷积神经网络训练出的二分类模型文件联合坐标信息，对故障图片进行测试；
步骤5：在用于测试的故障图中标注出故障目标的位置和所属类别。
2.根据权利要求1所述的基于目标检测和细粒度识别的故障分类可视化方法，其特征在于，所述基于单个神经网络的目标检测系统特征提取的方法包括以下步骤：
将故障图片输入网络，在backbone结构中，采用了特征金字塔结构自底向上提取特征；在neck结构中，采用了自顶向下的路径融合结构，缩短低层特征流向预测层的路径；在head结构和prediction结构中，对特征进行整合，分别以prediction1、prediction2和prediction3这3条路经融合不同感受野的低层特征，最终输出缺陷目标的边界框信息和类别信息。
3.根据权利要求1所述的基于目标检测和细粒度识别的故障分类可视化方法，其特征在于，所述基于单个神经网络的目标检测系统根据训练好的模型对故障图片进行目标区域的裁剪，并将坐标信息保存在文本文件中具体包括以下步骤：
基于单个神经网络的目标检测系统根据训练好的模型对图片进行检测，并得到目标区域的坐标信息，中心点的坐标以及高度、宽度，将其转化为两个对顶点的坐标，并保存在文本文件中。
4.根据权利要求1所述的基于目标检测和细粒度识别的故障分类可视化方法，其特征在于，所述将裁剪后的图片喂入双线性卷积神经网络中，双线性卷积神经网络对图片进行特征提取，训练出二分类模型包括：
双线性卷积神经网络A和B对图像进行特征提取，再用双线性池化函数把双线性卷积神经网络提取的两组特征进行融合，最后在softmax层进行分类，在每一个位置对两个双线性卷积神经网络A和B提取的特征做外积操作：
X(I)＝A(I)TB(I)；
其中A(I)T是对双线性卷积神经网络A进行转置操作，B(I)是双线性卷积神经网络B，X(I)是两者的外积结果；
在训练过程中，两个双线性卷积神经网络同时被训练，并且整个训练过程是端到端的。
5.根据权利要求4所述的基于目标检测和细粒度识别的故障分类可视化方法，其特征在于，所述的两个双线性卷积神经网络A和B是两个对称的网络。
6.根据权利要求1所述的基于目标检测和细粒度识别的故障分类可视化方法，其特征在于，所述根据双线性卷积神经网络训练出的模型文件联合坐标信息，对故障图片进行测试，并在测试的故障图中标注出故障目标的位置和所属类别包括以下步骤：
把待检测的故障图片送入检测网络，根据分类函数输出概率最大的类别信息，并读取保存的文本文件中的坐标信息，把两个信息结合起来，在测试的故障图中画出预测框的位置以及预测类别。
7.根据权利要求6所述的基于目标检测和细粒度识别的故障分类可视化方法，其特征在于，所述的分类函数为线性支持向量机。
8.根据权利要求6所述的基于目标检测和细粒度识别的故障分类可视化方法，其特征在于，所述文本文件中的坐标信息是长方形的两个对顶点的坐标。
9.根据权利要求1-8中任一项所述的基于目标检测和细粒度识别的故障分类可视化方法，其特征在于，运行基于目标检测和细粒度识别的故障分类方法所需的环境包括pytorch环境和适配的cuda版本。
CN202210259649.XA 2022-03-16 2022-03-16 一种基于目标检测和细粒度识别的故障分类可视化方法 Pending CN114638989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210259649.XA CN114638989A (zh) 2022-03-16 2022-03-16 一种基于目标检测和细粒度识别的故障分类可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210259649.XA CN114638989A (zh) 2022-03-16 2022-03-16 一种基于目标检测和细粒度识别的故障分类可视化方法

Publications (1)

Publication Number Publication Date
CN114638989A true CN114638989A (zh) 2022-06-17

Family

ID=81949179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210259649.XA Pending CN114638989A (zh) 2022-03-16 2022-03-16 一种基于目标检测和细粒度识别的故障分类可视化方法

Country Status (1)

Country Link
CN (1) CN114638989A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009791A (zh) * 2023-09-28 2023-11-07 太仓点石航空动力有限公司 一种航空发动机的故障识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009791A (zh) * 2023-09-28 2023-11-07 太仓点石航空动力有限公司 一种航空发动机的故障识别方法及系统
CN117009791B (zh) * 2023-09-28 2023-12-12 太仓点石航空动力有限公司 一种航空发动机的故障识别方法及系统

Similar Documents

Publication Publication Date Title
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
Sheikh et al. Traffic sign detection and classification using colour feature and neural network
Jiang et al. A machine vision-based realtime anomaly detection method for industrial products using deep learning
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN114694165B (zh) 一种pid图纸智能识别与重绘方法
Li et al. Robust vehicle detection in high-resolution aerial images with imbalanced data
CN112183639B (zh) 一种矿物图像识别与分类方法
CN114648665A (zh) 一种弱监督目标检测方法及系统
CN108664997A (zh) 基于级联Faster R-CNN的高铁接触网等电位线不良状态检测方法
CN110598698A (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
Shanthakumari et al. Mask RCNN and Tesseract OCR for vehicle plate character recognition
CN114638989A (zh) 一种基于目标检测和细粒度识别的故障分类可视化方法
CN117437647B (zh) 基于深度学习和计算机视觉的甲骨文字检测方法
CN113762144A (zh) 一种基于深度学习的黑烟车检测方法
CN112418207A (zh) 一种基于自注意力蒸馏的弱监督文字检测方法
CN115631197B (zh) 一种图像处理方法、装置、介质、设备及系统
CN111091165A (zh) 一种图像的细粒度识别方法
CN114078106A (zh) 基于改进Faster R-CNN的疵点检测方法
CN116665009A (zh) 一种基于多尺度ssd网络的管道漏磁图像检测方法
CN115731211A (zh) 一种采用四级级联架构的接触网紧固件故障检测方法
CN115249319A (zh) 一种用于检测全日面图像中太阳暗条的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination