CN115115608A - 基于半监督语义分割的航空发动机损伤检测方法 - Google Patents

基于半监督语义分割的航空发动机损伤检测方法 Download PDF

Info

Publication number
CN115115608A
CN115115608A CN202210852913.0A CN202210852913A CN115115608A CN 115115608 A CN115115608 A CN 115115608A CN 202210852913 A CN202210852913 A CN 202210852913A CN 115115608 A CN115115608 A CN 115115608A
Authority
CN
China
Prior art keywords
image
loss
student
network
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210852913.0A
Other languages
English (en)
Inventor
万夕里
王亮
管昕洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202210852913.0A priority Critical patent/CN115115608A/zh
Publication of CN115115608A publication Critical patent/CN115115608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种基于半监督语义分割的航空发动机损伤检测方法，使用两组学生‑教师模型，在两个具有相同结构但初始化权重不同的学生网络中，输入图是标记图像/未标记图像，根据学生网络的预测和标签计算监督损失；然后，通过将一个学生网络的预测作为另一个学生网络的伪监督图，计算交叉伪监督损失；在学生网络和其对应的教师网络之间，计算教师网络的预测与其对应的学生网络预测的一致性损失，增强对同一输入图的一致性；最后，对三个损失进行加权求和计算总损失，反向传播更新网络权重。本发明能够同时处理标记图像和未标记图像，减少人工标注工作量，通过挖掘未标记图像的潜力，从未标记图像中获取额外的监督信号来有效地提升模型的性能。

Description

基于半监督语义分割的航空发动机损伤检测方法
技术领域
本发明涉及了一种基于半监督语义分割的航空发动机损伤检测方法，属于计算机人工智能领域。
背景技术
随着我国经济和航空事业的发展，飞机现已成为人们出行不可缺少的一部分。但是在航行的过程中，航空发动机长期在高温、高压的环境中高负荷的运转，其零件磨损严重，常常会出现裂纹、烧伤等损伤，航空发动机的状态与航空安全密切相关，因此对航空发动机的损伤检测对于保证航空安全至关重要。
孔探检测技术是航空发动机损伤检测目前最常用的技术手段。孔探检测技术通过运用光学技术将航空发动机内部图像传输到外部，以供检测人员对其进行检测、诊断。但是人工诊断是效率低的，这使得我们寻找其他检测方法来辅助或取代人工检测，提高检测的效率。
图像的语义分割是计算机视觉中一项基本识别任务，目的是提取图像中的目标，采用语义分割检测辅助或取代传统的人工检测会大幅度地提高检测效率，但是目前常用的全监督语义分割方法需要大量人工标注图像，但在语义分割领域，像素级的人工标注图像是十分稀有的，因为其耗时长，成本昂贵，对于航空发动机损伤图像也是如此，这不利于语义分割在航空发动机损伤检测领域进行推广和应用。
发明内容
本发明所要解决的技术问题是针对传统的航空发动机损伤检测方法效率低和全监督语义分割需要大量像素级人工标注图像，而像素级的人工标注图像耗时长、成本高的情况。通过挖掘未标记图像的潜力，从未标记图像中获取额外的监督信号，提出一种基于半监督语义分割的航空发动机损伤检测方法。
本方法的设计思路为：使用两组学生-教师模型，在两个具有相同结构但初始化权重不同的学生网络中，对于输入图是标记图像/未标记图像，根据学生网络的预测和标签计算监督损失Lsup；
然后，通过将一个学生网络的预测作为另一个学生网络的伪监督图，计算交叉伪监督损失Lcps，使两个学生网络对同一输入图的预测保持一致；
在学生网络和其对应的教师网络之间，计算教师网络的预测与其对应的学生网络预测的一致性损失Lcons，增强对同一输入图的一致性；
最后，对三个损失进行加权求和，计算总损失Ltotal，反向传播更新网络权重。
本发明能够同时处理标记图像和未标记图像，可以减少人工标注工作量，通过挖掘未标记图像的潜力，从未标记图像中获取额外的监督信号来有效地提升模型的性能。
具体来说，本发明的一种基于半监督语义分割的航空发动机损伤检测方法，本方法使用两组学生-教师模型对航空发动机损伤图像进行检测；两组学生-教师模型具有相同结构但初始化权重不同的学生网络；
检测方法包括以下步骤：
步骤一、处理航空发动机损伤图像数据集，并初始化学生网络和教师网络的权重；
步骤二、对标记图像：先进行弱增强，得到弱增强图像Xw；再进行强增强，得到强增强图像Xs；将强增强图像Xs和弱增强图像Xw分别输入两个学生网络和两个教师网络；计算标记图像的监督损失
Figure BDA0003755341820000021
在两个学生网络和两个教师网络中，将第一个学生网络的预测作为第二个学生网络的伪监督图，计算交叉伪监督损失
Figure BDA0003755341820000022
在学生网络和其对应的教师网络之间，计算教师网络的预测与其对应的学生网络预测的一致性损失
Figure BDA0003755341820000023
步骤三、对未标记图像：先进行弱增强，得到弱增强图像Xw；再进行强增强，得到强增强图像Xs；将强增强图像Xs和弱增强图像Xw分别输入两个学生网络和两个教师网络；
在两个学生网络和两个教师网络中，通过将第一个学生网络的预测作为第二个学生网络的伪监督图，计算交叉伪监督损失
Figure BDA0003755341820000024
在学生网络和其对应的教师网络之间，计算教师网络的预测与其对应的学生网络预测的一致性损失
Figure BDA0003755341820000025
步骤四、通过未标记图像的交叉伪监督损失
Figure BDA0003755341820000026
标记图像的交叉伪监督损失
Figure BDA0003755341820000027
求得总交叉伪监督损失Lcps；
通过未标记图像的一致性损失
Figure BDA0003755341820000028
标记图像的一致性损失
Figure BDA0003755341820000029
求得总一致性损失Lcons；
再对监督损失
Figure BDA00037553418200000210
总交叉伪监督损失Lcps和总一致性损失Lcons进行加权求和计算总损失Ltotal及其梯度下降；
根据梯度下降结果更新学生网络的权重，通过学生网络权重的指数移动平均更新教师网络的权重，最后在验证集上进行性能验证。
具体来说：所述步骤一的步骤包括：
步骤1.1、获取航空发动机损伤图像数据集D，对部分损伤图像进行像素级人工标注得到标记图像；将标记图像数据集按照8:1:1划分为训练集、验证集和测试集；最终，训练集由含有M个图像-标签对的标记图像集Dl和包含N个图像的未标记图像集Du构成；
步骤1.2、构建CENet架构；学生网络和教师网络都采用CENet架构，对两个学生网络进行初始化，得到两个结构相同、初始化权重不同的学生网络f(θ1)、f(θ2)，θ1、θ2分别是两个学生网络的初始化权重；
步骤1.3、将两个学生网络的权重分别复制给相应的教师网络，得到两个教师网络
Figure BDA00037553418200000211
分别是两个教师网络的初始化权重。
具体来说：所述步骤二的步骤包括：
步骤2.1、对于标记的图像(xi,yi)，(xi,yi)∈Dl且i≤M，xi表示图像和yi表示标签；
对图像xi和标签yi进行相同的弱增强，弱增强方法为：
对图像xi和标签yi进行相同的随机缩放；如果缩放后的图像的长宽分别大于H、W，则对缩放后的图像和标签进行相同随机裁剪，得到尺寸大小为H×W的图像和标签；如果缩放后的图像的长宽不全大于H、W，则对图像和标签进行边缘填充，将较小边填充至要求大小后进行裁剪；
裁剪后的图像和标签以一定的概率进行旋转180°、水平翻转，最终得到弱增强图像Xwi及其对应的标签yi *；
步骤2.2、对弱增强图像Xwi进行强增强，强增强方法为：
对弱增强图像Xwi进行颜色抖动，改变图像的亮度、对比度、饱和度和色调；再进一步对图像进行高斯模糊，增加噪声，得到强增强图像Xsi；
步骤2.3、将强增强图像Xsi输入至学生网络f(θ1)、f(θ2)进行预测，得到两个分割置信图s1i、s2i；对s1i、s2i进行softmax函数计算，得到归一化后的置信图p1i、p2i；最后，对p1i、p2i进行max函数计算，得到伪标签y1i、y2i；
步骤2.4、使用标准的像素级交叉熵损失函数计算标记图像的监督损失
Figure BDA0003755341820000031
步骤2.5、使用交叉伪监督损失函数计算标记图像的交叉伪监督损失
Figure BDA0003755341820000032
步骤2.6、将弱增强图像Xwi输入至教师网络
Figure BDA0003755341820000033
进行预测，得到两个分割置信图s3i、s4i，对s3i、s4i进行softmax函数计算，得到归一化后的置信图p3i、p4i；
步骤2.7、使用常用的均方误差MSE损失函数计算标记图像的一致性损失
Figure BDA0003755341820000034
具体来说：所述步骤三的步骤包括：
步骤3.1、对于未标记的图像xi，xi∈Du且i≤N，由于未标记图像只含有图像，不含有标签，则只对图像xi进行弱增强，得到弱增强图像Xwi，弱增强方法与步骤二中的一致；
步骤3.2、对弱增强图像Xwi进行强增强，得到强增强图像Xsi，强增强方法与步骤二中的一致；
步骤3.3、将强增强图像Xsi输入至学生网络f(θ1)、f(θ2)进行预测，得到两个分割置信图s1i、s2i，对s1i、s2i进行softmax函数计算，得到归一化后的置信图p1i、p2i，最后，对p1i、p2i进行max函数计算，得到伪标签y1i、y2i；
步骤3.4、使用交叉伪监督损失函数计算未标记图像的交叉伪监督损失
Figure BDA0003755341820000035
步骤3.5、将弱增强图像Xwi输入至教师网络
Figure BDA0003755341820000036
进行预测，得到两个分割置信图s3i、s4i，对s3i、s4i进行softmax函数计算，得到归一化后的置信图p3i、p4i；
步骤3.6、使用MSE损失函数计算未标记图像的一致性损失
Figure BDA0003755341820000041
具体来说：所述步骤四的步骤包括：
步骤4.1、将标记图像和未标记图像的交叉伪监督损失求和，得到总交叉伪监督损失Lcps；
步骤4.2、将标记图像和未标记图像的一致性损失求和，得到总一致性损失Lcons；
步骤4.3、将监督损失、总交叉伪监督损失和总一致性损失进行加权求和，得到总损失Ltotal；
步骤4.4、计算总损失Ltotal的梯度下降，根据梯度下降结果更新两个学生网络的权重，并根据学生网络权重的指数移动平均更新相应的教师网络权重，教师网络权重的更新公式为：
Figure BDA0003755341820000042
Figure BDA0003755341820000043
其中α是平滑系数超参数，可在0.99至0.999之间取值，θ1t、θ2t是两个学生网络在训练步骤t时的权重，
Figure BDA0003755341820000044
是两个教师网络在训练步骤t时的权重；
步骤4.5、在验证集上验证两个教师网络的性能，保存性能更好的教师网络的权重，重复步骤二至步骤四，直至训练结束。
上述各个损失的计算方法为：
总损失Ltotal计算公式为：
Figure BDA0003755341820000045
其中w1、w2是调整监督损失、总交叉伪监督损失和总一致性损失之间平衡的超参数。
Figure BDA0003755341820000046
是标记图像的监督损失，计算公式为：
Figure BDA0003755341820000047
其中lce是标准的交叉熵损失函数。
Lcps是标记图像和未标记图像的交叉伪监督损失，计算公式为：
Figure BDA0003755341820000048
Figure BDA0003755341820000049
Figure BDA00037553418200000410
Lcons是标记图像和未标记图像的一致性损失，计算公式为：
Figure BDA0003755341820000051
Figure BDA0003755341820000052
Figure BDA0003755341820000053
其中lmse是常用的均方误差损失函数。
本发明采用以上技术方案与现有技术相比，具有以下优点：
1、通过同时利用标记图像和未标记图像，在标记图像数量有限的情况下，挖掘未标记图像的潜力，从未标记图像中获取额外的监督信号，提升语义分割模型的性能；
2、将深度学习中的语义分割网络应用在航空发动机损伤检测领域，辅助或取代传统的人工检测方法，提高航空发动机损伤检测的效率。
附图说明
图1是本发明整体的框架流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
在以上条件之下，基于半监督语义分割的航空发动机损伤检测方法的步骤如图1所示。具体包括以下步骤：
步骤一、处理航空发动机损伤图像数据集，并初始化学生网络和教师网络的权重；
步骤1.1、获取航空发动机损伤图像数据集D，对部分损伤图像进行像素级人工标注，对标记图像数据集按照8:1:1划分训练集、验证集和测试集，最终，训练集由含有M个图像-标签对的标记图像集Dl和包含N个图像的未标记图像集Du构成；
步骤1.2、构建CENet架构，学生网络和教师网络都采用CENet架构，对两个学生网络进行初始化，得到两个结构相同、初始化权重不同的学生网络f(θ1)、f(θ2)，θ1、θ2分别是两个学生网络的初始化权重；
步骤1.3、将两个学生网络的权重分别复制给相应的教师网络，得到两个教师网络
Figure BDA0003755341820000054
分别是两个教师网络的初始化权重。
步骤二、对标记图像先进行弱增强，得到弱增强图像Xw，再进行强增强，得到强增强图像Xs，将强增强图像Xs和弱增强图像Xw分别输入学生网络和教师网络，计算标记图像的监督损失
Figure BDA0003755341820000061
交叉伪监督损失
Figure BDA0003755341820000062
和一致性损失
Figure BDA0003755341820000063
步骤2.1、对于标记图像(xi,yi)，(xi,yi)∈Dl且i≤M，对图像xi和标签yi进行相同的弱增强，具体的弱增强方法为：
对图像xi和标签yi进行相同的随机缩放，如果缩放后的图像的长宽分别大于H、W，对缩放后的图像和标签进行相同随机裁剪，得到尺寸大小为H×W的图像和标签；如果缩放后的图像的长宽不全大于H、W，则对图像和标签进行边缘填充，将较小边填充至要求大小后进行裁剪。裁剪后的图像和标签以一定的概率(为了兼顾效率和检测质量，概率设为50％)进行旋转180°、水平翻转，最终得到弱增强图像Xwi及其对应的标签yi *；
步骤2.2、对弱增强图像Xwi进行强增强，具体的强增强方法为：
对弱增强图像Xwi进行颜色抖动，改变图像的亮度、对比度、饱和度和色调，再对图像进行高斯模糊，增加噪声，得到强增强图像Xsi；
步骤2.3、将强增强图像Xsi输入至学生网络f(θ1)、f(θ2)进行预测，得到两个分割置信图s1i、s2i，对s1i、s2i进行softmax函数计算，得到归一化后的置信图p1i、p2i，最后，对p1i、p2i进行max函数计算，得到伪标签y1i、y2i；
步骤2.4、使用标准的像素级交叉熵损失函数计算标记图像的监督损失
Figure BDA0003755341820000064
计算公式为：
Figure BDA0003755341820000065
其中j表示图像中像素点的索引，
Figure BDA0003755341820000066
表示在图像xi中第j个像素点的真实值，lce是标准的交叉熵损失函数，其计算公式为：
Figure BDA0003755341820000067
其中classes表示分类类别个数，yc表示在真实标签的one-hot图中第c个通道的值，pc表示属于类别c的概率；
步骤2.5、使用交叉伪监督损失函数计算标记图像的交叉伪监督损失
Figure BDA0003755341820000068
计算公式为：
Figure BDA0003755341820000069
步骤2.6、将弱增强图像Xwi输入至教师网络
Figure BDA00037553418200000610
进行预测，得到两个分割置信图s3i、s4i，对s3i、s4i进行softmax函数计算，得到归一化后的置信图p3i、p4i；
步骤2.7、使用常用的均方误差MSE损失函数计算标记图像的一致性损失
Figure BDA0003755341820000071
计算公式为：
Figure BDA0003755341820000072
其中lmse是常用的均方误差损失函数，其计算公式为：
Figure BDA0003755341820000073
其中classes表示分类类别个数，lmse表示数据y1和数据y2对应点误差的平方和的均值。
步骤三、对未标记图像先进行弱增强，得到弱增强图像Xw，再进行强增强，得到强增强图像Xs，将强增强图像Xs和弱增强图像Xw分别输入学生网络和教师网络，计算未标记图像的交叉伪监督损失
Figure BDA0003755341820000074
和一致性损失
Figure BDA0003755341820000075
步骤3.1、对于未标记图像xi，xi∈Du且i≤N，由于未标记图像只含有图像，不含有标签，所以只对图像xi进行弱增强，得到弱增强图像Xwi，弱增强方法与步骤2.1中的一致；
步骤3.2、对弱增强图像Xwi进行强增强，得到强增强图像Xsi,强增强方法与步骤2.2中的一致；
步骤3.3、将强增强图像Xsi输入至学生网络f(θ1)、f(θ2)进行预测，得到两个分割置信图s1i、s2i，对s1i、s2i进行softmax函数计算，得到归一化后的置信图p1i、p2i，最后，对p1i、p2i进行max函数计算，得到伪标签y1i、y2i；
步骤3.4、使用交叉伪监督损失函数计算未标记图像的交叉伪监督损失
Figure BDA0003755341820000076
计算公式为：
Figure BDA0003755341820000077
步骤3.5、将弱增强图像Xwi输入至教师网络
Figure BDA0003755341820000078
进行预测，得到两个分割置信图s3i、s4i，对s3i、s4i进行softmax函数计算，得到归一化后的置信图p3i、p4i；
步骤3.6、使用MSE损失函数计算未标记图像的一致性损失
Figure BDA0003755341820000079
计算公式为：
Figure BDA00037553418200000710
步骤四、计算总损失Ltotal及其梯度下降，根据梯度下降结果更新学生网络的权重，通过学生网络权重的指数移动平均更新教师网络的权重，最后在验证集上进行性能验证；
步骤4.1、将标记图像和未标记图像的交叉伪监督损失求和，得到总交叉伪监督损失Lcps，计算公式为：
Figure BDA0003755341820000081
步骤4.2、将标记图像和未标记图像的一致性损失求和，得到总一致性损失Lcons，计算公式为：
Figure BDA0003755341820000082
步骤4.3、将监督损失、总交叉伪监督损失和总一致性损失进行加权求和，得到总损失Ltotal，计算公式为：
Figure BDA0003755341820000083
其中w1、w2是调整监督损失、总交叉伪监督损失和总一致性损失之间平衡的超参数；
步骤4.4、计算总损失Ltotal的梯度下降，根据梯度下降结果更新两个学生网络的权重，并根据学生网络权重的指数移动平均更新相应的教师网络的权重，教师网络权重的更新公式为：
Figure BDA0003755341820000084
Figure BDA0003755341820000085
其中α是平滑系数超参数，可在0.99至0.999之间取值，θ1t、θ2t是两个学生网络在训练步骤t时的权重，
Figure BDA0003755341820000086
是两个教师网络在训练步骤t时的权重；
步骤4.5、在验证集上验证两个教师网络的性能，保存性能更好的教师网络的权重，重复步骤二至步骤四，直至训练结束。
在本发明应用场景中，以航空发动机损伤检测为例，在获取到航空发动机损伤图像数据集的情况下，首先对数据集中的部分图像进行像素级人工标注，将数据集分为标记图像集Dl和未标记图像集Du，将标记图像和未标记图像输入至模型中进行训练，根据模型预测和标签计算监督损失Lsup、总交叉伪监督损失Lcps和总一致性损失Lcons，将三个损失进行加权求和后进行反向传播，更新学生网络和教师网络的权重，然后在验证集上进行性能验证，最后，重复上述步骤，直至训练结束。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于半监督语义分割的航空发动机损伤检测方法，其特征在于：使用两组学生-教师模型对航空发动机损伤图像进行检测；两组学生-教师模型具有相同结构但初始化权重不同的学生网络；
检测方法包括以下步骤：
步骤一、处理航空发动机损伤图像数据集，并初始化学生网络和教师网络的权重；
步骤二、对标记图像：先进行弱增强，得到弱增强图像Xw；再进行强增强，得到强增强图像Xs；将强增强图像Xs和弱增强图像Xw分别输入两个学生网络和两个教师网络；计算标记图像的监督损失
Figure FDA0003755341810000011
在两个学生网络和两个教师网络中，通过将第一个学生网络的预测作为第二个学生网络的伪监督图，计算交叉伪监督损失
Figure FDA0003755341810000012
在学生网络和其对应的教师网络之间，计算教师网络的预测与其对应的学生网络预测的一致性损失
Figure FDA0003755341810000013
步骤三、对未标记图像：先进行弱增强，得到弱增强图像Xw；再进行强增强，得到强增强图像Xs；将强增强图像Xs和弱增强图像Xw分别输入两个学生网络和两个教师网络；
在两个学生网络和两个教师网络中，通过将第一个学生网络的预测作为第二个学生网络的伪监督图，计算交叉伪监督损失
Figure FDA0003755341810000014
在学生网络和其对应的教师网络之间，计算教师网络的预测与其对应的学生网络预测的一致性损失
Figure FDA0003755341810000015
步骤四、通过未标记图像的交叉伪监督损失
Figure FDA0003755341810000016
标记图像的交叉伪监督损失
Figure FDA0003755341810000017
求得总交叉伪监督损失Lcps；
通过未标记图像的一致性损失
Figure FDA0003755341810000018
标记图像的一致性损失
Figure FDA0003755341810000019
求得总一致性损失Lcons；
再对监督损失
Figure FDA00037553418100000110
总交叉伪监督损失Lcps和总一致性损失Lcons进行加权求和计算总损失Ltotal及其梯度下降；
根据梯度下降结果更新学生网络的权重，通过学生网络权重的指数移动平均更新教师网络的权重，最后在验证集上进行性能验证。
2.根据权利要求1所述的基于半监督语义分割的航空发动机损伤检测方法，其特征在于：所述步骤一的步骤包括：
步骤1.1、获取航空发动机损伤图像数据集D，对部分损伤图像进行像素级人工标注得到标记图像；将标记图像数据集按照8:1:1划分为训练集、验证集和测试集；最终，训练集由含有M个图像-标签对的标记图像集Dl和包含N个图像的未标记图像集Du构成；
步骤1.2、构建CENet架构；学生网络和教师网络都采用CENet架构，对两个学生网络进行初始化，得到两个结构相同、初始化权重不同的学生网络f(θ1)、f(θ2)，θ1、θ2分别是两个学生网络的初始化权重；
步骤1.3、将两个学生网络的权重分别复制给相应的教师网络，得到两个教师网络
Figure FDA0003755341810000021
分别是两个教师网络的初始化权重。
3.根据权利要求1所述的基于半监督语义分割的航空发动机损伤检测方法，其特征在于：所述步骤二的步骤包括：
步骤2.1、对于标记的图像(xi,yi)，(xi,yi)∈Dl且i≤M，xi表示图像和yi表示标签；
对图像xi和标签yi进行相同的弱增强，弱增强方法为：
对图像xi和标签yi进行相同的随机缩放；如果缩放后的图像的长宽分别大于H、W，则对缩放后的图像和标签进行相同随机裁剪，得到尺寸大小为H×W的图像和标签；如果缩放后的图像的长宽不全大于H、W，则对图像和标签进行边缘填充，将较小边填充至要求大小后进行裁剪；
裁剪后的图像和标签以一定的概率进行旋转180°、水平翻转，最终得到弱增强图像Xwi及其对应的标签yi *；
步骤2.2、对弱增强图像Xwi进行强增强，强增强方法为：
对弱增强图像Xwi进行颜色抖动，改变图像的亮度、对比度、饱和度和色调；再进一步对图像进行高斯模糊，增加噪声，得到强增强图像Xsi；
步骤2.3、将强增强图像Xsi输入至学生网络f(θ1)、f(θ2)进行预测，得到两个分割置信图s1i、s2i；对s1i、s2i进行softmax函数计算，得到归一化后的置信图p1i、p2i；最后，对p1i、p2i进行max函数计算，得到伪标签y1i、y2i；
步骤2.4、使用标准的像素级交叉熵损失函数计算标记图像的监督损失
Figure FDA0003755341810000022
步骤2.5、使用交叉伪监督损失函数计算标记图像的交叉伪监督损失
Figure FDA0003755341810000023
步骤2.6、将弱增强图像Xwi输入至教师网络
Figure FDA0003755341810000024
进行预测，得到两个分割置信图s3i、s4i，对s3i、s4i进行softmax函数计算，得到归一化后的置信图p3i、p4i；
步骤2.7、使用均方误差MSE损失函数计算标记图像的一致性损失
Figure FDA0003755341810000025
4.根据权利要求1所述的基于半监督语义分割的航空发动机损伤检测方法，其特征在于：所述步骤三的步骤包括：
步骤3.1、对于未标记的图像xi，xi∈Du且i≤N，由于未标记图像只含有图像，不含有标签，则只对图像xi进行弱增强，得到弱增强图像Xwi，弱增强方法与步骤二中的一致；
步骤3.2、对弱增强图像Xwi进行强增强，得到强增强图像Xsi，强增强方法与步骤二中的一致；
步骤3.3、将强增强图像Xsi输入至学生网络f(θ1)、f(θ2)进行预测，得到两个分割置信图s1i、s2i，对s1i、s2i进行softmax函数计算，得到归一化后的置信图p1i、p2i，最后，对p1i、p2i进行max函数计算，得到伪标签y1i、y2i；
步骤3.4、使用交叉伪监督损失函数计算未标记图像的交叉伪监督损失
Figure FDA0003755341810000031
步骤3.5、将弱增强图像Xwi输入至教师网络
Figure FDA0003755341810000032
进行预测，得到两个分割置信图s3i、s4i，对s3i、s4i进行softmax函数计算，得到归一化后的置信图p3i、p4i；
步骤3.6、使用MSE损失函数计算未标记图像的一致性损失
Figure FDA0003755341810000033
5.根据权利要求1所述的基于半监督语义分割的航空发动机损伤检测方法，其特征在于：所述步骤四的步骤包括：
步骤4.1、将标记图像和未标记图像的交叉伪监督损失求和，得到总交叉伪监督损失Lcps；
步骤4.2、将标记图像和未标记图像的一致性损失求和，得到总一致性损失Lcons；
步骤4.3、将监督损失、总交叉伪监督损失和总一致性损失进行加权求和，得到总损失Ltotal；
步骤4.4、计算总损失Ltotal的梯度下降，根据梯度下降结果更新两个学生网络的权重，并根据学生网络权重的指数移动平均更新相应的教师网络权重，教师网络权重的更新公式为：
Figure FDA0003755341810000034
Figure FDA0003755341810000035
其中α是平滑系数超参数，可在0.99至0.999之间取值，θ1t、θ2t是两个学生网络在训练步骤t时的权重，
Figure FDA0003755341810000036
是两个教师网络在训练步骤t时的权重；
步骤4.5、在验证集上验证两个教师网络的性能，保存性能更好的教师网络的权重，重复步骤二至步骤四，直至训练结束。
6.根据权利要求1～5任一所述的基于半监督语义分割的航空发动机损伤检测方法，其特征在于：使用两组学生-教师模型，总损失包括三个损失，分别为：监督损失
Figure FDA0003755341810000037
总交叉伪监督损失Lcps和总一致性损失Lcons；
总损失Ltotal计算公式为：
Figure FDA0003755341810000038
其中w1、w2是调整监督损失、总交叉伪监督损失和总一致性损失之间平衡的超参数；
Figure FDA0003755341810000041
是标记图像的监督损失，计算公式为：
Figure FDA0003755341810000042
其中lce是标准的交叉熵损失函数；
Lcps是标记图像和未标记图像的交叉伪监督损失，计算公式为：
Figure FDA0003755341810000043
Figure FDA0003755341810000044
Figure FDA0003755341810000045
Lcons是标记图像和未标记图像的一致性损失，计算公式为：
Figure FDA0003755341810000046
Figure FDA0003755341810000047
Figure FDA0003755341810000048
其中lmse是常用的均方误差损失函数。
CN202210852913.0A 2022-07-20 2022-07-20 基于半监督语义分割的航空发动机损伤检测方法 Pending CN115115608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210852913.0A CN115115608A (zh) 2022-07-20 2022-07-20 基于半监督语义分割的航空发动机损伤检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210852913.0A CN115115608A (zh) 2022-07-20 2022-07-20 基于半监督语义分割的航空发动机损伤检测方法

Publications (1)

Publication Number Publication Date
CN115115608A true CN115115608A (zh) 2022-09-27

Family

ID=83333962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210852913.0A Pending CN115115608A (zh) 2022-07-20 2022-07-20 基于半监督语义分割的航空发动机损伤检测方法

Country Status (1)

Country Link
CN (1) CN115115608A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359062A (zh) * 2022-10-24 2022-11-18 浙江华是科技股份有限公司 通过半监督实例分割标定监控目标的方法及系统
CN116402838A (zh) * 2023-06-08 2023-07-07 吉林大学 一种用于颅内出血的半监督图像分割方法及系统
CN116468746A (zh) * 2023-03-27 2023-07-21 华东师范大学 一种双向复制粘贴的半监督医学图像分割方法
CN117173401A (zh) * 2022-12-06 2023-12-05 南华大学 基于交叉指导和特征级一致性双正则化的半监督医学图像分割方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN113807426A (zh) * 2021-09-13 2021-12-17 桂林智慧产业园有限公司 一种基于多尺度增广和交叉伪监督的医学图像语义分割算法
CN114283329A (zh) * 2021-11-16 2022-04-05 华能盐城大丰新能源发电有限责任公司 一种基于强变换下的半监督遥感图像语义分割方法及设备
US20220207718A1 (en) * 2020-12-27 2022-06-30 Ping An Technology (Shenzhen) Co., Ltd. Knowledge distillation with adaptive asymmetric label sharpening for semi-supervised fracture detection in chest x-rays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统
US20220207718A1 (en) * 2020-12-27 2022-06-30 Ping An Technology (Shenzhen) Co., Ltd. Knowledge distillation with adaptive asymmetric label sharpening for semi-supervised fracture detection in chest x-rays
CN113807426A (zh) * 2021-09-13 2021-12-17 桂林智慧产业园有限公司 一种基于多尺度增广和交叉伪监督的医学图像语义分割算法
CN114283329A (zh) * 2021-11-16 2022-04-05 华能盐城大丰新能源发电有限责任公司 一种基于强变换下的半监督遥感图像语义分割方法及设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359062A (zh) * 2022-10-24 2022-11-18 浙江华是科技股份有限公司 通过半监督实例分割标定监控目标的方法及系统
CN117173401A (zh) * 2022-12-06 2023-12-05 南华大学 基于交叉指导和特征级一致性双正则化的半监督医学图像分割方法及系统
CN117173401B (zh) * 2022-12-06 2024-05-03 南华大学 基于交叉指导和特征级一致性双正则化的半监督医学图像分割方法及系统
CN116468746A (zh) * 2023-03-27 2023-07-21 华东师范大学 一种双向复制粘贴的半监督医学图像分割方法
CN116468746B (zh) * 2023-03-27 2023-12-26 华东师范大学 一种双向复制粘贴的半监督医学图像分割方法
CN116402838A (zh) * 2023-06-08 2023-07-07 吉林大学 一种用于颅内出血的半监督图像分割方法及系统
CN116402838B (zh) * 2023-06-08 2023-09-15 吉林大学 一种用于颅内出血的半监督图像分割方法及系统

Similar Documents

Publication Publication Date Title
CN115115608A (zh) 基于半监督语义分割的航空发动机损伤检测方法
Zhang et al. FINet: An insulator dataset and detection benchmark based on synthetic fog and improved YOLOv5
Deng et al. Vision based pixel-level bridge structural damage detection using a link ASPP network
WO2022095253A1 (zh) 一种基于深度通道感知的去除云雾方法
CN110569738B (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
Zhang et al. Curriculum-style local-to-global adaptation for cross-domain remote sensing image segmentation
CN113177559B (zh) 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质
EP3690741A2 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN113468996B (zh) 一种基于边缘细化的伪装物体检测方法
US20220315243A1 (en) Method for identification and recognition of aircraft take-off and landing runway based on pspnet network
CN111008626A (zh) 基于r-cnn检测客体的方法和装置
CN112270331A (zh) 一种基于yolov5改进的广告牌检测方法
Li et al. Towards photo-realistic visible watermark removal with conditional generative adversarial networks
Han et al. Multi-vision network for accurate and real-time small object detection in optical remote sensing images
CN115830531A (zh) 一种基于残差多通道注意力多特征融合的行人重识别方法
CN116596916A (zh) 缺陷检测模型的训练和缺陷检测方法及其装置
CN115546553A (zh) 一种基于动态特征抽取和属性修正的零样本分类方法
CN111739037A (zh) 一种针对室内场景rgb-d图像的语义分割方法
CN117351352A (zh) 基于轻量化YOLOv5网络模型的SAR船舶图像目标识别方法
CN117710783A (zh) 基于双驱动均衡损失及隐性特征增强的sar长尾目标检测方法
Zhao et al. An aircraft detection method based on improved mask R-CNN in remotely sensed imagery
CN117173759A (zh) 一种基于多尺度特征融合的人脸检测方法
Cao et al. A novel image multitasking enhancement model for underwater crack detection
CN116562341A (zh) 一种用于交通信号灯检测的改进型YOLOv5n模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination