CN112950617A - 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法 - Google Patents

基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法 Download PDF

Info

Publication number
CN112950617A
CN112950617A CN202110311616.0A CN202110311616A CN112950617A CN 112950617 A CN112950617 A CN 112950617A CN 202110311616 A CN202110311616 A CN 202110311616A CN 112950617 A CN112950617 A CN 112950617A
Authority
CN
China
Prior art keywords
network
generator
tidal current
semi
current machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110311616.0A
Other languages
English (en)
Other versions
CN112950617B (zh
Inventor
王天真
彭海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN202110311616.0A priority Critical patent/CN112950617B/zh
Publication of CN112950617A publication Critical patent/CN112950617A/zh
Application granted granted Critical
Publication of CN112950617B publication Critical patent/CN112950617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于连续旋转图像增强和半监督条件生成对抗网络的潮流机叶片附着物识别方法，步骤如下：获取潮流机在中高速、高速旋转工况下的图像数据，对中高速图像进行语义标注，但不标注高速图像；采用连续旋转图像增强技术对已标注数据进行扩充；搭建半监督条件生成对抗网络，其中生成器为语义分割网络，判别器为条件全卷积网络；对标注数据采用有监督条件对抗策略进行网络训练，对未标注数据采用半监督策略进行训练；在测试阶段，生成器输出附着物的定位识别图，判别器输出识别置信度图。本发明不仅提升了潮流机标注图像中附着物的识别精度，而且实现了对未标注图像中附着物的准确识别。

Description

基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附 着物识别方法
技术领域
本发明涉及潮流机故障识别领域，具体涉及一种基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法。
背景技术
随着全球人口的增多以及工业化进程的加快，能源危机成为了各国不得不面对的一大问题，于是大量的研究工作聚焦在了可再生能源的开发利用上。潮流能是一种蕴藏在海水周期性涨落过程中的能源，由于这种过程是月球、太阳等的引力作用引起的，所以潮流能是一种很有前景的可再生能源，潮流机则是一种将潮流能转换为电能的机械设备。由于长期运行在复杂的海洋环境下，潮流机的叶片上会滋生肉眼可见的附着物，这些附着物会以附加转矩的形式影响发电质量和效率。因此，设计一种强鲁棒的叶片附着物识别方法对于保障潮流发电系统的平稳运行是至关重要的。
目前，潮流机叶片附着物的识别方法有两大类：第一类是基于图像分类网络的方法，能够实现对多种附着物分布类别的诊断识别，但缺少对附着物区域的可视化显示；第二类是基于语义分割网络的方法，能够实现对附着物的定位识别，即可视化显示，但仍存在以下三点问题：(1)大量未标注的图像数据没有被充分利用起来；(2)对高速旋转的潮流机图像进行识别的准确率有待提高；(3)识别不确定度的估计过程耗时过长，而不确定度越高即表示置信度越低。
发明内容
为解决上述提到的基于语义分割网络的潮流机叶片附着物识别方法存在的问题，本发明提供一种基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法，其能实现对标注数据和未标注数据的准确识别。
本发明提供的一种基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法，包括以下步骤：
步骤1：获取潮流机在中高速、高速旋转工况下的图像数据，然后使用语义标注工具labelme对中高速图像进行人工标注：背景、叶片、附着物区域分别被标注为像素标签0、1、2，然后转换为one-hot编码格式[1,0,0]、[0,1,0]、 [0,0,1]，编码中1所对应的索引即为像素标签0、1、2；由于高速图像存在较大的运动模糊，人工标注困难，所以不对高速图像进行标注；由此，便完成了中高速标注图像数据集以及高速未标注图像数据集的创建。
步骤2：采用连续旋转图像增强技术对中高速标注图像数据进行扩充，每次扩充都是对上一次得到的扩充图像和标签进行连续旋转操作，以降低人工标注的工作量；其中，连续性体现在每次都以上次的结果为基准进行连续旋转增强，并且图像与标签需要进行同步的旋转操作，这样便能构造出丰富的标注数据。
步骤3：对于标注数据，分别设置随机的连续旋转角度来扩充出有标签的训练集、验证集和测试集，数据比例可按照实际需求进行设置；对于未标注数据，则通过随机采样的方式来创建无标签的训练集、验证集和测试集，数据比例可按照实际需求进行设置。
步骤4：在TensorFlow深度学习开源框架下搭建半监督条件生成对抗网络，该网络由生成器和判别器组成；其中，生成器采用的是编码器—解码器结构的语义分割网络，主要负责从潮流机图像中分割出背景、叶片和附着物区域；判别器采用的是条件全卷积网络，主要负责对生成器的分割结果进行质量评价。
步骤5：为了加快网络的训练速度，需先将标注数据和未标注数据归一化到[-1,1]范围内，然后输入到半监督条件生成对抗网络中进行训练，训练过程包含两个阶段：第一个阶段仅输入标注数据，采用有监督条件对抗策略对网络进行优化；当训练稳定后，进入第二个阶段，即同时输入标注数据和未标注数据，采用半监督策略对网络继续进行优化。
步骤6：当训练次数达到设定的最大迭代次数后，开始进入测试阶段，即将有标签和无标签的测试集数据输入到训练好的半监督条件生成对抗网络中，并由生成器输出潮流机叶片附着物的定位识别图，由判别器输出相应的识别置信度图。
作为本发明进一步的改进：步骤4，具体地，生成器采用的是具有编码器—解码器结构的VGG16-SegUnet语义分割网络，该网络利用最大池化索引保留技术和特征级联技术输出了较好的分割图；判别器采用了条件全卷积网络，网络的输入不仅包含生成器的输出，还包含了输入图像，两者通过特征级联的形式实现对判别器的条件建模，判别器能够迫使生成器输出更精确的潮流机叶片附着物识别图；该网络使用4个步长为2的3×3全卷积代替了最大池化以减少降维过程中空间特征的丢失，然后通过双线性插值上采样将降维特征图拉伸到输入尺寸，最后使用sigmoid激活函数输出数值范围在(0,1)的置信度图。判别器给予生成器输出的潮流机叶片附着物识别图较低的置信度，而给予语义标签图较高的置信度。
由于中高速潮流机图像较为模糊，边缘轮廓不清晰，所以附着物识别精度不高。该处理便是为了解决上述问题，输出更加精确的潮流机叶片附着物识别图。
作为本发明进一步的改进：步骤4，所述最大池化索引保留技术，即在训练的过程中存储每次最大池化操作的最大值位置索引；所述特征级联技术，即通过跳跃连接的形式来融合编码器和解码器的特征。
作为本发明进一步的改进：步骤5，具体地，第一个阶段仅输入标注的潮流机中高速图像数据，采用有监督条件对抗策略对生成器和判别器进行优化，并且首先对判别器进行优化，其损失函数定义如下：
Figure BDA0002989985340000031
其中，判别器的损失函数LDis包含了对标签的损失函数LDis_L和对生成器输出结果的损失函数LDis_Ge，两个损失函数均为log对数形式；Ge(Ii)表示第i个潮流机输入图像Ii经过生成器Ge(·)后输出的概率识别图，Dis(Ii,Li)和 Dis(Ii,Ge(Ii))分别表示在以输入图像Ii为条件建模的前提下，第i个标签Li和第 i个概率识别图经过判别器Dis(·)后输出的识别置信度图；Nlab为标注数据的个数。
然后对生成器进行优化，其损失函数定义如下：
Figure BDA0002989985340000032
其中，生成器损失函数LGe包含了交叉熵损失函数LGe_ce和对抗损失函数 LGe_adv，在判别器的监督下生成器将被迫输出越来越逼真的潮流机叶片附着物识别图；wadv为对抗损失权重系数，可根据实际需要进行设置。
当训练稳定后，进入第二个阶段，即同时输入标注的潮流机中高速图像数据和未标注的潮流机高速图像数据，采用半监督策略对网络继续进行优化，具体地，对标注数据仍使用LDis和LGe进行优化，对未标注数据使用半监督优化策略，其损失函数定义如下：
Figure BDA0002989985340000041
其中，半监督损失函数LGe_semi包含了半监督交叉熵损失函数LGe_ce_semi和半监督对抗损失函数LGe_adv_semi，随着训练进行生成器同样会输出越来越逼真的潮流机叶片附着物识别图；
Figure BDA0002989985340000042
为像素自动挑选函数，将在第i个无标注输入图像Iunlab_i的判别器输出图中挑选出置信度大于等于整体均值Dis(Iunlab_i,Ge(Iunlab_i))的像素点；C(Ge(Iunlab_i),S)将生成器输出图中对应挑选出的像素点上的概率识别向量转换为one-hot编码格式，即构造出了未标注数据的标签，剩余的像素点则不参与优化过程；wce_semi和wadv_semi分别表示半监督交叉熵损失和半监督对抗损失的权重系数，可根据实际需要进行设置；Nunlab为未标注数据的个数。
生成器和判别器的损失函数可以通过任意一种基于训练误差反向传播的梯度下降算法进行优化；综上，整个训练过程的损失函数定义如下：
Figure BDA0002989985340000043
Figure BDA0002989985340000044
其中，LDis_total和LGe_total分别表示整体的判别器损失函数和生成器损失函数。
首先，本发明内容的发明点有：
步骤2、步骤4和步骤5。其中步骤2采用图像旋转生成的方式来模拟潮流机叶片的真实旋转工况，步骤4在编码器-解码器语义分割网络的基础上引入了条件全卷积网络，通过对抗学习的方式迫使分割网络注重对边缘、轮廓等细节信息的捕获，从而实现更为准确的附着物识别，步骤5充分利用潮流机叶片旋转的周期相似性，即：中高速和高速旋转叶片图像具有大量类似的特征信息，由此提出了半监督训练策略。
其次，核心的公式创新是：
Figure BDA0002989985340000051
创新之处在于：1.先利用带标注的潮流机中高速图像数据训练网络，然后使用训练好的网络去预测未标注的潮流机高速图像数据的概率识别图，再基于该图计算出伪one-hot语义标签；2.提出了一种基于均值计算的阈值选择方法Dis(Iunlab_i,Ge(Iunlab_i))来筛选出待优化的像素点，然后采用梯度下降法对上述损失函数进行优化。潮流机叶片图像数据集中有大量未标注的高速图像数据，仅有少量标注的中高速图像数据，所以该处理就是为了将大量的未标注数据充分利用起来，并进一步提升对潮流机叶片附着物的识别准确率。
最后，与现有技术相比，本发明提供一种基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法有如下几点技术效果：
1、本发明采用连续旋转图像增强技术实现了对潮流机运行过程更为逼真的模拟，生成了丰富的标注数据。
2、本发明采用的半监督条件生成对抗网络包含了生成器和判别器。其中，生成器使用具有编码器—解码器结构的VGG16-SegUnet语义分割网络，输出较为粗糙的初始识别图；判别器使用条件全卷积网络输出识别置信度图。
3、本发明在语义分割网络的基础上，通过引入有监督条件对抗机制，实现了对初始识别图的轮廓精炼，进一步提升了识别精度。传统的语义分割网络常在预测未知数据方面表现较差，而本发明设计的一种半监督训练策略利用在中高速图像上训练好的网络预测大量未标注的高速旋转图像数据，通过优化半监督交叉熵损失函数来提升对高速旋转图像的识别准确率。
4、相较于通过多次蒙特卡洛采样来实现不确定度的估计，本发明使用仅含4个卷积层和一个上采样层的判别器输出置信度图，极大降低了估计过程的时间成本。
附图说明
图1为本发明中基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法的算法流程示意图。
图2展示了在中高速、高速旋转工况下采集到的潮流机图像数据。
图3为本发明中所提出的半监督条件生成对抗网络的架构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，本发明提供一种基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法包括以下步骤：
步骤1：获取潮流机在中高速、高速旋转工况下的图像数据，如图2所示；然后使用语义标注工具labelme对中高速图像进行人工标注：背景、叶片、附着物区域分别被标注为像素标签0、1、2，然后转换为one-hot编码格式 [1,0,0]、[0,1,0]、[0,0,1]，编码中1所对应的索引即为像素标签0、1、2；由于高速图像存在较大的运动模糊，人工标注困难，所以不对高速图像进行标注；由此，便完成了中高速标注图像数据集以及高速未标注图像数据集的创建。
步骤2：采用连续旋转图像增强技术对中高速标注图像数据进行扩充，以降低人工标注的工作量；其中，连续性体现在每次都以上次的结果为基准进行连续旋转增强，并且图像与标签需要进行同步的旋转操作，这样便能构造出丰富的标注数据。连续旋转图像增强的过程就是：对中高速标注图像数据进行扩充，每次扩充都是对上一次得到的扩充图像和标签进行连续旋转操作。
步骤3：对于标注数据，分别设置随机的连续旋转角度来扩充出有标签的训练集、验证集和测试集，数据比例可按照实际需求进行设置；对于未标注数据，则通过随机采样的方式来创建无标签的训练集、验证集和测试集，数据比例可按照实际需求进行设置。
步骤4：在TensorFlow深度学习开源框架下搭建半监督条件生成对抗网络，如图3所示；该网络由生成器和判别器组成；其中，生成器采用的是编码器—解码器结构的语义分割网络，主要负责从潮流机图像中分割出背景、叶片和附着物区域；判别器采用的是条件全卷积网络，主要负责对生成器的分割结果进行质量评价。
具体地，生成器采用的是具有编码器—解码器结构的VGG16-SegUnet语义分割网络，该网络利用最大池化索引保留技术和特征级联技术输出了较好的分割图；判别器采用了条件全卷积网络，网络的输入不仅包含生成器的输出，还包含了输入图像，两者通过特征级联的形式实现对判别器的条件建模，判别器能够迫使生成器输出更精确的潮流机叶片附着物识别图。另外该网络使用4个步长为2的3×3全卷积代替了最大池化以减少降维过程中空间特征的丢失，然后通过双线性插值上采样将降维特征图拉伸到输入尺寸，最后使用sigmoid激活函数输出数值范围在(0,1)的置信度图。判别器给予生成器输出的潮流机叶片附着物识别图较低的置信度，而给予语义标签图较高的置信度。生成器本质上是用来生成数据的，判别器本质上是用来监督生成器的生成过程的，目的在于迫使生成器生成越来越逼真的数据。当将生成器和判别器用于语义分割领域时即附着物识别，所表现的功能就如上表述。
步骤5：为了加快网络的训练速度，需先将标注数据和未标注数据归一化到[-1,1]范围内，然后输入到半监督条件生成对抗网络中进行训练，训练过程包含两个阶段：第一个阶段仅输入标注数据，采用有监督条件对抗策略对网络进行优化；当训练稳定后，进入第二个阶段，即同时输入标注数据和未标注数据，采用半监督策略对网络继续进行优化。
具体地，第一个阶段仅输入标注的潮流机中高速图像数据，采用有监督条件对抗策略对生成器和判别器进行优化，并且首先对判别器进行优化，其损失函数定义如下：
Figure BDA0002989985340000071
其中，判别器的损失函数LDis包含了对标签的损失函数LDis_L和对生成器输出结果的损失函数LDis_Ge，两个损失函数均为log对数形式；Ge(Ii)表示第i个潮流机输入图像Ii经过生成器Ge(·)后输出的概率识别图，Dis(Ii,Li)和 Dis(Ii,Ge(Ii))分别表示在以输入图像Ii为条件建模的前提下，第i个标签Li和第i个概率识别图经过判别器Dis(·)后输出的识别置信度图；Nlab为标注数据的个数。
然后对生成器进行优化，其损失函数定义如下：
Figure BDA0002989985340000081
其中，生成器损失函数LGe包含了交叉熵损失函数LGe_ce和对抗损失函数 LGe_adv，在判别器的监督下生成器将被迫输出越来越逼真的潮流机叶片附着物识别图；wadv为对抗损失权重系数，可根据实际需要进行设置。
当训练稳定后，进入第二个阶段，即同时输入标注的潮流机中高速图像数据和未标注的潮流机高速图像数据，采用半监督策略对网络继续进行优化，具体地，对标注数据仍使用LDis和LGe进行优化，对未标注数据使用半监督优化策略，其损失函数定义如下：
Figure BDA0002989985340000082
其中，半监督损失函数LGe_semi包含了半监督交叉熵损失函数LGe_ce_semi和半监督对抗损失函数LGe_adv_semi，随着训练进行生成器同样会输出越来越逼真的潮流机叶片附着物识别图；
Figure BDA0002989985340000083
为像素自动挑选函数，将在第i个无标注输入图像Iunlab_i的判别器输出图中挑选出置信度大于等于整体均值
Figure BDA0002989985340000084
的像素点；C(Ge(Iunlab_i),S)将生成器输出图中对应挑选出的像素点上的概率识别向量转换为one-hot编码格式，即构造出了未标注数据的标签，剩余的像素点则不参与优化过程；wce_semi和wadv_semi分别表示半监督交叉熵损失和半监督对抗损失的权重系数，可根据实际需要进行设置；Nunlab为未标注数据的个数。
生成器和判别器的损失函数可以通过任意一种基于训练误差反向传播的梯度下降算法进行优化；综上，整个训练过程的损失函数定义如下：
Figure BDA0002989985340000091
Figure BDA0002989985340000092
其中，LDis_total和LGe_total分别表示整体的判别器损失函数和生成器损失函数。
步骤6：当训练次数达到设定的最大迭代次数后，开始进入测试阶段，即将有标签和无标签的测试集数据输入到训练好的半监督条件生成对抗网络中，并由生成器输出潮流机叶片附着物的定位识别图，由判别器输出相应的识别置信度图。
相比于其他经典语义分割网络，半监督条件生成对抗网络除了提升了对潮流机有标签图像中附着物的识别精度外，还实现了对无标签图像中附着物的准确识别。

Claims (4)

1.基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法，其特征在于包括以下步骤：
步骤1：获取潮流机在中高速、高速旋转工况下的图像数据，然后使用语义标注工具labelme对中高速图像进行人工标注：背景、叶片、附着物区域分别被标注为像素标签0、1、2，然后转换为one-hot编码格式[1,0,0]、[0,1,0]、[0,0,1]，编码中1所对应的索引即为像素标签0、1、2；
步骤2：采用连续旋转图像增强技术对中高速标注图像数据进行扩充，每次扩充都是对上一次得到的扩充图像和标签进行连续旋转操作，以降低人工标注的工作量；其中，连续性体现在每次都以上次的结果为基准进行连续旋转增强，并且图像与标签需要进行同步的旋转操作，这样便能构造出丰富的标注数据；
步骤3：对于标注数据，分别设置随机的连续旋转角度来扩充出有标签的训练集、验证集和测试集，数据比例可按照实际需求进行设置；对于未标注数据，则通过随机采样的方式来创建无标签的训练集、验证集和测试集，数据比例可按照实际需求进行设置；
步骤4：在TensorFlow深度学习开源框架下搭建半监督条件生成对抗网络，该网络由生成器和判别器组成；其中，生成器采用的是编码器—解码器结构的语义分割网络，用于从潮流机图像中分割出背景、叶片和附着物区域；判别器采用的是条件全卷积网络，用于对生成器的分割结果进行质量评价；
步骤5：为了加快网络的训练速度，需先将标注数据和未标注数据归一化到[-1,1]范围内，然后输入到半监督条件生成对抗网络中进行训练，训练过程包含两个阶段：
第一个阶段仅输入标注数据，采用有监督条件对抗策略对网络进行优化；当训练稳定后，进入第二个阶段，即同时输入标注数据和未标注数据，采用半监督策略对网络继续进行优化；
步骤6：当训练次数达到设定的最大迭代次数后，开始进入测试阶段，即将有标签和无标签的测试集数据输入到训练好的半监督条件生成对抗网络中，并由生成器输出潮流机叶片附着物的定位识别图，由判别器输出相应的识别置信度图。
2.根据权利要求1所述的基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法，其特征在于，步骤4所述的半监督条件生成对抗网络包含了两个子网络：生成器和判别器；
生成器采用的是具有编码器—解码器结构的VGG16-SegUnet语义分割网络，该网络利用最大池化索引保留技术和特征级联技术输出了较好的潮流机叶片附着物识别图；
判别器采用了条件全卷积网络，网络的输入不仅包含生成器的输出，还包含了输入图像，两者通过特征级联的形式实现对判别器的条件建模，判别器能够迫使生成器输出更精确的潮流机叶片附着物识别图；
该网络使用4个步长为2的3×3全卷积代替了最大池化以减少降维过程中空间特征的丢失，然后通过双线性插值上采样将降维特征图拉伸到输入尺寸，最后使用sigmoid激活函数输出数值范围在(0,1)的置信度图；判别器给予生成器输出的潮流机叶片附着物识别图较低的置信度，而给予语义标签图较高的置信度。
3.根据权利要求2所述的基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法，其特征在于，步骤4所述最大池化索引保留技术，即在训练的过程中存储每次最大池化操作的最大值位置索引；所述特征级联技术，即通过跳跃连接的形式来融合编码器和解码器的特征。
4.根据权利要求1所述的基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法，其特征在于，步骤5所述的网络训练过程包含了两个阶段，第一个阶段仅输入标注的潮流机中高速图像数据，采用有监督条件对抗策略对生成器和判别器进行优化，逐步输出高质量的潮流机叶片附着物识别图；
具体地，首先对判别器进行优化，其损失函数定义如下：
Figure FDA0002989985330000021
其中，判别器的损失函数LDis包含了对标签的损失函数LDis_L和对生成器输出结果的损失函数LDis_Ge，两个损失函数均为log对数形式；Ge(Ii)表示第i个输入图像Ii经过生成器Ge(·)后输出的概率识别图，Dis(Ii,Li)和Dis(Ii,Ge(Ii))分别表示在以潮流机输入图像Ii为条件建模的前提下，第i个标签Li和第i个概率识别图经过判别器Dis(·)后输出的识别置信度图；Nlab为标注数据的个数；
然后对生成器进行优化，其损失函数定义如下：
Figure FDA0002989985330000031
其中，生成器损失函数LGe包含了交叉熵损失函数LGe_ce和对抗损失函数LGe_adv，在判别器的监督下生成器将被迫输出越来越逼真的潮流机叶片附着物识别图；wadv为对抗损失权重系数，可根据实际需要进行设置；
当训练稳定后，进入第二个阶段，即同时输入标注的潮流机中高速图像数据和未标注的潮流机高速图像数据，采用半监督策略对网络继续进行优化，在充分利用大量未标注数据的同时进一步提升附着物识别准确率；
具体地，对标注数据仍使用LDis和LGe进行优化，对未标注数据使用半监督优化策略，其损失函数定义如下：
Figure FDA0002989985330000032
其中，半监督损失函数LGe_semi包含了半监督交叉熵损失函数LGe_ce_semi和半监督对抗损失函数LGe_adv_semi，随着训练进行生成器同样会输出越来越逼真的潮流机叶片附着物识别图；
S＝Dis(Iunlab_i,Ge(Iunlab_i))＞＝Dis(Iunlab_i,Ge(Iunlab_i))
为像素自动化挑选函数，将在第i个无标注输入图像Iunlab_i的判别器输出图中挑选出置信度大于等于整体均值Dis(Iunlab_i,Ge(Iunlab_i))的像素点；C(Ge(Iunlab_i),S)将生成器输出图中对应挑选出的像素点上的概率识别向量转换为one-hot编码格式，即构造出了未标注数据的标签，剩余的像素点则不参与优化过程；wce_semi和wadv_semi分别表示半监督交叉熵损失和半监督对抗损失的权重系数，可根据实际需要进行设置；Nunlab为未标注数据的个数；
生成器和判别器的损失函数可以通过任意一种基于训练误差反向传播的梯度下降算法进行优化；综上，整个训练过程的损失函数定义如下：
Figure FDA0002989985330000033
Figure FDA0002989985330000041
其中，LDis_total和LGe_total分别表示整体的判别器损失函数和生成器损失函数。
CN202110311616.0A 2021-03-24 2021-03-24 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法 Active CN112950617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110311616.0A CN112950617B (zh) 2021-03-24 2021-03-24 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110311616.0A CN112950617B (zh) 2021-03-24 2021-03-24 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法

Publications (2)

Publication Number Publication Date
CN112950617A true CN112950617A (zh) 2021-06-11
CN112950617B CN112950617B (zh) 2024-05-10

Family

ID=76228004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110311616.0A Active CN112950617B (zh) 2021-03-24 2021-03-24 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法

Country Status (1)

Country Link
CN (1) CN112950617B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914948A (zh) * 2020-08-20 2020-11-10 上海海事大学 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法
EP4177830A1 (en) * 2021-11-03 2023-05-10 Rolls-Royce plc Design of engineering components
CN116310348A (zh) * 2023-05-18 2023-06-23 安徽农业大学 一种基于cgan的语义分割数据集增广的方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256546A (zh) * 2017-05-23 2017-10-17 上海海事大学 基于pca卷积池化softmax的海流机叶片附着物故障诊断方法
WO2018113587A1 (zh) * 2016-12-19 2018-06-28 北京市商汤科技开发有限公司 图像渲染方法、装置和系统
CN108549895A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗网络的半监督语义分割方法
US20180293734A1 (en) * 2017-04-06 2018-10-11 General Electric Company Visual anomaly detection system
CN108919116A (zh) * 2018-05-16 2018-11-30 上海海事大学 基于MCCKAF-FFT-Softmax的海流发电机不平衡定子电流故障诊断方法
US20190147582A1 (en) * 2017-11-15 2019-05-16 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
CN109934828A (zh) * 2019-02-28 2019-06-25 西交利物浦大学 基于Compact SegUnet自学习模型的双染色体图像切割方法
CN110263612A (zh) * 2019-04-25 2019-09-20 北京工业大学 基于生成对抗网络的多光谱遥感图像道路提取方法
WO2019220038A1 (fr) * 2018-05-18 2019-11-21 Safran Helicopter Engines Architecture de puissance d'un aeronef
CN110863935A (zh) * 2019-11-19 2020-03-06 上海海事大学 基于VGG16-SegUnet和dropout的海流机叶片附着物识别方法
US20200183047A1 (en) * 2018-12-11 2020-06-11 Exxonmobil Upstream Research Company Automated Reservoir Modeling Using Deep Generative Networks
CN111382686A (zh) * 2020-03-04 2020-07-07 上海海事大学 一种基于半监督生成对抗网络的车道线检测方法
WO2020196962A1 (ko) * 2019-03-28 2020-10-01 엘지전자 주식회사 인공 지능 청소기 및 그의 동작 방법
CN111914948A (zh) * 2020-08-20 2020-11-10 上海海事大学 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法
CN112016395A (zh) * 2020-07-14 2020-12-01 华北电力大学（保定） 一种基于cgan-cnn的同步电机转子匝间短路故障判别方法
CN112276473A (zh) * 2020-10-21 2021-01-29 北京建工土木工程有限公司 一种盾构机的螺旋机叶片修复方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113587A1 (zh) * 2016-12-19 2018-06-28 北京市商汤科技开发有限公司 图像渲染方法、装置和系统
US20180293734A1 (en) * 2017-04-06 2018-10-11 General Electric Company Visual anomaly detection system
CN107256546A (zh) * 2017-05-23 2017-10-17 上海海事大学 基于pca卷积池化softmax的海流机叶片附着物故障诊断方法
US20190147582A1 (en) * 2017-11-15 2019-05-16 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
CN108549895A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗网络的半监督语义分割方法
CN108919116A (zh) * 2018-05-16 2018-11-30 上海海事大学 基于MCCKAF-FFT-Softmax的海流发电机不平衡定子电流故障诊断方法
WO2019220038A1 (fr) * 2018-05-18 2019-11-21 Safran Helicopter Engines Architecture de puissance d'un aeronef
US20200183047A1 (en) * 2018-12-11 2020-06-11 Exxonmobil Upstream Research Company Automated Reservoir Modeling Using Deep Generative Networks
CN109934828A (zh) * 2019-02-28 2019-06-25 西交利物浦大学 基于Compact SegUnet自学习模型的双染色体图像切割方法
WO2020196962A1 (ko) * 2019-03-28 2020-10-01 엘지전자 주식회사 인공 지능 청소기 및 그의 동작 방법
CN110263612A (zh) * 2019-04-25 2019-09-20 北京工业大学 基于生成对抗网络的多光谱遥感图像道路提取方法
CN110863935A (zh) * 2019-11-19 2020-03-06 上海海事大学 基于VGG16-SegUnet和dropout的海流机叶片附着物识别方法
CN111382686A (zh) * 2020-03-04 2020-07-07 上海海事大学 一种基于半监督生成对抗网络的车道线检测方法
CN112016395A (zh) * 2020-07-14 2020-12-01 华北电力大学（保定） 一种基于cgan-cnn的同步电机转子匝间短路故障判别方法
CN111914948A (zh) * 2020-08-20 2020-11-10 上海海事大学 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法
CN112276473A (zh) * 2020-10-21 2021-01-29 北京建工土木工程有限公司 一种盾构机的螺旋机叶片修复方法

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
ABOLFAZL ABDOLLAHI等: "An ensemble architecture of deep convolutional Segnet and Unet networks for building semantic segmentation from high-resolution aerial images", GEOCARTO INTERNATIONAL, vol. 37, 26 December 2020 (2020-12-26), pages 3355 - 3370 *
H. PENG, 等: "An Attachment Recognition Method Based on Image Generation Semantic Segmentation for Marine Current Turbines", IECON 2020 THE 46TH ANNUAL CONFERENCE OF THE IEEE INDUSTRIAL ELECTRONICS SOCIETY, 18 November 2020 (2020-11-18), pages 2819 - 2824 *
HUNG W C 等: "Adversarial Learning for Semi-Supervised Semantic Segmentation", ARXIV:1802.07934, 15 February 2018 (2018-02-15), pages 1 - 17 *
ISOLA P 等: "Image-to-Image Translation with Conditional Adversarial Networks", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2 January 2017 (2017-01-02), pages 1125 - 1134 *
JINSHAN CHEN等: "Semi-supervised Deep Neural Networks for Object Detection in Video Surveillance Systems", PRCV 2019: PATTERN RECOGNITION AND COMPUTER VISION, 31 October 2019 (2019-10-31), pages 308, XP047525717, DOI: 10.1007/978-3-030-31654-9_27 *
V. BADRINARAYANAN 等: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 39, no. 12, 1 December 2017 (2017-12-01), pages 2481 - 2495, XP055942927, DOI: 10.1109/TPAMI.2016.2644615 *
WEN L, LI X 等: "A New Convolutional Neural Network Based Data-Driven Fault Diagnosis Method", IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS, vol. 65, no. 7, 17 November 2017 (2017-11-17), pages 5990 - 5998 *
XIANG, X 等: "Attention-Based Generative Adversarial Network for Semi-supervised Image Classification", NEURAL PROCESS LETT, vol. 51, 30 November 2019 (2019-11-30), pages 1527, XP037105318, DOI: 10.1007/s11063-019-10158-x *
何正伟: "基于语义分割的接触网关键设备检索和定位", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑), no. 2020, 15 March 2020 (2020-03-15), pages 033 - 339 *
张米露 等: "直驱式永磁同步海流机叶轮不平衡故障建模与实验研究", 电机与控制学报, vol. 22, no. 07, 11 June 2018 (2018-06-11), pages 44 - 50 *
李成阳: "黄瓜病虫害检测仪关键技术研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 2019, 15 January 2019 (2019-01-15), pages 138 - 4642 *
王朵: "基于全卷积神经网络的遥感图像语义分割及变化检测方法研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 2019, 15 February 2019 (2019-02-15), pages 140 - 216 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914948A (zh) * 2020-08-20 2020-11-10 上海海事大学 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法
EP4177830A1 (en) * 2021-11-03 2023-05-10 Rolls-Royce plc Design of engineering components
CN116310348A (zh) * 2023-05-18 2023-06-23 安徽农业大学 一种基于cgan的语义分割数据集增广的方法
CN116310348B (zh) * 2023-05-18 2023-08-22 安徽农业大学 一种基于cgan的语义分割数据集增广的方法

Also Published As

Publication number Publication date
CN112950617B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN111563508B (zh) 一种基于空间信息融合的语义分割方法
CN112950617B (zh) 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法
CN112966684A (zh) 一种注意力机制下的协同学习文字识别方法
CN112465111A (zh) 一种基于知识蒸馏和对抗训练的三维体素图像分割方法
CN109783910B (zh) 一种利用生成对抗网络加速的结构优化设计方法
CN111464881B (zh) 基于自优化机制的全卷积视频描述生成方法
CN111340034B (zh) 一种针对自然场景的文本检测与识别方法及系统
CN111242844A (zh) 图像处理方法、装置、服务器和存储介质
US20200151506A1 (en) Training method for tag identification network, tag identification apparatus/method and device
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN111553510A (zh) 一种短期风速预测方法
CN112925824A (zh) 针对极端天气类型的光伏功率预测方法及系统
CN114021741A (zh) 一种基于深度学习的光伏电池板巡检方法
CN112700476A (zh) 一种基于卷积神经网络的红外船视频跟踪方法
Yang et al. Statistical downscaling of numerical weather prediction based on convolutional neural networks
CN115100549A (zh) 一种基于改进YOLOv5的输电线路金具检测方法
CN116071352A (zh) 一种电力安全工器具表面缺陷图像的生成方法
CN115082798A (zh) 一种基于动态感受野的输电线路销钉缺陷检测方法
CN110768864B (zh) 一种网络流量批量生成图像的方法及装置
CN112395954A (zh) 一种基于自然语言模型与目标检测算法结合的输电线路特定故障识别系统
CN116452900A (zh) 一种基于轻量级神经网络的目标检测方法
CN116721200A (zh) 一种基于扩散模型和语义引导的三维物体生成方法
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
GB2618876A (en) Lightweight and efficient object segmentation and counting method based on generative adversarial network (GAN)
CN115858808A (zh) 深度神经网络中关键神经元层次关系的知识图谱表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant