CN111507993B - 一种基于生成对抗网络的图像分割方法、装置及存储介质 - Google Patents

一种基于生成对抗网络的图像分割方法、装置及存储介质 Download PDF

Info

Publication number
CN111507993B
CN111507993B CN202010193971.8A CN202010193971A CN111507993B CN 111507993 B CN111507993 B CN 111507993B CN 202010193971 A CN202010193971 A CN 202010193971A CN 111507993 B CN111507993 B CN 111507993B
Authority
CN
China
Prior art keywords
target
network
segmentation
image set
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010193971.8A
Other languages
English (en)
Other versions
CN111507993A (zh
Inventor
田治仁
张贵峰
李锐海
廖永力
张巍
龚博
王俊锞
黄增浩
朱登杰
何锦强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSG Electric Power Research Institute
Original Assignee
CSG Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSG Electric Power Research Institute filed Critical CSG Electric Power Research Institute
Priority to CN202010193971.8A priority Critical patent/CN111507993B/zh
Publication of CN111507993A publication Critical patent/CN111507993A/zh
Application granted granted Critical
Publication of CN111507993B publication Critical patent/CN111507993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于生成对抗网络的图像分割方法、装置及存储介质，该方法包括：获取目标图像集、参考图像集以及与所述参考图像集对应的预先标注的参考标注集；其中，目标图像集包括目标图像训练集和目标图像测试集；构建分割网络和判别网络；将目标图像训练集与参考图像集输入到分割网络，对应得到目标概率得分图和参考概率得分图，再将目标概率得分图和参考概率得分图输入到判别网络，以进行分割网络和判别网络的联合训练；当分割网络的第一目标损失函数和判别网络的第二目标损失函数均收敛时，训练结束；将目标图像测试集输入训练好的分割网络，得到目标分割图像。本发明无需进行原图像的预先标注，也能实现图像分割。

Description

一种基于生成对抗网络的图像分割方法、装置及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于生成对抗网络的图像分割方法、装置及存储介质。
背景技术
图像分割，指的是将给定图像，分割出对应主要目标的一组非重叠像素区域，可以将复杂和多样的实际场景高分辨率图像解析为信息语义和实例图像，是图像分析与图像理解的基础。
传统的图像分割方法通常是在图像和相应的目标掩模数据集上，使用监督学习方法来解决，而高质量的像素级标注的构建过程需要耗费大量的人力与时间成本，特别对于电力行业的电力设备图像，难以做像素级分割标注，这样使得传统的图像分割方法的适用性受限，无法满足电力行业的计算机视觉工程的发展需求。
发明内容
本发明实施例的目的是提供一种基于生成对抗网络的图像分割方法、装置及存储介质，利用迁移学习理论和生成对抗网络原理，使用自适应对抗学习进行半监督的图像分割，达到无需进行原图像的预先标注，也能实现图像分割的目的。
为实现上述目的，本发明一实施例提供了一种基于生成对抗网络的图像分割方法，包括以下步骤：
获取目标图像集、参考图像集以及与所述参考图像集对应的预先标注的参考标注集；其中，所述目标图像集包括目标图像训练集和目标图像测试集；
构建分割网络和判别网络；其中，所述分割网络的第一目标损失函数包括所述目标图像集与所述参考标注集的交叉熵损失、所述目标图像集的对抗损失和所述目标图像集与所述参考图像集之间的半监督损失；
将所述目标图像训练集与所述参考图像集输入到所述分割网络，对应得到目标概率得分图和参考概率得分图，再将所述目标概率得分图和所述参考概率得分图输入到所述判别网络，以进行所述分割网络和所述判别网络的联合训练；
当所述分割网络的第一目标损失函数和所述判别网络的第二目标损失函数均收敛时，训练结束；
将所述目标图像测试集输入训练好的所述分割网络，得到目标分割图像。
优选地，所述分割网络的第一目标损失函数为LG＝(1-lrG)LIL+lrG+(1-50·lrG)Ladv+50·lrG+λsemiLsemi；其中，
Figure BDA0002416481180000021
Figure BDA0002416481180000022
LG为所述第一目标损失函数，lrG指所述分割网络对应的学习率调节参数,LIL是所述目标图像集与所述参考标注集的交叉熵损失，Ladv为所述目标图像集的对抗损失，Lsemi为所述目标图像集与所述参考图像集之间的半监督损失，lrbase为所述分割网络的基本学习率，n为总训练次数，j为第j次训练，1≤j≤n；λsemi是固定平衡系数，L为所述参考标注集，G(I)为所述目标概率得分图，H、W和C分别为所述目标概率得分图对应的高度、宽度和类别数；D(G(I))(H,W)为所述目标概率得分图输入到所述判别网络得到的目标置信图。
优选地，所述目标图像集与所述参考图像集之间的半监督损失是通过以下步骤得到的：
构建所述目标图像集与所述参考图像集之间的半监督损失；其中，所述半监督损失为
Figure BDA0002416481180000023
Lsemi为所述半监督损失，M为索引函数，设为常量，TIR表示所述目标图像集的阈值参数，R为自学目标值，设为常量；
采用自适应无监督学习方法训练所述判别网络生成对应所述目标图像集的目标置信图；
将所述目标置信图与所述参考标注集对应的标注置信图进行二值化；
多次试验确定所述阈值参数，以确定所述目标置信图与所述标注置信图之间的置信区域，最终确定所述半监督损失。
优选地，所述判别网络的第二目标损失函数为
Figure BDA0002416481180000031
其中，LD为所述第二目标损失函数，lrD表示所述判别网络当前训练次数的学习率权重衰减，k为输入样本的来源，取值为0或1，k＝0表示判断所述判别网络输入的样本来自于所述目标图像集，k＝1表示判断所述判别网络输入的样本来自于所述参考标注集，D(G(R))(H,W)为所述参考概率得分图输入到所述判别网络得到的参考置信图。
优选地，所述分割网络的训练采用牛顿快速随机梯度下降法，所述判别网络的训练采用自适应Adam优化方法。
优选地，所述分割网络的构建是基于ResNet101预训练模型，先去掉全连接层，将后两个卷积层的步长由2改为1，在第4卷积层和第5卷积层使用空洞卷积，将空洞数置为2；再在模型的后部分采用空间维度金字塔型空洞池化结构，在模型最后增添基于池化索引的上采样和SoftMax层。
优选地，所述判别网络包含5个卷积层，卷积核大小为4×4，前四层卷积层的通道数分别为64、128、256、512，步长均为2，第五个卷积层的卷积核大小为4×4，步长为1；前四层卷积层中，每个卷积层后面均连接一个非线性激活函数。
本发明另一实施例提供了一种基于生成对抗网络的图像分割装置，所述装置包括：
数据集获取模块，用于获取目标图像集、参考图像集以及与所述参考图像集对应的预先标注的参考标注集；其中，所述目标图像集包括目标图像训练集和目标图像测试集；
网络构建模块，用于构建分割网络和判别网络；其中，所述分割网络的第一目标损失函数包括所述目标图像集与所述参考标注集的交叉熵损失、所述目标图像集的对抗损失和所述目标图像集与所述参考图像集之间的半监督损失；
训练模块，用于将所述目标图像训练集与所述参考图像集输入到所述分割网络，对应得到目标概率得分图和参考概率得分图，再将所述目标概率得分图和所述参考概率得分图输入到所述判别网络，以进行所述分割网络和所述判别网络的联合训练；
判断模块，用于当所述分割网络的第一目标损失函数和所述判别网络的第二目标损失函数均收敛时，训练结束；
测试模块，用于将所述目标图像测试集输入训练好的所述分割网络，得到目标分割图像。
本发明还有一实施例对应提供了一种使用基于生成对抗网络的图像分割方法的装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的基于生成对抗网络的图像分割方法。
本发明还有一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一项所述的基于生成对抗网络的图像分割方法。
与现有技术相比，本发明实施例所提供的一种基于生成对抗网络的图像分割方法、装置及存储介质，利用迁移学习理论和生成对抗网络原理，使用自适应对抗学习进行半监督的图像分割，达到无需进行原图像的预先标注，也能实现图像分割的目的，极大地降低了人力标注成本。
附图说明
图1是本发明一实施例提供的一种基于生成对抗网络的图像分割方法的流程示意图；
图2是本发明一实施例提供的一种基于生成对抗网络的图像分割方法的整体流程示意图；
图3是本发明一实施例提供的一种空间维度金字塔型空洞池化结构的示意图；
图4是本发明一实施例提供的一些电力设备图像应用该本发明的图像分割方法得到的掩膜结果图；
图5是本发明一实施例提供的一种基于生成对抗网络的图像分割装置的结构示意图；
图6是本发明一实施例提供的一种使用基于生成对抗网络的图像分割方法的装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种基于生成对抗网络的图像分割方法的流程示意图，所述方法包括步骤S1至步骤S5：
S1、获取目标图像集、参考图像集以及与所述参考图像集对应的预先标注的参考标注集；其中，所述目标图像集包括目标图像训练集和目标图像测试集；
S2、构建分割网络和判别网络；其中，所述分割网络的第一目标损失函数包括所述目标图像集与所述参考标注集的交叉熵损失、所述目标图像集的对抗损失和所述目标图像集与所述参考图像集之间的半监督损失；
S3、将所述目标图像训练集与所述参考图像集输入到所述分割网络，对应得到目标概率得分图和参考概率得分图，再将所述目标概率得分图和所述参考概率得分图输入到所述判别网络，以进行所述分割网络和所述判别网络的联合训练；
S4、当所述分割网络的第一目标损失函数和所述判别网络的第二目标损失函数均收敛时，训练结束；
S5、将所述目标图像测试集输入训练好的所述分割网络，得到目标分割图像。
具体地，获取目标图像集、参考图像集以及与参考图像集对应的预先标注的参考标注集；其中，目标图像集包括目标图像训练集和目标图像测试集。目标图像集可以根据需要选择，在本发明中，选择的是电力域模态的图像数据集，它基于500张包含各种电力设备的可见光图像数据集搭建，这些图像在尺度、光照和角度等方面都存在着较大的差异，为了使其与参考图像集的颜色、纹理等分布更接近，以减少对抗损失值，可以将目标图像集进行预处理，对其进行特征转换。参考图像集为Cityscapes数据集，包含2975张图片，包含了街景图片和对应的标签。
构建分割网络和判别网络；其中，分割网络的第一目标损失函数包括目标图像集与参考标注集的交叉熵损失、目标图像集的对抗损失和目标图像集与参考图像集之间的半监督损失，半监督损失又与判别网络的输出相关；判别网络的第二目标损失函数与判别网络得到的置信图相关，即使分割网络的输出预测结果与参考图像集的标注特征分布接近。分割网络与判别网络构成一个生成对抗的整体模型，以通过图像集进行训练。
将目标图像训练集与参考图像集输入到分割网络，对应得到目标概率得分图和参考概率得分图，再将目标概率得分图和参考概率得分图输入到判别网络，以进行分割网络和判别网络的联合训练，当分割网络的第一目标损失函数和判别网络的第二目标损失函数均收敛时，训练结束。
为了更清楚地了解联合训练过程，可以参见图2，是本发明该实施例提供的一种基于生成对抗网络的图像分割方法的整体流程示意图。由图2的左边流程可知，训练过程为：将目标图像集I输入到分割网络中得到对应的目标概率得分图G(I)，并将G(I)与对应的参考标注集L做交叉熵运算得出半监督损失Lsemi，使得G(I)更接近于理想分割图像的分布。将参考图像集R输入到分割网络得到对应的参考概率得分图G(R)。将前两步得到的目标概率得分图G(I)和参考概率得分图G(R)，输入到判别网络D中，得到置信图D(G(I))和D(G(R))。而判别网络属于二分类问题，判别概率得分图是来自于参考图像集还是目标图像集。将此过程的二分类设计成判别网络的第二目标损失函数，当第二目标损失函数收敛时，得到最终损失值LD。得到最终损失值LD后，将LD做反向传播来更新判别网络的参数，判别网络更新完成后，固定判别网络的参数。在得到最终损失值LD的同时，也可以得到对应目标图像训练集的对抗损失Ladv，再根据分割网络的第一目标损失函数的组成，确定分割网络的第一目标损失函数的损失值LG，利用损失值LG反向传播来更新分割网络的参数。
当分割网络和判别网络的参数均更新完成后，即完成了分割网络的训练，这时候可以将目标图像测试集输入训练好的分割网络，得到目标分割图像。
本发明实施例1提供的一种基于生成对抗网络的图像分割方法，利用迁移学习理论和生成对抗网络原理，使用自适应对抗学习进行半监督的图像分割，达到无需进行原图像的预先标注，也能实现图像分割的目的，极大地降低了人力标注成本。
作为上述方案的改进，所述分割网络的第一目标损失函数为LG＝(1-lrG)LIL+lrG+(1-50·lrG)Ladv+50·lrG+λsemiLsemi；其中，
Figure BDA0002416481180000071
Figure BDA0002416481180000072
LG为所述第一目标损失函数，lrG指所述分割网络对应的学习率调节参数,LIL是所述目标图像集与所述参考标注集的交叉熵损失，Ladv为所述目标图像集的对抗损失，Lsemi为所述目标图像集与所述参考图像集之间的半监督损失，lrbase为所述分割网络的基本学习率，n为总训练次数，j为第j次训练，1≤j≤n；λsemi是固定平衡系数，L为所述参考标注集，G(I)为所述目标概率得分图，H、W和C分别为所述目标概率得分图对应的高度、宽度和类别数；D(G(I))(H,W)为所述目标概率得分图输入到所述判别网络得到的目标置信图。
具体地，分割网络的第一目标损失函数为LG＝(1-lrG)LIL+lrG+(1-50·lrG)Ladv+50·lrG+λsemiLsemi；由此可见，第一目标损失函数为多目标损失函数，其中，
Figure BDA0002416481180000081
Figure BDA0002416481180000082
LG为第一目标损失函数，LIL是目标图像集与参考标注集的交叉熵损失，Ladv为目标图像集的对抗损失，Lsemi为目标图像集与参考图像集之间的半监督损失，lrG指分割网络对应的学习率调节参数，lrbase为分割网络的基本学习率，n为总训练次数，j为第j次训练，1≤j≤n；λsemi是固定平衡系数，用来控制来自不同样本的差异平衡；L为参考标注集，G(I)为目标概率得分图，H、W和C分别为目标概率得分图对应的高度、宽度和类别数；D(G(I))(H,W)为目标概率得分图输入到判别网络得到的目标置信图。
作为上述方案的改进，所述目标图像集与所述参考图像集之间的半监督损失是通过以下步骤得到的：
构建所述目标图像集与所述参考图像集之间的半监督损失；其中，所述半监督损失为
Figure BDA0002416481180000083
Lsemi为所述半监督损失，M为索引函数，设为常量，TIR表示所述目标图像集的阈值参数，R为自学目标值，设为常量；
采用自适应无监督学习方法训练所述判别网络生成对应所述目标图像集的目标置信图；
将所述目标置信图与所述参考标注集对应的标注置信图进行二值化；
多次试验确定所述阈值参数，以确定所述目标置信图与所述标注置信图之间的置信区域，最终确定所述半监督损失。
需要说明的是，目标图像训练集的图像没有标记信息，所以目标图像集与参考图像集之间的半监督损失不能直接得出，要采用自适应无监督学习策略进行训练得到。对未标记的目标图像训练集如果仅仅应用对抗损失，即分割网络的第一目标函数只包括目标图像训练集的对抗损失部分，模型性能会退化，因为判别网络有正则化的作用，可以对预测结果进行纠正，如果仅用对抗损失纠正将使得分割预测过度拟合于参考标注集，分割网络的第一目标函数的半监督损失不能少。
下面将详细叙述目标图像集与参考图像集之间的半监督损失是如何得到的，首先构建目标图像集与参考图像集之间的半监督损失；其中，半监督损失为
Figure BDA0002416481180000091
Lsemi为半监督损失，M为索引函数，设为常量，TIR表示目标图像集的阈值参数，R为自学目标值，设为常量；优选地，TIR＝0.1-0.3。
采用自适应无监督学习方法训练判别网络生成对应目标图像集的目标置信图，目标置信图用D(G(I))(H,W)表示；将目标置信图D(G(I))(H,W)与参考标注集对应的标注置信图进行二值化；多次试验确定阈值参数，以确定目标置信图与标注置信图之间的置信区域，最终确定半监督损失。
作为上述方案的改进，所述判别网络的第二目标损失函数为
Figure BDA0002416481180000092
其中，LD为所述第二目标损失函数，lrD表示所述判别网络当前训练次数的学习率权重衰减，k为输入样本的来源，取值为0或1，k＝0表示判断所述判别网络输入的样本来自于所述目标图像集，k＝1表示判断所述判别网络输入的样本来自于所述参考标注集，D(G(R))(H,W)为所述参考概率得分图输入到所述判别网络得到的参考置信图。
具体地，判别网络的第二目标损失函数为
Figure BDA0002416481180000101
其中，LD为第二目标损失函数，lrD表示判别网络当前训练次数的学习率权重衰减，k为输入样本的来源，取值为0或1，k＝0表示判断判别网络输入的样本来自于目标图像集，k＝1表示判断判别网络输入的样本来自于参考标注集，D(G(R))(H,W)为参考概率得分图输入到判别网络得到的参考置信图。判别网络在判断输入样本来源时，是通过one-hot编码，将输入样本转换成C个通道的概率得分图，将属于参考标注集的像素用1表示，不属于参考标注集的像素用0表示，因而能够较好地判断概率得分图是来自于参考标注集还是分割网络。
作为上述方案的改进，所述分割网络的训练采用牛顿快速随机梯度下降法，所述判别网络的训练采用自适应Adam优化方法。
具体地，分割网络的训练采用牛顿快速随机梯度下降法，即SGD，判别网络的训练采用自适应Adam优化方法。更详细地，本发明采用的是由分割网络和判别网络组成的生成对抗网络结构，基于生成对抗网络结构不同特征层间的空间自适应算法，采用自适应权重参数即多项式衰减学习率对不同特征层进行对抗训练，和使用学习率惩罚因子来自适应调整多层特征，随着网络训练次数的增加，模型输出的特征应该给予不同的权重参数，通过该权重参数调整特征层的损失值，进而动态更新网络参数。本发明的自适应过程采用基于梯度的算法，学习率采用指数递减进行调节。使用Adam优化器，对目标函数执行一阶梯度优化的算法，基于适应性低阶矩估计。基于生成对抗网络，可获得更多关于复杂结构、小目标类的变电设备目标分割标注，进一步改进对抗网络中的判别网络与分割网络，提高变电设备图像中的中小目标和复杂结构目标的分割精度。
作为上述方案的改进，所述分割网络的构建是基于ResNet101预训练模型，先去掉全连接层，将后两个卷积层的步长由2改为1，在第4卷积层和第5卷积层使用空洞卷积，将空洞数置为2；再在模型的后部分采用空间维度金字塔型空洞池化结构，在模型最后增添基于池化索引的上采样和SoftMax层。
具体地，分割网络的构建是基于ResNet101预训练模型，先去掉全连接层，将后两个卷积层的步长由2改为1，使得输出特征图即概率得分图的大小变为输入的1/8。在第4卷积层和第5卷积层使用空洞卷积，将空洞数置为2，这样可以增大视野，同时可减少了相应的训练参数，使训练更便捷和容易。再在模型的后部分采用空间维度金字塔型空洞池化结构，进行多尺度特征融合，带孔卷积可以在全图上获取信息，具有更强的边缘刻画能力。在模型最后增添基于池化索引的上采样和SoftMax层，从而可以得到与输入图像大小相同的特征图。其中，空间维度金字塔型空洞池化结构，英文名为Atrous Spatial Pyramid Pooling，简称ASPP。参见图3，是本发明该实施例提供的一种空间维度金字塔型空洞池化结构的示意图。
一般地，目标图像集I的输入图像大小为H×W×3，得到的目标概率得分图G(I)的图像大小为H×W×C，其中C指类别数，参考标注集对应的是one-hot编码的概率得分图。
作为上述方案的改进，所述判别网络包含5个卷积层，卷积核大小为4×4，前四层卷积层的通道数分别为64、128、256、512，步长均为2，第五个卷积层的卷积核大小为4×4，步长为1；前四层卷积层中，每个卷积层后面均连接一个非线性激活函数。
具体地，判别网络参考基本的全卷积网络框架，去掉了批标准化(BatchNormalization，BN)层，因为BN层对于大样本随机采样训练进行了批量归一化，能够得到较好的效果，而本发明每次训练仅对两个样本进行更新，属于小样本训练。去掉BN层后，新增加一层卷积层，步长设置为1，这是为了更好地学习物体类别的特征，能够有效地缓解了类漂移的问题。
判别网络包含5个卷积层，卷积核大小为4×4，前四层卷积层的通道数分别为64、128、256、512，步长均为2，第五个卷积层的卷积核大小为4×4，步长为1；前四层卷积层中，每个卷积层后面均连接一个非线性激活函数，即LeakyReLU，表达式为
Figure BDA0002416481180000121
该判别网络直接上采样到与输入图像大小相同的特征图。为防止边缘信息丢失，判别网络采用非线性最大池化上采样，能够有效地缓解暴力池化的问题，使得判别网络模型输出效果更理想。
判别网络输出的得分图的每一个像素信息均表示这个像素来自于参考标注集(P＝1)，或来自于分割网络的输出结果(P＝0)，既继承了FCN的优势，可以输入任意大小的图像，又保留了相对精细化的特征相关性信息。
为了验证本发明的方法，参见图4，是本发明该实施例提供的一些电力设备图像应用该本发明的图像分割方法得到的掩膜结果图，由图4可知，分割效果明显。
参见图5，是本发明一实施例提供的一种基于生成对抗网络的图像分割装置的结构示意图，所述装置包括：
数据集获取模块11，用于获取目标图像集、参考图像集以及与所述参考图像集对应的预先标注的参考标注集；其中，所述目标图像集包括目标图像训练集和目标图像测试集；
网络构建模块12，用于构建分割网络和判别网络；其中，所述分割网络的第一目标损失函数包括所述目标图像集与所述参考标注集的交叉熵损失、所述目标图像集的对抗损失和所述目标图像集与所述参考图像集之间的半监督损失；
训练模块13，用于将所述目标图像训练集与所述参考图像集输入到所述分割网络，对应得到目标概率得分图和参考概率得分图，再将所述目标概率得分图和所述参考概率得分图输入到所述判别网络，以进行所述分割网络和所述判别网络的联合训练；
判断模块14，用于当所述分割网络的第一目标损失函数和所述判别网络的第二目标损失函数均收敛时，训练结束；
测试模块15，用于将所述目标图像测试集输入训练好的所述分割网络，得到目标分割图像。
本发明实施例所提供的一种基于生成对抗网络的图像分割装置能够实现上述任一实施例所述的基于生成对抗网络的图像分割方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的基于生成对抗网络的图像分割方法的作用以及实现的技术效果对应相同，这里不再赘述。
参见图6，是本发明实施例提供的一种使用基于生成对抗网络的图像分割方法的装置的示意图，所述使用基于生成对抗网络的图像分割方法的装置包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10执行所述计算机程序时实现上述任一实施例所述的基于生成对抗网络的图像分割方法。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器20中，并由处理器10执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在一种基于生成对抗网络的图像分割方法中的执行过程。例如，计算机程序可以被分割成数据集获取模块、网络构建模块、训练模块、判断模块和测试模块，各模块具体功能如下：
数据集获取模块11，用于获取目标图像集、参考图像集以及与所述参考图像集对应的预先标注的参考标注集；其中，所述目标图像集包括目标图像训练集和目标图像测试集；
网络构建模块12，用于构建分割网络和判别网络；其中，所述分割网络的第一目标损失函数包括所述目标图像集与所述参考标注集的交叉熵损失、所述目标图像集的对抗损失和所述目标图像集与所述参考图像集之间的半监督损失；
训练模块13，用于将所述目标图像训练集与所述参考图像集输入到所述分割网络，对应得到目标概率得分图和参考概率得分图，再将所述目标概率得分图和所述参考概率得分图输入到所述判别网络，以进行所述分割网络和所述判别网络的联合训练；
判断模块14，用于当所述分割网络的第一目标损失函数和所述判别网络的第二目标损失函数均收敛时，训练结束；
测试模块15，用于将所述目标图像测试集输入训练好的所述分割网络，得到目标分割图像。
所述使用基于生成对抗网络的图像分割方法的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述使用基于生成对抗网络的图像分割方法的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图6仅仅是一种使用基于生成对抗网络的图像分割方法的装置的示例，并不构成对所述使用基于生成对抗网络的图像分割方法的装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述使用基于生成对抗网络的图像分割方法的装置还可以包括输入输出设备、网络接入设备、总线等。
处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者处理器10也可以是任何常规的处理器等，处理器10是所述使用基于生成对抗网络的图像分割方法的装置的控制中心，利用各种接口和线路连接整个使用基于生成对抗网络的图像分割方法的装置的各个部分。
存储器20可用于存储所述计算机程序和/或模块，处理器10通过运行或执行存储在存储器20内的计算机程序和/或模块，以及调用存储在存储器20内的数据，实现所述使用基于生成对抗网络的图像分割方法的装置的各种功能。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据程序使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述使用基于生成对抗网络的图像分割方法的装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一实施例所述的基于生成对抗网络的图像分割方法。
综上，本发明实施例所提供的一种基于生成对抗网络的图像分割方法、装置及存储介质，利用迁移学习理论和生成对抗网络原理，基于图像区域独立性假设，通过在不改变数据集的整体分布情况下，使用自适应对抗学习进行弱监督的图像分割，达到无需进行原图像的预先标注，也能实现图像分割的目的，极大地降低了人力标注成本，有效提升变电巡检图像数据处理的自动化和智能化程度。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种基于生成对抗网络的图像分割方法，其特征在于，包括以下步骤：
获取目标图像集、参考图像集以及与所述参考图像集对应的预先标注的参考标注集；其中，所述目标图像集包括目标图像训练集和目标图像测试集；
构建分割网络和判别网络；其中，所述分割网络的第一目标损失函数包括所述目标图像集与所述参考标注集的交叉熵损失、所述目标图像集的对抗损失和所述目标图像集与所述参考图像集之间的半监督损失；
将所述目标图像训练集与所述参考图像集输入到所述分割网络，对应得到目标概率得分图和参考概率得分图，再将所述目标概率得分图和所述参考概率得分图输入到所述判别网络，以进行所述分割网络和所述判别网络的联合训练；
当所述分割网络的第一目标损失函数和所述判别网络的第二目标损失函数均收敛时，训练结束；
将所述目标图像测试集输入训练好的所述分割网络，得到目标分割图像；
其中，所述分割网络的第一目标损失函数为：
LG＝(1-lrG)LIL+lrG+(1-50·lrG)Ladv+50·lrG+λsemiLsemi；
其中，
Figure FDA0004159240260000011
LG为所述第一目标损失函数，lrG指所述分割网络对应的学习率调节参数,LIL是所述目标图像集与所述参考标注集的交叉熵损失，Ladv为所述目标图像集的对抗损失，Lsemi为所述目标图像集与所述参考图像集之间的半监督损失，lrbase为所述分割网络的基本学习率，n为总训练次数，j为第j次训练，1≤j≤n；λsemi是固定平衡系数，L为所述参考标注集，G(I)为所述目标概率得分图，H、W和C分别为所述目标概率得分图对应的高度、宽度和类别数；D(G(I))(H,W)为所述目标概率得分图输入到所述判别网络得到的目标置信图；
其中，所述目标图像集与所述参考图像集之间的半监督损失是通过以下步骤得到的：
构建所述目标图像集与所述参考图像集之间的半监督损失；其中，所述半监督损失为
Figure FDA0004159240260000021
Lsemi为所述半监督损失，M为索引函数，设为常量，TIR表示所述目标图像集的阈值参数，R为自学目标值，设为常量；
采用自适应无监督学习方法训练所述判别网络生成对应所述目标图像集的目标置信图；
将所述目标置信图与所述参考标注集对应的标注置信图进行二值化；
多次试验确定所述阈值参数，以确定所述目标置信图与所述标注置信图之间的置信区域，最终确定所述半监督损失；
其中，所述判别网络的第二目标损失函数为：
Figure FDA0004159240260000022
其中，LD为所述第二目标损失函数，lrD表示所述判别网络当前训练次数的学习率权重衰减，k为输入样本的来源，取值为0或1，k＝0表示判断所述判别网络输入的样本来自于所述目标图像集，k＝1表示判断所述判别网络输入的样本来自于所述参考标注集，D(G(R))(H,W)为所述参考概率得分图输入到所述判别网络得到的参考置信图。
2.如权利要求1所述的基于生成对抗网络的图像分割方法，其特征在于，所述分割网络的训练采用牛顿快速随机梯度下降法，所述判别网络的训练采用自适应Adam优化方法。
3.如权利要求1所述的基于生成对抗网络的图像分割方法，其特征在于，所述分割网络的构建是基于ResNet101预训练模型，先去掉全连接层，将后两个卷积层的步长由2改为1，在第4卷积层和第5卷积层使用空洞卷积，将空洞数置为2；再在模型的后部分采用空间维度金字塔型空洞池化结构，在模型最后增添基于池化索引的上采样和SoftMax层。
4.如权利要求1所述的基于生成对抗网络的图像分割方法，其特征在于，所述判别网络包含5个卷积层，卷积核大小为4×4，前四层卷积层的通道数分别为64、128、256、512，步长均为2，第五个卷积层的卷积核大小为4×4，步长为1；前四层卷积层中，每个卷积层后面均连接一个非线性激活函数。
5.一种基于生成对抗网络的图像分割装置，其特征在于，包括：
数据集获取模块，用于获取目标图像集、参考图像集以及与所述参考图像集对应的预先标注的参考标注集；其中，所述目标图像集包括目标图像训练集和目标图像测试集；
网络构建模块，用于构建分割网络和判别网络；其中，所述分割网络的第一目标损失函数包括所述目标图像集与所述参考标注集的交叉熵损失、所述目标图像集的对抗损失和所述目标图像集与所述参考图像集之间的半监督损失；
训练模块，用于将所述目标图像训练集与所述参考图像集输入到所述分割网络，对应得到目标概率得分图和参考概率得分图，再将所述目标概率得分图和所述参考概率得分图输入到所述判别网络，以进行所述分割网络和所述判别网络的联合训练；
判断模块，用于当所述分割网络的第一目标损失函数和所述判别网络的第二目标损失函数均收敛时，训练结束；
测试模块，用于将所述目标图像测试集输入训练好的所述分割网络，得到目标分割图像；
其中，所述分割网络的第一目标损失函数为：
LG＝(1-lrG)LIL+lrG+(1-50·lrG)Ladv+50·lrG+λsemiLsemi；
其中，
Figure FDA0004159240260000041
LG为所述第一目标损失函数，lrG指所述分割网络对应的学习率调节参数,LIL是所述目标图像集与所述参考标注集的交叉熵损失，Ladv为所述目标图像集的对抗损失，Lsemi为所述目标图像集与所述参考图像集之间的半监督损失，lrbase为所述分割网络的基本学习率，n为总训练次数，j为第j次训练，1≤j≤n；λsemi是固定平衡系数，L为所述参考标注集，G(I)为所述目标概率得分图，H、W和C分别为所述目标概率得分图对应的高度、宽度和类别数；D(G(I))(H,W)为所述目标概率得分图输入到所述判别网络得到的目标置信图；
其中，所述目标图像集与所述参考图像集之间的半监督损失是通过以下步骤得到的：
构建所述目标图像集与所述参考图像集之间的半监督损失；其中，所述半监督损失为
Figure FDA0004159240260000042
Lsemi为所述半监督损失，M为索引函数，设为常量，TIR表示所述目标图像集的阈值参数，R为自学目标值，设为常量；
采用自适应无监督学习方法训练所述判别网络生成对应所述目标图像集的目标置信图；
将所述目标置信图与所述参考标注集对应的标注置信图进行二值化；
多次试验确定所述阈值参数，以确定所述目标置信图与所述标注置信图之间的置信区域，最终确定所述半监督损失；
其中，所述判别网络的第二目标损失函数为：
Figure FDA0004159240260000043
其中，LD为所述第二目标损失函数，lrD表示所述判别网络当前训练次数的学习率权重衰减，k为输入样本的来源，取值为0或1，k＝0表示判断所述判别网络输入的样本来自于所述目标图像集，k＝1表示判断所述判别网络输入的样本来自于所述参考标注集，D(G(R))(H,W)为所述参考概率得分图输入到所述判别网络得到的参考置信图。
6.一种使用基于生成对抗网络的图像分割方法的装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的基于生成对抗网络的图像分割方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4中任意一项所述的基于生成对抗网络的图像分割方法。
CN202010193971.8A 2020-03-18 2020-03-18 一种基于生成对抗网络的图像分割方法、装置及存储介质 Active CN111507993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010193971.8A CN111507993B (zh) 2020-03-18 2020-03-18 一种基于生成对抗网络的图像分割方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010193971.8A CN111507993B (zh) 2020-03-18 2020-03-18 一种基于生成对抗网络的图像分割方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111507993A CN111507993A (zh) 2020-08-07
CN111507993B true CN111507993B (zh) 2023-05-19

Family

ID=71877794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010193971.8A Active CN111507993B (zh) 2020-03-18 2020-03-18 一种基于生成对抗网络的图像分割方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111507993B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150478B (zh) * 2020-08-31 2021-06-22 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN112396060B (zh) * 2020-11-17 2024-03-15 中国平安人寿保险股份有限公司 基于身份证分割模型的身份证识别方法及其相关设备
CN112419327B (zh) * 2020-12-10 2023-08-04 复旦大学附属肿瘤医院 一种基于生成对抗网络的图像分割方法、系统和装置
CN112507950B (zh) * 2020-12-18 2021-09-03 中国科学院空天信息创新研究院 一种生成对抗式多任务多要素样本自动标注方法及装置
CN112270686B (zh) * 2020-12-24 2021-03-16 北京达佳互联信息技术有限公司 图像分割模型训练、图像分割方法、装置及电子设备
CN112767404A (zh) * 2021-01-11 2021-05-07 山东师范大学 基于分布式生成对抗网络的医学图像分割方法及系统
CN112949829A (zh) * 2021-03-05 2021-06-11 深圳海翼智新科技有限公司 特征图的池化方法、数据处理方法和计算设备
CN112837318B (zh) * 2021-03-29 2023-07-18 深圳大学 超声图像生成模型的生成方法、合成方法、介质及终端
CN113284088B (zh) * 2021-04-02 2024-03-29 中国科学院深圳先进技术研究院 一种csm图像分割方法、装置、终端设备及存储介质
CN113222867B (zh) * 2021-04-16 2022-05-20 山东师范大学 基于多模板图像的图像数据增强方法及系统
CN113140020B (zh) * 2021-05-13 2022-10-14 电子科技大学 一种基于伴随监督生成对抗网络的文本生成图像的方法
CN113628159A (zh) * 2021-06-16 2021-11-09 维库（厦门）信息技术有限公司 一种基于深度学习网络全自动训练方法、装置及存储介质
CN113610855B (zh) * 2021-07-13 2023-09-26 广州大学 图像分割模型训练方法、分割方法、系统、装置及介质
CN113610048B (zh) * 2021-08-25 2023-08-01 华南农业大学 基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质
CN116205289B (zh) * 2023-05-05 2023-07-04 海杰亚（北京）医疗器械有限公司 一种动物器官分割模型训练方法、分割方法及相关产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197493A (zh) * 2019-05-24 2019-09-03 清华大学深圳研究生院 眼底图像血管分割方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549895A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗网络的半监督语义分割方法
CN108764241A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 分割股骨近端的方法、装置、计算机设备和存储介质
CN109614921B (zh) * 2018-12-07 2022-09-30 安徽大学 一种基于对抗生成网络的半监督学习的细胞分割方法
CN109784380A (zh) * 2018-12-27 2019-05-21 西安交通大学 一种基于生成对抗学习的多维度田间杂草识别方法
CN109949317B (zh) * 2019-03-06 2020-12-11 东南大学 基于逐步对抗学习的半监督图像实例分割方法
CN110097131B (zh) * 2019-05-08 2023-04-28 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110443815B (zh) * 2019-08-07 2023-04-21 中山大学 结合生成对抗网络的半监督视网膜oct图像层分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197493A (zh) * 2019-05-24 2019-09-03 清华大学深圳研究生院 眼底图像血管分割方法

Also Published As

Publication number Publication date
CN111507993A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111507993B (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
Xiong et al. Panicle-SEG: a robust image segmentation method for rice panicles in the field based on deep learning and superpixel optimization
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN109949255B (zh) 图像重建方法及设备
CN110910391B (zh) 一种双模块神经网络结构视频对象分割方法
CN109753878B (zh) 一种恶劣天气下的成像识别方法及系统
Bhandari et al. A new beta differential evolution algorithm for edge preserved colored satellite image enhancement
CN107909638A (zh) 虚拟物体的渲染方法、介质、系统和电子设备
CN113128478A (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
Verma et al. Modified sigmoid function based gray scale image contrast enhancement using particle swarm optimization
CN114863092A (zh) 一种基于知识蒸馏的联邦目标检测方法及系统
CN115526803A (zh) 非均匀光照图像增强方法、系统、存储介质及设备
Al-Amaren et al. RHN: A residual holistic neural network for edge detection
Zhang et al. Photo-realistic dehazing via contextual generative adversarial networks
Ding et al. A robust infrared and visible image fusion framework via multi-receptive-field attention and color visual perception
Li et al. AEMS: an attention enhancement network of modules stacking for lowlight image enhancement
Mishra et al. Underwater image enhancement using multiscale decomposition and gamma correction
Dwivedi et al. Single image dehazing using extended local dark channel prior
Li et al. Enhancing pencil drawing patterns via using semantic information
Akther et al. Detection of Vehicle's Number Plate at Nighttime using Iterative Threshold Segmentation (ITS) Algorithm
Wang et al. A multi-scale attentive recurrent network for image dehazing
CN116777929A (zh) 一种黑夜场景图像语义分割方法、装置及计算机介质
Wang et al. Feature enhancement: predict more detailed and crisper edges
Lan et al. Online knowledge distillation network for single image dehazing
Bhandari et al. Swarm-based optimally selected histogram computation system for image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant