CN111310582A - 基于边界感知和对抗学习的湍流退化图像语义分割方法 - Google Patents

基于边界感知和对抗学习的湍流退化图像语义分割方法 Download PDF

Info

Publication number
CN111310582A
CN111310582A CN202010058022.9A CN202010058022A CN111310582A CN 111310582 A CN111310582 A CN 111310582A CN 202010058022 A CN202010058022 A CN 202010058022A CN 111310582 A CN111310582 A CN 111310582A
Authority
CN
China
Prior art keywords
image
turbulence
boundary
semantic segmentation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010058022.9A
Other languages
English (en)
Inventor
崔林艳
张妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010058022.9A priority Critical patent/CN111310582A/zh
Publication of CN111310582A publication Critical patent/CN111310582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于边界感知和对抗学习的湍流退化图像语义分割方法,包括以下步骤:(1)针对湍流退化图像,基于湍流成像物理模型,将仿真湍流退化图像与真实湍流退化图像相结合,构建湍流退化图像语义分割数据集;(2)针对步骤(1)获得的数据集,结合湍流退化图像的模糊和畸变特性,构建基于边界感知的DeepLabV3+语义分割模型;(3)将步骤(2)中基于边界感知的DeepLabV3+语义分割模型作为生成器,并结合由五个卷积层组成的鉴别器,构建基于对抗学习的边界感知生成对抗网络GAN模型;(4)针对步骤(3)获得的GAN模型,在步骤(1)获得的湍流退化图像语义分割数据集上进行模型的训练,获得训练后的语义分割GAN模型,利用训练后的语义分割对抗网络GAN模型对湍流退化图像进行语义分割,获得预测分割图。

Description

基于边界感知和对抗学习的湍流退化图像语义分割方法
技术领域
本发明涉及基于边界感知和对抗学习的湍流退化图像语义分割方法,这是一种结合边界感知算法和生成对抗网络(GAN)的深度模型,适用于受到大气湍流影响而产生退化的图像的语义分割任务。
背景技术
语义分割在智能驾驶、安防监控、工业检测等多种行业中都有广泛的应用,是计算机视觉领域中极具挑战性的任务。湍流退化图像语义分割是指对受到大气湍流影响而形成的降质图像进行像素级分类的任务。大气湍流会对光学系统的成像性能产生严重的影响,造成观测图像出现畸变、模糊等退化现象,从而降低了图像语义分割模型的准确性。因此,湍流退化图像语义分割任务的困难性不容小觑,实现退化图像的精确语义分割至关重要。
对于图像语义分割任务,过去通常使用各种传统的机器学习技术。传统的图像分割方法,往往只进行相似区域的分割,并不能获得语义信息,而且过于依靠先验知识和人工选择,消耗大量的人力成本和时间成本,难以保证最终结果的精度,具有很大的应用局限性。语义分割任务本身具有许多难点,例如,在物体层次,同一物体在不同拍摄条件下展现出不同外观形象;在类别层次,同类物体的相异性和异类物体的相似性等;背景层次,实际场景中的背景往往复杂多变等。此外,相比常规图像,湍流退化图像的图像质量受到大气湍流现象的严重影响,为降质图像,表现出空间模糊和时空畸变,为语义分割任务带来了很大难度。
通过深度CNN网络进行监督学习,已经成为近年来解决图像语义分割任务的主要方法,例如FCN、U-Net、DeepLab系列模型等,进行端到端的训练,获得预测分割图。然而,针对湍流退化图像进行语义分割任务的方法很少,目前的研究难点主要表现在以下几个方面: (1)湍流退化图像具有模糊和畸变两大特点,较常规图像而言,图像质量较差、边缘模糊、物体畸变、对比度低、纹理信息难以表达,且往往含有噪声,进行准确的语义分割较为困难; (2)退化图像语义分割任务始终存在着“高层语义”和“低层细节”的双重挑战,不仅需要利用全局信息来解决语义判别的问题,而且需要利用局部信息解决细节定位的问题;(3)目前针对湍流退化图像语义分割研究的数据集还十分匮乏,需要人工获取和建立湍流退化图像数据集,难度较大;(4)现有的基于深度学习的语义分割方法一般只针对常见场景的较高质量图像,不适用于湍流退化图像。
发明内容
本发明的技术解决问题是:克服现有技术不足,针对湍流场景条件下图像的模糊、畸变问题,提供基于边界感知和对抗学习的湍流退化图像语义分割方法,改善湍流退化图像的分割边缘细节,提升语义识别准确性,提高模型的语义分割精度。
本发明的技术解决方案为基于边界感知和对抗学习的湍流退化图像语义分割方法,包括以下步骤:
(1)基于湍流成像物理模型,将仿真湍流退化图像与真实湍流退化图像相结合,构建湍流退化图像语义分割数据集;
(2)针对步骤(1)获得的数据集,结合湍流退化图像的模糊和畸变特性,构建基于边界感知的DeepLabV3+语义分割模型;
(3)将步骤(2)中基于边界感知的DeepLabV3+语义分割模型作为生成器,并结合由五个卷积层组成的鉴别器,构建基于对抗学习的边界感知生成对抗网络GAN模型;
(4)针对步骤(3)获得的GAN模型,在步骤(1)获得的湍流退化图像语义分割数据集上进行模型的训练,获得训练后的语义分割GAN模型,利用训练后的语义分割对抗网络 GAN模型对湍流退化图像进行语义分割,获得预测分割图。
进一步的,所述步骤(1)中,湍流退化图像语义分割数据集的构建方法如下:
将湍流物理成像模型与图像处理算法即图像插值和图像卷积方法相结合,利用大气湍流物理成像模型,进行图像的湍流退化仿真,湍流物理成像模型的参数包括湍流调制传递函数 MTF和光波到达角AOA起伏;图像模糊特性通过频域中的大气湍流调制传递函数MTF和空域中的点扩展函数PSF来描述,图像畸变失真与光波到达角AOA的波动有关;
真实湍流具有各向异性和非柯尔莫哥洛夫(Kolmogorov)性质,其中,各向异性因子能够在水平和垂直方向上对湍涡尺度分布的不对称性进行参数化;而湍流谱指数α在3到4之间进行取值;
给定原始图像I(x,y),O(x,y)表示仿真后的湍流退化图像,F()和D()分别代表图像模糊算子和图像畸变算子,使用以下公式获取仿真后的湍流退化图像:
O(x,y)=F(D(I(x,y)))
首先,设置仿真条件和参数数值,即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离,确定各向异性非Kolmogorov湍流MTF和光波AOA方差理论模型;然后,计算图像x和y两个方向上的位移矩阵,即δx和δy;第三,计算与湍流MTF的傅立叶逆变换有关的湍流点扩展函数PSF;第四,在已知δx和δy的条件下,使用图像双线性插值算法进行图像畸变仿真;最后,将畸变图像与湍流点扩展函数PSF进行卷积,得到各向异性非 Kolmogorov湍流中的退化图像;
对于真实的湍流退化图像,参考现有数据集的标注规则,进行图像标签的标注。
进一步的,所述步骤(2)中,构建基于边界感知的DeepLabV3+语义分割模型,方法如下:
首先以DeepLabV3+为基础网络,然后在此基础上添加边界辅助监督模块,作为边界信息的监督指引;
边界辅助监督模块使用边缘检测滤波器,在预测分割图F和真实标签图GT上分别与边缘检测滤波器fB进行卷积,从而获得边界预测FB和边界真值GTB;边缘检测滤波器为3×3的 Sobel滤波器;两个滤波器Sx,Sy分别描述了水平和垂直梯度,将两个滤波器连接成3×3×2 维张量即为Sobel滤波器;
Figure BDA0002373449190000031
随后,对边界标签采用高斯模糊fG进行高斯滤波,从而得到最终的边界真值GTBG;平滑步骤中使用3×3高斯核;
边界辅助监督任务分支的训练:构造有效的边界辅助损失LBAS,定义为预测值
Figure BDA0002373449190000032
和与之对应的标签真值y之间的L2损失:
Figure BDA0002373449190000033
其中,s是样本,n是样本数量;总损失Ltot包括原始语义分割损失Lce和新的边界辅助损失LBAS,其中边界权重因子β用于调节了全局信息和边界信息之间的比重;
Ltot=Lce+βLBAS
通过最终损失函数提取准确的语义边界,同时增大特征的类别之间的差异性。
进一步的,所述步骤(3)中,构建基于对抗学习的边界感知对抗网络GAN模型,方法如下:
对抗网络GAN模型中,生成器采用边界感知DeepLabV3+模型,鉴别器采用由5个卷积层组成的神经网络模型,GAN网络的训练过程使用合成损失函数,即两组损失函数的加权和:
Figure BDA0002373449190000041
其中,N为数据集中的图像数量,Xi表示某一输入训练图像,Yi表示对应真实标签图,输入图像的维度为H×W×3;H为图像高度,W为图像宽度,第一项为生成器中的损失项,促进分割模型预测每个像素的正确类别;S(Xi)表示生成器输出的维度为H×W×C的类别概率图,C为类别个数,E(Yi)表示通过对具有离散标签的真实标签图Yi进行独热编码而获得的C个通道的标签概率向量;第二项为鉴别器的损失函数;当对抗网络正确判别出真实标签图和生成预测图时,此损失项大于预定阈值;p(X,Y)表示鉴别器预测Y是X的真实标签的概率,取值范围为[0,1];λ表示权重系数;
鉴别器的训练使以下损失函数Ldis最小化:
Figure BDA0002373449190000042
其中,当样本为生成器中分割网络输出的预测分割图时,zi=0;而当样本为真实标签图时,zi=1;此外,D(S(Xi))p是Xi在像素p处的置信图,同理,D(Yi)p是Yi在像素p处的置信图;
生成器的训练使以下损失函数Lseg最小化:
Lseg=(LceBASLBAS)+λadvLadv
其中,Lce和LBAS为边界感知分割网络中的损失函数,分别是多类交叉熵损失和边界辅助监督损失,Ladv是对抗损失Adversarial Loss;λBAS和λadv是最小化多任务损失函数的权重系数,分别设置为0.1和0.01。
其中,如果像素
Figure BDA0002373449190000044
属于类别c,则
Figure BDA0002373449190000045
取值为1,否则取值为0;给定完全卷积判别网络D(·),通过进行对抗学习,来训练鉴别器,对抗损失Lacv为:
Figure BDA0002373449190000043
进一步的,所述步骤(4)中,在湍流退化图像语义分割数据集上进行模型的训练,获得训练后的GAN模型,利用训练后模型对湍流退化图像进行语义分割,方法如下:进行模型训练过程的参数及优化方式的设置,包括图像裁剪尺寸、学习率策略、训练步数和输出比率;
图像裁剪尺寸设置为长宽均大于原图一个像素;学习率策略选择“POLY”,初始学习率设置为0.0001,初始训练步数为30000步,学习率衰减步数设为2000,学习速率衰减因子为0.1;训练步数设置为50000;编码器输出比率设置为16,即编码器输出特征图为原图尺寸的1/16,对应空洞卷积扩张率为[12,24,36]。
本发明与现有技术相比的优点在于:
(1)本发明采用了添加边界辅助监督任务分支的方式,将边界辅助监督模块与DeepLabV3+网络相结合,聚焦于湍流退化图像的边界细节区域。此方式有效降低分割预测图在目标边界区域的分割误差,有效改善分割结果粗糙的问题。
(2)本发明采用了对抗学习与语义分割算法相结合的方式,将边界感知语义分割网络作为生成器,结合有效的鉴别器,发明了基于对抗学习的边界感知GAN模型。该方法可有效改善真实标签图和预测分割图的高阶不一致性,可提高预测分割图中目标语义识别的正确性,并整体提升湍流退化图像的语义分割效果。
总之,本发明采用的方法原理简洁,语义分割效果良好,可达到对湍流退化图像精确语义分割的目的。
附图说明
图1为本发明基于边界感知和对抗学习的湍流退化图像语义分割方法流程图;
图2为采用本发明方法获得的语义分割前后的图像示例。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅为本发明的一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明的保护范围。
如图1所示,本发明的具体实现步骤如下:
步骤1、将湍流物理成像模型与图像处理算法(即图像插值和图像卷积方法)相结合。利用大气湍流物理成像模型,进行图像的湍流退化仿真,构建湍流退化图像语义分割数据集。湍流物理成像模型的主要参数有湍流调制传递函数MTF和光波到达角AOA。图像模糊特性通过频域中的调制传递函数MTF和空域中的点扩展函数PSF来描述,而图像畸变失真与光波到达角AOA的波动有关。
真实湍流具有各向异性和非Kolmogorov性质。其中,各向异性因子可在水平和垂直方向上对湍涡尺度分布的不对称性进行参数化;而湍流谱指数α在3到4之间进行取值。
给定原始图像I(x,y),O(x,y)表示仿真后的湍流退化图像,F()和D()分别代表图像模糊算子和图像畸变算子,使用以下公式获取模拟后的湍流退化图像:
O(x,y)=F(D(I(x,y)))
首先,设置仿真条件和参数数值,即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离等,确定各向异性非Kolmogorov湍流MTF和光波AOA方差理论模型;然后,计算图像x和y两个方向上的位移矩阵,即δx和δy;第三,计算与湍流MTF的傅立叶逆变换有关的湍流点扩展函数PSF;第四,在已知δx和δy的条件下,使用图像双线性插值算法进行图像畸变仿真;最后,将畸变图像与湍流点扩展函数PSF进行卷积,得到各向异性非Kolmogorov湍流中的退化图像。
对于真实的湍流退化图像,参考现有数据集的标注规则,进行图像标签的标注,其中,图像标注环节使用的是像素级别图像注释工具“LabelMe”。
步骤2、以DeepLabV3+为基础网络,并在此基础上添加边界辅助监督模块,作为边界信息的监督指引,构建基于边界感知的DeepLabV3+语义分割模型。
边界辅助监督模块使用传统的边缘检测滤波器,在预测分割图F和真实标签图GT上分别与边缘检测滤波器fB进行卷积,从而获得边界预测FB和边界真值GTB。边缘检测滤波器为3×3的Sobel滤波器,是一种典型的二维滤波器,描述了一阶梯度运算,与旋转相关,运算效率高。两个滤波器Sx,Sy分别描述了水平和垂直梯度,将两个滤波器连接成3×3×2维张量即为Sobel滤波器。
Figure BDA0002373449190000061
随后,对边界标签采用高斯模糊fG进行高斯滤波,从而得到最终的边界真值GTBG。平滑步骤中使用3×3高斯核。
为了边界辅助监督任务分支的训练,构造了有效的边界辅助损失LBAS,定义为预测值
Figure BDA0002373449190000062
和与之对应的标签真值y之间的L2损失:
Figure BDA0002373449190000063
其中,s是样本,n是样本数量。总损失Ltot包括原始语义分割损失Lce和新的边界辅助损失LBAS,其中边界权重因子β用于调节了全局信息和边界信息之间的比重。
Ltot=Lce+βLBAS
β取值0.125时,模型取得更优性能。通过最终损失函数可以提取准确的语义边界,同时增大特征的类别之间的差异性。
步骤3、以边界感知DeepLabV3+模型为生成器,以由5个卷积层组成的神经网络模型为鉴别器,构建基于对抗学习的边界感知GAN模型。
GAN网络的训练过程使用合成损失函数,即两组损失函数的加权和:
Figure BDA0002373449190000071
其中,N为数据集中的图像数量,Xi表示某一输入训练图像,Yi表示对应真实标签图,输入图像的维度为H×W×3。第一项为生成器中的损失项,促进分割模型预测每个像素的正确类别。S(Xi)表示生成器输出的维度为H×W×C的类别概率图,E(Yi)表示通过对具有离散标签的真实标签图Yi进行独热编码而获得的C通道的标签概率向量。第二项为鉴别器的损失函数。当对抗网络正确判别出真实标签图和生成预测图时,此损失项很大。p(X,Y)表示鉴别器预测Y是X的真实标签的概率,取值范围为[0,1]。
鉴别器的训练使以下损失函数Ldis最小化:
Figure BDA0002373449190000072
其中,当样本为生成器中分割网络输出的预测分割图时,zi=0;而当样本为真实标签图时,zi=1。此外,D(S(Xi))p是Xi在像素p处的置信图,同理,D(Yi)p是Yi在像素p处的置信图。
生成器的训练使以下损失函数Lseg最小化:
Lseg=(LceBASLBAS)+λadvLadv
其中,Lce和LBAS为边界感知分割网络中的损失函数,分别是多类交叉熵损失和边界辅助监督损失,Ladv是对抗损失(Adversarial Loss)。λBAS和λadv是最小化多任务损失函数的权重系数,为获得良好性能分别设置为0.1和0.01。
其中,如果像素
Figure BDA0002373449190000074
属于类别c,则
Figure BDA0002373449190000075
取值为1,否则取值为0。给定完全卷积判别网络D(·),通过进行对抗学习,来训练鉴别器,对抗损失Lacv为:
Figure BDA0002373449190000073
步骤4、在湍流退化图像语义分割数据集上进行模型的训练,获得训练后的GAN模型,利用训练后模型对湍流退化图像进行语义分割。其中需要进行模型训练过程的参数及优化方式的设置,主要包括图像裁剪尺寸、学习率策略、训练步数和输出比率等。
图像裁剪尺寸设置为略大于原图尺寸,此时训练模型效果更好;学习率策略选择“POLY”,初始学习率设置为0.0001,初始训练步数为30000步,学习率衰减步数设为2000,学习速率衰减因子为0.1;训练步数设置为50000;编码器输出比率设置为16,即编码器输出特征图为原图尺寸的1/16,对应空洞卷积扩张率为[12,24,36]。
如图2所示,该图第一列为输入的原始图像,由于大气湍流影响,原始图像具有模糊和畸变的特点;图2第二列为真实标签图像;图2第三列为原始的DeepLabV3+模型的语义分割结果,其中,车辆分割误差较大、小目标车辆未被识别分割出来;图2第四列为本发明提出的模型获得的湍流退化图像语义分割结果,可见,车辆边界处分割更加精确,分割误差明显降低,同时小目标车辆被识别分割出来。由此可见,本发明能够针对湍流退化图像,改善分割结果的边界细节,提高语义分割精度。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,且应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.基于边界感知和对抗学习的湍流退化图像语义分割方法,其特征在于,包括以下步骤:
(1)基于湍流成像物理模型,将仿真湍流退化图像与真实湍流退化图像相结合,构建湍流退化图像语义分割数据集;
(2)针对步骤(1)获得的数据集,结合湍流退化图像的模糊和畸变特性,构建基于边界感知的DeepLabV3+语义分割模型;
(3)将步骤(2)中基于边界感知的DeepLabV3+语义分割模型作为生成器,并结合由五个卷积层组成的鉴别器,构建基于对抗学习的边界感知生成对抗网络GAN模型;
(4)针对步骤(3)获得的GAN模型,在步骤(1)获得的湍流退化图像语义分割数据集上进行模型的训练,获得训练后的语义分割GAN模型,利用训练后的语义分割对抗网络GAN模型对湍流退化图像进行语义分割,获得预测分割图。
2.根据权利要求1所述的基于边界感知和对抗学习的湍流退化图像语义分割方法,其特征在于:所述步骤(1)中,湍流退化图像语义分割数据集的构建方法如下:
将湍流物理成像模型与图像处理算法即图像插值和图像卷积方法相结合,利用大气湍流物理成像模型,进行图像的湍流退化仿真,湍流物理成像模型的参数包括湍流调制传递函数MTF和光波到达角AOA起伏;图像模糊特性通过频域中的大气湍流调制传递函数MTF和空域中的点扩展函数PSF来描述,图像畸变失真与光波到达角AOA的波动有关;
真实湍流具有各向异性和非柯尔莫哥洛夫(Kolmogorov)性质,其中,各向异性因子能够在水平和垂直方向上对湍涡尺度分布的不对称性进行参数化;而湍流谱指数α在3到4之间进行取值;
给定原始图像I(x,y),O(x,y)表示仿真后的湍流退化图像,F()和D()分别代表图像模糊算子和图像畸变算子,使用以下公式获取仿真后的湍流退化图像:
O(x,y)=F(D(I(x,y)))
首先,设置仿真条件和参数数值,即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离,确定各向异性非Kolmogorov湍流MTF和光波AOA方差理论模型;然后,计算图像x和y两个方向上的位移矩阵,即δx和δy;第三,计算与湍流MTF的傅立叶逆变换有关的湍流点扩展函数PSF;第四,在已知δx和δy的条件下,使用图像双线性插值算法进行图像畸变仿真;最后,将畸变图像与湍流点扩展函数PSF进行卷积,得到各向异性非Kolmogorov湍流中的退化图像;
对于真实的湍流退化图像,参考现有数据集的标注规则,进行图像标签的标注。
3.根据权利要求1所述的基于边界感知和对抗学习的湍流退化图像语义分割方法,其特征在于:所述步骤(2)中,构建基于边界感知的DeepLabV3+语义分割模型,方法如下:
首先以DeepLabV3+为基础网络,然后在此基础上添加边界辅助监督模块,作为边界信息的监督指引;
边界辅助监督模块使用边缘检测滤波器,在预测分割图F和真实标签图GT上分别与边缘检测滤波器fB进行卷积,从而获得边界预测FB和边界真值GTB;边缘检测滤波器fB为3×3的Sobel滤波器;两个滤波器Sx,Sy分别描述了水平和垂直梯度,将两个滤波器连接成3×3×2维张量即为Sobel滤波器;
Figure FDA0002373449180000021
随后,对边界标签采用高斯模糊fG进行高斯滤波,从而得到最终的边界真值GTBG;平滑步骤中使用3×3高斯核;
边界辅助监督任务分支的训练:构造有效的边界辅助损失LBAS,定义为预测值
Figure FDA0002373449180000022
和与之对应的标签真值y之间的L2损失:
Figure FDA0002373449180000023
其中,s是样本,n是样本数量;总损失Ltot包括原始语义分割损失Lce和新的边界辅助损失LBAS,其中边界权重因子β用于调节全局信息和边界信息之间的比重;
Ltot=Lce+βLBAS
通过最终损失函数提取准确的语义边界,同时增大特征的类别之间的差异性。
4.根据权利要求1所述的基于边界感知和对抗学习的湍流退化图像语义分割方法,其特征在于:所述步骤(3)中,构建基于对抗学习的边界感知对抗网络GAN模型,方法如下:
对抗网络GAN模型中,生成器采用边界感知DeepLabV3+模型,鉴别器采用由5个卷积层组成的神经网络模型,GAN网络的训练过程使用合成损失函数,即两组损失函数的加权和:
Figure FDA0002373449180000024
其中,N为数据集中的图像数量,Xi表示某一输入训练图像,Yi表示对应真实标签图,输入图像的维度为H×W×3;H为图像高度,W为图像宽度,第一项为生成器中的损失项,促进分割模型预测每个像素的正确类别;S(Xi)表示生成器输出的维度为H×W×C的类别概率图,C为类别个数,E(Yi)表示通过对具有离散标签的真实标签图Yi进行独热编码而获得的C个通道的标签概率向量;第二项为鉴别器的损失函数;当对抗网络正确判别出真实标签图和生成预测图时,此损失项大于预定阈值;p(X,Y)表示鉴别器预测Y是X的真实标签的概率,取值范围为[0,1];λ表示权重系数;
鉴别器的训练使以下损失函数Ldis最小化:
Figure FDA0002373449180000031
其中,当样本为生成器中分割网络输出的预测分割图时,zi=0;而当样本为真实标签图时,zi=1;此外,D(S(Xi))p是Xi在像素p处的置信图,同理,D(Yi)p是Yi在像素p处的置信图;
生成器的训练使以下损失函数Lseg最小化:
Lseg=(LceBASLBAS)+λadvLadv
其中,Lce和LBAS为边界感知分割网络中的损失函数,分别是多类交叉熵损失和边界辅助监督损失,Ladv是对抗损失Adversarial Loss;λBAS和λadv是最小化多任务损失函数的权重系数,分别设置为0.1和0.01。
其中,如果像素
Figure FDA0002373449180000033
属于类别c,则Yi (p,c)取值为1,否则取值为0;给定完全卷积判别网络D(·),通过进行对抗学习,来训练鉴别器,对抗损失Lacv为:
Figure FDA0002373449180000032
5.根据权利要求1所述的基于边界感知和对抗学习的湍流退化图像语义分割方法,其特征在于:
所述步骤(4)中,在湍流退化图像语义分割数据集上进行模型的训练,获得训练后的GAN模型,利用训练后模型对湍流退化图像进行语义分割,方法如下:进行模型训练过程的参数及优化方式的设置,包括图像裁剪尺寸、学习率策略、训练步数和输出比率;
图像裁剪尺寸设置为长宽均大于原图一个像素;学习率策略选择“POLY”,初始学习率设置为0.0001,初始训练步数为30000步,学习率衰减步数设为2000,学习速率衰减因子为0.1;训练步数设置为50000;编码器输出比率设置为16,即编码器输出特征图为原图尺寸的1/16,对应空洞卷积扩张率为[12,24,36]。
CN202010058022.9A 2020-01-19 2020-01-19 基于边界感知和对抗学习的湍流退化图像语义分割方法 Pending CN111310582A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010058022.9A CN111310582A (zh) 2020-01-19 2020-01-19 基于边界感知和对抗学习的湍流退化图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010058022.9A CN111310582A (zh) 2020-01-19 2020-01-19 基于边界感知和对抗学习的湍流退化图像语义分割方法

Publications (1)

Publication Number Publication Date
CN111310582A true CN111310582A (zh) 2020-06-19

Family

ID=71144902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010058022.9A Pending CN111310582A (zh) 2020-01-19 2020-01-19 基于边界感知和对抗学习的湍流退化图像语义分割方法

Country Status (1)

Country Link
CN (1) CN111310582A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738953A (zh) * 2020-06-24 2020-10-02 北京航空航天大学 一种基于边界感知对抗学习的大气湍流退化图像复原方法
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN111950478A (zh) * 2020-08-17 2020-11-17 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车s型行驶行为检测方法
CN112101463A (zh) * 2020-09-17 2020-12-18 成都数之联科技有限公司 图像语义分割网络训练方法、分割方法、分割装置和介质
CN112396069A (zh) * 2021-01-20 2021-02-23 深圳点猫科技有限公司 基于联合学习的语义边缘检测方法、装置、系统及介质
CN113052203A (zh) * 2021-02-09 2021-06-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向多种类数据的异常检测方法及装置
CN113225130A (zh) * 2021-03-25 2021-08-06 中国人民解放军国防科技大学 一种基于机器学习的大气湍流等效相位屏预测方法
CN113486894A (zh) * 2021-07-15 2021-10-08 北京航空航天大学 一种卫星图像特征部件语义分割方法
WO2022033175A1 (zh) * 2020-08-10 2022-02-17 浙江大学 基于边缘知识转化的图像前景分割算法
CN114241407A (zh) * 2021-12-10 2022-03-25 电子科技大学 一种基于深度学习的近距离屏幕监控方法
CN117274272A (zh) * 2023-09-08 2023-12-22 青岛市市立医院 一种基于深度学习的冠状动脉造影图分割的优化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223242A (zh) * 2019-05-07 2019-09-10 北京航空航天大学 一种基于时空域残差生成对抗网络的视频湍流移除方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223242A (zh) * 2019-05-07 2019-09-10 北京航空航天大学 一种基于时空域残差生成对抗网络的视频湍流移除方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LINYAN CUI等: "Accurate Semantic Segmentation in Turbulence Media", 《IEEE ACCESS》 *
ZHIXIAN YE 等: "Identification of Vortex Structures in Flow Field Images Based on Convolutional Neural Network and Dynamic Mode Decomposition", 《TRAITEMENT DU SIGNAL》 *
崔林艳: "各向异性大气湍流中成像仿真研究", 《航空兵器》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738953A (zh) * 2020-06-24 2020-10-02 北京航空航天大学 一种基于边界感知对抗学习的大气湍流退化图像复原方法
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
US12067731B2 (en) 2020-08-10 2024-08-20 Zhejiang University Image foreground segmentation algorithm based on edge knowledge transformation
WO2022033175A1 (zh) * 2020-08-10 2022-02-17 浙江大学 基于边缘知识转化的图像前景分割算法
CN111950478A (zh) * 2020-08-17 2020-11-17 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车s型行驶行为检测方法
CN112101463A (zh) * 2020-09-17 2020-12-18 成都数之联科技有限公司 图像语义分割网络训练方法、分割方法、分割装置和介质
CN112396069A (zh) * 2021-01-20 2021-02-23 深圳点猫科技有限公司 基于联合学习的语义边缘检测方法、装置、系统及介质
CN112396069B (zh) * 2021-01-20 2021-04-13 深圳点猫科技有限公司 基于联合学习的语义边缘检测方法、装置、系统及介质
CN113052203A (zh) * 2021-02-09 2021-06-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向多种类数据的异常检测方法及装置
CN113225130A (zh) * 2021-03-25 2021-08-06 中国人民解放军国防科技大学 一种基于机器学习的大气湍流等效相位屏预测方法
CN113486894A (zh) * 2021-07-15 2021-10-08 北京航空航天大学 一种卫星图像特征部件语义分割方法
CN113486894B (zh) * 2021-07-15 2023-07-25 北京航空航天大学 一种卫星图像特征部件语义分割方法
CN114241407B (zh) * 2021-12-10 2023-05-23 电子科技大学 一种基于深度学习的近距离屏幕监控方法
CN114241407A (zh) * 2021-12-10 2022-03-25 电子科技大学 一种基于深度学习的近距离屏幕监控方法
CN117274272A (zh) * 2023-09-08 2023-12-22 青岛市市立医院 一种基于深度学习的冠状动脉造影图分割的优化方法
CN117274272B (zh) * 2023-09-08 2024-04-30 青岛市市立医院 一种基于深度学习的冠状动脉造影图分割的优化方法

Similar Documents

Publication Publication Date Title
CN111310582A (zh) 基于边界感知和对抗学习的湍流退化图像语义分割方法
CN111768432B (zh) 基于孪生深度神经网络的动目标分割方法及系统
CN108665481B (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
Moser et al. Dictionary-based stochastic expectation-maximization for SAR amplitude probability density function estimation
CN105825502B (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN114565655B (zh) 一种基于金字塔分割注意力的深度估计方法及装置
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN111738055B (zh) 多类别文本检测系统和基于该系统的票据表单检测方法
CN111583276B (zh) 基于cgan的空间目标isar图像部件分割方法
CN113850783B (zh) 一种海面船舶检测方法及系统
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN110991257A (zh) 基于特征融合与svm的极化sar溢油检测方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
US11821986B1 (en) Target tracking method, system, device and storage medium
CN113962281A (zh) 基于Siamese-RFB的无人机目标跟踪方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN116597313B (zh) 一种基于改进YOLOv7的舰船光学图像尾迹检测方法
CN117456376A (zh) 一种基于深度学习的遥感卫星影像目标检测方法
CN108109153B (zh) 基于sar-kaze特征提取的sar图像分割方法
CN113313091B (zh) 仓储物流下的基于多重注意力和拓扑约束的密度估计方法
CN115294398A (zh) 一种基于多姿态角联合学习的sar图像目标识别方法
CN113112522A (zh) 基于可变形卷积和模板更新的孪生网络目标跟踪的方法
CN111899284A (zh) 一种基于参数化esm网络的平面目标跟踪方法
CN112734806B (zh) 基于峰值尖锐指导置信度的视觉目标跟踪方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200619

WD01 Invention patent application deemed withdrawn after publication