CN111310582A - 基于边界感知和对抗学习的湍流退化图像语义分割方法 - Google Patents
基于边界感知和对抗学习的湍流退化图像语义分割方法 Download PDFInfo
- Publication number
- CN111310582A CN111310582A CN202010058022.9A CN202010058022A CN111310582A CN 111310582 A CN111310582 A CN 111310582A CN 202010058022 A CN202010058022 A CN 202010058022A CN 111310582 A CN111310582 A CN 111310582A
- Authority
- CN
- China
- Prior art keywords
- image
- boundary
- turbulence
- semantic segmentation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000008447 perception Effects 0.000 title claims abstract description 14
- 230000015556 catabolic process Effects 0.000 title claims description 21
- 238000006731 degradation reaction Methods 0.000 title claims description 21
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 34
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 7
- 238000001228 spectrum Methods 0.000 claims 2
- 239000000654 additive Substances 0.000 claims 1
- 230000000996 additive effect Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000005484 gravity Effects 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 230000003595 spectral effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于边界感知和对抗学习的湍流退化图像语义分割方法，包括以下步骤：(1)针对湍流退化图像，基于湍流成像物理模型，将仿真湍流退化图像与真实湍流退化图像相结合，构建湍流退化图像语义分割数据集；(2)针对步骤(1)获得的数据集，结合湍流退化图像的模糊和畸变特性，构建基于边界感知的DeepLabV3+语义分割模型；(3)将步骤(2)中基于边界感知的DeepLabV3+语义分割模型作为生成器，并结合由五个卷积层组成的鉴别器，构建基于对抗学习的边界感知生成对抗网络GAN模型；(4)针对步骤(3)获得的GAN模型，在步骤(1)获得的湍流退化图像语义分割数据集上进行模型的训练，获得训练后的语义分割GAN模型，利用训练后的语义分割对抗网络GAN模型对湍流退化图像进行语义分割，获得预测分割图。
Description
技术领域
本发明涉及基于边界感知和对抗学习的湍流退化图像语义分割方法，这是一种结合边界感知算法和生成对抗网络(GAN)的深度模型，适用于受到大气湍流影响而产生退化的图像的语义分割任务。
背景技术
语义分割在智能驾驶、安防监控、工业检测等多种行业中都有广泛的应用，是计算机视觉领域中极具挑战性的任务。湍流退化图像语义分割是指对受到大气湍流影响而形成的降质图像进行像素级分类的任务。大气湍流会对光学系统的成像性能产生严重的影响，造成观测图像出现畸变、模糊等退化现象，从而降低了图像语义分割模型的准确性。因此，湍流退化图像语义分割任务的困难性不容小觑，实现退化图像的精确语义分割至关重要。
对于图像语义分割任务，过去通常使用各种传统的机器学习技术。传统的图像分割方法，往往只进行相似区域的分割，并不能获得语义信息，而且过于依靠先验知识和人工选择，消耗大量的人力成本和时间成本，难以保证最终结果的精度，具有很大的应用局限性。语义分割任务本身具有许多难点，例如，在物体层次，同一物体在不同拍摄条件下展现出不同外观形象；在类别层次，同类物体的相异性和异类物体的相似性等；背景层次，实际场景中的背景往往复杂多变等。此外，相比常规图像，湍流退化图像的图像质量受到大气湍流现象的严重影响，为降质图像，表现出空间模糊和时空畸变，为语义分割任务带来了很大难度。
通过深度CNN网络进行监督学习，已经成为近年来解决图像语义分割任务的主要方法，例如FCN、U-Net、DeepLab系列模型等，进行端到端的训练，获得预测分割图。然而，针对湍流退化图像进行语义分割任务的方法很少，目前的研究难点主要表现在以下几个方面： (1)湍流退化图像具有模糊和畸变两大特点，较常规图像而言，图像质量较差、边缘模糊、物体畸变、对比度低、纹理信息难以表达，且往往含有噪声，进行准确的语义分割较为困难； (2)退化图像语义分割任务始终存在着“高层语义”和“低层细节”的双重挑战，不仅需要利用全局信息来解决语义判别的问题，而且需要利用局部信息解决细节定位的问题；(3)目前针对湍流退化图像语义分割研究的数据集还十分匮乏，需要人工获取和建立湍流退化图像数据集，难度较大；(4)现有的基于深度学习的语义分割方法一般只针对常见场景的较高质量图像，不适用于湍流退化图像。
发明内容
本发明的技术解决问题是：克服现有技术不足，针对湍流场景条件下图像的模糊、畸变问题，提供基于边界感知和对抗学习的湍流退化图像语义分割方法，改善湍流退化图像的分割边缘细节，提升语义识别准确性，提高模型的语义分割精度。
本发明的技术解决方案为基于边界感知和对抗学习的湍流退化图像语义分割方法，包括以下步骤：
(1)基于湍流成像物理模型，将仿真湍流退化图像与真实湍流退化图像相结合，构建湍流退化图像语义分割数据集；
(2)针对步骤(1)获得的数据集，结合湍流退化图像的模糊和畸变特性，构建基于边界感知的DeepLabV3+语义分割模型；
(3)将步骤(2)中基于边界感知的DeepLabV3+语义分割模型作为生成器，并结合由五个卷积层组成的鉴别器，构建基于对抗学习的边界感知生成对抗网络GAN模型；
(4)针对步骤(3)获得的GAN模型，在步骤(1)获得的湍流退化图像语义分割数据集上进行模型的训练，获得训练后的语义分割GAN模型，利用训练后的语义分割对抗网络 GAN模型对湍流退化图像进行语义分割，获得预测分割图。
进一步的，所述步骤(1)中，湍流退化图像语义分割数据集的构建方法如下：
将湍流物理成像模型与图像处理算法即图像插值和图像卷积方法相结合，利用大气湍流物理成像模型，进行图像的湍流退化仿真，湍流物理成像模型的参数包括湍流调制传递函数 MTF和光波到达角AOA起伏；图像模糊特性通过频域中的大气湍流调制传递函数MTF和空域中的点扩展函数PSF来描述，图像畸变失真与光波到达角AOA的波动有关；
真实湍流具有各向异性和非柯尔莫哥洛夫(Kolmogorov)性质，其中，各向异性因子能够在水平和垂直方向上对湍涡尺度分布的不对称性进行参数化；而湍流谱指数α在3到4之间进行取值；
给定原始图像I(x,y)，O(x,y)表示仿真后的湍流退化图像，F()和D()分别代表图像模糊算子和图像畸变算子，使用以下公式获取仿真后的湍流退化图像：
O(x,y)＝F(D(I(x,y)))
首先，设置仿真条件和参数数值，即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离，确定各向异性非Kolmogorov湍流MTF和光波AOA方差理论模型；然后，计算图像x和y两个方向上的位移矩阵，即δx和δy；第三，计算与湍流MTF的傅立叶逆变换有关的湍流点扩展函数PSF；第四，在已知δx和δy的条件下，使用图像双线性插值算法进行图像畸变仿真；最后，将畸变图像与湍流点扩展函数PSF进行卷积，得到各向异性非 Kolmogorov湍流中的退化图像；
对于真实的湍流退化图像，参考现有数据集的标注规则，进行图像标签的标注。
进一步的，所述步骤(2)中，构建基于边界感知的DeepLabV3+语义分割模型，方法如下：
首先以DeepLabV3+为基础网络，然后在此基础上添加边界辅助监督模块，作为边界信息的监督指引；
边界辅助监督模块使用边缘检测滤波器，在预测分割图F和真实标签图GT上分别与边缘检测滤波器fB进行卷积，从而获得边界预测FB和边界真值GTB；边缘检测滤波器为3×3的 Sobel滤波器；两个滤波器Sx,Sy分别描述了水平和垂直梯度，将两个滤波器连接成3×3×2 维张量即为Sobel滤波器；
随后，对边界标签采用高斯模糊fG进行高斯滤波，从而得到最终的边界真值GTBG；平滑步骤中使用3×3高斯核；
边界辅助监督任务分支的训练：构造有效的边界辅助损失LBAS，定义为预测值
和与之对应的标签真值y之间的L2损失：
其中，s是样本，n是样本数量；总损失Ltot包括原始语义分割损失Lce和新的边界辅助损失LBAS，其中边界权重因子β用于调节了全局信息和边界信息之间的比重；
Ltot＝Lce+βLBAS
通过最终损失函数提取准确的语义边界，同时增大特征的类别之间的差异性。
进一步的，所述步骤(3)中，构建基于对抗学习的边界感知对抗网络GAN模型，方法如下：
对抗网络GAN模型中，生成器采用边界感知DeepLabV3+模型，鉴别器采用由5个卷积层组成的神经网络模型，GAN网络的训练过程使用合成损失函数，即两组损失函数的加权和：
其中，N为数据集中的图像数量，Xi表示某一输入训练图像，Yi表示对应真实标签图，输入图像的维度为H×W×3；H为图像高度，W为图像宽度，第一项为生成器中的损失项，促进分割模型预测每个像素的正确类别；S(Xi)表示生成器输出的维度为H×W×C的类别概率图，C为类别个数，E(Yi)表示通过对具有离散标签的真实标签图Yi进行独热编码而获得的C个通道的标签概率向量；第二项为鉴别器的损失函数；当对抗网络正确判别出真实标签图和生成预测图时，此损失项大于预定阈值；p(X,Y)表示鉴别器预测Y是X的真实标签的概率，取值范围为[0,1]；λ表示权重系数；
鉴别器的训练使以下损失函数Ldis最小化：
其中，当样本为生成器中分割网络输出的预测分割图时，zi＝0；而当样本为真实标签图时，zi＝1；此外，D(S(Xi))p是Xi在像素p处的置信图，同理，D(Yi)p是Yi在像素p处的置信图；
生成器的训练使以下损失函数Lseg最小化：
Lseg＝(Lce+λBASLBAS)+λadvLadv
其中，Lce和LBAS为边界感知分割网络中的损失函数，分别是多类交叉熵损失和边界辅助监督损失，Ladv是对抗损失Adversarial Loss；λBAS和λadv是最小化多任务损失函数的权重系数，分别设置为0.1和0.01。
其中，如果像素
属于类别c，则
取值为1，否则取值为0；给定完全卷积判别网络D(·)，通过进行对抗学习，来训练鉴别器，对抗损失Lacv为：
进一步的，所述步骤(4)中，在湍流退化图像语义分割数据集上进行模型的训练，获得训练后的GAN模型，利用训练后模型对湍流退化图像进行语义分割，方法如下：进行模型训练过程的参数及优化方式的设置，包括图像裁剪尺寸、学习率策略、训练步数和输出比率；
图像裁剪尺寸设置为长宽均大于原图一个像素；学习率策略选择“POLY”，初始学习率设置为0.0001，初始训练步数为30000步，学习率衰减步数设为2000，学习速率衰减因子为0.1；训练步数设置为50000；编码器输出比率设置为16，即编码器输出特征图为原图尺寸的1/16，对应空洞卷积扩张率为[12,24,36]。
本发明与现有技术相比的优点在于：
(1)本发明采用了添加边界辅助监督任务分支的方式，将边界辅助监督模块与DeepLabV3+网络相结合，聚焦于湍流退化图像的边界细节区域。此方式有效降低分割预测图在目标边界区域的分割误差，有效改善分割结果粗糙的问题。
(2)本发明采用了对抗学习与语义分割算法相结合的方式，将边界感知语义分割网络作为生成器，结合有效的鉴别器，发明了基于对抗学习的边界感知GAN模型。该方法可有效改善真实标签图和预测分割图的高阶不一致性，可提高预测分割图中目标语义识别的正确性，并整体提升湍流退化图像的语义分割效果。
总之，本发明采用的方法原理简洁，语义分割效果良好，可达到对湍流退化图像精确语义分割的目的。
附图说明
图1为本发明基于边界感知和对抗学习的湍流退化图像语义分割方法流程图；
图2为采用本发明方法获得的语义分割前后的图像示例。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示，本发明的具体实现步骤如下：
步骤1、将湍流物理成像模型与图像处理算法(即图像插值和图像卷积方法)相结合。利用大气湍流物理成像模型，进行图像的湍流退化仿真，构建湍流退化图像语义分割数据集。湍流物理成像模型的主要参数有湍流调制传递函数MTF和光波到达角AOA。图像模糊特性通过频域中的调制传递函数MTF和空域中的点扩展函数PSF来描述，而图像畸变失真与光波到达角AOA的波动有关。
真实湍流具有各向异性和非Kolmogorov性质。其中，各向异性因子可在水平和垂直方向上对湍涡尺度分布的不对称性进行参数化；而湍流谱指数α在3到4之间进行取值。
给定原始图像I(x,y)，O(x,y)表示仿真后的湍流退化图像，F()和D()分别代表图像模糊算子和图像畸变算子，使用以下公式获取模拟后的湍流退化图像：
O(x,y)＝F(D(I(x,y)))
首先，设置仿真条件和参数数值，即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离等，确定各向异性非Kolmogorov湍流MTF和光波AOA方差理论模型；然后，计算图像x和y两个方向上的位移矩阵，即δx和δy；第三，计算与湍流MTF的傅立叶逆变换有关的湍流点扩展函数PSF；第四，在已知δx和δy的条件下，使用图像双线性插值算法进行图像畸变仿真；最后，将畸变图像与湍流点扩展函数PSF进行卷积，得到各向异性非Kolmogorov湍流中的退化图像。
对于真实的湍流退化图像，参考现有数据集的标注规则，进行图像标签的标注，其中，图像标注环节使用的是像素级别图像注释工具“LabelMe”。
步骤2、以DeepLabV3+为基础网络，并在此基础上添加边界辅助监督模块，作为边界信息的监督指引，构建基于边界感知的DeepLabV3+语义分割模型。
边界辅助监督模块使用传统的边缘检测滤波器，在预测分割图F和真实标签图GT上分别与边缘检测滤波器fB进行卷积，从而获得边界预测FB和边界真值GTB。边缘检测滤波器为3×3的Sobel滤波器，是一种典型的二维滤波器，描述了一阶梯度运算，与旋转相关，运算效率高。两个滤波器Sx,Sy分别描述了水平和垂直梯度，将两个滤波器连接成3×3×2维张量即为Sobel滤波器。
随后，对边界标签采用高斯模糊fG进行高斯滤波，从而得到最终的边界真值GTBG。平滑步骤中使用3×3高斯核。
为了边界辅助监督任务分支的训练，构造了有效的边界辅助损失LBAS，定义为预测值
和与之对应的标签真值y之间的L2损失：
其中，s是样本，n是样本数量。总损失Ltot包括原始语义分割损失Lce和新的边界辅助损失LBAS，其中边界权重因子β用于调节了全局信息和边界信息之间的比重。
Ltot＝Lce+βLBAS
β取值0.125时，模型取得更优性能。通过最终损失函数可以提取准确的语义边界，同时增大特征的类别之间的差异性。
步骤3、以边界感知DeepLabV3+模型为生成器，以由5个卷积层组成的神经网络模型为鉴别器，构建基于对抗学习的边界感知GAN模型。
GAN网络的训练过程使用合成损失函数，即两组损失函数的加权和：
其中，N为数据集中的图像数量，Xi表示某一输入训练图像，Yi表示对应真实标签图，输入图像的维度为H×W×3。第一项为生成器中的损失项，促进分割模型预测每个像素的正确类别。S(Xi)表示生成器输出的维度为H×W×C的类别概率图，E(Yi)表示通过对具有离散标签的真实标签图Yi进行独热编码而获得的C通道的标签概率向量。第二项为鉴别器的损失函数。当对抗网络正确判别出真实标签图和生成预测图时，此损失项很大。p(X,Y)表示鉴别器预测Y是X的真实标签的概率，取值范围为[0,1]。
鉴别器的训练使以下损失函数Ldis最小化：
其中，当样本为生成器中分割网络输出的预测分割图时，zi＝0；而当样本为真实标签图时，zi＝1。此外，D(S(Xi))p是Xi在像素p处的置信图，同理，D(Yi)p是Yi在像素p处的置信图。
生成器的训练使以下损失函数Lseg最小化：
Lseg＝(Lce+λBASLBAS)+λadvLadv
其中，Lce和LBAS为边界感知分割网络中的损失函数，分别是多类交叉熵损失和边界辅助监督损失，Ladv是对抗损失(Adversarial Loss)。λBAS和λadv是最小化多任务损失函数的权重系数，为获得良好性能分别设置为0.1和0.01。
其中，如果像素
属于类别c，则
取值为1，否则取值为0。给定完全卷积判别网络D(·)，通过进行对抗学习，来训练鉴别器，对抗损失Lacv为：
步骤4、在湍流退化图像语义分割数据集上进行模型的训练，获得训练后的GAN模型，利用训练后模型对湍流退化图像进行语义分割。其中需要进行模型训练过程的参数及优化方式的设置，主要包括图像裁剪尺寸、学习率策略、训练步数和输出比率等。
图像裁剪尺寸设置为略大于原图尺寸，此时训练模型效果更好；学习率策略选择“POLY”，初始学习率设置为0.0001，初始训练步数为30000步，学习率衰减步数设为2000，学习速率衰减因子为0.1；训练步数设置为50000；编码器输出比率设置为16，即编码器输出特征图为原图尺寸的1/16，对应空洞卷积扩张率为[12,24,36]。
如图2所示，该图第一列为输入的原始图像，由于大气湍流影响，原始图像具有模糊和畸变的特点；图2第二列为真实标签图像；图2第三列为原始的DeepLabV3+模型的语义分割结果，其中，车辆分割误差较大、小目标车辆未被识别分割出来；图2第四列为本发明提出的模型获得的湍流退化图像语义分割结果，可见，车辆边界处分割更加精确，分割误差明显降低，同时小目标车辆被识别分割出来。由此可见，本发明能够针对湍流退化图像，改善分割结果的边界细节，提高语义分割精度。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (5)
1.基于边界感知和对抗学习的湍流退化图像语义分割方法，其特征在于，包括以下步骤：
(1)基于湍流成像物理模型，将仿真湍流退化图像与真实湍流退化图像相结合，构建湍流退化图像语义分割数据集；
(2)针对步骤(1)获得的数据集，结合湍流退化图像的模糊和畸变特性，构建基于边界感知的DeepLabV3+语义分割模型；
(3)将步骤(2)中基于边界感知的DeepLabV3+语义分割模型作为生成器，并结合由五个卷积层组成的鉴别器，构建基于对抗学习的边界感知生成对抗网络GAN模型；
(4)针对步骤(3)获得的GAN模型，在步骤(1)获得的湍流退化图像语义分割数据集上进行模型的训练，获得训练后的语义分割GAN模型，利用训练后的语义分割对抗网络GAN模型对湍流退化图像进行语义分割，获得预测分割图。
2.根据权利要求1所述的基于边界感知和对抗学习的湍流退化图像语义分割方法，其特征在于：所述步骤(1)中，湍流退化图像语义分割数据集的构建方法如下：
将湍流物理成像模型与图像处理算法即图像插值和图像卷积方法相结合，利用大气湍流物理成像模型，进行图像的湍流退化仿真，湍流物理成像模型的参数包括湍流调制传递函数MTF和光波到达角AOA起伏；图像模糊特性通过频域中的大气湍流调制传递函数MTF和空域中的点扩展函数PSF来描述，图像畸变失真与光波到达角AOA的波动有关；
真实湍流具有各向异性和非柯尔莫哥洛夫(Kolmogorov)性质，其中，各向异性因子能够在水平和垂直方向上对湍涡尺度分布的不对称性进行参数化；而湍流谱指数α在3到4之间进行取值；
给定原始图像I(x,y)，O(x,y)表示仿真后的湍流退化图像，F()和D()分别代表图像模糊算子和图像畸变算子，使用以下公式获取仿真后的湍流退化图像：
O(x,y)＝F(D(I(x,y)))
首先，设置仿真条件和参数数值，即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离，确定各向异性非Kolmogorov湍流MTF和光波AOA方差理论模型；然后，计算图像x和y两个方向上的位移矩阵，即δx和δy；第三，计算与湍流MTF的傅立叶逆变换有关的湍流点扩展函数PSF；第四，在已知δx和δy的条件下，使用图像双线性插值算法进行图像畸变仿真；最后，将畸变图像与湍流点扩展函数PSF进行卷积，得到各向异性非Kolmogorov湍流中的退化图像；
对于真实的湍流退化图像，参考现有数据集的标注规则，进行图像标签的标注。
3.根据权利要求1所述的基于边界感知和对抗学习的湍流退化图像语义分割方法，其特征在于：所述步骤(2)中，构建基于边界感知的DeepLabV3+语义分割模型，方法如下：
首先以DeepLabV3+为基础网络，然后在此基础上添加边界辅助监督模块，作为边界信息的监督指引；
边界辅助监督模块使用边缘检测滤波器，在预测分割图F和真实标签图GT上分别与边缘检测滤波器fB进行卷积，从而获得边界预测FB和边界真值GTB；边缘检测滤波器fB为3×3的Sobel滤波器；两个滤波器Sx,Sy分别描述了水平和垂直梯度，将两个滤波器连接成3×3×2维张量即为Sobel滤波器；
随后，对边界标签采用高斯模糊fG进行高斯滤波，从而得到最终的边界真值GTBG；平滑步骤中使用3×3高斯核；
边界辅助监督任务分支的训练：构造有效的边界辅助损失LBAS，定义为预测值
和与之对应的标签真值y之间的L2损失：
其中，s是样本，n是样本数量；总损失Ltot包括原始语义分割损失Lce和新的边界辅助损失LBAS，其中边界权重因子β用于调节全局信息和边界信息之间的比重；
Ltot＝Lce+βLBAS
通过最终损失函数提取准确的语义边界，同时增大特征的类别之间的差异性。
4.根据权利要求1所述的基于边界感知和对抗学习的湍流退化图像语义分割方法，其特征在于：所述步骤(3)中，构建基于对抗学习的边界感知对抗网络GAN模型，方法如下：
对抗网络GAN模型中，生成器采用边界感知DeepLabV3+模型，鉴别器采用由5个卷积层组成的神经网络模型，GAN网络的训练过程使用合成损失函数，即两组损失函数的加权和：
其中，N为数据集中的图像数量，Xi表示某一输入训练图像，Yi表示对应真实标签图，输入图像的维度为H×W×3；H为图像高度，W为图像宽度，第一项为生成器中的损失项，促进分割模型预测每个像素的正确类别；S(Xi)表示生成器输出的维度为H×W×C的类别概率图，C为类别个数，E(Yi)表示通过对具有离散标签的真实标签图Yi进行独热编码而获得的C个通道的标签概率向量；第二项为鉴别器的损失函数；当对抗网络正确判别出真实标签图和生成预测图时，此损失项大于预定阈值；p(X,Y)表示鉴别器预测Y是X的真实标签的概率，取值范围为[0,1]；λ表示权重系数；
鉴别器的训练使以下损失函数Ldis最小化：
其中，当样本为生成器中分割网络输出的预测分割图时，zi＝0；而当样本为真实标签图时，zi＝1；此外，D(S(Xi))p是Xi在像素p处的置信图，同理，D(Yi)p是Yi在像素p处的置信图；
生成器的训练使以下损失函数Lseg最小化：
Lseg＝(Lce+λBASLBAS)+λadvLadv
其中，Lce和LBAS为边界感知分割网络中的损失函数，分别是多类交叉熵损失和边界辅助监督损失，Ladv是对抗损失Adversarial Loss；λBAS和λadv是最小化多任务损失函数的权重系数，分别设置为0.1和0.01。
其中，如果像素
属于类别c，则Yi (p,c)取值为1，否则取值为0；给定完全卷积判别网络D(·)，通过进行对抗学习，来训练鉴别器，对抗损失Lacv为：
5.根据权利要求1所述的基于边界感知和对抗学习的湍流退化图像语义分割方法，其特征在于：
所述步骤(4)中，在湍流退化图像语义分割数据集上进行模型的训练，获得训练后的GAN模型，利用训练后模型对湍流退化图像进行语义分割，方法如下：进行模型训练过程的参数及优化方式的设置，包括图像裁剪尺寸、学习率策略、训练步数和输出比率；
图像裁剪尺寸设置为长宽均大于原图一个像素；学习率策略选择“POLY”，初始学习率设置为0.0001，初始训练步数为30000步，学习率衰减步数设为2000，学习速率衰减因子为0.1；训练步数设置为50000；编码器输出比率设置为16，即编码器输出特征图为原图尺寸的1/16，对应空洞卷积扩张率为[12,24,36]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010058022.9A CN111310582A (zh) | 2020-01-19 | 2020-01-19 | 基于边界感知和对抗学习的湍流退化图像语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010058022.9A CN111310582A (zh) | 2020-01-19 | 2020-01-19 | 基于边界感知和对抗学习的湍流退化图像语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111310582A true CN111310582A (zh) | 2020-06-19 |
Family
ID=71144902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010058022.9A Pending CN111310582A (zh) | 2020-01-19 | 2020-01-19 | 基于边界感知和对抗学习的湍流退化图像语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111310582A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738953A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于边界感知对抗学习的大气湍流退化图像复原方法 |
| CN111932555A (zh) * | 2020-07-31 | 2020-11-13 | 商汤集团有限公司 | 一种图像处理方法及装置、计算机可读存储介质 |
| CN111950478A (zh) * | 2020-08-17 | 2020-11-17 | 浙江东鼎电子股份有限公司 | 一种动态平板秤称重区域汽车s型行驶行为检测方法 |
| CN112101463A (zh) * | 2020-09-17 | 2020-12-18 | 成都数之联科技有限公司 | 图像语义分割网络训练方法、分割方法、分割装置和介质 |
| CN112396069A (zh) * | 2021-01-20 | 2021-02-23 | 深圳点猫科技有限公司 | 基于联合学习的语义边缘检测方法、装置、系统及介质 |
| CN113052203A (zh) * | 2021-02-09 | 2021-06-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种面向多种类数据的异常检测方法及装置 |
| CN113225130A (zh) * | 2021-03-25 | 2021-08-06 | 中国人民解放军国防科技大学 | 一种基于机器学习的大气湍流等效相位屏预测方法 |
| CN113486894A (zh) * | 2021-07-15 | 2021-10-08 | 北京航空航天大学 | 一种卫星图像特征部件语义分割方法 |
| WO2022033175A1 (zh) * | 2020-08-10 | 2022-02-17 | 浙江大学 | 基于边缘知识转化的图像前景分割算法 |
| CN114241407A (zh) * | 2021-12-10 | 2022-03-25 | 电子科技大学 | 一种基于深度学习的近距离屏幕监控方法 |
| CN114418872A (zh) * | 2021-12-28 | 2022-04-29 | 杭州电子科技大学 | 一种基于mGANprior的真实图像美感增强方法 |
| CN117274272A (zh) * | 2023-09-08 | 2023-12-22 | 青岛市市立医院 | 一种基于深度学习的冠状动脉造影图分割的优化方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
-
2020
- 2020-01-19 CN CN202010058022.9A patent/CN111310582A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
Non-Patent Citations (3)
| Title |
|---|
| LINYAN CUI等: "Accurate Semantic Segmentation in Turbulence Media", 《IEEE ACCESS》 * |
| ZHIXIAN YE 等: "Identification of Vortex Structures in Flow Field Images Based on Convolutional Neural Network and Dynamic Mode Decomposition", 《TRAITEMENT DU SIGNAL》 * |
| 崔林艳: "各向异性大气湍流中成像仿真研究", 《航空兵器》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738953A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于边界感知对抗学习的大气湍流退化图像复原方法 |
| CN111932555A (zh) * | 2020-07-31 | 2020-11-13 | 商汤集团有限公司 | 一种图像处理方法及装置、计算机可读存储介质 |
| US12067731B2 (en) | 2020-08-10 | 2024-08-20 | Zhejiang University | Image foreground segmentation algorithm based on edge knowledge transformation |
| WO2022033175A1 (zh) * | 2020-08-10 | 2022-02-17 | 浙江大学 | 基于边缘知识转化的图像前景分割算法 |
| CN111950478A (zh) * | 2020-08-17 | 2020-11-17 | 浙江东鼎电子股份有限公司 | 一种动态平板秤称重区域汽车s型行驶行为检测方法 |
| CN112101463A (zh) * | 2020-09-17 | 2020-12-18 | 成都数之联科技有限公司 | 图像语义分割网络训练方法、分割方法、分割装置和介质 |
| CN112396069A (zh) * | 2021-01-20 | 2021-02-23 | 深圳点猫科技有限公司 | 基于联合学习的语义边缘检测方法、装置、系统及介质 |
| CN112396069B (zh) * | 2021-01-20 | 2021-04-13 | 深圳点猫科技有限公司 | 基于联合学习的语义边缘检测方法、装置、系统及介质 |
| CN113052203A (zh) * | 2021-02-09 | 2021-06-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种面向多种类数据的异常检测方法及装置 |
| CN113225130A (zh) * | 2021-03-25 | 2021-08-06 | 中国人民解放军国防科技大学 | 一种基于机器学习的大气湍流等效相位屏预测方法 |
| CN113486894A (zh) * | 2021-07-15 | 2021-10-08 | 北京航空航天大学 | 一种卫星图像特征部件语义分割方法 |
| CN113486894B (zh) * | 2021-07-15 | 2023-07-25 | 北京航空航天大学 | 一种卫星图像特征部件语义分割方法 |
| CN114241407B (zh) * | 2021-12-10 | 2023-05-23 | 电子科技大学 | 一种基于深度学习的近距离屏幕监控方法 |
| CN114241407A (zh) * | 2021-12-10 | 2022-03-25 | 电子科技大学 | 一种基于深度学习的近距离屏幕监控方法 |
| CN114418872A (zh) * | 2021-12-28 | 2022-04-29 | 杭州电子科技大学 | 一种基于mGANprior的真实图像美感增强方法 |
| CN117274272A (zh) * | 2023-09-08 | 2023-12-22 | 青岛市市立医院 | 一种基于深度学习的冠状动脉造影图分割的优化方法 |
| CN117274272B (zh) * | 2023-09-08 | 2024-04-30 | 青岛市市立医院 | 一种基于深度学习的冠状动脉造影图分割的优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310582A (zh) | 基于边界感知和对抗学习的湍流退化图像语义分割方法 | |
| Shi et al. | Infrared dim and small target detection based on denoising autoencoder network | |
| CN105701508B (zh) | 基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法 | |
| Wu et al. | Stereo matching with fusing adaptive support weights | |
| CN110210551A (zh) | 一种基于自适应主体敏感的视觉目标跟踪方法 | |
| CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
| CN111914698B (zh) | 图像中人体的分割方法、分割系统、电子设备及存储介质 | |
| Wang et al. | Multifocus image fusion using convolutional neural networks in the discrete wavelet transform domain | |
| CN113408584B (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN106157307A (zh) | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 | |
| CN113538457B (zh) | 利用多频动态空洞卷积的视频语义分割方法 | |
| CN112364865B (zh) | 一种复杂场景中运动小目标的检测方法 | |
| CN111242127A (zh) | 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法 | |
| CN106228544A (zh) | 一种基于稀疏表示和标签传播的显著性检测方法 | |
| CN110020658B (zh) | 一种基于多任务深度学习的显著目标检测方法 | |
| CN106611420A (zh) | 基于反卷积网络和素描图方向约束的sar图像分割方法 | |
| US11367206B2 (en) | Edge-guided ranking loss for monocular depth prediction | |
| CN106447679A (zh) | 一种基于迭代图割和自适应聚类的显著性检测方法 | |
| CN112613392A (zh) | 基于语义分割的车道线检测方法、装置、系统及存储介质 | |
| CN109508639B (zh) | 基于多尺度带孔卷积神经网络的道路场景语义分割方法 | |
| CN117636296A (zh) | 一种基于改进LEP-YOLO v7的城市道路交通标志检测与识别方法 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 | |
| CN112561925A (zh) | 图像分割方法、系统、计算机设备及存储介质 | |
| CN117456376A (zh) | 一种基于深度学习的遥感卫星影像目标检测方法 | |
| CN112699878B (zh) | 一种注视点指导的显著目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200619 |