CN107767384A - 一种基于对抗训练的图像语义分割方法 - Google Patents

一种基于对抗训练的图像语义分割方法 Download PDF

Info

Publication number
CN107767384A
CN107767384A CN201711075403.2A CN201711075403A CN107767384A CN 107767384 A CN107767384 A CN 107767384A CN 201711075403 A CN201711075403 A CN 201711075403A CN 107767384 A CN107767384 A CN 107767384A
Authority
CN
China
Prior art keywords
network
mrow
dual training
msub
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711075403.2A
Other languages
English (en)
Other versions
CN107767384B (zh
Inventor
高建彬
邓泽露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201711075403.2A priority Critical patent/CN107767384B/zh
Publication of CN107767384A publication Critical patent/CN107767384A/zh
Application granted granted Critical
Publication of CN107767384B publication Critical patent/CN107767384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，公开了一种基于对抗训练的图像语义分割方法，用于解决现有语义分割方法不能实现图像全局信息和局部信息的有意义融合以及不能进行学习图像中的高阶势能的问题。本发明由于基于对抗训练网络来定义整个网络的损失函数，作为通用函数逼近器的对抗网络，不仅可以学习如何组合不同层的信息，而且还可以“迫使”生成网络学习到分割图片中的单点、配对、高阶势能等信息，实现图像局部台特征和全部特征的有机融合，得到效果更加逼真的分割图像；同时逐层训练的方法，避免了复杂的网络初始化参数过程，使得整个网络可以使用随机初始化的方法。

Description

一种基于对抗训练的图像语义分割方法
技术领域
本发明属于计算机视觉技术领域，涉及图像语义分割和对抗训练，具体涉及一种基于对抗训练的图像语义分割方法。
背景技术
随着人工智能的发展及普及，图像语义分割在计算机视觉领域的重要地位日渐凸显。许多应用都需要精确、高效的分割技术，如自动驾驶，室内导航，人机交互等等。近五年来，深度学习方法在计算机视觉领域取得巨大成功，各种网络结构被相继提出用以解决该领域的不同问题，如图像分类、定位等。然而，计算机视觉领域最成功的网络结构卷积神经网络(Convolutional Neural Network，CNN)对于图像语义分割来说，有一个重大的缺点：由于网络结构中大量的最大池化层堆叠，CNN最后获取的特征是整张图片的信息，而忽略了图片的局部特征，如图片中物体的边缘、位置等信息。诚然，CNN的特征不变性正是分类定位任务所要求的，然而图像语义分割指的是将图片中每个像素点归为一个类别，这就要求在获取全局特征的同时，保留局部特征。所以，当CNN直接运用到图像语义分割时，往往不能取得特别好的效果。并且CNN最后的分割结果，各像素之间的预测值往往是相互独立的，这也使得最后的分割结果很难保留原始图片的细节信息。
在现有的比较常见的解决上述问题的方法中，大致可归于以下三类；跨层连接：这是指从卷积神经网络的中间层获取图片局部特征，与网络的高层的全局特征进行融合，这样最后生成的分割图像会保留一部分细节信息。条件随机场：这是一种概率图模型，它利用CNN的分割结果来定义单点势能以及配对势能，接着进行推断来得到模型参数，这种方法迫使CNN的分割结果具有空间上的连续性，可以恢复更多的细节信息。其它结构方面的改变：比如空洞卷积，循环卷积神经网络等。
总体说来，图像语义分割还存在以下问题：
(1)跨层连接对于不同层信息的融合方式过于简单，不能实现图像全局信息和局部信息的有意义融合。
(2)条件随机场只局限于单点势能以及配对势能，并没有采用更高阶的势能，比如超像素的标签的连续性，然而，这些更高阶的势能已经被证明在提升分割的结果中是有意义的。
发明内容
本发明的目的在在于：针对上述技术问题，而提供一种基于对抗训练的图像语义分割方法，利用对抗训练来进行更有效的信息融合以及自动学习分割结果的高阶势能。
为解决技术问题，本发明所采用的技术方案是：
一种基于对抗训练的图像语义分割方法，其特征在于，包括如下步骤：
步骤1：将原始图像输入到卷积神经网络进行前向传递，得到低分辨率分割图像；
步骤2：将步骤1中得到的低分辨率分割图像进行上采样，然后将该上采样与卷积神经网络的中间特征层连接得到连接特征层，再将连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与原始图像的下采样分割结果进行对抗训练，利用梯度下降算法分别更新生成网络G及判别网络D参数，直至对抗训练的网络损失函数收敛；
步骤3：根据步骤2中的选取的上采样次数确定对抗训练的网络的层数，根据网络的层数确定步骤2重复的次数。如果步骤2中进行2次上采样，那么对抗训练中的网络层数为2，即完成第一次步骤2之后再重复一次步骤2；若步骤2中进行3次上采样，那么对抗训练中的网络层数为2，在完成第一次步骤2之后再重复二次步骤2。
所述对抗训练为一种深度网络生成型模型，能够学习真实数据分布，对抗训练包括生成网络G和判别网络D，其中对抗训练网络的损失函数定义如下：
其中x代表的真实数据，G(z)表下生成网络生成的数据；D(·)指的是将数据x或G(z)输入判别网络D，判别网络D输出结果取值为[0，1]，判别网络D输出结果取值表示输入是真实数据的可能性，其中判别网络D输出结果值越趋近于0，表明是由生成网络G生成的数据，判别网络D输出结果值越趋近于1，表明是真实数据；生成网络G为了学习真实数据分布Pdata(x)，首先对输入噪声z定义了先验分布Pz(z)，生成网络G生成的数据G(z；θG)，其中θG指的是生成网络的参数；判别网络D(x；θD)输出的一个标量值，代表的是x来自真实数据分布Pdata(x)的概率；其中θD指的是判别网络D的参数。
由上述(1)公式得到，生成网络G的梯度下降算法定义如下：
由上述(1)公式得到，生成网络G的梯度下降算法定义如下：
其中，m代表的是样本个数。
梯度下降算法指的是沿着模型中参数梯度的负方向，即损失函数变小趋势的方向更新参数，是一种基本的最优化方法。
具体的步骤3中确定好重复次数后，将上一次步骤2中获得的连接特征层进行上采样，然后将该上采样与卷积神经网络对应的中间特征层进行连接得到此次步骤的连接特征层，再将此次步骤的连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与真实图像下采样分割结果进行对抗训练，对抗训练包括生成网络G和判别网络D，利用梯度下降算法分别更新生成网络G的参数及判别网络D的参数，直至对抗训练的网络损失函数收敛。
本发明中，指的是将卷积神经网络(CNN)，即生成网络G，生成的分割图像与真实的分割图像交由一个判别网络D进行判定，判别网络的损失函数的物理意义是使得判别网络尽量区分生成的分割图像与真实的分割图像；而生成网络的损失函数的物理意义是使生成的分割图像尽可能逼近真实的分割图像，尽可能“欺骗”判别网络。
由于本发明基于对抗网络来定义整个网络的损失函数，作为通用函数逼近器的对抗网络，不仅可以学习如何组合不同层的信息，而且还可以“迫使”生成网络学习到分割图片中的单点、配对、高阶势能等信息，实现图像局部台特征和全部特征的有机融合，得到效果更加逼真的分割图像；同时逐层训练的方法，避免了复杂的网络初始化参数过程，使得整个网络可以使用随机初始化的方法。
综上所述，与现有技术相比，本发明具有以下有益效果：
(1)利用对抗网络实现了不同层信息有意义的融合；
(2)利用对抗训练来定义网络的生成图像与真实图像的网络损失函数，可以学习到图片中的高阶势能，生成更加逼真的分割图像；
(3)逐层训练的方式，由低分辨率的分割图像逐渐生成原始图片尺寸的分割图像，使得训练更加稳定，能有效缓解生成网络G陷入“崩溃”模式的情形。同时，这种训练方式使得不同层的输出具有不同的含义，增加了生成网络G的可解释性。
附图说明
图1是本发明一实施例的示意图。
具体实施方式
下面结合实施例对本发明作进一步的描述，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例，都属于本发明的保护范围。
本发明的基于对抗训练的图像语义分割方法，包括如下步骤：包括如下步骤：
步骤1：将原始图像输入到卷积神经网络进行前向传递，得到低分辨率分割图像；
步骤2：将步骤1中得到的低分辨率分割图像进行上采样，然后将该上采样与卷积神经网络的中间特征层连接得到连接特征层，再将连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与原始图像的下采样分割结果进行对抗训练，利用梯度下降算法分别更新生成网络G及判别网络D参数，直至对抗训练的网络损失函数收敛；
步骤3：根据步骤2中的选取的上采样次数确定对抗训练的网络的层数，根据网络的层数确定步骤2重复的次数。如果步骤2中进行2次上采样，那么对抗训练中的网络层数为2，即完成第一次步骤2之后再重复一次步骤2；若步骤2中进行3次上采样，那么对抗训练中的网络层数为2，在完成第一次步骤2之后再重复二次步骤2。
所述对抗训练为一种深度网络生成型模型，能够学习真实数据分布，对抗训练包括生成网络G和判别网络D，其中对抗训练网络的损失函数定义如下：
其中x代表的真实数据，G(z)表示生成网络生成的数据；D(·)指的是将数据x或G(z)输入判别网络D，判别网络D输出结果取值为[0，1]，判别网络D输出结果取值表示输入是真实数据的可能性，其中判别网络D输出结果值越趋近于0，表明是由生成网络G生成的数据，判别网络D输出结果值越趋近于1，表明是真实数据；生成网络G为了学习真实数据分布Pdata(x)，首先对输入噪声z定义了先验分布Pz(z)，生成网络G生成的数据G(z；θG)，其中θG指的是生成网络的参数；判别网络D(x；θD)输出的一个标量值，代表的是x来自真实数据分布Pdata(x)的概率；其中θD指的是判别网络D的参数。
由上述(1)公式得到.生成网络G的梯度下降算法定义如下：
由上述(1)公式得到，生成网络G的梯度下降算法定义如下：
其中，m代表的是样本个数。
具体的步骤3中确定好重复次数后，将上一次步骤2中获得的连接特征层进行上采样，然后将该上采样与卷积神经网络对应的中间特征层进行连接得到此次步骤的连接特征层，再将此次步骤的连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与真实图像下采样分割结果进行对抗训练，对抗训练包括生成网络G和判别网络D，利用梯度下降算法分别更新生成网络G的参数及判别网络D的参数，直至对抗训练的网络损失函数收敛。
实施例一
结合附图1，本实施例的基于对抗训练的图像语义分割方法，包括以下步骤：
步骤1：将原始图像输入到卷积神经网络(即生成网络G)进行前向传递，得到低分辨率分割图像；
具体为：设原始图像大小为H×W×3，将原始图像输入到卷积神经网络(即生成网络G)进行卷积池化操作后，得到第一次下采样特征层，尺寸为H/s1×W/s1×Cdown1，然后再将第一次下采样特征层再次进行卷积和池化操作，得到第二次下采样特征层，尺寸为H/(s1×s2)×W/(s1×s2)×Cdown2，重复此过程，可以依次得到第三次下采样特征层，第四次下采样特征层等，这里为简单起见，仅解释具有两个下采样特征层的情况，具有三个及其以上下采样特征层的情况可以依次类推。
步骤2：将步骤1中得到的低分辨率分割图像进行上采样，然后将该上采样与卷积神经网络的中间特征层连接得到连接特征层，再将连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与原始图像的下采样分割结果进行对抗训练，利用梯度下降算法分别更新生成网络G及判别网络D参数，直至对抗训练的网络损失函数收敛；
具体为：
(2.1)将最后一次下采样特征层，这里为第两次下采样特征层进行s2倍上采样，得到第一次上采样特征层，尺寸为H/s1×W/s1×Cup1。然后将该上采样层与同样高度宽度的第一次下采样特征层进行连接，得到尺寸为H/s1×W/s1×(Cdown1+Cup1)的连接特征层，对该特征层进行1×1卷积操作，得到预测概率图predictions1，尺寸为H/s1×W/s1，即得到新的分割结果。
(2.2)利用最近邻插值方法，将真实的分割结果进行S1倍下采样，得到ground_truths1，尺寸为H/s1×W/s1。利用预测分割结果predictions1和真实分割结果ground_truths1进行对抗训练。假设有N张predictions1和相应的ground_truths1，损失函数如下：
损失函数如下：
λ[log(D(ground_truths1 (i))+log(1-D(predictions1 (i))] (4)
其中，lmce指的是多元互熵，定义如下：
其中，指的是第i个像素点真实值与预测值的误差，即第i个像素点的损失函数。式(5)
的损失函数表示的是所有像素点的损失函数的和。D(′)所代表的含义同公式(1)，λ是超参数，由具体情况确定。
为方便起见，y＝ground_truths1。将式(4)分解，可分别得到生成网络G的损失函数：
以及判别网络D的损失函数：
生成网络G中的第一部分使得生成网络G可以生成像素级的分割结果，第二部分使得生成的分割结果之中，考虑了像素与像素之间的关联性，即实现了图像全局信息和局部信息的融合。两者所占比例系数由参数λ确定，在实际例子中，采用网格搜索法确定最优参数。
再分别利用式(6)和式(7)最小化损失函数，更新网络参数。需要注意的是，这里参数的更新方式可以采用不同的策略，比如常见的每更新k次判别网络D参数θD，就更新一次生成网络G参数θG；或者是每更新k次生成网络G参数θG，就更新一次判别网络D参数θD。
(2.3)更新网络参数直至损失函数收敛。
步骤3：根据步骤2中的选取的上采样次数，确定网络的层数重复步骤2。
(3.1)将过程2得到的尺寸为H/s1×W/s1×(Cdown1+Cup1)的连接特征层，进行s1倍上采样，得到第二次上采样层，尺寸为H×W×Cup2。然后将该上采样层与同样高度宽度的输入图片进行连接，得到尺寸为H×W×(Cup2+3)的连接特征层，对该特征层进行1×1卷积操作，得到预测概率图predictions1，尺寸为H×W，即最终分割结果。
(3.2)真实分割结果为ground_truth，尺寸为H×W，预测分割结果为prediction，尺寸同样为H×W。利用预测分割结果prediction和真实分割结果ground_truth进行对抗训练。假设有N张prediction和相应的ground_truth，剩下过程与(2.2)中所述相同。
(3.3)重复更新网络参数直至损失函数收敛。需要注意的是，此步骤完成后，由于网络预测分割结果图像的尺寸和原始图片尺寸相同，网络已经完成了训练。
需要说明的是：
本申请中公式(1)、(2)、(3)是生成对抗训练网络最基础的公式，需要根据实际的情况做一定的修改。公式(4)、(6)、(7)分别与公式(1)、(2)、(3)一一对应，但是由于用于具体的实际例子，所以形式上有所不同，但是本质依旧是一样的。(2)(3)定义的梯度下降方向，公式(6)(7)定义的是损失函数，两者其实是等价的。公式(5)是对公式(4)的一个解释说明.因为这里用到了具体应用(语义分割)中的损失函数)。

Claims (4)

1.一种基于对抗训练的图像语义分割方法，其特征在于，包括如下步骤：
步骤1：将原始图像输入到卷积神经网络进行前向传递，得到低分辨率分割图像；
步骤2：将步骤1中得到的低分辨率分割图像进行上采样，然后将该上采样与卷积神经网络的中间特征层连接得到连接特征层，再将连接特征层进行1×1卷积操作得到新的分割结果；然后将得到的新的分割结果与真实图像下采样分割结果进行对抗训练，对抗训练包括生成网络G和判别网络D，利用梯度下降算法分别更新生成网络G的参数及判别网络D的参数，直至对抗训练的网络损失函数收敛；
步骤3：根据步骤2中的选取的上采样次数确定对抗训练中网络的层数，根据网络的层数确定步骤2重复的次数。
2.根据权利要求1所述的基于对抗训练的图像语义分割方法，其特征在于，对抗训练的网络损失函数定义如下：
<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>G</mi> </munder> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>D</mi> </munder> <mi>V</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>,</mo> <mi>G</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mi> </mi> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>z</mi> <mo>~</mo> <msub> <mi>p</mi> <mi>z</mi> </msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mi> </mi> <mi>D</mi> <mrow> <mo>(</mo> <mi>G</mi> <mo>(</mo> <mi>z</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中x代表的真实数据，G(z)表示生成网络生成的数据；D(·)指的是将数据x或G(z)输入判别网络D，判别网络D输出结果取值为[0，1]，判别网络D输出结果取值表示输入是真实数据的可能性；生成网络G为了学习真实数据分布Pdata(x)，首先对输入噪声z定义了先验分布Pz(z)，生成网络G生成的数据G(z；θG)，其中θG指的是生成网络的参数；判别网络D(x；θD)输出的一个标量值，代表的是x来自真实数据分布Pdata(x)的概率；其中θD指的是判别网络D的参数。
3.根据权利要求2所述的基于对抗训的图像语义分割方法，其特征在于，
由公式(1)得到，生成网络G的梯度下降算法定义如下：
<mrow> <msub> <mo>&amp;dtri;</mo> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </msub> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>D</mi> <mo>(</mo> <mrow> <mi>G</mi> <mrow> <mo>(</mo> <msup> <mi>z</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
由公式(1)得到，生成网络G的梯度下降算法定义如下：
公式(2)和公式(3)中，m代表的是样本个数。
4.根据权利要求1所述1所述的基于对抗训的图像语义分割方法，其特征在于，确定重复的次数后：将上一次步骤2中获得的连接特征层进行上采样，然后将该上采样与卷积神经网络对应的中间特征层进行连接得到此次步骤的连接特征层，再将此次步骤的连接特征层进行1×1卷积操作得到新的分割结果；然后将得到的新的分割结果与真实图像下采样分割结果进行对抗训练，对抗训练包括生成网络G和判别网络D，利用梯度下降算法分别更新生成网络G的参数及判别网络D的参数，直至对抗训练的网络损失函数收敛。
CN201711075403.2A 2017-11-03 2017-11-03 一种基于对抗训练的图像语义分割方法 Active CN107767384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711075403.2A CN107767384B (zh) 2017-11-03 2017-11-03 一种基于对抗训练的图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711075403.2A CN107767384B (zh) 2017-11-03 2017-11-03 一种基于对抗训练的图像语义分割方法

Publications (2)

Publication Number Publication Date
CN107767384A true CN107767384A (zh) 2018-03-06
CN107767384B CN107767384B (zh) 2021-12-03

Family

ID=61272191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711075403.2A Active CN107767384B (zh) 2017-11-03 2017-11-03 一种基于对抗训练的图像语义分割方法

Country Status (1)

Country Link
CN (1) CN107767384B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416752A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN108492301A (zh) * 2018-03-21 2018-09-04 广东欧珀移动通信有限公司 一种场景分割方法、终端及存储介质
CN108549895A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗网络的半监督语义分割方法
CN108765340A (zh) * 2018-05-29 2018-11-06 Oppo（重庆）智能科技有限公司 模糊图像处理方法、装置及终端设备
CN108830209A (zh) * 2018-06-08 2018-11-16 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
CN108921851A (zh) * 2018-06-06 2018-11-30 深圳市未来媒体技术研究院 一种基于3d对抗网络的医学ct图像分割方法
CN108985269A (zh) * 2018-08-16 2018-12-11 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN109584257A (zh) * 2018-11-28 2019-04-05 中国科学院深圳先进技术研究院 一种图像处理方法及相关设备
CN109598279A (zh) * 2018-09-27 2019-04-09 天津大学 基于自编码对抗生成网络的零样本学习方法
CN109902809A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种利用生成对抗网络辅助语义分割模型
CN110111236A (zh) * 2019-04-19 2019-08-09 大连理工大学 基于渐进式对抗生成网络的多目标草图生成图像的方法
CN110175961A (zh) * 2019-05-22 2019-08-27 艾特城信息科技有限公司 一种基于人脸图像分割对抗思想的去网纹方法
CN110320883A (zh) * 2018-03-28 2019-10-11 上海汽车集团股份有限公司 一种基于强化学习算法的车辆自动驾驶控制方法及装置
CN110363210A (zh) * 2018-04-10 2019-10-22 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
CN110414526A (zh) * 2019-07-31 2019-11-05 达闼科技（北京）有限公司 语义分割网络的训练方法、训练装置、服务器和存储介质
WO2019218826A1 (zh) * 2018-05-17 2019-11-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110826688A (zh) * 2019-09-23 2020-02-21 江苏艾佳家居用品有限公司 一种保障gan模型最大最小损失函数平稳收敛的训练方法
CN111160555A (zh) * 2019-12-26 2020-05-15 北京迈格威科技有限公司 基于神经网络的处理方法、装置及电子设备
CN111192248A (zh) * 2019-12-30 2020-05-22 山东大学 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法
CN111292317A (zh) * 2020-03-11 2020-06-16 四川大学华西医院 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法
CN112639817A (zh) * 2018-06-20 2021-04-09 特斯拉公司 用于自主驾驶的数据管线和深度学习系统
CN112801281A (zh) * 2021-03-22 2021-05-14 东南大学 基于量子化生成模型和神经网络的对抗生成网络构建方法
CN113313180A (zh) * 2021-06-04 2021-08-27 太原理工大学 一种基于深度对抗学习的遥感图像语义分割方法
CN113781377A (zh) * 2021-11-03 2021-12-10 南京理工大学 基于对抗性语义引导与感知的红外和可见光图像融合方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015195609A1 (en) * 2014-06-16 2015-12-23 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN106920206A (zh) * 2017-03-16 2017-07-04 广州大学 一种基于对抗神经网络的隐写分析方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107103590A (zh) * 2017-03-22 2017-08-29 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法
CN107122826A (zh) * 2017-05-08 2017-09-01 京东方科技集团股份有限公司 用于卷积神经网络的处理方法和系统、和存储介质
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107133934A (zh) * 2017-05-18 2017-09-05 北京小米移动软件有限公司 图像补全方法及装置
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107194418A (zh) * 2017-05-10 2017-09-22 中国科学院合肥物质科学研究院 一种基于对抗特征学习的水稻蚜虫检测方法
CN107274358A (zh) * 2017-05-23 2017-10-20 广东工业大学 基于cGAN算法的图像超分辨恢复技术
CN107292813A (zh) * 2017-05-17 2017-10-24 浙江大学 一种基于生成对抗网络的多姿态人脸生成方法
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015195609A1 (en) * 2014-06-16 2015-12-23 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN106920206A (zh) * 2017-03-16 2017-07-04 广州大学 一种基于对抗神经网络的隐写分析方法
CN107103590A (zh) * 2017-03-22 2017-08-29 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107122826A (zh) * 2017-05-08 2017-09-01 京东方科技集团股份有限公司 用于卷积神经网络的处理方法和系统、和存储介质
CN107194418A (zh) * 2017-05-10 2017-09-22 中国科学院合肥物质科学研究院 一种基于对抗特征学习的水稻蚜虫检测方法
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107292813A (zh) * 2017-05-17 2017-10-24 浙江大学 一种基于生成对抗网络的多姿态人脸生成方法
CN107133934A (zh) * 2017-05-18 2017-09-05 北京小米移动软件有限公司 图像补全方法及装置
CN107274358A (zh) * 2017-05-23 2017-10-20 广东工业大学 基于cGAN算法的图像超分辨恢复技术
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
ALEC RADFORD 等: "UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS", 《ARXIV:1511.06434V2》 *
HENGSHUANG ZHAO 等: "Pyramid Scene Parsing Network", 《ARXIV:1612.01105V2》 *
HYEONWOO NOH 等: "Learning Deconvolution Network for Semantic Segmentation", 《ARXIV:1505.04366V1》 *
IAN J. GOODFELLOW 等: "Generative Adversarial Nets", 《ARXIV:1406.2661V1》 *
PAULINE LUC 等: "Semantic Segmentation using Adversarial Networks", 《ARXIV:1611.08408V1》 *
徐一峰: "生成对抗网络理论模型和应用综述", 《金华职业技术学院学报》 *
李珀任: "一种基于标记分水岭的高分辨率遥感影像分割方法", 《地理与地理信息科学》 *
王坤峰 等: "生成式对抗网络 GAN 的研究进展与展望", 《自动化学报》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416752A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN108416752B (zh) * 2018-03-12 2021-09-07 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN108492301A (zh) * 2018-03-21 2018-09-04 广东欧珀移动通信有限公司 一种场景分割方法、终端及存储介质
CN110320883A (zh) * 2018-03-28 2019-10-11 上海汽车集团股份有限公司 一种基于强化学习算法的车辆自动驾驶控制方法及装置
CN110363210B (zh) * 2018-04-10 2023-05-05 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
CN110363210A (zh) * 2018-04-10 2019-10-22 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
CN108549895A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗网络的半监督语义分割方法
WO2019218826A1 (zh) * 2018-05-17 2019-11-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
US11373305B2 (en) 2018-05-17 2022-06-28 Tencent Technology (Shenzhen) Company Limited Image processing method and device, computer apparatus, and storage medium
CN108765340A (zh) * 2018-05-29 2018-11-06 Oppo（重庆）智能科技有限公司 模糊图像处理方法、装置及终端设备
CN108921851A (zh) * 2018-06-06 2018-11-30 深圳市未来媒体技术研究院 一种基于3d对抗网络的医学ct图像分割方法
CN108921851B (zh) * 2018-06-06 2021-07-09 深圳市未来媒体技术研究院 一种基于3d对抗网络的医学ct图像分割方法
CN108830209A (zh) * 2018-06-08 2018-11-16 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
CN108830209B (zh) * 2018-06-08 2021-12-17 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
CN112639817A (zh) * 2018-06-20 2021-04-09 特斯拉公司 用于自主驾驶的数据管线和深度学习系统
CN108985269A (zh) * 2018-08-16 2018-12-11 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN108985269B (zh) * 2018-08-16 2022-06-10 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN109598279B (zh) * 2018-09-27 2023-04-25 天津大学 基于自编码对抗生成网络的零样本学习方法
CN109598279A (zh) * 2018-09-27 2019-04-09 天津大学 基于自编码对抗生成网络的零样本学习方法
CN109584257B (zh) * 2018-11-28 2022-12-09 中国科学院深圳先进技术研究院 一种图像处理方法及相关设备
CN109584257A (zh) * 2018-11-28 2019-04-05 中国科学院深圳先进技术研究院 一种图像处理方法及相关设备
CN109902809A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种利用生成对抗网络辅助语义分割模型
CN110111236B (zh) * 2019-04-19 2022-11-18 大连理工大学 基于渐进式对抗生成网络的多目标草图生成图像的方法
CN110111236A (zh) * 2019-04-19 2019-08-09 大连理工大学 基于渐进式对抗生成网络的多目标草图生成图像的方法
CN110175961A (zh) * 2019-05-22 2019-08-27 艾特城信息科技有限公司 一种基于人脸图像分割对抗思想的去网纹方法
CN110175961B (zh) * 2019-05-22 2021-07-27 艾特城信息科技有限公司 一种基于人脸图像分割对抗思想的去网纹方法
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110414526B (zh) * 2019-07-31 2022-04-08 达闼科技（北京）有限公司 语义分割网络的训练方法、训练装置、服务器和存储介质
CN110414526A (zh) * 2019-07-31 2019-11-05 达闼科技（北京）有限公司 语义分割网络的训练方法、训练装置、服务器和存储介质
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法
CN110826688B (zh) * 2019-09-23 2022-07-29 江苏艾佳家居用品有限公司 一种保障gan模型最大最小损失函数平稳收敛的训练方法
CN110826688A (zh) * 2019-09-23 2020-02-21 江苏艾佳家居用品有限公司 一种保障gan模型最大最小损失函数平稳收敛的训练方法
CN111160555A (zh) * 2019-12-26 2020-05-15 北京迈格威科技有限公司 基于神经网络的处理方法、装置及电子设备
CN111160555B (zh) * 2019-12-26 2023-12-01 北京迈格威科技有限公司 基于神经网络的处理方法、装置及电子设备
CN111192248A (zh) * 2019-12-30 2020-05-22 山东大学 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法
CN111192248B (zh) * 2019-12-30 2023-05-05 山东大学 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法
CN111292317B (zh) * 2020-03-11 2022-06-07 四川大学华西医院 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法
CN111292317A (zh) * 2020-03-11 2020-06-16 四川大学华西医院 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法
CN112801281A (zh) * 2021-03-22 2021-05-14 东南大学 基于量子化生成模型和神经网络的对抗生成网络构建方法
CN113313180A (zh) * 2021-06-04 2021-08-27 太原理工大学 一种基于深度对抗学习的遥感图像语义分割方法
CN113781377A (zh) * 2021-11-03 2021-12-10 南京理工大学 基于对抗性语义引导与感知的红外和可见光图像融合方法

Also Published As

Publication number Publication date
CN107767384B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN107767384A (zh) 一种基于对抗训练的图像语义分割方法
CN110298361A (zh) 一种rgb-d图像的语义分割方法和系统
CN110516539A (zh) 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备
CN110399518B (zh) 一种基于图卷积的视觉问答增强方法
CN108416755A (zh) 一种基于深度学习的图像去噪方法及系统
CN108090443A (zh) 基于深度强化学习的场景文本检测方法及系统
CN108345890A (zh) 图像处理方法、装置和相关设备
CN106934352A (zh) 一种基于双路分形网络和lstm的视频描述方法
CN106203625A (zh) 一种基于多重预训练的深层神经网络训练方法
CN111681178B (zh) 一种基于知识蒸馏的图像去雾方法
CN110223234A (zh) 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN109146944B (zh) 一种基于深度可分卷积神经网络的视觉深度估计方法
JP6810415B2 (ja) 自律走行自動車のレベル４を満たすために領域のクラスに応じてモードを切り換えてグリッドセルごとに重み付けコンボリューションフィルタを利用した監視用イメージセグメンテーション方法及び装置、並びにそれを利用したテスト方法及びテスト装置
CN106845529A (zh) 基于多视野卷积神经网络的影像特征识别方法
CN110009095A (zh) 基于深度特征压缩卷积网络的道路行驶区域高效分割方法
CN107273936A (zh) 一种gan图像处理方法及系统
CN108596470A (zh) 一种基于TensorFlow框架的电力设备缺陷文本处理方法
CN111240350A (zh) 一种无人机飞行员动态行为评估系统
CN105528638A (zh) 灰色关联分析法确定卷积神经网络隐层特征图个数的方法
CN106067161A (zh) 一种对图像进行超分辨的方法
CN106339753A (zh) 一种有效提升卷积神经网络稳健性的方法
CN106777127A (zh) 基于知识图谱的个性化学习过程的自动生成方法及系统
CN110472738A (zh) 一种基于深度强化学习的无人艇实时避障算法
CN114092697B (zh) 注意力融合全局和局部深度特征的建筑立面语义分割方法
CN109783887A (zh) 一种面向三维加工特征的智能识别与检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant