CN113627443A - 一种增强特征空间对抗学习的域自适应语义分割方法 - Google Patents
一种增强特征空间对抗学习的域自适应语义分割方法 Download PDFInfo
- Publication number
- CN113627443A CN113627443A CN202111178865.3A CN202111178865A CN113627443A CN 113627443 A CN113627443 A CN 113627443A CN 202111178865 A CN202111178865 A CN 202111178865A CN 113627443 A CN113627443 A CN 113627443A
- Authority
- CN
- China
- Prior art keywords
- feature
- discriminator
- domain
- class
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 66
- 230000006870 function Effects 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000003044 adaptive effect Effects 0.000 claims description 18
- 239000002346 layers by function Substances 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 239000010410 layer Substances 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种增强特征空间对抗学习的域自适应语义分割方法,通过引入分类约束鉴别器以及对抗学习和伪标签自训练相结合的混合协作框架,有效地缓解了特征空间对抗学习方法中的训练不平衡和特征失真问题以及分类器过度拟合源域特征的问题,促使网络更好地提取域不变特征,提高网络泛化能力的增强特征空间对抗学习的域自适应语义分割算法。
Description
技术领域
本发明属于无监督域自适应语义分割方法,具体地说,涉及一种增强特征空间对抗学习的域自适应语义分割方法。
背景技术
语义分割的目的是通过标记每个像素来预测输入图像的结构化输出,作为计算机视觉领域的一个重要课题,语义分割在自主驾驶、医学图像分析等领域有着重要的应用。目前的语义分割方法主要是基于深度卷积神经网络的最新进展,随着全卷积网络(fullyconvolutional networks,FCN)的出现,以FCN为骨干网络的语义分割算法取得了巨大的成功。然而,训练深层神经网络需要大量带注释的训练数据。与图像分类任务预测图像的标签不同,语义分割需要对每个像素进行标记,才能预测输入图像的结构化输出,而用于语义分割的像素级注释非常昂贵和耗时。解决语义分割标注问题的一个很有前景的方法是从现代计算机图形学工具提供的合成图像中学习,例如,大量的图像和像素级标签可以从GTA5游戏中自动获取。然而,由于域间显著的差距,例如图像样式和场景布局上的不同,在合成数据集上训练的模型不能很好地泛化到实际图像的分割任务上。
作为解决上述泛化问题的一种方法,无监督域自适应的目的是使在带注释的源域数据集上训练的模型能够较好地迁移到另一个无标记的目标域数据集。当前域自适应的一个最流行的方法是特征空间对抗学习,该类方法致力于为下游任务学习语义上有意义并且领域通用的特征。在特征空间对抗训练中,网络需要训练一个域鉴别器来区分源域和目标域的特征表示,同时,特征生成器被鼓励生成域间不可区分的特征来混淆鉴别器。
当将对抗学习方法引入到无监督的域自适应语义分割任务中时,需要生成的则是领域不变的特征,而鉴别器则用来预测生成的特征来自哪个领域。
然而,采用传统鉴别器进行特征对抗在自适应方法无法取得令人满意的性能,鉴别器的能力取决于感受野的大小,如果鉴别器感知到太多的上下文特征,可能会过于强大,打破对抗学习中的训练平衡。尽管特征编码器在训练过程中被期望通过生成域不变特征来混淆鉴别器,从而增强模型泛化能力,但编码器也可能产生失真和模棱两可的特征来欺骗鉴别器,导致网络对源域图像和目标域图像都产生失真和错误的预测。
故而现有技术存在以下缺陷:
(1)尽管在分类任务上已经取得了很大的进展,现有的特征空间自适应方法在用于语义分割任务时,存在对抗训练不平衡问题。由于为分割任务提取的深层特征相比于分类任务包含更加丰富的结构信息,可能会为鉴别器提供过多的领域线索,导致鉴别器可以很容易地区分来自源域和目标域的特征,由于训练平衡被打破,特征编码器无法产生令人满意的域不变特征。
(2)现有特征空间对抗学习方法的另一个问题是原有特征分布容易发生扭曲失真问题,尽管特征生成器致力于提取领域不变的特征来增强网络泛化能力,但它也可能产生失真和模棱两可的特征来欺骗鉴别器,在这种情况下,源域图像和目标域图像都会产生失真和错误的预测。
(3)此外,在特征空间对抗学习中,由于目标域标签的缺失,分类器只能根据源域标签进行参数更新,网络很难生成具有良好结构可分性的目标域特征,使用源域标签训练的分类器容易过度拟合源域特征,无法预测目标域的结构化输出。
发明内容
本发明针对现有的特征空间对抗学习方法中对抗训练不平衡、原有特征分布容易发生扭曲失真、无法预测目标域的结构化输出等问题,提出了一种增强特征空间对抗学习的域自适应语义分割方法,本发明通过引入分类约束鉴别器以及对抗学习和伪标签自训练相结合的混合协作框架,有效地缓解了特征空间对抗学习方法中的训练不平衡和特征失真问题以及分类器过度拟合源域特征的问题,促使网络更好地提取域不变特征,提高网络泛化能力的增强特征空间对抗学习的域自适应语义分割算法。
本发明具体实现内容如下:
本发明提出了一种增强特征空间对抗学习的域自适应语义分割方法,基于增强特征空间对抗学习的域自适应语义分割系统,包括以下步骤:
步骤1:采用特征编码器对源域图像和目标域图像进行特征提取,生成源域图像特征和目标域图像特征;
步骤2:采用分类约束鉴别器对源域图像特征和目标域图像特征进行特征空间对抗学习;
步骤3:使用对抗学习和伪标签自训练相结合的形式,通过共享分类器对源域图像特征和目标域图像特征进行分割,得到源域图像特征分割图和目标域图像特征分割图;
步骤4:采用类别中心计算模块获取每一类别的源域图像特征分割图和每一类别的目标域图像特征分割图的特征中心,并将源域和目标域对应的同一类别的目标域图像特征分割图和源域图像特征分割图进行特征中心对齐;
所述增强特征空间对抗学习的域自适应语义分割系统包括特征提取器、分类约束鉴别器、共享分类器、类别中心计算模块;所述分类约束鉴别器包括与特征提取器连接的分类器和鉴别器;所述共享分类器分别与所述特征提取器、类别中心计算模块连接;所述类别中心计算模块与所述特征提取器连接;所述分类器通过共享除最后一个功能层之外的所有参数来实现对鉴别器的约束;所述分类约束鉴别器通过最后一个功能层分别为分类器和鉴别器预测语义类别和域来源。
为了更好地实现本发明,进一步地,所述步骤2中,在分类约束鉴别器中,采用分类器组件作为约束,赋予鉴别器源域特征的结构信息,迫使特征编码器从目标域提取包含结构信息的域不变特征来混淆鉴别器;过程中,将源域图像特征和目标域图像特征输入到分类约束鉴别器后,使用分类约束鉴别器损失进行训练,具体公式如下:
式中,等号右侧前两项为鉴别器的损失函数,第三项为针对分类器对于源域输出的辅助分割损失;C表示分类器,c代表类别,D表示鉴别器;和表示鉴别器的输出高和宽;h和w表示输入图像的高和宽;C1表示预定义的类别,是在训练分类约束鉴别器时控制辅助分割损失相对重要性的超参数。
为了更好地实现本发明,进一步地,所述步骤3中:
式中,G1表示分割网络,h和w表示输入图像的高和宽,C2表示预定义的类别,c代表类别。
为了更好地实现本发明,进一步地,在所述步骤3中:
对于没有标记的目标域图像特征:在自训练的过程中为目标域图像特征生成伪标签,利用伪标签指导网络更新,具体操作为:
其中,是第n个像素属于类别c的概率,n=1,2,……,N;是为每个类c选择p×100%最可靠伪标签的阈值,代表将被预测为c类的所有像素的概率进行排序,选择,使其等于在从高到低排序中处于位置p×Nc的概率;Nc是预测为c类的像素数;p表示伪标签的比例,值介于[0,1]之间;
为了更好地实现本发明,进一步地,所述步骤4的具体操作为:
然后,再每次迭代i中,对每个类的全局特征中心进行更新,具体更新公式如下:
为了更好地实现本发明,进一步地,所述全局特征中心的计算方法为:将标签转换到独热编码,统计属于每个类别的像素个数;然后在对特征沿着通道维度进行softmax函数处理之后,与独热标签进行矩阵相乘来获得累积的类别特征,然后通过对累积的类别特征取平均得到类别的全局特征中心。
为了更好地实现本发明,进一步地,所述特征编码器采用预先在ImageNet数据集上进行了预训练的ResNet-101网络。
为了更好地实现本发明,进一步地,对于分割网络G1,采用SGD优化器进行优化,SGD优化器的动量和权重衰减分别为0.9和0.0001,设置初始学习率为0.00025,并使用幂为0.9多项式衰减进行降低。
为了更好地实现本发明,进一步地,采用Adam优化器作为分类约束鉴别器的优化器,设置初始学习率为0.0001,动量为0.9和0.99,并使用幂为0.9多项式衰减进行降低。
所述步骤3中:
式中,G1表示分割网络,h和w表示输入图像的高和宽,C2表示预定义的类别,c代表类别;
对于没有标记的目标域图像特征,在自训练的过程中为目标域图像特征生成伪标签,利用伪标签指导网络更新,具体操作为:
其中,是第n个像素属于类别c的概率,n=1,2,……,N;是为每个类c选择p×100%最可靠伪标签的阈值,代表将被预测为c类的所有像素的概率进行排序,选择,使其等于在从高到低排序中处于位置p×Nc的概率;Nc是预测为c类的像素数;p表示伪标签的比例,值介于[0,1]之间;
得到总体损失函数,具体表达式如下:
本发明与现有技术相比具有以下优点及有益效果:
(1)本发明采用的分类约束鉴别器将分类组件作为一个辅助分支,用于加强鉴别器来优化对抗学习过程中的特征提取。通过添加分类组件作为约束,赋予鉴别器源域特征的结构信息,将迫使特征生成器从目标域提取包含结构信息的域不变特征来混淆鉴别器,而不是产生不利于自适应分割的模糊或扭曲失真的特征。
(2)在自训练过程中,为未标记的目标域图片生成伪标签,利用伪标签指导网络更新,从而使网络能够从目标域数据中学习分类边界。利用伪标签进行自训练,不仅可以使公共分类器具有更好的适应性,更好地区分不同类别的目标特征,还可以增强特征编码器,为目标域图像提取更具鉴别能力的特征。
(3)通过对齐来自两个域的同一类别的特征中心,可以协助特征空间对抗学习过程中编码器产生域不变的特征,鼓励编码器为不同的类生成更具鉴别能力的特征的同时,为相同类别生成相似的特征。
附图说明
图1为本发明整体流程示意图;
图2为本发明分类约束鉴别器的工作示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,应当理解,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例,因此不应被看作是对保护范围的限定。基于本发明中的实施例,本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“设置”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;也可以是直接相连,也可以是通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1:
本实施例提出了一种增强特征空间对抗学习的域自适应语义分割方法,如图1、图2所示,基于增强特征空间对抗学习的域自适应语义分割系统,包括以下步骤:
步骤1:采用特征编码器对源域图像和目标域图像进行特征提取,生成源域图像特征和目标域图像特征;
步骤2:采用分类约束鉴别器对源域图像特征和目标域图像特征进行特征空间对抗学习;
步骤3:使用对抗学习和伪标签自训练相结合的形式,通过共享分类器对源域图像特征和目标域图像特征进行分割,得到源域图像特征分割图和目标域图像特征分割图;
步骤4:采用类别中心计算模块获取每一类别的源域图像特征分割图和每一类别的目标域图像特征分割图的特征中心,并将源域和目标域对应的同一类别的目标域图像特征分割图和源域图像特征分割图进行特征中心对齐;
所述增强特征空间对抗学习的域自适应语义分割系统包括特征提取器、分类约束鉴别器、共享分类器、类别中心计算模块;所述分类约束鉴别器包括与特征提取器连接的分类器和鉴别器;所述共享分类器分别与所述特征提取器、类别中心计算模块连接;所述类别中心计算模块与所述特征提取器连接;所述分类器通过共享除最后一个功能层之外的所有参数来实现对鉴别器的约束;所述分类约束鉴别器通过最后一个功能层分别为分类器和鉴别器预测语义类别和域来源。
当将对抗学习方法引入到无监督的域自适应语义分割任务中时,需要生成的则是领域不变的特征,而鉴别器则用来预测生成的特征来自哪个领域。
然而,采用传统鉴别器进行特征对抗在自适应方法无法取得令人满意的性能,鉴别器的能力取决于感受野的大小,如果鉴别器感知到太多的上下文特征,可能会过于强大,打破对抗学习中的训练平衡,去除鉴别器中的任何池化层或跨步卷积可以减小鉴别器的感受野从而平衡对抗训练。尽管特征编码器在训练过程中被期望通过生成域不变特征来混淆鉴别器,从而增强模型泛化能力,但编码器也可能产生失真和模棱两可的特征来欺骗鉴别器,导致网络对源域图像和目标域图像都产生失真和错误的预测。
在自训练过程中,为未标记的目标域图片生成伪标签,利用伪标签指导网络更新,从而使网络能够从目标域数据中学习分类边界。利用伪标签进行自训练,不仅可以使公共分类器具有更好的适应性,更好地区分不同类别的目标特征,还可以增强特征编码器,为目标域图像提取更具鉴别能力的特征。
通过对齐来自两个域的同一类别的特征中心,可以协助特征空间对抗学习过程中编码器产生域不变的特征,鼓励编码器为不同的类生成更具鉴别能力的特征的同时,为相同类别生成相似的特征。
实施例2:
本实施例在上述实施例1的基础上,为了更好地实现本发明,进一步地,所述步骤2中,在分类约束鉴别器中,采用分类器组件作为约束,赋予鉴别器源域特征的结构信息,迫使特征编码器从目标域提取包含结构信息的域不变特征来混淆鉴别器;过程中,将源域图像特征和目标域图像特征输入到分类约束鉴别器后,使用分类约束鉴别器损失进行训练,具体公式如下:
式中,等号右侧前两项为鉴别器的损失函数,第三项为针对分类器对于源域输出的辅助分割损失;C表示分类器,c代表类别,D表示鉴别器;和表示鉴别器的输出高和宽;h和w表示输入图像的高和宽;C1表示预定义的类别,是在训练分类约束鉴别器时控制辅助分割损失相对重要性的超参数。
本实施例的其他部分与上述实施例1相同,故不再赘述。
实施例3:
本实施例在上述实施例1-2任一项的基础上,为了更好地实现本发明,进一步地,所述步骤3中:
式中,G1表示分割网络,h和w表示输入图像的高和宽,C2表示预定义的类别,c代表类别。
为了更好地实现本发明,进一步地,在所述步骤3中:
对于没有标记的目标域图像特征:在自训练的过程中为目标域图像特征生成伪标签,利用伪标签指导网络更新,具体操作为:
其中,是第n个像素属于类别c的概率,n=1,2,……,N;是为每个类c选择p×100%最可靠伪标签的阈值,代表将被预测为c类的所有像素的概率进行排序,选择,使其等于在从高到低排序中处于位置p×Nc的概率;Nc是预测为c类的像素数;p表示伪标签的比例,值介于[0,1]之间;
本实施例的其他部分与上述实施例1-2任一项相同,故不再赘述。
实施例4:
本实施例在上述实施例1-3任一项的基础上,为了更好地实现本发明,进一步地,所述步骤4的具体操作为:
然后,再每次迭代i中,对每个类的全局特征中心进行更新,具体更新公式如下:
为了更好地实现本发明,进一步地,所述全局特征中心的计算方法为:将标签转换到独热编码,统计属于每个类别的像素个数;然后在对特征沿着通道维度进行softmax函数处理之后,与独热标签进行矩阵相乘来获得累积的类别特征,然后通过对累积的类别特征取平均得到类别的全局特征中心。
本实施例的其他部分与上述实施例1-3任一项相同,故不再赘述。
实施例5:
本实施例在上述实施例1-4任一项的基础上,如图 1 所示,增强特征空间对抗学习的域自适应语义分割算法,其特征在于:包括以下步骤:
(1) 使用一个骨干网络(例如 ResNet-101) 提取源域图像和目标域图像的特征表示:
使用GTA5->Cityscapes域自适应任务。Cityscapes是一个具有5000个街道场景的真实数据集,每张图片的分辨率为2048×1024,该数据集中的图像分为一个包含2975张图像的训练集、一个包含500张图像的验证集和一个包含1525张图像的测试集。GTA5数据集由24966张从视频游戏合成的图像组成,分辨率为1914×1052,该数据集与包含19个类别的Cityscapes数据集兼容。使用GTA5数据集中的全部带标签数据和Cityscapes训练集中不给出标签的2975张图像共同训练一个能在Cityscapes数据集表现良好的模型,训练时对Cityscapes和GTA5数据集分别使用1024×512和1280×720的裁剪。在测试过程中,使用Cityscapes验证集中的500张图像对模型进行性能评估。
使用DeepLab-v2框架作为分割网络,采用在ImageNet上预先训练的ResNet-101模型作为主干结构,去掉最后两个池层,使输出特征的有效分辨率为输入图像大小的1/8,使用空洞空间金字塔池化作为最终分类器,并对softmax输出进行上采样来匹配输入图像的大小。对于分类约束鉴别器,采用全卷积层来保留空间信息。具体地,网络由五个内核大小为3×3的卷积层组成,其通道维度分别为{64, 128, 256, 512, 20}。除最后一个功能层外,每个卷积层后面都跟随一个参数为0.2的Leaky-ReLU激活函数。
分别使用SGD和Adam作为分割网络和分类约束鉴别器的优化器。SGD的动量和权重衰减分别为0.9和0.0001,设置其初始学习率为0.00025,并使用幂为0.9多项式衰减进行降低。对于Adam优化器,使用相同的多项式衰减,设置初始学习率为0.0001,动量为0.9和0.99。训练批大小设置为1。对于分类约束鉴别器,设置权重和分别为0.001和0.5。对于类别特征中心对齐,设置和分别为0.05和0.01。对于伪标签的比率,设置p=0.2。
(2) 使用分类约束鉴别器进行特征空间对抗学习的具体过程为:
当将对抗学习方法引入到无监督的域自适应语义分割任务中时,需要生成的则是领域不变的特征,而鉴别器则用来预测生成的特征来自哪个领域。
然而,采用传统鉴别器进行特征对抗在自适应方法无法取得令人满意的性能,鉴别器的能力取决于感受野的大小,如果鉴别器感知到太多的上下文特征,可能会过于强大,打破对抗学习中的训练平衡,去除鉴别器中的任何池化层或跨步卷积可以减小鉴别器的感受野从而平衡对抗训练。
尽管特征编码器在训练过程中被期望通过生成域不变特征来混淆鉴别器,从而增强模型泛化能力,但编码器也可能产生失真和模棱两可的特征来欺骗鉴别器,导致网络对源域图像和目标域图像都产生失真和错误的预测,使用分类约束鉴别器可以有效缓解特征失真问题。分类约束鉴别器将分类组件作为一个辅助分支,用于加强鉴别器来优化对抗学习过程中的特征提取。通过添加分类组件作为约束,赋予鉴别器源域特征的结构信息,将迫使特征生成器从目标域提取包含结构信息的域不变特征来混淆鉴别器,而不是产生不利于自适应分割的模糊或扭曲失真的特征。
将从源域和目标域获得的特征Fs和Ft输入到鉴别网络后,使用如下分类约束鉴别器损失进行训练:
式中,等号右侧前两项为鉴别器的损失函数,第三项为针对分类器对于源域输出的辅助分割损失;C表示分类器,c代表类别,D表示鉴别器;和表示鉴别器的输出高和宽;h和w表示输入图像的高和宽;C1表示预定义的类别,是在训练分类约束鉴别器时控制辅助分割损失相对重要性的超参数。
对于分类约束鉴别器,分类器对鉴别器的约束是通过共享除最后一个功能层(分别为分类器和鉴别器预测语义类别和域来源)之外的所有参数来实现的。
对于对抗学习,使用如下对抗损失来训练特征生成器,通过最大化目标域特征Ft被视为源域特征的概率来混淆鉴别器:
(3) 使用对抗学习和伪标签自训练相结合的混合协作框架来缓解分类器过度拟合源域特征问题的具体过程为:
中,G1表示分割网络,h和w表示输入图像的高和宽,C2表示预定义的类别,c代表类别。
由于在无监督域自适应任务中缺乏目标域的真值标签,因此在特征空间对抗学习过程中,分类器只能根据源域线索更新其权值。最终的分类器无法受益于目标特征,使得其决策边界容易偏向于源域特征,因此,将特征空间对抗学习与自训练相结合,学习一个领域鲁棒的分类器对于自适应任务至关重要。在自训练过程中,为未标记的目标域图片生成伪标签,利用伪标签指导网络更新,从而使网络能够从目标域数据中学习分类边界。利用伪标签进行自训练,不仅可以使公共分类器具有更好的适应性,更好地区分不同类别的目标特征,还可以增强特征编码器,为目标域图像提取更具鉴别能力的特征。由于语义分割非常具有挑战性,在单个训练批次中生成的伪标签可能会包含很多噪声,因此通过预先训练的模型从整个目标数据中选择高预测置信度的像素作为伪标签:
其中,是第n个像素属于类别c的概率,n=1,2,……,N;是为每个类c选择p1×00%最可靠伪标签的阈值,代表将被预测为c类的所有像素的概率进行排序,选择,使其等于在从高到低排序中处于位置p×Nc的概率;Nc是预测为c类的像素数;p表示伪标签的比例,值介于[0,1]之间;。生成目标域伪标签后,使用如下自训练损失来帮助训练分割网络G1:
(4) 使用类别中心计算模块获取每个类的特征质心,对齐域间同一个类别的特征中心来进一步减少域间特征差异的具体过程为:
通过对齐来自两个域的同一类别的特征中心,可以协助特征空间对抗学习过程中编码器产生域不变的特征,鼓励编码器为不同的类生成更具鉴别能力的特征的同时,为相同类别生成相似的特征。类c的特征中心可以计算为属于该类的所有像素的特征的平均:
然而,对于语义分割任务,由于图像分辨率比较高,遍历图像的所有像素并为特征指定相应的标签非常耗时,于是使用一个类别中心计算模块来高效地获取每个类别的特征中心:将标签转换到独热编码统计属于每个类别的像素个数;在对特征沿着通道维度进行softmax之后,将其与独热标签进行矩阵相乘来获得累积的类别特征,然后通过对累积的特征取平均得到类别中心。
总体损失函数可以写作:
将本发明的增强特征空间对抗学习的域自适应分割算法与12种域自适应分割方法的效果进行对比,采用平均交并比(mIoU)作为分割的评价指标, mIoU 值越高,分割效果越优异。12种域自适应语义分割方法如下:
[1] Y.-H. Tsai, W.-C. Hung, S. Schulter, K. Sohn, M.-H. Yang, and M.Chandraker, “学习调整结构化输出空间进行语义分割,”IEEE计算机视觉和模式识别大会, 2018, pp. 7472–7481.
[2] T.-H. Vu, H. Jain, M. Bucher, M. Cord, and P. Pérez, “语义分割领域自适应的对抗熵最小化方法,” IEEE计算机视觉和模式识别大会, 2019, pp. 2517–2526.
[3] Y. Luo, L. Zheng, T. Guan, J. Yu, and Y. Yang, “语义一致的域适应的类别级对抗,” IEEE计算机视觉和模式识别大会, 2019, pp. 2507–2516.
[4] Y. Zou, Z. Yu, B. Vijaya Kumar, and J. Wang, “基于类平衡自训练的无监督领域自适应语义分割,” 欧洲计算机视觉会议, 2018, pp. 289–305.
[5]F. Pan, I. Shin, F. Rameau, S. Lee, and I. S. Kweon, “基于自监督的无监督域内自适应语义分割,” IEEE计算机视觉和模式识别大会, 2020, pp. 3764–3773.
[6]M. Chen, H. Xue, and D. Cai, “最大平方损失的语义分割域自适应算法,”IEEE计算机视觉国际会议, 2019, pp. 2090–2099.
[7] Y.-H. Tsai, K. Sohn, S. Schulter, and M. Chandraker, “基于区分性面片表示的结构化输出域自适应,” IEEE计算机视觉国际会议, 2019, pp. 1456–1465.
[8] M. N. Subhani and M. Ali, “语义分割域自适应的尺度不变性学习,” 欧洲计算机视觉会议, pp. 2020 290–306.
[9] Y. Li, L. Yuan, and N. Vasconcelos, “语义分割域自适应的双向学习,”IEEE计算机视觉和模式识别大会, 2019, pp. 6936–6945.
[10] G. Kang, Y. Wei, Y. Yang, Y. Zhuang, and A. G. Hauptmann, “像素级循环关联:领域自适应语义分割的新视角,” 神经信息处理系统的进展, 2020.
[11] Y. Yang and S. Soatto, “傅立叶域自适应语义分割,” IEEE计算机视觉和模式识别大会, 2020, pp. 4085–4095.
[12] J. Huang, S. Lu, D. Guan, and X. Zhang, “上下文关系一致的语义分割域自适应,” 欧洲计算机视觉会议, 2020, pp. 705–722.
表1 域自适应语义分割结果对比
方法 | mIoU |
[1] | 41.4 |
[2] | 43.8 |
[3] | 43.2 |
[4] | 45.2 |
[5] | 46.3 |
[6] | 46.4 |
[7] | 46.5 |
[8] | 47.5 |
[9] | 47.6 |
[10] | 47.7 |
[11] | 48.1 |
[12] | 48.6 |
本发明 | 48.8 |
从表 1可以看出,本发明在域自适应语义分割任务上都取得了最好的平均性能,表明本发明的方法中分类约束鉴别器缓解特征空间对抗学习方法中的训练不平衡和特征失真问题的有效性,以及对抗学习和伪标签自训练相结合的混合协作框架对缓解分类器过度拟合源域特征问题的有效性。
本实施例的其他部分与上述实施例1-4任一项相同,故不再赘述。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。
Claims (12)
1.一种增强特征空间对抗学习的域自适应语义分割方法,基于增强特征空间对抗学习的域自适应语义分割系统,其特征在于,包括以下步骤:
步骤1:采用特征编码器对源域图像和目标域图像进行特征提取,生成源域图像特征和目标域图像特征;
步骤2:采用分类约束鉴别器对源域图像特征和目标域图像特征进行特征空间对抗学习;
步骤3:使用对抗学习和伪标签自训练相结合的形式,通过共享分类器对源域图像特征和目标域图像特征进行分割,得到源域图像特征分割图和目标域图像特征分割图;
步骤4:采用类别中心计算模块获取每一类别的源域图像特征分割图和每一类别的目标域图像特征分割图的特征中心,并将源域和目标域对应的同一类别的目标域图像特征分割图和源域图像特征分割图进行特征中心对齐;
所述增强特征空间对抗学习的域自适应语义分割系统包括特征提取器、分类约束鉴别器、共享分类器、类别中心计算模块;所述分类约束鉴别器包括与特征提取器连接的分类器和鉴别器;所述共享分类器分别与所述特征提取器、类别中心计算模块连接;所述类别中心计算模块与所述特征提取器连接;所述分类器通过共享除最后一个功能层之外的所有参数来实现对鉴别器的约束;所述分类约束鉴别器通过最后一个功能层分别为分类器和鉴别器预测语义类别和域来源。
2.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法,其特征在于,所述步骤2中,在分类约束鉴别器中,采用分类器组件作为约束,赋予鉴别器源域特征的结构信息,迫使特征编码器从目标域提取包含结构信息的域不变特征来混淆鉴别器;过程中,将源域图像特征和目标域图像特征输入到分类约束鉴别器后,使用分类约束鉴别器损失进行训练,具体公式如下:
5.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法,其特征在于,在所述步骤3中:
对于没有标记的目标域图像特征:在自训练的过程中为目标域图像特征生成伪标签,利用伪标签指导网络更新,具体操作为:
其中,是第n个像素属于类别c的概率,n=1,2,……,N;是为每个类c选择p×100%最可靠伪标签的阈值,代表将被预测为c类的所有像素的概率进行排序,选择,使其等于在从高到低排序中处于位置p×Nc的概率;Nc是预测为c类的像素数;p表示伪标签的比例,值介于[0,1]之间;
9.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法,其特征在于,所述特征编码器采用预先在ImageNet数据集上进行了预训练的ResNet-101网络。
10.如权利要求4或5所述的一种增强特征空间对抗学习的域自适应语义分割方法,其特征在于,对于分割网络G1,采用SGD优化器进行优化,SGD优化器的动量和权重衰减分别为0.9和0.0001,设置初始学习率为0.00025,并使用幂为0.9多项式衰减进行降低。
11.如权利要求1或2所述的一种增强特征空间对抗学习的域自适应语义分割方法,其特征在于,采用Adam优化器作为分类约束鉴别器的优化器,设置初始学习率为0.0001,动量为0.9和0.99,并使用幂为0.9多项式衰减进行降低。
12.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法,其特征在于,在所述步骤2中,采用对抗损失函数来对特征编码器进行训练,通过最大化目标域图像特征被视为源域图像特征的概率来混淆鉴别器,具体损失函数如下:
所述步骤3中:
式中,G1表示分割网络,h和w表示输入图像的高和宽,C2表示预定义的类别,c代表类别;
对于没有标记的目标域图像特征,在自训练的过程中为目标域图像特征生成伪标签,利用伪标签指导网络更新,具体操作为:
其中,是第n个像素属于类别c的概率,n=1,2,……,N;是为每个类c选择p×100%最可靠伪标签的阈值,代表将被预测为c类的所有像素的概率进行排序,选择,使其等于在从高到低排序中处于位置p×Nc的概率;Nc是预测为c类的像素数;p表示伪标签的比例,值介于[0,1]之间;
得到总体损失函数,具体表达式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111178865.3A CN113627443B (zh) | 2021-10-11 | 2021-10-11 | 一种增强特征空间对抗学习的域自适应语义分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111178865.3A CN113627443B (zh) | 2021-10-11 | 2021-10-11 | 一种增强特征空间对抗学习的域自适应语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113627443A true CN113627443A (zh) | 2021-11-09 |
CN113627443B CN113627443B (zh) | 2022-02-15 |
Family
ID=78390784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111178865.3A Active CN113627443B (zh) | 2021-10-11 | 2021-10-11 | 一种增强特征空间对抗学习的域自适应语义分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627443B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116229080A (zh) * | 2023-05-08 | 2023-06-06 | 中国科学技术大学 | 半监督域适应图像语义分割方法、系统、设备及存储介质 |
CN116912593A (zh) * | 2023-07-31 | 2023-10-20 | 大连理工大学 | 域对抗的遥感图像目标分类方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
CN109190707A (zh) * | 2018-09-12 | 2019-01-11 | 深圳市唯特视科技有限公司 | 一种基于对抗学习的域自适应图像语义分割方法 |
CN111523680A (zh) * | 2019-12-23 | 2020-08-11 | 中山大学 | 一种基于Fredholm学习和对抗学习的域适应方法 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
CN113436197A (zh) * | 2021-06-07 | 2021-09-24 | 华东师范大学 | 基于生成对抗和类特征分布的域适应无监督图像分割方法 |
-
2021
- 2021-10-11 CN CN202111178865.3A patent/CN113627443B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
CN109190707A (zh) * | 2018-09-12 | 2019-01-11 | 深圳市唯特视科技有限公司 | 一种基于对抗学习的域自适应图像语义分割方法 |
CN111523680A (zh) * | 2019-12-23 | 2020-08-11 | 中山大学 | 一种基于Fredholm学习和对抗学习的域适应方法 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
CN113436197A (zh) * | 2021-06-07 | 2021-09-24 | 华东师范大学 | 基于生成对抗和类特征分布的域适应无监督图像分割方法 |
Non-Patent Citations (1)
Title |
---|
TAO CHEN等: "《Classification constrained discriminator for domain adaptive semantic segmentation》", 《2020 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116229080A (zh) * | 2023-05-08 | 2023-06-06 | 中国科学技术大学 | 半监督域适应图像语义分割方法、系统、设备及存储介质 |
CN116229080B (zh) * | 2023-05-08 | 2023-08-29 | 中国科学技术大学 | 半监督域适应图像语义分割方法、系统、设备及存储介质 |
CN116912593A (zh) * | 2023-07-31 | 2023-10-20 | 大连理工大学 | 域对抗的遥感图像目标分类方法 |
CN116912593B (zh) * | 2023-07-31 | 2024-01-23 | 大连理工大学 | 域对抗的遥感图像目标分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113627443B (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
CN110956185B (zh) | 一种图像显著目标的检测方法 | |
Wei et al. | Road structure refined CNN for road extraction in aerial image | |
CN110443818B (zh) | 一种基于涂鸦的弱监督语义分割方法与系统 | |
Lin et al. | RSCM: Region selection and concurrency model for multi-class weather recognition | |
CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
Lee et al. | Multi-task self-supervised object detection via recycling of bounding box annotations | |
CN113627443B (zh) | 一种增强特征空间对抗学习的域自适应语义分割方法 | |
CN113076994B (zh) | 一种开集域自适应图像分类方法及系统 | |
CN109583379A (zh) | 一种基于随机擦除行人对齐网络的行人重识别方法 | |
CN113095263B (zh) | 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置 | |
Wang et al. | Multiscale deep alternative neural network for large-scale video classification | |
CN115019039B (zh) | 一种结合自监督和全局信息增强的实例分割方法及系统 | |
Chen et al. | Unsupervised domain adaptation for remote sensing image semantic segmentation using region and category adaptive domain discriminator | |
CN104680193A (zh) | 基于快速相似性网络融合算法的在线目标分类方法与系统 | |
CN114863091A (zh) | 一种基于伪标签的目标检测训练方法 | |
CN109657082A (zh) | 基于全卷积神经网络的遥感图像多标签检索方法及系统 | |
CN115690549A (zh) | 一种基于并联交互架构模型实现多维度特征融合的目标检测方法 | |
Zhang et al. | Few-shot object detection with self-adaptive global similarity and two-way foreground stimulator in remote sensing images | |
CN111275694A (zh) | 一种注意力机制引导的递进式划分人体解析模型及方法 | |
Zhong et al. | Pica: Point-wise instance and centroid alignment based few-shot domain adaptive object detection with loose annotations | |
CN112597956B (zh) | 基于人体锚点集合与感知增强网络的多人姿态估计方法 | |
CN115830643B (zh) | 一种姿势引导对齐的轻量行人重识别方法 | |
CN116824330A (zh) | 一种基于深度学习的小样本跨域目标检测方法 | |
Qin et al. | The application of attention mechanism in semantic image segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |