CN116468744B - 一种面向水域场景的双分布匹配多域适应分割方法与系统 - Google Patents
一种面向水域场景的双分布匹配多域适应分割方法与系统 Download PDFInfo
- Publication number
- CN116468744B CN116468744B CN202310723846.7A CN202310723846A CN116468744B CN 116468744 B CN116468744 B CN 116468744B CN 202310723846 A CN202310723846 A CN 202310723846A CN 116468744 B CN116468744 B CN 116468744B
- Authority
- CN
- China
- Prior art keywords
- domain
- source
- distribution
- target
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 151
- 230000011218 segmentation Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 64
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 34
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 73
- 230000009466 transformation Effects 0.000 claims abstract description 47
- 230000008447 perception Effects 0.000 claims abstract description 12
- 238000013508 migration Methods 0.000 claims description 34
- 230000005012 migration Effects 0.000 claims description 34
- 230000006978 adaptation Effects 0.000 claims description 33
- 230000009977 dual effect Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims 4
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 238000011160 research Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 239000003653 coastal water Substances 0.000 abstract 1
- 238000007689 inspection Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种面向水域场景的双分布匹配多域适应分割方法与系统，该方法包括：获取单峰分布的源域数据集，使用傅里叶变换对源域数据集进行风格变换，得到不同目标域风格的源域图像；对不同目标域风格的源域图像进行粗粒度的多判别器对抗训练，进行整体分布匹配；使用傅里叶变换获取不同目标域风格的源域数据，统计不同风格源域的语义分布；基于语义分布感知的对比学习方法，进行细粒度的类分布匹配，匹配相同风格的源域与目标域的分布；使用基于伪标签的自训练策略，进一步提升网络在目标域上的分割性能。本发明为面向近岸水域的巡检和监控研究提供了有益的探索，对于解决多目标域适应语义分割问题具有重要的理论意义和实际应用价值。
Description
技术领域
本发明涉及人工智能、图像处理和计算机视觉技术领域，具体而言，是一种面向水域场景的双分布匹配多域适应分割方法与系统。
背景技术
语义分割是计算机视觉中的一项基本任务，旨在将视觉图像划分为不同的语义可解释类别。在迁移学习中，当源域和目标域的数据分布不同但任务相同时，这种特殊的迁移学习称为域适应。域适应语义分割是将语义分割任务应用于域适应场景中的过程，其目标是利用具有标签的源域数据集训练一个分割模型，使其能够适应于具有不同分布的未标记目标域数据集。本发明的关键问题是在水域场景下进行多目标域适应，即需要同时适应多个具有不同数据分布的目标域，这在实际应用中具有更强的现实意义。例如，通过在包含大量标记合成数据集中训练的分割网络，可以同时适应多种不同真实天气条件下的水域驾驶场景或水域监控场景，而无需针对每种不同天气条件单独训练分割模型。传统的单目标域适应技术由于一次只能适应一个目标域存在很大局限性。相比之下，多目标域适应技术通过同时处理多个目标域与源域的分布匹配，而非将多峰分布的多目标域直接匹配到单峰分布的源域，在不同天气场景下的水域驾驶和水域监控等关键技术领域发挥着越来越重要的作用，如在具有挑战性的雾天、阴天和雨天等恶劣天气条件下的水域驾驶和水域监控。多目标域适应语义分割方法通过域适应策略匹配单一源域和多个目标域的分布，在域适应领域中具有越来越重要的作用。
然而，传统的多目标域适应方法一方面严重依赖于风格迁移效果，导致该任务常常需要训练代价昂贵的风格迁移网络；另一方面，现有技术大多只在域层面上调整边缘分布，而忽略了类别级别的分布，导致分类边界偏向于类别高密度区域，使得学习到的语义分割分类器的判别性较低。实际上，风格迁移并非必须依赖于训练一个风格迁移神经网络。傅里叶变换可通过分离和交换图像的低频振幅来实现风格迁移的效果，无需额外训练风格迁移网络，可大大提高风格迁移的效率。通过粗粒度的风格迁移和判别训练，可以使源域和具有不同风格的目标域的整体分布更加匹配，从而有助于提升模型在不同天气条件下对水域分割场景，如水岸分割、水面障碍物分割、水域监测分割的性能，对水域驾驶和水域监控场景具有重要意义。此外，更细粒度的类分布匹配对提高域适应效果和稀有类别识别具有显著作用，有助于提升水域场景相关任务，如水面漂浮物检测等稀少或小型物体类别分割相关任务的性能。
目前现有的多目标域适应方法主要集中在引导多个目标域匹配到单个源域，并关注域风格迁移和域分布匹配的方法。然而，在实际应用中，由于过于依赖风格迁移，该任务常常需要训练昂贵的风格迁移网络，从而导致训练效率下降和训练成本上升的问题。近年来，一些研究者利用傅里叶变换来辅助单目标域适应的研究。尽管这种方法不再需要训练一个风格迁移网络，但在域适应场景中，通过风格迁移来拟合源域和目标域之间的分布，仅仅是一种域层面的边缘分布匹配，并没有考虑到类别分布的匹配。利用更细粒度的类别分布匹配可以提高分割性能的可信度。然而，目前现有的多目标域适应语义分割方法无法利用傅里叶变换进行多重分布匹配。
目前已有的域适应方法利用类别分布匹配是在传统的单目标域适应基础上，通过融合类别分布信息，对整体分布匹配结果进行二次匹配。这些方法在单目标域适应任务中能够有效匹配源域和目标域的分布，因为源域和目标域都可以被视为简单的单峰分布。然而，在多目标域适应任务中，由于源域为单峰分布，而目标域为多峰分布，直接使用单目标域适应方法会导致偏置匹配，进而影响分割性能，因此需要针对多目标域适应进行改进。现有的多目标域适应方法通过引入风格迁移网络和多个判别器进行对抗训练，或者采用多教师蒸馏方法，将多峰分布的多目标域匹配到单峰分布的源域。然而，这些方法仅仅调整了边缘分布的匹配，而忽略了类别联合匹配，从而导致性能下降。因此，在多目标域适应任务中引入类别分布匹配是合理的，并且可以进一步提升多目标域适应分割模型的性能。
发明内容
本发明旨在解决水域驾驶和水域监控环境下不同分布数据集下的语义分割问题。然而，由于目前水域驾驶和水域监控场景中的多目标域适应任务缺乏量化比较，为了验证模型的性能，我们选择当前已经成熟的道路驾驶环境的多目标域适应数据集。由于语义分割任务具有一致性，因此我们的分割模型可以轻松迁移到水域场景。
传统的多目标域适应语义分割研究主要集中在使用风格迁移网络和整体特征匹配方法对源域和多目标域进行分布匹配。然而，风格迁移网络的训练成本高昂，并且仍然属于整体特征分布匹配，难以对类别联合分布进行匹配。因此，本发明引入傅里叶变换和语义分布感知对比学习的方法，提出了一种无需风格变换网络的风格迁移与多重分布匹配方法，通过该方法优化域适应语义分割的结果。
根据本发明的第一方面，提供了一种面向水域场景的双分布匹配多域适应分割方法，所述分割方法包括以下步骤：
步骤1：获取单峰分布的源域数据集，使用傅里叶变换对源域数据集进行风格变换，得到不同目标域风格的源域图像；对不同目标域风格的源域图像进行粗粒度的多判别器对抗训练，进行目标域和源域的整体分布匹配；其中，源域数据集为具有分割标签的水域场景图像，目标域为多个不同天气场景的数据集；
步骤2：再次使用傅里叶变换得到不同目标域风格的源域图像，统计不同风格源域的语义分布；基于语义分布感知的对比学习方法，进行细粒度的类分布匹配，匹配相同风格的源域与目标域的分布；
步骤3：使用基于伪标签的自训练策略，进一步提升分割网络在目标域上的分割性能。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述使用傅里叶变换对源域数据集进行风格变换，得到不同目标域风格的源域图像包括：
步骤1.1：使用傅里叶变换拆解源域和目标域图像的相位和频谱，使用逆傅里叶变换来结合源域图像的相位和目标域图像振幅的低频部分，对源域图像进行风格迁移，然后利用BP网络进行源域全监督分割网络训练；
步骤1.2：利用神经网络进行同风格的源-目标域对抗训练，进行同风格源域和目标域的整体边缘分布匹配；
步骤1.3：利用神经网络进行源-目标域判别器训练与目标域间判别器的训练，以进一步区分同风格的源-目标域与不同风格的目标域。
可选的，使用多次傅里叶风格变换对源域图像进行风格迁移，取平均值来进行同风格的源-目标域对抗训练或只使用一次傅里叶风格变换并进行对抗训练。
可选的，在步骤1.3中，所述判别器分为源-目标域判别器和目标域间的判别器两种。其中，源-目标域判别器进行对抗训练和判别训练，用于匹配同风格源-目标域整体特征分布；目标域间判别器不进行对抗训练，但进行判别训练，用于进一步区分不同目标域。
可选的，所述再次使用傅里叶变换得到不同目标域风格的源域图像，统计不同风格源域的语义分布；基于语义分布感知的对比学习方法，进行细粒度的类分布匹配，匹配相同风格的源域与目标域的分布包括：
步骤2.1：对经过傅里叶风格变换的不同目标域风格的源域数据集进行语义分布的统计，统计不同风格源域数据集中的每个类别的语义分布；
步骤2.2：基于语义分布的对比学习方法进行同风格的源域和目标域在像素水平上的局部类别匹配。
可选的，在步骤2.2中，所述进行同风格的源域和目标域在像素水平上的局部类别匹配还包括：
对源域进行傅里叶风格变换，将源域变换成所有目标域风格的源域。
可选的，所述使用基于伪标签的自训练策略包括：
步骤3.1：得到目标域的伪标签；
步骤3.2：使用得到的伪标签进行自训练。
可选的，所述使用傅里叶变换对源域数据集进行风格变换包括：设有标签的源域，由源域图像/>及其相应的语义标签/>组成，其中H和W是图像的高度和宽度；多目标域/>由没有标签的目标域/>的图像/>组成，其中i = 1, … ，N，N为目标域的个数；通过傅里叶变换将源域图像/>变换为目标域/>，其公式为：
式中，为傅里叶变换，/>为逆傅里叶变换；/>，/>分别为使用傅里叶变换得到图像的相位和振幅；/>是一个掩模，其值除了中心区域的/>以外皆为0，通过调整超参数β来控制源图像样式迁移的程度。
根据本发明的第二方面，提供一种面向水域场景的双分布匹配多域适应分割系统，包括：
傅里叶变换模块，用于将单峰分布的源域数据集转换为类似目标域的多峰分布，而无需额外训练一个风格迁移网络；
整体分布匹配模块，用于将变换风格后的源域图像和同风格的目标域图像间通过多判别器对抗训练的方式，进行整体分布匹配；
类级分布匹配模块，由傅里叶变换模块将源域图像风格转换为不同目标域风格的源域图像，然后统计不同风格源域的语义分布，使用基于语义分布感知的对比学习方法实现类级分布匹配；
自训练模块，进行基于伪标签的自训练策略，并进一步提升分割模型在目标域上的性能。
本发明的技术效果和优点：
本发明首先针对多目标域适应技术中依赖风格迁移网络的局限性，基于傅里叶变换，无需额外训练一个风格迁移网络，分离并交换源域与不同目标域图像的低频振幅部分，通过风格变换减少源域与不同目标域的域移；然后利用网络对相同风格的源域与目标域进行对抗判别，匹配同风格源域与目标域的整体特征分布；其次，基于不同风格源域统计出的语义分布，利用网络匹配同风格源域与目标域的类联合分布；最后结合自训练策略对分割网络的性能再次进行提升。在多目标域适应经典数据集上测试结果证明该方法的有效性，能大大提升域适应语义分割的效果。
与现有技术相比，本发明解决了传统多目标域适应语义分割中过于依赖风格迁移网络的问题，将风格迁移问题转化为信号处理分析下的傅里叶变换问题。本发明提出了一个全新的面向水域场景的双分布匹配多域适应分割框架，利用更细粒度的整体和局部双分布匹配，有效地提升了分割网络的性能。本发明提出了一个多峰分布对多峰分布的域适应分布匹配方案。
附图说明
图1为本发明实施例提供的一种面向水域场景的双分布匹配多域适应分割方法流程图；
图2为本发明实施例提供的面向水域场景的双分布匹配多域适应分割方法原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种面向水域场景的双分布匹配多域适应分割方法，请见图1和图2，分割方法包括以下步骤：
步骤1：获取单峰分布的源域数据集，使用傅里叶变换对源域数据集进行风格变换，得到不同目标域风格的源域图像；对不同目标域风格的源域图像进行粗粒度的多判别器对抗训练，进行目标域和源域的整体分布匹配；其中，源域数据集为具有分割标签的水域场景图像，目标域为多个不同天气场景的数据集；
在本实施例中，步骤1的具体实现包括以下子步骤：
步骤1.1：使用傅里叶变换拆解源域和目标域图像的相位和频谱，使用逆傅里叶变换来结合源域图像的相位和目标域图像振幅的低频部分，对源域图像进行风格迁移，然后利用BP网络进行源域全监督分割网络训练；
具体地，在步骤1.1中，本发明实施例采用目前研究领域内前沿FDA算法（ForceDirected Algorithm，分解的分配算法）实现对源域图像的傅里叶风格变换。通过分离交换源域和目标域的低频振幅，然后重组源域的相位和目标域的低频振幅来实现将源域图像的风格变换为和目标域图像类似的风格，然后基于变换后的源域图像，进行后续神经网络的训练。
之后，利用神经网络对变换风格后的源域图像和相应的源域标签进行源域全监督训练；
在本实施例中，神经网络包括但不限于BP网络，利用BP网络进行同风格的源-目标域对抗训练，进行同风格源域和目标域的整体特征分布匹配。
步骤1.2：利用神经网络对同风格的源-目标域进行对抗训练，进行同风格源域和目标域的整体特征分布匹配；
在本步骤中，使用多次傅里叶风格变换对源域图像进行风格迁移，取平均值来进行同风格的源-目标域对抗训练或只使用一次傅里叶风格变换并进行对抗训练。
步骤1.3：利用神经网络进行源-目标域判别器的训练与目标域间判别器的训练，以进一步区分同风格的源-目标域与不同风格的目标域。
在本步骤中，本实施例的判别器分为源-目标域判别器和目标域间的判别器两种。其中，源-目标域判别器进行对抗训练和判别训练，用于匹配同风格源-目标域整体特征分布。目标域间判别器不进行对抗训练，但进行判别训练，用于进一步区分不同目标域。
需要进行说明的是，步骤1.1-1.3中的所有步骤使用ImageNet数据集上预训练的DeepLabV2模型参数训练约五万次，分割器采用学习率为2.5×10-4的SGD优化器进行训练，动量为0.9，权重衰减为10-4。判别器采用学习率为10-4的Adam优化器进行训练。训练图片采用640×320的分辨率。
具体地，所述使用傅里叶变换对源域数据集进行风格变换包括：
设有标签的源域，由源域图像/>及其相应的语义标签组成，其中H和W是图像的高度和宽度。多目标域/>，由没有标签的目标域/>的图像/>组成，其中i = 1, … ，N，N为目标域的个数。通过傅里叶变换将源域图像/>变换为目标域/>，其公式为：
式中，为傅里叶变换，/>为逆傅里叶变换，/>，/>分别为使用傅里叶变换得到图像的相位和振幅，/>是一个掩模，其值除了中心区域的/>以外皆为0；通过调整超参数β来控制源图像样式迁移的程度。
步骤2：再次使用傅里叶变换得到不同目标域风格的源域图像，统计不同风格源域的语义分布；基于语义分布感知的对比学习方法，进行细粒度的类分布匹配，匹配相同风格的源域与目标域的分布；
步骤2的具体实现包括以下子步骤：
步骤2.1：对经过傅里叶风格变换得到的每个风格的源域数据集进行语义分布的统计；
在本步骤中，本发明实施例采用目前研究领域内前沿算法SDCA(Standardization Do Check Action)对变换风格后的源域和对应的同风格目标域进行语义分布的统计和对比学习匹配类分布；
步骤2.2：对同风格的源域和目标域进行基于语义分布感知的对比学习。
在本步骤中，采用SDCA论文中提出的基于语义分布的对比学习方法来指导同风格的源域和目标域在像素水平上的局部类别分布的匹配，使源域和目标域中同种类别的像素点更接近，不同类别的像素点更加分离，从而最小化类别内差异，最大化目标域上的类别间边界。
需要进行说明的是，不同于SDCA论文中直接统计源域语义分布，我们先对源域进行傅里叶风格变换，将源域变换成所有目标域风格的源域，然后分别统计每个风格源域的语义分布。
对步骤2中的源域执行傅里叶风格变换可参考步骤1中的对源域数据集中的源域图像进行傅里叶变化。其中，整体特征分布匹配与类分布匹配都是在源域进行傅里叶风格变换的基础上进行的，通过傅里叶风格变换将单峰分布的源域变换为类似于多目标域的多峰分布。
步骤3：通过基于伪标签的自训练策略，进一步提升网络在多目标域上的分割性能。
步骤3的具体实现包括以下子步骤：
步骤3.1：得到目标域的伪标签；使用SPCL论文中提出的伪标签策略选择策略来得到目标域的伪标签，具体来说，并非直接选择一个固定的值作为伪标签的阈值，而是统计每个类别的预测值。如果该类别预测值的中位数大于0.9则使用0.9作为该类别的伪标签阈值，如果该类别预测值的中位数小于0.9，则选择该类别预测值的中位数作为该类别的伪标签阈值。从而保证对稀有类别也能得到尽可能多的可靠的像素点，提升稀有类别的预测性能；
在本步骤中，本发明实施例采用目前研究领域内前沿算法SPCL（SiamesePrototypical Contrastive Learning）中的方法得到目标域的伪标签。计算目标域图像预测中每个类k的中值置信度。如果/>大于设定的阈值δ，则将δ设置为k类的伪标签阈值，否则取/>作为该类的伪标签阈值。其公式可以表示为：
式中，表示为中值置信度；δ为固定的置信度阈值；Pk t,i表示为目标域图像送入分割网络输出的dik个类的概率；k表示为类别。
这保证了模型对高置信度类别具有很强的判别性，也确保了模型对预测较差的类别也能得到许多可靠的伪标签。
步骤3.2：使用步骤3.1中得到的伪标签进行自训练。
图2为本发明实施例提供的面向水域场景的双分布匹配多域适应分割方法原理图，具体如图2所示，通过傅里叶变换进行源域的风格变换，具体表现为，将源域图像通过分离交换源域即将源域图像分离为T1风格源域图像S1、T2风格源域图像S2和目标域T1、T2图像的低频振幅At1和At2；然后重组源域的相位Ps和目标域的低频振幅At1和At2来实现将源域图像S的风格变换为和目标域图像类似的风格S1、S2。然后在对同风格源域图像和目标域图像进行粗粒度的基于多判别器的整体分布匹配和更细粒度的基于语义分布感知的对比学习方法进行类分布匹配，最后，使用目标域的伪标签进行自训练，使分割网络在目标域上的性能更好。
在本实施例中，通过标签和图像预测分类结果的平均交并比表示语义分割的准确率。平均交并比越大，表示图像分割结果和标签重合的部分越多，则对应到模型的分割能力越强，实现多目标域适应语义分割。
本发明实施例在方法评价上采用mIoU作为评价指标，表示分割预测图像和标签图像所有类别交集和并集之比的平均值。
综上，本发明提出一种全新的面向水域场景的双分布匹配多域适应分割方法，域适应结果以mIoU的方式呈现，利用傅里叶变换转换源域分布，分别对同风格的源域和目标域进行整体和局部双粒度分布匹配来协同进行多目标域适应语义分割。
本发明实施例所提出的方法通过采用无需额外训练风格迁移网络的傅里叶变换方法，能够有效地匹配源域与多目标域的分布。同时，通过双粒度的整体分布和类级分布匹配以及自训练技术，进一步提高了多目标域适应语义分割的效果。在经典数据集上的测试结果证明了该方法的有效性，能够显著提升语义分割的性能。本发明在不引入风格迁移网络的代价的情况下，通过傅里叶变换将单峰分布的源域转换为类似多目标域的多峰分布。以多峰分布匹配多峰分布的角度来解决多目标域适应语义分割任务中的分布匹配问题。
本发明将计算机视觉领域的多目标域适应语义分割问题转化为图像信号处理下的分割转换问题，进一步探究不同分布下的分布匹配关系。
根据本发明的第二方面，本发明实施例还提供的一种面向水域场景的双分布匹配多域适应分割系统，包括：
傅里叶变换模块，用于将单峰分布的源域数据集转换为类似目标域的多峰分布，而无需额外训练一个风格迁移网络；
整体分布匹配模块，用于将变换风格后的源域图像和同风格的目标域图像间通过多判别器对抗训练的方式，进行整体分布匹配；
类级分布匹配模块，由傅里叶变换模块将源域图像风格转换为不同目标域风格的源域图像，然后统计不同风格源域的语义分布，使用基于语义分布感知的对比学习方法实现类级分布匹配；
自训练模块，进行基于伪标签的自训练策略，并进一步提升分割模型在目标域上的性能。
可以理解的是，本发明提供的一种面向水域场景的双分布匹配多域适应分割系统与前述实施例提供的一种面向水域场景的双分布匹配多域适应分割方法相对应，一种面向水域场景的双分布匹配多域适应分割系统的相关技术特征可参考一种面向水域场景的双分布匹配多域适应分割方法的相关技术特征，在此不再赘述。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种面向水域场景的双分布匹配多域适应分割方法，其特征在于，所述分割方法包括以下步骤：
步骤1：获取单峰分布的源域数据集，使用傅里叶变换对源域数据集进行风格变换，得到不同目标域风格的源域图像；对不同目标域风格的源域图像进行粗粒度的多判别器对抗训练，进行目标域和源域的整体分布匹配；其中，源域数据集为具有分割标签的水域场景图像，目标域为多个不同天气场景的数据集；
步骤2：再次使用傅里叶变换得到不同目标域风格的源域图像，统计不同风格源域的语义分布；基于语义分布感知的对比学习方法，进行细粒度的类分布匹配，匹配相同风格的源域与目标域的分布；
步骤3：使用基于伪标签的自训练策略，进一步提升分割网络在目标域上的分割性能。
2.根据权利要求1所述的一种面向水域场景的双分布匹配多域适应分割方法，其特征在于，所述使用傅里叶变换对源域数据集进行风格变换，得到不同目标域风格的源域图像包括：
步骤1.1：使用傅里叶变换拆解源域和目标域图像的相位和频谱，使用逆傅里叶变换来结合源域图像的相位和目标域图像振幅的低频部分，对源域图像进行风格迁移，然后利用BP网络进行源域全监督分割网络训练；
步骤1.2：利用神经网络进行同风格的源-目标域对抗训练，进行同风格源域和目标域的整体边缘分布匹配；
步骤1.3：利用神经网络进行源-目标域判别器训练与目标域间判别器的训练，以进一步区分同风格的源-目标域与不同风格的目标域。
3.根据权利要求2所述的一种面向水域场景的双分布匹配多域适应分割方法，其特征在于，使用多次傅里叶风格变换对源域图像进行风格迁移，取平均值来进行同风格的源-目标域对抗训练或只使用一次傅里叶风格变换并进行对抗训练。
4.根据权利要求2所述的一种面向水域场景的双分布匹配多域适应分割方法，其特征在于，在步骤1.3中，所述判别器分为源-目标域判别器和目标域间的判别器两种；其中，源-目标域判别器进行对抗训练和判别训练，用于匹配同风格源-目标域整体特征分布；目标域间判别器不进行对抗训练，但进行判别训练，用于进一步区分不同目标域。
5.根据权利要求1所述的一种面向水域场景的双分布匹配多域适应分割方法，其特征在于，所述再次使用傅里叶变换得到不同目标域风格的源域图像，统计不同风格源域的语义分布；基于语义分布感知的对比学习方法，进行细粒度的类分布匹配，匹配相同风格的源域与目标域的分布包括：
步骤2.1：对经过傅里叶风格变换的不同目标域风格的源域数据集进行语义分布的统计，统计不同风格源域数据集中的每个类别的语义分布；
步骤2.2：基于语义分布的对比学习方法进行同风格的源域和目标域在像素水平上的局部类别匹配。
6.根据权利要求5所述的一种面向水域场景的双分布匹配多域适应分割方法，其特征在于，在步骤2.2中，所述进行同风格的源域和目标域在像素水平上的局部类别匹配还包括：
对源域进行傅里叶风格变换，将源域变换成所有目标域风格的源域。
7.根据权利要求1所述的一种面向水域场景的双分布匹配多域适应分割方法，其特征在于，所述使用基于伪标签的自训练策略包括：
步骤3.1：得到目标域的伪标签；
步骤3.2：使用得到的伪标签进行自训练。
8.根据权利要求1所述的一种面向水域场景的双分布匹配多域适应分割方法，其特征在于，所述使用傅里叶变换对源域数据集进行风格变换包括：设有标签的源域，由源域图像/>及其相应的语义标签/>组成，其中H和W是图像的高度和宽度；多目标域/>由没有标签的目标域/>的图像/>组成，其中i = 1, …, N，N为目标域的个数；通过傅里叶变换将源域图像/>变换为目标域/>，其公式为：
其中，为傅里叶变换，/>为逆傅里叶变换；/>，/>分别为使用傅里叶变换得到图像的相位和振幅；/>是一个掩模，其值除了中心区域的/>以外皆为0，通过调整超参数β来控制源图像样式迁移的程度。
9.一种面向水域场景的双分布匹配多域适应分割系统，其特征在于，包括：
傅里叶变换模块，用于将单峰分布的源域数据集转换为类似目标域的多峰分布，而无需额外训练一个风格迁移网络；
整体分布匹配模块，用于将变换风格后的源域图像和同风格的目标域图像间通过多判别器对抗训练的方式，进行整体分布匹配；
类级分布匹配模块，由傅里叶变换模块将源域图像风格转换为不同目标域风格的源域图像，然后统计不同风格源域的语义分布，使用基于语义分布感知的对比学习方法实现类级分布匹配；
自训练模块，使用基于伪标签的自训练策略，进一步提升分割模型在目标域上的性能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310723846.7A CN116468744B (zh) | 2023-06-19 | 2023-06-19 | 一种面向水域场景的双分布匹配多域适应分割方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310723846.7A CN116468744B (zh) | 2023-06-19 | 2023-06-19 | 一种面向水域场景的双分布匹配多域适应分割方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116468744A CN116468744A (zh) | 2023-07-21 |
| CN116468744B true CN116468744B (zh) | 2023-09-05 |
Family
ID=87181108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310723846.7A Active CN116468744B (zh) | 2023-06-19 | 2023-06-19 | 一种面向水域场景的双分布匹配多域适应分割方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116468744B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160392A (zh) * | 2021-05-14 | 2021-07-23 | 电子科技大学成都学院 | 基于深度神经网络的光学建筑目标三维重建方法 |
| CN113221902A (zh) * | 2021-05-11 | 2021-08-06 | 中国科学院自动化研究所 | 基于数据分布扩充的跨域自适应语义分割方法及系统 |
| CN114926638A (zh) * | 2022-05-24 | 2022-08-19 | 中国科学院软件研究所 | 基于加权互学习的无监督多源域适应图像语义分割方法 |
| CN115578557A (zh) * | 2022-07-13 | 2023-01-06 | 杭州领见数字农业科技有限公司 | 模型训练方法、语义分割模型、装置、介质和电子设备 |
| CN116051494A (zh) * | 2023-01-03 | 2023-05-02 | 河北工业大学 | 基于傅里叶的元学习领域泛化的少样本医学图像分割方法 |
| CN116228671A (zh) * | 2023-01-04 | 2023-06-06 | 天津大学 | 基于双路径自监督的跨域视杯视盘自动分割方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
| US12014446B2 (en) * | 2021-08-23 | 2024-06-18 | Google Llc | Systems and methods for generating predicted visual observations of an environment using machine learned models |
| US11954828B2 (en) * | 2021-10-14 | 2024-04-09 | Lemon Inc. | Portrait stylization framework using a two-path image stylization and blending |
-
2023
- 2023-06-19 CN CN202310723846.7A patent/CN116468744B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221902A (zh) * | 2021-05-11 | 2021-08-06 | 中国科学院自动化研究所 | 基于数据分布扩充的跨域自适应语义分割方法及系统 |
| CN113160392A (zh) * | 2021-05-14 | 2021-07-23 | 电子科技大学成都学院 | 基于深度神经网络的光学建筑目标三维重建方法 |
| CN114926638A (zh) * | 2022-05-24 | 2022-08-19 | 中国科学院软件研究所 | 基于加权互学习的无监督多源域适应图像语义分割方法 |
| CN115578557A (zh) * | 2022-07-13 | 2023-01-06 | 杭州领见数字农业科技有限公司 | 模型训练方法、语义分割模型、装置、介质和电子设备 |
| CN116051494A (zh) * | 2023-01-03 | 2023-05-02 | 河北工业大学 | 基于傅里叶的元学习领域泛化的少样本医学图像分割方法 |
| CN116228671A (zh) * | 2023-01-04 | 2023-06-06 | 天津大学 | 基于双路径自监督的跨域视杯视盘自动分割方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 《结合自集成和对抗学习的域自适应城市场景语义分割》;张桂梅 等;《模式识别与人工智能》;第34卷(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116468744A (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zheng et al. | A novel background subtraction algorithm based on parallel vision and Bayesian GANs | |
| Liu et al. | Lane detection in low-light conditions using an efficient data enhancement: Light conditions style transfer | |
| CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
| Zhang et al. | CDNet: A real-time and robust crosswalk detection network on Jetson nano based on YOLOv5 | |
| Lei et al. | Multiscale superpixel segmentation with deep features for change detection | |
| Kasarla et al. | Region-based active learning for efficient labeling in semantic segmentation | |
| CN104850865A (zh) | 一种多特征迁移学习的实时压缩跟踪方法 | |
| Zhao et al. | Adaptive logit adjustment loss for long-tailed visual recognition | |
| Fu et al. | Research on semantic segmentation of high-resolution remote sensing image based on full convolutional neural network | |
| Guan et al. | Real-time lane-vehicle detection and tracking system | |
| Xiong et al. | Contrastive learning for automotive mmWave radar detection points based instance segmentation | |
| CN108805102A (zh) | 一种基于深度学习的视频字幕检测与识别方法及系统 | |
| CN116798070A (zh) | 一种基于光谱感知和注意力机制的跨模态行人重识别方法 | |
| CN116503636A (zh) | 一种基于自监督预训练的多模态遥感影像分类方法 | |
| CN114549909A (zh) | 一种基于自适应阈值的伪标签遥感图像场景分类方法 | |
| CN112749734B (zh) | 一种基于可迁移注意力机制的领域自适应的目标检测方法 | |
| Murtaza et al. | Constrained sampling for class-agnostic weakly supervised object localization | |
| CN116468744B (zh) | 一种面向水域场景的双分布匹配多域适应分割方法与系统 | |
| CN114091548A (zh) | 一种基于关键点和图匹配的车辆跨域重识别方法 | |
| CN117132804B (zh) | 一种基于因果跨域小样本学习的高光谱图像分类方法 | |
| CN103984965A (zh) | 基于多分辨率特征关联的行人检测方法 | |
| Jiang et al. | RailSeg: Learning Local-Global Feature Aggregation with Contextual Information for Railway Point Cloud Semantic Segmentation | |
| Cheng et al. | Causal meta-transfer learning for cross-domain few-shot hyperspectral image classification | |
| CN116343041A (zh) | 一种基于hrrp与sar数据特征级融合的舰船分类方法 | |
| Zhao et al. | Drmnet: A multi-task detection model based on image processing for autonomous driving scenarios |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |