CN111199550A - 图像分割网络的训练方法、分割方法、装置和存储介质 - Google Patents
图像分割网络的训练方法、分割方法、装置和存储介质 Download PDFInfo
- Publication number
- CN111199550A CN111199550A CN202010271612.XA CN202010271612A CN111199550A CN 111199550 A CN111199550 A CN 111199550A CN 202010271612 A CN202010271612 A CN 202010271612A CN 111199550 A CN111199550 A CN 111199550A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- segmentation
- target domain
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 401
- 238000012549 training Methods 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 133
- 238000003709 image segmentation Methods 0.000 title claims abstract description 93
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 47
- 238000010586 diagram Methods 0.000 claims description 18
- 230000009977 dual effect Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 13
- 230000003044 adaptive effect Effects 0.000 description 10
- 241000282414 Homo sapiens Species 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 210000002216 heart Anatomy 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000000936 intestine Anatomy 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000003800 pharynx Anatomy 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 210000001215 vagina Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像分割网络的训练方法、分割方法、装置和存储介质；本申请实施例可以获取目标域图像、以及已标注信息的源域图像；采用生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，得到源域分割结果和目标域分割结果；采用生成对抗网络中的对抗网络对目标域分割结果和源域分割结果进行判别，得到判别结果；根据目标域分割结果，获取目标域图像的信息熵，并根据信息熵以及目标域分割结果、源域分割结果构建对抗损失；根据目标域分割结果、源域分割结果和标签信息，构建分割损失；根据对抗损失、分割损失和判别结果，对生成对抗网络进行迭代训练，得到训练后的生成对抗网络。本方案可以有效地提高图像分割的准确性。
Description
技术领域
本申请涉及通信技术领域，具体涉及一种图像分割网络的训练方法、分割方法、装置和存储介质。
背景技术
近些年来，在人工智能领域，使用领域自适应策略来解决图像分类、检测等任务成为热点，同时，该策略在分割任务上也得到了大量的应用。由于对于大规模数据集或者真实图像数据集来说，我们往往很难得到数据集的像素级语义标注信息，因此无法基于有监督的学习方式来训练分割网络，那么使用领域自适应策略来解决无监督的图像分割问题就成为十分重要的方法。
通过对抗学习的方式来解决领域自适应问题是目前最常用的方法，该方法主要包括两个网络模块，一个是生成模块，可以对输入到该网络中的源域和目标域图像产生分割结果；而另一个是判别模块，目的是正确区分出前一模块输出的分割结果来自于哪一个领域。在这样的对抗学习过程中，生成网络会趋向于产生欺骗判别器的输出结果，使得源域和目标域的分割结果越来越相似，达到领域自适应的目的。
但是目前的领域自适应方法，训练过程不完善，且大多关注于生成模块结构的改善，忽略了判别模型和对抗损失对于对抗学习的作用，因此，训练得到的生成对抗网络对于图像分割的结果都不够准确。
发明内容
本申请实施例提供一种图像分割网络的训练方法、分割方法、装置和存储介质，可以有效地提高图像分割的准确性。
本申请实施例提供一种图像分割网络的训练方法，包括：
获取目标域图像、以及已标注信息的源域图像；
采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果；
采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果；
根据所述目标域分割结果，计算所述目标域图像的信息熵，并根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失；
根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失；
根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。
本申请还提供一种图像分割方法，包括：
从目标域图像中获取待分割图像；
采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果，所述生成对抗网络是根据上述图像分割网络的训练方法训练得到。
相应的，本申请实施例还提供一种图像分割网络的训练装置，包括：
采样单元，获取目标域图像、以及已标注信息的源域图像；
分割单元，用于采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果；
判别单元，用于采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果；
对抗损失获取单元，用于根据所述目标域分割结果，计算所述目标域图像的信息熵，并根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失；
分割损失获取单元，用于根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失；
训练单元，用于根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。
相应地，本申请还提供了一种图像分割装置，包括：
获取单元，用于从目标域图像中获取待分割图像；
分割单元，用于采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果，所述生成对抗网络是根据上述图像分割网络的训练方法训练得到。
此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种图像分割网络的训练方法中的步骤。
此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种图像分割网络的训练方法中的步骤。
本申请实施例可以获取目标域图像、以及已标注信息的源域图像；采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果；采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果；根据所述目标域分割结果，计算所述目标域图像的信息熵，并根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失；根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失；根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。本方案通过将信息熵融入对抗损失的计算中，以强化对抗学习过程，进而使得训练后的对抗生成网络可以更好地学习到领域自适应任务能力，从而可以有效地提高图像分割的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像分割网络的训练及应用场景示意图；
图2a是本申请实施例提供的图像分割网络的训练方法的流程图；
图2b是本申请实施例提供的图像分割方法的一个流程图；
图2c是本申请实施例提供的图像分割网络的训练方法应用的一个流程图；
图3a是本申请实施例提供的图像分割网络的训练装置的结构示意图；
图3b是本申请实施例提供的图像分割装置的结构示意图；
图4是本申请实施例提供的电子设备的结构示意图；
图5a是本申请实施例提供的图像分割网络的训练方法的系统框架图；
图5b是本申请实施例提供的转换网络的框架图；
图5c是本申请实施例提供的生成对抗网络的生成网络框架图；
图5d是本申请实施例提供的第一种图像的训练和分割实验结果图；
图5e是本申请实施例提供的第二种图像的训练和分割实验结果图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种图像分割网络的训练方法、分割方法、装置和存储介质。其中，该图像分割网络的训练装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。该图像分割装置可以与所述训练装置集成在同一电子设备中，也可以集成在不同的电子设备中，当该图像分割装置可以与所述训练装置集成在不同的电子设备中时，该不同的电子设备可以通过网络连接，从而使图像分割装置可以从训练装置中获取训练好的生成对抗网络中的生成网络。
本申请实施例提供的图像分割方法涉及人工智能领域中的计算机视觉方向，可以通过人工智能的计算机视觉技术实现图像分割，得到分割结果。图像分割网络的训练方法涉及到人工智能的机器学习领域，通过机器学习实现领域自适应。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
其中，计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指通过计算机代替人眼对目标进行识别、测量等的机器视觉，并进一步进行图像处理，使图像经过计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别等技术，还包括常见的人脸识别、人体姿态识别等生物特征识别技术。
其中，机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例中，所谓图像分割，是指是把图像分成若干个特定的、具有独特性质的区域，并提出感兴趣目标的计算机视觉技术和过程。比如，对医学图像如眼底图像进行分割，找出所需的目标对象或者目标区域，比如，从眼底图像中分割出视杯、视盘等等。比如，从街景图像中分割出街景图像中的道路、车辆、行人、建筑等。该分割出来的目标对象或者目标区域后续可以供专业工作人员或者设备进行分析，以便做出进一步的操作。
例如，参见图1，首先，该集成了图像分割装置的电子设备首先获取待分割的图像，然后用训练好的生成对抗网络中的生成网络对待分割图像进行分割，得到目标分割结果。
由于该方案在训练生成对抗网络时，通过将信息熵融入对抗损失的计算中，以强化对抗学习过程，进而使得训练后的对抗生成网络可以更好地学习到领域自适应任务能力，从而可以有效地提高图像分割的准确性。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
实施例一
本实施例将从图像分割网络的训练装置的角度进行描述，该训练装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能可穿戴设备等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
如图2a所示，该图像分割网络的训练方法的具体流程可以如下：
101、获取目标域图像、以及已标注信息的源域图像。
其中，源域图像指的是可以提供丰富的标注信息的图像，目标域图像指的是测试数据集所在的领域，缺少标注信息的图像。目标域图像中包含测试数据集和训练数据集，测试数据集包含我们需要的待分割图像，在图像分割网络的训练过程中，使用的目标域图像指的是训练数据集中的图像。源域图像和目标域图像描述的是相同场景，解决同一类任务，源域图像和目标域图像的数据分布相关但是不同，因此源域图像和目标域图像在外观风格上可能非常不同，可是在分割结果上会具有很多相似性，如空间布局和局部上下文。本申请通过对分割网络进行领域适应训练，可以将在源域图像中表现良好的分割网络应用在目标域图像上。
其中，源域图像可以由图像采集设备采集，由专业人员对图像进行标注，进而发送给图像分割网络的训练装置。例如，源域图像具体可以表现为医学图像，那么源域图像可以由各医学图像采集设备，比如电子计算机断层扫描仪（Computed Tomography，CT）、或核磁共振成像仪等来对生命体组织进行图像采集，并由图像科医师标注进而提供给图像分割网络的训练装置，即，图像分割装置具体可以接收医学图像采集设备发送的医学图像样本。再例如，源域图像可以表现为街景图像，那么源域图像可以由街道上的监控设备进行采集，并由专业人士进行标注进而提供给图像分割网络的训练装置，还可以从游戏视频中采集游戏引擎合成的街景图像作为源域图像。
其中，医学图像指的是在医疗或医学研究中，以非侵入方式取得生命体或生命体某部分内部组织的图像，比如人体的脑部、肠胃、肝脏、心脏、喉咙和阴道等图像，这些图像可以是CT图像、核磁共振图像或者正子发射断层扫描影像等等。而生命体指的是有生命形态的独立个体，比如人或动物等。源域图像可以指的是已经由医学图像采集设备采集，通过各种途径获取到的图像，比如从数据库或网络等获取源域图像，源域图像可以是经由专业人员对图像进行特定意义标注的图像样本，也可以是未经任何处理的图像样本。
本申请针对源域图像数据集和目标域图像数据集之间的数据分布差异现象，提出了一种基于领域自适应策略的无监督图像分割网络的训练方法，并将分割结果的信息熵应用在对抗损失的计算过程之中，以强化对抗学习过程。参考图5a，该图像分割网络的训练方法框架主要由三个模块组成，即转换网络模块（Translation network，F）、生成对抗网络中的生成网络模块，也可以称为分割网络（Segmentation network，G）和生成对抗网络中的对抗网络模块（Discriminator network，D），以下将分别结合本实施例对各网络模块进行详细说明。
102、采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果。
生成对抗网络的目标是指导学习两个域中图像的空间布局和结构等数据分布特征，生成对抗网络的对抗原则在于通过使用源域图像和目标域图像的特征，来欺骗生成对抗网络中的对抗网络。
其中，生成对抗网络生成网络是进行图像语义分割的网络，生成对抗网络的结构和参数可以根据实际情况进行设定以及调整等等。比如，参考图5c，生成对抗网络中的生成网络可以以残差网络101（ResNet101模型）为主要框架的DeepLabV2模型，作为生成网络的基础模型。该模型一方面使用了“空洞卷积”来减小特征图的缩放尺度，以丰富分割特征的细节信息。另一方面，增加了空间金字塔结构，可以在多个不同的比率（rate)和不同的感受野下编码数据中不同尺度的纹理信息。其中，金字塔网络具体可以采用多孔空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）结构。另外，为了增强网络的特征表达能力，还提出了一个基于双重注意网络（Dual Attention Network，DANet）的注意机制，学习如何捕捉像素之间和特征图通道之间的上下文依赖关系（即全局特征信息），最终将双重注意网络的输出金字塔网络的输出相连接，生成用于分割的语义特征。
根据上述描述，步骤“采用生成对抗网络中的生成网络分别对所述转换后的源域图像和所述目标域图像进行分割，得到目标域分割结果和源域分割结果”具体可以包括：
通过残差网络对所述待分割图像进行特征提取，得到特征图；
采用不同感受野对所述特征图进行识别，得到多个不同尺度的局部特征信息；
计算所述特征图中像素点之间的相关性以及通道之间的相关性，得到全局特征信息；
将所述局部特征信息和全局特征信息进行融合，得到融合后语义特征；
基于所述融合后语义特征分别对所述待分割图像中的目标区域和目标对象进行分割，得到分割结果。
其中，生成网络最终输出的分割结果表现为一个经过归一化处理（softmax）的分割结果概率图（probability map）。分割结果概率图包括预测得到的各像素点属于某一对象的概率。
参考图5a，生成网络可以包括两个权重共享的生成网络模块，分别对转换后的源域图像和目标域图像进行分割。
在一实施例中，所述生成网络还包括金字塔网络，金字塔网络包括多层卷积层，各卷积层上设置有不同的感受野，步骤“所述采用不同感受野对所述特征图进行识别，得到多个不同尺度的局部特征信息”，具体包括：
通过所述金字塔网络对所述高层特征图进行识别，得到局部特征信息。
具体地，可以通过金字塔网络在特征图上使用多种不同步长的空洞卷积核进行卷积运算，从而输出不同尺度的特征图作为局部特征信息。
在一实施例中，所述生成网络还包括双重注意力网络，所述双重注意力网络设置在所述特征图的不同像素位置和不同通道位置，步骤“计算所述特征图中像素点之间的相关性，以及通道之间的相关性，得到全局特征信息”，具体可以包括：
通过所述双重注意力网络提取所述特征图中像素点之间的相关性以及通道之间的相关性，得到全局特征信息。
其中，双重注意力网络具体包括两种类型的注意模块，Position Attention （位置注意力）模块它们可以分别捕捉空间和通道维度中的语义相互依赖性。PositionAttention （位置注意力）模块和Channel Attention（通道注意力）。通过对所有位置的特征进行加权和，有选择地聚合每个位置的特征。无论距离如何，相似的特征都将彼此相关。同时，Channel Attention（通道注意力）模块通过整合所有通道映射中的相关特征来选择性地强调相互依赖的通道映射。利用这两种注意力模块来捕获图像中的全局特征信息。
在一实施例中，在步骤“采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果”之前，还包括如下步骤：根据所述目标域图像，对所述源域图像进行风格转换处理，得到转换后的源域图像。这样的话，上述步骤“采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果”实际为“采用生成对抗网络中的生成网络分别对所述转换后的源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果”。
其中，转换网络用于实现由源域图像至目标域图像的风格转换，使得转换后的源域图像可以在风格内容上和目标域图像更加接近，在一定程度上缩小领域差距，减小后续训练过程的学习难度。转换后的源域图像在保持原本图像空间布局和结构特征的基础上，获得了目标域图像的风格内容特征。为了实现这一点，目标域中所有图像的低级特征应该被分离并被视为目标域的“风格内容特征”，因为这些特征编码图像的低级形式，例如纹理，光照和阴影。相反，应该提取源域图像中的对象及其关系方面的高级内容特征（包括空间布局和结构特征），并将其与目标域的“风格内容特征”重新组合以产生转换后的源域图像。
其中，转换网络的结构和参数可以根据实际情况进行设定以及调整。一般可以采用GAN（生成式对抗网络, Generative Adversarial Networks ）来作为转换网络的基础模型，转换网络中有生成子网络G（generator）和判别子网络D（Discriminator）。有两个数据域分别为源域和目标域。G 负责把源域中的数据模仿成真实数据并把它们藏在真实数据中，而 D 就把伪造数据和真实数据分开。经过二者的博弈以后，G 的伪造技术越来越厉害，D 的鉴别技术也越来越厉害。直到 D 再也分不出数据是真实的还是 G 生成的数据的时候，这个对抗的过程达到一个动态的平衡。
在本实施例中，为了获得更好的转换结果，可以采用CycleGAN作为转换网络的基础模型。参考图5b，该模型本质上是使用两个镜像对称的GAN（生成式对抗网络，GenerativeAdversarial Networks ）来构建一个环形结构，其特点是这两个对称的GAN会在“图像生成”和“图像重构”的过程中共享两个生成器（生成子网络）和判别器（判别子网络）。
具体地，结合转换网络的结构，步骤“根据所述目标域图像，对所述源域图像进行风格转换处理，得到转换后的源域图像”，可以包括：
采用预设初始转换网络中的正向生成子网络，将所述源域图像转换为目标域风格图像；
采用所述初始转换网络中的判别子网络，对所述目标域风格图像进行判别，得到判别结果；
采用所述初始转换网络中的逆向生成子网络，将所述目标域风格图像转换为源域风格图像；
根据所述判别结果、所述源域风格图像和所述源域图像，对所述初始转换网络进行迭代训练，得到所述转换网络。
CycleGAN网络是由两个单向GAN网络组成的，训练这两个单向GAN需要两个损失：生成子网络的逆向风格转换损失和判别子网络的正向风格转换损失。那么，步骤“根据所述判别结果、所述源域风格图像和所述源域图像，对所述初始转换网络进行迭代训练，得到所述转换网络”具体可以包括：
根据所述源域图像和所述目标域风格图像，获取正向风格转换损失；
根据所述目标域图像和所述源域风格图像，获取逆向风格转换损失；
根据所述正向风格转换损失和所述逆向风格转换损失，对所述初始转换网络中的参数进行更新；
根据所述判别结果，确定当前初始转换网络为训练后的所述转换网络。
其中，正向风格转换损失指的是源域图像转换成目标域风格图像产生的损失值（即图像生成过程产生的损失值），逆向风格转换损失指的是目标域图像转换成源域风格图像产生的损失值（即图像重构过程产生的损失值）。
其中，生成子网络由编码器、转换器和解码器构成，结合生成子网络的结构，步骤“采用预设初始转换网络中的正向生成子网络，将所述源域图像转换为目标域风格图像”具体包括：1、编码：第一步利用卷积神经网络从输入图像中提取特征。将图像压缩成256个64*64的特征向量。2、转换：通过组合图像的不相近特征，将图像在源域中的特征向量转换为目标域中的特征向量。可以采用6层Reset模块，每个Reset模块是一个由两个卷积层构成的神经网络层，能够达到在转换时同时保留原始图像特征的目标。3、解码：利用反卷积层（decovolution）完成从特征向量中还原出低级特征的工作，最后得到目标域风格图像。
其中，第一判别子网络可以将目标域风格图像作为输入，并尝试预测其为目标域图像或是第一生成子网络的输出图像。第二判别子网络可以将源域风格图像作为输入，并尝试预测其为源域图像或是第二生成子网络的输出图像。判别子网络本身属于卷积网络，需要从图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。
103、采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果。
其中，生成对抗网络的结构和参数可以根据实际情况进行设定以及调整等等。比如，生成对抗网络中的对抗网络可以采用多层全卷积网络，将源域图像和目标域图像的分割结果（具体可以表现为分割结果概率图）融合到对抗学习中，并且可以在除了最后一层的所有卷积层后都添加了一个泄露修正线性单元（Leaky Rectified Linear Unit，LeakyReLU）激活函数层，最终输出一个单通道的2D结果，该结果用0和1分别表示分割结果概率图属于源域图像和目标域图像，比如，判别结果为1表示分割结果概率图属于目标域图像。
该判别结果包括对源域分割结果的判别结果（即源域判别结果）和对目标域分割结果的判别结果（即目标域判别结果）。
其中，卷积层主要用于对输入的图像（比如本申请中的分割结果概率图）进行特征提取，其中，卷积核大小可以根据实际应用而定。可选的，为了提高模型的表达能力，还可以通过加入激活函数来加入非线性因素，在本发明实施例中，该激活函数均为“Leaky ReLU（泄露修正线性函数，Leaky Rectified Linear Unit）”，为了描述方便，在本发明实施例中，为了方便描述，将以对抗网络包括5个卷积层为例进行说明，其中，每个卷积层的卷积核为4，步幅为2，填充为1，并且在除了最后一层的所有卷积层后都添加了一个泄露修正线性单元（Leaky Rectified Linear Unit，Leaky ReLU）激活函数层。
104、根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失。
其中，信息熵被看作是某个系统所含信息量的一种量化指标，通常，若某事件的发生概率越高，那么其所携带的信息量就越小，信息熵也就越小。生成网络最终会输出一个经过归一化处理（softmax）的分割结果概率图（probability map），对于单个像素点而言，若该点的分割质量较高，也就是当其预测结果的置信度较高时，那么该点被预测为某一个类别的概率就会很高，其所有通道的信息熵总和就会越小。反而言之，若某像素点的分割结果比较模糊，那么该点的各通道预测概率就不会出现明显的峰值，其信息熵总和就会较大。由此可见，信息熵的计算结果可以用来衡量分割结果的质量。与此同时，由于对抗学习决定了领域自适应的结果，因此分割结果质量的好坏反映了对抗学习的效果。考虑到基于分割结果来强化对抗学习过程，在本发明中，通过计算目标域图像的分割结果中每个像素点对应的信息熵大小，由此生成一张信息熵结果图，并将该“结果图”乘在对抗网络对各像素点计算的对抗损失上，其目的是对于分割质量较低的像素点，增大其损失权重，而反之，对那些分割结果较好的像素点添加较小的损失权重。
其中，判别网络的对抗损失的计算可以如下：
其中，
是对抗损失在训练过程中用来平衡损失关系的参数，
可以表示为：
其中，E表示期望函数，
指的对抗网络对目标域分割结果的判别结果（即目标域
判别结果），
指的是对抗网络对源域分割结果的判别结果（即源域判别结果），
是
信息熵结果图对应的权重参数，
的加入是为了在
较小的情况下保证训练过程的稳
定。
是目标域图像的信息熵计算结果，可以表示为：
其中，C表示分割的类别数目，H和W分别为图像的高和宽。
表示第i个像素点预测概率
值。
根据上述描述可知，判别结果包括源域判别结果和目标域判别结果步骤“根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失”具体可以包括：
计算目标域分割结果中每个像素点对应的信息熵；
根据所述源域判别结果和所述目标域判别结果构建判别损失；
将所述信息熵与所述判别损失融合得到所述对抗损失。
105、根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失。
生成网络的分割损失可以包括源域分割损失和目标域分割损失，计算公式如下：
其中，
表示转换后的源域图像，
是目标域图像在训练过程中生成的伪标签，
是源
域图像上标注的标签信息，
表示目标域图像，
是生成网络的交叉熵损失函数。
生成网络的输出结果如下：
其中，C表示分割的类别数目，H和W分别为图像的高和宽。
其中，源域分割损失定义为：
其中，
表示转换后的源域图像上第i个像素点的第c个通道的预测概率值，若第i个
像素点的标注的标签属于第c个类别，则
，否则
。
相应地，目标域分割损失定义为：
其中，
表示目标域图像第i个像素点的第c个通道的预测概率值，若上一训练阶段得
到的第i个像素点的伪标签属于第c个类别，则
，否则
。
根据上述描述可知：步骤“根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失”具体可以包括：
根据所述源域分割结果，以及所述源域图像中标注的标签信息，获取源域分割损失；
根据目标域分割结果，以及上一训练阶段得到的目标域伪标签，获取目标域分割损失；
根据所述目标域分割结果，生成当前训练阶段的目标域伪标签。
其中，将生成网络中的参数更新作为一个训练阶段的分界。上一训练阶段指的是最近两次参数更新之间的训练过程。
其中，对于目标域数据集来说，没有像素级的语义标签，因此可以将整个任务看作一个无监督的图像分割问题。本申请通过添加“自监督”信息的方式，即利用目标域图像的分割结果来生成像素级的伪标签，并将其应用在下一训练阶段中。在目标域图像的分割概率结果中，对于任一像素点而言，若某一类别的预测置信度高于置信阈值，则在该像素位置生成一个对应类别的伪标签。这里的置信阈值采用自适应的设置方式，对目标域图像中每个类和每个样本中每个伪标签的置信度进行排序，自适应地选取类级和图像级预测置信度最高的像素点，生成像素级伪标签，作为下一训练阶段的交叉监督信息。为了保证生成的伪标签的正确性，采用了一种“从易到难”的策略，即以迭代的方式训练模型，不断生成更准确的伪标签。本实施例通过在目标域数据集中生成伪标签的方式来添加自监督信息，从而更好的完成了无监督的图像分割任务。
106、基于所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。
在本实施例中，步骤“根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络”，具体可以包括：
根据所述分割损失，对所述生成对抗网络中生成网络的参数进行更新；
根据所述对抗损失，对所述生成对抗网络中的生成网络和对抗网络中的参数进行更新；
根据所述判别结果，确定当前的生成对抗网络为训练后的生成对抗网络。
具体地，可以通过计算源域图像分割结果和标签之间的分割损失来学习和更新分割网络的参数，通过最小化对抗损失来实现更新对抗网络的参数，而与此同时，对抗损失也会作用在分割网络的参数学习过程中，参数对源域分割结果和目标域分割结果的正更新的方向是促使分割网络能够产生“欺骗”判别器的分割结果，使其无法区分预测的分割结果是来自源域还是目标域。根据判别结果，当对抗网络无法区分预测的分割结果是来自源域还是目标域时，训练完成。
根据上述描述，生成对抗网络的整体目标函数由最大最小优化的具体计算公式如下：
比如，具体可以根据所述源域分割结果，以及所述源域图像中标注的标签信息，获取源域分割损失；根据目标域分割结果，以及上一训练阶段得到的目标域伪标签，获取目标域分割损失；根据所述源域分割损失和所述目标域分割损失，对所述生成对抗网络中的生成网络的参数进行更新；根据所述目标域分割结果，生成当前训练阶段的目标域伪标签。
比如，具体可以根据所述目标域分割结果，计算所述目标域图像的信息熵；
根据所述目标域分割结果、所述源域图像中标注的标签信息，以及所述信息熵，构建对抗损失；根据所述对抗损失，对所述生成对抗网络中生成网络和对抗网络的参数进行交替更新。
接着，将生成对抗网络中的生成网络输出的分割结果参考分割概率
和目标分割
概率
同时输入到生成对抗网络中的对抗网络中，并利用由
生成的信息熵结果来计算对
抗损失
，同时通过最大化对抗损失来更新对抗网络的参数。随后，对抗损失函数产生的误
差也会被反传回给生成网络，通过最小化对抗损失来更新分割网络的参数，目的是使得生
成网络对源域图像和目标域图像预测出的分割结果能够越来越相似，实现领域自适应。
例如，具体可以在得到源域分割结果和目标域分割结果后，根据所述目标域分割结果，计算所述目标域图像的信息熵；根据所述目标域分割结果、所述源域图像中标注的标签信息，以及所述信息熵，构建对抗损失；根据所述对抗损失，对所述生成对抗网络中生成网络和对抗网络的参数进行交替更新。
综上所述，在训练过程中，本申请采用分阶段的训练方式。用上一训练阶段的分割
结果生成伪标签，并将其应用在当前训练阶段的生成网络训练过程中。而在每一训练阶段
中，生成网络和对抗网络以交替更新的方式一起训练。我们首先将图像数据输入到生成网
络中，利用源域数据的真实标签和目标域数据的伪标签来计算分割损失，并通过最小化分
割损失来更新生成网络的参数。然后我们将生成网络输出的分割结果输入到对抗网络中，
并利用由生成的信息熵结果来计算对抗损失，同时通过最大化对抗损失来更新对抗网络的
参数。随后，对抗损失函数产生的误差也会被反传回给生成网络，我们通过最小化对抗损失
来更新生成网络的参数，目的是使得生成网络对源域图像和目标域图像的分割结果能够越
来越相似，实现领域自适应。在一实施例中，在优化网络参数的过程中，可以使用SGD
（Stochastic Gradient Descent ，随机梯度描述)算法优化和训练生成网络，使用Adam算
法优化和训练对抗网络，生成网络和对抗网络的初始学习率分别为
和
。
本实施例将从图像分割装置的角度进行描述，该图像分割装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能可穿戴设备等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
如图2b所示，该图像分割方法的具体流程可以如下：
107、从目标域图像中获取待分割图像。
其中，待分割图像指的是需要进行分割的图像，比如医学图像（如心脏，肺等等）或者一些普通图像（如人、物体）等等，在此不做限制。比如，待分割图像为医学图像时，可以由各医学图像采集设备，比如电子计算机断层扫描仪或核磁共振成像仪等来对生命体组织进行图像采集，比如人体的脑部、肠胃、肝脏、心脏、喉咙和阴道等，进而提供给该医学图像检测装置，即，医学图像检测装置具体可以接收医学图像采集设备发送的待分割图像。
108、采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果，所述生成对抗网络是根据实施例一所述的图像分割网络的训练方法训练得到。
例如，具体可以基于该训练后的生成对抗网络的生成网络对待分割图像进行特征提取，得到待分割图像的特征信息，基于该待分割图像的特征信息对该待分割图像进行目标分割，得到待分割图像的分割预测概率，根据该分割预测概率生成该待分割图像的分割结果。
参考图5c，该生成网络是以以ResNet101模型为主体的DeepLabv2作为我们分割网络的基础模型。该模型一方面使用了“空洞卷积”来减小feature map特征图的缩放尺度，以丰富分割特征的细节信息，另一方面加入了空间金字塔（ASSP）结构，在多个不同的比率和不同的感受野下编码数据中不同尺度的纹理信息。在该模型的基础上，我们在分割网络的结构中加入了一个以DANet为基础结构的双重注意力网络。该网络通过在特征图不同像素位置和不同通道位置分别添加注意力机制的方式来捕获像素间和通道间的上下文依赖关系，以增强网络的特征表达能力。整体的分割网络结构如图5c所示，其中，我们将双重注意力网络的输出结果和金字塔网络的输出结果连接（concatenate）在一起，用来生成用于分割的语义特征。
根据上述描述，步骤“采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果”具体可以包括：
通过残差网络对所述待分割图像进行特征提取，得到特征图；
采用不同感受野对所述特征图进行识别，得到多个不同尺度的局部特征信息；
计算所述特征图中像素点之间的相关性以及通道之间的相关性，得到全局特征信息；
将所述局部特征信息和全局特征信息进行融合，得到融合后特征图；
基于所述融合后特征图分别对所述待分割图像中的目标区域和目标对象进行分割，得到目标域分割结果。
在一实施例中，所述生成网络还包括金字塔网络，所述金字塔网络包括多层卷积层，各所述卷积层上设置有不同的感受野，所述步骤“采用不同感受野对所述特征图进行识别，得到多个不同尺度的局部特征信息”，具体可以包括：
通过所述金字塔网络对所述特征图进行识别，得到多个不同尺度的局部特征信息。
在一实施例中，所述生成网络还包括双重注意力网络，所述双重注意力网络设置在所述特征图的不同像素位置和不同通道位置，所述步骤“计算所述特征图中像素点之间的相关性，以及通道之间的相关性，得到全局特征信息”，具体可以包括：
通过所述双重注意力网络提取所述特征图中像素点之间的相关性以及通道之间的相关性，得到全局特征信息。
由上可知，本申请的方案可以获取目标域图像、以及已标注信息的源域图像；采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果；采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果；根据所述目标域分割结果，计算所述目标域图像的信息熵，并根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失；根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失；根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。本方案通过将信息熵融入对抗损失的计算中，以强化对抗学习过程，进而使得训练后的对抗生成网络可以更好地学习到领域自适应任务能力，从而可以有效地提高图像分割的准确性。
实施例二
根据上一个实施例所描述的方法，以下将举例作进一步详细说明。
本申请实施例中无监督领域自适应的训练方法，可以通过领域对抗方式对包含图像分割网络（作为生成网络）的生成对抗网络进行训练，然后，采用训练后生成对抗网络中的生成网络对无标注的待分割图像进行分割等。本发明方法用无监督自学习的方法将从一个领域（源域）的数据上训练的分割模型，使得该模型在另外一个领域（目标域）的数据上也可以得到较好的分割效果。采用本申请的方法训练后的模型可以应用于普通图像分割，也可以用于眼底等医疗图像分割，在本实施例中，将以该图像分割装置具体集成在电子设备中，进行街景图像（普通图像）和街景图像分割为例进行说明。
如图2c所示，一种图像分割网络的训练方法，具体流程可以如下：
201、电子设备获取目标域图像、以及已标注标签信息的源域图像。
其中，源域图像指的是可以提供丰富的标注信息的图像，目标域图像指的是测试数据集所在的领域，缺少标注信息图像。
在第一实施例中，在两个关于街道场景数据集的自适应分割任务上，对于街景数据集来说，我们将带有像素级标签的SYNTHIA或者GTA5作为源域数据集，将Cityscapes作为目标域数据集（训练过程不使用其分割标签）。其中，Cityscapes是一个真实场景数据集，并被分为训练集、验证集和测试集，而训练集包含2975张图像，图像大小为2048×1024，在训练过程中，采用训练集中的图像作为用于训练的目标数据集。GTA5数据集采集于游戏画面，包含24966张图像，图像大小为1914×1052，可以使用其中与Cityscapes相同的19个类别作为源域数据集。SYNTHIA是一个生成数据集，包含9400张图像，图像大小为1280×760，我们还可以使用其中与Cityscapes相同的16个类别进行作为源域数据集进行训练。其中，目标域图像如图5d中的第一张图片所示。其中，源域图像标注有对象分割的真实标签信息，其中，源域图像中的标签信息如图5d和图5e中的第四张图所示。
在第二实施例中，对于视网膜眼底数据集来说，我们采用REFUGE挑战赛数据集进行训练，由于其训练集和验证集（或测试集）由不同相机拍摄，因此图像在颜色和纹理等方面存在差别，我们将REFUGE挑战赛数据集的训练集作为源域数据集，验证集（或测试集）作为目标域数据集。训练集包含400张图像，图像大小为2124×2056，验证集包含400张图像，图像大小为1634×1634。其中，目标域图像如图5e中的第一张图片所示。
本申请针对源域数据集和目标域数据集之间的分布差异现象，提出了一种基于领域自适应策略的无监督图像分割网络的训练方法，并将分割结果的信息熵应用在对抗损失的计算过程之中，以强化对抗学习过程。同时，通过在目标域数据集中生成伪标签的方式来添加自监督信息，从而更好的完成无监督的图像分割任务。
参考图5a，该图像分割网络的训练方法框架主要由三个网络模块组成，即转换网络模块（Translation network，F）、生成网络模块，也称分割网络模块（Segmentationnetwork，G）和对抗网络模块（Discriminator network，D），以下将分别结合本实施例对各网络模块进行详细说明。
将本申请算法模型在REFUGE挑战赛数据集上的实验，产生的原图像（inputimage）、信息熵结果图（entropy map）、分割结果图（result image）和真实标签图（GT）分别在图5d中展示。
将本申请算法模型在REFUGE数据集上的实验，产生的原图像（即输入图像，inputimage）、信息熵结果图（entropy map）、分割结果图（result image）和真实标签图（GT）分别在图5e中展示。
202、电子设备根据所述目标域图像，对所述源域图像进行风格转换处理，得到转换后的源域图像。
为了获得好的转换结果，电子设备使用在image-to-image（图像级风格转换）任务中表现优异的CycleGAN模型作为转换网络的基础模型。该模型本质上是使用两个镜像对称的GAN来构建一个环形结构，其特点是这两个对称的GAN会在“图像生成”和“图像重构”的过程中共享两个生成子网络和判别子网络。
其中，根据生成子网络和判别子网络，对源域图像进行风格转换的过程参见上面的实施例，不再赘述。
其中，转换网络需要采用目标域图像和源域图像训练完成后，才能使用，训练的过程参见上面的实施例，不再赘述。
203、电子设备采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果。
比如，如图5c所示，生成对抗网络中的生成网络可以以ResNet101为主要框架的DeepLabv2作为基础模型，实现了初步的分割结果。同时，增加了ASPP结构，丰富了特征图的多尺度信息。为了增强网络的特征表达能力，提出了一个基于DANet的注意机制，学习如何捕捉像素和特征图通道之间的上下文依赖关系，将注意力模块的输出与空间金字塔结构的输出相连接，生成最终的分割特征。
在分割过程中，生成对抗网络中的生成网络最终会输出一个经过归一化处理（softmax）的分割结果概率图（probability map）。其中，输出的分割结果概率图如图5d或者图5e中的第三张图所示。
比如，电子设备具体可以采用生成对抗网络中的生成网络对目标域图像进行特征提取，得到目标域图像的特征信息，基于该目标域图像的特征信息，对该目标域图像进行目标分割，得到目标分割概率；根据该目标分割概率，生成目标域分割结果。
其中，分割的具体过程参见上面的实施例，不再赘述。
204、电子设备采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果。
将生成对抗网络中的生成网络输出的分割结果参考分割概率
和目标分割概率
同时输入到生成对抗网络中的对抗网络中，并利用由
生成的信息熵结果来计算对抗损
失
，同时通过最大化对抗损失来更新对抗网络的参数。随后，对抗损失函数产生的误差
也会被反传回给生成网络，通过最小化对抗损失来更新分割网络的参数，目的是使得生成
网络对源域图像和目标域图像预测出的分割结果能够越来越相似，实现领域自适应。
比如，生成对抗网络中的对抗网络可以采用5层全卷积网络，将源域和目标域的分割概率融合到对抗学习中，网络模型的每个卷积层的kernel size为4，stride为2，padding为1，并且在除了最后一层的所有卷积层后都添加了一个Leaky ReLU激活函数层，最终输出一个单通道的2D结果，用0和1分别表示源域和目标域。
205、电子设备根据所述目标域分割结果，计算所述目标域图像的信息熵，并根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失。
对抗学习决定了领域自适应的结果，因此为了强化对抗学习过程，我们基于目标域的分割输出生成一张信息熵结果图，并将该“结果图”应用在对抗损失的计算过程中，目的是使得判别器能够对分割结果不理想的像素点添加更多的关注，由此达到更好的对抗学习效果。
信息熵被看作是某个系统所含信息量的一种量化指标，通常，若某事件的发生概率越高，那么其所携带的信息量就越小，信息熵也就越小。在分割过程中，分割网络最终会输出一个经过归一化处理（softmax）的分割结果概率图（probability map），对于单个像素点而言，若该点的分割质量较高，也就是当其预测结果的置信度较高时，那么该点被预测为某一个类别的概率就会很高，其所有通道的信息熵总和就会越小。反而言之，若某像素点的分割结果比较模糊，那么该点的各通道预测概率就不会出现明显的峰值，其信息熵总和就会较大。由此可见，信息熵的计算结果可以用来衡量分割结果的质量。与此同时，由于对抗学习决定了领域自适应的结果，因此分割结果质量的好坏反映了对抗学习的效果。考虑到基于分割结果来强化对抗学习过程，在本发明中，我们计算目标域图像的分割结果中每个像素点对应的信息熵大小，由此生成一张信息熵结果图，并将该“结果图”乘在判别器对各像素点计算的对抗损失上，其目的是对于分割质量较低的像素点，增大其损失权重，而反之，对那些分割结果较好的像素点添加较小的损失权重。
在本实施例中，信息熵结果图如图5d和图5e中的第二张图片所示。
206、电子设备根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失。
对于本发明实施例中的目标域数据集来说，没有像素级的语义标签，因此可以将整个任务看作一个无监督的图像分割问题。本申请通过添加“自监督”信息的方式，即利用目标域图像的分割结果来生成像素级的伪标签，并将其应用在下一训练阶段中。在目标域图像的分割概率结果中，对于任一像素点而言，若某一类别的预测置信度高于置信阈值，则在该像素位置生成一个对应类别的伪标签。这里的置信阈值采用自适应的设置方式，对目标域图像中每个类和每个样本中每个伪标签的置信度进行排序，自适应地选取类级和图像级预测置信度最高的像素点，生成像素级伪标签，作为下一训练阶段的交叉监督信息。为了保证生成的伪标签的正确性，采用了一种“从易到难”的策略，即以迭代的方式训练模型，不断生成更准确的伪标签。
例如，具体可以在得到源域分割结果和目标域分割结果后，根据所述源域分割结果，以及所述源域图像中标注的标签信息，获取源域分割损失；
根据目标域分割结果，以及上一训练阶段得到的目标域伪标签，获取目标域分割损失；
根据所述源域分割损失和所述目标域分割损失，对所述生成对抗网络中的生成网络的参数进行更新；
根据所述目标域分割结果，生成当前训练阶段的目标域伪标签。
其中，对于目标域图像来说，具体的训练方式与预设生成网络类似，也可以通过添加“自监督”信息的方式，即利用目标域图像的分割结果来生成像素级的伪标签，并将其应用在下一训练阶段中。比如，电子设备具体可以采用生成对抗网络中的生成网络对目标域图像进行特征提取，得到目标域图像的特征信息，基于该目标域图像的特征信息，对该目标域图像进行目标分割，得到目标分割概率；根据该目标分割概率，生成目标域分割结果；根据该目标域分割结果、和该目标域图像，获取目标域分割损失。
为了更好的解决无监督图像分割任务，我们在当前训练阶段，通过挑选目标域图像分割结果中预测概率高的像素点生成像素级伪标签，作为自监督信息应用在下一训练阶段。
207、电子设备根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。
例如，具体可以采用生成对抗网络的生成网络，分别对源域图像和目标域图像进行分割，得到源域分割结果和目标域分割结果。接着，根据所述目标域分割结果，计算所述目标域图像的信息熵；根据所述目标域分割结果、所述源域图像中标注的标签信息，以及所述信息熵，构建对抗损失；根据所述对抗损失，对所述生成对抗网络中生成网络和对抗网络的参数进行交替更新。
例如，电子设备将转换后的源域图像和目标域图像分别输入到分割网络（G）中，并产生分割结果概率图。由于源域数据集是具有像素级标签信息的，因此可以通过计算源域图像分割结果和标签之间的分割损失来学习和更新分割网络的参数。之后，我们将分割网络的输出结果输入到判别器（D）中，并通过最大化对抗损失来来实现对抗网络对源域分割结果和目标域分割结果的正确判断，而与此同时，对抗损失也会作用在分割网络的参数学习过程中，参数对源域分割结果和目标域分割结果的正更新的方向是促使分割网络能够产生“欺骗”判别器的分割结果，使其无法区分预测的分割结果是来自源域还是目标域。经过上述对抗学习的过程，分割网络对于源域图像和目标域图像所产生的分割结果将会存在高度的相似性，实现了领域自适应的目的。由此可见，对抗学习决定了领域自适应的结果，因此为了强化对抗学习过程，我们基于目标域的分割输出生成一张信息熵结果图，并将该“结果图”应用在对抗损失的计算过程中，目的是使得判别器能够对分割结果不理想的像素点添加更多的关注，由此达到更好的对抗学习效果。
208、电子设备从目标域图像中获取待分割图像。
电子设备具体可以基于该训练后的生成对抗网络的生成网络对待分割图像进行特征提取，得到待分割图像的特征信息，基于该待分割图像的特征信息对该待分割图像进行目标分割，得到待分割图像的分割预测概率，根据该分割预测概率生成该待分割图像的分割结果。
比如，电子设备具体可以接收街道影像设备采集到的街道场景图像，然后，基于该训练后的生成对抗网络的生成网络对该街道场景图像进行特征提取，得到街道场景图像的特征信息，基于该街道场景图像的特征信息对该眼底图像进行目标分割，得到街道场景图像的分割预测概率，根据该分割预测概率生成该街道场景图像的分割结果。
其中，在GTA5 to Cityscapes或者SYNTHIA to Cityscapes的街景图像分割任务中，待分割图像为Cityscapes的验证集或者测试集中的图像作为待分割图像，其中，验证集包括500张待分割图像。其中，待分割图像如图5d的第一张图所示。
其中，在REFEUGE挑战赛数据集上进行眼底图像分割实验时，将该数据集的验证集（或测试集）作为目标域数据集，从中选取待分割图像。其中，验证集包含400张图像，图像大小为1634×1634。其中，待分割图像如图5e的第一张图所示。
209、电子设备采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果。
为了验证本申请实施例提供的训练方案的带来效果，将本发明所提技术的实验结果和现有的一些算法模型得到的分割结果作了比较，并将基于“GTA5 to Cityscapes”任务和“SYNTHIA to Cityscapes”任务的街景场景图像分割结果分别在表1和表2中进行了展示。其中，表中的纵坐标表示不同的分割模型，表中横坐标表示图像中不同的对象，表中的数值表示不同模型从待分割图像中分割出不同对象的概率。
其中，在街景图像分割场景中，待分割图像的分割结果图如图5d的第三张图所示，图中分割出不同对象（比如，路灯、建筑、植物等）占据的区域，以及该区域中像素属于该对象的概率。
其中，在眼底图像分割场景中，待分割图像的分割结果图如图5e的第三张图所示，图中分割出不同对象（比如，视杯、视盘等）占据的区域，以及该区域中像素属于该对象的概率。
其中，AdaptSegNet模型首次提出了基于领域自适应策略来解决无监督图像分割问题的基础算法模型；CLAN模型提出了针对不同分割类别来保持领域间语义对齐的方法；ADVENT模型通过最小化分割结果的信息熵来实现领域自适应；BDL模型提出了基于两阶段的学习方式来提高模型性能。根据表1和表2的实验结果可以看到，在两个任务中，本申请的算法模型可以比现有算法模型取得更高的mIoU（平均并比）。其中，mIoU（平均并比）是一种语义分割指标。
表1 GTA5 to Cityscapes的对比实验结果
表2 SYNTHIA to Cityscapes的对比实验结果
为了验证本发明模型的泛化性，还可以将该模型在REFEUGE挑战赛数据集上进行实验，并以DI的形式将实验结果和该挑战赛中排名较高的成绩进行了对比，实验结果在表3中进行了展示。其中，DI是一种分割结果的衡量指标，表示为：
其中，
、
和
分别表示在分割结果中“真正例”、“假正例”和“假反例”的像素
点个数。其中，真正例指的是预测为1，实际为1的样本，假正例指的是预测为1，实际为0的样
本，假反例指的是预测为0，实际为1的样本。
表3 REFUGE挑战赛的对比实验结果
本申请实施例可以获取目标域图像、以及已标注信息的源域图像；采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果；采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果；根据所述目标域分割结果，计算所述目标域图像的信息熵，并根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失；根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失；根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。本方案通过将信息熵融入对抗损失的计算中，以强化对抗学习过程，进而使得训练后的对抗生成网络可以更好地学习到领域自适应任务能力，从而可以有效地提高图像分割的准确性。
为了更好地实施以上方法，相应的，本申请实施例还提供一种图像分割网络的训练装置，该图像分割网络的训练装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
例如，如图3a所示，该图像分割网络的训练装置可以包括采样单元301、分割单元302、判别单元303、对抗损失获取单元304、分割损失获取单元305和训练单元306，如下：
（1）采样单元301，获取目标域图像、以及已标注信息的源域图像；
（2）分割单元302，用于采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果；
（3）判别单元303，用于采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果；
（4）对抗损失获取单元304，用于根据所述目标域分割结果，计算所述目标域图像的信息熵，并根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失；
（5）分割损失获取单元305，用于根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失；
（6）训练单元306，用于根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。
可选的，在一些实施例中，该分割单元302具体可以用于：
通过残差网络对所述转换后的源域图像和目标域图像进行特征提取，得到多个特征图；
采用不同感受野对所特征图进行识别，得到多个不同尺度的局部特征信息；
计算所述特征图中像素点之间的相关性以及通道之间的相关性，得到全局特征信息；
将所述局部特征信息和全局特征信息进行融合，得到融合后语义特征图；
基于所述融合后语义特征图分别对所述源域图像中的目标区域和目标对象进行分割，得到分割结果。
可选的，在一些实施例中，该训练单元306可以包括分割训练子单元、对抗训练子单元和确定子单元，如下：
分割训练子单元，用于根据所述分割损失，对所述生成对抗网络中的生成网络的参数进行更新；
对抗训练子单元，用于根据所述对抗损失，对所述生成对抗网络中的生成网络和对抗网络中的参数进行交替更新；
确定子单元，用于根据所述判别结果，确定当前的生成对抗网络为训练后的生成对抗网络。
可选的，在一些实施例中，该分割训练子单元，具体可以用于：
根据所述源域分割结果，以及所述源域图像中标注的标签信息，获取源域分割损失；
根据目标域分割结果，以及上一训练阶段得到的目标域伪标签，获取目标域分割损失；
根据所述源域分割损失和所述目标域分割损失，对所述生成对抗网络中的生成网络的参数进行更新；
根据所述目标域分割结果，生成当前训练阶段的目标域伪标签。
可选的，在一些实施例中，该对抗训练子单元，具体可以用于：
计算所述目标域分割结果中每个像素点对应的信息熵；
根据所述目标域判别结果和所述源域判别结果构建判别损失；
将所述信息熵与所述判别损失融合得到所述对抗损失。
可选的，在一些实施例中，在采样单元301之后，还包括转换单元307具体可以用于根据所述目标域图像，对所述源域图像进行风格转换处理，得到转换后的源域图像。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本方案通过将信息熵融入对抗损失的计算中，以强化对抗学习过程，进而使得训练后的对抗生成网络可以更好地学习到领域自适应任务能力，从而可以有效地提高图像分割的准确性。
为了更好地实施以上方法，相应的，本申请实施例还提供一种图像分割装置，该图像分割装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
例如，如图3b所示，该图像分割装置可以包括获取单元401和分割单元402，如下：
（1）获取单元401，用于从目标域图像中获取待分割图像；
（2）分割单元402，用于采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果。
可选地，在一些实施例中，分割单元402具体可以包括初步特征提取子单元、局部特征提取子单元、全局特征提取子单元、融合子单元和分割子单元，如下：
初步特征提取子单元，用于通过残差网络对所述待分割图像进行特征提取，得到特征图；
局部特征提取子单元，用于采用不同感受野对所述特征图进行识别，得到多个不同尺度的局部特征信息；
全局特征提取子单元，用于计算所述特征图中像素点之间的相关性以及通道之间的相关性，得到全局特征信息；
融合子单元，用于将所述局部特征信息和全局特征信息进行融合，得到融合后语义特征；
分割子单元，用于基于所述融合后语义特征分别对所述待分割图像中的目标区域和目标对象进行分割，得到目标域分割结果。
可选地，在一些实施例中，所述生成网络还包括金字塔网络，所述金字塔网络包括多层卷积层，各所述卷积层上设置有不同的感受野，局部特征提取子单元具体可以用于：
通过所述金字塔网络对所述特征图进行识别，得到多个不同尺度的局部特征信息。
可选地，在一些实施例中，所述生成网络还包括双重注意力网络，所述双重注意力网络设置在所述特征图的不同像素位置和不同通道位置，全局特征提取子单元具体可以用于：
通过所述双重注意力网络提取所述特征图中像素点之间的相关性以及通道之间的相关性，得到全局特征信息。
此外，本申请具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
实施例还提供一种电子设备，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
电子设备还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：
获取目标域图像、以及已标注信息的源域图像；
采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果；
采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果；
根据所述目标域分割结果，计算所述目标域图像的信息熵，并根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失；
根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失；
根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。
或者
从目标域图像中获取待分割图像；
采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果，所述生成对抗网络是根据上述图像分割网络的训练方法训练得到。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本申请实施例通过将转换网络，从而实现由源域图像至目标域图像的风格转换，使得转换后的源域图像可以在风格内容上和目标域图像更加接近，可以减小后续训练过程的学习难度，进而使得训练后的对抗生成网络可以更好地解决领域自适应任务，从而有效地解决了噪声标签和无监督的图像分割任务，提高了图像分割的准确性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例还提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像分割网络的训练方法中的步骤。例如，该指令可以执行如下步骤：
获取目标域图像、以及已标注信息的源域图像；
采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果；
采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果；
根据所述目标域分割结果，计算所述目标域图像的信息熵，并根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失；
根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失；
根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。
或者
从目标域图像中获取待分割图像；
采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果，所述生成对抗网络是根据上述图像分割网络的训练方法训练得到。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器（Read Only Memory，ROM）、随机存取记忆体（Random Access Memory，RAM）、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像分割网络的训练方法以及图像分割方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像分割网络的训练方法以及图像分割方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像分割网络的训练方法、分割方法、装置和存储介质以及图像分割方法装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依根据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种图像分割网络的训练方法，其特征在于，包括：
获取目标域图像、以及已标注信息的源域图像；
采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果；
采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果；
根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失；
根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失；
基于所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。
2.根据权利要求1所述的方法，其特征在于，在所述采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果之前，还包括：
根据所述目标域图像，对所述源域图像进行风格转换处理，得到转换后的源域图像；
所述采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果，包括：
采用生成对抗网络中的生成网络分别对所述转换后的源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果。
3.根据权利要求1所述的方法，其特征在于，所述分割损失包括源域分割损失和目标域分割损失，所述根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失，包括：
根据所述源域分割结果，以及所述源域图像中标注的标签信息，获取源域分割损失；
根据目标域分割结果，以及上一训练阶段得到的目标域伪标签，获取目标域分割损失；
根据所述目标域分割结果，生成当前训练阶段的目标域伪标签。
4.根据权利要求1所述的方法，其特征在于，所述根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络，包括：
根据所述分割损失，对所述生成对抗网络中生成网络的参数进行更新；
根据所述对抗损失，对所述生成对抗网络中的生成网络和对抗网络中的参数进行交替更新；
根据所述判别结果，确定当前的生成对抗网络为训练后的生成对抗网络。
5.根据权利要求1所述的方法，其特征在于，所述判别结果包括目标域判别结果和源域判别结果，所述根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失，包括：
计算所述目标域分割结果中每个像素点对应的信息熵；
根据所述目标域判别结果和所述源域判别结果构建判别损失；
将所述信息熵与所述判别损失融合得到所述对抗损失。
6.根据权利要求2所述的方法，其特征在于，所述根据所述目标域图像，对所述源域图像进行风格转换处理，得到转换后的源域图像，包括：
采用训练后的转换网络中的正向生成子网络，将所述目标域图像的风格内容特征替换到所述源域图像中，得到转换后的源域图像。
7.根据权利要求6所述的方法，其特征在于，在所述采用训练后的转换网络中的正向生成子网络，将所述目标域图像的风格内容特征替换到所述源域图像中，得到转换后的源域图像之前，包括：
采用预设初始转换网络中的正向生成子网络，将所述源域图像转换为目标域风格图像；
采用所述初始转换网络中的判别子网络，对所述目标域风格图像进行判别，得到判别结果；
采用所述初始转换网络中的逆向生成子网络，将所述目标域风格图像转换为源域风格图像；
根据所述判别结果、所述源域风格图像和所述源域图像，对所述初始转换网络进行迭代训练，得到训练后的转换网络。
8.根据权利要求7所述的方法，其特征在于，所述根据所述判别结果、所述源域风格图像和所述源域图像，对所述初始转换网络进行迭代训练，得到训练后的转换网络，包括：
根据所述源域图像和所述目标域风格图像，获取正向风格转换损失；
根据所述目标域图像和所述源域风格图像，获取逆向风格转换损失；
根据所述正向风格转换损失和所述逆向风格转换损失，对所述初始转换网络中的参数进行更新；
根据所述判别结果，确定当前初始转换网络为训练后的所述转换网络。
9.一种图像分割方法，其特征在于，包括：
从目标域图像中获取待分割图像；
采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果，所述生成对抗网络是根据所述1至8任一项所述的图像分割网络的训练方法训练得到。
10.根据权利要求9所述的方法，其特征在于，所述采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果，包括：
通过残差网络对所述待分割图像进行特征提取，得到特征图；
采用不同感受野对所述特征图进行识别，得到多个不同尺度的局部特征信息；
计算所述特征图中像素点之间的相关性以及通道之间的相关性，得到全局特征信息；
将所述局部特征信息和全局特征信息进行融合，得到融合后特征；
基于所述融合后特征分别对所述待分割图像中的目标区域和目标对象进行分割，得到目标分割结果。
11.根据权利要求10所述的方法，其特征在于，所述生成网络还包括金字塔网络，所述金字塔网络包括多层卷积层，各所述卷积层上设置有不同的感受野，所述采用不同感受野对所述特征图进行识别，得到多个不同尺度的局部特征信息，包括：
通过所述金字塔网络对所述特征图进行识别，得到多个不同尺度的局部特征信息。
12.根据权利要求11所述的方法，其特征在于，所述生成网络还包括双重注意力网络，所述双重注意力网络设置在所述特征图的不同像素位置和不同通道位置，所述计算所述特征图中像素点之间的相关性，以及通道之间的相关性，得到全局特征信息，包括：
通过所述双重注意力网络提取所述特征图中像素点之间的相关性以及通道之间的相关性，得到全局特征信息。
13.一种图像分割网络的训练装置，其特征在于，包括：
采样单元，获取目标域图像、以及已标注信息的源域图像；
分割单元，用于采用生成对抗网络中的生成网络分别对所述源域图像和所述目标域图像进行分割，得到源域分割结果和目标域分割结果；
判别单元，用于采用所述生成对抗网络中的对抗网络对所述目标域分割结果和所述源域分割结果进行判别，得到判别结果；
对抗损失获取单元，用于根据所述目标域分割结果，计算所述目标域图像的信息熵，并根据所述目标域分割结果，获取所述目标域图像的信息熵，并根据所述信息熵以及所述判别结果构建对抗损失；
分割损失获取单元，用于根据所述目标域分割结果、所述源域分割结果和所述源域图像中标注的标签信息，构建分割损失；
训练单元，用于根据所述对抗损失、所述分割损失和所述判别结果，对所述生成对抗网络进行迭代训练，得到训练后的生成对抗网络。
14.一种图像分割装置，其特征在于，包括：
获取单元，用于从目标域图像中获取待分割图像；
分割单元，用于采用训练后的生成对抗网络中的生成网络对所述待分割图像进行分割，得到目标分割结果，所述生成对抗网络是根据所述1至8任一项所述的图像分割网络的训练方法训练得到。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8中任一项所述的图像分割网络的训练方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010271612.XA CN111199550B (zh) | 2020-04-09 | 2020-04-09 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010271612.XA CN111199550B (zh) | 2020-04-09 | 2020-04-09 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111199550A true CN111199550A (zh) | 2020-05-26 |
| CN111199550B CN111199550B (zh) | 2020-08-11 |
Family
ID=70747081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010271612.XA Active CN111199550B (zh) | 2020-04-09 | 2020-04-09 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199550B (zh) |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815593A (zh) * | 2020-06-29 | 2020-10-23 | 郑州大学 | 基于对抗学习的肺结节域适应分割方法、装置及存储介质 |
| CN111932555A (zh) * | 2020-07-31 | 2020-11-13 | 商汤集团有限公司 | 一种图像处理方法及装置、计算机可读存储介质 |
| CN112016554A (zh) * | 2020-08-04 | 2020-12-01 | 杰创智能科技股份有限公司 | 语义分割方法、装置、电子设备与存储介质 |
| CN112101183A (zh) * | 2020-09-10 | 2020-12-18 | 深圳市商汤科技有限公司 | 车辆识别方法及装置、电子设备及存储介质 |
| CN112115976A (zh) * | 2020-08-20 | 2020-12-22 | 北京嘀嘀无限科技发展有限公司 | 模型训练方法、模型训练装置、存储介质和电子设备 |
| CN112132197A (zh) * | 2020-09-15 | 2020-12-25 | 腾讯科技（深圳）有限公司 | 模型训练、图像处理方法、装置、计算机设备和存储介质 |
| CN112419326A (zh) * | 2020-12-02 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 图像分割数据处理方法、装置、设备及存储介质 |
| CN112529159A (zh) * | 2020-12-09 | 2021-03-19 | 北京百度网讯科技有限公司 | 网络训练方法、装置及电子设备 |
| CN112541924A (zh) * | 2020-12-08 | 2021-03-23 | 北京百度网讯科技有限公司 | 眼底图像生成方法、装置、设备以及存储介质 |
| CN112633229A (zh) * | 2020-12-31 | 2021-04-09 | 天津大学 | 一种基于spd流形的行人重识别系统 |
| CN112633285A (zh) * | 2020-12-23 | 2021-04-09 | 平安科技（深圳）有限公司 | 领域适应方法、装置、电子设备及存储介质 |
| CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
| CN112749734A (zh) * | 2020-12-29 | 2021-05-04 | 北京环境特性研究所 | 一种基于可迁移注意力机制的领域自适应的目标检测方法 |
| CN112750124A (zh) * | 2021-01-22 | 2021-05-04 | 推想医疗科技股份有限公司 | 模型生成、图像分割方法、装置、电子设备及存储介质 |
| CN112801911A (zh) * | 2021-02-08 | 2021-05-14 | 苏州长嘴鱼软件有限公司 | 一种去除自然图像中文字类噪声的方法及装置、存储介质 |
| CN112926585A (zh) * | 2021-01-11 | 2021-06-08 | 深圳大学 | 一种基于再生核希尔伯特空间的跨域语义分割方法 |
| CN112966687A (zh) * | 2021-02-01 | 2021-06-15 | 深圳市优必选科技股份有限公司 | 图像分割模型训练方法、装置及通信设备 |
| CN112990161A (zh) * | 2021-05-17 | 2021-06-18 | 江苏数兑科技有限公司 | 电子证照识别方法及装置 |
| CN113222997A (zh) * | 2021-03-31 | 2021-08-06 | 上海商汤智能科技有限公司 | 神经网络的生成、图像处理方法、装置、电子设备及介质 |
| CN113298855A (zh) * | 2021-05-27 | 2021-08-24 | 广州柏视医疗科技有限公司 | 基于自动勾画的图像配准方法 |
| CN113362286A (zh) * | 2021-05-24 | 2021-09-07 | 江苏星月测绘科技股份有限公司 | 一种基于深度学习的自然资源要素变化检测方法 |
| CN113450366A (zh) * | 2021-07-16 | 2021-09-28 | 桂林电子科技大学 | 基于AdaptGAN的低照度语义分割方法 |
| CN113706562A (zh) * | 2020-07-08 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、系统及细胞分割方法 |
| CN113724203A (zh) * | 2021-08-03 | 2021-11-30 | 唯智医疗科技(佛山)有限公司 | 一种oct图像中目标特征的分割方法及装置 |
| CN113743410A (zh) * | 2021-02-09 | 2021-12-03 | 京东数字科技控股股份有限公司 | 图像处理方法、装置和计算机可读存储介质 |
| CN113792751A (zh) * | 2021-07-28 | 2021-12-14 | 中国科学院自动化研究所 | 一种跨域行为识别方法、装置、设备及可读存储介质 |
| CN113822901A (zh) * | 2021-07-21 | 2021-12-21 | 南京旭锐软件科技有限公司 | 图像分割方法、装置、存储介质及电子设备 |
| CN113837191A (zh) * | 2021-08-30 | 2021-12-24 | 浙江大学 | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 |
| CN113920222A (zh) * | 2021-09-13 | 2022-01-11 | 北京三快在线科技有限公司 | 获取地图建图数据的方法、装置、设备及可读存储介质 |
| CN114519750A (zh) * | 2022-01-06 | 2022-05-20 | 北京大学 | 一种人脸图像压缩方法和系统 |
| CN114913592A (zh) * | 2022-05-18 | 2022-08-16 | 重庆邮电大学 | 一种基于卷积神经网络的眼底图像分类方法 |
| CN115099293A (zh) * | 2022-03-09 | 2022-09-23 | 北京安德医智科技有限公司 | 一种模型训练方法及装置、电子设备和存储介质 |
| CN115100491A (zh) * | 2022-08-25 | 2022-09-23 | 山东省凯麟环保设备股份有限公司 | 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统 |
| CN115222940A (zh) * | 2022-07-07 | 2022-10-21 | 北京邮电大学 | 一种语义分割方法和系统 |
| CN115409764A (zh) * | 2021-05-28 | 2022-11-29 | 南京博视医疗科技有限公司 | 一种基于域自适应的多模态眼底血管分割方法及装置 |
| CN115830597A (zh) * | 2023-01-05 | 2023-03-21 | 安徽大学 | 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法 |
| CN117649422A (zh) * | 2024-01-30 | 2024-03-05 | 安徽大学 | 多模态图像分割模型的训练方法和多模态图像分割方法 |
| CN117830340A (zh) * | 2024-01-04 | 2024-04-05 | 中南大学 | 一种探地雷达目标特征分割方法、系统、设备及存储介质 |
| CN118506008A (zh) * | 2024-07-15 | 2024-08-16 | 安徽高哲信息技术有限公司 | 热损伤玉米颗粒检测方法、装置、电子设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764173A (zh) * | 2018-05-31 | 2018-11-06 | 西安电子科技大学 | 基于多类生成对抗网络的高光谱图像分类方法 |
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN109919831A (zh) * | 2019-02-13 | 2019-06-21 | 广州视源电子科技股份有限公司 | 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质 |
| CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10380724B1 (en) * | 2019-01-28 | 2019-08-13 | StradVision, Inc. | Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations |
| CN110148142B (zh) * | 2019-05-27 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、装置、设备和存储介质 |
| CN110458060A (zh) * | 2019-07-30 | 2019-11-15 | 暨南大学 | 一种基于对抗学习的车辆图像优化方法及系统 |
| CN110827213B (zh) * | 2019-10-11 | 2023-03-31 | 西安工程大学 | 一种基于生成式对抗网络的超分辨率图像修复方法 |
-
2020
- 2020-04-09 CN CN202010271612.XA patent/CN111199550B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764173A (zh) * | 2018-05-31 | 2018-11-06 | 西安电子科技大学 | 基于多类生成对抗网络的高光谱图像分类方法 |
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN109919831A (zh) * | 2019-02-13 | 2019-06-21 | 广州视源电子科技股份有限公司 | 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质 |
| CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
Cited By (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815593B (zh) * | 2020-06-29 | 2024-03-01 | 郑州大学 | 基于对抗学习的肺结节域适应分割方法、装置及存储介质 |
| CN111815593A (zh) * | 2020-06-29 | 2020-10-23 | 郑州大学 | 基于对抗学习的肺结节域适应分割方法、装置及存储介质 |
| CN113706562B (zh) * | 2020-07-08 | 2023-04-07 | 腾讯医疗健康(深圳)有限公司 | 图像分割方法、装置、系统及细胞分割方法 |
| CN113706562A (zh) * | 2020-07-08 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、系统及细胞分割方法 |
| CN111932555A (zh) * | 2020-07-31 | 2020-11-13 | 商汤集团有限公司 | 一种图像处理方法及装置、计算机可读存储介质 |
| CN112016554A (zh) * | 2020-08-04 | 2020-12-01 | 杰创智能科技股份有限公司 | 语义分割方法、装置、电子设备与存储介质 |
| CN112016554B (zh) * | 2020-08-04 | 2022-09-02 | 杰创智能科技股份有限公司 | 语义分割方法、装置、电子设备与存储介质 |
| CN112115976A (zh) * | 2020-08-20 | 2020-12-22 | 北京嘀嘀无限科技发展有限公司 | 模型训练方法、模型训练装置、存储介质和电子设备 |
| CN112115976B (zh) * | 2020-08-20 | 2023-12-08 | 北京嘀嘀无限科技发展有限公司 | 模型训练方法、模型训练装置、存储介质和电子设备 |
| CN112101183A (zh) * | 2020-09-10 | 2020-12-18 | 深圳市商汤科技有限公司 | 车辆识别方法及装置、电子设备及存储介质 |
| CN112132197A (zh) * | 2020-09-15 | 2020-12-25 | 腾讯科技（深圳）有限公司 | 模型训练、图像处理方法、装置、计算机设备和存储介质 |
| CN112419326B (zh) * | 2020-12-02 | 2023-05-23 | 腾讯科技（深圳）有限公司 | 图像分割数据处理方法、装置、设备及存储介质 |
| CN112419326A (zh) * | 2020-12-02 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 图像分割数据处理方法、装置、设备及存储介质 |
| CN112541924A (zh) * | 2020-12-08 | 2021-03-23 | 北京百度网讯科技有限公司 | 眼底图像生成方法、装置、设备以及存储介质 |
| CN112541924B (zh) * | 2020-12-08 | 2023-07-18 | 北京百度网讯科技有限公司 | 眼底图像生成方法、装置、设备以及存储介质 |
| CN112529159A (zh) * | 2020-12-09 | 2021-03-19 | 北京百度网讯科技有限公司 | 网络训练方法、装置及电子设备 |
| CN112529159B (zh) * | 2020-12-09 | 2023-08-04 | 北京百度网讯科技有限公司 | 网络训练方法、装置及电子设备 |
| CN112633285A (zh) * | 2020-12-23 | 2021-04-09 | 平安科技（深圳）有限公司 | 领域适应方法、装置、电子设备及存储介质 |
| CN112633285B (zh) * | 2020-12-23 | 2024-07-23 | 平安科技（深圳）有限公司 | 领域适应方法、装置、电子设备及存储介质 |
| CN112749734A (zh) * | 2020-12-29 | 2021-05-04 | 北京环境特性研究所 | 一种基于可迁移注意力机制的领域自适应的目标检测方法 |
| CN112749734B (zh) * | 2020-12-29 | 2024-01-05 | 北京环境特性研究所 | 一种基于可迁移注意力机制的领域自适应的目标检测方法 |
| CN112633229A (zh) * | 2020-12-31 | 2021-04-09 | 天津大学 | 一种基于spd流形的行人重识别系统 |
| CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
| CN112926585B (zh) * | 2021-01-11 | 2023-07-28 | 深圳大学 | 一种基于再生核希尔伯特空间的跨域语义分割方法 |
| CN112926585A (zh) * | 2021-01-11 | 2021-06-08 | 深圳大学 | 一种基于再生核希尔伯特空间的跨域语义分割方法 |
| CN112750124B (zh) * | 2021-01-22 | 2021-11-09 | 推想医疗科技股份有限公司 | 模型生成、图像分割方法、装置、电子设备及存储介质 |
| CN112750124A (zh) * | 2021-01-22 | 2021-05-04 | 推想医疗科技股份有限公司 | 模型生成、图像分割方法、装置、电子设备及存储介质 |
| CN112966687A (zh) * | 2021-02-01 | 2021-06-15 | 深圳市优必选科技股份有限公司 | 图像分割模型训练方法、装置及通信设备 |
| CN112966687B (zh) * | 2021-02-01 | 2024-01-19 | 深圳市优必选科技股份有限公司 | 图像分割模型训练方法、装置及通信设备 |
| CN112801911A (zh) * | 2021-02-08 | 2021-05-14 | 苏州长嘴鱼软件有限公司 | 一种去除自然图像中文字类噪声的方法及装置、存储介质 |
| CN112801911B (zh) * | 2021-02-08 | 2024-03-26 | 苏州长嘴鱼软件有限公司 | 一种去除自然图像中文字类噪声的方法及装置、存储介质 |
| CN113743410B (zh) * | 2021-02-09 | 2024-04-09 | 京东科技控股股份有限公司 | 图像处理方法、装置和计算机可读存储介质 |
| CN113743410A (zh) * | 2021-02-09 | 2021-12-03 | 京东数字科技控股股份有限公司 | 图像处理方法、装置和计算机可读存储介质 |
| CN113222997A (zh) * | 2021-03-31 | 2021-08-06 | 上海商汤智能科技有限公司 | 神经网络的生成、图像处理方法、装置、电子设备及介质 |
| CN112990161A (zh) * | 2021-05-17 | 2021-06-18 | 江苏数兑科技有限公司 | 电子证照识别方法及装置 |
| CN113362286A (zh) * | 2021-05-24 | 2021-09-07 | 江苏星月测绘科技股份有限公司 | 一种基于深度学习的自然资源要素变化检测方法 |
| CN113362286B (zh) * | 2021-05-24 | 2022-02-01 | 江苏星月测绘科技股份有限公司 | 一种基于深度学习的自然资源要素变化检测方法 |
| CN113298855A (zh) * | 2021-05-27 | 2021-08-24 | 广州柏视医疗科技有限公司 | 基于自动勾画的图像配准方法 |
| CN115409764B (zh) * | 2021-05-28 | 2024-01-09 | 南京博视医疗科技有限公司 | 一种基于域自适应的多模态眼底血管分割方法及装置 |
| CN115409764A (zh) * | 2021-05-28 | 2022-11-29 | 南京博视医疗科技有限公司 | 一种基于域自适应的多模态眼底血管分割方法及装置 |
| CN113450366B (zh) * | 2021-07-16 | 2022-08-30 | 桂林电子科技大学 | 基于AdaptGAN的低照度语义分割方法 |
| CN113450366A (zh) * | 2021-07-16 | 2021-09-28 | 桂林电子科技大学 | 基于AdaptGAN的低照度语义分割方法 |
| CN113822901A (zh) * | 2021-07-21 | 2021-12-21 | 南京旭锐软件科技有限公司 | 图像分割方法、装置、存储介质及电子设备 |
| CN113822901B (zh) * | 2021-07-21 | 2023-12-12 | 南京旭锐软件科技有限公司 | 图像分割方法、装置、存储介质及电子设备 |
| CN113792751A (zh) * | 2021-07-28 | 2021-12-14 | 中国科学院自动化研究所 | 一种跨域行为识别方法、装置、设备及可读存储介质 |
| CN113792751B (zh) * | 2021-07-28 | 2024-06-04 | 中国科学院自动化研究所 | 一种跨域行为识别方法、装置、设备及可读存储介质 |
| CN113724203B (zh) * | 2021-08-03 | 2024-04-23 | 唯智医疗科技(佛山)有限公司 | 应用于oct图像中目标特征分割的模型训练方法及装置 |
| CN113724203A (zh) * | 2021-08-03 | 2021-11-30 | 唯智医疗科技(佛山)有限公司 | 一种oct图像中目标特征的分割方法及装置 |
| CN113837191B (zh) * | 2021-08-30 | 2023-11-07 | 浙江大学 | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 |
| CN113837191A (zh) * | 2021-08-30 | 2021-12-24 | 浙江大学 | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 |
| CN113920222A (zh) * | 2021-09-13 | 2022-01-11 | 北京三快在线科技有限公司 | 获取地图建图数据的方法、装置、设备及可读存储介质 |
| CN114519750A (zh) * | 2022-01-06 | 2022-05-20 | 北京大学 | 一种人脸图像压缩方法和系统 |
| CN115099293A (zh) * | 2022-03-09 | 2022-09-23 | 北京安德医智科技有限公司 | 一种模型训练方法及装置、电子设备和存储介质 |
| CN114913592A (zh) * | 2022-05-18 | 2022-08-16 | 重庆邮电大学 | 一种基于卷积神经网络的眼底图像分类方法 |
| CN115222940A (zh) * | 2022-07-07 | 2022-10-21 | 北京邮电大学 | 一种语义分割方法和系统 |
| US11954917B2 (en) | 2022-08-25 | 2024-04-09 | Shandong Kailin Environmental Protection Equipment Co., Ltd. | Method of segmenting abnormal robust for complex autonomous driving scenes and system thereof |
| CN115100491B (zh) * | 2022-08-25 | 2022-11-18 | 山东省凯麟环保设备股份有限公司 | 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统 |
| CN115100491A (zh) * | 2022-08-25 | 2022-09-23 | 山东省凯麟环保设备股份有限公司 | 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统 |
| CN115830597A (zh) * | 2023-01-05 | 2023-03-21 | 安徽大学 | 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法 |
| CN117830340A (zh) * | 2024-01-04 | 2024-04-05 | 中南大学 | 一种探地雷达目标特征分割方法、系统、设备及存储介质 |
| CN117830340B (zh) * | 2024-01-04 | 2024-08-27 | 中南大学 | 一种探地雷达目标特征分割方法、系统、设备及存储介质 |
| CN117649422A (zh) * | 2024-01-30 | 2024-03-05 | 安徽大学 | 多模态图像分割模型的训练方法和多模态图像分割方法 |
| CN117649422B (zh) * | 2024-01-30 | 2024-04-12 | 安徽大学 | 多模态图像分割模型的训练方法和多模态图像分割方法 |
| CN118506008A (zh) * | 2024-07-15 | 2024-08-16 | 安徽高哲信息技术有限公司 | 热损伤玉米颗粒检测方法、装置、电子设备和介质 |
| CN118506008B (zh) * | 2024-07-15 | 2024-10-18 | 安徽高哲信息技术有限公司 | 热损伤玉米颗粒检测方法、装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111199550B (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111199550B (zh) | 图像分割网络的训练方法、分割方法、装置和存储介质 | |
| Liu et al. | Hard negative generation for identity-disentangled facial expression recognition | |
| WO2021159742A1 (zh) | 图像分割方法、装置和存储介质 | |
| CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
| CN111260653B (zh) | 一种图像分割方法、装置、存储介质和电子设备 | |
| Wang et al. | Self-supervised multiscale adversarial regression network for stereo disparity estimation | |
| CN111597946B (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| CN111754532B (zh) | 图像分割模型搜索方法、装置、计算机设备及存储介质 | |
| CN111242948B (zh) | 图像处理、模型训练方法、装置、设备和存储介质 | |
| CN115565238B (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| Cui et al. | Bidirectional cross-modality unsupervised domain adaptation using generative adversarial networks for cardiac image segmentation | |
| CN109063643B (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
| CN116129141B (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
| EP4404148A1 (en) | Image processing method and apparatus, and computer-readable storage medium | |
| CN112784929A (zh) | 一种基于双元组扩充的小样本图像分类方法及装置 | |
| Ning et al. | Conditional generative adversarial networks based on the principle of homologycontinuity for face aging | |
| CN111091010A (zh) | 相似度确定、网络训练、查找方法及装置和存储介质 | |
| CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN114494543A (zh) | 动作生成方法及相关装置、电子设备和存储介质 | |
| Yuan et al. | Explore double-opponency and skin color for saliency detection | |
| Liu et al. | Multimodal face aging framework via learning disentangled representation | |
| Li et al. | Facial age estimation by deep residual decision making | |
| CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
| CN114841887B (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 | |
| Pal et al. | Generative adversarial data programming |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |