CN110414526B - 语义分割网络的训练方法、训练装置、服务器和存储介质 - Google Patents

语义分割网络的训练方法、训练装置、服务器和存储介质 Download PDF

Info

Publication number
CN110414526B
CN110414526B CN201910704243.6A CN201910704243A CN110414526B CN 110414526 B CN110414526 B CN 110414526B CN 201910704243 A CN201910704243 A CN 201910704243A CN 110414526 B CN110414526 B CN 110414526B
Authority
CN
China
Prior art keywords
image
semantic segmentation
training
loss function
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910704243.6A
Other languages
English (en)
Other versions
CN110414526A (zh
Inventor
王超鹏
林义闽
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Beijing Technologies Co Ltd
Original Assignee
Cloudminds Beijing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Beijing Technologies Co Ltd filed Critical Cloudminds Beijing Technologies Co Ltd
Priority to CN201910704243.6A priority Critical patent/CN110414526B/zh
Publication of CN110414526A publication Critical patent/CN110414526A/zh
Application granted granted Critical
Publication of CN110414526B publication Critical patent/CN110414526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本发明实施例涉及计算机视觉领域，公开了一种语义分割网络的训练方法、训练装置、服务器和存储介质。本发明中语义分割网络的训练方法，包括：获取真实图像以及与真实图像对应的模拟图像，模拟图像是图像生成网络根据真实图像的特征图像和第一语义分割图像确定，第一语义分割图像是第一语义分割网络根据真实图像确定，图像生成网络是根据真实训练图像的特征图像、真实训练图像的语义分割训练图像以及真实训练图像训练获得；根据真实图像和模拟图像之间的差异信息，迭代调整第一语义分割网络的网络参数，得到目标语义分割网络。本实施方式，使得语义分割网络可以准确对图像进行语义分割，提高语义分割网络的预测精度。

Description

语义分割网络的训练方法、训练装置、服务器和存储介质
技术领域
本发明实施例涉及计算机视觉领域，特别涉及一种语义分割网络的训练方法、训练装置、服务器和存储介质。
背景技术
语义分割技术是对图像像素级别的理解，是在图像上对物体进行像素级的分类，即将同属于同一类物体的像素归为一类，使用指定的标签(label)进行标记。目前该技术广泛应用于医学影像分析、无人驾驶、地理信息系统、机器人等领域。在医学领域，其主要用于对肿瘤图像分割，龋齿诊断等。在无人驾驶领域，语义分割技术作为其核心技术有着重要的作用，对道路进行分割可以确定汽车行驶区域；对行人，车辆等障碍物的精确分割，从而使得机器人根据语义分割图像进行有效的规划和避障；另外，通过语义分割图像，可以获取目标物体的轮廓，从而对目标物体的行为进行预测，提升自动驾驶的安全性及可靠性。在地理信息系统领域，通过对遥感卫星图像进行分割，可有效的识别道路、河流、农田、建筑、胡波等区域。在机器人领域，其可对环境信息进行有效分割，获取障碍，物体等信息，有利于机器人的路径规划，避障、抓取等操作。
发明人发现相关技术中至少存在如下问题：语义分割网络的训练依赖于用于训练的图像数据，训练的图像数据为带有图像标注信息的图像，训练图像数据越多，训练得到的语义分割网络的对图像的语义分割就越准确，但是目前使用的训练图像数据是由人工标注获得，而人工标注的训练图像数据非常有限，这导致根据标注图像数据训练获得的语义分割网络对图像的语义分割不准确。
发明内容
本发明实施方式的目的在于提供一种语义分割网络的训练方法、训练装置、服务器和存储介质，使得语义分割网络可以准确对图像进行语义分割，提高语义分割网络的预测精度。
为解决上述技术问题，本发明的实施方式提供了一种语义分割网络的训练方法，包括：获取真实图像以及与真实图像对应的模拟图像，模拟图像是图像生成网络根据真实图像的特征图像和第一语义分割图像确定，第一语义分割图像是第一语义分割网络根据真实图像确定，图像生成网络是根据真实训练图像的特征图像、真实训练图像的语义分割训练图像以及真实训练图像训练获得；根据真实图像和模拟图像之间的差异信息，迭代调整第一语义分割网络的网络参数，得到目标语义分割网络。
本发明的实施方式还提供了一种语义分割网络的训练装置，包括：包括获取模块和调整模块；获取模块，用于获取真实图像以及与真实图像对应的模拟图像，模拟图像是图像生成网络根据真实图像的特征图像和第一语义分割图像确定，第一语义分割图像是第一语义分割网络根据真实图像确定，图像生成网络是根据真实训练图像的特征图像、真实训练图像的语义分割训练图像以及真实训练图像训练获得；调整模块，用于根据真实图像和模拟图像，迭代调整第一语义分割网络的网络参数，得到目标语义分割网络。
本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的语义分割网络的训练方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的语义分割网络的训练方法。
本发明实施方式相对于现有技术而言，模拟图像是基于真实图像的特征图像和第一语义分割图像确定，而第一语义分割图像是第一语义分割网络对真实图像进行语义分割获得，当第一语义分割网络的预测精度越高，则对应生成的第一语义分割图像就越精确，则根据第一语义分割图像和真实图像的特征图像生成的模拟图像与真实图像也越接近，差别越小，基于此原理，即可根据模拟图像和真实图像之间的差异信息，监督出该第一语义分割网络是否准确，进而不断优化该第一语义分割网络，直到得到目标语义分割网络；由于在得到精准的目标语义分割网络过程中，无需增加大量精细的人工标注的图像数据，降低训练的图像数据的成本，同时不用对大量图像数据进行训练，节约了训练精准的语义分割图像的时间，提高了训练的效率。
另外，差异信息为指示真实图像与模拟图像之间的差异的第一损失函数；根据真实图像和模拟图像之间的差异信息，迭代调整第一语义分割网络的网络参数，具体包括：根据第一损失函数，确定目标损失函数；根据目标损失函数，迭代调整第一语义分割网络，直至第一语义分割网络收敛，得到目标语义分割网络。由于第一损失函数为指示真实图像与模拟图像之间的差异，通过该第一损失函数，可以快速确定出用于调整第一语义分割网络的目标损失函数。
另外，根据第一损失函数，确定目标损失函数，具体包括：结合第一损失函数和第一语义分割网络的第二损失函数，得到目标损失函数。目标损失函数考虑了第一语义分割网络自身的损失函数，使得确定的目标损失函数更加准确，从而使得通过该目标损失函数可以快速调整第一语义分割网络的网络参数。
另外，第一损失函数的确定过程，具体包括：提取真实图像的特征图像，以及模拟图像的特征图像；确定真实图像的特征图像和模拟图像的特征图像之间差异的特征损失函数；根据图像生成网络的第三损失函数和特征损失函数，确定第一损失函数。通过获取真实图像的特征图像和模拟图像的特征图像，可以快速确定出真实图像和模拟图像之间的差异，同时，由于图像生成网络自身也有第三损失函数，在特征损失函数中叠加第三损失函数，可以进一步提高模拟图像与真实图像之间的差异的准确度。
另外，根据图像生成网络的第三损失函数和特征损失函数，确定第一损失函数，具体包括：按照第三损失函数和特征损失函数各自对应的重要度进行叠加，得到第一损失函数。根据重要度叠加第三损失函数和特征损失函数，使得确定的第一损失函数更加准确。
另外，图像生成网络采用生成对抗网络的网络结构，包括生成器和N个鉴别器，每个鉴别器具有各自对应的图像尺度，N为大于1的整数；图像生成网络的第三损失函数包括最小化生成器的损失函数，以及最大化N个鉴别器所对应的损失函数之和。图像生成网络中包括N个鉴别器，且鉴别器具有各自对应的图像尺寸，减小了训练该图像生成网络的时间。
另外，目标语义分割网络用于根据输入的真实图像，得到第二语义分割图像，其中，图像生成网络基于真实图像的特征图像以及第二语义分割图像确定的模拟图像与真实图像的差异最小。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式提供的语义分割网络的训练方法的具体流程图；
图2是根据本发明第一实施方式提供的语义分割网络的训练方法中获得模拟图像的示意图；
图3是根据本发明第一实施方式提供的迭代调整第一语义分割网络的网络参数的一种具体实现示意图；
图4是根据本发明第二实施方式提供的确定第一损失函数一种具体实现示意图；
图5是根据本发明第三实施方式提供的语义分割网络的训练装置的具体结构示意图；
图6是根据本发明第四实施方式提供的一种服务器的具体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
发明人发现相关训练语义分割网络的技术中，语义分割网络的准确度依赖于大量的精细图像数据，精细图像数据通常由人工对图像数据进行语义标注得到，因而训练语义分割网络对图像的语义分割越准确，需要的精细图像数据就越多，而大量的精细的语义标注的图像数据将消耗大量的时间、人力以及财力，大大增加了训练语义分割网络的成本和训练时间。
本发明的第一实施方式涉及一种语义分割网络的训练方法。该语义分割网络的训练方法应用于具有训练功能的服务器或者电子设备。该语义分割网络的具体流程如图1所示。
步骤101：获取真实图像以及与真实图像对应的模拟图像。
一个具体的实现中，模拟图像是图像生成网络根据真实图像的特征图像和第一语义分割图像确定，第一语义分割图像是第一语义分割网络根据真实图像确定，图像生成网络是根据真实训练图像的特征图像、真实训练图像的语义分割训练图像以及真实训练图像训练获得。
具体的说，第一语义分割网络预先根据真实训练图像以及真实训练图像的语义分割训练图像训练获得。其中，真实训练图像是用于进行训练的真实图像，真实训练图像的语义分割训练图像可以是人工对真实训练图像进行了语义标注后的图像。
图像生成网络是根据真实训练图像的特征图像、真实训练图像的语义分割训练图像以及真实训练图像训练获得。其中，对真实训练图像进行特征提取，即可得到该真实训练图像的特征图像，可以利用特征提取网络实现特征提取，特征提取网络可以采用VGG网络的网络结构，具体的训练过程此处不再进行赘述。
图2为模拟图像生成的过程示意图，其中，图2中的标号1表示真实图像，标号2表示第一语义分割网络，标号3表示特征提取网络，标号4表示图像生成网络，标号5表示第一语义分割图像，标号6表示真实图像的特征图像，标号7表示模拟图像，下面结合图2介绍获得模拟图像的过程：
在训练得到第一语义分割网络和图像生成网络后，如图2所示，即可向第一语义分割网络2输入真实图像1，得到真实图像的第一语义分割图像5，将真实图像1输入预设的特征提取网络3，得到该真实图像的特征图像6，将真实图像的特征图像6和第一语义分割图像5输入图像生成网络4，该图像生成网络4输出该与该真实图像对应的模拟图像7，该模拟图像用于模拟真实图像。
步骤102：根据真实图像和模拟图像之间的差异信息，迭代调整第一语义分割网络的网络参数，得到目标语义分割网络。
一个具体的实现中，差异信息为指示真实图像与模拟图像之间的差异的第一损失函数。该第一损失函数的确定过程为：提取真实图像的特征图像，以及模拟图像的特征图像；确定真实图像的特征图像和模拟图像的特征图像之间差异的特征损失函数；根据图像生成网络的第三损失函数和特征损失函数，确定第一损失函数。
具体的说，用真实图像的特征图像和模拟图像的特征图像，通过获取真实图像的特征图像和模拟图像的特征图像，可以快速确定出真实图像和模拟图像之间的差异，同时，由于图像生成网络自身也有第三损失函数，在特征损失函数中叠加第三损失函数，可以进一步提高模拟图像与真实图像之间的差异的准确度。如步骤101类似，可以将真实图像输入预设的特征提取网络，得到真实图像的特征图像，将模拟图像输入该特征提取网络，得到模拟图像的特征图像，该特征提取网络可以采用VGG网络。
本实施方式中图像生成网络采用生成对抗网络(Generative AdversarialNetwork，简称“GAN”)的结构，对于生成对抗网络通常包括一个生成器和一个鉴别器，通过生成器G获取模拟图像，鉴别器D对真实图像与模拟图像进行鉴别。其生成对抗网络的训练是交替最大化鉴别器的损失函数以及最小化生成器的损失函数，该图像生成网络的第三损失函数
Figure GDA0003273138680000053
的基本形式如公式(1)所示：
Figure GDA0003273138680000051
Figure GDA0003273138680000052
其中，G代表生成器，D代表鉴别器，s代表第一语义分割图像，x表示真实图像，G(s)代表生成器输出的模拟图像。
本实施方式中特征损失函数是基于模拟图像的特征图像和真实图像的特征图像确定的，该特征损失函数
Figure GDA0003273138680000054
可以用公式(3)表示：
Figure GDA0003273138680000061
其中，n为VGG网络中感知机层数，Ni表示每层感知机中元素的数目，D(i)代表鉴别器D第i层特征提取器，代表第一语义分割图像，x代表真实图像的特征图像，G(s)代表生成器输出的模拟图像的特征图像。
在确定出第三损失函数和特征损失函数后，叠加第三损失函数和特征损失函数，即可得到第一损失函数，其中，叠加第三损失函数和特征损失函数可以是按照第三损失函数和特征损失函数各自对应的重要度进行叠加。该第一损失函数
Figure GDA0003273138680000067
可以用公式(4)表示；
Figure GDA0003273138680000062
其中，λF为超参，该超参用于控制特征匹配损失的重要程度，
Figure GDA0003273138680000063
表示第三损失函数，λi表示超参，用于表示第三损失函数的重要度。
一个具体的实现中，根据该第一损失函数，迭代调整第一语义分割网络的网络参数，具体包括如下子步骤，如图3所示。
子步骤1021：根据第一损失函数，确定目标损失函数。
一个具体的实现中，结合第一损失函数和第一语义分割网络的第二损失函数，得到目标损失函数。该目标损失函数
Figure GDA0003273138680000064
可以用公式(5)表示：
Figure GDA0003273138680000065
其中，
Figure GDA0003273138680000066
表示第二损失函数，λi为超参，表示第三损失函数的重要度，λF为超参，用于控制特征匹配损失的重要程度。
子步骤1022：根据目标损失函数，迭代调整第一语义分割网络，直至第一语义分割网络收敛，得到目标语义分割网络。
在获得目标损失函数后，可以利用梯度下降法调整该第一语义分割网络的网络参数。调整了第一语义分割网络的网络参数后，继续执行步骤101，重新获取真实图像和模拟图像，根据重新获取的真实图像和模拟图像之间的差异信息，继续调整该第一语义分割网络的网络参数，直至该第一语义分割网络收敛。可以理解的是，每次输入的真实图像可以不同，也可以是同一张的真实图像，具体根据实际需要进行选择。
需要说明的是，在得到目标语义分割网络后，即可应用该目标语义分割网络，目标语义分割网络用于根据输入的真实图像，得到第二语义分割图像，其中，图像生成网络基于真实图像的特征图像以及第二语义分割图像确定的模拟图像与真实图像的差异最小。
本发明实施方式相对于现有技术而言，模拟图像是基于真实图像的特征图像和第一语义分割图像确定，而第一语义分割图像是第一语义分割网络对真实图像进行语义分割获得，当第一语义分割网络的预测精度越高，则对应生成的第一语义分割图像就越精确，则根据第一语义分割图像和真实图像的特征图像生成的模拟图像与真实图像也越接近，差别越小，基于此原理，即可根据模拟图像和真实图像之间的差异信息，监督出该第一语义分割网络是否准确，进而不断优化该第一语义分割网络，直到得到目标语义分割网络；由于在得到精准的目标语义分割网络过程中，无需增加大量精细的人工标注的图像数据，降低训练的图像数据的成本，同时不用对大量图像数据进行训练，节约了训练精准的语义分割图像的时间，提高了训练的效率。
本发明的第二实施方式涉及一种语义分割网络的训练方法。本实施方式中的语义分割网络的训练方法包括：获取真实图像以及与真实图像对应的模拟图像；根据真实图像和模拟图像之间的差异信息，迭代调整第一语义分割网络的网络参数，得到目标语义分割网络。
第二实施方式与第一实施方式大致相同，主要区别之处在于：在本发明第二实施方式中，图像生成网络采用生成对抗网络的网络结构，包括生成器和N个鉴别器，每个鉴别器具有各自对应的图像尺度，N为大于1的整数。确定第一损失函数的过程如图4所示。
步骤201：最小化生成器的损失函数以及最大化N个鉴别器所对应的损失函数之和，确定图像生成网络的第三损失函数。
具体的说，鉴别器的个数可以有多个，每个鉴别器具有各自对应的图像尺度，使用多个个不同图像尺度的鉴别器，例如，鉴别器D1的图像尺度为320*320；鉴别器D2的图像尺度为640*640，可以加快训练图像生成网络的收敛速度，同时还可以减少模拟图像上的重复区域的数量。本实施方式中以使用2个鉴别器为例，那么该图像生成网络的第三损失函数
Figure GDA0003273138680000076
可以用公式(6)表示：
Figure GDA0003273138680000071
其中，D1表示下标编号为1的鉴别器，D2表示下标编号为2的鉴别器；k表示鉴别器的编号，
Figure GDA0003273138680000072
表示鉴别器k。
步骤202：根据第三损失函数和特征损失图像，确定第一损失函数。
具体的说，获取特征损失函数的过程与第一实施方式中确定特征损失函数的过程大致相同，此处将不再赘述，由于图像生成网络具有多个鉴别器，则该特征损失函数
Figure GDA0003273138680000073
可以用公式(7)表示：
Figure GDA0003273138680000074
其中，n为VGG网络中感知机层数，Ni表示每层感知机中元素的数目，
Figure GDA0003273138680000075
代表鉴别器Dk第i层特征提取器，k代表鉴别器索引；代表第一语义分割图像，x代表真实图像的特征图像，G(s)代表生成器输出的模拟图像的特征图像。
叠加该特征损失函数和第三损失函数，得到该第一损失函数，可以按照第三损失函数和特征损失函数各自对应的重要度进行叠加。该第一损失函数
Figure GDA0003273138680000081
可以表示为：
Figure GDA0003273138680000082
其中，λF为超参，该超参用于控制特征匹配损失的重要程度，
Figure GDA0003273138680000083
表示第三损失函数，λi表示超参，用于表示第三损失函数的重要度。
本实施方式中语义分割网络的训练方法，图像生成网络中包括N个鉴别器，且鉴别器具有各自对应的图像尺寸，减小了训练该图像生成网络的时间，也进一步提高了第一损失函数额度准确度，进而可以快速准确地确定出目标损失函数，提高调整第一语义分割网络的速度。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种语义分割网络的训练装置，该语义分割网络的训练装置30的具体结构如图5所示，包括：获取模块301和调整模块302；获取模块301用于获取真实图像以及与真实图像对应的模拟图像，模拟图像是图像生成网络根据真实图像的特征图像和第一语义分割图像确定，第一语义分割图像是第一语义分割网络根据真实图像确定，图像生成网络是根据真实训练图像的特征图像、真实训练图像的语义分割训练图像以及真实训练图像训练获得；调整模块302用于根据真实图像和模拟图像，迭代调整第一语义分割网络的网络参数，得到目标语义分割网络。
不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第四实施方式涉及一种服务器，该服务器40的具体结构如图6所示，该服务器40包括：至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行第一实施方式或第二实施方式中的语义分割网络的训练方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现第一实施方式或第二实施方式中的语义分割网络的训练方法。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种语义分割网络的训练方法，其特征在于，包括：
获取真实图像以及与所述真实图像对应的模拟图像，所述模拟图像是图像生成网络根据所述真实图像的特征图像和第一语义分割图像确定，所述第一语义分割图像是第一语义分割网络根据所述真实图像确定，所述图像生成网络是根据真实训练图像的特征图像、所述真实训练图像的语义分割训练图像以及所述真实训练图像训练获得；
根据所述真实图像和所述模拟图像之间的差异信息，迭代调整所述第一语义分割网络的网络参数，得到目标语义分割网络。
2.根据权利要求1所述的语义分割网络的训练方法，其特征在于，所述差异信息为指示所述真实图像与所述模拟图像之间的差异的第一损失函数；
所述根据所述真实图像和所述模拟图像之间的差异信息，迭代调整所述第一语义分割网络的网络参数，具体包括：
根据所述第一损失函数，确定目标损失函数；
根据所述目标损失函数，迭代调整所述第一语义分割网络，直至所述第一语义分割网络收敛，得到所述目标语义分割网络。
3.根据权利要求2所述的语义分割网络的训练方法，其特征在于，所述根据所述第一损失函数，确定目标损失函数，具体包括：
结合所述第一损失函数和所述第一语义分割网络的第二损失函数，得到目标损失函数。
4.根据权利要求2或3所述的语义分割网络的训练方法，其特征在于，所述第一损失函数的确定过程，具体包括：
提取所述真实图像的特征图像，以及所述模拟图像的特征图像；
确定所述真实图像的特征图像和所述模拟图像的特征图像之间差异的特征损失函数；
根据所述图像生成网络的第三损失函数和所述特征损失函数，确定所述第一损失函数。
5.根据权利要求4所述的语义分割网络的训练方法，其特征在于，所述根据所述图像生成网络的第三损失函数和所述特征损失函数，确定所述第一损失函数，具体包括：
按照第三损失函数和所述特征损失函数各自对应的重要度进行叠加，得到所述第一损失函数。
6.根据权利要求1至3中任一项所述的语义分割网络的训练方法，其特征在于，所述图像生成网络采用生成对抗网络的网络结构，包括生成器和N个鉴别器，每个所述鉴别器具有各自对应的图像尺度，N为大于1的整数；
所述图像生成网络的第三损失函数包括最小化所述生成器的损失函数，以及最大化N个鉴别器所对应的损失函数之和。
7.根据权利要求1至3中任一项所述的语义分割网络的训练方法，其特征在于，所述目标语义分割网络用于根据输入的真实图像，得到第二语义分割图像，其中，所述图像生成网络基于所述真实图像的特征图像以及所述第二语义分割图像确定的模拟图像与所述真实图像的差异最小。
8.一种语义分割网络的训练装置，其特征在于，包括获取模块和调整模块；
所述获取模块，用于获取真实图像以及与所述真实图像对应的模拟图像，所述模拟图像是图像生成网络根据所述真实图像的特征图像和第一语义分割图像确定，所述第一语义分割图像是第一语义分割网络根据所述真实图像确定，所述图像生成网络是根据真实训练图像的特征图像、所述真实训练图像的语义分割训练图像以及所述真实训练图像训练获得；
所述调整模块，用于根据所述真实图像和所述模拟图像，迭代调整所述第一语义分割网络的网络参数，得到目标语义分割网络。
9.一种服务器，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7任一所述的语义分割网络的训练方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的语义分割网络的训练方法。
CN201910704243.6A 2019-07-31 2019-07-31 语义分割网络的训练方法、训练装置、服务器和存储介质 Active CN110414526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910704243.6A CN110414526B (zh) 2019-07-31 2019-07-31 语义分割网络的训练方法、训练装置、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910704243.6A CN110414526B (zh) 2019-07-31 2019-07-31 语义分割网络的训练方法、训练装置、服务器和存储介质

Publications (2)

Publication Number Publication Date
CN110414526A CN110414526A (zh) 2019-11-05
CN110414526B true CN110414526B (zh) 2022-04-08

Family

ID=68364887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910704243.6A Active CN110414526B (zh) 2019-07-31 2019-07-31 语义分割网络的训练方法、训练装置、服务器和存储介质

Country Status (1)

Country Link
CN (1) CN110414526B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750128B (zh) * 2019-12-13 2023-08-01 腾讯科技（深圳）有限公司 图像语义分割方法、装置、终端及可读存储介质
CN111339918B (zh) * 2020-02-24 2023-09-19 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN111489365B (zh) * 2020-04-10 2023-12-22 上海商汤临港智能科技有限公司 神经网络的训练方法、图像处理方法及装置
CN113674182B (zh) * 2020-05-15 2023-12-05 北京罗克维尔斯科技有限公司 图像的生成方法及装置
CN115249333B (zh) * 2021-06-29 2023-07-11 达闼科技（北京）有限公司 抓取网络训练方法、系统、电子设备及存储介质
CN113657389A (zh) * 2021-07-29 2021-11-16 中国科学院软件研究所 一种软件定义卫星语义分割方法、装置和介质
CN113705515B (zh) * 2021-09-03 2024-04-12 北京百度网讯科技有限公司 语义分割模型的训练和高精地图车道线的生成方法和设备
CN114399513B (zh) * 2021-12-10 2023-04-18 北京百度网讯科技有限公司 用于训练图像分割模型和图像分割的方法、装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108549895A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗网络的半监督语义分割方法
CN109829894A (zh) * 2019-01-09 2019-05-31 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN109902809A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种利用生成对抗网络辅助语义分割模型

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741693B2 (en) * 2017-11-15 2023-08-29 Palo Alto Research Center Incorporated System and method for semi-supervised conditional generative modeling using adversarial networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108549895A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗网络的半监督语义分割方法
CN109829894A (zh) * 2019-01-09 2019-05-31 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN109902809A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种利用生成对抗网络辅助语义分割模型

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Semi Supervised Semantic Segmentation Using Generative Adversarial Network;Nasim Souly et al.;《Proceedings of the IEEE International Conference on Computer Vision (ICCV)》;20171231;第5688-5696页 *
基于语义分割-对抗的图形语义分割模型;王鑫 等;《计算机仿真》;20190228;第191-195页 *

Also Published As

Publication number Publication date
CN110414526A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110414526B (zh) 语义分割网络的训练方法、训练装置、服务器和存储介质
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
US10817752B2 (en) Virtually boosted training
EP4152204A1 (en) Lane line detection method, and related apparatus
US11823443B2 (en) Segmenting objects by refining shape priors
EP3822852B1 (en) Method, apparatus, computer storage medium and program for training a trajectory planning model
CN109299732B (zh) 无人驾驶行为决策及模型训练的方法、装置及电子设备
CN112232426B (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
Li et al. Automatic road extraction from remote sensing imagery using ensemble learning and postprocessing
CN116188893A (zh) 基于bev的图像检测模型训练及目标检测方法和装置
CN110276801B (zh) 一种物体定位方法、装置及存储介质
CN117217280A (zh) 神经网络模型优化方法、装置及计算设备
Liu et al. Towards vehicle-to-everything autonomous driving: A survey on collaborative perception
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
US20240010227A1 (en) Method and system for in-vehicle self-supervised training of perception functions for an automated driving system
CN113763447B (zh) 深度图的补全方法、电子设备及存储介质
CN114842287B (zh) 深度引导变形器的单目三维目标检测模型训练方法及装置
WO2023159073A1 (en) Methods and systems of sensor fusion in cooperative perception systems
CN113066115B (zh) 深度预测网络训练方法、装置、服务器和可读存储介质
CN116558541B (zh) 模型训练方法和装置、轨迹预测方法和装置
CN115830408B (zh) 伪标签生成方法、装置、设备以及存储介质
CN115937661A (zh) 一种3d场景理解方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant