CN109558901B - 一种语义分割训练方法及装置、电子设备、存储介质 - Google Patents
一种语义分割训练方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN109558901B CN109558901B CN201811369552.4A CN201811369552A CN109558901B CN 109558901 B CN109558901 B CN 109558901B CN 201811369552 A CN201811369552 A CN 201811369552A CN 109558901 B CN109558901 B CN 109558901B
- Authority
- CN
- China
- Prior art keywords
- weight
- preset
- segmentation
- loss function
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本公开实施例公开了一种语义分割训练方法,该方法包括:根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果;根据目标域分割结果计算目标域分割损失函数;根据源域分割结果和预设层级权重网络,计算源域分割损失函数;其中,预设层级权重网络包括至少一层权重网络;根据目标域分割损失函数和源域分割损失函数,训练待训练的语义分割网络。通过实施上述方案,提高了语义分割训练的智能性和效率。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种语义分割训练方法及装置、电子设备、存储介质。
背景技术
图像语义分割,是将图像中的像素按照在图像中表达的语义的不同进行分组的技术,广泛应用于自动驾驶系统、无人机着陆,以及穿戴式设备等领域中。
目前,通过深度学习来进行语义分割可以产生很好的分割效果,然而,深度学习是以数据为燃料,即进行语义分割训练时需要获取符合要求的大量数据作为支撑,这些数据需要由人工进行标记标签,因此,语义分割训练的智能性和效率较低。
发明内容
本公开实施例期望提供一种语义分割训练方法及装置、电子设备、存储介质,基于分层权重网络,选取输入待训练的语义分割网络中数据分布与待训练的语义分割网络不匹配的源域数据产生的源域分割结果所包含的有效数据,以计算源域损失函数,联合根据数据分布与待训练的语义分割网络匹配的目标域数据获取的目标域损失函数,共同训练待训练的语义分割网络,从而提高了语义分割训练的智能性和效率。
本公开实施例的技术方案是这样实现的:
本公开实施例提供了一种语义分割训练方法,包括:
根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果;
根据所述目标域分割结果计算目标域分割损失函数;
根据所述源域分割结果和预设层级权重网络,计算源域分割损失函数;其中,所述预设层级权重网络包括至少一层权重网络;
根据所述目标域分割损失函数和所述源域分割损失函数,训练所述待训练的语义分割网络。
在上述方案中,所述根据所述目标域分割损失函数和所述源域分割损失函数,训练所述待训练的语义分割网络,包括:
获取第一预设系数和第二预设系数;其中,所述第一预设系数和所述第二预设系数之和为一;
计算所述目标域分割损失函数与所述第一预设系数之积,获得第一分割损失函数;
计算所述源域分割损失函数与所述第二预设系数之积,获得第二分割损失函数;
根据所述第一分割损失函数和所述第二分割损失函数之和,训练所述待训练的语义分割网络。
在上述方案中,所述根据所述源域分割结果和预设层级权重网络,计算源域分割损失函数,包括:
将所述源域分割结果输入所述预设层级权重网络,获取所述预设层级权重网络中每一层的第一权重结果;
计算所述预设层级权重网络的第一权重结果的均值,获得目标权重结果;
根据所述目标权重结果和所述源域分割结果,计算所述源域分割损失函数。
在上述方案中,所述获取所述预设层级权重网络中每一层的第一权重结果之后,包括:
将所述目标域分割结果输入所述预设层级权重网络,获取所述预设层级权重网络中每一层的第二权重结果;
获取所述源域数据对应的第一预设权重,以及所述目标域数据对应的第二预设权重;
根据所述每一层的第一权重结果、所述每一层的第二权重结果、所述第一预设权重和所述第二预设权重,计算至少一个目标权重损失函数;
根据所述至少一个目标权重损失函数训练所述预设层级权重网络。
在上述方案中,所述根据所述每一层的第一权重结果、所述每一层的第二权重结果、所述第一预设权重和所述第二预设权重,计算目标权重损失函数,包括:
根据所述第一预设权重和所述第一权重结果计算第一权重损失函数;
根据所述第二预设权重和所述第二权重结果计算第二权重损失函数;
计算所述第一权重损失函数和所述第二权重损失函数之和,获得所述目标权重损失函数。
在上述方案中,所述根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果之前,包括:
根据所述待训练的语义分割网络,获取所述源域数据对应的源域特征,以及所述目标域数据对应的目标域特征;
根据预设生成器,生成所述源域特征对应的第一重建数据,以及所述目标域特征对应的第二重建数据;
根据所述第一重建数据和所述源域数据计算第一重建损失函数,并根据所述第二重建数据和所述目标域数据计算第二重建损失函数;
根据所述第一重建损失函数和所述第二重建损失函数之和,训练所述预设生成器;
根据已训练的所述预设生成器对所述待训练的语义分割网络的参数进行调整。
在上述方案中,所述根据预设生成器,生成所述源域特征对应的第一重建数据,以及所述目标域特征对应的第二重建数据之后,包括:
根据预设判别器,对所述第一重建数据进行判别,获得第一判别结果,并对所述第二重建数据进行判别,获得第二判别结果;
根据所述第一判别结果计算第一对抗损失函数,并根据第二判别结果计算第二对抗损失函数;
根据所述第一对抗损失函数和所述第二对抗损失函数之和,训练所述预设判别器;
根据已训练的所述预设判别器对所述待训练的语义分割网络的参数进行调整。
本公开实施例提供了一种语义分割训练装置,所述语义分割训练装置包括:
获取模块,用于根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果;
计算模块,用于根据所述目标域分割结果计算目标域分割损失函数;根据所述源域分割结果和预设层级权重网络,计算源域分割损失函数;其中,所述预设层级权重网络包括至少一层权重网络;
训练模块,用于根据所述目标域分割损失函数和所述源域分割损失函数,训练所述待训练的语义分割网络。
在上述语义分割训练装置中,所述训练模块,具体用于获取第一预设系数和第二预设系数;其中,所述第一预设系数和所述第二预设系数之和为一;计算所述目标域分割损失函数与所述第一预设系数之积,获得第一分割损失函数;计算所述源域分割损失函数与所述第二预设系数之积,获得第二分割损失函数;根据所述第一分割损失函数和所述第二分割损失函数之和,训练所述待训练的语义分割网络。
在上述语义分割训练装置中,所述计算模块,具体用于将所述源域分割结果输入所述预设层级权重网络,获取所述预设层级权重网络中每一层的第一权重结果;计算所述预设层级权重网络的第一权重结果的均值,获得目标权重结果;根据所述目标权重结果和所述源域分割结果,计算所述源域分割损失函数。
在上述语义分割训练装置中,所述计算模块,还用于将所述目标域分割结果输入所述预设层级权重网络,获取预设层级权重网络中每一层的第二权重结果;获取所述源域数据对应的第一预设权重,以及所述目标域数据对应的第二预设权重;根据所述每一层的第一权重结果、所述每一层的第二权重结果、所述第一预设权重和所述第二预设权重,计算目标权重损失函数;
所述训练模块,还用于根据所述目标权重损失函数训练所述预设层级权重网络。
在上述语义分割训练装置中,所述计算模块,具体用于根据所述第一预设权重和所述第一权重结果计算第一权重损失函数;根据所述第二预设权重和所述第二权重结果计算第二权重损失函数;计算所述第一权重损失函数和所述第二权重损失函数之和,获得所述目标权重损失函数。
在上述语义分割训练装置中,还包括:生成模块;
所述获取模块,还用于根据所述待训练的语义分割网络,获取所述源域数据对应的源域特征,以及所述目标域数据对应的目标域特征;
所述生成模块,用于根据预设生成器,生成所述源域特征对应的第一重建数据,以及所述目标域数据对应的第二重建数据;
所述计算模块,还用于根据所述第一重建数据和所述源域数据计算第一重建损失函数,并根据所述第二重建数据和所述目标域数据计算第二重建损失函数;
所述训练模块,还用于根据所述第一重建损失函数和所述第二重建损失函数之和,训练所述预设生成器;根据已训练的所述预设生成器对所述待训练的语义分割网络的参数进行调整。
在上述语义分割训练装置中,还包括:判别模块;
所述判别模块,用于根据预设判别器,对所述第一重建数据进行判别,获得第一判别结果,并对所述第二重建数据进行判别,获得第二判别结果;
所述计算模块,还用于根据所述第一判别结果计算第一对抗损失函数,并根据第二判别结果计算第二对抗损失函数;
所述训练模块,用于根据所述第一对抗损失函数和所述第二对抗损失函数之和,训练所述预设判别器;根据已训练的所述预设判别器对所述待训练的语义分割网络的参数进行调整。
本公开实施例提供了一种电子设备,所述电子设备包括:处理器、存储器和通信总线;其中,
所述通信总线,用于实现所述处理器和所述存储器之间的连接通信;
所述处理器,用于执行所述存储器中存储的语义分割训练程序,以实现上述语义分割训练方法。
本公开提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可以被一个或者多个处理器执行,以实现上述语义分割训练方法。
由此可见,在本公开实施例的技术方案中,语义分割训练装置根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果;根据目标域分割结果计算目标域分割损失函数;根据源域分割结果和预设层级权重网络,计算源域分割损失函数;其中,预设层级权重网络包括至少一层权重网络;根据目标域分割损失函数和源域分割损失函数,训练待训练的语义分割网络。也就是说,在现有技术中,需要人工获取到全部适用于训练待训练的语义分割网络的数据以实现对待训练的语义分割网络的训练,而在本公开实施例的技术方案中,基于分层权重网络,选取输入待训练的语义分割网络中数据分布与待训练的语义分割网络不匹配的源域数据产生的源域分割结果所包含的有效数据,以计算源域损失函数,联合根据数据分布与待训练的语义分割网络匹配的目标域数据获取的目标域损失函数,共同训练待训练的语义分割网络,从而提高了语义分割训练的智能性和效率。
附图说明
图1为本公开实施例提供的一种语义分割训练方法的流程示意图;
图2为本公开实施例提供的一种示例性的语义分割训练方法的系统架构示意图;
图3为本公开实施例提供的一种示例性的预设生成器生成重建数据的示意图;
图4为本公开实施例提供的一种示例性的预设判别器判别重建数据的示意图;
图5为本公开实施例提供的一种语义分割训练装置的结构示意图;
图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。
实施例一
本公开提供了一种语义分割训练方法。图1为本公开实施例提供的一种语义分割训练方法的流程示意图。如图1所示,主要包括以下步骤:
S101、根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果。
在本公开的实施例中,语义分割训练装置用于训练待训练的语义分割网络,根据待训练的语义分割网络,语义分割训练装置可以获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果。
需要说明的是,在本公开的实施例中,待训练的语义分割网络可以包括编码器E和分割网络S,具体的待训练的语义分割网络本发明实施例不作限定。
需要说明的是,在本公开的实施例中,源域数据为数据分布与待训练的语义分割网络不匹配的数据,目标域数据为数据分布与待训练的语义分割网络相匹配的数据,也就是说,源域数据可以是用于训练其它语义分割模型的数据,而目标域数据可以是适合训练待训练的语义分割模型的数据,其可以是经过人工筛选的一些图片等,具体的源域数据和目标域数据本公开实施例不作限定。
具体的,在本公开的实施例中,语义分割训练装置将源域数据和目标域数据输入待训练的语义分割网络,从待训练的语义分割网络中即可输出源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果。
图2为本公开实施例提供的一种示例性的语义分割训练方法的系统架构示意图。如图2所示,语义分割训练装置将源域数据和目标域数据分别输入待训练的语义分割网络E+S,即可获取到源域数据对应的源域分割结果,目标域数据对应的目标域分割结果。
需要说明的是,在现有技术中,需要人工选取大量符合待训练的语义分割网络的数据,并标记标签,以训练待训练的语义分割网络,而在本公开的实施例中,由于源域分割数据的分割结果相比源域分割结果的获取速度更快,因此可以利用大量的源域数据加入到语义分割网络中进行训练,从而可以提升训练的效果。为进一步提升训练效果,本实施例基于迁移学习,将数据分布与待训练的语义分割网络不匹配的源域数据用来训练待训练的语义分割模型,在此过程中,具体采用分层权重网络从源域数据的分割结果中选择有效数据,从而更为合理有效的进行训练,提高了语义分割的智能性和效率。
S102、根据目标域分割结果计算目标域分割损失函数。
在本公开的实施例中,语义分割训练装置在获取到源域分割结果和目标域分割结果之后,可以根据目标域分割结果计算目标域分割损失函数。
具体的,在本公开的实施例中,语义分割训练装置具体采用如下公式(1)计算目标域分割损失函数:
LSeg1=-y(t)logF(xt) (1)
其中,F(xt)为目标域分割结果,y(t)为目标域数据的预设类别标签,LSeg1为目标域分割损失函数。
需要说明的是,在本公开的实施例中,语义分割训练装置将目标域数据输入待训练的语义分割网络中,输出的目标域分割结果,实际上是将目标域数据进行数据类别的划分所获得的结果,每一类别数据对应有预设类别标签,即y(t),可以直接存储在语义分割训练装置中,直接获取即可,从而根据上述公式(1)计算以获得目标域分割损失函数。
S103、根据源域分割结果和预设层级权重网络,计算源域分割损失函数;其中,预设层级权重网络包括至少一层权重网络。
在本公开的实施例中,语义分割训练装置在获取到源域分割结果和目标域分割结果之后,可以根据目标域分割结果计算目标域分割损失函数。
可以理解的是,在本公开的实施例中,源域分割结果是由源域数据获取的,而源域数据的数据分布可能并不与待训练的语义分割网络匹配,因此,如果要根据源域数据对待训练的语义分割网络进行训练,对于源域数据对应的源域分割结果就需要进行一定的加权,即选取出有效的部分,从而用于计算源域分割损失函数,保证最终根据源域分割损失函数去训练待训练的语义分割网络的有效性和准确性。
需要说明的是,在本公开的实施例中,预设层级权重网络包括至少一层权重网络,具体的预设层级权重网络本公开实施例不作限定。
具体的,在本公开的实施例中,语义分割训练装置据源域分割结果和预设层级权重网络,计算源域分割损失函数,包括:将源域分割结果输入预设层级权重网络,获取预设层级权重网络中每一层的第一权重结果;计算预设层级权重网络的第一权重结果的均值,获得目标权重结果;根据目标权重结果和源域分割结果,计算源域分割损失函数。
具体的,在本公开的实施例中,计算源域分割损失函数如公式(2)所示:
LSeg2=-H(xs)y(s)logF(xs) (2)
其中,H(xs)为目标权重结果,F(xs)为源域分割结果,y(s)为源域数据的预设类别标签,LSeg2为源域分割损失函数。
可以理解的是,在本公开的实施例中,目标权重结果的计算取决于预设层级权重网络的每一层权重网络。
在本公开的实施例中,如图2所示,预设层级权重网络包括三层权重网络,分别为:图像级权重网络Wi、区域级权重网络Wr和像素级权重网络Wp。语义分割训练装置将源域分割结果输入到预设层级权重网络中,其中,具体分别输入到Wi、Wr和Wp中,从而从Wi、Wr和Wp分别输出对应的第一权重结果,即可获得三层的第一权重结果,这三个第一权重结果实际上就是三种权重图,计算三者均值即可获得目标权重结果。
需要说明的是,在本公开的实施例中,对于区域级权重网络Wr和像素级权重网络Wp,在输入源域分割结果之后,对于源域分割结果中每一个像素,均会确定其对应的权重,并且确定全部像素对应的权重均值,再将大于权重均值的像素点对应的权重全部更新为1,小于权重均值的像素点对应的权重全部更新为0,具体如公式(3)所示:
M(xs)k∈p,r=I(Hk(xs)>mean(Hk(xs))) (3)
其中,M(xs)k∈p,r即为从区域级权重网络Wr或像素级权重网络Wp获取的第一权重结果,I为0或1,Hk(xs)为区域级权重网络Wr或像素级权重网络Wp为更新权重前的权重结果,mean(Hk(xs))为区域级权重网络Wr或像素级权重网络Wp中源域分割结果全部像素对应的均值。
具体的,在本公开的实施例中,语义分割训练模型在获得从图像级权重网络Wi输出的第一权重结果Hi(xs)、从区域级权重网络Wr输出的第一权重结果Mr(xs)和从像素级权重网络Wp,输出的第一权重结果Mp(xs)之后,即可按照公式(4)计算三者均值,获得目标权重:
其中,H(xs)为目标权重结果,Hi(xs)为从图像级权重网络Wi输出的第一权重结果,Mp(xs)为从像素级权重网络Wp输出的第一权重结果,Mr(xs)为从区域级权重网络Wr输出的第一权重结果。
需要说明的是,在本公开的实施例中,预设层级权重网络还可以只包括Wi、Wr和Wp中任意一层或两层权重网络,计算方式与上述过程类似,在此不再赘述,具体的预设层级权重网络可根据实际需求由用户自主设置。
需要说明的是,在本公开的实施例中,语义分割训练装置获取每一层的第一权重结果之后,还可以对预设层级权重网络进行训练,从而提高预设层级权重网络的准确性。
在本公开的实施例中,语义分割训练装置获取每一层的第一权重结果之后,对预设层级权重网络进行训练,包括:将目标域数据输入预设层级权重网络,获取所述预设层级权重网络中每一层的第二权重结果;获取源域数据对应的第一预设权重,以及目标域数据对应的第二预设权重;根据每一层的第一权重结果、每一层的第二权重结果、第一预设权重和第二预设权重,计算目标权重损失函数;根据目标权重损失函数训练预设层级权重网络。
可以理解的是,在本公开的实施例中,语义分割训练装置获取到了目标域分割结果,因此,同样可以将目标域分割结果输入预设层级权重网络,以获得每一层的第二权重结果,具体获取过程与上述获取每一层的第一权重结果完全相同,在此不再赘述。
需要说明的是,在本公开的实施例中,语义分割训练装置中存储有第一源域数据对应的第一预设权重,以及目标域数据对应的第二预设权重,具体的,第一预设权重可以设置为0,第二预设权重为1。
具体的,在本公开的实施例中,语义分割训练装置根据每一层的第一权重结果、每一层的第二权重结果、第一预设权重和第二预设权重,计算目标损失函数,包括:根据第一预设权重和第一权重结果计算第一权重损失函数;根据第二预设权重和第二权重结果计算第二权重损失函数;计算第一权重损失函数和第二权重损失函数之和,获得目标权重损失函数。
需要说明的是,在本公开的实施例中,计算第一权重损失函数和第二权重损失函数,均可以采用L1损失函数计算方式进行计算,即可获取第一权重损失函数,同理,也可获得第二权重损失函数,具体的L1损失函数计算方式为现有技术,在此不再赘述。
可以理解的是,在本公开的实施例中,预设层级权重网络可以包括上述图像级权重网络Wi、区域级权重网络Wr和像素级权重网络Wp,因此,第一权重损失函数和第二权重损失函数分别包括三层对应的权重损失函数,例如,三个第一权重损失函数包括:Wi对应的第一权重损失函数、Wr对应的第一权重损失函数和Wp对应的第一权重损失函数,三个第二权重损失函数包括:Wi对应的第二权重损失函数、Wr对应的第二权重损失函数和Wp对应的第二权重损失函数。因此,可以计算Wi对应的第一权重损失函数和Wi对应的第二权重损失函数之和,获得Wi对应的目标权重损失函数,同理,也可以获得Wr对应的目标权重损失函数和Wp对应的目标权重损失函数,这三个不同层级权重网络对应的目标权重损失函数即为上述至少一个目标权重损失函数。
需要说明的是,语义分割训练装置在获得至少一个目标权重损失函数之后,即可根据其对预设层级权重网络中相应的权重网络进行训练,即Wi对应的目标权重损失函数用于训练Wi,Wr对应的目标权重损失函数用于训练Wr,Wp对应的目标权重损失函数用于训练Wp,具体的训练可以根据预设方式来执行,本公开实施例不作限定。
S104、根据目标域分割损失函数和源域分割损失函数,训练待训练的语义分割网络。
在本公开的实施例中,语义分割训练装置在获得目标域分割损失函数和源域分割损失函数之后,可以根据目标域分割损失函数和源域分割损失函数,训练待训练的语义分割网络。
具体的,在本公开的实施例中,语义分割训练装置根据目标域分割损失函数和源域分割损失函数,训练待训练的语义分割网络,包括:获取第一预设系数和第二预设系数;其中,第一预设系数和第二预设系数之和为一;计算目标域分割损失函数与第一预设系数之积,获得第一分割损失函数;计算源域分割损失函数与第二预设系数之积,获得第二分割损失函数;根据第一分割损失函数和第二分割损失函数之和,训练待训练的语义分割网络。
需要说明的是,在本公开的实施例中,针对目标域分割损失函数和源域分割损失函数设置有对应的预设系数,即第一预设系数和第二预设系数,在训练过程中,第一预设系数和第二预设系数可以过一段时间根据实际需求进行调节,但是,均需要保证第一预设系数和第二预设系数之和为1。
示例性的,在本公开的实施例中,第一预设系数A,第二预设系数即为1-A,目标域分割损失函数为LSeg1,源域分割损失函数为LSeg2,因此,语义分割训练装置可以计算A与LSeg1之积,获得第一分割损失函数,计算1-A与LSeg2之积,获得第二分割损失函数,再根据第一分割损失函数和第二分割损失函数之和,训练待训练的语义分割网络。
可以理解的是,在本公开的实施例中,第一分割损失函数和第二分割损失函数之和反映了待训练的语义分割网络的分割效果的优劣,因此,语义分割训练装置基于该损失函数之和,即可确定如何去调整待训练的语义分割网络中的参数,具体的根据该损失函数之和训练待训练的语义分割网络的方法本公开实施例不作限定。
在本公开的实施例中,步骤S101,语义分割训练装置根据待训练的语义分割网络,获取源域分割结果和目标域分割结果之前,还可以执行如下步骤:根据待训练的语义分割网络,获取源域数据对应的源域特征,以及目标域数据对应的目标域特征;根据预设生成器G,生成源域特征对应的第一重建数据,以及目标域特征对应的第二重建数据;根据第一重建数据和源域数据计算第一重建损失函数,并根据第二重建数据和目标域数据计算第二重建损失函数;根据第一重建损失函数和第二重建损失函数之和,训练预设生成器G;根据已训练的预设生成器G对待训练的语义分割网络的参数进行调整。
需要说明的是,在本公开的实施例中,待训练的语义分割网络可以包括编码器E和分割网络S,其中,编码器用于提取输入数据的特征,分割网络S用于对特征进行分类,因此,如图2所示,语义分割训练装置可以直接从编码器E的输出处获取输入数据的特征,即在图2中,将源域数据和目标域数据输入待训练的语义分割网络之后,语义分割训练装置还可以直接从编码器E的输出获取到源域数据对应的源域特征T1,以及目标域数据对应的目标域特征T2。
需要说明的是,在本公开的实施例中,语义分割训练装置在获取到源域特征和目标域特征之后,可以将源域特征和目标域特征输入到预设生成器G中,预设生成器G即可根据源域特征生成第一重建数据,根据目标域特征生成第二重建数据,具体的预设生成器G本公开实施例不作限定。
图3为本公开实施例提供的一种示例性的预设生成器生成重建数据的示意图。如图3所示,语义分割训练装置在获得源域特征包括:特征1、特征2和特征3,目标域特征包括:特征4、特征5和特征6,因此,将特征1、特征2和特征3输入到预设生成器G中,从而生成第一重建数据,将特征4、特征5和特征6输入预设生成器G中,从而生成第二重建数据。
需要说明的是,在本公开的实施例中,语义分割训练装置在获得第一重建数据和第二重建数据之后,可以根据第一重建数据和源域数据计算第一重建损失函数,并根据第二重建数据和目标域数据计算第二重建损失函数,具体计算的方法可以采用L1损失函数计算方法,L1损失函数计算方法为现有技术,在此不再赘述。语义分割训练装置不仅可以根据第一重建损失函数和第二重建损失函数之和,对预设生成器G进行训练,而且,由于在重建数据之前的过程中涉及待训练的语义分割网络中的编码器E对目标域数据和源域数据进行分割,因此,可以进一步根据已训练的预设生成器G再去调整待训练的语义分割网络中编码器E中的参数,具体可以按照预设梯度去进行参数的梯度调整等,例如,若已训练的预设生成器G中的某一参数增大了,相应的,将编码器E中相关联的参数按照预设梯度增大。具体的调整方式本公开实施例不作限定。
在本公开的实施例中,语义分割训练装置在根据预设生成器G生成第一重建数据和第二重建数据之后,还可以执行如下步骤:根据预设判别器D,对第一重建数据进行判别,获得第一判别结果,并对第二重建数据进行判别,获得第二判别结果;根据第一判别结果计算第一对抗损失函数,并根据第二判别结果计算第二对抗损失函数;根据第一对抗损失函数和第二对抗损失函数之和,训练预设判别器D;根据已训练的预设判别器D对待训练的语义分割网络的参数进行调整。
需要说明的是,在本公开的实施例中,预设判别器D具体用于对输入的数据进行真假判别,即判别输入的数据是生成器G生成的假数据,还是原始的真数据。如图2所示,语义分割训练装置在获得第一重建数据和第二重建数据之后,将第一重建数据和第二重建数据输入预设判别器D,预设判别器D即可输出对第一重建数据的第一判别结果,输出对第二重建数据的第二判别结果。具体的预设判别器D本公开实施例不作限定。
图4为本公开实施例提供的一种示例性的预设判别器判别重建数据的示意图。如图4所示,语义分割训练装置将第一重建数据输入预设判别器D中,预设判别器D输出的第一判别结果为0.3,表示预设判别器D判定第一重建数据为真实数据的概率为0.3,同理,将第二重建数据输入预设判别器D中,预设判别器D输出的第二判别结果为0.2,表示预设判别器D判定第二重建数据为真实数据的概率为0.2。
需要说明的是,在本公开的实施例中,语义分割训练装置在获得第一判别结果和第二判别结果之后,根据第一判别结果计算第一对抗损失函数,并根据第二判别结果计算第二对抗损失函数,其中,具体计算第一对抗损失函数和第二对抗损失函数可以按照预设方式,例如,采用L1损失函数计算方式进行计算,当然,也可以按照其它损失函数计算方式进行计算,具体的计算方法本公开实施例不作限定。
可以理解的是,在本公开的实施例中,从确定第一判别结果和第二判别结果,最后到计算得到第一对抗损失函数和第二对抗损失函数的过程中,采用预设判别器D,因此,可以根据第一对抗损失函数和第二对抗损失函数之和对判别器D进行训练,并且,由于在判别之前的过程中涉及待训练的语义分割网络中的编码器E对目标域数据和源域数据进行分割,以获得重建数据,之后,判别器D在判别时使用到了重建数据,因此,可以进一步根据已训练的预设判别器D再去调整待训练的语义分割网络中编码器E的参数,同样,可以按照预设梯度去进行参数的梯度调整等。具体的调节方法本公开实施例不作限定。
需要说明的是,在本公开的实施例中,对于上述过程中包括的待训练的语义分割网络、预设层级权重网络、预设生成器D和预设判别器G,可以采用交替训练的方式进行训练,例如,可以交替训练预设生成器D和预设判别器G,使其互相配合以提升性能。
可以理解的是,在本公开的实施例中,用户可以在语义分割训练装置中预设一个最大训练次数,在训练到达最大次数之后,即终止训练,此时,可以使用训练好的语义分割网络进行语义分割,或者,还可以输入一些数据,对训练好的语义分割网络进行测试。
需要说明的是,在本公开的实施例中,在通过上述方法对待训练的语义分割网络进行训练,最终获得训练好的语义分割网络时,可以将训练好的语义分割网络应用到对应的场景中进行语义分割,例如,可以应用到自动驾驶中对场景的识别和理解,也可以应用到无人机的着陆点判断,还可以应用到穿戴式设备等领域。
示例性的,在本公开的实施例中,待训练的语义分割网络对应的应用为自动驾驶场景识别,因此,在通过上述方法对待训练的语义分割网络进行训练后,获得的训练好的语义分割网络可以应用在自动驾驶过程中,识别车辆摄像装置获取的道路图像,例如,可以识别出道路图像中当前存在的树木、人物和车辆,从而自动驾驶装置即可根据识别出的信息,进行自动驾驶操作的判断,并控制执行相应的自动驾驶操作,例如,向避开行人的方向行驶等。
本公开实施例提供了一种语义分割训练方法,根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果;根据目标域分割结果计算目标域分割损失函数;根据源域分割结果和预设层级权重网络,计算源域分割损失函数;其中,预设层级权重网络包括至少一层权重网络;根据目标域分割损失函数和源域分割损失函数,训练待训练的语义分割网络。也就是说,在现有技术中,需要人工获取到全部适用于训练待训练的语义分割网络的数据以实现对待训练的语义分割网络的训练,而本公开实施例提供的技术方案,基于分层权重网络,选取输入待训练的语义分割网络中数据分布与待训练的语义分割网络不匹配的源域数据产生的源域分割结果所包含的有效数据,以计算源域损失函数,联合根据数据分布与待训练的语义分割网络匹配的目标域数据获取的目标域损失函数,共同训练待训练的语义分割网络,从而提高了语义分割训练的智能性和效率。
实施例二
图5为本公开实施例提供的一种语义分割训练装置的结构示意图。如图5所示,该语义分割训练装置包括:
获取模块501,用于根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果;
计算模块502,用于根据所述目标域分割结果计算目标域分割损失函数;根据所述源域分割结果和预设层级权重网络,计算源域分割损失函数;其中,所述预设层级权重网络包括至少一层权重网络;
训练模块503,用于根据所述目标域分割损失函数和所述源域分割损失函数,训练所述待训练的语义分割网络。
可选的,所述训练模块503,具体用于获取第一预设系数和第二预设系数;其中,所述第一预设系数和所述第二预设系数之和为一;计算所述目标域分割损失函数与所述第一预设系数之积,获得第一分割损失函数;计算所述源域分割损失函数与所述第二预设系数之积,获得第二分割损失函数;根据所述第一分割损失函数和所述第二分割损失函数之和,训练所述待训练的语义分割网络。
可选的,所述计算模块502,具体用于将所述源域分割结果输入所述预设层级权重网络,获取所述预设层级权重网络中每一层的第一权重结果;计算所述预设层级权重网络的第一权重结果的均值,获得目标权重结果;根据所述目标权重结果和所述源域分割结果,计算所述源域分割损失函数。
可选的,所述计算模块502,还用于将所述源域分割结果输入所述预设层级权重网络,获取所述预设层级权重网络中每一层的第二权重结果;获取所述源域数据对应的第一预设权重,以及所述目标域数据对应的第二预设权重;根据所述每一层的第一权重结果、所述每一层的第二权重结果、所述第一预设权重和所述第二预设权重,计算目标权重损失函数;
所述训练模块503,还用于根据所述目标权重损失函数训练所述预设层级权重网络。
可选的,所述计算模块502,具体用于根据所述第一预设权重和所述至第一权重结果计算第一权重损失函数;根据所述第二预设权重和所述第二权重结果计算第二权重损失函数;计算所述第一权重损失函数和所述第二权重损失函数之和,获得所述目标权重损失函数。
可选的,所述语义分割训练装置还包括:生成模块504;
所述获取模块501,还用于根据所述待训练的语义分割网络,获取所述源域数据对应的源域特征,以及所述目标域数据对应的目标域特征;
所述生成模块504,用于根据预设生成器,生成所述源域特征对应的第一重建数据,以及所述目标域数据对应的第二重建数据;
所述计算模块502,还用于根据所述第一重建数据和所述源域数据计算第一重建损失函数,并根据所述第二重建数据和所述目标域数据计算第二重建损失函数;
所述训练模块503,还用于根据所述第一重建损失函数和所述第二重建损失函数之和,训练所述预设生成器;根据所述预设生成器对所述待训练的语义分割网络的参数进行调整。
可选的,所述语义分割训练装置还包括:判别模块505;
所述判别模块505,用于根据预设判别器,对所述第一重建数据进行判别,获得第一判别结果,并对所述第二重建数据进行判别,获得第二判别结果;
所述计算模块502,还用于根据所述第一判别结果计算第一对抗损失函数,并根据第二判别结果计算第二对抗损失函数;
所述训练模块503,用于根据所述第一对抗损失函数和所述第二对抗损失函数之和,训练所述预设判别器;根据所述预设判别器对所述待训练的语义分割网络的参数进行调整。
本公开实施例提供了一种语义分割训练装置,根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果;根据目标域分割结果计算目标域分割损失函数;根据源域分割结果和预设层级权重网络,计算源域分割损失函数;其中,预设层级权重网络包括至少一层权重网络;根据目标域分割损失函数和源域分割损失函数,训练待训练的语义分割网络。也就是说,在现有技术中,需要人工获取到全部适用于训练待训练的语义分割网络的数据以实现对待训练的语义分割网络的训练,而本公开实施例提供的语义分割训练装置,基于分层权重网络,选取输入待训练的语义分割网络中数据分布与待训练的语义分割网络不匹配的源域数据产生的源域分割结果所包含的有效数据,以计算源域损失函数,联合根据数据分布与待训练的语义分割网络匹配的目标域数据获取的目标域损失函数,共同训练待训练的语义分割网络,从而提高了语义分割训练的智能性和效率。
图6为本公开实施例提供的一种电子设备的结构示意图。如图6所示,该电子设备包括:处理器601、存储器602和通信总线603;其中,
所述通信总线603,用于实现所述处理器601和所述存储器602之间的连接通信;
所述处理器601,用于执行所述存储器602中存储的语义分割训练程序,以实现上述语义分割训练方法。
本公开实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可以被一个或者多个处理器执行,以实现上述语义分割训练方法。计算机可读存储介质可以是是易失性存储器(volatile memory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatilememory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);也可以是包括上述存储器之一或任意组合的各自设备,如移动电话、计算机、平板设备、个人数字助理等。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信号处理设备的处理器以产生一个机器,使得通过计算机或其他可编程信号处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程信号处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程信号处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本公开的较佳实施例而已,并非用于限定本公开的保护范围。
Claims (14)
1.一种语义分割训练方法,其特征在于,包括:
根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果;
根据所述目标域分割结果计算目标域分割损失函数;
根据所述源域分割结果和预设层级权重网络,计算源域分割损失函数;其中,所述预设层级权重网络包括图像级权重网络、区域级权重网络和像素级权重网络;
根据所述目标域分割损失函数和所述源域分割损失函数,训练所述待训练的语义分割网络;
所述根据所述源域分割结果和预设层级权重网络,计算源域分割损失函数,包括:
将所述源域分割结果输入所述预设层级权重网络,获取所述预设层级权重网络中每一层的第一权重结果;
计算所述预设层级权重网络的第一权重结果的均值,获得目标权重结果;
根据所述目标权重结果和所述源域分割结果,计算所述源域分割损失函数。
2.根据权利要求1所述的语义分割训练方法,其特征在于,所述根据所述目标域分割损失函数和所述源域分割损失函数,训练所述待训练的语义分割网络,包括:
获取第一预设系数和第二预设系数;其中,所述第一预设系数和所述第二预设系数之和为一;
计算所述目标域分割损失函数与所述第一预设系数之积,获得第一分割损失函数;
计算所述源域分割损失函数与所述第二预设系数之积,获得第二分割损失函数;
根据所述第一分割损失函数和所述第二分割损失函数之和,训练所述待训练的语义分割网络。
3.根据权利要求1所述的语义分割训练方法,其特征在于,所述获取所述预设层级权重网络中每一层的第一权重结果之后,包括:
将所述目标域分割结果输入所述预设层级权重网络,获取所述预设层级权重网络中每一层的第二权重结果;
获取所述源域数据对应的第一预设权重,以及所述目标域数据对应的第二预设权重;
根据所述每一层的第一权重结果、所述每一层的第二权重结果、所述第一预设权重和所述第二预设权重,计算目标权重损失函数;
根据所述目标权重损失函数训练所述预设层级权重网络。
4.根据权利要求3所述的语义分割训练方法,其特征在于,所述根据所述每一层的第一权重结果、所述每一层的第二权重结果、所述第一预设权重和所述第二预设权重,计算目标权重损失函数,包括:
根据所述第一预设权重和所述第一权重结果计算第一权重损失函数;
根据所述第二预设权重和所述第二权重结果计算第二权重损失函数;
计算所述第一权重损失函数和所述第二权重损失函数之和,获得所述目标权重损失函数。
5.根据权利要求1所述的语义分割训练方法,其特征在于,所述根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果之前,包括:
根据所述待训练的语义分割网络,获取所述源域数据对应的源域特征,以及所述目标域数据对应的目标域特征;
根据预设生成器,生成所述源域特征对应的第一重建数据,以及所述目标域特征对应的第二重建数据;
根据所述第一重建数据和所述源域数据计算第一重建损失函数,并根据所述第二重建数据和所述目标域数据计算第二重建损失函数;
根据所述第一重建损失函数和所述第二重建损失函数之和,训练所述预设生成器;
根据已训练的所述预设生成器对所述待训练的语义分割网络的参数进行调整。
6.根据权利要求5所述的语义分割训练方法,其特征在于,所述根据预设生成器,生成所述源域特征对应的第一重建数据,以及所述目标域特征对应的第二重建数据之后,还包括:
根据预设判别器,对所述第一重建数据进行判别,获得第一判别结果,并对所述第二重建数据进行判别,获得第二判别结果;
根据所述第一判别结果计算第一对抗损失函数,并根据第二判别结果计算第二对抗损失函数;
根据所述第一对抗损失函数和所述第二对抗损失函数之和,训练所述预设判别器;
根据已训练的所述预设判别器对所述待训练的语义分割网络的参数进行调整。
7.一种语义分割训练装置,其特征在于,包括:
获取模块,用于根据待训练的语义分割网络,获取源域数据对应的源域分割结果,以及目标域数据对应的目标域分割结果;
计算模块,用于根据所述目标域分割结果计算目标域分割损失函数;根据所述源域分割结果和预设层级权重网络,计算源域分割损失函数;其中,所述预设层级权重网络包括图像级权重网络、区域级权重网络和像素级权重网络;
训练模块,用于根据所述目标域分割损失函数和所述源域分割损失函数,训练所述待训练的语义分割网络;
所述计算模块,具体用于将所述源域分割结果输入所述预设层级权重网络,获取所述预设层级权重网络中每一层的第一权重结果;计算所述预设层级权重网络的第一权重结果的均值,获得目标权重结果;根据所述目标权重结果和所述源域分割结果,计算所述源域分割损失函数。
8.根据权利要求7所述的语义分割训练装置,其特征在于,
所述训练模块,具体用于获取第一预设系数和第二预设系数;其中,所述第一预设系数和所述第二预设系数之和为一;计算所述目标域分割损失函数与所述第一预设系数之积,获得第一分割损失函数;计算所述源域分割损失函数与所述第二预设系数之积,获得第二分割损失函数;根据所述第一分割损失函数和所述第二分割损失函数之和,训练所述待训练的语义分割网络。
9.根据权利要求7所述的语义分割训练装置,其特征在于,
所述计算模块,还用于将所述目标域分割结果输入所述预设层级权重网络,获取所述预设层级权重网络中每一层的第二权重结果;获取所述源域数据对应的第一预设权重,以及所述目标域数据对应的第二预设权重;根据所述每一层的第一权重结果、所述每一层的第二权重结果、所述第一预设权重和所述第二预设权重,计算目标权重损失函数;
所述训练模块,还用于根据所述目标权重损失函数训练所述预设层级权重网络。
10.根据权利要求9所述的语义分割训练装置,其特征在于,
所述计算模块,具体用于根据所述第一预设权重和所述第一权重结果计算第一权重损失函数;根据所述第二预设权重和所述第二权重结果计算第二权重损失函数;计算所述第一权重损失函数和所述第二权重损失函数之和,获得所述目标权重损失函数。
11.根据权利要求7所述的语义分割训练装置,其特征在于,所述语义分割训练装置还包括:生成模块;
所述获取模块,还用于根据所述待训练的语义分割网络,获取所述源域数据对应的源域特征,以及所述目标域数据对应的目标域特征;
所述生成模块,用于根据预设生成器,生成所述源域特征对应的第一重建数据,以及所述目标域数据对应的第二重建数据;
所述计算模块,还用于根据所述第一重建数据和所述源域数据计算第一重建损失函数,并根据所述第二重建数据和所述目标域数据计算第二重建损失函数;
所述训练模块,还用于根据所述第一重建损失函数和所述第二重建损失函数之和,训练所述预设生成器;根据已训练的所述预设生成器对所述待训练的语义分割网络的参数进行调整。
12.根据权利要求11所述的语义分割训练装置,其特征在于,所述语义分割训练装置还包括:判别模块;
所述判别模块,用于根据预设判别器,对所述第一重建数据进行判别,获得第一判别结果,并对所述第二重建数据进行判别,获得第二判别结果;
所述计算模块,还用于根据所述第一判别结果计算第一对抗损失函数,并根据第二判别结果计算第二对抗损失函数;
所述训练模块,用于根据所述第一对抗损失函数和所述第二对抗损失函数之和,训练所述预设判别器;
根据已训练的所述预设判别器对所述待训练的语义分割网络的参数进行调整。
13.一种电子设备,其特征在于,所述电子设备包括:处理器、存储器和通信总线;其中,
所述通信总线,用于实现所述处理器和所述存储器之间的连接通信;
所述处理器,用于执行所述存储器中存储的语义分割训练程序,以实现权利要求1-6任一项所述的语义分割训练方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可以被一个或者多个处理器执行,以实现权利要求1-6任一项所述的语义分割训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811369552.4A CN109558901B (zh) | 2018-11-16 | 2018-11-16 | 一种语义分割训练方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811369552.4A CN109558901B (zh) | 2018-11-16 | 2018-11-16 | 一种语义分割训练方法及装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109558901A CN109558901A (zh) | 2019-04-02 |
CN109558901B true CN109558901B (zh) | 2022-04-05 |
Family
ID=65866531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811369552.4A Active CN109558901B (zh) | 2018-11-16 | 2018-11-16 | 一种语义分割训练方法及装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109558901B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860823B (zh) * | 2019-04-30 | 2024-06-11 | 北京市商汤科技开发有限公司 | 神经网络训练、图像处理方法及装置、设备及存储介质 |
CN110148142B (zh) | 2019-05-27 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、装置、设备和存储介质 |
WO2021097774A1 (en) * | 2019-11-21 | 2021-05-27 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for multi-source domain adaptation for semantic segmentation |
WO2021114130A1 (zh) * | 2019-12-11 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 一种无监督自适应乳腺病变分割方法 |
CN111612803B (zh) * | 2020-04-30 | 2023-10-17 | 杭州电子科技大学 | 一种基于图像清晰度的车辆图像语义分割方法 |
CN115249306B (zh) * | 2022-09-13 | 2022-12-02 | 腾讯科技(深圳)有限公司 | 图像分割模型训练方法、图像处理方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530305A (zh) * | 2016-09-23 | 2017-03-22 | 北京市商汤科技开发有限公司 | 语义分割模型训练和图像分割方法及装置、计算设备 |
CN107045640A (zh) * | 2017-03-31 | 2017-08-15 | 南京邮电大学 | 一种用于图像识别的基于邻域保持和核子空间对齐的方法 |
CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8873812B2 (en) * | 2012-08-06 | 2014-10-28 | Xerox Corporation | Image segmentation using hierarchical unsupervised segmentation and hierarchical classifiers |
US9916522B2 (en) * | 2016-03-11 | 2018-03-13 | Kabushiki Kaisha Toshiba | Training constrained deconvolutional networks for road scene semantic segmentation |
US20180330194A1 (en) * | 2017-05-15 | 2018-11-15 | Siemens Aktiengesellschaft | Training an rgb-d classifier with only depth data and privileged information |
-
2018
- 2018-11-16 CN CN201811369552.4A patent/CN109558901B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530305A (zh) * | 2016-09-23 | 2017-03-22 | 北京市商汤科技开发有限公司 | 语义分割模型训练和图像分割方法及装置、计算设备 |
CN107045640A (zh) * | 2017-03-31 | 2017-08-15 | 南京邮电大学 | 一种用于图像识别的基于邻域保持和核子空间对齐的方法 |
CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
Non-Patent Citations (2)
Title |
---|
Learning to adapt structured output space for semantic segmentation;Yi-Hsuan Tsai等;《arXiv:1802.10349v1》;20180228;1-10 * |
前列腺磁共振图像分割的反卷积神经网络方法;詹曙等;《中国图象图形学报》;20170430;516-522 * |
Also Published As
Publication number | Publication date |
---|---|
CN109558901A (zh) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109558901B (zh) | 一种语义分割训练方法及装置、电子设备、存储介质 | |
CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
CN110969589B (zh) | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 | |
Huang et al. | Highly accurate moving object detection in variable bit rate video-based traffic monitoring systems | |
CN111091091A (zh) | 目标对象重识别特征的提取方法、装置、设备及存储介质 | |
CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
US9053540B2 (en) | Stereo matching by census transform and support weight cost aggregation | |
Vasluianu et al. | NTIRE 2023 image shadow removal challenge report | |
CN110163188B (zh) | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 | |
CN113592736A (zh) | 一种基于融合注意力机制的半监督图像去模糊方法 | |
CN111861925A (zh) | 一种基于注意力机制与门控循环单元的图像去雨方法 | |
CN111062903A (zh) | 图像水印的自动处理方法、系统、电子设备及存储介质 | |
CN107563299B (zh) | 一种利用ReCNN融合上下文信息的行人检测方法 | |
CN114998595B (zh) | 弱监督语义分割方法、语义分割方法及可读存储介质 | |
CN112580434B (zh) | 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备 | |
CN112991349B (zh) | 图像处理方法、装置、设备和存储介质 | |
CN114419102B (zh) | 一种基于帧差时序运动信息的多目标跟踪检测方法 | |
CN112597995B (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
CN114495025A (zh) | 一种车辆识别方法、装置、电子设备及存储介质 | |
CN113496472A (zh) | 图像去雾模型构建、道路图像去雾方法、装置及车辆 | |
CN111079624B (zh) | 一种样本信息采集的方法、装置、电子设备以及介质 | |
CN117011819A (zh) | 基于特征引导注意力的车道线检测方法、装置及设备 | |
CN112733864B (zh) | 模型训练方法、目标检测方法、装置、设备及存储介质 | |
JP2022037804A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
CN103618846A (zh) | 一种视频分析中抑制光线突然变化影响的背景去除方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |