CN114119976A - 语义分割模型训练、语义分割的方法、装置及相关设备 - Google Patents
语义分割模型训练、语义分割的方法、装置及相关设备 Download PDFInfo
- Publication number
- CN114119976A CN114119976A CN202111447465.8A CN202111447465A CN114119976A CN 114119976 A CN114119976 A CN 114119976A CN 202111447465 A CN202111447465 A CN 202111447465A CN 114119976 A CN114119976 A CN 114119976A
- Authority
- CN
- China
- Prior art keywords
- layer
- model
- new
- semantic segmentation
- optimized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 233
- 238000012549 training Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 104
- 230000003993 interaction Effects 0.000 claims abstract description 214
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims description 146
- 230000008569 process Effects 0.000 claims description 35
- 238000012795 verification Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 11
- 230000010365 information processing Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种语义分割模型训练、语义分割的方法、装置、设备及可读存储介质，将场景图像、模型标注层和交互层输入语义分割模型得到新的模型标注层，基于新的模型标注层和场景图像计算得到第一损失值，利用新的模型标注层中有误的位置对应的像素点的类型与场景图像中有误的位置对应的像素点的类型，计算得到第二损失值，基于第一损失值和第二损失值判断语义分割模型是否训练完成，若否则基于第一损失值和第二损失值调整模型参数，基于新的模型标注层和场景图像将新的模型标注层中有误的位置添加标记，得到新的交互层，并返回执行将场景图像、模型标注层和交互层输入语义分割模型的步骤，若是则得到语义分割模型。
Description
技术领域
本申请涉及深度学习技术领域，尤其涉及一种语义分割模型训练、语义分割的方法、装置、设备及可读存储介质。
背景技术
随着科技的不断发展，神经网络模型开始应用于各个领域，比如，在自动驾驶技术领域，需要利用语义分割模型对获取的自动驾驶车辆周围的环境图像中各个像素点的类型进行标注。在利用语义分割模型对图像中的各个像素点的类型进行标注时，当输出的像素点的类型存在错误时，需要人为的对标注错误的像素点的类型进行修改。但是，由于图像中像素点的个数较多，且需要标注的类型也比较复杂，人为的进行修改增加了切换操作的时间；而且当语义分割模型输出的标注图像不太理想时，标注员需要进行大量的修改，使得效率提升有限，甚至不如标注员重新进行标注快。因此，亟需一种语义分割模型训练方法，以便于在标注图像中存在标注错误的像素点时，语义分割模型能够对标注图像进行优化。
发明内容
有鉴于此，本申请提供了一种语义分割模型训练、语义分割的方法、装置、设备及可读存储介质，以便于在标注图像中存在标注错误的像素点时，语义分割模型能够对标注图像进行优化。
为了实现上述目的，现提出的方案如下：
一种语义分割模型的训练方法，包括：
获取已知各像素点的类型的场景图像、模型标注层和交互层；
将所述场景图像、所述模型标注层和所述交互层输入语义分割模型，预测得到新的模型标注层；
利用所述新的模型标注层中各像素点的类型与所述场景图像中各像素点的类型，计算得到第一损失值；
基于所述新的模型标注层和所述场景图像，确定所述新的模型标注层中有误的位置；
利用所述新的模型标注层中有误的位置对应的像素点的类型与所述场景图像中有误的位置对应的像素点的类型，计算得到第二损失值；
基于所述第一损失值和所述第二损失值判断所述语义分割模型是否训练完成；
若否，则基于所述第一损失值和所述第二损失值调整模型参数；
基于所述新的模型标注层和所述场景图像，将所述新的模型标注层中有误的位置添加标记，得到新的交互层，并返回执行将所述场景图像、所述模型标注层和所述交互层输入所述语义分割模型的步骤；
若是，则结束训练，得到训练后的语义分割模型。
可选的，基于新的模型标注层和所述场景图像，将新的模型标注层中有误的位置添加标记，得到新的交互层，包括：
针对新的模型标注层中每个像素点，从所述场景图像中，查找对应位置的像素点，并判断两个像素点的标注类型是否相同；
从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待优化像素点；
将新的模型标注层中的待优化像素点添加标记，得到新的交互层。
可选的，还包括：
在新的交互层中，从所述待优化像素点以外的其他像素点中选取预设数量的像素点，并对选取的像素点添加标记。
可选的，将新的模型标注层中的待优化像素点添加标记，得到新的交互层，包括：
确定各待优化像素点之间的距离；
根据所述距离，对所述待优化像素点进行筛选，得到筛选后的待优化像素点，筛选后的待优化像素点之间的距离大于预设阈值；
将新的模型标注层中筛选后的待优化像素点添加标记，得到新的交互层，所述标记用于表明待优化像素点类型有误。
可选的，所述从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待优化像素点，包括：
从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待选取像素点；
从所述待选取像素点中选取预设数量的像素点，作为待优化像素点。
可选的，在从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待优化像素点之后，还包括：
从当前训练周期之前得到的历史待优化像素点集合中，选取预设数量的历史待优化像素点；
在交互层中，将选取的历史待优化像素点添加标记，得到新的交互层；
将当前训练周期得到的待优化像素点，存储至历史待优化像素点集合中。
可选的，将新的模型标注层中的待优化像素点添加标记，得到新的交互层，包括：
针对每个待优化像素点，从所述场景图像中，确定与待优化像素点对应位置的像素点的类型，作为待优化像素点的真实类型；
基于待优化像素点的真实类型，将新的模型标注层中的待优化像素点添加相应的标记，得到新的交互层，所述标记用于表明待优化像素点的真实类型。
可选的，基于待优化像素点的真实类型，将新的模型标注层中的待优化像素点添加相应的标记，得到新的交互层，包括：
针对新的模型标注层中的每一个待优化像素点，按照待优化像素点对应的真实类型添加真实类型标记，得到一张新的交互层；
或，
按照各个待优化像素点对应的真实类型，将待优化像素点进行分类，得到真实类型数量一致的集合；
针对每一集合，对新的模型标注层中处于所述集合内的待优化像素点添加真实类型标记，得到与所述集合对应的交互层；
从所述场景图像中包含的所有类型中，筛选得到不属于所述真实类型的类型，并创建与筛选得到的类型数量一致的空的交互层；
利用与各集合对应的交互层，以及各所述空的交互层，作为新的交互层。
一种语义分割的方法，包括：
获取待处理图像、第一语义分割模型对待处理图像进行预测得到的模型标注层，以及根据用户对所述模型标注层中有异议的位置的标记生成的交互层；
将所述待处理图像、所述模型标注层和所述交互层，输入利用如前述的语义分割模型训练方法训练得到的第二语义分割模型，得到新的模型标注层；
接收用户发送的验证信息，并基于验证信息判断用户对所述新的模型标注层是否有异议；
若是，则根据用户对所述新的模型标注层中有异议的位置的标记，生成新的交互层，并返回执行将所述待处理图像、所述模型标注层和所述交互层，输入利用如前述的语义分割模型训练方法训练得到的第二语义分割模型的步骤；
若否，则输出所述新的模型标注层对应的标注结果。
可选的，所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层，包括：
根据用户对新的模型标注层中有异议的位置的标记，确定被标记的像素点；
基于每个被标记的像素点，确定待优化像素点；
将新的模型标注层中的待优化像素点添加标记，得到新的交互层。
可选的，所述基于每个被标记的像素点，确定待优化像素点，包括：
针对每个被标记的像素点，将与被标记的像素点的距离在预设长度内的像素点以及被标记的像素点，确定为待优化像素点。
可选的，所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层，包括：
记录当前标注周期中用户对新的模型标注层中有异议的位置的标记次数；
当所述标记次数达到预设标记数量时，根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层。
可选的，所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层，包括：
获取当前标注周期中用户对新的模型标注层中有异议的位置的标记；
当接收到用户发送的生成交互层的指令时，根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层。
可选的，所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层，包括：
根据用户对新的模型标注层中有异议的位置的标记，确定被标记的像素点及各自的建议类型，所述建议类型由用户在对有异议的位置进行标记时确定；
基于被标记的像素点及各自的建议类型，将新的模型标注层中的被标记的像素点添加相应的标记，生成新的交互层，所述标记用于表明被标记像素点的建议类型。
可选的，所述第一语义分割模型与所述第二语义分割模型为同一模型。
可选的，所述第一语义分割模型与所述第二语义分割模型为不同模型；
其中，所述第一语义分割模型，以标注有各像素点类型的场景训练图像作为训练数据训练得到。
一种语义分割模型训练的装置，包括：
训练样本获取单元，用于获取已知各像素点的类型的场景图像、模型标注层和交互层；
模型训练单元，用于将所述场景图像、所述模型标注层和所述交互层输入语义分割模型，预测得到新的模型标注层；
第一损失值计算单元，用于利用所述新的模型标注层中各像素点的类型与所述场景图像中各像素点的类型，计算得到第一损失值；
错误位置确定单元，用于基于所述新的模型标注层和所述场景图像，确定所述新的模型标注层中有误的位置；
第二损失值计算单元，用于利用所述新的模型标注层中有误的位置对应的像素点的类型与所述场景图像中有误的位置对应的像素点的类型，计算得到第二损失值；
训练进程判断模块，用于基于所述第一损失值和所述第二损失值判断所述语义分割模型是否训练完成，若否，则基于所述第一损失值和所述第二损失值调整模型参数，基于所述新的模型标注层和所述场景图像，将所述新的模型标注层中有误的位置添加标记，得到新的交互层，并返回执行将所述场景图像、所述模型标注层和所述交互层输入所述语义分割模型的步骤；若是，则结束训练，得到训练后的语义分割模型。
一种语义分割的装置，包括：
图像获取单元，用于获取待处理图像、第一语义分割模型对待处理图像进行预测得到的模型标注层，以及根据用户对所述模型标注层中有异议的位置的标记生成的交互层；
图像标注单元，用于将所述待处理图像、所述模型标注层和所述交互层，输入利用如前述的语义分割模型训练方法训练得到的语义分割模型，得到新的模型标注层；
信息处理单元，用于接收用户发送的验证信息，并基于验证信息判断用户对所述新的模型标注层是否有异议，若是，则根据用户对所述新的模型标注层中有异议的位置的标记，生成新的交互层，并返回执行将所述待处理图像、所述模型标注层和所述交互层，输入利用如前述的语义分割模型训练方法训练得到的语义分割模型的步骤；若否，则输出所述新的模型标注层对应的标注结果。
一种电子设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如前述的语义分割模型的训练方法以及如前述的语义分割方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前述的语义分割模型的训练方法以及如前述的语义分割方法的各个步骤。
从上述的技术方案可以看出，本申请实施例提供的一种语义分割模型的训练、语义分割的方法、装置、设备及可读存储介质，通过获取已知各像素点的类型的场景图像、模型标注层和交互层，将场景图像、模型标注层和交互层输入语义分割模型，预测得到新的模型标注层，利用新的模型标注层中各像素点的类型与场景图像中各像素点的类型，计算得到第一损失值，基于新的模型标注层和标注了各像素点的类型的场景图像，确定新的模型标注层中有误的位置，利用新的模型标注层中有误的位置对应的像素点的类型与场景图像中有误的位置对应的像素点的类型，计算得到第二损失值，基于第一损失值和第二损失值判断语义分割模型是否训练完成，若否，则基于第一损失值和第二损失值调整模型参数，基于新的模型标注层和所述场景图像，将新的模型标注层中有误的位置添加标记，得到新的交互层，并返回执行将场景图像、模型标注层和交互层输入语义分割模型的步骤，若是，则结束训练，得到训练后的语义分割模型。在本申请中，当模型标注层中存在类型标注有误的像素点时，可以根据模型标注层和已知各像素点的类型的场景图像，将模型标注层中有误的位置添加标记，得到新的交互层，与场景图像和模型标注层作为新的输入，继续训练语义分割模型，使得训练后的语义分割模型可以在模型标注层中存在标注错误的像素点时，利用新的交互层，以及不断迭代优化的新的模型标注层，作为语义分割模型的输入，可以使得语义分割模型对模型标注层进行优化。
进一步的，在本申请中，在计算得到第一损失值的基础上，还利用新的模型标注层中有误的位置对应的像素点的类型与场景图像中有误的位置对应的像素点的类型，计算得到第二损失值，并在判断语义分割模型训练未完成时，语义分割模型可以利用第一损失值和第二损失值对模型参数进行调整，使得训练后的语义分割模型会更加关注标注有误的位置，当训练后的语义分割模型确定标注有误的位置之后，可以给有误的位置更强的响应，从而一定程度上提升语义分割模型的预测准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种语义分割模型训练的方法流程图；
图2为本申请实施例提供的一种语义分割模型的输入组成示意图；
图3为本申请实施例提供的一种语义分割的方法流程图；
图4为本申请实施例提供的一种语义分割流程示意图；
图5为本申请实施例提供的另一种语义分割流程示意图；
图6为本申请实施例提供的一种语义分割模型训练的装置结构示意图；
图7为本申请实施例提供的一种语义分割的装置结构示意图；
图8为本申请实施例公开的一种电子设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种语义分割模型训练的方法流程图，该方法可以包括：
步骤S100、获取已知各像素点的类型的场景图像、模型标注层和交互层。
具体的，模型标注层是语义分割模型输出的预测图像。交互层是基于已知各像素点的类型的场景图像和模型标注层，对模型标注层中有误的位置添加标记得到。其中，场景图像中的场景可以是街道、公路等，已知的各像素点的类型可以是车、树、路、行人和建筑物等。
由于模型标注层和交互层均需要在语义分割模型输出预测图像之后才能够得到，所以在第一次训练周期中，可以获取已知各像素点的类型的场景图像、空的模型标注层和空的交互层。
步骤S101、将场景图像、模型标注层和交互层输入语义分割模型，预测得到新的模型标注层。
具体的，语义分割模型可以对上述步骤中获取的场景图像、模型标注层和交互层进行处理，从而输出新的模型标注层
步骤S102、利用新的模型标注层中各像素点的类型与场景图像中各像素点的类型，计算得到第一损失值。
具体的，上述步骤中，语义分割模型可以输出的新的模型标注层，其中，新的模型标注层中各个像素点均标注有类型。利用新的模型标注层中各像素点的类型和场景图像中各像素点的类型，选择对应的损失函数，计算得到第一损失值。其中，第一损失值是利用新的模型标注层中所有像素点的类型和场景图像中所有像素点的类型最终计算得到。
步骤S103、基于新的模型标注层和场景图像，确定新的模型标注层中有误的位置。
具体的，通过对比新的模型标注层中标注的各像素点的类型与场景图像中对应位置的像素点的类型，可以确定类型不相同的像素点所处的位置，该位置可以作为新的模型标注层中有误的位置。
步骤S104、利用新的模型标注层中有误的位置对应的像素点的类型与场景图像中有误的位置对应的像素点的类型，计算得到第二损失值。
具体的，在确定有误的位置之后，可以确定新的模型标注层中有误的位置对应的像素点的类型和场景图像中有误的位置对应的像素点的类型，并选择对应的损失函数，比如交叉熵损失函数等分类损失函数，计算得到第二损失值。其中，第二损失值是利用新的模型标注层中有误的位置对应的像素点的类型和场景图像中有误的位置对应的像素点的类型计算得到。
步骤S105、基于第一损失值和第二损失值判断语义分割模型是否训练完成。
具体的，通过对第一损失值和第二损失值进行判断，比如损失值的变化趋于平缓时，可以确定语义分割模型训练完成。若判断语义分割模型训练未完成，则执行步骤S106，若判断语义分割模型训练完成，则执行步骤S108。
步骤S106、基于第一损失值和第二损失值调整模型参数。
具体的，在判断语义分割模型训练未完成时，可以将第一损失值和第二损失值反向传递给语义分割模型，使得语义分割模型可以利用第一损失值和第二损失值，对语义分割模型的内部参数进行调整，从而使得语义分割模型的预测更加准确。其中，在计算得到第一损失值的基础上，还利用新的模型标注层中有误的位置对应的像素点的类型与场景图像中有误的位置对应的像素点的类型，计算得到第二损失值，并在判断语义分割模型训练未完成时，语义分割模型可以利用第一损失值和第二损失值对模型参数进行调整，使得训练后的语义分割模型会更加关注标注有误的位置。
步骤S107、基于新的模型标注层和场景图像，将新的模型标注层中有误的位置添加标记，得到新的交互层。
具体的，在得到新的交互层之后，可以返回执行步骤S101、将场景图像、模型标注层和交互层输入语义分割模型的步骤。其中，返回执行步骤S101时，输入语义分割模型中的模型标注层为上述步骤中得到的新的模型标注层，交互层为上述步骤中得到的新的交互层。
步骤S108、结束训练，得到训练后的语义分割模型。
具体的，在判断语义分割模型训练完成时，可以结束训练，得到训练后的语义分割模型，可以对输入的待处理图像、模型标注层和交互层进行处理得到新的交互层。
在上述实施例中，本申请实施例提供了一种语义分割模型的训练的方法，当模型标注层中存在类型标注有误的像素点时，可以根据模型标注层和已知各像素点的类型的场景图像，将模型标注层中有误的位置添加标记，得到新的交互层，与场景图像和模型标注层作为新的输入，继续训练语义分割模型，使得训练后的语义分割模型可以在模型标注层中存在标注错误的像素点时，利用新的交互层，以及不断迭代优化的新的模型标注层，作为语义分割模型的输入，可以使得语义分割模型对模型标注层进行优化。
进一步的，在本实施例中，在计算得到第一损失值的基础上，还利用新的模型标注层中有误的位置对应的像素点的类型与场景图像中有误的位置的像素点的类型，计算得到第二损失值，并在判断语义分割模型训练未完成时，语义分割模型可以利用第一损失值和第二损失值对模型参数进行调整，使得训练后的语义分割模型会更加关注标注有误的位置，当训练后的语义分割模型确定标注有误的位置之后，可以给有误的位置更强的响应，从而一定程度上提升语义分割模型的预测准确性。
在本申请的一些实施例中，对步骤S107、基于新的模型标注层和场景图像，将新的模型标注层中有误的位置添加标记，得到新的交互层的过程进行介绍，该过程可以包括：
S11、针对新的模型标注层中每个像素点，从场景图像中，查找对应位置的像素点，并判断两个像素点的标注类型是否相同。
具体的，针对某些标注图像中每个像素点，可以从场景图像中查找与之位置对应的像素点，并判断两个像素点的标注类型是否相同。由于场景图像中的各个像素点的标注类型为预先已知的标签，所以通过判断两个像素点的标注类型是否相同，可以得出新的模型标注层中的像素点的标注类型是否有误。
S12、从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待优化像素点。
具体的，对于标注类型不相同的两个像素点，可以认为新的模型标注层中对应的像素点的标注类型有误，所以可以将新的模型标注层中的该像素点，作为待优化像素点。
S13、将新的模型标注层中的待优化像素点添加标记，得到新的交互层。
具体的，在上述步骤中确定的待优化像素点之后，可以将新的模型标注层中的待优化像素点添加标记，得到新的交互层。
上述实施例中，通过判断新的模型标注层和场景图像中，相同位置的像素点的标注类型是否相同，来确定新的模型标注层中标注有误的像素点，从而对有误的像素点进行标记，实现对新的模型标注层中有误的位置的标记，得到新的交互层。
在对模型进行训练的过程中，为了模拟错误信号，提升模型的鲁棒性，使得后续训练后的模型在处理错误信号时，依然可以输出较为准确的结果。基于此，在本申请的一些实施例中，为了提升语义分割模型的鲁棒性，可以在语义分割模型的训练过程中，添加错误标记。
具体的，在得到新的交互层后，可以在新的交互层中，从待优化像素点以外的其他像素点中选取预设数量的像素点，并对选取的像素点添加标记。由于待优化像素点集合以外的像素点，并不属于有误的像素点，此时，通过对选取的像素点添加与待优化像素点一样的标记，会使得语义分割模型在对交互层进行处理时，将选取的像素点也作为有误的像素点进行处理，从而提升语义分割模型的鲁棒性。
考虑到标注员对模型标注层中有误的位置进行标记时，一般不会在距离比较近的位置，同时作两个标记。基于此，在本申请的一些实施例中，为了模拟标注员对模型标注层中有误的位置进行标记的行为，上述S13、将新的模型标注层中的待优化像素点添加标记，得到新的交互层的过程，可以包括：
S21、确定各待优化像素点之间的距离。
具体的，在确定新的模型标注层中的待优化像素点之后，可以针对每个待优化像素点，计算与其他待优化像素点之间的距离，最终得到各个待优化像素点之间的距离。
S22、根据距离，对待优化像素点进行筛选，得到筛选后的待优化像素点。
具体的，在得到各待优化像素点之间的距离之后，可以设定距离的最小阈值，以各像素点之间的距离均需要大于最小阈值为最终目标，对待优化像素点进行筛选，从而得到筛选后的待优化像素点。其中，筛选后的待优化像素点之间的距离大于预设阈值。
筛选的方式可以时随机的选取一个待优化像素点，将与该像素点距离小于预设阈值的待优化像素点删除，再从剩余的未被选取的待优化像素点中再选取一个待优化像素点，并将与该像素点距离小于预设阈值的像素点删除，直至剩余的待优化像素点之间的距离均大于最小阈值时完成筛选，剩余的待优化像素点作为筛选后的待优化像素点。
S23、将新的模型标注层中筛选后的待优化像素点添加标记，得到新的交互层。
具体的，在本步骤中只将新的模型标注层中筛选后的待优化像素点添加标记，其中，标记用于表明待优化像素点类型有误。
在上述实施例中，通过确定各待优化像素点之间的距离，对待优化像素点进行筛选，使得筛选后的待优化像素点之间的距离大于预设阈值，从而模拟标注员在实际标记的过程中，不会在距离比较近的位置，同时作两次标记的真实标记行为。
通过上述实施例中确定待优化像素点的方法，可以将新的模型标注层中有误的像素点均进行相应的标记，但是在实际的标记时，标注员往往不能找到新的模型标注层中所有有误的像素点。基于此，在本申请的一些实施例中，为了模拟标注员的真实标注行为，上述S12、从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待优化像素点的过程，可以包括：
S31、从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待选取像素点。
具体的，对于标注类型不相同的两个像素点，可以认为新的模型标注层中对应的像素点的标注类型有误，所以可以将新的模型标注层中的该像素点，作为待选取像素点，以供后续进行选取。
S32、从待选取像素点中选取预设数量的像素点，作为待优化像素点。
具体的，选取的数量可以根据实际标注员标记的数量均值进行预先的设置。选取的方式可以采用随机选取的方式。
上述实施例中，先从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，均作为待选取像素点，再按照设定的数量，从待选取像素点中选取相应数量的像素点，作为待优化像素点，其中，设定的数量可以根据实际标注员标记的数量均值进行设置，从而使得标记更加接近于标注员的真实标记行为。
语义分割模型的训练过程是一个循环的过程，在每个训练周期中，均可以得到待优化像素点，以此组成待优化像素点集合，由于待优化像素点是新的模型标注层中标注有误的像素点，所以可以为语义分割模型的训练提供一定的参考价值。基于此，在本申请的一些实施例中，可以在交互层中增加历史待优化像素点的标记，具体过程可以包括：
S41、从当前训练周期之前得到的历史待优化像素点集合中，选取预设数量的历史待优化像素点。
具体的，每个训练周期都可以得到若干个待优化像素点，利用每个训练周期得到的若干个待优化像素点，可以组成历史待优化像素点集合。
S42、在交互层中，将选取的历史待优化像素点添加标记，得到新的交互层。
具体的，历史待优化像素点为当前训练周期之前的待优化像素点，所以可以为语义分割模型的训练提供一定的参考价值，因此，可以将选取的一定数量的历史待优化像素点也添加上相应的标记，得到新的交互层。
S43、将当前训练周期得到的待优化像素点，存储至历史待优化像素点集合中。
具体的，将当前周期得到的待优化像素点，存储至历史待优化像素点集合中，以便于在后续的训练周期中，可以进行选取。
上述实施例中，通过从当前训练周期之前得到的历史待优化像素点集合中，选取预设数量的历史待优化像素点，并进行相应的标记，得到新的交互层，可以使得将新的交互层输入语义分割模型中进行训练时，可以针对历史待优化像素点进行验证，提升语义分割模型的预测准确性。
在本申请的一些实施例中，对S13、将新的模型标注层中的待优化像素点添加标记，得到新的交互层的过程进行介绍，该过程可以包括：
S51、针对每个待优化像素点，从场景图像中，确定与待优化像素点对应位置的像素点的类型，作为待优化像素点的真实类型.
具体的，针对新的模型标注层中的每个待优化像素点，从场景图像中，确定与待优化像素点对应位置的像素点的类型，作为待优化像素点的真实类型。由于场景图像中各像素点的标注类型均是预先已知的正确的类型，所以可以作为待优化像素点的真实类型。
S52、基于待优化像素点的真实类型，将新的模型标注层中的待优化像素点添加相应的标记，得到新的交互层。
具体的，基于待优化像素点的真实类型，可以将新的模型标注层中的待优化像素点添加相应的标记，其中，标记可以用于表明待优化像素点的真实类型。
在上述实施例中，可以先确定每个待优化像素点对应的真实类型，再根据真实类型，将新的模型标注层中待优化像素点添加相应的标记，从而通过标记可以确定待优化像素点的正确的类型，使得语义分割模型可以针对不同的问题进行调整，从而提升语义分割模型的准确性。
在本申请的一些实施例中，上述S52、基于待优化像素点的真实类型，将新的模型标注层中的待优化像素点添加相应的标记，得到新的交互层的过程中，得到新的交互层可以有几种可选的形式，如下：
第一种、一张新的交互层。
具体的，针对新的模型标注层中的每一个待优化像素点，按照待优化像素点对应的真实类型添加真实类型标记，得到一张新的交互层。
第二种、利用一定数量的交互层作为新的交互层。
具体的，按照各个待优化像素点对应的真实类型，将待优化像素点进行分类，得到真实类型数量一致的集合。针对每一集合，对新的模型标注层中处于集合内的待优化像素点添加真实类型标记，得到与集合对应的交互层。从场景图像中包含的所有类型中，筛选得到不属于真实类型的类型，并创建与筛选得到的类型数量一致的空的交互层。利用与各集合对应的交互层，以及各空的交互层，作为新的交互层。
在上述实施例中，当新的交互层是包括多张交互层时，由于语义分割模型的输入是确定的，所以交互层的数量也应该是确定的，因此，在得到与集合对应的交互层之后，还需要创建与筛选得到的类型数量一致的空的交互层，从而保证不管新的模型标注层中类型标注错误的像素点所涉及的类型有多少种，均可以使模型的输入保持一致。
进一步的，图2为本申请实施例提供的一种语义分割模型的输入组成示意图，参考图2所示，场景图像可以根据RGB三个通道，得到三个层，结合获取的模型标注层和交互层，可以得到语义分割模型的新的输入，每个图像的高可以是H，宽可以是W。其中，交互层的数量可以是1，也可以与场景图像中类型数量一致，图2中以交互层的数量与场景图像中类型数量一致的情况进行展示，且场景图像中类型的数量为2。
通过上述实施例中提到的语义分割模型训练的方法，可以训练得到语义分割模型，用于对待处理图像中各像素点的类型进行预测。参考图3所示，图3为本申请实施例提供的一种语义分割的方法流程图，该方法可以包括：
步骤S200、获取待处理图像、模型标注层和交互层。
具体的，模型标注层可以是第一语义分割模型对待处理图像进行预测得到。交互层可以是根据用户对模型标注层中有异议的位置的标记生成。其中，第一语义分割模型可以对待处理图像进行预测，得到模型标注层。
由于第一语义分割模型对待处理图像进行预测得到的模型标注层并不一定完全正确，所以可以将模型标注层提供给相应的用户，对模型标注层中有异议的位置进行标记，最终生成交互层。
步骤S201、将待处理图像、模型标注层和交互层，输入第二语义分割模型，得到新的模型标注层。
其中，上述第二语义分割模型可以利用上述实施例中的语义分割模型训练方法训练得到。
具体的，第二语义分割模型输出的新的模型标注层，是结合了待处理图像、模型标注层和交互层后预测得到。其中，交互层是根据用户对模型标注层中有异议的位置的标记生成的，再结合不断迭代优化的模型标注层，相当于给第二语义分割模型提供了一个对输入的模型标注层进行优化的方向，从而可以一定程度上使得新的模型标注层更加准确。
步骤S202、判断用户对新的模型标注层是否有异议。
具体的，将上述步骤中得到的新的模型标注层，提供给相应的用户进行判断，从而确定用户对新的模型标注层是否有异议，并返回对应的验证信息。通过接收用户发送的验证信息，并基于验证信息，可以判断用户对新的模型标注层是否有异议，若是则执行步骤S203，若否则执行步骤S204。
步骤S203、根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层。
具体的，当用户对新的模型标注层有异议时，可以将新的模型标注层和待处理图像提供给用户，由用户通过对比将新的模型标注层中有异议的位置进行标记，并根据用户对新的模型标注层中有异议的位置额标记，生成新的交互层。在得到新的交互层之后，返回执行步骤S201、将待处理图像、模型标注层和交互层，输入第二语义分割模型的步骤。
步骤S204、输出新的模型标注层对应的标注结果。
具体的，当用户对新的模型标注层无异议时，可以将新的模型标注层对应的标注结果作为最终的结果输出。
在上述实施例中，利用根据用户对模型标注层中有异议的位置的标记生成的新的交互层，以及不断迭代优化的新的模型标注层，作为第二语义分割模型的输入，可以最终得到用户无异议的模型标注层。
进一步的，在使用第二语义分割模型之前，可以预先训练第二语义分割模型，并将其配置在本地主机中，或者本地主机所能访问到的远程服务器上。在此基础上，将预先训练的第二语义分割模型配置在本地主机中时，可以在本地主机中完成预测任务，处理较为高效，但是会使得本地主机配置要求较高；而将预先训练的第二语义分割模型配置在本地主机所能访问到的远程服务器上，则需要通过网络传递模型输入给配置有第二语义分割模型的远程服务器，待远程服务器处理完毕后，再通过网络将处理数据传递回本地主机，其中由于网络传输的延迟，可能会影响处理效率，但是对本地主机的配置要求较低。具体使用哪种配置方式，以实际情况为准，不论采用哪种配置方式，均不影响本申请的实现。
在本申请的一些实施例中，对步骤S203、根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层的过程进行介绍，该过程可以包括：
S61、根据用户对新的模型标注层中有异议的位置的标记，确定被标记的像素点。
具体的，在新的模型标注层不满足预设要求时，用户可以针对新的模型标注层中有异议的位置进行标记，根据用户的标记，可以确定被标记的像素点。其中，标记的方式可以是对有异议的位置进行点击，还可以是对有异议的位置进行划线等方式。通过划线的方式可以确定一条线，由于线是由点组成，所以可以将得到的线转化为一系列的点的集合，再按照点的处理方式对转化得到的点进行处理。具体采用何种方式对有异议的位置进行标记并不影响本申请的实现，只要能够通过标记确定有异议的位置即可。
S62、基于每个被标记的像素点，确定待优化像素点。
具体的，通过上述步骤中可以根据用户对新的模型标注层中有异议的位置的标记，确定的被标记的像素点，可以作为待优化像素点。
S63、将新的模型标注层中的待优化像素点添加标记，得到新的交互层。
具体的，在新的交互层中可以包含若干个被标记的像素点，再将新的交互层输入第二语义分割模型中时，第二语义分割模型可以利用新的交互层中被标记的像素点，确定新的模型标注层中可能有异议的像素点，从而进使得第二语义分割模型的预测结果更加准确。
进一步的，上述S62、基于每个被标记的像素点，确定待优化像素点的过程中，可以针对每个被标记的像素点，将与被标记的像素点的距离在预设长度内的像素点以及被标记的像素点，确定为待优化像素点。
具体的，针对每个被标记的像素点，将与被标记的像素点的距离在预设长度内的像素点以及被标记的像素点，确定为待优化像素点。以每个被标记的像素点为中心，计算附近其他像素点与被标记像素点的距离，将满足预设距离的像素点，即使未被标记，也可以与被标记的像素点一同被确定为待优化像素点。
在本申请的一些实施例中，由于用户对新的模型标注层有异议的位置的标记次数是不固定的，但是第二语义分割模型的输入是固定的，所以可以设定几种条件以实现根据用户某一阶段的标记，来生成新的交互层作为第二语义分割模型的输入。
第一种、固定标记的数量。
具体的，可以预先设定每个标注周期用户对新的模型标注层中有异议的位置的标记数量。再记录当前标注周期中用户对新的模型标注层中有异议的位置的标记次数，当标记次数达到预设标记数量时，根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层。
比如，预先设定标记数量为3，则在当前标注周期中，用户对新的模型标注层中有异议的位置进行3次标记后，则根据用户的这3次标记生成新的交互层。
第二种、接收用户的生成交互层的指令。
具体的，获取当前标注周期中用户对新的模型标注层中有异议的位置的标记，此时，标记的数量不做限制。当接收到用户发送的生成交互层的指令时，根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层。
比如，在当前周期中，用户对新的模型标注层中有异议的位置进行N次标记后，用户认为可以生成交互层，则发出生成交互层的指令，当接收到用户发送的生成交互层的指令时，根据用户对模型标注层中有异议的位置的N次标记，生成新的交互层。
上述实施例中，第一种方式是在用户标记固定次数之后，自动生成交互层，进入下一个标注周期；而第二种方式是根据用户的发送的指令，生成交互层，是否生成交互层，进入下一个标注周期，是由用户进行控制。
在本申请的一些实施例中，对步骤S203、根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层的过程进行介绍，该过程可以包括：
S71、根据用户对新的模型标注层中有异议的位置的标记，确定被标记的像素点及各自的建议类型。
具体的，上述建议类型由用户在对有异议的位置进行标记时确定，可以视为用户认为有异议的位置所应该被标注的类型。根据用户对新的模型标注层中有异议的位置的标记，可以确定被标记的像素点以及各自的建议类型。
S72、基于被标记的像素点及各自的建议类型，将新的模型标注层中的被标记的像素点添加相应的标记，生成新的交互层。
具体的，基于上述步骤中确定的被标记的像素点以及各自的建议类型，可以将新的模型标注层中的被标记的像素点添加相应的标记，其中，标记用于表明被标记像素点的建议类型。
在上述实施例中，通过新的模型标注层中有异议的位置，确定被标记的像素点及各自的建议类型，使得最终的交互层中，根据用户对有异议的位置确定的像素点会对应有建议类型标记，实现对问题的进一步细分，从而可以一定程度上使得第二语义分割模型对标记的像素点的识别处理更加具有针对性，进而提升第二语义分割模型预测的准确性。
在本申请的一些实施例中，使用了两个模型来实现语义分割，其中，第二语义分割模型可以利用上述实施例中的语义分割模型训练方法训练得到，而第一语义分割模型可以有几种可选的模型选择，如下：
第一种、第一语义分割模型与第二语义分割模型为同一模型。
具体的，当第一语义分割模型与第二语义分割模型为同一模型时，第一语义分割模型最初始得输入为待处理图像、空的模型标注层和空的交互层，得到模型标注层。
参考图4所示，图4为本申请实施例提供的一种语义分割流程示意图，此时，第一语义分割模型与第二语义分割模型为同一模型，统称为语义分割模型，语义分割模型在第一个标注周期中，输入为待处理图像、空的交互层和空的模型标注层，语义分割模型输出新的模型标注层，此时用户对新的模型标注层进行判断，有异议则对新的模型标注层中有异议的位置进行标记，生成新的交互层，并将待处理图像、新的模型标注层和新的交互层再次输入语义分割模型中，无异议则输出新的模型标注层对应的标注结果。
第二种、第一语义分割模型与第二语义分割模型为不同模型。
具体的，第一语义分割模型可以以标注有各像素点类型的场景训练图像作为训练数据训练得到。其中，第一语义分割模型最初始的输入为待处理图像，得到模型标注层。
参考图5所示，图5为本申请实施例提供的另一种语义分割流程示意图，此时，第一语义分割模型与第二语义分割模型为不同模型，由于第一语义分割模型可以以标注有各像素点类型的场景训练图像作为训练数据训练得到，所以第一个标注周期中，第一语义分割模型的输入可以是待处理图像，此时第一语义分割模型可以输出模型标注层，用户对模型标注层进行判断，有异议则对模型标注层中有异议的位置进行标记，生成交互层，并将待处理图像、模型标注层和交互层输入第二语义分割模型中，无异议则输出模型标注层对应的标注结果；在将待处理图像、模型标注层和交互层输入第二语义分割模型后，第二语义分割模型可以输出新的模型标注层，针对新的模型标注层，用户对新的模型标注层进行判断，有异议则对新的模型标注层中有异议的位置进行标记，生成新的交互层，并将待处理图像、新的模型标注层和新的交互层再次输入第二语义分割模型中，无异议则输出新的模型标注层对应的标注结果。
下面对本申请实施例提供的一种语义分割模型训练的装置进行描述，下文描述的一种语义分割模型训练的装置与上文描述的一种语义分割模型训练的方法可相互对应参照。
图6为本申请实施例提供的一种语义分割模型训练的装置结构示意图，语义分割模型训练的装置可以包括：
训练样本获取单元10，用于获取已知各像素点的类型的场景图像、模型标注层和交互层；
模型训练单元20，用于将场景图像、模型标注层和交互层输入语义分割模型，预测得到新的模型标注层；
第一损失值计算单元30，用于利用新的模型标注层中各像素点的类型与场景图像中各像素点的类型，计算得到第一损失值；
错误位置确定单元40，用于基于新的模型标注层和场景图像，确定新的模型标注层中有误的位置；
第二损失值计算单元50，用于利用新的模型标注层中有误的位置对应的像素点的类型与场景图像中有误的位置对应的像素点的类型，计算得到第二损失值；
训练进程判断模块60，用于基于第一损失值和第二损失值判断语义分割模型是否训练完成，若否，则基于第一损失值和第二损失值调整模型参数，基于新的模型标注层和场景图像，将新的模型标注层中有误的位置添加标记，得到新的交互层，并返回执行将场景图像、模型标注层和交互层输入语义分割模型的步骤；若是，则结束训练，得到训练后的语义分割模型。
可选的，训练进程判断模块60执行基于新的模型标注层和所述场景图像，将新的模型标注层中有误的位置添加标记，得到新的交互层的步骤，可以包括：
针对新的模型标注层中每个像素点，从所述场景图像中，查找对应位置的像素点，并判断两个像素点的标注类型是否相同；
从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待优化像素点；
将新的模型标注层中的待优化像素点添加标记，得到新的交互层。
可选的，语义分割模型训练的装置，还可以包括：
错误标记添加单元，用于在新的交互层中，从所述待优化像素点以外的其他像素点中选取预设数量的像素点，并对选取的像素点添加标记。
可选的，训练进程判断模块60执行将新的模型标注层中的待优化像素点添加标记，得到新的交互层的步骤，可以包括：
确定各待优化像素点之间的距离；
根据所述距离，对所述待优化像素点进行筛选，得到筛选后的待优化像素点，筛选后的待优化像素点之间的距离大于预设阈值；
将新的模型标注层中筛选后的待优化像素点添加标记，得到新的交互层，所述标记用于表明待优化像素点类型有误。
可选的，训练进程判断模块60执行所述从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点作为待优化像素点的步骤，可以包括：
从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待选取像素点；
从所述待选取像素点中选取预设数量的像素点，作为待优化像素点。
可选的，训练进程判断模块60执行在从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待优化像素点的步骤之后，还可以包括：
从当前训练周期之前得到的历史待优化像素点集合中，选取预设数量的历史待优化像素点；
在交互层中，将选取的历史待优化像素点添加标记，得到新的交互层；
将当前训练周期得到的待优化像素点，存储至历史待优化像素点集合中。
可选的，训练进程判断模块60执行将新的模型标注层中的待优化像素点添加标记，得到新的交互层的步骤，可以包括：
针对每个待优化像素点，从所述场景图像中，确定与待优化像素点对应位置的像素点的类型，作为待优化像素点的真实类型；
基于待优化像素点的真实类型，将新的模型标注层中的待优化像素点添加相应的标记，得到新的交互层，所述标记用于表明待优化像素点的真实类型。
可选的，训练进程判断模块60执行基于待优化像素点的真实类型，将新的模型标注层中的待优化像素点添加相应的标记，得到新的交互层的步骤，可以包括：
针对新的模型标注层中的每一个待优化像素点，按照待优化像素点对应的真实类型添加真实类型标记，得到一张新的交互层；
或，
按照各个待优化像素点对应的真实类型，将待优化像素点进行分类，得到真实类型数量一致的集合；
针对每一集合，对新的模型标注层中处于所述集合内的待优化像素点添加真实类型标记，得到与所述集合对应的交互层；
从所述场景图像中包含的所有类型中，筛选得到不属于所述真实类型的类型，并创建与筛选得到的类型数量一致的空的交互层；
利用与各集合对应的交互层，以及各所述空的交互层，作为新的交互层。
下面对本申请实施例提供的一种语义分割的装置进行描述，下文描述的一种语义分割的装置与上文描述的一种语义分割的方法可相互对应参照。
图7为本申请实施例提供的一种语义分割的装置结构示意图，语义分割的装置可以包括：
图像获取单元100，用于获取待处理图像、第一语义分割模型对待处理图像进行预测得到的模型标注层，以及根据用户对模型标注层中有异议的位置的标记生成的交互层；
图像标注单元200，用于将待处理图像、模型标注层和交互层，输入利用如上述的语义分割模型训练方法训练得到的语义分割模型，得到新的模型标注层；
信息处理单元300，用于接收用户发送的验证信息，并基于验证信息判断用户对新的模型标注层是否有异议，若是，则根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层，并返回执行将待处理图像、模型标注层和交互层，输入利用如上述的语义分割模型训练方法训练得到的语义分割模型的步骤；若否，则输出新的模型标注层对应的标注结果。
可选的，信息处理单元300执行所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层的步骤，可以包括：
根据用户对新的模型标注层中有异议的位置的标记，确定被标记的像素点；
基于每个被标记的像素点，确定待优化像素点；
将新的模型标注层中的待优化像素点添加标记，得到新的交互层。
可选的，信息处理单元300执行所述基于每个被标记的像素点，确定待优化像素点的步骤，可以包括：
针对每个被标记的像素点，将与被标记的像素点的距离在预设长度内的像素点以及被标记的像素点，确定为待优化像素点。
可选的，信息处理单元300执行所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层的步骤，可以包括：
记录当前标注周期中用户对新的模型标注层中有异议的位置的标记次数；
当所述标记次数达到预设标记数量时，根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层。
可选的，信息处理单元300执行所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层的步骤，可以包括：
获取当前标注周期中用户对新的模型标注层中有异议的位置的标记；
当接收到用户发送的生成交互层的指令时，根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层。
可选的，信息处理单元300执行所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层的步骤，可以包括：
根据用户对新的模型标注层中有异议的位置的标记，确定被标记的像素点及各自的建议类型，所述建议类型由用户在对有异议的位置进行标记时确定；
基于被标记的像素点及各自的建议类型，将新的模型标注层中的被标记的像素点添加相应的标记，生成新的交互层，所述标记用于表明被标记像素点的建议类型。
本申请实施例还提供一种电子设备，图8示出了电子设备的硬件结构框图，参照图8，电子设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：实现前述的语义分割模型的训练方法以及如前述的语义分割方法的各个步骤。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：实现前述的语义分割模型的训练方法以及如前述的语义分割方法的各个步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以相互组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (20)
1.一种语义分割模型的训练方法，其特征在于，包括：
获取已知各像素点的类型的场景图像、模型标注层和交互层；
将所述场景图像、所述模型标注层和所述交互层输入语义分割模型，预测得到新的模型标注层；
利用所述新的模型标注层中各像素点的类型与所述场景图像中各像素点的类型，计算得到第一损失值；
基于所述新的模型标注层和所述场景图像，确定所述新的模型标注层中有误的位置；
利用所述新的模型标注层中有误的位置对应的像素点的类型与所述场景图像中有误的位置对应的像素点的类型，计算得到第二损失值；
基于所述第一损失值和所述第二损失值判断所述语义分割模型是否训练完成；
若否，则基于所述第一损失值和所述第二损失值调整模型参数；
基于所述新的模型标注层和所述场景图像，将所述新的模型标注层中有误的位置添加标记，得到新的交互层，并返回执行将所述场景图像、所述模型标注层和所述交互层输入所述语义分割模型的步骤；
若是，则结束训练，得到训练后的语义分割模型。
2.根据权利要求1所述的方法，其特征在于，基于所述新的模型标注层和所述场景图像，将所述新的模型标注层中有误的位置添加标记，得到新的交互层，包括：
针对新的模型标注层中每个像素点，从所述场景图像中，查找对应位置的像素点，并判断两个像素点的标注类型是否相同；
从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待优化像素点；
将新的模型标注层中的待优化像素点添加标记，得到新的交互层。
3.根据权利要求2所述的方法，其特征在于，还包括：
在新的交互层中，从所述待优化像素点以外的其他像素点中选取预设数量的像素点，并对选取的像素点添加标记。
4.根据权利要求2所述的方法，其特征在于，将新的模型标注层中的待优化像素点添加标记，得到新的交互层，包括：
确定各待优化像素点之间的距离；
根据所述距离，对所述待优化像素点进行筛选，得到筛选后的待优化像素点，筛选后的待优化像素点之间的距离大于预设阈值；
将新的模型标注层中筛选后的待优化像素点添加标记，得到新的交互层，所述标记用于表明待优化像素点类型有误。
5.根据权利要求2所述的方法，其特征在于，所述从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待优化像素点，包括：
从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待选取像素点；
从所述待选取像素点中选取预设数量的像素点，作为待优化像素点。
6.根据权利要求2所述的方法，其特征在于，在从标注类型不相同的两个像素点中，选取新的模型标注层中的像素点，作为待优化像素点之后，还包括：
从当前训练周期之前得到的历史待优化像素点集合中，选取预设数量的历史待优化像素点；
在交互层中，将选取的历史待优化像素点添加标记，得到新的交互层；
将当前训练周期得到的待优化像素点，存储至历史待优化像素点集合中。
7.根据权利要求2所述的方法，其特征在于，将新的模型标注层中的待优化像素点添加标记，得到新的交互层，包括：
针对每个待优化像素点，从所述场景图像中，确定与待优化像素点对应位置的像素点的类型，作为待优化像素点的真实类型；
基于待优化像素点的真实类型，将新的模型标注层中的待优化像素点添加相应的标记，得到新的交互层，所述标记用于表明待优化像素点的真实类型。
8.根据权利要求7所述的方法，其特征在于，基于待优化像素点的真实类型，将新的模型标注层中的待优化像素点添加相应的标记，得到新的交互层，包括：
针对新的模型标注层中的每一个待优化像素点，按照待优化像素点对应的真实类型添加真实类型标记，得到一张新的交互层；
或，
按照各个待优化像素点对应的真实类型，将待优化像素点进行分类，得到真实类型数量一致的集合；
针对每一集合，对新的模型标注层中处于所述集合内的待优化像素点添加真实类型标记，得到与所述集合对应的交互层；
从所述场景图像中包含的所有类型中，筛选得到不属于所述真实类型的类型，并创建与筛选得到的类型数量一致的空的交互层；
利用与各集合对应的交互层，以及各所述空的交互层，作为新的交互层。
9.一种语义分割的方法，其特征在于，包括：
获取待处理图像、第一语义分割模型对待处理图像进行预测得到的模型标注层，以及根据用户对所述模型标注层中有异议的位置的标记生成的交互层；
将所述待处理图像、所述模型标注层和所述交互层，输入利用如权利要求1-8任意一项所述的语义分割模型训练方法训练得到的第二语义分割模型，得到新的模型标注层；
接收用户发送的验证信息，并基于验证信息判断用户对所述新的模型标注层是否有异议；
若是，则根据用户对所述新的模型标注层中有异议的位置的标记，生成新的交互层，并返回执行将所述待处理图像、所述模型标注层和所述交互层，输入利用如权利要求1-8任意一项所述的语义分割模型训练方法训练得到的第二语义分割模型的步骤；
若否，则输出所述新的模型标注层对应的标注结果。
10.根据权利要求9所述的方法，其特征在于，所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层，包括：
根据用户对新的模型标注层中有异议的位置的标记，确定被标记的像素点；
基于每个被标记的像素点，确定待优化像素点；
将新的模型标注层中的待优化像素点添加标记，得到新的交互层。
11.根据权利要求10所述的方法，其特征在于，所述基于每个被标记的像素点，确定待优化像素点，包括：
针对每个被标记的像素点，将与被标记的像素点的距离在预设长度内的像素点以及被标记的像素点，确定为待优化像素点。
12.根据权利要求9所述的方法，其特征在于，所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层，包括：
记录当前标注周期中用户对新的模型标注层中有异议的位置的标记次数；
当所述标记次数达到预设标记数量时，根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层。
13.根据权利要求9所述的方法，其特征在于，所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层，包括：
获取当前标注周期中用户对新的模型标注层中有异议的位置的标记；
当接收到用户发送的生成交互层的指令时，根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层。
14.根据权利要求9所述的方法，其特征在于，所述根据用户对新的模型标注层中有异议的位置的标记，生成新的交互层，包括：
根据用户对新的模型标注层中有异议的位置的标记，确定被标记的像素点及各自的建议类型，所述建议类型由用户在对有异议的位置进行标记时确定；
基于被标记的像素点及各自的建议类型，将新的模型标注层中的被标记的像素点添加相应的标记，生成新的交互层，所述标记用于表明被标记像素点的建议类型。
15.根据权利要求9所述的方法，其特征在于，所述第一语义分割模型与所述第二语义分割模型为同一模型。
16.根据权利要求9所述的方法，其特征在于，所述第一语义分割模型与所述第二语义分割模型为不同模型；
其中，所述第一语义分割模型，以标注有各像素点类型的场景训练图像作为训练数据训练得到。
17.一种语义分割模型训练的装置，其特征在于，包括：
训练样本获取单元，用于获取已知各像素点的类型的场景图像、模型标注层和交互层；
模型训练单元，用于将所述场景图像、所述模型标注层和所述交互层输入语义分割模型，预测得到新的模型标注层；
第一损失值计算单元，用于利用所述新的模型标注层中各像素点的类型与所述场景图像中各像素点的类型，计算得到第一损失值；
错误位置确定单元，用于基于所述新的模型标注层和所述场景图像，确定所述新的模型标注层中有误的位置；
第二损失值计算单元，用于利用所述新的模型标注层中有误的位置对应的像素点的类型与所述场景图像中有误的位置对应的像素点的类型，计算得到第二损失值；
训练进程判断模块，用于基于所述第一损失值和所述第二损失值判断所述语义分割模型是否训练完成，若否，则基于所述第一损失值和所述第二损失值调整模型参数，基于所述新的模型标注层和所述场景图像，将所述新的模型标注层中有误的位置添加标记，得到新的交互层，并返回执行将所述场景图像、所述模型标注层和所述交互层输入所述语义分割模型的步骤；若是，则结束训练，得到训练后的语义分割模型。
18.一种语义分割的装置，其特征在于，包括：
图像获取单元，用于获取待处理图像、第一语义分割模型对待处理图像进行预测得到的模型标注层，以及根据用户对所述模型标注层中有异议的位置的标记生成的交互层；
图像标注单元，用于将所述待处理图像、所述模型标注层和所述交互层，输入利用如权利要求1-8任意一项所述的语义分割模型训练方法训练得到的语义分割模型，得到新的模型标注层；
信息处理单元，用于接收用户发送的验证信息，并基于验证信息判断用户对所述新的模型标注层是否有异议，若是，则根据用户对所述新的模型标注层中有异议的位置的标记，生成新的交互层，并返回执行将所述待处理图像、所述模型标注层和所述交互层，输入利用如权利要求1-8任意一项所述的语义分割模型训练方法训练得到的语义分割模型的步骤；若否，则输出所述新的模型标注层对应的标注结果。
19.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1-8任一项的语义分割模型的训练方法以及如权利要求9-16任一项的语义分割方法的各个步骤。
20.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8任一项的语义分割模型的训练方法以及如权利要求9-16任一项的语义分割方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111447465.8A CN114119976B (zh) | 2021-11-30 | 2021-11-30 | 语义分割模型训练、语义分割的方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111447465.8A CN114119976B (zh) | 2021-11-30 | 2021-11-30 | 语义分割模型训练、语义分割的方法、装置及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114119976A true CN114119976A (zh) | 2022-03-01 |
| CN114119976B CN114119976B (zh) | 2024-05-14 |
Family
ID=80369193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111447465.8A Active CN114119976B (zh) | 2021-11-30 | 2021-11-30 | 语义分割模型训练、语义分割的方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119976B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090456A (zh) * | 2017-12-27 | 2018-05-29 | 北京初速度科技有限公司 | 一种车道线识别方法及装置 |
| CN108197658A (zh) * | 2018-01-11 | 2018-06-22 | 阿里巴巴集团控股有限公司 | 图像标注信息处理方法、装置、服务器及系统 |
| CN108596184A (zh) * | 2018-04-25 | 2018-09-28 | 清华大学深圳研究生院 | 图像语义分割模型的训练方法、可读存储介质及电子设备 |
| CN110188760A (zh) * | 2019-04-01 | 2019-08-30 | 上海卫莎网络科技有限公司 | 一种图像处理模型训练方法、图像处理方法及电子设备 |
| CN110930417A (zh) * | 2019-11-26 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法和装置、图像分割方法和装置 |
| CN111260659A (zh) * | 2020-01-13 | 2020-06-09 | 镇江优瞳智能科技有限公司 | 一种基于初始标注点指导的图像交互分割方法 |
| WO2020119075A1 (zh) * | 2018-12-10 | 2020-06-18 | 平安科技（深圳）有限公司 | 通用文本信息提取方法、装置、计算机设备和存储介质 |
| CN111435432A (zh) * | 2019-01-15 | 2020-07-21 | 北京市商汤科技开发有限公司 | 网络优化方法及装置、图像处理方法及装置、存储介质 |
| CN111507343A (zh) * | 2019-01-30 | 2020-08-07 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
| WO2021004402A1 (zh) * | 2019-07-05 | 2021-01-14 | 深圳数字生命研究院 | 图像识别方法及装置、存储介质和处理器 |
| WO2021043112A1 (zh) * | 2019-09-02 | 2021-03-11 | 华为技术有限公司 | 图像分类方法以及装置 |
| CN112613515A (zh) * | 2020-11-23 | 2021-04-06 | 上海眼控科技股份有限公司 | 语义分割方法、装置、计算机设备和存储介质 |
| CN113705597A (zh) * | 2021-03-05 | 2021-11-26 | 腾讯科技（北京）有限公司 | 一种图像处理方法、装置、计算机设备以及可读存储介质 |
-
2021
- 2021-11-30 CN CN202111447465.8A patent/CN114119976B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090456A (zh) * | 2017-12-27 | 2018-05-29 | 北京初速度科技有限公司 | 一种车道线识别方法及装置 |
| CN108197658A (zh) * | 2018-01-11 | 2018-06-22 | 阿里巴巴集团控股有限公司 | 图像标注信息处理方法、装置、服务器及系统 |
| CN108596184A (zh) * | 2018-04-25 | 2018-09-28 | 清华大学深圳研究生院 | 图像语义分割模型的训练方法、可读存储介质及电子设备 |
| WO2020119075A1 (zh) * | 2018-12-10 | 2020-06-18 | 平安科技（深圳）有限公司 | 通用文本信息提取方法、装置、计算机设备和存储介质 |
| CN111435432A (zh) * | 2019-01-15 | 2020-07-21 | 北京市商汤科技开发有限公司 | 网络优化方法及装置、图像处理方法及装置、存储介质 |
| CN111507343A (zh) * | 2019-01-30 | 2020-08-07 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
| CN110188760A (zh) * | 2019-04-01 | 2019-08-30 | 上海卫莎网络科技有限公司 | 一种图像处理模型训练方法、图像处理方法及电子设备 |
| WO2021004402A1 (zh) * | 2019-07-05 | 2021-01-14 | 深圳数字生命研究院 | 图像识别方法及装置、存储介质和处理器 |
| WO2021043112A1 (zh) * | 2019-09-02 | 2021-03-11 | 华为技术有限公司 | 图像分类方法以及装置 |
| CN110930417A (zh) * | 2019-11-26 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法和装置、图像分割方法和装置 |
| CN111260659A (zh) * | 2020-01-13 | 2020-06-09 | 镇江优瞳智能科技有限公司 | 一种基于初始标注点指导的图像交互分割方法 |
| CN112613515A (zh) * | 2020-11-23 | 2021-04-06 | 上海眼控科技股份有限公司 | 语义分割方法、装置、计算机设备和存储介质 |
| CN113705597A (zh) * | 2021-03-05 | 2021-11-26 | 腾讯科技（北京）有限公司 | 一种图像处理方法、装置、计算机设备以及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 左向梅等: "基于交互式条件随机场的RGB-D图像语义分割", 计算机应用与软件, vol. 34, no. 03, 15 March 2017 (2017-03-15), pages 174 - 179 * |
| 王妍宁等: "一种新的图像语义自动标注模型", 计算机工程与应用, vol. 47, no. 07, 1 March 2011 (2011-03-01), pages 193 - 197 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114119976B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105354307A (zh) | 一种图像内容识别方法及装置 | |
| CN104679743A (zh) | 一种确定用户的偏好模式的方法及装置 | |
| CN110909868A (zh) | 基于图神经网络模型的节点表示方法和装置 | |
| CN109903076A (zh) | 一种广告数据生成方法、系统、电子设备及存储介质 | |
| CN112182269B (zh) | 图像分类模型的训练、图像分类方法、装置、设备及介质 | |
| CN110992124A (zh) | 房源的推荐方法及房源的推荐系统 | |
| CN111177568B (zh) | 基于多源数据的对象推送方法、电子装置及存储介质 | |
| CN111092769A (zh) | 一种基于机器学习的web指纹识别方法 | |
| CN104462259A (zh) | 一种用于提供时效性图片搜索结果的方法与设备 | |
| CN114221991B (zh) | 基于大数据的会话推荐反馈处理方法及深度学习服务系统 | |
| CN111784401A (zh) | 下单率预测方法、装置、设备及可读存储介质 | |
| CN114330550A (zh) | 模型融合策略的选择方法、装置及电子设备 | |
| CN113838076A (zh) | 目标图像中的对象轮廓的标注方法及装置、存储介质 | |
| CN114119976B (zh) | 语义分割模型训练、语义分割的方法、装置及相关设备 | |
| CN111489196A (zh) | 基于深度学习网络的预测方法、装置、电子设备及介质 | |
| CN111539390A (zh) | 一种基于Yolov3的小目标图像识别方法、设备和系统 | |
| US20200372072A1 (en) | User interface for evaluating the quality of geospatial data | |
| CN113238947B (zh) | 一种人机协同的对话系统评测方法及系统 | |
| CN110413307A (zh) | 代码功能的关联方法、装置及电子设备 | |
| CN114445716A (zh) | 关键点检测方法、装置、计算机设备、介质及程序产品 | |
| CN114330542A (zh) | 一种基于目标检测的样本挖掘方法、装置及存储介质 | |
| CN113837313A (zh) | 车道线标注模型的训练方法、装置、设备及可读存储介质 | |
| CN112860736A (zh) | 大数据查询优化方法、设备及可读存储介质 | |
| CN112905892A (zh) | 应用于用户画像挖掘的大数据处理方法及大数据服务器 | |
| CN112612979A (zh) | 基于云计算和人工智能的页面服务处理方法及区块链中心 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |