CN114596440A - 语义分割模型的生成方法、装置、电子设备及存储介质 - Google Patents

语义分割模型的生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114596440A
CN114596440A CN202210289059.1A CN202210289059A CN114596440A CN 114596440 A CN114596440 A CN 114596440A CN 202210289059 A CN202210289059 A CN 202210289059A CN 114596440 A CN114596440 A CN 114596440A
Authority
CN
China
Prior art keywords
sample image
semantic segmentation
determining
region
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210289059.1A
Other languages
English (en)
Other versions
CN114596440B (zh
Inventor
马雅楠
赵雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210289059.1A priority Critical patent/CN114596440B/zh
Publication of CN114596440A publication Critical patent/CN114596440A/zh
Application granted granted Critical
Publication of CN114596440B publication Critical patent/CN114596440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提出一种语义分割模型的生成方法、装置、电子设备及存储介质，涉及人工智能技术领域。包括：获取训练数据集，其中，训练数据集中包括样本图像及样本图像对应的标注结果；将样本图像输入目标检测模型中，以获取样本图像对应的检测结果；利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果；根据样本图像对应的检测结果、标注结果及分割结果，确定损失值；基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。由此，结合目标检测模型对样本图像的检测结果，指导语义分割模型的训练，从而提高了训练完成的语义分割模型的性能，使其可以更准确地对图像进行语义分割，进而为语义分割任务提供了条件。

Description

语义分割模型的生成方法、装置、电子设备及存储介质
技术领域
本公开涉及人工智能技术领域，尤其涉及一种语义分割模型的生成方法、装置、电子设备及存储介质。
背景技术
语义分割作为计算机视觉任务中的基础任务之一，被广泛的应用于自动驾驶、实时道路监控及医疗疾病系统等领域。语义分割的目标是对图像中的每个像素点进行分类，以得到一副图像的语义分割图。
相关技术中，可以通过大量的标注样本对语义分割模型进行训练，以提高模型的性能。但是，若标注样本数量不足，就会导致语义分割模型的性能降低，进而导致语义分割结果的准确性较低。因此，如何提高语义分割的准确性，成为重点的研究方向。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种语义分割模型的生成方法，包括：
获取训练数据集，其中，所述训练数据集中包括样本图像及样本图像对应的标注结果；
将所述样本图像输入目标检测模型中，以获取所述样本图像对应的检测结果；
利用初始语义分割模型对所述样本图像进行分割，以获取所述样本图像对应的分割结果；
根据所述样本图像对应的检测结果、标注结果及分割结果，确定损失值；
基于所述损失值，对所述初始语义分割模型进行修正，以获取训练后的语义分割模型。
可选的，所述根据所述样本图像对应的检测结果、标注结果及分割结果，确定损失值，包括：
根据所述样本图像对应的检测结果，确定所述样本图像中每个像素点所属的区域类别，其中，所述样本图像中包含边缘区域、目标区域及背景区域；
根据每个所述像素点所属的区域类别，确定每个像素点对应的权重值；
根据所述样本图像对应的标注结果及分割结果，确定所述样本图像中每个像素点对应的类别概率；
根据每个像素点对应的类别概率及权重值，确定所述损失值。
可选的，所述根据所述样本图像对应的检测结果，确定所述样本图像中每个像素点所属的区域类别，包括：
根据所述样本图像对应的检测结果中的检测框对应的位置及尺寸，确定所述样本图像中包含的目标区域；
将所述样本图像中由所述目标区域向外延伸预设宽度的区域，确定为边缘区域；
将所述样本图像中除所述目标区域及所述边缘区域外的区域，确定为背景区域；
根据所述目标区域、边缘区域及背景区域的位置，确定所述样本图像中每个像素点所属的区域类型。
可选的，在所述将所述样本图像中由所述目标区域向外延伸预设宽度的区域，确定为边缘区域之前，还包括：
根据所述检测框的尺寸，确定所述预设宽度。
可选的，在所述根据每个所述像素点所属的区域类别，确定每个像素点对应的权重值之后，还包括：
根据所述样本图像对应的检测结果，确定所述样本图像中包含的目标的数量和/或种类；
根据所述样本图像中包含的目标的数量和/或种类，确定所述样本图像对应的参考权重；
根据所述样本图像对应的参考权重，对所述样本图像中每个像素点对应的权重值进行修正，以获取修正后的每个像素点对应的权重值。
可选的，在所述根据所述样本图像中包含的目标的数量和/或种类，确定所述样本图像对应的参考权重之后，还包括：
根据每个所述样本图像对应的参考权重，确定每个所述样本图像对应的训练次数；
根据每个所述样本图像对应的训练次数，对所述训练数据集包含的每个所述样本图像的数量进行更新。
本公开第二方面实施例提出了一种语义分割方法，包括：
获取待分割的图像；
将所述待分割的图像，输入预设的语义分割模型，以获取所述待分割图像对应的语义分割结果，其中，所述预设的语义分割模型为基于如第一方面所述的方法生成的。
本公开第三方面实施例提出了一种语义分割模型的生成装置，包括：
第一获取模块，用于获取训练数据集，其中，所述训练数据集中包括样本图像及样本图像对应的标注结果；
第二获取模块，用于将所述样本图像输入目标检测模型中，以获取所述样本图像对应的检测结果；
第三获取模块，用于利用初始语义分割模型对所述样本图像进行分割，以获取所述样本图像对应的分割结果；
第一确定模块，用于根据所述样本图像对应的检测结果、标注结果及分割结果，确定损失值；
第四获取模块，用于基于所述损失值，对所述初始语义分割模型进行修正，以获取训练后的语义分割模型。
可选的，所述第一确定模块，包括：
第一确定单元，用于根据所述样本图像对应的检测结果，确定所述样本图像中每个像素点所属的区域类别，其中，所述样本图像中包含边缘区域、目标区域及背景区域；
第二确定单元，用于根据每个所述像素点所属的区域类别，确定每个像素点对应的权重值；
第三确定单元，用于根据所述样本图像对应的标注结果及分割结果，确定所述样本图像中每个像素点对应的类别概率；
第四确定单元，用于根据每个像素点对应的类别概率及权重值，确定所述损失值。
可选的，所述第一确定单元，具体用于：
根据所述样本图像对应的检测结果中的检测框对应的位置及尺寸，确定所述样本图像中包含的目标区域；
将所述样本图像中由所述目标区域向外延伸预设宽度的区域，确定为边缘区域；
将所述样本图像中除所述目标区域及所述边缘区域外的区域，确定为背景区域；
根据所述目标区域、边缘区域及背景区域的位置，确定所述样本图像中每个像素点所属的区域类型。
可选的，所述第一确定单元，还具体用于：
根据所述检测框的尺寸，确定所述预设宽度。
可选的，所述第一确定模块，还包括：
第五确定单元，用于根据所述样本图像对应的检测结果，确定所述样本图像中包含的目标的数量和/或种类；
第六确定单元，用于根据所述样本图像中包含的目标的数量和/或种类，确定所述样本图像对应的参考权重；
修正单元，用于根据所述样本图像对应的参考权重，对所述样本图像中每个像素点对应的权重值进行修正，以获取修正后的每个像素点对应的权重值。
可选的，所述第一确定模块，还包括：
第七确定单元，用于根据每个所述样本图像对应的参考权重，确定每个所述样本图像对应的训练次数；
更新单元，用于根据每个所述样本图像对应的训练次数，对所述训练数据集包含的每个所述样本图像的数量进行更新。
本公开第四方面实施例提出了一种语义分割装置，包括：
第一获取模块，用于获取待分割的图像；
第二获取模块，用于将所述待分割的图像，输入预设的语义分割模型，以获取所述待分割图像对应的语义分割结果，其中，所述预设的语义分割模型为基于如第三方面所述的装置生成的。
本公开第五方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的语义分割模型的生成方法，或者实现如本公开第二方面实施例提出的语义分割方法。
本公开第六方面实施例提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如本公开第一方面实施例提出的语义分割模型的生成方法，或者实现如本公开第二方面实施例提出的语义分割方法。
本公开第七方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现本公开第一方面实施例提出的语义分割模型的生成方法，或者实现如本公开第二方面实施例提出的语义分割方法。
本公开提供的语义分割模型的生成方法、装置、电子设备及存储介质，存在如下有益效果：
本公开实施例中，首先获取训练数据集，其中，训练数据集中包括样本图像及样本图像对应的标注结果，之后将样本图像输入目标检测模型中，以获取样本图像对应的检测结果，再利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果，之后根据样本图像对应的检测结果、标注结果及分割结果，确定损失值，最后基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。由此，在对语义分割模型训练的过程中，可以结合目标检测模型对样本图像的检测结果，指导语义分割模型的训练，从而提高了训练完成的语义分割模型的性能，使其可以更准确地对图像进行语义分割，进而为语义分割任务提供了条件。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开一实施例所提供的一种语义分割模型的生成方法的流程示意图；
图2为本公开另一实施例所提供的一种语义分割模型的生成方法的流程示意图；
图3为本公开另一实施例所提供的一种语义分割模型的生成方法的流程示意图；
图4为本公开一实施例所提供的一种语义分割方法的流程示意图；
图5为本公开一实施例所提供的一种语义分割模型的生成装置的结构示意图；
图6为本公开一实施例所提供的一种语义分割装置的结构示意图；
图7示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的语义分割模型的生成方法、装置、电子设备和存储介质。
图1为本公开实施例所提供的一种语义分割模型的生成方法的流程示意图。
本公开实施例以该语义分割模型的生成方法被配置于语义分割模型的生成装置中来举例说明，该语义分割模型的生成装置可以应用于任一电子设备中，以使该电子设备可以执行语义分割模型的生成功能。
如图1所示，该语义分割模型的生成方法可以包括以下步骤：
步骤101，获取训练数据集，其中，训练数据集中包括样本图像及样本图像对应的标注结果。
可选的，训练数据集中包括的样本图像可以是使用图像采集装置在不同条件(例如不同角度、不同光照)下采集到的样本图像。每个样本图像中可以包括需要语义分割模型进行识别和语义分割的目标物体。
比如，目标物体可以为人物、动物、车辆等。进一步地，目标物体还可以是物体中的一部分，例如，车辆上的一个部件等，本公开对此不做限定。
具体地，可以使用图像采集装置采集不同条件下的多张样本图像，之后可以将采集到的多张样本图像存储在终端中，或者也可以将采集到的多张样本图像预先存储在服务器中，在需要使用多张图像样本对模型进行训练的情况下，可以从服务器中获取多张样本图像。
其中，训练数据集中包括的样本图像对应的标注结果，可以为对样本图像中需要识别的目标进行类别标注后的结果，即标注出样本图像中包含的每个像素点对应的类别。
可选的，可以采用手动标注，或者机器自动标注的方式对样本图像中包含的每个像素点进行类别标注。本公开对此不做限定。
需要说明的是，训练数据集中可以包含多张样本图像及每张样本图像的对应的标注结果。对此不做限定。
步骤102，将样本图像输入目标检测模型中，以获取样本图像对应的检测结果。
其中，目标检测模型可以为预先训练好的，可用于对图像进行目标检测的模型。
可选的，目标检测模型的网络结构可以为区域卷积神经网络(RegionConvolutional Neural Network，R-CNN)，也可以为快速区域卷积神经网络(Fast RegionConvolutional Neural Network，Fast R-CNN)。本公开对此不做限定。
需要说明的是，本公开实施例中，在对语义分割模型进行训练的过程中，可以结合目标检测模型的输出结果，指导语义分割模型的训练。因此，可以直接调用与语义分割任务相同场景中已经训练完成的目标检测模型，即目标检测模型、及训练完成的语义分割模型可以用于执行同一场景下的不用任务，也即在同一场景中，目标检测模型执行目标检测任务，语义分割模型执行语义分割任务。
比如，在自动驾驶场景中，可以直接调用自动驾驶场景中执行目标检测任务的目标检测模型，进而利用目标检测模型对自动驾驶场景中的样本图像进行目标检测，之后结合目标检测结果指导语义分割模型进行训练。
其中，样本图像对应的检测结果可以包括每个目标对应的检测框的坐标大小及每个检测框中包含的目标对应的概率。
步骤103，利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果。
其中，初始语义分割模型可以为还未利用训练数据集中的数据进行训练的网络模型。可选的，初始语义分割模型可以为深度双分辨率网络(Deep Dual-resolutionNetworks，DDRNets)，也可以为实时语义分割模型(Bilateral Segmentation Network，BiSeNet)等。本公开对此不做限定。
其中，样本图像对应的分割结果，可以为初始语义分割模型预测的样本图像中包含的每个像素点对应的类别结果。
步骤104，根据样本图像对应的检测结果、标注结果及分割结果，确定损失值。
可以理解的是，本公开实施例中，可以根据目标检测模型对样本图像的检测结果，指导语义分割模型的训练。即将目标检测模型的输出结果，迁移到语义分割模型的训练任务中，以使语义分割模型在训练过程中，可以结合目标检测模型的输出结果，进行更有效地训练，从而提高语义分割模型的性能。
可选的，可以基于预设的损失函数，根据样本图像对应的检测结果、标注结果及分割结果，确定损失值。
其中，损失函数通常在机器学习中被用于模型的参数估计，机器学习中常用的用于分类问题的损失函数不限于铰链损失函数、指数损失函数和交叉熵损失函数。
本公开实施例中，预设的损失函数可以为带权重的损失函数，比如，带权重的交叉熵损失函数等。本公开对此不做限定。
其中，通过损失函数计算得到的值为损失值，损失值可以在一定程度上表征模型的性能。损失值越小，模型的鲁棒性就越好。
步骤105，基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。
可选的，在对初始语义分割模型训练过程中，可以根据计算得到的损失值对待训练的初始语义分割模型进行迭代训练。具体的，根据损失值对的初始语义分割模型的模型参数进行调整，直至达到预设停止条件。
其中，预设停止条件可以为，语义分割模型的训练次数达到预设的迭代次数；或者，也可以为获取的损失值满足预设的阈值。本公开对此不做限定。
可选的，在对初始语义分割模型训练结束之后，可以根据训练过程中损失值最小，或者鲁棒性最好的语义分割模型对应的模型参数，生成最终的语义分割模型。
本公开实施例中，首先获取训练数据集，其中，训练数据集中包括样本图像及样本图像对应的标注结果，之后将样本图像输入目标检测模型中，以获取样本图像对应的检测结果，再利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果，之后根据样本图像对应的检测结果、标注结果及分割结果，确定损失值，最后基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。由此，在对语义分割模型训练的过程中，可以结合目标检测模型对样本图像的检测结果，指导语义分割模型的训练，从而提高了训练完成的语义分割模型的性能，使其可以更准确地对图像进行语义分割，进而为语义分割任务提供了条件。
图2为本公开另一实施例所提供的一种语义分割模型的生成方法的流程示意图，如图2所示，该语义分割模型的生成方法可以包括以下步骤：
步骤201，获取训练数据集，其中，训练数据集中包括样本图像及样本图像对应的标注结果。
步骤202，将样本图像输入目标检测模型中，以获取样本图像对应的检测结果。
步骤203，利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果。
其中，步骤201至步骤203的具体实现形式，可参照本公开中其他各实施例中的具体步骤，此处不再详细描述。
步骤204，根据样本图像对应的检测结果，确定样本图像中每个像素点所属的区域类别，其中，样本图像中包含边缘区域、目标区域及背景区域。
其中，区域类别可以包括边缘区域、目标区域及背景区域。
其中，目标区域为可以为样本图像中包含的目标物体所在的区域。比如，样本图像中目标车辆所在的区域，目标动物所在的区域等。本公开对此不做限定。
其中，背景区域可以为样本图像中目标物体所在的区域之前的其他区域。
其中，边缘区域可以为样本图像中包含的目标物体所在的目标区域与背景区域之间的过渡区域。
可选的，可以根据样本图像对应的检测结果中的检测框对应的位置及尺寸，确定样本图像中包含的目标区域，之后将样本图像中由目标区域向外延伸预设宽度的区域，确定为边缘区域，再将样本图像中除目标区域及边缘区域外的区域，确定为背景区域，最后根据目标区域、边缘区域及背景区域的位置，确定样本图像中每个像素点所属的区域类型。
可以理解的是，目标检测模型输出的样本图像对应的检测结果中，可以包括每个目标物体对应的检测框的位置及尺寸，每个检测框所包围的区域就是每个目标物体所在的目标区域。
可选的，本公开实施例中，还可以根据样本图像对应的检测结果中的检测框对应的位置及尺寸，先确定边缘区域，即可以将检测框向内和/或向外延伸预设宽度，以获取边缘区域。之后，将检测框内部除边缘区域外的区域确定为目标区域，最后将样本图像中除目标区域及边缘区域外的区域，确定为背景区域。
可选的，预设宽度可以为提前预设的延伸宽度，即每个目标区域对应的延伸宽度相同。比如，预设宽度可以为20个像素点，50个像素点等。本公开对此不做限定。
或者，也可以根据检测框的尺寸，确定预设宽度。其中，检测框的尺寸可以与预设宽度呈正相关关系，即检测框的尺寸越大，对应的预设宽度越大。
步骤205，根据每个像素点所属的区域类别，确定每个像素点对应的权重值。
其中，权重值是指某一因素或指标相对于某一事物的重要程度，其不同于一般的比重，体现的不仅仅是某一因素或指标所占的百分比，强调的是因素或指标的相对重要程度。因此，每个类别分别对应的权重值可以根据每个类别的重要程度确定。
可选的，每个类别分别对应的权重值可以是预先配置的具体数值；也可以是预先配置的权重获取规则，在对语义分割模型进行训练时，根据该权重获取规则自动计算得到每个类别对应的权重值。本公开对此不做限定。
本公开实施例中，由于边缘区域是目标物体与背景之间的过渡区域，且边缘区域往往包含丰富的信息，是语义分割任务中较难分割的区域。因此，在语义分割模型的训练过程中，为了使语义分割模型更关注边缘区域，可以为边缘区域设置一个较高的权重值。
其次，目标区域中包含大量的目标物体的信息，也是语义分割模型在训练过程中的重点关注的区域。因此，目标区域的权重可以低于边缘区域的权重值。
最后，背景区域中包含一些杂乱无章的信息，为了使语义分割模型在训练过程中给予背景区域较少的关注。因此，可以为背景区域设置最小的权重值。
举例来说，若目标区域、边缘区域、背景区域对应的权重值的和为1，可以将边缘区域对应的权重值设置为0.5，目标区域对应的权重值设置为0.3，背景区域对应的权重设置为0.2。
需要说明的是，上述只是简单的举例说明，不能作为本公开实施例中边缘区域、背景区域即目标区域分别对应的权重值的具体限定。
需要说明的是，由于每个区域都是有多个像素点组成的，因此，每个区域中包含的像素点对应的权重值与该区域对应的权重值相同。
步骤206，根据样本图像对应的标注结果及分割结果，确定样本图像中每个像素点对应的类别概率。
可以理解的是，在获取初始语义分割模型输出的样本图像中每个像素点对应的分割结果之后，可以根据每个像素点对应的标注结果与分割结果之间的区别，确定每个像素点对应的类别概率。
可选的，可以采用softmax函数或者sigmoid函数，确定每个像素点对应的类别概率。
步骤207，根据每个像素点对应的类别概率及权重值，确定损失值。
可以理解的是，在确定了每个像素点对应的类别概率及权重值之后，即可根据预设的损失函数，确定样本图像对应的损失值。具体地，可以根据每个像素点对应的类别概率及权重值进行加权和，得到损失值。
步骤208，基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。
其中，步骤208的具体实现形式，可参照本公开中其他各实施例中的具体步骤，此处不再详细描述。
本公开实施例中，首先获取训练数据集，之后将样本图像输入目标检测模型中，以获取样本图像对应的检测结果，并利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果，之后根据样本图像对应的检测结果，确定样本图像中每个像素点所属的区域类别，根据每个像素点所属的区域类别，确定每个像素点对应的权重值，再根据样本图像对应的标注结果及分割结果，确定样本图像中每个像素点对应的类别概率，最后根据每个像素点对应的类别概率及权重值，确定损失值，基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。由此，根据目标检测模型输出的检测结果，确定样本图像中每个像素点对应的权重值，从而使语义分割模型在训练的过程中，可以更关注样本图像中权重值高的区域，即信息丰富的区域，从而进一步提升了语义分割模型的性能，进而使得语义分割模型可以对图像中内容丰富的区域进行准确的分割。
图3为本公开另一实施例所提供的一种语义分割模型的生成方法的流程示意图。如图3所示，该语义分割模型的生成方法可以包括以下步骤：
步骤301，获取训练数据集，其中，训练数据集中包括样本图像及样本图像对应的标注结果。
步骤302，将样本图像输入目标检测模型中，以获取样本图像对应的检测结果。
步骤303，利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果。
步骤304，根据样本图像对应的检测结果，确定样本图像中每个像素点所属的区域类别，其中，样本图像中包含边缘区域、目标区域及背景区域。
步骤305，根据每个像素点所属的区域类别，确定每个像素点对应的权重值。
其中，步骤301至步骤305的具体实现形式，可参照本公开中其他各实施例中的具体步骤，此处不再详细描述。
步骤306，根据样本图像对应的检测结果，确定样本图像中包含的目标的数量和/或种类。
可以理解的是，由于目标检测模型输出的样本图像对应的检测结果中，包含检测框，及检测框中的目标物体对应的类别。因此，可以根据检测框的数量，确定样本图像中包含的目标的总数量和/或包含的目标的种类。
步骤307，根据样本图像中包含的目标的数量和/或种类，确定样本图像对应的参考权重。
可以理解的是，样本图像中包含的目标的数量和/或种类越多，表征样本图像的包含的内容越丰富，内容丰富的样本图像更难进行语义分割。因此，可以根据样本图像中包含的目标的数量和/或种类，从训练数据集中挑选出困难样本图像，并为困难样本图像设置更高的参考权重，从而使得语义分割模型在训练的过程中更关注内容丰富的样本图像，进而提使得训练生成的语义分割模型可以准确地分割出内容丰富的图像中包含的目标。
比如，可以将困难样本图像对应的参考权重设置为0.8，训练数据集中除困难样本图像外的其他样本图像对应的参考权重设置为0.5等。
或者，也可以根据预设的目标的数量和/或种类与参考权重的对应关系，确定每个样本图像对应的参考权重。
可选的，在根据样本图像中包含的目标的数量和/或种类，确定样本图像对应的参考权重之后，还可以根据每个样本图像对应的参考权重，确定每个样本图像对应的训练次数，之后根据每个样本图像对应的训练次数，对训练数据集包含的每个样本图像的数量进行更新。
可以理解的是，样本图像中包含的目标的数量和/或种类越多，样本图像的内容越丰富，样本图像的内容更难分割，为了可以更准确地分割出困难样本中包含的目标，可以增加困难样本的训练次数，即可以对困难样本训练多次。
可选的，可以在样本图像对应的参考权重大于预设的权重阈值的情况下，增加样本图像的训练次数。比如，在任一样本图像对应的参考权重大于预设的权重阈值的情况下，将任一样本图像的训练次数设置为2次。
或者，还可以根据参考权重与训练次数之间的映射关系，确定每张样本图像对应的训练次数。比如，映射关系可以为，参考权重小于等于第一阈值，训练次数为1；参考权重大于第一阈值且小于等于第二阈值，训练次数为2；参考权重大于第二阈值，训练次数为3等。本公开对此不做限定。
步骤308，根据样本图像对应的参考权重，对样本图像中每个像素点对应的权重值进行修正，以获取修正后的每个像素点对应的权重值。
可选的，可以将样本图像对应的参考权重与样本图像中每个像素点对应的权重值进行相乘，以获取修正后的每个像素点对应的权重值。
或者，还可以为样本图像对应的参考权重及每个像素点对应的权重值分别设置系数，以获取参考权重对应的第一系数，每个像素点对应的权重值对应的第二系数，之后将参考权重与第一系数的乘积、及每个像素点对应的权重值与第二系数的乘积相加，以获取修正后的每个像素点对应的权重值。
举例来说，若第一系数为0.4，第二系数为0.6，参考权重为a,修正前每个像素点对应的权重值为b,则修正后的每个像素点对应的权重值为0.4*a+0.6*b。
需要说明的是，上述示例只是简单的举例说明，不能作为本公开实施例中，第一系数，第二系数及修正后的每个像素点对应的权重值的具体限定。
可以理解的是，样本图像对应的参考权重，可以表征样本图像中包含的内容是否丰富，进而根据样本图像对应的参考权重对每个像素点对应的权重进行修正，从而使得语义分割模型在训练过程中可以更关注内容丰富的样本图像，从而使得训练完成的语义分割模型可以对内容丰富的图像进行准确的分割。
步骤309，根据样本图像对应的标注结果及分割结果，确定样本图像中每个像素点对应的类别概率。
步骤310，根据每个像素点对应的类别概率及权重值，确定损失值。
步骤311，基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。
其中，步骤309至步骤311的具体实现形式，可参照本公开中其他各实施例中的具体步骤，此处不再详细描述。
本公开实施例中，首先获取训练数据集，之后将样本图像输入目标检测模型中，以获取样本图像对应的检测结果，并利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果，之后根据样本图像对应的检测结果，确定每个像素点对应的权重值，及每张样本图像对应的参考权重，根据样本图像的参考权重对每个像素点对应的权重值进行修正，之后再根据样本图像对应的标注结果及分割结果，确定样本图像中每个像素点对应的类别概率，最后根据每个像素点对应的类别概率及权重值，确定损失值，基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。由此，根据目标检测模型输出的检测结果，确定样本图像中每个像素点对应的权重值，及每张样本图像对应的参考权重，根据参考权重对每个像素点的权重值进行修正，从而使得语义分割模型在训练的过程中，可以更关注训练数据集中内容丰富的样本图像，从而进一步提升了语义分割模型的性能，使得语义分割模型可以对内容丰富的图像进行准确的分割。
图4为本公开一实施例所提供的一种语义分割方法的流程示意图。如图4所示，该语义分割方法可以包括以下步骤：
步骤401，获取待分割的图像。
其中，待分割的图像可以为需要对其进行语义分割，以获取其中包含的目标物体的图像。
可选的，待分割的图像可以为图像采集设备实时采集的待语义分割的图像。比如，在自动驾驶场景中，可以通过车辆上的图像采集装置，实时地对周围的环境进行采集。
或者，待分割的图像也可以为数据库中预先存储的待语义分割的图像。
步骤402，将待分割的图像，输入预设的语义分割模型，以获取待分割图像对应的语义分割结果。
其中，预设的语义分割模型为基于本公开其他实施例提供的语义分割模型的生成方法生成的。
其中，待分割图像对应的语义分割结果可以包括待分割图像中每个像素点对应的类别。进而，可以根据每个像素点对应的类别，确定待分割图像中包含的物体类别，及每个物体所在的位置信息。
本公开实施例中，首先获取待分割的图像，之后将待分割的图像，输入预设的语义分割模型，以获取待分割图像对应的语义分割结果。由此，通过本公开其他各实施例提供的语义分割模型的生成方法，生成的语义分割模型对待分割的图像进行处理，从而使得获取的待分割图像对应的语义分割结果更加准确。
为了实现上述实施例，本公开还提出一种语义分割模型的生成装置。
图5为本公开实施例所提供的一种语义分割模型的生成装置的结构示意图，如图5所示，该语义分割模型的生成装置500可以包括：第一获取模块510、第二获取模块520、第三获取模块530、第一确定模块540及第四获取模块550。
第一获取模块510，用于获取训练数据集，其中，训练数据集中包括样本图像及样本图像对应的标注结果；
第二获取模块520，用于将样本图像输入目标检测模型中，以获取样本图像对应的检测结果；
第三获取模块530，用于利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果；
第一确定模块540，用于根据样本图像对应的检测结果、标注结果及分割结果，确定损失值；
第四获取模块550，用于基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。
可选的，第一确定模块540，包括：
第一确定单元，用于根据样本图像对应的检测结果，确定样本图像中每个像素点所属的区域类别，其中，样本图像中包含边缘区域、目标区域及背景区域；
第二确定单元，用于根据每个像素点所属的区域类别，确定每个像素点对应的权重值；
第三确定单元，用于根据样本图像对应的标注结果及分割结果，确定样本图像中每个像素点对应的类别概率；
第四确定单元，用于根据每个像素点对应的类别概率及权重值，确定损失值。
可选的，第一确定单元，具体用于：
根据样本图像对应的检测结果中的检测框对应的位置及尺寸，确定样本图像中包含的目标区域；
将样本图像中由目标区域向外延伸预设宽度的区域，确定为边缘区域；
将样本图像中除目标区域及边缘区域外的区域，确定为背景区域；
根据目标区域、边缘区域及背景区域的位置，确定样本图像中每个像素点所属的区域类型。
可选的，第一确定单元，还具体用于：
根据检测框的尺寸，确定预设宽度。
可选的，第一确定模块540，还包括：
第五确定单元，用于根据样本图像对应的检测结果，确定样本图像中包含的目标的数量和/或种类；
第六确定单元，用于根据样本图像中包含的目标的数量和/或种类，确定样本图像对应的参考权重；
修正单元，用于根据样本图像对应的参考权重，对样本图像中每个像素点对应的权重值进行修正，以获取修正后的每个像素点对应的权重值。
可选的，第一确定模块540，还包括：
第七确定单元，用于根据每个样本图像对应的参考权重，确定每个样本图像对应的训练次数；
更新单元，用于根据每个样本图像对应的训练次数，对训练数据集包含的每个样本图像的数量进行更新。
需要说明的是，前述对语义分割模型的生成方法的解释说明也适用于本实施例的语义分割模型的生成装置，此处不再赘述。
本公开实施例的语义分割模型的生成装置，首先获取训练数据集，其中，训练数据集中包括样本图像及样本图像对应的标注结果，之后将样本图像输入目标检测模型中，以获取样本图像对应的检测结果，再利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果，之后根据样本图像对应的检测结果、标注结果及分割结果，确定损失值，最后基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。由此，在对语义分割模型训练的过程中，可以结合目标检测模型对样本图像的检测结果，指导语义分割模型的训练，从而提高了训练完成的语义分割模型的性能，使其可以更准确地对图像进行语义分割，进而为语义分割任务提供了条件。
为了实现上述实施例，本公开还提出一种语义分割装置。
图6为本公开实施例所提供的一种语义分割装置的结构示意图，如图6所示，该语义分割装置600可以包括第一获取模块610及第二获取模块620。
第一获取模块610，用于获取待分割的图像；
第二获取模块620，用于将待分割的图像，输入预设的语义分割模型，以获取待分割图像对应的语义分割结果，其中，预设的语义分割模型为基于如图5所示的装置生成的。
需要说明的是，前述对语义分割方法的解释说明也适用于本实施例的语义分割装置，此处不再赘述。
本公开实施例中，首先获取待分割的图像，之后将待分割的图像，输入预设的语义分割模型，以获取待分割图像对应的语义分割结果。由此，通过本公开其他各实施例提供的语义分割模型的生成方法，生成的语义分割模型对待分割的图像进行处理，从而使得获取的待分割图像对应的语义分割结果更加准确。
为了实现上述实施例，本公开还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的语义分割模型的生成方法，或者实现如本公开前述实施例提出的语义分割方法。
为了实现上述实施例，本公开还提出一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，实现如本公开前述实施例提出的语义分割模型的生成方法，或者实现如本公开前述实施例提出的语义分割方法。
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，实现如本公开前述实施例提出的语义分割模型的生成方法，或者实现如本公开前述实施例提出的语义分割方法。
图7示出了适于用来实现本公开实施方式的示例性电子设备的框图。图7显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
本公开的技术方案，首先获取训练数据集，其中，训练数据集中包括样本图像及样本图像对应的标注结果，之后将样本图像输入目标检测模型中，以获取样本图像对应的检测结果，再利用初始语义分割模型对样本图像进行分割，以获取样本图像对应的分割结果，之后根据样本图像对应的检测结果、标注结果及分割结果，确定损失值，最后基于损失值，对初始语义分割模型进行修正，以获取训练后的语义分割模型。由此，在对语义分割模型训练的过程中，可以结合目标检测模型对样本图像的检测结果，指导语义分割模型的训练，从而提高了训练完成的语义分割模型的性能，使其可以更准确地对图像进行语义分割，进而为语义分割任务提供了条件。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (17)

1.一种语义分割模型的生成方法，其特征在于，包括：
获取训练数据集，其中，所述训练数据集中包括样本图像及样本图像对应的标注结果；
将所述样本图像输入目标检测模型中，以获取所述样本图像对应的检测结果；
利用初始语义分割模型对所述样本图像进行分割，以获取所述样本图像对应的分割结果；
根据所述样本图像对应的检测结果、标注结果及分割结果，确定损失值；
基于所述损失值，对所述初始语义分割模型进行修正，以获取训练后的语义分割模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述样本图像对应的检测结果、标注结果及分割结果，确定损失值，包括：
根据所述样本图像对应的检测结果，确定所述样本图像中每个像素点所属的区域类别，其中，所述样本图像中包含边缘区域、目标区域及背景区域；
根据每个所述像素点所属的区域类别，确定每个像素点对应的权重值；
根据所述样本图像对应的标注结果及分割结果，确定所述样本图像中每个像素点对应的类别概率；
根据每个像素点对应的类别概率及权重值，确定所述损失值。
3.根据权利要求2所述的方法，其特征在于，所述根据所述样本图像对应的检测结果，确定所述样本图像中每个像素点所属的区域类别，包括：
根据所述样本图像对应的检测结果中的检测框对应的位置及尺寸，确定所述样本图像中包含的目标区域；
将所述样本图像中由所述目标区域向外延伸预设宽度的区域，确定为边缘区域；
将所述样本图像中除所述目标区域及所述边缘区域外的区域，确定为背景区域；
根据所述目标区域、边缘区域及背景区域的位置，确定所述样本图像中每个像素点所属的区域类型。
4.根据权利要求3所述的方法，其特征在于，在所述将所述样本图像中由所述目标区域向外延伸预设宽度的区域，确定为边缘区域之前，还包括：
根据所述检测框的尺寸，确定所述预设宽度。
5.根据权利要求2所述的方法，其特征在于，在所述根据每个所述像素点所属的区域类别，确定每个像素点对应的权重值之后，还包括：
根据所述样本图像对应的检测结果，确定所述样本图像中包含的目标的数量和/或种类；
根据所述样本图像中包含的目标的数量和/或种类，确定所述样本图像对应的参考权重；
根据所述样本图像对应的参考权重，对所述样本图像中每个像素点对应的权重值进行修正，以获取修正后的每个像素点对应的权重值。
6.根据权利要求5所述的方法，其特征在于，在所述根据所述样本图像中包含的目标的数量和/或种类，确定所述样本图像对应的参考权重之后，还包括：
根据每个所述样本图像对应的参考权重，确定每个所述样本图像对应的训练次数；
根据每个所述样本图像对应的训练次数，对所述训练数据集包含的每个所述样本图像的数量进行更新。
7.一种语义分割方法，其特征在于，包括：
获取待分割的图像；
将所述待分割的图像，输入预设的语义分割模型，以获取所述待分割图像对应的语义分割结果，其中，所述预设的语义分割模型为基于如权利要求1-6任一所述的方法生成的。
8.一种语义分割模型的生成装置，其特征在于，包括：
第一获取模块，用于获取训练数据集，其中，所述训练数据集中包括样本图像及样本图像对应的标注结果；
第二获取模块，用于将所述样本图像输入目标检测模型中，以获取所述样本图像对应的检测结果；
第三获取模块，用于利用初始语义分割模型对所述样本图像进行分割，以获取所述样本图像对应的分割结果；
第一确定模块，用于根据所述样本图像对应的检测结果、标注结果及分割结果，确定损失值；
第四获取模块，用于基于所述损失值，对所述初始语义分割模型进行修正，以获取训练后的语义分割模型。
9.根据权利要求8所述的装置，其特征在于，所述第一确定模块，包括：
第一确定单元，用于根据所述样本图像对应的检测结果，确定所述样本图像中每个像素点所属的区域类别，其中，所述样本图像中包含边缘区域、目标区域及背景区域；
第二确定单元，用于根据每个所述像素点所属的区域类别，确定每个像素点对应的权重值；
第三确定单元，用于根据所述样本图像对应的标注结果及分割结果，确定所述样本图像中每个像素点对应的类别概率；
第四确定单元，用于根据每个像素点对应的类别概率及权重值，确定所述损失值。
10.根据权利要求9所述的装置，其特征在于，所述第一确定单元，具体用于：
根据所述样本图像对应的检测结果中的检测框对应的位置及尺寸，确定所述样本图像中包含的目标区域；
将所述样本图像中由所述目标区域向外延伸预设宽度的区域，确定为边缘区域；
将所述样本图像中除所述目标区域及所述边缘区域外的区域，确定为背景区域；
根据所述目标区域、边缘区域及背景区域的位置，确定所述样本图像中每个像素点所属的区域类型。
11.根据权利要求10所述的装置，其特征在于，所述第一确定单元，还具体用于：
根据所述检测框的尺寸，确定所述预设宽度。
12.根据权利要求9所述的装置，其特征在于，所述第一确定模块，还包括：
第五确定单元，用于根据所述样本图像对应的检测结果，确定所述样本图像中包含的目标的数量和/或种类；
第六确定单元，用于根据所述样本图像中包含的目标的数量和/或种类，确定所述样本图像对应的参考权重；
修正单元，用于根据所述样本图像对应的参考权重，对所述样本图像中每个像素点对应的权重值进行修正，以获取修正后的每个像素点对应的权重值。
13.根据权利要求12所述的装置，其特征在于，所述第一确定模块，还包括：
第七确定单元，用于根据每个所述样本图像对应的参考权重，确定每个所述样本图像对应的训练次数；
更新单元，用于根据每个所述样本图像对应的训练次数，对所述训练数据集包含的每个所述样本图像的数量进行更新。
14.一种语义分割装置，其特征在于，包括：
第一获取模块，用于获取待分割的图像；
第二获取模块，用于将所述待分割的图像，输入预设的语义分割模型，以获取所述待分割图像对应的语义分割结果，其中，所述预设的语义分割模型为基于如权利要求8-13任一所述的装置生成的。
15.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的语义分割模型的生成方法，或者实现如权利要求7所述的语义分割方法。
16.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6中任一所述的语义分割模型的生成方法，或者实现如权利要求7所述的语义分割方法。
17.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时，实现如权利要求1-6中任一所述的语义分割模型的生成方法，或者实现如权利要求7所述的语义分割方法。
CN202210289059.1A 2022-03-22 2022-03-22 语义分割模型的生成方法、装置、电子设备及存储介质 Active CN114596440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210289059.1A CN114596440B (zh) 2022-03-22 2022-03-22 语义分割模型的生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210289059.1A CN114596440B (zh) 2022-03-22 2022-03-22 语义分割模型的生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114596440A true CN114596440A (zh) 2022-06-07
CN114596440B CN114596440B (zh) 2023-08-04

Family

ID=81810243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210289059.1A Active CN114596440B (zh) 2022-03-22 2022-03-22 语义分割模型的生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114596440B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036982A (zh) * 2023-10-07 2023-11-10 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) 海上养殖区的光学卫星图像处理方法和装置、设备和介质
CN117079085A (zh) * 2023-10-16 2023-11-17 合肥市斑马智行网络技术有限公司 雨滴检测模型的训练方法及车辆控制方法、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930417A (zh) * 2019-11-26 2020-03-27 腾讯科技（深圳）有限公司 图像分割模型的训练方法和装置、图像分割方法和装置
CN111507989A (zh) * 2020-04-15 2020-08-07 上海眼控科技股份有限公司 语义分割模型的训练生成方法、车辆外观检测方法、装置
CN112465840A (zh) * 2020-12-10 2021-03-09 重庆紫光华山智安科技有限公司 语义分割模型训练方法、语义分割方法及相关装置
CN113313716A (zh) * 2020-02-27 2021-08-27 北京车和家信息技术有限公司 一种自动驾驶语义分割模型的训练方法及装置
CN113947133A (zh) * 2021-09-17 2022-01-18 哈尔滨工业大学 小样本图像识别的任务重要性感知元学习方法
CN113971727A (zh) * 2021-10-21 2022-01-25 京东鲲鹏(江苏)科技有限公司 一种语义分割模型的训练方法、装置、设备和介质
CN113989305A (zh) * 2021-12-27 2022-01-28 城云科技（中国）有限公司 目标语义分割方法及应用其的街道目标异常检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596184B (zh) * 2018-04-25 2021-01-12 清华大学深圳研究生院 图像语义分割模型的训练方法、可读存储介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930417A (zh) * 2019-11-26 2020-03-27 腾讯科技（深圳）有限公司 图像分割模型的训练方法和装置、图像分割方法和装置
CN113313716A (zh) * 2020-02-27 2021-08-27 北京车和家信息技术有限公司 一种自动驾驶语义分割模型的训练方法及装置
CN111507989A (zh) * 2020-04-15 2020-08-07 上海眼控科技股份有限公司 语义分割模型的训练生成方法、车辆外观检测方法、装置
CN112465840A (zh) * 2020-12-10 2021-03-09 重庆紫光华山智安科技有限公司 语义分割模型训练方法、语义分割方法及相关装置
CN113947133A (zh) * 2021-09-17 2022-01-18 哈尔滨工业大学 小样本图像识别的任务重要性感知元学习方法
CN113971727A (zh) * 2021-10-21 2022-01-25 京东鲲鹏(江苏)科技有限公司 一种语义分割模型的训练方法、装置、设备和介质
CN113989305A (zh) * 2021-12-27 2022-01-28 城云科技（中国）有限公司 目标语义分割方法及应用其的街道目标异常检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036982A (zh) * 2023-10-07 2023-11-10 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) 海上养殖区的光学卫星图像处理方法和装置、设备和介质
CN117036982B (zh) * 2023-10-07 2024-01-09 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) 海上养殖区的光学卫星图像处理方法和装置、设备和介质
CN117079085A (zh) * 2023-10-16 2023-11-17 合肥市斑马智行网络技术有限公司 雨滴检测模型的训练方法及车辆控制方法、设备及介质
CN117079085B (zh) * 2023-10-16 2024-01-26 合肥市斑马智行网络技术有限公司 雨滴检测模型的训练方法及车辆控制方法、设备及介质

Also Published As

Publication number Publication date
CN114596440B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
WO2022032471A1 (zh) 一种神经网络模型的训练方法、装置、存储介质及设备
CN114596440B (zh) 语义分割模型的生成方法、装置、电子设备及存储介质
CN112132265B (zh) 模型训练方法、杯盘比确定方法、装置、设备及存储介质
CN112116593A (zh) 一种基于基尼指数的领域自适应语义分割方法
WO2010043954A1 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN116670687A (zh) 用于调整训练后的物体检测模型以适应域偏移的方法和系统
CN111898754A (zh) 一种神经网络模型的训练方法、装置、存储介质及设备
CN110795599B (zh) 基于多尺度图的视频突发事件监测方法及系统
CN114266896A (zh) 图像标注方法、模型训练方法及装置、电子设备、介质
CN112581483B (zh) 基于自学习的植物叶片叶脉分割方法和装置
CN113822144A (zh) 一种目标检测方法、装置、计算机设备和存储介质
CN112967293A (zh) 一种图像语义分割方法、装置及存储介质
CN115527083B (zh) 图像标注方法、装置和电子设备
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
CN111724371A (zh) 一种数据处理方法、装置及电子设备
CN115147474B (zh) 点云标注模型的生成方法、装置、电子设备及存储介质
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN115861886A (zh) 基于视频片段特征匹配的风机叶片分割方法及设备
CN117173075A (zh) 医学图像检测方法及相关设备
CN115049546A (zh) 样本数据处理方法、装置、电子设备及存储介质
CN111124862B (zh) 智能设备性能测试方法、装置及智能设备
CN113222989A (zh) 一种图像分级方法、装置、存储介质及电子设备
CN112991266A (zh) 用于小样本医疗影像的语义分割方法及系统
CN112131418A (zh) 目标标注方法、目标标注装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant