CN116342888A - 一种基于稀疏标注训练分割模型的方法及装置 - Google Patents

一种基于稀疏标注训练分割模型的方法及装置 Download PDF

Info

Publication number
CN116342888A
CN116342888A CN202310598320.0A CN202310598320A CN116342888A CN 116342888 A CN116342888 A CN 116342888A CN 202310598320 A CN202310598320 A CN 202310598320A CN 116342888 A CN116342888 A CN 116342888A
Authority
CN
China
Prior art keywords
pixel
pixels
sample image
classification result
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310598320.0A
Other languages
English (en)
Other versions
CN116342888B (zh
Inventor
苏慧
王瑾
叶玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310598320.0A priority Critical patent/CN116342888B/zh
Publication of CN116342888A publication Critical patent/CN116342888A/zh
Application granted granted Critical
Publication of CN116342888B publication Critical patent/CN116342888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本说明书公开了一种基于稀疏标注训练分割模型的方法及装置，在训练样本的标注仅包含样本图像中的部分像素对应的预设分类的情况下，将训练样本输入分割模型中，得到各像素分别对应的初始分类结果，并对各像素的初始分类结果进行模糊操作，得到各像素分别对应的参考分类结果，以初始分类结果和参考分类结果相同的像素确定参考像素，并根据参考像素的初始分类结果对该训练样本的标注进行更新，基于样本图像及其对应的更新后的标注，对该分割模型进行训练。则基于本说明书中的该基于稀疏标注训练分割模型的方法，即使是在仅对训练样本中的部分像素进行标注的情况下，也可训练得到较为准确的分割模型，保证了模型训练的效率。

Description

一种基于稀疏标注训练分割模型的方法及装置
技术领域
本说明书涉及图像分割领域，尤其涉及一种基于稀疏标注训练分割模型的方法及装置。
背景技术
目前，随着计算机技术的发展和业务融合的需要，深度学习在人工智能和计算机视觉等众多领域取得了巨大进展。在语义分割领域，随着多种分割模型被相继提出，基于精细标注的语义分割算法得到了很好的分割结果。
但是，现有技术中，训练样本的精细标注通常为训练样本包含的各像素分别对应的预设分类，且训练样本的标注通常需由人工确定。人工标注耗时长、成本高的特点以及训练样本中需进行标注的像素过多的特点，使得现有技术中的训练效率较低。
基于此，本说明书提供一种基于稀疏标注训练分割模型的方法。
发明内容
本说明书提供一种基于稀疏标注训练分割模型的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供一种基于稀疏标注训练分割模型的方法，所述方法包括：
获取样本图像及其标注，所述标注为所述样本图像中各指定像素对应的预设分类，所述指定像素为所述样本图像中的部分像素；
将所述样本图像输入待训练的分割模型中，得到所述分割模型输出的所述样本图像中的各像素分别对应的初始分类结果；
对所述各像素的初始分类结果进行模糊操作，得到所述各像素分别对应的参考分类结果；
根据所述初始分类结果和所述参考分类结果相同的像素，确定参考像素；
根据所述参考像素以及所述参考像素的初始分类结果，将所述样本图像的标注进行更新；
根据所述样本图像以及更新后的所述标注，对所述分割模型进行训练。
可选地，得到所述分割模型输出的所述样本图像中的各像素分别对应的初始分类结果，具体包括：
得到所述分割模型输出的所述样本图像中各像素分别属于所述各预设分类的概率；
针对所述样本图像中的每个像素，根据该像素属于所述各预设分类的概率，从所述各预设分类中，确定该像素对应的初始分类结果。
可选地，对所述各像素的初始分类结果进行模糊操作，得到所述各像素分别对应的参考分类结果，具体包括：
确定所述各预设分类分别对应的像素值；
按照所述各预设分类分别对应的像素值，对所述各像素分别对应的初始分类结果进行填充，得到分割图；
根据预设的模糊卷积核，对所述分割图进行卷积操作，并根据模糊后的所述分割图，确定所述各像素分别对应的参考分类结果。
可选地，根据所述初始分类结果和所述参考分类结果相同的像素，确定参考像素，具体包括：
根据各像素分别对应的初始分类结果和所述参考分类结果，确定所述初始分类结果和所述参考分类结果相同的像素，作为待选像素；
从各待选像素中，确定属于初始分类结果的概率大于预设的概率阈值的待选像素，作为参考像素。
可选地，根据所述参考像素以及所述参考像素的初始分类结果，将所述样本图像的标注进行更新，具体包括：
将各参考像素作为各指定像素，并根据重新确定出的各指定像素分别对应的初始分类结果，确定所述样本图像的标注。
可选地，在根据所述样本图像以及更新后的所述标注，对所述分割模型进行训练前，所述方法还包括：
针对所述样本图像中的每个像素，根据该像素的初始分类结果、该像素和其他各像素之间的相关度，以及所述其他各像素分别对应的初始分类结果，确定该像素的特定分类结果；
根据所述各像素分别对应的初始分类结果，确定初始分割结果，并根据所述各像素分别对应的特定分类结果，确定特定分割结果；
根据所述样本图像以及更新后的所述标注，对所述分割模型进行训练，具体包括：
根据所述初始分割结果和更新后的所述标注之间的差距，以及所述初始分割结果和所述特定分割结果之间的差距，对所述分割模型进行训练。
可选地，所述分割模型由若干编码层和一个解码层串联而成，针对每个编码层，该编码层用于对输入该编码层的数据进行特征提取，所述解码层用于确定所述样本图像中各像素的初始分类结果；
根据该像素的初始分类结果、该像素和其他各像素之间的相关度，以及所述其他各像素分别对应的初始分类结果，确定该像素的特定分类结果，具体包括：
针对每个编码层，确定该编码层输出的样本特征，并根据该编码层输出的样本特征，确定所述样本图像对应于该编码层的相关矩阵；其中，针对所述样本图像中的每个像素，所述相关矩阵中包含该像素和所述样本图像中其他像素的相关度；
根据所述样本图像对应于该编码层的相关矩阵以及所述各像素分别对应的初始分类结果，确定所述各像素分别对应的特定分类结果。
本说明书提供一种基于稀疏标注训练分割模型的装置，所述装置包括：
样本确定模块，用于获取样本图像及其标注，所述标注为所述样本图像中各指定像素对应的预设分类，所述指定像素为所述样本图像中的部分像素；
分类模块，用于将所述样本图像输入待训练的分割模型中，得到所述分割模型输出的所述样本图像中的各像素分别对应的初始分类结果；
模糊模块，用于对各像素的初始分类结果进行模糊操作，得到所述各像素分别对应的参考分类结果；
参考确定模块，用于根据所述初始分类结果和所述参考分类结果相同的像素，确定参考像素；
更新模块，用于根据所述参考像素以及所述参考像素的初始分类结果，将所述样本图像的标注进行更新；
训练模块，用于根据所述样本图像以及更新后的所述标注，对所述分割模型进行训练。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于稀疏标注训练分割模型的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于稀疏标注训练分割模型的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在训练样本的标注仅包含样本图像中的部分像素对应的预设分类的情况下，将训练样本输入分割模型中，得到各像素分别对应的初始分类结果，并对各像素的初始分类结果进行模糊操作，得到各像素分别对应的参考分类结果，以初始分类结果和参考分类结果相同的像素确定参考像素，并根据参考像素的初始分类结果对该训练样本的标注进行更新，基于样本图像及其对应的更新后的标注，对该分割模型进行训练。
本方法在仅对训练样本中的部分像素进行标注的情况下，基于各像素的初始分类结果以及对初始分类结果模糊后得到的各像素分别对应的参考分类结果，确定用于对标注进行更新的参考像素，进而基于参考像素及其对应的初始分类结果，对样本图像的标注进行更新。则基于本说明书中的该基于稀疏标注训练分割模型的方法，即使是在仅对训练样本中的部分像素进行标注的情况下，也可训练得到较为准确的分割模型，保证了模型训练的效率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书提供的基于稀疏标注训练分割模型的方法的流程示意图；
图2为本说明书提供的样本图像及其标注的结构示意图；
图3为本说明书提供的确定参考分类结果的流程示意图；
图4为本说明书提供的基于稀疏标注训练分割模型的方法的流程示意图；
图5为本说明书提供的基于稀疏标注训练分割模型的方法的场景示意图；
图6为本说明书提供的基于稀疏标注训练分割模型的装置的结构示意图；
图7为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书提供的基于稀疏标注训练分割模型的方法的流程示意图，具体包括以下步骤：
S100：获取样本图像及其标注，所述标注为所述样本图像中各指定像素分别对应的预设分类，所述指定像素为所述样本像素中的部分像素。
在本说明书提供一种基于稀疏标注训练分割模型的方法，该基于稀疏标注训练分割模型的方法的执行过程可由用于进行图像分割、语义分割、实例分割等的服务器等电子设备执行。为了方便描述，本说明书中以用于进行语义分割的服务器执行该分割模型的训练过程为例进行说明。
区别于目前基于带有精细标注的训练样本对分割模型进行训练，需要人工对训练样本进行标注，耗时长、成本高，训练效率低。本说明书提供一种基于稀疏标注训练分割模型的方法，仅对训练样本中的部分像素确定其对应的预设分类，作为训练样本的标注，再将训练样本输入分割模型中，得到各像素分别对应的初始分类结果，并对各像素的初始分类结果进行模糊操作，得到各像素分别对应的参考分类结果，以初始分类结果和参考分类结果相同的像素确定参考像素，并根据参考像素的初始分类结果对该训练样本的标注进行更新，也就是，确定各参考像素的伪标注，进而基于样本图像及其对应的更新后的标注，对该分割模型进行训练。
本方法在仅对训练样本中的部分像素进行标注的情况下，基于各像素的初始分类结果以及对初始分类结果模糊后得到的各像素分别对应的参考分类结果，确定用于对标注进行更新的参考像素，进而基于参考像素及其对应的初始分类结果，对样本图像的标注进行更新。则基于本说明书中的该基于稀疏标注训练分割模型的方法，即使是在仅对训练样本中的部分像素进行标注的情况下，也可训练得到较为准确的分割模型，保证了模型训练的效率。
基于上述对本说明书中的基于稀疏标注训练分割模型的方法的简要说明，可见，本说明书中的基于稀疏标注训练分割模型的方法，可首先确定训练样本及其标注。
具体的，该基于稀疏标注训练分割模型的方法用于对图像进行分割，于是，该服务器可获取若干带标注的图像，作为样本图像。
其中，针对每个样本图像，该样本图像的标注为该样本图像中各指定像素分别对应的预设分类。该指定像素为该样本图像中的部分像素。如图2所示。
图2为本说明书提供的样本图像及其标注的示意图。图中，左侧图像为该样本图像以及该样本图像的标注，右侧图像为该样本图像的标注。其中，左侧图像中斜线状区域用于表征目标物A，点状阴影区域用于表征目标物B，空白区域用于表征背景。白色圆形用于表征空白区域中的指定像素，灰色圆形用于保证斜线状阴影区域中的指定像素，黑色圆形用于表征点状阴影区域中的指定像素。于是，该样本图像对应的标注可为图中白色圆形及其对应的分类、灰色圆形及其对应的分类以及黑色圆形对应的分类。
当然，上述图2中的指定像素仅为示例说明，具体该样本图像的标注中指定像素的数量、各指定像素是否连续以及各指定像素所组成的形状等，均可根据需要进行设置，本说明书对此不做限制。
S102：将所述样本图像输入待训练的分割模型中，得到所述分割模型输出的所述样本图像中的各像素分别对应的初始分类结果。
在本说明书提供的一个或多个实施例中，该基于稀疏标注训练分割模型的方法，实质上是基于训练样本，确定该训练样本中除各指定像素外的其他像素对应的预设分类，进而根据其他像素对应的预设分类更新该训练样本的标注，以根据更新后的标注对该分割模型进行训练的方法。于是，在确定出训练样本后，该服务器可根据各训练样本，确定该训练样本中除各指定像素外的其他像素对应的预设分类。
具体的，该服务器可将该样本图像作为输入，输入待训练的分割模型中，得到该分割模型输出的该样本图像中的各像素分别对应的初始分类结果。其中，针对每个像素，该像素的初始分类结果为各预设分类之一。
S104：对所述各像素的初始分类结果进行模糊操作，得到所述各像素分别对应的参考分类结果。
在本说明书提供的一个或多个实施例中，对于一个像素来说，若根据该像素周围其他像素的初始分类结果和该像素自身的初始分类结果，确定该像素自身的参考分类结果。假设该像素自身的初始分类结果和参考分类结果相同，则该参考分类结果为该像素的真实分类结果的可能性较大。基于同一思路，若根据上述参考分类结果为真实分类结果的可能性较大的像素，确定该训练样本的伪标注，则确定出的伪标注的准确度也较高。基于此，该服务器可对各像素的初始分类结果进行模糊操作。
具体的，该服务器可确定步骤S102中确定出的各像素的初始分类结果。
然后，该服务器可针对每个像素，确定位于该像素周围的其他像素。
最后，该服务器根据各其他像素分别对应的初始分类结果，以及该像素的初始分类结果，确定该像素的参考分类结果。其中，根据位于该像素周围的各其他像素分别对应的初始分类结果以及该像素的初始分类结果，确定该像素的参考分类结果的步骤对应的操作，为模糊操作。
S106：根据所述初始分类结果和所述参考分类结果相同的像素，确定参考像素。
S108：根据所述参考像素以及所述参考像素的初始分类结果，将所述样本图像的标注进行更新。
在本说明书提供的一个或多个实施例中，如前所述的，若根据上述参考分类结果为真实分类结果的可能性较大的像素，确定该训练样本的伪标注，则确定出的伪标注的准确度也较高。于是，该服务器可根据各像素分别对应的初始分类结果和参考分类结果，对该样本图像的标注进行更新。
具体的，该服务器可确定该样本图像中各像素分别对应的初始分类结果和参考分类结果。
其次，该服务器可从该样本图像的各像素中，确定初始分类结果和参考分类结果相同的像素，作为参考像素。
最后，该服务器可将各参考像素作为各指定像素，并根据重新确定出的各指定像素分别对应的初始分类结果，对该样本图像的标注进行更新。
S110：根据所述样本图像以及更新后的所述标注，对所述分割模型进行训练。
在本说明书提供的一个或多个实施例中，模型训练通常包含样本确定阶段、样本处理阶段和训练阶段。于是，在确定出训练样本及其标注，以及对训练样本进行处理得到各像素分别对应的初始分类结果和更新后的标注后，该服务器可对该分割模型进行训练。
具体的，该服务器可确定该样本图像中各像素分别对应的初始分类结果，和该更新后的标注之间的差距，并根据该差距确定损失，以损失最小化为优化目标对该分割模型进行训练。
该训练完成的分割模型可进行语义分割、实例分割等。即，用于进行语义分割、实例分割、实例追踪等的服务器可将获取到的图像作为输入，输入该分割模型中，得到该分割模型输出的分割结果，即，该图像中各像素分别对应的预设分类。则用于进行语义分割、实例分割、实例追踪等的服务器可基于该分割模型输出的分割结果来实现上述语义分割、实例分割、实例追踪等目的。
当然，在确定该样本图像中各像素分别对应的初始分类结果和更新后的标注之间的差距时，该服务器可根据更新后的标注对应的每个像素，确定该像素的初始分类结果和该像素对应的标注之间的差距，作为该样本图像中各像素分别对应的初始分类结果和更新后的标注之间的差距。也可根据各参考像素和各指定像素的初始分类结果，确定第一语义分割结果，并根据更新后的标注，确定第二语义分割结果，以第一语义分割结果和第二语义分割结果之间的差距，作为该样本图像中各像素分别对应的初始分类结果和更新后的标注之间的差距。
可选地，该分割模型的损失对应的损失函数的类型可为交叉熵损失函数。以
Figure SMS_1
表征样本图像的标注中的各指定像素组成的像素集、/>
Figure SMS_2
表征该像素集中第/>
Figure SMS_3
个像素所属的预设分类、/>
Figure SMS_4
表征分割模型输出的该像素集度/>
Figure SMS_5
个像素属于各预设分类的概率。则该分割模型的损失可为/>
Figure SMS_6
。
需要说明的是，上述分割模型的损失对应的损失函数类型还可为均方误差损失函数、相对熵损失函数等，该分割模型的损失对应的损失函数的类型可为目前任一损失函数，具体该分割模型训练过程中所使用的损失函数的类型可根据需要进行设置，本说明书对此不做限制。
基于图1所示的基于稀疏标注训练分割模型的方法，在训练样本的标注仅包含样本图像中的部分像素对应的预设分类的情况下，将训练样本输入分割模型中，得到各像素分别对应的初始分类结果，并对各像素的初始分类结果进行模糊操作，得到各像素分别对应的参考分类结果，以初始分类结果和参考分类结果相同的像素确定参考像素，并根据参考像素的初始分类结果对该训练样本的标注进行更新，基于样本图像及其对应的更新后的标注，对该分割模型进行训练。
本方法在仅对训练样本中的部分像素进行标注的情况下，基于各像素的初始分类结果以及对初始分类结果模糊后得到的各像素分别对应的参考分类结果，确定用于对标注进行更新的参考像素，进而基于参考像素及其对应的初始分类结果，对样本图像的标注进行更新。则基于本说明书中的该基于稀疏标注训练分割模型的方法，即使是在仅对训练样本中的部分像素进行标注的情况下，也可训练得到较为准确的分割模型，保证了模型训练的效率。
另外，由于本方法是基于真实的图像作为样本图像，对该分割模型进行训练的。因此，相较于对样本图像进行数据增强，再根据样本图像的标注和数据增强操作，确定增强结果的标注，进而根据样本图像和增强结果训练得到的分割模型来说，本方法训练出的分割模型的鲁棒性更高。而本方法中基于该分割模型输出的各像素分别对应的初始分类结果，以及各像素分别对应的参考分类结果确定该训练样本的伪标注，进而根据伪标注对该分割模型进行训练。相较于根据各像素分别对应的纹理特征等图像特征，确定相互接近的像素以及相互远离的像素，再以相互接近的像素属于相同分类、相互原理的像素属于不同分类为约束项，训练该分割模型。由于确定像素对应的初始分类结果的特征和纹理特征之间的差距较大，导致训练效果较差。本方法基于各像素的初始分类结果确定伪标注，这就导致基于本方法训练出的分割模型的准确性较高。
进一步的，在本说明书中，该分割模型的输出可为该样本图像中各像素分别属于各预设分类的概率。于是，该服务器在确定各像素分别对应的初始分类结果时，可基于各像素属于各预设分类的概率，确定各像素分别对应的初始分类结果。
具体的，该服务器可将样本图像作为输入，输入待训练的分割模型，得到该分割模型输出的该样本图像中各像素分别属于各预设分类的概率。其中，该预设分类为预先规定的类别。以预设分类包含猫、狗、人、背景四种类别为例，则针对每个像素，该像素的初始分类结果可为上述猫、狗、人、背景四种类别之一。
同样的，该分割模型的输出可为某像素的类别为猫的概率、某像素类别为人的概率、某像素类别为狗的概率、某像素类别为背景的概率。
于是，该服务器可针对每个像素，根据该像素属于各预设分类的概率，从各预设分类中，确定该像素对应的初始分类结果。其中，该服务器可从各预设分类中，选择概率最高的预设分类，作为该像素对应的初始分类结果。该服务器也可根据预设的第一阈值，从概率高于该第一阈值的各预设分类中，随机确定任一分类，作为该像素对应的初始分类结果。具体如何确定各像素对应的初始分类结果可根据需要进行设置，可根据需要进行设置，本说明书对此不做限制。
当然，该服务器还可直接针对每个像素，将该像素属于各预设分类的概率，作为该像素的初始分类结果。也就是说，针对每个像素，该像素的初始分类结果可为该像素属于各预设分类的概率，也可为该像素所属的各预设分类中，概率最高的预设分类。具体该像素的初始分类结果可根据需要进行设置，本说明书对此不做限制。
更进一步的，若初始分类结果为像素属于各预设分类的概率，则该服务器在根据各像素的初始分类结果和参考分类结果确定参考像素时，可针对每个像素，根据该初始分类结果和该参考分类结果，确定初始分类结果中概率最高的预设分类，以及该参考分类结果中概率最高的预设分类。若上述确定出的两个预设分类相同，则可认为该像素为参考像素，若上述确定出的两个预设分类不同，则可认为该像素不为参考像素。
另外，针对每个像素，若该像素属于其对应的初始分类结果的概率较低，则该像素大概率不属于该初始分类结果。因此，在确定参考像素时，该服务器还需考虑各像素属于其对应的初始分类结果的概率。
具体的，该服务器可从该样本图像包含的各像素中，确定初始分类结果和参考分类结果相同的像素，作为待选像素。
然后，该服务器可针对每个待选像素，确定该待选像素属于其对应的初始分类结果的概率。
最后，该服务器可从各待选像素中，确定属于初始分类结果的概率大于预设的概率阈值的待选像素，作为参考像素。
进一步的，该服务器在对各像素对应的初始分类结果进行模糊操作时，还可采用预设的模糊核来执行该模糊操作。
具体的，该服务器中可存储有各预设分类分别对应的像素值。于是，该服务器可从自身存储的各数据中，确定该服务器中存储的各预设分类分别对应的像素值。
然后，该服务器可按照各预设分类分别对应的像素值，对各像素分别对应的初始分类结果进行填充，得到分割图。
之后，该服务器可确定自身预先存储的模糊卷积核，并根据该模糊卷积核，对该分割图进行卷积操作。
最后，该服务器可根据模糊后的分割图中各像素分别对应的像素值，以及各预设分类分别对应的像素值，确定各像素分别对应的参考分类结果。
以S表征分割图、B表征模糊后的分割图为例，若模糊卷积核的尺寸为
Figure SMS_7
，则有
Figure SMS_8
，其中，/>
Figure SMS_9
用于表征样本图像的行，/>
Figure SMS_10
用于表征样本图像的列。
于是，若确定分割图和模糊后的分割图的差值图，则差值图中数值为0的像素可为参考像素。假设D表征差值图，则有
Figure SMS_11
。
其中，该服务器还可从上述差值图中数值为0的各像素中，确定属于初始分类结果的概率大于概率阈值的像素，作为参考像素。以
Figure SMS_14
表征差值图中第/>
Figure SMS_19
行第/>
Figure SMS_21
列的像素对应的像素值、/>
Figure SMS_15
表征分割图中第/>
Figure SMS_18
行第/>
Figure SMS_22
列的像素对应的像素值，/>
Figure SMS_24
表征模糊后的分割图中第/>
Figure SMS_12
行第/>
Figure SMS_16
列的像素对应的像素值、/>
Figure SMS_20
表征样本图像中第/>
Figure SMS_23
行第/>
Figure SMS_13
列的像素属于各预设分类的概率为例，假设预设的概率阈值为/>
Figure SMS_17
，则该样本图像更新后的标注可根据下述公式确定：
Figure SMS_25
其中，
Figure SMS_26
表征该样本图像更新后的标注中第/>
Figure SMS_27
行第/>
Figure SMS_28
列的像素所属的预设分类，“==”用于表征相等，“！=”用于表征不相等，/>
Figure SMS_29
用于表征该样本图像中第/>
Figure SMS_30
行第/>
Figure SMS_31
列的像素的初始分类结果。即该像素所属的各预设分类中，概率最高的分类。
当然，该服务器还可直接对各像素对应的初始分类结果进行模糊操作。
具体的，该服务器可针对每个像素，根据模糊卷积核的尺寸，确定该像素的邻居像素。其中，该邻居像素为位于该像素周围的像素。
然后，该服务器可根据该模糊卷积核，该像素的初始分类结果、各邻居像素的初始分类结果，确定卷积结果，并将卷积结果作为该像素的参考分类结果。如图3所示。
图3为本说明书提供的确定参考分类结果的流程示意图。图中，A为邻居像素和该像素分别对应的初始分类结果，位于A中第二行第二列的像素为该像素。位于A中的其他像素，为该像素的邻居像素，B为模糊卷积核，C为对该像素进行模糊操作后的结果。于是，根据A和B，可得到该像素对应的参考分类结果：10/13的概率为猫、1/13的概率为背景、1/13的概率为人、1/13的概率为狗。于是，该服务器可从该像素的参考分类结果中，确定概率最高的预设分类，作为重新确定出的该像素的参考分类结果。其中，该模糊卷积核的大小以及该模糊卷积核中的各值仅为示例说明，具体该模糊卷积核可根据需要进行设置，本说明书对此不做限制。
更进一步的，在根据参考像素和各参考像素的初始分类结果对样本图像的标注进行更新时，该服务器可从各参考像素中，确定与各指定像素位于不同位置的各参考像素，作为补充像素。
然后，该服务器可将各补充像素作为各指定像素，并根据各补充像素的初始分类结果，对该样本图像的标注进行更新。
另外，针对该样本图像中的每个像素，若某像素与该像素的关联性较高，则其对应的初始分类结果与该像素的初始分类结果相同的概率也较高。而若某像素与该像素的关联性较低，则其对应的初始分类结果与该像素的初始分类结果相同的概率也较低。因此，在确定该样本图像的语义分割结果时，还可根据各像素之间的关联程度确定。
具体的，该服务器可针对样本图像中的每个像素，确定该像素和其他像素之间的相关度，并根据该像素的初始分类结果、该像素和其他像素之间的相关度，以及其他各像素分别对应的初始分类结果，确定该像素的特定分类结果。
于是，该服务器可将各像素分别对应的特定分类结果，作为该样本图像的特定分割结果。
然后，该服务器可根据初始分割结果和该特定分割结果之间的差距，确定第二损失。其中，该初始分割结果为根据各像素分别对应的初始分类结果确定的。也就是说，各像素分别对应的初始分类结果，组成该样本图像的初始分割结果。
最后，该服务器可根据该样本图像的初始分割结果和更新后的标注之间的差距，确定第一损失，并根据该初始分割结果和该特定分割结果之间的差距，确定第二损失，再以该第一损失和该第二损失之和的最小化为优化目标，对该分割模型进行训练。
基于相同思想，本说明书提供一种基于稀疏标注训练分割模型的方法的流程示意图，如图4所示。
图4为本说明书提供的基于稀疏标注训练分割模型的方法的流程示意图。该服务器可将该样本图像作为输入，输入分割模型中，得到该分割模型输出的图像分割概率矩阵。其中，该图像分割概率矩阵为该样本图像中各像素属于各预设分类的概率。
其次，该服务器可根据该图像分割概率矩阵，确定该样本图像的初始分割结果。其中，该样本图像的初始分割结果包含该样本图像中各像素分别对应的初始分类结果。
之后，该服务器可对各像素分别对应的初始分类结果进行模糊，得到各像素分别对应的参考分类结果，即，该样本图像的参考分割结果。并根据各参考分类结果，确定该参考分类结果和初始分类结果相同的参考像素。
然后，该服务器可将参考像素作为指定像素，并根据重新确定出的指定像素以及重新确定出的指定像素的初始分类结果，更新该样本图像的标注。再根据更新后的标注和该图像分割概率矩阵之间的差距，确定第一损失。
同时，该服务器还可通过该分割模型，确定该样本图像的图像特征，并根据该图像特征，确定该图像特征的相关矩阵。其中，针对该样本图像中的每个像素，该相关矩阵中包含该像素和该样本图像中其他像素的相关度。则根据该相关矩阵和该图像分割概率矩阵，该服务器可确定该样本图像的特定分割结果。
于是，该服务器可根据该特定分割结果和该图像分割概率矩阵之间的差距，确定第二损失。
最后，该服务器可根据该第一损失和该第二损失，对该分割模型进行训练。
需要说明的是，上述图4中以该检测模型输出的图像概率分割矩阵和更新后的标注确定第一损失，并以该图像分割概率矩阵和特定分割结果确定第二损失为例进行说明，但本说明书中，该第一损失还可根据初始分割结果和更新后的标注之间的差异确定，该第二损失也可根据初始分割结果和特定分割结果之间的差距确定。具体该第一损失和该第二损失如何确定可根据需要进行设置，本说明书对此不做限制。
基于相同思想，本说明书提供一种基于稀疏标注训练分割模型的方法的场景示意图，如图5所示。
图5为本说明书提供的基于稀疏标注训练分割模型的方法的场景示意图。图中，包含样本图像，样本图像的标注和检测结果。其中，该样本图像的标注为未对标注进行更新前的标注。该检测结果可为该分割模型输出的各像素分别对应的初始分类结果组成的该样本图像的初始分割结果。
于是，该服务器可将该样本图像作为输入，输入分割模型中，得到该分割模型输出的检测结果。其中，不同内容填充的各区域表征预设的不同分类。
进一步的，在确定特定分类结果时，该服务器还可根据各像素之间的相关度，确定相关度矩阵，进而基于矩阵确定各像素分别对应的特定分类结果。
具体的，该服务器可针对每个像素，确定该像素与该样本图像中其他像素之间对应的相关度，作为该像素的第一矩阵。
然后，该服务器可根据各像素分别对应的第一矩阵。确定该样本图像的第二相关矩阵。
最后，该服务器可根据该第二相关矩阵，以及该样本图像中各像素分别对应的初始分类结果所成的矩阵，确定该样本图像的特定分割结果。其中，该特定分割结果包含各像素分别对应的特定分类结果。
更进一步的，该分割模型可包含多个编码层和一个解码层，该编码层用于对样本图像进行特征提取，以及对提取到的样本特征进行处理，该解码层用于对提取到的特征进行解码，确定该样本图像中各像素属于预设分类的概率。
则针对该分割模型中的每个编码层，该编码层可输出包含不同信息的样本特征，于是，针对每个编码层输出的样本特征，该服务器可根据该编码层输出的样本特征，确定该样本图像对应于该编码层的相关矩阵。其中，针对该样本图像中包含的每个像素，该相关矩阵中包含的该像素与该样本图像中其他像素之间的相关度。
以该编码层包含多个卷积层为例，假设该编码块第m个编码块，且该编码层中第
Figure SMS_32
个网络层输出的特征为/>
Figure SMS_33
，则第该编码块的第/>
Figure SMS_34
个网络层输出的样本特征为
Figure SMS_35
。其中，/>
Figure SMS_36
表示二维卷积操作。
则对该
Figure SMS_37
进行特征提取，可得到/>
Figure SMS_38
和/>
Figure SMS_39
。以通过多层感知机对样本特征进行特征提取为例，则/>
Figure SMS_40
、/>
Figure SMS_41
。其中，确定
Figure SMS_42
的多层感知机的参数和确定/>
Figure SMS_43
的多层感知机的参数不同。
于是，通过特征提取得到的
Figure SMS_44
和/>
Figure SMS_45
，该服务器可确定该样本图像对该编码层中的第/>
Figure SMS_46
个网络层的相关矩阵。
则基于该样本图像对该编码层中的各网络层的相关矩阵，可得到该样本图像对应于该编码层的相关矩阵：
Figure SMS_47
，其中，该编码层总共包含/>
Figure SMS_48
-1个网络层。
于是，该服务器可将各编码层分别对应的相关矩阵，作为表征样本图像中各像素之间的相关度的矩阵。
则该服务器在确定特定分割结果时，可针对每个编码层，根据样本图像对应于该编码层的相关矩阵，以及该分割模型输出的各像素分别属于各预设分类的概率所组成的图像分割概率矩阵，确定该样本图像对应于该编码层的特定分割结果。
最后再基于该样本图像对应于该编码层的特定分割结果与该图像分割概率矩阵之间分别对应的差距，确定第二损失。
以
Figure SMS_49
表征该图像分割概率矩阵为例，则/>
Figure SMS_50
。其中，/>
Figure SMS_51
为该样本图像的特定分割结果，P为该样本图像的初始分割结果。
又因为该图像分割概率矩阵的维度和该相关矩阵的维度之间存在差异，因此，该服务器可对该图像分割概率矩阵的维度进行变换，并根据变换结果确定特定分割结果。以
Figure SMS_52
表征该图像分割概率矩阵为例，假设/>
Figure SMS_53
表示利用插值方式的上采样方法，则
Figure SMS_54
。其中，/>
Figure SMS_55
用于表征第m个编码块的差值分割概率矩阵，即，基于第m个编码块对应的相关矩阵的尺寸，对图像分割概率矩阵P进行上采样之后的结果。
则
Figure SMS_58
表征第m个编码块对应的相关矩阵的维度为/>
Figure SMS_59
行、/>
Figure SMS_61
列为例，则该服务器可将该/>
Figure SMS_57
转换为/>
Figure SMS_60
行的矩阵。于是，该服务器可确定/>
Figure SMS_62
，其中，/>
Figure SMS_63
表征将矩阵维度转换为/>
Figure SMS_56
行、C列的操作。C为预设分类的数量。
则基于上述公式，该服务器可确定
Figure SMS_64
。其中，/>
Figure SMS_65
用于表征第m个编码层对应的特定分割结果中各像素分别对应的特定分类结果，/>
Figure SMS_66
用于表征第m个编码层对应的相关矩阵中的第i行，/>
Figure SMS_67
用于表征转换为/>
Figure SMS_68
行、C列后的图像分割概率矩阵中的第j列。
于是，该服务器可根据各编码层分别对应的特定分割结果，以及图像分割概率矩阵，确定第二损失。以该分割模型中包含M个编码层为例，假设图像分割概率矩阵为P，特定分割结果为T，则该第二损失可为
Figure SMS_69
，其中，/>
Figure SMS_70
为超参数。
则基于该第一损失和第二损失之和
Figure SMS_71
，该服务器可对该分割模型进行训练。
基于同样思路，本说明书还提供一种基于稀疏标注训练分割模型的装置，如图6所示。
图6为本说明书提供的基于稀疏标注训练分割模型的装置的结构示意图，其中：
样本确定模块200，用于获取样本图像及其标注，所述标注为所述样本图像中各指定像素对应的预设分类，所述指定像素为所述样本图像中的部分像素。
分类模块202，用于将所述样本图像输入待训练的分割模型中，得到所述分割模型输出的所述样本图像中的各像素分别对应的初始分类结果。
模糊模块204，用于对各像素的初始分割结果进行模糊操作，得到所述各像素分别对应的参考分类结果。
参考确定模块206，用于根据所述初始分类结果和所述参考分类结果相同的像素，确定参考像素。
更新模块208，用于根据所述参考像素以及所述参考像素的初始分类结果，将所述样本图像的标注进行更新。
训练模块210，用于根据所述样本图像以及更新后的所述标注，对所述分割模型进行训练。
可选地，分类模块202，用于得到所述分割模型输出的所述样本图像中各像素分别属于所述各预设分类的概率，针对所述样本图像中的每个像素，根据该像素属于所述各预设分类的概率，从所述各预设分类中，确定该像素对应的初始分类结果。
可选地，模糊模块204，用于确定所述各预设分类分别对应的像素值，按照所述各预设分类分别对应的像素值，对所述各像素分别对应的初始分类结果进行填充，得到分割图；
根据预设的模糊卷积核，对所述分割图进行卷积操作，并根据模糊后的所述分割图，确定所述各像素分别对应的参考分类结果。
可选地，参考确定模块206，用于根据各像素分别对应的初始分类结果和所述参考分类结果，确定所述初始分类结果和所述参考分类结果相同的像素，作为待选像素，从各待选像素中，确定属于初始分类结果的概率大于预设的概率阈值的待选像素，作为参考像素。
可选地，更新模块208，用于将各参考像素作为各指定像素，并根据重新确定出的各指定像素分别对应的初始分类结果，确定所述样本图像的标注。
可选地，更新模块208，用于针对所述样本图像中的每个像素，根据该像素的初始分类结果、该像素和其他各像素之间的相关度，以及所述其他各像素分别对应的初始分类结果，确定该像素的特定分类结果，根据所述各像素分别对应的初始分类结果，确定初始分割结果，并根据所述各像素分别对应的特定分类结果，确定特定分割结果；所述训练模块210，用于根据所述初始分割结果和更新后的所述标注之间的差距，以及所述初始分割结果和所述特定分割结果之间的差距，对所述分割模型进行训练。
可选地，所述分割模型由若干编码层和一个解码层串联而成，针对每个编码层，该编码层用于对输入该编码层的数据进行特征提取，所述解码层用于确定所述样本图像中各像素的初始分类结果，更新模块208，用于针对每个编码层，确定该编码层输出的样本特征，并根据该编码层输出的样本特征，确定所述样本图像对应于该编码层的相关矩阵；其中，针对所述样本图像中的每个像素，所述相关矩阵中包含该像素和所述样本图像中其他像素的相关度，根据所述样本图像对应于该编码层的相关矩阵以及所述各像素分别对应的初始分类结果，确定所述各像素分别对应的特定分类结果。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的基于稀疏标注训练分割模型的方法。
本说明书还提供了图7所示的电子设备的示意结构图。如图7所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的基于稀疏标注训练分割模型的方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程病灶检测设备的处理器以产生一个机器，使得通过计算机或其他可编程病灶检测设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程病灶检测设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程病灶检测设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种基于稀疏标注训练分割模型的方法，其特征在于，所述方法包括：
获取样本图像及其标注，所述标注为所述样本图像中各指定像素对应的预设分类，所述指定像素为所述样本图像中的部分像素；
将所述样本图像输入待训练的分割模型中，得到所述分割模型输出的所述样本图像中的各像素分别对应的初始分类结果；
对所述各像素的初始分类结果进行模糊操作，得到所述各像素分别对应的参考分类结果；
根据所述初始分类结果和所述参考分类结果相同的像素，确定参考像素；
根据所述参考像素以及所述参考像素的初始分类结果，将所述样本图像的标注进行更新；
根据所述样本图像以及更新后的所述标注，对所述分割模型进行训练。
2.如权利要求1所述的方法，其特征在于，得到所述分割模型输出的所述样本图像中的各像素分别对应的初始分类结果，具体包括：
得到所述分割模型输出的所述样本图像中各像素分别属于各预设分类的概率；
针对所述样本图像中的每个像素，根据该像素属于所述各预设分类的概率，从所述各预设分类中，确定该像素对应的初始分类结果。
3.如权利要求1所述的方法，其特征在于，对所述各像素的初始分类结果进行模糊操作，得到所述各像素分别对应的参考分类结果，具体包括：
确定各预设分类分别对应的像素值；
按照所述各预设分类分别对应的像素值，对所述各像素分别对应的初始分类结果进行填充，得到分割图；
根据预设的模糊卷积核，对所述分割图进行卷积操作，并根据模糊后的所述分割图，确定所述各像素分别对应的参考分类结果。
4.如权利要求2所述的方法，其特征在于，根据所述初始分类结果和所述参考分类结果相同的像素，确定参考像素，具体包括：
根据各像素分别对应的初始分类结果和所述参考分类结果，确定所述初始分类结果和所述参考分类结果相同的像素，作为待选像素；
从各待选像素中，确定属于初始分类结果的概率大于预设的概率阈值的待选像素，作为参考像素。
5.如权利要求1所述的方法，其特征在于，根据所述参考像素以及所述参考像素的初始分类结果，将所述样本图像的标注进行更新，具体包括：
将各参考像素作为各指定像素，并根据重新确定出的各指定像素分别对应的初始分类结果，确定所述样本图像的标注。
6.如权利要求1所述的方法，其特征在于，在根据所述样本图像以及更新后的所述标注，对所述分割模型进行训练前，所述方法还包括：
针对所述样本图像中的每个像素，根据该像素的初始分类结果、该像素和其他各像素之间的相关度，以及所述其他各像素分别对应的初始分类结果，确定该像素的特定分类结果；
根据所述各像素分别对应的初始分类结果，确定初始分割结果，并根据所述各像素分别对应的特定分类结果，确定特定分割结果；
根据所述样本图像以及更新后的所述标注，对所述分割模型进行训练，具体包括：
根据所述初始分割结果和更新后的所述标注之间的差距，以及所述初始分割结果和所述特定分割结果之间的差距，对所述分割模型进行训练。
7.如权利要求6所述的方法，其特征在于，所述分割模型由若干编码层和一个解码层串联而成，针对每个编码层，该编码层用于对输入该编码层的数据进行特征提取，所述解码层用于确定所述样本图像中各像素的初始分类结果；
根据该像素的初始分类结果、该像素和其他各像素之间的相关度，以及所述其他各像素分别对应的初始分类结果，确定该像素的特定分类结果，具体包括：
针对每个编码层，确定该编码层输出的样本特征，并根据该编码层输出的样本特征，确定所述样本图像对应于该编码层的相关矩阵；其中，针对所述样本图像中的每个像素，所述相关矩阵中包含该像素和所述样本图像中其他像素的相关度；
根据所述样本图像对应于该编码层的相关矩阵以及所述各像素分别对应的初始分类结果，确定所述各像素分别对应的特定分类结果。
8.一种基于稀疏标注训练分割模型的装置，其特征在于，所述装置包括：
样本确定模块，用于获取样本图像及其标注，所述标注为所述样本图像中各指定像素对应的预设分类，所述指定像素为所述样本图像中的部分像素；
分类模块，用于将所述样本图像输入待训练的分割模型中，得到所述分割模型输出的所述样本图像中的各像素分别对应的初始分类结果；
模糊模块，用于对所述各像素的初始分类结果进行模糊操作，得到所述各像素分别对应的参考分类结果；
参考确定模块，用于根据所述初始分类结果和所述参考分类结果相同的像素，确定参考像素；
更新模块，用于根据所述参考像素以及所述参考像素的初始分类结果，将所述样本图像的标注进行更新；
训练模块，用于根据所述样本图像以及更新后的所述标注，对所述分割模型进行训练。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
CN202310598320.0A 2023-05-25 2023-05-25 一种基于稀疏标注训练分割模型的方法及装置 Active CN116342888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310598320.0A CN116342888B (zh) 2023-05-25 2023-05-25 一种基于稀疏标注训练分割模型的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310598320.0A CN116342888B (zh) 2023-05-25 2023-05-25 一种基于稀疏标注训练分割模型的方法及装置

Publications (2)

Publication Number Publication Date
CN116342888A true CN116342888A (zh) 2023-06-27
CN116342888B CN116342888B (zh) 2023-08-11

Family

ID=86884334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310598320.0A Active CN116342888B (zh) 2023-05-25 2023-05-25 一种基于稀疏标注训练分割模型的方法及装置

Country Status (1)

Country Link
CN (1) CN116342888B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036869A (zh) * 2023-10-08 2023-11-10 之江实验室 一种基于多样性和随机策略的模型训练方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129233A1 (en) * 2010-09-21 2013-05-23 Stephen N. Schiller System and Method for Classifying the Blur State of Digital Image Pixels
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及系统
CN112232349A (zh) * 2020-09-23 2021-01-15 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置
US20210110527A1 (en) * 2019-08-30 2021-04-15 Sas Institute Inc. Techniques for extracting contextually structured data from document images
CN113160233A (zh) * 2021-04-02 2021-07-23 易普森智慧健康科技（深圳）有限公司 利用稀疏标注数据集训练实例分割神经网络模型的方法
CN113888415A (zh) * 2021-09-07 2022-01-04 北京三快在线科技有限公司 一种模型训练以及图像修复方法及装置
CN114626437A (zh) * 2022-02-17 2022-06-14 北京三快在线科技有限公司 一种模型训练方法、装置、存储介质及电子设备
WO2022141418A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像处理方法以及装置
WO2022242131A1 (zh) * 2021-05-21 2022-11-24 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
US20220392047A1 (en) * 2020-03-18 2022-12-08 Sas Institute Inc. Techniques for image content extraction
US20220414886A1 (en) * 2021-06-28 2022-12-29 X Development Llc Semantic image segmentation using contrastive channels
CN115861333A (zh) * 2022-11-25 2023-03-28 深圳大学 基于涂鸦标注的医学图像分割模型训练方法、装置及终端

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129233A1 (en) * 2010-09-21 2013-05-23 Stephen N. Schiller System and Method for Classifying the Blur State of Digital Image Pixels
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
US20210110527A1 (en) * 2019-08-30 2021-04-15 Sas Institute Inc. Techniques for extracting contextually structured data from document images
US20220392047A1 (en) * 2020-03-18 2022-12-08 Sas Institute Inc. Techniques for image content extraction
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及系统
CN112232349A (zh) * 2020-09-23 2021-01-15 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置
WO2022141418A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像处理方法以及装置
CN113160233A (zh) * 2021-04-02 2021-07-23 易普森智慧健康科技（深圳）有限公司 利用稀疏标注数据集训练实例分割神经网络模型的方法
WO2022242131A1 (zh) * 2021-05-21 2022-11-24 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
US20220414886A1 (en) * 2021-06-28 2022-12-29 X Development Llc Semantic image segmentation using contrastive channels
CN113888415A (zh) * 2021-09-07 2022-01-04 北京三快在线科技有限公司 一种模型训练以及图像修复方法及装置
CN114626437A (zh) * 2022-02-17 2022-06-14 北京三快在线科技有限公司 一种模型训练方法、装置、存储介质及电子设备
CN115861333A (zh) * 2022-11-25 2023-03-28 深圳大学 基于涂鸦标注的医学图像分割模型训练方法、装置及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何平;张万发;罗萌;: "基于生成对抗网络的遥感图像居民区分割", 传感器与微系统, no. 02 *
钱世豪;李军;马佶辰;: "基于输电线路悬挂异物航拍图像的图像分割算法研究", 计算机与数字工程, no. 08 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036869A (zh) * 2023-10-08 2023-11-10 之江实验室 一种基于多样性和随机策略的模型训练方法及装置
CN117036869B (zh) * 2023-10-08 2024-01-09 之江实验室 一种基于多样性和随机策略的模型训练方法及装置

Also Published As

Publication number Publication date
CN116342888B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN112784857B (zh) 一种模型训练以及图像处理方法及装置
CN116977525B (zh) 一种图像渲染方法、装置、存储介质及电子设备
CN116342888B (zh) 一种基于稀疏标注训练分割模型的方法及装置
CN109816650B (zh) 一种基于二维dsa图像的目标区域识别方法及其系统
CN116188971A (zh) 一种机器人物体识别方法、装置及存储介质
CN117197781B (zh) 一种交通标志识别的方法、装置、存储介质及电子设备
CN116030247B (zh) 一种医学图像样本生成方法、装置、存储介质及电子设备
CN116805393A (zh) 一种基于3DUnet光谱-空间信息融合的高光谱图像分类方法和系统
CN116524295A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN116757278A (zh) 一种预测模型的训练方法、装置、存储介质及电子设备
CN116342984A (zh) 一种模型训练的方法以及图像处理的方法及装置
CN116091895A (zh) 一种面向多任务知识融合的模型训练方法及装置
CN113569873B (zh) 一种图像的处理方法、装置及设备
CN117011156A (zh) 图像处理方法、装置、设备及存储介质
CN114359935A (zh) 一种模型训练以及表格识别方法及装置
CN114187355A (zh) 一种图像标定方法及装置
CN112561961A (zh) 一种实例追踪的方法及装置
CN111523539A (zh) 一种文字检测方法及装置
CN117726907B (zh) 一种建模模型的训练方法、三维人体建模的方法以及装置
CN116935055B (zh) 一种基于注意力掩码的弱监督语义分割方法及装置
CN116229218B (zh) 一种模型训练、图像配准方法及装置
CN112115952B (zh) 一种基于全卷积神经网络的图像分类方法、设备及介质
CN116363390B (zh) 一种红外弱小目标检测方法、装置、存储介质及电子设备
CN117726760B (zh) 一种用于视频的三维人体重建模型的训练方法及装置
CN111881959B (zh) 一种标识图像差异的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant