CN110930417B - 图像分割模型的训练方法和装置、图像分割方法和装置 - Google Patents

图像分割模型的训练方法和装置、图像分割方法和装置 Download PDF

Info

Publication number
CN110930417B
CN110930417B CN201911173359.8A CN201911173359A CN110930417B CN 110930417 B CN110930417 B CN 110930417B CN 201911173359 A CN201911173359 A CN 201911173359A CN 110930417 B CN110930417 B CN 110930417B
Authority
CN
China
Prior art keywords
image
network
semantic segmentation
loss value
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911173359.8A
Other languages
English (en)
Other versions
CN110930417A (zh
Inventor
曹世磊
王淑欣
陈思宏
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911173359.8A priority Critical patent/CN110930417B/zh
Publication of CN110930417A publication Critical patent/CN110930417A/zh
Application granted granted Critical
Publication of CN110930417B publication Critical patent/CN110930417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像分割模型的训练方法、装置、计算机可读存储介质和计算机设备，所述方法包括：将获取的第一未标注图像输入所述语义分割网络中进行分割，得到第一分割图像；所述第一分割图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同；将所述第一分割图像输入所述判别网络中进行判别，得到所述第一分割图像对应的第一置信度图；所述第一置信度图用于表示所述第一分割图像中各个像素点的类别的可信程度；根据所述第一置信度图对所述第一分割图像中各个像素点进行标注，得到第一标注图像；将所述第一标注图像输入所述语义分割网络中，对所述语义分割网络进行训练。本申请提供的方案可以提高图像分割模型训练的准确性。

Description

图像分割模型的训练方法和装置、图像分割方法和装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像分割的训练方法和装置、图像分割方法和装置。
背景技术
随着计算机技术的发展，出现了图像分割技术。通过图像分割，可以图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，是由图像处理到图像分析的关键步骤。
然而，传统的对图像分割模型的训练方法中，往往也将一些低质量的标注对模型进行训练，存在训练不准确的问题。
发明内容
基于此，有必要针对图像分割模型训练不准确的技术问题，提供一种图像分割模型的训练方法、装置、计算机可读存储介质和计算机设备。
一种图像分割模型的训练方法，所述图像分割模型包括语义分割网络和判别网络，包括：
将获取的第一未标注图像输入所述语义分割网络中进行分割，得到第一分割图像；
将所述第一分割图像输入所述判别网络中进行判别，得到所述第一分割图像对应的第一置信度图；
根据所述第一置信度图对所述第一分割图像中各个像素点进行标注，得到第一标注图像；
将所述第一标注图像输入所述语义分割网络中，对所述语义分割网络进行训练。
一种图像分割方法，包括：
获取待分割图像；
将所述待分割图像输入训练完成的语义分割网络中，得到目标图像；
所述语义分割网络是基于第一标注图像和获取的第一未标注图像进行训练的，所述第一标注图像是根据第一置信度图对所述第一分割图像中各个像素点进行标注得到的，所述第一置信度图是将第一分割图像输入判别网络中进行判别得到的，所述第一分割图像是所述第一未标注图像输入所述语义分割网络中得到的。
一种图像分割模型的训练装置，所述图像分割模型包括语义分割网络和判别网络，所述装置包括：
分割模块，用于将获取的第一未标注图像输入所述语义分割网络中进行分割，得到第一分割图像；
判别模块，用于将所述第一分割图像输入所述判别网络中进行判别，得到所述第一分割图像对应的第一置信度图；
标注模块，用于根据所述第一置信度图对所述第一分割图像中各个像素点进行标注，得到第一标注图像；
训练模块，用于将所述第一标注图像输入所述语义分割网络中，对所述语义分割网络进行训练。
一种图像分割装置，所述装置包括：
待分割图像获取模块，用于获取待分割图像；
分割模块，用于将所述待分割图像输入训练完成的语义分割网络中，得到目标图像；
所述语义分割网络是基于第一标注图像和获取的第一未标注图像进行训练的，所述第一标注图像是根据第一置信度图对所述第一分割图像中各个像素点进行标注得到的，所述第一置信度图是将第一分割图像输入判别网络中进行判别得到的，所述第一分割图像是所述第一未标注图像输入所述语义分割网络中得到的。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述方法的步骤。
上述图像分割模型的训练方法、装置、计算机可读存储介质和计算机设备，图像分割模型包括语义分割网络和判别网络；将获取的第一未标注图像输入语义分割网络中，得到第一分割图像；将第一分割图像输入判别网络中，得到第一分割图像对应的第一置信度图；通过第一置信度图可以获取第一分割图像中各个像素点的类别的可信程度，从而可以根据置信度图对该第一分割图像中的各个像素点进行标注，得到更加准确的第一标注图像；将第一标注图像返回输入语义分割网络中，用于对语义分割网络进行训练，基于更加准确的第一标注图像对语义分割网络进行训练之后，可以更准确地对图像进行分割，即提高了图像分割模型训练的准确性。另外，根据置信度图得到的第一标注图像对语义分割网络进行训练，也减少了对真实标注的图像的需求，可以节约时间和成本。
附图说明
图1为一个实施例中图像分割模型的训练方法的流程示意图；
图2为一个实施例中分割步骤的流程示意图；
图3为一个实施例中位置的特征图的处理过程的示意图；
图4为一个实施例中通道的特征图的处理过程的示意图；
图5为一个实施例中对语义分割网络进行训练步骤的流程示意图；
图6为一个实施例中确定总损失值步骤的流程示意图；
图7为一个实施例中对语义分割网络预训练步骤的流程示意图；
图8为一个实施例中对判别网络预训练步骤的流程示意图；
图9为另一个实施例中图像分割模型的训练方法的流程示意图；
图10为另一个实施例中图像分割的示意图；
图11为一个实施例中图像分割模型的训练装置的结构框图；
图12为一个实施例中图像分割装置的结构框图；
图13为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，图像分割模型的训练方法可以应用于一个计算机设备中。计算机设备可以是终端，也可以是服务器器。其中，终端具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图1所示，在一个实施例中，提供了一种图像分割模型的训练方法，图像分割模型包括语义分割网络和判别网络。参照图1，该图像分割模型的训练方法具体包括如下步骤：
S102，将获取的第一未标注图像输入语义分割网络中进行分割，得到第一分割图像；第一分割图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同。
语义分割网络指的是对图像进行分割，从而得到不同语义的分割图像的网络。例如，将人体扫描图像输入语义分割网络中，可以分割出该人体扫描图像中的各个器官，每个器官对应的分割区域表示一种语义，也即类别，如肝、心脏等；将风景图像输入语义分割网络中，可以分割出该风景图像中的各个景物，每种景物对应的分割区域表示一种语义，也即类别，如树木、动物、人像、云等；将人脸图像输入语义分割网络中，可以分割出该人脸图像中的各个器官，每个器官对应的分割区域表示一种语义，也即类别，如眼睛、鼻子、嘴巴、皮肤等。
可以理解的是，语义分割网络可以用于对图像中的不同类别的区域进行分割，从而得到各个分割区域。通过对图像进行分割，得到不同类别的区域，可以应用于图像的对焦、主体识别、美颜等操作，从而提高对图像处理的准确性。
判别网络指的是判别图像中各个像素点的类别是否为真实标注的网络。真实标注即用户输入的标注，或者与用户输入的标注相同的其他来源的标注。可以理解的是，当一个像素点的标注是通过语义分割网络分割得到的标注，但是该标注与对应的真实标注相同时，则通过语义分割网络得到的标注也为真实标注。
例如，图像中包含了像素点A和像素点B，像素点A的类别为语义分割网络所分割得到的类别，像素点B的类别为真实标注，将该图像输入判别网络中，当判别网络可以判别像素点A非真实标注，像素点B为真实标注，则该判别网络的判别准确率为100％。
相比传统技术中仅可以从图像级别上进行判别，本申请实施例中的判别网络采用完全卷积的网络，可以从像素点级别上进行判别，可以更准确地对图像的标注进行判别。
在图像分割模型中，包括了语义分割网络和判别网络，语义分割网络需要尽可能地分割出与真实标注的图像更接近的分割图像，而判别网络需要尽可能地判别出图像中的像素点是真实标注的像素点，还是语义分割网络分割出的像素点(非真实标注的像素点)，因此，判别网络也称为对抗网络。
第一未标注图像指的是未包含标注的图像。第一分割图像指的是语义分割网络对第一未标注图像进行分割所输出的图像。在第一分割图像中，包含了多个分割区域，每个分割区域表示一个类别，也即一个语义，例如，第一未标注图像为身体扫描图像时，类别可以为肝、心脏、肾等。不同的分割区域的类别可以相同，也可以不同。例如，第一分割图像中包含了两个类别均为肾的分割区域。同一个分割区域中所包括的各个像素点的类别均相同。
S104，将第一分割图像输入判别网络中进行判别，得到第一分割图像对应的第一置信度图；第一置信度图用于表示第一分割图像中各个像素点的类别的可信程度。
第一置信度图包含了各个像素点的置信度，每一个像素点的置信度用于表示第一分割图像中对应位置的像素点的类别的可信程度。置信度越高，表示该像素点的类别的可信程度越高；置信度越低，表示该像素点的类别的可信程度越低。
具体地，计算机设备将第一分割图像输入判别网络中，对第一分割图像的各个像素点的类别进行判别，得到各个像素点的类别的置信度。基于各个像素点的类别的置信度生成第一分割图像对应的第一置信度图。
通过第一分割图像对应的第一置信度图，可以判断语义分割网络对第一分割图像进行分割的可信程度。具体地，计算机设备获取第一置信度图中各个像素点的置信度；基于各个像素点的置信度确定该第一置信度图的总置信度；根据该第一置信度图的总置信度，从语义分割网络的可信程度与总置信度的对应关系中确定语义分割网络的可信程度。
在一个实施例中，可以将各个像素点的置信度相加，得到该第一置信度图的总置信度。在另一个实施例中，可以将各个像素点的置信度进行加权求和，得到该第一置信度图的总置信度。在其他实施例中，还可以求取各个像素点的置信度的平均值作为该第一置信度图的总置信度。具体的计算第一置信度图的总置信度的方法，并不限定。
预先设置语义分割网络的可信程度与总置信度的对应关系。例如，对应关系为y＝0.01x*100％，其中，y为语义分割网络的可信程度，x为总置信度，0.01为该对应关系的参数，当确定第一置信度图的总置信度为89时，则根据该对应关系可以确定语义分割网络的可信程度为89％。
S106，根据第一置信度图对第一分割图像中各个像素点进行标注，得到第一标注图像。
第一标注图像指的是判别网络对第一分割图像中各个像素点进行标注得到的图像。
具体地，计算机设备获取第一分割图像中各个像素点的类别，基于第一置信度图中各个像素点的置信度对各个像素点重新进行标注，得到第一标注图像。例如，第一分割图像为人体扫描图像对应的分割图像，像素点A经过语义分割网络得到的类别为心脏，当像素点A的置信度比较高时，可以仍将心脏作为该像素点A的标注；像素点B经过语义分割网络得到的类别为肝，当像素点B的置信度比较低时，可以将像素点B的类别标注为背景，或者将像素点B的类别标注为待识别类别。
S108，将第一标注图像输入语义分割网络中，对语义分割网络进行训练。
第一标注图像为判别网络根据第一置信度图对第一分割图像进行标注得到的图像，即第一标注图像中所包含的各个像素点的标注为“伪标签”。该“伪标签”虽然不是用户输入的标注，却是经过语义分割网络所分割得到，并且经过判别网络对该标注的可信程度进行判别得到的，即该“伪标签”可以作为较准确的标注对语义分割网络进行训练，可以减少对真实标注的需求，从而节约时间和成本。
具体地，计算机设备将第一分割图像中各个像素点分割得到的类别与第一标注图像标注的类别进行比较，可以确定第一分割图像和第一标注图像的区别；根据该区别可以调整语义分割网络的第一参数，从而使得语义分割网络分割得到的图像与判别网络标注的图像更接近。
上述图像分割模型的训练方法，图像分割模型包括语义分割网络和判别网络；将获取的第一未标注图像输入语义分割网络中，得到第一分割图像；第一分割图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同；将第一分割图像输入判别网络中，得到第一分割图像对应的第一置信度图；通过第一置信度图可以获取第一分割图像中各个像素点的类别的可信程度，从而可以根据置信度图对该第一分割图像中的各个像素点进行标注，得到更加准确的第一标注图像；将第一标注图像返回输入语义分割网络中，用于对语义分割网络进行训练，基于更加准确的第一标注图像对语义分割网络进行训练之后，可以更准确地对图像进行分割，即提高了图像分割模型训练的准确性。另外，根据置信度图得到的第一标注图像对语义分割网络进行训练，也减少了对真实标注的图像的需求，可以节约时间和成本。
在一个实施例中，第一置信度图中包括各个像素点的置信度，每个像素点的置信度用于表示第一分割图像中对应的像素点的可信程度；根据第一置信度图对第一分割图像中各个像素点进行标注，得到第一标注图像，包括：从第一置信度图中获取置信度大于置信度阈值的目标像素点；对第一分割图像中目标像素点对应的像素点进行标注，得到第一标注图像。
目标像素点指的是第一置信度图中置信度大于置信度阈值的像素点。当一个像素点的置信度大于置信度阈值时，表示语义分割网络对该像素点分割得到的类别的可信度高；当一个像素点置信度小于或等于置信度阈值时，表示语义分割网络对该像素点分割得到的类别的可信度低。
因此，计算机设备可以获取置信度大于置信度阈值的像素点作为目标像素点，即该目标像素点所对应的第一分割图像中的像素点所分割得到的类别的可信度高，确定第一分割图像中该目标像素点对应的像素点，对该像素点进行标注，得到第一标注图像。
在一个实施例中，计算机设备可以获取目标像素点对应的第一分割图像中的类别，将该类别对目标像素点进行标注，得到第一标注图像。
可以理解的是，在第一置信度图中还包括除了目标像素点之外的其他像素点，其他像素点的置信度小于或等于置信度阈值，即其他像素点所分割得到的类别的可信度低，可以不进行标注，即将没有标注的像素点作为一个类别，如“空”类别，表示类别为“空”的像素点；也可以对其他像素点进行标注，如“背景”类别，表示背景中的像素点。
在本实施例中，计算机设备从第一置信度图中获取置信度大于置信度阈值的目标像素点，对第一分割图像中目标像素点对应的像素点进行标注，可以排除可信度低的语义分割网络分割得到的类别，对可信度高的语义分割网络分割得到的像素点进行标注，可以得到更加准确的第一标注图像。
在一个实施例中，如图2所示，语义分割网络中包括特征学习网络和双注意网络；将获取的第一未标注图像输入语义分割网络中进行分割，得到第一分割图像，包括：
S202，将获取的第一未标注图像输入特征学习网络中，通过特征学习网络对第一未标注图像进行特征学习，得到初始特征图。
特征学习网络可以对第一未标注图像进行特征学习，得到初始特征图。特征例如颜色、深度信息、灰度值等。第一未标注图像中的每个特征可以得到一个初始特征图。
在特征学习网络中，可以应用神经网络(Neural Networks，简写为NNs)进行特征学习。神经网络(NNs)也称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
在一个实施例中，可以将相邻的至少三张第一未标注图像输入特征学习网络中，通过特征学习网络对相邻的至少三张第一未标注图像进行特征学习，获取相邻的第一未标注图像之间的特征的关系，可以得到更加准确的初始特征图。
S204，将初始特征图输入双注意网络中，通过双注意网络对初始特征图进行处理，得到概率图；概率图中包括每个像素点所属类别的概率。
双注意网络通过模仿生物观察行为的内部过程，即一种将内部经验和外部感觉对齐，从而增加部分区域的观察精细度的网络。例如通过双注意网络确定图像中的重要区域，也就是注意力焦点，然后对该重要区域投入更多的注意力资源，以获得更多所需要关注的目标的细节信息，并抑制其它无用信息。
双注意网络包括至少一对模块，每一对模块包括两个注意模块，位置注意模块和通道注意模块。其中，位置注意模块可以对初始特征图进行处理，得到位置的特征图；通道注意模块可以对初始特征图进行处理，得到通道的特征图；基于位置的特征图和通道的特征图，可以得到第一未标注图像所对应的概率图。在概率图中包括了第一未标注图像每个像素点所述类别的概率。
例如，第一未标注图像为人体扫描图像，通过特征学习网络得到了人体扫描图像对应的初始特征图，再通过双注意网络得到了概率图。在该概率图中，包含了三个类别，分别为肝脏、肺以及背景，则概率图中的每个像素点可以包含该三个类别的概率。例如，像素点A的类别为肝脏的概率为80％、像素点A的类别为肺的概率为15％、像素点A的类别为背景的概率为5％；像素点B的类别为肝脏的概率为20％、像素点A的类别为肺的概率为60％、像素点A的类别为背景的概率为20％。
如图3所示，初始特征图为A，初始特征图的大小为RC×H×W，对初始特征图进行卷积操作生成三个特征图，分别为特征图B、特征图C和特征图D。其中，{B,C,D}∈RC×H×W。将特征图B进行reshape(重塑)以及transpose(转置)，将特征图C进行reshape(重塑)，将特征图D进行reshape(重塑)，调整后的特征图B、特征图C和特征图D的大小均为RC×N，其中，N＝H×W。将调整后的特征图B和特征图C相乘，并采用softmax函数对相乘的结果进行激活，可以得到空间注意图S。
空间注意图S可以通过以下公式计算得到：
其中，sji为空间注意图，代表空间注意图中的位置i对位置j的影响，Bi表示特征图B的位置i的值，Ci表示特征图C的位置i的值。
将空间注意图sji与调整后的特征图D进行相乘，再加上初始特征图A，可以得到位置的特征图E。
其中，Ej表示特征图E的位置j的值，Di表示特征图D的位置i的值，Aj表示特征图A的位置j的值。
如图4所示，初始特征图为A，初始特征图的大小为RC×H×W。将初始特征图A进行reshape(重塑)，得到特征图A1；将初始特征图进行reshape(重塑)以及transpose(转置)，得到特征图A2；将初始特征图进行reshape(重塑)，得到特征图A3，调整后的特征图A1和特征图A2的大小均为RC×N，其中，N＝H×W。将特征图A1和特征图A2进行相乘，并采用softmax函数对相乘的结果进行激活，得到通道注意图X。
空间注意图S可以通过以下公式计算得到：
其中，xji为通道注意图，代表通道注意图中的通道i对通道j的影响，Ai表示特征图A的通道i的值，Ai表示特征图A的通道i的值，C表示通道的数量，即卷积核的数量。
将通道注意图xji与调整后的特征图A3进行相乘，再加上初始特征图A，可以得到通道的特征图E。
其中，Ej表示特征图E的通道j的值，Ai表示特征图A的通道i的值，Aj表示特征图A的通道j的值。
当双注意网络包括一对模块时，则将位置的特征图加上通道的特征图，得到第一未标注图像所对应的概率图。当双注意网络包括至少两对模块时，则将上一对模块得到的位置的特征图和通道的特征图进行相加，并将该相加的结果作为下一对模块的输入，即下一对模块的初始特征图，直到最后一对模块，将最后一对模块得到的位置的特征图加上通道的特征图，得到第一未标注图像所对应的概率图。
在概率图中，可以包括一个或者多个类别，表示为C*长*宽。其中，C表示类别的数量，长表示概率图的长度，宽表示概率图的宽度。
相比传统技术的多尺度融合方法，本实施例采用的双注意网络可以自适应地将图像中的局部特征与全局相关性结合起来，可以更准确确定各个像素点的类别，从而确定更加准确的概率图。
S206，将概率图中各个像素点所属类别的概率与概率阈值进行比较，生成第一分割图像。
可以预先设置概率阈值，设置的概率阈值可以根据用户需要进行设定。一般地，设置的概率阈值在合理的区间内，如(60％-80％)，将概率图中各个像素点大于或等于概率阈值的类别作为该像素点的类别，可以使得各个像素点确定的类别的准确性较高，且可以使得每个像素点的标注仅为一个类别。
例如，概率阈值为60％，像素点A的类别为肝脏的概率为80％、像素点A的类别为肺的概率为15％、像素点A的类别为背景的概率为5％，则像素点A的类别为肝脏；像素点B的类别为肝脏的概率为20％、像素点A的类别为肺的概率为60％、像素点A的类别为背景的概率为20％，则该像素点B的类别为肺。
在本实施例中，将获取的第一未标注图像输入特征学习网络中，通过特征学习网络对第一未标注图像进行特征学习，得到初始特征图；将初始特征图输入双注意网络中，通过双注意网络对初始特征图进行处理，将初始特征图中的局部特征与全局特征进行联系，得到更加准确的概率图；将概率图中各个像素点所属类别的概率与概率阈值进行比较，从而生成更加准确的第一分割图像。
在另一个实施例中，当第一未标注图像为3D图像时，则对应的双注意网络包括至少一对模块，每一对模块包括两个模块，体积空间注意模块和通道注意模块。其中，体积空间注意模块可以对初始特征图在3D体积空间进行处理，得到3D体积空间的特征图；通道注意模块可以对初始特征图进行处理，得到通道的特征图；基于3D体积空间的特征图和通道的特征图，可以得到第一未标注图像所对应的概率图。
在一个实施例中，如图5所示，将第一标注图像输入语义分割网络中，对语义分割网络进行训练，包括：
S502，基于第一标注图像和第一分割图像，确定第一损失值；第一损失值表示第一分割图像与第一标注图像的接近程度。
第一损失值越小，则语义分割网络分割得到的图像与判别网络标注得到的图像更接近。
第一损失值可以通过以下公式计算得到：
其中，U指的是第一未标注图像，θs指的是语义分割网络的第一参数，Lsemi(U,θs)指的是第一损失值，w和h分别表示图像中像素点的宽的编号和高的标号，M是置信度图，γ是置信度阈值，[M>γ]h,w表示置信度大于置信度阈值的目标像素点的类别，即第一标注图像中的目标像素点的类别， 表示第一分割图像中的像素点的类别。
S504，根据第一损失值调整语义分割网络的第一参数，对语义分割网络进行迭代训练，直到图像分割模型的总损失值小于或等于总阈值，或训练次数达到预设次数时，得到训练好的语义分割网络。
具体地，可以预先设置第一损失值与语义分割网络的第一参数的对应关系，根据第一损失值从该对应关系中确定新的第一参数，基于语义分割网络新的第一参数对语义分割网络进行迭代训练，直到训练完成得到训练好的语义分割网络。
在一个实施例中，当训练次数达到预设次数时，得到训练完成的图像分割模型。
在另一个实施例中，当图像分割模型的总损失值大于总阈值时，表示图像分割模型对图像分割以及对图像的类别进行判别的准确程度较低；当图像分割模型的总损失值小于或等于总阈值时，表示图像分割模型对图像分割以及对图像的类别进行判别的准确程度较高，则对图像分割模型的训练完成。
进一步地，当总损失值小于或等于总阈值，且连续得到的总损失值处于收敛状态时，可以认为图像分割模型对图像分割以及对图像的类别进行判别的准确程度较高，且图像分割模型得到的总损失值趋于稳定的状态，则训练完成，得到训练完成的图像分割模型。其中，收敛状态指的是得到的总损失值均趋向于某一个值，即总损失值较稳定。
在本实施例中，基于第一标注图像和第一分割图像确定第一损失值，根据第一损失值调整语义分割网络的第一参数，从而使得语义分割参数分割的图像与判别网络标注的图像更接近，提高图像分割模型的准确性。
在一个实施例中，如图6所示，图像分割模型的总损失值的确定方式，包括：
S602，获取第一未标注图像对应的第一真实标注图像；第一真实标注图像中各个像素点的标注为真实的标注。
第一真实标注图像指的是各个像素点的标注为真实标注的图像。真实标注即用户输入的标注，或者与用户输入的标注相同的其他来源的标注。第一真实标注图像中的各个像素点的真实标注可以通过获取用户输入的标注得到。第一真实标注图像可以是one-hot编码格式，大小可以为C*长*宽，C表示类别。其中，one-hot编码格式指的是一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效的编码格式。
在一个实施例中，可以通过CT扫描仪对人体进行扫描得到人体扫描图像，根据不同的CT值对应于不同的人体器官的部位，可以得到人体扫描图像中各个器官的区域。进一步地，根据相应的医学常识，可以将CT值裁剪至区间[-200,250]，然后对该区间的值归一化至区间[0,1]，根据区间[0,1]中各个数值对应的器官的区域进行标注，得到第一真实标注图像。
具体地，获取输入的各个像素点的真实标注，基于各个像素点的真实标注生成第一未标注图像对应的第一真实标注图像。第一真实标注图像除了包括各个像素点的真实标注之外，还包括第一未标注图像所包括的信息，如颜色、RGB值、灰度值等。
S604，基于第一真实标注图像和第一分割图像确定第一分割图像的第二损失值；第二损失值表示语义分割网络分割第一未标注图像的准确程度。
第二损失值越小，表示语义分割网络分割第一未标注图像的准确程度越高，也就是第一分割图像中各个像素点的类别与第一真实标注图像中的真实标注越接近；第二损失值越大，表示语义分割网络分割第一未标注图像的准确程度越低，也就是第一分割图像各个像素点的类别与第一真实标注图像的真实标注的差别越大。
第二损失值可以根据以下公式计算得到：
其中，LDice(X,P；θs)指的是第二损失值，X表示第一未标注图像，θs是语义分割网络的第一参数，Ph,w是第一真实标注图像中的像素点的类别，指的是第一分割图像中的像素点的类别。
S606，基于第一分割图像、第一真实标注图像和第一置信度图确定第一置信度图的第一对抗损失值；第一对抗损失值表示判别网络判别第一分割图像中各个像素点的类别是否为真实标注的准确程度。
第一对抗损失值越小，表示判别网络判别第一分割图像中各个像素点的类别是否为真实标注的准确程度越高，即第一置信度图越准确；第一对抗损失值越大，表示判别网络判别第一分割图像中各个像素点的类别是否为真实标注的准确程度越低，即第一置信度图越不准确。
第一对抗损失值可以根据以下公式计算得到：
LD(X,P；θd)＝LBCE(D(P,θd),1)+LBCE(D(S(X),θd),0)
其中，X为语义分割网络的输入，P为真实标注，θd是判别网络的第二参数，LD(X,P；θd)是第一对抗损失值，D(P,θd)为第一置信度图中判别真实标注的像素点的置信度，LBCE(D(P,θd),1)为第一置信度图中判别真实标注的像素点的置信度的损失值，S(X)为语义分割网络的输出，即非真实标注，D(S(X),θd)为第一置信度图中判别非真实标注的像素点的置信度，LBCE(D(P,θd),1)为第一置信度图中判别非真实标注的像素点的置信度的损失值；
Q是判别网络的输入，是真实标注。
将的公式分别代入LBCE(D(P,θd),1)和LBCE(D(S(X),θd),0)中，可以得到第一对抗损失值LD(X,P；θd)。
S608，基于第一损失值、第二损失值和第一对抗损失值确定总损失值。
总损失值指的是图像分割模型的损失的大小。总损失值越小，则图像分割模型越准确；总损失值越大，则图像分割模型越不准确。
在一个实施例中，可以将第一损失值、第二损失值和第一对抗损失值相加，得到总损失值。在其他实施例中，还可以分别获取第一损失值、第二损失值和第一对抗损失值的权重，进行加权求和得到总损失值。具体计算总损失值的方法限于此。
在本实施例中，获取第一损失值、第一分割图像的第二损失值和第一置信度图的第一对抗损失值，从而确定图像分割模型的总损失值，可以更准确地确定图像分割模型的损失大小。
在一个实施例中，基于第一损失值、第二损失值和第一对抗损失值确定总损失值，包括：获取第一损失值的第一权重因子、第二损失值的第二权重因子和第一对抗损失值的第三权重因子。基于第一损失值、第二损失值和第一对抗损失值确定总损失值，包括：基于第一损失值以及第一权重因子、第二损失值以及第二权重因子、第一对抗损失值以及第三权重因子确定总损失值。
第一权重因子、第二权重因子和第三权重因子可以根据用户需要进行设定。
总损失值可以根据以下公式计算得到：
L＝α×LDice+λ×LD+β×Lsemi
其中，L是总损失值，LDice是第二损失值，α是第二权重因子，LD是第一对抗损失值，λ是第三权重因子，Lsemi是第一损失值，β是第一权重因子。当第二权重因子为1时，则总损失值为L＝LDice+λ×LD+β×Lsemi。
在本实施例中，分别获取第一损失值、第二损失值和第一对抗损失值对应的权重因子，从而可以得到更加准确的总损失值。
在一个实施例中，如图7所示，在将获取的第一未标注图像输入语义分割网络中进行分割，得到第一分割图像之前，还包括：
S702，获取第二真实标注图像；第二真实标注图像中各个像素点的标注为真实的标注。
第二真实标注图像指的是各个像素点的标注为真实标注的图像。第二真实标注图像可以与第一真实标注图像相同，也可以与第一真实标注图像不同。
S704，将第二真实标注图像输入语义分割网络中，得到第二分割图像；第二分割图像中各个像素点的标注为语义分割网络预测的标注。
第二分割图像为语义分割网络进行语义分割得到的图像，第二分割图像中的各个像素点的标注为语义分割网络预测的标注，也就是语义分割网络分割得到的类别。
具体地，第二真实标注图像包括了未标注的图像以及该未标注的图像的真实标注，通过语义分割网络对未标注的图像进行图像分割，可以得到第二分割图像。
S706，基于第二真实标注图像中各个像素点真实的标注，以及对应的第二分割图像中各个像素点预测的标注，对语义分割网络进行训练，得到初始的语义分割网络。
在未对语义分割网络进行训练之前，语义分割网络不包含对图像进行语义分割的能力或者对图像进行语义分割的准确性较低。因此，获取第二真实标注图像，将第二真实标注图像输入语义分割网络中，对语义分割网络进行预训练，可以预先提高语义分割网络的准确性。
将获取的第一未标注图像输入语义分割网络中进行分割，得到第一分割图像，包括：
S708，将获取的第一未标注图像输入初始的语义分割网络中进行分割，得到第一分割图像。
在本实施例中，对语义分割网络进行预训练，得到初始的语义分割网络，该初始的语义分割网络具备一定的对图像进行语义分割的能力，可以提高对第一未标注图像进行分割的准确性，从而节约了语义分割网络训练的时间，提高了图像分割模型训练的效率。
在一个实施例中，基于第二真实标注图像中各个像素点真实的标注，以及对应的第二分割图像中各个像素点预测的标注，对语义分割网络进行训练，得到初始的语义分割网络，包括：根据第二分割图像和第二真实标注图像，确定第二分割图像的第三损失值；第三损失值表示语义分割网络分割第二真实标注图像的准确程度；根据第三损失值调整语义分割网络的第一参数，对语义分割网络进行迭代训练，直到第三损失值小于或等于第一阈值，或训练次数达到预设次数时，得到初始的语义分割网络。
第二分割图像为语义分割网络进行语义分割得到的图像，将第二分割图像与第二真实标注图像进行比较，可以判断语义分割网络对图像进行语义分割的准确程度，即通过计算第二分割图像的第三损失值，来表示语义分割网络分割第二真实标注图像的准确程度。第三损失值越小，表示第二分割图像与第二真实标注图像越接近，语义分割网络对图像进行语义分割越准确。当第二分割图像中的像素点的类别与第二真实标注图像中对应的真实标注的类别相同时，可以将该第二分割图像中的像素点的类别作为真实类别。
第三损失值可以通过以下公式计算得到：
其中，LDice(X,P；θs)指的是第三损失值，X表示输入的第二真实标注图像的未标注的图像，P表示输入的第二真实标注图像的真实标注的图像，θs是语义分割网络的第一参数，Ph,w是第二真实标注图像，指的是第二分割图像。
当第三损失值小于或等于第一阈值时，可以认为语义分割网络对图像进行语义分割的准确程度高，则训练完成，得到初始的具有一定的语义分割能力的语义分割网络。
进一步地，当第三损失值小于或等于第一阈值，且连续得到的第三损失值处于收敛状态时，可以认为语义分割网络对图像进行语义分割的准确程度高，且语义分割网络得到的第三损失值趋于稳定的状态，则训练完成，得到初始的具有一定的语义分割能力的语义分割网络。其中，收敛状态指的是得到的第三损失值均趋向于某一个值，即第三损失值较稳定。
在本实施例中，通过计算语义分割网络的第三损失值确定语义分割网络分割图像的准确程度，从而对语义分割网络的第一参数进行调整，对语义分割网络进行迭代训练，可以得到具备一定语义分割能力的语义分割网路，提高对第一未标注图像进行分割的准确性，从而节约了语义分割网络训练的时间，提高了图像分割模型训练的效率。
在一个实施例中，如图8所示，在将第一分割图像输入判别网络中进行判别，得到第一分割图像对应的第一置信度图之前，还包括：
S802，将语义分割网络输出的第三分割图像输入判别网络中，得到第三分割图像对应的第二置信度图。
第三分割图像可以与第二分割图像相同，也可以与第二分割图像不同。第二置信度图用于表示第三分割图像中各个像素点的类别的可信程度。
S804，将第三分割图像对应的第三真实标注图像输入判别网络中；第三真实标注图像中各个像素点的标注为真实的标注。
第三真实标注图像指的是各个像素点的标注为真实标注的图像。第三真实标注图像可以与第一真实标注图像或者第二真实标注图像相同，也可以与第一真实标注图像与第二真实标注图像均不同。
S806，基于第三分割图像、第三真实标注图像以及第二置信度图，对判别网络进行训练，得到初始的判别网络。
第二置信度图用于表示第三分割图像中各个像素点的类别的可信程度。第二置信度图中包括了各个像素点的置信度，当一个像素点的置信度越高，表示语义分割网络分割该像素点得到的类别的可信度越高，该像素点的类别越接近真实标注的类别。
可以理解的是，在未对判别网络进行训练之前，判别网络不包含对图像中的标注进行判别的能力或者对图像中的标注进行判别的准确性较低。因此，获取第三分割图像，对第三分割图像中各个像素点的标注进行判别，得到第二置信度图。而将第三分割图像和第三真实标注图像进行对比，可以用于判断第二置信度图的准确程度，即判断该判别网络对第三分割图像中各个像素点的类别的判别的准确程度。
例如，第三分割图像中的像素点A的类别为心脏，像素点A对应的第三真实标注图像中的像素点B的真实标注为心脏，当判别网络对该像素点A的类别所得到的置信度较高(大于置信度阈值)时，并且像素点A的类别也与像素点B的类别相同，则可以认为判别网路对该像素点A的类别判别准确。
又如，第三分割图像中的像素点C的类别为心脏，像素点C对应的第三真实标注图像中的像素点D的真实标注为心脏，当判别网络对该像素点C的类别所得到的置信度较低(小于或等于置信度阈值)时，但是像素点C的类别却与像素点D的类别相同，则可以认为判别网路对该像素点C的类别判别不准确。
因此，基于第三分割图像、第三真实标注图像以及第二置信度图，对判别网络进行预训练，可以预先提高判别网络的准确性。
将第一分割图像输入判别网络中进行判别，得到第一分割图像对应的第一置信度图，包括：
S808，将第一分割图像输入初始的判别网络中进行判别，得到第一分割图像对应的第一置信度图。
在本实施例中，对判别网络进行预训练，得到初始的判别网络，该初始的判别网络具备一定的对图像的标注进行判别的能力，可以提高对第一分割图像中各个像素点的类别进行判别的准确性，从而节约了判别网络训练的时间，提高了图像分割模型训练的效率。
在一个实施例中，基于第三分割图像、第三真实标注图像以及第二置信度图，对判别网络进行训练，得到初始的判别网络，包括：根据第三分割图像、第三真实标注图像以及第二置信度图，确定第二置信度图的第二对抗损失值；第二对抗损失值表示判别网络判别第三分割图像中的各个像素点的类别是否为真实标注的准确程度；根据第二对抗损失值调整判别网络的第二参数，对判别网络进行迭代训练，直到第二对抗损失值小于或等于第二阈值，或训练次数达到预设次数时，得到初始的判别网络。
第二置信度图为判别网络对第三分割图像中各个像素点的类别进行判别是否真实标注的图像，第二置信度图中包括了各个像素点的置信度。将第三分割图像中各个像素点的类别与第三真实标注图像中各个像素点的真实标注进行比较，该比较结果可以判断判别网络对第三分割图像的标注进行判别的准确程度。
通过计算第二置信度图的第二对抗损失值，来表示判别网络判别第三分割图像中的标注是否为真实标注的准确程度。第二对抗损失值越小，表示第二置信度图越准确，判别网络越准确。
第二对抗损失值可以根据以下公式计算得到：
LD(X,P；θd)＝LBCE(D(P,θd),1)+LBCE(D(S(X),θd),0)
其中，X为语义分割网络的输入，P为真实标注，θd是判别网络的第二参数，LD(X,P；θd)是第二对抗损失值，D(P,θd)为第二置信度图中判别真实标注的像素点的置信度，LBCE(D(P,θd),1)为第二置信度图中判别真实标注的像素点的置信度的损失值，S(X)为语义分割网络的输出，即非真实标注，D(S(X),θd)为第二置信度图中判别非真实标注的像素点的置信度，LBCE(D(P,θd),1)为第二置信度图中判别非真实标注的像素点的置信度的损失值；
Q是判别网络的输入，是真实标注。
将的公式分别代入LBCE(D(P,θd),1)和LBCE(D(S(X),θd),0)中，可以得到第二对抗损失值LD(X,P；θd)。
当第二对抗损失值小于或等于第二阈值时，可以认为判别网络对图像中的像素点的类别进行判别的准确程度较高，则训练完成，得到初始的具有一定的判别能力的判别网络。
进一步地，当第二对抗损失值小于或等于第二阈值，且连续得到的第二对抗损失值处于收敛状态时，可以认为判别网络对图像中的像素点的类别判别的准确程度较高，且判别网络得到的第二对抗损失值趋于稳定的状态，则训练完成，得到初始的具有一定的判别能力的判别网络。其中，收敛状态指的是得到的第二对抗损失值均趋向于某一个值，即第二对抗损失值较稳定。
在本实施例中，通过计算判别网络的第二对抗损失值确定判别网络判别图像中像素点的类别的准确程度，从而对判别网络的第二参数进行调整，对判别网络进行迭代训练，可以得到具备一定判别能力的判别网路，提高对第一分割图像中各个像素点的类别进行判别的准确性，从而节约了判别网络训练的时间，提高了图像分割模型训练的效率。
在一个实施例中，如图9所示，902为第一未标注图像，904为训练好的初始的语义分割网络，将第一未标注图像902输入初始的语义分割网络904中进行分割，得到第一分割图像906。908为第一未标注图像902对应的第一真实标注图像908，基于第一真实标注图像908和第一分割图像906确定第一分割图像906的第二损失值。
计算机设备将第一分割图像904输入训练好的初始的判别网络910中，通过判别网络910对第一分割图像904进行判别，得到第一分割图像904对应的第一置信度图；将第一真实标注图像输入判别网路910中，基于第一分割图像906、第一真实标注图像908和第一置信度图912，确定第一置信度图的第一对抗损失值。
计算机设备根据第一置信度图对第一分割图像中各个像素点进行标注得到第一标注图像912。计算机设备将第一标注图像912输入初始的语义分割网络904中，基于第一标注图像和第一分割图像确定第一损失值；根据第一损失值调整初始的语义分割网路904的第一参数，对语义分割网络进行迭代训练，直到图像分割模型的总损失值小于或等于总阈值，或训练次数达到预设次数时，得到训练好的语义分割网络。
在一个实施例中，一种图像分割方法，包括：获取待分割图像；将待分割图像输入训练完成的语义分割网络中，得到目标图像；目标图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同；语义分割网络是基于第一标注图像和获取的第一未标注图像进行训练的，第一标注图像是根据第一置信度图对第一未标注图像中各个像素点进行标注得到的，第一置信度图是将第一分割图像输入判别网络中进行判别得到的，第一分割图像是第一未标注图像输入语义分割网络中得到的；第一置信度图用于表示第一分割图像中各个像素点的类别的可信程度；第一分割图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同。
待分割图像指的是用于图像分割的图像。目标图像指的是语义分割网络对待检测图像进行分割得到的图像。在目标图像中，可以包含多个分割区域，每个分割区域表示一个类别，每个分割区域中的各个像素点的类别相同。
例如，待检测图像为人体扫描图像，将人体扫描图像输入训练完成的语义分割网络中，可以得到包含各个分割区域的目标图像，各个分割区域如肝脏、肾、心脏等。
在本实施例中，应用训练完成的语义分割网络对待检测图像进行分割，可以得到更加准确的目标图像。
在一个实施例中，如图10所示，前端将待检测图像发送至后端。后端可以是终端，也可以是服务器，不限于此。在后端中，包括了训练完成的图像分割模型，图像分割模型包括语义分割网络和判别网络。通过后端中的语义分割网络对待分割图像进行分割，得到目标图像，并将目标图像发送至前端。
例如，用户在前端将肺部CT影像即待分割图像发送至后端，经过后端对肺部CT影像进行分割之后，得到目标图像，在目标图像中包括了发病的区域。
应该理解的是，虽然图1、图2、图5至图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图2、图5至图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图11所示，提供了一种图像分割模型的训练装置1100，图像分割模型包括语义分割网络和判别网络，包括：分割模块1102、判别模块1104、标注模块1106和训练模块1108，其中：
分割模块1102，用于将获取的第一未标注图像输入语义分割网络中进行分割，得到第一分割图像；第一分割图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同。
判别模块1104，用于将第一分割图像输入判别网络中进行判别，得到第一分割图像对应的第一置信度图；第一置信度图用于表示第一分割图像中各个像素点的类别的可信程度。
标注模块1106，用于根据第一置信度图对第一未标注图像中各个像素点进行标注，得到第一标注图像。
训练模块1108，用于将第一标注图像输入语义分割网络中，对语义分割网络进行训练。
上述图像分割模型的训练装置，图像分割模型包括语义分割网络和判别网络；将获取的第一未标注图像输入语义分割网络中，得到第一分割图像；第一分割图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同；将第一分割图像输入判别网络中，得到第一分割图像对应的第一置信度图；通过第一置信度图可以获取第一分割图像中各个像素点的类别的可信程度，从而可以根据置信度图对该第一未标注图像中的各个像素点进行标注，得到更加准确的第一标注图像；将第一标注图像返回输入语义分割网络中，用于对语义分割网络进行训练，基于更加准确的第一标注图像对语义分割网络进行训练之后，可以更准确地对图像进行分割，即提高了图像分割模型训练的准确性。另外，根据置信度图得到的第一标注图像对语义分割网络进行训练，也减少了对真实标注的图像的需求，可以节约时间和成本。
在一个实施例中，第一置信度图中包括各个像素点的置信度，每个像素点的置信度用于表示第一分割图像中对应的像素点的可信程度；上述标注模块1106还用于从第一置信度图中获取置信度大于置信度阈值的目标像素点；对第一分割图像中目标像素点对应的像素点进行标注，得到第一标注图像。
在本实施例中，从第一置信度图中获取置信度大于置信度阈值的目标像素点，对第一分割图像中目标像素点对应的像素点进行标注，可以排除可信度低的语义分割网络分割得到的类别，对可信度高的语义分割网络分割得到的像素点进行标注，可以得到更加准确的第一标注图像。
在一个实施例中，语义分割网络中包括特征学习网络和双注意网络；上述分割模块1102还用于将获取的第一未标注图像输入特征学习网络中，通过特征学习网络对第一未标注图像进行特征学习，得到初始特征图；将初始特征图输入双注意网络中，通过双注意网络对初始特征图进行处理，得到概率图；概率图中包括每个像素点所属类别的概率；将概率图中各个像素点所属类别的概率与概率阈值进行比较，生成第一分割图像。
在本实施例中，将获取的第一未标注图像输入特征学习网络中，通过特征学习网络对第一未标注图像进行特征学习，得到初始特征图；将初始特征图输入双注意网络中，通过双注意网络对初始特征图进行处理，将初始特征图中的局部特征与全局特征进行联系，得到更加准确的概率图；将概率图中各个像素点所属类别的概率与概率阈值进行比较，从而生成更加准确的第一分割图像。
在一个实施例中，上述训练模块1108还用于基于第一标注图像和第一分割图像，确定第一损失值；第一损失值表示第一分割图像与第一标注图像的接近程度；根据第一损失值调整语义分割网络的第一参数，对语义分割网络进行迭代训练，直到图像分割模型的总损失值小于或等于总阈值，或训练次数达到预设次数时，得到训练好的语义分割网络。
在本实施例中，基于第一标注图像和第一分割图像确定第一损失值，根据第一损失值调整语义分割网络的第一参数，从而使得语义分割参数分割的图像与判别网络标注的图像更接近，提高图像分割模型的准确性。
在一个实施例中，上述训练模块1108还用于获取第一未标注图像对应的第一真实标注图像；第一真实标注图像中各个像素点的标注为真实的标注；基于第一真实标注图像和第一分割图像确定第一分割图像的第二损失值；第二损失值表示语义分割网络分割第一未标注图像的准确程度；基于第一分割图像、第一真实标注图像和第一置信度图确定第一置信度图的第一对抗损失值；第一对抗损失值表示判别网络判别第一分割图像中各个像素点的类别是否为真实标注的准确程度；基于第一损失值、第二损失值和第一对抗损失值确定总损失值。
在本实施例中，获取第一损失值、第一分割图像的第二损失值和第一置信度图的第一对抗损失值，从而确定图像分割模型的总损失值，可以更准确地确定图像分割模型的损失大小。
在一个实施例中，上述训练模块1108还用于获取第一损失值的第一权重因子、第二损失值的第二权重因子和第一对抗损失值的第三权重因子。基于第一损失值、第二损失值和第一对抗损失值确定总损失值，包括：基于第一损失值以及第一权重因子、第二损失值以及第二权重因子、第一对抗损失值以及第三权重因子确定总损失值。
在本实施例中，分别获取第一损失值、第二损失值和第一对抗损失值对应的权重因子，从而可以得到更加准确的总损失值。
在一个实施例中，上述图像分割模型的训练装置1100还包括语义分割网络的预训练模块，用于获取第二真实标注图像；第二真实标注图像中各个像素点的标注为真实的标注；将第二真实标注图像输入语义分割网络中，得到第二分割图像；第二分割图像中各个像素点的标注为语义分割网络预测的标注；基于第二真实标注图像中各个像素点真实的标注，以及对应的第二分割图像中各个像素点预测的标注，对语义分割网络进行训练，得到初始的语义分割网络。将获取的第一未标注图像输入语义分割网络中进行分割，得到第一分割图像，包括：将获取的第一未标注图像输入初始的语义分割网络中进行分割，得到第一分割图像。
在本实施例中，对语义分割网络进行预训练，得到初始的语义分割网络，该初始的语义分割网络具备一定的对图像进行语义分割的能力，可以提高对第一未标注图像进行分割的准确性，从而节约了语义分割网络训练的时间，提高了图像分割模型训练的效率。
在一个实施例中，上述语义分割网络的预训练模块还用于根据第二分割图像和第二真实标注图像，确定第二分割图像的第三损失值；第三损失值表示语义分割网络分割第二真实标注图像的准确程度；根据第三损失值调整语义分割网络的第一参数，对语义分割网络进行迭代训练，直到第三损失值小于或等于第一阈值，或训练次数达到预设次数时，得到初始的语义分割网络。
在本实施例中，通过计算语义分割网络的第三损失值确定语义分割网络分割图像的准确程度，从而对语义分割网络的第一参数进行调整，对语义分割网络进行迭代训练，可以得到具备一定语义分割能力的语义分割网路，提高对第一未标注图像进行分割的准确性，从而节约了语义分割网络训练的时间，提高了图像分割模型训练的效率。
在一个实施例中，上述图像分割模型的训练装置1100还包括判别网络的预训练模块，用于将语义分割网络输出的第三分割图像输入判别网络中，得到第三分割图像对应的第二置信度图；将第三分割图像对应的第三真实标注图像输入判别网络中；第三真实标注图像中各个像素点的标注为真实的标注；基于第三分割图像、第三真实标注图像以及第二置信度图，对判别网络进行训练，得到初始的判别网络。将第一分割图像输入判别网络中进行判别，得到第一分割图像对应的第一置信度图，包括：将第一分割图像输入初始的判别网络中进行判别，得到第一分割图像对应的第一置信度图。
在本实施例中，对判别网络进行预训练，得到初始的判别网络，该初始的判别网络具备一定的对图像的标注进行判别的能力，可以提高对第一分割图像中各个像素点的类别进行判别的准确性，从而节约了判别网络训练的时间，提高了图像分割模型训练的效率。
在一个实施例中，上述判别网络的预训练模块还用于根据第三分割图像、第三真实标注图像以及第二置信度图，确定第二置信度图的第二对抗损失值；第二对抗损失值表示判别网络判别第三分割图像中的各个像素点的类别是否为真实标注的准确程度；根据第二对抗损失值调整判别网络的第二参数，对判别网络进行迭代训练，直到第二对抗损失值小于或等于第二阈值，或训练次数达到预设次数时，得到初始的判别网络。
在本实施例中，通过计算判别网络的第二对抗损失值确定判别网络判别图像中像素点的类别的准确程度，从而对判别网络的第二参数进行调整，对判别网络进行迭代训练，可以得到具备一定判别能力的判别网路，提高对第一分割图像中各个像素点的类别进行判别的准确性，从而节约了判别网络训练的时间，提高了图像分割模型训练的效率。
在一个实施例中，如图12所示，提供了一种图像分割装置1200，包括：待分割图像获取模块1202和分割模块1204，其中：
待分割图像获取模块1202，用于获取待分割图像。
分割模块1204，用于将待分割图像输入训练完成的语义分割网络中，得到目标图像；目标图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同；语义分割网络是基于第一标注图像和获取的第一未标注图像进行训练的，第一标注图像是根据第一置信度图对第一未标注图像中各个像素点进行标注得到的，第一置信度图是将第一分割图像输入判别网络中进行判别得到的，第一分割图像是第一未标注图像输入语义分割网络中得到的；第一置信度图用于表示第一分割图像中各个像素点的类别的可信程度；第一分割图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同。
上述图像分割装置，应用训练完成的语义分割网络对待检测图像进行分割，可以得到更加准确的目标图像。
图13示出了一个实施例中计算机设备的内部结构图。如图13所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像分割模型的训练方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像分割模型的训练方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的11装置可以实现为一种计算机程序的形式，计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像分割模型的训练装置1100的各个程序模块，比如，图11所示的分割模块1102、判别模块1104、标注模块1106和训练模块1108。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像分割模型的训练方法中的步骤。
例如，图13所示的计算机设备可以通过如图11所示的图像分割模型的训练装置中的分割模块1102执行将获取的第一未标注图像输入语义分割网络中进行分割，得到第一分割图像；第一分割图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同。计算机设备可通过判别模块1104执行将第一分割图像输入判别网络中进行判别，得到第一分割图像对应的第一置信度图；第一置信度图用于表示第一分割图像中各个像素点的类别的可信程度。计算机设备可通过标注模块1106执行根据第一置信度图对第一未标注图像中各个像素点进行标注，得到第一标注图像。计算机设备可通过训练模块1108执行将第一标注图像输入语义分割网络中，对语义分割网络进行训练。
在一个实施例中，本申请提供的12装置可以实现为一种计算机程序的形式，计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像分割装置1200的各个程序模块，比如，图12所示的待分割图像获取模块1202和分割模块1204。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像分割方法中的步骤。
例如，图13所示的计算机设备可以通过如图12所示的图像分割装置中的待分割图像获取模块1202执行获取待分割图像。计算机设备可通过分割模块1204执行将待分割图像输入训练完成的语义分割网络中，得到目标图像；目标图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同；语义分割网络是基于第一标注图像和获取的第一未标注图像进行训练的，第一标注图像是根据第一置信度图对第一未标注图像中各个像素点进行标注得到的，第一置信度图是将第一分割图像输入判别网络中进行判别得到的，第一分割图像是第一未标注图像输入语义分割网络中得到的；第一置信度图用于表示第一分割图像中各个像素点的类别的可信程度；第一分割图像中的每个分割区域表示一个类别，一个分割区域中的各个像素点的类别相同。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像分割模型的训练方法的步骤。此处图像分割模型的训练方法的步骤可以是上述各个实施例的图像分割模型的训练方法中的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像分割方法的步骤。此处图像分割方法的步骤可以是上述各个实施例的图像分割方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像分割模型的训练方法的步骤。此处图像分割模型的训练方法的步骤可以是上述各个实施例的图像分割模型的训练方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像分割方法的步骤。此处图像分割方法的步骤可以是上述各个实施例的图像分割方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (22)

1.一种图像分割模型的训练方法，所述图像分割模型包括语义分割网络和判别网络，所述语义分割网络中包括特征学习网络和双注意网络；所述方法包括：
将获取的第一未标注图像输入所述特征学习网络中，通过所述特征学习网络对所述第一未标注图像进行特征学习，得到初始特征图；
将所述初始特征图输入所述双注意网络中，通过所述双注意网络对所述初始特征图进行处理，得到概率图；
将所述概率图中各个像素点所属类别的概率与概率阈值进行比较，生成第一分割图像；
将所述第一分割图像输入所述判别网络中进行判别，得到所述第一分割图像对应的第一置信度图；
根据所述第一置信度图对所述第一分割图像中各个像素点进行标注，得到第一标注图像；
将所述第一标注图像输入所述语义分割网络中，对所述语义分割网络进行训练。
2.根据权利要求1所述的方法，其特征在于，所述第一置信度图中包括各个像素点的置信度；所述根据所述第一置信度图对所述第一分割图像中各个像素点进行标注，得到第一标注图像，包括：
从所述第一置信度图中获取所述置信度大于置信度阈值的目标像素点；
对所述第一分割图像中所述目标像素点对应的像素点进行标注，得到第一标注图像。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一标注图像输入所述语义分割网络中，对所述语义分割网络进行训练，包括：
基于所述第一标注图像和所述第一分割图像，确定第一损失值；
根据所述第一损失值调整所述语义分割网络的第一参数，对所述语义分割网络进行迭代训练，直到所述图像分割模型的总损失值小于或等于总阈值，或训练次数达到预设次数时，得到训练好的语义分割网络。
4.根据权利要求3所述的方法，其特征在于，所述图像分割模型的总损失值的确定方式，包括：
获取所述第一未标注图像对应的第一真实标注图像；
基于所述第一真实标注图像和所述第一分割图像确定所述第一分割图像的第二损失值；
基于所述第一分割图像、所述第一真实标注图像和所述第一置信度图确定所述第一置信度图的第一对抗损失值；
基于所述第一损失值、所述第二损失值和所述第一对抗损失值确定总损失值。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述第一损失值的第一权重因子、所述第二损失值的第二权重因子和所述第一对抗损失值的第三权重因子；
所述基于所述第一损失值、所述第二损失值和所述第一对抗损失值确定总损失值，包括：
基于所述第一损失值以及第一权重因子、所述第二损失值以及第二权重因子、所述第一对抗损失值以及第三权重因子进行加权求和得到总损失值。
6.根据权利要求1所述的方法，其特征在于，在所述将获取的第一未标注图像输入所述特征学习网络中之前，还包括：
获取第二真实标注图像；所述第二真实标注图像中各个像素点的标注为真实的标注；
将所述第二真实标注图像输入所述语义分割网络中，得到第二分割图像；所述第二分割图像中各个像素点的标注为所述语义分割网络预测的标注；
基于所述第二真实标注图像中各个像素点真实的标注，以及对应的所述第二分割图像中各个像素点预测的标注，对所述语义分割网络进行训练，得到初始的语义分割网络；
所述将获取的第一未标注图像输入所述特征学习网络中，包括：
将获取的第一未标注图像输入所述初始的语义分割网络中的特征学习网络中。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第二真实标注图像中各个像素点真实的标注，以及对应的所述第二分割图像中各个像素点预测的标注，对所述语义分割网络进行训练，得到初始的语义分割网络，包括：
根据所述第二分割图像和第二真实标注图像，确定所述第二分割图像的第三损失值；
根据所述第三损失值调整所述语义分割网络的第一参数，对所述语义分割网络进行迭代训练，直到所述第三损失值小于或等于第一阈值，或训练次数达到预设次数时，得到初始的语义分割网络。
8.根据权利要求1所述的方法，其特征在于，在所述将所述第一分割图像输入所述判别网络中进行判别，得到所述第一分割图像对应的第一置信度图之前，还包括：
将所述语义分割网络输出的第三分割图像输入所述判别网络中，得到所述第三分割图像对应的第二置信度图；
将所述第三分割图像对应的第三真实标注图像输入所述判别网络中；
基于所述第三分割图像、所述第三真实标注图像以及所述第二置信度图，对所述判别网络进行训练，得到初始的判别网络；
所述将所述第一分割图像输入所述判别网络中进行判别，得到所述第一分割图像对应的第一置信度图，包括：
将所述第一分割图像输入所述初始的判别网络中进行判别，得到所述第一分割图像对应的第一置信度图。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第三分割图像、所述第三真实标注图像以及所述第二置信度图，对所述判别网络进行训练，得到初始的判别网络，包括：
根据所述第三分割图像、所述第三真实标注图像以及所述第二置信度图，确定所述第二置信度图的第二对抗损失值；
根据所述第二对抗损失值调整所述判别网络的第二参数，对所述判别网络进行迭代训练，直到所述第二对抗损失值小于或等于第二阈值，或训练次数达到预设次数时，得到初始的判别网络。
10.一种图像分割方法，包括：
获取待分割图像；
将所述待分割图像输入训练完成的语义分割网络中，得到目标图像；所述语义分割网络中包括特征学习网络和双注意网络；
所述语义分割网络是基于第一标注图像和获取的第一未标注图像进行训练的，所述第一标注图像是根据第一置信度图对第一分割图像中各个像素点进行标注得到的，所述第一置信度图是将第一分割图像输入判别网络中进行判别得到的，所述第一分割图像是将概率图中各个像素点所属类别的概率与概率阈值进行比较生成的，所述概率图是将初始特征图输入所述双注意网络中，并通过所述双注意网络对所述初始特征图进行处理得到的，所述初始特征图是将所述第一未标注图像输入所述特征学习网络中，并通过所述特征学习网络对第一未标注图像进行特征学习得到的。
11.一种图像分割模型的训练装置，其特征在于，所述图像分割模型包括语义分割网络和判别网络，所述语义分割网络中包括特征学习网络和双注意网络；所述装置包括：
分割模块，用于将获取的第一未标注图像输入所述特征学习网络中，通过所述特征学习网络对所述第一未标注图像进行特征学习，得到初始特征图；将所述初始特征图输入所述双注意网络中，通过所述双注意网络对所述初始特征图进行处理，得到概率图；将所述概率图中各个像素点所属类别的概率与概率阈值进行比较，生成第一分割图像；
判别模块，用于将所述第一分割图像输入所述判别网络中进行判别，得到所述第一分割图像对应的第一置信度图；
标注模块，用于根据所述第一置信度图对所述第一分割图像中各个像素点进行标注，得到第一标注图像；
训练模块，用于将所述第一标注图像输入所述语义分割网络中，对所述语义分割网络进行训练。
12.根据权利要求11所述的装置，其特征在于，所述第一置信度图中包括各个像素点的置信度；所述标注模块还用于从所述第一置信度图中获取所述置信度大于置信度阈值的目标像素点；对所述第一分割图像中所述目标像素点对应的像素点进行标注，得到第一标注图像。
13.根据权利要求11所述的装置，其特征在于，所述训练模块还用于基于所述第一标注图像和所述第一分割图像，确定第一损失值；根据所述第一损失值调整所述语义分割网络的第一参数，对所述语义分割网络进行迭代训练，直到所述图像分割模型的总损失值小于或等于总阈值，或训练次数达到预设次数时，得到训练好的语义分割网络。
14.根据权利要求13所述的装置，其特征在于，所述训练模块还用于获取所述第一未标注图像对应的第一真实标注图像；基于所述第一真实标注图像和所述第一分割图像确定所述第一分割图像的第二损失值；基于所述第一分割图像、所述第一真实标注图像和所述第一置信度图确定所述第一置信度图的第一对抗损失值；基于所述第一损失值、所述第二损失值和所述第一对抗损失值确定总损失值。
15.根据权利要求14所述的装置，其特征在于，所述训练模块还用于获取所述第一损失值的第一权重因子、所述第二损失值的第二权重因子和所述第一对抗损失值的第三权重因子；基于所述第一损失值以及第一权重因子、所述第二损失值以及第二权重因子、所述第一对抗损失值以及第三权重因子进行加权求和得到总损失值。
16.根据权利要求11所述的装置，其特征在于，所述装置还包括语义分割网络的预训练模块；所述语义分割网络的预训练模块用于获取第二真实标注图像；所述第二真实标注图像中各个像素点的标注为真实的标注；将所述第二真实标注图像输入所述语义分割网络中，得到第二分割图像；所述第二分割图像中各个像素点的标注为所述语义分割网络预测的标注；基于所述第二真实标注图像中各个像素点真实的标注，以及对应的所述第二分割图像中各个像素点预测的标注，对所述语义分割网络进行训练，得到初始的语义分割网络；所述分割模块还用于将获取的第一未标注图像输入所述初始的语义分割网络中的特征学习网络中。
17.根据权利要求16所述的装置，其特征在于，所述语义分割网络的预训练模块还用于根据所述第二分割图像和第二真实标注图像，确定所述第二分割图像的第三损失值；根据所述第三损失值调整所述语义分割网络的第一参数，对所述语义分割网络进行迭代训练，直到所述第三损失值小于或等于第一阈值，或训练次数达到预设次数时，得到初始的语义分割网络。
18.根据权利要求11所述的装置，其特征在于，所述装置还包括判别网络的预训练模块；所述判别网络的预训练模块用于将所述语义分割网络输出的第三分割图像输入所述判别网络中，得到所述第三分割图像对应的第二置信度图；将所述第三分割图像对应的第三真实标注图像输入所述判别网络中；基于所述第三分割图像、所述第三真实标注图像以及所述第二置信度图，对所述判别网络进行训练，得到初始的判别网络；所述判别模块还用于将所述第一分割图像输入所述初始的判别网络中进行判别，得到所述第一分割图像对应的第一置信度图。
19.根据权利要求18所述的装置，其特征在于，所述判别网络的预训练模块还用于根据所述第三分割图像、所述第三真实标注图像以及所述第二置信度图，确定所述第二置信度图的第二对抗损失值；根据所述第二对抗损失值调整所述判别网络的第二参数，对所述判别网络进行迭代训练，直到所述第二对抗损失值小于或等于第二阈值，或训练次数达到预设次数时，得到初始的判别网络。
20.一种图像分割装置，其特征在于，所述装置包括：
待分割图像获取模块，用于获取待分割图像；
分割模块，用于将所述待分割图像输入训练完成的语义分割网络中，得到目标图像；所述语义分割网络中包括特征学习网络和双注意网络；
所述语义分割网络是基于第一标注图像和获取的第一未标注图像进行训练的，所述第一标注图像是根据第一置信度图对第一分割图像中各个像素点进行标注得到的，所述第一置信度图是将第一分割图像输入判别网络中进行判别得到的，所述第一分割图像是将概率图中各个像素点所属类别的概率与概率阈值进行比较生成的，所述概率图是将初始特征图输入所述双注意网络中，并通过所述双注意网络对所述初始特征图进行处理得到的，所述初始特征图是将所述第一未标注图像输入所述特征学习网络中，并通过所述特征学习网络对第一未标注图像进行特征学习得到的。
21.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
22.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
CN201911173359.8A 2019-11-26 2019-11-26 图像分割模型的训练方法和装置、图像分割方法和装置 Active CN110930417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911173359.8A CN110930417B (zh) 2019-11-26 2019-11-26 图像分割模型的训练方法和装置、图像分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911173359.8A CN110930417B (zh) 2019-11-26 2019-11-26 图像分割模型的训练方法和装置、图像分割方法和装置

Publications (2)

Publication Number Publication Date
CN110930417A CN110930417A (zh) 2020-03-27
CN110930417B true CN110930417B (zh) 2023-08-08

Family

ID=69851950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173359.8A Active CN110930417B (zh) 2019-11-26 2019-11-26 图像分割模型的训练方法和装置、图像分割方法和装置

Country Status (1)

Country Link
CN (1) CN110930417B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489345B (zh) * 2020-04-13 2023-08-15 中国科学院高能物理研究所 区域分割模型的训练方法、装置、设备及存储介质
CN111652887B (zh) * 2020-05-13 2023-04-07 腾讯科技（深圳）有限公司 图像分割模型训练方法、装置、计算机设备及存储介质
CN111598174B (zh) * 2020-05-19 2020-12-29 中国科学院空天信息创新研究院 基于半监督对抗学习的模型训练方法及图像变化分析方法
CN111724371B (zh) * 2020-06-19 2023-05-23 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN113836979A (zh) * 2020-06-24 2021-12-24 顺丰科技有限公司 动作识别方法、装置、计算机设备和存储介质
CN112132149B (zh) * 2020-09-10 2023-09-05 武汉汉达瑞科技有限公司 一种遥感影像语义分割方法及装置
CN112561868B (zh) * 2020-12-09 2021-12-07 深圳大学 一种基于多视角级联深度学习网络的脑血管分割方法
WO2022142419A1 (zh) * 2020-12-31 2022-07-07 上海商汤智能科技有限公司 视频处理方法、装置、电子设备及存储介质
CN112950553A (zh) * 2021-02-05 2021-06-11 慧影医疗科技（北京）有限公司 一种多尺度肺叶分割方法、系统、存储介质及电子设备
CN112950637B (zh) * 2021-05-12 2021-08-20 北京世纪好未来教育科技有限公司 人体部位分割网络训练方法、人体部位分割方法及装置
CN114005165A (zh) * 2021-11-16 2022-02-01 厦门美图宜肤科技有限公司 模型训练方法、图像处理方法、装置、设备和存储介质
CN114119976B (zh) * 2021-11-30 2024-05-14 广州文远知行科技有限公司 语义分割模型训练、语义分割的方法、装置及相关设备
CN114565513A (zh) * 2022-03-15 2022-05-31 北京百度网讯科技有限公司 对抗图像的生成方法、装置、电子设备和存储介质
CN114596440B (zh) * 2022-03-22 2023-08-04 小米汽车科技有限公司 语义分割模型的生成方法、装置、电子设备及存储介质
CN114419321B (zh) * 2022-03-30 2022-07-08 珠海市人民医院 一种基于人工智能的ct图像心脏分割方法及系统
CN115049836B (zh) * 2022-08-16 2022-10-25 平安科技（深圳）有限公司 图像分割方法、装置、设备及存储介质
CN115880249B (zh) * 2022-12-13 2024-06-18 腾讯科技（深圳）有限公司 基于图像的对象分割方法、装置、设备和介质
TWI826316B (zh) * 2023-05-11 2023-12-11 宏碁股份有限公司 影像分割模型訓練方法及電子裝置
CN117079058B (zh) * 2023-10-11 2024-01-09 腾讯科技（深圳）有限公司 图像处理方法和装置、存储介质及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104969260A (zh) * 2012-09-27 2015-10-07 西门子制品生命周期管理软件股份有限公司 用于3d计算机断层扫描的多个骨骼分割
CN108629180A (zh) * 2018-03-29 2018-10-09 腾讯科技（深圳）有限公司 异常操作的确定方法和装置、存储介质、电子装置
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109685762A (zh) * 2018-11-09 2019-04-26 五邑大学 一种基于多尺度深度语义分割网络的天线下倾角测量方法
CN109740537A (zh) * 2019-01-03 2019-05-10 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及系统
CN109740553A (zh) * 2019-01-09 2019-05-10 贵州宽凳智云科技有限公司 一种基于识别的图像语义分割数据筛选方法及系统
CN109784424A (zh) * 2019-03-26 2019-05-21 腾讯科技（深圳）有限公司 一种图像分类模型训练的方法、图像处理的方法及装置
CN109886238A (zh) * 2019-03-01 2019-06-14 湖北无垠智探科技发展有限公司 基于语义分割的无人机航拍图像变化检测算法
CN110020653A (zh) * 2019-03-06 2019-07-16 平安科技（深圳）有限公司 图像语义分割方法、装置及计算机可读存储介质
CN110443818A (zh) * 2019-07-02 2019-11-12 中国科学院计算技术研究所 一种基于涂鸦的弱监督语义分割方法与系统
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886533B2 (en) * 2011-10-25 2014-11-11 At&T Intellectual Property I, L.P. System and method for combining frame and segment level processing, via temporal pooling, for phonetic classification

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104969260A (zh) * 2012-09-27 2015-10-07 西门子制品生命周期管理软件股份有限公司 用于3d计算机断层扫描的多个骨骼分割
CN108629180A (zh) * 2018-03-29 2018-10-09 腾讯科技（深圳）有限公司 异常操作的确定方法和装置、存储介质、电子装置
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109685762A (zh) * 2018-11-09 2019-04-26 五邑大学 一种基于多尺度深度语义分割网络的天线下倾角测量方法
CN109740537A (zh) * 2019-01-03 2019-05-10 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及系统
CN109740553A (zh) * 2019-01-09 2019-05-10 贵州宽凳智云科技有限公司 一种基于识别的图像语义分割数据筛选方法及系统
CN109886238A (zh) * 2019-03-01 2019-06-14 湖北无垠智探科技发展有限公司 基于语义分割的无人机航拍图像变化检测算法
CN110020653A (zh) * 2019-03-06 2019-07-16 平安科技（深圳）有限公司 图像语义分割方法、装置及计算机可读存储介质
CN109784424A (zh) * 2019-03-26 2019-05-21 腾讯科技（深圳）有限公司 一种图像分类模型训练的方法、图像处理的方法及装置
CN110443818A (zh) * 2019-07-02 2019-11-12 中国科学院计算技术研究所 一种基于涂鸦的弱监督语义分割方法与系统
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的图像语义分割算法研究;谢晓蔚;《中国优秀硕士学位论文全文数据库信息科技辑》(第08期);I138-1214 *

Also Published As

Publication number Publication date
CN110930417A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110930417B (zh) 图像分割模型的训练方法和装置、图像分割方法和装置
US11842487B2 (en) Detection model training method and apparatus, computer device and storage medium
CN112163634B (zh) 实例分割模型样本筛选方法、装置、计算机设备及介质
US10410353B2 (en) Multi-label semantic boundary detection system
CN110837836B (zh) 基于最大化置信度的半监督语义分割方法
US20240160937A1 (en) Training image-to-image translation neural networks
US20220230324A1 (en) Camouflaged object segmentation method with distraction mining
US10210418B2 (en) Object detection system and object detection method
CN111221981B (zh) 知识图谱嵌入模型的训练方法、装置和计算机存储介质
CN110674804A (zh) 文本图像的检测方法、装置、计算机设备和存储介质
CN111079841A (zh) 目标识别的训练方法、装置、计算机设备和存储介质
CN107886082B (zh) 图像中数学公式检测方法、装置、计算机设备及存储介质
CN109285105A (zh) 水印检测方法、装置、计算机设备和存储介质
CN112241952B (zh) 大脑中线识别方法、装置、计算机设备及存储介质
US10373022B1 (en) Text image processing using stroke-aware max-min pooling for OCR system employing artificial neural network
CN113469092B (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN111161274A (zh) 腹部图像分割方法、计算机设备
CN110807409A (zh) 人群密度检测模型训练方法和人群密度检测方法
CN118115507B (zh) 基于跨域类别感知图卷积对齐的图像分割方法
CN114596471A (zh) 基于浅层特征背景抑制的弱监督目标定位方法及装置
Xiao et al. Self-explanatory deep salient object detection
US20230052145A1 (en) Explaining a model output of a trained model
Chou et al. Finding the achilles heel: Progressive identification network for camouflaged object detection
CN117746018A (zh) 面向平面扫描图像的用户定制化意图理解方法及系统
Lu et al. Learning to complete partial observations from unpaired prior knowledge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022290

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant