CN111402278A - 分割模型训练方法、图像标注方法及相关装置 - Google Patents

分割模型训练方法、图像标注方法及相关装置 Download PDF

Info

Publication number
CN111402278A
CN111402278A CN202010110477.0A CN202010110477A CN111402278A CN 111402278 A CN111402278 A CN 111402278A CN 202010110477 A CN202010110477 A CN 202010110477A CN 111402278 A CN111402278 A CN 111402278A
Authority
CN
China
Prior art keywords
sample set
image
segmentation model
label
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010110477.0A
Other languages
English (en)
Other versions
CN111402278B (zh
Inventor
何建忠
霍馨月
谢凌曦
杨子杰
田奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010110477.0A priority Critical patent/CN111402278B/zh
Publication of CN111402278A publication Critical patent/CN111402278A/zh
Application granted granted Critical
Publication of CN111402278B publication Critical patent/CN111402278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了人工智能领域的一种分割模型训练方法，包括：获取第一样本集S和第二样本集R，其中，第一样本集S包括多张第一图像及多张第一图像中每张第一图像的目标标签，第二样本集R包括多张第二图像；根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型，初始分割模型是根据第一样本集S对原始模型进行训练得到的。采用本发明实施例训练得到的分割模型可克服对于图像可用标注数量较少，标注成本昂贵的问题。

Description

分割模型训练方法、图像标注方法及相关装置
技术领域
本发明涉及人工智能领域，尤其涉及一种分割模型训练方法、图像标注方法及相关装置。
背景技术
人工智能(artificialintelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
图像分析是计算机视觉中的重要任务之一，它可以提供很多相关的信息从而辅助医生进行病情诊疗。对图像中的目标进行分割是实现医疗影像内容分析的基础，通过分割技术可以直接地找到器官区域、判断是否存在病灶、病灶的大小和位置等。在手术导航、病情分析判断等方面具有广泛的应用。
深度学习使得图像分割技术的准确率实现了显著的提升，但是在图像的一些处理场景中效果却不是那么理想。深度神经网络的学习很大程度上依赖于庞大的标注数据，这就使得神经网络在图像上的学习效果不如在自然图像上的学习效果。图像相比自然图像获取难度更大，从数据的采集到数据的公开都存在许多困难，在数量上也远不如自然图像。图像另一个区别于自然图像的是数据维度。图像大部分是通过空间采样得到的，它不仅包含一个切面的2D图像信息，还包含空间中每个体素位置的信息。因此，常采用2D和3D两类神经网络来处理这些数据，而其中3D网络可用的数据量比2D网络更少。更重要的是对自然图像进行标注不需要太高的专业水平，但是图像的标注却需要专业的医疗人员进行标注，不同医疗人员的标注细致程度同样存在差异，而且分割样本集的标注工作量也远高于分类检测等任务。
随着医疗水平的提升，每天都会产生很多图像数据，但是这些数据往往都是没有标注信息的原始数据。如何充分利用这些大量的没有标注信息的图像，减少网络对于数据标注的过分依赖，对于进一步提高图像分析能力十分重要。
发明内容
本发明实施例提供一种分割模型训练方法、图像标注方法及相关装置，采用本发明实施例得到的分割模型有利于克服对于图像可用标注数量较少，标注成本昂贵的问题。
第一方面，本发明实施例提供一种分割模型训练方法，包括：
获取第一样本集S和第二样本集R，其中，第一样本集S包括多张第一图像及多张第一图像中每张第一图像的目标标签，第二样本集R包括多张第二图像；根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行异构老师-学生优化(Asynchronous teacher-student optimization，ASTO)训练，以得到目标分割模型，初始分割模型是根据所述第一样本集S对原始模型进行训练得到的。
通过基于ASTO训练得到的分割模型，使用该分割模型对图像进行标注，克服了图像可用标注数量较少，标注成本昂贵的问题，并且提高了对图像进行标注的效率和准确性。
在一个可行的实施例中，根据第一样本集S中的多张第一图像及其目标标签和第二样本集S中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型，包括：根据第一样本集S中的第一图像及其目标标签对原始模型进行训练，以得到初始分割模型；将第二样本集R中的每张第二图像输入到初始分割模型中进行预测，以得到每张第二图像的初始伪标签，根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取第二样本集R中每张第二图像的目标标签；根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其目标标签对原始模型或初始分割模型进行训练，以得到目标分割模型。
在一个可行的实施例中，根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取第二样本集R中每张第二图像的目标标签，包括：
将第二样本集R中第二图像及初始伪标签划分为第三样本集R1和第四样本集R2，第三样本集R1和第四样本集R2中均包括多张第二图像及其初始伪标签；
基于第一样本集S，第三样本集R1中的第二图像及其初始伪标签对初始分割模型进行训练得到第一分割模型；
基于第一样本集S，第四样本集R2中的第二图像及其初始伪标签对初始分割模型进行训练得到第二分割模型；
根据第一样本集S中每张第一图像及其目标标签，第三样本集R1及其基于第二分割模型预测出的每张第二图像的参考伪标签，第四样本集R2及其基于第一分割模型预测出的每张第二图像的参考伪标签获取第二样本集R中每张第二图像的目标标签。
在一个可行的实施例中，根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签，包括：
S1、根据第一样本集S中每张第一图像及其目标标签和第三样本集R1中每张第二图像及其伪标签L’i-1对所述初始分割模型进行训练，以得到分割模型Mi，根据分割模型Mi对第四样本集R2中的每张图像进行预测，以得到第四样本集R2中每张图像的伪标签Li；
S2、根据第一样本集S中每张第一图像及其目标标签和第四样本集R2中每张第二图像及其伪标签Li-1对初始分割模型进行训练，以得到分割模型M’i，根据分割模型M’i对第三样本集R1中的每张图像进行预测，以得到第三样本集合R1中每张图像的伪标签L’i；
S3、当i不小于N时，将第四样本集R2中每张图像的伪标签Li确定为该图像的目标标签，将第三样本集R1中每张图像的伪标签L’i确定为该图像的目标标签；当i小于N时，令i＝i+1，并重复执行S1-S3；
其中，当i＝1时，第三样本集R1中每张第二图像的伪标签L’i-1为该图像的初始伪标签，第四样本集R2中每张第二图像的伪标签Li-1为该图像的初始伪标签。
在一个可行的实施例中，第三样本集R1和第四样本集R2没有交集。
可选地，第三样本集R1和第四样本集R2没有交集，且第三样本集R1和第四样本集R2中图像及其标签的数量相同。
可选地，第三样本集R1和第四样本集R2由第二样本集R均分得到。
第二方面，本发明实施例提供一种图像标注方法，包括：
获取待标注图像，将待标注图像输入到目标分割模型进行预测，以得到所述待标注图像对应的目标标签，所述目标分割模型是根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练得到的。
通过基于ASTO训练得到的分割模型对图像进行标注，以克服图像可用标注数量较少，标注成本昂贵的问题，并且提高了对图像进行标注的效率和准确性。
在一个可行的实施例中，初始分割模型是根据第一样本集S中的多张第一图像及其目标标签对原始模型进行训练得到的。
进一步地，原始模型基于卷积神经网络得到的。
在一个可行的实施例中，目标分割模型根据所述第一样本集S中的多张第一图像的目标标签和第二样本集R中的多张第二图像及其目标标签对初始分割模型或者原始模型进行训练得到的，
第二样本集R中每张第二图像的目标标签是根据第一样本集S中第一图像及其目标标签和第二样本集S中的第二图像及其参考伪标签得到的
在一个可行的实施例中，第二样本集S中的第二图像的参考伪标签是将第三样本集R1中的图像输入到第二分割模型中预测的和将第四样本集R2中的图像输入到第一分割模型中进行预测的，
第一分割模型是基于第一样本集S，第三样本集R1中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第二分割模型是基于第一样本集S，第四样本集R2中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第三样本集R1和第四样本集R2是对第二样本集R进行划分得到的。
在一个可行的实施例中，第三样本集R1中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的；第四样本集R2中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的。
在此需要说明的是，对于目标分割模型的确定过程可参见第一方面的相关描述。
第三方面，本发明实施例提供一种分割模型训练装置，包括：
获取单元，用于获取第一样本集S和第二样本集R，其中，第一样本集S包括多张第一图像及多张第一图像中每张第一图像的目标标签，第二样本集R包括多张第二图像；
训练单元，用于根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型，初始分割模型是根据所述第一样本集S对原始模型进行训练得到的。
在一个可行的实施例中，在根据第一样本集S中的多张第一图像及其目标标签和第二样本集S中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型的方面，训练单元具体用于：
根据第一样本集S中的第一图像及其目标标签对原始模型进行训练，以得到初始分割模型；将第二样本集R中的每张第二图像输入到初始分割模型中进行预测，以得到每张第二图像的初始伪标签，根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取第二样本集R中每张第二图像的目标标签；根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其目标标签对原始模型或初始分割模型进行训练，以得到目标分割模型。
在一个可行的实施例中，在根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取第二样本集R中每张第二图像的目标标签的方面，所述训练单元具体用于：
将第二样本集R中第二图像及初始伪标签划分为第三样本集R1和第四样本集R2，第三样本集R1和第四样本集R2中均包括多张第二图像及其初始伪标签；
基于第一样本集S，所述第三样本集R1中的第二图像及其初始伪标签对所述初始分割模型进行训练得到第一分割模型；
基于第一样本集S，所述第四样本集R2中的第二图像及其初始伪标签对所述初始分割模型进行训练得到第二分割模型；
根据第一样本集S中每张第一图像及其目标标签，第三样本集R1及其基于所述第二分割模型预测出的每张第二图像的参考伪标签，第四样本集R2及其基于第一分割模型预测出的每张第二图像的参考伪标签获取第二样本集R中每张第二图像的目标标签。
在一个可行的实施例中，在根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签的方面，所述训练单元具体用于：
S1、根据第一样本集S中每张第一图像及其目标标签和第三样本集R1中每张第二图像及其伪标签L’i-1对所述初始分割模型进行训练，以得到分割模型Mi，根据分割模型Mi对第四样本集R2中的每张图像进行预测，以得到第四样本集R2中每张图像的伪标签Li；
S2、根据第一样本集S中每张第一图像及其目标标签和第四样本集R2中每张第二图像及其伪标签Li-1对初始分割模型进行训练，以得到分割模型M’i，根据分割模型M’i对第三样本集R1中的每张图像进行预测，以得到第三样本集合R1中每张图像的伪标签L’i；
S3、当i不小于N时，将第四样本集R2中每张图像的伪标签Li确定为该图像的目标标签，将第三样本集R1中每张图像的伪标签L’i确定为该图像的目标标签；当i小于N时，令i＝i+1，并重复执行S1-S3；
其中，当i＝1时，第三样本集R1中每张第二图像的伪标签L’i-1为该图像的初始伪标签，第四样本集R2中每张第二图像的伪标签Li-1为该图像的初始伪标签。
在一个可行的实施例中，第三样本集R1和第四样本集R2没有交集。
可选地，第三样本集R1和第四样本集R2没有交集，且第三样本集R1和第四样本集R2中图像及其标签的数量相同。
可选地，第三样本集R1和第四样本集R2由第二样本集R均分得到。
第四方面，本发明实施例提供一种图像标注装置，包括：
获取单元，获取待标注图像；
预测单元，用于将待标注图像输入到目标分割模型进行预测，以得到所述待标注图像对应的目标标签，所述目标分割模型是根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练得到的。
在一个可行的实施例中，初始分割模型是根据第一样本集S中的多张第一图像及其目标标签对原始模型进行训练得到的。
进一步地，原始模型基于卷积神经网络得到的。
在一个可行的实施例中，目标分割模型根据所述第一样本集S中的多张第一图像的目标标签和第二样本集R中的多张第二图像及其目标标签对初始分割模型或者原始模型进行训练得到的，
第二样本集R中每张第二图像的目标标签是根据第一样本集S中第一图像及其目标标签和第二样本集S中的第二图像及其参考伪标签得到的。
在一个可行的实施例中，第二样本集S中的第二图像的参考伪标签是将第三样本集R1中的图像输入到第二分割模型中预测的和将第四样本集R2中的图像输入到第一分割模型中进行预测的，
第一分割模型是基于第一样本集S，第三样本集R1中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第二分割模型是基于第一样本集S，第四样本集R2中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第三样本集R1和第四样本集R2是对第二样本集R进行划分得到的。
在一个可行的实施例中，第三样本集R1中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的；第四样本集R2中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的。
第五方面，本发明实施例提供一种分割网络训练装置，包括：
存储器，用于存储指令；以及
至少一台处理器，与所述存储器耦合；
其中，当至少一台处理器执行所述指令时，执行如下步骤：
获取第一样本集S和第二样本集R，其中，所述第一样本集S包括多张第一图像及所述多张第一图像中每张第一图像的目标标签，所述第二样本集R包括多张第二图像；
根据所述第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型，所述初始分割模型是根据所述第一样本集S对原始模型进行训练得到的。
在一个可行的实施例中，在所述根据所述第一样本集S中的多张第一图像及其目标标签和第二样本集S中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型的方面，所述至少一个处理器具体执行如下步骤：
根据第一样本集S中的第一图像及其目标标签对原始模型进行训练，以得到所述初始分割模型；
将所述第二样本集R中的每张第二图像输入到所述初始分割模型中进行预测，以得到所述每张第二图像的初始伪标签，
根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签；
根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其目标标签对原始模型或初始分割模型进行训练，以得到所述目标分割模型。
在一个可行的实施例中，在所述根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签的方面，所述至少一个处理器具体执行如下步骤：
将所述第二样本集R中第二图像及初始伪标签划分为第三样本集R1和第四样本集R2，所述第三样本集R1和第四样本集R2中均包括多张第二图像及其初始伪标签；
基于所述第一样本集S，所述第三样本集R1中的第二图像及其初始伪标签对所述初始分割模型进行训练得到第一分割模型；
基于所述第一样本集S，所述第四样本集R2中的第二图像及其初始伪标签对所述初始分割模型进行训练得到第二分割模型；
根据第一样本集S中每张第一图像及其目标标签，第三样本集R1及其基于所述第二分割模型预测出的每张第二图像的参考伪标签，第四样本集R2及其基于第一分割模型预测出的每张第二图像的参考伪标签获取第二样本集R中每张第二图像的目标标签。
在一个可行的实施例中，在根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签的方面，所述至少一个处理器具体执行如下步骤：
S1、根据所述第一样本集S中每张第一图像及其目标标签和所述第三样本集R1中每张第二图像及其伪标签L’i-1对所述初始分割模型进行训练，以得到分割模型Mi，根据所述分割模型Mi对第四样本集R2中的每张图像进行预测，以得到所述第四样本集R2中每张图像的伪标签Li；
S2、根据所述第一样本集S中每张第一图像及其目标标签和所述第四样本集R2中每张第二图像及其伪标签Li-1对所述初始分割模型进行训练，以得到分割模型M’i，根据所述分割模型M’i对所述第三样本集R1中的每张图像进行预测，以得到所述第三样本集R1中每张图像的伪标签L’i；
S3、当i不小于N时，将所述第四样本集R2中每张图像的伪标签Li确定为该图像的目标标签，将所述第三样本集R1中每张图像的伪标签L’i确定为该图像的目标标签；当i小于N时，令i＝i+1，并重复执行S1-S3；
其中，当i＝1时，所述第三样本集R1中每张第二图像的伪标签L’i-1为该图像的初始伪标签，所述第四样本集R2中每张第二图像的伪标签Li-1为该图像的初始伪标签。
在一个可行的实施例中，所述第三样本集R1和第四样本集R2没有交集。
第六方面，本发明实施例提供一种图像标注装置，包括：
存储器，用于存储指令；以及
至少一台处理器，与所述存储器耦合；
其中，当所述至少一台处理器执行所述指令时，执行如下步骤：
获取待标注图像，
将待标注图像输入到目标分割模型进行预测，以得到所述待标注图像对应的目标标签，所述目标分割模型是根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练得到的。
在一个可行的实施例中，初始分割模型是根据第一样本集S中的多张第一图像及其目标标签对原始模型进行训练得到的。
进一步地，原始模型基于卷积神经网络得到的。
在一个可行的实施例中，目标分割模型根据所述第一样本集S中的多张第一图像的目标标签和第二样本集R中的多张第二图像及其目标标签对初始分割模型或者原始模型进行训练得到的，
第二样本集R中每张第二图像的目标标签是根据第一样本集S中第一图像及其目标标签和第二样本集S中的第二图像及其参考伪标签得到的。
在一个可行的实施例中，第二样本集S中的第二图像的参考伪标签是将第三样本集R1中的图像输入到第二分割模型中预测的和将第四样本集R2中的图像输入到第一分割模型中进行预测的，
第一分割模型是基于第一样本集S，第三样本集R1中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第二分割模型是基于第一样本集S，第四样本集R2中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第三样本集R1和第四样本集R2是对第二样本集R进行划分得到的。
在一个可行的实施例中，第三样本集R1中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的；第四样本集R2中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的。
第七方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面或第二方面所述的方法中的部分或全部。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像标注流程示意图；
图2为本发明实施例提供了一种系统架构示意图；
图3为本发明实施例提供的一种分割模型训练方法的流程示意图；
图4为本发明实施例提供的一种分割模型训练方法的流程示意图；
图5为本发明实施例提供的一种图像标注方法的流程示意图；
图6为使用本发明实施例的效果示意图；
图7为另一使用本发明实施例的效果示意图；
图8为本发明实施例提供的一种分割模型训练装置的结构示意图；
图9为本发明实施例提供的一种图像标注装置的结构示意图；
图10为本发明实施例提供的另一种分割模型训练装置的结构示意图；
图11为本发明实施例提供的另一种图像标注装置的结构示意图。
具体实施方式
下面结合附图对本申请的实施例进行描述。
参见图1，图1为本发明实施例提供的一种图像标注流程示意图。如图1所示，采集获取第一样本集和第二样本集，其中，第一样本集中的图像为有目标标签的图像，第二样本集中的图像为没有目标标签的图像。根据第一样本集和第二样本集进行ASTO训练，以得到目标分割模型。将待标注图像输入到目标分割模型中进行预测，以得到待标注图像对应的目标标签。
在此需要说明的是，本发明的方案主要应用于医疗图像的标注，比如计算机断层扫描(Computed Tomography，CT)图像、磁共振成像(Magnetic Resonance Imaging，MRI)图像。
标注图像为分割好的图像，这里的分割是指将图像中表示的人体部位分割并标注出来。标注的方式可以是在图像中将表示人体各器官或部位用不同颜色的掩膜突出显示。比如肝脏用蓝色的掩膜突出显示，心脏用红色的掩膜突出显示。其中，图像为3D图像。这里的掩膜可以为与图像尺寸相同的二值图，目标体素位置对应的像素值为1，非目标体素位置对应的像素值为0。通过一定处理将二值图变成彩色图，比如使得目标位置呈蓝色、红色等等。这里的图像的二值图可称为该图像的目标标签。
进一步地，在得到待标注图像对应的标注图像后，可根据标注图像的掩膜的颜色和尺寸大小判断各器官的位置和尺寸大小。
本发明可主要应用于医疗中，比如在影像的引导下优化手术方案，对目标区域进行准确定位；还比如对使用药物前后不同阶段的切片进行评估，对比药物作用下目标区域的变化。当然还可以应用到其他领域。
参见附图2，本发明实施例提供了一种系统架构200。数据采集设备260用于采集训练数据并存入数据库230，其中，训练数据包括第一样本集合第二样本集，第一样本集中包括多张图像及其目标标签，第二样本集包括多张图像。训练设备220基于数据库230中维护的训练数据生成目标分割模型201，下面将更详细地描述训练设备220如何基于训练数据得到目标分割模型201，并基于目标分割模型201能够得到待标注图像对应的目标标签。
本发明实施中的模型(包括状态生成模型/选择策略模型101)可以通过神经网络来实现，例如全连接神经网络、深度神经网络等。其中深度神经网络中的每一层的工作可以用数学表达式
Figure BDA0002389369370000081
来描述。其中，W为权重，
Figure BDA0002389369370000082
为输入向量(即输入神经元)，b为偏置数据，
Figure BDA0002389369370000083
为输出向量(即输出神经元)，a为常数。从物理层面深度神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作，完成输入空间到输出空间的变换(即矩阵的行空间到列空间)，这五种操作包括：1、升维/降维；2、放大/缩小；3、旋转；4、平移；5、“弯曲”。其中1、2、3的操作由
Figure BDA0002389369370000084
完成，4的操作由+b完成，5的操作则由a()来实现。这里之所以用“空间”二字来表述是因为被分类的对象并不是单个事物，而是一类事物，空间是指这类事物所有个体的集合。其中，W是权重向量，该向量中的每一个值表示该层神经网络中的一个神经元的权重值。该向量W决定着上文所述的输入空间到输出空间的空间变换，即每一层的权重W控制着如何变换空间。训练深度神经网络的目的，也就是最终得到训练好的神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。因此，深度神经网络的训练过程本质上就是学习控制空间变换的方式，更具体的就是学习权重矩阵。
因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到神经网络能够预测出真正想要的目标值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objectivefunction)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
训练设备220得到的目标分割模型201中可以应用不同的系统或设备中。在附图2中，执行设备210配置有I/O接口212，与外部设备进行数据交互。比如通过I/O接口212接收用户设备240发送的待标注图像。
执行设备210可以调用数据存储系统250中的数据、代码等，也可以将数据、指令等存入数据存储系统250中。
计算模块211使用目标分割模型201对输入的数据进行处理，具体是将待标注图像输入到目标分割模型201中进行预测，以得到待标注图像对应的目标标签，并通过I/O接口将待标注图像对应的目标标签发送至用户设备240。
更深层地，训练设备220可以针对不同的目标，基于不同的数据生成相应的目标分割模型201，以给用户提供更佳的结果。比如针对不用的图像，例如CT图像，MRI图像等，或者还可以针对不同的部位，例如肝脏，脾脏、心脏等等。
在得到待标注图像对应的目标标签后，可在得到病人的允许后，将该待标注图像及其目标标签存储至数据库230中，以供下次训练分割模型。
值得注意的，附图2仅是本发明实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在附图2中，数据存储系统250相对执行设备210是外部存储器，在其它情况下，也可以将数据存储系统250置于执行设备210中。
参见图3，图3为本发明实施例提供的一种分割模型训练方法的流程示意图。如图3所示，该方法包括：
S401、获取第一样本集S和第二样本集R。
其中，第一样本集S包括多张第一图像及多张第一图像中每张第一图像的目标标签，第二样本集R包括多张第二图像。换言之，第一样本集S中的图像为有标注的图像，第二样本集R中的图像为无标注的图像，且第一样本集S中图像的数量少于第二样本集R中图像的数量，进而充分展现无标注数据对训练目标分割模型的贡献。
在此需要说明的是，有标注的图像是指该图像中人体器官通过不同颜色的掩膜突出显示或者标记，因此有标注的图像又可称为包含标签的图像；无标注的图像是指该图像中人体器官未通过不同颜色的掩膜突出显示或标记，因此该图像又可称为不包含标签的图像。
S402、根据第一样本集S中的多张第一图像及该多张第一图像和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型。
其中，初始分割模型是根据第一样本集中的多张第一图像及该多张第一图像中每张第一图像的目标标签对原始模型训练得到的。
在一个可行的实施例中，
根据第一样本集S中的多张第一图像及其目标标签和第二样本集S中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型，包括：
根据第一样本集S中的第一图像及其目标标签对原始模型进行训练，以得到初始分割模型；将第二样本集R中的每张第二图像输入到初始分割模型中进行预测，以得到每张第二图像的初始伪标签，根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取第二样本集R中每张第二图像的目标标签；根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其目标标签对初始分割模型进行训练，以得到目标分割模型。
具体地，根据第一样本集S中的所有第一图像及其目标标签对原始模型进行训练，以得到初始分割网路，具体包括：
将第一样本集S中一张第一图像输入到原始模型中进行计算，以得到该第一图像的参考标签，根据该第一图像的目标标签与参考标签调整原始模型中的参数，以得到调整后的原始模型；再将第一样本集S中的另一张第一图像输入到调整后的原始模型中进行计算，以得到该第一图像的参考标签，根据该第一图像的目标标签与参考标签调整原始模型中的参数，以得到调整后的原始模型；重复上述过程，直至将第一样本集S中部分或者全部第一图像均进行上述操作。最终得到的调整后的原始模型为上述初始分割模型。
再将第二样本集R中的第二图像分别输入到初始分割模型中进行计算，以得到第二样本集中每张第二图像的初始伪标签。
其中，上述原始模型是基于卷积神经网络得到的，比如递归显著变换网络(recurrent saliency transformation network，RSTN)。
可选地，上述原始模型是基于全卷积网络得到的。
在一个可行的实施例中，根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取第二样本集R中每张第二图像的目标标签，包括：
将第二样本集R中第二图像及初始伪标签划分为第三样本集R1和第四样本集R2，第三样本集R1和第四样本集R2中均包括多张第二图像及其初始伪标签；
基于第一样本集S，第三样本集R1中的第二图像及其初始伪标签对初始分割模型进行训练得到第一分割模型；
基于第一样本集S，第四样本集R2中的第二图像及其初始伪标签对初始分割模型进行训练得到第二分割模型；
根据第一样本集S中每张第一图像及其目标标签，第三样本集R1及其基于第二分割模型预测出的每张第二图像的参考伪标签，第四样本集R2及其基于第一分割模型预测出的每张第二图像的参考伪标签获取第二样本集R中每张第二图像的目标标签。
在一个可行的实施例中，根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签，包括：
S1、根据第一样本集S中每张第一图像及其目标标签和第三样本集R1中每张第二图像及其伪标签L’i-1对所述初始分割模型进行训练，以得到分割模型Mi，根据分割模型Mi对第四样本集R2中的每张图像进行预测，以得到第四样本集R2中每张图像的伪标签Li；
S2、根据第一样本集S中每张第一图像及其目标标签和第四样本集R2中每张第二图像及其伪标签Li-1对初始分割模型进行训练，以得到分割模型M’i，根据分割模型M’i对第三样本集R1中的每张图像进行预测，以得到第三样本集合R1中每张图像的伪标签L’i；
S3、当i不小于N时，将第四样本集R2中每张图像的伪标签Li确定为该图像的目标标签，将第三样本集R1中每张图像的伪标签L’i确定为该图像的目标标签；当i小于N时，令i＝i+1，并重复执行S1-S3；
其中，当i＝1时，第三样本集R1中每张第二图像的伪标签L’i-1为该图像的初始伪标签，第四样本集R2中每张第二图像的伪标签Li-1为该图像的初始伪标签。
具体地，如图4所示，
S10、将第二样本集R划分为第三样本集R1和第四样本集R2。
其中，第三样本集R1中图像的数量和第四样本集R2中图像的数量相同或者不相同。
S20、根据第一样本集S中第一图像及其目标标签和第三样本集R1中第二图像及其伪标签L’i-1训练初始分割模型，以得到分割模型Mi。
将第一样本集S和第三样本集R1中任一张图像输入到初始分割模型中进行计算，以得到该图像的参考标签；根据该图像的参考标签及目标标签或伪标签L’i-1调整该初始分割模型中的参数，以得到第一次调整后的分割模型；再将第一样本集S和第三样本集R1中除了已经输入到分割模型中之外的任一张图像输入到第一次调整后的分割模型中进行计算，以得到该图像的参考标签，并根据该图像的参考标签及目标标签或伪标签L’i-1调整上述调整后的分割模型中的参数，得到第二次调整后的分割模；重复上述步骤，直至将第一样本集S和第三样本集R1中图像均进行上述操作，最后调整得到的分割模型为分割模型Mi。
S30、将第四样本集R2中每张第二图像输入到分割模型中进行预测，以得到该第二图像的伪标签Li。
S40、根据第一样本集S中第一图像及其目标标签和第四样本集R2中第二图像及其伪标签Li-1训练初始分割模型，以得到分割模型M’i。
在此需要说明的是，步骤S40的具体描述可参见上述步骤S20的相关描述，在此不再叙述。
S50、将第四样本集R2中每张第二图像输入到分割模型中进行预测，以得到该第二图像的伪标签L’i
S60、当i不小于N时，执行步骤S70；当i小于N时，令i＝i+1，并重复执行步骤S20-S50。
S70、将第三样本集R1中每张图像的伪标签Li确定为该图像的目标标签，将第四样本集R2中每张图像的伪标签L’i确定为该图像的目标标签。
在此需要说明的是，上述N可看作迭代次数。
通过进行多轮迭代重复，第三样本集R1和第四样本集R2不仅从第一样本集S中提取信息，还实现了第三样本集R1和第四样本集R2信息的相互利用，从而生成了信息更加丰富的伪标签。
在获取第二样本集R中每张第二图像的目标标签后，根据第一样本集S和第二样本集R中的图像及其目标标签训练初始分割模型，以得到目标分割模型，具体过程可参见上述步骤S20的相关描述，在此不再叙述。
可以看出，在本申请的方案中，在有标注的图像较少的有监督信息数据基础上，可以不断地加入新的无标注的图像，提升对无标注的图像的学习。具体应用主要是在图像感兴趣部位的快速标识，判断目标是否存在和目标的大小位置。作为医生诊疗的辅助信息，可以协助医生对病情进行快速、准确的判断与定位。
借助图像分割技术，相关图像可以被有效分解与理解，有助于图像相互之间的融合校准，并可以与其他技术结合实现例如对心肺运动状态进行跟踪、解剖组织进行测量等功能。
参见图7，图7为本发明实施例提供的一种图像标注方法的流程示意图。如图8所示，该方法包括：
S701、获取待标注图像。
其中，第一样本集S中的图像为有标注的图像，第二样本集R中的图像为无标注的图像。
S802、将待标注图像输入到目标分割模型进行预测，以得到所述待标注图像对应的目标标签。
其中，目标分割模型是根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练得到的。
通过基于ASTO训练得到的分割模型对图像进行标注，以克服图像可用标注数量较少，标注成本昂贵的问题，并且提高了对图像进行标注的效率和准确性。
在一个可行的实施例中，初始分割模型是根据第一样本集S中的多张第一图像及其目标标签对原始模型进行训练得到的。
进一步地，原始模型基于卷积神经网络得到的。
在一个可行的实施例中，目标分割模型根据所述第一样本集S中的多张第一图像的目标标签和第二样本集R中的多张第二图像及其目标标签对初始分割模型或者原始模型进行训练得到的，
第二样本集R中每张第二图像的目标标签是根据第一样本集S中第一图像及其目标标签和第二样本集S中的第二图像及其参考伪标签得到的
在一个可行的实施例中，第二样本集S中的第二图像的参考伪标签是将第三样本集R1中的图像输入到第二分割模型中预测的和将第四样本集R2中的图像输入到第一分割模型中进行预测的，
第一分割模型是基于第一样本集S，第三样本集R1中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第二分割模型是基于第一样本集S，第四样本集R2中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第三样本集R1和第四样本集R2是对第二样本集R进行划分得到的。
在一个可行的实施例中，第三样本集R1中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的；第四样本集R2中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的。
在此需要说明的是，目标分割模型的具体训练过程可参见图3所示实施例所描述的过程，在此不再叙述。
在一个可行的实施例中，在使用目标分割模型对图像进行标注之前，可以是从训练设备中获取目标分割模型。
下面以一个示例来具体说明本发明的方案。
这里详细说明单样本集上半监督分割的实现细节和跨样本集半监督分割的实现细节。
(1)问题设定
以腹部CT图像为例。假定图像中包含一类目标(例如器官、病灶、血管等)。一个CT扫描数据X是一个3D的体素集，包含3个维度W*H*L。其中W和H主要由扫描仪器精度确定，L主要由扫描的身体部分长度决定。扫描的每一个位置用一个HU值来表示，表示反射密度的不同。每一个体素位置对应一个标签0或1,0代表非目标区域，1代表目标区域，所以标签Z的空间分辨率和图像是一样的。而目标是让网络对图像中每一个位置进行判断是否为目标，产生一个与图像空间分辨率一样的预测结果Y。网络产生的结果是浮点型的，采用sigmoid函数处理后以0.5作为阈值将其二值化为最终结果。
(2)评价标准选择
采用图像分割常用的经典评价标准Dice-
Figure BDA0002389369370000121
系数(DSC),DSC计算公式如下：
DSC(Y,Z)＝(2×|Y∩Z|)/(|Y|+|Z|)
(3)分割模型选择
在本发明中，采用2D的网络来实现3D数据的分割。每个3D的体素集从三个不同方向上分别被分解为多个2D的切片。每个方向对应为一个视图。在医学图像上这三个视图分别称为冠状图、矢状图和轴向图。每个视图的2D切片分别送入一个2D分割网络进行独立的训练学习。三个网络从三个方向上对一个3D影像做出预测后，将3个预测结果叠加在一起，根据majority voting的方法得到最终的预测结果。
基础分割模型采用一个开源的由粗到细的递归显著变换网络(recurrentsaliency transformation network，RSTN)，包含粗糙分割网络和细致分割网络以及显著性转换模块三部分。在RSTN中粗糙分割网络和细致分割网络均采用全卷积网络(FullyConvolutional Networks，FCN)
(4)样本集准备及说明
在单样本集的半监督学习中采用了NIH和MSD两个样本集。
NIH胰腺分割样本集包含82个正常的3D腹部CT扫描图，每一个体素集分别率是512*512*L，其中L代表人体轴向2D切片的数量。每两个相邻切片的物理距离在1.5mm到2.5mm范围内。每个体素集中的胰腺部位由两位专家进行标注和检验。
MSD胰腺样本集有281个腹部CT扫描体素集，每个轴向的2D切片分辨率也是512*512，但是切片间距的分布比较广泛小至1mm以下，大至5mm以上。所以将轴向距离进行重新采样距离规范到1.5mm到2mm之内。为了公平起见，在完成测试之后将预测结果重新采样到原来的距离，进行准确率的计算。
半监督学习实验的数据设定为：
在训练样本集中随机取10％或者20％的数据作为有标注的数据，剩下的数据作为无标注的数据。当选取10％样本时，在NIH和MSD中仅有6个和21个体素集带有标注信息。这个可用的监督信息是十分少的。
在全监督实验中这样少的监督信息训练出来的网络效果很差。
RSTN模型在NIH样本集上使用60个训练样本进行全监督训练，准确率可以达到84％以上，然而只使用10％的样本即6个样本时准确率迅速降到接近70％。
在跨样本集的半监督学习中，取NIH全部训练集即60个样本作为有标注数据S进行全监督学习，得到初始模型，取MSD200个样本作为无标注数据U。为了使得两个样本集在轴向分辨率保持相似，所以将MSD数据轴向切片间距采样到1mm到1.5mm,得到预测结果重新采样到原来大小来进行准确率计算。
在NIH样本集上进行了以下实验，来探索无标注数据对网络学习的贡献。
用10％的有标注数据和带有第一轮伪标签的R1去微调分割网络的参数得到分割模型MR1，用MR1去测试R1和R2。同样地用10％有标注数据和R2一起去微调网络得到模型MR2，用MR2去测试R1和R2。观察到一个十分有趣的现象，MR1对R1的预测结果准确率(71.14％)比MR2对R1(75.42％)的预测结果准确率低了很多，MR2对R2的预测结果准确率(74.33％)比MR1对R2(76.24％)的预测结果准确率低了很多。另外也对比了用10％有标注数据和R1、R2一起去微调网络得到模型M1，用该模型对R1和R2分别进行测试，得到准确率分别为73.13％和75.22％，这个结果不如MR1对R2的预测结果和MR2对R1的预测结果。
将这种现象称为“懒惰学习”，参与微调的无标注数据对自身的提升不如对未参与训练数据的提升效果好。产生这个现象的原因，是因为无标注数据所用的伪标签质量不佳，伪标签中加入了很多噪声，使得网络对噪声进行了错误的学习，而网络对参与训练的数据又是比较熟悉的，所以很容易将质量不佳的伪标签信息作为对部分数据的预测，从而限制了对参与训练的这部分数据的学习能力。但是对于未参与训练的数据，由于数据量的提升和新信息的加入使得网络对该部分数据的预测更加准确。将反映“懒惰学习”实验结果进行如图5所示的可视化。
(6)训练细节
初始模型训练进行全部的三个阶段用于产生第一轮伪标签，但是在之后所有微调训练的过程都是从初始模型的第二阶段结束之后的模型开始的。保证网络在可靠数据监督的网络基础上进行调整但是也不会太依赖初始模型。之所以在老师学生优化过程中没有使用上一轮微调后的模型作为开始继续进行训练，是为了避免上一轮网络中由伪标签引入的干扰对接下来的训练造成影响，也是从另一方面减少“懒惰学习”的影响。
初始模型的训练参照全监督RSTN的设置，采用Adam优化网络，初始学习率为1*10-5,在第三个阶段每两个周期学习率下降为原来的二分之一。微调训练的过程采用和第三阶段相同的设置。
有益效果：
首先是在NIH样本集上进行了实验，分别取10％和20％的数据作为有标注部分，剩下训练数据为无标注部分。10％有标注实验经过4轮异构老师学生优化之后准确率提升到81.10％，比仅用有标注数据进行全监督训练提升了8.34％。20％有标注实验经过4轮异构老师学生优化之后准确率提升到83.70％，已经接近全部数据用于全监督训练的结果，比仅用20％有标注数据进行全监督训练提升了4.96％。
多轮优化详细结果如下表1所示。
Figure BDA0002389369370000141
表1NIH数据有标注10％和20％优化结果
图6为对ATSO训练结果和STSO训练结果的可视化对比图。左半部分为无标注数据(参考集)的例子，右半部分为测试集的例子。每一列代表了该数据优化过程中的变化。红色代表真实结果但是没有被预测出来，黄色代表预测结果与真实结果的重叠，绿色代表预测结果但是不属于真实结果。通过下图6所示的案例可以看出ATSO对有标注数据和无标注数据的共同学学习具有优势，尤其在测试集上更加明显。而且收敛到最佳结果的速度更快。
此外与当前优秀的半监督学习分割方法进行了对比，对比结果如下表2所示。
Method Backbone 10％Data 20％Data
DMPCT[34] 2D ResNet-101 63.45 66.75
DCT[15](2v) 3D ResNet-18 71.43 77.54
TCSE[9] 3D ResNet-18 73.87 76.46
UMCT[26](2v) 3D ResNet-18 75.63 79.77
UMCT[26](6v) 3D ResNet-18 77.87 80.35
UMCT[26](2v fusion) 3D ResNet-18 77.78 80.52
UMCT[26](3v fusion) 3D ResNet-18 79.05 81.18
STSO(ours) 2D FCN8s×2 80.06 83.21
ATSO(ours) 2D FCN8s×2 81.10 83.70
表2在NIH样本集上与当前优势算法的结果对比
可以看出本发明在10％和20％的设定中取得了当前最优结果。为了对比异构老师学生优化与同构老师学生优化，我们在相同的设定条件下也进行了同构优化的实验。同构老师-学生优化(synchronous teacher-student optimization,STSO)就是对无标注数据不分为多个子集，而是看作一个整体，直接利用上一轮的预测结果全部作为下一轮训练的伪标签。
在MSD样本集上也进行了相同的实验，随机选取10％的数据作为有标注部分，经过两轮优化之后比仅用有标注数据训练准确率提升了10.06％，达到了70.23％。详细的优化过程数据记录见下表3。
Figure BDA0002389369370000151
表3本发明在MSD样本集上用10％有监督数据训练结果
此外，本申请的方案在跨数据实现上也表现出良好的特性。我们使用60个NIH的样本对网络进行全监督训练作为初始模型，然后以此为基础在MSD样本集上进行微调学习。选取MSD样本集中200个样本作为无标注样本集。
初始模型对MSD测试集的预测准确率为65.72％，经过两轮训练，ATSO可以将准确率提升到74.64％实现超过9％的提升。在这个过程我们完全没有使用MSD数据的标注信息，就可以达到这样的结果是很不容易的。这个结果优于使用MSD训练集50％有标注数据做全监督训练。表明ATSO有很强的迁移能力，将一个样本集的信息用于另一个样本集的学习。
跨样本集的详细实验结果如下表4所示。
Figure BDA0002389369370000161
表4本发明在跨样本集上实现的结果
本发明提出了一种数据异构的知识蒸馏优化方案。不同于现有技术将无标注数据看作一个整体，整个无标注数据的伪标签生成是同步进行的。我们的发明将无标注数据看作多个部分，不同子集间存在相互关系，不断挖掘无标注数据内部相互信息，为其他子集提供更丰富的信息，避免参与训练的无标注数据陷入“懒惰学习”中。
在此需要说明的是，本发明的方法不仅可以应用于医疗图像的分割，还可应用于其他领域图像的分割。
参见图8，图8为本发明实施例提供的一种分割模型训练装置的结构示意图。如图8所示，该装置800包括：
获取单元801，用于获取第一样本集S和第二样本集R，其中，第一样本集S包括多张第一图像及多张第一图像中每张第一图像的目标标签，第二样本集R包括多张第二图像；
训练单元802，用于根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型，初始分割模型是根据所述第一样本集S对原始模型进行训练得到的。
在一个可行的实施例中，在根据第一样本集S中的多张第一图像及其目标标签和第二样本集S中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型的方面，训练单元802具体用于：
根据第一样本集S中的第一图像及其目标标签对原始模型进行训练，以得到初始分割模型；将第二样本集R中的每张第二图像输入到初始分割模型中进行预测，以得到每张第二图像的初始伪标签，根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取第二样本集R中每张第二图像的目标标签；根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其目标标签对原始模型或初始分割模型进行训练，以得到目标分割模型。
在一个可行的实施例中，在根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取第二样本集R中每张第二图像的目标标签的方面，所述训练单元802具体用于：
将第二样本集R中第二图像及初始伪标签划分为第三样本集R1和第四样本集R2，第三样本集R1和第四样本集R2中均包括多张第二图像及其初始伪标签；
基于第一样本集S，第三样本集R1中的第二图像及其初始伪标签对初始分割模型进行训练得到第一分割模型；
基于第一样本集S，第四样本集R2中的第二图像及其初始伪标签对初始分割模型进行训练得到第二分割模型；
根据第一样本集S中每张第一图像及其目标标签，第三样本集R1及其基于第二分割模型预测出的每张第二图像的参考伪标签，第四样本集R2及其基于第一分割模型预测出的每张第二图像的参考伪标签获取第二样本集R中每张第二图像的目标标签。
在一个可行的实施例中，在根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签的方面，所述训练单元802具体用于：
S1、根据第一样本集S中每张第一图像及其目标标签和第三样本集R1中每张第二图像及其伪标签L’i-1对所述初始分割模型进行训练，以得到分割模型Mi，根据分割模型Mi对第四样本集R2中的每张图像进行预测，以得到第四样本集R2中每张图像的伪标签Li；
S2、根据第一样本集S中每张第一图像及其目标标签和第四样本集R2中每张第二图像及其伪标签Li-1对初始分割模型进行训练，以得到分割模型M’i，根据分割模型M’i对第三样本集R1中的每张图像进行预测，以得到第三样本集合R1中每张图像的伪标签L’i；
S3、当i不小于N时，将第四样本集R2中每张图像的伪标签Li确定为该图像的目标标签，将第三样本集R1中每张图像的伪标签L’i确定为该图像的目标标签；当i小于N时，令i＝i+1，并重复执行S1-S3；
其中，当i＝1时，第三样本集R1中每张第二图像的伪标签L’i-1为该图像的初始伪标签，第四样本集R2中每张第二图像的伪标签Li-1为该图像的初始伪标签。
在一个可行的实施例中，第三样本集R1和第四样本集R2没有交集。
可选地，第三样本集R1和第四样本集R2没有交集，且第三样本集R1和第四样本集R2中图像及其标签的数量相同。
可选地，第三样本集R1和第四样本集R2由第二样本集R均分得到。
需要说明的是，上述各单元(获取单元801和训练单元802)用于执行上述方法的相关步骤。比如获取单元801用于执行S301的相关内容，训练单元802用于执行S302的相关内容。
在本实施例中，分割模型训练装置800是以单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。此外，以上获取单元801和训练单元802可通过图10所示的分割模型训练装置的处理器1001来实现。
参见图9，图9为本发明实施例提供的一种图像标注装置的结构示意图。如图9所示，该装置900包括：
获取单元901，获取待标注图像；
预测单元902，用于将待标注图像输入到目标分割模型进行预测，以得到所述待标注图像对应的目标标签，所述目标分割模型是根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练得到的。
在一个可行的实施例中，初始分割模型是根据第一样本集S中的多张第一图像及其目标标签对原始模型进行训练得到的。
进一步地，原始模型基于卷积神经网络得到的。
在一个可行的实施例中，目标分割模型根据所述第一样本集S中的多张第一图像的目标标签和第二样本集R中的多张第二图像及其目标标签对初始分割模型或者原始模型进行训练得到的，
第二样本集R中每张第二图像的目标标签是根据第一样本集S中第一图像及其目标标签和第二样本集S中的第二图像及其参考伪标签得到的
在一个可行的实施例中，第二样本集S中的第二图像的参考伪标签是将第三样本集R1中的图像输入到第二分割模型中预测的和将第四样本集R2中的图像输入到第一分割模型中进行预测的，
第一分割模型是基于第一样本集S，第三样本集R1中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第二分割模型是基于第一样本集S，第四样本集R2中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第三样本集R1和第四样本集R2是对第二样本集R进行划分得到的。
在一个可行的实施例中，第三样本集R1中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的；第四样本集R2中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的。
需要说明的是，上述各单元(获取单元901和预测单元902)用于执行上述方法的相关步骤。比如获取单元901用于执行S701的相关内容，预测单元902用于执行S702的相关内容.
在本实施例中，图像标注装置900是以单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。此外，以上获取单元901和预测单元902可通过图11所示的图像标注装置的处理器1101来实现。
如图10所示分割模型训练装置1000可以以图10中的结构来实现，该分割模型训练装置1000包括至少一个处理器1001，至少一个存储器1002以及至少一个通信接口1003。所述处理器1001、所述存储器1002和所述通信接口1003通过所述通信总线连接并完成相互间的通信。
处理器1001可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
通信接口1003，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器1002可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器1002用于存储执行以上方案的应用程序代码，并由处理器1001来控制执行。所述处理器1001用于执行所述存储器1002中存储的应用程序代码。
存储器1002存储的代码可执行以上提供的任一种分割模型训练方法，比如：
获取第一样本集S和第二样本集R，其中，第一样本集S包括多张第一图像及多张第一图像中每张第一图像的目标标签，第二样本集R包括多张第二图像；根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型，初始分割模型是根据所述第一样本集S对原始模型进行训练得到的。
在一个可行的实施例中，在所述根据所述第一样本集S中的多张第一图像及其目标标签和第二样本集S中的多张第二图像对初始分割模型进行ASTO训练，以得到目标分割模型的方面，处理器1001具体执行如下步骤：
根据第一样本集S中的第一图像及其目标标签对原始模型进行训练，以得到所述初始分割模型；将所述第二样本集R中的每张第二图像输入到所述初始分割模型中进行预测，以得到所述每张第二图像的初始伪标签，
根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签；
根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其目标标签对原始模型或初始分割模型进行训练，以得到所述目标分割模型。
在一个可行的实施例中，在所述根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签的方面，处理器1001具体执行如下步骤：
将所述第二样本集R中第二图像及初始伪标签划分为第三样本集R1和第四样本集R2，所述第三样本集R1和第四样本集R2中均包括多张第二图像及其初始伪标签；
基于第一样本集S，第三样本集R1中的第二图像及其初始伪标签对初始分割模型进行训练得到第一分割模型；
基于第一样本集S，第四样本集R2中的第二图像及其初始伪标签对初始分割模型进行训练得到第二分割模型；
根据第一样本集S中每张第一图像及其目标标签，第三样本集R1及其基于第二分割模型预测出的每张第二图像的参考伪标签，第四样本集R2及其基于第一分割模型预测出的每张第二图像的参考伪标签获取第二样本集R中每张第二图像的目标标签。
在一个可行的实施例中，在根据第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签的方面，处理器1001具体执行如下步骤：
S1、根据所述第一样本集S中每张第一图像及其目标标签和所述第三样本集R1中每张第二图像及其伪标签L’i-1对所述初始分割模型进行训练，以得到分割模型Mi，根据所述分割模型Mi对第四样本集R2中的每张图像进行预测，以得到所述第四样本集R2中每张图像的伪标签Li；
S2、根据所述第一样本集S中每张第一图像及其目标标签和所述第四样本集R2中每张第二图像及其伪标签Li-1对所述初始分割模型进行训练，以得到分割模型M’i，根据所述分割模型M’i对所述第三样本集R1中的每张图像进行预测，以得到所述第三样本集R1中每张图像的伪标签L’i；
S3、当i不小于N时，将所述第四样本集R2中每张图像的伪标签Li确定为该图像的目标标签，将所述第三样本集R1中每张图像的伪标签L’i确定为该图像的目标标签；当i小于N时，令i＝i+1，并重复执行S1-S3；
其中，当i＝1时，所述第三样本集R1中每张第二图像的伪标签L’i-1为该图像的初始伪标签，所述第四样本集R2中每张第二图像的伪标签Li-1为该图像的初始伪标签。
在一个可行的实施例中，所述第三样本集R1和第四样本集R2没有交集。
如图11所示图像标注装置1100可以以图11中的结构来实现，该图像标注装置1100包括至少一个处理器1101，至少一个存储器1102以及至少一个通信接口1103。所述处理器1101、所述存储器1102和所述通信接口1103通过所述通信总线连接并完成相互间的通信。
处理器1101可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
通信接口1103，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器1102可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器1102用于存储执行以上方案的应用程序代码，并由处理器1101来控制执行。所述处理器1101用于执行所述存储器1102中存储的应用程序代码。
存储器1102存储的代码可执行以上提供的任一种图像标注方法，比如：
获取待标注图像，将待标注图像输入到目标分割模型进行预测，以得到待标注图像对应的目标标签，目标分割模型是根据第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行ASTO训练得到的。
在一个可行的实施例中，所述初始分割模型是根据第一样本集S中的多张第一图像及其目标标签对原始模型进行训练得到的。
在一个可行的实施例中，所述原始模型基于卷积神经网络得到的。
在一个可行的实施例中，目标分割模型根据所述第一样本集S中的多张第一图像的目标标签和第二样本集R中的多张第二图像及其目标标签对初始分割模型或者原始模型进行训练得到的，
第二样本集R中每张第二图像的目标标签是根据第一样本集S中第一图像及其目标标签和第二样本集S中的第二图像及其参考伪标签得到的
在一个可行的实施例中，第二样本集S中的第二图像的参考伪标签是将第三样本集R1中的图像输入到第二分割模型中预测的和将第四样本集R2中的图像输入到第一分割模型中进行预测的，
第一分割模型是基于第一样本集S，第三样本集R1中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第二分割模型是基于第一样本集S，第四样本集R2中的第二图像及其初始伪标签对初始分割模型进行训练得到的；第三样本集R1和第四样本集R2是对第二样本集R进行划分得到的。
在一个可行的实施例中，第三样本集R1中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的；第四样本集R2中的第二图像的初始伪标签是将该第二图像输入到初始分割模型中进行预测得到的。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种图像标注方法或分割图像训练方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上上述，本说明书内容不应理解为对本发明的限制。

Claims (19)

1.一种分割模型训练方法，其特征在于，包括：
获取第一样本集S和第二样本集R，其中，所述第一样本集S包括多张第一图像及所述多张第一图像中每张第一图像的目标标签，所述第二样本集R包括多张第二图像；
根据所述第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行异构老师-学生优化ASTO训练，以得到目标分割模型，所述初始分割模型是根据所述第一样本集S对原始模型进行训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一样本集S中的多张第一图像及其目标标签和第二样本集S中的多张第二图像对初始分割模型进行异构老师-学生优化ASTO训练，以得到目标分割模型，包括：
根据第一样本集S中的第一图像及其目标标签对原始模型进行训练，以得到所述初始分割模型；
将所述第二样本集R中的每张第二图像输入到所述初始分割模型中进行预测，以得到所述每张第二图像的初始伪标签，
根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签；
根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其目标标签对所述原始模型或所述初始分割模型进行训练，以得到所述目标分割模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签，包括：
将所述第二样本集R中第二图像及初始伪标签划分为第三样本集R1和第四样本集R2，所述第三样本集R1和第四样本集R2中均包括多张第二图像及其初始伪标签；
基于所述第一样本集S，所述第三样本集R1中的第二图像及其初始伪标签对所述初始分割模型进行训练得到第一分割模型；
基于所述第一样本集S，所述第四样本集R2中的第二图像及其初始伪标签对所述初始分割模型进行训练得到第二分割模型；
根据所述第一样本集S中每张第一图像及其目标标签，所述第三样本集R1及其基于所述第二分割模型预测出的每张第二图像的参考伪标签，所述第四样本集R2及其基于所述第一分割模型预测出的每张第二图像的参考伪标签获取所述第二样本集R中每张第二图像的目标标签。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签，包括：
S1、根据所述第一样本集S中每张第一图像及其目标标签和所述第三样本集R1中每张第二图像及其伪标签L’i-1对所述初始分割模型进行训练，以得到分割模型Mi，根据所述分割模型Mi对所述第四样本集R2中的每张图像进行预测，以得到所述第四样本集R2中每张图像的伪标签Li；
S2、根据所述第一样本集S中每张第一图像及其目标标签和所述第四样本集R2中每张第二图像及其伪标签Li-1对所述初始分割模型进行训练，以得到分割模型M’i，根据所述分割模型M’i对所述第三样本集R1中的每张图像进行预测，以得到所述第三样本集合R1中每张图像的伪标签L’i；
S3、当i不小于N时，将所述第四样本集R2中每张图像的伪标签Li确定为该图像的目标标签，将所述第三样本集R1中每张图像的伪标签L’i确定为该图像的目标标签；当i小于N时，令i＝i+1，并重复执行S1-S3；
其中，当i＝1时，所述第三样本集R1中每张第二图像的伪标签L’i-1为该图像的初始伪标签，所述第四样本集R2中每张第二图像的伪标签Li-1为该图像的初始伪标签。
5.根据权利要求3或4的方法，其特征在于，所述第三样本集R1和第四样本集R2没有交集。
6.一种图像标注方法，其特征在于，包括：
获取待标注图像，
将所述待标注图像输入到目标分割模型进行预测，以得到所述待标注图像对应的目标标签，所述目标分割模型是根据第一样本集S和第二样本集R对初始分割模型进行异构老师-学生优化ASTO训练得到的；
所述第一样本集S包括多张第一图像及所述多张第一图像中每张第一图像的目标标签，所述第二样本集R包括多张第二图像；
所述初始分割模型是根据所述第一样本集S对原始模型进行训练得到的。
7.根据权利要求6所述的方法，其特征在于，所述目标分割模型根据所述第一样本集S中的多张第一图像的目标标签和第二样本集R中的多张第二图像及其目标标签对所述初始分割模型或者所述原始模型进行训练得到的，
所述第二样本集R中每张第二图像的目标标签是根据所述第一样本集S中第一图像及其目标标签和所述第二样本集S中的第二图像及其参考伪标签得到的。
8.根据权利要求7所述的方法，其特征在于，所述第二样本集S中的第二图像的参考伪标签是将第三样本集R1中的图像输入到第二分割模型中预测的和将第四样本集R2中的图像输入到第一分割模型中进行预测的，
所述第一分割模型是基于所述第一样本集S，所述第三样本集R1中的第二图像及其初始伪标签对所述初始分割模型进行训练得到的；所述第二分割模型是基于所述第一样本集S，所述第四样本集R2中的第二图像及其初始伪标签对所述初始分割模型进行训练得到的；
所述第三样本集R1和所述第四样本集R2是对所述第二样本集R进行划分得到的。
9.根据权利要求8所述的方法，其特征在于，所述第三样本集R1中的第二图像的初始伪标签是将该第二图像输入到所述初始分割模型中进行预测得到的；
所述第四样本集R2中的第二图像的初始伪标签是将该第二图像输入到所述初始分割模型中进行预测得到的。
10.一种分割网络训练装置，其特征在于，包括：
存储器，用于存储指令；以及
至少一台处理器，与所述存储器耦合；
其中，当所述至少一台处理器执行所述指令时，执行如下步骤：
获取第一样本集S和第二样本集R，其中，所述第一样本集S包括多张第一图像及所述多张第一图像中每张第一图像的目标标签，所述第二样本集R包括多张第二图像；
根据所述第一样本集S中的多张第一图像及其目标标签和第二样本集R中的多张第二图像对初始分割模型进行异构老师-学生优化ASTO训练，以得到目标分割模型，所述初始分割模型是根据所述第一样本集S对原始模型进行训练得到的。
11.根据权利要求10所述的训练装置，其特征在于，在所述根据所述第一样本集S中的多张第一图像及其目标标签和第二样本集S中的多张第二图像对初始分割模型进行异构老师-学生优化ASTO训练，以得到目标分割模型的方面，所述至少一个处理器具体执行如下步骤：
根据第一样本集S中的第一图像及其目标标签对原始模型进行训练，以得到所述初始分割模型；
将所述第二样本集R中的每张第二图像输入到所述初始分割模型中进行预测，以得到所述每张第二图像的初始伪标签，
根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签；
根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其目标标签对所述原始模型或所述初始分割模型进行训练，以得到所述目标分割模型。
12.根据权利要求11所述的训练装置，其特征在于，在所述根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签的方面，所述至少一个处理器具体执行如下步骤：
将所述第二样本集R中第二图像及初始伪标签划分为第三样本集R1和第四样本集R2，所述第三样本集R1和第四样本集R2中均包括多张第二图像及其初始伪标签；
基于所述第一样本集S，所述第三样本集R1中的第二图像及其初始伪标签对所述初始分割模型进行训练得到第一分割模型；
基于所述第一样本集S，所述第四样本集R2中的第二图像及其初始伪标签对所述初始分割模型进行训练得到第二分割模型；
根据所述第一样本集S中每张第一图像及其目标标签，所述第三样本集R1及其基于所述第二分割模型预测出的每张第二图像的参考伪标签，所述第四样本集R2及其基于所述第一分割模型预测出的每张第二图像的参考伪标签获取所述第二样本集R中每张第二图像的目标标签。
13.根据权利要求11所述的训练装置，其特征在于，在根据所述第一样本集S中每张第一图像及其目标标签和第二样本集R中每张第二图像及其初始伪标签获取所述第二样本集R中每张第二图像的目标标签的方面，所述至少一个处理器具体执行如下步骤：
S1、根据所述第一样本集S中每张第一图像及其目标标签和所述第三样本集R1中每张第二图像及其伪标签L’i-1对所述初始分割模型进行训练，以得到分割模型Mi，根据所述分割模型Mi对第四样本集R2中的每张图像进行预测，以得到所述第四样本集R2中每张图像的伪标签Li；
S2、根据所述第一样本集S中每张第一图像及其目标标签和所述第四样本集R2中每张第二图像及其伪标签Li-1对所述初始分割模型进行训练，以得到分割模型M’i，根据所述分割模型M’i对所述第三样本集R1中的每张图像进行预测，以得到所述第三样本集R1中每张图像的伪标签L’i；
S3、当i不小于N时，将所述第四样本集R2中每张图像的伪标签Li确定为该图像的目标标签，将所述第三样本集R1中每张图像的伪标签L’i确定为该图像的目标标签；当i小于N时，令i＝i+1，并重复执行S1-S3；
其中，当i＝1时，所述第三样本集R1中每张第二图像的伪标签L’i-1为该图像的初始伪标签，所述第四样本集R2中每张第二图像的伪标签Li-1为该图像的初始伪标签。
14.根据权利要求12或13的训练装置，其特征在于，所述第三样本集R1和第四样本集R2没有交集。
15.一种图像标注装置，其特征在于，包括：
存储器，用于存储指令；以及
至少一台处理器，与所述存储器耦合；
其中，当所述至少一台处理器执行所述指令时，执行如下步骤：
获取待标注图像，
将待标注图像输入到目标分割模型进行预测，以得到所述待标注图像对应的目标标签，
所述目标分割模型是根据第一样本集S和第二样本集R对初始分割模型进行异构老师-学生优化ASTO训练得到的；
所述第一样本集S包括多张第一图像及所述多张第一图像中每张第一图像的目标标签，所述第二样本集R包括多张第二图像；
所述初始分割模型是根据所述第一样本集S对原始模型进行训练得到的。
16.根据权利要求15所述的装置，其特征在于，所述目标分割模型根据所述第一样本集S中的多张第一图像的目标标签和第二样本集R中的多张第二图像及其目标标签对所述初始分割模型或者所述原始模型进行训练得到的，
所述第二样本集R中每张第二图像的目标标签是根据所述第一样本集S中第一图像及其目标标签和所述第二样本集S中的第二图像及其参考伪标签得到的。
17.根据权利要求16所述的装置，其特征在于，所述第二样本集S中的第二图像的参考伪标签是将第三样本集R1中的图像输入到第二分割模型中预测的和将第四样本集R2中的图像输入到第一分割模型中进行预测的，
所述第一分割模型是基于所述第一样本集S，所述第三样本集R1中的第二图像及其初始伪标签对所述初始分割模型进行训练得到的；所述第二分割模型是基于所述第一样本集S，所述第四样本集R2中的第二图像及其初始伪标签对所述初始分割模型进行训练得到的；
所述第三样本集R1和所述第四样本集R2是对所述第二样本集R进行划分得到的。
18.根据权利要求17所述的装置，其特征在于，所述第三样本集R1中的第二图像的初始伪标签是将该第二图像输入到所述初始分割模型中进行预测得到的；
第四样本集R2中的第二图像的初始伪标签是将该第二图像输入到所述初始分割模型中进行预测得到的。
19.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-9中任一项所述的方法。
CN202010110477.0A 2020-02-21 2020-02-21 分割模型训练方法、图像标注方法及相关装置 Active CN111402278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010110477.0A CN111402278B (zh) 2020-02-21 2020-02-21 分割模型训练方法、图像标注方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010110477.0A CN111402278B (zh) 2020-02-21 2020-02-21 分割模型训练方法、图像标注方法及相关装置

Publications (2)

Publication Number Publication Date
CN111402278A true CN111402278A (zh) 2020-07-10
CN111402278B CN111402278B (zh) 2023-10-27

Family

ID=71413173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010110477.0A Active CN111402278B (zh) 2020-02-21 2020-02-21 分割模型训练方法、图像标注方法及相关装置

Country Status (1)

Country Link
CN (1) CN111402278B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135048A (zh) * 2020-09-23 2020-12-25 创新奇智(西安)科技有限公司 一种目标对象的自动对焦方法以及装置
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN113689436A (zh) * 2021-09-29 2021-11-23 平安科技（深圳）有限公司 图像语义分割方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090273804A1 (en) * 2008-05-01 2009-11-05 Canon Kabushiki Kaisha Document processing apparatus, document processing method, and storage medium
CN108830277A (zh) * 2018-04-20 2018-11-16 平安科技（深圳）有限公司 语义分割模型的训练方法、装置、计算机设备和存储介质
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、设备和存储介质
CN110378438A (zh) * 2019-08-07 2019-10-25 清华大学 标签容错下的图像分割模型的训练方法、装置及相关设备
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
US20200057917A1 (en) * 2018-08-17 2020-02-20 Shenzhen Dorabot Inc. Object Location Method, Device and Storage Medium Based on Image Segmentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090273804A1 (en) * 2008-05-01 2009-11-05 Canon Kabushiki Kaisha Document processing apparatus, document processing method, and storage medium
CN108830277A (zh) * 2018-04-20 2018-11-16 平安科技（深圳）有限公司 语义分割模型的训练方法、装置、计算机设备和存储介质
US20200057917A1 (en) * 2018-08-17 2020-02-20 Shenzhen Dorabot Inc. Object Location Method, Device and Storage Medium Based on Image Segmentation
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、设备和存储介质
CN110378438A (zh) * 2019-08-07 2019-10-25 清华大学 标签容错下的图像分割模型的训练方法、装置及相关设备
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN112135048A (zh) * 2020-09-23 2020-12-25 创新奇智(西安)科技有限公司 一种目标对象的自动对焦方法以及装置
CN112135048B (zh) * 2020-09-23 2022-02-15 创新奇智(西安)科技有限公司 一种目标对象的自动对焦方法以及装置
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN113689436A (zh) * 2021-09-29 2021-11-23 平安科技（深圳）有限公司 图像语义分割方法、装置、设备及存储介质
WO2023050651A1 (zh) * 2021-09-29 2023-04-06 平安科技（深圳）有限公司 图像语义分割方法、装置、设备及存储介质
CN113689436B (zh) * 2021-09-29 2024-02-02 平安科技（深圳）有限公司 图像语义分割方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111402278B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
CN111402278A (zh) 分割模型训练方法、图像标注方法及相关装置
US20200074634A1 (en) Recist assessment of tumour progression
Huang et al. Intuitionistic fuzzy c-means clustering algorithm with neighborhood attraction in segmenting medical image
Ren et al. Weakly supervised machine learning
CN107403446A (zh) 用于使用智能人工代理的图像配准的方法和系统
JP2002529825A (ja) ４Ｄ再構築（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）及び可視化（ｖｉｓｕａｌｉｚａｔｉｏｎ）のためのシステム及び方法
Xu et al. BMAnet: Boundary mining with adversarial learning for semi-supervised 2D myocardial infarction segmentation
CN112561877B (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
Wyburd et al. TEDS-Net: enforcing diffeomorphisms in spatial transformers to guarantee topology preservation in segmentations
Ferrarini et al. GAMEs: growing and adaptive meshes for fully automatic shape modeling and analysis
Xu et al. Deep reinforcement learning and its applications in medical imaging and radiation therapy: a survey
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像系统
Dorgham et al. U-NetCTS: U-Net deep neural network for fully automatic segmentation of 3D CT DICOM volume
US11521323B2 (en) Systems and methods for generating bullseye plots
CN111986242B (zh) 脑组织分区的确定方法、装置、存储介质及电子设备
AU2019204365C1 (en) Method and System for Image Segmentation and Identification
Wu et al. A comparative analysis of global shape analysis methods for the assessment of the human right ventricle
CN114972291B (zh) 基于混合增强智能的医学影像结构化自动标注方法与系统
Su et al. Res-DUnet: A small-region attentioned model for cardiac MRI-based right ventricular segmentation
Landman et al. Multiatlas segmentation
CN112950654A (zh) 基于多核学习与超像素核低秩表示的脑肿瘤图像分割方法
Evan et al. A convolutional autoencoder approach to learn volumetric shape representations for brain structures
Bergamasco et al. A bipartite graph approach to retrieve similar 3D models with different resolution and types of cardiomyopathies
Liu et al. Cuts: A fully unsupervised framework for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220215

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Applicant after: Huawei Cloud Computing Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd.

GR01 Patent grant
GR01 Patent grant