CN113763413B - 一种图像分割模型的训练方法、图像分割方法及存储介质 - Google Patents

一种图像分割模型的训练方法、图像分割方法及存储介质 Download PDF

Info

Publication number
CN113763413B
CN113763413B CN202111158307.0A CN202111158307A CN113763413B CN 113763413 B CN113763413 B CN 113763413B CN 202111158307 A CN202111158307 A CN 202111158307A CN 113763413 B CN113763413 B CN 113763413B
Authority
CN
China
Prior art keywords
training
labeling
image segmentation
map
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111158307.0A
Other languages
English (en)
Other versions
CN113763413A (zh
Inventor
薛武峰
陈泽键
卓炜
倪东
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202111158307.0A priority Critical patent/CN113763413B/zh
Publication of CN113763413A publication Critical patent/CN113763413A/zh
Application granted granted Critical
Publication of CN113763413B publication Critical patent/CN113763413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像分割模型的训练方法、图像分割方法及存储介质，所述图像分割模型的训练方法包括：获取无标注训练样本集和标注训练样本集，其中，所述无标注训练样本集为3D图像集，所述标注训练样本集为2D图像集；根据所述无标注训练样本集和所述标注训练样本集对原始图像分割模型进行迭代训练；将迭代训练完毕后的所述原始图像分割模型作为图像分割模型。由于本发明中可以同时采用标注数据和无标注数据对图像分割模型进行训练，一定程度上减少了图像分割模型训练时需要的有标注数据的样本数量，因此可以解决现有技术中图像分割模型需要预先借助大量的标注数据进行训练，耗费大量的人力物力的问题。

Description

一种图像分割模型的训练方法、图像分割方法及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及的是一种图像分割模型的训练方法、图像分割方法及存储介质。
背景技术
三维医学图像，包括立体医学图像及时序图像序列，于这些图像上智能自动化地分割出感兴趣区域在临床工作是一项不可或缺的任务。基于此任务，有助于后续的疾病诊断，解剖参数定量分析，预后计划和流行调查研究任务进行。借助于大量的标注数据(提前对目标感兴趣区域进行了标注的数据)，基于深度学习的自动化分割方法在近年来已经涌现了许多成功的案例。然而，图像分割模型需要预先借助大量的标注数据进行训练后才可以投入应用，由于标注数据需要专业人员基于专业知识进行精确标注，因此现有的图像分割模型的训练方法需要耗费大量的人力物力。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种图像分割模型的训练方法、图像分割方法及存储介质，旨在解决现有技术中图像分割模型需要预先借助大量的标注数据进行训练，耗费大量的人力物力的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种图像分割模型的训练方法，其中，所述方法包括：
获取无标注训练样本集和标注训练样本集，其中，所述无标注训练样本集为3D图像集，所述标注训练样本集为2D图像集；
根据所述无标注训练样本集和所述标注训练样本集对原始图像分割模型进行迭代训练；
将迭代训练完毕后的所述原始图像分割模型作为图像分割模型。
在一种实施方式中，所述原始图像分割模型包括原始编码器和原始解码器，所述根据所述无标注训练样本集和所述标注训练样本集对原始图像分割模型进行迭代训练，包括：
根据所述无标注训练样本集，确定所述原始编码器对应的特征提取误差值；
根据所述无标注训练样本集和所述标注训练样本集，确定所述原始解码器对应的特征预测误差值；
根据所述标注训练样本集，确定原始图像分割模型对应的图像分割误差值；
根据所述特征提取误差值、所述特征预测误差值以及所述图像分割误差值，确定模型总误差值；
根据所述模型总误差值对所述原始图像分割模型的模型参数进行迭代更新，直至所述模型总误差值小于预设误差阈值。
在一种实施方式中，所述根据所述无标注训练样本集，确定所述原始编码器对应的特征提取误差值，包括：
根据所述无标注训练样本集生成若干组训练样本，其中，每组所述训练样本包括第一训练切片和第二训练切片；
将所述第一训练切片输入原始编码器得到第一特征图，将所述第二训练切片输入所述原始编码器，得到第二特征图；
根据所述第一特征图，生成所述第二训练切片对应的预测编码图；
根据所述第二特征图和所述预测编码图，确定所述特征提取误差值。
在一种实施方式中，所述根据所述第一特征图，生成所述第二训练切片对应的预测编码图，包括：
将所述第一特征图输入预测器；
通过所述预测器根据所述第一特征图输出所述预测编码图。
在一种实施方式中，所述根据所述第二特征图和所述预测编码图，确定所述特征提取误差值，包括：
将所述第二特征图和所述预测编码图输入第一损失函数；
通过所述第一损失函数对所述第二特征图和所述预测编码图进行比对，得到所述特征提取误差值。
在一种实施方式中，所述根据所述无标注训练样本集和所述标注训练样本集，确定所述原始解码器对应的特征预测误差值，包括：
将所述第二特征图输入原始解码器，得到无标注样本预测分割图，根据所述无标注样本预测分割图提取无标注样本前景特征；
根据所述标注训练样本集生成标注训练切片，其中，每一所述标注训练切片均包含有标注数据；
将所述标注训练切片输入依次级联的所述原始编码器和所述原始解码器，得到标注样本预测分割图，根据所述标注数据和所述标注样本预测分割图提取标注样本前景特征和标注样本背景特征；
根据所述无标注样本前景特征、所述标注样本前景特征以及所述标注样本背景特征，确定所述特征预测误差值。
在一种实施方式中，所述根据所述无标注样本前景特征、所述标注样本前景特征以及所述标注样本背景特征，确定所述特征预测误差值，包括：
将所述无标注样本前景特征、所述标注样本前景特征以及所述标注样本背景特征输入第二损失函数；
通过所述第二损失函数对所述无标注样本前景特征和所述标注样本前景特征进行比对，以及对所述无标注样本前景特征和所述标注样本背景特征进行比对，得到所述特征预测误差值。
在一种实施方式中，所述根据所述标注训练样本集，确定原始图像分割模型对应的图像分割误差值，还包括：
根据所述标注数据，确定所述标注训练切片对应的标准分割图；
将所述标注样本预测分割图和所述标准分割图输入第三损失函数，通过所述第三损失函数对所述标注样本预测分割图和所述标准分割图进行比对，得到所述图像分割误差值。
第二方面，本发明实施例还提供一种图像分割方法，其中，所述方法包括：
获取待分割图像；
将所述待分割图像输入图像分割模型，其中，所述图像分割模型为预先采用上述任一所述的图像分割模型的训练方法训练得到的模型；
通过所述图像分割模型输出所述待分割图像对应的目标分割图。
第三方面，本发明实施例还提供一种计算机可读存储介质，其上存储有多条指令，其中，所述指令适用于由处理器加载并执行，以实现上述任一所述的图像分割模型的训练方法的步骤。
本发明的有益效果：本发明实施例通过获取无标注训练样本集和标注训练样本集，其中，所述无标注训练样本集为3D图像集，所述标注训练样本集为2D图像集；根据所述无标注训练样本集和所述标注训练样本集对原始图像分割模型进行迭代训练；将迭代训练完毕后的所述原始图像分割模型作为图像分割模型。由于本发明中可以同时采用标注数据和无标注数据对图像分割模型进行训练，一定程度上减少了图像分割模型训练时需要的有标注数据的样本数量，因此可以解决现有技术中图像分割模型需要预先借助大量的标注数据进行训练，耗费大量的人力物力的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像分割模型的训练方法的流程示意图。
图2是本发明实施例提供的利用无标注训练样本集和标注训练样本集对原始图像分割模型进行训练的流程示意图。
图3是本发明实施例提供的预测器的工作原理图。
图4是本发明实施例提供的编码器、解码器的连接关系示意图。
图5是本发明实施例提供的ACDC心脏数据集分割展示图
图6是本发明实施例提供的Prostate前列腺数据集分割展示图
图7是本发明实施例提供的CAMUS心脏超声数据集分割展示图
图8是本发明实施例提供的图像分割方法的流程示意图。
图9是本发明实施例提供的终端的原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
三维医学图像，包括立体医学图像及时序图像序列，于这些图像上智能自动化地分割出感兴趣区域在临床工作是一项不可或缺的任务。基于此任务，有助于后续的疾病诊断，解剖参数定量分析，预后计划和流行调查研究任务进行。借助于大量的标注数据(提前对目标感兴趣区域进行了标注的数据)，基于深度学习的自动化分割方法在近年来已经涌现了许多成功的案例。然而，图像分割模型需要预先借助大量的标注数据进行训练后才可以投入应用，由于标注数据需要专业人员基于专业知识进行精确标注，因此现有的图像分割模型的训练方法需要耗费大量的人力物力。
针对现有技术的上述缺陷，本发明提供一种图像分割模型的训练方法，所述方法包括：获取无标注训练样本集和标注训练样本集，其中，所述无标注训练样本集为3D图像集，所述标注训练样本集为2D图像集；根据所述无标注训练样本集和所述标注训练样本集对原始图像分割模型进行迭代训练；将迭代训练完毕后的所述原始图像分割模型作为图像分割模型。由于本发明中可以同时采用标注数据和无标注数据对图像分割模型进行训练，一定程度上减少了图像分割模型训练时需要的有标注数据的样本数量，因此可以解决现有技术中图像分割模型需要预先借助大量的标注数据进行训练，耗费大量的人力物力的问题。
如图1所示，所述方法包括如下步骤：
步骤S100、获取无标注训练样本集和标注训练样本集，其中，所述无标注训练样本集为3D图像集，所述标注训练样本集为2D图像集。
具体地，本实施例中的无标注训练样本集为3D图像集，标注训练样本集为2D图像集。其中，三维医学图像包括但不限于立体医学图像及时序图像序列。无标注训练样本集和标注训练样本集不同，其没有对应的标注数据，因此可以一定程度上减少训练样本生成所耗费的人力成本和时间成本。
如图2所示，所述方法还包括如下步骤：
步骤S200、根据所述无标注训练样本集和所述标注训练样本集对原始图像分割模型进行迭代训练。
具体地，由于原始图像分割模型是未经过训练的图像分割模型，因此其预测出来的分割图与正确的分割图之间的差距较大，因此需要无标注训练样本集和标注训练样本集对原始图像分割模型进行迭代训练，在的带训练过程中不断地优化原始图像分割模型的模型参数，使得其预测出来的分割图与正确的分割图之间的差距不断缩小，直至满足训练要求，从而得到能够自动、准确地对图像进行分割的图像分割模型。
在一种实现方式中，所述原始图像分割模型包括原始编码器和原始解码器，所述步骤S200具体包括如下步骤：
步骤S201、根据所述无标注训练样本集，确定所述原始编码器对应的特征提取误差值；
步骤S202、根据所述无标注训练样本集和所述标注训练样本集，确定所述原始解码器对应的特征预测误差值；
步骤S203、根据所述标注训练样本集，确定原始图像分割模型对应的图像分割误差值；
步骤S204、根据所述特征提取误差值、所述特征预测误差值以及所述图像分割误差值，确定模型总误差值；
步骤S205、根据所述模型总误差值对所述原始图像分割模型的模型参数进行迭代更新，直至所述模型总误差值小于预设误差阈值.
具体地，本实施例的训练目标主要有三个，第一个是提升编码器执行特征提取任务的准确性，第二个是提升解码器执行特征预测任务的准确性，第三个是提升模型执行图像分割任务的准确性。因此针对这三个训练目标，需要确定各目标对应的当前执行结果与正确结果之间的差距，即得到特征提取误差值、特征预测误差值以及图像分割误差值，这三个误差值可以反映原始图像分割模型的输出结果与正确结果之间的整体差距。因此可以以这三个误差值的总和，即模型总误差值为导向对原始分割模型的模型参数进行迭代更新，直至所述模型总误差值小于预设误差阈值，表示当前的图像分割模型的输出结果与正确结果之间的差距已经收敛到很小，则结束模型训练。
在一种实现方式中，所述步骤S201具体包括如下步骤：
步骤S2011、根据所述无标注训练样本集生成若干组训练样本，其中，每组所述训练样本包括第一训练切片和第二训练切片；
步骤S2012、将所述第一训练切片输入原始编码器得到第一特征图，将所述第二训练切片输入所述原始编码器，得到第二特征图；
步骤S2013、根据所述第一特征图，生成所述第二训练切片对应的预测编码图；
步骤S2014、根据所述第二特征图和所述预测编码图，确定所述特征提取误差值。
具体地，无标注训练样本集中可以提取出若干训练切片，且每一张训练切片均不存在任何标记。本实施例在采用无标注训练样本集对编码器进行训练时，需要先将无标注训练样本集中的训练切片两两分组，得到若干组训练样本，并且为了方便说明，本实施例将每一组训练样本中的两张训练切片分别定义为第一训练切片和第二训练切片。编码器主要是通过若干组训练样本迭代训练而成，因此本实施例以一组训练样本的训练过程为例来说明编码器的训练：首先需要将第一训练切片输入原始编码器中，原始编码器基于第一训练切片生成其对应的特征图，即第一特征图；并第二训练切片也输入原始编码器中，原始编码器基于第二训练切片生成其对应的特征图，即第二特征图。为了对原始编码器的模型参数进行优化/更新，以提高其特征提取效果，本实施例根据第一特征图生成第二训练切片对应的预测编码图，由于预测编码图是预测出来的第二训练切片的特征图，而第二特征图在一定程度上可以看做第二训练切片对应的正确特征图，因此基于预测编码图和第二特征图可以确定原始编码器的特征提取误差值，在后续可以以此为导向对原始编码器的模型参数进行更新。可以理解的是，为了提高编码器的训练效率，还可以基于第二特征图生成第一训练切片对应的预测编码图，并基于第一训练切片对应的预测编码图和第一特征图确定原始编码器的特征提取误差值，并以此更新原始编码器的模型参数。
在一种实现方式中，所述步骤S2013，具体包括如下步骤：
步骤S20131、将所述第一特征图输入预测器；
步骤S20132、通过所述预测器根据所述第一特征图输出所述预测编码图。
具体地，为了基于第一特征图生成预测编码图，本实施例在对编码器进行训练的过程中，需要利用预测器。预测器可以挖掘各训练切片之间的结构一致性信息和相互可预测性信息(即基于切片间空间维度上相似的空间布局或者时间维度上平滑的器官运动所得到的信息)，以此来弥补训练切片无标注的问题。可以理解的是，由于无标注训练样本集为3D图像集，三维医学数据内部的切片存在一定的连续性和相似的空间布局，进而存在相互的可预测性关系，因此可以利用此来挖掘模型的表征空间。
在一种实现方式中，所述步骤S20132，具体包括：通过所述预测器根据所述第一特征图，生成全局特征图、距离编码以及位置特征图，并根据所述全局特征图、所述位置特征图以及所述距离编码生成所述预测编码图，其中，所述距离编码数据用于反映所述第一训练切片和所述第二训练切片之间的相对距离。
具体地，如图3所示，将第一特征图输入预测器中，预测器内的注意力模块建模可以产生第一特征图对应的全局特征图；然后切面预测器基于第一训练切片和第二训练切片之间的相对距离(切片于三维数据的索引差)确定距离编码，其中，距离编码可以基于被正则初始化后的相对距离编码表确定，该相对距离编码表的维度为|2K+1|×C(K为最大相对距离，C为特征通道方向的维度数)，每次预测时将会根据相对距离编码表提取相关的距离编码1xC；之后通过距离编码和第一特征图相乘得到位置特征图；最后通过一个卷积核尺寸为1x1的卷积将全局特征和位置特征图在特征维度上进行拼接，得到预测编码图。
在一种实现方式中，所述步骤S2014具体包括如下步骤：
步骤S20141、将所述第二特征图和所述预测编码图输入第一损失函数；
步骤S20142、通过所述第一损失函数对所述第二特征图和所述预测编码图进行比对，得到所述特征提取误差值。
具体地，第一损失函数相当于编码器对应的损失函数，用于评价编码器的特征提取效果。本实施例将第二特征图和预测编码图一起输入第一损失函数中，就可以计算出两者之间的差距，进而得到原始编码器对应的特征提取误差值。后续可以基于该特征提取误差值反向更新原始编码器的模型参数，以提高其特征提取的准确性。
举例说明，如图2所示，将两张从无标注数据随机采样的切片图像和/>分别经过编码器后得到各自用于反映区域相关的纹理信息的局部特征，即第一特征图/>和第二特征图/>然后，将/>输入预测器中，通过预测期来预测另一张切片图像的特征图，即预测编码图：
对局部特征的所有位置u，这一任务优化的目标方程，即第一损失函数为：
其中，当i1＝i2时，代表着相同目标内切片预测任务，反之为跨目标切片预测任务。A为归一化参数。
在一种实现方式中，所述步骤S202具体包括如下步骤：
步骤S2021、将所述第二特征图输入原始解码器，得到无标注样本预测分割图，根据所述无标注样本预测分割图提取无标注样本前景特征；
步骤S2022、根据所述标注训练样本集生成标注训练切片，其中，每一所述标注训练切片均包含有标注数据；
步骤S2023、将所述标注训练切片输入依次级联的所述原始编码器和所述原始解码器，得到标注样本预测分割图，根据所述标注数据和所述标注样本预测分割图提取标注样本前景特征和标注样本背景特征；
步骤S2024、根据所述无标注样本前景特征、所述标注样本前景特征以及所述标注样本背景特征，确定所述特征预测误差值。
具体地，由于标注数据的生成需要消耗大量的人力成本和时间成本，因此为了减少人力成本和时间成本，本实施例采用无标注训练样本集和标注训练样本集相结合的方式来确定原始解码器对应的特征预测误差值，后续就可以以特征预测误差值对原始解码器的参数进行更新。具体地，由于无标注训练切片没有任何标注数据，因此将其输入到依次级联的原始编码器和原始解码器后，原始解码器会输出一个预测的粗略分割图，即无标注样本预测分割图，基于无标注样本预测分割图只能提取出无标注训练切片对应的前景特征，即无标注样本前景特征。而由于标注训练切片有标注数据(金数据)，因此将标注训练切片输入依次级联的原始编码器和原始解码器后，解码器会预测出标注样本预测分割图，基于标注训练切片对应的标注数据可以从标注样本预测分割图中提取出标注训练切片对应的标注样本前景特征和标注样本背景特征。由于无标注样本前景特征和标注样本前景特征之间的差距可以反映出原始解码器针对前景特征预测的效果，而无标注样本前景特征和标注样本背景特征之间的差距可以反映出原始解码器针对背景特征预测的效果，因此基于无标注样本前景特征、标注样本前景特征以及标注样本背景特征就可以确定原始解码器的特征预测误差值，后续可以以特征预测误差值为导向对原始解码器的参数进行更新，使得更新后的解码器可以准确地区分出不同切片的前景特征和背景特征。
在一种实现方式中，为了提高模型的训练效果，本实施例在根据无标注训练样本集/标注训练样本集生成对应的训练切片时，需要对无标注训练样本集/标注训练样本集中的图像进行预处理。具体地，本实施例针对不同类型的图像提供不同的预处理方法。例如当图像为三维医学图像，需要对三维医学图像进行重采样到固定的分辨率和图像尺寸(192，192)，并将重采样得到的图像的灰度归一化到[0，1]。当图像为时序图像序列(指时间上的三维数据)，需要对其等间隔帧采样(例如每10帧采样一次)，并重采样图像到固定尺寸(256，256)，然后重采样得到的图像的灰度归一化到[-1，1]。
举例说明，在预处理中，对序列数据的帧采样操作为：以舒张末期为第一帧，收缩末期为最后一帧，等间隔采样10帧。对所有数据的尺寸变换操作为：对图像使用双线性插值，对图像对应的标注数据使用最近邻插值法。在测试时将预测结果用最近邻插值法重采样到原尺寸。
在一种实现方式中，所述步骤S2024具体包括如下步骤：
步骤S20241、将所述无标注样本前景特征、所述标注样本前景特征以及所述标注样本背景特征输入第二损失函数；
步骤S20242、通过所述第二损失函数对所述无标注样本前景特征和所述标注样本前景特征进行比对，以及对所述无标注样本前景特征和所述标注样本背景特征进行比对，得到所述特征预测误差值。
具体地，第二损失函数相当于原始解码器对应的损失函数，用于评价原始解码器的前景、背景预测效果。因此将无标注样本前景特征、标注样本前景特征以及标注样本背景特征输入第二损失函数后，第二损失函数会自动比较无标注样本前景特征和标注样本前景特征之间的差距，以及自动比较无标注样本前景特征和标注样本背景特征之间的差距，以生成用于反映这两种差距的特征预测误差值，后续可以以特征预测误差值为导向反向更新原始解码器的模型参数，使得更新后的解码器对前景特征和背景特征的可分辨性明显提高。
举例说明，对于输入的标注训练切片及其对应的标注数据/>经过解码器后可提取相应区域池化后的标注样本前景特征/>及标注样本背景特征/>对于输入的无标注训练切片/>及其对应的第二特征图(即图2中的概率图)/>经过解码器后可提取相应区域池化后的无标注样本前景特征/>上述过程的公式化为：
其中，y＝＝1为前景，反之为背景。topk为选取最高响应的k个区域进行池化。然后，基于这些提取后的标注样本前景特征、标注样本背景征、无标注样本前景特征，进行前景-背景特征的校正任务，第二损失函数Lfbc，具体为：
其中，τ为超参数，设为0.1，B为归一化参数。可以理解的是，由于同一医学数据库内的图像语义范围是相对一致的，且解码器的特征与预测结果相关，因此标注样本前景特征、标注样本背景征、无标注样本前景特征存在一定的一致性关系，可以利用此来校正模型的预测空间。
在一种实现方式中，所述步骤S203具体包括如下步骤：
步骤S2031、根据所述标注数据，确定所述标注训练切片对应的标准分割图；
步骤S2032、将所述标注样本预测分割图和所述标准分割图输入第三损失函数，通过所述第三损失函数对所述标注样本预测分割图和所述标准分割图进行比对，得到所述图像分割误差值。
具体地，为了提高图像分割模型执行分割任务的准确性，本实施例还需要采用标注训练切片单独对图像分割模型的分割支路进行优化。具体地，由于标注训练切片具有标注数据，因此基于标注数据可以确定标注训练切片对应的正确分割图，即标准分割图。由于第三损失函数是用于评价图像分割模型的分割效果的，因此将标注样本预测分割图和标准分割图一起输入第三损失函数后，即可以得到图像分割误差值，其中，图像分割误差值可以反映原始图像分割模型预测的分割图与正确的分割图之间的差距。后续可以以图像分割误差值为导向对原始图像分割模型的模型参数进行更新，使得更新后的图像分割模型的图像分割结果更加准确。
举例说明，第三损失函数可以为：
其中，i为图像索引，即基于标注数据得到的标准分割图；c为预测类别索引，即标注样本预测分割图；C为归一化参数。
在一种实现方式中，所述步骤S204具体包括：将所述特征提取误差值、所述特征预测误差值以及所述图像分割误差值进行叠加，得到所述模型总误差值。
举例说明，假设模型总误差值为L，特征提取误差值为Lpred，特征预测误差值为Lfbc，图像分割误差值为Lseg，则有：
L＝Lseg+λ1Lpred+λ2Lfbc
其中，λ1和λ2为超参数，可以设置为0.5，0.5。
在一种实现方式中，本实施例针对标注训练样本集每次采样4张切，针对无标注训练样本集每次采用2个三维数据，每个三维数据采样3张切片用于预测任务，总共10张组成一个批次用于一次迭代。网络优化所采用的优化器为Adam优化器，总共迭代10000次，学习率设置为0.001。
如图1所示，所述方法还包括如下步骤：
步骤S300、将迭代训练完毕后的所述原始图像分割模型作为图像分割模型。
由于迭代训练完毕以后得到的图像分割模型，其预测出的分割图像与正确的分割图像之间的差距相对未经过训练时已经收敛到很小了，因此可以判定其已经具备较佳的图像分割能力，不需要再进行训练，可以直接投入应用。
如图4所示，本实施例中的图像分割模型主要采用的是二维U-Net网络，即基于编码器-解码器结构的全卷积网络。其中，采用了跳跃连接的方式将编码器的输出与解码器的输入相连接，以实现将编码器获取的语义结构特征传递到解码器进行辅助分割。其中，图像分割模型的搭建细节如表1所示：
表1.图像分割模型的网络细节
/>
其中，预测器仅在训练期间使用，测试期间将会舍弃。编码器里包含6层网络，模块组成包括：下采样Maxpool(步长及窗口为2的最大值池化操作)及卷积块ConvBlock(包含一个3x3的卷积操作及ReLU激活层和批正则化操作)。解码器包含6层网络，其中最后一层为分割层，模块组成包括：上采样UpSample(最近邻插值法)，卷积块ConvBlock及跳跃链接Cat(用于连接编码器及解码器的特征)。此外，本实施例主要是使用Python编程语言及Pytorch深度学习框架搭建网络，并应用kaiming初始化参数，该参数初始化有利于网络优化。
为了证明本发明采用的图像分割模型的图像分割效果更佳，发明人在三个大型公开数据库上进行了验证实验。其中，训练时采用的训练样本为：ACDC(2/8个体数据，约20/80张标注图像)，Prostate(2/8个体数据，约40/160张标注图像)及CAMUS(8/32个序列，16/64张标注图像)。用于评价基于上述训练样本训练出的图像分割模型的评价指标为DICE指数，其计算了预测分割图和基于标注数据确定的正确分割图的相似度。通过以下公式计算：
其中，X为预测分割图，Y为基于标注数据确定的正确分割图。
图5、6、7展示了分割结果：3个不同数据集(ACDC，Prostate，CAMUS)的分割结果表明，在仅仅基于2个三维数据(约20张标注图像)的情况下，分割指标Dice指数可以达到(ACDC心脏分割挑战赛数据集：0.834；CAMUS心脏超声挑战赛数据集：0.768，显著高于最先进的方法(ACDC：0.789；CAMUS:0.730)。因此可以证明本发明在仅利用少量标注数据的情景下，依旧能达到较高的分割精度，并保证了三维数据内部的连续一致性，即在小样本的情景设置下，本发明达到了最先进的分割精度。
基于上述实施例，本发明还提供了一种图像分割方法，如图8所示，所述方法包括：
步骤S10、获取待分割图像；
步骤S20、将所述待分割图像输入图像分割模型，其中，所述图像分割模型为预先采用上述任一所述的图像分割模型的训练方法训练得到的模型；
步骤S30、通过所述图像分割模型输出所述待分割图像对应的目标分割图。
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图9所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现图像分割模型的训练方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图9中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一种实现方式中，所述终端的存储器中存储有一个或者一个以上的程序，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行图像分割模型的训练方法的指令。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种图像分割模型的训练方法、图像分割方法及存储介质，所述图像分割模型的训练方法包括：获取无标注训练样本集和标注训练样本集，其中，所述无标注训练样本集为3D图像集，所述标注训练样本集为2D图像集；根据所述无标注训练样本集和所述标注训练样本集对原始图像分割模型进行迭代训练；将迭代训练完毕后的所述原始图像分割模型作为图像分割模型。由于本发明中可以同时采用标注数据和无标注数据对图像分割模型进行训练，一定程度上减少了图像分割模型训练时需要的有标注数据的样本数量，因此可以解决现有技术中图像分割模型需要预先借助大量的标注数据进行训练，耗费大量的人力物力的问题。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种图像分割模型的训练方法，其特征在于，所述方法包括：
获取无标注训练样本集和标注训练样本集，其中，所述无标注训练样本集为3D图像集，所述标注训练样本集为2D图像集；
根据所述无标注训练样本集和所述标注训练样本集对原始图像分割模型进行迭代训练；
将迭代训练完毕后的所述原始图像分割模型作为图像分割模型；
所述原始图像分割模型包括原始编码器和原始解码器，所述根据所述无标注训练样本集和所述标注训练样本集对原始图像分割模型进行迭代训练，包括：
根据所述无标注训练样本集，确定所述原始编码器对应的特征提取误差值；
根据所述无标注训练样本集和所述标注训练样本集，确定所述原始解码器对应的特征预测误差值；
根据所述标注训练样本集，确定原始图像分割模型对应的图像分割误差值；
根据所述特征提取误差值、所述特征预测误差值以及所述图像分割误差值，确定模型总误差值；
根据所述模型总误差值对所述原始图像分割模型的模型参数进行迭代更新，直至所述模型总误差值小于预设误差阈值；
所述根据所述无标注训练样本集，确定所述原始编码器对应的特征提取误差值，包括：
根据所述无标注训练样本集生成若干组训练样本，其中，每组所述训练样本包括第一训练切片和第二训练切片；
将所述第一训练切片输入原始编码器得到第一特征图，将所述第二训练切片输入所述原始编码器，得到第二特征图；
根据所述第一特征图，生成所述第二训练切片对应的预测编码图；
根据所述第二特征图和所述预测编码图，确定所述特征提取误差值。
2.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述根据所述第一特征图，生成所述第二训练切片对应的预测编码图，包括：
将所述第一特征图输入预测器；
通过所述预测器根据所述第一特征图输出所述预测编码图。
3.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述根据所述第二特征图和所述预测编码图，确定所述特征提取误差值，包括：
将所述第二特征图和所述预测编码图输入第一损失函数；
通过所述第一损失函数对所述第二特征图和所述预测编码图进行比对，得到所述特征提取误差值。
4.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述根据所述无标注训练样本集和所述标注训练样本集，确定所述原始解码器对应的特征预测误差值，包括：
将所述第二特征图输入原始解码器，得到无标注样本预测分割图，根据所述无标注样本预测分割图提取无标注样本前景特征；
根据所述标注训练样本集生成标注训练切片，其中，每一所述标注训练切片均包含有标注数据；
将所述标注训练切片输入依次级联的所述原始编码器和所述原始解码器，得到标注样本预测分割图，根据所述标注数据和所述标注样本预测分割图提取标注样本前景特征和标注样本背景特征；
根据所述无标注样本前景特征、所述标注样本前景特征以及所述标注样本背景特征，确定所述特征预测误差值。
5.根据权利要求4所述的图像分割模型的训练方法，其特征在于，所述根据所述无标注样本前景特征、所述标注样本前景特征以及所述标注样本背景特征，确定所述特征预测误差值，包括：
将所述无标注样本前景特征、所述标注样本前景特征以及所述标注样本背景特征输入第二损失函数；
通过所述第二损失函数对所述无标注样本前景特征和所述标注样本前景特征进行比对，以及对所述无标注样本前景特征和所述标注样本背景特征进行比对，得到所述特征预测误差值。
6.根据权利要求4所述的图像分割模型的训练方法，其特征在于，所述根据所述标注训练样本集，确定原始图像分割模型对应的图像分割误差值，还包括：
根据所述标注数据，确定所述标注训练切片对应的标准分割图；
将所述标注样本预测分割图和所述标准分割图输入第三损失函数，通过所述第三损失函数对所述标注样本预测分割图和所述标准分割图进行比对，得到所述图像分割误差值。
7.一种图像分割方法，其特征在于，所述方法包括：
获取待分割图像；
将所述待分割图像输入图像分割模型，其中，所述图像分割模型为预先采用上述权利要求1-6任一所述的图像分割模型的训练方法训练得到的模型；
通过所述图像分割模型输出所述待分割图像对应的目标分割图。
8.一种计算机可读存储介质，其上存储有多条指令，其特征在于，所述指令适用于由处理器加载并执行，以实现上述权利要求1-6任一所述的图像分割模型的训练方法的步骤。
CN202111158307.0A 2021-09-30 2021-09-30 一种图像分割模型的训练方法、图像分割方法及存储介质 Active CN113763413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111158307.0A CN113763413B (zh) 2021-09-30 2021-09-30 一种图像分割模型的训练方法、图像分割方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111158307.0A CN113763413B (zh) 2021-09-30 2021-09-30 一种图像分割模型的训练方法、图像分割方法及存储介质

Publications (2)

Publication Number Publication Date
CN113763413A CN113763413A (zh) 2021-12-07
CN113763413B true CN113763413B (zh) 2023-11-24

Family

ID=78798533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111158307.0A Active CN113763413B (zh) 2021-09-30 2021-09-30 一种图像分割模型的训练方法、图像分割方法及存储介质

Country Status (1)

Country Link
CN (1) CN113763413B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596184A (zh) * 2018-04-25 2018-09-28 清华大学深圳研究生院 图像语义分割模型的训练方法、可读存储介质及电子设备
CN111260055A (zh) * 2020-01-13 2020-06-09 腾讯科技（深圳）有限公司 基于三维图像识别的模型训练方法、存储介质和设备
CN111932546A (zh) * 2020-08-20 2020-11-13 展讯通信（上海）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN113344896A (zh) * 2021-06-24 2021-09-03 鹏城实验室 一种胸部ct图像病灶分割模型的训练方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596184A (zh) * 2018-04-25 2018-09-28 清华大学深圳研究生院 图像语义分割模型的训练方法、可读存储介质及电子设备
CN111260055A (zh) * 2020-01-13 2020-06-09 腾讯科技（深圳）有限公司 基于三维图像识别的模型训练方法、存储介质和设备
CN111932546A (zh) * 2020-08-20 2020-11-13 展讯通信（上海）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN113344896A (zh) * 2021-06-24 2021-09-03 鹏城实验室 一种胸部ct图像病灶分割模型的训练方法及系统

Also Published As

Publication number Publication date
CN113763413A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN111814741B (zh) 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN112861722B (zh) 一种半监督深度图卷积的遥感土地利用语义分割方法
CN112585686A (zh) 确定蛋白结构的机器学习
CN111369542B (zh) 血管标记方法、图像处理系统和存储介质
CN112001399B (zh) 基于局部特征显著化的图像场景分类方法和装置
Liu et al. Pseudoclick: Interactive image segmentation with click imitation
US20220058839A1 (en) Translation of images of stained biological material
CN112184888A (zh) 三维血管建模的方法及装置
CN114419020B (zh) 医学图像分割方法、装置、计算机设备及存储介质
CN112668608B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN113012169A (zh) 一种基于非局部注意力机制的全自动抠图方法
CN113902945A (zh) 一种多模态乳腺磁共振图像分类方法及系统
CN115457057A (zh) 一种采用深监督策略的多尺度特征融合腺体分割方法
CN115330669A (zh) 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质
CN113763413B (zh) 一种图像分割模型的训练方法、图像分割方法及存储介质
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN111582449B (zh) 一种目标域检测网络的训练方法、装置、设备及存储介质
CN116958693A (zh) 图像分析方法、装置、设备、存储介质和程序产品
CN116433903A (zh) 实例分割模型构建方法、系统、电子设备及存储介质
CN113256651B (zh) 模型训练方法及装置、图像分割方法及装置
CN116824146B (zh) 一种小样本ct图像分割方法、系统、终端及存储介质
Yari et al. Automated Measurement of Ovary Development in Atlantic Salmon Using Deep Learning
CN117174261B (zh) 一种用于医学影像的多类型标注流程集成系统
CN113052848B (zh) 一种基于多尺度注意力网络的小鸡图像分割方法及系统
Myers et al. Regression-Based Elastic Metric Learning on Shape Spaces of Cell Curves

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant