CN114049344A - 图像分割方法及其模型的训练方法及相关装置、电子设备 - Google Patents

图像分割方法及其模型的训练方法及相关装置、电子设备 Download PDF

Info

Publication number
CN114049344A
CN114049344A CN202111395877.1A CN202111395877A CN114049344A CN 114049344 A CN114049344 A CN 114049344A CN 202111395877 A CN202111395877 A CN 202111395877A CN 114049344 A CN114049344 A CN 114049344A
Authority
CN
China
Prior art keywords
image
segmentation model
image segmentation
segmentation
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111395877.1A
Other languages
English (en)
Inventor
叶宇翔
陈翼男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202111395877.1A priority Critical patent/CN114049344A/zh
Publication of CN114049344A publication Critical patent/CN114049344A/zh
Priority to PCT/CN2022/093353 priority patent/WO2023092959A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请公开了图像分割方法及其模型的训练方法及相关装置、电子设备，其中，图像分割模型的训练方法包括：获取包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集的医学图像样本；利用第一图像分割模型对第一医学图像集进行分割处理，得到第一医学图像集对应的第一分割结果，并确定第一图像分割模型的第一损失函数；利用第一图像分割模型和将其网络参数滑动平均而得到的第二图像分割模型分别对第二医学图像集进行分割处理，得到对应的第二分割结果和第三分割结果，并确定第一图像分割模型的第二损失函数；根据第一损失函数和第二损失函数调整图像分割模型的网络参数。上述方案，可以得到高鲁棒性的目标对象分割结果。

Description

图像分割方法及其模型的训练方法及相关装置、电子设备
技术领域
本申请涉及人工智能技术领域，特别是涉及一种图像分割方法及其模型的训练方法及相关装置、电子设备。
背景技术
对CT(Computed Tomography，计算机断层扫描)和MRI(Magnetic ResonanceImaging，核磁共振扫描)等医学图像中的器官、血管等目标对象的分割在临床具有重要意义。例如，高精准度、高鲁棒性的腹部多器官分割，有利于计算机辅助诊断、计算机辅助手术规划等。
但实际研究中，存在的普遍问题有以下几点：多中心数据集存在标注不统一问题；器官数量较多，大小形态各异；精准的多器官标注耗费巨大的人力物力，但未标注的数据却是海量且容易获取的。有鉴于此，如何提高图像分割的通用性成为极具研究价值的课题。
发明内容
本申请提供一种图像分割方法及其模型的训练方法及相关装置、电子设备。
本申请第一方面提供了一种图像分割模型的训练方法，应用于第一图像分割模型和第二图像分割模型，所述第二图像分割模型是通过将所述第一图像分割模型的网络参数滑动平均得到的；所述训练方法包括：获取医学图像样本；其中，所述医学图像样本包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集；利用所述第一图像分割模型对所述第一医学图像集进行分割处理，得到所述第一医学图像集对应的第一分割结果；基于所述第一分割结果，确定所述第一图像分割模型的第一损失函数；利用所述第一图像分割模型和所述第二图像分割模型分别对所述第二医学图像集进行分割处理，得到所述第一图像分割模型分割的所述第二医学图像集对应的第二分割结果，以及所述第二图像分割模型分割的所述第二医学图像集对应的第三分割结果；基于所述第二分割结果和所述第三分割结果，确定所述第一图像分割模型的第二损失函数；利用所述第一损失函数和所述第二损失函数，调整所述第一图像分割模型的网络参数，并基于调整后的所述第一图像分割模型的网络参数调整所述第二图像分割模型的网络参数。
因此，通过获取包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集的医学图像样本，利用第一图像分割模型对第一医学图像集进行分割处理，可以得到第一医学图像集对应的第一分割结果，于是基于第一分割结果可以确定第一图像分割模型的第一损失函数，另外利用第一图像分割模型和第二图像分割模型分别对第二医学图像集进行分割处理，可以得到第一图像分割模型分割的第二医学图像集对应的第二分割结果，以及第二图像分割模型分割的第二医学图像集对应的第三分割结果，由于第二图像分割模型是通过将第一图像分割模型的网络参数滑动平均得到的，于是基于第二分割结果和第三分割结果可以确定第一图像分割模型的第二损失函数，因此将有标注的第一医学图像集和无标注的第二医学图像集结合在一起，然后采用半监督的方式进行共同训练，可以得到高鲁棒性的目标对象分割结果。
其中，所述获取医学图像样本，包括：对采集的每个医学图像集进行平衡化处理，使所述第一医学图像集中各期象的医学图像的比例相同，和/或所述第二医学图像集中各期象的医学图像的比例相同。
因此，考虑到组成每个医学图像集的各医学图像来自不同的数据集，而每个数据集的标注不同，所用的扫描机器参数和医学图像的质量也不同，通过对采集的每个医学图像集进行平衡化处理，使第一医学图像集中各期象的医学图像的比例相同，和/或第二医学图像集中各期象的医学图像的比例相同，利用平衡化之后的医学图像样本进行训练，可以保证训练后的图像分割模型可以适用于多中心、标注不统一的医学图像数据集，具有较好的通用性。
其中，在所述基于所述第一分割结果，确定所述第一图像分割模型的第一损失函数之前，所述方法包括：基于所述第一医学图像集的标注信息和每个目标对象的体积先验信息，生成每个目标对象的损失函数权重；其中，每个目标对象的体积先验信息包括该目标对象对应的所有标注的体积均值；所述基于所述第一分割结果，确定所述第一图像分割模型的第一损失函数，包括：基于所述第一分割结果和所述每个目标对象的损失函数权重计算得到所述第一损失函数。
因此，根据每个目标对象的体积先验信息和第一医学图像集的标注信息，可以平衡和控制各个目标对象在损失函数中的权重，从而可以实现同时训练多中心、具有部分标注的医学图像集，使得图像分割模型容易收敛。
其中，所述第一损失函数包括三维分割损失函数；所述基于所述第一分割结果和所述每个目标对象的损失函数权重计算得到所述第一损失函数，包括：分析所述第一分割结果和所述第一医学图像集中的标注信息之间的差异信息，并根据所述每个目标对象的损失函数权重计算得到所述第一图像分割模型的三维分割损失函数。
因此，通过分析第一分割结果和第一医学图像集中的标注信息之间的差异信息，并根据每个目标对象的损失函数权重可以计算得到第一图像分割模型的三维分割损失函数，于是在三维空间上可以计算分割损失函数，使图像分割模型具有较高的分割性能。
其中，所述第一损失函数还包括二维投影边界损失函数；所述基于所述第一分割结果和所述每个目标对象的损失函数权重计算得到所述第一损失函数，还包括：将所述第一分割结果向二维平面进行投影，根据投影结果得到每个目标对象的分割边界信息；通过所述分割边界信息计算出每个目标对象在二维投影上的边界损失，得到所述第一图像分割模型的二维投影边界损失函数。
因此，通过将第一分割结果向二维平面进行投影，根据投影结果得到每个目标对象的分割边界信息，然后通过分割边界信息计算出每个目标对象在二维投影上的边界损失，得到第一图像分割模型的二维投影边界损失函数，于是除了在三维空间上计算分割损失函数以外，在二维层面上也同步计算各目标对象在二维投影上的边界损失，在没有引入太多计算量情况下，可以更好地对分割结果进行空间位置约束，从而提高各目标对象的边界分割的准确性，大幅提高图像分割的整体鲁棒性，并且可以加速图像分割模型的优化，提升图像分割模型的分割性能和泛化能力。
其中，所述利用所述第一图像分割模型和所述第二图像分割模型分别对所述第二医学图像集进行分割处理，得到所述第一图像分割模型分割的所述第二医学图像集对应的第二分割结果，以及所述第二图像分割模型分割的所述第二医学图像集对应的第三分割结果，包括：将所述第二医学图像集加入第一随机噪声后输入所述第一图像分割模型，得到所述第二分割结果，将所述第二医学图像集加入第二随机噪声后输入所述第二图像分割模型，得到所述第三分割结果；所述第二损失函数包括分割一致性损失函数；所述基于所述第二分割结果和所述第三分割结果，确定所述第一图像分割模型的第二损失函数，包括：分析所述第二分割结果和所述第三分割结果之间的差异信息，得到所述第一图像分割模型的分割一致性损失函数。
因此，采用半监督的训练策略，将无标注的第二医学图像集分别输入作为“学生”模型的第一图像分割模型和作为“老师”模型的第二图像分割模型中，得到对应的第二分割结果和第三分割结果，然后通过分析第二分割结果和第三分割结果之间的差异信息，可以得到第一图像分割模型和第二图像分割模型的分割一致性损失函数，于是通过分割一致性损失函数可以对图像分割模型进行优化，使图像分割模型可以生成更加稳定的分割结果，即利用大量无标注的医学图像数据来提高图像分割模型的鲁棒性。
其中，所述利用所述第一损失函数和所述第二损失函数，调整所述第一图像分割模型的网络参数，并基于调整后的所述第一图像分割模型的网络参数调整所述第二图像分割模型的网络参数；包括：将所述第一损失函数和所述第二损失函数通过反向传输算法传输到所述第一图像分割模型，以对所述第一图像分割模型的网络参数进行调整；将调整后的所述第一图像分割模型的网络参数进行滑动平均，得到调整后的所述第二图像分割模型的网络参数。
因此，将第一损失函数和第二损失函数通过反向传输算法传输到第一图像分割模型，可以对第一图像分割模型的网络参数进行调整，使第一图像分割模型得到优化，然后将调整后的第一图像分割模型的网络参数进行滑动平均，得到调整后的第二图像分割模型的网络参数，即第二图像分割模型得到优化，于是充分利用标注有至少一个目标对象的第一医学图像集和大量无标注的第二医学图像集，可以使作为“学生”模型的第一图像分割模型和作为“老师”模型的第二图像分割模型共同优化和提升，以提高图像分割模型的鲁棒性和分割性能。
为了解决上述问题，本申请第二方面提供了一种图像分割方法，所述图像分割方法包括：获取待分割医学图像；利用第一图像分割模型和/或第二图像分割模型对所述待分割医学图像进行分割处理，得到所述待分割医学图像对应的分割结果；其中，所述第一图像分割模型和所述第二图像分割模型是利用上述第一方面中的图像分割模型的训练方法得到的。
为了解决上述问题，本申请第三方面提供了一种图像分割模型的训练装置，所述训练装置包括：样本获取模块，用于获取医学图像样本；其中，所述医学图像样本包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集；图像分割模块，用于利用第一图像分割模型对所述第一医学图像集进行分割处理，得到所述第一医学图像集对应的第一分割结果；以及，利用所述第一图像分割模型和所述第二图像分割模型分别对所述第二医学图像集进行分割处理，得到所述第一图像分割模型分割的所述第二医学图像集对应的第二分割结果，以及所述第二图像分割模型分割的所述第二医学图像集对应的第三分割结果；其中，所述第二图像分割模型是通过将所述第一图像分割模型的网络参数滑动平均得到的；损失函数确定模块，用于基于所述第一分割结果，确定所述第一图像分割模型的第一损失函数；以及，基于所述第二分割结果和所述第三分割结果，确定所述第一图像分割模型的第二损失函数；参数调整模块，用于利用所述第一损失函数和所述第二损失函数，调整所述第一图像分割模型的网络参数，并基于调整后的所述第一图像分割模型的网络参数调整所述第二图像分割模型的网络参数。
为了解决上述问题，本申请第四方面提供了一种图像分割装置，所述图像分割装置包括：图像获取模块，用于获取待分割医学图像；图像分割模块，用于利用第一图像分割模型和/或第二图像分割模型对所述待分割医学图像进行分割处理，得到所述待分割医学图像对应的分割结果；其中，所述第一图像分割模型和所述第二图像分割模型是利用上述第一方面中的图像分割模型的训练方法得到的。
为了解决上述问题，本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面中的图像分割模型的训练方法，或上述第二方面中的图像分割方法。
为了解决上述问题，本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面中的图像分割模型的训练方法，或上述第二方面中的图像分割方法。
上述方案，通过获取包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集的医学图像样本，利用第一图像分割模型对第一医学图像集进行分割处理，可以得到第一医学图像集对应的第一分割结果，于是基于第一分割结果可以确定第一图像分割模型的第一损失函数，另外利用第一图像分割模型和第二图像分割模型分别对第二医学图像集进行分割处理，可以得到第一图像分割模型分割的第二医学图像集对应的第二分割结果，以及第二图像分割模型分割的第二医学图像集对应的第三分割结果，由于第二图像分割模型是通过将第一图像分割模型的网络参数滑动平均得到的，于是基于第二分割结果和第三分割结果可以确定第一图像分割模型的第二损失函数，因此将有标注的第一医学图像集和无标注的第二医学图像集结合在一起，然后采用半监督的方式进行共同训练，可以得到高鲁棒性的目标对象分割结果。
附图说明
图1是本申请图像分割模型的训练方法一实施例的流程示意图；
图2是本申请图像分割模型的训练方法另一实施例的流程示意图；
图3a是图2中步骤S24一实施例的流程示意图；
图3b是本申请图像分割模型的训练方法一应用场景的分割模型的示意图；
图4是本申请图像分割方法一实施例的流程示意图；
图5是本申请图像分割模型的训练装置一实施例的框架示意图；
图6是本申请图像分割装置一实施例的框架示意图；
图7是本申请电子设备一实施例的框架示意图；
图8是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像分割模型的训练方法一实施例的流程示意图。具体而言，图像分割模型的训练方法应用于第一图像分割模型和第二图像分割模型，第二图像分割模型是通过将第一图像分割模型的网络参数滑动平均得到的，第一图像分割模型和第二图像分割模型用于对医学图像中的目标对象进行分割，所述医学图像可以是腹部三维图像，对应的目标对象包含但不限于肝脏、左肾、右肾、脾脏、下腔静脉、主动脉、胃、胆囊等，通过第一图像分割模型和第二图像分割模型可以将腹部三维图像中的多个器官分别分割出来并进行标记。图像分割模型的训练方法可以包括如下步骤：
步骤S11：获取医学图像样本。其中，医学图像样本包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集。
具体地，第一图像分割模型和第二图像分割模型为预先构建的，医学图像样本用于训练第一图像分割模型和第二图像分割模型；以腹部三维图像为例，第一医学图像集中既包含有第一腹部图像，又包含有第二腹部图像，而第二医学图像集仅包含有第二腹部图像，其中，第一腹部图像均携带标注，而第二腹部图像均未携带标注。
在一个实施场景中，上述步骤S11包括：对采集的每个医学图像集进行平衡化处理，使所述第一医学图像集中各期象的医学图像的比例相同，和/或所述第二医学图像集中各期象的医学图像的比例相同。可以理解的是，在获取医学图像时，可以通过设计边界回归模型来定位多器官的上下边界，例如可以截取关于腹部多器官的感兴趣区域，剔除无效区域，从而可以避免医学图像对图像分割模型造成干扰。而考虑到组成每个医学图像集的各医学图像来自不同的数据集，而每个数据集的标注不同，所用的扫描机器参数和医学图像的质量也不同，于是通过对采集的每个医学图像集进行平衡化处理，可以使第一医学图像集中各期象的医学图像的比例相同，第二医学图像集中各期象的医学图像的比例相同，例如，第一医学图像集和第二医学图像集中均包含等比例的平扫期、动脉期、门脉期、延迟期的影像数据，从而利用平衡化之后的医学图像样本进行训练，可以保证训练后的图像分割模型可以适用于多中心、标注不统一的医学图像数据集，具有较好的通用性。
步骤S12：利用所述第一图像分割模型对所述第一医学图像集进行分割处理，得到所述第一医学图像集对应的第一分割结果。
步骤S13：基于所述第一分割结果，确定所述第一图像分割模型的第一损失函数。
可以理解的是，利用第一图像分割模型对第一医学图像集进行分割处理，可以得到第一医学图像集对应的第一分割结果，由于第一医学图像集中包含有携带标注的第一腹部图像，因此，通过比较第一医学图像集对应的第一分割结果以及第一医学图像集中携带标注的第一腹部图像，可以确定出第一图像分割模型的第一损失函数。
步骤S14：利用所述第一图像分割模型和所述第二图像分割模型分别对所述第二医学图像集进行分割处理，得到所述第一图像分割模型分割的所述第二医学图像集对应的第二分割结果，以及所述第二图像分割模型分割的所述第二医学图像集对应的第三分割结果。
步骤S15：基于所述第二分割结果和所述第三分割结果，确定所述第一图像分割模型的第二损失函数。
可以理解的是，利用第一图像分割模型和第二图像分割模型分别对第二医学图像集进行分割处理，可以得到第一图像分割模型分割的第二医学图像集对应的第二分割结果，以及第二图像分割模型分割的第二医学图像集对应的第三分割结果；由于第二图像分割模型是通过将第一图像分割模型的网络参数滑动平均得到的，故期望两者预测得到的第二分割结果和第三分割结果具有较高的一致性，因此通过比较第二分割结果和第三分割结果，可以确定第一图像分割模型的第二损失函数。
步骤S16：利用所述第一损失函数和所述第二损失函数，调整所述第一图像分割模型的网络参数，并基于调整后的所述第一图像分割模型的网络参数调整所述第二图像分割模型的网络参数。
可以理解的是，在得到第一损失函数和第二损失函数后，可以根据第一损失函数和第二损失函数对第一图像分割模型的网络参数进行调整，以实现对第一图像分割模型进行更新，然后通过将更新后的第一图像分割模型的网络参数滑动平均，可以得到更新后的第二图像分割模型。
另外，在图像分割模型的训练过程中，可以获取第一损失函数和第二损失函数的收敛性，当第一损失函数和第二损失函数收敛时，则可以停止对图像分割模型的网络参数的更新，而当第一损失函数和第二损失函数不收敛时，可以获取网络参数的调整次数，当调整次数达到预设次数时，则可以根据此时的网络参数确定最终的图像分割模型，以避免损失函数不收敛而影响训练效率。
在一实施例中，上述步骤S16具体包括：将所述第一损失函数和所述第二损失函数通过反向传输算法传输到所述第一图像分割模型，以对所述第一图像分割模型的网络参数进行调整；将调整后的所述第一图像分割模型的网络参数进行滑动平均，得到调整后的所述第二图像分割模型的网络参数。可以理解的是，将第一损失函数和第二损失函数通过反向传输算法传输到第一图像分割模型，可以对第一图像分割模型的网络参数进行调整，使第一图像分割模型得到优化，然后将调整后的第一图像分割模型的网络参数进行滑动平均，得到调整后的第二图像分割模型的网络参数，即第二图像分割模型得到优化，于是充分利用标注有至少一个目标对象的第一医学图像集和大量无标注的第二医学图像集，可以使作为“学生”模型的第一图像分割模型和作为“老师”模型的第二图像分割模型共同优化和提升，以提高图像分割模型的鲁棒性和分割性能。
上述方案，通过获取包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集的医学图像样本，利用第一图像分割模型对第一医学图像集进行分割处理，可以得到第一医学图像集对应的第一分割结果，于是基于第一分割结果可以确定第一图像分割模型的第一损失函数，另外利用第一图像分割模型和第二图像分割模型分别对第二医学图像集进行分割处理，可以得到第一图像分割模型分割的第二医学图像集对应的第二分割结果，以及第二图像分割模型分割的第二医学图像集对应的第三分割结果，由于第二图像分割模型是通过将第一图像分割模型的网络参数滑动平均得到的，于是基于第二分割结果和第三分割结果可以确定第一图像分割模型的第二损失函数，因此将有标注的第一医学图像集和无标注的第二医学图像集结合在一起，然后采用半监督的方式进行共同训练，可以得到高鲁棒性的目标对象分割结果。
请参阅图2，图2是本申请图像分割模型的训练方法另一实施例的流程示意图。具体而言，图像分割模型的训练方法可以包括如下步骤：
步骤S21：获取医学图像样本。其中，医学图像样本包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集。
步骤S22：基于所述第一医学图像集的标注信息和每个目标对象的体积先验信息，生成每个目标对象的损失函数权重；其中，每个目标对象的体积先验信息包括该目标对象对应的所有标注的体积均值。
具体地，第一医学图像集中既包含有携带标注的第一腹部图像，又包含有未携带标注的第二腹部图像，第一医学图像集的标注信息中有关于各目标对象的标签值Labeli，其中，有标注的目标对象的标签值为1，无标注的目标对象的标签值为0，i代表待分割目标对象索引，另外，将某个目标对象在第一医学图像集中所有的有标注的体积数据的平均值，作为该目标对象的体积先验信息Vi，因此，依据各目标对象的标签值Labeli和体积先验信息Vi，可以生成各目标对象在不同期象数据中特有的损失函数权重Wi，每个目标对象的损失函数权重可以用于损失函数的计算，其中，Wi的计算公式如下：
Figure BDA0003370321970000111
根据公式(1)可以发现，体积较大的目标对象的损失函数权重相对较低，而体积较小的目标对象的损失函数权重相对较高。
步骤S23：利用第一图像分割模型对所述第一医学图像集进行分割处理，得到所述第一医学图像集对应的第一分割结果。
本实施例中，步骤S21和步骤S23与本申请上述实施例的步骤S11和步骤S12基本类似，此处不再赘述。
步骤S24：基于所述第一分割结果和所述每个目标对象的损失函数权重计算得到所述第一损失函数。
可以理解的是，根据每个目标对象的体积先验信息和第一医学图像集的标注信息，可以平衡和控制各个目标对象在损失函数中的权重，从而可以实现同时训练多中心、具有部分标注的医学图像集，使得图像分割模型容易收敛。
请参阅图3a，图3a是图2中步骤S24一实施例的流程示意图。本实施例中，第一损失函数包括三维分割损失函数和二维投影边界损失函数，上述的第二损失函数包括分割一致性损失函数；上述步骤S24具体可以包括如下步骤：
步骤S241：分析所述第一分割结果和所述第一医学图像集中的标注信息之间的差异信息，并根据所述每个目标对象的损失函数权重计算得到所述第一图像分割模型的三维分割损失函数。
具体地，三维分割损失函数可以包括骰子系数损失函数ldice_3d和交叉熵损失函数lcross_entropy_3d等用于三维影像分割的主流分割损失函数。可以理解的是，通过分析第一分割结果和第一医学图像集中的标注信息之间的差异信息，并根据每个目标对象的损失函数权重可以计算得到第一图像分割模型的三维分割损失函数，于是在三维空间上可以计算分割损失函数，使图像分割模型具有较高的分割性能。
步骤S242：将所述第一分割结果向二维平面进行投影，根据投影结果得到每个目标对象的分割边界信息。
步骤S243：通过所述分割边界信息计算出每个目标对象在二维投影上的边界损失，得到所述第一图像分割模型的二维投影边界损失函数。
由于考虑到上述骰子系数损失函数ldice_3d和交叉熵损失函数lcross_entropy_3d本身对于分割边界没有约束，而豪斯多夫距离作为形状相似性的一种度量，能够做出较好的补充，但是在三维分割空间中计算豪斯多夫距离会占用较大计算资源，因此，可以采用高维投影至低维的思路，将三维分割结果(即第一分割结果)沿着三个平面(ZY平面、ZX平面及YX平面)分别投影，得到三个二维投影结果，然后在三个二维投影结果上得到各目标对象的分割边界信息，于是可以分别计算各目标对象在二维投影上的边界损失，得到第一图像分割模型的二维投影边界损失函数lproject_2d，采用豪斯多夫距离来引入二维投影边界损失函数lproject_2d，使图像分割模型可以更好地学习各目标对象的空间分布特征，从而可以提高目标对象的分割边界的准确度，大大降低分割存在“孤岛”的情况。
可以理解的是，通过将第一分割结果向二维平面进行投影，根据投影结果得到每个目标对象的分割边界信息，然后通过分割边界信息计算出每个目标对象在二维投影上的边界损失，得到第一图像分割模型的二维投影边界损失函数，于是除了在三维空间上计算分割损失函数以外，在二维层面上也同步计算各目标对象在二维投影上的边界损失，在没有引入太多计算量情况下，可以更好地对分割结果进行空间位置约束，从而提高各目标对象的边界分割的准确性，大幅提高图像分割的整体鲁棒性，并且可以加速图像分割模型的优化，提升图像分割模型的分割性能和泛化能力。
步骤S25：将所述第二医学图像集加入第一随机噪声后输入所述第一图像分割模型，得到所述第二分割结果，将所述第二医学图像集加入第二随机噪声后输入所述第二图像分割模型，得到所述第三分割结果。
步骤S26：分析所述第二分割结果和所述第三分割结果之间的差异信息，得到所述第一图像分割模型的分割一致性损失函数。
因此，采用半监督的训练策略，将无标注的第二医学图像集加入随机噪声后，分别输入作为“学生”模型的第一图像分割模型和作为“老师”模型的第二图像分割模型中，得到对应的第二分割结果和第三分割结果，然后通过分析第二分割结果和第三分割结果之间的差异信息，可以得到第一图像分割模型和第二图像分割模型的分割一致性损失函数lconsistency，于是通过分割一致性损失函数lconsistency可以对图像分割模型进行优化，使图像分割模型可以生成更加稳定的分割结果，即利用大量无标注的医学图像数据来提高图像分割模型的鲁棒性。
步骤S27：利用所述第一损失函数和所述第二损失函数，调整所述第一图像分割模型的网络参数，并基于调整后的所述第一图像分割模型的网络参数调整所述第二图像分割模型的网络参数。
因此，最终得到的第一损失函数包括三维分割损失函数(骰子系数损失函数ldice_3d和交叉熵损失函数lcross_entropy_3d)和二维投影边界损失函数lproject_2d，第二损失函数包括分割一致性损失函数lconsistency，于是作为“学生”模型的第一图像分割模型的网络参数可以通过最小化损失函数，采用梯度下降方式不断更新优化，其中，第一图像分割模型的损失函数Loss满足公式(2)：
Loss＝ldice_3d+lcross_entropy_3d+lconsistency+lproject_2d (2)
本实施例中，步骤S27与本申请上述实施例的步骤S16基本类似，此处不再赘述。
请结合图3b，图3b是本申请图像分割模型的训练方法一应用场景的分割模型的示意图。在图像分割模型的训练过程中，利用每个目标对象的体积先验信息和部分标注数据集的标注信息对学生模型进行训练，可以平衡和控制各个目标对象在损失函数中的权重，在三维空间上计算分割损失函数(骰子系数损失函数ldice_3d和交叉熵损失函数lcross_entropy_3d)，使图像分割模型具有较高的分割性能，在二维层面上同步计算各目标对象在二维投影上的边界损失(二维投影边界损失函数lproject_2d)，可以更好地对分割结果进行空间位置约束，从而提高各目标对象的边界分割的准确性，提升图像分割模型的分割性能和泛化能力。并且，在图像分割模型的训练过程中，除了使用部分标注数据集进行训练以外，大量无标注的多器官数据集也被利用起来，将无标注数据集加入随机噪声后，分别输入“学生”模型和“老师”模型中，得到对应的分割结果，然后通过分析“学生”模型对应的分割结果和“老师”模型对应的分割结果之间的差异信息，可以得到图像分割模型的分割一致性损失函数lconsistency，于是通过分割一致性损失函数lconsistency可以对图像分割模型进行优化，使图像分割模型可以生成更加稳定的分割结果。因此，在图像分割模型的训练过程中，将判断分割一致性的自监督的任务和多器官分割主任务相结合，可以提高图像分割模型编码和解码鲁棒性和对未知数据集泛化能力。
请参阅图4，图4是本申请图像分割方法一实施例的流程示意图。
具体而言，可以包括如下步骤：
步骤S41：获取待分割医学图像。
步骤S42：利用第一图像分割模型和/或第二图像分割模型对所述待分割医学图像进行分割处理，得到所述待分割医学图像对应的分割结果。
其中，所述第一图像分割模型和所述第二图像分割模型是利用上述的图像分割模型的训练方法得到的。
通过本申请的图像分割方法，可用于影像医生在辅助诊断阅片时，观测各腹部器官的三维形态，比如可以观测肝表面三维掩模的平滑程度；也可用于通过待分割医学图像对应的三维分割结果自动化计算各器官之间的灰度值关系，比如在平扫期，肝实质和脾脏实质的比值对于脂肪肝程度的评价具有指导意义；此外，还可以用于手术规划辅助系统中腹部器官的三维可视化。
请参阅图5，图5是本申请图像分割模型的训练装置一实施例的框架示意图。图像分割模型的训练装置50包括：样本获取模块500，用于获取医学图像样本；其中，所述医学图像样本包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集；图像分割模块502，用于利用第一图像分割模型对所述第一医学图像集进行分割处理，得到所述第一医学图像集对应的第一分割结果；以及，利用所述第一图像分割模型和所述第二图像分割模型分别对所述第二医学图像集进行分割处理，得到所述第一图像分割模型分割的所述第二医学图像集对应的第二分割结果，以及所述第二图像分割模型分割的所述第二医学图像集对应的第三分割结果；其中，所述第二图像分割模型是通过将所述第一图像分割模型的网络参数滑动平均得到的；损失函数确定模块504，用于基于所述第一分割结果，确定所述第一图像分割模型的第一损失函数；以及，基于所述第二分割结果和所述第三分割结果，确定所述第一图像分割模型的第二损失函数；参数调整模块506，用于利用所述第一损失函数和所述第二损失函数，调整所述第一图像分割模型的网络参数，并基于调整后的所述第一图像分割模型的网络参数调整所述第二图像分割模型的网络参数。
上述方案，通过将有标注的第一医学图像集和无标注的第二医学图像集结合在一起，采用半监督的方式进行共同训练，可以使图像分割模型具有高鲁棒性的目标对象分割结果和对未知医学图像的泛化能力。
在一些实施例中，样本获取模块500具体可以用于对采集的每个医学图像集进行平衡化处理，使所述第一医学图像集中各期象的医学图像的比例相同，和/或所述第二医学图像集中各期象的医学图像的比例相同。
在一些实施例中，图像分割模块502具体还可以用于基于所述第一医学图像集的标注信息和每个目标对象的体积先验信息，生成每个目标对象的损失函数权重；其中，每个目标对象的体积先验信息包括该目标对象对应的所有标注的体积均值。此时，损失函数确定模块504具体可以用于基于所述第一分割结果和所述每个目标对象的损失函数权重计算得到所述第一损失函数。
在一些实施例中，所述第一损失函数包括三维分割损失函数，损失函数确定模块504具体用于分析所述第一分割结果和所述第一医学图像集中的标注信息之间的差异信息，并根据所述每个目标对象的损失函数权重计算得到所述第一图像分割模型的三维分割损失函数。
在一些实施例中，所述第一损失函数还包括二维投影边界损失函数，损失函数确定模块504具体用于将所述第一分割结果向二维平面进行投影，根据投影结果得到每个目标对象的分割边界信息；通过所述分割边界信息计算出每个目标对象在二维投影上的边界损失，得到所述第一图像分割模型的二维投影边界损失函数。
在一些实施例中，图像分割模块502具体可以用于将所述第二医学图像集加入第一随机噪声后输入所述第一图像分割模型，得到所述第二分割结果，将所述第二医学图像集加入第二随机噪声后输入所述第二图像分割模型，得到所述第三分割结果。所述第二损失函数包括分割一致性损失函数，损失函数确定模块504具体可以用于分析所述第二分割结果和所述第三分割结果之间的差异信息，得到所述第一图像分割模型的分割一致性损失函数。
在一些实施例中，参数调整模块506具体可以用于将所述第一损失函数和所述第二损失函数通过反向传输算法传输到所述第一图像分割模型，以对所述第一图像分割模型的网络参数进行调整；将调整后的所述第一图像分割模型的网络参数进行滑动平均，得到调整后的所述第二图像分割模型的网络参数。
请参阅图6，图6是本申请图像分割装置一实施例的框架示意图。图像分割装置60包括：图像获取模块600，用于获取待分割医学图像；图像分割模块602，用于利用第一图像分割模型和/或第二图像分割模型对所述待分割医学图像进行分割处理，得到所述待分割医学图像对应的分割结果；其中，所述第一图像分割模型和所述第二图像分割模型是利用上述的图像分割模型的训练方法得到的。
上述方案，由于第一图像分割模型和第二图像分割模型是通过将有标注的第一医学图像集和无标注的第二医学图像集结合在一起，采用半监督的方式进行共同训练而得到的，第一图像分割模型和第二图像分割模型均具有高鲁棒性的目标对象分割结果和对未知医学图像的泛化能力，因此，利用第一图像分割模型和/或第二图像分割模型对待分割医学图像进行分割处理，可以得到待分割医学图像对应的精准分割结果。
请参阅图7，图7是本申请电子设备一实施例的框架示意图。电子设备70包括相互耦接的存储器71和处理器72，处理器72用于执行存储器71中存储的程序指令，以实现上述任一图像分割模型的训练方法实施例的步骤，或上述任一图像分割方法实施例的步骤。在一个具体的实施场景中，电子设备70可以包括但不限于：微型计算机、服务器。
具体而言，处理器72用于控制其自身以及存储器71以实现上述任一图像分割模型的训练方法实施例的步骤，或上述任一图像分割方法实施例中的步骤。处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由集成电路芯片共同实现。
上述方案，处理器通过将有标注的第一医学图像集和无标注的第二医学图像集结合在一起，采用半监督的方式进行共同训练，可以使图像分割模型具有高鲁棒性的目标对象分割结果和对未知医学图像的泛化能力。
请参阅图8，图8是本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质80存储有能够被处理器运行的程序指令800，程序指令800用于实现上述任一图像分割模型的训练方法实施例的步骤，或上述任一图像分割方法实施例中的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种图像分割模型的训练方法，其特征在于，应用于第一图像分割模型和第二图像分割模型，所述第二图像分割模型是通过将所述第一图像分割模型的网络参数滑动平均得到的；所述训练方法包括：
获取医学图像样本；其中，所述医学图像样本包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集；
利用所述第一图像分割模型对所述第一医学图像集进行分割处理，得到所述第一医学图像集对应的第一分割结果；
基于所述第一分割结果，确定所述第一图像分割模型的第一损失函数；
利用所述第一图像分割模型和所述第二图像分割模型分别对所述第二医学图像集进行分割处理，得到所述第一图像分割模型分割的所述第二医学图像集对应的第二分割结果，以及所述第二图像分割模型分割的所述第二医学图像集对应的第三分割结果；
基于所述第二分割结果和所述第三分割结果，确定所述第一图像分割模型的第二损失函数；
利用所述第一损失函数和所述第二损失函数，调整所述第一图像分割模型的网络参数，并基于调整后的所述第一图像分割模型的网络参数调整所述第二图像分割模型的网络参数。
2.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述获取医学图像样本，包括：
对采集的每个医学图像集进行平衡化处理，使所述第一医学图像集中各期象的医学图像的比例相同，和/或所述第二医学图像集中各期象的医学图像的比例相同。
3.根据权利要求1所述的图像分割模型的训练方法，其特征在于，在所述基于所述第一分割结果，确定所述第一图像分割模型的第一损失函数之前，所述方法包括：
基于所述第一医学图像集的标注信息和每个目标对象的体积先验信息，生成每个目标对象的损失函数权重；其中，每个目标对象的体积先验信息包括该目标对象对应的所有标注的体积均值；
所述基于所述第一分割结果，确定所述第一图像分割模型的第一损失函数，包括：
基于所述第一分割结果和所述每个目标对象的损失函数权重计算得到所述第一损失函数。
4.根据权利要求3所述的图像分割模型的训练方法，其特征在于，所述第一损失函数包括三维分割损失函数；所述基于所述第一分割结果和所述每个目标对象的损失函数权重计算得到所述第一损失函数，包括：
分析所述第一分割结果和所述第一医学图像集中的标注信息之间的差异信息，并根据所述每个目标对象的损失函数权重计算得到所述第一图像分割模型的三维分割损失函数。
5.根据权利要求4所述的图像分割模型的训练方法，其特征在于，所述第一损失函数还包括二维投影边界损失函数；所述基于所述第一分割结果和所述每个目标对象的损失函数权重计算得到所述第一损失函数，还包括：
将所述第一分割结果向二维平面进行投影，根据投影结果得到每个目标对象的分割边界信息；
通过所述分割边界信息计算出每个目标对象在二维投影上的边界损失，得到所述第一图像分割模型的二维投影边界损失函数。
6.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述利用所述第一图像分割模型和所述第二图像分割模型分别对所述第二医学图像集进行分割处理，得到所述第一图像分割模型分割的所述第二医学图像集对应的第二分割结果，以及所述第二图像分割模型分割的所述第二医学图像集对应的第三分割结果，包括：
将所述第二医学图像集加入第一随机噪声后输入所述第一图像分割模型，得到所述第二分割结果，将所述第二医学图像集加入第二随机噪声后输入所述第二图像分割模型，得到所述第三分割结果；
所述第二损失函数包括分割一致性损失函数；所述基于所述第二分割结果和所述第三分割结果，确定所述第一图像分割模型的第二损失函数，包括：
分析所述第二分割结果和所述第三分割结果之间的差异信息，得到所述第一图像分割模型的分割一致性损失函数。
7.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述利用所述第一损失函数和所述第二损失函数，调整所述第一图像分割模型的网络参数，并基于调整后的所述第一图像分割模型的网络参数调整所述第二图像分割模型的网络参数；包括：
将所述第一损失函数和所述第二损失函数通过反向传输算法传输到所述第一图像分割模型，以对所述第一图像分割模型的网络参数进行调整；
将调整后的所述第一图像分割模型的网络参数进行滑动平均，得到调整后的所述第二图像分割模型的网络参数。
8.一种图像分割方法，其特征在于，所述图像分割方法包括：
获取待分割医学图像；
利用第一图像分割模型和/或第二图像分割模型对所述待分割医学图像进行分割处理，得到所述待分割医学图像对应的分割结果；
其中，所述第一图像分割模型和所述第二图像分割模型是利用权利要求1至7任一项所述的图像分割模型的训练方法得到的。
9.一种图像分割模型的训练装置，其特征在于，所述训练装置包括：
样本获取模块，用于获取医学图像样本；其中，所述医学图像样本包括标注有至少一个目标对象的第一医学图像集和无标注的第二医学图像集；
图像分割模块，用于利用第一图像分割模型对所述第一医学图像集进行分割处理，得到所述第一医学图像集对应的第一分割结果；以及，利用所述第一图像分割模型和所述第二图像分割模型分别对所述第二医学图像集进行分割处理，得到所述第一图像分割模型分割的所述第二医学图像集对应的第二分割结果，以及所述第二图像分割模型分割的所述第二医学图像集对应的第三分割结果；其中，所述第二图像分割模型是通过将所述第一图像分割模型的网络参数滑动平均得到的；
损失函数确定模块，用于基于所述第一分割结果，确定所述第一图像分割模型的第一损失函数；以及，基于所述第二分割结果和所述第三分割结果，确定所述第一图像分割模型的第二损失函数；
参数调整模块，用于利用所述第一损失函数和所述第二损失函数，调整所述第一图像分割模型的网络参数，并基于调整后的所述第一图像分割模型的网络参数调整所述第二图像分割模型的网络参数。
10.一种图像分割装置，其特征在于，所述图像分割装置包括：
图像获取模块，用于获取待分割医学图像；
图像分割模块，用于利用第一图像分割模型和/或第二图像分割模型对所述待分割医学图像进行分割处理，得到所述待分割医学图像对应的分割结果；
其中，所述第一图像分割模型和所述第二图像分割模型是利用权利要求1至7任一项所述的图像分割模型的训练方法得到的。
11.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述的图像分割模型的训练方法，或权利要求8所述的图像分割方法。
12.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7任一项所述的图像分割模型的训练方法，或权利要求8所述的图像分割方法。
CN202111395877.1A 2021-11-23 2021-11-23 图像分割方法及其模型的训练方法及相关装置、电子设备 Pending CN114049344A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111395877.1A CN114049344A (zh) 2021-11-23 2021-11-23 图像分割方法及其模型的训练方法及相关装置、电子设备
PCT/CN2022/093353 WO2023092959A1 (zh) 2021-11-23 2022-05-17 图像分割方法及其模型的训练方法及相关装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111395877.1A CN114049344A (zh) 2021-11-23 2021-11-23 图像分割方法及其模型的训练方法及相关装置、电子设备

Publications (1)

Publication Number Publication Date
CN114049344A true CN114049344A (zh) 2022-02-15

Family

ID=80211259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111395877.1A Pending CN114049344A (zh) 2021-11-23 2021-11-23 图像分割方法及其模型的训练方法及相关装置、电子设备

Country Status (2)

Country Link
CN (1) CN114049344A (zh)
WO (1) WO2023092959A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471662A (zh) * 2022-11-03 2022-12-13 深圳比特微电子科技有限公司 语义分割模型的训练方法、识别方法、装置和存储介质
WO2023092959A1 (zh) * 2021-11-23 2023-06-01 上海商汤智能科技有限公司 图像分割方法及其模型的训练方法及相关装置、电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564134B (zh) * 2018-04-27 2021-07-06 网易（杭州）网络有限公司 数据处理方法、装置、计算设备和介质
CN110598504B (zh) * 2018-06-12 2023-07-21 北京市商汤科技开发有限公司 图像识别方法及装置、电子设备和存储介质
EP3772721A1 (en) * 2019-08-07 2021-02-10 Siemens Healthcare GmbH Shape-based generative adversarial network for segmentation in medical imaging
CN110956635B (zh) * 2019-11-15 2023-12-01 上海联影智能医疗科技有限公司 一种肺段分割方法、装置、设备及存储介质
CN111539947B (zh) * 2020-04-30 2024-03-29 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备
CN113538480A (zh) * 2020-12-15 2021-10-22 腾讯科技（深圳）有限公司 图像分割处理方法、装置、计算机设备和存储介质
CN113313697B (zh) * 2021-06-08 2023-04-07 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质
CN114049344A (zh) * 2021-11-23 2022-02-15 上海商汤智能科技有限公司 图像分割方法及其模型的训练方法及相关装置、电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023092959A1 (zh) * 2021-11-23 2023-06-01 上海商汤智能科技有限公司 图像分割方法及其模型的训练方法及相关装置、电子设备
CN115471662A (zh) * 2022-11-03 2022-12-13 深圳比特微电子科技有限公司 语义分割模型的训练方法、识别方法、装置和存储介质

Also Published As

Publication number Publication date
WO2023092959A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
Beers et al. High-resolution medical image synthesis using progressively grown generative adversarial networks
Han et al. Synthesizing diverse lung nodules wherever massively: 3D multi-conditional GAN-based CT image augmentation for object detection
CN110047056B (zh) 用深度图像到图像网络和对抗网络的跨域图像分析和合成
US8218905B2 (en) Method, system and software product for providing efficient registration of 3D image data
US8861891B2 (en) Hierarchical atlas-based segmentation
WO2018189541A1 (en) Recist assessment of tumour progression
CN111862249A (zh) 使用深度学习生成用于医学图像处理的规范成像数据的系统和方法
Ozdemir et al. Extending pretrained segmentation networks with additional anatomical structures
JP2004508856A (ja) 尤度最大化を利用した画像位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）システム及び方法
TW202125415A (zh) 三維目標檢測及模型的訓練方法、設備、儲存媒體
Cerrolaza et al. 3d fetal skull reconstruction from 2dus via deep conditional generative networks
CN114049344A (zh) 图像分割方法及其模型的训练方法及相关装置、电子设备
Fajar et al. Reconstructing and resizing 3D images from DICOM files
Fei et al. Medical image fusion based on feature extraction and sparse representation
US11798161B2 (en) Method and apparatus for determining mid-sagittal plane in magnetic resonance images
CN113112559A (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
Hu et al. Multi-rigid image segmentation and registration for the analysis of joint motion from three-dimensional magnetic resonance imaging
Liu et al. Rigid model‐based 3D segmentation of the bones of joints in MR and CT images for motion analysis
Iddrisu et al. 3D reconstructions of brain from MRI scans using neural radiance fields
Rezaeitabar et al. Automatic 3D segmentation of individual facial muscles using unlabeled prior information
Suganya et al. Intensity based image registration by maximization of mutual information
Zhou et al. Learning stochastic object models from medical imaging measurements by use of advanced ambientgans
KR20220012406A (ko) 모델 트레이닝 방법, 이미지 처리 및 정합 방법, 장치, 기기, 매체
Liu et al. Employing symmetry features for automatic misalignment correction in neuroimages
US20220076421A1 (en) Method for identifying bone images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065005

Country of ref document: HK