CN113570625A - 图像分割方法、图像分割模型及其训练方法 - Google Patents

图像分割方法、图像分割模型及其训练方法 Download PDF

Info

Publication number
CN113570625A
CN113570625A CN202110997809.6A CN202110997809A CN113570625A CN 113570625 A CN113570625 A CN 113570625A CN 202110997809 A CN202110997809 A CN 202110997809A CN 113570625 A CN113570625 A CN 113570625A
Authority
CN
China
Prior art keywords
image
neural network
region
sample image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110997809.6A
Other languages
English (en)
Inventor
赵轲俊
马旭宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202110997809.6A priority Critical patent/CN113570625A/zh
Publication of CN113570625A publication Critical patent/CN113570625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像分割方法、图像分割模型及其训练方法，在训练图像分割模型的第一神经网络时，将至少一个第一目标有向距离场及第一样本图像输入至第一神经网络，以使第一神经网络基于第一目标有向距离场对第一样本图像的感兴趣区域进行勾画预测，并基于勾画预测数据调节第一神经网络的网络参数，相当于使用各像素点到感兴趣区域的距离作为训练第一神经网络的对象，使得得到的图像分割模型可以基于像素点与感兴趣区域之间的距离来进行图像分割，因此对没有明显的灰度值变化界限的图像，同样可以产生良好的分割效果，可以解决目前对于一些轮廓上没有明显的灰度值变化的器官组织的自动分割无法达到临床要求的问题。

Description

图像分割方法、图像分割模型及其训练方法
技术领域
本发明涉及图像分割技术领域，特别涉及一种图像分割方法、图像分割模型及其训练方法。
背景技术
在当前的医学领域中，对于器官尤其是靶区的自动分割是一个比较热门的技术领域。随着深度学习技术逐渐成熟，也成为了自动分割的主要技术方法。
深度学习在心脏、肺、肝等脏器的自动分割表现了显著的技术优势，由于这些脏器在计算机断层扫描成像(CT)或磁共振成像(MR)等图像中会有明显的灰度值变化界限，通过学习这些界限可以容易地对器官进行自动分割。然而，肿瘤等一些组织的轮廓上通常没有明显的灰度值变化，这就使得训练结果不理想，因此，目前对于肿瘤的自动分割目前还远远无法达到临床要求。
发明内容
本发明的目的在于提供一种图像分割方法、图像分割模型及其训练方法，以解决目前对于一些轮廓上没有明显的灰度值变化的器官组织的自动分割无法达到临床要求的问题。
为解决上述技术问题，本发明提供一种图像分割模型的训练方法，所述图像分割模型包括用于图像分割的第一神经网络，所述训练方法包括：
将至少一个第一目标有向距离场及第一样本图像输入至所述第一神经网络，以使所述第一神经网络基于所述第一目标有向距离场对所述第一样本图像的感兴趣区域进行勾画预测，并基于勾画预测数据调节所述第一神经网络的网络参数，以完成对所述第一神经网络的训练。
可选的，所述第一神经网络基于所述第一目标有向距离场对所述第一样本图像的有向距离进行调整，从而完成对所述第一样本图像的感兴趣区域的勾画。
可选的，所述基于勾画预测数据调节所述第一神经网络的网络参数包括：
基于勾画预测数据与目标勾画预测数据的差异调节所述第一神经网络的网络参数。
可选的，所述图像分割模型还包括用于预测有向距离场的第二神经网络，所述训练方法还包括：
将第二样本图像输入至所述第二神经网络，以使所述第二神经网络预测所述第二样本图像中相对感兴趣区域的第一有向距离场，并计算所述第一有向距离场与所述第二样本图像的第二目标有向距离场之间的损失值调节所述第二神经网络的网络参数，以完成对所述第二神经网络的训练。
可选的，所述第一目标有向距离场通过将所述第一样本图像或所述第二样本图像输入至训练完成的所述第二神经网络所预测得到；或者，
所述第一目标有向距离场通过将所述第一样本图像或所述第二样本图像输入至训练完成的所述第二神经网络，而后利用激活函数对训练完成的所述第二神经网络的输出结果进行激活得到；或者，
所述第一目标有向距离场为计算所述第一样本图像中的像素点至所述感兴趣区域的有向距离得到。
可选的，所述第一样本图像和/或所述第二样本图像通过对原始图像进行处理得到，对所述原始图像进行处理以得到所述第一样本图像和/或所述第二样本图像的方法包括：
计算所述原始图像中各像素点到至少一个第一感兴趣区域的轮廓的有向距离；以及，
将计算得到的所有有向距离与轮廓勾画指南规定的标准相比较，调整第二感兴趣区域的轮廓，以得到所述第一样本图像或所述第二样本图像。
本发明还提供了一种图像分割模型的训练方法，所述图像分割模型包括用于图像分割的第一神经网络，所述训练方法还包括：
将所述第一样本图像输入所述第一神经网络，以使所述第一神经网络计算得到第一有向距离场，并基于所述第一有向距离场及第一目标有向距离场对所述第一样本图像的感兴趣区域进行勾画预测，以及基于所述勾画预测数据调节所述第一神经网络的参数，以完成对所述第一神经网络的训练。
可选的，所述第一神经网络基于所述第一目标有向距离场调整所述第一有向距离场，从完成对所述第一样本图像的感兴趣区域的勾画预测。可选的，所述第一样本图像通过对原始图像进行处理得到，对所述原始图像进行处理以得到所述第一样本图像的方法包括：
计算所述原始图像中各像素点到至少一个第一感兴趣区域的轮廓的有向距离；
将计算得到的所有有向距离与轮廓勾画指南规定的标准相比较，调整第二感兴趣区域的轮廓，以得到所述第一样本图像。
本发明还提供了一种图像分割模型的训练方法，所述训练方法包括：
计算原始图像中各像素点到至少一个第一感兴趣区域的轮廓的有向距离；
将计算得到的所有有向距离与轮廓勾画指南规定的标准相比较，调整第二感兴趣区域的轮廓，以得到样本图像；
将所述样本图像输入至图像分割模型，以对所述图像分割模型进行训练。
本发明还提供了一种图像分割模型，利用所述图像分割模型的训练方法训练得到。
本发明还提供了一种图像分割方法，包括：
至少将目标图像输入至所述图像分割模型，以得到所述目标图像的感兴趣区域的分割矩阵或张量。
可选的，所述目标图像的感兴趣区域为靶区，所述图像分割方法用于对靶区进行分割。
可选的，所述图像分割方法还包括：
对所述分割矩阵或所述张量进行四舍五入处理，以去除所述分割矩阵或所述张量中0～1之间的值。
综上所述，本发明提供了一种图像分割方法、图像分割模型及其训练方法，在训练所述图像分割模型的第一神经网络时，将至少一个第一目标有向距离场及第一样本图像输入至所述第一神经网络，以使所述第一神经网络基于所述第一目标有向距离场对所述第一样本图像的感兴趣区域进行勾画预测，并基于勾画预测数据调节所述第一神经网络的网络参数，相当于使用各像素点到感兴趣区域的距离作为训练所述第一神经网络的对象，使得得到的图像分割模型可以基于像素点与感兴趣区域之间的距离来进行图像分割，因此对没有明显的灰度值变化界限的图像，同样可以产生良好的分割效果，可以解决目前对于一些轮廓上没有明显的灰度值变化的器官组织的自动分割无法达到临床要求的问题。
附图说明
图1为本发明实施例一提供的图像分割模型的训练方法的流程框图；
图2为本发明实施例一提供的对原始图像进行自动处理得到第一样本图像或第二样本图像的流程图；
图3为本发明实施例一提供的图像分割方法的流程框图；
图4为本发明实施例二提供的图像分割模型的训练方法的流程框图；
图5为本发明实施例三提供的图像分割模型的训练方法的流程图。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。还应当理解的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
本申请文件中，虽然感兴趣区域(region of interesting，roi)并非是限制性的，但“感兴趣区域”通常指器官、肿瘤、以及放疗中的辅助勾画。
本发明的核心思想在于，使用各像素点到感兴趣区域的距离作为训练图像分割模型的第一神经网络的对象，使得得到的图像分割模型可以基于像素点与感兴趣区域之间的距离来进行图像分割，因此对没有明显的灰度值变化界限的图像，同样可以产生良好的分割效果，可以解决目前对于一些轮廓上没有明显的灰度值变化的器官组织的自动分割无法达到临床要求的问题。
实施例一
本实施例提供了一种图像分割模型的训练方法，所述图像分割模型包括用于图像分割的第一神经网络，所述训练方法包括：
步骤S100：将至少一个第一目标有向距离场及第一样本图像输入至所述第一神经网络，以使所述第一神经网络基于所述第一目标有向距离场对所述第一样本图像的感兴趣区域进行勾画预测，并基于勾画预测数据调节所述第一神经网络的网络参数，以完成对所述第一神经网络的训练。
图1为本实施例提供的图像分割模型的训练方法的流程框图。接下来，将结合图1对所述图像分割模型的训练方法进行详细解释。
首先准备所述第一目标有向距离场及第一样本图像。
本实施例中，所述图像分割模型还包括用于预测有向距离场的第二神经网络，所述第一目标有向距离场通过所述第二神经网络得到，所述训练方法还包括对所述第二神经网络的训练。
可以理解的是，本文中的“有向距离”是指样本图像中每个像素点到感兴趣区域轮廓的有向距离，若所述像素点在感兴趣区域轮廓上，则距离计为0，若所述像素点在感兴趣区域轮廓内，则距离计为正，若像素点在感兴趣区域轮廓外，则距离计为负；“有向距离场”是指将计算得到的所有有向距离进行而组合得到。
所述第二神经网络可采用目前常用的学习器官自动分割的网络，例如采用U形网络(U-Net)、残差网络(Res-Net)、基于U形网络的变形网络、基于残差网络的变形网络中的一种或多种的组合。在实际操作时，可根据训练的效果选择最为合适的所述第二神经网络。在另外一些实施例中，所述第二神经网络还可采用其余本领域技术人员所熟知的用于学习器官自动分割的网络，例如FCN网络等，本申请不以此为限。
挑选好具体的第二神经网络之后，开始对所述第二神经网络进行训练。具体而言，将第二样本图像输入至所述第二神经网络中，以使所述第二神经网络预测所述第二样本图像中相对感兴趣区域的第一有向距离场，并计算所述第一有向距离场与所述第二样本图像的第二目标有向距离场之间的损失值调节所述第二神经网络的网络参数，以完成对所述第二神经网络的训练。
可选的，所述第二样本图像的第二目标有向距离场可以通过计算所述第二样本图像中的像素点至所述感兴趣区域的有向距离得到，但不应以此为限。
本实施例中，利用第一损失函数计算所述第一有向距离场与所述第二样本图像的第二目标有向距离场之间的损失值，以调节所述第二神经网络的网络参数。
可选的，所述第一损失函数可采用均方根函数，即，所述第二神经网络利用均方根函数调节自身的网络参数。所述均方根函数的表达式为：
WRMS＝∑w(s-l)2；
其中，s为训练中的距离，l为训练中的参考距离，w为像素的训练权重。
在另外一些实施例中，所述第一损失函数还可采用P范数、P范数与所述均方根函数的组合函数或者其他形成的目标函数，在此不再赘述。
所述第二神经网络训练完成后，将所述第一样本图像或所述第二样本图像输入至训练完成的所述第二神经网络，并将所述第二神经网络的输出结果作为所述第一目标有向距离场。通过训练所述第二神经网络使得得到的所述第一目标有向距离场的准确度得以提高。
作为可选实施例，也可以将所述第二样本图像输入至训练完成的所述第二神经网络，而后利用激活函数对训练完成的所述第二神经网络的输出结果进行激活，从而得到所述第一目标有向距离场。
所述激活函数可采用双曲正切函数，该双曲正切函数的表达式如下：
Figure BDA0003234661490000061
其中，S表示有向距离场。
即，通过双曲正切函数对所述有向距离场进行tanh转化，可以在所述第一神经网络中引入非线性因素，强化所述第一神经网络的学习能力。
在另外一些实施例中，所述激活函数还可采用softsign函数，该softsign函数的表达式如下：
Figure BDA0003234661490000062
其中，S表示有向距离场。
上述已经解释，所述激活函数的目的是为了在所述第一神经网络中引入非线性因素，强化所述第一神经网络的学习能力，因此，所述激活函数还可采用本领域人员所熟知的可达到该目的激活函数，所述激活函数的具体选取，不构成对于本申请的限制。
作为可选实施例，所述第一目标有向距离场也可以不通过所述第二神经网络得到，而是直接通过计算所述第一样本图像中的像素点至所述感兴趣区域的有向距离得到，本发明不作限制。
应理解，所述第一目标有向距离场可以仅有一个，也可以有两个或两个以上，每个所述第一目标有向距离场均可以采用上述的任一种方式得到，例如，对于两个所述第一目标有向距离场，需要训练两个所述第二神经网络，此处不再一一举例说明。
作为可选实施例，所述第一样本图像与所述第二样本图像可以相同，也可以不同，本发明不作限制。
本实施例中，所述第一样本图像和/或所述第二样本图像可以通过对原始图像进行自动处理得到。图2为本实施例提供的对原始图像进行自动处理得到所述第一样本图像或所述第二样本图像的流程图。如图2所示，对所述原始图像进行处理以得到所述第一样本图像和/或所述第二样本图像的方法包括：
步骤S101：计算所述原始图像中各像素点到至少一个第一感兴趣区域的轮廓的有向距离；
步骤S102：将计算得到的所有有向距离与轮廓勾画指南规定的标准相比较，调整第二感兴趣区域的轮廓，得到所述第一样本图像或所述第二样本图像。
本实施例中，所述轮廓勾画指南为靶区勾画指南，其为放疗领域针对靶区勾画达成共识的指南，由于对靶区勾画，数据标注的难点在于样本图像上没有明显的边界，但是所述靶区勾画指南会参考周围器官，基于周围器官边界确定靶区边界，例如，靶区相对于某脏器，侵入其边界若干毫米，或者相对于某脏器，需要避开其边界几毫米。因此，将所述原始图像中各像素点到至少一个第一感兴趣区域(周围器官)的轮廓的有向距离与轮廓勾画指南规定的标准相比较后自动调整第二感兴趣区域(靶区)的轮廓，可解决手工勾画时因时间或勾画人不同造成的样本数据的一致性不高的问题，样本数据的一致性得以保证，进而可提升所述第一神经网络的训练效果。
应理解，所述第一感兴趣区域可以仅有一个，也可以具有两个或两个以上，也即是说，靶区的轮廓的确定可以只参考一个周围器官，也可以参考多个周围器官，所述原始图像中各像素点到每个周围器官的轮廓的有向距离均对应一个有向距离场，将多个有向距离场与轮廓勾画指南规定的标准相比较，可以更好地确定靶区。
可选的，在调整所述第二感兴趣区域的轮廓时，可以基于计算得到的有向距离将所述第二感兴趣区域的轮廓中不符合所述轮廓勾画指南的像素点去除，也可以在所述第二感兴趣区域的轮廓中添加遗漏的像素点，在此不再过多赘述。
当然，所述第一样本图像及所述第二样本图像不限于通过对原始图像进行处理得到，也可以采用其他可行的方式，例如，可以采用手工勾画的方式得到。
进一步地，所述第一神经网络可采用目前常用的学习器官自动分割的网络，例如采用U形网络(U-Net)、残差网络(Res-Net)、基于U形网络的变形网络、基于残差网络的变形网络中的一种或多种的组合。在实际操作时，可根据训练的效果选择最为合适的所述第一神经网络。在另外一些实施例中，所述第一神经网络还可采用其余本领域技术人员所熟知的用于学习器官自动分割的网络，例如FCN网络等，本申请不以此为限。
请继续参阅图1，挑选好具体的第一神经网络之后，开始对所述第一神经网络进行训练。具体而言，将准备好的所述第一目标有向距离场及所述第一样本图像输入所述第一神经网络中，所述第一神经网络基于所述第一目标有向距离场对所述第一样本图像的感兴趣区域进行勾画预测。具体而言，所述第一神经网络是基于所述第一目标有向距离场对所述第一样本图像产生的有向距离进行调整，从而完成对所述第一样本图像的感兴趣区域的勾画预测。
应理解，当所述第一目标有向距离场仅有一个时，对所述第一样本图像的感兴趣区域进行勾画预测时只会参考一个所述第一目标有向距离场，当所述第一目标有向距离场具有两个或两个以上时，对所述第一样本图像的感兴趣区域进行勾画预测时会参考所有的所述第一目标有向距离场。
然后利用第二损失函数基于勾画预测数据调节所述第一神经网络的网络参数，以完成对所述第一神经网络的训练。具体而言，基于所述勾画预测数据调节所述第一神经网络的网络参数时，是利用所述第二损失函数基于所述勾画预测数据与目标勾画预测数据的差异调节所述第一神经网络的网络参数，从而完成对所述第一神经网络的训练。本实施例相当于使用各像素点到感兴趣区域的距离作为训练所述第一神经网络的对象，使得得到的图像分割模型可以基于像素点与感兴趣区域之间的距离来进行图像分割，因此对没有明显的灰度值变化界限的图像，同样可以产生良好的分割效果，可以解决目前对于一些轮廓上没有明显的灰度值变化的器官组织的自动分割无法达到临床要求的问题。
本实施例中，所述第二损失函数可采用目前常用于自动分割深度学习网络中的损失函数(Loss function)，包括：
(1)Dice指标函数
Figure BDA0003234661490000091
其中，p是训练中的参考对象，y是训练中的预测值；
(2)交叉熵(Cross-Entropy)函数
Cross-Entropy(y,p)＝-((p)log(y)+(1-p)log(1-y))
其中，p是训练中的参考对象，y是训练中的预测值；
(3)Dice指标函数、交叉熵函数的组合或其变种形式。
在本实施例中，所述第一样本图像和所述第二样本图像可采用一层CT或MR影像，在进行神经网络的构建时，相应的，所述第一神经网络和所述第二神经网络采用二维神经网络，有向距离在二维空间上进行计算；或者，所述第一样本图像和所述第二样本图像可直接采用完整的三维CT或MR影像，在进行神经网络的构建时，相应的，所述第一神经网络和所述第二神经网络采用三维神经网络，有向距离在三维空间上进行计算。
应理解，本实施例虽然先描述了训练所述第二神经网络，再训练所述第一神经网络，但实际上，所述第一神经网络与所述第二神经网络的训练可以同步进行。
此外，本实施例还提供一种图像分割模型，所述图像分割模型采用本实施例提供的图像分割模型的训练方法训练得到。也即是说，所述图像分割模型可以仅包含训练完成的所述第一神经网络，也可以包含训练完成的所述第一神经网络和第二神经网络。
在此基础上，本实施例还提供一种图像分割方法，包括：
步骤S200：至少将目标图像输入至所述图像分割模型，以得到所述目标图像的感兴趣区域的分割矩阵或张量。
图3为本实施例提供的图像分割方法的流程框图。如图3所示，举例而言，当所述图像分割模型仅包含训练完成的所述第一神经网络时，可以计算所述第一样本图像中的像素点至所述感兴趣区域的有向距离得到所述第一目标有向距离场，然后将所述第一目标有向距离场及所述目标图像输入至训练完成的所述第一神经网络，训练完成的所述第一神经网络可以对所述目标图像的感兴趣区域进行自动分割。
进一步地，当所述图像分割模型包含训练完成的第一神经网络和第二神经网络时，可以通过将所述第一样本图像或所述第二样本图像输入至训练完成的所述第二神经网络预测得到所述第一目标有向距离场，或者通过将所述第一样本图像或所述第二样本图像输入至训练完成的所述第二神经网络，而后利用激活函数对训练完成的所述第二神经网络的输出结果进行激活得到所述第一目标有向距离场，再将所述第一目标有向距离场及所述目标图像输入至训练完成的所述第一神经网络中，训练完成的所述第一神经网络可以对所述目标图像的感兴趣区域进行自动分割。
具体的，当所述图像分割模型为二维神经网络模型时，将二维影像作为目标图像输入所述图像分割模型后，得到所述目标图像的感兴趣区域的分割矩阵；当所述图像分割模型为三维神经网络模型时，将三维影像作为目标图像输入所述图像分割模型后，得到所述目标图像的感兴趣区域的张量。
例如，输入一层CT或MR影像，经训练完成的Res-Net网络(训练完成的所述第二神经网络)得到有向距离场s，并经过tanh函数转化成有向距离场S'，将有向距离场S'作为所述第一目标有向距离场。接着，将CT或MR影像以及有向距离场S'输入训练完成的U-Net网络(训练完成的所述第一神经网络)，训练完成的U-Net网络基于有向距离场S'对CT或MR影像的感兴趣区域进行自动分割，以得到CT或MR影像的感兴趣区趣的分割矩阵或张量。
另外，过通过所述图像分割模型可能会输出0和1之间的值，因此，较佳的，所述图像分割方法还包括对所述分割矩阵或张量进行四舍五入处理，以去除所述分割矩阵或所述张量中0～1之间的值，以得到最终的分割矩阵或张量。
本实施例中，所述目标图像的感兴趣区域为靶区，所述图像分割方法用于对靶区进行分割，但不应以此为限。
实施例二
图4为本实施例提供的图像分割模型的训练方法的流程框图。如图4所示，本实施例提供了另一种图像分割模型的训练方法，所述图像分割模型包括用于图像分割的第一神经网络，所述训练方法还包括：
步骤S300：将所述第一样本图像输入所述第一神经网络，以使所述第一神经网络计算得到第一有向距离场，并基于所述第一有向距离场及第一目标有向距离场对所述第一样本图像的感兴趣区域进行勾画预测，以及基于所述勾画预测数据调节所述第一神经网络的参数，以完成对所述第一神经网络的训练。
本实施例中，获取所述第一目标有向距离场的方法可以参照实施例一中获取所述第一目标有向距离场的方法，例如可以通过训练第二神经网络得到，或者通过计算所述第一样本图像中的像素点至所述感兴趣区域的有向距离得到，在此不再过多赘述。
相较于实施例一来说，本实施例在训练所述第一神经网络时，只将所述第一样本图像输入所述第一神经网络，以使所述第一神经网络计算得到第一有向距离场，并基于所述第一有向距离场及第一目标有向距离场对所述第一样本图像的感兴趣区域进行勾画预测。本实施例中，所述第一神经网络计算得到所述第一样本图像的第一有向距离场之后，可基于所述第一目标有向距离场调整计算出的所述第一有向距离场，从完成对所述第一样本图像的感兴趣区域的勾画预测。勾画预测完成后，再基于所述勾画预测数据调节所述第一神经网络的参数，即可完成对所述第一神经网络的训练。
本实施例中，利用第三损失函数基于所述勾画预测数据调节所述第一神经网络的网络参数，以完成对所述第一神经网络的训练。类似的，基于所述勾画预测数据调节所述第一神经网络的网络参数时，是利用所述第三损失函数基于所述勾画预测数据与目标勾画预测数据的差异调节所述第一神经网络的网络参数，从而完成对所述第一神经网络的训练。
相较于上一实施例，本实施例所采用的第三损失函数相当于将所述第一损失函数和所述第二损失函数进行组合后所形成的组合函数，例如可为WMRS+a*Dice，其中a表训练权重，如此，利用一个神经网络便可训练得到最终的图像分割模型。对于所述第一损失函数和所述第二损失函数的描述请参见前文部分，在此不再赘述。
应理解，所述第一样本图像也可以采用前文所述的方式得到，在此不再过多赘述。
基于此，采用本实施例提供的图像分割模型的训练方法也可以训练处一种图像分割模型，用于对目标图像进行分割；类似的，采用本实施例中的图像分割模型也可以执行步骤S200中的图像分割方法，在此不再过多赘述。
实施例三
图5为本实施例提供的图像分割模型的训练方法的流程图。如图5所示，与实施例一和实施例二的区别在于，本实施例提供了另一种图像分割模型的训练方法，所述图像分割模型的训练方法包括：
步骤S401：计算原始图像中各像素点到至少一个第一感兴趣区域的轮廓的有向距离；
步骤S402：将计算得到的所有有向距离与轮廓勾画指南规定的标准相比较，调整第二感兴趣区域的轮廓，以得到样本图像；
步骤S403：将所述样本图像输入至图像分割模型，以对所述图像分割模型进行训练。
本实施例中，步骤S401与步骤S402分别与步骤S101与步骤S102相似，在此不再过多赘述。应理解，本实施例中的图像分割模型可以是实施例一和实施例二中的图像分割模型，也可以是其他任何能够分割靶区的图像分割模型；类似的，对所述图像分割模型中的神经网络的训练方法可以采用上文中的训练方法，也可以采用其他训练方法，本实施例不作限制。
相应的，所述图像分割模型在训练时使用的损失函数也可以是实施例一和实施例二中的损失函数，但不应以此为限。
由于本实施例可解决手工勾画时因时间或勾画人不同造成的样本数据的一致性不高的问题，样本数据的一致性得以保证，进而可提升所述图像分割模型的训练效果。
综上所述，在本实施例提供的图像分割方法、图像分割模型及其训练方法中，在训练所述图像分割模型的第一神经网络时，将至少一个第一目标有向距离场及第一样本图像输入至所述第一神经网络，以使所述第一神经网络基于所述第一目标有向距离场对所述第一样本图像的感兴趣区域进行勾画预测，并基于勾画预测数据调节所述第一神经网络的网络参数，相当于使用各像素点到感兴趣区域的距离作为训练所述第一神经网络的对象，使得得到的图像分割模型可以基于像素点与感兴趣区域之间的距离来进行图像分割，因此对没有明显的灰度值变化界限的图像，同样可以产生良好的分割效果，可以解决目前对于一些轮廓上没有明显的灰度值变化的器官组织的自动分割无法达到临床要求的问题。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。
还应当理解的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
此外还应该认识到，此处描述的术语仅仅用来描述特定实施例，而不是用来限制本发明的范围。必须注意的是，此处的以及所附权利要求中使用的单数形式“一个”和“一种”包括复数基准，除非上下文明确表示相反意思。例如，对“一个步骤”或“一个装置”的引述意味着对一个或多个步骤或装置的引述，并且可能包括次级步骤以及次级装置。应该以最广义的含义来理解使用的所有连词。以及，词语“或”应该被理解为具有逻辑“或”的定义，而不是逻辑“异或”的定义，除非上下文明确表示相反意思。此外，本发明实施例中的方法和/或设备的实现可包括手动、自动或组合地执行所选任务。

Claims (14)

1.一种图像分割模型的训练方法，其特征在于，所述图像分割模型包括用于图像分割的第一神经网络，所述训练方法包括：
将至少一个第一目标有向距离场及第一样本图像输入至所述第一神经网络，以使所述第一神经网络基于所述第一目标有向距离场对所述第一样本图像的感兴趣区域进行勾画预测，并基于勾画预测数据调节所述第一神经网络的网络参数，以完成对所述第一神经网络的训练。
2.如权利要求1所述的图像分割模型的训练方法，其特征在于，所述第一神经网络基于所述第一目标有向距离场对所述第一样本图像的有向距离进行调整，从而完成对所述第一样本图像的感兴趣区域的勾画预测。
3.如权利要求1所述的图像分割模型的训练方法，其特征在于，所述基于勾画预测数据调节所述第一神经网络的网络参数包括：
基于所述勾画预测数据与目标勾画预测数据的差异调节所述第一神经网络的网络参数。
4.如权利要求1-3中任一项所述的图像分割模型的训练方法，其特征在于，所述图像分割模型还包括用于预测有向距离场的第二神经网络，所述训练方法还包括：
将第二样本图像输入至所述第二神经网络，以使所述第二神经网络预测所述第二样本图像中相对感兴趣区域的第一有向距离场，并计算所述第一有向距离场与所述第二样本图像的第二目标有向距离场之间的损失值调节所述第二神经网络的网络参数，以完成对所述第二神经网络的训练。
5.如权利要求4所述的图像分割模型的训练方法，其特征在于，所述第一目标有向距离场通过将所述第一样本图像或所述第二样本图像输入至训练完成的所述第二神经网络所预测得到；或者，
所述第一目标有向距离场通过将所述第一样本图像或所述第二样本图像输入至训练完成的所述第二神经网络，而后利用激活函数对训练完成的所述第二神经网络的输出结果进行激活得到；或者，
所述第一目标有向距离场为计算所述第一样本图像中的像素点至所述感兴趣区域的有向距离得到。
6.如权利要求4所述的图像分割模型的训练方法，其特征在于，所述第一样本图像和/或所述第二样本图像通过对原始图像进行处理得到，对所述原始图像进行处理以得到所述第一样本图像和/或所述第二样本图像的方法包括：
计算所述原始图像中各像素点到至少一个第一感兴趣区域的轮廓的有向距离；以及，
将计算得到的所有有向距离与轮廓勾画指南规定的标准相比较，调整第二感兴趣区域的轮廓，以得到所述第一样本图像或所述第二样本图像。
7.一种图像分割模型的训练方法，其特征在于，所述图像分割模型包括用于图像分割的第一神经网络，所述训练方法还包括：
将所述第一样本图像输入所述第一神经网络，以使所述第一神经网络计算得到第一有向距离场，并基于所述第一有向距离场及第一目标有向距离场对所述第一样本图像的感兴趣区域进行勾画预测，以及基于勾画预测数据调节所述第一神经网络的参数，以完成对所述第一神经网络的训练。
8.如权利要求7所述的图像分割模型的训练方法，其特征在于，所述第一神经网络基于所述第一目标有向距离场调整所述第一有向距离场，从完成对所述第一样本图像的感兴趣区域的勾画预测。
9.如权利要求7或8所述的图像分割模型的训练方法，其特征在于，所述第一样本图像通过对原始图像进行处理得到，对所述原始图像进行处理以得到所述第一样本图像的方法包括：
计算所述原始图像中各像素点到至少一个第一感兴趣区域的轮廓的有向距离；
将计算得到的所有有向距离与轮廓勾画指南规定的标准相比较，调整第二感兴趣区域的轮廓，以得到所述第一样本图像。
10.一种图像分割模型的训练方法，其特征在于，所述训练方法包括：
计算原始图像中各像素点到至少一个第一感兴趣区域的轮廓的有向距离；
将计算得到的所有有向距离与轮廓勾画指南规定的标准相比较，调整第二感兴趣区域的轮廓，以得到样本图像；
将所述样本图像输入至图像分割模型，以对所述图像分割模型进行训练。
11.一种图像分割模型，其特征在于，利用如权利要求1～10任一项所述图像分割模型的训练方法训练得到。
12.一种图像分割方法，其特征在于，包括：
至少将目标图像输入至如权利要求11所述的图像分割模型，以得到所述目标图像的感兴趣区域的分割矩阵或张量。
13.如权利要求12所述的图像分割方法，其特征在于，所述目标图像的感兴趣区域为靶区，所述图像分割方法用于对靶区进行分割。
14.如权利要求12所述的图像分割方法，其特征在于，所述图像分割方法还包括：
对所述分割矩阵或所述张量进行四舍五入处理，以去除所述分割矩阵或所述张量中0～1之间的值。
CN202110997809.6A 2021-08-27 2021-08-27 图像分割方法、图像分割模型及其训练方法 Pending CN113570625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110997809.6A CN113570625A (zh) 2021-08-27 2021-08-27 图像分割方法、图像分割模型及其训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110997809.6A CN113570625A (zh) 2021-08-27 2021-08-27 图像分割方法、图像分割模型及其训练方法

Publications (1)

Publication Number Publication Date
CN113570625A true CN113570625A (zh) 2021-10-29

Family

ID=78172947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110997809.6A Pending CN113570625A (zh) 2021-08-27 2021-08-27 图像分割方法、图像分割模型及其训练方法

Country Status (1)

Country Link
CN (1) CN113570625A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472786A (zh) * 2018-11-05 2019-03-15 平安科技（深圳）有限公司 脑出血图像处理方法、装置、计算机设备及存储介质
CN109785306A (zh) * 2019-01-09 2019-05-21 上海联影医疗科技有限公司 器官勾画方法、装置、计算机设备和存储介质
CN110310287A (zh) * 2018-03-22 2019-10-08 北京连心医疗科技有限公司 基于神经网络的危及器官自动勾画方法、设备和存储介质
US20200126236A1 (en) * 2018-10-22 2020-04-23 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Image Segmentation using IOU Loss Functions
CN111105424A (zh) * 2019-12-19 2020-05-05 广州柏视医疗科技有限公司 淋巴结自动勾画方法及装置
CN111179231A (zh) * 2019-12-20 2020-05-19 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN112466441A (zh) * 2020-12-15 2021-03-09 海创时代(深圳)医疗科技有限公司 一种器官勾画方法及装置
US20210110533A1 (en) * 2019-10-15 2021-04-15 GE Precision Healthcare LLC Systems and methods for multi-label segmentation of cardiac computed tomography and angiography images using deep neural networks

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310287A (zh) * 2018-03-22 2019-10-08 北京连心医疗科技有限公司 基于神经网络的危及器官自动勾画方法、设备和存储介质
US20200126236A1 (en) * 2018-10-22 2020-04-23 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Image Segmentation using IOU Loss Functions
CN109472786A (zh) * 2018-11-05 2019-03-15 平安科技（深圳）有限公司 脑出血图像处理方法、装置、计算机设备及存储介质
CN109785306A (zh) * 2019-01-09 2019-05-21 上海联影医疗科技有限公司 器官勾画方法、装置、计算机设备和存储介质
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
US20210110533A1 (en) * 2019-10-15 2021-04-15 GE Precision Healthcare LLC Systems and methods for multi-label segmentation of cardiac computed tomography and angiography images using deep neural networks
CN111105424A (zh) * 2019-12-19 2020-05-05 广州柏视医疗科技有限公司 淋巴结自动勾画方法及装置
CN111179231A (zh) * 2019-12-20 2020-05-19 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
CN112466441A (zh) * 2020-12-15 2021-03-09 海创时代(深圳)医疗科技有限公司 一种器官勾画方法及装置

Similar Documents

Publication Publication Date Title
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN106920234B (zh) 一种复合式自动放疗计划的方法
CN107578416B (zh) 一种由粗到精级联深度网络的心脏左心室全自动分割方法
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
US9466093B2 (en) Anterior commissure and posterior commissure segmentation system and method
CN107622493B (zh) 用于分割医学图像中的对象的方法和数据处理单元
CN106683104B (zh) 基于集成深度卷积神经网络的前列腺磁共振图像分割方法
CN111105424A (zh) 淋巴结自动勾画方法及装置
Aranguren et al. Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm
WO2022001237A1 (zh) 鼻咽癌原发肿瘤图像自动识别方法及系统
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN110008992B (zh) 一种用于前列腺癌辅助诊断的深度学习方法
CN111932552B (zh) 一种主动脉建模的方法及装置
CN111261296A (zh) 基于条件随机向量场的肿瘤临床靶区自动勾画方法及系统
CN112907581A (zh) 一种基于深度学习的mri多类脊髓肿瘤分割方法
CN113256657B (zh) 一种高效医学图像分割方法及系统、终端、介质
CN114332563A (zh) 图像处理模型训练方法及相关装置、设备和存储介质
CN111798463B (zh) 一种头颈部ct图像中多器官自动分割方法
CN112101438B (zh) 一种左右眼分类方法、装置、服务器和存储介质
CN113570625A (zh) 图像分割方法、图像分割模型及其训练方法
CN108596900B (zh) 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备
Huang et al. Dual-term loss function for shape-aware medical image segmentation
CN111126403A (zh) 一种基于磁共振血管造影图像的脑血管分割方法和系统
Klemencic et al. Non-rigid registration based active appearance models for 3D medical image segmentation
Wei et al. AKFNET: an anatomical knowledge embedded few-shot network for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination