CN113963015A - 图像分割方法、装置、计算机设备和存储介质 - Google Patents
图像分割方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113963015A CN113963015A CN202111341803.XA CN202111341803A CN113963015A CN 113963015 A CN113963015 A CN 113963015A CN 202111341803 A CN202111341803 A CN 202111341803A CN 113963015 A CN113963015 A CN 113963015A
- Authority
- CN
- China
- Prior art keywords
- image
- scan
- flat
- segmentation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000011218 segmentation Effects 0.000 claims abstract description 124
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000004590 computer program Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000002372 labelling Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims description 22
- 238000012805 post-processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 12
- 238000012952 Resampling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 8
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 8
- 201000002528 pancreatic cancer Diseases 0.000 description 8
- 208000008443 pancreatic carcinoma Diseases 0.000 description 8
- 210000001165 lymph node Anatomy 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000002872 contrast media Substances 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 210000000920 organ at risk Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像分割方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括:获取待测对象的初始扫描图像,并将初始扫描图像输入预设的图像处理模型中,获得目标分割图像;目标分割图像为初始扫描图像对应的掩模图像,掩模图像中包括初始扫描图像中的至少一种标注对象;其中,图像处理模型包括生成网络模型和图像分割模型,生成网络模型用于根据初始扫描图像生成辅助图像;图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。本申请实施例中,可以基于初始扫描图像实现对不同标注对象的自动分割,无需人工在初始扫描图像中手动勾画出不同对象,避免手动勾画错误的情况,提高勾画的效率以及勾画的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像分割方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在胰腺癌放疗流程中,为了能够清晰的显示胰腺癌原发病灶、区域淋巴结以及其周围的血管或其他危及器官的影像信息,通常需要在扫描图像中勾画出胰腺癌原发病灶、区域淋巴结以及其周围的血管或其他危及器官。
传统技术中,医生在获取到患者胰腺癌肿瘤区域的初始扫描图像后,在该初始扫描图像的对比度较低的情况下,医生勾画胰腺癌原发病灶时比较困难,因此,需要进一步获取该胰腺癌肿瘤区域对应的对比度较高的目标扫描图像,医生借助该目标扫描图像,在初始扫描图像中勾画出胰腺癌原发病灶、区域淋巴结以及其周围的血管或其他危及器官。例如:医生可以获取胰腺癌肿瘤区域的平扫CT图像以及对比度高于该平扫CT图像的增强CT图像,并借助该增强CT图像,通过手动勾画的方式,在该平扫CT图像中勾画出肿瘤原发病灶和周围区域的淋巴结。
然而,传统的手动勾画的方式,容易造成勾画错误,导致勾画效果较差,以及勾画效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够在初始扫描图像中进行自动靶区勾画,减少勾画误差,提高勾画效率的图像分割方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面,本申请提供了一种图像分割方法,该方法包括:
获取待测对象的初始扫描图像;
将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
在其中一个实施例中,将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像,包括:将该初始扫描图像输入生成网络模型中,得到辅助图像;将该初始扫描图像和该辅助图像输入图像分割模型中,得到该目标分割图像。
在其中一个实施例中,该初始扫描图像包括平扫CT图像或T1图像中的一种,该辅助图像包括增强CT图像、MR图像、T1增强图像或T2图像中的一种。
在其中一个实施例中,该初始扫描图像为平扫CT图像,该辅助图像为增强CT图像;将该初始扫描图像输入生成网络模型中,得到辅助图像,包括:将该平扫CT图像输入该生成网络模型中,得到增强CT图像;该生成网络模型为采用平扫CT图像样本集和增强CT图像样本集训练得到的生成网络模型。
在其中一个实施例中,将该初始扫描图像和该辅助图像输入该图像分割模型中,得到该目标分割图像,包括:对平扫CT图像和增强CT图像进行图像预处理,得到预处理后的平扫CT图像和预处理后的增强CT图像;该预处理包括重采样、归一化和裁剪中的至少一种;将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像。
在其中一个实施例中,将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像,包括:将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到候选分割图像;对该候选分割图像进行图像后处理,得到该目标分割图像;该后处理包括高斯平滑处理和/或最大连通域处理。
在其中一个实施例中,将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像之前,该方法还包括:获取平扫CT图像样本集,并将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本;采用每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到该图像分割模型。
在其中一个实施例中,采用每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到该图像分割模型,包括:将每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,输入该初始图像分割模型中,得到中间掩模图像;该中间掩模图像为采用multi-head输出方式得到的掩模图像;采用预设损失函数,计算该中间掩模图像和该平扫CT图像样本对应的标签掩模图像之间的损失值,并根据该损失值更新该初始图像分割模型,得到该图像分割模型。
在其中一个实施例中,该初始图像分割模型为基于UNet的3D分割网络模型,该3D分割网络模型的编码层中包括三维SE残差结构。
在其中一个实施例中,将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本之前,该方法还包括:获取平扫CT图像样本集对应的标准增强CT图像样本集;采用该平扫CT图像样本集和该标准增强CT图像样本集,对初始生成对抗网络模型进行训练,得到该生成网络模型。
第二方面,本申请还提供了一种图像分割装置,该装置包括:
第一获取模块,用于获取待测对象的初始扫描图像;
第二获取模块,用于将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像,该辅助图像的对比度高于该初始扫描图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行该计算机程序时实现以下步骤:
获取待测对象的初始扫描图像;
将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待测对象的初始扫描图像;
将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
第五方面,本申请还提供了一种计算机程序产品,该计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待测对象的初始扫描图像;
将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
上述图像分割方法、装置、计算机设备、存储介质和计算机程序产品,该图像分割方法通过获取待测对象的初始扫描图像,并将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。也就是说,本申请实施例中,终端在获取到待测对象的初始扫描图像之后,可以基于预设的图像处理模型,将该初始扫描图像输入该图像处理模型之后,即可输出得到与该初始扫描图像对应的已具有多个不同标注对象掩模的目标分割图像,实现对不同标注对象的自动分割,无需人工在初始扫描图像中手动勾画出不同的对象,能够避免手动勾画错误的情况,通过预设图像处理模型进行自动勾画的方式,能够大大提高勾画的效率以及勾画的准确性,提高对待测对象的靶区勾画效果;另外,本申请实施例中仅需要获取待测对象的初始扫描图像即可实现在该初始扫描图像中对不同组织对象的自动勾画,无需再额外获取更高对比度的扫描图像,能够减少对检测设备的使用,在实际应用中,也可以避免用户因需要扫描多个CT图像而产生额外开销,减少人力物力财力;进一步地,相比于现有技术中的靶区勾画过程,本申请中的靶区勾画方法还能降低靶区勾画的复杂性,以及提高靶区勾画的便捷性。
附图说明
图1为一个实施例中图像分割方法的流程示意图;
图2为另一个实施例中图像分割方法的流程示意图;
图3为另一个实施例中图像分割方法的流程示意图;
图4为另一个实施例中图像分割方法的流程示意图;
图5为另一个实施例中图像分割方法的流程示意图;
图6为另一个实施例中图像分割方法的流程示意图;
图7为一个实施例中图像分割方法的完整流程示意图;
图8为一个实施例中图像分割装置的结构框图;
图9为另一个实施例中图像分割装置的结构框图;
图10为另一个实施例中图像分割装置的结构框图;
图11为另一个实施例中图像分割装置的结构框图;
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种图像分割方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤101,获取待测对象的初始扫描图像。
其中,该初始扫描图像可以为普通的平扫CT图像,或者其他对比度较低的扫描图像等,例如:T1图像。
可选地,终端可以从预设的数据库中获取某一待测对象的初始扫描图像,终端也可以接收其他检测设备发送的待测对象的初始扫描图像,终端还可以从服务器中获取待测对象的初始扫描图像等,本申请实施例对获取待测对象的初始扫描图像的方式并不做限定。
步骤102,将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象。
其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像,可选地,该辅助图像的对比度可以高于该初始扫描图像的对比度,例如:该初始扫描图像可以包括平扫CT图像或T1图像中的一种,该辅助图像可以包括增强CT图像、MR图像、T1增强图像或T2图像中的一种。
另外,该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型,其中,该辅助图像样本集中的辅助图像样本与初始扫描图像样本集中的初始扫描图像样本是一一对应的,即辅助图像样本是与该初始扫描图像样本对应的对比度高于该初始扫描图像样本的辅助图像;可选地,该初始扫描图像样本可以是通过普通的检测设备扫描获取的,该辅助图像样本可以是通过增强型的检测设备扫描获取的,该辅助图像样本也可以是通过预设算法或模型,对该初始扫描图像样本进行对比度增强处理后获得的;当然,该初始扫描图像样本集和辅助图像样本集也可以是从现有的数据库中获取的,本申请实施例中对初始扫描图像样本集和辅助图像样本集的获取方式并不做限定。
可选地,该目标分割图像中的标注对象可以为初始扫描图像中的不同类型的组织,例如:肿瘤、淋巴结、血管、脏器或者其他异物等组织,在该目标分割图像(即掩模图像)中,对于不同的标注对象可以采用不同的标注方式进行区分,而相同的标注对象可以采用相同的标注方式;其中,该标注方式可以是标注颜色、标注形状、标注大小等,本申请对标注方式并不做限定,只要能区分不同的标注对象即可;例如:对该初始扫描图像中的肿瘤可以标注为红色,对该初始扫描图像中的淋巴结可以标注为绿色等。
可选地,终端在获取到待测对象的初始扫描图像之后,可以将该初始扫描图像输入到预设的图像处理模型中,经过该图像处理模型中的生成网络模型和图像分割模型,对该初始扫描图像进行一系列处理操作,识别出该初始扫描图像中的不同的标注对象,并将识别到的不同的标注对象,采用预设的与该标注对象对应的标注方式标注该标注对象,得到与该初始扫描图像对应的能够显示不同标注对象的掩模图像,即目标分割图像。
上述图像分割方法中,获取待测对象的初始扫描图像,并将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。也就是说,本申请实施例中,终端在获取到待测对象的初始扫描图像之后,可以基于预设的图像处理模型,将该初始扫描图像输入该图像处理模型之后,即可输出得到与该初始扫描图像对应的已具有多个不同标注对象掩模的目标分割图像,实现对不同标注对象的自动分割,无需人工在初始扫描图像中手动勾画出不同的对象,能够避免手动勾画错误的情况,通过预设图像处理模型进行自动勾画的方式,能够大大提高勾画的效率以及勾画的准确性,提高对待测对象的靶区勾画效果;另外,本申请实施例中仅需要获取待测对象的初始扫描图像即可实现在该初始扫描图像中对不同组织对象的自动勾画,无需再额外获取更高对比度的扫描图像,能够减少对检测设备的使用,在实际应用中,也可以避免用户因需要扫描多个CT图像而产生额外开销,减少人力物力财力;进一步地,相比于现有技术中的靶区勾画过程,本申请中的靶区勾画方法还能降低靶区勾画的复杂性,以及提高靶区勾画的便捷性。
图2为另一个实施例中图像分割方法的流程示意图。本实施例涉及的是将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像的一种可选的实现过程,在上述实施例的基础上,如图2所示,上述步骤102包括:
步骤201,将该初始扫描图像输入生成网络模型中,得到辅助图像。
其中,该生成网络模型可以是基于对抗生成网络(Generative AdversarialNetworks,简称GAN)的生成网络模型,也可以是基于GAN的改进生成网络的生成网络模型,例如:基于GAN的改进生成网络可以是条件生成对抗网络(Conditional GenerativeAdversarial Networks,简称CGAN)、深度卷积对抗生成网络(Deep ConvolutionalGenerative Adversarial Networks,简称DCGAN)、WGAN(Wasserstein GenerativeAdversarial Networks)等,本申请实施例对该生成网络模型的具体形式并不做限定,只要基于任一形式生成的该生成网络模型能够根据初始扫描图像生成与该初始扫描图像对应的辅助图像即可;可选地,该辅助图像的对比度可以高于该初始扫描图像的对比度。
可选地,终端在获取到待测对象的初始扫描图像之后,可以将该初始扫描图像输入该生成网络模型中,输出得到与该初始扫描图像对应的辅助图像,其中,该生成网络模型可以是基于该初始扫描图像样本集和该辅助图像样本集训练得到的生成网络模型;例如:该初始扫描图像可以为T1图像,该辅助图像可以为T1增强图像,终端通过将该T1图像输入到该生成网络模型中,可以得到与该T1图像对应的T1增强图像,其中,该生成网络模型可以是基于该T1图像样本集和该T1增强图像样本集训练生成的生成网络模型;或者,该初始扫描图像可以为平扫CT图像,该辅助图像可以为MR图像,终端通过将该平扫CT图像输入到该生成网络模型中,可以得到与该平扫CT图像对应的MR图像,其中,该生成网络模型可以是基于该平扫CT图像样本集和该MR图像样本集训练生成的生成网络模型。
步骤202,将该初始扫描图像和该辅助图像输入图像分割模型中,得到该目标分割图像。
可选地,该图像分割模型可以为基于神经网络的分割模型,也可以是基于区域的分割模型,还可以是基于阈值的分割模型、基于边缘的分割模型等,本申请对此并不做限定;例如:基于神经网络的分割模型可以包括FCN、UNet、SetNet、Mask R-CNN等。
可选地,在终端将初始扫描图像输入生成网络模型得到与该初始扫描图像对应的辅助图像之后,可以将该辅助图像和初始扫描图像一起再输入到图像分割模型中,经图像分割模型对辅助图像和初始扫描图像进行特征提取,根据提取到的特征识别并分割出不同的标注对象,进而,采用该标注对象对应的标注方式对该标注对象进行标注处理,得到标注后的掩模图像,输出得到该目标分割图像。
本实施例中,通过将该初始扫描图像输入生成网络模型中,得到辅助图像,接着,将该初始扫描图像和该辅助图像输入图像分割模型中,得到该目标分割图像,通过将多种不同的网络模型分别对该初始扫描图像进行处理得到最终的目标分割模型,能够降低不同网络模型之间的耦合性,有利于对整个图像处理过程进行灵活控制,也有利于后期对不同的网络模型进行分别优化更新,提高整个图像处理过程的整体性能。
在本申请的一个可选的实现过程中,上述初始扫描图像可以为平扫CT图像,上述辅助图像可以为增强CT图像,这种情况下,将该初始扫描图像输入生成网络模型中,得到辅助图像可以包括:将该平扫CT图像输入该生成网络模型中,得到增强CT图像;其中,该生成网络模型可以为采用平扫CT图像样本集和增强CT图像样本集训练得到的生成网络模型。进一步地,终端在根据平扫CT图像得到增强CT图像之后,还可以将该平扫CT图像和该增强CT图像输入到上述图像分割模型中,得到与该平扫CT图像对应的具有掩模标注的目标分割图像,该目标分割图像中包括该平扫CT图像中具有的多种不同的标注对象;更进一步地,通过该平扫CT图像和该目标分割图像,还可以将该目标分割图像中的不同标注对象对应添加至该平扫CT图像的相应位置,得到在该平扫CT图像上勾画出不同靶区的目标CT图像,即通过该目标CT图像,可以很明显地看出在平扫CT图像中的什么位置上有什么样的组织结构;本实施例中,仅通过平扫CT图像就可以实现对该平扫CT图像中的特定组织的自动勾画,大大提高靶区勾画的准确性和效率。
图3为另一个实施例中图像分割方法的流程示意图。本实施例涉及的是在初始扫描图像为平扫CT图像,辅助图像为增强CT图像,将平扫CT图像输入生成网络模型中,得到增强CT图像的情况下,将该初始扫描图像和该辅助图像输入该图像分割模型中,得到该目标分割图像的一种可选的实现过程,在上述实施例的基础上,如图3所示,上述步骤202包括:
步骤301,对平扫CT图像和增强CT图像进行图像预处理,得到预处理后的平扫CT图像和预处理后的增强CT图像。
其中,该预处理可以包括降噪、重采样、归一化和裁剪中的至少一种,对于图像的降噪操作,可以采用均值滤波器、中值滤波器、自适应维纳滤波器、小波去噪、或者形态学噪声滤波器等,或者还可以采用多种滤波器的组合进行图像降噪,减少图像噪声,提高图像质量;对于图像的重采样操作,可以根据实际情况选择对图像进行上采样或下采样,以增加或减少图像的维度,使平扫CT图像和增强CT图像的维度保持一致;对于图像的归一化操作,可以采用线性归一化或者非线性归一化,使平扫CT图像和增强CT图像的尺寸保持一致,或者平扫CT图像和增强CT图像的尺寸归一化至预设图像大小;对于图像的裁剪操作,可以将平扫CT图像和增强CT图像裁剪成满足模型使用要求的预设大小的图像,如果模型要求图像为矩形,可以采用规则分幅裁剪,如果模型要求为任意多边形,可以采用不规则分幅裁剪;在实际使用中,可以根据实际系统或者模型要求进行灵活图像处理操作。
可选地,在将平扫CT图像和增强CT图像输入图像分割模型之前,可以先对该平扫CT图像和该增强CT图像进行上述图像预处理操作,以提高该平扫CT图像和该增强CT图像的图像质量,以及确保该平扫CT图像和该增强CT图像的尺寸可以保持一致,满足上述图像分割模型的图像要求;可选地,在预处理过程中,可以根据该平扫CT图像或增强CT图像的实际情况,选择相同或者不同的预处理操作,对平扫CT图像或增强CT图像进行图像预处理。
步骤302,将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像。
本实施例中,对平扫CT图像和增强CT图像进行图像预处理,得到预处理后的平扫CT图像和预处理后的增强CT图像,接着,将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像;其中,该预处理包括重采样、归一化和裁剪中的至少一种;即本实施例在对图像进行图像分割之前,先对输入的平扫CT图像和增强CT图像进行图像预处理,以提高输入图像的图像质量,以及确保输入图像的标准化,进而能够提高图像分割后的分割结果的准确性,即提高靶区勾画的准确性。
图4为另一个实施例中图像分割方法的流程示意图。本实施例涉及的是将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像的一种可选的实现过程,在上述实施例的基础上,如图4所示,上述步骤302包括:
步骤401,将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到候选分割图像。
其中,该候选分割图像可以为该图像分割模型实际输出的分割图像。
步骤402,对该候选分割图像进行图像后处理,得到该目标分割图像。
其中,该后处理可以包括高斯平滑处理和/或最大连通域处理。
可选地,终端在获取到由图像分割模型处理后的候选分割图像之后,可以对该候选分割图像进行高斯平滑处理和/或最大连通域处理,以提高标注区域的准确性和完整性,得到最终的目标分割图像;也就是说,可以对该候选分割图像进行高斯平滑处理得到目标分割图像,也可以对该候选分割图像进行最大连通域处理得到目标分割图像,还可以对该候选分割图像先进行高斯平滑处理、再进行最大连通域处理得到目标分割图像,或者,还可以对该候选分割图像先进行最大连通域处理、再进行高斯平滑处理得到目标分割图像,本实施例对候选分割图像进行的图像后处理操作并不做限定。
本实施例中,将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到候选分割图像,并对该候选分割图像进行高斯平滑处理和/或最大连通域处理的图像后处理操作,得到该目标分割图像;即本实施例中,针对图像分割模型得到的候选分割图像,采用图像后处理操作,对该候选分割图像进一步处理,以得到分割效果更好的目标分割图像,能够提高对靶区分割和靶区勾画的完整性和准确性,提高靶区勾画的效果。
图5为另一个实施例中图像分割方法的流程示意图。本实施例涉及的是获取图像分割模型的一种可选的实现过程,在上述实施例的基础上,如图5所示,上述步骤302之前,还包括:
步骤501,获取平扫CT图像样本集,并将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本。
可选地,该平扫CT图像样本集中的平扫CT图像样本,可以是从现有的图像数据库中获取的,也可以是接收扫描设备发送的历史扫描到的各个平扫CT图像,还可以是通过多种不同渠道获取到的平扫CT图像,作为该平扫CT图像样本集中的平扫CT图像样本。
可选地,终端可以将该平扫CT图像样本集中的每一个平扫CT图像样本,分别输入到该生成网络模型中,得到与每一个平扫CT图像样本分别对应的增强CT图像样本,并将这些增强CT图像样本放入该增强CT图像样本集中。
步骤502,采用每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到该图像分割模型。
可选地,平扫CT图像样本对应的标签掩模图像可以是人工标注的标签掩模图像,也可以是通过预设算法自动生成的标签掩模图像,还可以是人工对通过预设算法自动生成的标签掩模图像进行调整后的标签掩模图像;本申请实施例对每个平扫CT图像样本分别对应的标签掩模图像的获取方式并不做限定;还有,该标签掩模图像中可以包括至少一种标注对象,每种标注对象采用不同的标记方式,以区分不同的标注对象。另外,对于该初始图像分割模型可以参照上述步骤202中的相关描述,在次不再赘述。
以其中一种类型的分割模型进行举例说明,例如:该初始图像分割模型可以为基于UNet的3D分割网络模型,将每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,成对输入至该基于UNet的3D分割网络模型中,对该基于UNet的3D分割网络模型进行模型训练,以得到该图像分割模型。
可选地,在训练该图像分割模型时,也可以将每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,输入该初始图像分割模型(例如:基于UNet的3D分割网络模型)中,得到中间掩模图像,并采用预设损失函数,计算该中间掩模图像和该平扫CT图像样本对应的标签掩模图像之间的损失值,并根据该损失值更新该初始图像分割模型,得到该图像分割模型;可选地,在根据该损失值更新该初始图像分割模型后,通过更新后的初始图像分割模型,得到新的中间掩模图像,如果该新的中间掩模图像和该平扫CT图像样本对应的标签掩模图像之间的新的损失值还是不小于预设损失值阈值的情况下,则根据该新的损失值继续更新该初始图像分割模型,直至损失值小于预设损失值阈值为止,这时,可以将最后一次更新后的初始图像分割模型作为该图像分割模型。
可选地,可以采用结合了Dice loss和cross-entropy loss的加权求和作为上述计算中间掩模图像和平扫CT图像样本对应的标签掩模图像之间的损失值的损失函数;当然,也可以采用其他的损失函数,例如:交叉熵损失函数、感知损失函数、Hinge损失函数、最大似然函数等,本申请实施例对此并不做限定。
可选地,该中间掩模图像可以为采用multi-head输出方式得到的掩模图像,也就是说,该掩模图像中可以标记多种不同的标注对象,且该掩模图像中标注对象的种类数量小于等于该标签掩模图像中标注对象的种类数量,对于同一类型的标注对象,掩模图像中的该标注对象的数量可以与该标签掩模图像中该标注对象的数量相同或者不同。
可选地,在该初始图像分割模型为基于UNet的3D分割网络模型的情况下,该3D分割网络模型的编码层中还可以包括三维SE(Squeeze-and-Excitation)残差结构,以实现更好的特征学习,能够进一步提高特征提取的准确性。
本实施例中,通过获取平扫CT图像样本集,并将该平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本;接着,采用每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到该图像分割模型;能够提高图像分割模型的准确性和分割精度。
图6为另一个实施例中图像分割方法的流程示意图。本实施例涉及的是获取生成网络模型的一种可选的实现过程,在上述实施例的基础上,如图6所示,上述步骤501之前,还包括:
步骤601,获取平扫CT图像样本集对应的标准增强CT图像样本集。
可选地,可以通过获取扫描设备发送的历史扫描到的各个平扫CT图像,以及历史中与各个平扫CT图像对应的标准增强CT图像,并将这些平扫CT图像作为平扫CT图像样本集中的平扫CT图像样本,以及将与这些平扫CT图像对应的标准增强CT图像作为该标准增强CT图像样本集中的标准增强CT图像样本。
步骤602,采用该平扫CT图像样本集和该标准增强CT图像样本集,对初始生成对抗网络模型进行训练,得到该生成网络模型。
可选地,该生成对抗网络模型中可以包括初始生成网络模型和初始判别网络模型,将该平扫CT图像样本集中的每一张平扫CT图像样本输入至该初始生成网络模型中,生成与该平扫CT图像样本对应的假增强CT图像,接着,通过将该假增强CT图像和该标准增强CT图像样本集中与该平扫CT图像样本对应的标准增强CT图像样本,输入至该初始判别网络模型中,得到判别结果(0或1),通过该判别结果更新该初始生成网络模型和该初始判别网络模型;如此迭代训练,直至更新后的初始生成网络模型生成的假增强CT图像越来越接近于标准增强CT图像样本,以使得更新后的初始判别网络模型无法判断出该假增强CT图像的真假,其判别结果越来越接近0.5,即使得该初始生成网络模型和该初始判别网络模型逐渐达到一种“纳什均衡”;在达到纳什均衡的情况下,可以将最后一次更新后的初始生成网络模型作为该生成网络模型。
可选地,该生成对抗网络模型可以为上述步骤201中的任一类型的生成对抗网络模型,优选地,该生成对抗网络模型可以为pix2pix GAN模型。
本实施例中,通过获取平扫CT图像样本集对应的标准增强CT图像样本集,采用该平扫CT图像样本集和该标准增强CT图像样本集,对初始生成对抗网络模型进行训练,得到该生成网络模型,能够提高生成网络模型的以假乱真的能力,使得生成的增强CT图像越接近于真实的增强CT图像,进而,能够提高通过平扫CT图像样本集和该生成的增强CT图像样本集训练得到的图像分割模型的精度和准确性,提高图像分割结果的准确性,即提高靶区勾画的准确性。另外,还可以避免实际应用中用户需要通过注射造影剂来扫描获得增强CT图像,以及解决对造影剂过敏而无法获取增强CT图像的问题,避免了造影剂使用的局限性,本实施例中通过生成网络模型可以根据平扫CT图像直接获取增强CT图像,能够提高增强CT图像的获取便捷性和高效性。
图7为一个实施例中图像分割方法的完整流程示意图。在上述实施例的基础上,如图7所示,该方法包括:
步骤701,获取平扫CT图像样本集,以及与该平扫CT图像样本集对应的标准增强CT图像样本集;
步骤702,采用该平扫CT图像样本集和该标准增强CT图像样本集,对初始生成对抗网络模型进行训练,得到该生成网络模型;
步骤703,将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本;
步骤704,采用每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到该图像分割模型;
步骤705,获取待测对象的平扫CT图像;
步骤706,将该平扫CT图像输入生成网络模型中,得到增强CT图像;
步骤707,对平扫CT图像和增强CT图像进行图像预处理,得到预处理后的平扫CT图像和预处理后的增强CT图像;
步骤708,将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到候选分割图像;
步骤709,对该候选分割图像进行图像后处理,得到该目标分割图像;其中,该目标分割图像为该平扫CT图像对应的掩模图像,该掩模图像中包括该平扫CT图像中的至少一种标注对象。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像分割方法的图像分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像分割装置实施例中的具体限定可以参见上文中对于图像分割方法的限定,在此不再赘述。
在一个实施例中,如图8所示,提供了一种图像分割装置,包括:第一获取模块801和第二获取模块802,其中:
第一获取模块801,用于获取待测对象的初始扫描图像;
第二获取模块802,用于将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;
其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像,该辅助图像的对比度高于该初始扫描图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
在其中一个实施例中,如图9所示,上述第二获取模块802包括第一获取单元8021和第二获取单元8022;其中,该第一获取单元8021,用于将该初始扫描图像输入生成网络模型中,得到辅助图像;该第二获取单元8022,用于将该初始扫描图像和该辅助图像输入图像分割模型中,得到该目标分割图像。
在其中一个实施例中,该初始扫描图像包括平扫CT图像或T1图像中的一种,该辅助图像包括增强CT图像、MR图像、T1增强图像或T2图像中的一种。
在其中一个实施例中,该初始扫描图像为平扫CT图像,该辅助图像为增强CT图像;上述第一获取单元8021,具体用于将该平扫CT图像输入该生成网络模型中,得到增强CT图像;该生成网络模型为采用平扫CT图像样本集和增强CT图像样本集训练得到的生成网络模型。
在其中一个实施例中,上述第二获取单元8022,具体用于对平扫CT图像和增强CT图像进行图像预处理,得到预处理后的平扫CT图像和预处理后的增强CT图像;该预处理包括重采样、归一化和裁剪中的至少一种;将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像。
在其中一个实施例中,上述第二获取单元8022,具体用于将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到候选分割图像;对该候选分割图像进行图像后处理,得到该目标分割图像;该后处理包括高斯平滑处理和/或最大连通域处理。
在其中一个实施例中,如图10所示,该装置还包括第三获取模块803和第四获取模块804;其中,该第三获取模块803,用于在第二获取单元8022将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像之前,获取平扫CT图像样本集,并将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本;该第四获取模块804,用于采用每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到该图像分割模型。
在其中一个实施例中,上述第四获取模块804,具体用于将每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,输入该初始图像分割模型中,得到中间掩模图像;该中间掩模图像为采用multi-head输出方式得到的掩模图像;采用预设损失函数,计算该中间掩模图像和该平扫CT图像样本对应的标签掩模图像之间的损失值,并根据该损失值更新该初始图像分割模型,得到该图像分割模型。
在其中一个实施例中,该初始图像分割模型为基于UNet的3D分割网络模型,该3D分割网络模型的编码层中包括三维SE残差结构。
在其中一个实施例中,如图11所示,该装置还包括第五获取模块805和第六获取模块806;其中,该第五获取模块805,用于在第三获取模块将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本之前,获取平扫CT图像样本集对应的标准增强CT图像样本集;该第六获取模块806,用于采用该平扫CT图像样本集和该标准增强CT图像样本集,对初始生成对抗网络模型进行训练,得到该生成网络模型。
关于图像分割装置的具体限定可以参见上文中对于图像分割方法的限定,在此不再赘述。上述图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待测对象的初始扫描图像;
将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将该初始扫描图像输入生成网络模型中,得到辅助图像;将该初始扫描图像和该辅助图像输入图像分割模型中,得到该目标分割图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:该初始扫描图像包括平扫CT图像或T1图像中的一种,该辅助图像包括增强CT图像、MR图像、T1增强图像或T2图像中的一种。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:该初始扫描图像为平扫CT图像,该辅助图像为增强CT图像;将该平扫CT图像输入该生成网络模型中,得到增强CT图像;该生成网络模型为采用平扫CT图像样本集和增强CT图像样本集训练得到的生成网络模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对平扫CT图像和增强CT图像进行图像预处理,得到预处理后的平扫CT图像和预处理后的增强CT图像;该预处理包括重采样、归一化和裁剪中的至少一种;将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到候选分割图像;对该候选分割图像进行图像后处理,得到该目标分割图像;该后处理包括高斯平滑处理和/或最大连通域处理。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:在将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像之前,获取平扫CT图像样本集,并将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本;采用每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到该图像分割模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,输入该初始图像分割模型中,得到中间掩模图像;该中间掩模图像为采用multi-head输出方式得到的掩模图像;采用预设损失函数,计算该中间掩模图像和该平扫CT图像样本对应的标签掩模图像之间的损失值,并根据该损失值更新该初始图像分割模型,得到该图像分割模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:该初始图像分割模型为基于UNet的3D分割网络模型,该3D分割网络模型的编码层中包括三维SE残差结构。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:在将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本之前,获取平扫CT图像样本集对应的标准增强CT图像样本集;采用该平扫CT图像样本集和该标准增强CT图像样本集,对初始生成对抗网络模型进行训练,得到该生成网络模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待测对象的初始扫描图像;
将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将该初始扫描图像输入生成网络模型中,得到辅助图像;将该初始扫描图像和该辅助图像输入图像分割模型中,得到该目标分割图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:该初始扫描图像包括平扫CT图像或T1图像中的一种,该辅助图像包括增强CT图像、MR图像、T1增强图像或T2图像中的一种。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:该初始扫描图像为平扫CT图像,该辅助图像为增强CT图像;将该平扫CT图像输入该生成网络模型中,得到增强CT图像;该生成网络模型为采用平扫CT图像样本集和增强CT图像样本集训练得到的生成网络模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对平扫CT图像和增强CT图像进行图像预处理,得到预处理后的平扫CT图像和预处理后的增强CT图像;该预处理包括重采样、归一化和裁剪中的至少一种;将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到候选分割图像;对该候选分割图像进行图像后处理,得到该目标分割图像;该后处理包括高斯平滑处理和/或最大连通域处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像之前,获取平扫CT图像样本集,并将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本;采用每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到该图像分割模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,输入该初始图像分割模型中,得到中间掩模图像;该中间掩模图像为采用multi-head输出方式得到的掩模图像;采用预设损失函数,计算该中间掩模图像和该平扫CT图像样本对应的标签掩模图像之间的损失值,并根据该损失值更新该初始图像分割模型,得到该图像分割模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:该初始图像分割模型为基于UNet的3D分割网络模型,该3D分割网络模型的编码层中包括三维SE残差结构。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本之前,获取平扫CT图像样本集对应的标准增强CT图像样本集;采用该平扫CT图像样本集和该标准增强CT图像样本集,对初始生成对抗网络模型进行训练,得到该生成网络模型。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待测对象的初始扫描图像;
将该初始扫描图像输入预设的图像处理模型中,获得目标分割图像;该目标分割图像为该初始扫描图像对应的掩模图像,该掩模图像中包括该初始扫描图像中的至少一种标注对象;其中,该图像处理模型包括生成网络模型和图像分割模型,该生成网络模型用于根据该初始扫描图像生成辅助图像;该图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将该初始扫描图像输入生成网络模型中,得到辅助图像;将该初始扫描图像和该辅助图像输入图像分割模型中,得到该目标分割图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:该初始扫描图像包括平扫CT图像或T1图像中的一种,该辅助图像包括增强CT图像、MR图像、T1增强图像或T2图像中的一种。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:该初始扫描图像为平扫CT图像,该辅助图像为增强CT图像;将该平扫CT图像输入该生成网络模型中,得到增强CT图像;该生成网络模型为采用平扫CT图像样本集和增强CT图像样本集训练得到的生成网络模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对平扫CT图像和增强CT图像进行图像预处理,得到预处理后的平扫CT图像和预处理后的增强CT图像;该预处理包括重采样、归一化和裁剪中的至少一种;将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到候选分割图像;对该候选分割图像进行图像后处理,得到该目标分割图像;该后处理包括高斯平滑处理和/或最大连通域处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在将预处理后的平扫CT图像和预处理后的增强CT图像输入图像分割模型中,得到该目标分割图像之前,获取平扫CT图像样本集,并将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本;采用每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到该图像分割模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将每个平扫CT图像样本、每个平扫CT图像样本分别对应的增强CT图像样本、以及每个平扫CT图像样本分别对应的标签掩模图像,输入该初始图像分割模型中,得到中间掩模图像;该中间掩模图像为采用multi-head输出方式得到的掩模图像;采用预设损失函数,计算该中间掩模图像和该平扫CT图像样本对应的标签掩模图像之间的损失值,并根据该损失值更新该初始图像分割模型,得到该图像分割模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:该初始图像分割模型为基于UNet的3D分割网络模型,该3D分割网络模型的编码层中包括三维SE残差结构。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在将平扫CT图像样本集中的每个平扫CT图像样本,输入生成网络模型中,得到每个平扫CT图像样本分别对应的增强CT图像样本之前,获取平扫CT图像样本集对应的标准增强CT图像样本集;采用该平扫CT图像样本集和该标准增强CT图像样本集,对初始生成对抗网络模型进行训练,得到该生成网络模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种图像分割方法,其特征在于,所述方法包括:
获取待测对象的初始扫描图像;
将所述初始扫描图像输入预设的图像处理模型中,获得目标分割图像;所述目标分割图像为所述初始扫描图像对应的掩模图像,所述掩模图像中包括所述初始扫描图像中的至少一种标注对象;
其中,所述图像处理模型包括生成网络模型和图像分割模型,所述生成网络模型用于根据所述初始扫描图像生成辅助图像;所述图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
2.根据权利要求1所述的方法,其特征在于,所述将所述初始扫描图像输入预设的图像处理模型中,获得目标分割图像,包括:
将所述初始扫描图像输入所述生成网络模型中,得到所述辅助图像;
将所述初始扫描图像和所述辅助图像输入所述图像分割模型中,得到所述目标分割图像。
3.根据权利要求2所述的方法,其特征在于,所述初始扫描图像包括平扫CT图像或T1图像中的一种,所述辅助图像包括增强CT图像、MR图像、T1增强图像或T2图像中的一种。
4.根据权利要求3所述的方法,其特征在于,所述初始扫描图像为平扫CT图像,所述辅助图像为增强CT图像;所述将所述初始扫描图像输入所述生成网络模型中,得到所述辅助图像,包括:
将所述平扫CT图像输入所述生成网络模型中,得到增强CT图像;所述生成网络模型为采用平扫CT图像样本集和增强CT图像样本集训练得到的生成网络模型。
5.根据权利要求4所述的方法,其特征在于,所述将所述初始扫描图像和所述辅助图像输入所述图像分割模型中,得到所述目标分割图像,包括:
对所述平扫CT图像和所述增强CT图像进行图像预处理,得到预处理后的平扫CT图像和预处理后的增强CT图像;所述预处理包括重采样、归一化和裁剪中的至少一种;
将所述预处理后的平扫CT图像和所述预处理后的增强CT图像输入所述图像分割模型中,得到所述目标分割图像。
6.根据权利要求5所述的方法,其特征在于,所述将所述预处理后的平扫CT图像和所述预处理后的增强CT图像输入所述图像分割模型中,得到所述目标分割图像,包括:
将所述预处理后的平扫CT图像和所述预处理后的增强CT图像输入所述图像分割模型中,得到候选分割图像;
对所述候选分割图像进行图像后处理,得到所述目标分割图像;所述后处理包括高斯平滑处理和/或最大连通域处理。
7.根据权利要求5所述的方法,其特征在于,所述将所述预处理后的平扫CT图像和所述预处理后的增强CT图像输入所述图像分割模型中,得到所述目标分割图像之前,所述方法还包括:
获取所述平扫CT图像样本集,并将所述平扫CT图像样本集中的每个平扫CT图像样本,输入所述生成网络模型中,得到所述每个平扫CT图像样本分别对应的增强CT图像样本;
采用所述每个平扫CT图像样本、所述每个平扫CT图像样本分别对应的增强CT图像样本、以及所述每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到所述图像分割模型。
8.根据权利要求7所述的方法,其特征在于,所述采用所述每个平扫CT图像样本、所述每个平扫CT图像样本分别对应的增强CT图像样本、以及所述每个平扫CT图像样本分别对应的标签掩模图像,对初始图像分割模型进行训练,得到所述图像分割模型,包括:
将所述每个平扫CT图像样本、所述每个平扫CT图像样本分别对应的增强CT图像样本、以及所述每个平扫CT图像样本分别对应的标签掩模图像,输入所述初始图像分割模型中,得到中间掩模图像;所述中间掩模图像为采用multi-head输出方式得到的掩模图像;
采用预设损失函数,计算所述中间掩模图像和所述平扫CT图像样本对应的标签掩模图像之间的损失值,并根据所述损失值更新所述初始图像分割模型,得到所述图像分割模型。
9.根据权利要求8所述的方法,其特征在于,所述初始图像分割模型为基于UNet的3D分割网络模型,所述3D分割网络模型的编码层中包括三维SE残差结构。
10.根据权利要求7所述的方法,其特征在于,所述将所述平扫CT图像样本集中的每个平扫CT图像样本,输入所述生成网络模型中,得到所述每个平扫CT图像样本分别对应的增强CT图像样本之前,所述方法还包括:
获取所述平扫CT图像样本集对应的标准增强CT图像样本集;
采用所述平扫CT图像样本集和所述标准增强CT图像样本集,对初始生成对抗网络模型进行训练,得到所述生成网络模型。
11.一种图像分割装置,其特征在于,所述装置包括:
第一获取模块,用于获取待测对象的初始扫描图像;
第二获取模块,用于将所述初始扫描图像输入预设的图像处理模型中,获得目标分割图像;所述目标分割图像为所述初始扫描图像对应的掩模图像,所述掩模图像中包括所述初始扫描图像中的至少一种标注对象;
其中,所述图像处理模型包括生成网络模型和图像分割模型,所述生成网络模型用于根据所述初始扫描图像生成辅助图像,所述辅助图像的对比度高于所述初始扫描图像;所述图像分割模型为采用初始扫描图像样本集和辅助图像样本集训练得到的分割模型。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
14.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111341803.XA CN113963015A (zh) | 2021-11-12 | 2021-11-12 | 图像分割方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111341803.XA CN113963015A (zh) | 2021-11-12 | 2021-11-12 | 图像分割方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113963015A true CN113963015A (zh) | 2022-01-21 |
Family
ID=79470350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111341803.XA Pending CN113963015A (zh) | 2021-11-12 | 2021-11-12 | 图像分割方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113963015A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116977466A (zh) * | 2023-07-21 | 2023-10-31 | 北京大学第三医院(北京大学第三临床医学院) | 一种增强ct图像生成模型的训练方法和存储介质 |
-
2021
- 2021-11-12 CN CN202111341803.XA patent/CN113963015A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116977466A (zh) * | 2023-07-21 | 2023-10-31 | 北京大学第三医院(北京大学第三临床医学院) | 一种增强ct图像生成模型的训练方法和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12002131B2 (en) | Image color adjustment method and system | |
CN108665456B (zh) | 基于人工智能的乳腺超声病灶区域实时标注的方法及系统 | |
CN107679507B (zh) | 面部毛孔检测系统及方法 | |
CN109166130B (zh) | 一种图像处理方法及图像处理装置 | |
Liu et al. | Robust color guided depth map restoration | |
CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
CN117456023A (zh) | 对组织切片图像的虚拟染色 | |
CN111260055A (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
CN110705583A (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
CN110110723B (zh) | 一种图像中目标区域自动提取的方法及装置 | |
CN110705353A (zh) | 基于注意力机制的遮挡人脸的识别方法和装置 | |
CN111986206A (zh) | 基于UNet网络的肺叶分割方法、装置及计算机可读存储介质 | |
CN113077419A (zh) | 用于髋关节ct影像识别的信息处理方法及装置 | |
CN113570619A (zh) | 基于人工智能的计算机辅助胰腺病理图像诊断系统 | |
CN116228787A (zh) | 图像勾画方法、装置、计算机设备、存储介质 | |
CN113963015A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN112200780B (zh) | 骨组织定位方法、装置、计算机设备和存储介质 | |
CN116959712B (zh) | 基于病理图像的肺腺癌预后方法、系统、设备及存储介质 | |
CN111489318B (zh) | 医学图像增强方法和计算机可读存储介质 | |
CN113689412A (zh) | 甲状腺图像处理方法、装置、电子设备及存储介质 | |
Jamil et al. | Computer based melanocytic and nevus image enhancement and segmentation | |
CN110910409A (zh) | 一种灰度图像处理方法、装置和计算机可读存储介质 | |
US20240087133A1 (en) | Method of refining tissue specimen image, and computing system performing same | |
CN113793316B (zh) | 一种超声扫查区域提取方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |