CN112529909A - 一种基于图像补全的肿瘤图像脑区分割方法及系统 - Google Patents
一种基于图像补全的肿瘤图像脑区分割方法及系统 Download PDFInfo
- Publication number
- CN112529909A CN112529909A CN202011422199.9A CN202011422199A CN112529909A CN 112529909 A CN112529909 A CN 112529909A CN 202011422199 A CN202011422199 A CN 202011422199A CN 112529909 A CN112529909 A CN 112529909A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- loss function
- tumor
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 186
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 140
- 230000011218 segmentation Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000011524 similarity measure Methods 0.000 claims abstract description 15
- 238000005192 partition Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 136
- 239000000126 substance Substances 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 208000003174 Brain Neoplasms Diseases 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002418 meninge Anatomy 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像补全的肿瘤图像脑区分割方法及系统。该方法包括:获取待分割肿瘤图像和肿瘤掩膜;将待分割肿瘤图像和肿瘤掩膜输入至补全网络中,得到补全后的待分割图像;补全网络是以正常脑图像和随机掩膜作为训练集,以整体损失函数最小为目标,对PconvUnet网络进行训练得到的;将补全后的待分割图像输入至分割网络中,得到待分割肿瘤图像的脑分区;分割网络是以正常脑图像和对应的图像标签作为训练集,以相似性测度损失函数或交叉熵损失函数最小为目标,对Unet网络进行训练得到的。本发明能提高肿瘤图像脑区分割的准确性。
Description
技术领域
本发明涉及图像分割领域,特别是涉及一种基于图像补全的肿瘤图像脑区分割方法及系统。
背景技术
脑部肿瘤多生长在颅腔,又称颅内肿瘤、脑癌,可起源于脑、脑膜、神经、血管及脑附件,或由身体的其他组织或脏器转移侵入颅内形成。脑瘤的发生率约为1.9~5.4人/(年·10万人),占全身各种肿瘤的1%~3%。临床主要使用CT(电子计算机断层扫描)和MRI(磁共振成像)得到的脑影像数据进行医学图像处理。
医学图像(如MRI图像)由于图像获取设备的影响,会出现对比度低、信噪比低、光强低等问题;且器官本身存在运动和形变(如心脏),个体之间也有差异。这些因素导致了医学图像分割的难度和其自身的算法设计特点。脑肿瘤图像由于肿瘤部分及其周围发生的形变使得分割变得尤为困难。
现有的肿瘤图像脑区分割方法有以下几种:1)手动标注肿瘤脑区。2)通过传统的脑分区模型进行分割:该方法利用正常脑图像训练得到的脑区分模型进行肿瘤图像脑区分割。3)通过配准进行分割:该方法利用正常脑图像训练得到的配准模型或软件对肿瘤图像进行配准后再分割。4)训练肿瘤图像脑分区网络:该方法使用肿瘤图像和肿瘤图像脑区标注进行训练,得到模型用于分割。
现有的肿瘤图像脑区分割方法具有如下缺点:1)手动标注肿瘤脑区:手动标注肿瘤脑区面临着人工成本高、主观性较强的问题。2)通过传统的脑分区模型进行分割:该方法由于肿瘤图像和正常脑图像在肿瘤部分差距较大,造成肿瘤部分分割结果较差。3)通过配准进行分割:脑肿瘤图像的配准由于肿瘤部分的存在导致与正常脑图像的差距较大,配准的效果差,进而影响分割效果。4)训练肿瘤图像脑分区网络:该方法由于肿瘤的位置和形态较为多样,肿瘤数据较少等问题,导致网络学习肿瘤图像脑区分割较为困难。因此,如何实现高精度的肿瘤图像脑区分割成为目前亟待解决的问题。
发明内容
基于此,有必要提供一种基于图像补全的肿瘤图像脑区分割方法及系统,以提高肿瘤图像脑区分割的准确性。
为实现上述目的,本发明提供了如下方案:
一种基于图像补全的肿瘤图像脑区分割方法,包括:
获取待分割肿瘤图像和肿瘤掩膜;
将所述待分割肿瘤图像和所述肿瘤掩膜输入至补全网络中,得到补全后的待分割图像;所述补全网络是以正常脑图像和随机掩膜作为训练集,以整体损失函数最小为目标,对PconvUnet网络进行训练得到的;所述整体损失函数是由感知损失函数、风格损失函数、全变分损失函数以及网络输出预测图像与真实图像的损失函数确定的;
将所述补全后的待分割图像输入至分割网络中,得到待分割肿瘤图像的脑分区;所述分割网络是以所述正常脑图像和对应的图像标签作为训练集,以相似性测度损失函数或交叉熵损失函数最小为目标,对Unet网络进行训练得到的。
可选的,所述补全网络的确定方法为:
获取正常脑图像;
随机生成二值掩膜,得到随机掩膜;
将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像;
构建PconvUnet网络;所述PconvUnet网络包括部分卷积层、编码层和解码层;所述解码层的连接方式为跳跃连接;当前卷积层的输出和对应的编码层的输出均作为下一解码层的输入;
以所述带孔洞脑图像和所述随机掩膜作为所述PconvUnet网络的输入,以所述正常脑图像作为所述PconvUnet网络的输出,以整体损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到补全网络。
可选的,所述分割网络的确定方法为:
获取正常脑图像和对应的图像标签;
构建Unet网络;
以所述正常脑图像作为所述Unet网络的输入,以所述图像标签作为所述Unet网络的输出,以相似性测度损失函数或交叉熵损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到分割网络。
可选的,所述整体损失函数为:
其中,为整体损失函数;为带孔洞脑图像中孔洞部分的网络输出预测图像和真实图像的损失函数;为带孔洞脑图像中非孔洞部分的网络输出预测图像和真实图像的损失函数;为感知损失函数;为带孔洞脑图像的网络输出预测图像与真实图像之间的风格损失函数;为结合图像与真实图像的风格损失函数;所述结合图像为带孔洞脑图像中孔洞部分的网络输出预测图像和真实图像中非孔洞部分的结合图像;为全变分损失函数。
可选的,所述获取待分割肿瘤图像和肿瘤掩膜,具体包括:
获取待分割肿瘤图像;
对所述待分割肿瘤图像进行纵向切片,得到真实形状2D掩膜数据;
对所述真实形状2D掩膜数据依次进行二值化和膨胀操作,得到肿瘤掩膜。
可选的,所述将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像,具体包括:
对所述正常脑图像沿纵向进行切片,得到横断位2D正常脑图像数据;
对所述横断位2D正常脑图像数据进行归一化处理,得到2D脑图像;
将所述2D脑图像与所述随机掩膜相结合得到带孔洞脑图像。
本发明还提供了一种基于图像补全的肿瘤图像脑区分割系统,包括:
图像获取模块,用于获取待分割肿瘤图像和肿瘤掩膜;
补全图像确定模块,用于将所述待分割肿瘤图像和所述肿瘤掩膜输入至补全网络中,得到补全后的待分割图像;所述补全网络是以正常脑图像和随机掩膜作为训练集,以整体损失函数最小为目标,对PconvUnet网络进行训练得到的;所述整体损失函数是由感知损失函数、风格损失函数、全变分损失函数以及网络输出预测图像与真实图像的损失函数确定的;
脑区分割模块,用于将所述补全后的待分割图像输入至分割网络中,得到待分割肿瘤图像的脑分区;所述分割网络是以所述正常脑图像和对应的图像标签作为训练集,以相似性测度损失函数或交叉熵损失函数最小为目标,对Unet网络进行训练得到的。
可选的,所述基于图像补全的肿瘤图像脑区分割系统还包括:补全网络确定模块;所述补全网络确定模块具体包括:
第一图像获取单元,用于获取正常脑图像;
随机掩膜生成单元,用于随机生成二值掩膜,得到随机掩膜;
孔洞图像生成单元,用于将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像;
第一网络构建单元,用于构建PconvUnet网络;所述PconvUnet网络包括部分卷积层、编码层和解码层;所述解码层的连接方式为跳跃连接;当前卷积层的输出和对应的编码层的输出均作为下一解码层的输入;
第一训练单元,用于以所述带孔洞脑图像和所述随机掩膜作为所述PconvUnet网络的输入,以所述正常脑图像作为所述PconvUnet网络的输出,以整体损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到补全网络。
可选的,所述基于图像补全的肿瘤图像脑区分割系统还包括:分割网络确定模块,所述分割网络确定模块具体包括:
第二图像获取单元,用于获取正常脑图像和对应的图像标签;
第二网络构建单元,用于构建Unet网络;
第二训练单元,用于以所述正常脑图像作为所述Unet网络的输入,以所述图像标签作为所述Unet网络的输出,以相似性测度损失函数或交叉熵损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到分割网络。
可选的,所述补全图像确定模块中的所述整体损失函数为:
其中,为整体损失函数;为带孔洞脑图像中孔洞部分的网络输出预测图像和真实图像的损失函数;为带孔洞脑图像中非孔洞部分的网络输出预测图像和真实图像的损失函数;为感知损失函数;为带孔洞脑图像的网络输出预测图像与真实图像之间的风格损失函数;为结合图像与真实图像的风格损失函数;所述结合图像为带孔洞脑图像中孔洞部分的网络输出预测图像和真实图像中非孔洞部分的结合图像;为全变分损失函数。
与现有技术相比,本发明的有益效果是:
本发明提出了一种基于图像补全的肿瘤图像脑区分割方法及系统,将待分割肿瘤图像和肿瘤掩膜输入至补全网络中,得到补全后的待分割图像,将补全后的待分割图像输入至分割网络中,得到待分割肿瘤图像的脑分区,这样使用补全网络和分割网络的串联系统,可以用同一批数据训练两个网络,无需用肿瘤数据重新训练模型,能够很好地实现肿瘤图像脑区分割,提高了肿瘤图像脑区分割的准确性,分割效果好;本发明将待分割肿瘤图像补全为正常脑图像,进一步进行分割,适用于一般传统分割模型,适应性好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于图像补全的肿瘤图像脑区分割方法的流程图;
图2为本发明实施例提供的PconvUnet网络的结构示意图;
图3为本发明实施例提供的补全网络的训练过程示意图;
图4为本发明实施例提供的Unet网络的结构示意图;
图5为本发明实施例提供的分割网络的训练过程示意图;
图6为本发明实施例提供的补全网络和分割网络的串联系统的示意图;
图7为以包含肿瘤的T2图像作为待分割肿瘤图像的分割方法的流程图;
图8为本发明实施例提供的基于图像补全的肿瘤图像脑区分割系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例提供的基于图像补全的肿瘤图像脑区分割方法,通过部分卷积Unet网络(PconvUnet网络),同时更新待分割肿瘤图像(待补全图像)和肿瘤掩膜,将待分割肿瘤图像补全为正常脑图像,再将补全后的图像输入分割模型得到待分割肿瘤图像的脑区分割图像。
图1为本发明实施例提供的基于图像补全的肿瘤图像脑区分割方法的流程图。
参见图1,本实施例中的基于图像补全的肿瘤图像脑区分割方法,包括:
步骤101:获取待分割肿瘤图像和肿瘤掩膜。
所述步骤101,具体包括:获取待分割肿瘤图像;对所述待分割肿瘤图像进行纵向切片,得到真实形状2D掩膜数据;对所述真实形状2D掩膜数据依次进行二值化和膨胀操作,得到肿瘤掩膜。
步骤102:将所述待分割肿瘤图像和所述肿瘤掩膜输入至补全网络中,得到补全后的待分割图像;所述补全网络是以正常脑图像和随机掩膜作为训练集,以整体损失函数最小为目标,对PconvUnet网络进行训练得到的;所述整体损失函数是由感知损失函数、风格损失函数、全变分损失函数以及网络输出预测图像与真实图像的损失函数确定的。
其中,所述补全网络的确定方法为:
1)获取正常脑图像。
2)随机生成二值掩膜,得到随机掩膜。
3)将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像。具体为:对所述正常脑图像沿纵向进行切片,得到横断位2D正常脑图像数据;对所述横断位2D正常脑图像数据进行归一化处理,得到2D脑图像;将所述2D脑图像与所述随机掩膜相结合得到带孔洞脑图像。
4)构建PconvUnet网络;所述PconvUnet网络包括部分卷积层、编码层和解码层;所述解码层的连接方式为跳跃连接;当前卷积层的输出和对应的编码层的输出均作为下一解码层的输入。对PconvUnet网络的具体描述如下:
PconvUnet网络结构在U-net网络的基础上,将传统卷积层替代为部分卷积层,在网络的解码层(上采样层)使用最近邻上采样(在待求像素的四邻像素中,距离待求像素最近像素的灰度即为待求像素的灰度),解码层输入采用跳跃连接,将上一卷积层的输出与对应的编码层(下采样层)输出结合作为下一层的输入,在该网络中分别将特征映射和掩膜进行连接,作为下一部分卷积层的输入。最后一个部分卷积层的输入包含初始的带孔洞图像以及初始掩膜,由此模型可以学习到输入图像非孔洞部分的像素。动态地使得不同层的掩膜对损失函数表现出不同的贡献,使得训练学习过程表现出从孔洞外面逐渐缩小孔洞学习的机制。底层网络学习孔洞外围,高层网络学习孔洞内侧。PconvUnet网络结构如图2所示。
下面对部分卷积层进行详细的描述:
部分卷积层(Partial Convolutional Layer)存在图像的部分卷积运算以及掩膜的更新两个部分。
在图像的部分卷积运算中每一层的部分卷积为:
W为卷积核权重,b是与W对应的卷积核偏置,X表示当前卷积窗的特征值,M是与X相对应的二值掩膜(其中1为有效值,0为孔洞),sum(1)中的1代表一个与M形状相同的全1数组,sum(1)表示全1数组中元素的和,sum(M)表示M中元素的和,⊙表示逐元素相乘,sum(1)/sum(M)是对未遮挡部分输入的权重调整。
在掩膜更新部分,每一层的掩膜为:
即在当前卷积核的范围内,若M存在一个或一个以上有效值,更新后的掩膜在该位置被视为有效。
5)以所述带孔洞脑图像和所述随机掩膜作为所述PconvUnet网络的输入,以所述正常脑图像作为所述PconvUnet网络的输出,以整体损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到补全网络。补全网络的训练过程如图3所示。
整体损失函数的具体确定方法为:
本实施例中损失函数的设计主要考虑孔洞值是否能平滑的过渡到周围像素,因此损失函数包括每个像素的重建效果以及孔洞部分和原始非孔洞部分的结合。
Lperceptual为感知损失函数,具体计算公式为:
上述Lperceptual的计算公式中,将VGG-16作为预训练图像模型,选取其中的三个池化层pool1,pool2,pool3将图像映射到更高级别的特征空间,p表示选取的层数,为I*输入第p层网络得到的特征空间,Icomp结合了Iout的孔洞补全部分和Igt的非孔洞部分,表示的元素个数。
其中,为*输入第p层网络得到的特征空间,的形状为Cp×(HpWp),计算后可得到一个Cp×Cp的格拉姆矩阵,Kp为第p层池化层的归一化参数(Kp=CpHpWp,Cp为经过第p个池化层后的特征通道数,Hp,Wp分别为经过第p个池化层后的特征高和宽)。
R为孔洞部分向外膨胀一个像素所得区域,i、j为当前像素所在位置的横纵坐标,当前像素分别与该像素横向和纵向的下一个像素进行差值后计算L1损失,为Icomp的元素个数,为Icomp中坐标为(i,j+1)的像素值(纵向的下一个像素),为Icomp中坐标为(i,j)的像素值(当前像素),为Icomp中坐标为(i+1,j)的像素值(横向的下一个像素)。
由上述几个损失函数分别加上不同的权重进行结合,即可得到整体损失函数,其计算公式为:
其中,为整体损失函数;为带孔洞脑图像中孔洞部分的网络输出预测图像和真实图像的损失函数;为带孔洞脑图像中非孔洞部分的网络输出预测图像和真实图像的损失函数;为感知损失函数;为带孔洞脑图像的网络输出预测图像与真实图像之间的风格损失函数;为结合图像与真实图像的风格损失函数;所述结合图像为带孔洞脑图像中孔洞部分的网络输出预测图像和真实图像中非孔洞部分的结合图像;为全变分损失函数。
步骤103:将所述补全后的待分割图像输入至分割网络中,得到待分割肿瘤图像的脑分区;所述分割网络是以所述正常脑图像和对应的图像标签作为训练集,以相似性测度损失函数或交叉熵损失函数最小为目标,对Unet网络进行训练得到的。
其中,所述分割网络的确定方法为:
1)获取正常脑图像和对应的图像标签。
2)构建Unet网络。
本实施例采用Unet作为分割网络,医疗影像语义较为简单、结构较为固定。器官本身结构固定和语义信息没有特别丰富,所以图像的高级语义信息和低级特征都显得很重要。Unet网络进行了4次下采样,4次上采样将。下采样层将上采样得到的高级语义特征图恢复到原图片的分辨率。并使用了跳跃连接,保证最后恢复出来的特征图融合了更多的下层特征,使得分割图恢复边缘等信息更加精细。Unet网络具体结构如图4所示。
3)以所述正常脑图像作为所述Unet网络的输入,以所述图像标签作为所述Unet网络的输出,以相似性测度损失函数(例如集合相似度度量损失函数)或交叉熵损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到分割网络。分割网络的训练过程如图5所示。
分割网络训练过程中采用的损失函数主要为集合相似度度量损失函数(diceloss)或者交叉熵损失函数(Cross Entropy Loss)。
a.集合相似度度量损失函数(dice loss)
通常用于计算两个样本的相似度,取值范围在[0,1],具体公式为:
其中|X∩Y|是X和Y之间的交集,|X|和|Y|分别表示X和Y的元素的个数,其中,分子的系数为2,是因为分母存在重复计算X和Y之间的共同元素。
b.交叉熵损失函数(Cross Entropy Loss)
交叉熵描述了两个概率分布之间的距离,当交叉熵越小说明二者之间越接近。具体计算公式为:
其中x为输入,通常为多维矩阵。class为类别,通常为数。x[k]为x中类别为k的像素,x[class]为x中类别为class的像素。
本实施例的补全网络和分割网络的串联系统如图6所示。该方法基于图像补全的肿瘤图像脑区分割方法,采用PconvUnet网络结构,采用部分卷积层(PartialConvolutional Layer)代替传统卷积层,部分卷积层包含生成掩膜和重新归一化,能在不改变输入掩膜的情况下分析图像信息。动态地使得不同层的掩膜对损失函数表现出不同的贡献,使得训练学习过程表现出从孔洞外面逐渐缩小孔洞学习的机制。底层网络学习孔洞外围,高层网络学习孔洞中心。这样使用补全网络和分割网络的串联系统,可以用同一批数据训练两个网络,无需用肿瘤数据重新训练模型;将肿瘤图像补全为正常脑图像,进一步进行分割,适用于一般传统分割模型。
下面以包含肿瘤的T2图像作为待分割肿瘤图像,对基于图像补全的肿瘤图像脑区分割方法进行说明,整个过程通过补全模型和分割模型的串联系统即可实现,无需对肿瘤图像进行训练。其大体思路如下:a.原始数据,采用无肿瘤T2磁共振影像。b.对原始数据进行预处理。c.生成二值掩膜,包括随机圆、椭圆和真实肿瘤掩膜。d.使用T2磁共振影像、二值掩膜作为训练集,通过反向传播及梯度下降算法对PconvUnet网络进行训练学习,选取预测精度高,泛化性能强的模型参数进行保存,得到补全模型。e.将T2带掩膜肿瘤图像输入补全模型得到补全后的T2肿瘤图像。f.使用T2磁共振影像和图像标签作为训练集,通过反向传播及梯度下降算法对Unet网络进行训练学习,选取预测精度高,泛化性能强的模型参数进行保存,得到分割模型。g.将补全后的T2肿瘤图像输入分割模型得到肿瘤图像脑分区。
如图7所示,以包含肿瘤的T2图像作为待分割肿瘤图像的分割方法的具体实现过程如下:
S1:构建原始输入。原始输入影像为T2磁共振影像。
S2:生成二值掩膜。
生成随机大小、随机位置的椭圆或圆作为掩膜,由于脑室部分灰度变化较大且存在细节偏多,因此脑室部分的掩膜数量可相应增多。生成真实掩膜,对3D肿瘤标签图像进行纵向切片,得到真实形状2D掩膜数据,对该数据进行二值化和膨胀的操作,得到真实掩膜。真实掩膜和椭圆掩膜的数量比例为1:1。二值掩膜中1为有效值,0为孔洞。
S3:对原始输入图像进行预处理操作并利用预处理后的原始输入图像构建训练集;所述预处理操作包括对3D正常脑图像数据沿纵向进行切片,得到横断位2D正常脑图像数据。对切片所得的数据进行归一化处理。生成带孔洞图像,将生成的2D脑图像与二值掩膜相结合得到带孔洞2D脑图像。
S4:构建肿瘤补全模型PconvUnet。PconvUnet模型在此不在赘述。
S5:将正常人T2磁共振影像和二值掩膜作为输入,在整体损失函数的基础上,通过反向传播和梯度下降算法对PconvUnet网络进行训练学习,选取预测精度高、泛化性能强的模型保存为补全模型。
S6:将T2带肿瘤的图像和肿瘤二值掩膜作为补全模型的输入得到补全后的T2肿瘤图像。
S7:构建肿瘤脑区分割模型Unet。Unet模型在此不在赘述。
S8:将正常人T2磁共振影像和脑图像分区标签作为输入,在交叉熵损失函数的基础上,通过反向传播和梯度下降算法对Unet网络进行训练学习,选取预测精度高、泛化性能强的模型保存为分割模型。
S9:将补全后的T2肿瘤图像作为分割模型的输入得到T2肿瘤图像脑分区。
上述基于图像补全的肿瘤图像脑区分割使用补全模型和分割模型的串联系统来进行肿瘤图像脑区分割,可以仅通过对正常脑图像的学习来进行肿瘤图像脑区分割;通过深度学习的方法使用部分卷积层,仅对有效值部分进行卷积,提高了有效像素的利用率;采用同一批数据训练补全模型和分割模型,减少了对数据量的需求;使用将肿瘤图像补全后分割的方法,不仅适用于Unet的分割网络,对一般分割模型均有效。
本发明还提供了一种基于图像补全的肿瘤图像脑区分割系统,图8为本发明实施例提供的基于图像补全的肿瘤图像脑区分割系统的结构图。
参见图8,本实施例的基于图像补全的肿瘤图像脑区分割系统包括:
图像获取模块201,用于获取待分割肿瘤图像和肿瘤掩膜。
补全图像确定模块202,用于将所述待分割肿瘤图像和所述肿瘤掩膜输入至补全网络中,得到补全后的待分割图像;所述补全网络是以正常脑图像和随机掩膜作为训练集,以整体损失函数最小为目标,对PconvUnet网络进行训练得到的;所述整体损失函数是由感知损失函数、风格损失函数、全变分损失函数以及网络输出预测图像与真实图像的损失函数确定的。
脑区分割模块203,用于将所述补全后的待分割图像输入至分割网络中,得到待分割肿瘤图像的脑分区;所述分割网络是以所述正常脑图像和对应的图像标签作为训练集,以相似性测度损失函数或交叉熵损失函数最小为目标,对Unet网络进行训练得到的。
作为一种可选的实施方式,所述基于图像补全的肿瘤图像脑区分割系统还包括:补全网络确定模块;所述补全网络确定模块具体包括:
第一图像获取单元,用于获取正常脑图像。
随机掩膜生成单元,用于随机生成二值掩膜,得到随机掩膜。
孔洞图像生成单元,用于将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像。
第一网络构建单元,用于构建PconvUnet网络;所述PconvUnet网络包括部分卷积层、编码层和解码层;所述解码层的连接方式为跳跃连接;当前卷积层的输出和对应的编码层的输出均作为下一解码层的输入。
第一训练单元,用于以所述带孔洞脑图像和所述随机掩膜作为所述PconvUnet网络的输入,以所述正常脑图像作为所述PconvUnet网络的输出,以整体损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到补全网络。
作为一种可选的实施方式,所述基于图像补全的肿瘤图像脑区分割系统还包括:分割网络确定模块,所述分割网络确定模块具体包括:
第二图像获取单元,用于获取正常脑图像和对应的图像标签。
第二网络构建单元,用于构建Unet网络。
第二训练单元,用于以所述正常脑图像作为所述Unet网络的输入,以所述图像标签作为所述Unet网络的输出,以相似性测度损失函数或交叉熵损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到分割网络。
作为一种可选的实施方式,所述补全图像确定模块中的所述整体损失函数为:
其中,为整体损失函数;为带孔洞脑图像中孔洞部分的网络输出预测图像和真实图像的损失函数;为带孔洞脑图像中非孔洞部分的网络输出预测图像和真实图像的损失函数;为感知损失函数;为带孔洞脑图像的网络输出预测图像与真实图像之间的风格损失函数;为结合图像与真实图像的风格损失函数;所述结合图像为带孔洞脑图像中孔洞部分的网络输出预测图像和真实图像中非孔洞部分的结合图像;为全变分损失函数。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于图像补全的肿瘤图像脑区分割方法,其特征在于,包括:
获取待分割肿瘤图像和肿瘤掩膜;
将所述待分割肿瘤图像和所述肿瘤掩膜输入至补全网络中,得到补全后的待分割图像;所述补全网络是以正常脑图像和随机掩膜作为训练集,以整体损失函数最小为目标,对PconvUnet网络进行训练得到的;所述整体损失函数是由感知损失函数、风格损失函数、全变分损失函数以及网络输出预测图像与真实图像的损失函数确定的;
将所述补全后的待分割图像输入至分割网络中,得到待分割肿瘤图像的脑分区;所述分割网络是以所述正常脑图像和对应的图像标签作为训练集,以相似性测度损失函数或交叉熵损失函数最小为目标,对Unet网络进行训练得到的。
2.根据权利要求1所述的一种基于图像补全的肿瘤图像脑区分割方法,其特征在于,所述补全网络的确定方法为:
获取正常脑图像;
随机生成二值掩膜,得到随机掩膜;
将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像;
构建PconvUnet网络;所述PconvUnet网络包括部分卷积层、编码层和解码层;所述解码层的连接方式为跳跃连接;当前卷积层的输出和对应的编码层的输出均作为下一解码层的输入;
以所述带孔洞脑图像和所述随机掩膜作为所述PconvUnet网络的输入,以所述正常脑图像作为所述PconvUnet网络的输出,以整体损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到补全网络。
3.根据权利要求1所述的一种基于图像补全的肿瘤图像脑区分割方法,其特征在于,所述分割网络的确定方法为:
获取正常脑图像和对应的图像标签;
构建Unet网络;
以所述正常脑图像作为所述Unet网络的输入,以所述图像标签作为所述Unet网络的输出,以相似性测度损失函数或交叉熵损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到分割网络。
5.根据权利要求1所述的一种基于图像补全的肿瘤图像脑区分割方法,其特征在于,所述获取待分割肿瘤图像和肿瘤掩膜,具体包括:
获取待分割肿瘤图像;
对所述待分割肿瘤图像进行纵向切片,得到真实形状2D掩膜数据;
对所述真实形状2D掩膜数据依次进行二值化和膨胀操作,得到肿瘤掩膜。
6.根据权利要求2所述的一种基于图像补全的肿瘤图像脑区分割方法,其特征在于,所述将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像,具体包括:
对所述正常脑图像沿纵向进行切片,得到横断位2D正常脑图像数据;
对所述横断位2D正常脑图像数据进行归一化处理,得到2D脑图像;
将所述2D脑图像与所述随机掩膜相结合得到带孔洞脑图像。
7.一种基于图像补全的肿瘤图像脑区分割系统,其特征在于,包括:
图像获取模块,用于获取待分割肿瘤图像和肿瘤掩膜;
补全图像确定模块,用于将所述待分割肿瘤图像和所述肿瘤掩膜输入至补全网络中,得到补全后的待分割图像;所述补全网络是以正常脑图像和随机掩膜作为训练集,以整体损失函数最小为目标,对PconvUnet网络进行训练得到的;所述整体损失函数是由感知损失函数、风格损失函数、全变分损失函数以及网络输出预测图像与真实图像的损失函数确定的;
脑区分割模块,用于将所述补全后的待分割图像输入至分割网络中,得到待分割肿瘤图像的脑分区;所述分割网络是以所述正常脑图像和对应的图像标签作为训练集,以相似性测度损失函数或交叉熵损失函数最小为目标,对Unet网络进行训练得到的。
8.根据权利要求7所述的一种基于图像补全的肿瘤图像脑区分割系统,其特征在于,还包括:补全网络确定模块;所述补全网络确定模块具体包括:
第一图像获取单元,用于获取正常脑图像;
随机掩膜生成单元,用于随机生成二值掩膜,得到随机掩膜;
孔洞图像生成单元,用于将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像;
第一网络构建单元,用于构建PconvUnet网络;所述PconvUnet网络包括部分卷积层、编码层和解码层;所述解码层的连接方式为跳跃连接;当前卷积层的输出和对应的编码层的输出均作为下一解码层的输入;
第一训练单元,用于以所述带孔洞脑图像和所述随机掩膜作为所述PconvUnet网络的输入,以所述正常脑图像作为所述PconvUnet网络的输出,以整体损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到补全网络。
9.根据权利要求7所述的一种基于图像补全的肿瘤图像脑区分割系统,其特征在于,还包括:分割网络确定模块,所述分割网络确定模块具体包括:
第二图像获取单元,用于获取正常脑图像和对应的图像标签;
第二网络构建单元,用于构建Unet网络;
第二训练单元,用于以所述正常脑图像作为所述Unet网络的输入,以所述图像标签作为所述Unet网络的输出,以相似性测度损失函数或交叉熵损失函数最小为目标采用反向传播及梯度下降算法进行训练学习,得到分割网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011422199.9A CN112529909A (zh) | 2020-12-08 | 2020-12-08 | 一种基于图像补全的肿瘤图像脑区分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011422199.9A CN112529909A (zh) | 2020-12-08 | 2020-12-08 | 一种基于图像补全的肿瘤图像脑区分割方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112529909A true CN112529909A (zh) | 2021-03-19 |
Family
ID=74998131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011422199.9A Pending CN112529909A (zh) | 2020-12-08 | 2020-12-08 | 一种基于图像补全的肿瘤图像脑区分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112529909A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222038A (zh) * | 2021-05-24 | 2021-08-06 | 北京安德医智科技有限公司 | 基于核磁图像的乳腺病灶分类和定位方法及装置 |
CN113255756A (zh) * | 2021-05-20 | 2021-08-13 | 联仁健康医疗大数据科技股份有限公司 | 图像融合方法、装置、电子设备及存储介质 |
CN113379757A (zh) * | 2021-05-01 | 2021-09-10 | 首都医科大学宣武医院 | 用于训练脑影像分割模型的方法及脑影像分割方法 |
CN113554642A (zh) * | 2021-08-12 | 2021-10-26 | 北京安德医智科技有限公司 | 对病灶鲁棒的脑区定位方法及装置、电子设备和存储介质 |
CN113658152A (zh) * | 2021-08-24 | 2021-11-16 | 平安科技(深圳)有限公司 | 脑卒中风险的预测设备、方法、计算机设备及存储介质 |
CN113674269A (zh) * | 2021-08-30 | 2021-11-19 | 北京安德医智科技有限公司 | 基于一致性损失的肿瘤脑区定位方法及装置 |
WO2023040744A1 (zh) * | 2021-09-18 | 2023-03-23 | 华为技术有限公司 | 图像损失值的确定方法、装置、存储介质及程序产品 |
CN117079080A (zh) * | 2023-10-11 | 2023-11-17 | 青岛美迪康数字工程有限公司 | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754403A (zh) * | 2018-11-29 | 2019-05-14 | 中国科学院深圳先进技术研究院 | 一种ct图像内的肿瘤自动分割方法及系统 |
CN109840471A (zh) * | 2018-12-14 | 2019-06-04 | 天津大学 | 一种基于改进Unet网络模型的可行道路分割方法 |
US20200011950A1 (en) * | 2018-07-05 | 2020-01-09 | Case Western Reserve University | Radiographic-deformation and textural heterogeneity (r-depth): an integrated descriptor for brain tumor prognosis |
CN111260671A (zh) * | 2020-05-07 | 2020-06-09 | 北京精诊医疗科技有限公司 | 一种ct影像肺部分叶方法及系统 |
CN111986107A (zh) * | 2020-08-05 | 2020-11-24 | 中国人民解放军战略支援部队信息工程大学 | 一种基于深度学习的dsm局部缺失修复方法 |
-
2020
- 2020-12-08 CN CN202011422199.9A patent/CN112529909A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200011950A1 (en) * | 2018-07-05 | 2020-01-09 | Case Western Reserve University | Radiographic-deformation and textural heterogeneity (r-depth): an integrated descriptor for brain tumor prognosis |
CN109754403A (zh) * | 2018-11-29 | 2019-05-14 | 中国科学院深圳先进技术研究院 | 一种ct图像内的肿瘤自动分割方法及系统 |
CN109840471A (zh) * | 2018-12-14 | 2019-06-04 | 天津大学 | 一种基于改进Unet网络模型的可行道路分割方法 |
CN111260671A (zh) * | 2020-05-07 | 2020-06-09 | 北京精诊医疗科技有限公司 | 一种ct影像肺部分叶方法及系统 |
CN111986107A (zh) * | 2020-08-05 | 2020-11-24 | 中国人民解放军战略支援部队信息工程大学 | 一种基于深度学习的dsm局部缺失修复方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379757A (zh) * | 2021-05-01 | 2021-09-10 | 首都医科大学宣武医院 | 用于训练脑影像分割模型的方法及脑影像分割方法 |
CN113379757B (zh) * | 2021-05-01 | 2024-04-12 | 首都医科大学宣武医院 | 用于训练脑影像分割模型的方法及脑影像分割方法 |
CN113255756A (zh) * | 2021-05-20 | 2021-08-13 | 联仁健康医疗大数据科技股份有限公司 | 图像融合方法、装置、电子设备及存储介质 |
CN113255756B (zh) * | 2021-05-20 | 2024-05-24 | 联仁健康医疗大数据科技股份有限公司 | 图像融合方法、装置、电子设备及存储介质 |
CN113222038A (zh) * | 2021-05-24 | 2021-08-06 | 北京安德医智科技有限公司 | 基于核磁图像的乳腺病灶分类和定位方法及装置 |
CN113222038B (zh) * | 2021-05-24 | 2021-10-22 | 北京安德医智科技有限公司 | 基于核磁图像的乳腺病灶分类和定位方法及装置 |
CN113554642A (zh) * | 2021-08-12 | 2021-10-26 | 北京安德医智科技有限公司 | 对病灶鲁棒的脑区定位方法及装置、电子设备和存储介质 |
CN113554642B (zh) * | 2021-08-12 | 2022-03-11 | 北京安德医智科技有限公司 | 对病灶鲁棒的脑区定位方法及装置、电子设备和存储介质 |
CN113658152B (zh) * | 2021-08-24 | 2023-06-30 | 平安科技(深圳)有限公司 | 脑卒中风险的预测设备、方法、计算机设备及存储介质 |
CN113658152A (zh) * | 2021-08-24 | 2021-11-16 | 平安科技(深圳)有限公司 | 脑卒中风险的预测设备、方法、计算机设备及存储介质 |
CN113674269A (zh) * | 2021-08-30 | 2021-11-19 | 北京安德医智科技有限公司 | 基于一致性损失的肿瘤脑区定位方法及装置 |
WO2023040744A1 (zh) * | 2021-09-18 | 2023-03-23 | 华为技术有限公司 | 图像损失值的确定方法、装置、存储介质及程序产品 |
CN117079080A (zh) * | 2023-10-11 | 2023-11-17 | 青岛美迪康数字工程有限公司 | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
CN117079080B (zh) * | 2023-10-11 | 2024-01-30 | 青岛美迪康数字工程有限公司 | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112529909A (zh) | 一种基于图像补全的肿瘤图像脑区分割方法及系统 | |
CN108022238B (zh) | 对3d图像中对象进行检测的方法、计算机存储介质和系统 | |
US11430140B2 (en) | Medical image generation, localizaton, registration system | |
CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
CN111640100B (zh) | 肿瘤图像的处理方法和装置、电子设备、存储介质 | |
CN107492071A (zh) | 医学图像处理方法及设备 | |
CN105931226A (zh) | 基于深度学习的自适应椭圆拟合细胞自动检测分割方法 | |
CN107749061A (zh) | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 | |
JP2023550844A (ja) | 深層形状学習に基づく肝臓ct自動分割方法 | |
CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
CN111369574B (zh) | 一种胸腔器官的分割方法及装置 | |
CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
CN115578404B (zh) | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 | |
CN114037714B (zh) | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 | |
CN111080657A (zh) | 基于卷积神经网络多维度融合的ct图像器官分割方法 | |
CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
CN114742802B (zh) | 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法 | |
CN114202545A (zh) | 一种基于UNet++的低级别胶质瘤图像分割方法 | |
CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
CN116612174A (zh) | 软组织的三维重建方法、系统及计算机存储介质 | |
CN116258933A (zh) | 基于全局信息感知的医学图像分割装置 | |
CN117132616A (zh) | 一种医学图像器官分割方法、系统及病灶分类系统 | |
CN111918611B (zh) | 胸部x线图像的异常显示控制方法、记录介质及装置 | |
CN116309640A (zh) | 一种基于多层级多注意力MLMA-UNet网络的图像自动分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210319 |