CN111402268B - 一种医学图像中肝脏及其病灶分割的方法 - Google Patents
一种医学图像中肝脏及其病灶分割的方法 Download PDFInfo
- Publication number
- CN111402268B CN111402268B CN202010180378.XA CN202010180378A CN111402268B CN 111402268 B CN111402268 B CN 111402268B CN 202010180378 A CN202010180378 A CN 202010180378A CN 111402268 B CN111402268 B CN 111402268B
- Authority
- CN
- China
- Prior art keywords
- training
- liver
- loss
- data
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004185 liver Anatomy 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 title claims description 25
- 238000012549 training Methods 0.000 claims abstract description 59
- 230000006870 function Effects 0.000 claims abstract description 36
- 238000011156 evaluation Methods 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 210000001015 abdomen Anatomy 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 230000007797 corrosion Effects 0.000 claims abstract description 4
- 238000005260 corrosion Methods 0.000 claims abstract description 4
- 230000003902 lesion Effects 0.000 claims description 19
- 230000002238 attenuated effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种医学图像中肝脏及其病灶分割的方法，先将腹部CT图像数据进行筛选及整合预处理，并划分成多个不同用处的数据集，然后搭建新的神经网络，使用小图数据进行初始训练；之后，保存训练好的模型，使用原图和新的数据增强方式进行二次训练，对预测的图片进行膨胀和腐蚀处理，用医学评价指标进行评测；分别用DL、GDL、TL损失函数训练的模型预测结果，将上述三个损失模型的预测结果相加取平均值形成融合特征，最后修改网络，把这三个损失模型融合在单个网络进行训练预测。能进行端到端的训练测试，以高精度和高速度来同时识别肝脏和病灶，有效帮助医生识别CT图像，大大减少医生所消耗的时间和精力，减少误诊的概率。
Description
技术领域
本发明涉及一种医学图像中肝脏及其病灶分割的方法。
背景技术
目前肝脏部位的疾病是世界上发病率和致死率均较高的部位之一，但若肝部疾病发生在早期，并且能够及时定位病灶，对病灶加以控制与防御，可避免病灶的转移，对肝病的治疗具有重大的意义。CT图像的出现极大提高了医生的诊断水平，但需要具有深厚的专业背景，并且需要具有丰富的临床经验的医生才能定位病灶，诊断出患者的病症非常耗时。随着计算机视觉技术的迅速发展，出现了基于区域、阈值分割和机器学习等分割算法，图像语义分割方面的研究取得了长足的进步，医疗图像分割能精确的了解病灶的位置、大小，但是精确度还有待提高。
FCN利用反卷积使得被卷积缩小的特征图回到原图，把分割做成像素级别分类，可以处理任意大小的图片。但是，直接将特征进行上采样，使得深层和浅层的信息进行不对等结合，丢失关键性特征信息。U-Net是一个编解码网络，先进行特征提取，再进行上采样还原，将不同尺度通道数相同的特征进行拼接，跳转连接融合不同尺度的特征信息，可以用较少的数据训练出较优模型，后来被广泛用在超大图和医疗图像分割。在U-Net基础上有几点问题需要解决，U-Net普遍采用五层结构，简单数据浅层就能解决，复杂数据加深网络也能得到优化，多深网络最适合没有解决；网络每一层的重要性没有明确，需要多深的网络没有指出；仅仅通过各层的短连接，不能有效融合深浅层特征。U-Net++修改了直接将高分辨的特征映射从编码器快速转发到解码器网络，有效克服编解码器的语义鸿沟问题。
发明内容
本发明的目的是克服传统用于医学图像分割的神经网络在网络深度、不同深度的重要性和跳转连接的合理性等方面的不足，提供一种医学图像中肝脏及其病灶分割的方法。
本发明的目的通过以下技术方案来实现：
一种医学图像中肝脏及其病灶分割的方法，特点是：
首先将腹部CT图像数据进行筛选及整合预处理，并划分成多个不同用处的数据集，然后搭建新的神经网络，使用小图数据进行初始训练；
之后，保存训练好的模型，使用原图和新的数据增强方式进行二次训练，对预测的图片进行膨胀和腐蚀处理，用医学评价指标进行评测；
分别用DL、GDL、TL损失函数训练的模型预测结果，将上述三个损失模型的预测结果相加取平均值形成融合特征，最后修改网络，把三个损失模型融合在单个网络进行训练预测。
进一步地，上述的一种医学图像中肝脏及其病灶分割的方法，其中，具体包括以下步骤：
a)首先，数据筛选及整合；
将训练的数据集剔除掉没有肝脏的切片，然后打乱成19000～20000张3d切片，3d切片是当前切片和其前后两张切片作为整体输入，选取其中的17000～18000张切片作为训练集，剩下的1800～1900张切片作为验证集，70个病人序列用于测试，其中训练集大小分为224×224和512×512；
b)然后，搭建新的神经网络，使用小图数据进行初始训练；
把Unet中U型路径设置为主路径，全路径加上ResNet结构形成编解码结构，密集跳转连接在DenseNet基础上换成1×1的卷积层，在肝脏和病灶的过渡地带，肝脏输出的信息成为病灶的输入和卷积，肝脏其他层的输出短连接至病灶对应深度的输入；
通过网络训练缩小成224×224的数据，把有效的权重分布应用在后续模型训练上，对调整后的图片训练40～60轮，每轮12～16份切片，在训练过程中将图片进行旋转、放大、缩小，并以随机概率组合；
c)继而，使用原图和新的数据增强方式进行二次训练；
在缩小的图片数据上训练模型之后，保留网络结构和权重分布，将原图以旋转、缩放、翻转、拉伸的概率组合，使用新的学习率再进行二次训练；
d)最后，通过调整损失函数组合方式得到不同的医学评价结果；
通过单个最优损失函数模型和基于权重及相似性相结合的损失模型做不同层的监督信号，得到不同的评价结果。
进一步地，上述的一种医学图像中肝脏及其病灶分割的方法，其中，步骤c)使用原图和新的数据增强方式进行二次训练，原图即是512×512大小，对图片进行旋转、缩放、翻转、拉伸操作，以随机概率组合，采用指数衰减学习率，调整每轮衰减大小调节变化，方程如下：
上述公式，衰减后的学习率decayed_learning_rate，由先设定的初始学习率learning_rate乘以基数衰减速度decay_steps，衰减速度设定为0.8～0.9，每global_step步进行衰减，global_step是当前迭代轮数，即多少轮可迭代完所有的样本数据，初始学习率设定为1e-3～3e-3，在原图训练时设定为1e-4～3e-4，结果是学习率以基数0.8～0.9每一轮的步数进行衰减。
进一步地，上述的一种医学图像中肝脏及其病灶分割的方法，其中，步骤d)通过调整损失函数组合方式得到不同的医学评价结果，损失函数具体为DL、GDL、TL，采用的三个损失函数如下公式，分别选取对于肝脏和病灶适用的损失函数，DL用于评估预测集合和真实集合的相似度，用于样本不均衡的情况，表达式如下：
分母的量化计算采取元素平方再求和的方法，其中k和t分别代表预测区域和真值区域元素，ij代表遍历其中元素；DL是一种集合相似度度量函数，通常用于计算两个样本的相似度，范围为[0,1]，分子中的系数，因分母存在重复计算k和t之间的共同元素的原因，最终由各类别的2倍点乘除以各自元素的平方和得到损失值；
GDL(Generalized Dice loss)：当肝脏病灶有多个分割区域时，针对每一类有一个Dice，而GDL将多个类别进行整合，采用一个指标进行量化计算，公式如下：
其中kij为类别i在第j个像素的真实值，tij为相应的预测概率值；相比于DL，多了作为每个类别的权重wi，wi用于维系病灶区域和DL系数之间的平衡；
TL(Tversky loss)公式如下：
其中kij为类别i在第j个像素的真实值，tij为相应的预测概率值；
α和β分别控制假阳性和假阴性的比重。
进一步地，上述的一种医学图像中肝脏及其病灶分割的方法，其中，当α＝β＝0.5，TL系数就是DL系数。
本发明与现有技术相比具有显著的优点和有益效果，具体体现在以下方面：
①通过数据预处理，去除无效的肝脏图片；将图像去噪提高对比度更易于网络分割模糊边缘；使用序列化的3d图像做融合分割，可以保留上下文的语义信息；将合成的3d图做不同组合的数据增强强化了数据集鲁棒性和防止过拟合；
②肝脏和病灶各自的网络都采用编解码网络，设计了肝脏和病灶分割的过度区更好的连接编解码器之间的分辨率鸿沟，同时病灶只接收来自肝脏的信息，把正确范围进一步缩小，使得网络能够减少参数和时间去学习上下文信息，同时能加速网络收敛；原始分辨率的图片从输入开始到最终提取的最小特征图采用16或32倍采样，这样不仅可以减少网络推理时间还可以用于更密集的特征提取；此外，去掉U-Net++的Droopout和最大池化操作，收集更多的底层特征信息；
③在损失函数方面，对比多个Loss的性能，选取对于肝脏和病灶最优的函数，在不同深度的网络添加带权重的损失函数，可以提高不同深度网络的分类器判别能力，能有效克服梯度消失问题，并提供额外的正则化；此外，对比了单个最优损失函数模型和基于权重及相似性相结合的损失模型做深度监督，选取最后一个残差块的输出，其它层损失以0.3的权重加到优化器里，再以输出结果进行加权求和取平均作为最终损失，通过各个层级的联合决策能够有效避免多个模型消耗大量资源和时间的问题，同时能够吸取各个模型的优点，缓解过分割和欠分割的问题；
④本发明方法能进行端到端的训练测试，以高精度和高速度来同时识别肝脏和病灶，有效帮助医生识别CT图像，大大减少医生所消耗的时间和精力，减少误诊的概率，具有较好的实际应用价值。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明具体实施方式了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1：本发明的网络结构示意图；
图2：本发明处理流程示意图；
图3：本发明的数据增强及序列化的示意图；
图4：本发明的部分网络肝脏分割图；
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，方位术语和次序术语等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本发明医学图像中肝脏及其病灶分割的方法，首先，数据筛选及整合；
将训练的数据集剔除掉没有肝脏的切片，然后打乱成19000～20000张3d切片，3d切片是当前切片和其前后两张切片作为整体输入，选取其中的17000～18000张切片作为训练集，剩下的1800～1900张切片作为验证集，70个病人序列用于测试，其中训练集大小分为224×224和512×512；
然后，搭建新的神经网络，使用小图数据进行初始训练；
把Unet中U型路径设置为主路径，全路径加上ResNet结构形成编解码结构，密集跳转连接在DenseNet基础上换成1×1的卷积层，在肝脏和病灶的过渡地带，肝脏输出的信息成为病灶的输入和卷积，肝脏其他层的输出短连接至病灶对应深度的输入；
通过网络训练缩小成224×224的数据，把有效的权重分布应用在后续模型训练上，对调整后的图片训练40～60轮，每轮12～16份切片，在训练过程中将图片进行旋转、放大、缩小，并以随机概率组合；
继而，使用原图和新的数据增强方式进行二次训练；
在缩小的图片数据上训练模型之后，保留网络结构和权重分布，将原图以旋转、缩放、翻转、拉伸的概率组合，使用新的学习率再进行二次训练；
使用原图和新的数据增强方式进行二次训练，原图即是512×512大小，对图片进行旋转、缩放、翻转、拉伸操作，以随机概率组合，采用指数衰减学习率，调整每轮衰减大小调节变化，方程如下：
上述公式，衰减后的学习率decayed_learning_rate，由先设定的初始学习率learning_rate乘以基数衰减速度decay_steps，衰减速度设定为0.8～0.9，每global_step步进行衰减，global_step是当前迭代轮数，即多少轮可迭代完所有的样本数据，初始学习率设定为1e-3～3e-3，在原图训练时设定为1e-4～3e-4，结果是学习率以基数0.8～0.9每一轮的步数进行衰减。
最后，通过调整损失函数组合方式得到不同的医学评价结果；
损失函数具体为DL、GDL、TL，采用的三个损失函数如下公式，分别选取对于肝脏和病灶适用的损失函数，DL(Dice loss)用于评估预测集合和真实集合的相似度，用于样本不均衡的情况，表达式如下：
分母的量化计算采取元素平方再求和的方法，其中k和t分别代表预测区域和真值区域元素，ij代表遍历其中元素；DL是一种集合相似度度量函数，通常用于计算两个样本的相似度，范围为[0,1]，分子中的系数，因分母存在重复计算k和t之间的共同元素的原因，最终由各类别的2倍点乘除以各自元素的平方和得到损失值；
GDL：当肝脏病灶有多个分割区域时，针对每一类有一个Dice，而GDL将多个类别进行整合，采用一个指标进行量化计算，公式如下：
其中kij为类别i在第j个像素的真实值，tij为相应的预测概率值；相比于DL，多了作为每个类别的权重wi，wi用于维系病灶区域和DL系数之间的平衡；
TL(Tversky loss)公式如下：
其中kij为类别i在第j个像素的真实值，tij为相应的预测概率值；
α和β分别控制假阳性和假阴性的比重；
当α＝β＝0.5，TL系数即是DL系数。
首先进行数据预处理，去掉没有肝脏的CT图像，将剩余的图像整合序列化，以3D数据流的形式做数据增强，通过合成新的样本来提高准确性，然后使用相关评价指标评价，同时将预测的图像进行膨胀和腐蚀后处理得到预测标签；
图1跳转连接类似原始U-Net网络，C和N采用卷积，R和D采用残差网络结构。在圆弧方向，各自之间分别采用DenseNet结构，肝脏其他层的输出短连接至病灶对应深度的输入，在损失函数方面，对比多个Loss的性能，选取对于肝脏和病灶最优的函数。
具体步骤如下：
a)首先，数据预处理；
选择肝脏肿瘤分割挑战(LiTS)官网上数据集，由PatrickChrist主办。数据集原图是序列化的腹部单通道灰度图，原图和标签的大小都是512×512。标签是分为两个前景和一个背景，0代表背景，1代表肝脏，2代表病灶，把标签重新编排成三通道的图：背景、肝脏和病灶，相应的地方用1代表，其他都为0。数据集包含131个病人序列的训练集，把训练的数据集剔除掉没有肝脏的切片，然后打乱成19000～20000张3d切片，3d切片是当前切片和前后两张切片作为整体输入，选取其中的17000～18000张切片作为训练集，剩下的1800～1900张切片作为验证集，还有70个病人序列用作测试。
b)设置训练参数，进行初始训练；
为方便把有效的权重分布应用在模型训练上，初始把图片大小缩小成224×224，对调整后的图片训练40～60轮，每轮12～16份切片，最后在原图上微调20～40轮达到模型最优，具体处理流程，如图2所示。最后进行图片旋转、放大、缩小等操作，并以一定的概率组合，目的在于数据增强，数据增强的直观效果如图3所示。表一表示肝脏分割相关网络性能：
表一肝脏分割评价指标
表一下方表示目前主流的语义分割方法和本发明方法的比较，横向是评价指标。从表一可以看出，在肝脏分割上，除精度不及多个损失函数联合决策模型，其他指标均优于前面所有网络。由于计算机硬盘读写机制，多个模型取联合决策会大大降低计算机的运算速度，单个模型添加参数做深度监督，达到联合的效果，速度和运算资源利用要明显优于多模型。病灶的分割结果见表二：
表二网络结构参数
表二下面代表不同损失及其组合，横向是评价指标。表二可以看出，加权和基于相似性相结合的损失是无效的，加权甚至会降低网络性能。与肝脏分割结果相比，病灶分割中DL和GDL性能分别优于TL和GTL。于是使用DL做病灶分割的深度监督，效果优于各个损失以及联合决策结果。
图4第一行表示标签真实图像，纵向表示不同网络的训练迭代效果，最后一行为网络的训练输出效果，相比其他网络结构，效果最好。
使用双层编解码半圆型网络，通过密集的跳转连接，把深层和浅层的语义信息结合起来，更易于给优化器处理；设计肝脏和病灶分割的过渡区，使得肝脏分割的结果有效的传递给病灶分割，大大节约了分割原图的时间；选取互补的损失函数来组合进行深度监督，可以有效的接受反传播时的梯度信号，获得更多的正则化效果。在基于加权和基于相似性中选取了最适合肝脏及其病灶分割的损失函数，用最优损失做深度监督，同时使用两者一起做深度监督。最后在肝脏分割上，除了在精度上低于多个损失函数做联合决策的模型，其他评价指标包括病灶所有的评价指标均超过多模型融合结果。
综上所述，本发明医学图像中肝脏及其病灶分割的方法，提出端到端的肝脏及其病灶分割的编解码网络，1*1的卷积核作为密集跳转连接的核心单元，多个神经单元融合多尺度特征，传播语义相近的信息更易被优化器处理，同时不引入过多参数；使用ResNet结构加强主干网络，用叠操作取代加操作，保证网络的深度和宽度。设计肝脏和病灶的过渡区，把病灶分割限定在肝脏里，节约计算资源，效果优于单独用网络来分割病灶。基于加权策略和基于相似性的损失模型，选取分别最适合肝脏和病灶分割的损失函数，用做深度监督，用不同的损失函数比单个最优损失函数做深度监督要好，满足医生诊断实际需求。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
上述仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (5)
1.一种医学图像中肝脏及其病灶分割的方法，其特征在于：
首先将腹部CT图像数据进行筛选及整合预处理，并划分成多个不同用处的数据集，然后搭建新的神经网络，使用小图数据进行初始训练；
之后，保存训练好的模型，使用原图和新的数据增强方式进行二次训练，对预测的图片进行膨胀和腐蚀处理，用医学评价指标进行评测；
分别用DL、GDL、TL损失函数训练的模型预测结果，将上述三个损失模型的预测结果相加取平均值形成融合特征，最后修改网络，把三个损失模型融合在单个网络进行训练预测；
具体包括以下步骤：
a)首先，数据筛选及整合；
将训练的数据集剔除掉没有肝脏的切片，然后打乱成19000～20000张3d切片，3d切片是当前切片和其前后两张切片作为整体输入，选取其中的17000～18000张切片作为训练集，剩下的1800～1900张切片作为验证集，70个病人序列用于测试，其中训练集大小分为224×224和512×512；
b)然后，搭建新的神经网络，使用小图数据进行初始训练；
把Unet中U型路径设置为主路径，全路径加上ResNet结构形成编解码结构，密集跳转连接在DenseNet基础上换成1×1的卷积层，在肝脏和病灶的过渡地带，肝脏输出的信息成为病灶的输入和卷积，肝脏其他层的输出短连接至病灶对应深度的输入；
通过网络训练缩小成224×224的数据，把有效的权重分布应用在后续模型训练上，对调整后的图片训练40～60轮，每轮12～16份切片，在训练过程中将图片进行旋转、放大、缩小，并以随机概率组合；
c)继而，使用原图和新的数据增强方式进行二次训练；
在缩小的图片数据上训练模型之后，保留网络结构和权重分布，将原图以旋转、缩放、翻转、拉伸的概率组合，使用新的学习率再进行二次训练；
d)最后，通过调整损失函数组合方式得到不同的医学评价结果。
2.根据权利要求1所述的一种医学图像中肝脏及其病灶分割的方法，其特征在于：步骤d)，通过单个最优损失函数模型和基于权重及相似性相结合的损失模型做不同层的监督信号，得到不同的评价结果。
3.根据权利要求2所述的一种医学图像中肝脏及其病灶分割的方法，其特征在于：步骤c)使用原图和新的数据增强方式进行二次训练，原图即是512×512大小，对图片进行旋转、缩放、翻转、拉伸操作，以随机概率组合，采用指数衰减学习率，调整每轮衰减大小调节变化，方程如下：
上述公式，衰减后的学习率decayed_learning_rate，由先设定的初始学习率learning_rate乘以基数衰减速度decay_steps，衰减速度设定为0.8～0.9，每global_step步进行衰减，global_step是当前迭代轮数，即多少轮可迭代完所有的样本数据，初始学习率设定为1e-3～3e-3，在原图训练时设定为1e-4～3e-4，结果是学习率以基数0.8～0.9每一轮的步数进行衰减。
4.根据权利要求2所述的一种医学图像中肝脏及其病灶分割的方法，其特征在于：步骤d)通过调整损失函数组合方式得到不同的医学评价结果，损失函数具体为DL、GDL、TL，采用的三个损失函数如下公式，分别选取对于肝脏和病灶适用的损失函数，DL用于评估预测集合和真实集合的相似度，用于样本不均衡的情况，表达式如下：
分母的量化计算采取元素平方再求和的方法，其中k和t分别代表预测区域和真值区域元素，ij代表遍历其中元素；DL是一种集合相似度度量函数，通常用于计算两个样本的相似度，范围为[0,1]，分子中的系数，因分母存在重复计算k和t之间的共同元素的原因，最终由各类别的2倍点乘除以各自元素的平方和得到损失值；
GDL：当肝脏病灶有多个分割区域时，针对每一类有一个Dice，而GDL将多个类别进行整合，采用一个指标进行量化计算，公式如下：
其中kij为类别i在第j个像素的真实值，tij为相应的预测概率值；相比于DL，多了作为每个类别的权重wi，wi用于维系病灶区域和DL系数之间的平衡；
TL公式如下：
其中kij为类别i在第j个像素的真实值，tij为相应的预测概率值；
α和β分别控制假阳性和假阴性的比重。
5.根据权利要求4所述的一种医学图像中肝脏及其病灶分割的方法，其特征在于：当α＝β＝0.5，TL系数即是DL系数。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010180378.XA CN111402268B (zh) | 2020-03-16 | 2020-03-16 | 一种医学图像中肝脏及其病灶分割的方法 |
| PCT/CN2020/131402 WO2021184817A1 (zh) | 2020-03-16 | 2020-11-25 | 一种医学图像中肝脏及其病灶分割的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010180378.XA CN111402268B (zh) | 2020-03-16 | 2020-03-16 | 一种医学图像中肝脏及其病灶分割的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111402268A CN111402268A (zh) | 2020-07-10 |
| CN111402268B true CN111402268B (zh) | 2023-05-23 |
Family
ID=71428820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010180378.XA Active CN111402268B (zh) | 2020-03-16 | 2020-03-16 | 一种医学图像中肝脏及其病灶分割的方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111402268B (zh) |
| WO (1) | WO2021184817A1 (zh) |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402268B (zh) * | 2020-03-16 | 2023-05-23 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
| CN111950595A (zh) * | 2020-07-14 | 2020-11-17 | 十堰市太和医院（湖北医药学院附属医院） | 肝脏病灶图像处理方法、系统、存储介质、程序、终端 |
| CN111860840B (zh) * | 2020-07-28 | 2023-10-17 | 上海联影医疗科技股份有限公司 | 深度学习模型训练方法、装置、计算机设备及存储介质 |
| CN112070685B (zh) * | 2020-08-10 | 2023-08-18 | 武汉大学 | Hifu治疗系统的动态软组织运动预测的方法 |
| US11694329B2 (en) | 2020-10-30 | 2023-07-04 | International Business Machines Corporation | Logistic model to determine 3D z-wise lesion connectivity |
| US11436724B2 (en) | 2020-10-30 | 2022-09-06 | International Business Machines Corporation | Lesion detection artificial intelligence pipeline computing system |
| US11688517B2 (en) | 2020-10-30 | 2023-06-27 | Guerbet | Multiple operating point false positive removal for lesion identification |
| US11587236B2 (en) | 2020-10-30 | 2023-02-21 | International Business Machines Corporation | Refining lesion contours with combined active contour and inpainting |
| US11688063B2 (en) | 2020-10-30 | 2023-06-27 | Guerbet | Ensemble machine learning model architecture for lesion detection |
| US11749401B2 (en) | 2020-10-30 | 2023-09-05 | Guerbet | Seed relabeling for seed-based segmentation of a medical image |
| CN112819032B (zh) * | 2021-01-11 | 2023-10-27 | 平安科技（深圳）有限公司 | 基于多模型的切片特征分类方法、装置、设备及介质 |
| CN113052857A (zh) * | 2021-03-22 | 2021-06-29 | 山西三友和智慧信息技术股份有限公司 | 一种基于CovSegNet的肺部病变图像分割方法 |
| CN113159147B (zh) * | 2021-04-08 | 2023-09-26 | 平安科技（深圳）有限公司 | 基于神经网络的图像识别方法、装置、电子设备 |
| CN113112475B (zh) * | 2021-04-13 | 2023-04-18 | 五邑大学 | 一种基于机器学习的中医耳部五脏区域分割方法和装置 |
| CN113240014B (zh) * | 2021-05-18 | 2022-05-31 | 长春理工大学 | 一种二类分割损失函数在实现椎间盘组织图像二类分割中的应用方法 |
| CN113378984B (zh) * | 2021-07-05 | 2023-05-02 | 国药(武汉)医学实验室有限公司 | 一种医学图像分类方法、系统、终端以及存储介质 |
| CN114155195B (zh) * | 2021-11-01 | 2023-04-07 | 中南大学湘雅医院 | 基于深度学习的脑肿瘤分割质量评估方法、设备及介质 |
| CN113902761B (zh) * | 2021-11-02 | 2024-04-16 | 大连理工大学 | 基于知识蒸馏的肺部疾病病灶无监督分割方法 |
| CN113963161A (zh) * | 2021-11-11 | 2022-01-21 | 杭州电子科技大学 | 基于ResNet模型特征嵌入UNet的X射线图像分割识别系统及方法 |
| CN114066871B (zh) * | 2021-11-19 | 2024-06-21 | 江苏科技大学 | 一种新冠肺炎病灶区域分割模型训练的方法 |
| CN114049339B (zh) * | 2021-11-22 | 2023-05-12 | 江苏科技大学 | 一种基于卷积神经网络的胎儿小脑超声图像分割方法 |
| CN113902752B (zh) * | 2021-12-06 | 2022-02-22 | 湖南大学 | 一种医学图像分割方法、装置及计算机可读存储介质 |
| CN114358144B (zh) * | 2021-12-16 | 2023-09-26 | 西南交通大学 | 一种图像分割质量评估方法 |
| CN114511728B (zh) * | 2021-12-24 | 2024-05-14 | 之江实验室 | 一种电子内镜食管病灶智能检测模型建立方法 |
| CN114359194B (zh) * | 2021-12-27 | 2024-07-12 | 浙江大学 | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 |
| CN114511850B (zh) * | 2021-12-30 | 2024-05-14 | 广西慧云信息技术有限公司 | 一种阳光玫瑰葡萄果实大小粒图像识别方法 |
| CN114565617A (zh) * | 2022-01-12 | 2022-05-31 | 合肥工业大学 | 基于剪枝U-Net++的乳腺肿块图像分割方法及系统 |
| CN114067092B (zh) * | 2022-01-17 | 2022-04-19 | 山东药品食品职业学院 | 一种基于DenseNet和lightGBM的脂肪肝B超图像分类方法 |
| CN114511599B (zh) * | 2022-01-20 | 2022-09-20 | 推想医疗科技股份有限公司 | 模型训练方法及其装置、医学图像配准方法及其装置 |
| CN114511523B (zh) * | 2022-01-21 | 2024-05-31 | 中山大学 | 基于自监督学习的胃癌分子亚型分类方法及装置 |
| CN114565762B (zh) * | 2022-02-28 | 2024-09-13 | 西安电子科技大学 | 基于roi和分裂融合策略的弱监督肝脏肿瘤分割方法 |
| CN114693689B (zh) * | 2022-03-02 | 2024-03-15 | 西北工业大学 | 一种用于医学图像的自适应神经网络分割模型构建方法 |
| CN114764811B (zh) * | 2022-03-14 | 2024-07-09 | 什维新智医疗科技(上海)有限公司 | 一种基于动态超声视频的病灶区域实时分割装置 |
| CN114863425A (zh) * | 2022-03-31 | 2022-08-05 | 哈尔滨工程大学 | 基于有监督对比学习的尿红细胞的分类方法 |
| CN114897922B (zh) * | 2022-04-03 | 2024-04-26 | 西北工业大学 | 一种基于深度强化学习的组织病理图像分割方法 |
| CN114511581B (zh) * | 2022-04-20 | 2022-07-08 | 四川大学华西医院 | 一种多任务多分辨率协作的食管癌病变分割方法及装置 |
| CN114937171B (zh) * | 2022-05-11 | 2023-06-09 | 复旦大学 | 基于深度学习的阿尔茨海默分类系统 |
| CN114998362B (zh) * | 2022-06-15 | 2024-08-20 | 西安电子科技大学 | 基于双分割模型的医学图像分割方法 |
| CN114937033A (zh) * | 2022-06-27 | 2022-08-23 | 辽宁工程技术大学 | 一种基于深度卷积神经网络的农村公路路面病害智能检测方法 |
| CN114818838B (zh) * | 2022-06-30 | 2022-09-13 | 中国科学院国家空间科学中心 | 基于像元时域分布学习的低信噪比运动点目标检测方法 |
| CN115115662A (zh) * | 2022-07-01 | 2022-09-27 | 重庆邮电大学 | 一种基于知识与数据融合驱动的多模态医学影像目标分割方法 |
| CN115937423B (zh) * | 2022-12-13 | 2023-08-15 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
| CN115661144B (zh) * | 2022-12-15 | 2023-06-13 | 湖南工商大学 | 基于可变形U-Net的自适应医学图像分割方法 |
| CN115880262B (zh) | 2022-12-20 | 2023-09-05 | 桂林电子科技大学 | 基于在线噪声抑制策略的弱监督病理图像组织分割方法 |
| CN116563285B (zh) * | 2023-07-10 | 2023-09-19 | 邦世科技(南京)有限公司 | 一种基于全神经网络的病灶特征识别与分割方法及系统 |
| CN116894820B (zh) * | 2023-07-13 | 2024-04-19 | 国药(武汉)精准医疗科技有限公司 | 一种色素性皮肤病分类检测方法、装置、设备及存储介质 |
| CN116630971B (zh) * | 2023-07-24 | 2023-09-29 | 安徽大学 | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 |
| CN116777793B (zh) * | 2023-07-31 | 2024-06-14 | 深圳扬奇医芯智能科技有限公司 | 基于对数引导对比学习的医学影像提示去噪技术 |
| CN117409019B (zh) * | 2023-09-15 | 2024-08-30 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于集成学习的多模态脑肿瘤图像分割方法及系统 |
| CN117689669B (zh) * | 2023-11-17 | 2024-08-27 | 重庆邮电大学 | 基于结构自适应上下文敏感的视网膜血管分割方法 |
| CN117524427B (zh) * | 2024-01-05 | 2024-04-02 | 莱凯医疗器械(北京)有限公司 | 一种智能化医学影像分析方法 |
| CN117830332B (zh) * | 2024-01-09 | 2024-07-12 | 四川大学 | 一种基于弱监督的医学图像分割方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492286B (zh) * | 2018-03-13 | 2020-05-05 | 成都大学 | 一种基于双通路u型卷积神经网络的医学图像分割方法 |
| CN108937934A (zh) * | 2018-05-07 | 2018-12-07 | 武汉科技大学 | 一种基于深度学习的人脑mri海马体检测与分割方法 |
| EP4404111A3 (en) * | 2018-07-30 | 2024-10-23 | Memorial Sloan Kettering Cancer Center | Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy |
| US10803591B2 (en) * | 2018-08-28 | 2020-10-13 | International Business Machines Corporation | 3D segmentation with exponential logarithmic loss for highly unbalanced object sizes |
| CN109410220B (zh) * | 2018-10-16 | 2019-12-24 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN109614921B (zh) * | 2018-12-07 | 2022-09-30 | 安徽大学 | 一种基于对抗生成网络的半监督学习的细胞分割方法 |
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN110047078B (zh) * | 2019-04-18 | 2021-11-09 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110232721B (zh) * | 2019-05-16 | 2023-04-07 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 一种危及器官自动勾画模型的训练方法及装置 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN110853038A (zh) * | 2019-10-15 | 2020-02-28 | 哈尔滨工程大学 | 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法 |
| CN111402268B (zh) * | 2020-03-16 | 2023-05-23 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
-
2020
- 2020-03-16 CN CN202010180378.XA patent/CN111402268B/zh active Active
- 2020-11-25 WO PCT/CN2020/131402 patent/WO2021184817A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN111402268A (zh) | 2020-07-10 |
| WO2021184817A1 (zh) | 2021-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111402268B (zh) | 一种医学图像中肝脏及其病灶分割的方法 | |
| CN110930397B (zh) | 一种磁共振图像分割方法、装置、终端设备及存储介质 | |
| CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测系统 | |
| Ashwin et al. | Efficient and reliable lung nodule detection using a neural network based computer aided diagnosis system | |
| CN115578404B (zh) | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 | |
| CN113947609A (zh) | 深度学习网络结构及多标签主动脉夹层ct图像分割方法 | |
| CN116097302A (zh) | 用于病灶检测的利用联合训练的连接式机器学习模型 | |
| Wang et al. | Uncertainty-guided efficient interactive refinement of fetal brain segmentation from stacks of MRI slices | |
| Weninger et al. | Multi-task learning for brain tumor segmentation | |
| CN113344951A (zh) | 一种边界感知双重注意力引导的肝段分割方法 | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| Agnes et al. | Efficient multiscale fully convolutional UNet model for segmentation of 3D lung nodule from CT image | |
| Tang et al. | Detection of pulmonary nodules based on a multiscale feature 3D U-Net convolutional neural network of transfer learning | |
| Anil et al. | Automatic liver tumor segmentation based on multi-level deep convolutional networks and fractal residual network | |
| CN113012164A (zh) | 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质 | |
| CN117710760B (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
| Bhuvaneswari et al. | Contrast enhancement of retinal images using green plan masking and whale optimization algorithm | |
| CN113269764A (zh) | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 | |
| Yang et al. | Dual-path network for liver and tumor segmentation in CT images using Swin Transformer encoding approach | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| Arulappan et al. | Liver tumor segmentation using a new asymmetrical dilated convolutional semantic segmentation network in CT images | |
| CN115908299A (zh) | 基于医学影像的生存期预测方法、装置、设备及介质 | |
| CN115661084A (zh) | 一种基于边缘高频纹理特征的自注意力医疗图像分割装置 | |
| Fu et al. | Harmony loss for unbalanced prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |