CN112241766B - 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 - Google Patents

基于样本生成和迁移学习的肝脏ct图像多病变分类方法 Download PDF

Info

Publication number
CN112241766B
CN112241766B CN202011159865.4A CN202011159865A CN112241766B CN 112241766 B CN112241766 B CN 112241766B CN 202011159865 A CN202011159865 A CN 202011159865A CN 112241766 B CN112241766 B CN 112241766B
Authority
CN
China
Prior art keywords
network
liver
lesion
sample
hepatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011159865.4A
Other languages
English (en)
Other versions
CN112241766A (zh
Inventor
缑水平
曹思颖
周海彬
杨玉林
刘豪锋
续溢男
骆安琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202011159865.4A priority Critical patent/CN112241766B/zh
Publication of CN112241766A publication Critical patent/CN112241766A/zh
Application granted granted Critical
Publication of CN112241766B publication Critical patent/CN112241766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于样本生成和迁移学习的肝脏CT图像多病变分类方法，主要解决现有方法对肝脏多种病变检测性能不高的问题。其实现方案为：划分数据集；分别构建肝脏器官分割网络和肝脏病变检测网络；基于深度卷积生成式对抗网络，构建肝囊肿样本生成网络和肝血管瘤样本生成网络，分别生成新的肝囊肿和肝血管瘤样本；构建肝脏病变分类网络；对待检测的肝脏CT图像先使用肝脏器官分割网络进行器官分割，再使用肝脏病变检测网络对分割结果进行病变检测，最后使用肝脏病变分类网络对检测到的病变进行分类。本发明缓解了不同类别样本量的不平衡，提高了病变分类性能，可用于对肝脏CT影像中存在的肝癌、肝囊肿、肝血管瘤多种病变的定位和定性。

Description

基于样本生成和迁移学习的肝脏CT图像多病变分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及一种肝脏病变分类方法，可用于对肝脏CT影像中存在的肝癌、肝囊肿、肝血管瘤等多种病变进行定位和定性。
背景技术
肝脏作为人体最大的消化腺，起着不可替代的作用。但其疾病种类繁多，如肝癌是常见的恶性肿瘤之一，发病率逐年升高，早期表现多不明显，肿瘤较大或病程进展至中晚期时才会出现上腹部不适、疼痛、发热、乏力、恶心、食欲不振等症状。影像学诊断对肝癌、肝囊肿、肝血管瘤等疾病的诊断及疗效评价具有重要意义。在临床诊断中，医生需要凭借经验对病灶定位和诊断，这在一定程度上降低了医生的工作效率，因此出现了用于辅助医疗诊断的人工智能方法。
现有人工智能方法是在对器官病变进行检测之前，通常需要先进行器官分割。在深度学习技术蓬勃发展之前，常用的图像分割算法主要分为基于像素和基于区域的方法，例如基于滤波的方法是通过局部特征描述对图像依次进行去噪和增强，然后再对处理后的结果结合其他分割算法进行目标分割。但因为医学图像具有较高的复杂性且缺少简单的线性特征，传统的分割算法容易受到容积效应、伪影、各软组织间灰度差异小等因素的影响。
随着深度学习的发展，一些新的图像分割网络结构相继提出，其中UNet网络被广泛应用于医学图像分割领域，这是一种端到端的图像分割网络，可以在仅使用少量样本进行训练的情况下获得较为准确的分割结果，网络结构简单且有效，一经提出便引起了研究热潮，随后涌现了一大批基于UNet进行改进的方法。
目前针对病变检测与分类的研究方法中，以通过人为设计和病变有关特征的传统图像处理方法，以及通过卷积神经网络学习并自动提取特征的深度学习方法这两种方式居多，但是这些方法大多数研究方向都集中在如何有效检测某种具体的病变，不能同时对多种类型的病变进行准确检测和分类。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于样本生成和迁移学习的肝脏CT多病变分类方法，以同时完成对肝脏器官中存在的肝癌、肝囊肿、肝血管瘤这些常见肝脏疾病病灶的分类，并提升肝脏多种病变的检测准确率。
为实现上述目的，本发明的实现步骤包括如下：
(1)从肝脏CT影像中提取得到420张2D肝脏图像，并随机选取该图像的80％作为训练集，其余的20％为测试集；
(2)构建基于全局注意力的肝脏器官分割网络U：
(2a)在所有2D肝脏CT图像上标注出肝脏器官的轮廓，存储成mask图像；
(2b)在现有的UNet分割网络中引入全局注意力上采样GAU模块；
(2c)将训练集肝脏CT图像和mask图像输入到引入GAU模块的分割网络中进行训练，利用Adam算法更新网络中各层的权重参数，得到肝脏器官分割网络U；
(3)构建肝脏病变检测网络F：
(3a)在所有的肝脏CT图像中标注出病变类型为肝癌、肝囊肿和肝血管瘤的样本和它们的位置信息，并将其制成VOC2007格式的数据集；
(3b)利用mask图像从原肝脏CT图像中提取出仅含有肝脏部分的图像，并存储成JPG格式的图片；
(3c)将仅含有肝脏部分的图像和病灶的位置标签输入到现有的Faster R-CNN网络中进行训练，得到肝脏病变检测网络F；
(4)对样本量不足其他类型一半的肝囊肿和肝血管瘤这两类样本进行数据生成：
(4a)将(3a)中标注好的病变区域从原CT图像中提取出来作为真实病变样本，采用resize操作将这些尺寸不一的真实病变样本转换成相同大小的样本图像，并通过旋转对这些样本进行扩充；
(4b)使用扩充后的真实肝囊肿病变样本对深度卷积生成式对抗网络DCGAN进行迭代训练，得到肝囊肿样本生成网络HC；
(4c)生成服从均匀分布的随机噪声，输入到肝囊肿样本生成网络HC中，生成新的肝囊肿病变样本，并加入到已有的真实肝囊肿样本中；
(4d)按照(4b)和(4c)的操作过程构建肝血管瘤样本生成网络HH，生成新的肝血管瘤样本，并加入到已有的真实肝血管瘤样本中；
(5)构建迁移深度学习的肝脏病变分类网络T：
(5a)构建迁移深度学习网络，即将现有的Inception v3网络特征提取部分的参数进行冻结，再在该网络的输出特征表示层之后加入新的softmax层，并根据病变类别数设置网络输出的维数；
(5b)将(4c)和(4d)中利用肝囊肿样本生成网络HC和肝血管瘤样本生成网络HH扩充后的病变样本输入到Inception v3网络中对其网络参数进行迭代训练，得到肝脏病变分类网络T；
(6)对测试集待检测肝脏CT图像进行多病变检测和分类：
(6a)将测试集中待分割的肝脏CT图像输入到(2)中构建的肝脏器官分割网络U中，得到测试集的肝脏器官分割结果；
(6b)将测试集的分割结果输入到(3)中构建的肝脏病变检测网络F中，检测出测试集的病变区域；
(6c)将测试集病变区域从原肝脏CT图像中提取出来，输入到(5)中构建的肝脏病变分类网络T中，得到最终的病变分类结果。
本发明与现有技术相比，具有以下优点：
第一，具有更好的病变检测性能
本发明由于在现有的UNet网络中引入全局注意力上采样GAU模块，构建了肝脏器官分割网络U，可得到精确的器官分割结果，并在该分割结果上进行病变检测，避免了其他器官组织的干扰，大大提升了病变检测的精度。
第二，具有更准确快速的病变分类性能
本发明由于分别通过肝囊肿样本生成网络HC和肝血管瘤样本生成网络HH对实际采集到的病变样本中样本量偏少的肝囊肿和肝血管瘤进行样本生成，缓解了不同类别样本量不平衡的问题；同时由于本发明利用迁移学习方法，冻结了Inception v3网络特征提取部分的参数，使得训练过程中仅对softmax层的参数进行微调，加快了病变分类网络的训练，且增强了算法的鲁棒性，提升了病变分类性能。
附图说明
图1是本发明的实现流程图；
图2是本发明中引入的全局注意力上采样GAU模块结构图；
图3是本发明中肝脏器官分割网络U结构图；
图4是本发明通过肝囊肿样本生成网络HC和肝血管瘤样本生成网络HH生成的病变样本与真实病变样本的灰度直方图对比图；
图5是本发明中的肝脏器官分割网络U与其他分割网络的分割结果对比图；
图6是用本发明检测的肝脏病变与分类的部分结果展示图。
具体实施方式
下面结合附图对本发明做进一步详细描述。
参照图1，对本发明的实现步骤如下：
步骤1.划分数据集，标记肝脏器官的轮廓并存储。
1.1)从肝脏CT图像中提取得到420张2D肝脏CT图像，并随机选取该图像的80％作为训练集，其余的20％为测试集；
1.2)在所有2D肝脏CT图像上标注出肝脏器官的轮廓，存储成mask图像。
步骤2.构建基于全局注意力的肝脏器官分割网络U。
2.1)在现有的分割网络UNet中引入全局注意力上采样GAU模块：
所述全局注意力上采样GAU模块，如图2所示，其包括3*3卷积层、1*1卷积层、全局池化层、输入的低层特征图和高层特征图。该3*3卷积层用于对低层特征图作通道处理，全局池化层和1*1卷积层用于对高层特征图进行处理。利用处理后的高层特征图对低层特征图进行特征选择并融合，输出特征融合后的结果。
本实例在现有UNet网络的跳跃连接中加入多级GAU模块，每一级的GAU模块接收上一级GAU的输出和编码阶段对应分辨率的低层特征图作为输入；每一级GAU模块分别对上一级GAU输出的高层特征图进行全局池化处理，对编码阶段对应分辨率的低层特征图进行3*3卷积处理，并对处理后的这两个特征图进行融合后输出；再将每一级GAU模块的输出结果与输入的低层特征图，以及上一级GAU输出的特征图上采样的结果拼接，将拼接后的特征图进行卷积操作并逐步上采样；
2.2)将训练集肝脏CT图像和mask图像输入到引入了GAU模块的分割网络中，利用Adam算法更新网络中各层的权重参数，得到肝脏器官分割网络U，如图3所示。
步骤3.标记病变类型和位置信息。
在所有的肝脏CT图像中标注出病变类型，即肝癌、肝囊肿和肝血管瘤的样本以及它们的位置信息，并将其制成VOC2007格式的数据集。
步骤4.构建肝脏病变检测网络F。
4.1)利用mask图像从原肝脏CT图像中提取出仅含有肝脏部分的图像，并存储成JPG格式的图片；
4.2)将仅含有肝脏部分的图像和病灶的位置标签输入到现有的Faster R-CNN网络中进行训练，得到肝脏病变检测网络F，实现如下：
4.2.1)通过卷积神经网络获取仅含有肝脏部分的CT图像的特征图，并在该特征图上生成每个像素点映射到原CT图像中的锚点，每个锚点为中心设有九个候选框；
4.2.2)通过二分类网络确定每个候选框内部是否包含有目标，输出包含有目标的概率值；
4.2.3)通过边框回归网络回归分支对二分类器确定目标的偏差进行计算，得到候选框所需要的平移量以及变换尺度大小；
4.2.4)计算二分类网络的交叉熵损失函数Lcls和边框回归网络的smooth L1损失函数Lreg，将这两个函数进行相加，得到损失函数LF，如下式：
Figure BDA0002743854340000051
Figure BDA0002743854340000052
Figure BDA0002743854340000053
其中，λ为权重参数，取为10，σ为控制smooth L1损失函数平滑程度的参数，取值为3，Ncls为候选框的个数，Nreg为特征图的大小，pi表示第i个候选框被二分类网络预测为包含目标的概率，
Figure BDA0002743854340000054
表示第i个候选框中只包含目标为1的真实标签，ti表示边框回归网络预测的第i个候选框的偏移量，
Figure BDA0002743854340000055
表示第i个候选框相对于标注的区域的真实偏移量；
4.2.5)使用Adam优化器对损失函数LF最小化；
4.2.6)通过优化器对最小化后的损失函数LF进行反向传播，以实现对二分类网络和边框回归网络优化，直到损失函数收敛，得到候选框所包含有目标的概率值，以及所需的平移量和变换尺度的大小；
4.2.7)通过Faster R-CNN网络的提取层接收4.2.6)的结果，得到平移和尺度变换后的更精确的候选框，并根据非极大值抑制的策略，剔除在局部位置上发生重叠的候选框，只保留在该位置处由前面的二分类网络给出概率最高的候选框，由此得到肝脏病变检测网络F。
步骤5.构建肝囊肿样本生成网络HC和肝血管瘤样本生成网络HH。
5.1)将步骤3中标注好的病变区域从原CT图像中提取出来作为真实病变样本，采用resize操作将这些尺寸不一的真实病变样本转换成相同大小的样本图像，并通过旋转对这些样本进行扩充；
5.2)使用扩充后的真实肝囊肿病变样本对深度卷积生成式对抗网络DCGAN进行迭代训练，得到肝囊肿样本生成网络HC，实现如下：
5.2.1)通过DCGAN网络输出生成的虚假肝囊肿病变图像的判别概率：
所述DCGAN网络，包括生成网络G和对抗网络D，对抗网络D的损失函数LD和生成网络G的损失函数LG分别表示如下：
Figure BDA0002743854340000061
Figure BDA0002743854340000062
其中，x(i)表示第i张真实样本图片，z(j)表示第j个输入生成网络G的噪声，D(xi)表示对抗网络D判断真实样本图片x(i)是否真实的概率，G(z(j))表示生成网络G根据z(j)生成的虚假样本图片，D(G(z(j)))表示对抗网络D判断虚假样本图片G(z(j))是否真实的概率；
该生成网络G采用多级反卷积层对其所输入的服从均匀分布的随机噪声逐步进行上采样，生成虚假肝囊肿病变图像并输出；
该对抗网络D采用多级“卷积+批量标准化+Leaky ReLU激活函数”的结构对生成网络G输出的虚假病变图像进行处理，输出判别概率；
5.2.2)保持生成网络G的权重参数不变，改变对抗网络D的权重参数，使得对抗网络D的损失函数LD的值达到最大；
5.2.3)保持对抗网络D的权重参数不变，改变生成网络G的权重参数，使得生成网络G的损失函数LG的值达到最小；
5.2.4)重复5.2.2)和5.2.3)，直到生成网络G和对抗网络D达到纳什均衡，得到肝囊肿样本生成网络HC；
5.3)按照5.2)的操作过程构建肝血管瘤样本生成网络HH。
步骤6.生成样本量偏少的肝囊肿和肝血管瘤样本。
6.1)生成服从均匀分布的随机噪声，输入到训练好的肝囊肿样本生成网络HC中，得到新的肝囊肿样本，并加入到已有的真实肝囊肿样本中；
6.2)再次生成服从均匀分布的随机噪声，输入到训练好的肝血管瘤样本生成网络HH中，得到新的肝血管瘤样本，并加入到已有的真实肝血管瘤样本中。
步骤7.构建迁移深度学习的肝脏病变分类网络T。
7.1)利用迁移学习方法，使用现有的Inception v3网络对病变样本的特征图进行特征提取，并将特征提取部分的参数进行冻结；
7.2)在Inception v3网络的输出特征表示层之后加入新的softmax层，并根据病变类别数设置网络输出的维数为3；
7.3)将步骤6中利用肝囊肿样本生成网络HC和肝血管瘤样本生成网络HH扩充后的病变样本输入到Inception v3网络中对其网络参数进行迭代训练，得到肝脏病变分类网络T，实现步骤如下：
7.3.1)从训练集随机选取100个病变样本，输入到Inception v3网络中，将特征提取层输出的瓶颈值传递给softmax层，以获得病变样本的预测类别，并将预测类别与真实标签进行比较，通过反向传播优化最后一层的权重参数；
7.3.2)重复7.3.1)共2000次，得到肝脏病变分类网络T。
步骤8.对测试集待检测肝脏CT图像进行多病变检测和分类。
8.1)将测试集中待分割的肝脏CT图像输入到步骤2中构建的肝脏器官分割网络U中，得到测试集的肝脏器官分割结果；
8.2)将测试集的分割结果输入到步骤4中构建的病变检测网络F中，检测出测试集的病变区域；
8.3)将测试集病变区域从原肝脏CT图像中提取出来，输入到步骤7中构建的肝脏病变分类网络T中，得到最终的病变分类结果。
本发明的效果可通过以下仿真进一步说明。
1.仿真条件
本实验使用python3.5编程语言，在配有Windows10系统的台式机上进行。网络模型使用Tensoflow1.6.0和Pytorch1.1.0实现，同时使用GeForce RTX1080Ti、Cuda10.0和CuDNN7.4进行运算加速。仿真数据为包含有肝癌、肝囊肿和肝血管瘤这三种病变的420张肝脏CT图像，图像分辨率为512x512，共来自22个病人。
2.仿真内容
仿真1，在上述条件下采用5次5折交叉验证的方式进行，将数据集均分为五组，每次选择其中一组用于测试训练好的模型并计算相关性能指标，剩下四组用于训练。
对于肝脏器官分割，分别将肝脏CT的mask图像和原图像成对输入到本发明中改进的分割网络U中进行训练，迭代次数设置为20次，与现有的分割网络UNet、UNet++、AttentionUNet进行对比，结果如图5所示。
通过下式，分别计算本发明中改进的分割网络U和现有的分割网络UNet、UNet++、AttentionUNet的分割结果的平均Dice系数指标：
Figure BDA0002743854340000081
其中，X为分割网络的分割结果，Y为标注的真实结果，Dice系数的取值范围为[0,1]。Dice系数越大表示网络的分割结果与真实结果之间的重叠程度越大，分割效果越好。
计算结果如表1。
表1肝脏器官分割网络U与其他现有网络分割结果的Dice系数对比表
子集1 子集2 子集3 子集4 子集5 平均
UNet 97.20％ 96.38％ 97.21％ 92.15％ 95.72％ 95.73％
UNet++ 96.87％ 96.85％ 95.24％ 94.68％ 95.93％ 95.91％
AttentionUNet 97.01％ 96.48％ 97.06％ 95.17％ 95.88％ 96.32％
U 96.78％ 97.03％ 96.34％ 95.32％ 96.14％ 96.32％
从图5和表1可见，相比现有的UNet、UNet++和AttentionUNet网络，本发明在UNet网络中引入GAU模块，得到的分割网络U具有更好的分割性能。相比于UNet网络中将低层和高层特征图直接拼接，GAU模块利用高层特征图丰富的语义信息，对不同尺度的低层特征映射进行指导，可以提供更为精准的类别像素空间定位信息，进而提升分割性能。
仿真2，将仿真1得到的肝脏器官分割结果与标注的病变位置信息成对输入到Faster R-CNN网络中进行训练，迭代4000次；为了兼顾模型的准确率和召回率，判断某个预测框是否包含目标的置信度分数的阈值为0.4；考虑到不同病灶发生重叠的概率较低，采用非最大值抑制策略，将去除冗余框时的候选框重叠面积阈值设置为0.1，以最大限度地减少重叠的冗余框。每次实验完成后，计算病变检测模型准确率和查全率等指标，结果如表2。
表2 Faster R-CNN网络的病变检测结果
Figure BDA0002743854340000082
Figure BDA0002743854340000091
从表2可见，Faster R-CNN网络可以较准确地检测到肝脏病变。
仿真3，通过本发明构建的肝囊肿样本生成网络HC和本发明构建的肝血管瘤样本生成网络HH分别对样本量偏少的肝囊肿和肝血管瘤样本进行生成，生成的虚假样本与真实样本的灰度直方图对比曲线如图4所示。其中图4(a)为本发明构建的肝囊肿样本生成网络HC生成的肝囊肿样本与真实样本的灰度直方图对比曲线，图4(b)为本发明构建的肝血管瘤样本生成网络HH生成的肝血管瘤样本与真实样本的灰度直方图对比曲线。
从图4可见，本发明生成的肝囊肿和肝血管瘤样本都与真实样本的灰度直方图非常相似，可以加入到真实病变样本中，充当肝脏病变分类网络T的训练样本。
仿真4，使用仿真3扩充后的样本集进行训练，得到肝脏病变分类网络T，对仿真2检测到的病变进行分类，结果如图6所示。
将本发明中的肝脏病变分类网络T的分类结果与其他分类算法的分类结果对比，如表3所示。
表3本发明中的分类方法与其他现有网络的分类结果对比表
Figure BDA0002743854340000092
从图6和表3可见，在对检测到的病变区域进行分类时，本发明通过肝囊肿样本生成网络HC和肝血管瘤生成网络HH分别生成肝囊肿和肝血管瘤样本，缓解了样本集中类别不平衡的问题；并利用迁移学习方法，将现有的Inception v3网络特征提取部分的参数进行冻结，构建了肝脏病变分类网络T，提升了病变分类的准确率，从而能够达到较好的病变检测和分类效果。
综上，本发明构建的肝脏器官分割网络U，相比现有的UNet、UNet++和AttentionUNet网络，能够得到更好的分割效果。本发明中的肝脏病变分类网络T相较于现有的主流分类网络，能够获得更准确的分类结果。

Claims (5)

1.基于样本生成和迁移学习的肝脏CT图像多病变分类方法，其特征在于，包括如下：
(1)从肝脏CT影像中提取得到420张2D肝脏图像，并随机选取该图像的80％作为训练集，其余的20％为测试集；
(2)构建基于全局注意力的肝脏器官分割网络U：
(2a)在所有2D肝脏CT图像上标注出肝脏器官的轮廓，存储成mask图像；
(2b)在现有的UNet分割网络中引入全局注意力上采样GAU模块，实现如下：
(2b1)在现有UNet网络的跳跃连接中加入多级GAU模块，每一级的GAU模块接收上一级GAU的输出和编码阶段对应分辨率的低层特征图作为输入；
(2b2)每一级GAU模块分别对上一级GAU输出的高层特征图进行全局池化处理，对编码阶段对应分辨率的低层特征图进行3*3卷积处理，并对处理后的这两个特征图进行融合后输出；
(2b3)将每一级GAU模块的输出结果与输入的低层特征图，以及上一级GAU输出的特征图上采样的结果拼接；
(2b4)将拼接后的特征图进行卷积操作并逐步上采样；
(2c)将训练集肝脏CT图像和mask图像输入到引入了GAU模块的分割网络中进行训练，利用Adam算法更新网络中各层的权重参数，得到肝脏器官分割网络U；
(3)构建肝脏病变检测网络F：
(3a)在所有的肝脏CT图像中标注出病变类型为肝癌、肝囊肿和肝血管瘤的样本和它们的位置信息，并将其制成VOC2007格式的数据集；
(3b)利用mask图像从原肝脏CT图像中提取出仅含有肝脏部分的图像，并存储成JPG格式的图片；
(3c)将仅含有肝脏部分的图像和病灶的位置标签输入到现有的Faster R-CNN网络中进行训练，得到肝脏病变检测网络F；
(4)对样本量不足其他类型一半的肝囊肿和肝血管瘤这两类样本进行数据生成：
(4a)将(3a)中标注好的病变区域从原CT图像中提取出来作为真实病变样本，采用resize操作将这些尺寸不一的真实病变样本转换成相同大小的样本图像，并通过旋转对这些样本进行扩充；
(4b)使用扩充后的真实肝囊肿病变样本对深度卷积生成式对抗网络DCGAN进行迭代训练，得到肝囊肿样本生成网络HC；
(4c)生成服从均匀分布的随机噪声，输入到肝囊肿样本生成网络HC中，生成新的肝囊肿病变样本，并加入到已有的真实肝囊肿样本中；
(4d)按照(4b)和(4c)的操作过程构建肝血管瘤样本生成网络HH，生成新的肝血管瘤样本，并加入到已有的真实肝血管瘤样本中；
(5)构建迁移深度学习的肝脏病变分类网络T：
(5a)构建迁移深度学习网络，即将现有的Inception v3网络特征提取部分的参数进行冻结，再在该网络的输出特征表示层之后加入新的softmax层，并根据病变类别数设置网络输出的维数；
(5b)将(4c)和(4d)中利用肝囊肿样本生成网络HC和肝血管瘤样本生成网络HH扩充后的病变样本输入到Inception v3网络中对其网络参数进行迭代训练，得到肝脏病变分类网络T；
(6)对测试集待检测肝脏CT图像进行多病变检测和分类：
(6a)将测试集中待分割的肝脏CT图像输入到(2)中构建的肝脏器官分割网络U中，得到测试集的肝脏器官分割结果；
(6b)将测试集的分割结果输入到(3)中构建的肝脏病变检测网络F中，检测出测试集的病变区域；
(6c)将测试集病变区域从原肝脏CT图像中提取出来，输入到(5)中构建的肝脏病变分类网络T中，得到最终的病变分类结果。
2.根据权利要求1所述的方法，其中(3c)中利用含有肝脏部分的CT图像以及标记的病灶位置信息对Faster R-CNN网络进行训练，得到肝脏病变检测网络F，其步骤如下：
(3c1)通过卷积神经网络获取仅含有肝脏部分的CT图像的特征图，并为该特征图上生成每个像素点映射到原CT图像中的锚点，每个锚点为中心设有九个候选框；
(3c2)通过二分类网络确定每个候选框内部是否包含有目标，输出包含有目标的概率值；
(3c3)通过边框回归网络回归分支对二分类器确定目标的偏差进行计算，得到候选框所需要的平移量以及变换尺度大小；
(3c4)计算二分类网络的softmax交叉熵损失函数和边框回归网络的smooth L1损失函数，将这两个函数进行相加，并使用Adam优化器最小化其相加结果；
(3c5)通过优化器对(3c4)相加后的损失函数进行反向传播，以实现对二分类网络和边框回归网络优化，直到损失函数收敛，得到候选框所包含有目标的概率值，以及所需的平移量和变换尺度的大小；
(3c6)通过Faster R-CNN网络的提取层接收(3c5)的结果，得到平移和尺度变换后的更精确的候选框，并剔除在局部位置上发生重叠的候选框，只保留在该位置处由前面的二分类网络给出概率最高的候选框，由此得到病变检测网络F。
3.根据权利要求1所述的方法，其中(4b)中使用扩充后的真实肝囊肿病变样本对深度卷积生成式对抗网络DCGAN进行迭代训练，实现如下：
(4b1)DCGAN网络中的生成网络G采用多级反卷积层对其所输入服从均匀分布的随机噪声逐步进行上采样，生成虚假病变图像并输出；
(4b2)DCGAN网络的对抗网络D采用多级卷积+批量标准化+Leaky ReLU激活函数的结构对生成网络G输出的虚假病变图像进行处理，输出判别概率；
(4b3)保持生成网络G的权重参数不变，改变对抗网络D的权重参数，使得对抗网络D的损失函数LD的值达到最大；
(4b4)保持对抗网络D的权重参数不变，改变生成网络G的权重参数，使得生成网络G的损失函数LG的值达到最小；
(4b5)重复(4b3)和(4b4)，直到生成网络G和对抗网络D达到纳什均衡，得到肝囊肿样本生成网络HC。
4.根据权利要求3所述的方法，其中(4b3)中对抗网络D的损失函数LD和(4b4)中生成网络G的损失函数LG分别表示如下：
其中，x(i)表示第i张真实样本图片，z(j)表示第j个输入生成网络G的噪声，D(x(i))表示对抗网络D判断真实样本图片x(i)是否真实的概率，G(z(j))表示生成网络G根据z(j)生成的虚假样本图片，D(G(z(j)))表示对抗网络D判断虚假样本图片G(z(j))是否真实的概率。
5.根据权利要求1所述的方法，其中(5b)中利用肝囊肿样本生成网络HC和肝血管瘤样本生成网络HH扩充后的病变样本对Inception v3网络的参数进行迭代训练，实现步骤如下：
(5b1)从训练集随机选取100个病变样本，输入到Inception v3网络中，将特征提取层输出的瓶颈值传递给softmax层以获得病变样本的预测类别，将预测类别与真实标签进行比较，通过反向传播优化最后一层的权重参数；
(5b2)重复(5b1)共2000次，得到肝脏病变分类网络T。
CN202011159865.4A 2020-10-27 2020-10-27 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 Active CN112241766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011159865.4A CN112241766B (zh) 2020-10-27 2020-10-27 基于样本生成和迁移学习的肝脏ct图像多病变分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011159865.4A CN112241766B (zh) 2020-10-27 2020-10-27 基于样本生成和迁移学习的肝脏ct图像多病变分类方法

Publications (2)

Publication Number Publication Date
CN112241766A CN112241766A (zh) 2021-01-19
CN112241766B true CN112241766B (zh) 2023-04-18

Family

ID=74169773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011159865.4A Active CN112241766B (zh) 2020-10-27 2020-10-27 基于样本生成和迁移学习的肝脏ct图像多病变分类方法

Country Status (1)

Country Link
CN (1) CN112241766B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095263A (zh) 2017-06-26 2020-05-01 纽约州立大学研究基金会 用于虚拟胰造影术的系统、方法和计算机可访问介质
US11688063B2 (en) 2020-10-30 2023-06-27 Guerbet Ensemble machine learning model architecture for lesion detection
US11587236B2 (en) 2020-10-30 2023-02-21 International Business Machines Corporation Refining lesion contours with combined active contour and inpainting
US11436724B2 (en) * 2020-10-30 2022-09-06 International Business Machines Corporation Lesion detection artificial intelligence pipeline computing system
US11749401B2 (en) 2020-10-30 2023-09-05 Guerbet Seed relabeling for seed-based segmentation of a medical image
US11694329B2 (en) 2020-10-30 2023-07-04 International Business Machines Corporation Logistic model to determine 3D z-wise lesion connectivity
US11688517B2 (en) 2020-10-30 2023-06-27 Guerbet Multiple operating point false positive removal for lesion identification
CN113052856A (zh) * 2021-03-12 2021-06-29 北京工业大学 一种基于多尺度特征多路注意力融合机制的海马体三维语义网络分割方法
CN112966684B (zh) * 2021-03-15 2022-11-04 北湾科技(武汉)有限公司 一种注意力机制下的协同学习文字识别方法
CN112967263A (zh) * 2021-03-18 2021-06-15 西安智诊智能科技有限公司 一种基于生成对抗网络的肝脏肿瘤图像样本增广方法
CN113012166A (zh) * 2021-03-19 2021-06-22 北京安德医智科技有限公司 颅内动脉瘤分割方法及装置、电子设备和存储介质
CN113052785A (zh) * 2021-03-25 2021-06-29 上海志御软件信息有限公司 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质
CN113223727B (zh) * 2021-05-08 2022-07-12 浙江大学 非小细胞肺癌集成预后预测模型及其构建方法、装置和应用
CN113139981A (zh) * 2021-05-18 2021-07-20 哈尔滨理工大学 基于深度神经网络的dce-mri乳腺肿瘤图像分割方法
CN113435481A (zh) * 2021-06-09 2021-09-24 西安智诊智能科技有限公司 一种基于生成对抗网络的肝脏肿瘤图像增广方法
CN113706487B (zh) * 2021-08-17 2024-09-06 西安电子科技大学 基于自监督特征小样本学习的多器官分割方法
CN113812923A (zh) * 2021-08-25 2021-12-21 苏州创影医疗科技有限责任公司 网络模型训练方法和皮肤病变确定装置
CN114299072B (zh) * 2022-03-11 2022-06-07 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及系统
CN114530250B (zh) * 2022-04-24 2022-08-02 广东工业大学 基于数据增强的可穿戴血糖检测方法、系统及存储介质
CN115482247B (zh) * 2022-11-04 2023-06-02 北京精诊医疗科技有限公司 多期相融合的肝脏占位分割方法，装置及存储介质
CN117274228B (zh) * 2023-10-24 2024-09-10 脉得智能科技(无锡)有限公司 一种基于深度学习血吸虫肝病超声图像风险分级系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN110570432A (zh) * 2019-08-23 2019-12-13 北京工业大学 一种基于深度学习的ct图像肝脏肿瘤分割方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438096B2 (en) * 2016-12-27 2019-10-08 Definiens Ag Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
CN111095263A (zh) * 2017-06-26 2020-05-01 纽约州立大学研究基金会 用于虚拟胰造影术的系统、方法和计算机可访问介质
CN108171700A (zh) * 2018-01-12 2018-06-15 西安电子科技大学 基于对抗网络的医学图像肺结节检测方法
CN108615051B (zh) * 2018-04-13 2020-09-15 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN112585696A (zh) * 2018-08-30 2021-03-30 应用材料公司 用于自动肿瘤检测和分类的系统
CN109493308B (zh) * 2018-11-14 2021-10-26 吉林大学 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
CN110516695A (zh) * 2019-07-11 2019-11-29 南京航空航天大学 面向医学图像分类的对抗样本生成方法及系统
CN110415230B (zh) * 2019-07-25 2022-12-06 东北大学 一种基于深度学习的ct切片图像语义分割系统及方法
CN110599448B (zh) * 2019-07-31 2022-03-15 浙江工业大学 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN110610489B (zh) * 2019-08-30 2021-11-23 西安电子科技大学 基于注意力机制的光学喉镜图像病变区标注方法
CN110599500B (zh) * 2019-09-03 2022-08-26 南京邮电大学 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN110929789A (zh) * 2019-11-22 2020-03-27 北京理工大学 基于多期ct影像分析的肝肿瘤自动分类方法及装置
CN111160135A (zh) * 2019-12-12 2020-05-15 太原理工大学 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和系统
CN111161271A (zh) * 2019-12-31 2020-05-15 电子科技大学 一种超声图像分割方法
CN111275714B (zh) * 2020-01-13 2022-02-01 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN111652886B (zh) * 2020-05-06 2022-07-22 哈尔滨工业大学 一种基于改进U-net网络的肝肿瘤分割方法
CN111612807B (zh) * 2020-05-15 2023-07-25 北京工业大学 一种基于尺度和边缘信息的小目标图像分割方法
CN111627019B (zh) * 2020-06-03 2023-03-14 西安理工大学 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN111709929B (zh) * 2020-06-15 2023-01-20 北京航空航天大学 一种肺部癌变区域分割与分类检测系统
CN111784704B (zh) * 2020-06-24 2023-11-24 中国人民解放军空军军医大学 Mri髋关节炎症分割与分类自动定量分级序贯方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN110570432A (zh) * 2019-08-23 2019-12-13 北京工业大学 一种基于深度学习的ct图像肝脏肿瘤分割方法

Also Published As

Publication number Publication date
CN112241766A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112241766B (zh) 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
CN106940816B (zh) 基于3d全卷积神经网络的ct图像肺结节检测系统
CN110889853A (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN111476793B (zh) 动态增强磁共振成像处理方法、系统、存储介质、终端
CN112668579A (zh) 基于自适应亲和力和类别分配的弱监督语义分割方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
Wazir et al. HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images
CN112712532B (zh) 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法
CN113706486B (zh) 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
CN113643269A (zh) 基于无监督学习的乳腺癌分子分型方法、装置及系统
CN110349170B (zh) 一种全连接crf级联fcn和k均值脑肿瘤分割算法
CN111340816A (zh) 一种基于双u型网络框架的图像分割方法
CN113129310B (zh) 一种基于注意力路由的医学图像分割系统
CN112017161A (zh) 一种基于中心点回归的肺结节检测方法和检测装置
CN117333497A (zh) 一种基于掩码监督策略的高效建模的三维医学影像分割方法
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN117611599B (zh) 融合中心线图和增强对比度网络的血管分割方法及其系统
CN116309640A (zh) 一种基于多层级多注意力MLMA-UNet网络的图像自动分割方法
CN116071331A (zh) 一种基于改进ssd算法的工件表面缺陷检测方法
CN113011514B (zh) 基于双线性池化应用于ct影像的颅内出血亚类型分类算法
CN114708347A (zh) 一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法
CN110569882A (zh) 一种图像信息分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant