CN108986067A - 基于跨模态的肺结节检测方法 - Google Patents
基于跨模态的肺结节检测方法 Download PDFInfo
- Publication number
- CN108986067A CN108986067A CN201810512988.8A CN201810512988A CN108986067A CN 108986067 A CN108986067 A CN 108986067A CN 201810512988 A CN201810512988 A CN 201810512988A CN 108986067 A CN108986067 A CN 108986067A
- Authority
- CN
- China
- Prior art keywords
- image
- lung
- network
- candidate
- positive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Abstract
本发明提供了一种基于跨模态的肺结节检测方法,包括:从不同的数据集中获取原始CT图像,分割原始CT图像中的肺腔内部区域,得到肺腔内部区域图像;通过循环一致生成对抗网络CycleGAN对来自不同数据集的肺结节区域图像进行转换处理,得到统一模态的肺结节区域图像;通过经过训练的3D Unet网络对所述候选肺腔内部区域图像进行分割,提取出所述候选肺腔内部区域图像中的候选肺结节块;通过经过训练的3D DenseNet网络对所述候选结节块进行分类处理,删除假阳性的候选肺结节块,得到包含阳性肺结节的目标肺结节块。本发明中的方法检测效率高,误检率低。
Description
技术领域
本发明涉及肺结节检测技术领域,具体地,涉及基于跨模态的肺结节检测方法。
背景技术
在社会文明几千年的发展历史中,疾病一直是人类生命健康的一大威胁。肺癌是目前在世界范围内发病率最高的肿瘤,同时也是癌症的死因之首。由于缺乏早期诊断的有效措施,肺癌的治疗效果一直不是很理想,以致从上个世纪末开始死亡率明显超过其他各类癌症。目前,一期肺癌的5年生存率大约可达到60%到80%,而二期肺癌的5年生存率在40%到50%之间,如果肺癌能够在早期确诊,其治愈率并不低。计算机辅助检测(Computer-Aided Detection,CAD)系统的开发可以用来帮助放射学家阅片,使得肺癌筛查更具成本效益。肺结节CAD系统的开发给放射科医生的阅读过程带来了极大的便利,使得肺癌筛查计划更具成本效益。现有的CAD系统主要包含肺结节候选区域检测和假阳性消除两个阶段。
肺结节候选区域的初步检测算法对提高整个系统的性能有重要意义。肺结节因其形状、大小以及类别之间差异较大,给初步检测带来了极大的困扰。针对不同的结节类型,发展出了不同的CAD系统。实性结节的内部有填充物,边界明确、形状固定,与其他人体结构的差异明显,比较容易检测。2009年,Murphy等人在《Medical Image Analysis》(医学图像分析)上发表的“A large-scale evaluation of automatic pulmonary noduledetection in chest CT using local image features and k-nearest-neighbourclassification”论文中提出一种基于三维手工特征的检测算法,对实性结节进行检测。他们先计算出每个体素的形状指数和曲率,利用阈值分类筛选出可能的种子点,而后利用K近邻(K-Nearest Neighbors,KNN)算法,对结节候选区域进行分类。然而,亚实性结节灰度偏低,且过于松散,无法计算其形状指数,继而于2014年,Jacobs等人在同本杂志中发表的“Automatic detection of subsolid pulmonary nodules in thoracic computedtomography images”一文中利用灰度特性来进行结节候选区的检测,设定-350和-750亨氏单位(Housefield Unit,HU)的上下阈值,获得兴趣区域,然后利用形态分割算法从候选区域中获得结节检测结果。随后,他们又发现大的实性结节和较小的实性结节在局部位置上形状指数不一致,同时灰度范围也无法被亚实性结节检测算法捕捉到,因此就引入了肺部分割步骤,来进一步缩小检测范围,提高正确率。由于一些大的实性结节往往贴近肋膜,且在灰度上与边缘差距较小,算法中采用了滚球法进行肺部分割,保证附着在边缘的结节能够充分保留。
卷积神经网络(Convolutional Neural Network,CNN)可以有效地学习出具有高分辨性的特征表达,常被应用到CAD系统的假阳性消除步骤中。Lo等人于1995年在《NeuralNetworks》(神经网络)发表的“Artificial convolution neural network for medicalimage pattern recognition”一文中首次在检测中肺结节候选区域后,加入CNN网络作为最后的检测分类器。2016年,Arnaud等人在《IEEE Transactions on Medical Imaging》(IEEE医学影像会刊)“Pulmonary nodule detection in CT images:false positivereduction using multi-view convolutional networks”中提出了一种基于多视角的CNN进行假阳性消除,将结节候选区域从不同的视角切成二维切片,输入分类网络,将不同角度的结果进行融合得到最终的分类结果。
综上所述,现有的肺结节检测方法,不仅在特征提取方面还停留在手动设计特征方面,无法有效表征各种不同形态、大小的结节;另外,假阳性消除网络多使用二维深度网络进行分类,无法结合空间特征,检测精度不佳。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于跨模态的肺结节检测方法。
根据本发明提供的一种基于跨模态的肺结节检测方法,包括:
从不同的数据集中获取原始CT图像,分割原始CT图像中的肺腔内部区域,得到肺腔内部区域图像;其中,不同数据集中的原始CT图像对应不同的模态;
通过循环一致生成对抗网络CycleGAN对来自不同数据集的肺结节区域图像进行转换处理,得到统一模态的肺结节区域图像;
通过经过训练的3D Unet网络对所述候选肺腔内部区域图像进行分割,提取出所述候选肺腔内部区域图像中的候选肺结节块;
通过经过训练的3D DenseNet网络对所述候选结节块进行分类处理,删除假阳性的候选肺结节块,得到包含阳性肺结节的目标肺结节块。
可选地,所述分割原始CT图像中的肺腔内部区域,得到肺腔内部区域图像,包括:
根据预设的肺部组织CT值范围来分割出包含肺结节的肺腔内部区域图像。
可选地,所述根据预设的肺部组织CT值范围来分割出包含肺结节的肺腔内部区域图像,包括:
设置预设的肺部组织CT值为-350,对原始CT图像进行二值化处理,将灰度值高于阈值的部分划分为前景,以使得原始CT图像中的背景图像与前景图像分离;其中,二值化后的前景图像中包含有肺腔腔壁组织,背景图像中包含有肺腔内部区域和无用背景区域;
对所述前景图像进行孔洞填充,得到填充后包含整个肺腔的前景图像;
对所述填充后的前景图像进行形态腐蚀操作,得到去除设备噪声干扰的前景掩膜图像;
将所述前景的掩膜图像与原始CT图像进行内积运算,去除所述原始CT图像中的背景干扰,得到去干扰后的CT图像;
置预设的肺部组织CT值为-350,对去干扰后的CT图像进行二值化处理,将灰度值低于阈值的部分划分为前景,以使得去干扰后的CT图像中的目标背景图像与目标前景图像分离;其中,二值化后的目标前景图像中包含有目标肺腔内部区域;
对所述二值化后的目标前景图像进行膨胀处理,得到包含肺结节的肺腔内部区域图像。
可选地,来自不同数据集的候选肺结节区域图像对应的模态包括:原始模态A、目标模态B、负面模态C,其中:原始模态A是指包含了设备成像噪音、注射药剂的增强CT图像;目标模态B是指成像清晰的普通CT图像;负面模态C是指类似于小结节的非结节图像。
可选地,通过循环一致生成对抗网络CycleGAN对来自不同数据集的候选肺结节区域图像进行转换处理,得到统一模态的候选肺结节区域图像,包括:
构建循环一致生成对抗网络CycleGAN,所述CycleGAN包括:分类器、第一生成对抗网络、第二生成对抗网络;所述第一生成对抗网络中包括:正向生成器、正向判别器;所述第二生成对抗网络中包括:逆向生成器、逆向判别器;其中:
分类器用于识别出目标模态B与负面模态C;
第一生成对抗网络用于将原始模态A转化为目标模态B;
第二生成对抗网络用于将目标模态B转化为原始模态A。
可选地,在通过循环一致生成对抗网络CycleGAN对来自不同数据集的肺腔内部区域图像进行转换处理之前,还包括:
构建循环一致生成对抗网络CycleGAN,并对所述CycleGAN进行训练;其中,所述CycleGAN的目标方程如下:
式中:为第一生成对抗网络的损失函数,为第二生成对抗网络的损失函数,为循环一致损失函数,为分类损失函数;G为正向生成器,Gi为逆向生成器,D为分类器,DA为正向判别器,DB为逆向判别器,A为原始模态,B为目标模态。
可选地,在通过经过训练的3D Unet网络对所述候选肺腔内部区域图像进行分割,提取出所述候选肺腔内部区域图像中的候选肺结节块之前,还包括:
获取训练3D Unet网络的正样本、负样本;其中:
正样本是根据标注的csv文件中的肺结节区域得出的,以标注的结节中心为提取的区域中心,提取大小为范围为(128,128,128)的区域块;然后对所述区域块进行旋转、翻转、平移的随机操作,取出数据增强后的区域中心处(64,64,64)的图像块作为最终的正样本;
负样本是在整个分割出的肺腔内部,按照步长进行打点,将打点位置作为候选负样本的区域中心,提取预设范围大小的图像块;并根据正样本数量,随机提取负样本,使得正负样本的数量比为1:1;
通过正样本、负样本对3D Unet网络进行训练后,得到3D Unet网络的权值分布,其中,3D Unet网络的分割损失函数LDice为:
式中,nt为预测图像和实际值重合的部分,nx为预测图像中值为1的部分,而ny则为实际值为1的部分。
可选地,通过经过训练的3D DenseNet网络对所述候选结节块进行分类处理,删除假阳性的候选肺结节块,得到包含阳性肺结节的目标肺结节块之前,还包括:
获取训练3DDenseNet网络的正样本、负样本;其中:
正样本是根据标注的csv文件中的肺结节区域得出的,以标注的结节中心为提取的区域中心,提取大小为范围为(128,128,128)的区域块;然后对所述区域块进行旋转、翻转、平移的随机操作,取出数据增强后的区域中心处(64,64,64)的图像块作为最终的正样本;以及将推断出的与正样本重复度达到0.8以上的样本也作为最终的正样本;
负样本是在整个分割出的肺腔内部,按照步长进行打点,将打点位置作为候选负样本的区域中心,提取预设范围大小的图像块;
通过负样本、正样本训练3DDenseNet网络,得到初步训练后的3DDenseNet网络;
通过误判为假阳性的样本对初步训练后的3DDenseNet网络进行迭代训练,直到假阳性的样本全部被正确识别时结束迭代训练,得到最终的单尺度3D DenseNet网络。
可选地,通过经过训练的多个尺度3D DenseNet网络对所述候选结节块进行分类处理,删除假阳性,还包括:
获取不同尺度3D DenseNet网络模型的正负样本;其中:
正负样本的尺度分别为(48,36,32,24),不同大小的候选块训练出不同的3DDenseNet网络模型;
在3D DenseNet网络进行分类时,经过不同尺度的3D DenseNet网络模型,分别产生不同的候选结节块,将不同网络模型的结果进行投票,将票数最高的候选结节块作为目标肺结节块。
与现有技术相比,本发明具有如下的有益效果:
本发明提供的基于跨模态的肺结节检测方法,通过循环一致生成对抗网络Cycleconsistent Generative Adversarial Network,CycleGAN)进行图像转换,消除了设备的噪声,以及成像药剂引起的成像不同,从而减少了模态差异给模型训练带来的负面影响,实现跨模态对齐,对训练数据进行数据增强,从而提高了训练的多样性和有效性。利用3D Unet进行肺结节预检测,基于分割的算法对肺结节进行概率估计,缩小候选的范围;有效提高了候选肺结节的检测精度,降低误检率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是检测算法的整体框架图。
图2是肺部分割流程示意图。
图3是CycleGAN的网络框架图。
图4是CycleGAN中生成网络结构图。
图5是3D Unet网络结构图。
图6是Dense Block的结构图。
图7是验证集上的检测结果示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本实施例提供了一种基于跨模态对齐的增强肺结节检测方法,是一个利用深度卷积网络的系统检测方案,实现更敏感的结节检测的同时减少假阳性的数量。
本实施例是通过以下技术方案实现的。本实施例方法从数据增强和特征提取两个方面对系统框架进行性能增强。首先利用对抗生成网络对不同特性的图像进行模态转换,实现数据增强;而后利用3D Unet网络提取结节特性,完成肺结节预检测;最后,利用3DDenseNet更精细地提取结节和难例负样本的特征,实现假阳性删除。
步骤1:CT图像肺部分割
肺结节大小相对于整个肺部CT图像,所占比例很小,利用一系列形态操作可以分割出肺结节出现的肺腔内部结构,可以减少1/3的搜索空间,提高检测速度。
输入原始肺部CT图像,设置阈值为-350,进行图像二值化操作,使得背景与前景分离;由于肺腔内部的灰度值较低,也被划分为背景,对二值化结果进行优化,利用形态操作进行孔洞填充;优化后的二值图中仍然存在不少无效信息,利用腐蚀操作去除一些设备成像过程中带来的噪声,得到了前景的掩膜(mask);将得到的mask与原始输入CT图像进行内积运算,去除原图的背景干扰;设置阈值为-350,将得到的肺腔图像进行新一轮的二值化操作,将灰度值低于阈值的部分划分为前景;为了保留边界的一些结节,对二值图进行了膨胀操作,既能够填充mask中的一些小孔,又避免了过度分割造成的结节的丢失。
步骤2:图像跨模态对齐
为了提高模型性能,训练过程中,使用多个数据集中的数据进行训练。将来自不同数据集中的CT图像视为不同的图像模态,具体是指:原始模态A,包含了设备成像噪音、注射药剂的增强CT图;目标模态B,成像清晰的普通CT图像;负面模态C,类似于小结节的非结节图图像。不同数据集中的CT图像之间存在模态差异,这些差异消除了数据增强给模型训练带来的积极作用,甚至降低了模型性能,因此需要进行跨模态对齐。
针对不同模态的图像,引入两组生成对抗网络,进行图像变换,实现模态对齐。正向生成对抗网络包含了生成器G和判别器DA,实现从原始模态A到目标模态B的变换映射;相对应的,逆向对抗生成网络包含了生成器Gi和对应的判别器DB,实现从目标模态B到原始模态A的变换映射。同时,为了避免生成类似于负样本的非结节,引入辅助分类器D,用于辨别目标模态与负面模态。
使用的CycleGAN结构的目标方程包括三个部分:
a.对抗损失
两组生成对抗网络,给定的训练样本和需要学习两者之间的双向映射函数G:A→B和Gi:B→A。训练过程中,分别对两个模态进行随机采样{ai,bj},正向生成器G的任务是拟合目标模态B的数据分布,使得合成图片G(ai)与bj的模态尽可能相同,足以迷惑判别器DB,对抗损失可以表示为:
其中,E*()是指针对数据分布*的数据期望值计算操作,log()是指对数操作,则正向生成对抗网络的优化目标为:
相对应的,逆向生成对抗网络的对抗损失可以表示为:
且网络的优化目标为:
b.循环一致性损失
任意一张图片a连续经过正向变换和反向变换,应该与原图相同,即具有循环一致性:a→G(a)→Gi(G(a))≈a,此时,则可以利用距离函数计算两张图片之间的误差。同样的,反向的循环一致性为:b→Gi(b)→G(Gi(b))≈b,则循环一致损失可以定义为:
其中,||||1是计算L1损失。
c.辅助分类损失
辅助分类器D用来分辨目标模态B与负面模态C,辅助分类器D的加入可以对正向生成器G进行监督,保证每次生成的图片尽可能地远离负面模态C,损失方程为:
d.最终的目标方程
综合三个部分的损失,得到最终的目标方程为:
此时的优化目标为:
步骤3:肺结节预检测
基于分割网络3D Unet进行肺结节预检测,从而得到结节的概率分布图。为了提升模型性能,对提取出的正样本增进数据增强,并将随机采用的负样本进行1:1训练。正样本是根据标注的csv文件中的肺结节区域得出,以标注的结节中心为提取的区域中心,提取大小为(128,128,128)的区域;将初步提取出的正样本块进行旋转、翻转、平移的随机操作,取出数据增强后的区域中心处(64,64,64)的图像块作为最终的正样本;相对于尺寸较小的正样本,整个肺部CT中存在大量的负样本,为了保证样本的平衡性,在负样本提取过程中,在整个分割出的肺腔内部,按照步长进行打点,作为候选负样本的区域中心。根据已有正样本数量,随机提取负样本,保证正负样本的比例为1:1.
采用基于分割网络的检测算法,可以提高检测精度,同时减少训练时间,其损失函数为:
其中,nt表示预测图像和实际值重合的部分,nx为预测图像中值为1的部分,而ny则为实际值为1的部分。
步骤4:假阳性删除
利用3D DenseNet对步骤S2中提取出的候选结节块进行分类,引入Dense Block增强了网络结构的紧致度,提升了网络的分类性能。训练过程中,正样本既包括根据标注文件提取出的正样本,也包含了预检测网络推断出的与正样本重复度达到0.8以上的样本;整个迭代过程中,先采用随机打点的方式提取负样本,而后利用随机负样本训练出的模型进行推断,将误判的假阳性作为难例负样本加入模型迭代训练中。
训练与推断过程中还采用了多尺度融合的策略。训练过程中,提取出大小为48,36,32,24的候选块分别进行模型训练,而推断过程中,利用模型投票的方式得出最终的推断结果。
下面结合具体实例对本实施例进一步描述。
实施例中采用的数据集由自行整理的胸科医院数据集和公开数据集LUNA16组成,分别包含1942例和888例病人数据。数据集提供了所有结节的标注信息,即结节的区域中心(x,y,z)和结节半径R。所有的CT图像均为512x512大小。
训练过程中,使用了4/5的数据,其中的3/4进行训练,另外1/4用于训练过程中的验证。而整个数据中的1/5用于模型测试。
实施效果
最终的检测系统平均每个病人检出7.43个结节。当允许8个假阳性时,可以检出93%的结节;而允许4个假阳性时,可以检出91%的结节。
本发明实施例还提供一种跨模态的肺结节检测系统,用于执行上述所述的跨模态的肺结节检测方法中的步骤。
需要说明的是,本发明提供的所述跨模态的肺结节检测方法中的步骤,可以利用所述跨模态的肺结节检测系统中对应的模块、装置、单元等予以实现,本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程,即,所述系统中的实施例可理解为实现所述方法的优选例,在此不予赘述。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (9)
1.一种基于跨模态的肺结节检测方法,其特征在于,包括:
从不同的数据集中获取原始CT图像,分割原始CT图像中的肺腔内部区域,得到肺腔内部区域图像;其中,不同数据集中的原始CT图像对应不同的模态;
通过循环一致生成对抗网络CycleGAN对来自不同数据集的肺结节区域图像进行转换处理,得到统一模态的肺结节区域图像;
通过经过训练的3D Unet网络对所述候选肺腔内部区域图像进行分割,提取出所述候选肺腔内部区域图像中的候选肺结节块;
通过经过训练的3D DenseNet网络对所述候选结节块进行分类处理,删除假阳性的候选肺结节块,得到包含阳性肺结节的目标肺结节块。
2.根据权利要求1所述的基于跨模态的肺结节检测方法,其特征在于,所述分割原始CT图像中的肺腔内部区域,得到肺腔内部区域图像,包括:
根据预设的肺部组织CT值范围来分割出包含肺结节的肺腔内部区域图像。
3.根据权利要求2所述的基于跨模态的肺结节检测方法,其特征在于,所述根据预设的肺部组织CT值范围来分割出包含肺结节的肺腔内部区域图像,包括:
设置预设的肺部组织CT值为-350,对原始CT图像进行二值化处理,将灰度值高于阈值的部分划分为前景,以使得原始CT图像中的背景图像与前景图像分离;其中,二值化后的前景图像中包含有肺腔腔壁组织,背景图像中包含有肺腔内部区域和无用背景区域;
对所述前景图像进行孔洞填充,得到填充后包含整个肺腔的前景图像;
对所述填充后的前景图像进行形态腐蚀操作,得到去除设备噪声干扰的前景掩膜图像;
将所述前景的掩膜图像与原始CT图像进行内积运算,去除所述原始CT图像中的背景干扰,得到去干扰后的CT图像;
置预设的肺部组织CT值为-350,对去干扰后的CT图像进行二值化处理,将灰度值低于阈值的部分划分为前景,以使得去干扰后的CT图像中的目标背景图像与目标前景图像分离;其中,二值化后的目标前景图像中包含有目标肺腔内部区域;
对所述二值化后的目标前景图像进行膨胀处理,得到包含肺结节的肺腔内部区域图像。
4.根据权利要求1所述的基于跨模态的肺结节检测方法,其特征在于,来自不同数据集的候选肺结节区域图像对应的模态包括:原始模态A、目标模态B、负面模态C,其中:原始模态A是指包含了设备成像噪音、注射药剂的增强CT图像;目标模态B是指成像清晰的普通CT图像;负面模态C是指类似于小结节的非结节图像。
5.根据权利要求4所述的基于跨模态的肺结节检测方法,其特征在于,通过循环一致生成对抗网络CycleGAN对来自不同数据集的候选肺结节区域图像进行转换处理,得到统一模态的候选肺结节区域图像,包括:
构建循环一致生成对抗网络CycleGAN,所述CycleGAN包括:分类器、第一生成对抗网络、第二生成对抗网络;所述第一生成对抗网络中包括:正向生成器、正向判别器;所述第二生成对抗网络中包括:逆向生成器、逆向判别器;其中:
分类器用于识别出目标模态B与负面模态C;
第一生成对抗网络用于将原始模态A转化为目标模态B;
第二生成对抗网络用于将目标模态B转化为原始模态A。
6.根据权利要求5所述的基于跨模态的肺结节检测方法,其特征在于,在通过循环一致生成对抗网络CycleGAN对来自不同数据集的肺腔内部区域图像进行转换处理之前,还包括:
构建循环一致生成对抗网络CycleGAN,并对所述CycleGAN进行训练;其中,所述CycleGAN的目标方程如下:
式中:为第一生成对抗网络的损失函数,为第二生成对抗网络的损失函数,为循环一致损失函数,为分类损失函数;G为正向生成器,Gi为逆向生成器,D为分类器,DA为正向判别器,DB为逆向判别器,A为原始模态,B为目标模态。
7.根据权利要求1所述的基于跨模态的肺结节检测方法,其特征在于,在通过经过训练的3D Unet网络对所述候选肺腔内部区域图像进行分割,提取出所述候选肺腔内部区域图像中的候选肺结节块之前,还包括:
获取训练3D Unet网络的正样本、负样本;其中:
正样本是根据标注的csv文件中的肺结节区域得出的,以标注的结节中心为提取的区域中心,提取大小为范围为(128,128,128)的区域块;然后对所述区域块进行旋转、翻转、平移的随机操作,取出数据增强后的区域中心处(64,64,64)的图像块作为最终的正样本;
负样本是在整个分割出的肺腔内部,按照步长进行打点,将打点位置作为候选负样本的区域中心,提取预设范围大小的图像块;并根据正样本数量,随机提取负样本,使得正负样本的数量比为1:1;
通过正样本、负样本对3D Unet网络进行训练后,得到3D Unet网络的权值分布,其中,3D Unet网络的分割损失函数LDice为:
式中,nt为预测图像和实际值重合的部分,nx为预测图像中值为1的部分,而ny则为实际值为1的部分。
8.根据权利要求1所述的基于跨模态的肺结节检测方法,其特征在于,通过经过训练的3D DenseNet网络对所述候选结节块进行分类处理,删除假阳性的候选肺结节块,得到包含阳性肺结节的目标肺结节块之前,还包括:
获取训练3DDenseNet网络的正样本、负样本;其中:
正样本是根据标注的csv文件中的肺结节区域得出的,以标注的结节中心为提取的区域中心,提取大小为范围为(128,128,128)的区域块;然后对所述区域块进行旋转、翻转、平移的随机操作,取出数据增强后的区域中心处(64,64,64)的图像块作为最终的正样本;以及将推断出的与正样本重复度达到0.8以上的样本也作为最终的正样本;
负样本是在整个分割出的肺腔内部,按照步长进行打点,将打点位置作为候选负样本的区域中心,提取预设范围大小的图像块;
通过负样本、正样本训练3DDenseNet网络,得到初步训练后的3DDenseNet网络;
通过误判为假阳性的样本对初步训练后的3DDenseNet网络进行迭代训练,直到假阳性的样本全部被正确识别时结束迭代训练,得到最终的单尺度3D DenseNet网络。
9.根据权利要求8所述的基于跨模态的肺结节检测方法,其特征在于,通过经过训练的多个尺度3D DenseNet网络对所述候选结节块进行分类处理,删除假阳性,还包括:
获取不同尺度3D DenseNet网络模型的正负样本;其中:
正负样本的尺度分别为(48,36,32,24),不同大小的候选块训练出不同的3D DenseNet网络模型;
在3D DenseNet网络进行分类时,经过不同尺度的3D DenseNet网络模型,分别产生不同的候选结节块,将不同网络模型的结果进行投票,将票数最高的候选结节块作为目标肺结节块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810512988.8A CN108986067B (zh) | 2018-05-25 | 2018-05-25 | 基于跨模态的肺结节检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810512988.8A CN108986067B (zh) | 2018-05-25 | 2018-05-25 | 基于跨模态的肺结节检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108986067A true CN108986067A (zh) | 2018-12-11 |
CN108986067B CN108986067B (zh) | 2020-08-14 |
Family
ID=64542063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810512988.8A Active CN108986067B (zh) | 2018-05-25 | 2018-05-25 | 基于跨模态的肺结节检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108986067B (zh) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685077A (zh) * | 2018-12-13 | 2019-04-26 | 深圳先进技术研究院 | 一种乳腺肿块图像识别方法及装置 |
CN109741312A (zh) * | 2018-12-28 | 2019-05-10 | 上海联影智能医疗科技有限公司 | 一种肺结节鉴别方法、装置、设备及介质 |
CN109886974A (zh) * | 2019-01-28 | 2019-06-14 | 北京易道博识科技有限公司 | 一种印章去除方法 |
CN109886909A (zh) * | 2019-02-18 | 2019-06-14 | 上海健康医学院 | 一种基于ct图像合成pet-ct图像的方法 |
CN109961423A (zh) * | 2019-02-15 | 2019-07-02 | 平安科技(深圳)有限公司 | 一种基于分类模型的肺结节检测方法、服务器及存储介质 |
CN109978897A (zh) * | 2019-04-09 | 2019-07-05 | 中国矿业大学 | 一种多尺度生成对抗网络的异源遥感图像配准方法及装置 |
CN110009613A (zh) * | 2019-03-28 | 2019-07-12 | 东南大学 | 基于深度稠密网络的低剂量ct成像方法、装置及系统 |
CN110097059A (zh) * | 2019-03-22 | 2019-08-06 | 中国科学院自动化研究所 | 基于生成对抗网络的文档图像二值化方法、系统、装置 |
CN110111395A (zh) * | 2019-04-24 | 2019-08-09 | 上海理工大学 | 一种基于mri图像合成pet-mri图像的方法 |
CN110276755A (zh) * | 2019-06-25 | 2019-09-24 | 广东工业大学 | 一种肿瘤位置定位系统及相关装置 |
CN110288668A (zh) * | 2019-05-20 | 2019-09-27 | 平安科技(深圳)有限公司 | 图像生成方法、装置、计算机设备及存储介质 |
CN110428432A (zh) * | 2019-08-08 | 2019-11-08 | 梅礼晔 | 结肠腺体图像自动分割的深度神经网络算法 |
CN110432977A (zh) * | 2019-08-07 | 2019-11-12 | 杭州睿笛生物科技有限公司 | 一种电脉冲消融设备以及适用其仿真方法 |
CN110444277A (zh) * | 2019-07-19 | 2019-11-12 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
CN110503626A (zh) * | 2019-07-09 | 2019-11-26 | 上海交通大学 | 基于空间-语义显著性约束的ct图像模态对齐方法 |
CN110533120A (zh) * | 2019-09-05 | 2019-12-03 | 腾讯科技(深圳)有限公司 | 器官结节的图像分类方法、装置、终端及存储介质 |
CN110689547A (zh) * | 2019-09-25 | 2020-01-14 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
CN110728675A (zh) * | 2019-10-22 | 2020-01-24 | 慧影医疗科技(北京)有限公司 | 肺结节分析装置、模型训练方法、装置及分析设备 |
CN110796659A (zh) * | 2019-06-24 | 2020-02-14 | 科大讯飞股份有限公司 | 一种目标检测结果的鉴别方法、装置、设备及存储介质 |
CN110910351A (zh) * | 2019-10-31 | 2020-03-24 | 上海交通大学 | 基于生成对抗网络的超声图像模态迁移、分类方法及终端 |
CN111028224A (zh) * | 2019-12-12 | 2020-04-17 | 广西医准智能科技有限公司 | 数据标注、模型训练和图像处理方法、装置及存储介质 |
CN111127484A (zh) * | 2019-12-25 | 2020-05-08 | 北京小白世纪网络科技有限公司 | 基于深度学习神经网络的肝脏ct图像分割方法及装置 |
CN111311589A (zh) * | 2020-03-05 | 2020-06-19 | 上海市肺科医院(上海市职业病防治院) | 一种肺部结节检测及性质判定系统及方法 |
CN111340793A (zh) * | 2020-03-05 | 2020-06-26 | 上海市肺科医院(上海市职业病防治院) | 一种肺部亚实性结节性质检测系统及方法 |
CN111815608A (zh) * | 2020-07-13 | 2020-10-23 | 北京小白世纪网络科技有限公司 | 基于深度学习的新冠肺炎患者康复时间预测方法及系统 |
CN111932540A (zh) * | 2020-10-14 | 2020-11-13 | 北京信诺卫康科技有限公司 | 一种针对新冠肺炎临床分型的ct影像对比特征学习方法 |
CN112184657A (zh) * | 2020-09-24 | 2021-01-05 | 上海健康医学院 | 一种肺结节自动检测方法、装置及计算机系统 |
CN112184659A (zh) * | 2020-09-24 | 2021-01-05 | 上海健康医学院 | 一种肺部图像处理方法、装置及设备 |
WO2021073380A1 (zh) * | 2019-10-17 | 2021-04-22 | 腾讯科技(深圳)有限公司 | 一种图像识别模型训练的方法、图像识别的方法及装置 |
CN113516640A (zh) * | 2021-07-05 | 2021-10-19 | 首都师范大学 | 基于分类分支的ct图像细小裂缝分割装置和方法 |
CN117437514A (zh) * | 2023-12-22 | 2024-01-23 | 南昌航空大学 | 一种基于CycleGan的阴道镜图像模态转换方法 |
WO2024040576A1 (zh) * | 2022-08-26 | 2024-02-29 | 京东方科技集团股份有限公司 | 目标检测方法、深度学习的训练方法、电子设备以及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测系统 |
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
-
2018
- 2018-05-25 CN CN201810512988.8A patent/CN108986067B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测系统 |
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
Non-Patent Citations (1)
Title |
---|
ZHU YUMENG, ET AL: "《Enhancing pulmonary nodule detection via cross-modal alignment》", 《2017 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP). IEEE》 * |
Cited By (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685077A (zh) * | 2018-12-13 | 2019-04-26 | 深圳先进技术研究院 | 一种乳腺肿块图像识别方法及装置 |
CN109741312A (zh) * | 2018-12-28 | 2019-05-10 | 上海联影智能医疗科技有限公司 | 一种肺结节鉴别方法、装置、设备及介质 |
US11270157B2 (en) | 2018-12-28 | 2022-03-08 | Shanghai United Imaging Intelligence Co., Ltd. | System and method for classification determination |
CN109886974A (zh) * | 2019-01-28 | 2019-06-14 | 北京易道博识科技有限公司 | 一种印章去除方法 |
CN109961423A (zh) * | 2019-02-15 | 2019-07-02 | 平安科技(深圳)有限公司 | 一种基于分类模型的肺结节检测方法、服务器及存储介质 |
CN109886909A (zh) * | 2019-02-18 | 2019-06-14 | 上海健康医学院 | 一种基于ct图像合成pet-ct图像的方法 |
CN110097059A (zh) * | 2019-03-22 | 2019-08-06 | 中国科学院自动化研究所 | 基于生成对抗网络的文档图像二值化方法、系统、装置 |
CN110009613A (zh) * | 2019-03-28 | 2019-07-12 | 东南大学 | 基于深度稠密网络的低剂量ct成像方法、装置及系统 |
CN109978897B (zh) * | 2019-04-09 | 2020-05-08 | 中国矿业大学 | 一种多尺度生成对抗网络的异源遥感图像配准方法及装置 |
CN109978897A (zh) * | 2019-04-09 | 2019-07-05 | 中国矿业大学 | 一种多尺度生成对抗网络的异源遥感图像配准方法及装置 |
CN110111395A (zh) * | 2019-04-24 | 2019-08-09 | 上海理工大学 | 一种基于mri图像合成pet-mri图像的方法 |
CN110111395B (zh) * | 2019-04-24 | 2023-08-29 | 上海理工大学 | 一种基于mri图像合成pet-mri图像的方法 |
CN110288668A (zh) * | 2019-05-20 | 2019-09-27 | 平安科技(深圳)有限公司 | 图像生成方法、装置、计算机设备及存储介质 |
CN110288668B (zh) * | 2019-05-20 | 2023-06-16 | 平安科技(深圳)有限公司 | 图像生成方法、装置、计算机设备及存储介质 |
CN110796659B (zh) * | 2019-06-24 | 2023-12-01 | 科大讯飞股份有限公司 | 一种目标检测结果的鉴别方法、装置、设备及存储介质 |
CN110796659A (zh) * | 2019-06-24 | 2020-02-14 | 科大讯飞股份有限公司 | 一种目标检测结果的鉴别方法、装置、设备及存储介质 |
CN110276755A (zh) * | 2019-06-25 | 2019-09-24 | 广东工业大学 | 一种肿瘤位置定位系统及相关装置 |
CN110503626A (zh) * | 2019-07-09 | 2019-11-26 | 上海交通大学 | 基于空间-语义显著性约束的ct图像模态对齐方法 |
CN110503626B (zh) * | 2019-07-09 | 2021-11-23 | 上海交通大学 | 基于空间-语义显著性约束的ct图像模态对齐方法 |
CN110444277A (zh) * | 2019-07-19 | 2019-11-12 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
CN110444277B (zh) * | 2019-07-19 | 2023-03-28 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
CN110432977A (zh) * | 2019-08-07 | 2019-11-12 | 杭州睿笛生物科技有限公司 | 一种电脉冲消融设备以及适用其仿真方法 |
CN110428432A (zh) * | 2019-08-08 | 2019-11-08 | 梅礼晔 | 结肠腺体图像自动分割的深度神经网络算法 |
CN110428432B (zh) * | 2019-08-08 | 2022-02-01 | 梅礼晔 | 结肠腺体图像自动分割的深度神经网络算法 |
CN110533120B (zh) * | 2019-09-05 | 2023-12-12 | 腾讯科技(深圳)有限公司 | 器官结节的图像分类方法、装置、终端及存储介质 |
CN110533120A (zh) * | 2019-09-05 | 2019-12-03 | 腾讯科技(深圳)有限公司 | 器官结节的图像分类方法、装置、终端及存储介质 |
CN110689547A (zh) * | 2019-09-25 | 2020-01-14 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
US11960571B2 (en) | 2019-10-17 | 2024-04-16 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for training image recognition model, and image recognition method and apparatus |
WO2021073380A1 (zh) * | 2019-10-17 | 2021-04-22 | 腾讯科技(深圳)有限公司 | 一种图像识别模型训练的方法、图像识别的方法及装置 |
CN110728675A (zh) * | 2019-10-22 | 2020-01-24 | 慧影医疗科技(北京)有限公司 | 肺结节分析装置、模型训练方法、装置及分析设备 |
CN110910351A (zh) * | 2019-10-31 | 2020-03-24 | 上海交通大学 | 基于生成对抗网络的超声图像模态迁移、分类方法及终端 |
CN110910351B (zh) * | 2019-10-31 | 2022-07-29 | 上海交通大学 | 基于生成对抗网络的超声图像模态迁移、分类方法及终端 |
CN111028224B (zh) * | 2019-12-12 | 2020-12-01 | 广西医准智能科技有限公司 | 数据标注、模型训练和图像处理方法、装置及存储介质 |
CN111028224A (zh) * | 2019-12-12 | 2020-04-17 | 广西医准智能科技有限公司 | 数据标注、模型训练和图像处理方法、装置及存储介质 |
CN111127484A (zh) * | 2019-12-25 | 2020-05-08 | 北京小白世纪网络科技有限公司 | 基于深度学习神经网络的肝脏ct图像分割方法及装置 |
CN111340793A (zh) * | 2020-03-05 | 2020-06-26 | 上海市肺科医院(上海市职业病防治院) | 一种肺部亚实性结节性质检测系统及方法 |
CN111311589A (zh) * | 2020-03-05 | 2020-06-19 | 上海市肺科医院(上海市职业病防治院) | 一种肺部结节检测及性质判定系统及方法 |
CN111815608B (zh) * | 2020-07-13 | 2023-08-25 | 北京小白世纪网络科技有限公司 | 基于深度学习的新冠肺炎患者康复时间预测方法及系统 |
CN111815608A (zh) * | 2020-07-13 | 2020-10-23 | 北京小白世纪网络科技有限公司 | 基于深度学习的新冠肺炎患者康复时间预测方法及系统 |
CN112184659B (zh) * | 2020-09-24 | 2023-08-25 | 上海健康医学院 | 一种肺部图像处理方法、装置及设备 |
CN112184659A (zh) * | 2020-09-24 | 2021-01-05 | 上海健康医学院 | 一种肺部图像处理方法、装置及设备 |
WO2022063199A1 (zh) * | 2020-09-24 | 2022-03-31 | 上海健康医学院 | 一种肺结节自动检测方法、装置及计算机系统 |
CN112184657A (zh) * | 2020-09-24 | 2021-01-05 | 上海健康医学院 | 一种肺结节自动检测方法、装置及计算机系统 |
WO2022063198A1 (zh) * | 2020-09-24 | 2022-03-31 | 上海健康医学院 | 一种肺部图像处理方法、装置及设备 |
CN111932540A (zh) * | 2020-10-14 | 2020-11-13 | 北京信诺卫康科技有限公司 | 一种针对新冠肺炎临床分型的ct影像对比特征学习方法 |
CN113516640A (zh) * | 2021-07-05 | 2021-10-19 | 首都师范大学 | 基于分类分支的ct图像细小裂缝分割装置和方法 |
CN113516640B (zh) * | 2021-07-05 | 2022-03-18 | 首都师范大学 | 基于分类分支的ct图像细小裂缝分割装置和方法 |
WO2024040576A1 (zh) * | 2022-08-26 | 2024-02-29 | 京东方科技集团股份有限公司 | 目标检测方法、深度学习的训练方法、电子设备以及介质 |
CN117437514A (zh) * | 2023-12-22 | 2024-01-23 | 南昌航空大学 | 一种基于CycleGan的阴道镜图像模态转换方法 |
CN117437514B (zh) * | 2023-12-22 | 2024-04-05 | 南昌航空大学 | 一种基于CycleGan的阴道镜图像模态转换方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108986067B (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108986067A (zh) | 基于跨模态的肺结节检测方法 | |
CN109615636B (zh) | Ct影像的肺叶段分割中的血管树构造方法、装置 | |
Xie et al. | Automated pulmonary nodule detection in CT images using deep convolutional neural networks | |
Harsono et al. | Lung nodule detection and classification from Thorax CT-scan using RetinaNet with transfer learning | |
Golosio et al. | A novel multithreshold method for nodule detection in lung CT | |
US8111896B2 (en) | Method and system for automatic recognition of preneoplastic anomalies in anatomic structures based on an improved region-growing segmentation, and commputer program therefor | |
CN106611413A (zh) | 图像分割方法及其系统 | |
CN105264569B (zh) | Cta容积中的自动化主动脉检测 | |
CN106573150A (zh) | 图像中血管结构的遮盖 | |
CN106600584A (zh) | 一种基于Tsallis熵选择的疑似肺结节检测方法 | |
Camarlinghi | Automatic detection of lung nodules in computed tomography images: training and validation of algorithms using public research databases | |
CN102360495A (zh) | 基于平均密度投影和平移高斯模型的肺结节分割方法 | |
Chen et al. | Multi-crop convolutional neural networks for fast lung nodule segmentation | |
Dimililer et al. | ILTDS: Intelligent lung tumor detection system on ct images | |
Li et al. | 3D tumor detection in automated breast ultrasound using deep convolutional neural network | |
CN111899850A (zh) | 医学影像的信息处理方法、显示方法及可读存储介质 | |
Zhang et al. | LungSeek: 3D Selective Kernel residual network for pulmonary nodule diagnosis | |
Rehman et al. | Liver lesion segmentation using deep learning models | |
CN111784638A (zh) | 一种基于卷积神经网络的肺结节假阳性筛除方法及系统 | |
CN110033455A (zh) | 一种从视频中提取目标物体信息的方法 | |
Bu et al. | Lung nodule detection based on YOLOv3 deep learning with limited datasets | |
Xie | 3D region proposal u-net with dense and residual learning for lung nodule detection | |
Heeneman et al. | Lung nodule detection by using Deep Learning | |
Xie | Towards single-phase single-stage detection of pulmonary nodules in chest CT imaging | |
De Nunzio et al. | Approaches to juxta-pleural nodule detection in CT images within the MAGIC-5 Collaboration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |