CN110503626A - 基于空间-语义显著性约束的ct图像模态对齐方法 - Google Patents

基于空间-语义显著性约束的ct图像模态对齐方法 Download PDF

Info

Publication number
CN110503626A
CN110503626A CN201910616322.1A CN201910616322A CN110503626A CN 110503626 A CN110503626 A CN 110503626A CN 201910616322 A CN201910616322 A CN 201910616322A CN 110503626 A CN110503626 A CN 110503626A
Authority
CN
China
Prior art keywords
image
lung neoplasm
classifier
reverse
modalities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910616322.1A
Other languages
English (en)
Other versions
CN110503626B (zh
Inventor
徐奕
林晓慧
倪冰冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910616322.1A priority Critical patent/CN110503626B/zh
Publication of CN110503626A publication Critical patent/CN110503626A/zh
Application granted granted Critical
Publication of CN110503626B publication Critical patent/CN110503626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供了一种基于空间‑语义显著性约束的CT图像模态对齐方法，包括：从不同的数据集中获取原始CT图像，标记并截取CT图像的肺结节区域，得到肺结节区域图像；通过不同数据集的肺结节区域图像对3D DenseNet网络进行训练，得到第一分类器和第二分类器；在循环一致生成对抗网络CycleGAN中引入3D掩模和置信度评估分数作为约束条件，得到基于空间‑语义显著性约束的循环一致生成对抗网络SSA‑CycleGAN；通过所述SSA‑CycleGAN对不同数据集的肺结节区域图像进行转换处理，得到统一模态的肺结节区域图像。本发明可以将不同模态的数据进行转换处理，从而提升肺结节检测算法的准确度。

Description

基于空间-语义显著性约束的CT图像模态对齐方法
技术领域
本发明涉及肺结节检测技术领域，具体地，涉及基于空间-语义显著性约束的CT图像模态对齐方法。
背景技术
随着医疗技术的发展，人类的平均寿命越来越长，但和疾病，尤其是癌症的斗争却从未停止。从全球范围内来看，肺癌是最常见的癌症类型之一，占整体癌症发病率的11.6％，并且也是癌症死亡的主要原因，占癌症总死亡数的18.4％。
目前，国内肺癌的发病率和死亡率非常接近，预后极差。医学上将肺癌分为五期，数据显示，原位癌患者治愈可能性近百分之百，I期肺癌患者的10年存活率也高达88％，而III/IV期肺癌患者5年存活率仅为15％左右。2015年我国肺癌的发病例数733,300人，死亡例数则高达610,200人，这一现象的出现主要是因为早期的肺癌无论是在临床表现还是病理学分析上都缺乏明显表征，只有约15％的肺癌患者能在肺癌早期被确诊，而晚期肺癌的手术效果甚微，故而极大降低了肺癌患者平均的五年存活率。因此，有效且精准的早期诊断措施，成为改善肺癌预后，提升肺癌治疗效果的关键一环。因为恶性肺结节多为原发性肺部肿瘤或转移灶，所以肺癌的可靠临床治疗方法在于早期准确检测肺结节。推广肺癌早期筛查工作的主要障碍是CT成像诊断的巨大工作量。早期肺癌的特征表现肺结节的尺寸小，对比度低，并且形状异质性高。因此，肺结节的检测主要依靠影像科医生人工诊断完成。
然而，每个受试者的胸部至少有100张CT图像(5mm层厚)，甚至600次精细扫描(小于1.25mm层厚)。随着CT检查的快速增长，人工诊断方法越来越难以满足需求。因此，通过使用计算机辅助检测(Computer-Aided Detection)系统的出现，可以自动发现可疑病变，从而进行肺结节的初步筛查，帮助放射科医师对潜在的异常进行鉴别，以有效地减少放射科医师的工作量，并显着提高肺结节诊断的准确性。但是，不同数据集之间存在上述的模态差异，数据集的直接融合反而对模型训练带来负面影响，从而使得肺结节的检测精度不高。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于空间-语义显著性约束的CT图像模态对齐方法。
根据本发明提供的一种基于空间-语义显著性约束的CT图像模态对齐方法，包括：
从不同的数据集中获取原始CT图像，标记并截取CT图像的肺结节区域，得到肺结节区域图像；其中，不同数据集中的原始CT图像对应不同的模态；
通过自适应高斯滤波，对不同数据集的肺结节区域图像进行掩模计算，得到对应的3D掩模；
通过不同数据集的肺结节区域图像对3D DenseNet网络进行训练，得到第一分类器和第二分类器；其中，所述第一分类器和所述第二分类器用于对肺结节区域图像中的肺结节进行置信度评估，得到对应的置信度评估分数；
在循环一致生成对抗网络CycleGAN中引入3D掩模和置信度评估分数作为约束条件，得到基于空间-语义显著性约束的循环一致生成对抗网络SSA-CycleGAN；
通过所述SSA-CycleGAN对不同数据集的肺结节区域图像进行转换处理，得到统一模态的肺结节区域图像。
可选地，不同数据集中的原始CT图像包括：原始模态A、目标模态B；其中：所述原始模态A是指包含设备成像噪音，和/或注射药剂的增强CT图像；目标模态B是指不包含设备成像噪音和注射药剂的CT图像。
可选地，在通过所述SSA-CycleGAN对不同数据集的肺结节区域图像进行转换处理，得到统一模态的肺结节区域图像之前，还包括：
构建SSA-CycleGAN；所述SSA-CycleGAN包括：第一生成对抗网络、第二生成对抗网络；所述第一生成对抗网络中包括：正向生成器、正向判别器、正向3D DenseNet分类器；所述第二生成对抗网络中包括：逆向生成器、逆向判别器、逆向3D DenseNet分类器；其中：
第一生成对抗网络用于将原始模态A转化为目标模态B；
第二生成对抗网络用于将目标模态B转化为原始模态A；
正向3D DenseNet分类器用于评估目标模态B在肺结节检测中的置信度；
逆向3D DenseNet分类器用于评估原始模态A在肺结节检测中的置信度。
可选地，还包括：
通过来自不同数据集的肺结节区域图像对构建的所述SSA-CycleGAN进行训练，得到经过训练的SSA-CycleGAN；其中，所述SSA-CycleGAN的目标方程如下：
其中：
式中：为SSA-CycleGAN的训练优化目标方程，GA为正向生成器，GB为逆向生成器，CA为正向3D DenseNet分类器，CB为逆向3D DenseNet分类器，DA为正向判别器，DB为逆向判别器。为第一生成对抗网络的带高斯掩模的损失函数，为第二生成对抗网络的带高斯掩模的损失函数；为第一生成对抗网络的含3D DenseNet质量评估的损失函数，Lse(GB,DA,CA,B,A)为第二生成对抗网络的含3D DenseNet质量评估的损失函数；为循环一致损失函数，λ为可调节权重；GA为正向生成器，GB为逆向生成器，DA为正向判别器，DB为逆向判别器，A为原始模态，B为目标模态；msk为3D掩模，为原始模态A转化为目标模态B的期望，DB(xB)为逆向判别器的预测结果，DA(xA)为正向判别器的预测结果，xA为原始模态A的图像，xB为目标模态B的图像，为目标模态B转化为原始模态A的期望，CA(GB(xB))为正向3D DenseNet分类器的判别结果，GA(xA)为正向生成器的生成结果，CA(GB(xB))为逆向3D DenseNet分类器的判别结果，GB(xB)为逆向生成器的生成结果，DB(GA(xA))为逆向判别器的预测结果，DA(GB(xB))为正向判别器的预测结果，s为可调节权重。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的基于空间-语义显著性约束的CT图像模态对齐方法，可以对不同数据集的肺结节区域图像进行转换处理，得到统一模态的肺结节区域图像；避免不同数据集之间存在上述的模态差异对模型训练带来负面影响，从而提升肺结节检测算法的准确度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为模态对齐算法的整体框架示意图。
图2为3D自适应高斯掩模示意图。
图3为基于空间-语义显著性约束的循环一致生成对抗网络生成器框架示意图。
图4为基于空间-语义显著性约束的循环一致生成对抗网络判别器框架示意图。
图5为3D DenseNet网络框架示意图。
图6为模态对齐前后的算法结果比较示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本实施例提供了一种基于空间-语义显著性约束的CT图像模态对齐方法，以实现不同模态CT图像之间的模态对齐。
如图1所示，本实施例方法从空间信息提取和语义信息提取两个方面对系统框架进行性能增强。首先利用自适应的高斯滤波函数对结节部分进行3D掩模提取，得到其空间信息，作为生成对抗网络的输入之一；接着分别训练原始模态和目标模态下的3DDenseNet网络作为肺结节置信度评估网络，提取生成图像的语义信息。最后，通过提取的空间-语义显著性约束优化损失函数，生成所需要的目标模态的图像。
在实际应用中，具体地，可以包括如下步骤：
步骤1：从不同的数据集中获取原始CT图像，标记并截取CT图像的肺结节区域，得到肺结节区域图像；其中，不同数据集中的原始CT图像对应不同的模态。
步骤2：通过自适应高斯滤波，对不同数据集的肺结节区域图像进行掩模计算，得到对应的3D掩模。
步骤3：通过不同数据集的肺结节区域图像对3D DenseNet网络进行训练，得到第一分类器和第二分类器；其中，所述第一分类器和所述第二分类器用于对肺结节区域图像中的肺结节进行置信度评估，得到对应的置信度评估分数。
步骤4：在循环一致生成对抗网络CycleGAN中引入3D掩模和置信度评估分数作为约束条件，得到基于空间-语义显著性约束的循环一致生成对抗网络SSA-CycleGAN。
步骤5：通过所述SSA-CycleGAN对不同数据集的肺结节区域图像进行转换处理，得到统一模态的肺结节区域图像。
在一种可选的实施方式中，在步骤5之前，还可以包括如下步骤：
构建SSA-CycleGAN；
通过来自不同数据集的肺结节区域图像对构建的所述SSA-CycleGAN进行训练，得到经过训练的SSA-CycleGAN。
具体地，为了提高模型性能，训练过程中，使用多个数据集中的数据进行训练。将来自不同数据集中的CT图像视为不同的图像模态，具体是指：原始模态A，包含了设备成像噪音、注射药剂的增强CT图；目标模态B，成像清晰的普通CT图像；负面模态C，类似于小结节的非结节图图像。不同数据集中的CT图像之间存在模态差异，这些差异消除了数据增强给模型训练带来的积极作用，甚至降低了模型性能，因此需要进行跨模态对齐。
针对不同模态的图像，引入两组生成对抗网络，进行图像变换，实现模态对齐。正向生成对抗网络包含了生成器GA和判别器DA，实现从原始模态A到目标模态B的变换映射；相对应的，逆向对抗生成网络包含了生成器GB和对应的判别器DB，实现从目标模态B到原始模态A的变换映射。
使用U-Net作为模型生成器，通过使用相同分辨率的特征图之间的跳跃式传递，可以将浅层网络的特征图直接通过级联的方式传递到深层网络中，能够在更快地收敛的同时得到更加局部平滑的结果。
使用全卷积网络作为判别器，前8层均使用卷积核为3×3×3的卷积层，步长设置为2，不断下采样扩大感受野的同时增加通道信息，最后一层卷积层通道数降至1，输出样本为真的可能性。
使用的CycleGAN结构的目标方程包括两个部分：
a.对抗损失
两组生成对抗网络，给定的训练样本和需要学习两者之间的双向映射函数GA:A→B和GB:B→A。训练过程中，分别对两个模态进行随机采样{ai,bj}，正向生成器GA的任务是拟合目标模态B的数据分布，使得合成图片GA(ai)与bj的模态尽可能相同，足以迷惑判别器DB，对抗损失可以表示为：
其中，E*()是指针对数据分布*的数据期望值计算操作，log()是指对数操作，则正向生成对抗网络的优化目标为：
相对应的，逆向生成对抗网络的对抗损失可以表示为：
且网络的优化目标为：
b.循环一致性损失
任意一张图片a连续经过正向变换和反向变换，应该与原图相同，即具有循环一致性：a→GA(a)→GB(GA(a))≈a，此时，则可以利用距离函数计算两张图片之间的误差。同样的，反向的循环一致性为：b→GB(b)→GA(GB(b))≈b，则循环一致损失可以定义为：
其中，‖ ‖1是计算L1损失。
c.最终的目标方程
最终的目标方程为：
此时的优化目标为：
进一步地，实际网络设计中，由于肺结节的大小差异明显，而其中直径在10mm以下的结节占比超过一半。由于CT图像中包含许多和小结节在形态上较为相似的干扰元素，例如在采集过程中产生的噪声，或是图像特征与形态都和结节非常相近的组织；同时，小结节在肺腔中占比较小，在计算损失函数时贡献较小，容易在图像变换时被丢失，小结节在实际图像变换中效果不理想。
为了使模型即使在小结节的训练样本上，也能有较好的表现能力，通过使用增加3D掩模的方式，提取结节部分的空间信息，从而有选择性地聚焦于结节部分，来增强局部内容相似性的度量。
为了掩膜能够同时对大结节和小结节都能有良好的遮罩效果，采用自适应高斯滤波，根据结节直径设置掩模大小。目标方程为：
理想情况下，掩膜的加入可以帮助模型定位判别区域，因此在训练过程中将掩模提取的特征作为额外信息，首先利用全局特征计算对抗损失函数，对参数进行优化，参数更新后，再通过加掩膜的注意力机制计算局部的对抗损失函数，优化参数，其目标方程为(以目标模态方向为例)：
Lsp(GA,DB,A,B)＝msk×LGAN(GA,DB,A,B)
进一步地，针对训练过程中生成的目标模态图像，除了需要满足模态对齐的目标外，还需要获得接近真实图像的肺结节样本，引入3D DenseNet网络对生成的目标模态图像进行在线的置信度评估，并将所得到的置信度引入损失函数的计算，从而引导网络生成的图像质量。为了最大化利用深层网络提取的特征信息同时节省参数的使用，设计了金字塔结构的DenseNet网络，实现每一个组合层都和前面的组合层直接的密集连接，其非线性关系满足：
xl＝Hl([x0,x1,…xl-1])
式中，xl为第i层组合层，Hl([x0,x1,…xl-1])为第0层到第l-1等的密集连接结果。
分别使用两种模态的图像训练得到对应的正向3D DenseNet网络DA和逆向的3DDenseNet网络DB，分别在训练过程中对双向生成的图像进行置信度评估，得到置信度评分ω，修改对抗损失目标方程，得到(以目标模态方向为例)：
Lse(GA,DB,CB,A,B)＝LGAN(GA,DB,A,B)×s(1-CB(GA(a)))
其中s为可调节权重。
具体地，基于空间-语义显著性约束的循环一致生成对抗网络的优化目标损失函数为：
L(G,Gi,CA,CB,DA,DB)＝Lse(GA,DB,CB,A,B)+Lse(GB,DA,CA,B,A)
+Lsp(GA,DB,A,B)+Lsp(GB,DA,B,A)+λLcyc(GA,GB)
语义信息损失函数Lsp评估结节部分图像在模态对齐前后的本地保真度，空间信息损失函数Lse确保了肺结节图像在模态对齐前后的空间连续性，λ为可调节参数。在训练过程中，首先固定判别器，对生成器进行参数优化，再固定生成器，对判别器进行参数优化，二者交替进行。
下面结合具体实例对本实施例进一步描述。
实施例中采用的数据集由自行整理的胸科医院数据集和公开数据集LUNA16组成，分别包含388例和888例病人数据，分别包含1360个和1186个结节。数据集提供了所有结节的标注信息，即结节的区域中心(x,y,z)和结节半径R。所有的CT图像均为512x512大小。
训练过程中，使用了4/5的数据，其中的3/4进行训练，另外1/4用于训练过程中的验证。而整个LUNA16数据中的1/5用于模型测试。
实施效果
以DenseNet为结节分类器为例，模态对齐前，检测系统允许8个假阳性时，可以检出94.5％的结节；而允许4个假阳性时，可以检出93％的结节。模态对齐后，重新训练后的检测系统允许8个假阳性时，可以检出97.5％的结节；而允许4个假阳性时，可以检出97％的结节。
需要说明的是，本发明提供的基于空间-语义显著性约束的CT图像模态对齐方法中的步骤，可以利用所述CT图像模态对齐方法中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (4)

1.一种基于空间-语义显著性约束的CT图像模态对齐方法，其特征在于，包括：
从不同的数据集中获取原始CT图像，标记并截取CT图像的肺结节区域，得到肺结节区域图像；其中，不同数据集中的原始CT图像对应不同的模态；
通过自适应高斯滤波，对不同数据集的肺结节区域图像进行掩模计算，得到对应的3D掩模；
通过不同数据集的肺结节区域图像对3D DenseNet网络进行训练，得到第一分类器和第二分类器；其中，所述第一分类器和所述第二分类器用于对肺结节区域图像中的肺结节进行置信度评估，得到对应的置信度评估分数；
在循环一致生成对抗网络CycleGAN中引入3D掩模和置信度评估分数作为约束条件，得到基于空间-语义显著性约束的循环一致生成对抗网络SSA-CycleGAN；
通过所述SSA-CycleGAN对不同数据集的肺结节区域图像进行转换处理，得到统一模态的肺结节区域图像。
2.根据权利要求1所述的基于空间-语义显著性约束的CT图像模态对齐方法，其特征在于，不同数据集中的原始CT图像包括：原始模态A、目标模态B；其中：所述原始模态A是指包含设备成像噪音，和/或注射药剂的增强CT图像；目标模态B是指不包含设备成像噪音和注射药剂的CT图像。
3.根据权利要求2所述的基于空间-语义显著性约束的CT图像模态对齐方法，其特征在于，在通过所述SSA-CycleGAN对不同数据集的肺结节区域图像进行转换处理，得到统一模态的肺结节区域图像之前，还包括：
构建SSA-CycleGAN；所述SSA-CycleGAN包括：第一生成对抗网络、第二生成对抗网络；所述第一生成对抗网络中包括：正向生成器、正向判别器、正向3D DenseNet分类器；所述第二生成对抗网络中包括：逆向生成器、逆向判别器、逆向3D DenseNet分类器；其中：
第一生成对抗网络用于将原始模态A转化为目标模态B；
第二生成对抗网络用于将目标模态B转化为原始模态A；
正向3D DenseNet分类器用于评估目标模态B在肺结节检测中的置信度；
逆向3D DenseNet分类器用于评估原始模态A在肺结节检测中的置信度。
4.根据权利要求3所述的基于空间-语义显著性约束的CT图像模态对齐方法，其特征在于，还包括：
通过来自不同数据集的肺结节区域图像对构建的所述SSA-CycleGAN进行训练，得到经过训练的SSA-CycleGAN；其中，所述SSA-CycleGAN的目标方程如下：
其中：
式中：为SSA-CycleGAN的训练优化目标方程，GA为正向生成器，GB为逆向生成器，CA为正向3D DenseNet分类器，CB为逆向3D DenseNet分类器，DA为正向判别器，DB为逆向判别器；为第一生成对抗网络的带高斯掩模的损失函数，为第二生成对抗网络的带高斯掩模的损失函数；为第一生成对抗网络的含3D DenseNet质量评估的损失函数，Lse(GB,DA,CA,B,A)为第二生成对抗网络的含3D DenseNet质量评估的损失函数；为循环一致损失函数，λ为可调节权重；GA为正向生成器，GB为逆向生成器，DA为正向判别器，DB为逆向判别器，A为原始模态，B为目标模态；msk为3D掩模，为原始模态A转化为目标模态B的期望，DB(xB)为逆向判别器的预测结果，DA(xA)为正向判别器的预测结果，xA为原始模态A的图像，xB为目标模态B的图像，为目标模态B转化为原始模态A的期望，CA(GB(xB))为正向3D DenseNet分类器的判别结果，GA(xA)为正向生成器的生成结果，CA(GB(xB))为逆向3D DenseNet分类器的判别结果，GB(xB)为逆向生成器的生成结果，DB(GA(xA))为逆向判别器的预测结果，DA(GB(xB))为正向判别器的预测结果，s为可调节权重。
CN201910616322.1A 2019-07-09 2019-07-09 基于空间-语义显著性约束的ct图像模态对齐方法 Active CN110503626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910616322.1A CN110503626B (zh) 2019-07-09 2019-07-09 基于空间-语义显著性约束的ct图像模态对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910616322.1A CN110503626B (zh) 2019-07-09 2019-07-09 基于空间-语义显著性约束的ct图像模态对齐方法

Publications (2)

Publication Number Publication Date
CN110503626A true CN110503626A (zh) 2019-11-26
CN110503626B CN110503626B (zh) 2021-11-23

Family

ID=68585619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910616322.1A Active CN110503626B (zh) 2019-07-09 2019-07-09 基于空间-语义显著性约束的ct图像模态对齐方法

Country Status (1)

Country Link
CN (1) CN110503626B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369522A (zh) * 2020-03-02 2020-07-03 合肥工业大学 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN111539897A (zh) * 2020-05-09 2020-08-14 北京百度网讯科技有限公司 用于生成图像转换模型的方法和装置
CN111583271A (zh) * 2020-04-13 2020-08-25 华东师范大学 一种基于癌症ct图像自动预测基因表达类别的方法
CN111860618A (zh) * 2020-07-01 2020-10-30 杭州健培科技有限公司 用于病理数据转换的双向gan模型及其构建和应用方法
CN111881884A (zh) * 2020-08-11 2020-11-03 中国科学院自动化研究所 基于跨模态转化辅助的人脸防伪检测方法、系统及装置
CN113139928A (zh) * 2020-01-16 2021-07-20 中移(上海)信息通信科技有限公司 肺结节检测模型的训练方法和肺结节检测方法
CN114187467A (zh) * 2021-11-11 2022-03-15 电子科技大学 基于cnn模型的肺结节良恶性分类方法及装置
CN111860618B (zh) * 2020-07-01 2024-05-14 杭州健培科技有限公司 用于病理数据转换的双向gan模型及其构建和应用方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法
CN108198179A (zh) * 2018-01-03 2018-06-22 华南理工大学 一种生成对抗网络改进的ct医学图像肺结节检测方法
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109712081A (zh) * 2018-11-14 2019-05-03 浙江大学 一种融合深度特征的语义风格迁移方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN108198179A (zh) * 2018-01-03 2018-06-22 华南理工大学 一种生成对抗网络改进的ct医学图像肺结节检测方法
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109712081A (zh) * 2018-11-14 2019-05-03 浙江大学 一种融合深度特征的语义风格迁移方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUYANG GU ET AL: "Mask-Guided Portrait Editing With Conditional GANs", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139928A (zh) * 2020-01-16 2021-07-20 中移(上海)信息通信科技有限公司 肺结节检测模型的训练方法和肺结节检测方法
CN113139928B (zh) * 2020-01-16 2024-02-23 中移(上海)信息通信科技有限公司 肺结节检测模型的训练方法和肺结节检测方法
CN111369522A (zh) * 2020-03-02 2020-07-03 合肥工业大学 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN111369522B (zh) * 2020-03-02 2022-03-15 合肥工业大学 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN111583271A (zh) * 2020-04-13 2020-08-25 华东师范大学 一种基于癌症ct图像自动预测基因表达类别的方法
CN111539897A (zh) * 2020-05-09 2020-08-14 北京百度网讯科技有限公司 用于生成图像转换模型的方法和装置
CN111860618A (zh) * 2020-07-01 2020-10-30 杭州健培科技有限公司 用于病理数据转换的双向gan模型及其构建和应用方法
CN111860618B (zh) * 2020-07-01 2024-05-14 杭州健培科技有限公司 用于病理数据转换的双向gan模型及其构建和应用方法
CN111881884A (zh) * 2020-08-11 2020-11-03 中国科学院自动化研究所 基于跨模态转化辅助的人脸防伪检测方法、系统及装置
CN114187467A (zh) * 2021-11-11 2022-03-15 电子科技大学 基于cnn模型的肺结节良恶性分类方法及装置
CN114187467B (zh) * 2021-11-11 2023-04-28 电子科技大学 基于cnn模型的肺结节良恶性分类方法及装置

Also Published As

Publication number Publication date
CN110503626B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN110503626A (zh) 基于空间-语义显著性约束的ct图像模态对齐方法
Wang et al. A deep learning based medical image segmentation technique in Internet-of-Medical-Things domain
Su et al. Lung nodule detection based on faster R-CNN framework
Huang et al. MSFCN-multiple supervised fully convolutional networks for the osteosarcoma segmentation of CT images
Mall et al. A comprehensive review of deep neural networks for medical image processing: Recent developments and future opportunities
Ahmad et al. A lightweight convolutional neural network model for liver segmentation in medical diagnosis
CN109035160A (zh) 医学影像的融合方法及基于融合医学影像学习的图像检测方法
Luo et al. MVDRNet: Multi-view diabetic retinopathy detection by combining DCNNs and attention mechanisms
Duan et al. SenseCare: A research platform for medical image informatics and interactive 3D visualization
Zhang et al. Multi-task learning with multi-view weighted fusion attention for artery-specific calcification analysis
Ren et al. Investigation of a novel deep learning-based computed tomography perfusion mapping framework for functional lung avoidance radiotherapy
Zhang et al. Fda: Feature decomposition and aggregation for robust airway segmentation
Wang et al. VMAT dose prediction in radiotherapy by using progressive refinement UNet
Chen et al. A novel hybrid convolutional neural network for accurate organ segmentation in 3d head and neck CT images
Luan et al. An efficient end-to-end CNN for segmentation of bone surfaces from ultrasound
Yang et al. Real-time automatic assisted detection of uterine fibroid in ultrasound images using a deep learning detector
Zhang et al. CdcSegNet: automatic COVID-19 infection segmentation from CT images
Yang et al. A multiple deep learner approach for X-ray image-based pneumonia detection
Wu et al. Automatic Semicircular Canal Segmentation of CT Volumes Using Improved 3D U-Net with Attention Mechanism.
Yao et al. Enhanced deep residual network for bone classification and abnormality detection
Zhu et al. GACDN: generative adversarial feature completion and diagnosis network for COVID-19
Xu et al. Improved cascade R-CNN for medical images of pulmonary nodules detection combining dilated HRNet
CN115953781A (zh) 基于热层析影像的乳腺人工智能分析系统及方法
Tan et al. Pristine annotations-based multi-modal trained artificial intelligence solution to triage chest x-ray for covid-19
Singh et al. Semantic segmentation of bone structures in chest X-rays including unhealthy radiographs: A robust and accurate approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant