CN113780531A - Gan神经网络的创建方法、处理cxr胸部图像和装置 - Google Patents

Gan神经网络的创建方法、处理cxr胸部图像和装置 Download PDF

Info

Publication number
CN113780531A
CN113780531A CN202111054986.7A CN202111054986A CN113780531A CN 113780531 A CN113780531 A CN 113780531A CN 202111054986 A CN202111054986 A CN 202111054986A CN 113780531 A CN113780531 A CN 113780531A
Authority
CN
China
Prior art keywords
image
rib
chest
cxr
drr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111054986.7A
Other languages
English (en)
Inventor
韩路易
吕元媛
彭程
周少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Industrial Park Zhizai Tianxia Technology Co ltd
Original Assignee
Suzhou Industrial Park Zhizai Tianxia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Industrial Park Zhizai Tianxia Technology Co ltd filed Critical Suzhou Industrial Park Zhizai Tianxia Technology Co ltd
Priority to CN202111054986.7A priority Critical patent/CN113780531A/zh
Publication of CN113780531A publication Critical patent/CN113780531A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种GAN神经网络的创建方法、处理CXR胸部图像和装置，该创建方法包括以下步骤：获取若干CXR胸部图像，并获取若干消骨前的DRR胸部图像，以及每个DRR胸部图像Id对应消骨后的胸部图像、对应的DRR域的肋骨投影和对应的DRR域的肋骨残差图；创建GAN神经网络；基于若干CXR胸部图像、若干DRR胸部图像、若干胸部图像、若干肋骨投影和若干肋骨残差图，对所述GAN神经网络进行训练。该GAN神经网络能够从CXR图像中消除肋骨。

Description

GAN神经网络的创建方法、处理CXR胸部图像和装置
技术领域
本发明涉及医学影像技术领域，尤其涉及GAN神经网络的创建方法、处理CXR胸部图像和装置。
背景技术
X光胸片(Chest X-ray，CXR)图像被广泛应用于肺部疾病的诊断，如肺炎、肺结核和肺癌等。其中肺癌死亡人数为所有癌症死亡人数之首，若能早期检测出肺部疾病，就能够提高疾病的治疗效果，并降低肺癌的死亡率。尽管在检测性能上X光胸片不如CT(ComputedTomography，电子计算机断层扫描)，但是其具有的高经济性和低辐射剂量，X光胸片仍然是目前最主要的检测手段。
X光胸片成像是基于肺部中不同的组织在密度和厚度上存在差异，使得X射线穿透过程中被吸收的程度不同，从而在射线接收面上形成不同强度的影像。由于射线是投影到一个二维平面上，因此在射线方向上的不同组织会重叠显现在图像上，造成局部病变区域难以观测与识别。叠影是X光胸片所固有的问题，也是很多肺部疾病诊断决策失误的主要原因。研究表明，医生对胸片诊断的误诊率达30％，而其中82％-95％的漏诊是由于肋骨对肺部软组织的叠加或遮挡。获取仅含肺部软组织的图像的常规方法是双能量差技术，这种技术利用专用设备对被检者进行两次不同能量的曝光透视，将肋骨和软组织进行分离，且需要更大的辐射剂量，仅局限于大医院等机构。
因此，如何简便的从CXR图像中消除肋骨，就成为一个亟待解决的问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种GAN神经网络的创建方法、处理CXR胸部图像和装置。
为达到上述目的，本发明的技术方案是这样实现的：一种用于CXR胸部图像处理的GAN神经网络的创建方法，包括以下步骤：获取若干CXR胸部图像Ix，并获取若干消骨前的DRR胸部图像Id，以及每个DRR胸部图像Id对应消骨后的胸部图像Qd、对应的DRR域的肋骨投影Bd和对应的DRR域的肋骨残差图Rd；创建GAN神经网络，所述GAN神经网络的生成器G包括：第一编码器Es、第二编码器Ec、第三编码器ER、第一解码器GL、第二解码器GQ、第三解码器GR和第四解码器GB；其中，第一编码器Es对输入的待处理胸部图像I进行处理、并得到除去肋骨之后的结构特征FS，第二编码器Ec对输入的待处理胸部图像I进行处理、并得到对比度特征FC，第三编码器ER对输入的待处理胸部图像I进行处理、并得到肋骨特征FR；第一解码器GL对结构特征FS进行处理、并得到肺部分割L′；第二解码器GQ对结构特征FS和对比度特征FC进行处理、并得到初始消骨图Q′；第三解码器GR对对比度特征FC和肋骨特征FR进行处理、并得到肋骨残差图R′；第四解码器GB对肋骨特征FR进行处理、并得到肋骨投影图B′；基于若干CXR胸部图像Ix、若干DRR胸部图像Id、若干胸部图像Qd、若干肋骨投影Bd和若干肋骨残差图Rd，对所述GAN神经网络进行训练。
作为本发明实施例的一种改进，所述“获取若干消骨前的DRR胸部图像Id，以及每个DRR胸部图像Id对应消骨后的胸部图像Qd、对应的DRR域的肋骨投影Bd和对应的DRR域的肋骨残差图Rd”具体包括：获取若干CT胸部图像，对每个CT胸部图像均进行以下操作：对所述CT胸部图像进行正投影处理、得到消骨前的DRR胸部图像Id；获取所述CT胸部图像中的软组织的灰度值，基于预训练的分割神经网络从所述CT胸部图像分割出肋骨图像，将所述肋骨图像的灰度值替换成所述灰度值，之后，对所述肋骨图像进行正投影处理、得到消骨但保留脊柱的胸部图像Qd；从所述肋骨图像中投影出肋骨投影Bd；Rd＝Id-Qd。
作为本发明实施例的一种改进，所述若干CXR胸部图像Ix和若干DRR胸部图像Id是非配对的。
作为本发明实施例的一种改进，在训练过程中，将若干DRR胸部图像Id输入所述生成器G中，并得到每个DRR胸部图像Id对应的消骨后的胸部图像Q′d、对应的DRR域的肋骨投影B′d和对应的DRR域的肋骨残差图R′d；将若干CXR胸部图像Ix输入所述生成器G中，并得到每个CXR胸部图像Ix对应的消骨后的胸部图像Q′x、Ix对应的肋骨投影B′x和Ix对应的肋骨残差图R′x；所述GAN神经网络的损失函数为：
Figure BDA0003254257360000021
Figure BDA0003254257360000022
其中：λadv、λf、λi、
Figure BDA0003254257360000023
λinter和λΔ均为权重值；
Figure BDA0003254257360000024
||·||1是L1损失函数；
Figure BDA0003254257360000025
Figure BDA0003254257360000026
Figure BDA0003254257360000027
I′d→x表示从DRR域转到CXR域的图像，I′x→d表示从CXR域转到DRR域的图像，判别器Dx用于评估转换到CXR域的图像和CXR图像之间的域差异，转换后图像保留原始图像域DRR的结构同时拥有目标域CXR的图像对比度，判别器Dd用于评估转换到DRR域的图像和DRR域图像之间的域差异，转换后图像保留原始图像域CXR的结构同时拥有目标域DRR的图像对比度，判别器DR用于判别输入的肋骨投影图是来自CXR域还是DRR域；
Figure BDA0003254257360000031
Figure BDA0003254257360000032
I′x＝GQ(EC(Ix)，ES(Ix))+GR(EC(Ix)，EB(Ix))，I″x＝GQ(EC(I′d→x)，ES(I′x→d))+GR(EC(I′d→x)，EB(I′x→d))，I′x为对输入Ix的一次前向预测，I′d为对输入Id的一次前向预测，I″x和I″d代表循环预测；
Figure BDA0003254257360000033
Figure BDA0003254257360000034
Figure BDA0003254257360000035
为梯度算子，
Figure BDA0003254257360000036
为施加在消骨图像的梯度图上的判别器，Q′d→x是由DRR转换到CXR的消骨图，R′x为从CXR中预测出来的肋骨残差图，L′x和L′d分别为从CXR和DRR图像中预测出的肺部分割；
Figure BDA0003254257360000037
M′x为Ix所对应的肋骨分割，通过在Rx上应用双边滤波器和阈值分割得到，∪代表两个输入二值图的交集；
Figure BDA0003254257360000038
Δ为拉普拉斯算子。
作为本发明实施例的一种改进，λadv＝1，λf＝1，λi＝10，
Figure BDA0003254257360000039
λinter＝500，λΔ＝1。
本发明实施例还提供了一种用于CXR胸部图像处理的GAN神经网络的创建装置，包括以下模块：第一数据获取模块，用于获取若干CXR胸部图像Ix，并获取若干消骨前的DRR胸部图像Id，以及每个DRR胸部图像Id对应消骨后的胸部图像Qd、对应的DRR域的肋骨投影Bd和对应的DRR域的肋骨残差图Rd；GAN神经网络创建模块，用于创建GAN神经网络，所述GAN神经网络的生成器G包括：第一编码器Es、第二编码器Ec、第三编码器ER、第一解码器GL、第二解码器GQ、第三解码器GR和第四解码器GB；其中，第一编码器Es对输入的待处理胸部图像I进行处理、并得到除去肋骨之后的结构特征FS，第二编码器Ec对输入的待处理胸部图像I进行处理、并得到对比度特征FC，第三编码器ER对输入的待处理胸部图像I进行处理、并得到肋骨特征FR；第一解码器GL对结构特征FS进行处理、并得到肺部分割L′；第二解码器GQ对结构特征FS和对比度特征FC进行处理、并得到初始消骨图Q′；第三解码器GR对对比度特征FC和肋骨特征FR进行处理、并得到肋骨残差图R′；第四解码器GB对肋骨特征FR进行处理、并得到肋骨投影图B′；训练模块，用于基于若干CXR胸部图像Ix、若干DRR胸部图像Id、若干胸部图像Qd、若干肋骨投影Bd和若干肋骨残差图Rd，对所述GAN神经网络进行训练。
作为本发明实施例的一种改进，所述第一数据获取模块还用于：获取若干CT胸部图像，对每个CT胸部图像均进行以下操作：对所述CT胸部图像进行正投影处理、得到消骨前的DRR胸部图像Id；获取所述CT胸部图像中的软组织的灰度值，基于预训练的分割神经网络从所述CT胸部图像分割出肋骨图像，将所述肋骨图像的灰度值替换成所述灰度值，之后，对所述肋骨图像进行正投影处理、得到消骨但保留脊柱的胸部图像Qd；从所述肋骨图像中投影出肋骨投影Bd；Rd＝Id-Qd。
作为本发明实施例的一种改进，所述若干CXR胸部图像Ix和若干DRR胸部图像Id是非配对的。
本发明实施例还提供了一种处理CXR胸部图像的方法，包括以下步骤：获取CXR胸部图像Iinput；执行上述的创建方法创建GAN神经网络，控制所述GAN神经网络中的生成器G对所述CXR胸部图像Iinput进行处理、并得到肋骨残差图R‘input，则所述CXR胸部图像Iinput对应的消骨图＝Iinput-R′input。
本发明实施例还提供了一种处理CXR胸部图像的装置，包括以下模块：第二数据获取模块，用于获取CXR胸部图像Iinput；图像处理模块，用于执行上述的创建方法创建GAN神经网络，控制所述GAN神经网络中的生成器G对所述CXR胸部图像Iinput进行处理、并得到肋骨残差图R′input，则所述CXR胸部图像Iinput对应的消骨图＝Iinput-R′input。
本发明实施例所提供的GAN神经网络的创建方法、处理CXR胸部图像和装置具有以下优点：本发明实施例公开了一种GAN神经网络的创建方法、处理CXR胸部图像和装置，该创建方法包括以下步骤：获取若干CXR胸部图像，并获取若干消骨前的DRR胸部图像，以及每个DRR胸部图像Id对应消骨后的胸部图像、对应的DRR域的肋骨投影和对应的DRR域的肋骨残差图；创建GAN神经网络；基于若干CXR胸部图像、若干DRR胸部图像、若干胸部图像、若干肋骨投影和若干肋骨残差图，对所述GAN神经网络进行训练。该GAN神经网络能够从CXR图像中消除肋骨。
附图说明
图1为本实施例提供的用于CXR胸部图像处理的GAN神经网络的创建方法的流程示意图；
图2、图3和图4为本实施例提供的GAN神经网络的结构示意图；
图5、图6、图7、图8、图9、图10和图11为GAN神经网络的测试结果图。
具体实施方式
以下将结合附图所示的实施方式对本发明进行详细描述。但该实施方式并不限制本发明，本领域的普通技术人员根据该实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
以下描述和附图充分地示出本文的具体实施方案，以使本领域的技术人员能够实践它们。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本文的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。本文中，术语“第一”、“第二”等仅被用来将一个元素与另一个元素区分开来，而不要求或者暗示这些元素之间存在任何实际的关系或者顺序。实际上第一元素也能够被称为第二元素，反之亦然。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的结构、装置或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种结构、装置或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的结构、装置或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中的术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本文和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本文的描述中，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明实施例一提供了一种用于CXR胸部图像处理的GAN神经网络的创建方法，如图1所示，包括以下步骤：
步骤101：获取若干CXR胸部图像Ix，并获取若干消骨前的DRR(DigitallyReconstructed Radiograph，数字重建放射影像)胸部图像Id，以及每个DRR胸部图像Id对应消骨后的胸部图像Qd、对应的DRR域的肋骨投影Bd和对应的DRR域的肋骨残差图Rd；
步骤102：创建GAN(Generative Adversarial Networks，生成式对抗网络)神经网络，所述GAN神经网络的生成器G包括：第一编码器Es、第二编码器Ec、第三编码器ER、第一解码器GL、第二解码器GQ、第三解码器GR和第四解码器GB；其中，第一编码器Es对输入的待处理胸部图像I进行处理、并得到除去肋骨之后的结构特征FS，第二编码器Ec对输入的待处理胸部图像I进行处理、并得到对比度特征FC，第三编码器ER对输入的待处理胸部图像I进行处理、并得到肋骨特征FR；第一解码器GL对结构特征FS进行处理、并得到肺部分割L′；第二解码器GQ对结构特征FS和对比度特征FC进行处理、并得到初始消骨图Q′；第三解码器GR对对比度特征FC和肋骨特征FR进行处理、并得到肋骨残差图R′；第四解码器GB对肋骨特征FR进行处理、并得到肋骨投影图B′；这里，可以理解的是，当该GAN神经网络训练完毕之后，将CXR胸部图像Ix(即待处理胸部图像I为该CXR胸部图像Ix)输入到该GAN神经网络之后，则CXR胸部图像Ix对应的消骨后的胸部图像＝CXR胸部图像Ix-肋骨残差图R′。在该GAN神经网络中，通过生成肋骨投影图B′，该GAN神经网络能更好地学习到肋骨特征用来预测肋骨残差图，同时也能得到一个肋骨的投影分割图；肺部分割L′也能够帮助该GAN神经网络更好地关注肺部区域。
步骤103：基于若干CXR胸部图像Ix、若干DRR胸部图像Id、若干胸部图像Qd、若干肋骨投影Bd和若干肋骨残差图Rd，对所述GAN神经网络进行训练。
这里，该GAN神经网络包含有生成器G和判别器D，其中，对于每个DRR胸部图像Id而言，其对应的胸部图像Qd、肋骨投影Bd和肋骨残差图Rd均为正确的数据，但是对于CXR胸部图像Ix而言，没有对应的正确的数据，于是，就可以基于GAN的训练方法，对该GAN神经网络进行训练。
本实施例中，所述“获取若干消骨前的DRR胸部图像Id，以及每个DRR胸部图像Id对应消骨后的胸部图像Qd、对应的DRR域的肋骨投影Bd和对应的DRR域的肋骨残差图Rd”具体包括：
获取若干CT胸部图像，对每个CT胸部图像均进行以下操作：
对所述CT胸部图像进行正投影处理、得到消骨前的DRR胸部图像Id；数字重建放射成像术(Digital Reconstructed Radiography，DRR)是一种从CT图像中模拟生成任意角度的X光图像的方法，X光图像可以看作是CT图像在某一个方向上的投影图。在CT图像中，人体各个位置的衰减系数是可知的，DRR设置了虚拟的X射线光源和探测器平面，模拟一束束的不同能级的光线在人体中穿过，并在人体各个位置的衰减系数的作用下而衰减的结果。在单一能级的光束下，做一次投影相当于对各位置的衰减系数做了一次拉东变换，即沿某一方向直线对穿过位置的数值求和。
获取所述CT胸部图像中的软组织的灰度值，基于预训练的分割神经网络从所述CT胸部图像分割出肋骨图像，将所述肋骨图像的灰度值替换成所述灰度值，之后，对所述肋骨图像进行正投影处理、得到消骨但保留脊柱的胸部图像Qd；从所述肋骨图像中投影出肋骨投影Bd；Rd＝Id-Qd。这里，通过DRR技术，我们能仿真得到比较逼真的X-ray图像，同时我们在消除肋骨时保留脊柱，脊柱可以在医生阅片时提供重要的地标信息，并且，由于CT图像中只分割了肋骨，所述图片中的消骨消骨仅局限在肋骨上，脊柱信息得到了完整的保留。
这里，该胸部图像Qd是保留脊柱的，该脊柱可以在医生阅片时提供位置信息，脊柱的保留是通过在辅助训练的DRR的消骨图像里面保留脊柱达到的，进一步地是通过在CT中只分割肋骨区域而得到的DRR图片。
本实施例中，所述若干CXR胸部图像Ix和若干DRR胸部图像Id是非配对的。这里，在实际中，配对的CXR图像和消骨后的CXR图像在现实中是不存在的，因此，可以使用CXR胸部图像Ix和DRR胸部图像Id、进行非监督学习。
本实施例中，在训练过程中，将若干DRR胸部图像Id输入所述生成器G中，并得到每个DRR胸部图像Id对应的消骨后的胸部图像Q′d、对应的DRR域的肋骨投影B′d和对应的DRR域的肋骨残差图R′d；将若干CXR胸部图像Ix输入所述生成器G中，并得到每个CXR胸部图像Ix对应的消骨后的胸部图像Q′x、Ix对应的的肋骨投影B′x和Ix对应的的肋骨残差图R′x；
所述GAN神经网络的损失函数为：
Figure BDA0003254257360000071
Figure BDA0003254257360000072
其中：
λadv、λf、λi、
Figure BDA0003254257360000073
λinter和λΔ均为权重值；
Figure BDA0003254257360000074
||·||1是L1损失函数；
Figure BDA0003254257360000075
Figure BDA0003254257360000076
I′d→x表示从DRR域转到CXR域的图像，I′x→d表示从CXR域转到DRR域的图像，判别器Dx用于评估转换到CXR域的图像和CXR图像之间的域差异，转换后图像保留原始图像域DRR的结构同时拥有目标域CXR的图像对比度，判别器Dd用于评估转换到DRR域的图像和DRR域图像之间的域差异，转换后图像保留原始图像域CXR的结构同时拥有目标域DRR的图像对比度，判别器DR用于判别输入的肋骨投影图是来自CXR域还是DRR域；
由于两个图像域的差异，把在DRR域下监督学习的结果直接用于CXR图片消骨是无效的；为了减小图像域差异对肋骨消除带来的影响，该GAN神经网络应用了循环一致性学习，通过图像域自适应来实现CXR图像解耦。特别的，在学习的过程中分开考虑了域不变特征和域相关特征。在这里，假设肋骨特征和肋骨以外的结构特征是域不变特征，而对比度特征是域相关特征，即DRR和CXR图像内包含同样的解剖结构信息，但是DRR和CXR的对比度不同。这样，通过结合当前图像域的结构特征和目标图像域的对比度特征，可以生成特定图像域的图片。为了将DRR域上学习到的消骨映射应用在CXR域，模型需要学习到域相关的对比度特征；对抗学习在这里被用于减小输出预测和真实图像间的域差异。
Figure BDA0003254257360000081
为判别器DR的对抗损失函数，
Figure BDA0003254257360000082
为生成器的对抗损失函数；
Figure BDA0003254257360000083
这里，为了增强两个图像域的可转换性，通过特征和图像两个层面的重建一致性来约束模型的学习；在特征层面，使用了对比度和结构一致性损失函数；对比度一致性损失
Figure BDA0003254257360000084
被用于保证在目标域的原始图片和目标域的生成图片上提取的对比度特征是一样的；结构一致性损失
Figure BDA0003254257360000085
被用来在对比度改变图片上防止结构失真。
Figure BDA0003254257360000086
I′x＝GQ(EC(Ix)，ES(Ix))+GR(EC(Ix)，EB(Ix))，I″x＝GQ(EC(I′d→x)，ES(I′x→d))+GR(EC(I′d→x)，EB(I′x→d))，I′x为对输入Ix的一次前向预测，I′d为对输入Id的一次前向预测，I″x和I″d代表循环预测；
Figure BDA0003254257360000087
Figure BDA0003254257360000088
Figure BDA0003254257360000089
为梯度算子，
Figure BDA00032542573600000810
为施加在消骨图像的梯度图上的判别器，Q′d→x是由DRR转换到CXR的消骨图，R′x为从CXR中预测出来的肋骨残差图，L′x和L′d分别为从CXR和DRR图像中预测出的肺部分割；这里，在图像域自适应的过程中，肋骨可能还残留于消骨的预测结果中。在肺部区域内用一个基于梯度的约束来消除不同图片间灰度值差异带来的影响，同时增强消骨预测图中肋骨周围灰度变化的平滑性。在CXR图像的消骨的预测图和其对应的肋骨残差图上加入了梯度信息的对抗损失。
Figure BDA00032542573600000811
M′x为Ix所对应的肋骨分割，通过在Rx上应用双边滤波器和阈值分割得到，U代表两个输入二值图的交集；这里，在输入的CXR图像和其对应的消骨图上，肋骨间的灰度信息应该保持不变。
Figure BDA00032542573600000812
Δ为拉普拉斯算子。这里，为了防止与肋骨重叠的气管细节残留在肋骨残差图上，用基于拉普拉斯算子的损失函数LΔ来消除肋骨残差图内的气管重叠区域。拉普拉斯算子可以看作是一个正则化方法，能够帮助生成更平滑的肋骨残差图。
本实施例中，λadv＝1，λf＝1，λi＝10，
Figure BDA00032542573600000813
λinter＝500，λΔ＝1。
在发明人的创造过程中，运用了2个CT公开数据集和4个CXR公开数据集，。CT数据集包含来自LIDC-IDRI的896个CT扫描图像和来自2017、2019年阿里巴巴举办的天池医疗AI大赛的777个CT扫描图像。其中，发明人只采用了层厚小于2.5mm的CT图像。CXR数据集包含来自TBX11K的大小为512×512的CXR图像11200张，来自chest-14的大小为1024×1024的CXR图像112120张，来自Montgomery Country的大小为4020×4892的CXR图像138张和来自深圳医院的大小约为3000×3000的CXR图像662张。
对于CT数据集，发明人在LIDC-IDRI中199个CT扫描图像上标注了肋骨并且训练了一个U-Net模型用于分割肋骨，接着将训练好的模型应用到整个CT数据集上，得到所有CT数据的肋骨分割。基于肋骨分割，发明人用了一个图像修补算法在CT中消除肋骨。
为了生成DRR图像，发明人用DeepDRR将每个CT图像在左右和上下±10°的范围内均匀地投影出42张投影图。用类似的方法，发明人生成了消骨后CT扫描图的投影图。所有的DRR图像都被用双线性插值的方法缩放到320×320的大小用于训练。对于CXR数据集，所有的CXR图像都被缩放成320×320的大小输入网络，最后，发明人将肋骨残差图调整回原来的大小用于消除肋骨。发明人用TBX11K、Chest-14和MontgomerySet的训练集来训练，其他数据用来测试。
发明人使用PyTorch搭建网络，在一块GeForce RTX 2080 Ti GPU上训练网络，所有网络都是用学习率为0.00001的Adam优化器进行训练的。在初始阶段，发明人对网络进行30000次迭代训练，训练时的batch size设为1。
Weber Contrast和Peak Signal Noise Rate(PSNR)这两个指标被用于评估发明人模型的消除肋骨质量。对于CXR图像，Weber Contrast通过计算肋骨消去区域和背景的对比度差异来评估肋骨消去在边界上的表现。定义如下：
Figure BDA0003254257360000091
式中，Ir代表人工标记的肋骨区域的平均灰度值，Ib代表肋骨周围5个像素内的有限区域背景。较小的Weber Contrast意味着肋骨消除区域和背景间较高的相似度，这样的消除肋骨的CXR图像在视觉效果上会更好。如图5所示。
PSNR一个常用的图像相似度指标，发明人将其用于评估肋骨消除预测结果中细节的保留程度。这里的相似度计算是在人工标记的无肋骨区域中完成的。更高的PNSR代表着更好的预测结果。
通过上述指标对比本发明方法和其他一些方法：U-Net(DRR)、U-Net(Cycle)、Li。对于U-Net(DRR)，发明人将在有消骨标签的DRR图像中进行训练的U-Net再直接用于预测CXR中的消骨图。对于U-Net(Cycle)，CXR图像先通过CycleGAN转换到DRR域，然后通过DRR域上训练的U-Net消除肋骨后，再转换回到CXR域。上述对比是基于192张带有人工标记的肋骨和肺部区域的CXR图像，其中99张CXR图像是在深圳医院的数据集中随机选取的，另93张来自Chest-xray14数据集。
图5和图6展示了不同方法的定量和可视化结果，GAN神经网络有着最高的PSNR(Peak Signal to Noise Ratio，峰值信噪比，是种评价图像的客观标准，它具有局限性，一般是用于最大值信号和背景噪音之间的一个工程项目)值和最低的Weber Contrast(肋骨消除的区域值与肺内部无肋骨区域的值的比值，如果肋骨没有完全消除，此值应该非常大)值，展现了最好的效果。GAN神经网络的PSNR值远好于U-Net(DRR)和U-Net(Cycle)，这可能是由于GAN神经网络在肋骨间的区域施加的一致性约束带来的。如图6所示，发明人随机选择了深圳医院数据集中的1个正常和2个肺结核病例。对比其他方法，GAN神经网络输出的结果在整体和细节上看起来都更干净。在病例1的深色矩形框中，U-Net(DRR)和U-Net(Cycle)不能够完全消除肋骨，同时细节也被平滑掉了。由于直方图匹配的灰度误差，剧烈的变化会存在于在Li的输出结果中。在所有的方法中，GAN神经网络消除了最多的肋骨成分同时保留了最丰富的细节，这证明了通过解耦的方法，GAN神经网络能够得到最好且最鲁棒的肋骨消除图像。对于肋骨消除结果中细节的保留来说，对比其他方法，发明人提出的GAN神经网络可以将细节变得更清晰，并且同时保留了大的病灶(淡色矩形框中的肺结核)和非常小的物体(小血管和气管，见深色矩形框)。然而，Li由于较差的肋骨预测，出现了一大块锁骨的残影。发明人方法的所有优势都有助于降低阅片的难度和误诊率。
发明人接着展开了两项下游应用：肺部疾病分类和肺结核检测，来进一步评估肋骨消除CXR预测图的质量。
为了衡量肋骨消除给肺部疾病分类带来的贡献，发明人在Chest-xray14和TBX11K数据集上做了一些实验。发明人应用了DenseNet-121作为分类器网络来预测Chest-xray14中的14种肺部疾病，同时在不同的输入组合上做了实验。发明人尝试了5种组合：(1)DenseNet-121：仅用原始的CXR作为输入；(2)DenseNet-121+Li：仅生成的肋骨消除CXR图像作为输入；(3)DenseNet-121+Li(Mix)：将2个通道的原始CXR图像和1个通道生成的肋骨消除CXR图像的结合体作为输入；(4)DenseNet-121+GAN神经网络：仅用发明人的方法GAN神经网络生成的肋骨消除CXR图像作为输入；(5)DenseNet-121+GAN神经网络(Mix)x)：将2个通道的原始CXR图像和1个通道的发明人的方法GAN神经网络生成的肋骨消除CXR图像的结合体作为输入。发明人在Chest-xray14数据集上对14种肺部疾病进行预测，用普遍应用的AreaUnder Curve(AUC)指标来比较5种输入的组合的有效性。结果展示在图7和图8中，发明人的方法在肺部疾病预测应用上达到了最好的效果。结合原始的CXR图片和本方法生成的消骨图比仅用原始的CXR图片平均在AUC指标上带来了0.014的提升。仅使用发明人的CXR消骨图比仅使用原始的CXR图像在气胸AUC指标上提升了1％，在纤维变性AUC指标上提升了1.6％。这是由于这些肺部疾病导致了肺部纹理上的外观改变，肋骨消除帮助突出了肺部纹理。
发明人应用了Faster R-CNN(FRCNN)作为分类器网络类将CXR分类预测为3个类别(健康、不健康但不是肺结核、肺结核)。类似地，发明人做了5种组合：(1)FRCNN；(2)FRCNN+Li；(3)FRCNN+Li[19](Mix)；(4)FRCNN+GAN神经网络；(5)FRCNN+GAN神经网络(Mix)。这里发明人用预测3个分类的准确性、AUC、敏感性、特异性、平均精确率和平均召回率这几个指标来对这五种输入组合进行对比。对比是基于官方划分的TBX1K数据集。如图7和图8所示，对比其他方法，FRCNN+GAN神经网络(Mix)达到了最好的效果，对比直接在原始的CXR上预测，本方法提升了2.7％的准确度和1.49％的AUC。这证实了肋骨消除可以在临床诊断帮助提升CXR图像的分类准确度。
为了证明GAN神经网络对肺结核检测的有效性，发明人应用FRCNN作为检测网络来预测肺结核区域，并且将每个检测框内的病灶分类，分为类别不可知的肺结核、活动性肺结核和潜伏性肺结核。与前面的分类任务类似，发明人用5种组合的输入来训练检测网络：(1)FRCNN；(2)FRCNN+Li；(3)FRCNN+Li(Mix)；(4)FRCNN+GAN神经网络；(5)FRCNN+GAN神经网络(Mix)。
为了评价肺结核检测的有效性，发明人用了2个检测边界框的平均精确率(AP)指标。AP50代表在阈值为0.5的IoU(intersection-over-union)上的AP。mAP代表在阈值以步长0.05从0.5到0.95的IoU上的平均AP。更高的AP50和mAP代表着该方法能得到更高准确度的检测结果。对比是基于官方划分的TBX11K数据集，结果如图10所示。对比其他类型的输入，结合原始的CXR图像和消骨图能达到最好的检测效果；对比仅用原始CXR图像作为输入，能在AP50上带来5％的提升。很可能是因为GAN神经网络能够消除重叠在肺结核病变上的锁骨和肋骨，正如图11中的病例2和病例3中淡色矩形框所示。
发明人对GAN神经网络的关键组成部分做了消融研究，包含基本模型(仅有解耦学习和域自适应)、肋骨消除对抗损失
Figure BDA0003254257360000111
背景一致性损失
Figure BDA0003254257360000112
和肋骨消去部分平滑损失
Figure BDA0003254257360000113
正如图11所示，当消除损失函数
Figure BDA0003254257360000114
被引入的时候，Weber contrast减少0.74，这表明了肋骨内部区域和背景的强度差异减小了。然而，PSNR的下降说明了许多细节因为损失
Figure BDA0003254257360000115
而丢失了。在引入肋骨间约束损失函数
Figure BDA0003254257360000116
后，PSNR的提升表明在
Figure BDA0003254257360000117
有助于在肋骨消除后保持肋骨间的细节不变。最后，加入基于拉普拉斯算子的损失函数
Figure BDA0003254257360000118
后，使得表中的两个指标都稍有提升，有助于在肋骨消除结果中的肋骨区域保留更清晰的细节。
如图11所示，3个CXR图像从深圳医院数据集中被选出来用于从直观视觉上对比加入了不同损失函数的肋骨消除效果。当加入了
Figure BDA0003254257360000121
后，与基本模型相比，发明人得到了更少肋骨残留，但同时保留了更少细节。与
Figure BDA0003254257360000122
相比，
Figure BDA0003254257360000123
有助于保持肋骨间区域的强度不变，
Figure BDA0003254257360000124
增强了肋骨内区域细节的保留。
本发明实施例二提供了一种用于CXR胸部图像处理的GAN神经网络的创建装置，包括以下模块：
第一数据获取模块，用于获取若干CXR胸部图像Ix，并获取若干消骨前的DRR胸部图像Id，以及每个DRR胸部图像Id对应消骨后的胸部图像Qd、对应的DRR域的肋骨投影Bd和对应的DRR域的肋骨残差图Rd；
GAN神经网络创建模块，用于创建GAN神经网络，所述GAN神经网络的生成器G包括：第一编码器Es、第二编码器Ec、第三编码器ER、第一解码器GL、第二解码器GQ、第三解码器GR和第四解码器GB；其中，第一编码器Es对输入的待处理胸部图像I进行处理、并得到除去肋骨之后的结构特征FS，第二编码器Ec对输入的待处理胸部图像I进行处理、并得到对比度特征FC，第三编码器ER对输入的待处理胸部图像I进行处理、并得到肋骨特征FR；第一解码器GL对结构特征FS进行处理、并得到肺部分割L′；第二解码器GQ对结构特征FS和对比度特征FC进行处理、并得到初始消骨图Q′；第三解码器GR对对比度特征FC和肋骨特征FR进行处理、并得到肋骨残差图R′；第四解码器GB对肋骨特征FR进行处理、并得到肋骨投影图B′；
训练模块，用于基于若干CXR胸部图像Ix、若干DRR胸部图像Id、若干胸部图像Qd、若干肋骨投影Bd和若干肋骨残差图Rd，对所述GAN神经网络进行训练。
本实施例中，所述第一数据获取模块还用于：获取若干CT胸部图像，对每个CT胸部图像均进行以下操作：对所述CT胸部图像进行正投影处理、得到消骨前的DRR胸部图像Id；获取所述CT胸部图像中的软组织的灰度值，基于预训练的分割神经网络从所述CT胸部图像分割出肋骨图像，将所述肋骨图像的灰度值替换成所述灰度值，之后，对所述肋骨图像进行正投影处理、得到消骨但保留脊柱的胸部图像Qd；从所述肋骨图像中投影出肋骨投影Bd；Rd＝Id-Qd。这里，该分割神经网络可以为U-Net，具体的做法是，标注一组CT数据内的肋骨，然后训练U-Net
本实施例中，所述若干CXR胸部图像Ix和若干DRR胸部图像Id是非配对的。
本发明实施例三提供了一种处理CXR胸部图像的方法，包括以下步骤：获取CXR胸部图像Iinput；执行实施例一中的的创建方法创建GAN神经网络，控制所述GAN神经网络中的生成器G对所述CXR胸部图像Iinput进行处理、并得到肋骨残差图R‘input，则所述CXR胸部图像Iinput对应的消骨图＝Iinput-R‘input。
本发明实施例三提供了一种处理CXR胸部图像的装置，包括以下模块：第二数据获取模块，用于获取CXR胸部图像Iinput；图像处理模块，用于执行实施例一中的创建方法创建GAN神经网络，控制所述GAN神经网络中的生成器G对所述CXR胸部图像Iinput进行处理、并得到肋骨残差图R‘input，则所述CXR胸部图像Iinput对应的消骨图＝Iinput-R‘input。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于CXR胸部图像处理的GAN神经网络的创建方法，其特征在于，包括以下步骤：
获取若干CXR胸部图像Ix，并获取若干消骨前的DRR胸部图像Id，以及每个DRR胸部图像Id对应消骨后的胸部图像Qd、对应的DRR域的肋骨投影Bd和对应的DRR域的肋骨残差图Rd；
创建GAN神经网络，所述GAN神经网络的生成器G包括：第一编码器Es、第二编码器Ec、第三编码器ER、第一解码器GL、第二解码器GQ、第三解码器GR和第四解码器GB；其中，第一编码器Es对输入的待处理胸部图像I进行处理、并得到除去肋骨之后的结构特征FS，第二编码器Ec对输入的待处理胸部图像I进行处理、并得到对比度特征FC，第三编码器ER对输入的待处理胸部图像I进行处理、并得到肋骨特征FR；第一解码器GL对结构特征FS进行处理、并得到肺部分割L′；第二解码器GQ对结构特征FS和对比度特征FC进行处理、并得到初始消骨图Q′；第三解码器GR对对比度特征FC和肋骨特征FR进行处理、并得到肋骨残差图R′；第四解码器GB对肋骨特征FR进行处理、并得到肋骨投影图B′；
基于若干CXR胸部图像Ix、若干DRR胸部图像Id、若干胸部图像Qd、若干肋骨投影Bd和若干肋骨残差图Rd，对所述GAN神经网络进行训练。
2.根据权利要求1所述的创建方法，其特征在于，所述“获取若干消骨前的DRR胸部图像Id，以及每个DRR胸部图像Id对应消骨后的胸部图像Qd、对应的DRR域的肋骨投影Bd和对应的DRR域的肋骨残差图Rd”具体包括：
获取若干CT胸部图像，对每个CT胸部图像均进行以下操作：对所述CT胸部图像进行正投影处理、得到消骨前的DRR胸部图像Id；获取所述CT胸部图像中的软组织的灰度值，基于预训练的分割神经网络从所述CT胸部图像分割出肋骨图像，将所述肋骨图像的灰度值替换成所述灰度值，之后，对所述肋骨图像进行正投影处理、得到消骨但保留脊柱的胸部图像Qd；从所述肋骨图像中投影出肋骨投影Bd；Rd＝Id-Qd。
3.根据权利要求1所述的创建方法，其特征在于，
所述若干CXR胸部图像Ix和若干DRR胸部图像Id是非配对的。
4.根据权利要求1所述的创建方法，其特征在于：
在训练过程中，将若干DRR胸部图像Id输入所述生成器G中，并得到每个DRR胸部图像Id对应的消骨后的胸部图像Q′d、对应的DRR域的肋骨投影B′d和对应的DRR域的肋骨残差图R′d；将若干CXR胸部图像Ix输入所述生成器G中，并得到每个CXR胸部图像Ix对应的消骨后的胸部图像Q′x、Ix对应的肋骨投影B′x和Ix对应的肋骨残差图R′x；
所述GAN神经网络的损失函数为：
Figure FDA0003254257350000021
Figure FDA0003254257350000022
其中：
λadv、λf、λi、
Figure FDA00032542573500000215
λinter和λΔ均为权重值；
Figure FDA0003254257350000023
||·||1是L1损失函数；
Figure FDA0003254257350000024
Figure FDA0003254257350000025
I′d→x表示从DRR域转到CXR域的图像，I′x→d表示从CXR域转到DRR域的图像，判别器Dx用于评估转换到CXR域的图像和CXR图像之间的域差异，转换后图像保留原始图像域DRR的结构同时拥有目标域CXR的图像对比度，判别器Dd用于评估转换到DRR域的图像和DRR域图像之间的域差异，转换后图像保留原始图像域CXR的结构同时拥有目标域DRR的图像对比度，判别器DR用于判别输入的肋骨投影图是来自CXR域还是DRR域；
Figure FDA0003254257350000026
Figure FDA0003254257350000027
I′x＝GQ(EC(Ix)，ES(Ix))+GR(EC(Ix)，EB(Ix))，I″x＝GQ(EC(I′d→x)，ES(I′x→d))+GR(EC(I′d→x)，EB(I′x→d))，I′x为对输入Ix的一次前向预测，I′d为对输入Id的一次前向预测，I″x和I″d代表循环预测；
Figure FDA0003254257350000028
Figure FDA0003254257350000029
Figure FDA00032542573500000210
为梯度算子，
Figure FDA00032542573500000211
为施加在消骨图像的梯度图上的判别器，Q′d→x是由DRR转换到CXR的消骨图，R′x为从CXR中预测出来的肋骨残差图，L′x和L′d分别为从CXR和DRR图像中预测出的肺部分割；
Figure FDA00032542573500000212
M′x为Ix所对应的肋骨分割，通过在Rx上应用双边滤波器和阈值分割得到，∪代表两个输入二值图的交集；
Figure FDA00032542573500000213
Δ为拉普拉斯算子。
5.根据权利要求4所述的创建方法，其特征在于：
λadv＝1，λf＝1，λi＝10，
Figure FDA00032542573500000214
λinter＝500，λΔ＝1。
6.一种用于CXR胸部图像处理的GAN神经网络的创建装置，其特征在于，包括以下模块：
第一数据获取模块，用于获取若干CXR胸部图像Ix，并获取若干消骨前的DRR胸部图像Id，以及每个DRR胸部图像Id对应消骨后的胸部图像Qd、对应的DRR域的肋骨投影Bd和对应的DRR域的肋骨残差图Rd；
GAN神经网络创建模块，用于创建GAN神经网络，所述GAN神经网络的生成器G包括：第一编码器Es、第二编码器Ec、第三编码器ER、第一解码器GL、第二解码器GQ、第三解码器GR和第四解码器GB；其中，第一编码器Es对输入的待处理胸部图像I进行处理、并得到除去肋骨之后的结构特征FS，第二编码器Ec对输入的待处理胸部图像I进行处理、并得到对比度特征FC，第三编码器ER对输入的待处理胸部图像I进行处理、并得到肋骨特征FR；第一解码器GL对结构特征FS进行处理、并得到肺部分割L′；第二解码器GQ对结构特征FS和对比度特征FC进行处理、并得到初始消骨图Q′；第三解码器GR对对比度特征FC和肋骨特征FR进行处理、并得到肋骨残差图R′；第四解码器GB对肋骨特征FR进行处理、并得到肋骨投影图B′；
训练模块，用于基于若干CXR胸部图像Ix、若干DRR胸部图像Id、若干胸部图像Qd、若干肋骨投影Bd和若干肋骨残差图Rd，对所述GAN神经网络进行训练。
7.根据权利要求6所述的创建装置，其特征在于，所述第一数据获取模块还用于：
获取若干CT胸部图像，对每个CT胸部图像均进行以下操作：
对所述CT胸部图像进行正投影处理、得到消骨前的DRR胸部图像Id；获取所述CT胸部图像中的软组织的灰度值，基于预训练的分割神经网络从所述CT胸部图像分割出肋骨图像，将所述肋骨图像的灰度值替换成所述灰度值，之后，对所述肋骨图像进行正投影处理、得到消骨但保留脊柱的胸部图像Qd；从所述肋骨图像中投影出肋骨投影Bd；Rd＝Id-Qd。
8.根据权利要求6所述的创建装置，其特征在于，
所述若干CXR胸部图像Ix和若干DRR胸部图像Id是非配对的。
9.一种处理CXR胸部图像的方法，其特征在于，包括以下步骤：
获取CXR胸部图像Iinput；
执行权利要求1-5任一项的创建方法创建GAN神经网络，控制所述GAN神经网络中的生成器G对所述CXR胸部图像Iinput进行处理、并得到肋骨残差图R‘input，则所述CXR胸部图像Iinput对应的消骨图＝Iinput-R‘input。
10.一种处理CXR胸部图像的装置，其特征在于，包括以下模块：
第二数据获取模块，用于获取CXR胸部图像Iinput；
图像处理模块，用于执行权利要求1-5任一项的创建方法创建GAN神经网络，控制所述GAN神经网络中的生成器G对所述CXR胸部图像Iinput进行处理、并得到肋骨残差图R‘input，则所述CXR胸部图像Iinput对应的消骨图＝Iinput-R‘input。
CN202111054986.7A 2021-09-09 2021-09-09 Gan神经网络的创建方法、处理cxr胸部图像和装置 Pending CN113780531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111054986.7A CN113780531A (zh) 2021-09-09 2021-09-09 Gan神经网络的创建方法、处理cxr胸部图像和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111054986.7A CN113780531A (zh) 2021-09-09 2021-09-09 Gan神经网络的创建方法、处理cxr胸部图像和装置

Publications (1)

Publication Number Publication Date
CN113780531A true CN113780531A (zh) 2021-12-10

Family

ID=78842118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111054986.7A Pending CN113780531A (zh) 2021-09-09 2021-09-09 Gan神经网络的创建方法、处理cxr胸部图像和装置

Country Status (1)

Country Link
CN (1) CN113780531A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224022A1 (ja) * 2022-05-20 2023-11-23 国立大学法人大阪大学 プログラム、情報処理方法、及び情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224022A1 (ja) * 2022-05-20 2023-11-23 国立大学法人大阪大学 プログラム、情報処理方法、及び情報処理装置

Similar Documents

Publication Publication Date Title
KR101981202B1 (ko) 의료영상 재구성 방법 및 그 장치
Arndt et al. Deep learning CT image reconstruction in clinical practice
CN111768343B (zh) 用于促进检查肝脏肿瘤病例的系统和方法
Ma et al. Sinogram denoising via attention residual dense convolutional neural network for low-dose computed tomography
Shi et al. A material decomposition method for dual‐energy CT via dual interactive Wasserstein generative adversarial networks
US9672641B2 (en) Method, apparatus, and computer readable medium for removing unwanted objects from a tomogram
Albarqouni et al. X-ray in-depth decomposition: Revealing the latent structures
WO2022246677A1 (zh) 一种增强ct图像的重建方法
Dovganich et al. Automatic out-of-distribution detection methods for improving the deep learning classification of pulmonary X-ray images
CN110599530B (zh) 基于双正则约束的mvct图像纹理增强方法
CN113780531A (zh) Gan神经网络的创建方法、处理cxr胸部图像和装置
Shan et al. Can deep learning outperform modern commercial CT image reconstruction methods?
Kim et al. Wavelet subband-specific learning for low-dose computed tomography denoising
Wang et al. Inner-ear augmented metal artifact reduction with simulation-based 3D generative adversarial networks
Luzhbin et al. Model image-based metal artifact reduction for computed tomography
CN116542868A (zh) 基于注意力的生成对抗网络的x胸片肋骨影像的抑制方法
Liu et al. Generating dual-energy subtraction soft-tissue images from chest radiographs via bone edge-guided GAN
CN110506294B (zh) 数字x射线图像中具有低信息内容的区域的探测
Lyu et al. Joint unsupervised learning for the vertebra segmentation, artifact reduction and modality translation of CBCT images
Miao et al. Spinal neoplasm image inpainting with deep convolutional neutral networks
CN116977471B (zh) 一种生成合成计算机断层扫描图像的方法和设备
EP4369302A1 (en) Methods and systems for metal artifacts correction
Galeano et al. Alternative Tool for the Diagnosis of Diseases Through Virtual Reality
CN116664429A (zh) 一种半监督式去除多能谱ct影像中金属伪影的方法
Clark et al. Denoising pediatric cardiac photon-counting CT data using volumetric vision transformers and unpaired training data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination