CN115272511A - 基于双解码器的cbct图像中金属伪影去除系统、方法、终端及介质 - Google Patents

基于双解码器的cbct图像中金属伪影去除系统、方法、终端及介质 Download PDF

Info

Publication number
CN115272511A
CN115272511A CN202211085374.9A CN202211085374A CN115272511A CN 115272511 A CN115272511 A CN 115272511A CN 202211085374 A CN202211085374 A CN 202211085374A CN 115272511 A CN115272511 A CN 115272511A
Authority
CN
China
Prior art keywords
image
generator
metal
representing
metal artifact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211085374.9A
Other languages
English (en)
Inventor
沈定刚
胡艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN202211085374.9A priority Critical patent/CN115272511A/zh
Publication of CN115272511A publication Critical patent/CN115272511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供基于双解码器的CBCT图像中金属伪影去除系统、方法、终端及介质，包括：被两个模型训练循环共享的第一生成器GA2F第二生成器GF2A；所述第一生成器GA2F第二生成器GF2A分别构成第一循环网络和第二循环网络；在所述第一循环网络中，先将含金属伪影的图像Ia输入第一生成器GA2F中以输出通过MAR技术得到的无金属伪影图像
Figure DDA0003834775580000011
再将无金属伪影图像
Figure DDA0003834775580000016
输入第二生成器GF2A中以输出含金属伪影的图像
Figure DDA0003834775580000013
在所述第二循环网络中，先将无金属伪影图像If输入第二生成器GF2A中以输出含金属伪影的图像
Figure DDA0003834775580000012
再将含金属伪影的图像
Figure DDA0003834775580000015
输入第一生成器GA2F中以输出无金属伪影图像
Figure DDA0003834775580000014
由此本发明提出了一种在临床CBCT图像上的可行的伪影去除方法。

Description

基于双解码器的CBCT图像中金属伪影去除系统、方法、终端及 介质
技术领域
本申请涉及人工智能模型技术领域，特别是涉及基于双解码器的CBCT图像中金属伪影去除系统、方法、终端及介质。
背景技术
CBCT(Cone beam computed tomography)广泛应用在口腔成像中，尤其是在牙齿相关的治疗中。但是，由于病人可能在扫描CBCT之前有过补牙、种植牙齿以及带有金属牙套的缘故，我们采集到的CBCT图像上会产生伪影。具体来说，CBCT图像上会有异常的高亮区域，并且伴有散射交错的带状伪影，这样的伪影对医生阅片和计算机辅助的下游分析任务例如牙齿分割都是不友好的。
无论是传统CT还是CBCT都可以用两种形式的数据进行表示，即：投射域的正弦图和空间域的图像，这两种形式的表示可以通过Forward projection和Filtered backpropagation进行相互转换。由于在正弦图图金属伪影的特征模式相对于空间域图像更为简单一些，早期的去伪影的研究通过插值校正了正弦图上的金属影响区域。虽然这些方法可以直接应用于临床数据，但它们的性能并不令人满意，尤其是在边界附近。
有监督的深度学习算法在“端到端”的学习过程中达到了对特征表达的表示，避免的传统机器学习方法所以来的人为特征设计，所以其在图像处理的领域表现出了卓越的性能。最近，有监督的深度学习方法也被用于学习无金属图像和受金属影响图像之间的映射函数，以此达到伪影去除的目的。例如，Zhang等从无伪影CT图像中模拟出受金属影响的CT图像，并使用卷积神经网络学习到映射恢复高质量的CT图像。
不同于前文的有监督深度学习模型是通过直接的损失函数优化网络，无监督的深度学习算法通常通过引入额外的、间接的的损失函数来优化目标网络。例如，Liao等提出从潜在空间中含金属伪影的图像中解藕出金属伪影的特征表示，并通过一系列的解码器重建图像，在优化中依赖于对抗损失。Ghani等设计了一种在正弦图中模拟受金属影响图像的方法，并将在模拟数据上训练的模型转移到临床数据中。
有监督算法在仿真数据上虽然有很好的性能，但是由于模拟数据和临床数据之间的域间隙(Domain gap)，从模拟数据中学习的映射函数不能直接应用于临床数据。现有的无监督方法主要是基于金属伪影是独立于解剖结构，并且是可以解藕出来的假设的，并且也都是主要在胸部CT进行的验证。然而，牙齿CBCT图像在金属植入物的位置和牙齿外观方面高度多样化，带有伪影的图像往往有不完整的牙齿，与普通牙齿有很大不同。这种多样性对基于解耦的方法是很大的挑战。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供基于双解码器的CBCT图像中金属伪影去除系统、方法、终端及介质，用于解决现有的金属伪影较难去除的技术问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种基于双解码器的CBCT图像中金属伪影去除系统，包括：被两个模型训练循环共享的第一生成器GA2F第二生成器GF2A；所述第一生成器GA2F第二生成器GF2A分别构成第一循环网络和第二循环网络；在所述第一循环网络中，先将含金属伪影的图像Ia输入第一生成器GA2F中以输出通过MAR技术得到的无金属伪影图像
Figure BDA0003834775560000021
再将无金属伪影图像
Figure BDA0003834775560000022
输入第二生成器GF2A中以输出含金属伪影的图像
Figure BDA0003834775560000023
在所述第二循环网络中，先将无金属伪影图像If输入第二生成器GF2A中以输出含金属伪影的图像
Figure BDA0003834775560000024
再将含金属伪影的图像
Figure BDA0003834775560000025
输入第一生成器GA2F中以输出无金属伪影图像
Figure BDA0003834775560000026
于本申请的第一方面的一些实施例中，所述第一生成器GA2F第二生成器GF2A通过二阶段训练方式进行训练：在第一阶段中，通过最小化各所述生成器转换得到的图像与ground truth图像之间的差异来学习所述第一生成器GA2F第二生成器GF2A的模型参数；在第二阶段中，基于第一阶段学习得到的所述第一生成器GA2F第二生成器GF2A的模型参数对各所述生成器进行初始化，并将临床金属影响图像添加到训练集中，以生成由模拟含金属伪影的图像和临床含金属伪影的图像所组成的训练数据集，用于进行第二阶段的模型迭代训练。
于本申请的第一方面的一些实施例中，还包括DSIN模块，用于分别学习模拟含金属伪影的图像和临床含金属伪影的图像的归一化层中的统计参数，并将每一层的输入约束到相同的分布，使权重跨领域兼容以弥补模拟域和临床域之间的域间隙。
于本申请的第一方面的一些实施例中，还包括两个鉴别器，分别用于鉴别所述第一生成器GA2F输出的无金属伪影图像
Figure BDA0003834775560000027
以及所述第二生成器器GF2A输出的含金属伪影的图像
Figure BDA0003834775560000028
于本申请的第一方面的一些实施例中，所述第一生成器GA2F的结构包括：卷积模块、连接所述卷积模块的残差注意力模块及连接所述残差注意力模块的解码器模块。
于本申请的第一方面的一些实施例中，还包括如下任一种自定义损失函数：
语义一致性损失函数
Figure BDA0003834775560000029
其中，L1表示正则计算；Ms表示Metal mask在投射域的正弦图；Sa表示图像Ia的正弦图；；
Figure BDA00038347755600000210
表示图像
Figure BDA00038347755600000211
的正弦图；
元素级一致性度量损失函数Lele＝L1(zA2F,zF2A)；其中，L1表示正则计算，zA2F表示生成器GzA2F学习到的潜在表示，zF2A表示生成器GzF2A学习到的潜在表示。
全局一致性损失函数Lclc＝Lce(Cz(zA2F),Cz(zF2A))；其中，Cz表示二分类器，用来约束zA2F和zF2A的相似性。Lce表示交叉熵损失函数；zA2F表示生成器GzA2F学习到的潜在表示,C(zA2F)表示C对zA2F作为输入时的输出，zF2A表示生成器GzF2A学习到的潜在表示，C(zF2A)表示C对zF2A作为输入时的输出；
循环一致性损失函数
Figure BDA0003834775560000031
其中，Ia表示输入的含金属伪影的图像；
Figure BDA0003834775560000032
表示模型输出的含金属伪影的图像；If表示输入的无金属伪影的图像；
Figure BDA0003834775560000033
表示模型输出的无金属伪影的图像；
重建损失函数
Figure BDA0003834775560000034
其中，L1表示正则计算；Ia表示输入的含金属伪影的图像；
Figure BDA0003834775560000035
表示图像Ia对应的金属伪影；If表示输入的无金属伪影的图像；
Figure BDA0003834775560000036
表示图像If对应的金属伪影；
Figure BDA0003834775560000037
表示模型输出的含金属伪影的图像；
Figure BDA0003834775560000038
表示图像
Figure BDA0003834775560000039
对应的金属伪影；
Figure BDA00038347755600000310
表示模型输出的无金属伪影的图像；
Figure BDA00038347755600000311
表示图像
Figure BDA00038347755600000312
对应的金属伪影；
对抗损失函数
Figure BDA00038347755600000313
其中，Llsgan表示损失函数；Da和Df表示判别器；
VAE正则化损失函数
Figure BDA00038347755600000314
其中，
Figure BDA00038347755600000315
表示所有训练数据的z的分布；N表示正态分布。
于本申请的第一方面的一些实施例中，在使用全部的所述自定义损失函数的情况下，总损失函数表示为：
L＝α1Lele+α2Lcls++α3Lcyc+α4Lrec+α5LGAN+α7LP+α6Lkl；
其中，α1＝1,α2＝1,α3＝10,α4＝10,α5＝1,α6＝1,α7＝1。
为实现上述目的及其他相关目的，本申请的第二方面提供一种基于双解码器的CBCT图像中金属伪影去除方法，包括：先将含金属伪影的图像Ia输入第一生成器GA2F中以输出通过MAR技术得到的无金属伪影图像
Figure BDA00038347755600000316
再将无金属伪影图像
Figure BDA00038347755600000317
输入第二生成器GF2A中以输出含金属伪影的图像
Figure BDA00038347755600000318
以形成第一模型训练循环；先将无金属伪影图像If输入第二生成器GF2A中以输出含金属伪影的图像
Figure BDA00038347755600000319
再将含金属伪影的图像
Figure BDA00038347755600000320
输入第一生成器GA2F中以输出无金属伪影图像
Figure BDA00038347755600000321
以形成第二模型训练循环；其中，所述第一生成器GA2F第二生成器GF2A是被第一模型训练循环和第二模型训练循环共享的两个生成器。
为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于双解码器的CBCT图像中金属伪影去除方法。
为实现上述目的及其他相关目的，本申请的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于双解码器的CBCT图像中金属伪影去除方法。
如上所述，本申请的基于双解码器的CBCT图像中金属伪影去除系统、方法、终端及介质，具有以下有益效果：
(1)本发明提出了一种在临床CBCT图像上的可行的伪影去除方法。
(2)本发明使用DSIN很好地解决了模拟数据和临床数据之间的域间隙问题。
(3)本发明使用两个鉴别器来区分翻译后的含金属伪影/无金属伪影的图像，以优化本发明实施例提供的基于双解码器的CBCT图像中金属伪影去除系统。
(4)本发明使用一系列自定义的损失函数，以提升模型的各项功能。
附图说明
图1显示为本申请一实施例中的一种基于双解码器的CBCT图像中金属伪影去除系统的结构示意图。
图2显示为本申请一实施例中的生成器的结构示意图。
图3显示为本申请一实施例中的一种基于双解码器的CBCT图像中金属伪影去除方法的流程示意图。
图4显示为本申请一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
为解决上述背景技术中的问题，本发明提供基于双解码器的CBCT图像中金属伪影去除方法、装置、终端及介质，旨在通过在每个生成器中使用一个重建输入的解码分支使学习到的潜在特征能够更好地保留牙齿结构的语义信息。另外，基于对现有变分自编码(Variational Autoencoder,VAE)的优点，本发明中的生成器能够在潜在空间对学习到的特征表示更具有意义和紧凑，所以在生成器中引入VAE，并通过KL散度(KL-divergence)约束使潜在空间的表征表示呈正态分布。
与此同时，为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
在对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释：
<1>CBCT(Cone Beam Computed Tomography)：锥形束投照计算机重组断层影像设备，其原理是X线发生器以较低的射线量(通常球管电流在10mA左右)围绕投照体做环形DR(数字式投照)；然后将围绕投照体多次(180次-360次，依产品不同而异)数字投照后“交集”中所获得的数据在计算机中“重组，reconstruction”后进而获得三维图像。
<2>GAN(Generative adversarial networks)：生成对抗网络，是深度学习领域的一个重要生成模型，即两个网络(生成器和鉴别器)在同一时间训练并且在极小化极大算法(minimax)中进行竞争。这种对抗方式避免了一些传统生成模型在实际应用中的一些困难，巧妙地通过对抗学习来近似一些不可解的损失函数，在图像、视频、自然语言和音乐等数据的生成方面有着广泛应用。
<3>CycleGan：一种实现画像风格转换功能的GAN网络，由两个镜像对称的生成对抗网络(GAN网络)构成的环形网络；两个GAN共享两个生成器，并各自带一个鉴别器。
<4>VAE(Variational Auto-Encoder)：变分自编码器。
本发明实施例提供基于双解码器的CBCT图像中金属伪影去除方法、基于双解码器的CBCT图像中金属伪影去除方法的系统、以及存储用于实现基于双解码器的CBCT图像中金属伪影去除方法的可执行程序的存储介质。就基于双解码器的CBCT图像中金属伪影去除系统的实施而言，本发明实施例将对基于双解码器的CBCT图像中金属伪影去除的示例性实施场景进行说明。
如图1所示，展示了本发明实施例中的一种基于双解码器的CBCT图像中金属伪影去除系统的结构示意图。该系统主要由两个生成器GA2F和GF2A组成，它们被两个训练循环共享，通过使用两个循环可以重复使用训练数据，有效地提供数据增强机制。其中，生成器GA2F用于将含金属伪影的图像(下文中简称为含金属伪影的图像)转换为无金属伪影的图像，生成器GF2A用于将无金属伪影的图像转换为含金属伪影的图像。
所述基于双解码器的CBCT图像中金属伪影去除系统供包含了两个训练循环；
循环1(Training Cycle1)：含金属伪影的图像→无金属伪影的图像→含金属伪影的图像；
循环2(Training Cycle2)：无金属伪影的图像→含金属伪影的图像→含金属伪影的图像。
具体而言，本实施例中的基于双解码器的CBCT图像中金属伪影去除系统的结构具体包括：由第一生成器GA2F第二生成器GF2A构成的第一循环网络和第二循环网络。
在所述第一循环网络中，先将含金属伪影的图像Ia输入第一生成器GA2F中以输出通过MAR技术得到的无金属伪影图像
Figure BDA0003834775560000061
再将无金属伪影图像
Figure BDA0003834775560000062
输入第二生成器GF2A中以输出含金属伪影的图像
Figure BDA0003834775560000063
其中
Figure BDA0003834775560000064
为图像Ia所对应的金属伪影，
Figure BDA0003834775560000065
为图像
Figure BDA0003834775560000066
所对应的金属伪影。应理解的是，MAR是一种专门用于去除金属伪影的技术，其去除金属物伪影的优势在于纠正由“光子饥饿”造成的低密度伪影，而高keV单能量可以减少金属物造成的硬化伪影。
在所述第二循环网络中，先将无金属伪影图像If输入第二生成器GF2A中以输出含金属伪影的图像
Figure BDA0003834775560000067
再将含金属伪影的图像
Figure BDA0003834775560000068
输入第一生成器GA2F中以输出无金属伪影图像
Figure BDA0003834775560000069
其中，
Figure BDA00038347755600000610
为图像Ia所对应的金属伪影，
Figure BDA00038347755600000611
为图像
Figure BDA00038347755600000612
所对应的金属伪影。
对于本发明实施例提供的基于双解码器的CBCT图像中金属伪影去除系统，主要包括如下两个模型训练阶段：
在模型训练的第一阶段中，在成对模拟数据上进行模型训练，以通过最小化各生成器的转换图像和对应的ground truth图像之间的差异来学习第一生成器GA2F和第二生成器GF2A的参数。
在模型训练的第二阶段中，在所述第一阶段的基础上，对所述第一生成器GA2F和第二生成器GF2A进行初始化；并将临床金属影响图像添加到训练集中，以生成由模拟含金属伪影的图像和临床含金属伪影的图像所组成的训练数据集，用于进行第二阶段的模型迭代训练。需说明的是，本实施例中的模型迭代训练都在无监督的方法中进行，具体参见本专利后文中目标损失函数的技术内容。
本发明是基于对CycleGAN的针对性改进，将其扩展到CBCT图像的伪影去除任务中。CycleGAN是一个很经典的无监督图像转换框架，但是CycleGAN最大一个问题是图像的语义信息在转换前后会发生改变。本发明实施例明确了一个待解决的问题，即保持语义信息的一致性。CycleGAN本质上是风格的转换，也就是说在学习的过程中，生成器学习得到的表示可能丢掉了语义上的信息，为了保留这种信息，引入了一个自重建分支，也就是双解码器。在生成器中引入VAE的设计。VAE比起由卷积直接堆砌起来的Encoder-decoder网络，在隐空间(latent space)对特征进行了约束，使其更加平滑，比卷积直接堆砌起来的编码-解码网络具有更好的特征表示学习能力。
在一些示例中，为了优化本发明实施例提供的基于双解码器的CBCT图像中金属伪影去除系统，使用两个鉴别器来区分翻译后的含金属伪影/无金属伪影的图像，参见图1中标记为Df和Da的圆圈，分别代表的是鉴别器。需说明的是，所述鉴别器也称为判别器，用于判断生成器生成的样本是真的还是假的，类似于图像的二分类；一个判别器通常由卷积层、全连接层和密集连接层构成；在训练时，对于每张假的(来自生成器)图像都通过判别器得到判别信息，再将对应的真实图像通过判别器得到判别信息。
在一些示例中，所述第一生成器GA2F的结构如图2所示，由卷积模块、残差注意力模块及解码器模块构成。
具体而言，卷积模块包括大小依次为7×7、3×3和3×3的卷积核，滤波器数量分别为32、64和64，在图2中由“ConvB”表示。然后有5个分别带有128个过滤器的残差注意力模块(RAB)，每个残差注意力模块(RAB)由一个空间注意力模块和一个残差单元组成；空间注意力模块是指空间上的注意力机制，其输入是一张图，输出则是一张概率图，概率越大的地方代表图像中重要目标的概率越大(即关注重点)。解码器模块首先堆叠4个残差注意力模块(RAB)和两个上采样模块，每个上采样模块都由一个双线性插值和一个内核大小为3×3的卷积层组成。
在将将含金属伪影的图像Ia输入第一生成器GA2F中时，卷积模块ConvB先对图像Ia进行卷积计算，计算结果作为第一个残差注意力模块(RAB)的输入数据，并层层传递至最后一个残差注意力模块(RAB)输出对应的编码器学习潜在表示z，也即，给定一个含金属伪影的图像Ia，GA2F通过VAE形式化后的编码器学习潜在表示z，如下式所示：
z＝zμ+zσ×∈,∈～N(0,I).
其中，μ和σ表示均值方差，用于约束特征z能够服从N(0,I)的分布；N表示正态分布，∈表示(0,1)的系数。
在一些示例中，由于模型训练过程中需要用到由模拟含金属伪影的图像和临床含金属伪影的图像所组成的训练数据集，即模拟数据和真实数据的合集，因此域间隙(Domaingap)是一个不得不解决的问题。应理解，域间隙(Domain gap)是指不同的数据集在相同的模型上训练出来的结果有所偏差。
有鉴于此，本发明采用Domain-specific instance normalization(DSIN)来解决这个问题。由于这两个领域中存在许多共同特征，本发明实施例对模拟数据和临床数据使用相同的网络。为了适应特定领域的特征，DSIN分别学习每个领域的归一化层中的统计参数，将每一层的输入约束到相同的分布，然后使权重跨领域兼容。DSIN是通过重复两个实例规范化层来实现的。域标签确定在训练/测试阶段要为每个小批量更新/使用的估计参数。
具体来说，DSIN估计每个域d∈{S,T}的域特定尺寸(Scale)γd和shiftβd；令xd∈RN×C×W×H表示属于域标签的每个通道的特征图，其中N,C,W,H分别表示每个特征图的批量大小、通道数、宽度和高度。那么，一个DSIN层可以定义为：
Figure BDA0003834775560000081
Figure BDA0003834775560000082
Figure BDA0003834775560000083
Figure BDA0003834775560000084
其中，n,i,w,h对应上文中N×C×W×H，此处小写代表对应的索引；i对应的是C，即channel的索引；xd表示属于域标签的每个通道的特征图；γd和βd表示域特定尺寸(Scale)；
Figure BDA0003834775560000085
表示期望的输出值；μ和σ表示均值方差；∈表示一个很小的变量以避免分母为0。
于本实施例中，为了提升模型的各项性能，在模型训练过程中使用了一系列自定义的损失函数，具体内容如下：
1)语义一致性损失函数Lp；
本发明实施例提供了一种语义约束损失函数来在训练中引入语义一致性，所述语义约束损失函数的目的是测量输入图像和转换图像在金属迹线之外的区域之间的差异。以生成GF2A为例，给定一个含金属伪影的图像Ia，有对应的正弦图Sa。
Figure BDA0003834775560000086
表示来自Ia通过MAR的无金属图像，类似地正弦图
Figure BDA0003834775560000087
此外，可以计算金属迹线(metal trace)Sm。然后用Lp来衡量投影域的语义一致性，定义为：
Figure BDA0003834775560000088
其中，L1表示正则计算；Ms表示Metal mask在投射域的正弦图Sa表示图像Ia的正弦图；
Figure BDA0003834775560000091
表示图像
Figure BDA0003834775560000092
的正弦图。
2)元素级一致性度量损失函数Lele；
令zA2F和zF2A分别表示GzA2F和GzF2A学习到的潜在表示，希望潜在表示zA2F和zF2A预计在元素级别和图像级别是一致的，因此本发明实施例还提供元素级一致性度量损失函数Lele，表达如下：
Lele＝L1(zA2F,zF2A)；其中，L1表示正则计算，zA2F表示生成器GzA2F学习到的潜在表示，zF2A表示生成器GzF2A学习到的潜在表示。
3)全局一致性损失函数Lclc；
应用一个二元分类器Cz来评估全局一致性，损失函数由交叉熵评估如下：
全局一致性损失函数Lclc＝Lce(Cz(zA2F),Cz(zF2A))；其中，Cz表示二分类器，用来约束zA2F和zF2A的相似性。Lce表示交叉熵损失函数；zA2F表示生成器GzA2F学习到的潜在表示,C(zA2F)表示C对zA2F作为输入时的输出，zF2A表示生成器GzF2A学习到的潜在表示，C(zF2A)表示C对zF2A作为输入时的输出；
4)循环一致性损失函数Lcyc；
在CycleGAN中，存在循环一致性损失。此外，由于在减少临床图像中的伪影时会出现额外的牙齿，本发明实施例使用1600Hu的阈值进行粗略二值分割，通过Dice loss(系数差异函数)引入对牙齿粗略形状的语义约束。因此，循环一致性的损失是权重分别为1和10的L1和Ldice的组合，用Lmix表示。循环损失如下：
Figure BDA0003834775560000093
其中，Ia表示输入的含金属伪影的图像；
Figure BDA0003834775560000094
表示模型输出的含金属伪影的图像；If表示输入的无金属伪影的图像；
Figure BDA0003834775560000095
表示模型输出的无金属伪影的图像。
5)为每个生成器引入重建损失函数Lrec、对抗损失函数LGAN、VAE正则化损失函数Lkl；重建损失函数
Figure BDA0003834775560000096
其中，L1表示正则计算；Ia表示输入的含金属伪影的图像；
Figure BDA0003834775560000097
表示图像Ia对应的金属伪影；If表示输入的无金属伪影的图像；
Figure BDA0003834775560000098
表示图像If对应的金属伪影；
Figure BDA0003834775560000099
表示模型输出的含金属伪影的图像；
Figure BDA00038347755600000910
表示图像
Figure BDA00038347755600000911
对应的金属伪影；
Figure BDA00038347755600000912
表示模型输出的无金属伪影的图像；
Figure BDA00038347755600000913
表示图像
Figure BDA00038347755600000914
对应的金属伪影。
对抗损失函数
Figure BDA00038347755600000915
其中，Llsgan表示损失函数；Da和Df表示判别器。
VAE正则化损失函数
Figure BDA00038347755600000916
其中，
Figure BDA00038347755600000917
表示所有训练数据的z的分布；N表示正态分布。
基于上述各自定义的损失函数，本发明实施例模型训练中的总损失函数表示为：
L＝α1Lele+α2Lcls++α3Lcyc+α4Lrec+α5LGAN+α7LP+α6Lkl；
在所提出的模型的实现中，超参数设置例如可以为：α1＝1,α2＝1,α3＝10,α4＝10,α5＝1,α6＝1,α7＝1，本实施例不做限定。
如图3所示，展示了本发明实施例中的一种基于双解码器的CBCT图像中金属伪影去除方法的流程示意图，主要包括步骤S31和S32。
步骤S31：先将含金属伪影的图像Ia输入第一生成器GA2F中以输出通过MAR技术得到的无金属伪影图像
Figure BDA0003834775560000101
再将无金属伪影图像
Figure BDA0003834775560000102
输入第二生成器GF2A中以输出含金属伪影的图像
Figure BDA0003834775560000103
以形成第一模型训练循环。
步骤S32：先将无金属伪影图像If输入第二生成器GF2A中以输出含金属伪影的图像
Figure BDA0003834775560000104
再将含金属伪影的图像
Figure BDA0003834775560000105
输入第一生成器GA2F中以输出无金属伪影图像
Figure BDA0003834775560000106
以形成第二模型训练循环。
其中，所述第一生成器GA2F第二生成器GF2A是被第一模型训练循环和第二模型训练循环共享的两个生成器。
本发明实施例提供的基于双解码器的CBCT图像中金属伪影去除方法可以采用终端侧或服务器侧实施，就基于双解码器的CBCT图像中金属伪影去除终端的硬件结构而言，请参阅图4，为本发明实施例提供的基于双解码器的CBCT图像中金属伪影去除终端400的一个可选的硬件结构示意图，该终端400可以是移动电话、计算机设备、平板设备、个人数字处理设备、工厂后台处理设备等。基于双解码器的CBCT图像中金属伪影去除终端400包括：至少一个处理器401、存储器402、至少一个网络接口404和用户接口406。装置中的各个组件通过总线系统405耦合在一起。可以理解的是，总线系统405用于实现这些组件之间的连接通信。总线系统405除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统。
其中，用户接口406可以包括显示器、键盘、鼠标、轨迹球、点击枪、按键、按钮、触感板或者触摸屏等。
可以理解，存储器402可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandom Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous StaticRandomAccess Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类别的存储器。
本发明实施例中的存储器402用于存储各种类别的数据以支持基于双解码器的CBCT图像中金属伪影去除终端400的操作。这些数据的示例包括：用于在基于双解码器的CBCT图像中金属伪影去除终端400上操作的任何可执行程序，如操作系统4021和应用程序4022；操作系统4021包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序4022可以包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例提供的基于双解码器的CBCT图像中金属伪影去除方法可以包含在应用程序4022中。
上述本发明实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器401可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器401可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的配件优化方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，基于双解码器的CBCT图像中金属伪影去除终端400可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable LogicDevice)，用于执行前述方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
于本申请提供的实施例中，所述计算机可读写存储介质可以包括只读存储器、随机存取存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
综上所述，本申请提供基于双解码器的CBCT图像中金属伪影去除方法、装置、终端及介质，本发明提出了一种在临床CBCT图像上的可行的伪影去除方法；使用DSIN很好地解决了模拟数据和临床数据之间的域间隙问题；使用两个鉴别器来区分翻译后的含金属伪影/无金属伪影的图像，以优化本发明实施例提供的基于双解码器的CBCT图像中金属伪影去除系统；使用一系列自定义的损失函数，以提升模型的各项功能。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于双解码器的CBCT图像中金属伪影去除系统，其特征在于，包括：
被两个模型训练循环共享的第一生成器GA2F第二生成器GF2A；所述第一生成器GA2F第二生成器GF2A分别构成第一循环网络和第二循环网络；
在所述第一循环网络中，先将含金属伪影的图像Ia输入第一生成器GA2F中以输出通过MAR技术得到的无金属伪影图像
Figure FDA0003834775550000011
再将无金属伪影图像
Figure FDA0003834775550000012
输入第二生成器GF2A中以输出含金属伪影的图像
Figure FDA0003834775550000013
在所述第二循环网络中，先将无金属伪影图像If输入第二生成器GF2A中以输出含金属伪影的图像
Figure FDA0003834775550000014
再将含金属伪影的图像
Figure FDA0003834775550000015
输入第一生成器GA2F中以输出无金属伪影图像
Figure FDA0003834775550000016
2.根据权利要求1所述基于双解码器的CBCT图像中金属伪影去除系统，其特征在于，所述第一生成器GA2F第二生成器GF2A通过二阶段训练方式进行训练：
在第一阶段中，通过最小化各所述生成器转换得到的图像与ground truth图像之间的差异来学习所述第一生成器GA2F第二生成器GF2A的模型参数；
在第二阶段中，基于第一阶段学习得到的所述第一生成器GA2F第二生成器GF2A的模型参数对各所述生成器进行初始化，并将临床金属影响图像添加到训练集中，以生成由模拟含金属伪影的图像和临床含金属伪影的图像所组成的训练数据集，用于进行第二阶段的模型迭代训练。
3.根据权利要求2所述基于双解码器的CBCT图像中金属伪影去除系统，其特征在于，还包括DSIN模块，用于分别学习模拟含金属伪影的图像和临床含金属伪影的图像的归一化层中的统计参数，并将每一层的输入约束到相同的分布，使权重跨领域兼容以弥补模拟域和临床域之间的域间隙。
4.根据权利要求1所述基于双解码器的CBCT图像中金属伪影去除系统，其特征在于，还包括两个鉴别器，分别用于鉴别所述第一生成器GA2F输出的无金属伪影图像
Figure FDA0003834775550000017
以及所述第二生成器器GF2A输出的含金属伪影的图像
Figure FDA0003834775550000018
5.根据权利要求1所述基于双解码器的CBCT图像中金属伪影去除系统，其特征在于，所述第一生成器GA2F的结构包括：卷积模块、连接所述卷积模块的残差注意力模块及连接所述残差注意力模块的解码器模块。
6.根据权利要求1所述基于双解码器的CBCT图像中金属伪影去除系统，其特征在于，还包括如下任一种自定义损失函数：
语义一致性损失函数
Figure FDA0003834775550000021
其中，L1表示正则计算；Ms表示Metalmask在投射域的正弦图；Sa表示图像Ia的正弦图；；
Figure FDA0003834775550000022
表示图像
Figure FDA0003834775550000023
的正弦图；
元素级一致性度量损失函数Lele＝L1(zA2F,zF2A)；其中，L1表示正则计算，zA2F表示生成器GzA2F学习到的潜在表示，zF2A表示生成器GzF2A学习到的潜在表示。
全局一致性损失函数Lclc＝Lce(Cz(zA2F),Cz(zF2A))；其中，Cz表示二分类器，用来约束zA2F和zF2A的相似性；Lce表示交叉熵损失函数；zA2F表示生成器GzA2F学习到的潜在表示,C(zA2F)表示C对zA2F作为输入时的输出，zF2A表示生成器GzF2A学习到的潜在表示，C(zF2A)表示C对zF2A作为输入时的输出；
循环一致性损失函数
Figure FDA0003834775550000024
其中，Lmix表示循环一致性的损失是权重分别为1和10的L1和Ldice的组合；Ia表示输入的含金属伪影的图像；
Figure FDA0003834775550000025
表示模型输出的含金属伪影的图像；If表示输入的无金属伪影的图像；
Figure FDA0003834775550000026
表示模型输出的无金属伪影的图像；
重建损失函数
Figure FDA0003834775550000027
其中，L1表示正则计算；Ia表示输入的含金属伪影的图像；
Figure FDA0003834775550000028
表示图像Ia对应的金属伪影；If表示输入的无金属伪影的图像；
Figure FDA0003834775550000029
表示图像If对应的金属伪影；
Figure FDA00038347755500000210
表示模型输出的含金属伪影的图像；
Figure FDA00038347755500000211
表示图像
Figure FDA00038347755500000212
对应的金属伪影；
Figure FDA00038347755500000213
表示模型输出的无金属伪影的图像；
Figure FDA00038347755500000214
表示图像
Figure FDA00038347755500000215
对应的金属伪影；
对抗损失函数
Figure FDA00038347755500000216
其中，Llsgan表示损失函数；Da和Df表示判别器。
VAE正则化损失函数
Figure FDA00038347755500000217
其中，
Figure FDA00038347755500000218
表示所有训练数据的z的分布；N表示正态分布。
7.根据权利要求1所述基于双解码器的CBCT图像中金属伪影去除系统，其特征在于，在使用全部的所述自定义损失函数的情况下，总损失函数表示为：
L＝α1Lele+α2Lcls++α3Lcyc+α4Lrec+α5LGAN+α7LP+α6Lkl；
其中，α1＝1,α2＝1,α3＝10,α4＝10,α5＝1,α6＝1,α7＝1。
8.一种基于双解码器的CBCT图像中金属伪影去除方法，其特征在于，包括：
先将含金属伪影的图像Ia输入第一生成器GA2F中以输出通过MAR技术得到的无金属伪影图像
Figure FDA0003834775550000031
再将无金属伪影图像
Figure FDA0003834775550000032
输入第二生成器GF2A中以输出含金属伪影的图像
Figure FDA0003834775550000033
以形成第一模型训练循环；
先将无金属伪影图像If输入第二生成器GF2A中以输出含金属伪影的图像
Figure FDA0003834775550000034
再将含金属伪影的图像
Figure FDA0003834775550000035
输入第一生成器GA2F中以输出无金属伪影图像
Figure FDA0003834775550000036
以形成第二模型训练循环；
其中，所述第一生成器GA2F第二生成器GF2A是被第一模型训练循环和第二模型训练循环共享的两个生成器。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求8所述基于双解码器的CBCT图像中金属伪影去除方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求8所述基于双解码器的CBCT图像中金属伪影去除方法。
CN202211085374.9A 2022-09-06 2022-09-06 基于双解码器的cbct图像中金属伪影去除系统、方法、终端及介质 Pending CN115272511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211085374.9A CN115272511A (zh) 2022-09-06 2022-09-06 基于双解码器的cbct图像中金属伪影去除系统、方法、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211085374.9A CN115272511A (zh) 2022-09-06 2022-09-06 基于双解码器的cbct图像中金属伪影去除系统、方法、终端及介质

Publications (1)

Publication Number Publication Date
CN115272511A true CN115272511A (zh) 2022-11-01

Family

ID=83757623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211085374.9A Pending CN115272511A (zh) 2022-09-06 2022-09-06 基于双解码器的cbct图像中金属伪影去除系统、方法、终端及介质

Country Status (1)

Country Link
CN (1) CN115272511A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228915A (zh) * 2023-05-10 2023-06-06 中日友好医院(中日友好临床医学研究所) 一种基于区域判断的图像重建方法、系统及设备
CN116503505A (zh) * 2023-06-20 2023-07-28 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种cbct图像的伪影去除方法、装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228915A (zh) * 2023-05-10 2023-06-06 中日友好医院(中日友好临床医学研究所) 一种基于区域判断的图像重建方法、系统及设备
CN116503505A (zh) * 2023-06-20 2023-07-28 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种cbct图像的伪影去除方法、装置、设备及介质
CN116503505B (zh) * 2023-06-20 2024-04-05 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种cbct图像的伪影去除方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US11727569B2 (en) Training a CNN with pseudo ground truth for CT artifact reduction
CN111325686B (zh) 一种基于深度学习的低剂量pet三维重建方法
Kulathilake et al. A review on deep learning approaches for low-dose computed tomography restoration
Ma et al. Low-dose CT image denoising using a generative adversarial network with a hybrid loss function for noise learning
CN115272511A (zh) 基于双解码器的cbct图像中金属伪影去除系统、方法、终端及介质
Kim et al. Unsupervised training of denoisers for low-dose CT reconstruction without full-dose ground truth
Xia et al. Physics-/model-based and data-driven methods for low-dose computed tomography: A survey
Ma et al. Generalized Gibbs priors based positron emission tomography reconstruction
Li et al. Low-dose CT image synthesis for domain adaptation imaging using a generative adversarial network with noise encoding transfer learning
Zeng et al. Noise-generating-mechanism-driven unsupervised learning for low-dose CT sinogram recovery
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
WO2023279316A1 (zh) 一种基于去噪打分匹配网络的pet重建方法
CN112991220B (zh) 一种基于多重约束的卷积神经网络校正图像伪影的方法
US20230177746A1 (en) Machine learning image reconstruction
Amyar et al. RADIOGAN: Deep convolutional conditional generative adversarial network to generate PET images
Ikuta et al. A deep recurrent neural network with FISTA optimization for CT metal artifact reduction
Kudo et al. Metal artifact reduction in CT using fault-tolerant image reconstruction
Sureau et al. Convergent admm plug and play pet image reconstruction
WO2023009452A1 (en) Systems and methods to reduce unstructured and structured noise in image data
Xia et al. Synergizing physics/model-based and data-driven methods for low-dose CT
Shen et al. Unsupervised PET reconstruction from a Bayesian perspective
Mahmoud et al. Variant Wasserstein Generative Adversarial Network Applied on Low Dose CT Image Denoising.
Liao Low‐Dosed X‐Ray Computed Tomography Imaging by Regularized Fully Spatial Fractional‐Order Perona‐Malik Diffusion
Khaleghi et al. Neural network performance evaluation of simulated and genuine head-and-neck computed tomography images to reduce metal artifacts
CN117541481B (zh) 一种低剂量ct图像修复方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination