CN113592968B - 断层扫描图像中金属伪影的消减方法和装置 - Google Patents
断层扫描图像中金属伪影的消减方法和装置 Download PDFInfo
- Publication number
- CN113592968B CN113592968B CN202110780236.1A CN202110780236A CN113592968B CN 113592968 B CN113592968 B CN 113592968B CN 202110780236 A CN202110780236 A CN 202110780236A CN 113592968 B CN113592968 B CN 113592968B
- Authority
- CN
- China
- Prior art keywords
- artifact
- tomography image
- image
- metal
- sinogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及数字化医疗技术领域，具体涉及一种断层扫描图像中金属伪影的消减方法、装置、电子设备和存储介质。该方法首先将含有金属的电子计算机断层扫描图像利用雷登变换计算得到正弦图；将正弦图作为变分自编码器的输入可以得到对应的潜在空间特征；潜在空间特征经过潜在特征转化模块得到伪影消减后的无金属正弦图；将正弦图逆雷登变换后，填补金属部分，与原始电子计算机断层扫描金属伪影图像输入进精化模块，得到最终的金属伪影消减图像。本发明设备简单，操作简便，成本低廉，速度快，伪影消减效果好，有较高的实用价值。
Description
技术领域
本发明涉及数字化医疗技术领域，具体涉及一种断层扫描图像中金属伪影的消减方法、装置、电子设备和存储介质。
背景技术
金属物体，如牙科填充物、人工髋关节、脊柱植入物或手术夹等是导致金属伪影的主要原因。金属物体会强烈地减弱x光，甚至完全阻止x光的穿透，从而导致探测器接收到的投射光线减少甚至丢失，最终造成图像重建后含有金属伪影。金属伪影在临床图像中很常见，由多种机制引起，最突出的是光束硬化、散射、噪声和非线性部分体积效应。伪影通常在图像中表现为亮或暗条纹。伪影会影响医生对图像的诊断能力，并妨碍对组织类型的准确区分，因此需要有效的金属伪影消减算法。
目前主流的金属伪影消减方法可分为传统方法和学习方法。传统方法进行正弦图的插值替换，方法比较简单，能够得到的效果有限，针对大型金属或者多个金属造成的伪影图像时，难以完全消减伪影，同时还会产生次生伪影。学习方法分为监督方法和无监督方法，监督方法普遍使用模拟算法生成的模拟金属伪影图像，将模拟图像训练结果应用在真实图像上，忽视了模拟金属伪影图像与真实金属伪影图像存在差异；无监督方法训练困难，效果有限。因此，如何解决模拟金属伪影图像与真实金属伪影图像之间的差异问题，从而更好地利用监督学习方法进行金属伪影消减是亟待解决的。
发明内容
本发明的目的是为克服已有技术中忽视模拟金属伪影图像与真实金属伪影图像存在差异的问题提出一种断层扫描图像中金属伪影的消减方法、装置、电子设备和存储介质。本方法及装置所需设备简单，操作简便，成本低廉，金属伪影消减效果好，有较高的实用价值。
根据本公开的第一方面，提出一种断层扫描图像的金属伪影消减方法，包括：
获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像；
采用金属伪影模拟算法，对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，得到带有模拟金属伪影的断层扫描图像；
采用雷登变换方法，分别对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像及所述的模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
采用第一变分自编码器学习网络，将所述的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到的金属伪影断层扫描图像正弦图的空间特征；将所述的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
构建并训练一个潜在空间转化网络，将所述的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始断层扫描图像；
构建并训练一个精化网络，将所述的初始金属无伪影断层扫描图像和步骤(1)的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的断层扫描图像。
可选地，所述的第一变分自编码器学习网络的训练过程为：将所述的金属伪影断层扫描图像和模拟金属伪影断层扫描图像输入第一变分自编码器学习网络，第一变分自编码器输出得到金属伪影断层扫描图像正弦图的空间特征，第一变分自编码器学习网络的训练损失函数包括相对熵损失函数、潜在空间距离损失函数和判别器损失函数。
可选地，所述的第二变分自编码器学习网络的训练过程为：将所述的无伪影断层扫描图像正弦图输入第二变分自编码器学习网络，第二变分自编码器学习网络输出得到无伪影断层扫描图像正弦图的空间特征，第二变分自编码器学习网络的训练损失函数为：相对熵损失、潜在空间距离损失和判别器损失。
可选地，所述的构建并训练一个潜在空间转化网络的过程如下：
(1)潜在空间转化网络使用残差网络连接，残差网络内包括多个级联的残差模块，残差模块包括部分卷积层、实例归一化层和LeakyRelu激活层；
(2)对步骤(1)的潜在空间转化网络进行训练，得到一个训练后的潜在空间转化网络。
可选地，所述的对潜在空间转化网络进行训练的损失函数包括：潜在空间转化损失函数和判别器损失函数。
可选地，所述的构建并训练一个精化网络的过程如下：
(1)精化网络使用残差网络连接，残差网络包括一个U型结构网络；
(2)对步骤(1)的精化网络进行训练，得到一个训练后的精化网络。
可选地，所述的对精化网络进行训练的损失函数包括重建损失函数和感知损失函数。
根据本公开的第二方面，提出一种断层扫描图像的金属伪影消减装置，包括：
断层扫描图像采集模块，用于获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像；
图像计算模块，采用金属伪影模拟算法，对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，得到带有模拟金属伪影的断层扫描图像；
图像变换模块，采用雷登变换方法，分别对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像及所述的模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
变分自编码器训练模块，采用第一变分自编码器学习网络，将所述的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到金属伪影断层扫描图像正弦图的空间特征；将所述的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
构建并训练潜在空间转化网络模块，构建并训练一个潜在空间转化网络，将所述的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始断层扫描图像；
构建并训练精化网络模块，将所述的初始金属伪影消减的断层扫描图像和所述的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的断层扫描图像。
根据本公开的第三方面，提出一种图像的金属伪影消减电子设备，包括存储器和处理器：
存储器：用于存储处理器可执行的指令；
处理器：所述处理器被配置为：
获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像；
采用金属伪影模拟算法，对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，得到带有模拟金属伪影的断层扫描图像；
采用雷登变换方法，分别对所述的无伪影断层扫描图像和所述的带有金属伪影的断层扫描图像及模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
采用第一变分自编码器学习网络，将所述的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到的金属伪影断层扫描图像正弦图的空间特征；将所述的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
构建并训练一个潜在空间转化网络，将所述的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始断层扫描图像；
构建并训练一个精化网络，将所述的初始金属伪影消减的断层扫描图像和所述的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的断层扫描图像。
根据本公开的第四方面，提出一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序用于执行：
获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像；
采用金属伪影模拟算法，对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，得到带有模拟金属伪影的断层扫描图像；
采用雷登变换方法，分别对所述的无伪影断层扫描图像和所述的带有金属伪影的断层扫描图像及模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
采用第一变分自编码器学习网络，将所述的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到的金属伪影断层扫描图像正弦图的空间特征；将所述的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
构建并训练一个潜在空间转化网络，将所述的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始金属无伪影断层扫描图像；
构建并训练一个精化网络，将所述的初始金属无伪影断层扫描图像和所述的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的金属无伪影断层扫描图像。
本发明提出的一种断层扫描图像中金属伪影的消减方法、装置、电子设备和存储介质的特点及有益效果在于：
本发明使用卷积神经网络进行金属伪影消减，较传统方法能够对中大型、多个小型金属造成的伪影起到更好地消减效果。
本发明利用图像与图像的正弦图进行金属伪影消减，相较其他只使用图像或只使用正弦图进行金属伪影消减的方法，能够更好地消减金属伪影，还原组织结构，得到更好的结果。
本发明在网络中对正弦图进行部分卷积的操作，能够避免正弦图中含有金属的错误部分参与运算，增强正确投影区域数据的影响。
本发明利用一个变分自编码器，学习模拟金属伪影图像与真实金属伪影图像的特征，同时利用一个判别器缩小两者之间的差距，使得在模拟金属伪影图像上训练得到的结果能够更好地泛化在真实金属伪影图像上。
附图说明
图1是根据本公开一个实施例的一种断层扫描图像金属伪影消减方法整体流程图。
图2是根据本公开一个实施例的潜在空间转化网络的结构图。
图3是根据本公开一个实施例的断层扫描图像金属伪影消减装置的示意图，其中模块①表示断层扫描图像采集模块，模块②表示图像计算模块，模块③表示图像变换模块，模块④表示变分自编码器训练模块，模块⑤表示构建并训练潜在空间转化网络模块，模块⑥表示构建并训练精化网络模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1所示是本公开提出的一种断层扫描图像的金属伪影消减方法的整体流程图，包括以下步骤：
(1)获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像，在医学电子计算机断层扫描图像数据集中，通过阈值法，筛选出数据集中完全不含金属的图像，以及含有金属的图像，对于含有金属的图像，同时分离出图像中的金属。对完全不含金属的图像与分离出的金属，利用模拟金属伪影算法可以计算得到模拟金属伪影图像，两者组成监督对，用于后续的网络训练。
在公开的一个实施例中，选用美国国立卫生研究院临床中心发布的DeepLesion公开数据集，选用的图像大小均为512*512大小。
对于数据集中的真实伪影图像，由于金属区域周围的伪影，无论表现为亮或暗条纹，其CT值都与金属有较大差距，在本实施例中，使用阈值法，将图像中超过3000CT值的像素看作是真正的金属区域。为排除特殊情况的干扰，提高训练数据集的质量，在图像中只有当CT值大于3000的像素超过200个时，才将其认作含有金属伪影的图像。在筛选金属伪影图像的同时，分离并保存金属伪影图像中的金属区域，在后续模拟生成金属伪影图像时，作为真实金属形状模拟计算生成伪影。
对于数据集中的无金属图像，在本实施例中，使用阈值法，将CT值小于2000的像素看作非金属的组织结构。只有图像中所有像素均属于非金属组织结构时，该图像才会被认为不含金属，并被筛选出来。
在本实施例中，对筛选出的所有图像进行截断处理，方便后续的处理与训练。截断区间设置为[-1000,3000]。
(2)采用金属伪影模拟算法，在本实施例中，对步骤(1)的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，将筛选出的不含金属的图像与分离出的金属部分分别进行截断处理后，模拟生成金属伪影图像。首先将原始图像根据阈值分离出骨部分和水部分。骨部分、水部分与想要加在原始图像中的金属部分共三个不同密度的部分分别通过雷登变换生成三个正弦图。三个正弦图叠加在一起，组成某一能量的X射线扫描下，加入金属后的原始图像经过投影计算生成的正弦图。在本实施例中，认为X射线的能量分布满足泊松分布，从而模拟多种能量的X射线的扫描，生成多个能量X射线的正弦图，将不同能量的X射线所生成的正弦图赋予不同的权重，所有正弦图带权相加生成最终的正弦图。最后将正弦图通过逆雷登变换回图像域，生成模拟金属伪影图像。最后对模拟伪影图像进行截断操作，得到带有模拟金属伪影的断层扫描图像；
(3)采用雷登变换方法，分别对步骤(1)的无伪影断层扫描图像和带有金属伪影的断层扫描图像及步骤(2)的模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
在本实施例中，将截断后的图像归一化到[0,1]。对[0°,180°)的角度区间平均分为360份每旋转0.5°进行一次雷登变换，原始图像像素之间的间隔作为积分值之间的间隔，积分时不在整数像素点上的值，采用双线性插值的方法计算得到。将雷登变换的结果按照角度从小到大顺序从上到下拼接成正弦图。
(4)采用第一变分自编码器学习网络，将步骤(3)的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到金属伪影断层扫描图像正弦图的空间特征；将步骤(3)的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
(5)构建并训练一个潜在空间转化网络，将步骤(4)的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始断层扫描图像；
(6)构建并训练一个精化网络，将步骤(5)的初始金属无伪影断层扫描图像和步骤(1)的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的断层扫描图像。
在一个实施例中，步骤(4)中所述的第一变分自编码器学习网络的训练过程为：将步骤(1)的金属伪影断层扫描图像和模拟金属伪影断层扫描图像输入第一变分自编码器学习网络，第一变分自编码器输出得到金属伪影断层扫描图像正弦图的空间特征，第一变分自编码器学习网络的训练损失函数包括相对熵损失函数、潜在空间距离损失函数和判别器损失函数。
在一个实施例中，第一变分自编码器使用相对熵损失、潜在空间距离损失和两个判别器损失，第一个判别器损失分辨重建金属伪影断层扫描图像正弦图与金属伪影断层扫描图像正弦图，第二个判别器分辨金属伪影断层扫描图像正弦图空间特征与模拟金属伪影断层扫描图像正弦图空间特征。其中，
相对熵损失函数表达式为：
潜在空间距离损失表达式为：
判别器损失表达式为：
LLDis＝(1-Dis(zr))2+(Dis(zx))2
其中，LKL表示相对熵损失函数，Llatent表示潜在空间距离损失函数，LRDis表示图像判别器损失函数，LLDis表示空间特征判别器损失函数，x表示模拟金属伪影断层扫描图像正弦图，r表示金属伪影断层扫描图像正弦图，zx，zr分别表示模拟金属伪影断层扫描图像正弦图的空间特征向量和金属伪影断层扫描图像正弦图的空间特征向量，
表示第一变分自编码器分别将x，r作为输入重建得到的断层扫描图像正弦图，Enc()表示编码器，Dis()表示判别器。
在一个实施例中，步骤(4)中所述的第二变分自编码器学习网络的训练过程为：将步骤(1)得到的无伪影断层扫描图像正弦图输入第二变分自编码器学习网络，第二变分自编码器学习网络输出得到无伪影断层扫描图像正弦图的空间特征，第二变分自编码器学习网络的训练损失函数包括相对熵损失、潜在空间距离损失和判别器损失；
第二变分自编码器使用相对熵损失、均方误差损失、判别器损失，判别器分辨伪影断层扫描图像正弦图空间特征与模拟伪影断层扫描图像正弦图空间特征。其中，
相对熵损失函数表达式为:
潜在空间距离损失函数表达式为：
判别器损失函数表达式为：
其中，LKL表示相对熵损失函数，Llatent表示潜在空间距离损失函数，LRDis表示图像判别器损失函数，LLDis表示空间特征判别器损失函数，y表示无金属断层扫描图像正弦图，zy表示无金属断层扫描图像正弦图的潜在空间特征向量，
表示变分自编码器将y作为输入重建得到的正弦图，Enc()表示编码器，Dis()表示判别器。
在步骤(5)中，所述的构建并训练一个潜在空间转化网络的过程如下：
(1)潜在空间转化网络使用残差网络连接，残差网络内包括多个级联的残差模块，残差模块包括部分卷积层、实例归一化层和LeakyRelu激活层，如图2所示；
(2)对步骤(1)的潜在空间转化网络进行训练，得到一个训练后的潜在空间转化网络。
在一个实施例中，所述的部分卷积层的卷积运算函数如下：
部分卷积运算表达式为：
其中W表示卷积核的权重，X表示当前卷积窗口的值，M表示X的二进制掩膜，将M中含有金属的区域置为0，不含金属区域置为1，b表示偏置项。
在每次部分卷积运算之后，更新掩膜，更新掩膜的表达式为：
即如果卷积窗口范围的掩膜值至少有一个为1，那么该位置掩膜更新为1。
在一个实施例中，所述的对潜在空间转化网络进行训练的损失函数包括：潜在空间转化损失函数和判别器损失函数。其中：
潜在空间转化损失表达式为：
Llatent＝|zx→y-zy|
判别器损失表达式为：
LTDis＝(1-Dis(zx→y))2+(Dis(zy))2
其中，Llatent表示潜在空间转化损失函数，LTDis判别器损失函数，zx→y表示潜在空间转化网络输出，zy表示无金属图像正弦图的潜在空间特征向量，Dis()表示判别器。
在步骤(6)中，构建并训练一个精化网络的过程如下：
(1)精化网络使用残差网络连接，残差网络包括一个U型结构网络；
(2)对步骤(1)的精化网络进行训练，得到一个训练后的精化网络。
在一个实施例中，所述的对精化网络进行训练的损失函数包括重建损失函数和感知损失函数。如下：
重建损失表达式为：
感知损失表达式为：
其中Lrecon表示重建损失函数，LTlatent表示感知损失函数，
()表示精化网络，
表示预训练好的视觉几何组网络(VGG)的前j层，Iradon()表示逆雷登变换，
表示精化网络的输出，y表示无金属断层扫描图像正弦图。
与上述一种断层扫描图像的金属伪影消减方法的实施例相对应地，本公开还提出了一种断层扫描图像的金属伪影消减装置的实施例。
图3所示为断层扫描图像的金属伪影消减装置的示意图，其中模块①表示断层扫描图像采集模块，模块②表示图像计算模块，模块③表示图像变换模块，模块④表示变分自编码器训练模块，模块⑤表示构建并训练潜在空间转化网络模块，模块⑥表示构建并训练精化网络模块，其中：
断层扫描图像采集模块，用于获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像；
图像计算模块，用于采用金属伪影模拟算法，对步骤(1)的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，得到带有模拟金属伪影的断层扫描图像；
图像变换模块，采用雷登变换方法，分别对步骤(1)的无伪影断层扫描图像和带有金属伪影的断层扫描图像及步骤(2)的模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
变分自编码器训练模块，采用第一变分自编码器学习网络，将步骤(3)的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到的金属伪影断层扫描图像正弦图的空间特征；将步骤(3)的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
构建并训练潜在空间转化网络模块，构建并训练一个潜在空间转化网络，将步骤(4)的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始断层扫描图像；
构建并训练精化网络模块，将步骤(5)的初始断层扫描图像和步骤(1)的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的断层扫描图像。
本公开的实施例还提出了一个电子设备，包括存储器，用于存储处理器可执行的指令；
处理器：所述处理器被配置为：
获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像；
采用金属伪影模拟算法，对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，得到带有模拟金属伪影的断层扫描图像；
采用雷登变换方法，分别对所述的无伪影断层扫描图像和所述的带有金属伪影的断层扫描图像及模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
采用第一变分自编码器学习网络，将所述的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到的金属伪影断层扫描图像正弦图的空间特征；将所述的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
构建并训练一个潜在空间转化网络，将所述的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始断层扫描图像；
构建并训练一个精化网络，将所述的初始金属无伪影断层扫描图像和所述的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的断层扫描图像。
本公开还提出了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行实现以下方法：
获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像；
采用金属伪影模拟算法，对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，得到带有模拟金属伪影的断层扫描图像；
采用雷登变换方法，分别对所述的无伪影断层扫描图像和所述的带有金属伪影的断层扫描图像及模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
采用第一变分自编码器学习网络，将所述的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到的金属伪影断层扫描图像正弦图的空间特征；将所述的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
构建并训练一个潜在空间转化网络，将所述的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始金属无伪影断层扫描图像；
构建并训练一个精化网络，将所述的金属伪影消减的初始断层扫描图像和所述的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的断层扫描图像。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收第一用户为接入方软件配置引导信息的请求；根据请求，为第一用户提供配置页面；获取第一用户在配置页面为引导信息设置的显示条件和显示位置信息；在引导配置系统中保存引导信息的显示条件和显示位置信息；在监测到接入方软件的运行满足显示条件时，控制接入方软件根据显示位置信息显示引导信息。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收第一用户为接入方软件配置引导信息的请求；根据请求，为第一用户提供配置页面；获取第一用户在配置页面为引导信息设置的显示条件和显示位置信息；在引导配置系统中保存引导信息的显示条件和显示位置信息；在监测到接入方软件的运行满足显示条件时，控制接入方软件根据显示位置信息显示引导信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种断层扫描图像的金属伪影消减方法，其特征在于，包括：
获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像；
采用金属伪影模拟算法，对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，得到带有模拟金属伪影的断层扫描图像；
采用雷登变换方法，分别对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像及所述的模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
采用第一变分自编码器学习网络，将所述的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到金属伪影断层扫描图像正弦图的空间特征；将所述的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
构建并训练一个潜在空间转化网络，将所述的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始断层扫描图像；
构建并训练一个精化网络，将所述的金属伪影消减的初始断层扫描图像和所述的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的断层扫描图像。
2.如权利要求1所述的扫描图像的金属伪影消减方法，其特征在于，所述的第一变分自编码器学习网络的训练过程为：将所述的金属伪影断层扫描图像和模拟金属伪影断层扫描图像输入第一变分自编码器学习网络，第一变分自编码器输出得到金属伪影断层扫描图像正弦图的空间特征，第一变分自编码器学习网络的训练损失函数由相对熵损失函数、潜在空间距离损失函数和判别器损失函数组成。
3.如权利要求1所述的扫描图像的金属伪影消减方法，其特征在于，所述的第二变分自编码器学习网络的训练过程为：将所述的无伪影断层扫描图像正弦图输入第二变分自编码器学习网络，第二变分自编码器学习网络输出得到无伪影断层扫描图像正弦图的空间特征，第二变分自编码器学习网络的训练损失函数为由相对熵损失、潜在空间距离损失和判别器损失组成。
4.如权利要求1所述的扫描图像的金属伪影消减方法，其特征在于，所述的构建并训练一个潜在空间转化网络的过程如下：
(1)潜在空间转化网络使用残差网络连接，残差网络内包括多个级联的残差模块，残差模块包括部分卷积层、实例归一化层和LeakyRelu激活层；
(2)对步骤(1)的潜在空间转化网络进行训练，得到一个训练后的潜在空间转化网络。
5.如权利要求4所述的扫描图像的金属伪影消减方法，其特征在于，所述的对潜在空间转化网络进行训练的损失函数包括潜在空间转化损失函数和判别器损失函数。
6.如权利要求1所述的扫描图像的金属伪影消减方法，其特征在于，所述的构建并训练一个精化网络的过程如下：
(1)精化网络使用残差网络连接，残差网络包括一个U型结构网络；
(2)对步骤(1)的精化网络进行训练，得到一个训练后的精化网络。
7.如权利要求6所述的扫描图像的金属伪影消减方法，其特征在于，所述的对精化网络进行训练的损失函数包括重建损失函数和感知损失函数。
8.一种断层扫描图像的金属伪影消减装置，其特征在于，包括：
断层扫描图像采集模块，用于获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像；
图像计算模块，采用金属伪影模拟算法，对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，得到带有模拟金属伪影的断层扫描图像；
图像变换模块，采用雷登变换方法，分别对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像及所述的模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
变分自编码器训练模块，采用第一变分自编码器学习网络，将所述的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到金属伪影断层扫描图像正弦图的空间特征；将所述的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
构建并训练潜在空间转化网络模块，构建并训练一个潜在空间转化网络，将所述的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始断层扫描图像；
构建并训练精化网络模块，将所述的初始金属伪影消减的断层扫描图像和所述的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的断层扫描图像。
9.一种断层扫描图像的金属伪影消减电子设备，其特征在于，所述的包括存储器和处理器，其中，
存储器：用于存储处理器可执行的指令；
处理器：所述处理器被配置执行：
获取无伪影的断层扫描图像和带有金属伪影的断层扫描图像；
采用金属伪影模拟算法，对所述的无伪影断层扫描图像和带有金属伪影的断层扫描图像进行计算，得到带有模拟金属伪影的断层扫描图像；
采用雷登变换方法，分别对所述的无伪影断层扫描图像和所述的带有金属伪影的断层扫描图像及模拟金属伪影的断层扫描图像进行处理，得到无伪影断层扫描图像正弦图、金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图；
采用第一变分自编码器学习网络，将所述的金属伪影断层扫描图像正弦图和模拟金属伪影断层扫描图像正弦图输入训练后的第一变分自编码器学习网络中，变分自编码器学习网络输出得到的金属伪影断层扫描图像正弦图的空间特征；将所述的无伪影断层扫描图像正弦图输入训练后的第二变分自编码器学习网络，得到无伪影断层扫描图像正弦图的空间特征；
构建并训练一个潜在空间转化网络，将所述的金属伪影断层扫描图像的空间特征输入潜在空间转化网络，潜在空间转化网络输出得到一个伪影消减断层扫描图像正弦图特征向量，对该伪影消减断层扫描图像正弦图特征向量进行反投影变换，得到金属伪影消减的初始断层扫描图像；
构建并训练一个精化网络，将所述的金属伪影消减的初始断层扫描图像和所述的带有金属伪影的断层扫描图像输入精化网络，精化网络输出得到金属伪影消减的断层扫描图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序用于使所述计算机执行权利要求1-7的任一项所述的金属伪影消减方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110780236.1A CN113592968B (zh) | 2021-07-09 | 2021-07-09 | 断层扫描图像中金属伪影的消减方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110780236.1A CN113592968B (zh) | 2021-07-09 | 2021-07-09 | 断层扫描图像中金属伪影的消减方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113592968A CN113592968A (zh) | 2021-11-02 |
| CN113592968B true CN113592968B (zh) | 2022-10-18 |
Family
ID=78246844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110780236.1A Active CN113592968B (zh) | 2021-07-09 | 2021-07-09 | 断层扫描图像中金属伪影的消减方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113592968B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011191B (zh) * | 2023-09-12 | 2024-06-18 | 经智信息科技(山东)有限公司 | 一种ct图像的修复处理方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675461A (zh) * | 2019-09-03 | 2020-01-10 | 天津大学 | 一种基于无监督学习的ct图像恢复方法 |
| CN110728729B (zh) * | 2019-09-29 | 2023-05-26 | 天津大学 | 一种基于注意机制的无监督ct投影域数据恢复方法 |
| CN112508808B (zh) * | 2020-11-26 | 2023-08-01 | 中国人民解放军战略支援部队信息工程大学 | 基于生成对抗网络的ct双域联合金属伪影校正方法 |
-
2021
- 2021-07-09 CN CN202110780236.1A patent/CN113592968B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113592968A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hegazy et al. | U-net based metal segmentation on projection domain for metal artifact reduction in dental CT | |
| Arndt et al. | Deep learning CT image reconstruction in clinical practice | |
| Zhang et al. | A hybrid metal artifact reduction algorithm for x‐ray CT | |
| Wang et al. | Metal artifact reduction in CT using fusion based prior image | |
| Veldkamp et al. | Development and validation of segmentation and interpolation techniques in sinograms for metal artifact suppression in CT | |
| Van Slambrouck et al. | Metal artifact reduction in computed tomography using local models in an image block‐iterative scheme | |
| EP2890300B1 (en) | Supervised machine learning technique for reduction of radiation dose in computed tomography imaging | |
| US20210110584A1 (en) | Automated correction of metal affected voxel representations of x-ray data using deep learning techniques | |
| CN111540025B (zh) | 预测用于图像处理的图像 | |
| WO2019074879A1 (en) | GENERATING IMAGES USING MACHINE LEARNING | |
| JP2020099662A (ja) | Ｘ線ｃｔシステム及び方法 | |
| Liang et al. | Metal artifact reduction for practical dental computed tomography by improving interpolation‐based reconstruction with deep learning | |
| Wang et al. | DAN-Net: Dual-domain adaptive-scaling non-local network for CT metal artifact reduction | |
| CN111598989B (zh) | 一种图像渲染参数设置方法、装置、电子设备及存储介质 | |
| Schnurr et al. | Simulation-based deep artifact correction with convolutional neural networks for limited angle artifacts | |
| Zhang et al. | Sequentially reweighted TV minimization for CT metal artifact reduction | |
| CN102637292B (zh) | 一种图像的处理方法和装置 | |
| Chao et al. | Sparse-view cone beam CT reconstruction using dual CNNs in projection domain and image domain | |
| CN113592968B (zh) | 断层扫描图像中金属伪影的消减方法和装置 | |
| EP4190243A1 (en) | Image processing device, image processing method, learning device, learning method, and program | |
| Wang et al. | Inner-ear augmented metal artifact reduction with simulation-based 3D generative adversarial networks | |
| Kim et al. | Convolutional neural network–based metal and streak artifacts reduction in dental CT images with sparse‐view sampling scheme | |
| Ketola et al. | Generative adversarial networks improve interior computed tomography angiography reconstruction | |
| Liang et al. | A self-supervised deep learning network for low-dose CT reconstruction | |
| Humphries et al. | Superiorized method for metal artifact reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |