CN116503505B - 一种cbct图像的伪影去除方法、装置、设备及介质 - Google Patents
一种cbct图像的伪影去除方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116503505B CN116503505B CN202310731867.3A CN202310731867A CN116503505B CN 116503505 B CN116503505 B CN 116503505B CN 202310731867 A CN202310731867 A CN 202310731867A CN 116503505 B CN116503505 B CN 116503505B
- Authority
- CN
- China
- Prior art keywords
- image
- cbct
- network
- loss function
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000007408 cone-beam computed tomography Methods 0.000 title claims abstract 50
- 239000013598 vector Substances 0.000 claims abstract description 84
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000013139 quantization Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 61
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 229910052751 metal Inorganic materials 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请属于图像处理技术领域，公开了一种CBCT图像的伪影去除方法、装置、设备及介质。通过获取包含若干种不同伪影类型的CBCT图像和配对的CT图像，将所述CBCT图像和配对的CT图像进行图像配准，得到配准后的CBCT图像和CT图像；构建一个伪影去除模型，基于量化矢量变分自编码器构建的伪影去除模型包括第一编码网络、第一解码网络、第二编码网络、第二解码网络以及特征字典；利用配准后的CBCT图像和CT图像对伪影去除模型进行训练，得到训练好的伪影去除模型；将待处理CBCT图像输入到所述训练好的伪影去除模型中，得到待处理CBCT图像的去除伪影的CT重建图像。该方法具有较高的使用范围，提高伪影去除效果。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种CBCT图像的伪影去除方法、装置、设备及介质。
背景技术
锥形束CT（Cone Beam CT,CBCT）是一种使用X射线源和平板探测器通过旋转获得多个角度的图像切片，然后将其重建成三维CT图像的技术。CBCT的优点是扫描时间短，可以减少由于患者移动而引起的图像失真。然而由于平板探测器接收到大量散射辐射，导致CBCT图像受到噪声和低对比度分辨率的限制。目前技术中常规处理伪影和噪声的方法，例如基于滑动窗口差值和条带噪声检测的CBCT环形伪影消除方法；根据旋转矩阵和平移矩阵重新计算重建点在X射线-平板探测器坐标系中的坐标，然后使用反投影公式计算投影点和重建值以消除CBCT图像中常见的几何伪影的方法。
但目前的处理方法使用了大量机器以及成像原理相关的参数和条件适用范围较窄，只能消除一类CBCT拍摄机器上的某一类伪影，在处理多种伪影和噪声同时存在且相互叠加的CBCT图像时的效率较低，质量较差。
发明内容
为此，本申请的实施例提供了一种CBCT图像的伪影去除方法、装置、设备及介质，可适用于多种伪影处理，且处理效率高，伪影消除效果更好。
第一方面，本申请提供一种CBCT图像的伪影去除方法。
本申请是通过以下技术方案得以实现的：
一种CBCT图像的伪影去除方法，所述方法包括：
获取包含若干种不同伪影类型的CBCT图像和配对的CT图像，将所述CBCT图像和配对的CT图像进行图像配准，得到配准后的CBCT图像和CT图像；
构建一个伪影去除模型，所述伪影去除模型基于量化矢量变分自编码器构建，所述伪影去除模型包括第一编码网络、第一解码网络、第二编码网络、第二解码网络以及特征字典；
利用所述配准后的CBCT图像和CT图像对所述伪影去除模型进行训练，得到训练好的伪影去除模型；
将待处理CBCT图像输入到所述训练好的伪影去除模型中，得到所述待处理CBCT图像的去除伪影的CT重建图像。
在本申请一较佳的示例中可以进一步设置为，获取包含若干种不同伪影类型的CBCT图像和配对的CT图像后，还包括：
对所述CBCT图像和配对的CT图像进行数据清洗，将所述CBCT图像和配对的CT图像中成像范围缺失图像、重复图像以及错误配对图像进行删除。
在本申请一较佳的示例中可以进一步设置为，将所述CBCT图像和配对的CT图像进行图像配准的步骤包括：
通过点云配准方法对所述CBCT图像和配对的CT图像进行图像配准。
在本申请一较佳的示例中可以进一步设置为，通过点云配准方法对所述CBCT图像和配对的CT图像进行图像配准的步骤具体包括：
通过阈值法分别提取CBCT图像和CT图像中的身体轮廓，基于所述身体轮廓生成点云，计算CBCT图像中点云与配对的CT图像中相同位置的点云之间的距离，确定一个使所述距离最小的变换方式，按照所述变换方式将CBCT图像和配对的CT图像中的每一个像素点进行对应。
在本申请一较佳的示例中可以进一步设置为，利用所述配准后的CBCT图像和CT图像对所述伪影去除模型进行训练，得到训练好的伪影去除模型的步骤包括：
将所述配准后的CBCT图像输入到第一编码网络中，第一编码网络对所述CBCT图像进行编码得到向量特征，并将所述向量特征映射到特征字典中得到量化向量，将所述量化向量输入到第二解码网络，所述第二解码网络基于所述量化向量进行信号重建，得到CT重建图像；
将所述配准后的CT图像输入到第二编码网络中，第二编码网络对所述CT图像进行编码得到向量特征，并将所述向量特征映射到特征字典中得到量化向量，将所述量化向量输入到第一解码网络，所述第一解码网络基于所述量化向量进行信号重建，得到CBCT重建图像；
基于所述CT重建图像、CBCT重建图像计算伪影去除模型的损失函数，基于所述损失函数调整伪影去除模型的超参数，待性能参数达到预设标准，固定超参数得到训练好的伪影去除模型。
在本申请一较佳的示例中可以进一步设置为，所述损失函数包括自监督损失函数和相似性损失函数；
具体公式为：
,
其中表示损失函数，/>表示自监督损失函数，/>表示相似性损失函数，/>表示相似性损失函数的系数。
在本申请一较佳的示例中可以进一步设置为，所述相似性损失函数的系数取值为0.1。
第二方面，本申请提供一种CBCT图像的伪影去除装置。
本申请是通过以下技术方案得以实现的：
一种CBCT图像的伪影去除装置，所述装置包括：
图像获取模块，用于获取包含若干种不同伪影类型的CBCT图像和配对的CT图像，将所述CBCT图像和配对的CT图像进行图像配准，得到配准后的CBCT图像和CT图像；
模型构建模块，用于构建一个伪影去除模型，所述伪影去除模型基于量化矢量变分自编码器构建，所述伪影去除模型包括第一编码网络、第一解码网络、第二编码网络、第二解码网络以及特征字典；
模型训练模块，用于利用所述配准后的CBCT图像和CT图像对所述伪影去除模型进行训练，得到训练好的伪影去除模型；
图像处理模块，用于将待处理CBCT图像输入到所述训练好的伪影去除模型中，得到所述待处理CBCT图像的去除伪影的CT重建图像。
第三方面，本申请提供一种计算机设备。
本申请是通过以下技术方案得以实现点的：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种CBCT图像的伪影去除方法的步骤。
第四方面，本申请提供一种计算机可读存储介质。
本申请是通过以下技术方案得以实现的：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种CBCT图像的伪影去除方法的步骤。
综上所述，与现有技术相比，本申请实施例提供的技术方案带来的有益效果至少包括：获取包含若干种不同伪影类型的CBCT图像和配对的CT图像，将所述CBCT图像和配对的CT图像进行图像配准，得到配准后的CBCT图像和CT图像；构建一个伪影去除模型，基于量化矢量变分自编码器构建的伪影去除模型包括第一编码网络、第一解码网络、第二编码网络、第二解码网络以及特征字典；利用配准后的CBCT图像和CT图像对伪影去除模型进行训练，得到训练好的伪影去除模型；将待处理CBCT图像输入到所述训练好的伪影去除模型中，得到待处理CBCT图像的去除伪影的CT重建图像。本申请适用于多种伪影的处理，适用范围更广，且伪影处理速度快，对伪影的消除效果更好；采用两组编码器和解码器，每一组编码器和解码器都在重建原始信号，可以减少形变问题，提高模型的跨成像模态转换能力，提高去除伪影的能力。
附图说明
图1为本申请一示例性实施例提供的CBCT图像的伪影去除方法的流程示意图；
图2为本申请一示例性实施例提供的伪影去除模型的结构示意图；
图3为本申请一示例性实施例提供的CBCT图像的伪影去除装置的结构示意图。
具体实施方式
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
下面结合说明书附图对本申请实施例作进一步详细描述。
在本申请的一个实施例中，提供一种CBCT图像的伪影去除方法，如图1所示，主要步骤描述如下：
S1:获取包含若干种不同伪影类型的CBCT图像和配对的CT图像，将CBCT图像和配对的CT图像进行图像配准，得到配准后的CBCT图像和CT图像。
具体的，首先从医院采集不同设备拍摄的CBCT图像和CT图像，其中设备类型包括但不限于多数医院常用的西门子、瓦里安、飞利浦等影像设备，CBCT图像和CT图像为头颈区域或盆腔区域的图像。在采集图像时，为了避免图像中解剖结构的变化，尽量保证CBCT图像和配对的CT图像是在一周内获取的，同时保证CBCT扫描参数的多样性，以使采集的CBCT图像包含不同伪影类型。伪影类型包括但不限于以下几种，杯状伪影、环状伪影、条纹伪影、金属伪影、散射伪影和截断伪影。获取包含不同类型伪影的图像用于后续对伪影去除模型进行训练，可以有效提高伪影去除模型的泛化能力。
在一些实施例中，在获取到包含若干种不同伪影类型的CBCT图像和与CBCT图像配对的CT图像后，还需对CBCT图像和CT图像进行数据清洗，将CBCT图像和配对的CT图像中存在的成像范围缺失图像、重复图像以及CBCT图像和CT图像出现错误配对的图像进行删除。对数据进行清洗可以提高数据的一致性和完整性，保证后续用于模型训练时，提高模型的精度。
其中，在进行图像配准时，是通过点云配准方法将CBCT图像和配对的CT图像进行图像配准。
具体步骤为：通过阈值法分别提取CBCT图像和CT图像中的身体轮廓，基于身体轮廓生成点云，计算CBCT图像中点云与配对的CT图像中相同位置的点云之间的距离，将此距离作为损失函数，确定一个使距离（损失函数）最小的变换方式，按照该变换方式将CBCT图像和配对的CT图像中的每一个像素点进行对应，确保CBCT图像和配对的CT图像中每一个像素点在物理位置上是对应的。需要进行说明的是，通过阈值法分别提取CBCT图像和CT图像中的身体轮廓首先确定一个阈值，将CBCT图像和CT图像中所有像素的灰度值与阈值进行对比，当像素灰度值大于阈值时，该像素被划分为身体目标，当像素灰度值小于等于阈值时，将该像素划分为背景，以此来实现身体目标与背景的分离，确定CBCT图像和CT图像中的身体轮廓。其中，阈值选择方法可以通过手动选取法、直方图法、聚类分析法以及最大类间方差法中的一种。将CBCT图像和CT图像进行图像配准，可以将不同时间拍摄或者不同设备拍摄的图像进行对其，使之得到信息上的互补。
在一些实施例中，将CBCT图像和CT图像进行图像配准后，还可以在CBCT图像和CT图像中确定一个以（x,y）为中心的正方形的感兴趣区域（ROI，Region of Interest），将原始图像缩放到256*256分辨率，该感兴趣区域包括CBCT图像和CT图像中的身体轮廓信息，后续只对感兴趣区域进行处理，可以避免对背景区域做无用的计算，进一步降低计算量，提高处理速度。
S2:构建一个伪影去除模型，伪影去除模型基于量化矢量变分自编码器构建，伪影去除模型包括第一编码网络、第一解码网络、第二编码网络、第二解码网络以及特征字典。
具体的，伪影去除模型基于量化矢量变分自编码器（Vector Quantised-Variational AutoEncoder，VQ-VAE）进行构建，但与传统VQ-VAE不同的是，如图2所示，伪影去除模型包含第一编码网络和第二编码网络、第一解码网络和第二解码网络和一个特征字典（Embedding CodeBook）；第一编码网络的输出端和第二编码网络的输出端分别连接特征字典的输入端，特征字典的输出端分别连接第一解码网络的输入端和第二解码网络的输入端。其中，第一编码网络和第二编码网络均由编码器组成，每个编码器由三个下采样模块组成，其中包含卷积层、实例归一化层（InstanceNorm2d）、非线性激活层（Gaussian ErrorLinear Unit，GeLU）和最大池化下采样层。第一解码网络和第二解码网络均有一个解码器组成，每个解码器由三个下采样模块组成，包括卷积层、实例归一化层（InstanceNorm2d）、非线性激活层（Gaussian Error Linear Unit，GeLU）以及双线性插值上采样层。特征字典（Embedding CodeBook）是由K个大小为D的向量组成的离散特征向量字典，当训练数据较少时，选取较小的K值和D值可以抑制模型过拟合，当训练数据较多时，可以通过选取更大的K值和D值来获取更好的噪音去除效果。使用编码网络将输入信号映射到潜空间（LatentSpace）的特征字典的表示上，将对应特征的字典索引存储在Z-Table中，并在特征字典中查找最接近编码网络输出结果的向量来对其进行量化得到量化向量，解码网络利用这些量化向量来重建原始信号。
S3:利用配准后的CBCT图像和CT图像对伪影去除模型进行训练，得到训练好的伪影去除模型。
其中，具体模型训练的具体步骤为：将配准后的CBCT图像输入到第一编码网络中，第一编码网络对CBCT图像进行编码得到向量特征，并将向量特征映射到特征字典中得到量化向量，将量化向量输入到第二解码网络，第二解码网络基于该量化向量进行信号重建，得到CT重建图像；将配准后的CT图像输入到第二编码网络中，第二编码网络对CT图像进行编码得到向量特征，并将向量特征映射到特征字典中得到量化向量，将量化向量输入到第一解码网络，第一解码网络基于该量化向量进行信号重建，得到CBCT重建图像；基于上述CT重建图像、CBCT重建图像以及输入的CBCT图像、CT图像来计算伪影去除模型的损失函数，基于损失函数调整伪影去除模型的超参数，待性能参数达到预设标准，固定超参数得到训练好的伪影去除模型。其中，量化向量用于重建原始信号中，将量化向量通过解码网络可以得到和原始输入图像相同大小的输出，通过训练，可以让解码网络的输出与原始输入图像接近，即让解码网络有重建原始信号的能力。
其中，在训练过程中构建的损失函数包括自监督损失函数和相似性损失函数两个部分：
，
其中L表示损失函数，表示自监督损失函数，/>表示相似性损失函数，/>表示相似性损失函数的系数。具体的，自监督损失函数使用均方误差函数来计算CBCT图像和CT图像的重建误差，公式为
，其中Y表示CBCT图像和CT图像的灰度值，X表示经过解码器得到的重建图像的预测灰度值，即当Y表示CBCT图像的灰度值时，X表示经过解码器得到的CT重建图像的预测灰度值；当Y表示CT图像的灰度值时，X表示经过解码器得到的CBCT重建图像的预测灰度值。相似性损失函数为余弦相似性损失函数，公式为
，其中Z1，Z2分别为CBCT图像和CT图像经过编码网络得到向量特征。需要进行说明的是，上述自监督损失函数和相似性损失函数的公式中参数的下角标i、j表示图像像素坐标，i表示第i行，j表示第j列。λ表示相似性损失函数的系数，可以调节两种损失函数的比例系数。自监督损失函数保证了解码器从量化向量中恢复图像的能力，余弦相似性损失函数用于约束编码器。
在一些实施例中，λ取值为0.1，可以让伪影去除模型优先关注图像的重建质量。
在一些实施例中，在对伪影去除模型进行训练时，需要将用于训练的CBCT图像和CT图像以一定概率对图像进行变换以进行数据增广，变换形式包括但不限于随机剪裁、水平或垂直翻转、旋转等操作。对图像进行数据增广，进一步增加输入数据的多样性，可进一步提高伪影去除模型的泛化能力，避免过拟合，实现良好的伪影去除效果。
S4:将待处理CBCT图像输入到训练好的伪影去除模型中，得到所述待处理CBCT图像的去除伪影的CT重建图像。
在将伪影去除模型训练好后即可用来对待处理CBCT图像进行伪影去除。具体的，可以将待处理CBCT图像输入到训练好的伪影去除模型的第一编码网络中，第一编码网络对该待处理CBCT图像进行编码得到向量特征，在将该向量特征映射到特征字典中，在特征字典中查找最接近第一编码网络输出的向量特征的向量来对其进行量化，得到量化向量，将该量化向量输入到第二编码网络中，第二编码网络基于该量化向量进行信号重建，得到重建CT重建图像。
本申请使用量化矢量变分自编码器和潜空间的余弦相似性约束实现CBCT图像伪影去除。与传统伪影去除算法相比，本方法适用与多种伪影，包括但不限于几何伪影、杯状伪影、条纹伪影、金属伪影等，适用范围更广，且运行速度快，伪影消除效果较好；本发明提出的方法可以适应训练样本量较少的情况。
本申请还提供一种CBCT图像的伪影去除装置，如图3所示，该装置包括：图像获取模块，用于获取包含若干种不同伪影类型的CBCT图像和配对的CT图像，将所述CBCT图像和配对的CT图像进行图像配准，得到配准后的CBCT图像和CT图像；
模型构建模块，用于构建一个伪影去除模型，所述伪影去除模型基于量化矢量变分自编码器构建，所述伪影去除模型包括第一编码网络、第一解码网络、第二编码网络、第二解码网络以及特征字典；
模型训练模块，用于利用所述配准后的CBCT图像和CT图像对所述伪影去除模型进行训练，得到训练好的伪影去除模型；
图像处理模块，用于将待处理CBCT图像输入到所述训练好的伪影去除模型中，得到所述待处理CBCT图像的去除伪影的sCT重建图像。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。
该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一种CBCT图像的伪影去除方法。
在一个实施例中，提供一种计算机可读存储介质，包括存储器、处理器及存储在存储器上并可以在处理器上执行的计算机程序，处理器执行计算机程序以实现上述任意一种CBCT图像的伪影去除方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）、DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将本申请所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
Claims (7)
1.一种CBCT图像的伪影去除方法，其特征在于，所述方法包括：
获取包含若干种不同伪影类型的CBCT图像和配对的CT图像，将所述CBCT图像和配对的CT图像进行图像配准，得到配准后的CBCT图像和CT图像，所述伪影类型至少包括杯状伪影、环状伪影、条纹伪影、金属伪影、散射伪影和截断伪影；
构建一个伪影去除模型，所述伪影去除模型基于量化矢量变分自编码器构建，所述伪影去除模型包括第一编码网络、第一解码网络、第二编码网络、第二解码网络以及特征字典；第一编码网络的输出端和第二编码网络的输出端分别连接特征字典的输入端，特征字典的输出端分别连接第一解码网络的输入端和第二解码网络的输入端，其中，第一编码网络和第二编码网络均由编码器组成，每个编码器由三个下采样模块组成，其中包含卷积层、实例归一化层、非线性激活层和最大池化下采样层，第一解码网络和第二解码网络均有一个解码器组成，每个解码器由三个下采样模块组成，包括卷积层、实例归一化层、非线性激活层以及双线性插值上采样层，特征字典是由 K 个大小为 D 的向量组成的离散特征向量字典，当训练数据较少时，选取较小的 K 值和 D 值可以抑制模型过拟合，当训练数据较多时，通过选取更大的 K 值和 D值来获取更好的噪音去除效果，使用编码网络将输入信号映射到潜空间的特征字典的表示上，将对应特征的字典索引存储在 Z-Table 中，并在特征字典中查找最接近编码网络输出结果的向量来对其进行量化得到量化向量，解码网络利用这些量化向量来重建原始信号；
将所述配准后的CBCT图像输入到第一编码网络中，第一编码网络对所述CBCT图像进行编码得到向量特征，并将所述向量特征映射到特征字典中得到量化向量，将所述量化向量输入到第二解码网络，所述第二解码网络基于所述量化向量进行信号重建，得到CT重建图像；
将所述配准后的CT图像输入到第二编码网络中，第二编码网络对所述CT图像进行编码得到向量特征，并将所述向量特征映射到特征字典中得到量化向量，将所述量化向量输入到第一解码网络，所述第一解码网络基于所述量化向量进行信号重建，得到CBCT重建图像；
基于所述CT重建图像、CBCT重建图像计算伪影去除模型的损失函数，基于所述损失函数调整伪影去除模型的超参数，待性能参数达到预设标准，固定超参数得到训练好的伪影去除模型；
所述损失函数包括自监督损失函数和相似性损失函数；
具体公式为：
,
其中表示损失函数，/>表示自监督损失函数，/>表示相似性损失函数，表示相似性损失函数的系数，所述相似性损失函数的系数/>取值为0.1；自监督损失函数使用均方误差函数来计算CBCT图像和CT图像的重建误差，公式为
，其中Y表示CBCT图像和CT图像的灰度值，X表示经过解码器得到的重建图像的预测灰度值，即当Y表示CBCT图像的灰度值时，X表示经过解码器得到的CT重建图像的预测灰度值；当Y表示CT图像的灰度值时，X表示经过解码器得到的CBCT重建图像的预测灰度值，相似性损失函数为余弦相似性损失函数，公式为
，其中Z1，Z2分别为CBCT图像和CT图像经过编码网络得到向量特征，上述自监督损失函数和相似性损失函数的公式中参数的下角标i、j表示图像像素坐标，i表示第i行，j表示第j列；
将待处理CBCT图像输入到所述训练好的伪影去除模型中，得到所述待处理CBCT图像的去除伪影的CT重建图像。
2.根据权利要求1所述的CBCT图像的伪影去除方法，其特征在于，获取包含若干种不同伪影类型的CBCT图像和配对的CT图像后，还包括：
对所述CBCT图像和配对的CT图像进行数据清洗，将所述CBCT图像和配对的CT图像中成像范围缺失图像、重复图像以及错误配对图像进行删除。
3.根据权利要求1所述的CBCT图像的伪影去除方法，其特征在于，将所述CBCT图像和配对的CT图像进行图像配准的步骤包括：
通过点云配准方法对所述CBCT图像和配对的CT图像进行图像配准。
4.根据权利要求3所述的CBCT图像的伪影去除方法，其特征在于，通过点云配准方法对所述CBCT图像和配对的CT图像进行图像配准的步骤具体包括：
通过阈值法分别提取CBCT图像和CT图像中的身体轮廓，基于所述身体轮廓生成点云，计算CBCT图像中点云与配对的CT图像中相同位置的点云之间的距离，确定一个使所述距离最小的变换方式，按照所述变换方式将CBCT图像和配对的CT图像中的每一个像素点进行对应。
5.一种CBCT图像的伪影去除装置，其特征在于，所述装置包括：
图像获取模块，用于获取包含若干种不同伪影类型的CBCT图像和配对的CT图像，将所述CBCT图像和配对的CT图像进行图像配准，得到配准后的CBCT图像和CT图像，所述伪影类型至少包括杯状伪影、环状伪影、条纹伪影、金属伪影、散射伪影和截断伪影；
模型构建模块，用于构建一个伪影去除模型，所述伪影去除模型基于量化矢量变分自编码器构建，所述伪影去除模型包括第一编码网络、第一解码网络、第二编码网络、第二解码网络以及特征字典；第一编码网络的输出端和第二编码网络的输出端分别连接特征字典的输入端，特征字典的输出端分别连接第一解码网络的输入端和第二解码网络的输入端，其中，第一编码网络和第二编码网络均由编码器组成，每个编码器由三个下采样模块组成，其中包含卷积层、实例归一化层、非线性激活层和最大池化下采样层，第一解码网络和第二解码网络均有一个解码器组成，每个解码器由三个下采样模块组成，包括卷积层、实例归一化层、非线性激活层以及双线性插值上采样层，特征字典是由 K 个大小为 D 的向量组成的离散特征向量字典，当训练数据较少时，选取较小的 K 值和 D 值可以抑制模型过拟合，当训练数据较多时，通过选取更大的 K 值和 D值来获取更好的噪音去除效果，使用编码网络将输入信号映射到潜空间的特征字典的表示上，将对应特征的字典索引存储在 Z-Table中，并在特征字典中查找最接近编码网络输出结果的向量来对其进行量化得到量化向量，解码网络利用这些量化向量来重建原始信号；
模型训练模块，用于将所述配准后的CBCT图像输入到第一编码网络中，第一编码网络对所述CBCT图像进行编码得到向量特征，并将所述向量特征映射到特征字典中得到量化向量，将所述量化向量输入到第二解码网络，所述第二解码网络基于所述量化向量进行信号重建，得到CT重建图像；将所述配准后的CT图像输入到第二编码网络中，第二编码网络对所述CT图像进行编码得到向量特征，并将所述向量特征映射到特征字典中得到量化向量，将所述量化向量输入到第一解码网络，所述第一解码网络基于所述量化向量进行信号重建，得到CBCT重建图像；基于所述CT重建图像、CBCT重建图像计算伪影去除模型的损失函数，基于所述损失函数调整伪影去除模型的超参数，待性能参数达到预设标准，固定超参数得到训练好的伪影去除模型；所述损失函数包括自监督损失函数和相似性损失函数；具体公式为：
,其中/>表示损失函数，/>表示自监督损失函数，/>表示相似性损失函数，/>表示相似性损失函数的系数，所述相似性损失函数的系数/>取值为0.1；自监督损失函数使用均方误差函数来计算CBCT图像和CT图像的重建误差，公式为
，其中Y表示CBCT图像和CT图像的灰度值，X表示经过解码器得到的重建图像的预测灰度值，即当Y表示CBCT图像的灰度值时，X表示经过解码器得到的CT重建图像的预测灰度值；当Y表示CT图像的灰度值时，X表示经过解码器得到的CBCT重建图像的预测灰度值，相似性损失函数为余弦相似性损失函数，公式为
，其中Z1，Z2分别为CBCT图像和CT图像经过编码网络得到向量特征，上述自监督损失函数和相似性损失函数的公式中参数的下角标i、j表示图像像素坐标，i表示第i行，j表示第j列；
图像处理模块，用于将待处理CBCT图像输入到所述训练好的伪影去除模型中，得到所述待处理CBCT图像的去除伪影的CT重建图像。
6.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至4任意一项所述方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至4任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310731867.3A CN116503505B (zh) | 2023-06-20 | 2023-06-20 | 一种cbct图像的伪影去除方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310731867.3A CN116503505B (zh) | 2023-06-20 | 2023-06-20 | 一种cbct图像的伪影去除方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503505A CN116503505A (zh) | 2023-07-28 |
| CN116503505B true CN116503505B (zh) | 2024-04-05 |
Family
ID=87324997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310731867.3A Active CN116503505B (zh) | 2023-06-20 | 2023-06-20 | 一种cbct图像的伪影去除方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503505B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740218B (zh) * | 2023-08-11 | 2023-10-27 | 南京安科医疗科技有限公司 | 一种心脏ct成像图像质量优化方法、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064521A (zh) * | 2018-07-25 | 2018-12-21 | 南京邮电大学 | 一种使用深度学习的cbct去伪影方法 |
| CN110544275A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 |
| CN113177991A (zh) * | 2021-04-29 | 2021-07-27 | 中国科学技术大学 | 一种基于计划ct校正cbct中散射伪影的方法 |
| CN113344876A (zh) * | 2021-06-08 | 2021-09-03 | 安徽大学 | 一种ct和cbct间可变形配准方法 |
| CN113902912A (zh) * | 2021-08-04 | 2022-01-07 | 苏州工业园区智在天下科技有限公司 | Cbct影像的处理方法、神经网络系统的创建方法、以及装置 |
| CN114004912A (zh) * | 2021-11-08 | 2022-02-01 | 南京邮电大学 | 一种cbct图像去伪影方法 |
| CN114072845A (zh) * | 2019-06-06 | 2022-02-18 | 医科达有限公司 | 使用具有可变形层的CycleGAN的SCT图像生成 |
| CN114187235A (zh) * | 2021-11-08 | 2022-03-15 | 浙江大学 | 一种对伪影不敏感的医学图像的形变场提取方法和配准方法和装置 |
| CN115272511A (zh) * | 2022-09-06 | 2022-11-01 | 上海科技大学 | 基于双解码器的cbct图像中金属伪影去除系统、方法、终端及介质 |
| CN115409739A (zh) * | 2022-10-31 | 2022-11-29 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 一种危及器官自动勾画方法及系统 |
-
2023
- 2023-06-20 CN CN202310731867.3A patent/CN116503505B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064521A (zh) * | 2018-07-25 | 2018-12-21 | 南京邮电大学 | 一种使用深度学习的cbct去伪影方法 |
| CN114072845A (zh) * | 2019-06-06 | 2022-02-18 | 医科达有限公司 | 使用具有可变形层的CycleGAN的SCT图像生成 |
| CN110544275A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 |
| CN113177991A (zh) * | 2021-04-29 | 2021-07-27 | 中国科学技术大学 | 一种基于计划ct校正cbct中散射伪影的方法 |
| CN113344876A (zh) * | 2021-06-08 | 2021-09-03 | 安徽大学 | 一种ct和cbct间可变形配准方法 |
| CN113902912A (zh) * | 2021-08-04 | 2022-01-07 | 苏州工业园区智在天下科技有限公司 | Cbct影像的处理方法、神经网络系统的创建方法、以及装置 |
| CN114004912A (zh) * | 2021-11-08 | 2022-02-01 | 南京邮电大学 | 一种cbct图像去伪影方法 |
| CN114187235A (zh) * | 2021-11-08 | 2022-03-15 | 浙江大学 | 一种对伪影不敏感的医学图像的形变场提取方法和配准方法和装置 |
| CN115272511A (zh) * | 2022-09-06 | 2022-11-01 | 上海科技大学 | 基于双解码器的cbct图像中金属伪影去除系统、方法、终端及介质 |
| CN115409739A (zh) * | 2022-10-31 | 2022-11-29 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 一种危及器官自动勾画方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| CBCT-based synthetic CT generation using generative adversarial networks with disentangled representation;Jiwei Liu et al;Quantitative Imaging in Medicine and Surgery;第4820- 4834页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503505A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146988B (zh) | 基于vaegan的非完全投影ct图像重建方法 | |
| EP3449421B1 (en) | Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods | |
| CN108898642B (zh) | 一种基于卷积神经网络的稀疏角度ct成像方法 | |
| CN109523584B (zh) | 图像处理方法、装置、多模态成像系统、存储介质及设备 | |
| CN110009669B (zh) | 一种基于深度强化学习的3d/2d医学图像配准方法 | |
| CN111311704A (zh) | 图像重建方法、装置、计算机设备和存储介质 | |
| CN112435309A (zh) | 一种基于深度学习的增强ct图像质量和分辨率的方法 | |
| CN111179372B (zh) | 图像衰减校正方法、装置、计算机设备和存储介质 | |
| CN116503505B (zh) | 一种cbct图像的伪影去除方法、装置、设备及介质 | |
| CN112348936B (zh) | 一种基于深度学习的低剂量锥束ct图像重建方法 | |
| US9824468B2 (en) | Dictionary learning based image reconstruction | |
| WO2021041772A1 (en) | Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising | |
| CN112102428B (zh) | Ct锥形束扫描图像重建方法、扫描系统及存储介质 | |
| CN110533738B (zh) | 重建数据处理方法、装置、医学成像系统及存储介质 | |
| WO2021165053A1 (en) | Out-of-distribution detection of input instances to a model | |
| CN113870138A (zh) | 基于三维U-net的低剂量CT图像去噪方法及系统 | |
| Okamoto et al. | Artifact reduction for sparse-view CT using deep learning with band patch | |
| CN110766661B (zh) | 磁共振成像的水脂分离方法、磁共振成像方法和设备 | |
| CN116778016A (zh) | 一种mri图像重建方法、系统及介质 | |
| CN116525073A (zh) | 一种基于健康体检大数据的数据库智能管理系统 | |
| CN115375583A (zh) | 一种pet参数图像的增强方法、装置、设备及存储介质 | |
| CN113192155A (zh) | 螺旋ct锥束扫描图像重建方法、扫描系统及存储介质 | |
| CN117173543B (zh) | 一种肺腺癌和肺结核的混合图像重构方法及系统 | |
| Abbasi et al. | Improved CT image reconstruction through partial Fourier sampling | |
| CN110458907B (zh) | 一种基于贝叶斯估计的图像重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |