CN116823660B - 用于ct图像修复的双流网络模型的构建方法、装置及应用 - Google Patents

用于ct图像修复的双流网络模型的构建方法、装置及应用 Download PDF

Info

Publication number
CN116823660B
CN116823660B CN202310789258.3A CN202310789258A CN116823660B CN 116823660 B CN116823660 B CN 116823660B CN 202310789258 A CN202310789258 A CN 202310789258A CN 116823660 B CN116823660 B CN 116823660B
Authority
CN
China
Prior art keywords
characteristic
image
restoration
module
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310789258.3A
Other languages
English (en)
Other versions
CN116823660A (zh
Inventor
蔡林凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yazhi Medical Technology Co ltd
Original Assignee
Hangzhou Yazhi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yazhi Medical Technology Co ltd filed Critical Hangzhou Yazhi Medical Technology Co ltd
Priority to CN202310789258.3A priority Critical patent/CN116823660B/zh
Publication of CN116823660A publication Critical patent/CN116823660A/zh
Application granted granted Critical
Publication of CN116823660B publication Critical patent/CN116823660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请提出了一种用于CT图像修复的双流网络模型的构建方法、装置及应用，包括以下步骤：构建双流网络模型，使用修复过的CT图像组成比对样本集进行训练；模型包括并联的两个特征通路、特征调整模块以及解码模块；通过特征通路以及特征调整模块将输入的CT图像进行修复、去噪和特征提取；最终将上编码特征以及下编码特征相加并输入解码模块，得到修复的CT图像；训练双流网络模型直至修复CT图像同比对样本集中对应修复过的CT图像的损失满足迭代条件。本方案通过在双流网络结构中设置伪影修复模块以及噪声修复模块来对输入的待修复CT图像进行不断的纠正和调整，使得模型可以很好的对CT图像进行修复。

Description

用于CT图像修复的双流网络模型的构建方法、装置及应用
技术领域
本申请涉及图像修复领域，特别是涉及一种用于CT图像修复的双流网络模型的构建方法、装置及应用。
背景技术
CT是一种常见的临床影响检查方式，它可以生成高分辨率的三维数字图像，可以提供医生丰富的诊断信息，但是由于有些图像可能会受到某些原因的干扰从而导致CT图像存在各种噪声，从而影响CT图像的密度导致CT图像中的软组织分辨能力很差，医生不能根据这些存在噪声的CT图像来准确判断病灶。
CT成像被广泛应用在临床疾病诊断，但是经常会遇到待检测对象中包含金属等衰减系数非常高的物质，比如病人体内可能会有心脏起搏器，血管支架，金属假牙等。由于金属物质对X射线具有高衰减特性，并且对不同能量的X射线衰减性质还是不一样的，这会导致重建后的图像中会出现明暗相间的金属伪影，这些金属伪影会对图像中的原始信息造成遮挡和干扰，影响图像的后续处理和分析，严重的话还会影响医生的判断甚至会造成误诊。
因此，对CT图像进行增强修复就显得尤为重要，对CT图像进行增强修复可以有效去除CT图像中的干扰因素，提高图像质量，使医生更加准确地判断和诊断疾病，随着深度学习的不断发展，可以通过深度学习模型来对CT图像进行修复，但是由于CT图像训练样本的图像质量不能保证，所以会导致传统的深度学习模型在训练过程中学习到错误的特征影响模型的准确率。
所以，亟需一种可以对CT图像进行准确修复，从而使医生可以根据修复后的CT图像来准确判断病灶的深度学习模型。
发明内容
本申请实施例提供了一种用于CT图像修复的双流网络模型的构建方法、装置及应用，可以通过在双流网络结构中设置伪影修复模块以及噪声修复模块来对输入的待修复CT图像进行不断的纠正和调整，使得模型可以很好的对CT图像进行修复，提高医生诊断的效果。
第一方面，本申请实施例提供了一种用于CT图像修复的双流网络模型的构建方法，所述方法包括：
获取至少一修复过的CT图像组成比对样本集，对所述比对样本集中的每一CT图像进行图像攻击得到训练样本集；
构建双流网络模型，其中所述双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码；
其中每一特征调整模块的结构均包括并行的伪影修复模块和噪声修复模块，特征通路的编码器输出的特征经过特征调整模块的伪影修复模块得到伪影修复特征，经过特征调整模块的噪声修复模块得到噪声修复特征，特征调整模块完成特征通路之间的单向调整，且相邻特征调整模块针对两路特征通路的调整方向相反；其中调整内容为：将其一特征通路产生的伪影修复特征同另一特征通路对应编码器产生的特征相乘后再与噪声修复特征相加得到另一特征通路的下一编码器的输入；
将训练样本集中每一CT图像输入到双流网络模型中的两个特征通路内分别得到上编码特征和下编码特征，上编码特征和下编码特征特征相加后输入到解码模块中得到修复CT图像，训练双流网络模型直至修复CT图像同比对样本集中对应修复过的CT图像的损失满足迭代条件。
第二方面，本申请实施例提供了一种CT图像修复方法，所述方法包括：
获取一待修复CT图像，将所述待修复CT图像输入到权利要求1训练好的双流网络模型中；
双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码得到修复CT图像。
第三方面，本申请实施例提供了一种用于CT图像修复的双流网络模型的构建装置，包括：
获取模块：获取至少一修复过的CT图像组成比对样本集，对所述比对样本集中的每一CT图像进行图像攻击得到训练样本集；
构建模块：构建双流网络模型，其中所述双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码；
编码模块：其中每一特征调整模块的结构均包括并行的伪影修复模块和噪声修复模块，特征通路的编码器输出的特征经过特征调整模块的伪影修复模块得到伪影修复特征，经过特征调整模块的噪声修复模块得到噪声修复特征，特征调整模块完成特征通路之间的单向调整，且相邻特征调整模块针对两路特征通路的调整方向相反；其中调整内容为：将其一特征通路产生的伪影修复特征同另一特征通路对应编码器产生的特征相乘后再与噪声修复特征相加得到另一特征通路的下一编码器的输入；
解码模块：将训练样本集中每一CT图像输入到双流网络模型中的两个特征通路内分别得到上编码特征和下编码特征，上编码特征和下编码特征特征相加后输入到解码模块中得到修复CT图像，训练双流网络模型直至修复CT图像同比对样本集中对应修复过的CT图像的损失满足迭代条件。
第四方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种用于CT图像修复的双流网络模型的构建方法或一种CT图像修复方法。
第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种用于CT图像修复的双流网络模型的构建方法或一种CT图像修复方法。
本发明的主要贡献和创新点如下：
本申请实施例通过双流网络结构来对CT图像进行修复，在双流网络结构中添加伪影修复模块以及噪声修复模块来对双流网络结构中的图像特征进行不断的纠正和调整，使得双流网络结构的鲁棒性更好，且CT图像的修复效果更好；本方案在编码器的两个卷积层之间添加了通道注意力模块，通过通道注意力模块可以提高编码器提取特征的能力，使得模型能保留更多的细节特征；本方案在进行伪影修复之前先对图像特征进行DCT变换，伪影修复后再进行DCT逆变换变换回来，使得本方案在进行伪影修复时可以更好的利用图像中的频域信息，从而使得模型准确率更高。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种用于CT图像修复的双流网络模型的构建方法的流程图；
图2时根据本申请实施例中伪影修复模块的结构图；
图3是根据本申请实施例中噪声修复模块的结构图；
图4是根据本申请实施例中使用训练好的双流网络模型进行CT图像修复的效果图；
图5是根据本申请实施例使用训练好的双流编码模型对所述待修复图像进行修复的流程图；
图6是根据本申请实施例的一种用于CT图像修复的双流网络模型的构建装置的结构框图；
图7是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
实施例一
本申请实施例提供了一种用于CT图像修复的双流网络模型的构建方法，具体地，参考图1，所述方法包括：
获取至少一修复过的CT图像组成比对样本集，对所述比对样本集中的每一CT图像进行图像攻击得到训练样本集；
构建双流网络模型，其中所述双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码；
其中每一特征调整模块的结构均包括并行的伪影修复模块和噪声修复模块，特征通路的编码器输出的特征经过特征调整模块的伪影修复模块得到伪影修复特征，经过特征调整模块的噪声修复模块得到噪声修复特征，特征调整模块完成特征通路之间的单向调整，且相邻特征调整模块针对两路特征通路的调整方向相反；其中调整内容为：将其一特征通路产生的伪影修复特征同另一特征通路对应编码器产生的特征相乘后再与噪声修复特征相加得到另一特征通路的下一编码器的输入；
将训练样本集中每一CT图像输入到双流网络模型中的两个特征通路内分别得到上编码特征和下编码特征，上编码特征和下编码特征特征相加后输入到解码模块中得到修复CT图像，训练双流网络模型直至修复CT图像同比对样本集中对应修复过的CT图像的损失满足迭代条件。
在一些具体实施例中，在“获取至少一修复过的CT图像组成比对样本集”步骤中，先使用平滑技术对CT图像去噪来减少图像中的噪声，再通过直方图均衡化进行图像增强来完成对CT图像的修复。
使用传统的图像增强方法来对CT图像进行修复得到比对样本集DS1，先使用平滑技术对CT图像去噪来减少图像中的噪声以降低对CT图像后续处理过程中的不利影响，此外，通过直方图均衡化进行图像增强，使变换后的灰度分布更加的均衡，可以描述更多图像细节，所述直方图均衡化公式如下：
其中，round表示舍入函数，用于处理浮点数值，L为CT图像中可能的的灰度级别的总数，cdf表示累计分布函数，累计分布函数可以通过以下公式计算：
cdf(i)＝sum(hist(0:i))/sum(hist)
其中，hist(i)表示原始图像中灰度值为i的像素点个数，sum(hist(0:i))表示中灰度值0到灰度值i的像素点个数之和，sum(hist)表示所有像素点个数之和。
在一些具体实施例中，在“对所述比对样本集中的每一CT图像进行图像攻击得到训练样本集”步骤中，所述图像攻击的方法为加噪声、调整对比度、模糊化、压缩图像、对图像裁剪和旋转。
加噪声指对CT图像添加高斯噪声或椒盐噪声等；
调整对比度指通过调整CT图像的对比度来改变其亮度和清晰度；
模糊化指使用高斯模糊或平滑滤波器来减少CT图像的清晰度和细节；
压缩图像指通过压缩像素信息或压缩像素数据的值来缩小CT图像的大小；
对图像裁剪和旋转指对CT图像进行裁剪和旋转以改变其边缘和角度。
具体的，要根据实际情况来对CT图像进行图像攻击，不能过渡攻击以免影响模型的训练效果。
在一些具体实施例中，本方案中的双流网络模型采用双流网络结构，上特征通路以及下特征通路可以互相进行特征的纠正和调整，提高修复算法的鲁棒性，使得CT图像的修复效果更好。
在一些实施例中，在“每一特征通路内包括数量相同的依次串联的编码器”步骤中，所述编码器由第一特征卷积层、通道注意力层、第二特征卷积层、特征池化层顺序串联组成。
具体的，所述第一特征卷积层与所述第二特征卷积层的卷积核大小为3×3，所述第一特征卷积层提取输入CT图像的图像特征，所述通道注意力层用来提高特征编码器提取CT图像特征的能力，所述第二特征卷积层进一步提取所述CT图像的图像特征，所述特征池化层为最大池化层，所述特征池化层对提取出来的图像特征进行下采样，以减少特征维度并获得更多的局部不变性。
在一些实施例中，在将编码器输出的特征输入到所述伪影修复模块之前，对特征进行离散余弦变换，在将征与所述伪影修复进行特征相乘之前，对所述伪影修复进行离散余弦变换的逆变换。
在传统的空域图像处理中，我们需要对每个像素点进行处理，这个像素点的数值仅仅包含了与其相邻的像素点的信息，而丢失了更广泛的信息，如此，仅通过空域处理的结果可能会失去一些重要信息，而在频域处理图像时，可以通过DCT变换(离散余弦变换)将原始图像从空间域转移到频域，从而可以捕获到不同频率的信号，这样频域处理可以更好的让我们了解图像背后的信息，直观的看到图像的变化。
另外，由于DCT变换的可逆性，意味着能够在频域中对图像进行处理，然后再通过DCT逆变换重新将其转换回空域，以便更好地使用图像回到正常视觉范围内进行观察。
所以，本方案在将编码器的输出特征输入到所述伪影修复模块之前，先将编码器的输出特征通过DCT变换到频域，处理好后再将伪影修复特征通过DCT逆变换变换回空域，这样可以保证在进行伪影修复时不会丢失原图像的信息，并更好的了解图像背后的信息，直观的看到图像的变化。
具体的，DCT变换的公式为：
其中，n为输入序列的索引，N为索引的个数，Xk为DCT的输出序列，k为输出序列的每个元素。
在一些实施例中，所述伪影修复模块的结构如图2所示，所述伪影修复模块由第一伪影修复卷积层、第一伪影修复批归一化层、第一伪影修复激活函数层、第二伪影修复卷积层、第二伪影修复批归一化层、第二伪影修复激活函数层顺序串联。
具体的，所述第一伪影修复卷积层与所述第二伪影修复卷积层的卷积核大小为3×3，所述第一伪影修复卷积层以及所述第二伪影修复卷积层用于对所述编码结果提取特征，所述第一伪影修复归一化层与所述第二伪影修复归一化层用来对提取到的特征进行层归一化从而使训练更加稳定和快速，所述第一激活函数层使用ReLU激活函数来进行非线性变换来进一步增强特征表达能力，所述第二激活函数层使用Sigmoid激活函数将提取的特征图映射到0到1的概率空间中作为后续特征调整的权重。
在一些实施例中，所述噪声修复模块的结构如图3所示，所述噪声修复模块由第一噪声修复卷积层、第一噪声修复批归一化层、第一噪声修复激活函数层、第二噪声修复卷积层、第二噪声修复批归一化层、第二噪声修复激活函数层顺序串联。
具体的，所述第一噪声修复卷积层与所述第二噪声修复卷积层的卷积核大小为3×3，所述第一噪声修复卷积层以及所述第二噪声修复卷积层用于对所述编码结果提取局部特征，所述第一噪声修复批归一化层与所述第二噪声修复批归一化层用来对局部特征进行调节以进行更好的训练，所述第一噪声修复激活函数层与所述第二噪声修复激活函数层均为ReLU激活函数。
在一些具体实施例中，在“将其一特征通路产生的伪影修复特征同另一特征通路对应编码器产生的特征相乘后再与噪声修复特征相加得到另一特征通路的下一编码器的输入”步骤可以用公式表示为b＝c*x+n，其中，b为第二上特征输入，c为第一上编码结果，x为第一伪影修复结果，n为第一噪声修复结果。
具体的，空域的卷积对应着频域的乘法，所以b＝c*x+n可以转为B＝C·X+N，可以把修复图像的过程看做是一个寻找频域函数H(ω)，所以可以将问题转化为求把B的表达式带入展开得到领噪声均值为0且噪声N和图像X不相关，于是E[XN]＝E[X]E[N]＝0，所以将B的表达式简化为
对损失loss求梯度，并设，那么有/>，将分子分母同时除以E[||X||2]，得到/>，SNR(ω)是值在频率ω的信噪比，从而得出/>。
在一些实施例中，在“上编码特征和下编码特征特征相加后输入到解码模块中得到修复CT图像”步骤中，在所述解码模块中对上编码特征和下编码特征特征相加后的结果进行上次采样得到上采样结果，再对所述上采样结果进行至少一次卷积-上采样操作得到所述修复CT图像，所述卷积上采样操作为先进行卷积再进行上采样。
具体的，在所述解码模块中将低分辨率的特征相加结果恢复到高分辨率图像。
首先在解码模块中采用双线性插值法来对特征相加结果进行上采样操作，将特征相加结果的分辨率扩大到一定程度，得到一个大致的高分辨率图像，所述双线性插值公式如下：
f(i+u,j+v)＝(1-u)(1-v)f(i,j)+u(1-v)f(i+1,j)+(1-u)vf(i,j+1)+uvf(i+1,j+1)
其中，u，v为单位正方形内的相对位置坐标。
之后对所述上采样结果进行卷积-上采样操作，所述卷积-上采样操作中的卷积操作为使用一系列3×3的卷积核进行卷积来对所述上采样结果进行进一步卷积以提取图像的高阶特征信息，所述卷积-上采样操作中的上采样操作为对卷积处理后的图像进行上采样操作来进一步提高图像的分辨率，同时保留更多的细节信息。
示例性的，本方案中的卷积-上采样操作重复5次以获得更加精细的高分辨率图像。
具体的，所述解码模块可以不断的从低分辨率的图像中提取更多的特征，同时将这些特征恢复到更高的分辨率，实现了图像的上采样和重建，得到修复CT图像。
在一些具体实施例中，在“训练双流网络模型直至修复CT图像同比对样本集中对应修复过的CT图像的损失满足迭代条件”步骤中，使用Dice Loss损失函数计算损失，DiceLoss的公式表示如下：
其中，X为修复CT图像集，Y为比对样本集|X|和|Y|分别表示X、Y中的元素个数。
具体的，Dice Loss是衡量两个集合相似度的一种损失函数，常用于医学图像分割等领域，其值越大意味着这两个样本越相似。
具体的，使用训练好的双流网络模型进行CT图像修复的效果图如图4所示，图4左为原图，图4右为修复图。
实施例二
一种CT图像修复方法，具体的，所述方法包括：
获取一待修复CT图像，将所述待修复CT图像输入到实施例一训练好的双流网络模型中；
双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码得到修复CT图像；
具体的，使用训练好的双流编码模型对所述待修复图像进行修复的流程如图5所示，本方案中采用的双流编码器的个数为4.
实施例三
基于相同的构思，参考图6，本申请还提出了一种用于CT图像修复的双流网络模型的构建装置，包括：
获取模块：获取至少一修复过的CT图像组成比对样本集，对所述比对样本集中的每一CT图像进行图像攻击得到训练样本集；
构建模块：构建双流网络模型，其中所述双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码；
编码模块：其中每一特征调整模块的结构均包括并行的伪影修复模块和噪声修复模块，特征通路的编码器输出的特征经过特征调整模块的伪影修复模块得到伪影修复特征，经过特征调整模块的噪声修复模块得到噪声修复特征，特征调整模块完成特征通路之间的单向调整，且相邻特征调整模块针对两路特征通路的调整方向相反；其中调整内容为：将其一特征通路产生的伪影修复特征同另一特征通路对应编码器产生的特征相乘后再与噪声修复特征相加得到另一特征通路的下一编码器的输入；
解码模块：将训练样本集中每一CT图像输入到双流网络模型中的两个特征通路内分别得到上编码特征和下编码特征，上编码特征和下编码特征特征相加后输入到解码模块中得到修复CT图像，训练双流网络模型直至修复CT图像同比对样本集中对应修复过的CT图像的损失满足迭代条件；
实施例四
本实施例还提供了一种电子装置，参考图7，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器402可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecificIntegratedCircuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(HardDiskDrive，简称为HDD)、软盘驱动器、固态驱动器(SolidStateDrive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(Non-Volatile)存储器。在特定实施例中，存储器404包括只读存储器(Read-OnlyMemory，简称为ROM)和随机存取存储器(RandomAccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-OnlyMemory，简称为PROM)、可擦除PROM(ErasableProgrammableRead-OnlyMemory，简称为EPROM)、电可擦除PROM(ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM)、电可改写ROM(ElectricallyAlterableRead-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(StaticRandom-AccessMemory，简称为SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器404(FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM)、同步动态随机存取内存(SynchronousDynamicRandom-AccessMemory，简称SDRAM)等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种用于CT图像修复的双流网络模型的构建方法。
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是训练样本集、待修复CT图像等，输出的信息可以是修复CT图像等。
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
S101、获取至少一修复过的CT图像组成比对样本集，对所述比对样本集中的每一CT图像进行图像攻击得到训练样本集；
S102、构建双流网络模型，其中所述双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码；
S103、其中每一特征调整模块的结构均包括并行的伪影修复模块和噪声修复模块，特征通路的编码器输出的特征经过特征调整模块的伪影修复模块得到伪影修复特征，经过特征调整模块的噪声修复模块得到噪声修复特征，特征调整模块完成特征通路之间的单向调整，且相邻特征调整模块针对两路特征通路的调整方向相反；其中调整内容为：将其一特征通路产生的伪影修复特征同另一特征通路对应编码器产生的特征相乘后再与噪声修复特征相加得到另一特征通路的下一编码器的输入；
S104、将训练样本集中每一CT图像输入到双流网络模型中的两个特征通路内分别得到上编码特征和下编码特征，上编码特征和下编码特征特征相加后输入到解码模块中得到修复CT图像，训练双流网络模型直至修复CT图像同比对样本集中对应修复过的CT图像的损失满足迭代条件。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图7中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于CT图像修复的双流网络模型的构建方法，其特征在于，包括以下步骤：
获取至少一修复过的CT图像组成比对样本集，对所述比对样本集中的每一CT图像进行图像攻击得到训练样本集；
构建双流网络模型，其中所述双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码；
其中每一特征调整模块的结构均包括并行的伪影修复模块和噪声修复模块，特征通路的编码器输出的特征经过特征调整模块的伪影修复模块得到伪影修复特征，经过特征调整模块的噪声修复模块得到噪声修复特征，特征调整模块完成特征通路之间的单向调整，且相邻特征调整模块针对两路特征通路的调整方向相反；其中调整内容为：将其一特征通路产生的伪影修复特征同另一特征通路对应编码器产生的特征相乘后再与噪声修复特征相加得到另一特征通路的下一编码器的输入；
将训练样本集中每一CT图像输入到双流网络模型中的两个特征通路内分别得到上编码特征和下编码特征，上编码特征和下编码特征特征相加后输入到解码模块中得到修复CT图像，训练双流网络模型直至修复CT图像同比对样本集中对应修复过的CT图像的损失满足迭代条件。
2.根据权利要求1所述的一种用于CT图像修复的双流网络模型的构建方法，其特征在于，在“每一特征通路内包括数量相同的依次串联的编码器”步骤中，所述编码器由第一特征卷积层、通道注意力层、第二特征卷积层、特征池化层顺序串联组成。
3.根据权利要求1所述的一种用于CT图像修复的双流网络模型的构建方法，其特征在于，在将编码器输出的特征输入到所述伪影修复模块之前，对编码器输出的特征进行离散余弦变换，在将编码器输出的特征与所述伪影修复特征进行特征相乘之前，对所述伪影修复特征进行离散余弦变换的逆变换。
4.根据权利要求1所述的一种用于CT图像修复的双流网络模型的构建方法，其特征在于，所述伪影修复模块由第一伪影修复卷积层、第一伪影修复批归一化层、第一伪影修复激活函数层、第二伪影修复卷积层、第二伪影修复批归一化层、第二伪影修复激活函数层顺序串联。
5.根据权利要求1所述的一种用于CT图像修复的双流网络模型的构建方法，其特征在于，所述噪声修复模块由第一噪声修复卷积层、第一噪声修复批归一化层、第一噪声修复激活函数层、第二噪声修复卷积层、第二噪声修复批归一化层、第二噪声修复激活函数层顺序串联。
6.根据权利要求1所述的一种用于CT图像修复的双流网络模型的构建方法，其特征在于，在“上编码特征和下编码特征特征相加后输入到解码模块中得到修复CT图像”步骤中，在所述解码模块中对上编码特征和下编码特征特征相加后的结果进行上采样得到上采样结果，再对所述上采样结果进行至少一次卷积上采样操作得到所述修复CT图像，所述卷积上采样操作为先进行卷积再进行上采样。
7.一种CT图像修复方法，其特征在于，包括：
获取一待修复CT图像，将所述待修复CT图像输入到权利要求1训练好的双流网络模型中；
双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码得到修复CT图像。
8.一种用于CT图像修复的双流网络模型的构建装置，其特征在于，包括：
获取模块：获取至少一修复过的CT图像组成比对样本集，对所述比对样本集中的每一CT图像进行图像攻击得到训练样本集；
构建模块：构建双流网络模型，其中所述双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码；
编码模块：其中每一特征调整模块的结构均包括并行的伪影修复模块和噪声修复模块，特征通路的编码器输出的特征经过特征调整模块的伪影修复模块得到伪影修复特征，经过特征调整模块的噪声修复模块得到噪声修复特征，特征调整模块完成特征通路之间的单向调整，且相邻特征调整模块针对两路特征通路的调整方向相反；其中调整内容为：将其一特征通路产生的伪影修复特征同另一特征通路对应编码器产生的特征相乘后再与噪声修复特征相加得到另一特征通路的下一编码器的输入；
解码模块：将训练样本集中每一CT图像输入到双流网络模型中的两个特征通路内分别得到上编码特征和下编码特征，上编码特征和下编码特征特征相加后输入到解码模块中得到修复CT图像，训练双流网络模型直至修复CT图像同比对样本集中对应修复过的CT图像的损失满足迭代条件。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-6任一所述的一种用于CT图像修复的双流网络模型的构建方法或权利要求7所述的一种CT图像修复方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-6任一所述的一种用于CT图像修复的双流网络模型的构建方法或权利要求7所述的一种CT图像修复方法。
CN202310789258.3A 2023-06-29 2023-06-29 用于ct图像修复的双流网络模型的构建方法、装置及应用 Active CN116823660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310789258.3A CN116823660B (zh) 2023-06-29 2023-06-29 用于ct图像修复的双流网络模型的构建方法、装置及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310789258.3A CN116823660B (zh) 2023-06-29 2023-06-29 用于ct图像修复的双流网络模型的构建方法、装置及应用

Publications (2)

Publication Number Publication Date
CN116823660A CN116823660A (zh) 2023-09-29
CN116823660B true CN116823660B (zh) 2023-12-22

Family

ID=88125473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310789258.3A Active CN116823660B (zh) 2023-06-29 2023-06-29 用于ct图像修复的双流网络模型的构建方法、装置及应用

Country Status (1)

Country Link
CN (1) CN116823660B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379868A (zh) * 2021-07-08 2021-09-10 安徽工程大学 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法
CN113436118A (zh) * 2021-08-10 2021-09-24 安徽工程大学 一种基于多尺度卷积编码网络的低剂量ct图像复原方法
CN114913599A (zh) * 2022-05-09 2022-08-16 北方工业大学 基于自动编码器的视频异常行为检测方法及系统
WO2022174152A1 (en) * 2021-02-12 2022-08-18 Mayo Foundation For Medical Education And Research Generalizable image-based training framework for artificial intelligence-based noise and artifact reduction in medical images
CN115829858A (zh) * 2022-10-14 2023-03-21 中国科学技术大学 一种基于对比学习的jpeg图像伪影去除方法及其应用
WO2023098136A1 (zh) * 2021-12-01 2023-06-08 北京长木谷医疗科技有限公司 Ct图像去金属伪影以及模型训练的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022174152A1 (en) * 2021-02-12 2022-08-18 Mayo Foundation For Medical Education And Research Generalizable image-based training framework for artificial intelligence-based noise and artifact reduction in medical images
CN113379868A (zh) * 2021-07-08 2021-09-10 安徽工程大学 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法
CN113436118A (zh) * 2021-08-10 2021-09-24 安徽工程大学 一种基于多尺度卷积编码网络的低剂量ct图像复原方法
WO2023098136A1 (zh) * 2021-12-01 2023-06-08 北京长木谷医疗科技有限公司 Ct图像去金属伪影以及模型训练的方法和装置
CN114913599A (zh) * 2022-05-09 2022-08-16 北方工业大学 基于自动编码器的视频异常行为检测方法及系统
CN115829858A (zh) * 2022-10-14 2023-03-21 中国科学技术大学 一种基于对比学习的jpeg图像伪影去除方法及其应用

Also Published As

Publication number Publication date
CN116823660A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN112435309A (zh) 一种基于深度学习的增强ct图像质量和分辨率的方法
CN112258415B (zh) 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法
Raj et al. Denoising of medical images using dual tree complex wavelet transform
CN112396672B (zh) 一种基于深度学习的稀疏角度锥束ct图像重建方法
CN104700440B (zh) 磁共振部分k空间图像重建方法
CN114240797B (zh) 一种oct图像去噪方法、装置、设备及介质
CN109523458B (zh) 一种结合稀疏诱导动态引导滤波的高精度稀疏角度ct重建方法
CN111696042B (zh) 基于样本学习的图像超分辨重建方法
CN114241077A (zh) 一种ct图像分辨率优化方法及装置
CN110599530B (zh) 基于双正则约束的mvct图像纹理增强方法
CN115018728A (zh) 基于多尺度变换和卷积稀疏表示的图像融合方法及系统
Sahu et al. An application of deep dual convolutional neural network for enhanced medical image denoising
Li et al. Unpaired low‐dose computed tomography image denoising using a progressive cyclical convolutional neural network
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN116823660B (zh) 用于ct图像修复的双流网络模型的构建方法、装置及应用
CN112330565A (zh) 基于改善的U-net的低剂量CT投影域中图像去噪方法
Jin et al. Low-dose CT image restoration based on noise prior regression network
CN116630154A (zh) 光学相干层析图像的反褶积超分辨重建方法及装置
CN111311531A (zh) 图像增强方法、装置、控制台设备及医学成像系统
CN110895790A (zh) 基于后验降质信息估计的场景图像超分辨方法
CN116091322A (zh) 超分辨率图像重建方法和计算机设备
CN115294229A (zh) 用于重建磁共振成像（mri）图像的方法及设备
CN115578285B (zh) 一种乳腺钼靶图像细节增强方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Construction method, device, and application of a dual stream network model for CT image restoration

Granted publication date: 20231222

Pledgee: Hangzhou United Rural Commercial Bank Limited by Share Ltd. Zhongshan branch

Pledgor: HANGZHOU YAZHI MEDICAL TECHNOLOGY Co.,Ltd.

Registration number: Y2024980006449