CN113658048A - 一种采用超分辨率重建方式进行肺部ct图像填充的方法 - Google Patents
一种采用超分辨率重建方式进行肺部ct图像填充的方法 Download PDFInfo
- Publication number
- CN113658048A CN113658048A CN202110975782.0A CN202110975782A CN113658048A CN 113658048 A CN113658048 A CN 113658048A CN 202110975782 A CN202110975782 A CN 202110975782A CN 113658048 A CN113658048 A CN 113658048A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- pixel
- super
- lung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 210000004072 lung Anatomy 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000000249 desinfective effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003707 image sharpening Methods 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 206010056342 Pulmonary mass Diseases 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 238000011084 recovery Methods 0.000 abstract 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract 1
- 208000008128 pulmonary tuberculosis Diseases 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 201000003651 pulmonary sarcoidosis Diseases 0.000 description 2
- 206010018691 Granuloma Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，具体地说，涉及一种采用超分辨率重建方式进行肺部CT图像填充的方法。包括获取大量肺部CT图像并进行标准化处理、搭建通用图像观测模型、采用超分辨率重建方法获取高分辨率的图像、建立学习模型并进行模型的训练、对待处理的低像素CT图像进行预处理、引入由学习模型获得的先验知识，获得较好的图像恢复效果、对低像素的CT图像进行像素填充等步骤。本发明设计可以在不改变成像系统的前提下实现提高图像空间分辨率的目的，降低将填充的像素内容误诊为肺结节的概率，提高肺结节检查的工作效率及准确度；可以由学习模型获得先验知识，获得较好的图像恢复效果，减轻人工的工作量，提高肺结节病症的检查诊断效果。
Description
技术领域
本发明涉及图像处理技术领域，具体地说，涉及一种采用超分辨率重建方式进行肺部CT图像填充的方法。
背景技术
肺结节病是一种病因未明的多系统多器官的肉芽肿性疾病，肺结节的主要检测项目有影像学检查，例如胸片或者是胸部CT检查。但是，在肺结节检测中经常有气管和血管被误认为肺结节。临床上，因为各个CT机图像拍摄尺度设定不同，在肺结节抽取的过程中，需要对CT图像先进行标准化处理，也就是将像素坐标与实际物理空间坐标相对应，一般采用的方式是将像素间距对应为物理空间坐标的1mm。而目前CT采用5mm间距的比较常见，5mm间距CT图像的像素较低，无法清晰地进行肺结节的检测判定。然而将5mm间距CT图像处理成1mm间距CT图像的过程中，需要对低像素图像进行像素填充操作。目前常用的像素填充做法都是采用插值算法，但是插值的内容有可能会被误认为肺结节，导致误诊，因此急需寻找到更清晰精确的像素填充方法。
发明内容
本发明的目的在于提供一种采用超分辨率重建方式进行肺部CT图像填充的方法，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供了一种采用超分辨率重建方式进行肺部CT图像填充的方法，包括如下步骤：
S1、通过多个拍摄尺度设定不同的CT机获取大量肺部CT图像，对肺部CT图像进行标准化处理，组成CT图像集合，图像集合包括像素间距对应为物理空间坐标为1mm的高像素CT图像和5mm的低像素CT图像；
S2、搭建通用图像观测模型，并获取学习模型的验证集和训练集；
S3、采用超分辨率重建方法，对训练集中的观测图像进行分辨率重建，获取高分辨率的图像，作为学习模型的测试集；
S4、采用大量的高分辨率图像通过一定算法进行学习获得先验知识，构造学习库建立学习模型，利用训练集中的图像进行模型的训练，并通过测试集和验证集测验模型的精度；
S5、对待处理的低像素CT图像进行预处理；
S6、在对预处理后的低分辨率图像进行恢复的过程中，引入由学习模型获得的先验知识，以得到图像的高精细节，获得较好的图像恢复效果；
S7、利用超分辨率重建方法获取的高像素特征图层，对低像素的CT图像进行像素填充，将像素间距对应为物理空间坐标为5mm的低像素CT图像处理成1mm的高像素CT图像。
作为本技术方案的进一步改进，所述S2中，搭建通用图像观测模型的方法包括如下步骤：
S2.1、搭建描述理想图像与观测图像之间关系的图像观测模型，其中观测图像为一系列的低分辨率图像，理想图像为所求的高分辨率图像；
S2.2、调用CT图像集合中若干像素间距对应为物理空间坐标为1mm的高像素CT图像作为验证集；
S2.3、将步骤S2.2中的高像素CT图像经过一系列的降质过程，产生同一幅高像素CT图像的若干低分辨率图像，作为训练集，其中降质过程包括几何运动、光学模糊、亚采样及附加噪声等；
S2.4、用矢量z表示所求的高分辨率图像，gk表示某一幅低分辨率图像，完善图像观测模型。
作为本技术方案的进一步改进，所述S2.4中，图像观测模型的计算表达式如下：
gk＝DBMkz+nk；
式中：Mk表示几何运动矩阵，B表示模糊矩阵，D表示亚采样矩阵，nk表示附加噪声。
其中，应用该图像观测模型，可以将力量高分辨率图像依次经过旋转运动、模糊、降采样和噪声过程后得到观测图像。
作为本技术方案的进一步改进，所述S3中，采用超分辨率重建方法对训练集中的观测图像进行分辨率重建的方法包括如下步骤：
S3.1、对验证集中的每一幅CT图像X，采用双三次插值算法按照预设的参数scale执行一次下采样操作，得到一幅大小为原图像1/5scale的模糊图像，即为训练集中的图像，设该模糊图像为Y，CT图像X作为模糊图像Y的标签，CT图像X与模糊图像Y一一对应；
S3.2、将验证集中的每一幅CT图像X与其对应的模糊图像Y，按照预设步长，划分为5n×5n和n×n大小的图像块，图像的放大倍数为与预设参数scale相等，且与反卷积的步长相等；
S3.3、将验证集中的CT图像X的图像块随即打乱顺序，将模糊图像Y的图像块随即打乱顺序，CT图像X与模糊图像Y的对应关系不变；
S3.4、通过激活函数对模糊图像Y进行反卷积操作得到反卷积层；
S3.5、对反卷积层特征图进行多层卷积操作，使反卷积层形成至输出层特征图；
S3.6、输出层的特征图像，是由前一层的一系列特征图重建成的一幅高分辨率图，在重建过程中，重叠部分采用平均值，重建图像期望与原始图像X相似，并采用均方差误差作为损失函数来优化参数计算平均值过程中的各参数；
S3.7、采用梯度下降法最小化公式，沿着梯度下降的最快方向找到最小值，增大峰值信噪比，使重建图像与原高分辨率图像X的分辨率越接近，进而可以得出网络模型最优的超参数。
作为本技术方案的进一步改进，所述S3.4中，反卷积层的激活函数采用PReLU，其计算表达式为：
式中，i表示不同的通道。
其中，如果ai＝0，则PReLU退化为ReLU；如果ai是一个很小的固定值(如ai＝0.01)，则PReLU退化为LReLU。具体地，与ReLU相比，LReLU对最终的结果几乎没什么影响。
作为本技术方案的进一步改进，所述S3.6中，均方差误差的计算表达式为：
其中，SEM为n个数据的均方差误差值，SD为n个数据的标准差，
为n个数据的样本均值，n为样本中观测值总数。
作为本技术方案的进一步改进，所述S3.7中，梯度下降法最小化公式的算法表达过程如下：
Step1、确定当前位置的损失函数的梯度，对于θi，其梯度表达式为：
Step2、用步长乘以损失函数的梯度，得到当前位置下降的距离，即：
Step3、确定是否所有的θi梯度下降的距离都小于ε，如果小于ε则算法终止，当前所有的θi(i＝0,1,...,n)即为最终结果，否则进入Step4；
Step4、更新所有的θ，对于θi，其更新表达式为：
更新完毕后继续转入Step1。
作为本技术方案的进一步改进，所述S5中，对待处理的低像素CT图像进行预处理的方法包括如下步骤：
S5.1、对待处理图像进行图像去噪处理，通过提高信噪比改善图像质量；
S5.2、对待处理图像进行图像去模糊、去卷积处理，消毒模糊函数对图像的影响，提高图像的清晰度；
S5.3、基于特定观测模型，对待处理图像进行去噪、去模糊处理，实现图像的一次复原；
S5.4、对待处理图像进行直方图均衡、数学变换、图像平滑、图像锐化等图像增强加工，突出图像中的某些信息，得到视觉效果更好的图像，将图像转换成更适合分析处理的形式；
S5.5、根据图像自身的像素值来对待处理图像进行内插或放大处理增加图像的像素；
S5.6、利用融合算法将两幅或多幅同一拍摄位置不同时间点的待处理CT图像的信息结合起来产生一幅新的图像。
其中，所述S5.5中，图像内插放大算法是基于图像观测模型的方法，其观测模型可以表达为g＝Dz+n，与通用图像观测模型相比，少了运动矩阵和模糊矩阵，则可以看作为通用图像观测模型gk＝DBMkz+nk的特殊情况。
作为本技术方案的进一步改进，所述S5.1中，图像去噪的图像观测模型表达式为：
g＝z+n；
其中，图像去噪属于没有运动、模糊和亚采样过程的一种超分辨率重建的特殊情况。
作为本技术方案的进一步改进，所述S5.2中，图像去模糊的图像观测模型表达式为：
g＝Bz+n；
其中，图像去模糊属于仅考虑模糊和噪声情况且没有运动和亚采样过程的一种超分辨率重建的特殊情况。
作为本技术方案的进一步改进，所述。
本发明的目的之二在于，提供了一种采用超分辨率重建方式进行肺部CT图像填充的方法的系统及其运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的采用超分辨率重建方式进行肺部CT图像填充的方法的步骤。
本发明的目的之三在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的采用超分辨率重建方式进行肺部CT图像填充的方法的步骤。
与现有技术相比，本发明的有益效果：
1.该采用超分辨率重建方式进行肺部CT图像填充的方法采用视频超分辨率重建技术来做CT标准化过程中的像素填充操作，可以通过多幅具有互补信息的低分辨率图像的处理来重构一幅高分辨率图像，可以在不改变成像系统的前提下实现提高图像空间分辨率的目的，不仅可以改进图像的视觉效果，而且有利于对图像的特征提取、信息识别等后续处理，降低将填充的像素内容误诊为肺结节的概率，提高肺结节检查的工作效率及准确度；
2.该采用超分辨率重建方式进行肺部CT图像填充的方法采用基于学习的超分辨率技术，可以由学习模型获得先验知识，引入先验知识对低分辨率CT图像进行恢复重建，可以获得较好的图像恢复效果，在此基础上可以进行较为准确的人工智能识别操作，减轻人工的工作量，提高肺结节病症的检查诊断效果。
附图说明
图1为本发明中图像的超分辨率重建原理图；
图2为本发明的整体方法流程图；
图3为本发明的局部方法流程图之一；
图4为本发明的局部方法流程图之二；
图5为本发明的局部方法流程图之三。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-图5所示，本实施例的目的在于，提供了一种采用超分辨率重建方式进行肺部CT图像填充的方法，包括如下步骤：
S1、通过多个拍摄尺度设定不同的CT机获取大量肺部CT图像，对肺部CT图像进行标准化处理，组成CT图像集合，图像集合包括像素间距对应为物理空间坐标为1mm的高像素CT图像和5mm的低像素CT图像；
S2、搭建通用图像观测模型，并获取学习模型的验证集和训练集；
S3、采用超分辨率重建方法，对训练集中的观测图像进行分辨率重建，获取高分辨率的图像，作为学习模型的测试集；
S4、采用大量的高分辨率图像通过一定算法进行学习获得先验知识，构造学习库建立学习模型，利用训练集中的图像进行模型的训练，并通过测试集和验证集测验模型的精度；
S5、对待处理的低像素CT图像进行预处理；
S6、在对预处理后的低分辨率图像进行恢复的过程中，引入由学习模型获得的先验知识，以得到图像的高精细节，获得较好的图像恢复效果；
S7、利用超分辨率重建方法获取的高像素特征图层，对低像素的CT图像进行像素填充，将像素间距对应为物理空间坐标为5mm的低像素CT图像处理成1mm的高像素CT图像。
本实施例中，S2中，搭建通用图像观测模型的方法包括如下步骤：
S2.1、搭建描述理想图像与观测图像之间关系的图像观测模型，其中观测图像为一系列的低分辨率图像，理想图像为所求的高分辨率图像；
S2.2、调用CT图像集合中若干像素间距对应为物理空间坐标为1mm的高像素CT图像作为验证集；
S2.3、将步骤S2.2中的高像素CT图像经过一系列的降质过程，产生同一幅高像素CT图像的若干低分辨率图像，作为训练集，其中降质过程包括几何运动、光学模糊、亚采样及附加噪声等；
S2.4、用矢量z表示所求的高分辨率图像，gk表示某一幅低分辨率图像，完善图像观测模型。
具体地，S2.4中，图像观测模型的计算表达式如下：
gk＝DBMkz+nk；
式中：Mk表示几何运动矩阵，B表示模糊矩阵，D表示亚采样矩阵，nk表示附加噪声。
其中，应用该图像观测模型，可以将力量高分辨率图像依次经过旋转运动、模糊、降采样和噪声过程后得到观测图像。
本实施例中，S3中，采用超分辨率重建方法对训练集中的观测图像进行分辨率重建的方法包括如下步骤：
S3.1、对验证集中的每一幅CT图像X，采用双三次插值算法按照预设的参数scale执行一次下采样操作，得到一幅大小为原图像1/5scale的模糊图像，即为训练集中的图像，设该模糊图像为Y，CT图像X作为模糊图像Y的标签，CT图像X与模糊图像Y一一对应；
S3.2、将验证集中的每一幅CT图像X与其对应的模糊图像Y，按照预设步长，划分为5n×5n和n×n大小的图像块，图像的放大倍数为与预设参数scale相等，且与反卷积的步长相等；
S3.3、将验证集中的CT图像X的图像块随即打乱顺序，将模糊图像Y的图像块随即打乱顺序，CT图像X与模糊图像Y的对应关系不变；
S3.4、通过激活函数对模糊图像Y进行反卷积操作得到反卷积层；
S3.5、对反卷积层特征图进行多层卷积操作，使反卷积层形成至输出层特征图；
S3.6、输出层的特征图像，是由前一层的一系列特征图重建成的一幅高分辨率图，在重建过程中，重叠部分采用平均值，重建图像期望与原始图像X相似，并采用均方差误差作为损失函数来优化参数计算平均值过程中的各参数；
S3.7、采用梯度下降法最小化公式，沿着梯度下降的最快方向找到最小值，增大峰值信噪比，使重建图像与原高分辨率图像X的分辨率越接近，进而可以得出网络模型最优的超参数。
具体地，S3.4中，反卷积层的激活函数采用PReLU，其计算表达式为：
式中，i表示不同的通道。
其中，如果ai＝0，则PReLU退化为ReLU；如果ai是一个很小的固定值(如ai＝0.01)，则PReLU退化为LReLU。具体地，与ReLU相比，LReLU对最终的结果几乎没什么影响。
具体地，S3.6中，均方差误差的计算表达式为：
其中，SEM为n个数据的均方差误差值，SD为n个数据的标准差，
为n个数据的样本均值，n为样本中观测值总数。
具体地，S3.7中，梯度下降法最小化公式的算法表达过程如下：
Step1、确定当前位置的损失函数的梯度，对于θi，其梯度表达式为：
Step2、用步长乘以损失函数的梯度，得到当前位置下降的距离，即：
Step3、确定是否所有的θi梯度下降的距离都小于ε，如果小于ε则算法终止，当前所有的θi(i＝0,1,...,n)即为最终结果，否则进入Step4；
Step4、更新所有的θ，对于θi，其更新表达式为：
更新完毕后继续转入Step1。
本实施例中，S5中，对待处理的低像素CT图像进行预处理的方法包括如下步骤：
S5.1、对待处理图像进行图像去噪处理，通过提高信噪比改善图像质量；
S5.2、对待处理图像进行图像去模糊、去卷积处理，消毒模糊函数对图像的影响，提高图像的清晰度；
S5.3、基于特定观测模型，对待处理图像进行去噪、去模糊处理，实现图像的一次复原；
S5.4、对待处理图像进行直方图均衡、数学变换、图像平滑、图像锐化等图像增强加工，突出图像中的某些信息，得到视觉效果更好的图像，将图像转换成更适合分析处理的形式；
S5.5、根据图像自身的像素值来对待处理图像进行内插或放大处理增加图像的像素；
S5.6、利用融合算法将两幅或多幅同一拍摄位置不同时间点的待处理CT图像的信息结合起来产生一幅新的图像。
其中，S5.5中，图像内插放大算法是基于图像观测模型的方法，其观测模型可以表达为g＝Dz+n，与通用图像观测模型相比，少了运动矩阵和模糊矩阵，则可以看作为通用图像观测模型gk＝DBMkz+nk的特殊情况。
具体地，S5.1中，图像去噪的图像观测模型表达式为：
g＝z+n；
其中，图像去噪属于没有运动、模糊和亚采样过程的一种超分辨率重建的特殊情况。
具体地，S5.2中，图像去模糊的图像观测模型表达式为：
g＝Bz+n；
其中，图像去模糊属于仅考虑模糊和噪声情况且没有运动和亚采样过程的一种超分辨率重建的特殊情况。
本实施例还提供了一种采用超分辨率重建方式进行肺部CT图像填充的方法的系统及其运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的采用超分辨率重建方式进行肺部CT图像填充的方法。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的采用超分辨率重建方式进行肺部CT图像填充的方法的步骤。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面采用超分辨率重建方式进行肺部CT图像填充的方法的步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储与计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种采用超分辨率重建方式进行肺部CT图像填充的方法，其特征在于：包括如下步骤：
S1、通过多个拍摄尺度设定不同的CT机获取大量肺部CT图像，对肺部CT图像进行标准化处理，组成CT图像集合，图像集合包括像素间距对应为物理空间坐标为1mm的高像素CT图像和5mm的低像素CT图像；
S2、搭建通用图像观测模型，并获取学习模型的验证集和训练集；
S3、采用超分辨率重建方法，对训练集中的观测图像进行分辨率重建，获取高分辨率的图像，作为学习模型的测试集；
S4、采用大量的高分辨率图像通过一定算法进行学习获得先验知识，构造学习库建立学习模型，利用训练集中的图像进行模型的训练，并通过测试集和验证集测验模型的精度；
S5、对待处理的低像素CT图像进行预处理；
S6、在对预处理后的低分辨率图像进行恢复的过程中，引入由学习模型获得的先验知识，以得到图像的高精细节，获得较好的图像恢复效果；
S7、利用超分辨率重建方法获取的高像素特征图层，对低像素的CT图像进行像素填充，将像素间距对应为物理空间坐标为5mm的低像素CT图像处理成1mm的高像素CT图像。
2.根据权利要求1所述的采用超分辨率重建方式进行肺部CT图像填充的方法，其特征在于：所述S2中，搭建通用图像观测模型的方法包括如下步骤：
S2.1、搭建描述理想图像与观测图像之间关系的图像观测模型，其中观测图像为一系列的低分辨率图像，理想图像为所求的高分辨率图像；
S2.2、调用CT图像集合中若干像素间距对应为物理空间坐标为1mm的高像素CT图像作为验证集；
S2.3、将步骤S2.2中的高像素CT图像经过一系列的降质过程，产生同一幅高像素CT图像的若干低分辨率图像，作为训练集，其中降质过程包括几何运动、光学模糊、亚采样及附加噪声等；
S2.4、用矢量z表示所求的高分辨率图像，gk表示某一幅低分辨率图像，完善图像观测模型。
3.根据权利要求2所述的采用超分辨率重建方式进行肺部CT图像填充的方法，其特征在于：所述S2.4中，图像观测模型的计算表达式如下：
gk＝DBMkz+nk；
式中：Mk表示几何运动矩阵，B表示模糊矩阵，D表示亚采样矩阵，nk表示附加噪声。
4.根据权利要求3所述的采用超分辨率重建方式进行肺部CT图像填充的方法，其特征在于：所述S3中，采用超分辨率重建方法对训练集中的观测图像进行分辨率重建的方法包括如下步骤：
S3.1、对验证集中的每一幅CT图像X，采用双三次插值算法按照预设的参数scale执行一次下采样操作，得到一幅大小为原图像1/5scale的模糊图像，即为训练集中的图像，设该模糊图像为Y，CT图像X作为模糊图像Y的标签，CT图像X与模糊图像Y一一对应；
S3.2、将验证集中的每一幅CT图像X与其对应的模糊图像Y，按照预设步长，划分为5n×5n和n×n大小的图像块，图像的放大倍数为与预设参数scale相等，且与反卷积的步长相等；
S3.3、将验证集中的CT图像X的图像块随即打乱顺序，将模糊图像Y的图像块随即打乱顺序，CT图像X与模糊图像Y的对应关系不变；
S3.4、通过激活函数对模糊图像Y进行反卷积操作得到反卷积层；
S3.5、对反卷积层特征图进行多层卷积操作，使反卷积层形成至输出层特征图；
S3.6、输出层的特征图像，是由前一层的一系列特征图重建成的一幅高分辨率图，在重建过程中，重叠部分采用平均值，重建图像期望与原始图像X相似，并采用均方差误差作为损失函数来优化参数计算平均值过程中的各参数；
S3.7、采用梯度下降法最小化公式，沿着梯度下降的最快方向找到最小值，增大峰值信噪比，使重建图像与原高分辨率图像X的分辨率越接近，进而可以得出网络模型最优的超参数。
5.根据权利要求4所述的采用超分辨率重建方式进行肺部CT图像填充的方法，其特征在于：所述S3.4中，反卷积层的激活函数采用PReLU，其计算表达式为：
式中，i表示不同的通道。
6.根据权利要求5所述的采用超分辨率重建方式进行肺部CT图像填充的方法，其特征在于：所述S3.6中，均方差误差的计算表达式为：
其中，SEM为n个数据的均方差误差值，SD为n个数据的标准差，
为n个数据的样本均值，n为样本中观测值总数。
7.根据权利要求6所述的采用超分辨率重建方式进行肺部CT图像填充的方法，其特征在于：所述S3.7中，梯度下降法最小化公式的算法表达过程如下：
Step1、确定当前位置的损失函数的梯度，对于θi，其梯度表达式为：
Step2、用步长乘以损失函数的梯度，得到当前位置下降的距离，即：
Step3、确定是否所有的θi梯度下降的距离都小于ε，如果小于ε则算法终止，当前所有的θi(i＝0,1,...,n)即为最终结果，否则进入Step4；
Step4、更新所有的θ，对于θi，其更新表达式为：
更新完毕后继续转入Step1。
8.根据权利要求7所述的采用超分辨率重建方式进行肺部CT图像填充的方法，其特征在于：所述S5中，对待处理的低像素CT图像进行预处理的方法包括如下步骤：
S5.1、对待处理图像进行图像去噪处理，通过提高信噪比改善图像质量；
S5.2、对待处理图像进行图像去模糊、去卷积处理，消毒模糊函数对图像的影响，提高图像的清晰度；
S5.3、基于特定观测模型，对待处理图像进行去噪、去模糊处理，实现图像的一次复原；
S5.4、对待处理图像进行直方图均衡、数学变换、图像平滑、图像锐化等图像增强加工，突出图像中的某些信息，得到视觉效果更好的图像，将图像转换成更适合分析处理的形式；
S5.5、根据图像自身的像素值来对待处理图像进行内插或放大处理增加图像的像素；
S5.6、利用融合算法将两幅或多幅同一拍摄位置不同时间点的待处理CT图像的信息结合起来产生一幅新的图像。
9.根据权利要求8所述的采用超分辨率重建方式进行肺部CT图像填充的方法，其特征在于：所述S5.1中，图像去噪的图像观测模型表达式为：
g＝z+n；
其中，图像去噪属于没有运动、模糊和亚采样过程的一种超分辨率重建的特殊情况。
10.根据权利要求9所述的采用超分辨率重建方式进行肺部CT图像填充的方法，其特征在于：所述S5.2中，图像去模糊的图像观测模型表达式为：
g＝Bz+n；
其中，图像去模糊属于仅考虑模糊和噪声情况且没有运动和亚采样过程的一种超分辨率重建的特殊情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110975782.0A CN113658048A (zh) | 2021-08-24 | 2021-08-24 | 一种采用超分辨率重建方式进行肺部ct图像填充的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110975782.0A CN113658048A (zh) | 2021-08-24 | 2021-08-24 | 一种采用超分辨率重建方式进行肺部ct图像填充的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113658048A true CN113658048A (zh) | 2021-11-16 |
Family
ID=78481797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110975782.0A Pending CN113658048A (zh) | 2021-08-24 | 2021-08-24 | 一种采用超分辨率重建方式进行肺部ct图像填充的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658048A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824273A (zh) * | 2014-03-19 | 2014-05-28 | 中科院成都信息技术股份有限公司 | 基于复合运动和自适应非局部先验的超分辨率重建方法 |
| CN108416821A (zh) * | 2018-03-08 | 2018-08-17 | 山东财经大学 | 一种深度神经网络的ct图像超分辨重建方法 |
| CN108898588A (zh) * | 2018-06-22 | 2018-11-27 | 中山仰视科技有限公司 | 基于时间序列的治疗效果评估方法、电子设备 |
| CN111881915A (zh) * | 2020-07-15 | 2020-11-03 | 武汉大学 | 一种基于多种先验信息约束的卫星视频目标智能检测方法 |
-
2021
- 2021-08-24 CN CN202110975782.0A patent/CN113658048A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824273A (zh) * | 2014-03-19 | 2014-05-28 | 中科院成都信息技术股份有限公司 | 基于复合运动和自适应非局部先验的超分辨率重建方法 |
| CN108416821A (zh) * | 2018-03-08 | 2018-08-17 | 山东财经大学 | 一种深度神经网络的ct图像超分辨重建方法 |
| CN108898588A (zh) * | 2018-06-22 | 2018-11-27 | 中山仰视科技有限公司 | 基于时间序列的治疗效果评估方法、电子设备 |
| CN111881915A (zh) * | 2020-07-15 | 2020-11-03 | 武汉大学 | 一种基于多种先验信息约束的卫星视频目标智能检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 房诗婷 等: "基于多模型高斯过程回归的肺部四维计算机断层扫描超分辨率重建", 《生物医学工程学杂志》, vol. 34, no. 6, pages 922 - 927 * |
| 肖进胜 等: "基于轮廓模板和自学习的图像纹理增强超采样算法", 《自动化学报》, vol. 42, no. 8, pages 1248 - 1258 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Anwar et al. | Densely residual laplacian super-resolution | |
| CN109389552B (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
| Sajjadi et al. | Frame-recurrent video super-resolution | |
| Purkait et al. | Super resolution image reconstruction through Bregman iteration using morphologic regularization | |
| Lu et al. | Deep texture and structure aware filtering network for image smoothing | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN109544478B (zh) | 一种基于奇异值分解的非局部均值ct图像降噪方法 | |
| CN111161269B (zh) | 图像分割方法、计算机设备和可读存储介质 | |
| CN108460723B (zh) | 基于邻域相似性的双边全变分图像超分辨率重建方法 | |
| López-Tapia et al. | Fast and robust cascade model for multiple degradation single image super-resolution | |
| CN111199197A (zh) | 一种人脸识别的图像提取方法及处理设备 | |
| CN112837220B (zh) | 一种提高红外图像分辨率的方法及其用途 | |
| CN113450275A (zh) | 基于元学习的画质增强系统及方法、存储介质 | |
| CN111681168B (zh) | 一种基于并行残差网络的低分辨率细胞超分辨率重建方法 | |
| CN113658048A (zh) | 一种采用超分辨率重建方式进行肺部ct图像填充的方法 | |
| CN111311531A (zh) | 图像增强方法、装置、控制台设备及医学成像系统 | |
| Xie et al. | Bidirectionally aligned sparse representation for single image super-resolution | |
| CN110674862B (zh) | 基于内部样例的邻域回归的超分辨率方法 | |
| Zhang et al. | Bilateral upsampling network for single image super-resolution with arbitrary scaling factors | |
| WO2024108438A1 (zh) | 一种速度编码磁共振成像的运动伪影校正方法 | |
| Han et al. | Blind super-resolution for single image reconstruction | |
| CN116309922B (zh) | Ct灌注影像的去伪影方法、装置、设备和存储介质 | |
| CN116681715B (zh) | 基于像素值变化的血管分割方法、装置、设备和存储介质 | |
| EP4343680A1 (en) | De-noising data | |
| WO2023070495A1 (zh) | 图像处理方法、电子设备和非瞬态计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |