CN110599530B - 基于双正则约束的mvct图像纹理增强方法 - Google Patents
基于双正则约束的mvct图像纹理增强方法 Download PDFInfo
- Publication number
- CN110599530B CN110599530B CN201910826749.4A CN201910826749A CN110599530B CN 110599530 B CN110599530 B CN 110599530B CN 201910826749 A CN201910826749 A CN 201910826749A CN 110599530 B CN110599530 B CN 110599530B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- mvct
- layer
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000002708 enhancing effect Effects 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000002591 computed tomography Methods 0.000 claims description 8
- 230000009977 dual effect Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 claims description 3
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000020411 cell activation Effects 0.000 claims description 2
- 238000011423 initialization method Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 1
- 238000001959 radiotherapy Methods 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011249 preoperative chemoradiotherapy Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双正则约束的MVCT图像纹理增强方法，主要解决现有技术不能进行MVCT图像增强的问题。其方案是：1)从人体同一部位获取多张KVCT和MVCT图像；2)对获得的CT图像数据集进行归一化，再在每对CT图像上进行取块，得到CT图像块数据集；3)建立一个13层的MVCT图像纹理增强网络，使用CT图像块数据集作为训练数据，使用梯度下降算法优化该网络，得到训练好的网络；4)输入一张完整的MVCT图像到该训练好的网络中，即可输出增强后的MVCT图像。本发明能在图像纹理增强的同时，较好地保持图像的边缘和细节，提高图像质量，便于医生对MVCT图像阅片诊断，修正病灶位置误差，保证放疗的准确性。
Description
技术领域
本发明属于医学图像处理技术领域，特别涉及一种MVCT图像纹理增强的方法，可用于提高CT图像质量和成像器官、组织的可视效果。
背景技术
兆伏计算机断层扫描MVCT和千伏计算机断层扫描KVCT是X射线CT中常见的两种形式。相比于KVCT，MVCT设备成像管电压较高，可以发现组织器官中的癌变区域，广泛用于肿瘤和癌症的术前放射治疗中。但是MVCT噪声大，不适合跟踪治疗。目前主流的做法是治疗前使用MVCT成像，与放疗计划的KVCT图像配准，修正病灶位置误差从而保证放疗的准确性。随着人们对CT辐射的关注，对人体伤害较少的MVCT的使用率会逐渐提升。这对改善MVCT图像的质量达到医生阅片诊断的标准提出了要求。通常，在治疗过程中获取的MVCT图像缺少对应的高对比度及无噪图像作为参考和评价，难以通过学习的方式进行MVCT图像的增强。所以，急需一种有效的方法以提高MVCT图像的质量。
当前，MVCT图像增强主要集中在图像去噪方向，其采取的方法有两类，一类是基于投影域的方法，其包括双边滤波、静态小波变换，最大后验概率估计等，这些方法对原始信号依赖性强，去噪之后的图像在分辨率上会有一定的降低；另一类是基于神经网络的方法，其包括RED-CNN，降噪自动编码机，DnCNN等，这些方法去噪之后的图像在视觉效果以及对比度上没有显著提升，并且会出现软组织边缘模糊等现象。
此外，所述这两类方法的最大不足是：由于只将MVCT图像的增强任务简化为去噪任务，而这种单纯的去噪既不能很大地改善图像质量，而且还会损失MVCT图像的对比度和细节信息。导致在治疗过程中的病人仍然需要进行KVCT成像来提供CT图像的细节信息，辅助医生更好的制定治疗方案。
发明内容
本发明目的在于针对上述方法在图像增强过程中的不足，提供一种基于双正则约束的MVCT图像纹理增强方法，以在保持MVCT图像灰度信息和梯度信息，及去除MVCT图像噪声的同时，增强MVCT图像纹理，减少模糊边缘和损失细节的现象，提高图像的质量。
为实现上述目的，其实现方案包括如下：
1.一种基于双正则约束的MVCT图像纹理增强方法，其特征在于，包括如下：
(1)使用兆伏计算机断层扫描MVCT设备和千伏计算机断层扫描KVCT设备对人体同一部位进行成像，得到多张成对的MVCT图像X和KVCT图像Y，记为{X,Y}，其中，MVCT成像时能量为6MV，KVCT成像时能量为120KV，将多个{X,Y}记为图像数据集DA；
(2)对图像数据集DA中每张MVCT和KVCT图像进行归一化操作，即将CT图像的亨氏单位Hu值映射到区间[0,1]；
(3)对图像数据集DA中每对MVCT图像和KVCT图像进行取块，建立图像块数据集DP；
(4)搭建基于双正则约束的MVCT图像纹理增强网络N，并初始化：
(4a)根据得到的图像块数据集DP，通过交叉验证设置一个包括输入层、边缘算子层、残差层、反卷积层和输出层的13层网络，构成基于双正则约束的MVCT图像纹理增强网络N，网络的输入为MVCT图像，输出为增强后的MVCT图像；
(4b)用MSRA初始化方法初始化网络的权值W，并将网络的所有偏置b初始化为0；
(5)使用图像块数据集DP，训练基于双正则约束的MVCT图像纹理增强网络N：
(5a)打乱图像块数据集DP中图像块对的顺序，依次从DP中选择MVCT图像的一个训练块XP和KVCT图像的一个训练块YP，记为一个训练样本对{XP,YP}；
(5b)将XP和YP输入到网络N中，经过前向传播，在反卷积层第一次卷积后得到输出结果
和
第二次卷积后得到输出结果
和
网络的输出为增强后的MVCT图像块AT；
(5c)根据两次反卷积的输出结果
和
计算KVCT和MVCT图像特征图之间的差异，得到图像纹理增强网络N的双正则约束损失La；
(5d)根据图像纹理增强网络N的输入XP、YP和增强后的MVCT图像块AT，分别计算生成式网络GAN的损失Lb和循环生成式网络Cycle GAN的损失Lc；
(5e)对图像纹理增强网络N的双正则约束损失La、生成式网络GAN的损失Lb和循环生成式网络Cycle GAN损失Lc进行线性加权，得到图像纹理增强网络N的整体损失：
LN＝α×La+β×Lb+γ×Lc，
其中α为双正则约束损失La的权重系数，β为生成式网络GAN的损失Lb的权重系数，γ为循环生成式网络Cycle GAN损失Lc的权重系数；
(5f)根据图像纹理增强网络N的输入XP、YP和增强后的MVCT图像块AT，计算判别函数D_Y的损失Ld和判别函数D_X的损失Le；
(5g)在边缘算子层使用Laplace卷积核g卷积输入图像纹理增强网络N的MVCT图像训练块XP，得到该训练块的梯度图Gx；
(5h)更新图像纹理增强网络N的权值W和所有偏置b：
(5h1)根据图像纹理增强网络N的整体损失LN和判别函数D_Y的损失Ld，使用自适应矩估计优化器对网络的权值W和所有偏置b进行更新；
(5h2)根据图像纹理增强网络N的整体损失LN和判别函数D_X的损失Le，使用自适应矩估计优化器对网络的权值W和所有偏置b进行更新；
(5i)重复以上步骤(5a)到(5h)，直到达到网络训练的最大迭代次数T＝5000，得到训练好的MVCT图像纹理增强网络NT；
(6)将一张完整的MVCT图像XT输入到训练好的图像纹理增强网络NT中，经过该增强网络NT的前向传播，得到增强后的MVCT图像AT。
本发明与现有技术相比具有以下优点：
1.本发明由于在MVCT图像纹理增强网络的整体损失LN加入双正则约束损失La，在生成式网络GAN中加入判别函数D_Y的损失Ld和判别函数D_X的损失Le，在训练过程中优化LN、Ld和Le，通过生成式网络和判别函数的博弈，对图像纹理增强网络和判别函数的权值不断更新，可使得增强后的MVCT图像不仅在视觉效果上接近KVCT图像，而且在图像统计信息上也尽可能地符合KVCT图像的灰度统计分布规律。
2.本发明由于在MVCT图像纹理增强网络的训练过程中，使用双正则约束损失对网络的反卷积层进行约束，使得输入MVCT图像在一系列卷积操作后获得的高阶特征图，经过图像纹理增强网络的重构后，输出的增强MVCT图像更加逼近KVCT图像，并能恢复出比较清晰的纹理信息。
3.本发明由于使用边缘算子将MVCT图像提取的边缘信息加入到图像纹理增强网络的输出层，使得输出MVCT图像边缘这一高频信息与输入MVCT图像保持一致，增强了MVCT图像中的组织边缘信息。
4.本发明是直接在图像域进行去噪和增强，应用范围更广泛。
附图说明
图1是本发明的实现流程图；
图2是本发明中所使用的MVCT图像；
图3是本发明中所使用的KVCT图像；
图4是本发明中的图像取块示例图；
图5是本发明中构建的基于双正则约束的MVCT图像纹理增强网络；
图6是用本发明对MVCT图像纹理增强后的结果图。
具体实施方式
以下结合附图，对本发明的具体实施例和效果作进一步的解释和说明：
参照图1，本发明基于双正则约束的MVCT图像纹理增强方法，其实现步骤如下：
步骤1：数据准备。
1a)使用兆伏计算机断层扫描MVCT设备和千伏计算机断层扫描KVCT设备对人体同一部位进行成像，得到多张成对的MVCT图像X和KVCT图像Y，将每对记为{X,Y}，其中，MVCT成像时能量为6MV，如图2所示，图像的大小为512*512；KVCT成像时能量为120KV，如图3所示，图像的大小为512*512，将多个{X,Y}对组成图像数据集DA；
1b)对图像数据集DA中每张MVCT和KVCT图像进行归一化操作：
(1b1)将输入CT图像的亨氏单位Hu值范围[-1024,3071]线性平移至[0,4095]，得到Hu值范围线性平移后的图像
其中，X为输入的CT图像；
(1b2)将平移后的Hu值范围[0,4095]归一化到[0,1]，得到归一化后的图像y：
其中
为平移后的CT图像，
表示平移后CT图像Hu值的最小值，
表示平移后CT图像Hu值的最大值；
1c)对图像数据集DA中归一化后的中每对CT图像进行取块，建立图像块数据集DP；
参照图4，本步骤的具体实现如下：
(1c1)在MVCT图像上的中心区域随机选择位置，记录此位置，并以此位置从左上角向右下方截取尺寸为64*64的图像块XP，共计取32个；
(1c2)在KVCT图像上，根据在MVCT图像上记录的取块位置，并以此位置从左上角向右下方截取尺寸为64*64的图像块YP，共计取32个；
(1c3)将截取的图像块XP和YP，记为CT图像块对{XP,YP}；
(1c4)重复操作(1c1)到(1c3)，依次处理DA中每一对CT图像，同时去除部分孔洞图像，得到CT图像块数据集DP。
步骤2：构成基于双正则约束的MVCT图像纹理增强网络N。
根据得到的图像块数据集DP，通过交叉验证设置一个包括输入层、边缘算子层、残差层、反卷积层和输出层的13层网络，网络的输入为MVCT图像，输出为增强后的MVCT图像。
参照图5，本步骤的具体实现如下：
2a)第1到第3层是输入层，每层包含一个卷积层Conv和一个修正线性单元激活层Relu，其中第一个卷积层Conv的卷积核大小为7*7，移动步长为1，第二个卷积层Conv和第三个卷积层Conv的卷积核大小均为3*3，移动步长为2；
2b)第4层到第9层是残差层Res block，每层都由同一种模块构造，该模块由依次连接的一个卷积层Conv、一个修正线性单元激活层Relu和一个卷积层Conv组成，其中每个卷积层Conv均含有64个卷积核，每个卷积核大小为3*3；
2c)第10层到第11层是反卷积层，每层包含一个反卷积层Deconv和一个修正线性单元激活层Relu，其中，反卷积层Deconv只包含一个卷积核，卷积核大小为3*3；
2d)第12层是边缘算子层，其包含一个卷积核大小为3*3的Laplace；
2e)第13层是输出层，其包含一个卷积核大小为3*3卷积层Conv和一个修正线性单元激活层tanh。
上述网络N中的卷积层，其数学形式如下：
其中，
表示网络第l层的第i个特征图，当l＝0时，F0表示网络输入的MVCT图像块，
表示网络第l层的第i个卷积核的权值，
表示网络第l层的第i个卷积核的偏置，nl表示网络第l层的卷积核数量，
表示图像卷积运算，该卷积运算采用“same”方式，以保持卷积前后图像大小不变；
上述图像增强网络N中的修正线性单元激活层ReLU，其数学形式如下：
其中，x表示输入数据。
步骤3，对图像纹理增强网络N的权值W和偏置b进行初始化。
3a)使用MSRA方法对网络N的权值W进行初始化，其公式如下：
其中，W表示网络的权值，N(·,·)表示高斯分布，即网络的权值W服从均值为0，标准差为
的高斯分布；
3b)将网络N的所有偏置b均初始化为数值0。
步骤4：使用图像块数据集DP，训练图像纹理增强网络N。
4a)打乱图像块数据集DP中图像块对的顺序，依次从DP中选择MVCT图像的一个训练块XP和KVCT图像的一个训练块YP，记为一个训练样本对{XP,YP}；
4b)选择边缘检测算子Laplace卷积核g，根据Laplace卷积核g得到输入MVCT图像块的边缘特征图Gx：
其中，XP表示MVCT图像块，
表示图像卷积运算，该卷积运算采用“same”方式，以保持卷积前后图像大小不变；
4c)将XP和YP输入到网络N中，经过前向传播，在反卷积层第一次卷积后得到输出结果
和
第二次卷积后得到输出结果
和
网络的输出为增强后的MVCT图像块AT，根据两次反卷积的输出结果
和
计算KVCT和MVCT图像特征图之间的差异，得到图像纹理增强网络N的双正则约束损失La：
其中，XP是符合MVCT分布规律p(X)的图像，YP是符合KVCT分布规律p(Y)的图像，
和
分别表示图像纹理增强网络N中的第一个反卷积层和第二个反卷积层，
分别表示XP和YP对应的输出特征图；
4d)计算生成式网络GAN的损失Lb：
其中，G(.)是将符合MVCT分布规律p(X)的图像通过图像纹理增强网络N生成符合KVCT分布规律p(Y)的图像的函数，D_Y(.)是判别函数。
4e)计算循环生成式网络Cycle GAN的损失Lc：
其中，XP是符合MVCT分布规律p(X)的图像，YP是符合KVCT分布规律p(Y)的图像，G(.)是将符合MVCT分布规律p(X)的图像通过图像纹理增强网络N生成符合KVCT分布规律p(Y)的图像，F(.)是将符合KVCT分布规律p(Y)的图像通过图像纹理增强网络N生成符合MVCT分布规律p(X)的图像。
4f)根据4c)到4e)的结果，计算图像纹理增强网络N的整体损失LN，按如下公式进行：
LN＝α×La+β×Lb+γ×Lc，
其中，α为图像纹理增强网络N双正则约束损失La的权重系数，其值设为1，β是生成式网络GAN损失Lb的权重系数，其值设为10，γ是循环生成式网络Cycle GAN损失Lc的权重系数，其值设为0.1；
4g)计算图像纹理增强网络N的判别函数D_Y的损失Ld和D_X的损失Le：
其中，XP是符合MVCT分布规律p(X)的，YP是符合KVCT分布规律p(Y)的图像，G(.)是将符合MVCT分布规律p(X)的图像通过图像纹理增强网络N生成符合KVCT分布规律p(Y)的图像，F(.)是将符合KVCT分布规律p(Y)的图像通过图像纹理增强网络N生成符合MVCT分布规律p(X)的图像。
4h)更新图像纹理增强网络N的权值W和所有偏置b:
(4h1)根据图像纹理增强网络N的整体损失LN和判别函数D_Y的损失Ld，使用自适应矩估计优化器对网络的权值W和所有偏置b进行更新；
(4h2)根据图像纹理增强网络N的整体损失LN和判别函数D_X的损失Le，使用自适应矩估计优化器对网络的权值W和所有偏置b进行更新；
其中，通过下式对当前的网络权值更新：
其中，W(k)表示第k次训练后得到的网络权值，W(k+1)表示第k+1次训练后得到的网络权值，b(k)表示第k次训练后得到的网络偏置，b(k+1)表示第k+1次训练后得到的网络偏置；μ表示图像纹理增强网络N的学习率，其初始学习率的值设为0.0002，经过1000次训练后使用多项式衰减函数将学习率调整为0.0001；
4i)重复步骤(4a)到(4h)，直到达到网络训练的最大迭代次数T＝5000，得到训练好的图像纹理增强网络NT。
步骤5：使用训练好的图像纹理增强网络NT对MVCT图像进行增强。
将一张完整的MVCT图像XT，如图6(A)所示，输入到训练好的MVCT图像纹理增强网络NT中，经过该图像纹理增强网络NT的前向传播，得到增强后的CT图像AT，如图6(B)所示。
从图6可以看出，在图像恢复的过程中同时考虑图像灰度信息的重建和图像梯度的保持，得到的增强的后图像细节更丰富、清晰，可视性更好。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于双正则约束的MVCT图像纹理增强方法，其特征在于，包括如下：
(1)使用兆伏计算机断层扫描MVCT设备和千伏计算机断层扫描KVCT设备对人体同一部位进行成像，得到多张成对的MVCT图像X和KVCT图像Y，记为{X,Y}，其中，MVCT成像时能量为6MV，KVCT成像时能量为120KV，将多个{X,Y}记为图像数据集DA；
(2)对图像数据集DA中每张MVCT和KVCT图像进行归一化操作，即将CT图像的亨氏单位Hu值映射到区间[0,1]；
(3)对图像数据集DA中每对MVCT图像和KVCT图像进行取块，建立图像块数据集DP；
(4)搭建基于双正则约束的MVCT图像纹理增强网络N，并初始化：
(4a)根据得到的图像块数据集DP，通过交叉验证设置一个包括输入层、边缘检测算子层、残差层、反卷积层和输出层的13层网络，构成基于双正则约束的MVCT图像纹理增强网络N，网络的输入为MVCT图像，输出为增强后的MVCT图像；
(4b)用MSRA初始化方法初始化网络的权值W，并将网络的所有偏置b初始化为0；
(5)使用图像块数据集DP，训练基于双正则约束的MVCT图像纹理增强网络N：
(5a)打乱图像块数据集DP中图像块对的顺序，依次从DP中选择MVCT图像的一个训练块XP和KVCT图像的一个训练块YP，记为一个训练样本对{XP,YP}；
(5b)将XP和YP输入到网络N中，经过前向传播，在反卷积层第一次卷积后得到输出结果
和
第二次卷积后得到输出结果
和
网络的输出为增强后的MVCT图像块AT；
(5c)根据两次反卷积的输出结果
和
计算KVCT和MVCT图像特征图之间的差异，得到图像纹理增强网络N的双正则约束损失La；
(5d)根据图像纹理增强网络N的输入XP、YP和增强后的MVCT图像块AT，分别计算生成式网络GAN的损失Lb和循环生成式网络Cycle GAN的损失Lc；
(5e)对图像纹理增强网络N的双正则约束损失La、生成式网络GAN的损失Lb和循环生成式网络Cycle GAN损失Lc进行线性加权，得到图像纹理增强网络N的整体损失：
LN＝α×La+β×Lb+γ×Lc，
其中α为双正则约束损失La的权重系数，β为生成式网络GAN的损失Lb的权重系数，γ为循环生成式网络Cycle GAN损失Lc的权重系数；
(5f)根据图像纹理增强网络N的输入XP、YP和增强后的MVCT图像块AT，计算判别函数D_Y的损失Ld和判别函数D_X的损失Le；
(5g)在边缘检测算子层使用Laplace卷积核g卷积输入图像纹理增强网络N的MVCT图像训练块XP，得到该训练块的梯度图Gx；
(5h)更新图像纹理增强网络N的权值W和所有偏置b：
(5h1)根据图像纹理增强网络N的整体损失LN和判别函数D_Y的损失Ld，使用自适应矩估计优化器对网络的权值W和所有偏置b进行更新；
(5h2)根据图像纹理增强网络N的整体损失LN和判别函数D_X的损失Le，使用自适应矩估计优化器对网络的权值W和所有偏置b进行更新；
(5i)重复以上步骤(5a)到(5h)，直到达到网络训练的最大迭代次数T＝5000，得到训练好的MVCT图像纹理增强网络NT；
(6)将一张完整的MVCT图像XT输入到训练好的图像纹理增强网络NT中，经过该增强网络NT的前向传播，得到增强后的MVCT图像AT。
2.根据权利要求1所述的方法，其中(2)对图像数据集DA中每张MVCT图像和KVCT图像进行归一化，其实现如下：
(2a)将输入CT图像的亨氏单位Hu值的范围[-1024,3071]线性平移至[0,4095]，得到Hu值范围线性平移后的图像
其中，X为输入的CT图像；
(2b)将平移后的Hu值范围[0,4095]归一化到[0,1]，得到归一化后的图像y：
其中
为输入的CT图像
表示CT图像Hu值的最小值，
表示CT图像Hu值的最大值。
3.根据权利要求1所述的方法，其中(3)对图像数据集DA中每对CT图像进行取块，建立图像块数据集DP，按如下步骤进行：
(3a)在MVCT图像上的中心区域随机选择位置，记录此位置，并以此位置从左上角向右下方截取尺寸为64*64的图像块XP，共计取32个；
(3b)在KVCT图像上，根据在MVCT图像上记录的取块位置，并以此位置从左上角向右下方截取尺寸为64*64的图像块YP，共计取32个；
(3c)将截取的图像块XP和YP，记为CT图像块对{XP,YP}；
(3d)重复操作(3a)到(3c)，依次处理DA中每一对CT图像，同时去除部分孔洞图像，得到CT图像块数据集DP。
4.根据权利要求1所述的方法，其中(4)中构建的13层MVCT图像纹理增强网络N，结构如下：
第1到第3层是输入层，每层包含一个卷积层Conv和一个修正线性单元激活层Relu，其中第一个卷积层Conv的卷积核大小为7*7，移动步长为1，第二个卷积层Conv和第三个卷积层Conv的卷积核大小均为3*3，移动步长为2；
第4层到第9层是残差层Res block，每层都由同一种模块构造，该模块由依次连接的一个卷积层Conv、一个修正线性单元激活层Relu和一个卷积层Conv组成，其中每个卷积层Conv均含有64个卷积核，每个卷积核大小为3*3；
第10层到第11层是反卷积层，每层包含一个反卷积层Deconv和一个修正线性单元激活层Relu，其中，反卷积层Deconv只包含一个卷积核，卷积核大小为3*3；
第12层是边缘检测算子层，其包含一个卷积核大小为3*3的Laplace；
第13层是输出层，其包含一个卷积核大小为3*3卷积层Conv和一个修正线性单元激活层tanh。
5.根据权利要求1所述的方法，其中(5c)中计算图像纹理增强网络N的双正则约束损失La，按如下公式进行：
其中，XP符合MVCT分布规律p(X)，YP符合KVCT分布规律p(Y)的图像，
和
分别表示图像纹理增强网络N中的第一个反卷积层和第二个反卷积层，
分别表示XP和YP对应的输出特征图。
6.根据权利要求1所述的方法，其中(5d)中计算生成式网络GAN的损失Lb，按如下公式进行：
其中，G(.)是将符合MVCT分布规律p(X)的图像通过图像纹理增强网络N生成符合KVCT分布规律p(Y)的图像的函数，D_Y(.)是判别函数。
7.根据权利要求1所述的方法，其中(5d)中计算循环生成式网络Cycle GAN的损失Lc，按如下公式进行：
其中，XP是符合MVCT分布规律p(X)的图像，YP是符合KVCT分布规律p(Y)的图像，G(.)是将符合MVCT分布规律p(X)的图像通过图像纹理增强网络N生成符合KVCT分布规律p(Y)的图像，F(.)是将符合KVCT分布规律p(Y)的图像通过图像纹理增强网络N生成符合MVCT分布规律p(X)的图像。
8.根据权利要求1所述的方法，其中(5e)中计算图像纹理增强网络N的整体损失LN，按如下公式进行：
LN＝α×La+β×Lb+γ×Lc，
其中，La是图像纹理增强网络N的双正则约束损失，Lb和是生成式网络GAN的的损失，Lc是循环生成网络Cycle GAN的损失，α为双正则约束损失La的权重系数，其值设为1，β是损失Lb的权重系数，其值设为10，γ是损失Lc的权重系数，其值设为0.1。
9.根据权利要求1所述的方法，其中(5f)中计算判别函数D_Y的损失Ld和D_X的损失Le，按如下公式进行：
其中，XP是符合MVCT分布规律p(X)的图像，YP是符合KVCT分布规律p(Y)的图像，G(.)是将符合MVCT分布规律p(X)的图像通过图像纹理增强网络N生成符合KVCT分布规律p(Y)的图像，F(.)是将符合KVCT分布规律p(Y)的图像通过图像纹理增强网络N生成符合MVCT分布规律p(X)的图像。
10.根据权利要求1所述的方法，其中(5h)中根据图像纹理增强网络N的整体损失LN和判别函数D_Y的损失Ld和D_X的损失Le，使用梯度下降算法对网络的权值W和所有偏置b进行更新，按如下公式进行：
其中，W(k)表示第K次训练后得到的网络权值，W(k+1)表示第K+1次训练后得到的网络权值，b(k)表示第K次训练后得到的网络偏置，b(k+1)表示第K+1次训练后得到的网络偏置，α表示网络N的学习率，其初始学习率的值设为0.0002，经过1000次训练后使用多项式衰减函数将学习率调整为0.0001。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910826749.4A CN110599530B (zh) | 2019-09-03 | 2019-09-03 | 基于双正则约束的mvct图像纹理增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910826749.4A CN110599530B (zh) | 2019-09-03 | 2019-09-03 | 基于双正则约束的mvct图像纹理增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599530A CN110599530A (zh) | 2019-12-20 |
| CN110599530B true CN110599530B (zh) | 2022-03-04 |
Family
ID=68857358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910826749.4A Active CN110599530B (zh) | 2019-09-03 | 2019-09-03 | 基于双正则约束的mvct图像纹理增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599530B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907691A (zh) * | 2021-03-26 | 2021-06-04 | 深圳安科高技术股份有限公司 | 基于神经网络的ct图像重建方法、装置、设备及存储介质 |
| CN113314109B (zh) * | 2021-07-29 | 2021-11-02 | 南京烽火星空通信发展有限公司 | 一种基于循环生成网络的语音生成方法 |
| CN114511475B (zh) * | 2022-04-21 | 2022-08-02 | 天津大学 | 一种基于改进Cycle GAN的图像生成方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578455A (zh) * | 2017-09-02 | 2018-01-12 | 西安电子科技大学 | 基于卷积神经网络的任意尺寸样本纹理合成方法 |
| CN109308689A (zh) * | 2018-10-15 | 2019-02-05 | 聚时科技(上海)有限公司 | 基于掩码生成对抗网络迁移学习的无监督图像修复方法 |
| CN109410127A (zh) * | 2018-09-17 | 2019-03-01 | 西安电子科技大学 | 一种基于深度学习与多尺度图像增强的图像去噪方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023200B (zh) * | 2016-05-19 | 2019-06-28 | 四川大学 | 一种基于泊松模型的x光胸片图像肋骨抑制方法 |
| US10311326B2 (en) * | 2017-03-31 | 2019-06-04 | Qualcomm Incorporated | Systems and methods for improved image textures |
-
2019
- 2019-09-03 CN CN201910826749.4A patent/CN110599530B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578455A (zh) * | 2017-09-02 | 2018-01-12 | 西安电子科技大学 | 基于卷积神经网络的任意尺寸样本纹理合成方法 |
| CN109410127A (zh) * | 2018-09-17 | 2019-03-01 | 西安电子科技大学 | 一种基于深度学习与多尺度图像增强的图像去噪方法 |
| CN109308689A (zh) * | 2018-10-15 | 2019-02-05 | 聚时科技(上海)有限公司 | 基于掩码生成对抗网络迁移学习的无监督图像修复方法 |
Non-Patent Citations (2)
| Title |
|---|
| Denoised and texture enhanced MVCT to improve soft tissue conspicuity;Ke Sheng等;《Medical Physics》;20141031;第41卷(第10期);第1-10页 * |
| 基于GAN的海防船只图像增强;王向阳等;《探索与观察》;20190715(第12期);第27-28,31页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599530A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961237B (zh) | 一种基于卷积神经网络的低剂量ct图像分解方法 | |
| CN109146988B (zh) | 基于vaegan的非完全投影ct图像重建方法 | |
| JP2020168352A (ja) | 医用装置及びプログラム | |
| CN108492269B (zh) | 基于梯度正则卷积神经网络的低剂量ct图像去噪方法 | |
| CN110599530B (zh) | 基于双正则约束的mvct图像纹理增强方法 | |
| CN111429379B (zh) | 一种基于自监督学习的低剂量ct图像去噪方法及系统 | |
| US20050135664A1 (en) | Methods and apparatus for reconstruction of volume data from projection data | |
| WO2006039809A1 (en) | Method and apparatus for metal artifact reduction in computed tomography | |
| CN112258415A (zh) | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 | |
| US11605162B2 (en) | Systems and methods for determining a fluid and tissue volume estimations using electrical property tomography | |
| CN112017131B (zh) | Ct图像金属伪影去除方法、装置及计算机可读存储介质 | |
| Savanier et al. | Deep unfolding of the dbfb algorithm with application to roi ct imaging with limited angular density | |
| CN113205461B (zh) | 一种低剂量ct影像去噪模型训练方法、去噪方法及装置 | |
| Wu et al. | Masked joint bilateral filtering via deep image prior for digital X-ray image denoising | |
| WO2022174155A1 (en) | Metal artifact reduction algorithm for ct-guided interventional procedures | |
| KR102137765B1 (ko) | 사전 영상을 이용하는 고품질의 4차원 콘빔 전산화 단층 촬영 시스템 | |
| Xia et al. | Dynamic controllable residual generative adversarial network for low-dose computed tomography imaging | |
| JP7362460B2 (ja) | 医用画像処理装置、方法及び記憶媒体 | |
| CN114387257A (zh) | 肺部影像中肺叶区域的分割方法、系统、装置和介质 | |
| Zhu et al. | CT metal artifact correction assisted by the deep learning-based metal segmentation on the projection domain | |
| Mahmoud et al. | Variant Wasserstein Generative Adversarial Network Applied on Low Dose CT Image Denoising. | |
| Liu et al. | An effective COVID-19 CT image denoising method based on a deep convolutional neural network | |
| Zainulina et al. | Self-supervised physics-based denoising for computed tomography | |
| CN117274080B (zh) | 一种低剂量ct弦图恢复方法及相关装置 | |
| Khaleghi et al. | Neural network performance evaluation of simulated and genuine head-and-neck computed tomography images to reduce metal artifacts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |