CN112330790A - 基于对抗学习与自适应色度修正的ct图像自动着色方法 - Google Patents
基于对抗学习与自适应色度修正的ct图像自动着色方法 Download PDFInfo
- Publication number
- CN112330790A CN112330790A CN202011311549.4A CN202011311549A CN112330790A CN 112330790 A CN112330790 A CN 112330790A CN 202011311549 A CN202011311549 A CN 202011311549A CN 112330790 A CN112330790 A CN 112330790A
- Authority
- CN
- China
- Prior art keywords
- chromaticity
- image
- information
- reconstruction
- chroma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004040 coloring Methods 0.000 title claims abstract description 29
- 238000012937 correction Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 24
- 238000009826 distribution Methods 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 7
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 30
- 210000003484 anatomy Anatomy 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000009792 diffusion process Methods 0.000 abstract 1
- 238000013507 mapping Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G06T5/70—
-
- G06T5/73—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Abstract
本发明公开一种基于对抗学习与自适应色度修正的CT图像自动着色方法，本方法通过对抗生成学习网络对公开的人体解剖组织切片数据集进行色度的学习，色度重建模型在多器官分割网络的辅助下，更准确地对不同器官和组织所在的区域着色。利用训练好的色度重建模型对CT图像进行全局色度重建后，根据全局色度重建后的效果选取种子点实现局部区域的分割，通过分割掩模和从调色盘选取参考色度信息，基于局部区域中原始Hu值特征分布进行颜色扩散，实现对局部区域进行色度修正，将修正后的结果作为新的监督，对色度重建模型进行精细训练调整，使CT着色结果更加逼真。
Description
技术领域
本发明涉及医学图像着色技术领域，尤其涉及一种基于对抗学习与自适应色度修正的CT图像自动着色方法。
背景技术
医学CT图像能够显示人体内部组织结构的解剖信息，具有重要的临床诊断价值。受成像技术的限制，现有CT设备只能重建灰度图像，无法重建彩色图像。但是与灰度图像相比，人眼对彩色图像的敏感性更高，因此如何重建彩色CT图像对提高医生阅片的准确率具有重要的研究意义与临床应用价值，同时丰富医学图像重建与自动彩色化理论。
传统的自然图像着色方法通常是人工选取初始着色点，通过向相似纹理的像素传播颜色信息实现半自动着色。在医学图像着色通常将单通道灰度图像的像素值作为参考来生成伪彩色图像，用不同的颜色分别来显示不同的组织器官、或代谢信息。但伪彩色方法生成的彩色医学图像损失了对诊断非常重要的纹理信息，生成的伪彩色图像不能很好地接近真实解剖结构的颜色，而且人工干预过多，主观性强，无法实现完全自动化。
发明内容
针对上述现有技术的不足，本发明提供一种基于对抗学习与自适应色度修正的CT图像自动着色方法。
为解决上述技术问题，本发明所采取的技术方案是：一种基于对抗学习与自适应色度修正的CT图像自动着色方法，包括如下步骤：
步骤1：基于对抗学习从人体解剖彩色切片图像序列中学习色度，训练出全局色度重建模型，包括如下步骤：
步骤1.1：对现有的人体解剖彩色切片图像序列进行预处理，去除背景区域内的噪声和干扰颜色，并进行统一剪裁至相同的大小，之后将三通道RGB彩色图像转化至LAB空间，其中L通道作为单通道灰度图，AB两通道作为色度信息，过程如下：
步骤1.1.1：读取人体解剖彩色切片图像序列；
步骤1.1.2：对人体解剖彩色切片图像中的黑色背景进行去噪，去除原图中呈现绿色的标本保存液体，并将图像大小统一调整相同的像素；
步骤1.1.3：对调整大小后的人体解剖彩色切片图像序列随机选出80％作为训练集，剩余20％作为验证集；
步骤1.1.4：对训练集中的人体解剖彩色切片图像以一定采样间隔和滑窗大小进行滑窗剪裁，剪裁成大小固定的图块；
步骤1.1.5：将RGB三通道的人体解剖彩色切片图像转换至LAB空间，提取出L通道作为灰度图像，且作为之后的神经网络训练的输入信息；AB两通道作为色度信息，且作为之后的神经网络训练的监督信息。
步骤1.2：对经过处理后得到的人体解剖切片灰度图进行信息增强和归一化；
将人体解剖灰度图像分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0，1]范围。
步骤1.3：对经过信息增强后的三个通道图像分别应用编码和注意力机制后，进行融合，得到单通道的特征向量；利用由编码器-解码器神经网络组成的色度重建模型进行色度重建；基于编码器-解码器神经网络组成的多器官分割网络作为辅助网络提供多器官分割信息；由编码器神经网络组成的分类器作为判别器，判断色度重建结果的好与坏，实现对抗学习，过程如下：
步骤1.3.1：对信息增强后的三个通道图像分别利用由3层卷积和空间注意力机制模块组成的通路进行独立编码，并将其结果进行融合，得到单通道的特征向量；
步骤1.3.2：将融合后的单通道特征向量由编码器-解码器神经网络组成的色度重建模型进行色度重建，其中色度分布相似性函数
作为损失函数约束色度重建模型进行优化训练，生成色度信息ABpre；生成的色度信息ABpre与标签ABgt一起输入到判别器，由判别器对色度重建结果进行判定，输入标签的结果为1，输入色度重建的结果为0，此过程利用二值交叉熵
作为判别器的损失函数进行优化训练；
步骤1.3.3：将信息增强后的三个通道图像沿图像的通道方向堆叠，得到三通道特征向量，输入到已加载预训练权重的多器官分割辅助网络中，将辅助网络中编码器最后一层特征向量与经过展开后的色度重建模型中编码路径中间层特征向量用特征空间距离
进行约束，对色度重建模型进行优化训练。
其中，色度分布相似性函数
作为色度重建模型的损失函数进行优化，二值交叉熵
作为判别器的损失函数进行优化，特征空间距离
作为多器官分割辅助网络和色度重建模型中间层的特征向量之间约束进行优化的过程如下：
损失函数公式如下所示：
其中，ABgt，ABpre分别为标签色度信息和色度重建模型根据输入灰度图像L预测的色度信息，Gmid(L)，Fmid(L)分别为色度重建模型和预训练的多器官分割网络构成的辅助网络中编码器的最后一层特征映射；D(·)为判别器；λ为损失项权重；
其中，色度分布相似性损失
色度特征空间距离相似性损失
其中，i为标签色度信息ABgt和预测色度信息ABpre中的每个元素；
二值交叉熵公式
如下所示：
其中，y为真实值，
模型预测值。
步骤2：读取患者的二维CT图像序列，并进行预处理，过程如下：
步骤2.1：读取患者的二维CT序列图像，计算出Hu值，调整Hu值的分布，有利于查看不同器官；计算Hu的公式如下：
Hu＝Pixels×slopes+intercepts
其中，Pixels为CT图像的像素值，slopes为Hu值计算公式中的斜率；intercepts为Hu值计算公式中的截距；
步骤2.2：将CT图像统一调整分辨率。
步骤3：对预处理后的二维CT图像序列进行信息增强和归一化处理，过程为：将预处理后的CT图像序列分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0，1]范围。
步骤4：利用步骤1中训练好的全局色度重建模型，对步骤3中信息增强和归一化处理后的CT图像序列进行色度重建，实现医用CT图像序列的全局色度重建，过程如下：
步骤4.1：加载色度重建网络模型的网络权重，输入信息增强后的CT图像；
步骤4.2：得到色度重建模型预测的ABpre色度信息，与原始CT图像合成为LAB空间的图像，在转化至RGB通道进行可视化。
步骤5：肉眼观察彩色化质量，在着色效果不好的区域选取修正种子点和从调色板选择参考色度，基于Hu值分布特征自适应色度修正，得到色度更加逼真的CT图像，过程如下：
步骤5.1：肉眼观察彩色化质量，选取着色效果不好的局部区域，在局部区域和局部区域外的背景区域标注种子点，利用图割方法进行区域分割，得到所选区域的掩模；
其中，通过最小化能量函数来实现局部区域的前景和背景的分割，能量函数公式为：
E(L)＝αR(L)+B(L)
其中，L＝{l0，l1，l2，...lp}为图像中每个像素点标签的集合，li＝0(0≤i≤p)为背景，li＝1(0≤i≤p)为前景，R(L)为区域项，代表区域因素对能量函数的影响，B(L)为边界项，代表边界因素对能量函数的影响，α为区域因素和边界因素之间的权重关系；
其中，R(L)公式如下：
其中，P(li|A)代表像素i属于标签li的概率，即像素i分别属于前景和背景的条件概率；A＝foreground时代表该像素为前景，A＝background时代表该像素为背景；
B(L)公式如下：
其中，i和j分别为图像中相邻的像素，δ(li，lj)根据相邻像素值是否相同在0和1之间变化，σ2为图像的方差；
步骤5.2：利用分割得到的掩模，对局部区域进行提取，并从现有的调色板中选取合适的参考色度对该区域扩散；
为了将所选的参考色度在分割出的局部区域中区别不同的纹理结构，利用该局部区域的Hu值d(i，j)作为权重，对于修正后的图像中坐标为(i，j)的像素点处色度信息公式为：
其中，d为分割出的局部区域的像素Hu值，ABref为临床医生从调色板中选取的色度信息，实现局部区域的色度自适应修正，得到色度更加逼真的CT图像。
步骤6：将修正后的色度重建结果，整理成新的数据集，修正后的色都重建结果作为先验知识加入到色度重建模型的训练过程，对色度重建模型的性能的进行精细调整。
采用上述技术方案所产生的有益效果在于：
1、本发明基于编码器-解码器神经网络作为CT图像的全局色度重建模型，优点为可以充分学习医学图像中深层的语义信息和浅层的形状纹理信息；
2、本发明通过对抗学习提高重建色度的逼真性；
3、本发明提出了基于Hu值分布特征自适应色度修正方法，对局部色度进一步优化，提高难以着色器官的色度质量，实现更加精准的人体内部器官的着色。
附图说明
图1为本发明实施例中训练全局色度重建模型的流程图；
图2为本发明实施例中医学CT图像自动着色方法的流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例的基于对抗学习与自适应色度修正的医用CT图像自动着色方法，运行在Intel内核的Windows10系统环境中，基于Python和Pytorch框架进行医学图像着色，包括如下步骤：
步骤1：基于对抗学习从人体解剖彩色切片图像序列中学习色度，训练出全局色度重建模型，其流程如图1所示，包括如下步骤：
步骤1.1：本实施例读取人体解剖彩色图像序列，共有2050张切片图像，进行预处理，去除背景区域内的噪声和干扰颜色，并进行统一剪裁至相同的大小，之后将三通道RGB彩色图像转化至LAB空间，其中L通道作为单通道灰度图，AB两通道作为色度信息，过程如下：
步骤1.1.1：读取2050张人体解剖彩色切片图像序列；
步骤1.1.2：对人体解剖彩色切片图像中的黑色背景进行去噪，去除原图中呈现绿色的标本保存液体，并将图像大小统一调整为512*307像素大小；
步骤1.1.3：对调整大小后的人体解剖彩色切片图像序列随机选出80％(1640张图像)作为训练集，剩余20％(410张图像)作为验证集；
步骤1.1.4：对训练集中的人体解剖彩色切片图像以采样间隔32和滑窗大小为128*128进行滑窗剪裁，剪裁成大小为128*128的图块；
步骤1.1.5：将RGB三通道的人体解剖彩色切片图像转换至LAB空间，提取出L通道作为灰度图像，且作为之后的神经网络训练的输入信息；AB两通道作为色度信息，且作为之后的神经网络训练的监督信息。
步骤1.2：对经过处理后得到的人体解剖切片灰度图进行信息增强和归一化；
将人体解剖灰度图像分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0，1]范围。
步骤1.3：对经过信息增强后的三个通道图像分别应用编码和注意力机制后，进行融合，得到单通道的特征向量；利用由编码器-解码器神经网络组成的色度重建模型进行色度重建；基于编码器-解码器神经网络组成的多器官分割网络作为辅助网络提供多器官分割信息；由编码器神经网络组成的分类器作为判别器，判断色度重建结果的好与坏，实现对抗学习，过程如下：
步骤1.3.1：对信息增强后的三个通道图像分别利用由3层卷积和空间注意力机制模块组成的通路进行独立编码，并将其结果进行融合，得到单通道的特征向量；
步骤1.3.2：将融合后的单通道特征向量由编码器-解码器神经网络组成的色度重建模型进行色度重建，其中色度分布相似性函数
作为损失函数约束色度重建模型进行优化训练，生成色度信息ABpre；生成的色度信息ABpre与标签ABgt一起输入到判别器，由判别器对色度重建结果进行判定，输入标签的结果为1，输入色度重建的结果为0，此过程利用二值交叉熵
作为判别器的损失函数进行优化训练；
步骤1.3.3：将信息增强后的三个通道图像沿图像的通道方向堆叠，得到三通道特征向量，输入到已加载预训练权重的多器官分割辅助网络中，将辅助网络中编码器最后一层特征向量与经过展开后的色度重建模型中编码路径中间层特征向量用特征空间距离
进行约束，对色度重建模型进行优化训练。
其中，色度分布相似性函数
作为色度重建模型的损失函数进行优化，二值交叉熵
作为判别器的损失函数进行优化，特征空间距离
作为多器官分割辅助网络和色度重建模型中间层的特征向量之间约束进行优化的过程如下：
损失函数公式如下所示：
其中，ABgt，ABpre分别为标签色度信息和色度重建模型根据输入灰度图像L预测的色度信息，Gmid(L)，Fmid(L)分别为色度重建模型和预训练的多器官分割网络构成的辅助网络中编码器的最后一层特征映射；D(·)为判别器；λ为损失项权重；
其中，色度分布相似性损失
色度特征空间距离相似性损失
其中，i为标签色度信息ABgt和预测色度信息ABpre中的每个元素；
二值交叉熵公式
如下所示：
其中，y为真实值，
模型预测值。接下来采用
步骤2：读取患者的二维CT图像序列，并进行预处理，过程如下：
步骤2.1：读取患者的二维CT序列图像，计算出Hu值，调整Hu值的分布，有利于查看不同器官；计算Hu的公式如下：
Hu＝Pixels×slopes+intercepts
其中，Pixels为CT图像的像素值，slopes为Hu值计算公式中的斜率；intercepts为Hu值计算公式中的截距；
步骤2.2：将CT图像统一调整分辨率。
步骤3：对预处理后的二维CT图像序列进行信息增强和归一化处理，过程为：将预处理后的CT图像序列分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0，1]范围。
步骤4：利用步骤1中训练好的全局色度重建模型，对步骤3中信息增强和归一化处理后的CT图像序列进行色度重建，实现医用CT图像序列的全局色度重建，过程如下：
步骤4.1：加载色度重建网络模型的网络权重，输入信息增强后的CT图像；
步骤4.2：得到色度重建模型预测的ABpre色度信息，与原始CT图像合成为LAB空间的图像，在转化至RGB通道进行可视化。
步骤5：肉眼观察彩色化质量，在着色效果不好的区域选取修正种子点和从调色板选择参考色度，基于Hu值分布特征自适应色度修正，得到色度更加逼真的CT图像，过程如下：
步骤5.1：肉眼观察彩色化质量，选取着色效果不好的局部区域，在局部区域和局部区域外的背景区域标注种子点，利用图割方法进行区域分割，得到所选区域的掩模；
其中，通过最小化能量函数来实现局部区域的前景和背景的分割，能量函数公式为：
E(L)＝αR(L)+B(L)
其中，L＝{l0，l1，l2，...lp}为图像中每个像素点标签的集合，li＝0(0≤i≤p)为背景，li＝1(0≤i≤p)为前景，R(L)为区域项，代表区域因素对能量函数的影响，B(L)为边界项，代表边界因素对能量函数的影响，α为区域因素和边界因素之间的权重关系；
其中，R(L)公式如下：
其中，P(li|A)代表像素i属于标签li的概率，即像素i分别属于前景和背景的条件概率；A＝foreground时代表该像素为前景，A＝background时代表该像素为背景；
B(L)公式如下：
其中，i和j分别为图像中相邻的像素，δ(li，lj)根据相邻像素值是否相同在0和1之间变化，σ2为图像的方差；
步骤5.2：利用分割得到的掩模，对局部区域进行提取，并从现有的调色板中选取合适的参考色度对该区域扩散；
为了将所选的参考色度在分割出的局部区域中区别不同的纹理结构，利用该局部区域的Hu值d(i，j)作为权重，对于修正后的图像中坐标为(i，j)的像素点处色度信息公式为：
其中，d为分割出的局部区域的像素Hu值，ABref为临床医生从调色板中选取的色度信息，实现局部区域的色度自适应修正，得到色度更加逼真的CT图像。
步骤6：将修正后的色度重建结果，整理成新的数据集，修正后的色都重建结果作为先验知识加入到色度重建模型的训练过程，对色度重建模型的性能的进行精细调整。
Claims (9)
1.一种基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，包括如下步骤：
步骤1：基于对抗学习从人体解剖彩色切片图像序列中学习色度，训练出全局色度重建模型，包括如下步骤：
步骤1.1：对现有的人体解剖彩色切片图像序列进行预处理，去除背景区域内的噪声和干扰颜色，并进行统一剪裁至相同的大小，之后将三通道RGB彩色图像转化至LAB空间，其中L通道作为单通道灰度图，AB两通道作为色度信息；
步骤1.2：对经过处理后得到的人体解剖切片灰度图进行信息增强和归一化；
步骤1.3：对经过信息增强后的三个通道图像分别应用编码和注意力机制后，进行融合，得到单通道的特征向量；利用由编码器-解码器神经网络组成的色度重建模型进行色度重建；基于编码器-解码器神经网络组成的多器官分割网络作为辅助网络提供多器官分割信息；由编码器神经网络组成的分类器作为判别器，判断色度重建结果的好与坏，实现对抗学习；
其中，色度分布相似性函数
作为色度重建模型的损失函数进行优化，二值交叉熵
作为判别器的损失函数进行优化，特征空间距离
作为多器官分割辅助网络和色度重建模型中间层的特征向量之间约束进行优化；
步骤2：读取患者的二维CT图像序列，并进行预处理；
步骤3：对预处理后的二维CT图像序列进行信息增强和归一化处理；
步骤4：利用步骤1中训练好的全局色度重建模型，对步骤3中信息增强和归一化处理后的CT图像序列进行色度重建，实现医用CT图像序列的全局色度重建；
步骤5：肉眼观察彩色化质量，在着色效果不好的区域选取修正种子点和从调色板选择参考色度，基于Hu值分布特征自适应色度修正，得到色度更加逼真的CT图像；
步骤6：将修正后的色度重建结果，整理成新的数据集，修正后的色都重建结果作为先验知识加入到色度重建模型的训练过程，对色度重建模型的性能的进行精细调整。
2.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤1.1的过程如下：
步骤1.1.1：读取人体解剖彩色切片图像序列；
步骤1.1.2：对人体解剖彩色切片图像中的黑色背景进行去噪，去除原图中呈现绿色的标本保存液体，并将图像大小统一调整相同的像素；
步骤1.1.3：对调整大小后的人体解剖彩色切片图像序列随机选出80％作为训练集，剩余20％作为验证集；
步骤1.1.4：对训练集中的人体解剖彩色切片图像以一定采样间隔和滑窗大小进行滑窗剪裁，剪裁成大小固定的图块；
步骤1.1.5：将RGB三通道的人体解剖彩色切片图像转换至LAB空间，提取出L通道作为灰度图像，且作为之后的神经网络训练的输入信息；AB两通道作为色度信息，且作为之后的神经网络训练的监督信息。
3.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤1.2的过程如下：
将人体解剖灰度图像分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0,1]范围。
4.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤1.3过程如下：
步骤1.3.1：对信息增强后的三个通道图像分别利用由3层卷积和空间注意力机制模块组成的通路进行独立编码，并将其结果进行融合，得到单通道的特征向量；
步骤1.3.2：将融合后的单通道特征向量由编码器-解码器神经网络组成的色度重建模型进行色度重建，其中色度分布相似性函数
作为损失函数约束色度重建模型进行优化训练，生成色度信息ABpre；生成的色度信息ABpre与标签ABgt一起输入到判别器，由判别器对色度重建结果进行判定，输入标签的结果为1，输入色度重建的结果为0，此过程利用二值交叉熵
作为判别器的损失函数进行优化训练；
步骤1.3.3：将信息增强后的三个通道图像沿图像的通道方向堆叠，得到三通道特征向量，输入到已加载预训练权重的多器官分割辅助网络中，将辅助网络中编码器最后一层特征向量与经过展开后的色度重建模型中编码路径中间层特征向量用特征空间距离
进行约束，对色度重建模型进行优化训练。
5.根据权利要求4所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤1.3中色度分布相似性函数
作为色度重建模型的损失函数进行优化，二值交叉熵
作为判别器的损失函数进行优化，特征空间距离
作为多器官分割辅助网络和色度重建模型中间层的特征向量之间约束进行优化的过程如下：
损失函数公式如下所示：
其中，ABgt，ABpre分别为标签色度信息和色度重建模型根据输入灰度图像L预测的色度信息，Gmid(L)，Fmid(L)分别为色度重建模型和预训练的多器官分割网络构成的辅助网络中编码器的最后一层特征映射；D(·)为判别器；λ为损失项权重；
其中，色度分布相似性损失
色度特征空间距离相似性损失
其中，i为标签色度信息ABgt和预测色度信息ABpre中的每个元素；
二值交叉熵公式
如下所示：
其中，y为真实值，
模型预测值。
6.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤2的过程如下：
步骤2.1：读取患者的二维CT序列图像，计算出Hu值，调整Hu值的分布，有利于查看不同器官；计算Hu的公式如下：
Hu＝Pixels×slopes+intercepts
其中，Pixtls为CT图像的像素值，slopes为Hu值计算公式中的斜率；intercepts为Hu值计算公式中的截距；
步骤2.2：将CT图像统一调整分辨率。
7.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤3的过程如下：
将预处理后的CT图像序列分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0，1]范围。
8.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤4的过程如下：
步骤4.1：加载色度重建网络模型的网络权重，输入信息增强后的CT图像；
步骤4.2：得到色度重建模型预测的ABpre色度信息，与原始CT图像合成为LAB空间的图像，在转化至RGB通道进行可视化。
9.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，所述步骤5过程如下：
步骤5.1：肉眼观察彩色化质量，选取着色效果不好的局部区域，在局部区域和局部区域外的背景区域标注种子点，利用图割方法进行区域分割，得到所选区域的掩模；
其中，通过最小化能量函数来实现局部区域的前景和背景的分割，能量函数公式为：
E(L)＝αR(L)+B(L)
其中，L＝{l0，l1，l2，...lp}为图像中每个像素点标签的集合，li＝0(0≤i≤p)为背景，li＝1(0≤i≤p)为前景，R(L)为区域项，代表区域因素对能量函数的影响，B(L)为边界项，代表边界因素对能量函数的影响，α为区域因素和边界因素之间的权重关系；
其中，R(L)公式如下：
其中，P(li|A)代表像素i属于标签li的概率，即像素i分别属于前景和背景的条件概率；A＝foreground时代表该像素为前景，A＝background时代表该像素为背景；
B(L)公式如下：
其中，i和j分别为图像中相邻的像素，δ(li，lj)根据相邻像素值是否相同在0和1之间变化，σ2为图像的方差；
步骤5.2：利用分割得到的掩模，对局部区域进行提取，并从现有的调色板中选取合适的参考色度对该区域扩散；
为了将所选的参考色度在分割出的局部区域中区别不同的纹理结构，利用该局部区域的Hu值d(i，j)作为权重，对于修正后的图像中坐标为(i，j)的像素点处色度信息公式为：
其中，d为分割出的局部区域的像素Hu值，ABref为临床医生从调色板中选取的色度信息，实现局部区域的色度自适应修正，得到色度更加逼真的CT图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011311549.4A CN112330790B (zh) | 2020-11-20 | 2020-11-20 | 基于对抗学习与自适应色度修正的ct图像自动着色方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011311549.4A CN112330790B (zh) | 2020-11-20 | 2020-11-20 | 基于对抗学习与自适应色度修正的ct图像自动着色方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330790A true CN112330790A (zh) | 2021-02-05 |
| CN112330790B CN112330790B (zh) | 2024-02-02 |
Family
ID=74320939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011311549.4A Active CN112330790B (zh) | 2020-11-20 | 2020-11-20 | 基于对抗学习与自适应色度修正的ct图像自动着色方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330790B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240611A (zh) * | 2021-05-28 | 2021-08-10 | 中建材信息技术股份有限公司 | 一种基于图片序列的异物检测方法 |
| CN113554733A (zh) * | 2021-07-28 | 2021-10-26 | 北京大学 | 基于语言的解耦合条件注入灰度图像彩色化方法 |
| CN116593408A (zh) * | 2023-07-19 | 2023-08-15 | 四川亿欣新材料有限公司 | 一种重质碳酸钙粉体色度检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| US20180318606A1 (en) * | 2015-11-06 | 2018-11-08 | Washington University | Non-invasive imaging and treatment system for cardiac arrhythmias |
| CN108830912A (zh) * | 2018-05-04 | 2018-11-16 | 北京航空航天大学 | 一种深度特征对抗式学习的交互式灰度图像着色方法 |
| CN109712203A (zh) * | 2018-12-29 | 2019-05-03 | 福建帝视信息科技有限公司 | 一种基于自注意力生成对抗网络的图像着色方法 |
| CN109754444A (zh) * | 2018-02-07 | 2019-05-14 | 京东方科技集团股份有限公司 | 图像着色方法和装置 |
| CN111445481A (zh) * | 2020-03-23 | 2020-07-24 | 江南大学 | 一种基于尺度融合的腹部ct多器官的分割方法 |
-
2020
- 2020-11-20 CN CN202011311549.4A patent/CN112330790B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180318606A1 (en) * | 2015-11-06 | 2018-11-08 | Washington University | Non-invasive imaging and treatment system for cardiac arrhythmias |
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| CN109754444A (zh) * | 2018-02-07 | 2019-05-14 | 京东方科技集团股份有限公司 | 图像着色方法和装置 |
| CN108830912A (zh) * | 2018-05-04 | 2018-11-16 | 北京航空航天大学 | 一种深度特征对抗式学习的交互式灰度图像着色方法 |
| CN109712203A (zh) * | 2018-12-29 | 2019-05-03 | 福建帝视信息科技有限公司 | 一种基于自注意力生成对抗网络的图像着色方法 |
| CN111445481A (zh) * | 2020-03-23 | 2020-07-24 | 江南大学 | 一种基于尺度融合的腹部ct多器官的分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| LEILA KIANI 等: "Image Colorization Using a Deep Transfer Learning", 《2020 8TH IRANIAN JOINT CONGRESS ON FUZZY AND INTELLIGENT SYSTEMS (CFIS)》, pages 27 - 32 * |
| 胡迪: "一种基于语义识别的自动配色方案辅助设计工具", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, pages 138 - 5567 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240611A (zh) * | 2021-05-28 | 2021-08-10 | 中建材信息技术股份有限公司 | 一种基于图片序列的异物检测方法 |
| CN113240611B (zh) * | 2021-05-28 | 2024-05-07 | 中建材信息技术股份有限公司 | 一种基于图片序列的异物检测方法 |
| CN113554733A (zh) * | 2021-07-28 | 2021-10-26 | 北京大学 | 基于语言的解耦合条件注入灰度图像彩色化方法 |
| CN116593408A (zh) * | 2023-07-19 | 2023-08-15 | 四川亿欣新材料有限公司 | 一种重质碳酸钙粉体色度检测方法 |
| CN116593408B (zh) * | 2023-07-19 | 2023-10-17 | 四川亿欣新材料有限公司 | 一种重质碳酸钙粉体色度检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330790B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330790B (zh) | 基于对抗学习与自适应色度修正的ct图像自动着色方法 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN111968054B (zh) | 基于潜在低秩表示和图像融合的水下图像颜色增强方法 | |
| CN109872285B (zh) | 一种基于变分约束的Retinex低照度彩色图像增强方法 | |
| CN110046673A (zh) | 基于多特征融合的无参考色调映射图像质量评价方法 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN107169508B (zh) | 一种基于融合特征的旗袍图像情感语义识别方法 | |
| CN101667299B (zh) | 一种数字图像染色方法 | |
| CN110853009A (zh) | 基于机器学习的视网膜病理图像分析系统 | |
| CN110706196B (zh) | 基于聚类感知的无参考色调映射图像质量评价算法 | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| CN111882555B (zh) | 基于深度学习的网衣检测方法、装置、设备及存储介质 | |
| CN111462002B (zh) | 一种基于卷积神经网络的水下图像增强与复原方法 | |
| CN108921205A (zh) | 一种基于多特征融合的皮肤病临床图像分类方法 | |
| CN110910347A (zh) | 一种基于图像分割的色调映射图像无参考质量评价方法 | |
| Zhou et al. | IACC: Cross-Illumination Awareness and Color Correction for Underwater Images Under Mixed Natural and Artificial Lighting | |
| CN111798463A (zh) | 一种头颈部ct图像中多器官自动分割方法 | |
| Ma et al. | Deep attention network for melanoma detection improved by color constancy | |
| CN115018820A (zh) | 基于纹理加强的乳腺癌多分类方法 | |
| CN115018729A (zh) | 一种面向内容的白盒图像增强方法 | |
| CN113989799A (zh) | 一种宫颈异常细胞识别方法、装置和电子设备 | |
| Zhou et al. | An improved algorithm using weighted guided coefficient and union self‐adaptive image enhancement for single image haze removal | |
| CN108805918B (zh) | 基于dcae结构的病理图像染色不变性低维表示方法 | |
| CN113077405A (zh) | 二分割分块的颜色传递及其质量评价体系 | |
| CN113052813A (zh) | 一种基于StrainNet的染色方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |