CN112330790B - 基于对抗学习与自适应色度修正的ct图像自动着色方法 - Google Patents

Abstract

本发明公开一种基于对抗学习与自适应色度修正的CT图像自动着色方法，本方法通过对抗生成学习网络对公开的人体解剖组织切片数据集进行色度的学习，色度重建模型在多器官分割网络的辅助下，更准确地对不同器官和组织所在的区域着色。利用训练好的色度重建模型对CT图像进行全局色度重建后，根据全局色度重建后的效果选取种子点实现局部区域的分割，通过分割掩模和从调色盘选取参考色度信息，基于局部区域中原始Hu值特征分布进行颜色扩散，实现对局部区域进行色度修正，将修正后的结果作为新的监督，对色度重建模型进行精细训练调整，使CT着色结果更加逼真。

Description

基于对抗学习与自适应色度修正的CT图像自动着色方法

技术领域

本发明涉及医学图像着色技术领域，尤其涉及一种基于对抗学习与自适应色度修正的CT图像自动着色方法。

背景技术

医学CT图像能够显示人体内部组织结构的解剖信息，具有重要的临床诊断价值。受成像技术的限制，现有CT设备只能重建灰度图像，无法重建彩色图像。但是与灰度图像相比，人眼对彩色图像的敏感性更高，因此如何重建彩色CT图像对提高医生阅片的准确率具有重要的研究意义与临床应用价值，同时丰富医学图像重建与自动彩色化理论。

传统的自然图像着色方法通常是人工选取初始着色点，通过向相似纹理的像素传播颜色信息实现半自动着色。在医学图像着色通常将单通道灰度图像的像素值作为参考来生成伪彩色图像，用不同的颜色分别来显示不同的组织器官、或代谢信息。但伪彩色方法生成的彩色医学图像损失了对诊断非常重要的纹理信息，生成的伪彩色图像不能很好地接近真实解剖结构的颜色，而且人工干预过多，主观性强，无法实现完全自动化。

发明内容

针对上述现有技术的不足，本发明提供一种基于对抗学习与自适应色度修正的CT图像自动着色方法。

为解决上述技术问题，本发明所采取的技术方案是：一种基于对抗学习与自适应色度修正的CT图像自动着色方法，包括如下步骤：

步骤1：基于对抗学习从人体解剖彩色切片图像序列中学习色度，训练出全局色度重建模型，包括如下步骤：

步骤1.1：对现有的人体解剖彩色切片图像序列进行预处理，去除背景区域内的噪声和干扰颜色，并进行统一剪裁至相同的大小，之后将三通道RGB彩色图像转化至LAB空间，其中L通道作为单通道灰度图，AB两通道作为色度信息，过程如下：

步骤1.1.1：读取人体解剖彩色切片图像序列；

步骤1.1.2：对人体解剖彩色切片图像中的黑色背景进行去噪，去除原图中呈现绿色的标本保存液体，并将图像大小统一调整相同的像素；

步骤1.1.3：对调整大小后的人体解剖彩色切片图像序列随机选出80％作为训练集，剩余20％作为验证集；

步骤1.1.4：对训练集中的人体解剖彩色切片图像以一定采样间隔和滑窗大小进行滑窗剪裁，剪裁成大小固定的图块；

步骤1.1.5：将RGB三通道的人体解剖彩色切片图像转换至LAB空间，提取出L通道作为灰度图像，且作为之后的神经网络训练的输入信息；AB两通道作为色度信息，且作为之后的神经网络训练的监督信息。

步骤1.2：对经过处理后得到的人体解剖切片灰度图进行信息增强和归一化；

将人体解剖灰度图像分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0，1]范围。

步骤1.3：对经过信息增强后的三个通道图像分别应用编码和注意力机制后，进行融合，得到单通道的特征向量；利用由编码器-解码器神经网络组成的色度重建模型进行色度重建；基于编码器-解码器神经网络组成的多器官分割网络作为辅助网络提供多器官分割信息；由编码器神经网络组成的分类器作为判别器，判断色度重建结果的好与坏，实现对抗学习，过程如下：

步骤1.3.1：对信息增强后的三个通道图像分别利用由3层卷积和空间注意力机制模块组成的通路进行独立编码，并将其结果进行融合，得到单通道的特征向量；

步骤1.3.2：将融合后的单通道特征向量由编码器-解码器神经网络组成的色度重建模型进行色度重建，其中色度分布相似性函数作为损失函数约束色度重建模型进行优化训练，生成色度信息AB_pre；生成的色度信息AB_pre与标签AB_gt一起输入到判别器，由判别器对色度重建结果进行判定，输入标签的结果为1，输入色度重建的结果为0，此过程利用二值交叉熵/>作为判别器的损失函数进行优化训练；

步骤1.3.3：将信息增强后的三个通道图像沿图像的通道方向堆叠，得到三通道特征向量，输入到已加载预训练权重的多器官分割辅助网络中，将辅助网络中编码器最后一层特征向量与经过展开后的色度重建模型中编码路径中间层特征向量用特征空间距离进行约束，对色度重建模型进行优化训练。

其中，色度分布相似性函数作为色度重建模型的损失函数进行优化，二值交叉熵/>作为判别器的损失函数进行优化，特征空间距离/>作为多器官分割辅助网络和色度重建模型中间层的特征向量之间约束进行优化的过程如下：

损失函数公式如下所示：

其中，AB_gt，AB_pre分别为标签色度信息和色度重建模型根据输入灰度图像L预测的色度信息，G_mid(L)，F_mid(L)分别为色度重建模型和预训练的多器官分割网络构成的辅助网络中编码器的最后一层特征映射；D(·)为判别器；λ为损失项权重；

其中，色度分布相似性损失

色度特征空间距离相似性损失

其中，i为标签色度信息AB_gt和预测色度信息AB_pre中的每个元素；

二值交叉熵公式如下所示：

其中，y为真实值，模型预测值。

步骤2：读取患者的二维CT图像序列，并进行预处理，过程如下：

步骤2.1：读取患者的二维CT序列图像，计算出Hu值，调整Hu值的分布，有利于查看不同器官；计算Hu的公式如下：

Hu＝Pixels×slopes+intercepts

其中，Pixels为CT图像的像素值，slopes为Hu值计算公式中的斜率；intercepts为Hu值计算公式中的截距；

步骤2.2：将CT图像统一调整分辨率。

步骤3：对预处理后的二维CT图像序列进行信息增强和归一化处理，过程为：将预处理后的CT图像序列分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0，1]范围。

步骤4：利用步骤1中训练好的全局色度重建模型，对步骤3中信息增强和归一化处理后的CT图像序列进行色度重建，实现医用CT图像序列的全局色度重建，过程如下：

步骤4.1：加载色度重建网络模型的网络权重，输入信息增强后的CT图像；

步骤4.2：得到色度重建模型预测的AB_pre色度信息，与原始CT图像合成为LAB空间的图像，在转化至RGB通道进行可视化。

步骤5：肉眼观察彩色化质量，在着色效果不好的区域选取修正种子点和从调色板选择参考色度，基于Hu值分布特征自适应色度修正，得到色度更加逼真的CT图像，过程如下：

步骤5.1：肉眼观察彩色化质量，选取着色效果不好的局部区域，在局部区域和局部区域外的背景区域标注种子点，利用图割方法进行区域分割，得到所选区域的掩模；

其中，通过最小化能量函数来实现局部区域的前景和背景的分割，能量函数公式为：

E(L)＝αR(L)+B(L)

其中，L＝{l₀，l₁，l₂，...l_p}为图像中每个像素点标签的集合，l_i＝0(0≤i≤p)为背景，l_i＝1(0≤i≤p)为前景，R(L)为区域项，代表区域因素对能量函数的影响，B(L)为边界项，代表边界因素对能量函数的影响，α为区域因素和边界因素之间的权重关系；

其中，R(L)公式如下：

其中，P(l_i|A)代表像素i属于标签l_i的概率，即像素i分别属于前景和背景的条件概率；A＝foreground时代表该像素为前景，A＝background时代表该像素为背景；

B(L)公式如下：

其中，i和j分别为图像中相邻的像素，δ(l_i，l_j)根据相邻像素值是否相同在0和1之间变化，σ²为图像的方差；

步骤5.2：利用分割得到的掩模，对局部区域进行提取，并从现有的调色板中选取合适的参考色度对该区域扩散；

为了将所选的参考色度在分割出的局部区域中区别不同的纹理结构，利用该局部区域的Hu值d_(i，j)作为权重，对于修正后的图像中坐标为(i，j)的像素点处色度信息公式为：

其中，d为分割出的局部区域的像素Hu值，AB_ref为临床医生从调色板中选取的色度信息，实现局部区域的色度自适应修正，得到色度更加逼真的CT图像。

步骤6：将修正后的色度重建结果，整理成新的数据集，修正后的色都重建结果作为先验知识加入到色度重建模型的训练过程，对色度重建模型的性能的进行精细调整。

采用上述技术方案所产生的有益效果在于：

1、本发明基于编码器-解码器神经网络作为CT图像的全局色度重建模型，优点为可以充分学习医学图像中深层的语义信息和浅层的形状纹理信息；

2、本发明通过对抗学习提高重建色度的逼真性；

3、本发明提出了基于Hu值分布特征自适应色度修正方法，对局部色度进一步优化，提高难以着色器官的色度质量，实现更加精准的人体内部器官的着色。

附图说明

图1为本发明实施例中训练全局色度重建模型的流程图；

图2为本发明实施例中医学CT图像自动着色方法的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例的基于对抗学习与自适应色度修正的医用CT图像自动着色方法，运行在Intel内核的Windows10系统环境中，基于Python和Pytorch框架进行医学图像着色，包括如下步骤：

步骤1：基于对抗学习从人体解剖彩色切片图像序列中学习色度，训练出全局色度重建模型，其流程如图1所示，包括如下步骤：

步骤1.1：本实施例读取人体解剖彩色图像序列，共有2050张切片图像，进行预处理，去除背景区域内的噪声和干扰颜色，并进行统一剪裁至相同的大小，之后将三通道RGB彩色图像转化至LAB空间，其中L通道作为单通道灰度图，AB两通道作为色度信息，过程如下：

步骤1.1.1：读取2050张人体解剖彩色切片图像序列；

步骤1.1.2：对人体解剖彩色切片图像中的黑色背景进行去噪，去除原图中呈现绿色的标本保存液体，并将图像大小统一调整为512*307像素大小；

步骤1.1.3：对调整大小后的人体解剖彩色切片图像序列随机选出80％(1640张图像)作为训练集，剩余20％(410张图像)作为验证集；

步骤1.1.4：对训练集中的人体解剖彩色切片图像以采样间隔32和滑窗大小为128*128进行滑窗剪裁，剪裁成大小为128*128的图块；

步骤1.1.5：将RGB三通道的人体解剖彩色切片图像转换至LAB空间，提取出L通道作为灰度图像，且作为之后的神经网络训练的输入信息；AB两通道作为色度信息，且作为之后的神经网络训练的监督信息。

步骤1.2：对经过处理后得到的人体解剖切片灰度图进行信息增强和归一化；

将人体解剖灰度图像分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0，1]范围。

步骤1.3：对经过信息增强后的三个通道图像分别应用编码和注意力机制后，进行融合，得到单通道的特征向量；利用由编码器-解码器神经网络组成的色度重建模型进行色度重建；基于编码器-解码器神经网络组成的多器官分割网络作为辅助网络提供多器官分割信息；由编码器神经网络组成的分类器作为判别器，判断色度重建结果的好与坏，实现对抗学习，过程如下：

步骤1.3.1：对信息增强后的三个通道图像分别利用由3层卷积和空间注意力机制模块组成的通路进行独立编码，并将其结果进行融合，得到单通道的特征向量；

步骤1.3.2：将融合后的单通道特征向量由编码器-解码器神经网络组成的色度重建模型进行色度重建，其中色度分布相似性函数作为损失函数约束色度重建模型进行优化训练，生成色度信息AB_pre；生成的色度信息AB_pre与标签AB_gt一起输入到判别器，由判别器对色度重建结果进行判定，输入标签的结果为1，输入色度重建的结果为0，此过程利用二值交叉熵/>作为判别器的损失函数进行优化训练；

步骤1.3.3：将信息增强后的三个通道图像沿图像的通道方向堆叠，得到三通道特征向量，输入到已加载预训练权重的多器官分割辅助网络中，将辅助网络中编码器最后一层特征向量与经过展开后的色度重建模型中编码路径中间层特征向量用特征空间距离进行约束，对色度重建模型进行优化训练。

其中，色度分布相似性函数作为色度重建模型的损失函数进行优化，二值交叉熵/>作为判别器的损失函数进行优化，特征空间距离/>作为多器官分割辅助网络和色度重建模型中间层的特征向量之间约束进行优化的过程如下：

损失函数公式如下所示：

其中，AB_gt，AB_pre分别为标签色度信息和色度重建模型根据输入灰度图像L预测的色度信息，G_mid(L)，F_mid(L)分别为色度重建模型和预训练的多器官分割网络构成的辅助网络中编码器的最后一层特征映射；D(·)为判别器；λ为损失项权重；

其中，色度分布相似性损失

色度特征空间距离相似性损失

其中，i为标签色度信息AB_gt和预测色度信息AB_pre中的每个元素；

二值交叉熵公式如下所示：

其中，y为真实值，模型预测值。接下来采用

步骤2：读取患者的二维CT图像序列，并进行预处理，过程如下：

步骤2.1：读取患者的二维CT序列图像，计算出Hu值，调整Hu值的分布，有利于查看不同器官；计算Hu的公式如下：

Hu＝Pixels×slopes+intercepts

其中，Pixels为CT图像的像素值，slopes为Hu值计算公式中的斜率；intercepts为Hu值计算公式中的截距；

步骤2.2：将CT图像统一调整分辨率。

步骤3：对预处理后的二维CT图像序列进行信息增强和归一化处理，过程为：将预处理后的CT图像序列分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0，1]范围。

步骤4：利用步骤1中训练好的全局色度重建模型，对步骤3中信息增强和归一化处理后的CT图像序列进行色度重建，实现医用CT图像序列的全局色度重建，过程如下：

步骤4.1：加载色度重建网络模型的网络权重，输入信息增强后的CT图像；

步骤4.2：得到色度重建模型预测的AB_pre色度信息，与原始CT图像合成为LAB空间的图像，在转化至RGB通道进行可视化。

步骤5：肉眼观察彩色化质量，在着色效果不好的区域选取修正种子点和从调色板选择参考色度，基于Hu值分布特征自适应色度修正，得到色度更加逼真的CT图像，过程如下：

步骤5.1：肉眼观察彩色化质量，选取着色效果不好的局部区域，在局部区域和局部区域外的背景区域标注种子点，利用图割方法进行区域分割，得到所选区域的掩模；

其中，通过最小化能量函数来实现局部区域的前景和背景的分割，能量函数公式为：

E(L)＝αR(L)+B(L)

其中，L＝{l₀，l₁，l₂，...l_p}为图像中每个像素点标签的集合，l_i＝0(0≤i≤p)为背景，l_i＝1(0≤i≤p)为前景，R(L)为区域项，代表区域因素对能量函数的影响，B(L)为边界项，代表边界因素对能量函数的影响，α为区域因素和边界因素之间的权重关系；

其中，R(L)公式如下：

其中，P(l_i|A)代表像素i属于标签l_i的概率，即像素i分别属于前景和背景的条件概率；A＝foreground时代表该像素为前景，A＝background时代表该像素为背景；

B(L)公式如下：

其中，i和j分别为图像中相邻的像素，δ(l_i，l_j)根据相邻像素值是否相同在0和1之间变化，σ²为图像的方差；

步骤5.2：利用分割得到的掩模，对局部区域进行提取，并从现有的调色板中选取合适的参考色度对该区域扩散；

为了将所选的参考色度在分割出的局部区域中区别不同的纹理结构，利用该局部区域的Hu值d_(i，j)作为权重，对于修正后的图像中坐标为(i，j)的像素点处色度信息公式为：

其中，d为分割出的局部区域的像素Hu值，AB_ref为临床医生从调色板中选取的色度信息，实现局部区域的色度自适应修正，得到色度更加逼真的CT图像。

步骤6：将修正后的色度重建结果，整理成新的数据集，修正后的色都重建结果作为先验知识加入到色度重建模型的训练过程，对色度重建模型的性能的进行精细调整。

Claims (7)

1.一种基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，包括如下步骤：

步骤1：基于对抗学习从人体解剖彩色切片图像序列中学习色度，训练出全局色度重建模型，包括如下步骤：

步骤1.1：对现有的人体解剖彩色切片图像序列进行预处理，去除背景区域内的噪声和干扰颜色，并进行统一剪裁至相同的大小，之后将三通道RGB彩色图像转化至LAB空间，其中L通道作为单通道灰度图，AB两通道作为色度信息；

步骤1.2：对经过处理后得到的人体解剖切片灰度图进行信息增强和归一化；

步骤1.3：对经过信息增强后的三个通道图像分别应用编码和注意力机制后，进行融合，得到单通道的特征向量；利用由编码器-解码器神经网络组成的色度重建模型进行色度重建；基于编码器-解码器神经网络组成的多器官分割网络作为辅助网络提供多器官分割信息；由编码器神经网络组成的分类器作为判别器，判断色度重建结果的好与坏，实现对抗学习；

步骤1.3.1：对信息增强后的三个通道图像分别利用由3层卷积和空间注意力机制模块组成的通路进行独立编码，并将其结果进行融合，得到单通道的特征向量；

步骤1.3.2：将融合后的单通道特征向量由编码器-解码器神经网络组成的色度重建模型进行色度重建，其中色度分布相似性函数作为损失函数约束色度重建模型进行优化训练，生成色度信息AB_pre；生成的色度信息AB_pre与标签AB_gt一起输入到判别器，由判别器对色度重建结果进行判定，输入标签的结果为1，输入色度重建的结果为0，此过程利用二值交叉熵/>作为判别器的损失函数进行优化训练；

步骤1.3.3：将信息增强后的三个通道图像沿图像的通道方向堆叠，得到三通道特征向量，输入到已加载预训练权重的多器官分割辅助网络中，将辅助网络中编码器最后一层特征向量与经过展开后的色度重建模型中编码路径中间层特征向量用特征空间距离进行约束，对色度重建模型进行优化训练

其中，色度分布相似性函数作为色度重建模型的损失函数进行优化，二值交叉熵作为判别器的损失函数进行优化，特征空间距离/>作为多器官分割辅助网络和色度重建模型中间层的特征向量之间约束进行优化的过程如下：

损失函数公式如下所示：

其中，AB_gt，AB_pre分别为标签色度信息和色度重建模型根据输入灰度图像L预测的色度信息，G_mid(L),F_mid(L)分别为色度重建模型和预训练的多器官分割网络构成的辅助网络中编码器的最后一层特征映射；D(·)为判别器；λ为损失项权重；

其中，色度分布相似性损失

色度特征空间距离相似性损失

其中，i为标签色度信息AB_gt和预测色度信息AB_pre中的每个元素；

二值交叉熵公式如下所示：

其中，y为真实值，模型预测值；

步骤2：读取患者的二维CT图像序列，并进行预处理；

步骤3：对预处理后的二维CT图像序列进行信息增强和归一化处理；

步骤4：利用步骤1中训练好的全局色度重建模型，对步骤3中信息增强和归一化处理后的CT图像序列进行色度重建，实现医用CT图像序列的全局色度重建；

步骤5：肉眼观察彩色化质量，在着色效果不好的区域选取修正种子点和从调色板选择参考色度，基于Hu值分布特征自适应色度修正，得到色度更加逼真的CT图像；

步骤6：将修正后的色度重建结果，整理成新的数据集，修正后的色都重建结果作为先验知识加入到色度重建模型的训练过程，对色度重建模型的性能的进行精细调整。

2.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤1.1的过程如下：

步骤1.1.1：读取人体解剖彩色切片图像序列；

步骤1.1.2：对人体解剖彩色切片图像中的黑色背景进行去噪，去除原图中呈现绿色的标本保存液体，并将图像大小统一调整相同的像素；

步骤1.1.3：对调整大小后的人体解剖彩色切片图像序列随机选出80％作为训练集，剩余20％作为验证集；

步骤1.1.4：对训练集中的人体解剖彩色切片图像以一定采样间隔和滑窗大小进行滑窗剪裁，剪裁成大小固定的图块；

步骤1.1.5：将RGB三通道的人体解剖彩色切片图像转换至LAB空间，提取出L通道作为灰度图像，且作为之后的神经网络训练的输入信息；AB两通道作为色度信息，且作为之后的神经网络训练的监督信息。

3.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤1.2的过程如下：

将人体解剖灰度图像分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0,1]范围。

4.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤2的过程如下：

步骤2.1：读取患者的二维CT序列图像，计算出Hu值，调整Hu值的分布，有利于查看不同器官；计算Hu的公式如下：

Hu＝Pixels×slopes+intercepts

其中，Pixels为CT图像的像素值，slopes为Hu值计算公式中的斜率；intercepts为Hu值计算公式中的截距；

步骤2.2：将CT图像统一调整分辨率。

5.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤3的过程如下：

将预处理后的CT图像序列分别调整对比度和利用边缘特征算子进行边缘锐化，得到对比度增强后和边缘锐化后的图像，共三个通道的图像，并将其归一化至[0,1]范围。

6.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，其特征在于，所述步骤4的过程如下：

步骤4.1：加载色度重建网络模型的网络权重，输入信息增强后的CT图像；

步骤4.2：得到色度重建模型预测的AB_pre色度信息，与原始CT图像合成为LAB空间的图像，在转化至RGB通道进行可视化。

7.根据权利要求1所述的基于对抗学习与自适应色度修正的CT图像自动着色方法，所述步骤5过程如下：

步骤5.1：肉眼观察彩色化质量，选取着色效果不好的局部区域，在局部区域和局部区域外的背景区域标注种子点，利用图割方法进行区域分割，得到所选区域的掩模；

其中，通过最小化能量函数来实现局部区域的前景和背景的分割，能量函数公式为：

E(L)＝αR(L)+B(L)

其中，L＝{l₀,l₁,l₂,…l_p}为图像中每个像素点标签的集合，l_i＝0(0≤i≤p)为背景，l_i＝1(0≤i≤p)为前景，R(L)为区域项，代表区域因素对能量函数的影响，B(L)为边界项，代表边界因素对能量函数的影响，α为区域因素和边界因素之间的权重关系；

其中，R(L)公式如下：

其中，P(l_i|A)代表像素i属于标签l_i的概率，即像素i分别属于前景和背景的条件概率；A＝foreground时代表该像素为前景，A＝background时代表该像素为背景；

B(L)公式如下：

其中，i和j分别为图像中相邻的像素，δ(l_i,l_j)根据相邻像素值是否相同在0和1之间变化，σ²为图像的方差；

步骤5.2：利用分割得到的掩模，对局部区域进行提取，并从现有的调色板中选取合适的参考色度对该区域扩散；

为了将所选的参考色度在分割出的局部区域中区别不同的纹理结构，利用该局部区域的Hu值d_(i,j)作为权重，对于修正后的图像中坐标为(i,j)的像素点处色度信息公式为：

其中，d为分割出的局部区域的像素Hu值，AB_ref为临床医生从调色板中选取的色度信息，实现局部区域的色度自适应修正，得到色度更加逼真的CT图像。