CN111476764B - 一种运动模糊ct图像三维重建的方法 - Google Patents

Abstract

本发明公开了一种运动模糊CT图像三维重建的方法，该方法包括:步骤一：从运动模糊的CT图像还原出清晰的CT图像；步骤二：重建CT图像的三维模型；通过采用GAN图像翻译网络去模糊算法，将运动模糊的CT图像与对应的清晰图像按照像素进行匹配，清晰图像用来监督模糊图像的训练过程，实现了把模糊图像翻译为清晰图像的结果；同时通过基于黄金分割与等值面方向平滑相融合的移动立方体算法进行CT图像的三维重建，为医护人员提供了一个逼真、实时性强的医学三维器官结果，便于医护人员利用其三维器官模型对病人病灶进行判断，具有精度高、实用性强的特点。

Description

一种运动模糊CT图像三维重建的方法

技术领域

本发明涉及医疗设备技术领域，特别涉及一种运动模糊CT图像三维重建的方法。

背景技术

CT图像作为一种在病理治疗过程中的辅助手段，可以有效的为医护人员提供人体器官的二维图像，医护人员可以依靠经验由多幅二维图像去估计病灶的大小及形状，以便对病人的病情做出正确的判断，在此基础上可以实现矫形手术、放射治疗的手术规划，极大的提高了医疗诊断的准确性；

而现有的CT图像在成像的过程中，病人自主或者非自主的运动会造成CT图像产生模糊的问题，自主运动包含老人或小孩无意识的位置移动或者身体摆动，非自主运动表示病患自身无法控制的抖动 (例如帕金森病人)；而受到病人自主或者非自主运动的影响，CT图像会出现模糊的现象，以至于定量分析时会影响诊断和治疗的精确性；

而且现有的CT图像仅能提供人体器官的二维图像，诊断时，医生仅能依靠经验由多幅CT图像的二维图像去估计病灶的大小及形状，如果不是非常有经验的医生，可能会出现误诊的情况发生，不利于病人病情的治疗，因此广大医务工作者在治疗过程中，迫切希望能够提供逼真、实时性强的医学三维器官结果，广大医务工作者迫切希望能够提供逼真、实时性强的医学三维器官结果；

因此，急需一种既可以解决CT成像的过程中CT图像产生模糊的问题，也可以为医护人员提供逼真、实时性强的医学三维器官结果的方法，满足医护人员在对病人病情判断、处理的需求。

发明内容

针对上述存在的问题，本发明旨在提供一种运动模糊CT图像三维重建的方法，通过采用GAN图像翻译网络去模糊算法，该算法将运动模糊的CT图像与对应的清晰图像按照像素进行匹配，清晰图像用来监督模糊图像的训练过程，实现了把模糊图像翻译为清晰图像的结果；同时通过基于黄金分割与等值面方向平滑相融合的移动立方体算法进行CT图像的三维重建，为医护人员提供了一个逼真、实时性强的医学三维器官结果，便于医护人员利用其三维器官模型对病人病灶进行判断，具有精度高、实用性强的特点。

为了实现上述目的，本发明所采用的技术方案如下：

一种运动模糊CT图像三维重建的方法，所述该方法包括：

步骤一：从运动模糊的CT图像还原出清晰的CT图像

利用GAN图像翻译网络去模糊算法，将运动模糊的CT图像与对应的清晰图像按照像素进行匹配，清晰图像用来监督模糊图像的训练过程，实现了把模糊图像翻译为清晰图像的结果；

步骤二：建立CT图像的三维模型

在得到清晰的CT图像的基础上，利用黄金分割算法计算二维CT 图像上的等值点和法向量；

然后利用等值面方向平滑算法计算出二维CT图像中每个三角面片法向矢量的均值，从而得到等值面的新矢量场，对所有三角面片在空间排列上进行方向平滑；绘制出二维CT图像中每个三角面片的三维显示结果，得到重建后的CT图像的三维模型。

优选的，步骤一所述的从运动模糊的CT图像还原出清晰的CT图像的具体过程为：

S1.设由运动引起的模糊CT图像的模型如下：

I_b＝K(m)*I_c+N (1)

其中：I_b表示模糊图像，K(m)表示由未知运动m计算出的模糊核， I_c表示理想的清晰图像，*表示卷积运算，N表示噪声分量，者自主或者非自主的运动通常是无规律的，因此，模糊核K(m)是未知的；

S2.根据模糊CT图像的模型，构建关于模糊核K(m)的GAN图像翻译网络框架，所述网络框架包括一个生成器和一个鉴别器；生成器负责将模糊CT图像翻译为清晰CT图像，清晰的CT图像按照对应的像素点对模糊的CT图像进行监督；鉴别器通过损失函数来鉴别原始清晰图像与生成器的输出图像之间的差距；

S3.根据生成器输出图像的像素点需求，选择目标函数，所述目标函数包括重建损失函数和对抗损失函数；重建损失函数是由L2范数定义，由此获取高精度的图像轮廓；对抗损失函数能够让生成器输出图像的内部细节信息更接近于真实CT图像的数据分布，所述目标函数定义如下：

L＝L_{Reconstruction}+λL_adv (2)

其中：设定λ＝0.01，L_{Reconstruction}为重建损失函数，L_adv为对抗损失函数；

S4.根据鉴别器中清晰真实的CT图像像素点和生成器输出图像的区别，建立生成式对抗网络，将生成器输出图像与鉴别器中清晰的真实CT图像进行真、假鉴别后，输出清晰真实的CT图像与生成器的输出图像的相似概率值。

优选的，步骤S2所述的生成器包含模糊图像的编码网络和清晰图像的解码网络，并在生成器中利用U-net方法、skip connection 思想将模糊图像的编码网络和清晰图像的解码网络相连，使得编码网络的下采样层中特征可以直接传递到解码网络的上采样层中；

其中：所述编码网络中采用C64-C128-C256-C512-C512-C512的 6个卷积层，C表示卷积层；所述解码网络中采用DC512-DC512-DC512 -DC256-DC128-DC64-C3的6个反卷积层与1个卷积层，DC表示反卷积层；在卷积层中，每个卷积核的大小均为5x5；在卷积和反卷积层中，每层后都使用Lrelu激活函数，最后一个卷积层的清晰图像重建使用tanh激活函数。

优选的，步骤S2所述的鉴别器包含4个卷积层和2个全连接层，且鉴别器的输入包含清晰的真实图像的像素点与生成器的输出图像的像素点两个部分，通过将清晰的真实图像的像素点与生成器的输出图像的像素点进行对比，输出清晰的真实图像与生成器的输出图像的相似概率值；其中：在卷积和全连接层中，每层后都使用Lrelu激活函数，全连接层的最后一层使用sigmoid激活函数。

优选的，步骤S3所述的重建损失函数和对抗损失函数的函数模型如下：

(1)重建损失函数，设生成图像和相应清晰CT图像之间的像素级欧氏距离进行如下表示：

其中：f为清晰CT图像I_f的真实值，

表示生成的清晰图像，即模糊图像I_s经过生成器G_ω之后的输出结果为

(2)对抗损失函数，设网络对抗性损失模型如下：

其中：f为清晰CT图像I_f的真实值，

表示生成的清晰图像，ψ表示鉴别器网络的参数，D_ψ(f)和

是鉴别器网络的输出值，E代表期望。

优选的，步骤S4所述的生成式对抗网络包含生成模型和判别模型两个对抗模块，所述生成模型G是一个生成图像的网络，它通过模糊图像z生成清晰图像G(z)；所述判别模型D用于判断清晰图像G(z)是不是“真实的”，它的参数x代表一张图像，输出D(x)表示x为真实图像的概率；训练时，生成模型G的目标就是欺骗判别模型D，判别模型D的目标就是尽量把G生成的图像和真实的图像分别开来；这样，G 和D构成了一个动态的“博弈过程”；其G与D之间的博弈，模型为：

其中：E表示期望,

优选的，步骤二所述的利用黄金分割算法计算二维CT图像上的等值点和法向量的具体过程为：

(1)利用体素棱边的黄金分割点确定交点的坐标

如果交点在棱边的x轴上，交点的坐标设为:

如果交点在棱边的y轴上，交点的坐标设为:

如果交点在棱边的z轴上，交点的坐标设为:

(2)利用体素棱边的黄金分割点确定交点的法向量

如果交点在棱边的x轴上，交点的法向量为：

如果交点在棱边的y轴上，交点的法向量为：

如果交点在棱边的z轴上，交点的法向量为：

其中:N(i,j,k)表示坐标(i,j,k)的向量值，N表示所求的法向量。

优选的，步骤二所述的利用等值面方向平滑算法计算出每个三角面片的三维显示结果的具体步骤为：

S1.获取构成等值面上任意三角面片t的空间坐标，即三角面片t 的3个顶点矢量的三维坐标阵列P_t；

S2.计算三角面片t的单位法向量N_t；

S3.对计算出的单位法向量N_t构成等值面的所有三角面片在空间排列上进行平滑，调用Vtk进行绘制，可以得到等值面的三维显示结果。

优选的，步骤S1-S3具体的计算过程为：

(1)从体数据中提取给定阈值的等值面，得到等值面的几何数据集

其中：M为构造等值面的三角面片总数，

为三角面片t_i的单位法向量；

(2)设

为等值面上任意三角面片t_i的3个顶点矢量a_i、b_i、c_i的三维坐标阵列：

(3)则三角面片t_i的单位法向量

为：

(4)设任意三角面片t₀，在其等值面邻域里的三角面片分别为 t₁,t₂,...,t_n，

是t₁,t₂,...,t_n所对应的法向量，用

的矢量均值进行等值面的方向平滑后，三角面片t₀的法向量可表示如下：

其中：

为三角面片t_k原来的法向量，

为三角面片t_k原来的三维坐标阵列，

分别为三角面片t_k的3个顶点矢量；

(5)按式(14)和式(15)遍历原等值面上所有三角面片，得到对应的新法向量为

因此，等值面上新的几何数据集为

调用Vtk进行绘制，可以得到等值面的三维显示结果。

优选的，所述的运动模糊CT图像三维重建的方法还包括步骤三的仿真实验过程，所述步骤三的具体步骤包括：

S1.去除运动模糊实验,证明利用GAN图像翻译网络去模糊算法可以得到恢复效果好、清晰度高的CT图像；

S2.肝脏的三维重建实验，证明GI-MC算法在肝脏的三维重建过程中，其建立的时间以及精度均优于现有算法。

本发明的有益效果是：本发明公开了一种运动模糊CT图像三维重建的方法，与现有技术相比，该方法具有以下优点：

(1)在本发明所述技术方案中，提出了一种GAN图像翻译网络去模糊算法，将运动模糊的CT图像与对应的清晰图像按照像素进行匹配，清晰图像用来监督模糊图像的训练过程，实现了把模糊图像翻译为清晰图像的结果，解决了现有技术中CT图像在成像的过程中，病人自主或者非自主的运动会造成CT图像产生模糊的问题；

(2)在本发明所述技术方案中，提出了一种基于黄金分割与等值面方向平滑相融合的MC算法进行CT图像的三维重建，采用黄金分割算法计算等值点和法向量，使用棱边的黄金分割点代替等值面与棱边的交点，使计算的次数由4次减少为1次，等值面方向平滑算法计算出每个三角面片法向矢量的均值，从而对所有三角面片在空间排列上进行方向平滑，本文的GI-MC算法在重建精度上较传统的MC算法、 Li X L的算法、Pratomo A N的算法平均提高了9.9％，7.7％，3.9％，相比其他算法具有精度高，计算次数少的优点。

附图说明

图1为本发明GAN图像翻译网络CT图像的像素点与输出结果对比图。

图2为本发明GAN图像翻译网络框架的框架图。

图3为本发明肝硬化病人的CT图像。

图4为本发明脂肪肝三期病人的CT图像。

图5为本发明肝硬化病人不同模糊角度的CT图像。

图6为本发明肝硬化病人不同模糊幅度的CT图像。

图7为本发明脂肪肝三期病人不同模糊角度的CT图像。

图8为本发明脂肪肝三期病人不同模糊幅度的CT图像。

图9为本发明肝硬化病人利用本发明GAN图像翻译网络去模糊算法恢复后的CT图像。

图10为本发明脂肪肝三期病人利用本发明GAN图像翻译网络去模糊算法恢复后的CT图像。

图11为本发明肝硬化病人利用不同方法恢复后的CT图像。

图12为本发明脂肪肝三期病人利用不同方法恢复后的CT图像。

图13为本发明肝硬化病人的PSNR值比较结果图。

图14为本发明脂肪肝三期病人的PSNR值比较结果图。

图15为本发明不同算法对于肝硬化病人的CT图像进行的三维重建结果图。

图16为本发明不同算法对于脂肪肝三期病人的CT图像进行的三维重建结果图。

其中：5-1为本发明肝硬化病人CT图像的原图，5-2为本发明肝硬化病人模糊角度为0时的CT图像，5-3为本发明肝硬化病人模糊角度为30°时的CT图像，5-4为本发明肝硬化病人模糊角度为60°时的CT图像，5-5为本发明肝硬化病人模糊角度为90°时的CT图像；

6-1为本发明肝硬化病人CT图像的原图，6-2为本发明肝硬化病人模糊幅度为5时的CT图像，6-3为本发明肝硬化病人模糊幅度为 15时的CT图像，6-4为本发明肝硬化病人模糊幅度为20时的CT图像，6-5为本发明肝硬化病人模糊幅度为25时的CT图像；

7-1为本发明脂肪肝三期病人的CT图像，图7-2为本发明脂肪肝三期病人模糊角度为0时的CT图像，7-3为本发明脂肪肝三期病人模糊角度为30°时的CT图像，7-4为本发明脂肪肝三期病人模糊角度为60°时的CT图像，7-5为本发明脂肪肝三期病人模糊角度为 90°时的CT图像；

8-1为本发明脂肪肝三期病人CT图像的原图，8-2为本发明脂肪肝三期病人模糊幅度为5时的CT图像，8-3为本发明脂肪肝三期病人模糊幅度为15时的CT图像，8-4为本发明脂肪肝三期病人模糊幅度为20时的CT图像，8-5为本发明脂肪肝三期病人模糊幅度为25 时的CT图像；

9-1为本发明肝硬化病人清晰的CT图像，9-2为本发明肝硬化病人模糊的CT图像，9-3为本发明肝硬化病人利用本发明GAN图像翻译网络去模糊算法恢复后的CT图像；

10-1为本发明脂肪肝三期病人清晰的CT图像，10-2为本发明脂肪肝三期病人模糊的CT图像，10-3为本发明脂肪肝三期病人利用本发明GAN图像翻译网络去模糊算法恢复后的CT图像；

11-1为本发明肝硬化病人清晰的CT图像，11-2为本发明肝硬化病人模糊幅度为25个像素，模糊角度为45°时模糊的CT图像，11-3 为本发明肝硬化病人利用本发明GAN图像翻译网络去模糊算法恢复后的CT图像，11-4为本发明肝硬化病人Sun T的方法恢复后的CT 图像，11-5为本发明肝硬化病人Zhang H的方法恢复后的CT图像， 11-6为本发明肝硬化病人Wang T的方法恢复后的CT图像，11-7为本发明肝硬化病人Hernandez D的方法恢复后的CT图像；

12-1为本发明脂肪肝三期病人清晰的CT图像，12-2为本发明脂肪肝三期病人模糊幅度为25个像素，模糊角度为45°时模糊的CT 图像，12-3为本发明脂肪肝三期病人利用本发明GAN图像翻译网络去模糊算法恢复后的CT图像，12-4为本发明脂肪肝三期病人Sun T的方法恢复后的CT图像，12-5为本发明脂肪肝三期病人Zhang H的方法恢复后的CT图像，12-6为本发明脂肪肝三期病人Wang T的方法恢复后的CT图像，12-7为本发明脂肪肝三期病人Hernandez D的方法恢复后的CT图像；

15-1为本发明传统的MC算法对于肝硬化病人的CT图像进行的三维重建结果图，15-2为本发明Li X L的算法对于肝硬化病人的CT 图像进行的三维重建结果图，15-3为本发明Pratomo A N的算法对于肝硬化病人的CT图像进行的三维重建结果图，15-4为本发明GI-MC 算法对于肝硬化病人的CT图像进行的三维重建结果图；

16-1为本发明传统的MC算法对于脂肪肝三期病人的CT图像进行的三维重建结果图，16-2为本发明Li X L的算法对于脂肪肝三期病人的CT图像进行的三维重建结果图，16-3为本发明Pratomo A N 的算法对于脂肪肝三期病人的CT图像进行的三维重建结果图，16-4 为本发明GI-MC算法对于脂肪肝三期病人的CT图像进行的三维重建结果图。

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合实施例对本发明的技术方案做进一步的描述。

参见说明书附图1-图16所示，一种运动模糊CT图像三维重建的方法，其特征在于，所述该方法包括：

步骤一：从运动模糊的CT图像还原出清晰的CT图像

利用GAN图像翻译网络去模糊算法，将运动模糊的CT图像与对应的清晰图像按照像素进行匹配，清晰图像用来监督模糊图像的训练过程，得到了清晰的CT图像,其具体过程如下：

S1.对于CT成像系统来说，射线宽度、射线间隔、患者运动、光子散射、系统噪声等许多特性都会使得图像模糊，这是图像的退化现象，在忽略其它特性的影响下，本发明仅考虑由患者运动带来的图像模糊问题，设由运动引起的模糊图像的模型如下：

I_b＝K(m)*I_c+N (1)

其中：I_b表示模糊图像，K(m)表示由未知运动m计算出的模糊核， I_c表示理想的清晰图像，*表示卷积运算，N表示噪声分量，者自主或者非自主的运动通常是无规律的，因此，模糊核K(m)是未知的，去模糊算法同时估计了理想的清晰图像I_c和图像的模糊核K(m)；

S2.为了从运动模糊的CT图像还原出清晰的CT图像，本发明提出了一种新的GAN图像翻译网络应用于去除模糊的效果，根据式(1) 所述模糊CT图像的模型，构建关于模糊核K(m)的GAN图像翻译网络框架，所述网络框架包括一个生成器和一个鉴别器(如图2所示)；在训练过程中，

生成器负责将模糊CT图像翻译为清晰CT图像，清晰的CT图像按照对应的像素点对模糊的CT图像进行监督；鉴别器通过损失函数来鉴别原始清晰图像与生成器的输出图像的像素点之间的差距；

所述的生成器包含模糊图像的编码网络和清晰图像的解码网络，其采用了U-net方法中skip connection的思想，将生成器中的模糊图像的编码网络和清晰图像的解码网络相连，使得编码网络下采样层的特征可以直接传递到解码网络的上采样层，这样可以使网络中的像素定位更加精确，所述编码网络中采用 C64-C128-C256-C512-C512-C512的6个卷积层(在图2中由蓝色框表示)，其中C表示卷积层；所述解码网络中采用DC512-DC512-DC512 -DC256-DC128-DC64-C3的6个反卷积层(在图2中由粉色框表示) 与1个卷积层，其中DC表示反卷积层；所述的每个卷积核的大小均为5x5；联合层的作用是将编码网络的下采样层与解码网络的上采样层叠加在一起；在卷积和反卷积层中，每层后都使用Lrelu激活函数，而最后一个卷积层的清晰图像重建使用tanh激活函数；

所述的鉴别器负责识别像素点模糊图像转化成清晰图像效果的真与假，其包含4个卷积层(由图2中蓝色框表示)和2个全连接层 (由图2中黄色框表示)；所述鉴别器的输入包含两个部分，分别是清晰CT图像像素点与生成器的输出图像像素点；鉴别器通过将清晰的真实图像的像素点与生成器的输出图像的像素点进行对比，输出清晰的真实图像与生成器的输出图像的相似概率值；且在卷积和全连接层中，每层后都使用Lrelu激活函数，全连接层的最后一层使用 sigmoid激活函数；

S3.根据生成器输出图像的像素点需求，选择目标函数，所述目标函数包括重建损失和对抗损失，重建损失是由L2范数定义，可以更好的提取图像中的高频信息，由此获取高精度的图像轮廓；对抗损失能够让生成器的内部细节信息更接近于真实的数据分布，所述目标函数定义如下：

L＝L_{Reconstruction}+λL_adv (2)

其中：根据经验值设定λ＝0.01，L_{Reconstruction}为重建损失函数，L_adv为对抗损失函数；

(1)重建损失，设生成图像和相应清晰CT图像之间的像素级欧氏距离进行如下表示：

其中：f为清晰CT图像I_f的真实值，

表示生成的清晰图像，即像素点模糊图像I_s经过生成器G_ω之后的输出结果

(2)对抗损失函数，设网络对抗性损失模型如下：

其中f为清晰CT图像I_f的真实值，

表示生成的清晰图像，ψ表示鉴别器网络的参数，D_ψ(f)和

是鉴别器网络的输出，E代表期望；

S4.根据鉴别器中清晰真实的CT图像像素点和生成器输出图像的区别，建立生成式对抗网络，对像素点模糊图像转化成清晰图像效果的真与假进行鉴别后，输出清晰的CT图像，所述生成式对抗网络包含生成模型和判别模型两个对抗模块，所述生成模型G是一个生成图像的网络，它通过模糊图像z生成清晰图像G(z)；所述判别模型D用于判断清晰图像G(z)是不是“真实的”，它的参数x代表一张图像，输出D(x)表示x为真实图像的概率；训练时，生成模型G的目标就是欺骗判别模型D，从而生成令人信服的感知样本，判别模型D的目标就是尽量把G生成的图像和真实的图像分别开来；这样，G和D构成了一个动态的“博弈过程”；其G与D之间的博弈，模型为：

其中：E表示期望,

通过上述步骤，通过一种新的GAN图像翻译网络去模糊算法，从运动模糊的CT图像还原出清晰的CT图像。

步骤二：建立CT图像的三维模型

在得到清晰的CT图像的基础上，将清晰的CT图像利用黄金分割算法计算二维CT图像上的等值点和法向量；

然后利用等值面方向平滑算法计算出二维CT图像中每个三角面片法向矢量的均值，从而得到等值面的新矢量场，对所有三角面片在空间排列上进行方向平滑；绘制出二维CT图像中每个三角面片的三维显示结果，得到重建后的CT图像的三维模型。

所述利用黄金分割算法计算二维CT图像上的等值点和法向量的具体过程为：

在计算CT图像的等值点和法向量时，如果采用传统的线性插值算法过程是复杂的，相邻立方体之间共用的棱边需要计算两次，一条棱边被四个立方体共用，则需要计算四次，严重影响了运算时间，本文采用黄金分割法，通过棱边的黄金分割点确定交点的坐标与法向量，该算法交点的坐标与法向量被表示为：

(1)利用体素棱边的黄金分割点确定交点的坐标

如果交点在棱边的x轴上，交点的坐标设为:

如果交点在棱边的y轴上，交点的坐标设为:

如果交点在棱边的z轴上，交点的坐标设为:

(2)利用体素棱边的黄金分割点确定交点的法向量

如果交点在棱边的x轴上，交点的法向量为：

如果交点在棱边的y轴上，交点的法向量为：

如果交点在棱边的z轴上，交点的法向量为：

其中:N(i,j,k)表示坐标(i,j,k)的向量值，N表示所求的法向量；

采用上述的黄金分割法在保证精度的基础上计算等值点和法向量，使用棱边的黄金分割点代替等值面与棱边的交点，使计算的次数由4次减少为1次。

在利用黄金分割法计算出CT二维图像的等值点和法向量后，因三角面片法向量不连续，导致经传统MC算法产生的空间等值面显示时会有“鳞状效应”，因此，本发明采用等值面方向平滑算法计算出二维CT图像中每个三角面片法向矢量的均值，从而对所有三角面片在空间排列上进行方向平滑，计算出二维CT图像中每个三角面片的三维显示结果，再将各个三角面片的三维显示结果组合，得到重建后的CT图像的三维模型；其具体过程为：

S1.获取构成等值面上任意三角面片t的空间坐标，即三角面片t 的3个顶点矢量的三维坐标阵列P_t；

(1)从体数据中提取给定阈值的等值面，得到等值面的几何数据集

其中：M为构造等值面的三角面片总数，

为三角面片t_i的单位法向量；

(2)设

为等值面上任意三角面片t_i的3个顶点矢量a_i、b_i、c_i的三维坐标阵列：

S2.计算三角面片t的单位法向量N_t；通过式(12)得到三角面片t_i的单位法向量

为：

S3.对计算出的单位法向量N_t构成等值面的所有三角面片在空间排列上进行平滑，可以得到等值面的三维显示结果：设任意三角面片t₀，在其等值面邻域里的三角面片分别为t₁,t₂,...,t_n，

是 t₁,t₂,...,t_n所对应的法向量，用

的矢量均值进行等值面的方向平滑后，三角面片t₀的法向量可表示如下：

其中：

为三角面片t_k原来的法向量，

为三角面片t_k原来的三维坐标阵列，

分别为三角面片t_k的3个顶点矢量；

按式(14)和式(15)遍历原等值面上所有三角面片，得到对应的新法向量为

因此，等值面上新的几何数据集为

得到上述数据后，提取出三角面片的法向量，调用 Vtk进行三维图像绘制；

其中，所述Vtk(visualization toolkit)是一个开源的免费软件系统，主要用于三维计算机图形学、图像处理和可视化；Vtk是在面向对象原理的基础上设计和实现的，它的内核是用C++构建的，包含有大约250,000行代码，2000多个类，还包含有几个转换界面，因此也可以自由的通过Java和Python各种语言使用Vtk。

步骤三：仿真实验

为了更准确地评价模糊参数估计和运动模糊恢复的效果，本文的实验中采用了计算机模拟的运动模糊图像；模拟的模糊图像是在 ThinkPad S3-490上面生成，其中处理器Intel(R)Core(TM)i5-8265U CPU@1.60GHz，内存8GB；模拟的模糊图像的算法通过MATLAB2018b 软件实现；GAN图像翻译网络去模糊算法在配有GeForce RTX 2080Ti GPU的电脑上运行，通过Python语言实现；GI-MC算法在ThinkPad S3-490用于进行肝脏CT图像的三维重建，通过Visual Studio 2019 软件实现；

所述仿真实验的具体过程为：

实施例1：去除运动模糊实验

对于去除CT图像的运动模糊，我们主要研究两个内容：

一是识别模糊角度，即运动方向；

二是识别模糊幅度，即运动幅度；

实验数据采用某医院病人的肝脏CT图像，该数据为病人的平扫数据，仰卧位，扫描时屏气，从膈的顶部扫至肝的右下边缘，数据集包含100个病人，毎个病人有200幅肝脏CT图像，共有20000张CT 图像，选取数据集中的16000张作为训练图像，4000张作为测试图像；

以一位肝硬化与一位脂肪肝三期病人的诊断结果为例：

图3显示了两张肝硬化病人的CT图像，其肝脏的体积缩小，肝叶比例失常且表面不光滑；图4显示了两张脂肪肝三期病人的CT图像，肝脏的体积肿大，肝叶的边缘钝化；

1.1模拟模糊CT图像的生成

模拟模糊图像的大小为512×512像素，由于MATLAB自带了一个匀速直线运动的库函数，其为fspecial函数，本发明使用fspecial 函数对图像进行模糊，分别从模糊角度与模糊幅度进行考虑，设置了四组不同的实验参数：(1)模糊角度：设置模糊幅度为15个像素，模糊角度变化范围为0°，30°，60°，90°；(2)模糊幅度：设置模糊角度为45°，模糊幅度变化范围为5，15，20，25个像素；

如图5所示，(5-1)为肝硬化病人的CT图像原图，设置模糊幅度为15个像素；(5-2)～(5-5)为模糊角度分别为0°，30°，60°，90°的图像结果；

如图6所示，(6-1)为肝硬化病人的CT图像，设置模糊幅度为 45°时，(6-2)～(6-5)是模糊幅度分别为5，15，20，25个像素的图像结果；

如图7所示，(7-1)为脂肪肝三期病人的CT图像，设置模糊幅度为15个像素；(7-2)～(7-5)是模糊角度分别为0°，30°，60°，90°的图像结果；

如图8所示，(8-1)为脂肪肝三期病人的CT图像，设置模糊角度为45°时，(8-2)～(8-5)是模糊幅度分别为5，15，20，25个像素的图像结果；

1.2模糊CT图像恢复

(1)定性评价

针对肝硬化病人CT图像，图9展示了模糊幅度为15个像素，模糊角度为90°的图像恢复结果；其中：9-1是清晰CT图像，9-2可以看出CT图像在运动方向上出现重影，图像的边缘处模糊；9-3是利用本发明GAN图像翻译网络去模糊算法恢复后的CT图像，可以发现图像模糊的边缘得到很好的恢复；9-3与9-1相比，二者非常接近，该结果表明本发明GAN图像翻译网络去模糊算法恢复效果较好，几乎复原了一个清晰图像；

针对脂肪肝三期病人CT图像，10展示了模糊角度为45°，模糊幅度为25个像素的图像恢复结果；其中：10-1是清晰图像，10-2可以看出运动模糊使得肝脏的体积变大并且CT图像被拉伸，这会使得临床时的判断产生误差，10-3是本发明GAN图像翻译网络去模糊算法恢复后的图像，可以发现图像的内部与边缘均得到很好的恢复，通过10-3与10-1相比，二者非常接近，该结果表明本发明GAN图像翻译网络去模糊算法恢复效果较好，几乎复原了一个清晰图像；

针对不同的图像去模糊算法，将本发明GAN图像翻译网络去模糊算法分别与Sun T的算法、Zhang H的算法、Wang T的算法及Hernandez D的算法进行对比：

图11展示了肝硬化病人不同算法的对比结果在模糊幅度为25个像素，模糊角度为45°；其中：11-1是清晰图像，11-2模糊幅度为 25个像素，模糊角度为45°的运动模糊图像，11-3是本发明GAN图像翻译网络去模糊算法恢复后的图像，11-4是Sun T的方法恢复后的图像，11-5是Zhang H的方法恢复后的图像，11-6是Wang T的方法恢复后的图像，11-7是Hernandez D的方法恢复后的图像，通过将11-3与图11的其他图对比可以看出，与其他四种算法相比，本发明GAN图像翻译网络去模糊算法的图像边缘模糊得到更好的恢复，与清晰图像最相似。

图12展示了脂肪肝三期病人不同算法的对比结果在模糊幅度为 25个像素，模糊角度为45°；其中：12-1是清晰图像，12-2模糊幅度为25个像素，模糊角度为45°的运动模糊图像，12-3是本发明 GAN图像翻译网络去模糊算法恢复后的图像，12-4是Sun T的方法恢复后的图像，12-5是Zhang H的方法恢复后的图像，12-6是Wang T 的方法恢复后的图像，12-7是Hernandez D的方法恢复后的图像，通过将12-3与图12的其他图对比可以看出，与其他四种算法相比，本发明GAN图像翻译网络去模糊算法的图像内部与边缘均得到更好的恢复。

(2)定量评价

本发明评估CT图像的恢复效果，使用以下两个评价指标：香农熵比与峰值信噪比(Peak Signal-Noise Ratio,PSNR)：

a.香农熵比

香农熵是用于度量不确定性的一种方法，图像恢复会增加图像所包含的信息，相应的其熵就会降低。香农熵比的定义如下：

式中，E_d是模糊CT图像或者恢复后CT图像的香农熵，E_p是清晰CT图像的香农熵。香农熵定义为：

其中：N为直方图的组数，p_i是图像的第i个直方图的频率；

p_i＝Num_i/(W*H) (18)

其中：W为图像的宽，H为图像的高，Num_i为图像中每个直方图的次数。当p_i＝0，设0×log₂(1/0)≡0。

b.峰值信噪比

峰值信噪比是一种基于图像像素的灰度值进行统计分析的指标，其由原图像I(i,j)与恢复图像K(i,j)之间的均方差MSE定义。通常情况下，PSNR值越高，图像恢复得越好；具体的，本发明使用香农熵来描述图像的清晰度，图像去模糊的过程会增加图像所包含的信息，相应的其熵就会降低，针对肝硬化病人的CT图像：采用本发明GAN图像翻译网络去模糊算法与Sun T算法、Zhang H算法、Wang T算法及 Hernandez D算法香农熵比的结果如表1所示：

表1：肝硬化病人不同算法的香农熵比

通过表1可以看出，恢复后图像的香农熵比均低于恢复前的模糊图像，随着模糊幅度的增大，模糊图像的香农熵比有增大的趋势，恢复后图像的香农熵比也有增大的趋势；随着模糊角度的增大，模糊图像与恢复后图像的香农熵比同样也有增大的趋势，本发明GAN图像翻译网络去模糊算法的香农熵比均小于其他四种代表性算法，说明本发明GAN图像翻译网络去模糊算法得到最优的清晰度。

针对脂肪肝三期病人的CT图像，采用本发明GAN图像翻译网络去模糊算法与Sun T算法、Zhang H算法、Wang T算法及Hernandez D算法香农熵比的结果如表2所示：

表2：脂肪肝三期病人不同算法的香农熵比

通过表2可以看出，随着模糊幅度的增大，模糊图像的香农熵比有增大的趋势，恢复后图像的香农熵比也有增大的趋势，随着模糊角度的增大，模糊图像与恢复后图像的香农熵比同样也有增大的趋势，针对于不同的模糊幅度与模糊角度，本发明GAN图像翻译网络去模糊算法的香农熵比均小于其他四种代表性算法。

肝硬化病人的CT图像，设定模糊幅度为25个像素且模糊角度为 45°时，图13展示了模糊图像、本发明GAN图像翻译网络去模糊算法与其他四种代表性算法的PSNR值结果：模糊图像的PSNR值为25.55，本文算法的PSNR值为29.72，Sun T算法的PSNR值为26.83，ZhangH算法的PSNR值为27.55，Wang T算法的PSNR值27.71为及Hernandez D算法的PSNR值为28.44。可以看出，本发明GAN图像翻译网络去模糊算法的PSNR值较大，实现了较好的恢复效果。

脂肪肝三期病人的CT图像，设定模糊幅度为25个像素且模糊角度为45°时，图14展示了模糊图像、本发明GAN图像翻译网络去模糊算法与其他四种代表性算法的PSNR值结果：模糊图像的PSNR值为 25.55，本发明GAN图像翻译网络去模糊算法的PSNR值为29.72，Sun T算法的PSNR值为26.83，Zhang H算法的PSNR值为27.55，Wang T 算法的PSNR值27.71为及Hernandez D算法的PSNR值为28.44，可以看出，本发明GAN图像翻译网络去模糊算法的PSNR值较大，实现了较好的恢复效果。

实施例2：肝脏的三维重建实验

腹部CT图像包含了多种器官：肝脏，胆囊，胰腺，脾脏及肾脏；因此，在肝脏三维重建前，需要在腹部CT图像中进行肝脏的精准分割，本实施例采用区域种子生长算法和直方图阈值法实现对CT图像中肝脏部位的划分(区域种子生长算法可以大致确定肝脏的位置，避免误把其它器官分割出来；直方图阈值法可以确定肝脏的灰度值范围，进一步精确地分割)在腹部CT图像进行肝脏准确分割之后，才能使用各种不同的算法进行三维重建；

本实施例采用三维重建的时间与精度做为评价指标，对不同的三维重建算法进行性能的评估；对比算法主要包括传统的MC算法、Li X L的算法、Pratomo A N的算法和本发明的基于黄金分割与等值面方向平滑相融合的MC算法(GI-MC算法)；其中Li X L的算法为一种典型的网格简化算法，是加快三维重建速度的代表算法；Pratomo A N 的算法通过去噪算法提高图像三维重建精度，是提高三维重建精度的代表算法；

其重建的具体过程为：选取肝硬化病人和脂肪肝三期病人的CT 图像进行三维重建，CT图像大小为512×512像素，肝硬化病人选取 160张CT图像，脂肪肝三期病人选取180张CT图像，间隔均为1mm；为了比较不同算法对三维重建的时间与精度的影响，我们选取了上述提到的四种重建算法进行实验；

2.1三维重建的时间

在进行三维重建时间的对比实验时，选取肝硬化病人与脂肪肝三期病人的两组CT图像；每组实验重复3次，通过3次实验结果的平均值进行研究；传统MC算法的计算量过大，严重影响了运算时间，对于传统MC算法，肝硬化病人160张大小为512×512的CT图像，共有511*511*159＝41518239个体素需要遍历；脂肪肝三期病人180 张大小为512×512的CT图像，共有511*511*179＝46740659个体素需要遍历，表3为采用四种算法的三维重建时间对比结果：

表3四种算法的三维重建时间对比结果

通过表3对于两组肝脏病人的数据，可以看出GI-MC算法的时间均具有明显优势，大幅度缩减了三维重建的时间，进一步发现，随着 CT图像的增多，扫描立方体数目增多，而本文GI-MC算法同样带来了速度的大幅度提高。

(2)三维重建的精度

三维重建的精度是肝脏三维重建区域占真实肝脏区域的比例。评判肝脏三维重建的结果，就要与医生手动标记的结果进行比较：

对于肝硬化病人的CT图像进行四种算法的三维重建结果如图15 所示；其中：15-1为传统的MC算法对于肝硬化病人的CT图像进行的三维重建结果，15-2为Li X L的算法对于肝硬化病人的CT图像进行的三维重建结果，15-3为Pratomo A N的算法对于肝硬化病人的CT图像进行的三维重建结果，15-4为GI-MC算法对于肝硬化病人的CT图像进行的三维重建结果；

对于脂肪肝三期病人的CT图像进行四种算法的三维重建结果如图16所示；其中：16-1为传统的MC算法对于脂肪肝三期病人的CT 图像进行的三维重建结果，16-2为Li X L的算法对于脂肪肝三期病人的CT图像进行的三维重建结果，16-3为Pratomo A N的算法对于脂肪肝三期病人的CT图像进行的三维重建结果，16-4为GI-MC算法对于脂肪肝三期病人的CT图像进行的三维重建结果；

从图15和图16可以看出，本发明的的GI-MC算法较好的保证了重建质量，肝脏表面光滑，质地细腻；传统的MC算法产生的空间等值面显示时会有“鳞状效应”；Li X L的算法以边删除的思想进行网格简化，但是简化过程的控制具有困难，容易丢失较小结构的细节；Pratomo A N的算法通过去噪算法提高图像三维重建精度，其重建结果噪声较少且精度较高；而本发明的GI-MC算法计算出每个三角面片法向矢量的均值，对所有三角面片在空间排列上进行方向平滑，从而保证了肝脏三维重建表面的光滑，可以看出本发明所述的GI-MC算法在三维重建的精度方面优于其他3种算法。

分别用上述四种算法的肝脏三维重建结果与医生手动标记的结果进行比较，进而得到三维重建的精度如表4所示：

表4四种算法的三维重建精度对比结果

从表4中可以清楚地比较不同算法的重建精度，对于肝硬化病人，本发明的GI-MC算法在重建精度上较传统的MC算法、Li X L的算法、Pratomo A N的算法提高10.4％，8.1％，4.3％；对于脂肪肝三期病人，本文的GI-MC算法在重建精度上较传统的MC算法、Li XL 的MC算法、Pratomo A N的MC算法提高9.4％，7.3％，3.5％；对于两组肝脏病人的数据，本文的GI-MC算法在重建精度上较传统的MC算法、Li X L的算法、Pratomo A N的算法平均提高了9.9％，7.7％， 3.9％。

因此，可以看出，本发明所述的GI-MC算法在肝脏的三维重建过程中，其建立的时间以及精度均优于现有算法。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种运动模糊CT图像三维重建的方法，其特征在于，所述该方法包括：

步骤一：从运动模糊的CT图像还原出清晰的CT图像

利用GAN图像翻译网络去模糊算法，将运动模糊的CT图像与对应的清晰图像按照像素进行匹配，清晰图像用来监督模糊图像的训练过程，实现了把模糊图像翻译为清晰图像的结果；

步骤二：建立CT图像的三维模型

在得到清晰的CT图像的基础上，利用黄金分割算法计算二维CT图像上的等值点和法向量；

然后利用等值面方向平滑算法计算出二维CT图像中每个三角面片法向矢量的均值，从而得到等值面的新矢量场，对所有三角面片在空间排列上进行方向平滑；绘制出二维CT图像中每个三角面片的三维显示结果，得到重建后的CT图像的三维模型；

步骤一所述的从运动模糊的CT图像还原出清晰的CT图像的具体过程为：

S1.设由运动引起的模糊CT图像的模型如下：

I_b＝K(m)*I_c+N (1)

其中：I_b表示模糊图像，K(m)表示由未知运动m计算出的模糊核，I_c表示理想的清晰图像，*表示卷积运算，N表示噪声分量，自主或者非自主的运动通常是无规律的，因此，模糊核K(m)是未知的；

S2.根据模糊CT图像的模型，构建关于模糊核K(m)的GAN图像翻译网络框架，所述网络框架包括一个生成器和一个鉴别器；生成器负责将模糊CT图像翻译为清晰CT图像，清晰的CT图像按照对应的像素点对模糊的CT图像进行监督；鉴别器通过损失函数来鉴别原始清晰图像与生成器的输出图像之间的差距；

S3.根据生成器输出图像的像素点需求，选择目标函数，所述目标函数包括重建损失函数和对抗损失函数；重建损失函数是由L2范数定义，由此获取高精度的图像轮廓；对抗损失函数能够让生成器输出图像的内部细节信息更接近于真实CT图像的数据分布，所述目标函数定义如下：

L＝L_{Reconstruction}+λL_adv (2)

其中：设定λ＝0.01，L_{Reconstruction}为重建损失函数，L_adv为对抗损失函数；

S4.根据鉴别器中清晰真实的CT图像像素点和生成器输出图像的区别，建立生成式对抗网络，将生成器输出图像与鉴别器中清晰的真实CT图像进行真、假鉴别后，输出清晰真实的CT图像与生成器的输出图像的相似概率值。

2.根据权利要求1所述的一种运动模糊CT图像三维重建的方法，其特征在于，步骤S2所述的生成器包含模糊图像的编码网络和清晰图像的解码网络，并在生成器中利用U-net方法、skip connection思想将模糊图像的编码网络和清晰图像的解码网络相连，使得编码网络的下采样层中特征可以直接传递到解码网络的上采样层中；

其中：所述编码网络中采用C64-C128-C256-C512-C512-C512的6个卷积层，C表示卷积层；所述解码网络中采用DC512-DC512-DC512-DC256-DC128-DC64-C3的6个反卷积层与1个卷积层，DC表示反卷积层；在卷积层中，每个卷积核的大小均为5x5；在卷积和反卷积层中，每层后都使用Lrelu激活函数，最后一个卷积层的清晰图像重建使用tanh激活函数。

3.根据权利要求1所述的一种运动模糊CT图像三维重建的方法，其特征在于，步骤S2所述的鉴别器包含4个卷积层和2个全连接层，且鉴别器的输入包含清晰的真实图像的像素点与生成器的输出图像的像素点两个部分，通过将清晰的真实图像的像素点与生成器的输出图像的像素点进行对比，输出清晰的真实图像与生成器的输出图像的相似概率值；其中：在卷积和全连接层中，每层后都使用Lrelu激活函数，全连接层的最后一层使用sigmoid激活函数。

4.根据权利要求2所述的一种运动模糊CT图像三维重建的方法，其特征在于，步骤S3所述的重建损失函数和对抗损失函数的函数模型如下：

(1)重建损失函数，设生成图像和相应清晰CT图像之间的像素级欧氏距离进行如下表示：

其中：f为清晰CT图像I_f的真实值，

表示生成的清晰图像，即模糊图像I_s经过生成器G_ω之后的输出结果为

(2)对抗损失函数，设网络对抗性损失模型如下：

其中：f为清晰CT图像I_f的真实值，

表示生成的清晰图像，ψ表示鉴别器网络的参数，D_ψ(f)和

是鉴别器网络的输出值，E代表期望。

5.根据权利要求3所述的一种运动模糊CT图像三维重建的方法，其特征在于，步骤S4所述的生成式对抗网络包含生成模型和判别模型两个对抗模块，所述生成模型G是一个生成图像的网络，它通过模糊图像z生成清晰图像G(z)；所述判别模型D用于判断清晰图像G(z)是不是“真实的”，它的参数x代表一张图像，输出D(x)表示x为真实图像的概率；训练时，生成模型G的目标就是欺骗判别模型D，判别模型D的目标就是尽量把G生成的图像和真实的图像分别开来；这样，G和D构成了一个动态的“博弈过程”；其G与D之间的博弈，模型为：

其中：E表示期望，

6.根据权利要求1所述的一种运动模糊CT图像三维重建的方法，其特征在于，步骤二所述的利用黄金分割算法计算二维CT图像上的等值点和法向量的具体过程为：

(1)利用体素棱边的黄金分割点确定交点的坐标

如果交点在棱边的x轴上，交点的坐标设为:

如果交点在棱边的y轴上，交点的坐标设为:

如果交点在棱边的z轴上，交点的坐标设为:

(2)利用体素棱边的黄金分割点确定交点的法向量

如果交点在棱边的x轴上，交点的法向量为：

如果交点在棱边的y轴上，交点的法向量为：

如果交点在棱边的z轴上，交点的法向量为：

其中:N(i,j,k)表示坐标(i,j,k)的向量值，N表示所求的法向量。

7.根据权利要求1所述的一种运动模糊CT图像三维重建的方法，其特征在于，步骤二所述的利用等值面方向平滑算法计算出每个三角面片的三维显示结果的具体步骤为：

S1.获取构成等值面上任意三角面片t的空间坐标，即三角面片t的3个顶点矢量的三维坐标阵列P_t；

S2.计算三角面片t的单位法向量N_t；

S3.对计算出的单位法向量N_t构成等值面的所有三角面片在空间排列上进行平滑，调用Vtk进行绘制，可以得到等值面的三维显示结果。

8.根据权利要求7所述的一种运动模糊CT图像三维重建的方法，其特征在于，步骤S1-S3具体的计算过程为：

(1)从体数据中提取给定阈值的等值面，得到等值面的几何数据集

其中：M为构造等值面的三角面片总数，

为三角面片t_i的单位法向量；

(2)设

为等值面上任意三角面片t_i的3个顶点矢量a_i、b_i、c_i的三维坐标阵列：

(3)则三角面片t_i的单位法向量

为：

(4)设任意三角面片t₀，在其等值面邻域里的三角面片分别为t₁,t₂,...,t_n，

是t₁,t₂,...,t_n所对应的法向量，用

的矢量均值进行等值面的方向平滑后，三角面片t₀的法向量可表示如下：

其中：

为三角面片t_k原来的法向量，

为三角面片t_k原来的三维坐标阵列，

分别为三角面片t_k的3个顶点矢量；

(5)按式(14)和式(15)遍历原等值面上所有三角面片，得到对应的新法向量为

因此，等值面上新的几何数据集为

调用Vtk进行绘制，得到等值面的三维显示结果。

Images