CN116597041B - 一种脑血管病核磁影像清晰度优化方法、系统及电子设备 - Google Patents

Abstract

本发明公开一种脑血管病核磁影像清晰度优化方法、系统及电子设备，涉及图像处理领域，该方法包括：对待优化低场强脑血管病加权弥散影像进行预处理得到标准化后的低场强脑血管病加权弥散影像；将标准化后的低场强影像输入第一病灶分割网络得到分割标签，将标准化后的低场强脑血管病加权弥散影像和分割标签沿设定方向进行切片得到多个切片影像和多个标签；将各切片影像进行通道维度上的连接；将各多通道图像与对应标签进行叠加；将各多通道图像序列输入到低场强脑血管病影像生成模型得到多个低场强脑血管病切片影像；将多个低场强脑血管病切片影像进行设定方向堆叠得到优化后低场强脑血管病影像。本发明能够提高脑血管病核磁影像的清晰度。

Description

一种脑血管病核磁影像清晰度优化方法、系统及电子设备

技术领域

本发明涉及图像处理领域，特别是涉及一种脑血管病核磁影像清晰度优化方法、系统及电子设备。

背景技术

脑血管病是常见的神经系统疾病，弥散加权成像（Diffusion Weighted Imaging，DWI)在这种症状出现后的短期内对缺血具有高度敏感性，也是检测急性脑梗死的最敏感序列，该技术对于卒中的及早诊断和准确治疗具有十分重要且不可替代的指导作用。如果在卒中日常首诊中能够快速行核磁扫描，在短时间内获取病灶的详细信息，将为更多病人争取到宝贵的治疗机会，带来更多的治疗获益。

在临床应用和研究工作中，受硬件设备、成像时间、期望的信噪比和身体运动等因素限制，增加磁共振图像的空间分辨率通常会降低图像信噪比、增加成像时间和成本。因此，通过对可快速扫描得到，且对设备与环境要求不高的低场强影像进行恢复与重建，来得到清晰的影像是一种有效且经济的替代技术。目前的类似解决方法中，通常将上述低场强影像认为是低分辨率的影像，将其当作一种单幅图像超分辨率(SISR)任务来完成，这是提高磁共振图像空间分辨率的一类方法，可大致分为传统方法和基于学习的方法。传统方法中主要包括插值重构方法，如最近邻插值、双线性插值和双三次插值等；基于学习的方法则通过深度学习模型，如基于卷积神经网络、基于残差网络(residual network, ResNet)和基于生成对抗网络(generative adversarial networks,GAN)等来实现超分。

此前的技术中，传统的方法在图像诸如边缘、纹理等像素突变处的处理效果差，易出现锯齿和块效应。对于基于学习的方法，首先，这类方法的低分辨率训练数据大都从高分辨率图像降采样获得，将这种方法应用到真实的低分辨率数据，往往无法得到好的结果；其次，这种方法大都将医学图像与自然图像等同，并没有很好的利用医学图像序列的上下文信息，也没有重点关注医学图像中最重要的病灶部分，导致恢复生成的图像中容易出现“抹掉”病灶的现象，无法获得清晰的图像。

发明内容

本发明的目的是提供一种脑血管病核磁影像清晰度优化方法、系统及电子设备，能够提高脑血管病核磁影像的清晰度。

为实现上述目的，本发明提供了如下方案：

一种脑血管病核磁影像清晰度优化方法，所述优化方法包括：

获取待优化低场强脑血管病加权弥散影像；

对所述待优化低场强脑血管病加权弥散影像进行预处理，得到标准化后的低场强脑血管病加权弥散影像；所述预处理包括图像非线性配准、颅骨剥离和图像数据标准化；

将所述标准化后的低场强脑血管病加权弥散影像输入第一病灶分割网络，得到分割标签；所述第一病灶分割网络为nnunet网络；

将所述标准化后的低场强脑血管病加权弥散影像和所述分割标签沿设定方向进行切片，分别得到所述低场强脑血管病加权弥散影像的多个切片影像和所述分割标签的多个标签；

将各所述切片影像进行通道维度上的连接，得到多个多通道图像；

将各所述多通道图像与对应的标签进行叠加，得到所述待优化低场强脑血管病加权弥散影像的多个多通道图像序列；

将各所述多通道图像序列输入到低场强脑血管病影像生成模型，得到多个优化后的低场强脑血管病切片影像；其中，所述低场强脑血管病影像生成模型为通过训练数据集对深度学习卷积神经网络进行训练得到的；所述训练数据集包括与低场强脑血管病加权弥散影像样本对应的高场强脑血管病加权弥散影像样本的多个切片影像和所述低场强脑血管病加权弥散影像样本的多个多通道图像序列；

将多个所述优化后的低场强脑血管病切片影像沿所述设定方向进行堆叠，得到优化后低场强脑血管病影像。

可选地，对所述待优化低场强脑血管病加权弥散影像进行预处理，得到标准化后的低场强脑血管病加权弥散影像，具体包括：

按照预设阈值，对所述待优化低场强脑血管病加权弥散影像进行颅骨剥离，得到头骨剥离图像；

按照设定参考模板，对所述头骨剥离图像进行非线性配准，得到配准后图像；

根据所述配准后图像，将大脑轮廓内体素进行高斯标准化并将大脑轮廓外背景体素设置为0，得到标准化后的低场强脑血管病加权弥散影像。

可选地，所述训练数据集的获取过程具体包括：

获取低场强脑血管病加权弥散影像样本和对应的高场强脑血管病加权弥散影像样本；

按照所述预设阈值，分别对所述低场强脑血管病加权弥散影像样本和高场强脑血管病加权弥散影像样本进行颅骨剥离，分别得到低场强脑血管病加权弥散影像样本和高场强脑血管病加权弥散影像样本的头骨剥离图像样本；

以对应的高场强脑血管病加权弥散影像样本的头骨剥离图像样本作为参考模板对所述低场强脑血管病加权弥散影像样本的头骨剥离图像样本进行非线性配准，得到配准后图像样本；

分别将低场强脑血管病加权弥散影像样本的配准后图像样本和对应的高场强脑血管病加权弥散影像样本的头骨剥离图像样本的大脑轮廓内体素进行高斯标准化并将大脑轮廓外背景体素设置为0，得到标准化后的低场强脑血管病加权弥散影像样本和标准化后的高场强脑血管病加权弥散影像样本；

将所述标准化后的低场强脑血管病加权弥散影像样本输入所述第一病灶分割网络，得到分割标签样本；

将所述分割标签样本、所述标准化后的低场强脑血管病加权弥散影像样本和所述标准化后的高场强脑血管病加权弥散影像样本沿所述设定方向进行切片，分别得到所述分割标签样本的多个标签样本、所述低场强脑血管病加权弥散影像样本的多个切片影像和对应的高场强脑血管病加权弥散影像样本的多个切片影像；

将各所述低场强脑血管病加权弥散影像样本的切片影像进行通道维度上的连接，得到多个多通道图像样本；

将各所述多通道图像样本与对应的标签样本进行叠加，得到多个所述低场强脑血管病加权弥散影像样本的多通道图像序列。

可选地，所述深度学习卷积神经网络的训练过程具体包括：

将各所述低场强脑血管病加权弥散影像样本的多通道图像序列输入所述深度学习卷积神经网络，得到生成图像；

将所述生成图像和对应的高场强脑血管病加权弥散影像样本的切片影像输入第二病灶分割网络，分别得到所述生成图像的病灶区域和对应的高场强脑血管病加权弥散影像样本的病灶区域；所述第二病灶分割网络为U-net网络；

计算所述生成图像和对应的高场强脑血管病加权弥散影像样本的内容损失；所述内容损失包括MAE损失、条件GAN损失和图像梯度差损失；

根据所述生成图像的病灶区域和所述对应的高场强脑血管病加权弥散影像样本的病灶区域，计算病灶损失；

根据所述内容损失和所述病灶损失，应用反向传播及梯度下降算法对所述深度学习卷积神经网络进行训练。

可选地，所述深度学习卷积神经网络由生成器和辨别器组成。

可选地，所述生成器采用改进的U-Net结构；所述改进的U-Net结构是通过在U-Net网络的每个下采样层加入特征空间调制层且所述特征空间调制层与激活函数连接得到的；所述特征空间调制层将对应的所述下采样层提取的特征与条件特征进行同或运算后的结果与所述条件特征进行相加运算，得到融合特征。

可选地，所述辨别器采用PatchGAN网络结构。

一种脑血管病核磁影像清晰度优化系统，应用于上述的脑血管病核磁影像清晰度优化方法，所述优化系统包括：

获取模块，用于获取待优化低场强脑血管病加权弥散影像；

预处理模块，用于对所述待优化低场强脑血管病加权弥散影像进行预处理，得到标准化后的低场强脑血管病加权弥散影像；所述预处理包括图像非线性配准、颅骨剥离和图像数据标准化；

分割标签确定模块，用于将所述标准化后的低场强脑血管病加权弥散影像输入第一病灶分割网络，得到分割标签；所述第一病灶分割网络为nnunet网络；

切片模块，用于将所述标准化后的低场强脑血管病加权弥散影像和所述分割标签沿设定方向进行切片，分别得到所述低场强脑血管病加权弥散影像的多个切片影像和所述分割标签的多个标签；

连接模块，用于将各所述切片影像进行通道维度上的连接，得到多个多通道图像；

叠加模块，用于将各所述多通道图像与对应的标签进行叠加，得到所述待优化低场强脑血管病加权弥散影像的多个多通道图像序列；

优化模块，用于将各所述多通道图像序列输入到低场强脑血管病影像生成模型，得到多个优化后的低场强脑血管病切片影像；其中，所述低场强脑血管病影像生成模型为通过训练数据集对深度学习卷积神经网络进行训练得到的；所述训练数据集包括与低场强脑血管病加权弥散影像样本对应的高场强脑血管病加权弥散影像样本的多个切片影像和所述低场强脑血管病加权弥散影像样本的多个多通道图像序列；

最终影像确定模块，用于将多个所述优化后的低场强脑血管病切片影像沿所述设定方向进行堆叠，得到优化后低场强脑血管病影像。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的脑血管病核磁影像清晰度优化方法、系统及电子设备，基于低场强脑血管病加权弥散影像和高场强脑血管病加权弥散影像，将高、低场强的影像数据对认为是两种域下，同一特征的不同表征，利用深度学习方法对包含大量噪声的低场强影像进行图像处理与生成，能够在不增加成像技术成本的基础上，得到清晰的核磁影像并保留病灶区域，学习低场强影像与高场强影像之间潜在的特征结构映射关系，根据该映射关系，实现将待优化低场强脑血管病加权弥散影像生成清晰的核磁影像的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的脑血管病核磁影像清晰度优化方法流程图。

图2为本发明的低场强脑血管病加权弥散影像样本预处理示意图。

图3为本发明的高场强脑血管病加权弥散影像样本预处理示意图。

图4为本发明的深度学习卷积神经网络训练示意图。

图5为本发明的堆叠示意图。

图6为本发明的深度学习卷积神经网络模型示意图。

图7为本发明的条件网络结构示意图。

图8为本发明的特征空间调制层的结构示意图。

图9为本发明的病灶损失函数计算示意图。

图10为本发明的深度学习卷积神经网络训练过程流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种脑血管病核磁影像清晰度优化方法、系统及电子设备，能够提高脑血管病核磁影像的清晰度。

本发明基于循环生成对抗网络（CycleGAN）和U-Net的思想，构建了一个用于生成清晰核磁影像的卷积神经网络模型，从而得到了描述低场强影像与高场强影像之间映射关系的模型，能高效地学习二者潜在的共同结构特征。该模型针对医学影像的序列信息以及脑部细节纹理部分和病灶区域的生成对以往网络进行了改进，在网络中增加了特征空间调制层（Spatial Feature Transform），空间特征调制层（SFT）能恢复图像超分辨率的真实纹理，并且根据脑血管病影像特点，提出并设计了内容损失（Content Loss）和病灶损失（Lesion Loss）两个模块，引导模型进一步生成结构更真实、纹理细节更清晰的可靠影像。

本发明在无需增加核磁扫描各项成本的基础上，借助深度模型的能力实现了由低场强影像向高场强影像的翻译转换，仅通过低场强影像即可快速生成清晰影像，能够为医生的诊断提供可靠的高质量影像数据。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1所示，本发明提供了一种脑血管病核磁影像清晰度优化方法，所述优化方法包括：

步骤S1：获取待优化低场强脑血管病加权弥散影像。

步骤S2：对所述待优化低场强脑血管病加权弥散影像进行预处理，得到标准化后的低场强脑血管病加权弥散影像；所述预处理包括图像非线性配准、颅骨剥离和图像数据标准化。S2具体包括：

步骤S21：按照预设阈值，对所述待优化低场强脑血管病加权弥散影像进行颅骨剥离，得到头骨剥离图像。

步骤S22：按照设定参考模板，对所述头骨剥离图像进行非线性配准，得到配准后图像。

步骤S23：根据所述配准后图像，将大脑轮廓内体素进行高斯标准化并将大脑轮廓外背景体素设置为0，得到标准化后的低场强脑血管病加权弥散影像。

在实际应用中，在步骤S21颅骨剥离的过程中，会得到一个二值化矩阵（可理解为一个mask），该矩阵为1的地方代表原图像是大脑轮廓内，0则表示是大脑轮廓以及轮廓外的地方；所以通过该矩阵即可对原图像进行轮廓内外的区分，在图像上大脑轮廓和轮廓外背景都会被置为0，这样可以有效降低计算资源的耗费。

在脑内采用的标准化为：Z-score标准化，其计算定义为：

z=（x-μ）/σ。

其中，x为原始分值，z为经过转换后的z-score，μ为总体样本空间的分值均值，σ则为总体样本空间的标准差。这种标准化可以将不同量级的数据统一转化为同一个量级，统一用计算出的Z-Score值衡量，以保证数据之间的可比性。

步骤S3：将所述标准化后的低场强脑血管病加权弥散影像输入第一病灶分割网络，得到分割标签；所述第一病灶分割网络为nnunet网络。

步骤S4：将所述标准化后的低场强脑血管病加权弥散影像和所述分割标签沿设定方向进行切片，分别得到所述低场强脑血管病加权弥散影像的多个切片影像和所述分割标签的多个标签。

步骤S5：将各所述切片影像进行通道维度上的连接，得到多个多通道图像。

步骤S6：将各所述多通道图像与对应的标签进行叠加，得到所述待优化低场强脑血管病加权弥散影像的多个多通道图像序列。

步骤S7：将各所述多通道图像序列输入到低场强脑血管病影像生成模型，得到多个优化后的低场强脑血管病切片影像；其中，所述低场强脑血管病影像生成模型为通过训练数据集对深度学习卷积神经网络进行训练得到的；所述训练数据集包括与低场强脑血管病加权弥散影像样本对应的高场强脑血管病加权弥散影像样本的多个切片影像和所述低场强脑血管病加权弥散影像样本的多个多通道图像序列。

具体地，所述深度学习卷积神经网络由生成器和辨别器组成。所述生成器采用改进的U-Net结构；所述改进的U-Net结构为在U-Net网络的每个下采样层加入特征空间调制层且所述特征空间调制层与激活函数连接；所述特征空间调制层将对应的所述下采样层提取的特征与条件特征进行同或运算后的结果与所述条件特征进行相加运算，得到融合特征；其中，所述条件特征即为全局共享条件特征，对于同一个切片生成过程，只需要对其分割标签进行一次条件特征提取，随后所有的SFT层使用的条件特征都是同一个条件特征。所述辨别器采用PatchGAN网络结构。

步骤S8：将多个所述优化后的低场强脑血管病切片影像沿所述设定方向进行堆叠，得到优化后低场强脑血管病影像。

此外，本发明提供的脑血管病核磁影像清晰度优化方法中，所述低场强脑血管病影像生成模型的确定过程包括训练数据集的获取过程和深度学习卷积神经网络的训练过程。

具体地，训练数据集的获取过程具体包括：

（1）获取低场强脑血管病加权弥散影像样本和对应的高场强脑血管病加权弥散影像样本。具体地，低场强脑血管病加权弥散影像样本和对应的高场强脑血管病加权弥散影像样本为临床DWI磁共振影像作为原始数据，分别为低场强（0.23T)DWI和高场强（3.0T）的DWI。

（2）分别对所述低场强脑血管病加权弥散影像样本和对应的高场强脑血管病加权弥散影像样本进行预处理，得到标准化后的低场强脑血管病加权弥散影像样本和标准化后的高场强脑血管病加权弥散影像样本。

具体地，如图2和图3所示，按照预设阈值，分别对所述低场强脑血管病加权弥散影像样本和高场强脑血管病加权弥散影像样本进行颅骨剥离，分别得到低场强脑血管病加权弥散影像样本和高场强脑血管病加权弥散影像样本的头骨剥离图像样本。以对应的高场强脑血管病加权弥散影像样本的头骨剥离图像样本作为参考模板对所述低场强脑血管病加权弥散影像样本的头骨剥离图像样本进行非线性配准，得到配准后图像样本。分别将低场强脑血管病加权弥散影像样本的配准后图像样本和对应的高场强脑血管病加权弥散影像样本的头骨剥离图像样本的大脑轮廓内体素进行高斯标准化并将大脑轮廓外背景体素设置为0，得到标准化后的低场强脑血管病加权弥散影像样本和标准化后的高场强脑血管病加权弥散影像样本。

在实际应用中，颅骨剥离操作包括：通过预设阈值获取DWI图像的头骨剥离图像；图像配准包括：以低场强影像对应的高场强影像为参考模板，将输入影像执行非线性配准操作，配准后图像对的尺寸为240×240×13；图像数据标准化包括：计算经过头骨剥离后的大脑轮廓内体素的平均值和标准差，将大脑轮廓内体素进行高斯标准化，再将大脑轮廓外背景设置为0。

（3）将所述标准化后的低场强脑血管病加权弥散影像样本输入所述第一病灶分割网络，得到分割标签样本。所述第一病灶分割网络为nnunet网络。

在实际应用中，将低场强脑血管病加权弥散影像样本的3D图像制作成2D的切片，得到多个切片影像样本，并且对于低场强序列，即多个切片影像样本，将各切片影像样本制作成包含上下文信息的三通道图像；具体地，为了引入医学影像序列的上下文信息，同时又不显著增加模型训练参数，本发明对2D切片进行了通道维度上的连接，将当前需要预测生成的切片与其前后的切片相连接，构成了一张多通道的图像。同时，使用一个较准确的病灶分割网络，即第一病灶分割网络，对包含上下文信息的三通道图像进行分割，得到该切片的分割标签，分割标签与图像在通道维度上连接起来。标准化后的高场强脑血管病加权弥散影像样本不变，以此构成最终生成模型的输入数据；第一病灶分割网络为一个nnunet网络。

进一步地，设图像的形状表示为（C，W，H）-->（通道数，图像宽度，图像高度），一个2D切片被当作一个灰度图，则其形状为（1，W，H），那么将3个2D切片在第一维度叠加，则形成了（3，W，H）的图像。所述的三通道图像叠加方式，主要是为了方便将数据送入网络进行训练，叠加后的形状为（4，W，H）。

此外，训练采用现有的nnunet框架，没有进行任何修改，只需要将数据集进行预处理，然后送入该框架网络训练，就可以得到不错的分割效果。

（4）将所述分割标签样本、所述标准化后的低场强脑血管病加权弥散影像样本和所述标准化后的高场强脑血管病加权弥散影像样本沿所述设定方向进行切片，分别得到所述分割标签样本的多个标签样本、所述低场强脑血管病加权弥散影像样本的多个切片影像和对应的高场强脑血管病加权弥散影像样本的多个切片影像。具体地，将分割标签样本、所述标准化后的低场强脑血管病加权弥散影像样本和所述标准化后的高场强脑血管病加权弥散影像样本沿Z方向切片；对于一个DWI影像可以产生13张大小为240×240的2D切片。

（5）将各所述低场强脑血管病加权弥散影像样本的切片影像进行通道维度上的连接，得到多个多通道图像样本。

（6）将各所述多通道图像样本与对应的标签样本进行叠加，得到多个所述低场强脑血管病加权弥散影像样本的多通道图像序列。

具体地，所述深度学习卷积神经网络的训练过程具体包括：

（1）将各所述低场强脑血管病加权弥散影像样本的多通道图像序列输入所述深度学习卷积神经网络，得到生成图像样本。

（2）将所述生成图像样本和对应的标准化后的高场强脑血管病加权弥散影像样本的切片影像输入第二病灶分割网络，分别得到所述生成图像的病灶区域和对应的高场强脑血管病加权弥散影像样本的病灶区域；所述第二病灶分割网络为U-net网络。

在实际应用中，利用一个集成在模型中的预训练好的病灶分割网络模块，即第二病灶分割网络，该网络模块仅用作对图像进行分割，参数被冻结，不参与训练。使用该模块对生成图像样本和对应的高场强图像标准化后分别进行病灶分割，得到二值化的分割掩码，对分割掩码进行一定的区域膨胀，即将原始分割区域填充扩张成一个矩形框，然后用膨胀后的矩形掩码分别在原图像上提取病灶兴趣区域，计算病灶损失。

进一步地，预训练好的病灶分割网络模块的网络训练过程也遵循最常见的流程：将预处理的数据集送入网络中进行分割训练，网络骨架选择的是unet256模型（一种深度学习网络固定的结构），采用dice损失和bce损失进行监督训练，在测试集上选择dice得分最高的模型，作为最终的分割模型。这里没有采用nnunet是因为需要在之后生成网络的训练中进行分割，而nnunet是一个比较完整的工程代码，包装的十分完善，不便于将代码进行拆分再整合到当前工作中。

其中，该处数据集使用第三次中国卒中登记CNSR-III数据进行建立和验证算法有效性。CNSR-III是在中国范围内开展的基于缺血性卒中和TIA患者的等级研究，自2015年8月至2018年3月，在中国22个省、4个直辖市的201家医院连续招募了缺血性卒中或者TIA患者。该登记共计入组15166例患者。CNSR-III最大的特点在于收集了患者完整的MRI影像学信息、颅内外动脉评估等信息。随机选取了其中的600例数据，由两位高年资放射科医生对缺血性梗死病灶区域进行勾画，建立成训练数据集。

（3）计算所述生成图像和对应的高场强脑血管病加权弥散影像样本的内容损失；所述内容损失包括MAE损失、条件GAN损失和图像梯度差损失。

在实际应用中，内容损失主要针对低场强核磁影像中大脑主要结构生成、大脑轮廓和边缘生成以及脑结构里一些纹理等细节生成所设计，除了使用高场强影像和低场强影像之间的绝对误差损失和条件生成对抗损失作为目标函数外，还引入了图像梯度差损失。具体地，内容损失包括MAE损失、条件GAN损失和图像梯度差损失。其中，MAE损失（等同于L1 Loss）：Mean Absolute Error，即平均绝对误差。

其中，MAE损失：对于大脑核磁影像的低频信息，在图像域中代表图像的大致概貌和轮廓，通过MAE在像素级别来引导网络进行重建，其具体定义公式如下：

。

其中，为生成的图像，/>为高场强图像，/>为MAE损失，/>为数学运算符号中表示求期望，/>为一范数运算符号。

条件GAN损失：为了增加生成的核磁图片的真实性，需要对生成网络做出一定约束，避免生成模型不受控制的随意生成。因此，在GAN的基础上加入条件约束，让辨别器同时看到原始图像、目标图像以及生成图像，强迫生成的影像和目标域（高场强影像）图像尽量接近，其具体定义公式如下：

。

其中，为低场强图像，/>为条件GAN损失，/>为数学运算符号中表示求期望。

图像梯度差损失（GDL）：由于MAE损失在像素级别进行引导，模型为了减小该误差会使得生成图像区域平滑、模糊。因此，对于核磁影像中大脑细节纹理的生成，除了通过马尔可夫判别器在patch尺度上判别真假之外，为进一步提高模型对于细节部分的生成能力，通过直接惩罚生成器中图像梯度生成的差异来增强预测，其具体定义公式如下：

。

其中，为图像梯度差损失，/>表示生成图像中(i,j)位置的像素值，/>表示生成图像中(i-1,j)位置的像素值，/>表示生成图像中(i,j-1)位置的像素值，/>表示目标图像中(i,j)位置的像素值，表示目标图像中(i-1,j)位置的像素值，/>表示目标图像中(i,j-1)位置的像素值，本模型使用一阶梯度差损失，即/>。

综上所述，内容损失模块设计并使用了上述三类损失，最终内容损失的定义公式如下：

。

其中、β和γ分别是三种损失权重的调节因子，用来控制内容生成的侧重方面。

（4）根据所述生成图像的病灶区域和所述对应的高场强脑血管病加权弥散影像样本的病灶区域，计算病灶损失。

在实际应用中，如图9所示，病灶损失（）模块：由于病灶在整个影像中通常占比很小，通过内容损失进行训练往往会导致网络为了减小损失而不生成病灶的现象，因此该损失模块主要针对脑血管病的病灶部分生成能力进行设计，通过直接惩罚生成器中图像病灶生成的差异来增强病灶恢复能力，本发明中的生成网络集成了一个预训练好的病灶分割网络模型，即，第二病灶分割网络，通过对生成图像和高场强图像进行病灶分割，得到病灶的分割掩码，对该掩码进行一定程度的膨胀后分别对原图像进行提取，得到一个病灶兴趣区域（Lesion ROI），然后对该区域内的像素进行均方差损失计算，其具体定义公式如下：

。

其中，为生成图像膨胀后的病灶分割掩码，/>为高场强图像膨胀后的病灶分割掩码，/>为二范数运算符号，/>为数学运算符号中表示求期望。

（5）根据所述内容损失和所述病灶损失，应用反向传播及梯度下降算法对所述深度学习卷积神经网络进行训练。

如图4和图5所示，将生成的2D切片堆叠，生成最终的3D影像，应用测试集数据对每次训练后的深度学习卷积神经网络进行评估，选取最好的模型作为低场强脑血管病影像生成模型。

在实际应用中，如图6所示，将多通道低场强图像及分割标签作为输入，输入生成器，再将生成的图像和对应的高场强影像同时放入判别器进行真假判定，两个网络互相对抗最终得到效果最好的生成模型。在生成器部分使用了基于U-Net的网络结构，对于图像的低频信息，选取MAE作为损失可以达到不错的重建效果；对于高频信息，首先，采用了马尔科夫判别器（PatchGAN）来更好的判别高频信息，因为它只判断一个规定尺度大小的patch是真是假，即使patch的大小远小于原图的大小，该判别器依然可以产生较好的结果，并且由于其具有更少的参数，模型训练起来更快。

进一步地，为了使得网络更好区分并生成病灶和非病灶区域，在生成器网络种添加了一种空间特征调制模块，结合影像内容的类别先验信息，对输入的分割标签进行处理：分割标签首先会通过一个条件网络（Condition Network），如图7所示，生成一组全局共享的条件特征（Shared SFT Conditions），然后在基于U-Net的生成器网络的每个下采样阶段添加特征空间调制层（SFT Layer），其具体结构以及在网络下采样block中插入的位置如图8所示，实现对条件特征以及图像特征进行融合提取；空间特征调制层（SFT）是一种即插即用的模块，SFT层在本生成网络的每一个下采样阶段中使用。在不改变网络结构的情况下插到网络中。该层的输入由两部分组成：一部分来自于低场强影像经过网络提取的特征（features），即，对于当前的一个下采样阶段，提取的特征来自于上一个下采样阶段的输出。条件网络用来对分割标签进行特征提取，产生特征空间调制层所需要的全局共享的条件特征；一部分来自条件网络对分割标签提取的条件特征（conditions），最终输出调制后的特征。最后，针对高频信息在图像域中代表的细节纹理部分，在训练时通过对目标函数进行设计，来解决生成模型趋于模糊的问题。

本发明选取最好的模型作为低场强脑血管病影像生成模型，指的是：生成图像病灶与原始图像病灶相关性、一致性最高的。具体地，测试集质量评估包括：

1.峰值信噪比：PSNR，定义为：

。

其中，MAX_I：表示图像颜色的最大数值；MSE为两组图像之间的的均方差。

2.病灶方面：分割病灶得到生成图像的分割标签，在高场强图像上的分割标签/>，计算标签连通区域个数作为病灶个数，统计标签内非0的pixel得到病灶的像素个数pixel，计算病灶体积：

。

其中，spacing为当前DWI图像每个像素的实际距离间隔，单位是mm，spacing _x ，spacing _y ，spacing _z 分别表示当前DWI图像每个像素在x轴、y轴和z轴方向的实际距离间隔，单位都是mm。

3.评估：得到生成图像病灶体积和高场强图像病灶体积之后，计算pearson相关系数。

综上所述，如图10所示，低场强脑血管病影像生成模型的生成过程为：

（1）构建原始输入图像对。

（2）对原始输入图像对进行预处理并将图像沿Z方向切片。

（3）对低场强切片及其分割标签在通道维度进行连接，与配对的高场强切片构成数据集。

（4）构建低场强脑血管病影像生成模型。

（5）预训练的病灶分割模型。

（6）对生成图像和高场强图像进行分割，得到分割掩码。

（7）用分割掩码提取病灶兴趣区域，计算病灶损失。

（8）利用高低场强影像数据，结合预训练的病灶分割网络，采用多种损失对生成模型进行训练，选取生成能力好，生成图像质量高的模型进行保存。

（9）将测试集的影像数据输入到生成模型中，得到生成的切片，将切片沿Z方向堆叠，得到最终的清晰影像。

本发明提供的脑血管病核磁影像清晰度优化方法的优势如下所述：

1.本发明集成了改进的循环生成对抗网络和分割网络来实现低场强脑血管病影像向高场强影像的转换，实现了清晰度的提升。

2.本发明通过对3D图像切片再连接的方式，在引入医学图像序列上下文信息的同时，能够在不显著增加模型训练的参数量的基础上使得模型训练更快，且生成图像的效果更好。

3.本发明针对脑血管病影像特点，提出并设计了内容损失模块和病灶损失模块，保证了生成图像与真实图像之间的相似性、生成图像的细节重建能力和病灶区域的生成能力。

4.本发明使用深度学习的方法完全基于影像数据，在不改变扫描设备与环境的情况下，可以仅通过低场强脑血管病加权弥散影像数据就得到清晰可靠的类高场强影像数据。

5.本发明所提出的生成方法，借助强大的计算能力，能够快速的提高生成图像清晰度，同时还能保证生成图像的真实性。

6.本发明针对脑血管病影像的特点，除了在网络中引入了空间特征调制机制之外，提出并设计了两个损失模块：内容损失模块和病灶损失模块，显著提升了网络的细节生成能力，同时兼具对病灶的生成能力，使得生成的图像具有可靠性。

7.本发明对2D切片进行了通道维度上的连接，既引入了医学图像序列上下文信息，又没有增加模型的参数量，不仅使得模型训练高效，还能保证图像生成的效果。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种脑血管病核磁影像清晰度优化系统，所述优化系统包括：

获取模块，用于获取待优化低场强脑血管病加权弥散影像。

预处理模块，用于对所述待优化低场强脑血管病加权弥散影像进行预处理，得到标准化后的低场强脑血管病加权弥散影像；所述预处理包括图像非线性配准、颅骨剥离和图像数据标准化。

分割标签确定模块，用于将所述标准化后的低场强脑血管病加权弥散影像输入第一病灶分割网络，得到分割标签；所述第一病灶分割网络为nnunet网络。

切片模块，用于将所述标准化后的低场强脑血管病加权弥散影像和所述分割标签沿设定方向进行切片，分别得到所述低场强脑血管病加权弥散影像的多个切片影像和所述分割标签的多个标签。

连接模块，用于将各所述切片影像进行通道维度上的连接，得到多个多通道图像。

叠加模块，用于将各所述多通道图像与对应的标签进行叠加，得到所述待优化低场强脑血管病加权弥散影像的多个多通道图像序列。

优化模块，用于将各所述多通道图像序列输入到低场强脑血管病影像生成模型，得到多个优化后的低场强脑血管病切片影像；其中，所述低场强脑血管病影像生成模型为通过训练数据集对深度学习卷积神经网络进行训练得到的；所述训练数据集包括与低场强脑血管病加权弥散影像样本对应的高场强脑血管病加权弥散影像样本的多个切片影像和所述低场强脑血管病加权弥散影像样本的多个多通道图像序列。

最终影像确定模块，用于将多个所述优化后的低场强脑血管病切片影像沿所述设定方向进行堆叠，得到优化后低场强脑血管病影像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种脑血管病核磁影像清晰度优化方法，其特征在于，所述优化方法包括：

获取待优化低场强脑血管病加权弥散影像；

对所述待优化低场强脑血管病加权弥散影像进行预处理，得到标准化后的低场强脑血管病加权弥散影像；所述预处理包括图像非线性配准、颅骨剥离和图像数据标准化；

将所述标准化后的低场强脑血管病加权弥散影像输入第一病灶分割网络，得到分割标签；所述第一病灶分割网络为nnunet网络；

将所述标准化后的低场强脑血管病加权弥散影像和所述分割标签沿设定方向进行切片，分别得到所述低场强脑血管病加权弥散影像的多个切片影像和所述分割标签的多个标签；

将各所述切片影像进行通道维度上的连接，得到多个多通道图像；

将各所述多通道图像与对应的标签进行叠加，得到所述待优化低场强脑血管病加权弥散影像的多个多通道图像序列；

将各所述多通道图像序列输入到低场强脑血管病影像生成模型，得到多个优化后的低场强脑血管病切片影像；其中，所述低场强脑血管病影像生成模型为通过训练数据集对深度学习卷积神经网络进行训练并根据所述深度学习卷积神经网络的内容损失和病灶损失得到的；所述训练数据集包括与低场强脑血管病加权弥散影像样本对应的高场强脑血管病加权弥散影像样本的多个切片影像和所述低场强脑血管病加权弥散影像样本的多个多通道图像序列；

将多个所述优化后的低场强脑血管病切片影像沿所述设定方向进行堆叠，得到优化后低场强脑血管病影像；

具体地，所述内容损失包括MAE损失、条件GAN损失和图像梯度差损失；

其中，所述MAE损失：大脑核磁影像的低频信息在图像域中代表图像的概貌和轮廓，通过MAE在像素级别来引导网络进行重建，具体定义公式如下：

；

其中，为生成图像，/>为高场强图像，/>为MAE损失，/>为数学运算符号中表示求期望，/>为一范数运算符号；所述生成图像为所述深度学习卷积神经网络输出的图像；

所述条件GAN损失：在GAN的基础上加入条件约束，让辨别器同时看到原始图像、目标图像以及生成图像，强迫生成的影像和目标域图像尽量接近，所述目标域图像为高场强影像；具体定义公式如下：

；

其中，为低场强图像，/>为条件GAN损失，/>为数学运算符号中表示求期望；/>为生成图像，/>为高场强图像；

所述图像梯度差损失：通过直接惩罚生成器中图像梯度生成的差异来增强预测，具体定义公式如下：

；

其中，为图像梯度差损失；/>表示生成图像中(i,j)位置的像素值；/>表示生成图像中(i-1,j)位置的像素值；/>表示生成图像中(i,j-1)位置的像素值；/>表示目标图像中(i,j)位置的像素值；表示目标图像中(i-1,j)位置的像素值；/>表示目标图像中(i,j-1)位置的像素值；/>，为一阶梯度差损失；

所述内容损失的定义公式如下：

；

其中δ、β和γ分别是三种损失权重的调节因子；

根据所述生成图像的病灶区域和对应的高场强脑血管病加权弥散影像样本的病灶区域，计算病灶损失。

2.根据权利要求1所述的脑血管病核磁影像清晰度优化方法，其特征在于，对所述待优化低场强脑血管病加权弥散影像进行预处理，得到标准化后的低场强脑血管病加权弥散影像，具体包括：

按照预设阈值，对所述待优化低场强脑血管病加权弥散影像进行颅骨剥离，得到头骨剥离图像；

按照设定参考模板，对所述头骨剥离图像进行非线性配准，得到配准后图像；

根据所述配准后图像，将大脑轮廓内体素进行高斯标准化并将大脑轮廓外背景体素设置为0，得到标准化后的低场强脑血管病加权弥散影像。

3.根据权利要求2所述的脑血管病核磁影像清晰度优化方法，其特征在于，所述训练数据集的获取过程具体包括：

获取低场强脑血管病加权弥散影像样本和对应的高场强脑血管病加权弥散影像样本；

按照所述预设阈值，分别对所述低场强脑血管病加权弥散影像样本和高场强脑血管病加权弥散影像样本进行颅骨剥离，分别得到低场强脑血管病加权弥散影像样本和高场强脑血管病加权弥散影像样本的头骨剥离图像样本；

以对应的高场强脑血管病加权弥散影像样本的头骨剥离图像样本作为参考模板对所述低场强脑血管病加权弥散影像样本的头骨剥离图像样本进行非线性配准，得到配准后图像样本；

分别将低场强脑血管病加权弥散影像样本的配准后图像样本和对应的高场强脑血管病加权弥散影像样本的头骨剥离图像样本的大脑轮廓内体素进行高斯标准化并将大脑轮廓外背景体素设置为0，得到标准化后的低场强脑血管病加权弥散影像样本和标准化后的高场强脑血管病加权弥散影像样本；

将所述标准化后的低场强脑血管病加权弥散影像样本输入所述第一病灶分割网络，得到分割标签样本；

将所述分割标签样本、所述标准化后的低场强脑血管病加权弥散影像样本和所述标准化后的高场强脑血管病加权弥散影像样本沿所述设定方向进行切片，分别得到所述分割标签样本的多个标签样本、所述低场强脑血管病加权弥散影像样本的多个切片影像和对应的高场强脑血管病加权弥散影像样本的多个切片影像；

将各所述低场强脑血管病加权弥散影像样本的切片影像进行通道维度上的连接，得到多个多通道图像样本；

将各所述多通道图像样本与对应的标签样本进行叠加，得到多个所述低场强脑血管病加权弥散影像样本的多通道图像序列。

4.根据权利要求3所述的脑血管病核磁影像清晰度优化方法，其特征在于，所述深度学习卷积神经网络的训练过程具体包括：

将各所述低场强脑血管病加权弥散影像样本的多通道图像序列输入所述深度学习卷积神经网络，得到生成图像；

将所述生成图像和对应的高场强脑血管病加权弥散影像样本的切片影像输入第二病灶分割网络，分别得到所述生成图像的病灶区域和对应的高场强脑血管病加权弥散影像样本的病灶区域；所述第二病灶分割网络为U-net网络；

计算所述生成图像和对应的高场强脑血管病加权弥散影像样本的内容损失；所述内容损失包括MAE损失、条件GAN损失和图像梯度差损失；

根据所述生成图像的病灶区域和所述对应的高场强脑血管病加权弥散影像样本的病灶区域，计算病灶损失；

根据所述内容损失和所述病灶损失，应用反向传播及梯度下降算法对所述深度学习卷积神经网络进行训练。

5.根据权利要求1所述的脑血管病核磁影像清晰度优化方法，其特征在于，所述深度学习卷积神经网络由生成器和辨别器组成。

6.根据权利要求5所述的脑血管病核磁影像清晰度优化方法，其特征在于，所述生成器采用改进的U-Net结构；所述改进的U-Net结构是通过在U-Net网络的每个下采样层加入特征空间调制层且所述特征空间调制层与激活函数连接得到的；所述特征空间调制层将对应的所述下采样层提取的特征与条件特征进行同或运算后的结果与所述条件特征进行相加运算，得到融合特征。

7.根据权利要求5所述的脑血管病核磁影像清晰度优化方法，其特征在于，所述辨别器采用PatchGAN网络结构。

8.一种脑血管病核磁影像清晰度优化系统，其特征在于，所述优化系统包括：

获取模块，用于获取待优化低场强脑血管病加权弥散影像；

预处理模块，用于对所述待优化低场强脑血管病加权弥散影像进行预处理，得到标准化后的低场强脑血管病加权弥散影像；所述预处理包括图像非线性配准、颅骨剥离和图像数据标准化；

分割标签确定模块，用于将所述标准化后的低场强脑血管病加权弥散影像输入第一病灶分割网络，得到分割标签；所述第一病灶分割网络为nnunet网络；

切片模块，用于将所述标准化后的低场强脑血管病加权弥散影像和所述分割标签沿设定方向进行切片，分别得到所述低场强脑血管病加权弥散影像的多个切片影像和所述分割标签的多个标签；

连接模块，用于将各所述切片影像进行通道维度上的连接，得到多个多通道图像；

叠加模块，用于将各所述多通道图像与对应的标签进行叠加，得到所述待优化低场强脑血管病加权弥散影像的多个多通道图像序列；

优化模块，用于将各所述多通道图像序列输入到低场强脑血管病影像生成模型，得到多个优化后的低场强脑血管病切片影像；其中，所述低场强脑血管病影像生成模型为通过训练数据集对深度学习卷积神经网络进行训练并根据所述深度学习卷积神经网络的内容损失和病灶损失得到的；所述训练数据集包括与低场强脑血管病加权弥散影像样本对应的高场强脑血管病加权弥散影像样本的多个切片影像和所述低场强脑血管病加权弥散影像样本的多个多通道图像序列；

最终影像确定模块，用于将多个所述优化后的低场强脑血管病切片影像沿所述设定方向进行堆叠，得到优化后低场强脑血管病影像；

具体地，所述内容损失包括MAE损失、条件GAN损失和图像梯度差损失；

其中，所述MAE损失：大脑核磁影像的低频信息在图像域中代表图像的概貌和轮廓，通过MAE在像素级别来引导网络进行重建，具体定义公式如下：

；

其中，为生成图像，/>为高场强图像，/>为MAE损失，/>为数学运算符号中表示求期望，/>为一范数运算符号；所述生成图像为所述深度学习卷积神经网络输出的图像；

所述条件GAN损失：在GAN的基础上加入条件约束，让辨别器同时看到原始图像、目标图像以及生成图像，强迫生成的影像和目标域图像尽量接近，所述目标域图像为高场强影像；具体定义公式如下：

；

其中，为低场强图像，/>为条件GAN损失，/>为数学运算符号中表示求期望；/>为生成图像，/>为高场强图像；

所述图像梯度差损失：通过直接惩罚生成器中图像梯度生成的差异来增强预测，具体定义公式如下：

；

其中，为图像梯度差损失；/>表示生成图像中(i,j)位置的像素值；/>表示生成图像中(i-1,j)位置的像素值；/>表示生成图像中(i,j-1)位置的像素值；/>表示目标图像中(i,j)位置的像素值；表示目标图像中(i-1,j)位置的像素值；/>表示目标图像中(i,j-1)位置的像素值；/>，为一阶梯度差损失；

所述内容损失的定义公式如下：

；

其中δ、β和γ分别是三种损失权重的调节因子；

根据所述生成图像的病灶区域和对应的高场强脑血管病加权弥散影像样本的病灶区域，计算病灶损失。