CN110853111A - 医学影像处理系统、模型训练方法及训练装置 - Google Patents

Abstract

本发明提供医学影像处理系统、模型训练方法及训练装置。所述医学影像处理系统包括图像获取单元、虚拟DWI图像生成单元以及显示单元，在获取CTA扫描得到的CTA图像后，将所述CTA图像通过深度学习模型转换为对应的虚拟DWI图像，所述虚拟DWI图像用于脑卒中诊断，由于虚拟DWI图像相比于CTA图像可以提供有关脑卒中信息的更精准、全面的显示，因此极大地方便了医生进行早期脑卒中的诊断，为控制和治疗脑卒中提供了可靠全面的诊断依据，降低漏诊误诊率，让病人得到及时干预治疗，检查方式的融合亦可节约医疗花费。所述医学影像处理系统中的深度学习模型可以通过本发明的模型训练方法及装置训练得到。

Description

医学影像处理系统、模型训练方法及训练装置

技术领域

本发明涉及医疗设备技术领域，尤其涉及医学影像处理系统、模型训练方法及训练装置。

背景技术

脑卒中是一种严重威胁人口健康和阻碍社会经济发展的重大疾病。其中急性缺血性脑卒中(Acute Ischemic Stroke，AIS)占脑卒中的60％-80％，由于诊断方法受限，AIS的早期漏诊误诊率极高，因此对其早期明确诊断及确定梗死范围非常重要，是及时干预治疗，降低致残致死率的决定性因素。

应用核磁共振(Magnetic Resonance Imaging，MRI)获得病人的扩散加权成像(Diffusion-Weighted Image，DWI)是当前针对早期脑卒中最敏感且特异性最高的诊断方法，其信噪比高，诊断特异性及敏感性可达100％，可对缺血脑组织范围及程度进行精准判断，但核磁检查成像时间较长，对病人配合程度要求较高且具有强磁性不便于急症病人检查，因此属于非急诊检查项目。此外，通常大型医院的核磁检查等待周期都较长，费用较高，而小型医院又经常未配置核磁共振设备，因此，虽然应用MRI的DWI图像对脑卒中的早期诊断效果更好，但是实际普及性较差。

CTA(CT angiography，CT血管造影)也称非创伤性血管成像技术，检测过程快，是目前可行的一种针对脑卒中的早期诊断方式，但是CTA信噪比低，对于检测对象中远端小血管及微小血管导致的梗死不够敏感，且无法明确具体的梗死脑组织范围，仅凭CTA检查结果进行脑卒中的诊断，信息较局限，漏诊误诊较多，尤其对于缺乏经验的低年资医生而言，漏诊概率更大，而临床急诊夜班放射科医生却恰恰主要是低年资医生。

因此，如果能综合CTA和DWI的优势，及时便捷地获得较为准确和全面的脑卒中早期图像，以辅助医生进行早期脑卒中的诊断，对降低脑卒中的漏诊误诊，优化脑卒中的诊治流程具有重要的意义。

发明内容

针对上述问题，本发明提出一种医学影像处理单元，基于CTA的检测图像进行处理，可以生成更敏感且特异性更高的图像(以下称为虚拟DWI图像)，从而有助于降低脑卒中的漏诊误诊率，优化脑卒中的治疗策略。本发明另外提出一种模型训练方法及装置以及一种脑卒中检测系统。

一方面，本发明提出一种医学影像处理系统，包括图像获取单元、虚拟DWI图像生成单元以及显示单元，所述图像获取单元配置为获取对目标病人脑部进行CTA扫描得到的CTA图像，所述虚拟DWI图像生成单元配置为将所述CTA图像通过深度学习模型转换为对应的虚拟DWI图像，所述虚拟DWI图像用于脑卒中诊断，所述显示单元配置为将所述虚拟DWI图像输出显示给用户。

可选的，所述医学影像处理系统还包括预处理单元，所述预处理单元配置为在所述虚拟DWI图像生成单元将所述CTA图像通过深度学习模型转换为对应的虚拟DWI图像之前，对所述CTA图像进行预处理。

可选的，所述医学影像处理系统还包括评分单元，所述评分单元配置为根据所述虚拟DWI图像的信息，计算脑部缺血性评分。

可选的，所述深度学习模型为基于生成对抗网络结构获得的网络模型。

一方面，本发明提出一种模型训练方法，用于训练上述深度学习模型，所述模型训练方法包括以下步骤：

提取多个CTA图像和多个原始DWI图像；

将所述多个CTA图像和所述多个原始DWI图像进行图像配准，以获得多个CTA-DWI图像对，每个所述CTA-DWI图像对中的CTA图像与原始DWI图像具有空间映射关系；以及，

将各个所述CTA-DWI图像对作为训练数据输入生成对抗网络模型，结合所述生成对抗网络模型的判断模块和损失函数判断是否满足预设条件，若不满足所述预设条件，调节所述生成对抗网络模型的生成模块的模型参数直至满足所述预设条件，以具有当前模型参数的生成模块作为所述深度学习模型。

可选的，在对所述多个CTA图像和多个原始DWI图像进行图像配准前，还包括分别对各个所述CTA图像和所述原始DWI图像进行图像去噪的步骤。

一方面，本发明提出一种模型训练装置，用于训练上述深度学习模型，所述模型训练装置包括计算机可读存储介质和处理器，所述计算机可读存储介质上存储有程序代码，当所述程序代码被所述处理器读取并执行时，执行上述的模型训练方法。

一方面，本发明提出一种模型训练装置，用于训练上述深度学习模型，所述模型训练装置包括输入模块、图像配准模块和网络训练模块，所述输入模块配置为提取多个CTA图像和多个原始DWI图像，所述图像配准模块配置为对所述多个CTA图像和多个原始DWI图像进行图像配准，以获得多个CTA-DWI图像对，每个所述CTA-DWI图像对中的CTA图像与原始DWI图像具有空间映射关系，所述网络训练模块配置为将各个所述CTA-DWI图像对输入生成对抗网络模型的生成模块，结合所述生成对抗网络模型的判断模块和损失函数判断是否满足预设条件，若不满足所述预设条件，调节所述生成对抗网络模型的生成模块的模型参数直至满足所述预设条件，停止训练并以具有当前模型参数的生成模块作为所述深度学习模型。

可选的，各个所述CTA-DWI图像对中的CTA图像和原始DWI图像均具有第一分辨率。

可选的，所述生成对抗网络模型的生成模块包括第一卷积神经网络单元和第二卷积神经网络单元，所述第一卷积神经网络单元配置为降低所述CTA-DWI图像对中的CTA图像的分辨率并进行卷积处理，由输出层得到具有分辨率较所述第一分辨率低的第一过渡DWI图像，所述第二卷积神经网络单元包括前端和后端，所述前端配置为提取所述CTA-DWI图像对中的CTA图像的特征，并与所述第一卷积神经网络单元G1的输出层的上一层的特征图进行信息融合，所述后端配置为对所述信息融合后的特征进行卷积处理，获得分辨率较第一分辨率低的第二过渡DWI图像，并转换所述第二过渡DWI图像的分辨率获得虚拟DWI图像，所述虚拟DWI图像具有所述第一分辨率。

可选的，所述生成对抗网络模型的判别模块包括多尺度判别器，所述多尺度判别器进一步包括三个尺度的判别结构，分别是第一尺度判别结构、第二尺度判别结构以及第三尺度判别结构，所述第一尺度判别结构配置为利用所述第一过渡DWI图像与所述CTA-DWI图像对中的原始DWI图像的1/4降采样图像进行真假判别，所述第二尺度判别结构配置为利用所述第二卷积神经网络单元获得的第二过渡DWI图像与所述CTA-DWI图像对中的原始DWI图像的1/2降采样图像进行真假判别，所述第三尺度判别结构配置为利用所述虚拟DWI图像与所述CTA-DWI图像对中的原始DWI图像的原图进行真假判别。

可选的，所述网络训练模块还包括评分预测模块，所述评分预测模块进一步包括DWI评分预测单元和评分损失计算单元，所述DWI评分预测单元配置为根据所述第二卷积神经网络单元输出的虚拟DWI图像预测脑部缺血性评分，所述评分损失计算单元配置为将所述DWI评分预测单元获得的评分结果，与所述CTA-DWI图像对中的原始DWI图像的脑部缺血性评分作回归，并计算对应的均方差损失函数的值，所述深度学习模型的模型参数还使得所述评分损失计算单元输出的均方差损失函数的值在设定范围内。

本发明提出的医学影像处理系统可以将CTA图像转换为对应的虚拟图像，由于虚拟DWI图像的信噪比较高、敏感性和特异性较CTA图像更佳，相比于CTA图像可以提供有关脑卒中信息的更精准、全面的显示，因此极大地方便了医生进行早期脑卒中的诊断，为控制和治疗脑卒中提供了可靠全面的诊断依据，可以优化治疗策略，降低漏诊误诊率，让病人得到及时干预治疗，检查方式的融合亦可节约医疗花费。

本发明提出的模型训练方法和模型训练装置用于构建上述医学影像处理系统中的深度学习模型，所获得深度学习模型利用原始DWI图像与CTA图像进行配准并利用生成对抗网络模型进行训练生成，具有高度可一致性和可重复性，有助于避免了仅依据CTA进行疾病诊断存在的漏诊误诊率高等问题。

附图说明

图1是本发明一实施例的医学影像处理系统的结构示意图。

图2是本发明一实施例的模型训练方法的流程图。

图3是本发明一实施例的模型训练装置的结构图。

图4是本发明一实施例的模型训练装置的原理图。

图5是本发明一实施例中第一卷积神经网络单元的示意图。

图6是本发明一实施例中的第一尺度判别结构的示意图。

具体实施方式

对于脑卒中尤其是缺血性脑卒(AIS)，治疗的关键是急性期，因而及时采集病人的头颅影像并进行评估非常重要。但是，目前在采集病人头颅影像方面如背景技术所述，存在CTA检查虽然快速便捷但可以从CTA图像获得的诊断信息较为局限，而可以提供更全面诊断信息的DWI检查存在等待时间长、价格高、对病人配合度要求高等问题。

以下结合附图和具体实施例对本发明的医学影像处理系统、模型训练方法及训练装置作进一步详细说明。根据下面的说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。与此同时，本文使用的术语是用于说明实施例的目的，并不意图限制本发明。在本说明书中，除非另有说明，否则单数形式应理解为包括复数形式。在说明书中使用的属于“包含”和/或“包括”不排除在所指定的组合物、成分、组件、步骤、操作和/或元件中增加其他的组合物、成分、组件、步骤、操作和/或元件的一种或多种。

此外，本文使用的“单元”或“模块”通常是指本发明的组件，诸如逻辑可分离软件(计算机程序)、硬件或等效部件。因此，本发明的实施例中的单元不仅包括计算机程序中的单元，还包括硬件配置中的单元。因此，该实施例还可以用作包含指令的计算机程序的描述，所述计算机程序可以是用于执行计算机中的每个步骤的程序、用于将计算机功能形成为每个工具的程序或者用于使计算机实现功能、系统或方法中每一个的程序，其中，所述计算机程序启动“单元”或“模块”。虽然可以将各个“模块”和“单元”配置成与功能具有大体上的一一对应关系，但是在实际使用中，单个模块可以被配置为具有单个程序，多个模块可以被配置为具有单个程序或单个模块可以被配置为多个程序。在分布式或者并行环境中，多个模块可以由单个计算机执行或者单个模块可以由多个计算机执行。单个模块可以包括附加模块。本文所使用的属于“装置”和/或“系统”可以包括通过具有一对一对应通信连接的诸如网络的通信单元互连的多个计算机、硬件、装置等，或者包括具有实现本发明的过程的单个计算机、硬件、装置等。

此外，对于每个过程，无论是由每个模块或单元执行的单个过程或者是由每个模块或单元执行的多个过程，都从诸如存储器的存储设备中读取目标信息，并且在过程完成之后过程的结果被写入存储设备。因此，在描述中存在这样的情况，在过程之前从存储设备中读取以及在过程之后写入存储设备的描述可以被省略。所述的存储设备可以包括硬盘、随机存储存储器(RAM)、外部存储介质、经由通信线路的存储设备、中央处理单元(CPU)中的寄存器等等。

图1是本发明一实施例的医学影像处理系统的结构示意图。如图1所示，本发明实施例涉及一种医学影像处理系统，包括图像获取单元、虚拟DWI图像生成单元以及显示单元，其中，所述图像获取单元配置为获取对目标病人脑部进行CTA扫描得到的CTA图像，所述虚拟DWI图像生成单元配置为将所述CTA图像通过深度学习模型转换为对应的虚拟DWI图像，所述虚拟DWI图像用于脑卒中诊断，所述显示单元配置为将所述虚拟DWI图像输出显示给用户。

利用所述医学影像处理系统，目标病人可以仅作CTA扫描检查，然后将得到的CTA图像转换为对应的虚拟DWI图像进行显示，由于虚拟DWI图像相比于CTA图像可以提供有关脑卒中信息的更精准、全面的显示，医生直接利用该虚拟DWI图像进行诊断，相对于CTA图像，可以降低漏诊误诊率，让脑卒中目标病人得到及时干预治疗。

上述图像获取单元获得的CTA图像也可以通过显示单元(例如为一显示器)显示给用户，因而医生一方面可以通过所述CTA图像了解目标病人的脑血管情况，另一方面可以通过虚拟DWI图像生成单元生成的虚拟DWI图像了解目标病人的缺血脑组织范围及程度，综合两方面的信息后对目标病人的病情及进行诊断，脑卒中目标病人可以不必再进行MRI检查，等待时间短，测试费用低，优化了脑卒中的治疗策略。

如图1所示，一实施例中，所述医学影像处理系统还包括预处理单元，所述预处理单元配置为在所述虚拟DWI图像生成单元将所述CTA图像通过深度学习模型转换为对应的虚拟DWI图像之前，对所述CTA图像进行预处理。

具体的，所述预处理单元对CTA图像进行的预处理可包括降噪处理，以便于提高深度学习模型进行图像辨识及转换的准确度。降噪处理可采用中值滤波、高斯滤波等非线性平滑技术，中值滤波是将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，即把获得的脑部CTA图像中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近于真实值，消除孤立的噪声点。

进一步的，为了进一步便于脑卒中的诊断，上述医学影像处理系统还可包括评分单元，所述评分单元配置为根据虚拟DWI图像的信息，计算脑部缺血性评分。由于虚拟DWI图像包括脑部供血区的图像，因而可以根据脑部供血区的缺血状况进行评分。所述评分单元可以采用本领域公开的评分方法进行评分。所述显示单元可以将评分的结果也输出显示给用户，医生可以根据显示单元显示的DWI图像以及评分结果进行诊断，有助于提高诊断效率。

所述虚拟DWI图像生成单元可以将所述CTA图像通过深度学习模型转换为对应的虚拟DWI图像。所述深度学习模型经过训练并具有学习能力，对于CTA图像中的一些图像数据中的微小变化，虽然人眼难以从CTA图像的这些部分直接看出其所反映出来的脑卒中诊断信息，但是深度学习模型经过大量样本训练，对CTA图像数据可以进行更全面的分析，并通过输出对应的虚拟DWI图像，将CTA图像数据中可以通过DWI图像呈现的更精准的信息全部呈现出来。例如，CTA图像对AIS的脑组织梗死范围不敏感，仅能识别阻塞大血管的位置，对于远端小血管及微小血管导致的脑梗死不够敏感，诊断信息较局限，不全面，漏诊误诊比较多。转换为虚拟DWI图像后，可以精准地显示出几乎全部脑梗死组织的区域。从而，利用所述医学影像处理系统，不仅可通过CTA图像找到犯罪血管及定位，同时可以通过生成的虚拟DWI图像清晰显示出阻塞血管导致的脑梗死区域，既获得了及时诊断需要的时间窗，而且诊断信息更加全面。

上述应用于医学影像处理单元中的深度学习模型，可以采用各种深度学习的架构和训练方法来实现，只要能够实现将输入的CTA图像进行分析处理，将CTA图像进行转换，准确地输出对应的包括更多有关脑卒中诊断信息的虚拟DWI图像即可。本实施例中，所述虚拟DWI图像生成单元采用的深度学习模型例如是基于生成对抗网络结构获得的网络模型。

可以理解的是，本发明实施例的医学影像处理系统可以包括通过诸如网络的通信单元互连的多个计算机、硬件、装置等，或者包括具有实现本发明的过程的单个计算机、硬件、装置等。所述的计算机可包括中央处理单元(CPU)、存储器以及输入及输出组件等等，所述的输入及输出组件例如为键盘、鼠标、触摸屏、显示器等。所述医学影像处理系统中的各个单元(图像获取单元、虚拟DWI图像生成单元、显示单元、预处理单元、评分单元)可以合并在一个模块中实现，或者其中的任意一个单元可以被拆分成多个子单元，或者，这些单元中的一个或多个的至少部分功能可以与其它单元的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，所述医学影像处理系统中的各个单元中的至少一个可以至少被部分地实现为硬件电路，或可按照对电路进行集成或封装的任何其它的合理方式等硬件或固件来实现，或者，所述医学影像处理系统中的各个单元中的至少一个可以至少被部分地实现为程序代码模块，当该程序代码模块被控制医学影像处理系统的计算机运行时，可以执行相应模块的功能。

本发明实施例还涉及一种模型训练方法，可以用来构建上述应用于医学影像处理系统中的深度学习模型。图2是本发明一实施例的模型训练方法的流程图。参照图2，所述模型训练方法包括以下步骤：

S1：提取多个CTA图像和多个原始DWI图像；

S2：将所述多个CTA图像和所述多个原始DWI图像进行图像配准，以获得多个CTA-DWI图像对，每个所述CTA-DWI图像对中的CTA图像与原始DWI图像具有空间映射关系；

S3：将各个所述CTA-DWI图像对作为训练数据输入生成对抗网络模型，结合所述生成对抗网络模型的判断模块和损失函数判断是否满足预设条件，若不满足所述预设条件，调节所述生成对抗网络模型的生成模块的模型参数直至满足所述预设条件，停止训练并以具有当前模型参数的生成模块作为所述深度学习模型。

具体的，步骤S1为图像输入步骤，多个CTA图像和多个原始DWI图像用来进行样本训练，在此，为便于与虚拟DWI图像区分，将应用MRI获得的DMI图像称为原始DWI图像。所提取的多个CTA图像和多个原始DWI图像中优选包括属于同一病人且在相近时间内(例如20日内)采集的脑部CTA图像和DWI图像。CTA图像和原始DWI图像的数量可以不完全相同。一般来说，用于训练的样本数越多，更有利于模型的优化，可选择不同年龄不同体质的病人的CTA图像和原始DWI图像作为训练样本。

在获得CTA图像和原始DWI图像后、进行网络训练之前，优选对CTA图像和原始DWI图像进行预处理，以提高后续训练的效率。在预处理过程中，可以对每张CTA图像和原始DWI图像进行去噪处理等操作。

步骤S2为图像配准(Image Registration)步骤，目的是对步骤S1获得的CTA图像和原始DWI图像作图像配准，经过图像配准，使得具有对应关系的一组CTA图像与原始DWI图像从图像块代表的区域方面形成空间映射关系，便于后续训练。

优选方案中，可采用机器学习进行迭代优化来实现图像配准。首先可定义一个相似度度量(如L2范数)，然后通过特征匹配、图像变换等操作不断迭代优化，找到两幅CTA图像与原始DWI图像中的空间映射关系，在配准后可得到多个CTA-DWI图像对。本实施例中，可采用医学影像处理软件ITK对CTA图像和原始DWI图像进行配准，并最终得到多个CTA-DWI图像对。优选的，每个CTA-DWI图像对中的一对图像的尺寸相同、分辨率相同，并且分辨率较高，以提供高质量的训练样本。

步骤S3为深度学习模型的具体构建步骤。本实施例中，该深度学习模型的以生成对抗网络(GAN)模型(例如pix2pixHD)为基础进行训练，采取类似于金字塔式的方法，利用生成对抗网络模型中的生成模块(Generative Model)的一个网络对输入的高分辨率的CTA图像进行处理，先输出低分辨率的虚拟DWI图像(为过渡图像)，然后将低分辨率的虚拟DWI图像作为另一个网络的输入，生成分辨率更高的虚拟DWI(virtual DWI)图像，该分辨率更高的虚拟DWI图像为生成模块的输出。在构建过程中，利用生成对抗网络模型中的判别模块(Discriminative Model)对生成模块的输出进行判别并形成对抗，来调整生成模块的模块参数，并最终将符合预设条件时的生成模块应用于医学影像处理单元的深度学习模型。

上述模型训练方法的处理、执行，通常是以软件程序的方式配合硬件的方式来实施，然而，他们全部(或其中一部分)也可以使用电子硬件的方式来实施。不管是以软件或者硬件方式，其个别部分是熟悉电子、软件领域人员可以进行实施的，因此，其细节就不在本说明书中赘述。

深度学习模型可以采用专用的装置来构建。因此，本发明实施例还包括一种模型训练装置。具体说明如下。

本发明一实施例中，包括一种模型训练装置，所述模型训练装置包括计算机可读存储介质和处理器，所述计算机可读存储介质上存储有程序代码，当所述程序代码被所述处理器读取并执行时，执行上述模型训练方法。所述模型训练装置可以是一种硬件平台，其中可包括个人计算机、服务器网络连接设备等。所述计算机可读存储介质可以是随机存取存储器(RAM)、随机只读存储器(ROM)、硬盘、磁碟、光盘、中央处理单元(CPU)中的寄存器、经由通信线路的外部存储设备(或介质)等等，在所述计算机可读存储介质上存储的程序代码可以使用各种常见编程语言框架来实现，当这些程序代码被加载计算机后，可由计算机的处理器如中央处理单元(CPU)以及图像处理单元(GPU)来执行其指令。

本发明又一实施例中，包括一种模型训练装置，该模型训练装置为具有多个模块的结构，其也可以用来构建上述应用于医学影像处理单元中的深度学习模型。图3是本发明一实施例的模型训练装置的结构图。参照图3，接着对该模型训练装置进行说明。

所述模型训练装置包括：

输入模块，配置为提取多个CTA图像和多个原始DWI图像；

图像配准模块，配置为对所述多个CTA图像和多个原始DWI图像进行图像配准，以获得多个CTA-DWI图像对，每个所述CTA-DWI图像对中的CTA图像与原始DWI图像具有空间映射关系；

网络训练模块，配置为将各个所述CTA-DWI图像对输入生成对抗网络模型的生成模块，结合所述生成对抗网络模型的判断模块和损失函数判断是否满足预设条件，若不满足所述预设条件，调节所述生成对抗网络模型的生成模块的模型参数直至满足所述预设条件，停止训练并以具有当前模型参数的生成模块作为所述深度学习模型。

为了去除图像中的噪声(如椒盐噪声)，方便配准和训练，优选的，所述模型训练装置还包括预处理模块，配置为分别对CTA图像和原始DWI图像进行预处理，所述预处理包括降噪处理。降噪处理方法可以根据公开技术实施。

具体来说，输入模块用来提取多个CTA图像和多个原始DWI图像。所提取的多个CTA图像和多个原始DWI图像中优选包括属于同一病人且在相近时间内(例如20日内)采集的脑部CTA图像和DWI图像。CTA图像和原始DWI图像的数量可以不完全相同，例如同一病人在相近时间内采集的CTA图像为15张，而DWI图像为20张，均可以作为训练样本。输入模块提取的图像可以属于不同类型，不同类型的图像在病人的年龄、体质(如是否有高血压等基础疾病)或者拍摄方向等方面有所不同。为了方便深度学习训练，输出模块所提取的CTA图像和原始DWI图像优选是高分辨率的图像。

图像配准模块用来对提取到的CTA图像和原始DWI图像进行图像配准，以得到多个CTA-DWI图像对，所述多个CTA-DWI图像对用来后续的网络训练。优选的，每个CTA-DWI图像对中的一对图像的尺寸相同、分辨率相同，并且分辨率较高，以提供高质量的训练样本。

本实施例中，网络训练模块采用的是生成对抗网络模型，在输入CTA-DWI图像对后，在生成对抗网络模型的框架下进行训练。每个CTA-DWI图像对中的CTA图像和原始DWI图像的分辨率相同，记为第一分辨率。

图4是本发明一实施例的模型训练装置的原理图。参照图4，以下对该模型训练装置作进一步说明。

所述生成对抗网络模型的生成模块可包括：

第一卷积神经网络单元G1，配置为降低所述CTA-DWI图像对中的CTA图像的分辨率并进行卷积处理，由输出层得到分辨率较所述第一分辨率低的第一过渡DWI图像；

第二卷积神经网络单元G2，包括前端和后端，所述前端配置为提取所述CTA-DWI图像对中的CTA图像的特征，并与所述第一卷积神经网络单元G1的输出层的上一层的特征图进行信息融合，所述后端配置为对所述信息融合后的特征进行卷积处理，获得分辨率较第一分辨率低的第二过渡DWI图像，并转换所述第二过渡DWI图像的分辨率获得虚拟DWI图像，所述虚拟DWI图像具有所述第一分辨率。

图5是本发明一实施例中第一卷积神经网络单元的示意图。参照图5，第一卷积神经网络单元G1经过卷积运算后，输出第一过渡DWI图像，其中，第一卷积神经网络单元G1在降采样和升采样过程中的激活函数可以分别选用LeakyRelu函数和Relu函数。本实施例中，第二卷积神经网络单元G2对信息融合后的特征进行卷积处理的过程与第一卷积神经网络单元G1基本相同。

本实施例中应用的生成对抗网络模型的判别模块包括多尺度判别器，参照图4，所述多尺度判别器可在三个尺度进行判别，具体的，所述多尺度判别器包括第一尺度判别结构D1、第二尺度判别结构D2以及第三尺度判别结构D3(未示出)，其中，第一尺度判别结构D1配置为利用所述第一过渡DWI图像与所述CTA-DWI图像对中的原始DWI图像的1/4降采样图像进行真假判别，第二尺度判别结构D2配置为利用所述第二过渡DWI图像与所述CTA-DWI图像对中的原始DWI图像的1/2降采样图像进行真假判别，第三尺度判别结构D3配置为利用所述虚拟DWI图像与所述CTA-DWI图像对中的原始DWI图像的原图进行真假判别。

作为示例，第一尺度判别结构D1、第二尺度判别结构D2以及第三尺度判别结构D3可以均采用Markovian判别器(PatchGAN)，即把图像等分成N×N份切片(Patch)，然后分别判断每张Patch的真假(Real/fake)，最后取平均。图6是本发明一实施例中的第一尺度判别结构的示意图。参照图6，第一尺度判别结构D1经卷积操作后，利用Sigmoid函数将判断结果限定在0～1范围内。

对于生成对抗网络模型，判别模块的判断结果进一步通过损失函数(Loss)计算，具体的，本实施例采用的生成对抗网络模型的损失函数可以用式(1)表示：

可见，该损失函数包括两部分，分别为Gan Loss(即根据各个判别尺度的结果计算得到的损失)和Feature matching(FM)loss(即特征匹配损失，将生成的样本和真实样本分别输入判别器提取特征，然后对特征做Element-wise loss计算获得)。

式(1)中的Feature matching(FM)loss进一步可以用式(2)表示：

式(1)和式(2)中，D指的是判别结构，k取1、2、3时分别对应上述第一尺度判别结构D1、第二尺度判别结构D2以及第三尺度判别结构D3，G指的是上述第一卷积神经网络单元G1和第二卷积神经网络单元G2。生成对抗网络模型的损失函数可以采用本领域公开的方法计算。

在获得生成对抗网络模型中损失函数后，模型训练装置的网络训练模块结合所述生成对抗网络模型的判断模块和损失函数判断是否满足预设条件，若不满足预设条件，调节所述生成对抗网络模型的生成模块的模型参数直至满足所述预设条件，直至使所述预设条件满足，停止训练并以具有当前模型参数的生成模块作为所述深度学习模型。所述预设条件可以根据需要设置，例如可以设定在损失函数的值降低要一定阈值以下时停止训练，或者，设定损失函数的值不再减小时停止训练，或者，可以设定在一定运行次数之后停止训练。本实施例中，调整生成模块的模型参数主要通过更新网络的权重来实现。

本实施例中，为了使构建的深度学习模型在将CTA图像转换为虚拟DWI图像方面的准确性更佳，参照图3，优选的，该模型训练装置的网络训练模块还包括一评分预测模块，该评分预测模块配置为预测第二卷积神经网络单元输出的虚拟DWI图像的评分，并与原始DWI图像的评分进行比较，将比较结果作为上述生成对抗网络模型的损失函数的一项，或者，根据比较结果，直接调整生成对抗网络模型中生成模块的模型参数，以获得训练更全面的深度学习模型。至于原始DWI图像的评分，可以在输入所述模型训练装置之前即已由医生或者其它评分设备获得。

具体的，一实施例中，所述评分预测模块包括DWI评分预测单元和评分损失计算单元，所述DWI评分预测单元配置为根据第二卷积神经网络单元G2输出的虚拟DWI图像预测脑部缺血性评分，所述评分损失计算单元配置为将所述DWI评分预测单元获得的评分结果，与所述CTA-DWI图像对中的原始DWI图像的脑部缺血性评分(即原始DWI图像的真实评分)作回归，作回归并计算对应的均方差损失函数(MSE loss)的值。所述均方差损失函数也用来训练上述生成对抗网络模型。也即，应用于医学影像处理系统的深度学习模型的模型参数还优选使得所述评分损失计算单元输出的均方差损失函数的值在设定范围内。优选方案中，所述深度学习模型的模型参数既满足所述评分损失计算单元输出的均方差损失函数的值在设定范围内，同时所述深度学习模型的模型参数还使生成对抗网络模型的损失函数满足预设条件，因而有助于获得更为精准的深度学习模型。

综上所述，本发明实施例的医学影像处理系统，可以将CTA图像转换为对应的虚拟图像，由于虚拟DWI图像的信噪比较高、敏感性和特异性较CTA图像更佳，相比于CTA图像可以提供有关脑卒中诊断的更精准、全面的显示。从而，利用所述医学影像处理系统，一方面可以通过更为及时便捷获取的CTA检查提供早期脑卒中目标病人的血管病变的信息，另一方面，可以通过虚拟DWI图像呈现给医生有关缺血脑组织范围及程度的信息，从而有助于医生对病情做出准确和全面的诊断，降低脑卒中的漏诊误诊率，优化脑卒中的治疗策略。

上述描述仅是对本发明较佳实施例的描述，并非对本发明权利范围的任何限定，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (12)

1.一种医学影像处理系统，其特征在于，包括：

图像获取单元，配置为获取对目标病人脑部进行CTA扫描得到的CTA图像；

虚拟DWI图像生成单元，配置为将所述CTA图像通过深度学习模型转换为对应的虚拟DWI图像，所述虚拟DWI图像用于脑卒中诊断；以及，显示单元，配置为将所述虚拟DWI图像输出显示给用户。

2.如权利要求1所述的医学影像处理系统，其特征在于，还包括：

预处理单元，配置为在所述虚拟DWI图像生成单元将所述CTA图像通过深度学习模型转换为对应的虚拟DWI图像之前，对所述CTA图像进行预处理。

3.如权利要求1所述的医学影像处理系统，其特征在于，还包括：

评分单元，配置为根据所述虚拟DWI图像的信息，计算脑部缺血性评分。

4.如权利要求1所述的医学影像处理系统，其特征在于，所述深度学习模型为基于生成对抗网络结构获得的网络模型。

5.一种模型训练方法，用于训练如权利要求1至4任一项所述的深度学习模型，所述模型训练方法包括：

提取多个CTA图像和多个原始DWI图像；

将所述多个CTA图像和所述多个原始DWI图像进行图像配准，以获得多个CTA-DWI图像对，每个所述CTA-DWI图像对中的CTA图像与原始DWI图像具有空间映射关系；以及，

将各个所述CTA-DWI图像对作为训练数据输入生成对抗网络模型，结合所述生成对抗网络模型的判断模块和损失函数判断是否满足预设条件，若不满足所述预设条件，调节所述生成对抗网络模型的生成模块的模型参数直至满足所述预设条件，以具有当前模型参数的生成模块作为所述深度学习模型。

6.如权利要求5所述的模型训练方法，其特征在于，在对所述多个CTA图像和多个原始DWI图像进行图像配准前，还包括分别对各个所述CTA图像和所述原始DWI图像进行图像去噪的步骤。

7.一种模型训练装置，用于训练如权利要求1至4任一项所述的深度学习模型，其特征在于，所述模型训练装置包括计算机可读存储介质和处理器，所述计算机可读存储介质上存储有程序代码，当所述程序代码被所述处理器读取并执行时，执行如权利要求5或6所述的模型训练方法。

8.一种模型训练装置，用于训练如权利要求1至4任一项所述的深度学习模型，其特征在于，所述模型训练装置包括：

输入模块，配置为提取多个CTA图像和多个原始DWI图像；

图像配准模块，配置为对所述多个CTA图像和多个原始DWI图像进行图像配准，以获得多个CTA-DWI图像对，每个所述CTA-DWI图像对中的CTA图像与原始DWI图像具有空间映射关系；以及，

网络训练模块，配置为将各个所述CTA-DWI图像对输入生成对抗网络模型的生成模块，结合所述生成对抗网络模型的判断模块和损失函数判断是否满足预设条件，若不满足所述预设条件，调节所述生成对抗网络模型的生成模块的模型参数直至满足所述预设条件，停止训练并以具有当前模型参数的生成模块作为所述深度学习模型。

9.如权利要求8所述的模型训练装置，其特征在于，各个所述CTA-DWI图像对中的CTA图像和原始DWI图像均具有第一分辨率。

10.如权利要求9所述的模型训练装置，其特征在于，所述生成对抗网络模型的生成模块包括：

第一卷积神经网络单元，配置为降低所述CTA-DWI图像对中的CTA图像的分辨率并进行卷积处理，由输出层得到具有分辨率较所述第一分辨率低的第一过渡DWI图像；以及，

第二卷积神经网络单元，包括前端和后端，所述前端配置为提取所述CTA-DWI图像对中的CTA图像的特征，并与所述第一卷积神经网络单元G1的输出层的上一层的特征图进行信息融合，所述后端配置为对所述信息融合后的特征进行卷积处理，获得分辨率较第一分辨率低的第二过渡DWI图像，并转换所述第二过渡DWI图像的分辨率获得虚拟DWI图像，所述虚拟DWI图像具有所述第一分辨率。

11.如权利要求10所述的模型训练装置，其特征在于，所述生成对抗网络模型的判别模块包括多尺度判别器，所述多尺度判别器进一步包括：

第一尺度判别结构，配置为利用所述第一过渡DWI图像与所述CTA-DWI图像对中的原始DWI图像的1/4降采样图像进行真假判别；

第二尺度判别结构，配置为利用所述第二卷积神经网络单元获得的第二过渡DWI图像与所述CTA-DWI图像对中的原始DWI图像的1/2降采样图像进行真假判别；以及，

第三尺度判别结构，配置为利用所述虚拟DWI图像与所述CTA-DWI图像对中的原始DWI图像的原图进行真假判别。

12.如权利要求10所述的模型训练装置，其特征在于，所述网络训练模块还包括评分预测模块，所述评分预测模块包括：

DWI评分预测单元，配置为根据所述第二卷积神经网络单元输出的虚拟DWI图像预测脑部缺血性评分；以及，

评分损失计算单元，配置为将所述DWI评分预测单元获得的评分结果，与所述CTA-DWI图像对中的原始DWI图像的脑部缺血性评分作回归，并计算对应的均方差损失函数的值；

其中，所述深度学习模型的模型参数使得所述评分损失计算单元输出的均方差损失函数的值在设定范围内。

Images