发明内容
为了解决上述技术问题,本发明提供了一种动态分析时序MR图像的方法、系统、设备和存储介质,采用联合CNN和transformer序列深度学习模型的端到端架构,能够纵向分析时间序列MR影像,明确复发肿瘤区域数字化特征动态演变规律,从而给医生的后续诊断提供数据支持。
第一方面,本发明提供了一种动态分析时序MR图像的方法,所述方法包括:
获取待测样本的时序MR图像,对所述时序MR图像进行图像融合,得到第一MR图像,所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像;
将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取,得到图像特征图;
将所述图像特征图按照最近邻原则划分为若干个特征块,对所述特征块进行特征融合,得到第二MR图像;
将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测,得到对应的分类结果。
进一步地,所述对所述时序MR图像进行图像融合,得到第一MR图像的步骤包括:
将多个所述原始MR图像由三维图像转变为二维图像,将各个所述原始MR图像在相同层面上的二维图像组合成三通道图像,并将所述三通道图像作为第一MR图像。
进一步地,所述将多个所述原始MR图像由三维图像转变为二维图像的步骤包括:
对多个所述原始MR图像的三维图像进行深度切片,得到二维图像,所述二维图像的数量与所述三维图像的深度尺寸相对应,且在同一层面上的所述二维图像的数量与所述原始MR图像的数量一致。
进一步地,所述三通道图像中各个通道图像的随访点均不相同,且每个所述通道图像由按照预设规则从所述时序MR图像中选择出的多个不同时间的所述原始MR图像构成。
进一步地,所述将所述图像特征图按照最近邻原则划分为若干个特征块,对所述特征块进行特征融合,得到第二MR图像的步骤包括:
将所述图像特征图按照最近邻原则划分为若干个特征块,并将所述特征块拉平为一维向量;
通过全连接层将所述一维向量映射为可嵌入Transformer网络模型的Patchtoken;
获取与所述Patch token相同维度的Class token,将所述Class token和所述Patch token进行拼接,生成第二MR图像。
进一步地,所述Transformer网络模型的分类器由所述Class token和全连接层构建得到。
进一步地,所述卷积神经网络模型为残差网络模型。
第二方面,本发明提供了一种动态分析时序MR图像的系统,所述系统包括:
图像融合模块,用于获取待测样本的时序MR图像,对所述时序MR图像进行图像融合,得到第一MR图像,所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像;
特征提取模块,用于将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取,得到图像特征图;
特征融合模块,用于将所述图像特征图按照最近邻原则划分为若干个特征块,对所述特征块进行特征融合,得到第二MR图像;
预测分类模块,用于将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测,得到对应的分类结果。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
上述本发明提供了一种动态分析时序MR图像的方法、系统、设备和存储介质。通过所述方法对影像特征不明显的时序MR图像进行纵向分析,能够预测MR影像数字化特征的动态演变规律,实现MR图像的动态监测,具有较高预测准确性和稳定性。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明第一实施例提出的一种动态分析时序MR图像的方法,包括步骤S10~S40:
步骤S10,获取待测样本的时序MR图像,对所述时序MR图像进行图像融合,得到第一MR图像,所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像。
由于鼻咽癌复发监测的MR图像具有复发病灶早期体积小、影像特征不典型,复发位置隐匿等影响特征,通过人工难以准确的对MR图像进行分析,为了更好的从MR图像中分析出肿瘤区域数字化特征的动态演变规律,本发明利用深度学习模型对时序MR图像进行动态分析,能够适用于平扫以及增强的多个MR序列。
本发明采用的深度学习模型为TSNet模型,该TSNet模型采用联合卷积神经网络CNN和Transformer序列深度学习模型的端到端的架构,其中CNN作为特征提取器,用于提取MR图像的图像特征,而Transformer则采用了标准的vit结构,用于整合和挖掘不同时空的MR图像的表征特征,本实施例的TSNet模型集成了CNN强大的自学习和特征提取能力,以及具备Transformer处理长序列能力及并行计算优势,具体的数据处理流程请参阅图2。
如图2所示,为了能够挖掘时间序列3D MR图像的图像特征,处分分析数字化特征动态演变规则以及整个全局信息,本发明重新设计了时间序列3D图像融合方式。
首先,从MR图像样本库中获取同一样本在不同时期内的原始MR图像,比如顺序选取采样时间与当前时间最接近的多个原始MR图像,构成时序MR图像。
假设选取的时序MR图像为最近三次的原始MR图像,那么TSNet模型的输入为当前以及前两次的3D MR图像即3个3D MR图像,TSNet模型会对输入的时序MR图像进行图像融合,即将三维图像转变为二维图像,并对二维图像进行组合得到第一MR图像,具体的图像融合方式为:
将输入的每个原始MR图像的三维图像进行深度切片,假设每个三维图像的尺寸均为D*H*W,即深度为D、高度为H、宽度为W,那么进行深度切片后就可以得到D个尺寸为H*W的slice图像,即二维图像,而在同一层面上的二维图像的数量与输入的原始MR图像的数量一致,即如果输入的原始MR图像有三个,在对三个三维图像进行深度切片,其在相同层面上的二维图像就有三个,如果输入的原始MR图像有五个,那么在相同层面上的二维图像就有五个,以此类推,输入的MR图像数量根据实际情况确定,在此不做过多的限制。
由于对三维图像进行深度切分后应当产生D个层面的二维图像,而根据同一层面上的二维图像组成三通道图像,因此得到的三通道图像的数量也应当与三维图像的深度尺寸一致,即三通道图像的数量为D个。由于本发明是针对鼻咽癌复发的随访过程进行的动态监测,因此其融合后的图像数据即三通道图像应当具有连续且不同的随访点,在本实施例中,每个通道图像都应具有不同的随访点,且每个通道图像都是根据预设规则从同一层面上的多个二维图像中选择出特定的二维图像组合构成,假设输入的原始MR图像的数量为N,最近一次的原始MR图像作为第N次的原始MR图像,按照时间倒序分别为第N-1次、第N-2次至第1次的原始MR图像,一种优选的预设规则是将第1次至第N-1次的原始MR图像作为第一个通道图像的来源,将第2次至第N-1次的原始MR图像作为第一个通道图像的来源,而将第N次的原始MR图像作为第三个通道图像的来源,在该规则下,假设输入的原始MR图像数量为3,那么第一个通道图像来源于前两次的原始MR图像,第二个通道图像来源于前1次即第2次的原始MR图像,而第三个通道图像则来源于最近一次即第3次的原始MR图像。另一种优选的预设规则是将第1次至第N-2次的原始MR图像作为第一个通道图像的来源,将第2次至第N-1次的原始MR图像作为第二个通道图像的来源,而将3次至第N次的原始MR图像作为第三个通道图像的来源,在该规则下,同样假设输入的原始MR图像数量为3,那么第一个通道图像来源于第1次的原始MR图像,第二个通道图像来源于第2次的原始MR图像,而第三个通道图像则来源于第3次的原始MR图像。当然还可以有其他的选择二维图像进行组合的规则,在此不再详细论述。
在本实施例中不管是按照上述哪种规则生成的三通道图像,都包含了输入的时序MR图像的所有随访点,每个三通道图像包含了3个不同随访点的图像,通过这种将历次的同一个层面二维图像组合成三通道图像的方式,可以确保在每个三通道图像上都融入动态演变信息,从而为后续使用CNN神经网络模型精确提取图像特征提供了良好的数据基础。
步骤S20,将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取,得到图像特征图。
在经过图像融合得到D个三通道图像后,将三通道图像输入预先训练好的卷积神经网络模型进行特征提取,本实施例中优选的使用的残差网络ResNet对每个三通道图像进行图像特征的自动学习和提取,以生成相应的图像特征图。并且为了使后续的Transformer网络模型能够充分挖掘图像特征之间的联系及影响,在本实施例中以ResNet最后一层卷积层的输出为Transformer模型的输入图像的特征图feas,以保证不同空间位置的特征信息并没完全融合在一起,为特征图按空间位置拆分为特征块铺垫。关于残差网络ResNet的结构和训练过程参考常规方式即可,在此不再赘述。
步骤S30,将所述图像特征图按照最近邻原则划分为若干个特征块,对所述特征块进行特征融合,得到第二MR图像。
在使用Transformer模型进行分类预测之前,还需要对CNN神经网络模型提取出的特征图进行特征融合以得到Transformer模型的输入数据,具体的特征融合方式为:
首先,将D个三通道图像的特征图按照最近邻原则划分为d*h*w个特征块bkij,其中k=1,2,3,…,d;i=1,2,3,…,h;j=1,2,3,…,w;d、h、w的具体数值可以根据经验进行设定,比如可以设定为d=2,h=12,w=12,当然也可以根据情况设置其他的数值,在此不做过多限制。
然后将各个特征块bkij拉平为一维向量,接着用全连接层将其映射为可嵌入Transformer模型的Patch token,即将特征块拉平为线性的Patch embedding,然后添加预训练的Position embedding,得到一个由Patch token组成的Sequence,为了分类任务,还需要在Sequence加入一个额外的Class token,Calss token是一组与Patch token相同维度可以学习的参数,用于集成高层次的图像特征,将Calss token和所有patch token进行拼接形成了Transformer的输入。
步骤S40,将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测,得到对应的分类结果。
在生成第二MR图像之后,就可以输入到预先训练好的Transformer网络模型进行图像分类预测,在本实施例的Transformer网络模型中用于token的位置编码是采用模型自学习的方式进行的,并且使用了多头注意力机制(Multi-Head Attention)进一步分析及整合token之间的图像特征信息及其相关性,最后则利用融合了图像特征的Calss token与全连接层FC构建分类器,来输出分类结果。
进一步地,在本实施例中对TSNet模型进行训练时使用了RandomAfine即旋转、缩放、平移来增强图像。此外,使用了ImageNet预训练的权重用于初始化ResNet18,利用训练集来训练模型的参数,验证集来指导选择模型的超参数,测试集及外部测试集评估模型的泛化性能,从而提高了模型预测的准确性。
为了更好的验证本发明的预测准确度,我们使用TSNet模型在训练集、验证集和测试集上分析进行时序MR图像动态分析,其结果如图3所示,可以看到TSNet模型在三个数据集上的性能指标AUC均大于0.97,这说明本发明提供的TSNet模型具有出色强大的学习能力,以及良好的鲁棒性和泛化性能,并且相比于基于单次检查的分析模型,TSNet模型具有更好的分析性能和更准确的预测结果,即如下表1所示:
|
Single scan model |
TSNet(sequential scan model) |
测试集(n=778) |
|
|
ROC-AUC* |
0.8601 (0.8345, 0.8858) |
0.9899 (0.9837, 0.996) |
Accuracy |
0.7506 (0.7202, 0.781) |
0.9293 (0.9113, 0.9473) |
Sensitivity |
0.7848 (0.6942, 0.8754) |
0.9747 (0.94, 1.0) |
Specificity |
0.7468 (0.7145, 0.779) |
0.9242 (0.9046, 0.9438) |
PPV |
0.2594 (0.2038, 0.315) |
0.5923 (0.5078, 0.6768) |
NPV |
0.9685 (0.9537, 0.9832) |
0.9969 (0.9926, 1.0) |
表1 单次检查与序列检查的性能比较结果
请参阅图4,从图像数据库中获取图像a)、b)、c)和d),其分别为鼻咽癌T3N2M0III期在经过根治疗同时期放化疗后,在第三个月、第24个月、第28个月和第35个月的鼻咽和颈部随访检查的MRI图像,可以看到从特征热图和实际MR影像的融合图中依次出现了模型决策相关特征高亮区,即根据不同时段的原始MR图像构成的时序MR图像使用TSNet模型进行动态分析,可以看到,根据不同随访点的原始MR图像,TSNet模型可以捕捉肿瘤特征动态演变规律,从而达到动态监测的效果。
本实施例提供的一种动态分析实现MR图像的方法,相比传统方法无法对影像特征不明显的MR图像进行动态分析的问题,本发明的TSNet模型采用联合CNN和transformer序列深度学习模型的端到端架构,能够挖掘鼻咽癌时间序列MR图像的图像特征,并且能够充分分析图像特征动态演变规律及整合全局图像信息,本发明适用于平扫及增强多个MR序列,且每个序列都能获得出色且稳定的预测性能,也能够为医学影像领域提供数据支持。
请参阅图5,基于同一发明构思,本发明第二实施例提出的一种动态分析时序MR图像的系统,包括:
图像融合模块10,用于获取待测样本的时序MR图像,对所述时序MR图像进行图像融合,得到第一MR图像,所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像;
特征提取模块20,用于将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取,得到图像特征图;
特征融合模块30,用于将所述图像特征图按照最近邻原则划分为若干个特征块,对所述特征块进行特征融合,得到第二MR图像;
预测分类模块40,用于将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测,得到对应的分类结果。
本发明实施例提出的动态分析时序MR图像系统的技术特征和技术效果与本发明实施例提出的方法相同,在此不予赘述。上述动态分析时序MR图像系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
请参阅图6,一个实施例中计算机设备的内部结构图,该计算机设备具体可以是终端或服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现动态分析时序MR图像方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算设备可以包括比途中所示更多或更少的部件,或者组合某些部件,或者具有相同的部件布置。
此外,本发明实施例还提出一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
此外,本发明实施例还提出一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。
综上,本发明实施例提出的动态分析时序MR图像的方法、系统、设备和存储介质,所述方法通过获取待测样本的时序MR图像,对所述时序MR图像进行图像融合,得到第一MR图像,所述时序MR图像包括在预设时间内顺序采集的多个原始MR图像;将所述第一MR图像输入预先训练好的卷积神经网络模型进行图像特征提取,得到图像特征图;将所述图像特征图按照最近邻原则划分为若干个特征块,对所述特征块进行特征融合,得到第二MR图像;将所述第二MR图像输入预先训练好的Transformer网络模型进行图像分类预测,得到对应的分类结果。本发明能够挖掘时间序列MR图像的图像特征,并且能够充分分析图像特征动态演变规律及整合全局图像信息,本发明适用于平扫及增强多个MR序列,且每个序列都能获得出色且稳定的预测性能,也能够为医学影像领域提供数据支持。
本说明书中的各个实施例均采用递进的方式描述,各个实施例直接相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。需要说明的是,上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本申请的保护范围。因此,本申请专利的保护范围应以所述权利要求的保护范围为准。