CN115908299A - 基于医学影像的生存期预测方法、装置、设备及介质 - Google Patents

Abstract

本申请实施例涉及医疗与影像组学技术领域，公开了一种基于医学影像的生存期预测方法、装置、设备及介质，包括：获取待预测用户的目标组织的医学影像图像；基于医学影像图像，获取用于描述病灶区域的特征的影像组学特征和用于描述目标组织的全局特征的深度学习特征；根据影像组学特征和所述深度学习特征对生存期进行预测。

Description

基于医学影像的生存期预测方法、装置、设备及介质

技术领域

本申请实施例涉及医疗与影像组学技术领域，具体而言，涉及一种基于医学影像的生存期预测方法、装置、设备及介质。

背景技术

生存期预测是指临床医生利用临床数据并结合一些非正式的主观方法对患者的生存期做出判断的过程，生存期临床预测评估较为灵活，但因受制于认知偏差的影响而不可避免的降低了预测准确性。目前针对生存期预测的方法包括人为预测和基于机器学习的方式利用预测算法对生存期进行预测。其中，基于机器学习的方式利用预测算法对生存期进行预测相较人为预测的预测价值更大。

然而，现有基于机器学习的生存期预测方法是通过利用融合医疗影像组学特征和深度学习特征训练的网络基于单一维度的影像数据对生存期进行预测，其所依赖的预后因素较为单一，对于常见的重大疾病，如脑胶质瘤等，由于在不同序列下的表现不同，只根据一种维度的医疗影像组学特征序列不能准确判断肿瘤的位置、大小等信息，基于单一维度的影像数据的联合学习方法对于病灶分割和生存期预测的结果准确率较低。因此，如何基于多维度特征进行高准确率的脑疾病生存期预测，成为当前亟待解决的问题。

发明内容

本申请实施例在于提供一种基于医学影像的生存期预测方法、装置、设备及介质，旨在解决如何基于多维度特征进行高准确率的脑疾病生存期预测的问题。

本申请实施例第一方面提供一种基于医学影像的生存期预测方法，包括：

获取待预测用户的目标组织的医学影像图像，其中，所述医学影像图像中包括目标组织中的病灶区域的图像；

基于所述医学影像图像，获取影像组学特征和深度学习特征，所述影像组学特征用于描述所述病灶区域的特征，所述深度学习特征用于描述所述目标组织的全局特征；

根据所述影像组学特征和所述深度学习特征，对所述待预测用户的生存期进行预测。

可选地，基于所述医学影像图像，获取影像组学特征，包括：

从所述医学影像图像中分割出所述病灶区域的图像；

对所述病灶区域的图像进行小波变换，得到变换图像；

分别提取所述病灶区域的图像和所述变换图像的纹理影像组学特征，以及，提取所述病灶区域的图像和所述变换图像的直方图影像组学特征；

对所述纹理影像组学特征和所述直方图影像组学特征进行筛选，得到所述影像组学特征。

可选地，从所述医学影像图像中分割出所述病灶区域的图像，包括：

对所述医学影像图像进行不同感受野的特征提取，得到用于表征所述目标组织的空间结构的深度学习特征；

基于所述深度学习特征，对所述医学影像图像中病灶区域进行估计，得到掩码图；

基于所述掩码图，从所述医学影像图像中分割出所述病灶区域的图像。

可选地，所述医学影像图像包括多个不同模态的医学影像子图像，对所述医学影像图像进行不同感受野的特征提取，得到用于表征所述目标组织的空间结构的深度学习特征，包括：

分别对所述多个不同模态的医学影像子图像进行特征提取，得到各自对应的深度学习特征向量；

对各自对应的深度学习特征向量进行融合，得到用于表征所述目标组织的空间结构的深度学习特征。

可选地，所述医学影像图像包括多个不同模态的医学影像子图像，基于所述医学影像图像，获取深度学习特征，包括：

对所述多个不同模态的医学影像子图像进行特征提取，得到第一深度学习特征向量和第二深度学习特征向量；

基于所述第一深度学习特征向量和所述第二深度学习特征向量，获取所述深度学习特征。

可选地，对所述多个不同模态的医学影像子图像进行特征提取，得到第一深度学习特征向量和第二深度学习特征向量，包括：

分别对每个模态的医学影像子图像进行特征提取，得到每个模态的特征；

对多种模态的特征进行特征融合，得到所述第一深度学习特征；

对所述第一深度学习特征进行基于自注意力机制的特征提取，得到所述第二深度学习特征；

对所述第一深度学习特征进行池化，得到所述第一深度学习特征向量；

对所述第二深度学习特征进行池化，得到所述第二深度学习特征向量。

可选地，所述方法应用于生存期预测网络，所述生存期预测网络包括第一分支和第二分支；基于所述医学影像图像，获取影像组学特征和深度学习特征，包括：

将所述医学影像图像输入所述第一分支，通过所述第一分支获取第一深度学习特征向量和第二深度学习特征向量，并将所述第一深度学习特征向量和所述第二深度学习特征向量，组合为所述深度学习特征；

将所述医学影像图像输入所述第二分支，通过所述第二分支输出所述影像组学特征。

可选地，所述第一分支包括第一残差模块，以及依次串接在所述第一残差模块的输出端的自注意力模块和第二残差模块；

其中，所述第一残差模块，用于对多个不同模态的医学影像子图像分别进行特征提取和融合，得到第一深度学习特征；

所述自注意力模块，用于对第一深度学习特征进行基于自注意力机制的特征提取，得到第二深度学习特征；

所述第二残差模块，用于基于所述第二深度学习特征，对所述医学影像图像进行掩码，得到掩码图；

将所述医学影像图像输入所述第二分支，通过输出第二分支输出所述影像组学特征，包括：

将所述医学影像图像和所述掩码图输入所述第二分支，所述第二分支用于基于所述医学影像图像和所述掩码图得到所述病灶区域的图像，并对所述病灶区域的图像进行特征提取，得到所述影像组学特征。

可选地，所述第一分支还包括分别连接在第一残差模块和自注意力模块的输出端的池化模块，以及与所述池化模块的输出端连接的融合模块；其中：

所述池化模块，用于对所述第一深度学习特征进行平均池化和最大池化，得到所述第一深度学习特征向量；以及对所述第二深度学习特征进行平均池化和最大池化，得到所述第二深度学习特征向量；

所述融合模块，用于将所述第一深度学习特征向量和所述第二深度学习特征向量进行融合，得到所述深度学习特征。

可选地，所述生存期预测网络的训练过程，包括：

获取医学影像图像训练集；

在每一次训练时，获取所述第一分支输出的掩码图以及生存期预测值，所述掩码图中的前景区域用于表征所述病灶区域；

计算所述生存期预测值对生存期真值的损失，作为生存期预测损失；

计算所述掩码图对分割结果真值的损失，作为分割损失；

基于所述生存期预测损失和所述分割损失，对所述初始生存期预测网络的超参数进行优化；

基于所述医学影像图像训练集，采用五倍交叉验证的方法对所述初始生存期预测网络进行训练，得到所述生存期预测网络。

本申请实施例第二方面提供一种基于医学影像的生存期预测装置，包括：

获取模块，用于获取待预测用户的目标组织的医学影像图像，其中，所述医学影像图像中包括目标组织中的病灶区域的图像；

特征提取模块，用于基于所述医学影像图像，获取影像组学特征和深度学习特征，所述影像组学特征用于描述所述病灶区域的特征，所述深度学习特征用于描述所述目标组织的全局特征；

预测模块，用于根据所述影像组学特征和所述深度学习特征，对所述待预测用户的生存期进行预测。

其中，所述特征提取模块，包括：

分割子模块，用于从所述医学影像图像中分割出所述病灶区域的图像；

变换子模块，用于对所述病灶区域的图像进行小波变换，得到变换图像；

影像组学特征提取子模块，用于分别提取所述病灶区域的图像和所述变换图像的纹理影像组学特征，以及，提取所述病灶区域的图像和所述变换图像的直方图影像组学特征；

筛选子模块，用于对所述纹理影像组学特征和所述直方图影像组学特征进行筛选，得到所述影像组学特征。

其中，所述分割子模块，还包括：

空间结构特征子单元，用于对所述医学影像图像进行不同感受野的特征提取，得到用于表征所述目标组织的空间结构的深度学习特征；

掩码图子单元，用于基于所述深度学习特征，对所述医学影像图像中病灶区域进行估计，得到掩码图；

病灶区域分割子单元，用于基于所述掩码图，从所述医学影像图像中分割出所述病灶区域的图像。

其中，所述空间结构特征子单元，还包括：

空间结构特征提取子单元，用于分别对所述多个不同模态的医学影像子图像进行特征提取，得到各自对应的深度学习特征向量；

空间结构特征融合子单元，用于对各自对应的深度学习特征向量进行融合，得到用于表征所述目标组织的空间结构的深度学习特征。

其中，所述特征提取模块，包括：

深度学习特征提取子模块，用于对所述多个不同模态的医学影像子图像进行特征提取，得到第一深度学习特征向量和第二深度学习特征向量；

深度学习特征融合子模块，基于所述第一深度学习特征向量和所述第二深度学习特征向量，获取所述深度学习特征。

其中，所述深度学习特征提取子模块，还包括：

第一模态特征提取子单元，用于分别对每个模态的医学影像子图像进行特征提取，得到每个模态的特征；

特征融合子单元，用于对多种模态的特征进行特征融合，得到所述第一深度学习特征；

第二模态特征提取子单元，用于对所述第一深度学习特征进行基于自注意力机制的特征提取，得到所述第二深度学习特征；

第一池化子单元，用于对所述第一深度学习特征进行池化，得到所述第一深度学习特征向量；

第二池化子单元，用于对所述第二深度学习特征进行池化，得到所述第二深度学习特征向量。

其中，应用于生存期预测网络，所述生存期预测网络包括第一分支和第二分支，所述特征提取模块，包括：

第一分支子模块，用于将所述医学影像图像输入所述第一分支，通过所述第一分支获取第一深度学习特征向量和第二深度学习特征向量，并将所述第一深度学习特征向量和所述第二深度学习特征向量，组合为所述深度学习特征；

第二分支子模块，将所述医学影像图像输入所述第二分支，通过所述第二分支输出所述影像组学特征。

其中，所述第一分支子模块，还包括：

第一残差子单元，用于对多个不同模态的医学影像子图像分别进行特征提取和融合，得到第一深度学习特征；

自注意力子单元，用于对第一深度学习特征进行基于自注意力机制的特征提取，得到第二深度学习特征；

第二残差子单元，用于基于所述第二深度学习特征，对所述医学影像图像进行掩码，得到掩码图。

其中，所述第二分支子模块，还包括：

第二分支子单元，用于将所述医学影像图像和所述掩码图输入所述第二分支，所述第二分支用于基于所述医学影像图像和所述掩码图得到所述病灶区域的图像，并对所述病灶区域的图像进行特征提取，得到所述影像组学特征。

其中，所述第一分支子模块，还包括：

池化子单元，用于对所述第一深度学习特征进行平均池化和最大池化，得到所述第一深度学习特征向量；以及对所述第二深度学习特征进行平均池化和最大池化，得到所述第二深度学习特征向量；

融合子单元，用于将所述第一深度学习特征向量和所述第二深度学习特征向量进行融合，得到所述深度学习特征。

其中，所述特征提取模块，应用于生存期预测网络的训练过程，还包括：

训练集获取子模块，用于获取医学影像图像训练集；

分割结果获取子模块，用于在每一次训练时，获取所述第一分支输出的掩码图以及生存期预测值，所述掩码图中的前景区域用于表征所述病灶区域；

生存期预测损失计算子模块，用于计算所述生存期预测值对生存期真值的损失，作为生存期预测损失；

分割损失计算子模块，用于计算所述掩码图对分割结果真值的损失，作为分割损失；

优化子模块，用于基于所述生存期预测损失和所述分割损失，对所述初始生存期预测网络的超参数进行优化；

交叉验证训练子模块，用于基于所述医学影像图像训练集，采用五倍交叉验证的方法对所述初始生存期预测网络进行训练，得到所述生存期预测网络。

本申请实施例第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现第一方面中任一所述的基于医学影像的生存期预测方法中的步骤。

本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面中任一所述的基于医学影像的生存期预测方法中的步骤。

有益效果：

本申请提供一种基于医学影像的生存期预测方法、装置、设备及介质，包括：获取待预测用户的目标组织的医学影像图像，其中，所述医学影像图像中包括目标组织中的病灶区域的图像；基于所述医学影像图像，获取影像组学特征和深度学习特征，所述影像组学特征用于描述所述病灶区域的特征，所述深度学习特征用于描述所述目标组织的全局特征；根据所述影像组学特征和所述深度学习特征，对所述待预测用户的生存期进行预测。

本申请的方法通过对医学影像图像分别从全局维度和局部维度(病灶区域)提取了深度学习特征提取和影像组学特征，增加了生存期预测依据的丰富度；另一方面，可以将局部维度的影像组学特征与全局维度的深度学习特征组合，通过全局图像中其他区域的图像特征获取正常组织的形态，估计病灶区域对正常组织的浸润程度，提升生存期预后预测的准确率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的基于医学影像的生存期预测方法流程图；

图2是本申请一实施例提出的基于医学影像的生存期预测方法示意图；

图3是本申请一实施例提出的生存期预测网络示意图；

图4是本申请一实施例提出的脑胶质瘤生存期预测的示意图；

图5是本申请一实施例提出的基于医学影像的生存期预测装置示意图；

图6是本申请一实施例提出的电子设备示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，下面对本申请涉及的几个名词进行解释：

医学影像图像，是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得的内部组织影像。例如，血管造影图像、电脑断层扫描图像(CT)和磁共振成像(MRI)等。

脑胶质瘤，属常见的脑部原发性肿瘤，多发生在胚胎神经外胚层，涵盖范围广，组织类型复杂，小部分胶质瘤(小脑星形细胞瘤、乳头状瘤等)具有包膜，可行根治性外科切除，预后良好；而大部分胶质瘤(多形性胶质母细胞瘤)成浸润性生长，病灶边缘模糊，手术难以彻底清除，影响患者预后，复发率较高。

磁共振成像(Magnetic Resonance Imaging，MRI)，磁共振成像(MRI)是利用核磁共振(nuclear magnetic resonance，NMR)原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。在MRI成像的过程中，通过改变MR信号的影像因素，可以得到不同的影像，这些不同的影像就称之为序列。一个病例可以有多个序列，每个序列由许多切片组成。肿瘤在不同序列下的表现不同，只根据一种序列不能准确判断肿瘤的位置、大小等信息。

MRI T1序列图像，T1图像整体感官与临床图像的习惯配色风格非常接近，白质为白色，灰质为灰色，脑脊液为黑色，通过T1序列图像可以看出各种断层的解剖图。

MRI T2序列图像，T2信号跟水含量有关，许多病灶的T2信号要强由于周围正常组织，呈高亮状态，因此从T2序列的图像中可以清楚看到病灶所处位置、大小。

MRI Flair序列图像，脑部液体衰减反转恢复序列图像(fluid attenuatedinversion recovery,flair)也称水抑制成像技术，在T2序列中能抑制脑脊液的高信号(使脑脊液变暗)从而让临近脑脊液的病灶显示清楚(变亮)，看清边缘。

MRI T1ce序列图像，在做MR之前往血液打造影剂，亮的地方供血丰富，强化显示说明血流丰富，而肿瘤部位正是血流很快的部位，T1ce序列还能进一步显示肿瘤内情况，鉴别肿瘤与非肿瘤性病变(即坏疽部位)。

自注意力模块Transformer Unit，整个网络结构完全是由Attention机制组成。提出了multi-head attention的机制，分别学习对应的三种关系，使用了全Attention的结构。在计算机视觉任务中展现了革命性的性能提升。

交叉熵损失函数(cross-entropy-loss function)，是用来衡量人工神经网络(ANN)的预测值与真实值的相似性。

Dice相似系数(Dice Similarity Coefficient，DSC)，是分割过程中使用的主要评价指标，Dice系数是一种集合相似度度量指标，通常用于计算两个样本的相似度，值的范围0-1，分割结果最好时值为1，最差时值为0。

纹理影像组学特征，反映图像中同质现象的视觉特征，体现物体表面的具有缓慢变换或周期性变化的表面组织结构排列属性。图像纹理通过像素及其周围空间邻域的灰度分布来表现，即局部纹理信息。另外，局部纹理信息不同程度上的重复性，就是全局纹理信息。

直方图影像组学特征，是一种在计算机视觉和图像处理中用来进行检测的特征表述，其主要思想是通过计算和统计图像局部区域的梯度方向直方图来构成特征。

U-net网络，是目前十分常用的人工智能图像分割算法，U-Net网络前半部分作用是特征提取，后半部分是上采样。在一些文献中也把这样的结构叫做Encoder-Decoder结构。因为此网络整体结构类似于大写的英文字母U，故得名U-Net。

当患者罹患较为严重的高风险疾病时，准确预测病人的生存期具有重要的临床、科研以及社会价值。从临床医学角度来看，获取更为准确的生存期预测结果可以指导医生针对高风险病人制定个性化的检查以及治疗方案，同时帮助医生为病人制定更加合理的复查和随访计划，从而提高医疗服务的质量。因此，准确率高的生存期预测结果在高风险疾病(诸如肿瘤、癌症等)的治疗领域中具有较大的参考价值。

相关技术中，通过利用融合医疗影像组学特征和深度学习特征训练的网络基于单一维度的影像数据对生存期进行预测。然而，常见的神经外科脑疾病，如脑胶质瘤等，在不同序列下的表现不同，只根据一种维度的医疗影像组学特征序列不能准确判断肿瘤的位置、大小等信息，基于单一维度的影像数据的联合学习方法对于病灶分割和生存期预测的结果准确率较低。

例如，脑疾病是我国乃至全球人口健康领域正面临的重大挑战。目前，绝大部分脑疾病尚无有效治疗方法。针对脑疾病提出有效机理解释和临床治疗手段，对于脑疾病的治疗意义重大。其中，生存期预测由于可以为医务人员及家属进行医疗决策提供科学依据，同时帮助患者规划剩余生活，据此满足患者的特殊需求，因此对脑疾病的生存期预测具有重大的意义。然而，现有的生存期预测方法由于基于单一特征维度的数据对脑疾病进行生存期预测，因此得到的预测结果精度较低，无法为待预测用户的生活提供有效的预后参考价值。

有鉴于此，本申请实施例提出一种基于医学影像的生存期预测方法，图1示出了基于医学影像的生存期预测方法流程图，如图1所示，包括如下步骤：

S101、获取待预测用户的目标组织的医学影像图像。

获取待预测用户的目标组织的医学影像图像，其中，所述医学影像图像中包括目标组织中的病灶区域的图像。

S102、基于所述医学影像图像，获取影像组学特征和深度学习特征。

基于所述医学影像图像，获取影像组学特征和深度学习特征，所述影像组学特征用于描述所述病灶区域的特征，所述深度学习特征用于描述所述目标组织的全局特征。

S103、根据所述影像组学特征和所述深度学习特征，对所述待预测用户的生存期进行预测。

本申请实施例中，待预测用户可以为明确已知罹患目标疾病，需要对目标疾病的预后生存期进行预测的用户。其中，目标疾病可以为医学临床领域中已知的任意一种疾病，例如脑胶质瘤、常见的肝胆肺肿瘤、甲状腺肿瘤等，本申请在此不作特别限制。

其中，医学影像图像为与待预测用户所患目标疾病对应的能表征疾病信息的医学影像图像，疾病信息可以为待预测用户所患疾病对应的目标组织的组织形态特征，或待预测用户所患疾病的病理形态特征。例如，在用于预测罹患脑部肿瘤的用户的生存期的情况下，该医学影像图像可以为T1序列的MRI图像、T2序列的MRI图像、Flair序列的MRI图像和T1ce序列的MRI图像；又如，在用于预测罹患心血管疾病的用户的生存期的情况下，该医学影像图像可以为不同灰度的CT图像。

其中，由于疾病的生存期预测主要依赖于病灶区域的特征为依据进行预测，因此所述医学影像图像中应当至少包含目标组织中的病灶区域的图像；此外，由于与目标组织中病灶区域相关联的其他组织与器官与病灶区域联系紧密，因此也可能会包含有益于生存期预测的特征信息，因此医学影像图像中还可以包含与目标组织中病灶区域相关联的其他区域的图像，即医学影像图像由病灶区域的图像和目标组织中区别于病灶区域的其他区域的图像组成，并以目标组织的全局的医学影像图像代替目标组织中其他区域的图像来表征其有益于生存期预测的特征信息。

其中，病灶区域的特征通过影像组学特征进行表征，影像组学特征为医学影像图像的目标组织中病灶区域的空间结构的特征信息，包含了病灶区域在空间结构维度上的与目标疾病相关的大量信息。例如，脑部肿瘤的医学影像图像中，脑部肿瘤病灶区域包含大量用于预测生存期的特征信息，基于脑部肿瘤病灶区域的图像获取脑部肿瘤病灶图像在空间结构维度蕴含的特征作为影像组学特征。

其中，目标组织的全局特征通过深度学习特征进行表征，如上所述与目标组织中病灶区域相关联的其他组织与器官与病灶区域联系紧密，因此也可能会包含有益于生存期预测的特征信息，为了提升用于进行生存期预测的数据丰富度，增加用于预测的特征维度，需要提取这些其他组织与器官包含的特征信息。本申请实施例将目标组织的全局的医学影像图像代替目标组织中其他区域的图像来表征其有益于生存期预测的特征信息，并通过深度学习的方式提取目标组织的全局特征。

在得到影像组学特征和深度学习特征之后，基于影像组学特征中包含的疾病的目标组织中病灶区域的多种特征信息，以及，基于深度学习特征中包含的疾病的目标组织的全局特征的多种信息，两种维度的特征信息作为待预测用户罹患的疾病的预后特征信息进行生存期预测。通过影像组学特征反映了分割出的病灶区域的疾病特征，并基于深度学习特征反映的全局特征和病灶区域的疾病特征，对分割出的病灶区域特征进行加强，从而实现从多个维度更加全面的获取疾病特征，基于该更加全面的疾病特征再对待预测用户的生存期进行预测时，可以有效提升生存期预测结果的准确率。

接下来，对基于所述医学影像图像，获取影像组学特征和深度学习特征的过程分别进行详细介绍：

图2示出了基于医学影像的生存期预测方法示意图，如图2所示，首先执行步骤S101。具体实施步骤S101时，首先获取待预测用户的医学影像图像，本申请实施例中获取的医学影像图像是由包括多个不同模态的医学影像子图像组成的一组医学影像图像，在选取医学影像图像时，本申请实施例选取多种不同模态的目标组织的医学影像子图像，用于对待预测用户的生存期进行预测时，增加生存期预测依据的丰富度，相较于基于单一的医学影像图像，有效提升了预测的生存期的准确率。

具体实施步骤S102时，在获取到多个不同模态的医学影像子图像组成的医学影像图像之后，医学影像图像中包括目标组织中的病灶区域的图像，为了得到深度学习特征和影像组学特征，需要分别获取医学影像子图像中目标组织的特征和病灶区域的特征。接下来将结合图2分别阐述本申请实施例获取目标组织的全局特征和病灶区域的特征的过程。

首先，通过深度学习的方式获取医学影像图像中的全局影像融合特征。该全局影像融合特征是在以影像整体为关注对象，提取出的关于待预测用户的疾病的特征，将该全局影像融合特征作为后续进行生存期预测时的第一个特征维度。如图2左侧所示的部分为通过深度学习的方式获取基于深度学习对医学影像图像进行处理，得到深度学习特征，将该深度学习特征作为医学影像图像中的全局影像融合特征的示意图。

具体而言，先分别对所述多个不同模态的医学影像子图像进行特征提取，得到每个模态的特征，例如，获取了四种不同的模态的脑胶质瘤的MRI图像(T1序列、T2序列、Flair序列和T1ce序列)，由于每个序列由许多切片组成，脑胶质瘤在不同的序列下的表现不同，因此分别提取不同序列的图像的特征。随后将多种不同的模态的特征基于特征进行融合，得到第一深度学习特征。虽然每种模态下疾病的表现特征有所差别，但是由于均为在全局影像的基础下进行的特征提取，因此在分别提取每种模态对应的特征之后，可以将这些不同模态下的特征进行融合，作为深度学习特征的第一种特征维度，即为所述的第一深度学习特征。为了继续提升深度学习特征的丰富度，在得到了第一深度学习特征之后，再基于自注意力机制对第一深度学习特征进行进一步的特征提取，得到第二深度学习特征，通过引入注意力(Attention)机制，从第一深度学习特征中捕捉不同侧重方向的信息中的相互依赖特征，并选择出对目标疾病更关键的特征，作为深度学习特征的第二种特征维度，即为第二深度学习特征。

在得到医学影像图像的两种维度的深度学习特征(第一深度学习特征和第二深度学习特征)之后，由于经过特征提取的第一深度学习特征和第二深度学习特征均为较高的特征维度的特征，因此为了减少参数和计算成本，需要对得到的第一深度学习特征和第二深度学习特征进行池化操作，降低输出的特征维度。具体而言，对所述第一深度学习特征进行池化，得到所述第一深度学习特征向量，同时对所述第二深度学习特征进行池化，得到所述第二深度学习特征向量。

在一种可选的实施方式中，对第一深度学习特征进行平均池化和最大池化，得到第一深度学习特征向量；对第二深度学习特征进行平均池化和最大池化，得到第二深度学习特征向量。

经过池化后，得到的第一深度学习特征向量和第二深度学习特征向量均为一维向量，因此在处理时其参数和计算成本降低，同时也避免了过拟合的现象发生。随后，将所述第一深度学习特征向量和所述第二深度学习特征向量，组合为所述深度学习特征。

在一种可选的实施方式中，对于第一深度学习向量和第二深度学习向量的组合，可以采取对向量进行拼接的方式。在本申请实施例中，采取首尾拼接的方式进行组合，得到深度学习特征，具体的组合方式可以根据实际情况选择，本申请在此不作限制。

至此完成了对医学影像图像针对于全局影像提取融合特征，将得到的深度学习特征作为医学影像图像用于预测生存期的第一维度的全局影像融合特征。随后，进行第二维度的特征提取，即基于病灶区域的图像提取得到病灶区域的特征。

如图2右侧所示的部分为通过对医学影像图像进行处理，得到影像组学特征，将该影像组学特征作为医学影像图像中的病灶区域的特征的示意图。具体而言，由于影像组学特征依赖于病灶区域的空间和形态结构，因此首先对所述医学影像图像中多个不同模态的医学影像子图像分割出病灶区域的图像，再对病灶区域的图像进行特征提取。

基于深度学习的方法，分别对医学影像图像中不同模态的医学影像子图像提取不同感受野的特征，这些不同感受野的特征是针对于待预测用户疾病的全局的空间结构特征，将不同感受野的特征作为表征目标组织的空间结构的深度学习特征。具体而言，基于深度学习的方法，分别对所述多个不同模态的医学影像子图像进行特征提取，得到各自对应的深度学习特征向量，该深度学习特征向量表征了目标组织的空间结构特征信息；随后对各自对应的深度学习特征向量进行融合，得到用于表征所述目标组织的空间结构的深度学习特征。

在一种可选的实施方式中，直接将提取深度学习特征时所获取的基于自注意力机制的第二深度学习特征(如图2所示)，作为表征目标组织的空间结构的深度学习特征。

在得到表征目标组织的空间结构的深度学习特征后，根据该深度学习特征对所述医学影像图像中病灶区域进行估计，得到掩码图，该掩码图基于目标组织的空间结构特征将病灶区域与其他区域进行了区分。由于该掩码图为基于深度学习流程得到的，掩码图只对病灶区域和其他区域进行了区分，包含了待预测用户疾病的病灶区域图像和其他区域的图像的掩码信息，因此将与病灶区域无关的其他图像区域信息忽略，只突出病灶区域的图像信息。需要基于该掩码图，对医学影像图像进行分割，去除掉其他区域的图像掩码信息，得到病灶区域的图像。

在一种可选的实施方式中，通过深度学习的方式对不同模态的医学影像子图像的不同感受野进行特征提取，随后进行二值化，得到针对于病灶区域的二值图，将该二值图作为目标组织的空间结构的深度学习特征，随后基于目标组织的空间结构的深度学习特征再次与不同模态的医学影像子图像进行交集，得到不同模态的掩码图，再将不同模态的掩码图融合，最后将掩码图中与病灶区域无关的其他区域图像信息裁剪掉，得到病灶区域的图像。

在得到病灶区域的图像之后，需要对病灶区域的图像通过进行小波变换去噪，得到变换图像。在一种可选的实施方式中，使用Pyradiomics模块对病灶区域的图像进行小波变换，得到变换图像，对于小波变换的方式可根据实际情况确定，本申请在此不作限制。

然后对变换图像进行图像特征的提取，通过不同维度的图像特征来反映病灶区域的图像特征。具体而言，提取变换图像的纹理影像组学特征作为影像组学特征第一维度特征，病灶区域的纹理影像组学特征可以体现病灶区域图像中具有周期性变化的特征；再提取变换图像的直方图影像组学特征作为影像组学特征的第二维度特征，病灶区域的直方图影像组学特征可以体现病灶区域图像中的边缘轮廓特征。

与此同时，为了增加影像组学特征的丰富度，避免小波变换过程中导致病灶区域的部分特征丢失，在提取变换图像的纹理影像组学特征和直方图影像组学特征之后，同时再对未经过小波变换的病灶区域的图像同样提取其纹理影像组学特征和直方图影像组学特征。

最后，将从变换图像提取到的纹理影像组学特征和直方图影像组学特征以及对所述纹理影像组学特征和所述直方图影像组学特征进行筛选，得到所述影像组学特征。在一种可选的实施方式中，采用Lasso算法对得到的多种纹理影像组学特征和直方图影像组学特征进行筛选，将满足筛选条件的特征组合为影像组学特征。由于Lasso算法对于数据的要求极低，因此可以处理广义的线性模型，且基于Lasso算法对不同类型数据进行筛选时，通过有选择的将变量放入模型中得到更好的模型参数，从而使得基于Lasso算法筛选可以得到更加准确的特征来组成影像组学特征。

至此分别获得了医学影像图像的深度学习特征和影像组学特征，其中，深度学习特征基于不同模态的医学影像子图像提取其不同模态的全局影像特征并进行融合得到的，反映了全局维度的医学影像图像特征；影像组学特征基于对医学影像图像分割得到的病灶区域的图像进行病灶区域图像的特征提取，反应了病灶区域维度的医学影像图像特征。最后执行步骤S103，根据深度学习特征和影像组学特征对待预测用户的生存期进行预测。

基于待预测用户的医学影像图像提取的深度学习特征和影像组学特征，本申请实施例提供的方法对待预测用户的生存期进行预测，输出了准确率更高的生存期预测结果。从疾病治疗的角度来说，准确率更高的生存期预测结果可以指导医生针对待预测用户制定更加有效的个性化检查及治疗方案，提升医疗服务质量；从社会角度来说，准确率更高的生存期预测结果可以为待预测用户(病患)及其家属提供更加准确、科学的生存预期，指引病人依从治疗计划参与治疗，避免过度医疗造成医疗资源和经济浪费，从而减轻家庭经济压力，有助于改善医患关系，此外还有助于帮助患者规划剩余生活，充分利用时间去实现一些愿望，让生命更圆满。

具体执行步骤S103时，将得到的深度学习特征和影像组学特征进行拼接，基于拼接后的特征对待预测用户的生存期进行预测，该拼接后的特征包括多个不同模态的医学影像图像的多个不同维度的特征，因此基于该拼接后的特征对生存期预测的准确率得到了有效提升。

在一种可选的实施方式中，本申请实施例所提供的基于医学影像的生存期预测方法应用于生存期预测网络，图3示出了生存期预测网络示意图，如图3所示，所述生存期预测网络包括第一分支和第二分支，生存期预测网络基于第一分支获取深度学习特征，基于第二分支获取影像组学特征，并根据得到的深度学习特征和影像组学特征对生存期进行预测。

首先，将多个不同模态的医学影像子图像输入第一分支，第一分支包括第一残差模块以及依次串接在所述第一残差模块的输出端的自注意力模块和第二残差模块，将多个不同模态的医学影像子图像输入第一分支的第一残差模块，第一残差模块中包含多个残差子模块(Residual Block)，经过多个残差子模块的卷积得到多个不同模态的全局影像特征矩阵，作为多个不同模态的特征，将这些不同模态的特征进行特征融合后，得到第一深度特征。需要说明的是，第一深度特征为表征不同模态的医学影像子图像的全局特征的高阶维度的特征。

在第一残差模块得到第一深度学习特征后，将该第一深度学习特征输入自注意力模块，自注意力模块用于基于注意力机制对第一深度学习特征进行基于目标疾病注意力维度的转换，得到第二深度学习特征，该第二深度学习特征相较于第一深度学习特征引入了对于待预测用户疾病的注意力权重，作为一个新的特征维度的特征反映医学影像图像的特征，从而提升了用于预测的特征丰富度。需要说明的是，第二深度特征由第一深度学习特征通过自注意力模块的处理得到，因此第二深度学习特征为表征不同模态的医学影像子图像的全局特征的高阶维度的特征。

在一种可选的实施方式中，生存期预测网络中的自注意力模块采用完全由注意力机制组成的Transformer Unit，通过将第一深度学习特征输入Transformer Unit进行基于注意力的处理，得到第二深度学习特征。

此外，在自注意力模块输出第二深度学习特征之后，由于如上所述在一种可选的实施方式中，影像组学特征的获取过程可以将第二深度学习特征作为表征所述目标组织的空间结构的深度学习特征，因此在第一分支中设置了第二残差模块，从自注意力模块输出的第二深度学习特征输入第二残差模块，第二残差模块对第二深度学习特征进行不同感受野的特征提取，并对于医学影像图像进行估计得到掩码图，第二残差模块包括多个残差子模块(Residual Block)，经过多个残差子模块的卷积得到针对于病灶区域的医学影像图像的掩码图。在得到针对于病灶区域的医学影像图像的掩码图后，掩码图作为第二分支的输入信息输入第二分支的分割模块，用于在第二分支中获取影像组学特征。

在得到第一深度学习特征和第二深度学习特征之后，由于第一深度学习特征和第二深度学习特征为表征不同模态的医学影像子图像的全局特征的高阶维度的特征，因此，为了减轻后续的计算成本，减少用于训练优化的参数，需要将第一深度学习特征和第二深度学习特征输入池化模块中进行池化处理，降低第一深度学习特征和第二深度学习特征的特征维度。具体而言，将第一深度学习特征输入池化模块中，对其进行平均池化和最大池化处理，得到一维向量形式的第一深度学习特征向量；将第二深度学习特征输入池化模块中，对其进行平均池化和最大池化处理，得到一维向量形式的第二深度学习特征向量。需要说明的是，池化模块中进行平均池化和最大池化处理的顺序可以根据实际情况进行设置，本申请对该顺序不作限制。以第一深度学习特征为例，池化模块可以对第一深度学习特征先进行平均池化处理，再进行最大池化处理，得到第一深度学习特征向量，也可以对第一深度学习特征先进行最大池化处理，再进行平均池化处理，得到第一深度学习特征向量。

经过池化模块输出第一深度学习特征向量和第二深度学习特征向量，分别从不同的维度表征了输入的医学影像图像的全局特征。随后将第一深度学习特征向量和第二深度学习特征向量输入融合模块进行融合，得到深度学习特征。在一种可选的实施方式中，由于第一深度学习向量和第二深度学习向量均为一维向量，在融合模块中采取拼接的形式进行融合，得到深度学习特征。

至此完成了生存期预测网络的第一分支对于医学影像图像的处理，输出表征全局影像融合特征的深度学习特征。接下来对生存期预测网络的第二分支进行描述。需要说明的是，虽然本申请实施例按照先执行第一分支，后执行第二分支的顺序对生存期预测网络进行说明，但是实际上第一分支和第二分支的执行流程上没有明确的先后顺序，可以根据实际情况进行顺序设置，本申请对该顺序不作限制。

第二分支用于获取医学影像图像的病灶区域的特征，作为区别于第一分支获取全局影像融合特征的另一维度。由于第二分支用于获取病灶区域的特征，因此需要首先从医学影像图像中获取病灶区域的图像。首先需要获取掩码图。

在一种可选的实施方式中，将医学影像图像输入第一分支，经过第一残差模块和自注意力模块后，得到第二深度学习特征，将该第二深度学习特征作为用于表征所述目标组织的空间结构的深度学习特征，输入第一分支的第二残差模块中，得到掩码图输入第二分支。例如，当生存期预测网络设置先执行第一分支，再执行第二分支时，可以直接获取第一分支的第二深度学习特征输入第一分支的第二残差模块，得到掩码图，输入第二分支的分割模块，启动后续第二分支的工作流程。

将掩码图输入第二分支的分割模块，以掩码图为基准对多种不同模态的医学影像子图像进行分割处理，得到不同模态的病灶区域的图像。在一种可选的实施方式中，分割模块以掩码图为基准，将掩码图与不同模态的医学影像子图像进行取交集处理，得到不同模态的病灶区域的图像。

此外，掩码图中前景区域用于表征病灶区域，背景区域为非病灶区域的其他区域，由于病灶区域的图像包含了大量有益于生存期预测的特征信息，获取影像组学特征以病灶区域的图像为主体，因此需要对非病灶区域的其他区域进行裁剪。将不同模态的病灶区域的图像输入裁剪模块，得到病灶区域的图像。

随后将裁剪后的病灶区域的图像输入变换模块进行小波变换，消除病灶区域的图像的噪声，得到变换图像。在一种可选的实施方式中，使用Pyradiomics模块作为变换模块对病灶区域的图像进行小波变换，得到变换图像，对于小波变换的方式可根据实际情况确定，本申请在此不作限制。

在得到变换图像之后，将变换图像输入影像组学特征提取模块，提取变换图像的纹理影像组学特征，作为影像组学特征第一维度特征，提取变换图像的直方图影像组学特征作为影像组学特征的第二维度特征。此外，为了确保小波变换不会将病灶区域的特征消除，同时将未经过小波变换的病灶区域的图像也输入影像组学特征提取模块提取其纹理影像组学特征和直方图影像组学特征。

将得到的变换图像以及病灶区域的图像对应的纹理影像组学特征和直方图影像组学特征输入筛选模块，对这些特征进行评分和筛选，得到能够用于生存期预测的特征，作为影像组学特征输出。在一种可选的实施方式中，筛选模块采用Lasso算法对得到的多种纹理影像组学特征和直方图影像组学特征进行筛选，将满足筛选条件的特征组合为影像组学特征。

至此完成了经由生存期预测网络的第二分支得到影像组学特征，该影像组学特征表征了医学影像图像中病灶区域的病灶特征。将该影像组学特征和深度学习特征输入组合模块进行组合。在一种可选的实施方式中，组合模块将影像组学特征和深度学习特征以拼接的方式进行组合，得到拼接后的特征输入生存期预测模块，生存期预测模块基于拼接后的特征中不同特征维度的特征对待预测用户的生存期进行预测，输出生存期预测值。

在一种可选的实施方式中，所述生存期预测网络按照如下过程进行训练：

获取医学影像图像训练集，医学影像图像训练集中的每组训练数据包含多种不同模态的医学影像子图像，医学影像子图像对应的分割结果真值以及生存期真值。

在一种可选的实施方式中，采用五倍交叉验证的方法对训练生存期预测网络，此时对医学影像训练集进行如下设置：将训练集中的训练数据分为不相交的五个数据子集，选取其中一个数据集作为初始测试子集，将剩下的四个数据集作为训练子集，直至将五个数据集都作为初始测试子集。

随后构建初始生存期预测网络，该初始生存期预测网络至少包括第一分支、第二分支、组合模块以及生存期预测模块。将所述医学影像图像的训练集子中的每一组训练数据输入初始生存期预测网络，对初始生存期预测网络进行多个训练轮次的训练，得到每一个训练轮次输出的生存期预测值和第一分支输出的掩码图。

计算每一个训练轮次中输出的掩码图对输入的训练子集的训练数据中的分割结果真值的损失函数值，作为分割损失；计算每一个训练轮次输出的生存期预测值对输入的训练子集的训练数据中的生存期真值的损失函数值，作为生存期预测损失。将生存期预测损失与分割损失线性组合作为总损失对初始生存期预测网络的可训练参数和权重进行优化，直至得到的生存期预测网络在初始测试子集上表现满足测试条件，例如，在连续n个训练轮次中的得到的生存期预测网络在初始测试子集上的表现不再提升时，输出生存期预测网络。本申请实施例构建的初始生存期预测网络的第一分支和第二分支的架构相对简单，由于在医学领域能够用于训练的历史数据相对传统深度学习网络的训练数据来说更少，因此本申请实施例提供的方法可以在训练数据集的数据量相对较小的情况下，对该初始生存期预测网络进行有效的训练优化得到的生存期预测网络，该基于相对较小的训练数据集训练得到的生存期预测网络，在多个特征维度下对待预测用户的生存期进行预测，有效提升了预测性能。

在一种可选的实施方式中，使用交叉熵损失函数作为生存期预测损失的损失函数，使用Dice损失函数作为分割损失的损失函数，基于生存期预测损失和分割损失线性组合的总损失对生存期预测网络的参数求梯度进行优化，直到总损失对参数的梯度收敛。例如，在进行生存期预测模型训练的过程中，将每个训练轮次设置300个batches，使用交叉熵损失函数作为生存期预测损失，将Dice损失函数作为分割损失，将分割损失和生存期预测损失之和作为总损失，使用Adam作为优化器，设定初始学习率和权重衰减，当训练损失的指数移动平均值在最近60个训练轮次内没有改善时，调整学习率下降，直到学习率低于预设值或超过预设的最大训练轮次时停止对生存期预测模型的训练并输出，再将输出的生存期预测模型在初始测试集上进行测试。需要说明的是，上述参数设置是示例性的参数，具体实施时的参数设置可以按照实际情况进行设置，本申请在此不作限制。

为使本领域技术人员更加清楚地理解本申请，现通过以下实施例对本申请所述的基于医学影像的生存期预测方法进行详细说明。

实施例一

图4示出了基于本申请实施例的方法进行脑胶质瘤生存期预测的示意图，如图4所示，包括如下步骤：

待预测用户罹患脑胶质瘤，获取待预测用户的脑部组织的MRI图像，该组MRI图像包含四种不同模态的MRI图像，包括T1序列的MRI图像、T2序列的MRI图像、Flair序列的MRI图像和T1ce序列的MRI图像，将这四种不同模态的MRI图像输入生存期预测网络的第一分支的第一残差模块中，第一残差模块包括四层卷积的残差子模块(Residual Block)，经过对四种不同模态的MRI图像进行特征提取，得到四种不同模态的图像的特征；随后将四种不同模态的图像的特征进行融合，得到第一深度学习特征z_r；随后将第一深度学习特征输入自注意力模块，进行基于自注意力机制的转换，引入注意力机制，得到另一特征维度的第二深度学习特征z_t。

将第一深度学习特征和第二深度学习特征输入池化模块进行平均池化和最大池化，降低第一深度学习特征和第二深度学习特征的维度，得到一维向量形式的第一深度学习特征向量v_r和第二深度学习特征向量v_t，将得到一维的v_r和v_t进行拼接，得到针对于脑胶质瘤的深度学习特征z_d。

同时，在得到第二深度学习特征z_t之后，将其输入第一分支的第二残差模块中，第二残差模块包括四层卷积的残差子模块(Residual Block)，基于第二残差模块获取医学影像图像的卷积网络对第二深度学习特征进行估计，得到胶质瘤区域的掩码图(分割结果)。

需要说明的是，本实施例中第一分支的第一残差模块、自注意力模块和第二残差模块采用U-Net网络的形式构建，第一残差模块用于对四种不同模态的图像进行下采样的特征提取，自注意力模块替换了常规U-Net网络的底层模块用于获取第二深度学习特征，第二残差模块用于对第二深度学习特征进行上采样获取表征目标组织的空间结构的掩码图。具体的第一分支的结构不止局限于本实施例的U-Net网络，可根据实际情况设置，本申请不作限制。

在得到胶质瘤区域的掩码图后，将掩码图与四种不同模态的MRI图像进行交集，得到胶质瘤区域的图像，使用Pyradiomics模块对胶质瘤区域的图像进行小波变换，得到变换图像。提取变换图像中的纹理影像组学特征和直方图影像组学特征，作为两个不同维度的影像特征，同时提取胶质瘤区域的图像中的纹理影像组学特征和直方图影像组学特征，基于Lasso算法对提取得到的纹理影像组学特征和直方图影像组学特征进行筛选，将满足预设筛选条件的纹理影像组学特征和直方图影像组学特征作为得到的影像组学特征z_m进行输出。

最后，将第一分支输出的深度学习特征z_d和第二分支输出的影像组学特征z_m进行拼接，得到拼接后的特征输入生存期预测模块，生存期预测模块包含第一全连接层、第二全连接层和Softmax归一化指数函数层，经过生存期预测模块的全连接层和Softmax归一化指数函数对拼接后的特征中不同特征维度的特征进行处理，输出待预测用户因罹患胶质瘤的用户生存期预测结果。

本申请实施例提供一种基于医学影像的生存期预测方法，包括：获取待预测用户的目标组织的医学影像图像，其中，所述医学影像图像中包括目标组织中的病灶区域的图像；基于所述医学影像图像，获取影像组学特征和深度学习特征，所述影像组学特征用于描述所述病灶区域的特征，所述深度学习特征用于描述所述目标组织的全局特征；根据所述影像组学特征和所述深度学习特征，对所述待预测用户的生存期进行预测。

本申请的方法通过对医学影像图像分别从全局维度和局部维度(病灶区域)提取了深度学习特征提取和影像组学特征，增加了生存期预测依据的丰富度；另一方面，可以将局部维度的影像组学特征与全局维度的深度学习特征组合，通过全局图像中其他区域的图像特征获取正常组织的形态，估计病灶区域对正常组织的浸润程度，提升生存期预后预测的准确率。

基于同一发明构思，本申请实施例公开一种基于医学影像的生存期预测装置，图5为基于医学影像的生存期预测装置示意图，如图5所示，包括：

获取模块，用于获取待预测用户的目标组织的医学影像图像，其中，所述医学影像图像中包括目标组织中的病灶区域的图像；

特征提取模块，用于基于所述医学影像图像，获取影像组学特征和深度学习特征，所述影像组学特征用于描述所述病灶区域的特征，所述深度学习特征用于描述所述目标组织的全局特征；

预测模块，用于根据所述影像组学特征和所述深度学习特征，对所述待预测用户的生存期进行预测。

其中，所述特征提取模块，包括：

分割子模块，用于从所述医学影像图像中分割出所述病灶区域的图像；

变换子模块，用于对所述病灶区域的图像进行小波变换，得到变换图像；

影像组学特征提取子模块，用于分别提取所述病灶区域的图像和所述变换图像的纹理影像组学特征，以及，提取所述病灶区域的图像和所述变换图像的直方图影像组学特征；

筛选子模块，用于对所述纹理影像组学特征和所述直方图影像组学特征进行筛选，得到所述影像组学特征。

其中，所述分割子模块，还包括：

空间结构特征子单元，用于对所述医学影像图像进行不同感受野的特征提取，得到用于表征所述目标组织的空间结构的深度学习特征；

掩码图子单元，用于基于所述深度学习特征，对所述医学影像图像中病灶区域进行估计，得到掩码图；

病灶区域分割子单元，用于基于所述掩码图，从所述医学影像图像中分割出所述病灶区域的图像。

其中，所述空间结构特征子单元，还包括：

空间结构特征提取子单元，用于分别对所述多个不同模态的医学影像子图像进行特征提取，得到各自对应的深度学习特征向量；

空间结构特征融合子单元，用于对各自对应的深度学习特征向量进行融合，得到用于表征所述目标组织的空间结构的深度学习特征。

其中，所述特征提取模块，包括：

深度学习特征提取子模块，用于对所述多个不同模态的医学影像子图像进行特征提取，得到第一深度学习特征向量和第二深度学习特征向量；

深度学习特征融合子模块，基于所述第一深度学习特征向量和所述第二深度学习特征向量，获取所述深度学习特征。

其中，所述深度学习特征提取子模块，还包括：

第一模态特征提取子单元，用于分别对每个模态的医学影像子图像进行特征提取，得到每个模态的特征；

特征融合子单元，用于对多种模态的特征进行特征融合，得到所述第一深度学习特征；

第二模态特征提取子单元，用于对所述第一深度学习特征进行基于自注意力机制的特征提取，得到所述第二深度学习特征；

第一池化子单元，用于对所述第一深度学习特征进行池化，得到所述第一深度学习特征向量；

第二池化子单元，用于对所述第二深度学习特征进行池化，得到所述第二深度学习特征向量。

其中，应用于生存期预测网络，所述生存期预测网络包括第一分支和第二分支，所述特征提取模块，包括：

第一分支子模块，用于将所述医学影像图像输入所述第一分支，通过所述第一分支获取第一深度学习特征向量和第二深度学习特征向量，并将所述第一深度学习特征向量和所述第二深度学习特征向量，组合为所述深度学习特征；

第二分支子模块，将所述医学影像图像输入所述第二分支，通过所述第二分支输出所述影像组学特征。

其中，所述第一分支子模块，还包括：

第一残差子单元，用于对多个不同模态的医学影像子图像分别进行特征提取和融合，得到第一深度学习特征；

自注意力子单元，用于对第一深度学习特征进行基于自注意力机制的特征提取，得到第二深度学习特征；

第二残差子单元，用于基于所述第二深度学习特征，对所述医学影像图像进行掩码，得到掩码图。

其中，所述第二分支子模块，还包括：

第二分支子单元，用于将所述医学影像图像和所述掩码图输入所述第二分支，所述第二分支用于基于所述医学影像图像和所述掩码图得到所述病灶区域的图像，并对所述病灶区域的图像进行特征提取，得到所述影像组学特征。

其中，所述第一分支子模块，还包括：

池化子单元，用于对所述第一深度学习特征进行平均池化和最大池化，得到所述第一深度学习特征向量；以及对所述第二深度学习特征进行平均池化和最大池化，得到所述第二深度学习特征向量；

融合子单元，用于将所述第一深度学习特征向量和所述第二深度学习特征向量进行融合，得到所述深度学习特征。

其中，所述特征提取模块，应用于生存期预测网络的训练过程，还包括：

训练集获取子模块，用于获取医学影像图像训练集；

分割结果获取子模块，用于在每一次训练时，获取所述第一分支输出的掩码图以及生存期预测值，所述掩码图中的前景区域用于表征所述病灶区域；

生存期预测损失计算子模块，用于计算所述生存期预测值对生存期真值的损失，作为生存期预测损失；

分割损失计算子模块，用于计算所述掩码图对分割结果真值的损失，作为分割损失；

优化子模块，用于基于所述生存期预测损失和所述分割损失，对所述初始生存期预测网络的超参数进行优化；

交叉验证训练子模块，用于基于所述医学影像图像训练集，采用五倍交叉验证的方法对所述初始生存期预测网络进行训练，得到所述生存期预测网络。

基于同一发明构思，本申请实施例公开一种电子设备，图6示出了本申请实施例提出的电子设备的示意图，如图6所示，电子设备100包括：存储器110和处理器120，存储器110与处理器120之间通过总线通信连接，存储器110中存储有计算机程序，该计算机程序可在处理器120上运行，以实现本申请实施例公开的基于医学影像的生存期预测方法中的步骤。

基于同一发明构思，本申请实施例公开一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请实施例公开的基于医学影像的生存期预测方法中的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的基于医学影像的生存期预测方法、装置、设备及介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种基于医学影像的生存期预测方法，其特征在于，包括：

获取待预测用户的目标组织的医学影像图像，其中，所述医学影像图像中包括目标组织中的病灶区域的图像；

基于所述医学影像图像，获取影像组学特征和深度学习特征，所述影像组学特征用于描述所述病灶区域的特征，所述深度学习特征用于描述所述目标组织的全局特征；

根据所述影像组学特征和所述深度学习特征，对所述待预测用户的生存期进行预测。

2.根据权利要求1所述的基于医学影像的生存期预测方法，其特征在于，基于所述医学影像图像，获取影像组学特征，包括：

从所述医学影像图像中分割出所述病灶区域的图像；

对所述病灶区域的图像进行小波变换，得到变换图像；

分别提取所述病灶区域的图像和所述变换图像的纹理影像组学特征，以及，提取所述病灶区域的图像和所述变换图像的直方图影像组学特征；

对所述纹理影像组学特征和所述直方图影像组学特征进行筛选，得到所述影像组学特征。

3.根据权利要求2所述的基于医学影像的生存期预测方法，其特征在于，从所述医学影像图像中分割出所述病灶区域的图像，包括：

对所述医学影像图像进行不同感受野的特征提取，得到用于表征所述目标组织的空间结构的深度学习特征；

基于所述深度学习特征，对所述医学影像图像中病灶区域进行估计，得到掩码图；

基于所述掩码图，从所述医学影像图像中分割出所述病灶区域的图像。

4.根据权利要求3所述的基于医学影像的生存期预测方法，其特征在于，所述医学影像图像包括多个不同模态的医学影像子图像，对所述医学影像图像进行不同感受野的特征提取，得到用于表征所述目标组织的空间结构的深度学习特征，包括：

分别对所述多个不同模态的医学影像子图像进行特征提取，得到各自对应的深度学习特征向量；

对各自对应的深度学习特征向量进行融合，得到用于表征所述目标组织的空间结构的深度学习特征。

5.根据权利要求1所述的基于医学影像的生存期预测方法，其特征在于，所述医学影像图像包括多个不同模态的医学影像子图像，基于所述医学影像图像，获取深度学习特征，包括：

对所述多个不同模态的医学影像子图像进行特征提取，得到第一深度学习特征向量和第二深度学习特征向量；

基于所述第一深度学习特征向量和所述第二深度学习特征向量，获取所述深度学习特征。

6.根据权利要求5所述的基于医学影像的生存期预测方法，其特征在于，对所述多个不同模态的医学影像子图像进行特征提取，得到第一深度学习特征向量和第二深度学习特征向量，包括：

分别对每个模态的医学影像子图像进行特征提取，得到每个模态的特征；

对多种模态的特征进行特征融合，得到所述第一深度学习特征；

对所述第一深度学习特征进行基于自注意力机制的特征提取，得到所述第二深度学习特征；

对所述第一深度学习特征进行池化，得到所述第一深度学习特征向量；

对所述第二深度学习特征进行池化，得到所述第二深度学习特征向量。

7.根据权利要求1所述的基于医学影像的生存期预测方法，其特征在于，所述方法应用于生存期预测网络，所述生存期预测网络包括第一分支和第二分支；基于所述医学影像图像，获取影像组学特征和深度学习特征，包括：

将所述医学影像图像输入所述第一分支，通过所述第一分支获取第一深度学习特征向量和第二深度学习特征向量，并将所述第一深度学习特征向量和所述第二深度学习特征向量，组合为所述深度学习特征；

将所述医学影像图像输入所述第二分支，通过所述第二分支输出所述影像组学特征。

8.根据权利要求7所述的基于医学影像的生存期预测方法，其特征在于，所述第一分支包括第一残差模块，以及依次串接在所述第一残差模块的输出端的自注意力模块和第二残差模块；

其中，所述第一残差模块，用于对多个不同模态的医学影像子图像分别进行特征提取和融合，得到第一深度学习特征；

所述自注意力模块，用于对第一深度学习特征进行基于自注意力机制的特征提取，得到第二深度学习特征；

所述第二残差模块，用于基于所述第二深度学习特征，对所述医学影像图像进行掩码，得到掩码图；

将所述医学影像图像输入所述第二分支，通过输出第二分支输出所述影像组学特征，包括：

将所述医学影像图像和所述掩码图输入所述第二分支，所述第二分支用于基于所述医学影像图像和所述掩码图得到所述病灶区域的图像，并对所述病灶区域的图像进行特征提取，得到所述影像组学特征。

9.根据权利要求8所述的基于医学影像的生存期预测方法，其特征在于，所述第一分支还包括分别连接在第一残差模块和自注意力模块的输出端的池化模块，以及与所述池化模块的输出端连接的融合模块；其中：

所述池化模块，用于对所述第一深度学习特征进行平均池化和最大池化，得到所述第一深度学习特征向量；以及对所述第二深度学习特征进行平均池化和最大池化，得到所述第二深度学习特征向量；

所述融合模块，用于将所述第一深度学习特征向量和所述第二深度学习特征向量进行融合，得到所述深度学习特征。

10.根据权利要求7-9任一所述的基于医学影像的生存期预测方法，其特征在于，所述生存期预测网络的训练过程，包括：

获取医学影像图像训练集；

在每一次训练时，获取所述第一分支输出的掩码图以及生存期预测值，所述掩码图中的前景区域用于表征所述病灶区域；

计算所述生存期预测值对生存期真值的损失，作为生存期预测损失；

计算所述掩码图对分割结果真值的损失，作为分割损失；

基于所述生存期预测损失和所述分割损失，对所述初始生存期预测网络的超参数进行优化；

基于所述医学影像图像训练集，采用五倍交叉验证的方法对所述初始生存期预测网络进行训练，得到所述生存期预测网络。

11.一种基于医学影像的生存期预测装置，其特征在于，包括：

获取模块，用于获取待预测用户的目标组织的医学影像图像，其中，所述医学影像图像中包括目标组织中的病灶区域的图像；

特征提取模块，用于基于所述医学影像图像，获取影像组学特征和深度学习特征，所述影像组学特征用于描述所述病灶区域的特征，所述深度学习特征用于描述所述目标组织的全局特征；

预测模块，用于根据所述影像组学特征和所述深度学习特征，对所述待预测用户的生存期进行预测。

12.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1-10中任一所述的基于医学影像的生存期预测方法中的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-10中任一所述的基于医学影像的生存期预测方法中的步骤。

Images