CN113180633A - 基于深度学习的mr影像肝癌术后复发风险预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的MR影像肝癌术后复发风险预测方法及系统，所述方法包括以下步骤：步骤1，获取磁共振图像及增强扫描序列影像；步骤2、对步骤1的图像进行数据预处理操作；步骤3、构建基于Vision Transformer的三维预测模型，并将预处理后的图像数据输入到预测模型中；步骤4、通过交叉熵损失函数优化预测模型；步骤5、利用已训练好的预测模型对肝癌是否转移做出判断，并输出预测结果。通过本发明的技术方案，能够辅助临床医生判断肝癌患者术后肝内是否发生转移，提高临床医生的诊断效率和准确度。

Description

基于深度学习的MR影像肝癌术后复发风险预测方法及系统

技术领域

本发明涉及人工智能和医学图像处理交叉领域，具体涉及一种基于深度学习的MRI影像肝癌术后复发风险预测方法及系统。

背景技术

肝癌在全球范围内是引起死亡病例数第二高的肿瘤，其发病受地理环境、种族和社会经济等因素。肝癌是致死率较高的一种恶性肿瘤，给患者的正常生活带来了严重影响。原发性肝癌主要包括有肝细胞肝癌(Hepatocellular Carcinoma,HCC)、肝内胆管癌(Intrahepatic Cholangio Carcinoma,ICC)以及HCC-ICC混合型，其中HCC大约占肝癌总数的85％～90％左右，是原发性肝癌中最常见的一种类型，并且已被认定是肝硬化患者的主要死亡原因。因此，开展肝癌诊疗及预后研究不仅可以帮助肝癌患者完成早期肝癌诊断，也可以帮助到医生制定个性化治疗方案，从而改善患者预后。

目前肝癌主要的治疗方式包括手术切除、肝脏移植、射频消融以及介入治疗等。然而由于术后复发率高、预后差，肝癌患者治疗后是否发生肝内转移对其生存周期有着十分重要的影像，这也是选择术前治疗方式与制定术后随诊周期的一个重要指导因素。

目前使用MR影像特征和传统机器学习(比如随机森林、贝叶斯分类器、K近邻等)在计算机辅助诊断领域已经取得了一定的进展，对于肝癌术后复发风险的预测，已有相关专利和文献被公开，如中国专利公开CN 110993106 A、CN 111524600 A、CN 111554402 A等；李文萃，韩丽珠，马菊香，等.术前MR影像特征对肝细胞癌手术切除术后早期复发的预测价值[J].中国肿瘤临床，2020，47(13):670-675；祁红琳，胡先玲，李传明，等.基于MRI纹理特征的早期肝癌术后复发预测[J].中国医学物理学杂质，2017，34(9)：908-911；季顾惟，王科，吴晓峰，等.基于CT检查影像组学早期肝细胞癌切除术后肿瘤复发的预测模型构建及其应用价值[J].中华消化外科杂质，2020,19(2)：204-216。上述专利和文献中公开的预测方法大都是通过从MR影像中手动提取与肿瘤相关的影像特征，并利用Pearson系数计算相关性进行有效特征选择，然后采用随机森林、贝叶斯分类器和K近邻等传统机器学习方法构建预测模型。然而，由于受影像特征相关性和模型鲁棒性等限制，上述专利和文献中公开的预测技术和方法仍存在精度无法满足实际需要的缺陷。此外，这些预测技术和方法受人为主观因素影响较大，可再现性差。

而近年来，随着影像组学领域的快速发展，深度学习技术已广泛应用于肝癌诊断、治疗和愈后评估等。因此，结合大量磁共振影像数据与深度学习建立肝癌患者术后复发风险预测模型，以便探寻高效预测术后复发的生存指标，实施更便捷的术后管理措施，这对于肝癌患者延长生存周期有着十分重要的临床意义和应用价值。

发明内容

本发明的目的是为克服上述现有技术的不足，提供一种基于深度学习的MRI影像肝癌术后复发风险预测方法及系统，能够有效辅助医生判断肝癌患者术后肝内是否发生转移进行预测，提高临床医生的诊断效率和准确度。

为实现上述目的，本发明采用下述技术方案：

基于深度学习的MR影像肝癌术后复发风险预测方法，包括如下步骤：

步骤1.获取腹部磁共振图像及增强扫描序列影像，具体为使用核磁共振扫描仪对病人腹部进行扫描成像，获得腹部磁共振图像及增强扫描序列影像，将其定义为M∈R^H×W×D，其中R代表整个图像区域，H和W分别为图像的长和宽，D为图像的深度；

步骤2.对步骤1的图像进行数据预处理操作，包括：

步骤21.对磁共振图像M∈R^H×W×D进行随机数据增强处理，

步骤22.对进行数据增强后的磁共振图像M∈R^H×W×D进行归一化处理，

步骤23.对经过步骤22处理后的数据进行分块和降维得到二位序列块M_p∈N×(P³·C)，其中

P为块大小，C为图像通道数，

步骤24.将M_p中的每个向量都进行一个线性变换，并嵌入位置信息；

步骤3.构建基于Vision Transformer的三维预测模型，并将预处理后的图像数据输入到预测模型中；

步骤4.通过交叉熵损失函数优化预测模型；

步骤5.利用已训练好的预测模型对肝癌是否转移做出判断，并输出预测结果。

所述步骤2中，各步骤的具体实施方式如下：

步骤21，对磁共振图像M∈R^H×W×D进行随机数据增强处理：

M＝RandRotate(M)，

M＝RandFlip(M)，

RandRotate表示随机旋转，旋转角度取值范围为d∈[0,15]，RandFlip表示随机翻转。其中，每种数据增强方式的发生概率为0.5；

步骤22，对进行数据增强后的磁共振图像M∈R^H×W×D进行归一化处理：

其中，M(h,w,d)表示磁共振图像在坐标(h,w,d)的像素值，h∈[0,H)，w∈[0,W)，d∈[0,D)，M_max，M_min分别表示磁共振图像内全部像素值中的最大值和最小值，并将归一化处理过后的图像数据作为模型的输入数据；

步骤23，对经过步骤22处理后的数据进行分块和降维：

Vision Transformer模型的输入需要为二维矩阵，因此首先把经过步骤22处理后的磁共振图像M∈R^H×W×D采用可训练的线性映射，即全连接层，将其转化为二维序列块M_p∈N×(P³·C)，其中

P为块大小，C为图像通道数；

步骤24，将M_p中的每个向量都进行一个线性变换，并嵌入位置信息，数学公式可表示为：

其中，E为线性变换，它的输入维度大小为(P³·C)，输出维度大小为D。M_class为可学习的嵌入向量，class为模型最终输出分类的类别数目，它与其他N个向量一并输入到Vision Transformer模型中，E_pos是序列的位置信息，是一个可学习的变量，最终将处理过后的数据z₀作为模型的输入数据。

所述步骤3中包括以下步骤；

步骤31，Vision Transformer由L个结构相同Transformer编码器组成，L为大于0的正整数，而对于Transformer编码器，其由多头自注意力机制和前馈神经网络构成；

步骤32，将步骤24处理后的数据z₀∈R^(N+1)×D作为Transformer编码器的输入；

步骤33，Vision Transformer中Transformer编码器模块的多头自注意力机制可表示为：

其中，h为多头自注意力头的数目，h≥1，对于Transformer编码器的输入矩阵z_l-1∈R^(N+1)×D，l∈[1,L]，先经过层标准化(Layer Normalization)使数据的分布在所有通道上均值为0，标准差为1，再乘上3个不同的可学习矩阵

得到三个维度相同的中间矩阵Q_h，K_h,V_h∈R^(N+1)×D，将K_h转置后与Q_h相乘，再除以

进行归一化处理，其中

为K_h的维度，得到注意力矩阵A_h∈R^(N+1)×(N+1)，再取Softmax得到

将

乘以V_h矩阵得到输出

最终将多个自注意力头的运算结果拼接在一起，即

然后传入一个全连接层，得到多头自注意力的最终输出z′_l∈R^(N+1)×D；

步骤34，使用残差学习，让模型内部结构有输入到输出的恒等映射的能力，以保证在堆叠网络的过程中，不会因为继续堆叠而产生退化，假设残差模块的输入定义为x，则输出y可表示为y＝F(x,{W_i})+x，其中F(x,{W_i})是学习目标，W_i指代网络的权重，即直接把恒等映射作为网络的一部分，把问题转化为学习一个残差函数F(x,{W_i})＝y-x，只要F(x,{W_i})＝0，就构成了恒等映射y＝x，基于以上思想，将多头自注意力的输入z_l-1∈R^(N+1)×D和输出z′_l∈R^(N+1)×D进行相加以后得到z″_l∈R^(N+1)×D；

步骤35，将z″_l∈R^(N+1)×D做Layer Normalization传入到两层全连接层的前馈神经网络中，且在第一层后使用高斯误差线性单元激活函数，输出为z″′_l∈R^(N+1)×D，最后将z″_l∈R^(N+1)×D和z″′_l∈R^(N+1)×D进行相加得到第l个Transformer编码器的输出z_l∈R^(N+1)×D；

步骤36，经过L个Transformer编码器模块后输出z_L∈R^(N+1)×D，取出z_L的第一维得到

然后经过一层全连接层得到Vision Transformer的最终输出O∈R^1×class。

所述步骤4中包括以下步骤；

步骤41，Vision Transformer的损失函数表示为：

其中，n为类别数，y为预测类别，

为真实类别；

步骤42，使用Adam优化算法对Vision Transformer三维预测模型进行优化训练：

首先通过计算梯度的一阶矩估计m_t和二阶矩估计v_t：

m_t＝μ₁*m_t-1+(1-μ₁)*g_t，

其中，u₁和u₂表示两个不同的预先设置参数，g_t和

分别表示一阶梯度和二阶梯度，然后分别计算一阶矩估计和二阶矩估计的校正

最后根据计算出来的校正值

与

结合学习率η和极小偏差ε计算得到更新值△θ_t：

利用更新值Δθ_t进行神经网络参数的优化和学习。

第二方面，本发明还提供了一种基于深度学习的MR影像肝癌术后复发风险预测系统，包括：

图像获取模块，获取磁共振图像及增强扫描序列影像；

数据预处理模块，用于对所获得的磁共振图像数据进行预处理操作；

模型构建模块，构建基于Vision Transformer的三维预测模型；

模型训练模块，将预处理后的图像数据输入到三维Vision Transformer模型中，通过交叉熵损失函数和Adam优化算法进行模型训练；

模型预测模块，利用已训练好的三维Vision Transformer模型对新的数据进行预测，判断肝癌是否转移。

所述图像数据获取模块包括磁共振图像获取模块，使用核磁共振扫描仪对病人进行扫描成像，获得磁共振图像及增强扫描序列影像。

所述数据预处理模块包括磁共振图像预处理模块，对磁共振图像进行数据增强处理、归一化、分块和降维，将处理后的数据，作为模型的输入。

所述模型训练模块包括，

模型训练模块，使用交叉熵损失计算梯度；

模型优化模块，用于使用Adam优化算法对模型进行优化训练。

本发明的有益效果是：

本发明通过获取磁共振图像及增强扫描序列影像；对所述图像进行数据预处理操作；将预处理后的图像数据输入到Vision Transformer三维预测模型中并输出分类结果；通过交叉熵损失函数和Adam优化算法来优化预测模型；利用训练好的预测模型进行肝癌转移判断。通过本发明的技术方案，能够辅助医生来判断肝癌患者术后肝内是否发生转移进行预测，提高临床医生的诊断效率和准确度。

附图说明

图1是基于深度学习的MRI影像肝癌术后复发风险预测方法的流程图；

图2是基于深度学习的MRI影像肝癌术后复发风险预测系统的结构图；

图3是利用本发明进行肝癌术后复发风险预测方法的流程图；

图4a是根据一示例性实施例示出的一种术后肝癌未发生转移的图像；

图4b是根据一示例性实施例示出的一种术后肝癌发生转移的图像。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

如图1所示，本发明实施例提供的一种基于深度学习的MR影像肝癌术后复发风险预测方法，包括以下步骤：

步骤1，获取腹部磁共振图像及增强扫描序列影像，具体为使用核磁共振扫描仪对病人腹部进行扫描成像，获得腹部磁共振图像及增强扫描序列影像，将其定义为M∈R^H×W×D，其中R代表整个图像区域，H和W分别为图像的长和宽，D为图像的深度；

步骤2，对步骤1的图像进行数据预处理操作；

步骤21，对磁共振图像M∈R^H×W×D进行随机数据增强处理：

M＝RandRotate(M)，

M＝RandFlip(M)，

RandRotate表示随机旋转，旋转角度取值范围为d∈[0，15]，RandFlip表示随机翻转。其中，每种数据增强方式的发生概率为0.5。

步骤22，对进行数据增强后的磁共振图像M∈R^H×W×D进行归一化处理：

其中，M(h，w,d)表示磁共振图像在坐标(h,w,d)的像素值，h∈[0,H)，w∈[0,W)，d∈[0,D)。M_max，M_min分别表示磁共振图像内全部像素值中的最大值和最小值。并将归一化处理过后的图像数据作为模型的输入数据。

步骤23，对经过步骤22处理后的数据进行分块和降维：

Vision Transformer模型的输入需要为二维矩阵，因此首先把经过步骤22处理后的磁共振图像M∈R^H×W×D采用可训练的线性映射(即全连接层)，将其转化为二维序列块M_p∈N×(P³·C)，其中

P为块大小，C为图像通道数。

步骤24，将M_p中的每个向量都进行一个线性变换，并嵌入位置信息，数学公式可表示为：

其中，E为线性变换，它的输入维度大小为(P³·C)，输出维度大小为D。M_class为可学习的嵌入向量，class为模型最终输出分类的类别数目，它与其他N个向量一并输入到Vision Transformer模型中。E_pos是序列的位置信息，是一个可学习的变量。最终将处理过后的数据z₀作为模型的输入数据。

步骤3、构建基于Vision Transformer的三维预测模型，并将预处理后的图像数据输入到预测模型中；

步骤31，Vision Transformer由L个结构相同Transformer编码器组成，L为大于0的正整数。而对于Transformer编码器，其由多头自注意力机制和前馈神经网络构成。

步骤32，将步骤24处理后的数据z₀∈R^(N+1)×D作为Transformer编码器的输入。

步骤33，Vision Transformer中Transformer编码器模块的多头自注意力机制可表示为：

其中，h为多头自注意力头的数目，h≥1，对于Transformer编码器的输入矩阵z_l-1∈R^(N+1)×D，l∈[1，L]，先经过层标准化(Layer Normalization)使数据的分布在所有通道上均值为0，标准差为1，再乘上3个不同的可学习矩阵

得到三个维度相同的中间矩阵Q_h,K_h，V_h∈R^(N+1)×D，将K_h转置后与Q_h相乘，再除以

进行归一化处理，其中

为K_h的维度，得到注意力矩阵A_h∈R^(N+1)×(N+1)。再取Softmax得到

将

乘以V_h矩阵得到输出

最终将多个自注意力头的运算结果拼接在一起，即

然后传入一个全连接层，得到多头自注意力的最终输出z′_l∈R^(N+1)×D。

步骤34，使用残差学习，让模型内部结构有输入到输出的恒等映射的能力，以保证在堆叠网络的过程中，不会因为继续堆叠而产生退化。假设残差模块的输入定义为x，则输出y可表示为y＝F(x,{W_i})+x，其中F(x,{W_i})是学习目标，W_i指代网络的权重，即直接把恒等映射作为网络的一部分，把问题转化为学习一个残差函数F(x,{W_i})＝y-x，只要F(x,{W_i})＝0，就构成了恒等映射y＝x。基于以上思想，将多头自注意力的输入z_l-1∈R^(N+1)×D和输出z′_l∈R^(N+1)×D进行相加以后得到z″_l∈R^(N+1)×D。

步骤35，将z″_l∈R^(N+1)×D做Layer Normalization传入到两层全连接层的前馈神经网络中，且在第一层后使用高斯误差线性单元激活函数，输出为z″′_l∈R^(N+1)×D。最后将z″_l∈R^(N+1)×D和z″′_l∈R^(N+1)×D进行相加得到第l个Transformer编码器的输出z_l∈R^(N+1)×D。

步骤36，经过L个Transformer编码器模块后输出z_L∈R^(N+1)×D，取出z_L的第一维得到

然后经过一层全连接层得到Vision Transformer的最终输出O∈R^1×class。

步骤4、通过交叉熵损失函数优化预测模型；

步骤41，Vision Transformer的损失函数表示为：

其中，n为类别数，y为预测类别，

为真实类别。

步骤42，使用Adam优化算法对Vision Transformer三维预测模型进行优化训练：

首先通过计算梯度的一阶矩估计m_t和二阶矩估计_vt：

m_t＝μ₁*m_t-1+(1-μ₁)*g_t，

其中，u₁和u₂表示两个不同的预先设置参数，g_t和

分别表示一阶梯度和二阶梯度，然后分别计算一阶矩估计和二阶矩估计的校正

最后根据计算出来的校正值

与

结合学习率η和极小偏差ε计算得到更新值△θ_t：

利用更新值Δθ_t进行神经网络参数的优化和学习。

步骤5、利用已训练好的预测模型对肝癌是否转移做出判断，并输出预测结果。

如图2所示，本发明实施例提供的一种基于深度学习的MR影像肝癌术后复发风险预测系统，包括：

图像获取模块，获取磁共振图像及增强扫描序列影像，该模块还包括磁共振图像获取模块，使用核磁共振扫描仪对病人进行扫描成像，获得磁共振图像及增强扫描序列影像；

数据预处理模块，用于对所获得的磁共振图像数据进行预处理操作，该模块还包括磁共振图像预处理模块，对磁共振图像进行数据增强处理、归一化、分块和降维，将处理后的数据，作为模型的输入；

模型构建模块，构建基于Vision Transformer的三维预测模型；

模型训练模块，将预处理后的图像数据输入到三维Vision Transformer模型中，通过交叉熵损失函数和Adam优化算法进行模型训练，该模块还包括模型训练模块，使用交叉熵损失计算梯度；模型优化模块，用于使用Adam优化算法对模型进行优化训练；

模型预测模块，利用已训练好的三维Vision Transformer模型对新的数据进行预测，判断肝癌是否转移。

如图3所示，利用本发明一种基于深度学习的MR影像肝癌术后复发风险预测过程如下：

步骤1、获取磁共振图像及增强扫描序列影像；

步骤11，使用核磁共振扫描仪对病人腹部进行扫描成像，获得腹部磁共振图像及增强扫描序列影像；

步骤2、对步骤1的图像进行数据预处理操作；

步骤21，对磁共振图像进行随机数据增强处理，包括随机旋转和随机反转；

步骤22，对数据增强后的磁共振图像进行归一化处理：

步骤23，对经过步骤22归一化处理后的数据进行分块和降维，以便输入到模型中：

步骤24，对分块后的每个向量都进行一个线性变换，并嵌入位置信息；

步骤3、构建基于Vision Transformer的三维预测模型，并将步骤2预处理后的图像数据输入到预测模型中；

步骤31，将步骤2预处理后图像数据输入到所述模型中，其输出为对肝癌是否发生转移的判断；

步骤4、通过交叉熵损失函数和Adam优化算法对预测模型进行优化；

步骤5、利用已训练好的预测模型对肝癌是否转移做出判断，并输出预测结果。

算例：本发明以磁共振图像作为输入，采用本发明公开的一种基于深度学习的MR影像肝癌术后复发风险预测方法对术后肝癌是否发生转移进行预测。

本算例的流程如图3所示，训练数据以2015年1月至2019年12月经穿刺病理或临床诊断为HCC且接受TACE治疗的161例患者为研究对象。通过调查随访了解患者出院3年内是否肝内转移的情况，将患者分为未发生转移组79例、肝内转移组82例。图4a和图4b显示了所述两类图像的示意图，分别为术后肝癌未发生转移的图像和术后肝癌发生转移的图像。

以所述两类患者的磁共振图像为输入，为了避免数据本身问题对模型的性能和结果造成影响，第一步要对原始图像数据进行预处理。首先对患者磁共振图像进行随机数据增强处理，包括随机旋转和随机反转，接着对随机数据增强后的磁共振图像进行归一化处理，最后将归一化后的数据进行分块和降维，以便输入到模型中。

利用预处理后的图像构建数据集，采用十折交叉验证方式训练和评估模型。将预处理后的数据集输入Vision Transformer三维预测模型中，其输出是对肝癌是否反正转移做出的判断，通过交叉熵损失函数和Adam优化算法训练预测模型。

训练完成后，使用验证集进行模型评估，得到验证集上的预测结果。在10折交叉验证下的正确率最高值为0.8125，正确率最低值为0.5625，平均正确率为0.6897±0.0818(95％置信区间，0.659～0.841)，灵敏度为0.732，特异度为0.771，AUC为0.707，预测性能表现较好。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于深度学习的MR影像肝癌术后复发风险预测方法，其特征是，包括如下步骤：

步骤1.获取腹部磁共振图像及增强扫描序列影像，具体为使用核磁共振扫描仪对病人腹部进行扫描成像，获得腹部磁共振图像及增强扫描序列影像，将其定义为M∈R^H×W×D，其中R代表整个图像区域，H和W分别为图像的长和宽，D为图像的深度；

步骤2.对步骤1的图像进行数据预处理操作，包括：

步骤21.对磁共振图像M∈R^H×W×D进行随机数据增强处理，

步骤22.对进行数据增强后的磁共振图像M∈R^H×W×D进行归一化处理，

步骤23.对经过步骤22处理后的数据进行分块和降维得到二位序列块M_p∈N×(P³·C)，其中

P为块大小，C为图像通道数，

步骤24.将M_p中的每个向量都进行一个线性变换，并嵌入位置信息；

步骤3.构建基于Vision Transformer的三维预测模型，并将预处理后的图像数据输入到预测模型中；

步骤4.通过交叉熵损失函数优化预测模型；

步骤5.利用已训练好的预测模型对肝癌是否转移做出判断，并输出预测结果。

2.如权利要求1所述的基于深度学习的MR影像肝癌术后复发风险预测方法，其特征是，所述步骤2中，各步骤的具体实施方式如下：

步骤21，对磁共振图像M∈R^H×W×D进行随机数据增强处理：

M＝RandRotate(M)，

M＝RandFlip(M)，

RandRotate表示随机旋转，旋转角度取值范围为d∈[0，15]，RandFlip表示随机翻转，其中，每种数据增强方式的发生概率为0.5；

步骤22，对进行数据增强后的磁共振图像M∈R^H×W×D进行归一化处理：

其中，M(h,w,d)表示磁共振图像在坐标(h,w,d)的像素值，h∈[0,H)，w∈[0,W)，d∈[0,D)，M_max，M_min分别表示磁共振图像内全部像素值中的最大值和最小值，并将归一化处理过后的图像数据作为模型的输入数据；

步骤23，对经过步骤22处理后的数据进行分块和降维：

Vision Transformer模型的输入需要为二维矩阵，因此首先把经过步骤22处理后的磁共振图像M∈R^H×W×D采用可训练的线性映射，即全连接层，将其转化为二维序列块M_p∈N×(P³·C)，其中

P为块大小，C为图像通道数；

步骤24，将M_p中的每个向量都进行一个线性变换，并嵌入位置信息，数学公式可表示为：

E_pos∈R^(N+1)×D，

其中，E为线性变换，它的输入维度大小为(P³·C)，输出维度大小为D，M_class为可学习的嵌入向量，class为模型最终输出分类的类别数目，它与其他N个向量一并输入到VisionTransformer模型中，E_pos是序列的位置信息，是一个可学习的变量，最终将处理过后的数据z₀作为模型的输入数据。

3.如权利要求1所述的基于深度学习的MR影像肝癌术后复发风险预测方法，其特征是，所述步骤3中包括以下步骤；

步骤31，Vision Transformer由L个结构相同Transformer编码器组成，L为大于0的正整数，而对于Transformer编码器，其由多头自注意力机制和前馈神经网络构成；

步骤32，将步骤24处理后的数据z₀∈R^(N+1)×D作为Transformer编码器的输入；

步骤33，Vision Transformer中Transformer编码器模块的多头自注意力机制可表示为：

其中，h为多头自注意力头的数目，h≥1，对于Transformer编码器的输入矩阵z_l-1∈R^{(N +1)×D}，l∈[1,L]，先经过层标准化使数据的分布在所有通道上均值为0，标准差为1，再乘上3个不同的可学习矩阵

得到三个维度相同的中间矩阵Q_h,K_h,V_h∈R^{(N +1)×D}，将K_h转置后与Q_h相乘，再除以

进行归一化处理，其中

为K_h的维度，得到注意力矩阵A_h∈R^(N+1)×(N+1)，再取Softmax得到

将

乘以V_h矩阵得到输出

最终将多个自注意力头的运算结果拼接在一起，即

然后传入一个全连接层，得到多头自注意力的最终输出z′_l∈R^(N+1)×D；

步骤34，使用残差学习，让模型内部结构有输入到输出的恒等映射的能力，以保证在堆叠网络的过程中，不会因为继续堆叠而产生退化，假设残差模块的输入定义为x，则输出y可表示为y＝F(x,{W_i})+x，其中F(x,{W_i})是学习目标，W_i指代网络的权重，即直接把恒等映射作为网络的一部分，把问题转化为学习一个残差函数F(x,{W_i})＝y-x，只要F(x,{W_i})＝0，就构成了恒等映射y＝x，基于以上思想，将多头自注意力的输入z_l-1∈R^(N+1)×D和输出z′_l∈R^(N+1)×D进行相加以后得到z″_l∈R^(N+1)×D；

步骤35，将z″_l∈R^(N+1)×D做Layer Normalization传入到两层全连接层的前馈神经网络中，且在第一层后使用高斯误差线性单元激活函数，输出为z″′_l∈R^(N+1)×D，最后将z″_l∈R^{(N +1)×D}和z″′_l∈R^(N+1)×D进行相加得到第l个Transformer编码器的输出z_l∈R^(N+1)×D；

步骤36，经过L个Transformer编码器模块后输出z_L∈R^(N+1)×D，取出z_L的第一维得到

然后经过一层全连接层得到Vision Transformer的最终输出O∈R^1×class。

4.如权利要求1所述的基于深度学习的MR影像肝癌术后复发风险预测方法，其特征是，所述步骤4中包括以下步骤；

步骤41，Vision Transformer的损失函数表示为：

其中，n为类别数，y为预测类别，

为真实类别；

步骤42，使用Adam优化算法对Vision Transformer三维预测模型进行优化训练：

首先通过计算梯度的一阶矩估计m_t和二阶矩估计v_t：

m_t＝μ₁*m_t-1+(1-μ₁)*g_t，

其中，u₁和u₂表示两个不同的预先设置参数，g_t和

分别表示一阶梯度和二阶梯度，然后分别计算一阶矩估计和二阶矩估计的校正

最后根据计算出来的校正值

与

结合学习率η和极小偏差ε计算得到更新值△θ_t：

利用更新值Δθ_t进行神经网络参数的优化和学习。

5.一种基于深度学习的MR影像肝癌术后复发风险预测系统，其特征是，包括：

图像获取模块，获取磁共振图像及增强扫描序列影像；

数据预处理模块，用于对所获得的磁共振图像数据进行预处理操作；

模型构建模块，构建基于Vision Transformer的三维预测模型；

模型训练模块，将预处理后的图像数据输入到三维Vision Transformer模型中，通过交叉熵损失函数和Adam优化算法进行模型训练；

模型预测模块，利用已训练好的三维Vision Transformer模型对新的数据进行预测，判断肝癌是否转移。

6.如权利要求5所述的基于深度学习的MR影像肝癌术后复发风险预测系统，其特征是，所述图像数据获取模块包括磁共振图像获取模块，使用核磁共振扫描仪对病人进行扫描成像，获得磁共振图像及增强扫描序列影像。

7.如权利要求5所述的基于深度学习的MR影像肝癌术后复发风险预测系统，其特征是，所述数据预处理模块包括磁共振图像预处理模块，对磁共振图像进行数据增强处理、归一化、分块和降维，将处理后的数据，作为模型的输入。

8.如权利要求5所述的基于深度学习的MR影像肝癌术后复发风险预测系统，其特征是，所述模型训练模块包括，

模型训练模块，使用交叉熵损失计算梯度；

模型优化模块，用于使用Adam优化算法对模型进行优化训练。

Images