CN118016283A - 基于可解释的乳腺癌新辅助化疗pCR预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于可解释的乳腺癌新辅助化疗pCR预测方法及系统，该预测方法，具体包括：获取乳腺癌DCE‑MRI影像数据，并对获取的影像数据进行预处理，得到肿瘤感兴趣区域的图像数据；构建可解释深度学习模型，并将得到肿瘤感兴趣区域的图像数据输入到所述可解释深度学习模型中，即得到新辅助化疗pCR预测结果；获取可解释深度学习模型中注意力机制的注意力权重对特征提取进行可解释分析，得到所述深度学习模型的自解释结果，即完成预测。本发明提供了一种可解释深度学习技术，不仅保证了基于深度学习的新辅助化疗pCR预测的准确性，而且提高了深度学习模型的自解释能力，从而增强了深度学习模型的可信度和临床应用价值。

Description

基于可解释的乳腺癌新辅助化疗pCR预测方法及系统

技术领域

本发明属于医学图像分析技术领域，具体涉及一种基于可解释的乳腺癌新辅助化疗pCR预测方法及系统。

背景技术

新辅助化疗旨在降期手术、治疗潜在转移或微转移病灶、保乳治疗以及为后续治疗提供精准指导，在当前乳腺癌综合治疗中承担着重要作用。乳腺癌新辅助化疗达到病理完全缓解（pathological complete response, pCR）是评估新辅助化疗疗效的重要指标，如果能准确地预测乳腺癌患者新辅助化疗的pCR，有助于辅助医师专家针对个体进行个性化治疗方案的制定，对于患者的预后提高具有重要的临床意义。

目前，研究工作已开展了基于影像数据的乳腺癌新辅助化疗的pCR预测，并指出动态对比磁共振成像（Dynamic Contrast Enhanced-Magnetic Resonance Imaging，DCE-MRI）相比于其他影像数据能更好的预测新辅助化疗的疗效。同时，研究报告指出基于卷积神经网络的人工智能模型比传统的影像组学模型具有更好的pCR预测性能。但是，对于准确性更高的卷积神经网络预测模型，其缺乏可解释性与透明度的问题导致无法获得临床专家的信任，同时也阻碍了深度学习模型的临床应用。

发明内容

针对现有技术存在的问题，本发明提供了一种基于可解释的乳腺癌新辅助化疗pCR预测方法及系统，旨在利用一种新的可解释深度学习模型，在保证乳腺癌新辅助化疗pCR预测的准确性同时，提高深度学习模型的可解释性及透明度，从而增加对深度模型的可信度。

为了解决上述技术问题，本发明的技术方案为：一种基于可解释的乳腺癌新辅助化疗pCR预测方法，所述预测方法包括以下步骤：

S1）获取乳腺癌DCE-MRI影像数据，并对获取的影像数据进行预处理，得到肿瘤感兴趣区域的图像数据；

S2）构建可解释深度学习模型，并将S1）得到肿瘤感兴趣区域的图像数据输入到所述可解释深度学习模型中，即得到新辅助化疗pCR预测；

S3）获取可解释深度学习模型中注意力机制的注意力权重对特征提取进行可解释分析，得到所述深度学习模型的自解释结果，即完成预测。

进一步，所述S1）中所述的乳腺癌DCE-MRI影像包括：对比增强前的MRI扫描影像、 对比增强后的第一次扫描MRI影像和对比增强后的第二次扫描MRI影像。

进一步，所述S1）的具体步骤为：

S1.1）获取乳腺癌DCE-MRI影像数据，将获取的乳腺癌DCE-MRI影像数据并重采样， 即得到像素大小为的图像；

S1.2）将S1.1)得到的图像垂直轴的居中层进行切片，即得到图像；

S1.3）采用最大-最小值归一化方法对S1.2）得到的图像进行归一化处 理；

S1.4）将经过S1.3）处理后分别得到所述MRI图像、MRI图像和MRI图像对应的 图像，并将所得三张图像进行拼接，拼接为3通道的输入图像，即为肿瘤感 兴趣区域的图像数据。

进一步，所述S1.4）中的肿瘤感兴趣区域包括肿瘤病灶区域与肿瘤外扩10mm的瘤周区域。

进一步，所述S2）中所述可解释深度学习模型包括：编码模块、四个阶段的可解释特征提取模块和pCR预测模块；

其中，所述四个阶段的可解释特征提取模块中，第一个阶段的可解释特征提取模块由可解释特征感知块组成，第二到第四阶段的特征提取模块中，依次由下采样层与可解释特征感知块串联组成，同时，四个阶段的特征提取模块也是串联关系，即上一个阶段的输出是下一个阶段的输入；

所述可解释特征感知块依次包括多层感知器、皮尔逊注意力机制单元与残差连接单元。

进一步，所述S2）的具体步骤为：

S2.1）将S1.4）得到的输入图像编码模块进行编码处理,即得到输入图像 的编码特征且作为第一阶段特征提取器的输入特征；

S2.2）将S2.1）得到的特征输入到串联的四个阶段的可解释特征提取 模块中，每个阶段输出一个“Class Token”向量，即，，与；

S2.3）将S2.2）得到的，，与通过pCR预测模块里的注意力 机制融合为一个，再将通过pCR预测模块里的全连接层与 Sigmoid激活函数得到新辅助化疗pCR预测结果。

进一步，所述S2.1）的具体步骤为：所述编码模块将每张输入图像切分为 不相交的256个图像块，且每个图像块均展成的向量；通过线性映射层将所述的 向量映射为大小为的向量；将每一个所述的的向量均加上大小相同且可学习 的位置编码向量，得到所述输入图像的编码特征且作为特征提取器的输入特征。

进一步，所述S2.2）四个阶段的可解释特征提取模块中可解释特征感知块的操作 步骤相同，且第一阶段可解释特征提取模块的输入是S2.1）得到的特征，第二到 第四阶段可解释特征感知块的输入来源于各自阶段里下采样层的输出，将每个阶段的输入 首先输入到每个阶段可解释特征感知块的多层感知器中，并通过残差连接操作，获取所述 多层感知器输出特征，其次，每个阶段可解释特征感知块里皮尔逊注意力机制单元的具 体步骤具体为：

将特征映射到三个子空间、、中，得到每个子空间的特征、、，且、、与映射前的特征的大小一致，为（个一维向量），其中，在所述的四 个阶段里的值分别为256、64、16、4；

利用皮尔逊相似度计算所述子空间的特征中个一维向量与中个一维向量之间的相似度，得到特征的自注意力矩阵；

利用皮尔逊相似度计算“Class Token”向量与子空间的特征中个向量的相似 度，得到特征中个一维向量的注意力矩阵；

将自注意力矩阵与子空间的特征进行矩阵相乘，得到特征的更新值；

再将注意力矩阵与所述更新值；进行矩阵相乘，以更新“Class Token”向 量，得到所述每个阶段可解释特征提取模块最终输出的“Class Token”向量，即，，与；

所述第二阶段到第四阶段里可解释特征提取模块中的下采样层是采用特征重组 与线性映射将输入特征尺度缩小为原来的0.25倍，且所述四个阶段的图像特征尺度分别 为：、、与；其次，所述“Class Token”向量是定 义的一个可学习的一维向量，大小为。

进一步，所述S2.3）中的四个阶段的可解释特征提取模块输出的“Class Token”向量通过pCR预测模块里注意力机制进行融合，融合机制具体为：

式中：、、、为通过所述四个阶段“Class Token”的各自均值通过Softmax 函数得到的注意力值，且满足 。

进一步，所述S3中所述可解释分析具体步骤包括：

S3.1）获取所述四个阶段里每个阶段可解释特征提取模块中的所述注意力矩阵， 即为每个阶段下输入特征中不同位置的特征对可解释pCR预测结果的贡献度；

S3.2）获取所述pCR预测模块中的、、、值，即为所述四个阶段对应尺度特 征对pCR预测结果的贡献程度；

S3.3）输出所述每个阶段的注意力矩阵与所述、、、的注意力值，即为所 述深度学习模型的自解释结果。

本发明的另一目的还提供一种实现上述预测方法的系统，该系统具体包括：

输入模块，用于获取乳腺癌患者的DCE-MRI影像数据，并输入预处理模块；

预处理模块，用于对输入的DCE-MRI影像数据进行预处理，得到输入数据；

预测模块，用于构建可解释深度学习模型，并根据输入数据进行预测，得到pCR 的预测结果与可解释分析结果；

输出模块，用于输出最终的乳腺癌新辅助化疗pCR预测结果及可解释分析结果。

与现有技术相比，本发明具有以下有益效果：

1.本发明构建了基于可解释深度学习的pCR预测模型，不仅保障pCR预测结果的准确性，同时实现基于皮尔逊相似度获取输入特征不同位置对pCR预测结果的贡献度，为深度学习模型提供了一种自解释方式，进而提高深度学习模型的透明度。

2.本发明基于注意力机制构建了多尺度特征的融合方式，实现pCR预测结果在不同尺度特征下的注意力权重，为深度学习模型的pCR预测结果提供一种不同尺度的贡献度解释。

3.本发明提供了一个基于可解释的乳腺癌新辅助化疗pCR预测系统，实现新辅助化疗的pCR准确预测，同时输出pCR预测的可解释分析结果，相比于现有技术，本发明不仅保障了深度学习模型预测的准确性，还提高了深度学习模型预测的可解释性与透明度。

附图说明

图1为本发明一种基于可解释的乳腺癌新辅助化疗pCR预测方法的流程示意图；

图2为本发明一种基于可解释的乳腺癌新辅助化疗pCR预测方法中的可解释深度学习模型的结构框图；

图3为本发明基于可解释的乳腺癌新辅助化疗pCR预测系统的流程框图。

具体实施方式

为了使本发明实现的技术手段、最终的目的及达成的效益易于理解，下面通过实施例对本发明进一步阐述，需要说明的是，阐述的实施例不应理解为本发明上述主题的范围仅限于以下实施例。凡基于本发明内容所实现的技术均属于本发明的范围。

如图1所示，本发明基于可解释的乳腺癌新辅助化疗pCR预测方法，所述预测方法包括以下步骤：

S1）获取乳腺癌DCE-MRI影像数据，并对获取的影像数据进行预处理，得到肿瘤感兴趣区域的图像数据；

S2）构建可解释深度学习模型，并将S1）得到肿瘤感兴趣区域的图像数据输入到所述可解释深度学习模型中，即得到新辅助化疗pCR预测；

S3）获取可解释深度学习模型中注意力机制的注意力权重对特征提取进行可解释分析，得到所述深度学习模型的自解释结果，即完成预测。

所述S1）中所述的乳腺癌DCE-MRI影像包括：对比增强前的MRI扫描影像、对比增 强后的第一次扫描MRI影像和对比增强后的第二次扫描MRI影像。

所述S1）的具体步骤为：

S1.1）获取乳腺癌DCE-MRI影像数据，将获取的乳腺癌DCE-MRI影像数据并重采样， 即得到像素大小为的图像；

S1.2）将S1.1)得到的图像垂直轴的居中层进行切片，即得到图像；

S1.3）采用最大-最小值归一化方法对S1.2）得到的图像进行归一化处 理；

S1.4）将经过S1.3）处理后分别得到所述MRI图像、MRI图像和MRI图像对应的 图像，并将所得得三张图像进行拼接，拼接为3通道的输入图像，即为肿瘤 感兴趣区域的图像数据。

所述S1.4）中的肿瘤感兴趣区域包括肿瘤病灶区域与肿瘤外扩10mm的瘤周区域。

所述S2）中可解释深度学习模型包括：编码模块、四个阶段的可解释特征提取模块和pCR预测模块，如图2所示；

其中，所述四个阶段的可解释特征提取模块中，第一个阶段的可解释特征提取模块由可解释特征感知块组成，第二到第四阶段的特征提取模块中，依次由下采样层与可解释特征感知块串联组成，同时，四个阶段的特征提取模块也是串联关系，即上一个阶段的输出是下一个阶段的输入；

所述可解释特征感知块依次包括多层感知器、皮尔逊注意力机制单元与残差连接单元。

所述S2）的具体步骤为：

S2.1）将S1.4）得到的输入图像编码模块进行编码处理,即得到输入图像 的编码特征且作为第一阶段特征提取器的输入特征 （表示特征的尺度，且 右上角的数值表示具体尺度值）；

S2.2）将S2.1）得到的特征输入到串联的四个阶段的可解释特征提取 模块中，每个阶段输出一个“Class Token”向量，即，，与；

S2.3）将S2.2）得到的，，与通过pCR预测模块里的注意力 机制融合为一个，再将通过pCR预测模块里的全连接层与 Sigmoid激活函数得到新辅助化疗pCR预测。

所述S2.1）的具体步骤为：所述编码模块将所述每张输入图像切分为不 相交的256个图像块，且每个图像块均展成的向量；通过线性映射层将所述的向 量映射为大小为的向量；将每一个所述的的向量均加上大小相同且可学习的 位置编码向量，得到所述输入图像的编码特征且作为特征提取器的特征。

所述S2.2）四个阶段的可解释特征提取模块中可解释特征感知块的操作步骤相 同，且第一阶段可解释特征提取模块的输入是S2.1）得到的特征，第二到第四阶 段可解释特征感知块的输入来源于各自阶段里下采样层的输出，将每个阶段的输入首先输 入到每个阶段可解释特征感知块的多层感知器中，并通过残差连接操作，获取所述多层感 知器输出特征，其次，每个阶段可解释特征感知块里皮尔逊注意力机制单元的具体步骤 具体为：

将特征映射到三个子空间、、中，得到每个子空间的特征、、，且、、与映射前的特征的大小一致，为（个一维向量），其中，在所述的四 个阶段里的值分别为256、64、16、4；

利用皮尔逊相似度计算所述子空间的特征中个一维向量与子空间的特征与中个一维向量之间的相似度，得到特征的自注意力矩阵；

利用皮尔逊相似度计算“Class Token”向量与子空间的特征中个向量的相似 度，得到特征中个一维向量的注意力矩阵；

将自注意力矩阵与子空间的特征进行矩阵相乘，得到特征的更新值；

再将注意力矩阵与所述更新值进行矩阵相乘，以更新“Class Token”向量， 得到所述每个阶段可解释特征提取模块最终输出的“Class Token”向量，即，，与；

所述第二阶段到第四阶段里可解释特征提取模块中的下采样层是采用特征重组 与线性映射将输入特征尺度缩小为原来的0.25倍，且所述四个阶段的图像特征尺度分别 为：、、与；其次，所述“Class Token”向量是定 义的一个可学习的一维向量，大小为，且在所述四个阶段的可解释特征提取模块里 参与特征提取并对图像特征与信息进行聚合。

将所述四个阶段的可解释特征提取模块输出的“Class Token”向量用于pCR预测 模块里注意力机制融合为一个。

所述四个阶段的可解释特征提取模块输出的“Class Token”向量通过pCR预测模块里注意力机制进行融合，融合机制具体为：

式中：、、、为通过所述四个阶段“Class Token”的各自均值通过Softmax 函数得到的注意力值，且满足 。所述S3中所述可解释分析具体步骤包 括：

S3.1）获取所述四个阶段里每个阶段可解释特征提取模块中的所述注意力矩阵， 即为每个阶段下输入特征中不同位置的特征对可解释pCR预测结果的贡献度；

S3.2）获取所述pCR预测模块中的、、、值，即为所述四个阶段对应尺度特 征对pCR预测结果的贡献程度；

S3.3）输出所述每个阶段的注意力矩阵与所述、、、注意力值，即为所述 深度学习模型的自解释结果。

实施例1：

一种基于可解释的乳腺癌新辅助化疗pCR预测方法，具体步骤包括：

S1、获取乳腺癌DCE-MRI影像数据，并对获取的影像数据进行预处理，得到肿瘤感兴趣区域的图像数据；

S2、构建可解释深度学习模型，并将S1得到肿瘤感兴趣区域的图像数据输入到所述可解释深度学习模型中，即得到新辅助化疗pCR预测；

S3、获取可解释深度学习模型中注意力机制的注意力权重对特征提取进行可解释分析，得到所述深度学习模型的自解释结果，即完成预测。

步骤S1中，乳腺癌DCE-MRI影像包括：对比增强前的MRI扫描影像、对比增强后的 第一次扫描MRI影像以及对比增强后的第二次扫描MRI影像。本实施例中，DCE-MRI影像 在患者治疗前4周进行采集，其次，第一次扫描对比增强的MRI图像在造影剂注射后2分钟 15秒至2分30秒之间进行，第二次扫描对比增强的MRI图像在造影剂注射7分钟15秒至7分 钟45秒之间进行。

步骤S1中，感兴趣区域包括肿瘤病灶区域与肿瘤外扩10mm的瘤周区域。

步骤S1中，预处理的具体步骤包括：

S11、获取乳腺癌DCE-MRI影像数据，将获取的乳腺癌DCE-MRI影像数据并重采样， 即得到像素大小为的图像；

S12、获取图像垂直轴的居中层切片图像；

S13、采用最大-最小值归一化方法对所述居中层切片图像进行归一化；

S14、将所述MRI图像、MRI图像、MRI图像归一化后的居中层切片图像拼接为 3通道的预测模型输入图像。

步骤S2中，预设的基于可解释的深度学习模型的训练及预测过程具体如下：

S21、构建可解释的深度学习模型；

S21中，模型训练包括数据集准备、可解释的深度学习模型构建、可解释的深度学习模型优化。本实施例中，采用I-SPY1 TRIAL公开数据集中80%乳腺癌患者的DCE-MRI影像及对应的新辅助化疗pCR标签作为训练数据集；构建了基于可解释的深度学习模型用于pCR预测，且可解释深度学习模型结构具体包括：

S211、一个编码模块；

S211中，所述编码模块的步骤具体包括：将所述每张输入图像切分为不 相交的256个图像块，且每个图像块均展成的向量；通过线性映射层将所述的向 量映射为大小为的向量；将每一个所述的的向量均加上大小相同且可学习的 位置编码向量，得到所述输入图像的编码特征且作为特征提取器的特征；

S212、四个阶段的可解释特征提取模块；

S212中，所述四个阶段的可解释特征提取模块里，第二到第四阶段的特征提取模 块中，依次由下采样层与可解释特征感知块串联组成，同时，四个阶段的特征提取模块也是 串联关系，即上一个阶段的输出是下一个阶段的输入，将每个阶段的输入首先输入到每个 阶段可解释特征感知块的多层感知器中，并采用残差连接，获取所述多层感知器输出特征。其中，所述可解释特征感知块是依次采用多层感知器、皮尔逊注意力机制单元与残差 连接实现对输入的可解释特征的提取。此处的所述残差连接是针对多层感知器与皮尔逊注 意力机制单元进行操作的，具体多层感知器的残差操作指多层感知器的输出加上多层感知 器的输入作为多层感知器最终的输出，皮尔逊注意力机制单元残差操作指皮尔逊注意力机 制单元输出加上皮尔逊注意力机制单元输出作为皮尔逊注意力机制单元的最终输出。所述 下采样层是依次采用特征重组与线性映射将特征缩小为原来的0.25倍，且所述 四个阶段的图像特征分别为：、、与。其次，所述 四个阶段的可解释特征提取模块均输出“Class Token”向量，其中，所述“Class Token”向 量是定义的一个可学习的一维向量，且在所述四个阶段的可解释特征提取模块里参与特征 提取并对图像特征与信息进行聚合，以用于最终的pCR预测;

S212中，所述的皮尔逊注意力机制单元的步骤具体包括：

S2121、采用线性可学习层，将所述多层感知器的输出特征映射到三个子空间、、中，得到每个子空间的特征、、，且、、与映射前的特征的大小一 致，为（个一维向量），其中，在所述的四个阶段的值分别为256、64、16、4；

S2122、利用皮尔逊相似度计算所述子空间的特征中个一维向量与子空间的 特征中个一维向量之间的相似度，得到特征的自注意力矩阵；

S2123、利用皮尔逊相似度计算“Class Token”向量与所述子空间的特征中个 向量的相似度，得到特征中个向量对所述“Class Token”向量的注意力矩阵；

S2124、利用所述自注意力矩阵与所述子空间的特征进行矩阵相乘，得到特征的更新值；

S2125、利用所述注意力矩阵与所述更新值进行矩阵相乘，以更新“Class Token”向量，得到所述每个阶段可解释特征提取模块最终输出的“Class Token”向量，即，，与。

S213、一个pCR预测模块；

S213中，所述pCR预测模块是将所述四个阶段的可解释特征提取模块输出的 “Class Token”向量（阶段1的、阶段2的、阶段3的及阶段4的）通过注意力机制融合为一个，并通 过全连接层与Sigmoid激活函数得到pCR的预测结果，

其中，所述的皮尔逊注意力机制融合具体指：

式中，、、、为通过所述四个阶段“Class Token”的各自均值通过Softmax 函数得到的注意力值，满足 ，且、、、的大小可解释是所述四个 阶段对应尺度特征对pCR预测结果的贡献程度。

S21中，可解释深度学习模型的优化过程采用交叉熵损失函数作为预测模型训练的目标函数，目标函数的优化采用AdamW优化器对模型参数进行迭代更新。

S22中模型验证与可解释输出；

S22中，模型验证采用一定量的数据集，对已完成训练的预测模型进行性能评估， 并输出患者pCR预测结果对应的可解释分析结果。本实例中，采用了I-SPY1 TRIAL公开数据 集中剩余20%乳腺癌患者的DCE-MRI影像及对应的新辅助化疗pCR标签作为验证数据集，并 采用曲线下面积、准确率、敏感性、特异性、阳性预测值与阴性预测值对模型性能进行评估。 本实施例中，验证数据集的曲线下面积、准确率、敏感性、特异性、阳性预测值与阴性预测值 的结果分别为：0.8384、0.8065、0.7778、0.8182、0.6364、0.9000。其次，将所述可解释深度 学习模型中每个阶段的注意力矩阵、四个阶段对应尺度特征对pCR预测结果的贡献程度 、、、作为深度学习模型pCR预测的可解释输出。与现有的其他卷积网络模型的预测相 比，采用本方法不仅保障了深度学习模型预测的准确性，还提高了深度学习模型预测的可 解释性与透明度。

步骤S3中的步骤为：

S31、模型预测测试与可解释输出；

S31中，将乳腺癌患者DCE-MRI所述预处理后图像输入所述可解释深度学习预测模 型中，所述预测模型输出乳腺患者新辅助化疗pCR的情况、四个阶段输入特征的注意力矩阵及四个阶段对应尺度特征对pCR预测结果的贡献程度为、、、。 其中，所述注意力 矩阵中的每一个值代表输入图像某个区域对应特征的贡献度，且注意力矩阵中的每一 个值代表的区域不相交，每个值的大小在-1到1之间，如果值在-1与0之间，代表对应区域的 特征对pCR预测负贡献，如果值为0，代表对应区域的特征对pCR预测无相关，如果值为0与1 之间，代表对应区域的特征对pCR预测正相关；其次，所述、、、的值在0与1之间，对 应的值越大，表示对应四个阶段中对应阶段对pCR预测结果的贡献越大。通过如此，实现可 解深度学习预测模型的可解释输出，从而达到自解释的结果。

如图3所示，本发明的基于可解释的乳腺癌新辅助化疗pCR预测系统

本实施例是针对实施例1的预测方法提供了一种系统，其包括：

输入模块，用于获取乳腺癌患者的DCE-MRI影像数据，并输入预处理模块；

预处理模块，用于所述对输入的DCE-MRI影像进行预处理，得到pCR预测模型的输入数据；

预测模块，用于所述的乳腺癌新辅助化疗pCR预测方法得到pCR 的预测结果与可解释分析结果；

输出模块，用于输出最终的乳腺癌新辅助化疗pCR预测结果及可解释分析结果。

通过上述实施例可以看出，本发明构建了基于可解释深度学习pCR预测模型，不仅保障pCR预测结果的准确性，同时实现基于皮尔逊相似度获取输入特征不同位置对pCR预测结果的贡献度，为深度学习模型提供了一种自解释方式，进而提高深度学习模型的透明度；其次，本发明基于注意力机制构建了多尺度特征的融合方式，实现pCR预测结果在不同尺度特征下的注意力权重，为深度学习模型的pCR预测结果提供一种不同尺度的贡献度解释；最后，本发明提供了一个基于可解释深度学习的乳腺癌新辅助化疗的pCR预测系统，实现新辅助化疗的pCR准确预测，同时输出pCR预测的可解释分析结果，本发明不仅保障了深度学习模型预测的准确性，还提高了深度学习模型预测的可解释性与透明度。

以上对本申请实施例所提供的一种基于可解释的乳腺癌新辅助化疗pCR预测方法及系统，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。

Claims (10)

1.一种基于可解释的乳腺癌新辅助化疗pCR预测方法，其特征在于，该预测方法包括以下步骤：

S1）获取乳腺癌DCE-MRI影像数据，并对获取的影像数据进行预处理，得到肿瘤感兴趣区域的图像数据；

S2）构建可解释深度学习模型，并将S1）得到肿瘤感兴趣区域的图像数据输入到所述可解释深度学习模型中，即得到新辅助化疗pCR预测；

S3）获取可解释深度学习模型中注意力机制的注意力权重对特征提取进行可解释分析，得到所述深度学习模型的自解释结果，即完成预测。

2.根据权利要求1所述的预测方法，其特征在于，所述S1）中所述的乳腺癌DCE-MRI影像包括：对比增强前的MRI扫描影像、对比增强后的第一次扫描MRI影像/>和对比增强后的第二次扫描MRI影像/>。

3.根据权利要求2所述的预测方法，其特征在于，所述S1）的具体步骤为：

S1.1）获取乳腺癌DCE-MRI影像数据，将获取的乳腺癌DCE-MRI影像数据并重采样，即得到像素大小为的图像/>；

S1.2）将S1.1)得到的图像垂直轴的居中层进行切片，即得到图像/>；

S1.3）采用最大-最小值归一化方法对S1.2）得到的图像进行归一化处理；

S1.4）将经过S1.3）处理后分别得到所述MRI图像、MRI图像/>和MRI图像/>对应的图像，并将所得三张图像/>进行拼接，拼接为3通道的输入图像/>，即为肿瘤感兴趣区域的图像数据。

4.根据权利要求3所述的预测方法，其特征在于，所述S2）中所述可解释深度学习模型包括：编码模块、四个阶段的可解释特征提取模块和pCR预测模块；

其中，所述四个阶段的可解释特征提取模块中，第一个阶段的可解释特征提取模块由可解释特征感知块组成，第二到第四阶段的特征提取模块中，依次由下采样层与可解释特征感知块串联组成，同时，四个阶段的特征提取模块也是串联关系，即上一个阶段的输出是下一个阶段的输入；

所述可解释特征感知块依次包括多层感知器、皮尔逊注意力机制单元与残差连接单元。

5.根据权利要求4所述的预测方法，其特征在于，所述S2）的具体步骤为：

S2.1）将S1.4）得到的输入图像编码模块进行编码处理,即得到输入图像的编码特征且作为第一阶段特征提取器的特征/>；

S2.2）将S2.1）得到的特征输入到串联的四个阶段的可解释特征提取模块中，每个阶段的可解释特征提取模块均输出一个“Class Token”向量，即/>，，/>和/>；

S2.3）将S2.2）得到的，/>，/>和/>通过pCR预测模块融合为一个，再将/>通过全连接层与Sigmoid激活函数得到新辅助化疗pCR预测结果。

6.根据权利要求5所述的预测方法，其特征在于，所述S2.1）的具体步骤为：所述编码模块将每张输入图像切分为/>不相交的256个图像块，且每个图像块均展成的向量；通过线性映射层将所述/>的向量映射为/>的向量；将每一个所述的的向量均加上大小相同且可学习的位置编码向量，得到所述输入图像/>的编码特征且作为特征提取器的特征/>。

7.根据权利要求6所述的预测方法，其特征在于，所述S2.2）中的四个阶段的可解释特征提取模块中可解释特征感知块的操作步骤相同，且第一阶段可解释特征提取模块的输入是S2.1）得到的特征，第二到第四阶段可解释特征感知块的输入来源于各自阶段里下采样层的输出，将每个阶段的输入首先输入到每个阶段可解释特征感知块的多层感知器中，并通过残差连接操作，获取所述多层感知器输出特征/>，其次，每个阶段可解释特征感知块里皮尔逊注意力机制单元的具体步骤具体为：

将特征映射到三个子空间/>、/>、/>中，得到每个子空间的特征/>、/>、/>，且/>、/>、/>与映射前的特征/>的大小一致，为/>，/>个一维向量，其中，/>在所述的四个阶段里的值分别为256、64、16、4；

利用皮尔逊注意力机制单元相似度计算所述子空间的特征中/>个一维向量与子空间的特征/>与中/>个一维向量之间的相似度，得到特征/>的自注意力矩阵/>；

利用皮尔逊注意力机制单元相似度计算“Class Token”向量与子空间的特征中/>个向量的相似度，得到特征/>中/>个一维向量的注意力矩阵/>；

将得到的自注意力矩阵与子空间的特征/>进行矩阵相乘，得到特征/>的更新值；

再将得到的注意力矩阵与所述更新值/>进行矩阵相乘，以更新“Class Token”向量，得到所述每个阶段可解释特征提取模块的最终输出的“Class Token”向量，即/>，，/>与/>；

所述第二阶段到第四阶段里可解释特征提取模块中的下采样层是采用特征重组与线性映射将输入特征尺度缩小为原来的0.25倍，且所述四个阶段的图像特征尺度分别为：、/>、/>与/>；其次，所述“Class Token”向量是定义的一个可学习的一维向量，大小为/>。

8.根据权利要求7所述的预测方法，其特征在于，所述S2.3）中，所述四个阶段的可解释特征提取模块输出的“Class Token”向量通过pCR预测模块里注意力机制进行融合，融合机制具体为：

；

式中：、/>、/>、/>为通过所述四个阶段“Class Token”的各自均值通过Softmax函数得到的注意力值，且满足 />。

9.根据权利要求8所述的预测方法，其特征在于，所述S3）中所述可解释分析具体步骤包括：

S3.1）获取所述四个阶段里每个阶段可解释特征提取模块中的所述注意力矩阵，即为每个阶段下输入特征中不同位置的特征对可解释pCR预测结果的贡献度；

S3.2）获取所述pCR预测模块中的、/>、/>、/>值，即为所述四个阶段对应尺度特征对pCR预测结果的贡献程度；

S3.3）输出所述每个阶段的注意力矩阵与所述/>、/>、/>、/>注意力值，即为所述深度学习模型的自解释结果。

10.一种实现如权利要求1-9任意一项所述的预测方法的系统，其特征在于，所述系统包括：

输入模块，用于获取乳腺癌患者的DCE-MRI影像数据，并输入预处理模块；

预处理模块，用于对输入的DCE-MRI影像数据进行预处理，得到输入数据；

预测模块，用于构建可解释深度学习模型，并根据输入数据进行预测，得到pCR 的预测结果与可解释分析结果；

输出模块，用于输出最终的乳腺癌新辅助化疗pCR预测结果及可解释分析结果。