CN117038004A - 乳腺癌her2状态预测方法和靶向药治疗反应预测方法 - Google Patents

乳腺癌her2状态预测方法和靶向药治疗反应预测方法 Download PDF

Info

Publication number
CN117038004A
CN117038004A CN202311006128.4A CN202311006128A CN117038004A CN 117038004 A CN117038004 A CN 117038004A CN 202311006128 A CN202311006128 A CN 202311006128A CN 117038004 A CN117038004 A CN 117038004A
Authority
CN
China
Prior art keywords
image
her2
class
classification
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311006128.4A
Other languages
English (en)
Inventor
杨蓓
李晓宇
化迎晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202311006128.4A priority Critical patent/CN117038004A/zh
Publication of CN117038004A publication Critical patent/CN117038004A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Abstract

本发明属于智慧医疗技术领域，具体涉及一种乳腺癌HER2状态预测方法和靶向药治疗反应预测方法。设计了一个深度学习模型框架，该模型通过对乳腺癌数字病理图像的智能分析，为每个类别自动学习唯一的类代理，在分类决策时，通过度量病理图像的特征嵌入表示与每个类代理之间的相似度便可实现对患者HER2蛋白质表达状态(阳性/阴性)的判别，以及HER2阳性患者对于曲妥珠单抗±帕妥珠单抗靶向药物治疗反应的预测。而且，该模型无需病理专家为全玻片病理图像做详尽的像素级标注，也无需为切分的每个图像块做标注，减轻了对病理专家详尽标注病理图像的过度依赖性。

Description

乳腺癌HER2状态预测方法和靶向药治疗反应预测方法
技术领域
本发明属于智慧医疗技术领域，具体涉及一种乳腺癌HER2状态预测方法和靶向药治疗反应预测方法。
背景技术
乳腺癌是一种发生率和死亡率较高的病症，往往通过多种致癌因子提高基因突变的可能性，从而导致细胞增殖失控。HER2是在人类乳腺癌中高度表达的一种蛋白质，当HER2的表达超过正常水平，称之为HER2阳性。HER2阳性乳腺癌与HER2阴性乳腺癌相比，具有更高的增殖率和更不良的预后。因此，准确判断HER2的状态对乳腺癌患者的治疗和预后具有重要意义。
测定HER2状态有许多方法，包括免疫组化(IHC)、原位杂交(ISH)和PCR等。其中，免疫组化是临床实践中判断HER2阴性/阳性状态常用的方法。HER2免疫组化技术的标准，是以荧光原位杂交(FISH)或银染ISH作为对照的。这些技术可以对HER2基因的倍数和拷贝数进行定量，从而确定其状态。如果HER2基因的拷贝数比正常倍数高(通常是大于等于2.2拷贝)并且表达量高(3+，即膜染色强度非常明显)，则被认为是HER2阳性；如果HER2基因的拷贝数比正常倍数低(通常是小于等于1.8拷贝)并且表达量低(0-1+，即几乎没有膜染色)，则被认为是HER2阴性。但是，实际应用中，由于样本的质量、抗体的特异性、IHC技术的差异等因素，IHC结果的准确性不尽相同，造成识别结果不准。
癌症患者HER2的阳性/阴性状态不同，临床治疗决策也不同。例如，对于HER2阳性患者，曲妥珠单抗±帕妥珠单抗(HP)双靶治疗方案针对不同的患者被采纳。有研究发现，在HER2阳性患者中近30％的患者通过曲妥珠单抗联合帕妥珠单抗(HP)双靶治疗后就可达到pCR(完全缓解)，但部分患者进行相应治疗后仍有病情进展，需调整治疗方案进一步治疗。在实际的临床医疗中，会存在曲妥珠单抗±帕妥珠单抗(HP)治疗对某些HER2阳性患者无效的情况，这使得患者不但承受巨大的财务负担，更重要的是治疗药物对患者会造成二次伤害，同时因延误有效的治疗时间而可能导致癌细胞在原始基础上的进一步增殖和扩散，从而给患者带来更坏的预后。
早期疗效评估及后续治疗策略的制订是当前实施新辅助治疗的一个重要目的，即通过新辅助治疗进行体内药敏研究，在全疗程新辅助治疗后筛选出未完全缓解(non-pCR)的患者予以辅助强化治疗，从而改善患者的整体预后。然而医学专家对于如何准确预测全疗程新辅助治疗后的pCR还未形成共识。
发明内容
本发明的目的在于提供一种乳腺癌HER2状态预测方法，用以解决采用现有技术中的方法进行HER2阳性/阴性状态识别造成的识别不准的问题，本发明的目的在于还提供了一种靶向药治疗反应预测方法，用以解决直接对患者采用靶向药的治疗方案，由于治疗方案无效造成的对患者二次伤害和患者治疗费用较高的问题。
为解决上述技术问题，本发明提供了一种面向数字病理图像的乳腺癌HER2状态预测方法，包括如下步骤：
1)构建分类预测模型，所述分类预测模型包括特征嵌入和类代理；所述特征嵌入包括预处理模块、特征提取模块、投影模块和门控注意力模块，所述预处理模块用于识别输入图像中的组织区域并将提取的组织区域切分为多个图像块，所述特征提取模块用于每个图像块的特征，所述投影模块用于将多尺度特征投影为d维单位超球体中的单位向量，所述门控注意力模块用于将投影模块输出的所有单位向量进行融合处理，生成特征嵌入表示；所述类代理用于为每一个HER2状态分类类别学习一个特征向量，并称为类代理，以及在预测时，通过度量待分类的病理图像的特征嵌入表示与每个类代理之间的相似度以得到分类结果，分类类别包括HER2阳性和HER2阴性；
2)利用关于乳腺癌HER2状态的病理图像数据集对构建的分类预测模型进行训练，利用训练后的分类预测模型对待分类的病理图像进行HER2状态分类预测。
上述技术方案的有益效果为：本发明设计一种基于类代理的弱监督多示例学习模型，即分类预测模型，该分类预测模型为每个类别自动学习唯一的类代理，在分类决策时，通过度量病理图像的特征嵌入表示与每个类代理之间的相似度便可实现HER2状态的精确预测。而且，该模型无需病理专家为全玻片病理图像做详尽的像素级(pixel-level)标注，也无需为切分的每个图像块做标注，减轻了对病理专家详尽标注病理图像的过度依赖性，解决了病理图像的极端尺寸而导致大部分典型的深度学习算法无法直接训练的问题，并在公开病理数据集上验证了所提出模型的优越性。
进一步地，所述特征提取模块提取的特征为多尺度特征，包括基干网络，且基干网络为resnet101网络，将resnet101网络中STAGE3和STAGE4两个阶段提取的特征进行拼接处理作为输出的多尺度特征。
上述技术方案的有益效果为：融合多尺度特征来表示图像块，解决了不同尺度下示例特征的差异和局限性，实现特征之间的信息互补，丰富了示例的特征表示。
进一步地，所述投影模块包括批量标准化操作、微调层和L2标准化操作，所述批量标准化操作用于对输入进行批量标准化处理得到特征矩阵，所述微调层用于利用权重矩阵将特征矩阵投影到d维空间中得到投影矩阵，所述L2标准化操作用于对微调层的输出进行L2标准化处理得到标准化矩阵，标准化矩阵中的每一行均为一个单位向量。
进一步地，所述门控注意力模块包括三个注意力层，三个注意力层分别被三个权重矩阵Va、Ua和Wa参数化，用于为每个单位向量分配权重，并对分别的权重进行dropout操作得到每个单位向量对应的注意力分数，进而利用每个单位向量对应的注意力分数对每个单位向量进行加权求和，以实现所述融合处理。
进一步地，训练分类预测模型时所使用的损失函数为：
其中，Loss′表示总损失值；Loss表示AM-softmax损失值；C表示分类的类别数目；Yi表示类标签；sc表示病理图像属于类别c的概率；表示病理图像属于类别Yi的概率；ε表示用于防止模型过拟合的超参数，0<ε<1；μ和τ分别表示用于表示不同类别分类边界处的分隔的超参数和用于为分类良好的样本产生更高的梯度的超参数。
上述技术方案的有益效果为：首先，在softmax损失函数的基础上，通过在类与类之间的分类边界处增加一定的可加性间隔来约束不同类别样本在特征空间中的分布，即AM-softmax损失函数，其次，在损失函数AM-softmax中引入标签平滑操作，可以增强模型的泛化性。
进一步地，所述相似度为余弦相似度。
进一步地，所述预处理模块用于采用如下方法识别输入图像中的组织区域：首先将输入图像由RGB图像转为HSV色彩空间，进而针对HSV色彩空间的饱和度通道，采用大津法计算背景区域和组织区域的分割阈值，根据该分割阈值对输入图像中的组织区域进行加深；然后采用canny算子进行组织边缘检测。
上述技术方案的有益效果为：将Canny算子和大津法相结合，可以防止出现仅利用Canny算子检测时出现较弱的边缘检测不出来的现象以及仅利用大津法出现的检测不全的现象。
进一步地，采用canny算子进行组织边缘检测后，还需进行均值滤波和删除小区域连通区域。
上述技术方案的有益效果为：可以有效去除噪声影响。
进一步地，一个图像块中的组织面积大于该图像块面积的设定倍数，所述倍数的取值范围为70％～90％。
为解决上述技术问题，本发明还提供了一种靶向药治疗反应预测方法，包括如下步骤：
1)构建分类预测模型，所述分类预测模型包括特征嵌入和类代理；所述特征嵌入包括预处理模块、特征提取模块、投影模块和门控注意力模块，所述预处理模块用于识别输入图像中的组织区域并将提取的组织区域切分为多个图像块，所述特征提取模块用于每个图像块的特征，所述投影模块用于将多尺度特征投影为d维单位超球体中的单位向量，所述门控注意力模块用于将投影模块输出的所有单位向量进行融合处理，生成特征嵌入表示；所述类代理用于为每一个状态分类类别学习一个特征向量，并称为类代理，以及在预测时，通过度量待分类的病理图像的特征嵌入表示与每个类代理之间的相似度以得到分类结果；
2)利用关于靶向药反应预测的HER2阳性病理图像数据集对构建的分类预测模型进行训练，得到训练后的靶向药反应分类预测模型，分类类别包括完全缓解和非完全缓解；利用训练后的靶向药反应分类预测模型对待分类的HER2阳性病理图像进行靶向药反应分类预测。
上述技术方案的有益效果为：设计一种基于类代理的弱监督多示例学习模型，即靶向药反应分类预测模型，该分类预测模型为每个类别自动学习唯一的类代理，在分类决策时，通过度量病理图像的特征嵌入表示与每个类代理之间的相似度便可实现靶向药反应的精确预测。而且，该模型无需病理专家为全玻片病理图像做详尽的像素级(pixel-level)标注，也无需为切分的每个图像块做标注，减轻了对病理专家详尽标注病理图像的过度依赖性。特别地，对于患者而言，预测药物治疗的有效性可以辅助医生对患者治疗方案的制定和调整，避免因对药物无效治疗而给患者身体带来的伤害，并有效减少不良治疗的费用支出。
进一步地，获取所述HER2阳性病理图像的手段为：利用乳腺癌HER2状态的病理图像数据集对构建的分类预测模型进行训练，得到训练后的HER2状态分类预测模型，分类类别包括HER2阳性和HER2阴性；利用训练后的HER2状态分类预测模型对待分类的病理图像进行HER2状态分类预测，得到HER2阳性病理图像。
上述技术方案的有益效果为：设计一种基于类代理的弱监督多示例学习模型，即HER2状态分类预测模型，该分类预测模型为每个类别自动学习唯一的类代理，在分类决策时，通过度量病理图像的特征嵌入表示与每个类代理之间的相似度便可实现HER2状态的精确预测。而且，该模型无需病理专家为全玻片病理图像做详尽的像素级(pixel-level)标注，也无需为切分的每个图像块做标注，减轻了对病理专家详尽标注病理图像的过度依赖性。
进一步地，所述特征提取模块提取的特征为多尺度特征，且基干网络为resnet101网络，将resnet101网络中STAGE3和STAGE4两个阶段提取的特征进行拼接处理作为输出的多尺度特征。
上述技术方案的有益效果为：融合多尺度特征来表示图像块，解决了不同尺度下示例特征的差异和局限性，实现特征之间的信息互补，丰富了示例的特征表示。
进一步地，所述投影模块包括批量标准化操作、微调层和L2标准化操作，所述批量标准化操作用于对输入进行批量标准化处理得到特征矩阵，所述微调层用于利用权重矩阵将特征矩阵投影到d维空间中得到投影矩阵，所述L2标准化操作用于对微调层的输出进行L2标准化处理得到标准化矩阵，标准化矩阵中的每一行均为一个单位向量。
进一步地，所述门控注意力模块包括三个注意力层，三个注意力层分别被三个权重矩阵Va、Ua和Wa参数化，用于为每个单位向量分配权重，并对分别的权重进行dropout操作得到每个单位向量对应的注意力分数，进而利用每个单位向量对应的注意力分数对每个单位向量进行加权求和，以实现所述融合处理。
进一步地，训练分类预测模型时所使用的损失函数为：
其中，Loss′表示总损失值；Loss表示AM-softmax损失值；C表示分类的类别数目；Yi表示类标签；sc表示病理图像属于类别c的概率；表示病理图像属于类别Yi的概率；ε表示用于防止模型过拟合的超参数，0<ε<1；μ和τ均表示超参数。
上述技术方案的有益效果为：首先，在softmax损失函数的基础上，通过在类与类之间的分类边界处增加一定的可加性间隔来约束不同类别样本在特征空间中的分布，即AM-softmax损失函数，其次，在损失函数AM-softmax中引入标签平滑操作，可以增强模型的泛化性。
进一步地，所述相似度为余弦相似度。
进一步地，所述预处理模块用于采用如下方法识别输入图像中的组织区域：首先将输入图像由RGB图像转为HSV色彩空间，进而针对HSV色彩空间的饱和度通道，采用大津法计算背景区域和组织区域的分割阈值，根据该分割阈值对输入图像中的组织区域进行加深；然后采用canny算子进行组织边缘检测。
上述技术方案的有益效果为：将Canny算子和大津法相结合，可以防止出现仅利用Canny算子检测时出现较弱的边缘检测不出来的现象以及仅利用大津法出现的检测不全的现象。
进一步地，采用canny算子进行组织边缘检测后，还需进行均值滤波和删除小区域连通区域。
上述技术方案的有益效果为：可以有效去除噪声影响。
进一步地，一个图像块中的组织面积大于该图像块面积的设定倍数，所述倍数的取值范围为70％～90％。
附图说明
图1是本发明的ProMIL的工作流程图；
图2是本发明的WSI嵌入的工作流程图；
图3(a)是原始的WSI示意图；
图3(b)是WSI掩码示意图；
图4是本发明的PM工作流程图；
图5是本发明的GAM工作流程图；
图6是类代理差异可视化图；
图7是损失函数的影响图；
图8(a)是HER2-Statues数据集中一幅有癌症标注的WSI的示意图；
图8(b)是图8(a)对应的注意力热图；
图8(c)是HER2-Statues数据集中另一幅有癌症标注的WSI的示意图；
图8(d)是图8(c)对应的注意力热图；
图8(e)是图8(b)和图8(d)的热力指引图。
具体实施方式
本发明设计了一个分类预测模型，采用的是基于深度学习的分类预测模型框架，是一种基于类代理的弱监督多示例学习系统模型ProMIL(Proxy based MultipleInstance Learning)，该模型可以对乳腺癌数字病理图像进行智能分析，实现对患者HER2蛋白质表达状态(阳性/阴性)的判别，以及HER2阳性患者对于曲妥珠单抗±帕妥珠单抗靶向药物治疗反应的预测。该模型在多示例框架中引入类代理的概念，除了为每张病理图像学习特征表示之外，还为每个类别学习唯一的类代理，在分类决策时，通过度量WSI图像特征与类代理之间的相似度实现智能诊断。而且，该模型无需病理专家为全玻片病理图像(WSI)做详尽的像素级(pixel-level)标注，也无需为切分的每个图像块(patch-level)做标注。
为了使本发明的目的、技术方案及优点更加清楚明了，以下结合附图及实施例，对本发明进行进一步详细说明。
一种面向数字病理图像的乳腺癌HER2状态预测方法的实施例：
本实施例是将ProMIL应用于乳腺癌HER2状态预测上来，以判别乳腺癌HER2阳性和阴性，其对应的处理流程如图1所示。在上分支中基于多示例学习获取WSI的特征嵌入表示，在下分支中基于度量学习为两个类别学习各自的类代理。针对WSI的预测在d维单位超球体中进行，WSI特征嵌入与类代理均表示为该特征空间的d维向量。在该空间中，不同的类代理之间相似度较低，各自指向不同的方向。预测时，计算WSI的特征嵌入表示与两个类代理之间的相似度，并将其与两个类代理的相似度值作为对最终待分类WSI的预测结果。
ProMIL上分支中WSI嵌入的工作流程如图2所示，共包含三个模块，分别是多尺度特征提取模块(Multi-scale Feature Extraction Module,MFEM)(也可简称为特征提取模块)、投影模块(Projection Module,PM)和门控注意力模块(Gated-Attention Module,GAM)。在将WSI嵌入为特征向量时，首先，通过数据预处理自动识别每张WSI中的组织区域，并将提取的组织区域切分为大小适合于后续训练或预测的图像块。随后，应用多尺度特征提取模块MFEM提取图像块的多尺度特征，使得每个图像块由高维像素映射为低维特征表示。然后，应用投影模块PM将图像块特征投影为d维单位超球体中的单位向量。最后，门控注意力模块GAM融合所有图像块向量得到最终的WSI特征嵌入表示。
在度量空间(d维单位超球体)中，ProMIL考虑三组对象，分别是类代理、WSI嵌入和图像块特征向量。在图像块被多尺度特征提取模块MFEM提取为示例特征之后，投影模块PM将示例特征投影为d维单位超球体中的单位向量。在单位超球体中，每个图像块特征均可表示为从圆心出发的单位向量，示例向量之间只存在方向上的差异。最后门控注意力模块GAM通过为每个示例的单位向量分配注意力权重融合得到WSI特征嵌入表示(简称为WSI嵌入)。由于在单位超球体中图像块特征是单位向量，所以本质上GAM聚合的是图像块特征向量的方向，并在训练过程中学习为不同的图像块特征向量赋予不同的权重。此时WSI特征嵌入表示与图像块特征向量均存在该度量空间中。
ProMIL下分支中，初始的类代理是在单位度量空间中随机生成的单位向量，在训练过程中，类代理、WSI嵌入和图像块特征向量三者的方向在度量空间中被不断地优化。其中投影模块PM以投影的方式优化图像块特征向量在度量空间中的方向，门控注意力模块GAM通过调整注意力权重的方式优化WSI嵌入的方向，类代理则通过与WSI嵌入的不断交互进行优化。最终在训练结束时，训练集中每个类别的WSI特征嵌入围绕在各自类代理的周围。特别地，在度量空间中本发明假设每个类代理都存在唯一一个确定的方向，并且不同类代理之间的差异应尽可能的大，正如图2中所展示的指向两个不同方向的类代理。在预测时，ProMIL通过在度量空间中计算待分类的WSI嵌入与类代理嵌入之间的距离实现WSI的分类。
下面基于上述介绍的ProMIL，对整个面向数字病理图像的乳腺癌HER2状态预测方法的实施流程进行详细介绍，且在介绍过程中会对ProMIL的具体细节进行详细介绍。
步骤一，构建分类预测模型，即ProMIL，该分类预测模型包括WSI特征嵌入和类代理，WSU特征嵌入包括预处理模块、多尺度特征提取模块、投影模块和门控注意力模块，下面对各模块进行详细介绍。
1、预处理模块。在一张病理图像中，只有部分区域是病理组织图像，其他是大片的空白背景，如图3(a)所示的白色区域。为了提高病理图像WSI的处理效率，首先需要将病理组织区域提取出来，利用Canny算子检测时会出现较弱的边缘检测不出来的情况，而大津法则出现检测不全的情况，因而本实施例采用将Canny算子和大津法相结合的图像分割方法，实现病理组织区域的提取，将二者结合可以获得更好的组织分割效果。因而预处理阶段流程包含两个阶段：(1)有效去除WSI中无意义的背景区域，以提取出组织区域。首先，将WSI读取到RGB图像转为HSV色彩空间，然后针对HSV色彩空间的饱和度通道，采用大津法计算背景区域和组织区域的分割阈值，并基于分割阈值，提取组织掩码，接着通过逻辑运算，将该掩膜取反并应用于原图，加深组织区域中值较低的区域；进而将得到的图像进行canny算子边缘检测；由于组织掩码中存在着大量微小空洞和微小组织区域，为剔除这些噪音，采取均值滤波进行平滑处理和高级形态学的删除小区域连通区域进行进一步去噪。最终得到的掩码如图3(b)所示。(2)采用滑动窗口的方式将提取出来的组织区域分割成大小合适的图像块。对于图像块的处理，只保留组织面积大于整个图像面积80％(该值为设定倍数，可在70％～90％范围内选择)的图像块。
2、特征提取模块。将一个包含多个示例(patches)的包(WSI)表示为 每个包都存在与之对应的唯一标签Yi。在多示例学习中，每张WSI被看作一个包，WSI中的图像块被看作包中的示例。考虑到不同的网络层可以提取不同抽象程度的图像特征，为了更全面地从图像块中提取特征从而得到图像特征更精确的表示，本发明设计了多尺度金字塔特征生成器PFG，为每一个图像块提取其特征表达。具体选择resnet101作为基干网络，在迁移ImageNet上的预训练参数后固定网络参数，将resnet101网络中STAGE3和STAGE4两个阶段分别记为S3和S4，基于这两个阶段提取ds3维和ds4维特征，分别如公式(1)和公式(2)所示，并通过融合不同深度的特征，以构造每个示例的多尺度金字塔特征ri,j，如公式(3)所示。
其中，fS3(·)和fS4(·)分别表示ResNet101中的STAGE3和STAGE4，提取的多尺度特征和/>的维度分别为ds3维和ds4维；concat表示不同尺度特征的拼接。每个示例xi,j由多尺度特征/>表示，其中dr表示融合后的特征维度；包Xi由特征矩阵/>表示，其中/>
3、投影模块。投影模块的目的是将示例特征ri,j投影为d维单位超球体中的单位向量h′i,j。如图4中展示的投影模块工作流程，包括批量标准化操作、微调层和L2标准化操作。首先，示例特征矩阵被BatchNorm1d操作沿着特征维度标准化为矩阵如公式(4)所示；随后被权重矩阵/>参数化的proj-Fc1投影特征矩阵到d维空间中，得到投影矩阵/>如公式(5)所示；最后沿着示例维度L2标准化投影矩阵Hi，得到标准化矩阵/>，该矩阵中每一行均为单位向量如公式(6)所示。此时，每个示例xi,j在d维单位超球体中都有唯一的向量h′i,j相对应，不同示例向量之间的差异只有方向的不同。
R′i＝BachNorm1d(Ri) (4)
H′i＝L2 Norm(Hi) (6)
其中，BachNorm1d表示批量标准化，BachNorm1d层的输出结果为 为权重矩阵，ReLU表示激活函数，微调层Proj-Fc1的输出结果为/>L2 Norm表示L2标准化，L2Norm层的输出结果为/>
4、门控注意力模块。采用门控注意力模块的目的是融合所有示例向量h′i,j，生成最终的WSI嵌入用于后续预测。如图5所示，门控注意力模块由Attn-Fc1、Attn-Fc2和Attn-Fc3三个layer组成，分别被三个权重矩阵和/>参数化，其中权重矩阵Va和Ua压缩示例向量h′i,j为k维。门控注意力模块被训练用于为每个示例分配权重，如为公式(7)所示，趋近某类代理的示例向量会被分配更高的权重，反之，远离某类代理的示例会被分配较低的权重。为了提高模型的鲁棒性，本发明对注意力权重使用了dropout操作，在每次迭代期间都会以一定的概率将注意力值ai,j设置为0，如公式(8)所示。
最后一个包的特征向量由融合操作符g得到，该操作符通过计算包Xi中所有示例向量h′i,j和注意力分数a′i,j的加权之和，融合得到包的特征表示，包的融合过程如公式(9)所示。
5、类代理。类代理的主要功能是为每一个类别学习一个特征向量。在训练时，类代理作为网络中的一部分参与训练，并在训练结束后固定。在预测时，通过度量WSI嵌入与每个类代理之间的相似度，将相似度值作为WSI的分类依据。在度量空间中，相同类别的样本应该保持相近的距离，基于该思想，ProMIL采用余弦相似度作为相似性度量函数，在度量空间中表现为相同类别样本之间的夹角更小，不同类别样本之间的夹角更大。因此，基于样本之间的余弦相似度，本发明提出一个假设：数据集中每个类别都存在唯一确定的代理，不同类别的代理之间保持较大的夹角间隔。为此，ProMIL的目标是为每个类别学习与之对应的类代理，并使用类代理预测WSI的类别。
对于包含C个类别的数据集，模型开始训练时，为每个类别随机初始化一个特征向量其中c表示类别。训练过程中，pc作为网络的一部分，参与网络的训练并被不断优化，直到训练结束，最后得到的类别向量被认定为类代理。WSI嵌入Gi与类代理pc之间的余弦相似度，如公式(10)所示。余弦相似度函数被选择作为度量函数是因为它能够为较小的向量夹角提供较大的值，因此，sc可以用来表示对WSI属于类别c的预测。在训练完成后，发现每个类代理之间的相似度极低，这也验证了该方法中构建类代理方法的可行性。
步骤二，获取关于乳腺癌HER2状态的病理图像数据集，并划分为训练集和测试集，对步骤一中构建的分类预测模型依次进行训练和测试，以得到训练完成的分类预测模型。
损失函数在训练过程中对优化类代理的特征表示起着关键性的作用，类代理与类代理之间的相似度大小将直接影响ProMIL对WSI特征的分类效果。因此，为获得类代理之间差异性的特征表达，模型在训练过程中使用如公式(12)所示的损失函数(而非大多数深度神经网络采用的交叉熵损失函数CrossEntropy)。首先，在softmax损失函数的基础上，通过在类与类之间的分类边界处增加一定的可加性间隔来约束不同类别样本在特征空间中的分布，即AM-softmax损失函数，如公式(11)所示。进而，为增强模型的泛化性，在损失函数AM-softmax中引入标签平滑操作，因此本发明中使用的损失函数如公式(12)所示。
其中，ε(0<ε<1)是一个超参数，可以防止模型的过拟合；μ和τ也是超参数，μ(μ≥0)表示不同类别分类边界处的间隔，τ(τ≥0)可以为分类良好的样本产生更高的梯度，加速模型的训练；Yi表示类标签；sc表示病理图像属于类别c的概率；表示病理图像属于类别Yi的概率。
步骤三，获取待分类的WSI，输入至利用步骤二得到的训练完成的分类预测模型，从而得到待分类的WSI对应的HER2状态分类预测结果，即为阴阳或者阳性。
一种靶向药治疗反应预测方法的实施例：
本实施例是将ProMIL应用于靶向药治疗反应预测上来，以判别患者反应为完全缓解还是非完全缓解。也就是说，用于靶向药治疗反应预测的ProMIL和用于乳腺癌HER2状态预测的ProMIL的网络框架结构是相同的，不同的是分类结果不同，用于乳腺癌HER2状态预测的ProMIL对应的分类结果为HER2阳性和HER2阴性，而用于靶向药治疗反应预测的ProMIL对应的分类结果为完全缓解和非完全缓解，相应使用的用于训练和测试的数据集也不同，用于乳腺癌HER2状态预测的ProMIL所使用的数据集为WSI病理图像集，加的标签为HER2阳性或者HER2阴性，用于靶向药治疗反应预测的ProMIL所使用的数据集为阳性的WSI病理图像集，加的标签为完全缓解或者非完全缓解。
由于在一种面向数字病理图像的乳腺癌HER2状态预测方法的实施例中对ProMIL的具体网络架构已做详细介绍，本实施例便不再过多阐述。下面对整个靶向药治疗反应预测方法的实施流程进行详细介绍。
步骤一，构建分类预测模型，即ProMIL。
步骤二，获取关于靶向药治疗反应状态的病理图像数据集，并划分为训练集和测试集，对步骤一中构建的分类预测模型依次进行训练和测试，以得到训练完成的靶向药反应分类预测模型。
步骤三，获取待分类的阳性WSI，输入至利用步骤二得到的训练完成的靶向药反应分类预测模型，从而得到待分类的阳性WSI对应的靶向药反应分类预测结果，即为完全缓解或者非完全缓解。
需说明的是，此处的待分类的阳性WSI可以为通过一种面向数字病理图像的乳腺癌HER2状态预测方法的实施例中介绍的方法得到的阳性WSI。
下面在HER2-Status和Trastuzumab response病理数据集上进行实验，以验证本发明所提出的ProMIL的可行性和准确性。
1)实验数据集。
①HER2-Status。HER2-Status是美国耶鲁大学医学院收集并整理的一个公开的关于乳腺癌HRE2状态的病理图像数据集(https://www.cancerimagingarchive.net/)。根据美国临床肿瘤学会/美国病理学家学会(ASCO/CAP)临床实践指南，免疫组织化学(IHC)评分为3+的病例被定义为HER2阳性。通过对耶鲁病理电子数据库的回顾性检索，该数据集包含188例HER2阳性/阴性浸润性乳腺癌样本，使用Aperio ScanScope Console(v10.2.0.2352)对组织样本进行扫描，采用20倍放大的亮场整片扫描(bright field whole slidesscanning at 20×magnification.)。该数据集在类分布上是基本均衡的，其中HER2阳性(Positive)包含93张WSI，HER2阴性(Negative)包含95张WSI。HER2-Status数据集中的阳性WSI均包含专业级的像素标注和图像水平的类别标签，但在本实验中并未使用这些细粒度的标注信息(像素水平的标注信息)。HER2-Status数据集的188张WSI在20倍分辨率下经过预处理，共生成约50万张图像块，平均每张WSI约生成2700张图像块。
②Trastuzumab response。Trastuzumab response数据集与HER2-Status数据集是密切相关的，该数据集中的样本来自85位HER2-Status阳性浸润性乳腺癌患者，这些患者在最终手术前接受曲妥珠单抗±帕妥珠单抗的新辅助靶向治疗。其中36位为完全病理反应者(Responder)，治疗后表现为无残留侵袭性、淋巴血管侵袭或转移癌，49为无反应者(Non-Responder)，治疗后表现为有任何数量的残留浸润癌、淋巴血管浸润癌或转移癌。预处理后，在20倍分辨率之下Trastuzumab response数据集总共约获得17万张图像块，平均每张WSI含有2100张图像块。
2)实验评价指标。模型评估是指通过一定的技术方法来衡量模型的具体性能，评价指标是评估模型性能的定量标准，在不同方法的对比中发挥了重要的作用。不同的指标反映出模型不同的性能，因此多个指标的评估才能得到更全面更客观的评估结果。本发明所使用的分类评价指标包括准确率(Accuracy)和AUC(ROC曲线下的面积)。这些指标的推导均来自混淆矩阵(Confusion Matrix)，如表1所示。
表1混淆矩阵
①准确率是指在所有预测结果中，预测正确的样本数量占总样本数量的百分比。具体的计算过程如公式(13)所示。
②AUC(Area Under Curve)是指ROC曲线下的面积，其中ROC曲线的横坐标为假阳率(False Positive Rate,FPR)，纵坐标为真阳率(True Positive Rate,TPR)，假阳率是指预测出假阳性样本占所有真阴性样本的百分比，具体的计算过程如公式(14)所示，真阳率是指预测出真阳性样本占所有真阳性样本的百分比，具体的计算过程如公式(15)所示。
其中，AUC值的取值范围在0到1之间，AUC越接近1，表明模型的性能越好。
3)实验设置。在训练阶段，本发明采用Ranger优化器，以恒定学习率为1e-1和恒定权重衰减为1e-5更新网络权重，整个模型的训练周期为300，每次迭代训练批量的大小为16。在MFEM中，ds3和ds4分别设定为1024和2048。生成的示例特征dr的维度为3072。在PM中，dp设定为1536。在GAM中da设定为128，pd值为0.35。在损失函数中μ设置为0.4，τ设置为64，ε设置为0.1。实验采用5折交叉验证，每个实验重复5次，每次交叉验证中划分的类别比例基本保持不变。所有实验的性能指标均为五次实验的平均值，并基于bootstrap算法迭代1000次估计95％的置信区间。
4)实验结果。
①在HER2-Status和Trastuzumab response上的实验结果与分析。ProMIL与借助于像素水平的标注的有监督方法进行对比。Farahmand等人提出了一种基于示例训练的包分类方法，其中根据有/无借助像素水平的标注信息将包的分类方式分为两种：有标注分类方法(Annotated)和无标注分类方法(Unannotated)。对于无标注的分类方法，每个包中示例的标签是未知的，每个示例根据包的标签被赋予一个伪标签，并训练Inception v3网络学习示例的伪标签信息。测试时，包的预测分数是通过平均所有示例的预测分数得到的。对于有标注分类方式，示例的标签是已知的，同样基于标注信息训练一个Inception v3网络，并平均一个包中所有示例的预测分数得到包的预测分数。在HER2-Status数据集以及Trastuzumab response数据集上的实验结果如表2所示。
表2在HER2-Status和Trastuzumab response上的实验结果
Farahmand等人虽然证明基于手动标注的癌症区域有助于提高癌症分类的准确率，但这种方法过度依赖专业病理医生，并不适合在其他癌症上泛化。相比之下，在不使用像素水平标注信息的前提下，ProMIL方法在HER2-Status数据集上获得了94.89％(95％CI，0.9345-0.9622)的准确率和0.9614(95％ CI，0.9464-0.9759)的最高AUC，在Trastuzumab response数据集上获得了91.76％(95％ CI，0.8894-0.9482)准确率和0.921(95％ CI，0.8838-0.9564)的最高AUC。与unannotated方法相比，ProMIL在HER2-Status数据集和Trastuzumab response数据集上AUC分别高出0.1414和0.241；与annotated的方法ProMIL在上述两个数据集上AUC分别高出0.0614和0.121。
②类代理差异可视化。为体现类代理之间的差异性，本发明对HER2-Status和Trastuzumab response两个数据集中类代理之间的余弦相似度进行可视化，可视化结果如图6所示，其中，黄色表示高相似度(余弦值为1)，相反蓝色表示低相似度(余弦值为-1)。类代理之间的余弦相似度由类代理向量之间的余弦夹角决定，角度越大，则余弦值越低。图6中可以明显观察到，在HER2-Status和Trastuzumab response数据集中类代理之间相似度都较低(余弦值<0)，表明类代理之间具有较大的距离，这与本发明提出的类代理之间相似性应尽可能小的目标相一致，进一步验证了本发明设计的类代理构建方法的可行性和有效性。
③损失函数的影响。相比于传统分类任务中常用的交叉熵损失函数(CrossEntropy)，本发明方法ProMIL中的损失函数如公式(12)所示，是一个更关注类间差异的损失函数，更能为模型带来性能上的优势。为验证这一点，本发明在HER2-Status和Trastuzumab Response两个病理数据集上进行实验，以准确率为评估指标，评估两种损失函数对ProMIL性能的影响。实验结果的对比如图7所示，其中CrosssEntropy表示交叉熵损失函数，ours表示本发明使用的损失函数，如公式(12)所示。注意，不同损失函数的实验是在相同的环境下进行的，除损失函数外，其他的超参数均相同。如图7所示的对比结果，相比于交叉熵损失函数，ProMIL的损失函数在六个数据集上均有效地提高了网络的分类性能，特别是在HER2-Status数据集上准确率提高了4.84％，在Trastuzumab Response上提高了3.53％。
④模型可解释性。此处通过可视化注意力权重来展示ProMIL的可解释性。通过将每个包中所有示例的注意力得分转换为0.0(低注意力)和1.0(高注意力)之间的标准化百分位数得分，表明每个示例对包分类预测的重要性。在HER2-Status数据集上，从每个数据集中选择两张包含癌症区域的WSI。HER2-Status中的WSI癌症标注由Farahmand等人提供如图8(a)和图8(c)中所示的蓝色曲线，图8(b)和图8(d)为ProMIL对WSI注意力得分的可视化展示，其中红色代表与预测最为相关，反之蓝色最不相关。图8(e)为图8(b)和图8(d)的热力指引图。
图8(a)～图8(d)展示了ProMIL在大面积或小面积病灶区域上预测结果的注意力热图，可以观察到，模型高注意力关注的区域与实际病理医生标注的区域基本一致，这为本发明模型的可行性提供了现实依据。因此可以预期，本发明的模型通过可视化注意力得分显示的高可疑区域有望作为诊断的重要提示信息。
综上，本发明设计了一种基于深度神经网络的病理图像分析方法并实现了一个乳腺癌HER2状态预测方法及曲妥珠单抗药物治疗反应预测方法，该方法结合度量学习和多示例学习用于实现对WSI图像的分类，具有如下特点：
1)本发明不同于有监督和半监督的分类方法，无需病理专家为全玻片病理图像(WSI)做详尽的像素级(pixel-level)标注，也无需为切分的每个图像块(patch-level)做标注。本方法可自动提取病理图像WSI中的病理组织区域，并根据系统模型需求自动切分WSI为大小合适的图像块，而无需人工处理。
2)本发明通过在多示例框架中引入类代理的概念，除了为每张病理图像学习特征表示之外，还为每个类别自动学习唯一的类代理。而且，本发明还提出了融合多尺度特征来表示示例(即图像块)的方案，解决了不同尺度下示例特征的差异和局限性，实现特征之间的信息互补，丰富了示例的特征表示。
3)本发明设计了基于注意力机制的图像块聚合方法，将一张WSI切分的成千上万个图像块通过不同的权重聚合，以获取整张WSI的嵌入特征表示；进而通过度量该WSI的特征表示与每个类别的类代理之间的距离来实现分类。本发明设计的基于类代理度量学习的弱监督多示例学习模型(ProMIL)，可以在仅有WSI图像标签而无图像块级和像素级标注的病理图像上训练并分类，解决了病理图像的极端尺寸而导致大部分典型的深度学习算法无法直接训练的问题，并在公开病理数据集上验证所提出模型的优越性。
4)本发明所设计的模型仅利用乳腺癌病理图像级(slide-level)标签信息(HER2阳性或者阴性)以及针对HER2阳性图像提供相应的药物反应信息即可实现对乳腺癌病理图像HER2状态的诊断以及HER2阳性患者使用曲妥珠单抗±帕妥珠单抗药物是否达到完全缓解(pCR)的预测。
5)本发明对于深度学习模型的开发而言，减轻了对病理专家详尽标注病理图像的过度依赖性；另一方面对于患者而言，预测药物治疗的有效性可以辅助医生对患者治疗方案的制定和调整，避免因对药物无效治疗而给患者身体带来的伤害，并有效减少不良治疗的费用支出。
6)本发明学习成本低，仅仅利用病理图像和药物两个关联因素即可实现乳腺癌HER2阳性和阴性的智能诊断，以及HER2阳性患者的曲妥珠单抗±帕妥珠单抗药物治疗反应预测。
以上给出了具体的实施方式，但本发明不局限于所描述的实施方式。本发明的基本思路在于上述基本方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围。

Claims (19)

1.一种乳腺癌HER2状态预测方法，其特征在于，包括如下步骤：
1)构建分类预测模型，所述分类预测模型包括特征嵌入和类代理；
所述特征嵌入包括预处理模块、特征提取模块、投影模块和门控注意力模块，所述预处理模块用于识别输入图像中的组织区域并将提取的组织区域切分为多个图像块，所述特征提取模块用于每个图像块的特征，所述投影模块用于将多尺度特征投影为d维单位超球体中的单位向量，所述门控注意力模块用于将投影模块输出的所有单位向量进行融合处理，生成特征嵌入表示；
所述类代理用于为每一个HER2状态分类类别学习一个特征向量，并称为类代理，以及在预测时，通过度量待分类的病理图像的特征嵌入表示与每个类代理之间的相似度以得到分类结果，分类类别包括HER2阳性和HER2阴性；
2)利用关于乳腺癌HER2状态的病理图像数据集对构建的分类预测模型进行训练，利用训练后的分类预测模型对待分类的病理图像进行HER2状态分类预测。
2.根据权利要求1所述的乳腺癌HER2状态预测方法，其特征在于，所述特征提取模块提取的特征为多尺度特征，且基干网络为resnet101网络，将resnet101网络中STAGE3和STAGE4两个阶段提取的特征进行拼接处理作为输出的多尺度特征。
3.根据权利要求1所述的乳腺癌HER2状态预测方法，其特征在于，所述投影模块包括批量标准化操作、微调层和L2标准化操作，所述批量标准化操作用于对输入进行批量标准化处理得到特征矩阵，所述微调层用于利用权重矩阵将特征矩阵投影到d维空间中得到投影矩阵，所述L2标准化操作用于对微调层的输出进行L2标准化处理得到标准化矩阵，标准化矩阵中的每一行均为一个单位向量。
4.根据权利要求1所述的乳腺癌HER2状态预测方法，其特征在于，所述门控注意力模块包括三个注意力层，三个注意力层分别被三个权重矩阵Va、Ua和Wa参数化，用于为每个单位向量分配权重，并对分别的权重进行dropout操作得到每个单位向量对应的注意力分数，进而利用每个单位向量对应的注意力分数对每个单位向量进行加权求和，以实现所述融合处理。
5.根据权利要求1～4任一项所述的乳腺癌HER2状态预测方法，其特征在于，训练分类预测模型时所使用的损失函数为：
其中，Loss′表示总损失值；Loss表示AM-softmax损失值；C表示分类的类别数目；Yi表示类标签；sc表示病理图像属于类别c的概率；表示病理图像属于类别Yi的概率；ε表示用于防止模型过拟合的超参数，0<ε<1；μ和τ分别表示用于表示不同类别分类边界处的分隔的超参数和用于为分类良好的样本产生更高的梯度的超参数。
6.根据权利要求1～4任一项所述的乳腺癌HER2状态预测方法，其特征在于，所述相似度为余弦相似度。
7.根据权利要求1～4任一项所述的乳腺癌HER2状态预测方法，其特征在于，所述预处理模块用于采用如下方法识别输入图像中的组织区域：首先将输入图像由RGB图像转为HSV色彩空间，进而针对HSV色彩空间的饱和度通道，采用大津法计算背景区域和组织区域的分割阈值，根据该分割阈值对输入图像中的组织区域进行加深；然后采用canny算子进行组织边缘检测。
8.根据权利要求7所述的乳腺癌HER2状态预测方法，其特征在于，采用canny算子进行组织边缘检测后，还需进行均值滤波和删除小区域连通区域。
9.根据权利要求1～4任一项所述的乳腺癌HER2状态预测方法，其特征在于，一个图像块中的组织面积大于该图像块面积的设定倍数，所述倍数的取值范围为70％～90％。
10.一种靶向药治疗反应预测方法，其特征在于，包括如下步骤：
1)构建分类预测模型，所述分类预测模型包括特征嵌入和类代理；
所述特征嵌入包括预处理模块、特征提取模块、投影模块和门控注意力模块，所述预处理模块用于识别输入图像中的组织区域并将提取的组织区域切分为多个图像块，所述特征提取模块用于每个图像块的特征，所述投影模块用于将多尺度特征投影为d维单位超球体中的单位向量，所述门控注意力模块用于将投影模块输出的所有单位向量进行融合处理，生成特征嵌入表示；
所述类代理用于为每一个状态分类类别学习一个特征向量，并称为类代理，以及在预测时，通过度量待分类的病理图像的特征嵌入表示与每个类代理之间的相似度以得到分类结果；
2)利用关于靶向药反应预测的HER2阳性病理图像数据集对构建的分类预测模型进行训练，得到训练后的靶向药反应分类预测模型，分类类别包括完全缓解和非完全缓解；利用训练后的靶向药反应分类预测模型对待分类的HER2阳性病理图像进行靶向药反应分类预测。
11.根据权利要求10所述的靶向药治疗反应预测方法，其特征在于，获取所述HER2阳性病理图像的手段为：利用乳腺癌HER2状态的病理图像数据集对构建的分类预测模型进行训练，得到训练后的HER2状态分类预测模型，分类类别包括HER2阳性和HER2阴性；利用训练后的HER2状态分类预测模型对待分类的病理图像进行HER2状态分类预测，得到HER2阳性病理图像。
12.根据权利要求10或11所述的靶向药治疗反应预测方法，其特征在于，所述特征提取模块提取的特征为多尺度特征，且基干网络为resnet101网络，将resnet101网络中STAGE3和STAGE4两个阶段提取的特征进行拼接处理作为输出的多尺度特征。
13.根据权利要求10或11所述的靶向药治疗反应预测方法，其特征在于，所述投影模块包括批量标准化操作、微调层和L2标准化操作，所述批量标准化操作用于对输入进行批量标准化处理得到特征矩阵，所述微调层用于利用权重矩阵将特征矩阵投影到d维空间中得到投影矩阵，所述L2标准化操作用于对微调层的输出进行L2标准化处理得到标准化矩阵，标准化矩阵中的每一行均为一个单位向量。
14.根据权利要求10或11所述的靶向药治疗反应预测方法，其特征在于，所述门控注意力模块包括三个注意力层，三个注意力层分别被三个权重矩阵Va、Ua和Wa参数化，用于为每个单位向量分配权重，并对分别的权重进行dropout操作得到每个单位向量对应的注意力分数，进而利用每个单位向量对应的注意力分数对每个单位向量进行加权求和，以实现所述融合处理。
15.根据权利要求10或11所述的靶向药治疗反应预测方法，其特征在于，训练分类预测模型时所使用的损失函数为：
其中，Loss′表示总损失值；Loss表示AM-softmax损失值；C表示分类的类别数目；Yi表示类标签；sc表示病理图像属于类别c的概率；表示病理图像属于类别Yi的概率；ε表示用于防止模型过拟合的超参数，0<ε<1；μ和τ均表示超参数。
16.根据权利要求10或11所述的靶向药治疗反应预测方法，其特征在于，所述相似度为余弦相似度。
17.根据权利要求10或11所述的靶向药治疗反应预测方法，其特征在于，所述预处理模块用于采用如下方法识别输入图像中的组织区域：首先将输入图像由RGB图像转为HSV色彩空间，进而针对HSV色彩空间的饱和度通道，采用大津法计算背景区域和组织区域的分割阈值，根据该分割阈值对输入图像中的组织区域进行加深；然后采用canny算子进行组织边缘检测。
18.根据权利要求17所述的靶向药治疗反应预测方法，其特征在于，采用canny算子进行组织边缘检测后，还需进行均值滤波和删除小区域连通区域。
19.根据权利要求10或11所述的靶向药治疗反应预测方法，其特征在于，一个图像块中的组织面积大于该图像块面积的设定倍数，所述倍数的取值范围为70％～90％。
CN202311006128.4A 2023-08-10 2023-08-10 乳腺癌her2状态预测方法和靶向药治疗反应预测方法 Pending CN117038004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311006128.4A CN117038004A (zh) 2023-08-10 2023-08-10 乳腺癌her2状态预测方法和靶向药治疗反应预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311006128.4A CN117038004A (zh) 2023-08-10 2023-08-10 乳腺癌her2状态预测方法和靶向药治疗反应预测方法

Publications (1)

Publication Number Publication Date
CN117038004A true CN117038004A (zh) 2023-11-10

Family

ID=88634841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311006128.4A Pending CN117038004A (zh) 2023-08-10 2023-08-10 乳腺癌her2状态预测方法和靶向药治疗反应预测方法

Country Status (1)

Country Link
CN (1) CN117038004A (zh)

Similar Documents

Publication Publication Date Title
Silva-Rodríguez et al. Going deeper through the Gleason scoring scale: An automatic end-to-end system for histology prostate grading and cribriform pattern detection
Roy et al. Patch-based system for classification of breast histology images using deep learning
Gandomkar et al. MuDeRN: Multi-category classification of breast histopathological image using deep residual networks
George et al. Remote computer-aided breast cancer detection and diagnosis system based on cytological images
Malathi et al. Brain tumour segmentation using convolutional neural network with tensor flow
Dundar et al. Computerized classification of intraductal breast lesions using histopathological images
CN113454733A (zh) 用于预后组织模式识别的多实例学习器
Huang et al. FABNet: fusion attention block and transfer learning for laryngeal cancer tumor grading in P63 IHC histopathology images
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
Nofallah et al. Machine learning techniques for mitoses classification
JP7427080B2 (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
Nandihal et al. Glioma Detection using Improved Artificial Neural Network in MRI Images
Wetteland et al. Automatic diagnostic tool for predicting cancer grade in bladder cancer patients using deep learning
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
Nguyen et al. An effective deep learning architecture combination for tissue microarray spots classification of h&e stained colorectal images
Liu et al. Automated classification of cervical Lymph-Node-Level from ultrasound using depthwise separable convolutional swin transformer
Krishna et al. Optimization empowered hierarchical residual VGGNet19 network for multi-class brain tumour classification
CN116230237B (zh) 一种基于roi病灶特征的肺癌影响评价方法和系统
Ma et al. Automatic pulmonary ground‐glass opacity nodules detection and classification based on 3D neural network
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN112633404A (zh) 基于DenseNet的COVID-19患者的CT影像分类方法及装置
Jin et al. Automatic primary gross tumor volume segmentation for nasopharyngeal carcinoma using ResSE-UNet
CN115690056A (zh) 基于her2基因检测的胃癌病理图像分类方法及系统
Li et al. A dual attention-guided 3D convolution network for automatic segmentation of prostate and tumor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination