CN117831612A - 基于人工智能的gist靶向药物类型选择预测方法及系统 - Google Patents
基于人工智能的gist靶向药物类型选择预测方法及系统 Download PDFInfo
- Publication number
- CN117831612A CN117831612A CN202410246956.3A CN202410246956A CN117831612A CN 117831612 A CN117831612 A CN 117831612A CN 202410246956 A CN202410246956 A CN 202410246956A CN 117831612 A CN117831612 A CN 117831612A
- Authority
- CN
- China
- Prior art keywords
- gist
- image
- feature
- type selection
- drug type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229940079593 drug Drugs 0.000 title claims abstract description 114
- 239000003814 drug Substances 0.000 title claims abstract description 114
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 24
- 230000008685 targeting Effects 0.000 title claims description 27
- 230000001575 pathological effect Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 65
- 238000000605 extraction Methods 0.000 claims description 51
- 230000007170 pathology Effects 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 12
- 230000004931 aggregating effect Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000003902 lesion Effects 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000036285 pathological change Effects 0.000 claims description 5
- 231100000915 pathological change Toxicity 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 3
- 206010051066 Gastrointestinal stromal tumour Diseases 0.000 abstract description 11
- 238000011282 treatment Methods 0.000 abstract description 10
- 230000035772 mutation Effects 0.000 description 16
- 206010028980 Neoplasm Diseases 0.000 description 12
- 239000005517 L01XE01 - Imatinib Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- KTUFNOKKBVMGRW-UHFFFAOYSA-N imatinib Chemical compound C1CN(C)CCN1CC1=CC=C(C(=O)NC=2C=C(NC=3N=C(C=CN=3)C=3C=NC=CC=3)C(C)=CC=2)C=C1 KTUFNOKKBVMGRW-UHFFFAOYSA-N 0.000 description 6
- 229960002411 imatinib Drugs 0.000 description 6
- 101001126417 Homo sapiens Platelet-derived growth factor receptor alpha Proteins 0.000 description 5
- 102100030485 Platelet-derived growth factor receptor alpha Human genes 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000012163 sequencing technique Methods 0.000 description 5
- 208000002699 Digestive System Neoplasms Diseases 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 206010064571 Gene mutation Diseases 0.000 description 3
- 101150038994 PDGFRA gene Proteins 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010071973 C-kit gene mutation Diseases 0.000 description 2
- 108700024394 Exon Proteins 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000002512 chemotherapy Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 210000001198 duodenum Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 210000000813 small intestine Anatomy 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 101710147108 Tyrosinase inhibitor Proteins 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003112 inhibitor Substances 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 230000009456 molecular mechanism Effects 0.000 description 1
- 238000011242 molecular targeted therapy Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- JMANVNJQNLATNU-UHFFFAOYSA-N oxalonitrile Chemical compound N#CC#N JMANVNJQNLATNU-UHFFFAOYSA-N 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 229940121358 tyrosine kinase inhibitor Drugs 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及人工智能医疗领域，具体涉及一种基于人工智能的GIST靶向药物类型选择预测方法及系统，该系统包括图像采集模块、图像处理模块和预测信息导出模块；图像采集模块，用于获取数字病理图像；图像处理模块用于生成GIST靶向药物类型选择预测模型；预测信息导出模块用于得到与目标对象数字病理图像对应的靶向药物使用类型预测结果；本发明能够针对胃肠道间质瘤患者的数字病理图像开展大量带有伪标签图像数据的弱监督特征学习，辅助模型获取更具有泛化能力的病理图像特征，分类出的靶向药物选择粒度更细，不仅能够识别靶向药物是否需要使用，还能获取更加具体的靶向药物类型信息，从而节省医疗资源。
Description
技术领域
本发明具体涉及人工智能医疗领域，具体是一种基于人工智能的GIST靶向药物类型选择预测方法及系统。
背景技术
胃肠道间质瘤(Gastrointestinal Stromal Tumor，GIST)是较为罕见的胃肠道肿瘤，占所有胃肠道恶性肿瘤的0.1%-0.3%，在胃肠道来源于间叶组织的肿瘤中，GIST最为常见，约占80%。近年来，GIST的发病率在逐年上升，通常发生在中老年人群，男女发病率没有明显差别，男性稍多于女性。GIST主要发生部位为胃（60%-70%）和小肠（20%-25%），其次为十二指肠（4%-5%）、结直肠（4%）、食管（1%）等部位。70%-80%的GIST患者存在C-KIT突变。最常见于第11号外显子，其次是9号外显子，发生在第13、14、17和18号外显子的突变很少见。在无C-KIT基因突变的GIST中约10%可以检测到PDGFRA基因突变，最常见的突变形式是第18号外显子D842V点突变，占所有PDGFRA突变类型的90%以上。
GIST对传统放、化疗不敏感，但酪氨酸酶抑制剂（TKI）伊马替尼可达到治疗的目的。根据中国胃肠道间质瘤诊断治疗共识（2022年版本），当肿瘤大于2cm时，首选手术治疗，但如若患者术前评估难以达到R0切除标准时（切缘无肿瘤细胞）、需联合脏器切除、可完整切除但手术风险较大者，应考虑伊马替尼新辅助治疗，若是对伊马替尼不敏感的PDGFRA18号外显子突变时，推荐阿伐替尼进行新辅助化疗。随着对肿瘤分子机理的深入研究和靶向药物的开发和临床应用，分子靶向治疗取得重要进展。NCCN 及ESMO（欧洲肿瘤内科协会）GIST诊疗指南同时推荐，当GIST患者伴随C-KIT及PDGFRA突变时，伊马替尼可作为局部进展期、复发及转移性GIST治疗的一线标准治疗方案，如若是PDGFRA的18号外显子突变或非C-KIT突变时，患者可能从伊马替尼难以获益。伊马替尼是C-KIT和PDGFRA的分子靶向抑制剂，使GIST的治疗取得了突破性进展，可显著改善患者生存质量。所以明确GIST患者的靶向药物选择与否及药物类型选择对临床治疗方案选择具有重要意义。
目前在检测C-KIT及PDGFRA基因突变的常用检测方法中，以直接测序和检测已知位点的扩增阻滞突变系统（Amplification refractory mutation system，ARMS）为主，但是这两种检测技术各有局限性，如步骤复杂、价格昂贵，并且检测周期长、不易动态随访等，在实际操作中还常常因为样本量不足，造成无法获取真实检测结果的情况，因此在临床中该应用常常受到限制。因此，寻找出一类操作简便、结果稳定且经济易得的操作方式来直接预测GIST患者靶向药物选择与否及用药类型，成为临床亟待破解的科研命题。
现如今以玻片为中心的传统病理检查存在病理医生缺乏、操作时间长等问题，且肿瘤内部存在异质性，病变有时不典型，病理医生对靶向药物选择与否及用药类型的判断具有一定的主观性。数字病理即病理切片数字化的出现，使得通过计算机对病理图像进行处理和分析成为可能，加快了传统病理检查向着数字化、自动化、可量化方向发展。然而，对于基于胃肠道间质瘤组织病理学图像预测患者靶向药物类型选择的辅助预测系统，迄今未见研究。
发明内容
本发明的目的在于提供一种基于人工智能的GIST靶向药物类型选择预测方法及系统，以解决上述背景技术中提出的基于胃肠道间质瘤组织病理学图像预测患者靶向药物类型选择的辅助预测系统迄今未见研究的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于人工智能的GIST靶向药物类型选择预测方法，包括以下步骤：
获取目标对象的组织病理切片的数字病理图像，将目标对象的组织病理切片的数字病理图像输入GIST靶向药物类型选择预测模型，得到与数字病理图像对应的靶向药物类型预测结果，其中，GIST靶向药物类型选择预测模型的生成方法为：
获取用于模型训练的组织病理切片的数字病理图像，将该数字病理图像切割为若干分块图像，利用预生成的特征提取器提取所有分块图像的特征；
将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型；
其中，将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型，包括以下步骤：
基于TransMIL网络模型对输入的分块图像的特征进行聚合，以得到一个描述整张数字病理图像的第一全局特征；
通过TransMIL网络模型中多头自注意力模块计算每个分块图像的注意力分数，然后将每个分块图像的注意力分数通过softmax操作转为每个分块图像的权重，然后根据权重信息将所有的分块图像特征聚合为第二全局特征；再将第一全局特征和第二全局特征串联拼接，并通过TransMIL网络模型中的线性层映射得到最终的全切片级别的第三全局特征；
将第三全局特征输入分类器进行分类，并计算得到一个概率输出；
使用交叉熵和平方损失函数计算损失，通过反向传播优化整个网络，通过循环迭代训练得到最终的GIST靶向药物类型选择预测模型，其中，交叉熵和平方损失函数为：
；
式中，是第个组织病理切片的预测结果中对于第个类别的概率，是第i张
全切片的独热编码形式的标签。
作为本发明进一步的方案：所述特征提取器的生成方法，包括：
将所述分块图像关联伪标签，将带有伪标签的分块图像组成特征提取网络预训练数据集，其中，伪标签与分块图像的组织病理切片标签相同；
将特征提取网络预训练数据集输入特征提取网络进行训练，生成GIST靶向药物类型选择预测方法的特征提取器。
作为本发明再进一步的方案：将数字病理图像切割为若干固定大小的分块图像的方法，包括以下步骤：
获取组织病理学图像数据集，所述组织病理学图像数据集包括组织病理切片的数字病理图像以及与组织病理切片病变类别相关联的靶向药物选择类别标签；
将数字病理图像通过窗口滑动的方式切割成无重复且固定大小的分块图像，并去除分块图像的背景。
作为本发明再进一步的方案：所述特征提取网络包括query分支和key分支，其中，
query分支由一个编码器和一个投影器组成，编码器和投影器由参数定义；
key分支与query分支具有相同的结构，key分支由一个编码器和一个投影器组成，编
码器和投影器由参数定义，key分支的参数由query分支的参数基于指数移动平均
（EMA）机制更新，指数移动平均（EMA）机制为：。
作为本发明再进一步的方案：将特征提取网络预训练数据集输入特征提取网络进行训练，生成GIST靶向药物类型选择预测方法的特征提取器，利用特征提取器提取所有分块图像的特征的方法，包括以下步骤：
采用不同的数据增强方法对分块图像进行处理得到两个增强视图，为每个组织病理切片病变类别构建一个存储队列，在存储队列中存入与存储队列类别相同的增强视图，在存储队列中，来源于同一个分块图像的两个增强视图之间构成一个正样本对，来源于不同分块图像的两个增强视图之间构成一个负样本对；
利用特征提取网络对每一个增强视图进行处理，得到增强视图的特征向量；
对特征提取网络进行优化，增大正样本对之间的相似度并降低负样本对之间的相似度，特征提取网络优化完成后作为特征提取器提取所有分块图像的特征。
作为本发明再进一步的方案：采用两种不同的数据增强方法对图像块进行处理，
得到两个不同的增强视图和，将增强视图和送入query分支和key分支，分别通过
编码器处理得到编码特征和，再通过投影器得到增强视图的特征向量和增强视图的特征向量。
作为本发明再进一步的方案：通过损失函数对特征提取网络进行优化，所述损失函数为：
；
其中，是存储队列的容量，是作为负样本对比的切片类别集合，表示类别
的存储队列中第个样本，i、j为正整数。
作为本发明再进一步的方案：特征提取器提取分块图像特征的方法，包括以下步骤：
特征提取网络优化完成后，将query分支的编码器的权重取出作为特征提取器的加载权重，并用于提取每个分块图像的特征，该特征可用于GIST靶向药物类型选择预测模型的训练；
利用特征提取器提取每个分块图像的特征，提取方法如下：
将加载预训练权重的特征提取网络作为分块图像的特征提取器，对于切割好的
分块图像，每个分块图像被提取为，表示一个特征向量，组织病理切片的数字
病理图像经过特征提取后可表示为。
一种基于人工智能的GIST靶向药物类型选择预测系统，包括：
图像采集模块，用于获取组织病理切片的数字病理图像，将数字病理图像切割为若干固定大小的分块图像，将分块图像划分为训练集和测试集，其中，训练集用于模型训练，测试集用于模型测试；
图像处理模块，用于从训练集中随机选取分块图像，将所选的分块图像关联伪标签，将带有伪标签的分块图像组成特征提取网络预训练数据集，其中，伪标签与分块图像的组织病理切片标签相同；还用于将特征提取网络预训练数据集输入特征提取网络进行训练，生成GIST靶向药物类型选择预测方法的特征提取器，利用特征提取器提取所有分块图像的特征；以及，用于将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型；
预测信息导出模块，用于将组织病理切片的数字病理图像输入GIST靶向药物类型选择预测模型，得到与数字病理图像对应的靶向药物类型预测结果；
其中，将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型，包括以下步骤：
基于TransMIL网络模型对输入的分块图像的特征进行聚合，以得到一个描述整张数字病理图像的第一全局特征；
通过TransMIL网络模型中多头自注意力模块计算每个分块图像的注意力分数，然后将每个分块图像的注意力分数通过softmax操作转为每个分块图像的权重，然后根据权重信息将所有的分块图像特征聚合为第二全局特征；再将第一全局特征和第二全局特征串联拼接，并通过TransMIL网络模型中的线性层映射得到最终的全切片级别的第三全局特征；
将第三全局特征输入分类器进行分类，并计算得到一个概率输出；
使用交叉熵和平方损失函数计算损失，通过反向传播优化整个网络，通过循环迭代训练得到最终的GIST靶向药物类型选择预测模型，其中，交叉熵和平方损失函数为：
；
式中，是第个组织病理切片的预测结果中对于第个类别的概率，是第i张
全切片的独热编码形式的标签。
与现有技术相比，本发明的有益效果是：本发明利用训练集数据结合神经网络模型生成GIST靶向药物类型选择预测模型，相较于以往技术，本申请将特征提取器、GIST靶向药物类型选择预测模型结合,本申请通过基于注意力的线性聚合所有的分块图像的信息得到第二全局特征，然后第一全局特征、第二全局特征进行信息融合再进行分类，解决了图像信息缺失的问题，可以更好的识别数字病理切片空间光谱，对肿瘤区域识别更加准确，更细致的识别数字病理切片中的不同组织成分、细胞形态、细胞内亚器官结构，本申请可以捕获几乎所有目标肿瘤区域，比现有全切片分析技术更加精确。
此外，本申请通过GIST靶向药物类型选择预测模型直接得到目标对象数字病理图像对应的靶向药物使用类型预测结果；能够针对胃肠道间质瘤患者的数字病理图像开展大量带有伪标签图像数据的弱监督特征学习，辅助模型获取更具有泛化能力的病理图像特征，分类出的靶向药物选择粒度更细，不仅能够识别靶向药物是否需要使用，还能获取更加具体的靶向药物类型信息，并根据其不同结构，将其分为不同类型药物治疗组别，从而节省医疗资源。
附图说明
图1为基于人工智能的GIST靶向药物类型选择预测方法的流程图。
图2为基于人工智能的GIST靶向药物类型选择预测系统的结构示意图。
图3为基于人工智能的GIST靶向药物类型选择预测方法中LACL模型的示意图。
图4为基于人工智能的GIST靶向药物类型选择预测方法中对组织病理切片进行扫描的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
胃肠道间质瘤(Gastrointestinal Stromal Tumor，GIST)是较为罕见的胃肠道肿瘤，占所有胃肠道恶性肿瘤的0.1%-0.3%，在胃肠道来源于间叶组织的肿瘤中，GIST最为常见，约占80%。近年来，GIST的发病率在逐年上升，通常发生在中老年人群，男女发病率没有明显差别，男性稍多于女性。GIST主要发生部位为胃（60%-70%）和小肠（20%-25%），其次为十二指肠（4%-5%）、结直肠（4%）、食管（1%）等部位。70%-80%的GIST患者存在C-KIT突变。最常见于第11号外显子，其次是9号外显子，发生在第13、14、17和18号外显子的突变很少见。在无C-KIT基因突变的GIST中约10%可以检测到PDGFRA基因突变，最常见的突变形式是第18号外显子D842V点突变，占所有PDGFRA突变类型的90%以上。
现如今以玻片为中心的传统病理检查存在病理医生缺乏、操作时间长等问题，且肿瘤内部存在异质性，病变有时不典型，病理医生对靶向药物选择与否及用药类型的判断具有一定的主观性。数字病理即病理切片数字化的出现，使得通过计算机对病理图像进行处理和分析成为可能，加快了传统病理检查向着数字化、自动化、可量化方向发展。然而，对于基于胃肠道间质瘤组织病理学图像预测患者靶向药物类型选择的辅助预测系统，迄今未见研究。
基于此，请参阅图1，本发明实施例中，一种基于人工智能的GIST靶向药物类型选择预测方法，包括以下步骤：
S101、获取组织病理切片的数字病理图像，将数字病理图像切割为若干固定大小的分块图像，将分块图像划分为训练集和测试集，其中，训练集用于模型训练，测试集用于模型测试；
请参阅图4，在本申请实施例步骤S101中，获取组织病理切片的数字病理图像的方法为：获取组织病理切片并进行扫描，得到病理组织的HE染色全切片扫描图像，该病理组织的HE染色全切片扫描图像即为数字病理图像，进一步的，本实施例中的组织病理切片使用麦克奥迪Motic EasyScan数字切片扫描仪进行扫描后获得相应的数字病理图像。
在本申请实施例步骤S101中，将数字病理图像切割为若干固定大小的分块图像的方法，包括以下步骤：
S201、获取组织病理学图像数据集，所述组织病理学图像数据集包括组织病理切
片的数字病理图像以及与组织病理切片病变类别相关联的靶向药物选择类别标签，组织病
理学图像数据集，其中，表
示数据集中第个组织病理切片的数字病理图像，表示的是数据集中第个组织病理切片
的标签靶向药物选择类别标签，表示数据集中组织病理切片的样本数；
S202、将数字病理图像通过窗口滑动的方式切割成无重复且固定大小的分块图像，并去除分块图像的背景，本申请实施例中，一张数字病理图像被切割后表示为：
，其中，表示的是
第张数字病理图像的第个分块图像，表示的是第张数字病理图像的第个分块图像
所对应的2维位置信息，表示第张数字病理图像切割出分块图像的总数。
S102、从训练集中随机选取分块图像，将所选的分块图像关联伪标签，将带有伪标签的分块图像组成特征提取网络预训练数据集，其中，伪标签与分块图像的组织病理切片标签相同，所述组织病理切片标签表示组织病理切片的病变类别，其与靶向药物选择类别相关联。
S103、将特征提取网络预训练数据集输入特征提取网络进行训练，生成GIST靶向药物类型选择预测方法的特征提取器，利用特征提取器提取所有分块图像的特征；
请参阅图3，在本申请实施例步骤S103中，所述特征提取网络采用基于病变感知的
病理图像表征学习模型(LACL模型)，该模型使用动量对比学习(MoCo)架构，在本申请实施
例中，所述特征提取网络包括query分支和key分支，其中，query分支由一个编码器和一
个投影器组成，编码器和投影器由参数定义；key分支与query分支具有相同的
结构，key分支由一个编码器和一个投影器组成，编码器和投影器由参数定义，key
分支的参数由query分支的参数基于指数移动平均（EMA）机制更新，指数移动平均
（EMA）机制具体为；
需要说明的是，在本申请实施例中，特征提取网络使用的编码器（Backbone）为ResNet50，投影器是一个多层感知机，它由一个线性层、一个ReLU层和另一个线性层组成。
具体的，在本申请实施例步骤S103中，将特征提取网络预训练数据集输入特征提取网络进行训练，生成GIST靶向药物类型选择预测方法的特征提取器，利用特征提取器提取所有分块图像的特征的方法，包括以下步骤：
S301、采用不同的数据增强方法对分块图像进行处理得到两个增强视图，为每个组织病理切片病变类别构建一个存储队列，在存储队列中存入与存储队列类别相同的增强视图，在存储队列中，来源于同一个分块图像的两个增强视图之间构成一个正样本对，来源于不同分块图像的两个增强视图之间构成一个负样本对；
S302、利用特征提取网络对每一个增强视图进行处理，得到增强视图的特征向量；
S303、对特征提取网络进行优化，增大正样本对之间的相似度并降低负样本对之间的相似度，特征提取网络优化完成后作为特征提取器提取所有分块图像的特征。
在本申请的一些实施例中，采用两种不同的数据增强方法对图像块进行处理，得
到两个不同的增强视图和，将增强视图和送入query分支和key分支，分别通过编
码器处理得到编码特征和，再通过投影器得到增强视图的特征向量和增强视图
的特征向量；
进一步的，在本申请实施例步骤S303中，通过损失函数对特征提取网络进行优化，所述损失函数为：
；
其中，是存储队列的容量，是作为负样本对比的切片类别集合，表示类别
的存储队列中第个样本，i、j为正整数。
此外，为了确保存储队列中的样本表征在训练过程中能够具有代表性，需要在训
练过程中对队列进行有选择性的更新，队列提纯策略(QRS)通过度量输入表征与队列内表
征之间的相似性，从每个最小批次中筛选一批最具有代表性的表征更新进入病变存储队列
（lesion queue）中。具体的，在本申请实施例中，定义表示输入的样本表征表示期
望分布：正样本与队列内表示之间的相似性分布，定义表示期望分布，然后通过
K-L散度来检验两种分布的一致性，并参与到query分支的网络参数的更新。
在本申请实施例步骤S303中，特征提取器提取分块图像特征的方法，包括以下步骤：
S401、特征提取网络优化完成后，将query分支的编码器的权重取出作为特征提取器的加载权重，并用于提取每个分块图像的特征，该特征可用于GIST靶向药物类型选择预测模型的训练；
S402、利用特征提取器提取每个分块图像的特征，提取方法如下：
将加载预训练权重的特征提取网络作为分块图像的特征提取器，对于切割好的
分块图像，每个分块图像被提取为，其中，表示一个特征向量；可以理解的是，
本申请实施例中，一张组织病理切片的数字病理图像经过特征提取后可表示为。
S104、将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型，本实施例步骤S104中，所述神经网络模型为TransMIL网络模型，包括两个多头自注意力模块和一个金字塔位置编码生成器，其中，其中，多头自注意力模块用于学习整张切片组织不同区域的依赖关系，金字塔位置编码生成器通过将序列化的图像特征重塑为一个正方形形状的特征图，并用不同大小的卷积核来学习不同区域特征的空间关系。
在本申请步骤S104中，将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型的方法，包括以下步骤：
S501、基于TransMIL网络模型对输入的分块图像的特征进行聚合，以得到一个描述整张数字病理图像的第一全局特征（即分类特征）。
S502、通过TransMIL网络模型中多头自注意力模块计算每个分块图像的注意力分数，然后将每个分块图像的注意力分数通过softmax操作转为每个分块图像的权重，然后根据权重信息将所有的分块图像特征聚合为一个第二全局特征（即分块图像特征）；再将第一全局特征和第二全局特征串联拼接，并通过TransMIL网络模型中的一个线性层映射得到最终的全切片级别的第三全局特征。
现有技术的TransMIL的聚合方式存在丢失一些分块图像的信息的缺点，而本申请通过基于注意力的线性聚合所有的分块图像的信息得到第二全局特征，然后第一全局特征、第二全局特征进行信息融合再进行分类，解决了图像信息缺失的问题，从而提高了预测的准确率。
S503、将第三全局特征输入分类器进行分类，并计算得到一个概率输出；
S504、使用交叉熵和平方损失函数计算损失，通过反向传播优化整个网络，通过循环迭代训练得到最终的GIST靶向药物类型选择预测模型，其中，交叉熵和平方损失函数为：
；
式中，是第个组织病理切片的预测结果中对于第个类别的概率，是第i张
全切片的独热编码（one-hot）形式的标签。
S105、将目标对象组织病理切片的数字病理图像输入GIST靶向药物类型选择预测模型，得到与目标对象数字病理图像对应的靶向药物类型预测结果。
目前各个医院对GIST药物类型使用预测的方式，大都是通过对GIST标本进行分子检测，然后由医护人员进一步收集GIST患者使用药物实际缓解率结果。而本申请通过深度学习模型预测靶向药物的实际临床缓解与基于测序预测靶向药物的实际缓解率，将由数字病理图像切割而成的分块图像由特征提取器进行提取，提取后的特征由GIST靶向药物类型选择预测模型进行处理，由于增加了第二全局特征，避免分块图像的信息丢失，从而增强模型的分类性能，预测率显著提高。
为了方便理解本申请的优越性，在治疗3个月后，通过计算机断层扫描 (CT) 或正电子发射断层扫描 (PET) 成像评价靶向药物缓解率。根据 Choi指南（目前各大医院所采用的评价标准）对治疗结果进行分组，Choi指南通过肿瘤密度的变化和肿瘤大小的微小变化及是否存在新病灶来综合评价肿瘤，采用对GIST标本进行分子检测的方式例如基于分子测序分析预测靶向药物与本申请的预测方式进行对比。其中，基于分子测序分析预测靶向药物无应答（无应答代表应用靶向药物后肿瘤没有任何缓解）的准确性为0.4286，而本申请的预测无应答准确性为0.7143；基于分子测序分析预测靶向药物的有效准确性为0.8929，本发明预测靶向药物有效准确性为0.9286。
请参阅图2，本发明还公开了一种基于人工智能的GIST靶向药物类型选择预测系统，包括：
图像采集模块100，用于获取组织病理切片的数字病理图像，将数字病理图像切割为若干固定大小的分块图像，将分块图像划分为训练集和测试集；
图像处理模块200，用于从训练集中随机选取分块图像，将所选的分块图像关联伪标签，将带有伪标签的分块图像组成特征提取网络预训练数据集，其中，伪标签与分块图像的组织病理切片标签相同；还用于将特征提取网络预训练数据集输入特征提取网络进行训练，生成GIST靶向药物类型选择预测方法的特征提取器，利用特征提取器提取所有分块图像的特征；以及，用于将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型；
预测信息导出模块300，用于将目标对象组织病理切片的数字病理图像输入GIST靶向药物类型选择预测模型，得到与目标对象数字病理图像对应的靶向药物类型预测结果。
综上所述，本发明利用训练集数据和神经网络模型生成GIST靶向药物类型选择预测模型，通过GIST靶向药物类型选择预测模型得到目标对象数字病理图像对应的靶向药物使用类型预测结果；能够针对胃肠道间质瘤患者的数字病理图像开展大量带有伪标签图像数据的弱监督特征学习，辅助模型获取更具有泛化能力的病理图像特征，分类出的靶向药物选择粒度更细，不仅能够识别靶向药物是否需要使用，还能获取更加具体的靶向药物类型信息，从而节省医疗资源。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种基于人工智能的GIST靶向药物类型选择预测方法，其特征在于，包括以下步骤：
获取目标对象的组织病理切片的数字病理图像，将目标对象的组织病理切片的数字病理图像输入GIST靶向药物类型选择预测模型，得到与该数字病理图像对应的靶向药物类型预测结果，其中，GIST靶向药物类型选择预测模型的生成方法为：
获取用于模型训练的组织病理切片的数字病理图像，将该数字病理图像切割为若干分块图像，利用预生成的特征提取器提取所有分块图像的特征；
将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型；
其中，将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型，包括以下步骤：
基于TransMIL网络模型对输入的分块图像的特征进行聚合，以得到一个描述整张数字病理图像的第一全局特征；
通过TransMIL网络模型中多头自注意力模块计算每个分块图像的注意力分数，然后将每个分块图像的注意力分数通过softmax操作转为每个分块图像的权重，然后根据权重信息将所有的分块图像特征聚合为第二全局特征；再将第一全局特征和第二全局特征串联拼接，并通过TransMIL网络模型中的线性层映射得到最终的全切片级别的第三全局特征；
将第三全局特征输入分类器进行分类，并计算得到一个概率输出；
使用交叉熵和平方损失函数计算损失，通过反向传播优化整个网络，通过循环迭代训练得到最终的GIST靶向药物类型选择预测模型，其中，交叉熵和平方损失函数为：
；
式中，是第/>个组织病理切片的预测结果中对于第/>个类别的概率，/>是第i张全切片的独热编码形式的标签。
2.根据权利要求1所述的基于人工智能的GIST靶向药物类型选择预测方法，其特征在于，所述特征提取器的生成方法，包括：
将所述分块图像关联伪标签，将带有伪标签的分块图像组成特征提取网络预训练数据集，其中，伪标签与分块图像的组织病理切片标签相同；
将特征提取网络预训练数据集输入特征提取网络进行训练，生成GIST靶向药物类型选择预测方法的特征提取器。
3.根据权利要求2所述的基于人工智能的GIST靶向药物类型选择预测方法，其特征在于，将该数字病理图像切割为若干分块图像的方法，包括：
获取组织病理学图像数据集，所述组织病理学图像数据集包括组织病理切片的数字病理图像以及与组织病理切片病变类别相关联的靶向药物选择类别标签；
将数字病理图像通过窗口滑动的方式切割成无重复、无固定大小并去除背景的分块图像。
4.根据权利要求3所述的基于人工智能的GIST靶向药物类型选择预测方法，其特征在于，所述特征提取网络包括query分支和key分支，其中，query分支由一个编码器和一个投影器/>组成，编码器/>和投影器/>由参数/>定义；key分支与query分支具有相同的结构，key分支由一个编码器/>和一个投影器/>组成，编码器和投影器由参数/>定义，key分支的参数/>由query分支的参数/>基于指数移动平均机制更新，指数移动平均机制为：。
5.根据权利要求4所述的基于人工智能的GIST靶向药物类型选择预测方法，其特征在于，将特征提取网络预训练数据集输入特征提取网络进行训练，生成GIST靶向药物类型选择预测方法的特征提取器，利用特征提取器提取所有分块图像的特征的方法，包括以下步骤：
采用不同的数据增强方法对分块图像进行处理得到两个增强视图，为每个组织病理切片病变类别构建一个存储队列，在存储队列中存入与存储队列类别相同的增强视图，在存储队列中，来源于同一个分块图像的两个增强视图之间构成一个正样本对，来源于不同分块图像的两个增强视图之间构成一个负样本对；
利用特征提取网络对每一个增强视图进行处理，得到增强视图的特征向量；
对特征提取网络进行优化，增大正样本对之间的相似度并降低负样本对之间的相似度，特征提取网络优化完成后作为特征提取器提取所有分块图像的特征。
6.根据权利要求5所述的基于人工智能的GIST靶向药物类型选择预测方法，其特征在于，采用两种不同的数据增强方法对图像块进行处理，得到两个不同的增强视图和/>，将增强视图/>和/>送入query分支和key分支，分别通过编码器处理得到编码特征/>和/>，再通过投影器得到增强视图/>的特征向量/>和增强视图/>的特征向量/>。
7.根据权利要求6所述的基于人工智能的GIST靶向药物类型选择预测方法，其特征在于，通过损失函数对特征提取网络进行优化，所述损失函数为：
；
其中，是存储队列的容量，/>是作为负样本对比的切片类别集合，/>表示/>类别的存储队列中第/>个样本，i、j为正整数。
8.根据权利要求1所述的基于人工智能的GIST靶向药物类型选择预测方法，其特征在于，特征提取器提取分块图像特征的方法，包括以下步骤：
特征提取网络优化完成后，将query分支的编码器的权重取出作为特征提取器的加载权重，并用于提取每个分块图像的特征，该特征可用于GIST靶向药物类型选择预测模型的训练；
利用特征提取器提取每个分块图像的特征，提取方法如下：
将加载预训练权重的特征提取网络作为分块图像的特征提取器，对于切割好的分块图像，每个分块图像被提取为/>，/>表示一个特征向量，组织病理切片的数字病理图像经过特征提取后可表示为/>。
9.一种基于人工智能的GIST靶向药物类型选择预测系统，其特征在于，包括：
图像采集模块，用于获取组织病理切片的数字病理图像，将数字病理图像切割为若干固定大小的分块图像，将分块图像划分为训练集和测试集，其中，训练集用于模型训练，测试集用于模型测试；
图像处理模块，用于从训练集中随机选取分块图像，将所选的分块图像关联伪标签，将带有伪标签的分块图像组成特征提取网络预训练数据集，其中，伪标签与分块图像的组织病理切片标签相同；还用于将特征提取网络预训练数据集输入特征提取网络进行训练，生成GIST靶向药物类型选择预测方法的特征提取器，利用特征提取器提取所有分块图像的特征；以及，用于将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型；
预测信息导出模块，用于将组织病理切片的数字病理图像输入GIST靶向药物类型选择预测模型，得到与数字病理图像对应的靶向药物类型预测结果；
其中，将特征输入神经网络模型中进行训练，得到GIST靶向药物类型选择预测模型，包括以下步骤：
基于TransMIL网络模型对输入的分块图像的特征进行聚合，以得到一个描述整张数字病理图像的第一全局特征；
通过TransMIL网络模型中多头自注意力模块计算每个分块图像的注意力分数，然后将每个分块图像的注意力分数通过softmax操作转为每个分块图像的权重，然后根据权重信息将所有的分块图像特征聚合为第二全局特征；再将第一全局特征和第二全局特征串联拼接，并通过TransMIL网络模型中的线性层映射得到最终的全切片级别的第三全局特征；
将第三全局特征输入分类器进行分类，并计算得到一个概率输出；
使用交叉熵和平方损失函数计算损失，通过反向传播优化整个网络，通过循环迭代训练得到最终的GIST靶向药物类型选择预测模型，其中，交叉熵和平方损失函数为：
；
式中，是第/>个组织病理切片的预测结果中对于第/>个类别的概率，/>是第i张全切片的独热编码形式的标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410246956.3A CN117831612A (zh) | 2024-03-05 | 2024-03-05 | 基于人工智能的gist靶向药物类型选择预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410246956.3A CN117831612A (zh) | 2024-03-05 | 2024-03-05 | 基于人工智能的gist靶向药物类型选择预测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117831612A true CN117831612A (zh) | 2024-04-05 |
Family
ID=90523127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410246956.3A Pending CN117831612A (zh) | 2024-03-05 | 2024-03-05 | 基于人工智能的gist靶向药物类型选择预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117831612A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210118136A1 (en) * | 2019-10-22 | 2021-04-22 | Novateur Research Solutions LLC | Artificial intelligence for personalized oncology |
| CN115526331A (zh) * | 2022-08-16 | 2022-12-27 | 北京航空航天大学 | 一种基于病变类别感知的数字病理图像的表征学习方法 |
| CN116485792A (zh) * | 2023-06-16 | 2023-07-25 | 中南大学 | 组织病理学亚型预测方法及成像方法 |
| US20230281971A1 (en) * | 2022-03-03 | 2023-09-07 | Lunit Inc. | Method and device for analyzing pathological slide image |
| CN117036288A (zh) * | 2023-08-10 | 2023-11-10 | 郑州大学 | 一种面向全切片病理图像的肿瘤亚型诊断方法 |
| CN117408997A (zh) * | 2023-12-13 | 2024-01-16 | 安徽省立医院(中国科学技术大学附属第一医院) | 非小细胞肺癌组织学图像egfr基因突变的辅助检测系统 |
| CN117541844A (zh) * | 2023-09-27 | 2024-02-09 | 合肥工业大学 | 一种基于超图学习的弱监督组织病理学全切片图像分析方法 |
| CN117557856A (zh) * | 2023-11-23 | 2024-02-13 | 北京航空航天大学 | 一种基于自监督学习的病理全切片特征学习方法 |
-
2024
- 2024-03-05 CN CN202410246956.3A patent/CN117831612A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210118136A1 (en) * | 2019-10-22 | 2021-04-22 | Novateur Research Solutions LLC | Artificial intelligence for personalized oncology |
| US20230281971A1 (en) * | 2022-03-03 | 2023-09-07 | Lunit Inc. | Method and device for analyzing pathological slide image |
| CN115526331A (zh) * | 2022-08-16 | 2022-12-27 | 北京航空航天大学 | 一种基于病变类别感知的数字病理图像的表征学习方法 |
| CN116485792A (zh) * | 2023-06-16 | 2023-07-25 | 中南大学 | 组织病理学亚型预测方法及成像方法 |
| CN117036288A (zh) * | 2023-08-10 | 2023-11-10 | 郑州大学 | 一种面向全切片病理图像的肿瘤亚型诊断方法 |
| CN117541844A (zh) * | 2023-09-27 | 2024-02-09 | 合肥工业大学 | 一种基于超图学习的弱监督组织病理学全切片图像分析方法 |
| CN117557856A (zh) * | 2023-11-23 | 2024-02-13 | 北京航空航天大学 | 一种基于自监督学习的病理全切片特征学习方法 |
| CN117408997A (zh) * | 2023-12-13 | 2024-01-16 | 安徽省立医院(中国科学技术大学附属第一医院) | 非小细胞肺癌组织学图像egfr基因突变的辅助检测系统 |
Non-Patent Citations (1)
| Title |
|---|
| ZHUCHEN SHAO ET AL.: "TransMIL: Transformer based Correlated Multiple Instance Learning for Whole Slide Image Classification", 《ARXIV》, 31 October 2021 (2021-10-31), pages 1 - 15 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cassidy et al. | Analysis of the ISIC image datasets: Usage, benchmarks and recommendations | |
| Feng et al. | A deep learning approach for colonoscopy pathology WSI analysis: accurate segmentation and classification | |
| Lucas et al. | Deep learning–based recurrence prediction in patients with non–muscle-invasive bladder cancer | |
| Zhang et al. | 2d convolutional neural networks for 3d digital breast tomosynthesis classification | |
| Lu et al. | Towards a visual-language foundation model for computational pathology | |
| Wang et al. | A benchmark for comparing precision medicine methods in thyroid cancer diagnosis using tissue microarrays | |
| Zhu et al. | An accurate prediction of the origin for bone metastatic cancer using deep learning on digital pathological images | |
| Iuga et al. | Automated mapping and N-Staging of thoracic lymph nodes in contrast-enhanced CT scans of the chest using a fully convolutional neural network | |
| Yu et al. | Artificial intelligence in gastric cancer: A translational narrative review | |
| McAlpine et al. | Is it real or not? Toward artificial intelligence-based realistic synthetic cytology image generation to augment teaching and quality assurance in pathology | |
| Ahn et al. | Artificial Intelligence in Breast Cancer Diagnosis and Personalized Medicine | |
| Condon et al. | Replication of an open-access deep learning system for screening mammography: Reduced performance mitigated by retraining on local data | |
| Li et al. | Multi-dimensional cascaded net with uncertain probability reduction for abdominal multi-organ segmentation in CT sequences | |
| Wang et al. | Cell graph neural networks enable the digital staging of tumor microenvironment and precise prediction of patient survival in gastric cancer | |
| Li et al. | Predicting gastric cancer tumor mutational burden from histopathological images using multimodal deep learning | |
| Martin et al. | A graph based neural network approach to immune profiling of multiplexed tissue samples | |
| Liu et al. | CAM‐Wnet: An effective solution for accurate pulmonary embolism segmentation | |
| Bobowicz et al. | Attention-based deep learning system for classification of breast lesions—multimodal, weakly supervised approach | |
| CN117831612A (zh) | 基于人工智能的gist靶向药物类型选择预测方法及系统 | |
| Tsuneki et al. | Weakly supervised learning for multi-organ adenocarcinoma classification in whole slide images | |
| Roy Medhi | Lung Cancer Classification from Histologic Images using Capsule Networks | |
| Xiao et al. | Deep learning for predicting epidermal growth factor receptor mutations of non-small cell lung cancer on PET/CT images | |
| CN110930401B (zh) | 一种能谱ct增强碘水图影像组学术前预测肾透明细胞癌who/isup分级方法 | |
| Foran et al. | An expandable informatics framework for enhancing central cancer registries with digital pathology specimens, computational imaging tools, and advanced mining capabilities | |
| Hicham et al. | 3D CT Scans for Colorectal Cancer Classification using VGG16 and Data Augmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |