CN117831789B - 癌症治疗反应预测系统及其控制方法 - Google Patents
癌症治疗反应预测系统及其控制方法 Download PDFInfo
- Publication number
- CN117831789B CN117831789B CN202410245415.9A CN202410245415A CN117831789B CN 117831789 B CN117831789 B CN 117831789B CN 202410245415 A CN202410245415 A CN 202410245415A CN 117831789 B CN117831789 B CN 117831789B
- Authority
- CN
- China
- Prior art keywords
- aggregation
- cell
- time sequence
- attention
- response prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011282 treatment Methods 0.000 title claims abstract description 99
- 230000004044 response Effects 0.000 title claims abstract description 91
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 69
- 201000011510 cancer Diseases 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004220 aggregation Methods 0.000 claims abstract description 181
- 230000002776 aggregation Effects 0.000 claims abstract description 180
- 239000002771 cell marker Substances 0.000 claims abstract description 86
- 230000007246 mechanism Effects 0.000 claims abstract description 52
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 14
- 239000003550 marker Substances 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000006116 polymerization reaction Methods 0.000 claims description 16
- 238000011275 oncology therapy Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 abstract description 4
- 230000004931 aggregating effect Effects 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 111
- 239000000439 tumor marker Substances 0.000 description 33
- 239000010410 layer Substances 0.000 description 31
- 238000012549 training Methods 0.000 description 13
- 238000011528 liquid biopsy Methods 0.000 description 11
- 210000004881 tumor cell Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 208000036878 aneuploidy Diseases 0.000 description 5
- 231100001075 aneuploidy Toxicity 0.000 description 5
- 238000002045 capillary electrochromatography Methods 0.000 description 5
- 208000015636 celiac disease-epilepsy-cerebral calcification syndrome Diseases 0.000 description 5
- 210000005266 circulating tumour cell Anatomy 0.000 description 5
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 description 4
- 210000002358 circulating endothelial cell Anatomy 0.000 description 4
- 230000004797 therapeutic response Effects 0.000 description 4
- 108010022366 Carcinoembryonic Antigen Proteins 0.000 description 3
- 102100025475 Carcinoembryonic antigen-related cell adhesion molecule 5 Human genes 0.000 description 3
- 102000012288 Phosphopyruvate Hydratase Human genes 0.000 description 3
- 108010022181 Phosphopyruvate Hydratase Proteins 0.000 description 3
- 208000005718 Stomach Neoplasms Diseases 0.000 description 3
- 102000013529 alpha-Fetoproteins Human genes 0.000 description 3
- 108010026331 alpha-Fetoproteins Proteins 0.000 description 3
- 206010017758 gastric cancer Diseases 0.000 description 3
- 201000011549 stomach cancer Diseases 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000000427 antigen Substances 0.000 description 2
- 102000036639 antigens Human genes 0.000 description 2
- 108091007433 antigens Proteins 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- INZOTETZQBPBCE-NYLDSJSYSA-N 3-sialyl lewis Chemical compound O[C@H]1[C@H](O)[C@H](O)[C@H](C)O[C@H]1O[C@H]([C@H](O)CO)[C@@H]([C@@H](NC(C)=O)C=O)O[C@H]1[C@H](O)[C@@H](O[C@]2(O[C@H]([C@H](NC(C)=O)[C@@H](O)C2)[C@H](O)[C@H](O)CO)C(O)=O)[C@@H](O)[C@@H](CO)O1 INZOTETZQBPBCE-NYLDSJSYSA-N 0.000 description 1
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 1
- 101500016899 Arabidopsis thaliana C-terminally encoded peptide 8 Proteins 0.000 description 1
- 101000738771 Homo sapiens Receptor-type tyrosine-protein phosphatase C Proteins 0.000 description 1
- 102100024616 Platelet endothelial cell adhesion molecule Human genes 0.000 description 1
- 102100037422 Receptor-type tyrosine-protein phosphatase C Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000006757 chemical reactions by type Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000432 density-gradient centrifugation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002687 intercalation Effects 0.000 description 1
- 238000009830 intercalation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及智能医疗技术领域，提供了一种癌症治疗反应预测系统及其控制方法，该系统包括：细胞聚合模块，用于根据多头自注意力机制从多个细胞图像中提取功能特征，并对功能特征和第一扩展信息进行聚合处理；细胞标记物聚合模块，用于对处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征；时序交互模块，用于根据两个时间戳分别进行时序编码和自注意力计算，得到模态间聚合嵌入；时序聚合模块，用于对模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征。本发明所述方法通过结合图像信息、标记物信息以及时序信息得到信息表征能力更强的聚合特征构建癌症治疗反应预测系统，提高癌症治疗反应预测的准确性。
Description
技术领域
本发明涉及智能医疗技术领域，尤其涉及一种癌症治疗反应预测系统及其控制方法。
背景技术
在现代医学中，液体活检技术（包括循环肿瘤细胞CTC、循环内皮细胞CEC和肿瘤标记物）对患者治疗期间分子条件的全面视角,改善了对治疗有效性的监测和评估，在评估胃癌患者的治疗反应和制定个性化有效的治疗策略方面，充分利用动态液体活检数据是至关重要的。
相关技术中，通常根据液体活检中肿瘤相关非整倍体细胞的计数评估治疗结局，但该方法从动态液体活检数据中挖掘的有效信息较少，通过该动态液体活检数据训练得到的评估治疗结局模型性能较差，导致评估治疗结果误差较大，进而导致该类液体活检的适用性较差，不能大范围推广。
发明内容
本发明提供一种癌症治疗反应预测系统及其控制方法，用以解决现有技术从动态液体活检数据中挖掘的有效信息较少，通过该动态液体活检数据训练得到的评估治疗结局模型性能较差，导致评估治疗结果误差较大的缺陷，提高了癌症治疗反应预测的准确性。
本发明提供一种癌症治疗反应预测系统，包括：
细胞聚合模块，所述细胞聚合模块用于将多个细胞图像分别进行特征编码，得到多个特征嵌入，并根据多头自注意力机制对所述多个特征嵌入进行并行计算，得到多个功能特征，并对所述多个功能特征和第一扩展信息进行聚合处理，得到细胞聚合特征，不同的细胞图像对应不同的第一时间戳；
细胞标记物聚合模块，所述细胞标记物聚合模块用于对多个细胞标记物数据进行标准化处理，得到处理后的数据，并根据所述多头自注意力机制对所述处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征，不同的细胞标记物数据对应不同的第二时间戳；
时序交互模块，所述时序交互模块用于对所述第一时间戳和所述第二时间戳分别进行时序编码，得到多个时序嵌入，并对所述多个时序嵌入进行自注意力计算，得到模态间聚合嵌入；
时序聚合模块，所述时序聚合模块用于根据所述多头自注意力机制对所述模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与所述多个细胞图像关联的治疗反应预测。
根据本发明提供的一种癌症治疗反应预测系统，第一扩展信息为第一拓展token，所述细胞聚合模块包括：
第一特征提取单元，所述第一特征提取单元基于残差网络构建；所述第一特征提取单元用于将所述多个细胞图像分别映射到对应的特征嵌入，得到所述多个特征嵌入，并对所述多个特征嵌入和所述第一拓展token通过所述多头自注意力机制进行计算，得到对应的Key矩阵、Query矩阵和Value矩阵；
第一聚合单元，所述第一聚合单元用于根据所述Key矩阵和所述Query矩阵的乘积确定第一注意力映射，对所述第一注意力映射进行缩放和正则化的操作，得到优化后的第一注意力映射，并根据所述第一注意力映射与所述Value矩阵的乘积确定所述细胞聚合特征。
根据本发明提供的一种癌症治疗反应预测系统，所述细胞聚合模块还包括：
可视化分析单元，所述可视化分析单元基于GradCAM算法与所述细胞聚合模块的最后一个卷积层构建，所述可视化分析单元用于对细胞图像中的关注区域进行可视化分析，得到动态焦点区域相关视觉特征；
识别单元，所述识别单元用于根据所述动态焦点区域相关视觉特征通过多层感知器对所述多个细胞图像关联的治疗反应类型进行识别，得到识别结果。
根据本发明提供的一种癌症治疗反应预测系统，所述第二扩展信息为第二拓展token，所述细胞标记物聚合模块包括：
第二特征提取单元，所述第二特征提取单元包括多个全连接层，每个全连接层对应ReLU激活函数；所述第二特征提取单元用于对多个细胞标记物数据对应的均值和方差分别进行标准化处理，得到所述处理后的数据，并从所述处理后的数据提取得到细胞标记物特征；
第二聚合单元，所述第二聚合单元用于对所述细胞标记物特征和所述第二拓展token通过所述多头自注意力机制确定不同细胞标记物之间的关联，得到细胞标记物聚合特征。
根据本发明提供的一种癌症治疗反应预测系统，所述时序交互模块包括：
第三特征提取单元，所述第三特征提取单元用于对所述第一时间戳进行时序编码，得到细胞时序嵌入，并对所述第二时间戳进行时序编码，得到细胞标记物时序嵌入；
第三聚合单元，所述第三聚合单元用于根据所述细胞时序嵌入和所述细胞标记物时序嵌入的乘积确定第二注意力映射，对所述第二注意力映射进行缩放和正则化的操作，得到优化后的第二注意力映射，并根据所述第二注意力映射与多个细胞标记物数据对应的嵌入的乘积确定所述模态间聚合嵌入。
根据本发明提供的一种癌症治疗反应预测系统，所述癌症治疗反应预测系统还包括：
预测模块，所述预测模块基于多个全连接层构建；所述预测模块用于根据所述患者级聚合特征进行治疗反应预测，得到治疗反应预测结果。
根据本发明提供的一种癌症治疗反应预测系统，所述癌症治疗反应预测系统还包括：
评估模块，所述评估模块用于根据曲线下面积AUC、F1分数、召回率、精确度、瀑布图和注意力图中的至少一项对治疗反应预测结果进行分析。
本发明还提供一种癌症治疗反应预测系统的控制方法，包括：
将多个细胞图像分别进行特征编码，得到多个特征嵌入，并根据多头自注意力机制对所述多个特征嵌入进行并行计算，得到多个功能特征，并对所述多个功能特征和第一扩展信息进行聚合处理，得到细胞聚合特征，不同的细胞图像对应不同的第一时间戳；
对多个细胞标记物数据进行标准化处理，得到处理后的数据，并根据所述多头自注意力机制对所述处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征，不同的细胞标记物数据对应不同的第二时间戳；
对所述第一时间戳和所述第二时间戳分别进行时序编码，得到多个时序嵌入，并对所述多个时序嵌入进行自注意力计算，得到模态间聚合嵌入；
根据所述多头自注意力机制对所述模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与所述多个细胞图像关联的治疗反应预测。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述癌症治疗反应预测系统的控制方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述癌症治疗反应预测系统的控制方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述癌症治疗反应预测系统的控制方法。
本发明提供的癌症治疗反应预测系统及其控制方法，通过细胞聚合模块利用多头自注意力机制从多个细胞图像分别提取多个功能特征，并结合第一扩展信息提取细胞聚合特征，通过细胞标记物聚合模块根据多头自注意力机制对处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征，通过时序交互模块根据第一时间戳和第二时间戳确定模态间聚合嵌入，通过时序聚合模块根据多头自注意力机制对模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与多个细胞图像关联的治疗反应预测，通过结合图像信息、标记物信息以及时序信息得到信息表征能力更强的聚合特征构建癌症治疗反应预测系统，提高癌症治疗反应预测的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的癌症治疗反应预测系统的结构示意图之一；
图2是本发明提供的时序聚合模块的结构示意图；
图3是本发明提供的细胞聚合模块的结构示意图；
图4是本发明提供的细胞标记物聚合模块的结构示意图；
图5是本发明提供的时序交互模块和预测模块的结构示意图；
图6是本发明提供的癌症治疗反应预测系统的结构示意图之二；
图7是本发明提供的癌症治疗反应预测系统的控制方法的流程示意图；
图8是本发明提供的电子设备的结构示意图。
附图标记：
110：细胞聚合模块；120：细胞标记物聚合模块；
130：时序交互模块；140：时序聚合模块；
150：预测模块；160：评估模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图7描述本发明的癌症治疗反应预测系统及其控制方法。
图1是本发明提供的癌症治疗反应预测系统的结构示意图之一，如图1所示，该癌症治疗反应预测系统100包括：细胞聚合模块110、细胞标记物聚合模块120、时序交互模块130和时序聚合模块140。
细胞聚合模块110用于将多个细胞图像分别进行特征编码，得到多个特征嵌入，并根据多头自注意力机制对多个特征嵌入进行并行计算，得到多个功能特征，并对多个功能特征和第一扩展信息进行聚合处理，得到细胞聚合特征，不同的细胞图像对应不同的第一时间戳。
在该实施例中，细胞图像包括与肿瘤相关的非整倍体细胞，例如，循环肿瘤细胞（Circulating Tumor Cell，CTC）图像和循环内皮细胞（Circulating Endothelial Cells，CEC）图像。
在该实施例中，采集用于活体检测的细胞图像分别对应一个第一时间戳，例如，细胞图像A拍摄于2023年1月2，细胞图像B拍摄于2023年3月8日等。
在该实施例中，第一扩展信息包括扩展token等，该扩展token可以是字符串、图像数据或标记物数据等。
在该实施例中，多头注意力（Multi-Head Attention，MHA）模型用于将注意力机制扩展到多个头，从而增强模型对于不同特征的关注度。
在该实施例中，将多个图像数据映射至特定的特征嵌入（例如，），得到多个特征嵌入，并添加第一扩展信息组成序列，再通过基于多头注意力机制构建的MHA模型进行自注意力计算，即输入的序列被分割成/>个头来执行并行的自注意力计算，每个头通过全连接层映射得到三个功能特征，对这三个功能特征依次进行注意力分数映射计算以及特征融合，得到细胞聚合特征。
在该实施例中，由于自注意力操作，第一扩展信息能够有效地捕获来自所有其它细胞图像的信息，以实现聚合特征的功能。
细胞标记物聚合模块120用于对多个细胞标记物数据进行标准化处理，得到处理后的数据，并根据多头自注意力机制对处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征，不同的细胞标记物数据对应不同的第二时间戳。
在该实施例中，第二扩展信息包括扩展token等。
在该实施例中，第二时间戳为历史时间段获取细胞标记物数据对应的多个时间信息。
比如，统计在2019年7月至2022年4月的胃癌患者对应的细胞图像，具体的，采集每位患者进行动态液体活检包括基线和后续随访时的肿瘤相关非整倍体细胞图像(即CTC和CEC)和肿瘤标记物指数；采用血样经密度梯度离心和微流控分离技术富集CTC和CEC，这些分离的细胞然后固定在载玻片上，用特异性标记物（包括CD31、CD45、CEP8和DAPI）进行染色，拍摄高分辨率多通道叠加图像以供分析；此外，实验室分析血液样本以测量各种肿瘤标记物的水平，包括甲胎蛋白(AFP)、癌胚抗原(CEA)、糖类抗原19-9(CA19-9)、癌抗原72-4(CA72-4)和癌抗原(CA125)和神经元特异性烯醇化酶(NSE)，组成收集的肿瘤标记物数据，即细胞标记物数据。
在该实施例中，肿瘤标记物(TM)聚合模块从一系列特定时间点的肿瘤标记物指数中获取输入。假设在这个时间点有n个肿瘤标记物，通常包括AFP、CEA、CA199、CA72.4、CA125和NSE等，每个标记物由一个数值表示，通过对这些数值的均值和方差进行标准化处理，减少数据差异性。
在该实施例中，肿瘤标记物聚合模块包括至少两个全连接(FC)层，每个全连接层后面都对应一个ReLU激活函数。
在该实施例中，将多个处理后的数据输入至肿瘤标记物特征提取器，得到多个TM特征，并根据多个TM特征和第二扩展信息组成新的序列，再通过基于多头注意力机制构建的MHA模型对新的序列进行自注意力计算，即新的序列被分割成个头来执行并行的自注意力计算，每个头通过全连接层映射得到三个功能特征，对这三个功能特征依次进行注意力分数映射计算以及特征融合，得到细胞标记物聚合特征。
时序交互模块130用于对第一时间戳和第二时间戳分别进行时序编码，得到多个时序嵌入，并对多个时序嵌入进行自注意力计算，得到模态间聚合嵌入。
在该实施例中，时序交互模块130(TIM)用于调节不同时间点的肿瘤细胞和肿瘤标记物信息；例如，假设肿瘤细胞在个时间点被采样(/>)，通过细胞聚合模块110获得图像嵌入/>，同时采用一个时序编码器，将第一时间戳（例如，相对于基线治疗的经过月数）映射到细胞图像对应的时序嵌入/>。
同理，假设肿瘤标记物在个时间点被采样，通过细胞标记物聚合模块120获得细胞标记物嵌入/>，同时采用一个时序编码器，将第二时间戳映射到细胞标记物对应的时序嵌入/>；再通过细胞图像对应的时序嵌入、细胞标记物对应的时序嵌以及细胞标记物嵌入之间的乘积运算和特征融合，最终得到对应的模态间聚合嵌入。
时序聚合模块140用于根据多头自注意力机制对模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与多个细胞图像关联的治疗反应预测。
在该实施例中，第三扩展信息包括扩展token等。
图2是本发明提供的时序聚合模块的结构示意图，在图2所示的实施例中，时序聚合模块（TIM）通过将模态间聚合嵌入进行时序信息整合，与细胞聚合模块和细胞标记物聚合模块类似，通过引入扩展信息以通过多头注意力(MHA)机制促进时序信息的聚合，并在MHA迭代设置次数后产生患者级聚合特征，最后利用该聚合特征训练预测期，以实现反应者和非反应者的识别。
在该实施例中，利用该聚合特征作为训练预测模型的输入特征，在预测模型充聚合特征中包含的图像信息、标记物信息以及时序信息进行充分学习后，得到一个可用的预测器模块，以实现癌症治疗反应的预测。
本发明实施例提供的癌症治疗反应预测系统，通过细胞聚合模块110利用多头自注意力机制从多个细胞图像分别提取多个功能特征，并结合第一扩展信息提取细胞聚合特征，通过细胞标记物聚合模块120根据多头自注意力机制对处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征，通过时序交互模块130根据第一时间戳和第二时间戳确定模态间聚合嵌入，通过时序聚合模块140根据多头自注意力机制对模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与多个细胞图像关联的治疗反应预测，通过结合图像信息、标记物信息以及时序信息得到信息表征能力更强的聚合特征构建癌症治疗反应预测系统，提高癌症治疗反应预测的准确性。
在一些实施例中，第一扩展信息为第一拓展token，细胞聚合模块110包括：第一特征提取单元，第一特征提取单元基于残差网络构建；第一特征提取单元用于将多个细胞图像分别映射到对应的特征嵌入，得到多个特征嵌入，并对多个特征嵌入和第一拓展token通过多头自注意力机制进行计算，得到对应的Key矩阵、Query矩阵和Value矩阵；第一聚合单元，第一聚合单元用于根据Key矩阵和Query矩阵的乘积确定第一注意力映射，对第一注意力映射进行缩放和正则化的操作，得到优化后的第一注意力映射，并根据第一注意力映射与Value矩阵的乘积确定细胞聚合特征。
在该实施例中，第一特征提取单元有残差网络结构确定，例如，第一特征提取单元为ResNet-18网络。
图3是本发明提供的细胞聚合模块的结构示意图，在图3所示的实施例中，第一特征提取单元从一系列特定时间点的细胞图像中获取输入，假设在这个时间点有/>个细胞图像，对于第/>个图像/>，第一特征提取单元/>将每个图像/>映射到对应的特征嵌入/>，由此产生了/>个特征嵌入，为了促进信息聚合，引入第一扩展token，类似于在视觉Transformer(ViT)中使用的分类token，得到序列输入/>供多头注意力模型使用；输入序列最初被分割成/>个头来执行并行的自注意力计算，再通过三个全连接(FC)层映射到三个功能特征：Key(/>)矩阵、Query(/>)矩阵和Value(/>)矩阵。
具体的，第一聚合单元对每个头中的Query矩阵和Key矩阵相乘得到一个注意力分数映射()，即第一注意力映射；并使用SoftMax函数对第一注意力映射进行缩放和正则化，得到优化后的第一注意力映射，最后将Value特征与优化后的第一注意力映射进行相乘，得到每个头的输出，第一聚合单元将H个头的输出被连接在一起形成最终结果。
在该实施例中，多头注意力模型通过迭代多次（例如两次），由于自注意力操作，扩展token有效地捕获来自所有其它token(细胞图像)的信息，以获取聚合特征。
本发明实施例提供的癌症治疗反应预测系统，通过第一特征提取单元将多个细胞图像分别映射到对应的特征嵌入，并对多个特征嵌入和第一拓展token通过多头自注意力机制进行计算，得到对应的Key矩阵、Query矩阵和Value矩阵，通过第一聚合单元根据Key矩阵和Query矩阵的乘积确定第一注意力映射，并对第一注意力映射进行缩放和正则化的操作，得到优化后的第一注意力映射，最后根据第一注意力映射与Value矩阵的乘积确定细胞聚合特征，能够从细胞图像提取得到更丰富的图像信息。
在一些实施例中，细胞聚合模块110还包括：可视化分析单元，可视化分析单元基于GradCAM算法与细胞聚合模块110的最后一个卷积层构建，可视化分析单元用于对细胞图像中的关注区域进行可视化分析，得到动态焦点区域相关视觉特征；识别单元，识别单元用于根据动态焦点区域相关视觉特征通过多层感知器对多个细胞图像关联的治疗反应类型进行识别，得到识别结果。
在该实施例中，通过GradCAM算法应用于细胞聚合器的最后一个卷积层构建可视化分析单元，对模型在原始CTCs和CECs图像中的关注区域进行了可视化分析，根据分析结果确定特定的动态焦点区域相关视觉特征(DynFAFeat)，包括：焦点区域可变性(VarFA)、最小焦点区域(MinFA)、最大焦点区域(MaxFA)、平均焦点区域(AvgFA)、中位焦点区域(MedFA)和焦点区域扩散(DisFA)。
在该实施例中，多层感知器包括至少三个感知层，包括输入层、输出层和若干个隐藏层。
在该实施例中，识别单元采用三层MLP根据DynFA特征进行治疗反应预测，并将预测结果的置换重要性分析显示，主要是利用焦点区域的平均值进行重要性分析显，这些分析为肿瘤细胞图像的视觉特征提供了初步见解，并表明基于深度学习的模型如DAM具有总结泛化空间视觉信息的潜力。
本发明实施例提供的癌症治疗反应预测系统，通过设置可视化分析单元对细胞图像中的关注区域进行可视化分析，得到动态焦点区域相关视觉特征，设置识别单元根据动态焦点区域相关视觉特征通过多层感知器对多个细胞图像关联的治疗反应类型进行识别，得到识别结果，实现了对细胞信息的可视化显示和治疗反应类型的识别。
在一些实施例中，第二扩展信息为第二拓展token，细胞标记物聚合模块120包括：第二特征提取单元，第二特征提取单元包括多个全连接层，每个全连接层对应ReLU激活函数；第二特征提取单元用于对多个细胞标记物数据对应的均值和方差分别进行标准化处理，得到处理后的数据，并从处理后的数据提取得到细胞标记物特征；第二聚合单元，第二聚合单元用于对细胞标记物特征和第二拓展token通过多头自注意力机制确定不同细胞标记物之间的关联，并根据得到细胞标记物聚合特征。
在该实施例中，细胞标记物聚合模块120（TM）从一系列特定时间点的肿瘤标记物指数中获取输入，假设在这个时间点有n个肿瘤标记物，每个标记物由一个数值表示，先将这些标记物对应的数值通过表均值和方差进行标准化处理，得到多个处理后的数据。
在该实施例中，第二特征提取单元包括至少两个全连接层，每个层后面均对应一个；在第二特征提取单元训练阶段，第二个全连接层会随机去掉25%的节点，以防止过拟合。
图4是本发明提供的细胞标记物聚合模块的结构示意图，在图4所示的实施例中，通过第二特征提取单元（对应肿瘤标记物特征提取器）提取细胞标记物TM特征（对应肿瘤标记物特征），再通过第二聚合单元执行与细胞聚合器类似的处理过程，通过将第二扩展token与提取的TM特征组合得到新序列，并将该新序列输入至基于多头注意力机制构建的MHA模型进行并行运算，通过MHA模型迭代四次后，能够全面捕获不同肿瘤标记物之间的相互关系，得到对应的细胞标记物聚合特征。
本发明实施例提供的癌症治疗反应预测系统，通过设置第二特征提取单元对多个细胞标记物数据对应的均值和方差分别进行标准化处理，并从处理后的数据提取得到细胞标记物特征，通过设置第二聚合单元对细胞标记物特征和第二拓展token通过多头自注意力机制确定不同细胞标记物之间的关联，能够从细胞标记物数据提取得到更丰富的细胞标记物信息。
在一些实施例中，时序交互模块130包括：第三特征提取单元，第三特征提取单元用于对第一时间戳进行时序编码，得到细胞时序嵌入，并对第二时间戳进行时序编码，得到细胞标记物时序嵌入；第三聚合单元，第三聚合单元用于根据细胞时序嵌入和细胞标记物时序嵌入的乘积确定第二注意力映射，对第二注意力映射进行缩放和正则化的操作，得到优化后的第二注意力映射，并根据第二注意力映射与多个细胞标记物数据对应的嵌入的乘积确定模态间聚合嵌入。
在该实施例中，时序交互模块130(TIM)用于调节不同时间点的肿瘤细胞和肿瘤标记物信息，具体的，假设肿瘤细胞在个时间点被采样，采用细胞聚合模块110获取对应的图像嵌入/>，通过第三特征提取单元将时序信息映射到一系列时序嵌入/>，得到细胞时序嵌入；对于肿瘤标记物，采用细胞标记物TM聚合模块聚合器从M个时间点导出对应的TM嵌入/>，即多个细胞标记物数据对应的嵌入，再次采用第三特征提取单元对肿瘤标记物中提取相应的时序嵌入/>，即细胞标记物时序嵌入。
图5是本发明提供的时序交互模块和预测模块的结构示意图，在图5所示的实施例中，通过第三聚合单元以肿瘤标记物的时序嵌入（通过时序编码器获取）作为Key，以图像的时序嵌入作为Query（通过肿瘤细胞聚合器获取），将这两组嵌入之间的矩阵乘法产生一个注意力映射，即第二注意力映射，再以TM嵌入（通过肿瘤标记物聚合器获取）作为Value，将第二注意力映射与TM嵌入相乘，产生对齐的TM嵌入/>，最后计算图像嵌入和对齐的TM嵌入的平均值，以获得模态间聚合嵌入/>。
本发明实施例提供的癌症治疗反应预测系统，通过第三特征提取单元分别对第一时间戳、第二时间戳进行时序编码，通过第三聚合单元根据细胞时序嵌入、细胞标记物时序嵌入和多个细胞标记物数据对应的嵌入的乘积确定模态间聚合嵌入，能够从不同的时间戳信息中提取得到更丰富的时序信息。
在一些实施例中，该癌症治疗反应预测系统100还包括：预测模块150，预测模块150基于多个全连接层构建；预测模块150用于根据患者级聚合特征进行治疗反应预测，得到治疗反应预测结果。
在该实施例中，在数据收集阶段，通过收集一组由91名正在接受抗HER2治疗的胃癌患者组成的数据集，这些数据涵盖了患者治疗期间的基线以及随访数据是在几个时间点上收集的，包括来自动态液体活检的1895幅肿瘤相关非整倍体细胞图像和1698个肿瘤标记物指数；在模型训练阶段，现将数据集随机分为一个包含74名患者的训练集和一个包含17名患者的独立测试集，其中，训练集进一步划分为三个不同的子集：子集1、子集2和子集3，每个子集分别包含26、26和22名患者；然后，采用了三折交叉验证（CV）策略进行模型开发。
比如，在第一折训练中，使用子集1和子集2作为训练子集，使用子集3作为验证子集，第二和第三折训练遵循类似的方法，但使用不同的训练和验证子集的组合，这个交叉验证的策略促进了超参数优化和架构设计，产生了三个独立训练的预测模型，然后，这三个预测模型的集成用于对独立测试集进行预测，即将时序聚合模块140输出的患者级聚合特征分别输入至对应的预测模型中，得到对应的预测结果。
本发明实施例提供的癌症治疗反应预测系统，通过设置预测模块150根据患者级聚合特征进行治疗反应预测，得到治疗反应预测结果，实现了治疗反应类型的预测，为后续对癌症治疗反应预测系统的整体评估提供数据支撑。
在一些实施例中，该癌症治疗反应预测系统100还包括：评估模块160，评估模块160用于根据曲线下面积AUC、F1分数、召回率、精确度、瀑布图和注意力图中的至少一项对治疗反应预测结果进行分析。
在该实施例中，根据治疗反应预测结果对治疗反应预测结果进行分析包括定量分析，例如，通过曲线下面积AUC、F1分数、召回率和精确度实现定量分析；还包括定性分析，例如，通过瀑布图和注意力图实现定性分析，有利于对癌症治疗反应预测系统进行全面、有效的评估。
本发明实施例提供的癌症治疗反应预测系统，通过计算不同的评价指标实现对癌症治疗反应预测系统的预测性能进行全面评估，能够为后续下游任务提供可信度高的预测模型。
图6是本发明提供的癌症治疗反应预测系统的结构示意图之二，在图6所示的实施例中，癌症治疗反应预测系统包括细胞（对应肿瘤细胞）聚合器、肿瘤标记物（TM）聚合器、时间交互模块（TIM）、时间聚合器和预测器；其中，细胞聚合器使用ResNet-18作为特征提取器和双阶段Transformer来创建不同时间点细胞数据的统一表示，与此同时，肿瘤标记物聚合器使用双层全连接网络和类似的双阶段Transformer来整合不同时间的肿瘤标记物数据；时间交互模块(TIM)然后发挥关键作用，使用交叉注意力机制对这两组动态特征进行有效的时间同步和整合；通过时间聚合器采用四级Transformer将不同时间点的数据合并成一个全面的以患者为中心的特征表示；最后，预测器模块使用双层感知器根据这些集成特征将患者分类为反应者或非反应者，完成模型的工作流程；这些组件的协同工作确保了对动态活检的稳健准确分析；细胞图像a-b表示第a个时序点对应的第b张细胞图像，例如，细胞图像2-3表示第2个时序点对应的第3张图像，以此类推。
下面对本发明提供的癌症治疗反应预测系统的控制方法进行描述，下文描述的癌症治疗反应预测系统的控制方法与上文描述的癌症治疗反应预测系统可相互对应参照。
图7是本发明提供的癌症治疗反应预测系统的控制方法的流程示意图，如图7所示，该癌症治疗反应预测系统的控制方法包括如下步骤：
步骤710、将多个细胞图像分别进行特征编码，得到多个特征嵌入，并根据多头自注意力机制对多个特征嵌入进行并行计算，得到多个功能特征，并对多个功能特征和第一扩展信息进行聚合处理，得到细胞聚合特征，不同的细胞图像对应不同的第一时间戳。
在该步骤中，细胞图像包括与肿瘤相关的非整倍体细胞，例如，循环肿瘤细胞图像和循环内皮细胞图像。
在该实施例中，采集用于活体检测的细胞图像分别对应一个第一时间戳。
在该实施例中，第一扩展信息包括扩展token等，该扩展token可以是字符串、图像数据或标记物数据等。
在该实施例中，多头注意力模型用于将注意力机制扩展到多个头，从而增强模型对于不同特征的关注度。
在该实施例中，将多个图像数据映射至特定的特征嵌入（例如，），得到多个特征嵌入，并添加第一扩展信息组成序列，再通过基于多头注意力机制构建的MHA模型进行自注意力计算，即输入的序列被分割成/>个头来执行并行的自注意力计算，每个头通过全连接层映射得到三个功能特征，对这三个功能特征依次进行注意力分数映射计算以及特征融合，得到细胞聚合特征。
步骤720、对多个细胞标记物数据进行标准化处理，得到处理后的数据，并根据多头自注意力机制对处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征，不同的细胞标记物数据对应不同的第二时间戳。
在该步骤中，第二扩展信息包括扩展token等。
在该步骤中，第二时间戳为历史时间段获取细胞标记物数据对应的多个时间信息。
在该实施例中，肿瘤标记物聚合模块从一系列特定时间点的肿瘤标记物指数中获取输入。假设在这个时间点有n个肿瘤标记物，每个标记物由一个数值表示，通过对这些数值的均值和方差进行标准化处理，减少数据差异性。
在该实施例中，肿瘤标记物聚合模块包括至少两个全连接(FC)层，每个全连接层后面都对应一个ReLU激活函数。
在该实施例中，将多个处理后的数据输入至肿瘤标记物特征提取器，得到多个TM特征，并根据多个TM特征和第二扩展信息组成新的序列，再通过基于多头注意力机制构建的MHA模型对新的序列进行自注意力计算，即新的序列被分割成个头来执行并行的自注意力计算，每个头通过全连接层映射得到三个功能特征，对这三个功能特征依次进行注意力分数映射计算以及特征融合，得到细胞标记物聚合特征。
步骤730、对第一时间戳和第二时间戳分别进行时序编码，得到多个时序嵌入，并对多个时序嵌入进行自注意力计算，得到模态间聚合嵌入。
在该步骤中，时序交互模块(TIM)用于调节不同时间点的肿瘤细胞和肿瘤标记物信息；例如，假设肿瘤细胞在个时间点被采样(/>)，通过细胞聚合模块获得图像嵌入，同时采用一个时序编码器，将第一时间戳（例如，相对于基线治疗的经过月数）映射到细胞图像对应的时序嵌入/>。
同理，假设肿瘤标记物在个时间点被采样，通过细胞标记物聚合模块获得细胞标记物嵌入/>，同时采用一个时序编码器，将第二时间戳映射到细胞标记物对应的时序嵌入/>；再通过细胞图像对应的时序嵌入、细胞标记物对应的时序嵌以及细胞标记物嵌入之间的乘积运算和特征融合，最终得到对应的模态间聚合嵌入。
步骤740、根据多头自注意力机制对模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与多个细胞图像关联的治疗反应预测。
在该步骤中，第三扩展信息包括扩展token等。
在该实施例中，时序聚合模块（TIM）通过将模态间聚合嵌入进行时序信息整合，与细胞聚合模块和细胞标记物聚合模块类似，通过引入扩展信息以通过多头注意力(MHA)机制促进时序信息的聚合，并在MHA迭代设置次数后产生患者级聚合特征。
在该实施例中，利用该聚合特征作为训练预测模型的输入特征，在预测模型充聚合特征中包含的图像信息、标记物信息以及时序信息进行充分学习后，得到一个可用的预测器模块，以实现癌症治疗反应的预测。
本发明实施例提供的癌症治疗反应预测系统的控制方法，通过多头自注意力机制从多个细胞图像分别提取多个功能特征，并结合第一扩展信息提取细胞聚合特征，根据多头自注意力机制对处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征；根据第一时间戳和第二时间戳确定模态间聚合嵌入，根据多头自注意力机制对模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与多个细胞图像关联的治疗反应预测，通过结合图像信息、标记物信息以及时序信息得到信息表征能力更强的聚合特征构建癌症治疗反应预测系统，提高癌症治疗反应预测的准确性。
图8是本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行癌症治疗反应预测系统的控制方法，该方法包括：将多个细胞图像分别进行特征编码，得到多个特征嵌入，并根据多头自注意力机制对多个特征嵌入进行并行计算，得到多个功能特征，并对多个功能特征和第一扩展信息进行聚合处理，得到细胞聚合特征，不同的细胞图像对应不同的第一时间戳；对多个细胞标记物数据进行标准化处理，得到处理后的数据，并根据多头自注意力机制对处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征，不同的细胞标记物数据对应不同的第二时间戳；对第一时间戳和第二时间戳分别进行时序编码，得到多个时序嵌入，并对多个时序嵌入进行自注意力计算，得到模态间聚合嵌入；根据多头自注意力机制对模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与多个细胞图像关联的治疗反应预测。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的癌症治疗反应预测系统的控制方法，该方法包括：将多个细胞图像分别进行特征编码，得到多个特征嵌入，并根据多头自注意力机制对多个特征嵌入进行并行计算，得到多个功能特征，并对多个功能特征和第一扩展信息进行聚合处理，得到细胞聚合特征，不同的细胞图像对应不同的第一时间戳；对多个细胞标记物数据进行标准化处理，得到处理后的数据，并根据多头自注意力机制对处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征，不同的细胞标记物数据对应不同的第二时间戳；对第一时间戳和第二时间戳分别进行时序编码，得到多个时序嵌入，并对多个时序嵌入进行自注意力计算，得到模态间聚合嵌入；根据多头自注意力机制对模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与多个细胞图像关联的治疗反应预测。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种癌症治疗反应预测系统，其特征在于，包括：
细胞聚合模块，所述细胞聚合模块用于将多个细胞图像分别进行特征编码，得到多个特征嵌入，并根据多头自注意力机制对所述多个特征嵌入进行并行计算，得到多个功能特征，并对所述多个功能特征和第一扩展信息进行聚合处理，得到细胞聚合特征，不同的细胞图像对应不同的第一时间戳；
细胞标记物聚合模块，所述细胞标记物聚合模块用于对多个细胞标记物数据进行标准化处理，得到处理后的数据，并根据所述多头自注意力机制对所述处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征，不同的细胞标记物数据对应不同的第二时间戳；
时序交互模块，所述时序交互模块用于对所述第一时间戳和所述第二时间戳分别进行时序编码，得到多个时序嵌入，并对所述多个时序嵌入进行自注意力计算，得到模态间聚合嵌入；
时序聚合模块，所述时序聚合模块用于根据所述多头自注意力机制对所述模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与所述多个细胞图像关联的治疗反应预测；
所述第一扩展信息、所述第二扩展信息和所述第三扩展信息均包括拓展token，所述拓展token为字符串、图像数据或标记物数据；第一扩展信息为第一拓展token，所述细胞聚合模块包括：
第一特征提取单元，所述第一特征提取单元基于残差网络构建；所述第一特征提取单元用于将所述多个细胞图像分别映射到对应的特征嵌入，得到所述多个特征嵌入，并对所述多个特征嵌入和所述第一拓展token通过所述多头自注意力机制进行计算，得到对应的Key矩阵、Query矩阵和Value矩阵；
第一聚合单元，所述第一聚合单元用于根据所述Key矩阵和所述Query矩阵的乘积确定第一注意力映射，对所述第一注意力映射进行缩放和正则化的操作，得到优化后的第一注意力映射，并根据所述第一注意力映射与所述Value矩阵的乘积确定所述细胞聚合特征；
所述第二扩展信息为第二拓展token，所述细胞标记物聚合模块包括：
第二特征提取单元，所述第二特征提取单元包括多个全连接层，每个全连接层对应ReLU激活函数；所述第二特征提取单元用于对多个细胞标记物数据对应的均值和方差分别进行标准化处理，得到所述处理后的数据，并从所述处理后的数据提取得到细胞标记物特征；
第二聚合单元，所述第二聚合单元用于对所述细胞标记物特征和所述第二拓展token通过所述多头自注意力机制确定不同细胞标记物之间的关联，得到细胞标记物聚合特征。
2.根据权利要求1所述的癌症治疗反应预测系统，其特征在于，所述细胞聚合模块还包括：
可视化分析单元，所述可视化分析单元基于GradCAM算法与所述细胞聚合模块的最后一个卷积层构建，所述可视化分析单元用于对细胞图像中的关注区域进行可视化分析，得到动态焦点区域相关视觉特征；
识别单元，所述识别单元用于根据所述动态焦点区域相关视觉特征通过多层感知器对所述多个细胞图像关联的治疗反应类型进行识别，得到识别结果。
3.根据权利要求1所述的癌症治疗反应预测系统，其特征在于，所述时序交互模块包括：
第三特征提取单元，所述第三特征提取单元用于对所述第一时间戳进行时序编码，得到细胞时序嵌入，并对所述第二时间戳进行时序编码，得到细胞标记物时序嵌入；
第三聚合单元，所述第三聚合单元用于根据所述细胞时序嵌入和所述细胞标记物时序嵌入的乘积确定第二注意力映射，对所述第二注意力映射进行缩放和正则化的操作，得到优化后的第二注意力映射，并根据所述第二注意力映射与多个细胞标记物数据对应的嵌入的乘积确定所述模态间聚合嵌入。
4.根据权利要求1所述的癌症治疗反应预测系统，其特征在于，所述癌症治疗反应预测系统还包括：
预测模块，所述预测模块基于多个全连接层构建；所述预测模块用于根据所述患者级聚合特征进行治疗反应预测，得到治疗反应预测结果。
5.根据权利要求1所述的癌症治疗反应预测系统，其特征在于，所述癌症治疗反应预测系统还包括：
评估模块，所述评估模块用于根据曲线下的面积AUC、F1分数、召回率、精确度、瀑布图和注意力图中的至少一项对治疗反应预测结果进行分析。
6.一种如权利要求1所述的癌症治疗反应预测系统对应的癌症治疗反应预测系统的控制方法，其特征在于，包括：
将多个细胞图像分别进行特征编码，得到多个特征嵌入，并根据多头自注意力机制对所述多个特征嵌入进行并行计算，得到多个功能特征，并对所述多个功能特征和第一扩展信息进行聚合处理，得到细胞聚合特征，不同的细胞图像对应不同的第一时间戳；
对多个细胞标记物数据进行标准化处理，得到处理后的数据，并根据所述多头自注意力机制对所述处理后的数据和第二扩展信息进行特征提取和聚合，得到细胞标记物聚合特征，不同的细胞标记物数据对应不同的第二时间戳；
对所述第一时间戳和所述第二时间戳分别进行时序编码，得到多个时序嵌入，并对所述多个时序嵌入进行自注意力计算，得到模态间聚合嵌入；
根据所述多头自注意力机制对所述模态间聚合嵌入和第三扩展信息进行时序聚合，得到患者级聚合特征，以实现与所述多个细胞图像关联的治疗反应预测。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求6所述癌症治疗反应预测系统的控制方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求6所述癌症治疗反应预测系统的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410245415.9A CN117831789B (zh) | 2024-03-05 | 2024-03-05 | 癌症治疗反应预测系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410245415.9A CN117831789B (zh) | 2024-03-05 | 2024-03-05 | 癌症治疗反应预测系统及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117831789A CN117831789A (zh) | 2024-04-05 |
| CN117831789B true CN117831789B (zh) | 2024-05-28 |
Family
ID=90504352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410245415.9A Active CN117831789B (zh) | 2024-03-05 | 2024-03-05 | 癌症治疗反应预测系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117831789B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021190661A1 (zh) * | 2020-11-04 | 2021-09-30 | 平安科技（深圳）有限公司 | 一种数据处理系统、方法、装置及存储介质 |
| WO2023091967A1 (en) * | 2021-11-16 | 2023-05-25 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for personalized treatment of tumors |
| WO2023137627A1 (zh) * | 2022-01-19 | 2023-07-27 | 深圳先进技术研究院 | 基于数字病理图像的肿瘤微环境空间关系建模系统与方法 |
| CN116721772A (zh) * | 2023-08-10 | 2023-09-08 | 北京市肿瘤防治研究所 | 肿瘤治疗预后预测方法、装置、电子设备及存储介质 |
| CN116933135A (zh) * | 2023-07-19 | 2023-10-24 | 太原理工大学 | 基于跨模态融合级联的癌症分期预测模型建模系统及方法 |
| CN117409968A (zh) * | 2023-10-27 | 2024-01-16 | 电子科技大学 | 基于层次注意力的癌症动态生存分析方法及系统 |
| CN117422704A (zh) * | 2023-11-23 | 2024-01-19 | 南华大学附属第一医院 | 一种基于多模态数据的癌症预测方法、系统及设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8603747B2 (en) * | 2009-07-21 | 2013-12-10 | NeoDiagnostix, Inc | Method and system for automated image analysis in cancer cells |
| AU2021308081A1 (en) * | 2020-07-17 | 2022-11-17 | Genentech, Inc. | Attention-based neural network to predict peptide binding, presentation, and immunogenicity |
| US12100143B2 (en) * | 2022-05-13 | 2024-09-24 | City University Of Hong Kong | Label-free liquid biopsy-based disease model, analytical platform and method for predicting disease prognosis |
| US20230414189A1 (en) * | 2022-06-27 | 2023-12-28 | Mohamed bin Zayed University of Artificial Intelligence | Deep learning apparatus and method for segmentation and survival prediction for head and neck tumors |
-
2024
- 2024-03-05 CN CN202410245415.9A patent/CN117831789B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021190661A1 (zh) * | 2020-11-04 | 2021-09-30 | 平安科技（深圳）有限公司 | 一种数据处理系统、方法、装置及存储介质 |
| WO2023091967A1 (en) * | 2021-11-16 | 2023-05-25 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for personalized treatment of tumors |
| WO2023137627A1 (zh) * | 2022-01-19 | 2023-07-27 | 深圳先进技术研究院 | 基于数字病理图像的肿瘤微环境空间关系建模系统与方法 |
| CN116933135A (zh) * | 2023-07-19 | 2023-10-24 | 太原理工大学 | 基于跨模态融合级联的癌症分期预测模型建模系统及方法 |
| CN116721772A (zh) * | 2023-08-10 | 2023-09-08 | 北京市肿瘤防治研究所 | 肿瘤治疗预后预测方法、装置、电子设备及存储介质 |
| CN117409968A (zh) * | 2023-10-27 | 2024-01-16 | 电子科技大学 | 基于层次注意力的癌症动态生存分析方法及系统 |
| CN117422704A (zh) * | 2023-11-23 | 2024-01-19 | 南华大学附属第一医院 | 一种基于多模态数据的癌症预测方法、系统及设备 |
Non-Patent Citations (3)
| Title |
|---|
| Nivolumab plus ipilimumab vs chemotherapy as first-line treatment for advanced gastric cancer/gastroesophageal junction cancer/esophageal adenocarcinoma: CheckMate 649 biomarker analyses;沈琳等;AACR Annual Meeting;20230419 * |
| 信息科技.2024,(第2期),E068-110. * |
| 冯硕.基于液基细胞学图像的宫颈癌自动筛查方法.医药卫生科技 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117831789A (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sahu et al. | FINE_DENSEIGANET: Automatic medical image classification in chest CT scan using Hybrid Deep Learning Framework | |
| CN112164448B (zh) | 免疫治疗疗效预测模型训练方法、预测系统及方法和介质 | |
| Alqahtani et al. | Breast cancer pathological image classification based on the multiscale CNN squeeze model | |
| CN104424386A (zh) | 基于多参数磁共振影像的前列腺癌计算机辅助识别系统 | |
| CN114999629A (zh) | 一种基于多特征融合的ad早期预测方法、系统、装置 | |
| Hu et al. | Graph fusion network-based multimodal learning for freezing of gait detection | |
| Kanwar et al. | Machine learning, artificial intelligence and mechanical circulatory support: A primer for clinicians | |
| CN113764101B (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统 | |
| CN116959585B (zh) | 基于深度学习的全基因组预测方法 | |
| CN117831789B (zh) | 癌症治疗反应预测系统及其控制方法 | |
| CN112861881A (zh) | 一种基于改进MobileNet模型的蜂窝肺识别方法 | |
| Mohapatra et al. | Automated invasive cervical cancer disease detection at early stage through deep learning | |
| Huang et al. | Parkinson's severity diagnosis explainable model based on 3D multi-head attention residual network | |
| CN115588492A (zh) | 一种基于人工智能的导诊方法及系统 | |
| JP2023545704A (ja) | エクスポソーム臨床応用のためのシステム及び方法 | |
| CN114358057A (zh) | 一种跨个体脑电情感识别方法、系统、装置及介质 | |
| Tang et al. | Learning asynchronous common and individual functional brain network for ad diagnosis | |
| Pham | Prediction of Five-Year Survival Rate for Rectal Cancer Using Markov Models of Convolutional Features of RhoB Expression on Tissue Microarray | |
| Jin et al. | Fast sparse connectivity network adaption via meta-learning | |
| Zhang et al. | TIM‐Net: A multi‐label classification network for TCM tongue images fusing global‐local features | |
| Jaganathan et al. | Modelling an effectual feature selection approach for predicting down syndrome using machine learning approaches | |
| Owais et al. | Volumetric Model Genesis in Medical Domain for the Analysis of Multimodality 2-D/3-D Data Based on the Aggregation of Multilevel Features | |
| Zhang et al. | Intrinsic bias identification on medical image datasets | |
| Taguelmimt et al. | Uncertainty-Aware Deep Learning Classification for MRI-Based Prostate Cancer Detection | |
| Joseph et al. | EEG Seizure Detection using Convolutional Neural Network With Grad Cam |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240920 Address after: 100142, Fu Cheng Road, Beijing, Haidian District, No. 52 Patentee after: BEIJING INSTITUTE FOR CANCER RESEARCH Country or region after: China Patentee after: Peking University Address before: 100142, Fu Cheng Road, Beijing, Haidian District, No. 52 Patentee before: BEIJING INSTITUTE FOR CANCER RESEARCH Country or region before: China |