CN117152506A - 基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统 - Google Patents
基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统 Download PDFInfo
- Publication number
- CN117152506A CN117152506A CN202311080902.6A CN202311080902A CN117152506A CN 117152506 A CN117152506 A CN 117152506A CN 202311080902 A CN202311080902 A CN 202311080902A CN 117152506 A CN117152506 A CN 117152506A
- Authority
- CN
- China
- Prior art keywords
- image
- scale
- pathological
- feature
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003721 Triple Negative Breast Neoplasms Diseases 0.000 title claims abstract description 35
- 208000022679 triple-negative breast carcinoma Diseases 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000001575 pathological effect Effects 0.000 claims abstract description 122
- 238000000605 extraction Methods 0.000 claims abstract description 67
- 210000000481 breast Anatomy 0.000 claims abstract description 66
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 41
- 206010006187 Breast cancer Diseases 0.000 claims description 20
- 208000026310 Breast neoplasm Diseases 0.000 claims description 20
- 230000007170 pathology Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 102000008096 B7-H1 Antigen Human genes 0.000 description 4
- 108010074708 B7-H1 Antigen Proteins 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000009169 immunotherapy Methods 0.000 description 4
- 210000004881 tumor cell Anatomy 0.000 description 4
- 238000011282 treatment Methods 0.000 description 3
- 102100038595 Estrogen receptor Human genes 0.000 description 2
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 2
- 238000003559 RNA-seq method Methods 0.000 description 2
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 108010038795 estrogen receptors Proteins 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 238000009099 neoadjuvant therapy Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 102100032187 Androgen receptor Human genes 0.000 description 1
- 101000851181 Homo sapiens Epidermal growth factor receptor Proteins 0.000 description 1
- 102000037982 Immune checkpoint proteins Human genes 0.000 description 1
- 108091008036 Immune checkpoint proteins Proteins 0.000 description 1
- 239000012269 PD-1/PD-L1 inhibitor Substances 0.000 description 1
- 239000012271 PD-L1 inhibitor Substances 0.000 description 1
- 102100025803 Progesterone receptor Human genes 0.000 description 1
- 108010080146 androgen receptors Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 102000045108 human EGFR Human genes 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 230000004957 immunoregulator effect Effects 0.000 description 1
- 230000001506 immunosuppresive effect Effects 0.000 description 1
- 230000001024 immunotherapeutic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011227 neoadjuvant chemotherapy Methods 0.000 description 1
- 229940121653 pd-1/pd-l1 inhibitor Drugs 0.000 description 1
- 229940121656 pd-l1 inhibitor Drugs 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 239000000583 progesterone congener Substances 0.000 description 1
- 108090000468 progesterone receptors Proteins 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 102000005962 receptors Human genes 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 229940126585 therapeutic drug Drugs 0.000 description 1
- 230000004797 therapeutic response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000007482 whole exome sequencing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Data Mining & Analysis (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Biotechnology (AREA)
- Analytical Chemistry (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Genetics & Genomics (AREA)
- Chemical & Material Sciences (AREA)
- Bioethics (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统，包括：对接收到的多参数乳腺MRI图像进行特征学习，得到第一多尺度特征；分别将由接收到的全切片图像预处理得到的两个第一图像序列输入多尺度特征提取模型，以使模型提取并融合病理图像的局部感受野特征、全局信息和多尺度信息而输出第二多尺度特征；融合两种多尺度特征而得到影像病理特征图，并通过多层感知机结构对影像病理特征图进行分类，以输出三阴性乳腺癌免疫表型预测结果。采用本发明实施例，充分融合多参数乳腺MRI图像和全切片图像这两种模态的图像的特征，进而基于融合结果进行分类，提升三阴性乳腺癌免疫表型的预测准确度。
Description
技术领域
本发明涉及三阴性乳腺癌免疫表型预测技术领域，尤其涉及一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统。
背景技术
三阴性乳腺癌(triple negative breast cancer,TNBC)是指乳腺癌缺乏雌激素受体(Estrogen receptor，ER)、孕激素受体(Progesterone receptor，PR)、人表皮生长因子受体2(Human epidermal growth factor receptor 2，HER-2)表达的乳腺癌，占所有乳腺癌患者的15-20％，且发病年龄轻、异质性高、侵袭性强、预后较差，其3-5年内复发转移风险可高达20％，且一旦出现复发转移，总生存期明显缩短。TNBC在组织形态、分子表型、临床特征、治疗反应等方面都表现出较强的异质性，需要进一步分层分类治疗，其中肿瘤异质性和缺乏生物标志物被认为是驱动治疗耐药和复发的最困难的挑战。近年来，针对不同靶点的靶向治疗药物和针对免疫检查点的免疫治疗药物的出现，正在改变TNBC的临床实践，尤其是免疫治疗的进展为TNBC乳腺癌开启了新的治疗篇章，但依然有很多问题需要进一步解决与完善。目前PD-(L)1抑制剂已被批准用于TNBC的免疫治疗，但因TNBC的高度异质性，并不是所有的TNBC患者都对免疫治疗有效，这就迫切需要治疗前筛选优势人群。复旦大学肿瘤医院利用全外显子组测序、拷贝数变异分析和RNA测序等多组学技术提出“复旦分型”：雄激素受体管腔亚型，免疫调节亚型，基底样免疫抑制亚型，间充质样亚型，阐明了中国人群TNBC的分子特征，并细化了TNBC的分子分型。
目前，主流技术是利用全外显子组测序、拷贝数变异分析和RNA测序等多组学技术提出“复旦分型”，但这种多组学检测方法需要的样本量大，设备要求高且专业性强，很难在临床实践中常规开展和应用，并且准确率还有较大的提高空间，并且所提出的免疫组化PD-L1指标，除了PD-L1阳性、PD-L1阴性的患者，其他人同样可以从免疫治疗中获益，因此PD-L1指标并不是PD-1/PD-L1抑制剂最理想的筛选指标。此外，目前临床上通常MRI检查监测新辅助治疗(Neoadjuvant therapy,NAT)后TNBC患者肿瘤大小变化，可以在NAT早期预测疗效，但是MRI对预测新辅助化疗的敏感性较低。
发明内容
本发明实施例提供一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统，充分融合多参数乳腺MRI图像和全切片图像这两种模态的图像的特征，进而基于融合得到的影像病理特征图，提升三阴性乳腺癌免疫表型的预测准确度。
为了解决上述技术问题，本发明实施例提供了一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法，包括：
对接收到的多参数乳腺MRI图像进行特征学习，得到所述多参数乳腺MRI图像的第一多尺度特征；
对接收到的全切片图像进行预处理，得到两个第一图像序列；
分别将两个所述第一图像序列输入多尺度特征提取模型，以使所述多尺度特征提取模型输出所述全切片图像的第二多尺度特征；
对所述第一多尺度特征和所述第二多尺度特征进行融合，得到影像病理特征图，并通过多层感知机结构，对所述影像病理特征图进行分类，以输出所述多参数乳腺MRI图像和所述全切片图像的三阴性乳腺癌免疫表型预测结果；
其中，所述第一图像序列包括多个不同尺度的病理图像，所述多尺度特征提取模型包括用于提取所述病理图像的局部感受野特征的若干个局部Transformer编码器、用于捕获所述病理图像的全局信息的若干个全局Transformer编码器、以及用于交换两个所述第一图像序列之间的图像信息而得到所述病理图像的多尺度信息的若干个多尺度Transformer编码器。
实施本发明实施例，对接收到的多参数乳腺MRI图像进行特征学习，得到多参数乳腺MRI图像的第一多尺度特征，并且对接收到的全切片图像进行预处理，得到两个第一图像序列，然后分别将两个第一图像序列输入多尺度特征提取模型，以使多尺度特征提取模型输出全切片图像的第二多尺度特征，并通过融合第一多尺度特征和第二多尺度特征，去结合多参数乳腺MRI图像和全切片图像的优势，而得到能够充分表征多参数乳腺MRI图像和全切片图像这两种模态的图像的特性的影像病理特征图，从而能够利用该影像病理特征图，进而提升三阴性乳腺癌免疫表型的预测准确度。另外地，在特征提取阶段，运用了若干个全局Transformer编码器和若干个局部Transformer编码器，来组合不同尺度的病理图像，以产生更具相关性的图像特征，缓解不同尺度目标的特征提取问题，并且利用若干个多尺度Transformer编码器进行信息交换，以进一步提升特征信息的提取精度。
作为优选方案，所述对所述第一多尺度特征和所述第二多尺度特征进行融合，得到影像病理特征图，并通过多层感知机结构，对所述影像病理特征图进行分类，以输出所述多参数乳腺MRI图像和所述全切片图像的三阴性乳腺癌免疫表型预测结果，具体为：
根据所述第一多尺度特征，生成第一输入张量，并根据所述第二多尺度特征，生成第二输入张量，然后对所述第一输入张量和所述第二输入张量进行迭代处理，每次迭代处理时将当前的第一输入张量和当前的第二输入张量输入至Transformer结构，并将所述Transformer结构的当前输出转换为特征映射，然后根据当前的特征映射，更新当前的第一输入张量和当前的第二输入张量，直至迭代次数满足预设次数，则拼接当前的第一输入张量和当前的第二输入张量，得到影像病理特征图；
通过所述多层感知机结构，对所述影像病理特征图进行分类，以输出所述多参数乳腺MRI图像和所述全切片图像的三阴性乳腺癌免疫表型预测结果。
实施本发明实施例的优选方案，利用Transformer结构，对多参数乳腺MRI图像的第一多尺度特征和全切片图像的第二多尺度特征进行多次处理，以更好地逐步融合多参数乳腺MRI图像和全切片图像的特征，继而提升影像病理特征图的准确度。
作为优选方案，所述分别将两个所述第一图像序列输入多尺度特征提取模型，以使所述多尺度特征提取模型输出所述全切片图像的第二多尺度特征，具体为：
分别将两个所述第一图像序列输入至线性投影层，得到各所述第一图像序列对应的多个patch token，然后将一个所述第一图像序列对应的多个patch token输入至局部Transformer模块，以使所述局部Transformer模块提取所述第一图像序列中所有所述病理图像的局部感受野特征，同时将另一个所述第一图像序列对应的多个patch token输入至全局Transformer模块，以使所述全局Transformer模块捕获所述第一图像序列中所有所述病理图像的全局信息；
利用各所述多尺度Transformer编码器的第一分支的Class token，与一个所述第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至所述第一分支，同时利用多尺度Transformer编码器的第二分支的Class token，与另一个所述第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至所述第二分支，然后根据所述第一分支和所述第二分支的反投影结果，生成所有所述病理图像的多尺度信息；
将所述局部感受野特征、所述全局信息和所述多尺度信息进行拼接和全局平均池化，并将处理结果输入至全连接层，得到所述全切片图像的所述第二多尺度特征；
其中，所述patch token与所述病理图像一一对应，所述局部Transformer模块包括若干个所述局部Transformer编码器，所述全局Transformer模块包括若干个所述全局Transformer编码器。
实施本发明实施例的优选方案，通过设置全局Transformer模块和局部Transformer模块，以保留更多的特定尺度的细粒度特征，从而能够充分利用局部感受野特征、全局信息和多尺度信息实现肿瘤细胞与肿瘤微环境之间的区分，以实现对全切片图像中的肿瘤细胞的分类。
作为优选方案，所述对接收到的全切片图像进行预处理，得到两个第一图像序列，具体为：
按照预设的处理顺序和尺寸要求，对接收到的全切片图像进行裁剪处理，得到若干个病理切片，然后对所有所述病理切片进行随机扩充与图像增强，得到多个不同尺度的所述病理图像；
按照各所述病理图像的倍率，将所有所述病理图像划分为两个所述第一图像序列。
实施本发明实施例的优选方案，在对图像进行特征提取之前，按照预设的处理顺序和尺寸要求，对接收到的全切片图像进行裁剪处理，得到统一大小且位置不同的若干个病理切片，然后对所有病理切片进行随机扩充与图像增强，得到多个不同尺度的病理图像，以提升病理图像的清晰度，接着按照各个病理图像的倍率，将所有病理图像划分为两个第一图像序列，以便后续基于一个第一图像序列开展全局的信息提取，并基于另一个第一图像序列开展局部的信息捕获。
作为优选方案，所述对接收到的多参数乳腺MRI图像进行特征学习，得到所述多参数乳腺MRI图像的第一多尺度特征，具体为：
对接收到的所述多参数乳腺MRI图像进行影像组学特征提取，得到对应的影像组学特征提取结果，并对接收到的所述多参数乳腺MRI图像进行深度学习特征提取，得到对应的深度学习特征提取结果；
将所述影像组学特征提取结果和所述深度学习特征提取结果进行融合，得到所述多参数乳腺MRI图像的所述第一多尺度特征；
其中，所述多参数乳腺MRI图像是对不同参数的乳腺MRI图像进行分析处理而得到的。
实施本发明实施例的优选方案，分别对接收到的多参数乳腺MRI图像进行影像组学特征提取和深度学习特征提取，并对两类特征提取结果进行融合，以充分学习不同参数的乳腺MRI图像之间的相关性，提升第一多尺度特征的有效性，从而提高三阴性乳腺癌免疫表型的预测准确度，并降低对计算机资源的占用，减少整体的运算时间。
作为优选方案，所述的一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法，还包括：
使用文本编码器，对接收到的临床文本信息进行特征提取，得到对应的临床信息特征；
通过多层感知机结构，对所述临床信息特征和影像病理特征图的组合结果进行分析处理，以输出所述多参数乳腺MRI图像、所述全切片图像和所述临床文本信息对应的三阴性乳腺癌概率图。
实施本发明实施例的优选方案，对临床文本信息对应的临床信息特征与多参数乳腺MRI图像和全切片图像对应的影像病理特征图进行组合，并通过多层感知机结构，对组合结果进行分析处理而输出多参数乳腺MRI图像、全切片图像和临床文本信息这三类图像/信息对应的三阴性乳腺癌概率图，以进一步提升三阴性乳腺癌的预测识别。
为了解决相同的技术问题，本发明实施例还提供了一种基于多尺度特征的三阴性乳腺癌免疫表型预测系统，包括：
特征学习模块，用于对接收到的多参数乳腺MRI图像进行特征学习，得到所述多参数乳腺MRI图像的第一多尺度特征；
预处理模块，用于对接收到的全切片图像进行预处理，得到两个第一图像序列；其中，所述第一图像序列包括多个不同尺度的病理图像；
特征提取模块，用于分别将两个所述第一图像序列输入多尺度特征提取模型，以使所述多尺度特征提取模型输出所述全切片图像的第二多尺度特征；其中，所述多尺度特征提取模型包括用于提取所述病理图像的局部感受野特征的若干个局部Transformer编码器、用于捕获所述病理图像的全局信息的若干个全局Transformer编码器、以及用于交换两个所述第一图像序列之间的图像信息而得到所述病理图像的多尺度信息的若干个多尺度Transformer编码器；
预测模块，用于对所述第一多尺度特征和所述第二多尺度特征进行融合，得到影像病理特征图，并通过多层感知机结构，对所述影像病理特征图进行分类，以输出所述多参数乳腺MRI图像和所述全切片图像的三阴性乳腺癌免疫表型预测结果。
作为优选方案，所述预测模块，具体包括：
特征融合单元，用于根据所述第一多尺度特征，生成第一输入张量，并根据所述第二多尺度特征，生成第二输入张量，然后对所述第一输入张量和所述第二输入张量进行迭代处理，每次迭代处理时将当前的第一输入张量和当前的第二输入张量输入至Transformer结构，并将所述Transformer结构的当前输出转换为特征映射，然后根据当前的特征映射，更新当前的第一输入张量和当前的第二输入张量，直至迭代次数满足预设次数，则拼接当前的第一输入张量和当前的第二输入张量，得到影像病理特征图；
分类单元，用于通过所述多层感知机结构，对所述影像病理特征图进行分类，以输出所述多参数乳腺MRI图像和所述全切片图像的三阴性乳腺癌免疫表型预测结果。
作为优选方案，所述特征提取模块，具体包括：
特征提取单元，用于分别将两个所述第一图像序列输入至线性投影层，得到各所述第一图像序列对应的多个patch token，然后将一个所述第一图像序列对应的多个patchtoken输入至局部Transformer模块，以使所述局部Transformer模块提取所述第一图像序列中所有所述病理图像的局部感受野特征，同时将另一个所述第一图像序列对应的多个patch token输入至全局Transformer模块，以使所述全局Transformer模块捕获所述第一图像序列中所有所述病理图像的全局信息；利用各所述多尺度Transformer编码器的第一分支的Class token，与一个所述第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至所述第一分支，同时利用多尺度Transformer编码器的第二分支的Class token，与另一个所述第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至所述第二分支，然后根据所述第一分支和所述第二分支的反投影结果，生成所有所述病理图像的多尺度信息；其中，所述patch token与所述病理图像一一对应，所述局部Transformer模块包括若干个所述局部Transformer编码器，所述全局Transformer模块包括若干个所述全局Transformer编码器；
拼接处理单元，用于将所述局部感受野特征、所述全局信息和所述多尺度信息进行拼接和全局平均池化，并将处理结果输入至全连接层，得到所述全切片图像的所述第二多尺度特征。
作为优选方案，所述预处理模块，具体包括：
图像处理单元，用于按照预设的处理顺序和尺寸要求，对接收到的全切片图像进行裁剪处理，得到若干个病理切片，然后对所有所述病理切片进行随机扩充与图像增强，得到多个不同尺度的所述病理图像；
划分单元，用于按照各所述病理图像的倍率，将所有所述病理图像划分为两个所述第一图像序列。
附图说明
图1：为本发明实施例一提供的一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法的流程示意图；
图2：为本发明实施例一提供的多尺度特征提取模型的结构示意图；
图3：为本发明实施例一提供的局部Transformer编码器的结构示意图；
图4：为本发明实施例一提供的全局Transformer编码器的结构示意图；
图5：为本发明实施例一提供的多尺度Transformer编码器的结构示意图；
图6：为本发明实施例一提供的多模态特征融合结构的示意图；
图7：为本发明实施例一提供的一种基于多尺度特征的三阴性乳腺癌免疫表型预测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一:
请参照图1，为本发明实施例提供的一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法，该方法包括步骤S1至步骤S3，各步骤具体如下：
步骤S1，对接收到的多参数乳腺MRI图像进行特征学习，得到多参数乳腺MRI图像的第一多尺度特征。
作为优选方案，步骤S1包括步骤S11至步骤S12，各步骤具体如下：
步骤S11，对接收到的多参数乳腺MRI图像进行影像组学特征提取，得到对应的影像组学特征提取结果，并对接收到的多参数乳腺MRI图像进行深度学习特征提取，得到对应的深度学习特征提取结果。
其中，多参数乳腺MRI图像是对不同参数的乳腺MRI图像进行分析处理而得到的。在本实施例中，不同参数的乳腺MRI图像是指T1WI+C、T2WI以及DWI序列的乳腺MRI图像。
步骤S12，将影像组学特征提取结果和深度学习特征提取结果进行融合，得到多参数乳腺MRI图像的第一多尺度特征。
步骤S2，对接收到的全切片图像进行预处理，得到两个第一图像序列。
其中，第一图像序列包括多个不同尺度的病理图像。
作为优选方案，步骤S2包括步骤S21至步骤S22，各步骤具体如下：
步骤S21，按照预设的处理顺序和尺寸要求，对接收到的全切片图像进行裁剪处理，得到若干个病理切片，然后对所有病理切片进行随机扩充与图像增强，得到多个不同尺度的病理图像。
步骤S22，按照各个病理图像的倍率，将所有病理图像划分为两个第一图像序列。
其中，病理图像的尺度，包括但不限于H/2×W/2×3和2H×2W×3；其中，H和W代表病理图像的高度和宽度。同一个第一图像序列，包括多个在全切片图像上的相同位置且不同尺度的病理图像。
作为一种举例，全切片图像(Whole Slide Imaging，WSI)可以为HE染色切片图像，后续将之称为WSI切片。采用从左到右、从上到下以步长为53的方式，将每张WSI切片上统一处理成大小为256×256大小的patch(病理切片)，然后使用弹性变换对每个patch进行随机扩充，并对之进行图像增强，得到多个不同尺度的病理图像，然后按照各个病理图像的倍率(其中，倍率为10×的病理图像和倍率为20×的病理图像各有四张)，将所有病理图像划分为两个第一图像序列，完成对WSI切片的预处理。其中，图像增强的方式，包括但不限于翻转、随机旋转、随机对比度亮度和模糊。
步骤S3，分别将两个第一图像序列输入多尺度特征提取模型，以使多尺度特征提取模型输出全切片图像的第二多尺度特征。
其中，多尺度特征提取模型包括用于提取病理图像的局部感受野特征的若干个局部Transformer编码器、用于捕获病理图像的全局信息的若干个全局Transformer编码器、以及用于交换两个第一图像序列之间的图像信息而得到病理图像的多尺度信息的若干个多尺度Transformer编码器。
作为优选方案，步骤S3包括步骤S31至步骤S33，各步骤具体如下：
步骤S31，请参照图2，分别将两个第一图像序列输入至线性投影层(Linearprojection)，得到各个第一图像序列对应的多个patch token，然后将一个第一图像序列对应的多个patch token输入至局部Transformer模块，以使局部Transformer模块提取第一图像序列中所有病理图像的局部感受野特征，同时将另一个第一图像序列对应的多个patch token输入至全局Transformer模块，以使全局Transformer模块捕获第一图像序列中所有病理图像的全局信息。
其中，patch token与病理图像一一对应，请参照图2，局部Transformer模块包括N个局部Transformer编码器，全局Transformer模块包括M个全局Transformer编码器，多尺度Transformer模块包括K个多尺度Transformer编码器。局部Transformer编码器的具体结构请参照图3，该编码器用基于窗口的多头自注意力代替了MSA，并使用了两个连续的Swintransformer block来实现跨窗口连接；全局Transformer编码器的具体结构请参照图4，其包含一个多头自注意力(multi-head self-attention，MSA)，一个多层感知(multi-layerperception，MLP)和两层归一化(layer normalizations，LN)结构；多尺度Transformer编码器的具体结构请参照图5。
需要说明的是，通过两路Transformer(一路为局部Transformer模块，负责处理倍率为20×的所有病理图像，另一路为全局Transformer模块，负责处理倍率为10×的所有病理图像)，来组合不同尺度的patch token，并保留更多的特定尺度的细粒度特征。
步骤S32，请参照图2，利用多尺度Transformer中各个多尺度Transformer编码器的第一分支的Class token，与一个第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至第一分支，同时利用多尺度Transformer编码器的第二分支的Class token作为代理，与另一个第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至第二分支，然后参见式(1)，根据第一分支和第二分支的反投影结果，生成所有病理图像的多尺度信息fo。
fo＝PS(reshape(fin)) (1)
式中，fin表示单组模块的输入特征，PS(·)表示patch-merging层。
在本实施例中，请参照图5，对于分支A，首先从分支B中收集patch token，并参见式(2)，将分支A自己的CLS token连接到patch token上，得到x′A。然后，请参见式(3)(4)(5)(6)(7)，在x′A和之间执行交叉注意力(CA)；其中，CLS token是唯一的query，因为patch token的信息被融合到CLS token中。
k＝x′AWk (4)
v＝x′AWv (5)
CA(x′A)＝Ov (7)
式中，fA(·)表示尺寸对齐的投影函数，表示可学习参数，C和h分别表示embedding的维数和注意力头数。
步骤S33，请参照图2，将局部感受野特征、全局信息和多尺度信息进行拼接和全局平均池化，并将处理结果输入至全连接层，以将肿瘤细胞与肿瘤微环境区分开并对全切片图像中的肿瘤细胞作分类处理，得到全切片图像的第二多尺度特征。
步骤S4，对第一多尺度特征和第二多尺度特征进行融合，得到影像病理特征图，并通过多层感知机结构，对影像病理特征图进行分类，以输出多参数乳腺MRI图像和全切片图像的三阴性乳腺癌免疫表型预测结果。
作为优选方案，步骤S4包括步骤S41至步骤S42，各步骤具体如下：
步骤S41，根据第一多尺度特征，生成第一输入张量，并根据第二多尺度特征，生成第二输入张量，然后请参照图6，对第一输入张量和第二输入张量进行迭代处理，每次迭代处理时将当前的第一输入张量和当前的第二输入张量输入至Transformer结构，并将Transformer结构的当前输出转换为特征映射，然后根据当前的特征映射，更新当前的第一输入张量和当前的第二输入张量，直至迭代次数满足预设次数，则拼接当前的第一输入张量和当前的第二输入张量，得到影像病理特征图。
步骤S42，通过多层感知机结构(Multilayer Perceptron，MLP)，对影像病理特征图进行分类，以输出多参数乳腺MRI图像和全切片图像的三阴性乳腺癌免疫表型预测结果。
作为优选方案，本发明实施例提供的一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法，还包括步骤S51至步骤S52，各步骤具体如下：
步骤S51，请参照图6，使用文本编码器(Text encoder)，对接收到的临床文本信息进行特征提取，得到对应的临床信息特征。
步骤S52，请参照图6，通过MLP，对临床信息特征和影像病理特征图的组合结果进行分析处理，以输出多参数乳腺MRI图像、全切片图像和临床文本信息对应的三阴性乳腺癌概率图，实现TNBC预后预测。
请参照图7，为本发明实施例提供的一种基于多尺度特征的三阴性乳腺癌免疫表型预测系统的结构示意图，该系统包括特征学习模块M1、预处理模块M2、特征提取模块M3和预测模块M4，各模块具体如下：
特征学习模块M1，用于对接收到的多参数乳腺MRI图像进行特征学习，得到多参数乳腺MRI图像的第一多尺度特征；
预处理模块M2，用于对接收到的全切片图像进行预处理，得到两个第一图像序列；其中，第一图像序列包括多个不同尺度的病理图像；
特征提取模块M3，用于分别将两个第一图像序列输入多尺度特征提取模型，以使多尺度特征提取模型输出全切片图像的第二多尺度特征；其中，多尺度特征提取模型包括用于提取病理图像的局部感受野特征的若干个局部Transformer编码器、用于捕获病理图像的全局信息的若干个全局Transformer编码器、以及用于交换两个第一图像序列之间的图像信息而得到病理图像的多尺度信息的若干个多尺度Transformer编码器；
预测模块M4，用于对第一多尺度特征和第二多尺度特征进行融合，得到影像病理特征图，并通过多层感知机结构，对影像病理特征图进行分类，以输出多参数乳腺MRI图像和全切片图像的三阴性乳腺癌免疫表型预测结果。
作为优选方案，预测模块M4，具体包括特征融合单元41和分类单元42，各单元具体如下：
特征融合单元41，用于根据第一多尺度特征，生成第一输入张量，并根据第二多尺度特征，生成第二输入张量，然后对第一输入张量和第二输入张量进行迭代处理，每次迭代处理时将当前的第一输入张量和当前的第二输入张量输入至Transformer结构，并将Transformer结构的当前输出转换为特征映射，然后根据当前的特征映射，更新当前的第一输入张量和当前的第二输入张量，直至迭代次数满足预设次数，则拼接当前的第一输入张量和当前的第二输入张量，得到影像病理特征图；
分类单元42，用于通过多层感知机结构，对影像病理特征图进行分类，以输出多参数乳腺MRI图像和全切片图像的三阴性乳腺癌免疫表型预测结果。
作为优选方案，特征提取模块M3，具体包括特征提取单元31和拼接处理单元32，各单元具体如下：
特征提取单元31，用于分别将两个第一图像序列输入至线性投影层，得到各第一图像序列对应的多个patch token，然后将一个第一图像序列对应的多个patch token输入至局部Transformer模块，以使局部Transformer模块提取第一图像序列中所有病理图像的局部感受野特征，同时将另一个第一图像序列对应的多个patch token输入至全局Transformer模块，以使全局Transformer模块捕获第一图像序列中所有病理图像的全局信息；利用各多尺度Transformer编码器的第一分支的Class token，与一个第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至第一分支，同时利用多尺度Transformer编码器的第二分支的Class token，与另一个第一图像序列对应的多个patchtoken进行信息交换，并将交换的信息反投影至第二分支，然后根据第一分支和第二分支的反投影结果，生成所有病理图像的多尺度信息；其中，patch token与病理图像一一对应，局部Transformer模块包括若干个局部Transformer编码器，全局Transformer模块包括若干个全局Transformer编码器；
拼接处理单元32，用于将局部感受野特征、全局信息和多尺度信息进行拼接和全局平均池化，并将处理结果输入至全连接层，得到全切片图像的第二多尺度特征。
作为优选方案，预处理模块M2，具体包括图像处理单元21和划分单元22，各单元具体如下：
图像处理单元21，用于按照预设的处理顺序和尺寸要求，对接收到的全切片图像进行裁剪处理，得到若干个病理切片，然后对所有病理切片进行随机扩充与图像增强，得到多个不同尺度的病理图像；
划分单元22，用于按照各病理图像的倍率，将所有病理图像划分为两个第一图像序列。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
相比于现有技术，本发明实施例具有如下有益效果：
本发明提供了一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统，对接收到的多参数乳腺MRI图像进行特征学习，得到多参数乳腺MRI图像的第一多尺度特征，并且对接收到的全切片图像进行预处理，得到两个第一图像序列，然后分别将两个第一图像序列输入多尺度特征提取模型，以使多尺度特征提取模型输出全切片图像的第二多尺度特征，并通过融合第一多尺度特征和第二多尺度特征，去结合多参数乳腺MRI图像和全切片图像的优势，而得到能够充分表征多参数乳腺MRI图像和全切片图像这两种模态的图像的特性的影像病理特征图，从而能够利用该影像病理特征图，进而提升三阴性乳腺癌免疫表型的预测准确度。另外地，在特征提取阶段，运用了若干个全局Transformer编码器和若干个局部Transformer编码器，来组合不同尺度的病理图像，以产生更具相关性的图像特征，缓解不同尺度目标的特征提取问题，并且利用若干个多尺度Transformer编码器进行信息交换，以进一步提升特征信息的提取精度。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法，其特征在于，包括：
对接收到的多参数乳腺MRI图像进行特征学习，得到所述多参数乳腺MRI图像的第一多尺度特征；
对接收到的全切片图像进行预处理，得到两个第一图像序列；
分别将两个所述第一图像序列输入多尺度特征提取模型，以使所述多尺度特征提取模型输出所述全切片图像的第二多尺度特征；
对所述第一多尺度特征和所述第二多尺度特征进行融合，得到影像病理特征图，并通过多层感知机结构，对所述影像病理特征图进行分类，以输出所述多参数乳腺MRI图像和所述全切片图像的三阴性乳腺癌免疫表型预测结果；
其中，所述第一图像序列包括多个不同尺度的病理图像，所述多尺度特征提取模型包括用于提取所述病理图像的局部感受野特征的若干个局部Transformer编码器、用于捕获所述病理图像的全局信息的若干个全局Transformer编码器、以及用于交换两个所述第一图像序列之间的图像信息而得到所述病理图像的多尺度信息的若干个多尺度Transformer编码器。
2.根据权利要求1所述的一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法，其特征在于，所述对所述第一多尺度特征和所述第二多尺度特征进行融合，得到影像病理特征图，并通过多层感知机结构，对所述影像病理特征图进行分类，以输出所述多参数乳腺MRI图像和所述全切片图像的三阴性乳腺癌免疫表型预测结果，具体为：
根据所述第一多尺度特征，生成第一输入张量，并根据所述第二多尺度特征，生成第二输入张量，然后对所述第一输入张量和所述第二输入张量进行迭代处理，每次迭代处理时将当前的第一输入张量和当前的第二输入张量输入至Transformer结构，并将所述Transformer结构的当前输出转换为特征映射，然后根据当前的特征映射，更新当前的第一输入张量和当前的第二输入张量，直至迭代次数满足预设次数，则拼接当前的第一输入张量和当前的第二输入张量，得到影像病理特征图；
通过所述多层感知机结构，对所述影像病理特征图进行分类，以输出所述多参数乳腺MRI图像和所述全切片图像的三阴性乳腺癌免疫表型预测结果。
3.根据权利要求1所述的一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法，其特征在于，所述分别将两个所述第一图像序列输入多尺度特征提取模型，以使所述多尺度特征提取模型输出所述全切片图像的第二多尺度特征，具体为：
分别将两个所述第一图像序列输入至线性投影层，得到各所述第一图像序列对应的多个patch token，然后将一个所述第一图像序列对应的多个patch token输入至局部Transformer模块，以使所述局部Transformer模块提取所述第一图像序列中所有所述病理图像的局部感受野特征，同时将另一个所述第一图像序列对应的多个patch token输入至全局Transformer模块，以使所述全局Transformer模块捕获所述第一图像序列中所有所述病理图像的全局信息；
利用各所述多尺度Transformer编码器的第一分支的Class token，与一个所述第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至所述第一分支，同时利用多尺度Transformer编码器的第二分支的Class token，与另一个所述第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至所述第二分支，然后根据所述第一分支和所述第二分支的反投影结果，生成所有所述病理图像的多尺度信息；
将所述局部感受野特征、所述全局信息和所述多尺度信息进行拼接和全局平均池化，并将处理结果输入至全连接层，得到所述全切片图像的所述第二多尺度特征；
其中，所述patch token与所述病理图像一一对应，所述局部Transformer模块包括若干个所述局部Transformer编码器，所述全局Transformer模块包括若干个所述全局Transformer编码器。
4.根据权利要求1所述的一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法，其特征在于，所述对接收到的全切片图像进行预处理，得到两个第一图像序列，具体为：
按照预设的处理顺序和尺寸要求，对接收到的全切片图像进行裁剪处理，得到若干个病理切片，然后对所有所述病理切片进行随机扩充与图像增强，得到多个不同尺度的所述病理图像；
按照各所述病理图像的倍率，将所有所述病理图像划分为两个所述第一图像序列。
5.根据权利要求1所述的一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法，其特征在于，所述对接收到的多参数乳腺MRI图像进行特征学习，得到所述多参数乳腺MRI图像的第一多尺度特征，具体为：
对接收到的所述多参数乳腺MRI图像进行影像组学特征提取，得到对应的影像组学特征提取结果，并对接收到的所述多参数乳腺MRI图像进行深度学习特征提取，得到对应的深度学习特征提取结果；
将所述影像组学特征提取结果和所述深度学习特征提取结果进行融合，得到所述多参数乳腺MRI图像的所述第一多尺度特征；
其中，所述多参数乳腺MRI图像是对不同参数的乳腺MRI图像进行分析处理而得到的。
6.根据权利要求1所述的一种基于多尺度特征的三阴性乳腺癌免疫表型预测方法，其特征在于，还包括：
使用文本编码器，对接收到的临床文本信息进行特征提取，得到对应的临床信息特征；
通过多层感知机结构，对所述临床信息特征和影像病理特征图的组合结果进行分析处理，以输出所述多参数乳腺MRI图像、所述全切片图像和所述临床文本信息对应的三阴性乳腺癌概率图。
7.一种基于多尺度特征的三阴性乳腺癌免疫表型预测系统，其特征在于，包括：
特征学习模块，用于对接收到的多参数乳腺MRI图像进行特征学习，得到所述多参数乳腺MRI图像的第一多尺度特征；
预处理模块，用于对接收到的全切片图像进行预处理，得到两个第一图像序列；其中，所述第一图像序列包括多个不同尺度的病理图像；
特征提取模块，用于分别将两个所述第一图像序列输入多尺度特征提取模型，以使所述多尺度特征提取模型输出所述全切片图像的第二多尺度特征；其中，所述多尺度特征提取模型包括用于提取所述病理图像的局部感受野特征的若干个局部Transformer编码器、用于捕获所述病理图像的全局信息的若干个全局Transformer编码器、以及用于交换两个所述第一图像序列之间的图像信息而得到所述病理图像的多尺度信息的若干个多尺度Transformer编码器；
预测模块，用于对所述第一多尺度特征和所述第二多尺度特征进行融合，得到影像病理特征图，并通过多层感知机结构，对所述影像病理特征图进行分类，以输出所述多参数乳腺MRI图像和所述全切片图像的三阴性乳腺癌免疫表型预测结果。
8.根据权利要求7所述的一种基于多尺度特征的三阴性乳腺癌免疫表型预测系统，其特征在于，所述预测模块，具体包括：
特征融合单元，用于根据所述第一多尺度特征，生成第一输入张量，并根据所述第二多尺度特征，生成第二输入张量，然后对所述第一输入张量和所述第二输入张量进行迭代处理，每次迭代处理时将当前的第一输入张量和当前的第二输入张量输入至Transformer结构，并将所述Transformer结构的当前输出转换为特征映射，然后根据当前的特征映射，更新当前的第一输入张量和当前的第二输入张量，直至迭代次数满足预设次数，则拼接当前的第一输入张量和当前的第二输入张量，得到影像病理特征图；
分类单元，用于通过所述多层感知机结构，对所述影像病理特征图进行分类，以输出所述多参数乳腺MRI图像和所述全切片图像的三阴性乳腺癌免疫表型预测结果。
9.根据权利要求7所述的一种基于多尺度特征的三阴性乳腺癌免疫表型预测系统，其特征在于，所述特征提取模块，具体包括：
特征提取单元，用于分别将两个所述第一图像序列输入至线性投影层，得到各所述第一图像序列对应的多个patch token，然后将一个所述第一图像序列对应的多个patchtoken输入至局部Transformer模块，以使所述局部Transformer模块提取所述第一图像序列中所有所述病理图像的局部感受野特征，同时将另一个所述第一图像序列对应的多个patch token输入至全局Transformer模块，以使所述全局Transformer模块捕获所述第一图像序列中所有所述病理图像的全局信息；利用各所述多尺度Transformer编码器的第一分支的Class token，与一个所述第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至所述第一分支，同时利用多尺度Transformer编码器的第二分支的Class token，与另一个所述第一图像序列对应的多个patch token进行信息交换，并将交换的信息反投影至所述第二分支，然后根据所述第一分支和所述第二分支的反投影结果，生成所有所述病理图像的多尺度信息；其中，所述patch token与所述病理图像一一对应，所述局部Transformer模块包括若干个所述局部Transformer编码器，所述全局Transformer模块包括若干个所述全局Transformer编码器；
拼接处理单元，用于将所述局部感受野特征、所述全局信息和所述多尺度信息进行拼接和全局平均池化，并将处理结果输入至全连接层，得到所述全切片图像的所述第二多尺度特征。
10.如权利要求7所述的一种基于多尺度特征的三阴性乳腺癌免疫表型预测系统，其特征在于，所述预处理模块，具体包括：
图像处理单元，用于按照预设的处理顺序和尺寸要求，对接收到的全切片图像进行裁剪处理，得到若干个病理切片，然后对所有所述病理切片进行随机扩充与图像增强，得到多个不同尺度的所述病理图像；
划分单元，用于按照各所述病理图像的倍率，将所有所述病理图像划分为两个所述第一图像序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080902.6A CN117152506A (zh) | 2023-08-25 | 2023-08-25 | 基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080902.6A CN117152506A (zh) | 2023-08-25 | 2023-08-25 | 基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117152506A true CN117152506A (zh) | 2023-12-01 |
Family
ID=88911207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311080902.6A Pending CN117152506A (zh) | 2023-08-25 | 2023-08-25 | 基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152506A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496323A (zh) * | 2023-12-27 | 2024-02-02 | 泰山学院 | 基于Transformer的多尺度二阶病理图像分类方法及系统 |
-
2023
- 2023-08-25 CN CN202311080902.6A patent/CN117152506A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496323A (zh) * | 2023-12-27 | 2024-02-02 | 泰山学院 | 基于Transformer的多尺度二阶病理图像分类方法及系统 |
| CN117496323B (zh) * | 2023-12-27 | 2024-03-29 | 泰山学院 | 基于Transformer的多尺度二阶病理图像分类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mehmood et al. | Malignancy detection in lung and colon histopathology images using transfer learning with class selective image processing | |
| CN112508850B (zh) | 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法 | |
| CN112116605B (zh) | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 | |
| Moghadam et al. | A morphology focused diffusion probabilistic model for synthesis of histopathology images | |
| JP2021509713A (ja) | 腫瘍を識別するための畳み込みニューラルネットワークを用いた組織像の処理 | |
| Showkatian et al. | Deep learning-based automatic detection of tuberculosis disease in chest X-ray images | |
| Xie et al. | DUDA-Net: A double U-shaped dilated attention network for automatic infection area segmentation in COVID-19 lung CT images | |
| CN117152506A (zh) | 基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统 | |
| Zewdie et al. | Classification of breast cancer types, sub-types and grade from histopathological images using deep learning technique | |
| Maleki et al. | Breast cancer diagnosis from histopathology images using deep neural network and XGBoost | |
| CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
| Lee et al. | Detecting mammographically occult cancer in women with dense breasts using deep convolutional neural network and Radon Cumulative Distribution Transform | |
| JP6559353B2 (ja) | 自動核セグメンテーション | |
| Sandarenu et al. | Survival prediction in triple negative breast cancer using multiple instance learning of histopathological images | |
| Li et al. | Convolutional neural networks for classifying cervical cancer types using histological images | |
| Jartarkar et al. | Artificial intelligence in Dermatopathology | |
| Gasmi et al. | Multi-Input CNN for molecular classification in breast cancer | |
| Huo et al. | Comprehensive AI Model Development for Gleason Grading: From Scanning, Cloud-based Annotation to Pathologist-AI Interaction | |
| Jartarkar | Artificial intelligence: Its role in dermatopathology | |
| Tenali et al. | Oral Cancer Detection using Deep Learning Techniques | |
| Xing et al. | ZooME: Efficient melanoma detection using zoom-in attention and metadata embedding deep neural network | |
| Bouzid-Daho et al. | Multispectral images segmentation for biomedical applications diagnosis: K-means oriented approach | |
| Takateyama et al. | Attention induction for a CT volume classification of COVID-19 | |
| Zaridis et al. | Transi-Net: An Explainable Deep Learning Model Ensemble For Prostate's Transition Zone Segmentation | |
| Kasture et al. | Comparative Analysis of Deep Learning Models for Early Prediction and Subtype Classification of Ovarian Cancer: A Comprehensive Study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |