CN115082743B - 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 - Google Patents
考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 Download PDFInfo
- Publication number
- CN115082743B CN115082743B CN202210980903.5A CN202210980903A CN115082743B CN 115082743 B CN115082743 B CN 115082743B CN 202210980903 A CN202210980903 A CN 202210980903A CN 115082743 B CN115082743 B CN 115082743B
- Authority
- CN
- China
- Prior art keywords
- full
- feature
- small image
- module
- tumor microenvironment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 76
- 230000001575 pathological effect Effects 0.000 title claims abstract description 70
- 238000010276 construction Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000008447 perception Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000003902 lesion Effects 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 55
- 238000000605 extraction Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 11
- 230000003190 augmentative effect Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000007170 pathology Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 abstract 1
- 238000004043 dyeing Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 abstract 1
- 201000011510 cancer Diseases 0.000 description 18
- 238000003745 diagnosis Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 241000282414 Homo sapiens Species 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 208000010507 Adenocarcinoma of Lung Diseases 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 201000005202 lung cancer Diseases 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 206010041823 squamous cell carcinoma Diseases 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 201000005249 lung adenocarcinoma Diseases 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000002246 antineoplastic agent Substances 0.000 description 1
- 229940041181 antineoplastic drug Drugs 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011275 oncology therapy Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法，该方法首先进行全视野数字病理图像的特征提取，随后构建了由肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块和分类层组成的多示例分类网络，实现了对全视野数字病理图像的分类和病灶检测。其中肿瘤微环境感知模块可以建模肿瘤微环境中的拓扑结构信息，使网络学习到的特征具有更高的鲁棒性；深度门控注意力模块和相似度感知模块相结合可以更加准确地赋予每个图像块对应的权重以实现对病灶区域更加精准的检测。还设计了图像增广方法的自监督对比学习任务，减少全视野数字病理图像因染色、成像等因素产生的颜色差异对网络产生影响，且训练过程无需任何标签。
Description
技术领域
本发明涉及医疗图像处理技术领域以及人工智能领域，更具体的，涉及一种考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法。
背景技术
目前，癌症是对人类身体健康和生命安全威胁最大的疾病种类。虽然癌症的患病情况和死亡率在每个地区和国家各不相同，但是由于癌症的复杂性，目前癌症的治疗费用极高，其对发达国家和发展中国家造成的负担都是庞大的。据统计，2020年在全球范围内有近2000万例新发癌症，超1000万人因癌症死亡，然而这个数据还在继续增长。随着全球人口的持续增长，人口老龄化加剧，癌症成为人类预期寿命缩减甚至过早死亡的重要原因。几乎对任何一种癌症来说，如果确诊癌症的时候还处于早期，可以通过口服抗癌药物或者外科手术切除肿瘤，此时的治疗效果显著，且对人体的负担较轻。若癌症发展到中晚期才被确诊，只能通过放射疗法或者化学疗法进行治疗，这种治疗手段对身体的毒副作用极强且收效甚微。因此，癌症的早期诊断是人类应对癌症最重要的武器，癌症的组织学类型与病因、临床治疗、术后表现密切相关，早发现早治疗可以极大的提高病人的生存几率，降低癌症对身体的威胁。
目前，医生通用的癌症筛查手段有很多，一种是计算机断层扫描，但是它只能提供初步的评估，另一种方法是病理诊断，是公认的癌症诊断的“金标准”。医生将人体取出的组织切片通过数字化显微镜和计算机技术制成全视野数字病理图像，然后在全视野数字病理图像上找到病灶区域并分析细胞和细胞间形态得到诊断意见。但是全视野数字病理图像上包含的病灶区域特别小，甚至有些切片会包含多个癌转移，这就要求医生具有扎实的专业功底。然而这种人工诊断受到主观性、差异认知的限制，经验丰富的病理学家也容易出现误诊或漏诊而耽误治疗的黄金时期，此外人工对全视野数字病理图像的分析具有不可复制性、可再现性差及效率低下的缺点。
在大数据时代，医学显像技术和信息技术的迅速发展，图形处理器版本的迭代更新和医疗数据库的建立为通过计算机解决病理诊断扫清障碍，医疗领域与人工智能技术相结合已是大势所趋。深度学习可以挖掘全视野数字病理图像中更深层次的特征信息并进行量化分析，实现端到端的诊断和预测。利用人工智能技术建立计算机辅助诊断系统，实现全视野数字病理图像的诊断和病灶区域检测的自动化，辅助医生提高诊断的效率和准确率。训练后的神经网络模型采用统一的标准检测全视野数字病理图像，减少病理学家们的诊断分歧。
目前基于深度学习的医学全视野数字病理图像分类方法包括监督学习，弱监督学习，自监督学习。在监督学习方法中，图像需经病理学家对病灶区域进行标注后提取该区域送入神经网络进行训练，然而目前公开的医疗图像数据库并不包含病灶区域的标注，该方法需要庞大的标注成本。有学者使用未经病灶区域标注的数据进行训练，这种方法由于无法提取准确的特征，导致准确率低下，无法起到辅助诊断的作用。此外，这两种方法都是将全视野数字病理图像切割成固定尺寸的小图像块来提取特征，然而单一的小图像块没有结合肿瘤微环境信息，往往缺少足够的特征信息，造成分类性能不佳。因此，亟需一种考虑了肿瘤微环境感知且无需大规模病灶区域标注的数据集却具有较高分类精度的全视野数字病理图像分类与病灶区域检测方法。
发明内容
本发明旨在解决现有基于深度学习的全视野数字病理图像分类方法都受制于大量人工精细标注的数据集和小图像块缺少肿瘤微环境信息这一问题，提供一种考虑肿瘤微环境的弱监督全视野数字病理图像分类与病灶检测方法，在大幅减少数据集体量的基础上实现较高的分类准确率和精准的病灶区域检测。
为解决上述技术问题，本发明采用的技术方案如下：
一种考虑肿瘤微环境的全视野数字病理图像分类系统，包括：
数据预处理模块，用于将获取的全视野数字病理图像分割成多个小图像块；
特征提取模块，用于提取每一小图像块对应的特征图m k ，k=1 ,…, K，K表示一张全视野数字病理图像分割得到的小图像块的数量；
肿瘤微环境感知模块，用于将每一小图像块特征图m k 与该小图像块相邻的c圈小图像块对应的特征图进行融合获得融合了肿瘤微环境信息的特征向量g k ；
深度门控注意力模块，用于计算获取每一小图像块的注意力分数a k 并确定关键示例g m ，其中关键示例g m 是注意力分数从大到小排序前m个小图像块对应的特征向量的均值；
相似度感知注意力模块，用于计算获取每一小图像块的特征向量g k 与关键示例g m 之间的相似度分数，并基于相似度分数将全部小图像块对应的特征向量聚合生成slide级别的特征g slide ；
分类模块，用于基于特征g slide 进行分类获得分类结果。
进一步地，所述肿瘤微环境感知模块根据输入的特征图m k 和该图像块周围的特征图，进行维度调整后使用3D卷积操作建模相邻特征之间的拓扑结构关系，之后使用sigmoid激活函数并再次进行维度调整，之后使用shortcut的方式与原始特征图m k 相加，最后经过全连接层将其转换为特征向量，得到融合了肿瘤微环境信息的特征向量g k 。具体包括：
卷积层，用于将与该小图像块相邻的c圈小图像块对应的特征图进行3D卷积融合，获得第一融合特征；
全连接层，用于将第一融合特征与该小图像块对应的特征图m k 相加融合后的特征图转换为特征向量，获得融合了肿瘤微环境信息的特征向量g k 。
进一步地，所述深度门控注意力模块用于根据输入的每一张融合了肿瘤微环境信息的小图像块对应的特征向量g k 计算每一张小图像块的注意力分数，并选取其中分数最高的前m个特征向量求和后取均值得到特征向量g m ，并设定其为关键示例向量。所述计算获取每一小图像块的注意力分数a k 具体为：
其中W a,1,…, W a,4，P a 为可调权重矩阵，σ(∙)表示sigmoid激活函数，tanh(∙)为双曲正切激活函数，⊙表示两个矩阵逐元素相乘。
进一步地，所述相似度感知注意力模块用于将输入的每一张融合了肿瘤微环境信息的小图像块对应的特征向量g k 转化为搜寻向量q k 和信息向量i k ，计算每一张小图像块的搜寻向量与关键示例的搜寻向量之间的相似度分数，并以此作为每张小图像块的最终注意力分数。将所有小图像块的最终注意力分数作为权重，与信息向量加权求和后可以得到slide级别的特征。所述计算获取每一小图像块的特征向量g k 与关键示例g m 之间的相似度分数具体表示如下：
其中，q k 、i k 是由融合了肿瘤微环境信息的特征向量g k 转化得到的搜寻向量和信息向量：
q k = W q (g k ), i k = W i (g k )
其中，W q 和W i 均为权重矩阵，<*>表示两个向量的内积；
slide级别的特征g slide 表示为：
进一步地，所述特征提取模块是一训练好的自监督对比学习网络的特征提取部分，所述自监督对比学习网络无需任何标签，提取输入小图像块的深层特征信息。
进一步地，还包括可视化模块，用于提取所有小图像块在相似度感知注意力模块生成的注意力分数，并生成对应颜色的色块，以一定的透明度覆盖在原始全视野数字病理图像的相同位置，得到病灶区域的检测热图。
进一步地，所述全视野数字病理图像为医学全视野数字病理图像。
一种上述系统的构建方法，包括：
收集全视野数字病理图像，并将每张全视野数字病理图像分割成多个小图像块；
构建数据预处理模块、特征提取模块，并利用特征提取模块提取每一小图像块对应的特征图m k ；将肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类模块组成的多示例分类网络，所述多示例分类网络以每张全视野数字病理图像分割成的多个小图像块对应的特征图作为输入，每张全视野数字病理图像的分类结果作为输出，通过最小化输出与每张全视野数字病理图像的真实标签的损失进行训练，训练完成后固定参数，将数据预处理模块、特征提取模块、肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块组合获得考虑肿瘤微环境的全视野数字病理图像分类系统。
进一步地，所述特征提取模块是一训练好的自监督对比学习网络的特征提取部分，通过如下方法构建获得：
收集全视野数字病理图像，并将每张全视野数字病理图像分割成多个小图像块；
对每一小图像块进行随机裁剪、随机色彩失真和/或随机高斯模糊变换，得到增广图像；
构建自监督对比学习网络，所述自监督对比学习网络以每一小图像块对应的增广图像作为输入，特征图作为输出，通过最小化每一小图像块对应的任意两张增广图像特征图的对比损失函数进行训练，获得训练好的自监督对比学习网络，保留训练好的自监督对比学习网络的特征提取部分即获得特征提取模块。
进一步地，所述自监督对比学习网络的结构为ResNet、DenseNet、AlexNet或GoogLeNet。
进一步地，所述对比损失函数为：
其中， 
，z为自监督对比学习网络输出的特征图，τ为可调节参
数。
与现有技术相比，本发明的有益成果是：
（1）本发明使用自监督对比学习对图像块进行深层特征的提取，该方法无需任何额外的标注信息即可学习到有效的深层特征，大幅降低数据集的要求，减少因数据集匮乏对网络学习的限制。训练自监督对比学习网络的数据没有特定病种或器官的限制，所有疾病种类的全视野数字病理图像都可以作为数据集参与训练，基于此，我们可以采用更加庞大的数据集、选取网络结构更加复杂、层数更深的网络作为自监督对比学习网络的骨架网络，使网络具有更强的泛化能力。此外，该方法避免了神经网络网络的“惰性思维”通过颜色特征直接进行分类诊断，从而实现更加充分的训练以学习到更深层次的组织结构和形态学特征，提升全视野数字病理图像分类的准确性。
（2）本发明设计了一个肿瘤微环境感知模块，该模块可以建模肿瘤微环境中的拓扑结构信息，使每个小图像块的特征不仅包含自身的特征信息，还可以捕获对分类结果有重要意义的肿瘤微环境信息，实现示例信息与组织类型之间的重要形态学特征的交互，学习微环境中的粗粒度与细粒度的结构关系。该模块使网络学习到的特征向量具有更高的鲁棒性。
（3）本发明的分类网络包括深度门控注意力模块和相似度感知注意力模块。深度门控注意力模块用于寻找关键示例，其中以tanh为激活函数的全连接层用于实现权重的初步正负判定，在初步判定正负的基础上通过堆叠以sigmoid为激活函数的全连接层进行深度加深实现权重的最终评分。该结构类似于多重判定，堆叠判定结构可以缓解数据集数据的不确定性，考虑到到堆叠过多的判定结构会引起数值冗余而造成不必要的信息偏差，本发明的深度门控注意力模块经过大量对比实验验证，通过堆叠合适数量的判定结构来达到优化输出的目的。相似度感知注意力模块使用任意示例与关键示例的相似度度量进行注意力评分，使得最终的注意力分数具有更强的鲁棒性与准确性。在双注意力机制下，分类器的有效性得到显著提升，具有更高的应用价值。
（4）本发明的分类网络通过多示例学习进行全视野数字病理图像的分类，分类器无需块级或像素级的标签，仅需图像级病种的标签，减轻了数据收集与标注时的工作量，实现了快速性与便捷性，具有一定的临床价值。
（5）本发明提出了一种新颖的弱监督学习全视野数字病理图像分类与病灶区域检测框架，通过自监督对比学习网络提取全视野数字病理图像的深层特征信息，无需精细标注(像素级标签，示例级标签)。设计了一种肿瘤微环境感知模块，建模并融合每个示例的肿瘤微环境信息，实现微环境中粗粒度与细粒度关系的感知学习。设计了深度门控注意力模块和相似度感知模块进行自适应示例特征聚合，并通过分类层实现全视野数字病理图像的分类。此外，本发明利用相似度感知注意力模块输出的示例级注意力分数实现了病灶区域的可视化，可以辅助用户迅速锁定病灶区域。在该发明中，训练好的模型可以灵活进行大规模部署，将大量候选图像作为输入，自动化分析结果并输出。
（6）本发明将特征提取操作与分类模型分类操作分开，提高了网络的灵活性与普适性，同时避免了端到端训练的大量计算机资源浪费，大幅减少训练时间。
附图说明
图1为本发明一种考虑肿瘤微环境的弱监督全视野数字病理图像分类系统的结构图；
图2为本发明肿瘤微环境感知模块的网络结构图；
图3为一种考虑肿瘤微环境的全视野数字病理图像分类系统的构建方法流程图；
图4为本发明自监督对比学习网络训练的流程图。
具体实施方式
图1为本发明一种考虑肿瘤微环境的弱监督全视野数字病理图像分类系统的结构图。参见图1，具体包括：
（1）数据预处理模块，用于将获取的全视野数字病理图像分割成多个小图像块；
其中，获取的全视野数字病理图像应过滤空白背景和天然空洞，去除对分类的干扰。图像分割采用滑动窗口将获取的全视野数字病理图像切割成尺寸为n×n的小图像块，并保存每个小图像块的坐标，其中n表示小图像块的长和宽。
（2）特征提取模块，用于提取每一小图像块对应的特征图m k ，k=1 ,…, K，K表示一张全视野数字病理图像分割得到的小图像块的数量；
（3）肿瘤微环境感知模块，用于将每一小图像块特征图m k 与该小图像块相邻的c圈小图像块对应的特征图进行融合获得融合了肿瘤微环境信息的特征向量g k ；
图2为一示例性的肿瘤微环境感知模块结构，主要包括卷积层和全连接层，其中：
3D卷积层，用于将与该小图像块相邻的c圈小图像块对应的总计(2c+1)2个特征图进行卷积融合，获得第一融合特征；
全连接层，用于将第一融合特征与该小图像块对应的特征图m k 相加融合后的特征图转换为特征向量，获得融合了肿瘤微环境信息的特征向量g k 。
需要注意的是，为了突出该小图像块对应的特征图m k 的主体地位，需要在全连接层之前通过shortcut的方式将原特征图加回去，第一融合特征应与特征图m k 具有相同的维度，因此，在卷积之前，对(2c+1)2个特征图进行维度调整，由((2c+1)2,C,H,W)调整为(C,(2c+1)2, H,W)；在卷积之后，对卷积的输出（维度为(C, 1, H,W)）使用sigmoid激活函数，并再次进行维度调整，使得最后获得的第一融合特征的维度为(C, H,W)，与特征图m k 对应；其中，C, H,W分别表示通道，高度，宽度。
（4）深度门控注意力模块，用于计算获取每一小图像块的注意力分数a k 并确定关键示例g m ，其中关键示例g m 是注意力分数从大到小排序前m个小图像块对应的特征向量的均值；
每一张小图像块的注意力分数a k 计算如下：
其中W a,1,…, W a,4∈ℝ256×512，P a ∈ℝ1×256为全连接层的权重矩阵，σ(∙)表示sigmoid激活函数，tanh(∙)为双曲正切激活函数，⊙表示两个矩阵逐元素相乘。
（5）相似度感知注意力模块，用于计算获取每一小图像块的特征向量g k 与关键示例g m 之间的相似度分数，并基于相似度分数将全部小图像块对应的特征向量聚合生成slide级别的特征g slide ；
具体地。首先将融合了肿瘤微环境信息的特征向量g k 转化成搜寻向量q k 和信息向量i k ：
q k = W q (g k )
i k = W i (g k )
其中，W q 和W i 均为权重矩阵。
然后计算每一张小图像块的搜寻向量与关键示例的搜寻向量之间的相似度分数U，并以此作为相似度感知模块的注意力分数：
<*>表示两个向量的内积；q m 是关键示例g m 的搜寻向量；
最后将注意力分数作为对应的权重，计算所有信息向量的加权和，聚合生成slide级别的特征g slide ：
（6）分类模块，用于基于特征g slide 进行分类获得分类结果：
其中，softmax（*）表示softmax函数，W是可调权重矩阵。
进一步地，还包括可视化模块，用于提取所有小图像块在相似度感知注意力模块生成的注意力分数，并生成对应颜色的色块，以一定的透明度覆盖在原始全视野数字病理图像的相同位置，经模糊、平滑操作后，得到病灶区域的检测热图。
作为一优选实施方案，所述特征提取模块可以采用一训练好的自监督对比学习网
络的特征提取部分。所述自监督对比学习网络无需任何标签，即可学习到有效的深层特征，
大幅降低数据集的要求，减少因数据集匮乏对网络学习的限制。具体地，利用收集的全视野
数字病理图像训练自监督对比学习网络，获得训练好的自监督对比学习网络的具体步骤
为：取出一个小图像块x进行随机裁剪、随机色彩失真、随机高斯模糊等变换，得到增广图像
和
；增广图像
和
通过两个共享权重的特征提取网络获取图像特征h i 和h j ；图像特征h i 和h j 再通过一个两层的多层感知机映射到128维的隐空间中，得到新的特征表示即特征图z i 和z j ；计算特征表示z i 和z j 的余弦相似度s i,j ，进一步计算其对比损失函数l i,j ；使用随机
梯度下降算法以最小化损失函数为目标来优化网络参数，获得训练好的自监督对比学习网
络。
所述余弦相似度s i,j 和损失函数l i,j 的计算公式为：
其中τ为可调节参数，用于调节余弦相似度的范围，||*||表示计算向量长度。
本发明的分类系统包括深度门控注意力模块和相似度感知注意力模块。深度门控注意力模块用于寻找关键示例，其中以tanh为激活函数的全连接层用于实现权重的初步正负判定，在初步判定正负的基础上通过堆叠以sigmoid为激活函数的全连接层进行深度加深实现权重的最终评分。该结构类似于多重判定，堆叠判定结构可以缓解数据集数据的不确定性，考虑到到堆叠过多的判定结构会引起数值冗余而造成不必要的信息偏差，本发明的深度门控注意力模块经过大量对比实验验证，通过堆叠合适数量的判定结构来达到优化输出的目的。相似度感知注意力模块使用任意示例与关键示例的相似度度量进行注意力评分，使得最终的注意力分数具有更强的鲁棒性与准确性。在双注意力机制下，分类器的有效性得到显著提升，具有更高的应用价值。
与前述一种考虑肿瘤微环境的全视野数字病理图像分类系统的实施例相对应，本发明还提供了一种考虑肿瘤微环境的全视野数字病理图像分类系统的构建方法的实施例。
如图3所示，该方法包括：
收集全视野数字病理图像，并将每张全视野数字病理图像分割成多个小图像块；
构建数据预处理模块、特征提取模块，将肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类模型组成多示例分类网络进行训练，得到训练好的分类网络的具体步骤为：将每张全视野数字病理图像生成的K张小图像块的特征向量m k 输入至分类网络中，使用随机梯度下降算法以最小化损失函数为目标来优化网络参数，获得训练好的多示例分类网络。所述损失函数为多示例分类网络输出的预测结果与样本真实标签的二值交叉熵损失函数。
本发明可适用于各类全视野数字病理图像的分类与病灶区域检测任务，尤其适用于各种医学全视野数字病理图像分类的癌症诊断和病灶检测任务，对于病理科医生来说，本发明可以有效的辅助医生判定整张病理图像所属的癌症类型以及病灶区域的位置。
以下以肺癌亚型诊断（肺腺癌、肺鳞癌的诊断）为目的的全视野数字病理图像分类与病灶检测为例，结合具体实施方法对本发明提出的一种考虑环境感知的弱监督全视野数字病理图像分类系统及其具体的病灶区域检测方法作详细说明。
本发明实施例包括：
训练阶段：
步骤S1：构建肺癌全视野数字病理图像数据集，从开源数据集TCGA和TCIA中收集3431张肺癌全视野数字病理图像，其中肺腺癌1677张，肺鳞癌1754张，两个类别的数据量总体相近，分布均衡。其中取10%进行癌症亚型的标注，肺腺癌标注为0，肺鳞癌标注为1，两个类别标注数量保持相等。值得注意的是，所有图像均为svs格式，且不含任何像素、补丁或ROI级标签；
步骤S2：对所有待分类的全视野数字病理图像进行预处理，具体步骤如下：
步骤S21：对所有全视野数字病理图像进行自动分割，过滤空白背景和天然空洞；
步骤S22：使用滑动窗口将分割后的部分切割成尺寸为256×256的小图像块，并保存每个小图像块的坐标；
步骤S3：使用小图像块训练自监督对比学习网络，图4所示为自监督对比学习网络训练流程图，参见图4，具体步骤如下：
步骤S31：依次取出小图像块x进行随机变换，这里使用随机裁剪、随机颜色失真、随机高级模糊，得到增广图像；
步骤S32：增广图像通过两个共享权重的特征提取网络，本实施例使用ResNet-50作为特征提取网络的骨架网络,获取增广图像块的深层特征h i 和h j ；
步骤S33：将增广图像块的深层特征h i 和h j 送入一个多层感知机，进一步获取新的特征表示z i 和z j ；
步骤S34：通过特征z i 和z j 计算余弦相似度s i,j ：
其中τ为可调节参数，用于调节余弦相似度的范围。
步骤S35：通过余弦相似度进一步计算对比损失函数l i,j ：
步骤S36：使用随机梯度下降算法进行梯度的反向传播，以最小化损失函数为目标来优化网络参数，当损失不再下降时停止训练并保存参数，丢弃ResNet-50的全连接层和多层感知机，得到特征提取模块；
步骤S4：训练由肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类层组成的多示例分类网络，具体步骤如下：
步骤S41：使用标注过肺癌亚型的全视野数字病理图像生成的小图像块送入训练好的自监督对比学习网络，在最后的全连接层前提取对应的特征图m k ，k=1 ,…, K，K表示由一张全视野数字病理图像生成的小图像块的数量；
步骤S42：取出与该小图像块相邻的1圈小图像块对应的总计9个特征图送入肿瘤微环境感知模块，获得融合了肿瘤微环境信息的特征向量g k ；
步骤S43：将融合了肿瘤微环境信息的特征向量g k 送入深度门控注意力模块，计算每一张小图像块的注意力分数a k ，选取分数最高的前8个特征向量求和并取均值得到特征向量g m ，设定g m 为关键示例向量；
步骤S44：将融合了肿瘤微环境信息的特征向量g k 送入相似度感知模块得到小图像块最终的注意力分数，并将其作为权重聚合成slide级别的特征g slide ，最后由分类层得到最后的分类结果prob。
步骤S45：由分类层输出的预测分类结果和真实标签计算二值交叉熵损失函数
其中，y∈{0,1}表示患者的真实类型，在本实施例中，0表示肺腺癌，1表示肺鳞癌。
步骤S46：使用随机梯度下降算法进行梯度的反向传播，以最小化损失函数为目标来优化网络参数，本示例采用Adam优化器，初始学习率设置为0.0001，使用早停法来及时更新并保存参数，运用十折交叉验证确定最佳模型，并以此作为最终训练好的由肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类层组成的多示例分类网络。
应用阶段：
步骤S1：获取患者的肺部全视野数字病理图像，
步骤S2：使用训练时对每幅全视野数字病理图像进行预处理的方法进行预处理获得K张小图像块；
步骤S3：使用训练好的以ResNet-50为骨架的自监督对比学习网络提取每一张小图像块的深度特征m k ；最后输入至训练好的由肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类层组成的多示例分类网络即获得分类结果；
步骤S4：进一步地，利用可视化模块提取相似度感知注意力模块的注意力分数，并生成对应颜色的色块，以一定的透明度覆盖在原始全视野数字病理图像的相同位置，经模糊、平滑操作后，得到病灶检测热图。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种考虑肿瘤微环境的全视野数字病理图像分类系统，其特征在于，包括：
数据预处理模块，用于将获取的全视野数字病理图像分割成多个小图像块；
特征提取模块，用于提取每一小图像块对应的特征图m k ，k=1 ,…, K，K表示一张全视野数字病理图像分割得到的小图像块的数量；
肿瘤微环境感知模块，用于将每一小图像块特征图m k 与该小图像块相邻的c圈小图像块对应的特征图进行融合获得融合了肿瘤微环境信息的特征向量g k ；
深度门控注意力模块，用于计算获取每一小图像块的注意力分数a k 并确定关键示例g m ，其中关键示例g m 是注意力分数从大到小排序前m个小图像块对应的特征向量的均值；
相似度感知注意力模块，用于计算获取每一小图像块的特征向量g k 与关键示例g m 之间的相似度分数，并基于相似度分数将全部小图像块对应的特征向量聚合生成slide级别的特征g slide ；所述计算获取每一小图像块的特征向量g k 与关键示例g m 之间的相似度分数具体为：
其中，q k 是由融合了肿瘤微环境信息的特征向量g k 转化得到的搜寻向量：q k = W q (g k )；
其中，W q 和W i 均为权重矩阵，<*>表示两个向量的内积；
slide级别的特征g slide 表示为：
；
i k 是由融合了肿瘤微环境信息的特征向量g k 转化得到的信息向量：i k = W i (g k )；
分类模块，用于基于特征g slide 进行分类获得分类结果。
2.根据权利要求1所述的系统，其特征在于，所述肿瘤微环境感知模块包括：
3D卷积层，用于将与该小图像块相邻的c圈小图像块对应的特征图进行3D卷积融合，获得第一融合特征；
全连接层，用于将第一融合特征与该小图像块对应的特征图m k 相加融合后的特征图转换为特征向量，获得融合了肿瘤微环境信息的特征向量g k 。
3.根据权利要求1所述的系统，其特征在于，所述计算获取每一小图像块的注意力分数a k 具体为：
其中W a,1,…, W a,4，P a 为可调权重矩阵，σ(∙)表示sigmoid激活函数，tanh(∙)为双曲正切激活函数，⊙表示两个矩阵逐元素相乘。
4.根据权利要求1所述的系统，其特征在于，所述特征提取模块是一训练好的自监督对比学习网络的特征提取部分。
5.根据权利要求1所述的系统，其特征在于，还包括可视化模块，用于提取所有小图像块在相似度感知注意力模块生成的注意力分数，并生成对应颜色的色块，以一定的透明度覆盖在原始全视野数字病理图像的相同位置，得到病灶区域的检测热图。
6.一种权利要求1-5任一项所述系统的构建方法，其特征在于，包括：
收集全视野数字病理图像，并将每张全视野数字病理图像分割成多个小图像块；
构建数据预处理模块、特征提取模块，并利用特征提取模块提取每一小图像块对应的特征图m k ；将肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类模块组成多示例分类网络，所述多示例分类网络以每张全视野数字病理图像分割成的多个小图像块对应的特征图作为输入，每张全视野数字病理图像的分类结果作为输出，通过最小化输出与每张全视野数字病理图像的真实标签的损失进行训练，训练完成后固定参数，将数据预处理模块、特征提取模块、肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块组合获得考虑肿瘤微环境的全视野数字病理图像分类系统。
7.根据权利要求6所述的构建方法，其特征在于，所述特征提取模块是一训练好的自监督对比学习网络的特征提取部分，通过如下方法构建获得：
收集全视野数字病理图像，并将每张全视野数字病理图像分割成多个小图像块；
对每一小图像块进行随机裁剪、随机色彩失真和/或随机高斯模糊变换，得到增广图像；
构建自监督对比学习网络，所述自监督对比学习网络以每一小图像块对应的增广图像作为输入，特征图作为输出，通过最小化每一小图像块对应的任意两张增广图像特征图的对比损失函数进行训练，保留训练好的自监督对比学习网络的特征提取部分即获得特征提取模块。
8.根据权利要求7所述的构建方法，其特征在于，所述自监督对比学习网络的结构为ResNet、DenseNet、AlexNet或GoogLeNet。
9.根据权利要求7所述的构建方法，其特征在于，所述对比损失函数为：
其中， 
，z为自监督对比学习网络输出的特征图，τ为可调节参数。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210980903.5A CN115082743B (zh) | 2022-08-16 | 2022-08-16 | 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 |
| JP2023007952A JP7312510B1 (ja) | 2022-08-16 | 2023-01-23 | 腫瘍微小環境を考慮した全スライド病理画像分類システム及び構築方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210980903.5A CN115082743B (zh) | 2022-08-16 | 2022-08-16 | 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082743A CN115082743A (zh) | 2022-09-20 |
| CN115082743B true CN115082743B (zh) | 2022-12-06 |
Family
ID=83245393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210980903.5A Active CN115082743B (zh) | 2022-08-16 | 2022-08-16 | 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7312510B1 (zh) |
| CN (1) | CN115082743B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746047A (zh) * | 2022-09-21 | 2024-03-22 | 华为技术有限公司 | 一种图像处理方法及其相关设备 |
| CN116936091A (zh) * | 2023-06-09 | 2023-10-24 | 上海全景医学影像诊断中心有限公司 | 一种肝细胞癌微血管侵犯预测方法及模型 |
| CN117314888B (zh) * | 2023-11-02 | 2024-09-17 | 中山大学附属第一医院 | 基于多示例学习和病理图像的克罗恩病检测方法 |
| CN117236650B (zh) * | 2023-11-13 | 2024-03-01 | 山东工泵电机有限公司 | 一种水肥一体化智慧泵房控制方法 |
| CN117392468B (zh) * | 2023-12-11 | 2024-02-13 | 山东大学 | 基于多示例学习的癌症病理图像分类系统、介质及设备 |
| CN118334349A (zh) * | 2024-05-15 | 2024-07-12 | 佛山市第一人民医院 | 一种医学图像分割方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007049282A2 (en) * | 2005-10-26 | 2007-05-03 | Cortica Ltd. | A computing device, a system and a method for parallel processing of data streams |
| CN110310253A (zh) * | 2019-05-09 | 2019-10-08 | 杭州迪英加科技有限公司 | 数字切片分类方法和装置 |
| CN111709929A (zh) * | 2020-06-15 | 2020-09-25 | 北京航空航天大学 | 一种肺部癌变区域分割与分类检测系统 |
| CN112084930A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种全视野数字病理切片的病灶区域分类方法及其系统 |
| CN112259223A (zh) * | 2020-10-22 | 2021-01-22 | 河北工业大学 | 基于全视野数字切片的病人级别肿瘤智能诊断方法 |
| CN113449785A (zh) * | 2021-06-18 | 2021-09-28 | 浙江大学 | 基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法 |
| CN113538422A (zh) * | 2021-09-13 | 2021-10-22 | 之江实验室 | 一种基于染色强度矩阵的病理图像自动分类方法 |
| CN113963261A (zh) * | 2021-10-27 | 2022-01-21 | 长光卫星技术有限公司 | 基于多尺度融合的全卷积神经网络耕地提取方法及系统 |
| CN114239756A (zh) * | 2022-02-25 | 2022-03-25 | 科大天工智能装备技术（天津）有限公司 | 一种虫害检测方法及系统 |
| CN114462520A (zh) * | 2022-01-25 | 2022-05-10 | 北京工业大学 | 一种基于流量分类的网络入侵检测方法 |
| CN114463209A (zh) * | 2022-01-25 | 2022-05-10 | 广州大学 | 一种基于深度多特征协同学习的图像修复方法 |
| CN114565593A (zh) * | 2022-03-04 | 2022-05-31 | 杭州电子科技大学 | 基于半监督和注意力的全视野数字图像分类与检测方法 |
| CN114708258A (zh) * | 2022-05-20 | 2022-07-05 | 北京至真互联网技术有限公司 | 一种基于动态加权注意力机制的眼底图像检测方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022534157A (ja) | 2019-05-29 | 2022-07-28 | ライカ バイオシステムズ イメージング インコーポレイテッド | 組織学的画像および術後腫瘍辺縁評価における腫瘍のコンピュータ支援レビュー |
| US11410275B2 (en) * | 2019-09-23 | 2022-08-09 | Tencent America LLC | Video coding for machine (VCM) based system and method for video super resolution (SR) |
| CN111488921B (zh) * | 2020-03-30 | 2023-06-16 | 中国科学院深圳先进技术研究院 | 一种全景数字病理图像智能分析系统及方法 |
| US20220156592A1 (en) * | 2020-11-16 | 2022-05-19 | Salesforce.Com, Inc. | Systems and methods for contrastive attention-supervised tuning |
| CN114743195B (zh) | 2022-04-13 | 2022-12-09 | 赛维森(广州)医疗科技服务有限公司 | 甲状腺细胞病理数字图像识别器训练方法、图像处理方法 |
| CN114841979B (zh) * | 2022-05-18 | 2024-10-01 | 大连理工大学人工智能大连研究院 | 一种多尺度融合注意力的深度学习癌症分子分型预测方法 |
-
2022
- 2022-08-16 CN CN202210980903.5A patent/CN115082743B/zh active Active
-
2023
- 2023-01-23 JP JP2023007952A patent/JP7312510B1/ja active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007049282A2 (en) * | 2005-10-26 | 2007-05-03 | Cortica Ltd. | A computing device, a system and a method for parallel processing of data streams |
| CN110310253A (zh) * | 2019-05-09 | 2019-10-08 | 杭州迪英加科技有限公司 | 数字切片分类方法和装置 |
| CN111709929A (zh) * | 2020-06-15 | 2020-09-25 | 北京航空航天大学 | 一种肺部癌变区域分割与分类检测系统 |
| CN112084930A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种全视野数字病理切片的病灶区域分类方法及其系统 |
| CN112259223A (zh) * | 2020-10-22 | 2021-01-22 | 河北工业大学 | 基于全视野数字切片的病人级别肿瘤智能诊断方法 |
| CN113449785A (zh) * | 2021-06-18 | 2021-09-28 | 浙江大学 | 基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法 |
| CN113538422A (zh) * | 2021-09-13 | 2021-10-22 | 之江实验室 | 一种基于染色强度矩阵的病理图像自动分类方法 |
| CN113963261A (zh) * | 2021-10-27 | 2022-01-21 | 长光卫星技术有限公司 | 基于多尺度融合的全卷积神经网络耕地提取方法及系统 |
| CN114462520A (zh) * | 2022-01-25 | 2022-05-10 | 北京工业大学 | 一种基于流量分类的网络入侵检测方法 |
| CN114463209A (zh) * | 2022-01-25 | 2022-05-10 | 广州大学 | 一种基于深度多特征协同学习的图像修复方法 |
| CN114239756A (zh) * | 2022-02-25 | 2022-03-25 | 科大天工智能装备技术（天津）有限公司 | 一种虫害检测方法及系统 |
| CN114565593A (zh) * | 2022-03-04 | 2022-05-31 | 杭州电子科技大学 | 基于半监督和注意力的全视野数字图像分类与检测方法 |
| CN114708258A (zh) * | 2022-05-20 | 2022-07-05 | 北京至真互联网技术有限公司 | 一种基于动态加权注意力机制的眼底图像检测方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| A Novel Breast Image Preprocessing For Full Field Digital Mammographic Segmentation and Risk Classification;Wenda He 等;《MIUA 2014》;20141231;第79-84页 * |
| AnatomyNet: Deep Learning for Fast and Fully Automated Whole-volume Segmentation of Head and Neck Anatomy;Zhu Wentao 等;《Medical Physics》;20191231;第46卷(第2期);第576-589页 * |
| One Spatio-Temporal Sharpening Attention Mechanism for Light-Weight TOLO Models Based on Sharpening Spatial Attention;Mengfan Xue 等;《Sensors》;20211128;第21卷(第23期);第1-16页 * |
| 基于注意力门控图神经网络的文本分类;邓朝阳;《计算机科学》;20220630;第49卷(第6期);第326-334页 * |
| 基于生成对抗网络的病理图像分析及应用;李俊薇;《中国优秀硕士学位论文全文数据库 医学卫生科技辑》;20210715;第2021年卷(第07期);第E072-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024027079A (ja) | 2024-02-29 |
| JP7312510B1 (ja) | 2023-07-21 |
| CN115082743A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115082743B (zh) | 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| Xue et al. | An application of transfer learning and ensemble learning techniques for cervical histopathology image classification | |
| Jiao et al. | A deep feature based framework for breast masses classification | |
| Liu et al. | Joint optic disc and cup segmentation using semi-supervised conditional GANs | |
| US20170249739A1 (en) | Computer analysis of mammograms | |
| Xie et al. | Computer‐Aided System for the Detection of Multicategory Pulmonary Tuberculosis in Radiographs | |
| Dabass et al. | A convolution neural network with multi-level convolutional and attention learning for classification of cancer grades and tissue structures in colon histopathological images | |
| He et al. | Deep learning powers cancer diagnosis in digital pathology | |
| Cai et al. | A robust interclass and intraclass loss function for deep learning based tongue segmentation | |
| Chen et al. | Automatic whole slide pathology image diagnosis framework via unit stochastic selection and attention fusion | |
| Liu et al. | Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement | |
| Kumar et al. | Optimization driven model and segmentation network for skin cancer detection | |
| Meng et al. | Clinical applications of graph neural networks in computational histopathology: A review | |
| Sahoo et al. | A comparative analysis of PGGAN with other data augmentation technique for brain tumor classification | |
| Tang et al. | Lesion segmentation and RECIST diameter prediction via click-driven attention and dual-path connection | |
| Zhang et al. | Fully multi-target segmentation for breast ultrasound image based on fully convolutional network | |
| Khachnaoui et al. | Deep learning for automatic pulmonary embolism identification using CTA images | |
| Xu et al. | Identification of benign and malignant lung nodules in CT images based on ensemble learning method | |
| CN115147636A (zh) | 基于胸部x光图像肺部疾病识别和分类方法 | |
| Prasath Alias Surendhar et al. | Ensemble Feature Extraction with Classification Integrated with Mask RCNN Architecture in Breast Cancer Detection Based on Deep Learning Techniques | |
| Krishnakumar et al. | Optimal trained deep learning model for breast cancer segmentation and classification | |
| Krishna et al. | Optimization empowered hierarchical residual VGGNet19 network for multi-class brain tumour classification | |
| Cao et al. | 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans | |
| Pavithra et al. | An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |