CN117422911B - 一种协同学习驱动的多类别全切片数字病理图像分类系统 - Google Patents
一种协同学习驱动的多类别全切片数字病理图像分类系统 Download PDFInfo
- Publication number
- CN117422911B CN117422911B CN202311366788.3A CN202311366788A CN117422911B CN 117422911 B CN117422911 B CN 117422911B CN 202311366788 A CN202311366788 A CN 202311366788A CN 117422911 B CN117422911 B CN 117422911B
- Authority
- CN
- China
- Prior art keywords
- class
- image
- classification
- patch
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000007170 pathology Effects 0.000 claims abstract description 26
- 238000010586 diagram Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 230000004913 activation Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 239000010410 layer Substances 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 230000002195 synergetic effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 239000011229 interlayer Substances 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 abstract description 5
- 210000001519 tissue Anatomy 0.000 description 14
- 238000003745 diagnosis Methods 0.000 description 4
- 208000037396 Intraductal Noninfiltrating Carcinoma Diseases 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 206010006256 Breast hyperplasia Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010073094 Intraductal proliferative breast lesion Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000028715 ductal breast carcinoma in situ Diseases 0.000 description 1
- 201000007273 ductal carcinoma in situ Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000024312 invasive carcinoma Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种协同学习驱动的多类别全切片数字病理图像分类系统，它属于医学图像分析技术领域。本发明解决了现有方法仅关注二分类且无法捕捉类相关语义信息的问题。本发明首先获取待分类的全切片数字病理图像，再对图像进行预处理，获取前景组织区域图像并将前景组织区域图像分割为子图像补丁；对子图像补丁进行编码，根据编码结果得到补丁特征令牌；设置分类令牌，根据补丁特征令牌和分类令牌进行计算，再根据计算结果生成类激活图，并根据类激活图得到类别的热力图。本发明可以应用于数字病理图像分类。
Description
技术领域
本发明属于医学图像分析技术领域，具体涉及一种协同学习驱动的多类别全切片数字病理图像分类系统。
背景技术
全切片数字病理图像分析在现代医学诊断中起着至关重要的作用。全切片数字病理图像分析技术不仅改变了传统显微镜下病理诊断的局限性，还为大规模数据分析和自动化诊断提供了新的可能性。全切片图像(Whole Slide Images,WSIs)通常包含大量的信息和细节，这些信息对于准确诊断和疾病分期至关重要。例如，全切片图像能够展示肿瘤细胞的形态、大小、数量以及与周围组织的相互作用，这些都是传统病理学无法或难以捕捉的。
近年来，基于深度学习的全切片数字病理图像分析方法取得了快速的进展，在各种应用场景中表现出色。然而当前的方法存在以下两方面问题：
(1)通常只关注阴性/阳性、是否含有肿瘤等二分类任务，然而多分类任务广泛存在，如前列腺癌分级(ISUP评级从0到5)、乳腺癌分型(正常、病理性良性、常见导管增生、扁平上皮异型性、非典型导管增生、导管原位癌和浸润性癌)等；
(2)目前基于自注意力机制及其变体的方法通常只使用一个与类别无关的分类令牌来捕捉不同类别的信息，可能无法学习多个不同类别的语义信息。
综上所述，现有方法存在着仅关注二分类问题，且无法捕捉类相关语义信息的不足，提出一种新的全切片数字病理图像分析方法是十分必要的。
发明内容
本发明的目的是为解决现有方法仅关注二分类且无法捕捉类相关语义信息的问题，而提出了一种协同学习驱动的多类别全切片数字病理图像分类系统。
本发明为解决上述技术问题所采取的技术方案是：一种协同学习驱动的多类别全切片数字病理图像分类系统，所述系统包括全切片数字病理图像获取模块、图像预处理模块、特征提取模块和协同学习模型，其中：
所述全切片数字病理图像获取模块用于获取待分类的全切片数字病理图像；
所述图像预处理模块用于对待分类的全切片数字病理图像进行预处理，获得全切片数字病理图像中的前景组织区域，并通过格栅化方法将前景组织区域图像分割为子图像补丁；
所述特征提取模块用于对子图像补丁进行编码，根据编码结果得到补丁特征令牌Xp，其中，/>为实数，N×D为补丁特征令牌的维度；
所述协同学习模型包括类特定分类令牌、协同学习子模块、类引导定位子模块；
所述类特定分类令牌用于为分类任务的每一个类别分别设置一个的分类令牌，对于一个包含C个类别的分类任务，将全部C个类别的分类令牌组成的矩阵记为
所述协同学习子模块用于根据Xp和Xc进行计算；
所述类引导定位子模块用于根据协同学习子模块的计算结果生成类激活图并根据类激活图得到类别的热力图；
所述生成类激活图的具体过程为：
步骤1、将从二维映射为三维矩阵/>N＝n×n；
步骤2、将与/>进行矩阵乘法，获得/>
步骤3、对进行1×1卷积，获得/>
进一步地，所述特征提取模块的工作过程为：
分别对每个子图像补丁进行编码，即利用预训练模型将每个子图像补丁编码为特征向量，再将全部子图像补丁对应的特征向量进行拼接，得到全切片数字病理图像的补丁特征令牌
进一步地，所述前景组织区域采用Otsu方法获得。
进一步地，所述预训练模型是通过ImageNet或病理图像预训练的模型。
进一步地，所述协同学习子模块的工作过程为：
步骤一、将Xp初始化为将Xc初始化为/>并初始化l＝0；
步骤二、通过线性层将映射为/>和/> 是/>映射到Value空间的特征，/>是/>映射到Key或Query空间的特征；
通过线性层将映射为/>和/> 是/>映射到Value空间的特征，/>是/>映射到Query或Key空间的特征；
步骤三、计算和/>之间的点乘注意力，获得协同图/>
其中，上角标T代表转置，协同图dinner为中间层特征维度；
步骤四、在协同图的维度1上计算Softmax，获得补丁对类注意力图/>对协同图/>进行转置后，在维度1上计算Softmax获得类对补丁注意力图/>
步骤五、与/>进行矩阵乘法后，将相乘结果经过线性层获得/>
其中，FFN为线性层；
步骤六、与/>进行矩阵乘法后，将相乘结果经过线性层获得/>
步骤七、根据获得/>根据/>获得/>
步骤八、判断l是否等于L-1，L为协同学习子模块的层数；
若l＝L-1，则结束；
否则，令l＝l+1，再返回执行步骤二。
进一步地，所述步骤七的实现方法为下列的(1)或(2)：
(1)：直接将作为/>将/>作为/>
(2)：将和/>的加和作为/>将/>和/>的加和作为/>
进一步地，所述根据类激活图得到类别的热力图的具体过程为：
步骤①、将映射回N×C维度，将映射结果记为/>
步骤②、若特征提取模块进行过填充，则去除填充补丁后得到若特征提取模块未进行过填充，则/>直接为/>
步骤③、将中的所有分数映射到0～1的区间，将映射结果记为/>
步骤④、将映射到对应的补丁坐标上，得到类别的热力图。
进一步地，所述协同学习模型的训练过程为：
获取全切片数字病理图像数据集，并对每个全切片数字病理图像的类别进行标注，再将标注后的全切片数字病理图像划分为训练集、验证集和测试集三部分；
对每个全切片数字病理图像进行预处理，分别获得每个全切片数字病理图像中的前景组织区域，并通过格栅化方法将前景组织区域图像分割为子图像补丁；
对于任意一个全切片数字病理图像，将该图像对应的子图像补丁进行编码，得到补丁特征令牌
利用协同学习模型的类特定分类令牌为分类任务中的每个类别分别设置一个的分类令牌，对于一个包含C个类别的分类任务，将全部C个类别的分类令牌组成的矩阵记为
将Xp和Xc作为协同学习子模块的输入，将协同学习子模块的输出作为类引导定位子模块的输入，根据协同学习子模块和类引导定位子模块的输出计算损失函数，直至达到训练停止条件时获得训练好的协同学习模型。
进一步地，所述损失函数为：
Ltotal＝wclsLcls+wconLcon+wsynLsyn
其中，Lcls是分类损失，Lcon是补丁-类一致性损失，Lsyn是类-补丁协同损失，wcls、wcon和wsyn为权重；
分类损失Lcls的计算方法为：
对进行池化获得/>ycls与标注的标签y计算交叉熵损失，获得分类损失Lcls：
其中，yi是标签y中第i个分类类别，pi是ycls中第i个分类类别的概率；
补丁-类一致性损失Lcon的计算方法为：
对进行卷积获得/>再对/>进行池化获得/>ycon与多分类标签y计算交叉熵损失，获得补丁-类一致性损失Lcon：
其中，yi是标签y中第i个分类类别，p′i是ycon中第i个分类类别的概率；
所述类-补丁协同损失Lsyn的计算方法为：
对进行池化获得/>ysyn与多分类标签y计算交叉熵损失，获得类-补丁协同损失Lsyn：
其中，yi是标签y中第i个分类类别，p″i是ysyn中第i个分类类别的概率。
更进一步地，所述权重wcls、wcon和wsyn的计算方式为：
步骤1)、将Lcls、Lcon和Lsyn分别简记为L1、L2和L3，计算Li的损失梯度并进行L2正则化：
其中，i＝1，2，3；θk是协同学习模型的第k个参数；
步骤2)、对gi进行指数变换：
其中，α是超参数，wi ′是指数变换结果，e是自然对数的底数；
步骤3)、将权重wcks、wcon和wsyn分别简记为wi、w2和w3，对wi ′归一化：
本发明的有益效果是：
本发明通过引入多个特定于类别的令牌，极大地提高了处理多类别全切片病理图像分类任务的能力。这种设计不仅能有效地学习与各个类别相关的复杂信息，还能提高模型在多类别诊断场景下的准确性和鲁棒性。通过类别令牌和补丁令牌之间的协同学习，能够有效且协同地计算这两种令牌之间的相关性。大大减少了计算量需求，使得本发明方法即使在处理大规模、高分辨率的全切片图像时也能保持高效运行。
同时，本发明构建多损失来协同优化，能够和谐地管理多个损失函数，避免了它们之间的冲突和干扰，确保了模型能够学习到更多具有类别区分性的特征，从而提高了模型在复杂医学图像分析任务中的性能。由于本发明方法能够更有效地捕捉到与各个类别相关的特征，因此能够提高对病理图像的诊断准确性，这对于临床应用和研究具有重要意义。
附图说明
图1为本发明系统的结构示意图；
图2为本发明系统的计算流程图；
图3为类别-补丁协同学习子模块的计算流程图；
图4为不同类别分类令牌对不同类别切片的类激活图。
具体实施方式
具体实施方式一、结合图1、图2和图3说明本实施方式。本实施方式所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，所述系统包括全切片数字病理图像获取模块、图像预处理模块、特征提取模块和协同学习模型，其中：
所述全切片数字病理图像获取模块用于获取待分类的全切片数字病理图像；
所述图像预处理模块用于对待分类的全切片数字病理图像进行预处理，获得全切片数字病理图像中的前景组织区域，并通过格栅化方法将前景组织区域图像分割为子图像补丁；
所述特征提取模块用于对子图像补丁进行编码，根据编码结果得到补丁特征令牌Xp，其中，/>为实数，N×D为补丁特征令牌的维度；
若子图像补丁的总数量是平方数(根据实际情况，可知子图像补丁总数量一定是整数)，则直接将各个子图像补丁对应的编码结果进行拼接得到补丁特征令牌，此时N为子图像补丁数量，D为特征维度；若子图像补丁的总数量不是平方数，则将各个子图像补丁对应的编码结果进行拼接后，利用拼接结果末尾的元素对拼接结果进行填充，填充后得到补丁特征令牌Xp，N是大于子图像补丁数的最小平方数；
所述协同学习模型包括类特定分类令牌、协同学习子模块、类引导定位子模块；
所述类特定分类令牌用于为分类任务的每一个类别分别设置一个的分类令牌，对于一个包含C个类别的分类任务，将全部C个类别的分类令牌组成的矩阵记为
所述协同学习子模块用于根据Xp和Xc进行计算，使它们能够相互增强和提炼特征信息，获得更丰富的表征；
所述类引导定位子模块用于根据协同学习子模块的计算结果生成类激活图并根据类激活图得到类别的热力图；
所述生成类激活图的具体过程为：
步骤1、将从二维映射为三维矩阵/>N＝n×n；
步骤2、将与/>进行矩阵乘法，获得/>
步骤3、对进行1×1卷积，获得/>
类别-补丁协同学习模块通过协同式地使类特定分类令牌与补丁特征令牌之间进行知识传播，使得每个分类令牌学习各个类别相关的信息，并使每个补丁特征令牌隐式地对学习相关关系。类引导定位模块显式地使用类特定分类令牌引导补丁特征图生成类相关激活图。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述特征提取模块的工作过程为：
分别对每个子图像补丁进行编码，即利用预训练模型将每个子图像补丁编码为高维特征向量，再将全部子图像补丁对应的特征向量进行拼接，得到全切片数字病理图像的补丁特征令牌
其它步骤及参数与具体实施方式一相同。
本实施方式通过格栅化方法，以一定步长、尺寸将切片中的前景组织区域划分为小的子图像补丁。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述前景组织区域采用Otsu方法获得。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述预训练模型是通过ImageNet或病理图像预训练的模型。
其它步骤及参数与具体实施方式一至三之一相同。
预训练的模型包括但不限于ResNet、ViT模型。
具体实施方式五：结合图3说明本实施方式。本实施方式与具体实施方式一至四之一不同的是，所述协同学习子模块的工作过程为：
步骤一、将Xp初始化为将Xc初始化为/>并初始化l＝0；
步骤二、通过线性层将映射为/>和/> 是/>映射到Value空间的特征，/>是/>映射到Key或Query空间的特征；
通过线性层将映射为/>和/> 是/>映射到Value空间的特征，/>是/>映射到Query或Key空间的特征；
需要说明的是，当是/>映射到Key空间的特征时，/>应为/>映射到Query空间的特征，当/>是/>映射到Query空间的特征时，/>应为/>映射到Key空间的特征；
步骤三、计算和/>之间的点乘注意力，获得协同图/>
其中，上角标T代表转置，协同图dinner为中间层特征维度；
步骤四、在协同图的维度1(即N所在的维度)上计算Softmax，获得补丁对类注意力图/>对协同图/>进行转置后，在维度1(即C所在的维度)上计算Softmax获得类对补丁注意力图/>
步骤五、与/>进行矩阵乘法后，将相乘结果经过线性层获得/>
其中，FFN为线性层；
步骤六、与/>进行矩阵乘法后，将相乘结果经过线性层获得/>
步骤七、根据获得/>根据/>获得/>
步骤八、判断l是否等于L-1，L为协同学习子模块的层数；
若l＝L-1，则结束；
否则，令l＝l+1，再返回执行步骤二。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤七的实现方法为下列的(1)或(2)：
(1)：直接将作为/>将/>作为/>
(2)：将和/>的加和作为/>将/>和/>的加和作为/>
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述根据类激活图得到类别的热力图的具体过程为：
步骤①、将映射回N×C维度，将映射结果记为/>
步骤②、若特征提取模块进行过填充，则去除填充补丁后得到若特征提取模块未进行过填充，则/>直接为/>
步骤③、将中的所有分数映射到0～1的区间，将映射结果记为/>
步骤④、将映射到对应的补丁坐标上，得到类别的热力图。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述协同学习模型的训练过程为：
获取全切片数字病理图像数据集，并对每个全切片数字病理图像的类别进行标注，再将标注后的全切片数字病理图像划分为训练集、验证集和测试集三部分；
对每个全切片数字病理图像进行预处理，分别获得每个全切片数字病理图像中的前景组织区域，并通过格栅化方法将前景组织区域图像分割为子图像补丁；
对于任意一个全切片数字病理图像，将该图像对应的子图像补丁进行编码，得到补丁特征令牌
其中，N为一个可开平方根的整数，不满足可开平方根时将进行填充，记
利用协同学习模型的类特定分类令牌为分类任务中的每个类别分别设置一个的分类令牌，对于一个包含C个类别的分类任务，将全部C个类别的分类令牌组成的矩阵记为
将Xp和Xc作为协同学习子模块的输入，将协同学习子模块的输出作为类引导定位子模块的输入，根据协同学习子模块和类引导定位子模块的输出计算损失函数，直至达到训练停止条件时获得训练好的协同学习模型。
其它步骤及参数与具体实施方式一至七之一相同。
本发明中的训练停止条件为：
(1)采用EarlyStopping策略，如果验证集损失在指定epoch内不再下降；
(2)达到预设最大epoch。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述损失函数为：
Ltotal＝wclsLcls+wconLcon+wsynLsyn
其中，Lcls是分类损失，Lcon是补丁-类一致性损失，Lsyn是类-补丁协同损失，wcls、wcon和wsyn为权重；
分类损失Lcls的计算方法为：
对进行池化获得/>ycls与GroundTruth标注的标签y计算交叉熵损失，获得分类损失Lcls：
其中，yi是标签y中第i个分类类别，pi是ycls中第i个分类类别的概率；
补丁-类一致性损失Lcon的计算方法为：
对进行卷积获得/>再对/>进行池化获得/>ycon与GroundTruth多分类标签y计算交叉熵损失，获得补丁-类一致性损失Lcon：
其中，yi是标签y中第i个分类类别，p′i是ycon中第i个分类类别的概率；
所述类-补丁协同损失Lsyn的计算方法为：
对进行池化获得/>ysyn与GroundTruth多分类标签y计算交叉熵损失，获得类-补丁协同损失Lsyn：
其中，yi是标签y中第i个分类类别，p″i是ysyn中第i个分类类别的概率。
其它步骤及参数与具体实施方式一至八之一相同。
本实施方式中的卷积指的是进行输入通道为D、输出通道为C的任意大小卷积核的卷积。池化方法采用平均池化或全局加权排名池化等方式。
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，所述权重wcls、wcon和wsyn的计算方式为：
步骤1)、将Lcls、Lcon和Lsyn分别简记为L1、L2和L3，计算Li的损失梯度并进行L2正则化：
其中，i＝1，2，3；θk是协同学习模型的第k个参数；
步骤2)、为了保证可调节性，对gi进行指数变换：
其中，α是决定权重对梯度幅度敏感性的超参数，wi ′是指数变换结果，e是自然对数的底数；
步骤3)、将权重wcls、wcon和wsyn分别简记为wi、w2和w3，对wi ′归一化：
其它步骤及参数与具体实施方式一至九之一相同。
实施例
基于本发明所述的一种协同学习驱动的多类别全切片数字病理图像分类系统的分类方法，包括以下步骤：
步骤S1、获得一系列多类别全切片数字病理图像及多类别标注，并将所有数据按0.7:0.15:0.15划分为训练集、验证集和测试集；
步骤S2、对步骤S1中每张切片进行预处理，获得前景组织区域，并通过格栅化方法以256像素的步长和大小，分割为256×256的子图像补丁；
步骤S3、将每个子图像补丁调整为224×224大小，并通过ImageNet预训练的ResNet50模型将步骤S2中获得的每个子图像补丁编码为高维特征向量，同时将每张切片对应的所有子图像补丁特征拼接成单个补丁特征令牌其中R为补丁数量，每个切片的补丁数量不同，特征维度D为1024。同时如果N开根号不为整数，则将使用Xp末尾的元素进行填充。
步骤S4、构建协同学习模型，如图1和图2所示，该模型包含以下部分：
类特定分类令牌：为每个类别分别设置一个单独的分类令牌，对于7个类别的分类任务，该令牌为
类别-补丁协同学习模块：该模块通过协同式地使类特定分类令牌与补丁特征令牌之间进行知识传播，使得每个分类令牌学习各个类别相关的信息，并使每个补丁特征令牌隐式地对学习相关关系，该模块结构图如图3所示。
类引导定位模块：该部分显式地使用类特定分类令牌引导补丁特征图生成类相关激活图；
多损失协同优化模块：该模块包括分类损失、补丁-类一致性损失和类-补丁协同损失的相关计算，并通过梯度信息动态调整各个损失的权重。
构建类特定分类令牌Xc后，将Xc与Xp输入第1层类别-补丁协同学习模块，模块计算流程如下：
步骤S41、通过线性层将映射为/>和/>
步骤S42、通过线性层将映射为/>和/>
步骤S43、计算和/>之间的点乘注意力，获得协同图/>其中dinner为中间层特征维度；
步骤S44、在协同图的维度1上计算Softmax获得补丁对类注意力图/>
步骤S45、对协同图进行转置并在维度1上计算Softmax获得类对补丁注意力图/>
步骤S46、与/>进行矩阵乘法，并经过线性层获得/>
步骤S47、与/>进行矩阵乘法，并经过线性层获得/>
模型共包含3层类别-补丁协同学习模块，重复进行3次步骤S41-S47，然后进行如下计算：
步骤S48、将从二维N×D映射为三维矩阵n×n×D，其中N＝n×n；
步骤S49、与/>进行矩阵乘法获得/>
步骤S410、对进行1×1卷积，获得/>
步骤S411、对进行最大池化获得/>与GroundTruth多分类标签y计算交叉熵损失，获得分类损失Lcls；
其中yi是y第i个分类类别，pi是ycls中第i个分类类别的概率。
步骤S412、对进行卷积获得/>再进行最大池化获得与GroundTruth多分类标签y计算交叉熵损失，获得补丁-类一致性损失Lcon；
其中yi是y第i个分类类别，pi是ycon中第i个分类类别的概率。
步骤S413、对进行最大池化获得/>与GroundTruth多分类标签y计算交叉熵损失，获得类-补丁协同损失Lsyn；
/>
其中yi是y第i个分类类别，pi是ysyn中第i个分类类别的概率。
步骤S414、对三个损失函数进行加权平均，获得总的损失Ltotal。
步骤S415、分别简记Lcls、Lcon和Lsyn为L1、L2和L3，计算以上损失梯度，并进行L2正则化：其中i为1，2，3。
步骤S416、为了保证可调节性，对gi进行指数变换：其中α是决定权重对梯度幅度敏感性的超参数，α的值可根据任务设置，此处为0.01；
步骤S417、对所有w′i归一化：
步骤S418、进行加权求和：Ltotal＝wclsLcls+wconLcon+wsynLsyn
需要说明的是，步骤S411、S412和S413的池化方法采用平均池化或全局加权排名池化等方式。
步骤S5、使用步骤S1中划分的训练数据对协同学习模型进行训练，直至步骤S1中的验证集的loss连续10个epoch不再下降，后者达到100个epoch；
步骤S6、使用步骤S2中划分的测试数据对步骤S2获得的协同学习模型进行切片分类测试，同时从其类引导定位模块获得每个分类类别的类激活图。
步骤S61、获得将其映射回N×7，记为/>
步骤S62、如果进行了填充，去除填充补丁，仍记为
步骤S63、将中的所有分数映射到0～1的区间，仍记为/>
步骤S64、将映射到对应补丁坐标上，进行可视化。如图4为不同分类令牌对不同类别切片的热力图。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (9)
1.一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述系统包括全切片数字病理图像获取模块、图像预处理模块、特征提取模块和协同学习模型，其中：
所述全切片数字病理图像获取模块用于获取待分类的全切片数字病理图像；
所述图像预处理模块用于对待分类的全切片数字病理图像进行预处理，获得全切片数字病理图像中的前景组织区域，并通过格栅化方法将前景组织区域图像分割为子图像补丁；
所述特征提取模块用于对子图像补丁进行编码，根据编码结果得到补丁特征令牌Xp，其中，/>为实数，N×D为补丁特征令牌的维度；
所述协同学习模型包括类特定分类令牌、协同学习子模块、类引导定位子模块；
所述类特定分类令牌用于为分类任务的每一个类别分别设置一个的分类令牌，对于一个包含C个类别的分类任务，将全部C个类别的分类令牌组成的矩阵记为
所述协同学习子模块用于根据Xp和Xc进行计算；
所述协同学习子模块的工作过程为：
步骤一、将Xp初始化为将Xc初始化为/>并初始化l＝0；
步骤二、通过线性层将映射为/>和/> 是/>映射到Value空间的特征，/>是/>映射到Key或Query空间的特征；
通过线性层将映射为/>和/> 是/>映射到Value空间的特征，/>是/>映射到Query或Key空间的特征；
步骤三、计算和/>之间的点乘注意力，获得协同图/>
其中，上角标T代表转置，协同图dinner为中间层特征维度；
步骤四、在协同图的维度1上计算Softmax，获得补丁对类注意力图/>对协同图进行转置后，在维度1上计算Softmax获得类对补丁注意力图/>
步骤五、与/>进行矩阵乘法后，将相乘结果经过线性层获得/>
其中，FFN为线性层；
步骤六、与/>进行矩阵乘法后，将相乘结果经过线性层获得/>
步骤七、根据获得/>根据/>获得/>
步骤八、判断l是否等于L-1，L为协同学习子模块的层数；
若l＝L-1，则结束；
否则，令l＝l+1，再返回执行步骤二；
所述类引导定位子模块用于根据协同学习子模块的计算结果生成类激活图并根据类激活图得到类别的热力图；
所述生成类激活图的具体过程为：
步骤1、将从二维映射为三维矩阵/>
步骤2、将与/>进行矩阵乘法，获得/>
步骤3、对进行1×1卷积，获得/>
2.根据权利要求1所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述特征提取模块的工作过程为：
分别对每个子图像补丁进行编码，即利用预训练模型将每个子图像补丁编码为特征向量，再将全部子图像补丁对应的特征向量进行拼接，得到全切片数字病理图像的补丁特征令牌
3.根据权利要求2所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述前景组织区域采用Otsu方法获得。
4.根据权利要求3所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述预训练模型是通过ImageNet或病理图像预训练的模型。
5.根据权利要求4所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述步骤七的实现方法为下列的(1)或(2)：
(1)：直接将作为/>将/>作为/>
(2)：将和/>的加和作为/>将/>和/>的加和作为/>
6.根据权利要求5所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述根据类激活图得到类别的热力图的具体过程为：
步骤①、将映射回N×C维度，将映射结果记为/>
步骤②、若特征提取模块进行过填充，则去除填充补丁后得到若特征提取模块未进行过填充，则/>直接为/>
步骤③、将中的所有分数映射到0～1的区间，将映射结果记为/>
步骤④、将映射到对应的补丁坐标上，得到类别的热力图。
7.根据权利要求6所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述协同学习模型的训练过程为：
获取全切片数字病理图像数据集，并对每个全切片数字病理图像的类别进行标注，再将标注后的全切片数字病理图像划分为训练集、验证集和测试集三部分；
对每个全切片数字病理图像进行预处理，分别获得每个全切片数字病理图像中的前景组织区域，并通过格栅化方法将前景组织区域图像分割为子图像补丁；
对于任意一个全切片数字病理图像，将该图像对应的子图像补丁进行编码，得到补丁特征令牌
利用协同学习模型的类特定分类令牌为分类任务中的每个类别分别设置一个的分类令牌，对于一个包含C个类别的分类任务，将全部C个类别的分类令牌组成的矩阵记为
将Xp和Xc作为协同学习子模块的输入，将协同学习子模块的输出作为类引导定位子模块的输入，根据协同学习子模块和类引导定位子模块的输出计算损失函数，直至达到训练停止条件时获得训练好的协同学习模型。
8.根据权利要求7所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述损失函数为：
Ltotal＝WclsLcls+WconLcon+WsynLsyn
其中，Lcls是分类损失，Lcon是补丁-类一致性损失，Lsyn是类-补丁协同损失，wcls、wcon和wsyn为权重；
分类损失Lcls的计算方法为：
对进行池化获得/>ycls与标注的标签y计算交叉熵损失，获得分类损失Lcls：
其中，yi是标签y中第i个分类类别，pi是ycls中第i个分类类别的概率；
补丁-类一致性损失Lcon的计算方法为：
对进行卷积获得/>再对/>进行池化获得/>ycon与多分类标签y计算交叉熵损失，获得补丁-类一致性损失Lcon：
其中，yi是标签y中第i个分类类别，p′i是ycon中第i个分类类别的概率；
所述类-补丁协同损失Lsyn的计算方法为：
对进行池化获得/>ysyn与多分类标签y计算交叉熵损失，获得类-补丁协同损失Lsyn：
其中，yi是标签y中第i个分类类别，p″i是ysyn中第i个分类类别的概率。
9.根据权利要求8所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述权重wcls、wcon和wsyn的计算方式为：
步骤1)、将Lcls、Lcon和Lsyn分别简记为L1、L2和L3，计算Li的损失梯度并进行L2正则化：
其中，i＝1，2，3；θk是协同学习模型的第k个参数；
步骤2)、对gi进行指数变换：
其中，α是超参数，wi′是指数变换结果，e是自然对数的底数；
步骤3)、将权重wcls、wcon和wsyn分别简记为wi、w2和w3，对wi′归一化：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311366788.3A CN117422911B (zh) | 2023-10-20 | 2023-10-20 | 一种协同学习驱动的多类别全切片数字病理图像分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311366788.3A CN117422911B (zh) | 2023-10-20 | 2023-10-20 | 一种协同学习驱动的多类别全切片数字病理图像分类系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117422911A CN117422911A (zh) | 2024-01-19 |
| CN117422911B true CN117422911B (zh) | 2024-04-30 |
Family
ID=89531972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311366788.3A Active CN117422911B (zh) | 2023-10-20 | 2023-10-20 | 一种协同学习驱动的多类别全切片数字病理图像分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422911B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5950180A (en) * | 1993-04-10 | 1999-09-07 | Fraunhofer-Gesellschaft Zur Forderung Der Angwandten Forshung E.V. | Process for the classification of objects |
| CN113610118A (zh) * | 2021-07-19 | 2021-11-05 | 中南大学 | 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质 |
| CN113887610A (zh) * | 2021-09-29 | 2022-01-04 | 内蒙古工业大学 | 基于交叉注意力蒸馏Transformer的花粉图像分类方法 |
| CN114463209A (zh) * | 2022-01-25 | 2022-05-10 | 广州大学 | 一种基于深度多特征协同学习的图像修复方法 |
| CN115578722A (zh) * | 2022-10-17 | 2023-01-06 | 松立控股集团股份有限公司 | 基于车牌间协同学习机制的车牌检测方法 |
| CN116612334A (zh) * | 2023-07-18 | 2023-08-18 | 山东科技大学 | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 |
-
2023
- 2023-10-20 CN CN202311366788.3A patent/CN117422911B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5950180A (en) * | 1993-04-10 | 1999-09-07 | Fraunhofer-Gesellschaft Zur Forderung Der Angwandten Forshung E.V. | Process for the classification of objects |
| CN113610118A (zh) * | 2021-07-19 | 2021-11-05 | 中南大学 | 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质 |
| CN113887610A (zh) * | 2021-09-29 | 2022-01-04 | 内蒙古工业大学 | 基于交叉注意力蒸馏Transformer的花粉图像分类方法 |
| CN114463209A (zh) * | 2022-01-25 | 2022-05-10 | 广州大学 | 一种基于深度多特征协同学习的图像修复方法 |
| CN115578722A (zh) * | 2022-10-17 | 2023-01-06 | 松立控股集团股份有限公司 | 基于车牌间协同学习机制的车牌检测方法 |
| CN116612334A (zh) * | 2023-07-18 | 2023-08-18 | 山东科技大学 | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| Multi-class Token Transformer forWeakly Supervised Semantic Segmentation;Lian Xu et al.;arXiv;20220306;第1-19页 * |
| 基于可解释性分析的深度神经网络优化方法;吴欢欢 等;计算机研究与发展;20230313;第209-220页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117422911A (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113077471B (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN109191476A (zh) | 基于U-net网络结构的生物医学图像自动分割新方法 | |
| CN111429460B (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
| CN110689543A (zh) | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 | |
| CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
| Zhou et al. | Multi-classification of skin diseases for dermoscopy images using deep learning | |
| Yan et al. | Monocular depth estimation with guidance of surface normal map | |
| CN109377441A (zh) | 具有隐私保护功能的舌像采集方法和系统 | |
| Qu et al. | Visual cross-image fusion using deep neural networks for image edge detection | |
| CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
| CN115063655A (zh) | 一种融合超列的类激活映射图生成方法 | |
| Li et al. | High-order correlation-guided slide-level histology retrieval with self-supervised hashing | |
| CN117422911B (zh) | 一种协同学习驱动的多类别全切片数字病理图像分类系统 | |
| Kaur et al. | Automated neural network-based survival prediction of glioblastoma patients using pre-operative MRI and clinical data | |
| CN116884597A (zh) | 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统 | |
| Khan et al. | Breast cancer histological images nuclei segmentation and optimized classification with deep learning | |
| Yan et al. | Two and multiple categorization of breast pathological images by transfer learning | |
| Li et al. | Fingertip blood collection point localization research based on infrared finger vein image segmentation | |
| CN113989269B (zh) | 一种基于卷积神经网络多尺度特征融合的中医舌图像齿痕自动检测方法 | |
| Gandhi et al. | A vision transformer approach for classification an a small-sized medical image dataset | |
| Cheng et al. | Double attention for pathology image diagnosis network with visual interpretability | |
| Boudjellal et al. | Hybrid Convolution-Transformer models for breast cancer classification using histopathological images | |
| Yu et al. | Full-automatic Segmentation Algorithm of Brain Tumor Based on RFE-UNet and Hybrid Focal Loss Function. | |
| WO2024045819A1 (zh) | 病变区域确定方法、模型训练方法及装置 | |
| CN109472791A (zh) | 超声图像分割方法和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |