CN115170884A - 一种基于分层注意力机制的儿童白血病多实例分类方法 - Google Patents
一种基于分层注意力机制的儿童白血病多实例分类方法 Download PDFInfo
- Publication number
- CN115170884A CN115170884A CN202210861047.1A CN202210861047A CN115170884A CN 115170884 A CN115170884 A CN 115170884A CN 202210861047 A CN202210861047 A CN 202210861047A CN 115170884 A CN115170884 A CN 115170884A
- Authority
- CN
- China
- Prior art keywords
- cell
- leukemia
- classification
- attention
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
一种基于分层注意力机制的儿童白血病多实例分类方法,首先,进行细胞分割任务:将儿童白血病病人的多张骨髓细胞图像中的有核细胞通过细胞分割模块提取出来,N个细胞为一份的随机采样,形成一个多实例包,作为样本输入学习;其次,进行儿童白血病分类任务:将上述输入学习后的样本作为儿童白血病分类模块,区分每个样本属于急性髓系白血病,或急性淋巴系白血病,并进一步进行多个层级的分型;本发明使用多示例学习的方法,将细胞编码成特征,并通过注意力模块计算不同细胞对各个类别的贡献度,分型形成层级特征,从细分型的注意力矩阵聚合至粗分型,针对癌细胞比例的损失函数,通过对比例的限制,半监督地分类了各个细胞是否属于癌细胞,使得注意力机制可以更好地计算细胞对各个类别的贡献度,使得分类更为精准。
Description
技术领域
本发明属于儿童白血病图像处理与分类技术领域,具体涉及一种基于分层注意力机制的儿童白血病多实例分类方法。
背景技术
近十年来,深度学习以及卷积神经网络在计算机视觉领域的优势突出,已被广泛应用于医学图像分析。采用深度学习和计算机视觉技术能够帮助医生快速识别病变细胞,从而大幅提高儿童白血病诊断效率。但是,儿童白血病的病例数量限制,使得现有数据较少,预测模型不可避免的存在过拟合的可能性。同时,儿童白血病是一种高度异质性疾病,需要对其进行准确的分型,目前的预测模型有的只针对急性淋巴系和急性髓系白血病进行分类,或在某一系中进行子类型分类,不能真正满足临床诊断的需要。
在机器学习中,多实例学习是由监督型学习算法演变出的一种方法,定义“包”为多个实例的集合。模型不是接收一组单独标记的实例,而是接收一组带标签的包,每个包拥有多个实例,根据对实例预测结果,整体判断获取整体包的分类概率。这样的学习方式更符合医生根据一个病人的图像资料进行分析诊断的流程。目前,基于注意力机制的多实例学习方法则被广泛应用于医学图像领域,区分高诊断价值的子区域,从而达到更高的分类效果。例如在儿童白血病的骨髓细胞图像中,某细胞对分类有关键性的作用,则使模型更多地关注这个细胞,以期达到更好的分类效果。但是现有的基于注意力机制的方法是针对细胞对分类是否重要,而对于儿童白血病而言,不同的细胞对不同的分型的重要性是不同的,现有的方法未区分细胞对不同分型的分类贡献度。另外,对于儿童白血病的分型有层级特征,应先区分急性淋巴系白血病和急性髓系白血病,再分别在两大系中进一步划分更精细的分型,这样不会在两大系中造成混淆等消极影响。现有的基于注意力机制的方法只应用于粗分类或某一种大类的细分类。
发明内容
为了克服上述现有技术存在的缺陷,本发明提出了一种基于分层注意力机制的儿童白血病多实例分类方法,通过构建一种分层的分类方法,并引入针对类别的注意力机制,使模型不仅能区分儿童白血病是急性淋巴系和急性髓系,而且可以从两大系的子分型对儿童白血病进行分型,从而满足儿童白血病分型多且细的特征;区分了各个细胞对不同分型的贡献度,且不同层级的分型间的注意力机制存在一定的制约,对细分型的注意力矩阵可聚合为针对粗分型的注意力矩阵,从而使细分型与粗分型间互有提升,且避免细胞在粗分型的类别间被分错,提高了分型的准确度。
为了实现上述目的,本发明采取的技术方案为:
一种基于分层注意力机制的儿童白血病多实例分类方法,具体包括以下步骤:
步骤一,进行细胞分割:
1)根据医生给出的儿童白血病分析诊断结果,将一个儿童白血病病人的多张骨髓细胞图像中的有核细胞通过细胞分割模块提取出来,再进行N个细胞为一份的随机采样,得到一个多实例包,其中,N∈[50,200];
2)对不同类型儿童白血病病人的骨髓细胞图像,根据步骤一第1)步依次形成多实例包样本;
步骤二,进行儿童白血病分类:
将步骤一中处理得到的多实例包输入儿童白血病分类模块,区分每个样本属于急性髓系白血病,还是急性淋巴系白血病,并进一步区分两大系中的不同子分型,分类到各个不同子分型后,进一步区分不易区分的子分型或子分型中的小类,即进行多个层级的分型;
所述儿童白血病分类模块包括编码器、基于类别的注意力模块和分类器,编码器接受细胞分割模块的输出,得到细胞特征矩阵Fcell∈RN×K,将细胞特征矩阵Fcell∈RN×K输入基于类别的注意力模块获得注意力矩阵,再将细胞特征矩阵Fcell∈RN×K与不同层级的注意力矩阵相乘获得针对不同层级分类器的特征矩阵进行儿童白血病区分分型。
所述步骤一第1)步形成一个多实例包,具体方法为:
1.1)将一个儿童白血病病人的a张骨髓细胞图像进行步长为b像素,窗口大小为w像素的多中心裁剪,获取n1个覆盖全图的图块,并用X={x1,x2,...,xn1}表示图块集合,其中,a∈[15,50],b>0,w>0,n1>0且均为整数;
1.3)将步骤一第1.2)步得到的图块集合输入细胞分割模块,获取的输出图块,通过其中心坐标在原始图像中的位置,定位拼接得到原图像大小细胞分割结果,将分割结果中的所有细胞抽取出来,再随机进行采样获取N个细胞,单细胞图块集合表示为C={c1,c2,...,cN},其中,N∈[50,200];。
所述步骤二的具体方法为:
2)对应病人的临床诊断报告,获取病人的白血病分型yt,即表示该病人为yt型;设病人分型共l1个细分型类数,并将病人标签转换为one-hot向量其中yt=1,其他分量为0;获取病人细胞比例S=(s1,s2),其中s2为癌细胞的比例,s1=1-s2,s1表示正常细胞的比例;
3)将步骤二中第1)步获取的单细胞集合输入编码器,得到细胞特征矩阵Fcell∈RN×K,其中,K表示单个细胞的特征维数,将Fcell输入基于类别的注意力模块,即学习各个细胞对各个类别的分类贡献度的由全连接层构成的神经网络;在注意力模块中,首先将细胞特征矩阵分别通过全连接层和将特征维度降低至再分别进行tanh和sigmoid函数的归一化,将归一化后的结果相乘,再经过一个由维到l1维度的全连接层获取注意力矩阵,即每个细胞对l1个类别的贡献度
A1=W×(tanh(Fcell×U)⊙sigmoid(Fcell×V))
其中⊙表示矩阵内对应点相乘;
设l2为相对细分型l1而言的第二层级粗分型的类别个数,则通过转换矩阵将针对l1个类别的注意力矩阵中对应类别的值聚合到l2个类别,即A2=A1×T1,获得各个细胞对第二层级粗分型中各个类别的贡献度,通过注意力矩阵和细胞特征矩阵相乘,获得针对l2个类别的分类器的特征矩阵同理可知,达到第三层粗分型时,设l3类为第三层级粗分型的类别个数,则可将获得的第二层级粗分型的注意力矩阵通过转换矩阵 聚合到第三层级粗分型的注意力矩阵A3=A2×T2,通过注意力矩阵和细胞特征矩阵相乘,获得针对l3个类别的分类器的特征矩阵An=An-1×Tn-1为针对n个层级分类的注意力矩阵表达,针对第n层级的分类器的特征矩阵通用表示为Fl∈RK×l,表示该层级分型类别共l个,其中,n,l1,l2,l3,l,K>0,均为整数,且l1>l2>l3,即ln-1>ln;
4)将步骤二第3)步获取的特征矩阵Fl∈RK×l输入l个二值分类器中,获取输出Opatient∈Rl×2,将细胞特征矩阵Fcell∈RN×K输入关于细胞类别的二值分类器中获取是否为癌细胞的输出结果Ocell∈RN×2;
5)根据Ocell计算细胞比例为其中为保留该比例中的梯度,从而调节网络参数,需要用到gumbel_softmax函数,将N×2维的矩阵在第1维中形成是否为癌细胞的概率表示,即关于每一个细胞i有 表示是正常细胞的概率,表示为癌症细胞的概率;按第0维求和除以总数N,即获得比例其中 而Opatient∈Rl×2中,对于每一类j有该样本是否属于该类的概率pj∈[0,1],分类学习过程的损失函数表示为:
相对于现有技术,本发明有益效果如下:
1、本发明提出一套可以应用于儿童白血病分类的多实例学习框架,包括细胞分割模块,儿童白血病分类模块,使得框架可在弱监督即只有临床报告,不需要医生进行二次标注的情况下完成训练,达到可用精度。
2、针对儿童白血病患者的多张骨髓细胞涂片和含有各类细胞比例的临床报告,设计了一种基于注意力机制的白血病分类模块,包括对患者进行分型和对其所包含的每一个细胞进行二分类,即分类为癌细胞或正常细胞。
3、面向儿童白血病的分类特征,即不同类别的判别依赖于不同种类的细胞,提出了基于类别的注意力机制,即针对不同类别学习不同的注意力矩阵。
4、面向儿童白血病的诊断逻辑,即不同层次的树状诊断链条,提出了由细至粗的注意力矩阵转换方法,可以将不同层次的诊断逻辑融入到白血病分类模型中,进而提升分类的精度和临床可用性即尽量保证粗分类之间不混淆,提高了分型的准确度。
附图说明
图1为步骤一细胞分割模块示意图。
图2为步骤二儿童白血病分类模块示意图。
具体实施方式
下面结合附图对本发明进一步详细描述。
步骤一:进行细胞分割任务:参见图1
1)根据医生给出的儿童白血病分析诊断结果,将一个儿童白血病病人的多张骨髓细胞图像中的有核细胞通过细胞分割模块提取出来,再进行N个细胞为一份的随机采样,形成一个多实例包,具体如下:
1.1)将一个儿童白血病病人的a张骨髓细胞图像进行步长为b像素,窗口大小为w像素的多中心裁剪,获取n1个覆盖全图的图块,并用X={x1,x2,...,xn1}表示图块集合,其中,a∈[15,50],b>0,w>0,n1>0且均为整数;
1.3)将步骤一第1.2)步得到的图块集合输入细胞分割模块,获取的输出图块,通过其中心坐标在原始图像中的位置,定位拼接得到原图像大小细胞分割结果,再将分割结果中的所有细胞抽取出来,设获取N个细胞,单细胞图块集合表示为C={c1,c2,...,cN},其中N∈[50,200];
2)对不同类型儿童白血病病人的骨髓细胞图像,根据步骤一第1)步依次形成多实例包样本;
参见图2:步骤二、进行儿童白血病分类任务
将步骤一中处理得到的多实例包输入儿童白血病分类模块,儿童白血病分类模块即一个由编码器、注意力模块和分类器构成的卷积神经网络,其中注意力模块即由全连接层构成的神经网络,区分一个样本属于急性髓系白血病或急性淋巴系白血病,并进一步区分两大系中的不同子分型,分类到各个不同子分型后进一步区分不易区分的子分型或子分型中的小类,即进行多个层级的分型:
2)从步骤一第1)步生成的样本所属的病人的临床诊断报告中获取病人的白血病分型yt,即表示该病人为yt型;设病人分型共l1个细分型类数,并将病人标签转换为one-hol向量其中yt=1,其他分量为0;获取病人细胞比例S=(s1,s2),其中s2为癌细胞的比例,s1=1-s2,s1表示正常细胞的比例;
3)将步骤二中第1)步获取的单细胞集合输入编码器,得到的细胞特征矩阵Fcell∈RN×K,其中K表示单个细胞的特征维数,将Fcell输入基于类别的注意力模块,即学习各个细胞对各个类别的分类贡献度的由全连接层构成的神经网络;在注意力模块中,首先将细胞特征矩阵分别通过全连接层和将特征维度降低至再分别进行tanh和sigmoid函数的归一化,将归一化后的结果相乘,再经过一个由维到l1维度的全连接层获取注意力矩阵,即每个细胞对l1个类别的贡献度
A1=W×(tanh(Fcell×U)⊙sigmoid(Fcell×V))
其中⊙表示矩阵内对应点相乘;
设l2为相对细分型l1而言的第二层级粗分型的类别个数,则通过转换矩阵将针对l1个类别的注意力矩阵中对应类别的值聚合到l2个类别,即A2=A1×T1,获得各个细胞对第二层级粗分型中各个类别的贡献度,通过注意力矩阵和细胞特征矩阵相乘,获得针对l2个类别的分类器的特征矩阵同理可知,达到第三层粗分型时,设l3类为第三层级粗分型的类别个数,则可将获得的第二层级粗分型的注意力矩阵通过转换矩阵 聚合到第三层级粗分型的注意力矩阵A3=A2×T2,通过注意力矩阵和细胞特征矩阵相乘,获得针对l3个类别的分类器的特征矩阵An=An-1×Tn-1为针对n个层级分类的注意力矩阵表达,针对第n层级的分类器的特征矩阵通用表示为Fl∈RK×l,表示该层级分型类别共l个,其中,n,l1,l2,l3,l,K>0,均为整数,且l1>l2>l3,即ln-1>ln;
4)将步骤二第3)步获取的特征矩阵Fl∈RK×l输入l个二值分类器中,获取输出Opatient∈Rl×2,将细胞特征矩阵Fcell∈RN×K输入关于细胞类别的二值分类器中获取是否为癌细胞的输出结果Ocell∈RN×2;
5)根据Ocell计算细胞比例为其中为保留该比例中的梯度,从而调节网络参数,需要用到gumbel_softmax函数,将N×2维的矩阵在第1维中形成是否为癌细胞的概率表示,即关于每一个细胞i有 表示是正常细胞的概率,表示为癌症细胞的概率;按第0维求和除以总数N,即获得比例其中 而Opatient∈Rl×2中,对于每一类j有该样本是否属于该类的概率pj∈[0,1],分类学习过程的损失函数表示为:
本发明所述细胞分割模块为本领域现有技术。
本发明通过步骤一获取属于病人的多个骨髓细胞,并通过一定数量的采样打包形成样本,符合医生分析骨髓细胞诊断分型的流程;所以本方法所用的标签为病人的分型以及癌细胞的比例,是一个多示例学习的方法。
通过步骤二将细胞编码成特征,并通过注意力模块计算不同细胞对各个类别的贡献度,分型形成层级特征,从细分型的注意力矩阵聚合至粗分型。步骤二中针对癌细胞比例的损失函数,通过对比例的限制,半监督地分类了各个细胞是否属于癌细胞,使得注意力机制可以更好地计算细胞对各个类别的贡献度。针对病人分型的损失函数,则保持了模型对儿童白血病分类的准确性。将细分类的注意力矩阵聚合到粗分类,使得两者之间形成制约,使得各个细胞在大类间不易混淆,使得分类更为精准。
基于分层注意力机制的儿童白血病分类方法,模拟了真实的临床诊断流程,更符合儿童白血病分型多且细的特征。针对类别的注意力机制将每个细胞对不同类别的贡献度融入细胞特征中,更好发挥了注意力机制在多分类中的作用,让模型更好地注意到针对各个类别的细胞。分层级地进行分型,将细分型的注意力矩阵聚合到粗分型,使得细分型的特征不易在大类之间混淆,从而提高了分型的准确度。
实施例:
进行n=2个层级的分类。分别称这两个层级为粗粒度分型和细粒度分型。细粒度分型的类别个数l1=7,其中各个分型为M2,M3,M5,M7,L1&L2,L3,正常人(Normal);粗粒度分型的类别个数l2=3,其中各个分型为急性髓系白血病(AML),急性淋巴系白血病(ALL),正常人(Normal)。粗粒度与细粒度之间的转换关系为急性髓系白血病包含M2,M3,M5,M7;急性淋巴系白血病包含L1&L2,L3。
参见图1,步骤一:进行细胞分割任务:
1)根据医生给出的儿童白血病分析诊断结果,将一个儿童白血病病人的多张骨髓细胞图像中的有核细胞通过细胞分割模块提取出来,再进行50个细胞为一份的随机采样,形成一个多实例包,具体如下:
1.1)将一个儿童白血病病人的15张尺寸为512像素×512像素骨髓细胞图像进行步长为128像素,窗口大小为256像素的多中心裁剪,获取16个覆盖全图的图块,并用X={x1,x2,...,x16}表示图块集合;
1.3)将步骤一第1.2)步得到的图块集合输入细胞分割模块,获取的输出图块,通过其中心坐标在原始图像中的位置,定位拼接得到原图像大小细胞分割结果,再将分割结果中的所有细胞抽取出来,设获取50个细胞,单细胞图块集合表示为C={c1,c2,...,c50};
2)对不同类型儿童白血病病人的骨髓细胞图像,根据步骤一第1)步依次形成多实例包样本;
参见图2,步骤二、进行儿童白血病分类任务:
将步骤一中处理得到的多实例包输入儿童白血病分类模块,儿童白血病分类模块即一个由编码器、注意力模块和分类器构成的卷积神经网络,其中注意力模块即由全连接层构成的神经网络,区分一个样本属于急性髓系白血病或急性淋巴系白血病,并进一步区分两大系中的不同子分型,分类到各个不同子分型后进一步区分不易区分的子分型或子分型中的小类,即进行多个层级的分型:
2)从步骤一第1)步生成的样本所属的病人的临床诊断报告中获取病人的白血病分型yt,即表示该病人为yt型;设病人分型共7个细分型类数,并将病人标签转换为one-hot向量Y=(y1,y2,...,y7),其中yt=1,其他分量为0;获取病人细胞比例S=(s1,s2),其中s2为癌细胞的比例,s1=1-s2,s1表示正常细胞的比例;
3)将步骤二中第1)步获取的单细胞集合输入编码器,得到的细胞特征矩阵Fcell∈R50×512,其中512表示单个细胞的特征维数,将Fcell输入基于类别的注意力模块,即学习各个细胞对各个类别的分类贡献度的由全连接层构成的神经网络;在注意力模块中,首先将细胞特征矩阵分别通过全连接层U∈R512×256和V∈R512×256将特征维度降低至256,再分别进行tanh和sigmoid函数的归一化,将归一化后的结果相乘,再经过一个由256维到7维的全连接层W∈R256×7,获取注意力矩阵,即每个细胞对7个类别的贡献度A1∈R50×7:
A1=W×(tanh(Fcell×U)⊙sigmoid(Fcell×V))
其中⊙表示矩阵内对应点相乘;
第二层级粗分型的类别个数为3,则通过转换矩阵T1∈R7×3,定义如下:
将针对7个类别的注意力矩阵中对应类别的值聚合到3个类别,即A2∈R50×3,A2=A1×T1,获得各个细胞对第二层级粗分型中各个类别的贡献度,通过注意力矩阵和细胞特征矩阵相乘,获得针对3个类别的分类器的特征矩阵F3∈R512×3;
4)将步骤二第3)步获取的特征矩阵F3∈R512×3输入3个二值分类器中,获取输出粗分型结果Opatient_3∈R3×2,F7∈R512×7输入7个二值分类器中,获取输出细分型结果Opatient_7∈R7×2,将细胞特征矩阵Fcell∈R50×512输入关于细胞类别的二值分类器中获取是否为癌细胞的输出结果Ocell∈R50×2;
5)用gumbel_softmax函数将Ocell这个50×2维的矩阵在第1维中形成是否为癌细胞的概率表示,即关于每一个细胞i有 表示是正常细胞的概率,表示为癌症细胞的概率;按第0维求和除以总数50,即获得比例其中 即求得了该病人的癌细胞比例而Opatient_7∈R7×2和Opatient_3∈R3×2中,对于每一类j有该样本是否属于该类的概率pj∈[0,1],取概率最高的那一类,即为本发明为该病人预测的细分型和粗分型。
通过测试集的测试比对,基于分层注意力机制的分类方法对细粒度分型的正确率可以达到79%,对粗粒度分型的正确率可以达到97%。
当细粒度分型与粗粒度分型之间不利用转换关系T1时,即分别用不同的注意力模块求得各自的注意力矩阵A1和A2,细粒度分型正确率仅71%,粗粒度分类的正确率仅94%。
当粗分型与细分型分别用不同的模型进行预测时,即不基于分层的分类方法,细分型正确率仅73%,粗分类的正确率仅91%。
Claims (4)
1.一种基于分层注意力机制的儿童白血病多实例分类方法,具体包括以下步骤:
步骤一:进行细胞分割任务:
1)根据医生给出的儿童白血病分析诊断结果,将一个儿童白血病病人的多张骨髓细胞图像中的有核细胞通过细胞分割模块提取出来,再进行N个细胞为一份的随机采样,形成一个多实例包,其中,N∈[50,200];
2)对不同类型儿童白血病病人的骨髓细胞图像,根据步骤一第1)步依次形成多实例包样本;
步骤二:进行儿童白血病分类任务:将步骤一中处理得到的多实例包输入儿童白血病分类模块,区分每个样本属于急性髓系白血病,或急性淋巴系白血病,并进一步区分两大系中的不同子分型,分类到各个不同子分型后进一步区分不易区分的子分型或子分型中的小类,即进行多个层级的分型。
2.根据权利要求1所述的一种基于分层注意力机制的儿童白血病多实例分类方法,其特征在于:步骤二中所述儿童白血病分类模块包括编码器、基于类别的注意力模块和分类器,编码器接受细胞分割模块的输出,得到细胞特征矩阵Fcell,将细胞特征矩阵Fcell输入基于类别的注意力模块获得注意力矩阵,再将细胞特征矩阵Fcell与不同层级的注意力矩阵相乘获得针对不同层级分类器的特征矩阵进行儿童白血病区分分型。
3.根据权利要求1所述的一种基于分层注意力机制的儿童白血病多实例分类方法,其特征在于:所述步骤一第1)步形成一个多实例包具体方法为:
1.1)将一个儿童白血病病人的a张骨髓细胞图像进行步长为b像素,窗口大小为w像素的多中心裁剪,获取n1个覆盖全图的图块,并用X={x1,x2,...,xn1}表示图块集合,其中,a∈[15,50],b>0,w>0,n1>0且均为整数;
1.3)将步骤一第1.2)步得到的图块集合输入细胞分割模块,获取的输出图块,通过其中心坐标在原始图像中的位置,定位拼接得到原图像大小细胞分割结果,将分割结果中的所有细胞抽取出来,再随机进行采样获取N个细胞,单细胞图块集合表示为C={c1,c2,...,cN}。
4.根据权利要求1所述的一种基于分层注意力机制的儿童白血病多实例分类方法,其特征在于:所述步骤二的具体方法为:
2)从步骤一第1)步生成的样本所属的病人的临床诊断报告中获取病人的白血病分型yt,即表示该病人为yt型;设病人分型共l1个细分型类数,并将病人标签转换为one-hot向量其中yt=1,其他分量为0;获取病人细胞比例S=(s1,s2),其中s2为癌细胞的比例,s1=1-s2,s1表示正常细胞的比例;
3)将步骤二中第1)步获取的单细胞集合输入编码器,得到的细胞特征矩阵Fcell∈RN ×K,其中K表示单个细胞的特征维数,将Fcell输入基于类别的注意力模块,即学习各个细胞对各个类别的分类贡献度的由全连接层构成的神经网络;在注意力模块中,首先将细胞特征矩阵分别通过全连接层和将特征维度降低至再分别进行tanh和sigmoid函数的归一化,将归一化后的结果相乘,再经过一个由维到l1维度的全连接层获取注意力矩阵,即每个细胞对l1个类别的贡献度
A1=W×(tanh(Fcell×U)⊙sigmoid(Fcell×V))
其中⊙表示矩阵内对应点相乘;
设l2为相对细分型l1而言的第二层级粗分型的类别个数,则通过转换矩阵将针对l1个类别的注意力矩阵中对应类别的值聚合到l2个类别,即A2=A1×T1,获得各个细胞对第二层级粗分型中各个类别的贡献度,通过注意力矩阵和细胞特征矩阵相乘,获得针对l2个类别的分类器的特征矩阵同理可知,达到第三层粗分型时,设l3类为第三层级粗分型的类别个数,则可将获得的第二层级粗分型的注意力矩阵通过转换矩阵 聚合到第三层级粗分型的注意力矩阵A3=A2×T2,通过注意力矩阵和细胞特征矩阵相乘,获得针对l3个类别的分类器的特征矩阵An=An-1×Tn-1为针对n个层级分类的注意力矩阵表达,针对第n层级的分类器的特征矩阵通用表示为Fl∈RK×l,表示该层级分型类别共l个,其中,n,l1,l2,l3,l,K>0,均为整数,且l1>l2>l3,即ln-1>ln;
4)将步骤二第3)步获取的特征矩阵Fl∈RK×l输入l个二值分类器中,获取输出Opatient∈Rl×2,将细胞特征矩阵Fcell∈RN×K输入关于细胞类别的二值分类器中获取是否为癌细胞的输出结果Ocell∈RN×2;
5)根据Ocell计算细胞比例为其中为保留该比例中的梯度,从而调节网络参数,需要用到gumbel_softmax函数,将N×2维的矩阵在第1维中形成是否为癌细胞的概率表示,即关于每一个细胞i有 表示是正常细胞的概率,表示为癌症细胞的概率;按第0维求和除以总数N,即获得比例其中 而Opatient∈Rl×2中,对于每一类j有该样本是否属于该类的概率pj∈[0,1],分类学习过程的损失函数表示为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210861047.1A CN115170884A (zh) | 2022-07-22 | 2022-07-22 | 一种基于分层注意力机制的儿童白血病多实例分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210861047.1A CN115170884A (zh) | 2022-07-22 | 2022-07-22 | 一种基于分层注意力机制的儿童白血病多实例分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115170884A true CN115170884A (zh) | 2022-10-11 |
Family
ID=83494891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210861047.1A Pending CN115170884A (zh) | 2022-07-22 | 2022-07-22 | 一种基于分层注意力机制的儿童白血病多实例分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115170884A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578598A (zh) * | 2022-10-26 | 2023-01-06 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于卷积神经网络的骨髓细胞识别方法及其系统 |
-
2022
- 2022-07-22 CN CN202210861047.1A patent/CN115170884A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578598A (zh) * | 2022-10-26 | 2023-01-06 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于卷积神经网络的骨髓细胞识别方法及其系统 |
CN115578598B (zh) * | 2022-10-26 | 2023-09-05 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于卷积神经网络的骨髓细胞识别方法及其系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
CN111369563B (zh) | 一种基于金字塔空洞卷积网络的语义分割方法 | |
Li et al. | cC-GAN: A robust transfer-learning framework for HEp-2 specimen image segmentation | |
CN109086722B (zh) | 混合车牌识别方法、装置、电子设备 | |
CN112561863B (zh) | 一种基于改进ResNet的医学图像多分类识别系统 | |
CN112396587B (zh) | 一种基于协同训练和密度图的公交车厢内拥挤度检测方法 | |
CN113674292B (zh) | 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法 | |
CN114187311A (zh) | 一种图像语义分割方法、装置、设备及存储介质 | |
CN111444829A (zh) | 面向液基细胞学检查的融合推理与学习的决策分类方法 | |
CN115170884A (zh) | 一种基于分层注意力机制的儿童白血病多实例分类方法 | |
CN114694178A (zh) | 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 | |
CN114783604A (zh) | 一种乳腺癌前哨淋巴结转移的预测方法、系统及存储介质 | |
CN113743353A (zh) | 空间、通道和尺度注意力融合学习的宫颈细胞分类方法 | |
CN112163114A (zh) | 一种基于特征融合的图像检索方法 | |
CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
CN113378962A (zh) | 一种基于图注意力网络的服装属性识别方法与系统 | |
CN112927215A (zh) | 一种消化道活检病理切片自动分析方法 | |
CN114897823B (zh) | 一种细胞学样本图像质量控制方法、系统及存储介质 | |
CN115909011A (zh) | 基于改进的SE-Inception-v3网络模型的天文图像自动分类方法 | |
CN113313185B (zh) | 一种基于自适应空谱特征提取的高光谱图像分类方法 | |
CN115361195A (zh) | 一种基于时空代价成本的大规模物联网流量多分类方法 | |
CN115035302A (zh) | 一种基于深度半监督模型的图像细粒度分类方法 | |
Yan et al. | Two and multiple categorization of breast pathological images by transfer learning | |
CN113408463B (zh) | 一种基于距离度量的细胞图像小样本分类系统 | |
CN112183459A (zh) | 一种基于进化多目标优化的遥感水质图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |