CN115775226A - 基于Transformer的医学图像分类方法 - Google Patents

Abstract

本发明公开了一种基于Transformer的医学图像分类方法，属于人工智能技术领域。本发明通过对由胸腹腔积液制成的液基细胞学涂片样本的样本图像进行预处理，得到样本图像对应的二值化掩码图以及二值化掩码图中每个细胞对应的二值掩码图mask；获取用于框选所述二值化掩码图中的每个细胞的第一坐标框，以及获取用于框选所述二值化掩码图中的每个疑似癌细胞的第二坐标框；计算每个第一坐标框与每个第二坐标框的IOU重叠度；对第一坐标框和第二坐标框进行去重；最终对去重后的每个坐标框框选的细胞区域图像通过Transformer细胞分类模型进行分类，利用深度学习技术实现了对样本图像中的病变细胞的精准且快速的分类。

Description

基于Transformer的医学图像分类方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于Transformer的医学图像分类方法。

背景技术

胸腹腔积液作为一种常见的并发症，无论是基层医院、三甲医院都有大量的胸腹腔积液样本，需要病理医生准确、高效地识别样本中是否含有癌细胞。现有方法中，病理医生将胸腹腔积液样本制成薄层液基细胞学涂片，在显微镜下逐个鉴别细胞是否存在病变，这种人为识别的方式高度依赖病理医生的个人经验，在显微镜下的上万个细胞中寻找少数甚至只有1-2个的病变细胞非常困难，且工作效率低下。

发明内容

本发明以利用人工智能算法，实现对病变细胞图像与正常细胞图像的准确分类为目的，提供了一种基于Transformer的医学图像分类方法。

为达此目的，本发明采用以下技术方案：

提供一种基于Transformer的医学图像分类方法，包括步骤：

S1，对由胸腹腔积液制成的液基细胞学涂片样本的样本图像进行预处理，得到所述样本图像对应的二值化掩码图以及所述二值化掩码图中每个细胞对应的二值掩码图mask；

S2，获取用于框选所述二值化掩码图中的每个细胞的第一坐标框，以及获取用于框选所述二值化掩码图中的每个疑似癌细胞的第二坐标框；

S3，计算每个所述第一坐标框与每个所述第二坐标框的IOU重叠度；

S4，判断所述IOU重叠度是否小于或等于预设的重叠度阈值，

若是，则保留参与IOU重叠度匹配的所述第一坐标框和所述第二坐标框；

若否，则丢弃参与IOU重叠度匹配的所述第一坐标框；

S5，从原图中截取经步骤S4去重叠后的每个所述第一坐标框和每个所述第二坐标框分别框选的各细胞区域图像输入给预先完成训练的Transformer细胞分类模型中进行细胞分类，输出最终的细胞分类结果。

作为优选，对所述样本图像进行图像预处理的方法包括步骤：

S11，将所述样本图像分别转换为色彩空间为HSV的第一图像和色彩空间为LUV的第二图像；

S12，融合所述第一图像和所述第二图像，得到融合后的所述二值化掩码图；

S13，过滤所述二值化掩码图中大小尺寸小于预设的细胞大小阈值的细胞；

S14，对经步骤S13过滤剩余的每个细胞区域进行膨胀处理，得到每个细胞对应的所述二值掩码图mask；

S15，对每张所述二值掩码图mask中细胞面积像素值小于50×50的区域进行像素值回填，最终得到经图像预处理后的所述二值化掩码图。

作为优选，步骤S15中，回填的像素值为“240”。

作为优选，步骤S2中，获取用于框选所述二值化掩码图中的每个细胞的所述第一坐标框的方法包括步骤：

A1，使用findContours轮廓提取算法通过凸多边形框选每个细胞的方式提取出所述二值化掩码图中的每个细胞，并记录用于框选每个细胞的每个所述凸多边形框的坐标位置；

A2，使用contourArea函数计算每个所述凸多边形框的面积；

A3，对于每个所述凸多边形框，判断其面积是否小于预设的面积阈值，

若是，则过滤掉所述凸多边形框框选的细胞；

若否，则保留所述凸多边形框作为框选对应细胞所述第一坐标框。

作为优选，所述面积阈值为50像素×50像素。

作为优选，步骤S2中，使用YOLOX目标检测网络检测并框选出所述二值化掩码图中的每个所述疑似癌细胞。

作为优选，所述重叠度阈值为0.1。

作为优选，步骤S5中，所述Transformer细胞分类模型进行细胞分类的方法步骤包括：

S51，将高、宽尺寸分别为H、W的所述细胞区域图像输入给图像块划分模块被划分为若干个尺寸为H/4、W/4的图像块后输入给模块A作细胞特征提取，输出表达为[Batch-size，H/4,W/4,C]的第一细胞特征，C表示第一细胞特征编码的维度，

所述模块A包括线性编码层A1、swin模块A2、swin模块A3，所述线性编码层A1将输入的各所述图像块作特征卷积提取后，输出尺寸为[Batch-size,H/4,W/4,C]大小的特征图输入给所述swin模块A2，经所述swin模块A2的作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/4,W/4,C]大小的特征图输入给所述swin模块A3，最终经所述swin模块作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出表达为[Batch-size,H/4,W/4,C]的第一细胞特征输入给模块B；

S52，所述模块B对输入的各所述第一细胞特征作进一步的特征提取，输出表达为[Batch-size,H/8,W/8,2C]的第二细胞特征，

所述模块B包括依序连接的特征块合并层B1、swin模块B1、swin模块B2，所述特征块合并层B1将所述图像块划分模块划分的相邻的n×n邻域内的各所述图像块分别对应的第一细胞特征进行合并后输入给所述swin模块B1，

所述swin模块B1则对其输入作特征块合并处理后输出[Batch-size,H/8,W/8,2C]大小的特征图给所述swin模块B2，最终经所述swin模块B2作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出表达为[Batch-size,H/8,W/8,2C]的所述第二细胞特征输入给模块C；

S53，所述模块C对输入的各所述第二细胞特征作进一步的特征提取，输出表达为[Batch-size,H/16,W/16,4C]的第三细胞特征，

所述模块C包括特征块合并层C1、swin模块C2-C7，所述特征块合并层C1将所述模块B输出的特征块进行合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图输入给所述swin模块C2，

所述swin模块C2则对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图给所述swin模块C3；所述swin模块C3则对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图给所述swin模块C4；所述swin模块C4对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图给所述swin模块C5；所述swin模块C5对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图给swin模块C6；所述swin模块C6对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图给所述swin模块C7，最终经所述swin模块C7作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出表达为[Batch-size,H/16,W/16,4C]的所述第三细胞特征输入给模块D，

S54，所述模块D对输入的各所述第三细胞特征作进一步的特征提取，输出表达为[Batch-size,H/32,W/32,8C]的第四细胞特征表示，

所述模块D包括特征块合并层D1、swin模块D2、swin模块D3，特征块合并层D1将其输入作特征块合并处理后输出的尺寸为[Batch-size,H/32,W/32,8C]的各特征图分别对应的第三细胞特征进行合并后输入给所述swin模块D2，

所述swin模块D2则对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/32,W/32,8C]的特征图给所述swin模块D3，所述swin模块D3则对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/32,W/32,8C]的特征图的处理后最终输出表达为[Batch-size,H/32,W/32,8C]的所述第四细胞特征输入给归一化层作特征约束；

S55，所述归一化层对所述第四细胞特征作特征约束后输出给自适应平均池化层作平均池化操作，得到线性分类头需要的特征维度后，由所述线性分类头最终输出细胞的分类结果。

作为优选，步骤S52中，n=2。

作为优选，利用具有8GB显存的型号为RTX2080的显卡运行所述Transformer细胞分类模型对经步骤S4作重叠框去除后的各所述第一坐标框和各所述第二坐标框框选的各所述细胞区域图像作细胞分类推理；

当所述样本图像的像素尺寸为2048×2048时，将所述样本图像切分为4块像素尺寸为1024×1024的图像块后利用所述显卡同时作细胞分类推理，输出每个所述图像块对应的细胞分类结果，并对4个所述图像块分别对应的所述细胞分类结果进行合并后输出关联像素尺寸为2048×2048的所述样本图像的细胞分类框选结果。

本发明基于Transformer的机器学习技术实现了对由胸腹腔积液制成的液基细胞学涂片样本的样本图像中的病变细胞图像的精准且快速的分类。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的基于Transformer的医学图像分类方法的实现步骤图；

图2是本发明实施例实现基于Transformer的医学图像分类方法的逻辑框图；

图3是本发明实施例去重叠坐标框的流程图；

图4是本发明实施例采用的Transformer细胞分类模型的网络架构图；

图5是Swin模块的内部结构示意图；

图6是对批量的细胞区域图像利用GPU按批次进行细胞分类推理的示意图；

图7是对4个像素尺寸为1024×1024的图像块的分类框选结果进行合并的原理示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明的目的是，针对胸腹腔积液样本，构建人工智能算法模型，找到团状病变细胞、散在的单个病变细胞、病理性核分裂象细胞，并与良性的间质细胞、组织细胞、炎症细胞相鉴别，辅助病理医生完成良恶性鉴别诊断。为实现上述目的，本申请首先对由胸腹腔积液制成的液基细胞学涂片样本的样本图像进行预处理，以提高目标细胞的召回率；使用swin-transformer深度学习模型提升细胞分类的准确性；图像处理带来的巨型团状细胞的胞浆或杂项干扰，不能很好地框选目标，故引入一个目标检测模型来提升框选位置的准确性。

以下对本发明实施例提供的基于Transformer的医学图像分类方法如何实现对病变细胞的图像分类进行具体说明：

如图1和图2所示，本实施例提供的基于Transformer的医学图像分类方法，包括步骤

S1，对由胸腹腔积液制成的液基细胞学图片样本的样本图像进行预处理，得到样本图像对应的二值化掩码图以及二值化掩码图中的每个细胞对应的二值掩码图mask；

以下对二值化掩码图和每个细胞对应的二值掩码图mask的获取方法进行具体阐述：

为了更好地区分图像前景和背景，本实施例引入了颜色空间变换的处理，使用HSV+LUV融合的策略能够更好地找到细胞与背景的分界线。将原始的样本图像转换为色彩空间为HSV的第一图像后，已经能够查找出大部分的细胞，对于跟背景颜色十分接近的细胞则需要LUV的颜色空间变换进行弥补，而LUV变换后容易丢失大目标，所以本实施例对原始的样本图像分别作HSV颜色空间变换后得到的第一图像和作LUV颜色空间变换后得到的第二图像进行融合后，得到二值化掩码图，这样在二值化掩码图中保留了与背景颜色接近的细胞且不会丢失大目标。

基于现有数据的宽高统计，癌症细胞ADE-M的宽或高通常在300-310像素之间，ADE-S在140-150之间，MC-M在140-150之间，MC-S在60-70之间。在实验中我们发现，少量的ADE-S和MC-S的大小相近，而中性粒细胞和其他的小细胞的大小通常60以下，为了去除这些中小细胞对病变细胞识别的干扰，本实施例通过细胞面积阈值过滤的方式过滤掉这些中小细胞，方法为：计算二值化掩码图中的每个细胞的面积（计算方法可采用现有的方法，如使用contourArea函数计算每个框选每个细胞的多边形框的面积），然后判断每个细胞的面积是否小于预设的面积阈值，如果是，则将该细胞去除掉，如果不是，则保留该细胞。

过滤掉这些中小细胞后，对原始的样本图像进行像素值为“240”的回填，使得剩余的小细胞在原图中的位置呈现灰白色（原图为8-bit位深的RGB图像，像素值为“0”接近黑色，为“255”则接近白色，为“240”更接近液基的背景颜色）。深度学习模型通常对于物体的边缘敏感，因为模型的浅层是会去学习这些边缘的细节特征，所以需要对融合后的二值化掩码图使用形态学的处理，本实施例中，使用5×5像素的膨胀单元对每个细胞所在的区域进行图像膨胀处理，得到每个细胞膨胀后的二值掩码图mask，使用这个mask提取原图中的细胞信息，mask细胞面积像素值小于50×50的地方填充像素值“240”，以使得小细胞在原图中的位置呈现灰白色，进而将作为前景的疑似病变细胞与图像背景分离。

综上，步骤S1中，对样本图像进行图像预处理的方法包括如下步骤：

S11，将样本图像分别转换为色彩空间为HSV的第一图像和色彩空间为LUV的第二图像；

S12，融合第一图像和第二图像，得到融合后的二值化掩码图；

S13，过滤二值化掩码图中大小尺寸小于预设的细胞大小阈值的细胞；

S14，对经步骤S13过滤剩余的每个细胞区域进行膨胀处理，得到每个细胞对应的二值掩码图mask；

S15，对每张二值掩码图mask中细胞面积像素值小于50×50的区域进行像素值回填，最终得到经图像预处理后的二值化掩码图。

经图像预处理得到样本图像对应的二值化掩码图以及二值化掩码图中每个细胞对应的二值掩码图mask后，如图1所示，提供的基于Transformer的医学图像分类方法转入步骤：

S2，获取用于框选二值化掩码图中的每个细胞的第一坐标框，以及获取用于框选二值化掩码图中的每个疑似癌细胞的第二坐标框；

以下对获取第一坐标框和第二坐标框的方法分别进行阐述：

首先，使用findContours轮廓提取算法通过凸多边形框选每个细胞的方式提取出步骤S1得到的二值化掩码图中的每个细胞，并记录用于框选每个细胞的每个凸多变形框的坐标位置

然后使用contourArea函数计算每个凸多边形框的面积；

然后对于每个凸多边形框，判断其面积是否小于预设的面积阈值（优选为50像素×50像素），

若是，则过滤掉该凸多边形框框选的细胞；

若否，则保留该凸多边形框作为框选对应细胞的第一坐标框。

我们在实验中发现，findContours+contourArea进行图像处理的方案在提供第一坐标框框选的可疑分类区域的同时会额外引入杂项干扰，为了解决这个问题，本实施例引入一个检测模型来提供相对更为准确的可疑分类区域的位置信息。本发明选用YOLO系列为代表的YOLOX目标检测网络检测并框选出二值化掩码图中的每个疑似癌细胞，相比图像处理的方案，其检测精度更高、速度更快，特别针对ADE类的癌细胞的抓取，具备更佳的细胞位置检测精度。

在实际使用中，findContours+contourArea的方案框选的第一坐标框和通过YOLOX目标检测网络框选的第二坐标框可能存在框重叠的现象，为了避免重叠框对后续细胞分类的影响，需要对重叠框进行处理，本实施例提供的重叠框处理方法具体为：

如图3所示，本实施例采用ADE类优先的IOU阈值过滤，将YOLOX目标检测网络输出的ADE类框（即检测到的第二坐标框记为det_bbox）和图像处理生成的框（即第一坐标框记为cnt_bbox），计算每个第一坐标框和每个第二坐标框的IOU重叠度，当重叠度大于0.1时，去除掉图像处理生成的第一坐标框。具体而言，首先收集图像处理得到的第一坐标框cnt_bbox和YOLOX目标检测网络检测到的第二坐标框det_bbox。然后，计算每个det_bbox与每个cnt_bbox的交并比（IOU）。最后，判断IOU是否小于或等于预设的重叠度阈值（优选为0.1），若是，则保留参与IOU重叠度匹配的第一坐标框和第二坐标框，若否，则丢弃掉参与IOU重叠度匹配的第一坐标框。

上述的重叠框处理方案如图1所示，即为本实施例提供的基于Transformer的医学图像分类方法的步骤：

S3，计算每个第一坐标框与每个第二坐标框的IOU重叠度；

S4，判断IOU重叠度是否小于或等于预设的重叠度阈值，

若是，则保留参与IOU重叠度匹配的第一坐标框和第二坐标框；

若否，则丢弃参与IOU重叠度匹配的第一坐标框；

经过步骤S1-S4，过滤掉了并非为癌细胞的小细胞的干扰且对重叠框作了去重，在样本图像对应的二值化掩码图中已经框选出了疑似程度最高的可能为癌细胞的区域，这些区域作为后续细胞分类识别的对象数量上已大幅减少，有利于提高最终细胞分类识别的效率。

以下对本实施例提供的基于Transformer的医学图像分类方法的关键一步，即图1中所示的步骤S5具体实现对可疑区域的细胞分类进行详细说明：

如图1所示，经步骤S1-S4筛选出疑似癌细胞的区域后，转入步骤：

S5，从原图中截取经步骤S4去重叠后的每个第一坐标框和每个第二坐标框分别框选的各细胞区域图像输入给预先完成训练的Transformer细胞分类模型中进行细胞分类，输出最终的细胞分类结果。

本实施例希望识别的癌细胞种类为ADE-M（腺细胞团的英文缩写，其英文全名为：Adenocarcinoma cells arranged in big mass）、ADE-S（单个腺癌细胞，英文全名为：Adenocarcinoma cells Single）、MC-M（间皮细胞团，英文全名为：Mesothelial cellmass）和MC-S（单个间皮细胞，英文全名为：Mesothelial cell Single）这4类，通过预训练的Transformer细胞分类模型对这4类细胞进行分类。我们在实验中发现，ADE-S和MC-S两种类别的细胞大小相近，只存在核仁和染色程度上的微小差异，分类结果容易出现混淆，因此4类细胞特别是ADE-S和MC-S这两类细胞需要进行强有力的特征表示，故本申请特别使用swin-Transformer的网络架构来对细胞进行分类识别。swin-Transformer能够对细胞特征作强有力的表示。另外在实验过程中还发现，会有其他杂质被分为ADE类，为了解决这个问题，本实施例在训练Transformer细胞分类模型时增加了负类样本。本申请采用8类样本训练Transformer细胞分类模型，分别为ADE-M、ADE-S、MC-M、MC-S、T1（空白、模糊区域）、T2（丝状、絮状区域图）、T3（其他杂类）、T4（炎症细胞）。本发明对采用不同网络结构，以相同的ADE-M、ADE-S、MC-M、MC-S、T1-T4这8类细胞区域图像为样本训练得到的细胞分类模型的性能作了对比，对比结果如下表a所示：

表a中的swin-tiny表示本实施例采用swin-Transformer网络架构训练形成的Transformer细胞分类模型，rep-vgg-A0表示由卷积层堆叠形成的一种轻量化的网络结构。由上表a可知，对于具有相同分辨率尺寸的细胞区域图像，本实施例提供的采用swin-Transformer网络架构训练形成的Transformer细胞分类模型具有更优的模型性能。

上表a中，F1分数的计算方式通过以下公式（1）表达：

F1分数是衡量分类模型的精确度的指标，同时兼顾精度和召回率，是精度和召回率的调和平均。经过步骤S1-S4的图像预处理获取每个细胞的区域图像，在模型训练阶段使用RandomResizedCrop随机裁剪、RandomFlip随机翻转、RandAugment数据增强的方式将每张区域的分辨率尺寸调整为112×112，在测试阶段则将细胞区域图像尺寸变换为分辨率128×128，在使用centercrop图像裁剪到112×112分辨率大小后传入到swin-Transformer网络进行分类推理。从128裁剪为112的原因是因为：实验总结发现，分辨率为128×128的细胞区域图像的边缘信息多为冗余信息，为不必要的分类识别区域，裁剪掉后有利于提高对细胞分类识别的效率。RandomResizedCrop的目的是，增加样本数量，其随机裁剪的方法比如具体为：将原始大小的细胞区域图像以0.8-1.0的倍数进行随机裁剪，或者以4:3或3:4等随机纵横比对原始的细胞区域图像进行裁剪。RandomFlip的目的同时为了增加样本数量，其随机翻转的方式比如为对原始图像进行左右镜像的水平反转。RandomFlip的目的同时为了增加样本数量，其随机翻转的方式比如为对原始图像进行左右镜像的水平反转。CenterCrop则根据原始细胞区域图像的大小，计算需要crop的左上角的角点的位置，角点再加上目标输出分辨率大小为crop的右下角的点，使用imcrop方法得到112×112的细胞区域图像。RandAugment为减少搜索空间的随机数据扩充，其具体的数据扩充方法采用的为现有方法，因此做不做具体交代。

如图4所示，Transformer细胞分类模型进行细胞分类的方法步骤具体包括：

S51，将高、宽分别为H、W的细胞区域图像输入给图4中所示的图像块划分模块1被划分为若干个尺寸为H/4、W/4的图像块后输入给模块A作细胞特征提取，输出第一细胞特征表示[Batch-size,H/4,W/4,C]，C表示第一细胞特征编码的维度，模块A包括1个线性编码层A1、swin模块A2、swin模块A3，所述线性编码层A1将输入的各所述图像块作特征卷积提取后，输出尺寸为[Batch-size,H/4,W/4,C]大小的特征图输入给图5中所示的swin模块A2，经swin模块A2的处理作窗口划分，先将输入大小为[Batch-size,H,W,C]的特征图做形状变换，变换为[Batch-size,H/window_size,W/window_size,window_size,C],然后再做通道变换得到[Batch-size*num_windows,window_size,window_size,C]的窗口划分的结果,这个结果会被reshape为[Batch-size*num_windows,window_size*window_size,C]通过注意力机制进行特征提取，注意力计算需要qkv，q为query查询，key为键，value为值。qkv为一个输入为dim，输出为3*dim的线性层，qkv做reshape将形状变换为，[3，Batch-size,num_heads，window_size*window_size,C/num_heads],num_heads为多头注意力的head的个数，q和k做矩阵乘法得到attn再经过一个sofmax得到注意力的结果图，注意力结果图attn和value做矩阵乘法，再经过线性层得到注意力机制提取的特征，这个注意力特征会reshape为[Batch-size*num_windows,window_size*window_size,C]送入做窗口合并，先求取Batch-size的大小使用window_shape[0]除以(H*W/window_size/window_size)然后再做reshape和通道变换得到最终的结果图[Batch-size,H,W,C]，处理后输出尺寸为[Batch-size,H/4,W/4,C]大小的特征图输入给图5中所示的swin模块A3，窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出表达为[Batch-size,H/4,W/4,C]的第一细胞特征输入给模块B；S52，模块B对输入的各第一细胞特征作进一步的特征提取，输出表达为[Batch-size,H/8,W/8,2C]的第二细胞特征，

模块B包括依序连接的特征块合并层B1、swin模块B1、swin模块B2，特征块合并层B1将图像块划分模块划分的相邻的n×n(n优选为2)邻域内的各图像块分别对应的第一细胞特征进行合并后输入给swin模块B1，这个合并操作使得特征图的通道数变成n×n倍，为了降低模块B输出的特征通道数，优选采用一个线性层将通道数从n×n倍降为2倍(当n为2时，从4倍降为2倍)。如图4所示，swin模块B1对其输入作层归一化，经过一个窗口多头自注意力机制输出[Batch-size,H/8,W/8,2C]与输入进行相加操作得到中间变量H1，H1经过层归一化和移窗多头自注意力和H1相加处理后输出[Batch-size,H/8,W/8,2C]的特征图给swin模块B2，最终经swin模块B2作窗口划分，注意力机制提取有效特征，再做窗口合并处理后输出[Batch-size,H/8,W/8,2C]大小的特征图的第二细胞特征输入给模块C；S53，模块C对输入的各第二细胞特征作进一步的特征提取，输出表达为[Batch-size,H/16,W/16,4C]的第三细胞特征，

模块C包括特征块合并层C1、swin模块C2-C7，特征块合并层C1将所述模块B输出的特征块进行合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图输入给所述swin模块C2，合并方法为，使用python切片获取四个尺寸为[Batch-size,H/16,H/16,2C]的特征块,然后在C的维度上进行合并得到[Batch-size,H/16,H/16,8C]的特征图，最后使用一个线性层将8C通道降维度，得到[Batch-size,H/16,H/16,4C]的特征图，输入给swin模块C2，

swin模块C2则对其输入作窗口划分，注意力机制提取有效特征，再做窗口合并处理后输出[Batch-size,H/16,W/16,4C]给所述swin模块C3；所述swin模块C3则对其输入作窗口划分，注意力机制提取有效特征，再做窗口合并处理后输出[Batch-size,H/16,W/16,4C]给所述swin模块C4；所述swin模块C4对其输入作窗口划分，利用注意力机制提取有效特征，再做窗口合并处理后输出[Batch-size,H/16,W/16,4C]给所述swin模块C5；所述swin模块C5对其输入作窗口划分，注意力机制提取有效特征，再做窗口合并处理后输出[Batch-size,H/16,W/16,4C]给所述swin模块C6；所述swin模块C6对其输入作窗口划分，注意力机制提取有效特征，再做窗口合并处理后输出[Batch-size,H/16,W/16,4C]给所述swin模块C7，最终经所述swin模块C7作作窗口划分，注意力机制提取有效特征，再做窗口合并处理后输出[Batch-size,H/16,W/16,4C]的所述第三细胞特征输入给模块D，

S54，模块D对输入的各第三细胞特征作进一步的特征提取，输出表达为[H/32,W/32,8C]的第四细胞特征表示，

模块D包括特征块合并层D1、swin模块D2、swin模块D3，特征块合并层D1将其输入作特征块合并处理后输出的尺寸为[Batch-size,H/32,W/32,8C]的各特征图分别对应的第三细胞特征进行合并后输入给所述swin模块D2，具体地，特征块合并层D1对其输入使用python切片获取四个[Batch-size,H/32,H/32,4C],在C的维度上进行合并得到[Batch-size,H/32,H/32,16C]的特征图，最后使用一个线性层将16C通道降维度，得到[Batch-size,H/32,H/32,8C]的特征图输入给swin模块D2，

swin模块D2则对其输入作窗口划分，利用注意力机制提取有效特征，再做窗口合并处理后输出尺寸为[Batch-size,H/32,W/32,8C]的特征图给swin模块D3，swin模块D3则对其输入作窗口划分，利用注意力机制提取有效特征，再做窗口合并的处理后最终输出表达为[Batch-size,H/32,W/32,8C]的第四细胞特征输入给图4中所示的归一化层2作特征约束，归一化层2作特征约束的方法通过以下公式(1)表达：

公式(1)中，x表示输入；E[x]为x的均值，Var[x]为x的方差，∈为一个很小的常量值1e-7，γ，β为可以学习的参数，用于控制数据曲线分布的高矮胖瘦。

S55，归一化层2对第四细胞特征作特征约束后输出给自适应平均池化层3作平均池化操作，得到线性分类头4需要的特征维度后，由线性分类头4最终输出细胞的分类结果。

关于swin模块的内部结构请参照图5。

在实际的实验过程中发现，经过S1-S4的图像预处理后，像素尺寸为1024×1024的原图中通常存在40-60个大小不等的细胞框（包括第一坐标框和第二坐标框）。为了加速对细胞分类的推理，优选对这40-60个细胞作批量化的分类推理，即将1024尺寸大小图像内的所有细胞框通过图6所示的方式批量进行分类推理，组装成批量推理的张量。但我们发现，在细胞框个数超过50个时，Transformer细胞分类模型跑在低端的显卡上（如在资源受限的8GB显存的RTX2080显卡上）作分类推理任务存在现存溢出的问题，因此面对这种情况，优选在用张量切分的方法分两批次进行推理，这样便削减了对整个大图（1024尺寸的大图）的分类推理时间。

一般而言，GPU的推理速度优于CPU，因此使用GPU进行细胞分类推理更为理想。但对于单个细胞图像，从CPU拷贝到GPU再将分类完成的结果从GPU拷贝到CPU，需要两次拷贝动作，如果1024尺寸的大图中存在60个待分类的细胞，则需要120次拷贝动作，非常耗时。为了解决这个问题，我们根据显卡的处理能力，将待分类的细胞事先作二分处理，比如具有8GB显存的RTX2080显卡具备的细胞分类能力为同时对50个细胞进行分类，则如果识别到大图中的细胞数量超过50个时，将大图中的细胞分为两个批次，每个批次的细胞同时从CPU拷贝到GPU进行分类推理，完成分类后，将分类结果同时从GPU拷贝到CPU中，这样对两个批次只有两个拷贝动作，相比较120次的拷贝数量大幅减少，提高了分类推理的效率。

原图的尺寸越大，存在更多数量细胞的可能性越大。在实验过程中发现，像素尺寸为2048×2048的样本图像，在使用RTX2080显卡作细胞分类推理时，显卡的显存容纳不下过多的细胞区域图像（小图）作同时的分类推理，因此，对于2048×2048像素尺寸的样本图像优选裁切为4块1024×1024的图像块分别进行细胞分类推理，最后再合并推理结果。合并的结果中会可能存在团状细胞在1024切分出呈现如图7中的a图中呈现的4个检测框，为了能够去除因切分额外引入的切分线条，以更好地展示如图7中的c图中呈现的框选结果，优选通过以下方法对4个细胞分类的框选结果进行合并，合并方法为： 步骤一，根据bbox的定义[x1,y1,x2,y2]，x1，y1为框的左上角坐标，x2，y2为框的右下角坐标。图像处理得到的凸多边形坐标会在切分的坐标处，所以生成的矩形框会存在x等于1024，或是y等于1024，将这些矩形框由程序挑选出来，放入集合A中，2048x2048的原图的图像处理掩码，可以拿到未切分图像的细胞的坐标框放入集合B中。步骤二，计算集合A和集合B的框的交并比。步骤三，将匹配的集合A的框删除，保留匹配的集合B的框，保留集合B的框的类别和概率由匹配所属的集合A的框的类别和概率进行投票产生。

综上，本申请基于Transformer的机器学习技术实现了对由胸腹腔积液制成的液基细胞学涂片样本的样本图像中的病变细胞的精准且快速的图像分类。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (10)

1.一种基于Transformer的医学图像分类方法，其特征在于，包括步骤：

S1，对由胸腹腔积液制成的液基细胞学涂片样本的样本图像进行预处理，得到所述样本图像对应的二值化掩码图以及所述二值化掩码图中每个细胞对应的二值掩码图mask；

S2，获取用于框选所述二值化掩码图中的每个细胞的第一坐标框，以及获取用于框选所述二值化掩码图中的每个疑似癌细胞的第二坐标框；

S3，计算每个所述第一坐标框与每个所述第二坐标框的IOU重叠度；

S4，判断所述IOU重叠度是否小于或等于预设的重叠度阈值，

若是，则保留参与IOU重叠度匹配的所述第一坐标框和所述第二坐标框；

若否，则丢弃参与IOU重叠度匹配的所述第一坐标框；

S5，从原图中截取经步骤S4去重叠后的每个所述第一坐标框和每个所述第二坐标框分别框选的各细胞区域图像输入给预先完成训练的Transformer细胞分类模型中进行细胞分类，输出最终的细胞分类结果。

2.根据权利要求1所述的基于Transformer的医学图像分类方法，其特征在于，对所述样本图像进行图像预处理的方法包括步骤：

S11，将所述样本图像分别转换为色彩空间为HSV的第一图像和色彩空间为LUV的第二图像；

S12，融合所述第一图像和所述第二图像，得到融合后的所述二值化掩码图；

S13，过滤所述二值化掩码图中大小尺寸小于预设的细胞大小阈值的细胞；

S14，对经步骤S13过滤剩余的每个细胞区域进行膨胀处理，得到每个细胞对应的所述二值掩码图mask；

S15，对每张所述二值掩码图mask中细胞面积像素值小于50×50的区域进行像素值回填，最终得到经图像预处理后的所述二值化掩码图。

3.根据权利要求2所述的基于Transformer的医学图像分类方法，其特征在于，步骤S15中，回填的像素值为“240”。

4.根据权利要求1所述的基于Transformer的医学图像分类方法，其特征在于，步骤S2中，获取用于框选所述二值化掩码图中的每个细胞的所述第一坐标框的方法包括步骤：

A1，使用findContours轮廓提取算法通过凸多边形框选每个细胞的方式提取出所述二值化掩码图中的每个细胞，并记录用于框选每个细胞的每个所述凸多边形框的坐标位置；

A2，使用contourArea函数计算每个所述凸多边形框的面积；

A3，对于每个所述凸多边形框，判断其面积是否小于预设的面积阈值，

若是，则过滤掉所述凸多边形框框选的细胞；

若否，则保留所述凸多边形框作为框选对应细胞所述第一坐标框。

5.根据权利要求4所述的基于Transformer的医学图像分类方法，其特征在于，所述面积阈值为50像素×50像素。

6.根据权利要求1所述的基于Transformer的医学图像分类方法，其特征在于，步骤S2中，使用YOLOX目标检测网络检测并框选出所述二值化掩码图中的每个所述疑似癌细胞。

7.根据权利要求1所述的基于Transformer的医学图像分类方法，其特征在于，所述重叠度阈值为0.1。

8.根据权利要求1所述的基于Transformer的医学图像分类方法，其特征在于，步骤S5中，所述Transformer细胞分类模型进行细胞分类的方法步骤包括：

S51，将高、宽尺寸分别为H、W的所述细胞区域图像输入给图像块划分模块被划分为若干个尺寸为H/4、W/4的图像块后输入给模块A作细胞特征提取，输出表达为[Batch-size，H/4,W/4,C]的第一细胞特征，C表示第一细胞特征编码的维度，

所述模块A包括线性编码层A1、swin模块A2、swin模块A3，所述线性编码层A1将输入的各所述图像块作特征卷积提取后，输出尺寸为[Batch-size,H/4,W/4,C]大小的特征图输入给所述swin模块A2，经所述swin模块A2的作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/4,W/4,C]大小的特征图输入给所述swin模块A3，最终经所述swin模块作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出表达为[Batch-size,H/4,W/4,C]的第一细胞特征输入给模块B；

S52，所述模块B对输入的各所述第一细胞特征作进一步的特征提取，输出表达为[Batch-size,H/8,W/8,2C]的第二细胞特征，

所述模块B包括依序连接的特征块合并层B1、swin模块B1、swin模块B2，所述特征块合并层B1将所述图像块划分模块划分的相邻的n×n邻域内的各所述图像块分别对应的第一细胞特征进行合并后输入给所述swin模块B1，

所述swin模块B1则对其输入作特征块合并处理后输出[Batch-size,H/8,W/8,2C]大小的特征图给所述swin模块B2，最终经所述swin模块B2作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出表达为[Batch-size,H/8,W/8,2C]的所述第二细胞特征输入给模块C；

S53，所述模块C对输入的各所述第二细胞特征作进一步的特征提取，输出表达为[Batch-size,H/16,W/16,4C]的第三细胞特征，

所述模块C包括特征块合并层C1、swin模块C2-C7，所述特征块合并层C1将所述模块B输出的特征块进行合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图输入给所述swin模块C2，

所述swin模块C2则对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图给所述swin模块C3；所述swin模块C3则对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图给所述swin模块C4；所述swin模块C4对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图给所述swin模块C5；所述swin模块C5对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图给swin模块C6；所述swin模块C6对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/16,W/16,4C]的特征图给所述swin模块C7，最终经所述swin模块C7作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出表达为[Batch-size,H/16,W/16,4C]的所述第三细胞特征输入给模块D，

S54，所述模块D对输入的各所述第三细胞特征作进一步的特征提取，输出表达为[Batch-size,H/32,W/32,8C]的第四细胞特征表示，

所述模块D包括特征块合并层D1、swin模块D2、swin模块D3，特征块合并层D1将其输入作特征块合并处理后输出的尺寸为[Batch-size,H/32,W/32,8C]的各特征图分别对应的第三细胞特征进行合并后输入给所述swin模块D2，

所述swin模块D2则对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/32,W/32,8C]的特征图给所述swin模块D3，所述swin模块D3则对其输入作窗口划分并通过注意力机制进行特征提取然后再做窗口合并处理后输出尺寸为[Batch-size,H/32,W/32,8C]的特征图的处理后最终输出表达为[Batch-size,H/32,W/32,8C]的所述第四细胞特征输入给归一化层作特征约束；

S55，所述归一化层对所述第四细胞特征作特征约束后输出给自适应平均池化层作平均池化操作，得到线性分类头需要的特征维度后，由所述线性分类头最终输出细胞的分类结果。

9.根据权利要求8所述的基于Transformer的医学图像分类方法，其特征在于，步骤S52中，n=2。

10.根据权利要求1所述的基于Transformer的医学图像分类方法，其特征在于，利用具有8GB显存的型号为RTX2080的显卡运行所述Transformer细胞分类模型对经步骤S4作重叠框去除后的各所述第一坐标框和各所述第二坐标框框选的各所述细胞区域图像作细胞分类推理；

当所述样本图像的像素尺寸为2048×2048时，将所述样本图像切分为4块像素尺寸为1024×1024的图像块后利用所述显卡同时作细胞分类推理，输出每个所述图像块对应的细胞分类结果，并对4个所述图像块分别对应的所述细胞分类结果进行合并后输出关联像素尺寸为2048×2048的所述样本图像的细胞分类框选结果。

Images