CN115170571A - 胸腹水细胞病理图像识别方法、图像识别装置、介质 - Google Patents

Abstract

本申请公开了一种胸腹水细胞病理图像识别方法、图像识别装置、介质，包括获取由胸腹水细胞病理图像分块得到的目标图像块；利用骨干分类网络对目标图像块进行第一分类处理，得到第一分类处理后输出的目标分类特征图；根据目标分类特征图得到第一分类结果；根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，得到目标检测结果；根据第一分类结果和目标检测结果得到胸腹水细胞病理识别结果，根据本申请的技术方案，根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，得到目标检测结果，减少通过人为判定得到胸腹水细胞病理识别结果的情况，提高了胸腹水细胞病理识别的效率。

Description

胸腹水细胞病理图像识别方法、图像识别装置、介质

技术领域

本申请涉及图像识别技术领域，尤其是一种胸腹水细胞病理图像识别方法、图像识别装置、介质。

背景技术

胸腹水是胸腹腔脏器病变常见的临床表现，其产生机制十分复杂，准确快速地判断胸腹水的良、恶性对疾病的诊断、治疗有重要意义。目前胸腹水细胞学的诊断一般是医生在显微镜下对胸腹水细胞阅片检查，从而得到良恶性胸腹水的细胞病理识别结果，然而，阅片结果易受主观因素的影响，阅片时间过长还会产生疲劳，导致识别效率降低。

发明内容

本申请实施例提供了一种胸腹水细胞病理图像识别方法、图像识别装置、介质，能够通过对目标图像块进行第一分类处理后再检测处理，从而得到胸腹水细胞病理识别结果，提高胸腹水细胞病理识别的效率。

第一方面，本申请实施例提供了一种胸腹水细胞病理图像识别方法，包括：

获取由胸腹水细胞病理图像分块得到的目标图像块；

利用骨干分类网络对所述目标图像块进行第一分类处理，得到所述第一分类处理后输出的目标分类特征图；

根据所述目标分类特征图得到第一分类结果；

根据所述第一分类结果，对所述目标图像块和所述目标分类特征图进行检测处理，得到目标检测结果；

根据所述第一分类结果和所述目标检测结果得到胸腹水细胞病理识别结果。

第二方面，本申请实施例还提供了一种图像识别装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的胸腹水细胞病理图像识别方法。

第三方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的胸腹水细胞病理图像识别方法。

本申请实施例包括：获取由胸腹水细胞病理图像分块得到的目标图像块；利用骨干分类网络对目标图像块进行第一分类处理，得到第一分类处理后输出的目标分类特征图；根据目标分类特征图得到第一分类结果；根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，得到目标检测结果；根据第一分类结果和目标检测结果得到胸腹水细胞病理识别结果，根据本申请的技术方案，根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，得到目标检测结果，减少通过人为判定得到胸腹水细胞病理识别结果的情况，提高了胸腹水细胞病理识别的效率。

附图说明

图1是本申请一个实施例提供的胸腹水细胞病理图像识别方法的流程图；

图2是图1中步骤S140的具体方法的流程图；

图3是图2中步骤S210的具体方法的流程图；

图4是图1中步骤S110的具体方法的流程图；

图5是本申请另一个实施例提供的胸腹水细胞病理图像识别方法的流程图；

图6是图5中步骤S720的具体方法的流程图；

图7是本申请一个实施例提供的胸腹水细胞病理图像识别方法的第一分类处理示意图；

图8是本申请一个实施例提供的胸腹水细胞病理图像识别方法的检测处理示意图；

图9是本申请一个实施例提供的胸腹水细胞病理图像识别方法的第二分类处理示意图；

图10是本申请一个实施例提供的胸腹水细胞病理图像识别方法的架构示意图；

图11是本申请一个实施例提供的图像识别装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据目标对象（例如用户等）的属性信息或属性信息集合等与目标对象的特性相关的数据进行相关处理时，都会先获得目标对象的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取目标对象的属性信息时，会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意，在明确获得目标对象的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的目标对象的相关数据。

胸腹水是胸腹腔脏器病变常见的临床表现，其产生机制十分复杂，准确快速的判断胸腹水的良、恶性对疾病的诊断、治疗有重要意义。依靠胸腹水细胞学检查，可以给出良恶性胸腹水的鉴别诊断。但目前胸腹水液基细胞学诊断一般通过病理医生在显微镜下阅片进行，阅片结果易受主观因素的影响，同时阅片时间较长，约5-10min一张，容易产生疲劳，导致准确率和效率都受到影响。

相关技术中，阳性细胞指的是腺癌细胞或者其他肿瘤细胞，将胸腹水细胞切片扫描成全视野数字切片（Whole Slide Images，WSI），得到胸腹水细胞病理图像，即胸腹水WSI。利用计算机辅助诊断技术，对胸腹水WSI中的阳性细胞进行定位和分类，并给出片级即WSI级诊断建议，可有效提高诊断效率和准确率。

本申请提供了一种胸腹水细胞病理图像识别方法、图像识别装置、介质，包括获取由胸腹水细胞病理图像分块得到的目标图像块；利用骨干分类网络对目标图像块进行第一分类处理，得到第一分类处理后输出的目标分类特征图；根据目标分类特征图得到第一分类结果；根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，得到目标检测结果；根据第一分类结果和目标检测结果得到胸腹水细胞病理识别结果，根据本申请的技术方案，根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，得到目标检测结果，减少通过人为判定得到胸腹水细胞病理识别结果的情况，提高了胸腹水细胞病理识别的效率。

下面结合附图，对本申请实施例作进一步阐述。

如图1所示，图1是本申请一个实施例提供的胸腹水细胞病理图像识别方法的流程图，该识别方法可以包括但不限于有步骤S110、步骤S120、步骤S130。

步骤S110：获取由胸腹水细胞病理图像分块得到的目标图像块。

本步骤中，胸腹水细胞病理图像指的是通过相关技术中的任意方式采集得到的胸腹水细胞病理图像，在一个可选的实施方式中，胸腹水细胞病理图像指的是细胞图像病理识别数据集中的胸腹水细胞病理图像。目标图像块指的是胸腹水细胞病理图像分块得到的图像块，可以是将一个胸腹水细胞病理图像作为一个目标图像块，也可以根据预设的尺寸对胸腹水细胞病理图像分块得到的图像块作为目标图像块。获取由胸腹水细胞病理图像分块得到的目标图像块是为了便于后续步骤中得到胸腹水细胞病理识别结果。

步骤S120：利用骨干分类网络对目标图像块进行第一分类处理，得到第一分类处理后输出的目标分类特征图。

本步骤中，骨干分类网络指的是相关技术中的任意骨干（backbone）分类网络，例如efficientNet-B2、ResNet、VGG等。利用骨干分类网络对目标图像块进行第一分类处理，得到第一分类处理后输出的目标分类特征图，即是说，将目标图像块输入到骨干分类网络中，骨干分类网络输出的分类特征图经过卷积等操作从而得到第一分类处理后输出的目标分类特征图。得到目标分类特征图是为了便于后续步骤中得到第一分类结果。

在一个可选的实施方式中，参照图7，目标图像块的尺寸为768×768×3，骨干分类网络为efficientNet-B2骨干分类网络，利用骨干分类网络对目标图像块进行第一分类处理，得到目标分类特征图，其中，目标分类特征图的尺寸为1×3×24×24。

步骤S130：根据目标分类特征图得到第一分类结果。

本步骤中，根据目标分类特征图得到第一分类结果，指的是将目标分类特征图经过全连接层或者全局平均池化层，从而得到第一分类结果。第一分类结果表征目标图像块的类别。得到第一分类结果是为了便于后续步骤中得到目标检测结果和胸腹水细胞病理识别结果。

本申请另一个实施例中，目标图像块可以是阴性图像块或者阳性图像块，其中，阴性图像块指的是具有肿瘤细胞的目标图像块，阴性图像块可以包括其他肿瘤图像块或者腺癌图像块。由于第一分类结果表征目标图像块的类别，通过第一分类结果可以对目标图像块进行分类并选出对应类型的目标图像块。

步骤S140：根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，得到目标检测结果。

本步骤中，根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，得到目标检测结果，即是说，根据第一分类结果确定目标图像块中是否存在阳性细胞，从而对具有阳性细胞的目标图像块和和目标分类特征图进行检测处理，从而得到目标检测结果。得到目标检测结果是为了便于后续步骤中得到胸腹水细胞病理识别结果。

本申请另一个实施例中，目标检测结果表征目标图像块中阳性细胞的位置，对目标图像块和目标分类特征图进行检测处理可以是经过相关技术中的任意图像分割方式得到目标图像块的分割图后，再将目标图像块的分割图与目标分类特征图融合。

本申请又一个实施例中，检测处理不需要使用骨干分类网络，也不需要使用其他相关技术中的任意目标检测网络模型，本申请先得到第一分类结果，再根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，降低训练网络模型的成本，从而提高了对目标图像块中阳性细胞的定位的便捷性。

步骤S150：根据第一分类结果和目标检测结果得到胸腹水细胞病理识别结果。

本步骤中，第一分类结果表征目标图像块中是否存在阳性细胞，目标检测结果表征目标图像块中阳性细胞的位置，由于目标图像块是根据胸腹水细胞病理图像得到，根据第一分类结果和目标检测结果得到胸腹水细胞病理识别结果，从而能够减少通过人为判定得到胸腹水细胞病理识别结果的情况，避免医生疲劳而降低识别效率，达到提高胸腹水细胞病理识别效率的目的。

本实施例中，通过采用包括有上述步骤S110至步骤S150的胸腹水细胞病理图像识别方法，获取由胸腹水细胞病理图像分块得到的目标图像块；利用骨干分类网络对目标图像块进行第一分类处理，得到第一分类处理后输出的目标分类特征图；根据目标分类特征图得到第一分类结果；根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，得到目标检测结果；根据第一分类结果和目标检测结果得到胸腹水细胞病理识别结果，根据本申请实施例的方案，根据第一分类结果，对目标图像块和目标分类特征图进行检测处理，得到目标检测结果，减少通过人为判定得到胸腹水细胞病理识别结果的情况，避免医生疲劳而影响识别效率，达到提高胸腹水细胞病理识别效率的目的。

在一实施例中，如图2所示，对胸腹水细胞病理图像识别方法进行进一步的说明，步骤S140还可以包括但不限于有步骤S210、步骤S220、步骤S230和步骤S240。

步骤S210：根据第一分类结果对目标分类特征图进行筛选，得到阳性分类特征图。

本步骤中，阳性分类特征图指的是由具有阴性细胞的目标图像块得到的目标分类特征图，阴性细胞指的是腺癌细胞或者其他肿瘤细胞。第一分类结果表征目标图像块的类别，对于多个目标图像块分别生成的多个目标分类特征图，根据第一分类结果能够对目标分类特征图进行筛选，从而得到阳性分类特征图。得到阳性分类特征图是为了便于后续步骤中得到待处理特征图。

步骤S220：对阳性分类特征图进行尺寸变换，得到待处理特征图，其中，待处理特征图的尺寸与目标图像块的尺寸相同。

本步骤中，尺寸变换可以采用相关技术中的任意尺寸变换方式，例如双线性插值，从而达到改变阳性分类特征图的尺寸的目的。对阳性分类特征图进行尺寸变换，得到待处理特征图，其中，待处理特征图的尺寸与目标图像块的尺寸相同。得到待处理特征图是为了便于后续步骤中得到目标检测结果。

在一个可选的实施方式中，参照图8，第一分类结果为1×3，阳性分类特征图是根据第一分类结果对目标分类特征图进行筛选得到，阳性分类特征图的尺寸为1×3×24×24，对阳性分类特征图进行尺寸变换，得到待处理特征图，待处理特征图的尺寸为1×768×768。

步骤S230：二值化目标图像块，对二值化后的目标图像块进行轮廓识别，得到待处理图像块。

本步骤中，由于胸腹水细胞病理图像是彩色图像，目标图像块也是彩色图像，二值化目标图像块从而得到二值化后的目标图像块，对二值化后的目标图像块进行轮廓识别，得到待处理图像块。得到待处理图像块是为了便于后续步骤中得到目标检测结果。

本申请另一个实施例中，可以是使用相关技术中的最大类间方差法（ostu分割）对目标图像块二值化并进行轮廓识别，具体地，可以是使用OpenCV库中的findContours函数，因此，需要先将目标图像块二值化，再通过findContours函数对二值化后的目标图像块进行轮廓识别，从而得到待处理图像块。

步骤S240：根据待处理目标图像块以及目标分类特征图进行阈值过滤处理，得到目标检测结果。

本步骤中，由于待处理特征图的尺寸与目标图像块的尺寸相同，根据待处理目标图像块以及目标分类特征图进行阈值过滤处理，从而能够得到目标检测结果，目标检测结果表征目标图像块中阳性细胞的位置。

本实施例中，通过采用包括有上述步骤S210至步骤S250的胸腹水细胞病理图像识别方法，根据第一分类结果对目标分类特征图进行筛选，得到阳性分类特征图；对阳性分类特征图进行尺寸变换，得到待处理特征图，其中，待处理特征图的尺寸与目标图像块的尺寸相同；二值化目标图像块，将二值化后的目标图像块进行轮廓识别，得到待处理图像块；根据待处理目标图像块以及目标分类特征图进行阈值过滤处理，得到目标检测结果，根据本申请实施例的方案，根据第一分类结果，只对具有阳性细胞的目标图像块对应的目标分类特征图进行处理，从而得到目标检测结果，节省了定位阳性细胞的内存消耗，达到提高得到目标检测结果的效率的目的。

在一实施例中，如图3所示，对胸腹水细胞病理图像识别方法进行进一步的说明，目标图像块包括其他类目标图像块、其他肿瘤类目标图像块和腺癌类目标图像块，步骤S210还可以包括但不限于有步骤S310和步骤S320。

步骤S310：在第一分类结果表征目标图像块为其他类目标图像块的情况下，确定目标分类特征图不是阳性分类特征图。

本步骤中，目标图像块包括其他类目标图像块、其他肿瘤类目标图像块和腺癌类目标图像块，其他类（OTHERS）目标图像块指的是不具有肿瘤细胞或者腺癌细胞的目标图像块，其他肿瘤类（OT）目标图像块指的是具有除了腺癌细胞之外的其他肿瘤细胞的目标图像块，腺癌类（ADC）目标图像块指的是具有腺癌细胞的目标图像块。目标分类特征图与目标图像块对应，在第一分类结果表征目标图像块为其他类目标图像块的情况下，该目标图像块对应的目标分类特征图不是阳性分类特征图。

步骤S320：在第一分类结果表征目标图像块为其他肿瘤类目标图像块或者腺癌类目标图像块的情况下，确定目标分类特征图是阳性分类特征图。

本步骤中，目标分类特征图与目标图像块对应，在第一分类结果表征目标图像块为其他肿瘤类目标图像块或者腺癌类目标图像块的情况下，该目标图像块对应的目标分类特征图是阳性分类特征图。

本实施例中，通过采用包括有上述步骤S310至步骤S320的胸腹水细胞病理图像识别方法，在第一分类结果表征目标图像块为其他类目标图像块的情况下，确定目标分类特征图不是阳性分类特征图，在第一分类结果表征目标图像块为其他肿瘤类目标图像块或者腺癌类目标图像块的情况下，确定目标分类特征图是阳性分类特征图，根据本申请实施例的方案，第一分类结果表征目标图像块的类型，从而能够确定目标图像块中是否具有阳性细胞，从而达到便于后续步骤得到目标检测结果的目的。

在一实施例中，对胸腹水细胞病理图像识别方法进行进一步的说明，该识别方法还可以包括但不限于有步骤S410。

步骤S410：基于交叉熵损失函数，利用第一分类结果对骨干分类网络的分类参数进行调整，得到优化后的骨干分类网络。

本步骤中，交叉熵损失函数指的是相关技术中的交叉熵损失函数，由于利用骨干分类网络对目标图像块进行第一分类处理后能够得到目标分类特征图，第一分类结果由目标分类特征图得到，因此，可以基于交叉熵损失函数，利用第一分类结果对骨干分类网络的分类参数进行调整，从而能够得到优化后的骨干分类网络，达到提高分类的准确率的目的。

本实施例中，通过采用包括有上述步骤S410的胸腹水细胞病理图像识别方法，基于交叉熵损失函数，利用第一分类结果对骨干分类网络的分类参数进行调整，得到优化后的骨干分类网络，根据本申请实施例的方案，根据第一分类结果对骨干分类网络进行优化，达到提高分类的准确率的目的。

在一实施例中，对胸腹水细胞病理图像识别方法进行进一步的说明，步骤S130还可以包括但不限于有步骤S510。

步骤S510：对目标分类特征图进行全局平均池化处理，得到第一分类结果。

本步骤中，全局平均池化（Global Average Pooling，GAP）指的是相关技术中的全局平均池化操作，对目标分类特征图进行全局平均池化处理，从而得到第一分类结果，即是说，目标分类特征图经过全局平均池化后得到能够表征目标图像块中是否存在阳性细胞的第一分类结果，不需要经过全连接层，能够抑制过拟合，提高分类的合理性。

本实施例中，通过采用包括有上述步骤S410的胸腹水细胞病理图像识别方法，对目标分类特征图进行全局平均池化处理，得到第一分类结果，根据本申请实施例的方案，使用全局平均池化操作代替全连接层，从而得到第一分类结果，提高分类的合理性。

在一实施例中，如图4所示，对胸腹水细胞病理图像识别方法进行进一步的说明，步骤S110还可以包括但不限于有步骤S610和步骤S620。

步骤S610：获取胸腹水细胞病理图像。

本步骤中，胸腹水细胞病理图像指的是通过相关技术中的任意方式采集得到的胸腹水细胞病理图像，在一个可选的实施方式中，胸腹水细胞病理图像指的是细胞图像病理识别数据集中的胸腹水细胞病理图像。得到胸腹水细胞病理图像是为了便后续步骤中得到目标图像块。

步骤S620：对胸腹水细胞病理图像进行滑窗裁剪处理，得到至少一个对应的目标图像块。

本步骤中，滑窗裁剪处理指的是通过相关技术中的图像的裁剪处理方式，对胸腹水细胞病理图像进行滑窗裁剪处理，从而能够得到至少一个尺寸相同的目标图像块，目标图像块与胸腹水细胞病理图像对应。

本申请另一个实施例中，胸腹水细胞病理图像指的是胸腹水WSI，由于胸腹水WSI太大，直接处理占用内存资源较多，所以，对胸腹水细胞病理图像进行滑窗裁剪处理，得到至少一个对应的目标图像块，从而对目标图像块进行识别。

本实施例中，通过采用包括有上述步骤S610至S620的胸腹水细胞病理图像识别方法，获取胸腹水细胞病理图像；对胸腹水细胞病理图像进行滑窗裁剪处理，得到至少一个对应的目标图像块，根据本申请实施例的方案，将胸腹水细胞病理图像裁剪成目标图像块，从而能够减少同时占用内存过大的情况，提高胸腹水细胞病理识别效率。

在一实施例中，如图5所示，对胸腹水细胞病理图像识别方法进行进一步的说明，该识别方法还可以包括但不限于有步骤S710、步骤S720、步骤S730和步骤S740。

步骤S710：获取骨干分类网络输出的中间分类特征图。

本步骤中，中间分类特征图指的是利用骨干分类网络对目标图像块进行第一分类处理时，目标图像块经过骨干分类网络后输出的分类特征图，在一个可选的实施方式中，参照图7，目标图像块的尺寸为768×768×3，经过骨干分类网络输出中间分类特征图，其中，中间分类特征图的尺寸为1×1408×24×24。获取中间分类特征图是为了便于后续步骤中得到第二分类结果。

步骤S720：对中间分类特征图进行全局平均池化处理，得到待处理分类特征图。

本步骤中，中间分类特征图是第一分类处理后不输出的中间分类特征图，全局平均池化（Global Average Pooling，GAP）指的是相关技术中的全局平均池化操作，对中间分类特征图进行全局平均池化处理从而得到待处理分类特征图。得到待处理分类特征图是为了便于后续步骤中得到第二分类结果。

在一个可选的实施方式中，参照图7，对中间分类特征图进行全局平均池化处理，得到待处理分类特征图，待处理分类特征图的尺寸为1×1048×1×1。

步骤S730：在目标图像块对应同一胸腹水细胞病理图像的情况下，利用长短期记忆模型对与目标图像块对应的待处理分类特征图进行第二分类处理，得到第二分类结果。

本步骤中，长短期记忆（Long Short-Term Memory，LSTM）模型指的是相关技术中的LSTM模型，在目标图像块对应同一胸腹水细胞病理图像的情况下，利用长短期记忆模型对与目标图像块对应的待处理分类特征图进行第二分类处理，得到第二分类结果，即是说，对于多个目标图像块得到的多个待处理分类特征图，在目标图像块属于同一胸腹水细胞病理图像的情况下，对与目标图像块对应的待处理分类特征图进行第二分类处理，从而得到第二分类结果，第二分类结果能够表征胸腹水WSI中是否存在腺癌细胞或者其他肿瘤细胞。得到第二分类结果是为了便于后续步骤中得到胸腹水细胞病理识别结果。

在一个可选的实施方式中，参照图9，对于同一胸腹水细胞病理图像，共有N个待处理分类特征图，N是任意自然数。利用LSTM模型对与待处理分类特征图进行第二分类处理，得到第二分类结果，第二分类结果是片级（WSI级）的分类结果，第二分类结果表征一个胸腹水WSI中是否存在腺癌细胞或者其他肿瘤细胞，存在则胸腹水WSI为阳性，不存在则胸腹水WSI为阴性。

步骤S740：根据第一分类结果和目标检测结果得到胸腹水细胞病理识别结果，包括：根据第一分类结果、目标检测结果和第二分类结果得到胸腹水细胞病理识别结果。

本步骤中，第一分类结果表征目标图像块中是否存在阳性细胞，目标检测结果表征包括阳性细胞的目标图像块中阳性细胞的位置信息，第二分类结果表征胸腹水WSI中是否存在腺癌细胞或者其他肿瘤细胞，根据第一分类结果、目标检测结果和第二分类结果得到胸腹水细胞病理识别结果，可以是将第一分类结果、目标检测结果和第二分类结果均作为胸腹水细胞病理识别结果，从而能够实现胸腹水细胞病理图像的识别的目的。

本实施例中，通过采用包括有上述步骤S710至步骤S740的胸腹水细胞病理图像识别方法，对中间分类特征图进行全局平均池化处理，得到待处理分类特征图；在目标图像块对应同一胸腹水细胞病理图像的情况下，利用长短期记忆模型对与目标图像块对应的待处理分类特征图进行第二分类处理，得到第二分类结果；根据第一分类结果和目标检测结果得到胸腹水细胞病理识别结果，包括：根据第一分类结果、目标检测结果和第二分类结果得到胸腹水细胞病理识别结果，根据本申请实施例的方案，得到片级的第二分类结果，从而能够实现对胸腹水细胞病理图像的识别，达到提高胸腹水细胞病理识别结果的合理性的目的。

指的是注意的是，参照图10，图10表示胸腹水细胞病理图像识别方法的整体架构示意图，该识别方法通过骨干分类网络对目标图像块进行第一分类处理从而得到第一分类结果，在此基础上，根据目标图像块、目标分类特征图以及第一分类结果可以得到目标检测结果，利用长短期记忆模型对中间分类特征图进行第二分类处理从而得到第二分类结果，充分利用第一分类处理生成的特征图，减少了得到目标检测结果的模型训练开销，得到表征目标图像块的第一分类结果和目标检测结果，表征胸腹水WSI的第二分类结果，提高了胸腹水细胞病理识别结果的合理性。

在一实施例中，如图6所示，对胸腹水细胞病理图像识别方法进行进一步的说明，步骤S720还可以包括但不限于有步骤S810、步骤S820。

步骤S810：将与目标图像块对应的待处理分类特征图组合成目标向量序列。

本步骤中，待处理分类特征图对应的目标图像块对应同一胸腹水细胞图像，将待处理分类特征图组合成目标向量序列是为了便于后续步骤中将其输入LSTM模型。

在一个可选的实施方式中，参照图9，对于同一胸腹水WSI，具有N个对应的待处理分类特征图，N是任意自然数。由于待处理分类特征图的尺寸为1×1048×1×1，所以得到的目标向量序列的大小为N×1048×1×1。

步骤S820：利用长短期记忆模型对目标向量序列进行第二分类处理，得到第二分类结果。

本步骤中，利用长短期记忆模型对目标向量序列进行第二分类处理，从而能够得到WSI级的第二分类结果，达到提高胸腹水细胞病理识别的合理性的目的。

本实施例中，通过采用包括有上述步骤S810至步骤S820的胸腹水细胞病理图像识别方法，将与目标图像块对应的待处理分类特征图组合成目标向量序列；利用长短期记忆模型对目标向量序列进行第二分类处理，得到第二分类结果，根据本申请实施例的方案，能够得到WSI级的第二分类结果，达到提高胸腹水细胞病理识别的合理性的目的。

另外，如图11所示，本申请的一个实施例还提供了一种图像识别装置1000，该图像识别装置1000包括：存储器1002、处理器1001及存储在存储器1002上并可在处理器1001上运行的计算机程序。

处理器1001和存储器1002可以通过总线或者其他方式连接。

存储器1002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器1002可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器1002可选包括相对于处理器1001远程设置的存储器1002，这些远程存储器可以通过网络连接至该处理器1001。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述实施例的胸腹水细胞病理图像识别方法所需的非暂态软件程序以及指令存储在存储器1002中，当被处理器1001执行时，执行上述实施例中的胸腹水细胞病理图像识别方法，例如，执行以上描述的图1中的方法步骤S110至S150、图2中的方法步骤S210至S240、图3中的方法步骤S310至S320、方法步骤S410、方法步骤S510、图4中的方法步骤S610至S620、图5中的方法步骤S710至S740、图8中的方法步骤S810至S820。

此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述装置实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的胸腹水细胞病理图像识别方法，例如，执行以上描述的图1中的方法步骤S110至S150、图2中的方法步骤S210至S240、图3中的方法步骤S310至S320、方法步骤S410、方法步骤S510、图4中的方法步骤S610至S620、图5中的方法步骤S710至S740、图8中的方法步骤S810至S820。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、基站系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种胸腹水细胞病理图像识别方法，其特征在于，包括：

获取由胸腹水细胞病理图像分块得到的目标图像块；

利用骨干分类网络对所述目标图像块进行第一分类处理，得到所述第一分类处理后输出的目标分类特征图；

根据所述目标分类特征图得到第一分类结果；

根据所述第一分类结果，对所述目标图像块和所述目标分类特征图进行检测处理，得到目标检测结果；

根据所述第一分类结果和所述目标检测结果得到胸腹水细胞病理识别结果。

2.根据权利要求1所述的胸腹水细胞病理图像识别方法，其特征在于，所述根据第一分类结果，对所述目标图像块和所述目标分类特征图进行检测处理，得到目标检测结果，包括：

根据所述第一分类结果对所述目标分类特征图进行筛选，得到阳性分类特征图；

对所述阳性分类特征图进行尺寸变换，得到待处理特征图，其中，所述待处理特征图的尺寸与所述目标图像块的尺寸相同；

二值化所述目标图像块，对二值化后的所述目标图像块进行轮廓识别，得到待处理图像块；

根据所述待处理目标图像块以及所述目标分类特征图进行阈值过滤处理，得到目标检测结果。

3.根据权利要求2所述的胸腹水细胞病理图像识别方法，其特征在于，所述目标图像块包括其他类目标图像块、其他肿瘤类目标图像块和腺癌类目标图像块，所述根据所述第一分类结果对所述目标分类特征图进行筛选，得到待处理特征图，包括：

在所述第一分类结果表征所述目标图像块为其他类目标图像块的情况下，确定所述目标分类特征图不是阳性分类特征图；

在所述第一分类结果表征所述目标图像块为其他肿瘤类目标图像块或者腺癌类目标图像块的情况下，确定所述目标分类特征图是阳性分类特征图。

4.根据权利要求1所述的胸腹水细胞病理图像识别方法，其特征在于，所述识别方法还包括：

基于交叉熵损失函数，利用所述第一分类结果对所述骨干分类网络的分类参数进行调整，得到优化后的所述骨干分类网络。

5.根据权利要求1所述的胸腹水细胞病理图像识别方法，其特征在于，所述根据所述目标分类特征图得到第一分类结果，包括：

对所述目标分类特征图进行全局平均池化处理，得到第一分类结果。

6.根据权利要求1所述的胸腹水细胞病理图像识别方法，其特征在于，所述获取由胸腹水细胞病理图像分块得到的目标图像块，包括：

获取胸腹水细胞病理图像；

对所述胸腹水细胞病理图像进行滑窗裁剪处理，得到至少一个对应的目标图像块。

7.根据权利要求1所述的胸腹水细胞病理图像识别方法，其特征在于，所述识别方法还包括：

获取所述骨干分类网络输出的中间分类特征图；

对所述中间分类特征图进行全局平均池化处理，得到待处理分类特征图；

在所述目标图像块对应同一所述胸腹水细胞病理图像的情况下，利用长短期记忆模型对与所述目标图像块对应的所述待处理分类特征图进行第二分类处理，得到第二分类结果；

所述根据所述第一分类结果和所述目标检测结果得到胸腹水细胞病理识别结果，包括：

根据所述第一分类结果、所述目标检测结果和所述第二分类结果得到胸腹水细胞病理识别结果。

8.根据权利要求7所述的胸腹水细胞病理图像识别方法，其特征在于，所述利用长短期记忆模型对与所述目标图像块对应的所述待处理分类特征图进行第二分类处理，得到第二分类结果，包括：

将与所述目标图像块对应的所述待处理分类特征图组合成目标向量序列；

利用长短期记忆模型对所述目标向量序列进行第二分类处理，得到第二分类结果。

9.一种图像识别装置，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任意一项所述的胸腹水细胞病理图像识别方法。

10.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行权利要求1至8任意一项所述的胸腹水细胞病理图像识别方法。

Images