CN115661815A - 基于全局特征映射的病理图像分类方法、图像分类装置 - Google Patents

Abstract

本申请公开了一种基于全局特征映射的病理图像分类方法、图像分类装置、介质，包括获取病理图像，对病理图像进行滑窗裁剪得到目标图像块；将目标图像块输入目标检测模型得到病变细胞的类型信息、位置信息和置信度信息；根据有效区域的尺寸和预设的病变类型数量值，构建中间特征图；根据位置信息和类型信息确定映射位置；根据映射位置的中间特征值和置信度信息确定映射特征值；根据映射位置将映射特征值映射在中间特征图中，得到全局特征图；将全局特征图输入分类网络模型，得到病理图像的分类结果，根据本申请的技术方案，将病变细胞的特征映射到中间特征图，得到全局特征图，从而能够提高全局特征图的表征能力，达到提高分类结果的准确性的目的。

Description

基于全局特征映射的病理图像分类方法、图像分类装置

技术领域

本申请涉及图像分类技术领域，尤其是一种基于全局特征映射的病理图像分类方法、图像分类装置、介质。

背景技术

目前人工智能在辅助诊断系统通常会对医生的诊断过程提供帮助，例如对细胞数字病理切片(Whole-Slide Image，WSI)给出一个诊断意见建议，供医生参考。由于WSI切片的全图非常巨大，如何尽可能全面地构建全图特征以提高诊断的准确性，是亟待解决的技术难题。

发明内容

本申请实施例提供了一种基于全局特征映射的病理图像分类方法、图像分类装置、介质，能够得到表征能力更强的目标图像特征，从而提高分类的准确性。

第一方面，本申请实施例提供了一种病理图像分类方法，包括：

获取病理图像，对所述病理图像的有效区域进行滑窗裁剪，得到目标图像块；

将所述目标图像块输入训练好的目标检测模型，得到与所述目标图像块对应的病变细胞信息，所述病变细胞信息包括所述病变细胞的类型信息、所述病变细胞的位置信息和所述病变细胞的置信度信息；

根据所述有效区域的尺寸和预设的病变类型数量值，构建中间特征图；

根据所述位置信息和所述类型信息，确定映射位置；

根据所述置信度信息确定映射特征值；

根据所述映射位置将所述映射特征值映射在所述中间特征图中，得到全局特征图；

将所述全局特征图输入分类网络模型，得到所述病理图像的分类结果。

第二方面，本申请实施例还提供了一种图像分类装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的病理图像分类方法。

第三方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的病理图像分类方法。

本申请实施例包括：获取病理图像，对病理图像的有效区域进行滑窗裁剪，得到目标图像块；将目标图像块输入训练好的目标检测模型，得到与目标图像块对应的病变细胞信息，病变细胞信息包括病变细胞的类型信息、病变细胞的位置信息和病变细胞的置信度信息；根据有效区域的尺寸和预设的病变类型数量值，构建中间特征图；根据位置信息和类型信息，确定映射位置；根据映射位置的中间特征值和置信度信息，确定映射特征值；根据映射位置将映射特征值映射在中间特征图中，得到全局特征图；将全局特征图输入分类网络模型，得到病理图像的分类结果，根据本申请的技术方案，将病变细胞的特征映射到中间特征图，得到全局特征图，从而能够提高全局特征图的表征能力，达到提高分类结果的准确性的目的。

附图说明

图1是本申请一个实施例提供的病理图像分类方法的流程图；

图2是图1中步骤S130的具体方法的流程图；

图3是图1中步骤S140的具体方法的流程图；

图4是图3中步骤S330的具体方法的流程图；

图5是图4中步骤S430的具体方法的流程图；

图6是图1中步骤S150的具体方法的流程图；

图7是图6中步骤S620的具体方法的流程图；

图8是本申请另一个实施例提供的病理图像分类方法的流程图；

图9是本申请另一个实施例提供的图像分类装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据目标对象（例如用户等）的属性信息或属性信息集合等与目标对象的特性相关的数据进行相关处理时，都会先获得目标对象的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取目标对象的属性信息时，会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意，在明确获得目标对象的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的目标对象的相关数据。

目前人工智能在辅助诊断系统通常会从两个尺度对医生的诊断过程提供帮助，一个是在快速定位出合理的视野（Region Of Interest，ROI）供医生下诊断意见，另一个是对全片给出一个诊断意见建议，供医生参考。由于WSI切片的全图非常巨大，如何尽可能全面地构建全图特征以提高分类结果的准确性，是亟待解决的技术难题。

在涉及液基细胞数字病理切片人工智能辅助诊断的已公开专利中，面向病变类型诊断决策的主要有两大类：

一是专注于检测疑似病变细胞，给医生提供诊断的线索，不具有最终诊断建议功能，此时医生仍需要对每一张片子的各个类型的数个疑似病变细胞进行一一核查；

二是基于检测结果进行简单的统计分析，通过加权、决策分析、阈值等得到诊断建议，此类方法往往过于武断，泛化性能受限，容易在应用时受到目标域和源域间的细微差异（例如制片试剂，制片手法，扫描参数，扫描硬件差异等）的影响导致模型性能下降。

本申请用于液基细胞WSI切片的人工智能辅助诊断方法中，充分利用可疑病变细胞检测模型提炼的信息，对全切片构建全局特征图，再使用人工智能算法判定整张的类别，下达诊断建议，辅助医生进行决策，排除阴性，筛查出阳性，进一步提高筛查的效率。

本申请提供了一种基于全局特征映射的病理图像分类方法、图像分类装置、介质，包括获取病理图像，对病理图像的有效区域进行滑窗裁剪，得到目标图像块；将目标图像块输入训练好的目标检测模型，得到与目标图像块对应的病变细胞信息，病变细胞信息包括病变细胞的类型信息、病变细胞的位置信息和病变细胞的置信度信息；根据有效区域的尺寸和预设的病变类型数量值，构建中间特征图；根据位置信息和类型信息，确定映射位置；根据映射位置的中间特征值和置信度信息，确定映射特征值；根据映射位置将映射特征值映射在中间特征图中，得到全局特征图；将全局特征图输入分类网络模型，得到病理图像的分类结果，根据本申请的技术方案，将病变细胞的特征映射到中间特征图，得到全局特征图，从而能够提高全局特征图的表征能力，达到提高分类结果的准确性的目的。

下面结合附图，对本申请实施例作进一步阐述。

如图1所示，图1是本申请一个实施例提供的病理图像分类方法的流程图，该识别方法可以包括但不限于有步骤S110、步骤S120、步骤S130、步骤S140、步骤S150、步骤S160和步骤S170。

步骤S110：获取病理图像，对病理图像的有效区域进行滑窗裁剪，得到目标图像块。

本步骤中，病理图像指的是相关技术中的任意病例图像，例如胸腹水细胞病理图像、乳腺癌病理图像、宫颈液基细胞病理图像等。病理图像的有效区域指的是通过相关技术中的任意识别方式得出的有效区域，例如通过区域检测模型对病理图像进行识别，得到病理图像的有效区域。对病理图像的有效区域进行滑窗裁剪，得到目标图像块，指的是通过相关技术中的任意滑窗裁剪方式对病理图像的有效区域进行滑窗裁剪，得到目标图像块。得到目标图像块是为了便于后续步骤中得到病理图像的分类结果。

本申请另一个实施例中，滑窗裁剪（shift window crop）指的是通过相关技术中的任意技术手段实现的滑窗裁剪，例如通过OpenCV中的slidingWnd函数，从而能够对病理图像进行裁剪，得到多个目标图像块。

步骤S120：将目标图像块输入训练好的目标检测模型，得到与目标图像块对应的病变细胞信息，病变细胞信息包括病变细胞的类型信息、病变细胞的位置信息和病变细胞的置信度信息。

本步骤中，目标检测模型指的是相关技术中的任意目标检测模型，例如EfficientDet模型。将目标图像块输入训练好的目标检测模型，得到与目标图像块对应的病变细胞信息，病变细胞信息包括病变细胞的类型信息、病变细胞的位置信息和病变细胞的置信度信息，即是说，训练好的目标检测模型是经过目标图像块以及预设的病变细胞信息训练得到，训练采用相关技术中的任意训练方式，在此不做具体限定，其中，目标检测模型关注的是病变细胞的类型信息、病变细胞的位置信息和病变细胞的置信度信息。得到病变细胞信息是为了便于后续步骤中得到分类结果。

步骤S130：根据有效区域的尺寸和预设的病变类型数量值，构建中间特征图。

本步骤中，有效区域的尺寸指的是病理图像中有效区域的尺寸，预设的病变类型数量值指的是预设的病变细胞的类型的数量值，根据有效区域的尺寸和预设的病变类型数量值，构建中间特征图，即是说，构建得到的中间特征图的尺寸为有效区域的尺寸，中间特征图的层数等于预设的病变类型数量值。构建中间特征图是为了便于后续步骤中得到全局特征图。

本申请另一个实施例中，在构建中间特征图的过程中，可以将中间特征图的各个位置对应的特征值可以全部初始化为0、255或者其他任意数值，在此不做具体限定。

本申请又一个实施例中，由于中间特征图的尺寸为有效区域的尺寸，中间特征图的层数等于预设的病变类型数量值，可以将所有病变细胞信息映射在中间特征图中，并且，还能够保留经过目标检测模型后得到的病变细胞之间的位置关系，从而能够将特征映射在中间特征图中，生成表征能力强的全局特征图，达到提高分类结果的准确性的目的。

步骤S140：根据位置信息和类型信息，确定映射位置。

本步骤中，位置信息指的是病变细胞的位置信息，类型信息指的是病变细胞的类型信息，映射位置指的是将病变细胞信息映射在中间特征图中的位置，根据位置信息和类型信息，确定映射位置，即是说，根据病变细胞的位置信息和病变细胞的类型信息，确定病变细胞映射在中间特征图的映射位置，从而能够达到将病变细胞信息映射至中间特征图的目的。

本申请另一个实施例中，映射位置可以是中间特征图中的坐标，还可以是中间特征图中的坐标区域。

步骤S150：根据映射位置的中间特征值和置信度信息，确定映射特征值。

本步骤中，中间特征值指的是中间特征图中映射位置的特征值，根据中间特征值和置信度信息，确定映射特征值，即是说，根据病变细胞的置信度信息以及原本中间特征图中的中间特征值，确定位于映射位置的最终的映射特征值，从而能够提高映射特征值对病变细胞的表征能力。

步骤S160：根据映射位置将映射特征值映射在中间特征图中，得到全局特征图。

本步骤中，全局特征图指的是与病理图像对应的所有病变细胞特征的全局特征图，根据映射位置将映射特征值映射在中间特征图中，得到全局特征图，即是说，将映射特征值代替位于中间特征图的映射位置中的中间特征值，从而能够将病变细胞的特征全部聚合在中间特征图中，提高得到的全局特征图对病变细胞信息的表征能力，达到提高分类结果的准确性的目的。

步骤S170：将全局特征图输入分类网络模型，得到病理图像的分类结果。

本步骤中，分类网络模型可以是相关技术中的任意分类网络模型，还可以是预先设置的分类网络模型，在此不做具体限定。由于全局特征图能够充分表征病变细胞信息，将全局特征图输入分类网络模型，从而能够得到准确性高的病理图像的分类结果，并且，由于全局特征图由病变细胞信息映射在中间特征图后得到，中间特征图的尺寸以及层数由有效区域的尺寸和预设的病变类型数量值确定，还解决了病变细胞密集的情况下病变细胞信息发生重叠的问题，提高了分类过程中的稳定性。

本实施例中，通过采用包括有上述步骤S110至步骤S170的病理图像分类方法，获取病理图像，对病理图像的有效区域进行滑窗裁剪，得到目标图像块；将目标图像块输入训练好的目标检测模型，得到与目标图像块对应的病变细胞信息，病变细胞信息包括病变细胞的类型信息、病变细胞的位置信息和病变细胞的置信度信息；根据有效区域的尺寸和预设的病变类型数量值，构建中间特征图；根据位置信息和类型信息，确定映射位置；根据映射位置的中间特征值和置信度信息，确定映射特征值；根据映射位置将映射特征值映射在中间特征图中，得到全局特征图；将全局特征图输入分类网络模型，得到病理图像的分类结果，根据本申请实施例的方案，将病变细胞的特征映射到中间特征图，得到全局特征图，从而能够提高全局特征图的表征能力，达到提高分类结果的准确性的目的。

在一实施例中，如图2所示，对病理图像分类方法进行进一步的说明，步骤S130还可以包括但不限于有步骤S210、步骤S220和步骤S230。

步骤S210：根据有效区域的尺寸设置中间尺寸。

本步骤中，中间尺寸指的是构建的中间特征图的尺寸，根据有效区域的尺寸设置中间尺寸，即是说，根据病理图像的有效区域的尺寸设置中间尺寸。设置中间尺寸是为了便于后续步骤中得到中间特征图。

在一个可选的实施方式中，病变类型数量值等于k，即共有k类病变细胞。获取WSI在推理倍率等于40的情况下有效区域的大小。假设有效区高为h，有效区域宽为w，在缩放倍数S1=100的情况下，构建中间特征图B∈R^{k × h/S1 × w/S1}。 中间特征图B中各个位置的特征值初始化为0。假若有效区域的尺寸为60000×60000，则中间特征图B的尺寸为600×600，即一张普通图像大小，从而便于对中间特征图B进行映射。

步骤S220：根据预设的病变类型数量值，确定中间层数。

本步骤中，预设的病变类型数量值表征分类方法中关注的病变细胞的类型的数量值，根据预设的病变类型数量值，确定中间特征图的中间层数，从而能够将所有的病变细胞信息映射至中间特征图中，减少病变细胞信息重叠或者丢失的情况，达到提高中间特征图的有效性的目的。

步骤S230：根据中间尺寸和中间层数构建中间特征图。

本步骤中，根据中间尺寸和中间层数构建中间特征图，即是说，构建一个尺寸为中间尺寸，层数等于中间层数的特征图为中间特征图，从而能够便于后续步骤中得到全局特征图。

本申请另一个实施例中，有效区域的尺寸为60000×60000，则中间尺寸可以为600×600，即一张普通图像大小，根据中间尺寸和中间层数构建中间特征图，从而便于后续步骤中将映射特征值映射至中间特征图中并生成全局特征图。

本实施例中，通过采用包括有上述步骤S210至步骤S230的病理图像分类方法，根据有效区域的尺寸设置中间尺寸；根据预设的病变类型数量值，确定中间层数；根据中间尺寸和中间层数构建中间特征图，根据本申请实施例的方案，根据有效区域的尺寸和预设的病变类型数量值构建得到中间特征图，从而能够使得病变细胞分别映射在中间特征图中，减少病变细胞信息在映射过程中发生重叠或者丢失的情况，达到提高中间特征图的有效性的目的。

在一实施例中，如图3所示，对病理图像分类方法进行进一步的说明，步骤S140还可以包括但不限于有步骤S310、步骤S320和步骤S330。

步骤S310：根据置信度信息对病变细胞进行筛选，确定目标病变细胞。

本步骤中，置信度信息指的是病变细胞的置信度信息，根据置信度信息对病变细胞进行筛选，确定目标病变细胞，在一个可选的实施方式中，将置信度大于预设的置信度阈值的病变细胞作为目标病变细胞，在置信度小于预设的置信度阈值，表征对应的病变细胞的可疑程度较低，不将该病变细胞信息映射至中间特征图，达到提高映射的效率的目的。

步骤S320：获取目标病变细胞的目标类型信息和目标病变细胞的目标位置信息。

本步骤中，由于目标病变细胞是经过对病变细胞筛选得到，目标病变细胞具有对应的目标类型信息和目标位置信息。获取目标类型信息和目标位置信息是为了便于后续步骤中确定映射位置。

步骤S330：根据目标类型信息和目标位置信息，确定映射位置，其中，映射位置为目标病变细胞映射在中间特征图中的位置。

本步骤中，根据目标类型信息和目标位置信息，确定映射位置，其中，映射位置为目标病变细胞映射在中间特征图中的位置，即是说，只将目标病变细胞对应的信息映射至中间特征图，在得到全局特征图之前，根据置信度信息对病变细胞进行筛选，只关注置信度较高的病变细胞信息，减少发生过拟合的情况，并且，提高了映射的效率。

本实施例中，通过采用包括有上述步骤S310至步骤S330的病理图像分类方法，根据置信度信息对病变细胞进行筛选，确定目标病变细胞；获取目标病变细胞的目标类型信息和目标病变细胞的目标位置信息；根据目标类型信息和目标位置信息，确定映射位置，其中，映射位置为目标病变细胞映射在中间特征图中的位置，根据本申请实施例的方案，筛选得到目标病变细胞，只将目标病变细胞的信息映射至中间特征图，从而能够减少病变细胞置信度过低导致过拟合的情况，达到提高映射效率的目的。

在一实施例中，如图4所示，对病理图像分类方法进行进一步的说明，步骤S330还可以包括但不限于有步骤S410、步骤S420和步骤S430。

步骤S410：根据目标类型信息，确定映射层数。

本步骤中，目标类型信息指的是目标病变细胞对应的目标类型信息，映射层数指的是目标病变细胞映射至中间特征图的映射层数，根据目标类型信息，确定映射层数，从而能够便于后续步骤中确定映射位置。

步骤S420：根据目标位置信息，得到目标病变细胞的中心点坐标。

本步骤中，目标位置信息指的是目标病变细胞的位置信息，根据目标位置信息，得到目标病变细胞的中心点坐标，中心点坐标指的是目标病变细胞对于病理图像的中心点坐标，在一个可选的实施方式中，每个目标图像块均对应缓存有对于病理图像的位置信息，根据目标病变细胞对于目标图像块的目标位置信息，从而能够确定目标病变细胞对于病理图像的位置信息。

步骤S430：根据中心点坐标和映射层数，确定映射位置。

本步骤中，中心点坐标指的是目标病变细胞的中心点的坐标，根据映射层数能够确定该目标病变细胞映射在中间特征图的层数，根据中心点坐标，能够计算得到该目标病变细胞映射在中间特征图的具体位置，从而能够确定映射位置，

本实施例中，通过采用包括有上述步骤S410至步骤S430的病理图像分类方法，根据目标类型信息和目标位置信息，确定映射层数；根据目标位置信息，得到目标病变细胞的中心点坐标；根据中心点坐标和映射层数，确定映射位置，根据本申请实施例的方案，根据目标病变细胞的位置信息和类型信息确定映射位置，从而将目标病变细胞的信息映射至中间特征图中，达到提高映射的有效性的目的。

值得注意的是，由于中间特征图是根据有效区域的尺寸以及预设的病变类型数量值构建得到，根据目标病变细胞的中心点坐标以及目标病变细胞的目标类型信息，从而确定目标病变细胞映射在中间特征图的映射位置，能够减少多个目标病变细胞映射时发生重叠导致信息丢失的情况，提高映射的准确性。

在一实施例中，如图5所示，对病理图像分类方法进行进一步的说明，步骤S430还可以包括但不限于有步骤S510、步骤S520。

步骤S510：根据预设的倍率和中心点坐标，确定映射区域。

本步骤中，预设的倍率指的是预先设置的任意倍率，中心点坐标指的是目标病变细胞的中心点的坐标，根据预设的倍率和中心点坐标，确定映射区域，在一个可选的实施方式中，将每一个检测出来的目标病变细胞映射到中间特征图B上。在阳性切片中，阳性细胞即病变细胞的数量分布可多至数百个，少至三两个，对于任何模型而言，阳性细胞数量少的阳性切片是最容易漏诊的，因此我们直接在映射过程中对目标病变细胞进行放大，具体方法为：假设目标缩放倍数S2=4，获得目标病变细胞的中心点坐标(Xci，Yci) =（Xi+Hi/2，Yi+Wi/2），从而得到中间特征图B的映射区域为[Xci-Hi*S2/2:Xci+Hi*S2/2, Yci-Wi*S2/2:Yci+Wi*S2/2]。确定映射区域是为了便于后续步骤中得到全局特征图。

步骤S520：根据映射区域和映射层数，确定映射位置。

本步骤中，映射层数指的是由目标病变细胞的目标类型信息确定得到的映射层数，根据映射区域和映射层数，从而能够确定映射位置，便于后续步骤中得到全局特征图。由于映射位置指的是对应映射层数的映射区域，在映射过程中，可以是将映射区域中的所有特征值映射为映射特征值，从而提高得到的全局特征图对目标病变细胞的表征能力。

本实施例中，通过采用包括有上述步骤S510至步骤S520的病理图像分类方法，根据预设的倍率和中心点坐标，确定映射区域；根据映射区域和映射层数，确定映射位置，根据本申请实施例的方案，根据目标病变细胞的中心点坐标确定映射区域，从而将映射区域中的特征值用于表征该目标病变细胞的信息，达到提高中间特征图对病变细胞的表征能力的目的。

值得注意的是，后续步骤中将映射特征值映射到映射位置，即是说，将映射位置对应的映射区域中的所有特征值均替换为映射特征值，从而能够表征目标病变细胞的信息，达到提高全局特征图对病变细胞的表征能力的目的。

在一实施例中，如图6所示，对病理图像分类方法进行进一步的说明，步骤S150还可以包括但不限于有步骤S610、步骤S620。

步骤S610：获取映射位置对应的中间特征值。

本步骤中，映射位置指的是与该目标病变细胞对应的中间特征图中的映射位置，映射位置对应的中间特征值指的是中间特征图中位于映射位置的中间特征值。获取映射位置对应的中间特征值是为了便于后续步骤中确定映射特征值。

步骤S620：将中间特征值和目标病变细胞的目标置信度信息进行比较，确定映射特征值。

本步骤中，将中间特征值和目标病变细胞的目标置信度信息进行比较，即是说，在映射之前，先将映射位置的中间特征值与目标置信度进行比较，从而确定映射特征值，由于映射特征值用于表征目标病变细胞的信息，将中间特征值和目标病变细胞的目标置信度信息进行比较，确定映射特征值，从而减少直接将目标置信度作为映射特征值导致过拟合的情况，达到提高中间特征图对目标病变细胞的表征能力的目的。

本实施例中，通过采用包括有上述步骤S610至步骤S620的病理图像分类方法，获取映射位置对应的中间特征值；将中间特征值和目标病变细胞的目标置信度信息进行比较，确定映射特征值，根据本申请实施例的方案，减少直接将目标置信度作为映射特征值导致过拟合的情况，达到提高中间特征图对目标病变细胞的表征能力的目的。

在一实施例中，如图7所示，对病理图像分类方法进行进一步的说明，步骤S620还可以包括但不限于有步骤S710。

步骤S710：确定中间特征值和目标置信度信息之间的最大值为映射特征值。

本步骤中，由于中间特征图用于表征病变细胞信息，映射特征值越大，表征目标病变细胞的置信度越大，确定中间特征值和目标置信度信息之间的最大值为映射特征值，在一个可选的实施方式中，在对中间特征图进行初始化的过程中，在初始化中间特征值为0的情况下，确定中间特征值和目标置信度信息之间的最大值为映射特征值，即是说，将目标置信度的值作为映射特征值；在初始化中间特征值为预设数值的情况下，确定中间特征值和目标置信度信息之间的最大值为映射特征值，即是说，将置信度小于预设数值的目标病变细胞对应的映射特征值确定为预设数值，从而对目标病变细胞的信息进行强调，对于分类网络模型而言，无论遇到阳性细胞密集的图像还是稀疏的图像，都能够分到对应的阳性类别中，达到提高分类结果的准确性的目的。

本实施例中，通过采用包括有上述步骤S710的病理图像分类方法，确定中间特征值和目标置信度信息之间的最大值为映射特征值，根据本申请实施例的方案，达到提高得到的全局特征图对病变细胞的表征能力的目的。

在一实施例中，如图8所示，对病理图像分类方法进行进一步的说明，该方法还可以包括但不限于有步骤S810、步骤S820。

步骤S810：将全局特征图进行数据增广处理，得到目标特征数据集。

本步骤中，数据增广处理指的是相关技术中的任意数据增广处理操作，在此不做具体限定。将全局特征图进行数据增广处理，得到目标特征数据集，从而能够便于后续步骤中对分类网络模型进行训练。

在一个可选的实施方式中，在训练阶段，对输入的全局特征图进行在线随机增广，包括：

（1）位移：对全局特征图中的有效区域，即映射特征值大于0的区域进行随机的位移，确保该有效区域仍完整地在该全局特征图中，即不同于普通图像的位移增广是设置固定的位移比例或范围，次步骤中位移的幅度为特征图本身决定；

（2）随机抹除：假设抹除比例r=0.2，若经过目标检测得到的病变细胞信息的总数为n，对m∈[0，n×r]个病变细胞对应的映射位置的映射特征值进行抹去。

步骤S820：利用目标特征数据集对分类网络模型进行训练，得到训练好的分类网络模型。

本步骤中，利用目标特征数据集对分类网络模型进行训练，指的是通过相关技术中的任意深度学习模型的训练方法对分类网络模型进行训练；根据目标特征数据集对分类网络模型进行训练，从而得到训练好的分类网络模型。

本实施例中，通过采用包括有上述步骤S810至步骤S820的病理图像分类方法，将全局特征图进行数据增广操作，得到目标特征数据集；根据目标特征数据集对分类网络模型进行训练，得到训练好的分类网络模型，根据本申请实施例的方案，能够根据全局特征图对分类网络模型进行优化，从而提高得到的分类结果的准确性。

另外，如图9所示，本申请的一个实施例还提供了一种图像分类装置1000，该图像分类装置1000包括：存储器1002、处理器1001及存储在存储器1002上并可在处理器1001上运行的计算机程序。

处理器1001和存储器1002可以通过总线或者其他方式连接。

存储器1002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器1002可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器1002可选包括相对于处理器1001远程设置的存储器1002，这些远程存储器可以通过网络连接至该处理器1001。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述实施例的病理图像分类方法所需的非暂态软件程序以及指令存储在存储器1002中，当被处理器1001执行时，执行上述实施例中的病理图像分类方法，例如，执行以上描述的图1中的方法步骤S110至S170、图2中的方法步骤S210至S230、图3中的方法步骤S310至S330、图4中的方法步骤S410至S430、图5中的方法步骤S510至S520、图6中的方法步骤S610至S620、图7中的方法步骤S710、图8中的方法步骤S810至S820。

此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述装置实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的病理图像分类方法，例如，执行以上描述的图1中的方法步骤S110至S170、图2中的方法步骤S210至S230、图3中的方法步骤S310至S330、图4中的方法步骤S410至S430、图5中的方法步骤S510至S520、图6中的方法步骤S610至S620、图7中的方法步骤S710、图8中的方法步骤S810至S820。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、基站系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种基于全局特征映射的病理图像分类方法，其特征在于，包括：

获取病理图像，对所述病理图像的有效区域进行滑窗裁剪，得到目标图像块；

将所述目标图像块输入训练好的目标检测模型，得到与所述目标图像块对应的病变细胞信息，所述病变细胞信息包括所述病变细胞的类型信息、所述病变细胞的位置信息和所述病变细胞的置信度信息；

根据所述有效区域的尺寸和预设的病变类型数量值，构建中间特征图；

根据所述位置信息和所述类型信息，确定映射位置；

根据所述映射位置的中间特征值和所述置信度信息，确定映射特征值；

根据所述映射位置将所述映射特征值映射在所述中间特征图中，得到全局特征图；

将所述全局特征图输入分类网络模型，得到所述病理图像的分类结果。

2.根据权利要求1所述的病理图像分类方法，其特征在于，所述根据所述有效区域的尺寸和预设的病变类型数量值，构建中间特征图，包括：

根据所述有效区域的尺寸设置中间尺寸；

根据预设的病变类型数量值，确定中间层数；

根据所述中间尺寸和所述中间层数构建中间特征图。

3.根据权利要求1所述的病理图像分类方法，其特征在于，根据所述置信度信息对所述病变细胞进行筛选，确定目标病变细胞；

所述根据所述位置信息和所述类型信息，确定映射位置，包括：

获取所述目标病变细胞的目标类型信息和所述目标病变细胞的目标位置信息；

根据所述目标类型信息和所述目标位置信息，确定映射位置，其中，所述映射位置为所述目标病变细胞映射在中间特征图中的位置。

4.根据权利要求3所述的病理图像分类方法，其特征在于，所述根据所述目标类型信息和所述目标位置信息，确定映射位置，包括：

根据所述目标类型信息，确定映射层数；

根据所述目标位置信息，得到所述目标病变细胞的中心点坐标；

根据所述中心点坐标和映射层数，确定映射位置。

5.根据权利要求4所述的病理图像分类方法，其特征在于，所述根据所述中心点坐标和映射层数，确定映射位置，包括：

根据预设的倍率和所述中心点坐标，确定映射区域；

根据所述映射区域和所述映射层数，确定映射位置。

6.根据权利要求3所述的病理图像分类方法，其特征在于，所述根据所述映射位置的中间特征值和所述置信度信息，确定映射特征值，包括：

获取所述映射位置对应的中间特征值；

将所述中间特征值和所述目标病变细胞的目标置信度信息进行比较，确定映射特征值。

7.根据权利要求6所述的病理图像分类方法，其特征在于，所述将所述中间特征值和所述目标病变细胞的置信度信息进行比较，确定映射特征值，包括：

确定所述中间特征值和所述目标置信度信息之间的值为映射特征值。

8.根据权利要求1所述的病理图像分类方法，其特征在于，所述方法还包括：

将所述全局特征图进行数据增广处理，得到目标特征数据集；

利用所述目标特征数据集对所述分类网络模型进行训练，得到训练好的分类网络模型。

9.一种图像分类装置，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任意一项所述的病理图像分类方法。

10.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行权利要求1至8任意一项所述的病理图像分类方法。

Images