CN111310841B - 医学图像分类方法、装置、设备、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种医学图像分类方法、装置、计算机设备和存储介质，获取病理切片图像，对病理切片图像进行分割处理，得到子切片图像，便于后续模型对图片的处理，采用基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到的图片分类模型，预测得到子切片图像的所属类别置信度，将所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所属类别置信度对病灶切片进行打分，统计病灶切片的得分，得到病理切片图像的分类结果，能够使得已训练的图片分类模型，从视觉数据中抽取高度抽象的特征，快速准确完成病理切片图像的分类，为医生进一步诊断病情提供准确切统一客观的依据，支持医生根据病理切片图像对病情进行准确诊断。

Description

医学图像分类方法、装置、设备、计算机设备和存储介质

技术领域

本申请涉及医学图像分析领域，特别是涉及医学图像分类方法、装置、设备、计算机设备和存储介质。

背景技术

在现代医学领域中，通过观察数字化病理切片图像来判断相应组织器官是否有病变异常的检查手段是较为常见检查手段之一。经验丰富的医生通过放大数字化切片图像的局部区域进行肉眼细致观察，进而能够得出相应组织器官是否有病变异常的结论。

然而，一张数字化病理切片图像，其长与宽的像素值均为数万级别，且图像本身携带信息的丰富且复杂，医生若使用肉眼基于数字化病理切片图像对病情做出判断，不仅耗时耗力，阅片数量有限，且可能因为图像本身的信息复杂会存在局部不清晰等影响因素，容易漏掉关键的病变区域，导致诊断结果准确率不高，即无法支持医生进行准确诊断。

因此，需要提供一种能够支持医生根据病理切片图像对病情进行准确诊断的处理方案。

发明内容

基于此，有必要针对缺乏能够辅助医生根据病理切片图像对病情进行准确诊断的处理方案，提供一种医学图像分类方法、装置、设备、计算机设备和存储介质。

一种医学图像分类方法，方法包括：

获取病理切片图像，对病理切片图像进行分割处理，得到子切片图像；

采用已训练的图片分类模型预测子切片图像的所属类别，得到各子切片图像的所属类别置信度，图片分类模型基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到；

将所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所属类别置信度对病灶切片进行打分；

统计病灶切片的得分，得到病理切片图像的分类结果。

在其中一个实施例中，采用已训练的图片分类模型预测子切片图像的所属类别之前，还包括：

构建至少两个初始图片分类模型、并设定各初始图片分类模型的最优超参数；

将携带病灶标记信息的病理切片图像样本集输入至各初始图片分类模型；

采用分段常数衰减法调整各初始图片分类模型的学习率，直至各初始图片分类模型达到收敛；

获取达到收敛的各初始图片分类模型的评价参数、并根据评价参数筛选出最优的初始图片分类模型，得到图片分类模型。

在其中一个实施例中，采用已训练的图片分类模型预测子切片图像的所属类别之前，还包括：

采用阈值分割法，将子切片图像中大于或等于预设像素阈值的像素区域标记为空白区域；

计算空白区域在所在子切片图像中的面积占比；

舍弃空白区域的面积占比超过预设比例的子切片图像，得到更新后的子切片图像；

采用已训练的图片分类模型预测子切片图像的所属类别包括：

采用已训练的图片分类模型预测更新后的子切片图像。

在其中一个实施例中，采用已训练的图片分类模型预测子切片图像的所属类别之前，还包括：

基于子切片图像的光度信息，对子切片图像的亮度、颜色以及饱和度进行统一化处理。

在其中一个实施例中，对病理切片图像进行分割处理，得到子切片图像包括：采用滑动窗口图像处理算法，将病理切片图像切分为相同尺寸的子切片图像。

在其中一个实施例中，得到病理切片图像的分类结果之后，还包括：

根据分类结果，调用可视化机制算法，得到病灶切片的热力图、并将热力图与病灶切片叠加，热力图包括感兴趣的病变区域；

根据各子切片图像携带的位置信息将各子切片图像进行拼接，合成病理切片图像的病变区域。

一种医学图像分类装置，装置包括：

图像分割模块，用于获取病理切片图像，对病理切片图像进行分割处理，得到子切片图像；

图像置信度预测模块，用于采用已训练的图片分类模型预测子切片图像的所属类别，得到各子切片图像的所属类别置信度，图片分类模型基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到；

图像打分模块，用于将所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所属类别置信度对病灶切片进行打分；

图像分类模块，用于统计病灶切片的得分，得到病理切片图像的分类结果。

在其中一个实施例中，装置还包括：

模型训练模块，用于构建至少两个初始图片分类模型、并设定各初始图片分类模型的最优超参数，将携带病灶标记信息的病理切片图像样本集输入至各初始图片分类模型，采用分段常数衰减法调整各初始图片分类模型的学习率，直至各初始图片分类模型达到收敛，获取达到收敛的各初始图片分类模型的评价参数、并根据评价参数筛选出最优的初始图片分类模型，得到图片分类模型。

一种医学图像分类设备，包括数据采集组件、数据处理组件以及显示组件；

数据采集组件采集病理切片图像，并将病理切片图像发送至数据处理组件，数据处理组件采用上述医学图像分类方法对病理切片图像进行处理，得到病理切片图像的分类结果，推送病理切片图像的分类结果至显示组件显示。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取病理切片图像，对病理切片图像进行分割处理，得到子切片图像；

采用已训练的图片分类模型预测子切片图像的所属类别，得到各子切片图像的所属类别置信度，图片分类模型基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到；

将所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所属类别置信度对病灶切片进行打分；

统计病灶切片的得分，得到病理切片图像的分类结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取病理切片图像，对病理切片图像进行分割处理，得到子切片图像；

采用已训练的图片分类模型预测子切片图像的所属类别，得到各子切片图像的所属类别置信度，图片分类模型基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到；

将所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所属类别置信度对病灶切片进行打分；

统计病灶切片的得分，得到病理切片图像的分类结果。

上述医学图像分类方法、装置、计算机设备和存储介质，获取病理切片图像，对病理切片图像进行分割处理，得到子切片图像，便于后续模型对图片的处理，采用基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到的图片分类模型，预测得到子切片图像的所属类别置信度，将所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所属类别置信度对病灶切片进行打分，统计病灶切片的得分，得到病理切片图像的分类结果，能够使得已训练的图片分类模型，从视觉数据中抽取高度抽象的特征，快速且准确完成病理切片图像的分类，为医生进一步诊断病情提供准确切统一客观的依据，支持医生根据病理切片图像对病情进行准确诊断。

附图说明

图1为一个实施例中医学图像分类方法的应用环境图；

图2为一个实施例中医学图像分类方法的流程示意图；

图3为另一个实施例中医学图像分类方法的流程示意图；

图4为另一个实施例中医学图像分类方法的流程示意图；

图5为一个实施例中图片分类模型训练步骤的流程示意图；

图6为一个实施例中医学图像分类装置的结构框图；

图7为另一个实施例中医学图像分类装置的结构框图；

图8为一个实施例中医学图像分类设备的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的医学图像分类方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。在实际应用中，可以是工作人员事先部署好已训练的图片分类模型于服务器104上，然后，医护人员上传病理切片图像于终端102，通过于终端102的图形界面操作发送图片分类请求至服务器104，服务器104响应该图片分类请求，获取病理切片图像，将病理切片图像切分为多张一系列的子切片图像，然后，将子切片图像输入已训练的图片分类模型，利用已训练的图片分类模型预测子切片图像的所属类别，得到各子切片图像的所属类别置信度，该图片分类模型基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到，然后，将所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所属类别置信度对病灶切片进行打分，最后，统计病灶切片的得分，得到病理切片图像的分类结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在其中一个实施例中，如图2所示，提供了一种医学图像分类方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S200，获取病理切片图像，对病理切片图像进行分割处理，得到子切片图像。

病理切片图像是指全视野的数字病理切片(Whole Slide Image，简称WSI)，该病理切片图像是利用数字显微镜或放大系统在低倍物镜下对玻璃切片进行逐幅扫描采集成像，显微扫描平台自动按照切片XY轴方向扫描移动，并在Z轴方向自动聚焦。然后，由扫描控制软件在光学放大装置有效放大的基础上利用程控扫描方式采集高分辨数字图像，图像压缩与存储软件将图像自动进行无缝拼接处理，制作生成的整张全视野的数字化切片。该病理切片图像的尺寸巨大，其长与宽的像素值均为数万级别，无法直接使用神经网络进行分析处理。因此，获取了病理切片图像后，需要将该病理切片图像切分为小尺寸的一系列的子切片图像。本实施例中，病理切片图像以收集的皮肤病理类别切片图像为例，包括黑色素瘤、皮内痣、交界痣和复合痣四个类别的数字病理组织切片，其平均尺寸达到15,000*35,000像素大小。具体的，可以是，将大量的黑色素瘤、皮内痣、交界痣和复合痣的数字病理组织切片，切分得到一系列子切片图像为相同尺寸的图像，然后根据像素坐标信息对切分出的子切片图像进行命名，以便后续图片分类模型能够根据名称辨别各子切片图像同属于哪一张病理切片图像。

在其中一个实施例中，如图3所示，获取病理切片图像，对病理切片图像进行分割处理，得到子切片图像包括：步骤220，获取病理切片图像，采用滑动窗口图像处理算法，将病理切片图像切分为相同尺寸的子切片图像。

滑动窗口图像处理算法的工作原理概括来讲为：在规模为W×H的图像中，按一定规律移动w×h的窗口(W>w,H>h)，对窗口内像素点的像素值进行一系列运算，运算结束后窗口向右或向下移动一步，直到完成对整幅图像的处理，得到尺寸大小均为w×h的子切片图像。本实施例中，可以是将滑动窗口的大小设定为500*500像素大小，使用滑动窗口对平均尺寸达到15,000*35,000像素大小的黑色素瘤、皮内痣、交界痣和复合痣的数字病理组织切片进行遍历，将其切分为大小均为500*500像素大小的子切片图像。可以理解的是，在其他实施例中，还可以采用其他图像分割算法，在此不做限定。本实施例中，采用滑动窗口图像处理算法，能够快速遍历图像完成图像的切分。

步骤S400，采用已训练的图片分类模型预测子切片图像的所属类别，得到各子切片图像的所属类别置信度，图片分类模型基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到。

置信度也称为可靠度，或置信水平、置信系数、置信区间等，其展现的是这个参数的真实值有一定概率落在测量结果的周围的程度，也就是给出的是被测量参数的测量值的可信程度。子切片图像的所属类别置信度即指图片分类模型预测出各子切片图像的所属类别(如黑色素瘤、皮内痣、交界痣和复合痣)的可信度。图片分类模型可以采用卷积神经网络(Convolutional Neural Network,CNN)，CNN是一种特殊的多层神经网络，其可以直接从像素图像中识别出视觉模式，并且只需要进行最少的预处理。

具体的，本实施例中，图片分类模型以残差神将网络(ResNet)为例，该ResNet网络引入了一种具有“跳过连接”的新架构，并具有大量的批处理规范化的特点。具体实施时，用户事先利用不同类别的携带病灶标记信息的病理切片图像样本集训练得到图片分类模型即ResNet网络，并部署好图片分类模型。然后得到子切片图像后，调用该训练好的图片分类模型，将子切片图像输入模型，预测各子切片图像的所属类别，得到各子切片图像的所属类别置信度。例如，预测出的所属类别置信度可以是X(切片标识)：80％-黑色素瘤。

在其中一个实施例中，如图3所示，采用已训练的图片分类模型预测子切片图像的所属类别之前，还包括：步骤S300，采用阈值分割法，将子切片图像中大于或等于预设像素阈值的像素区域标记为空白区域，计算空白区域在所在子切片图像中的面积占比，舍弃空白区域的面积占比超过预设比例的子切片图像，得到更新后的子切片图像；采用已训练的图片分类模型预测子切片图像的所属类别，得到各切片图像的所属类别置信度包括：步骤S420，采用已训练的图片分类模型预测更新后的子切片图像，得到更新后的各切片图像的所属类别置信度。

阈值分割法是一种基于区域的图像分割技术，原理是把图像象素点分为若干类。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。具体实施时，由于需要处理的病理切片图像规模较大，且由于切片图像本身携带的信息的丰富性和复杂性，其中也包括大量的非病灶区域。为了方便后续的图像处理，提高效率。可以是采用阈值分割法，将子切片图像中大于或等于预设像素阈值的像素区域标记为空白区域，然后，计算空白区域在所在子切片图像中的面积占比，删除空白区域大于或等于50％的子切片图像，得到更新后的子切片图像，进而采用已训练的图片分类模型预测更新后的子切片图像。本实施例中，通过阈值分割法，能够极大地压缩数据量，而且也大大简化了分析和处理步骤。

在其中一个实施例中，如图4所示，采用已训练的图片分类模型预测子切片图像的所属类别之前，还包括：步骤S320，基于子切片图像的光度信息，对子切片图像的亮度、颜色以及饱和度进行统一化处理。

在实际应用中，通常情况下，收集的病理切片图像可能是在不同时间制作的，也可能由于光照，摄像头及染色等原因，病理切片的背景明暗、颜色、亮度和饱和度等并不统一，其颜色和亮度差距对后续图片预测步骤有影响。因此，可以是在将子切片图像输入至图片分类模型之前，基于子切片图像的光度信息，对子切片图像的亮度、颜色以及饱和度进行统一化处理。具体的，可以是采用光度变换法对子切片图像的亮度、颜色以及饱和度进行统一化处理。可以理解的是，在其他实施例中，可以是采用其他方法统一子切片图像的亮度、颜色和饱和度，具体根据情况而定，再次不做限定。可以理解的是，在其他实施例中，也可以是在步骤S300之后，对基于子切片图像的光度信息，对子切片图像的亮度、颜色以及饱和度进行统一化处理，再将经上述处理后的子切片图像输入至已训练的图片分类模型。本实施例中，通过对子切片图像的亮度、颜色以及饱和度进行统一化处理，能够排除光照，染色等方面对病理切片质量的影响。

步骤S600，将所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所属类别置信度对病灶切片进行打分。

承接步骤S600，在得出各子切片的所属类别置信度之后，可根据置信度筛选出感兴趣病灶区域。具体的，可根据所属类别置信度进行筛选，若图片分类模型对某子切片图像预测的所属类别置信度低于80％，则可将该子切片图像标记为正常组织切片，若某子切片图像预测的所属类别置信度高于80％，则可将该子切片图像标记为病灶切片。例如，某子切片图像的所属类别置信度为aa，90％-交界痣，则表示名称为2_1.png的子切片图像预测有90％的可信度属于交界痣。然后，根据所属类别置信度对子切片图像进行打分，所属类别置信度与分数成正相关。更具体的，根据所属类别置信度对标记出的病灶切片进行打分的算法公式可以是以置信度为p，各切片的最终得分为S，则有：S：p<0.8，S＝0；p>0.8，S＝2^((p-0.8)*10)；p＝0.8，S＝1，即某病灶切片的所属类别置信度越高，则对应的得分越高，反之，若为非病灶切片即所属类别置信度低于80％的子切片图像，对应的得分为0。

步骤S800，统计病灶切片的得分，得到病理切片图像的分类结果。

在得到病灶切片的得分之后，可以统计各病灶切片的得分，确定病理切片图像的最终分类结果。例如，某张病理切片图像M被切分为四张子切片图像a，b，c以及d，经过图像数据预处理之后，将子切片图像a，b，c以及d输入至已训练的图片分类模型，得到对应的所属类别置信度分别为：黑色素瘤：1分，黑色素瘤：1分，复合痣：8分，交界痣：6分，则统计各子切片图像的得分，黑色素瘤：2分，复合痣：8分，交界痣：6分，判断病理切片图像M的所属类别为复合痣，得到该病理切片图像M的分类结果。进一步的，可以将病理切片图像M的分类结果为复合痣进行输出。

上述医学图像分类方法中，获取病理切片图像，对病理切片图像进行分割处理，得到子切片图像，便于后续模型对图片的处理，采用基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到的图片分类模型，预测得到子切片图像的所属类别置信度，将所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所属类别置信度对病灶切片进行打分，统计病灶切片的得分，得到病理切片图像的分类结果，能够使得已训练的图片分类模型，从视觉数据中抽取高度抽象的特征，快速且准确完成病理切片图像的分类，为医生进一步诊断病情提供准确切统一客观的依据，支持医生根据病理切片图像对病情进行准确诊断。

在其中一个实施例中，如图5所示，采用已训练的图片分类模型预测子切片图像的所属类别之前，还包括：

步骤S340，构建至少两个初始图片分类模型、并设定各初始图片分类模型的最优超参数；

步骤S342，将携带病灶标记信息的病理切片图像样本集输入至各初始图片分类模型；

步骤S344，采用分段常数衰减法调整各初始图片分类模型的学习率，直至各初始图片分类模型达到收敛；

步骤S346，获取达到收敛的各初始图片分类模型的评价参数、并根据评价参数筛选出最优的初始图片分类模型，得到图片分类模型。

在实际应用中，携带病灶标记信息的病理切片图像样本集为包括黑色素瘤、交界痣、复合痣、皮内痣四个类别且大小为500*500像素的切片图像，且分为训练集、测试集以及验证集三个数据集。事先，工作人员先针对同一个数据集上训练多个不同超参数和控件的ResNet网络，然后取各ResNet网络的训练结果的准确率、特异性和敏感度平均值，选出最优的学习率、优化器、损失函数、动量等超参数和控件，筛选出ResNet网络的最优超参数后，这个数据集和训练出来的ResNet网络被弃用。然后构建至少两个初始图片分类模型(ResNet网络)，并根据前述筛选出的最优超参数，设定各初始图片分类模型的最优超参数如学习率、优化器、损失函数、动量等；将携带病灶标记信息的病理切片图像样本集也就是训练集输入至各初始图片分类模型；采用分段常数衰减法调整各初始图片分类模型的学习率，直至模型收敛；再获取达到收敛的各初始图片分类模型的评价参数，即在验证集上验证模型的准确率、特异性和敏感度，准确率＝分类正确的切片图像数据/总切片图像数量，比较各达到收敛的图片分类模型在验证集上的准确率、特异性和敏感度，挑选出准确率、特异性和敏感度综合最优(取平均值)的初始图片分类模型，作为最终的已训练的图片分类模型。本实施例中，按照上述方式训练出来的图片分类模型，能够准确对病理切片图像进行分类，达到与病理专家相当的水平。

在其中一个实施例中，如图3和图4所示，得到病理切片图像的分类结果之后，还包括：步骤S900，根据分类结果，调用可视化机制算法，得到病灶切片的热力图、并将热力图与病灶切片叠加，热力图包括感兴趣的病变区域，根据各子切片图像携带的位置信息将各子切片图像进行拼接，合成病理切片图像的病变区域。

本实施例中，将CAM(Class Activation Mapping，类活性映射)算法和Grad-CAM算法等概括为可视化机制算法。当需要图片分类模型解释其分类的原因时，可以以热力图的方式展示它的决策依据。对一个深层的卷积神经网络而言，通过多次卷积和池化以后，其最后一层卷积层包含了最丰富的空间和语义信息，其中所包含的信息都是人类难以理解的，很难以可视化的方式展示出来。当需要图片分类模型解释其分类的原因时，可以以热力图的方式展示它的决策依据。本实施例中，以Grad-CAM算法制作出各病灶切片图像的热力图，其中，热力图中响应大于或等于阈值的区域为重点关注的病变区域，然后，将热力图与病灶切片叠加，再根据所有子切片图像携带的位置信息将叠加处理后的所有子切片图像重新拼接，合成病理切片图像的病变区域。本实施例中，通过调用可视化机制算法，制作病灶切片的热力图，进而合成整张病理切片图像的病变区域，能够直观的给医生提供诊断依据，达到很好的辅助诊断效果。

为清楚表达本申请提供的医学图像分类方法，下面将以收集的皮肤病理类别切片图像为例，包括黑色素瘤、皮内痣、交界痣和复合痣四个类别的数字病理组织切片，并以此进行举例说明：

1.获取一张名为cur_WSI.GIF的病理切片图像，使用滑动窗口图像处理算法将该病理切片图像切割成了四张子切片图像，其编号分别为1_1.png,1_2.png,2_1.png,2_2.png。

2.采用阈值分割法，将步骤1中四张子切片图像中大于或等于预设像素阈值的像素区域标记为空白区域，计算空白区域在所在子切片图像中的面积占比，舍弃空白区域的面积占比超过50％的子切片图像；

3.基于子切片图像的光度信息，采用光度变换法，对子切片图像的亮度、颜色以及饱和度进行统一化处理；

4.经步骤3处理后的的四张子切片图像输入至已训练好的初始图片分类模型(ResNet网络模型)，该模型预测子切片图像的所属类别，得到各子切片图像的所属类别置信度p，具体的各子切片图像对应的所属类别置信度p分别为：1_1.png：80％-黑色素瘤；1_2.png：30％-黑色素瘤；2_1.png：90％-交界痣；2_2.png：99％-交界痣；

5.将所属类别置信度p高于80％的子切片图像标记为病灶切片、并根据所属类别置信度p对病灶切片进行打分，对非病灶切片同样打分，得到分数S，打分依据为S：p<0.8，S＝0；p>0.8，S＝2^((p-0.8)*10)；p＝0.8，S＝1。各子切片图像的得分为：1_1.png：80％黑色素瘤：1分；1_2.png：30％黑色素瘤：0分；2_1.png：90％交界痣：2分；2_2.png：99％交界痣：4分；

6.统计所有打分结果得到：黑色素瘤：1分；交界痣：6分。这张名为cur_WSI.GIF的病理切片图像的分类结果为为交界痣；

7.根据分类结果，使用Grad-CAM制作每一张病灶切片(图2_1.png和2_2.png)的热力图，获取图2_1.png和2_2.png中的重点关注的病变区域；

8.将热力图与病灶切片叠加，并根据位置关系，将四张子切片图像重新合成WSI病理切片，得到整张病理切片的重点关注的病变区域，为医生的最终诊断提供帮助。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在其中一个实施例中，如图6所示，提供了一种医学图像分类装置，包括：图像分割模块510、图像置信度预测模块520、图像打分模块530和图像分类模块540，其中：

图像分割模块510，用于获取病理切片图像，对病理切片图像进行分割处理，得到子切片图像。

图像置信度预测模块520，用于采用已训练的图片分类模型预测子切片图像的所属类别，得到各子切片图像的所属类别置信度，图片分类模型基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到。

图像打分模块530，用于将所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所属类别置信度对病灶切片进行打分。

图像分类模块540，用于统计病灶切片的得分，得到病理切片图像的分类结果。

在其中一个实施例中，如图7所示，医学图像分类装置还包括模型训练模块550，用于构建至少两个初始图片分类模型、并设定各初始图片分类模型的最优超参数，将携带病灶标记信息的病理切片图像样本集输入至各初始图片分类模型，采用分段常数衰减法调整各初始图片分类模型的学习率，直至各初始图片分类模型达到收敛，获取达到收敛的各初始图片分类模型的评价参数、并根据评价参数筛选出最优的初始图片分类模型，得到图片分类模型。

在其中一个实施例中，如图7所示，医学图像分类装置还包括图像预处理模块560，用于采用阈值分割法，将子切片图像中大于或等于预设像素阈值的像素区域标记为空白区域，计算空白区域在所在子切片图像中的面积占比，舍弃空白区域的面积占比超过预设比例的子切片图像，得到更新后的子切片图像。

在其中一个实施例中，图像预处理模块560还用于基于子切片图像的光度信息，对子切片图像的亮度、颜色以及饱和度进行统一化处理。

在其中一个实施例中，图像分割模块510还用于采用滑动窗口图像处理算法，将病理切片图像切分为相同尺寸的子切片图像。

在其中一个实施例中，如图7所示，医学图像分类装置还包括图像拼接模块570，用于根据分类结果，调用可视化机制算法，得到病灶切片的热力图、并将热力图与病灶切片叠加，热力图包括感兴趣的病变区域，根据各子切片图像携带的位置信息将各子切片图像进行拼接，合成病理切片图像的病变区域。

关于医学图像分类装置的具体限定可以参见上文中对于医学图像分类方法的限定，在此不再赘述。上述医学图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在其中一个实施例中，如图8所示，还提供了一种医学图像分类设备，包括：数据采集组件610、数据处理组件620以及显示组件630；

数据采集组件610采集病理切片图像，并将病理切片图像发送至数据处理组件620，数据处理组件620采用上述医学图像分类方法对病理切片图像进行处理，得到病理切片图像的分类结果，推送病理切片图像的分类结果至显示组件630显示。

在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储病理切片图像数据以及图片分类模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学图像分类方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在其中一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述医学图像分类方法中的步骤。

在其中一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述医学图像分类方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种医学图像分类方法，所述方法包括：

获取病理切片图像，对所述病理切片图像进行分割处理，得到子切片图像；

采用阈值分割法，将所述子切片图像中大于或等于预设像素阈值的像素区域标记为空白区域，计算所述空白区域在所在子切片图像中的面积占比，舍弃所述空白区域的面积占比超过预设比例的子切片图像，得到更新后的子切片图像；

采用已训练的图片分类模型预测所述更新后的子切片图像的所属类别，得到各所述更新后的子切片图像的所属类别置信度，所述图片分类模型基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到；

将所述所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所述所属类别置信度对所述病灶切片进行打分；

统计所述病灶切片的得分，得到所述病理切片图像的分类结果；

其中，根据所述所属类别置信度对所述病灶切片进行打分包括以下方式：当p＜0.8时，S=0；当p＞0.8时，S=2^((p-0.8)*10)；当p=0.8时，S=1；

式中，p为更新后的子切片图像的所属类别置信度，S为所述病灶切片的得分。

2.根据权利要求1所述的医学图像分类方法，其特征在于，所述采用已训练的图片分类模型预测所述更新后的子切片图像的所属类别之前，还包括：

构建至少两个初始图片分类模型、并设定各初始图片分类模型的最优超参数；

将所述携带病灶标记信息的病理切片图像样本集输入至各初始图片分类模型；

采用分段常数衰减法调整各初始图片分类模型的学习率，直至各初始图片分类模型达到收敛；

获取达到收敛的各初始图片分类模型的评价参数、并根据评价参数筛选出最优的初始图片分类模型，得到所述图片分类模型。

3.根据权利要求1所述的医学图像分类方法，其特征在于，所述采用已训练的图片分类模型预测所述更新后的子切片图像的所属类别之前，还包括：

基于所述更新后的子切片图像的光度信息，对所述更新后的子切片图像的亮度、颜色以及饱和度进行统一化处理。

4.根据权利要求1所述的医学图像分类方法，其特征在于，所述对所述病理切片图像进行分割处理，得到子切片图像包括：

采用滑动窗口图像处理算法，将所述病理切片图像切分为相同尺寸的子切片图像。

5.根据权利要求1所述的医学图像分类方法，其特征在于，所述得到所述病理切片图像的分类结果之后，还包括：

根据所述分类结果，调用可视化机制算法，得到所述病灶切片的热力图、并将所述热力图与所述病灶切片叠加，所述热力图包括感兴趣的病变区域；

根据各子切片图像携带的位置信息将各子切片图像进行拼接，合成病理切片图像的病变区域。

6.一种医学图像分类装置，所述装置包括：

图像分割模块，用于获取病理切片图像，对所述病理切片图像进行分割处理，得到子切片图像；

图像预处理模块，用于采用阈值分割法，将所述子切片图像中大于或等于预设像素阈值的像素区域标记为空白区域，计算所述空白区域在所在子切片图像中的面积占比，舍弃所述空白区域的面积占比超过预设比例的子切片图像，得到更新后的子切片图像；

图像置信度预测模块，用于采用已训练的图片分类模型预测所述更新后的子切片图像的所属类别，得到各更新后的子切片图像的所属类别置信度，所述图片分类模型基于不同类别的携带病灶标记信息的病理切片图像样本集训练得到；

图像打分模块，用于将所述所属类别置信度大于或等于预设阈值的子切片图像标记为病灶切片、并根据所述所属类别置信度对所述病灶切片进行打分，其中，根据所述所属类别置信度对所述病灶切片进行打分包括以下方式：当p＜0.8时，S=0；当p＞0.8时，S=2^((p-0.8)*10)；当p=0.8时，S=1；式中，p为更新后的子切片图像的所属类别置信度，S为所述病灶切片的得分；

图像分类模块，用于统计所述病灶切片的得分，得到所述病理切片图像的分类结果。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括模型训练模块，用于构建至少两个初始图片分类模型、并设定各初始图片分类模型的最优超参数，将所述携带病灶标记信息的病理切片图像样本集输入至各初始图片分类模型，采用分段常数衰减法调整各初始图片分类模型的学习率，直至各初始图片分类模型达到收敛，获取达到收敛的各初始图片分类模型的评价参数、并根据评价参数筛选出最优的初始图片分类模型，得到所述图片分类模型。

8.一种医学图像分类设备，其特征在于，包括数据采集组件、数据处理组件以及显示组件；

所述数据采集组件采集病理切片图像，并将所述病理切片图像发送至所述数据处理组件，所述数据处理组件采用上述权利要求1至5中任一项所述的医学图像分类方法对所述病理切片图像进行处理，得到所述病理切片图像的分类结果，推送所述病理切片图像的分类结果至所述显示组件显示。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images