CN108629772A - 图像处理方法及装置、计算机设备和计算机存储介质 - Google Patents

Abstract

本发明实施例提供一种图像处理方法及装置、计算机设备和计算机存储介质，其中，所述方法包括：获取待处理图像；将所述待处理图像输入至第一网络模型，得到所述待处理图像的分析结果；所述第一网络模型为压缩的神经网络模型；输出所述待处理图像的分析结果。

Description

图像处理方法及装置、计算机设备和计算机存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种图像处理方法及装置、计算机设备和计算机存储介质。

背景技术

病理图像是临床中诊断肿瘤组织和细胞的金标准和重要依据之一。传统的病理图像诊断耗费大量的人力物力，需要依靠医生的临床经验，在高分辨率的病理切片上对细胞和组织进行诊断，且会存在一定的主观偏差。近年来，随着人工智能特别是深度学习技术的蓬勃发展，计算机辅助诊断已应用于病理图像的分析中，有效地提高了诊断的精度和效率。

然而，为了满足临床应用的需要，通常需要对大尺寸、高分辨率的全切片病理图像进行分析(病理图像的尺寸可高达到100000*100000像素)。对于全切片的肿瘤病理图像，当前基于深度学习的方法仍然存在诊断效率低下的问题，需要十几分钟甚至几十分钟才能得到诊断结果，因此高效率的病理图像诊断方法仍然是一个急需解决的问题。

此外，由于现有的用于病理图像诊断的深度神经网络模型通常过于庞大(包含海量参数)，无法嵌入到小型移动设备中，对病理图像计算机辅助诊断的推广与落地仍因此存在一定的差距。因此，开发高效、高精度的全切片病理图像诊断系统是个亟需解决的问题。

发明内容

有鉴于此，本发明实施例期望提供一种图像处理方法及装置、计算机设备和计算机存储介质，解决了现有技术方案中对全切片病理图像进行处理时效率低下的技术问题，能够大幅度提高病理图像诊断效率，并且压缩的神经网络模型只需占用极少量的存储空间，因此能够嵌入到小型移动设备中，从而便于病理图像计算机辅助诊断的推广。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种图像处理方法，所述方法包括：

获取待处理图像；

将所述待处理图像输入至经过训练得到的第一网络模型，得到所述待处理图像的分析结果，其中，所述第一网络模型为压缩的神经网络模型；

输出所述待处理图像的分析结果。

在本发明实施例中，所述将所述待处理图像输入至经过训练得到的第一网络模型，得到所述待处理图像的分析结果，包括：

对所述待处理图像进行图像预分割，得到所述待处理图像中的第一区域图像；

将所述第一区域图像划分成预设大小的待处理子图；

将所述每一待处理子图输入所述第一网络模型，得到所述待处理图像的分析结果。

在本发明实施例中，所述对所述待处理图像进行图像预分割，得到所述待处理图像中的第一区域图像，包括：

利用语义分割算法对所述待处理图像进行图像预分割，得到所述待处理图像中的第一区域图像，其中，所述第一区域图像为所述待处理图像中除空白区域之外的图像。

在本发明实施例中，所述将所述每一待处理子图输入所述第一网络模型，得到所述待处理图像的分析结果，包括：

将所述每一待处理子图输入所述第一网络模型，得到所述每一待处理子图的分类结果；

根据所述每一待处理子图的位置信息和分类结果确定所述待处理图像的分析结果。

在本发明实施例中，所述方法还包括：

根据获取的样本图像训练第二网络模型和第三网络模型；

将所述样本图像输入所述第二网络模型，得到输出结果；

根据所述输出结果对所述第三网络模型的参数进行调整，得到第一网络模型。

在本发明实施例中，所述第二网络模型为未压缩的神经网络模型，第三网络模型为压缩的神经网络模型。

在本发明实施例中，所述根据所述样本图像训练第二网络模型和第三网络模型，包括：

对所述样本图像进行图像预分割，获取所述样本图像中的第一区域图像；

将所述第一区域图像划分成预设大小的样本子图；

确定每一所述样本子图的分类信息；

根据每一所述样本子图和对应的分类信息训练第二网络模型和第三网络模型。

在本发明实施例中，所述输出结果为每一所述样本子图在softmax层输出的第一分类概率向量，对应地，所述根据所述输出结果对所述第三网络模型的参数进行调整，得到第一网络模型，包括：

根据每一所述样本子图的分类信息和每一所述样本子图的第一分类概率向量确定每一所述样本子图的目标分类概率向量；

根据所述目标分类概率向量对所述第三网络模型的参数进行调整，得到第一网络模型。

在本发明实施例中，所述根据每一所述样本子图的分类信息和每一所述样本子图的第一分类概率向量确定每一所述样本子图的目标分类概率向量，包括：

获取预设的第一权值和第二权值，其中，所述第一权值与所述第二权值的和为1；

确定每一样本子图的分类信息对应的第二分类概率向量；

根据所述第一权值、第二权值、每一样本子图的第一分类概率向量和第二分类概率向量确定每一所述样本子图的目标分类概率向量。

在本发明实施例中，所述根据所述第一权值、第二权值、每一样本子图的第一分类概率向量和第二分类概率向量确定每一所述样本子图的目标分类概率向量，包括：

将所述第一权值与每一所述样本子图的第一分类概率向量的乘积确定为每一样本子图的第一向量；

将所述第二权值与每一所述样本子图的第二分类概率向量的乘积确定为每一样本子图的第二向量；

将每一所述样本子图的第一向量与第二向量的和确定为每一样本子图的目标分类概率向量。

在本发明实施例中，所述待处理图像和样本图像为病理图像，所述样本子图的分类信息用于表明所述样本子图是否属于病灶区域。

在本发明实施例中，所述根据所述每一待处理子图的位置信息和分类结果确定所述待处理图像的分析结果，包括：

根据所述每一待处理子图的位置信息和分类结果确定所述待处理图像中的病灶区域的位置信息和病灶区域的面积；

根据所述病灶区域的面积确定疾病的危险等级；

将所述病灶区域的位置信息和所述危险等级确定为所述待处理图像的分析结果。

本发明实施例提供一种图像处理装置，所述装置包括：第一获取模块、第一处理模块和第一输出模块，其中：

第一获取模块，用于获取待处理图像；

第一处理模块，用于将所述待处理图像输入至经过训练得到的第一网络模型，得到所述待处理图像的分析结果，其中，所述第一网络模型为压缩的神经网络模型；

第一输出模块，用于输出所述待处理图像的分析结果。

在本发明实施例中，所述第一处理模块包括：

第一图像预分割单元，用于对所述待处理图像进行图像预分割，得到所述待处理图像中的第一区域图像；

第一划分单元，用于将所述第一区域图像划分成预设大小的待处理子图；

处理单元，用于将所述每一待处理子图输入所述第一网络模型，得到所述待处理图像的分析结果。

在本发明实施例中，所述第一图像预分割单元还用于：

利用语义分割算法对所述待处理图像进行图像预分割，得到所述待处理图像中的第一区域图像，其中，所述第一区域图像为所述待处理图像中除空白区域之外的图像。

在本发明实施例中，所述处理单元包括：

输入子单元，用于将所述每一待处理子图输入所述第一网络模型，得到所述每一待处理子图的分类结果；

第一确定子单元，用于根据所述每一待处理子图的位置信息和分类结果确定所述待处理图像的分析结果。

在本发明实施例中，所述装置还包括：

训练模块，用于根据获取的样本图像训练第二网络模型和第三网络模型；

输入模块，用于将所述样本图像输入所述第二网络模型，得到输出结果；

调整模块，用于根据所述输出结果对所述第三网络模型的参数进行调整，得到第一网络模型。

在本发明实施例中，所述第二网络模型为未压缩的神经网络模型，第三网络模型为压缩的神经网络模型。

在本发明实施例中，所述训练模块包括：

第二图像预分割单元，用于对所述样本图像进行图像预分割，获取所述样本图像中的第一区域图像；

第二划分单元，用于将所述第一区域图像划分成预设大小的样本子图；

第一确定单元，用于确定每一所述样本子图的分类信息；

训练单元，用于根据每一所述样本子图和对应的分类信息训练第二网络模型和第三网络模型。

在本发明实施例中，所述输出结果为每一所述样本子图在softmax层输出的第一分类概率向量，对应地，所述调整模块包括：

第二确定单元，用于根据每一所述样本子图的分类信息和每一所述样本子图的第一分类概率向量确定每一所述样本子图的目标分类概率向量；

调整单元，用于根据所述目标分类概率向量对所述第三网络模型的参数进行调整，得到第一网络模型。

在本发明实施例中，所述第二确定单元包括：

获取子单元，用于获取预设的第一权值和第二权值，其中，所述第一权值与所述第二权值的和为1；

第二确定子单元，用于确定每一样本子图的分类信息对应的第二分类概率向量；

第三确定子单元，用于根据所述第一权值、第二权值、每一样本子图的第一分类概率向量和第二分类概率向量确定每一所述样本子图的目标分类概率向量。

在本发明实施例中，所述第三确定子单元还用于：

将所述第一权值与每一所述样本子图的第一分类概率向量的乘积确定为每一样本子图的第一向量；

将所述第二权值与每一所述样本子图的第二分类概率向量的乘积确定为每一样本子图的第二向量；

将每一所述样本子图的第一向量与第二向量的和确定为每一样本子图的目标分类概率向量。

在本发明实施例中，所述待处理图像和样本图像为病理图像，所述样本子图的分类信息用于表明所述样本子图是否属于病灶区域。

在本发明实施例中，所述第一确定子单元还用于：

根据所述每一待处理子图的位置信息和分类结果确定所述待处理图像中的病灶区域的位置信息和病灶区域的面积；

根据所述病灶区域的面积确定疾病的危险等级；

将所述病灶区域的位置信息和所述危险等级确定为所述待处理图像的分析结果。

本发明实施例提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本发明实施例提供的图像处理方法中的步骤。

本发明实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现本发明实施例提供的图像处理方法中的步骤。

本发明实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现本发明实施例提供的图像处理方法中的步骤。

本发明实施例提供一种图像处理方法及装置、计算机设备和计算机存储介质，其中，首先获取待处理图像，然后将所述待处理图像输入至经过训练得到的第一网络模型，得到所述待处理图像的分析结果，其中，所述第一网络模型为压缩的神经网络模型；最后输出所述待处理图像的分析结果；如此，由于第一网络模型为压缩的神经网络模型，具有的参数较少，从而能够大幅度提高病理图像诊断效率，并且压缩的神经网络模型只需占用极少量的存储空间，因此能够嵌入到小型移动设备中，进而便于病理图像计算机辅助诊断的推广。

附图说明

图1a为本发明实施例网络架构的示意图；

图1b为本发明实施例另一网络架构的示意图

图2为本发明实施例图像处理方法的实现流程示意图；

图3为本发明实施例第一网络的训练方法的实现流程示意图；

图4为本发明实施例第一网络模型的训练流程示意图；

图5为本发明实施例图像处理装置的组成结构示意图；

图6为本发明实施例计算机设备的组成结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1a为本发明实施例网络架构的示意图，如图1a所示，在该网络架构中包括病理切片机11和计算机设备12，其中，病理切片机11用于对采集到的标本进行自动切片，得到全切片病理图像。病理切片机11与计算机设备12建立有通信连接，病理切片机11可以将得到的全切片病理图像发送给计算机设备12。计算机设备12中存储有样本图像，计算机设备12可以根据样本图像训练出第一网络模型，其中，第一网络模型是具备完整(未压缩)的深度神经网络模型知识和泛化能力的压缩神经网络模型，计算机设备12将待处理的病理图像输入至第一网络模型，以得到并输出分析结果，也就是诊断结果。

图1b为本发明实施例另一网络架构的示意图，如图1b所示，在该网络架构中包括病理切片机11、计算机设备12和服务器13，其中，病理切片机11用于对采集到的标本进行自动切片，得到全切片病理图像。病理切片机11与计算机设备12建立有通信连接，病理切片机11可以将得到的全切片病理图像发送给计算机设备12。服务器13中存储有样本图像，服务器13可以根据样本图像训练出第一网络模型，其中，第一网络模型是具备完整(未压缩)的深度神经网络模型知识和泛化能力的压缩神经网络模型。计算机设备12与服务器13同样建立有通信连接，计算机设备12可以从服务器13处获取第一网络模型，并将待处理的病理图像输入至第一网络模型，以得到并输出分析结果，也就是诊断结果。

结合图1a和图1b所示的应用场景示意图，以下对图像处理方法及图像处理装置、计算机设备的各实施例进行说明。

为了更好的理解本发明实施例中提供的图像处理方法，首先对相关技术中已有的病理图像处理方法进行说明。

目前，已有若干方法和系统着力于解决全切片数字病理图像的自动诊断问题。针对全切片的数字病理图像，代表性的方法是将整幅图像平均划分成数万甚至数百万张小图(例如100*100大小)，随后对每一张小图进行分类(良性或恶性)，从而确定出整张全切片图像的病灶区域。在实现时可以采用GoogleNet对每张小图进行分类，通过建立相邻小图之间的空间依赖关系，进一步提高对每张小图的分类精度。

在现有的技术和解决方案中，需要基于已有的标注数据(即每张小图的分类信息)，训练出具有海量参数的深度神经网络。随后，在诊断全切片病理图像时，其划分成的数万甚至数百万张小图将依次通过以上训练出的复杂深度神经网络模型，获取所有小图的分类结果，进而得到全切片病理图像的诊断结果。

尽管现有的技术已经达到了很高的诊断精度(准确度高达90％以上)，诊断全切片病理图像仍然是个极其耗时的过程，通常需要十几分钟甚至几十分钟才能够得到单张全切片病理图像的诊断结果，且当前基于深度学习的诊断模型通常会占用大量的存储空间，无法嵌入到小型移动设备中，影响自动诊断方法的产品落地和应用。

本实施例提供一种图像处理方法，图2为本发明实施例图像处理方法的实现流程示意图，如图2所示，所述方法包括以下步骤：

步骤S201，获取待处理图像。

这里，所述步骤S201可以是由计算机设备实现的，进一步地，所述计算机设备可以是智能终端，例如可以是移动电话(手机)、平板电脑、笔记本电脑等具有无线通信能力的移动终端设备，还可以是台式计算机等不便移动的智能终端设备。所述计算机设备用于进行图像处理。

在本实施例中，所述待处理图像是病理图像，进一步地可以是全切片病理图像。全切片病理图像可以理解为高通量的、能够清楚地分辨到细胞级的病理图像，全切片病理图像的分辨率高，且尺寸较大，通常图像的尺寸可高达100000*100000像素。

步骤S202，将所述待处理图像输入至经过训练得到的第一网络模型，得到所述待处理图像的分析结果。

这里，所述步骤S202可以是由计算机设备实现的。所述第一网络模型为压缩的神经网络模型。所述分析结果可以为病理检查结果，至少包括病灶区域的位置、病灶区域的面积、疾病的危险等级。

由于第一网络模型是压缩的神经网络模型，参数较少，因此可以更高效地处理病理图像。而也正是因为压缩神经网络的参数较少，导致对图像进行处理的到的分析结果的精度不是很高，因此为了在提高效率的同时保证图像处理的精度，可以根据未压缩的神经网络模型对压缩的神经网络模型的参数进行调整，得到第一网络模型。在实现的过程，可以利用样本图像训练出压缩的神经网络模型和未压缩的(完整的)神经网络模型，然后基于迁移学习的理论将未压缩的神经网络模型中所具有的知识和泛化能力迁移到压缩的神经网络模型中，从而得到第一网络模型。

步骤S203，输出所述待处理图像的分析结果。

这里，所述步骤S203可以是由计算机设备实现的。

在实际实现过程中，所述计算机设备输出所述待处理图像的分析结果可以是在自身显示屏上输出所述待处理图像中的病灶的位置信息和疾病的危险等级，还可以是所述计算机设备将所述分析结果输出至其他设备，也就是发送给其他设备，例如所述其他设备可以是病人主治医生的智能终端上。

在本发明实施例提供的图像处理方法中，首先获取待处理图像，然后将所述待处理图像输入经过训练得到的第一网络模型，得到所述待处理图像的分析结果；所述第一网络模型为压缩的神经网络模型；最后输出所述待处理图像的分析结果；如此，由于第一网络模型为压缩的神经网络模型，具有的参数较少，从而能够大幅度提高病理图像诊断效率，并且压缩的神经网络模型只需占用极少量的存储空间，因此能够嵌入到小型移动设备中，进而便于病理图像计算机辅助诊断的推广。

在上述实施例中，由于全切片病理图像的尺寸太大，需要对全切片病理图像的尺寸进行缩小，因此在所述步骤S201之后，所述方法还包括：

步骤11，判断所述待处理图像的尺寸是否大于预设的第一阈值。

这里，如果所述待处理图像的尺寸大于第一阈值进入步骤12；如果所述待处理图像的尺寸小于或者等于所述第一阈值，进入步骤S202。

步骤12，根据所述待处理图像的尺寸和所述第一阈值缩小所述待处理图像的尺寸。

这里，在实现的过程中，可以通过降低所述待处理图像的分辨率来缩小所述待处理图像的尺寸，例如可以将所述待处理图像的分辨率缩小至原来的二分之一或者四分之一。而缩小二分之一还是四分之一还是更多可以是根据所述待处理图像的尺寸和所述第一阈值确定的。假设待处理图像的尺寸为100000*100000像素，第一阈值为60000*60000像素，取第一阈值中60000与待处理图像的尺寸中的1000000的比值，得到0.6，然后确定小于0.6的第一个1/(2ⁿ)，而小于0.6的第一个1/(2ⁿ)为1/2，因此，此时将所述待处理图像缩小至原来的二分之一。

在实际应用中，所述步骤S202可以通过以下步骤实现：

步骤S2021，对所述待处理图像进行图像预分割，得到所述待处理图像中的第一区域图像。

这里，可以利用语义分割算法对所述待处理图像进行图像预分割，得到所述待处理图像中的第一区域图像，其中，所述第一区域图像为所述待处理图像中除空白区域之外的图像；如此，能够将待处理图像中的第一区域和空白区域分割开来，这样在后续进行处理的过程中不对空白区域的病理图像进行处理，仅仅对第一区域的图像进行处理，从而缩短了处理时间并节约处理资源。

在其他实施例中，还可以通过一些经典的图像分割算法对待处理图像进行图像预分割，例如基于阈值的图像分割算法、水平集算法等实现。还可以通过于深度学习的分割算法，例如全卷积网络(Fully Convolutional Networks，FCN)，U-Net等。

基于阈值的图像分割就是简单地用一个或几个阈值将图像的灰度直方图分成几个类，认为图像中灰度值在同一个灰度类内的像素属于同一个物体。基于阈值的图像分割主要有两个步骤：第一，确定进行正确分割的阈值；第二，将图像的所有像素的灰度级与阈值进行比较，以进行区域划分，达到第一区域与空白区域分离的目的。

步骤S2022，将所述第一区域图像划分成预设大小的待处理子图。

这里，所述预设大小可以是256*256像素，还可以是512*512像素。需要说明的是，在本实施例中对待处理图像中第一区域图像划分的预设大小与对样本图像中第一区域图像划分的预设大小是相同的。

步骤S2023，将每一所述待处理子图输入所述第一网络模型，得到所述待处理图像的分析结果。

这里，所述步骤S2023可以通过以下步骤实现：

步骤21，将所述每一待处理子图输入所述第一网络模型，得到所述每一待处理子图的分类结果。

这里，当待处理图像为病理图像时，所述待处理子图的分类结果可以是个二分类结果，即良性或者恶性；还可以是概率图，即良性或者恶性的概率。

步骤22，根据所述每一待处理子图的位置信息和分类结果确定所述待处理图像的分析结果。

这里，当所述待处理图像为病理图像时，所述分析结果可以包括病灶位置、疾病的危险等级等信息，相应地，所述步骤22可以通过以下步骤实现：

步骤61，根据所述每一待处理子图的位置信息和分类结果确定所述待处理图像中的病灶区域的位置信息和病灶区域的面积。

步骤62，根据所述病灶区域的面积确定疾病的危险等级。

这里，所述疾病的危险等级可以是恶性肿瘤的分期。

步骤63，将所述病灶区域的位置信息和所述危险等级确定为所述待处理图像的分析结果。

基于上述的实施例，本发明实施例提供一种第一网络模型的训练方法，本发明实施例提供的第一网络模型的训练方法可以是计算机设备实现的，还可以是由服务器实现的。图3为本发明实施例第一网络模型的训练方法的实现流程示意图，如图3所示，所述方法包括以下步骤：

步骤S301，获取样本图像。

这里，所述样本图像可以是全切片病理图像，所述样本图像的病灶区域的位置与正常组织区域的位置是已知的。

步骤S302，对所述样本图像进行图像预分割，获取所述样本图像中的第一区域图像。

这里，对所述样本图像进行图像预分割，将样本图像中的空白区域与第一区域分割开来。对所述样本图像进行图像预分割的过程与对待处理图像进行图像预分割的过程是类似的。第一区域图像为所述样本图像中除空白区域之外的图像，也就是说第一区域图像为组织区域图像。

步骤S303，将所述第一区域图像划分成预设大小的样本子图。

这里，步骤S303中样本子图的大小与步骤S2022中的待处理子图的大小是相同的，例如为256*256像素。

步骤S304，确定每一所述样本子图的分类信息。

这里，所述样本子图的分类信息可以为是肿瘤病灶区域还是正常组织区域。

步骤S305，根据每一所述样本子图和对应的分类信息训练第二网络模型和第三网络模型。

在该步骤中，将所述样本子图和对应的分类信息确定为训练数据，该训练数据用来训练第二网络模型和第三网络模型。

其中，第二网络模型为未压缩的神经网络模型，第二网络模型可以视为是一个完整的深度神经网络模型，在其他实施例中也可以称之为导师网络模型。所述第三网络模型为压缩的神经网络模型，该第三网络模型可以是各类通用的、面向分类问题的深度神经网络模型，例如可以是ResNet、VGG Net、GooLeNet等。

其中，所述压缩的神经网络模型与未压缩的神经网络模型相比，具有更少的参数，因此可以更快的处理海量的样本子图。一般来说，训练压缩神经网络模型有两类方法：第一种方法、预先训练好完整的深度神经网络模型，然后对完整的神经网络模型进行压缩；第二种方法、直接用训练数据，训练一个只包含少量参数的、小的深度网络模型。

当采用第一种方法时，在训练好完整的深度神经网络模型后，可以通过以下几种方式对完整的神经网络模型进行压缩，得到压缩的神经网络模型：方式(1)网络剪枝：即选择一个阈值，将神经网络中权重小于阈值的连接剪开；方式(2)低秩分解：使用矩阵/张量分解以估计深层神经网络中最具信息量的参数并予以保留；方式(3)权重共享和霍夫曼编码：通过共享权重和权重索引来减小权重数量和存储空间，并用霍夫曼编码的方式来编码第二阶段的权重和索引，进一步压缩空间。

当采用第二种方法时，在实现的过程可以采用多种深度神经网络的压缩技术，例如Xception深度可分卷积网络、MobileNets等。

从以上可以看出，步骤S302至步骤S305完成根据所述样本图像训练第二网络模型和第三网络模型的实现过程。

步骤S306，将所述样本图像输入所述第二网络模型，得到输出结果。

这里，所述步骤S306在实现过程中，是将所述样本子图和对应的分类信息输入至所述第二网络模型中，得到输出结果。所述输出结果为每一所述样本子图在所述第二网络模型的softmax输出的第一分类概率向量。

如果是最终神经网络输出的结果是二分类结果，那么第一分类概率向量为2*1或1*2的向量，例如，假设第一个样本子图的第一分类概率向量为[0.9,0.1]，其中0.9表示第一个样本子图为正常组织区域的概率为0.9，0.1表示第一个样本子图为肿瘤病灶区域的概率为0.1。

步骤S307，将每一所述样本子图和对应的分类信息输入所述第三网络模型，得到所述每一所述样本子图在softmax层输出的第三分类概率向量。

这里，所述第三分类概率向量与第一分类概率向量相同，为2*1或1*2的向量。例如第一个样本子图的第三分类概率向量为[0.6,0.4]。

步骤S308，根据每一所述样本子图的分类信息和每一所述样本子图的第一分类概率向量确定每一所述样本子图的目标分类概率向量。

步骤S309，根据所述目标分类概率向量和所述第三分类概率向量对所述第三网络模型的参数进行调整，得到第一网络模型。

通过上述步骤S306至步骤S309完成根据所述输出结果对所述第三网络模型的参数进行调整，得到第一网络模型的实现过程。

在其他的实施例中，所述步骤S309可以通过以下步骤实现：

步骤S3091，将所述目标分类概率向量和所述第三分类概率向量进行损失loss运算，确定所述目标分类概率向量与所述第三分类概率向量的差值；

步骤S3092，根据所述差值通过反向传播的梯度运算对所述第三网络模型的参数进行调整，得到第一网络模型。

这里，所述第三网络模型的参数可以是所述第三网络模型的输入层、隐藏层、池化层和输出层的中使用的函数的参数。

在本发明实施例提供的第一网络的训练方法中，首先获取样本图像；然后对所述样本图像进行图像预分割，获取所述样本图像中的第一区域图像；再将所述第一区域图像划分成预设大小的样本子图并确定每一所述样本子图的分类信息；随后根据每一所述样本子图和对应的分类信息训练第二网络模型和第三网络模型；再将所述样本图像输入所述第二网络模型，得到输出结果；然后将每一所述样本子图和对应的分类信息输入所述第三网络模型，得到所述每一所述样本子图在softmax层输出的第三分类概率向量；根据每一所述样本子图的分类信息和每一所述样本子图的第一分类概率向量确定每一所述样本子图的目标分类概率向量；最后根据所述目标分类概率向量和所述第三分类概率向量对所述第三网络模型的参数进行调整，得到第一网络模型；如此，在训练第一网络的过程中首先将空白区域去除，避免对空白区域的处理，另外得到的第一网络模型具备参数少，更进一步地提高了处理效率，并且由于第一网络模型具备完整的深度神经网络模型的知识和泛化能力，从而保证了在病理图像处理时的分类精度。

在其他的实施例中，所述步骤S308可以通过以下步骤实现：

步骤S3081，获取预设的第一权值和第二权值。

这里，所述第一权值与所述第二权值的和为1。所述第一权值和所述第二权值的取值是通过调参确定的。在实现时，可以进行一系列的对照实验，例如第一权值分别为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9，对应地，第二权值分别为0.9、0.8、0.7、0.6、0.5、0.4、0.3、0.2、0.1。通过第一权值和第二权值的9组取值训练出九个压缩的神经网络模型，并将这九个压缩的神经网络模型在确认检查(validation Check)上的数值最高的对应的第一权值和第二权值的值确定为第一权值和第二权值的最终取值。

步骤S3082，确定每一样本子图的分类信息对应的第二分类概率向量。

这里，每一样本子图的分类信息为是正常组织区域或者是肿瘤病灶区域，例如第一个样本子图的分类信息为正常组织区域，那么该分类信息对应的第二分类概率向量为[1,0]。

步骤S3083，根据所述第一权值、第二权值、每一样本子图的第一分类概率向量和第二分类概率向量确定每一所述样本子图的目标分类概率向量。

在其他实施例中，所述步骤S3083可以通过以下步骤实现：

步骤41，将所述第一权值与每一所述样本子图的第一分类概率向量的乘积确定为每一样本子图的第一向量；

这里，可以通过公式(1-1)确定第一向量：

M＝a*soft_target (1-1)；

其中，M为第一向量，a为第一权值，soft_target为第一分类概率向量。

步骤42，将所述第二权值与每一所述样本子图的第二分类概率向量的乘积确定为每一样本子图的第二向量。

这里，可以通过公式(1-2)确定第二向量：

N＝b*hard_target (1-2)；

其中，N为第一向量，b为第一权值，hard_target为第二分类概率向量。

步骤43，将每一所述样本子图的第一向量与第二向量的和确定为每一样本子图的目标分类概率向量。

这里，可以通过公式(1-3)确定目标分类概率向量：

Target＝M+N (1-3)；

其中，Target为目标分类概率向量。

本发明实施例提供一种病理图像处理方法，在本实施例提供的病理图像处理方法中，首先需要基于已有的标注数据(即每张小图的分类信息)，训练出第一网络模型，然后将待检测的全切片病理图像进行组织区域预分割再进一步将分割后的病理图像划分成预设大小的小图，并将小图依次通过上述训练出的压缩的深度神经网络模型，获取所有小图的分类结果，进而得到待检测的全切片病理图像的诊断结果。

在本实施例中，第一网络模型的训练过程包括：组织区域的预分割、压缩的深度网络模型的训练以及基于迁移学习对压缩的深度网络模型进行微调得到第一网络模型，图4为本发明实施例第一网络模型的训练流程示意图，如图4所示，所述流程包括以下步骤：

步骤S401，对全切片病理图像进行预分割。

这里，利用图像分割技术将全切片病理图像中的组织区域与空白区域区分开来。在实现过程中，可以采用经典的图像分割算法，例如基于阈值的图像分割算法、水平集算法，还可以采用基于深度学习的图像分割算法，例如FCN，U-Net等。

由于全切片病理图像的尺寸太大，在进行图像预分割之前可以首先缩小病理图像的尺寸，使得病理图像可以直接由图像分割算法进行处理。然后，通过预先设定的分割规则(针对经典算法)，或预先训练的分割网络模型(针对基于深度学习的算法)，分割出病理图像中的组织区域。

步骤S402，将分割出的组织区域平均划分成固定大小的小图，并获取小图相应的分类信息，将所述小图和相应的分类信息确定为训练数据。

这里，例如将分割出的组织区域平均划分成256*256像素大小的小图，同时记录下每个小图在训练集中所对应的分类信息，所述分类信息即属于肿瘤病灶区域或属于正常组织区域。这些小图和相应的分类信息作为训练数据用于步骤S403和步骤S404的深度神经网络模型的训练中。

在本实施例中，对全切片病理图像的组织区域进行预分割，有效地降低了空白小图的数量，从而提高了诊断效率，现有技术通常是直接对病理图像划分成小图，会产生许多不具有诊断信息的空白小图，影响诊断效率。

步骤S403，根据所述训练数据训练得到压缩的深度神经网络模型。

基于以上获取的海量小图以及各个小图的分类信息，训练得到一个压缩的深度神经网络模型。压缩的网络模型是指与一般的深度神经网络模型相比，具有更少的参数，因而可以更快的处理海量的病理小图。在实现过程中，可以采用多种深度神经网络的压缩技术，例如Xception深度可分卷积网络或MobileNets等，目的是训练出一个只具有少量参数的深度神经网络。

需要说明的是，在该步骤训练得到的压缩的深度神经网络模型即为其他实施例中的第三网络模型。

在本实施例中，针对全切片病理图像诊断效率低下的问题，采用了网络压缩技术，大幅度降低深度神经网络模型的参数，当对大量小图进行分类时，压缩的网络可以高效的对每张小图进行分类。

步骤S404，根据上述训练数据训练得到完整的深度神经网络模型。

这里，基于由步骤S401得到的训练数据，训练出一个完整的深度神经网络模型(也可以称为导师网络模型)。在本发明实施例中，导师网络模型可以是各类通用的、面向分类问题的网络模型，例如Res Net、VGG Net、Google Net等。

需要说明的是，在该步骤训练得到的完整的深度神经网络模型即为其他实施例中的第二网络模型。

步骤S405，基于迁移学习对压缩的深度神经网络模型进行微调，得到第一网络模型。

这里，由于在步骤S403中得到的压缩神经网络模型中参数较少，对于病理图像中每张小图的分类，并不能实现很高的分类精度。因此，在步骤S405中需要对压缩网络进行微调，使其可以有效地对病理图像中划分出的海量小图进行分类。

基于迁移学习的理论，将导师网络模型中所具有的知识和泛化能力，迁移到压缩的神经网络模型中。在实现过程中，可以采用蒸馏神经网络，通过完整深度神经网络模型产生的分类概率作为软目标，进一步对压缩网络进行训练，从而可以对由步骤S403训练的压缩网络模型进行微调，得到第一网络模型。

网络模型压缩后，由于参数变少，对每张小图进行分类的精度也会降低。为此，基于迁移学习理论，通过训练完整的深度神经网络，并以该完整的深度神经网络模型作为导师网络模型指导压缩网络的微调，能够解决网络压缩后诊断精度降低的问题，有效地提高压缩网络的分类精度，从而得到高精度的第一网络。由此可见，通过本实施例提供的方法能够训练得到精确的、且只具有少量参数的第一网络模型。

在利用上述训练的第一网络模型进行全切片病理图像的诊断过程中，对于待检测的全切片病理图像采用以下步骤：

步骤51，基于图像分割技术将病理图像进行预分割，获取病理图像中的组织区域，进而将组织区域平均划分成固定大小的小图。

在实现过程中，待检测的切片病理图像中组织区域划分的固定大小应该与步骤S402中划分的固定大小是相同的，例如，可以是256*256像素大小。

步骤52，对于划分得到的海量小图，依次通过第一网络模型，获取每一小图的预测结果。

这里，所述预测结果可以是二分类结果(良性或恶性)，还可以是概率图(良性或恶性的概率)。

步骤53，将各个小图的位置和各个小图的预测结果对应到原图中，即可得到原病理图像中病灶区域的位置，从而实现全切片病理图像中病灶区域的检测与分割。

在本实施例提供的病理图像处理方法中，借助网络压缩技术，解决全切片病理图像诊断效率低下的问题。当全切片病理图像被划分成数十万张小图进行分类时，传统的分类网络由于参数量巨大，处理每张子图会非常耗时。借助网络压缩技术，可以有效地降低网络的参数，有效地降低每张子图的处理时间。

在本发明实施例提供的病理图像处理方法中，首先需要基于已有的标注数据(即每张小图的分类信息)，训练出第一网络模型，然后将待检测的全切片病理图像进行组织区域预分割再进一步将分割后的病理图像划分成预设大小的小图，并将小图依次通过上述训练出的压缩的深度神经网络模型，获取所有小图的分类结果，进而得到待检测的全切片病理图像的诊断结果；如此能够高效的实现全切片病理图像的自动诊断，和以往同类算法相比，诊断效率提升了5倍以上；并且能够实现全切片病理图像的高精度诊断，诊断精度与目前同类最优算法相当。

本发明实施例提供的病理图像处理方法可应用于临床的辅助诊断中。当医生需要分析一张全切片病理图像，判断其是否存在肿瘤区域时，由于全切片病理图像尺寸巨大，医生需要从组织到细胞逐层的分析，阅片过程耗费大量时间。利用本发明实施例提供的病理图像处理方法，能够在3至5分钟内快速的确定出可疑肿瘤区域，并将这些可疑肿瘤区域呈现给医生进行判断，大幅度缩减了诊断过程中的人力和物力成本；另外在癌症分级中，需要对癌症的严重程度、危害等级进行划分。对于经验不足的医生，利用本发明实施例提供的病理图像处理方法能够迅速的计算出肿瘤区域的面积，为医生的临床决策提供支持。

本发明实施例提供一种图像处理装置，图5为本发明实施例图像处理装置的组成结构示意图，如图5所示，所述装置500包括：第一获取模块501、第一处理模块502和第一输出模块503，其中：

所述第一获取模块501，用于获取待处理图像；

所述第一处理模块502，用于经过训练得到的第一网络模型，得到所述待处理图像的分析结果，其中，所述第一网络模型为压缩的神经网络模型；

所述第一输出模块503，用于输出所述待处理图像的分析结果。

在其他实施例中，所述第一处理模块502包括：

第一图像预分割单元，用于对所述待处理图像进行图像预分割，得到所述待处理图像中的第一区域图像；

第一划分单元，用于将所述第一区域图像划分成预设大小的待处理子图；

处理单元，用于将所述每一待处理子图输入所述第一网络模型，得到所述待处理图像的分析结果。

在其他实施例中，所述第一图像预分割单元还用于：利用语义分割算法对所述待处理图像进行图像预分割，得到所述待处理图像中的第一区域图像，其中，所述第一区域图像为所述待处理图像中除空白区域之外的图像。

在其他实施例中，所述处理单元包括：

输入子单元，用于将所述每一待处理子图输入所述第一网络模型，得到所述每一待处理子图的分类结果；

第一确定子单元，用于根据所述每一待处理子图的位置信息和分类结果确定所述待处理图像的分析结果。

在其他实施例中，所述装置还包括：

训练模块，用于根据获取的样本图像训练第二网络模型和第三网络模型；

输入模块，用于将所述样本图像输入所述第二网络模型，得到输出结果；

调整模块，用于根据所述输出结果对所述第三网络模型的参数进行调整，得到第一网络模型。

在其他实施例中，所述第二网络模型为未压缩的神经网络模型，第三网络模型为压缩的神经网络模型。

在其他实施例中，所述训练模块包括：

第二图像预分割单元，用于对所述样本图像进行图像预分割，获取所述样本图像中的第一区域图像；

第二划分单元，用于将所述第一区域图像划分成预设大小的样本子图；

第一确定单元，用于确定每一所述样本子图的分类信息；

训练单元，用于根据每一所述样本子图和对应的分类信息训练第二网络模型和第三网络模型。

在其他实施例中，所述输出结果为每一所述样本子图在softmax层输出的第一分类概率向量，对应地，所述调整模块包括：

第二确定单元，用于根据每一所述样本子图的分类信息和每一所述样本子图的第一分类概率向量确定每一所述样本子图的目标分类概率向量；

调整单元，用于根据所述目标分类概率向量对所述第三网络模型的参数进行调整，得到第一网络模型。

在其他实施例中，所述第二确定单元包括：

获取子单元，用于获取预设的第一权值和第二权值，其中，所述第一权值与所述第二权值的和为1；

第二确定子单元，用于确定每一样本子图的分类信息对应的第二分类概率向量；

第三确定子单元，用于根据所述第一权值、第二权值、每一样本子图的第一分类概率向量和第二分类概率向量确定每一所述样本子图的目标分类概率向量。

在其他实施例中，所述第三确定子单元还用于：

将所述第一权值与每一所述样本子图的第一分类概率向量的乘积确定为每一样本子图的第一向量；

将所述第二权值与每一所述样本子图的第二分类概率向量的乘积确定为每一样本子图的第二向量；

将每一所述样本子图的第一向量与第二向量的和确定为每一样本子图的目标分类概率向量。

在其他实施例中，所述待处理图像和样本图像为病理图像，所述样本子图的分类信息用于表明所述样本子图是否属于病灶区域。

在其他实施例中，所述第一确定子单元还用于：

根据所述每一待处理子图的位置信息和分类结果确定所述待处理图像中的病灶区域的位置信息和病灶区域的面积；

根据所述病灶区域的面积确定疾病的危险等级；

将所述病灶区域的位置信息和所述危险等级确定为所述待处理图像的分析结果。

需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。

需要说明的是，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。

相应地，本发明实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本发明实施例提供的图像处理方法中的步骤。

相应地，本发明实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的图像处理方法的步骤。

相应地，本发明实施例提供一种计算机设备，图6为本发明实施例计算机设备的组成结构示意图，如图6所示，所述设备600包括：一个处理器601、至少一个通信总线602、用户接口603、至少一个外部通信接口604和存储器605。其中，通信总线602配置为实现这些组件之间的连接通信。其中，用户接口603可以包括显示屏，外部通信接口604可以包括标准的有线接口和无线接口。其中所述处理器601，配置为执行存储器中存储的图像处理程序，以实现上述实施例提供的图像处理方法的步骤。

以上计算机程序产品、计算机设备和计算机存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明计算机程序产品、计算机设备和计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像输入至经过训练得到的第一网络模型，得到所述待处理图像的分析结果，其中，所述第一网络模型为压缩的神经网络模型；

输出所述待处理图像的分析结果。

2.根据权利要求1中所述的方法，其特征在于，所述将所述待处理图像输入至经过训练得到的第一网络模型，得到所述待处理图像的分析结果，包括：

对所述待处理图像进行图像预分割，得到所述待处理图像中的第一区域图像；

将所述第一区域图像划分成预设大小的待处理子图；

将所述每一待处理子图输入所述第一网络模型，得到所述待处理图像的分析结果。

3.根据权利要求2中所述的方法，其特征在于，所述将所述每一待处理子图输入所述第一网络模型，得到所述待处理图像的分析结果，包括：

将所述每一待处理子图输入所述第一网络模型，得到所述每一待处理子图的分类结果；

根据所述每一待处理子图的位置信息和分类结果确定所述待处理图像的分析结果。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

根据获取的样本图像训练第二网络模型和第三网络模型；

将所述样本图像输入所述第二网络模型，得到输出结果；

根据所述输出结果对所述第三网络模型的参数进行调整，得到第一网络模型。

5.根据权利要求4中所述的方法，其特征在于，所述第二网络模型为未压缩的神经网络模型，第三网络模型为压缩的神经网络模型。

6.根据权利要求4中所述的方法，其特征在于，所述输出结果为每一所述样本子图在softmax层输出的第一分类概率向量，对应地，所述根据所述输出结果对所述第三网络模型的参数进行调整，得到第一网络模型，包括：

根据每一所述样本子图的分类信息和每一所述样本子图的第一分类概率向量确定每一所述样本子图的目标分类概率向量；

根据所述目标分类概率向量对所述第三网络模型的参数进行调整，得到第一网络模型。

7.一种图像处理装置，其特征在于，所述装置包括：第一获取模块、第一处理模块和第一输出模块，其中：

第一获取模块，用于获取待处理图像；

第一处理模块，用于将所述待处理图像输入至经过训练得到的第一网络模型，得到所述待处理图像的分析结果；其中，所述第一网络模型为压缩的神经网络模型；

第一输出模块，用于输出所述待处理图像的分析结果。

8.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至6任一项所述的方法步骤。

9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至6任一项所述的方法步骤。

10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至6任一项所述的方法步骤。