CN111160441A - 分类方法、计算机设备和存储介质 - Google Patents

Abstract

本发明涉及一种分类方法、计算机设备和存储介质。该方法包括：获取原始图像，并将原始图像输入至预设的疾病标签预测网络，得到中间输出结果，再将中间输出结果输入至预设的关键区域定位网络，得到原始图像中的关键区域的定位结果，然后将定位结果与原始图像进行组合，得到第一组合图像，最后将第一组合图像输入至与关键区域定位网络级联的下一个疾病标签预测网络，得到原始图像中关键区域的疾病分类结果。上述方法实现了对原始图像中关键区域的疾病类别诊断，相比于传统技术中需要人工勾画关键区域，或根据医者的经验确定关键区域对该关键区域进行疾病诊断的方法，本申请提供的分类方法极大的提高了关键区域的疾病分类结果的分类准确性。

Description

分类方法、计算机设备和存储介质

技术领域

本申请涉及医疗图像处理技术领域，尤其涉及一种分类方法、计算机设备和存储介质。

背景技术

随着医学成像技术的发展，越来越多的成像方法被广泛应用于各种类型的疾病诊断过程中，从而使对计算机辅助检测(computer aided diagnosis，CAD)的需求变得越来越迫切。

目前，作为CAD方法的重要步骤：对于给定患者的医疗影像，自动定位其与正常人群图像的差异，即异常区域，可以为医生的诊断提供指导，或作为后续CAD系统的辅助信息，具有很高的临床意义。目前，利用CAD自动定位的方法主要包括：预先基于人工手动勾画异常区域的样本图像训练得到分割模型，再通过扫描设备得到患者的医疗影像，然后利用训练好的分割模型对该医疗影像中的异常区域进行分割，从而得到显示异常区域的图像，进而使医生通过分析图像上异常区域的位置或性质对患者的疾病进行诊断。

但是，在实际应用中，上述人工手动勾画的过程通常需要临床经验丰富的医生完成，而不同的标注医生的标注结果存在误差。另外，很多疾病的并发机制很难明确，导致医生很难对差异区域进行标注。因此，利用上述标注方法训练得到的分割模型质量低，进而会导致上述利用训练好的分割模型对差异区域进行定位的方法存在准确性低的问题，并且导致后期根据准确性极差的定位结果进行诊断时，存在难以诊断或诊断准确性低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效提高分类准确性的分类方法、计算机设备和存储介质。

第一方面，一种分类方法，所述方法包括：

获取原始图像；

将原始图像输入至预设的疾病标签预测网络，得到中间输出结果；中间输出结果为疾病标签预测网络中卷积层的输出结果；

将中间输出结果输入至预设的关键区域定位网络，得到原始图像中的关键区域的定位结果；

将定位结果与原始图像进行组合，得到第一组合图像；

将第一组合图像输入至与关键区域定位网络级联的下一个疾病标签预测网络，得到原始图像中关键区域的疾病分类结果。

第二方面，一种分类装置，所述装置包括：

获取模块，用于获取原始图像；

第一分类模块，用于将所述原始图像输入至预设的疾病标签预测网络，得到中间输出结果；所述中间输出结果为所述疾病标签预测网络中卷积层的输出结果；

定位模块，用于将所述中间输出结果输入至预设的关键区域定位网络，得到所述原始图像中的关键区域的定位结果；

组合模块，用于将所述定位结果与所述原始图像进行组合，得到第一组合图像；

第二分类模块，用于将所述第一组合图像输入至与所述关键区域定位网络级联的下一个疾病标签预测网络，得到所述原始图像中关键区域的疾病分类结果。

第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面任一实施例所述的分类方法。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一实施例所述的分类方法。

本申请提供的一种分类方法、计算机设备和存储介质，通过获取原始图像，并将原始图像输入至预设的疾病标签预测网络，得到中间输出结果，再将中间输出结果输入至预设的关键区域定位网络，得到原始图像中的关键区域的定位结果，然后将定位结果与原始图像进行组合，得到第一组合图像，最后将第一组合图像输入至与关键区域定位网络级联的下一个疾病标签预测网络，得到原始图像中关键区域的疾病分类结果。上述方法实现了对原始图像中关键区域的疾病类别诊断，其中，利用关键区域定位网络得到关键区域的定位结果与利用疾病标签预测网络得到关键区域的疾病分类结果相互指导，即关键区域的定位结果为关键区域的疾病分类结果提供依据，相比于传统技术中需要人工勾画关键区域，或根据医者的经验确定关键区域，再基于勾画或确定的关键区域对该关键区域进行疾病诊断的方法，由于关键区域定位不准确容易导致的疾病诊断不准确，本申请提供的分类方法极大的提高了关键区域的疾病分类结果的分类准确性。

附图说明

图1为一个实施例提供的一种计算机设备的内部结构示意图；

图2为一个实施例提供的一种分类方法的流程图；

图3为一个实施例提供的一种分类方法的流程图；

图3A为一个实施例提供的一种分类网络的结构示意图；

图3B为一个实施例提供的一种分类网络的结构示意图；

图3C为一个实施例提供的一种疾病标签预测网络的结构示意图；

图4为一个实施例提供的一种分类方法的流程图；

图5为图2实施例S103的一种实现方式的流程图；

图6为图5实施例中S301的另一种实现方式的流程图；

图7为一个实施例提供的一种关键区域定位网络的结构示意图；

图8为一个实施例提供的一种分类网络的结构示意图；

图9为一个实施例提供的一种分类网络的结构示意图；

图10为一个实施例提供的一种训练方法的流程图；

图11为一个实施例提供的另一种训练方法的流程图；

图12为一个实施例提供的一种训练网络的结构示意图；

图13为一个实施例提供的另一种训练网络的结构示意图；

图14为一个实施例提供的一种分类装置的结构示意图；

图15为一个实施例提供的一种训练装置的结构示意图；

图16为一个实施例提供的一种分类装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请提供的分类方法，可以应用于如图1所示的计算机设备中。该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为一个实施例提供的一种分类方法的流程图，该方法的执行主体为图1中的计算机设备，该方法涉及的是计算机设备对输入的原始图像中的关键区域进行定位，并基于定位结果进行疾病分类的具体过程。如图2所示，该方法具体包括以下步骤：

S101、获取原始图像。

其中，原始图像表示当前需要进行分析和处理的图像，为一种可以包含脑结构或其它类型形态结构的图像，具体可以包括脑膜血管、大脑、小脑、脑干、颅神经等多种组织器官的形态结构。该原始图像可以包括但不限于常规CT图像、MRI图像、PET-MRI图像等，本实施例对此不做限定。在实际应用中，计算机设备可以通过连接扫描设备对人体的部分结构进行扫描得到原始图像。可选的，计算机设备也可以直接从数据库中或从互联网上下载得到包含人体的部分结构的原始图像，对此本实施例不做限制。

S102、将原始图像输入至预设的疾病标签预测网络，得到中间输出结果；中间输出结果为疾病标签预测网络中卷积层的输出结果。

其中，疾病标签预测网络可以为一种深度卷积神经网络，也可以为其它类型的神经网络或其它机器学习网络，具体用于对输入的图像中包含的形态结构进行疾病类别的预测，以得到指示疾病类别的分类结果。具体的，疾病标签预测网络可以包括多个卷积层，以及与最后一个卷积层连接的全连接层，其中，各卷积层以级联的形式连接，第一个卷积层用于提取输入的图像的特征，其它卷积层用于从上一个卷积层输出的特征图中提取特征，全连接层用于对最后一个卷积层输出的特征图进行分类，得到分类结果。中间输出结果为疾病标签预测网络中每层卷积层输出的结果，相当于每层卷积层输出的特征图。

本实施例中，当计算机设备获取到原始图像时，可以进一步的将该原始图像输入至预先训练好的疾病标签预测网络，在利用该疾病标签预测网络对输入的原始图像进行疾病类别的预测过程中，从该疾病标签预测网络中每层卷积层的输出结果获取中间输出结果，例如，若一层卷积层的输出结果为原始图像的特征图，则中间输出结果即为该原始图像的特征图。

S103、将中间输出结果输入至预设的关键区域定位网络，得到原始图像中的关键区域的定位结果。

其中，关键区域定位网络可以为一种深度卷积神经网络，也可以为其它类型的神经网络或其它机器学习网络，具体用于对输入的图像中包含的形态结构中的关键区域进行定位，以得到该形态结构中关键区域的位置信息。

本实施例中，当计算机设备获取到中间输出结果时，可以进一步的将该中间输出结果输入至预先训练好的关键区域定位网络，实现对原始图像中的关键区域进行定位，得到原始图像中的关键区域的定位结果，该定位结果可以包括关键区域的位置坐标，也可以包括关键区域的大小。

S104、将定位结果与原始图像进行组合，得到第一组合图像。

当计算机设备得到关键区域定位网络输出的定位结果后，可以进一步的将该定位结果与原始图像进行组合，得到组合后的图像，即第一组合图像，以便之后基于该第一组合图像进行图像处理。

S105、将第一组合图像输入至与关键区域定位网络级联的下一个疾病标签预测网络，得到原始图像中关键区域的疾病分类结果。

本实施例涉及的分类方法中需要包含至少一个关键区域定位网络，或至少两个疾病标签预测网络，在该种应用下，计算机设备基于S101-104的方法得到第一组合图像时，可以将该第一组合图像输入至与当前的关键区域定位网络级联的下一个疾病标签预测网络，使下一个疾病标签预测网络对输入的第一组合图像中的关键区域的疾病类别进行预测，从而得到原始图像中关键区域的疾病分类结果。

本实施例提供的一种分类方法，通过获取原始图像，并将原始图像输入至预设的疾病标签预测网络，得到中间输出结果，再将中间输出结果输入至预设的关键区域定位网络，得到原始图像中的关键区域的定位结果，然后将定位结果与原始图像进行组合，得到第一组合图像，最后将第一组合图像输入至与关键区域定位网络级联的下一个疾病标签预测网络，得到原始图像中关键区域的疾病分类结果。上述方法实现了对原始图像中关键区域的疾病类别诊断，其中，利用关键区域定位网络得到关键区域的定位结果与利用疾病标签预测网络得到关键区域的疾病分类结果相互指导，即关键区域的定位结果为关键区域的疾病分类结果提供依据，相比于传统技术中需要人工勾画关键区域，或根据医者的经验判断关键区域的位置，再基于勾画或医者确定的关键区域的位置对该关键区域进行疾病诊断的方法，由于关键区域定位不准确容易导致的疾病难以诊断或疾病诊断不准确，本申请提供的分类方法极大的提高了关键区域的疾病分类结果的分类准确性，即关键区域疾病类别诊断的准确性。另外，本申请提供的分类方法不仅实现了对原始图像中关键区域的疾病类别诊断，还实现了对原始图像中关键区域的定位。

在实际应用中，上述实施例所述的分类方法还可以包括迭代分类的过程，如图3所示，图2实施例所述方法还包括：

S201、迭代步骤：

该步骤包括如图4所示的迭代步骤，该步骤包括如下：

S2011、将原始图像和上一个关键区域定位网络输出的定位结果进行组合，得到第二组合图像。

S2012、将第二组合图像输入至当前的疾病标签预测网络，得到当前的中间输出结果。

S2013、将当前的中间输出结果输入至当前的关键区域定位网络，得到当前的定位结果。

S202、重复执行迭代步骤，直至进行到最后一个疾病标签预测网络，并将最后一个疾病标签预测网络输出的疾病分类结果确定为原始图像中的关键区域的疾病分类结果。

示例性说明上述S201的迭代步骤，本申请提供了一种应用上述迭代步骤的分类网络，即，如图3A所示的分类网络，将原始图像输入至该分类网络中的第一个疾病标签预测网络，得到第一个中间输出结果，再将该中间输出结果输入至第一个关键区域定位网络，得到第一个定位结果，然后将该定位结果与原始图像进行组合，得到第一个组合后的图像，之后将组合后的图像输入至该分类网络中的第二个疾病标签预测网络，得到第二个中间输出结果，并继续将第二个中间输出结果输入至第二个关键区域定位网络，得到第二个定位结果，进一步的继续将该第二个定位结果与原始图像进行组合，得到第二个组合后的图像，之后将组合后的图像输入至该分类网络中的第三个疾病标签预测网络，得到第三个中间输出结果，并继续将第三个中间输出结果输入至第三个关键区域定位网络，得到第三个定位结果，……，一直到分类网络中倒数第二个关键区域定位网络输出定位结果时，计算机设备将该定位结果和原始图像进行组合，得到最后一个组合后的图像，之后将最后一个组合后的图像输入至该分类网络中的最后一个疾病标签预测网络，从而得到最后的分类结果，即关键区域的疾病分类结果。如图3B所示的分类网络，也适用于上述迭代步骤，图3B所示的分类网络中的最后一个关键区域定位网络可以输出最后的定位结果，且该定位结果为关键区域的定位结果。

上述实施例中，分类网络中的每一个关键区域定位网络均是基于上一个疾病标签预测网络输出的中间输出结果得到定位结果，而每一个疾病标签预测网络又均是基于上一个关键区域定位网络输出的定位结果得到疾病分类结果，关键区域定位网络输出的结果与疾病标签预测网络输出的结果在整个迭代过程中同步优化和相互指导，从而极大的提升了最终上述分类网络输出的疾病分类结果的分类精度和定位结果的定位精度。

在一个实施例中，本申请提供了上述S102的另一种实现方式，具体包括步骤：将原始图像输入至疾病标签预测网络，得到疾病标签预测网络中每层卷积层输出的中间输出结果。

本实施例涉及中间输出结果的获取过程，并应用在上述疾病标签预测网络包括多个卷积层的场景，例如，如图3C所示的疾病标签预测网络的结构示意图，该疾病标签预测网络包括4通道的卷积层、16通道的卷积层、32通道的卷积层、64通道的卷积层、128通道的卷积层、256通道的卷积层、256通道的全连接层、2通道的全连接层。本实施例涉及的中间输出结果可以是各卷积层输出的结果。

本实施例中，计算机设备获取到原始图像，并将该原始图像输入至如图3C所示的疾病标签预测网络时，该疾病标签预测网络的第一个4通道的卷积层对原始图像进行特征提取，得到4通道的特征图，以及梯度传播时的梯度图，再进一步的将4通道的特征图输入至第二个16通道的卷积层，得到16通道的特征图和梯度传播时的梯度图，依次类推得到各卷积层对应通道数的特征图和梯度传播时的梯度图，则上述中间输出结果即为各卷积层输出的各通道的特征图和梯度传播时的梯度图。

当上述中间输出结果包括疾病标签预测网络中所有卷积层对应的各通道的特征图时，基于该应用场景，本申请提供了上述S103的一种实现方式，上述S103“将中间输出结果输入至预设的关键区域定位网络，得到原始图像中的关键区域的定位结果”具体包括步骤：将所有卷积层对应的各通道的特征图进行相加取平均处理，得到关键区域的定位结果。

本实施例涉及对所有卷积层对应的各通道的特征图进行处理的一种方式，即，当计算机设备从疾病标签预测网络中各层卷积层的输出结果中得到各通道的特征图时，可以先将各卷积层输出的各通道的特征图进行相加处理，然后再进行求平均处理，最后将相加求平均处理后的特征图确定为关键区域的定位结果。

在实际应用中，上述特征图中各体素的值代表输入图像中疾病相关特征在各自对应位置上的响应情况，梯度图中各体素无显著意义，但每张梯度图的全局平均值表示该梯度图对应特征图对梯度传播(即参数更新)的重要程度。因此，可以本实施例中可以利用上述梯度图和对应的特征图作为病理区域定位的重要依据。

基于上述说明，本申请提供的中间输出结果还可以包括疾病标签预测网络中所有卷积层对应的各通道的特征图和梯度传播时的梯度图，基于该应用场景，本申请提供了上述S103的另一种实现方式，如图5所示，上述S103“将中间输出结果输入至预设的关键区域定位网络，得到原始图像中的关键区域的定位结果”具体包括步骤：

S301、根据各通道的梯度图，对各通道的特征图进行加权处理，得到每层卷积层对应的各通道的加权特征图。

本实施例涉及对所有卷积层对应的各通道的特征图进行处理的一种方式，即，当计算机设备从疾病标签预测网络中各层卷积层输出的结果中得到各卷积层输出的各通道的特征图和梯度图时，可以先根据各通道的梯度图得到加权各通道的特征图时所需的加权值，再利用各通道的加权值对各通道的特征图进行加权处理，得到加权后的各通道的特征图，即各通道的加权特征图。

S302、将所有卷积层对应的各通道的加权特征图进行相加取平均处理，得到关键区域的定位结果。

当计算机设备得到各通道的加权特征图时，可以先将各通道的加权特征图进行相加处理，然后再进行求平均处理，最后将相加求平均处理后的加权特征图确定为关键区域的定位结果。

图6为图5实施例中S301的另一种实现方式的流程图，如图6所示，上述S301“根据各通道的所述梯度图，对各通道的特征图进行加权处理，得到每层卷积层对应的各通道的加权特征图”，包括：

S401、对各通道的梯度图进行全局平均池化处理，得到各通道的池化结果。

本实施例涉及根据各通道的梯度图得到加权各通道的特征图时所需的加权值的具体方式，即，当计算机设备得到各通道的梯度图时，可以对各通道的梯度图进行全局平均池化处理，得到各通道的池化结果。例如，如图3C所示的4通道的卷积层，该卷积层输出4个通道的特征图和梯度图，对每个通道的梯度图进行全局平均池化处理，得到每个通道对应的池化结果，最后4个通道的梯度图经过全局平均池化处理后，对应得到4个通道的池化结果。

S402、将各通道的池化结果作为各通道的权重，对各通道的特征图进行加权处理，得到每层卷积层对应的各通道的加权特征图。

当计算机设备得到各通道的池化结果时，即可将各通道的池化结果作为各通道的特征图的权重，并利用该权重实现对各通道的特征图进行加权处理，从而得到每层卷积层对应的各通道的加权特征图。例如，如图3C所示的4通道的卷积层，该卷积层输出4个通道的特征图和梯度图，对4个通道的梯度图进行全局平均池化处理，得到4个通道对应的池化结果，再将这4个通道对应的池化结果作为权重，对这4个通道的特征图进行加权处理，得到该4个通道卷积层对应的4个通道的加权特征图。

基于上述图5和图6所述的方法，本申请提供了一种应用上述方法的关键区域定位网络，如图7所示，该关键区域定位网络包括：多个池化模块、多个加权处理模块、相加取平均模块，其中，每个池化模块用于对对应的卷积层输出的各通道的梯度图进行全局平均池化处理，得到该卷积层对应的各通道的池化结果；每个加权处理模块用于将池化模块输出的各通道的池化结果作为权重，对卷积层输出的各通道的特征图进行加权处理，得到该层卷积层对应的各通道的加权特征图；相加取平均模块用于对各加权处理模块输出的各通道的加权特征图进行相加求平均处理，从而得到关键区域的定位结果。

基于上述图2-图6实施例所述的分类方法，本申请还提供了两种分类网络：第一种分类网络，如图8所示，包括：第一分类子网络、组合模块、第二分类子网络。其中，第一分类子网络包括第一疾病标签预测网络和第一关键区域定位网络，第一疾病标签预测网络用于根据输入的原始图像得到第一中间输出结果和第一分类结果；第一关键区域定位网络用于根据第一中间输出结果得到第一定位结果；组合模块用于对原始图像和第一定位结果进行组合，得到组合后的图像；第二分类子网络包括第二疾病标签预测网络和第二关键区域定位网络，第二疾病标签预测网络用于根据输入的组合后的图像得到第二中间输出结果和第二分类结果；第二关键区域定位网络用于根据第二中间输出结果得到第二定位结果，上述第二分类结果即为本分类网络输出的关键区域的疾病分类结果。

第二种分类网络，如图9所示，包括：多组分类子网络和多个组合模块，每组分类子网络包括疾病标签预测网络和关键区域定位网络。其中，第一组分类子网络用于根据输入的原始图像得到第一中间输出结果和第一定位结果，第一个组合模块用于对原始图像和第一定位结果进行组合，得到第一个组合后的图像，第二组分类子网络用于根据第一个组合后的图像得到第二定位结果，第一个组合模块用于对原始图像和第二定位结果进行组合，得到第二个组合后的图像，第三组分类子网络用于根据第二个组合后的图像得到第四定位结果，……最后一个组合模块用于原始图像和上一组分类子网络输出的上一个定位结果进行组合，得到最后一个组合后的图像，最后一组分类子网络用于根据最后一个组合后的图像得到最终的分类结果和定位结果，并将最终的分类结果确定为原始图像中关键区域的疾病分类结果，即本分类网络输出的分类结果。

上述图2-图9为分类方法的实现步骤和网络结构，下面以图10-图13为例描述训练上述疾病标签预测和关键区域定位网络的训练步骤和训练网络结构。

图10为一个实施例提供的一种训练方法的流程图，该方法的执行主体为图1中的计算机设备，该方法涉及的是计算机设备对输入的样本图像进行训练，得到训练好的疾病标签预测和关键区域定位网络的具体过程。如图10所示，该方法包括：

S501、获取多个样本图像；样本图像包含各关键区域对应的疾病类别标签。

其中，当计算机设备获取到用于训练的样本影像时，可以进一步的在样本影像上标记出图像中关键区域的疾病类别，为样本影像添加关键区域对应的疾病类别标签，形成训练时使用的样本图像。疾病类别标签可以具体使用数字、字母、文字等表示，例如，正常样本可以使用NC表示，阿尔兹海默症可以使用AD表示，对此本实施例不做限定。

S502、以各关键区域对应的疾病类别标签为监督信息，将多个样本图像输入至待训练的疾病标签预测网络，并将待训练的疾病标签预测网络的输出结果输入至待训练的关键区域定位网络，训练待训练的疾病标签预测网络和关键区域定位网络，直到待训练的关键区域定位网络收敛，得到疾病标签预测和关键区域定位网络。

本实施例涉及具体的训练过程，即，当计算机设备获取到样本图像时，可以将该样本图像先输入至待训练的疾病标签预测网络，得到输出结果，再将该输出结果输入至待训练的关键区域定位网络，得到定位结果，然后根据关键区域定位网络的收敛情况同时调整待训练的疾病标签预测网络的参数和待训练的关键区域定位网络的参数，直到待训练的关键区域定位网络收敛为止，完成训练，得到上述实施例使用的疾病标签预测和关键区域定位网络。

图11为一个实施例提供的另一种训练方法的流程图，如图11所示，该方法包括：

S601、获取多个样本图像；样本图像包含各关键区域对应的疾病类别标签。

本实施涉及的步骤与上述S501所述的步骤基本相同，详细内容请参见前述说明，在此不重复累赘说明。

S602、以各关键区域对应的疾病类别标签为监督信息，将多个样本图像输入至待训练的疾病标签预测网络，初次训练待训练的疾病标签预测网络。直到待训练的疾病标签预测网络收敛，得到中间疾病标签预测网络。

本实施例涉及疾病标签预测网络的具体训练过程，即，当计算机设备获取到样本图像时，可以将该样本图像先输入至待训练的疾病标签预测网络，初次训练待训练的疾病标签预测网络，根据待训练的疾病标签预测网络的收敛情况调整待训练的疾病标签预测网络的参数，直到待训练的疾病标签预测网络收敛为止，完成疾病标签预测网络的初次训练，得到中间疾病标签预测网络。

S603、以各关键区域对应的疾病类别标签为监督信息，将多个样本图像输入至待训练的中间疾病标签预测网络，并将待训练的中间疾病标签预测网络的输出结果输入至待训练的关键区域定位网络，直到待训练的关键区域定位网络收敛，得到疾病标签预测和关键区域定位网络。

当计算机设备完成待训练的疾病标签预测网络的初次训练，并得到中间疾病标签预测网络时，可以进一步的将样本图像输入至待训练的中间疾病标签预测网络，得到该中间疾病标签预测网络的输出结果，再将该输出结果输入至待训练的关键区域定位网络，并根据关键区域定位网络的收敛情况调整待训练的中间疾病标签预测网络的参数，以及待训练的关键区域定位网络的参数，直到待训练的关键区域定位网络收敛为止，完成训练，得到上述实施例使用的疾病标签预测和关键区域定位网络。

基于上述图10-图11实施例所述的训练方法，本申请提供了两种训练网络：

第一种训练网络，如图12所示，该训练网络包括：待训练的疾病标签预测网络和待训练的关键区域定位网络，关于待训练的疾病标签预测网络和待训练的关键区域定位网络的具体说明，以及利用该训练网络的训练方法具体可参见前述说明，在此不重复累赘说明。

第二种训练网络，如图13所示，该训练网络为一种级联训练网络，具体包括：多个训练的疾病标签预测网络、多个组合模块，多个待训练的关键区域定位网络。关于待训练的疾病标签预测网络和待训练的关键区域定位网络的具体说明，以及利用该训练网络的训练方法具体可参见前述说明，在此不重复累赘说明。

在上述实施例所述的训练过程中，由于仅使用各关键区域对应的疾病类别标签为监督信息，不需要人工勾画关键区域，再基于关键区域进行疾病类别诊断，极大的降低了人力成本的同时，还可以克服因人工勾画关键区域的不准确，导致定位的关键区域不准确，进而导致基于不准确的关键区域进行疾病诊断时，出现难以诊断或诊断不准确的问题。

应该理解的是，虽然图2-11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-11中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行。

在一个实施例中，如图14所示，提供了一种分类装置，包括：获取模块11、第一分类模块12、定位模块13、组合模块14、第二分类模块15，其中：

获取模块11，用于获取原始图像；

第一分类模块12，用于将所述原始图像输入至预设的疾病标签预测网络，得到中间输出结果；所述中间输出结果为所述疾病标签预测网络中卷积层的输出结果；

定位模块13，用于将所述中间输出结果输入至预设的关键区域定位网络，得到所述原始图像中的关键区域的定位结果；

组合模块14，用于将所述定位结果与所述原始图像进行组合，得到第一组合图像；

第二分类模块15，用于将所述第一组合图像输入至与所述关键区域定位网络级联的下一个疾病标签预测网络，得到所述原始图像中关键区域的疾病分类结果。

关于分类装置的具体限定可以参见上文中对于一种分类方法的限定，在此不再赘述。上述分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，在一个实施例中，如图15所示，提供了一种训练装置，该训练装置包括：第一获取样本模块21和第一训练模块22，用于；

第一获取样本模块21，用于获取多个所述样本图像；所述样本图像包含各关键区域对应的疾病类别标签；

第一训练模块22，用于以所述各关键区域对应的疾病类别标签为监督信息，将多个所述样本图像输入至待训练的疾病标签预测网络，并将所述待训练的疾病标签预测网络的输出结果输入至待训练的所述关键区域定位网络，训练所述待训练的疾病标签预测网络和所述关键区域定位网络，直到所述待训练的关键区域定位网络收敛，得到所述疾病标签预测和所述关键区域定位网络。

在一个实施例中，在一个实施例中，如图16所示，提供了另一种训练装置，该训练装置包括：第二获取样本模块23、第二训练模块24和第三训练模块25，其中：

第二获取样本模块23，用于获取多个所述样本图像；所述样本图像包含各关键区域对应的疾病类别标签；

第二训练模块24，用于以所述各关键区域对应的疾病类别标签为监督信息，将多个所述样本图像输入至待训练的疾病标签预测网络，初次训练所述待训练的疾病标签预测网络，直到所述待训练的疾病标签预测网络收敛，得到中间疾病标签预测网络；

第三训练模块25，以所述各关键区域对应的疾病类别标签为监督信息，将多个所述样本图像输入至待训练的中间疾病标签预测网络，并将所述待训练的中间疾病标签预测网络的输出结果输入至待训练的关键区域定位网络，直到所述待训练的关键区域定位网络收敛，得到所述疾病标签预测和所述关键区域定位网络。

关于训练装置的具体限定可以参见上文中对于一种训练方法的限定，在此不再赘述。上述训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取原始图像；

将原始图像输入至预设的疾病标签预测网络，得到中间输出结果；中间输出结果为疾病标签预测网络中卷积层的输出结果；

将中间输出结果输入至预设的关键区域定位网络，得到原始图像中的关键区域的定位结果；

将定位结果与原始图像进行组合，得到第一组合图像；

将第一组合图像输入至与关键区域定位网络级联的下一个疾病标签预测网络，得到原始图像中关键区域的疾病分类结果。

上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时还实现以下步骤：

获取原始图像；

将原始图像输入至预设的疾病标签预测网络，得到中间输出结果；中间输出结果为疾病标签预测网络中卷积层的输出结果；

将中间输出结果输入至预设的关键区域定位网络，得到原始图像中的关键区域的定位结果；

将定位结果与原始图像进行组合，得到第一组合图像；

将第一组合图像输入至与关键区域定位网络级联的下一个疾病标签预测网络，得到原始图像中关键区域的疾病分类结果。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种分类方法，其特征在于，所述方法包括：

获取原始图像；

将所述原始图像输入至预设的疾病标签预测网络，得到中间输出结果；所述中间输出结果为所述疾病标签预测网络中卷积层的输出结果；

将所述中间输出结果输入至预设的关键区域定位网络，得到所述原始图像中的关键区域的定位结果；

将所述定位结果与所述原始图像进行组合，得到第一组合图像；

将所述第一组合图像输入至与所述关键区域定位网络级联的下一个疾病标签预测网络，得到所述原始图像中关键区域的疾病分类结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

迭代步骤：

将所述原始图像和上一个所述关键区域定位网络输出的定位结果进行组合，得到第二组合图像；

将所述第二组合图像输入至当前的疾病标签预测网络，得到当前的中间输出结果；

将所述当前的中间输出结果输入至当前的关键区域定位网络，得到当前的定位结果；

重复执行所述迭代步骤，直至进行到最后一个疾病标签预测网络，并将所述最后一个疾病标签预测网络输出的疾病分类结果确定为所述原始图像中的关键区域的疾病分类结果。

3.根据权利要求1所述的方法，其特征在于，所述将所述原始图像输入至预设的疾病标签预测网络，得到中间输出结果，包括：

将所述原始图像输入至所述疾病标签预测网络，得到所述疾病标签预测网络中每层卷积层输出的所述中间输出结果。

4.根据权利要求3所述的方法，其特征在于，所述中间输出结果包括所述疾病标签预测网络中所有卷积层对应的各通道的特征图，所述将所述中间输出结果输入至预设的关键区域定位网络，得到所述原始图像中的关键区域的定位结果，包括：

将所述所有卷积层对应的各通道的特征图进行相加取平均处理，得到所述关键区域的定位结果。

5.根据权利要求3所述的方法，其特征在于，所述中间输出结果包括所述疾病标签预测网络中所有卷积层对应的各通道的特征图和梯度图，所述将所述中间输出结果输入至预设的关键区域定位网络，得到所述原始图像中的关键区域的定位结果，包括：

根据各通道的所述梯度图，对各通道的所述特征图进行加权处理，得到每层卷积层对应的各通道的加权特征图；

将所有卷积层对应的各通道的加权特征图进行相加取平均处理，得到所述关键区域的定位结果。

6.根据权利要求5所述的方法，其特征在于，所述根据各通道的所述梯度图，对各通道的所述特征图进行加权处理，得到每层卷积层对应的各通道的加权特征图，包括：

对各通道的所述梯度图进行全局平均池化处理，得到各通道的池化结果；

将各通道的所述池化结果作为各通道的权重，对各通道的所述特征图进行加权处理，得到每层卷积层对应的各通道的加权特征图。

7.根据权利要求1所述的方法，其特征在于，训练所述疾病标签预测和所述关键区域定位网络的方法，包括：

获取多个所述样本图像；所述样本图像包含各关键区域对应的疾病类别标签；

以所述各关键区域对应的疾病类别标签为监督信息，将多个所述样本图像输入至待训练的疾病标签预测网络，并将所述待训练的疾病标签预测网络的输出结果输入至待训练的所述关键区域定位网络，训练所述待训练的疾病标签预测网络和所述关键区域定位网络，直到所述待训练的关键区域定位网络收敛，得到所述疾病标签预测和所述关键区域定位网络。

8.根据权利要求1所述的方法，其特征在于，训练所述疾病标签预测和所述关键区域定位网络的方法，包括：

获取多个所述样本图像；所述样本图像包含各关键区域对应的疾病类别标签；

以所述各关键区域对应的疾病类别标签为监督信息，将多个所述样本图像输入至待训练的疾病标签预测网络，初次训练所述待训练的疾病标签预测网络，直到所述待训练的疾病标签预测网络收敛，得到中间疾病标签预测网络；

以所述各关键区域对应的疾病类别标签为监督信息，将多个所述样本图像输入至待训练的中间疾病标签预测网络，并将所述待训练的中间疾病标签预测网络的输出结果输入至待训练的关键区域定位网络，直到所述待训练的关键区域定位网络收敛，得到所述疾病标签预测和所述关键区域定位网络。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images