CN112287993A - 模型生成方法、图像分类方法、装置、电子设备及介质 - Google Patents

Abstract

本发明实施例公开了一种模型生成方法、图像分类方法、装置、电子设备及介质。该模型生成方法包括：获取阳性样本和阴性样本，其中，每个阳性样本中至少一层CT图像的图像标签是阳性，且每个阴性样本中各层CT图像的图像标签均是阴性；将阳性样本和阴性样本作为训练样本，基于训练样本对原始分类模型进行训练，生成图像分类模型，其中，原始分类模型可包括特征提取网络、用于根据特征提取网络的输出结果重新标定阳性样本中各CT图像的图像标签的标签重定网络和图像分类网络，图像分类模型包括特征提取网络和图像分类网络。本发明实施例的技术方案，达到了降低模型生成过程中图像标注的工作量的效果。

Description

模型生成方法、图像分类方法、装置、电子设备及介质

技术领域

本发明实施例涉及医学图像处理技术领域，尤其涉及一种模型生成方法、图像分类方法、装置、电子设备及介质。

背景技术

电子计算机断层扫描(Computed Tomography，CT)技术基于精确准直的X线束、γ射线、超声波等等物质、与灵敏度极高的探测器一同围绕人体的某部位完成一个接一个的断面扫描，具有扫描时间短、图像清晰等诸多优点，是医学检查领域中应用较为广泛的一种检查手段。

在基于CT技术获取到CT图像后，可以将其输入至已生成的(即，已训练完成的)图像分类模型中，并根据该图像分类模型的输出结果确定该CT图像中是否存在感兴趣区域(Region of Interest，ROI)。

但是，现有的图像分类模型的生成过程需要依赖于经由人工精确标注后的CT图像，这一精确标注过程是人工对CT图像中的ROI进行精确标注的过程，显然，模型生成过程中图像标注的工作量较大。

发明内容

本发明实施例提供了一种模型生成方法、图像分类方法、装置、电子设备及介质，解决了模型生成过程中图像标注的工作量较大的问题。

第一方面，本发明实施例提供了一种模型生成方法，可以包括：获取阳性样本和阴性样本，其中，每个阳性样本中至少一层CT图像的图像标签是阳性，且每个阴性样本中各层CT图像的图像标签均是阴性；将阳性样本和阴性样本作为训练样本，基于训练样本对原始分类模型进行训练，生成图像分类模型；其中，原始分类模型包括特征提取网络、用于根据特征提取网络的输出结果重新标定阳性样本中各CT图像的图像标签的标签重定网络和图像分类网络，图像分类模型包括特征提取网络和图像分类网络。

可选的，基于训练样本对原始分类模型进行训练，可以包括：将训练样本输入至特征提取网络中，分别得到阳性样本中各CT图像的第一图像特征和阴性样本中各CT图像的第二图像特征；将各第一图像特征和各第二图像特征输入至标签重定网络，得到阳性样本中各CT图像的重定标签；将各第一图像特征输入至图像分类网络中，并根据图像分类网络的输出结果以及与各第一图像特征分别对应的重定标签，对原始分类模型中的各网络参数进行调整。

可选的，标签重定网络可以通过如下步骤重新标定阳性样本中各CT图像的图像标签：分别获取各第一图像特征构成的第一特征集合、以及各第二图像特征构成的第二特征集合，并根据各第一图像特征和各第二图像特征确定第一特征集合和第二特征集合间的Hausdorff距离，确定Hausdorff距离在阳性样本的各CT图像中对应的当前图像；针对阳性样本中的每层CT图像，确定当前图像的第一图像特征和CT图像的第一图像特征间的相距距离，并根据相距距离和Hausdorff距离重新标定CT图像的图像标签，将重新标定后的图像标签作为重定标签进行输出。

可选的，确定第一特征集合和第二特征集合间的Hausdorff距离，确定Hausdorff距离在阳性样本的各CT图像中对应的当前图像，可以包括：分别确定第二特征集合到第一特征集合的第一Hausdorff距离和第一特征集合到第二特征集合的第二Hausdorff距离，并确定第一Hausdorff距离在阳性样本的各CT图像中对应的第一当前图像、以及第二Hausdorff距离在阳性样本的各CT图像中对应的第二当前图像；相应的，确定当前图像的第一图像特征和CT图像的第一图像特征间的相距距离，并根据相距距离和Hausdorff距离重新标定CT图像的图像标签，可以包括：确定第一当前图像的第一图像特征以及CT图像的第一图像特征间的第一相距距离，并根据第一相距距离和第二Hausdorff距离重新标定CT图像的图像标签；或者，确定第二当前图像的第一图像特征以及CT图像的第一图像特征间的第二相距距离，并根据第一相距距离和第二Hausdorff距离、以及第二相距距离和第一Hausdorff距离，重新标定CT图像的图像标签。

可选的，在上述任一方法的基础上，原始分类模型还可包括用于根据标签重定网络的输出结果分别确定阳性样本中的各CT图像的标签权重的权重确定网络；相应的，根据图像分类网络的输出结果对原始分类模型中的各网络参数进行调整，可以包括：根据图像分类网络的输出结果得到阳性样本中各CT图像的预测标签，并根据阳性样本中各CT图像的预测标签、重定标签以及标签权重对原始分类模型中的各网络参数进行调整。

可选的，权重确定网络可以通过如下步骤分别确定阳性样本中各CT图像的标签权重：针对阳性样本中的每层CT图像，从第一Hausdorff距离和第二Hausdorff距离中筛选出目标Hausdorff距离，并确定目标Hausdorff距离在阳性样本的各CT图像中对应的目标当前图像；确定目标当前图像的第一图像特征以及CT图像的第一图像特征间的目标相距距离；若CT图像的重定标签是阳性，则根据目标相距距离和第一Hausdorff距离确定CT图像的标签权重，否则根据目标相距距离和第二Hausdorff距离确定CT图像的标签权重。

第二方面，本发明实施例还提供了一种图像分类方法，可以包括：获取待分类图像和按照本发明任意实施例提供的模型生成方法生成的图像分类模型，待分类图像包括多层CT图像；将各层CT图像依次输入至图像分类模型中，并根据图像分类模型的输出结果得到待分类图像和/或各层CT图像的分类结果。

第三方面，本发明实施例还提供了一种模型生成装置，可以包括：

样本获取模块，用于获取阳性样本和阴性样本，其中，每个阳性样本中至少一层CT图像的图像标签是阳性，且每个阴性样本中各层CT图像的图像标签均是阴性；模型生成模块，用于将阳性样本和阴性样本作为训练样本，基于训练样本对原始分类模型进行训练，生成图像分类模型；其中，原始分类模型包括特征提取网络、用于根据特征提取网络的输出结果重新标定阳性样本中各层CT图像的图像标签的标签重定网络和图像分类网络，图像分类模型包括特征提取网络和图像分类网络。

第四方面，本发明实施例还提供了一种图像分类装置，可包括：图像获取模块，用于获取待分类图像和按照本发明任意实施例提供的模型生成方法生成的图像分类模型，其中，待分类图像包括多层CT图像；图像分类模块，用于将各层CT图像依次输入至图像分类模型中，并根据图像分类模型的输出结果得到待分类图像和/或各层CT图像的分类结果。

第五方面，本发明实施例还提供了一种电子设备，该电子设备可以包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的模型生成方法或是图像分类方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的模型生成方法或是图像分类方法。

本发明实施例的技术方案，通过将获取到的阳性样本和阴性样本作为训练样本，每个阳性样本中至少一层CT图像的图像标签是阳性，且每个阴性样本中各层CT图像的图像标签均是阴性；考虑到原始分类模型包括特征提取网络、用于根据特征提取网络的输出结果重新确定阳性样本中各CT图像的图像标签的标签标定网络、以及图像分类网络，这意味着在基于训练样本对该原始分类模型进行训练前，无需对阳性样本中各CT图像的图像标签进行人工标注，该原始分类模型可以自动重新标定该阳性样本中各CT图像的图像标签，由此在无需进行大量图像标注的情况下，可以生成图像分类效果较佳的图像分类模型。上述技术方案，以每层CT图像的图像标签已知的阴性样本为参照物，基于多示例学习的思想，仅利用整套CT图像的图像标签即可重新标定阳性样本中各CT图像的图像标签，达到了降低模型生成过程中的图像标注的工作量的效果。

附图说明

图1是本发明实施例一中的一种模型生成方法的流程图；

图2是本发明实施例二中的一种模型生成方法的流程图；

图3是本发明实施例二中的一种模型生成方法中可选示例的流程图；

图4是本发明实施例三中的一种图像分类方法的流程图；

图5是本发明实施例四中的一种模型生成装置的结构框图；

图6是本发明实施例五中的一种图像分类装置的结构框图；

图7是本发明实施例五中的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：目前CT图像分类算法需要依赖于人工标精确注出的CT图像中的ROI，该ROI可以是CT图像中的病灶区域，后续基于该ROI的图像特征对该CT图像进行分类，并根据分类结果确定该CT图像中是否存在该ROI，显然，图像标注的工作量过大。因此，如何利用整套CT图像的图像标签自动对整套CT图像中的每层CT图像进行自动分类是缓解图像标注的工作量过大的主要方案之一，该图像标签可以体现出相应的CT图像中是否存在ROI。

目前针对于上述情况下的弱标注CT图像自动分类的相关研究尚属较少，总体来说，当前弱标注CT图像分类算法大致可以分为如下几种情况：1)基于多示例学习(MultipleInstance Learning，MIL)和深度神经网络的分类算法，例如轴平行矩形(Axis-ParallelRectangle)、Citation-kNN、支持向量机(SVM)等基于机器学习的多示例弱监督算法，但是这些算法的性能效果比较差。其中，MIL是由监督型学习算法演变出的一种算法，“包”为多个示例的集合，学习者不是接收一组单独标记的示例，而是接收一组带标签的包，每个包拥有多个示例。在多示例二进制分类的情况下，若包中的全部示例都是否定，则可以将包标记为否定；若包中只要至少有一个示例是正面，则可以将包被标记为阳性。

2)将3D深度学习算法应用在整套CT图像分类，虽然性能效果不错，但因为整套CT图像较大且层数多，计算量过大易造成计算机显存不足等问题。

3)在此基础上，基于2D深度学习的多示例算法被提出应用在CT图像分类中，其将每套CT图像分成多个等份，然后从每等份中随机取出一张CT图像进行图像特征提取，然后再将全部的图像特征融合在一起后的图像特征输入到机器学习模型中进行分类，这样虽然大大减少计算机内存，但是由于每层CT图像的图像标签未知，因此特征提取网络是无法基于本身的CT图像进行训练，只能采用迁移算法提取图像特征，这样的分类算法性能过于依赖于迁移算法的数据相似性，泛化能力难以得到保证。

4)将从CT图像中提出的图像特征全部输入到长短期记忆网络(Long Short-TermMemory，LSTM)进行端到端的训练，这虽然解决了特征提取网络无法训练的问题，但是同时让模型更难收敛，且性能上也有所降低。

实施例一

图1是本发明实施例一中提供的一种模型生成方法的流程图。本实施例可适用于基于弱标注的图像标签生成可用于对CT图像进行分类的图像分类模型的情况，该弱标注的图像标签可以是整套CT图像的图像标签。该方法可以由本发明实施例提供的模型生成装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上。

参见图1，本发明实施例的方法具体包括如下步骤：

S110、获取阳性样本和阴性样本，其中，每个阳性样本中的至少一层CT图像的图像标签是阳性，且每个阴性样本中各层CT图像的图像标签均是阴性。

其中，阴性样本的数量可以是一个、两个或是多个，每个阴性样本中可以包含某受检对象的一整套CT图像，该套CT图像中可以包括多层CT图像(如按横断位、冠状位等等划分出的多层CT图像)，且每层CT图像的图像标签均是阴性(该图像标签可以通过0进行表示)，即每层CT图像中均未存在ROI，该ROI可以是该CT图像中的病灶区域。相应的，阳性样本的数量可以是一个、两个或多个，每个阳性样本中可以包含某受检对象的一整套CT图像，该套CT图像中可以包括多层CT图像(如按横断位、冠状位等等划分出的多层CT图像)，且该多层CT图像中的至少一层CT图像的图像标签是阳性(该图像标签可通过1进行表示)，即每个阳性样本中各层CT图像的图像标签是未知的，只能确定至少一层CT图像中存在ROI。

在此基础上，可选的，在获取到阳性样本和阴性样本之后，为了提高后续生成的图像分类模型的分类精度，可以对阳性样本和阴性样本中每层CT图像进行预处理，如归一化、统一尺寸、数据增强等处理操作。

S120、将阳性样本和阴性样本作为训练样本，基于训练样本对原始分类模型进行训练，生成图像分类模型。

其中，由于阳性样本中各CT图像的图像标签未知，仅是通过单纯的特征提取网络是无法生成图像分类模型。为了有效利用整套CT图像的图像标签、且减少图像标注的工作量，本发明实施例提出的原始分类模型可包括特征提取网络、标签重定网络和图像分类网络，该特征提取网络用于对阳性样本和阴性样本中的各CT图像分别进行图像特征的提取，可选的，该特征提取网络可以是任意的2D深度学习网络，如vgg、resnet、InceptionV3等；该标签重定网络与特征提取网络相连接，其可用于基于多示例学习思想，根据特征提取网络的输出结果重新标定阳性样本中各CT图像的图像标签，该标签重定网络的输出结果可以是阳性样本中每层CT图像的图像标签，这样的图像标签可以认为是重定标签；该图像分类网络可以与特征提取网络相连接，其用于根据特征提取网络的输出结果分别预测出各CT图像的图像标签，这样的图像标签可以认为是预测标签，该各CT图像可以均是阳性样本中的CT图像，也可以是同时包括阳性样本中的CT图像和阴性样本中的CT图像，该图像分类网络可以是任意的分类器如多层感知机等。在此基础上，该原始分类模型还可以包括损失函数确定模块，其可用于对阳性样本中每层CT图像的预测标签和重定标签进行比较，或者对阳性样本中每层CT图像的预测标签和重定标签进行比较且对阴性样本中每层CT图像的预测标签和已知标签进行比较，以便根据比较结果反向调节原始分类模型中的网络参数。需要说明的是，上述原始分类模型是2DCNN，通过2DCNN利用整套CT图像的图像标签完成端到端的图像标签的预测过程，由此降低了3DCNN对计算机硬件要求的限制。

将阳性样本和阴性样本作为训练样本，需要说明的是，考虑到阳性样本和/或阴性样本的数量是至少两个时，可以将每个阳性样本和各阴性样本分别作为一组训练样本，如阳性样本包括A1和A2，阴性样本包括B1和B2，则可以将A1和B1、A1和B2、A2和B1、以及A2和B2分别作为一组训练样本，后续可以基于多组训练样本对上述原始分类模型进行训练后生成图像分类模型，该图像分类模型可以包括特征提取网络和图像分类网络。

本发明实施例的技术方案，通过将获取到的阳性样本和阴性样本作为训练样本，每个阳性样本中至少一层CT图像的图像标签是阳性，且每个阴性样本中各层CT图像的图像标签均是阴性；考虑到原始分类模型包括特征提取网络、用于根据特征提取网络的输出结果重新确定阳性样本中各CT图像的图像标签的标签标定网络、以及图像分类网络，这意味着在基于训练样本对该原始分类模型进行训练前，无需对阳性样本中各CT图像的图像标签进行人工标注，该原始分类模型可以自动重新标定该阳性样本中各CT图像的图像标签，由此在无需进行大量图像标注的情况下，可以生成图像分类效果较佳的图像分类模型。上述技术方案，以每层CT图像的图像标签已知的阴性样本为参照物，基于多示例学习的思想，仅利用整套CT图像的图像标签即可重新标定阳性样本中各CT图像的图像标签，达到了降低模型生成过程中的图像标注的工作量的效果。

在此基础上，可选的，上述模型训练过程具体可以包括：将训练样本中的各CT图像依次输入至特征提取网络中，分别得到阳性样本中各CT图像的第一图像特征和阴性样本中各CT图像的第二图像特征；将各第一图像特征和各第二图像特征输入至标签重定网络，得到阳性样本中各CT图像的重定标签，如根据各第一图像特征和各第二图像特征间的距离重新标定阳性样本中的各CT图像的图像标签，上述距离可以是Hausdorff距离、欧式距离、余弦距离等等；进而，将各第一图像特征输入至图像分类网络中，并根据图像分类网络的输出结果以及与各第一图像特征分别对应的重定标签，对原始分类模型中的各网络参数进行调整，除此之外，还可同时将各第二图像特征输入至图像分类网络中，根据图像分类网络的输出结果以及与各第二图像特征分别对应的已知标签，对原始分类模型中的各网络参数进行调整。需要说明的是，上述技术方案是基于多示例学习的思想重新标定阳性样本中的每层CT图像的图像标签，这是一个迭代过程，随着迭代次数的增加，阳性样本中每层CT图像的图像标签的标定结果越来越精确，反而言之，特征提取网络提取到的第一图像特征和第二图像特征间的差异性越来越明显。

实施例二

图2是本发明实施例二中提供的一种模型生成方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，标签重定网络可以通过如下步骤重新标定阳性样本中各CT图像的图像标签：分别获取各第一图像特征构成的第一特征集合、及各第二图像特征构成的第二特征集合，并根据各第一图像特征和各第二图像特征确定第一特征集合和第二特征集合间的Hausdorff距离，确定Hausdorff距离在阳性样本的各CT图像中对应的当前图像；针对阳性样本中的每层CT图像，确定当前图像的第一图像特征和CT图像的第一图像特征间的相距距离，并根据相距距离和Hausdorff距离重新标定CT图像的图像标签，将重新标定后的图像标签作为重定标签进行输出。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图2，本实施例的方法具体可以包括如下步骤：

S210、获取阳性样本和阴性样本，并将阳性样本和阴性样本作为训练样本，其中，每个阳性样本中至少一层CT图像的图像标签是阳性，且每个阴性样本中各层CT图像的图像标签均是阴性。

S220、将训练样本输入至特征提取网络中，分别得到阳性样本中各层CT图像的第一图像特征和阴性样本中各层CT图像的第二图像特征。

S230、将各第一图像特征以及各第二图像特征输入至标签重定网络，以使标签重定网络分别获取各第一图像特征构成的第一特征集合、以及各第二图像特征构成的第二特征集合，并根据各第一图像特征和各第二图像特征确定第一特征集合和第二特征集合间的Hausdorff距离，确定Hausdorff距离在阳性样本的各层CT图像中对应的当前图像；针对阳性样本中每层CT图像，确定当前图像的第一图像特征和CT图像的第一图像特征间的相距距离，根据相距距离和Hausdorff距离重新标定CT图像的图像标签，将重新标定后的图像标签作为重定标签进行输出，得到阳性样本中各层CT图像的重定标签。

其中，第一特征集合是由各第一图像特征构成的集合，且第二特征集合是由各第二图像特征构成的集合。Hausdorff距离是根据各第一图像特征和各第二图像特征确定的第一特征集合和第二特征集合间的距离，该Hausdorff距离可以包括第二特征集合到第一特征集合的第一Hausdorff距离、和/或第一特征集合到第二特征集合的第二Hausdorff距离。由于Hausdorff距离是阳性样本中的某CT图像和阴性样本中的某CT图像间的距离，因此可以确定该Hausdorff距离在阳性样本的各CT图像中对应的当前图像，该当前图像可以包括第一Hausdorff距离在阳性样本的各CT图像中对应的第一当前图像、以及第二Hausdorff距离在阳性样本的各CT图像中对应的第二当前图像。

在此基础上，阳性样本中每层CT图像的重定标签可以通过如下步骤确定：确定当前图像的第一图像特征和CT图像的第一图像特征间的相距距离，根据该相距距离和Hausdorff距离重新标定该CT图像的图像标签，并将重新标定后的图像标签作为重定标签进行输出，由此得到阳性样本中各CT图像的重定标签。在实际应用中，可选的，该相距距离可以是第一当前图像的第一图像特征以及CT图像的第一图像特征间的第一相距距离，此时可以根据第一相距距离和第二Hausdorff距离重新标定CT图像的图像标签；或者，该相距距离可以包括第一相距距离和第二相距距离，该第二相距距离是第二当前图像的第一图像特征和CT图像的第一图像特征间的相距距离，此时可以根据第一相距距离和第二Hausdorff距离、以及第二相距距离和第一Hausdorff距离，重新标定该CT图像的图像标签。重复执行上述各步骤，得到阳性样本中各CT图像的重定标签。

S240、将各第一图像特征输入至图像分类网络中，并根据图像分类网络的输出结果以及与各第一图像特征分别对应的重定标签，对原始分类模型中的各网络参数进行调整，生成图像分类模型，其中，该图像分类模型包括特征提取网络和图像分类网络。

本发明实施例的技术方案，通过第一特征集合和第二特征集合间的Hausdorff距离，达到了重新标定阳性样本中各CT图像的图像标签的效果。

需要说明的是，Hausdorff距离是可以量度度量空间中真子集之间的距离，具体的，假设两组点集合A＝{a1，…，ap}和B＝{b1，…，bq}，A和B相当于上文所述的第一特征集合和第二特征集合，这两个点集合间的Hausdorff距离定义为：

H(A，B)＝max(h(A，B)，h(B，A)) (1)

h(A，B)＝max(a∈A)min(b∈B)||a-b|| (2)

h(B，A)＝max(b∈B)min(a∈A)||b-a|| (3)

结合到本发明实施例可能涉及到的应用场景，通过特征提取网络提取出的阳性样本对应的第一特征集合bag1＝{bag1feature1，…，bag1featureN}以及阴性样本对应的第二特征集合bag0＝{bag0feature1，…，bag0featureN}可以计算第一Hausdorff距离hd0，每个特征集合可以认为是一个包，该特征集合中的各示例可以认为是该包中的示例。具体的，hd0的计算过程可以是将bag0中的bag1feature1分别和bag1中各第一图像特征进行欧式距离计算，并从中选择出最大的欧式距离；其余N-1个第二图像特征的处理过程类似，由此可以从N个最大的欧式距离中选择出最小的欧式距离作为hd0，即hd0可以表示对于bag0里面的各第二图像特征，最与bag1相似的第二图像特征bag0featurei、与bag1里面距离最远的第一图像特征bag1featurej间的距离，换言之，hd0是bag0featurei和bag1featurej间的距离，bag0featurei是hd0在bag0中对应的第二图像特征，且bag1featurej是hd0在bag1中对应的第一图像特征。第二Hausdorff距离hd1的计算过程类似，其是针对于bag1里面的各第一图像特征，最与bag0相似的第一图像特征bag1featurei与bag0里面距离最远的第二图像特征bag0featurej间的距离。需要说明的是，hd0越大意味着bag1featurej距离bag0featurei越远，则bag1featurej是阳性的可能性越大；相应的，由于hd0是整体距离(从最大中取最小)，此时不能认为hd0越小，bag1featurej是阴性的可能性越大，因为bag1中的每个示例可能都是阳性，最小的hd0对应的bag1featurej依然是阳性，此时应该认为hd1越小则bag1featurej是阴性的可能性越大。

进一步，分别计算出bag1中每个第一图像特征与bag1featurej(这是hd0在bag1中对应的第一图像特征)的欧式距离O1＝{bag1O1,…,bag1ON}，该O1是上文所述的各第一相距距离构成的集合，如果O1中的bag1Oi小于hd1，则将O1中的bag1Oi对应的CT图像的图像标签重定为阴性，否则重定为阳性。或者，在计算出各第一相距距离的同时，还可以分别计算出bag1中的每个第一图像特征与bag1featurei(这是hd1在bag1中对应的第一图像特征)的欧式距离O2＝{bag1O1,…,bag1ON}，该O2是上文所述的各第二相距距离构成的集合，如果O1中的bag1Oi小于hd1，则将O1中bag1Oi对应的CT图像的图像标签重定为阴性；如果O2中的bag1Oi小于hd0，则将O2中的bag1Oi对应的CT图像的图像标签重定为阳性。

需要说明的是，相对于欧式距离，计算第一特征集合和第二特征集合间的Hausdorff距离的好处在于：在欧式距离中，假设阳性样本的bag1中包括4个示例且阴性样本的bag0中包括4个示例，二者相互比较可以计算出16个欧式距离，此时最大的欧式距离对应的阳性样本中的示例是阳性的可能性最大，但不能认为最小的欧式距离对应的阳性样本中的示例是阴性的可能性最大，这是因为欧式距离无法体现出整体距离(即，bag1和bag0间的距离)。相应的，Hausdorff距离可以体现出整体距离，例如，如果bag1中4个示例全是阳性，则bag1和bag0间的Hausdorff距离比较大(这是因为二者十分不相近)；如果bag1中只有1个示例是阳性，则bag1和bag0间的Hausdorff距离比较小(这是因为二者较为相近)。

在上述各技术方案的基础上，可选的，原始分类模型还可以包括用于根据标签重定网络的输出结果分别确定阳性样本中的各CT图像的标签权重的权重确定网络；相应的，根据图像分类网络的输出结果对原始分类模型中的各网络参数进行调整，具体可以包括：根据图像分类网络的输出结果得到阳性样本中各CT图像的预测标签，并根据阳性样本中各CT图像的预测标签、重定标签及标签权重对原始分类模型中的各网络参数进行调整。即，模型训练过程中可以基于损失函数进行反向传播以对原始分类模型中各网络参数进行调整，该损失函数可以是任意的二分类损失函数，如交叉熵损失函数。需要说明的是，由于每个重定标签的正确性的高低存在差异性，比如bag1Oi和bag1Oj都小于hd1，则二者的重定标签均为0，但bag1Oi远小于bag1Oj，这说明bag1Oi对于标签重定为0的正确性远大于bag1Oj。该正确性的高低可以通过权重确定网络输出的标签权重进行表示，该标签权重可以添加到损失函数中以便提高生成的图像分类模型的分类精度，如将重定标签是阴性的标签权重添加到阴性类别中且将重定标签是阳性的标签权重添加到阳性类别总。而且，由于标签权重越大意味着其是某种标签的可能性越大，那么在模型预测错误时可以给予更大的惩罚。可选的，以交叉熵损失函数为例，其具体形式可以如下所示：

其中，y是重定标签，y^′是预测标签，pi0是重定标签为0对应的标签权重，且pi1是重定标签为1对应的标签权重，N是bag1中第一图像特征的总数量。在实际应用中，可选的，可以如上述公式所示的只考虑阳性样本的损失函数，也可以在此基础上再增加阴性样本的损失函数，当然，由于阴性样本中各CT图像的图像标签是已知标签，该阴性样本的损失函数中未存在标签权重。

在此基础上，上述权重确定网络可以通过如下步骤分别确定阳性样本中各CT图像的标签权重：针对阳性样本中的每层CT图像，从第一Hausdorff距离和第二Hausdorff距离中筛选出目标Hausdorff距离，并确定目标Hausdorff距离在阳性样本的各CT图像中对应的目标当前图像；进而，确定目标当前图像的第一图像特征以及CT图像的第一图像特征间的目标相距距离；如果CT图像的重定标签是阳性，则根据目标相距距离和第一Hausdorff距离确定CT图像的标签权重，否则根据目标相距距离和第二Hausdorff距离确定CT图像的标签权重。示例性的，从{hd0，hd1}中筛选出数值更大的Hausdorff距离，针对该Hausdorff距离在bag1中对应的bag1featurei对应的bag1Oi，由此，重定标签为0对应的标签权重pi0可以是pi0＝1/bag1Oi*hd1，重定标签为1对应的标签权重pi1可以是pi1＝bag1Oi*hd0。由此可知，上述技术方案利用Hausdorff距离可以计算出阳性样本和阴性样本间的聚合度、以及阳性样本中各第一图像特征间的离散度，并根据该聚合度和离散度计算出每个重定标签的标签权重。

为了更好地理解上述步骤的具体实现过程，下面结合具体示例，对本实施例的模型生成方法进行示例性的说明。示例性，以图3为例，对一个阳性样本和一个阴性样本中的各层CT图像进行预处理，并从预处理结果中依次提取每层CT图像的图像特征，根据各图像特征重新标定阳性样本中每层CT图像的图像标签、并且计算每个图像标签的标签权重，进而将该标签权重增加到loss函数中进行反向传播以调整原始分割模型中的网络参数，生成图像分类模型。

实施例三

图4是本发明实施例三中提供的一种图像分类方法的流程图。本实施例可适用于基于弱标注的图像标签生成的图像分类模型对待分类图像和/或待分类图像中各层CT图像进行分类的情况。该方法可以由本发明实施例提供的图像分类装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上，该电子设备可以是各种用户终端或服务器。

参见图4，本发明实施例的方法具体包括如下步骤：

S310、获取待分类图像和按照本发明任意实施例提供的模型生成方法生成的图像分类模型，其中，待分类图像包括多层CT图像。

其中，待分类图像可以是某受检对象的一整套CT图像，该套CT图像中可包括多层CT图像，该待分类图像或是各层图像是待分类的CT图像。

S320、将各层CT图像依次输入至图像分类模型中，并根据图像分类模型的输出结果得到待分类图像和/或各层CT图像的分类结果。

其中，在将各层CT图像依次输入至图像分类模型中后，图像分类模型中的特征提取网络可以依次提取出每层CT图像的图像特征，然后图像分类模型中的图像分类网络可以根据依次提取出的图像特征依次预测出相应的CT图像的图像标签，并将各层CT图像的预测结果进行输出，该输出结果可以是待分类图像的图像标签，如每层CT图像均是阴性时，该待分类图像是阴性，反之则为阳性；或者，该输出结果可以是各层CT图像的图像标签，这可以在空间维度上一定程度显示ROI的大致位置；再或者，该输出结果还可以是待分类图像和各层CT图像的图像标签；等等，在此未做具体限定。后续根据该输出结果可得到待分类图像和/或各CT图像的分类结果，该分类结果可以呈现出该待分类图像和/或各CT图像中是否存在ROI，或是说该待分类图像和/或各CT图像是阳性还是阴性，实现了从图像输入到分类结果输出的端到端的图像分类过程。

本发明实施例的技术方案，通过将获取到的待分类图像中的多层CT图像依次输入至已生成的图像分类模型中，并根据该图像分类模型的输出结果得到待分类图像和/或各层CT图像的分类结果。上述技术方案，实现了端到端的CT图像的自动分类的效果。

实施例四

图5为本发明实施例四提供的模型生成装置的结构框图，该装置用于执行上述任意实施例所提供的模型生成方法。该装置与上述各实施例的模型生成方法属于同一个发明构思，在模型生成装置的实施例中未详尽描述的细节内容，可以参考上述模型生成方法的实施例。参见图5，该装置具体可以包括：样本获取模块410和模型生成模块420。

其中，样本获取模块410，用于获取阳性样本和阴性样本，其中，每个阳性样本中至少一层CT图像的图像标签是阳性，且每个阴性样本中各层CT图像的图像标签均是阴性；模型生成模块420，用于将阳性样本和阴性样本作为训练样本，基于训练样本对原始分类模型进行训练，生成图像分类模型；其中，原始分类模型包括特征提取网络、用于根据特征提取网络的输出结果重新标定阳性样本中各CT图像的图像标签的标签重定网络和图像分类网络，图像分类模型包括特征提取网络和图像分类网络。

可选的，模型生成模块420，具体可以包括：

图像特征提取子模块，用于将训练样本输入至特征提取网络中，分别得到阳性样本中各CT图像的第一图像特征和阴性样本中各CT图像的第二图像特征；标签重定子模块，用于将各第一图像特征和各第二图像特征输入标签重定网络，得到阳性样本中各CT图像的重定标签；网络参数调整子模块，用于将各第一图像特征输入至图像分类网络中，并根据图像分类网络的输出结果以及与各第一图像特征分别对应的重定标签，对原始分类模型中的各网络参数进行调整。

可选的，标签重定网络可通过如下单元重新标定阳性样本中各CT图像的图像标签：当前图像确定单元，用于分别获取各第一图像特征构成的第一特征集合、以及各第二图像特征构成的第二特征集合，并根据各第一图像特征和各第二图像特征确定第一特征集合和第二特征集合间的Hausdorff距离，确定Hausdorff距离在阳性样本的各CT图像中对应的当前图像；标签重定单元用于针对阳性样本中的每层CT图像，确定当前图像的第一图像特征和CT图像的第一图像特征间的相距距离，并根据相距距离和Hausdorff距离重新标定CT图像的图像标签，将重新标定后的图像标签作为重定标签进行输出。

可选的，当前图像确定单元，具体可以包括：当前图像确定子单元，用于分别确定第二特征集合到第一特征集合的第一Hausdorff距离和第一特征集合到第二特征集合的第二Hausdorff距离，并确定第一Hausdorff距离在阳性样本的各CT图像中对应的第一当前图像、以及第二Hausdorff距离在阳性样本的各CT图像中对应的第二当前图像；相应的，标签重定单元，具体可以包括：标签重定子单元，用于确定第一当前图像的第一图像特征以及CT图像的第一图像特征间的第一相距距离，并根据第一相距距离和第二Hausdorff距离重新标定CT图像的图像标签；或者，确定第二当前图像的第一图像特征以及CT图像的第一图像特征间的第二相距距离，并根据第一相距距离和第二Hausdorff距离、以及第二相距距离和第一Hausdorff距离，重新标定CT图像的图像标签。

可选的，原始分类模型还可以包括用于根据标签重定网络的输出结果分别确定阳性样本中的各CT图像的标签权重的权重确定网络；相应的，网络参数调整子模块，具体可以包括：网络参数调整单元，用于根据图像分类网络的输出结果得到阳性样本中各CT图像的预测标签，并根据阳性样本中各CT图像的预测标签、重定标签以及标签权重对原始分类模型中的各网络参数进行调整。

可选的，权重确定网络可以通过如下单元分别确定阳性样本中各CT图像的标签权重：目标当前图像确定单元，用于针对阳性样本中的每层CT图像，从第一Hausdorff距离和第二Hausdorff距离中筛选出目标Hausdorff距离，确定目标Hausdorff距离在阳性样本的各CT图像中对应的目标当前图像；相距距离确定单元，用于确定目标当前图像的第一图像特征以及CT图像的第一图像特征间的目标相距距离；标签权重确定单元，用于若CT图像的重定标签是阳性，则根据目标相距距离和第一Hausdorff距离确定CT图像的标签权重，否则根据目标相距距离和第二Hausdorff距离确定CT图像的标签权重。

本发明实施例四提供的模型生成装置，通过样本获取模块将获取到的阳性样本和阴性样本作为训练样本，每个阳性样本中至少一层CT图像的图像标签是阳性，且每个阴性样本中各层CT图像的图像标签均是阴性；在此基础上，考虑到原始分类模型包括特征提取网络、用于根据特征提取网络的输出结果重新确定阳性样本中各CT图像的图像标签的标签标定网络、以及图像分类网络，这意味着模型生成模块在基于训练样本对该原始分类模型进行训练前，无需对阳性样本中各CT图像的图像标签进行人工标注，该原始分类模型可以自动重新标定该阳性样本中各CT图像的图像标签，由此在无需进行大量图像标注的情况下，可以生成图像分类效果较佳的图像分类模型。上述装置，以每层CT图像的图像标签已知的阴性样本为参照物，基于多示例学习的思想，仅利用整套CT图像的图像标签即可重新标定阳性样本中各CT图像的图像标签，达到了降低模型生成过程中的图像标注的工作量的效果。

本发明实施例所提供的模型生成装置可执行本发明任意实施例所提供的模型生成方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述模型生成装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例五

图6为本发明实施例五提供的图像分类装置的结构框图，该装置用于执行上述任意实施例所提供的图像分类方法。该装置与上述各实施例的图像分类方法属于同一个发明构思，在图像分类装置的实施例中未详尽描述的细节内容，可以参考上述图像分类方法的实施例。参见图6，该装置具体可以包括：图像获取模块510和图像分类模块520。

其中，图像获取模块510，用于获取待分类图像和按照本发明任意实施例提供的模型生成方法生成的图像分类模型，其中待分类图像包括多层CT图像；图像分类模块520，用于将各层CT图像依次输入至图像分类模型中，并根据图像分类模型的输出结果得到待分类图像和/或各层CT图像的分类结果。

本发明实施例五提供的图像分类装置，通过图像获取模块和图像分类模块相互配合，将获取到的待分类图像中的多层CT图像依次输入至已生成的图像分类模型中，根据该图像分类模型的输出结果得到待分类图像和/或各CT图像的分类结果。上述装置，实现了端到端的CT图像的自动分类的效果。

本发明实施例所提供的图像分类装置可执行本发明任意实施例所提供的图像分类方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述图像分类装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例六

图7为本发明实施例六提供的一种电子设备的结构示意图，如图7所示，该电子设备包括存储器610、处理器620、输入装置630和输出装置640。电子设备中的处理器620的数量可以是一个或多个，图7中以一个处理器620为例；电子设备中的存储器610、处理器620、输入装置630和输出装置640可以通过总线或其它方式连接，图7中以通过总线650连接为例。

存储器610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的模型生成方法对应的程序指令/模块(例如，模型生成装置中的样本获取模块410和模型生成模块420)，或是，如本发明实施例中的图像分类方法对应的程序指令/模块(例如，图像分类装置中的图像获取模块510和图像分类模块520)。处理器620通过运行存储在存储器610中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的模型生成方法或是图像分类方法。

存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。

实施例七

本发明实施例七提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种模型生成方法，该方法包括：

获取阳性样本和阴性样本，其中，每个阳性样本中至少一层CT图像的图像标签是阳性，且每个阴性样本中各层CT图像的图像标签均是阴性；将阳性样本和阴性样本作为训练样本，基于训练样本对原始分类模型进行训练，生成图像分类模型；其中，原始分类模型包括特征提取网络、用于根据特征提取网络的输出结果重新标定阳性样本中各CT图像的图像标签的标签重定网络和图像分类网络，图像分类模型包括特征提取网络和图像分类网络。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的模型生成方法中的相关操作。

实施例八

本发明实施例八提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像分类方法，该方法包括：

获取待分类图像和按照本发明任意实施例提供的模型生成方法生成的图像分类模型，其中，待分类图像包括多层CT图像；

将各层CT图像依次输入至图像分类模型中，并根据图像分类模型的输出结果得到待分类图像和/或各层CT图像的分类结果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种模型生成方法，其特征在于，包括：

获取阳性样本和阴性样本，其中，每个所述阳性样本中至少一层CT图像的图像标签是阳性，且每个所述阴性样本中各层CT图像的图像标签均是阴性；

将所述阳性样本和所述阴性样本作为训练样本，基于所述训练样本对原始分类模型进行训练，生成图像分类模型；

其中，所述原始分类模型包括特征提取网络、用于根据所述特征提取网络的输出结果重新标定所述阳性样本中各CT图像的图像标签的标签重定网络和图像分类网络，所述图像分类模型包括所述特征提取网络和所述图像分类网络。

2.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本对原始分类模型进行训练，包括：

将所述训练样本输入至所述特征提取网络中，分别得到所述阳性样本中各层CT图像的第一图像特征和所述阴性样本中各层CT图像的第二图像特征；

将各所述第一图像特征和各所述第二图像特征输入至所述标签重定网络，得到所述阳性样本中各层CT图像的重定标签；

将各所述第一图像特征输入至所述图像分类网络中，并根据所述图像分类网络的输出结果以及与各所述第一图像特征分别对应的所述重定标签，对所述原始分类模型中的各网络参数进行调整。

3.根据权利要求2所述的方法，其特征在于，所述标签重定网络通过如下步骤重新标定所述阳性样本中各层CT图像的图像标签：

分别获取各所述第一图像特征构成的第一特征集合、以及各所述第二图像特征构成的第二特征集合，并根据各所述第一图像特征和各所述第二图像特征确定所述第一特征集合和所述第二特征集合间的Hausdorff距离，确定所述Hausdorff距离在所述阳性样本的各层CT图像中对应的当前图像；

针对所述阳性样本中的每层CT图像，确定所述当前图像的所述第一图像特征和所述CT图像的所述第一图像特征间的相距距离，并根据所述相距距离和所述Hausdorff距离重新标定所述CT图像的图像标签，将重新标定后的图像标签作为所述重定标签进行输出。

4.根据权利要求3所述的方法，其特征在于，所述确定所述第一特征集合和所述第二特征集合间的Hausdorff距离，确定所述Hausdorff距离在所述阳性样本的各层CT图像中对应的当前图像，包括：

分别确定所述第二特征集合到所述第一特征集合的第一Hausdorff距离和所述第一特征集合到所述第二特征集合的第二Hausdorff距离，并确定所述第一Hausdorff距离在所述阳性样本的各CT图像中对应的第一当前图像、以及所述第二Hausdorff距离在所述阳性样本的各CT图像中对应的第二当前图像；

相应的，所述确定所述当前图像的所述第一图像特征和所述CT图像的所述第一图像特征间的相距距离，并根据所述相距距离和所述Hausdorff距离重新标定所述CT图像的图像标签，包括：

确定所述第一当前图像的所述第一图像特征以及所述CT图像的所述第一图像特征间的第一相距距离，并根据所述第一相距距离和所述第二Hausdorff距离重新标定所述CT图像的图像标签；或者，

确定所述第二当前图像的所述第一图像特征以及所述CT图像的所述第一图像特征间的第二相距距离，并根据所述第一相距距离和所述第二Hausdorff距离、以及所述第二相距距离和所述第一Hausdorff距离，重新标定所述CT图像的图像标签。

5.根据权利要求2-4任一所述的方法，其特征在于，所述原始分类模型还包括用于根据所述标签重定网络的输出结果分别确定所述阳性样本中的各CT图像的标签权重的权重确定网络；

相应的，所述根据所述图像分类网络的输出结果对所述原始分类模型中的各网络参数进行调整，包括：

根据所述图像分类网络的输出结果得到所述阳性样本中各CT图像的预测标签，并根据所述阳性样本中各CT图像的所述预测标签、所述重定标签以及所述标签权重对所述原始分类模型中的各网络参数进行调整。

6.根据权利要求5所述的方法，其特征在于，所述权重确定网络通过如下步骤分别确定所述阳性样本中各CT图像的标签权重：

针对所述阳性样本中的每层CT图像，从第一Hausdorff距离和第二Hausdorff距离中筛选出目标Hausdorff距离，并确定所述目标Hausdorff距离在所述阳性样本的各层CT图像中对应的目标当前图像；

确定所述目标当前图像的所述第一图像特征以及所述CT图像的所述第一图像特征间的目标相距距离；

若所述CT图像的所述重定标签是阳性，则根据所述目标相距距离和所述第一Hausdorff距离确定所述CT图像的所述标签权重，否则根据所述目标相距距离和所述第二Hausdorff距离确定所述CT图像的所述标签权重。

7.一种图像分类方法，其特征在于，包括：

获取待分类图像和按照权利要求1-6中任一项的方法生成的图像分类模型，其中，所述待分类图像包括多层CT图像；

将各层所述CT图像依次输入至所述图像分类模型中，根据所述图像分类模型的输出结果得到所述待分类图像和/或各层所述CT图像的分类结果。

8.一种模型生成装置，其特征在于，包括：

样本获取模块，用于获取阳性样本和阴性样本，其中，每个所述阳性样本中至少一层CT图像的图像标签是阳性，且每个所述阴性样本中各层CT图像的图像标签均是阴性；

模型生成模块，用于将所述阳性样本和所述阴性样本作为训练样本，基于所述训练样本对原始分类模型进行训练，生成图像分类模型；

其中，所述原始分类模型包括特征提取网络、用于根据所述特征提取网络的输出结果重新标定所述阳性样本中各CT图像的图像标签的标签重定网络和图像分类网络，所述图像分类模型包括所述特征提取网络和所述图像分类网络。

9.一种图像分类装置，其特征在于，包括：

图像获取模块，用于获取待分类图像和按照权利要求1-6中任一项的方法生成的图像分类模型，其中，所述待分类图像包括多层CT图像；

图像分类模块，用于将各层所述CT图像依次输入至所述图像分类模型中，根据所述图像分类模型的输出结果得到所述待分类图像和/或各层所述CT图像的分类结果。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的模型生成方法，或者如权利要求7中所述的图像分类方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的模型生成方法，或者如权利要求7中所述的图像分类方法。

Images