CN109949304B - 图像检测学习网络的训练和获取方法、图像检测装置和介质 - Google Patents

Abstract

本公开涉及一种图像检测学习网络的训练和获取方法、图像检测装置和介质。所述训练方法包括：构建第一学习网络和第二学习网络，使得所述第二学习网络的参数的数量少于所述第一学习网络；由处理器，利用医学图像的训练数据集对第一学习网络进行训练，以得到训练好的第一学习网络；由所述处理器，利用所述医学图像的训练数据集基于训练好的第一学习网络的学习结果对所述第二学习网络进行训练，所述第二学习网络被配置用于医学图像检测。本公开得到的第二学习网络能够兼顾医学图像检测的计算精度和计算效率。

Description

图像检测学习网络的训练和获取方法、图像检测装置和介质

交叉引用

本申请要求于2018年3月29日提交的申请号为62/650,268的美国临时申请的优先权，其全部内容通过引用结合于此。

技术领域

本公开大体涉及图像处理和分析。更具体地，本公开涉及用于医学图像检测的学习网络的训练方法和获取方法，以及医学图像检测装置和其上存储有相应程序的非暂时性计算机可读的介质。

背景技术

随着医学技术的发展，图像采集装置能够采集到细节更丰富、分辨率更高的医学图像，分辨率更高的医学图像能够为医师提供更全面的图像信息。如果能在分辨率更高的医学图像中早期识别出诸如恶性肿瘤、浸润性癌症等病灶，就能进行及时治疗并显著降低死亡率。以全片图像(WSI，也成为全片数字化图像)为例，传统的办法是由经验丰富的病理学家勾画出肿瘤区域以进行组织学诊断分析。但是，对于病理学家来说对于肿瘤区域的精准勾画以及核心识别是耗时的且容易出错。虽然引入了计算机辅助诊断(CAD)方法试图协助病理学家的诊断任务，但是，诸如WSI的医学图像可以具有高达200,000×100,000像素的图像分辨率，考虑到计算负荷，传统的CAD方法只能处理WSI的小区域。

近来，虽然引入了深度学习方法(例如但不限于使用GoogleNet作为检测器，使用递归神经网络，或者使用模型集成(也就是数个Inception V3模型)等)来对诸如WSI的大尺寸医学图像进行检测分析，但现有方法难以兼顾计算精度和计算效率(计算负荷、计算速度及成本)。

提出本公开以解决以上问题。

发明内容

本公开意图提供一种图像检测学习网络的训练方法和获取方法、图像检测装置和介质，其能够兼顾医学图像检测的计算精度和计算效率。

根据本公开的第一方面，提供一种图像检测学习网络的训练方法，所述训练方法包括：构建第一学习网络和第二学习网络，使得所述第二学习网络的参数的数量少于所述第一学习网络；由处理器，利用医学图像的训练数据集对第一学习网络进行训练，以得到训练好的第一学习网络；由所述处理器，利用所述医学图像的训练数据集基于训练好的第一学习网络的学习结果对所述第二学习网络进行训练，所述第二学习网络被配置用于医学图像检测。

在一些实施例中，训练好的第一学习网络的学习结果包括其权重参数以及其习得的各种分类的概率。

在一些实施例中，基于训练好的第一学习网络的学习结果对所述第二学习网络进行训练包括：基于训练好的第一学习网络的分类损失、所述第二学习网络与所述训练好的第一学习网络生成的各种分类的概率的差异连同所述第二学习网络与所述训练好的第一学习网络的中间层对应的特征的差异作为损失函数，对所述第二学习网络进行训练。

在一些实施例中，所述损失函数利用如下公式(1)计算：

其中，L表示所述损失函数，S表示训练数据集，x表示训练样本，L_CLS表示第一损失项，该第一损失项基于训练好的第一学习网络的分类损失以及所述第二学习网络与所述训练好的第一学习网络生成的各种分类的概率的差异两者，L_guide表示第二损失项，该第二损失项表示所述第二学习网络与所述训练好的第一学习网络的中间层对应的特征的差异，L_reg表示正则化惩罚项，λ和γ为所述第二学习网络训练前预定的参数。

在一些实施例中，第一损失项L_CLS利用如下公式(2)和(3)计算：

L_CLS＝L_hard+βL_soft， 公式(2)

其中，L_hard表示训练好的第一学习网络基于地面真值标签计算的分类损失，L_soft表示所述第二学习网络与所述训练好的第一学习网络生成的各种分类的概率的差异，

和p_i分别表示第二学习网络和训练好的第一学习网络分别生成的相应分类的概率,β为所述第二学习网络训练前预定的参数。

在一些实施例中，

和p_i分别由第二学习网络和训练好的第一学习网络的逻辑层的输出经由softmax函数处理得到。

在一些实施例中，第二损失项L_guide利用如下公式(4)计算：

L_guide＝||F₁-F₂||²， 公式(4)

其中，F₁表示训练好的第一学习网络的中间层习得的特征，F₂表示所述第二学习网络的中间层习得的特征，并且在F₁和F₂的维度不同的情况下，利用适配层将F₁映射为具有与F₂相同的维度以利用公式(4)计算第二损失项L_guide。

在一些实施例中，所述第二学习网络的参数包括层数、权重参数、卷积运算的参数中的至少一种。

在一些实施例中，训练样本是标注图像块。

根据本公开的第二方面，提供一种图像检测学习网络的获取方法，所述获取方法包括：将利用本公开各个实施例的训练方法得到的训练好的第二学习网络的多层感知层转换为卷积层。

在一些实施例中，所述获取方法还包括将所得到的所述卷积层转换为深度可分离卷积层；或者所述第二学习网络利用深度可分离卷积层来构建。

根据本公开的第三方面，提供一种图像检测装置，所述图像检测装置包括：接口，其配置为接收由图像采集装置采集的医学图像；处理器，其配置为：执行根据本公开各个实施例的图像检测学习网络的训练方法，或者根据本公开各个实施例的图像检测学习网络的获取方法；以及基于所述医学图像利用训练好的第二学习网络来进行检测，或者基于所述医学图像利用转换后的第二学习网络来进行检测。

在一些实施例中，所述医学图像包括全片图像(WSI)，所述检测包括癌症检测。

在一些实施例中，基于所述医学图像利用训练好的第二学习网络来进行检测包括：

将所述医学图像利用滑动窗分割为预定尺寸的图像块；

基于所述图像块利用训练好的第二学习网络进行检测；以及

将各个图像块的检测结果整合。

在一些实施例中，基于所述医学图像利用转换后的第二学习网络来进行检测包括：

基于不同尺寸的医学图像直接利用转换后的第二学习网络进行检测。

在一些实施例中，所述深度可分离卷积层依序包括深度卷积层和逐点卷积层。

根据本公开的第四方面，提供一种其上储存有计算机程序的非暂时性计算机可读的介质，其中，所述计算机程序由至少一个处理器执行时，实现：根据本公开各个实施例的图像检测学习网络的训练方法，或者根据各个实施例的图像检测学习网络的获取方法；以及基于所述医学图像利用训练好的第二学习网络来进行检测，或者基于所述医学图像利用转换后的第二学习网络来进行检测。

根据本公开各个实施例的图像检测学习网络的训练方法和获取方法、图像检测装置和介质，其能够让小容量学习网络达到与大容量学习网络相当的检测精度，同时达到显著优于大容量学习网络的计算效率。

应当理解，前面的大体描述以及后续的详细描述只是例示性的和说明性的，并非对所要求保护的本发明的限制。

附图说明

在未必按照比例绘制的附图中，不同视图中相似的附图标记可以表示相似的构件。具有字母后缀的相似附图标记或具有不同字母后缀的相似附图标记可以表示相似构件的不同实例。附图通常作为示例而非限制地图示各种实施例，并且与说明书和权利要求书一起用于解释所公开的实施例。

图1示出根据本公开实施例的医学图像检测学习网络的训练方法的流程图；

图2示出根据本公开实施例的医学图像检测系统的示意性图示；

图3示出根据本公开实施例的医学图像检测学习网络的训练阶段和检测阶段的示例的示意性图示；

图4示出根据本公开实施例的医学图像检测装置的框图；

图5(a)示出根据本公开各个实施例得到的训练好的第二学习网络与比较例的学习网络应用于胃癌数据集的检测结果对比；以及

图5(b)示出根据本公开各个实施例得到的训练好的第二学习网络与比较例的学习网络应用于CAMELYON16数据集的检测结果对比。

具体实施方式

图1示出根据本公开实施例的医学图像检测学习网络的训练方法的流程图。如图1所示，训练流程100始于步骤101，构建第一学习网络和第二学习网络，使得所述第二学习网络的参数的数量少于所述第一学习网络。在一些实施例中，所述参数可以包括括层数、权重参数、卷积运算的参数中的至少一种。第二学习网络的参数的数量少于所述第一学习网络，也就是第二学习网络的结构比第一学习网络的结构简单，下文中也可将第一学习网络称为“大容量网络”而将第二学习网络称为“小容量网络”。

接着，在步骤102，由处理器，利用医学图像的训练数据集对第一学习网络进行训练，以得到训练好的第一学习网络。在一些实施例中，可以利用标注图像块的训练数据集对第一学习网络进行训练。例如，可以经由在诸如WSI的高分辨率大尺寸医学图像上以一定步长移动滑动窗来取得图像块。再例如，也可以在诸如WSI的高分辨率大尺寸医学图像上以其他方式提取出图像块。训练样本可以是由病理专家完成标注的图像块，如此，训练数据集的取得仅仅依赖于在各个图像块上的区域性(相对于整幅医学图像而言)标注而非组织学水平的标注，病理专家仅需对各个图像块完成标注即可完成训练样本的制备，从而更容易获得大量训练样本，进而便利了第一学习网络的训练。

在步骤103，由所述处理器，利用所述医学图像的训练数据集，也就是同样的训练数据集，基于训练好的第一学习网络的学习结果，例如包括但不限于训练好的各种权重参数及其习得的各种分类(是否肿瘤、是否恶性肿瘤、是否浸润性肿瘤等)的概率等，对所述第二学习网络进行训练，训练好的第二学习网络可被配置用于医学图像检测。通常小容量网络由于可学习权重数量较小，导致学习能力较弱，可能导致欠拟合，检测精度也显著低于大容量网络；而直接将大容量网络用于医学图像检测会导致计算速度慢，甚至难以满足临床的耗时要求。通过先让学习能力强的第一学习网络基于充分的训练数据集进行充分学习，然后再让结构简单的第二学习网络向第一学习网络学习“有用知识”，也就是利用第一学习网络习得的结果(包括其权重参数以及其习得的各种分类的概率)进行转移训练，所得到的训练好的第二学习网络可以兼顾计算负荷、计算时间以及检测精度。在一些实施例中，对第二学习网络进行转移训练的过程中，第一学习网络保持其习得的权重参数不变，且可以通过损失函数以及各个学习网络的训练样本的对应设置，使得第二学习网络应用于其训练样本所得的各种分类的概率与第一学习网络应用于其训练样本所得的相应分类的概率尽量相符，从而转移训练后的第二学习网络可以受益于第一学习网络的“有用知识”，以更简单的网络结构、更少的计算负荷及更快的计算速度，实现与大容量的第一学习网络相当的医学检测结果。在一些实施例中，可以在第一学习网络的训练样本，也就是标注图像块中，通过切割、上采样(例如池化)等方式，来得到尺寸更小的标注图像块，作为第二学习网络的训练样本。在一些实施例中，第一学习网络和第二学习网络可以采用相似的结构，例如，都采用多层感知层结构，以便利第一学习网络的学习结果转用于第二学习网络。在一些实施例中，可以在第二学习网络的转移训练用损失函数中引入反映第一学习网络和第二学习网络的逻辑(logits)层的响应的差异(例如将逻辑层的输出用softmax函数处理得到的对于各种分类的概率)，来使得训练好的第二学习网络在实际检测时具有与训练好的第一学习网络相近的对于各种分类的概率响应，从而实现精度与训练好的第一学习网络相当的各种病灶检测和分类(例如是否肿瘤、是否恶性肿瘤、是否浸润性肿瘤等)。

第二学习网络可以采用各种形式的损失函数来进行转移训练。在一些实施例中，该转移训练用的损失函数可以包括训练好的第一学习网络的分类损失、所述第二学习网络与训练好的第一学习网络生成的各种分类的概率的差异连同所述第二学习网络与所述训练好的第一学习网络的中间层对应的特征的差异三项。从而在训练好的第一学习网络的分类损失上，基于全面考虑到第二学习网络相较第一学习网络的(最后)逻辑层和中间层的习得结果的差异，模拟出第二学习网络在训练数据集上的分类损失。并且，通过使用该损失函数，可以让训练好的第二学习网络在逻辑层和中间层的习得结果都尽可能接近第一学习网络，从而得到分类损失与第一学习网络相当(也就是检测精度相当)但计算负荷、计算时间都显著降低的医学图像检测学习网络。

在一些实施例中，训练好的第二学习网络可以直接用于医学图像检测，但医学图像的尺寸受限制，或者需要对大尺寸的医学图像强行移动滑动窗来得到适用第二学习网络的预定尺寸的图像块，然后基于预定尺寸的图像块利用训练好的第二学习网络进行检测，并将各个图像块的检测结果整合，以得到整幅大尺寸的医学图像的检测结果。但是，这会引发与估计的图像块的数量线性相关的前向计算的数量，从而显著拖慢检测速度。在一些实施例中，可以将第二学习网络的多层感知层(例如全连接层)转换为全连接层，如此可以允许转换后的第二学习网络适于对任意尺寸(可扩展也可缩窄)的图像块进行病灶检测从而显著拓展了第二学习网络的应用范围，且卷积操作在图形处理器单元(GPU)上的加速作用能够进一步加快医学图像检测的速度。

图2示出根据本公开实施例的医学图像检测系统200的示意性图示。如图2所示，该系统200可以包括训练阶段的部分和检测阶段的部分。

例如，训练阶段的部分可以包括学习网络构建单元201、第一训练单元202和第二训练单元203。学习网络构建单元201可以配置为构建第一学习网络和第二学习网络，并分别将初步构建而成的第一学习网络和第二学习网络传输到第一训练单元202和第二训练单元203以进行相应的训练。

首先，可以将训练样本数据集205的训练样本馈送到第一训练单元202，以对第一学习网络完成训练。然后，第一训练单元202可以将第一学习网络的训练和对于训练样本的学习结果传输给第二训练单元203，以便第二训练单元203利用从同个训练样本数据集205提取的对应的训练样本，对第二学习网络进行转移训练，使得第二学习网络的训练能够受益于第一学习网络的训练和学习结果。

在一些实施例中，在将训练好的第二学习网络应用于医学图像检测之前，可以利用转换单元207将其转换为计算量更少且计算速度更快的网络结构，例如但不限于将其中的全连接层转换为卷积层(由此得到全卷积网络)、将其中的卷积层转换为深度可分离卷积层等等，然后将转换后的第二学习网络传输给检测单元204。在一些实施例中，也可以在构建第二学习网络时，就利用深度可分离卷积层来构建第二学习网络。

在检测阶段的部分，可以由检测单元204将转换后的第二学习网络应用于从医学图像数据库206(例如通过各种通信方式，包括但不限于经由互联网等)取得的医学图像(也就是检测样本)以得到检测结果。虽然在图2中示出医学图像数据库206作为检测样本的数据源，实际上，检测样本也可以来自其他数据源，例如医院内或院际共享的PACS系统中的患者的医学图像、直接来自本地或远程的医学图像采集装置所采集的患者的医学图像等。

下面以全片图像(WSI)作为待检测的大尺寸的医学图像的示例，对根据本公开实施例的医学图像检测学习网络的训练阶段和检测阶段的示例性流程进行说明。

如图3所示，在训练阶段，首先将训练用的WSI的数据集馈送到小批量发生器，以便对训练用的WSI进行图像块分割、对整个WSI数据集进行划分，以得到小批量的图像块集合，作为对第一学习网络和第二学习网络进行训练的训练数据集。通过利用小批量的图像块集合对学习网络进行小批量训练，可以兼顾训练速度和准确性。

在一些实施例中，可以采用如下损失函数(如公式(1)所示)对第二学习网络以小批量梯度下降法执行训练，以更新第二学习网络的权重直至收敛：

其中，L表示所述损失函数，S表示第二学习网络的训练数据集(也就是小批量的图像块)，x表示训练样本，L_CLS表示第一损失项，该第一损失项基于训练好的第一学习网络的分类损失以及所述第二学习网络与所述训练好的第一学习网络生成的各种分类的概率的差异两者，L_guide表示第二损失项，该第二损失项表示所述第二学习网络与所述训练好的第一学习网络的中间层对应的特征的差异，L_reg表示正则化惩罚项，λ和γ为所述第二学习网络训练前预定的参数(也称为“超参数”)。在一些实施例中，训练好的第一学习网络的分类损失可以利用训练图像块的(硬)地面真值标签来计算，第二学习网络与所述训练好的第一学习网络生成的各种分类的概率的差异可以视为第二学习网络利用来自训练好的第一学习网络的(软)概率标签计算的损失，L_guide可以表示第一学习网络引导的损失(也可以视为第二学习网络利用训练好的第一学习网络习得的特征标签计算的损失)。通过在损失函数L中引入第一和第二损失项，可以使得第二学习网络受益于第一学习网络的强大学习能力，且能够向第一学习网络充分学习，使得其在分类概率、各中间层对应的特征的响应上都逼近训练好的第一学习网络，从而可以实现与训练好的第一学习网络相当的检测精度。通过引入正则化惩罚项L_reg，可以惩罚大权重，从而尽量避免如第二学习网络这样的小容量网络中容易出现的过拟合现象。在一些实施例中，预定参数λ和γ是平衡超函数，用于控制不同损失项的权重，且可以进行交叉验证。

下面对第一损失项L_CLS进行详细说明。

在一些实施例中，第一损失项L_CLS可以利用如下公式(2)和(3)计算：

L_CLS＝L_hard+βL_soft， 公式(2)

其中，L_hard表示训练好的第一学习网络利用地面真值标签计算的分类损失，L_soft表示所述第二学习网络与所述训练好的第一学习网络生成的各种分类的概率的差异，

和p_i分别表示第二学习网络和训练好的第一学习网络分别生成的相应分类的概率,β为所述第二学习网络训练前预定的参数。

在一些实施例中，可以对第一学习网络和第二学习网络的逻辑层的输出z_i施加softmax函数(参见如下公式(5))来将各个分类的逻辑层的输出z_i转换为相应分类的概率p_i：

其中j＝0以及j＝1分别表示阴性标签和阳性标签，T是控制在标签上的概率分布的软度的温度。较高温度T>1产生对于各个分类的软概率分布，这可以协助转移训练。L_soft也可以视为软回归损失，通过在损失函数中引入L_soft可以强制第二学习网络的输出与第一学习网络的输出匹配。在一些实施例中，在对第一学习网络进行预先训练时，可以使用T＝2。在转移训练期间，可以固定训练好的第一学习网络的权重，并在第一学习网络和第二学习网络中均使用T＝2。在一些实施例中，在检测阶段，可以使用T＝1。

下面对第二损失项L_guide进行详细说明。

在一些实施例中，第二损失项L_guide利用如下公式(4)计算：

L_guide＝||F₁-F₂||²， 公式(4)

其中，F₁表示训练好的第一学习网络的中间层习得的特征，F₂表示所述第二学习网络的中间层习得的特征，||F₁-F₂||²包括但不限于特征F₁与特征F₂之间的L2距离(欧式距离)。通过在损失函数中引入第二损失项，可以有效利用第一学习网络的中间层所习得的特征来引导第二学习网络学习高效的特征表示以及改进其检测精度。

在一些实施例中，在F₁和F₂的维度不同的情况下，可以利用适配层将F₁映射为具有与F₂相同的维度以利用公式(4)计算第二损失项L_guide。适配层可以采用各种方式来实现，例如但不限于全连接层、矩阵运算等。

在训练阶段完成对第二学习网络的转移训练之后，可以将训练好的第二学习网络直接应用于医学图像检测。在诸如WSI的大尺寸高分辨率医学图像中，需要在该医学图像上执行滑动窗以得到预定尺寸的图像块，然后将训练好的第二学习网络应用于该预定尺寸的图像块来进行检测，例如肿瘤分类。在一些实施例中，可以将训练好的第二学习网络的所有全连接层转换为等效的卷积层，如此可以适用于广泛各种尺寸的医学图像的检测，并且消除了滑动窗导致的与估计的图像块数量线性相关的前向计算，解决了存储器无法保持所有图像块以及由于保持图像块导致的频繁的输入/输出操作的问题，通过卷积运算在GPU上的加速，进一步打破了计算瓶颈。

在一些实施例中，设定在转换为全卷积网络之前馈送到分类网络的输入图像的尺寸为size_p。如图3所示，在转换为全卷积网络之后，其输出是2D概率映射。可能由于跨步卷积和上下采样(例如池化)操作导致对该概率映射的分辨率进行缩放。设置缩放因子为d，转换后的第二学习网络中一共有n层(卷积层或采样层)具有大于1的跨步值，例如跨步值为2。如此，则缩放因子d＝2ⁿ。设若概率映射中的像素位置x_o对应于输入图像中尺寸为size_p的图像块中心的像素位置x_i，且各个图像块的中心相距d个像素，则图像块中心的像素位置x_i可以根据如下公式(6)来计算：

x_i＝d·x_o+[(size_p-1)/2]， 公式(6)。

在一些实施例中，可以在第二学习网络的架构中利用深度可分离卷积，以进一步降低第二学习网络的容量及计算负荷。例如，可以直接基于深度可分离卷积层来构建第二学习网络，或者，也可以在训练好第二学习网络后，将其中的卷积层替换为等效的深度可分离卷积层。具体说来，深度可分离卷积层依序包括深度(depthwise)卷积层和逐点(pointwise)卷积层。深度卷积层中的每个核对输入特征映射执行单通道上的卷积操作，而在深度卷积操作之后施加逐点卷积(也就是1×1卷积)来结合通道交叉信息以及改变输出特征映射的数量。将第二学习网络构建或转换为深度可分离卷积层，相较普通卷积操作而言能够显著减少计算负荷和计算量。

图4图示出了根据本公开的一些实施例的示例性医学图像检测装置400。在一些实施例中，医学图像检测装置400可以是专用计算机或通用计算机。例如，医学图像检测装置400可以是为医院定制的计算机，以执行图像采集和图像处理任务。如图4中所示，医学图像检测装置400可以包括通信接口403、处理器404、存储器405、储存器406和显示器407。

在一些实施例中，通信接口403可以包括网络适配器、电缆连接器、串行连接器，USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB 3.0、雷电接口等)、无线网络适配器(诸如WiFi适配器)、电信(3G、4G/LTE等)适配器等。医学图像检测装置400可以通过通信接口403连接到其他构件，例如图2中示出的医学图像检测系统200中的其他构件。在一些实施例中，通信接口403从图像采集装置402接收医学图像。例如，图像采集装置402可以包括MRI扫描仪、CT扫描仪、WSI扫描仪等等。在一些实施例中，通信接口403还从模型训练装置401接收诸如训练好的第二学习网络或者训练好且转换后的第二学习网络等等。

在一些实施例中，处理器404可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地，该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器404可以通信地耦合到存储器405并且被配置为执行存储在其上的计算机可执行指令，以执行诸如根据本公开各实施例的医学图像检测学习网络的训练方法、或者根据本公开各个实施例的医学图像检测学习网络(例如训练好的第二学习网络、训练好且转换后的第二学习网络)的获得方法，以及基于所述医学图像利用训练好的第二学习网络来进行检测，或者基于所述医学图像利用转换后的第二学习网络来进行检测。

在一些实施例中，存储器405/储存器406可以是非暂时性计算机可读的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备，或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。

在一些实施例中，储存器406可以储存训练好的网络(诸如训练好的第一学习网络和第二学习网络)、转换后的学习网络和数据，该数据诸如为原始医学图像、提取的图像特征(例如，各个中间层习得的特征映射)、在执行计算机程序的同时所接收的、所使用的或所生成的等。在一些实施例中，存储器405可以储存计算机可执行指令，诸如一个以上图像处理程序，以实现诸如图2中所示的转换单元207和检测单元204的功能。

在一些实施例中，处理器404可以在显示器407上呈现图像的检测结果(例如是否存在浸润性肿瘤及其分布情况)和/或其他数据的可视化。显示器407可以包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示器或任何其他类型的显示器，并提供显示器上呈现的图形用户界面(GUI)用于用户输入和图像/数据显示。

根据本公开，模型训练装置401可以具有与医学图像检测装置400相同或相似的结构。在一些实施例中，模型训练装置401包括处理器以及被配置为使用训练数据集训练第一学习网络和第二学习网络的其他构件。相较图像检测装置400，模型训练装置401的存储器405中也可以储存计算机可执行指令，以实现诸如图2中所示的学习网络构建单元201、第一训练单元202、第二训练单元203和转换单元207(可选地)的功能，从而实现根据本公开各个实施例的医学图像检测学习网络(第一学习网络和第二学习网络)的训练方法，或者根据本公开各个实施例的医学图像检测学习网络(第二学习网络)的获取方法。在一些实施例中，模型训练装置401的储存器406可以储存训练好的第一学习网络、训练中的第二学习网络的更新后的实时权重、训练好的第一学习网络习得的逻辑层输出或对应的分类概率、训练好的第一学习网络的中间层习得的特征映射等等。在一些实施例中，模型训练装置401和医学图像检测装置400也可以整合到一个装置内。

对比实验及检测结果

将根据本公开的实施例的各种训练好的第二学习网络与各种比较例的学习网络应用于同样的WSI检测样本，以对其在WSI检测样本上的浸润性肿瘤的检测结果进行比较分析。

对比实验使用的数据集

使用了两个数据集，胃癌数据集和Camelyon16数据集。胃癌数据集包括204幅训练WSI(117个正常样本、87个肿瘤样本)以及68幅检测WSI(29个肿瘤样本、39个正常样本)，平均检测图像尺寸为107595×161490，都由专家在肿瘤样本上仔细勾画出浸润性肿瘤区域。Camelyon16数据集包括270幅训练WSI(160个正常样本、110个肿瘤样本)，以及129幅检测WSI(80个正常样本、49个肿瘤样本)，平均检测图像尺寸为64548×43633。

使用的第一学习网络、各种实施例的第二学习网络和比较例的学习网络的结构及 其实现

在对比实验中，使用Google Inception V3作为根据第一实施例的第一学习网络，用于第一学习网络的图像块尺寸是299×299，用于第二学习网络的图像块尺寸是224×224。在训练阶段，从数据集中随机地生成小批量的尺寸为299×299的图像块用于第一学习网络的训练，并从其切出尺寸为224×224的图像块用于第二学习网络的训练。可以使用随机旋转、翻转和颜色抖动来对训练样本进行增强。

使用了深度学习工具箱Caffe来开发训练和检测软件模块。检测软件模块利用C++来实现且在具有Nvidia Tesla M40(存储容量为12GB的GPU)的标准工作站上进行验证。

为了隐匿输入/输出延迟，可以先在一个线程中将图像块预先取到存储器中，并在另两个线程中实现学习网络的图像检测。该数据预取方案应用于对比实验使用的所有学习网络的图像检测。另外，所有实验在最高放大率(40×)上执行。

根据第二实施例的第二学习网络具有如下结构：通常的卷积层，跟着是13个深度可分离卷积层(3×3深度卷积层接着是1×1卷积层)，1个平均池化层(7×7)以及1个全连接层。本公开其他实施例的用于医学检测的第二学习网络可以是对该第二实施例的第二学习网络的改进。用于第一到最后卷积层(包括深度可分离卷积层)的卷积滤波器的数量分别是32、64、128、128、128、256、256、512、512、512、512、512、512、960和960。在对比分析中，使用平均FROC(自由响应操作特性，数值范围[0,1])来评价检测性能。其是对于每幅WSI 6个假阳率(1/4、1/2、1、2、4和8)的平均灵敏度。

检测结果对比

使用了显性滑动窗方式的Inception V3学习网络作为第一学习网络(方法I)、转换为全卷积网络的Inception V3学习网络作为第一学习网络(方法IF)、使用显性滑动窗方式的第二学习网络(方法S)、转换为全卷积网络的第二学习网络(方法SF)、转换为全卷积网络且利用第一损失项L_CLS作为损失函数利用第一学习网络的学习结果进行转移训练的第二学习网络(方法DSF)以及转换为全卷积网络且利用第二损失项L_CLS和第二损失项L_guide作为损失函数利用第一学习网络的学习结果进行转移训练的第二学习网络(方法DSFG)，分别对检测样本进行图像检测。滑动窗的步长为128。注意，原始的Inception V3使用了8个集成的模型，但是为了公平比较，在此仅仅使用单个模型作为第一学习网络的示例。

由于GPU的内存限制，对于基于全卷积网络的方法(IF、SF、DSF和DSFG)，将WSI划分为交迭的若干块且将检测阶段得到的概率映射相应拼合为单个整体的概率映射。在方法IF中，使用的块尺寸为1451×1451且交迭267个像素。在方法SF、DSF、DSFG中，使用的块尺寸为1792×1792且交迭192个像素。

表格1和图5(a)、图5(b)分别示出了这些方法应用于胃癌数据集和Camelyon16数据集在计算时间和平均FROC上的比较结果。

表格1方法I、IF、S、SF、DSF和DSFG分别应用于胃癌数据集和Camelyon16数据集在计算时间和平均FROC上的比较结果

从表格1和图5(a)、图5(b)可见，基于全卷积的检测方法相较对应的滑动窗方法显著提升了检测速度：方法IF对于胃癌数据集和Camelyon16数据集分别比方法I快了1.7和1.9倍；方法SF对于胃癌数据集和Camelyon16数据集分别比方法S快了2.5和2.2倍。并且，同样采用全卷积的情况下，第二学习网络(SF，小容量学习网络)对于胃癌数据集和Camelyon16数据集分别比第一学习网络(IF，大容量学习网络)快了大约2.5和2.2倍。

此外，发现不进行转移训练的第二学习网络对于胃癌数据集和Camelyon16数据集在平均FROC上分别比第一学习网络降低了大约4％和5％。但是，第二学习网络在通过转移训练从第一学习网络获得知识(例如DSF方法和DSFG方法)的情况下，其检测精度变得与第一学习网络接近，同时检测速度要快得多。

以上对比显示，根据本公开各个实施例的第二学习网络经由相较第一学习网络在结构上的“缩简”以及受益于第一学习网络的学习结果的转移训练，能够在保持与方法I相当的检测精度的同时，显著提高检测效率(比方法I快5倍)。根据本公开各个实施例的第二学习网络的检测方法在存储器利用效率上更高，相较方法I所需的84MB内存，其只需16MB内存。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且，在上面的详细描述中，各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。而是，发明主题可以在于比一个公开的实施例的所有特征少的特征组合。因此，以下权利要求由此作为示例或实施例并入到具体实施方式中，其中每个权利要求独立作为单独的实施例，并且可以构想的是，这些实施例可以以各种组合或置换来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。

Claims (17)

1.一种图像检测学习网络的训练方法，其特征在于，所述训练方法包括：

构建第一学习网络和第二学习网络，使得所述第二学习网络的参数的数量少于所述第一学习网络；

由处理器，利用医学图像的训练数据集对第一学习网络进行训练，以得到训练好的第一学习网络；

由所述处理器，利用所述医学图像的训练数据集基于训练好的第一学习网络的学习结果对所述第二学习网络进行训练，包括：基于训练好的第一学习网络的分类损失、所述第二学习网络与所述训练好的第一学习网络生成的各种分类的概率的差异连同所述第二学习网络与所述训练好的第一学习网络的中间层对应的特征的差异作为损失函数，对所述第二学习网络进行训练，

所述第二学习网络被配置用于医学图像检测。

2.根据权利要求1所述的训练方法，其特征在于，训练好的第一学习网络的学习结果包括其权重参数以及其习得的各种分类的概率。

3.根据权利要求1所述的训练方法，其特征在于，所述损失函数利用如下公式(1)计算：

其中，L表示所述损失函数，S表示训练数据集，x表示训练样本，L_CLS表示第一损失项，该第一损失项基于训练好的第一学习网络的分类损失以及所述第二学习网络与所述训练好的第一学习网络生成的各种分类的概率的差异两者，L_guide表示第二损失项，该第二损失项表示所述第二学习网络与所述训练好的第一学习网络的中间层对应的特征的差异，L_reg表示正则化惩罚项，λ和γ为所述第二学习网络训练前预定的参数。

4.根据权利要求3所述的训练方法，其特征在于，第一损失项L_CLS利用如下公式(2)和(3)计算：

L_CLS＝L_hard+βL_soft， 公式(2)

其中，L_hard表示训练好的第一学习网络基于地面真值标签计算的分类损失，L_soft表示所述第二学习网络与所述训练好的第一学习网络生成的各种分类的概率的差异，

和p_i分别表示第二学习网络和训练好的第一学习网络分别生成的相应分类的概率,β为所述第二学习网络训练前预定的参数。

5.根据权利要求4所述的训练方法，其特征在于，

和p_i分别由第二学习网络和训练好的第一学习网络的逻辑层的输出经由softmax函数处理得到。

6.根据权利要求3所述的训练方法，其特征在于，第二损失项L_guide利用如下公式(4)计算：

L_guide＝||F₁-F₂||²， 公式(4)

其中，F₁表示训练好的第一学习网络的中间层习得的特征，F₂表示所述第二学习网络的中间层习得的特征，并且在F₁和F₂的维度不同的情况下，利用适配层将F₁映射为具有与F₂相同的维度以利用公式(4)计算第二损失项L_guide。

7.根据权利要求1所述的训练方法，其特征在于，所述第二学习网络的参数包括层数、权重参数、卷积运算的参数中的至少一种。

8.根据权利要求1所述的训练方法，其特征在于，训练样本是标注图像块。

9.一种图像检测学习网络的获取方法，其特征在于，所述获取方法包括：获取利用根据权利要求1-8中任何一项所述的训练方法得到的训练好的第二学习网络；在所述训练好的第二学习网络包括多层感知层的情况下，将所述多层感知层转换为卷积层。

10.根据权利要求9所述的获取方法，其特征在于，所述获取方法还包括将所得到的所述卷积层转换为深度可分离卷积层；或者所述第二学习网络利用深度可分离卷积层来构建。

11.一种图像检测装置，其特征在于，所述图像检测装置包括：

接口，其配置为接收由图像采集装置采集的医学图像；

处理器，其配置为：

执行根据权利要求1-8中任何一项所述的图像检测学习网络的训练方法，或者根据权利要求9所述的图像检测学习网络的获取方法；以及

基于所述医学图像利用训练好的第二学习网络来进行检测，或者基于所述医学图像利用转换后的第二学习网络来进行检测。

12.根据权利要求11所述的图像检测装置，其特征在于，所述医学图像包括全片图像(WSI)，所述检测包括癌症检测。

13.根据权利要求11所述的图像检测装置，其特征在于，基于所述医学图像利用训练好的第二学习网络来进行检测包括：

将所述医学图像利用滑动窗分割为预定尺寸的图像块；

基于所述图像块利用训练好的第二学习网络进行检测；以及

将各个图像块的检测结果整合。

14.根据权利要求11所述的图像检测装置，其特征在于，基于所述医学图像利用转换后的第二学习网络来进行检测包括：

基于不同尺寸的医学图像直接利用转换后的第二学习网络进行检测。

15.一种图像检测装置，其特征在于，所述图像检测装置包括：

接口，其配置为接收由图像采集装置采集的医学图像；

处理器，其配置为：

执行根据权利要求10所述的图像检测学习网络的获取方法；以及

基于所述医学图像利用训练好的第二学习网络来进行检测，或者基于所述医学图像利用转换后的第二学习网络来进行检测。

16.根据权利要求15所述的图像检测装置，其特征在于，所述深度可分离卷积层依序包括深度卷积层和逐点卷积层。

17.一种其上储存有计算机程序的非暂时性计算机可读的介质，其中，所述计算机程序由至少一个处理器执行时，实现：

根据权利要求1-8中任何一项所述的图像检测学习网络的训练方法，或者根据权利要求9或10所述的图像检测学习网络的获取方法；以及

基于医学图像利用训练好的第二学习网络来进行检测，或者基于所述医学图像利用转换后的第二学习网络来进行检测。

Images