CN113421228A

CN113421228A - 一种基于参数迁移的甲状腺结节识别模型训练方法及系统

Info

Publication number: CN113421228A
Application number: CN202110620765.5A
Authority: CN
Inventors: 王红; 杨杰; 王正军; 滑美芳; 杨雪; 李刚
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2021-06-03
Filing date: 2021-06-03
Publication date: 2021-09-21

Abstract

本发明公开了一种基于参数迁移的甲状腺结节识别模型训练方法及系统，所述方法包括：获取带标记的源域数据和甲状腺结节超声图像；采用所述源域数据对卷积神经网络进行预训练，得到预训练模型参数；在所述卷积神经网络的基础上对全连接层进行增减，保留的层采用预训练模型参数，以甲状腺结节超声图片作为输入，对修改后的卷积神经网络进行训练，得到甲状腺结节识别模型，用于对甲状腺结节进行识别，辅助诊断。本发明通过引入迁移学习的思想，解决了因甲状腺结节影响数据目标识别难度大，特征不明显从而难以训练的问题。

Description

一种基于参数迁移的甲状腺结节识别模型训练方法及系统

技术领域

本发明属于计算机辅助医疗技术领域，尤其涉及一种基于参数迁移的甲状腺结节识别模型训练方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着科技的不断进步，医学影像采集愈加便利和精准，成为医生诊断患者病情的直接依据。对于甲状腺结节的检查目前主要依靠超声，相较于CT和核磁，超声的好处是便宜、灵活、实时、无副作用；但缺点是图像不清楚、噪音比较大，这对医生的要求就比较高。而CT和核磁的优点是图像清晰，缺点是检测费用高、副作用比较大。基于此，我们就选择了基于甲状腺结节超声影像的识别和诊断。传统的医学影像的诊断的工作流程大体是这样的：首先将非结构化影像数据进行识别、分析与处理，提取相关信息；其次，将大量临床影像数据和诊断经验输入人工智能模型，使神经元网络进行深度学习训练；最后，基于不断验证、总结与迭代的算法模型，进行影像诊断智能推理，输出个性化的诊疗判断结果。

发明人发现现有技术中存在以下技术问题：

深度学习虽然在图像识别领域中大放异彩，但却需要大量的数据进行训练。而在医疗影像识别领域中，由于涉及到病人隐私等原因，往往很难得到大量的优质的图像数据，因此难以取得好的效果。

同时，为了取得更优异的效果，深度学习的网络结构也越来越深，因此耗费了更多的计算资源，并且使用了更多的参数，导致更多的内存占用，造成了极大的显存开销。这非常不利于深度学习在医学影像领域的推广落地。

而针对于甲状腺结节诊断任务，由于超声图像存在着对比度低、灰度不均匀、斑点噪声较严重、边缘模糊等一些缺陷，并且不同的检测设备和使用习惯等因素也会造成误差，使得甲状腺结节诊断模型的训练更加困难；再者，获取充足的甲状腺结节超声影像作为训练数据较为困难，且标注成本很高，这些都导致甲状腺结节超声诊断的任务难度更高。因此，甲状腺结节诊断任务与其他的图像分类任务相比，挑战更大，目前未解决的难题更多。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于参数迁移的甲状腺结节识别模型训练方法及系统。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于参数迁移的甲状腺结节识别模型训练方法，包括以下步骤：

获取带标记的源域数据和甲状腺结节超声图像；

采用所述源域数据对卷积神经网络进行预训练，得到预训练模型参数；

在所述卷积神经网络的基础上对全连接层进行增减，保留的层采用预训练模型参数，以甲状腺结节超声图片作为输入，对修改后的卷积神经网络进行训练，得到甲状腺结节识别模型。

一个或多个实施例提供了一种基于参数迁移的甲状腺结节识别模型训练系统，包括：

训练数据获取模块，被配置为：获取已进行数据标记的源域数据和甲状腺结节超声图像；

预训练模块，被配置为：采用所述源域数据对卷积神经网络进行预训练，得到预训练模型参数；

迁移训练模块，被配置为：在所述卷积神经网络的基础上对全连接层进行增减，保留的层采用预训练模型参数，以甲状腺结节超声图片作为输入，对修改后的卷积神经网络进行训练，得到甲状腺结节识别模型。

一个或多个实施例提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述所述的方法。

一个或多个实施例提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述所述的方法。

一个或多个实施例提供了一种基于参数迁移的甲状腺结节识别系统，包括：

数据获取模块，被配置为获取待识别的甲状腺超声图像；

甲状腺结节识别模块，被配置为根据所述甲状腺超声图像，采用甲状腺结节识别模型，进行甲状腺结节识别；其中所述甲状腺结节识别模型采用上述所述的方法进行训练。

以上一个或多个技术方案存在以下有益效果：

本申请引入迁移学习的思路，首先基于其他领域的不同类别图像数据作为源域数据对模型进行预训练，再基于有限的甲状腺超声影像数据进行训练，得到针对甲状腺结节的识别模型，解决了因甲状腺结节影响数据目标识别难度大，特征不明显从而难以训练的问题。

并且其中，为了避免源域数据对模型识别精度的影响，对预训练得到的模型最后几层进行替换后再采用甲状腺超声影像数据进行训练，提高了模型针对甲状腺结节的识别精度。

为了使预训练模型更好的拟合，具有更高的分辨能力，因而采用了大量的预训练数据，同时，为了节省训练资源，提高训练效率，采用局部监督学习的方法进行训练，很好的兼顾了预训练模型的精度和训练效率。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例的方法流程图；

图2为本发明实施例预训练模型的网络结构示意图；

图3为本发明实施例基于预训练模型微调之后的神经网络结构图；

图4为本发明实施例的系统功能模块图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种基于参数迁移的甲状腺结节识别模型训练方法，如图1所示，包括以下步骤：

步骤1：获取已进行数据标记的源域数据和甲状腺结节超声图像；

具体地，从ImageNet开源数据集中获取训练用的开源图片，进行类别合并，添加标签用作训练用的源域数据。为了得到能够提取图片低维特征的参数，本实例从ImageNet开源数据集中提取图片进行类别合并，筛选出人物、动物、室内、交通四大类构成预训练数据集，来训练图片分类任务。其中数据集格式为jpg格式。

从国外开源医疗图像网站上爬取甲状腺结节超声图片，进行修剪并添加标签，最终得到甲状腺结节超声图像，作为目标域数据。对影像判断的标签只有两种：要么是阳性(positive)，要么是阴性(negative)。这样的简化也符合大部分医学影像识别问题的实际情况。

本实施例包括4554名患者的甲状腺结节超声图片构成初始数据集，数据集格式为jpg图片格式，为了提高预测效果，将4554的甲状腺结节超声图片根据每张图片的标签按照4：1的比例分为训练集和测试集，类体类别如表1所示。

表1 实体类别信息表

	阳性	阴性	总计
				训练集	2003	1641	3644
测试集	544	366	910

步骤2：采用所述源域数据对卷积神经网络进行预训练，得到预训练模型参数；

其中，所述神经网络采用VGG16网络模型。选取VGG16网络模型主要基于以下几点原因：首先，VGG16网络作为一个基础网络，它的分类性能非常好，网络结构非常规整，修改起来相对容易。在ImageNet上训练的model已经公布，可以在此基础上对其他数据集进行finetuning，且对其他数据集适应能力很好，因此我们完全可以利用迁移学习将VGG16网络模型作为一个预训练模型运用到甲状腺结节诊断的任务中，帮助我们达到提升预测准确率的目的。

如图2所示，VGG16网络模型的模型架构按顺序分别是卷积-卷积-池化-卷积-卷积-池化-卷积-卷积-卷积-池化-卷积-卷积-卷积-池化-卷积-卷积-卷积-池化-全连接-全连接-全连接。

卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。卷积操作的公式见公式1、2、3：

H₂＝(H₁-F+2P)/S+1 (1)

W₂＝(W₁-F+2P)/S+1 (2)

D₂＝K (3)

输入图片大小为H₁*W₁*D₁，K表示过滤器Filter的数量，F表示过滤器Filter的大小，S表示的是步长，P表示的是零填充大小，输出结果大小为H₂*W₂*D₂。

卷积层负责提取特征，由多个特征面(feature map)组成，每个特征面又有多个神经元。同一个特征面上的神经元卷积核参数固定，即权值共享。随着卷积层层数增加，输出的特征逐渐抽象。卷积过程就是卷积核上的权值参数与其输入图像对应元素相乘并求和，然后加上偏置值、通过激活函数，得到神经元的输出值。假设输入一张图像，则卷积层原理如公式4所示：

其中

表示第1层第个神经元的输出，*表示卷积操作，M^l-1表示第l-1层中输入的特征面，

表示连接第l-1层特征面和

的卷积核，

表示偏置值。f表示激活函数，本方法使用的是ReLU激活函数。

所谓池化层，通常用来将卷积层之后得到的维度很大的特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征。目的是为了减少特征图，主要作用是通过减少网络的参数来减小计算量，并且能够在一定程度上控制过拟合。一般池化层夹杂在连续的卷积层之间。

所谓全连接层，就是把所有局部特征结合变成全局特征，用来计算最后每一类的得分。前面的卷积和池化相当于做特征工程，后面的全连接层相当于做特征加权。最后的全连接层在整个卷积神经网络中起到“分类器”的作用。

所谓局部监督学习是一种将网络拆分成若干段、使用局部监督信号进行训练、比目前广为使用的端到端训练模式显存开销更小、更容易并行化的训练方法。但它具有一个问题：局部监督学习往往会损害网络的整体性能。而局部监督学习之所以会损害网络的整体性能，是因为其倾向于使网络在浅层丢失与任务相关的信息，从而使得深层网络空有更多的参数和更大的容量，却因输入特征先天不足而无用武之地。为了解决损失信息的问题，我们使用了一种专为局部监督学习定制的损失函数：InfoPro，如公式5所示：

L_InfoPro(h)＝α[-I(h，x)+βI(r^*，h)]，α，β≥0，

I(h，x)和I(h，y)表示中间层特征而与输入数据x和任务标签y之间的互信息，并以此作为h中包含的全部信息和任务相关信息的度量指标。公式中第一项I(h，x)用于推动局部模块向前传递所有信息；在第二项βI(r^*，h)中，使用一个满足特殊条件无关变量r*来建模中间层特征中的全部任务无关信息(无用信息)，在此基础上迫使局部模块剔除这些与任务无关的信息。简言之，InfoPro损失函数的目标是使得局部模块能够在保证向前传递全部有价值信息的条件下，尽可能丢弃特征中的无用信息，以解决局部监督学习在浅层丢失任务相关信息、影响网络最终性能的问题。

步骤3：由于深度学习模型随着网络层数的加深，更深的隐藏层越来越倾向于学习训练数据的高维特征而忽略样本的低维特征，因此VGG16网络模型的最后几层隐藏层的参数更倾向于学习源域数据的高维特征，进而不利于甲状腺结节超声图像的识别任务，因此在所述卷积神经网络的基础上删除掉最后三层全连接层添加了新的三个全连接层并且固定预训练模型参数，以甲状腺结节超声图片作为输入，对添加的全连接层进行训练，得到甲状腺结节识别模型。

首先借鉴迁移学习的思想，利用基于ImageNet源域数据集训练好的VGG16网络模型，释放最后一个卷积层的参数得到一条一维向量作为全连接层的输入，之后删除学习高维特征的最后三层全连接层再添加三个新的层，其中最后一层全连接层使用“sigmoid”作为激活函数以便于分类甲状腺节点是否病变。得到微调之后的机器学习模型结构。如图3所示。

所述迁移学习是指将源域中的知识迁移到目标域中以提升学习模型的表现。传统分类学习的可靠性与准确性大都基于以下两个假设：(1)训练集和测试集中的样本满足独立同分布条件；(2)有足够多的训练样本。但是甲状腺结节超声影像难以获得，且标注成本很高，难以满足以上假设，而迁移学习可以很好的解决这些问题。VGG16具有很深的网络结构，在网络低层次提取到的特征与数据集关系不大，而在高层次提取到的特征与目标任务紧密相关，所以预训练模型和目标模型可以共享低层次参数，只需重新训练高层权重。输出识别结果正确率最高时对应的机器学习模型即为训练好的机器学习模型；否则，就继续训练。

然后利用在ImageNet数据集上预训练的VGG16网络模型，将甲状腺结节超声图像作为训练数据，保持模型低层预训练权重不变，更新添加的三个全连接层的权重，解决甲状腺结节诊断的学习任务。

实施例二

本实施例提供了一种基于参数迁移的甲状腺结节识别模型训练系统，包括：

实施例三

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于参数迁移和局部监督学习的甲状腺结节诊断系统中的步骤。

实施例四

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于参数迁移和局部监督学习的甲状腺结节诊断方法中的步骤。

实施例五

本实施例的目的是提供一种基于参数迁移的甲状腺结节识别系统，包括：

数据获取模块，被配置为获取待识别的甲状腺超声图像；

甲状腺结节识别模块，被配置为根据所述甲状腺超声图像，采用甲状腺结节识别模型，进行甲状腺结节识别；其中所述甲状腺结节识别模型采用实施例一中所述方法进行训练。

以上实施例二至五的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上一个或多个实施例具有以下技术效果：

在数据获取阶段，从ImageNet数据集中获取大量优质的预训练图片来预先训练模型中的参数，因此可以适当减少训练时用到的稀有的甲状腺结节超声图片；

在训练阶段，先使用局部监督学习的方法用源域数据训练模型，再用目标域数据进行微调训练，大大缩短了训练时间，对训练用的配置要求也有效降低，甚至于可以从网上获取他人训练好的VGG16网络模型参数，直接在此基础上进行微调，训练时间及配置要求将更加缩减，使得缺少计算资源的研究人员也可以进行甲状腺结节诊断实验，进而有利于深度学习在甲状腺结节诊断领域的推广落地；

利用卷积神经网络和迁移学习相结合，对甲状腺结节数据进行微调训练。与传统的机器学习等方法相比，采用了端到端的学习方式，省去了在每一个独立学习任务执行之前所做的数据标注，而为样本做标注的代价是昂贵的、易出错的，因此降低了甲状腺结节超声图像识别的成本，并且降低了出错的概率，从而提升了甲状腺结节识别的准确度。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于参数迁移的甲状腺结节识别模型训练方法，其特征在于，包括以下步骤：

获取带标记的源域数据和甲状腺结节超声图像；

2.如权利要求1所述的基于参数迁移的甲状腺结节识别模型训练方法，其特征在于，所述预训练采用局部监督学习的训练方法。

3.如权利要求1所述的基于参数迁移的甲状腺结节识别模型训练方法，其特征在于，所述卷积神经网络采用VGG16网络模型。

4.如权利要求1所述的基于参数迁移的甲状腺结节识别模型训练方法，其特征在于，所述在所述卷积神经网络的基础上对全连接层进行增减为：删除最后三层全连接层添加三个全连接层。

5.一种基于参数迁移的甲状腺结节识别模型训练系统，其特征在于，包括：

6.如权利要求1所述的基于参数迁移的甲状腺结节识别模型训练方法，其特征在于，所述预训练采用局部监督学习的训练方法。

7.如权利要求1所述的基于参数迁移的甲状腺结节识别模型训练方法，其特征在于，所述在所述卷积神经网络的基础上对全连接层进行增减为：删除最后三层全连接层添加三个全连接层。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的方法。

10.一种基于参数迁移的甲状腺结节识别系统，其特征在于，包括：

数据获取模块，被配置为获取待识别的甲状腺超声图像；

甲状腺结节识别模块，被配置为根据所述甲状腺超声图像，采用甲状腺结节识别模型，进行甲状腺结节识别；其中所述甲状腺结节识别模型采用如权利要求1-4任一项所述的方法进行训练。