CN109447940B - 卷积神经网络训练方法、超声图像识别定位方法及系统 - Google Patents

Abstract

一种卷积神经网络训练方法、超声图像识别定位方法及系统，该训练方法包括：建立卷积神经网络模型；以ImageNet上训练好的卷积神经网络模型作为起点，以不同网络结/层读取训练数据集中的B超图像，然后用B超图像去进行微调，进行神经网络模型迁移学习；其中，所述训练数据集中的图像来自单中心、多台机器的B超检查图像，并以病理检查结果进行标记；通过回归完成物体位置和类别判定。本发明提供了一种利用迁移学习及深度卷积神经网络实现超声图像，例如甲状腺结节的超声图像的人工智能识别定位系统，大大提高模型的准确率，实现了辅助评估甲状腺结节的良恶性及其定位系统的成型。

Description

卷积神经网络训练方法、超声图像识别定位方法及系统

技术领域

本发明涉及图像分析技术领域，具体地涉及一种卷积神经网络训练方法、超声图像识别定位方法及系统。

背景技术

我国2003-2011年间统计数据显示，甲状腺癌发病和死亡分别以每年20.1％和1.6％的速度上升，全国各肿瘤登记点的甲状腺癌发病率均呈现上升趋势。在世界范围，甲状腺癌发病率在过去几十年里持续上升，尤其在女性中，呈现爆发性的增长。甲状腺结节现已成为常见的临床问题，超声是甲状腺癌鉴别诊断的最常用手段，具备无创、简便、经济的特点，得到广泛应用，唯一的缺点是对检查者要求比较高，需要经验丰富的高年资医师才能做出准确评估超声评估甲状腺良恶性风险，决定了患有甲状腺结节的人群是否需要进一步行细针穿刺活组织检查或手术治疗，而经验丰富的高年资医师培养需要周期长，各地区医疗资源分配不均衡。此外，诊断医师的临床工作繁重，重复性检查工作，检查效率低下，容易疲劳，容易犯人工性错误，不同医师认知等导致检查结果存在差异。

美国、韩国及欧洲均对超声评估结节的风险做了指南建议，主要基于结节的边界、回声、实性、钙化及血流信号等特征。这些都为了在临床实践中服务于医生，以提高在诊断中的可重复性及简化描述结果。计算机技术的进步及计算速度的提高使得人工智能得以飞跃发展。人工智能学习系统，为进一步提高效率，简化工作流程提供了可能。如果将人工智能技术应用于超声图像的识别定位，开发出例如适用于甲状腺癌的超声图像人工智能识别定位系统和方法，对提高医生工作效率，不同医师诊断获得重复性结果，均衡医疗资源，改善患者就诊体验等方面具有重要作用，具有广阔的应用前景和经济价值。

发明内容

有鉴于此，本发明的主要目的在于提供一种超声图像识别定位的方法和系统，以期至少部分地解决上述技术问题中的至少之一。

为了实现上述目的，作为本发明的一个方面，提供了一种用于超声图像识别定位的卷积神经网络的训练方法，其特征在于，包括以下步骤：

步骤A，建立卷积神经网络模型；

步骤B，以ImageNet上训练好的卷积神经网络模型作为起点，以不同网络结/层读取训练数据集中的B超图像，然后用B超图像去进行微调，进行神经网络模型迁移学习；其中，所述训练数据集中的图像来自单中心、多台机器的B超检查图像，并以病理检查结果进行标记；

步骤C，通过回归完成物体位置和类别判定。

作为本发明的另一个方面，还提供了一种超声图像识别定位的方法，其特征在于，包括以下步骤：

基于如上所述的训练方法预先训练得到的卷积神经网络模型对待识别的超声图像进行识别。

作为本发明的再一个方面，还提供了一种超声图像识别定位系统，其特征在于，包括：

存储器，用于存储用于执行如上所述的超声图像识别定位方法的程序；

处理器，用于执行存储器中存储的程序。

基于上述技术方案可知，本发明的超声图像识别定位的方法和系统具有如下有益效果：

(1)提供了一种利用迁移学习及深度卷积神经网络实现超声图像，例如甲状腺结节的超声图像的人工智能识别定位系统，通过迁移学习，大大提高模型的准确率，利用多结构卷积神经网络模型，实现了辅助评估甲状腺结节的良恶性及其定位系统的成型；

(2)医学数据集的建立和应用是人工智能诊断的壁垒，以临床病理诊断较为精确的标注结节，建立了大样本数据集。本研究为整张图像信息数据进行训练学习，有区别于以往的特征提取及结节即感兴趣区域的特征学习，以分类激活图标记最能影响ResNet预测的区分区域，证明学习的有效性，因此能够为深度卷积神经网络模型训练提供可能。

附图说明

图1是本发明中采用的卷积神经网络的架构图；

图2是交并比(IoU)图例；

图3是本发明的迁移学习的步骤示意图；

图4是本发明中用到的甲状腺数据集及构成；

图5是本发明的分类激活图；

图6是本发明的残差块思想示意图；

图7是本发明的两模型训练过程示意图；

图8是本发明中模型与人类专家的比较步骤示意图；

图9是本发明的超声图像识别方法的实施流程图；

图10是本发明的多个定位及预测评估结果的展示。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明中所采用的卷积神经网络主要由卷积层和池化层构成，其架构图例如如图1所示，可以在最后两层具有2个全连接层。其中，本发明交替使用1×1的卷积层，能够降低特征空间的复杂度。本发明的卷积神经网络不需要通过区域候选框去寻找目标，直接通过回归分析完成物体位置和类别判定，把物体检测问题转化为回归问题来解决。具体地，它把输入图像划分成S×S的网格，预测物体边框、置信度，同时计算是某类物体的概率。预测结果被编码为一个S×S×(B×5+C)的张量，S×S为网格数，C为类别数、B为边框数据。本发明的卷积神经网络使用均方误差作为目标损失函数，衡量网络预测结果S×S×(B×5+C)维张量跟实际图像中物体对应的S×S×(B×5+C)维张量的偏倚程度，可以简单表示为：

其中CoordinateError为位置误差、IoUError为交除并(Intersection-over-Union)误差、ClassError为分类误差。上述损失函数loss进一步展开可以得到如下式子：

其中x、y、w、h、C、p为预测值，

为实际标注值。其中

代表物体出现在第i个网格中，

代表第i个网格中的第j个边框对预测有贡献。由于位置误差、IoU误差和分类误差对损失函数贡献度不一样，因而通过λ_coord和λ_noobj进行修正。从而极大地简化了目标物体检测步骤，速度得到了极大提升，在精度、速度和多分类效果上得到了显著提高，并且速度更快。

针对每一类物体检测结果，平均精确度(AP)被定义为PRC曲线下方的面积。交并比(IoU)定义为预测物体边框和真实物体边框的交集除以它们的并集，其含义示意如图2所示。

该深度卷积神经网络包括：

神经网络的初始卷积层从图像中提取特征，而全连接层预测输出概率和坐标。如图1所示，本发明的基于卷积神经网络的物体检测算法是一个彻底端到端的目标检测系统，准确率高并且速度极快，能够达到实时目标物体检测需要，它将图像划分为均匀网格，每个网格单元预测这些框的边界框和置信度分数。置信度分数反映了该模型对定位及预测物体的准确度。

该神经网络例如包括24个卷积层和2个全连接层，也可以变化为22个卷积层和5个池化层，其具体结构例如如下所示：

在一个优选实施例中，本发明的用于超声图像识别定位的深度卷积神经网络的训练方法，包括以下步骤：

建立模型；

以ImageNet上训练好的模型作为起点，以不同网络结(层)读取训练数据集甲状腺结节的B超图像，然后用B超图像去进行微调(fine-tuning)，进行神经网络模型迁移学习，训练数据集图像来自单中心、多台机器甲状腺检查图像，并以病理检查结果进行标记；

通过回归完成物体位置和类别判定。

其中，为了加快网络收敛，采用了在ImageNet上训练好的网络进行微调的方法。微调能够解决训练数据缺少的不足，它可以减少参数搜索空间、加快算法收敛。本发明中采用在ImageNet上训练好的模型作为起点，然后用B超图像数据去进行微调(fine-tuning)。其基本步骤包括：

-在源数据集(例如ImageNet)上训练出一个神经网络；

-将输出层改成适合目标数据的大小；

-将输出层权重初始化为随机值，其他层权重不变；

-用目标数据训练网络。

本发明所采用的图像数据集有明确的病理标记，准确及可靠性高。以可靠度数据修正训练好的模型，起点高，已获得满意结果。

本发明采取的是整体图像识别的神经网络算法，在完成模型训练之后，通过画出类别激活图去判断输入图像中哪些区域对预测结果贡献最大，并与专家看图所使用的特征进行比较，印证了训练好的深度学习模型所使用的特征跟人类专家所用的特征是一致的。

B超图像变化大噪音高，在训练模型之前可以对图像数据进行脱敏和清洗。使用病理检查结果作为金标准划分甲状腺病变的良恶性。

在一个优选实施例中，本发明的超声图像识别定位的方法，包括以下步骤：

基于预先训练的深度卷积神经网络对待识别的超声图像进行识别。

本发明还公开了一种超声图像识别定位系统，包括：

存储器，用于存储用于执行如上所述的方法的程序；

处理器，用于执行存储器中存储的程序。

其中，该处理器例如为单片机、台式机、平板电脑、笔记本电脑、计算机网络、可编程逻辑控制器中的处理器。

下面结合具体实例及附图来对本发明的技术方案作进一步阐述说明。

在实际应用中，本发明主要由两个过程实现，利用ResNet网络在甲状腺结节B超图像上的分类性能，并通过目标检测模型进行甲状腺结节的自动定位，以ImageNet上训练好的模型作为起点，然后用B超图像数据去进行微调(fine-tuning)，以此获取甲状腺结节超声图像人工智能识别定位系统。该系统可以辅助医师进行甲状腺癌结节的实时定位，提高图像识别的客观性及重现性。

在实际应用中，以甲状腺的超声图像为例，本发明的基于深度卷积神经网络的超声图像识别定位的方法，包括以下步骤：

1.收集单中心、多台机器甲状腺检查图像，收集同期病理检查结果。

2.对数据集进行预处理，以临床病理结果对数据集进行单个结节个体化标记，建立甲状腺B超图像超级数据集，随后隐去姓名、性别、年龄等信息，最终数据集包含有46481个个体，298195张图像。上述简单步骤流程如图4所示。

3.将数据集平衡性别、年龄等因素，随机分为训练数据集(85％，253477张图像)、验证数据集(5％，14908张图像)及测试数据集(15％，29810张图像)。

4.为整张图像信息数据进行训练学习，区别于以往的特征提取及结节即感兴趣区域的特征学习，为排除因图像混杂导致的误差学习，因此在学习之初，如图5所示，以类别激活图显示图像中对结果判断影响最大的区域，证明学习的有效性。

5.以ImageNet上训练好的模型作为起点，以不同网络结构(层)读取训练数据集甲状腺结节的B超图像，然后用B超图像数据去进行微调(fine-tuning)预训练的ResNet模型，同时用验证数据集反复迭代验证，评估模型性能指标，包括敏感性、特异性、准确率和AUC，取最优模型。

本发明采用了卷积神经网络(convolutional neural network，CNN)算法中的ResNet(残差网络)，它的两个特点是使用了残差块(residual block)以及极深的网络结构(能达到152层或更高)，残差块能够降低优化难度、加快算法收敛，降低了错误率，同时计算量并没有增加。

本发明所采用的残差块的思想是把输入x通过卷积-ReLU-卷积操作后输出为F(x)，并把F(x)添加到原始输入x中得到H(x)＝F(x)+x，从而能够解决在深度卷积神经网络中经常出现的梯度消失的困扰，原理示意如图6所示。

6.以测试数据集进行模型测试，完成ResNet模型甲状腺结节良恶性分类模型训练。通过ROC曲线及ROC曲线下面积、准确率、敏感性、特异性、阳性预测率、阴性预测率、Kappa系数来评判甲状腺良恶性模型的性能。

7.从整体数据集随机提取21539张甲状腺癌图像，并对恶性结节进行人工定位标注，建立甲状腺结节人工标注数据集。

8.将数据集平衡性别、年龄等因素，随机分为训练数据集(85％，20539张图像)和验证数据集(5％，1000张图像)。

9.以ImageNet上训练好的模型作为起点，以不同网络结构(层)读取训练数据集甲状腺结节的B超图像，然后用B超图像去进行微调(fine-tuning)，进行YOLO模型迁移学习，以不同网络结构(层)读取人工甲状腺结节标注的训练数据集的B超图像，同时用验证数据集反复迭代验证，取最优化模型。

10.以包括交并比、召回率和平均精确率评估模型性能，完成甲状腺结节定位模型训练。通过PRC曲线(precision-recall curve)、平均精确度(average precision，AP)和交并比(Intersection-over-Union，IoU)来评价甲状腺结节定位模型的性能

11.基于上述数据训练深度学习模型对甲状腺结节性质进行预测性评估以及结节进行自动定位，并与5位7年以上资质甲状腺B超专家的诊断结果进行对比，并分析各自优劣，实验步骤流程如图8所示。评价指标包括准确性、敏感性、特异性、阳性预测率(PPV)、阴性预测率(NPV)和F1分值(计算方式参照如下表1)

其中，上述第5及第9步即两个模型的训练过程，其训练步骤流程示意如图7所示。

与专家比较的结果如下表1所示。

表1模型与人类专家判读结果比较

图9是如上所述的本发明的超声图像识别方法的主要实施步骤流程图，图10是采用本发明的上述方法得到的识别定位系统的定位及预测评估结果展示，图10的方法中采用了YOLO模型对结节定位及辅助评估分类，且如图10所示，本发明的超声图像识别定位系统在应用于甲状腺的超声图像时，能够准确识别如图10所示的结节区域，其中的方框勾勒区域为结节，上标概率为对预测评估的置信度分数。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于超声图像识别定位的卷积神经网络的训练方法，其特征在于，包括以下步骤：

步骤A，建立卷积神经网络模型；

步骤B，以ImageNet上训练好的卷积神经网络模型作为起点，以不同网络结/层读取训练数据集中的整张B超图像，然后用B超图像去进行微调，进行神经网络模型迁移学习；其中，所述训练数据集中的图像来自单中心、多台机器的B超检查图像，并以病理检查结果进行标记；

步骤C，通过回归完成物体位置和类别判定；

步骤C中卷积神经网络模型采用的物体检测算法是一个端到端的目标检测算法，它将图像划分为均匀网格，每个网格单元预测这些网格的边界框和置信度分数，其中置信度分数反映了所述卷积神经网络模型对定位及预测物体的准确度；所述卷积神经网络模型把输入图像划分成S×S的网格，预测物体边框、置信度，同时计算是某类物体的概率；预测结果被编码为一个S×S×(B×5+C)的张量，其中，S×S为网格数，C为类别数、B为边框数据；

所述卷积神经网络模型使用均方误差作为目标损失函数，衡量网络预测结果S×S×(B×5+C)维张量跟实际图像中物体对应的S×S×(B×5+C)维张量的偏倚程度，目标损失函数loss表示为：

其中CoordinateError为位置误差、IoUError为交除并误差、ClassError为分类误差；

所述目标损失函数loss进一步展开得到如下式子：

其中，所述式子中的第一项、第二项表示位置误差，第三项表示IoU误差，第四项表示分类误差，x、y、w、h、C、p为预测值，

为实际标注值；其中

代表物体出现在第i个网格中，

代表第i个网格中的第j个边框对预测有贡献；位置误差、IoU误差和分类误差对损失函数的贡献度通过λ_coordλ_coord和λ_noobj进行修正；

在完成模型训练之后，通过画出类别激活图去判断输入图像中哪些区域对预测结果贡献最大，并与专家看图所使用的特征进行比较，印证训练好的卷积神经网络模型所使用的特征跟人类专家所用的特征是否一致。

2.如权利要求1所述的训练方法，所述卷积神经网络模型由卷积层和池化层构成；所述卷积神经网络模型交替使用1×1的卷积层。

3.如权利要求1所述的训练方法，其特征在于，所述步骤B中用B超图像进行微调的具体步骤包括：

步骤B1，在源数据集上训练出一个卷积神经网络；

步骤B2，将输出层改成适合目标数据的大小；

步骤B3，将输出层权重初始化为随机值，其他层权重不变；

步骤B4，用目标数据训练网络。

4.如权利要求1所述的训练方法，其特征在于，步骤B中所使用的B超图像在训练模型之前进行了脱敏和清洗，且使用病理检查结果作为金标准划分病变的良恶性。

5.一种超声图像识别定位的方法，其特征在于，包括以下步骤：

基于如权利要求1～4任一项所述的训练方法预先训练得到的卷积神经网络模型对待识别的超声图像进行识别。

6.一种超声图像识别定位系统，其特征在于，包括：

存储器，用于存储用于执行如权利要求5所述的超声图像识别定位方法的程序；

处理器，用于执行存储器中存储的程序。

7.如权利要求6所述的超声图像识别定位系统，其特征在于，所述处理器为单片机、台式机、平板电脑、笔记本电脑、计算机网络、可编程逻辑控制器中的任意一种处理器。

Images