CN111598876A - 甲状腺结节自动识别模型构建方法、系统及设备 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的甲状腺结节自动识别模型构建方法、系统及设备，所述方法包括：对甲状腺超声图像进行数据降噪，获取训练数据集和测试数据集；将训练数据集输入到ResNet、DenseNet、和/或ResNext进行甲状腺结节恶性概率的训练，得到甲状腺结节自动识别模型；采用测试数据集对甲状腺结节自动识别模型进行测试。

Description

甲状腺结节自动识别模型构建方法、系统及设备

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种基于卷积神经网络的甲状腺结节自动识别模型构建方法、系统及设备。

背景技术

过去二十年来在全球范围内，甲状腺癌的发病率一直在增加。男性甲状腺癌患病率是女性患病率的三倍，且在中国，甲状腺癌成为30岁左右女性最常见的癌症之一。超声是筛查甲状腺癌的主要手段，其检测结果好坏通常由超声医生根据经验判别，因此甲状腺结节的良恶性检出取决于医生的水平。根据Reporting and Data System(TI-RADS)指南，将甲状腺癌划分I-V五个不同的时间阶段，同样甲状腺癌按性质可划分为乳头状，滤泡状，髓质和间变性四种类型，患有甲状腺癌的5年存活率近99.7％，但是该值会随着甲状腺癌子类不同而不同，乳头状，滤泡状，髓质癌在阶段I、II值存活率为近100％；在阶段III，髓质癌存活率为71％，间变性癌存活率为81％，乳头状癌存活率为93％；而在阶段IV，间变性癌存活率为7％，髓质性癌存活率为28％，滤泡状癌存活率为50％，乳头状癌则为51％。鉴于甲状腺癌在早期发现存活率较高，因此使用人工智能算法甲状腺超声图像自动算法可以帮助医生提高甲状腺癌的检出率，尤其是患有乳头状癌的患者，这样可以避免穿刺活检及甲状腺切除等痛苦及昂贵的手段。

传统机器学习方法的甲状腺癌自动识别往往分为两步走，首先提取特征，然后使用分类器进行分类。常用的提取特征的方法有SIFT、HOG、Haar-like、LBP特征等等，提取特征的好坏决定自动识别的效果；特征提取工作需要不断调参，是一件耗时费力的事情，与技术的经验有很大相关，经验丰富的专家往往提取出的特征更为有用，但拥有这样丰富的技术人员不多。常用的分类器有SVM、决策树、逻辑回归等等，不同的分类器在不同任务上效果不一，但效果不会相差太远。

随着深度学习的复兴，特别是在2012年，卷积神经网络(CNN)在ImageNet任务的突出效果引起世人极大关注，随后在图像识别领域获得统治地位，由于其在图像识别、定位、分割等各种视觉任务上取得的出色表现，渐渐的在医疗领域也不断应用。与传统机器学习方法不同，深度学习是一种端对端的方式，其能自动提取图像特征，因此可以免去传统机器学习上许多弊端。

从目前的研究现状来看，传统的机器学习方法在甲状腺自动识别上取得了一定的效果，使用深度学习方法也获得了相当效果，但随着时间推移，深度学习图像识别框架发生了巨大改进，但目前的甲状腺自动识别的研究还是使用较老的框架，因此效果还有提升的空间。因此甲状腺自动识别工作尚需进一步研究。

发明内容

本发明的目的在于提供一种基于卷积神经网络的甲状腺结节自动识别模型构建方法、系统及设备，旨在解决现有技术中的上述问题。

本发明提供一种基于卷积神经网络的甲状腺结节自动识别模型构建方法，包括：

对甲状腺超声图像进行数据降噪，获取训练数据集和测试数据集；

将训练数据集输入到ResNet、DenseNet、和/或ResNext进行甲状腺结节恶性概率的训练，得到甲状腺结节自动识别模型；

采用测试数据集对甲状腺结节自动识别模型进行测试。

本发明提供一种基于卷积神经网络的甲状腺结节自动识别模型构建系统，包括：

降噪模块，用于对甲状腺超声图像进行数据降噪，获取训练数据集和测试数据集；

训练模块，用于将训练数据集输入到ResNet、DenseNet、和/或ResNext进行甲状腺结节恶性概率的训练，得到甲状腺结节自动识别模型；

测试模块，用于采用测试数据集对甲状腺结节自动识别模型进行测试。

本发明实施例还提供一种基于卷积神经网络的甲状腺结节自动识别模型构建设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于卷积神经网络的甲状腺结节自动识别模型构建方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于卷积神经网络的甲状腺结节自动识别模型构建方法的步骤。

采用本发明实施例，在甲状腺自动识别中，使用最新卷积神经网络框架以一种端对端的技术方案对甲状腺超声图像进行自动识别模型的构建，提升自动识别效果，能在甲状腺癌早期阶段完成检测工作，从而不用使用穿刺等代价昂贵的工作，辅助医生完成对甲状腺癌的筛查。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的基于卷积神经网络的甲状腺结节自动识别模型构建方法的流程图；

图2是本发明实施例的Cycle-GAN的结构示意图；

图3是本发明实施例的基于卷积神经网络的甲状腺结节自动识别模型构建方法原理框图；

图4是本发明实施例的基于卷积神经网络的甲状腺结节自动识别模型构建系统的示意图；

图5是本发明实施例的基于卷积神经网络的甲状腺结节自动识别模型构建设备的示意图。

具体实施方式

本发明实施例提供了一种能够在甲状腺自动识别中，使用最新卷积神经网络框架以一种端对端的方式对甲状腺超声图像进行自动识别模型的构建方法，解决在甲状腺自动识别中效果不佳问题，应用深度学习图像自动识别技术，使用最新框架提取图像特征，以一种端对端的方式完成甲状腺自动识别任务，同时保证较高准确率，提升自动识别效果，使得能在甲状腺癌早期阶段完成检测工作，从而不用使用穿刺等代价昂贵的工作，辅助医生完成对甲状腺癌的筛查。本发明实施例方法的具体流程包含以下步骤。第一，对甲状腺超声图像数据降噪。第二，对甲状腺超声图像进行数据增强。第三，构建识别模型。第四，领域适配，拉近训练集和测试集分布距离。第五，模型集成，提升识别效果。

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

方法实施例

根据本发明实施例，提供了一种基于卷积神经网络的甲状腺结节自动识别模型构建方法，图1是本发明实施例的基于卷积神经网络的甲状腺结节自动识别模型构建方法的流程图，如图1所示，根据本发明实施例的基于卷积神经网络的甲状腺结节自动识别模型构建方法具体包括：

步骤101，对甲状腺超声图像进行数据降噪，获取训练数据集和测试数据集；步骤101具体包括：对甲状腺超声图像进行灰度化处理，得到二值化后图像；在二值化图像基础上，进行图像开运算，即先对图像进行腐蚀后对图像进行膨胀，完成对甲状腺超声图像的数据降噪。

具体地，甲状腺超声图像上有相当部分如仪器、时间、简略图等噪音信息，这些噪音信息在训练时会让网络学到无用的特征，从而影响测试效果，因此在训练测试之前有必要去除这些噪音。应用图像形态学方法可以做到这一点，首先对图像进行灰度化处理，阈值为0，得到二值化后图像；在二值化图像基础上，进行图像开运算。图像开运算与闭运算与膨胀和腐蚀运算有关，由膨胀和腐蚀两个运算的复合与集合操作(并、交、补等)组合成的所以运算构成。开运算即为先对图像腐蚀后膨胀，这样可以起去除噪音，保留原有图像信息不变。

需要说明的是，在本发明实施例中，获取训练数据集之后，可以对训练数据集采用基于生成对抗网络GAN的cycle-GAN进行离线数据增强；和/或，在进行模型训练时，也可以对训练数据集采用基于生成对抗网络GAN的cycle-GAN进行在线数据增强。

具体地，数据增强可以分为两类，一类是离线增强，一类是在线增强。离线增强是在训练之前对数据集进行处理，数据的数目会变成原数据集的几倍甚至更多，常用于数据集很小的时候。在线增强，这种增强的方法用是一边训练一边对数据增强，然后对这些数据进行增强，如旋转、平移、翻折等相应的变化，由于有些数据集不能接受线性级别的增长，这种方法长用于大的数据集。本发明实施例采用基于生成对抗网络(GAN)的cycle-GAN进行数据增强，Cycle-GAN结构如图2所示，由2个生成器(G,F)和2个判别器(DX，DY)组成，图2中X可指源域即训练集，Y可指目标域即测试集，生成器G将训练集X及生成器F生成的X^生成测试集Y，生成器F将真实的测试集Y及生成器G生成的Y^生成训练集X，DX、DY则分别判别X、Y是否为生成的图片，通过对抗训练，生成器G要尽可能欺骗DY，而生成器F要尽可能欺骗DX，当判别器DX、DY不在有能力分出真假时，真实的X通过生成器G生成的Y将会保持X的内容和Y的风格，同时生成的Y与X的标签信息保持一致。

步骤102，将训练数据集输入到ResNet、DenseNet、和/或ResNext进行甲状腺结节恶性概率的训练，得到甲状腺结节自动识别模型；

具体地，本发明实施例使用最先进的ResNet、DenseNet、ResNext进行甲状腺结节的自动识别。在ResNet之前，发现深度CNN网络达到一定深度后再一味地增加层数并不能带来进一步地分类性能提高，反而会招致网络收敛变得更慢，发现过深的网络仍然还会使分类准确度下降，影响模型的准确率，ResNet使用残差结构解决了这一问题，成为计算机视觉任务中最流行的框架。

DenseNet在ResNet思想之上进一步发展，当CNNs增加深度的时候，就会出现一个紧要的问题：当输入或者梯度的信息通过很多层之后，它可能会消失或过度膨胀。因此DenseNet提出的架构为了确保网络层之间的最大信息流，将所有层直接彼此连接。为了保持前馈特性，每个层从前面的所有层获得额外的输入，并将自己的特征映射传递给后面的所有层，缓解了消失梯度问题，加强了特征传播，鼓励特征重用，并大大减少了参数的数量。目前在许多医疗任务上效果超过ResNet。

传统的要提高模型的准确率，都是加深或加宽网络，但是随着超参数数量的增加，网络设计的难度和计算开销也会增加。因此ResNext则在ResNet的思想上，提出可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量的结构，即在借鉴Inception扩展网络宽度的思想，以多个分支学习不同特征，用一种平行堆叠相同拓扑结构的blocks代替原来ResNet的三层卷积的block，在不明显增加参数量级的情况下提升了模型的准确率，同时由于拓扑结构相同，超参数也减少了，便于模型移植，成为流行的识别任务框架。

在本发明实施例中，获取训练数据集之后，可以采用领域自适应方法将获取的训练数据集与测试数据集的数据特征映射到同一个特征空间。

具体地，在甲状腺识别任务中，往往训练集与测试集不服从同一数据分布，如训练集从A仪器采集，但测试集从B仪器采集，因此训练出的模型在训练集上表现效果良好，而在测试集上效果则相差甚远。因此，为了在测试集上提升准确率，一种有效的手段即拉近训练集与测试集之间分布的距离。领域自适应(Domain Adaptation)是迁移学习(TransferLearning)的一种，思路是将不同领域的数据特征映射到同一个特征空间，这样可利用其它领域数据来增强目标领域训练。本发明实施例采用Deep Adaptation Networks框架，提升测试集效果。

步骤102具体包括：

将训练数据集输入到ResNet、DenseNet或ResNext进行甲状腺结节恶性概率的训练，得到一个基于ResNet、DenseNet或ResNext的甲状腺结节自动识别模型；或者，

将训练数据集分别输入到ResNet、DenseNet及ResNext进行甲状腺结节恶性概率的训练，分别得到基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型；

集成学习是一种机器学习范式。在集成学习中，本发明实施例会训练多个模型解决相同的问题，并将它们结合起来以获得更好的结果。这些模型可用作设计更复杂模型的构件。在大多数情况下，这些基本模型本身的性能并不是非常好，这要么是因为它们具有较高的偏置要么是因为他们的方差太大导致鲁棒性不强，模型集成是通过将这些弱学习器的偏置和或方差结合起来，从而获得更好的性能。本发明实施例采用参数搜索的方法进行模型集成：

Score＝a*ResNet_score+b*DenseNet_score+c*ResNext_score

公式1；

其中，其中a+b+c＝1,且1>a>0,1>b>0,1>c>0，ResNet_score、DenseNet_score、ResNext_score分别为ResNet、DenseNet、ResNext预测结节为恶性的概率值，Score为最终的融合甲状腺结节自动识别模型预测结节为恶性的概率值。优选地，可以通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Auc最大的值。

步骤103，采用测试数据集对甲状腺结节自动识别模型进行测试。

以下结合附图，对本发明实施例的上述技术方案进行说明，本发明实施例提出的基于卷积神经网络的甲状腺结节自动识别模型构建方法，其原理框图如图3所示。第一，对数据集进行降噪。原始甲状腺超声图像带有仪器、日期等信息，对识别效果有较大影响，因此需要对数据使用图像形态学内容降噪处理。第二是数据增强。数据增强是常用的提升效果的简单实用手段，除传统的数据增强方法外，使用基于生成对抗网络的方法进行数据增强。第三是构建网络模型。本发明使用最新的ResNet、DenseNet、ResNext网络架构进行模型搭建，ResNet、DenseNet在ImageNet数据集上都曾取得最好效果，ResNext则对ResNet进行结构上的改进，在许多任务识别效果超过了ResNet。第四是领域适配。在识别任务上，简单的可以将训练集称为源域、测试集称为目标域，源域与目标域在数据分布上存在差异，因此在识别上往往会有在训练集上效果很好，而在测试集上效果不佳，因此，拉近训练集和测试集的距离可以提升效果，领域适配即可完成相关工作。第五是模型集成。模型集成也是一个提升效果简单有效的方法，通过训练多个模型，将这些模型的结果按照某种手段进行融合，如投票等，可以提升识别效果，本发明实施例使用参数搜搜的方式对ResNet、DenseNet、ResNext三者的结果进行融合。

综上所述，从上面的描述可以看出，本发明提出一种新的数据降噪方式，在训练甲状腺识别模型之前对数据进行降噪提升效果。此外，对甲状腺结节图像采用Cycle-GAN进行数据增强，生成更多带有测试集风格的图片，增加模型鲁棒性。本发明实施例还提出使用最先进的ResNet、DenseNet、ResNext图像识别框架进行甲状腺结节识别。本发明实施例提出使用领域适配方法拉近训练集与测试集效果，提升识别效果，zui后，本发明提出使用参数搜索方法遍历参数空间，寻找最优集成方式。

系统实施例

根据本发明实施例，提供了一种基于卷积神经网络的甲状腺结节自动识别模型构建系统，图4是本发明实施例的基于卷积神经网络的甲状腺结节自动识别模型构建系统的示意图，如图4所示，根据本发明实施例的基于卷积神经网络的甲状腺结节自动识别模型构建系统具体包括：

降噪模块40，用于对甲状腺超声图像进行数据降噪，获取训练数据集和测试数据集；降噪模块40具体用于：

对甲状腺超声图像进行灰度化处理，得到二值化后图像；

在二值化图像基础上，进行图像开运算，即先对图像进行腐蚀后对图像进行膨胀，完成对甲状腺超声图像的数据降噪；

训练模块42，用于将训练数据集输入到ResNet、DenseNet、和/或ResNext进行甲状腺结节恶性概率的训练，得到甲状腺结节自动识别模型；训练模块具体用于：

将训练数据集输入到ResNet、DenseNet或ResNext进行甲状腺结节恶性概率的训练，得到一个基于ResNet、DenseNet或ResNext的甲状腺结节自动识别模型；或者，将训练数据集分别输入到ResNet、DenseNet及ResNext进行甲状腺结节恶性概率的训练，分别得到基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型；

测试模块44，用于采用测试数据集对甲状腺结节自动识别模型进行测试。

根据本发明实施例的系统进一步包括：

数据增强模块，用于获取训练数据集之后，对训练数据集采用基于生成对抗网络GAN的cycle-GAN进行离线数据增强；和/或，在进行模型训练时，对训练数据集采用基于生成对抗网络GAN的cycle-GAN进行在线数据增强；

领域自适应模块，用于获取训练数据集之后，采用领域自适应方法将获取的训练数据集与测试数据集的数据特征映射到同一个特征空间。

融合模块，用于在分别得到基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型的情况下，通过如公式1所示的参数搜索方法将得到的基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型进行融合，得到最终的融合甲状腺结节自动识别模型：

Score＝a*ResNet_score+b*DenseNet_score+c*ResNext_score

公式1；

其中，其中a+b+c＝1,且1>a>0,1>b>0,1>c>0，ResNet_score、DenseNet_score、ResNext_score分别为ResNet、DenseNet、ResNext预测结节为恶性的概率值，Score为最终的融合甲状腺结节自动识别模型预测结节为恶性的概率值。

本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。

装置实施例一

本发明实施例提供一种基于卷积神经网络的甲状腺结节自动识别模型构建设备，如图5所示，包括：存储器50、处理器52及存储在所述存储器50上并可在所述处理器52上运行的计算机程序，所述计算机程序被所述处理器52执行时实现如下方法步骤：

步骤101，对甲状腺超声图像进行数据降噪，获取训练数据集和测试数据集；步骤101具体包括：对甲状腺超声图像进行灰度化处理，得到二值化后图像；在二值化图像基础上，进行图像开运算，即先对图像进行腐蚀后对图像进行膨胀，完成对甲状腺超声图像的数据降噪。

需要说明的是，在本发明实施例中，获取训练数据集之后，可以对训练数据集采用基于生成对抗网络GAN的cycle-GAN进行离线数据增强；和/或，在进行模型训练时，也可以对训练数据集采用基于生成对抗网络GAN的cycle-GAN进行在线数据增强。

步骤102，将训练数据集输入到ResNet、DenseNet、和/或ResNext进行甲状腺结节恶性概率的训练，得到甲状腺结节自动识别模型；

在本发明实施例中，获取训练数据集之后，可以采用领域自适应方法将获取的训练数据集与测试数据集的数据特征映射到同一个特征空间。

步骤102具体包括：

将训练数据集输入到ResNet、DenseNet或ResNext进行甲状腺结节恶性概率的训练，得到一个基于ResNet、DenseNet或ResNext的甲状腺结节自动识别模型；或者，

将训练数据集分别输入到ResNet、DenseNet及ResNext进行甲状腺结节恶性概率的训练，分别得到基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型；

在上述情况下，还需要通过如公式1所示的参数搜索方法将得到的基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型进行融合，得到最终的融合甲状腺结节自动识别模型：

Score＝a*ResNet_score+b*DenseNet_score+c*ResNext_score

公式1；

其中，其中a+b+c＝1,且1>a>0,1>b>0,1>c>0，ResNet_score、DenseNet_score、ResNext_score分别为ResNet、DenseNet、ResNext预测结节为恶性的概率值，Score为最终的融合甲状腺结节自动识别模型预测结节为恶性的概率值。

步骤103，采用测试数据集对甲状腺结节自动识别模型进行测试。

以下结合附图，对本发明实施例的上述技术方案进行说明，本发明实施例提出的基于卷积神经网络的甲状腺结节自动识别模型构建方法，其原理框图如图3所示。第一，对数据集进行降噪。原始甲状腺超声图像带有仪器、日期等信息，对识别效果有较大影响，因此需要对数据使用图像形态学内容降噪处理。第二是数据增强。数据增强是常用的提升效果的简单实用手段，除传统的数据增强方法外，使用基于生成对抗网络的方法进行数据增强。第三是构建网络模型。本发明使用最新的ResNet、DenseNet、ResNext网络架构进行模型搭建，ResNet、DenseNet在ImageNet数据集上都曾取得最好效果，ResNext则对ResNet进行结构上的改进，在许多任务识别效果超过了ResNet。第四是领域适配。在识别任务上，简单的可以将训练集称为源域、测试集称为目标域，源域与目标域在数据分布上存在差异，因此在识别上往往会有在训练集上效果很好，而在测试集上效果不佳，因此，拉近训练集和测试集的距离可以提升效果，领域适配即可完成相关工作。第五是模型集成。模型集成也是一个提升效果简单有效的方法，通过训练多个模型，将这些模型的结果按照某种手段进行融合，如投票等，可以提升识别效果，本发明实施例使用参数搜搜的方式对ResNet、DenseNet、ResNext三者的结果进行融合。

装置实施例二

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器52执行时实现如下方法步骤：

步骤101，对甲状腺超声图像进行数据降噪，获取训练数据集和测试数据集；步骤101具体包括：对甲状腺超声图像进行灰度化处理，得到二值化后图像；在二值化图像基础上，进行图像开运算，即先对图像进行腐蚀后对图像进行膨胀，完成对甲状腺超声图像的数据降噪。

需要说明的是，在本发明实施例中，获取训练数据集之后，可以对训练数据集采用基于生成对抗网络GAN的cycle-GAN进行离线数据增强；和/或，在进行模型训练时，也可以对训练数据集采用基于生成对抗网络GAN的cycle-GAN进行在线数据增强。

步骤102，将训练数据集输入到ResNet、DenseNet、和/或ResNext进行甲状腺结节恶性概率的训练，得到甲状腺结节自动识别模型；

在本发明实施例中，获取训练数据集之后，可以采用领域自适应方法将获取的训练数据集与测试数据集的数据特征映射到同一个特征空间。

步骤102具体包括：

将训练数据集输入到ResNet、DenseNet或ResNext进行甲状腺结节恶性概率的训练，得到一个基于ResNet、DenseNet或ResNext的甲状腺结节自动识别模型；或者，

将训练数据集分别输入到ResNet、DenseNet及ResNext进行甲状腺结节恶性概率的训练，分别得到基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型；

在上述情况下，还需要通过如公式1所示的参数搜索方法将得到的基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型进行融合，得到最终的融合甲状腺结节自动识别模型：

Score＝a*ResNet_score+b*DenseNet_score+c*ResNext_score

公式1；

其中，其中a+b+c＝1,且1>a>0,1>b>0,1>c>0，ResNet_score、DenseNet_score、ResNext_score分别为ResNet、DenseNet、ResNext预测结节为恶性的概率值，Score为最终的融合甲状腺结节自动识别模型预测结节为恶性的概率值。

步骤103，采用测试数据集对甲状腺结节自动识别模型进行测试。

以下结合附图，对本发明实施例的上述技术方案进行说明，本发明实施例提出的基于卷积神经网络的甲状腺结节自动识别模型构建方法，其原理框图如图3所示。第一，对数据集进行降噪。原始甲状腺超声图像带有仪器、日期等信息，对识别效果有较大影响，因此需要对数据使用图像形态学内容降噪处理。第二是数据增强。数据增强是常用的提升效果的简单实用手段，除传统的数据增强方法外，使用基于生成对抗网络的方法进行数据增强。第三是构建网络模型。本发明使用最新的ResNet、DenseNet、ResNext网络架构进行模型搭建，ResNet、DenseNet在ImageNet数据集上都曾取得最好效果，ResNext则对ResNet进行结构上的改进，在许多任务识别效果超过了ResNet。第四是领域适配。在识别任务上，简单的可以将训练集称为源域、测试集称为目标域，源域与目标域在数据分布上存在差异，因此在识别上往往会有在训练集上效果很好，而在测试集上效果不佳，因此，拉近训练集和测试集的距离可以提升效果，领域适配即可完成相关工作。第五是模型集成。模型集成也是一个提升效果简单有效的方法，通过训练多个模型，将这些模型的结果按照某种手段进行融合，如投票等，可以提升识别效果，本发明实施例使用参数搜搜的方式对ResNet、DenseNet、ResNext三者的结果进行融合。

综上所述，本发明实施例在甲状腺自动识别中，使用最新卷积神经网络框架以一种端对端的技术方案对甲状腺超声图像进行自动识别模型的构建，提升自动识别效果，能在甲状腺癌早期阶段完成检测工作，从而不用使用穿刺等代价昂贵的工作，辅助医生完成对甲状腺癌的筛查。

本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于卷积神经网络的甲状腺结节自动识别模型构建方法，其特征在于，包括：

对甲状腺超声图像进行数据降噪，获取训练数据集和测试数据集；

将所述训练数据集输入到ResNet、DenseNet、和/或ResNext进行甲状腺结节恶性概率的训练，得到甲状腺结节自动识别模型；

采用测试数据集对所述甲状腺结节自动识别模型进行测试。

2.根据权利要求1所述的方法，其特征在于，对甲状腺超声图像进行数据降噪具体包括：

对甲状腺超声图像进行灰度化处理，得到二值化后图像；

在二值化图像基础上，进行图像开运算，即先对图像进行腐蚀后对图像进行膨胀，完成对甲状腺超声图像的数据降噪。

3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

获取训练数据集之后，对所述训练数据集采用基于生成对抗网络GAN的cycle-GAN进行离线数据增强；和/或，

在进行模型训练时，对所述训练数据集采用基于生成对抗网络GAN的cycle-GAN进行在线数据增强。

4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

获取训练数据集之后，采用领域自适应方法将获取的训练数据集与测试数据集的数据特征映射到同一个特征空间。

5.根据权利要求1所述的方法，其特征在于，将所述训练数据集输入到ResNet、DenseNet、和/或ResNext进行甲状腺结节恶性概率的训练，得到甲状腺结节自动识别模型具体包括：

将所述训练数据集输入到ResNet、DenseNet或ResNext进行甲状腺结节恶性概率的训练，得到一个基于ResNet、DenseNet或ResNext的甲状腺结节自动识别模型；或者，

将所述训练数据集分别输入到ResNet、DenseNet及ResNext进行甲状腺结节恶性概率的训练，分别得到基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型；

所述方法进一步包括：

通过如公式1所示的参数搜索方法将得到的基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型进行融合，得到最终的融合甲状腺结节自动识别模型：

Score＝a*ResNet_score+b*DenseNet_score+c*ResNext_score

公式1；

其中，其中a+b+c＝1,且1>a>0,1>b>0,1>c>0，ResNet_score、DenseNet_score、ResNext_score分别为ResNet、DenseNet、ResNext预测结节为恶性的概率值，Score为最终的融合甲状腺结节自动识别模型预测结节为恶性的概率值。

6.一种基于卷积神经网络的甲状腺结节自动识别模型构建系统，其特征在于，包括：

降噪模块，用于对甲状腺超声图像进行数据降噪，获取训练数据集和测试数据集；

训练模块，用于将所述训练数据集输入到ResNet、DenseNet、和/或ResNext进行甲状腺结节恶性概率的训练，得到甲状腺结节自动识别模型；

测试模块，用于采用测试数据集对所述甲状腺结节自动识别模型进行测试。

7.根据权利要求6所述的系统，其特征在于，

所述降噪模块具体用于：

对甲状腺超声图像进行灰度化处理，得到二值化后图像；

在二值化图像基础上，进行图像开运算，即先对图像进行腐蚀后对图像进行膨胀，完成对甲状腺超声图像的数据降噪；

所述系统进一步包括：

数据增强模块，用于获取训练数据集之后，对所述训练数据集采用基于生成对抗网络GAN的cycle-GAN进行离线数据增强；和/或，在进行模型训练时，对所述训练数据集采用基于生成对抗网络GAN的cycle-GAN进行在线数据增强；

领域自适应模块，用于获取训练数据集之后，采用领域自适应方法将获取的训练数据集与测试数据集的数据特征映射到同一个特征空间。

8.根据权利要求6所述的系统，其特征在于，所述训练模块具体用于：

将所述训练数据集输入到ResNet、DenseNet或ResNext进行甲状腺结节恶性概率的训练，得到一个基于ResNet、DenseNet或ResNext的甲状腺结节自动识别模型；或者，将所述训练数据集分别输入到ResNet、DenseNet及ResNext进行甲状腺结节恶性概率的训练，分别得到基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型；

所述系统进一步包括：

融合模块，用于通过如公式1所示的参数搜索方法将得到的基于ResNet的甲状腺结节自动识别模型、基于DenseNet的甲状腺结节自动识别模型、以及基于ResNext的甲状腺结节自动识别模型进行融合，得到最终的融合甲状腺结节自动识别模型：

Score＝a*ResNet_score+b*DenseNet_score+c*ResNext_score

公式1；

其中，其中a+b+c＝1,且1>a>0,1>b>0,1>c>0，ResNet_score、DenseNet_score、ResNext_score分别为ResNet、DenseNet、ResNext预测结节为恶性的概率值，Score为最终的融合甲状腺结节自动识别模型预测结节为恶性的概率值。

9.一种基于卷积神经网络的甲状腺结节自动识别模型构建设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的基于卷积神经网络的甲状腺结节自动识别模型构建方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至5中任一项所述的基于卷积神经网络的甲状腺结节自动识别模型构建方法的步骤。

Images