CN113436154A - 甲状腺结节边缘征象分类方法、装置和系统 - Google Patents
甲状腺结节边缘征象分类方法、装置和系统 Download PDFInfo
- Publication number
- CN113436154A CN113436154A CN202110653029.XA CN202110653029A CN113436154A CN 113436154 A CN113436154 A CN 113436154A CN 202110653029 A CN202110653029 A CN 202110653029A CN 113436154 A CN113436154 A CN 113436154A
- Authority
- CN
- China
- Prior art keywords
- thyroid
- network model
- neural network
- convolutional neural
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 53
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 40
- 208000024891 symptom Diseases 0.000 title claims abstract description 37
- 210000001685 thyroid gland Anatomy 0.000 claims abstract description 109
- 238000002604 ultrasonography Methods 0.000 claims abstract description 85
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 73
- 238000000605 extraction Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000007306 turnover Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 230000003340 mental effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 206010054107 Nodule Diseases 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000036210 malignancy Effects 0.000 description 3
- 230000003211 malignant effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002161 passivation Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 201000002510 thyroid cancer Diseases 0.000 description 2
- 206010004412 Benign neoplasm of thyroid gland Diseases 0.000 description 1
- 206010033701 Papillary thyroid cancer Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 208000030045 thyroid gland papillary carcinoma Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请的实施例提供了一种甲状腺结节边缘征象分类方法、装置和系统，该方法包括：获取甲状腺超声图像训练集；构建卷积神经网络模型；以训练集中的甲状腺超声图像作为卷积神经网络模型的输入、以分类结果作为卷积神将网络模型的输出，训练卷积神经网络模型；根据卷积神经网络模型对待处理甲状腺超声图像中甲状腺结节边缘征象进行分类。本申请能够辅助医生完成对甲状腺结节边缘征象的分类，避免了因边缘征象分类不够准确而导致TI‑RADS定级错误所引起的不必要的穿刺手术，减轻了病人身体、金钱和精神上的负担。
Description
技术领域
本申请的实施例涉及深度学习技术领域，尤其涉及一种甲状腺结节边缘征象分类方法、装置和系统。
背景技术
甲状腺超声图像纷繁复杂，良性和恶性结节的超声特征有很多相似之处，这无形增加了该领域的从业人员和研究学者的准入门槛和操作的复杂度。为了解决这个非标准化流程所带来的问题，甲状腺分级标准化在2009年由Horvath在其论文中提出，该评估系统叫作TI-RADS(Thyroid Imaging Reporting and Data System)，旨在简化分类并降低分级难度。随着时间推进，更多人参与到此标准的制订和改进中，TI-RADS日渐成熟且已为成为业界公认的甲状腺分级标准。TI-RADS通过计算五种因素(结构、回声、形态、边缘、钝化点)的得分总和来确定对应的分级(TR1-良性,TR2-不可疑,TR3-低度可疑，TR4-中度可疑，TR5-高度可疑)，每个级别恶性风险由低到高。由于TI-RADS定级是根据五个征象的情况来确定且五者缺一不可，因此单一征象的分类准确性会直接影响最终定级的结果。
因此，需要提供一种能够自动提取特征并对甲状腺结节边缘征象自动分类的模型。
发明内容
为解决上述背景技术中的问题，本申请实施例提供了一种甲状腺结节边缘征象分类方法、装置和系统。
在本申请的第一方面，提供了一种甲状腺结节边缘征象分类方法，包括：获取甲状腺超声图像训练集；构建卷积神经网络模型，所述卷积神经网络模型包括特征提取模型和依次连接在所述特征提取模型之后的卷积层、池化层和全连接层，所述特征提取模型为ResNet网络模型、DenseNet网络模型和ResNext网络模型三者中的一种；以所述训练集中的甲状腺超声图像作为所述卷积神经网络模型的输入、以分类结果作为所述卷积神将网络模型的输出，训练所述卷积神经网络模型，所述分类结果包括光滑、模糊、分叶、不规则及向甲状腺外延伸；根据所述卷积神经网络模型对待处理甲状腺超声图像中甲状腺结节边缘征象进行分类。
在一种可能的实现方式中，在所述卷积神经网络模型训练完成后，采用新的甲状腺超声图像对所述卷积神经网络模型调整，进行卷积神经网络模型迁移学习，其中新的甲状腺超声图像与训练集中的甲状腺超声图像来自不同的仪器。
在一种可能的实现方式中，在训练所述卷积神经网络模型之前，对训练集中甲状腺超声图像进行降噪处理：对甲状腺超声图像进行灰度化处理，得到二值化图像，并对二值化图像进行开运算；随机挑选部分甲状腺超声图像进行数据增强：对甲状腺超声图像进行亮度改变、旋转、平移以及翻折。
在一种可能的实现方式中，在获取甲状腺超声图像训练集时，对占比较少的甲状腺超声图像进行重复采样。
在本申请的第二方面，提供了一种甲状腺结节边缘征象分类装置，包括：数据获取模块，用于获取甲状腺超声图像训练集；模型构建模块，用于构建卷积神经网络模型，所述卷积神经网络模型包括特征提取模型和依次连接在所述特征提取模型之后的卷积层、池化层和全连接层，所述特征提取模型为ResNet网络模型、DenseNet网络模型和ResNext网络模型三者中的一种；模型训练模块，用于以所述训练集中的甲状腺超声图像作为所述卷积神经网络模型的输入、以分类结果作为所述卷积神将网络模型的输出，训练所述卷积神经网络模型，所述分类结果包括光滑、模糊、分叶、不规则及向甲状腺外延伸；图像分类模块，用于根据所述卷积神经网络模型对待处理甲状腺超声图像中甲状腺结节边缘征象进行分类。
在一种可能的实现方式中，所述模型训练模块还用于：在所述卷积神经网络模型训练完成后，采用新的甲状腺超声图像对所述卷积神经网络模型调整，进行卷积神经网络模型迁移学习；其中，新的甲状腺超声图像与训练集中的甲状腺超声图像来自不同的仪器。
在一种可能的实现方式中，所述数据获取模块还用于：在训练所述卷积神经网络模型之前，对训练集中甲状腺超声图像进行降噪处理：对甲状腺超声图像进行灰度化处理，得到二值化图像，并对二值化图像进行开运算；随机挑选部分甲状腺超声图像进行数据增强：对甲状腺超声图像进行亮度改变、旋转、平移以及翻折。
在一种可能的实现方式中，所述数据获取模块还用于：在获取甲状腺超声图像训练集时，对占比较少的甲状腺超声图像进行重复采样。
在本申请的第三方面，提供了一种甲状腺结节边缘征象分类系统，包括上述的甲状腺结节边缘征象分类装置。
在本申请的第四方面，提供了一种甲状腺结节边缘征象分类系统，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现上述的方法。
在本申请实施例提供的甲状腺结节边缘征象分类方法、装置和系统中，通过采用卷积神经网络框架ResNet、DenseNet、或ResNext三者中的一种作为骨干网络进行特征提取，通过连接在骨干网络后的卷积层、池化层和全连接层来进行分类，实现了甲状腺超声图像边缘自动分类，提升了边缘正向分类效果，能够辅助医生完成对甲状腺结节边缘征象的分类，避免了因边缘征象分类不够准确而导致TI-RADS定级错误所引起的不必要的穿刺手术，减轻了病人身体、金钱和精神上的负担。
应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了根据本申请的实施例的甲状腺结节边缘征象分类方法的流程图。
图2示出了根据本申请的实施例的甲状腺结节边缘征象分类装置的方框图。
图3示出了根据本申请的实施例的甲状腺结节边缘征象分类系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
甲状腺结节是一种常见病，尤其是女性。根据检查方法的不同，甲状腺结节的发病率为19％～68％，在出现甲状腺结节的患者中，约有10％有恶性肿瘤的危险。甲状腺癌的发病率为8.28/百万，并以每年5％的速度持续增长。在甲状腺癌的分化类型中，甲状腺乳头状癌是最常见的组织学类型。甲状腺超声诊断检查具有方便有效的优点，已被美国甲状腺协会(ATA)推荐为早期发现和诊断甲状腺结节的主要方法。
甲状腺良性和恶性结节的超声特征有很多相似之处。目前，这些特征的鉴别主要依靠放射科医生的经验，初级放射科医生由于经验不足，更有可能误诊。另外，由于主观原因，不同医生或者同一个医生在不同环境下，做出的诊断也有可能不同，这就造成了不同操作者在图像采集和解释上的差异。对甲状腺结节的回声结构进行客观评价和分析，对减少误诊、规范报告、鉴别恶性肿瘤、避免不必要的活检具有重要意义。
基于这些原因，美国放射学会(ACR)提出了一个基于超声的风险分层系统来识别需要活检或超声随访的结节，即甲状腺影像报告和数据系统(TI-RADS)。随着时间推进，更多人参与到此标准的制订和改进中，TI-RADS日渐成熟且已为成为业界公认的甲状腺分级标准。TI-RADS通过计算五种因素(结构、回声、形态、边缘、钝化点)的得分总和来确定对应的分级(TR1-良性,TR2-不可疑,TR3-低度可疑，TR4-中度可疑，TR5-高度可疑)，每个级别恶性风险由低到高。由于TI-RADS定级是根据五个征象的情况来确定且五者缺一不可，因此单一征象的分类准确性会直接影响最终定级的结果。
为了确保每个征象被正确分类，本申请实施例提供了一种甲状腺结节边缘征象分类方法、装置和系统。
图1示出了根据本申请的实施例的甲状腺结节边缘征象分类方法的流程图。参见图1，本申请实施例提供的甲状腺结节边缘征象分类方法包括以下步骤：
步骤110，获取甲状腺超声图像训练集。
甲状腺超声图像可以从不同的仪器处进行采集来获取，获取到的甲状腺超声图像可以被分为训练集和测试集，训练集用来训练卷积神经网络模型，测试集用于测试训练后的卷积神经网络模型效果。
由于甲状腺超声图像上存在如仪器信息、时间信息、简略图(例如刻度线、长短经后虚线以及十字箭头等信息)等噪音信息，这些噪音信息在训练卷积神经网络模型时会让该模型学到无用的特征，从而影响训练效果，因此在训练卷积神经网络模型时需要去除这些噪音信息。示例地，可以采用图像形态学方法来对甲状腺超声图像进行降噪处理，首先对甲状腺超声图像进行灰度化处理得到二值化后的图像，然后在二值化后的图像基础上进行图像开运算，图像开运算与闭运算与膨胀和腐蚀运算有关，由膨胀和腐蚀两个运算的复合与集合操作(并、交、补等)组合成的运算构成，开运算与闭运算依据腐蚀和膨胀演变而来，开运算即为先对甲状腺超声图像腐蚀后膨胀，这样可以起到去除噪音信息且保留原有图像信息不变的作用。
在一些可能的实施方式中，如果所获取到的训练集中甲状腺超声图像的数量较少，可以对训练集进行数据增强处理，以增加训练集中甲状腺超声图像的数量。
数据增强可以分为离线增强和在线增强，离线增强是在训练之前对训练集进行处理，使得训练集中的甲状腺超声图像的数量变为原数量的几倍甚至更多，在线增强是在训练过程中对训练集进行处理，对甲状腺超声图像进行亮度改变、旋转、平移、翻折等，例如可以使得每张甲状腺超声图像有50％几率被选中进行亮度调整，通过对训练集进行数据增强，能够增加训练模型的健壮性。当然，对训练集进行数据增强不仅可以采用上述的方法，还可以使用基于生成对抗网络(GAN)的方法进行数据增强。
在另一种可能的实现方式中，由于甲状腺超声图像中某些病灶特征难以采集，这会导致样本分布不均。示例地，甲状腺结节边缘征象中某个特征的样本占总训练集的千分之一或万分之一，从而导致卷积神经网络模型在训练过程中基本上不会关注该钟特征，因为比重少的样本在Loss计算和更新中所起的作用微乎其微，所以模型倾向于雪域样本比重较大的特征，因此需要对包含有占比较少的特征的甲状腺超声图像进行重复采样。
步骤120，构建卷积神经网络模型。
卷积神经网络模型包括特征提取模型和依次连接在特征提取模型之后的卷积层、池化层和全连接层。
特征提取模型可以选取ResNet网络模型、DenseNet网络模型和ResNext网络模型三者中的一种，将特征提取模型作为骨干网络，在骨干网络后增加卷积层、池化层和全连接层，能够实现甲状腺结节边缘征象自动提取分类，从而以一种端对端的方式对甲状腺超声图像进行边缘自动分类，提升甲状腺结节边缘征象分类效果。
步骤130，训练卷积神经网络模型。
以训练集中的甲状腺超声图像作为卷积神经网络模型的输入、以分类结果作为卷积神将网络模型的输出来训练卷积神经网络模型。其中，分类结果包括光滑、模糊、分叶、不规则及向甲状腺外延伸。具体地，光滑(0分)、模糊(0分)、分叶(2分)、不规则(2分)、向甲状腺外延伸(3分)，通过有监督的学习，使得训练后的神经网络模型能够对甲状腺结节边缘征象准确定性，去除边缘因素带来的诊断误差。
在卷积神经网络模型训练完成后，由于训练集中样本数据可能均采集于同一仪器或几个仪器，那么训练完整后的卷积神经网络在识别其他仪器采集的甲状腺超声图像时，可能会存在偏差，此时需要对训练后的卷积神经网络进行领域自适应。
也就是说，可以采用迁移学习来对训练完成的卷积神经网络进行调整。具体地，首先需要采集新的甲状腺超声图像，新的甲状腺超声图像可以从与训练集中甲状腺超声图像来源不同的仪器处采集，训练集中甲状腺超声图像作为源域，新的甲状腺超声图像作为目标域，由于源域和目标域在数据分布上存在差异，那么可以将源域和目标域中的数据特征映射到同一特征空间，因为源域和目标域中数据存在共同的子特征空间，这样利用源域中的甲状腺超声图像所训练的卷积神经网络模型能够更好地适应目标域中甲状腺超声图像。
步骤140，根据卷积神经网络模型对待处理甲状腺超声图像中甲状腺结节边缘征象进行分类。
将待处理甲状腺超声图像输入到训练完成后的卷积神经网络模型中，能够得到甲状腺超声图像中甲状腺结节边缘征象的分类结果(光滑、模糊、分叶、不规则及向甲状腺外延伸)，那么TI-RADS系统可以通过计算分类结果的得分综合来确定对应的分级(TR1-良性,TR2-不可疑,TR3-低度可疑，TR4-中度可疑，TR5-高度可疑)，从而辅助医生来区分良性和恶性甲状腺结节，以提高医生的诊断能力。
根据本申请的实施例，通过采用卷积神经网络框架ResNet、DenseNet、或ResNext三者中的一种作为骨干网络进行特征提取，通过连接在骨干网络后的卷积层、池化层和全连接层来进行分类，实现了甲状腺超声图像边缘自动分类，提升了边缘正向分类效果，能够辅助医生完成对甲状腺结节边缘征象的分类，避免了因边缘征象分类不够准确而导致TI-RADS定级错误所引起的不必要的穿刺手术，减轻了病人身体、金钱和精神上的负担。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图2示出了根据本申请的实施例的甲状腺结节边缘征象分类装置的方框图。参见图2，本申请实施例提供的甲状腺结节边缘征象分类装置包括：
数据获取模块210，用于获取甲状腺超声图像训练集。
模型构建模块220，用于构建卷积神经网络模型。
卷积神经网络模型包括特征提取模型和依次连接在特征提取模型之后的卷积层、池化层和全连接层，特征提取模型为ResNet网络模型、DenseNet网络模型和ResNext网络模型三者中的一种。
模型训练模块230，用于以训练集中的甲状腺超声图像作为卷积神经网络模型的输入、以分类结果作为卷积神将网络模型的输出，训练卷积神经网络模型，分类结果包括光滑、模糊、分叶、不规则及向甲状腺外延伸。
图像分类模块240，用于根据卷积神经网络模型对待处理甲状腺超声图像中甲状腺结节边缘征象进行分类。
在一种可能的实现方式中，模型训练模块230还用于：
在卷积神经网络模型训练完成后，采用新的甲状腺超声图像对卷积神经网络模型调整，进行卷积神经网络模型迁移学习；其中，新的甲状腺超声图像与训练集中的甲状腺超声图像来自不同的仪器。
在一种可能的实现方式中，数据获取模块210还用于：
在训练卷积神经网络模型之前，对训练集中甲状腺超声图像进行降噪处理：对甲状腺超声图像进行灰度化处理，得到二值化图像，并对二值化图像进行开运算；随机挑选部分甲状腺超声图像进行数据增强：对甲状腺超声图像进行亮度改变、旋转、平移以及翻折。
在一种可能的实现方式中，数据获取模块210还用于：
在获取甲状腺超声图像训练集时，对占比较少的甲状腺超声图像进行重复采样。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另一方面，本申请实施例还提供了一种甲状腺结节边缘征象分类系统，该系统包括上述的甲状腺结节边缘征象分类装置。
图3示出了根据本申请的实施例的甲状腺结节边缘征象分类系统的结构示意图。
如图3所示，该系统包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地，根据本申请的实施例，上文参考流程图图1描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取单元、模型构建单元、模型训练单元和图像分类单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，数据获取单元还可以被描述为“用于获取甲状腺超声图像训练集的单元”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的甲状腺结节边缘征象分类方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种甲状腺结节边缘征象分类方法，其特征在于，包括：
获取甲状腺超声图像训练集；
构建卷积神经网络模型，所述卷积神经网络模型包括特征提取模型和依次连接在所述特征提取模型之后的卷积层、池化层和全连接层，所述特征提取模型为ResNet网络模型、DenseNet网络模型和ResNext网络模型三者中的一种；
以所述训练集中的甲状腺超声图像作为所述卷积神经网络模型的输入、以分类结果作为所述卷积神将网络模型的输出，训练所述卷积神经网络模型，所述分类结果包括光滑、模糊、分叶、不规则及向甲状腺外延伸；
根据所述卷积神经网络模型对待处理甲状腺超声图像中甲状腺结节边缘征象进行分类。
2.根据权利要求1所述的方法，其特征在于，在所述卷积神经网络模型训练完成后，采用新的甲状腺超声图像对所述卷积神经网络模型调整，进行卷积神经网络模型迁移学习，其中新的甲状腺超声图像与训练集中的甲状腺超声图像来自不同的仪器。
3.根据权利要求1所述的方法，其特征在于，在训练所述卷积神经网络模型之前，
对训练集中甲状腺超声图像进行降噪处理：对甲状腺超声图像进行灰度化处理，得到二值化图像，并对二值化图像进行开运算；
随机挑选部分甲状腺超声图像进行数据增强：对甲状腺超声图像进行亮度改变、旋转、平移以及翻折。
4.根据权利要求1所述的方法，其特征在于，在获取甲状腺超声图像训练集时，对占比较少的甲状腺超声图像进行重复采样。
5.一种甲状腺结节边缘征象分类装置，其特征在于，包括：
数据获取模块，用于获取甲状腺超声图像训练集；
模型构建模块，用于构建卷积神经网络模型，所述卷积神经网络模型包括特征提取模型和依次连接在所述特征提取模型之后的卷积层、池化层和全连接层，所述特征提取模型为ResNet网络模型、DenseNet网络模型和ResNext网络模型三者中的一种；
模型训练模块，用于以所述训练集中的甲状腺超声图像作为所述卷积神经网络模型的输入、以分类结果作为所述卷积神将网络模型的输出，训练所述卷积神经网络模型，所述分类结果包括光滑、模糊、分叶、不规则及向甲状腺外延伸；
图像分类模块，用于根据所述卷积神经网络模型对待处理甲状腺超声图像中甲状腺结节边缘征象进行分类。
6.根据权利要求5所述的装置，其特征在于，所述模型训练模块还用于：
在所述卷积神经网络模型训练完成后，采用新的甲状腺超声图像对所述卷积神经网络模型调整，进行卷积神经网络模型迁移学习；其中，新的甲状腺超声图像与训练集中的甲状腺超声图像来自不同的仪器。
7.根据权利要求5所述的装置，其特征在于，所述数据获取模块还用于：
在训练所述卷积神经网络模型之前，
对训练集中甲状腺超声图像进行降噪处理：对甲状腺超声图像进行灰度化处理，得到二值化图像，并对二值化图像进行开运算；
随机挑选部分甲状腺超声图像进行数据增强：对甲状腺超声图像进行亮度改变、旋转、平移以及翻折。
8.根据权利要求5所述的装置，其特征在于，所述数据获取模块还用于：
在获取甲状腺超声图像训练集时，对占比较少的甲状腺超声图像进行重复采样。
9.一种甲状腺结节边缘征象分类系统，其特征在于，包括如权利要求5至8中任一项所述的甲状腺结节边缘征象分类装置。
10.一种甲状腺结节边缘征象分类系统，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110653029.XA CN113436154A (zh) | 2021-06-11 | 2021-06-11 | 甲状腺结节边缘征象分类方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110653029.XA CN113436154A (zh) | 2021-06-11 | 2021-06-11 | 甲状腺结节边缘征象分类方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113436154A true CN113436154A (zh) | 2021-09-24 |
Family
ID=77755699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110653029.XA Pending CN113436154A (zh) | 2021-06-11 | 2021-06-11 | 甲状腺结节边缘征象分类方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436154A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529759A (zh) * | 2022-01-25 | 2022-05-24 | 北京医准智能科技有限公司 | 一种甲状腺结节的分类方法、装置及计算机可读介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060235A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 一种基于深度学习的甲状腺结节超声图像分割方法 |
| CN111598875A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动检测模型构建方法、系统及装置 |
| CN112820399A (zh) * | 2021-01-26 | 2021-05-18 | 北京小白世纪网络科技有限公司 | 自动诊断甲状腺结节良恶性的方法及装置 |
-
2021
- 2021-06-11 CN CN202110653029.XA patent/CN113436154A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060235A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 一种基于深度学习的甲状腺结节超声图像分割方法 |
| CN111598875A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动检测模型构建方法、系统及装置 |
| CN112820399A (zh) * | 2021-01-26 | 2021-05-18 | 北京小白世纪网络科技有限公司 | 自动诊断甲状腺结节良恶性的方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| HANUNG ADI NUGROHO ET AL: "Classification of Thyroid Nodules Based on", 《IEEE》 * |
| TIANJIAO LIU ET AL: "Automated detection and classification of thyroid nodules in ultrasound images using clinical-knowle dge-guide d convolutional neural networks", 《ELSEVIER》 * |
| 张振宇 等: "基于B 超图像的甲状腺良恶性结节识别", 《微型机与应用》 * |
| 徐婷婷 等: "恶性甲状腺结节超声征象及分型特征分析", 《实用癌症杂志》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529759A (zh) * | 2022-01-25 | 2022-05-24 | 北京医准智能科技有限公司 | 一种甲状腺结节的分类方法、装置及计算机可读介质 |
| CN114529759B (zh) * | 2022-01-25 | 2023-01-17 | 北京医准智能科技有限公司 | 一种甲状腺结节的分类方法、装置及计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108464840B (zh) | 一种乳腺肿块自动检测方法及系统 | |
| CN111476774B (zh) | 基于新型冠状病毒肺炎ct检测的智能征象识别装置 | |
| Zhang et al. | Design of automatic lung nodule detection system based on multi-scene deep learning framework | |
| Koprowski et al. | Assessment of significance of features acquired from thyroid ultrasonograms in Hashimoto's disease | |
| CN112365973A (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN114494215A (zh) | 基于Transformer的甲状腺结节检测方法 | |
| Shi et al. | CT-based radiomics for differentiating invasive adenocarcinomas from indolent lung adenocarcinomas appearing as ground-glass nodules: A systematic review | |
| CN113436150A (zh) | 用于淋巴结转移风险预测的超声影像组学模型的构建方法 | |
| Xing et al. | Automatic detection of A‐line in lung ultrasound images using deep learning and image processing | |
| Bermejo-Peláez et al. | Deep learning-based lesion subtyping and prediction of clinical outcomes in COVID-19 pneumonia using chest CT | |
| CN113436154A (zh) | 甲状腺结节边缘征象分类方法、装置和系统 | |
| CN114359671A (zh) | 基于多目标学习的超声影像甲状腺结节分类方法及系统 | |
| KR20100010973A (ko) | 폐질환 자동 분류 방법 | |
| CN110063753B (zh) | 超声图像中测量胎儿头围的方法与装置 | |
| CN109191452B (zh) | 一种基于主动学习的腹腔ct图像腹膜转移自动标记方法 | |
| Ye et al. | Method of tumor pathological micronecrosis quantification via deep learning from label fuzzy proportions | |
| Karale et al. | A screening CAD tool for the detection of microcalcification clusters in mammograms | |
| CN109800820A (zh) | 一种基于超声造影图像均匀程度的分类方法 | |
| CN109840564A (zh) | 一种基于超声造影图像均匀程度的分类系统 | |
| Liu et al. | Automatic fetal ultrasound image segmentation of first trimester for measuring biometric parameters based on deep learning | |
| CN112633405A (zh) | 模型训练方法、医学影像分析方法及装置、设备、介质 | |
| EP4147197A1 (en) | Method and system for identifying abnormal images in a set of medical images | |
| CN113128599A (zh) | 一种基于机器学习的头颈肿瘤远端转移预测方法 | |
| Yin et al. | An Accurate Segmentation framework for static ultrasound images of the gestational sac | |
| CN113139928A (zh) | 肺结节检测模型的训练方法和肺结节检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |