CN112767355A - 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 - Google Patents
一种甲状腺结节Tirads分级自动识别模型构建方法及装置 Download PDFInfo
- Publication number
- CN112767355A CN112767355A CN202110075128.4A CN202110075128A CN112767355A CN 112767355 A CN112767355 A CN 112767355A CN 202110075128 A CN202110075128 A CN 202110075128A CN 112767355 A CN112767355 A CN 112767355A
- Authority
- CN
- China
- Prior art keywords
- thyroid
- model
- automatic identification
- tirads
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 87
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000011218 segmentation Effects 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 42
- 210000001685 thyroid gland Anatomy 0.000 claims abstract description 36
- 238000002604 ultrasonography Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 26
- 238000002592 echocardiography Methods 0.000 claims description 24
- 238000010276 construction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 5
- 201000002510 thyroid cancer Diseases 0.000 abstract description 3
- 238000012216 screening Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 11
- 241001270131 Agaricus moelleri Species 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 230000003211 malignant effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 206010054107 Nodule Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000036210 malignancy Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- -1 areolar Diseases 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明公开了一种甲状腺结节Tirads分级自动识别模型构建方法及装置，所述方法包括：S1.对甲状腺超声图像进行数据预处理；S2.对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割掩膜mask作为训练标签；S3.基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。本发明提出一种能够在甲状腺结节TI‑RADS分级自动识别中，使用最新卷积神经网络框架以一种端对端的方式对甲状腺超声图像进行自动识别任务，完成TI‑RADS分级，使得能在甲状腺癌早期阶段完成检测工作，从而不用使用穿刺等代价昂贵的工作，辅助医生完成对甲状腺癌的筛查。
Description
技术领域
本发明属于计算机人工智能深度学习领域，涉及图像自动识别技术,尤其是涉及一种甲状腺结节Tirads分级自动识别模型构建方法及装置。
背景技术
甲状腺结节的检出率在过去二十年有显著的增加，现在有更多的结节被检出，呈现明显的上升趋势。大多数结节是良性的或表现惰性的，准确判断甲状腺结节的良恶性可以通过精细针活检分析，并通过手术降低患者的风险，减少重大的医疗保健费用。对这些偶发甲状腺结节的检查通常包括超声检查。放射科医师已经发现甲状腺结节的一些超声特征提示恶性肿瘤的特征，包括低回声、无晕、微钙化、实性、结节内血流和纵横比。基于这些特征，一个专用的甲状腺成像报告和数据系统(TI-RADS)，以分类甲状腺结节和分层其恶性风险已被开发为放射科医师使用。TI-RADS评分2,3,4a、4b、4c和5分别表示为不可疑、可能良性、一个可疑特征、两个可疑特征、三个或更多可疑特征和可能为恶性。然而，使用TI-RADS对甲状腺结节的评估是耗时的，而且往往不够稳健。由于目前鉴别恶性结节的超声标准不完善，且甲状腺结节回声形态的变化限制了放射科医师的判断能力，因此其准确性往往基于放射科医师的个人经验。TI-RADS报告方案的引入，将使临床医生能够按标准进行常规的甲状腺超声检查，并保证不太可能遗漏恶性肿瘤。它还将为临床医生提供一项推荐的随访计划，该计划具有中度风险TIRADS评分，节省了系统大量不必要的影像学检查。此外，利用TI-RADS评分允许放射病医师了解机器是如何分类图像的，因为超声图像中包含的超声特征可以数字化并可用机器学习进行自动识别。
传统机器学习方法自动识别往往分为两步走，首先使用SIFT、HOG、Haar-like、LBP等算子提取医学影像特征，然后使用支持向量机、逻辑回归、决策树、随机森林等分类器进行分类。机器学习方法提取特征的好坏决定自动识别的效果；特征提取工作需要不断调参，是一件耗时费力的事情，与技术的经验有很大相关，经验丰富的专家往往提取出的特征更为有用。随着深度学习的崛起，特征提取工作往往由能自动提取特征的神经网络所代替。
卷积神经网络(CNN)在图像识别任务占据主流地位，特别是ImageNet任务的突出效果引起世人极大关注，随后在图像识别、检测、分割等视觉任务中领域获得统治地位，渐渐的在医疗领域也不断应用，如病理识别、肝脏分割、胸腔X片自动识别、肺结节检测等等，在甲状腺的良恶性结节超声图像中也被广泛研究。
从目前的研究现状来看，关于深度学习在甲状腺超声诊断的应用往往局限于良恶性自动识别上面，关于TI-RADS分级的研究尚属空缺，这样在辅助医生诊断的时候不能给出更为详细的信息，不利于医生进行判断，因此本研究使用卷积神经网络对甲状腺TI-RADS分级进行研究。
发明内容
本发明的目的在于提出一种能够在甲状腺结节TI-RADS分级自动识别中使用最新卷积神经网络框架，以一种端对端的方式对甲状腺超声图像进行自动识别任务，完成TI-RADS分级，使得能在甲状腺癌早期阶段完成检测工作的方法，解决甲状腺TI-RADS自动分级识别问题，同时保证较高准确率。
为了达到上述目的，本发明采用了以下技术方案：
本发明提供一种甲状腺结节Tirads分级自动识别模型构建方法，包括：
S1.对甲状腺超声图像进行数据预处理；
S2.对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割掩膜mask作为训练标签；
S3.基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。
本发明提供一种甲状腺结节Tirads分级自动识别模型构建装置，包括：
数据预处理模块：用于对甲状腺超声图像进行数据预处理；
分割模块：用于对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割mask作为训练标签；
模型搭建模块：用于基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。
本发明实施例还提供一种甲状腺结节Tirads分级自动识别模型构建装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的甲状腺结节Tirads分级自动识别模型构建方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述的甲状腺结节Tirads分级自动识别模型构建方法的步骤。
采用本发明实施例，在训练甲状腺分级分类识别模型之前对数据进行归一化能够提升模型鲁棒性，提升识别效果；对甲状腺TI-RADS形态分类部分，采用分割的方式，减轻人员标注压力，提高数据获取速度；使用多任务模型架构的方式，能够更好地利用任务间的信息，充分挖掘任务之间相关性，提升模型泛化能力；采用适用于TI-RADS分级的多任务loss，可以使模型学得更好特征，平衡各任务的权重，提升效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例甲状腺结节Tirads分级自动识别模型构建方法的流程图；
图2是本发明一个装置实施例的甲状腺结节Tirads分级自动识别模型构建装置的示意图；
图3是本发明另一个装置实施例的甲状腺结节Tirads分级自动识别模型构建装置的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
方法实施例
根据本方法实施例，提供了一种甲状腺结节Tirads分级自动识别模型构建方法，图1是本发明实施例甲状腺结节Tirads分级自动识别模型构建方法的流程图，如图1所示，根据本发明实施例的甲状腺结节Tirads分级自动识别模型构建方法具体包括：
S1.对甲状腺超声图像进行数据预处理；
具体地，在原始的训练数据中，由于每张超声图像受各种因素影响，造成特征的分布范围差异很大，当测试样本和训练样本之间的差异很大时，就会导致模型效果差的问题，因此需要将各超声图像特征归一化到同一取值区间，消除不同特征之间的相关性，具体方式有零均值化、数据归一化等，本实施例采用数据归一化的方式进行超声图像的特征处理；因为本研究基于大多数超声仪器生成的图像都是灰阶的，只有少部分生成的是RGB图像，而这些图像经过灰度转换后对图像原有的纹理、分辨率、对比度等都没有影响，因此在对超声图像进行预处理时，先对超声图像进行灰度化处理，将图像转为灰度后进行归一化，降低不同样本之间的差异性。
S2.对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割掩膜mask作为训练标签；
具体的，由于甲状腺结节Tirads分级中有关于自动测量横纵比的指标，甲状腺结节大多为椭圆状，所以可以将甲状腺结节当成分割任务进行处理。预处理后的甲状腺超声图像生成训练标签分割mask的具体方式为：
首先标注甲状腺结节横轴、纵轴的端点，获取横轴和纵轴的标注点后，以横轴和纵轴中的长轴为标准，将短轴沿着长轴方向进行平扫，平扫的两端为长轴两端终点，得到一个矩形，然后采用内接椭圆的拟合方式即可得到分割mask。本方法实施例标注仅标注甲状腺结节横轴纵轴的端点，不采用勾画结节轮廓的方式。
S3.基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。
具体的，根据TI-RADS的分级的五个分类指标，将分类任务共用一个backbone模型，将分割任务采用Unet模型进行分割，使用ResNet进行甲状腺结节TI-RADS分级自动识别的多任务模型搭建，其中，所述五个分类指标具体包括：成分、回声、形态、边缘以及强回声，其中，形态为分割任务，其他四个分类指标为分类任务。
进行损失函数设定时，考虑到多任务学习是一种集成学习方法，可以对几个任务同时训练从而使多个任务的共享参数及损失函数设计上互相影响，在进行模型训练前设定损失函数时，与成分、回声、形态、以及边缘等单标签多分类任务使用经典的交叉熵损失函数、强回声属于多标签多分类任务，需要添加权重，平衡成分、回声、形态、边缘的损失函数。
在使用Unet模型进行超声甲状腺结节分割任务时，由于网络是对每个像素进行分割，可能会导致粗分割，所以需要使用条件随机场对分割图像进行优化，具体方法如下：
条件随机场通过接受原始图像和每个像素的预测概率两个输入，对使用Unet进行超声甲状腺结节分割的分割图像进行优化，其中，条件随机场使用了在任意特征空间中，两个边势由高斯核的线性组合定义的高效推理方法。
综上所述，本发明提供一种甲状腺结节Tirads分级自动识别模型构建方法，在训练甲状腺分级分类识别模型之前对数据进行归一化，提升模型鲁棒性，改善识别效果；对甲状腺TI-RADS形态分类部分，采用分割的方式，标注使用长短径标注，大幅降低人工成本，减轻人员标注压力，提高数据获取速度；使用多任务模型架构的方式，充分挖掘任务之间相关性，提升模型效果；采用适用于TI-RADS分级的多任务损失函数loss，平衡各任务的权重，使神经网络的参数在优化时提高泛化能力；使用条件随机场对分割结果进行后处理，提高分割精度，得到更好的语义分割结果，完成了对结节分割的优化。
装置实施例一
根据本发明实施例，提供了一种甲状腺结节Tirads分级自动识别模型构建装置，图2是本发明实施例的甲状腺结节Tirads分级自动识别模型构建装置的示意图，如图2所示，根据本发明实施例的甲状腺结节Tirads分级自动识别模型构建装置具体包括：
数据预处理模块20：用于对甲状腺超声图像进行数据预处理；数据预处理模块具体用于：
对甲状腺超声图像进行灰度化处理，图像转为灰度后再进行归一化处理，完成图像特征的处理；
分割模块22：用于对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割mask作为训练标签；分割模块具体用于：
标注甲状腺结节横轴、纵轴的端点，获取横轴和纵轴的标注点后，以横轴和纵轴中的长轴为标准，将短轴沿着长轴方向进行平扫，平扫的两端为长轴两端终点，这样得到一个矩形，然后采用内接椭圆的拟合方式得到分割mask；
模型搭建模块24：用于基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。模型搭建模块具体用于：
基于卷积神经网络进行多任务模型搭建，具体包括：根据TI-RADS的分级的五个分类指标，将分类任务共用一个backbone模型，将分割任务采用Unet模型进行分割，使用ResNet进行甲状腺结节TI-RADS分级自动识别的多任务模型搭建；
根据本发明实施例的装置进一步包括：
模型识别模块：采用所述甲状腺结节Tirads分级自动识别模型进行甲状腺结节Tirads分级的自动识别。
本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
装置实施例二
本发明实施例提供一种甲状腺结节Tirads分级自动识别模型构建装置，如图3所示，包括：存储器30、处理器32及存储在所述存储器30上并可在所述处理器32上运行的计算机程序，所述计算机程序被所述处理器32执行时实现如下方法步骤：
S1.对甲状腺超声图像进行数据预处理；
具体地，在原始的训练数据中，由于每张超声图像受各种因素影响，造成特征的分布范围差异很大，当测试样本和训练样本之间的差异很大时，就会导致模型效果差的问题，因此需要将各超声图像特征归一化到同一取值区间，消除不同特征之间的相关性，具体方式有零均值化、数据归一化等，本实施例采用数据归一化的方式进行超声图像的特征处理；因为本研究基于大多数超声仪器生成的图像都是灰阶的，只有少部分生成的是RGB图像，而这些图像经过灰度转换后对图像原有的纹理、分辨率、对比度等都没有影响，因此在对超声图像进行预处理时，先对超声图像进行灰度化处理，将图像转为灰度后进行归一化，降低不同样本之间的差异性。
S2.对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割掩膜mask作为训练标签；
具体的，由于甲状腺结节Tirads分级中有关于自动测量横纵比的指标，甲状腺结节大多为椭圆状，所以可以将甲状腺结节当成分割任务进行处理。预处理后的甲状腺超声图像生成训练标签分割mask的具体方式为：
首先标注甲状腺结节横轴、纵轴的端点，获取横轴和纵轴的标注点后，以横轴和纵轴中的长轴为标准，将短轴沿着长轴方向进行平扫，平扫的两端为长轴两端终点，得到一个矩形，然后采用内接椭圆的拟合方式即可得到分割mask。本方法实施例标注仅标注甲状腺结节横轴纵轴的端点，不采用勾画结节轮廓的方式。
S3.基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。
具体的，根据TI-RADS的分级的五个分类指标，将分类任务共用一个backbone模型，将分割任务采用Unet模型进行分割，使用ResNet进行甲状腺结节TI-RADS分级自动识别的多任务模型搭建，其中，所述五个分类指标具体包括：成分、回声、形态、边缘以及强回声，其中，形态为分割任务，其他四个分类指标为分类任务。
进行损失函数设定时，考虑到多任务学习是一种集成学习方法，可以对几个任务同时训练从而使多个任务的共享参数及损失函数设计上互相影响，在进行模型训练前设定损失函数时，与成分、回声、形态、以及边缘等单标签多分类任务使用经典的交叉熵损失函数、强回声属于多标签多分类任务，需要添加权重，平衡成分、回声、形态、边缘的损失函数。
在使用Unet模型进行超声甲状腺结节分割任务时，由于网络是对每个像素进行分割，可能会导致粗分割，所以需要使用条件随机场对分割图像进行优化，具体方法如下：
条件随机场通过接受原始图像和每个像素的预测概率两个输入，对使用Unet进行超声甲状腺结节分割的分割图像进行优化，其中，条件随机场使用了在任意特征空间中，两个边势由高斯核的线性组合定义的高效推理方法。
装置实施例三
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器32执行时实现如下方法步骤：
S1.对甲状腺超声图像进行数据预处理；
具体地，在原始的训练数据中，由于每张超声图像受各种因素影响，造成特征的分布范围差异很大，当测试样本和训练样本之间的差异很大时，就会导致模型效果差的问题，因此需要将各超声图像特征归一化到同一取值区间，消除不同特征之间的相关性，具体方式有零均值化、数据归一化等，本实施例采用数据归一化的方式进行超声图像的特征处理；因为本研究基于大多数超声仪器生成的图像都是灰阶的，只有少部分生成的是RGB图像，而这些图像经过灰度转换后对图像原有的纹理、分辨率、对比度等都没有影响，因此在对超声图像进行预处理时，先对超声图像进行灰度化处理，将图像转为灰度后进行归一化，降低不同样本之间的差异性。
S2.对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割掩膜mask作为训练标签；
具体的，由于甲状腺结节Tirads分级中有关于自动测量横纵比的指标，甲状腺结节大多为椭圆状，所以可以将甲状腺结节当成分割任务进行处理。预处理后的甲状腺超声图像生成训练标签分割mask的具体方式为：
首先标注甲状腺结节横轴、纵轴的端点，获取横轴和纵轴的标注点后，以横轴和纵轴中的长轴为标准，将短轴沿着长轴方向进行平扫，平扫的两端为长轴两端终点，得到一个矩形，然后采用内接椭圆的拟合方式即可得到分割mask。本方法实施例标注仅标注甲状腺结节横轴纵轴的端点，不采用勾画结节轮廓的方式。
S3.基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。
具体的，根据TI-RADS的分级的五个分类指标，将分类任务共用一个backbone模型，将分割任务采用Unet模型进行分割，使用ResNet进行甲状腺结节TI-RADS分级自动识别的多任务模型搭建，其中，所述五个分类指标具体包括：成分、回声、形态、边缘以及强回声，其中，形态为分割任务，其他四个分类指标为分类任务。
进行损失函数设定时，考虑到多任务学习是一种集成学习方法，可以对几个任务同时训练从而使多个任务的共享参数及损失函数设计上互相影响，在进行模型训练前设定损失函数时，与成分、回声、形态、以及边缘等单标签多分类任务使用经典的交叉熵损失函数、强回声属于多标签多分类任务，需要添加权重，平衡成分、回声、形态、边缘的损失函数。
在使用Unet模型进行超声甲状腺结节分割任务时，由于网络是对每个像素进行分割，可能会导致粗分割，所以需要使用条件随机场对分割图像进行优化，具体方法如下：
条件随机场通过接受原始图像和每个像素的预测概率两个输入，对使用Unet进行超声甲状腺结节分割的分割图像进行优化，其中，条件随机场使用了在任意特征空间中，两个边势由高斯核的线性组合定义的高效推理方法。
综上所述，本发明提供一种甲状腺结节Tirads分级自动识别模型构建方法，在训练甲状腺分级分类识别模型之前对数据进行归一化，提升模型鲁棒性，改善识别效果；对甲状腺TI-RADS形态分类部分，采用分割的方式，标注使用长短径标注，大幅降低人工成本，减轻人员标注压力，提高数据获取速度；使用多任务模型架构的方式，充分挖掘任务之间相关性，提升模型效果；采用适用于TI-RADS分级的多任务损失函数loss，平衡各任务的权重，使神经网络的参数在优化时提高泛化能力；使用条件随机场对分割结果进行后处理，提高分割精度，得到更好的语义分割结果，完成了对结节分割的优化。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种甲状腺结节Tirads分级自动识别模型构建方法，其特征在于，包括以下步骤：
S1.对甲状腺超声图像进行数据预处理；
S2.对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割掩膜mask作为训练标签；
S3.基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
采用所述甲状腺结节Tirads分级自动识别模型进行甲状腺结节Tirads分级的自动识别。
3.根据权利要求1所述的方法，其特征在于，
在步骤S1中，所述数据预处理具体包括：
对甲状腺超声图像进行灰度化处理，图像转为灰度后再进行归一化处理；
在步骤S2中，对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割mask具体包括：
首先标注甲状腺结节横轴、纵轴的端点，获取横轴和纵轴的标注点后，以横轴和纵轴中的长轴为标准，将短轴沿着长轴方向进行平扫，平扫的两端为长轴两端终点，这样得到一个矩形，然后采用内接椭圆的拟合方式即可得到分割mask。
4.根据权利要求1所述的方法，其特征在于，基于卷积神经网络进行多任务模型搭建具体包括：
根据TI-RADS的分级的五个分类指标，将分类任务共用一个backbone模型，将分割任务采用Unet模型进行分割，使用ResNet进行甲状腺结节TI-RADS分级自动识别的多任务模型搭建，其中，所述五个分类指标具体包括：成分、回声、形态、边缘以及强回声，其中，形态为分割任务，其他四个分类指标为分类任务。
5.根据权利要求1所述方法，其特征在于，设定的损失函数具体为：
与成分、回声、形态、以及边缘的单标签多分类任务对应的交叉熵损失函数、以及对强回声的多标签多分类任务添加权重，平衡成分、回声、形态、边缘的损失函数。
6.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：
在使用Unet模型进行超声甲状腺结节分割任务时，由于是对每个像素进行分割，可能会导致粗分割，所以需要使用条件随机场对分割图像进行优化，具体方法如下：
条件随机场通过接受原始图像和每个像素的预测概率两个输入，对使用Unet进行超声甲状腺结节分割的分割图像进行优化，其中，条件随机场使用了在任意特征空间中，两个边势由高斯核的线性组合定义的高效推理方法。
7.一种甲状腺结节Tirads分级自动识别模型构建装置，其特征在于，包括：
数据预处理模块：用于对甲状腺超声图像进行数据预处理；
分割模块：用于对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割mask作为训练标签；
模型搭建模块：用于基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。
8.根据权利要求7所述的一种甲状腺结节Tirads分级自动识别模型构建装置，其特征在于，所述装置进一步包括：
模型识别模块：采用所述甲状腺结节Tirads分级自动识别模型进行甲状腺结节Tirads分级的自动识别；
所述数据预处理模块具体用于：对甲状腺超声图像进行灰度化处理，图像转为灰度后再进行归一化处理；
所述分割模块对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割mask的具体步骤为：首先标注甲状腺结节横轴、纵轴的端点，获取横轴和纵轴的标注点后，以横轴和纵轴中的长轴为标准，将短轴沿着长轴方向进行平扫，平扫的两端为长轴两端终点，这样得到一个矩形，然后采用内接椭圆的拟合方式即可得到分割mask；
所述模型搭建模块用于基于卷积神经网络进行多任务模型搭建，具体包括：根据TI-RADS的分级的五个分类指标，将分类任务共用一个backbone模型，将分割任务采用Unet模型进行分割，使用ResNet进行甲状腺结节TI-RADS分级自动识别的多任务模型搭建，其中，所述五个分类指标具体包括：成分、回声、形态、边缘以及强回声，其中，形态为分割任务，其他四个分类指标为分类任务；
所述设定的损失函数具体为：与成分、回声、形态、以及边缘的单标签多分类任务对应的交叉熵损失函数、以及对强回声的多标签多分类任务添加权重，平衡成分、回声、形态、边缘的损失函数。
9.一种甲状腺结节Tirads分级自动识别模型构建装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的甲状腺结节Tirads分级自动识别模型构建方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至6中任一项所述的甲状腺结节Tirads分级自动识别模型构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110075128.4A CN112767355A (zh) | 2021-01-20 | 2021-01-20 | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110075128.4A CN112767355A (zh) | 2021-01-20 | 2021-01-20 | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112767355A true CN112767355A (zh) | 2021-05-07 |
Family
ID=75703479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110075128.4A Pending CN112767355A (zh) | 2021-01-20 | 2021-01-20 | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767355A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113223005A (zh) * | 2021-05-11 | 2021-08-06 | 天津大学 | 一种甲状腺结节自动分割及分级的智能系统 |
| CN113299391A (zh) * | 2021-05-25 | 2021-08-24 | 李玉宏 | 远程甲状腺结节超声影像的风险评估方法 |
| CN113449777A (zh) * | 2021-06-08 | 2021-09-28 | 上海深至信息科技有限公司 | 一种甲状腺结节自动分级方法和系统 |
| CN113658146A (zh) * | 2021-08-20 | 2021-11-16 | 合肥合滨智能机器人有限公司 | 一种结节分级方法、装置、电子设备及存储介质 |
| CN114529760A (zh) * | 2022-01-25 | 2022-05-24 | 北京医准智能科技有限公司 | 一种针对甲状腺结节的自适应分类方法及装置 |
| CN114529759A (zh) * | 2022-01-25 | 2022-05-24 | 北京医准智能科技有限公司 | 一种甲状腺结节的分类方法、装置及计算机可读介质 |
| CN114677378A (zh) * | 2022-05-31 | 2022-06-28 | 四川省医学科学院·四川省人民医院 | 基于卵巢肿瘤良恶性预测模型的计算机辅助诊疗系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN110111344A (zh) * | 2019-05-13 | 2019-08-09 | 广州锟元方青医疗科技有限公司 | 病理切片图像分级方法、装置、计算机设备和存储介质 |
| US20190371450A1 (en) * | 2018-05-30 | 2019-12-05 | Siemens Healthcare Gmbh | Decision Support System for Medical Therapy Planning |
| WO2020093042A1 (en) * | 2018-11-02 | 2020-05-07 | Deep Lens, Inc. | Neural networks for biomedical image analysis |
| US20200143205A1 (en) * | 2017-08-10 | 2020-05-07 | Intel Corporation | Convolutional neural network framework using reverse connections and objectness priors for object detection |
| CN111274981A (zh) * | 2020-02-03 | 2020-06-12 | 中国人民解放军国防科技大学 | 目标检测网络构建方法及装置、目标检测方法 |
| CN111429452A (zh) * | 2020-04-15 | 2020-07-17 | 深圳市嘉骏实业有限公司 | 基于UNet卷积神经网络的膀胱超声图像分割方法及装置 |
| CN111554384A (zh) * | 2020-05-14 | 2020-08-18 | 南京信息工程大学 | 基于先验感知和多任务学习的腺癌病理图像分析方法 |
| CN112116603A (zh) * | 2020-09-14 | 2020-12-22 | 中国科学院大学宁波华美医院 | 一种基于多任务学习的肺结节假阳性筛查方法 |
| KR20200143193A (ko) * | 2019-06-13 | 2020-12-23 | 네이버 주식회사 | 객체인식장치 및 객체인식방법 |
-
2021
- 2021-01-20 CN CN202110075128.4A patent/CN112767355A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200143205A1 (en) * | 2017-08-10 | 2020-05-07 | Intel Corporation | Convolutional neural network framework using reverse connections and objectness priors for object detection |
| US20190371450A1 (en) * | 2018-05-30 | 2019-12-05 | Siemens Healthcare Gmbh | Decision Support System for Medical Therapy Planning |
| WO2020093042A1 (en) * | 2018-11-02 | 2020-05-07 | Deep Lens, Inc. | Neural networks for biomedical image analysis |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN110111344A (zh) * | 2019-05-13 | 2019-08-09 | 广州锟元方青医疗科技有限公司 | 病理切片图像分级方法、装置、计算机设备和存储介质 |
| KR20200143193A (ko) * | 2019-06-13 | 2020-12-23 | 네이버 주식회사 | 객체인식장치 및 객체인식방법 |
| CN111274981A (zh) * | 2020-02-03 | 2020-06-12 | 中国人民解放军国防科技大学 | 目标检测网络构建方法及装置、目标检测方法 |
| CN111429452A (zh) * | 2020-04-15 | 2020-07-17 | 深圳市嘉骏实业有限公司 | 基于UNet卷积神经网络的膀胱超声图像分割方法及装置 |
| CN111554384A (zh) * | 2020-05-14 | 2020-08-18 | 南京信息工程大学 | 基于先验感知和多任务学习的腺癌病理图像分析方法 |
| CN112116603A (zh) * | 2020-09-14 | 2020-12-22 | 中国科学院大学宁波华美医院 | 一种基于多任务学习的肺结节假阳性筛查方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHAOYANG YAN等: "PRIOR-AWARE CNN WITH MULTI-TASK LEARNING FOR COLON IMAGES ANALYSIS", 《2020 IEEE 17TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING》 * |
| 周姝君: "基于深度学习的超声甲状腺结节诊断研究", 《中国优秀硕士学位论文全文数据库》 * |
| 韩晓涛;杨燕;彭博;陈琴;: "基于TI-RADS的甲状腺结节超声图像特征提取技术研究", 计算机科学, no. 2 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113223005A (zh) * | 2021-05-11 | 2021-08-06 | 天津大学 | 一种甲状腺结节自动分割及分级的智能系统 |
| CN113299391A (zh) * | 2021-05-25 | 2021-08-24 | 李玉宏 | 远程甲状腺结节超声影像的风险评估方法 |
| CN113299391B (zh) * | 2021-05-25 | 2023-11-03 | 李玉宏 | 远程甲状腺结节超声影像的风险评估方法 |
| CN113449777A (zh) * | 2021-06-08 | 2021-09-28 | 上海深至信息科技有限公司 | 一种甲状腺结节自动分级方法和系统 |
| CN113658146A (zh) * | 2021-08-20 | 2021-11-16 | 合肥合滨智能机器人有限公司 | 一种结节分级方法、装置、电子设备及存储介质 |
| CN114529760A (zh) * | 2022-01-25 | 2022-05-24 | 北京医准智能科技有限公司 | 一种针对甲状腺结节的自适应分类方法及装置 |
| CN114529759A (zh) * | 2022-01-25 | 2022-05-24 | 北京医准智能科技有限公司 | 一种甲状腺结节的分类方法、装置及计算机可读介质 |
| CN114529760B (zh) * | 2022-01-25 | 2022-09-02 | 北京医准智能科技有限公司 | 一种针对甲状腺结节的自适应分类方法及装置 |
| CN114529759B (zh) * | 2022-01-25 | 2023-01-17 | 北京医准智能科技有限公司 | 一种甲状腺结节的分类方法、装置及计算机可读介质 |
| CN114677378A (zh) * | 2022-05-31 | 2022-06-28 | 四川省医学科学院·四川省人民医院 | 基于卵巢肿瘤良恶性预测模型的计算机辅助诊疗系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767355A (zh) | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 | |
| CN109583440B (zh) | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 | |
| CN108364006B (zh) | 基于多模式深度学习的医学图像分类装置及其构建方法 | |
| CN111986150B (zh) | 一种数字病理图像的交互式标注精细化方法 | |
| George et al. | Remote computer-aided breast cancer detection and diagnosis system based on cytological images | |
| Dundar et al. | Computerized classification of intraductal breast lesions using histopathological images | |
| US20200167928A1 (en) | Segmentation of anatomical regions and lesions | |
| Sridar et al. | Decision fusion-based fetal ultrasound image plane classification using convolutional neural networks | |
| Wang et al. | Breast mass detection in digital mammogram based on gestalt psychology | |
| CN101551855B (zh) | 自适应核匹配追踪辅助诊断系统及其辅助诊断方法 | |
| CN111583320B (zh) | 融合深度卷积网络和影像组学特征的乳腺癌超声图分型方法、系统及存储介质 | |
| CN111695644B (zh) | 基于光密度变换的肿瘤超声图像分类方法、装置及介质 | |
| CN111563897A (zh) | 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置 | |
| CN109886346A (zh) | 一种心肌mri图像分类系统 | |
| CN111583250B (zh) | 一种基于深度学习的超声图像二尖瓣的定位方法及系统 | |
| Bansal et al. | An improved hybrid classification of brain tumor MRI images based on conglomeration feature extraction techniques | |
| Wei et al. | Multi-feature fusion for ultrasound breast image classification of benign and malignant | |
| CN109816665A (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
| Li et al. | A novel approach of computer-aided detection of focal ground-glass opacity in 2D lung CT images | |
| CN114757894A (zh) | 一种骨肿瘤病灶分析系统 | |
| CN113870194A (zh) | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 | |
| Nyemeesha | A systematic study and approach on detection of classification of skin cancer using back propagated artificial neural networks | |
| Zaki et al. | Graph-based methods for cervical cancer segmentation: Advancements, limitations, and future directions | |
| Pavel et al. | Cancer detection using image processing techniques based on cell counting, cell area measurement and clump detection | |
| Akram et al. | Recognizing Breast Cancer Using Edge-Weighted Texture Features of Histopathology Images. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |