CN112927808A - 一种基于甲状腺超声图像的结节分级系统及方法 - Google Patents
一种基于甲状腺超声图像的结节分级系统及方法 Download PDFInfo
- Publication number
- CN112927808A CN112927808A CN202110223634.3A CN202110223634A CN112927808A CN 112927808 A CN112927808 A CN 112927808A CN 202110223634 A CN202110223634 A CN 202110223634A CN 112927808 A CN112927808 A CN 112927808A
- Authority
- CN
- China
- Prior art keywords
- database
- model
- nodule
- thyroid
- ultrasound image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001685 thyroid gland Anatomy 0.000 title claims abstract description 143
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 21
- 238000004140 cleaning Methods 0.000 claims description 17
- 238000003745 diagnosis Methods 0.000 claims description 16
- 238000002360 preparation method Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 208000024891 symptom Diseases 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 14
- 208000024770 Thyroid neoplasm Diseases 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 208000009453 Thyroid Nodule Diseases 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 201000002510 thyroid cancer Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Abstract
本发明提供了一种基于甲状腺超声图像的结节分级系统及方法。包括：第一数据库进行处理，形成适合深度模型处理的第二数据库；去除第二数据库中不合理的第二甲状腺超声图像形成第三数据库；对第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；对第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；抽取第五数据库中的部分第五甲状腺超声图像形成训练数据库；通过训练好的模型结构，在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级。该基于甲状腺超声图像的结节分级系统改善了现有技术中甲状腺结节自动识别和结节分级过程中准确率不高的问题。
Description
技术领域
本发明涉及计算机人工智能深度学习技术领域，尤其是涉及一种基于甲状腺超声图像的结节分级系统及方法。
背景技术
传统机器学习方法的甲状腺癌自动识别往往分为两步走，首先提取特征，然后使用分类器进行分类。常用提取特征的方法有SIFT、HOG、Haar-like、LBP特征等，提取特征的好坏决定自动识别的效果；特征提取工作需要不断调参，是一件耗时费力的事情，与技术的经验有很大相关，经验丰富的专家往往提取出的特征更为有用，但拥有这样丰富的技术人员不多。常用的分类器有SVM、决策树、逻辑回归等等，不同的分类器在不同任务上效果不一，但效果不会相差太远。
随着深度学习的复兴，特别在2012年，卷积神经网络(CNN)在ImageNet任务的突出效果引起世人极大关注，随后在图像识别领域获得统治地位，由于其在图像识别、定位、分割等各种视觉任务上取得的出色表现，渐渐的在医疗领域也不断应用。与传统机器学习方法不同，深度学习是一种端对端的方式，其能自动提取图像特征，因此可以免去传统机器学习上许多弊端。
从目前的研究现状来看，传统的机器学习方法在甲状腺自动识别上取得了一定的效果，使用深度学习方法也获得了相当效果，但随着时间推移，深度学习图像识别框架发生了巨大改进，但目前的甲状腺自动识别的研究还是使用较老的框架，因此效果还有提升的空间。
发明内容
本发明的目的在于提供一种基于甲状腺超声图像的结节分级系统及方法，该结节分级系统能够解决现有技术中甲状腺结节自动识别和结节分级过程中准确率不高的问题。
为了实现上述目的，本发明提供如下技术方案：
一种基于甲状腺超声图像的结节分级方法，所述方法具体包括：
S101，选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库；
S102，对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；
S103，根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；
S104，对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；
S105，抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库，通过所述训练数据库训练模型结构；
S106，对训练好的所述模型结构进行测试；
S107，通过训练好的所述模型结构，在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步地，所述方法进一步包括：
S108，根据训练好的所述结节分级，生成诊断结果。
进一步地，选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库具体包括：
选取包含不同症象特征的结节的第一甲状腺超声图像、不同设备上采集的第一甲状腺超声图像和不同角度的第一甲状腺超声图像形成第一数据库。
进一步地，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库具体包括：
将所述第一数据库中的第一甲状腺超声图像进行标注形成第二数据库。
进一步地，对所述第二数据库清洗形成第三数据库具体包括：
审查所述第二数据库，去除所述第二数据库中标注错误的第二甲状腺超声图像，形成第三数据库。
进一步地，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库具体包括：
根据实际应用场景的数据分布特征，通过旋转、平移、对称反转将所述第三数据库的第三甲状腺超声图像调整为与所述实际应用场景的数据分布特征相对应第四甲状腺超声图像，形成第四数据库。
进一步地，通过所述训练数据库训练模型结构具体包括：
通过effnet、densnet和resnet作为弱学习器分别训练所述模型结构，通过动态和预先设定的权重加权的方式，分别集成得到分类输出。
一种基于甲状腺超声图像的结节分级系统，其特征在于，包括：
准备模块，其用于选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库；
清洗模块，其与所述准备模块电性相连，用于对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；
增强模块，其与所述清洗模块电性相连，用于根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；
预处理模块，其与所述增强模块电性相连，用于对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；
训练模块，其与所述预处理模块电性相连，用于抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库；
模型结构，其与所述训练模块电性相连，通过训练数据库中的部分第五甲状腺超声图像训练所述模型结构；
测试模块，其与所述模型结构电性相连，用于对训练好的所述模型结构进行测试；
分级模块，用于在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级；
生成模块，根据训练好的所述结节分级，生成诊断结果。
进一步地，所述模型结构包括检测模型、分级模型和分割模型；所述检测模型、所述分级模型和所述分割模型分别与所述测试模块电性相连；
所述检测模型用于检测第五甲状腺超声图像中的结节，所述分割模型用于从第五甲状腺超声图像中分割出结节图像，所述分级模型用于对检测和分割得到的结节图像进行分级。
进一步地，所述检测模型进一步包括efficientdet模型和cspnet模型，所述efficientdet模型和cspnet模型用于检测第五甲状腺超声图像中的结节；
所述分割模型进一步包括Resnetst模型和HRNet-OCR模型；所述Resnetst模型和所述HRNet-OCR模型用于从第五甲状腺超声图像中分割出结节图像；
所述分级模型进一步包括effnet模型、densenet模型和resne模型，所述effnet模型、densenet模型和resne模型分别用于对检测和分割得到的结节图像进行分级。
本发明具有如下优点：
本发明中的基于甲状腺超声图像的结节分级系统，提出一种在甲状腺超声自动诊断系统中使用深度学习技术自动检测结节且对结节进行tirads分级的技术。针对甲状腺结节图片数据分布不均衡的问题，采用loss函数权重增强，训练数据集重要性采样等技术，克服图片数据分布不均衡的问题。针对甲状腺结节图片采集困难的问题，通过基于公开方式获取的医疗数据做预训练，并在具体场景上以少量的数据调优的方法，来克服甲状腺结节图片数量少的问题。解决了现有技术中甲状腺结节自动识别和结节分级过程中准确率不高的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中结节分级方法的流程示意图；
图2为本发明实施例中获取诊断结果的流程示意图；
图3为本发明实施例中结节分级系统的示意图；
图4为本发明实施例中获取诊断结果的结构示意图。
附图标记说明：
准备模块10，清洗模块20，增强模块30，预处理模块40，训练模块50，模型结构60，测试模块70，分级模块80，生成模块90。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于甲状腺超声图像的结节分级方法，所述方法具体包括：
S101，数据准备；
在本步骤中，选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库；数据准备是指，将用于训练的第一数据库处理成适合深度模型处理的第二数据库。处理过程包括但不限于，选择数据，对数据进行标注，数据均衡处理等。
S102，数据清洗；
在本步骤中，对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；数据清洗是指，对准备好的数据进行审查，去除或者修正不合理的第二甲状腺超声图像。包括但不限于，标注有误的数据。
S103，数据增强；
在本步骤中，根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；数据增强是指，根据实际应用场景的数据分布特性，针对性的修改训练数据集中的第三甲状腺超声图像。
S104，数据预处理；
在本步骤中，对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；数据预处理是指，对第四甲状腺超声图像进行变换，以提高模型对第四甲状腺超声图像识别，分割，以及结节分类的准确率。
S105，模型训练；
在本步骤中，抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库，通过所述训练数据库训练模型结构60；模型训练是指，从经S101-S104步骤处理过的第五数据库中，抽取部分第五甲状腺超声图像形成训练数据库，并使用训练数据库训练模型结构60。所训练的模型结构60可以由多个模型组合而成，比如，识别模型和分级模型级联，或者多个识别模型融合。
S106，模型测试；
本步骤中，对训练好的所述模型结构60进行测试；模型测试是指，从经S101-S105步骤处理过的图像数据中，抽取测试数据集，使用测试数据对经过训练的模型结构60进行测试，得到模型结构60性能评估。评估标准包括但不限于，AUC，IOU，准确率等。
推理过程是指在实际医疗应用场景中，使用训练过程得到的，具备对甲状腺超声图像进行准确的诊断分级的能力的模型结构60，端到端的对甲状腺超声图像推理，从中分割结节，并自动分级。
S106，模型推理；
在本步骤中，通过训练好的所述模型结构60，在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级；模型推理包括，使用检测模型检测第五甲状腺超声图像中的结节，或者使用分割模型从第五甲状腺超声图像中分割出结节图像。随后使用分级模型对检测或者分割得到的结节图像进行分级。模型推理是指，使用训练好的模型，在实际医疗应用场景中，对经过预处理的图像进行端到端的检测，分割，或者识别。
本发明的目的在于提出一种能在甲状腺诊断任务中，使用最新算法端到端的从甲状腺超声图像中分割结节，并自动分级，辅助医生对甲状腺癌的进行筛查，以及超声图像的分级以及报告撰写。使得在甲状腺癌早期阶段完成检测工作，避免穿刺等代价昂贵的工作。
本发明所提出的端到端的处理过程包括训练和推理两个过程。
训练过程使用甲状腺超声图像数据训练深度模型。使模型具备在实际医疗应用场景中，对甲状腺超声图像进行准确的诊断分级的能力。
推理过程是指在实际医疗应用场景中，使用训练过程得到的，具备对甲状腺超声图像进行准确的诊断分级的能力的模型，端到端的对甲状腺超声图像推理，从中分割结节，并自动分级。
选取包含不同症象特征的结节的第一甲状腺超声图像、不同设备上采集的第一甲状腺超声图像和不同角度的第一甲状腺超声图像形成第一数据库。将所述第一数据库中的第一甲状腺超声图像进行标注形成第二数据库。
如图2所示，所述方法进一步包括：S107，得到诊断结果；
在本步骤中，根据训练好的所述结节分级，生成诊断结果。得到诊断结果是指，将模型推理得到的结果，转换成适用于实际应用场景的诊断结果。
数据准备
第一甲状腺超声图像由于来源不同，具备不同的特点。比如，图像中是否有结节，是否有血管，气管等容易与结节混淆的其他人体组织，这就要求在准备过程中选取与实际应用场景相似的图像进行训练。选取方式包含，选取包含不同症象特征的结节的图像；选取不同设备上采集的图像；选取不同角度的图像，比如横切/纵切图像。
另外，如果采用有监督方式训练模型，则在数据准备阶段还应完成第一甲状腺超声图像标标注工作。标注工作有多种标注方案，比如，标注结节的各种症象，标注结节的长短经，标注结节。
审查所述第二数据库，去除所述第二数据库中标注错误的第二甲状腺超声图像，形成第三数据库。
数据清洗
数据清洗是指，对准备好的数据进行审查，去除或者修正不合理的图像，比如，无结节的图像标注为有节结，图像中结节症象，长短经，轮廓等标注错误。
数据清洗工作对深度模型有重要影响，不合理图像越少，训练完毕之后的模型指标越好。
根据实际应用场景的数据分布特征，通过旋转、平移、对称反转将所述第三数据库的第三甲状腺超声图像调整为与所述实际应用场景的数据分布特征相对应第四甲状腺超声图像，形成第四数据库。
数据增强
根据实际应用场景的数据分布特性，针对性的修改训练数据集中的第三甲状腺超声图像。例如，实际应用场景中，甲状腺超声图像亮度，对比度偏低，则训练数据集中的第三甲状腺超声图像亮度，对比度也应调整到同等水平。另外，数据增强对于图像来说，还可以包含旋转，平移，对称反转等操作。
数据预处理
数据预处理是指，对第四甲状腺超声图像进行变换，以提高模型结构20对第四甲状腺超声图像识别，分割，以及结节分类的准确率。
图像预处理对提高模型训练结果的性能影响较大。
将若干个模型级集成所述模型结构60，按照每个模型的可信度集成得到分类输出。
通过effnet、densnet和resnet作为弱学习器分别训练所述模型结构60，通过动态和预先设定的权重加权的方式，分别集成得到分类输出。
模型训练
从经前述步骤处理过的图像数据中，抽取训练数据集，并使用训练数据集训练模型结构。所训练的模型结构可以由多个模型组合而成，比如，识别模型和分级模型级联，或者多个识别模型融合。
本发明的模型结构包含分割模型，检测模型，分级模型。选用的模型包括以下模型，但不限于这些模型：
Resnetst和HRNet-OCR等模型做分割；efficientdet和cspnet等模型做检测；effnet、densenet和resnet等模型做分级。以上模型在公开数据集上表现相对是最好的。
本发明的模型，可以由多个模型级联而成，比如，使用Resnetst和effnet级联，完成分割模型的功能。
本发明的模型，在训练的过程中，可以有多个模型集成，然后按照每个模型的可信度集成得到最终的输出。比如，采用effnet、densnet和resnet作为弱学习器分别训练，然后以动态或者预先设定的权重加权的方式，集成得到最终的分类输出。
模型测试
模型测试是指，对于模型训练得到的结果，在测试数据集上测试，并得到输出结果，以对模型的性能进行评估。
在测试过程中，有如下模块：
数据预处理
数据预处理是指，对第四甲状腺超声图像进行变换，以提高模型结构20对甲状腺超声图像识别，分割，以及结节分类的准确率。
图像预处理对提高模型推理结果的性能影响较大。
模型推理
模型推理是指，使用训练好的模型结构60，在实际医疗应用场景中对甲状腺超声图片进行结节检测，分级。
得到诊断结果
得到诊断结果是指，根据模型推理得到的结节分级，生成诊断结果。
诊断结果例如：超声诊断报告，病历等。
如图3-4所示，一种基于甲状腺超声图像的结节分级系统，包括：
准备模块10，其用于选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库；
清洗模块20，其与所述准备模块电性相连，用于对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；
增强模块30，其与所述清洗模块电性相连，用于根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；
预处理模块40，其与所述增强模块电性相连，用于对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；
训练模块50，其与所述预处理模块电性相连，用于抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库；
模型结构60，其与所述训练模块电性相连，通过训练数据库中的部分第五甲状腺超声图像训练所述模型结构；
测试模块70，其与所述模型结构电性相连，用于对训练好的所述模型结构进行测试；
分级模块80，用于在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级；
生成模块90，根据训练好的所述结节分级，生成诊断结果。
所述模型结构包括检测模型、分级模型和分割模型；所述检测模型、所述分级模型和所述分割模型分别与所述测试模块电性相连；
所述检测模型用于检测第五甲状腺超声图像中的结节，所述分割模型用于从第五甲状腺超声图像中分割出结节图像，所述分级模型用于对检测或者分割得到的结节图像进行分级。
所述检测模型进一步包括efficientdet模型和cspnet模型，所述efficientdet模型和cspnet模型用于检测第五甲状腺超声图像中的结节；
所述分割模型进一步包括Resnetst模型和HRNet-OCR模型；所述Resnetst模型和所述HRNet-OCR模型用于从第五甲状腺超声图像中分割出结节图像；
所述分级模型进一步包括effnet模型、densenet模型和resne模型，所述effnet模型、densenet模型和resne模型分别用于对检测或者分割得到的结节图像进行分级。
该基于甲状腺超声图像的结节分级方法使用过程如下：
使用时，操作人员选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将用于所述第一数据库进行处理，形成适合深度模型处理的第二数据库；对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库，通过所述训练数据库训练模型结构60；通过训练好的所述模型结构60，在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级；根据训练好的所述结节分级，生成诊断结果。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于甲状腺超声图像的结节分级方法，其特征在于，所述方法具体包括：
S101，选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库；
S102，对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；
S103，根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；
S104，对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；
S105，抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库，通过所述训练数据库训练模型结构；
S106，对训练好的所述模型结构进行测试；
S107，通过训练好的所述模型结构，在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级。
2.根据权利要求1所述基于甲状腺超声图像的结节分级方法，其特征在于，所述方法进一步包括：
S108，根据训练好的所述结节分级，生成诊断结果。
3.根据权利要求1所述基于甲状腺超声图像的结节分级方法，其特征在于，选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库具体包括：
选取包含不同症象特征的结节的第一甲状腺超声图像、不同设备上采集的第一甲状腺超声图像和不同角度的第一甲状腺超声图像形成第一数据库。
4.根据权利要求1所述基于甲状腺超声图像的结节分级方法，其特征在于，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库具体包括：
将所述第一数据库中的第一甲状腺超声图像进行标注形成第二数据库。
5.根据权利要求1所述基于甲状腺超声图像的结节分级方法，其特征在于，对所述第二数据库清洗形成第三数据库具体包括：
审查所述第二数据库，去除所述第二数据库中标注错误的第二甲状腺超声图像，形成第三数据库。
6.根据权利要求1所述基于甲状腺超声图像的结节分级方法，其特征在于，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库具体包括：
根据实际应用场景的数据分布特征，通过旋转、平移、对称反转将所述第三数据库的第三甲状腺超声图像调整为与所述实际应用场景的数据分布特征相对应第四甲状腺超声图像，形成第四数据库。
7.根据权利要求1所述基于甲状腺超声图像的结节分级方法，其特征在于，通过所述训练数据库训练模型结构具体包括：
通过effnet、densnet和resnet作为弱学习器分别训练所述模型结构，通过动态和预先设定的权重加权的方式，分别集成得到分类输出。
8.一种基于甲状腺超声图像的结节分级系统，其特征在于，包括：
准备模块，其用于选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库；
清洗模块，其与所述准备模块电性相连，用于对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；
增强模块，其与所述清洗模块电性相连，用于根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；
预处理模块，其与所述增强模块电性相连，用于对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；
训练模块，其与所述预处理模块电性相连，用于抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库；
模型结构，其与所述训练模块电性相连，通过训练数据库中的部分第五甲状腺超声图像训练所述模型结构；
测试模块，其与所述模型结构电性相连，用于对训练好的所述模型结构进行测试；
分级模块，用于在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级；
生成模块，根据训练好的所述结节分级，生成诊断结果。
9.根据权利要求8所述基于甲状腺超声图像的结节分级系统，其特征在于，所述模型结构包括检测模型、分级模型和分割模型；所述检测模型、所述分级模型和所述分割模型分别与所述测试模块电性相连；
所述检测模型用于检测第五甲状腺超声图像中的结节，所述分割模型用于从第五甲状腺超声图像中分割出结节图像，所述分级模型用于对检测和分割得到的结节图像进行分级。
10.根据权利要求9所述基于甲状腺超声图像的结节分级系统，其特征在于，所述检测模型进一步包括efficientdet模型和cspnet模型，所述efficientdet模型和cspnet模型用于检测第五甲状腺超声图像中的结节；
所述分割模型进一步包括Resnetst模型和HRNet-OCR模型；所述Resnetst模型和所述HRNet-OCR模型用于从第五甲状腺超声图像中分割出结节图像；
所述分级模型进一步包括effnet模型、densenet模型和resne模型，所述effnet模型、densenet模型和resne模型分别用于对检测和分割得到的结节图像进行分级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110223634.3A CN112927808A (zh) | 2021-03-01 | 2021-03-01 | 一种基于甲状腺超声图像的结节分级系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110223634.3A CN112927808A (zh) | 2021-03-01 | 2021-03-01 | 一种基于甲状腺超声图像的结节分级系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112927808A true CN112927808A (zh) | 2021-06-08 |
Family
ID=76172662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110223634.3A Pending CN112927808A (zh) | 2021-03-01 | 2021-03-01 | 一种基于甲状腺超声图像的结节分级系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927808A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673586A (zh) * | 2021-08-10 | 2021-11-19 | 北京航天创智科技有限公司 | 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100292571A1 (en) * | 2009-05-13 | 2010-11-18 | Washington, University Of | Nodule screening using ultrasound elastography |
| US20100312072A1 (en) * | 2008-01-02 | 2010-12-09 | Yeda Research And Development Co. Ltd. | Method and system for detecting and grading prostate cancer |
| CN107247971A (zh) * | 2017-06-28 | 2017-10-13 | 中国人民解放军总医院 | 一种超声甲状腺结节风险指标的智能分析方法及系统 |
| CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 |
| CN109498061A (zh) * | 2018-12-27 | 2019-03-22 | 深圳开立生物医疗科技股份有限公司 | 超声图像处理方法、装置、设备及计算机可读存储介质 |
| CN208864347U (zh) * | 2017-02-22 | 2019-05-17 | 李程 | 一种甲状腺肿瘤智能检测系统 |
| CN110060774A (zh) * | 2019-04-29 | 2019-07-26 | 赵蕾 | 一种基于生成式对抗网络的甲状腺结节识别方法 |
| CN110211116A (zh) * | 2019-06-03 | 2019-09-06 | 东北大学 | 一种基于深度学习网络和浅层纹理特征融合的甲状腺超声图像结节分析方法 |
| CN110570369A (zh) * | 2019-08-23 | 2019-12-13 | 温州医科大学 | 一种甲状腺结节超声图像去噪方法 |
| CN111341443A (zh) * | 2020-03-09 | 2020-06-26 | 西安中科长青医疗科技研究院有限公司 | 一种基于深度学习的超声甲状腺结节智能评估方法 |
| CN111539959A (zh) * | 2020-07-13 | 2020-08-14 | 浙江省肿瘤医院(浙江省癌症中心) | 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 |
| CN111598875A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动检测模型构建方法、系统及装置 |
| CN111598876A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动识别模型构建方法、系统及设备 |
| CN111742343A (zh) * | 2020-05-20 | 2020-10-02 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像处理方法、系统及计算机可读存储介质 |
| CN111768366A (zh) * | 2020-05-20 | 2020-10-13 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像系统、bi-rads分级方法及模型训练方法 |
| CN112001877A (zh) * | 2020-05-18 | 2020-11-27 | 天津大学 | 一种基于深度学习的甲状腺恶性结节检测方法 |
| CN112206006A (zh) * | 2020-09-27 | 2021-01-12 | 上海交通大学 | 自主评估甲状腺结节良恶性的智能辅助识别设备及方法 |
-
2021
- 2021-03-01 CN CN202110223634.3A patent/CN112927808A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100312072A1 (en) * | 2008-01-02 | 2010-12-09 | Yeda Research And Development Co. Ltd. | Method and system for detecting and grading prostate cancer |
| US20100292571A1 (en) * | 2009-05-13 | 2010-11-18 | Washington, University Of | Nodule screening using ultrasound elastography |
| CN208864347U (zh) * | 2017-02-22 | 2019-05-17 | 李程 | 一种甲状腺肿瘤智能检测系统 |
| CN107247971A (zh) * | 2017-06-28 | 2017-10-13 | 中国人民解放军总医院 | 一种超声甲状腺结节风险指标的智能分析方法及系统 |
| CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 |
| CN109498061A (zh) * | 2018-12-27 | 2019-03-22 | 深圳开立生物医疗科技股份有限公司 | 超声图像处理方法、装置、设备及计算机可读存储介质 |
| CN110060774A (zh) * | 2019-04-29 | 2019-07-26 | 赵蕾 | 一种基于生成式对抗网络的甲状腺结节识别方法 |
| CN110211116A (zh) * | 2019-06-03 | 2019-09-06 | 东北大学 | 一种基于深度学习网络和浅层纹理特征融合的甲状腺超声图像结节分析方法 |
| CN110570369A (zh) * | 2019-08-23 | 2019-12-13 | 温州医科大学 | 一种甲状腺结节超声图像去噪方法 |
| CN111341443A (zh) * | 2020-03-09 | 2020-06-26 | 西安中科长青医疗科技研究院有限公司 | 一种基于深度学习的超声甲状腺结节智能评估方法 |
| CN111598875A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动检测模型构建方法、系统及装置 |
| CN111598876A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动识别模型构建方法、系统及设备 |
| CN112001877A (zh) * | 2020-05-18 | 2020-11-27 | 天津大学 | 一种基于深度学习的甲状腺恶性结节检测方法 |
| CN111742343A (zh) * | 2020-05-20 | 2020-10-02 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像处理方法、系统及计算机可读存储介质 |
| CN111768366A (zh) * | 2020-05-20 | 2020-10-13 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像系统、bi-rads分级方法及模型训练方法 |
| CN111539959A (zh) * | 2020-07-13 | 2020-08-14 | 浙江省肿瘤医院(浙江省癌症中心) | 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 |
| CN112206006A (zh) * | 2020-09-27 | 2021-01-12 | 上海交通大学 | 自主评估甲状腺结节良恶性的智能辅助识别设备及方法 |
Non-Patent Citations (3)
| Title |
|---|
| SHUQING WANG等: "Detection of Insulator Defects With Improved ResNeSt and Region Proposal Network", IEEE XPLORE, 9 October 2020 (2020-10-09), pages 184841 - 184850, XP011815468, DOI: 10.1109/ACCESS.2020.3029857 * |
| WU QI等: "Risk for malignancy of thyroid nodules based on ultrasound imaging characteristics", INTERNATIONAL JOURNAL OFCLINICAL AND EXPERIMENT MEDICNE, pages 11817 - 11823 * |
| 林岚;张格;吴水才;: "深度学习算法在甲状腺超声图像结节良恶性分类中的应用", 医疗卫生装备, no. 06, pages 99 - 104 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673586A (zh) * | 2021-08-10 | 2021-11-19 | 北京航天创智科技有限公司 | 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 |
| CN113673586B (zh) * | 2021-08-10 | 2022-08-16 | 北京航天创智科技有限公司 | 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886273B (zh) | 一种cmr图像分割分类系统 | |
| CN110097559B (zh) | 基于深度学习的眼底图像病灶区域标注方法 | |
| CN108511055B (zh) | 基于分类器融合及诊断规则的室性早搏识别系统及方法 | |
| CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN109191457B (zh) | 一种病理图像质量有效性识别方法 | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN109064455B (zh) | 一种基于bi-rads的乳腺超声图像多尺度融合的分类方法 | |
| CN110543912B (zh) | 自动获取胎儿关键切面超声视频中心动周期视频的方法 | |
| KR20190105180A (ko) | 합성곱 신경망 기반의 병변 진단 장치 및 방법 | |
| CN111461218B (zh) | 糖网病眼底图像的样本数据标注系统 | |
| Costa et al. | Eyequal: Accurate, explainable, retinal image quality assessment | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| CN112927808A (zh) | 一种基于甲状腺超声图像的结节分级系统及方法 | |
| Manikandan et al. | Segmentation and Detection of Pneumothorax using Deep Learning | |
| CN112741651B (zh) | 一种内窥镜超声影像的处理方法及系统 | |
| CN113902702A (zh) | 一种基于计算机断层扫描的肺结节良恶性辅助诊断系统 | |
| CN116864140A (zh) | 一种心内科术后护理监测数据处理方法及其系统 | |
| CN111899272A (zh) | 基于耦合神经网络和线连接器的眼底图像血管分割方法 | |
| CN111951279A (zh) | 颅脑超声图像的脑白质区域分割方法、装置及电子设备 | |
| CN110490088A (zh) | 基于区域增长法的dbscan密度聚类方法 | |
| CN113796850A (zh) | 甲状旁腺mibi图像分析系统、计算机设备及存储介质 | |
| Tobias et al. | Android Application for Chest X-ray Health Classification From a CNN Deep Learning TensorFlow Model | |
| CN111127391A (zh) | 一种基于甲状腺超声视频流动态识别结节良恶性的方法 | |
| CN114098757B (zh) | 一种基于量子粒子群优化的ecg信号监测方法 | |
| Mounika et al. | A Deep Hybrid Neural Network Model to Detect Diabetic Retinopathy from Eye Fundus Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |