CN117541586A - 一种基于可变形yolo的甲状腺结节检测方法 - Google Patents
一种基于可变形yolo的甲状腺结节检测方法 Download PDFInfo
- Publication number
- CN117541586A CN117541586A CN202410032282.7A CN202410032282A CN117541586A CN 117541586 A CN117541586 A CN 117541586A CN 202410032282 A CN202410032282 A CN 202410032282A CN 117541586 A CN117541586 A CN 117541586A
- Authority
- CN
- China
- Prior art keywords
- thyroid
- loss
- feature
- thyroid nodule
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 78
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 210000001685 thyroid gland Anatomy 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 14
- 238000002604 ultrasonography Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 238000005070 sampling Methods 0.000 abstract description 7
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000003211 malignant effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 206010054107 Nodule Diseases 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- AUYYCJSJGJYCDS-LBPRGKRZSA-N Thyrolar Chemical class IC1=CC(C[C@H](N)C(O)=O)=CC(I)=C1OC1=CC=C(O)C(I)=C1 AUYYCJSJGJYCDS-LBPRGKRZSA-N 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002091 elastography Methods 0.000 description 2
- 229940088597 hormone Drugs 0.000 description 2
- 239000005556 hormone Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000005495 thyroid hormone Substances 0.000 description 2
- 229940036555 thyroid hormone Drugs 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 206010001497 Agitation Diseases 0.000 description 1
- 206010016654 Fibrosis Diseases 0.000 description 1
- 102100025444 Gamma-butyrobetaine dioxygenase Human genes 0.000 description 1
- 101000934612 Homo sapiens Gamma-butyrobetaine dioxygenase Proteins 0.000 description 1
- 206010028836 Neck pain Diseases 0.000 description 1
- 206010042674 Swelling Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004761 fibrosis Effects 0.000 description 1
- 230000002989 hypothyroidism Effects 0.000 description 1
- 208000003532 hypothyroidism Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003248 secreting effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002113 ultrasound elastography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于可变形YOLO的甲状腺结节检测方法，属于甲状腺结节诊断技术领域，包括以下步骤：S10，数据采集及预处理；S20，建立甲状腺结节检测模型，S30，优化损失函数；S40，模型训练。本发明在甲状腺结节独立测试集获得了91.1%mAP以及准确率86.2%的成绩，优于现有方法。本发明提出的模型针对甲状腺结节的特征更加灵活的采样能力以及优秀的鲁棒性，能够对甲状腺结节进行精确地定位和的分类。
Description
技术领域
本发明涉及甲状腺结节诊断技术领域，尤其涉及一种基于可变形YOLO的甲状腺结节检测方法。
背景技术
甲状腺是人体最大的内分泌器官，通过分泌甲状腺激素维持机体内环境的相对稳定，甲状腺激素主要用来促进人体的新陈代谢，促进生长发育，提高中枢神经系统的兴奋性，还有加强和调控其他激素的作用，是人体必不可缺的重要激素。甲状腺结节是一种病情呈慢性持续性发展的疾病，主要表现为颈部出现肿物、颈部疼痛、甲减症状等，通常可治愈，不留后遗症，预后较好。但发生甲状腺结节时，如果未能及时就诊明确结节良恶性并采取相应治疗措施，可能会使结节变大而压迫气管，甚至发展成为甲状腺癌。超声检查是以往临床诊断甲状腺结节常用的检查手段，尤其是超声弹性成像，通过超声弹性成像检查，能够快速找到结节的位置，明确结节的大小、是否发生钙化等。二维超声具有实时性、动态性、无辐射、价格低廉、重现性强等优点，是甲状腺结节临床诊断的首选，但其在确定结节性质方面的价值有限。超声弹性成像是一种根据组织硬度差异评价良恶性组织的技术，具有可重复性和定量诊断的优点，但对操作者经验、病灶钙化和纤维化、病灶生长位置等因素非常敏感。且检查结果具有较强的主观性，故而建立一套完整准确且快速的甲状结节快速诊断系统辅助医师对甲状腺结节进行诊断非常具有价值。
目标检测网络现阶段可以大致分为单阶段和两阶段模型，在两阶段模型中，选择性索索算法在目标图像上生成候选框，随后将其送入特征图提取网络进行预测。相关的研究人员针对区域卷积神经网络（R-CNN）进行了优化，成为Faster-RCNN。同时提出了一种新颖的区域建议网络（RPN），为首次使用卷积神经网络生成锚点。此外，还应用池化层来代替全连接层。因此，Fasteer-RCNN可以接受任何大小的数据输入，并减少由于翘曲造成的信息损失。Faster-RCNN在COCO数据集上map50取得了42.7%的优异成绩，被评价为最优秀的两阶段目标检测网络。
双阶段算法虽然可以更加准确的定位小尺寸，低对比度和部分遮挡的甲状腺结节，但是由于其检测过程分为候选框生成和分类定位两个阶段，所以算法的速度相对较慢，另外，由于医学图像场景的复杂性，候选框的生成过程会受到误差的影响。在甲状腺超声影像诊断领域，单阶段目标检测算法相较于双阶段目标检测算法表现出明显的优势。因此，以TOLO系列为代表的单阶段目标检测算法能够直接预测边界框，而不需要选择性所搜算法以及区域建议网络，逐渐走入相关研究人员的视野。当然，两种模型各有优缺，具体的模型选择要取决于项目研究的具体要求。YOLO-V8是在V5版本的基础上进一步升级优化的最新一代YOLO版本，在COCO数据集上取得了优异的成绩，检测性能远高于其他版本。YOLO-V8作为一种应用广泛的目标检测网络，主要结构包括主干，颈部，以及头部。为了解决针对多尺度目标的检测，YOLO-V8采用了三个检测头，分别对应预测小，中，大目标。同时，通过基于特定数据集的聚类算法获得不同尺度的锚框，以帮助网络的收敛。
近年来，基于深度学习的目标检测模型以其检测速度快，准确率高，易于部署等优势被广泛应用于甲状腺结节超声影像诊断领域。一些相关研究人员提出了一种改进的基于R-CNN的甲状腺结节快速检测方法。ResNet不是使用VGG16作为主干，而是用作Faster R-CNN的主干。结果：基于深度学习的方法优于基于支持向量机的方法。Faster R-CNN方法和改进后的方法均优于CNN方法。与VGG16作为主干相比，基于RestNet 101主干的Faster R-CNN方法实现了更好的甲状腺检测效果。从准确度指标来看，该方法分别比SVM、CNN和Faster R-CNN高0.084、0.032和0.019。另外，针对甲状腺超声影像背景噪声的干扰，研究人员提出了一种用于甲状腺结节分类的掩模引导分层深度学习（MHDL）框架。具体而言，首先开发了一个Mask RCNN网络，将甲状腺结节定位为每个图像的感兴趣区域（ROI），以从输入的超声图像中去除混淆信息，并提取纹理、形状和放射学特征作为低维特征。然后，设计了一个剩余注意力网络来提取ROI的深度特征图，并通过维度对齐技术将上述低维特征结合起来形成混合特征空间。最后，我们提出了一种基于AttentionDrop的卷积神经网络，以实现混合特征空间中良性和恶性甲状腺结节的分类。
两阶段和单阶段模型都是深度学习目标检测模型中重要的组成部分，两阶段模型具有更高的精度但是受限于其检测速度，导致检测效率很低。因此，两阶段目标检测模型更适合于对精度以及算力较高的场景，并不适用于对甲状腺超声进行初检的应用场景。
综上所述，如何设计一套完整准确且快速的甲状结节快速诊断系统辅助医师对甲状腺结节进行诊断的方法，是目前本领域技术人员亟待解决的问题。
发明内容
本发明实施例的主要目的在于提出一种基于可变形YOLO的甲状腺结节检测方法，旨在设计一套完整准确且快速的甲状结节快速诊断系统辅助医师对甲状腺结节进行诊断的方法。
本发明解决上述技术问题的技术方案是，提供一种基于可变形YOLO的甲状腺结节检测方法，包括以下步骤：
S10，数据采集及预处理：
采集甲状腺超声影像数据，并对数据进行预处理；
根据8:2的比例将数据划分为训练集和测试集；
S20，建立甲状腺结节检测模型：
包括：特征提取网络，特征融合网络及检测头；
特征提取网络分为四层，表示为A1-A4阶段；在A1阶段，第一层卷积结构将甲状腺超声影像的高度信息和宽度信息转换为通道，第二个卷积继续压缩特征图，增大通道数，并对特征图进行下采样，通过C2f模块提取到梯度流更加丰富的特征图；在A2-A3阶段，进一步压缩特征图的宽度和高度，增大通道数；在A4阶段，通过空间金字塔池化模块将尺度不固定的特征图转为统一尺度，利用将同一特征图下的不同尺度的特征在一起的方式，实现多尺度特征融合；
特征融合网络通过采集丰富的语意信息和更加精确地位置信息，保证尺寸不一的目标都能够被精确地检测；
检测头对结节目标进行回归预测和分类预测，最终建立甲状腺结节检测模型；
S30，优化损失函数：
选择DFL Loss+EIOU Loss作为边界框回归的损失函数，利用EIOU对甲状腺结节检测模型进行优化；
S40，模型训练：
训练200轮，初始学习率设置为0.01，轮次设置为16，使用SGD优化器，动量设置为0.937，并使用Tensorboard可视化训练过程中的参数变化，模型训练完成后，保留模型参数。
进一步地，S20中，所述特征提取网络采用跨阶段局部网络方式，通过分割梯度流使梯度流通过不同网络路径进行传播。
进一步地，S20中，C2f模块采用可变形卷积，并在可变形卷积中嵌入CA注意力机制。
进一步地，S20中，特征融合网络采用特征金字塔与路径聚合网络相融合的结构。
进一步地，S20中，检测头采用解耦合的结构设计，并采用无锚框的策略，分类损失采用VFL Loss，边界框回归损失采用DFL Loss + CIOU Loss。
进一步地，S20中，甲状腺结节检测模型提取网络采用YOLO-V8n作为基本线性模型。
进一步地，S30中，损失函数DFL Loss与EIOU Loss定义如下：
进一步地，S30中，优化后的甲状腺结节检测模型与优化前甲状腺结节检测模型进行性能对比，对独立测试集上的三种模型进行了TP，FP和FN的分析；其中，TP为分类正确且预测框与标注框的交互比大于0.5，FP为漏检，为分类正确但是预测框与标注框的交互比小于0.5，FN为误检，即检测框与标注框的交互比大于0.5，但是并未正确分类。
进一步地，S20中，在特征提取网络中的SPPf模块后对特征图进行注意力加权操作，融入CBAM注意力机制，降低甲状腺超声影像复杂背景对模型整体检测性能的影响。
本发明的技术方案在甲状腺结节独立测试集获得了91.1%mAP以及准确率86.2%的成绩，优于现有方法。本发明提出的模型针对甲状腺结节的特征更加灵活的采样能力以及优秀的鲁棒性，能够对甲状腺结节进行精确地定位和的分类。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明所述基于可变形YOLO的甲状腺结节检测方法的结构示意图；
图2是本发明实施例中一种基于可变形YOLO的甲状腺结节检测方法的网络结构示意图；
图3是本发明实施例中改进可变性卷积示意图；
图4是本发明实施例中CA注意力机制模块的结构示意图；
图5是本发明实施例中CBAM注意力机制模块的结构示意图；
图6是本发明实施例中一种基于可变形YOLO的甲状腺结节检测方法的结节样例示意图，左侧为恶性结节超声影像，右侧为良性结节超声影像，图示中未标注结节位置；
图7是本发明实施例中训练过程中不同指标的变化图；
图8是本发明实施例中甲状腺良性结节的可视化结果。
具体实施方式
下面将结合本发明说明书附图中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“若干”、“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种基于可变形YOLO的甲状腺结节检测方法，旨在设计一套完整准确且快速的甲状结节快速诊断系统辅助医师对甲状腺结节进行诊断的方法。
下面将在具体实施例中对本发明提出的基于可变形YOLO的甲状腺结节检测方法进行说明：
实施例1：如图1所示，一种基于可变形YOLO的甲状腺结节检测方法，包括以下步骤：
S10，数据采集及预处理：
采集甲状腺超声影像数据，并对数据进行预处理；
根据8:2的比例将数据划分为训练集和测试集；
可以理解地，对数据进行预处理包括：将数据裁剪，标准化处理，去除噪声，以及Mosic数据增强得到统一标准的甲状腺超声影像数据。
S20，建立甲状腺结节检测模型：
如图2所示，甲状腺结节检测模型包括：特征提取网络，特征融合网络及检测头；
特征提取网络分为四层，表示为A1-A4阶段；在A1阶段，第一层卷积结构将甲状腺超声影像的高度信息和宽度信息转换为通道，第二个卷积继续压缩特征图，增大通道数，并对特征图进行下采样，通过C2f模块提取到梯度流更加丰富的特征图；在A2-A3阶段，进一步压缩特征图的宽度和高度，增大通道数；在A4阶段，通过空间金字塔池化模块将尺度不固定的特征图转为统一尺度，利用将同一特征图下的不同尺度的特征在一起的方式，实现多尺度特征融合；
特征融合网络通过采集丰富的语意信息和更加精确地位置信息，保证尺寸不一的目标都能够被精确地检测；
检测头对结节目标进行回归预测和分类预测，最终建立甲状腺结节检测模型；
S30，优化损失函数：
选择DFL Loss+EIOU Loss作为边界框回归的损失函数，利用EIOU对甲状腺结节检测模型进行优化；
可以理解地，针对CIOU在描述纵横比是相对值，导致其存在模糊的问题以及难易样本不平衡的问题，本申请选择DFL Loss+EIOU Loss作为边界框回归的损失函数，利用EIOU对甲状腺结节检测模型进行优化。
S40，模型训练：
训练200轮，初始学习率设置为0.01，轮次设置为16，使用SGD优化器，动量设置为0.937，并使用Tensorboard可视化训练过程中的参数变化，模型训练完成后，保留模型参数。
具体地，将待检测的甲状腺超声影像输入优化后的甲状腺结节检测模型中，获得实验结果。
进一步地，S20中，特征提取网络采用跨阶段局部网络方式，通过分割梯度流使梯度流通过不同网络路径进行传播。
可以理解地，采用跨阶段局部网络方式，在提高网络学习能力的同时还有效的解决的梯度消失的问题。
进一步地，如图3所示，S20中，C2f模块采用可变形卷积，并在可变形卷积中嵌入CA注意力机制。
可以理解地，可变形卷积能够通过额外的卷积层自适应学习来自从前面特征图所得到的偏移量，并添加到标准卷积中的常规网格采样位置，使得采样网络能够自由变形。另外，为了进一步校正细化新采样点的范围，在可变性卷积结构中融入注意力机制，进一步提升模型对空间变换的对抗能力，使得新的采样位置会偏移到我们感兴趣的区域。其中，4共生成3个特征图作为颈部网络(特征融合网络)的输入。然后通过颈部网络对主干网络（特征提取网络）输入的3个特征图进行融合后，经检测头对结节目标进行回归预测和分类预测，最终建立甲状腺结节检测模型。此外，针对甲状腺超声影像特性，对主干进行以下改进：1）在YOLO-V8的主干中的C2f模块中使用可变形卷积替代传统卷积，增强模型对于结节多样表层特征的采样灵活性，同时在可变形卷积中嵌入CA注意力机制，使其在学习偏移量的过程中更加关注我们感兴趣的区域。
进一步地，S20中，特征融合网络采用特征金字塔与路径聚合网络相融合的结构。
进一步地，S20中，检测头采用解耦合的结构设计，并采用无锚框的策略，分类损失采用VFL Loss，边界框回归损失采用DFL Loss + CIOU Loss。
可以理解地，有效避免了因锚框设计不当而造成的检测误差和锚框超参导致训练成本增加的问题。
进一步地，S20中，甲状腺结节检测模型提取网络采用YOLO-V8n作为基本线性模型。
进一步地，S230中，损失函数DFL Loss与EIOU Loss定义如下：
可以理解地，EIOU 考虑了重叠面积，中心点距离、长宽边长真实差，基于CIOU解决了纵横比的模糊问题，并添加Focal Loss解决BBox回归中的样本不平衡问题。
进一步地，S30中，优化后的甲状腺结节检测模型与优化前甲状腺结节检测模型进行性能对比，对独立测试集上的三种模型进行了TP，FP和FN的分析；其中，TP为分类正确且预测框与标注框的交互比大于0.5，FP为漏检，为分类正确但是预测框与标注框的交互比小于0.5，FN为误检，即检测框与标注框的交互比大于0.5，但是并未正确分类。
可以理解地，在验证精度的同时对独立测试集上的三种模型进行了TP，FP和FN的分析。
进一步地，S20中，在特征提取网络中的SPPf模块（空间金字塔池化模块）后对特征图进行注意力加权操作，融入CBAM注意力机制，降低甲状腺超声影像复杂背景对模型整体检测性能的影响，CBAM注意力机制模块的结构如图5所示。
实施例2：一种基于可变形YOLO的甲状腺结节检测方法：具体包括以下步骤：
S1:原始图像数据的采集及预处理：
S11:采集甲状腺超声影像数据：由项目合作医院超声科提供甲状腺超声影像数据，在不侵犯患者隐私的情况下，获得患者的知情同意书以发表本实验研究。从205名年龄为10岁至77岁的患者中获取3055张甲状腺超声图像，2019年至2023年间接受超声检查。每张图像包含至少一个甲状腺结节区域，总共有3088个结节，其中良性结节1752个，恶性结节1336个。为了确保后续标记过程的准确性，收集了所有选定患者的完整超声报告。数据应包含详细的特征信息，如性质，大小，纹理特征等，保证数据的真实性以及准确性，如图6所示，左侧为恶性结节超声影像，右侧为良性结节超声影像，图示中未标注结节位置。
S12:对数据进行预处理：首先，在对结节目标区域进行注释之前要裁剪图像周围的空白区域和不相干的文本信息，以提取有效区域作为数据集来训练和测试模型。然后，对裁剪好的数据通过标准化，归一化，去噪，正则化等方法进行预处理，以提高数据的质量和可用性。另外，对超声影像进行锐化处理，提升数据质量，为后续的精确识别打下基础。最后，使用Mosaic数据增强对数据进行扩充。经数据预处理及扩充后，在执业医师的指导下使用LabelImg对数据进行标注，并按照8:2的比例将数据分为训练集和测试集。
表1预处理后的数据集分布
S2:构建甲状腺结节检测模型：
S21：以YOLO-V8为基线模型，在其主干特征提取网络的C2f 模块中，使用可变形卷积代替原有的传统卷积结构。另外，使用CA注意力机制对可变性卷积通过特征图学习所得的偏移量进行注意力加权操作，使其更加关注我们感兴趣的区域，实现网络可变形的目的。CA注意力机制模块结构示意图如图4所示。
S22：针对甲状腺超声影像数据的复杂背景对模型整体检测性能的影响，在基线模型的主干特征提取网络的SPPf模块（金字塔池化模块）后融入CBAM注意力机制，对输出特征图执行加权操作，降低超声影像背景噪声对模型检测能力的限制，CBAM注意力机制模块结构示意图如图5所示。
在所述步骤S21中，YOLO作为YOLO-V8准备了不同版本的预训练权重模型，从轻量化到大模型分别对应Nano，Small，Medium，Large以及Extra。相对而言，轻量化的模型具有较快的检测速度，但是精度较低，因此选择大规模的模型对于不计训练成本以追求最好的精度无疑是很好的选择，由于本发明提供的是一种改进的技术方案思路，所以本方案采用轻量的Nano权重模型进行相关实验。
具体的，在所述步骤S21，S22中，CBAM和CA均是在计算机视觉任务中得到广泛应用的注意力机制。CBAM注意力机制以其兼顾通道注意力和空间注意力而闻名，在通道注意力中，输入的特征图经全局最大池化和全局平均池化后进入空间注意力，最后在全连接层中进行融合；CA注意力机制将信道注意力分解为两个以为特征编码的过程，并沿着两个空间方向进行特征组合，CA注意力机制可以捕获一个空间方向的长距离依赖关系，同时沿另一个空间方向保留准确的位置信息。
表2展示了本发明基于YOLO-V8针对甲状腺结节检测的优化效果，由表2可知，原始YOLO-V8n在独立测试集上的Map值为85.4%，再添加DCN（可变形卷积）模块与CBAM注意力机制后，Map值提升了2.7%。将DCN模块更换为本发明经CA注意力机制模块改进的DCN_CA模块，Map值提升至91.1%，提升了5.7%，充分证明了本发明实施例中的改进有效性。
S3:优化损失函数：
S31:经试验发现以CIOU为边界框损失函数存在纵横比模糊的问题，所以本发明采用以EIOU作为边界框损失函数。具体的，EIOU在CIOU的基础上分别计算了宽高的差异值来取代纵横比，考虑了重叠面积，中心距离以及长宽边长真实差。另外，EIOU还通过引入FocalLoss解决了BBOX回归中的样本不均衡的问题。
S4模型训练：
共训练200轮，初始学习率设置为0.01，轮次设置为16，使用SGD优化器，动量设置为0.937，并使用Tensorboard可视化训练过程中的参数变化。在训练的过程中，不同的指标在变化，形成如图7所示的可视化图，进一步说明模型的有效性，具体地，图7中（1）在不同轮次下的分类损失函数（Cls loss）,反应模型的分类性能；图7中（2）在不同轮次的边界回归损失函数（Box loss）,反应模型的定位性能，采用EIOU损失函数；图7中（3）在不同轮次的准确率变化（Precision）,反应模型的分类准确率，其准确率为86.2%；图7中（4）在不同轮次的Map值变化，反应模型的综合性能，值为91.1%mAP。
将待检测的甲状腺超声影像输入优化后的甲状腺结节检测模型中，结果如图8所示，具体地，图8中（1）为甲状腺良性结节的可视化结果图，其中左侧为甲状腺良性结节图片，右侧为效果图；图8中（2）为甲状腺恶性结节的可视化结果图，其中左侧为甲状腺恶性结节图片，右侧为效果图。
综上所述，上述实施例的一种基于可变形YOLO的甲状腺结节检测方法，首先对采集的甲状腺超声影像数据进行了必要的预处理，如：标准化，去噪，Mosaic数据增强等，然后通过对基线模型的主干特征提取网络进行改进以及对损失函数进行优化得到甲状腺结节检测模型，并通过消融实验证明了本发明中改进的有效性。实验证明，本发明提出的方法具有良好的鲁棒性的同时根式具有较高的检测精度与速度。未来有望在边缘设备上部署以投入生产应用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种基于可变形YOLO的甲状腺结节检测方法，其特征在于，包括以下步骤：
S10，数据采集及预处理：
采集甲状腺超声影像数据，并对数据进行预处理；
根据8:2的比例将数据划分为训练集和测试集；
S20，建立甲状腺结节检测模型：
包括：特征提取网络，特征融合网络及检测头；
特征提取网络分为四层，表示为A1-A4阶段；在A1阶段，第一层卷积结构将甲状腺超声影像的高度信息和宽度信息转换为通道，第二个卷积继续压缩特征图，增大通道数，并对特征图进行下采样，通过C2f模块提取到梯度流更加丰富的特征图；在A2-A3阶段，进一步压缩特征图的宽度和高度，增大通道数；在A4阶段，通过空间金字塔池化模块将尺度不固定的特征图转为统一尺度，利用将同一特征图下的不同尺度的特征在一起的方式，实现多尺度特征融合；
特征融合网络通过采集丰富的语意信息和更加精确地位置信息，保证尺寸不一的目标都能够被精确地检测；
检测头对结节目标进行回归预测和分类预测，最终建立甲状腺结节检测模型；
S30，优化损失函数：
选择DFL Loss+EIOU Loss作为边界框回归的损失函数，利用EIOU对甲状腺结节检测模型进行优化；
S40，模型训练：
训练200轮，初始学习率设置为0.01，轮次设置为16，使用SGD优化器，动量设置为0.937，并使用Tensorboard可视化训练过程中的参数变化，模型训练完成后，保留模型参数。
2.根据权利要求1所述的基于可变形YOLO的甲状腺结节检测方法，其特征在于，S20中，所述特征提取网络采用跨阶段局部网络方式，通过分割梯度流使梯度流通过不同网络路径进行传播。
3.根据权利要求1所述的基于可变形YOLO的甲状腺结节检测方法，其特征在于，S20中，C2f模块采用可变形卷积，并在可变形卷积中嵌入CA注意力机制。
4.根据权利要求1所述的基于可变形YOLO的甲状腺结节检测方法，其特征在于，S20中，特征融合网络采用特征金字塔与路径聚合网络相融合的结构。
5.根据权利要求1所述的基于可变形YOLO的甲状腺结节检测方法，其特征在于，S20中，检测头采用解耦合的结构设计，并采用无锚框的策略，分类损失采用VFL Loss，边界框回归损失采用DFL Loss + CIOU Loss。
6.根据权利要求1所述的基于可变形YOLO的甲状腺结节检测方法，其特征在于，S20中，甲状腺结节检测模型提取网络采用YOLO-V8n作为基本线性模型。
7.根据权利要求1所述的基于可变形YOLO的甲状腺结节检测方法，其特征在于，S30中，损失函数DFL Loss与EIOU Loss定义如下：
。
8.根据权利要求1所述的基于可变形YOLO的甲状腺结节检测方法，其特征在于，S30中，优化后的甲状腺结节检测模型与优化前甲状腺结节检测模型进行性能对比，对独立测试集上的三种模型进行TP，FP和FN的分析；其中，TP为分类正确且预测框与标注框的交互比大于0.5，FP为漏检，为分类正确但是预测框与标注框的交互比小于0.5，FN为误检，即检测框与标注框的交互比大于0.5，但是并未正确分类。
9.根据权利要求1所述的基于可变形YOLO的甲状腺结节检测方法，其特征在于，S20中，在特征提取网络中的SPPf模块后对特征图进行注意力加权操作，融入CBAM注意力机制，降低甲状腺超声影像复杂背景对模型整体检测性能的影响。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410032282.7A CN117541586A (zh) | 2024-01-10 | 2024-01-10 | 一种基于可变形yolo的甲状腺结节检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410032282.7A CN117541586A (zh) | 2024-01-10 | 2024-01-10 | 一种基于可变形yolo的甲状腺结节检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117541586A true CN117541586A (zh) | 2024-02-09 |
Family
ID=89794285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410032282.7A Pending CN117541586A (zh) | 2024-01-10 | 2024-01-10 | 一种基于可变形yolo的甲状腺结节检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117541586A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310535A (zh) * | 2023-03-07 | 2023-06-23 | 长春理工大学 | 一种多尺度多区域的甲状腺结节预测方法 |
| CN116580394A (zh) * | 2023-05-19 | 2023-08-11 | 杭州电子科技大学 | 一种基于多尺度融合和可变形自注意力的白细胞检测方法 |
| CN116740538A (zh) * | 2023-07-19 | 2023-09-12 | 浙江师范大学 | 一种基于YOLOv8改进的轻量化目标检测方法及系统 |
| CN116863539A (zh) * | 2023-07-20 | 2023-10-10 | 吴剑飞 | 一种基于优化YOLOv8s网络结构的跌倒人物目标检测方法 |
| CN116912670A (zh) * | 2022-11-17 | 2023-10-20 | 广州大学 | 基于改进yolo模型的深海鱼类识别方法 |
| CN117275677A (zh) * | 2023-07-14 | 2023-12-22 | 新疆畅森数据科技有限公司 | 一种有效识别乳腺超声影像肿块良恶性方法 |
-
2024
- 2024-01-10 CN CN202410032282.7A patent/CN117541586A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912670A (zh) * | 2022-11-17 | 2023-10-20 | 广州大学 | 基于改进yolo模型的深海鱼类识别方法 |
| CN116310535A (zh) * | 2023-03-07 | 2023-06-23 | 长春理工大学 | 一种多尺度多区域的甲状腺结节预测方法 |
| CN116580394A (zh) * | 2023-05-19 | 2023-08-11 | 杭州电子科技大学 | 一种基于多尺度融合和可变形自注意力的白细胞检测方法 |
| CN117275677A (zh) * | 2023-07-14 | 2023-12-22 | 新疆畅森数据科技有限公司 | 一种有效识别乳腺超声影像肿块良恶性方法 |
| CN116740538A (zh) * | 2023-07-19 | 2023-09-12 | 浙江师范大学 | 一种基于YOLOv8改进的轻量化目标检测方法及系统 |
| CN116863539A (zh) * | 2023-07-20 | 2023-10-10 | 吴剑飞 | 一种基于优化YOLOv8s网络结构的跌倒人物目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 韩强: "面向小目标检测的改进YOLOv8算法研究", 《万方数据》, 23 August 2023 (2023-08-23), pages 1 - 47 * |
| 高伟 等: "基于改进 PP -YOLOv2 的红外图像电力设备检测", 《计算机仿真》, 30 September 2023 (2023-09-30), pages 81 - 87 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060774B (zh) | 一种基于生成式对抗网络的甲状腺结节识别方法 | |
| CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| CN111179227B (zh) | 基于辅助诊断和主观美学的乳腺超声图像质量评价方法 | |
| US7876938B2 (en) | System and method for whole body landmark detection, segmentation and change quantification in digital images | |
| CN111243042A (zh) | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 | |
| Huang et al. | Anatomical prior based vertebra modelling for reappearance of human spines | |
| CN112674720B (zh) | 基于3d卷积神经网络的阿尔茨海默症的预判断方法 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| Wang et al. | A method of ultrasonic image recognition for thyroid papillary carcinoma based on deep convolution neural network | |
| CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
| US20150065868A1 (en) | System, method, and computer accessible medium for volumetric texture analysis for computer aided detection and diagnosis of polyps | |
| CN113298830A (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
| CN115512110A (zh) | 一种涉及跨模态注意力机制的医学图像肿瘤分割方法 | |
| Abbasi et al. | Automatic brain ischemic stroke segmentation with deep learning: A review | |
| CN117218127B (zh) | 超声内镜辅助监测系统及方法 | |
| CN112767374A (zh) | 基于mri的阿尔茨海默症病灶区域语义分割算法 | |
| CN115953781B (zh) | 基于热层析影像的乳腺人工智能分析系统及方法 | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| CN116228690A (zh) | 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法 | |
| CN116580819A (zh) | 用于自动化地确定图像序列中的检查结果的方法和系统 | |
| Dai et al. | More reliable AI solution: Breast ultrasound diagnosis using multi-AI combination | |
| CN117541586A (zh) | 一种基于可变形yolo的甲状腺结节检测方法 | |
| Mani | Deep learning models for semantic multi-modal medical image segmentation | |
| Fang et al. | Automatic detection of ultrasound breast lesions: a novel saliency detection model based on multiple priors | |
| Feng et al. | Multi-stage fully convolutional network for precise prostate segmentation in ultrasound images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |