CN115018780B - 一种融合全局推理和mlp架构的甲状腺结节分割方法 - Google Patents
一种融合全局推理和mlp架构的甲状腺结节分割方法 Download PDFInfo
- Publication number
- CN115018780B CN115018780B CN202210603374.7A CN202210603374A CN115018780B CN 115018780 B CN115018780 B CN 115018780B CN 202210603374 A CN202210603374 A CN 202210603374A CN 115018780 B CN115018780 B CN 115018780B
- Authority
- CN
- China
- Prior art keywords
- thyroid
- feature
- thyroid nodule
- mlp
- nodule segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 132
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 100
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 47
- 210000001685 thyroid gland Anatomy 0.000 claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 36
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000002790 cross-validation Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000002604 ultrasonography Methods 0.000 claims description 26
- 230000003993 interaction Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 201000002510 thyroid cancer Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Vascular Medicine (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机辅助医疗和医学影像处理领域，种融合全局推理和MLP架构的甲状腺结节分割方法，具体流程包括：使用阈值法对甲状腺超声图像进行预处理，并调整为256×256像素大小，将预处理之后的数据基于五折交叉验证方法划分训练集和测试集；然后构建甲状腺结节分割模型：以MLP为基础架构，融合了基于图卷积的全局推理模块和金字塔特征层；接下来利用训练集对甲状腺结节分割模型进行训练，在测试集上对甲状腺结节进行预测，得到分割结果；最后计算模型分割效果和效率的指标值。
Description
技术领域
本发明属于深度学习、计算机辅助医疗和医学影像处理领域，涉及多层感知机(MLP)技术和图片全局推理技术，尤其是一种融合全局推理和MLP架构的甲状腺结节分割方法。
背景技术
甲状腺结节是全球成年人群中最常见的结节性病变之一，这种疾病的发病率随着年龄的增长而增加，平均约五个成人中就有一人患此病，其中大部分为良性结节，甲状腺癌的发生率为5％～15％，是20至34岁女性中最常见的癌症，甲状腺结节的大小、形状、轮廓等特征是临床上甲状腺结节良恶性诊断中的重要依据，为了在早期诊断和治疗甲状腺癌，需要准确判别甲状腺结节区域。
甲状腺超声具有无创、实时、无辐射、轻便和易操作的优点，已成为临床上首选的甲状腺结节检测手段，然而，采集到的超声图像具有分辨率和对比度较低、固有斑点噪声较大、伪影较多等缺点，而且超声图像中甲状腺结节区域往往形态各异、大小不一，还会因为采集设备的方向依赖性出现边界缺失情况，再加上医师经验判断及操作习惯不同等人为因素，导致甲状腺超声诊断结果难以明确，诊断过程非常耗时。所以对于甲状腺结节疾病，利用计算机技术进行分割和判别出结节区域是十分必要的。
甲状腺结节分割方法主要分为传统图像分割方法和基于深度学习的分割方法两种。传统图像分割方法在面对复杂的超声图像时会出现严重的欠分割和过分割情况，而基于深度学习的分割方法因其具有很好的表征学习能力，常被用于复杂图像的分割任务中，其基本思想是通过训练多层感知机来得到线性决策函数，然后用决策函数对图像中的像素点进行分类从而达到分割的目的，无需人工干预，可以达到更准确、更高效的分割效果。
目前，应用于甲状腺结节分割任务的深度学习模型中，多数以CNN为基础架构。然而，基于CNN的模型大多会等权重地分配特征张量上所有空间位置和通道上的信息而产生大量的计算冗余，导致模型训练速度变慢，分割精度不准确。而且，CNN模型的单个卷积层只能捕获卷积核覆盖的局部区域关系，想要捕获任意形状的不相交区域和远距离区域关系需要堆叠多个卷积层，这是非常低效的。
发明内容
本发明所要解决的技术问题是：如何建立一种分割模型对甲状腺结节图像进行分割，达到准确、高效的分割效果。
本发明所采用的技术方案是：一种融合全局推理和MLP架构的甲状腺结节分割方法，按如下步骤进行
步骤1、使用阈值法对获取的已有甲状腺结节分割结果的甲状腺超声图像进行预处理并调整为相同大小的图片，然后基于五折交叉验证方法划分为训练数据和测试数据；
步骤2、以轴向移位MLP为基础架构构建网络模型即甲状腺结节分割模型，甲状腺结节分割模型在编码部分融合基于图卷积的全局推理模块完成图片全局上下文关系的建模，甲状腺结节分割模型在解码部分引入金字塔特征层完成多尺度特征交互；
步骤3、使用步骤1划分好的训练数据对构建好的甲状腺结节分割模型进行训练，然后用步骤1划分好的测试数据对经过训练的甲状腺结节分割模型进行测试，测试数据在经过训练的甲状腺结节分割模型的准确率达到标准要求时，经过训练的甲状腺结节分割模型即为训练好的甲状腺结节分割模型；
步骤4、将待分割的甲状腺超声图像进行步骤1同样的预处理后输入训练好的甲状腺结节分割模型，得到待分割的甲状腺超声图像的甲状腺结节分割结果。
步骤1中，使用阈值法对获取的已有甲状腺结节分割结果的甲状腺超声图像进行预处理并调整为相同大小的图片是指，获取开源的数据集中包括不同年龄、性别的甲状腺超声图像，使用阈值法去除部分甲状腺超声图像的不相关区域，即对甲状腺超声图像的像素值沿x轴和y轴(以甲状腺超声图像的任意一点为原点，如以左顶点为顶点，然后从左到右的方向为x轴，从上到下为y轴建立直角坐标系)求平均，去除均值小于阈值的行和列，然后调整为256×256像素的图片。步骤1中，基于五折交叉验证方法划分为训练数据和测试数据是指，将所有图片按照甲状腺结节所占像素数分为三个等级即小于1722像素图片、大于等于1722像素小于等于5666像素图片、大于5666像素图片，然后将每个等级的图片都分为五个部分并进行组合，即最终的五个部分每个部分的图片中都包括三个等级的图片，基于五折交叉验证方法，将五部分的每部分依次作为测试集，其余部分作为训练集。
步骤2中，以轴向移位MLP为基础架构构建网络模型即甲状腺结节分割模型包括如下步骤
步骤21、输入的甲状腺超声图片经过由轴向移位MLP模块和全局推理模块组成的四阶段编码器实现图片特征编码，这里将甲状腺超声图片特征的尺寸表征为H×W×C，其中H,W,C分别为图片特征张量的高、宽和维度，在每个编码阶段先将图片特征下采样为不同高、宽和维度的特征，再先后输入全局推理模块和轴向移位MLP模块进行图片特征编码；
步骤22、对输入的甲状腺超声图片使用提前预训练好的主干网络EfficientNet-D4进行特征提取，使用双线性插值法对提取到的特征进行上采样，从而得到多尺度特征来构建金字塔特征层；将步骤21进行图片特征编码后的输出特征输入金字塔特征层进行解码，解码过程为先将进行图片特征编码后的输出特征与金字塔特征层的输出特征相加，然后经过卷积层将特征维度转换为分割类别数(分割类别数为2，代表结节区域和背景区域)，再经过一个1×1卷积层，输出各像素点属于结节区域的置信度分数，置信度分数越大属于结节区域的可能性越大，设定置信度分数阈值并根据阈值对图片每个像素点进行二分类，分为结节区域和背景区域，从而得到整张甲状腺超声图片的结节分割结果。
步骤21中，先后输入全局推理模块和轴向移位MLP模块进行图片特征编码包括如下步骤
步骤211、下采样后的特征首先输入全局推理模块实现特征编码，全局推理模块采用三步走的推理策略：第一步通过1×1卷积层迭代学习具有合适权重的投影函数将特征投影到交互空间；第二步在交互空间应用图卷积执行特征推理操作，具体方法为先随机初始化一个全连接图，然后执行拉普拉斯平滑将全连接图中节点的新特征计算为该节点和它的邻居节点的加权平均值，从而使同一个簇中的节点特征相似，消除图片噪声干扰问题，再通过迭代学习具有合适权重的节点特征之间的关系函数，这样图片全局推理就被简化为在较小的全连接图上对节点之间的关系进行建模，学习节点特征之间的关系将为图片像素点的分类提供依据，从而提升分割精度；第三步再将节点特征之间的关系反向投影回原始坐标空间，反向投影函数通过1×1卷积层迭代学习得到，整个全局推理过程中投影函数的权重、全连接图、关系函数的权重、反向投影函数的权重都随机初始化并在模型训练期间通过梯度下降法来迭代学习；
步骤212、全局推理模块的输出特征输入轴向移位MLP模块完成进一步特征编码，轴向移位MLP模块由层归一化(Layer Normalizaiton，LN)操作、轴向移位操作、MLP和残差连接组成，轴向移位操作包括水平移位和垂直移位，首先，特征输入轴向移位MLP模块之后先进行层归一化操作，再将特征分别沿水平方向和垂直方向执行移位操作，其中水平移位是沿特征张量的维度进行等分，而垂直移位是沿特征张量的宽进行等分，将等分好的每个部分分别平移不同大小，平移之后要获取与原特征相同尺寸的特征，需要对平移后多余的特征部分进行舍弃，对平移后空缺位置的特征进行零填充，最后，将填充好的特征提取出来作为新特征，便可以实现图片特征的编码操作。
步骤3中，使用步骤1划分好的训练数据对构建好的甲状腺结节分割模型进行训练，然后用步骤1划分好的测试数据对经过训练的甲状腺结节分割模型进行测试是指，设置甲状腺结节分割模型的初始参数和训练迭代次数，在训练集上执行模型训练，训练过程中对测试集数据进行预测，并计算测试集上分割的准确率值，训练时不断调整模型的参数，直到测试数据在经过训练的甲状腺结节分割模型的准确率达到标准要求时，经过训练的甲状腺结节分割模型即为训练好的甲状腺结节分割模型，利用训练好的甲状腺结节分割模型在测试集上对甲状腺结节进行分割，得到分割结果图，并计算分割效果和效率的多个指标值。
本发明的有益效果是：本发明基于MLP构建，了一种编码-解码结构的分割模型，模型以轴向移位MLP为基础架构，编码部分融合了全局推理模块，解码部分引入了金字塔特征层，实现甲状腺超声图像中结节区域的自动、快速分割。与基于CNN的分割模型相比，具有更小的计算复杂度，且性能表现更好。本发明引入了全局推理模块，采用图卷积对超声图像上下文信息进行交互，能有效减少超声图像中的噪声干扰问题，同时弥补传统用于交互的注意力模块不够灵活高效的缺点。本发明使用了金字塔特征层，能有效获取图像多尺度语义信息完成交互，以此来应对甲状腺结节尺寸多变的特点，同时提升对甲状腺结节轮廓线细节的分割能力。
附图说明
图1为本发明方法的流程示意图；
图2为本发明使用的五折交叉验证方法示意图；
图3为本发明算法网络结构示意图；
图4a为本发明算法中全局推理模块示意图；
图4b和图4c为全局推理模块中交互空间推理操作示意图；
图5a为本发明算法中轴向移位MLP模块示意图；
图5b为本发明算法中轴向移位MLP模块水平移位操作的示意图；
图6为本发明算法中金字塔特征层示意图；
图7为各种网络模型的分割结果图；其中，第一列为经过预处理的超声图像，第二列为医师标注的分割金标准图，第三列到第八列分别为PSPNet、LinkNet、DeepLabv3+、PAN、UNet和UNet++网络的分割结果。第九列是在本发明的算法网络下的分割结果。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。此处描述的具体实施方式仅用来解释本发明，并不用于限定本发明。
本发明提供了一种融合全局推理和MLP架构的甲状腺结节分割方法，如图1所示，为本发明甲状腺结节分割方法的具体实施例的整体流程示意图，包括：
步骤1：使用阈值法对获取的已有甲状腺结节分割结果的甲状腺超声图像进行预处理并调整为相同大小的图片，然后基于五折交叉验证方法划分为训练数据和测试数据，具体包括以下步骤：
步骤1.1：获取开源的甲状腺结节超声图像数据集，数据集包含来自不同年龄、性别的患者病例的甲状腺超声图像；
步骤1.2：数据集中的部分超声图像中会有与甲状腺不相关的区域，使用阈值法去除图片的不相关区域，即对原始图像的像素值沿x轴和y轴(即图片的宽和高方向)求平均，去除均值小于阈值的行和列；
步骤1.3：将处理后的图像调整为256×256像素大小；
步骤1.4：获取256×256像素的甲状腺超声图像中结节所占的像素数；
步骤1.5：将结节规模按照结节所占像素数分为三个等级：1)小于1722像素、2)小于5666像素大于1722像素、3)大于5666像素；
步骤1.6：将结节规模每个尺寸等级的图像都分成五个部分并进行组合，即最终的五个部分每个部分的图片中都包括三个等级的图片，基于图2所示的五折交叉验证方法，将五部分的每部分依次作为测试集，其余部分作为训练集。
步骤2：以轴向移位MLP为基础架构构建网络模型即甲状腺结节分割模型，甲状腺结节分割模型在编码部分融合基于图卷积的全局推理模块完成图片全局上下文关系的建模，甲状腺结节分割模型在解码部分引入金字塔特征层完成多尺度特征交互；本发明的分割模型由轴向移位MLP模块、全局推理模块、金字塔特征层等网络结构组成，具体包含以下步骤：
步骤2.1：如图3所示，输入的甲状腺超声图片经过由轴向移位MLP模块和全局推理模块组成的四阶段编码器实现图片特征编码，在每个编码阶段先将图片特征下采样为不同高、宽和维度的特征，再先后输入全局推理模块和轴向移位MLP模块进行特征编码。
(1)下采样后的特征首先输入全局推理模块实现特征编码。全局推理模块采用三步走的推理策略：第一步将特征投影到交互空间；第二步在交互空间应用图卷积执行特征推理操作；第三步将交互空间节点特征反向投影回原始坐标空间。
第一步具体操作：如图4a所示，将输入特征表征为X∈RH×W×C，其中H,W,C分别为输入特征张量的高,宽和维度。通过随机初始化投影函数并迭代学习投影函数的映射矩阵B＝θ(X；Wθ)将特征投影到交互空间，其中/>和θ(·)由两个1×1卷积层生成，权重/>和/>都随机初始化并在模型训练期间通过梯度下降法来迭代学习。将投影后的特征表示为V＝f(X)∈RN×C′，其中N,C′分别为交互空间中特征的尺寸和维度。
第二步具体操作：如图4b所示，在交互空间中初始化一个全连接图，图中每个节点将对应的图片特征存储为其状态，这样图片特征关系推理就被简化为在较小的图上对节点之间的关系进行建模。本发明应用图卷积来建模和推理节点之间的上下文关系，将全连接图表征为邻接矩阵Ag的形式。图卷积推理计算过程可分为两个步骤，如图4c所示，先执行拉普拉斯平滑将全连接图中节点的新特征计算为该节点和它的邻居节点的加权平均值，从而使同一个簇中的节点特征相似，消除图片噪声干扰问题，然后在模型训练期间迭代学习具有合适权重的节点特征之间的关系函数来进行特征推理，学习特征之间的强联系将为图片像素点的分类提供依据，提升分割精度。整个交互空间特征运算公式如式(1)所示：
V′＝((I-Ag)V)Wg (1)
其中，V是交互空间的输入特征，V′是交互空间的输出特征，邻接矩阵Ag和权重矩阵Wg都随机初始化并在模型训练期间通过梯度下降法来迭代学习，I为单位矩阵用来加速算法优化。
第三步具体操作：如图4a所示，将第二步输出的节点特征反向投影回原始坐标空间，以便整个模块的输出可以被后面模块利用来做出更好的决策。与第一步类似，通过随机初始化投影函数g(·)并迭代学习投影函数的映射矩阵D将交互空间的输出特征V′∈RN×C′反向投影得到特征Y＝g(V′)∈RH×W×C′，其中N,C′分别为交互空间中节点特征V′的数量和维度，H,W分别为反向投影后特征张量Y的高和宽，与输入特征张量的高和宽保持一致。投影回原始坐标空间后再经过一个1×1卷积层将维度扩展回输入维度，并进行残差连接得到整个全局推理模块的输出特征为Z∈RH×W×C，即全局推理模块输出特征的尺寸和维度与该模块输入特征张量保持一致。
(2)如图5a所示，全局推理模块的输出特征会被输入轴向移位MLP模块完成进一步特征编码。轴向移位MLP模块由层归一化(Layer Normalizaiton，LN)操作、轴向移位操作、MLP和残差连接组成，轴向移位操作包括通道投影、水平移位和垂直移位。
假设输入特征为X，特征输入轴向移位MLP模块之后先进行层归一化操作，再将特征分别沿水平方向和垂直方向执行移位操作，其中水平移位是沿特征张量的维度进行等分，而垂直移位是沿特征张量的宽进行等分，假设等分大小设置为s，将水平和垂直等分后的特征分别表示为和/> 表示水平移位时s等分后的第n部分特征，/>表示垂直移位时s等分后的第n部分特征，n＝1,2…s，将等分后的每个部分分别平移不同大小，平移之后要获取与原特征相同尺寸的特征，需要对平移后多余的特征部分进行舍弃，对平移后空缺位置的特征进行零填充，最后，将填充好的特征提取出来作为新特征，便可以实现图片特征的编码，图5b是特征进行水平移位操作的示意图。整个轴向移位MLP模块的运算过程如式(2)所示：
其中YMLP是轴向移位MLP模块的输出特征，和/>分别表示特征沿水平方向和垂直方向进行通道投影时的权重矩阵，它们都随机初始化并在模型训练期间迭代学习，/> 和/>分别表示特征的水平移位运算和垂直移位运算，/>表示对水平移位时s等分后的第n部分特征执行移位操作，/>表示对垂直移位时s等分后的第n部分特征执行移位操作，n＝1,2…s。由于特征在水平和垂直两个方向执行移位操作，再将特征进行重新组合可以把来自不同空间位置的信息组合在一起，这样特征就可以进行充分的感知和交互。
步骤2.2：对输入的甲状腺超声图片使用提前预训练好的主干网络EfficientNet-D4进行特征提取，假设输入图像为其中H0,W0,C0分别为输入特征张量的高,宽和维度，提取到的多尺度特征为f1、f2、f3、f4，它们的尺寸大小为/>其中 使用双线性插值法对提取到的特征进行上采样，从而得到多尺度特征来构建金字塔特征层，具体操作过程如图6所示，首先对f4进行上采样得到特征图f34，如式(3)所示：
f34＝upsample×2(f4)+conv34(f3) (3)
其中conv34(·)是一个1×1卷积层，实现f3到f4特征维度的补齐，upsample×2(·)表示对特征图进行两倍的上采样，得到的特征图f34是原始图像尺寸的1/8，上采样的具体操作如图6虚线框中所示。接着继续对特征图进行上采样，如式(4)所示：
其中conv12(·)和conv24(·)分别实现了f1到f2和f2到f4特征维度的补齐。upsample×4(·)表示对特征图进行四倍的上采样，得到原始图像尺寸1/2的特征图f1234。然后，将f1234与步骤2.1图片特征编码后的特征相加，得到金字塔特征层的输出。
接着，如图3所示，金字塔特征层的输出特征经过卷积层将特征维度转换为分割类别数2(代表结节区域和背景区域)，再经过一个1×1卷积层的分割头，输出各像素点属于结节区域的置信度分数，置信度分数越大属于结节区域的可能性越大，设定置信度分数阈值并根据阈值对图片每个像素点进行二分类，分为结节区域和背景区域，从而得到整张甲状腺超声图片的结节分割结果。
步骤3：使用步骤1划分好的训练数据对构建好的甲状腺结节分割模型进行训练，然后用步骤1划分好的测试数据对经过训练的甲状腺结节分割模型进行测试，测试数据在经过训练的甲状腺结节分割模型的准确率达到标准要求时，经过训练的甲状腺结节分割模型即为训练好的甲状腺结节分割模型；具体包括以下步骤：
步骤3.1：设置步骤2构建的甲状腺结节分割模型的初始参数和训练迭代次数，在训练集上执行模型训练；
步骤3.2：训练过程中对测试集数据进行预测，并计算测试集上分割的准确率值，训练时不断调整模型的参数，直到测试数据在经过训练的甲状腺结节分割模型的准确率达到标准要求时，经过训练的甲状腺结节分割模型即为训练好的甲状腺结节分割模型；
步骤3.3：利用训练好的甲状腺结节分割模型在测试集上对甲状腺结节进行分割，得到分割结果图，图7为不同网络模型的分割结果对比图，其中第一列为经过预处理后的甲状腺超声图像，第二列为医师标注的分割金标准图，第三列到第八列分别为PSPNet、LinkNet、DeepLabv3+、PAN、UNet和UNet++网络的分割结果图，第九列是在本发明算法下的分割结果图。可以看出，PSPNet和LinkNet对大型结节和边缘轮廓线的分割结果比较粗糙；PAN和UNet对大型结节的分割效果较好，而对小型结节和边缘不规则的结节会出现欠分割或过分割现象；而本发明的分割结果边缘轮廓保持在专家标注图轮廓的附近，除不规则结节外其它结节分割结果纵横比和形状都没有出现较大的误差，而这两种特征也是后续医疗诊断工作中至关重要的特征。因此，从分割结果图来看，本发明具有更好的分割效果。
步骤3.4：对训练好的甲状腺结节分割模型计算测试集上的分割效果和效率的多个指标值。
在对甲状腺结节分割算法进行评价时，需要根据合理的评价指标对算法性能进行判断。评价模型分割效率的指标有单个Epoch训练时间、测试时间、参数量和GPU内存，评价分割效果常用的指标值是准确率(Accuracy，AC)、Dice系数和交并比(Intersection overUnion，IoU)值。其中，Dice系数主要用来评估两个不同样本间的相似程度，即判断两个样本中重合部分占总元素的比例，所占比例越高，模型精度越高。IoU值是通过计算两样本的交集和并集之比来评估两样本的相关性，比值越高相关度越高，模型性能越好。准确率AC、Dice系数和IoU值的计算公式如式(5)、式(6)和式(7)所示：
对于甲状腺结节分割任务，真正例数(True positive，TP)表示正确分割甲状腺结节的部分，假正例数(False positive，FP)表示将黑色背景预测为甲状腺结节的部分，假反例数(False negative，FN)表示将甲状腺结节预测为黑色背景的部分，真反例数(Truenegative，TN)表示正确预测黑色背景的部分，X表示分割金标准图中的甲状腺结节区域，Y表示预测结果中的甲状腺结节区域。
为了对甲状腺结节各分割算法的分割效果进行更好地评价，本发明将评价指标准确率AC、Dice系数和IoU值进行了联合，并将其称为ADIoU，联合计算公式如式(8)所示：
ADIoU＝0.2×AC+0.2×Dice+0.6×IoU (8)
表1将本发明分割模型的分割效果和效率与其它模型在各指标上定量地进行对比分析。从比较结果可以看出，本发明算法模型单个Epoch训练时间和测试时间都相对较少，说明本发明算法模型的计算复杂度低，能够更快速地完成训练和预测，计算复杂度的降低并不意味着本发明算法模型具有更少的参数量，相反，从表1中可以看出，本发明算法模型保留了较高的参数量，占用了更多的存储空间，这允许本发明算法模型能以更小的计算复杂度获得通道维度更大、更加精细、更多的特征信息。此外，本发明算法模型取得了更高的准确率AC、Dice系数和IoU指标值，说明本发明对甲状腺结节区域的判别精度更高，即分割结果更准确。
表1模型分割结果及对比
实验结果表明，与基于CNN的甲状腺结节分割方法相比，本发明提出的融合全局推理和MLP架构的分割方法在分割性能上有所提升，而且具有更快的训练和测试速度。
步骤4：将待分割的甲状腺超声图像进行步骤1同样的预处理后输入训练好的甲状腺结节分割模型，得到待分割的甲状腺超声图像的甲状腺结节分割结果。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
Claims (5)
1.一种融合全局推理和MLP架构的甲状腺结节分割方法，其特征在于：按如下步骤进行
步骤1、使用阈值法对获取的已有甲状腺结节分割结果的甲状腺超声图像进行预处理并调整为相同大小的图片，然后基于五折交叉验证方法划分为训练数据和测试数据；
步骤2、以轴向移位MLP为基础架构构建网络模型即甲状腺结节分割模型，甲状腺结节分割模型在编码部分融合基于图卷积的全局推理模块完成图片全局上下文关系的建模，甲状腺结节分割模型在解码部分引入金字塔特征层完成多尺度特征交互；以轴向移位MLP为基础架构构建网络模型即甲状腺结节分割模型包括如下步骤
步骤21、输入的甲状腺超声图片经过由轴向移位MLP模块和全局推理模块组成的四阶段编码器实现图片特征编码，这里将甲状腺超声图片特征的尺寸表征为 ，其中分别为图片特征张量的高、宽和维度，在每个编码阶段先将图片特征下采样为不同高、宽和维度的特征，再先后输入全局推理模块和轴向移位MLP模块进行图片特征编码；
步骤22、对输入的甲状腺超声图片使用提前预训练好的主干网络EfficientNet-D4进行特征提取，使用双线性插值法对提取到的特征进行上采样，从而得到多尺度特征来构建金字塔特征层；将步骤21进行图片特征编码后的输出特征输入金字塔特征层进行解码，解码过程为先将进行图片特征编码后的输出特征与金字塔特征层的输出特征相加，然后经过卷积层将特征维度转换为分割类别数，再经过一个1×1卷积层，输出各像素点属于结节区域的置信度分数，置信度分数越大属于结节区域的可能性越大，设定置信度分数阈值并根据阈值对图片每个像素点进行二分类，分为结节区域和背景区域，从而得到整张甲状腺超声图片的结节分割结果；
步骤3、使用步骤1划分好的训练数据对构建好的甲状腺结节分割模型进行训练，然后用步骤1划分好的测试数据对经过训练的甲状腺结节分割模型进行测试，测试数据在经过训练的甲状腺结节分割模型的准确率达到标准要求时，经过训练的甲状腺结节分割模型即为训练好的甲状腺结节分割模型；
步骤4、将待分割的甲状腺超声图像进行步骤1同样的预处理后输入训练好的甲状腺结节分割模型，得到待分割的甲状腺超声图像的甲状腺结节分割结果。
2.根据权利要求1所述的一种融合全局推理和MLP架构的甲状腺结节分割方法，其特征在于：步骤1中，使用阈值法对获取的已有甲状腺结节分割结果的甲状腺超声图像进行预处理并调整为相同大小的图片是指，获取开源的数据集中包括不同年龄、性别的甲状腺超声图像，使用阈值法去除部分甲状腺超声图像的不相关区域，即对甲状腺超声图像的像素值沿x轴和y轴求平均，去除均值小于阈值的行和列，然后调整为256×256像素的图片。
3.根据权利要求1所述的一种融合全局推理和MLP架构的甲状腺结节分割方法，其特征在于：步骤1中，基于五折交叉验证方法划分为训练数据和测试数据是指，将所有图片按照甲状腺结节所占像素数分为三个等级即小于1722像素图片、大于等于1722像素小于等于5666像素图片、大于5666像素图片，然后将每个等级的图片都分为五个部分并进行组合，即最终的五个部分每个部分的图片中都包括三个等级的图片，基于五折交叉验证方法，将五部分的每部分依次作为测试集，其余部分作为训练集。
4.根据权利要求1所述的一种融合全局推理和MLP架构的甲状腺结节分割方法，其特征在于：步骤21中，先后输入全局推理模块和轴向移位MLP模块进行图片特征编码包括如下步骤
步骤211、下采样后的特征首先输入全局推理模块实现特征编码，全局推理模块采用三步走的推理策略：第一步通过1×1卷积层迭代学习具有合适权重的投影函数将特征投影到交互空间；第二步在交互空间应用图卷积执行特征推理操作，具体方法为先随机初始化一个全连接图，然后执行拉普拉斯平滑将全连接图中节点的新特征计算为该节点和它的邻居节点的加权平均值，从而使同一个簇中的节点特征相似，消除图片噪声干扰问题，再通过迭代学习具有合适权重的节点特征之间的关系函数，这样图片全局推理就被简化为在较小的全连接图上对节点之间的关系进行建模，学习节点特征之间的关系将为图片像素点的分类提供依据，从而提升分割精度；第三步再将节点特征之间的关系反向投影回原始坐标空间，反向投影函数通过1×1卷积层迭代学习得到，整个全局推理过程中投影函数的权重、全连接图、关系函数的权重、反向投影函数的权重都随机初始化并在模型训练期间通过梯度下降法来迭代学习；
步骤212、全局推理模块的输出特征输入轴向移位MLP模块完成进一步特征编码，轴向移位MLP模块由层归一化（Layer Normalizaiton，LN）操作、轴向移位操作、MLP和残差连接组成，轴向移位操作包括水平移位和垂直移位，首先，特征输入轴向移位MLP模块之后先进行层归一化操作，再将特征分别沿水平方向和垂直方向执行移位操作，其中水平移位是沿特征张量的维度进行等分，而垂直移位是沿特征张量的宽进行等分，将等分好的每个部分分别平移不同大小，平移之后要获取与原特征相同尺寸的特征，需要对平移后多余的特征部分进行舍弃，对平移后空缺位置的特征进行零填充，最后，将填充好的特征提取出来作为新特征，便可以实现图片特征的编码操作。
5.根据权利要求1所述的一种融合全局推理和MLP架构的甲状腺结节分割方法，其特征在于：步骤3中，使用步骤1划分好的训练数据对构建好的甲状腺结节分割模型进行训练，然后用步骤1划分好的测试数据对经过训练的甲状腺结节分割模型进行测试是指，设置甲状腺结节分割模型的初始参数和训练迭代次数，在训练集上执行模型训练，训练过程中对测试集数据进行预测，并计算测试集上分割的准确率值，训练时不断调整模型的参数，直到测试数据在经过训练的甲状腺结节分割模型的准确率达到标准要求时，经过训练的甲状腺结节分割模型即为训练好的甲状腺结节分割模型，利用训练好的甲状腺结节分割模型在测试集上对甲状腺结节进行分割，得到分割结果图，并计算分割效果和效率的多个指标值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210603374.7A CN115018780B (zh) | 2022-05-30 | 2022-05-30 | 一种融合全局推理和mlp架构的甲状腺结节分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210603374.7A CN115018780B (zh) | 2022-05-30 | 2022-05-30 | 一种融合全局推理和mlp架构的甲状腺结节分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115018780A CN115018780A (zh) | 2022-09-06 |
| CN115018780B true CN115018780B (zh) | 2024-04-09 |
Family
ID=83071925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210603374.7A Active CN115018780B (zh) | 2022-05-30 | 2022-05-30 | 一种融合全局推理和mlp架构的甲状腺结节分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115018780B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115222734B (zh) * | 2022-09-20 | 2023-01-17 | 山东大学齐鲁医院 | 一种用于胃黏膜肠上皮化生的图像分析方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN113610859A (zh) * | 2021-06-07 | 2021-11-05 | 东北大学 | 一种基于超声图像的甲状腺结节自动分割方法 |
-
2022
- 2022-05-30 CN CN202210603374.7A patent/CN115018780B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN113610859A (zh) * | 2021-06-07 | 2021-11-05 | 东北大学 | 一种基于超声图像的甲状腺结节自动分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 结合分段频域和局部注意力的超声甲状腺分割;胡屹杉;秦品乐;曾建潮;柴锐;王丽芳;;中国图象图形学报;20201016(10);249-259 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115018780A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598727B (zh) | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 | |
| US10825180B2 (en) | System and method for computer aided diagnosis | |
| CN110309860B (zh) | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 | |
| WO2019200747A1 (zh) | 分割股骨近端的方法、装置、计算机设备和存储介质 | |
| CN111462116A (zh) | 基于影像组学特征的多模态参数模型优化融合方法 | |
| CN110517253B (zh) | 基于3d多目标特征学习的肺结节良恶性分类的方法 | |
| Zhang et al. | Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination | |
| KR101144964B1 (ko) | 간질성 폐질환 검출 시스템 및 그 방법 | |
| CN108549912A (zh) | 一种基于机器学习的医学图像肺结节检测方法 | |
| Liu et al. | A fully automatic segmentation algorithm for CT lung images based on random forest | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN111798424B (zh) | 一种基于医学图像的结节检测方法、装置及电子设备 | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| CN112270667B (zh) | 一种基于ti-rads的集成深度学习多标签识别方法 | |
| CN115147600A (zh) | 基于分类器权重转换器的gbm多模态mr图像分割方法 | |
| CN115018780B (zh) | 一种融合全局推理和mlp架构的甲状腺结节分割方法 | |
| CN112651955A (zh) | 一种肠道图像的识别方法及终端设备 | |
| CN113362360A (zh) | 基于流体速度场的超声颈动脉斑块分割方法 | |
| CN114119447A (zh) | 肺结节多属性分类模型的构建方法、系统、介质及装置 | |
| Luo et al. | A liver segmentation algorithm based on wavelets and machine learning | |
| CN113763343B (zh) | 基于深度学习的阿兹海默症检测方法及计算机可读介质 | |
| CN115206497A (zh) | 一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法 | |
| Sivanandan et al. | An Improved Ultrasound Tumor Segmentation Using CNN Activation Map Clustering and Active Contours | |
| Frannita et al. | Thyroid nodule classification based on characteristic of margin using geometric and statistical features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |